專利名稱：發(fā)送設(shè)備及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及發(fā)送設(shè)備，發(fā)送方法，接收設(shè)備，接收方法，發(fā)送和接收設(shè) 備，發(fā)送和接收方法，記錄介質(zhì)，和信號(hào)。特別是，本發(fā)明涉及允許例如按 有限發(fā)送速率(具有一個(gè)有限發(fā)送帶寬)發(fā)送圖像數(shù)據(jù)和允許顯示具有高空 間分辨率的圖像的一種發(fā)送設(shè)備， 一種發(fā)送方法， 一種接收設(shè)備， 一種接收 方法， 一種發(fā)送和接收設(shè)備， 一種發(fā)送和接收方法， 一種記錄介質(zhì)，和一種 信號(hào)。
背景技術(shù)：
例如， 一個(gè)相關(guān)參考文件，日本專利待審公開平10-112856公開了一種 圖像發(fā)送設(shè)備。在該圖像發(fā)送設(shè)備中，發(fā)送方發(fā)送圖像的一個(gè)特定區(qū)域的圖 像數(shù)據(jù)，該圖像其它區(qū)域的圖像數(shù)據(jù)相應(yīng)于接收方發(fā)出的命令用不同信息量 發(fā)送。接收方顯示處在含有一個(gè)較高空間分辨率(空間方向的分辨率)的指 定點(diǎn)的區(qū)域中的圖像，和顯示處在一個(gè)較低空間分辨率的其他區(qū)域中的圖像。
換句話說，當(dāng)發(fā)送方經(jīng)一個(gè)發(fā)送路徑向接收方發(fā)送圖像數(shù)據(jù)時(shí)，發(fā)送方 不能以高于該發(fā)送路徑的數(shù)據(jù)速率發(fā)送圖像。因而，當(dāng)接收方在實(shí)際的時(shí)基 上顯示一個(gè)數(shù)據(jù)時(shí)，發(fā)送方將以對(duì)應(yīng)于發(fā)送路徑的發(fā)送速率向接收方發(fā)送圖 像數(shù)據(jù)。因此，如果發(fā)送速率不足夠時(shí)，那么在接收方顯示的圖像的空間方 向上的空間分辨率則完全惡化。
為了解決這一問題，在日本專利待審公開平10-112856的圖像發(fā)送設(shè)備 中，圖像的 一個(gè)區(qū)域中的圖像數(shù)據(jù)和該圖像的其它區(qū)域中的圖像數(shù)據(jù)以不同 信息量發(fā)送。含有一個(gè)指定點(diǎn)的該區(qū)域中的圖像和其它區(qū)域中的圖像在接收 方分別以高空間分辨率和低空間分辨率顯示。
換句話說，在日本待審公開平10-112856的圖像發(fā)送設(shè)備中，用戶要仔 細(xì)觀看的一個(gè)部分的空間分辨率的改善是以其它部分的空間分辨率(降低) 為代價(jià)的。
另一方面，在日本專利待審公開平10-112856的圖像發(fā)送設(shè)備中，由于 用戶要仔細(xì)觀看的部分空間分辨率的改善是以其它部分的空間分辨率為代價(jià) 的，所以用戶要仔細(xì)觀看的部分空間分辨率僅以犧牲的空間分辨率為代價(jià)得 到改善。
此外，發(fā)送路徑的發(fā)送速率非常低時(shí)，如果用戶要仔細(xì)觀看部分的空間 分辨率的改善以其它部分的空間分辨的犧牲為代價(jià)，那么其它部分的空間分 辨率則嚴(yán)重惡化。在最壞的情況下，用戶不能清楚地觀看其它部分。
本發(fā)明是基于上述觀點(diǎn)做出的。本發(fā)明的目的是允許圖像的空間分辨率 相應(yīng)于用戶的偏愛得到更好的改善。
發(fā)明概述
本發(fā)明的第一發(fā)送設(shè)備是向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送設(shè)備，包括接收 裝置，用于接收從接收設(shè)備發(fā)送的控制信息；控制裝置，相應(yīng)于控制信息控 制發(fā)送給接收設(shè)備的數(shù)據(jù)的時(shí)間方向、空間方向和電平(level)方向中的至 少兩個(gè)方向的分辨率；和發(fā)送裝置，向接收設(shè)備發(fā)送相應(yīng)于控制信息已經(jīng)控 制至少兩個(gè)方向中的分辨率的數(shù)據(jù)。
本發(fā)明的接收設(shè)備是接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)的接收設(shè)備，包括發(fā) 送裝置，用于向發(fā)送設(shè)備發(fā)送控制信息，以便相應(yīng)于控制信息控制數(shù)據(jù)的時(shí) 間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；接收裝置，用于 接收發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率在數(shù)據(jù)的至少兩個(gè)方向已經(jīng)得到 控制；和輸出裝置，輸出由接收裝置接收的數(shù)據(jù)。
本發(fā)明的發(fā)送和接收設(shè)備是具有用于發(fā)送數(shù)據(jù)的發(fā)送設(shè)備和用于接收數(shù) 據(jù)的接收設(shè)備的發(fā)送和接收設(shè)備，其中發(fā)送設(shè)備包括控制信息接收裝置， 用于接收從接收設(shè)備發(fā)送的控制信息；控制裝置，用于相應(yīng)于控制信息控制 發(fā)送給接收設(shè)備的數(shù)據(jù)的時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上 的分辨率；和數(shù)據(jù)發(fā)送裝置，用于向接收設(shè)備發(fā)送已經(jīng)相應(yīng)于控制信息控制 至少兩個(gè)方向的分辨率的數(shù)據(jù)；以及其中接收設(shè)備包括控制信息發(fā)送裝置， 用于發(fā)送控制信息；數(shù)據(jù)接收裝置，用于接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)
據(jù)的分辨率在數(shù)據(jù)的至少兩個(gè)方向上被控制；和輸出裝置，用于輸出由數(shù)據(jù) 接收裝置接收的數(shù)據(jù)。
本發(fā)明的第二發(fā)送設(shè)備是向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送設(shè)備，包括接收 裝置，用于接收從接收設(shè)備發(fā)送的控制信息；歸類裝置，相應(yīng)于控制信息對(duì) 數(shù)據(jù)歸類；和發(fā)送裝置，相應(yīng)于數(shù)據(jù)的歸類結(jié)果向接收設(shè)備發(fā)送數(shù)據(jù)。
本發(fā)明的第 一發(fā)送方法是向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送方法，包括以下步 驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息控制發(fā)送給接收設(shè)備 的數(shù)據(jù)在時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；和把 已經(jīng)相應(yīng)于控制信息控制至少兩個(gè)方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備。
本發(fā)明的接收方法是一個(gè)接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)的接收方法，包括 以下步驟向發(fā)送設(shè)備發(fā)送控制信息，以便相應(yīng)于控制信息控制數(shù)據(jù)的時(shí)間 方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；接收發(fā)送設(shè)備發(fā)送 的數(shù)據(jù)，該數(shù)據(jù)的分辨率至少在數(shù)據(jù)的兩個(gè)方向上被控制；和輸出在接收步 驟上接收的數(shù)據(jù)。
本發(fā)明的發(fā)送和接收方法是具有發(fā)送數(shù)據(jù)的發(fā)送設(shè)備的處理和接收數(shù)據(jù) 的接收設(shè)備的處理的發(fā)送和接收方法，其中發(fā)送設(shè)備的處理包括以下步驟 接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù) 據(jù)在時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；和4巴已經(jīng) 相應(yīng)于控制信息控制至少兩個(gè)方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備；其中接 收設(shè)備的處理包括以下步驟發(fā)送控制信息；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)， 該數(shù)據(jù)的分辨率至少在數(shù)據(jù)的兩個(gè)方向上被控制；并輸出在數(shù)據(jù)接收步驟中 接收的數(shù)據(jù)。
本發(fā)明的第二發(fā)送方法是向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送方法，包括以下步 驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息對(duì)數(shù)據(jù)歸類；和相應(yīng) 于數(shù)據(jù)的歸類結(jié)果向接收設(shè)備發(fā)送數(shù)據(jù)。
本發(fā)明的第一記錄介質(zhì)是一種記錄程序的記錄介質(zhì)，該程序使計(jì)算機(jī)執(zhí) 行向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送處理，該發(fā)送處理包括以下步驟接收從接收 設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時(shí)間方 向、空間方向和電平方向的至少兩個(gè)方向上的分辨率；和把已經(jīng)相應(yīng)于控制 信息控制至少兩個(gè)方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備。
本發(fā)明的第二記錄介質(zhì)是一種記錄程序的記錄介質(zhì)，該程序使計(jì)算機(jī)執(zhí)
行接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)的接收處理，該接收處理包括以下步驟向發(fā) 送設(shè)備發(fā)送控制信息，以便相應(yīng)于控制信息控制數(shù)據(jù)在時(shí)間方向、空間方向
和電平方向的至少兩個(gè)方向上的分辨率；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù) 據(jù)的分辨率至少在數(shù)據(jù)的兩個(gè)方向上已經(jīng)被控制；和輸出在接收步驟中接收 的數(shù)據(jù)。
本發(fā)明的第三記錄介質(zhì)是一種記錄程序的記錄介質(zhì)，該程序致使計(jì)算機(jī) 執(zhí)行發(fā)送數(shù)據(jù)的發(fā)送設(shè)備的發(fā)送處理和接收數(shù)據(jù)的接收設(shè)備的接收處理，其 中發(fā)送設(shè)備的發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相 應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時(shí)間方向、空間方向和電平方向 的至少兩個(gè)方向上的分辨率；和把已經(jīng)相應(yīng)于控制信息控制至少兩個(gè)方向的 分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備；其中接收設(shè)備的接收處理包括以下步驟發(fā) 送控制信息；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率至少在數(shù)據(jù)的兩 個(gè)方向上已經(jīng)被控制；并輸出在數(shù)據(jù)接收步驟上接收的數(shù)據(jù)。
本發(fā)明的第四記錄介質(zhì)是一種記錄程序的記錄介質(zhì)，該程序使計(jì)算機(jī)執(zhí) 行向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送處理，該發(fā)送處理包括以下步驟接收從接收 設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息歸類數(shù)據(jù)；和相應(yīng)于數(shù)據(jù)的歸類結(jié)果 向接收設(shè)備發(fā)送數(shù)據(jù)。
本發(fā)明的第一信號(hào)是一種包含程序的信號(hào)，該程序致使計(jì)算機(jī)執(zhí)行向接 收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送處理，該發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā) 送的控制信息；相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時(shí)間方向、空 間方向和電平方向的至少兩個(gè)方向上的分辨率；和把已經(jīng)相應(yīng)于控制信息控 制至少兩個(gè)方向的分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備。
本發(fā)明的第二信號(hào)是一種包含程序的信號(hào)，該程序致使計(jì)算機(jī)執(zhí)行接收 從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)的接收處理，該接收處理包括以下步驟向發(fā)送設(shè)備 發(fā)送控制信息，以便相應(yīng)于控制信息控制數(shù)據(jù)在時(shí)間方向、空間方向和電平 方向的至少兩個(gè)方向上的分辨率；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分 辨率至少在數(shù)據(jù)的兩個(gè)方向上已經(jīng)被控制；和輸出在接收步驟中接收的數(shù)據(jù)。
本發(fā)明的第三信號(hào)是一種包含程序的信號(hào)，該程序致使計(jì)算機(jī)執(zhí)行發(fā)送 數(shù)據(jù)的發(fā)送設(shè)備的發(fā)送處理和接收數(shù)據(jù)的接收設(shè)備的接收處理，其中發(fā)送設(shè) 備的發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制 信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)在時(shí)間方向、空間方向和電平方向的至少兩
個(gè)方向上的分辨率；和把已經(jīng)相應(yīng)于控制信息控制至少兩個(gè)方向的分辨率的 數(shù)據(jù)發(fā)送給接收設(shè)備；其中接收設(shè)備的接收處理包括以下步驟發(fā)送控制信 息；接收從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)，該數(shù)據(jù)的分辨率至少在數(shù)據(jù)的兩個(gè)方向上 被控制；和輸出在數(shù)據(jù)接收步驟上接收的數(shù)據(jù)。
本發(fā)明的第四信號(hào)是一種包含程序的信號(hào)，該程序致使計(jì)算機(jī)執(zhí)行向接 收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送處理，該發(fā)送處理包括以下步驟接收從接收設(shè)備發(fā) 送的控制信息；相應(yīng)于控制信息歸類數(shù)據(jù)；和相應(yīng)于數(shù)據(jù)的歸類結(jié)果向接收 設(shè)備發(fā)送數(shù)據(jù)。
根據(jù)本發(fā)明的第一發(fā)送設(shè)備、第一發(fā)送方法、第一記錄介質(zhì)和第一信號(hào)， 接收從一個(gè)接收設(shè)備發(fā)送的控制信息。相應(yīng)于該控制信息，控制時(shí)間方向、 空間方向和電平方向中的至少兩個(gè)方向上的分辨率。把相應(yīng)于該控制信息控 制至少兩個(gè)方向分辨率的數(shù)據(jù)發(fā)送給接收設(shè)備。
根據(jù)本發(fā)明的接收設(shè)備、接收方法、第二記錄介質(zhì)和第二信號(hào)，向發(fā)送 設(shè)備發(fā)送控制信息，該發(fā)送設(shè)備相應(yīng)于該控制信息控制時(shí)間方向、空間方向 和電平方向的至少兩個(gè)方向上的分辨率。此外，相應(yīng)于該控制信息已經(jīng)控制
根據(jù)本發(fā)明的發(fā)送和接收設(shè)備、發(fā)送和接收方法、第三記錄介質(zhì)和第三 信號(hào)，發(fā)送設(shè)備接收自接收設(shè)備發(fā)送的控制信息。相應(yīng)于該控制信息，控制 時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向上的分辨率備。相應(yīng)于該控 制信息已經(jīng)控制的至少兩個(gè)方向上的分辨率的數(shù)據(jù)備傳送給接收設(shè)備，此外， 接收設(shè)備向發(fā)送設(shè)備發(fā)送控制信息。相應(yīng)于該控制信息控制的至少兩個(gè)方向 上的分辨率的數(shù)據(jù)自發(fā)送設(shè)備發(fā)送，接收和輸出。
根據(jù)本發(fā)明的第二發(fā)送設(shè)備、第二發(fā)送方法、第四記錄介質(zhì)和第四信號(hào)， 接收自一個(gè)接收設(shè)備發(fā)送的控制信號(hào)，相應(yīng)于該控制信息，歸類數(shù)據(jù)。相應(yīng) 于該數(shù)據(jù)的歸類結(jié)果，向該接收設(shè)備發(fā)送數(shù)據(jù)。
附圖的筒單說明


圖1是顯示本發(fā)明的實(shí)施例的發(fā)送系統(tǒng)的結(jié)構(gòu)實(shí)例的示意圖； 圖2是顯示圖1所示的發(fā)送系統(tǒng)的第一結(jié)構(gòu)的實(shí)例的詳細(xì)示意圖； 圖3是顯示圖1所示的發(fā)送設(shè)備(終端單元)1的結(jié)構(gòu)實(shí)例的方框圖； 圖4是解釋圖3所示的發(fā)送設(shè)備的處理的流程圖5是顯示圖1所示的接收設(shè)備(終端單元)2的結(jié)構(gòu)實(shí)例的方框圖； 圖6解釋圖5所示的接收設(shè)備2的處理的流程圖； 圖7是顯示圖3所示的發(fā)送處理部分16的結(jié)構(gòu)實(shí)例的方框圖； 圖8是顯示圖7所示的編碼部分31的結(jié)構(gòu)實(shí)例的方框圖； 圖9A、 9B和9C是解釋分層編碼/解碼的示意圖； 圖10是解釋圖7所示的發(fā)送處理部分16的發(fā)送處理流程圖； 圖ll是顯示圖5所示的接收處理部分21的結(jié)構(gòu)實(shí)例的方框圖； 圖12是圖11所示的解碼部分53的結(jié)構(gòu)實(shí)例的方框圖； 圖13是顯示圖5所示的組合處理部分22的結(jié)構(gòu)實(shí)例的方框圖； 圖14是解釋圖13所示組合處理部分22的組合處理的流程圖； 圖15A、15B和15C是顯示圖5所示的圖像輸出部分23的圖像顯示實(shí)例 的示意圖16A和16B解釋圖1所示的從發(fā)送設(shè)備1向接收設(shè)備2發(fā)送的圖像的
空間分辨率與時(shí)間分辨率之間關(guān)系的示意圖17是顯示圖3所示的對(duì)象提取部分14的結(jié)構(gòu)實(shí)例的方框圖18A和18B是解釋圖17所示的開始區(qū)域劃分部分83的處理示意圖19A、 19B、 19C和19D是解釋圖17所示的區(qū)域拼接部分84的處理
的示意圖20是圖17所示的拼接區(qū)域處理部分85和分離區(qū)域處理部分86的處 理的示意圖21是解釋圖17所示的對(duì)象提取部分4的對(duì)象提取處理的流程圖22是解釋圖21所示的步驟S43上的區(qū)域拼接處理細(xì)節(jié)的流程圖23是圖21所示的步驟S44上的拼接區(qū)域處理的細(xì)節(jié)的流程圖24是解釋圖21所示的步驟S44上的分離區(qū)域處理細(xì)節(jié)的流程圖25是顯示圖7所示的控制部分35的結(jié)構(gòu)實(shí)例的方框圖26是解釋對(duì)象的特征量(feature amount)的示意圖27是解釋圖25所示的控制部分35的處理細(xì)節(jié)的流程圖28是顯示圖1所示的發(fā)送系統(tǒng)的第二結(jié)構(gòu)的實(shí)例的詳細(xì)示意圖29是顯示圖28所示的發(fā)送設(shè)備1的結(jié)構(gòu)實(shí)例的方框圖30是解釋圖29所示的發(fā)送設(shè)備1的處理的流程圖31是顯示圖28所示的接收設(shè)備2的結(jié)構(gòu)實(shí)例的方框圖32是解釋圖31所示的接收設(shè)備2的處理的流程圖； 圖33是顯示圖29所示的發(fā)送處理部分1016的結(jié)構(gòu)實(shí)例的方框圖； 圖34是解釋圖33所示的發(fā)送處理部分1016的發(fā)送處理的流程圖； 圖35是顯示圖31所示的組合處理部分的結(jié)構(gòu)實(shí)例的方框圖； 圖36是解釋的圖35所示的組合處理部分的組合處理的流程圖； 圖37是顯示圖29所示的對(duì)象提取部分1014的實(shí)際結(jié)構(gòu)示意圖； 圖3 8是解釋活動(dòng)對(duì)象圖像或靜止對(duì)象圖像的提取處理的流程圖； 圖39是解釋靜止區(qū)域或活動(dòng)區(qū)域確定處理的流程圖； 圖40A、 40B、 40C、 40D和40E是解釋幀差(幀間差值)的計(jì)算方法的 示意圖41是解釋連續(xù)點(diǎn)擊確定處理的流程圖42A、 42B、 42C、 42D、 42E和42F是解釋對(duì)象號(hào)分配方法的示意圖； 圖43是解釋靜止對(duì)象組合處理的流程圖； 圖44是解釋活動(dòng)對(duì)象組合處理的流程圖； 圖45是解釋對(duì)象提取處理的流程圖46A、 46B、 46C、 46D和46E是解釋對(duì)象提取方法的示意圖47是顯示圖31所示的組合處理部分1022的另一個(gè)結(jié)構(gòu)實(shí)例的方框
圖48是顯示圖28所示的發(fā)送設(shè)備1的另一個(gè)結(jié)構(gòu)實(shí)例的方框圖； 圖49是顯示圖48所示的變化確定和歸類部分240的結(jié)構(gòu)實(shí)例的方框圖； 圖50A和50B是解釋變化確定和歸類部分240的興趣對(duì)象區(qū)域變化處理 和興趣對(duì)象區(qū)域歸類處理的流程圖51是解釋興趣變化確定處理的流程圖； 圖52是圖1所示的發(fā)送系統(tǒng)的第三結(jié)構(gòu)的詳細(xì)實(shí)例的示意圖； 圖53是顯示圖52所示的收費(fèi)服務(wù)器4的結(jié)構(gòu)實(shí)例的方框圖； 圖54是解釋圖53所示的收費(fèi)服務(wù)器4的處理的流程圖； 圖55是顯示本發(fā)明的實(shí)施例的計(jì)算機(jī)的結(jié)構(gòu)實(shí)例的方框圖。
實(shí)施發(fā)明的最好形式
圖1示出了根據(jù)本發(fā)明的實(shí)施例的圖像發(fā)送系統(tǒng)的結(jié)構(gòu)(該系統(tǒng)是作為 多個(gè)裝置的邏輯組合的一個(gè)實(shí)體，而且與每個(gè)裝置是否設(shè)置在一個(gè)機(jī)架中無
關(guān))。
發(fā)送裝置由至少兩個(gè)終端單元1和2組成。就終端單元1和2的關(guān)系而 言， 一個(gè)是發(fā)送設(shè)備，另一個(gè)是接收設(shè)備。圖像(圖像數(shù)據(jù))從發(fā)送設(shè)備經(jīng) 傳送路徑3發(fā)送給接收設(shè)備。
根據(jù)本發(fā)明的實(shí)施例，例如，假定終端單元1是發(fā)送設(shè)備，而終端設(shè)備 2是接收設(shè)備，并且假定圖像數(shù)據(jù)在它們之間發(fā)送和接收。在下文中，終端 單元1或2可以被分別稱作發(fā)送設(shè)備1或接收設(shè)備2。
在該情況下，發(fā)送設(shè)備1經(jīng)傳送路徑3向接收設(shè)備2發(fā)送圖像數(shù)據(jù)。接 收設(shè)備2接收來自發(fā)送設(shè)備1的圖像數(shù)據(jù)。下面將要說明圖像數(shù)據(jù)在圖像輸 出部分23 (參見圖5)上的顯示。圖像輸出部分23例如由液晶顯示器或CRT (陰極射線管)組成。此外，接收部分2經(jīng)傳送路徑3向發(fā)送設(shè)備1發(fā)送控 制信息，該控制信息控制圖像輸出部分23所顯示的圖像空間方向的空間分辨 率和時(shí)間方向的時(shí)間分辨率。
發(fā)送設(shè)備1接收來自接收設(shè)備2的控制信息，并相應(yīng)于該控制信息控制 圖像數(shù)據(jù)的傳送，使接收設(shè)備2所顯示的圖像的空間分辨率和時(shí)間分辨率在 滿足預(yù)定條件時(shí)變化。
就發(fā)送設(shè)備1和接收設(shè)備2來說，可以使用諸如PHS (個(gè)人手持電話系 統(tǒng))(商標(biāo))單元的終端單元和諸如便攜電話單元的便攜式終端單元。當(dāng)使用 PHS單元時(shí)，傳送路徑3具有1895.1500至1905.9500Mhz的頻帶，其傳送速 率為128Kbps (每秒比特)。
圖2示出了圖1所示的圖像發(fā)送系統(tǒng)的第一結(jié)構(gòu)的實(shí)例；在此，諸如PHS 單元和便攜式電話單元的便攜式終端單元被用作圖1所示的發(fā)送設(shè)備1和接 收設(shè)備2。
根據(jù)圖2所示的實(shí)施例，圖1所示的傳送路徑3由無線基站3-1或3-2 和交換站3-3組成。該交換站3-3是(例如)連接無線基站3-1和3-2的電話 站。無線基站3-1或3-2向/從終端單元1或2發(fā)送和接收一個(gè)無線信號(hào)。在 終端單元1與2之間，其每一個(gè)可以經(jīng)過由無線基站3-l和3-2、收費(fèi)服務(wù)器 4等組成的傳送路徑3向另一個(gè)發(fā)送信號(hào)，并從另一個(gè)終端接收信號(hào)?；?3-1的類型可以基站3-2的類型相同或者不相同。
參見圖2,終端單元1包括攝像機(jī)部分1-1、顯示器部分1-2、按鍵部分 1-3、揚(yáng)聲器部分l-4和麥克風(fēng)1-5。攝影機(jī)部分1-1具有可以攝取活動(dòng)圖像的
圖像拾取裝置和光系統(tǒng)。顯示部分1-2可以顯示字符、符號(hào)、圖像等。在輸 入電話號(hào)碼、字符、命令等時(shí)操作按鍵部分1-3。揚(yáng)聲器l-4輸出聲音。麥克
風(fēng)l-5輸入聲音。同樣，終端單元2包括攝影機(jī)部分2-l、顯示部分2-2、按 鍵部分2-3、揚(yáng)聲器2-4和麥克風(fēng)2-5，它們分別具有與攝影機(jī)部分1-1、顯示 部分l-2、 4姿一睫部分l-3、揚(yáng)聲器l-4和麥克風(fēng)l-5相同的結(jié)構(gòu)。
麥克風(fēng)1-5和1-6采集的語音信號(hào)在終端單元1和2之間發(fā)送和接收。 此外，可以發(fā)送和接收由攝像機(jī)部分1-1和2-l攝取的圖像數(shù)據(jù)。因此，終端 單元1的顯示部分l-2可以顯示由終端單元2的攝影機(jī)部分2-l獲取的圖像數(shù) 據(jù)。同樣，終端單元2的顯示部分2-2可以顯示由終端單元1的攝影機(jī)部分 1-1獲取的圖像數(shù)據(jù)。
換句話說，發(fā)送設(shè)備1的攝像機(jī)部分1-1所攝取的圖像數(shù)據(jù)以及諸如幀 速率的所需信息經(jīng)過有基站部分3-1和3-2以及交換站3-3組成的傳送路徑3 發(fā)送給接收設(shè)備2。接收部分2在由例如液晶顯示器組成的顯示部分2-1上顯 示接收的圖像數(shù)據(jù)(相對(duì)應(yīng)的圖像)。另 一方面，接收設(shè)備2經(jīng)傳送路徑3向 發(fā)送設(shè)備1發(fā)送用于控制在顯示部分2-1上顯示的圖像的空間分辨率和時(shí)間 分辨率的控制信息。發(fā)送設(shè)備1接收來自接收設(shè)備2的控制信息并相應(yīng)于控 制信息控制圖像數(shù)據(jù)的傳送，使接收設(shè)備2所顯示的圖像的空間分辨率和時(shí) 間分辨率在滿足預(yù)定條件時(shí)變化。
下面圖3示出了圖2所示的發(fā)送設(shè)備1的結(jié)構(gòu)的實(shí)例。
圖像輸入部分11相當(dāng)于圖2所示的攝像機(jī)部分1-1。圖像輸入部分11 攝取一個(gè)特定的對(duì)象，并把它的圖像輸送給預(yù)處理部分12。預(yù)處理部分12 由背景圖像提取部分13、對(duì)象提取部分14和附加信息計(jì)算部分15組成。預(yù) 處理部分12執(zhí)行從圖像輸入部分11輸入的圖像的預(yù)處理和把該合成圖像供 應(yīng)給發(fā)送處理部分16。
換句話說，背景圖像提取部分13從圖像輸入部分11供應(yīng)的圖像中提取 所謂的背景圖像，和把提取的背景圖像供應(yīng)給發(fā)送處理部分16。此外，背景 圖像提取部分13所提取的背景圖像還供應(yīng)給對(duì)象提取部分14和附加信息計(jì) 算部分15。
作為提取背景圖像的方法，獲取多個(gè)連續(xù)幀(例如當(dāng)前幀和過去的10 個(gè)幀)的相同空間位置上的多個(gè)像素的像素值的出現(xiàn)頻率。具有最高頻率的 像素值可以作為該位置是背景對(duì)待。另一方面，可以取得多個(gè)幀的相同位置
上的像素值的平均值(活動(dòng)平均值)，以作為該位置上的背景圖像。
對(duì)象提取部分14執(zhí)行例如從圖像輸入部分11所供給的圖像中減去由背 景圖像提取部分13所提取的背景圖像的減法運(yùn)算，獲得所謂的前景圖像，并
把該前景圖像供應(yīng)給發(fā)送處理部分16。當(dāng)圖像輸入部分11輸入的圖像包含 作為前景的多個(gè)實(shí)體時(shí)，對(duì)象提取部分14相應(yīng)于每一實(shí)體提取前景圖像并將 所提取的前景背景提供給發(fā)送處理部分16。另一方面，由對(duì)象提取部分14 提取的前景圖像還被提供給附加信息計(jì)算部分15。此后，相應(yīng)于每一實(shí)體的 前景圖像可以看作是一個(gè)對(duì)象。
附加信息計(jì)算部分15檢測(cè)背景圖像移動(dòng)矢量和對(duì)象移動(dòng)矢量。背景圖像 移動(dòng)矢量表示由背景圖像提取部分13提取的背景圖像的移動(dòng)(相應(yīng)于圖像輸 入部分11的拍攝方向的移動(dòng)的背景圖像的移動(dòng))。對(duì)象移動(dòng)矢量表示由對(duì)象 提取部分14提取的對(duì)象的移動(dòng)。另外，附加信息計(jì)算部分15將對(duì)象提取部 分14提供的作為附加信息的一幀中的對(duì)象的位置信息等提供給發(fā)送處理部 分16。換句話說，當(dāng)對(duì)象提取部分14提取一個(gè)對(duì)象時(shí)，該對(duì)象提取部分14 還提取與該對(duì)象有關(guān)的信息，比如該對(duì)象的位置信息等，并把該信息供應(yīng)給 附加信息計(jì)算部分15。附加信息計(jì)算部分15還把該位置信息等作為附加信 息輸出。
發(fā)送處理部分16多路復(fù)用由背景圖像提取部分13提取的背景圖像、由 對(duì)象提取部分14提取的對(duì)象和由附加信息計(jì)算部分15獲取的附加信息，并 按其數(shù)據(jù)速率經(jīng)過傳送路徑3將合成的多路復(fù)用數(shù)據(jù)發(fā)送給接收設(shè)備2。發(fā) 送處理部分16經(jīng)傳送路徑3接收自接收設(shè)備2發(fā)送的控制信息，并相應(yīng)于該 控制信息控制背景圖像、對(duì)象和附加信息的發(fā)送，使接收設(shè)備2所顯示的圖 像的空間分辨率和時(shí)間分辨率在滿足預(yù)定條件時(shí)變化。
下面結(jié)合圖4所示的流程圖簡(jiǎn)要地說明圖3所示的發(fā)送設(shè)備1的處理。 圖像輸入部分11輸出的圖像供給預(yù)處理部分12。在步驟Sl上，與處理 部分12執(zhí)行圖像的預(yù)處理。換句話說，在步驟S1上，背景圖像提取部分13 或前景圖像提取部分14從圖像輸入部分11輸入的圖像中分別提取背景圖像 或?qū)ο螅烟崛〉谋尘皥D像或提取的對(duì)象供應(yīng)給發(fā)送處理部分16。此外， 在步驟Sl上，附加信息計(jì)算部分15從圖像輸入部分11輸入的圖像中獲得上 述的附加信息，并把獲得的附加信息供應(yīng)給發(fā)送處理部分16。發(fā)送處理部分 16經(jīng)傳送路徑3發(fā)送背景圖像、前景圖像和附加信息。此后，流程返回到步
驟Sl,發(fā)送設(shè)備1重復(fù)相似的處理。
圖5示出了圖2所示的接收設(shè)備2的結(jié)構(gòu)實(shí)例。
發(fā)送設(shè)備1經(jīng)傳送路徑3發(fā)送多路復(fù)用數(shù)據(jù)。該多路復(fù)用數(shù)據(jù)由接收處 理部分21接收。接收處理部分21把該多路復(fù)用數(shù)據(jù)分離成背景圖像、對(duì)象 和附加信息，并把它們供應(yīng)給組合處理部分22。
組合處理部分22把從接收處理部分21接收的背景圖像、對(duì)象和附加信 息組合成原始圖像，并把該合成的圖像供應(yīng)給圖像輸出部分23。組合處理部 分22相應(yīng)于下面將要說明的高分辨率信息等改變組合的圖像的空間分辨率 和時(shí)間分辨率。
圖像輸出部分23由例如液晶顯示器或CRT組成。圖像輸出部分23顯示 從組合處理部分22輸出的圖像。
控制信息輸入部分24把控制信息輸出給組合處理部分22和控制信息發(fā) 送部分25。換句話說，控制信息輸入部分24組成按鍵部分2-3?？刂菩畔⑤?入部分24由例如諸如跟蹤球的指點(diǎn)器組成。當(dāng)用戶用控制信息輸入部分24 指定一個(gè)由圖像輸出部分23顯示的圖像的特定位置時(shí)，控制信息輸入部分 24把該位置檢測(cè)為用戶正在考慮的一個(gè)考慮點(diǎn)，把該考慮點(diǎn)的坐標(biāo)放入控制 信息中，并輸出所得的控制信息。另一方面，控制信息輸入部分24由例如一 個(gè)攝影機(jī)組成。當(dāng)用戶攝取和認(rèn)可一個(gè)圖像時(shí)，控制信息輸入部分24把用戶 正在考慮的一個(gè)點(diǎn)檢測(cè)為考慮點(diǎn)，把該考慮的點(diǎn)的坐標(biāo)放入控制信息中，并 輸出該合成的控制信息?？刂菩畔⑤斎氩糠?4可以被構(gòu)造成使用戶可以直接 輸入作為控制信息的由圖像輸出部分23顯示的圖像的空間分辨率和時(shí)間分 辨率的結(jié)構(gòu)。
當(dāng)控制信息發(fā)送部分25接收來自控制信息輸入部分24的控制信息時(shí)， 控制信息發(fā)送部分25經(jīng)傳送路徑3向發(fā)送設(shè)備1發(fā)送控制信息。
下面結(jié)合圖6所示的流程圖簡(jiǎn)要說明圖5所示的接收設(shè)備2的處理。 在接收設(shè)備2中，接收處理部分21經(jīng)傳送路徑3接收來自發(fā)送設(shè)備1 的多路復(fù)用數(shù)據(jù)。在步驟Sll,接收處理部分21執(zhí)行一個(gè)接收處理，將多路 復(fù)用數(shù)據(jù)分離成背景圖像、對(duì)象和附加信息。接收處理部分21向組合處理部 分22供應(yīng)作為接收處理結(jié)果的背景圖像、對(duì)象和附加信息。在步驟S12,組 合處理部分22把背景圖像、對(duì)象和附加信息組合為原始圖像并把該組成圖像 供應(yīng)給圖像輸出部分23。圖像輸出部分23顯示該組合圖像。此后，流程返
回到步驟Sll,隨后接收設(shè)備重復(fù)相似的處理。
在接收設(shè)備2中，當(dāng)用戶用控制信息輸入部分24指定一個(gè)圖像輸出部分 23所顯示的圖像的考慮點(diǎn)時(shí)，該考慮點(diǎn)的坐標(biāo)被放入控制信息中。該合成控 制信息被供給控制信息發(fā)送部分25?？刂菩畔l(fā)送部分25經(jīng)傳送路徑3向 發(fā)送設(shè)備1發(fā)送該控制信息。當(dāng)發(fā)送設(shè)備1接收到如上所述的控制信息時(shí)， 發(fā)送處理部分16控制背景圖像、對(duì)象和附加信息的發(fā)送，使接收設(shè)備2所顯 示的圖像的空間分辨率和時(shí)間分辨率可以在滿足約定條件時(shí)改變。此后，由 于已經(jīng)被控制的背景圖像、對(duì)象和附加信息從發(fā)送設(shè)備1發(fā)送到接收設(shè)備2， 因此在滿足一個(gè)預(yù)定條件時(shí)已改變了空間分辨率和時(shí)間分辨率的圖像由接收 設(shè)備2顯示。
圖7示出了圖3所示的發(fā)送設(shè)備1的發(fā)送處理部分16的結(jié)構(gòu)實(shí)例。
背景圖像、對(duì)象和附加信息從預(yù)處理部分12 (參見圖3)供給編碼部分 31和控制部分35。編碼部分31對(duì)背景圖像、對(duì)象和附加信息編碼，并把該 合成的編碼數(shù)據(jù)供應(yīng)給MUX (多路復(fù)用器)32。 MUX32在控制部分35的控 制下選擇從編碼部分31接收的背景圖像、對(duì)象和附加信息并把選擇的編碼數(shù) 據(jù)作為多路復(fù)用數(shù)據(jù)供給發(fā)送部分33。發(fā)送部分33調(diào)制從MUX32接收的多 路復(fù)用數(shù)據(jù)，并經(jīng)傳送路徑3把該調(diào)制的數(shù)據(jù)發(fā)送給接收設(shè)備2。數(shù)據(jù)量計(jì) 算部分34監(jiān)視MUX32向發(fā)送部分33輸出的多路復(fù)用數(shù)據(jù)，計(jì)算多路復(fù)用 數(shù)據(jù)的數(shù)據(jù)速率，并把計(jì)算的數(shù)據(jù)速率供應(yīng)給控制部分35。
控制部分35控制MUX32的多路復(fù)用數(shù)據(jù)的輸出，使數(shù)據(jù)量計(jì)算部分 34的數(shù)據(jù)速率不超過傳送路徑3的傳送速率。此外，控制部分35經(jīng)傳送路 徑3接收從接收設(shè)備2發(fā)送的控制信息，并相應(yīng)于該控制信息控制MUX32 的編碼數(shù)據(jù)的選擇。
圖8示出了圖7所示的編碼部分31的結(jié)構(gòu)實(shí)例。
背景圖像被供應(yīng)給差值計(jì)算部分41B。差值計(jì)算部分41從處理的當(dāng)前幀 (在下文中，該幀可以稱作考慮幀)的背景圖像中減去剛處理的在前幀的背 景圖像，并把背景圖像的差值數(shù)據(jù)作為相減結(jié)果供應(yīng)給分層編碼部分42B。 分層編碼部分42B對(duì)從差值計(jì)算部分41B接收的背景圖像的差值數(shù)據(jù)進(jìn)行分 層編碼，并把編碼結(jié)果提供給存儲(chǔ)部分43B。存儲(chǔ)部分43B臨時(shí)存儲(chǔ)從分層 編碼部分42接收的分層編碼結(jié)果。存儲(chǔ)部分43B中存儲(chǔ)的分層編碼結(jié)果作為 背景圖像的編碼數(shù)據(jù)供應(yīng)給MUX32 (參見圖7)。
存儲(chǔ)部分43B中存儲(chǔ)的分層編碼結(jié)果供應(yīng)給本地解碼器44B。本地編碼 器44B把分層編碼結(jié)果進(jìn)行解碼成為原始背景圖像，并把解碼的背景圖像供 應(yīng)給差值計(jì)算部分部分41B。由本地解碼器部分44B解碼的背景圖像由差值 計(jì)算部分41B使用。差值計(jì)算部分41B使用解碼的背景圖像來獲得下一幀的 背景圖像的差值數(shù)據(jù)。
對(duì)象被供應(yīng)給差值計(jì)算部分41F。差值計(jì)算部分41F、分層編碼部分42F、 存儲(chǔ)部分43F和本地解碼器部分44F執(zhí)行與上述的差值計(jì)算部分41B、分層 編碼部分42B、存儲(chǔ)部分43B和本地解碼器44B相同的處理。因而，按照與 背景圖像相同的方式，對(duì)象被分層編碼并供應(yīng)給MUX32 (參見圖7)。當(dāng)存 在多個(gè)對(duì)象時(shí)，差值計(jì)算部分41F、分層編碼部分42F存儲(chǔ)部分43F和本地 解碼部分44F以上述方式對(duì)多個(gè)對(duì)象分層編碼。
附加信息提供給VLC (可變長(zhǎng)度編碼)部分45。 VCL部分45按照可變 長(zhǎng)碼編碼方法對(duì)附加信息進(jìn)行編碼，并把編碼的附加信息供應(yīng)給MUX32 (參 見圖7)。
下面結(jié)合附圖9將說明由圖8所示的編碼部分31所執(zhí)行的分層編碼/解碼。
假定較低層次的2x2像素(水平x垂直)的四個(gè)像素的平均值被視為較 高層次的一個(gè)像素(像素值)，并且假定按三個(gè)層次級(jí)對(duì)一個(gè)圖像編碼。在這 種情況下，對(duì)于考慮到如圖9 (A)所示的8x8個(gè)像素的最低層次級(jí)中的一個(gè) 圖像，計(jì)算2x2個(gè)像素的左上部分的四個(gè)像素h00、 h01、 h02和h03的平均 值m0 。該平均值被m0視作第二層次級(jí)的左上部分的一個(gè)像素。計(jì)算最低 層次級(jí)的右上部分的四個(gè)像素h10、 hll、 hl2和hl3的平均值ml。計(jì)算最低 層次級(jí)的左下部分的四個(gè)像素h20、 h21、 h22和h23的平均值m2。計(jì)算最低 層次級(jí)的右上部分的四個(gè)像素h30、 h31、 h32和h33的平均值m3。平均值 ml、 m2和m3被分別-見作第二層次級(jí)的右上部分、左下部分和右上部分上的 像素。此外，計(jì)算第二層次級(jí)的2x2像素的四個(gè)像素m0、 ml、 m2和m3的 平均值q。該平均值被視作是最高層次級(jí)的第三層次級(jí)的一個(gè)象素。
根據(jù)上述的分層編碼，最高層次級(jí)中的圖像的空間分辨率是最低的。圖 像的空間分辨率與層次級(jí)成反比。換句話說，最低層次級(jí)中的圖像的空間分 辨率是最高的。
在所有象素hOO至h03、 hlO至hl3、 h20至h23、 h30至h33、 m0至m3
和q被發(fā)送的情形下的數(shù)據(jù)量大于僅由較高層次級(jí)的象素m0至m3和q發(fā)送 最低層次級(jí)的圖像情形下的數(shù)據(jù)量。
因此，如圖9(B)所示，第三層次級(jí)的象素q被發(fā)送，而不是例如第 二層次級(jí)的象素m0至m3的右下位置上的像素m3被發(fā)送。
此外，如圖9(C)所示，發(fā)送第二層次級(jí)的象素m0,而不是發(fā)送例如 最低層次級(jí)的象素m0至m3的右下位置上的像素h03。同樣，第二層次級(jí)的 剩余像素ml、 m2和q被發(fā)送，而不是發(fā)送第一層次級(jí)的象素h13、 h23和 h33。盡管像素q不是第二層次級(jí)的一個(gè)像素，但它被發(fā)送，而不是發(fā)送直接 從像素h30至h33得到的像素m3。因而，發(fā)送像素q，而不是發(fā)送替代像素 h33的像素m3。
因而，如圖9(C)所示，發(fā)送的像素?cái)?shù)目變成4x4像素16像素。因 此發(fā)送的像素?cái)?shù)目相同于僅僅發(fā)送圖9( A )所示的最低層次級(jí)的象素的情況。 在這種情況下，發(fā)送的數(shù)據(jù)量可以避免增加。
替代像素q發(fā)送的像素m3以及替代像素m0至m3發(fā)送的像素h03、hl3、 h23和h33可以按下述方式被解碼。
換言之，由于q是m0至m3的平均值，因此滿足等式q = (m0+ml+m2+m3 ) /4。因此可以相應(yīng)于等式m3=4xq — (m0+ml+m2)用第 三層次級(jí)的象素q和第二層次級(jí)的象素m0至m2獲得(解碼)第二層次級(jí)的 象素m3。
此外，由于m0是h00至h03的平均值，因此滿足等式 m0=(h00+h01+h02+h03)/4。因此，相應(yīng)于等式h03=4xm0 - ( h00+h01+h02 )， 可以用第二層次級(jí)的象素mO和第一層次級(jí)的象素h00至h02獲得第一層次 級(jí)的象素h03。按相同的方式，可以獲得hl3、 h23和h33。
因此，在未在一個(gè)特定層次級(jí)中發(fā)送的像素可以用該層次級(jí)中發(fā)送的像 素和上一級(jí)的層次級(jí)的一個(gè)像素來解碼。
下面將結(jié)合圖10所示的流程圖說明圖7所示的發(fā)送處理部分16的發(fā)送 處理。
在步驟S21，在發(fā)送處理部分16中，控制部分35確定接收設(shè)備2是否 已經(jīng)發(fā)送控制信號(hào)。當(dāng)步驟S21的確定結(jié)果表明控制信號(hào)還未從接收設(shè)備2 發(fā)送(即，控制部分35還未接收到該控制信息)時(shí)，流程前進(jìn)到步驟S22。 控制部分35控制MUX32選擇背景圖像、對(duì)象和附加信息的編碼數(shù)據(jù)，并多
路復(fù)用它們，以使接收設(shè)備2可以用正常的時(shí)間分辨率(例如， 一個(gè)默認(rèn)時(shí)間分辨率)顯示一個(gè)圖像。
當(dāng)正常的時(shí)間分辨率是例如30幀/秒時(shí)，MUX32選擇背景圖像、對(duì)象和 附加信息的編碼數(shù)據(jù)，多路復(fù)用該編碼數(shù)據(jù)，和輸出該多路復(fù)用的數(shù)據(jù)，以 使該圖像用按傳送路徑3的傳送速率發(fā)送多路復(fù)用數(shù)據(jù)的最大時(shí)間分辨率來 顯示。
實(shí)際上，例如，在按三個(gè)層次級(jí)執(zhí)行分層編碼的情況中，當(dāng)(只有)第 三層次級(jí)的數(shù)據(jù)以傳送路徑3的傳送速率發(fā)送時(shí)，選擇背景圖像、對(duì)象和附 加信息的編碼數(shù)據(jù)以顯示第三層次級(jí)的圖像。因此，在這種情況下，接收設(shè) 備2用是原始圖像(第一層次級(jí))的1/4 (水平方向和垂直方向)的空間分辨 率和30幀/秒的時(shí)間分辨率來顯示一個(gè)圖像。
此后，流程前進(jìn)到步驟S23。在步驟S23,發(fā)送部分33發(fā)送MUX32經(jīng) 傳送路徑3輸出的多路復(fù)用數(shù)據(jù)。此后，步驟返回到步驟S21。
當(dāng)步驟S21上的確定結(jié)果表明控制信號(hào)已經(jīng)從接收設(shè)備2發(fā)送(即，控 制部分35已經(jīng)接收到該控制信息)時(shí)，流程前進(jìn)到步驟S24?？刂撇糠?5 相應(yīng)于控制信號(hào)操縱控制信息輸入部分24,從而認(rèn)可指定的考慮點(diǎn)。此后， 流程前進(jìn)到步驟S25。
在步驟S25，控制部分35把具有一個(gè)考慮點(diǎn)(矩形框具有在幀水平方向 和垂直方向的平行邊并且考慮點(diǎn)在矩形框的重心上)周圍預(yù)定尺寸的矩形那 樣的區(qū)域指定為 一個(gè)優(yōu)先權(quán)范圍，在該范圍中用優(yōu)先權(quán)改善空間分辨率并且 檢測(cè)在該優(yōu)先權(quán)范圍中組成圖像的背景圖像、對(duì)象和附加信息。
此后，流程前進(jìn)到步驟S26。在步驟S26,控制部分35控制MUX32選 擇和多路復(fù)用背景圖像、對(duì)象和附加信息的編碼數(shù)據(jù)，并多路復(fù)用被選擇的 編碼數(shù)據(jù)以使接收設(shè)備2可以用較高的時(shí)間分辨率顯示該優(yōu)先權(quán)范圍內(nèi)的圖 像。
換言之，當(dāng)控制部分35接收來自接收設(shè)備2的控制信號(hào)時(shí)，控制部分 35控制MUX32以犧牲時(shí)間分辨率為代價(jià)來改善優(yōu)先權(quán)范圍內(nèi)的圖像的空間 分辨率。
因此，MUX32用優(yōu)先權(quán)選擇顯示第三層次級(jí)的圖像和第二層次級(jí)的圖 像所需的背景圖像、對(duì)象和附加信息的編碼數(shù)據(jù)，多路復(fù)用被選擇的編碼數(shù) 據(jù)和輸出該多路復(fù)用的數(shù)據(jù)。 此外，在步驟S26，控制部分35控制MUX32把優(yōu)先權(quán)范圍、大小等等 的位置信息插入到選作多路復(fù)用數(shù)據(jù)的附加信息中。此后，流程前進(jìn)到步驟 S23。
在步驟S23，如上述的那樣，發(fā)送部分33發(fā)送MUX32經(jīng)傳送路徑3輸 出的多路復(fù)用數(shù)據(jù)。此后，流程返回到步驟S21。
為簡(jiǎn)單起見，假定在步驟S26上對(duì)于作為非優(yōu)先權(quán)范圍中的一個(gè)圖像的 第三層次級(jí)的一個(gè)圖像連續(xù)選擇顯示第三層次級(jí)的圖像的背景信息、對(duì)象和 附加信息的編碼數(shù)據(jù)，被多路復(fù)用的數(shù)據(jù)量大于在步驟S22上的優(yōu)先權(quán)范圍 內(nèi)的圖像的第二層次級(jí)的數(shù)據(jù)的情形。根據(jù)本發(fā)明的實(shí)施例，按照上述的方 式以30幀/秒顯示圖像，則僅以傳送路徑3的傳送速率發(fā)送第三層次級(jí)的數(shù) 據(jù)。這樣就不能發(fā)送步驟S26上獲得的多路復(fù)用數(shù)據(jù)，以便按30幀/秒顯示 圖像。從而，在步驟S23的極端情況下，在步驟S26上獲得的多路復(fù)用數(shù)據(jù) 用0幀/秒的時(shí)間分辨率發(fā)送。
因此，在這種情況下，對(duì)于優(yōu)先權(quán)范圍內(nèi)的圖像，接收設(shè)備2所顯示圖 像的水平方向和垂直方向每個(gè)的空間分辨率為原始圖像(即第一層次級(jí))空 間分辨率的1/2。換句話說，接收設(shè)備2顯示其水平方向和垂直方向每個(gè)的空 間分辨率二倍于第三層次級(jí)的圖像空間分辨率的圖像(第二層次級(jí))。然而， 其時(shí)間分辨率為0幀/秒。換言之，接收設(shè)備2顯示一個(gè)靜止圖像。
在發(fā)送用于優(yōu)先權(quán)范圍內(nèi)圖像的第二層次級(jí)的數(shù)據(jù)之后，當(dāng)步驟S21的 確定結(jié)果表明已經(jīng)再次從接收設(shè)備2發(fā)送(即，用戶連續(xù)操作控制信息輸入 部分24并指定相同的考慮點(diǎn))控制信號(hào)時(shí)，流程前進(jìn)到步驟S24。在步驟S24, 控制部分35認(rèn)可該相同的考慮點(diǎn)。此后，流程前進(jìn)到步驟S25。在步驟S25, 控制部分35指定相同的優(yōu)先權(quán)范圍。此后，流程前進(jìn)到步驟S26。
在步驟S26,控制部分35控制MUX32選擇背景圖像、對(duì)象、和附加信 息的編碼數(shù)據(jù)和多路復(fù)用該選擇的編碼數(shù)據(jù)，以使接收設(shè)備2可以顯示具有 較高空間分辨率的優(yōu)先權(quán)范圍內(nèi)的圖像。
在這種情況下，對(duì)于優(yōu)先權(quán)范圍內(nèi)的圖像，用優(yōu)先權(quán)選擇第三層次級(jí)和 第二層次級(jí)的背景圖像、對(duì)象和附加信息的編碼數(shù)據(jù)。在這種情況下，用優(yōu) 先權(quán)選擇第一層次級(jí)的背景圖像、對(duì)象和附加信息的編碼數(shù)據(jù)，并按多路復(fù) 用數(shù)據(jù)輸出。此外，在步驟S26,如上所述，高分辨率信息被插入附加信息 中。此后，流程前進(jìn)到步驟S23。在步驟S23,發(fā)送部分33發(fā)送MUX32經(jīng)
說明書第17/73頁
傳送路徑3輸出的多路復(fù)用數(shù)據(jù)。此后，流程前進(jìn)到步驟S21。
因此，在這種情況下，對(duì)于優(yōu)先權(quán)范圍內(nèi)的圖像，接收設(shè)備2顯示具有
與原始圖像(第一層次級(jí))相同的空間分辨率的圖像。換句話說，接收設(shè)備
2顯示具有四倍于第三層次級(jí)的圖像的空間分辨率(水平方向和垂直方向的 每個(gè)中的)的圖像。然而，時(shí)間分辨率例如為0幀/秒。換言之，接收設(shè)備2 顯示一個(gè)靜止圖像。
因而，當(dāng)用戶連續(xù)操作控制信息輸入部分24和指定相同的考慮點(diǎn)時(shí)，對(duì) 于含有該考慮點(diǎn)的優(yōu)先權(quán)范圍內(nèi)的圖像，以圖像的時(shí)間分辨率為代價(jià)借助優(yōu)
先權(quán)發(fā)送改善了空間分辨率的數(shù)據(jù)。因而，盡管圖像的時(shí)間分辨率惡化，但 含有考慮點(diǎn)的優(yōu)先權(quán)內(nèi)的圖像的空間分辨率得到了改善。因此，優(yōu)選權(quán)范圍 內(nèi)的圖像被更加清楚地顯示。換句話說，用戶考慮的部分的圖像被更加清楚 地顯示。
因此，圖像數(shù)據(jù)的發(fā)送被控制，以使含有一個(gè)考慮點(diǎn)的特定優(yōu)先權(quán)范圍 內(nèi)的圖像的空間分辨率和時(shí)間分辨率在按傳送路徑3傳送速率發(fā)送的圖像數(shù) 據(jù)的分辨率范圍內(nèi)變化。換句話說，圖像數(shù)據(jù)的發(fā)送被控制，以使優(yōu)先權(quán)范 圍內(nèi)的圖像的空間分辨率得到改善和使該圖像的時(shí)間分辨率惡化。因而，借 助于按傳送路徑3的傳送速率發(fā)送的圖像數(shù)據(jù)獲得改善的空間分辨率分辨率 和惡化的時(shí)間分辨率。結(jié)果，在一個(gè)限制的傳輸速率上，接收設(shè)備2所顯示 的圖像的空間分辨率可以進(jìn)一步得到改善。
下面圖11示出了圖5所示的接收處理部分21的結(jié)構(gòu)實(shí)例。 接收部分51經(jīng)傳送路徑3接收多路復(fù)用的數(shù)據(jù)。在多路復(fù)用數(shù)據(jù)被解調(diào) 后，供給DMUX (解復(fù)用器)52。 DMUX52把從接收部分51接收的多路復(fù) 用數(shù)據(jù)分解成背景圖像、對(duì)象和附加信息的編碼數(shù)據(jù)，和把分解的數(shù)據(jù)供應(yīng) 給解碼部分53。解碼部分53把背景圖像、對(duì)象和附加信息的編碼數(shù)據(jù)解碼 成它們的原始數(shù)據(jù)并輸送給組合處理部分22 (參見圖5)。
換言之，圖12示出了圖11所示的解碼部分53的結(jié)構(gòu)實(shí)例。 作為背景圖像的編碼數(shù)據(jù)的分層編碼差值數(shù)據(jù)被供應(yīng)給加法裝置61B。 此外，已經(jīng)解碼并存儲(chǔ)在存儲(chǔ)部分62B中的前一幀的一個(gè)背景圖像也送給加 法裝置61B。加法裝置61B將背景圖像的差值數(shù)據(jù)和自存儲(chǔ)部分62B接收的 前一幀的背景圖像相加，以便對(duì)一個(gè)預(yù)期層次級(jí)的背景圖像進(jìn)行解碼。該解 碼的背景圖像被供應(yīng)給存儲(chǔ)部分62B。存儲(chǔ)部分62B存儲(chǔ)從加法裝置61B接
收的背景圖像。該解碼的背景圖像被供應(yīng)給加法裝置61B和組合處理部分22 (參見圖5)。
作為對(duì)象編碼數(shù)據(jù)的分層編碼差值數(shù)據(jù)被供應(yīng)給加法器61F。加法裝置 61F和存儲(chǔ)部分62F ^丸行與加法裝置61B和存儲(chǔ)部分62B相似的處理。從而， 按照與背景圖像相同的方式，把對(duì)象的差值數(shù)據(jù)解碼為預(yù)期的層次級(jí)的對(duì)象， 然后供應(yīng)給組合處理部分22 (參見圖5)。當(dāng)存在多個(gè)對(duì)象時(shí)，加法部分61F 和存儲(chǔ)部分62F對(duì)多個(gè)對(duì)象的差值數(shù)據(jù)進(jìn)行解碼(分層解碼)。
作為附加信息編碼數(shù)據(jù)的用可變長(zhǎng)度碼編碼的附加信息被供應(yīng)給反向 VLC部分63。反向VLC部分63用可變長(zhǎng)度編碼對(duì)該附加信息進(jìn)行解碼。從 而獲得原始附加信息，并供應(yīng)給組合處理部分22。
圖8所示的本地解碼器44B被構(gòu)成為加法裝置61B和存儲(chǔ)部分62B。同 樣，本地解碼器44F ^^皮構(gòu)成為加法裝置61F和存〗諸部分62F。
圖13示出了圖5所示的組合處理部分22的結(jié)構(gòu)實(shí)例。
解碼部分53輸出的背景圖像(參見圖1 )被供應(yīng)給背景圖像寫入部分71。 解碼部分53輸出的對(duì)象被供應(yīng)給對(duì)象寫入部分72。解碼部分53輸出的附加 信息被供應(yīng)給背景圖像寫入部分71、對(duì)象寫入部分72和組合部分77。
背景圖像寫入部分71連續(xù)地把背景圖像寫入背景圖像存儲(chǔ)器73。當(dāng)一 個(gè)圖像是在攝像機(jī)搖鏡頭或傾斜情況下拍攝的時(shí)，背景圖像是移動(dòng)的。在此 點(diǎn)，背景圖像寫入部分定位該背景圖像，然后把定位的背景圖像寫入背景圖 像存儲(chǔ)器73。因此，背景圖像存儲(chǔ)器73可以存儲(chǔ)一個(gè)在空間上寬于一幀的 圖像的圖像。背景圖像是相應(yīng)于包含在附加信息中的一個(gè)背景圖像移動(dòng)矢量 來定位背景圖像的。
當(dāng)背景圖像寫入部分71把具有高空間分辨率的背景圖像寫入背景圖像 存儲(chǔ)器73時(shí)，背景圖像寫入部分71相應(yīng)于從0至1的背景圖像的像素來改 變按背景圖像標(biāo)志存儲(chǔ)器74的地址所存儲(chǔ)的背景圖像標(biāo)志的數(shù)值。當(dāng)背景圖 像寫入部分71把一個(gè)背景圖像寫入背景圖像存儲(chǔ)器73時(shí)，背景圖像寫入部 分71核對(duì)背景圖像標(biāo)記存儲(chǔ)器74。背景圖像寫入部分71不將一個(gè)具有低空 間分辨率的背景圖像寫入其背景圖像標(biāo)志是1 (表明該像素存儲(chǔ)具有高空間 分辨率的一個(gè)背景圖像)的一個(gè)像素上。因而，大體上，不論背景圖像何時(shí) 供應(yīng)給背景圖像寫入部分71,都被寫入到背景圖像存儲(chǔ)器73。然而，背景圖 像寫入部分71并不把具有低空間分辨率的背景圖像寫入到存儲(chǔ)具有高空間
分辨率的背景圖像的像素上。結(jié)果，無論高空間分辨率的背景圖像何時(shí)供應(yīng) 給背景背景圖像寫入部分71,都使高空間分辨率的范圍在背景圖像存儲(chǔ)器內(nèi) 變寬。
對(duì)象寫入部分72連續(xù)地把所供給的對(duì)象寫入到對(duì)象存儲(chǔ)器75上。當(dāng)存 在多個(gè)對(duì)象時(shí)，對(duì)象寫入部分72把每個(gè)對(duì)象寫入到對(duì)象存儲(chǔ)器75。當(dāng)對(duì)象 寫入部分72把相同的對(duì)象(分配相同的標(biāo)志)寫入到對(duì)象存儲(chǔ)器75時(shí)，對(duì) 象寫入部分72用新對(duì)象(新近供應(yīng)給對(duì)象寫入部分72的對(duì)象)替代舊對(duì)象。
此外，當(dāng)對(duì)象寫入部分72把高空間分辨率的一個(gè)對(duì)象寫入到對(duì)象存儲(chǔ)器 75時(shí)，對(duì)象寫入部分72相應(yīng)于從0到1的對(duì)象的像素改變按對(duì)象標(biāo)識(shí)存儲(chǔ) 器76的一個(gè)地址存儲(chǔ)的一個(gè)背景圖像標(biāo)志。當(dāng)對(duì)象寫入部分72把對(duì)象寫入 到對(duì)象存儲(chǔ)器75時(shí)，對(duì)象寫入部分72核對(duì)對(duì)象標(biāo)志存儲(chǔ)器76。對(duì)象寫入部 分72不把具有低空間分辨率的對(duì)象寫入到存儲(chǔ)高空間分辨率的對(duì)象(對(duì)象標(biāo) 志=1 )的對(duì)象存儲(chǔ)器75上。以背景圖像存儲(chǔ)器73相同的方式，無論對(duì)象何 時(shí)供給對(duì)象寫入部分72，都將該對(duì)象寫入到對(duì)象寫入部分72。然而，對(duì)象寫 入部分72不把低空間分辨率的對(duì)象寫入到存儲(chǔ)高空間分辨率的對(duì)象的一個(gè) 象素上。結(jié)果，無論高空間分辨率的對(duì)象何時(shí)被供應(yīng)給對(duì)象寫入部分72，高 空間分辨率的對(duì)象的數(shù)目在對(duì)象存儲(chǔ)器75中遞增。
背景圖像存儲(chǔ)器73存儲(chǔ)從背景圖像寫入部分71供應(yīng)的背景圖像。背景 圖像標(biāo)志存儲(chǔ)器74按背景圖像存儲(chǔ)器73的一個(gè)地址存儲(chǔ)上述的一比特背景 圖像標(biāo)志。背景圖像標(biāo)志存儲(chǔ)器74表示高空間分辨率的背景圖像是否已經(jīng)被 存儲(chǔ)在背景圖像存儲(chǔ)器73的一個(gè)地址上。對(duì)象存儲(chǔ)器75至少包括一個(gè)存儲(chǔ) 從對(duì)象寫入部分72供給的每個(gè)對(duì)象的存儲(chǔ)器部分。對(duì)象標(biāo)志存儲(chǔ)器部分76 存儲(chǔ)上述的一比特對(duì)象標(biāo)志，該標(biāo)志代表一個(gè)高空間分辨率的對(duì)象是否已經(jīng) 存儲(chǔ)在對(duì)象存儲(chǔ)器75中。
在這種情況下，為簡(jiǎn)單起見，背景圖像標(biāo)志和對(duì)象標(biāo)志是一比特標(biāo)志。 另一方面，背景圖像標(biāo)志和對(duì)象標(biāo)志可以是多比特標(biāo)志。在此情況下，背景 圖像標(biāo)志和對(duì)象標(biāo)志可以代表多等級(jí)分辨率。換句話說， 一比特標(biāo)志只代表 高分辨率和低分辨率這兩個(gè)等級(jí)。然而， 一個(gè)多比特標(biāo)志代表多等級(jí)分辨率。
組合部分77相應(yīng)于附加信息中含有的一個(gè)背景圖像移動(dòng)矢量讀出背景 圖像存儲(chǔ)器73中存儲(chǔ)的當(dāng)前幀(該幀可以被稱之為考慮幀)的背景圖像。此 外，組合部分77相應(yīng)于附加信息中含有的一個(gè)對(duì)象移動(dòng)矢量來組合該背景圖
像和對(duì)象存儲(chǔ)器75中存儲(chǔ)的一個(gè)對(duì)象。結(jié)果，組合部分77生成一個(gè)考慮幀 的圖像，并把該圖像供給一個(gè)顯示存儲(chǔ)器78。
此外，組合部分77接收來自控制信息輸入部分24 (參見圖5 )的控制信 息時(shí)，組合部分77從對(duì)象存儲(chǔ)器75中讀出該控制信息中含有的考慮點(diǎn)上的 一個(gè)對(duì)象，并把該對(duì)象供給子窗口存儲(chǔ)器79。
顯示存儲(chǔ)器78作為一個(gè)所謂的VRAM (視頻只讀存儲(chǔ)器)。顯示存儲(chǔ)器 78暫時(shí)存儲(chǔ)組合部分77供給的考慮幀的圖像。
子窗口存儲(chǔ)器79暫時(shí)存儲(chǔ)組合部分77供給的一個(gè)對(duì)象。
疊加部分80讀出顯示存儲(chǔ)器78的存儲(chǔ)內(nèi)容，并把存儲(chǔ)的內(nèi)容供給圖像 輸出部分23 (參見圖5)。圖像輸出部分23顯示該存儲(chǔ)的內(nèi)容。必要時(shí)，疊 加部分80打開圖像輸出部分23上的子窗口 (下文將進(jìn)行說明)，讀出子窗口 存儲(chǔ)器79的存儲(chǔ)內(nèi)容，并在該子窗口上顯示該內(nèi)容。
下面，結(jié)合圖14將說明圖13所示的組合處理部分22所執(zhí)行的處理(組 合處理)。
首先，在步驟S31,背景圖像寫入部分71或?qū)ο髮懭氩糠?2分別相應(yīng) 于背景圖像標(biāo)志存儲(chǔ)器74以上述方式所存儲(chǔ)的背景圖像標(biāo)志或?qū)ο髽?biāo)志存 儲(chǔ)器75以上述方式所存儲(chǔ)的對(duì)象標(biāo)志將解碼部分53 (參見圖12)供給的一 個(gè)背景圖像或一個(gè)對(duì)象寫入相關(guān)存儲(chǔ)器。
換言之，背景圖像寫入部分71核對(duì)背景圖像標(biāo)志存儲(chǔ)器74,并且把供 給的背景圖像寫入到背景圖像存儲(chǔ)器73的該地址上，此時(shí)與該地址相對(duì)應(yīng)的 象素的背景圖像標(biāo)志為0。相反，如果供給的背景圖像的空間分辨很高時(shí)， 背景圖像寫入部分71把該背景圖像寫入背景圖像存儲(chǔ)器73的一個(gè)地址上， 此時(shí)對(duì)應(yīng)該地址的象素的背景圖像標(biāo)志為1。
同樣，當(dāng)對(duì)象存儲(chǔ)器75的對(duì)象標(biāo)志為0時(shí)，對(duì)象寫入部分72將供給的 對(duì)象寫入到對(duì)象存儲(chǔ)器75。當(dāng)對(duì)象存儲(chǔ)器75的對(duì)象標(biāo)志為1時(shí)，如果供給 的對(duì)象的空間分辨率很高時(shí)，對(duì)象寫入部分72將供給的對(duì)象寫入到對(duì)象存儲(chǔ) 器75。
當(dāng)背景圖像寫入部分71將背景圖像寫入到背景圖像存儲(chǔ)器73的 一個(gè)特 定地址時(shí)，如果該地址已經(jīng)存儲(chǔ)了一個(gè)背景圖像，則背景圖像寫入部分71將 該背景圖像覆蓋寫到該地址上。該處理也適用于對(duì)象存儲(chǔ)器75。
此后，流程前進(jìn)到步驟S32。在步驟S32,背景圖像寫入部分71和對(duì)象
寫入部分72確定附加信息是否含有高分辨率信息。當(dāng)步驟S32上的確定結(jié)果 表明附加信息含有高分辨率信息(即，用戶已經(jīng)操作控制信息輸入部分24(參 見圖5)、合成控制信息已經(jīng)發(fā)送給發(fā)送設(shè)備，以及發(fā)送設(shè)備1隨后已經(jīng)為優(yōu) 先權(quán)范圍內(nèi)的一個(gè)圖像發(fā)送高空間分辨率的 一個(gè)背景圖像和一個(gè)對(duì)象)時(shí)， 流程前進(jìn)到步驟S33。在步驟S33,背景圖像寫入部分71或?qū)ο髮懭氩糠?2 將背景圖像標(biāo)志存儲(chǔ)器74的背景圖像標(biāo)志或?qū)ο髽?biāo)志存儲(chǔ)器76的對(duì)象標(biāo)志 改變?yōu)?。
換句話說，當(dāng)發(fā)送設(shè)備1為優(yōu)先權(quán)范圍內(nèi)的一個(gè)圖像發(fā)送具有高空間分 辨率的一個(gè)背景圖像和一個(gè)對(duì)象時(shí)，在步驟S31,背景圖像寫入部分71和對(duì) 象寫入部分72將具有高空間分辨率的背景圖像和對(duì)象分別寫入背景圖像存 儲(chǔ)器73和對(duì)象存儲(chǔ)器75。因而，在步驟S33，組成具有高空間分辨率的背景 圖像和對(duì)象的 一個(gè)象素的背景圖像標(biāo)志和對(duì)象標(biāo)志被改變?yōu)? 。
此后，流程前進(jìn)到步驟S34。組合部分77從對(duì)象存儲(chǔ)器75中讀出優(yōu)先 權(quán)范圍內(nèi)的一個(gè)對(duì)象，并把該對(duì)象寫入子窗口存儲(chǔ)器79。
換句話說，當(dāng)步驟S32上的確定結(jié)果表明附加信息含有高分辨率信息時(shí)， 則表示用戶已經(jīng)操作了控制信息輸入部分24(參見圖5)、控制信息已經(jīng)被發(fā) 送給發(fā)送設(shè)備1、以及發(fā)送設(shè)備1隨后為優(yōu)先權(quán)范圍內(nèi)的一個(gè)圖像已經(jīng)發(fā)送 具有高分辨率的一個(gè)背景圖像和一個(gè)對(duì)象。發(fā)送給發(fā)送設(shè)備1的控制信息還 供應(yīng)給組合部分77。因而，當(dāng)組合部分77接收控制信息時(shí)，在步驟S34上 組合部分77相應(yīng)于控制信息中含有的考慮點(diǎn)的坐標(biāo)認(rèn)同(recognize)其優(yōu)先 權(quán)范圍，從對(duì)象存儲(chǔ)器75中讀出發(fā)送設(shè)備l已經(jīng)發(fā)送的該優(yōu)先權(quán)范圍內(nèi)的高 空間分辨率對(duì)象，并把該對(duì)象寫入到子窗口存儲(chǔ)器79。
此后，流程前進(jìn)到步驟S35。在步驟S35,組合部分77相應(yīng)于附加信息 中含有的背景圖像移動(dòng)矢量從背景圖像存儲(chǔ)器7 3讀出顯示的當(dāng)前幀(該幀被 稱之為考慮幀)的背景圖像。此外，組合部分77從對(duì)象存儲(chǔ)器75讀出關(guān)于 該考慮幀的所顯示的一個(gè)圖像。組合部分77相應(yīng)于附加信息內(nèi)含有的對(duì)象移 動(dòng)矢量將該考慮幀的背景圖像與從對(duì)象存儲(chǔ)器75讀出的對(duì)象相組合，并把該 考慮幀的組合圖像寫入到顯示存儲(chǔ)器78。換言之，組合部分77將一個(gè)背景 圖像寫入到(例如)顯示存儲(chǔ)器78，隨后將一個(gè)對(duì)象覆蓋寫到顯示存儲(chǔ)器78 上。結(jié)果，組合部分77將一個(gè)背景圖像和一個(gè)對(duì)象被組合為一個(gè)考慮幀圖像 的一個(gè)圖像寫入到顯示存儲(chǔ)器78上。
在這種方式中，寫入到顯示存儲(chǔ)器78考慮幀的圖像和寫入到子窗口存儲(chǔ)
器79的一個(gè)對(duì)象被供應(yīng)給圖像輸出部分23 (參見圖5)。圖像輸出部分23顯 示供給的圖像和對(duì)象。
在發(fā)送設(shè)備l中，所謂的軟健可以被包含在例如附加信息中。在這種情 況下，組合部分77使用軟健將對(duì)象和背景圖像相組合。
相反，當(dāng)步驟S32上的確定確定結(jié)果表明附加信息不包含高分辨率信息 (即，用戶未操作控制信息輸入部分24 (參見圖5))，流程前進(jìn)到步驟S35, 跳過步驟33和34。如上所述，組合部分77從背景圖像存儲(chǔ)器73中讀出考 慮幀的一個(gè)背景圖像。此外，組合部分77從對(duì)象存儲(chǔ)器75中讀出一個(gè)所需 對(duì)象，并相應(yīng)于附加信息將考慮幀的背景圖像與從對(duì)象存儲(chǔ)器75中讀出的對(duì) 象相結(jié)合。結(jié)果，生成一個(gè)考慮幀的圖像，并將其寫入到顯示存儲(chǔ)器78。此 后，流程返回到步驟S31。然后，組合處理部分22重復(fù)相似的處理。
在上述組合處理中，當(dāng)用戶未操作控制信息輸入部分24(參見圖5 )(即， 由諸如沒有被拖動(dòng)(或點(diǎn)擊)的鼠標(biāo)的指點(diǎn)裝置組成的控制信息輸入部分24 ) 時(shí)，如圖15 (A)所示，低空間分辨率的圖像在圖像輸出部分23 (參見圖5) 上用一個(gè)默認(rèn)時(shí)間分辨率顯示。在圖15 (A)中，低空間分辨率的圖像在低 空間分辨率的背景圖像上移動(dòng)。
當(dāng)用戶操作控制信息輸入部分24 (參見圖5)時(shí)，把光標(biāo)移動(dòng)到對(duì)象， 并把該光標(biāo)拖動(dòng)到對(duì)象的位置上，像上所述的那樣，將控制信息發(fā)送給發(fā)送 設(shè)備1。發(fā)送設(shè)備1以時(shí)間分辨率為代價(jià)為一個(gè)優(yōu)先權(quán)范圍內(nèi)的圖像發(fā)送顯 示高空間分辨率圖像所需的數(shù)據(jù)。結(jié)果，如圖15 (B)所示的那樣，盡管時(shí) 間分辨率為(例如)0幀/秒，但在圖像輸出部分23 (參見圖5)上顯示出圍 繞拖動(dòng)位置的優(yōu)先權(quán)范圍內(nèi)的一個(gè)對(duì)象和一個(gè)背景圖像的空間分辨率被逐漸 改善的圖像。換句話說，相應(yīng)于拖動(dòng)時(shí)間(或點(diǎn)擊的數(shù)目)，在優(yōu)先權(quán)范圍內(nèi) 的圖像的空間分辨率被逐漸改善。
在此情況下，如圖15 (B)所示，在圖像輸出部分23 (參見圖5)上打 開一個(gè)子窗口 。圍繞拖動(dòng)位置的優(yōu)先權(quán)范圍內(nèi)的一個(gè)對(duì)象按照對(duì)象的空間分 辨率被逐漸改善的方式來顯示。
此后，當(dāng)用戶用控制信息輸入部分24 (參見圖5)停止拖動(dòng)操作時(shí)，如 上述的那樣，在步驟S35上組合部分77從背景圖像存儲(chǔ)器73讀出考慮幀的 一個(gè)背景圖像，從對(duì)象存儲(chǔ)器75讀出一個(gè)對(duì)象，相應(yīng)于附加信息將考慮幀的
背景圖像與從對(duì)象存儲(chǔ)器75中讀出的對(duì)象相組合，并將該組合圖像寫入到顯
示存儲(chǔ)器78。如上述的那樣，由于作為拖動(dòng)操作結(jié)果的高空間分辨的對(duì)象被 存儲(chǔ)在對(duì)象存儲(chǔ)器75中，圖像輸出部分23 (參見圖5)用圖15 (C)所示的 常規(guī)時(shí)間分辨率顯示在考慮幀的相關(guān)位置上粘貼作為拖動(dòng)操作結(jié)果的具有高 空間分辨率的 一個(gè)對(duì)象的圖像。
此后，圖像輸出部分23 (參見圖5)用常規(guī)時(shí)間分辨率顯示相應(yīng)于附加 信息移動(dòng)的高空間分辨率的一個(gè)對(duì)象的圖像。
因而，當(dāng)用戶執(zhí)行在他或她要仔細(xì)觀看的對(duì)象的位置上的拖動(dòng)操作時(shí)， 他或她可以觀看具有高空間分辨率的對(duì)象。換句話說，用戶可以詳細(xì)觀看一 個(gè)對(duì)象。
當(dāng)用戶執(zhí)行拖動(dòng)操作時(shí)，優(yōu)先權(quán)范圍內(nèi)的高空間分辨率的背景圖像被存 儲(chǔ)在背景圖像存儲(chǔ)器73。因而，即使用戶停止拖動(dòng)操作，也顯示背景圖像存 儲(chǔ)器73內(nèi)存儲(chǔ)的高空間分辨率的背景圖像。因而，當(dāng)用戶執(zhí)行拖動(dòng)操作時(shí)， 由于圍繞拖動(dòng)位置的優(yōu)先權(quán)范圍內(nèi)的背景圖像被改善，因此無論用戶何時(shí)執(zhí) 行在圖像輸出部分23 (參見圖5)的顯示屏幕的每個(gè)位置上的拖動(dòng)操作，高 空間分辨率的背景圖像按一個(gè)鑲嵌模式逐漸展寬。最后，圖像輸出部分23顯 示整個(gè)高空間分辨率的背景圖像。
此外，根據(jù)該實(shí)施例，如上所述，由于一個(gè)背景圖像被存儲(chǔ)在背景圖像 存儲(chǔ)器73中，因此發(fā)送設(shè)備1不需要發(fā)送一個(gè)已經(jīng)發(fā)送的具有低空間分辨率 的一個(gè)背景圖像。因而，背景圖像的傳送帶寬(傳送速率)可以分配給高空 間分辨率的一個(gè)對(duì)象和一個(gè)背景圖像。
在上述情況下，作為拖動(dòng)操作結(jié)果的高空間分辨率的對(duì)象被存儲(chǔ)到對(duì)象 存儲(chǔ)器75。停止拖動(dòng)操作后，該高空間分辨率的對(duì)象被粘貼到背景圖像上。 因而，由接收設(shè)備2所顯示的一個(gè)對(duì)象的空間分辨率變得高了。然而，發(fā)送 設(shè)備1所拍攝的對(duì)象的狀態(tài)不對(duì)接收設(shè)備2所顯示的對(duì)象發(fā)生影響。
為了解決這一問題，在停止拖動(dòng)操作后，存儲(chǔ)在對(duì)象存儲(chǔ)器75中的高空 間分辨率的一個(gè)對(duì)象可以用解碼部分53 (參見圖12)的存儲(chǔ)部分62F中存儲(chǔ) 的一個(gè)對(duì)象替代，而忽略對(duì)象標(biāo)志。換句話說，發(fā)送設(shè)備1發(fā)送的對(duì)象被連 續(xù)存儲(chǔ)到解碼部分53 (參見圖12)的存儲(chǔ)部分62F上。因而，當(dāng)對(duì)象被寫入 到對(duì)象存儲(chǔ)器75時(shí)，圖像輸出部分23上顯示的一個(gè)圖像的對(duì)象受發(fā)送設(shè)備 l拍攝的對(duì)象的狀態(tài)影響(然而，該對(duì)象的空間分辨率降低)。
包括發(fā)送設(shè)備1的發(fā)送處理部分16的圖7所示的MUX32在控制部分 35的控制下將高分辨率信息的有/無、對(duì)應(yīng)于該高分辨率信息的優(yōu)先權(quán)范圍內(nèi) 的一個(gè)幀速率(時(shí)間分辨率)和一個(gè)空間分辨率、以及非優(yōu)先權(quán)范圍內(nèi)的一 個(gè)幀速率和一個(gè)空間分辨率放置到多路復(fù)用數(shù)據(jù)的一個(gè)首部或類似物上。接 收設(shè)備2相應(yīng)于該首部(header)內(nèi)放置的信息(在下文中將該信息稱作首部 信息)認(rèn)同高分辨率信息的有/無、優(yōu)先權(quán)范圍內(nèi)的幀速率和空間分辨率、以 及非優(yōu)先權(quán)范圍內(nèi)的幀速率和空間分辨率。
在發(fā)送設(shè)備1中，首部信息可以包含例如接收設(shè)備2發(fā)送的控制信息中 所含有的考慮點(diǎn)的(坐標(biāo))。在該情況下，圖13所示的組合部分77可以相應(yīng) 于發(fā)送設(shè)備1所發(fā)送的首部信息認(rèn)同一個(gè)考慮點(diǎn)位置上的一個(gè)對(duì)象。換句話 說，在上述情況中，組合部分77相應(yīng)于控制信息輸入部分24 (參見圖5)供 給的控制信息認(rèn)同控制信息中含有的考慮點(diǎn)位置上的一個(gè)對(duì)象，從對(duì)象存儲(chǔ) 器75中讀出對(duì)象，并把該對(duì)象供應(yīng)給子窗口存儲(chǔ)器79。然而，當(dāng)首部信息 含有一個(gè)考慮點(diǎn)時(shí)，組合部分77相應(yīng)于該首部信息認(rèn)同該考慮點(diǎn)一個(gè)位置上 的一個(gè)對(duì)象。在此情況下，在圖5中，控制信息輸入部分24不需要把該控制 信息供應(yīng)給接收設(shè)備2。
下面，結(jié)合圖16說明發(fā)送設(shè)備1經(jīng)傳送路徑3向接收設(shè)備2發(fā)送的一個(gè) 圖像的空間分辨率與時(shí)間分辨率之間的關(guān)系。
假定傳送路徑3的傳送速率為R (bps)以及發(fā)送了由一個(gè)背景圖像和三 個(gè)對(duì)象#1至#3組成的一個(gè)圖像。為簡(jiǎn)便起見，在該實(shí)施例中不考慮附加信 息。此外，假定為了顯示具有特定空間分辨率的背景圖像和對(duì)象#1至#3, 它們的每個(gè)需要相同的數(shù)據(jù)量。
在此情況下，當(dāng)用戶不執(zhí)行拖動(dòng)操作時(shí)，在發(fā)送設(shè)備l中，如圖16(A) 所示，按傳送速率R除以4的R/4[bps]發(fā)送背景圖像和對(duì)象弁l至并3。當(dāng)常 規(guī)時(shí)間分辨率為1/T幀/秒時(shí)，發(fā)送設(shè)備l在至多T秒的時(shí)間內(nèi)可以發(fā)送背景 圖像和對(duì)象#1至#3的每個(gè)的一幀數(shù)據(jù)。因而，在此情況下，接收設(shè)備2顯 示用每幀TxR/4比特的數(shù)據(jù)獲得的一個(gè)空間分辨率的背景圖像和對(duì)象#1至 #3。
當(dāng)用戶執(zhí)行在例如對(duì)象#1的位置上的拖動(dòng)操作時(shí)，如圖16 (A)所示， 發(fā)送設(shè)備1停止發(fā)送背景圖像和對(duì)象#2和#3,并以傳送路徑3的整個(gè)傳送 速率R僅發(fā)送對(duì)象# 1 。此后，在從時(shí)間tl經(jīng)過時(shí)段4T的時(shí)間t2上，當(dāng)用
戶停止拖動(dòng)操作時(shí)，發(fā)送設(shè)備1按每個(gè)傳送速率R/4來發(fā)送背景圖像和對(duì)象 # 1至#3。
因而，在用戶執(zhí)行拖動(dòng)操作的時(shí)候，發(fā)送設(shè)備1為對(duì)象#1發(fā)送4TxR 比特的數(shù)據(jù)。因此，^假定用戶執(zhí)行拖動(dòng)操作時(shí)，時(shí)間分辨率為0幀/秒，則接 收設(shè)備2顯示用每幀4TxR比特的數(shù)據(jù)獲得的一個(gè)空間分辨率的對(duì)象# 1。換 句話說，為相同量改善水平空間分辨率和垂直空間分辨率時(shí)，盡管時(shí)間分辨 率變?yōu)?幀/秒，但接收設(shè)備2顯示是用戶不執(zhí)行拖動(dòng)操作的情況的四倍(= (4TxR/(TxR/4比特)))的水平方向和垂直方向的每個(gè)中的一個(gè)空間分辨率 的對(duì)象#1。
換句話說，該空間分辨率的對(duì)象可以以犧牲時(shí)間分辨率為代價(jià)得到改善。 此外，與犧牲時(shí)間分辨率的情況相比較，用戶考慮的部分的空間分辨率可以 快速改善。
在上述情況下，當(dāng)用戶為對(duì)象#1執(zhí)行拖動(dòng)操作時(shí)，不發(fā)送背景圖像和 其它對(duì)象# 1和#3的所有數(shù)據(jù)。然而，如圖16(B)所示，可以把較高傳送 速率分配給對(duì)象#1的數(shù)據(jù)，而較低傳送速率可以分配給背景圖像和其它對(duì) 象#2和#3的數(shù)據(jù)。
另一方面，即使執(zhí)行了拖動(dòng)操作，分配給背景圖像和對(duì)象#1至#3的每 個(gè)的傳送速率也不會(huì)從R/4變化。換句話說，在此情況下，由于以時(shí)間分辨 率為代價(jià)改善空間分辨率，(例如)盡管花費(fèi)長(zhǎng)時(shí)間顯示數(shù)據(jù)，因此可以改善 空間分辨率，而不需要改變傳送速率。
根據(jù)該實(shí)施例，如上所述，作為拖動(dòng)操作結(jié)果的具有高空間分辨率的一 個(gè)對(duì)象被存儲(chǔ)在對(duì)象存儲(chǔ)器75中。在拖動(dòng)操作停止后，高空間分辨率的對(duì)象 被粘貼到一個(gè)背景圖像上。然而，粘貼高空間分辨率的對(duì)象的背景圖像的位 置取決于發(fā)送設(shè)備1發(fā)送的對(duì)象附加信息中含有的一個(gè)對(duì)象移動(dòng)矢量。
因而，接收設(shè)備2將應(yīng)當(dāng)相應(yīng)于什么樣的一個(gè)相鄰幀的對(duì)象來認(rèn)同什么 樣的一個(gè)特定幀的對(duì)象。因此，當(dāng)發(fā)送設(shè)備1的對(duì)象提取部分14(參見圖3) 提取一個(gè)對(duì)象時(shí)，對(duì)象提取部分14將允許接收設(shè)備2將執(zhí)行這樣一個(gè)認(rèn)同操 作的信息加到附加信息上。
圖17示出了圖3所示的對(duì)象提取部分14的結(jié)構(gòu)實(shí)例。
圖像輸入設(shè)備11輸出的一個(gè)圖像和背景圖像提取部分13輸出的一個(gè)背 景圖像被供應(yīng)給一個(gè)減法部分81。減法部分81從圖像輸入部分輸出的圖像
中減去背景圖像提取部分13輸出的背景圖像，和獲得作為 一個(gè)對(duì)象的一個(gè)前 景圖像。減法部分81獲得的前景圖像被供應(yīng)給幀存儲(chǔ)器82和初始區(qū)域劃分
部分83。
幀存儲(chǔ)器82暫時(shí)存儲(chǔ)減法部分81所供給的前景圖像。初始區(qū)域劃分部 分83使用減法部分81供給的處理的當(dāng)前幀(該幀被稱作考慮幀)的前景圖 像和幀存儲(chǔ)器82中存儲(chǔ)的前一幀的前景圖像(該前景圖像被稱作在前幀的前 景圖像)執(zhí)行初始區(qū)域劃分處理。
換句話說，初始區(qū)域劃分部分83相應(yīng)于象素值按類別歸類組成考慮幀的 前景圖像的每個(gè)象素。實(shí)際上，當(dāng)一個(gè)象素值由RGB (紅、綠、藍(lán))表示時(shí)， 初始區(qū)域劃分部分83根據(jù)由R、 G、 B值的要素組成的一個(gè)矢量(該矢量可 稱之為顏色矢量)與該RGB空間中的多個(gè)小區(qū)域之間的關(guān)系按類別歸類每個(gè) 象素。此外，初始區(qū)域劃分部分83以相同的方式按類別歸類包括幀存儲(chǔ)器 82中存儲(chǔ)的前一幀的前景圖像的每個(gè)象素。
當(dāng)考慮幀是例如第n幀時(shí)，初始區(qū)域劃分部分83把第n幀的前景圖像和 前一幀的第(n-l)幀的前景圖像劃分成時(shí)間上和空間上相鄰的并按相同類別 歸類的多個(gè)象素組成的區(qū)域。
換句話，例如，假定組成第n幀的前景圖像的每個(gè)象素和組成第(n-l ) 幀的前景圖像的每個(gè)象素如圖18 (A)所示按類別歸類。在圖18中(還在圖 19和圖20中)， 一個(gè)矩形中包含的一個(gè)字符C和一個(gè)數(shù)字的一個(gè)組代表一個(gè) 象素的類別。
在圖18 (A)所示的情況中，當(dāng)?shù)趎幀的前景圖像和第(n-l )幀的前景 圖像被劃分成由按相同類別歸類的多個(gè)象素組成的多個(gè)區(qū)域時(shí)，形成圖18 (B)所示的虛線所代表的初始區(qū)域。
初始區(qū)域劃分部分83所獲得的初始區(qū)域被供應(yīng)給圖17所示的區(qū)域拼接 部分84。
區(qū)域拼接部分84執(zhí)行區(qū)域邊界處理，對(duì)初始區(qū)域劃分部分83所供給的 初始區(qū)域進(jìn)行邊界處理。
換句話說，區(qū)域拼接部分84從對(duì)象信息存儲(chǔ)器88中讀出第(n-l)幀中 包含的一個(gè)對(duì)象的對(duì)象信息，并認(rèn)同第(n-l )幀中包含的對(duì)象的位置和范圍。 此外，區(qū)域拼接部分84認(rèn)同組成第(n-l)幀中所含有的對(duì)象的象素，并拼 接含有象素的初始區(qū)域。
實(shí)際上，例如，假定在圖19 (A)所示的實(shí)線表示的一個(gè)范圍(一個(gè)方
框)內(nèi)包含一個(gè)特定的對(duì)象Obj ，該對(duì)象Obj由被歸類為類別c2、 c3、 c4和 c5的諸多象素組成。包含這些象素的初始區(qū)域被拼接。因而，在該實(shí)例中， 由類別c2、 c3、 c4和c5的象素組成的初始區(qū)域(在下文中，類別c射的象素 組成的初始區(qū)域被稱之為初始區(qū)域c#i)被拼接為圖19 ( B )所示的陰影區(qū)域。
此外，區(qū)域拼接部分84計(jì)算拼接的初始區(qū)域(以下可以稱之為拼接區(qū)域) 與鄰近該拼接區(qū)域的初始區(qū)域之間的距離。在該實(shí)例中， 一個(gè)拼接區(qū)域與一 個(gè)鄰近的初始區(qū)域(以下可以稱之為鄰近初始區(qū)域)之間的距離可以是包括 兩個(gè)區(qū)域(拼接區(qū)域和鄰近初始區(qū)域)的象素的象素值(顏色)的平均值的 距離(該距離可以被稱之為RGB空間的距離)或兩個(gè)區(qū)域的邊界附近中的象 素的象素值(顏色)的連續(xù)性。
當(dāng)拼接區(qū)域與鄰近初始區(qū)域之間的距離小于(或等于) 一個(gè)預(yù)定閾值時(shí)， 區(qū)域拼接部分84拼接拼接區(qū)域和鄰近初始區(qū)域，并生成一個(gè)新的拼接區(qū)域。 區(qū)域拼接部分84計(jì)算上述的距離，并重復(fù)拼接鄰近初始區(qū)域和拼接區(qū)域直至 沒有可以被拼接成拼接區(qū)域的鄰近初始區(qū)域?yàn)橹埂?br> 因而，用圖19 (B)所示的4并^接區(qū)域形成(例如)圖19 (C)所示的一 個(gè)拼接區(qū)域。在圖19C中，由于初始區(qū)域c7與c8之間的距離接近，它們被 拼接為圖19 (B)所示的拼接區(qū)域。相反，由于初始區(qū)域cl與c6之間的距 離遠(yuǎn)，它們不能被拼接為 一個(gè)拼接區(qū)域。
當(dāng)沒有鄰近初始區(qū)域可以被拼接成如圖19 (C)所示的拼接區(qū)域時(shí)，區(qū) 域拼接部分84提取由組成第n幀的前景圖像的象素組成的一個(gè)部分，作為與 第(n-l)幀的對(duì)象Obj相對(duì)應(yīng)的一個(gè)對(duì)象(該對(duì)象可以被稱之為對(duì)應(yīng)對(duì)象)，指 定與第n幀的對(duì)象Obj的標(biāo)志相同的標(biāo)志，并把該對(duì)象輸出給拼接區(qū)域處理 部分85和分離區(qū)域處理部分86。
換句話說，根據(jù)該實(shí)施例，各幀中一致的對(duì)象被指定相同的標(biāo)志。接收 設(shè)備2相應(yīng)于該標(biāo)志認(rèn)同與鄰近幀的某對(duì)象相當(dāng)?shù)泥徑鼛哪硨?duì)象。
分配給第(n-l)幀的對(duì)象Obj的標(biāo)志被包含在對(duì)象信息中，并存儲(chǔ)在對(duì) 象信息存儲(chǔ)器88中。對(duì)于對(duì)象信息存儲(chǔ)器88,區(qū)域拼接部分84認(rèn)同分配給 第(n-l)幀的對(duì)象Obj標(biāo)志。
此外，當(dāng)區(qū)域拼接部分84以上述方式提取與第(n-l)幀的所有對(duì)象相 對(duì)應(yīng)的第n幀的對(duì)象時(shí)，區(qū)域拼接部分84提取將第n幀的每個(gè)初始區(qū)域和其
另一個(gè)鄰近初始區(qū)域拼接為一個(gè)對(duì)象的一個(gè)區(qū)域，并^巴一個(gè)新標(biāo)志(而不是 指定給(n-l)幀的對(duì)象的任何標(biāo)志)分配給被提取的對(duì)象和把被提取的對(duì)象
輸出給拼接區(qū)域處理部分85和分離區(qū)域處理部分86。
拼接區(qū)域處理部分85和分離區(qū)域處理部分86分別執(zhí)行一個(gè)拼接區(qū)域處 理和一個(gè)分離區(qū)域處理。當(dāng)拼接對(duì)象時(shí)執(zhí)行拼接區(qū)域處理。當(dāng)分離拼接對(duì)象 時(shí)執(zhí)行分離區(qū)域處理。
換句話說，例如，就第(n-l)幀、第n幀和第(n+l)幀這三個(gè)連續(xù)幀 而言，如圖20所示，在第(n-l )幀中，對(duì)象A和B相互接近。在第n幀中， 對(duì)象A和B相互重疊。換句話說，在第n幀中，對(duì)象A和B可以被拼接為 一個(gè)對(duì)象。在此情況下，已被拼接為一個(gè)對(duì)象的對(duì)象A和B按它們的方向連 續(xù)移動(dòng)。在第(n+l)幀中，拼接對(duì)象被分離成兩個(gè)對(duì)象A和B。
在此情況下，在在區(qū)域拼接部分84的區(qū)域拼接處理中，第n幀的被拼接 對(duì)象相當(dāng)于地(n-l )幀中的對(duì)象A和B 二者。相反，第(n + 1 )幀中被分 離的對(duì)象A和B相當(dāng)于第N幀中的一個(gè)拼接對(duì)象。根據(jù)該實(shí)施例，假定特定 幀的一個(gè)對(duì)象相當(dāng)于前一幀的一個(gè)對(duì)象。因而，如上所述，最好不用一個(gè)對(duì) 象相關(guān)兩個(gè)對(duì)象。相反，最好不用兩個(gè)對(duì)象相關(guān)一個(gè)對(duì)象。
因而，通過用第(n-l)幀的對(duì)象A和B的一個(gè)計(jì)算相關(guān)第n幀的一個(gè) ,皮拼接對(duì)象，拼接處理部分85執(zhí)行一個(gè)拼接區(qū)域處理。通過用第n幀的一個(gè) 被拼接對(duì)象相關(guān)第(n+l )幀的兩個(gè)對(duì)象A和B之一，分離區(qū)域處理部分86 執(zhí)行分離區(qū)域處理。
換句話說，拼接區(qū)域處理部分85把與第(n-l)幀的對(duì)象A和B之一相 同的標(biāo)志分配給第n幀的一個(gè)拼接對(duì)象。另一方面，分離區(qū)域處理部分86把 與第n幀的拼接對(duì)象相同的標(biāo)志分配給第(n+1 )幀的兩個(gè)被分離對(duì)象A和B之 一，并把一個(gè)新標(biāo)志分配給第(n+l)幀的另一個(gè)被分離的對(duì)象。
作為由拼接區(qū)域處理部分85執(zhí)行的拼接區(qū)域處理的結(jié)杲的對(duì)象提取結(jié) 果和作為由分離區(qū)域處理部分86執(zhí)行的分離區(qū)域處理的結(jié)果的對(duì)象提取結(jié) 果由區(qū)域拼接部分84進(jìn)行拼接，并供應(yīng)給一個(gè)新區(qū)域處理部分87。
當(dāng)拼接區(qū)域處理部分85和分離區(qū)域處理部分86的對(duì)象提取結(jié)果含有一 個(gè)新對(duì)象時(shí)，新區(qū)域處理部分87執(zhí)行新對(duì)象的新區(qū)域處理。
有三種類型的對(duì)象，它們?cè)谄唇訁^(qū)域處理部分85和分離區(qū)域處理部分 86的對(duì)象提取結(jié)果中被分配新標(biāo)志。第一類型的對(duì)象是這樣一種對(duì)象由于
對(duì)象移動(dòng)快并且該對(duì)象不在考慮幀和前一幀內(nèi)空間重疊，因此區(qū)域拼接部分 84不提取像前一幀的對(duì)應(yīng)對(duì)象那樣的考慮幀的對(duì)象。第二類型的對(duì)象是這樣
一種對(duì)象由于前一幀的對(duì)應(yīng)對(duì)象與另一對(duì)象拼接，因此分離區(qū)域處理部分 86不可能用前一幀的對(duì)應(yīng)幀相關(guān)考慮幀的對(duì)象。第三類型的對(duì)象是這樣一種 對(duì)象由于在考慮幀中出現(xiàn)一個(gè)新對(duì)象，因此分配一個(gè)新標(biāo)志給該新對(duì)象。
在這三種類型的對(duì)象中，一個(gè)新標(biāo)志應(yīng)當(dāng)被分配給第三類型的一個(gè)對(duì)象。 因而，對(duì)于第一和第二類型的對(duì)象，新區(qū)域處理部分87從前一幀中檢測(cè)一個(gè) 對(duì)應(yīng)對(duì)象，并將和考慮幀對(duì)象相同的標(biāo)志再分配給前一幀的對(duì)應(yīng)對(duì)象。
事實(shí)上，新區(qū)域處理部分87核對(duì)對(duì)象信息存儲(chǔ)器88，認(rèn)同考慮幀的幾 個(gè)過去幀的對(duì)象，和獲得被認(rèn)同對(duì)象的每個(gè)與考慮幀的考慮對(duì)象之間的距離， 該考慮對(duì)象被分配一個(gè)新標(biāo)志。像對(duì)象之間的距離那樣，也可以使用對(duì)象的 特征量之間的距離。對(duì)象特征量的實(shí)例是對(duì)象的一個(gè)區(qū)域、 一個(gè)由對(duì)象的每 個(gè)象素組成的輪廓線的切線方向的條形圖(例如，沿上、下、左、右、左上、 左下、右上和右上八個(gè)方向的每個(gè)方向的條形圖)、和對(duì)象的一個(gè)移動(dòng)矢量。
新區(qū)域處理部分87獲得被認(rèn)同對(duì)象與考慮對(duì)象之間的距離的最小值。當(dāng) 最小值小于(或等于)預(yù)定閾值時(shí)，新區(qū)域處理部分87把具有距考慮對(duì)象最 小距離的一個(gè)對(duì)象處理為與考慮對(duì)象相對(duì)應(yīng)的一個(gè)對(duì)象，把與獲得的對(duì)象的 標(biāo)志相同的標(biāo)志分配給考慮對(duì)象，和輸出該考慮對(duì)象。當(dāng)認(rèn)同對(duì)象與考慮對(duì) 象之間的距離的最小值不小于預(yù)定閾值(即，沒有這樣的對(duì)象，其相距考慮 對(duì)象的距離在過去幀中是短的)時(shí)，新區(qū)域處理部分87把該考慮對(duì)象處理為 考慮幀中新近出現(xiàn)的一個(gè)對(duì)象，把一個(gè)新標(biāo)志分配給該考慮幀，和輸出該考 慮幀。
新區(qū)域處理部分87的輸出被供應(yīng)給附加信息計(jì)算部分15 (參見圖3 )和 發(fā)送處理部分16 (參見圖3)。此外，新區(qū)域處理部分87的輸出被供應(yīng)給對(duì) 象信息存儲(chǔ)器88。對(duì)象信息存儲(chǔ)器88暫時(shí)存儲(chǔ)一個(gè)對(duì)象(該對(duì)象的位置和 尺寸(輪廓)、組成該對(duì)象的象素的象素值等)和作為對(duì)象信息分配的一個(gè)標(biāo)
志o
下面結(jié)合圖21所示的流程圖說明從一個(gè)圖像提取一個(gè)對(duì)象的對(duì)象提取 處理。對(duì)象提取處理由圖17所示的對(duì)象提取部分14執(zhí)行。
圖像輸出部分11輸出的一個(gè)圖像和背景圖像提取部分13輸出的一個(gè)背 景圖像被供應(yīng)給減法部分81。在步驟S41，減法部分81從圖像輸入部分11
輸出的圖像中減去背景圖像提取部分13輸出的背景圖像，獲得作為一個(gè)對(duì)象 的一個(gè)前景圖像。減法部分81獲得的前景圖像被供應(yīng)給幀存儲(chǔ)器82和初始
區(qū)域劃分部分83。幀存儲(chǔ)器82存儲(chǔ)從減法部分81輸出的前景圖像。
另一方面，在步驟S42,初始區(qū)域劃分部分83核對(duì)考慮幀的前一幀的一 個(gè)前景圖像，執(zhí)行根據(jù)圖18所述的初始區(qū)域劃分處理，獲得初始區(qū)域，并把 獲得的初始區(qū)域供應(yīng)給區(qū)域拼接部分84。在步驟S43，區(qū)域拼接部分84核對(duì) 對(duì)象信息存儲(chǔ)器88中存儲(chǔ)的前一幀的對(duì)象信息，按照結(jié)合圖19所述的方式 為初始區(qū)域劃分部分83輸出的初始區(qū)域執(zhí)行區(qū)域拼接處理，并提取考慮幀的 一個(gè)對(duì)象。
區(qū)域拼接部分84所提取的對(duì)象被供應(yīng)給拼接區(qū)域處理部分85和分離區(qū) 域處理部分86。在步驟S44,拼接區(qū)域處理部分85或分離區(qū)域處理部分86 按照結(jié)合圖20所述的方式執(zhí)行拼接區(qū)域處理或分離區(qū)域處理，把處理的結(jié)果 輸出給新區(qū)域處理部分87。
在步驟S45,新區(qū)域處理部分87為拼接區(qū)域處理部分85和分離區(qū)域處 理部分86的輸出執(zhí)行上述的新區(qū)域處理。因而，新區(qū)域處理部分87輸出考 慮幀的最終對(duì)象提取結(jié)果。對(duì)象的提取結(jié)果被供應(yīng)給附加信息計(jì)算部分15(參 見圖3 )和發(fā)送處理部分16 (參見圖3 )。此外，對(duì)象的提取結(jié)果被供應(yīng)給對(duì) 象信息存儲(chǔ)器88并存儲(chǔ)在其中。
此后，流程返回到步驟S20，在此步驟上，下一幀被指定為一個(gè)新考慮 幀。然后對(duì)象提取部分14重復(fù)相似的處理。
下面結(jié)合圖22所示的流程圖詳細(xì)說明在圖21的步驟S43上由區(qū)域拼接 部分84執(zhí)行的區(qū)域拼接處理。
在區(qū)域拼接處理中，首先，在步驟S51上，區(qū)域拼接部分84核對(duì)關(guān)于在 考慮幀的前一幀(在前幀)中含有的一個(gè)對(duì)象的對(duì)象信息，把在前幀的對(duì)象 處理為一個(gè)考慮對(duì)象。在步驟S51上，使用考慮對(duì)象，如圖19 (B)所示， 區(qū)域拼接部分84拼接初始區(qū)域劃分部分83輸出的初始區(qū)域，形成一個(gè)拼接 區(qū)域。
此后，流程前進(jìn)到步驟S52。在步驟S52,區(qū)域拼接部分84搜索鄰近拼 接區(qū)域的 一個(gè)初始區(qū)域(該初始區(qū)域可以稱之為鄰近初始區(qū)域)。此后，流程 前進(jìn)到步驟S53。在步驟S53,區(qū)域拼接部分84計(jì)算拼接區(qū)域與考慮的初始 區(qū)域之間的距離。此后，流程前進(jìn)到步驟S54。在步驟S54,區(qū)域拼接部分
8 4確定區(qū)域間的距離是否小于 一 個(gè)預(yù)定的閾值。
當(dāng)步驟S54上的確定結(jié)果表明拼接區(qū)域與考慮的初始區(qū)域之間的距離小 于預(yù)定的閾值時(shí)，流程前進(jìn)到步驟S55。在步驟S55,區(qū)域拼接部分84把考 慮的初始區(qū)域拼接到拼接區(qū)域，從而形成一個(gè)新的拼接區(qū)域。此后，流程前 進(jìn)到步驟S56。
相反，當(dāng)步驟S54上的確定結(jié)果表明拼接區(qū)域與考慮的初始區(qū)域之間的 距離不小于預(yù)定的閾值時(shí)，流程前進(jìn)到步驟S56，跳過步驟S55。換句話說， 區(qū)域拼接部分84不把考慮的初始區(qū)域拼接到拼接區(qū)域。在步驟S56,區(qū)域拼 接部分84確定鄰近拼接區(qū)域的所有初始區(qū)域是否已經(jīng)都被搜索。當(dāng)步驟S56 上的確定結(jié)果表明鄰近拼接區(qū)域的所有初始區(qū)域還未被搜索時(shí)，流程返回到 步驟S52。在步驟S52，區(qū)域拼接部分84搜索未被搜索到的鄰近初始區(qū)域。 此后，區(qū)域拼接部分84重復(fù)相似的處理。
時(shí)，流程前進(jìn)到步驟S57。在步驟S57,區(qū)域拼接部分84確定在前幀中含有 的所有對(duì)象的每個(gè)是否已經(jīng)被指定為考慮對(duì)象。當(dāng)步驟S57上的確定結(jié)果表 明在前幀中含有的所有對(duì)象的每個(gè)都未被指定為考慮對(duì)象時(shí)，流程返回到步 驟S51。在步驟S51,區(qū)域拼接部分84把在前幀中含有的一個(gè)對(duì)象指定為考 慮對(duì)象，然后為新近考慮的對(duì)象重復(fù)相似的處理。
相反，當(dāng)步驟S57上的確定結(jié)果表明在前幀中含有的所有對(duì)象的每個(gè)已 經(jīng)被指定為考慮對(duì)象時(shí)，流程返回到被調(diào)用進(jìn)程。
下面，結(jié)合圖23所示的流程圖詳細(xì)說明在圖21所示的步驟S44上由拼 接區(qū)域處理部分85執(zhí)行的拼接區(qū)域處理。
首先，在步驟S61上，拼接區(qū)域處理部分85把處理的一個(gè)幀指定為一個(gè) 考慮幀，核對(duì)對(duì)象信息存儲(chǔ)器88,在在前幀的對(duì)象在空間上與考慮幀的考慮 對(duì)象重疊的條件下認(rèn)同前一幀(在前幀)中含有的對(duì)象數(shù)目(即，考慮幀的 在前幀的對(duì)象數(shù)目)，并把對(duì)象的數(shù)目調(diào)整到一個(gè)變量N。
此后流程前進(jìn)到步驟S62。在步驟S62，拼接區(qū)域處理部分85確定變量 N是否為2或是否大于2。當(dāng)變量N小于2(即，在前幀中不含有空間上與考 慮對(duì)象重疊的對(duì)象或?qū)ο蟮臄?shù)目為1)時(shí)，流程前進(jìn)到步驟S65，跳過步驟 S63和S64。
相反，當(dāng)步驟S62上的確定結(jié)果表明變量N等于2或大于2 (即，在前
幀中含有空間上與考慮對(duì)象重疊的兩個(gè)或多個(gè)對(duì)象)時(shí)，流程前進(jìn)到步驟S63 。
在步驟S63 ，拼接區(qū)域處理部分85計(jì)算考慮對(duì)象與在空間上和考慮對(duì)象重疊 的在前幀的兩個(gè)或多個(gè)對(duì)象的每個(gè)之間的距離。此后流程前進(jìn)到步驟S64。
在步驟S64,拼接區(qū)域處理部分85從步驟S63上獲得的對(duì)象中選擇具有 到考慮幀最小距離的一個(gè)對(duì)象，并把和所選擇對(duì)象的標(biāo)志相同的標(biāo)志分配給 考慮對(duì)象。
此后，流程前進(jìn)到標(biāo)志S65。在步驟S65,拼接區(qū)域處理部分85確定考 慮幀中含有的所有對(duì)象的每個(gè)是否已經(jīng)被指定為考慮對(duì)象。當(dāng)步驟S65上的 確定結(jié)果表明考慮幀中含有的所有對(duì)象的每個(gè)還未被指定為考慮對(duì)象時(shí)，拼 接區(qū)域處理部分85把這些對(duì)象中的一個(gè)指定為考慮幀。此后，流程返回到步 驟S61。在步驟S61,拼接區(qū)域處理部分85重復(fù)相似的處理。
另一方面，當(dāng)步驟S65上的確定結(jié)果表明考慮幀中含有的所有對(duì)象的每 個(gè)已經(jīng)被指定為考慮對(duì)象時(shí)，流程返回到被調(diào)用進(jìn)程。
下面，結(jié)合圖24所示的流程圖詳細(xì)說明圖21所示的在步驟S44上由分 離區(qū)域處理部分86執(zhí)行的分離區(qū)域處理。
分離區(qū)域處理部分86核對(duì)對(duì)象信息存儲(chǔ)器88并把考慮幀的前一幀(在 前幀)中含有的對(duì)象之一指定為一個(gè)考慮對(duì)象。此外，在步驟S71,分離區(qū) 域處理部分86認(rèn)同與對(duì)應(yīng)于考慮對(duì)象的考慮幀的對(duì)象數(shù)目(認(rèn)同的對(duì)象被稱 之為對(duì)應(yīng)對(duì)象)，并把對(duì)象的數(shù)目調(diào)整到變量N。
此后，流程前進(jìn)到步驟S72。在步驟S72,分離區(qū)域處理部分86確定變 量N是否等于2或大于2。
當(dāng)步驟S72上的確定結(jié)果表明變量N不大于2 (即，考慮幀中不含有在 空間上與考慮對(duì)象重疊的對(duì)象或?qū)ο蟮臄?shù)目為1)時(shí)，流程前進(jìn)到步驟S76, 跳過步驟S73至S75。
相反，當(dāng)步驟S72上的確定結(jié)果表明變量N等于2或大于2 (即，考慮 幀中含有空間上與考慮對(duì)象重疊的兩個(gè)或多個(gè)對(duì)象(對(duì)應(yīng)于考慮對(duì)象的對(duì) 象))時(shí)，流程前進(jìn)到步驟S73。在步驟S73，分離區(qū)域處理部分86計(jì)算這些 對(duì)象的每個(gè)與考慮對(duì)象之間的距離。此后，流程前進(jìn)到步驟S74。
在步驟S74，分離區(qū)域處理部分86從這些對(duì)象中選擇相距考慮對(duì)象具有 最小距離的一個(gè)對(duì)象，和把與被選擇對(duì)象的標(biāo)志相同的標(biāo)志分配給考慮對(duì)象。
此后，流程前進(jìn)到步驟S75。在步驟S75,分離區(qū)域處理部分86把一個(gè) 新標(biāo)志分配給在步驟S74上未被選擇的對(duì)象之一 (即，除相距考慮對(duì)象最短
距離的對(duì)象以外的對(duì)象)。此后，流程前進(jìn)到步驟S76。
在步驟S76,分離區(qū)域處理部分86確定在前幀中含有的所有對(duì)象的每一 個(gè)是否已經(jīng)被指定為考慮對(duì)象。當(dāng)步驟S76上的確定結(jié)果表明在前一幀中含 有的所有對(duì)象的每一個(gè)還未被指定為考慮對(duì)象時(shí)，分離區(qū)域處理部分86指定 這些對(duì)象之一為考慮對(duì)象。此后，流程返回到步驟S71。在步驟S71,分離區(qū) 域處理部分86重復(fù)相似的處理。
當(dāng)步驟S76上的確定結(jié)果表明在前幀中含有的所有對(duì)象的每一個(gè)已經(jīng)被 指定為考慮對(duì)象時(shí)，流程返回到被調(diào)用進(jìn)程。
在上述情況下，當(dāng)用戶用控制信息輸入部分24指定一個(gè)考慮點(diǎn)時(shí)，發(fā)送 設(shè)備1控制數(shù)據(jù)的傳送，以便以圖像的時(shí)間分辨率為代價(jià)來改善含有考慮點(diǎn) 的優(yōu)先權(quán)范圍內(nèi)的一個(gè)圖像的空間分辨率。另一方面，發(fā)送設(shè)備l可以學(xué)習(xí) 用戶的偏愛，相應(yīng)于學(xué)習(xí)結(jié)果來檢測(cè)用戶打算用 一個(gè)高空間分辨率觀看的一 個(gè)對(duì)象或類似物，并控制數(shù)據(jù)的傳送以便用一個(gè)高空間分辨率顯示該對(duì)象。
圖25示出了在發(fā)送設(shè)備l執(zhí)行這樣一種控制的情況下圖7所示的控制部 分35的結(jié)構(gòu)實(shí)例。
優(yōu)先權(quán)范圍指定部分91接收從接收設(shè)備2發(fā)送的一個(gè)控制信號(hào)，按上述 方式指定優(yōu)先權(quán)范圍，并把指定的優(yōu)先權(quán)范圍供應(yīng)給選擇控制部分92和特征 量提取部分93。
選擇控制部分92控制MUX32 (參見圖7)的背景圖像、對(duì)象和附加信 息的數(shù)據(jù)選擇。換句話說，當(dāng)選擇控制部分92從優(yōu)先權(quán)范圍指定部分91接 收到優(yōu)先權(quán)范圍時(shí)，選擇控制部分92控制MUX32 (參見圖7)以圖像的時(shí) 間分辨率為代價(jià)改善該優(yōu)先權(quán)范圍內(nèi)圖像的空間分辨率。此外，當(dāng)選擇控制 部分92接收到來自對(duì)象^r測(cè)部分95的一個(gè)標(biāo)志時(shí)，選^^控制部分92控制 MUX32 (參見圖7)以圖像的時(shí)間分辨率為代價(jià)改善具有該標(biāo)志的對(duì)象的空 間分辨率。
數(shù)據(jù)量計(jì)算部分34 (參見圖7 )向選擇控制部分92供應(yīng)MUX32輸出的 多路復(fù)用數(shù)據(jù)的數(shù)據(jù)速率。選擇控制部分92控制MUX32的數(shù)據(jù)選擇，使多 路復(fù)用的數(shù)據(jù)速率不超過傳送路徑3的傳送速率。
預(yù)處理部分12 (參見圖3)輸出的背景圖像、對(duì)象和附加信息，以及優(yōu) 先權(quán)范圍指定部分91輸出的優(yōu)先權(quán)范圍，被供應(yīng)給特征量提取部分93。特
征量提取部分93提取從優(yōu)先權(quán)范圍指定部分91輸出的優(yōu)先權(quán)范圍內(nèi)的圖像的特征量。換句話說，特征量提取部分93提取優(yōu)先權(quán)范圍內(nèi)含有的對(duì)象的特 征量，使該特征量反映用戶正在考慮的圖像的趨勢(shì)。實(shí)際上，例如如圖26所示，特征量提取部分93提取的特定人的一個(gè)對(duì) 象的特征量表示 一個(gè)對(duì)象是一個(gè)人，對(duì)象的移動(dòng)是一致的，對(duì)象的景深方 向的位置(景深)是前景，顯示的對(duì)象的位置是中央，對(duì)象正在移動(dòng)(對(duì)象 是正在移動(dòng)的一個(gè)位置)，對(duì)象的區(qū)域包含眼睛、鼻子和嘴巴(對(duì)象的區(qū)域由 眼睛、鼻子和嘴巴組成)，對(duì)象的圖案是條紋圖案(對(duì)象是一個(gè)條紋部分)， 對(duì)象的顏色是紅色的(對(duì)象是一個(gè)紅色部分)。特征量提取部分93獲得一個(gè)提取對(duì)象的矢量(具有特征量的元素)(該 矢量可以被稱之為特征量矢量)，并將條形圖存儲(chǔ)部分94中存儲(chǔ)的獲得特征 量矢量的條形圖的頻率遞增1。條形圖存儲(chǔ)部分94把特征量矢量的條形圖作為用戶偏愛的學(xué)習(xí)結(jié)果進(jìn) 行存儲(chǔ)。對(duì)象檢測(cè)部分95從預(yù)處理部分12 (參見圖3 )供應(yīng)的那些對(duì)象中檢測(cè)一 個(gè)對(duì)象，以便從條形圖存儲(chǔ)部分94中獲得具有條形圖最高頻率的特征量矢 量。換句話說，對(duì)象檢測(cè)部分95按照與特征量提取部分93相同的方式獲得 一個(gè)特征矢量，用于預(yù)處理部分12 (參見圖3)供給的一個(gè)對(duì)象。此外，對(duì) 象檢測(cè)部分95核對(duì)條形圖存儲(chǔ)部分94中存儲(chǔ)的條形圖，確定預(yù)處理部分12 (參見圖3)供給的對(duì)象的特征量矢量是否被包含在具有最高頻率的特征量 矢量的特征量矢量空間的一個(gè)預(yù)定范圍內(nèi)。當(dāng)特征量矢量被包含在預(yù)定范圍 內(nèi)時(shí)，對(duì)象檢測(cè)部分95把該對(duì)象指定為用戶打算考慮的對(duì)象，并把該對(duì)象的 標(biāo)志供應(yīng)給選擇控制部分92。下面，結(jié)合圖27所示的流程圖說明MUX32 (參見圖7)的控制處理。 該控制處理由圖25所示的控制部分35執(zhí)行。首先，在步驟S81,優(yōu)先權(quán)范圍指定部分91確定控制信號(hào)是否已經(jīng)從接 收設(shè)備2發(fā)送。當(dāng)步驟S81上的確定結(jié)果表明控制信號(hào)已經(jīng)從接收設(shè)備2發(fā) 送時(shí)，流程前進(jìn)到步驟S82。在步驟S82上，優(yōu)先權(quán)范圍指定部分91相應(yīng)于 該控制信號(hào)按上述方式指定一個(gè)優(yōu)先權(quán)范圍，并把該優(yōu)先權(quán)范圍供應(yīng)給選擇 控制部分92和特征量提取部分93。在步驟S83,選擇控制部分92控制MUX32 (參見圖7)以圖像的時(shí)間
分辨率為代價(jià)改善優(yōu)先權(quán)范圍指定部分91所供給的優(yōu)先權(quán)范圍內(nèi)一個(gè)圖像 的(一個(gè)對(duì)象和一個(gè)背景圖像)的空間分辨率。在步驟S84上，特征量提取部分93提取優(yōu)先權(quán)范圍指定部分91所供給的優(yōu)先權(quán)范圍內(nèi)的圖像的特征量，獲得具有由對(duì)象的每一特征量所組成的元素的一個(gè)特征量矢量。在步驟S85上，特征量提取部分93將條形圖存儲(chǔ)部分 94中存儲(chǔ)的特征量矢量的條形圖的頻率遞增1。流程返回到步驟S81。在步驟S81到步驟S85的循環(huán)中，條形圖存儲(chǔ)部分94形成用戶打算考 慮的對(duì)象特征矢量的一個(gè)條形圖。換句話說，條形圖存儲(chǔ)部分94學(xué)習(xí)用戶的偏愛。此外，特征量提取部分93可以量化所獲得的特征量矢量，并遞增與特征 量矢量的量化結(jié)果相對(duì)應(yīng)的代碼的頻率。在這種情況下，條形圖存儲(chǔ)部分94 暫時(shí)存儲(chǔ)代碼的條形圖。相反，當(dāng)步驟S81上的確定結(jié)果表明接收設(shè)備2還未發(fā)送控制信號(hào)時(shí)， 流程前進(jìn)到步驟S86。在步驟S86上，對(duì)象檢測(cè)部分95按照與特征量提取部 分93相同方式獲得預(yù)處理部分12 (參見圖3)所提供的對(duì)象的特征量矢量。 此外，在步驟S87上，對(duì)象檢測(cè)部分95核對(duì)條形圖存儲(chǔ)部分94中所存儲(chǔ)的 條形圖，并確定在有最高頻率的特征量矢量周圍的特征量矢量空間的 一個(gè)預(yù) 定范圍內(nèi)是否包含預(yù)處理部分12 (參見圖3)所提供的對(duì)象的一個(gè)特征量矢 量。換句話說，在步驟S87，對(duì)象檢測(cè)部分95確定具有最高頻率的特征量矢 量與預(yù)處理部分12所供給的對(duì)象的特征量矢量之間的距離是否等于或小于 一個(gè)預(yù)定值。如上所述，當(dāng)條形圖存儲(chǔ)部分94存儲(chǔ)作為矢量量化結(jié)果的代碼條形圖 時(shí)，對(duì)象檢測(cè)部分95量化所獲得的特征量矢量。在步驟S87,對(duì)象檢測(cè)部分 95確定作為矢量量化結(jié)果的代碼是否與條形圖存儲(chǔ)部分94中存儲(chǔ)的條形圖 的最高頻率的代碼相匹配。當(dāng)步驟S87上的確定結(jié)果表明具有最高頻率的特征量矢量與預(yù)處理部分 12所供給的對(duì)象的特征量矢量之間的距離不小于預(yù)定值(即，由于用戶的癖 好，預(yù)處理部分12供給的對(duì)象是用戶不打算考慮的對(duì)象)時(shí)，流程前進(jìn)到步 驟S88。在步驟S88上，選擇控制部分92控制MUX32 (參見圖7)，使接收 設(shè)備2用常規(guī)空間分辨率和常規(guī)時(shí)間分辨率顯示一個(gè)圖像。此后，流程返回 到步驟S81。
相反，當(dāng)步驟S87上的確定結(jié)果表明具有最高頻率的特征量矢量與預(yù)處 理部分12所供給的對(duì)象的特征量矢量之間的距離等于或小于預(yù)定值(即，由 于用戶的癖好，預(yù)處理部分12供給的對(duì)象是用戶打算考慮的對(duì)象)時(shí)，對(duì)象檢測(cè)部分95把預(yù)處理部分12供給的對(duì)象的標(biāo)志輸出到選擇控制部分92。此 后，流程前進(jìn)到步驟S89。在步驟S89上，選擇控制部分92控制MUX32 (參見圖7 )以時(shí)間分辨 率為代價(jià)改善具有從對(duì)象檢測(cè)部分95供給的標(biāo)志的對(duì)象的空間分辨率。此 后，流程返回到步驟S81。因而，在這種情況下，接收設(shè)備2顯示具有從對(duì)象檢測(cè)部分95輸出的標(biāo) 志的一個(gè)對(duì)象，以便以時(shí)間分辨率為代價(jià)提高其空間分辨率。此后，接收設(shè) 備2連續(xù)顯示具有高空間分辨率的對(duì)象。結(jié)果，接收設(shè)備2自動(dòng)地顯示用戶傾向考慮的對(duì)象，從而不需要用戶控 制(干預(yù))控制信息輸入裝置24就可以提高對(duì)象的空間分辨率。此后，接收 設(shè)備2連續(xù)顯示高空間分辨率的對(duì)象(然而，在此情況下，正如上所述那樣， 圖像的時(shí)間分辨率惡化)。在條形圖存儲(chǔ)部分94中作為用戶偏愛的學(xué)習(xí)結(jié)果存儲(chǔ)的特征量矢量的 條形圖可以周期性地、非周期性地或相應(yīng)于接收設(shè)備2的用戶請(qǐng)求來重新設(shè) 置。在上述情況下，其特征量矢量等于(匹配)或小于條形圖最高頻率的特 征量矢量的對(duì)象的空間分辨率得到改善。另一方面，具有這樣一種特征量矢 量的所有對(duì)象的空間分辨率也得到改善它的特征量矢量等于(匹配)或小 于其條形圖中的頻率超過一個(gè)預(yù)定值的特征量矢量。優(yōu)先權(quán)范圍是考慮點(diǎn)位于重心的一個(gè)預(yù)定范圍(在上述情況下，優(yōu)先權(quán) 范圍是一個(gè)矩形范圍)。然而，也可以被說成包含考慮點(diǎn)的一個(gè)矩形范圍中 的一個(gè)圖像區(qū)域是用戶有興趣觀看的一個(gè)圖像區(qū)域(以下，把該區(qū)域稱之為 興趣對(duì)象區(qū)域)。另一方面，接收設(shè)備2顯示的移動(dòng)圖像具有一個(gè)移動(dòng)圖像區(qū)域(以下， 該區(qū)域可以稱之為移動(dòng)區(qū)域)和一個(gè)靜止圖像區(qū)域(以下，該區(qū)域可以稱之 為靜止區(qū)域)。為了改善興趣對(duì)象區(qū)域的空間分辨率，必須在圖像的移動(dòng)區(qū)域或靜止區(qū) 域中認(rèn)同(指定)用戶正在考慮的興趣對(duì)象區(qū)域。當(dāng)用戶正在考慮的興趣對(duì)
象區(qū)域可以被指定時(shí)，就可以獲得用戶未考慮的圖像區(qū)域(例如，背景圖像 區(qū)域)。即使用戶考慮的 一個(gè)興趣對(duì)象區(qū)域可以在一個(gè)特定時(shí)間被指定，此后也 可以被改變。因而，當(dāng)用戶考慮的一個(gè)圖像區(qū)域被改變到另一個(gè)圖像區(qū)域時(shí)， 必須把新圖像區(qū)域認(rèn)同為興趣對(duì)象區(qū)域。此外，可以存在多個(gè)用戶考慮的興趣對(duì)象區(qū)域。在這種情況下，必須分 離地認(rèn)同這些興趣對(duì)象區(qū)域。于是圖28示出了在便攜式終端單元被用作圖1所示的發(fā)送設(shè)備1和接收設(shè)備2的情況下圖1所示的圖像發(fā)送系統(tǒng)的第二結(jié)構(gòu)的實(shí)例。在圖28中，與 圖2相似的部分有相同的參考標(biāo)號(hào)表示，并省略對(duì)它們的說明。換句話說， 圖28所示的圖像發(fā)送系統(tǒng)的結(jié)構(gòu)基本上與圖2所示的圖像發(fā)送系統(tǒng)的結(jié)構(gòu)相同。在圖2所示的實(shí)施例中，控制諸如用戶正在考慮的考慮點(diǎn)的坐標(biāo)的空間 分辨率和時(shí)間分辨率所需的所有信息、空間分辨率、時(shí)間分辨率和傳送速率作為控制信息從接收設(shè)備2發(fā)送到發(fā)送設(shè)備1。相反，根據(jù)圖28所示的實(shí)施 例，正如下面將要說明的那樣，用戶用接收設(shè)備2的按鍵部分2-3操作(點(diǎn) 擊)的顯示部分2-2上所顯示的圖像的考慮點(diǎn)的信息作為控制信息被發(fā)送(在 下文中，可以把考慮點(diǎn)上的信息稱之為點(diǎn)擊數(shù)據(jù))。當(dāng)發(fā)送設(shè)備1收到來自接收設(shè)備2的點(diǎn)擊數(shù)據(jù)時(shí)，發(fā)送設(shè)備1相應(yīng)于點(diǎn) 擊數(shù)據(jù)指定從接收設(shè)備2所顯示的圖像(該圖像由發(fā)送設(shè)備1的攝像機(jī)部分 1-1拍攝)中用戶正在考慮的一個(gè)圖像區(qū)域(興趣對(duì)象區(qū)域)，并控制發(fā)送給 接收設(shè)備2的圖像數(shù)據(jù)的信息量，以便當(dāng)滿足一個(gè)預(yù)定條件時(shí)改變指定圖像 區(qū)域的空間分辨率和時(shí)間分辨率。下面圖29示出了圖28所示的發(fā)送設(shè)備1的結(jié)構(gòu)實(shí)例。在圖29中，與圖 3相似的部分由相同的參考標(biāo)號(hào)表示，并省略對(duì)它們的說明。在圖29所示的 發(fā)送設(shè)備1中，背景圖像提取部分1013、對(duì)象提取部分1014和發(fā)送處理部 分1016被設(shè)置，以分別替代背景圖像提取部分13、對(duì)象提取部分14和發(fā)送 處理部分16。此外，接收設(shè)備2發(fā)送的點(diǎn)擊數(shù)據(jù)不僅供應(yīng)給與發(fā)送處理部分 16相對(duì)應(yīng)的發(fā)送處理部分1016，還供應(yīng)給預(yù)處理部分12。除這些方面(要 點(diǎn))外，圖29所示的發(fā)送設(shè)備1的結(jié)構(gòu)大體上與圖3所示的發(fā)送設(shè)備1的結(jié) 構(gòu)相同。然而，在圖29所示的發(fā)送設(shè)備1中，背景圖像提取部分1Q13的輸
出不供應(yīng)給對(duì)象提取部分1014。相反，在圖3所示的發(fā)送設(shè)備1中，背景圖像提取部分13的輸出被供應(yīng)給對(duì)象提取部分14。此外，在圖29所示的發(fā)送 設(shè)備1中，對(duì)象提取部分1014的輸出被供應(yīng)給背景圖像提取部分1013。相 反，在圖3所示的發(fā)送設(shè)備1中，對(duì)象提取部分14的輸出不供應(yīng)給背景圖像 提取部分13。點(diǎn)擊數(shù)據(jù)被供應(yīng)給預(yù)處理部分12。在與處理部分12中，點(diǎn)擊數(shù)據(jù)被供 應(yīng)給對(duì)象提取部分1014。對(duì)象提取部分1014提取(指定)接收設(shè)備2的用 戶從圖像輸入部分11所拍攝的圖像中考慮的一個(gè)圖像區(qū)域(興趣對(duì)象區(qū)域)， 并把與提取的(指定的)興趣對(duì)象區(qū)域相對(duì)應(yīng)的圖像數(shù)據(jù)供應(yīng)給發(fā)送處理部 分1016。當(dāng)存在接收設(shè)備2的用戶對(duì)圖像輸入部分11所拍攝的圖像進(jìn)行考 慮的多個(gè)興趣對(duì)象區(qū)域時(shí)，對(duì)象提取部分1014把多個(gè)興趣對(duì)象區(qū)域的圖像數(shù) 據(jù)供應(yīng)給發(fā)送處理部分1016。此外，對(duì)象提取部分1014所提取的興趣對(duì)象 區(qū)域的圖像數(shù)據(jù)還被供應(yīng)給附加信息計(jì)算部分15。作為 一個(gè)實(shí)例，用戶進(jìn)行考慮的興趣對(duì)象區(qū)域是諸如一個(gè)實(shí)物的對(duì)象。 下面，說明對(duì)象提取部分1014提取作為興趣對(duì)象區(qū)域的一個(gè)實(shí)例的一個(gè)對(duì)象 (以下稱之為對(duì)象圖像)的情況。應(yīng)當(dāng)注意的是興趣對(duì)象區(qū)域不局限于一個(gè) 對(duì)象。相反， 一個(gè)興趣對(duì)象區(qū)域可以是一個(gè)圖像區(qū)域，而不是一個(gè)對(duì)象、一 個(gè)對(duì)象中的一個(gè)圖像區(qū)域、或背景圖像部分(下面將進(jìn)行說明)。然而，根據(jù) 該實(shí)施例，將作為一個(gè)實(shí)例說明一個(gè)興趣對(duì)象區(qū)域是一個(gè)對(duì)象的情況。下面 將說明對(duì)象提取部分1014所執(zhí)行的對(duì)象提取處理(興趣對(duì)象區(qū)域指定處理)。背景圖像提取部分1013相應(yīng)于對(duì)象提取部分1014的對(duì)象提取結(jié)果從圖 像輸入部分11供給的圖像數(shù)據(jù)中提取與該圖像一個(gè)背景圖像的部分(即，除 興趣對(duì)象區(qū)域外的一個(gè)圖像區(qū)域；以下把背景圖像部分稱之為背景圖像)相 對(duì)應(yīng)的一個(gè)信號(hào)(以下稱之為背景圖像數(shù)據(jù))，并把提取的背景圖像數(shù)據(jù)供應(yīng) 給發(fā)送處理部分1016和附加信息計(jì)算部分15。在該實(shí)例中，其活動(dòng)性低(即， 沒有像圖像那樣的價(jià)值)的一個(gè)平面圖像區(qū)域被處理為一個(gè)背景圖像。當(dāng)然， 像沒有價(jià)值的圖像那樣，背景圖像可以是用戶不感興趣對(duì)象。在該實(shí)例中， 為了簡(jiǎn)便起見，上述平面圖像區(qū)域?qū)⒈徽f成背景圖像。附加信息計(jì)算部分15相應(yīng)于背景圖像提取部分1013供給的背景圖像數(shù) 據(jù)檢測(cè)代表背景圖像移動(dòng)的背景圖像移動(dòng)矢量(該背景圖像的移動(dòng)相當(dāng)于沿 著圖像輸入部分11的拍攝方向移動(dòng))。此外，附加信息計(jì)算部分15相應(yīng)于對(duì)象提取部分1014供給的對(duì)象圖像的圖像數(shù)據(jù)(在下文中，把該圖像數(shù)據(jù)稱之 為對(duì)象圖像數(shù)據(jù))檢測(cè)代表對(duì)象移動(dòng)的一個(gè)對(duì)象移動(dòng)矢量。附加信息計(jì)算部分15把作為附加信息一部分的被檢測(cè)的移動(dòng)矢量供應(yīng)給發(fā)送處理部分1016。 此外，附加信息計(jì)算部分15相應(yīng)于作為附加信息的從對(duì)象提取部分1014供 給的對(duì)象圖像數(shù)據(jù)，向發(fā)送處理部分1016供應(yīng)關(guān)于對(duì)象的信息，比如由圖像 輸入部分11拍攝的圖像(幀)的對(duì)象位置和輪廓。換句話說，當(dāng)對(duì)象提取部 分1014從圖像數(shù)據(jù)中提取一個(gè)對(duì)象圖像時(shí)，對(duì)象提取部分1014還提取有關(guān) 該對(duì)象的信息，比如對(duì)象的位置和輪廓，并把該信息供應(yīng)給附加信息計(jì)算部 分15。附加信息計(jì)算部分15把有關(guān)該對(duì)象的信息輸出為附加信息。發(fā)送處理部分1016相應(yīng)于接收設(shè)備2供給的點(diǎn)擊數(shù)據(jù)對(duì)對(duì)象提取部分 1014供應(yīng)的對(duì)象圖像數(shù)據(jù)、背景圖像提取部分1013供應(yīng)的背景圖像數(shù)據(jù)、 和附加信息計(jì)算部分15供應(yīng)的附加信息進(jìn)行編碼，以便當(dāng)接收設(shè)備2顯示的 圖像的對(duì)象圖像的空間分辨率被改善時(shí)，滿足傳送路徑3的數(shù)據(jù)速率的條件。 此后，發(fā)送處理部分1016多路復(fù)用該被編碼的對(duì)象圖像數(shù)據(jù)、編碼的背景圖 像數(shù)據(jù)、和編碼的附加信息，并且經(jīng)傳送路徑3向接收設(shè)備2發(fā)送多路復(fù)用 數(shù)據(jù)、幀速率信息等。下面結(jié)合圖30所示的流程圖說明圖29所示的發(fā)送設(shè)備1所執(zhí)行的處理。 在步驟S91,發(fā)送設(shè)備1把圖像輸入部分11獲得的圖像數(shù)據(jù)輸入給預(yù)處 理部分12。此后，在步驟S92,發(fā)送設(shè)備1接收從接收設(shè)備2發(fā)送的點(diǎn)擊數(shù)據(jù)，并 把該點(diǎn)擊數(shù)據(jù)輸入給預(yù)處理部分12。在步驟S93,已經(jīng)接收到圖像數(shù)據(jù)和點(diǎn)擊數(shù)據(jù)的預(yù)處理部分12執(zhí)行用于 提取背景圖像、對(duì)象和附加信息的預(yù)處理，并把在預(yù)處理中獲得的背景圖像 數(shù)據(jù)、對(duì)象圖像數(shù)據(jù)和附加信息供應(yīng)給發(fā)送處理部分1016。在步驟S94上，發(fā)送處理部分1016計(jì)算對(duì)象圖像數(shù)據(jù)、背景圖像數(shù)據(jù)和 附加信息的數(shù)據(jù)量，以便滿足傳送路徑3的數(shù)據(jù)速率的條件。此后，發(fā)送處 理部分1016相應(yīng)于該數(shù)據(jù)量對(duì)對(duì)象圖像數(shù)據(jù)、背景圖像數(shù)據(jù)、和附加信息進(jìn) 行編碼，隨后多路復(fù)用它們。此后，發(fā)送處理部分1016經(jīng)傳送路徑3將多路 復(fù)用的數(shù)據(jù)和幀速率信息發(fā)送給接收設(shè)備2。此后，流程返回到步驟S1。在步驟S1上，發(fā)送設(shè)備1重復(fù)相似的處理。圖31示出了圖28所示的接收設(shè)備2的結(jié)構(gòu)實(shí)例。在圖31中，與圖5 中相似的部分用相似的參考標(biāo)號(hào)表示，并省略對(duì)它們的說明。換句話說，在圖31所示的接收設(shè)備2中，設(shè)置一個(gè)組合處理部分1022，來代替組合處理 部分22。此外，設(shè)置了點(diǎn)擊數(shù)據(jù)輸入部分1024和點(diǎn)擊數(shù)據(jù)發(fā)送部分1025, 來分別代替設(shè)置了控制信息輸入部分24和控制信息發(fā)送部分25。除這些方 面夕卜，圖28所示的接收設(shè)備2的結(jié)構(gòu)基本上和圖5所示的接收設(shè)備2的結(jié)構(gòu) 相同。發(fā)送設(shè)備1經(jīng)傳送路徑3發(fā)送的多路復(fù)用數(shù)據(jù)被接收處理部分21接收。 接收處理部分21把接收的多路復(fù)用數(shù)據(jù)分離成編碼背景圖像數(shù)據(jù)、編碼對(duì)象 圖像數(shù)據(jù)、和編碼附加信息數(shù)據(jù)，并對(duì)分離的數(shù)據(jù)進(jìn)行解碼。此后，接收處 理部分21把解碼的背景圖像數(shù)據(jù)、對(duì)象圖像數(shù)據(jù)和附加信息供應(yīng)給組合處理 部分1022。組合處理部分1022組和解碼的背景圖像數(shù)據(jù)、對(duì)象圖像數(shù)據(jù)和附加信 息，并把該組合的圖像信號(hào)供應(yīng)給圖像輸出部分23。此外，組合處理部分1022 相應(yīng)于點(diǎn)擊數(shù)據(jù)輸入部分1024供應(yīng)的點(diǎn)擊數(shù)據(jù)控制組合的圖像的空間分辨 率和時(shí)間分辨率。點(diǎn)擊數(shù)據(jù)輸入部分1024相應(yīng)于用戶進(jìn)行的按4t部分2-3的操作生成代表 點(diǎn)擊位置(坐標(biāo)位置)和點(diǎn)擊時(shí)間的點(diǎn)擊數(shù)據(jù)。按鍵部分2-3作為一個(gè)指點(diǎn) 裝置，用于指定在相當(dāng)于接收設(shè)備2 (參見圖28)的顯示部分2-2的圖像輸 出部分23上顯示的圖像的坐標(biāo)位置。換句話說，當(dāng)用戶為圖像輸出部分23 上顯示的圖像的預(yù)期圖像位置(興趣對(duì)象區(qū)域)點(diǎn)擊按鍵部分2-3時(shí)，點(diǎn)擊 數(shù)據(jù)輸入部分1024生成點(diǎn)擊數(shù)據(jù)，它代表點(diǎn)擊位置的坐標(biāo)信息和點(diǎn)擊時(shí)間。 點(diǎn)擊數(shù)據(jù)輸入部分1024生成的點(diǎn)擊數(shù)據(jù)被發(fā)送給組合處理部分1022和點(diǎn)擊 數(shù)據(jù)發(fā)送部分1025。當(dāng)點(diǎn)擊數(shù)據(jù)發(fā)送部分1025接收到來自點(diǎn)擊數(shù)據(jù)輸入部分1024的點(diǎn)擊數(shù) 據(jù)時(shí)，點(diǎn)擊數(shù)據(jù)發(fā)送部分1025經(jīng)傳送路徑3把該點(diǎn)擊數(shù)據(jù)發(fā)送給發(fā)送設(shè)備1。下面結(jié)合圖32所示的流程圖簡(jiǎn)要說明由圖31所示的接收設(shè)備2執(zhí)行的 處理。首先，在步驟S101,接收設(shè)備2接收發(fā)送設(shè)備1經(jīng)傳送路徑3發(fā)送的多 路復(fù)用數(shù)據(jù)。在步驟S102，接收處理部分21將多路復(fù)用數(shù)據(jù)分離成編碼背景圖像數(shù) 據(jù)、編碼對(duì)象圖像數(shù)據(jù)、和編碼附加信息數(shù)據(jù)，并對(duì)分離的編碼數(shù)據(jù)進(jìn)行解
此外，在步驟S116上，控制部分35控制MUX32把高分辨率信息作為 優(yōu)先權(quán)范圍的位置和尺寸信息插入到被選作多路復(fù)用數(shù)據(jù)的附加信息中。此 后，流程前進(jìn)到步驟S113。
在步驟S113上，發(fā)送設(shè)備33經(jīng)傳送路徑3發(fā)送MUX32輸出的多路復(fù) 用數(shù)據(jù)。此后，流程返回到步驟Slll。
如上述的那樣，在圖34所示的發(fā)送處理中，執(zhí)行和圖IO所示的處理相 似的處理。因而，當(dāng)接收設(shè)備2的用戶為了包含考慮點(diǎn)上的優(yōu)先權(quán)分為內(nèi)的 圖像而連續(xù)地操作點(diǎn)擊數(shù)據(jù)輸入部分1024 (例如，他和她連續(xù)地指定相同的 考慮點(diǎn))時(shí)，優(yōu)先發(fā)送改善空間分辨率的數(shù)據(jù)。因而，包含考慮點(diǎn)的優(yōu)先權(quán) 范圍內(nèi)的圖像的空間分辨率被逐漸改善。結(jié)果優(yōu)先權(quán)范圍內(nèi)的圖像被更加清 晰地顯示了。換句話說，接收設(shè)備2側(cè)的用戶進(jìn)行考慮的一個(gè)圖像(一個(gè)興 趣對(duì)象區(qū)域和一個(gè)對(duì)象圖像)被更加清楚地顯示。
如上所述，圖像數(shù)據(jù)的傳送相應(yīng)于傳送路徑3的傳送速率進(jìn)行控制，以 便優(yōu)先權(quán)范圍內(nèi)的圖像(一個(gè)興趣對(duì)象區(qū)域和一個(gè)對(duì)象圖像)的空間分辨率 和時(shí)間分辨率在分辨率的范圍內(nèi)變化。因而，在有限的傳送速率下，可以進(jìn) 一步改善與接收設(shè)備2所顯示的一個(gè)考慮點(diǎn)相對(duì)應(yīng)的一個(gè)對(duì)象圖像的空間分 辨率。換句話說，由于優(yōu)先權(quán)范圍內(nèi)的對(duì)象圖像的空間分辨率以圖像的時(shí)間 分辨率為代價(jià)得到改善，因此可以以有限傳送速率更加清楚地顯示在接收設(shè) 備2上顯示的對(duì)象圖像(即，空間分辨率可以被進(jìn)一步改善)。
下面圖35示出了圖31所示的組合處理部分1022的結(jié)構(gòu)的實(shí)例。在圖 35中，和圖13所示的部分相同的部分由相同的參考標(biāo)號(hào)表示，并省略對(duì)它 們的說明。換句話說，組合處理部分1022中不設(shè)置背景圖像標(biāo)志存儲(chǔ)器74。 組合處理部分1022中設(shè)置的是組合部分1077而不是組合部分77。此外，供 給組合部分1077的是點(diǎn)擊數(shù)據(jù)而不是控制信息。除了這些方面外，圖35所 示的組合處理部分1022的結(jié)構(gòu)基本上與圖13所示的組合部分22的結(jié)構(gòu)相 同。
參見圖35，接收處理部分21 (參見圖31)輸出的背景圖像數(shù)據(jù)被輸入 給背景圖像寫入部分71。接收處理部分21輸出的對(duì)象圖像數(shù)據(jù)被輸入給對(duì) 象寫入部分72。接收處理部分21輸出的附加信息被輸入給背景圖像寫入部 分71 、對(duì)象寫入部分72和組合部分1077。
背景圖像寫入部分71把供給的背景圖像數(shù)據(jù)連續(xù)地寫入背景圖像存儲(chǔ)
另一方面，控制部分35控制從MUX32供應(yīng)的多路復(fù)用數(shù)據(jù)的輸出，， 使數(shù)據(jù)量計(jì)算部分34供應(yīng)的數(shù)據(jù)速率不超過傳送路徑3的傳送速率。此外， 控制部分35經(jīng)傳送路徑3接收從接收設(shè)備2發(fā)送的點(diǎn)擊數(shù)據(jù)，并相應(yīng)于點(diǎn)擊 數(shù)據(jù)控制MUX32選擇和多路復(fù)用編碼的數(shù)據(jù)。下面，結(jié)合圖34所示的流程圖由說明圖33所示的發(fā)送處理部分1016 執(zhí)行的發(fā)送處理。首先，在步驟Slll，發(fā)送處理部分1016的控制部分35確定點(diǎn)擊數(shù)據(jù)是 否已從接收設(shè)備2發(fā)送。當(dāng)步驟Slll上的確定結(jié)果表明接收設(shè)備2未發(fā)送點(diǎn) 擊數(shù)據(jù)(即，控制部分35未接收到點(diǎn)擊數(shù)據(jù))時(shí)，流程前進(jìn)到步驟S112。 在步驟S112,和圖10所示的步驟S22的情況一樣，控制部分35控制MUX32 選擇編碼的背景圖像數(shù)據(jù)、編碼對(duì)象數(shù)據(jù)和編碼附加信息數(shù)據(jù)，并多路復(fù)用該選擇的數(shù)據(jù)，以便接收設(shè)備2可以用常規(guī)時(shí)間分辨率顯示一個(gè)圖像。此后，流程前進(jìn)到步驟S113。在步驟S113上，發(fā)送處理部分1016從發(fā) 送部分33經(jīng)傳送路徑3發(fā)送MUX32供應(yīng)的多路復(fù)用數(shù)據(jù)。此后，流程返回 到步驟Slll。當(dāng)步驟Slll上的確定結(jié)果表明接收設(shè)備2已經(jīng)發(fā)送點(diǎn)擊數(shù)據(jù)(即，控制 部分35已經(jīng)接收到點(diǎn)擊數(shù)據(jù))時(shí)，流程前進(jìn)到步驟S114。在步驟S114上， 控制部分35相應(yīng)于點(diǎn)擊數(shù)據(jù)認(rèn)同用戶已經(jīng)用接收設(shè)備2的按鍵部分2-3指定 的一個(gè)考慮點(diǎn)的坐標(biāo)(點(diǎn)擊位置)和點(diǎn)擊時(shí)間。此后，在步驟S115上，控制部分35相應(yīng)于考慮點(diǎn)的坐標(biāo)(點(diǎn)擊位置) 和點(diǎn)擊時(shí)間按下面將要描述的方式指定接收設(shè)備2方的用戶考慮的興趣對(duì)象 區(qū)域，把興趣對(duì)象區(qū)域指定為其空間分辨率被優(yōu)先改善的 一個(gè)圖像的優(yōu)先權(quán) 范圍，并檢測(cè)優(yōu)先權(quán)范圍內(nèi)的一個(gè)圖像以及其附加信息。在這種情況下，優(yōu) 先權(quán)范圍內(nèi)的圖像是對(duì)象圖像。非優(yōu)先權(quán)范圍內(nèi)的一個(gè)圖像是例如像不感興 趣對(duì)象區(qū)域內(nèi)的一個(gè)背景圖像那樣的一個(gè)圖像。此后，在步驟S116上，控制部分35控制MUX32選4奪優(yōu)先權(quán)范圍內(nèi)的 圖像(對(duì)象圖像)、非優(yōu)先權(quán)范圍內(nèi)的一個(gè)圖像(背景圖像)以及附加信息的 編碼數(shù)據(jù)，并多路復(fù)用它們。換句話說，當(dāng)控制部分35接收到來自接收設(shè)備 2的點(diǎn)擊數(shù)據(jù)時(shí)，像圖10所示的步驟S26上情況那樣，控制部分35控制 MUX32,以便優(yōu)先權(quán)范圍內(nèi)的圖像的空間分辨率以時(shí)間分辨率為代價(jià)得到改 善。
此外，在步驟S116上，控制部分35控制MUX32把高分辨率信息作為 優(yōu)先權(quán)范圍的位置和尺寸信息插入到被選作多路復(fù)用數(shù)據(jù)的附加信息中。此 后，流程前進(jìn)到步驟S113。在步驟S113上，發(fā)送設(shè)備33經(jīng)傳送路徑3發(fā)送MUX32輸出的多路復(fù) 用數(shù)據(jù)。此后，流程返回到步驟Slll。如上述的那樣，在圖34所示的發(fā)送處理中，執(zhí)行和圖IO所示的處理相 似的處理。因而，當(dāng)接收設(shè)備2的用戶為了包含考慮點(diǎn)上的優(yōu)先權(quán)分為內(nèi)的 圖像而連續(xù)地操作點(diǎn)擊數(shù)據(jù)輸入部分1024 (例如，他和她連續(xù)地指定相同的 考慮點(diǎn))時(shí)，優(yōu)先發(fā)送改善空間分辨率的數(shù)據(jù)。因而，包含考慮點(diǎn)的優(yōu)先權(quán) 范圍內(nèi)的圖像的空間分辨率被逐漸改善。結(jié)果優(yōu)先權(quán)范圍內(nèi)的圖像被更加清 晰地顯示了。換句話說，接收設(shè)備2側(cè)的用戶進(jìn)行考慮的一個(gè)圖像(一個(gè)興 趣對(duì)象區(qū)域和一個(gè)對(duì)象圖像)被更加清楚地顯示。如上所述，圖像數(shù)據(jù)的傳送相應(yīng)于傳送路徑3的傳送速率進(jìn)行控制，以 便優(yōu)先權(quán)范圍內(nèi)的圖像(一個(gè)興趣對(duì)象區(qū)域和一個(gè)對(duì)象圖像)的空間分辨率 和時(shí)間分辨率在分辨率的范圍內(nèi)變化。因而，在有限的傳送速率下，可以進(jìn) 一步改善與接收設(shè)備2所顯示的一個(gè)考慮點(diǎn)相對(duì)應(yīng)的一個(gè)對(duì)象圖像的空間分 辨率。換句話說，由于優(yōu)先權(quán)范圍內(nèi)的對(duì)象圖像的空間分辨率以圖像的時(shí)間 分辨率為代價(jià)得到改善，因此可以以有限傳送速率更加清楚地顯示在接收設(shè) 備2上顯示的對(duì)象圖像(即，空間分辨率可以被進(jìn)一步改善)。下面圖35示出了圖31所示的組合處理部分1022的結(jié)構(gòu)的實(shí)例。在圖 35中，和圖13所示的部分相同的部分由相同的參考標(biāo)號(hào)表示，并省略對(duì)它 們的說明。換句話說，組合處理部分1022中不設(shè)置背景圖像標(biāo)志存儲(chǔ)器74。 組合處理部分1022中設(shè)置的是組合部分1077而不是組合部分77。此外，供 給組合部分1077的是點(diǎn)擊數(shù)據(jù)而不是控制信息。除了這些方面外，圖35所 示的組合處理部分1022的結(jié)構(gòu)基本上與圖13所示的組合部分22的結(jié)構(gòu)相 同。參見圖35，接收處理部分21 (參見圖31)輸出的背景圖像數(shù)據(jù)被輸入 給背景圖像寫入部分71。接收處理部分21輸出的對(duì)象圖像數(shù)據(jù)被輸入給對(duì) 象寫入部分72。接收處理部分21輸出的附加信息被輸入給背景圖像寫入部 分71、對(duì)象寫入部分72和組合部分1077。背景圖像寫入部分71把供給的背景圖像數(shù)據(jù)連續(xù)地寫入背景圖像存儲(chǔ)器73。然而，在圖35所示的實(shí)施例中，未設(shè)置圖13所示實(shí)施例的背景圖像 標(biāo)志存儲(chǔ)器74。因而，在圖35中，當(dāng)背景圖像寫入部分71把背景圖像數(shù)據(jù) 寫到背景圖像存儲(chǔ)器73上時(shí)，背景圖像寫入部分71不核對(duì)一個(gè)背景圖像標(biāo) 志。組合部分1077相應(yīng)于附加信息中包含的背景圖像移動(dòng)矢量從背景圖像 存儲(chǔ)器73中存儲(chǔ)的背景圖4象數(shù)據(jù)中讀出在當(dāng)前時(shí)間(當(dāng)前幀)顯示的幀的一 個(gè)背景圖像，相應(yīng)于附加信息中包含的一個(gè)對(duì)象移動(dòng)矢量將對(duì)象存儲(chǔ)器75中 存儲(chǔ)的 一個(gè)對(duì)象圖像與該背景圖像相組合，并把當(dāng)前幀的組合圖像供應(yīng)給顯 示存儲(chǔ)器78。此外，當(dāng)組合部分1077接收到來自圖31所示的點(diǎn)擊數(shù)據(jù)輸入部分1024 的點(diǎn)擊數(shù)據(jù)時(shí)，組合部分1077從對(duì)象存儲(chǔ)器75中讀出包含一個(gè)考慮點(diǎn)坐標(biāo) 位置的對(duì)象圖像數(shù)據(jù)，該考慮點(diǎn)被包含在點(diǎn)擊數(shù)據(jù)中，并把獲得的對(duì)象圖像 數(shù)據(jù)供應(yīng)給子窗口存儲(chǔ)器79。下面結(jié)合圖36所示的流程圖說明圖35所示的組合處理部分1022所執(zhí)行 的處理(組合處理)。首先，在步驟S121上，對(duì)象寫入部分72相應(yīng)于對(duì)象存儲(chǔ)器75中存儲(chǔ)的 一個(gè)對(duì)象標(biāo)識(shí)按上述方式寫入圖35所示的解碼部分53所供應(yīng)的對(duì)象圖像數(shù) 據(jù)。此后，流程前進(jìn)到步驟S122。對(duì)象寫入部分72確定附加信息是否包含 高分辨率信息。當(dāng)步驟si22上的確定結(jié)果表明附加信息包含高分辨率信息 (即，接收設(shè)備2的用戶已經(jīng)操作按鍵部分2-3,點(diǎn)擊數(shù)據(jù)已經(jīng)發(fā)送給發(fā)送設(shè) 備1,并且發(fā)送設(shè)備1隨后為優(yōu)先權(quán)范圍內(nèi)的一個(gè)圖像發(fā)送具有高空間分辨 率的對(duì)象圖像數(shù)據(jù))時(shí)，流程前進(jìn)到步驟S123。在步驟S123上，對(duì)象寫入 部分72將對(duì)象標(biāo)志存儲(chǔ)器76的相關(guān)對(duì)象標(biāo)志調(diào)整到"1"。換句話說，當(dāng)發(fā)送設(shè)備l已經(jīng)為優(yōu)先權(quán)范圍內(nèi)的圖像發(fā)送具有高空間分 辨率的對(duì)象圖像數(shù)據(jù)時(shí)，在步驟S121上，具有高空間分辨率的對(duì)象圖像數(shù)據(jù) 被寫入對(duì)象存儲(chǔ)器75。因而，在步驟S123上，組成具有高空間分辨率的對(duì) 象的像素的對(duì)象標(biāo)志被調(diào)整到"1"。此后，流程前進(jìn)到步驟S124。在步驟S124上，組合部分1077從對(duì)象存 儲(chǔ)器75中讀出優(yōu)先權(quán)范圍內(nèi)的對(duì)象圖像數(shù)據(jù)，并把獲得的對(duì)象圖像數(shù)據(jù)寫入 到子窗口存儲(chǔ)器79。換句話說，當(dāng)步驟S122上的確定結(jié)果表明附加信息包含高分辨率信息時(shí)，則如上述的那樣，用戶已經(jīng)操作按#:部分2-3,點(diǎn)擊數(shù)據(jù)已經(jīng)發(fā)送給發(fā)送 設(shè)備1,并且發(fā)送設(shè)備1隨后為優(yōu)先權(quán)范圍內(nèi)的一個(gè)圖像發(fā)送具有高空間分 辨率的對(duì)象圖像數(shù)據(jù)。發(fā)送給發(fā)送設(shè)備1的點(diǎn)擊數(shù)據(jù)還供應(yīng)給組合部分1077。 當(dāng)組合部分1077接收到點(diǎn)擊數(shù)據(jù)時(shí)，在步驟S124上，組合部分1077相應(yīng)于 包含在點(diǎn)擊數(shù)據(jù)中的考慮點(diǎn)的坐標(biāo)和點(diǎn)擊時(shí)間認(rèn)同優(yōu)先權(quán)范圍，從對(duì)象存儲(chǔ) 器75中讀出已從發(fā)送設(shè)備1發(fā)送的在優(yōu)先權(quán)范圍內(nèi)的具有高空間分辨率的一 個(gè)對(duì)象，并把獲得的對(duì)象寫到子窗口存儲(chǔ)器79。此外，如上所述的那樣，當(dāng) 發(fā)送設(shè)備1發(fā)送的首部信息包含點(diǎn)擊數(shù)據(jù)時(shí)，組合部分1077可以依據(jù)首部信 息中包含的點(diǎn)擊數(shù)據(jù)認(rèn)同該優(yōu)先權(quán)范圍。此后，流程前進(jìn)到步驟S125。在步驟S125上，組合部分1077相應(yīng)于附 加信息中包含的背景圖像移動(dòng)矢量從背景圖像存儲(chǔ)器73中讀出當(dāng)前幀的背 景圖像數(shù)據(jù)。此外，組合部分1077從對(duì)象存儲(chǔ)器75中讀出顯示的當(dāng)前幀的 對(duì)象圖像數(shù)據(jù)。此后，組合部分1077相應(yīng)于附加信息中包含的一個(gè)對(duì)象移動(dòng) 矢量將當(dāng)前幀的背景圖像數(shù)據(jù)與已經(jīng)從對(duì)象存儲(chǔ)器75中讀出的對(duì)象圖像數(shù) 據(jù)相組合，并把該當(dāng)前幀的組合圖像寫到顯示存儲(chǔ)器78。換句話說，組合部 分1077把背景圖像數(shù)據(jù)寫入到顯示存儲(chǔ)器78,然后將對(duì)象圖像數(shù)據(jù)覆蓋寫 到顯示存儲(chǔ)器78。結(jié)果，組合部分1077將已經(jīng)組合了背景圖像和對(duì)象圖像 的當(dāng)前幀的圖像數(shù)據(jù)寫入到顯示存儲(chǔ)器78。在上述方式中，寫入到顯示存儲(chǔ)器78的當(dāng)前幀的圖像數(shù)據(jù)和寫入到子窗 口存儲(chǔ)器79的對(duì)象圖像數(shù)據(jù)被供應(yīng)給圖31所示的圖像輸入部分23,并在其 上顯示。相反，當(dāng)步驟S122上的確定結(jié)果表明附加信息不包含高分辨率信息(即， 接收設(shè)備2的用戶還未操作按鍵部分2-3)，流程前進(jìn)到步驟S125,跳過步驟 S123和S124。如上所述的那樣，在步驟S125,組合部分1077從背景圖像存 儲(chǔ)器73讀出當(dāng)前幀的背景圖像數(shù)據(jù)，從對(duì)象存儲(chǔ)器75中讀出所需的對(duì)象圖 像數(shù)據(jù)，并相應(yīng)于附加信息將當(dāng)前幀的背景圖像和已經(jīng)從對(duì)象存儲(chǔ)器75中讀 出的對(duì)象圖像數(shù)據(jù)進(jìn)行組合。結(jié)果，當(dāng)前幀的圖像數(shù)據(jù)被形成并被寫入到顯 示存儲(chǔ)器78。此后，流程返回到步驟S121。在步驟S121上，組合部分1077 重復(fù)相似的處理。根據(jù)上述的組合處理，按照和結(jié)合圖15所述情況相同的方式，顯示用戶
考慮作為一個(gè)對(duì)象的具有高空間分辨率的一個(gè)圖像。圖35所示的組合處理部 分1022沒有圖13所示的背景圖像標(biāo)志存儲(chǔ)器74。因此，圖35所示的背景 圖像寫入部分71總是把供應(yīng)的背景圖像數(shù)據(jù)寫入到背景圖像存儲(chǔ)器73。因 此，在圖36所示的組合處理中，背景圖像的空間分辨率不像參考圖13至15 所述的情況那樣能夠得到改善。下面，將說明相應(yīng)于從接收設(shè)備2供給的點(diǎn)擊數(shù)據(jù)提取對(duì)象圖像(興趣 對(duì)象區(qū)域)的方法。該方法由圖29所示的對(duì)象提取部分1044執(zhí)行。圖37示出了圖29所示的預(yù)處理部分12的對(duì)象提取部分1014的結(jié)構(gòu)實(shí)例。在圖37中，圖29所示的圖像輸入部分11所供應(yīng)的圖像數(shù)據(jù)被存儲(chǔ)到圖 像存儲(chǔ)器201。該圖像數(shù)據(jù)從圖像存儲(chǔ)器201中讀出，并供應(yīng)給靜止區(qū)域和 移動(dòng)區(qū)域確定部分203的公共端、對(duì)象圖像提取部分213和選擇開關(guān)207。 圖像存儲(chǔ)器201存儲(chǔ)靜止區(qū)域和移動(dòng)區(qū)域確定部分203進(jìn)行靜止區(qū)域和移動(dòng) 區(qū)域確定所需的至少幾個(gè)幀的圖像數(shù)據(jù)，該靜止區(qū)域和移動(dòng)區(qū)域確定部分203 是圖像存儲(chǔ)器201的一個(gè)下游部分。此外，接收設(shè)備2經(jīng)傳送路徑3發(fā)送的點(diǎn)擊數(shù)據(jù)被存儲(chǔ)到點(diǎn)擊數(shù)據(jù)存儲(chǔ) 器202。該點(diǎn)擊數(shù)據(jù)從點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202中讀出并供應(yīng)給靜止區(qū)域和移動(dòng) 區(qū)域確定部分204的公共端、連續(xù)點(diǎn)擊確定部分204和選擇開關(guān)206。點(diǎn)擊 數(shù)據(jù)存儲(chǔ)器202存儲(chǔ)在作為點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202的一個(gè)下游部分的連續(xù)點(diǎn)擊 確定部分204所執(zhí)行的連續(xù)點(diǎn)擊確定一個(gè)預(yù)定時(shí)間周期(例如，大于500到 700毫秒)所需的點(diǎn)擊數(shù)據(jù)。靜止區(qū)域和移動(dòng)區(qū)域確定部分203確定由接收設(shè)備2發(fā)送的當(dāng)前點(diǎn)擊數(shù) 據(jù)所代表的點(diǎn)擊位置(圖像上的坐標(biāo)值)周圍的局部小塊的圖像區(qū)域(例如， 16x 16像素)是移動(dòng)區(qū)域還是靜止區(qū)域。換句話說，靜止區(qū)域和移動(dòng)區(qū)域確 定部分203為點(diǎn)擊位置周圍的16x 16個(gè)像素獲得當(dāng)前幀的圖像區(qū)域與一個(gè)過 去幀的圖像區(qū)域之間的差值，該過去幀先于當(dāng)前幀幾個(gè)幀(以下，把該過去 幀稱為過去幀)。當(dāng)幀間的差值等于或小于預(yù)定閾值時(shí)，靜止區(qū)域和移動(dòng)區(qū)域 確定部分203確定該圖像區(qū)域是靜止區(qū)域。相反，當(dāng)該差值大于預(yù)定閾值時(shí)， 靜止區(qū)域和移動(dòng)區(qū)域確定部分203確定該圖像區(qū)域是移動(dòng)區(qū)域。當(dāng)處理彩色 圖4象時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203為R、 G和B的每一個(gè)的16 x 16 個(gè)像素的圖像獲得當(dāng)前幀的圖像區(qū)域與過去幀的圖像區(qū)域之間的差值。當(dāng)為
R、 G、 B獲得的幀差值的絕對(duì)值的平均值等于或小于一個(gè)預(yù)定閾值(例如，
等于或小于IO)時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203確定該圖像區(qū)域是靜止區(qū)域。相反，當(dāng)該平均值大于預(yù)定閾值時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分
203確定該圖像區(qū)域是一個(gè)移動(dòng)區(qū)域。當(dāng)移動(dòng)區(qū)域和靜止區(qū)域確定部分203 確定圖像區(qū)域是一個(gè)靜止區(qū)域時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203確定點(diǎn) 擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù)是靜止點(diǎn)擊(靜止區(qū)域中的一個(gè)點(diǎn) 擊)。當(dāng)靜止區(qū)域和移動(dòng)區(qū)域確定部分203確定圖像區(qū)域是一個(gè)移動(dòng)區(qū)域時(shí)， 靜止區(qū)域和移動(dòng)區(qū)域確定部分203確定點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊 數(shù)據(jù)是移動(dòng)點(diǎn)擊(移動(dòng)區(qū)域中的一個(gè)點(diǎn)擊)。此后，靜止區(qū)域和移動(dòng)區(qū)域確定 部分203向處理確定部分205發(fā)送作為靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果的表示 靜止點(diǎn)擊和移動(dòng)點(diǎn)擊的信息。
連續(xù)點(diǎn)擊確定部分204相應(yīng)于從接收設(shè)備2發(fā)送的點(diǎn)擊數(shù)據(jù)的點(diǎn)擊時(shí)間 確定接收設(shè)備2的用戶是否已經(jīng)連續(xù)執(zhí)行點(diǎn)擊操作。換句話說，連續(xù)點(diǎn)擊確 定部分204獲得接收設(shè)備2發(fā)送的當(dāng)前點(diǎn)擊數(shù)據(jù)的點(diǎn)擊時(shí)間與前一點(diǎn)擊數(shù)據(jù) 的點(diǎn)擊時(shí)間之間的時(shí)間差(即，點(diǎn)擊時(shí)間間隔)。當(dāng)該時(shí)間差等于或小于預(yù)定 閾值時(shí)，連續(xù)點(diǎn)擊確定部分204確定用戶未執(zhí)行連續(xù)點(diǎn)擊操作。當(dāng)連續(xù)點(diǎn)擊 確定部分204確定用戶已經(jīng)執(zhí)行連續(xù)點(diǎn)擊操作時(shí)，連續(xù)點(diǎn)擊確定部分204按 連續(xù)點(diǎn)擊處理從點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù)。相反，連續(xù)點(diǎn)擊 確定部分204確定用戶還未執(zhí)行連續(xù)點(diǎn)擊操作(即，當(dāng)前點(diǎn)擊時(shí)間與前一點(diǎn) 擊時(shí)間之間的時(shí)間差等于或小于預(yù)定閣值)時(shí)，連續(xù)點(diǎn)擊確定部分204按非 連續(xù)點(diǎn)擊處理從點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù)。此后，連續(xù)點(diǎn)擊 確定部分204向處理確定部分205發(fā)送作為連續(xù)點(diǎn)擊確定結(jié)果的表示連續(xù)點(diǎn) 擊或非連續(xù)點(diǎn)擊的信息。
處理確定部分205相應(yīng)于靜止區(qū)域和移動(dòng)區(qū)域確定部分203的靜止區(qū)域 和移動(dòng)區(qū)域確定結(jié)果和連續(xù)點(diǎn)擊確定部分204的連續(xù)點(diǎn)擊確定結(jié)果控制選擇 開關(guān)206、選擇開關(guān)207和選擇開關(guān)208。
換句話說，相應(yīng)于靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果和連續(xù)點(diǎn)擊確定結(jié)果， 當(dāng)點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù)是靜止點(diǎn)擊和連續(xù)點(diǎn)擊時(shí)，處理 確定部分205控制選擇開關(guān)206,使點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù) 據(jù)被發(fā)送給靜止對(duì)象連接處理部分211。此外，處理確定部分205控制選擇 開關(guān)207，使圖像存儲(chǔ)器201輸出的圖像數(shù)據(jù)被發(fā)送給靜止圖像連接處理部
分211。然而，處理確定部分205控制選擇開關(guān)208,使對(duì)象提取結(jié)果存儲(chǔ)器 214輸出的前一點(diǎn)擊數(shù)據(jù)(后面將要說明)、分配給該點(diǎn)擊數(shù)據(jù)的對(duì)象號(hào)(相 當(dāng)于上述的標(biāo)志，并歸類(標(biāo)識(shí))對(duì)象)和與該對(duì)象號(hào)相對(duì)應(yīng)的對(duì)象圖像數(shù) 據(jù)發(fā)送給靜止對(duì)象連接處理部分211。此外，相應(yīng)于靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果和連續(xù)點(diǎn)擊確定結(jié)果，當(dāng)點(diǎn) 擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù)是一個(gè)移動(dòng)點(diǎn)擊和一個(gè)連續(xù)點(diǎn)擊時(shí)， 處理確定部分205控制選擇開關(guān)206，使點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn) 擊數(shù)據(jù)發(fā)送給移動(dòng)對(duì)象連接處理部分210。此外，處理確定部分205控制選 擇開關(guān)207,使圖像存儲(chǔ)器201輸出的圖像數(shù)據(jù)發(fā)送給移動(dòng)對(duì)象連接處理部 分210。此外，處理確定部分205控制選擇開關(guān)208,使對(duì)象提取結(jié)果存儲(chǔ)器 214輸出的前一單擊數(shù)據(jù)(后面將進(jìn)行說明)、分配給該點(diǎn)擊數(shù)據(jù)的對(duì)象號(hào)、 和對(duì)應(yīng)于該對(duì)象號(hào)的對(duì)象圖像數(shù)據(jù)發(fā)送給移動(dòng)對(duì)象連接處理部分210。此外，相應(yīng)于靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果和連續(xù)點(diǎn)擊確定結(jié)果，當(dāng)點(diǎn) 擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù)是一個(gè)靜止點(diǎn)擊和一個(gè)連續(xù)點(diǎn)擊(當(dāng) 前點(diǎn)擊時(shí)間與前一點(diǎn)擊時(shí)間之間的時(shí)間差等于或大于預(yù)定閾值)時(shí)，處理確 定部分205控制選擇開關(guān)206,使點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù) 發(fā)送給對(duì)象號(hào)分配部分209。此外，處理確定部分205控制選擇開關(guān)207,使 從圖像存儲(chǔ)器201輸出的圖像數(shù)據(jù)發(fā)送給靜止對(duì)象連接處理部分211。此時(shí)， 選擇開關(guān)208控制選擇開關(guān)208。使對(duì)象提取結(jié)果處理器214輸出的前一點(diǎn) 擊數(shù)據(jù)、對(duì)象號(hào)、和對(duì)象圖像數(shù)據(jù)不發(fā)送給靜止對(duì)象連接處理部分211 (在 此情況下，例如，選擇開關(guān)208打開)。此外，相應(yīng)于靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果和連續(xù)點(diǎn)擊確定結(jié)果，當(dāng)點(diǎn) 擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù)是一個(gè)移動(dòng)點(diǎn)擊和一個(gè)非連續(xù)點(diǎn)擊 (當(dāng)前點(diǎn)擊時(shí)間與前一點(diǎn)擊時(shí)間之間的時(shí)間差等于或大于預(yù)定閾值)時(shí)，處 理確定部分205控制選擇開關(guān)206，使點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊 數(shù)據(jù)不發(fā)送給對(duì)象號(hào)分配部分209。此外，處理確定部分205控制選擇開關(guān) 207，使圖像存儲(chǔ)器201輸出的圖像數(shù)據(jù)發(fā)送給移動(dòng)對(duì)象連接處理部分210。 此時(shí)，處理確定部分205控制選擇開關(guān)208，使得對(duì)象提取結(jié)果存儲(chǔ)器214 輸出的前一點(diǎn)擊數(shù)據(jù)、對(duì)象號(hào)、和對(duì)象圖像數(shù)據(jù)不發(fā)送給移動(dòng)對(duì)象連接處理 部分210(例如，打開選#^開關(guān)208 )。對(duì)象號(hào)分配部分209把一個(gè)新對(duì)象號(hào)分配給由靜止對(duì)象連接處理部分
211和移動(dòng)對(duì)象連接處理部分210按一個(gè)連接處理進(jìn)行處理的作為一個(gè)非連 續(xù)點(diǎn)擊而不是連續(xù)點(diǎn)擊的點(diǎn)擊數(shù)據(jù)(下面將進(jìn)行說明)，并把該對(duì)象號(hào)和點(diǎn)擊數(shù)據(jù)發(fā)送給對(duì)象號(hào)存儲(chǔ)器212。當(dāng)處理確定部分205確定點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn)擊數(shù)據(jù)是移 動(dòng)點(diǎn)擊和連續(xù)點(diǎn)擊時(shí)，移動(dòng)對(duì)象連接處理部分210確定前一點(diǎn)擊數(shù)據(jù)是否是 移動(dòng)點(diǎn)擊，當(dāng)前點(diǎn)擊位置附近的圖像特征是否被包含在具有分配給前一點(diǎn)擊 數(shù)據(jù)的對(duì)象號(hào)的移動(dòng)對(duì)象圖像區(qū)域的特征內(nèi)，或它們(當(dāng)前點(diǎn)擊數(shù)據(jù)和前一 點(diǎn)擊數(shù)據(jù))是否相同。當(dāng)確定結(jié)果是肯定的時(shí)，移動(dòng)對(duì)象連接處理部分210 確定當(dāng)前點(diǎn)擊是對(duì)相同對(duì)象圖像的點(diǎn)擊。因而，移動(dòng)對(duì)象連接處理部分210 執(zhí)行一個(gè)連接處理，將與前一點(diǎn)擊數(shù)據(jù)相同的對(duì)象號(hào)分配給當(dāng)前點(diǎn)擊數(shù)據(jù)和 把該對(duì)象號(hào)和點(diǎn)擊數(shù)據(jù)發(fā)送給對(duì)象號(hào)存儲(chǔ)器212。當(dāng)處理確定部分205的確定結(jié)果表明點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202輸出的當(dāng)前點(diǎn) 擊數(shù)據(jù)是靜止點(diǎn)擊和連續(xù)點(diǎn)擊時(shí)，靜止對(duì)象連接處理部分211確定前一點(diǎn)擊 是否是靜止點(diǎn)擊，以及當(dāng)前點(diǎn)擊位置是否被包含在具有分配給前一點(diǎn)擊數(shù)據(jù) 的對(duì)象號(hào)的靜止對(duì)象圖像的區(qū)域中，或當(dāng)前點(diǎn)擊位置是否接近該區(qū)域。當(dāng)靜 止對(duì)象連接處理部分211的確定結(jié)果是肯定的時(shí)，靜止對(duì)象連接處理部分211 確定當(dāng)前點(diǎn)擊是用于與前一點(diǎn)擊相同的對(duì)象的點(diǎn)擊。因而，靜止對(duì)象連接處 理部分211執(zhí)行一個(gè)靜止對(duì)象連接處理，將與前一點(diǎn)擊數(shù)據(jù)相同的對(duì)象號(hào)分 配給當(dāng)前點(diǎn)擊數(shù)據(jù)并把該對(duì)象號(hào)和點(diǎn)擊數(shù)據(jù)發(fā)送給對(duì)象號(hào)存儲(chǔ)器212。對(duì)象號(hào)存儲(chǔ)器212存儲(chǔ)已經(jīng)由對(duì)象號(hào)分配部分209、移動(dòng)對(duì)象連接處理 部分210和靜止對(duì)象連接處理部分211分配了對(duì)象號(hào)的多個(gè)過去幀的點(diǎn)擊數(shù) 據(jù)，并把該存儲(chǔ)的點(diǎn)擊數(shù)據(jù)和對(duì)象號(hào)發(fā)送給對(duì)象圖像提取部分213。對(duì)象圖像提取部分213相應(yīng)于已從對(duì)象號(hào)存儲(chǔ)器212供應(yīng)的并且已經(jīng)分 配了對(duì)象號(hào)多個(gè)過去幀的點(diǎn)擊數(shù)據(jù)，從圖像存儲(chǔ)器201供給的圖像數(shù)據(jù)中提 取靜止對(duì)象圖像、移動(dòng)對(duì)象圖像、背景圖像等，并且把提取的結(jié)果供應(yīng)給對(duì) 象提取結(jié)果存儲(chǔ)器214。換句話說，對(duì)象圖像提取部分213相應(yīng)于從對(duì)象提取部分213供應(yīng)的并 且已經(jīng)分配了對(duì)象號(hào)多個(gè)過去幀的點(diǎn)擊數(shù)據(jù)，從作為靜止點(diǎn)擊的具有高點(diǎn)擊 數(shù)據(jù)密度的點(diǎn)擊數(shù)據(jù)的圖像部分中獲得 一 個(gè)占優(yōu)的對(duì)象號(hào)。對(duì)象圖像提取部 分213相應(yīng)于用占優(yōu)對(duì)象號(hào)分配的點(diǎn)擊數(shù)據(jù)的分配形成一個(gè)對(duì)象的形狀，并 從該圖像數(shù)據(jù)中提取按一個(gè)對(duì)象圖像構(gòu)形對(duì)象的 一個(gè)圖像。
此外，對(duì)象圖像提取部分213對(duì)于在被確定為移動(dòng)點(diǎn)擊的點(diǎn)擊數(shù)據(jù)中分 配了相同對(duì)象號(hào)的點(diǎn)擊位置附近的幀的圖像，執(zhí)行一個(gè)圖案匹配操作，并相應(yīng)于該匹配結(jié)果為該圖像執(zhí)行移動(dòng)補(bǔ)償。然而，對(duì)象圖像提取部分213從被確定為相似圖像區(qū)域的一個(gè)圖像數(shù)據(jù)中獲得具有高點(diǎn)擊密度的一個(gè)圖像區(qū)域(即，通過移動(dòng)補(bǔ)償調(diào)整的圖像區(qū)域)的占優(yōu)對(duì)象號(hào)。對(duì)象圖像提取部分213 相應(yīng)于分配了占優(yōu)對(duì)象號(hào)的點(diǎn)擊數(shù)據(jù)的分配構(gòu)成一個(gè)圖像的形狀，并從該圖 像區(qū)域中提取以一個(gè)對(duì)象圖像構(gòu)形的一個(gè)圖像。此后，對(duì)象圖像提取部分213把具有低靜止點(diǎn)擊密度和低移動(dòng)點(diǎn)擊密度 的一個(gè)圖像部分指定為一個(gè)背景圖像。對(duì)象提取結(jié)果存儲(chǔ)器214存儲(chǔ)由對(duì)象圖像提取部分213提取的對(duì)象圖像 數(shù)據(jù)，以及點(diǎn)擊數(shù)據(jù)、對(duì)象號(hào)等。必要時(shí)，對(duì)象提取結(jié)果存儲(chǔ)器214向圖29 所示的背景圖像提取部分1013、附加信息計(jì)算部分15和發(fā)送處理部分1016 供應(yīng)該對(duì)象圖像數(shù)據(jù)。下面，結(jié)合圖38所示的流程圖說明相應(yīng)于接收設(shè)備2發(fā)送的點(diǎn)擊數(shù)據(jù)來 提取接收設(shè)備2的用戶從正在拍攝的一個(gè)圖像中考慮的一個(gè)對(duì)象圖像(感興 趣的對(duì)象區(qū)域)的處理。該處理由圖37所示的對(duì)象提取設(shè)備1014執(zhí)行。首先，在步驟S131,圖像存儲(chǔ)器201存儲(chǔ)圖像輸入部分11輸入的一幀 的圖像數(shù)據(jù)(輸入無論何時(shí)發(fā)送的幀圖像數(shù)據(jù))。圖像存儲(chǔ)器201存儲(chǔ)在步驟 S133上執(zhí)行靜止區(qū)域和移動(dòng)區(qū)域確定處理所需的至少幾個(gè)幀的圖像數(shù)據(jù)。在步驟S131上，當(dāng)接收設(shè)備2經(jīng)發(fā)送路徑3發(fā)送點(diǎn)擊數(shù)據(jù)時(shí)，點(diǎn)擊數(shù)據(jù) 存儲(chǔ)器202存儲(chǔ)該點(diǎn)擊數(shù)據(jù)。點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202存儲(chǔ)在步驟S133上執(zhí)行的 連續(xù)點(diǎn)擊確定處理(下面將進(jìn)行說明)至少一個(gè)預(yù)定時(shí)間周期(例如，長(zhǎng)達(dá) 500至700毫秒)所需的的點(diǎn)擊數(shù)據(jù)。此后，流程前進(jìn)到步驟S132，在步驟S132,對(duì)象提取部分1014確定是 否存儲(chǔ)了接收設(shè)備2已發(fā)送的并且未被處理的點(diǎn)擊數(shù)據(jù)。當(dāng)步驟S132上的確 定結(jié)果表明點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202沒有存儲(chǔ)未被處理的點(diǎn)擊數(shù)據(jù)時(shí)，流程返回 到步驟S131。在步驟S131上，對(duì)象提取部分1014等待輸入圖像數(shù)據(jù)和點(diǎn)擊 數(shù)據(jù)。相反，當(dāng)步驟S132上的確定結(jié)果表明點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202存儲(chǔ)了未 被處理的點(diǎn)擊數(shù)據(jù)時(shí)，流程前進(jìn)到步驟S133。在步驟S133上，對(duì)象提取部 分1014把未被處理的最舊的點(diǎn)擊數(shù)據(jù)指定為當(dāng)前點(diǎn)擊數(shù)據(jù)。靜止區(qū)域和移動(dòng) 區(qū)域確定部分203、連續(xù)點(diǎn)擊確定部分204和處理確定部分205為該當(dāng)前點(diǎn) 擊數(shù)據(jù)執(zhí)行靜止區(qū)域和移動(dòng)區(qū)域確定處理和連續(xù)點(diǎn)擊確定處理。換句話說，在步驟S133上，靜止區(qū)域和移動(dòng)區(qū)域確定部分203使用接收 設(shè)備2發(fā)送的當(dāng)前點(diǎn)擊數(shù)據(jù)中含有的點(diǎn)擊位置信息(圖像坐標(biāo)值)執(zhí)行靜止 區(qū)域和移動(dòng)區(qū)域的確定處理，以確定作為一個(gè)點(diǎn)擊位置周圍的局部小塊的一 個(gè)圖像區(qū)域是一個(gè)移動(dòng)區(qū)域還是一個(gè)靜止區(qū)域。下面，更實(shí)際地說明由靜止區(qū)域和移動(dòng)區(qū)域確定部分203執(zhí)行的圖38 所示的在步驟S133上進(jìn)行的靜止區(qū)域和移動(dòng)區(qū)域確定處理。如圖39所示的 流程圖所示，在步驟S141上，靜止區(qū)域和移動(dòng)區(qū)域確定部分203從圖像存儲(chǔ) 器201和點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202分別讀出幾個(gè)幀的圖像數(shù)據(jù)和點(diǎn)擊數(shù)據(jù)。處理 一個(gè)彩色圖像時(shí)，如圖40(A)所示，靜止區(qū)域和移動(dòng)區(qū)域確定部分203讀 出用于R(紅)、G(綠)、B (藍(lán))的幾個(gè)幀的圖像數(shù)據(jù)。此外，靜止區(qū)域和 移動(dòng)區(qū)域確定部分203從圖像數(shù)據(jù)存儲(chǔ)器201和點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202中分別 讀出包含對(duì)應(yīng)于當(dāng)前點(diǎn)擊數(shù)據(jù)的一個(gè)幀的幾個(gè)過去幀的圖像數(shù)據(jù)和對(duì)應(yīng)于為 這幾個(gè)幀所執(zhí)行的點(diǎn)擊的點(diǎn)擊數(shù)據(jù)。此后，在步驟S142上，對(duì)于當(dāng)前點(diǎn)擊數(shù)據(jù)的點(diǎn)擊位置周圍的水平方向和 垂直方向上的由16 x 16象素組成的一個(gè)局部小塊，靜止區(qū)域和移動(dòng)區(qū)域確定 部分203計(jì)算當(dāng)前幀的一個(gè)圖像區(qū)域與超前該當(dāng)前幀幾個(gè)幀的過去幀(該過 去幀被稱之為過去幀)之間的差值。處理一個(gè)彩色圖像時(shí)，在步驟S142上， 如圖40 ( B )和40 ( A )所示，靜止區(qū)域和移動(dòng)區(qū)域確定部分203獲得用于R、 G和B每一個(gè)的由16x 16象素組成的一個(gè)圖像的幀之間的差值并獲得用于 R、 G和B每一個(gè)的差值絕對(duì)值的平均值。此后，在步驟S143上，靜止區(qū)域和移動(dòng)區(qū)域確定部分203確定在步驟 S142上計(jì)算的幀間差值是否等于或小于一個(gè)確定的閾值。此后，流程前進(jìn)到 步驟S144。當(dāng)幀間差值等于或小于預(yù)定閾值時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部 分203確定包含當(dāng)前點(diǎn)擊數(shù)據(jù)的點(diǎn)擊位置的一個(gè)小塊(該小塊可以被稱之為 當(dāng)前塊)是一個(gè)靜止區(qū)域。相反，當(dāng)幀間差值大于預(yù)定閾值時(shí)，靜止區(qū)域和 移動(dòng)區(qū)域確定部分203確定該當(dāng)前塊是一個(gè)移動(dòng)區(qū)域。此外，當(dāng)靜止區(qū)域和 移動(dòng)區(qū)域確定部分203的確定結(jié)果表明當(dāng)前塊是一個(gè)靜止區(qū)域時(shí)，靜止區(qū)域 和移動(dòng)區(qū)域確定部分203把對(duì)應(yīng)于當(dāng)前塊的圖像區(qū)域的點(diǎn)擊數(shù)據(jù)指定為一個(gè) 靜止點(diǎn)擊。相反，當(dāng)靜止區(qū)域和移動(dòng)區(qū)域確定部分203的確定結(jié)果表明當(dāng)前 塊是一個(gè)移動(dòng)區(qū)域時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203把相當(dāng)于當(dāng)前塊的 圖像區(qū)域點(diǎn)擊數(shù)據(jù)指定為一個(gè)移動(dòng)點(diǎn)擊。靜止區(qū)域和移動(dòng)區(qū)域確定部分203 輸出作為靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果的該確定結(jié)果。在處理一個(gè)彩色圖像的情況下，在步驟S144,如圖40(D)所示，當(dāng)用 于R、 G和B每一個(gè)的16 x 16象素的每個(gè)塊的幀間差值的絕對(duì)值的平均值小 于或等于一個(gè)預(yù)定閾值(例如，"10")時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203 把預(yù)定標(biāo)志調(diào)整到例如"0"。相反，當(dāng)該平均值大于預(yù)定閾值時(shí)，靜止區(qū)域 和移動(dòng)區(qū)域確定部分203把預(yù)定標(biāo)志調(diào)整到例如"1"。在步驟S144上，如圖 40 (E)所示，當(dāng)用于16x 16象素的當(dāng)前塊的R、 G和B的所有標(biāo)志都為"0" 時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203確定當(dāng)前塊是一個(gè)靜止區(qū)域，并把對(duì) 應(yīng)于當(dāng)前塊的圖像區(qū)域的點(diǎn)擊數(shù)據(jù)指定為靜止點(diǎn)擊。相反，當(dāng)標(biāo)志之一是"l" 時(shí)，靜止區(qū)域和移動(dòng)區(qū)域確定部分203確定當(dāng)前塊是一個(gè)移動(dòng)區(qū)域并且^l巴與 當(dāng)前塊的圖像區(qū)域相對(duì)應(yīng)的點(diǎn)擊數(shù)據(jù)指定為 一個(gè)移動(dòng)點(diǎn)擊。靜止區(qū)域和移動(dòng) 區(qū)域確定部分203輸出作為靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果的靜止點(diǎn)擊或移動(dòng) 點(diǎn)擊的信息。返回到圖38，在步驟S133上，連續(xù)點(diǎn)擊確定部分204連續(xù)點(diǎn)擊確定處 理，確定接收設(shè)備2的用戶所執(zhí)行的點(diǎn)擊操作是否是與接收設(shè)備2發(fā)送的點(diǎn) 擊數(shù)據(jù)中包含的點(diǎn)擊時(shí)間相對(duì)應(yīng)的連續(xù)點(diǎn)擊操作。下面說明圖38所示的在步驟S133上執(zhí)行的連續(xù)點(diǎn)擊確定部分204的處 理。根據(jù)圖41所示的流程圖，在步驟S151上，點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202讀出在 點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202中存儲(chǔ)的點(diǎn)擊數(shù)據(jù)。此后，在步驟S152上，連續(xù)點(diǎn)擊確定部分204計(jì)算從接收設(shè)備2發(fā)送的 當(dāng)前點(diǎn)擊數(shù)據(jù)的點(diǎn)擊時(shí)間與前一點(diǎn)擊數(shù)據(jù)的點(diǎn)擊時(shí)間(在前時(shí)間)之間的時(shí) 間差(點(diǎn)擊間隔)。然后，在步驟S153上，連續(xù)點(diǎn)擊確定部分204確定該時(shí)間差是否等于或 小于一個(gè)預(yù)定閾值。當(dāng)步驟S153上的確定結(jié)果表明該時(shí)間差等于或小于預(yù)定 閾值時(shí)，連續(xù)點(diǎn)擊確定部分204確定當(dāng)前點(diǎn)擊數(shù)據(jù)是連續(xù)點(diǎn)擊。相反，當(dāng)步 驟S153上的確定結(jié)果表明該時(shí)間差大于預(yù)定閾值時(shí)，連續(xù)點(diǎn)擊確定部分204 確定當(dāng)前點(diǎn)擊數(shù)據(jù)不是連續(xù)點(diǎn)擊。此后，流程前進(jìn)到步驟S154。在步驟S154 上，連續(xù)點(diǎn)擊確定部分204輸出代表作為連續(xù)點(diǎn)擊確定結(jié)果的連續(xù)點(diǎn)擊或非 連續(xù)點(diǎn)擊的信息。換句話說，當(dāng)步驟S153上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是連續(xù)點(diǎn)擊時(shí)，
接收設(shè)備2的用戶往往是對(duì)一個(gè)對(duì)象圖像連續(xù)執(zhí)行點(diǎn)擊操作。這是因?yàn)椋?dāng) 接收設(shè)備2的用戶請(qǐng)求發(fā)送設(shè)備1發(fā)送具有高空間分辨率的對(duì)象圖像數(shù)據(jù)(興 趣對(duì)象區(qū)域中的數(shù)據(jù))時(shí)，他或她往往連續(xù)地點(diǎn)擊用戶想要改善其空間分辨 率的一個(gè)對(duì)象圖像部分(興趣對(duì)象區(qū)域)。因而，當(dāng)連續(xù)點(diǎn)擊確定部分204的確定結(jié)果表明當(dāng)前點(diǎn)擊操作是連續(xù)點(diǎn)擊操作時(shí)，連續(xù)點(diǎn)擊確定部分204把當(dāng) 前點(diǎn)擊數(shù)據(jù)指定為連續(xù)點(diǎn)擊。相反，當(dāng)連續(xù)點(diǎn)擊確定部分204的確定結(jié)果表 明當(dāng)前點(diǎn)擊操作不是連續(xù)點(diǎn)擊操作(即，當(dāng)前點(diǎn)擊的點(diǎn)擊時(shí)間與前一點(diǎn)擊的 點(diǎn)擊時(shí)間之間的時(shí)間差等于或大于預(yù)定閾值)時(shí)，連續(xù)點(diǎn)擊確定部分204把 當(dāng)前點(diǎn)擊數(shù)據(jù)指定為一個(gè)非連續(xù)點(diǎn)擊。連續(xù)點(diǎn)擊確定部分204輸出連續(xù)點(diǎn)擊 確定結(jié)果。返回到圖38,在步驟S133上，當(dāng)靜止區(qū)域和移動(dòng)區(qū)域確定部分203和 連續(xù)點(diǎn)擊確定部分204的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是靜止點(diǎn)擊和連續(xù)點(diǎn)擊 時(shí)，處理確定部分205按上述方式控制選擇開關(guān)206、選擇開關(guān)207和選擇 開關(guān)208。因而，在步驟S135上，靜止對(duì)象連接處理部分211執(zhí)行一個(gè)靜止 圖像連接處理。當(dāng)確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是一個(gè)移動(dòng)點(diǎn)擊和一個(gè)連續(xù)點(diǎn) 擊時(shí)，處理確定部分205按上述方式控制選擇開關(guān)206、選擇開關(guān)207和選 擇開關(guān)208。因而，在步驟S136上，移動(dòng)對(duì)象連接處理部分210執(zhí)行一個(gè)移 動(dòng)對(duì)象連接處理。當(dāng)確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是非連續(xù)點(diǎn)擊時(shí)，處理確定 部分205按上述方式控制選擇開關(guān)206、選擇開關(guān)207和選擇開關(guān)208。在步 驟S136上，移動(dòng)對(duì)象連接處理部分210執(zhí)行移動(dòng)對(duì)象連接處理。當(dāng)確定結(jié)果 表明當(dāng)前點(diǎn)擊數(shù)據(jù)是一個(gè)非連續(xù)點(diǎn)擊時(shí)，處理確定部分205按上述方式控制 選擇開關(guān)206。因而，在步驟S134上，對(duì)象號(hào)分配部分209執(zhí)行新對(duì)象號(hào)分 配處理。換句話說，當(dāng)步驟S133上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是非連續(xù)點(diǎn)擊 時(shí)，流程返回到步驟S134。在步驟S134上，對(duì)象號(hào)分配部分209把一個(gè)新 對(duì)象號(hào)分配給當(dāng)前點(diǎn)擊數(shù)據(jù)。此后，流程返回到步驟S131。實(shí)際上，如圖42 (A)所示，當(dāng)分配給由實(shí)線X代表的前一點(diǎn)擊數(shù)據(jù) CL1的一個(gè)對(duì)象號(hào)是例如"0"時(shí)，如果由圖42 (A)中的虛線X標(biāo)記代表 的當(dāng)前點(diǎn)擊數(shù)據(jù)CL2 (即，未指定一個(gè)對(duì)象號(hào)的點(diǎn)擊數(shù)據(jù))被確定為一個(gè)非 連續(xù)點(diǎn)擊時(shí)，對(duì)象號(hào)分配部分209把一個(gè)新對(duì)象號(hào)分配給由圖42 (B)中的 實(shí)線X標(biāo)記代表的當(dāng)前點(diǎn)擊數(shù)據(jù)CL2 (在該實(shí)例中，新對(duì)象號(hào)是"1")。相反，當(dāng)步驟S133上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是連續(xù)點(diǎn)擊和靜止點(diǎn) 擊時(shí)，如果前一點(diǎn)擊是靜止點(diǎn)擊，以及當(dāng)前點(diǎn)擊位置被包含在與分配給前一 點(diǎn)擊數(shù)據(jù)的對(duì)象號(hào)相對(duì)應(yīng)的 一個(gè)圖像區(qū)域中，或者當(dāng)前點(diǎn)擊位置接近該圖像區(qū)域，則靜止對(duì)象連接處理部分211判定當(dāng)前點(diǎn)擊是用于與前一點(diǎn)擊相同的 對(duì)象圖像的一個(gè)點(diǎn)擊。因而，在步驟S134上，靜止對(duì)象連接處理部分211執(zhí) 行靜止圖像連接處理，用于為當(dāng)前點(diǎn)擊數(shù)據(jù)分配與前一點(diǎn)擊數(shù)據(jù)相同的對(duì)象換句話說，如圖43所示的流程圖所示，在步驟S161上，靜止對(duì)象連接 處理部分211確定前一點(diǎn)擊數(shù)據(jù)是否是連續(xù)點(diǎn)擊和靜止點(diǎn)擊。當(dāng)步驟S161上 的確定結(jié)果表明前一點(diǎn)擊數(shù)據(jù)是連續(xù)點(diǎn)擊和靜止點(diǎn)擊時(shí)，流程前進(jìn)到步驟 S162。相反，當(dāng)步驟S161上的確定結(jié)果表明前一點(diǎn)擊不是連續(xù)點(diǎn)擊和靜止點(diǎn) 擊時(shí)，流程前進(jìn)到步驟S164。當(dāng)步驟S161上的確定結(jié)果表明前一點(diǎn)擊數(shù)據(jù)不是連續(xù)的和靜止的點(diǎn)擊 時(shí)，在步驟S164上，靜止對(duì)象連接處理部分211按照與結(jié)合圖42(A)和(B) 所述的相同的方式把一個(gè)新對(duì)象號(hào)分配給當(dāng)前點(diǎn)擊數(shù)據(jù)。此后，流程前進(jìn)到 圖38所示的步驟S137。相反，當(dāng)步驟S161上的確定結(jié)果表明前一點(diǎn)擊數(shù)據(jù)是連續(xù)點(diǎn)擊和靜止點(diǎn) 擊時(shí)，流程返回到步驟S162。在步驟S162上，靜止對(duì)象連接處理部分211 獲得當(dāng)前點(diǎn)擊位置與對(duì)應(yīng)于分配給前一點(diǎn)擊數(shù)據(jù)的對(duì)象號(hào)的圖像區(qū)域之間的 空間距離。當(dāng)當(dāng)前點(diǎn)擊位置被包含在與分配給前一點(diǎn)擊數(shù)據(jù)的對(duì)象號(hào)相對(duì)應(yīng) 的圖像區(qū)域中時(shí)，或當(dāng)前點(diǎn)擊位置接近該圖像區(qū)域時(shí)，靜止對(duì)象連接處理部 分211確定當(dāng)前點(diǎn)擊數(shù)據(jù)是與前一點(diǎn)擊相同的對(duì)象圖像的點(diǎn)擊數(shù)據(jù)。相反， 當(dāng)當(dāng)前點(diǎn)擊位置未包含在與分配給前一點(diǎn)擊數(shù)據(jù)的對(duì)象號(hào)相對(duì)應(yīng)的圖像區(qū)域 中時(shí)，以及當(dāng)前點(diǎn)擊位置遠(yuǎn)離該圖像區(qū)域時(shí)，靜止對(duì)象連接處理部分211確 定當(dāng)前點(diǎn)擊數(shù)據(jù)是與前一點(diǎn)擊不同的對(duì)象圖像的點(diǎn)擊數(shù)據(jù)。當(dāng)步驟S162上的 確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是與前一點(diǎn)擊相同的對(duì)象圖像的點(diǎn)擊數(shù)據(jù)時(shí)，流 程前進(jìn)到步驟S163。相反，當(dāng)步驟S162上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是 不同于前一點(diǎn)擊的對(duì)象圖像的點(diǎn)擊數(shù)據(jù)時(shí)，流程返回到步驟S164。當(dāng)步驟S162上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是不同于前一點(diǎn)擊的對(duì)象 圖像的點(diǎn)擊數(shù)據(jù)時(shí)，流程返回到步驟S164。在步驟S164,靜止對(duì)象連接處理 部分211把一個(gè)新對(duì)象號(hào)分配給當(dāng)前點(diǎn)擊數(shù)據(jù)。此后，流程前進(jìn)到圖38所示
的步驟S137。相反，當(dāng)步驟S162上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是與前一點(diǎn)擊相同的 對(duì)象圖像的點(diǎn)擊數(shù)據(jù)時(shí)，在步驟S163上，靜止對(duì)象連接處理部分211執(zhí)行靜 止對(duì)象連接處理，用于把和前一點(diǎn)擊數(shù)據(jù)相同的對(duì)象號(hào)分配給當(dāng)前點(diǎn)擊數(shù)據(jù)。實(shí)際上，如圖42 (C)所示，當(dāng)分配給由實(shí)線X標(biāo)記所表示的前一點(diǎn)擊 數(shù)據(jù)CL1的一個(gè)對(duì)象號(hào)是"0"時(shí)，如果由圖42 (C)所示的虛線X標(biāo)記所 表示的當(dāng)前點(diǎn)擊標(biāo)記CL2 (即，未給當(dāng)前點(diǎn)擊數(shù)據(jù)指定一個(gè)對(duì)象號(hào))被確定 為連續(xù)點(diǎn)擊和靜止點(diǎn)擊，前一點(diǎn)是靜止點(diǎn)擊以及當(dāng)前點(diǎn)擊位置被包含在與分 配給前一點(diǎn)擊數(shù)據(jù)的一個(gè)對(duì)象號(hào)相對(duì)應(yīng)的圖像區(qū)域中，或者當(dāng)前點(diǎn)擊位置接 近該圖像區(qū)域，則靜止對(duì)象連接處理部分211把與前一點(diǎn)擊數(shù)據(jù)相同的對(duì)象 號(hào)(在該實(shí)例中為"1")分配給由圖42 (D)所示的實(shí)線X標(biāo)記表示的當(dāng)前 點(diǎn)擊數(shù)據(jù)CL2。靜止對(duì)象連接處理部分211把與前一點(diǎn)擊數(shù)據(jù)相同的對(duì)象號(hào)分配給當(dāng)前 點(diǎn)擊數(shù)據(jù)后。流程前進(jìn)到圖38所示的步驟S137。當(dāng)步驟S133上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是連續(xù)點(diǎn)擊和移動(dòng)點(diǎn)擊、前 一點(diǎn)擊是移動(dòng)點(diǎn)擊、以及當(dāng)前點(diǎn)擊位置附近的圖像特征被包含在與分配給前 一點(diǎn)擊的對(duì)象號(hào)相對(duì)應(yīng)的圖像區(qū)域(16x16象素)的特征中、或前者接近于 后者時(shí)，移動(dòng)對(duì)象連接處理部分210確定該點(diǎn)擊是與前一點(diǎn)擊相同的對(duì)象圖 像的點(diǎn)擊。在步驟S136上，移動(dòng)對(duì)象連接處理部分210執(zhí)行移動(dòng)對(duì)象連接處 理，用于把和前一點(diǎn)擊數(shù)據(jù)相同的對(duì)象號(hào)分配給當(dāng)前點(diǎn)擊數(shù)據(jù)。換句話說，當(dāng)步驟S133上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是連續(xù)點(diǎn)擊和移 動(dòng)點(diǎn)擊時(shí)，則如圖44所示，在步驟S171上，移動(dòng)對(duì)象連接處理部分210確 定前一點(diǎn)擊數(shù)據(jù)是否是連續(xù)點(diǎn)擊和移動(dòng)點(diǎn)擊。當(dāng)步驟S171上的確定結(jié)果表明 前一點(diǎn)擊數(shù)據(jù)是連續(xù)點(diǎn)擊和移動(dòng)點(diǎn)擊時(shí)，流程前進(jìn)到步驟S172。相反，當(dāng)步 驟S171上的確定結(jié)果不是連續(xù)點(diǎn)擊和移動(dòng)點(diǎn)擊時(shí)，流程前進(jìn)到步驟S174。當(dāng)步驟S171上的確定結(jié)果表明前一點(diǎn)擊數(shù)據(jù)不是連續(xù)點(diǎn)擊和移動(dòng)點(diǎn)擊 時(shí)，流程前進(jìn)到步驟S174。在步驟S174,移動(dòng)對(duì)象連接處理部分210按照結(jié) 合圖41 (A)和(B)所述的相同方式把一個(gè)新對(duì)象號(hào)分配給當(dāng)前點(diǎn)擊數(shù)據(jù)。 此后，流程前進(jìn)到圖3 8所示的步驟S137 。當(dāng)步驟S171上的確定結(jié)果表明前一點(diǎn)擊數(shù)據(jù)是連續(xù)點(diǎn)擊和移動(dòng)點(diǎn)擊時(shí)， 流程前進(jìn)到步驟S172。在步驟S172,移動(dòng)對(duì)象連接處理部分210獲得當(dāng)前點(diǎn)
擊位置附近的圖像數(shù)據(jù)(16 x 16象素)的特征，和與分配給前一點(diǎn)擊的對(duì)象 號(hào)相對(duì)應(yīng)的圖像區(qū)域的特征。當(dāng)當(dāng)前點(diǎn)擊位置附近的圖像區(qū)域的特征包含在 與分配給前一點(diǎn)擊數(shù)據(jù)的對(duì)象號(hào)相對(duì)應(yīng)的圖像區(qū)域的特征中，并且前者接近 后者時(shí)，接收處理部分210確定該點(diǎn)擊是與前一點(diǎn)擊相同的對(duì)象圖像的點(diǎn)擊。 相反，當(dāng)與分配給前一點(diǎn)擊數(shù)據(jù)的對(duì)象號(hào)相對(duì)應(yīng)的圖像區(qū)域的特征中不包含 當(dāng)前點(diǎn)擊位置附近的圖像區(qū)域的特征時(shí)，或前者遠(yuǎn)離后者時(shí)，接收處理部分210確定當(dāng)前點(diǎn)擊數(shù)據(jù)是不同于前一點(diǎn)擊的對(duì)象圖像的點(diǎn)擊數(shù)據(jù)。在此情況 下，圖像區(qū)域的特征是例如一個(gè)點(diǎn)擊位置附近的局部區(qū)域(16 x 16象素)的 顏色(平均顏色，典型顏色，或類似物)、條形圖或圖案。當(dāng)相同對(duì)象號(hào)被分 配給多個(gè)移動(dòng)點(diǎn)擊時(shí)，則意味著在這些點(diǎn)擊數(shù)據(jù)中跟蹤一個(gè)對(duì)象。當(dāng)步驟S172 上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是用于與前一點(diǎn)擊相同的對(duì)象圖像的點(diǎn)擊數(shù) 據(jù)時(shí)，流程前進(jìn)到步驟S173。相反，當(dāng)步驟S172上的確定結(jié)果表明當(dāng)前點(diǎn) 擊數(shù)據(jù)是用于不同于前一點(diǎn)擊的對(duì)象的點(diǎn)擊數(shù)據(jù)時(shí)，流程前進(jìn)到步驟S174。當(dāng)步驟S172上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是用于不同于前一點(diǎn)擊的 對(duì)象圖像的點(diǎn)擊數(shù)據(jù)時(shí)，流程前進(jìn)到步驟S174。在步驟S174上，移動(dòng)對(duì)象 連接部分210按上述方式把一個(gè)新對(duì)象號(hào)分配給當(dāng)前點(diǎn)擊數(shù)據(jù)。此后，流程 前進(jìn)到圖38所示的步驟S137。當(dāng)步驟S172上的確定結(jié)果表明當(dāng)前點(diǎn)擊數(shù)據(jù)是用于與前一點(diǎn)擊相同的 對(duì)象圖像的點(diǎn)擊數(shù)據(jù)時(shí)，流程前進(jìn)到步驟S173。在步驟S173,移動(dòng)對(duì)象連接 處理部分210把與前一點(diǎn)擊數(shù)據(jù)相同的對(duì)象號(hào)分配給當(dāng)前點(diǎn)擊數(shù)據(jù)。實(shí)際上，當(dāng)分配給由圖42 (E)所示的實(shí)線X表示的前一點(diǎn)擊數(shù)據(jù)CL1 的一個(gè)對(duì)象號(hào)是例如"0"時(shí)，如果由圖42 (E)所示的虛線X表示的當(dāng)前點(diǎn) 擊數(shù)據(jù)CL2被確定為連續(xù)點(diǎn)擊和移動(dòng)點(diǎn)擊，以及當(dāng)前點(diǎn)擊位置附近的圖像的 特征被包含在與分配給前一點(diǎn)擊的對(duì)象號(hào)相對(duì)應(yīng)的對(duì)象圖像的特征中，或者 前者接近于后者，則移動(dòng)對(duì)象連接處理部分210把與前一點(diǎn)擊數(shù)據(jù)相同的對(duì) 象號(hào)(在該實(shí)例中為"0")分配給由圖42 (F)所示的實(shí)線X標(biāo)記表示的當(dāng) 前點(diǎn)擊數(shù)據(jù)CL2。在步驟S173，在移動(dòng)對(duì)象連接處理部分210把與前一點(diǎn)擊相同的對(duì)象號(hào) 分配給當(dāng)前點(diǎn)擊數(shù)據(jù)后，流程前進(jìn)到步驟S137。當(dāng)流程從圖38所示的步驟S135前進(jìn)到步驟S137時(shí)，對(duì)象圖像提取部 分213從與分配了對(duì)象號(hào)并存儲(chǔ)在對(duì)象號(hào)存儲(chǔ)器212中的過去幾個(gè)幀的點(diǎn)擊
數(shù)據(jù)相對(duì)應(yīng)的輸入數(shù)據(jù)中和存儲(chǔ)在圖像存儲(chǔ)器20中的過去幾個(gè)幀的圖像數(shù) 據(jù)中提取靜止對(duì)象圖像、移動(dòng)對(duì)象圖像和其他的背景圖像。換句話說，似乎 是靜止對(duì)象圖像被包含在具有高靜止點(diǎn)擊數(shù)據(jù)密度的圖像部分中。此時(shí)，對(duì)象圖像提取部分213獲得與分配了對(duì)象號(hào)的過去幾個(gè)幀相對(duì)應(yīng)的靜止點(diǎn)擊數(shù)據(jù)密度，獲得具有高靜止點(diǎn)擊密度的圖像部分的占優(yōu)對(duì)象號(hào)，形成與分配了 占優(yōu)對(duì)象號(hào)的點(diǎn)擊數(shù)據(jù)的分布相對(duì)應(yīng)的對(duì)象的形狀，和從圖像數(shù)據(jù)中提取按 靜止對(duì)象圖像構(gòu)形對(duì)象的 一個(gè)圖像。當(dāng)流程從步驟S136前進(jìn)到步驟S137時(shí)，對(duì)象圖像提取部分213為分配 了相同的對(duì)象號(hào)的移動(dòng)點(diǎn)擊數(shù)據(jù)的點(diǎn)擊位置附近的幀的圖像執(zhí)行圖案匹配操 作，對(duì)應(yīng)于該匹配結(jié)果執(zhí)行圖像的移動(dòng)補(bǔ)償，獲得具有高點(diǎn)擊密度的圖案匹 配圖像區(qū)域的占優(yōu)對(duì)象號(hào)，相應(yīng)于分配了占優(yōu)對(duì)象號(hào)的點(diǎn)擊數(shù)據(jù)的分布形成 一個(gè)對(duì)象的形狀，并從圖像數(shù)據(jù)中提取按移動(dòng)對(duì)象圖像構(gòu)形對(duì)象的一個(gè)圖像。在步驟S137上，對(duì)象圖像提取部分213把具有低靜止點(diǎn)擊密度或低移動(dòng) 點(diǎn)擊數(shù)據(jù)的一個(gè)圖像部分處理為當(dāng)前背景圖像。換句話說，對(duì)象圖像提取部 分213把從圖像數(shù)據(jù)中提取的除靜止對(duì)象圖像和移動(dòng)對(duì)象圖像之外的一個(gè)圖 像部分處理為一個(gè)背景圖像。下面結(jié)合圖45所示的流程圖詳細(xì)說明步驟S137上的處理。首先，在步 驟S181上，對(duì)象圖像提取部分213捕獲幾個(gè)過去幀分配對(duì)象號(hào)的點(diǎn)擊數(shù)據(jù)和 與其對(duì)應(yīng)的圖像數(shù)據(jù)。此后在步驟S182上，對(duì)象圖像提取部分213把點(diǎn)擊數(shù) 據(jù)歸類為靜止點(diǎn)擊和移動(dòng)點(diǎn)擊。當(dāng)流程從圖38所示的步驟S135前進(jìn)到步驟 S137時(shí)，流程從圖45所示的步驟S182前進(jìn)到步驟S184。相反，當(dāng)流程從圖 38所示的步驟S136前進(jìn)到步驟S137時(shí)，流程從圖45所示的步驟S182前進(jìn) 到步驟S184。當(dāng)流程從圖38所示的步驟S135前進(jìn)到步驟S137時(shí)，流程從圖45所示 的步驟S182前進(jìn)到步驟S184。在步驟S184上，對(duì)象圖像提取部分213獲得 用于16x16象素的每個(gè)塊的分配了一個(gè)對(duì)象號(hào)的每個(gè)靜止點(diǎn)擊的一個(gè)靜止 點(diǎn)擊數(shù)據(jù)密度。此后，在步驟S185上，對(duì)象圖像提取部分213確定用于由一個(gè)圖像虛線 框表示的16x 16象素的每個(gè)塊bk的由圖46 (A)所示的X標(biāo)記所表示的靜 止點(diǎn)擊的靜止點(diǎn)擊密度是否等于或大于一個(gè)預(yù)定值。在發(fā)送給接收設(shè)備2的一個(gè)圖像中，具有高靜止點(diǎn)擊密度的圖像部分往往包含一個(gè)靜止對(duì)象圖像。因而，當(dāng)一個(gè)特定塊的靜止點(diǎn)擊密度等于或大于 預(yù)定值時(shí)，流程前進(jìn)到步驟S186。相反，當(dāng)一個(gè)特定塊的靜止點(diǎn)擊密度小于預(yù)定值時(shí)，流程前進(jìn)到步驟S190。在步驟S186，當(dāng)塊的靜止點(diǎn)擊密度超過一個(gè)預(yù)定值時(shí)，如圖46 (E)所 示，對(duì)象圖4象提取部分213從分配給塊的點(diǎn)擊數(shù)據(jù)的對(duì)象號(hào)中獲得最占優(yōu)的 對(duì)象號(hào)。此后，對(duì)象圖像提取部分213組合與圖46 (B)所示的占優(yōu)對(duì)象號(hào) 相對(duì)應(yīng)的塊(BKO, BK2, BK4,和BK5 )并構(gòu)形對(duì)象。對(duì)象圖像提取部分 213從圖像數(shù)據(jù)中提取按靜止對(duì)象圖像構(gòu)形對(duì)象的圖像。在步驟S186之后， 流程前進(jìn)到圖38所示的步驟S138。另一方面，當(dāng)流程從圖38所示的步驟S136前進(jìn)到步驟S137時(shí)，流程 從圖45所示的步驟S182前進(jìn)到步驟S183。在步驟S183上，如圖46(C)所示，對(duì)象圖像提取部分213為分配了與 由圖46 (C)所示的X標(biāo)記表示的移動(dòng)點(diǎn)擊相同的點(diǎn)擊數(shù)據(jù)對(duì)象號(hào)的點(diǎn)擊位 置附近的多個(gè)過去幀的圖像執(zhí)行圖案匹配操作，并為對(duì)應(yīng)于匹配結(jié)果的圖像 執(zhí)行移動(dòng)補(bǔ)償。此后，在步驟S187上，對(duì)象圖像提取部分213獲得圖案匹配圖像區(qū)域中 的一個(gè)移動(dòng)點(diǎn)擊密度。此后，在步驟S188上，對(duì)象圖像提取部分213確定該圖像的由圖46(D) 所示的X標(biāo)記的表示的移動(dòng)點(diǎn)擊的移動(dòng)點(diǎn)擊密度是否等于或大于預(yù)定值。進(jìn)行了移動(dòng)補(bǔ)償并且具有一個(gè)高移動(dòng)點(diǎn)擊密度的一個(gè)圖像部分往往包含 一個(gè)移動(dòng)對(duì)象圖像。因而，當(dāng)進(jìn)行了移動(dòng)補(bǔ)償?shù)囊粋€(gè)圖像區(qū)域的移動(dòng)點(diǎn)擊密 度等于或大于預(yù)定值時(shí)，流程前進(jìn)到步驟步驟S189。相反，當(dāng)進(jìn)行了移動(dòng)補(bǔ) 償?shù)囊粋€(gè)圖像區(qū)域的移動(dòng)點(diǎn)擊密度小于預(yù)定值時(shí)，流程前進(jìn)到步驟步驟S190。在步驟S189上，對(duì)象圖像提取部分213為具有等于或大于預(yù)定值的一個(gè) 移動(dòng)點(diǎn)擊密度的 一個(gè)圖像區(qū)域從分配給點(diǎn)擊數(shù)據(jù)的對(duì)象號(hào)中獲得最占優(yōu)的對(duì) 象號(hào)。此后，如圖46 (D)所示，對(duì)象圖像提取部分213組合與占優(yōu)對(duì)象號(hào) 相對(duì)應(yīng)的塊(BK3和BK6)，并構(gòu)形對(duì)象。此后，對(duì)象圖像提取部分213從 該圖像數(shù)據(jù)中提取按移動(dòng)對(duì)象圖像構(gòu)形的圖像。在步驟S189之后，流程前進(jìn) 到圖38所示的步驟S138。在步驟S185和S188上，當(dāng)點(diǎn)擊密度小于預(yù)定值時(shí)，流程前進(jìn)到步驟 S190。在步驟S190上，對(duì)象圖像提取部分213把具有低靜止點(diǎn)擊密度或低移 動(dòng)點(diǎn)擊密度的一個(gè)圖像部分處理為當(dāng)前圖像的背景圖像區(qū)域。換句話說，對(duì) 象圖像提取部分213把已經(jīng)從圖像數(shù)據(jù)中提取的除靜止對(duì)象圖像和移動(dòng)對(duì)象 圖像外的圖像部分處理為背景圖像。在步驟S190之后，流程前進(jìn)到步驟圖38所示的步驟S138。在對(duì)象圖像提取部分213已經(jīng)從圖像數(shù)據(jù)中提取一個(gè)靜止對(duì)象圖像、一 個(gè)移動(dòng)對(duì)象圖像和一個(gè)背景圖像后，流程前進(jìn)到圖38所示的步驟S138。在 步驟S138上，對(duì)象圖像提取部分213確定對(duì)象提取處理是否完成。當(dāng)步驟 S138上的確定結(jié)果為否定的時(shí)，流程前進(jìn)到步驟S131。當(dāng)步驟S138上的確 定結(jié)果是肯定的時(shí)，對(duì)象提取部分213則完成了對(duì)象提取處理。在上述的處理中，圖29所示的發(fā)送設(shè)備1的對(duì)象提取部分1014可以相 應(yīng)于與接收設(shè)備2的用戶所執(zhí)行的點(diǎn)擊操作相對(duì)應(yīng)的點(diǎn)擊數(shù)據(jù)提取靜止對(duì)象 圖像、移動(dòng)對(duì)象圖像和背景圖像。在圖28所示的實(shí)施例中，其活動(dòng)小的平面圖像區(qū)域(即，沒有圖像價(jià)值) 被處理為背景圖像。對(duì)于該背景圖像，不改善空間分辨率。另一方面，可以 相應(yīng)于從接收設(shè)備2發(fā)送的點(diǎn)擊數(shù)據(jù)提取背景圖像，以便改善其空間分辨率。在這種情況下，圖29所示的背景圖像提取部分1013提取與接收設(shè)備2 發(fā)送的點(diǎn)擊數(shù)據(jù)相對(duì)應(yīng)的背景圖像。發(fā)送處理部分1016發(fā)送背景圖像，以便 按照對(duì)象圖像的空間分辨率被改善的相同方式改善其空間分辨率。在這種情況下，如圖47所示，圖13所示的背景圖像標(biāo)志存儲(chǔ)器74被加 到圖31所示的組合處理部分1022上。除了背景圖像標(biāo)志存儲(chǔ)器74之外，圖 47所示的組合處理部分1022的結(jié)構(gòu)與圖35所示的組合處理部分1022的結(jié) 構(gòu)相同。如同圖13所示的結(jié)構(gòu)，在圖47所示的結(jié)構(gòu)中，當(dāng)背景圖像寫入部 分17把一個(gè)具有高空間分辨率的對(duì)象的背景圖像寫入到背景圖像存儲(chǔ)器73 時(shí)，相應(yīng)于組成背景圖像的每個(gè)象素在背景圖像標(biāo)志存儲(chǔ)器74的一個(gè)地址上 存儲(chǔ)的背景圖像標(biāo)志從"0"變?yōu)?1"。換句話說，當(dāng)背景圖像寫入部分71 把背景圖像數(shù)據(jù)寫入到背景圖像存儲(chǔ)器73時(shí)，背景圖像寫入部分71核對(duì)背 景圖像標(biāo)志存儲(chǔ)器74。當(dāng)背景圖像標(biāo)志為"1"(即，當(dāng)背景圖像存儲(chǔ)器73 已經(jīng)存儲(chǔ)具有高空間分辨率的背景圖像數(shù)據(jù))時(shí)，背景圖像寫入部分71不把 具有低空間分辨率的背景圖像數(shù)據(jù)寫入到背景圖像存儲(chǔ)器73。無論何時(shí)向背 景圖像寫入部分71供應(yīng)背景圖像數(shù)據(jù)，該背景圖像數(shù)據(jù)都被寫入到背景圖像 寫入部分71。然而，當(dāng)背景圖像存儲(chǔ)器73已經(jīng)存儲(chǔ)具有高空間分辨率的背
景圖像數(shù)據(jù)時(shí)，背景圖像寫入部分71不把具有低空間分辨率的背景圖像數(shù)據(jù) 寫入到背景圖像存儲(chǔ)器73。因而，無論何時(shí)向背景圖像寫入部分71供應(yīng)具 有高空間分辨率的背景圖像數(shù)據(jù)，具有高空間分辨率的背景圖像的數(shù)目都增加到背景圖像存儲(chǔ)器73中。在該實(shí)例中，當(dāng)組合部分1077接收到來自圖31所示的點(diǎn)擊數(shù)據(jù)輸入部 分1024的點(diǎn)擊數(shù)據(jù)時(shí)，組合部分1077從背景圖像存儲(chǔ)器73和對(duì)象存儲(chǔ)器 75中讀出對(duì)象圖像數(shù)據(jù)和背景圖像數(shù)據(jù)，這些數(shù)據(jù)包含在點(diǎn)擊數(shù)據(jù)中含有的 一個(gè)考慮點(diǎn)的坐標(biāo)位置，并把獲得的數(shù)據(jù)供應(yīng)給子窗口存儲(chǔ)器79。下面說明確定(認(rèn)同)接收設(shè)備2的用戶的興趣對(duì)象區(qū)域的變化和歸類 每個(gè)興趣對(duì)象區(qū)域的技術(shù)。各種類型的圖像被分析，以確定用戶感興趣的對(duì)象區(qū)域是否已經(jīng)改變以 及是否歸類了每個(gè)興趣對(duì)象區(qū)域。該分析顯示了以下結(jié)果。首先，人們(用戶)的興趣對(duì)象區(qū)域是具有價(jià)值的區(qū)域單元(例如，一 個(gè)對(duì)象)。第二，當(dāng)用戶的興趣對(duì)象變化時(shí)，具有價(jià)值的每個(gè)區(qū)域單元改變。 第三，當(dāng)用戶的興趣對(duì)象改變時(shí)，指定用戶感興趣的對(duì)象所需的輸入時(shí) 間周期往往變長(zhǎng)。第四，當(dāng)用戶的興趣對(duì)象改變時(shí)，用戶指定一個(gè)興趣對(duì)象區(qū)域(例如， 點(diǎn)擊操作)的輸入位置之間的空間距離往往相對(duì)地變長(zhǎng)。因而，圖48示出了發(fā)送設(shè)備1的結(jié)構(gòu)實(shí)例，它獲得與接收設(shè)備2的用戶 輸入的點(diǎn)擊數(shù)據(jù)相對(duì)應(yīng)的輸入時(shí)間間隔和輸入位置距離，確定接收設(shè)備2的 用戶的興趣對(duì)象區(qū)域是否由于考慮到分析結(jié)果(1)至(4)而改變，并歸類 興趣對(duì)象區(qū)域。圖48中示出的發(fā)送設(shè)備1是圖28所示的發(fā)送設(shè)備1的改良。 為了簡(jiǎn)便起見，在圖48中，和圖29相似的部分由相似的參考標(biāo)號(hào)表示，并 省略其說明。換句話說，除了變化確定和歸類部分240被新設(shè)置為組成預(yù)處 理部分12的一個(gè)模塊外，圖48所示的發(fā)送設(shè)備1的結(jié)構(gòu)與圖29所示的發(fā)送 設(shè)備l的結(jié)構(gòu)基本相同。根據(jù)圖48所示的實(shí)施例，變化確定和歸類部分240被設(shè)置在預(yù)處理部分 12中。另一方面，變化確定和歸類部分240可以被設(shè)置在預(yù)處理部分12的 對(duì)象提取部分1014或背景圖像提取部分1013中。再一方面，變化確定和歸 類部分240還可以獨(dú)立于預(yù)處理部分12設(shè)置。
在該實(shí)施例中，用點(diǎn)擊數(shù)據(jù)表示的一個(gè)位置是用戶正在考慮的一個(gè)考慮 點(diǎn)。用戶的一個(gè)考慮點(diǎn)可以不是點(diǎn)擊數(shù)據(jù)，而是，用戶的考慮點(diǎn)可以通過檢 測(cè)用戶的觀看方向來認(rèn)同。圖49示出了圖48所示的變化確定和歸類部分240的結(jié)構(gòu)實(shí)例。輸入圖像存儲(chǔ)部分231暫時(shí)存儲(chǔ)由圖像輸入部分11輸出的圖像數(shù)據(jù)。必 要時(shí)，輸入圖像存儲(chǔ)部分231把圖像數(shù)據(jù)供應(yīng)給周邊區(qū)域提取部分233以及 靜止區(qū)域和移動(dòng)區(qū)域確定部分234。點(diǎn)擊數(shù)據(jù)獲得部分230暫時(shí)存儲(chǔ)接收設(shè)備2經(jīng)傳送路徑3發(fā)送的數(shù)據(jù)， 并把存儲(chǔ)的點(diǎn)擊數(shù)據(jù)供應(yīng)給周邊區(qū)域提取部分233、靜止區(qū)域和移動(dòng)區(qū)域確 定部分234、輸入時(shí)間間隔計(jì)算部分237、和輸入位置距離計(jì)算部分238。在該實(shí)施例中，與圖37所示的圖像存儲(chǔ)器201 —樣，可以設(shè)置輸入圖像 存儲(chǔ)部分231。此外，與圖37所示的點(diǎn)擊數(shù)據(jù)存儲(chǔ)器202 —樣，可以設(shè)置點(diǎn) 擊數(shù)據(jù)存儲(chǔ)部分232。點(diǎn)擊周邊區(qū)域提取部分233從輸入圖像存儲(chǔ)部分231供給的圖像數(shù)據(jù)中 提取與點(diǎn)擊數(shù)據(jù)存儲(chǔ)部分232供給的點(diǎn)擊數(shù)據(jù)相對(duì)應(yīng)的圖像區(qū)域(該圖像區(qū) 域是例如點(diǎn)擊位置附近的局部小塊；在下文中，圖像區(qū)域被稱之為點(diǎn)擊周邊 區(qū)域)。由點(diǎn)擊周邊區(qū)域提取部分233提取的點(diǎn)擊周邊區(qū)域的數(shù)據(jù)被發(fā)送給點(diǎn) 擊周邊區(qū)域存儲(chǔ)部分235。在數(shù)據(jù)被存儲(chǔ)到點(diǎn)擊周邊區(qū)域存儲(chǔ)部分235后， 該數(shù)據(jù)被發(fā)送給興趣對(duì)象區(qū)域歸類部分236。此外，靜止和移動(dòng)區(qū)域確定部分234相應(yīng)于從輸入圖像存儲(chǔ)部分231供 應(yīng)的圖像數(shù)據(jù)和從點(diǎn)擊數(shù)據(jù)存儲(chǔ)部分232供應(yīng)的點(diǎn)擊數(shù)據(jù)使用與圖37所示的 實(shí)施例相同方式的幀間差值執(zhí)行靜止區(qū)域和移動(dòng)區(qū)域確定處理。點(diǎn)擊周邊區(qū)域提取處理以及靜止區(qū)域和移動(dòng)區(qū)域確定處理可以通過結(jié)合 附圖38所述的相同處理來完成。因而，省略對(duì)這些處理的詳細(xì)說明。在圖 49所示的實(shí)施例中，以上述實(shí)施例相同的方式把點(diǎn)擊數(shù)據(jù)被確定為靜止點(diǎn)擊 或移動(dòng)點(diǎn)擊的結(jié)果輸出為靜止點(diǎn)擊或移動(dòng)點(diǎn)擊確定。此外，例如，可以輸出 點(diǎn)擊周邊區(qū)域被確定為靜止區(qū)域或移動(dòng)區(qū)域的結(jié)果。根據(jù)圖49所示的實(shí)施 例，為簡(jiǎn)便起見，作為靜止區(qū)域和移動(dòng)區(qū)域確定的結(jié)果，將說明靜止點(diǎn)擊或 移動(dòng)點(diǎn)擊被輸出的情況。靜止區(qū)域和移動(dòng)區(qū)域確定部分234的靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果被發(fā) 送給輸入時(shí)間間隔計(jì)算部分237和輸入位置距離計(jì)算部分238。 當(dāng)靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果表明點(diǎn)擊數(shù)據(jù)是靜止點(diǎn)擊時(shí)，輸入時(shí)間 間隔計(jì)算部分237計(jì)算前一點(diǎn)擊的輸入時(shí)間與當(dāng)前點(diǎn)擊的輸入時(shí)間的時(shí)間間 隔。在此情況下，計(jì)算時(shí)間間隔，而不考慮例如一個(gè)移動(dòng)點(diǎn)擊是否發(fā)生在前 一靜止點(diǎn)擊的輸入時(shí)間與當(dāng)前靜止點(diǎn)擊的輸入時(shí)間之間。輸入時(shí)間間隔計(jì)算部分237計(jì)算的時(shí)間間隔的數(shù)據(jù)被發(fā)送給興趣變化確定部分239。當(dāng)靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果表明點(diǎn)擊數(shù)據(jù)是靜止點(diǎn)擊時(shí)，輸入位置 距離計(jì)算部分238計(jì)算前一靜止點(diǎn)擊的輸入點(diǎn)擊位置(坐標(biāo)位置)與當(dāng)前靜 止點(diǎn)擊的輸入點(diǎn)擊位置(坐標(biāo)位置)之間的空間距離。在此情況下，計(jì)算空 間距離，而不考慮例如在當(dāng)前靜止點(diǎn)擊的輸入位置與前一靜止點(diǎn)擊的輸入位 置之間是否存在例如一個(gè)移動(dòng)點(diǎn)擊的輸入位置。輸入位置距離計(jì)算部分238 計(jì)算的空間距離的數(shù)據(jù)被發(fā)送給興趣變化確定部分239。當(dāng)靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果點(diǎn)擊數(shù)據(jù)是靜止點(diǎn)擊時(shí)，興趣變化確定 部分239相應(yīng)于輸入時(shí)間間隔計(jì)算部分237計(jì)算的時(shí)間間隔和位置距離計(jì)算 部分238計(jì)算的空間距離確定用戶的興趣對(duì)象是否變化。換句話說，興趣變 化確定部分239沖丸4亍時(shí)間間隔和空間距離的預(yù)定加斥又處理，確定加^又時(shí)間間 隔是否超過一個(gè)預(yù)定閾值(時(shí)間)，并確定加權(quán)空間距離是否超過一個(gè)預(yù)定閾 值(距離)。當(dāng)加權(quán)時(shí)間間隔超過預(yù)定閾值和/或加權(quán)空間距離超過預(yù)定閾值 時(shí)，興趣變化確定部分239確定用戶的興趣對(duì)象已經(jīng)改變。興趣對(duì)象確定部 分239把興趣對(duì)象變化確定結(jié)果發(fā)送給興趣對(duì)象區(qū)域歸類部分236。當(dāng)興趣變化確定部分239的確定結(jié)果表明用戶的興趣對(duì)象未改變時(shí)，興 趣對(duì)象區(qū)域歸類部分236確定當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域被包含在與前一 (過去)靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域相對(duì)應(yīng)的興趣對(duì)象相同的圖像區(qū)域中，把 當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域歸類為與前一靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域相同的 興趣對(duì)象區(qū)域(例如，把相同的類別號(hào)分配給當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域)， 并輸出歸類的結(jié)果。換句話說，當(dāng)為每個(gè)對(duì)象歸類興趣對(duì)象區(qū)域時(shí)，按照上 述實(shí)施例的相同方式分配相同的對(duì)象號(hào)。相反，當(dāng)興趣變化確定部分239的確定結(jié)果表明用戶的興趣對(duì)象已經(jīng)改 變時(shí)，興趣對(duì)象區(qū)域歸類部分236確定當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域未被包 含在與前一(過去)靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域相對(duì)應(yīng)的興趣對(duì)象區(qū)域中，則 輸出當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊圖像的存儲(chǔ)數(shù)據(jù)，并且重新設(shè)置已經(jīng)在點(diǎn)擊周 邊區(qū)域存儲(chǔ)部分235中存儲(chǔ)的數(shù)據(jù)。此后，興趣對(duì)象區(qū)域歸類部分236把當(dāng)
前靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域歸類為與前一靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域不同的興 趣對(duì)象區(qū)域(例如，把一個(gè)不同的類別號(hào)分配給當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊區(qū) 域)。換句話說，當(dāng)為每個(gè)對(duì)象歸類一個(gè)興趣對(duì)象區(qū)域時(shí)，以上述情況的相同 方式分配一個(gè)新的不同對(duì)象號(hào)。當(dāng)靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果表明點(diǎn)擊數(shù)據(jù)是移動(dòng)點(diǎn)擊時(shí)，輸入時(shí)間間隔計(jì)算部分237同樣計(jì)算前一移動(dòng)點(diǎn)擊的輸入時(shí)間與當(dāng)前移動(dòng)點(diǎn)擊的輸入 時(shí)間之間的時(shí)間間隔。在此情況下，時(shí)間間隔被計(jì)算，而不考慮例如靜止點(diǎn) 擊是否在當(dāng)前移動(dòng)點(diǎn)擊的輸入時(shí)間與前一移動(dòng)點(diǎn)擊的輸入時(shí)間之間發(fā)生。輸 入時(shí)間間隔計(jì)算部分237計(jì)算的時(shí)間間隔的數(shù)據(jù)被發(fā)送給興趣變化確定部分 239。相反，當(dāng)靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果表明點(diǎn)擊數(shù)據(jù)是移動(dòng)點(diǎn)擊時(shí)，同 樣輸入位置距離計(jì)算部分238計(jì)算前一移動(dòng)點(diǎn)擊的輸入點(diǎn)擊位置與當(dāng)前移動(dòng) 點(diǎn)擊的輸入點(diǎn)擊位置之間的空間距離。在此情況下，空間距離被計(jì)算，而不 考慮例如是否在當(dāng)前移動(dòng)點(diǎn)擊的輸入位置與前一移動(dòng)點(diǎn)擊的輸入位置之間存 在一個(gè)靜止點(diǎn)擊的輸入位置。輸入位置距離計(jì)算部分238計(jì)算的空間距離的 數(shù)據(jù)被發(fā)送給興趣變化確定部分239。此外，在靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果表明點(diǎn)擊數(shù)據(jù)是一個(gè)移動(dòng)點(diǎn)擊的 情況下，興趣變化確定部分239相應(yīng)于輸入時(shí)間間隔計(jì)算部分237計(jì)算的時(shí) 間間隔和位置距離計(jì)算部分238計(jì)算的空間距離來確定用戶的興趣對(duì)象是否 已經(jīng)改變。換句話說，興趣變化確定部分239執(zhí)行時(shí)間間隔和空間距離的預(yù) 定加權(quán)處理，確定加權(quán)時(shí)間間隔是否超過預(yù)定閾值(時(shí)間)，并確定加權(quán)空間 間隔是否超過預(yù)定閾值(距離)。當(dāng)加權(quán)時(shí)間間隔超過預(yù)定閾值和/或加權(quán)空 間距離超過預(yù)定閾值時(shí)，興趣變化確定部分239確定用戶的興趣對(duì)象已經(jīng)改 變。興趣變化確定部分239的興趣對(duì)象變化確定結(jié)果被發(fā)送給興趣對(duì)象區(qū)域 歸類部分236。當(dāng)興趣變化確定部分239的確定結(jié)果表明用戶的興趣對(duì)象未變化時(shí)，興 趣對(duì)象區(qū)域歸類部分236確定當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域被包含在與前一 (過去)移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域相對(duì)應(yīng)的興趣對(duì)象區(qū)域相同的圖像區(qū)域中， 把當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域歸類為和前一(舊的)移動(dòng)點(diǎn)擊的點(diǎn)擊周邊 區(qū)域相同的興趣對(duì)象區(qū)域(即，把相同的類別號(hào)分配給當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊 周邊區(qū)域)，并輸出歸類結(jié)果。換句話說，當(dāng)為每個(gè)對(duì)象歸類一個(gè)興趣對(duì)象區(qū)
域時(shí)，分配相同的對(duì)象號(hào)。相反，當(dāng)興趣變化確定部分239的確定結(jié)果表明用戶的興趣對(duì)象變化時(shí)，興趣對(duì)象區(qū)域歸類部分236確定當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域未被包含在與 前一 (過去)移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域相對(duì)應(yīng)的興趣對(duì)象區(qū)域中，輸出當(dāng)前 移動(dòng)點(diǎn)擊的點(diǎn)擊周邊圖像的存儲(chǔ)數(shù)據(jù)，并且重新設(shè)置已經(jīng)在點(diǎn)擊周邊區(qū)域存 儲(chǔ)部分235中存儲(chǔ)的數(shù)據(jù)。此后，興趣對(duì)象區(qū)域歸類部分236把當(dāng)前移動(dòng)點(diǎn) 擊的點(diǎn)擊周邊區(qū)域歸類為與前一移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域不同的興趣對(duì)象區(qū) 域(例如，把一個(gè)不同的類別號(hào)分配給當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域)。換句 話說，當(dāng)為每個(gè)對(duì)象歸類一個(gè)興趣對(duì)象區(qū)域時(shí)，分配一個(gè)新的不同對(duì)象號(hào)。下面結(jié)合圖50所示的流程圖說明圖49所示的變化確定和歸類部分240 的處理。在步驟S201,變化確定和歸類部分240接收來自圖像輸入部分11的圖 像數(shù)據(jù)和由接收設(shè)備2的用戶輸入的點(diǎn)擊數(shù)據(jù)。此后，在步驟S202上，圖像輸入部分11供應(yīng)的圖像數(shù)據(jù)被存儲(chǔ)在輸入 圖像存儲(chǔ)部分231。點(diǎn)擊數(shù)據(jù)獲得部分230所獲得的點(diǎn)擊數(shù)據(jù)被存儲(chǔ)在點(diǎn)擊 數(shù)據(jù)存儲(chǔ)部分232中。此后，在步驟S203上，點(diǎn)擊周邊區(qū)域提取部分233從已經(jīng)被存儲(chǔ)并從輸 入圖像存儲(chǔ)部分231中讀出的圖像的點(diǎn)擊數(shù)據(jù)中提取與點(diǎn)擊數(shù)據(jù)相對(duì)應(yīng)的一 個(gè)圖像區(qū)域(點(diǎn)擊周邊區(qū)域)。在步驟S204上，點(diǎn)擊周邊區(qū)域存儲(chǔ)部分235 存儲(chǔ)已經(jīng)被提取的點(diǎn)擊周邊區(qū)域的數(shù)據(jù)。此后，在步驟S205,靜止區(qū)域和移動(dòng)區(qū)域確定區(qū)域234按上述方式使用 幀間差值執(zhí)行靜止區(qū)域和移動(dòng)區(qū)域確定處理。在步驟S205，當(dāng)步驟S205上確定的結(jié)果表明點(diǎn)擊數(shù)據(jù)是靜止點(diǎn)擊時(shí)， 流程前進(jìn)到步驟S206。相反，當(dāng)步驟S205上的確定結(jié)果表明點(diǎn)擊數(shù)據(jù)是移 動(dòng)點(diǎn)擊時(shí)，流程前進(jìn)到步驟S212。當(dāng)步驟S205上的確定結(jié)果表明點(diǎn)擊數(shù)據(jù)是靜止點(diǎn)擊，流程前進(jìn)到步驟 S206。在步驟S206上，輸入時(shí)間間隔計(jì)算部分237計(jì)算前一靜止點(diǎn)擊的輸入 時(shí)間與當(dāng)前靜止點(diǎn)擊的輸入時(shí)間之間的時(shí)間間隔。該時(shí)間間隔被計(jì)算，而不 考慮例如在當(dāng)前靜止點(diǎn)擊的輸入時(shí)間與前一靜止點(diǎn)擊的輸入時(shí)間之間是否存 在一個(gè)移動(dòng)點(diǎn)擊。此后，在步驟S207上，輸入位置距離計(jì)算部分238計(jì)算前一靜止點(diǎn)擊的
輸入點(diǎn)擊位置(坐標(biāo)位置)與當(dāng)前靜止點(diǎn)擊的輸入點(diǎn)擊位置(坐標(biāo)位置)之 間的空間距離。在此情況下，計(jì)算空間距離，而不考慮例如在當(dāng)前靜止點(diǎn)擊 的輸入位置與前一靜止點(diǎn)擊的輸入位置之間存在 一個(gè)移動(dòng)點(diǎn)擊的輸入位置。在步驟S208上，興趣對(duì)象確定部分239相應(yīng)于步驟S206上計(jì)算的時(shí)間 間隔和步驟S207上計(jì)算的空間距離確定用戶的興趣對(duì)象是否變化。換句話 -說，如上所述，興趣變化確定部分239扭J亍時(shí)間間隔和空間間隔的預(yù)定加4又 處理，確定加權(quán)時(shí)間間隔是否超過一個(gè)預(yù)定閾值(時(shí)間)，和確定加權(quán)空間距 離是否超過一個(gè)預(yù)定閾值(距離)。當(dāng)加權(quán)時(shí)間間隔超過預(yù)定閾值和/或加權(quán) 空間距離超過預(yù)定閾值時(shí)，興趣變化確定部分239確定用戶的興趣對(duì)象已經(jīng) 改變。當(dāng)步驟S208上的確定結(jié)果表明興趣對(duì)象已經(jīng)改變時(shí)，流程前進(jìn)到步驟 步驟S209。當(dāng)步驟S208上的確定結(jié)果表明興趣對(duì)象未改變時(shí)，流程前進(jìn)到 步驟S211。當(dāng)步驟S208上的確定結(jié)果表明興趣對(duì)象未改變時(shí)，流程前進(jìn)到步驟步驟 S211。在步驟S211，興趣對(duì)象區(qū)域歸類部分236確定當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周 邊區(qū)域被包含在與前一(過去)靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域相對(duì)應(yīng)的興趣對(duì)象 區(qū)域相同的圖像區(qū)域中，并把當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域歸類為和前 一靜 止點(diǎn)擊的點(diǎn)擊周邊區(qū)域相同的興趣對(duì)象區(qū)域(即，把相同的類別號(hào)分配給當(dāng) 前靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域)。換句話說，當(dāng)為每個(gè)對(duì)象歸類一個(gè)興趣對(duì)象區(qū) 域時(shí)，以上述實(shí)施例相同的方式分配相同的對(duì)象號(hào)。在步驟S211之后，流程 前進(jìn)到步驟S218。相反，當(dāng)在步驟S208上確定結(jié)果表明用戶的興趣對(duì)象改變時(shí)，流程前進(jìn) 到步驟步驟S209。在步驟S209上，興趣對(duì)象區(qū)域歸類部分236確定當(dāng)前靜 止點(diǎn)擊的點(diǎn)擊周邊區(qū)域未被包含在與前一(舊的)靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域 相對(duì)應(yīng)的興趣對(duì)象區(qū)域中，輸出當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊圖像的存儲(chǔ)數(shù)據(jù)， 并且重新設(shè)置存儲(chǔ)的數(shù)據(jù)。此后，在步驟S210上，興趣對(duì)象區(qū)域歸類部分 236把當(dāng)前靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域歸類為與前一靜止點(diǎn)擊的點(diǎn)擊周邊區(qū)域 不同的興趣對(duì)象區(qū)域(例如，把一個(gè)不同的類別號(hào)分配給當(dāng)前靜止點(diǎn)擊的點(diǎn) 擊周邊區(qū)域)。換句話說，當(dāng)為每個(gè)對(duì)象歸類一個(gè)興趣對(duì)象區(qū)域時(shí)，以上述實(shí) 施例相同的方式分配一個(gè)新的不同對(duì)象號(hào)。在步驟S211之后，流程前進(jìn)到步 驟S218。相反，當(dāng)步驟S205上的確定結(jié)果表明點(diǎn)擊數(shù)據(jù)是移動(dòng)點(diǎn)擊時(shí)，流程前進(jìn)
到步驟S212。在步驟S212上，興趣變化確定部分239計(jì)算前一移動(dòng)點(diǎn)擊的 輸入時(shí)間與當(dāng)前移動(dòng)點(diǎn)擊的輸入時(shí)間之間的時(shí)間間隔。在此情況下，時(shí)間間 隔被計(jì)算，而不考慮例如在當(dāng)前移動(dòng)點(diǎn)擊的輸入時(shí)間與前一移動(dòng)點(diǎn)擊的輸入 時(shí)間之間是否存在一 個(gè)靜止點(diǎn)擊。此后，在步驟S213,興趣變化確定部分239計(jì)算前一移動(dòng)點(diǎn)擊的輸入點(diǎn) 擊位置與當(dāng)前移動(dòng)點(diǎn)擊的輸入點(diǎn)擊位置之間的空間距離。在此情況下，該空 間距離被計(jì)算，而不考慮例如在當(dāng)前移動(dòng)點(diǎn)擊的輸入位置與前一移動(dòng)點(diǎn)擊的 輸入位置之間是否存在一個(gè)靜止點(diǎn)擊的輸入位置。此后，在步驟S214，興趣變化確定部分239相應(yīng)于在步驟S212上計(jì)算 的時(shí)間間隔和在步驟S213上計(jì)算的空間距離確定用戶的興趣對(duì)象是否變化。 換句話說，興趣變化確定部分239執(zhí)行時(shí)間間隔和空間距離的預(yù)定加權(quán)處理， 確定加權(quán)時(shí)間間隔是否超過一個(gè)預(yù)定閾值(時(shí)間)，和確定加權(quán)空間距離是否 超過一個(gè)預(yù)定閾值(距離)。當(dāng)加權(quán)時(shí)間間隔超過預(yù)定閾值和/或加權(quán)空間距 離超過預(yù)定閾值時(shí)，興趣變化確定部分239確定用戶的興趣對(duì)象已經(jīng)改變。 當(dāng)步驟S214上的確定結(jié)果表明興趣對(duì)象已經(jīng)改變時(shí)，流程前進(jìn)到步驟S215 。 當(dāng)步驟S214上的確定結(jié)果表明興趣對(duì)象未改變時(shí)，流程前進(jìn)到步驟S217。當(dāng)步驟S214上的確定結(jié)果表明用戶的興趣對(duì)象未改變時(shí)，流程前進(jìn)到步 驟S217。在步驟S217,如上所述，興趣對(duì)象區(qū)域歸類部分236確定當(dāng)前移動(dòng) 點(diǎn)擊的點(diǎn)擊周邊區(qū)域被包含在與對(duì)應(yīng)于前一(過去)移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū) 域的興趣對(duì)象相同的圖像區(qū)域中，把當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域歸類為與 前一移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域相對(duì)應(yīng)的興趣對(duì)象區(qū)域(例如，把相同的類別 號(hào)分配給當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域)。換句話說，當(dāng)為每個(gè)對(duì)象歸類一個(gè) 興趣對(duì)象區(qū)域時(shí)，按照上述實(shí)施例的相同方式分配相同的對(duì)象號(hào)。在步驟S217 之后，流程前進(jìn)到步驟S218。相反，當(dāng)步驟S214上的確定結(jié)果表明用戶的興趣對(duì)象已經(jīng)改變時(shí)，流程 前進(jìn)到步驟S215。在步驟S215，興趣對(duì)象區(qū)域歸類部分236確定當(dāng)前移動(dòng)點(diǎn) 擊的點(diǎn)擊周邊區(qū)域未被包含在與前一(過去)移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域相對(duì) 應(yīng)的興趣對(duì)象區(qū)域中，輸出當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊周邊圖像的存儲(chǔ)數(shù)據(jù)，并且 重新設(shè)置存儲(chǔ)的數(shù)據(jù)。此后在步驟S216,興趣對(duì)象區(qū)域歸類部分236把當(dāng)前 移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域歸類為與前一移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域不同的興趣 對(duì)象區(qū)域(例如，把一個(gè)不同的類別號(hào)分配給當(dāng)前移動(dòng)點(diǎn)擊的點(diǎn)擊周邊區(qū)域)。 換句話說，當(dāng)為每個(gè)對(duì)象歸類一個(gè)興趣對(duì)象區(qū)域時(shí)，以上述實(shí)施例的相同方式分配一個(gè)新的不同對(duì)象號(hào)。在步驟S216之后，流程前進(jìn)到步驟S218。在步驟S210、 S211、 S216和S217之后，流程前進(jìn)到步驟S218。在步驟 S218,變化確定和歸類部分240確定所有的處理是否已經(jīng)完成。當(dāng)步驟S218 上的確定結(jié)果是否定時(shí)，流程返回到步驟S201。當(dāng)步驟S218上確定結(jié)果是 肯定時(shí)，變化確定和歸類部分240完成圖50所示的處理。下面，結(jié)合圖51所示的流程圖說明圖50所示的在步驟S208和S214上 的興趣對(duì)象變化確定處理。在步驟S221，興趣變化確定部分239獲得時(shí)間間隔的信息。此后，在步 驟S222,興趣變化確定部分239執(zhí)行時(shí)間間隔的預(yù)定加權(quán)處理。在步驟S223, 興趣變化確定處理部分239獲得空間距離的信息。此后，在步驟S224，興趣 變化確定部分239執(zhí)行空間距離的預(yù)定加權(quán)處理。步驟S221和S222的順序 可以改變。同樣，步驟S223和S224的順序也可以改變。時(shí)間間隔的加權(quán)處 理可以通過壓縮時(shí)間單位(例如，ms/10的壓縮)來執(zhí)行?？臻g距離的加權(quán)處 理可以通過在水平方向和垂直方向上壓縮象素間距來執(zhí)行。此后，流程前進(jìn)到步驟S225。在步驟S225上，興趣變化確定部分239 使用加權(quán)時(shí)間間隔(t)和電平及垂直方向上的加權(quán)空間距離(X坐標(biāo)和Y坐 標(biāo))生成三維矢量，并獲得該三維矢量的大小。該三維矢量的大小是通過以 下計(jì)算獲得的在將時(shí)間軸(t)加到點(diǎn)擊數(shù)據(jù)的輸入位置的X坐標(biāo)軸和Y 坐標(biāo)軸的三維空間上計(jì)算當(dāng)前輸入點(diǎn)與前 一 輸入點(diǎn)之間的歐幾里得 (Euclidean )距離。在步驟S225之后，流程前進(jìn)到步驟S226。在步驟S226上，興趣變化確定部分239確定步驟S225上獲得的三維矢 量的大小是否超過預(yù)定閾值。當(dāng)步驟S226上的確定結(jié)果表明三維矢量的大小 未超過預(yù)定閾值時(shí)，流程前進(jìn)到步驟步驟S227。在步驟S227，興趣變化確定 部分239確定接收設(shè)備2的用戶的興趣對(duì)象未變化。當(dāng)三維矢量的大小超過 預(yù)定閾值時(shí)，流程前進(jìn)到步驟S228。在步驟S228，興趣變化確定處理部分 239確定用戶的興趣對(duì)象已經(jīng)改變。在上述方式中，變化確定和歸類部分240相應(yīng)于接收設(shè)備2發(fā)送的點(diǎn)擊 數(shù)據(jù)完成用戶的興趣對(duì)象變化確定和其歸類。此外，當(dāng)接收設(shè)備2的用戶的興趣對(duì)象區(qū)域被歸類時(shí)，可以最佳地處理 被歸類的興趣對(duì)象區(qū)域。換句話說，分配給用戶的每個(gè)興趣對(duì)象區(qū)域的信息
量可以改變。例如，大信息量可以分配給用戶的特定興趣對(duì)象區(qū)域。另一方 面，可以優(yōu)先發(fā)送用戶的興趣對(duì)象區(qū)域的數(shù)據(jù)。此外，可以發(fā)送從點(diǎn)擊周邊區(qū)域存儲(chǔ)部分235中為興趣對(duì)象區(qū)域236讀 出的 一個(gè)圖像區(qū)域，以便按上述方式改善空間分辨率。在此情況下，即使接收設(shè)備2的用戶錯(cuò)誤地點(diǎn)擊非興趣對(duì)象區(qū)域，也可 以避免執(zhí)行錯(cuò)誤的確定。根據(jù)該實(shí)施例，即使具有興趣對(duì)象區(qū)域意義的一個(gè)對(duì)象在時(shí)間或空間上 與另一個(gè)對(duì)象分離，它們也可以被歸類為一個(gè)對(duì)象。此外，也可以提取不同 于諸如一個(gè)實(shí)體的對(duì)象的具有特定意義的區(qū)域。此外，結(jié)合圖37至46所述的實(shí)施例和結(jié)合圖49至51所述的實(shí)施例可 以合并。在此情況下，在步驟S206和S207上，可以按照上述方式為連續(xù)點(diǎn) 擊的靜止點(diǎn)擊確定一個(gè)連續(xù)點(diǎn)擊。同樣，在步驟S212和S213上，可以按照 上述方式為連續(xù)點(diǎn)擊的移動(dòng)點(diǎn)擊確定一個(gè)連續(xù)點(diǎn)擊。圖52示出了圖1所示的圖像發(fā)送設(shè)備的第三結(jié)構(gòu)實(shí)例。在圖52中，與 圖28相同的部分用相似的標(biāo)號(hào)表示，并省略其說明。換句話說，除交換部分 3-3具有收費(fèi)服務(wù)器4外，圖52所示的圖像發(fā)送系統(tǒng)的結(jié)構(gòu)與圖28所示的圖 像發(fā)送系統(tǒng)的結(jié)構(gòu)基本相同。盡管從接收設(shè)備2向發(fā)送設(shè)備1發(fā)送點(diǎn)擊數(shù)據(jù)(或控制信息)和從發(fā)送 設(shè)備1向接收設(shè)備2提供相應(yīng)于一個(gè)點(diǎn)擊數(shù)據(jù)具有改善了空間分辨率的圖像 的這樣一種服務(wù)(在下文中，這種服務(wù)被稱之為點(diǎn)擊服務(wù))可以是免費(fèi)服務(wù)， 但該服務(wù)可以是收費(fèi)服務(wù)。當(dāng)點(diǎn)擊服務(wù)是收費(fèi)服務(wù)時(shí)，收費(fèi)服務(wù)器4執(zhí)行一 種收費(fèi)處理，從用戶收取該點(diǎn)擊服務(wù)的服務(wù)費(fèi)。換言之，圖53示出了圖52所示的收費(fèi)服務(wù)器4的結(jié)構(gòu)實(shí)例。預(yù)定信息從交換站3-3供應(yīng)給通信鏈路建立檢測(cè)部分301。通信鏈路建 立檢測(cè)部分301核對(duì)從交換站3-3供應(yīng)的信息。結(jié)果，通信鏈路建立檢測(cè)部 分301檢測(cè)在作為發(fā)送設(shè)備的終端單元1與作為接收設(shè)備的終端單元2之間 是否已經(jīng)建立的通信鏈路，并把合成數(shù)據(jù)供應(yīng)給終端單元認(rèn)同部分302。當(dāng)終端單元認(rèn)同部分302接收到代表已經(jīng)在諸如發(fā)送設(shè)備1和接收設(shè)備 2的終端單元之間建立通信鏈路的信息(在下文中，該信息被稱之為通信鏈 路建立信息)時(shí)，終端單元認(rèn)同部分302核對(duì)從交換站3-3供應(yīng)的信息。結(jié) 果，終端單元認(rèn)同部分302認(rèn)同已經(jīng)通信鏈接的終端單元。此外，終端單元 認(rèn)同部分302認(rèn)同分配給終端單元的ID(在下文中，ID被稱之為終端單元ID ) 并把i/v同的終端單元ID供應(yīng)給點(diǎn)擊檢測(cè)部分303。點(diǎn)擊檢測(cè)部分303監(jiān)視經(jīng)交換站3-3接收的數(shù)據(jù)，采用從終端單元認(rèn)同 部分302接收的終端單元ID檢測(cè)從終端單元發(fā)送的點(diǎn)擊數(shù)據(jù)，并把檢測(cè)結(jié)果 和終端單元ID供應(yīng)給收費(fèi)處理部分304。在此情況下，例如，接收設(shè)備2將發(fā)送點(diǎn)擊數(shù)據(jù)和本地終端單元ID—起 發(fā)送。點(diǎn)擊檢測(cè)部分303將附加到經(jīng)交換站3-3接收的點(diǎn)擊數(shù)據(jù)上的終端單 元ID與終端單元認(rèn)同部分302供應(yīng)的終端單元ID相比較，認(rèn)同從已經(jīng)通信 鏈接的終端單元發(fā)送的點(diǎn)擊數(shù)據(jù)，并檢測(cè)該點(diǎn)擊數(shù)據(jù)。在下文中，點(diǎn)擊檢測(cè)部分303的一組點(diǎn)擊數(shù)據(jù)檢測(cè)結(jié)果和一個(gè)終端單元 ID被稱作點(diǎn)擊檢測(cè)信息。當(dāng)收費(fèi)處理部分304接收到來自點(diǎn)擊檢測(cè)部分303的點(diǎn)擊檢測(cè)信息時(shí)， 收費(fèi)處理部分304更新收費(fèi)數(shù)據(jù)庫305的存儲(chǔ)內(nèi)容。此外，收費(fèi)處理部分304 相應(yīng)于收費(fèi)數(shù)據(jù)庫305的存儲(chǔ)內(nèi)容，(例如)周期性地(例如，每月 一次)執(zhí) 行收費(fèi)處理。收費(fèi)數(shù)據(jù)庫305存儲(chǔ)收費(fèi)處理所需的信息。下面，結(jié)合圖54所示的流程圖說明圖53所示的收費(fèi)服務(wù)器4的處理。 通信鏈路建立檢測(cè)部分301監(jiān)視終端單元之間的通信鏈路是否已經(jīng)相應(yīng) 于交換站3-3供給的信息而建立。當(dāng)通信鏈路建立檢測(cè)部分301檢測(cè)到發(fā)送 設(shè)備1與接收設(shè)備2之間的通信鏈路已經(jīng)建立時(shí)，通信鏈路建立檢測(cè)部分301 把通信鏈路建立信息供應(yīng)給終端單元認(rèn)同部分302。當(dāng)終端單元認(rèn)同部分302收到通信鏈路建立檢測(cè)部分301發(fā)送的通信鏈 路建立信息時(shí)，在步驟S301,終端單元認(rèn)同部分302核對(duì)交換站3-3供應(yīng)的 信息。結(jié)果，終端單元認(rèn)同部分302認(rèn)同已經(jīng)通信鏈接的終端單元(例如， 發(fā)送設(shè)備1和接收設(shè)備2 )的終端單元ID,并把終端單元ID供應(yīng)給點(diǎn)擊檢測(cè) 部分303。當(dāng)點(diǎn)擊檢測(cè)部分303收到來自終端單元認(rèn)同部分302的終端單元ID時(shí)， 點(diǎn)擊^r測(cè)部分303開始4全測(cè)包含終端單元ID的點(diǎn)擊it據(jù)。此后，流程前進(jìn)到步驟S302。在步驟S302,收費(fèi)處理部分304確定是 否已經(jīng)從已經(jīng)通信鏈接的終端單元檢測(cè)到點(diǎn)擊數(shù)據(jù)。當(dāng)步驟S302上的確定結(jié) 果表明還未從已經(jīng)通信鏈接的終端單元檢測(cè)到點(diǎn)擊數(shù)據(jù)時(shí)(即，當(dāng)點(diǎn)擊檢測(cè)
部分303未向收費(fèi)處理部分304供應(yīng)點(diǎn)擊檢測(cè)信息時(shí))，流程前進(jìn)到步驟S304, 跳過步驟S303。相反，當(dāng)步驟S302上的確定結(jié)果表明已經(jīng)從已經(jīng)通信鏈接的終端單元檢 測(cè)到點(diǎn)擊數(shù)據(jù)時(shí)(即，當(dāng)點(diǎn)擊檢測(cè)部分303向收費(fèi)處理部分304供應(yīng)點(diǎn)擊檢 測(cè)信息時(shí))，流程前進(jìn)到步驟S303。在步驟S303,收費(fèi)處理部分304更新收 費(fèi)數(shù)據(jù)庫305的存儲(chǔ)內(nèi)容。換句話說，收費(fèi)數(shù)據(jù)庫305存儲(chǔ)諸如點(diǎn)擊數(shù)目和點(diǎn)間時(shí)間的點(diǎn)擊信息(在 下文中，該信息可以被稱作點(diǎn)擊信息)以及存儲(chǔ)終端單元發(fā)出一個(gè)呼叫和開 始一個(gè)通信的通信時(shí)間。收費(fèi)數(shù)據(jù)庫305相關(guān)地存儲(chǔ)該點(diǎn)擊信息和終端單元 的終端單元ID。在步驟S303,收費(fèi)處理部分304相應(yīng)于點(diǎn)擊檢測(cè)信息更新與 點(diǎn)擊一企測(cè)信息中含有的終端單元ID相對(duì)應(yīng)的點(diǎn)擊信息。在步驟S303之后，流程前進(jìn)到步驟S304。在步驟S304上，終端單元認(rèn) 同部分302確定與通信鏈路建立檢測(cè)部分301供給的通信鏈路建立信息相對(duì) 應(yīng)的通信鏈路是否已經(jīng)中斷。換句話說，通信鏈路建立檢測(cè)部分301不僅監(jiān)視終端單元間的通信鏈路 的建立，而且還監(jiān)視該鏈路的中端。當(dāng)通信鏈路已經(jīng)中斷時(shí)，通信鏈路建立 檢測(cè)部分301把作為通信鏈路中斷信息的結(jié)果信息供應(yīng)給終端單元認(rèn)同部分 302。在步驟S304,終端單元認(rèn)同部分302相應(yīng)于通信鏈路中斷信息確定通 信鏈路是否已經(jīng)中斷。當(dāng)步驟S304上的確定結(jié)果表明通信鏈路未中斷時(shí)，流程前進(jìn)到步驟 S302。在步驟S302,收費(fèi)服務(wù)器4重復(fù)相似的處理。相反，當(dāng)步驟S304上的確定結(jié)果表明通信鏈路已經(jīng)中斷時(shí)，終端單元認(rèn) 同部分302控制點(diǎn)擊檢測(cè)部分303完成對(duì)已經(jīng)通信鏈接的終端單元的點(diǎn)擊數(shù) 據(jù)的監(jiān)視。此后，收費(fèi)處理服務(wù)器4完成該處理。此后，收費(fèi)處理部分304周期性地核對(duì)收費(fèi)數(shù)據(jù)庫305,執(zhí)行收費(fèi)處理， 計(jì)算通信費(fèi)和點(diǎn)擊服務(wù)費(fèi)，并從用戶的銀行帳戶或類似物中轉(zhuǎn)帳(轉(zhuǎn)費(fèi))。作為點(diǎn)擊服務(wù)費(fèi)，可以指定每次點(diǎn)擊的計(jì)費(fèi)單位。相應(yīng)于點(diǎn)擊的次數(shù)， 可以計(jì)算點(diǎn)擊服務(wù)費(fèi)。另一方面，作為點(diǎn)擊服務(wù)費(fèi)，可以指定每小時(shí)的計(jì)費(fèi) 單位。相應(yīng)于點(diǎn)擊時(shí)間，可以計(jì)算點(diǎn)擊服務(wù)費(fèi)。另一方面，相應(yīng)于點(diǎn)擊次數(shù) 和點(diǎn)擊時(shí)間，可以計(jì)算點(diǎn)擊服務(wù)費(fèi)。上述處理可以由硬件或軟件執(zhí)行。當(dāng)這些處理由軟件執(zhí)行時(shí)，對(duì)作為專
用硬件設(shè)備的設(shè)置在發(fā)送設(shè)備1、接收設(shè)備2中的計(jì)算機(jī)、通用計(jì)算機(jī)或類似物等安裝組成該軟件的程序。圖55示出了已經(jīng)安裝了執(zhí)行上述處理的程序的一個(gè)計(jì)算機(jī)的結(jié)構(gòu)實(shí)例。 該程序可以被預(yù)先錄制到作為內(nèi)置在計(jì)算機(jī)內(nèi)的一個(gè)記錄介質(zhì)的硬盤405或ROM403上。另一方面，該程序可以暫時(shí)或永久地存儲(chǔ)(記錄)到可移動(dòng)記錄介質(zhì)諸 如軟盤、CD-ROM (光盤只讀存儲(chǔ)器)、MO (磁光)盤、DVD (數(shù)字通用盤)、 ^t盤或半導(dǎo)體存儲(chǔ)器上?？梢苿?dòng)記錄介質(zhì)411可以被設(shè)置為所謂的軟件包。該程序可以從上述的可移動(dòng)記錄介質(zhì)411安裝到計(jì)算機(jī)上。另一方面， 該程序可以從下載點(diǎn)經(jīng)數(shù)字衛(wèi)星廣播衛(wèi)星無線傳送給該計(jì)算機(jī)。再一方面， 該程序可以經(jīng)過諸如LAN (局域網(wǎng))的網(wǎng)絡(luò)或因特網(wǎng)傳送給該計(jì)算^L。在該 計(jì)算機(jī)中，該程序由通信部分408接收并安裝到硬盤405上。該計(jì)算機(jī)含有CPU(中央處理單元)402。輸入/輸出接口 410經(jīng)總線401 連接CPU402。當(dāng)用戶使用諸如鍵盤、鼠標(biāo)、麥克風(fēng)等的輸入部分407經(jīng)輸入 /輸出接口 410向CPU402輸入一個(gè)命令時(shí)，ROM (只讀存儲(chǔ)器)403中存儲(chǔ) 的程序開始執(zhí)行。另一方面，CPU402把硬盤405中存儲(chǔ)的程序加載到RAM (隨機(jī)存取存儲(chǔ)器)404上，并利用RAM404執(zhí)行該程序。再一方面，CPU402 把從衛(wèi)星或網(wǎng)絡(luò)傳送、由通信部分408接收并安裝到硬盤405上的程序，或 者從連接到驅(qū)動(dòng)器409的可移動(dòng)記錄介質(zhì)411中讀出并安裝到硬盤405上的 程序，加載到RAM404上，利用ARM404執(zhí)行該程序。因而，CPU402執(zhí)行 相應(yīng)于圖4、 6、 10、 14、 21至24、 27、 30、 32、 34、 36、 38、 39、 41、 43 至45、 50、 51和54所示的流程圖的處理。而且CPU402執(zhí)行相應(yīng)于圖3、 5、 7、 8、 11至13、 17、 25、 29、 31、 33、 35、 37、 47至49和53的框圖所示 的處理。必要時(shí)，CPU402經(jīng)輸入/輸出接口 410從包括LCD (液晶顯示器)、 揚(yáng)聲器等的輸出部分406輸出已處理的結(jié)果。另一方面，CPU402發(fā)送來自通 信部分408或者記錄到硬盤405上的已處理的結(jié)果。具體地說，使計(jì)算機(jī)執(zhí)行各種處理的程序的處理步驟不一定總是按照流 程圖的順序執(zhí)行。另一方面，處理步驟可以并行或分離地執(zhí)行(例如，可以 執(zhí)行并行處理或?qū)ο筇幚?。該程序可以由一個(gè)計(jì)算機(jī)處理。另一方面，該程序可以由多個(gè)計(jì)算機(jī)分 配。再一方面。該程序可以傳送到一個(gè)遠(yuǎn)端計(jì)算機(jī)上，由該計(jì)算機(jī)執(zhí)行處理。
根據(jù)本發(fā)明的實(shí)施例，發(fā)送設(shè)備l執(zhí)行分層編碼。根據(jù)發(fā)送的分層數(shù)據(jù)， 改變接收設(shè)備2顯示的圖像的時(shí)間分辨率或空間分辨率。另一方面，接收設(shè) 備2顯示的圖像的時(shí)間分辨率和空間分辨率可以根據(jù)發(fā)送的圖像的離散余旋變換系凄t或量化級(jí)(quantizing step )來改變。另一方面，時(shí)間分辨率和空間分辨率可以根據(jù)發(fā)送設(shè)備1的編碼方法來 改變。換句話說，當(dāng)用一個(gè)常規(guī)時(shí)間分辨率顯示一個(gè)圖像時(shí)，發(fā)送設(shè)備1的 編碼部分31對(duì)其對(duì)象的輪廓連續(xù)編碼，并獲得組成一個(gè)對(duì)象的像素值(顏色) 的平均值，作為典型值。接收設(shè)備2按照該典型值顯示彩色對(duì)象的區(qū)域。當(dāng) 以時(shí)間分辨率為代價(jià)顯示具有改善的空間分辨率的圖像時(shí)，可以按上所述的 那樣使用分層編碼。根據(jù)該實(shí)施例，空間分辨率的改善是以時(shí)間分辨率為代價(jià)的。相反，時(shí)間分辨率可以以空間分辨率為代價(jià)得到改善。代表犧牲(改善)分辨率的選 擇的信息可以被包含在諸如點(diǎn)擊數(shù)據(jù)的控制信息中，并從接收設(shè)備2發(fā)送給發(fā)送設(shè)備1。根據(jù)本方明的實(shí)施例，時(shí)間分辨率和空間分辨率被處理。然而，根據(jù)本 發(fā)明，電平方向的分辨率(在下文中，把該分辨率稱作電平分辨率)也可以 被處理。換句話說，當(dāng)分配給數(shù)據(jù)的比特?cái)?shù)增加或降低時(shí)，時(shí)間分辨率和空 間分辨率可以提高或惡化。在此情況下，當(dāng)圖像的時(shí)間分辨率和空間分辨率 變化時(shí)，其明暗度也變化。該電平分辨率可以通過改變上述的量化級(jí)來改變。此外，根據(jù)該實(shí)施例，圖像的部分區(qū)域(優(yōu)先權(quán)范圍)的空間分辨率的 改善是以時(shí)間分辨率為代價(jià)的。另一方面，整個(gè)圖像的空間分辨率也可以得 到改善。另 一方面，圖像的特定部分的空間分辨率的改善可以以圖像的剩余部分 的空間分辨率為代價(jià)，而不是以時(shí)間分辨率為代價(jià)(即，保持時(shí)間分辨率)。此外，根據(jù)本實(shí)施例，以這種方式處理圖像，即將其分為背景圖像和對(duì) 象。而且也可以以不分離圖像的方式處理圖像。此外，本發(fā)明不僅適用于圖像數(shù)據(jù)，而且還適用于音頻數(shù)據(jù)。在音頻數(shù) 據(jù)的情況下，采樣頻率相當(dāng)于時(shí)間分辨率，而分配給音頻數(shù)據(jù)的比特?cái)?shù)相當(dāng) 于電平分辨率。此外，圖49所示的變化確定和歸類部分240的處理可適用于提取聲音特 征量(例如音調(diào)、話音或樂器的期望部分)的情況。
此外，對(duì)象提取部分14和1014以及變化確定和歸類部分240的處理可 適用于所謂的對(duì)象編碼。換句話說，對(duì)于對(duì)象提取部分14和1014以及變化 確定和歸類部分240的處理來說，由于可以提取對(duì)象，因此可以相應(yīng)于獲取 代表對(duì)象移動(dòng)的信息的對(duì)象編碼處理，對(duì)被提取的對(duì)象以及代表對(duì)象輪廓或 區(qū)域的信息進(jìn)行編碼。該編碼的數(shù)據(jù)可以被發(fā)送或記錄。接收設(shè)備2可以使用點(diǎn)擊數(shù)據(jù)執(zhí)行與對(duì)象提取部分1014的處理相似的處 理，以便提取一個(gè)對(duì)象。在此情況下，當(dāng)接收設(shè)備2提取的一個(gè)對(duì)象被存儲(chǔ) 時(shí)， 一個(gè)數(shù)據(jù)庫就被形成。根據(jù)本發(fā)明的第一發(fā)送設(shè)備、第一發(fā)送方法、第一記錄介質(zhì)和第一信號(hào)， 接收從接收設(shè)備發(fā)送的控制信息。相應(yīng)于該控制信息，控制時(shí)間方向、空間 方向和電平方向的至少兩個(gè)方向上的分辨率。已經(jīng)相應(yīng)于控制信息控制至少 兩個(gè)方向分辨率的數(shù)據(jù)被發(fā)送給接收設(shè)備。因而，例如，接收設(shè)備所顯示的 圖像的空間方向分辨率可以被進(jìn)一 步改善。根據(jù)本發(fā)明的接收設(shè)備、接收方法、第二記錄介質(zhì)和第二信號(hào)，控制信 息被發(fā)送給發(fā)送設(shè)備，以便相應(yīng)于該控制信息控制時(shí)間方向、空間方向和電 平方向的至少兩個(gè)方向上的分辨率。此外，已經(jīng)相應(yīng)于該控制信息控制至少 兩個(gè)方向分辨率的數(shù)據(jù)，從發(fā)送設(shè)備發(fā)送，然后接收和輸出。因而，例如， 輸出的圖像的空間分辨率可以被進(jìn)一步改善。根據(jù)本發(fā)明的發(fā)送和接收設(shè)備、發(fā)送和接收方法、第三記錄介質(zhì)和第三 信號(hào)，發(fā)送設(shè)備接收從接收設(shè)備發(fā)送的控制信息。相應(yīng)于該控制信息，控制 時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向的分辨率。已經(jīng)相應(yīng)于控制 信息控制至少兩個(gè)方向分辨率的數(shù)據(jù)被發(fā)送給接收設(shè)備。此外，接收設(shè)備向 發(fā)送設(shè)備發(fā)送控制信息。已經(jīng)相應(yīng)于該控制信息控制至少兩個(gè)方向分辨率的 數(shù)據(jù)，從發(fā)送設(shè)備發(fā)送，然后接收和輸出。因而，例如，接收設(shè)備所顯示的 圖像的空間方向分辨率可以被進(jìn) 一 步改善。根據(jù)本發(fā)明的第二發(fā)送設(shè)備、第二發(fā)送方法、第四記錄介質(zhì)和第四信號(hào)， 接收從接收設(shè)備發(fā)送的控制信號(hào)。相應(yīng)于該控制信息，對(duì)數(shù)據(jù)歸類。相應(yīng)于 數(shù)據(jù)的歸類結(jié)果，向接收設(shè)備發(fā)送數(shù)據(jù)。因而，例如，可以向接收設(shè)備發(fā)送 用戶正在考慮的圖像區(qū)域，而不考慮該區(qū)域是移動(dòng)的還是靜止的。
權(quán)利要求
1、一種向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送設(shè)備，包括接收裝置，用于接收從接收設(shè)備發(fā)送的控制信息；控制裝置，相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)的時(shí)間方向、空間方向和電平方向的至少兩個(gè)方向的分辨率；發(fā)送裝置，向接收設(shè)備發(fā)送已經(jīng)已經(jīng)相應(yīng)于控制信息控制至少兩個(gè)方向的分辨率的數(shù)據(jù)，和分析裝置，用于分析接收設(shè)備的用戶的偏愛，其中所述的控制裝置相應(yīng)于分析裝置的分析結(jié)果控制數(shù)據(jù)的分辨率；其中接收設(shè)備輸出從所述的發(fā)送裝置發(fā)送的數(shù)據(jù)，其中所述的控制裝置控制輸出給接收設(shè)備的數(shù)據(jù)的考慮點(diǎn)，和其中所述的分析裝置相應(yīng)于考慮點(diǎn)分析用戶的偏愛，其中所述的分析裝置具有特征量提取裝置，用于提取含有數(shù)據(jù)考慮點(diǎn)的考慮區(qū)域的特征量；和區(qū)域檢測(cè)裝置，用于從對(duì)應(yīng)于特征量的數(shù)據(jù)中檢測(cè)與用戶的偏愛相對(duì)應(yīng)的預(yù)定區(qū)域，和其中所述的控制裝置控制數(shù)據(jù)的預(yù)定區(qū)域的分辨率。
2、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備，其中所述的控制裝置相應(yīng)于控制信 息控制發(fā)送給接收設(shè)備的圖像數(shù)據(jù)的時(shí)間方向和空間方向上的分辨率。
3、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備其中所述的發(fā)送裝置經(jīng)預(yù)定的傳送路徑以預(yù)定的傳送速率向接收設(shè)備發(fā) 送數(shù)據(jù)，和其中所述的控制裝置相應(yīng)于控制信息控制數(shù)據(jù)的分辨率，使數(shù)據(jù)的傳送 速率不超過預(yù)定的傳送速率。
4、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備，其中接收設(shè)備輸出從發(fā)送設(shè)備發(fā)送的數(shù)據(jù)， 其中控制信息包含輸出給接收設(shè)備的數(shù)據(jù)的考慮點(diǎn)，和 其中所述的控制裝置相應(yīng)于控制信息改善包含了數(shù)據(jù)的考慮點(diǎn)的考慮區(qū) 域的分辨率。
5、 根據(jù)權(quán)利要求4所述的發(fā)送設(shè)備，其中所述的發(fā)送裝置經(jīng)預(yù)定的傳送路徑以預(yù)定的傳送速率向接收設(shè)備發(fā) 送圖像數(shù)據(jù)，其中接收設(shè)備顯示從發(fā)送裝置發(fā)送的圖像數(shù)據(jù)，其中控制信息包含由接收設(shè)備顯示的圖像數(shù)據(jù)的時(shí)間和空間位置，和 其中所述的控制裝置相應(yīng)于控制信息改善包含圖像數(shù)據(jù)的時(shí)間和空間位置的考慮區(qū)域的空間分辨率，和降低時(shí)間分辨率，使圖像數(shù)據(jù)的傳送速率不超過預(yù)定的傳送速率。
6、 根據(jù)權(quán)利要求5所述的發(fā)送設(shè)備，還包括背景圖像數(shù)據(jù)提取裝置，用于從發(fā)送給接收設(shè)備的圖像數(shù)據(jù)中提取背景 圖像數(shù)據(jù)，其中當(dāng)包含在控制信息中的時(shí)間和空間位置代表背景圖像數(shù)據(jù)時(shí)，所述 的控制裝置改善背景圖像數(shù)據(jù)的空間分辨率。
7、 根據(jù)權(quán)利要求6所述的發(fā)送設(shè)備，還包括對(duì)象圖像數(shù)據(jù)提取裝置，相應(yīng)于發(fā)送給接收設(shè)備的圖像數(shù)據(jù)與背景圖像 數(shù)據(jù)之間的差值從圖像數(shù)據(jù)中提取對(duì)象圖像數(shù)據(jù)，其中當(dāng)包含在控制信息中的時(shí)間和空間位置代表對(duì)象圖像數(shù)據(jù)時(shí)，所述 的控制裝置改善對(duì)象圖像數(shù)據(jù)的空間分辨率。
8、 根據(jù)權(quán)利要求7所述的發(fā)送設(shè)備，還包括組合裝置，用于把背景圖像數(shù)據(jù)和對(duì)象圖像數(shù)據(jù)組合為組合數(shù)據(jù)， 其中所述的發(fā)送裝置向接收設(shè)備發(fā)送該組合數(shù)據(jù)。
9、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備，還包括 輸入數(shù)據(jù)的輸入裝置。
10、 根據(jù)權(quán)利要求9所述的發(fā)送設(shè)備，其中 數(shù)據(jù)是圖像數(shù)據(jù)，和其中所述的輸入裝置是拍攝圖像和輸出圖像數(shù)據(jù)的拍攝裝置。
11、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備， 其中發(fā)送設(shè)備是便攜式電話機(jī)。
12、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備，還包括 條形圖存儲(chǔ)裝置，用于存儲(chǔ)特征量的條形圖，其中所述的區(qū)域檢測(cè)裝置檢測(cè)與該條形圖相對(duì)應(yīng)的預(yù)定區(qū)域。
13、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備其中所述的發(fā)送裝置經(jīng)預(yù)定的傳送路徑以預(yù)定的傳送速率向接收設(shè)備發(fā) 送圖像數(shù)據(jù)，其中接收設(shè)備顯示從所述的發(fā)送裝置發(fā)送的圖像數(shù)據(jù)，和 其中所述的控制裝置改善圖像數(shù)據(jù)的預(yù)定區(qū)域的空間分辨率和降低時(shí)間 分辨率，以使圖像數(shù)據(jù)的傳送速率不超過預(yù)定傳送速率。
14、 根據(jù)權(quán)利要求12所述的發(fā)送設(shè)備其中所述的檢測(cè)裝置把與具有條形圖的最高頻率的特征量相同或相似的 區(qū)域;險(xiǎn)測(cè)為預(yù)定區(qū)域。
15、 根據(jù)權(quán)利要求14所述的發(fā)送設(shè)備，其中所述的發(fā)送裝置經(jīng)預(yù)定的傳送路徑以預(yù)定的傳送速率向接收設(shè)備發(fā) 送圖像數(shù)據(jù)，其中接收設(shè)備顯示所述的發(fā)送裝置發(fā)送的圖像數(shù)據(jù)，和 其中所述的控制裝置改善圖像數(shù)據(jù)的預(yù)定區(qū)域的空間分辨率和降低時(shí)間 分辨率，以使圖像數(shù)據(jù)的傳送速率不超過預(yù)定傳送速率。
16、 根據(jù)權(quán)利要求13所述的發(fā)送設(shè)備，其中所述的特征量提取裝置提取作為特征量的包含圖像數(shù)據(jù)考慮點(diǎn)的考 慮區(qū)域的移動(dòng)信息、深度信息、位置信息、顏色信息和形狀信息的至少一個(gè)化息。
17、 根據(jù)權(quán)利要求16所述的發(fā)送設(shè)備，其中所述的特征量提取裝置提取裝置提取多個(gè)作為多個(gè)特征量的包含圖 像數(shù)據(jù)考慮點(diǎn)的考慮區(qū)域的移動(dòng)信息、深度信息、位置信息、顏色信息和形 狀信息。
18、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備， 其中所述的分析裝置具有歸類裝置，相應(yīng)于包含數(shù)據(jù)考慮點(diǎn)的考慮區(qū)域?qū)?shù)據(jù)進(jìn)行歸類， 其中所述的分析裝置相應(yīng)于所述歸類裝置的分析結(jié)果分析用戶的偏愛。
19、 根據(jù)權(quán)利要求18所述的發(fā)送設(shè)備， 其中所述數(shù)據(jù)是圖像數(shù)據(jù)， 其中所述分析裝置具有靜止區(qū)域和移動(dòng)區(qū)域確定裝置，用于確定圖像數(shù)據(jù)的考慮區(qū)域是靜止區(qū)域還是移動(dòng)區(qū)域；和連續(xù)確定裝置，用于確定考慮點(diǎn)在考慮點(diǎn)的時(shí)間和空間方向上是否是連 續(xù)的，和其中所述的歸類裝置相應(yīng)于靜止區(qū)域和移動(dòng)區(qū)域確定裝置和所述的連續(xù) 確定裝置的確定結(jié)果對(duì)圖像數(shù)據(jù)歸類。
20、根據(jù)權(quán)利要求19所述的發(fā)送設(shè)備，還包括考慮點(diǎn)存儲(chǔ)裝置，用于存儲(chǔ)在靜止的并且在時(shí)間和空間方向上連續(xù)的考 慮區(qū)域中所含有的考慮點(diǎn)，和存儲(chǔ)移動(dòng)的并且在時(shí)間和空間方向上連續(xù)的考 慮區(qū)域中所含有的考慮點(diǎn)；和類別標(biāo)識(shí)符加法裝置，用于獲取加入到被存儲(chǔ)在考慮點(diǎn)存儲(chǔ)裝置中的一 個(gè)考慮點(diǎn)上的類別標(biāo)識(shí)符，并且把該標(biāo)識(shí)符加到該考慮點(diǎn)上。
21 、根據(jù)權(quán)利要求20所述的發(fā)送設(shè)備，其中在當(dāng)前考慮點(diǎn)處于靜止的并在時(shí)間和空間方向上連續(xù)的考慮區(qū)域內(nèi) 的情況下，當(dāng)存儲(chǔ)在所述考慮點(diǎn)存儲(chǔ)裝置中的前一考慮點(diǎn)被包含在靜止的并 在時(shí)間和空間方向上連續(xù)的考慮區(qū)域內(nèi)時(shí)，相應(yīng)于當(dāng)前考慮點(diǎn)與含有前一考 慮點(diǎn)的區(qū)域之間空間位置的關(guān)系，所述的歸類標(biāo)識(shí)符加法裝置獲得被加入到 當(dāng)前考慮點(diǎn)的類別標(biāo)識(shí)符。
22、 根據(jù)權(quán)利要求21所述的發(fā)送設(shè)備，其中在當(dāng)前考慮點(diǎn)處于移動(dòng)的并在時(shí)間和空間方向上連續(xù)的考慮區(qū)域內(nèi) 的情況下，當(dāng)存儲(chǔ)在所述考慮點(diǎn)存儲(chǔ)裝置中的前一考慮點(diǎn)被包含在移動(dòng)的并 在時(shí)間和空間方向上連續(xù)的考慮區(qū)域內(nèi)時(shí)，相應(yīng)于含有當(dāng)前考慮點(diǎn)的考慮區(qū) 域的預(yù)定特征量和含有前一考慮點(diǎn)的考慮區(qū)域的預(yù)定特征量的相似性，所述 的歸類標(biāo)識(shí)符加法裝置獲得被加入到當(dāng)前考慮點(diǎn)的類別標(biāo)識(shí)符。
23、 根據(jù)權(quán)利要求20所述的發(fā)送設(shè)備，其中所述的歸類裝置相應(yīng)于與所述考慮點(diǎn)存儲(chǔ)裝置中存儲(chǔ)的考慮點(diǎn)的密 度相對(duì)應(yīng)的用戶偏愛對(duì)作為對(duì)象的圖像數(shù)據(jù)的預(yù)定區(qū)域進(jìn)行歸類。
24、 根據(jù)權(quán)利要求23所述的發(fā)送設(shè)備，其中所述的歸類裝置相應(yīng)于與所述考慮點(diǎn)存儲(chǔ)裝置中存儲(chǔ)的并包含在靜 止的考慮區(qū)域中的分配了相同類別標(biāo)識(shí)符的考慮點(diǎn)的密度相對(duì)應(yīng)的用戶偏 愛，對(duì)作為對(duì)象的圖像數(shù)據(jù)的預(yù)定區(qū)域進(jìn)行歸類。
25、 根據(jù)權(quán)利要求23所述的發(fā)送設(shè)備， 其中所述的歸類裝置相應(yīng)于與所述考慮點(diǎn)存儲(chǔ)裝置中存儲(chǔ)的并包含在移 度相對(duì)應(yīng)的用戶偏愛，對(duì)作為對(duì)象的圖像數(shù)據(jù)的預(yù)定區(qū)域進(jìn)行歸類。
26、 根據(jù)權(quán)利要求19所述的發(fā)送設(shè)備，其中所述的靜止區(qū)域和移動(dòng)區(qū)域確定裝置相應(yīng)于包含當(dāng)前幀的考慮點(diǎn)的 考慮區(qū)域與包含過去幀的考慮點(diǎn)的考慮區(qū)域之間的差值，確定包含當(dāng)前考慮 點(diǎn)的考慮區(qū)域是靜止的還是移動(dòng)的。
27、 根據(jù)權(quán)利要求19所述的發(fā)送設(shè)備，其中所述的連續(xù)確定裝置相應(yīng)于當(dāng)前考慮點(diǎn)與過去考慮點(diǎn)的時(shí)間差值， 確定當(dāng)前考慮點(diǎn)是否在時(shí)間和空間方向上連續(xù)。
28、 根據(jù)權(quán)利要求23所述的發(fā)送設(shè)備，其中所述的控制裝置改善按對(duì)象歸類的區(qū)域的分辨率。
29、 根據(jù)權(quán)利要求19所述的發(fā)送設(shè)備，其中所述的連續(xù)確定裝置相應(yīng)于當(dāng)前考慮點(diǎn)與過去考慮點(diǎn)之間的時(shí)間和 空間方向上的距離確定當(dāng)前考慮點(diǎn)是否連續(xù)，獲得與包含當(dāng)前考慮點(diǎn)的考慮 區(qū)域相同的靜止區(qū)域和移動(dòng)區(qū)域確定結(jié)果。
30、 根據(jù)權(quán)利要求29所述的發(fā)送設(shè)備，其中所述的歸類裝置相應(yīng)于用于時(shí)間方向和空間方向的距離的加權(quán)值對(duì) 圖像數(shù)據(jù)進(jìn)行歸類。
31、 根據(jù)權(quán)利要求30所述的發(fā)送設(shè)備，還包括圖像數(shù)據(jù)存儲(chǔ)裝置，用于存儲(chǔ)包含在時(shí)間方向和空間方向連續(xù)的考慮點(diǎn) 的考慮區(qū)域中的圖像數(shù)據(jù)。
32、 根據(jù)權(quán)利要求31所述的發(fā)送設(shè)備，其中當(dāng)當(dāng)前考慮點(diǎn)在時(shí)間方向和空間方向上不連續(xù)時(shí)，在所述的圖像數(shù) 據(jù)存儲(chǔ)裝置的內(nèi)容被讀出后，擦除該內(nèi)容，并把包含當(dāng)前考慮點(diǎn)的考慮區(qū)域 中的圖像數(shù)據(jù)存儲(chǔ)到所述的圖像數(shù)據(jù)存儲(chǔ)裝置上。
33、 根據(jù)權(quán)利要求32所述的發(fā)送設(shè)備，其中所述的控制裝置改善從所述的圖像數(shù)據(jù)存儲(chǔ)裝置中讀出的圖像數(shù)據(jù) 的分辨率。
34、 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備， 其中控制信息被用于一個(gè)收費(fèi)處理。
35、 根據(jù)權(quán)利要求2所述的發(fā)送設(shè)備， 其中圖像數(shù)據(jù)是編碼的對(duì)象。
36、 一種向接收設(shè)備發(fā)送數(shù)據(jù)的發(fā)送方法，包括步驟 接收從接收設(shè)備發(fā)送的控制信息；相應(yīng)于控制信息控制發(fā)送給接收設(shè)備的數(shù)據(jù)的時(shí)間方向、空間方向和電 平方向的至少兩個(gè)方向的分辨率；向接收設(shè)備發(fā)送已經(jīng)已經(jīng)相應(yīng)于控制信息控制至少兩個(gè)方向的分辨率的 數(shù)據(jù)，和分析接收設(shè)備的用戶的偏愛，其中所述的控制步驟相應(yīng)于分析步驟的分析結(jié)果控制數(shù)據(jù)的分辨率；其中接收設(shè)備輸出從所述的發(fā)送步驟發(fā)送的數(shù)據(jù)，其中所述的控制步驟控制輸出給接收設(shè)備的數(shù)據(jù)的考慮點(diǎn)，和其中所述的分析步驟相應(yīng)于考慮點(diǎn)分析用戶的偏愛，其中所述的分析步驟包括提取含有數(shù)據(jù)考慮點(diǎn)的考慮區(qū)域的特征量；和從對(duì)應(yīng)于特征量的數(shù)據(jù)中檢測(cè)與用戶的偏愛相對(duì)應(yīng)的預(yù)定區(qū)域5和其中所述的控制步驟控制數(shù)據(jù)的預(yù)定區(qū)域的分辨率。
全文摘要
在發(fā)送方，背景圖像和對(duì)象#1至#3每個(gè)以傳送速率R/4發(fā)送。在接收方，以特定的空間分辨率和特定的時(shí)間分辨率顯示由對(duì)象#1至#3和背景圖像組成的圖像。在此情況下，接收方在特定時(shí)間t1拖動(dòng)對(duì)象#1時(shí)，在發(fā)送方(如圖所示)則停止對(duì)背景圖像和對(duì)象#2和#3的傳送。此時(shí)以傳送路徑的傳送速率R僅發(fā)送對(duì)象#1。從而，以圖像的時(shí)間分辨率為代價(jià)，顯示改善了拖動(dòng)對(duì)象#1的空間分辨率的圖像。
文檔編號(hào)H04N7/26GK101106708SQ20071014265
公開日2008年1月16日 申請(qǐng)日期2000年8月9日 優(yōu)先權(quán)日1999年8月9日
發(fā)明者小林直樹, 近藤哲二郎, 金丸昌憲 申請(qǐng)人:索尼公司