專利名稱：圖像信號復(fù)用裝置和方法、分解裝置和方法及傳輸媒體的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像信號復(fù)用裝置和方法、圖像信號分解裝置和方法及傳輸媒體，尤其涉及這樣一種圖像信號復(fù)用裝置和方法、圖像信號分解裝置和方法及傳輸媒體，該圖像信號復(fù)用裝置和方法、圖像信號分解裝置和方法及傳輸媒體能夠?qū)?shù)據(jù)記錄在如磁光盤和磁帶這樣的記錄介質(zhì)上并從這樣的記錄介質(zhì)中再現(xiàn)該數(shù)據(jù)以在顯示器上顯示；能夠?qū)?shù)據(jù)經(jīng)一傳輸路徑從發(fā)送側(cè)傳輸?shù)浇邮諅?cè)以在如電話會議系統(tǒng)、電視電話系統(tǒng)、廣播設(shè)備、多媒體數(shù)據(jù)庫查詢系統(tǒng)等這樣的接收側(cè)進(jìn)行顯示、編輯和記錄操作。
背景技術(shù)：
在將運(yùn)動圖像信號傳輸?shù)竭h(yuǎn)距離地點(diǎn)的系統(tǒng)中，例如電話會議系統(tǒng)。電視電話系統(tǒng)或類似系統(tǒng)中，利用圖像信號的線性相關(guān)和幀間相關(guān)對圖像信號進(jìn)行壓縮編碼以有效地利用傳輸路徑。
另外，近些年來，隨著計(jì)算機(jī)處理性能的提高，使用計(jì)算機(jī)的運(yùn)動圖像信息終端變得越來越普遍。在這樣的系統(tǒng)中，信息通過網(wǎng)絡(luò)這樣的傳輸路徑傳送到遠(yuǎn)距離地點(diǎn)。類似地，在這種情況下，將要被傳輸?shù)娜鐖D像信號、音頻信號這樣的信號和數(shù)據(jù)被壓縮編碼以進(jìn)行傳輸，從而有效地利用傳輸路徑。
在終端側(cè)，發(fā)送到該側(cè)的壓縮信號按照預(yù)定的方法進(jìn)行解碼以恢復(fù)成原始的圖像信號、音頻信號、和數(shù)據(jù)等，恢復(fù)的原始的圖像信號、音頻信號、和數(shù)據(jù)等輸出到終端所提供的顯示器、揚(yáng)聲器等裝置。在現(xiàn)有技術(shù)中，傳送的圖像信號等原樣僅輸出到顯示裝置，而在基于計(jì)算機(jī)的信息終端中，多個這樣的圖像信號、音頻信號和數(shù)據(jù)在它們被轉(zhuǎn)換后可以在二維或三維空間中顯示。通過在發(fā)送側(cè)以預(yù)定的方法描述關(guān)于二維和三維空間的信息和對例如圖像信號執(zhí)行預(yù)定轉(zhuǎn)換處理以在一個終端處按照該描述進(jìn)行顯示，從而可以實(shí)現(xiàn)上述處理過程。
描述上述空間信息的代表性方案比如是VRML(虛擬現(xiàn)實(shí)模塊化語言)。該方案已在ISO-IEC_JTC1/SC24中被標(biāo)準(zhǔn)化，在ISI4772中描述了它的最近版本VRML2.0。VRML是描述三維空間的一種語言，其中定義了一個數(shù)據(jù)集來描述三維空間的屬性、形狀等。這個數(shù)據(jù)集稱作一個節(jié)點(diǎn)。對三維空間的描述涉及到描述這些預(yù)定義的節(jié)點(diǎn)是如何合成的。對于一個節(jié)點(diǎn)，定義了表示如顏色、紋理等屬性的數(shù)據(jù)和表示多邊形形狀的數(shù)據(jù)。
在基于計(jì)算機(jī)的信息終端，按照如上所述的如VRML的描述，使用多邊形等由CG(計(jì)算機(jī)圖形學(xué))生成一個預(yù)定的目標(biāo)。利用VRML，可以將紋理映射到由這樣生成的多邊形所構(gòu)成的三維目標(biāo)上。當(dāng)一個紋理映射為一個靜止圖像時，定義一個稱作紋理(Texture)的節(jié)點(diǎn)；而當(dāng)一個紋理映射為一個運(yùn)動畫面時，定義一個稱作影片紋理(Movie Texture)的節(jié)點(diǎn)，其中在該節(jié)點(diǎn)中描述了關(guān)于要被映射的紋理的信息(文件名、播放開始時間和結(jié)束時間等)。
這里，將參照

圖14描述紋理的映射(下文中稱作紋理映射)。要被映射的紋理(圖像信號)和代表它的透明度的信號(鍵信號)以及三維目標(biāo)信息從外部輸入，并存儲在一組存儲器151的預(yù)定存儲區(qū)域中。該紋理存儲在紋理存儲器152中；代表透明度的信號存儲在灰度級存儲器153中；三維目標(biāo)信息存儲在三維信息存儲器154中。此處，三維目標(biāo)信息涉及多邊形形狀的信息、亮度信息等。
再生電路155利用記錄在存儲器組151中的基于預(yù)定三維目標(biāo)信息的多邊形形成三維目標(biāo)。再生電路155根據(jù)三維目標(biāo)信息從存儲器152和存儲器153中讀取預(yù)定的紋理和表示其透明度的信號，并將紋理映射到三維目標(biāo)。代表透明度的信號表示在相應(yīng)位置處的紋理的透明度，從而表示在相應(yīng)位置處的紋理映射到的位置上的目標(biāo)的透明度。再生電路155向二維變換電路156提供表示映射有紋理的目標(biāo)的信號。該二維變換電路156根據(jù)從外部輸入的視點(diǎn)信息，通過將三維目標(biāo)映射到二維平面上，依次將三維目標(biāo)變換為二維圖像信號。被變換為二維圖像信號的三維目標(biāo)還輸出到外部。該紋理可以是靜止圖像或運(yùn)動畫面。在運(yùn)動畫面的情況下，每次改變要被映射的運(yùn)動畫面的圖像幀，都要執(zhí)行上述的操作。
VRML也支持壓縮圖像格式，如對于靜止圖像的高效編碼方案JPEG(聯(lián)合攝影專家組)，和作為要被映射的紋理的格式的運(yùn)動畫面編碼方案的MPEG(運(yùn)動畫面專家組)。在這種情況下，根據(jù)預(yù)定的壓縮方案，通過解碼處理操作解碼紋理(圖像)，并且該解碼的圖像信號記錄在存儲器組151的存儲器152中。
在再生電路155中，記錄在存儲器152中的紋理的映射不考慮圖像是何種格式，不論是運(yùn)動畫面還是靜止圖像或其內(nèi)容。在任意時刻，只有存儲在存儲器中的一個紋理能夠映射到某一多邊形，從而多個紋理不能夠映射到一個多邊形上。
當(dāng)這樣的三維信息和紋理信息經(jīng)傳輸路徑傳送時，該信息在傳送前必須被壓縮從而有效地利用傳送路徑。特別是，當(dāng)運(yùn)動畫面被映射到三維目標(biāo)和在其它類似情況下時，在傳送之前壓縮運(yùn)動畫面是必不可少的。
例如，在ISO-IEC/JTC1SC2/WG11中討論過并被作為標(biāo)準(zhǔn)議案提出的上述MPEG方案，和已經(jīng)采用的作為運(yùn)動補(bǔ)償差分脈沖編碼調(diào)制和DCT(離散余弦變換)編碼組合的混合方案。MPEG定義了支持多種應(yīng)用和功能的多個框架(profile)和級別。最基本的一個是主要框架主要級別(MP@ML)。
參照圖15描述一個MPEG方案的MP@ML的編碼器的示意性結(jié)構(gòu)。首先，一輸入的圖像信號輸入到幀存儲器組1，并以一預(yù)定順序存儲。要被編碼的圖像數(shù)據(jù)輸入到以宏數(shù)據(jù)塊為單元的運(yùn)動矢量檢測器電路2。該運(yùn)動矢量檢測器電路2按照預(yù)先設(shè)定的預(yù)定順序?qū)⒚繋膱D像數(shù)據(jù)處理成I畫面、P畫面或B畫面。已經(jīng)預(yù)先確定了順序輸入的各幀的圖像是否應(yīng)被處理成I-、P-還是B-畫面(例如以I、B、P、B、P、…B、P的順序處理)。
運(yùn)動矢量檢測器電路2參照預(yù)先定義的預(yù)定的參考幀執(zhí)行運(yùn)動補(bǔ)償以檢測其運(yùn)動矢量。運(yùn)動補(bǔ)償(幀間預(yù)測)有三種模式前向預(yù)測、后向預(yù)測和雙向預(yù)測。P-畫面的預(yù)測模式只是前向預(yù)測，而B畫面的預(yù)測模式有三種類型，即前向預(yù)測、后向預(yù)測和雙向預(yù)測。運(yùn)動矢量檢測器電路2選擇使預(yù)定誤差最小化的預(yù)定模式，并用選擇的預(yù)測模式產(chǎn)生預(yù)定矢量。
在這種情況下，例如將預(yù)測誤差與要被編碼的宏數(shù)據(jù)塊的變化進(jìn)行比較，從而當(dāng)宏數(shù)據(jù)塊的變化是小的時候，不對該宏數(shù)據(jù)塊執(zhí)行預(yù)測，而是執(zhí)行幀內(nèi)編碼。在這種情況下，預(yù)測模式是圖像內(nèi)編碼(幀內(nèi))。該運(yùn)動矢量和預(yù)測模式輸入到可變長度編碼器電路6和運(yùn)動補(bǔ)償電路12。
運(yùn)動補(bǔ)償電路12根據(jù)輸入的運(yùn)動矢量產(chǎn)生預(yù)測圖像數(shù)據(jù)，并將預(yù)測的圖像數(shù)據(jù)輸入到計(jì)算電路3。該計(jì)算電路3計(jì)算要被編碼的宏數(shù)據(jù)塊的值與預(yù)測圖像的值之間的差值數(shù)據(jù)，并輸出該差值數(shù)據(jù)到DCT電路4。在宏數(shù)據(jù)塊內(nèi)，計(jì)算電路3輸出要被編碼的宏數(shù)據(jù)塊的信號本身到DCT電路4。
該DCT電路4時輸入信號執(zhí)行DCT(離散余弦變換)操作，該輸入信號被變換為DCT系數(shù)。該DCT系數(shù)輸入到量化電路5，該量化電路5用與傳輸緩沖器7中存儲的數(shù)據(jù)量(緩沖器存儲量)相對應(yīng)的量化步長對DCT系數(shù)進(jìn)行量化操作，然后，將量化數(shù)據(jù)輸入到可變長度編碼器電路6。
可變長度編碼器電路6按照從量化電路5輸入的量化步長(尺度)，將從量化電路5提供的量化數(shù)據(jù)變換為可變長度代碼，如霍夫曼碼，并將可變長度代碼輸出到傳輸緩沖器7?？勺冮L度編碼器電路6還輸入由量化電路5饋送的量化步長(尺度)，和由預(yù)定矢量檢測器電路2饋送的預(yù)測模式(已經(jīng)設(shè)定了表示圖像內(nèi)預(yù)測、前向預(yù)測、后向預(yù)測和雙向預(yù)測的模式)以及運(yùn)動矢量，其中該量化步長、預(yù)測模式和運(yùn)動矢量都是可變尺度編碼的。
該傳輸緩沖器7臨時存儲輸入到傳輸緩沖器7的編碼的數(shù)據(jù)，并將對應(yīng)于存儲量的數(shù)據(jù)輸出到量化電路5。當(dāng)保留的數(shù)據(jù)量增加到可以允許的上限值時，傳輸緩沖器7通過量化控制信號增加量化電路5的量化尺度以降低量化數(shù)據(jù)的數(shù)據(jù)量。反之，當(dāng)保留的數(shù)據(jù)量降低到可以允許的下限值時，傳輸緩沖器7通過量化控制信號減小量化電路5的量化尺度以增加量化數(shù)據(jù)的數(shù)據(jù)量。以這種方式，傳輸緩沖器7防止上溢和下溢。然后，按照預(yù)定時序讀出傳輸緩沖器7中存儲的編碼的數(shù)據(jù)，并以位流的形式輸出到傳輸路徑。另一方面，從量化電路5輸出的量化數(shù)據(jù)輸入到去量化電路8，并按照由量化電路5輸送的量化步長進(jìn)行去量化操作。去量化電路8的輸出數(shù)據(jù)(由去量化得到的DCT系數(shù))輸入到IDCT(逆DCT)電路9。該IDCT電路9對輸入的DCT系數(shù)進(jìn)行逆DCT操作，并將得到的輸出數(shù)據(jù)(差值數(shù)據(jù))輸送到計(jì)算電路10。計(jì)算電路10將該差值數(shù)據(jù)與來自運(yùn)動補(bǔ)償電路12的預(yù)測圖像數(shù)據(jù)相加，并將產(chǎn)生的輸出圖像數(shù)據(jù)存儲到幀存儲器(FM)11中。在宏塊內(nèi)，該計(jì)算電路10將來自IDCT電路9的輸出數(shù)據(jù)本身輸送到幀存儲器11。
下面，參照圖16描述MPEG的MP&ML的解碼器的示意性結(jié)構(gòu)。經(jīng)由傳輸路徑傳送的編碼的圖像數(shù)據(jù)(位流)由接收電路(未示出)接收，由再生單元再生該編碼的圖像數(shù)據(jù)，并暫時存儲在接收緩沖器21中，然后作為編碼的數(shù)據(jù)輸送到可變長度解碼器電路22。該可變長度解碼器電路22對由接收緩沖器21輸送的編碼的數(shù)據(jù)進(jìn)行可變長度解碼操作，并分別將運(yùn)動矢量和預(yù)測模式輸出到運(yùn)動補(bǔ)償電路27，將量化步長輸出到去量化電路23，然后將解碼的量化的數(shù)據(jù)輸出到去量化電路23。
去量化電路23按照由從可變長度解碼器電路22輸送的量化步長對由可變長度解碼器電路22輸送的量化數(shù)據(jù)進(jìn)行去量化操作，并將輸出數(shù)據(jù)(由去量化得到的DCT系數(shù))輸出到IDCT電路24。從去量化電路23輸出的該輸出數(shù)據(jù)(DCT系數(shù))在IDCT電路24中經(jīng)過逆DCT處理，并將輸出數(shù)據(jù)輸送到計(jì)算電路25。
當(dāng)從IDCT電路24輸出的輸出數(shù)據(jù)是關(guān)于I畫面的數(shù)據(jù)時，其輸出數(shù)據(jù)是作為圖像數(shù)據(jù)從計(jì)算電路25輸出，并輸送到和存儲在幀存儲器組26中以生成后面將要輸入到計(jì)算電路25的圖像數(shù)據(jù)的預(yù)測圖像數(shù)據(jù)(關(guān)于P畫面或B畫面的數(shù)據(jù))。該圖像數(shù)據(jù)自身還作為再現(xiàn)圖像輸出到外部。另一方面，當(dāng)從IDCT電路24輸出的數(shù)據(jù)是P畫面或B畫面時，運(yùn)動補(bǔ)償電路27按照從可變長度解碼器電路22輸送的運(yùn)動矢量和預(yù)測模式從存儲在幀存儲器中的圖像數(shù)據(jù)產(chǎn)生預(yù)測圖像數(shù)據(jù)，并輸出該預(yù)測圖像數(shù)據(jù)到計(jì)算電路25。該計(jì)算電路25將從IDCT電路24輸入的輸出數(shù)據(jù)(差值數(shù)據(jù))與從運(yùn)動補(bǔ)償電路27輸送的預(yù)測圖像數(shù)據(jù)相加以導(dǎo)出輸出圖像數(shù)據(jù)。另一方面，計(jì)算電路25的輸出數(shù)據(jù)作為預(yù)測圖像數(shù)據(jù)與P畫面一起存儲在幀存儲器組26中，并用作下一步解碼的圖像信號的參考圖像。
除了MP&ML外，在MPEG中定義了多種框架和級別，并為其提供了多種工具?？闪繙y性(scalability)就是其中一種這樣的工具。另外，可量測編碼方案已經(jīng)引入到用于實(shí)現(xiàn)對應(yīng)不同圖像尺寸和幀速率的可量測性的MPEG中。例如，利用空間可量測性，當(dāng)只解碼下層的位流時，解碼圖像尺寸小的圖像信號，而當(dāng)解碼下層和上層的數(shù)據(jù)流時，解碼圖像尺寸大的圖像信號。
按照圖17描述空間可量測性的編碼器。在空間可量測性的情況下，下層對應(yīng)圖像尺寸小的圖像信號，而上層對應(yīng)圖像尺寸大的圖像信號。
下層的圖像信號首先輸入到幀存儲器組1，并以與MP&ML類似的方式編碼。然而，計(jì)算電路10的輸出數(shù)據(jù)輸送到幀存儲器組11，并且不僅用作下層的預(yù)測圖像數(shù)據(jù)而且在其由圖像放大電路31放大到與上層圖像尺寸一樣大小后還用作上層的預(yù)測圖像數(shù)據(jù)。
上層的圖像信號首先輸入到幀存儲器組51。運(yùn)動矢量檢測器電路52以與MP&ML類似的方式確定運(yùn)動矢量和預(yù)測模式。運(yùn)動補(bǔ)償電路62按照由運(yùn)動矢量檢測器電路52確定的運(yùn)動矢量和預(yù)測模式產(chǎn)生預(yù)測圖像數(shù)據(jù)，并輸出預(yù)測的圖像數(shù)據(jù)到加權(quán)電路34。該加權(quán)電路34將預(yù)測圖像數(shù)據(jù)乘以權(quán)重系數(shù)W，并輸出加權(quán)的預(yù)測圖像數(shù)據(jù)到計(jì)算電路33。
該計(jì)算電路10的輸出數(shù)據(jù)(圖像數(shù)據(jù))輸入到幀存儲器組11和圖像放大電路31，如上所述。圖像放大電路31放大由計(jì)算電路10生成的圖像數(shù)據(jù)以產(chǎn)生與上層的圖像尺寸相同大小的圖像數(shù)據(jù)，并輸出放大的圖像數(shù)據(jù)到加權(quán)電路32。該加權(quán)電路32將來自圖像放大電路31的輸出數(shù)據(jù)乘以權(quán)重系數(shù)(1-W)，并將產(chǎn)生數(shù)據(jù)作為加權(quán)預(yù)測圖像數(shù)據(jù)輸出到計(jì)算電路33。
計(jì)算電路33將加權(quán)電路32的輸出數(shù)據(jù)與加權(quán)電路34的輸出數(shù)據(jù)相加，并將產(chǎn)生的數(shù)據(jù)作為預(yù)測圖像數(shù)據(jù)輸出到計(jì)算電路53。計(jì)算電路33的輸出數(shù)據(jù)還輸入到計(jì)算電路60，與逆DCT電路59的輸出數(shù)據(jù)相加，然后輸入到幀存儲器組61。其后，該輸出數(shù)據(jù)用作要被編碼的圖像數(shù)據(jù)的預(yù)測參考數(shù)據(jù)幀。計(jì)算電路53計(jì)算要被編碼的圖像數(shù)據(jù)與計(jì)算電路33的輸出數(shù)據(jù)(預(yù)測圖像數(shù)據(jù))之間的差值，并將結(jié)果作為差值數(shù)據(jù)輸出。然而，在幀內(nèi)編碼的宏塊中，計(jì)算電路53將要被編碼的圖像數(shù)據(jù)自身輸出到DCT電路54。
DCT電路54對計(jì)算電路53的輸出數(shù)據(jù)進(jìn)行DCT(離散余弦變換)處理以產(chǎn)生DCT系數(shù)，并將DCT系數(shù)輸出到量化電路55。量化電路55，如在MP&ML的情況下一樣，按照由存儲在傳輸緩沖器57中的數(shù)據(jù)量或類似數(shù)據(jù)量確定的量化尺度對DCT系數(shù)進(jìn)行量化，并輸出量化的數(shù)據(jù)到可變長度編碼器電路56。該可變長度編碼器電路56對量化的數(shù)據(jù)(量化的DCT系數(shù))進(jìn)行可變長度編碼，然后作為上層位流經(jīng)傳輸緩沖器57輸出。
利用量化電路55中使用的量化尺度，由去量化電路58對量化電路55的輸出數(shù)據(jù)進(jìn)行去量化。去量化電路8的輸出數(shù)據(jù)(去量化得到的DCT系數(shù))輸送到IDCT電路59，經(jīng)過IDCT電路59的逆DCT處理，然后被輸入到計(jì)算電路60。該計(jì)算電路60將計(jì)算電路33的輸出數(shù)據(jù)與逆DCT電路59的輸出數(shù)據(jù)(差值數(shù)據(jù))相加，并將輸出數(shù)據(jù)輸入到幀存儲器組61。
另外，由運(yùn)動矢量檢測器電路52檢測的運(yùn)動矢量和預(yù)測模式、量化電路55中使用的量化尺度、加權(quán)電路34和32中使用的權(quán)重系數(shù)W都饋送到可變長度編碼器電路56，其中運(yùn)動矢量和預(yù)測模式、量化尺度和權(quán)重系數(shù)W中的每一個都被進(jìn)行了編碼并以編碼數(shù)據(jù)的形式輸送到緩沖器57。編碼的數(shù)據(jù)以位流的形式經(jīng)緩沖器57傳輸。
下面，參照圖18描述空間可量測性的解碼器的例子。在輸入到接收緩沖器21后，下層的位流以與MP&ML類似的方式解碼。計(jì)算電路25的輸出數(shù)據(jù)輸出到外部，并且還存儲在幀存儲器組26中，不僅用作后續(xù)解碼的圖像數(shù)據(jù)的預(yù)測圖像數(shù)據(jù)，而且在經(jīng)由圖像信號放大電路81放大到與上層圖像信號的圖像尺寸同樣大小后用作上層的預(yù)測圖像數(shù)據(jù)。
上層的數(shù)據(jù)流經(jīng)接收緩沖器71輸送到可變長度解碼器電路72，并且解碼可變長度代碼。此時，量化長度、運(yùn)動矢量、預(yù)測模式和加權(quán)系數(shù)與DCT系數(shù)一起被解碼。利用解碼的量化尺度，在去量化電路73中對可變長度解碼器電路72解碼的量化數(shù)據(jù)進(jìn)行去量化操作，然后該DCT系數(shù)(由去量化得到的DCT系數(shù))輸送到IDCT電路74。然后，該DCT系數(shù)經(jīng)IDCT電路74的逆DCT處理，并且輸出數(shù)據(jù)輸送到計(jì)算電路75。
運(yùn)動補(bǔ)償電路77按照解碼的運(yùn)動矢量和預(yù)測模式產(chǎn)生預(yù)測的圖像數(shù)據(jù)，并且輸入該預(yù)測的圖像數(shù)據(jù)到加權(quán)電路84。該加權(quán)電路84將運(yùn)動補(bǔ)償電路77的輸出數(shù)據(jù)乘以解碼的權(quán)重系數(shù)W，并將加權(quán)后的輸出數(shù)據(jù)輸出到計(jì)算電路83。
計(jì)算電路25的輸出數(shù)據(jù)作為下層的再現(xiàn)圖像數(shù)據(jù)輸出，并輸出到幀存儲器組26，同時通過圖像信號放大電路81放大到與上層的圖像尺寸同樣的大小，并輸出到加權(quán)電路28。該加權(quán)電路82使用解碼的權(quán)重系數(shù)W，將圖像信號放大電路81的輸出數(shù)據(jù)乘以(1-W)，并輸出加權(quán)的輸出數(shù)據(jù)到計(jì)算電路83。
該計(jì)算電路83將加權(quán)電路84的輸出數(shù)據(jù)與加權(quán)電路82的輸出數(shù)據(jù)相加，將相加結(jié)果輸出到計(jì)算電路75。計(jì)算電路75將IDCT電路74的輸出數(shù)據(jù)與計(jì)算電路83的輸出數(shù)據(jù)相加，將相加結(jié)果作為上層的再現(xiàn)圖像輸出，并且將其輸送到幀存儲器組76以作為后面要被解碼的圖像數(shù)據(jù)的預(yù)測圖像數(shù)據(jù)。
到目前為止，已經(jīng)描述了亮度信號的處理，色差信號的處理與其類似。然而，在此情況下使用的運(yùn)動矢量是將亮度信號的運(yùn)動矢量分為垂直和水平方向得到的運(yùn)動矢量。以上描述了MPEG方案，對運(yùn)動畫面而言，多種其它高效編碼方案已經(jīng)被標(biāo)準(zhǔn)化。例如，ITU-T定義的稱為H.261和H262的主要用于面向通信的編碼方案。H.261和H263中的每一個都是基本類似于MPEG方案的運(yùn)動補(bǔ)償差分脈沖編碼調(diào)制和DCT變換編碼的組合，因此，雖然像標(biāo)題信息這樣的細(xì)節(jié)不同，但是類似的編碼器和解碼器還可以使用。
另外，在上述的MPEG方案中，一個稱作MPEG4的針對運(yùn)動畫面信號的新的系數(shù)編碼方案已經(jīng)被標(biāo)準(zhǔn)化。MPEG4的主要特征在于一個圖像可以以目標(biāo)(一個圖像被分為多個子圖像以進(jìn)行編碼)為單元進(jìn)行編碼和處理。在解碼側(cè)，各目標(biāo)的圖像信號，即多個圖像信號被合成以重新構(gòu)成單幅圖像。
將多個圖像合成單幅圖像的圖像合成系統(tǒng)采用，例如稱作色鍵的方法。這種方法在如藍(lán)色這樣的特別均勻的顏色的背景前捕獲一預(yù)定對象，提取除了藍(lán)色背景以外的區(qū)域，將所提取的區(qū)域合成到另一圖像中。表示這種情況下所提取的區(qū)域的信號稱作鍵(Key)信號。
下面，參照圖19描述對一合成的圖像進(jìn)行編碼的方法。圖像F1代表背景，而圖像F2代表前景。前景F2是通過捕獲背景之前特殊顏色的圖像并提取除了該顏色的背景以外的區(qū)域得到的圖像。在這種情況下，表示所提取的區(qū)域的信號是鍵信號K1。合成的圖像F3是通過將F1、F2、K1合成得到的。為了編碼這幅圖像，F(xiàn)3自身一般按照如MPEG這樣的編碼方案進(jìn)行編碼。在這種情況下，丟失了如鍵信號這樣的信息，因此再編輯和再合成這些圖像，比如只改變背景F1而前景F2維持不變，是困難的。
另一方面，通過對圖像F1、F2和鍵信號K1分別進(jìn)行編碼并復(fù)用各位流，可以構(gòu)成圖像F3的位流，如圖20所示。
圖21所示為一種通過以與圖20類似的方式解碼一構(gòu)成的位數(shù)據(jù)流而生成一合成圖像F3的方法。該位流分解成各分離的位流F1、F2和K1，解碼各位流以生成解碼的圖像F1’、F2’和解碼的鍵信號K1’。在此情況下，F(xiàn)1’、F2’可以按照鍵信號進(jìn)行合成以生成解碼的合成圖像F3’。在這種情況下，可以實(shí)現(xiàn)再編輯和再合成這些圖像比如只改變背景F1而前景F2維持同樣的位流不變。
在MPEG4中，各圖像序列如構(gòu)成合成圖像的圖像F1、F2如上所述稱作VO(視頻對象)。此外，在某一特定時間上的一個VO的視頻幀稱作VOP(視頻對象平面)。該VOP由亮度和色差信號及鍵信號構(gòu)成。一圖像幀涉及在預(yù)定時間處的圖像，圖像序列涉及在不同時間處的圖像幀集。換句話說，每個VO是不同時間處的圖像幀集。各VO具有與時間相關(guān)的不同尺寸和位置。即，即便屬于同一VO的各VOP也可能在尺寸和位置上有所不同。
圖22和圖23示出如上所述的以目標(biāo)為單元編碼和解碼圖像的編碼器和解碼器的結(jié)構(gòu)圖。圖22是編碼器的例子。一輸入圖像信號首先輸入到VO構(gòu)成電路101。該VO構(gòu)成電路101將輸入圖像劃分為各目標(biāo)，并輸出代表各目標(biāo)(VO)的圖像信號。每個代表VO的圖像信號由圖像信號和鍵信號構(gòu)成。從VO構(gòu)成電路101輸出的該圖像信號以逐個VO為單位分別輸出到VOP構(gòu)成電路102-0到102-n。例如，VO0的圖像信號和鍵信號輸入到VOP構(gòu)成電路102-0；VO1的圖像信號和鍵信號輸入到VOP構(gòu)成電路102-1；接著，類似地VOn的圖像信號和鍵信號輸入到VOP構(gòu)成電路102-n。
在VO構(gòu)成電路101中，例如，當(dāng)圖像信號從色鍵生成時，如圖20所示，其VO由各圖像信號和一鍵信號原樣構(gòu)成。對于失去鍵信號或已丟失鍵信號的圖像，該圖像被劃分為多個區(qū)域，一預(yù)定區(qū)域被提取，并且產(chǎn)生一鍵信號以構(gòu)成VO。VOP構(gòu)成電路102-0到102-n的每一個從相關(guān)圖像幀提取一包括有圖像內(nèi)的一目標(biāo)的最小矩形部分。然而，在這種情況下，矩形部分內(nèi)的象素?cái)?shù)應(yīng)在水平和垂直方向上是16的倍數(shù)。VOP構(gòu)成電路102-0到102-n的每一個從上述矩形中提取圖像信號(亮度和色差信號)和鍵信號，并將其輸出。此外，輸出絕對坐標(biāo)系中表示每個VOP大小(VOP Size)的標(biāo)志和表示VOP位置(VOP POS)的標(biāo)志。VOP構(gòu)成電路102-0到102-n的輸出信號分別輸入到VOP編碼器電路103-0到103-n，并被編碼。VOP編碼器電路103-0到103-n的輸出輸入到復(fù)用電路104，并被匯編成作為位流輸出到外部的單個位流。
圖23示出解碼器的例子。一個復(fù)用的位流通過分解電路111分解成分開的各VO的位流。各VO的位流分別輸入到VOP解碼器電路112-0到112-n，并在VOP解碼器電路112-0到112-n中解碼。VOP解碼器電路112-0到112-n的每一個對圖像信號和鍵信號、表示大小(VOP大小)的標(biāo)志、表示有關(guān)VOP的在絕對坐標(biāo)系中的位置(VOP POS)的標(biāo)志進(jìn)行解碼，并將它們輸入到圖像重建電路113。圖像重建電路113利用圖像信號、鍵信號、表示大小(VOP大小)的標(biāo)志、表示各VOP的在絕對坐標(biāo)系中的位置(VOP POS)的標(biāo)志合成圖像，并輸出一再現(xiàn)的圖像。下面，參照圖24描述VOP編碼器電路103-0(其余VOP編碼器電路103-1到103-n的結(jié)構(gòu)與其類似)的例子。組成每個VOP的圖像信號和鍵信號分別輸入到一圖像信號編碼器電路121和一鍵信號編碼器電路122。圖像信號編碼器電路121按照如MPEG方案和H.263執(zhí)行編碼處理。鍵信號編碼器電路122按照如DPCM等執(zhí)行編碼處理。另外，為了編碼該鍵信號，提供了一種方法，借助該方法使用由圖像信號編碼器電路121檢測的運(yùn)動矢量執(zhí)行運(yùn)動補(bǔ)償以編碼一差值信號。由鍵信號編碼生成的位量輸入到圖像信號編碼器電路121從而達(dá)到預(yù)定的比特率。
編碼的圖像信號的位流(運(yùn)動矢量和紋理信息)和鍵信號的位流輸入到復(fù)用電路123，該復(fù)用電路123將這些位流復(fù)用為單個位流，并將復(fù)用的位流經(jīng)傳輸緩沖器124輸出。
圖25示出VOP解碼器電路112-0(其余VOP解碼器電路112-1到112-n的結(jié)構(gòu)與其類似)的結(jié)構(gòu)。位流首先輸入到分解電路131并被分解為圖像信號的位流(運(yùn)動矢量和紋理信息)和鍵信號的位流，該圖像信號的位流和鍵信號的位流是分別由圖像信號解碼器電路132和鍵信號解碼器電路133解碼的。在這種情況下，當(dāng)由運(yùn)動補(bǔ)償編碼的鍵信號被編碼時，由圖像信號解碼器電路132解碼的運(yùn)動矢量輸入到鍵信號解碼器電路133以用于解碼。
以上描述了以逐個VOP為單位的圖像編碼的方法，這樣的一種方案在標(biāo)準(zhǔn)化過程中成為ISO-IEC/JTC1/SC29/WG11的MPEG4。如上所述的一種有效地編碼各VOP的方法目前還沒有完善建立，并且如可量測性這樣的功能目前還沒有完善。
以下部分，將描述上述的以目標(biāo)為單位對圖像進(jìn)行可量測編碼的方法。如上所述，再生電路155將存儲在存儲器152中的紋理(不論其是何種格式)映射為運(yùn)動畫面或靜止圖像及其內(nèi)容。在任何時候，存儲在存儲器中的紋理只有一個能夠被映射為多邊形，從而多個紋理不能映射為一個象素。在許多情況下，一幅圖像以壓縮形式傳輸，從而在終端側(cè)解碼壓縮的位流，然后存儲在預(yù)定的存儲器中以進(jìn)行紋理映射。
在現(xiàn)有技術(shù)中，在任何時刻通過解碼位流只有一個如下信號生成。例如，當(dāng)在MPEG中符合MP&ML的位流被解碼時，單個圖像序列被解碼。另外，在MPEG2中的可量測性的情況下，當(dāng)下層位流被解碼時生成低圖像質(zhì)量的圖像，而當(dāng)下層和上層的位流被解碼時生成高圖像質(zhì)量的圖像信號。在任何情況下，一個圖像序列作為一個序列解碼。
然而，在如以目標(biāo)為單位對圖像進(jìn)行編碼的MPEG4這樣的方案中，會發(fā)生不同的情況。尤其是，單個目標(biāo)可以是由多個位流構(gòu)成的，在這種情況下，多個圖像可以是每個位流生成的。因此，紋理不能映射到VRML等描述的三維目標(biāo)上。為了解決這個問題，設(shè)想一個VRML節(jié)點(diǎn)(多邊形)分配一個圖像目標(biāo)(VO)。例如，可以這樣考慮，在圖21的情況下，背景F1’分配一個節(jié)點(diǎn)，前景F2’和鍵信號K1’分配一個節(jié)點(diǎn)。然而，當(dāng)一個圖像目標(biāo)由多個位流構(gòu)成時，解碼時從多個位流生成多個圖像，接著又產(chǎn)生問題。參照圖26到31描述該問題。采用三層可量測編碼作為例子。在三層可量測編碼中，除了下層(基層)外，存在兩個上層，即第一上層(增強(qiáng)層1，后文中稱作上層1)和第二上層(增強(qiáng)層2，后文中稱作上層2)。與解碼到第一上層生成的圖像相比，解碼到第二上層生成的圖像提高了圖像質(zhì)量。這里，在空間可量測編碼的情況下，提高圖像質(zhì)量涉及到空間分辨率；在臨時可量測編碼的情況下，提高圖像質(zhì)量涉及到幀速率；在SNR(信噪比)可量測編碼的情況下，提高圖像質(zhì)量涉及到圖像的SNR。
在對以目標(biāo)為單元對圖像進(jìn)行編碼的MPEG4中，第一上層與第二上層之間的關(guān)系定義如下(1)第二上層包括第一上層的整個區(qū)域；(2)第二上層與第一上層的部分區(qū)域?qū)?yīng)；(3)第二上層與比第一上層寬的區(qū)域?qū)?yīng)。當(dāng)執(zhí)行三或更多層的可量測性編碼時存在關(guān)系(3)。這是在第一上層與下層部分區(qū)域?qū)?yīng)和第二上層包括下層的整個區(qū)域的情況，或是第一上層與下層部分區(qū)域?qū)?yīng)和第二上層與比第一上層寬的區(qū)域?qū)?yīng)，并對應(yīng)于下層的部分區(qū)域的情況。在關(guān)系(3)中，當(dāng)解碼解到第一上層時，只有在下層的部分圖像中的圖像質(zhì)量得到提高；而當(dāng)解碼解到第二上層時，在下層的圖像的整個區(qū)域或更寬區(qū)域中的圖像質(zhì)量得到提高。在關(guān)系(3)中，VOP具有矩形或任何任意形狀。
圖26到31示出了三層空間可量測性編碼的例子。圖26示出關(guān)系(1)中空間可量測性的例子，其中VOP均是矩形。圖27示出關(guān)系(2)中空間可量測性的例子，其中VOP是矩形。圖28示出關(guān)系(3)中空間可量測性的例子，其中所有層的VOP都是矩形。圖29示出關(guān)系(3)中空間可量測性的例子，其中第一上層的VOP是任意形狀，下層和第二上層的VOP都是矩形。圖30和31都是關(guān)系(1)中空間可量測性的例子，其中VOP分別是任意形狀和矩形。
如圖26所示，當(dāng)提高整個圖像的圖像質(zhì)量時，具有最高圖像質(zhì)量的圖像只需在如常規(guī)的MPEG2這樣的可量測性編碼的情況下顯示。然而，在以目標(biāo)為單位對圖像進(jìn)行編碼的MPEG4中存在如圖27、28、29所示的情況。例如，在圖27所示的情況，當(dāng)下層和上層1、2的位流被解碼時，下層和上層1的圖像的分辨率被轉(zhuǎn)換，并且分辨率轉(zhuǎn)換后的兩個圖像序列與解碼后的上層2的圖像序列進(jìn)行合成以重建一整幅圖像。另外，在圖29的情況下，只有上層1和下層被解碼，而只有上層1的圖像被合成以與從另外的位流解碼的另外圖像序列合成。
如上所述，以目標(biāo)為單位對圖像進(jìn)行編碼潛在地存在一個問題，即如果對于一個目標(biāo)生成多個圖像，則只是簡單地將一個節(jié)點(diǎn)分配給一個目標(biāo)的方法不能做到將一個圖像映射到一個作為紋理的目標(biāo)上。
本發(fā)明總述本發(fā)明的目的在于解決上述問題，即即便當(dāng)對于一個目標(biāo)生成多個圖像時，也能做到將一個圖像映射到一個作為紋理的目標(biāo)上。
本發(fā)明中的圖像信號復(fù)用裝置及方法和用于復(fù)用要經(jīng)傳輸媒體傳輸?shù)膱D像信號的程序，適于選擇用于描述預(yù)定的目標(biāo)的空間結(jié)構(gòu)信息并從具有不同質(zhì)量的多層位流中選擇構(gòu)成該預(yù)定目標(biāo)的數(shù)據(jù)流，產(chǎn)生涉及由選擇單元選擇的位流構(gòu)成的目標(biāo)的信息，并復(fù)用所選擇的空間結(jié)構(gòu)信息、所選擇的位流和所生成的關(guān)于該目標(biāo)的信息，從而輸出復(fù)用的信息。
本發(fā)明中的圖像信號復(fù)用裝置及方法和傳輸一程序的傳輸媒體，其中該程序用于復(fù)用經(jīng)傳輸媒體傳輸?shù)膱D像信號，適于輸出用于描述一預(yù)定目標(biāo)的空間結(jié)構(gòu)信息、具有不同質(zhì)量并構(gòu)成該預(yù)定目標(biāo)的多層位流，和涉及該目標(biāo)的信息，其中涉及該目標(biāo)的該信息至少包括表示不同位流之間的相互關(guān)系的相關(guān)信息，并復(fù)用該輸出的空間結(jié)構(gòu)信息、多層位流和涉及該目標(biāo)的信息，以輸出所復(fù)用的信息。
此外，將復(fù)用的圖像信號分離為各自信號的圖像信號分解裝置及方法和將經(jīng)傳輸媒體傳輸?shù)膹?fù)用信號分離為各自信號的程序，適于從復(fù)用的位流中分別分離出描述一個目標(biāo)的空間結(jié)構(gòu)信息、構(gòu)成該目標(biāo)的多層位流和涉及該目標(biāo)的信息，其中描述該目標(biāo)的空間結(jié)構(gòu)信息、具有不同質(zhì)量并構(gòu)成該目標(biāo)的多層位流和涉及該目標(biāo)的信息在該復(fù)用的位流中復(fù)用，分析該空間結(jié)構(gòu)信息，解碼該多層位流、將解碼的輸出信號中的對應(yīng)同一目標(biāo)的輸出信號混合，并根據(jù)涉及該目標(biāo)的信息，從所分析的輸出數(shù)據(jù)和所混合后的輸出數(shù)據(jù)重建一圖像信號。
此外，本發(fā)明的將復(fù)用的圖像信號分離為各信號的圖像信號分解裝置及方法和將經(jīng)傳輸媒體傳輸?shù)膹?fù)用的圖像信號分離為各圖像信號的程序，適于從被傳輸?shù)膹?fù)用的位流中分離出描述一個目標(biāo)的空間結(jié)構(gòu)信息、構(gòu)成該目標(biāo)的多層位流和涉及該目標(biāo)的信息，其中描述該目標(biāo)的空間結(jié)構(gòu)信息、具有不同質(zhì)量并構(gòu)成該目標(biāo)的多層位流和表示不同位流之間信息的相互關(guān)系的相關(guān)信息在該復(fù)用的位流中復(fù)用，根據(jù)選擇信號和相關(guān)信息來控制所選擇的用于描述一預(yù)定目標(biāo)的空間結(jié)構(gòu)信息和構(gòu)成該目標(biāo)的多層位流，分析該選擇的空間結(jié)構(gòu)信息，解碼該多層位流，將解碼的輸出信號中的對應(yīng)同一目標(biāo)的輸出信號混合，并根據(jù)涉及該目標(biāo)的信息，從所分析的輸出數(shù)據(jù)和所混合后的輸出數(shù)據(jù)重建一圖像信號。
附圖的簡要描述圖1是本發(fā)明的圖像信號復(fù)用裝置和圖像信號分解裝置的結(jié)構(gòu)的示意性框圖；圖2是圖1中復(fù)用電路203的結(jié)構(gòu)的示意性框圖；圖3是圖1中分解電路205的結(jié)構(gòu)的示意性框圖；圖4示出了用于重建一幅圖像的各信號之間的對應(yīng)關(guān)系和圖1中重建電路209；圖5示出了用于重建一幅圖像的各信號之間的對應(yīng)關(guān)系和圖1中重建電路209；圖6是圖5中合成器電路252的結(jié)構(gòu)的示意圖；圖7示出了一個目標(biāo)描述符的結(jié)構(gòu)；圖8示出了ES_Descriptor(ES_描述符)的結(jié)構(gòu)；圖9示出了ESConFigParams的結(jié)構(gòu)；圖10示出了一個運(yùn)動畫面的場景描述符的結(jié)構(gòu)；圖11示出了一個靜止圖像的場景描述符的結(jié)構(gòu)；圖12示出了本發(fā)明的另一個圖像信號復(fù)用裝置和圖像信號分解裝置的結(jié)構(gòu)的示意性框圖；圖13示出了ES_Descriptor(ES_描述符)的結(jié)構(gòu)；圖14示出了傳統(tǒng)的目標(biāo)合成電路的示意性框圖；圖15示出了傳統(tǒng)的圖像信號編碼器的結(jié)構(gòu)框圖；圖16示出了傳統(tǒng)的圖像信號解碼器的結(jié)構(gòu)框圖；圖17示出了另一個傳統(tǒng)的圖像信號編碼器的結(jié)構(gòu)框圖；圖18示出了另一個傳統(tǒng)的圖像信號解碼器的結(jié)構(gòu)框圖；圖19是傳統(tǒng)的圖像合成的圖；
圖20是解釋這些圖像是怎樣合成的圖；圖21是解釋這些圖像是怎樣合成的圖；圖22示出了另一個傳統(tǒng)的圖像信號編碼器的結(jié)構(gòu)框圖；圖23示出了另一個傳統(tǒng)的圖像信號解碼器的結(jié)構(gòu)框圖；圖24是圖22中的一個VOP編碼器電路103-0的結(jié)構(gòu)框圖；圖25是圖23中的一個VOP解碼器電路112-0的結(jié)構(gòu)框圖；圖26是解釋圖像目標(biāo)的圖；圖27是解釋圖像目標(biāo)的圖；圖28是解釋圖像目標(biāo)的圖；圖29是解釋圖像目標(biāo)的圖；圖30是解釋圖像目標(biāo)的圖；圖31是解釋圖像目標(biāo)的圖；實(shí)施本發(fā)明的最佳模式在下文中將參照附圖詳細(xì)描述本發(fā)明的一個實(shí)施例。
首先，參照圖1描述第一實(shí)施例的位流復(fù)用裝置和分解裝置。在下文描述中，假設(shè)編碼的音頻和視頻數(shù)據(jù)流(基本數(shù)據(jù)流(ES))已經(jīng)預(yù)先存儲在預(yù)定的存儲裝置202中。當(dāng)然，該位流也可以不通過存儲裝置202而直接從視頻和音頻編碼器輸入到復(fù)用電路203。另外，以下描述假設(shè)是采用MPEG4方案進(jìn)行編碼和解碼，同時，本發(fā)明以類似方式還適用于任意方案，只要該方案是將圖像劃分為多個子圖像進(jìn)行編碼。
存儲裝置202中預(yù)先記錄有對應(yīng)各AV(音頻和視頻)目標(biāo)的位流ES(基本數(shù)據(jù)流)；解碼各位流所需的目標(biāo)數(shù)據(jù)流信息OI；以及用于描述二維和三維場景(由要被傳輸?shù)膱D像定義的虛擬空間)的場景描述符(SceneDescriptor)。此處，該目標(biāo)數(shù)據(jù)流信息OI包括例如解碼所需的緩沖器容量，每個存取單元(幀或VOP)的時間標(biāo)記等。下文將詳細(xì)描述。
目標(biāo)信息OI描述關(guān)于對應(yīng)每個AV(音頻和視頻)目標(biāo)的位流ES所有信息。目標(biāo)描述產(chǎn)生器電路204產(chǎn)生與存儲裝置202提供的OI對應(yīng)的目標(biāo)描述符OD(Object Descriptor)。
復(fù)用電路203以預(yù)定順序復(fù)用存儲裝置202中記錄的位流ES和場景描述符SD以及從目標(biāo)描述符產(chǎn)生器電路204提供的目標(biāo)描述符OD，從而發(fā)送復(fù)用的位流FS。
此處，描述構(gòu)成每個目標(biāo)的位流的結(jié)構(gòu)。例如，如圖21所示的場景是由兩個目標(biāo)構(gòu)成的，這兩個目標(biāo)是背景F1’和前景F2’。鍵信號K1’和前景F2’形成單個位流ES。因此，圖21的場景是由兩個視頻目標(biāo)VO組成，并且當(dāng)不采用可量測編碼時，每個VO是由單個位流ES形成的。
另外，在圖26-29的情況下，一幀是由單個視頻目標(biāo)VO形成的。然而，在這些情況下，由于執(zhí)行了可量測編碼，一個VO是由三個位流ES形成的。圖26到29顯示三層可量測編碼的例子，當(dāng)然層數(shù)可以是任意的。
此外，在圖30和31中，一個場景是由兩個視頻目標(biāo)VO構(gòu)成的，這兩個目標(biāo)是背景(圖30)和前景(圖31)，每個VO是由三個位流ES形成的。
用戶可以從終端發(fā)送請求信號以任意設(shè)置被顯示的視頻目標(biāo)，或在可量測編碼的情況下哪一層被顯示。
在圖1所示的實(shí)施例中，用戶向發(fā)送側(cè)發(fā)送一請求信號REQ，以指定所需的來自外部終端(未示出)的視頻目標(biāo)和位流。該請求信號REQ輸送到數(shù)據(jù)流控制電路201。關(guān)于每個視頻目標(biāo)的位流的目標(biāo)數(shù)據(jù)流信息OI記錄在存儲裝置202中。如上所述，該目標(biāo)數(shù)據(jù)流信息OI包括這樣一些信息，例如，表示一個預(yù)定目標(biāo)是由多少個位流形成的這樣的信息；解碼每個位流所需的信息；緩沖器容量；進(jìn)行解碼時還需要哪個位流等。
數(shù)據(jù)流控制電路201按照請求信號REQ，參照從存儲裝置202輸送的目標(biāo)數(shù)據(jù)流信息OI，確定發(fā)送哪個位流，并且將數(shù)據(jù)流請求信號SREQ輸送到復(fù)用電路203、存儲裝置202和目標(biāo)描述符產(chǎn)生器電路204。另外，存儲裝置202根據(jù)數(shù)據(jù)流請求信號SREQ，讀取預(yù)定的位流ES和場景描述符SD，并將其輸出到復(fù)用電路203。
目標(biāo)描述符產(chǎn)生器電路204，按照數(shù)據(jù)流請求信號SREQ，讀取與存儲裝置202中記錄的每個目標(biāo)(VO)的位流有關(guān)的目標(biāo)數(shù)據(jù)流信息OI，并只提取關(guān)于數(shù)據(jù)流請求信號SREQ請求的位流的信息，作為目標(biāo)描述符OD。目標(biāo)描述符產(chǎn)生器電路204還產(chǎn)生表示位流與哪個目標(biāo)對應(yīng)的ID numberOD_ID(ID數(shù)字OD-ID)，并將ID number OD_ID寫到目標(biāo)描述符OD中。例如，在圖26的情況下，當(dāng)只有下層和上層1被預(yù)定目標(biāo)請求時，目標(biāo)描述符產(chǎn)生器電路204只從目標(biāo)數(shù)據(jù)流信息OI提取關(guān)于下層和上層1的信息，將所提取的信息指定為目標(biāo)描述符OD，生成表示其目標(biāo)的ID numberOD_ID，并將ID number OD_ID寫到目標(biāo)描述符OD中。然后，以這種方式生成的目標(biāo)描述符OD被存儲在復(fù)用電路203中。目標(biāo)描述符OD和目標(biāo)數(shù)據(jù)流信息OI以及場景描述符SD的語法將在后文中更詳細(xì)地描述。
下面，參照圖2描述復(fù)用電路203的操作。按照數(shù)據(jù)流請求信號SREQ將位流ES1-ESn輸送到復(fù)用電路203。各位流ES1-ESn輸送到開關(guān)231。另外，場景描述符SD和目標(biāo)描述符OD也被輸送到開關(guān)231。復(fù)用電路203還具有開始代碼產(chǎn)生器電路232提供的開始代碼，并且開始代碼產(chǎn)生器電路232中產(chǎn)生的開始代碼還輸送到開關(guān)231。該開關(guān)231以預(yù)定順序進(jìn)行切換以產(chǎn)生輸出到外部的復(fù)用的位流FS。
作為復(fù)用的位流FS，首先輸出的是開始代碼產(chǎn)生器電路232產(chǎn)生的開始代碼。然后，開關(guān)231的連接切換到輸出場景描述符SD。在場景描述符SD輸出后，開關(guān)231的連接又切換到輸出目標(biāo)描述符OD。由于目標(biāo)描述符OD的數(shù)等于目標(biāo)數(shù)，所以輸出數(shù)字與有關(guān)的目標(biāo)的數(shù)字相等的目標(biāo)描述符。(圖2所示的情況中，目標(biāo)數(shù)是3)。在目標(biāo)描述符OD輸出后，開關(guān)231的連接再次切換。為了分別輸出位流ES1-ESn，針對每個預(yù)定的數(shù)據(jù)長度，切換開關(guān)的連接以輸出各位流。該復(fù)用的位流ES經(jīng)傳輸路徑被輸送到分解電路5，如圖1所示。
以下參照圖3描述分解電路205。首先，復(fù)用的位流FS輸送到開關(guān)241。該開關(guān)241首先檢測一開始代碼以識別其后的各數(shù)據(jù)。在檢測該開始代碼時，該開關(guān)讀取和輸出一場景描述符SD。接著，該開關(guān)241的連接改變成讀取和輸出目標(biāo)描述符OD。目標(biāo)描述符OD的數(shù)字等于目標(biāo)數(shù)，并按順序讀出。在所有的目標(biāo)描述符OD輸出后，該開關(guān)241的連接按照預(yù)定的連接又變成讀取和輸出各位流ES1-ESn。讀取的場景描述符SD輸送到語法分析電路(語法分析器)208以進(jìn)行分析，如圖1所示。經(jīng)語法分析后的場景描述作為三維目標(biāo)信息輸送到重建電路209。雖然三維目標(biāo)信息實(shí)際包括關(guān)于節(jié)點(diǎn)、多邊形等的信息，但是在以下描述中將三維目標(biāo)信息指定為一個節(jié)點(diǎn)。另外，所讀取的目標(biāo)描述符OD輸送到語法分析電路(語法分析器)206以進(jìn)行分析，如圖1所示。該語法分析電路206識別所需的解碼器的類型和數(shù)目，從而將各位流ES1-ESn輸送到所需的解碼器207-1至207n。此外，從目標(biāo)描述符OD讀取解碼各位流所需的緩沖器數(shù)量等，并將其從語法分析電路206輸出到各解碼器207-1到207-n。每個解碼器207-1到207-n根據(jù)從語法分析電路206輸送的如緩沖器容量這樣的初始化信息(即經(jīng)目標(biāo)描述符OD傳輸?shù)?進(jìn)行初始化。該語法分析電路206還讀取各目標(biāo)描述符OD的IDnumbers OD_ID以識別每個位流ES1-ESn屬于哪個目標(biāo)。然后，各目標(biāo)描述符OD的ID numbers OD_ID從語法分析電路206輸出到解碼器207-1到207-n，該解碼器207-1到207-n被指定用來解碼該目標(biāo)描述符OD中描述的位流。
解碼器207-1到207-n中的每一個根據(jù)預(yù)定的對應(yīng)編碼方法的解碼方法對涉及的位流進(jìn)行解碼，并將視頻或音頻信號輸出到重建電路209。解碼器207-1到207-n中的每一個還將信號ID number OD_ID輸出到重建電路209以表示其圖像屬于哪個目標(biāo)。當(dāng)一個圖像信號被輸出時，解碼器207-1到207-n中的每一個從位流解碼表示其位置和大小的信號(PS,SZ)，并將該信號輸出到重建電路209。另外，當(dāng)一個圖像信號被輸出時，解碼器207-1到207-n中的每一個還從位流解碼表示位流透明度的信號(Key信號)，并將該信號輸出到重建電路209。
接著，參照圖4和5描述重建一圖像的各信號和重建電路209之間的對應(yīng)關(guān)系。圖4示出不執(zhí)行可量測編碼情況下的例子，圖5示出執(zhí)行可量測編碼情況下的例子。
在圖4中，重建電路209包括一合成器電路252，從而由合成器電路252生成的圖像信號輸送到顯示器251以進(jìn)行顯示。在圖4中，合成器電路252和顯示器251作為重建電路209示出，以示出合成器電路252中建立的圖像是如何顯示在顯示器251上。實(shí)際上，該顯示器不包括在重建電路209中。
在圖4中，由矩形圖像序列和CG生成的三角錐形顯示在顯示器251的屏幕上。解碼的紋理映射到三角錐形的目標(biāo)上。這里，紋理可以是運(yùn)動畫面或靜止圖像。
圖4中示出一場景描述符SD對應(yīng)于一輸出屏幕。對于場景描述符SD，使用例如VRML這樣的描述符。場景描述符SD由稱作節(jié)點(diǎn)的描述組構(gòu)成。提供父(路由)節(jié)點(diǎn)SD0來描述各目標(biāo)是如何分布在整個圖像上。作為其子節(jié)點(diǎn)，提供節(jié)點(diǎn)SD1來描述關(guān)于三角錐形的信息。另外，關(guān)于圖像映射到其上的矩形的平面的信息在節(jié)點(diǎn)SD2中描述，設(shè)置節(jié)點(diǎn)SD2作為路由節(jié)點(diǎn)SD0的子節(jié)點(diǎn)。在圖4中，圖像信號由三個視頻目標(biāo)VO構(gòu)成。關(guān)于作為第一VO的背景的信息在節(jié)點(diǎn)SD2中描述。另外，關(guān)于將太陽映射到其上的平面的信息作為第二VO在節(jié)點(diǎn)SD3中描述。此外，關(guān)于將人物映射到其上的平面信號信息作為第三VO在節(jié)點(diǎn)SD4中描述。SD3和SD4都是SD2的子節(jié)點(diǎn)。
因此，一個場景描述符SD是由節(jié)點(diǎn)SD0-SD4構(gòu)成的。節(jié)點(diǎn)SD0-SD4中的每個都對應(yīng)一個三維或二維目標(biāo)。在圖4中，節(jié)點(diǎn)SD0對應(yīng)整個場景的目標(biāo)；節(jié)點(diǎn)SD1對應(yīng)三角錐形的目標(biāo)；節(jié)點(diǎn)SD2對應(yīng)背景的目標(biāo)；節(jié)點(diǎn)SD3對應(yīng)太陽的目標(biāo)；SD4對應(yīng)人物的目標(biāo)。當(dāng)紋理映射到每個節(jié)點(diǎn)時，需要一個標(biāo)志來表示哪個位流與每個節(jié)點(diǎn)對應(yīng)。為了識別這種對應(yīng)關(guān)系，每個節(jié)點(diǎn)都在其內(nèi)描述了一目標(biāo)描述符的ID number OD_ID，此處的該目標(biāo)描述符的ID number OD_ID是從相應(yīng)位流的解碼器輸送的。這使得一個節(jié)點(diǎn)對應(yīng)于一個目標(biāo)描述符OD。以這種方式，一個視頻目標(biāo)VO映射到一個二維或三維目標(biāo)。包括該場景描述符SD的節(jié)點(diǎn)SD0-SD4中的每個都由語法分析電路208進(jìn)行分析，并作為三維目標(biāo)信息輸送到重建電路209的合成器電路252。來自分解電路205的位流ES1-ES4輸送到各解碼器207-1到207-4，并且來自語法分析電路206的對應(yīng)目標(biāo)描述符OD的ID numberOD-ID也輸送到各解碼器207-1到207-4。在解碼一涉及的位流后，解碼器207-1到207-4中的每個向重建電路209的合成電路252提供ID numberOD_ID和解碼的信號(圖像或音頻)，并且另外對于圖像信號，還提供Key信號和表示圖像的位置和大小(POS,SZ)的信號作為解碼的信號。這里，圖像的位置涉及節(jié)點(diǎn)對于父節(jié)點(diǎn)的相對位置，該父節(jié)點(diǎn)在比該節(jié)點(diǎn)屬于的級別更高的級別上。
以下圖6中示出合成器電路252的結(jié)構(gòu)。圖6中，與圖14對應(yīng)的部分用相同的參考標(biāo)號。輸入的三維目標(biāo)信息(包括節(jié)點(diǎn)SD0-SD4和每個多邊形信息)、圖像信號(紋理)、鍵信號(Key Signal)、ID numbers OD_ID(ID數(shù)OD_ID)和表示位置和大小的信號(POS,PZ)分別輸送到目標(biāo)合成器電路271-1到271-n。一個節(jié)點(diǎn)SDi對應(yīng)一個目標(biāo)合成器電路271-i。該目標(biāo)合成器電路271-i接收一解碼的信號，該解碼的信號具有從解碼器207-i的節(jié)點(diǎn)SDi中表示的ID number OD_ID，并當(dāng)重建圖像信號時，將解碼的信號映射到要產(chǎn)生的二維或三維目標(biāo)上。如上所述，當(dāng)ID number OD_ID和解碼的信號輸送到相應(yīng)目標(biāo)合成器電路271-i時，需要找到每個解碼的信號對應(yīng)于哪個節(jié)點(diǎn)。因此，通過將由重建電路209輸送的ID number OD_ID與包括在節(jié)點(diǎn)中的ID number OD_ID進(jìn)行對比來辨認(rèn)對應(yīng)關(guān)系。然后，根據(jù)辨認(rèn)結(jié)果，解碼的信號輸送到具有該相應(yīng)節(jié)點(diǎn)的目標(biāo)合成器電路271-i。
從解碼器207-i輸送的要被映射的紋理(圖像信號)、代表其透明度的信號(鍵信號)、和表示其位置和大小的信號(VOP,SZ)存儲在存儲器組151-i的預(yù)定區(qū)域中。類似地，從語法分析電路208輸送的節(jié)點(diǎn)(二維或三維目標(biāo)信息)存儲在存儲器組151-i的預(yù)定區(qū)域中。紋理(圖像信號)存儲在紋理存儲器152-i中；表示透明度的信號(Key信號)和ID number OD_ID存儲在灰度級存儲器153-i中；節(jié)點(diǎn)存儲在三維信息存儲器154-i中。輸送并使用該ID numberOD_ID來識別目標(biāo)。表示位置和大小的信號(POS,SZ)可以存儲在任意存儲器中，例如在此情況下，存儲在灰度級存儲器153-i中。此處，三維目標(biāo)信息涉及多邊形形成信息、亮度信息等。該表示位置和大小的信號此處在存儲器組151-i的預(yù)定位置。
再生電路155-i利用多邊形根據(jù)記錄在存儲器154-i中的節(jié)點(diǎn)形成二維或三維目標(biāo)。該再生電路155-i從存儲器152-i中讀取預(yù)定的紋理和表示透明度的信號，并將紋理映射到生成的三維目標(biāo)上。代表透明度的信號表示相應(yīng)位置處紋理的透明度，因此它表示位于在該相應(yīng)位置的紋理被映射的位置處的目標(biāo)的透明度。再生電路155-i將代表目標(biāo)的信號輸送到二維變換電路156，其中該紋理已經(jīng)映射到該目標(biāo)上。類似地，表示圖像的位置和大小的信號(與父節(jié)點(diǎn)的相對位置)從存儲器組151-i(在此情況下，灰度級存儲器153-i)的預(yù)定b位置讀出并輸出到二維變換電路156。
從目標(biāo)合成器電路271-1到271-n向二維變換電路156輸送二維或三維目標(biāo)，其中紋理已經(jīng)映射到該二維或三維目標(biāo)上，該二維或三維目標(biāo)數(shù)等于節(jié)點(diǎn)數(shù)。二維變換電路156根據(jù)從外部輸送的視點(diǎn)信息和表示圖像位置和大小的信號(POS,SZ)將三維目標(biāo)映射到二維平面上從而將三維目標(biāo)變換為二維圖像信號。該變換為二維圖像信號的三維目標(biāo)然后輸出并顯示在顯示器251上。當(dāng)所有目標(biāo)都是二維目標(biāo)時，來自各再生電路155-1到155-n的輸出數(shù)據(jù)按照表示透明度(Key信號)、圖像位置和大小的信號進(jìn)行合成并輸出。在這種情況下，不執(zhí)行按照視點(diǎn)的變換。
接著，參照圖5描述執(zhí)行可量測編碼的例子。在此情況下，重建電路209包括混合器電路261和合成器電路252，這樣由混合器電路261和合成器電路252生成的圖像信號輸送并顯示在顯示器251上。類似圖4，混合器電路261、合成器電路252和顯示器251都顯示在圖5的重建電路209中，這是為了表示由混合器電路261和合成器電路252建立的圖像如何顯示在顯示器251上。實(shí)際上，顯示器不包括在重建電路209中。另外，在圖5的例子中，由CG生成的矩形圖像序列三角錐形顯示在顯示器251上。三角錐形的目標(biāo)還與解碼的紋理映射。此處，紋理可以是運(yùn)動畫面或靜止圖像。
圖5示出一場景描述符SD對應(yīng)一輸出屏幕。在圖5中，提供父節(jié)點(diǎn)SD0來描述各目標(biāo)是如何分布在整個圖像上。作為其子節(jié)點(diǎn)，節(jié)點(diǎn)SD1描述關(guān)于三角錐形的信息，節(jié)點(diǎn)SD2描述圖像映射到其上的矩形的平面的信息。圖5中的代碼SD2對應(yīng)的圖像信號不同于圖4中的代碼SD2，它是由單個視頻目標(biāo)VO構(gòu)成的。然而，在圖5中，由節(jié)點(diǎn)SD2對應(yīng)的圖像經(jīng)過三層可量測編碼，因此該VO假定是由三個視頻目標(biāo)層形成的。圖5是三層可量測編碼的例子，當(dāng)然層數(shù)可以是任意的。
構(gòu)成該場景描述符SD的各節(jié)點(diǎn)SD0到SD2通過語法分析電路208進(jìn)行解釋，并且分析的結(jié)果輸送到合成器電路252。從分解電路205向各解碼器207-1到207-n輸送位流ES1-ESn和來自語法分析電路206的相應(yīng)目標(biāo)描述符OD的ID number OD_ID。在解碼一涉及的位流后，解碼器207-1到207-4中的每個向混合器電路201提供解碼的信號，并且另外對于圖像信號，還提供Key信號和表示圖像的位置和大小(POS,SZ)的信號和表示比例改變系數(shù)的信號RF。這里，圖像的位置涉及在相同視頻目標(biāo)VO中每層的相對位置，解碼器207-1到207-4中的每個向合成器電路252還輸送ID numberOD_ID。由于合成器電路252的結(jié)構(gòu)與圖6所示結(jié)構(gòu)類似，因此這里省略了對其的描述。如上所述，當(dāng)ID number OD_ID和解碼的信號輸送到相應(yīng)目標(biāo)合成器電路271-i時，需要找到每個解碼的信號對應(yīng)于哪個節(jié)點(diǎn)。因此，通過將由重建電路209輸送的ID number OD_ID與包括在節(jié)點(diǎn)中的ID numberOD_ID進(jìn)行對比來辨認(rèn)對應(yīng)關(guān)系。然后，根據(jù)辨認(rèn)結(jié)果，解碼的信號輸送到供有該相應(yīng)節(jié)點(diǎn)的目標(biāo)合成器電路271-i。
在可量測編碼中，由于各層(VOL)的位流屬于相同視頻目標(biāo)VO，因此它們具有相同的ID number OD_ID。一個VO對應(yīng)一個節(jié)點(diǎn)，相應(yīng)地，一個紋理存儲器152-i對應(yīng)于合成器電路252中的一個VO。因此，在可量測編碼中，各層的輸出(解碼器207-2到207-4的輸出)被一次輸送到混合器電路261，并合成為單個圖像序列。
混合器電路261根據(jù)從各解碼器207-2到207-4輸送的圖像信號、Key信號、表示比例變換系數(shù)的信號和表示涉及圖像的位置和大小的信號預(yù)先合成各層的圖像，并將合成的圖像輸出到合成器電路252。所以，合成器電路252可以將一個圖像序列對應(yīng)一個目標(biāo)。
例如，當(dāng)執(zhí)行如圖29所示的可量測編碼以傳輸下層和上層1并對其進(jìn)行解碼時，下層圖像信號的分辨率根據(jù)表示比例改變系數(shù)的信號RF來轉(zhuǎn)換。接著，上層1的解碼的圖像按照鍵信號與在對應(yīng)位置處的這個圖像進(jìn)行合成。
由混合器電路261合成的圖像序列輸送到合成器電路252。合成器電路252包括與圖4中類似的圖像，并輸出最終圖像到顯示器251上。
在這個例子中，以這種方式將一個目標(biāo)分配給一個節(jié)點(diǎn)。在用于存儲在再生電路155中的紋理和三維信息的存儲器組151之前階段設(shè)置該混合器電路261。在混合器電路261按照預(yù)定的鍵信號將多個圖像混合后，混合的圖像記錄在紋理存儲器中。以這種方式，由具有不同分辨率的多個圖像構(gòu)成的圖像信號能夠映射成一個紋理。
此外，如上所述，在圖1中的例子中，針對一個目標(biāo)生成一個用于記錄關(guān)于形成該目標(biāo)的位流的系統(tǒng)信息的描述符。在這種情況下，只有關(guān)于解碼所必需的位流的信息被存儲，并且描述符中描述的位流都被解碼。以這種方式，識別可解碼的位流的組合，并且預(yù)定的信號能夠被解碼。在這種情況下，按照發(fā)送側(cè)和接收側(cè)之間一對一的關(guān)系生成并傳輸該描述符。
接著，圖7到圖9示出目標(biāo)描述符OD的結(jié)構(gòu)。圖7中示出目標(biāo)描述符OD的一般結(jié)構(gòu)(語法)。
Node ID是一個10位的標(biāo)志，該標(biāo)志表示與目標(biāo)描述符有關(guān)的ID數(shù)。其對應(yīng)于前述的OD_ID。streamCount(數(shù)據(jù)流計(jì)數(shù))是一個8位的標(biāo)志，該標(biāo)志表示目標(biāo)描述符中包括的位流ES的數(shù)目。傳輸解碼位流ES所需的信息，即ES_Descriptor，其數(shù)目等于streamCount的值。另外，extentionFlag(擴(kuò)展標(biāo)志)是一個標(biāo)志，該標(biāo)志表示另外的描述符是否被傳輸。當(dāng)該值為1時，另外的描述符被傳輸。
ES_Descriptor(ES_描述符)是一個表示涉及每個位流的信息的描述符。圖8是ES_Descriptor的結(jié)構(gòu)(語法)。ES_Number(ES_數(shù))是一個5位的標(biāo)志，其表示用于識別位流的ID數(shù)。另外，streamType(數(shù)據(jù)流類型)是一個8位的標(biāo)志，其表示位流的格式，例如MPEG2視頻等。此外，QoS_Descriptor(QoS_描述符)是一個8位的標(biāo)志，其表示傳輸時對網(wǎng)絡(luò)的請求。
ESConFigParams是一個描述符，在該描述符中，解碼涉及的位流所需的信息被解碼。其結(jié)構(gòu)(語法)如圖9所示。ESConFigParams的詳細(xì)情況在MPEG4系統(tǒng)VM中描述。
圖10是映射運(yùn)動畫面的場景描述符。SFobjectID(SF目標(biāo)標(biāo)識)是一個標(biāo)志，其表示一個ID number OD_ID，該ID number OD_ID是要被映射的紋理的目標(biāo)描述符的ID。圖11是映射靜止圖像的場景描述符。SFobjectID(SF目標(biāo)標(biāo)識)是一個標(biāo)志，其表示要被映射的紋理的目標(biāo)描述符的一個IDnumber OD_ID。圖10和11的格式符合VRML的節(jié)點(diǎn)描述。
接著，參照圖12描述按照本發(fā)明第二實(shí)施例的位流復(fù)用裝置和分解裝置。在這個實(shí)施例中，屬于一個目標(biāo)的所有位流被復(fù)用和傳輸。在第一實(shí)施例中，只有由接收側(cè)請求的位流被復(fù)用和傳輸。在這種情況下，按照要被傳輸?shù)奈涣鳟a(chǎn)生目標(biāo)描述符OD。由于在接收側(cè)所有目標(biāo)描述符中描述的位流都被解碼，因此不需要特別地傳送位流之間的信息的相互(dependency)關(guān)系。
在第二實(shí)施例中，目標(biāo)描述符OD預(yù)先存儲在存儲裝置202中，從而在發(fā)送側(cè)目標(biāo)描述符OD中描述的位流都被復(fù)用和傳輸。在這種情況下，第二實(shí)施例中的目標(biāo)描述符OD不同于第一實(shí)施例，在第一實(shí)施例中描述了位流之間的信息的相互關(guān)系。在其它方面，第二實(shí)施例類似于第一實(shí)施例。
復(fù)用電路203讀取記錄在存儲裝置202中的場景描述符SD、目標(biāo)描述符OD和位流ES組，并以預(yù)定的順序復(fù)用該場景描述符SD、目標(biāo)描述符OD和位流ES組以進(jìn)行傳輸。傳輸?shù)捻樞蚝蛷?fù)用電路203的結(jié)構(gòu)類似于第一實(shí)施例。復(fù)用的位流FS經(jīng)傳輸路徑輸送到分解電路205。
用戶從終端輸入一請求信號REQ以表示哪個目標(biāo)要被顯示。該請求信號REQ輸送到分解電路205、語法分析電路206和重建電路209。該語法分析電路206對每個傳輸?shù)皆撜Z法分析電路206的目標(biāo)描述符OD進(jìn)行分析，并產(chǎn)生信號SREQ，該信號SREQ用于請求所需的位流并被輸送到分解電路205。當(dāng)用戶請求一預(yù)定的位流時，目標(biāo)描述符OD記錄解碼位流所需的另一個位流是否存在或需要哪個位流。
分解電路205按照來自用戶的請求信號REQ和用于請求所需的位流的信號SREQ，只將所需的位流輸送到解碼器207-1到207-n，并將所需的目標(biāo)描述符OD輸送到語法分析電路206。該語法分析電路206對目標(biāo)描述符OD進(jìn)行分析，并根據(jù)目標(biāo)描述符OD和來自用戶的請求信號REQ，將涉及解碼器207-1到207-n的初始化信息和ID numbers OD_ID傳輸?shù)礁鹘獯a器207-1到207-n。接著，以與第一實(shí)施例類似的方式進(jìn)行解碼、合成和顯示。
因此，在這個實(shí)施例中，針對一特定目標(biāo)產(chǎn)生一描述符(目標(biāo)描述符)從而將系統(tǒng)信息記錄在構(gòu)成該目標(biāo)的位流中。在這個情況下，表示解碼每個位流所需的位流的標(biāo)志記錄在描述符中，并且按照描述符中描述的標(biāo)志解碼一預(yù)定的位流以識別可解碼的位流的組合，從而能夠解碼一預(yù)定信號。在此情況下，在發(fā)送側(cè)一旦產(chǎn)生描述符，則該描述符通常傳輸?shù)剿薪邮照摺?br> 在第二實(shí)施例中，目標(biāo)描述符OD不同于第一實(shí)施例中的目標(biāo)描述符OD，第二實(shí)施例中的目標(biāo)描述符OD描述的是用于識別解碼一預(yù)定的位流所需的另一位流的信息?，F(xiàn)在已描述了第二實(shí)施例中的目標(biāo)描述符OD。目標(biāo)描述符OD的一般結(jié)構(gòu)與圖7中所示的第一實(shí)施例的目標(biāo)描述符類似。
圖13顯示的是用于描述涉及每個位流的信息的ES_Descriptor(ES_描述符)。isOtherStream是一個一位標(biāo)志，該標(biāo)志表示是否需要另外的位流進(jìn)行解碼一相關(guān)的位流。如果該值為零，相關(guān)的位流能夠單獨(dú)解碼。如果該值為1，相關(guān)的位流不能夠單獨(dú)解碼。
streamCount(數(shù)據(jù)流計(jì)數(shù))是一個5位的標(biāo)志，該標(biāo)志表示還需要多少個位流。根據(jù)stremaCount傳輸所需的ES_Number(ES_數(shù))數(shù)。ES_Number是一個ID(標(biāo)識)，用于表示解碼所需的位流。ES_Descriptor的剩余結(jié)構(gòu)與第一實(shí)施例類似。此外，代表解碼每個位流所需的信息的ESConFigParams的結(jié)構(gòu)類似圖9中第一實(shí)施例的描述的結(jié)構(gòu)。
上述處理(復(fù)用和分解)可以以軟件程序的形式來執(zhí)行，并且這樣的程序可以發(fā)送(提供)給用戶，其中除了磁盤、CD-ROM和固態(tài)存儲器等記錄媒體外，還可以使用如網(wǎng)絡(luò)、衛(wèi)星這樣的通信媒體作為傳輸媒體。另外，除了用程序?qū)崿F(xiàn)以外，不用說也可以用硬件來執(zhí)行上述處理。
在不脫離本發(fā)明的要點(diǎn)的情況下，可以作出各種改進(jìn)和實(shí)施各種應(yīng)用。因此，本發(fā)明的要點(diǎn)不局限于這些實(shí)施例。
本發(fā)明中的圖像信號復(fù)用裝置及方法和使經(jīng)傳輸媒體要被傳輸?shù)膱D像信號復(fù)用的程序，適于選擇用于描述預(yù)定的目標(biāo)的空間結(jié)構(gòu)信息并從具有不同質(zhì)量的多層位流中選擇構(gòu)成該預(yù)定目標(biāo)的數(shù)據(jù)流，產(chǎn)生涉及由選擇單元選擇的位流構(gòu)成的目標(biāo)的信息，并復(fù)用所選擇的空間結(jié)構(gòu)信息、所選擇的位流和所生成的關(guān)于該目標(biāo)的信息，從而輸出復(fù)用的信息，因此可以輸送用以目標(biāo)為單位的具有多層的可量測位流映射的紋理。
本發(fā)明中的圖像信號復(fù)用裝置及方法和傳輸一程序的傳輸媒體，其中該程序使經(jīng)傳輸媒體要被傳輸?shù)膱D像信號復(fù)用，適于輸出用于描述一預(yù)定目標(biāo)的空間結(jié)構(gòu)信息、具有不同質(zhì)量并構(gòu)成該預(yù)定目標(biāo)的多層位流，和輸出涉及該目標(biāo)的信息，其中涉及該目標(biāo)的信息至少包括表示不同位流之間的相互關(guān)系的相關(guān)信息，并復(fù)用該輸出的空間結(jié)構(gòu)信息、多層位流和涉及該目標(biāo)的信息，從而即便在復(fù)用側(cè)不與分解側(cè)連接的環(huán)境中，也能夠獨(dú)立地恢復(fù)和使用分解側(cè)的位流。
此外，將復(fù)用的圖像信號分離為各自信號的圖像信號分解裝置及方法和將經(jīng)傳輸媒體傳輸?shù)膹?fù)用信號分離為各自信號的程序，適于從復(fù)用的位流中分別分離出描述一個目標(biāo)的空間結(jié)構(gòu)信息、構(gòu)成該目標(biāo)的多層位流和涉及該目標(biāo)的信息，其中描述該目標(biāo)的空間結(jié)構(gòu)信息、具有不同質(zhì)量并構(gòu)成該目標(biāo)的多層位流和涉及該目標(biāo)的信息在該復(fù)用的位流中復(fù)用，分析該空間結(jié)構(gòu)信息，解碼該多層位流，將解碼的輸出信號中的對應(yīng)同一目標(biāo)的輸出信號混合，并根據(jù)涉及該目標(biāo)的信息，從所分析的輸出數(shù)據(jù)和所混合后的輸出數(shù)據(jù)重建一圖像信號，因此可以確使具有以目標(biāo)為單位的多層的可量測位流進(jìn)行紋理映射。
此外，本發(fā)明的將復(fù)用的圖像信號分離為各信號的圖像信號分解裝置及方法和將經(jīng)傳輸媒體傳輸?shù)膹?fù)用的圖像信號分離為各圖像信號的程序，適于從被傳輸?shù)膹?fù)用的位流中分離出描述一個目標(biāo)的空間結(jié)構(gòu)信息、構(gòu)成該目標(biāo)的多層位流和涉及該目標(biāo)的信息，其中描述該目標(biāo)的空間結(jié)構(gòu)信息、具有不同質(zhì)量并構(gòu)成該目標(biāo)的多層位流和表示不同位流之間信息的相互關(guān)系的相關(guān)信息在該復(fù)用的位流中復(fù)用，根據(jù)選擇信號和相關(guān)信息來控制所選擇的用于描述一預(yù)定目標(biāo)的空間結(jié)構(gòu)信息和構(gòu)成該目標(biāo)的多層位流，分析該選擇的空間結(jié)構(gòu)信息，解碼該多層位流，將解碼的輸出信號中的對應(yīng)同一目標(biāo)的輸出信號混合，并根據(jù)涉及該目標(biāo)的信息，從所分析的輸出數(shù)據(jù)和所混合后的輸出數(shù)據(jù)重建一圖像信號，因此即便在復(fù)用側(cè)不與分解側(cè)連接的環(huán)境中，也能夠獨(dú)立地恢復(fù)和使用分解側(cè)的位流。
工業(yè)應(yīng)用性本發(fā)明可以應(yīng)用于，例如向磁光盤、磁盤這樣的記錄媒體中記錄數(shù)據(jù)和從磁光盤、磁盤這樣的記錄媒體中再現(xiàn)數(shù)據(jù)的信息記錄裝置，信息再現(xiàn)裝置，信息記錄/再現(xiàn)裝置，以及如向遠(yuǎn)地發(fā)送音頻數(shù)據(jù)和視頻數(shù)據(jù)的電視電話系統(tǒng)、廣播設(shè)備、多媒體數(shù)據(jù)庫檢索系統(tǒng)等這樣的系統(tǒng)。
權(quán)利要求
1.一種圖像信號復(fù)用設(shè)備，其特征在于，該復(fù)用設(shè)備包括選擇裝置，用于選擇描述一預(yù)定目標(biāo)的空間結(jié)構(gòu)信息和用于從具有不同質(zhì)量的多層位流中選擇構(gòu)成所述預(yù)定目標(biāo)的數(shù)據(jù)流；生成裝置，用于生成涉及所述目標(biāo)的信息，所述目標(biāo)是由所述選擇裝置選擇的位流構(gòu)成的；復(fù)用裝置，用于將所述選擇的空間結(jié)構(gòu)信息、所述選擇的位流和所述生成的關(guān)于所述目標(biāo)的信息復(fù)用，以輸出復(fù)用的信息。
2.如權(quán)利要求1所述的圖像信號復(fù)用設(shè)備，其特征在于涉及所述目標(biāo)的所述信息包括至少一個表示空間結(jié)構(gòu)信息的標(biāo)志，該空間結(jié)構(gòu)信息用于描述所述目標(biāo)；一個表示位流數(shù)目的標(biāo)志；和解碼該位流所需的信息。
3.一種圖像信號復(fù)用方法，其特征在于，該復(fù)用方法包括選擇步驟，用于選擇描述一預(yù)定目標(biāo)的空間結(jié)構(gòu)信息和用于從具有不同質(zhì)量的多層位流中選擇構(gòu)成所述預(yù)定目標(biāo)的數(shù)據(jù)流；生成步驟，用于生成涉及所述目標(biāo)的信息，所述目標(biāo)是由所述選擇裝置選擇的位流構(gòu)成的；復(fù)用步驟，用于將所述選擇的空間結(jié)構(gòu)信息、所述選擇的位流和所述生成的關(guān)于所述目標(biāo)的信息復(fù)用，以輸出復(fù)用的信息。
4.如權(quán)利要求3所述的圖像信號復(fù)用方法，其特征在于涉及所述目標(biāo)的所述信息包括至少一個表示空間結(jié)構(gòu)信息的標(biāo)志，該空間結(jié)構(gòu)信息用于描述所述目標(biāo)；一個表示位流數(shù)目的標(biāo)志；和解碼該位流所需的信息。
5.一種傳輸媒體，用于傳輸復(fù)用圖像信號用的程序，其特征在于傳輸該程序包括選擇步驟，用于選擇描述一預(yù)定目標(biāo)的空間結(jié)構(gòu)信息和用于從具有不同質(zhì)量的多層位流中選擇構(gòu)成所述預(yù)定目標(biāo)的數(shù)據(jù)流；生成步驟，用于生成涉及所述目標(biāo)的信息，所述目標(biāo)是由所述選擇裝置選擇的位流構(gòu)成的；復(fù)用步驟，用于將所述選擇的空間結(jié)構(gòu)信息、所述選擇的位流和所述生成的關(guān)于所述目標(biāo)的信息復(fù)用，以輸出復(fù)用的信息。
6.一種圖像信號復(fù)用設(shè)備，其特征在于，該復(fù)用設(shè)備包括輸出裝置，用于輸出描述一預(yù)定目標(biāo)的空間結(jié)構(gòu)信息、具有不同質(zhì)量的多層位流、和涉及所述目標(biāo)的信息，其中，所述位流構(gòu)成所述預(yù)定目標(biāo)，該涉及所述目標(biāo)的信息至少包括代表不同位流之間的相互關(guān)系的相關(guān)信息；和復(fù)用裝置，用于將所述輸出的空間結(jié)構(gòu)信息、多層位流和涉及所述目標(biāo)的信息復(fù)用以輸出該復(fù)用的信息。
7.如權(quán)利要求6所述的圖像信號復(fù)用設(shè)備，其特征在于涉及所述目標(biāo)的所述信息包括至少一個表示空間結(jié)構(gòu)信息的標(biāo)志，該空間結(jié)構(gòu)信息用于描述所述目標(biāo)；一個表示位流數(shù)目的標(biāo)志；解碼該位流所需的信息，并且所述相關(guān)信息至少是一個用于識別所述位流的標(biāo)志和代表為了恢復(fù)所述目標(biāo)是否需要另外的位流的標(biāo)志。
8.一種圖像信號復(fù)用方法，其特征在于，該復(fù)用方法包括輸出步驟，用于輸出描述一預(yù)定目標(biāo)的空間結(jié)構(gòu)信息、具有不同質(zhì)量的多層位流、和涉及所述目標(biāo)的信息，其中，所述位流構(gòu)成所述預(yù)定目標(biāo)，該涉及所述目標(biāo)的信息至少包括代表不同位流之間的相互關(guān)系的相關(guān)信息；和復(fù)用步驟，用于將所述輸出的空間結(jié)構(gòu)信息、多層位流和涉及所述目標(biāo)的信息復(fù)用以輸出該復(fù)用的信息。
9.如權(quán)利要求8所述的圖像信號復(fù)用方法，其特征在于涉及所述目標(biāo)的所述信息包括至少一個表示空間結(jié)構(gòu)信息的標(biāo)志，該空間結(jié)構(gòu)信息用于描述所述目標(biāo)；一個表示位流數(shù)目的標(biāo)志；解碼該位流所需的信息，并且所述相關(guān)信息至少是一個用于識別所述位流的標(biāo)志和代表為了恢復(fù)所述目標(biāo)是否需要另外的位流的標(biāo)志。
10.一種傳輸媒體，用于傳輸復(fù)用圖像信號用的程序，其特征在于傳輸該程序包括輸出步驟，用于輸出描述一預(yù)定目標(biāo)的空間結(jié)構(gòu)信息、具有不同質(zhì)量的多層位流、和涉及所述目標(biāo)的信息，其中，所述位流構(gòu)成所述預(yù)定目標(biāo)，該涉及所述目標(biāo)的信息至少包括代表不同位流之間的相互關(guān)系的相關(guān)信息；和復(fù)用步驟，用于將所述輸出的空間結(jié)構(gòu)信息、多層位流和涉及所述目標(biāo)的信息復(fù)用以輸出該復(fù)用的信息。
11.一種圖像信號分解設(shè)備，用于將復(fù)用的圖像信號分離為各信號，其特征在于，所述分解設(shè)備包括分離裝置，用于從復(fù)用的位流中分別分離出描述一個目標(biāo)的空間結(jié)構(gòu)信息、構(gòu)成所述目標(biāo)的多層位流和涉及所述目標(biāo)的信息，其中描述該目標(biāo)的所述空間結(jié)構(gòu)信息、具有不同質(zhì)量的多層位流和涉及所述目標(biāo)的所述信息在該復(fù)用的位流中復(fù)用，并且所述位流構(gòu)成所述目標(biāo)；分析裝置，用于分析所述空間結(jié)構(gòu)信息；和解碼裝置，用于解碼所述多層位流；混合裝置，用于將所述解碼的輸出信號中的對應(yīng)同一所述目標(biāo)的輸出信號混合；和重建裝置，用于根據(jù)涉及所述目標(biāo)的所述信息，從所述分析的輸出數(shù)據(jù)和所述混合后的輸出數(shù)據(jù)重建一圖像信號。
12.如權(quán)利11所述的圖像信號分解設(shè)備，其特征在于涉及所述目標(biāo)的所述信息包括至少一個表示空間結(jié)構(gòu)信息的標(biāo)志，該空間結(jié)構(gòu)信息用于描述所述目標(biāo)；一個表示位流數(shù)目的標(biāo)志；和解碼該位流所需的信息。
13.一種圖像信號分解方法，用于將復(fù)用的圖像信號分離為各信號，其特征在于，該分解方法包括步驟分離步驟，用于從復(fù)用的位流中分別分離出描述一個目標(biāo)的空間結(jié)構(gòu)信息、構(gòu)成所述目標(biāo)的多層位流和涉及所述目標(biāo)的信息，其中描述該目標(biāo)的所述空間結(jié)構(gòu)信息、具有不同質(zhì)量的多層位流和涉及所述目標(biāo)的所述信息在該復(fù)用的位流中復(fù)用，并且所述位流構(gòu)成所述目標(biāo)；分析步驟，用于分析所述空間結(jié)構(gòu)信息；和解碼步驟，用于解碼所述多層位流；混合步驟，用于將所述解碼的輸出信號中的對應(yīng)同一所述目標(biāo)的輸出信號混合；和重建步驟，用于根據(jù)涉及所述目標(biāo)的所述信息，從所述分析的輸出數(shù)據(jù)和所述混合后的輸出數(shù)據(jù)重建一圖像信號。
14.如權(quán)利13所述的圖像信號分解方法，其特征在于涉及所述目標(biāo)的所述信息包括至少一個表示空間結(jié)構(gòu)信息的標(biāo)志，該空間結(jié)構(gòu)信息用于描述所述目標(biāo)；一個表示位流數(shù)目的標(biāo)志；和解碼該位流所需的信息。
15.一種傳輸程序用的傳輸媒體，該程序用于將復(fù)用的圖像信號分離為各信號，其特征在于，傳輸該程序包括分離步驟，用于從復(fù)用的位流中分別分離出描述一個目標(biāo)的空間結(jié)構(gòu)信息、構(gòu)成所述目標(biāo)的多層位流和涉及所述目標(biāo)的信息，其中描述該目標(biāo)的所述空間結(jié)構(gòu)信息、具有不同質(zhì)量的多層位流和涉及所述目標(biāo)的所述信息在該復(fù)用的位流中復(fù)用，并且所述位流構(gòu)成所述目標(biāo)；分析步驟，用于分析所述空間結(jié)構(gòu)信息；和解碼步驟，用于解碼所述多層位流；混合步驟，用于將所述解碼的輸出信號中的對應(yīng)同一所述目標(biāo)的輸出信號混合；和重建步驟，用于根據(jù)涉及所述目標(biāo)的所述信息，從所述分析的輸出數(shù)據(jù)和所述混合后的輸出數(shù)據(jù)重建一圖像信號。
16.一種圖像信號分解設(shè)備，用于將復(fù)用的圖像信號分離為各信號，該設(shè)備包括分離裝置，用于從被傳輸?shù)膹?fù)用的位流中分離出描述一個目標(biāo)的空間結(jié)構(gòu)信息、構(gòu)成所述目標(biāo)的多層位流和涉及所述目標(biāo)的信息，其中描述所述目標(biāo)的空間結(jié)構(gòu)信息、具有不同質(zhì)量的多層位流和表示不同位流之間信息的相互關(guān)系的相關(guān)信息在該復(fù)用的位流中復(fù)用，并且所述位流構(gòu)成所述目標(biāo)；控制裝置，用于根據(jù)選擇信號和所述相關(guān)信息來控制所述分離裝置以選擇描述一預(yù)定目標(biāo)的空間結(jié)構(gòu)信息和構(gòu)成該目標(biāo)的所述多層位流；分析裝置，用于分析所述選擇的空間結(jié)構(gòu)信息；和解碼裝置，用于解碼所述多層位流；混合裝置，用于將所述解碼的輸出信號中的對應(yīng)同一目標(biāo)的輸出信號混合；重建裝置，用于根據(jù)涉及所述目標(biāo)的信息，從所述分析的輸出數(shù)據(jù)和所述混合后的輸出數(shù)據(jù)重建一圖像信號。
17.如權(quán)利要求16所述的圖像信號分解設(shè)備，其特征在于，該分解設(shè)備包括涉及所述目標(biāo)的所述信息包括至少一個表示空間結(jié)構(gòu)信息的標(biāo)志，該空間結(jié)構(gòu)信息用于描述所述目標(biāo)；一個表示位流數(shù)目的標(biāo)志；解碼該位流所需的信息，并且所述相關(guān)信息至少是一個用于識別所述位流的標(biāo)志和代表為了恢復(fù)所述目標(biāo)是否需要另外的位流的標(biāo)志。
18.一種圖像信號分解方法，用于將復(fù)用的圖像信號分離為各信號，其特征在于，該方法包括分離步驟，用于從被傳輸?shù)膹?fù)用的位流中分離出描述一個目標(biāo)的空間結(jié)構(gòu)信息、構(gòu)成所述目標(biāo)的多層位流和涉及所述目標(biāo)的信息，其中描述所述目標(biāo)的空間結(jié)構(gòu)信息、具有不同質(zhì)量的多層位流和表示不同位流之間信息的相互關(guān)系的相關(guān)信息在該復(fù)用的位流中復(fù)用，并且所述位流構(gòu)成所述目標(biāo)；控制步驟，用于根據(jù)所述相關(guān)信息來控制所述分離裝置以選擇描述一預(yù)定目標(biāo)的空間結(jié)構(gòu)信息和構(gòu)成該目標(biāo)的所述多層位流；分析步驟，用于分析所述選擇的空間結(jié)構(gòu)信息；和解碼步驟，用于解碼所述多層位流；混合步驟，用于將所述解碼的輸出信號中的對應(yīng)同一目標(biāo)的輸出信號混合；重建步驟，用于根據(jù)涉及所述目標(biāo)的信息，從所述分析的輸出數(shù)據(jù)和所述混合后的輸出數(shù)據(jù)重建一圖像信號。
19.如權(quán)利要求18所述的圖像信號分解方法，其特征在于涉及所述目標(biāo)的所述信息包括至少一個表示空間結(jié)構(gòu)信息的標(biāo)志，該空間結(jié)構(gòu)信息用于描述所述目標(biāo)；一個表示位流數(shù)目的標(biāo)志；解碼該位流所需的信息，并且所述相關(guān)信息至少是一個用于識別所述位流的標(biāo)志和代表為了恢復(fù)所述目標(biāo)是否需要另外的位流的標(biāo)志。
20.一種傳輸程序用的傳輸媒體，該程序用于將復(fù)用的圖像信號分離為各信號，其特征在于，傳輸該程序包括分離步驟，用于從被傳輸?shù)膹?fù)用的位流中分離出描述一個目標(biāo)的空間結(jié)構(gòu)信息、構(gòu)成所述目標(biāo)的多層位流和涉及所述目標(biāo)的信息，其中描述所述目標(biāo)的空間結(jié)構(gòu)信息、具有不同質(zhì)量的多層位流和表示不同位流之間信息的相互關(guān)系的相關(guān)信息在該復(fù)用的位流中復(fù)用，并且所述位流構(gòu)成所述目標(biāo)；控制步驟，用于根據(jù)所述相關(guān)信息來控制所述分離裝置以選擇描述一預(yù)定目標(biāo)的空間結(jié)構(gòu)信息和構(gòu)成該目標(biāo)的所述多層位流；分析步驟，用于分析所述選擇的空間結(jié)構(gòu)信息；和解碼步驟，用于解碼所述多層位流；混合步驟，用于將解碼的輸出信號中的對應(yīng)同一目標(biāo)的輸出信號混合；重建步驟，用于根據(jù)涉及所述目標(biāo)的信息，從所述分析的輸出數(shù)據(jù)和所述混合后的輸出數(shù)據(jù)重建一圖像信號。
全文摘要
一種分解電路,用于分離場景描述符(SD)、目標(biāo)描述符(OD)和各位流(ES),且各位流(ES)由解碼器(207—1到207－n)解碼。在從解碼器輸出的數(shù)據(jù)中,同一目標(biāo)描述符(OD)(構(gòu)成同一目標(biāo)的輸出數(shù)據(jù))的輸出數(shù)據(jù)由混合電路(261)混合,混合后的輸出數(shù)據(jù)輸送到具有相應(yīng)節(jié)點(diǎn)的合成電路(252)的目標(biāo)合成電路(271－i),目標(biāo)合成電路(271－i)與具有一個圖像的一個目標(biāo)相關(guān)并執(zhí)行紋理映射。
文檔編號H04N7/26GK1234941SQ98800996
公開日1999年11月10日 申請日期1998年7月17日 優(yōu)先權(quán)日1997年7月18日
發(fā)明者鈴木輝彥, 矢ク崎陽一 申請人:索尼公司