專利名稱：數(shù)據(jù)編碼器、數(shù)據(jù)編碼方法和計(jì)算機(jī)程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于編碼特定地理表面數(shù)據(jù)的數(shù)據(jù)編碼器和數(shù)據(jù)編碼方法，以及具有相同作用的計(jì)算機(jī)程序，更具體地說，本發(fā)明涉及用于對映射在球面的數(shù)據(jù)進(jìn)行編碼的數(shù)據(jù)編碼器和數(shù)據(jù)編碼方法，以及具有相同作用的計(jì)算機(jī)程序。
更具體地說，本發(fā)明涉及一種數(shù)據(jù)編碼器和數(shù)據(jù)編碼方法，用于對映射在以特定數(shù)學(xué)模型描述的球面的數(shù)據(jù)進(jìn)行編碼，本發(fā)明還涉及具有相同作用的計(jì)算機(jī)程序。更具體地，本發(fā)明涉及一種數(shù)據(jù)編碼器和數(shù)據(jù)編碼方法，用于以能夠局部分解(resolution)和局部配送(distribution)的方式對映射到球面的數(shù)據(jù)進(jìn)行編碼，本發(fā)明還涉及具有相同作用的計(jì)算機(jī)程序。
背景技術(shù)：
全方位照相機(jī)作為能夠提供用戶周圍景物的圖像的設(shè)備已經(jīng)被公開。這類全方位成像系統(tǒng)基于如下結(jié)構(gòu)，即在作為觀察點(diǎn)的空間中的一點(diǎn)提供多個照相機(jī)，從而拾取環(huán)繞該點(diǎn)的圖像。該全方位成像系統(tǒng)執(zhí)行圖像處理，用以生成顯示景物的圖像，該圖像的視野比普通照相機(jī)提供的圖像寬廣得多，并且，通過將由多個照相機(jī)獲取的彼此相連的圖像的邊緣適當(dāng)?shù)剡B接起來，使得獲得的圖像看上去就像是用一個單獨(dú)的廣角照相機(jī)攝取的。結(jié)合最近在VR(虛擬現(xiàn)實(shí))技術(shù)領(lǐng)域的進(jìn)步，每張都能提供全圓周圖像(entire circumferenceimage)的圖像正在快速增多。
另一方面，隨著信息通信技術(shù)領(lǐng)域的發(fā)展，對經(jīng)由配送媒質(zhì)向遠(yuǎn)端站點(diǎn)配送不同類型的內(nèi)容有著強(qiáng)烈的需求。
在上述全圓周圖像配送服務(wù)的情況中，由于全圓周圖像是通過將圖像數(shù)據(jù)映射到球面而形成的，因此數(shù)據(jù)被編碼并轉(zhuǎn)換成數(shù)據(jù)流進(jìn)行配送。但是，在接收端，也就是在服務(wù)的用戶端，很少需要全方位圖像，并且許多用戶要求某一特定視角的具有高分辨率的圖像。也就是說，存在對全圓周圖像的某一特定有限區(qū)域局部配送和局部分解的需求。
在例如地面波廣播、衛(wèi)星廣播、有線電視廣播和高級圖像廣播的常規(guī)廣播技術(shù)中，基本上一幅圖像是通過一個信道接收的。此外，一幅圖像的視角也在廣播端記錄圖像時就預(yù)先確定了，因此接收圖像的用戶不能選擇具有期望視角的圖像。為了使用戶能夠選擇由通過多個照相機(jī)獲得的圖像組成的全方位圖像的視角，要求用戶同時接收通過多個信道配送的多幅圖像，其中每個信道配送由一個照相機(jī)攝取的圖像。但是，為了實(shí)現(xiàn)上述結(jié)構(gòu)，需要對硬件進(jìn)行修改，這也會造成接收端成本增加。
在配送數(shù)據(jù)，或者經(jīng)由數(shù)據(jù)遞送或記錄媒質(zhì)配送數(shù)據(jù)的情況下，數(shù)據(jù)量很大，因此要求對通過將像素?cái)?shù)據(jù)映射到球面而形成的全圓周圖像以適合壓縮編碼的格式進(jìn)行編碼，也就是將其變換成數(shù)據(jù)流。此外，編碼后的數(shù)據(jù)流最好滿足局部配送和局部分解的需求。
例如，使用地圖投影的方法可以將地球儀投影到平面世界地圖上，通過這種方法可以將球面映射到平面上。
如圖19所示，有一種方法是將球面投影到圓柱體表面，然后將圓柱體表面展開成平面。在圖19所示的情況下，球面水平方向的角度被繪制在二維平面的橫向方向，球面垂直方向的角度被繪制在具有相同間隔(even space)二維平面的垂直表面。在這種情況下，二維圖像映射信息是分配給每一行和每一列的角度數(shù)據(jù)。
上述映射方法雖然具有空間與時間的高相關(guān)性、并且將球面數(shù)據(jù)轉(zhuǎn)換成二維平面數(shù)據(jù)所需的公式簡單，或者說二維映射信息簡單的優(yōu)點(diǎn)，但是映射后的二維平面的上面和下面部分(也就是二維地圖的兩極部分)的失真變大了(或者說，與赤道部分相比兩極部分的密度變低了)。因此，不能同等地保存所有方向包含在每個像素里的信息。換句話說，編碼后的數(shù)據(jù)流不能滿足局部配送或局部分解的需要。
映射在球面的數(shù)據(jù)的情況不僅限于例如全圓周圖像處理的圖像處理技術(shù)領(lǐng)域。
例如，在聲學(xué)領(lǐng)域，已知的根據(jù)基爾霍夫積分公式，如果能夠完全地控制一個表面的聲壓和粒子在該表面法線方向的速率，就能夠完全再現(xiàn)封閉面S的內(nèi)部區(qū)域D內(nèi)的聲場(參考，例如，“對再現(xiàn)寬范圍聲場的研究(1)-根據(jù)基爾霍夫積分公式”，伊勢，日本聲學(xué)學(xué)會會議記錄，1993年10月。)。
換句話說，通過將聲壓或粒子速率映射到球面，有可能再現(xiàn)寬范圍聲場，并且能夠再現(xiàn)封閉面任何內(nèi)部區(qū)域的聲場。
在這種情況下，為了經(jīng)由音頻遞送和介質(zhì)來配送和傳輸音頻數(shù)據(jù)，也需要對映射到球面的數(shù)據(jù)進(jìn)行編碼，并進(jìn)行局部配送和局部分解。

發(fā)明內(nèi)容
本發(fā)明的一個目的是提供一種優(yōu)秀的數(shù)據(jù)編碼器和優(yōu)秀的數(shù)據(jù)編碼方法，使得能夠方便地對映射在球面的數(shù)據(jù)進(jìn)行編碼，并且提供一種具有相同作用的計(jì)算機(jī)程序。
本發(fā)明的另一個目的是提供一種優(yōu)秀的數(shù)據(jù)編碼器和優(yōu)秀的數(shù)據(jù)編碼方法，利用數(shù)學(xué)模型描述映射在球面的數(shù)據(jù)，從而能夠方便地對其進(jìn)行編碼，并且，本發(fā)明還提供具有相同作用的計(jì)算機(jī)程序。
本發(fā)明的另一個目的是提供一種優(yōu)秀的數(shù)據(jù)編碼器和優(yōu)秀的數(shù)據(jù)編碼方法，使得能夠利用一種允許局部分解和局部配送的格式對映射在球面的數(shù)據(jù)方便地進(jìn)行編碼，并且，本發(fā)明還提供具有相同作用的計(jì)算機(jī)程序。
本發(fā)明是考慮到上述問題而開發(fā)的，并且在本發(fā)明的第一實(shí)施例中，提供一種用于對映射到球面的數(shù)據(jù)進(jìn)行編碼的數(shù)據(jù)編碼器。該數(shù)據(jù)編碼器包含數(shù)據(jù)變換器，用于對映射在球面上的數(shù)據(jù)施行球面小波變換，以順序地生成在第0級的球面和在第j級的球面的縮放函數(shù)Φk(j)的系數(shù)ck(j)和小波函數(shù)Ψk(j)的值dk，m(j)(其中，k表示球面上的坐標(biāo)值，m＝1、2、3)，其中，在第0級，球面被近似為正多邊形，在第j級，每一個構(gòu)成在第0級近似球面的多面體的一面的三角形被遞歸四等分(j1或更大的整數(shù))；以及數(shù)據(jù)流準(zhǔn)備單元，用于根據(jù)在球面上的位置關(guān)系重新排列縮放函數(shù)Φk(j)的系數(shù)ck(j)和小波函數(shù)Ψk(j)的值dk，m(j)。
根據(jù)本發(fā)明的數(shù)據(jù)編碼器，可以還包含用于對重新排列的數(shù)據(jù)流進(jìn)行編碼的單元。
映射在在第0級構(gòu)成近似球面的多面體的每一面的三角形上的數(shù)據(jù)值，和在每一級的球面小波函數(shù)的值，可以從上述數(shù)據(jù)轉(zhuǎn)換器輸出。
數(shù)據(jù)編碼裝置可以根據(jù)球面上的坐標(biāo)，將在最高到第j級的球面小波函數(shù)的值重新排列成數(shù)據(jù)流，并且，根據(jù)在球面上的坐標(biāo)，分割這些數(shù)據(jù)值以提供用于插入的位置，并且進(jìn)一步根據(jù)球面上的坐標(biāo)劃分在第j+1級的球面小波函數(shù)的值，以便將這些值分別組合到相應(yīng)的用于插入的位置。
最近，處理例如用于完全再現(xiàn)全圓周圖像或聲場的映射在球面上的數(shù)據(jù)的機(jī)會正在增加。在配送或傳輸這類數(shù)據(jù)的服務(wù)中，需要討論例如有效壓縮編碼或者局部分解的空間可縮放性，和由局部配送所帶來的便利。
基于相關(guān)技術(shù)的數(shù)據(jù)壓縮方法已經(jīng)被用于以簡單形式定義的數(shù)據(jù)。在基于相關(guān)技術(shù)的壓縮方法中使用的典型的形式包含線性(例如音頻)、矩形(例如圖像)和三維色彩(例如視頻)數(shù)據(jù)。但是，基于相關(guān)技術(shù)的數(shù)據(jù)壓縮技術(shù)不適合壓縮定義在球面或其它復(fù)雜形式上的數(shù)據(jù)。
也存在這樣的方法，即將球面投影到圓柱體的表面，然后將圓柱體表面展開成平面。在上述映射方法中，空間和時間相關(guān)性高，并且將球面變換成二維平面所需的數(shù)學(xué)公式，即二維映射信息很簡單，這些是它的優(yōu)點(diǎn)。但是，在上面和下面部分(世界地圖上的兩極)的失真變得較大(或者說與赤道附近相比密度變低了)，因此不能同等地保存在所有方向上包含在每個像素中的信息。換句話說，編碼后的數(shù)據(jù)流不能滿足局部配送和局部分解的需要。
為了解決上述問題，根據(jù)本發(fā)明的數(shù)據(jù)編碼器將縮放函數(shù)Φk(j)的系數(shù)ck(j)和小波函數(shù)Ψk(j)的值dk，m(j)重新排列成反應(yīng)在球面上的位置關(guān)系的隊(duì)列，以構(gòu)成數(shù)據(jù)流。
例如，當(dāng)包含顏色和亮度的像素?cái)?shù)據(jù)被映射在球面上時，數(shù)據(jù)變換單元對像素?cái)?shù)據(jù)施行球面小波變換，以獲得在第0級的縮放函數(shù)的值和在每一級的球面小波函數(shù)的值。然后，數(shù)據(jù)編碼單元根據(jù)在球面上的坐標(biāo)值劃分球面小波函數(shù)的值，以便將這些數(shù)據(jù)映射到每一個在第0級構(gòu)成近似球面的多面體的表面的正三角形上；分離每一個被劃分的三角形的第0級的縮放函數(shù)值，并且分離各級的每一個顏色分量的球面小波函數(shù)的值；根據(jù)在第0級近似球面的正三角形重新排列數(shù)據(jù)；以顏色順序排列并連接數(shù)據(jù)；并且進(jìn)一步重新排列每個球面小波函數(shù)的數(shù)據(jù)。
在這一步驟中，數(shù)據(jù)編碼單元排列在相同顏色中兩次出現(xiàn)的連續(xù)四個數(shù)據(jù)片(data pieces)，以便相同顏色分量以預(yù)定數(shù)目的樣本連續(xù)。
換句話說，從一個寬視角說明，數(shù)據(jù)編碼單元將R、G和B中每一個的數(shù)據(jù)樣本分組，并且排列每個球面小波函數(shù)的數(shù)據(jù)樣本。通過以上述方式重新排列數(shù)據(jù)樣本，在對特定數(shù)目的數(shù)據(jù)樣本執(zhí)行可變長度編碼時能夠利用空間相關(guān)性。
當(dāng)包含聲壓數(shù)據(jù)和粒子在表面法線方向的速率的數(shù)據(jù)在內(nèi)的，用于再現(xiàn)球面的給定內(nèi)部區(qū)域的聲場的數(shù)據(jù)被映射到球面上時，數(shù)據(jù)變換單元對該數(shù)據(jù)施行球面小波變換，以獲得在第0級的縮放函數(shù)的值和在每一級的球面小波函數(shù)的值。然后，數(shù)據(jù)編碼單元對每一個通過球面小波變換分解得到的數(shù)據(jù)施行MDCT變換，以獲得M采樣的頻譜值；根據(jù)在指定級近似球面的正三角形排列這些數(shù)據(jù)樣本；在頻譜之間插入這些數(shù)據(jù)；并且進(jìn)一步排列每個球面小波函的數(shù)據(jù)樣本。此外，數(shù)據(jù)編碼單元為每一個球面小波函數(shù)排列球面小波函數(shù)值，并且進(jìn)一步根據(jù)聲壓和粒子在法線方向的速率順序排列數(shù)據(jù)樣本。通過上述操作，當(dāng)對每個預(yù)定數(shù)目的樣本執(zhí)行可變長度編碼時，能夠利用兩個相關(guān)性，即空間和頻率之間的相關(guān)性以及時間和頻率之間的相關(guān)性。
數(shù)據(jù)流編碼單元可以將預(yù)定數(shù)目的數(shù)據(jù)樣本作為一個宏塊，對其施行可變長度編碼，并且直接將連續(xù)的每個都具有相同比特長度的宏塊彼此連接，而不再提供首標(biāo)。在這種情況下，由于將縮放函數(shù)Φk(j)中的系數(shù)ck(j)和小波函數(shù)Ψk(j)的值dk，m(j)重新排列成反應(yīng)在球面上的位置關(guān)系的隊(duì)列，所以可以想象，樣本之間的相關(guān)性高，因此即使是在對這些樣本施行可變長度編碼時，也可以預(yù)期具有相同比特長度的宏塊連續(xù)出現(xiàn)。結(jié)果，能夠縮短比特隊(duì)列的長度。
在這一步驟中，可以按照從具有最大比特長度開始的遞減順序排列數(shù)據(jù)樣本，并且將其彼此順序相連。通過這一操作，首標(biāo)和宏塊之間的字節(jié)校準(zhǔn)(被確定，這有助于硬件和軟件對數(shù)據(jù)的處理。
宏塊的循環(huán)值和比特長度可以存儲在首標(biāo)中?？梢詫陦K施加縮放因子，并且所述縮放因子的信息也可以存儲在首標(biāo)中。
利用根據(jù)本發(fā)明的數(shù)據(jù)編碼技術(shù)，當(dāng)已知再現(xiàn)數(shù)據(jù)所需的最低級，并且能夠通過將數(shù)據(jù)分解到最低級，以充分高效率的編碼代碼對數(shù)據(jù)進(jìn)行編碼時，也能夠基于相同的概念實(shí)現(xiàn)從最低級開始的流結(jié)構(gòu)，從而實(shí)現(xiàn)可縮放性。
此外，利用根據(jù)本發(fā)明的數(shù)據(jù)編碼技術(shù)，當(dāng)在原始球面再現(xiàn)編碼后的數(shù)據(jù)時，可以通過將再現(xiàn)的下一級的球面小波函數(shù)值放置在與當(dāng)前重新排列級的三角形的位置相同的位置，來執(zhí)行局部提取。
此外，利用根據(jù)本發(fā)明的數(shù)據(jù)編碼技術(shù)，可以對將要再現(xiàn)的不同部分指定不同的分辨率。例如，當(dāng)將要放大一個人的面部時，只需要重新排列該部分的圖像數(shù)據(jù)。此外，如果不產(chǎn)生任何負(fù)面的視覺影響，可以對全圓周圖像本身的不同部分指定不同級別的分辨率。在這種情況下，為了再現(xiàn)具有較低級別分辨率的部分，不需要較高級別的球面小波函數(shù)值，因此，可以減少總數(shù)據(jù)量。
在本發(fā)明的第二實(shí)施例中，本發(fā)明提供了一種計(jì)算機(jī)程序，該程序以計(jì)算機(jī)可讀的形式描述，使得用于對映射在球面上的數(shù)據(jù)進(jìn)行編碼的處理能夠在一個計(jì)算機(jī)系統(tǒng)中執(zhí)行。該計(jì)算機(jī)程序包含數(shù)據(jù)變換步驟，對映射在球面上的數(shù)據(jù)施行球面小波變換，以順序生成在第0級的球面和在第j級的球面的縮放函數(shù)Φk(j)的系數(shù)ck(j)和小波函數(shù)Ψk(j)的值dk，m(j)(其中，k指示在球面上的坐標(biāo)值，m＝1，2，3)，其中，在第0級的球面近似成正多邊形，在第j級的球面，在第0級每一個構(gòu)成近似球面的多面體的一面的三角形被遞歸四等分(j1或大于1的整數(shù))；和數(shù)據(jù)流準(zhǔn)備步驟，根據(jù)在球面上的位置關(guān)系重新排列縮放函數(shù)Φk(j)中的系數(shù)ck(j)和小波函數(shù)Ψk(j)的值dk，m(j)。
根據(jù)本發(fā)明的第二實(shí)施例的計(jì)算機(jī)程序以計(jì)算機(jī)可讀的形式描述，使得預(yù)定的處理能夠在一個計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)。換句話說，通過安裝根據(jù)本發(fā)明的第二實(shí)施例的計(jì)算機(jī)程序，在計(jì)算機(jī)系統(tǒng)上能夠獲得合成效果，并且能夠獲得與根據(jù)本發(fā)明的第一實(shí)施例的數(shù)據(jù)編碼器所提供的優(yōu)點(diǎn)相同的優(yōu)點(diǎn)。
下面，參照附圖更詳細(xì)的說明本發(fā)明的實(shí)施例，通過這些說明，將能夠理解本發(fā)明的其它目的、特點(diǎn)和優(yōu)點(diǎn)。


圖1示出了利用使用球面哈爾基的球面小波分解和重構(gòu)球面的方法；圖2示出了球面哈爾基的一般表現(xiàn)形式；圖3是示出根據(jù)本發(fā)明的一個實(shí)施例通過可變強(qiáng)度編碼獲得的數(shù)據(jù)流的結(jié)構(gòu)示意圖；圖4示出了首標(biāo)的結(jié)構(gòu)；圖5示出了存儲宏塊數(shù)據(jù)的方法；圖6示出了從球面分解出的三角形(函數(shù)值)的標(biāo)識符分配格式的例子；圖7示出了流格式的結(jié)構(gòu)示意圖；圖8是示出了將按每一級排列的球面小波函數(shù)值根據(jù)球面坐標(biāo)值重新排列后的位置的示意圖；圖9是示出了表達(dá)式(12)表達(dá)的隊(duì)列(array)樹結(jié)構(gòu)的排列順序的視圖；圖10是示出了圖9所示的具體流結(jié)構(gòu)的視圖；
圖11是示出了最低為3級的數(shù)據(jù)序列樹結(jié)構(gòu)；圖12是示出了MDCT和IMDCT處理流程的示意圖；圖13是示意性示出了根據(jù)本發(fā)明的實(shí)施例已經(jīng)經(jīng)過可變長度編碼的數(shù)據(jù)流的結(jié)構(gòu)的視圖；圖14是示出了首標(biāo)的結(jié)構(gòu)的視圖；圖15是說明了存儲宏塊數(shù)據(jù)的方法的視圖；圖16是示意性示出了流格式的結(jié)構(gòu)的視圖；圖17是示出了根據(jù)d2的標(biāo)識符順序，在頻譜間順序插入(interleave)三角形的例子；圖18是示出了具體的流結(jié)構(gòu)的視圖；和圖19是示出了一種將球面上的數(shù)據(jù)展開到平面上的方法(根據(jù)相關(guān)技術(shù))的視圖。
具體實(shí)施例下面參考附圖對本發(fā)明的實(shí)施例進(jìn)行說明。
從空間中某一觀察點(diǎn)觀看時，例如，利用以觀察點(diǎn)為中心的球面上的針孔鏡頭，獲得的包含顏色和亮度數(shù)據(jù)的映射圖像信息構(gòu)成了全圓周圖像。將上述方法獲得的全圓周圖像投影到二維平面上時(參照圖19)，映射了數(shù)據(jù)的二維平面的上面和下面部分(例如，世界地圖的兩極部分)的失真會變大(或者說，與接近赤道的部分相比，密度變低了)。
為了解決投影到平面產(chǎn)生的問題，并實(shí)現(xiàn)例如局部分解或局部配送的空間可縮放性(scalability)，本發(fā)明使用一種通過球面正交展開(spherical-orthogonal development)描述全圓周圖像(或者其它映射到球面的數(shù)據(jù))的方法。
可以通過一些方法進(jìn)行球面正交展開，例如，使用球面諧波函數(shù)的方法，或者使用球面小波變換(參考，例如，“使用球面正交展開描述全景全圓周圖像”，Higuchi等，3D圖像會議’99，會話1-6，第31到36頁，1999年6月)的方法。
使用球面諧波函數(shù)會使函數(shù)值變得過大，因此當(dāng)維數(shù)高于預(yù)定的級數(shù)時，不可能使用雙精度實(shí)數(shù)處理，并且需要一種特殊的計(jì)算方法。
相反，在使用球面小波變換的方法中，使用了通過擴(kuò)展球面上的哈爾基所獲得的基，從而可以簡化各級之間的參照(reference)關(guān)系。進(jìn)一步的計(jì)算很簡單，并且具有適應(yīng)性，因此這種方法很容易在具體應(yīng)用中使用。
在本實(shí)施例中，將球面小波變換作為球面正交變換使用，通過這種方法提供一種用于對映射在球面的數(shù)據(jù)進(jìn)行編碼的編碼方法，這種編碼方法允許壓縮編碼，并具有例如局部分解或局部配送的空間可放縮性。
A.球面小波首先，對使用球面哈爾基的球面小波數(shù)學(xué)模型進(jìn)行說明。
在使用球面哈爾基的球面小波中，首先，球面用由多個正三角形構(gòu)成的多面體近似(投影到)，并且每個構(gòu)成多面體一面的正三角形都被遞歸(regressively)四等分。進(jìn)而一個正三角形由四個正三角形重構(gòu)。小波是能夠快速分解數(shù)據(jù)的構(gòu)造塊，并且數(shù)據(jù)原始表達(dá)式和該數(shù)據(jù)的小波表達(dá)式之間轉(zhuǎn)換所需的時間與數(shù)據(jù)量成正比。
使用多面體近似球面是很有效率的，因?yàn)楫?dāng)作為構(gòu)成(constituent)面的三角形的數(shù)目增大時，分辨率也隨之變高?；谏鲜鲈颍诒緦?shí)施例中，球面由正二十面體近似(投影)，該二十面體包含最大數(shù)目的構(gòu)成三角形。在下面的說明中，定義構(gòu)成原始二十面體的那級三角形為0級，遞歸四等分0級三角形而順序獲得的各級三角形被定義為1級、2級，以此類推(如圖1所示)。
級數(shù)越高，意味著球面由更多的三角形近似。換句話說，當(dāng)通過分割球面獲得的三角形被看作是例如顏色或亮度的圖像數(shù)據(jù)映射到其上的像素時，較高的級提供分辨率較高的較精確的圖像，并且較低的級提供具有較低分辨率的較粗略的圖像。例如，通過對j級的4個三角形的像素?cái)?shù)據(jù)進(jìn)行平均，可以獲得j-1級的一個三角形。降低級數(shù)對應(yīng)于對映射在球面的數(shù)據(jù)進(jìn)行壓縮編碼，相反提高級數(shù)對應(yīng)于對映射在球面的數(shù)據(jù)進(jìn)行解碼。
小波是根據(jù)級數(shù)表示預(yù)定函數(shù)的基函數(shù)。小波通常由縮放(scaling)函數(shù)形成，并且j級的縮放函數(shù)或小波可以由具有相同形式的更精確一級的j+1級的縮放函數(shù)的線性組合表示?？s放函數(shù)Φk(j)和小波函數(shù)Ψk(j)分別由下面的公式(1)和公式(2)定義Ψk(j)=Tj(j)...(1)]]>
Ψk,m(j)=Σi=03qm,lΦ4k+1(j+1),(m=1,2,3)...(2)]]>在上面的公式中，k指示在球面上的坐標(biāo)值。Tk(j)是一個函數(shù)，僅當(dāng)位于j級球面坐標(biāo)k的三角形區(qū)域內(nèi)時函數(shù)值才為1，在其它區(qū)域值為0。圖2示出了球面哈爾基的一般形式。
小波由縮放函數(shù)形成，而j級的縮放函數(shù)或小波由具有相同形式的更精確一級(分解)的j+1級縮放函數(shù)的線性組合定義。使用球面哈爾基的球面小波變換分解算法用下面的公式(3)表示。此外，球面小波變換的重構(gòu)算法用下面的公式(4)表示。通過分解算法，對映射在球面上的數(shù)據(jù)在更精確的一級進(jìn)行解碼，而通過重構(gòu)算法，將映射在球面上的數(shù)據(jù)編碼成在更粗略一級的數(shù)據(jù)。
ck(j-1)=14Σi=03glc4k+1(j)]]>dk,m(j-1)=Σi=03hm,lc4k+1(j),(m=1,2,3)...(3)]]>c4k+1(j)=Plcj(j-1)+Σm=03qm,ld4k+1(j),(m=1,2,3)...(4)]]>在這里，級數(shù){g1}、{hm，1}、{p1}、{qm，1}可以根據(jù)如下面的公式(5)和公式(6)所定義的二級關(guān)系(tow-scale relation)和正交條件確定。
{gl}＝{pl}＝1(l＝0，1，2，3) …(5)h1,0h1,1h1,2h1,3h2,0h2,1h2,2h2,3h3,0h3,1h3,2h3,3]]>=q1,0q1,1q1,2q1,3q2,0q2,1q2,2q2,3q3,0q3,1q3,2q3,3]]>
=56-16-12-16-1656-12-16-16-16-1256...(6)]]>通過上述說明可以推出，利用低一級的縮放函數(shù)Φk(j-1)的系數(shù)ck(j-1)和三種不同類型球面小波函數(shù)Ψk(j-1)的值dk，m(j-1)，可以計(jì)算出縮放函數(shù)Φk(j)的系數(shù)ck(j)(其中，m＝1，2，3)。通過順序?qū)⒓墧?shù)降低到0級來分解和重構(gòu)第N級的球面信息所需的信息由下面的公式(7)表示ck0(k＝0，1，…，19)dm，kj(m＝1，2，3)(k＝0，1，…，20×4(j)-1j＝0，1，…，N-1) …(7)每一級的dk，m(j)如下所示。(j)指示級數(shù)。
dm，k(0)(m＝1，2，3)(k＝0，1，…，19)dm，k(1)(m＝1，2，3)(k＝0，1，…，79)(＝20×4-1)dm，k(2)(m＝1，2，3)(k＝0，1，…，319)(＝20×42-1)上述每一個值對應(yīng)于映射到每個三角形的像素值和每一級的小波函數(shù)值，其中所述的三角形就是構(gòu)成用來近似球面的正二十面體表面的第0級三角形。結(jié)合公式(4)、公式(5)和公式(6)，在第0級重構(gòu)的具體算法如下面的公式(8)所示。
c01=c00+5/6d0,10-1/6d0,20-1/6d0,30...(8)]]>c11=c00-1/6d0,10+5/6d0,20-1/6d0,30]]>c21=c00-1/2d0,10-1/2d0,20-1/2d0,30]]>c31=c00-1/6d0,10-1/6d0,20+5/6d0,30]]>c41=c10+5/6d1,10-1/6d1,20-1/6d1,30]]>c51=c10-1/6d1,10+5/6d1,20-1/6d1,30]]>
c61=c10-1/2d1,10-1/2d1,20-1/2d1,30]]>c71=c10-1/6d1,10-1/6d1,20+5/6d1,30]]>如上面的公式(8)指示，ck1可以由ck0和dk，m0生成。通過公式(4)計(jì)算出dk，m1，從而可以從ck1獲得更高一級的ck2的值。
基于上述原因，只需要第0級的ckj的值。也就是說，通過與第0級像素相對應(yīng)的ck0和每一級的小波函數(shù)值，就可以對每級的像素值進(jìn)行可逆編碼。
當(dāng)對映射在球面的數(shù)據(jù)，例如全圓周圖像數(shù)據(jù)，施行球面小波變換之時，在輸出數(shù)據(jù)中縮放系數(shù)和小波函數(shù)值按每一級排列。當(dāng)不與球面坐標(biāo)相對應(yīng)的數(shù)據(jù)序列被變換成數(shù)據(jù)流時，不能獲得例如局部分解或便于局部配送的空間可縮放性。因此，在本實(shí)施例中，根據(jù)球面上的位置關(guān)系重新排列按每一級排列的縮放函數(shù)Φk(j)的系數(shù)ck(j)和小波函數(shù)Ψk(j)的值dk，m(j)，以獲得數(shù)據(jù)流。
B.使用可變長度編碼的高效率編碼可以說球面小波變換的分解算法允許空間頻率的分割。利用這一特點(diǎn)，有可能實(shí)現(xiàn)高效率編碼。本發(fā)明人提出了一種利用球面每一級的臨近坐標(biāo)的相關(guān)性進(jìn)行可變長度編碼的方法。
哈夫曼編碼方法或LZ系統(tǒng)是典型的可變長度編碼方法。這些方法是用于對文本中的字符進(jìn)行編碼的方法。在本說明書中，本發(fā)明人提出了一種可變長度編碼系統(tǒng)，允許最小化解碼端所需資源、提高實(shí)時處理的適應(yīng)性以及處理8比特或更多的信號。
之所以要求處理8比特或更多的信號的能力，是因?yàn)榍蛎嫘〔ㄗ儞Q也會計(jì)算負(fù)值，并且很有可能會計(jì)算9比特長度的值。
圖3到圖5示意性地示出了通過根據(jù)本發(fā)明的可變長度編碼所獲得的數(shù)據(jù)流。如圖所示，包含后續(xù)(meta)信息的1字節(jié)首標(biāo)預(yù)置在開頭位置，隨后是數(shù)據(jù)區(qū)。
在數(shù)據(jù)區(qū)，包括8個樣本信號的區(qū)域被定義為宏塊，并且，當(dāng)隨后的宏塊具有相同的比特長度時，直接將這些塊組合在一起，不再提供首標(biāo)。首標(biāo)包含說明下一個首標(biāo)出現(xiàn)之前重復(fù)的宏塊的數(shù)目和宏塊比特長度的信息(參見圖4)。具有相同比特長度的宏塊和一個首標(biāo)組成一個單元。
圖5示出了宏塊存儲數(shù)據(jù)的方法。在一個宏塊中，每個樣本的比特長度都被設(shè)置成與8個數(shù)據(jù)樣本中的最長比特長度相等，并且順序連接每個樣本以便存儲。在圖5所示的例子中，在8個數(shù)據(jù)樣本中最長比特長度為3比特。在這種情況下，整個宏塊的總字節(jié)長度為3字節(jié)。
通過使用上述結(jié)構(gòu)，確定了首標(biāo)和宏塊之間的字節(jié)校準(zhǔn)，這使得硬件和軟件易于處理。
在圖4所示的例子中，首標(biāo)具有8比特長度，但是宏塊的遞歸(recursive)值被存儲在前4比特。因此，即使連續(xù)出現(xiàn)16或更多具有相同比特長度的宏塊，在一個數(shù)據(jù)塊中能容納的最大宏塊數(shù)目也僅為16個。此外，數(shù)據(jù)塊中容納的宏塊的比特長度存儲在后4比特。
通過使用上述可變長度編碼方法，能夠縮短比特隊(duì)列的長度。
此外，在本說明書中，發(fā)明人提出了一種允許通過使用縮放因子實(shí)現(xiàn)高效率編碼的方法。
如果宏塊中的所有8個數(shù)據(jù)樣本都具有相同的比特長度，在該宏塊中能夠減少1字節(jié)。
例如，當(dāng)一個宏塊中的所有8個樣本都分別具有在-256到-129范圍內(nèi)或在128到255范圍內(nèi)的值時，所有這些樣本都具有8比特長度，從而該宏塊中的數(shù)據(jù)區(qū)具有8字節(jié)。
在這種情況下，當(dāng)為正值時，減去128，當(dāng)為負(fù)值時，加上128。這樣，宏塊中每個樣本的值都在-128到-1＜0到127的范圍內(nèi)，這可以用7比特表示。
因此縮放因子信息存儲在首標(biāo)的比特長度部分。
0到9比特長度，不包含縮放因子a比特長度4，包含縮放因子…f比特長度9，包含縮放因子C.流格式通過對球面小波變換分解出的值施行可變長度編碼，實(shí)現(xiàn)了具有如下功能的流格式(1)高效率編碼(2)分辨率可縮放性(3)圖像信息的局部提取(extraction)在球面小波變換中，首先，使用由多個正三角形構(gòu)成的多面體近似(映射)球面，并且每個構(gòu)成多面體的一面的正三角形都按上述方法遞歸(recursively)四等分。
圖6示出了對從球面分解出的三角形(函數(shù)值)的標(biāo)識符分配格式的例子。在該圖的左手邊，示出了構(gòu)成近似球面的第0級多面體表面的三角形的標(biāo)識符。在該圖的右手邊，示出了當(dāng)每個正三角形被分解時分配標(biāo)識符的規(guī)則。
當(dāng)對例如全圓周圖像的映射在球面上的數(shù)據(jù)施行球面小波變換時，縮放系數(shù)和小波函數(shù)值分級排列(arrayed)。在本實(shí)施例中，為了獲得由局部分解或局部配送的可縮放性帶來的便利性，將分級排列的縮放函數(shù)Φk(j)的系數(shù)ck(j)和小波函數(shù)Ψk(j)的值dk，m(j)按照在球面上的位置關(guān)系重新排列，以構(gòu)成數(shù)據(jù)流。出于這個目的，將通過球面小波變換獲得的每一級的小波函數(shù)Ψk(j)的值dk，m(j)按照在第0級的正三角形Tr1、Tr2、...進(jìn)行劃分(參照圖7)。之后，將按照三角形Tr1、Tr2、...劃分的第j+1級的球面小波函數(shù)值組合到相應(yīng)的第j級正三角形的球面小波函數(shù)的后面(參照圖8)。
例如，當(dāng)映射在球面上的數(shù)據(jù)是例如全圓周圖像的圖像信息時，包含在正三角形Tr1、Tr2、...內(nèi)的信息是第0級的縮放系數(shù)，也就是R、G和B值。根據(jù)在球面上的坐標(biāo)，將這些通過球面小波變換分解得到的值進(jìn)一步分配給正三角形Tr1、Tr2、...、Tr19，并且按照下述方法彼此連接。N指示最高級數(shù)。
c0[R，G，B]d00[R，G，B]，d01[R，G，B]，d02[R，G，B]d10[R，G，B]_k，d11[R，G，B]_k，d12[R，G，B]_k(k＝0，1，2，3)dN-10[R，G，B]_k，dN-11[R，G，B]_k，dN-12[R，G，B]_k(k＝0，1，2，3，…，4N-1)下面說明每個正三角形Tr的數(shù)據(jù)流格式。
表達(dá)式(9)示出了當(dāng)最高級數(shù)為N時要存儲的信息的隊(duì)列。
c0[R，G，B]d0[3][R，G，B]
d1[3][4][R，G，B]d2[3][16][R，G，B] …(9)d3[3][64][R，G，B]dN-1[3][4N][R，G，B]在上面的表達(dá)式中，d*[3]對應(yīng)于三種類型的球面小波函數(shù)。位于d1及d1之后的中間位置的隊(duì)列是劃分而成的三角形的標(biāo)識符。
在這里，首先，將每個被劃分而成的三角形在第0級的縮放函數(shù)值和在第0級到第N-1級的球面小波函數(shù)值按照每個R、G和B顏色分量彼此分離，并且根據(jù)標(biāo)識符順序排列，也就是說，根據(jù)在球面上的坐標(biāo)順序排列，并且按照R、G和B的順序彼此連接。
通過上述操作，當(dāng)對每8個樣本執(zhí)行可變長度編碼時，能夠利用空間相關(guān)性。
對于上述公式(8)所表達(dá)的數(shù)據(jù)，將在第一級的球面小波函數(shù)的值d1之后的正三角形標(biāo)識符劃分成4的組合，由此獲得的隊(duì)列如下面的表達(dá)式(10)所示c0_R， c0_G， c0_B，d0[3]_R，d0[3]_G，d0[3]_B，d0-31[3][4]_R， d0-31[3][4]_G， d0-31[3][4]_B，d0-32[3][4][4]_R， d0-32[3][4][4]_G，d0-32[3][4][4]_B，…(10)d0-33[3][4][4][4]_R，d0-33[3][4][4][4]_G， d0-33[3][4][4][4]_B，  d0-3N-1[3][4][4]…[4]_R， d0-3N-1[3][4][4]…[4]_G， d0-3N-1[3][4][4]…[4]_B，此外，分別排列每一個球面小波函數(shù)的球面小波函數(shù)值d*，并且利用下面的表達(dá)式(11)進(jìn)行變換。換句話說，大體上按照R、G和B為數(shù)據(jù)分組，并且在相同顏色內(nèi)排列每個球面小波函數(shù)的數(shù)據(jù)。
{d2[]
，d2[]
[1]，d2[]
[2]，d2[]
[3]，d2[][1]
，d2[][1][1]，d2[][1][2]，d2[]
[4]，
d2[][2]
，d2[][2][1]，d2[][2][2]，d2[][2][3]，d2[][3]
，d2[][3][1]，d2[][3][2]，d2[][3][4]，}{d2[]
，d2[]
[1]，d2[]
[2]，d2[]
[3]，d2[]
[4]，d2[]
[5]，d2[]
[6]，d2[]
[7]，…(11)d2[][1]
，d2[][1][1]，d2[][1][2]，d2[][1][3]，d2[][1][4]，d2[][1][5]，d2[][1][6]，d2[][1][7]，}在第2級及其后的級，四個數(shù)據(jù)樣本在同一數(shù)據(jù)中出現(xiàn)兩0次，這使得相同顏色的8個數(shù)據(jù)樣本連續(xù)排列，因此數(shù)據(jù)的相關(guān)性變高。表達(dá)式(11)示出了第2級的情況，表達(dá)式(12)示出了該結(jié)構(gòu)。
c0_R， c0_G，c0_B，d0_R， d0_G，d0_B，d0-21
_R， d0-21
_G， d0-21
_B，d0-22[2][8]_R，d0-22[2][8]_G，d0-22[2][8]_B，…(12)d0-23[4][4][2][8]_R， d0-23[4][4][2][8]_G， d0-23[4][4][2][8]_B，  d0-2N-1[4]…[2][8]_R， d0-2N-1[4]…[2][8]_G， d0-2N-1[4]…[2][8]_B，圖9示出了表達(dá)式(12)所示的隊(duì)列順序的隊(duì)列樹結(jié)構(gòu)。在圖9所示的情況中，最高的級為5。進(jìn)而圖10示出了如圖9所示的具體例子的流結(jié)構(gòu)(注意，為簡明起見，其最高級為4)。
通過對上述排列的數(shù)據(jù)流進(jìn)行可變長度編碼，能夠?qū)崿F(xiàn)高效率編碼。
下面說明根據(jù)本實(shí)施例的流格式的可縮放性。
將通過對映射在球面的數(shù)據(jù)進(jìn)行球面小波變換而獲得的數(shù)據(jù)變換成具有圖9和圖10所示結(jié)構(gòu)的數(shù)據(jù)流，利用這種方法可以簡便地獲得c1[20][4]、c2[20][16]、c3[20][64]、...、cN[20][4N]。
在這一步驟中，當(dāng)已知再現(xiàn)圖像所需的最低級或類似的信息，并且能夠通過將數(shù)據(jù)分解到最低級執(zhí)行效率足夠高的編碼時，也能夠根據(jù)下面將要說明的處理順序?qū)崿F(xiàn)從最低級開始的流結(jié)構(gòu)。
圖11示出了當(dāng)最低級為，例如，3時的數(shù)據(jù)隊(duì)列樹結(jié)構(gòu)。雖然為簡單起見，在圖中沒有示出符號R、G和B，但是數(shù)據(jù)是按照如上所述的方法按照每個R、G和B分量彼此組合的。而且，下面的說明假定使用在第0級的三角形近似球面。通過使用上述結(jié)構(gòu)，具有高度相關(guān)性的樣本連續(xù)出現(xiàn)，因此能夠方便地準(zhǔn)備宏塊。
下面說明具有根據(jù)本發(fā)明的格式的數(shù)據(jù)流的局部提取和局部重構(gòu)。
通過對映射在球面的數(shù)據(jù)施行球面小波變換，將其變換為具有如圖10和圖11所示結(jié)構(gòu)的數(shù)據(jù)流，利用這種方法，當(dāng)在原始球面重構(gòu)編碼后的數(shù)據(jù)時，可以通過將重構(gòu)的下一級的球面小波函數(shù)值放置在與當(dāng)前重構(gòu)級的三角形的位置相同的位置來執(zhí)行局部提取。
此外，根據(jù)上述處理順序，可以為一幅圖像的不同部分指定不同的分辨率。例如，當(dāng)放大一個人的面部時，可以只重構(gòu)圖像的該部分。此外，如果不存在視覺影響，還可以為全圓周圖像本身的不同部分指定不同的分辨率。在這個例子中，在具有較低分辨率的部分不需要較高級的球面小波函數(shù)值，因此，可以減少總數(shù)據(jù)量。在這種情況下，例如在球面上的圖像的數(shù)據(jù)的位置和級值之間的對應(yīng)關(guān)系可以作為后續(xù)信息添加。
D.聲場數(shù)據(jù)的高效率編碼如果有可能完全控制一個表面的聲壓和粒子在該表面法線方向的速率，則根據(jù)基爾霍夫積分公式，就可以完全再現(xiàn)封閉表面S的內(nèi)部區(qū)域D中的聲場。換句話說，通過將聲壓和粒子速率的數(shù)據(jù)映射到球面上，就能夠處理在寬的范圍內(nèi)可再現(xiàn)的聲場。這里，對使用球面小波的高效率編碼進(jìn)行檢查。
通過球面小波變換的分解算法允許空間頻率的劃分。利用這一特性，能夠?qū)崿F(xiàn)高效率編碼。此外，通過執(zhí)行沿時間軸的正交變換，能夠?qū)⑿盘栕儞Q成頻譜信息，從而能夠以更高的效率執(zhí)行編碼。在本實(shí)施例中，使用MDCT(Modified DCT，改進(jìn)DCT)方法作為進(jìn)行時間軸方向的正交變換的手段。
圖12示意性地示出了MDCT和IMDCT的處理流程。根據(jù)下面說明的方法實(shí)現(xiàn)MDCT和IMDCT。
(1)設(shè)置窗口(用于MDCT)在輸入信號x(n)中設(shè)置用于MDCT的窗口w1(n)(0≤n＜2M)。
x1，j(n)＝w1(n)x(n+JM)， 0≤n＜2M…(13)(2)MDTC將經(jīng)過設(shè)置窗口處理的信號X1，j(n)變換為MDCT系數(shù)Xj(k)。
Xj=2(Σn=02M-1x1,j(n)cos(π(2k+1)(2n+M+1)4M))M,0≤k<M...(14)]]>在這一步驟中，從時間線信號的采樣數(shù)2M計(jì)算出M個系數(shù)，這一數(shù)目是2M的一半。被設(shè)置窗口的部分疊加(overlap)到各自樣本的中心，因此計(jì)算出的系數(shù)與時間線信號的數(shù)目相同。
(3)IMDCT用下面的公式(15)對MDCT系數(shù)Xj(k)施行反變換。
X2,j=Σn=0M-1xj(k)cos(π(2k+1)(2n+M+1)4M),0≤n<2M...(15)]]>(4)設(shè)置窗口(用于IMDCT)在經(jīng)過了IMDCT的輸入信號X2，j(n)中設(shè)置用于IMDCT的窗口w2(n)(0≤n＜2M)。
x3，j＝w2(n)x2，j(n)0≤n＜2M…(16)(5)疊加將第(j-1)個X3，j-1(n)的后半部分與第j個X3，j(n)的前半部分彼此組合，以獲得輸出時間信號y(n+JM)。
y(n+JM)＝x3，j-1(n+M)+x3，j(n)0≤n＜M…(17)上述過程中處理的時間窗口滿足如下面的表達(dá)式(18)所示的條件。
W2(n)+w2(n+M)＝1 0≤n＜M…(18)在本實(shí)施例中，使用如下面的表達(dá)式(19)所示的正弦窗口。
Wsin(n)=sinπ(n+12)N,0≤n<M...(19)]]>利用上述操作，通過將球面上的聲壓分布和粒子在球面法線方向的速率變換成空間的頻率和在時間軸方向的頻率，能夠利用球面坐標(biāo)系附近的相關(guān)性實(shí)現(xiàn)可變長度編碼。
哈夫曼編碼和LZ系統(tǒng)是可變長度編碼的代表性技術(shù)，但是這些技術(shù)適用于文本基礎(chǔ)上的字符。在本說明書中，本發(fā)明人提出了能夠充分減少解碼端所需資源的可變長度編碼方法，以提高實(shí)時處理的能力，并處理8比特或更多的信號。
圖13到圖15示意性地示出了經(jīng)過根據(jù)本發(fā)明的可變長度編碼之后的數(shù)據(jù)流的結(jié)構(gòu)。如圖所示，包含后續(xù)信息的1字節(jié)首標(biāo)位于開頭位置，隨后是數(shù)據(jù)區(qū)。
每個數(shù)據(jù)區(qū)包含一個8信號樣本的宏塊，并且當(dāng)隨后的宏塊具有相同的比特長度時，這些數(shù)據(jù)塊直接彼此組合，不再提供首標(biāo)。首標(biāo)說明直到下一個首標(biāo)出現(xiàn)之前的重復(fù)的宏塊的個數(shù)，和宏塊的比特長度(如圖14所示)。這里將重復(fù)的宏塊和首標(biāo)定義為一個單元。
圖15示出了在宏塊中存儲數(shù)據(jù)的方法。
在一個宏塊中，8個樣本按照從具有最大比特長度的樣本開始的遞減順序排列和存儲。在如圖所示的例子中，8個樣本中具有最大比特長度的樣本的比特長度為3比特。在這種情況下，宏塊的總字節(jié)長度為3字節(jié)。
通過上述操作，首標(biāo)和宏塊之間的字節(jié)校準(zhǔn)被確定，并且硬件和軟件能夠很容易地處理被存儲的數(shù)據(jù)。
在圖14所示的例子中，首標(biāo)具有8比特長度，并且宏塊的遞歸值存儲在前面的3比特。因此，即使有8個或更多的宏塊連續(xù)出現(xiàn)，一個數(shù)據(jù)塊容納的宏塊個數(shù)的最大值也只為8。數(shù)據(jù)塊中容納的宏塊的比特長度數(shù)據(jù)存儲在首標(biāo)的后5個比特中。
對通過球面小波分解出的值施行上述的可變長度編碼，能夠?qū)崿F(xiàn)具有下列功能的流格式。
(1)高效率編碼(2)分辨率的可縮放性
(3)表面信息的局部提取在球面小波中，球面由多個正三角形構(gòu)成的正多面體近似(投影)，并且每個構(gòu)成該正多面體一面的正三角形都被遞歸(recursively)四等分(如上所述)。
圖6示出了向從球面分解出的三角形(函數(shù)值)分配標(biāo)識符的格式的例子。在該圖的左側(cè)，示出了構(gòu)成投影到球面的二十面體的第0級正三角形的標(biāo)識符。在該圖的右側(cè)，示出了當(dāng)每個正三角形被進(jìn)一步分解時分配標(biāo)識符的規(guī)則。
當(dāng)對映射在球面上的數(shù)據(jù)，例如用于再現(xiàn)聲場的數(shù)據(jù)，施行球面小波變換時，縮放系數(shù)和小波函數(shù)值在輸出數(shù)據(jù)中分級排列。在本實(shí)施例中，為了獲得局部分解的可縮放性或由局部配送所帶來的便利性，將分級排列的縮放函數(shù)Φk(j)的系數(shù)ck(j)和小波函數(shù)Ψk(j)的值dk，m(j)重新排列成反應(yīng)在球面上的位置關(guān)系隊(duì)列，以構(gòu)成數(shù)據(jù)流。出于這個目的，將通過球面小波變換獲得的每一級的小波函數(shù)Ψk(j)的值dk，m(j)按照如圖6所示的構(gòu)成球面的第0級正三角形Tr1、Tr2、...進(jìn)行劃分。之后，在第j+1級，將按照正三角形Tr1、Tr2、...劃分后的球面小波函數(shù)值附加在相應(yīng)正三角形的球面小波函數(shù)值的結(jié)尾。(參照圖16)。
例如，當(dāng)映射在球面上的數(shù)據(jù)是用于完全再現(xiàn)聲場的表面信息時，包含在每個正三角形Tr1、Tr2、...中的信息是通過對球面上的聲壓和粒子在法線方向的速率施行球面小波變換所獲得的代碼(code)。也就是說，該信息是通過球面小波變換分解出的第0級的縮放系數(shù)、以及每一級的球面小波函數(shù)值(注意，N表示最高級數(shù))。
c0d00，d01，d02d10_k，d11_k，d12_k (k＝0，1，2，3)dN-10_k，dN-11_k，dN-12_k(k＝0，1，2，3，…，4N-1)并且經(jīng)過如上所述對每個數(shù)據(jù)執(zhí)行了MDCT變換的M樣本的頻譜、以及這些代碼連續(xù)出現(xiàn)。
下面說明每個正三角形Tr的數(shù)據(jù)流的格式。
下面的表達(dá)式(20)指示當(dāng)最高級數(shù)為N時將要存儲的信息的隊(duì)列。
-聲壓-c0
d0[3]
d1[3][4]
d2[3][16]
d3[3][64]
dN-1[3][4N]
…(20)-法線方向的粒子速率-c0
d0[3]
d1[3][4]
d2[3][16]
d3[3][64]
dN-1[3][4N]
在上述表達(dá)式中，
指示MDCT變換后的頻譜。d*[3]對應(yīng)于三種類型的球面小波函數(shù)。在d1之后位于中間的隊(duì)列表示劃分成的三角形的標(biāo)識符。
在這一步驟中，根據(jù)標(biāo)識符順序在頻譜之間依次插入一次劃分出的四個三角形。圖17示出的例子中，根據(jù)標(biāo)識符順序在d2的頻譜之間依次插入一次劃分出的四個三角形。插入操作在相同的球面小波函數(shù)中執(zhí)行。
通過上述操作，當(dāng)對每8個數(shù)據(jù)樣本進(jìn)行可變長度編碼時，可以利用空間頻率和時間頻率之間的兩類相關(guān)性。通過插入由表達(dá)式(20)在d1及其之后示出的數(shù)據(jù)，并且將每四個標(biāo)識符捆綁在一起所獲得的隊(duì)列由表達(dá)式(21)示出。在該表達(dá)式中，P指示聲壓，V指示粒子在法線方向的速率。
c0P
， c0V
，d0P[3]
， d0V[3]
，d1P[3]
， d1V[3]
，d2P[3][4]
， d2V[3][4]
，…(21)d3P[3][4][4]
，d3V[3][4][4]
，dN-1P[3][4]…[4]
， dN-1V[3][4]…[4]
，根據(jù)聲壓和粒子在法線方向的速率為每一個球面小波函數(shù)排列d*，并將其變換成表達(dá)式(22)，并且，作為如圖18所示的數(shù)據(jù)隊(duì)列流使用。
c0[P，V]
，d00[P，V]
，d01[P，V]
，d02[P，V][4]
，d03[P，V][4][4]
，…(22)d0N-1[P，V][4]…[4]
，d10[P，V]
， d20[P，V]
，d11[P，V]
， d21[P，V]
，d12[P，V][4]
， d22[P，V][4]
，d13[P，V][4][4]
，d23[P，V][4][4]
， d1N-1[P，V][4]…[4]
， d2N-1[P，V][4]…[4]
，圖18示出了流結(jié)構(gòu)的具體圖像，該流結(jié)構(gòu)指示上述表達(dá)式(21)中的隊(duì)列順序。在圖18所示的例子中，最高級數(shù)為4。而且，只說明了在第0級的一個正三角形，以及隨后的20個數(shù)據(jù)樣本。
在上述表達(dá)式中，[M]指示MDCT變換之后的頻譜，而[4M]指示如圖17所示的經(jīng)過MDCT變換的頻譜被插入之后的數(shù)據(jù)序列。
附加說明以上參照本發(fā)明的具體實(shí)施例對本發(fā)明進(jìn)行了說明。很顯然，本領(lǐng)域的技術(shù)人員可以在不脫離本發(fā)明的實(shí)質(zhì)的情況下對上述實(shí)施例進(jìn)行修改或替換。也就是說，上述本發(fā)明的說明書以舉例為目的提供，不應(yīng)通過狹隘的解釋來理解。為了明確本發(fā)明的實(shí)質(zhì)，應(yīng)參照所附的本發(fā)明的權(quán)利要求書。
工業(yè)適用性本發(fā)明提供了一種優(yōu)秀的數(shù)據(jù)編碼器和數(shù)據(jù)編碼方法，允許方便地對映射在球面上的數(shù)據(jù)進(jìn)行編碼；并且，本發(fā)明還提供了具有相同作用的計(jì)算機(jī)程序。
此外，本發(fā)明提供了一種優(yōu)秀的數(shù)據(jù)編碼器和數(shù)據(jù)編碼方法，允許通過使用預(yù)定的數(shù)學(xué)模型描述映射在球面上的數(shù)據(jù)，方便地對該數(shù)據(jù)進(jìn)行編碼；并且，本發(fā)明還提供了具有相同作用的計(jì)算機(jī)程序。
此外，本發(fā)明提供了一種優(yōu)秀的數(shù)據(jù)編碼器和數(shù)據(jù)編碼方法，允許通過實(shí)現(xiàn)局部分解和局部配送的格式，方便地對映射在球面上的數(shù)據(jù)進(jìn)行編碼；并且，本發(fā)明還提供了具有相同作用的計(jì)算機(jī)程序。
根據(jù)本發(fā)明的數(shù)據(jù)編碼器，通過按照在球面上的位置關(guān)系對分級排列的縮放函數(shù)Φk(j)的系數(shù)ck(j)和小波函數(shù)Ψk(j)的值dk，m(j)進(jìn)行重新排列，以準(zhǔn)備數(shù)據(jù)流。
因此，利用根據(jù)本發(fā)明的數(shù)據(jù)編碼，當(dāng)已知再現(xiàn)數(shù)據(jù)所需的最低級時，通過分解到該級，能夠以高效率代碼執(zhí)行數(shù)據(jù)編碼，并且能夠利用相同的概念實(shí)現(xiàn)從最低級開始的流結(jié)構(gòu)，從而能夠?qū)崿F(xiàn)可縮放性。
此外，利用本發(fā)明的數(shù)據(jù)編碼，當(dāng)在原始球面上重構(gòu)被編碼的數(shù)據(jù)時，能夠通過在下一級中與當(dāng)前重構(gòu)的三角形的位置相同的位置放置球面小波函數(shù)值，實(shí)現(xiàn)局部提取。
此外，利用本發(fā)明的數(shù)據(jù)編碼，可以對將要再現(xiàn)的圖像的不同部分設(shè)定不同等級的分辨率。例如，當(dāng)放大一個人的面部時，可以只重構(gòu)該部分。此外，如果不存在視覺影響，可以對全圓周圖像的不同部分設(shè)定不同的分辨率。在這種情況下，在較低級的部分不需要較高級的球面小波函數(shù)值，因此可以減少數(shù)據(jù)總量。
權(quán)利要求
1.一種用于對映射在球面上的數(shù)據(jù)進(jìn)行編碼的數(shù)據(jù)編碼器，包括數(shù)據(jù)變換裝置，用于對映射在球面上的數(shù)據(jù)施行球面小波變換，以順序地生成用于第0級的球面和第j級的球面的縮放函數(shù)Φk(j)的系數(shù)ck(j)和小波函數(shù)ψk(j)的值dk，m(j)(其中，k指示球面上的坐標(biāo)值，m＝1、2、3)，其中，在第0級，球面被近似為正多面體，在第j級，每一個構(gòu)成在第0級近似球面的多面體的一面的三角形被遞歸四等分(j1或更大的整數(shù))；以及數(shù)據(jù)流準(zhǔn)備裝置，用于根據(jù)在球面上的位置關(guān)系重新排列縮放函數(shù)Φk(j)的系數(shù)ck(j)和小波函數(shù)ψk(j)的值dk，m(j)。
2.如權(quán)利要求1所述的數(shù)據(jù)編碼器，還包括用于對重新排列的數(shù)據(jù)流進(jìn)行編碼的裝置。
3.如權(quán)利要求1所述的數(shù)據(jù)編碼器，其中，所述數(shù)據(jù)變換裝置輸出映射在每個構(gòu)成第0級近似球面的多面體的一面的三角形上的數(shù)據(jù)值，和每一級的球面小波函數(shù)值。
4.如權(quán)利要求3所述的數(shù)據(jù)編碼器，其中，所述數(shù)據(jù)流準(zhǔn)備裝置根據(jù)球面上的坐標(biāo)，將在最高到第j級的球面小波函數(shù)的值重新排列成數(shù)據(jù)流，并且，根據(jù)在球面上的坐標(biāo)，劃分這些數(shù)據(jù)值以提供用于插入的位置，并且進(jìn)一步根據(jù)球面上的坐標(biāo)劃分第j+1級的球面小波函數(shù)的值，以便將這些值組合到相應(yīng)的用于插入的位置。
5.如權(quán)利要求1所述的數(shù)據(jù)編碼器，其中所述數(shù)據(jù)變換裝置對映射在球面上的具有包含顏色和亮度在內(nèi)的圖像數(shù)據(jù)的圖像信息施行球面小波變換，以獲得第0級的縮放函數(shù)值和每一級的球面小波函數(shù)值；并且所述數(shù)據(jù)流準(zhǔn)備裝置根據(jù)在球面上的坐標(biāo)，并且根據(jù)第0級的每一個近似球面的正三角形，劃分各個級的球面小波函數(shù)的值；分離每一個被劃分的正三角形的第0級的縮放函數(shù)的值，并且分離每一個顏色分量的每一級的球面小波函數(shù)的值；根據(jù)在預(yù)定的級的近似球面的正三角形排列被分離的值；根據(jù)顏色順序組合這些值；并且排列每一個球面小波函數(shù)的數(shù)據(jù)。
6.如權(quán)利要求5所述的數(shù)據(jù)編碼器，其中，所述數(shù)據(jù)流準(zhǔn)備裝置在相同顏色的四個數(shù)據(jù)樣本在第二級或更高級出現(xiàn)兩次的情況下，排列相同顏色的預(yù)定數(shù)目的數(shù)據(jù)樣本。
7.如權(quán)利要求1所述的數(shù)據(jù)編碼器，其中所述數(shù)據(jù)變換裝置，對球面上的包含聲壓數(shù)據(jù)和與粒子在表面法線方向上的速率相關(guān)的數(shù)據(jù)在內(nèi)的，并且用于再現(xiàn)在給定內(nèi)部區(qū)域里的聲場的數(shù)據(jù)，施行球面小波變換；并且所述數(shù)據(jù)流準(zhǔn)備裝置對通過球面小波變換分解得到的每一個數(shù)據(jù)施行MDCT變換，以獲得M采樣的頻譜；根據(jù)在指定級近似球面的正三角形排列數(shù)據(jù)；在頻譜之間插入數(shù)據(jù)；并且進(jìn)一步排列每個球面小波函數(shù)的插入后的數(shù)據(jù)。
8.如權(quán)利要求7所述的數(shù)據(jù)編碼器，其中，所述數(shù)據(jù)流準(zhǔn)備裝置排列每一個球面小波函數(shù)的球面小波函數(shù)的值，然后，根據(jù)聲壓和在法線方向上的粒子的速率的順序排列該數(shù)據(jù)。
9.如權(quán)利要求2所述的數(shù)據(jù)編碼器，其中，所述數(shù)據(jù)流編碼裝置將預(yù)定數(shù)目的數(shù)據(jù)樣本作為一個宏塊，對其施行可變長度編碼，并且不具有首標(biāo)地直接組合連續(xù)的每個具有相同比特長度的宏塊。
10.如權(quán)利要求9所述的數(shù)據(jù)編碼器，其中，按照從具有最大比特長度開始的遞減順序排列數(shù)據(jù)樣本，并且將其彼此順序相連。
11.如權(quán)利要求9所述的數(shù)據(jù)編碼器，其中，宏塊的遞歸值和宏塊的比特長度存儲在首標(biāo)中。
12.如權(quán)利要求9所述的數(shù)據(jù)編碼器，其中，對宏塊施加縮放因子，并且縮放因子信息存儲在首標(biāo)中。
13.一種用于對映射在球面上的數(shù)據(jù)進(jìn)行編碼的數(shù)據(jù)編碼方法，包括下列步驟對映射在球面上的數(shù)據(jù)施行球面小波變換，以順序地生成用于第0級的球面和第j級的球面的縮放函數(shù)Φk(j)的系數(shù)ck(j)和小波函數(shù)ψk(j)的值dk，m(j)(其中，k指示球面上的坐標(biāo)值，m＝1、2、3)，其中，在第0級，球面被近似為正多面體，在第j級，每一個構(gòu)成在第0級近似球面的多面體的一面的三角形被遞歸四等分(j1或更大的整數(shù))；以及根據(jù)在球面上的位置關(guān)系重新排列縮放函數(shù)Φk(j)的系數(shù)ck(j)和小波函數(shù)ψk(j)的值dk，m(j)。
14.如權(quán)利要求13所述的數(shù)據(jù)編碼方法，還包括對重新排列的數(shù)據(jù)流進(jìn)行編碼的步驟。
15.如權(quán)利要求13所述的數(shù)據(jù)編碼方法，其中，所述數(shù)據(jù)變換步驟輸出映射在每一個在第0級構(gòu)成近似球面的正多面體的一面的正三角形上的數(shù)據(jù)值，以及在每一級的球面小波函數(shù)的值。
16.如權(quán)利要求15所述的數(shù)據(jù)編碼方法，其中，所述數(shù)據(jù)流準(zhǔn)備步驟，根據(jù)在球面上的坐標(biāo)，將最高到第j級的球面小波函數(shù)的值重新排列成數(shù)據(jù)流，并且，根據(jù)在球面上的坐標(biāo)，劃分?jǐn)?shù)據(jù)值以提供用于插入的位置，并且進(jìn)一步根據(jù)在球面上的坐標(biāo)劃分第j+1級的球面小波函數(shù)的值，以便將這些值組合到相應(yīng)的用于插入的位置。
17.如權(quán)利要求13所述的數(shù)據(jù)編碼方法，其中所述數(shù)據(jù)變換步驟對映射在球面上的具有包含顏色和亮度在內(nèi)的圖像數(shù)據(jù)的圖像信息施行球面小波變換，以獲得第0級的縮放函數(shù)的值和每一級的球面小波函數(shù)的值；并且所述數(shù)據(jù)流準(zhǔn)備步驟根據(jù)在球面上的坐標(biāo)，并且根據(jù)第0級的每一個近似球面的正三角形，劃分在各個級的球面小波函數(shù)的值；分離每一個被劃分的正三角形的第0級的縮放函數(shù)的值，并且分離每一個顏色分量的每一級的球面小波函數(shù)的值；根據(jù)在預(yù)定的級的近似球面的正三角形排列被分離的值；根據(jù)顏色順序組合這些值；并且排列每一個球面小波函數(shù)的數(shù)據(jù)。
18.如權(quán)利要求17所述的數(shù)據(jù)編碼方法，其中，所述數(shù)據(jù)流準(zhǔn)備步驟在相同顏色的四個數(shù)據(jù)樣本在第二級或更高級出現(xiàn)兩次的情況下，排列相同顏色的預(yù)定數(shù)目的數(shù)據(jù)樣本。
19.如權(quán)利要求13所述的數(shù)據(jù)編碼方法，其中所述數(shù)據(jù)變換步驟，對球面上的包含聲壓數(shù)據(jù)和與粒子在表面法線方向上的速率相關(guān)的數(shù)據(jù)在內(nèi)的，并且用于再現(xiàn)給定內(nèi)部區(qū)域里的聲場的數(shù)據(jù)，施行球面小波變換；并且所述數(shù)據(jù)流準(zhǔn)備步驟對每一個通過球面小波變換分解得到的數(shù)據(jù)施行MDCT變換，以獲得M采樣的頻譜；根據(jù)在指定級的近似球面的正三角形排列數(shù)據(jù)；在頻譜之間插入數(shù)據(jù)；并且進(jìn)一步排列每個球面小波函數(shù)的插入后的數(shù)據(jù)。
20.如權(quán)利要求19所述的數(shù)據(jù)編碼方法，其中，所述數(shù)據(jù)流準(zhǔn)備步驟排列每一個球面小波函數(shù)的球面小波函數(shù)的值，然后，根據(jù)聲壓和在法線方向上的粒子的速率的順序排列數(shù)據(jù)。
21.一種在計(jì)算機(jī)可讀狀態(tài)中描述、使得用于對映射在球面上的數(shù)據(jù)編碼的處理能夠在一個計(jì)算機(jī)系統(tǒng)中執(zhí)行的計(jì)算機(jī)程序，包括下列步驟對映射在球面上的數(shù)據(jù)施行球面小波變換，以順序地生成用于第0級的球面和第j級的球面的縮放函數(shù)Φk(j)的系數(shù)ck(j)和小波函數(shù)ψk(j)的值dk，m(j)(其中，k指示球面上的坐標(biāo)值，m＝1、2、3)，其中，在第0級，球面被近似為正多面體，在第j級，每一個構(gòu)成在第0級近似球面的多面體的一面的三角形被遞歸四等分(j1或更大的整數(shù))；以及根據(jù)在球面上的位置關(guān)系重新排列縮放每一級函數(shù)Φk(j)的系數(shù)ck(j)和小波函數(shù)ψk(j)的值dk，m(j)。
全文摘要
在本發(fā)明中，以能夠局部分解和局部配送的格式對映射在球面上的數(shù)據(jù)進(jìn)行編碼。當(dāng)對以全圓周圖像的方式映射到球面上的數(shù)據(jù)施行球面小波變換時，輸出數(shù)據(jù)以級為基礎(chǔ)排列其縮放系數(shù)和小波函數(shù)值。當(dāng)根據(jù)在球面上的位置關(guān)系重新排列Φ
文檔編號H04R3/00GK1759616SQ20048000620
公開日2006年4月12日 申請日期2004年2月24日 優(yōu)先權(quán)日2003年3月7日
發(fā)明者中川彰人 申請人:索尼株式會社