專利名稱：一種深度圖像和紋理圖像碼流分配的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字圖像處理技術(shù)，特別地，涉及一種立體電視系統(tǒng)中虛擬視 點(diǎn)圖像繪制的方法
背景技術(shù)：
隨著數(shù)字視頻技術(shù)的快速發(fā)展和廣泛應(yīng)用，人們對(duì)視頻質(zhì)量和形式的要求 越來越高，傳統(tǒng)的二維平面視頻已滿足不了人們對(duì)場(chǎng)景的真實(shí)和自然再現(xiàn)的需 求，因此能夠提供立體感和交互操作功能的立體/多視點(diǎn)視頻技術(shù)越來越受到業(yè) 界的重視。立體/多視點(diǎn)視頻與單目視頻相比，增加了景物深度信息表征，在立 體電視、虛擬視點(diǎn)電視、具有臨場(chǎng)感的可視會(huì)議、虛擬現(xiàn)實(shí)等領(lǐng)域具有廣泛應(yīng)
用前景(見侯春萍,楊蕾，宋曉煒，戴居豐.立體電視技術(shù)綜述.信號(hào)處理.2007. 23-5)。
立體電視系統(tǒng)用戶端的設(shè)計(jì)應(yīng)該滿足復(fù)雜度低、功能實(shí)現(xiàn)簡(jiǎn)單、制造成本 低的要求。因?yàn)橛脩舳说挠?jì)算能力、存儲(chǔ)能力有限，在用戶端應(yīng)該選擇低計(jì)算 量、低存儲(chǔ)容量的虛擬視點(diǎn)圖像繪制算法。歐洲的先進(jìn)立體電視系統(tǒng)技術(shù) (ATTEST)計(jì)劃提出了基于深度相機(jī)的立體場(chǎng)景生成方法，并以此為基礎(chǔ)給出 設(shè)計(jì)了立體電視系統(tǒng)。編碼端將壓縮后的深度圖像傳送給用戶端，用戶端用接 收到的圖像信息進(jìn)行虛擬視點(diǎn)圖像繪制。
深度圖像和紋理圖像碼流分配是立體電視系統(tǒng)中的需要解決的技術(shù)之一。 如果分配給深度圖像的碼流太少，會(huì)引起虛擬視點(diǎn)圖像中物體邊緣形變，影響 虛擬視點(diǎn)圖像繪制的質(zhì)量；如果分配給紋理圖像的碼流太少，會(huì)引起虛擬視點(diǎn) 圖像中物體表面紋理模糊，影響虛擬視點(diǎn)圖像繪制的質(zhì)量。本發(fā)明根據(jù)深度圖 像復(fù)雜度和紋理圖像復(fù)雜度自適應(yīng)分配碼流，提高用戶端所虛擬視點(diǎn)圖像繪制 的質(zhì)量。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種深度圖像和紋理圖像碼流分配的方法。本發(fā)明根 據(jù)深度圖像復(fù)雜度和紋理圖像復(fù)雜度自適應(yīng)分配碼流，提高用戶端所虛擬視點(diǎn) 圖像繪制的質(zhì)量。它包括如下步驟
1) 根據(jù)深度圖象中相鄰象素之間亮度差異平方的均值以及亮度差異均值的 平方，計(jì)算深度圖象復(fù)雜度；
2) 根據(jù)紋理圖象中相鄰象素之間亮度差異平方的均值以及亮度差異均值的
平方，計(jì)算紋理圖象復(fù)雜度；
3)根據(jù)深度圖象復(fù)雜度和紋理圖象復(fù)雜度，計(jì)算分配給深度圖像的碼流大 小和分配給紋理圖像的碼流大小。
所述的根據(jù)深度圖象中相鄰象素之間亮度差異平方的均值以及亮度差異均 值的平方，計(jì)算深度圖象復(fù)雜度步驟
a) 根據(jù)下列式子，計(jì)算深度圖象中相鄰象素之間亮度差異平方的均值<formula>formula see original document page 5</formula>其中，—『是橫向方向上相鄰象素之間亮度差異的平方和，— 是縱向方向上相鄰象素之間亮度差異的平方和，De/^戶;c/(w,/0是深度圖像中圖像 坐標(biāo)(w,/0處象素點(diǎn)的亮度值，W深度圖象的圖像寬度，H是深度圖象的圖像寬 度，￡[De;^D#2]是深度圖象中相鄰象素之間亮度差異平方的均值；
b) 根據(jù)下列式子，計(jì)算深度圖象中相鄰象素之間亮度差異平方的均值 <formula>formula see original document page 5</formula>; 其中，—『是橫向方向上相鄰象素之間亮度差異的和，—//是縱向方
向上相鄰象素之間亮度差異的和，De/^A/(vv，;0是深度圖像中圖像坐標(biāo)(w，/0處象 素點(diǎn)的亮度值，W是深度圖象的圖像寬度，H是深度圖象的圖像寬度， 五[￡>印^)#]2是深度圖象中相鄰象素之間亮度差異均值的平方；
C)根據(jù)下列式子，計(jì)算深度圖象復(fù)雜度<formula>formula see original document page 5</formula>
其中，￡[^/^/)#2]是深度圖象中相鄰象素之間亮度差異平方的均值， ￡[￡>e/^Z)#]2是深度圖象中相鄰象素之間亮度差異均值的平方，Z^^/C/^是深度 圖像復(fù)雜度；
所述的根據(jù)紋理圖象中相鄰象素之間亮度差異平方的均值以及亮度差異均 值的平方，計(jì)算紋理圖象復(fù)雜度步驟
d)根據(jù)下列式子，計(jì)算紋理圖象中相鄰象素之間亮度差異平方的均值 <formula>formula see original document page 5</formula>其中，&^#一『是橫向方向上相鄰象素之間亮度差異的平方和，S^"f一i/ 是縱向方向上相鄰象素之間亮度差異的平方和，Co/w/W(w,/0是紋理圖像中圖像 坐標(biāo)(w,A)處象素點(diǎn)的亮度值，W紋理圖象的圖像寬度，H是紋理圖象的圖像寬 度，￡[Co/0^#2]是紋理圖象中相鄰象素之間亮度差異平方的均值；
e) 根據(jù)下列式子，計(jì)算紋理圖象中相鄰象素之間亮度差異平方的均值 可Coto/""^〗2 =+#)/(2 x『x —『-))2;
"i『mv封考，計(jì)i)一co/w尸綠w))2;
—H = m:(Co旨雄+ l，w)-Co/orP,，w))2; 其中，￡>#_『是橫向方向上相鄰象素之間亮度差異的和，"#_//是縱向方 向上相鄰象素之間亮度差異的和，Co/^iW(w,/0是紋理圖像中圖像坐標(biāo)(w，/0處象 素點(diǎn)的亮度值，W是紋理圖象的圖像寬度，H是紋理圖象的圖像寬度， ￡
2是紋理圖象中相鄰象素之間亮度差異均值的平方；
f) 根據(jù)下列式子，計(jì)算紋理圖象復(fù)雜度
其中，￡[。/0^#2]是紋理圖象中相鄰象素之間亮度差異平方的均值， ￡[C0/0r￡ #]2是紋理圖象中相鄰象素之間亮度差異均值的平方，CW0《mP是紋理 圖像復(fù)雜度；
所述的根據(jù)深度圖象復(fù)雜度和紋理圖象復(fù)雜度，計(jì)算分配給深度圖像的碼 流大小和分配給紋理圖像的碼流大小步驟
g) 根據(jù)下列式子，計(jì)算分配給深度圖像的碼流大小
h) 根據(jù)下列式子，計(jì)算分配給紋理圖像的碼流大小


圖1是深度圖像和紋理圖像碼流分配的方法示意圖； 圖2是本發(fā)明方法所得到的壓縮后的深度圖像； 圖3是本發(fā)明方法所得到的壓縮后的紋理圖像。
具體實(shí)施例方式
圖1給出了本發(fā)明的結(jié)構(gòu)示意圖。本發(fā)明提供了一種深度圖像和紋理圖像 碼流分配的方法。它包括如下步驟
步驟1，根據(jù)深度圖象中相鄰象素之間亮度差異平方的均值以及亮度差異均 值的平方，計(jì)算深度圖象復(fù)雜度步驟
a) 根據(jù)下列式子，計(jì)算深度圖象中相鄰象素之間亮度差異平方的均值 <formula>formula see original document page 7</formula>其中，s『d^一w是橫向方向上相鄰象素之間亮度差異的平方和， 是縱向方向上相鄰象素之間亮度差異的平方和，Z)e/^Px/(w,/0是深度圖像中圖像 坐標(biāo) ，/0處象素點(diǎn)的亮度值，W深度圖象的圖像寬度，H是深度圖象的圖像寬 度，E[I)印fM)W2]是深度圖象中相鄰象素之間亮度差異平方的均值；
b) 根據(jù)下列式子，計(jì)算深度圖象中相鄰象素之間亮度差異平方的均值 耶印郝#]2 —《A# —『+ — //) /(2 x『x // -『-))2 ;
"i『=z::2 w+1)-w))2; 其中，"#_『是橫向方向上相鄰象素之間亮度差異的和，1>#_//是縱向方
向上相鄰象素之間亮度差異的和，化/^Px/O,/0是深度圖像中圖像坐標(biāo)(Ma)處象
素點(diǎn)的亮度值，W是深度圖象的圖像寬度，H是深度圖象的圖像寬度，
五[￡)印^￡>#]2是深度圖象中相鄰象素之間亮度差異均值的平方；
c) 根據(jù)下列式子，計(jì)算深度圖象復(fù)雜度
其中，￡[2>;^/)#2]是深度圖象中相鄰象素之間亮度差異平方的均值， M^;^Z)^ 是深度圖象中相鄰象素之間亮度差異均值的平方，"印幼CVm/;是深度
圖像復(fù)雜度；
步驟2，根據(jù)紋理圖象中相鄰象素之間亮度差異平方的均值以及亮度差異均 值的平方，計(jì)算紋理圖象復(fù)雜度步驟
d) 根據(jù)下列式子，計(jì)算紋理圖象中相鄰象素之間亮度差異平方的均值 五
: (S,￡># —『+ 5^￡>#_7/)/(2x『x// —『—/0;
—『=s::。2 (co/。r尸x/(w+1, - co/o^/o,柳2; #—h = z::2 z:—: (<^/。^,,"丄)-o>/o^/o, w)2;
其中，5^0#_『是橫向方向上相鄰象素之間亮度差異的平方和， 是縱向方向上相鄰象素之間亮度差異的平方和，0>/0/"/^(^，/0是紋理圖像中圖像 坐標(biāo)(vv,/0處象素點(diǎn)的亮度值，W紋理圖象的圖像寬度，H是紋理圖象的圖像寬
度，E[Co/onD(T]是紋理圖象中相鄰象素之間亮度差異平方的均值；
e) 根據(jù)下列式子，計(jì)算紋理圖象中相鄰象素之間亮度差異平方的均值 "<formula>formula see original document page 8</formula>其中，『是橫向方向上相鄰象素之間亮度差異的和，i/是縱向方 向上相鄰象素之間亮度差異的和，<formula>formula see original document page 8</formula>是紋理圖像中圖像坐標(biāo)<formula>formula see original document page 8</formula>處象 素點(diǎn)的亮度值，W是紋理圖象的圖像寬度，H是紋理圖象的圖像寬度， ￡
2是紋理圖象中相鄰象素之間亮度差異均值的平方；
f) 根據(jù)下列式子，計(jì)算紋理圖象復(fù)雜度
其中<formula>formula see original document page 8</formula>是紋理圖象中相鄰象素之間亮度差異平方的均值， <formula>formula see original document page 8</formula>是紋理圖象中相鄰象素之間亮度差異均值的平方，是紋理
圖像復(fù)雜度；
步驟3,根據(jù)深度圖象復(fù)雜度和紋理圖象復(fù)雜度，計(jì)算分配給深度圖像的碼 流大小和分配給紋理圖像的碼流大小步驟
g) 根據(jù)下列式子，計(jì)算分配給深度圖像的碼流大小
h) 根據(jù)下列式子，計(jì)算分配給紋理圖像的碼流大小 <formula>formula see original document page 8</formula>本發(fā)明方法所得到的壓縮后的深度圖像如圖2所示，發(fā)明方法所得到的壓
縮后的紋理圖像如圖3所示。
權(quán)利要求
1．一種深度圖像和紋理圖像碼流分配的方法，其特征在于包括如下步驟1)根據(jù)深度圖象中相鄰象素之間亮度差異平方的均值以及亮度差異均值的平方，計(jì)算深度圖象復(fù)雜度；2)根據(jù)紋理圖象中相鄰象素之間亮度差異平方的均值以及亮度差異均值的平方，計(jì)算紋理圖象復(fù)雜度；3)根據(jù)深度圖象復(fù)雜度和紋理圖象復(fù)雜度，計(jì)算分配給深度圖像的碼流大小和分配給紋理圖像的碼流大小。
2. 根據(jù)權(quán)利要求1所述的一種深度圖像和紋理圖像碼流分配的方法，其特征在于，所述的根據(jù)深度圖象中相鄰象素之間亮度差異平方的均值以及亮度差異均值的平方，計(jì)算深度圖象復(fù)雜度步驟a) 根據(jù)下列式子，計(jì)算深度圖象中相鄰象素之間亮度差異平方的均值 <formula>formula see original document page 2</formula>其中，S『Z)# —F是橫向方向上相鄰象素之間亮度差異的平方和，—if 是縱向方向上相鄰象素之間亮度差異的平方和，D印APx/(M;,/0是深度圖像中圖像 坐標(biāo)(M^)處象素點(diǎn)的亮度值，W深度圖象的圖像寬度，H是深度圖象的圖像寬 度，￡[/)印^￡>#2]是深度圖象中相鄰象素之間亮度差異平方的均值；b) 根據(jù)下列式子，計(jì)算深度圖象中相鄰象素之間亮度差異平方的均值<formula>formula see original document page 2</formula>其中，￡)#_^是橫向方向上相鄰象素之間亮度差異的和，￡)#一//是縱向方 向上相鄰象素之間亮度差異的和，Z)e;^/W(w,/0是深度圖像中圖像坐標(biāo)(w,/0處象 素點(diǎn)的亮度值，W是深度圖象的圖像寬度，H是深度圖象的圖像寬度， 可De;^Z)^]2是深度圖象中相鄰象素之間亮度差異均值的平方；C)根據(jù)下列式子，計(jì)算深度圖象復(fù)雜度<formula>formula see original document page 2</formula>其中，￡[￡ 印^￡>#2]是深度圖象中相鄰象素之間亮度差異平方的均值， ￡[￡>印//^#]2是深度圖象中相鄰象素之間亮度差異均值的平方，De;^Cmp是深度 圖像復(fù)雜度。
3. 根據(jù)權(quán)利要求1所述的一種深度圖像和紋理圖像碼流分配的方法，其特 征在于，所述的根據(jù)紋理圖象中相鄰象素之間亮度差異平方的均值以及亮度差 異均值的平方，計(jì)算紋理圖象復(fù)雜度步驟-d) 根據(jù)下列式子，計(jì)算紋理圖象中相鄰象素之間亮度差異平方的均值 五[Co/orD(/T2 ] = ( 5^Z)# _ ff + S『Z># — //)/(2x『x// — PF-//);&考_『=s=sr:。2 w+i，w-c0/0 )2;>%考—// = s:。1 &+1) - 0>/。^/0，砂2;其中，^wz:; ^F是橫向方向上相鄰象素之間亮度差異的平方和，是縱向方向上相鄰象素之間亮度差異的平方和，Co/orP」d—,/0是紋理圖像中圖像 坐標(biāo) ，/0處象素點(diǎn)的亮度值，W紋理圖象的圖像寬度，H是紋理圖象的圖像寬 度，￡
是紋理圖象中相鄰象素之間亮度差異平方的均值；e) 根據(jù)下列式子，計(jì)算紋理圖象中相鄰象素之間亮度差異平方的均值五[Co/orDi/H2 = —『+ Z>l/0/(2x『xnH))2;"l『—S:d:o2(Co^戶考，w+l)-Co/。r尸jc/(/ ,w))2;塒—"=m》o/o,， + l，w)-CoW考，))2; 其中，D^一F是橫向方向上相鄰象素之間亮度差異的和，/)#_/^是縱向方 向上相鄰象素之間亮度差異的和，Co/orPW(Ma)是紋理圖像中圖像坐標(biāo)(iv，/0處象 素點(diǎn)的亮度值，W是紋理圖象的圖像寬度，H是紋理圖象的圖像寬度， 可Co/oW^]2是紋理圖象中相鄰象素之間亮度差異均值的平方；f) 根據(jù)下列式子，計(jì)算紋理圖象復(fù)雜度其中，E[Q，/oW(T]是紋理圖象中相鄰象素之間亮度差異平方的均值， ￡[O^W#]2是紋理圖象中相鄰象素之間亮度差異均值的平方，o /^o甲是紋理 圖像復(fù)雜度。
4. 根據(jù)權(quán)利要求1所述的一種深度圖像和紋理圖像碼流分配的方法，其特 征在于，所述的根據(jù)深度圖象復(fù)雜度和紋理圖象復(fù)雜度，計(jì)算分配給深度圖像 的碼流大小和分配給紋理圖像的碼流大小步驟g) 根據(jù)下列式子，計(jì)算分配給深度圖像的碼流大小 "印,她衡化二 7bto/5/f及ate x ￡>e/7AOw/7 /( Z)e一C附p + Co/wC附p );h) 根據(jù)下列式子，計(jì)算分配給紋理圖像的碼流大小
全文摘要
本發(fā)明公開了一種深度圖像和紋理圖像碼流分配的方法，該方法首先根據(jù)深度圖象中相鄰象素之間亮度差異平萬的均值以及亮度差異均值的平萬，計(jì)算深度圖象復(fù)雜度然后根據(jù)紋理圖象中相鄰象素之間亮度差異平萬的均值以及亮度差異均值的平方，計(jì)算紋理圖象復(fù)雜度最后根據(jù)深度圖象復(fù)雜度和紋理圖象復(fù)雜度，計(jì)算分配給深度圖像的碼流大小和分配給紋理圖像的碼流大小。本發(fā)明對(duì)強(qiáng)邊緣宏塊設(shè)置小的量化參數(shù)，從而有效地保護(hù)深度圖像的邊緣信息，提高用戶端自由視點(diǎn)圖像繪制的質(zhì)量。
文檔編號(hào)H04N7/26GK101365141SQ20081016159
公開日2009年2月11日 申請(qǐng)日期2008年9月23日 優(yōu)先權(quán)日2008年9月23日
發(fā)明者劉濟(jì)林, 許士芳 申請(qǐng)人:浙江大學(xué)