一種快速深度圖序列幀間模式選擇分形編碼方法
【專利摘要】本發(fā)明提出了一種快速深度圖序列幀間模式選擇分形編碼方法。首先使用分形視頻壓縮方法編碼彩色視頻，然后用分形視頻解壓縮方法解碼彩色視頻，以獲得彩色視頻各宏塊編碼模式，利用深度圖序列幀宏塊與相應(yīng)彩色視頻宏塊編碼的相關(guān)性，設(shè)計(jì)了深度圖序列幀宏塊編碼模式復(fù)雜度計(jì)算公式。深度圖序列的I幀編碼采用H.264幀內(nèi)預(yù)測(cè)編碼方法；深度圖序列的P幀編碼，首先使用Roberts算子檢測(cè)對(duì)象邊界，如果當(dāng)前深度圖序列幀宏塊包含對(duì)象邊界，則使用傳統(tǒng)的全搜索編碼方法，遍歷所有模式，根據(jù)拉格朗日率失真優(yōu)化模型獲得最佳編碼模式；否則計(jì)算當(dāng)前深度圖序列幀宏塊的編碼模式復(fù)雜度，針對(duì)復(fù)雜度大于閾值T與小于等于閾值T兩種情況，分別在不同的有效模式中選擇最佳編碼模式，然后用分形法編碼深度圖序列幀宏塊。
【專利說明】一種快速深度圖序列幀間模式選擇分形編碼方法
【技術(shù)領(lǐng)域】:
[0001]本發(fā)明屬于三維視頻壓縮編碼領(lǐng)域，涉及深度圖序列的壓縮編碼，為三維立體視頻編碼的實(shí)時(shí)性應(yīng)用奠定了基礎(chǔ)，進(jìn)一步提高了基于深度圖的立體視頻壓縮編碼的性能。
【背景技術(shù)】:
[0002]深度圖所代表的是場(chǎng)景到攝像機(jī)成像平面的距離信息，它將實(shí)際深度值量化到[0，255],以獲得代表深度信息的灰度圖(參見Tanimoto M, Fujii T, Suzuki K, etal.Mult1-view depth map of Rena and Akko&Kayo[C], ISO/IEC JTC1/SC29/WG11, MPEG-M14888, China:Shenzhen, 2007.)。
[0003]深度圖壓縮是三維視頻系統(tǒng)中的核心技術(shù)。目前，對(duì)深度圖序列壓縮的方法，主要是基于H.264/AVC標(biāo)準(zhǔn)。如楊旭等針對(duì)三維視頻編碼復(fù)雜度較高的問題，提出一種快速深度圖像幀內(nèi)編碼方法，該方法基于視頻圖像與深度圖像的相關(guān)性，利用視頻圖像的最優(yōu)幀內(nèi)預(yù)測(cè)模式信息，優(yōu)化深度圖像幀內(nèi)編碼預(yù)測(cè)模式的選擇范圍，減少率失真代價(jià)函數(shù)的計(jì)算量，從而降低深度圖像幀內(nèi)編碼復(fù)雜度(參見楊旭，常義，林霍等.一種三維視頻深度圖像快速幀內(nèi)編碼方法[J].西安電子科技大學(xué)學(xué)報(bào)(自然科學(xué)版)，2012，39(3):7-13.)。Byung Tae Oh等定義了一個(gè)深度失真函數(shù)(參見Byung Tae Oh, Jaejoon Lee，Du_sik Park.Depth map coding based on synthesized view distortion function[J].1EEE Journalof Selected Topics in Signal Processing.2011，5 (7): 1344-1352.XD.V.S.X.De Silva等提出 了新的模式選擇方法(參見 D.V.S.X.De Silva, ff.A.C.Fernando, S.T.Worral1.1ntra mode selection method for depth maps of3D video based on renderingdistortion modeling.1EEE Transactions on Consumer Electronics, 2010，56 (4):2735-2740.)。
[0004]近年來分形理論也被應(yīng)用到視頻序列的壓縮上，其基本思想是在視頻編碼過程中將每視頻幀(首幀除外)上的子塊從前一幀而不是同一幀找相匹配的父塊。其中最為經(jīng)典和影口向較大的參見(C.S.Kim, R.C.Kim, S.U.Lee.Fractal coding of video sequence usingcircular prediction mapping and noncontractive inter frame mapping[J].1EEETransactions on Image Processing, 1998，7 (4): 601-605.)。該方法米用類似于標(biāo)準(zhǔn)視頻編碼方法所采用的運(yùn)動(dòng)估計(jì)/補(bǔ)償技術(shù)，利用了相鄰幀之間的時(shí)間強(qiáng)相關(guān)性，對(duì)視頻序列壓縮取得了較好的效果。Koji Ohse與Masahiro Nakagawa提出將視頻序列變換到頻率域,再應(yīng)用分形視頻壓縮方法將不同分量的序列壓縮編碼(參見Koji Ohse, Masahiro Nakagawa.Fractal video coding with the orthogonal transformation[J], Electronics andCommunications in Japan, 2007, 90 (3): 36-47),此方法提供了在確定壓縮比的情況下，實(shí)現(xiàn)對(duì)視頻較好的壓縮。張喻平與豐洪才提出了一種利用遺傳算法提高視頻分形壓縮編碼搜索速度的算法。(參見張喻平，豐洪才.利用遺傳算法提高視頻分形壓縮編碼搜索速度[J].計(jì)算機(jī)與數(shù)字工程，2007，35(1):28-30.)這種基于遺傳算法的視頻分形壓縮編碼改進(jìn)了遺傳算法中搜索空間的構(gòu)造機(jī)理，結(jié)合運(yùn)用合適的迭代函數(shù)系統(tǒng)和仿射變換，從而縮短了壓縮編碼時(shí)間，并且視頻的恢復(fù)質(zhì)量略優(yōu)于全搜索算法和傳統(tǒng)的分形壓縮算法。
[0005]為了解決目前基于深度圖的三維視頻編碼復(fù)雜度高的問題，本發(fā)明方法實(shí)現(xiàn)了一種利用深度圖序列幀宏塊與相應(yīng)彩色視頻宏塊編碼模式相關(guān)性，預(yù)先計(jì)算深度圖序列幀宏塊的編碼模式復(fù)雜度，以達(dá)到深度圖序列分形編碼時(shí)快速幀間模式選擇的目的。實(shí)驗(yàn)證明，該方法實(shí)現(xiàn)了深度圖序列壓縮編碼，并且編碼時(shí)間及編碼碼率明顯減少。

【發(fā)明內(nèi)容】
:
[0006]本發(fā)明提出了一種快速深度圖序列幀間模式選擇分形編碼方法。首先使用分形視頻壓縮方法編碼彩色視頻，然后用分形視頻解壓縮方法解碼彩色視頻，以獲得彩色視頻各宏塊編碼模式，利用深度圖序列幀宏塊與相應(yīng)彩色視頻宏塊編碼的相關(guān)性，設(shè)計(jì)了深度圖序列幀宏塊編碼模式復(fù)雜度計(jì)算公式。深度圖序列的I幀編碼采用H.264幀內(nèi)預(yù)測(cè)編碼方法；深度圖序列的P幀編碼，首先使用Roberts算子檢測(cè)對(duì)象邊界，如果當(dāng)前深度圖序列幀宏塊包含對(duì)象邊界，則使用傳統(tǒng)的全搜索編碼方法，遍歷所有模式，根據(jù)拉格朗日率失真優(yōu)化準(zhǔn)則獲得最佳編碼模式；否則計(jì)算當(dāng)前深度圖序列幀宏塊的編碼模式復(fù)雜度，并設(shè)定閾值T，對(duì)于編碼模式復(fù)雜度大于閾值T的深度圖序列幀宏塊，在16X8、8X16、8X8、8X4、4X8、4X4六種模式中用拉格朗日率失真優(yōu)化算法選擇最佳編碼模式，對(duì)于編碼模式復(fù)雜度小于等于閾值T的深度圖序列幀宏塊則在SKIP、16 X 16兩種編碼模式中選擇最佳編碼模式，然后用分形法編碼深度圖序列幀宏塊。
[0007]一種快速深度圖序列幀間模式選擇分形編碼方法，其特征在于實(shí)現(xiàn)步驟如下:
[0008]步驟一:使用基于分形的視頻壓縮方法編碼彩色視頻；
[0009]步驟二:使用基于分形的視頻解壓縮方法解碼彩色視頻，以獲得彩色視頻各宏塊編碼模式；
[0010]步驟三:若為深度圖序列的I幀(第一幀必須為I幀，其它幀可以設(shè)置是否為I幀)，使用H.264幀內(nèi)預(yù)測(cè)編碼方法編碼I幀，轉(zhuǎn)到步驟八；若為深度圖序列的P巾貞，轉(zhuǎn)到步驟四；
[0011]步驟四:對(duì)深度圖序列的P巾貞，使用Roberts算子檢測(cè)對(duì)象邊界；
[0012]步驟五:依次對(duì)當(dāng)前深度圖序列幀的所有宏塊進(jìn)行編碼。如果當(dāng)前深度圖序列幀宏塊包含對(duì)象邊界，則使用傳統(tǒng)的全搜索編碼方法，遍歷所有模式，根據(jù)拉格朗日率失真優(yōu)化準(zhǔn)則獲得最佳編碼模式，轉(zhuǎn)到步驟七；否則，轉(zhuǎn)到步驟六；
[0013]步驟六:由編碼模式復(fù)雜度計(jì)算公式計(jì)算當(dāng)前深度圖序列幀宏塊的編碼模式復(fù)雜度，設(shè)定閾值T，若當(dāng)前深度圖序列幀宏塊的編碼模式復(fù)雜度大于閾值T (當(dāng)前深度圖序列幀宏塊屬于復(fù)雜模式區(qū)域)，則在16父8、8\16、8\8、8\4、4\8、4父4六種模式中用拉格朗日率失真優(yōu)化算法選擇最佳編碼模式；否則(當(dāng)前深度圖序列幀宏塊屬于簡(jiǎn)單模式區(qū)域)在SKIP、16X 16兩種編碼模式中選擇最佳編碼模式；
[0014]步驟七:用步驟一的分形編碼方法使用最佳編碼模式編碼當(dāng)前深度圖序列幀宏塊。判斷當(dāng)前宏塊是否為當(dāng)前深度圖序列幀的最后一個(gè)宏塊，若是最后一個(gè)宏塊，則轉(zhuǎn)到步驟三編碼下一幀；否則轉(zhuǎn)到步驟五編碼下一宏塊；
[0015]步驟八:判斷當(dāng)前幀是否為深度圖序列最后一幀，如果是最后一幀結(jié)束編碼；否貝U，返回步驟三繼續(xù)處理下一幀深度圖像。[0016]所述一種快速深度圖序列幀間模式選擇分形編碼方法，處理的彩色視頻與深度圖序列均為YUV格式。
[0017]所述步驟一中基于分形的視頻壓縮方法包括以下四個(gè)步驟:
[0018]I)如果是I幀(第一幀必須為I幀，其它幀可以設(shè)置是否為I幀)，采用H.264幀內(nèi)預(yù)測(cè)編碼方式，對(duì)于每個(gè)當(dāng)前塊在各種可能的預(yù)測(cè)方式中選擇具有最小代價(jià)的預(yù)測(cè)模式，完成所有塊的預(yù)測(cè)后可以得到I幀的預(yù)測(cè)幀。通過原始幀和預(yù)測(cè)幀之差得到編碼端殘差幀。轉(zhuǎn)入步驟3)編碼殘差；如果是P幀，轉(zhuǎn)到步驟2)；
[0019]2)如果是P幀。依次對(duì)當(dāng)前幀的所有宏塊進(jìn)行編碼。在參考幀中的搜索窗內(nèi)對(duì)當(dāng)前宏塊進(jìn)行塊匹配；在進(jìn)行子塊與父塊的匹配過程中，子塊的位置作為父塊的起始搜索點(diǎn)，父塊的大小與子塊的大小相同；對(duì)每個(gè)宏塊進(jìn)行樹狀結(jié)構(gòu)分塊，即分塊從大到小可分為16X16、16X8、8X16、8X8，8X8往下(亞宏塊分割)可以分為8X4、4X8、4X4。幀間編碼時(shí)，首先對(duì)編碼宏塊的各種塊劃分尺寸的幀間預(yù)測(cè)模式進(jìn)行運(yùn)動(dòng)估計(jì)，確定迭代函數(shù)系統(tǒng)系數(shù)即IFS系數(shù)；然后比較所有模式的率失真代價(jià)；最后將率失真代價(jià)最小的模式作為最優(yōu)幀間預(yù)測(cè)模式。
[0020]IFS系數(shù)由如下的率失真優(yōu)化函數(shù)確定:
[0021]Jmotion=MSE (s, O, X, y, ref) + λ M0T10N*R(s, O, x, y, ref)(I)
[0022]其中IFS系數(shù)包括父塊位置(X，y)和比例因子S、偏移因子O，s和O的計(jì)算公式如下:
【權(quán)利要求】
1.一種快速深度圖序列幀間模式選擇分形編碼方法，其特征在于如下步驟: 步驟一:使用基于分形的視頻壓縮方法編碼彩色視頻； 步驟二:使用基于分形的視頻解壓縮方法解碼彩色視頻，以獲得彩色視頻各宏塊編碼模式； 步驟三:若為深度圖序列的I幀(第一幀必須為I幀，其它幀可以設(shè)置是否為I幀)，使用H.264幀內(nèi)預(yù)測(cè)編碼方法編碼I幀，轉(zhuǎn)到步驟八；若為深度圖序列的P幀，轉(zhuǎn)到步驟四； 步驟四:對(duì)深度圖序列的P幀，使用Roberts算子檢測(cè)對(duì)象邊界； 步驟五:依次對(duì)當(dāng)前深度圖序列幀的所有宏塊進(jìn)行編碼。如果當(dāng)前深度圖序列幀宏塊包含對(duì)象邊界，則使用傳統(tǒng)的全搜索編碼方法，遍歷所有模式，根據(jù)拉格朗日率失真優(yōu)化準(zhǔn)則獲得最佳編碼模式，轉(zhuǎn)到步驟七；否則，轉(zhuǎn)到步驟六； 步驟六:由編碼模式復(fù)雜度計(jì)算公式計(jì)算當(dāng)前深度圖序列幀宏塊的編碼模式復(fù)雜度，設(shè)定閾值T，若當(dāng)前深度圖序列幀宏塊的編碼模式復(fù)雜度大于閾值T (當(dāng)前深度圖序列幀宏塊屬于復(fù)雜模式區(qū)域)，則在16X8、8X16、8X8、8X4、4X8、4X4六種模式中用拉格朗日率失真優(yōu)化算法選擇最佳編碼模式；否則(當(dāng)前深度圖序列幀宏塊屬于簡(jiǎn)單模式區(qū)域)在SKIP、16 X 16兩種編碼模式中選擇最佳編碼模式； 步驟七:用步驟一的分形編碼方法使用最佳編碼模式編碼當(dāng)前深度圖序列幀宏塊。判斷當(dāng)前宏塊是否為當(dāng)前深度圖序列幀的最后一個(gè)宏塊，若是最后一個(gè)宏塊，則轉(zhuǎn)到步驟三編碼下一幀；否則轉(zhuǎn)到步驟五編碼下一宏塊； 步驟八:判斷當(dāng)前幀是否為深度圖序列最后一幀，如果是最后一幀結(jié)束編碼；否則，返回步驟三繼續(xù)處理下一幀深度圖像。
2.根據(jù)權(quán)利要求1所述一種快速深度圖序列幀間模式選擇分形編碼方法，其特征在于:處理的彩色視頻與深度圖序列均為YUV格式。
3.根據(jù)權(quán)利要求1所述一種快速深度圖序列幀間模式選擇分形編碼方法，其特征在于:所述步驟一中基于分形的視頻壓縮方法包括以下四個(gè)步驟: 1)如果是I幀(第一幀必須為I幀，其它幀可以設(shè)置是否為I幀)，采用H.264幀內(nèi)預(yù)測(cè)編碼方式，對(duì)于每個(gè)當(dāng)前塊在各種可能的預(yù)測(cè)方式中選擇具有最小代價(jià)的預(yù)測(cè)模式，完成所有塊的預(yù)測(cè)后可以得到I幀的預(yù)測(cè)幀。通過原始幀和預(yù)測(cè)幀之差得到編碼端殘差幀。轉(zhuǎn)入步驟3)編碼殘差；如果是P幀，轉(zhuǎn)到步驟2)； 2)如果是P幀。依次對(duì)當(dāng)前幀的所有宏塊進(jìn)行編碼。在參考幀中的搜索窗內(nèi)對(duì)當(dāng)前宏塊進(jìn)行塊匹配；在進(jìn)行子塊與父塊的匹配過程中，子塊的位置作為父塊的起始搜索點(diǎn)，父塊的大小與子塊的大小相同；對(duì)每個(gè)宏塊進(jìn)行樹狀結(jié)構(gòu)分塊，即分塊從大到小可分為16X16、16X8、8X16、8X8，8X8往下(亞宏塊分割)可以分為8X4、4X8、4X4。幀間編碼時(shí)，首先對(duì)編碼宏塊的各種塊劃分尺寸的幀間預(yù)測(cè)模式進(jìn)行運(yùn)動(dòng)估計(jì)，確定迭代函數(shù)系統(tǒng)系數(shù)即IFS系數(shù)；然后比較所有模式的率失真代價(jià)；最后將率失真代價(jià)最小的模式作為最優(yōu)幀間預(yù)測(cè)模式。 IFS系數(shù)由如下的率失真優(yōu)化函數(shù)確定:
Jmotion-MSE (S，O, X, y, ref) + λ motion*R (s，ref)(I) 其中IFS系數(shù)包括父塊位置(x，y)和比例因子S、偏移因子O，s和ο的計(jì)算公式如下:
4.根據(jù)權(quán)利要求1所述一種快速深度圖序列幀間模式選擇分形編碼方法，其特征在于:所述步驟二中基于分形的視頻解壓縮方法包括以下五個(gè)步驟: 1)解碼端獲得壓縮的碼流。碼流中數(shù)據(jù)元素首先進(jìn)行熵解碼和重排序，獲得一系列量化系數(shù)，這些系數(shù)經(jīng)過反量化和反變換得到殘差數(shù)據(jù)； 2)判斷解碼幀是否為I幀，若是I幀轉(zhuǎn)入步驟3)，否則轉(zhuǎn)入步驟4)； 3)對(duì)于I幀，首先由H.264幀內(nèi)預(yù)測(cè)方式得到預(yù)測(cè)幀，預(yù)測(cè)幀與殘差幀進(jìn)行相加之后得到重建幀，幀數(shù)加I轉(zhuǎn)入步驟5)； 4)對(duì)于P幀，首先從碼流中讀入該幀所有宏塊的劃分方式、每一個(gè)小塊的迭代函數(shù)系統(tǒng)系數(shù)與運(yùn)動(dòng)矢量，由各迭代函數(shù)系統(tǒng)系數(shù)和運(yùn)動(dòng)矢量分別計(jì)算出解碼端的預(yù)測(cè)塊形成解碼端的預(yù)測(cè)幀，預(yù)測(cè)幀與殘差幀相加得到重建幀。幀數(shù)加I轉(zhuǎn)到步驟5)； 5)判斷此時(shí)所有幀是否都已解碼，若都解碼完畢，結(jié)束解碼過程，否則轉(zhuǎn)入步驟2)。
5.根據(jù)權(quán)利要求1所述一種快速深度圖序列幀間模式選擇分形編碼方法，其特征在于:所述步驟六中當(dāng)前深度圖序列幀宏塊編碼模式復(fù)雜度計(jì)算公式為: EMC = 0.5wr +0.1( Wr +μλ.+Vt -f vvn ) + 0.05(wr, + Wn )Lcor、^lefiLup" ,JjIip，V ^upleftljUphft，(6)其中Dleft、Dup、Dupleft分別代表當(dāng)前深度圖序列幀宏塊的左、上、左上鄰居宏塊，Ccor代表與當(dāng)前深度圖序列幀宏塊相對(duì)應(yīng)的彩色視頻宏塊，Cleft、Cup、Cuplrft分別代表C。。，的左、上、左上鄰居彩色宏塊，wCw、wCletr ')、'、'、wCuplejt、wDh*,分別代表相應(yīng)宏塊的編碼模式影響因子，數(shù)值越大表明其對(duì)應(yīng)的宏塊編碼模式越復(fù)雜，具體數(shù)值如下: (1)若編碼模式為SKIP或16X 16，則相應(yīng)影響因子W=I ； (2)若編碼模式為16X8或8X16，則相應(yīng)影響因子w=2； (3)若編碼模式為8X8(含8X4、4X8、4X4)，則相應(yīng)影響因子w=4 ; 式(6)中的0.5,0.1,0.05表示各宏塊加權(quán)系數(shù)，其取值原則是所有加權(quán)系數(shù)之和為1，且對(duì)當(dāng)前深度圖序列幀宏塊 預(yù)測(cè)編碼模式影響越大的宏塊加權(quán)系數(shù)越大。
【文檔編號(hào)】H04N19/176GK103546758SQ201310453269
【公開日】2014年1月29日 申請(qǐng)日期:2013年9月29日 優(yōu)先權(quán)日:2013年9月29日
【發(fā)明者】祝世平, 趙冬玉 申請(qǐng)人:北京航空航天大學(xué)