專利名稱：一種面向多視點(diǎn)視頻的快速編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于H. 264/AVC的視頻編碼技術(shù)，具體涉及一種多視點(diǎn)視頻編碼中基于支持向量機(jī)的快速宏塊模式選擇編碼方法。
背景技術(shù)：
近年來(lái)，隨著多媒體技術(shù)的不斷發(fā)展，人們不再滿足于傳統(tǒng)平面視頻帶來(lái)的視覺感受，因此產(chǎn)生了可以給人們帶來(lái)比普通視頻更加身臨其境感受的具有3D(three dimensional)視覺功能和交互操作功能的多視點(diǎn)視頻。多視點(diǎn)視頻(multi-view video) 是由一組平行或會(huì)聚的相機(jī)分別從不同角度拍攝同一場(chǎng)景得到的多個(gè)角度視頻內(nèi)容的視頻信號(hào)，它同時(shí)將多個(gè)視點(diǎn)的信息傳到解碼端，使得用戶能夠選擇觀看任何角度的三維視頻節(jié)目，具有很強(qiáng)的臨場(chǎng)感，因此在數(shù)字娛樂、遠(yuǎn)程教育、遠(yuǎn)程醫(yī)學(xué)、監(jiān)控、可視會(huì)議以及虛擬現(xiàn)實(shí)等各個(gè)領(lǐng)域有著廣泛的應(yīng)用前景。由于多視點(diǎn)視頻信號(hào)采集自多個(gè)相機(jī)，與傳統(tǒng)的單視點(diǎn)平面視頻相比，多視點(diǎn)視頻編碼需要處理的視頻數(shù)據(jù)以及多視點(diǎn)視頻傳輸需要占用的帶寬隨著相機(jī)數(shù)目的增加而成倍增加，復(fù)雜度極高，對(duì)傳輸和解碼帶來(lái)了極大的負(fù)擔(dān)。因此，必須通過(guò)高效地壓縮編碼才能使得多視點(diǎn)視頻真正實(shí)用化。為了方便對(duì)多視點(diǎn)視頻編碼技術(shù)進(jìn)行研究，國(guó)際視頻小組JVT (Joint Video Team)為多視點(diǎn)視頻編碼開發(fā)了專門的測(cè)試模型JMVC (Joint Multi-view Video Coding)作為多視點(diǎn)視頻編碼研究測(cè)試平臺(tái)。以包含兩個(gè)視點(diǎn)的多視點(diǎn)視頻為例，如

圖1所示，水平方向?yàn)闀r(shí)間方向，垂直方向?yàn)橐朁c(diǎn)方向。左視點(diǎn)SO設(shè)為參考視點(diǎn)先進(jìn)行編碼，每個(gè)圖像組(G0P，Group of Pictures) 中的第一幀(也稱為錨定幀，如TO和T8幀)為I幀，不參考其他幀的信息直接進(jìn)行DCT變換、線性量化、游程長(zhǎng)編碼，最后送入算術(shù)編碼器進(jìn)行幀內(nèi)編碼。左視點(diǎn)除去各GOP的第一幀之外其余各幀皆是B幀，采用分級(jí)B幀(HBP，Hierarchical B Prediction)預(yù)測(cè)結(jié)構(gòu)(具體見論文《Efficient Prediction Structures for Multiview Video Coding》)，需要分級(jí)參考左視點(diǎn)中兩個(gè)已編碼幀進(jìn)行雙向運(yùn)動(dòng)估計(jì)如圖1所示，在SO行即左視點(diǎn)行所在的 HBP結(jié)構(gòu)中，首先對(duì)第一個(gè)GOP中的第一幀TO時(shí)刻幀和第二個(gè)GOP中的第一幀T8時(shí)刻幀進(jìn)行編碼；然后對(duì)T4時(shí)刻幀進(jìn)行編碼，該幀為第一級(jí)B幀，它參考TO時(shí)刻幀和T8時(shí)刻幀兩個(gè)已編碼幀進(jìn)行雙向運(yùn)動(dòng)估計(jì)(即T4時(shí)刻幀的參考幀為TO時(shí)刻幀和T8時(shí)刻幀)；接著對(duì) T2時(shí)刻幀和T6時(shí)刻幀進(jìn)行編碼，T2時(shí)刻幀參考TO時(shí)刻幀和T4時(shí)刻幀進(jìn)行雙向運(yùn)動(dòng)估計(jì)， T6時(shí)刻幀參考T4時(shí)刻幀和T8時(shí)刻幀進(jìn)行雙向運(yùn)動(dòng)估計(jì)，這兩幀為第二級(jí)B幀；最后對(duì)Tl 時(shí)刻幀、T3時(shí)刻幀、T5時(shí)刻幀以及T7時(shí)刻幀進(jìn)行編碼，它們分別參考TO時(shí)刻幀和T2時(shí)刻幀，T2時(shí)刻幀和T4時(shí)刻幀，T4時(shí)刻幀和T6時(shí)刻幀，以及T6時(shí)刻幀和T8時(shí)刻幀進(jìn)行雙向運(yùn)動(dòng)估計(jì)，這四幀為第三級(jí)B幀。這樣完成了左視點(diǎn)中第一個(gè)GOP的編碼，左視點(diǎn)其余GOP 的編碼方法以此類推。右視點(diǎn)為預(yù)測(cè)視點(diǎn)，每個(gè)GOP中的第一幀為P幀(如圖1中Sl行的 TO時(shí)刻幀和T8時(shí)刻幀)，既允許它同I幀一樣不參考其他幀的信息直接進(jìn)行幀內(nèi)編碼，也允許它參考左視點(diǎn)對(duì)應(yīng)時(shí)刻的幀(Si行的TO時(shí)刻幀和T8時(shí)刻幀在左視點(diǎn)對(duì)應(yīng)時(shí)刻的幀即SO行的TO時(shí)刻幀和T8時(shí)刻幀)進(jìn)行視差估計(jì)。右視點(diǎn)除去各GOP第一幀后的其余B幀， 除了在時(shí)間方向上使用與左視點(diǎn)相同的HBP預(yù)測(cè)結(jié)構(gòu)進(jìn)行運(yùn)動(dòng)估計(jì)，還允許在視點(diǎn)方向上參考左視點(diǎn)相同時(shí)刻的已編碼幀進(jìn)行視差估計(jì)(如圖1中的虛線箭頭所示)。根據(jù)H. 264/AVC標(biāo)準(zhǔn)(見書《新一代視頻壓縮編碼標(biāo)準(zhǔn)——H. 264/AVC)))，每個(gè)宏塊(16x16像素)可以按照四種模式進(jìn)行分割(見圖2)，分別為16x16模式，16x8模式，8x16 模式和8x8模式。其中8x8模式又稱為亞宏塊模式，它可以進(jìn)一步用四種模式再進(jìn)行分割成8x8模式，8x4模式，4x8模式和4x4模式，如圖2所示。因此每個(gè)編碼宏塊的預(yù)測(cè)模式包括，幀間 Gnter)預(yù)測(cè)的 hterl6xl6 模式，Interl6x8 模式，Inter8xl6 模式，hter8x8 模式，Inter8x4模式，Inter4x8模式禾口 hter4x4模式以及幀內(nèi)Qntra)預(yù)測(cè)的htral6xl6 模式，MtraSxS模式和htra4X4模式。由于多視點(diǎn)視頻編碼中運(yùn)動(dòng)/視差搜索是以子塊為單位進(jìn)行的，每個(gè)子塊都會(huì)有一個(gè)獨(dú)立的運(yùn)動(dòng)/視差矢量。因此對(duì)宏塊中的子塊劃分的越細(xì)，宏塊的編碼量也就越大。所以在具體編碼時(shí)需要根據(jù)運(yùn)動(dòng)/視差估計(jì)后的殘差值大小和需要的運(yùn)動(dòng)/視差矢量編碼代價(jià)來(lái)選擇宏塊的最優(yōu)編碼模式。多視點(diǎn)視頻編碼基于 H. 264/AVC標(biāo)準(zhǔn)，采用率失真模型選擇最優(yōu)的宏塊編碼模式。傳統(tǒng)的多視點(diǎn)視頻編碼通過(guò)全搜索方式，遍歷所有的宏塊模式(包括上述的幾種模式以及直接復(fù)制模式——SKIP模式)，選擇率失真代價(jià)最小的宏塊模式作為最終的編碼模式。率失真代價(jià)的計(jì)算公式為 J(s，C，m|QP，Am) = SSD(s，C，m|QP) + XmR(s，c，m|QP)，其中s是當(dāng)前進(jìn)行編碼的原始數(shù)據(jù)，c是已經(jīng)編碼重建的參考幀數(shù)據(jù)，QP是宏塊的量化參數(shù)， λ m是拉格朗日乘數(shù)，m為當(dāng)前宏塊的編碼模式，R( ·)是在m模式下編碼運(yùn)動(dòng)、視差矢量以及預(yù)測(cè)值差值所需比特?cái)?shù)，SSD(·)為當(dāng)前進(jìn)行編碼的原始數(shù)據(jù)與已經(jīng)編碼重建的參考幀
數(shù)據(jù)的差值平方和
權(quán)利要求
1. 一種面向多視點(diǎn)視頻的快速編碼方法，其特征在于，是在計(jì)算機(jī)中依次按以下步驟仿真實(shí)現(xiàn)的步驟(1)，計(jì)算機(jī)初始化設(shè)置按全模式搜索方法對(duì)選定的參考視點(diǎn)(so)以及當(dāng)前視點(diǎn)(Si)進(jìn)行編碼的JMVC 軟件，以其中的多視點(diǎn)視頻編碼模型JMVC7. 2軟件作為實(shí)驗(yàn)平臺(tái)，量化參數(shù)QP設(shè)置為22、 27,32和37，運(yùn)動(dòng)估計(jì)和視差估計(jì)搜索窗口大小為96X96， 支持向量機(jī)訓(xùn)練和預(yù)測(cè)使用IibSVM軟件包，YUV格式的多視點(diǎn)國(guó)際標(biāo)準(zhǔn)測(cè)試視頻序列ballroom序列作為訓(xùn)練序列，racel序列、 flamenco2序列、exit序列作為測(cè)試序列，分別從ballroom_0. yuv文件、racel_0. yuv文件、 flamenco2_0. yuv文件、exit_0. yuv文件中選取41幀圖像作為各序列的左視點(diǎn)，在編碼時(shí)構(gòu)成所述各序列的參考視點(diǎn)(SO)，再分別選取ballr00m_l. yuv文件、raCel_l. yuv文件、 flamenco2_l. yuv文件、exit_l. yuv文件中的41幀圖像作為各序列的右視點(diǎn)，在編碼時(shí)構(gòu)成所述各序列的當(dāng)前視點(diǎn)(Si)；步驟O)，利用所述的JMVC多視點(diǎn)視頻編碼軟件對(duì)從所述的YUV格式的多視點(diǎn)國(guó)際標(biāo)準(zhǔn)測(cè)試視頻序列ballroom序列、racel序列、flamenco2序列、exit序列中分別選取的所述左視點(diǎn)和右視點(diǎn)按全模式搜索編碼方法進(jìn)行編碼，并同時(shí)提取編碼信息，包括當(dāng)前進(jìn)行編碼的宏塊中各原始數(shù)據(jù)與相對(duì)應(yīng)的已經(jīng)編碼重建的參考幀內(nèi)宏塊中各數(shù)據(jù)的差值平方和 SSD、宏塊殘差編碼方式CBP、宏塊前向運(yùn)動(dòng)矢量(LO)和宏塊后向運(yùn)動(dòng)矢量(Li)、宏塊的編碼模式MODE以及所述當(dāng)前編碼幀所對(duì)應(yīng)的參考幀；步驟(3)，對(duì)所述多視點(diǎn)視頻中除錨定幀以外的所有幀的宏塊按模式選擇快速預(yù)測(cè)方法進(jìn)行編碼，其步驟如下步驟(3. 1)，利用步驟(2)得到的編碼信息為支持向量機(jī)分類器模型選取特征向量 步驟(3. 1. 1)，第一層分類器的特征向量，表述如下在所述左視點(diǎn)中與相對(duì)應(yīng)的所述右視點(diǎn)中的各當(dāng)前編碼宏塊所處相同位置的各宏塊的宏塊殘差編碼模式CBP和差值平方和SSD，各當(dāng)前編碼宏塊在所述左視點(diǎn)中對(duì)應(yīng)的各宏塊的周邊八個(gè)宏塊的平均的差值平方和SSD，各當(dāng)前編碼宏塊在所述左視點(diǎn)中所對(duì)應(yīng)的各個(gè)宏塊和其八個(gè)相鄰宏塊中的使用次數(shù)最多的模式，各當(dāng)前編碼宏塊的左上、上邊、左邊方向三個(gè)已編碼宏塊的平均的差值平方和SSD，在所述右視點(diǎn)中各當(dāng)前編碼宏塊前一個(gè)已編碼宏塊的運(yùn)動(dòng)矢量；步驟(3. 1.2)，第二層分類器的特征向量，表述如下各當(dāng)前編碼宏塊在左視點(diǎn)SO中的對(duì)應(yīng)宏塊及周邊八個(gè)相鄰宏塊、各當(dāng)前編碼宏塊在右視點(diǎn)Sl中的左上、上邊、左邊已編碼的三個(gè)宏塊組成的集合中使用次數(shù)最多的宏塊模式，各當(dāng)前編碼宏塊前一個(gè)已編碼宏塊的差值平方和SSD和宏塊殘差編碼模式CBP，在前一幀內(nèi)與當(dāng)前編碼宏塊所處相同位置的宏塊使用的宏塊編碼模式，在所述右視點(diǎn)中與當(dāng)前幀中的當(dāng)前編碼宏塊所處位置相同的這一個(gè)宏塊其在前一幀中處于相同位置的宏塊所使用的宏塊模式；步驟(3. 1. 3)，采用默認(rèn)的RBF核函數(shù)，也稱徑向基函數(shù)，為支持向量機(jī)核函數(shù)，記為 k(| x-xc| )，并使用最常用的高斯核函數(shù)，形式為k( x-xc I) = exp{-| x-xc |2/2σ2}, 其中，χ為所述RBF核函數(shù)的坐標(biāo)變量，&為所述RBF核函數(shù)的中心，I I ·| I表示歐式范數(shù)，σ為所述RBF核函數(shù)的寬度參數(shù)，計(jì)算公式為σ = //ν^，其中M為訓(xùn)練樣本中根據(jù)經(jīng)驗(yàn)選定均勻分布的中心的個(gè)數(shù)，d為這些中心的間距； 步驟(3. 1. 4)，按以下步驟搭建兩層SVM分類器步驟(3. 1.4. 1)，第一層分類器把屬于{SKIP，Interl6xl6}模式集合中的一個(gè)模式分離出來(lái)，用以識(shí)別同質(zhì)、平坦區(qū)域的宏塊；步驟(3. 1.4. 2)，第二層分類器再把屬于Unterl6x8，Inter8xl6}模式集合中的一個(gè)模式分離出來(lái)，以識(shí)別較大編碼模式的宏塊；步驟(3. 1. 5)，依次通過(guò)所述兩層SVM分類器對(duì)多視點(diǎn)視頻中的宏塊模式進(jìn)行優(yōu)化分類，以減少宏塊預(yù)測(cè)模式，并把分類后的宏塊模式記錄為TXT格式的外部文件存儲(chǔ)；步驟(3. 1.6)，再次通過(guò)JMVC軟件，以步驟(3.1. 中優(yōu)化后的宏塊編碼模式分類結(jié)果對(duì)所述多視點(diǎn)視頻測(cè)試序列racel序列，flamencM序列，exit序列的各個(gè)右視點(diǎn)進(jìn)行編碼，若當(dāng)前編碼幀為錨定幀則采用所述全模式搜索方法；步驟(3. 1.7)，讀取第一層分類器的分類結(jié)果，若屬于{SKIP，Interl6X16}模式集合中之一的模式，則僅對(duì)當(dāng)前編碼宏塊使用SKIP模式和hterl6X16模式分別進(jìn)行編碼，并計(jì)算各模式的率失真代價(jià)，選取率失真代價(jià)最小的作為當(dāng)前編碼宏塊的最佳編碼模式；否則，執(zhí)行步驟(3. 1. 8)；步驟(3. 1.8)，讀取第二層分類器的分類結(jié)果，若屬于UnteriexSJnterSxie}模式集合中之一的模式，則僅對(duì)當(dāng)前編碼宏塊使用InteriexS模式和hterSxie模式分別進(jìn)行編碼，并計(jì)算各模式的率失真代價(jià)，選取率失真代價(jià)最小的作為當(dāng)前編碼宏塊的最佳編碼模式；否則，采用hter8x8模式、Intral6xl6模式、Intra8x8模式和htra4x4模式分別進(jìn)行編碼，并計(jì)算各模式的率失真代價(jià)，選取率失真代價(jià)最小的作為當(dāng)前編碼宏塊的最佳編碼模式；步驟(3. 1.9)，判斷當(dāng)前幀中是否還有未編碼的宏塊，若有，跳轉(zhuǎn)并執(zhí)行步驟(3. 1.7)， 對(duì)當(dāng)前編碼宏塊的下一宏塊進(jìn)行編碼，若沒有，則判斷當(dāng)前的右視點(diǎn)中是否還有未編碼幀， 若有，則跳轉(zhuǎn)并執(zhí)行步驟(3. 1.6)，對(duì)當(dāng)前幀的下一幀進(jìn)行編碼，若沒有，則對(duì)當(dāng)前的右視點(diǎn)編碼結(jié)束。
全文摘要
一種面向多視點(diǎn)視頻的快速編碼方法，屬于H.264/AVC視頻編碼技術(shù)領(lǐng)域，其特征在于，對(duì)左、右視點(diǎn)先用全搜索方法進(jìn)行編碼并提取編碼信息，再對(duì)右視點(diǎn)中除錨定幀以外的其他各幀采用兩層SVM分類器按能夠反映編碼時(shí)宏塊預(yù)測(cè)的錯(cuò)誤量SSD、編碼殘差狀態(tài)CBP以及宏塊編碼模式的使用率構(gòu)建兩層SVM分類器的特征矢量，分類器按用以識(shí)別同質(zhì)、平坦區(qū)域的宏塊的編碼模式以及較大塊編碼模式的宏塊的編碼模式進(jìn)行相對(duì)應(yīng)的編碼，最后從中選取率失真代價(jià)最小的宏塊編碼模式作為宏塊的最優(yōu)編碼模式。本發(fā)明提前終止了原始的全模式搜索方法采用的率失真優(yōu)化方法，優(yōu)化后的宏塊編碼模式降低了編碼復(fù)雜度，至少降低了70％的編碼時(shí)間。
文檔編號(hào)H04N7/26GK102420990SQ201110421038
公開日2012年4月18日 申請(qǐng)日期2011年12月15日 優(yōu)先權(quán)日2011年12月15日
發(fā)明者竇環(huán), 賈克斌, 鄧智玭 申請(qǐng)人:北京工業(yè)大學(xué)