一種應(yīng)用于3個視點視頻編碼的視點間比特分配方法
【專利摘要】一種應(yīng)用于3個視點視頻編碼的視點間比特分配方法，首先確定基本視點的編碼失真對非基本視點的編碼失真的影響，確定基本視點和非基本視點的率失真模型；然后，將視點間的比特分配問題轉(zhuǎn)換為在有限總比特開銷條件下，最小化基本視點和非基本視點的整體編碼失真的問題，并求出最優(yōu)解，即最優(yōu)的視點間比特分配方案。該方法提高了多視點視頻的編碼效率，使得在相同編碼碼率的條件下，解碼端重建的多視點視頻質(zhì)量更高，具有高性能、通用性強等特點，可應(yīng)用于多視點視頻的編碼標(biāo)準(zhǔn)中。
【專利說明】一種應(yīng)用于3個視點視頻編碼的視點間比特分配方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種用于提高多視點視頻編碼效率的視點間比特分配方法，屬于多視 點視頻編碼標(biāo)【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0002] 三維（3D)視頻作為未來主要的視頻應(yīng)用技術(shù)，是指用戶通過三維視頻顯示設(shè)備 可以享受到真實的三維視頻內(nèi)容。三維視頻的相關(guān)技術(shù)，比如，三維視頻采集、三維視頻編 碼、三維視頻的顯示等技術(shù)已經(jīng)得到廣泛的關(guān)注。為了推動三維視頻技術(shù)的標(biāo)準(zhǔn)化，2002 年，運動圖像專家組（MotionPictureExpertsGroup,MPEG)和視頻編碼專家組（Video CodingExpertsGroup,VCEG)已經(jīng)制定了基于H. 264的多視點視頻編碼（MultiView VideoCoding，MVC)標(biāo)準(zhǔn)（H. 264/MVC)。目前MPEG和VCEG正在基于最新的高性能視頻編 碼標(biāo)準(zhǔn)（HighEfficiencyVideoCoding,HEVC)制定新一代MVC標(biāo)準(zhǔn)，S卩MV-HEVC。在多視 點視頻中，用戶可以從不同的角度觀看該角度的三維視頻，使得用戶有融入視頻場景中的 真實感受。多視點視頻可廣泛應(yīng)用于廣播通信、娛樂、教育、醫(yī)療和視頻監(jiān)控等領(lǐng)域。當(dāng)需 要更多的視點時，可以采用多視點視頻-深度表示3D場景，并采用3D-HEVC編碼標(biāo)準(zhǔn)進行 編碼；用戶終端可以采用基于深度的視圖合成技術(shù)OepthImageBasedRendering,DIBR) 合成需要的視點圖像。因此，在現(xiàn)有的MV-HEVC編碼標(biāo)準(zhǔn)框架中，僅定義了 2個視點和3個 視點的視頻編碼結(jié)構(gòu)。
[0003] 現(xiàn)有的多視點視頻間比特分配方法是固定比例的比特分配方法，固定比例比特分 配的編碼流程如圖1所示，采用預(yù)先設(shè)定的比例系數(shù)為不同的視點分配比特。對于2個視 點的視頻，BV和NBV之間的比特比例可以是2:8、4:6、6:4等；對于3個視點的視頻BV和左 側(cè)非基本視點（NBVL)、右側(cè)非基本視點（NBVR)的比特比例可以是4:3:3、6:2:2等。
[0004] 固定比例的比特分配方法沒有考慮BV的編碼失真對NBV的編碼失真的影響，僅憑 經(jīng)驗設(shè)置一個固定的分配比例；因此不具備通用性，重建的多視點視頻的整體質(zhì)量也不高。 由理論分析可知，BV對NBV有較大影響，BV的編碼失真可以直接傳播到NBV中，因此在多視 點間的比特分配過程中，應(yīng)該考慮BV對NBV的影響。


【發(fā)明內(nèi)容】

[0005] 針對固定比例的比特分配方法不具備通用性，重建視頻整體質(zhì)量不高的缺點，本 發(fā)明依據(jù)基本視點（BaseView，BV)對非基本視點（Non-BaseView，NBV)的影響，提出一種 應(yīng)用于3個視點視頻編碼的視點間比特分配方法。該方法關(guān)注多視點視頻的視點間比特分 配，確定多視點視頻中，基本視點的失真對非基本視點的影響，設(shè)計最優(yōu)的基本視點和非基 本視點之間的比特分配方法，提高多視點視頻的編碼效率，使得在相同編碼碼率的條件下， 解碼端重建的多視點視頻質(zhì)量更高。
[0006] 本發(fā)明的應(yīng)用于3個視點視頻編碼的視點間比特分配方法，首先確定基本視點的 編碼失真對非基本視點的編碼失真的影響，確定基本視點和非基本視點的率失真模型；然 后，將視點間的比特分配問題轉(zhuǎn)換為在有限總比特開銷條件下，最小化基本視點和非基本 視點的整體編碼失真的問題，并求出最優(yōu)解（即最優(yōu)的視點間比特分配方案）；包括以下步 驟：
[0007] (1)定義基本視點的編碼失真和編碼比特數(shù)之間的數(shù)學(xué)模型為：

【權(quán)利要求】
1. 一種應(yīng)用于3個視點視頻編碼的視點間比特分配方法，其特征是，包括如下步驟： (1) 定義基本視點的編碼失真和編碼比特數(shù)之間的數(shù)學(xué)模型為： Dbv= (abv · Rbv+bbv) \ 其中Dbv表示基本視點的編碼失真，R bv表示BV的編碼比特數(shù)，a bv和b bv為模型參數(shù)，表 示RbM D bv的影響程度；左側(cè)非基本視點的編碼失真D nbv，i與左側(cè)非基本視點的編碼比特數(shù) Rnbv，1和基本視點的編碼比特數(shù)R bv之間的關(guān)系為： Dnbv-1 -叮 I (abv · Rbv+D + (anbv-lRnbv-l+bnbv-1)， 其中H1表示當(dāng)前幀BV的編碼失真對左側(cè)非基本視點的編碼失真的影響程度，anbva和 bnbVil為模型參數(shù)，表示R 對D 的影響程度；右側(cè)非基本視點的編碼失真D 與右側(cè) 非基本視點的編碼比特數(shù)RnbV和基本視點的編碼比特數(shù)R bv之間的關(guān)系為： Dnbv-r Π. r (clbv Rbv+bbv) + (&η?ιν-rRnbv-r+bnbv-r)， 其中I表示當(dāng)前幀基本視點的編碼失真對右側(cè)非基本視點的編碼失真的影響程度， anb^和b nbVj為模型參數(shù)，表示R nbVj對D nbvJ勺影響程度； (2) 對多視點視頻序列最開始的如W幀，米用碼率控制算法確定每幀的基本視點、 左側(cè)非基本視點和右側(cè)非基本視點的總比特數(shù)，并用預(yù)先設(shè)定的比例為不同的視點分 配比特并編碼，將編碼后的基本視點的編碼失真和編碼比特數(shù)分別存儲在數(shù)組向量 Dbv = ( Αν,ο ,···, Am}和Rbv = flo,…Am}中，左側(cè)非基本視點的編碼失真和編碼比特 數(shù)分別存儲在數(shù)組向量& -1 = { Α?ν-/，0，…，/，-1}和 RnbvJ = {況― …，及ι?ν」，-I }中，右 側(cè)非基本視點的編碼失真和編碼比特數(shù)分別存儲在數(shù)組向量^ = 和 Rnbv_r -r,0，，尺nin.-r,『-lj"中； ⑶依據(jù)當(dāng)前幀之前的W幀中的基本視點的失真= 與比特數(shù) [，以及步驟⑴中Dbv和Rbv之間的數(shù)學(xué)模型，通過線性回歸求解方程 組：
計算出基本視點的模型參數(shù)abv和b bv; (4)依據(jù)當(dāng)前幀之前的W幀中的左側(cè)非基本視點的失真Dnbij = {Ah」,。，···， 與比特數(shù)Rnbvj = ，以及基本視點的比特數(shù)Rbv = ^/η.,ο，·?πι}，以 及步驟⑴中Dnbv」，Rnbv」，以及Rbv之間的數(shù)學(xué)模型，通過線性回歸求解方程組：
其中η^·· n表示已編碼的W幀中，每幀的3個視點中，基本視點的失真對左側(cè)非 基本視點的失真的影響程度，計算出左側(cè)非基本視點的模型參數(shù)anbv」和b nbv 1; (5) 依據(jù)當(dāng)前幀之前的W幀中的右側(cè)非基本視點的失真Dnbv_，?！?} 與比特數(shù)R1Ibg = ，…，]，以及基本視點的的比特數(shù)= ，…，]， 以及步驟⑴中Dnbv p Rnbv p以及Rbv之間的數(shù)學(xué)模型，通過線性回歸求解方程組：
其中TUo…表示已編碼的W幀中，每幀的3個視點中，基本視點的失真對右側(cè)非 基本視點的失真的影響程度，計算出右側(cè)非基本視點的模型參數(shù)anbu和b nbv ^ (6) 依據(jù)步驟（3)、步驟⑷和步驟（5)所得的abv，bbv，anbv」，b nbv」，anbvJ^，bnbvJ^，以及采 用碼率控制算法計算得到的當(dāng)前幀的總比特數(shù)R。，通過下式：
為當(dāng)前幀的基本視點、左側(cè)非基本視點和右側(cè)非基本視點分配比特，即計算出當(dāng)前幀 的 Rbv、Rnbv-1、Rnbv-r; (7) 按照"先進先出"的原則，將數(shù)組向量&、€、?；、 的第0個數(shù)據(jù)刪除，并將當(dāng)前幀的編碼失真和編碼比特數(shù)添加到數(shù)組向量的末尾，更新數(shù) 組向莖.Dbv、Rbv、Dnbvj、Rnbvj、D nln,_r、Rnbv-r ; (8) 返回步驟（3)，對下一幀進行編碼。
2.根據(jù)權(quán)利要求1所述的應(yīng)用于3個視點視頻編碼的視點間比特分配方法，其特征是， 所述步驟（1)中的n jp n 過下式計算：
其中，表示當(dāng)前幀的左側(cè)非基本視點中，采用視點間跳躍模式編碼 的預(yù)測單元（Prediction Unit，PU)的數(shù)量，Numpiu表示當(dāng)前幀的左側(cè)非基本視點中，所有 預(yù)測單元的數(shù)量，Num PU_InteVie;wSKIPM()de^表示當(dāng)前幀的右側(cè)非基本視點中，采用視點間跳躍模 式（Inter View Skip Mode)編碼的預(yù)測單元的數(shù)量，Numpuj?表示當(dāng)前幀的NBVR中，所有預(yù) 測單元的數(shù)量。
3.根據(jù)權(quán)利要求1所述的應(yīng)用于3個視點視頻編碼的視點間比特分配方法，其特征是， 所述步驟⑵中預(yù)先設(shè)定的比例為：Rbv: Rnbvj :Rnbv_,= 30:35:35。
【文檔編號】H04N19/147GK104519365SQ201510018281
【公開日】2015年4月15日 申請日期:2015年1月14日 優(yōu)先權(quán)日:2015年1月14日
【發(fā)明者】元輝, 郭志鑫, 劉琚 申請人:山東大學(xué)