一種融合視覺感知特征的可分層視頻編碼方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻編碼方法，尤其涉及一種融合視覺感知特征的可分層視頻編碼方 法。
【背景技術(shù)】
[0002] 隨著多媒體信息處理和通信技術(shù)的飛速發(fā)展，IPTV、PDA、立體電影、自由視點(diǎn)視 頻等多樣化視頻業(yè)務(wù)相繼推出，視頻編碼在信息化處理以及相關(guān)領(lǐng)域展現(xiàn)了廣闊的發(fā)展前 景。然而，在網(wǎng)絡(luò)帶寬和存儲空間受限的同時(shí)，人們對視頻質(zhì)量的要求卻在不斷提高、數(shù)字 視頻的性能指標(biāo)，如分辨率、質(zhì)量、幀率等不斷提升，對現(xiàn)有的視頻編碼標(biāo)準(zhǔn)提出了新要求。
[0003] 為了獲得具有低復(fù)雜度、高質(zhì)量和高壓縮率的視頻編碼方法，繼2003年由國際電 信聯(lián)盟ITU-T和國際標(biāo)準(zhǔn)化組織IS0/IEC聯(lián)合推出視頻壓縮標(biāo)準(zhǔn)H. 264/AVC后，2010年1 月，IS0/IEC和ITU-T聯(lián)合成立了JCT_VC(JointCollaborativeTeamonVideoCoding) 小組，并且發(fā)布了下一代視頻編碼技術(shù)提案HEVC(HighEfficiencyVideoCoding)。提案 指出，HEVC依然沿用H. 264/AVC的混合編碼框架，著力研究新的編碼技術(shù)，旨在解決現(xiàn)有視 頻編碼標(biāo)準(zhǔn)在壓縮率與編碼復(fù)雜度之間的矛盾，使之適應(yīng)多類型的網(wǎng)絡(luò)傳輸，承載更多的 信息處理業(yè)務(wù)。具有"實(shí)時(shí)性"、"高壓縮率"和"高清晰度"的視頻編碼標(biāo)準(zhǔn)及其應(yīng)用技術(shù)， 已成為信號與信息處理領(lǐng)域的研究熱點(diǎn)之一。
[0004] 截至目前，眾多學(xué)者圍繞視頻快速編碼或者視覺感知分析開展了大量研究工作， 但是很少將二者結(jié)合在一個(gè)編碼框架內(nèi)聯(lián)合實(shí)現(xiàn)對視頻編碼性能的優(yōu)化。
[0005] 在視覺感知特征分析方面，有的研究人員采用顏色、亮度、方向和膚色四種視覺特 征進(jìn)行感興趣區(qū)域計(jì)算，但忽略了運(yùn)動(dòng)視覺特征；有的研究人員融合了運(yùn)動(dòng)、亮度強(qiáng)度、人 臉和文字等視覺特征，構(gòu)建視覺注意模型實(shí)現(xiàn)感興趣提?。灰灿械难芯咳藛T采用運(yùn)動(dòng)和紋 理信息獲取感興趣區(qū)域；或者有人提出在壓縮域或者基于小波變換的方法獲得感興趣區(qū) 域。由于現(xiàn)有的全局運(yùn)動(dòng)估計(jì)算法復(fù)雜度都較大，因此視覺感興趣區(qū)域提取算法復(fù)雜度過 高。上述基于人類視覺系統(tǒng)HVS(HumanVisualSystem)的視頻編碼技術(shù)集中研究了比特 資源優(yōu)化分配的方法，在比特資源受限時(shí)保證感興趣區(qū)域的視頻圖像質(zhì)量，但欠缺對計(jì)算 資源分配問題的考慮，并且對進(jìn)行視覺感知分析時(shí)引入的額外計(jì)算復(fù)雜度，也沒有引起足 夠的關(guān)注，其計(jì)算效率有待提_。
[0006] 在快速視頻編碼方面，有的研究人員通過控制運(yùn)動(dòng)估計(jì)點(diǎn)數(shù)、以損失率失真性能 為代價(jià)，實(shí)現(xiàn)快速編碼；有的研究人員通過進(jìn)行編碼參數(shù)控制實(shí)現(xiàn)快速編碼。但上述方法并 不區(qū)分視頻圖像中不同區(qū)域在視覺意義上的重要程度，對所有編碼內(nèi)容采用相同的快速編 碼方案，忽略了HVS對視頻場景感知的差異性。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明針對上述問題，提出一種融合視覺感知特征的可分層視頻編碼方法，包括 視覺感興趣區(qū)域優(yōu)先級的設(shè)定以及視頻編碼資源分配方案的設(shè)定兩部分；
[0008] 所述視覺感興趣區(qū)域優(yōu)先級的設(shè)定主要為：鑒于視頻圖像內(nèi)容的豐富性和人眼視 覺選擇性注意機(jī)制，視頻內(nèi)容通常同時(shí)具有時(shí)域和空域雙重視覺特征，標(biāo)注視覺特征顯著 度區(qū)域的計(jì)算公式可表示為：
【主權(quán)項(xiàng)】
1. 一種融合視覺感知特征的可分層視頻編碼方法，其特征在于，包括視覺感興趣區(qū)域 優(yōu)先級的設(shè)定以及視頻編碼資源分配方案的設(shè)定兩部分； 所述視覺感興趣區(qū)域優(yōu)先級的設(shè)定主要為：鑒于視頻圖像內(nèi)容的豐富性和人眼視覺選 擇性注意機(jī)制，視頻內(nèi)容通常同時(shí)具有時(shí)域和空域雙重視覺特征，標(biāo)注視覺特征顯著度區(qū) 域的計(jì)算公式表示為：
式中，ROI (X，y)代表當(dāng)前編碼宏塊視覺感興趣優(yōu)先級；T (X，y，MV)代表當(dāng)前編碼宏塊 的時(shí)域視覺特征顯著度；S(x，y，Mode)代表當(dāng)前編碼宏塊的空域視覺特征顯著度；(x，y)表 示當(dāng)前編碼宏塊的位置坐標(biāo)； 所述視頻編碼資源分配方案的設(shè)定表現(xiàn)為：為在保證視頻編碼質(zhì)量和壓縮效率的同 時(shí)，改善視頻編碼實(shí)時(shí)性能，首先滿足感興趣區(qū)域宏塊的編碼最優(yōu)化， 采用快速幀內(nèi)預(yù)測算法，利用宏塊灰度直方圖描述宏塊平坦程度，依據(jù)宏塊平坦度自 適應(yīng)地選取可能的幀內(nèi)預(yù)測模式集合； 采用快速幀間預(yù)測算法，通過分析各種幀間預(yù)測模式出現(xiàn)概率的統(tǒng)計(jì)特性，對特定模 式進(jìn)行預(yù)判以提前終止不必要的幀間預(yù)測模式搜索和率失真代價(jià)計(jì)算，減少編碼耗時(shí)； 采用快速運(yùn)動(dòng)估計(jì)搜索算法，基于編碼塊運(yùn)動(dòng)矢量相關(guān)性，依據(jù)編碼塊運(yùn)動(dòng)程度，判定 搜索層次，實(shí)現(xiàn)高效搜索。
2. 根據(jù)權(quán)利要求1所述的融合視覺感知特征的可分層視頻編碼方法，其特征在于，所 述視覺感興趣區(qū)域優(yōu)先級的設(shè)定中，首先，進(jìn)行時(shí)域視覺顯著度區(qū)域標(biāo)注：具體分為兩個(gè)步 驟：步驟1運(yùn)動(dòng)矢量噪聲檢測和步驟2平移運(yùn)動(dòng)矢量檢測，分別用于削弱由于運(yùn)動(dòng)矢量噪聲 和攝像機(jī)運(yùn)動(dòng)而產(chǎn)生的平移運(yùn)動(dòng)矢量對于時(shí)域視覺顯著度區(qū)域檢測準(zhǔn)確性的影響，完成前 景與背景的分離，得到較為準(zhǔn)則的、符合人眼視覺特征的時(shí)域視覺顯著度區(qū)域標(biāo)注結(jié)果；然 后，進(jìn)行空域視覺顯著度區(qū)域標(biāo)；最后，依據(jù)時(shí)域、空域視覺特征顯著度區(qū)域標(biāo)注結(jié)果，完成 視覺特征顯著度區(qū)域的標(biāo)注。
3. 根據(jù)權(quán)利要求2所述的融合視覺感知特征的可分層視頻編碼方法，其特征在于，在 進(jìn)行時(shí)域視覺顯著度區(qū)域標(biāo)注時(shí)，所述步驟1運(yùn)動(dòng)矢量噪聲檢測的計(jì)算公式表示為：
(1)式中，（x，y)為當(dāng)前編碼塊位置坐標(biāo)，^表示當(dāng)前編碼塊的運(yùn)動(dòng)矢量MV，&表示運(yùn) 動(dòng)參考區(qū)域C"內(nèi)的平均運(yùn)動(dòng)矢量，定義為：
Vfr表示運(yùn)動(dòng)參考區(qū)域Cit所包含宏塊的運(yùn)動(dòng)矢量，表示累加次數(shù)； 運(yùn)動(dòng)參考區(qū)域c"的定義如下，以使參考區(qū)域C "的形狀、位置、面積能夠隨當(dāng)前運(yùn)動(dòng)矢 量^的變化而實(shí)現(xiàn)自適應(yīng)調(diào)整： 將分別位于Ctt的左上、右上、左下和右下的四個(gè)宏塊表示為MB1, MB2, MB3, MB4，其位置 坐標(biāo)定義為：
分別是當(dāng)前運(yùn)動(dòng)矢量j；在水平和垂直 V S 方向上的運(yùn)動(dòng)幅度，^和h 3分別表示當(dāng)前編碼塊的寬度和高度，[·]表示取整計(jì)算； 如果Ilh 〇,說明在運(yùn)動(dòng)參考區(qū)域c"內(nèi)不存在運(yùn)動(dòng)矢量，則認(rèn)為g是由運(yùn)動(dòng)噪聲引起 的，應(yīng)予以濾除，€被置為0,標(biāo)記T1U, y，MV) = 3 ;
，說明當(dāng)前編碼塊與鄰近宏塊相比具有較顯著的運(yùn)動(dòng)特征，屬于前景動(dòng) 態(tài)區(qū)域，標(biāo)記T1 (X，y，MV) = 2 ; 否則，說明當(dāng)前編碼塊與鄰近宏塊具有相似的運(yùn)動(dòng)特性，時(shí)域顯著性并不明顯，需要進(jìn) 一步進(jìn)行平移運(yùn)動(dòng)矢量檢測，以判定該編碼塊是屬于背景區(qū)域，還是屬于前景平移區(qū)域，標(biāo) 記為 T2(x，y，MV); 所述步驟2平移運(yùn)動(dòng)矢量檢測的計(jì)算公式表示為：
(2)式中，（x，y)表示當(dāng)前編碼塊的位置坐標(biāo)；元為動(dòng)態(tài)閾值；SAD(x,y#當(dāng)前編碼塊與 前一幀對應(yīng)位置塊之間的絕對差值和SAD(Sum of Absolute Differences，SAD)，用于表征 相鄰兩幀對應(yīng)編碼塊的變化程度，定義如下：
其中，s (i, j)為當(dāng)前編碼塊的像素值；c (i, j)為前一巾貞對應(yīng)位置塊的像素值；M, N分 別為當(dāng)前編碼塊的長、寬尺寸； 動(dòng)態(tài)閾值瓦為前一幀中被確定為背景區(qū)域內(nèi)的所有編碼塊SAD的均值，定義如下：
其中，S。表示前一幀的背景區(qū)域；
表示S。內(nèi)包含編碼塊對應(yīng)SAD值的累加 和；Num表不累加次數(shù)； 綜合上述（1)和（2)兩個(gè)處理步驟，進(jìn)行時(shí)域視覺顯著度區(qū)域標(biāo)注的計(jì)算公式描述 為： r -
(3) 式中，各參數(shù)的定義與式⑴和式（2)相同； 然后，進(jìn)行空域視覺顯著度區(qū)域標(biāo)注，其計(jì)算公式描述為：
(4) 式中，（X，y)表示當(dāng)前編碼塊的位置坐標(biāo)；Mode表示編碼塊的預(yù)測模式；modeP表 示P幀編碼中當(dāng)前編碼塊的預(yù)測模式；Hiode 1表示I幀編碼中當(dāng)前編碼塊的預(yù)測模式； 如果Hiodep選擇了幀內(nèi)預(yù)測模式，說明空域視覺特征顯著度最高，屬于敏感區(qū)，標(biāo)記 S (x, y, Mode) = 2 ； 如果modeP選擇了子塊巾貞間預(yù)測模式集合Inter8(8X8,8X4,4X8,4X4)或者mode I 選擇了 Intra4X4預(yù)測模式，說明空間細(xì)節(jié)豐富，也具有較高空域視覺特征顯著度，屬于關(guān) 注區(qū)，標(biāo)記 S(x，y，Mode) = 1 ; 如果modeP選擇了宏塊巾貞間預(yù)測模式集合Interl6(Skip，16X 16,16X8,8X 16)或者 Hiode1選擇了 IntraieX 16預(yù)測模式，說明空間變化平緩，空間視覺特征顯著度低，屬于非顯 著區(qū)，標(biāo)記 S (x，y，Mode) =0; 最后，依據(jù)時(shí)域、空域視覺特征顯著度區(qū)域標(biāo)注結(jié)果，標(biāo)注視覺特征顯著度區(qū)域。
4.根據(jù)權(quán)利要求1所述的融合視覺感知特征的可分層視頻編碼方法，其特征在于，采 用快速幀內(nèi)預(yù)測算法的具體過程： 步驟1 :計(jì)算當(dāng)前編碼宏塊亮度分量Y的灰度直方圖，記錄其最大像素?cái)?shù)Max Value ; 步驟2 :設(shè)定上限閾值Thhigh和下限閾值Th lOT，Thhigh和Th lOT均為[1，256]間的整數(shù)； 步驟3 :若Max Value > Thhigh,認(rèn)為宏塊平坦，舍棄Intra4X4預(yù)測模式集合，選擇 Intral6X16預(yù)測模式集合，并將率失真開銷最小的模式作為最優(yōu)幀內(nèi)預(yù)測