一種結(jié)合視覺感知的可伸縮視頻碼率控制方法、裝置制造方法
【專利摘要】本發(fā)明適用于視頻【技術(shù)領(lǐng)域】，提供了一種結(jié)合視覺感知的可伸縮視頻碼率控制方法、裝置，所述方法包括：接收輸入的視頻文件，一方面對所述視頻文件進行可伸縮編碼，得到各個宏塊的編碼碼率，另一方面對所述視頻文件的視頻幀進行顯著圖計算，獲取各個視頻幀的視覺顯著圖；構(gòu)造注視轉(zhuǎn)移矩陣，根據(jù)所述注視轉(zhuǎn)移矩陣，結(jié)合鏡頭播放時長及人眼視覺特性，計算得到所述視覺顯著圖的時空顯著圖；根據(jù)所述時空顯著圖中各個宏塊的顯著度信息，對各個宏塊的編碼碼率的重要性進行排序；根據(jù)排序結(jié)果對各個宏塊的編碼碼率進行控制。本發(fā)明，優(yōu)先降低注視可能性低的區(qū)域的碼率，而提高顯著度高區(qū)域的碼率，顯著度高區(qū)域的感知質(zhì)量有了明顯提升。
【專利說明】一種結(jié)合視覺感知的可伸縮視頻碼率控制方法、裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于視頻【技術(shù)領(lǐng)域】，尤其涉及一種結(jié)合視覺感知的可伸縮視頻碼率控制方
法、裝置。
【背景技術(shù)】
[0002]隨著網(wǎng)絡(luò)技術(shù)和各種終端設(shè)備的發(fā)展，新的視頻應(yīng)用要求視頻編碼能夠以較低復(fù)雜度提供時域、空域和質(zhì)量可伸縮性?？缮炜s編碼(Scalable VideoCoding, SVC)采用多層編碼的方式把視頻序列編碼成相互依賴的可伸縮層集合，不同的終端設(shè)備可以根據(jù)播出能力、處理能力和網(wǎng)絡(luò)質(zhì)量，提取和解碼可伸縮層的一部分。如何通過視頻碼率控制滿足用戶的個性化需求，實現(xiàn)播出質(zhì)量的最大化成為視頻壓縮和傳輸中需要解決的關(guān)鍵問題。
[0003]現(xiàn)有的碼率控制方法大都基于JVT-H017草案，通過二次率失真模型估計量化參數(shù)。作為H.264/AVC的擴展，H.264/SVC在基本層實現(xiàn)了碼率控制算法。視覺認知的研究發(fā)現(xiàn)，每個視頻包對于視頻質(zhì)量的貢獻是不一樣的，有必要在感知層面考慮視頻內(nèi)容對人眼視覺系統(tǒng)的激勵特性，現(xiàn)有技術(shù)I提出了一種改進的JVT-H017算法，根據(jù)人類視覺系統(tǒng)特性設(shè)計加權(quán)Y分量的峰值信噪比(PeakSignaltoNoiseRatio，PSNR),再根據(jù)基本單元層的復(fù)雜度分配碼率；現(xiàn)有技術(shù)2提出面向運動可伸縮性的率失真優(yōu)化算法，通過該算法實現(xiàn)碼流提??；現(xiàn)有技術(shù)3在視覺顯著圖的基礎(chǔ)上，根據(jù)顯著度和絕對誤差修改宏塊的復(fù)雜度，將碼率控制應(yīng)用于無線信道；現(xiàn)有技術(shù)4將碼率和感知質(zhì)量建模為幀率和量化步長的函數(shù)，應(yīng)用于可伸縮碼流自適應(yīng)和幀率自適應(yīng)。針對中粒度可伸縮編碼(Medium-GrainScalable Video Coding,MGS),現(xiàn)有技術(shù)5提出加權(quán)率失真模型估計差錯漂移的影響；現(xiàn)有技術(shù)6基于MGS中slices的視覺重要性分配碼率。
[0004]現(xiàn)有技術(shù)存在的問題和不足在于:
[0005]1、采用的視覺顯著圖都只有二維空間信息，沒有考慮時間變化所造成的人眼視覺轉(zhuǎn)移和視頻內(nèi)容的變化；
[0006]2、使用視覺感知特性作為加權(quán)分量修改率失真模型，計算量大，并且沒有從整體上考慮碼率分配的邊際效應(yīng)。
[0007]綜上所述，在網(wǎng)絡(luò)帶寬資源有限的情況下，現(xiàn)有的視頻，經(jīng)過可伸縮視頻編碼后，得到的可伸縮視頻的主觀質(zhì)量比較差。

【發(fā)明內(nèi)容】

[0008]本發(fā)明實施例提供了一種結(jié)合視覺感知的可伸縮視頻碼率控制方法、裝置，旨在解決現(xiàn)有技術(shù)經(jīng)過可伸縮編碼后得到的可伸縮視頻的主觀視覺質(zhì)量比較差的問題。
[0009]一方面，提供一種結(jié)合視覺感知的可伸縮視頻碼率控制方法，所述方法包括:
[0010]接收輸入的視頻文件，一方面對所述視頻文件進行可伸縮編碼，得到各個宏塊的編碼碼率，另一方面對所述視頻文件的視頻幀進行顯著圖計算，獲取各個視頻幀的視覺顯著圖；[0011]構(gòu)造注視轉(zhuǎn)移矩陣，根據(jù)所述注視轉(zhuǎn)移矩陣，結(jié)合鏡頭播放時長及人眼視覺特性，計算得到所述視覺顯著圖的時空顯著圖；
[0012]根據(jù)所述時空顯著圖中各個宏塊的顯著度信息，對各個宏塊的編碼碼率的重要性進行排序；
[0013]根據(jù)排序結(jié)果對各個宏塊的編碼碼率進行控制。
[0014]另一方面，提供一種結(jié)合視覺感知的可伸縮視頻碼率控制裝置，所述裝置包括:
[0015]視頻處理單元，用于接收輸入的視頻文件，一方面對所述視頻文件進行可伸縮編碼，得到各個宏塊的編碼碼率，另一方面對所述視頻文件的視頻幀進行顯著圖計算，獲取各個視頻幀的視覺顯著圖；
[0016]時空顯著圖獲取單元，用于構(gòu)造注視轉(zhuǎn)移矩陣，根據(jù)所述注視轉(zhuǎn)移矩陣，結(jié)合鏡頭播放時長及人眼視覺特性，計算得到所述視覺顯著圖的時空顯著圖；
[0017]第一排序單元，用于根據(jù)所述時空顯著圖中各個宏塊的顯著度信息，對各個宏塊的編碼碼率的重要性進行排序；
[0018]碼率控制單元，用于根據(jù)排序結(jié)果對各個宏塊的編碼碼率進行控制。
[0019]在本發(fā)明實施例中，對輸入的視頻，先計算出包含時間和空間特性的時空顯著圖，再根據(jù)所述時空顯著圖中各個宏塊的顯著度信息對各個宏塊的碼率進行控制。時空顯著圖中不僅包括了空間信息，還包括時間信息，該時空顯著圖的主觀視覺質(zhì)量相比現(xiàn)有技術(shù)采用的視覺顯著圖，視覺質(zhì)量更高。另外，在進行碼率控制時，根據(jù)時空顯著圖中各個宏塊的顯著度信息對各個宏塊的碼率進行控制，優(yōu)先降低注視可能性低的區(qū)域的碼率，而提高顯著度高區(qū)域的碼率，顯著度高區(qū)域的感知質(zhì)量有了明顯提升。
【專利附圖】

【附圖說明】
[0020]圖1是本發(fā)明實施例一提供的結(jié)合視覺感知的可伸縮視頻碼率控制方法的實現(xiàn)流程圖；
[0021]圖2是本發(fā)明實施例二提供的結(jié)合視覺感知的可伸縮視頻碼率控制方法的實現(xiàn)流程圖；
[0022]圖3是本發(fā)明實施例二提供的人眼視覺示意圖；
[0023]圖4是本發(fā)明實施例三提供的結(jié)合視覺感知的可伸縮視頻碼率控制方法的實現(xiàn)流程圖；
[0024]圖5是本發(fā)明實施例三提供的人眼對視頻的主觀視覺感知質(zhì)量與視頻編碼碼率近似關(guān)系不意圖；
[0025]圖6是本發(fā)明實施例四提供的結(jié)合視覺感知的可伸縮視頻碼率控制裝置的結(jié)構(gòu)框圖。
【具體實施方式】
[0026]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細說明。應(yīng)當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0027]在本發(fā)明實施例中，對輸入的視頻，先計算出包含時間和空間特性的時空顯著圖，再根據(jù)所述時空顯著圖中各個宏塊的顯著度信息對各個宏塊的碼率進行控制。時空顯著圖中不僅包括了空間信息，還包括時間信息，該時空顯著圖的主觀視覺質(zhì)量相比現(xiàn)有技術(shù)采用的視覺顯著圖，視覺質(zhì)量更高。另外，在進行碼率控制時，根據(jù)時空顯著圖中各個宏塊的顯著度信息對各個宏塊的碼率進行控制，優(yōu)先降低注視可能性低的區(qū)域的碼率，而提高顯著度高區(qū)域的碼率。
[0028]以下結(jié)合具體實施例對本發(fā)明的實現(xiàn)進行詳細描述:
[0029]實施例一
[0030]圖1示出了本發(fā)明實施例一提供的結(jié)合視覺感知的可伸縮視頻碼率控制方法的實現(xiàn)流程圖，為了便于說明，僅示出了與本發(fā)明實施例相關(guān)的部分，詳述如下:
[0031]在步驟SlOl中，接收輸入的視頻文件，一方面對所述視頻文件進行可伸縮編碼，得到各個宏塊的編碼碼率，另一方面對所述視頻文件的視頻幀進行顯著圖計算，獲取各個視頻幀的視覺顯著圖。
[0032]在本發(fā)明實施例中，時空顯著圖是一種三維顯著圖，綜合考慮視頻的時間和空間特性，反映人眼注視區(qū)域與注視時間之間的映射關(guān)系。時空顯著圖的計算過程包括初始顯著計算與最終顯著計算部分。
[0033]初始顯著計算部分即是對接收到的視頻文件的視頻幀進行顯著圖計算，獲取各個視頻幀的視覺顯著圖，具體的，可以利用Harel方法得到各個視頻幀的視覺顯著圖。
[0034]在步驟S102中，構(gòu)造注視轉(zhuǎn)移矩陣，根據(jù)所述注視轉(zhuǎn)移矩陣，結(jié)合鏡頭播放時長及人眼視覺特性，計算得到所述視覺顯著圖的時空顯著圖。
[0035]在本發(fā)明實施例中，最終顯著區(qū)域計算部分即是在初始顯著計算結(jié)果的基礎(chǔ)上，結(jié)合考慮了視覺注視轉(zhuǎn)移及延遲方面的視覺特性進一步優(yōu)化，計算得到步驟SOl所述的視覺顯著圖的時空顯著圖。
[0036]在獲取初始顯著計算結(jié)果后，由于人眼注視視頻畫面過程中會發(fā)生注視、眼跳和追隨運動，而人眼視覺及心理學相關(guān)研究表明，人眼對區(qū)域平均眼跳延遲(注視)時長約為350ms，平均眼跳時長約為70ms。因此為方便計算，根據(jù)人眼的視覺特性，先設(shè)置時間參數(shù)At,該時間參數(shù)At滿足公式(I):
[0037]Δ tn 00 R2 (mean (Atn)) s.t.mean ( Δ tn) =420 (I)
[0038]其中，n表示第η個顯著區(qū)域，R2表示顯著區(qū)域的面積，^?表示注視時間和區(qū)域面積成正比，mean( Δ tn)表示取Δ tn的平均值。
[0039]再構(gòu)造注視轉(zhuǎn)移矩陣Pt，具體構(gòu)造的Pt滿足公式(2):
[0040]
【權(quán)利要求】
1.一種結(jié)合視覺感知的可伸縮視頻碼率控制方法，其特征在于，所述方法包括: 接收輸入的視頻文件，一方面對所述視頻文件進行可伸縮編碼，得到各個宏塊的編碼碼率，另一方面對所述視頻文件的視頻幀進行顯著圖計算，獲取各個視頻幀的視覺顯著圖； 構(gòu)造注視轉(zhuǎn)移矩陣，根據(jù)所述注視轉(zhuǎn)移矩陣，結(jié)合鏡頭播放時長及人眼視覺特性，計算得到所述視覺顯著圖的時空顯著圖； 根據(jù)所述時空顯著圖中各個宏塊的顯著度信息，對各個宏塊的編碼碼率的重要性進行排序； 根據(jù)排序結(jié)果對各個宏塊的編碼碼率進行控制。
2.如權(quán)利要求1所述的方法，其特征在于，在所述構(gòu)造注視轉(zhuǎn)移矩陣，根據(jù)所述注視轉(zhuǎn)移矩陣，結(jié)合鏡頭播放時長及人眼視覺特性，計算得到所述視覺顯著圖的時空顯著圖之后，所述方法還包括: 結(jié)合人眼中央凹視覺特性、視頻畫面大小、視線距離確定人眼的二維擬合曲線； 根據(jù)所述二維擬合曲線對所述時空顯著圖進行曲線擬合，得到各個宏塊的顯著度加權(quán)權(quán)值； 根據(jù)所述顯著度加權(quán)權(quán)值，對各個宏塊的編碼碼率的重要性進行排序。
3.如權(quán)利要求2所述的方法，其特征在于，在所述結(jié)合人眼中央凹視覺特性、視頻畫面大小、視線距離確定人眼的二維擬合曲線之后，所述方法還包括: 根據(jù)主觀感知與編碼碼率曲線關(guān)系圖得到各個宏塊的主觀視覺感覺效果分數(shù)值，并進一步得到各個宏塊的編碼碼率的斜率； 根據(jù)所述編碼碼率的斜率、時空顯著圖以及二位擬合曲線，對各個宏塊的編碼碼率的重要性進行排序。
4.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)排序結(jié)果對各個宏塊的編碼碼率進行控制具體為: 優(yōu)先降低顯著度低區(qū)域的編碼碼率，同時，使所述顯著度與所述編碼碼率的關(guān)系滿足如下公式:
5.一種結(jié)合視覺感知的可伸縮視頻碼率控制裝置，其特征在于，所述裝置包括: 視頻處理單元，用于接收輸入的視頻文件，一方面對所述視頻文件進行可伸縮編碼，得到各個宏塊的編碼碼率，另一方面對所述視頻文件的視頻幀進行顯著圖計算，獲取各個視頻幀的視覺顯著圖； 時空顯著圖獲取單元，用于構(gòu)造注視轉(zhuǎn)移矩陣，根據(jù)所述注視轉(zhuǎn)移矩陣，結(jié)合鏡頭播放時長及人眼視覺特性，計算得到所述視覺顯著圖的時空顯著圖； 第一排序單元，用于根據(jù)所述時空顯著圖中各個宏塊的顯著度信息，對各個宏塊的編碼碼率的重要性進行排序； 碼率控制單元，用于根據(jù)排序結(jié)果對各個宏塊的編碼碼率進行控制。
6.如權(quán)利要求5所述的裝置，其特征在于，所述裝置還包括: 二維擬合曲線生成單元，用于結(jié)合人眼中央凹視覺特性、視頻畫面大小、視線距離確定人眼的二維擬合曲線； 加權(quán)權(quán)值生成單元，用于根據(jù)所述二維擬合曲線對所述時空顯著圖進行曲線擬合，得到各個宏塊的顯著度加權(quán)權(quán)值； 第二排序單元，用于根據(jù)所述顯著度加權(quán)權(quán)值，對各個宏塊的編碼碼率的重要性進行排序。
7.如權(quán)利要求6所述的裝置，其特征在于，所述裝置還包括: 斜率計算單元，用于根據(jù)主觀感知與編碼碼率曲線關(guān)系圖得到各個宏塊的主觀視覺感覺效果分數(shù)值，并進一步得到各個宏塊的編碼碼率的斜率； 第三排序單元，用于根據(jù)所述編碼碼率的斜率、時空顯著圖以及二位擬合曲線，對各個宏塊的編碼碼率的重要性進行排序。
8.如權(quán)利要求5所述的裝置，其特征在于，所述碼率控制單元通過優(yōu)先降低顯著度低區(qū)域的編碼碼率來對編碼碼率進行控制，同時，使所述顯著度與所述編碼碼率的關(guān)系滿足如下公式:
【文檔編號】H04N7/26GK103458238SQ201210455614
【公開日】2013年12月18日 申請日期:2012年11月14日 優(yōu)先權(quán)日:2012年11月14日
【發(fā)明者】柳偉, 陳旭, 梁永生, 張基宏 申請人:深圳信息職業(yè)技術(shù)學院