基于雙目視覺感知的無參考立體圖像質(zhì)量客觀評價方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種立體圖像質(zhì)量評價方法，尤其是設(shè)及一種基于雙目視覺感知的無 參考立體圖像質(zhì)量客觀評價方法。
【背景技術(shù)】
[0002] 數(shù)字化信息時代的高速發(fā)展，帶動了圖像領(lǐng)域的研究熱潮。圖像在獲取、壓縮、處 理、傳輸、存儲和顯示等過程中會不可避免地帶來不同程度和類型的失真，而運些失真會直 接影響到圖像的質(zhì)量。因此，設(shè)計有效的圖像質(zhì)量評價機(jī)制是圖像/視頻系統(tǒng)的重要環(huán)節(jié)。 圖像質(zhì)量客觀評價方法可分為全參考、半?yún)⒖己蜔o參考等類型。全參考型圖像質(zhì)量客觀評 價方法的評價結(jié)果比較準(zhǔn)確可行，但是由于其需使用原始圖像的全部信息，而在實際應(yīng)用 過程中很難獲得原始圖像作為參考，因此無需原始圖像信息的無參考型圖像質(zhì)量客觀評價 方法已成為該領(lǐng)域的研究重點。
[0003] 對于立體圖像質(zhì)量客觀評價方法，根據(jù)是否使用深度/視差信息可分為兩類：第 一類是基于平面的立體圖像質(zhì)量評價模型，其不需要從立體圖像中計算深度或視差信息； 第二類是考慮立體感知特性的立體圖像質(zhì)量評價模型，其考慮了立體圖像中的深度或視差 信息。然而，立體感知是具有視差的左右眼圖像經(jīng)由大腦的視覺皮層融合形成的，因此，相 比于平面圖像質(zhì)量客觀評價，立體圖像質(zhì)量客觀評價不僅需要考慮左右圖像的質(zhì)量，而且 還要重點考慮視差信息、深度感知等影響立體用戶體驗質(zhì)量的因素。除立體內(nèi)容（深度或 視差）之外，還存在一些重要問題：首先，觀察者在觀看立體內(nèi)容時可能會遇到雙目競爭、 雙目抑制等，而運會影響立體感知質(zhì)量；其次，立體圖像的視覺感知質(zhì)量可能設(shè)及深度質(zhì) 量、平面質(zhì)量和立體質(zhì)量之間的相互作用；再者，觀察者在觀看失真的立體圖像時可能會產(chǎn) 生視覺不舒適和疲勞等感覺，從而對立體圖像的主觀質(zhì)量產(chǎn)生消極影響。因此，如何將雙 目融合、雙目競爭和深度感知的人眼立體視覺特性融入到立體圖像質(zhì)量客觀評價中，使客 觀評價結(jié)果更好地符合人類視覺系統(tǒng)，是立體圖像質(zhì)量客觀評價過程中一個重要的研究問 題。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問題是提供一種基于雙目視覺感知的無參考立體圖像質(zhì) 量客觀評價方法，其能夠有效地提高客觀評價結(jié)果與主觀感知之間的相關(guān)性。
[0005] 本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為：一種基于雙目視覺感知的無參考 立體圖像質(zhì)量客觀評價方法，其特征在于包括W下步驟：
[000引①令I(lǐng)du表示待評價的失真立體圖像，將Idu的左視點圖像和右視點圖像對應(yīng)記 為Ldu和Rdu，其中，Idu的寬度和高度對應(yīng)為W和H;
[0007]②義用光流法獲取WLdis為參考的左視差圖，記為DUis;并義用光流法獲取WRdis 為參考的右視差圖，記為Dmu;然后利用DKdu對Ldu進(jìn)行視差補償，獲得視差補償左圖，記 為馬，將中坐標(biāo)位置為（X，y)的像素點的像素值記為pA"" ;并利用化du對Rdu 進(jìn)行視差補償，獲得視差補償右圖，記為將么中坐標(biāo)位置為（x，y)的像素點的像素 值記為（x，.v);接著根據(jù)Ldu和易獲取不確定左圖，記為lUs，將IUs中坐標(biāo)位置為 (X，y)的像素點的像素值記為夢&。'"（x，.v);并根據(jù)Rdu和么,,,，獲取不確定右圖，記為URdW 將IUs中坐標(biāo)位置為（X，y)的像素點的像素值記為盧心（.r，.v);再對4,,,,和忍祕進(jìn)行能量 增益控制，獲得會聚獨眼圖，記為lee，將Iee中坐標(biāo)位置為（x，y)的像素點的像素值記為 片'(〔（x，.v);其中，1
[0008]③-1、對Icc進(jìn)行重疊塊分圖像塊處理，然后對ICC中的每個圖像塊進(jìn)行曲波變換， 使Iee中的每個圖像塊轉(zhuǎn)換成多層不同尺度上的曲波系數(shù)；
[0009] ③-2、根據(jù)I。。中的所有圖像塊各自對應(yīng)的第5層尺度上的曲波系數(shù)包含的一個 矩陣中的所有系數(shù)的幅值的對數(shù)的經(jīng)驗概率分布函數(shù)，獲取Iee在曲波域的尺度系數(shù)特征 向量，記為fws，其中，fws的維數(shù)為4 ;
[0010] ③-3、根據(jù)I。。中的所有圖像塊各自對應(yīng)的第4層尺度上的曲波系數(shù)包含的前32 個方向矩陣各自的方向能量，獲取Iee在曲波域的方向能量分布特征向量，記為fwD，其中， fcED的維數(shù)為2 ;
[0011] ③-4、根據(jù)I。。中的所有圖像塊各自對應(yīng)的每層尺度上的曲波系數(shù)包含的每個矩 陣中的每個系數(shù)的幅值的對數(shù)，獲取Iee在曲波域的標(biāo)量能量分布特征向量，記為fSED，其 中，fsED的維數(shù)為6;
[0012] ③-5、通過采用零均值的廣義高斯分布擬合化du對應(yīng)的歸一化后的左視差圖直方 圖，獲取町du的特征向量，記為fDL，其中，fn誠維數(shù)為2 ;
[0013] ③-6、通過采用零均值的廣義高斯分布擬合Dmu對應(yīng)的歸一化后的右視差圖直方 圖，獲取Vs的特征向量，記為fDK，其中，fDK的維數(shù)為2 ;
[0014]③-7、通過采用對數(shù)正態(tài)分布擬合IUs的直方圖，獲取UUu的特征向量，記為fV， 其中，f。誠維數(shù)為2;
[001引③-8、通過采用對數(shù)正態(tài)分布擬合IUs的直方圖，獲取UKdu的特征向量，記為fUK， 其中，fuK的維數(shù)為2;
[001引④將fNSS、foED、fsED、fDL、fDR、fuL和fUR構(gòu)成Idu的特征向量，記為Fdu，F(xiàn)du=[fNSS，f0ED，fsED，foL，foR，fuL，fJ，其中，F(xiàn)du的維數(shù)為20,符號"[]"為向量表示符號；
[0017] ⑥構(gòu)造針對不同失真類型的失真立體圖像的支持向量回歸模型；然后利用針對與 Idu相同失真類型的失真立體圖像的支持向量回歸模型，計算Idu的客觀質(zhì)量評價預(yù)測值， 記為QdW假設(shè)IdJi于第Z種失真類型，則
其中， 1<之<2，迄:表示構(gòu)造支持向量回歸模型時所采用的失真立體圖像集中的失真立體圖像 的失真類型的種類數(shù)，1>;1，f,()為針對第Z種失真類型的失真立體圖像的支持向量回歸 模型的函數(shù)表示形式，K,表示構(gòu)造支持向量回歸模型時所采用的失真立體圖像集中屬于第 Z種失真類型的失真立體圖像的總幅數(shù)，《Wt為最優(yōu)的權(quán)重矢量，bWt為最優(yōu)的常數(shù)項，我， 表示構(gòu)造支持向量回歸模型時所采用的失真立體圖像集中屬于第Z種失真類型的第1幅失 真立體圖像的特征向量，A巧/。，巧。）為f,(FdJ的核函數(shù)。
[001引所述的步驟②中的
，其 中，
表示Ldu中坐標(biāo)位置為
的像素點的像素值， P心（.W)表示Dmu中坐標(biāo)位置為（X，y)的像素點的像素值，
表示 Rdu中坐標(biāo)位置為
的像素點的像素值，^心"表示化du中坐標(biāo)位置 為（x，y)的像素點的像素值。
[0019] 所述的步驟②中的 (J，.V) = 1-廬、f。（_r，-v)，=1-/'"*' (.、.0')，其中， 0< /-' (.T，_y)客I，盧。"（x，_y)表示L"s中坐標(biāo)位置為（X，y)的像素點與中坐標(biāo)位置為 (X，y)的像素點之間的結(jié)構(gòu)相似度值，〇<尸、'（A-,.v)：s: 1表示Rdu中坐標(biāo)位置為 (x，y)的像素點與臺。中坐標(biāo)位置為（x，y)的像素點之間的結(jié)構(gòu)相似度值。
[0020] 所述的步驟②中的的獲取過程為：
[0021]②-1、計算心。的能量圖，記為Euw將中坐標(biāo)位置為（x，y)的像素點的像 素值記為片也。片―呼，戶扣。（―W) = (X，V'l;計算A化的能量圖，記為Er"s， 坐標(biāo)位置為（x，y)的像素點的像素值記為戶^疋水)，聲鳥*片少）=|/"。（乂，_>，)|2;其中， 戶心（-T，-V)表示瑞中坐標(biāo)位置為（x，y)的像素點的像素值，公。虹'片。1;)表示么,。中坐標(biāo)位 置為（x，y)的像素點的像素值，符號"I I"為取絕對值符號；
[00過②-2、計算臺。&和臺的總能量圖，記為EndW將Endu中坐標(biāo)位置為（X，y)的像素 點的像素值記為V)，片'''…' ' (A'，r) + (.V,r):
[0023] ②-3、根據(jù)能量比重對4a,和臺&&進(jìn)行線性加權(quán)，得到會聚獨眼圖Ice，
[0024]所述的步驟③-1的具體過程為：al、采用尺寸大小為nXn的滑動窗口，在I。。中W 逐像素點移動的方式滑動，將Iee分割成（W-n+1)X(H-n+1)個重疊的尺寸大小為nXn的圖 像塊，其中，n= 256 ;a2、對I。。中的每個圖像塊進(jìn)行曲波變換，使I中的每個圖像塊轉(zhuǎn)換 成S層不同尺度上的曲波系數(shù)，其中，S=log2(n)-3 = 1〇邑2(256)-3 = 5 ;
[00巧]所述的步驟③-2的具體過程為：bl、將Icc中當(dāng)前待處理的第g個圖像塊定義為 當(dāng)前圖像塊，其中，I《g《（W-n+1)X化-n+1) ;b2、將當(dāng)前圖像塊記為償AM尋塔對 應(yīng)的第5層尺度上的曲波系數(shù)記為0B'5;b3、計算0B'5包含的一個矩陣中的所有系數(shù)的幅 值的對數(shù)的經(jīng)驗概率分布函數(shù)，記為h( 0B'5) ;b4、利用非對稱廣義高斯分布擬合h( 0B'5)， 得到擬合后的非對稱廣義高斯分布的幅值、均值、左標(biāo)準(zhǔn)偏差和右標(biāo)準(zhǔn)偏差，對應(yīng)記為aB'5、 yB'5、of和of;b5、令g=g+1，然后將Icc中下一個待處理的圖像塊作為當(dāng)前圖像塊，再 返回步驟b2繼續(xù)執(zhí)行，直至Icc中的所有圖像塊處理完畢，其中，g=g+1中的"="為賦 值符號；b6、獲取Icc在曲波域的尺度系數(shù)特征向量f WSS，U=[批-5,護(hù)'5,礦-.5,巧叫，其 中，fwss的維數(shù)為4


符號"[]"為向量表示符號；
[0026] 所述的步驟③-3的具體過程為：cl、將Icc中當(dāng)前待處理的第g個圖像塊定義 為當(dāng)前圖像塊；c2、將當(dāng)前圖像塊記為/算As，將巧對應(yīng)的第4層尺度上的曲波系數(shù) 記為0b'4;c3、從0B'4包含的64個方向矩陣中提取出前32個方向矩陣，將從0B'4包含 的64個方向矩陣中提取出的第t個方向矩陣記為妒氣其中，1《t《32,護(hù)A'的維數(shù) 為c4、計算從0B'4包含的64個方向矩陣中提取出的每個方向矩陣的方向能 量，將護(hù)At的方向能量記為
其中，/V-表示護(hù) 中坐標(biāo)位置為（p，q)的系數(shù)徽腳，符號"II"為取絕對值符號；c5、將 從0B'4包含的64個方向矩陣中提取出的水平方向和垂直方向的方向矩陣作為主要方向 矩陣，且將從0B'4包含的64個方向矩陣中提取出的其余方向的方向矩陣作為非主要方向 矩陣；然后計算從0B'4包含的64個方向矩陣中提取出的2個主要方向矩陣的方向能量的 均值，記為//，：；并計算從0B'4包含的64個方向矩陣中提取出的30個非主要方向矩陣的 方向能量的均值，記為/CLm。；c6、計算從0B'4包含的64個方向矩陣中提取出的30個非 主要方向矩陣的方向能量的標(biāo)準(zhǔn)偏差，記為巧；然后計算從0B'4包含的64個方向矩 陣中提取出的30個非主要方向矩陣的方向能量的變化系數(shù)，記為
c7、令g=g+1，然后