一種新的合成虛擬視點(diǎn)客觀質(zhì)量評價(jià)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種新的合成虛擬視點(diǎn)客觀質(zhì)量評價(jià)方法，特別是一種基于邊緣的部 分參考質(zhì)量評價(jià)方法。
【背景技術(shù)】
[0002] 3D(ThreeDimensional)電視使人產(chǎn)生身臨其境的感覺，是一種能夠提供立體感 的新型顯示技術(shù)。近年來，各類電視生產(chǎn)商、研宄機(jī)構(gòu)及國內(nèi)外標(biāo)準(zhǔn)化組織均將3D列為重 點(diǎn)研宄的技術(shù)領(lǐng)域。而作為3D其中一種形式的自由視點(diǎn)電視使人們能從任意場景視角接 收現(xiàn)實(shí)世界，然而由于其數(shù)據(jù)量龐大，為減少自由立體視頻數(shù)據(jù)量，同時(shí)支持交互性，多視 點(diǎn)視頻+深度（MultiviewVideoplusDepth，MVD)方法應(yīng)運(yùn)而生。MVD利用深度信息更 準(zhǔn)確地表示3D場景信息，便于合成更高質(zhì)量的虛擬視點(diǎn)圖像，可在一定范圍內(nèi)的任意位置 合成高質(zhì)量的虛擬視圖供用戶觀看，且允許用戶根據(jù)自己的喜好隨時(shí)改變觀看的視點(diǎn)。MVD 視頻格式在自由立體視頻系統(tǒng)的終端主要采用了DIBR(DepthImageBasedRendering，深 度圖像繪制）技術(shù)，其核心是三維圖像變換，DIBR利用靜止或運(yùn)動圖像中每一點(diǎn)的深度信 息來產(chǎn)生一個(gè)或者多個(gè)虛擬視點(diǎn)，大大減少了參考圖像的數(shù)目，節(jié)省了圖像數(shù)據(jù)的存儲空 間和傳輸帶寬。通過DIBR過程產(chǎn)生的虛擬視點(diǎn)出現(xiàn)了新的失真類型，主要表現(xiàn)為邊緣區(qū)域 的偽邊緣。這是由于合成過程中存在著深度變換和視點(diǎn)融合等步驟，基于深度的3D變換的 不準(zhǔn)確及遮擋等在合成視點(diǎn)的邊緣會出現(xiàn)高頻噪聲；并且在某些位置上，由于遮擋等原因， 生成的圖像會產(chǎn)生空洞，物體邊緣出現(xiàn)失真。合成的虛擬視點(diǎn)的質(zhì)量是決定自由視點(diǎn)能否 獲得廣泛應(yīng)用的關(guān)鍵，虛擬視點(diǎn)的質(zhì)量受諸多因素的影響，例如視點(diǎn)合成算法，壓縮算法， 紋理圖及深度圖的質(zhì)量。目前對于合成的虛擬視點(diǎn)質(zhì)量一般采用常用于二維的PSNR(Peak SignaltoNoiseRatio,峰值信噪比）全參考評價(jià)方法，而這種方法是基于全像素的，沒有 考慮虛擬視點(diǎn)邊緣失真的特點(diǎn)。因此結(jié)果往往和主觀感知的視頻質(zhì)量不相一致。甚至?xí)?出現(xiàn)PSNR較高者看起來反而比PSNR較低者差的情況。這是因?yàn)槿搜鄣囊曈X對于誤差的 敏感度會受到許多因素的影響而產(chǎn)生變化，例如：人眼對邊緣敏感度較高，用基于全像素的 PSNR就會造成評價(jià)誤差。
[0003] 圖像質(zhì)量評價(jià)方法分為主觀和客觀兩種方法，主觀評價(jià)方法需要測試者借助原始 圖像成對比較來區(qū)分圖像差異，然而這個(gè)是耗時(shí)間的。因此人們將重點(diǎn)放在客觀評價(jià)方法 上。客觀評價(jià)方法是針對圖像的失真情況得出相應(yīng)的驗(yàn)證算法，以數(shù)字的方式表現(xiàn)圖像質(zhì) 量好壞。根據(jù)失真圖像與其相應(yīng)的原始參考圖像的依賴程度，可把視頻質(zhì)量評價(jià)方法分成3 大類，全參考方法（Full-Reference,FR)、無參考方法（Non-Reference,NR)、部分參考方法 (Reduced-Reference,RR)。目前對于合成的虛擬視點(diǎn)，常用的方法是借助虛擬視點(diǎn)的原始 參考視點(diǎn)進(jìn)行評價(jià)，然而虛擬視點(diǎn)會存在無原始圖像的情況，因此必須借助無參考評價(jià)方 法，然而無參考評價(jià)方法不能結(jié)合虛擬視點(diǎn)產(chǎn)生過程，既不能針對虛擬視點(diǎn)的特殊失真，因 此評價(jià)結(jié)果會產(chǎn)生偏差。評價(jià)結(jié)果不能完全符合人眼的主觀感受。迄今，針對多視點(diǎn)視頻 中的虛擬視點(diǎn)的質(zhì)量評價(jià)方法研宄較少，還沒有普遍針對特殊失真使用的方法。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是針對虛擬視點(diǎn)的合成過程，提供一種針對其特殊失真的部分參考 質(zhì)量評價(jià)方法。與傳統(tǒng)的評價(jià)方法相比較，本文方法是針對基于深度的多視點(diǎn)視頻合成過 程，利用提取合成的失真虛擬視邊緣圖及未失真的紋理邊緣圖合成的虛擬視邊緣圖之間的 關(guān)系建立評價(jià)函數(shù)，并將這個(gè)評價(jià)函數(shù)引入到虛擬視點(diǎn)的質(zhì)量評價(jià)中，本方法充分利用合 成虛擬視點(diǎn)所使用的左右視點(diǎn)信息，在缺少虛擬視點(diǎn)對應(yīng)原始視點(diǎn)的情況下，可有效評價(jià) 虛擬視點(diǎn)的質(zhì)量。
[0005] 為達(dá)到上述目的，本發(fā)明的構(gòu)思是：
[0006] 如圖1所示，首先用失真紋理圖和其對應(yīng)的深度圖合成虛擬視點(diǎn)，并提取虛擬視 點(diǎn)的邊緣圖；然后提取未失真的左右紋理邊緣圖，并用提取的邊緣圖和對應(yīng)的深度圖合成 虛擬視點(diǎn)邊緣圖；用SSIM(StructuralSimilarity，結(jié)構(gòu)相似性）方法評價(jià)失真的合成虛 擬視邊緣圖與參考合成虛擬視邊緣圖；根據(jù)對多種序列得到的相似度值對到邊緣相似性建 立評價(jià)函數(shù)；最后根據(jù)虛擬視點(diǎn)和邊緣虛擬視點(diǎn)質(zhì)量的質(zhì)量關(guān)系推導(dǎo)相似性函數(shù)中設(shè)置的 常參數(shù)；將常參數(shù)代入邊緣相似性函數(shù)得到質(zhì)量評價(jià)模型。
[0007] 為達(dá)到上述構(gòu)思，本發(fā)明的技術(shù)方案是：
[0008] -種基于深度合成的虛擬視點(diǎn)部分參考質(zhì)量評價(jià)方法，其特征在于通過評價(jià)合成 虛擬視點(diǎn)邊緣圖的結(jié)果得到虛擬視點(diǎn)的評價(jià)方法。評價(jià)所得結(jié)果越高說明合成虛擬視點(diǎn)圖 像質(zhì)量越好。此方法能夠反映虛擬視的質(zhì)量，和現(xiàn)有的評價(jià)方法相比，本方法充分利用合成 虛擬視點(diǎn)所使用的左右視點(diǎn)信息，在缺少虛擬視點(diǎn)對應(yīng)原始視點(diǎn)的情況下，可有效評價(jià)虛 擬視點(diǎn)的質(zhì)量，其測試結(jié)果與全參考方法關(guān)聯(lián)性較高，與主觀評價(jià)的結(jié)果有更好的一致性。 [0009] 其具體步驟是：
[0010] (1)得到由失真紋理圖合成的虛擬視點(diǎn)邊緣圖：先用失真紋理圖和其對應(yīng)的深度 圖合成虛擬視點(diǎn)，然后提取虛擬視點(diǎn)的邊緣圖；
[0011] (2)得到由未失真紋理圖邊緣合成的虛擬視點(diǎn)邊緣圖：提取未失真的左右紋理邊 緣圖，并用提取的邊緣圖和對應(yīng)的深度圖合成虛擬視點(diǎn)邊緣圖；
[0012] (3)得到失真邊緣圖質(zhì)量：評價(jià)失真的合成虛擬視邊緣圖與參考合成虛擬視邊緣 圖；
[0013] (4)建立評價(jià)函數(shù)：建立非線性擬合函數(shù)；
[0014] (5)推導(dǎo)評價(jià)模型：根據(jù)虛擬視點(diǎn)和邊緣虛擬視點(diǎn)質(zhì)量的質(zhì)量關(guān)系推導(dǎo)相似性函 數(shù)中設(shè)置的常參數(shù)，將常參數(shù)代入邊緣相似性函數(shù)得到質(zhì)量評價(jià)結(jié)果，并進(jìn)行實(shí)驗(yàn)分析與 驗(yàn)證，經(jīng)實(shí)驗(yàn)推導(dǎo)評價(jià)函數(shù)常函數(shù)。
[0015] 上述得到由失真紋理圖合成的虛擬視點(diǎn)邊緣圖具體步驟是：
[0016] ①合成虛擬視點(diǎn)；
[0017] ②提取合成虛擬視點(diǎn)的邊緣圖Iev (xv，yv)。
[0018] 上述得到由未失真紋理圖邊緣合成的虛擬視點(diǎn)邊緣圖具體步驟是：
[0019] ①提取原始左視點(diǎn)紋理圖的邊緣；
[0020] ②提取原始右視點(diǎn)紋理圖的邊緣；
[0021] ③將左右紋理邊緣圖和對應(yīng)的深度圖合成原始的合成視邊緣圖Idev(xv，yv)。
[0022] 上述得到失真邊緣圖質(zhì)量具體步驟是：
[0023] ①用結(jié)構(gòu)相似性方法SSM比較邊緣圖的質(zhì)量。
[0024] 上述建立評價(jià)函數(shù)具體步驟是：
[0025] ①根據(jù)評價(jià)結(jié)果建立非線性函數(shù)RR_SSMVirtual。
[0026] 上述推導(dǎo)評價(jià)模型具體步驟是：
[0027] ①采用MPEG組織推薦的自帶深度的多視點(diǎn)視頻序列；
[0028] ②按合成虛擬視點(diǎn)的比較結(jié)果得模型參數(shù)的值；
[0029] ③