一種3d圖像體驗(yàn)質(zhì)量預(yù)測(cè)方法及裝置的制造方法
【專(zhuān)利說(shuō)明】-種3D圖像體驗(yàn)質(zhì)量預(yù)測(cè)方法及裝置 【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及多視點(diǎn)計(jì)算機(jī)視覺(jué)領(lǐng)域，尤其設(shè)及一種3D圖像體驗(yàn)質(zhì)量預(yù)測(cè)方法及 裝置。 【【背景技術(shù)】】
[0002] 多視點(diǎn)視頻系統(tǒng)作為自由試點(diǎn)電視的第二個(gè)發(fā)展階段，近幾年取得了較大的發(fā) 展。多視點(diǎn)電視可W提供給用戶(hù)多個(gè)觀看視角的立體視頻。在實(shí)際操作中，對(duì)同一場(chǎng)景拍 攝、傳輸較多視點(diǎn)的視頻是不現(xiàn)實(shí)的。所W，可W拍攝有限個(gè)視點(diǎn)的視頻，對(duì)運(yùn)有限個(gè)紋理 視頻及其對(duì)應(yīng)的深度視頻進(jìn)行壓縮傳輸。在接收端，利用解碼后的紋理視頻和深度視頻，其 它視點(diǎn)觀察目標(biāo)場(chǎng)景的視頻可W被合成出來(lái)，從而用戶(hù)端可W觀看到的視點(diǎn)個(gè)數(shù)遠(yuǎn)多于拍 攝視點(diǎn)個(gè)數(shù)。在編碼傳輸?shù)倪^(guò)程中，紋理視頻和深度視頻會(huì)產(chǎn)生失真，兩者的失真也會(huì)影響 合成圖的圖像質(zhì)量。
[0003] 現(xiàn)有的一些深度圖失真預(yù)測(cè)模型就深度圖的質(zhì)量對(duì)合成圖的客觀質(zhì)量進(jìn)行了一 些研究。例如VSD(ViewSynthesisDistortion),即通過(guò)估算編碼深度圖造成的合成視圖 的失真，來(lái)預(yù)測(cè)深度圖失真的方法，但此處的合成視圖的失真是客觀質(zhì)量失真。合成圖的主 觀質(zhì)量即用戶(hù)的3D體驗(yàn)質(zhì)量對(duì)于評(píng)價(jià)多視點(diǎn)視頻系統(tǒng)及其他3D視頻應(yīng)用具有更重要的意 義。主觀實(shí)驗(yàn)是評(píng)價(jià)視頻圖像的3D體驗(yàn)質(zhì)量最直接準(zhǔn)確的方式，但是主觀實(shí)驗(yàn)是一個(gè)耗時(shí) 費(fèi)力并且對(duì)測(cè)試環(huán)境都有嚴(yán)格要求的過(guò)程。所W通過(guò)建立數(shù)學(xué)模型來(lái)預(yù)測(cè)合成圖的3D體 驗(yàn)質(zhì)量極為重要。
[0004] 目前有學(xué)者對(duì)深度圖質(zhì)量對(duì)合成圖3D體驗(yàn)質(zhì)量的影響做了一些探究性的實(shí)驗(yàn)。 不足之處在于，只考慮到了不同碼率或不同包丟失率的情況下，深度圖的失真對(duì)合成圖3D 體驗(yàn)質(zhì)量的影響，并未考慮深度圖空域上的內(nèi)容特征。另外，已有的探究由于觀測(cè)樣本較 少，只對(duì)結(jié)果提出了解釋性的結(jié)論，并未將深度圖的失真與合成圖的主觀質(zhì)量建立模型關(guān) 系，不能直觀的得出結(jié)果。 【
【發(fā)明內(nèi)容】
】
[0005] 為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種3D圖像體驗(yàn)質(zhì)量預(yù)測(cè)方法，W分析 3D圖像體驗(yàn)質(zhì)量值與失真的深度圖的各種參數(shù)之間的關(guān)系。
[0006] 一種3D圖像體驗(yàn)質(zhì)量預(yù)測(cè)方法，包括如下步驟：
[0007] S1、獲取待預(yù)測(cè)的失真深度圖、W及對(duì)應(yīng)的參考深度圖；
[0008] S2、計(jì)算所述待預(yù)測(cè)的失真深度圖的紋理塊個(gè)數(shù)占比、紋理塊的平均塊失真、平坦 塊的平均塊失真、紋理塊與平坦塊的失真比；
[0009] 其中，所述紋理塊指在深度圖中紋理復(fù)雜度大于紋理復(fù)雜度闊值的編碼塊，所述 平坦塊指在深度圖中紋理復(fù)雜度小于所述紋理復(fù)雜度闊值的編碼塊，所述紋理塊個(gè)數(shù)占比 指在深度圖中紋理塊的個(gè)數(shù)與編碼塊總數(shù)之比，所述紋理塊的平均塊失真指在失真深度圖 中每個(gè)紋理塊相對(duì)于對(duì)應(yīng)的參考深度圖的紋理塊的失真之和的算術(shù)平均值，所述平坦塊的 平均塊失真指在失真深度圖中每個(gè)平坦塊相對(duì)于對(duì)應(yīng)的參考深度圖中的平坦塊的失真之 和的算術(shù)平均值，所述紋理塊與平坦塊的失真比指紋理塊的平均塊失真與平坦塊的平均塊 失真之比；
[0010] S3、將所述待預(yù)測(cè)的失真深度圖的紋理塊個(gè)數(shù)占比、紋理塊的平均塊失真、紋理塊 與平坦塊的失真比輸入關(guān)系模型中，得到根據(jù)所述待預(yù)測(cè)的失真深度圖和固定質(zhì)量的紋理 圖合成得到的視圖的3D圖像體驗(yàn)質(zhì)量值；
[0011] 其中，通過(guò)如下步驟獲得所述關(guān)系模型：
[0012] S3. 1、獲取實(shí)驗(yàn)的失真深度圖、W及對(duì)應(yīng)的參考深度圖、失真紋理圖；
[0013] S3. 2、計(jì)算所述實(shí)驗(yàn)的失真深度圖的紋理塊個(gè)數(shù)占比、紋理塊的平均塊失真、平坦 塊的平均塊失真、紋理塊與平坦塊的失真比；
[0014] S3. 3、根據(jù)所述實(shí)驗(yàn)的失真深度圖和失真紋理圖合成實(shí)驗(yàn)視圖，并獲取用戶(hù)對(duì)所 述實(shí)驗(yàn)視圖的體驗(yàn)質(zhì)量進(jìn)行評(píng)價(jià)的實(shí)驗(yàn)3D圖像體驗(yàn)質(zhì)量值；
[0015]S3. 4、計(jì)算建立所述實(shí)驗(yàn)3D圖像體驗(yàn)質(zhì)量值與所述實(shí)驗(yàn)的失真深度圖的紋理塊 個(gè)數(shù)占比、紋理塊的平均塊失真、紋理塊與平坦塊的失真比之間的所述關(guān)系模型。
[0016] 在一個(gè)實(shí)施例中，通過(guò)如下步驟確定深度圖中的紋理塊和平坦塊：
[0017] S2. 1、計(jì)算深度圖中每一個(gè)像素X的同質(zhì)性值HOMO,，
[0019] 其中，O是^像素X為中屯、點(diǎn)的M個(gè)像素點(diǎn)組成的方形區(qū)域，（i，如為O區(qū)內(nèi)的像 素點(diǎn)坐標(biāo)，Vi,j為像素點(diǎn)（i，j)的亮度值；
[0020] S2. 2、設(shè)定闊值HOM〇Thre，
[0021]若HOM〇x《HOMOThre，則將像素X判定為紋理平坦點(diǎn)，
[0022] 若冊(cè)M〇x>冊(cè)版)Th。，則將像素X判定為紋理復(fù)雜點(diǎn)；
[0023] S2. 3、針對(duì)深度圖的當(dāng)前編碼塊，
[0024] 若N《T，則將當(dāng)前編碼塊判定為平坦塊，
[0025] 若N>T，則將當(dāng)前編碼塊判定為紋理塊；
[0026] 其中，T為設(shè)定的數(shù)量闊值，N為當(dāng)前編碼塊中紋理復(fù)雜點(diǎn)的數(shù)量。
[0027] 在一個(gè)實(shí)施例中，
[0028] 在步驟S3. 4中，通過(guò)SVR算法建立所述關(guān)系模型。
[0029] 在一個(gè)實(shí)施例中，
[0030] 在步驟S3. 2中，通過(guò)如下步驟獲取所述實(shí)驗(yàn)的失真深度圖的多個(gè)不同的紋理塊 與平坦塊的失真比：
[0031] 在根據(jù)實(shí)驗(yàn)的參考深度圖編碼獲得實(shí)驗(yàn)的失真深度圖的過(guò)程中，固定參考深度圖 的紋理塊的量化參數(shù)，改變參考深度圖的平坦塊的量化參數(shù)。
[0032] 在一個(gè)實(shí)施例中，
[0033] 在所述步驟S3. 4中，在根據(jù)實(shí)驗(yàn)的參考紋理圖編碼獲得所述實(shí)驗(yàn)的失真紋理圖 過(guò)程中，固定參考紋理圖的量化參數(shù)。
[0034] 本發(fā)明還提供了一種3D圖像體驗(yàn)質(zhì)量預(yù)測(cè)裝置，包括如下單元：
[0035] 第一處理單元，用于獲取待預(yù)測(cè)的失真深度圖、W及對(duì)應(yīng)的參考深度圖；
[0036] 第二處理單元，用于計(jì)算所述待預(yù)測(cè)的失真深度圖的紋理塊個(gè)數(shù)占比、紋理塊的 平均塊失真、平坦塊的平均塊失真、紋理塊與平坦塊的失真比；
[0037] 其中，所述紋理塊指在深度圖中紋理復(fù)雜度大于紋理復(fù)雜度闊值的編碼塊，所述 平坦塊指在深度圖中紋理復(fù)雜度小于所述紋理復(fù)雜度闊值的編碼塊，所述紋理塊個(gè)數(shù)占比 指在深度圖中紋理塊的個(gè)數(shù)與編碼塊總數(shù)之比，所述紋理塊的平均塊失真指在失真深度圖 中每個(gè)紋理塊相對(duì)于對(duì)應(yīng)的參考深度圖的紋理塊的失真之和的算術(shù)平均值，所述平坦塊的 平均塊失真指在失真深度圖中每個(gè)平坦塊相對(duì)于對(duì)應(yīng)的參考深度圖中的平坦塊的失真之 和的算術(shù)平均值，所述紋理塊與平坦塊的失真比指紋理塊的平均塊失真與平坦塊的平均塊 失真之比；
[0038] 第=處理單元，用于將所述待預(yù)測(cè)的失真深度圖的紋理塊個(gè)數(shù)占比、紋理塊的平 均塊失真、紋理塊與平坦塊的失真比輸入關(guān)系模型中，得到根據(jù)所述待預(yù)測(cè)的失真深度圖 和固定質(zhì)量的紋理圖合成得到的視圖的3D圖像體驗(yàn)質(zhì)量值；
[0039] 其中，所述第=處理單元通過(guò)如下步驟獲得所述關(guān)系模型：
[0040] 獲取實(shí)驗(yàn)的失真深度圖、W及對(duì)應(yīng)的參考深度圖、失真紋理圖；
[0041] 計(jì)算所述實(shí)驗(yàn)的失真深度圖的紋理塊個(gè)數(shù)占比、紋理塊的平均塊失真、平坦塊的 平均塊失真、紋理塊與平坦塊的失真比；
[0042] 根據(jù)所述實(shí)驗(yàn)的失真深度圖和失真紋理圖合成實(shí)驗(yàn)視圖，并獲取用戶(hù)對(duì)所述實(shí)驗(yàn) 視圖的體驗(yàn)質(zhì)量進(jìn)行評(píng)價(jià)的實(shí)驗(yàn)3D圖像體驗(yàn)質(zhì)量值；
[0043] 計(jì)算建立所述實(shí)驗(yàn)3D圖像體驗(yàn)質(zhì)量值與所述實(shí)驗(yàn)的失真深度圖的紋理塊個(gè)數(shù)占 比、紋理塊的平均塊失真、紋理塊與平坦塊的失真比之間的所述關(guān)系模型。
[0044] 在一個(gè)實(shí)施例中，
[0045] 所述第=處理單元通過(guò)如下步驟確定深度圖中的紋理塊和平坦塊：
[0046] 計(jì)算深度圖中每一個(gè)像素X的同質(zhì)性值HOMOx,
[0048]其中，O是^像素X為中屯、點(diǎn)的M個(gè)像素點(diǎn)組成的方形區(qū)域，（i，j)為O區(qū)內(nèi)的像 素點(diǎn)坐標(biāo)，Vi,j為像素點(diǎn)（i，j)的亮度值； W例設(shè)定闊值冊(cè)M〇Thf。