圖像處理設(shè)備和圖像處理方法
【專利摘要】本發(fā)明涉及一種圖像處理設(shè)備和圖像處理方法，由此可以使用關(guān)于視差圖像的信息而提高視差圖像的編碼效率。以深度圖像作為目標(biāo)，深度校正單元使用基于指示深度方向上的位置的范圍的深度范圍的深度加權(quán)系數(shù)和深度偏移而執(zhí)行深度加權(quán)預(yù)測(cè)處理，該處理用于對(duì)作為深度圖像的像素值的表示深度方向上的位置的深度值進(jìn)行歸一化。亮度校正單元執(zhí)行深度加權(quán)預(yù)測(cè)處理，然后使用加權(quán)系數(shù)和偏移執(zhí)行加權(quán)預(yù)測(cè)處理以生成深度預(yù)測(cè)圖像。使用深度預(yù)測(cè)圖像對(duì)要編碼的深度圖像進(jìn)行編碼，并且生成深度流。本發(fā)明可以應(yīng)用于例如深度圖像編碼設(shè)備。
【專利說(shuō)明】圖像處理設(shè)備和圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本技術(shù)涉及一種圖像處理設(shè)備和圖像處理方法，具體地，涉及可以使用關(guān)于視差圖像的信息提高視差圖像的編碼效率的圖像處理設(shè)備和圖像處理方法。
【背景技術(shù)】
[0002]近年來(lái)，已關(guān)注了 3D圖像，并且已提出了用于多視點(diǎn)3D圖像的生成的視差圖像的編碼方法(例如，非專利文獻(xiàn)I)。另外，視差圖像是具有視差值的圖像，所述視差值表示具有對(duì)應(yīng)于視差圖像的視點(diǎn)的彩色圖像的每個(gè)像素與具有作為參考的視點(diǎn)的彩色圖像的相應(yīng)像素在畫(huà)面上的位置的水平方向上的距離。
[0003]此外，近來(lái)，為了與AVC (高級(jí)視頻編碼)方法相比進(jìn)一步提高編碼效率，稱為HEVC(高效視頻編碼)的編碼方法的標(biāo)準(zhǔn)化已在進(jìn)行中，并且在2011年8月，非專利文獻(xiàn)2已被發(fā)布作為草案。
[0004]引用列表
[0005]非專利文獻(xiàn)
[0006]非專利文獻(xiàn)1:"Call for Proposals on3D Video Coding Technology", IS0/IECJTC1/SC29/WG11, MPEG2011/N12036,日內(nèi)瓦，瑞士，2011 年 3 月
[0007]非專利文獻(xiàn)2:Thomas ffiegand, Woo-jin Han, Benjamin Bross, Jens-RainerOhm,Gary J.Sul Iivian, "WD3: Working Draf t3of High-Efficiency VideoCoding"JCTVC-E603_d5(version5), 2011 年 5 月 20 日
【發(fā)明內(nèi)容】
[0008]技術(shù)問(wèn)題
[0009]然而，沒(méi)有提出使用關(guān)于視差圖像的信息提高視差圖像的編碼效率的編碼方法。
[0010]本技術(shù)是鑒于以上問(wèn)題而做出的，并且可以使用關(guān)于視差圖像的信息提高視差圖像的編碼效率。
[0011]問(wèn)題的解決方案
[0012]根據(jù)本技術(shù)的第一方面的圖像處理設(shè)備包括:深度運(yùn)動(dòng)預(yù)測(cè)單元，以深度圖像作為目標(biāo)，基于指示深度方向上的位置的范圍的深度范圍，使用深度加權(quán)系數(shù)和深度偏移而執(zhí)行深度加權(quán)預(yù)測(cè)處理，該深度范圍是當(dāng)對(duì)作為深度圖像的像素值的表示深度方向上的位置的深度值進(jìn)行歸一化時(shí)所使用的；運(yùn)動(dòng)預(yù)測(cè)單元，通過(guò)在深度運(yùn)動(dòng)預(yù)測(cè)單元執(zhí)行了深度加權(quán)預(yù)測(cè)處理之后使用加權(quán)系數(shù)和偏移執(zhí)行加權(quán)預(yù)測(cè)處理來(lái)生成深度預(yù)測(cè)圖像；以及編碼單元，通過(guò)使用運(yùn)動(dòng)預(yù)測(cè)單元生成的深度預(yù)測(cè)圖像對(duì)要編碼的目標(biāo)深度圖像進(jìn)行編碼來(lái)生成深度流。
[0013]根據(jù)本技術(shù)的第一方面的圖像處理方法對(duì)應(yīng)于根據(jù)本技術(shù)的第一方面的圖像處
理設(shè)備。
[0014]在本技術(shù)的第一方面中，以深度圖像作為目標(biāo)，基于指示深度方向上的位置的范圍的深度范圍，使用深度加權(quán)系數(shù)和深度偏移而執(zhí)行深度加權(quán)預(yù)測(cè)處理，該深度范圍是當(dāng)對(duì)作為深度圖像的像素值的表示深度方向上的位置的深度值進(jìn)行歸一化時(shí)所使用的；通過(guò)在執(zhí)行了深度加權(quán)預(yù)測(cè)處理之后使用加權(quán)系數(shù)和偏移執(zhí)行加權(quán)預(yù)測(cè)處理來(lái)生成深度預(yù)測(cè)圖像；以及通過(guò)使用深度預(yù)測(cè)圖像對(duì)要編碼的目標(biāo)深度圖像進(jìn)行編碼來(lái)生成深度流。
[0015]根據(jù)本技術(shù)的第二方面的圖像處理設(shè)備包括:接收單元，接收使用深度圖像的預(yù)測(cè)圖像所編碼的深度流和關(guān)于深度圖像的信息，預(yù)測(cè)圖像是使用關(guān)于深度圖像的信息校正的；深度運(yùn)動(dòng)預(yù)測(cè)單元，使用接收單元接收的關(guān)于深度圖像的信息、基于指示深度方向上的位置的范圍的深度范圍而計(jì)算深度加權(quán)系數(shù)和深度偏移，以及以深度圖像作為目標(biāo)、使用深度加權(quán)系數(shù)和深度偏移而執(zhí)行深度加權(quán)預(yù)測(cè)處理，深度范圍是當(dāng)對(duì)作為深度圖像的像素值的表示深度方向上的位置的深度值進(jìn)行歸一化時(shí)所使用的；運(yùn)動(dòng)預(yù)測(cè)單元，通過(guò)在深度運(yùn)動(dòng)預(yù)測(cè)單元執(zhí)行了深度加權(quán)預(yù)測(cè)處理之后使用加權(quán)系數(shù)和偏移執(zhí)行加權(quán)預(yù)測(cè)處理來(lái)生成深度預(yù)測(cè)圖像；以及解碼單元，使用運(yùn)動(dòng)預(yù)測(cè)單元生成的深度預(yù)測(cè)圖像對(duì)接收單元接收的深度流進(jìn)行解碼。
[0016]根據(jù)本技術(shù)的第二方面的圖像處理方法對(duì)應(yīng)于根據(jù)本技術(shù)的第二方面的圖像處
理設(shè)備。
[0017]在本技術(shù)的第二方面中，接收使用深度圖像的預(yù)測(cè)圖像所編碼的深度流和關(guān)于深度圖像的信息，預(yù)測(cè)圖像是使用關(guān)于深度圖像的信息校正的；使用所接收的關(guān)于深度圖像的信息、基于指示深度方向上的位置的范圍的深度范圍而計(jì)算深度加權(quán)系數(shù)和深度偏移，以及以深度圖像作為目標(biāo)、使用深度加權(quán)系數(shù)和深度偏移而執(zhí)行深度加權(quán)預(yù)測(cè)處理，深度范圍是當(dāng)對(duì)作為深度圖像的像素值的表示深度方向上的位置的深度值進(jìn)行歸一化時(shí)所使用的；通過(guò)在執(zhí)行了深度加權(quán)預(yù)測(cè)處理之后使用加權(quán)系數(shù)和偏移執(zhí)行加權(quán)預(yù)測(cè)處理來(lái)生成深度預(yù)測(cè)圖像；以及使用所生成的深度預(yù)測(cè)圖像對(duì)深度流進(jìn)行解碼。
[0018]根據(jù)本技術(shù)的第三方面的圖像處理設(shè)備包括:深度運(yùn)動(dòng)預(yù)測(cè)單元，以深度圖像作為目標(biāo)，基于指示視差的范圍的視差范圍，使用深度加權(quán)系數(shù)和深度偏移而執(zhí)行深度加權(quán)預(yù)測(cè)處理，視差范圍是當(dāng)對(duì)作為深度圖像的像素值的視差進(jìn)行歸一化時(shí)所使用的；運(yùn)動(dòng)預(yù)測(cè)單元，通過(guò)在深度運(yùn)動(dòng)預(yù)測(cè)單元執(zhí)行了深度加權(quán)預(yù)測(cè)處理之后使用加權(quán)系數(shù)和偏移執(zhí)行加權(quán)預(yù)測(cè)處理來(lái)生成深度預(yù)測(cè)圖像；以及編碼單元，通過(guò)使用運(yùn)動(dòng)預(yù)測(cè)單元生成的深度預(yù)測(cè)圖像對(duì)要編碼的目標(biāo)深度圖像進(jìn)行編碼來(lái)生成深度流。
[0019]根據(jù)本技術(shù)的第三方面的圖像處理方法對(duì)應(yīng)于根據(jù)本技術(shù)的第三方面的圖像處
理設(shè)備。
[0020]在本技術(shù)的第三方面中，以深度圖像作為目標(biāo)，使用基于指示視差的范圍的視差范圍的深度加權(quán)系數(shù)和深度偏移而執(zhí)行深度加權(quán)預(yù)測(cè)處理，視差范圍是當(dāng)對(duì)作為深度圖像的像素值的視差進(jìn)行歸一化時(shí)所使用的；通過(guò)執(zhí)行了深度加權(quán)預(yù)測(cè)處理之后使用加權(quán)系數(shù)和偏移執(zhí)行加權(quán)預(yù)測(cè)處理來(lái)生成深度預(yù)測(cè)圖像；以及通過(guò)使用所生成的深度預(yù)測(cè)圖像對(duì)要編碼的目標(biāo)深度圖像進(jìn)行編碼來(lái)生成深度流。
[0021]根據(jù)本技術(shù)的第四方面的圖像處理設(shè)備包括:接收單元，接收使用深度圖像的預(yù)測(cè)圖像而編碼的深度流和關(guān)于深度圖像的信息，預(yù)測(cè)圖像是使用關(guān)于深度圖像的信息校正的；深度運(yùn)動(dòng)預(yù)測(cè)單元，使用接收單元接收的關(guān)于深度圖像的信息、基于指示視差的范圍的視差范圍而計(jì)算深度加權(quán)系數(shù)和深度偏移，以及以深度圖像作為目標(biāo)、使用深度加權(quán)系數(shù)和深度偏移執(zhí)行深度加權(quán)預(yù)測(cè)處理，視差范圍是當(dāng)對(duì)作為深度圖像的像素值的視差進(jìn)行歸一化時(shí)所使用的；運(yùn)動(dòng)預(yù)測(cè)單元，通過(guò)在深度運(yùn)動(dòng)預(yù)測(cè)單元執(zhí)行了深度加權(quán)預(yù)測(cè)處理之后使用加權(quán)系數(shù)和偏移執(zhí)行加權(quán)預(yù)測(cè)處理來(lái)生成深度預(yù)測(cè)圖像；以及解碼單元，使用運(yùn)動(dòng)預(yù)測(cè)單元生成的深度預(yù)測(cè)圖像對(duì)接收單元接收的深度流進(jìn)行解碼。
[0022]根據(jù)本技術(shù)的第四方面的圖像處理方法對(duì)應(yīng)于根據(jù)本技術(shù)的第四方面的圖像處
理設(shè)備。
[0023]在本技術(shù)的第四方面中，接收使用深度圖像的預(yù)測(cè)圖像而編碼的深度流和關(guān)于深度圖像的信息，預(yù)測(cè)圖像是使用關(guān)于深度圖像的信息校正的；使用所接收的關(guān)于深度圖像的信息、基于指示視差的范圍的視差范圍而計(jì)算深度加權(quán)系數(shù)和深度偏移，以及以深度圖像作為目標(biāo)、使用深度加權(quán)系數(shù)和深度偏移執(zhí)行深度加權(quán)預(yù)測(cè)處理，視差范圍是當(dāng)對(duì)作為深度圖像的像素值的視差進(jìn)行歸一化時(shí)所使用的；通過(guò)在執(zhí)行了深度加權(quán)預(yù)測(cè)處理之后使用加權(quán)系數(shù)和偏移執(zhí)行加權(quán)預(yù)測(cè)處理來(lái)生成深度預(yù)測(cè)圖像；以及使用所生成的深度預(yù)測(cè)圖像對(duì)深度流進(jìn)行解碼。
[0024]本發(fā)明的有利效果
[0025]根據(jù)本技術(shù)的第一和第三方面，可以使用關(guān)于視差圖像的信息提高視差圖像的編碼效率。
[0026]此外，根據(jù)本技術(shù)的第二和第四方面，可以對(duì)其編碼效率通過(guò)使用關(guān)于視差圖像的信息進(jìn)行編碼而提高的視差圖像的編碼數(shù)據(jù)進(jìn)行解碼。
【專利附圖】
【附圖說(shuō)明】
[0027]圖1是示出應(yīng)用本技術(shù)的編碼設(shè)備的實(shí)施例的配置示例的框圖。
[0028]圖2是描述用于生成視點(diǎn)的信息的最大視差值和最小視差值的圖。
[0029]圖3是描述用于生成視點(diǎn)的信息的視差精度參數(shù)的圖。
[0030]圖4是描述用于生成視點(diǎn)的信息的攝像裝置之間的距離的圖。
[0031]圖5是示出圖1的多視點(diǎn)圖像編碼單元的配置示例的框圖。
[0032]圖6是示出編碼單元的配置示例的框圖。
[0033]圖7是示出編碼位流的配置示例的圖。
[0034]圖8是示出圖7的PPS語(yǔ)法的示例的圖。
[0035]圖9是示出切片報(bào)頭的語(yǔ)法的示例的圖。
[0036]圖10是示出切片報(bào)頭的語(yǔ)法的示例的圖。
[0037]圖11是描述圖1的編碼設(shè)備的編碼處理的流程圖。
[0038]圖12是描述圖11的多視點(diǎn)編碼處理的細(xì)節(jié)的流程圖。
[0039]圖13是描述圖12的視差圖像編碼處理的細(xì)節(jié)的流程圖。
[0040]圖14是描述圖12的視差圖像編碼處理的細(xì)節(jié)的流程圖。
[0041]圖15是示出應(yīng)用本技術(shù)的解碼設(shè)備的實(shí)施例的配置示例的框圖。
[0042]圖16是示出圖15的多視點(diǎn)圖像解碼單元的配置示例的框圖。
[0043]圖17是示出解碼單元的配置示例的框圖。
[0044]圖18是描述圖15的解碼設(shè)備150的解碼處理的流程圖。
[0045]圖19是描述圖18的多視點(diǎn)解碼處理的細(xì)節(jié)的流程圖。[0046]圖20是描述圖16的視差圖像解碼處理的細(xì)節(jié)的流程圖。
[0047]圖21是描述用于校正預(yù)測(cè)圖像的信息的傳送方法的圖。
[0048]圖22是示出第二傳送方法中的編碼位流的配置示例的圖。
[0049]圖23是示出第三傳送方法中的編碼位流的配置示例的圖。
[0050]圖24是示出切片編碼單元的配置示例的框圖。
[0051]圖25是示出編碼單元的配置示例的框圖。
[0052]圖26是示出校正單元的配置示例的框圖。
[0053]圖27是用于描述視差值的位置和深度方向的圖。
[0054]圖28是示出要成像的對(duì)象的位置關(guān)系的示例的圖。
[0055]圖29是描述深度方向上的位置的最大值與最小值之間的關(guān)系的圖。圖30是用于描述要成像的對(duì)象的位置關(guān)系和亮度的圖。
[0056]圖31是用于描述要成像的對(duì)象的位置關(guān)系和亮度的圖。
[0057]圖32是用于描述要成像的對(duì)象的位置關(guān)系和亮度的另一個(gè)圖。
[0058]圖33是描述視差圖像編碼處理的細(xì)節(jié)的流程圖。
[0059]圖34是描述視差圖像編碼處理的細(xì)節(jié)的另一個(gè)流程圖。
[0060]圖35是用于描述預(yù)測(cè)圖像生成處理的流程圖。
[0061]圖36是示出切片解碼單元的配置示例的框圖。
[0062]圖37是示出解碼單元的配置示例的框圖。
[0063]圖38是示出校正單元的配置示例的框圖。
[0064]圖39是描述視差圖像解碼處理的細(xì)節(jié)的流程圖。
[0065]圖40是用于描述預(yù)測(cè)圖像生成處理的流程圖。
[0066]圖41是示出計(jì)算機(jī)的實(shí)施例的配置示例的圖。
[0067]圖42是示意性地示出應(yīng)用本技術(shù)的電視設(shè)備的配置示例的圖。
[0068]圖43是示意性地示出應(yīng)用本技術(shù)的蜂窩電話的配置示例的圖。
[0069]圖44是示意性地示出應(yīng)用本技術(shù)的記錄和再現(xiàn)設(shè)備的配置示例的圖。
[0070]圖45是示意性地示出應(yīng)用本技術(shù)的成像設(shè)備的配置示例的圖。
【具體實(shí)施方式】
[0071][編碼設(shè)備的實(shí)施例的配置示例]
[0072]圖1是示出應(yīng)用本技術(shù)的編碼設(shè)備的實(shí)施例的配置示例的框圖。
[0073]圖1的編碼設(shè)備50由多視點(diǎn)彩色圖像捕獲單元51、多視點(diǎn)彩色圖像校正單元52、多視點(diǎn)視差圖像校正單元53、用于生成視點(diǎn)的信息生成單元54和多視點(diǎn)圖像編碼單元55構(gòu)成。
[0074]編碼設(shè)備50使用關(guān)于視差圖像的信息對(duì)具有預(yù)定視點(diǎn)的視差圖像進(jìn)行編碼。
[0075]具體地，編碼設(shè)備50的多視點(diǎn)彩色圖像捕獲單元51對(duì)多視點(diǎn)彩色圖像進(jìn)行成像并且將該圖像作為多視點(diǎn)彩色圖像提供到多視點(diǎn)彩色圖像校正單元52。另外，多視點(diǎn)彩色圖像捕獲單元51生成外部參數(shù)、最大視差值和最小視差值(以下將描述細(xì)節(jié))。多視點(diǎn)彩色圖像捕獲單元51將外部參數(shù)、最大視差值和最小視差值提供到用于生成視點(diǎn)的信息生成單元54并且將最大視差值和最小視差值提供到多視點(diǎn)視差圖像生成單元53。[0076]此外，外部參數(shù)是定義多視點(diǎn)彩色圖像捕獲單元51在水平方向上的位置的參數(shù)。另外，最大視差值和最小視差值是可以在多視點(diǎn)視差圖像中獲取的世界坐標(biāo)系上的視差值的最大值和最小值。
[0077]多視點(diǎn)彩色圖像校正單元52對(duì)從多視點(diǎn)彩色圖像捕獲單元51提供的多視點(diǎn)彩色圖像執(zhí)行色彩校正、亮度校正和失真校正。以此方式，多視點(diǎn)彩色圖像捕獲單元51在校正后的多視點(diǎn)彩色圖像中的水平方向(X方向)上的焦距變?yōu)樵谒幸朁c(diǎn)中是共同的。多視點(diǎn)彩色圖像校正單元52將校正后的多視點(diǎn)彩色圖像作為多視點(diǎn)校正彩色圖像提供到多視點(diǎn)視差圖像生成單元53和多視點(diǎn)圖像編碼單元55。
[0078]多視點(diǎn)視差圖像生成單元53基于從多視點(diǎn)彩色圖像捕獲單元51提供的最大視差值和最小視差值，根據(jù)從多視點(diǎn)彩色圖像校正單元52提供的多視點(diǎn)校正彩色圖像生成多視點(diǎn)視差圖像。具體地，多視點(diǎn)視差圖像生成單元53關(guān)于多視點(diǎn)中的每個(gè)視點(diǎn)從多視點(diǎn)校正彩色圖像獲取每個(gè)像素的視差值，并且基于最大視差值和最小視差值對(duì)視差值進(jìn)行歸一化。此外，多視點(diǎn)視差圖像生成單元53關(guān)于多視點(diǎn)中的每個(gè)視點(diǎn)生成其每個(gè)像素的歸一化視差值是視差圖像的每個(gè)像素的像素值的視差圖像。
[0079]此外，多視點(diǎn)視差圖像生成單元53將所生成的多視點(diǎn)視差圖像作為多視點(diǎn)視差圖像提供到多視點(diǎn)圖像編碼單元55。另外，多視點(diǎn)視差圖像生成單元53生成表示多視點(diǎn)視差圖像的像素值的精度的視差精度參數(shù)，并且將該參數(shù)提供到用于生成視點(diǎn)的信息生成單元54。
[0080]用于生成視點(diǎn)的信息生成單元54使用校正彩色圖像和具有多視點(diǎn)的視差圖像生成用于生成視點(diǎn)的信息，該信息是當(dāng)生成具有除多視點(diǎn)之外的視點(diǎn)的彩色圖像時(shí)所使用的。具體地，用于生成視點(diǎn)的信息生成單元54基于從多視點(diǎn)彩色圖像捕獲單元51提供的外部參數(shù)而獲取攝像裝置之間的距離。攝像裝置之間的距離是當(dāng)針對(duì)多視點(diǎn)視差圖像的每個(gè)視點(diǎn)對(duì)彩色圖像進(jìn)行成像時(shí)多視點(diǎn)彩色圖像捕獲單元51在水平方向上的位置與當(dāng)對(duì)具有與彩色圖像和視差圖像對(duì)應(yīng)的視差的彩色圖像進(jìn)行成像時(shí)多視點(diǎn)彩色圖像捕獲單元51在水平方向上的位置之間的距離。
[0081]用于生成視點(diǎn)的信息生成單元54的用于生成視點(diǎn)的信息是來(lái)自多視點(diǎn)彩色圖像捕獲單元51的最大視差值和最小視差值、攝像裝置之間的距離以及來(lái)自多視點(diǎn)視差圖像生成單元53的視差精度參數(shù)。用于生成視點(diǎn)的信息生成單元54將所生成的用于生成視點(diǎn)的信息提供到多視點(diǎn)圖像編碼單元55。
[0082]多視點(diǎn)圖像編碼單元55利用HEVC方法對(duì)從多視點(diǎn)彩色圖像校正單元52提供的多視點(diǎn)校正彩色圖像進(jìn)行編碼。另外，多視點(diǎn)圖像編碼單元55使用從用于生成視點(diǎn)的信息生成單元54提供的用于生成視點(diǎn)的信息當(dāng)中的最大視差值、最小視差值和攝像裝置之間的距離作為關(guān)于視差的信息，依照HEVC方法對(duì)從多視點(diǎn)視差圖像生成單元53提供的多視點(diǎn)視差圖像進(jìn)行編碼。
[0083]此外，多視點(diǎn)圖像編碼單元55對(duì)從用于生成視點(diǎn)的信息生成單元54提供的用于生成視點(diǎn)的信息當(dāng)中的最大視差值、最小視差值和攝像裝置之間的距離執(zhí)行差分編碼，并且允許它們包括在當(dāng)對(duì)多視點(diǎn)視差圖像進(jìn)行編碼時(shí)所使用的關(guān)于編碼的信息(編碼參數(shù))中。另外，多視點(diǎn)圖像編碼單元55傳送關(guān)于編碼的信息和由來(lái)自用于生成視點(diǎn)的信息生成單元54的視差精度參數(shù)等構(gòu)成的位流作為編碼位流，該關(guān)于編碼的信息包括編碼后的多視點(diǎn)校正彩色圖像和多視點(diǎn)視差圖像以及差分編碼后的最大視差值、最小視差值和攝像裝置之間的距離。
[0084]如上所述，由于多視點(diǎn)圖像編碼單元55通過(guò)對(duì)最大視差值、最小視差值和攝像裝置之間的距離執(zhí)行差分編碼而傳送最大視差值、最小視差值和攝像裝置之間的距離，因此可以減小用于生成視點(diǎn)的信息的代碼量。由于最大視差值、最小視差值和攝像裝置之間的距離在圖片之間很可能不會(huì)大大改變以便提供令人舒適的3D圖像，因此執(zhí)行用于減小代碼量的差分編碼是有效的。
[0085]另外，在編碼設(shè)備50中，多視點(diǎn)視差圖像是從多視點(diǎn)校正彩色圖像生成的，但是多視點(diǎn)視差圖像可在對(duì)多視點(diǎn)彩色圖像進(jìn)行成像時(shí)由檢測(cè)視差值的傳感器生成。
[0086][用于生成視點(diǎn)的信息的描述]
[0087]圖2是描述用于生成視點(diǎn)的信息的最大視差值和最小視差值的圖。
[0088]此外，在圖2中，水平軸是歸一化之前的視差值，并且垂直軸是視差圖像的像素值。
[0089]如圖2所示，多視點(diǎn)視差圖像生成單元53使用最小視差值Dmin和最大視差值Dmax將每個(gè)像素的視差值歸一化為例如O至255的值。另外，多視點(diǎn)視差圖像生成單元53生成以歸一化后的每個(gè)像素的視差值(其為O至255中的任意值)作為像素值的視差圖像。
[0090]換言之，視差圖像的每個(gè)像素的像素值I由具有每個(gè)像素的歸一化之前的視差值d、最小視差值Dmin和最大視差值Dmax的以下公式(I)來(lái)表示。
[0091][表達(dá)式I]
【權(quán)利要求】
1.一種圖像處理設(shè)備，包括: 深度運(yùn)動(dòng)預(yù)測(cè)單元，以深度圖像作為目標(biāo)，基于指示深度方向上的位置的范圍的深度范圍，使用深度加權(quán)系數(shù)和深度偏移而執(zhí)行深度加權(quán)預(yù)測(cè)處理，所述深度范圍是當(dāng)對(duì)作為所述深度圖像的像素值的表示所述深度方向上的位置的深度值進(jìn)行歸一化時(shí)所使用的； 運(yùn)動(dòng)預(yù)測(cè)單元，通過(guò)在所述深度運(yùn)動(dòng)預(yù)測(cè)單元執(zhí)行了所述深度加權(quán)預(yù)測(cè)處理之后使用加權(quán)系數(shù)和偏移執(zhí)行加權(quán)預(yù)測(cè)處理來(lái)生成深度預(yù)測(cè)圖像；以及 編碼單元，通過(guò)使用所述運(yùn)動(dòng)預(yù)測(cè)單元生成的所述深度預(yù)測(cè)圖像對(duì)要編碼的目標(biāo)深度圖像進(jìn)行編碼來(lái)生成深度流。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括: 設(shè)置單元，設(shè)置深度標(biāo)識(shí)數(shù)據(jù)，所述深度標(biāo)識(shí)數(shù)據(jù)標(biāo)識(shí)是基于所述深度范圍執(zhí)行所述深度加權(quán)預(yù)測(cè)處理還是基于指示視差值的范圍的視差范圍執(zhí)行所述深度加權(quán)預(yù)測(cè)處理，所述視差范圍是當(dāng)對(duì)作為所述深度圖像的像素值的視差值進(jìn)行歸一化時(shí)所使用的；以及 傳送單元，傳送所述編碼單元生成的所述深度流和所述設(shè)置單元設(shè)置的所述深度標(biāo)識(shí)數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括:控制單元，根據(jù)當(dāng)對(duì)所述深度圖像進(jìn)行編碼時(shí)的圖片類型來(lái)選擇是否通過(guò)所述深度運(yùn)動(dòng)預(yù)測(cè)單元來(lái)執(zhí)行所述深度加權(quán)預(yù)測(cè)處理。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中，所述控制單元控制所述深度運(yùn)動(dòng)預(yù)測(cè)單元以使得當(dāng)所述深度圖像被編碼為B圖片時(shí)跳過(guò)所述深度運(yùn)動(dòng)預(yù)測(cè)單元執(zhí)行的所述深度加權(quán)預(yù)測(cè)處理。`
5.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括:控制單元，根據(jù)當(dāng)對(duì)所述深度圖像進(jìn)行編碼時(shí)的圖片類型來(lái)選擇是否通過(guò)所述運(yùn)動(dòng)預(yù)測(cè)單元來(lái)執(zhí)行所述加權(quán)預(yù)測(cè)處理。
6.一種圖像處理設(shè)備的圖像處理方法，包括: 深度運(yùn)動(dòng)預(yù)測(cè)步驟，以深度圖像作為目標(biāo)，基于指示深度方向上的位置的范圍的深度范圍，使用深度加權(quán)系數(shù)和深度偏移來(lái)執(zhí)行深度加權(quán)預(yù)測(cè)處理，所述深度范圍是當(dāng)對(duì)作為所述深度圖像的像素值的表示所述深度方向上的位置的深度值進(jìn)行歸一化時(shí)所使用的； 運(yùn)動(dòng)預(yù)測(cè)步驟，通過(guò)在由所述深度運(yùn)動(dòng)預(yù)測(cè)步驟的處理執(zhí)行了所述深度加權(quán)預(yù)測(cè)處理之后使用加權(quán)系數(shù)和偏移執(zhí)行加權(quán)預(yù)測(cè)處理來(lái)生成深度預(yù)測(cè)圖像；以及 編碼步驟，通過(guò)使用由所述運(yùn)動(dòng)預(yù)測(cè)步驟的處理生成的所述深度預(yù)測(cè)圖像對(duì)要編碼的目標(biāo)深度圖像進(jìn)行編碼來(lái)生成深度流。
7.一種圖像處理設(shè)備，包括: 接收單元，接收使用深度圖像的預(yù)測(cè)圖像所編碼的深度流和關(guān)于所述深度圖像的信息，所述預(yù)測(cè)圖像是使用關(guān)于所述深度圖像的信息校正的； 深度運(yùn)動(dòng)預(yù)測(cè)單元，使用所述接收單元接收的關(guān)于所述深度圖像的信息、基于指示深度方向上的位置的范圍的深度范圍而計(jì)算深度加權(quán)系數(shù)和深度偏移，以及以所述深度圖像作為目標(biāo)、使用所述深度加權(quán)系數(shù)和所述深度偏移而執(zhí)行深度加權(quán)預(yù)測(cè)處理，所述深度范圍是當(dāng)對(duì)作為所述深度圖像的像素值的表示所述深度方向上的位置的深度值進(jìn)行歸一化時(shí)所使用的； 運(yùn)動(dòng)預(yù)測(cè)單元，通過(guò)在所述深度運(yùn)動(dòng)預(yù)測(cè)單元執(zhí)行了所述深度加權(quán)預(yù)測(cè)處理之后使用加權(quán)系數(shù)和偏移執(zhí)行加權(quán)預(yù)測(cè)處理來(lái)生成深度預(yù)測(cè)圖像；以及 解碼單元，使用所述運(yùn)動(dòng)預(yù)測(cè)單元生成的所述深度預(yù)測(cè)圖像對(duì)所述接收單元接收的所述深度流進(jìn)行解碼。
8.根據(jù)權(quán)利要求7所述的圖像處理設(shè)備，其中， 所述接收單元接收深度標(biāo)識(shí)數(shù)據(jù)，所述深度標(biāo)識(shí)數(shù)據(jù)標(biāo)識(shí)是基于編碼時(shí)的所述深度范圍執(zhí)行所述深度加權(quán)預(yù)測(cè)處理還是基于指示視差值的范圍的視差范圍執(zhí)行所述深度加權(quán)預(yù)測(cè)處理，所述視差范圍是當(dāng)對(duì)作為所述深度圖像的像素值的所述視差值進(jìn)行歸一化時(shí)所使用的，以及 所述深度運(yùn)動(dòng)預(yù)測(cè)單元根據(jù)所述接收單元接收的所述深度標(biāo)識(shí)數(shù)據(jù)來(lái)執(zhí)行所述深度加權(quán)預(yù)測(cè)處理。
9.根據(jù)權(quán)利要求7所述的圖像處理設(shè)備，還包括:控制單元，根據(jù)當(dāng)對(duì)所述深度流進(jìn)行解碼時(shí)的圖片類型來(lái)選擇是否通過(guò)所述深度運(yùn)動(dòng)預(yù)測(cè)單元來(lái)執(zhí)行所述深度加權(quán)預(yù)測(cè)處理。
10.根據(jù)權(quán)利要求9所述的圖像處理設(shè)備，其中，所述控制單元控制所述深度運(yùn)動(dòng)預(yù)測(cè)單元以使得當(dāng)所述深度流被解碼為B圖片時(shí)跳過(guò)所述深度運(yùn)動(dòng)預(yù)測(cè)單元執(zhí)行的所述深度加權(quán)預(yù)測(cè)處理。
11.根據(jù)權(quán)利要求7所述的圖像處理設(shè)備，還包括:控制單元，根據(jù)當(dāng)對(duì)所述深度流進(jìn)行解碼時(shí)的圖片類型來(lái)選擇是否通過(guò)所述運(yùn)動(dòng)預(yù)測(cè)單元來(lái)執(zhí)行所述加權(quán)預(yù)測(cè)處理。
12.—種圖像處理設(shè)備的圖像處理方法，包括: 接收步驟，接收使用深度圖像的預(yù)測(cè)圖像而編碼的深度流和關(guān)于所述深度圖像的信息，所述預(yù)測(cè)圖像是使用關(guān)于所述深度圖像的信息校正的； 深度運(yùn)動(dòng)預(yù)測(cè)步驟，使用通過(guò)所述接收步驟的處理接收的關(guān)于所述深度圖像的信息、基于指示深度方向上的位置的范圍的深度范圍而計(jì)算深度加權(quán)系數(shù)和深度偏移，以及以所述深度圖像作為目標(biāo)、使用所述深度加權(quán)系數(shù)和所述深度偏移而執(zhí)行深度加權(quán)預(yù)測(cè)處理，所述深度范圍是當(dāng)對(duì)作為所述深度圖像的像素值的表示所述深度方向上的位置的深度值進(jìn)行歸一化時(shí)所使用的； 運(yùn)動(dòng)預(yù)測(cè)步驟，通過(guò)在由所述深度運(yùn)動(dòng)預(yù)測(cè)步驟的處理執(zhí)行了所述深度加權(quán)預(yù)測(cè)處理之后使用加權(quán)系數(shù)和偏移執(zhí)行加權(quán)預(yù)測(cè)處理來(lái)生成深度預(yù)測(cè)圖像；以及 解碼步驟，使用通過(guò)所述運(yùn)動(dòng)預(yù)測(cè)步驟的處理生成的所述深度預(yù)測(cè)圖像對(duì)通過(guò)所述接收步驟的處理接收的所述深度流進(jìn)行解碼。
13.一種圖像處理設(shè)備，包括: 深度運(yùn)動(dòng)預(yù)測(cè)單元，以深度圖像作為目標(biāo)，基于指示視差的范圍的視差范圍，使用深度加權(quán)系數(shù)和深度偏移而執(zhí)行深度加權(quán)預(yù)測(cè)處理，所述視差范圍是當(dāng)對(duì)作為所述深度圖像的像素值的視差進(jìn)行歸一化時(shí)所使用的； 運(yùn)動(dòng)預(yù)測(cè)單元，通過(guò)在所述深度運(yùn)動(dòng)預(yù)測(cè)單元執(zhí)行了所述深度加權(quán)預(yù)測(cè)處理之后使用加權(quán)系數(shù)和偏移執(zhí)行加權(quán)預(yù)測(cè)處理來(lái)生成深度預(yù)測(cè)圖像；以及 編碼單元，通過(guò)使用所述運(yùn)動(dòng)預(yù)測(cè)單元生成的所述深度預(yù)測(cè)圖像對(duì)要編碼的目標(biāo)深度圖像進(jìn)行編碼來(lái)生成深度流。
14.根據(jù)權(quán)利要求13所述的圖像處理設(shè)備，還包括:控制單元，控制所述深度加權(quán)預(yù)測(cè)單元以使得根據(jù)所述深度圖像 的類型來(lái)改變所述深度加權(quán)預(yù)測(cè)處理，其中，所述深度運(yùn)動(dòng)預(yù)測(cè)單元以所述深度圖像作為目標(biāo)，基于指示深度方向上的位置的范圍的深度范圍而執(zhí)行所述深度加權(quán)預(yù)測(cè)處理，所述深度范圍是當(dāng)對(duì)作為所述深度圖像的像素值的指示所述深度方向上的位置的深度值進(jìn)行歸一化時(shí)所使用的。
15.根據(jù)權(quán)利要求14所述的圖像處理設(shè)備，其中，所述控制單元根據(jù)所述深度圖像的類型是所述深度值用作像素值的類型還是所述視差用作像素值的類型而改變所述深度加權(quán)預(yù)測(cè)處理。
16.根據(jù)權(quán)利要求13所述的圖像處理設(shè)備，還包括:控制單元，控制所述運(yùn)動(dòng)預(yù)測(cè)單元以執(zhí)行所述加權(quán)預(yù)測(cè)處理或跳過(guò)所述加權(quán)預(yù)測(cè)處理。
17.根據(jù)權(quán)利要求13所述的圖像處理設(shè)備，還包括: 設(shè)置單元，設(shè)置標(biāo)識(shí)是執(zhí)行所述加權(quán)預(yù)測(cè)處理還是跳過(guò)所述加權(quán)預(yù)測(cè)處理的加權(quán)預(yù)測(cè)標(biāo)識(shí)數(shù)據(jù)；以及 傳送單元，傳送所述編碼單元生成的所述深度流和所述設(shè)置單元設(shè)置的所述加權(quán)預(yù)測(cè)標(biāo)識(shí)數(shù)據(jù)。
18.一種圖像處理設(shè)備的圖像處理方法，包括: 深度運(yùn)動(dòng)預(yù)測(cè)步驟，以深度圖像作為目標(biāo)，基于指示視差的范圍的視差范圍，使用深度加權(quán)系數(shù)和深度偏移而執(zhí)行深度加權(quán)預(yù)測(cè)處理，所述視差范圍是當(dāng)對(duì)作為所述深度圖像的像素值的視差進(jìn)行歸一化時(shí)所使 用的； 運(yùn)動(dòng)預(yù)測(cè)步驟，通過(guò)在由所述深度運(yùn)動(dòng)預(yù)測(cè)步驟的處理執(zhí)行了所述深度加權(quán)預(yù)測(cè)處理之后使用加權(quán)系數(shù)和偏移執(zhí)行加權(quán)預(yù)測(cè)處理來(lái)生成深度預(yù)測(cè)圖像；以及 編碼步驟，通過(guò)使用由所述運(yùn)動(dòng)預(yù)測(cè)步驟的處理生成的所述深度預(yù)測(cè)圖像對(duì)要編碼的目標(biāo)深度圖像進(jìn)行編碼來(lái)生成深度流。
19.一種圖像處理設(shè)備,包括: 接收單元，接收使用深度圖像的預(yù)測(cè)圖像而編碼的深度流和關(guān)于所述深度圖像的信息，所述預(yù)測(cè)圖像是使用關(guān)于所述深度圖像的信息校正的； 深度運(yùn)動(dòng)預(yù)測(cè)單元，使用所述接收單元接收的關(guān)于所述深度圖像的信息、基于指示視差的范圍的視差范圍而計(jì)算深度加權(quán)系數(shù)和深度偏移，以及以所述深度圖像作為目標(biāo)、使用所述深度加權(quán)系數(shù)和所述深度偏移執(zhí)行深度加權(quán)預(yù)測(cè)處理，所述視差范圍是當(dāng)對(duì)作為所述深度圖像的像素值的視差進(jìn)行歸一化時(shí)所使用的； 運(yùn)動(dòng)預(yù)測(cè)單元，通過(guò)在所述深度運(yùn)動(dòng)預(yù)測(cè)單元執(zhí)行了所述深度加權(quán)預(yù)測(cè)處理之后使用加權(quán)系數(shù)和偏移執(zhí)行加權(quán)預(yù)測(cè)處理來(lái)生成深度預(yù)測(cè)圖像；以及 解碼單元，使用所述運(yùn)動(dòng)預(yù)測(cè)單元生成的所述深度預(yù)測(cè)圖像對(duì)所述接收單元接收的所述深度流進(jìn)行解碼。
20.一種圖像處理設(shè)備的圖像處理方法，包括: 接收步驟，接收使用深度圖像的預(yù)測(cè)圖像而編碼的深度流和關(guān)于所述深度圖像的信息，所述預(yù)測(cè)圖像是使用關(guān)于所述深度圖像的信息校正的； 深度運(yùn)動(dòng)預(yù)測(cè)步驟，使用通過(guò)所述接收步驟的處理接收的關(guān)于所述深度圖像的信息、基于指示視差的范圍的視差范圍而計(jì)算深度加權(quán)系數(shù)和深度偏移，以及以所述深度圖像作為目標(biāo)、使用所述深度加權(quán)系數(shù)和所述深度偏移而執(zhí)行深度加權(quán)預(yù)測(cè)處理，所述視差范圍是當(dāng)對(duì)作為所述深度圖像的像素值的視差進(jìn)行歸一化時(shí)所使用的；運(yùn)動(dòng)預(yù)測(cè)步驟，通過(guò)在由所述深度運(yùn)動(dòng)預(yù)測(cè)步驟的處理執(zhí)行了所述深度加權(quán)預(yù)測(cè)處理之后使用加權(quán)系數(shù)和偏移執(zhí)行加權(quán)預(yù)測(cè)處理來(lái)生成深度預(yù)測(cè)圖像；以及 解碼步驟，使用通過(guò)所 述運(yùn)動(dòng)預(yù)測(cè)步驟的處理生成的所述深度預(yù)測(cè)圖像對(duì)通過(guò)所述接收步驟的處理接收的所述深度流進(jìn)行解碼。
【文檔編號(hào)】H04N13/00GK103748881SQ201280040909
【公開(kāi)日】2014年4月23日 申請(qǐng)日期:2012年8月21日 優(yōu)先權(quán)日:2011年8月31日
【發(fā)明者】櫻井裕音, 高橋良知, 服部忍 申請(qǐng)人:索尼公司