視頻編碼裝置和方法、視頻解碼裝置和方法、以及它們的程序的制作方法
【專利摘要】基于從針對多視點(diǎn)視頻中的被攝體的深度圖所設(shè)定的代表深度來設(shè)定將作為該多視點(diǎn)視頻的1幀的編碼對象圖像上的位置向針對與編碼對象圖像不同視點(diǎn)的參照視點(diǎn)圖像上的位置進(jìn)行變換的變換矩陣。在分割了所述編碼對象圖像的編碼對象區(qū)域內(nèi)設(shè)定代表位置，使用該代表位置和所述變換矩陣來設(shè)定針對所述代表位置的所述參照視點(diǎn)圖像上的對應(yīng)位置?；谠搶?yīng)位置從所述參照視點(diǎn)圖像的運(yùn)動(dòng)信息生成所述編碼對象區(qū)域中的合成運(yùn)動(dòng)信息，使用其來生成針對所述編碼對象區(qū)域的預(yù)測圖像。
【專利說明】
視頻編碼裝置和方法、視頻解碼裝置和方法、以及它們的程序
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及視頻編碼裝置、視頻解碼裝置、視頻編碼方法、視頻解碼方法、視頻編 碼程序、以及視頻解碼程序。
【背景技術(shù)】
[0002] 自由視點(diǎn)視頻是指用戶能夠自由地指定拍攝空間內(nèi)的攝像機(jī)的位置、方向（以下， 稱為視點(diǎn)）的視頻。在自由視點(diǎn)視頻中，用戶指定任意的視點(diǎn)，但是，不能保持針對可能的全 部視點(diǎn)的視頻。因此，自由視點(diǎn)視頻由生成所指定的視點(diǎn)的視頻所需要的信息組構(gòu)成。
[0003] 再有，自由視點(diǎn)視頻有時(shí)也稱為自由視點(diǎn)電視、任意視點(diǎn)視頻、任意視點(diǎn)電視等。
[0004] 自由視點(diǎn)視頻使用各種數(shù)據(jù)形式來表現(xiàn)，但是，作為最一般的形式，存在使用視頻 和針對該視頻的各幀的深度圖（距離圖像)的方式(例如，參照非專利文獻(xiàn)1)。
[0005] 在此，深度圖按照每個(gè)像素表現(xiàn)從攝像機(jī)到被攝體的深度(距離），表現(xiàn)被攝體的 三維的位置。在滿足某種條件的情況下，深度與兩個(gè)攝像機(jī)間的視差的倒數(shù)成比例，因此， 有時(shí)也稱為視差圖（視差圖像）。
[0006] 在計(jì)算機(jī)圖形學(xué)的領(lǐng)域中，深度為存儲(chǔ)在Z緩沖器中的信息，因此，有時(shí)也稱為Z圖 像、Z圖。
[0007] 再有，除了從攝像機(jī)到被攝體的距離之外，有時(shí)也將針對在表現(xiàn)對象空間上設(shè)置 的三維坐標(biāo)系的Z軸的坐標(biāo)值用作深度。一般地，針對所拍攝的圖像而將水平方向作為X軸、 將垂直方向作為Y軸，因此，Z軸與攝像機(jī)的方向一致，但是，在針對多個(gè)攝像機(jī)使用共同的 坐標(biāo)系的情況下等，也存在Z軸與攝像機(jī)的方向不一致的情況。
[0008] 在以下，不區(qū)別距離/Z值而稱為深度，將把深度表示為像素值的圖像稱為深度圖。 但是，嚴(yán)密地，在視差圖中，需要設(shè)定成為基準(zhǔn)的攝像機(jī)對。
[0009]在將深度表示為像素值時(shí)，存在將與物理量對應(yīng)的值直接作為像素值的方法、使 用將最小值和最大值之間量化為某數(shù)而得到的值的方法、以及使用用某步幅量化離最小值 的差而得到的值的方法。在想要表現(xiàn)的范圍有限的情況下，使用最小值等附加信息更能夠 高精度地表現(xiàn)深度。
[0010]此外，在等間隔地量化時(shí)，存在直接量化物理量的方法和量化物理量的倒數(shù)的方 法。由于距離的倒數(shù)為與視差成比例的值，所以在需要高精度地表現(xiàn)距離的情況下，使用前 者的情況較多，在需要高精度地表現(xiàn)視差的情況下，使用后者的情況較多。
[0011] 在以下，與深度的像素值化的方法、量化的方法無關(guān)而將把深度表現(xiàn)為圖像的圖 全部稱為深度圖。
[0012] 深度圖被表現(xiàn)為各像素具有一個(gè)值的圖像，因此，能夠視為灰度圖像。此外，被攝 體在實(shí)際空間上連續(xù)地存在而不能瞬間地向遠(yuǎn)離的位置移動(dòng)，因此，可以說與圖像信號同 樣地具有空間性相關(guān)和時(shí)間性相關(guān)。因而，能夠利用為了對通常的圖像信號、視頻信號進(jìn)行 編碼而使用的圖像編碼方式、視頻編碼方式來對由深度圖、連續(xù)的深度圖構(gòu)成的視頻一邊 去除空間性冗余性、時(shí)間性冗余性一邊高效地編碼。
[0013] 在以下，不區(qū)別深度圖和由其構(gòu)成的視頻而稱為深度圖。
[0014] 在此，對一般的視頻編碼進(jìn)行說明。
[0015] 在視頻編碼中，利用被攝體空間性和時(shí)間性地連續(xù)這樣的特征來實(shí)現(xiàn)高效的編 碼，因此，將視頻的各幀分割為稱為宏塊的處理單位塊，按照每個(gè)宏塊空間性或時(shí)間性地預(yù) 測其視頻信號，對示出其預(yù)測方法的預(yù)測信息和預(yù)測殘差進(jìn)行編碼。
[0016] 在空間性地預(yù)測視頻信號的情況下，例如示出空間性的預(yù)測的方向的信息成為預(yù) 測信息，在時(shí)間性地預(yù)測的情況下，例如示出參照的幀的信息和示出該幀中的位置的信息 成為預(yù)測信息。
[0017] 空間性地進(jìn)行的預(yù)測是幀內(nèi)的預(yù)測，因此，稱為幀內(nèi)預(yù)測（畫面內(nèi)預(yù)測、幀內(nèi)預(yù) 測），時(shí)間性地進(jìn)行的預(yù)測是幀間的預(yù)測，因此，稱為幀間預(yù)測（畫面間預(yù)測、幀間預(yù)測）。
[0018] 此外，在時(shí)間性地進(jìn)行的預(yù)測中，補(bǔ)償視頻的時(shí)間性變化即運(yùn)動(dòng)來進(jìn)行視頻信號 的預(yù)測，因此，也稱為運(yùn)動(dòng)補(bǔ)償預(yù)測。
[0019] 進(jìn)而，在對由從多個(gè)位置、方向?qū)ο嗤膱鼍斑M(jìn)行拍攝的視頻構(gòu)成的多視點(diǎn)視頻 進(jìn)行編碼時(shí)，補(bǔ)償視頻的視點(diǎn)間的變化即視差來進(jìn)行視頻信號的預(yù)測，因此，使用視差補(bǔ)償 預(yù)測。
[0020] 在由針對多個(gè)視點(diǎn)的視頻和深度圖構(gòu)成的自由視點(diǎn)視頻的編碼中，均具有空間相 關(guān)性和時(shí)間相關(guān)性，因此，通過使用通常的視頻編碼方式來對每一個(gè)進(jìn)行編碼，從而能夠削 減數(shù)據(jù)量。
[0021] 例如，在使用MPEG-C Part. 3來表現(xiàn)多視點(diǎn)視頻和針對其的深度圖的情況下，使用 現(xiàn)有的視頻編碼方式來對每一個(gè)進(jìn)行編碼。
[0022] 此外，在一起編碼針對多個(gè)視點(diǎn)的視頻和深度圖的情況下，存在針對運(yùn)動(dòng)信息利 用在視點(diǎn)間存在的相關(guān)性來實(shí)現(xiàn)高效的編碼的方法。
[0023]在非專利文獻(xiàn)2中，針對處理對象的區(qū)域，使用視差矢量來決定已經(jīng)處理完畢的其 他視點(diǎn)的視頻的區(qū)域，將在對該區(qū)域進(jìn)行編碼時(shí)使用的運(yùn)動(dòng)信息用作處理對象的區(qū)域的運(yùn) 動(dòng)信息或者其預(yù)測值。此時(shí)，為了實(shí)現(xiàn)高效的編碼，需要針對處理對象的區(qū)域獲得精度高的 視差矢量。
[0024]在非專利文獻(xiàn)2中，作為最單純的方法，使用將針對與處理對象的區(qū)域時(shí)間或者空 間性地鄰接的區(qū)域而提供的視差矢量作為處理對象區(qū)域的視差矢量的方法。進(jìn)而，為了求 取更正確的視差矢量，也使用如下的方法:估計(jì)或者取得針對處理對象的區(qū)域的深度，變換 該深度來獲得視差矢量。
[0025]現(xiàn)有技術(shù)文獻(xiàn) 非專利文獻(xiàn) 非專利文南犬 1:Y. Mori , N. Fukusima , T . Fujii, and M. Tanimoto，"View Generation with 3D Warping Using Depth Information for FTV ''，In Proceedings of 3DTV-C0N2008,第229-232頁，2008年5 月； 非專利文獻(xiàn)2:G. Tech, K. Wegner, Y. Chen, and S. Yea, "3D-HEVC Draft Text 1"，JCT-3VDoc·，JCT3V-E1001 (版本3)，2013年9月。

【發(fā)明內(nèi)容】

[0026] 發(fā)明要解決的課題 根據(jù)非專利文獻(xiàn)2所記載的方法，能夠通過變換深度圖的值來獲得高精度的視差矢量， 從而實(shí)現(xiàn)高效率的預(yù)測編碼。
[0027] 然而，在非專利文獻(xiàn)2所記載的方法中，在將深度向視差矢量變換時(shí)，假定視差與 深度(從攝像機(jī)到被攝體的距離)的倒數(shù)成比例。更具體而言，通過深度的倒數(shù)、攝像機(jī)的焦 點(diǎn)距離、視點(diǎn)間的距離三者的積來求取視差。這樣的變換在兩個(gè)視點(diǎn)具有相同的焦點(diǎn)距離、 視點(diǎn)的方向（攝像機(jī)的光軸)三維地平行的情況下提供正確的結(jié)果，但是，在這以外的狀況 下，提供錯(cuò)誤的結(jié)果。
[0028] 為了進(jìn)行正確的變換，如非專利文獻(xiàn)1所記載的那樣，需要在通過將圖像上的點(diǎn)依 照深度向三維空間逆投影來得到三維點(diǎn)之后，通過將該三維點(diǎn)向其他視點(diǎn)再投影來計(jì)算針 對其他視點(diǎn)的圖像上的點(diǎn)。
[0029] 然而，在這樣的變換中，存在需要復(fù)雜的運(yùn)算而運(yùn)算量增加這樣的問題。此外，在 視點(diǎn)的方向不同的情況下，針對兩個(gè)視點(diǎn)的視頻上的運(yùn)動(dòng)矢量相同的情況極少。因此，即使 正確地得到了視差矢量，依照非專利文獻(xiàn)2所記載的方法，在將其他視點(diǎn)中的運(yùn)動(dòng)信息用作 針對處理對象的區(qū)域的運(yùn)動(dòng)信息的情況下，也存在提供錯(cuò)誤的運(yùn)動(dòng)信息而不能實(shí)現(xiàn)高效的 編碼這樣的問題。
[0030] 本發(fā)明鑒于這樣的情況而完成，其目的在于提供如下的視頻編碼裝置、視頻解碼 裝置、視頻編碼方法、視頻解碼方法、視頻編碼程序、以及視頻解碼程序:在具有針對多個(gè)視 點(diǎn)的視頻和深度圖作為構(gòu)成要素的自由視點(diǎn)視頻數(shù)據(jù)的編碼中，即使在視點(diǎn)的方向不平行 的情況下，也能夠通過提高運(yùn)動(dòng)矢量的視點(diǎn)間預(yù)測的精度來實(shí)現(xiàn)高效的視頻編碼。
[0031] 用于解決課題的方案 本發(fā)明提供一種視頻編碼裝置，在對作為由多個(gè)不同的視點(diǎn)的視頻構(gòu)成的多視點(diǎn)視頻 的1幀的編碼對象圖像進(jìn)行編碼時(shí)，按照作為分割了所述編碼對象圖像的區(qū)域的每個(gè)編碼 對象區(qū)域一邊在不同的視點(diǎn)間進(jìn)行預(yù)測一邊進(jìn)行編碼，所述視頻編碼裝置具有： 代表深度設(shè)定單元，從針對所述多視點(diǎn)視頻中的被攝體的深度圖設(shè)定代表深度； 變換矩陣設(shè)定單元，基于所述代表深度來設(shè)定將所述編碼對象圖像上的位置向與該編 碼對象圖像不同的針對參照視點(diǎn)的參照視點(diǎn)圖像上的位置進(jìn)行變換的變換矩陣； 代表位置設(shè)定單元，從所述編碼對象區(qū)域內(nèi)的位置設(shè)定代表位置； 對應(yīng)位置設(shè)定單元，使用所述代表位置和所述變換矩陣來設(shè)定針對所述代表位置的所 述參照視點(diǎn)圖像上的對應(yīng)位置； 運(yùn)動(dòng)信息生成單元，基于所述對應(yīng)位置根據(jù)作為所述參照視點(diǎn)圖像的運(yùn)動(dòng)信息的參照 視點(diǎn)運(yùn)動(dòng)信息來生成所述編碼對象區(qū)域中的合成運(yùn)動(dòng)信息；以及 預(yù)測圖像生成單元，使用所述合成運(yùn)動(dòng)信息來生成針對所述編碼對象區(qū)域的預(yù)測圖 像。
[0032] 作為典型例，還具有深度區(qū)域設(shè)定單元，其針對所述編碼對象區(qū)域設(shè)定作為所述 深度圖上的對應(yīng)區(qū)域的深度區(qū)域， 所述代表深度設(shè)定單元從針對所述深度區(qū)域的所述深度圖設(shè)定代表深度。
[0033] 在該情況下，可以還具有深度參照視差矢量設(shè)定單元，其針對所述編碼對象區(qū)域 設(shè)定作為針對所述深度圖的視差矢量的深度參照視差矢量， 所述深度區(qū)域設(shè)定單元將由所述深度參照視差矢量所示的區(qū)域設(shè)定為所述深度區(qū)域。
[0034] 進(jìn)而，所述深度參照視差矢量設(shè)定單元可以使用在對與所述編碼對象區(qū)域鄰接的 區(qū)域進(jìn)行編碼時(shí)使用的視差矢量來設(shè)定所述深度參照視差矢量。
[0035] 此外，所述代表深度設(shè)定單元可以將具有四角形狀的所述編碼對象區(qū)域的4個(gè)頂 點(diǎn)的像素所對應(yīng)的所述深度區(qū)域內(nèi)的深度之中的、示出最靠近攝像機(jī)的深度設(shè)定為代表深 度。
[0036] 作為優(yōu)選例，還具有合成運(yùn)動(dòng)信息變換單元，其使用所述變換矩陣來變換所述合 成運(yùn)動(dòng)信息， 所述預(yù)測圖像生成單元使用所述變換后的合成運(yùn)動(dòng)信息。
[0037]作為其他的優(yōu)選例，還具有： 過去深度設(shè)定單元，基于所述對應(yīng)位置和所述合成運(yùn)動(dòng)信息來從所述深度圖設(shè)定過去 深度； 逆變換矩陣設(shè)定單元，基于所述過去深度來設(shè)定將所述參照視點(diǎn)圖像上的位置向所述 編碼對象圖像上的位置進(jìn)行變換的逆變換矩陣；以及 合成運(yùn)動(dòng)信息變換單元，使用所述逆變換矩陣來變換所述合成運(yùn)動(dòng)信息， 所述預(yù)測圖像生成單元使用所述變換后的合成運(yùn)動(dòng)信息。
[0038] 此外，本發(fā)明還提供一種視頻解碼裝置，在從由多個(gè)不同的視點(diǎn)的視頻構(gòu)成的多 視點(diǎn)活動(dòng)圖像的碼數(shù)據(jù)對解碼對象圖像進(jìn)行解碼時(shí)，按照作為分割了所述解碼對象圖像的 區(qū)域的每個(gè)解碼對象區(qū)域一邊在不同的視點(diǎn)間進(jìn)行預(yù)測一邊進(jìn)行解碼，所述視頻解碼裝置 具有： 代表深度設(shè)定單元，從針對所述多視點(diǎn)視頻中的被攝體的深度圖設(shè)定代表深度； 變換矩陣設(shè)定單元，基于所述代表深度來設(shè)定將所述解碼對象圖像上的位置向與該解 碼對象圖像不同的針對參照視點(diǎn)的參照圖像上的位置進(jìn)行變換的變換矩陣； 代表位置設(shè)定單元，從所述解碼對象區(qū)域內(nèi)的位置設(shè)定代表位置； 對應(yīng)位置設(shè)定單元，使用所述代表位置和所述變換矩陣來設(shè)定針對所述代表位置的所 述參照視點(diǎn)圖像上的對應(yīng)位置； 運(yùn)動(dòng)信息生成單元，基于所述對應(yīng)位置根據(jù)作為所述參照視點(diǎn)圖像的運(yùn)動(dòng)信息的參照 視點(diǎn)運(yùn)動(dòng)信息來生成所述解碼對象區(qū)域中的合成運(yùn)動(dòng)信息；以及 預(yù)測圖像生成單元，使用所述合成運(yùn)動(dòng)信息來生成針對所述解碼對象區(qū)域的預(yù)測圖 像。
[0039] 作為典型例，還具有深度區(qū)域設(shè)定單元，其針對所述解碼對象區(qū)域設(shè)定作為所述 深度圖上的對應(yīng)區(qū)域的深度區(qū)域， 所述代表深度設(shè)定單元從針對所述深度區(qū)域的所述深度圖設(shè)定代表深度。
[0040] 在該情況下，可以還具有深度參照視差矢量設(shè)定單元，其針對所述解碼對象區(qū)域 設(shè)定作為針對所述深度圖的視差矢量的深度參照視差矢量， 所述深度區(qū)域設(shè)定單元將由所述深度參照視差矢量所示的區(qū)域設(shè)定為所述深度區(qū)域。
[0041] 進(jìn)而，所述深度參照視差矢量設(shè)定單元可以使用在對與所述解碼對象區(qū)域鄰接的 區(qū)域進(jìn)行解碼時(shí)使用的視差矢量來設(shè)定所述深度參照視差矢量。
[0042] 此外，所述代表深度設(shè)定單元可以將具有四角形狀的所述解碼對象區(qū)域的4個(gè)頂 點(diǎn)的像素所對應(yīng)的所述深度區(qū)域內(nèi)的深度之中的、示出最靠近攝像機(jī)的深度設(shè)定為代表深 度。
[0043] 作為優(yōu)選例，還具有合成運(yùn)動(dòng)信息變換單元，其使用所述變換矩陣來變換所述合 成運(yùn)動(dòng)信息， 所述預(yù)測圖像生成單元使用所述變換后的合成運(yùn)動(dòng)信息。
[0044] 作為其他的優(yōu)選例，還具有： 過去深度設(shè)定單元，基于所述對應(yīng)位置和所述合成運(yùn)動(dòng)信息來從所述深度圖設(shè)定過去 深度； 逆變換矩陣設(shè)定單元，基于所述過去深度來設(shè)定將所述參照視點(diǎn)圖像上的位置向所述 解碼對象圖像上的位置進(jìn)行變換的逆變換矩陣；以及 合成運(yùn)動(dòng)信息變換單元，使用所述逆變換矩陣來變換所述合成運(yùn)動(dòng)信息， 所述預(yù)測圖像生成單元使用所述變換后的合成運(yùn)動(dòng)信息。
[0045] 此外，本發(fā)明還提供一種視頻編碼方法，在對作為由多個(gè)不同的視點(diǎn)的視頻構(gòu)成 的多視點(diǎn)視頻的1幀的編碼對象圖像進(jìn)行編碼時(shí)，按照作為分割了所述編碼對象圖像的區(qū) 域的每個(gè)編碼對象區(qū)域一邊在不同的視點(diǎn)間進(jìn)行預(yù)測一邊進(jìn)行編碼，所述視頻編碼方法具 有： 代表深度設(shè)定步驟，從針對所述多視點(diǎn)視頻中的被攝體的深度圖設(shè)定代表深度； 變換矩陣設(shè)定步驟，基于所述代表深度來設(shè)定將所述編碼對象圖像上的位置向與該編 碼對象圖像不同的針對參照視點(diǎn)的參照視點(diǎn)圖像上的位置進(jìn)行變換的變換矩陣； 代表位置設(shè)定步驟，從所述編碼對象區(qū)域內(nèi)的位置設(shè)定代表位置； 對應(yīng)位置設(shè)定步驟，使用所述代表位置和所述變換矩陣來設(shè)定針對所述代表位置的所 述參照視點(diǎn)圖像上的對應(yīng)位置； 運(yùn)動(dòng)信息生成步驟，基于所述對應(yīng)位置根據(jù)作為所述參照視點(diǎn)圖像的運(yùn)動(dòng)信息的參照 視點(diǎn)運(yùn)動(dòng)信息來生成所述編碼對象區(qū)域中的合成運(yùn)動(dòng)信息；以及 預(yù)測圖像生成步驟，使用所述合成運(yùn)動(dòng)信息來生成針對所述編碼對象區(qū)域的預(yù)測圖 像。
[0046] 此外，本發(fā)明還提供一種視頻解碼方法，在從由多個(gè)不同的視點(diǎn)的視頻構(gòu)成的多 視點(diǎn)活動(dòng)圖像的碼數(shù)據(jù)對解碼對象圖像進(jìn)行解碼時(shí)，按照作為分割了所述解碼對象圖像的 區(qū)域的每個(gè)解碼對象區(qū)域一邊在不同的視點(diǎn)間進(jìn)行預(yù)測一邊進(jìn)行解碼，所述視頻解碼方法 具有： 代表深度設(shè)定步驟，從針對所述多視點(diǎn)視頻中的被攝體的深度圖設(shè)定代表深度； 變換矩陣設(shè)定步驟，基于所述代表深度來設(shè)定將所述解碼對象圖像上的位置向與該解 碼對象圖像不同的針對參照視點(diǎn)的參照圖像上的位置進(jìn)行變換的變換矩陣； 代表位置設(shè)定步驟，從所述解碼對象區(qū)域內(nèi)的位置設(shè)定代表位置； 對應(yīng)位置設(shè)定步驟，使用所述代表位置和所述變換矩陣來設(shè)定針對所述代表位置的所 述參照視點(diǎn)圖像上的對應(yīng)位置； 運(yùn)動(dòng)信息生成步驟，基于所述對應(yīng)位置根據(jù)作為所述參照視點(diǎn)圖像的運(yùn)動(dòng)信息的參照 視點(diǎn)運(yùn)動(dòng)信息來生成所述解碼對象區(qū)域中的合成運(yùn)動(dòng)信息；以及 預(yù)測圖像生成步驟，使用所述合成運(yùn)動(dòng)信息來生成針對所述解碼對象區(qū)域的預(yù)測圖 像。
[0047] 此外，本發(fā)明還提供一種用于使計(jì)算機(jī)執(zhí)行所述視頻編碼方法的視頻編碼程序。
[0048] 此外，本發(fā)明還提供一種用于使計(jì)算機(jī)執(zhí)行所述視頻解碼方法的視頻解碼程序。
[0049] 發(fā)明效果 根據(jù)本發(fā)明，能得到如下那樣的效果:在針對多個(gè)視點(diǎn)的視頻與針對該視頻的深度圖 一起被編碼或者解碼的情況下，使用針對深度值所定義的一個(gè)矩陣來求取視點(diǎn)間的像素的 對應(yīng)關(guān)系，由此，即使在視點(diǎn)的方向不平行的情況下，也能夠不進(jìn)行復(fù)雜的運(yùn)算而提高運(yùn)動(dòng) 矢量的視點(diǎn)間預(yù)測的精度，從而能夠以少的碼量對視頻進(jìn)行編碼。
【附圖說明】
[0050] 圖1是示出根據(jù)本發(fā)明的一個(gè)實(shí)施方式的視頻編碼裝置的結(jié)構(gòu)的框圖。
[0051 ]圖2是示出圖1所示的視頻編碼裝置100的工作的流程圖。
[0052]圖3是示出生成圖2所示的運(yùn)動(dòng)信息生成部105中的運(yùn)動(dòng)信息的工作(步驟S104)的 處理工作的流程圖。
[0053]圖4是示出根據(jù)本發(fā)明的一個(gè)實(shí)施方式的視頻解碼裝置的結(jié)構(gòu)的框圖。
[0054] 圖5是示出圖4所示的視頻解碼裝置200的工作的流程圖。
[0055] 圖6是示出利用計(jì)算機(jī)和軟件程序構(gòu)成圖1所示的視頻編碼裝置100的情況下的硬 件結(jié)構(gòu)的框圖。
[0056] 圖7是示出利用計(jì)算機(jī)和軟件程序構(gòu)成圖4所示的視頻解碼裝置200的情況下的硬 件結(jié)構(gòu)的框圖。
【具體實(shí)施方式】
[0057] 以下，參照附圖來說明根據(jù)本發(fā)明的實(shí)施方式的視頻編碼裝置和視頻解碼裝置。
[0058] 在以下的說明中，設(shè)想對由第一攝像機(jī)(稱為攝像機(jī)A)、第二攝像機(jī)(稱為攝像機(jī) B)兩個(gè)攝像機(jī)所拍攝的多視點(diǎn)視頻進(jìn)行編碼的情況，將攝像機(jī)A作為參照視點(diǎn)、將攝像機(jī)B 的視頻的1幀作為編碼或者解碼的幀來進(jìn)行說明。
[0059] 再有，另外提供為了從深度得到視差所需要的信息。具體而言，是表示攝像機(jī)A和 攝像機(jī)B的位置關(guān)系的外部參數(shù)、或者表示向由攝像機(jī)的圖像平面的投影信息的內(nèi)部參數(shù)， 只要是與它們具有相同意義的信息，則也可以以其他形式提供需要的信息。
[0060] 例如，在文獻(xiàn)"Oliver Faugeras, "Three-Dimension Computer Vision", MIT Press; BCTC/UFF-006.37 F259 1993，ISBN:0-262-06158-9." 中記載了關(guān)于這些攝像機(jī) 參數(shù)的詳細(xì)說明。在該文獻(xiàn)中，記載了關(guān)于示出多個(gè)攝像機(jī)的位置關(guān)系的參數(shù)、表示向由攝 像機(jī)的圖像平面的投影信息的參數(shù)的說明。
[0061] 在以下的說明中，針對圖像或視頻幀、深度圖而附加可確定位置的信息(坐標(biāo)值或 者可與坐標(biāo)值相對應(yīng)的索引等）（例如，后述的編碼對象區(qū)域索引blk)，由此，利用該位置 (范圍）的像素來示出經(jīng)采樣的圖像信號、或針對其的深度。
[0062] 此外，通過可與坐標(biāo)值或塊相對應(yīng)的索引值和矢量的相加，由此，表示使該坐標(biāo)或 塊錯(cuò)開了矢量的量的位置的坐標(biāo)值或塊。
[0063]圖1是示出根據(jù)本實(shí)施方式的視頻編碼裝置的結(jié)構(gòu)的框圖。
[0064] 視頻編碼裝置100如圖1所示具備編碼對象圖像輸入部101、編碼對象圖像存儲(chǔ)器 102、參照視點(diǎn)運(yùn)動(dòng)信息輸入部103、深度圖輸入部104、運(yùn)動(dòng)信息生成部105、圖像編碼部 106、圖像解碼部107以及參照圖像存儲(chǔ)器108。
[0065] 編碼對象圖像輸入部101將成為編碼對象的視頻的1幀輸入到視頻編碼裝置100。 在以下，分別將該成為編碼對象的視頻和所輸入的編碼的幀稱為編碼對象視頻和編碼對象 圖像。在此，1幀1幀地輸入攝像機(jī)B的視頻。此外，將對編碼對象視頻進(jìn)行拍攝的視點(diǎn)（在此， 攝像機(jī)B的視點(diǎn))稱為編碼對象視點(diǎn)。
[0066] 編碼對象圖像存儲(chǔ)器102存儲(chǔ)所輸入的編碼對象圖像。
[0067] 參照視點(diǎn)運(yùn)動(dòng)信息輸入部103將針對參照視點(diǎn)的視頻的運(yùn)動(dòng)信息(運(yùn)動(dòng)矢量等)輸 入到視頻編碼裝置1〇〇。在以下，將在此輸入的運(yùn)動(dòng)信息稱為參照視點(diǎn)運(yùn)動(dòng)信息。在此，輸入 攝像機(jī)A的運(yùn)動(dòng)信息。
[0068] 深度圖輸入部104將求取視點(diǎn)間的像素的對應(yīng)關(guān)系或生成運(yùn)動(dòng)信息時(shí)參照的深度 圖輸入到視頻編碼裝置1〇〇。在此，輸入針對編碼對象圖像的深度圖，但是，也可以為針對參 照視點(diǎn)等其他視點(diǎn)的深度圖。
[0069] 再有，深度圖表示在對應(yīng)的圖像的各像素中映現(xiàn)的被攝體的三維位置。例如，能夠 使用從攝像機(jī)到被攝體的距離、針對與圖像平面不平行的軸的坐標(biāo)值、針對其他攝像機(jī)(例 如攝像機(jī)A)的視差量。
[0070] 再有，在此，作為深度圖，以圖像的方式進(jìn)行提供，但是，只要能得到同樣的信息， 則也可以不是圖像的方式。
[0071] 運(yùn)動(dòng)信息生成部105使用參照視點(diǎn)運(yùn)動(dòng)信息和深度圖來生成針對編碼對象圖像的 運(yùn)動(dòng)信息。
[0072] 圖像編碼部106-邊使用所生成的運(yùn)動(dòng)信息一邊對編碼對象圖像進(jìn)行預(yù)測編碼。 [0073]圖像解碼部107對編碼對象圖像的位流進(jìn)行解碼。
[0074] 參照圖像存儲(chǔ)器108存儲(chǔ)在對編碼對象圖像的位流進(jìn)行解碼時(shí)得到的圖像。
[0075] 接著，參照圖2來說明圖1所示的視頻編碼裝置100的工作。圖2是示出圖1所示的視 頻編碼裝置1〇〇的工作的流程圖。
[0076] 首先，編碼對象圖像輸入部101輸入編碼對象圖像Org，并存儲(chǔ)在編碼對象圖像存 儲(chǔ)器102中（步驟S101)。
[0077] 接著，參照視點(diǎn)運(yùn)動(dòng)信息輸入部103將參照視點(diǎn)運(yùn)動(dòng)信息輸入到視頻編碼裝置 100,深度圖輸入部104將深度圖輸入到視頻編碼裝置100,分別向運(yùn)動(dòng)信息生成部105輸出 (步驟 S102)。
[0078]再有，在步驟S102中輸入的參照視點(diǎn)運(yùn)動(dòng)信息和深度圖為對已經(jīng)編碼完畢的信息 進(jìn)行解碼的信息等與能在解碼側(cè)得到的信息相同的信息。這是為了通過使用與能在解碼裝 置中得到的信息完全相同的信息來抑制漂移等編碼噪聲的發(fā)生。但是，在容許這樣的編碼 噪聲的發(fā)生的情況下，也可以輸入編碼前的信息等只能在編碼側(cè)得到的信息。
[0079] 關(guān)于深度圖，除了對已經(jīng)編碼完畢的深度圖進(jìn)行解碼的深度圖以外，通過對針對 多個(gè)攝像機(jī)所解碼的多視點(diǎn)視頻應(yīng)用立體聲匹配等而估計(jì)的深度圖、或者使用解碼后的視 差矢量或運(yùn)動(dòng)矢量等而估計(jì)的深度圖等也能夠用作能在解碼側(cè)得到相同信息的信息。
[0080] 參照視點(diǎn)運(yùn)動(dòng)信息既可以使用在對針對參照視點(diǎn)的視頻進(jìn)行編碼時(shí)使用的運(yùn)動(dòng) 信息，也可以使用針對參照視點(diǎn)另外編碼的信息。此外，還能夠使用對針對參照視點(diǎn)的視頻 進(jìn)行解碼而由此估計(jì)得到的運(yùn)動(dòng)信息。
[0081] 在編碼對象圖像、參照視點(diǎn)運(yùn)動(dòng)信息、深度圖的輸入結(jié)束之后，將編碼對象圖像分 割為預(yù)定大小的區(qū)域，按照分割的每個(gè)區(qū)域，對編碼對象圖像的視頻信號進(jìn)行編碼（步驟 S103~S108)〇
[0082] 即，當(dāng)以blk表示編碼對象區(qū)域索引、以numBlks表示1幀中的總編碼對象區(qū)域數(shù) 時(shí)，以〇初始化blk(步驟S103)，之后，一邊對blk加上1(步驟S107)，一邊重復(fù)以下的處理(步 驟 S104~S106)，直到 blk 變?yōu)?numBlks(步驟 S108)。
[0083] 在一般的編碼中，向稱為16像素 X 16像素的宏塊的處理單位塊進(jìn)行分割，但是，只 要與解碼側(cè)相同，則也可以分割為其他大小的塊。此外，也可以不以相同尺寸分割圖像全 體，而分割為按照每個(gè)區(qū)域不同的尺寸的塊。
[0084] 在按照每個(gè)編碼對象區(qū)域進(jìn)行重復(fù)的處理中，首先，運(yùn)動(dòng)信息生成部105生成編碼 對象區(qū)域blk中的運(yùn)動(dòng)信息(步驟S104)。在后面詳細(xì)說明此處的處理。
[0085] 在得到了針對編碼對象區(qū)域blk的運(yùn)動(dòng)信息之后，圖像編碼部106-邊使用該運(yùn)動(dòng) 信息和存儲(chǔ)在參照圖像存儲(chǔ)器108中的圖像來進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測，一邊對編碼對象區(qū)域blk 中的編碼對象圖像的視頻信號(像素值)進(jìn)行編碼(步驟105)。編碼的結(jié)果所得的位流成為 視頻編碼裝置100的輸出。再有，關(guān)于編碼的方法，使用怎樣的方法都可以。
[0086]在MPEG-2或H. 264/AVC等一般的編碼中，針對塊blk的視頻信號和預(yù)測圖像的差分 信號，通過按順序施行DCT等頻率變換、量化、2值化、熵編碼來進(jìn)行編碼。
[0087]接著，圖像解碼部107從位流對針對塊blk的視頻信號進(jìn)行解碼，將作為解碼結(jié)果 的解碼圖像Dec [ b 1 k ]存儲(chǔ)在參照圖像存儲(chǔ)器109中（步驟S106 )。
[0088] 在此，使用與在編碼時(shí)使用的手法對應(yīng)的手法。例如，如果是MPEG-2或H.264/AVC 等一般的編碼，則針對碼數(shù)據(jù)按順序施行熵解碼、逆2值化、逆量化、IDCT等頻率逆變換，對 得到的二維信號附加預(yù)測圖像，最后在像素值的值域中進(jìn)行削波，由此，對視頻信號進(jìn)行解 碼。
[0089] 再有，也可以接受在編碼側(cè)的處理變?yōu)闊o損稍前的數(shù)據(jù)和預(yù)測圖像，利用簡略化 的解碼處理來進(jìn)行解碼處理。
[0090] 即，如果是前述的例子，則也可以接受在編碼時(shí)附加了量化處理后的值和運(yùn)動(dòng)補(bǔ) 償預(yù)測圖像，針對對該量化后的值按順序施行逆量化、頻率逆變換而得到的二維信號附加 運(yùn)動(dòng)補(bǔ)償預(yù)測圖像，在像素值的值域中進(jìn)行削波，由此，對視頻信號進(jìn)行解碼。
[0091] 接著，參照圖3來詳細(xì)地說明運(yùn)動(dòng)信息生成部105進(jìn)行的生成編碼對象區(qū)域blk中 的運(yùn)動(dòng)信息的處理(步驟S104)。圖3是示出圖2所示的運(yùn)動(dòng)信息生成部105中的生成運(yùn)動(dòng)信 息的工作(步驟S104 )的處理工作的流程圖。
[0092]在生成運(yùn)動(dòng)信息的處理中，首先，運(yùn)動(dòng)信息生成部105設(shè)定針對編碼對象區(qū)域blk 的深度圖（步驟S1401)。在此，輸入針對編碼對象圖像的深度圖，因此，設(shè)定與編碼對象區(qū)域 blk相同位置的深度圖。
[0093]再有，在編碼對象圖像和深度圖的分辨率不同的情況下，設(shè)定與分辨率比對應(yīng)地 縮放的區(qū)域。在將與編碼對象視點(diǎn)不同的視點(diǎn)的一個(gè)作為深度視點(diǎn)時(shí)，在使用針對深度視 點(diǎn)的深度圖的情況下，求取編碼對象區(qū)域blk中的編碼對象視點(diǎn)和深度視點(diǎn)的視差DV，設(shè)定 blk+DV中的深度圖。在編碼對象圖像和深度圖的分辨率不同的情況下，如上述那樣，與分辨 率比對應(yīng)地進(jìn)行位置和大小的縮放。
[0094] 只要為與解碼側(cè)相同的方法，則使用怎樣的方法來計(jì)算編碼對象區(qū)域blk中的編 碼對象視點(diǎn)和深度視點(diǎn)的視差DV都可以。
[0095] 例如，能夠使用在對編碼對象區(qū)域blk的周邊區(qū)域進(jìn)行編碼時(shí)使用的視差矢量、或 針對編碼對象圖像全體或包括編碼對象區(qū)域的部分圖像所設(shè)定的全局視差矢量、針對編碼 對象區(qū)域另外設(shè)定而編碼的視差矢量等。此外，也可以預(yù)先存儲(chǔ)在不同的區(qū)域或過去編碼 的圖像中使用的視差矢量來使用。
[0096] 進(jìn)而，也可以使用對與針對編碼對象視點(diǎn)在過去編碼的深度圖的編碼對象區(qū)域相 同位置的深度圖進(jìn)行變換而得到的視差矢量。
[0097]接著，運(yùn)動(dòng)信息生成部105從所設(shè)定的深度圖決定(作為本發(fā)明的"代表位置"的） 代表像素位置P〇s和代表深度rep(步驟S1402)。雖然使用怎樣的方法來決定代表像素位置 和代表深度都可以，但是，需要使用與解碼側(cè)相同的方法。
[0098]作為設(shè)定代表像素位置pos的代表性方法，存在設(shè)定編碼對象區(qū)域內(nèi)的中央或左 上等預(yù)定的位置作為代表像素位置的方法、或者在求取了代表深度之后設(shè)定與該代表深度 具有相同深度的編碼對象區(qū)域內(nèi)的像素的位置的方法。
[0099]此外，作為其他方法，存在對針對預(yù)定位置的像素的深度進(jìn)行比較而設(shè)定具有滿 足預(yù)定條件的深度的像素的位置的方法。
[0100] 具體而言，為如下的方法:將位于編碼對象區(qū)域內(nèi)的中央的4個(gè)像素、或者位于（四 角形狀的編碼對象區(qū)域的)4個(gè)頂點(diǎn)的像素、位于4個(gè)頂點(diǎn)和中央的像素作為對象，選擇提供 最大的深度、或最小的深度、中央值的深度等的像素。
[0101] 作為設(shè)定代表深度rep的代表性方法，存在使用針對編碼對象區(qū)域blk的深度圖的 平均值或中央值、最大值、最小值等的方法。
[0102] 此外，也可以使用不是針對編碼對象區(qū)域內(nèi)的全部像素而是針對一部分的像素的 深度值的平均值或中央值、最大值、最小值等。作為一部分的像素，可以使用4個(gè)頂點(diǎn)或4個(gè) 頂點(diǎn)和中央等。進(jìn)而，也存在針對編碼對象區(qū)域使用針對左上或中央等預(yù)定位置的深度值 的方法。
[0103] 運(yùn)動(dòng)信息生成部105在得到了代表像素位置pos和代表深度之后，接著求取變換矩 陣 Hrep(步驟 S1403)。
[0104] 在此，變換矩陣稱為單應(yīng)矩陣，是在假定被攝體存在于以代表深度所表現(xiàn)的平面 中時(shí)提供視點(diǎn)間的圖像平面上的點(diǎn)的對應(yīng)關(guān)系的矩陣。再有，無論怎樣求取變換矩陣士@都 可以。例如，能夠使用以下的數(shù)式來求取。
[0105] [數(shù)式 1]
再有，R和t分別表示編碼對象視點(diǎn)和參照視點(diǎn)之間的3X3旋轉(zhuǎn)矩陣和平移矢量，Drap示 出代表深度，n(Drep)示出碼對象視點(diǎn)中的代表深度Drep所對應(yīng)的三維平面的法線矢量，d (Drep)示出該三維平面與編碼對象視點(diǎn)和參照視點(diǎn)的視點(diǎn)中心之間的距離。此外，右上方的 T表示矢量的轉(zhuǎn)置。
[0106] 作為變換矩陣Hre3p的其他的求取方法，首先，針對編碼對象圖像中的不同的4個(gè)點(diǎn) ?1(丨=1、2、3、4)，基于以下的式子，求取參照視點(diǎn)的圖像上的對應(yīng)點(diǎn)(1 1。
[0107] [數(shù)式 2]
在此，Pt和Pr分別示出編碼對象視點(diǎn)和參照視點(diǎn)中的3 X 4攝像機(jī)矩陣。當(dāng)以A表示攝像 機(jī)的內(nèi)部參數(shù)、以R表示從世界坐標(biāo)系（不依賴于攝像機(jī)的任意的共同的坐標(biāo)系）向攝像機(jī) 坐標(biāo)系的旋轉(zhuǎn)矩陣、以t表示表示從世界坐標(biāo)系向攝像機(jī)坐標(biāo)系的平移的列矢量時(shí)，以a[r| t]提供此處的攝像機(jī)矩陣（[R|t]是排列R和t而制作的3X4矩陣，稱為攝像機(jī)的外部參數(shù)）。 再有，此處的攝像機(jī)矩陣P的逆矩陣F 1為利用攝像機(jī)矩陣P的變換的逆變換所對應(yīng)的矩陣， 以『以'-幻表示。
[0108] dt(Pl)示出將編碼對象圖像上的點(diǎn)Pl中的深度作為代表深度時(shí)的、從編碼對象視 點(diǎn)到點(diǎn)Pi中的被攝體的光軸上的距離。
[0109] s是任意的實(shí)數(shù)，但是，在沒有攝像機(jī)參數(shù)的誤差的情況下，s等于從參照視點(diǎn)的圖 像上的點(diǎn)qi中的參照視點(diǎn)到點(diǎn)qi中的被攝體的光軸上的距離d r ( qi)。
[0110] 此外，當(dāng)依照上述定義來計(jì)算式2時(shí)，成為以下的數(shù)式。再有，內(nèi)部參數(shù)A、旋轉(zhuǎn)矩陣 R、平移矢量t的角標(biāo)t和r表示各攝像機(jī)，分別示出編碼對象視點(diǎn)和參照視點(diǎn)。
[0111] [數(shù)式 3]
在求出了 4個(gè)對應(yīng)點(diǎn)之后，通過求解依照以下的式子所得到的齊次方程式來得到變換 矩陣Hrep。但是，設(shè)定任意的實(shí)數(shù)(例如1)來求取變換矩陣士印的(3，3)分量。
[0112][數(shù)式 4]
變換矩陣仏@依賴于參照視點(diǎn)和深度，因此，既可以每當(dāng)求取代表深度時(shí)每次求取，也 可以在開始按照每個(gè)區(qū)域的處理前，按照參照視點(diǎn)和深度的每個(gè)組合預(yù)先求取，在求取變 換矩陣11_的階段中，從已經(jīng)計(jì)算出的變換矩陣組之中基于參照視點(diǎn)和代表深度來選擇/設(shè) 定一個(gè)變換矩陣。
[0113] 在得到了針對代表深度的變換矩陣之后，運(yùn)動(dòng)信息生成部105基于以下的數(shù)式來 求取參照視點(diǎn)上的對應(yīng)位置(步驟S1404 )。
[0114] [數(shù)式 5]
在此，k表示任意的實(shí)數(shù)，以(u，v)提供的位置是求取的參照視點(diǎn)上的位置。
[0115] 接著，在得到了參照視點(diǎn)中的對應(yīng)位置之后，運(yùn)動(dòng)信息生成部105將針對包括該位 置的區(qū)域所輸入并存儲(chǔ)的參照視點(diǎn)運(yùn)動(dòng)信息設(shè)定為針對編碼對象區(qū)域blk的運(yùn)動(dòng)信息（步 驟S1405)。
[0116] 再有，在針對包括對應(yīng)位置(u，v)的區(qū)域未存儲(chǔ)參照視點(diǎn)運(yùn)動(dòng)信息的情況下，既可 以設(shè)定無運(yùn)動(dòng)信息的信息，也可以設(shè)定零矢量等默認(rèn)的運(yùn)動(dòng)信息，還可以辨識(shí)最靠近對應(yīng) 位置(U，V )的存儲(chǔ)運(yùn)動(dòng)信息的區(qū)域而設(shè)定在該區(qū)域中存儲(chǔ)的參照視點(diǎn)運(yùn)動(dòng)信息。但是，用與 解碼側(cè)相同的規(guī)則來設(shè)定運(yùn)動(dòng)信息。
[0117] 在前述的說明中，雖然將參照視點(diǎn)運(yùn)動(dòng)信息直接設(shè)定為運(yùn)動(dòng)信息，但是，也可以預(yù) 先設(shè)定時(shí)間間隔，將運(yùn)動(dòng)信息依照該預(yù)定的時(shí)間間隔和參照視點(diǎn)運(yùn)動(dòng)信息中的時(shí)間間隔進(jìn) 行縮放，設(shè)定將參照視點(diǎn)運(yùn)動(dòng)信息中的時(shí)間間隔置換為該預(yù)定的時(shí)間間隔而得到的運(yùn)動(dòng)信 息。
[0118] 像這樣做，由此，針對不同的區(qū)域所生成的運(yùn)動(dòng)信息全部具有相同的時(shí)間間隔，從 而能夠統(tǒng)一進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測時(shí)的參照圖像，限定訪問的存儲(chǔ)器空間。再有，通過限定訪問 的存儲(chǔ)器空間，從而能夠提高高速緩存存儲(chǔ)器的命中率(hit rate)，提高處理速度。
[0119] 此外，在前述的說明中，將參照視點(diǎn)運(yùn)動(dòng)信息直接設(shè)定為運(yùn)動(dòng)信息，但是，也可以 設(shè)定使用變換矩陣Hrap而變換后的信息。
[0120] B卩，當(dāng)使在步驟S1405中設(shè)定的運(yùn)動(dòng)信息為mv=(mvx，mvy)T時(shí)，用以下的數(shù)式來表示 變換后的運(yùn)動(dòng)信息mv'。
[0121] [數(shù)式 6]
在此，s表示任意的實(shí)數(shù)。
[0122] 進(jìn)而，能夠參照與在步驟S1405中設(shè)定的運(yùn)動(dòng)信息所示出的時(shí)間間隔對應(yīng)的參照 視點(diǎn)中的深度圖，當(dāng)使位置(u+mvx，v+mvy)中的深度為prdep時(shí)，可以使用基于以下的式子所 求取的P'來求取mv'。
[0123] [數(shù)式 7]
在此，d"t (prdep )是將針對參照視點(diǎn)所表現(xiàn)的深度prdep向針對編碼對象視點(diǎn)的表現(xiàn) 的深度進(jìn)行變換的函數(shù)。
[0124] 在在編碼對象視點(diǎn)和參照視點(diǎn)中使用共同的軸來表現(xiàn)深度的情況下，該變換直接 返回以自變量所提供的深度。
[0125] 再有，在此，使用從針對編碼對象視點(diǎn)的位置向針對參照視點(diǎn)的位置進(jìn)行變換的 變換矩陣Η的逆變換矩陣?Γ1，但是，既可以從變換矩陣計(jì)算而得到逆矩陣，也可以直接求取 逆變換矩陣。
[0126] 在直接計(jì)算的情況下，首先，對針對參照視點(diǎn)的圖像中的不同的4個(gè)點(diǎn)q'Kiild、 3、4)，基于以下的式子來求取編碼對象視點(diǎn)的圖像上的對應(yīng)點(diǎn)p' 1<3
[0127] [數(shù)式 8]
在此，dr, PrdeP( q ' i)示出使視點(diǎn)r的圖像上的點(diǎn)q ' i中的針對視點(diǎn)r所定義的深度為prdep 時(shí)的、從視點(diǎn)r到點(diǎn)q ' i中的被攝體的光軸上的距離。
[0128] 在求出了4個(gè)對應(yīng)點(diǎn)之后，通過求解依照以下的數(shù)式所得到的齊次方程式來得到 逆變換矩陣Η'。但是，設(shè)定任意的實(shí)數(shù)(例如1)來求取變換矩陣Η'的(3，3)分量。
[0129] [數(shù)式 9]
此外，在能夠參照與在步驟S1405中設(shè)定的運(yùn)動(dòng)信息所示出的時(shí)間間隔對應(yīng)的、編碼視 點(diǎn)中的深度圖Dt,Ref(blk)的情況下，也可以用以下的數(shù)式求取變換后的運(yùn)動(dòng)信息mv' depth。
[0130] [數(shù)式 10]
在此I I I I示出范數(shù)(norm)，既可以使用L1范數(shù)，也可以使用L2范數(shù)。
[0131] 可以同時(shí)施行上述說明的變換和縮放。在該情況下，既可以在縮放之后變換，也可 以在變換之后縮放。
[0132] 在前述的說明中使用的運(yùn)動(dòng)信息與編碼對象視點(diǎn)的位置進(jìn)行加法運(yùn)算，由此，表 現(xiàn)為示出時(shí)間方向的對應(yīng)位置的信息。如果在通過減法運(yùn)算來表示對應(yīng)位置的情況下，需 要在上述說明中使用的數(shù)式中的運(yùn)動(dòng)信息中使矢量的方向逆轉(zhuǎn)。
[0133] 接著，對根據(jù)本實(shí)施方式的視頻解碼裝置進(jìn)行說明。
[0134] 圖4是示出根據(jù)本實(shí)施方式的視頻解碼裝置的結(jié)構(gòu)的框圖。視頻解碼裝置200如圖 4所示具備位流輸入部201、位流存儲(chǔ)器202、參照視點(diǎn)運(yùn)動(dòng)信息輸入部203、深度圖輸入部 204、運(yùn)動(dòng)信息生成部205、圖像解碼部206以及參照圖像存儲(chǔ)器207。
[0135] 位流輸入部201將成為解碼對象的視頻的位流輸入到視頻解碼裝置200。在以下， 將該成為解碼對象的視頻的1幀稱為解碼對象圖像。在此，是指攝像機(jī)B的視頻的1幀。此外， 在以下，將對解碼對象圖像進(jìn)行拍攝的視點(diǎn)(在此，攝像機(jī)B)稱為解碼對象視點(diǎn)。
[0136] 位流存儲(chǔ)器202存儲(chǔ)所輸入的針對解碼對象圖像的位流。
[0137] 參照視點(diǎn)運(yùn)動(dòng)信息輸入部203將針對參照視點(diǎn)的視頻的運(yùn)動(dòng)信息(運(yùn)動(dòng)矢量等)輸 入到視頻解碼裝置200。在以下，將在此輸入的運(yùn)動(dòng)信息稱為參照視點(diǎn)運(yùn)動(dòng)信息。在此，輸入 攝像機(jī)A的運(yùn)動(dòng)信息。
[0138] 深度圖輸入部204將求取視點(diǎn)間的像素的對應(yīng)關(guān)系或者生成針對解碼對象圖像的 運(yùn)動(dòng)信息時(shí)參照的深度圖輸入到視頻解碼裝置200。在此，輸入針對解碼對象圖像的深度 圖，但是，也可以為針對參照視點(diǎn)等其他視點(diǎn)的深度圖。
[0139] 再有，深度圖表示在對應(yīng)的圖像的各像素中映現(xiàn)的被攝體的三維位置。例如，能夠 使用從攝像機(jī)到被攝體的距離、或針對與圖像平面不平行的軸的坐標(biāo)值、針對其他的攝像 機(jī)(例如攝像機(jī)A)的視差量。
[0140] 再有，在此，作為深度圖，以圖像的方式進(jìn)行提供，但是，只要能得到同樣的信息， 則也可以不是圖像的方式。
[0141] 運(yùn)動(dòng)信息生成部205使用參照視點(diǎn)運(yùn)動(dòng)信息和深度圖來生成針對解碼對象圖像的 運(yùn)動(dòng)信息。
[0142] 圖像解碼部206-邊使用所生成的運(yùn)動(dòng)信息，一邊從上述位流對解碼對象圖像進(jìn) 行解碼并輸出。
[0143] 參照圖像存儲(chǔ)器207為了以后的解碼而存儲(chǔ)所得到的解碼對象圖像。
[0144] 接著，參照圖5來說明圖4所示的視頻解碼裝置200的工作。圖5是示出圖4所示的視 頻解碼裝置200的工作的流程圖。
[0145] 首先，位流輸入部201將對解碼對象圖像進(jìn)行編碼的位流輸入到視頻解碼裝置 200，并存儲(chǔ)在位流存儲(chǔ)器202中（步驟S201)。
[0146] 接著，參照視點(diǎn)運(yùn)動(dòng)信息輸入部203將參照視點(diǎn)具置信息輸入到視頻解碼裝置 200,深度圖輸入部204將深度圖輸入到視頻解碼裝置200,分別向運(yùn)動(dòng)信息生成部205輸出 (步驟 S202)。
[0147] 再有，在步驟S202中輸入的參照視點(diǎn)運(yùn)動(dòng)信息和深度圖與在編碼側(cè)使用的信息相 同。這是為了通過使用與在編碼時(shí)使用的信息完全相同的信息來抑制漂移等編碼噪聲的發(fā) 生。但是，在容許這樣的編碼噪聲的發(fā)生的情況下，也可以輸入與在編碼時(shí)使用的信息不同 的信息。
[0148] 關(guān)于深度圖，除了另外解碼的深度圖之外，有時(shí)也使用對針對多個(gè)攝像機(jī)所解碼 的多視點(diǎn)視頻應(yīng)用立體聲匹配等而估計(jì)的深度圖、或者使用解碼后的視差矢量或運(yùn)動(dòng)矢量 等而估計(jì)的深度圖等。
[0149] 關(guān)于參照視點(diǎn)運(yùn)動(dòng)信息，既可以使用在對針對參照視點(diǎn)的視頻進(jìn)行解碼時(shí)使用的 運(yùn)動(dòng)信息，也可以為針對參照視點(diǎn)另外編碼的運(yùn)動(dòng)信息。此外，還能夠使用對針對參照視點(diǎn) 的視頻進(jìn)行解碼而由此估計(jì)得到的運(yùn)動(dòng)信息。
[0150] 在位流、參照視點(diǎn)運(yùn)動(dòng)信息、深度圖的輸入結(jié)束之后，將解碼對象圖像分割為預(yù)定 大小的區(qū)域，按照分割的每個(gè)區(qū)域，從位流對解碼對象圖像的視頻信號進(jìn)行解碼(步驟S203 ~S207)〇
[0151] 即，當(dāng)以blk表示解碼對象區(qū)域索引、以numBlks表示1幀中的總解碼對象區(qū)域數(shù) 時(shí)，以〇初始化blk(步驟S203)，之后，一邊對blk加上1(步驟S206)，一邊重復(fù)以下的處理(步 驟 S204~S205)，直到 blk 變?yōu)?numBlks(步驟 S207)。
[0152] 在一般的解碼中，向稱為16像素 X 16像素的宏塊的處理單位塊進(jìn)行分割，但是，只 要與編碼側(cè)相同，則也可以分割為其他大小的塊。此外，也可以不以相同尺寸分割圖像全 體，而分割為按照每個(gè)區(qū)域不同的尺寸的塊。
[0153] 在按照每個(gè)解碼對象區(qū)域進(jìn)行重復(fù)的處理中，首先，運(yùn)動(dòng)信息生成部205生成解碼 對象區(qū)域blk中的運(yùn)動(dòng)信息(步驟S204)。關(guān)于此處的處理，除了編碼對象區(qū)域變?yōu)榻獯a對象 區(qū)域之外，與前述的步驟S104的處理相同。
[0154] 接著，在得到了針對解碼對象區(qū)域blk的運(yùn)動(dòng)信息之后，圖像解碼部206-邊使用 該運(yùn)動(dòng)信息和存儲(chǔ)在參照圖像存儲(chǔ)器207中的圖像來進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測，一邊從位流對解 碼對象區(qū)域blk中的視頻信號(像素值)進(jìn)行解碼(步驟S205)。所得到的解碼對象圖像存儲(chǔ) 在參照圖像存儲(chǔ)器207中，并且成為視頻解碼裝置200的輸出。
[0155] 在視頻信號的解碼中，使用與在編碼時(shí)使用的方法對應(yīng)的方法。
[0156] 例如，在使用MPEG-2或H. 264/AVC等一般的編碼的情況下，對位流按順序施行熵解 碼、逆2值化、逆量化、IDCT等頻率逆變換，對所得到的二維信號附加預(yù)測圖像，最后在像素 值的值域中進(jìn)行削波，由此，對視頻信號進(jìn)行解碼。
[0157] 在前述的說明中，按照分割了編碼對象圖像或者解碼對象圖像的每個(gè)區(qū)域進(jìn)行了 運(yùn)動(dòng)信息的生成，但是，也可以事前針對全部的區(qū)域分別生成并存儲(chǔ)運(yùn)動(dòng)信息，而參照按照 每個(gè)區(qū)域所存儲(chǔ)的運(yùn)動(dòng)信息。
[0158] 此外，雖然作為對圖像全體進(jìn)行編碼/解碼的處理來書寫，但是，也能夠應(yīng)用于圖 像的僅一部分。
[0159] 在該情況下，判斷是否應(yīng)用處理，既可以對示出其的旗標(biāo)(flag)進(jìn)行編碼/解碼， 也可以用某些其他的單元指定其。例如，可以表現(xiàn)是否應(yīng)用處理來作為示出生成按照每個(gè) 區(qū)域的預(yù)測圖像的手法的模式的一種。
[0160] 此外，在前述的說明中，總是生成變換矩陣。然而，只要編碼對象視點(diǎn)或者解碼對 象視點(diǎn)與參照視點(diǎn)的位置關(guān)系、深度的定義（即，與各深度對應(yīng)的三維平面)不變化，則變換 矩陣不變化，因此，也可以預(yù)先求取變換矩陣的集合，在該情況下，不需要按照每個(gè)幀或每 個(gè)區(qū)域重新計(jì)算變換矩陣。
[0161] 即，每當(dāng)編碼對象圖像或者解碼對象圖像改變時(shí)，可以將通過另外提供的攝像機(jī) 參數(shù)所表示的編碼對象視點(diǎn)或者解碼對象視點(diǎn)與參照視點(diǎn)的位置關(guān)系、和通過稍前的幀中 的攝像機(jī)參數(shù)所表示的編碼對象視點(diǎn)或者解碼對象視點(diǎn)與參照視點(diǎn)的位置關(guān)系進(jìn)行比較， 在沒有位置關(guān)系的變化或者變化小時(shí)，直接使用在稍前的幀中使用的變換矩陣的集合，僅 在這以外的情況下，求取變換矩陣的集合。
[0162] 再有，在求取變換矩陣的集合時(shí)，可以不是重新求取全部的變換矩陣，而是辨識(shí)針 對位置關(guān)系與稍前的幀不同的參照視點(diǎn)的變換矩陣和針對定義變化的深度的變換矩陣，僅 針對它們重新求取。
[0163] 再有，可以僅在編碼側(cè)檢查是否需要變換矩陣的再計(jì)算，將其結(jié)果編碼并傳送。在 該情況下，在解碼側(cè)，可以基于傳送來的信息而決定是否再計(jì)算變換矩陣。
[0164] 示出是否需要再計(jì)算的信息既可以針對幀全體僅設(shè)定一個(gè)，也可以按照每個(gè)參照 視點(diǎn)進(jìn)行設(shè)定，還可以按照每個(gè)深度進(jìn)行設(shè)定。
[0165] 進(jìn)而，在前述的說明中，按照代表深度的每個(gè)深度值生成變換矩陣，但是，也可以 按照另外規(guī)定的深度值的每個(gè)范圍將一個(gè)深度值設(shè)定為量化深度，按照每個(gè)其量化深度值 來設(shè)定變換矩陣。代表深度能取深度的值域的任意的深度值，因此，有時(shí)需要針對全部的深 度值的變換矩陣，但是，通過像這樣做，從而能夠?qū)⑿枰儞Q矩陣的深度值限制為僅與量化 深度相同的深度值。再有，在求取了代表深度之后求取變換矩陣時(shí)，從包括該代表深度的深 度值的分區(qū)求取量化深度，使用該量化深度來求取變換矩陣。特別地，在針對深度的值域全 體設(shè)定一個(gè)量化深度的情況下，變換矩陣針對參照視點(diǎn)是唯一的。
[0166] 再有，只要是與解碼側(cè)相同的方法，則設(shè)定量化深度的深度值的范圍、針對各范圍 中的量化深度的深度值怎樣設(shè)定都可以。例如，可以依照深度圖中的深度的分布來決定。此 時(shí)，可以調(diào)查與深度圖對應(yīng)的視頻的運(yùn)動(dòng)，僅將針對存在一定以上的運(yùn)動(dòng)的區(qū)域的深度作 為對象來作為調(diào)查深度值的分布的對象。通過像這樣做，從而在運(yùn)動(dòng)大的情況下，也能夠在 視點(diǎn)間共享運(yùn)動(dòng)信息，能夠削減更多的碼量。
[0167] 此外，在用不能在解碼側(cè)設(shè)定的方法來決定量化深度的情況下，可以在編碼側(cè)，將 所決定的量化方法(用于決定與各量化深度對應(yīng)的深度值的范圍和量化深度的深度值等的 方法)編碼并傳送，在解碼側(cè)，從經(jīng)編碼的位流來解碼而得到量化方法。再有，特別地，在針 對全體設(shè)定一個(gè)量化深度的情況下等，也可以代替量化方法而對量化深度的值進(jìn)行編碼或 者解碼。
[0168] 此外，在前述的說明中，使用攝像機(jī)參數(shù)等也在解碼側(cè)生成變換矩陣，但是，也可 以將在編碼側(cè)所計(jì)算而得到的變換矩陣編碼并傳送。在該情況下，在解碼側(cè)，不從攝像機(jī)參 數(shù)等生成變換矩陣，而通過從編碼位流解碼來獲得。
[0169] 進(jìn)而，在前述的說明中，雖然總是使用變換矩陣，但是，也可以檢查攝像機(jī)參數(shù)，如 果視點(diǎn)間平行，則生成(輸入輸出間的變換用的）查找表，依照該查找表來進(jìn)行深度和視差 矢量的變換，如果視點(diǎn)間不平行，則使用本申請發(fā)明的手法。
[0170] 此外，也可以僅在編碼側(cè)進(jìn)行檢查并對示出使用哪種手法的信息進(jìn)行編碼。在該 情況下，在解碼側(cè)對該信息進(jìn)行解碼來決定使用哪種手法。
[0171]此外，在前述的說明中，使用單應(yīng)矩陣作為變換矩陣，但是，只要能夠?qū)⒕幋a對象 圖像或者解碼對象圖像的像素位置向參照視點(diǎn)中的對應(yīng)像素位置進(jìn)行變換，則也可以使用 其他的矩陣。例如，可以不使用嚴(yán)密的單應(yīng)矩陣而使用使其簡略化后的矩陣。此外，也可以 使用仿射變換矩陣或投影矩陣、組合多個(gè)變換矩陣而生成的矩陣等。
[0172] 通過使用其他的變換矩陣，從而能夠適當(dāng)控制變換的精度、運(yùn)算量、變換矩陣的更 新頻度、傳送變換矩陣的情況下的碼量等。再有，為了防止編碼噪聲的發(fā)生，在編碼時(shí)和解 碼時(shí)使用相同的變換矩陣。
[0173] 圖6是示出利用計(jì)算機(jī)和軟件程序構(gòu)成圖1所示的視頻編碼裝置100的情況下的硬 件結(jié)構(gòu)的框圖。
[0174] 圖6所示的系統(tǒng)為通過總線連接如下部分的結(jié)構(gòu)： ?執(zhí)行程序的CPU50 ?儲(chǔ)存CPU50訪問的程序、數(shù)據(jù)的RAM等存儲(chǔ)器51 ?將來自攝像機(jī)等的編碼對象的視頻信號輸入到視頻編碼裝置內(nèi)的編碼對象圖像輸入 部52(也可以為利用磁盤裝置等的、存儲(chǔ)視頻信號的存儲(chǔ)部） ?從存儲(chǔ)器等將參照視點(diǎn)的運(yùn)動(dòng)信息輸入到視頻編碼裝置內(nèi)的參照視點(diǎn)運(yùn)動(dòng)信息輸入 部53(也可以為利用磁盤裝置等的、存儲(chǔ)運(yùn)動(dòng)信息的存儲(chǔ)部） ?將來自（用于取得深度信息的）深度攝像機(jī)等的、針對對編碼對象圖像進(jìn)行拍攝的視 點(diǎn)的深度圖輸入到視頻編碼裝置內(nèi)的深度圖輸入部54(也可以為利用磁盤裝置等的、存儲(chǔ) 深度圖的存儲(chǔ)部） ?儲(chǔ)存作為使CPU50執(zhí)行視頻像編碼處理的軟件程序的視頻編碼程序551的程序存儲(chǔ)裝 置55 ?將CPU50通過執(zhí)行加載到存儲(chǔ)器51的視頻編碼程序551而生成的位流經(jīng)由例如網(wǎng)絡(luò)進(jìn) 行輸出的位流輸出部56(也可以為利用磁盤裝置等的、存儲(chǔ)位流的存儲(chǔ)部）。
[0175] 圖7是示出利用計(jì)算機(jī)和軟件程序構(gòu)成圖4所示的視頻解碼裝置200的情況下的硬 件結(jié)構(gòu)的框圖。
[0176] 圖7所示的系統(tǒng)為通過總線連接如下部分的結(jié)構(gòu)： ?執(zhí)行程序的CPU60 ?儲(chǔ)存CPU60訪問的程序、數(shù)據(jù)的RAM等存儲(chǔ)器61 ?將視頻編碼裝置利用本手法而編碼的位流輸入到視頻解碼裝置內(nèi)的位流輸入部62 (也可以為利用磁盤裝置等的、存儲(chǔ)位流的存儲(chǔ)部） ?將來自存儲(chǔ)器等的參照視點(diǎn)的運(yùn)動(dòng)信息輸入到視頻解碼裝置內(nèi)的參照視點(diǎn)運(yùn)動(dòng)信息 輸入部63(也可以為利用磁盤裝置等的、存儲(chǔ)運(yùn)動(dòng)信息的存儲(chǔ)部） ?將來自深度攝像機(jī)等的、針對對解碼對象進(jìn)行拍攝的視點(diǎn)的深度圖輸入到視頻解碼 裝置內(nèi)的深度圖輸入部64(也可以為利用磁盤裝置等的、存儲(chǔ)深度信息的存儲(chǔ)部） ?儲(chǔ)存作為使CPU60執(zhí)行視頻解碼處理的軟件程序的視頻解碼程序651的程序存儲(chǔ)裝置 65 ?將CPU60通過執(zhí)行加載到存儲(chǔ)器61的視頻解碼程序651來對位流進(jìn)行解碼而得到的解 碼對象圖像輸出到再現(xiàn)裝置等的解碼對象圖像輸出部66(也可以為利用磁盤裝置等的、存 儲(chǔ)視頻信號的存儲(chǔ)部）。
[0177] 可以通過計(jì)算機(jī)來實(shí)現(xiàn)前述的實(shí)施方式中的視頻編碼裝置100和視頻解碼裝置 200。在該情況下，將用于實(shí)現(xiàn)該功能的程序記錄在計(jì)算機(jī)可讀取的記錄介質(zhì)中，將記錄在 該記錄介質(zhì)中的程序讀入到計(jì)算機(jī)系統(tǒng)來執(zhí)行，由此實(shí)現(xiàn)。
[0178] 再有，此處所說的"計(jì)算機(jī)系統(tǒng)"包括0S、周圍設(shè)備等硬件。
[0179] 此外，"計(jì)算機(jī)可讀取的記錄介質(zhì)"是指軟盤、磁光盤、R0M、CD-R0M等可移動(dòng)介質(zhì)、 內(nèi)置于計(jì)算機(jī)系統(tǒng)的硬盤等存儲(chǔ)裝置。
[0180] 進(jìn)而，"計(jì)算機(jī)可讀取的記錄介質(zhì)"還可以包括如經(jīng)由因特網(wǎng)等網(wǎng)絡(luò)或電話線路等 通信線路來發(fā)送程序的情況下的通信線那樣在短時(shí)間期間動(dòng)態(tài)地保持程序的記錄介質(zhì)、如 成為該情況下的服務(wù)器或客戶端的計(jì)算機(jī)系統(tǒng)內(nèi)部的易失性存儲(chǔ)器(RAM)那樣保持程序一 定時(shí)間的記錄介質(zhì)。
[0181] 此外，上述程序既可以為用于實(shí)現(xiàn)前述的功能的一部分的程序，進(jìn)而也可以為能 夠通過與已經(jīng)記錄在計(jì)算機(jī)系統(tǒng)中的程序的組合來實(shí)現(xiàn)前述的功能的程序，還可以為使用 PLD(Programmable Logic Device，可編程邏輯器件）、FPGA(Field Programmable Gate Array，現(xiàn)場可編程門陣列)等硬件來實(shí)現(xiàn)的程序。
[0182] 以上，參照【附圖說明】了本發(fā)明的實(shí)施方式，但是，上述實(shí)施方式只不過是本發(fā)明的 例示，本發(fā)明不限定于上述實(shí)施方式是顯而易見的。因而，可以在不脫離本發(fā)明的技術(shù)思想 和范圍的范圍內(nèi)進(jìn)行構(gòu)成要素的追加、省略、置換、其他的變更。
[0183] 產(chǎn)業(yè)上的可利用性 能夠應(yīng)用于如下情況是不可缺少的用途:在對使用針對多個(gè)視點(diǎn)的視頻和針對該視頻 的深度圖所表現(xiàn)的自由視點(diǎn)視頻數(shù)據(jù)進(jìn)行編碼或者解碼時(shí)，即使在各視點(diǎn)的方向不平行的 情況下，也能夠保持抑制運(yùn)算量而通過實(shí)現(xiàn)高精度的視點(diǎn)間的運(yùn)動(dòng)信息預(yù)測來達(dá)成高的編 碼效率。
[0184] 附圖標(biāo)記的說明 100…視頻編碼裝置 10 l···編碼對象圖像輸入部 102…編碼對象圖像存儲(chǔ)器 103…參照視點(diǎn)運(yùn)動(dòng)信息輸入部 104···深度圖輸入部 105…運(yùn)動(dòng)信息生成部 106…圖像編碼部 107…圖像解碼部 108…參照圖像存儲(chǔ)器 200…視頻解碼裝置 201…位流輸入部 202…位流存儲(chǔ)器 203…參照視點(diǎn)運(yùn)動(dòng)信息輸入部 204…深度圖輸入部 205…運(yùn)動(dòng)信息生成部 206…圖像解碼部 207…參照圖像存儲(chǔ)器。
【主權(quán)項(xiàng)】
1. 一種視頻編碼裝置，在對作為由多個(gè)不同的視點(diǎn)的視頻構(gòu)成的多視點(diǎn)視頻的1幀的 編碼對象圖像進(jìn)行編碼時(shí)，按照作為分割了所述編碼對象圖像的區(qū)域的每個(gè)編碼對象區(qū)域 一邊在不同的視點(diǎn)間進(jìn)行預(yù)測一邊進(jìn)行編碼，所述視頻編碼裝置的特征在于，具有： 代表深度設(shè)定單元，從針對所述多視點(diǎn)視頻中的被攝體的深度圖設(shè)定代表深度； 變換矩陣設(shè)定單元，基于所述代表深度來設(shè)定將所述編碼對象圖像上的位置向與該編 碼對象圖像不同的針對參照視點(diǎn)的參照視點(diǎn)圖像上的位置進(jìn)行變換的變換矩陣； 代表位置設(shè)定單元，從所述編碼對象區(qū)域內(nèi)的位置設(shè)定代表位置； 對應(yīng)位置設(shè)定單元，使用所述代表位置和所述變換矩陣來設(shè)定針對所述代表位置的所 述參照視點(diǎn)圖像上的對應(yīng)位置； 運(yùn)動(dòng)信息生成單元，基于所述對應(yīng)位置根據(jù)作為所述參照視點(diǎn)圖像的運(yùn)動(dòng)信息的參照 視點(diǎn)運(yùn)動(dòng)信息來生成所述編碼對象區(qū)域中的合成運(yùn)動(dòng)信息；以及 預(yù)測圖像生成單元，使用所述合成運(yùn)動(dòng)信息來生成針對所述編碼對象區(qū)域的預(yù)測圖 像。2. 根據(jù)權(quán)利要求1所述的視頻編碼裝置，其特征在于，還具有深度區(qū)域設(shè)定單元，其針 對所述編碼對象區(qū)域設(shè)定作為所述深度圖上的對應(yīng)區(qū)域的深度區(qū)域， 所述代表深度設(shè)定單元從針對所述深度區(qū)域的所述深度圖設(shè)定代表深度。3. 根據(jù)權(quán)利要求2所述的視頻編碼裝置，其特征在于，還具有深度參照視差矢量設(shè)定單 元，其針對所述編碼對象區(qū)域設(shè)定作為針對所述深度圖的視差矢量的深度參照視差矢量， 所述深度區(qū)域設(shè)定單元將由所述深度參照視差矢量所示的區(qū)域設(shè)定為所述深度區(qū)域。4. 根據(jù)權(quán)利要求3所述的視頻編碼裝置，其特征在于，所述深度參照視差矢量設(shè)定單元 使用在對與所述編碼對象區(qū)域鄰接的區(qū)域進(jìn)行編碼時(shí)使用的視差矢量來設(shè)定所述深度參 照視差矢量。5. 根據(jù)權(quán)利要求2所述的視頻編碼裝置，其特征在于，所述代表深度設(shè)定單元將具有四 角形狀的所述編碼對象區(qū)域的4個(gè)頂點(diǎn)的像素所對應(yīng)的所述深度區(qū)域內(nèi)的深度之中的、示 出最靠近攝像機(jī)的深度設(shè)定為代表深度。6. 根據(jù)權(quán)利要求1所述的視頻編碼裝置，其特征在于，還具有合成運(yùn)動(dòng)信息變換單元， 其使用所述變換矩陣來變換所述合成運(yùn)動(dòng)信息， 所述預(yù)測圖像生成單元使用所述變換后的合成運(yùn)動(dòng)信息。7. 根據(jù)權(quán)利要求1所述的視頻編碼裝置，其特征在于，還具有： 過去深度設(shè)定單元，基于所述對應(yīng)位置和所述合成運(yùn)動(dòng)信息來從所述深度圖設(shè)定過去 深度； 逆變換矩陣設(shè)定單元，基于所述過去深度來設(shè)定將所述參照視點(diǎn)圖像上的位置向所述 編碼對象圖像上的位置進(jìn)行變換的逆變換矩陣；以及 合成運(yùn)動(dòng)信息變換單元，使用所述逆變換矩陣來變換所述合成運(yùn)動(dòng)信息， 所述預(yù)測圖像生成單元使用所述變換后的合成運(yùn)動(dòng)信息。8. -種視頻解碼裝置，在從由多個(gè)不同的視點(diǎn)的視頻構(gòu)成的多視點(diǎn)活動(dòng)圖像的碼數(shù)據(jù) 對解碼對象圖像進(jìn)行解碼時(shí)，按照作為分割了所述解碼對象圖像的區(qū)域的每個(gè)解碼對象區(qū) 域一邊在不同的視點(diǎn)間進(jìn)行預(yù)測一邊進(jìn)行解碼，所述視頻解碼裝置的特征在于，具有： 代表深度設(shè)定單元，從針對所述多視點(diǎn)視頻中的被攝體的深度圖設(shè)定代表深度； 變換矩陣設(shè)定單元，基于所述代表深度來設(shè)定將所述解碼對象圖像上的位置向與該解 碼對象圖像不同的針對參照視點(diǎn)的參照圖像上的位置進(jìn)行變換的變換矩陣； 代表位置設(shè)定單元，從所述解碼對象區(qū)域內(nèi)的位置設(shè)定代表位置； 對應(yīng)位置設(shè)定單元，使用所述代表位置和所述變換矩陣來設(shè)定針對所述代表位置的所 述參照視點(diǎn)圖像上的對應(yīng)位置； 運(yùn)動(dòng)信息生成單元，基于所述對應(yīng)位置根據(jù)作為所述參照視點(diǎn)圖像的運(yùn)動(dòng)信息的參照 視點(diǎn)運(yùn)動(dòng)信息來生成所述解碼對象區(qū)域中的合成運(yùn)動(dòng)信息；以及 預(yù)測圖像生成單元，使用所述合成運(yùn)動(dòng)信息來生成針對所述解碼對象區(qū)域的預(yù)測圖 像。9. 根據(jù)權(quán)利要求8所述的視頻解碼裝置，其特征在于，還具有深度區(qū)域設(shè)定單元，其針 對所述解碼對象區(qū)域設(shè)定作為所述深度圖上的對應(yīng)區(qū)域的深度區(qū)域， 所述代表深度設(shè)定單元從針對所述深度區(qū)域的所述深度圖設(shè)定代表深度。10. 根據(jù)權(quán)利要求9所述的視頻解碼裝置，其特征在于，還具有深度參照視差矢量設(shè)定 單元，其針對所述解碼對象區(qū)域設(shè)定作為針對所述深度圖的視差矢量的深度參照視差矢 量， 所述深度區(qū)域設(shè)定單元將由所述深度參照視差矢量所示的區(qū)域設(shè)定為所述深度區(qū)域。11. 根據(jù)權(quán)利要求10所述的視頻解碼裝置，其特征在于，所述深度參照視差矢量設(shè)定單 元使用在對與所述解碼對象區(qū)域鄰接的區(qū)域進(jìn)行解碼時(shí)使用的視差矢量來設(shè)定所述深度 參照視差矢量。12. 根據(jù)權(quán)利要求9所述的視頻解碼裝置，其特征在于，所述代表深度設(shè)定單元將具有 四角形狀的所述解碼對象區(qū)域的4個(gè)頂點(diǎn)的像素所對應(yīng)的所述深度區(qū)域內(nèi)的深度之中的、 示出最靠近攝像機(jī)的深度設(shè)定為代表深度。13. 根據(jù)權(quán)利要求8所述的視頻解碼裝置，其特征在于，還具有合成運(yùn)動(dòng)信息變換單元， 其使用所述變換矩陣來變換所述合成運(yùn)動(dòng)信息， 所述預(yù)測圖像生成單元使用所述變換后的合成運(yùn)動(dòng)信息。14. 根據(jù)權(quán)利要求8所述的視頻解碼裝置，其特征在于，還具有： 過去深度設(shè)定單元，基于所述對應(yīng)位置和所述合成運(yùn)動(dòng)信息來從所述深度圖設(shè)定過去 深度； 逆變換矩陣設(shè)定單元，基于所述過去深度來設(shè)定將所述參照視點(diǎn)圖像上的位置向所述 解碼對象圖像上的位置進(jìn)行變換的逆變換矩陣；以及 合成運(yùn)動(dòng)信息變換單元，使用所述逆變換矩陣來變換所述合成運(yùn)動(dòng)信息， 所述預(yù)測圖像生成單元使用所述變換后的合成運(yùn)動(dòng)信息。15. -種視頻編碼方法，在對作為由多個(gè)不同的視點(diǎn)的視頻構(gòu)成的多視點(diǎn)視頻的1幀的 編碼對象圖像進(jìn)行編碼時(shí)，按照作為分割了所述編碼對象圖像的區(qū)域的每個(gè)編碼對象區(qū)域 一邊在不同的視點(diǎn)間進(jìn)行預(yù)測一邊進(jìn)行編碼，所述視頻編碼方法的特征在于，具有： 代表深度設(shè)定步驟，從針對所述多視點(diǎn)視頻中的被攝體的深度圖設(shè)定代表深度； 變換矩陣設(shè)定步驟，基于所述代表深度來設(shè)定將所述編碼對象圖像上的位置向與該編 碼對象圖像不同的針對參照視點(diǎn)的參照視點(diǎn)圖像上的位置進(jìn)行變換的變換矩陣； 代表位置設(shè)定步驟，從所述編碼對象區(qū)域內(nèi)的位置設(shè)定代表位置； 對應(yīng)位置設(shè)定步驟，使用所述代表位置和所述變換矩陣來設(shè)定針對所述代表位置的所 述參照視點(diǎn)圖像上的對應(yīng)位置； 運(yùn)動(dòng)信息生成步驟，基于所述對應(yīng)位置根據(jù)作為所述參照視點(diǎn)圖像的運(yùn)動(dòng)信息的參照 視點(diǎn)運(yùn)動(dòng)信息來生成所述編碼對象區(qū)域中的合成運(yùn)動(dòng)信息；以及 預(yù)測圖像生成步驟，使用所述合成運(yùn)動(dòng)信息來生成針對所述編碼對象區(qū)域的預(yù)測圖 像。16. -種視頻解碼方法，在從由多個(gè)不同的視點(diǎn)的視頻構(gòu)成的多視點(diǎn)活動(dòng)圖像的碼數(shù) 據(jù)對解碼對象圖像進(jìn)行解碼時(shí)，按照作為分割了所述解碼對象圖像的區(qū)域的每個(gè)解碼對象 區(qū)域一邊在不同的視點(diǎn)間進(jìn)行預(yù)測一邊進(jìn)行解碼，所述視頻解碼方法的特征在于，具有： 代表深度設(shè)定步驟，從針對所述多視點(diǎn)視頻中的被攝體的深度圖設(shè)定代表深度； 變換矩陣設(shè)定步驟，基于所述代表深度來設(shè)定將所述解碼對象圖像上的位置向與該解 碼對象圖像不同的針對參照視點(diǎn)的參照圖像上的位置進(jìn)行變換的變換矩陣； 代表位置設(shè)定步驟，從所述解碼對象區(qū)域內(nèi)的位置設(shè)定代表位置； 對應(yīng)位置設(shè)定步驟，使用所述代表位置和所述變換矩陣來設(shè)定針對所述代表位置的所 述參照視點(diǎn)圖像上的對應(yīng)位置； 運(yùn)動(dòng)信息生成步驟，基于所述對應(yīng)位置根據(jù)作為所述參照視點(diǎn)圖像的運(yùn)動(dòng)信息的參照 視點(diǎn)運(yùn)動(dòng)信息來生成所述解碼對象區(qū)域中的合成運(yùn)動(dòng)信息；以及 預(yù)測圖像生成步驟，使用所述合成運(yùn)動(dòng)信息來生成針對所述解碼對象區(qū)域的預(yù)測圖 像。17. -種視頻編碼程序，其中，用于使計(jì)算機(jī)執(zhí)行權(quán)利要求1所述的視頻編碼方法。18. -種視頻解碼程序，其中，用于使計(jì)算機(jī)執(zhí)行權(quán)利要求8所述的視頻解碼方法。
【文檔編號】H04N13/00GK105934949SQ201480065693
【公開日】2016年9月7日
【申請日】2014年12月3日
【發(fā)明人】志水信哉, 杉本志織, 小島明
【申請人】日本電信電話株式會(huì)社