運(yùn)動(dòng)向量推斷方法、多視點(diǎn)視頻編碼方法、多視點(diǎn)視頻解碼方法、運(yùn)動(dòng)向量推斷裝置、多視 ...的制作方法
【專利摘要】在不能得到處理圖像的狀況下，也高精度地推斷運(yùn)動(dòng)向量并同時(shí)在視頻信號(hào)預(yù)測(cè)中利用相機(jī)間相關(guān)及時(shí)間相關(guān)，實(shí)現(xiàn)有效率的多視點(diǎn)視頻編碼。根據(jù)多視點(diǎn)視頻中包含的與拍攝處理圖像的處理相機(jī)不同的相機(jī)拍攝的參考相機(jī)視頻，按照與處理相機(jī)相同的設(shè)定，生成拍攝處理圖像的時(shí)刻的視點(diǎn)合成圖像。不用處理圖像，而用相當(dāng)于處理圖像上的處理區(qū)域的視點(diǎn)合成圖像上的圖像信號(hào)，搜索由處理相機(jī)拍攝的參考圖像中的對(duì)應(yīng)區(qū)域，從而推斷運(yùn)動(dòng)向量。
【專利說(shuō)明】運(yùn)動(dòng)向量推斷方法、多視點(diǎn)視頻編碼方法、多視點(diǎn)視頻解碼方法、運(yùn)動(dòng)向量推斷裝置、多視點(diǎn)視頻編碼裝置、多視點(diǎn)視頻解碼裝置、運(yùn)動(dòng)向量推斷程序、多視點(diǎn)視頻編碼程序及多視點(diǎn)視頻解碼程序
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及運(yùn)動(dòng)向量推斷方法、多視點(diǎn)視頻編碼方法、多視點(diǎn)視頻解碼方法、運(yùn)動(dòng)向量推斷裝置、多視點(diǎn)視頻編碼裝置、多視點(diǎn)視頻解碼裝置、運(yùn)動(dòng)向量推斷程序、多視點(diǎn)視頻編碼程序及多視點(diǎn)視頻解碼程序。
[0002]本申請(qǐng)對(duì)2010年2月23日向日本申請(qǐng)的日本特愿2010 — 037434號(hào)主張優(yōu)先權(quán)，并在此援引其內(nèi)容。
【背景技術(shù)】
[0003]多視點(diǎn)動(dòng)態(tài)圖像(多視點(diǎn)視頻)是指用多個(gè)相機(jī)拍攝同一景物(被寫體)和背景而獲得的動(dòng)態(tài)圖像群。在一般的動(dòng)態(tài)圖像編碼中，采用利用了動(dòng)態(tài)圖像不同的時(shí)間的幀間存在的較高的相關(guān)的、運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，實(shí)現(xiàn)有效率的編碼。運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)是H.264中所代表的近年動(dòng)態(tài)圖像編碼方式的國(guó)際標(biāo)準(zhǔn)規(guī)格所采用的方法。即，運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)是這樣的方法:在編碼對(duì)象幀和已經(jīng)編碼完畢的參考幀之間對(duì)景物的運(yùn)動(dòng)進(jìn)行補(bǔ)償而生成圖像，在該生成的圖像和編碼對(duì)象幀之間取得幀間差分，僅對(duì)其差分信號(hào)進(jìn)行編碼。
[0004]在多視點(diǎn)動(dòng)態(tài)圖像編碼中，不僅在不同的時(shí)間的幀間存在高的相關(guān)，而且在不同的視點(diǎn)的幀間也存在高的相關(guān)。因此，采用的是在不補(bǔ)償運(yùn)動(dòng)而補(bǔ)償視點(diǎn)間的視差而生成的圖像(幀)和編碼對(duì)象幀之間取得幀間差分，僅對(duì)差分信號(hào)進(jìn)行編碼的稱為視差補(bǔ)償預(yù)測(cè)的方法。視差補(bǔ)償預(yù)測(cè)作為H.264 Annex.H而被采用于國(guó)際標(biāo)準(zhǔn)規(guī)格(H.264的詳細(xì)內(nèi)容，例如，參考非專利文獻(xiàn)I)。
[0005]這里所采用的視差是指在以不同的位置配置的相機(jī)的圖像平面上，景物所投影的位置之差。在視差補(bǔ)償預(yù)測(cè)中，以二維向量體現(xiàn)它并進(jìn)行編碼。如圖20所示，由于視差是依賴于相機(jī)和景物的從相機(jī)起的位置(深度)而產(chǎn)生的信息，所以存在利用該原理的稱為視點(diǎn)合成預(yù)測(cè)(視點(diǎn)插值預(yù)測(cè))的方式。
[0006]視點(diǎn)合成預(yù)測(cè)(視點(diǎn)插值預(yù)測(cè))是這樣的方式:根據(jù)相機(jī)、景物的三維的位置關(guān)系，利用已經(jīng)結(jié)束處理而得到解碼結(jié)果的多視點(diǎn)視頻的一部分，將合成(插值)針對(duì)進(jìn)行編碼或解碼處理的別的視點(diǎn)的幀而得到的圖像，用作為預(yù)測(cè)圖像(例如，參考非專利文獻(xiàn)2)。
[0007]為了體現(xiàn)景物的三維的位置，往往采用按每個(gè)像素體現(xiàn)從相機(jī)到景物為止的距離(深度)的深度圖(map)(有距離圖像、視差圖像、稱為視差圖(disparity map)的部分)。除了深度圖以外，能夠采用景物的多邊形(polygon)信息或景物空間的體單元(voxel)信息。
[0008]再者，取得深度圖的方法可以大致分為:利用紅外線脈沖等來(lái)進(jìn)行測(cè)定，從而生成深度圖的方法；以及基于相同的景物被照到多視點(diǎn)視頻上這一點(diǎn)利用三角測(cè)量的原理推斷深度，在此基礎(chǔ)上生成深度圖的方法。使用以哪種方法得到的深度圖，在視點(diǎn)合成預(yù)測(cè)中并不是大的問(wèn)題。此外，只要能得到深度圖，在哪里推斷也不是大的問(wèn)題。[0009]但是，在進(jìn)行預(yù)測(cè)編碼的情況下，一般而言，在編碼側(cè)采用的深度圖和解碼側(cè)采用的深度圖不一致的情況下，會(huì)產(chǎn)生稱為漂移(drift)的編碼失真。因此，采用將在編碼側(cè)采用的深度圖向解碼側(cè)傳送或在編碼側(cè)和解碼側(cè)采用完全相同的數(shù)據(jù)和手法推斷深度圖的方法。
[0010]非專利文獻(xiàn)
非專利文獻(xiàn) 1:Rec.1TU — TH.264 “Advanced video coding for genericaudiovisual services, ” March 2009 ；
非專利文獻(xiàn) 2:S.Shimizu, M.Kitahara, H.Kimata, K.Kamikura, and Y.Yashima, “View Scalable Multiview Video Coding Using 3 — D Warping with DepthMap, ” IEEE Transactions on Circuits and System for Video Technology, Vol.17,N0.11, pp.1485 — 1495, November, 2007。

【發(fā)明內(nèi)容】

[0011]在上述現(xiàn)有技術(shù)中，通過(guò)利用視差補(bǔ)償預(yù)測(cè)、視點(diǎn)合成預(yù)測(cè)，能夠消除相機(jī)間的視頻信號(hào)的冗長(zhǎng)性。因此，與獨(dú)立對(duì)各相機(jī)拍攝的視頻進(jìn)行編碼的情況相比，能夠高效率地對(duì)多視點(diǎn)視頻進(jìn)行壓縮編碼。
[0012]但是，在多視點(diǎn)視頻中，同時(shí)存在相機(jī)間相關(guān)和時(shí)間相關(guān)這兩方面。因此，在僅用視差補(bǔ)償預(yù)測(cè)、視點(diǎn)合成預(yù)測(cè)的情況下，利用時(shí)間相關(guān)無(wú)法消除時(shí)間上的冗長(zhǎng)性，所以無(wú)法實(shí)現(xiàn)有效率的編碼。
[0013]在非專利文獻(xiàn)I中，按每個(gè)塊導(dǎo)入運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)和視差補(bǔ)償預(yù)測(cè)的適應(yīng)選擇，從而能夠利用相機(jī)間相關(guān)和時(shí)間相關(guān)這兩方面。通過(guò)采用該方法，與只使用哪一個(gè)相關(guān)的情況相比能夠?qū)崿F(xiàn)有效率的編碼。
[0014]但是，按每個(gè)塊選擇哪一方的情況下，通過(guò)利用每個(gè)塊表示更加強(qiáng)的相關(guān)的相關(guān)，僅僅削減更多的冗長(zhǎng)性，并不能連相機(jī)間以及不同的時(shí)刻拍攝的幀間同時(shí)存在的冗長(zhǎng)性也削減。
[0015]作為針對(duì)該課題的解決對(duì)策，能夠容易類推出這樣的方法:即，利用預(yù)測(cè)圖像和預(yù)測(cè)視頻的加權(quán)平均的方法，其中預(yù)測(cè)圖像是通過(guò)利用了運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)等的時(shí)間相關(guān)的手法來(lái)生成，而預(yù)測(cè)視頻是通過(guò)利用視差補(bǔ)償預(yù)測(cè)、視點(diǎn)合成預(yù)測(cè)等的相機(jī)間相關(guān)的手法來(lái)生成。通過(guò)采用這種方法，能得到一定程度上改善編碼效率的效果。
[0016]但是，利用加權(quán)平均生成預(yù)測(cè)圖像只不過(guò)是分配在時(shí)間相關(guān)和相機(jī)間相關(guān)之丨司利用其相關(guān)的比率。即，并不是同時(shí)和2個(gè)相關(guān)，只是如何靈活地進(jìn)行利用哪個(gè)相關(guān)，并不削減同時(shí)存在的冗長(zhǎng)性。
[0017]本發(fā)明考慮到這些情況而構(gòu)思，其目的在于提供一種在不能得到處理圖像的狀況下也能高精度地推斷運(yùn)動(dòng)向量并且通過(guò)在視頻信號(hào)預(yù)測(cè)中利用時(shí)間相關(guān)，從而同時(shí)利用2個(gè)相關(guān)能夠?qū)崿F(xiàn)有效率的多視點(diǎn)視頻編碼的運(yùn)動(dòng)向量推斷方法、多視點(diǎn)視頻編碼方法、多視點(diǎn)視頻解碼方法、運(yùn)動(dòng)向量推斷裝置、多視點(diǎn)視頻編碼裝置、多視點(diǎn)視頻解碼裝置、運(yùn)動(dòng)向量推斷程序、多視點(diǎn)視頻編碼程序及多視點(diǎn)視頻解碼程序。
[0018]為解決上述課題，本發(fā)明的第一觀點(diǎn)是一種運(yùn)動(dòng)向量推斷方法，其中包括:視點(diǎn)合成圖像生成步驟，根據(jù)多視點(diǎn)視頻中包含的與拍攝處理圖像的處理相機(jī)不同的相機(jī)拍攝的參考相機(jī)視頻，按照與所述處理相機(jī)相同的設(shè)定，生成拍攝所述處理圖像的時(shí)刻的視點(diǎn)合成圖像；以及對(duì)應(yīng)區(qū)域推斷步驟，不用所述處理圖像，而用相當(dāng)于所述處理圖像上的處理區(qū)域的所述視點(diǎn)合成圖像上的圖像信號(hào)，搜索由所述處理相機(jī)拍攝的參考圖像中的對(duì)應(yīng)區(qū)域，推斷運(yùn)動(dòng)向量。
[0019]在本發(fā)明的第一觀點(diǎn)中，也可以還包括可靠度設(shè)定步驟，對(duì)所述視點(diǎn)合成圖像的各像素，設(shè)定表示所述視點(diǎn)合成圖像的確實(shí)性的可靠度，在所述對(duì)應(yīng)區(qū)域推斷步驟中，基于所述可靠度對(duì)搜索所述對(duì)應(yīng)區(qū)域時(shí)的匹配成本進(jìn)行加權(quán)。
[0020]此外，為解決上述課題，本發(fā)明的第二觀點(diǎn)是一種進(jìn)行多視點(diǎn)視頻的預(yù)測(cè)編碼的多視點(diǎn)視頻編碼方法，其中包括:視點(diǎn)合成圖像生成步驟，根據(jù)在與所述多視點(diǎn)視頻的某個(gè)編碼對(duì)象視點(diǎn)不同的參考視點(diǎn)上，與編碼對(duì)象幀同時(shí)刻被拍攝的已經(jīng)編碼完畢的參考視點(diǎn)幀，生成所述編碼對(duì)象視點(diǎn)的視點(diǎn)合成圖像；運(yùn)動(dòng)向量推斷步驟，對(duì)所述視點(diǎn)合成圖像的各編碼單位塊，搜索所述編碼對(duì)象視點(diǎn)中已經(jīng)編碼完畢的參考幀上的對(duì)應(yīng)區(qū)域，從而推斷運(yùn)動(dòng)向量；運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像生成步驟，利用所述推斷的運(yùn)動(dòng)向量和所述參考幀，生成對(duì)于所述編碼對(duì)象幀的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像；以及殘差編碼步驟，對(duì)所述編碼對(duì)象幀和所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像的差分信號(hào)進(jìn)行編碼。
[0021]在本發(fā)明的第二觀點(diǎn)中，也可以還包括可靠度設(shè)定步驟，對(duì)所述視點(diǎn)合成圖像的各像素，設(shè)定表示所述視點(diǎn)合成圖像的確實(shí)性的可靠度，在所述運(yùn)動(dòng)向量推斷步驟中，基于所述可靠度對(duì)搜索所述對(duì)應(yīng)區(qū)域時(shí)的各像素的匹配成本進(jìn)行加權(quán)。
[0022]在本發(fā)明的第二觀點(diǎn)中，也可以還包括:運(yùn)動(dòng)搜索步驟，通過(guò)在與所述參考幀之間搜索對(duì)應(yīng)區(qū)域來(lái)對(duì)所述編碼對(duì)象幀的各編碼單位塊生成最佳的運(yùn)動(dòng)向量；以及差向量編碼步驟，對(duì)所述運(yùn)動(dòng)向量和所述最佳的運(yùn)動(dòng)向量的差向量進(jìn)行編碼，在所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像生成步驟中，利用所述最佳的運(yùn)動(dòng)向量和所述參考幀生成所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像。
[0023]在本發(fā)明的第二觀點(diǎn)中，也可以還包括預(yù)測(cè)向量生成步驟，利用所述運(yùn)動(dòng)向量和與編碼對(duì)象區(qū)域鄰接的區(qū)域中使用的最佳的運(yùn)動(dòng)向量群，生成預(yù)測(cè)向量，在所述差向量編碼步驟中，對(duì)所述預(yù)測(cè)向量和所述最佳的運(yùn)動(dòng)向量的差向量進(jìn)行編碼。
[0024]此外，為解決上述課題，本發(fā)明的第三觀點(diǎn)是一種多視點(diǎn)視頻解碼方法，對(duì)針對(duì)多視點(diǎn)視頻的某個(gè)視點(diǎn)的視頻的編碼數(shù)據(jù)進(jìn)行解碼，其中包括:視點(diǎn)合成圖像生成步驟，根據(jù)與解碼對(duì)象視點(diǎn)不同的參考視點(diǎn)上，與解碼對(duì)象幀同時(shí)刻被拍攝的參考視點(diǎn)幀，生成所述解碼對(duì)象視點(diǎn)的視點(diǎn)合成圖像；運(yùn)動(dòng)向量推斷步驟，通過(guò)搜索所述解碼對(duì)象視點(diǎn)中已經(jīng)解碼完畢的參考幀上的對(duì)應(yīng)區(qū)域，對(duì)所述視點(diǎn)合成圖像的各解碼單位塊推斷運(yùn)動(dòng)向量；運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像生成步驟，利用所述推斷的運(yùn)動(dòng)向量和所述參考幀，生成對(duì)于所述解碼對(duì)象幀的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像；以及圖像解碼步驟，將所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像用作為預(yù)測(cè)信號(hào)，從所述編碼數(shù)據(jù)對(duì)被預(yù)測(cè)編碼的所述解碼對(duì)象幀進(jìn)行解碼。
[0025]在本發(fā)明的第三觀點(diǎn)中，也可以還包括可靠度設(shè)定步驟，對(duì)所述視點(diǎn)合成圖像的各像素，設(shè)定表示所述視點(diǎn)合成圖像的確實(shí)性的可靠度，在所述運(yùn)動(dòng)向量推斷步驟中，基于所述可靠度對(duì)搜索所述對(duì)應(yīng)區(qū)域時(shí)的各像素的匹配成本進(jìn)行加權(quán)。
[0026]在本發(fā)明的第三觀點(diǎn)中，也可以還包括向量解碼步驟，將所述運(yùn)動(dòng)向量用作為預(yù)測(cè)向量，從所述編碼數(shù)據(jù)對(duì)被預(yù)測(cè)編碼的最佳的運(yùn)動(dòng)向量進(jìn)行解碼，在所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像生成步驟中，利用所述最佳的運(yùn)動(dòng)向量和所述參考幀生成所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像。[0027]在本發(fā)明的第三觀點(diǎn)中，也可以還包括預(yù)測(cè)向量生成步驟，利用所述運(yùn)動(dòng)向量和與解碼對(duì)象區(qū)域鄰接的區(qū)域中使用的最佳的運(yùn)動(dòng)向量群，生成推斷預(yù)測(cè)向量，在所述向量解碼步驟中，將所述推斷預(yù)測(cè)向量用作為所述預(yù)測(cè)向量，對(duì)所述最佳的運(yùn)動(dòng)向量進(jìn)行解碼。
[0028]此外，為解決上述課題，本發(fā)明的第四觀點(diǎn)是一種運(yùn)動(dòng)向量推斷裝置，其中包括:視點(diǎn)合成圖像生成單元，根據(jù)多視點(diǎn)視頻中包含的與拍攝處理圖像的處理相機(jī)不同的相機(jī)拍攝的參考相機(jī)視頻，按照與所述處理相機(jī)相同的設(shè)定，生成拍攝所述處理圖像的時(shí)刻的視點(diǎn)合成圖像；以及對(duì)應(yīng)區(qū)域推斷單元，不用所述處理圖像，而用相當(dāng)于所述處理圖像上的處理區(qū)域的所述視點(diǎn)合成圖像上的圖像信號(hào)，搜索由所述處理相機(jī)拍攝的參考圖像中的對(duì)應(yīng)區(qū)域，推斷運(yùn)動(dòng)向量。
[0029]在本發(fā)明的第四觀點(diǎn)中，也可以還包括可靠度設(shè)定單元，對(duì)所述視點(diǎn)合成圖像的各像素，設(shè)定表示所述視點(diǎn)合成圖像的確實(shí)性的可靠度，所述對(duì)應(yīng)區(qū)域推斷單元基于所述可靠度對(duì)搜索所述對(duì)應(yīng)區(qū)域時(shí)的匹配成本進(jìn)行加權(quán)。
[0030]此外，為解決上述課題，本發(fā)明的第五觀點(diǎn)是一種進(jìn)行多視點(diǎn)視頻的預(yù)測(cè)編碼的多視點(diǎn)視頻編碼裝置，其中包括:視點(diǎn)合成圖像生成單元，根據(jù)在與所述多視點(diǎn)視頻的某個(gè)編碼對(duì)象視點(diǎn)不同的參考視點(diǎn)上，與編碼對(duì)象幀同時(shí)刻被拍攝的已經(jīng)編碼完畢的參考視點(diǎn)幀，生成所述編碼對(duì)象視點(diǎn)的視點(diǎn)合成圖像；運(yùn)動(dòng)向量推斷單元，對(duì)所述視點(diǎn)合成圖像的各編碼單位塊，搜索所述編碼對(duì)象視點(diǎn)中已經(jīng)編碼完畢的參考幀上的對(duì)應(yīng)區(qū)域，從而推斷運(yùn)動(dòng)向量；運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像生成單元，利用所述推斷的運(yùn)動(dòng)向量和所述參考幀，生成對(duì)于所述編碼對(duì)象幀的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像；以及殘差編碼單元，對(duì)所述編碼對(duì)象幀和所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像的差分信號(hào)進(jìn)行編碼。
[0031]在本發(fā)明的第五觀點(diǎn)中，也可以還包括可靠度設(shè)定裝置，對(duì)所述視點(diǎn)合成圖像的各像素，設(shè)定表示所述視點(diǎn)合成圖像的確實(shí)性的可靠度，所述運(yùn)動(dòng)向量推斷單元基于所述可靠度對(duì)搜索所述對(duì)應(yīng)區(qū)域時(shí)的各像素的匹配成本進(jìn)行加權(quán)。
[0032]此外，為解決上述課題，本發(fā)明的第六觀點(diǎn)是一種多視點(diǎn)視頻解碼裝置，對(duì)針對(duì)多視點(diǎn)視頻的某個(gè)視點(diǎn)的視頻的編碼數(shù)據(jù)進(jìn)行解碼，其中包括:視點(diǎn)合成圖像生成單元，根據(jù)與解碼對(duì)象視點(diǎn)不同的參考視點(diǎn)上，與解碼對(duì)象幀同時(shí)刻被拍攝的參考視點(diǎn)幀，生成所述解碼對(duì)象視點(diǎn)的視點(diǎn)合成圖像；運(yùn)動(dòng)向量推斷單元，通過(guò)搜索所述解碼對(duì)象視點(diǎn)中已經(jīng)解碼完畢的參考幀上的對(duì)應(yīng)區(qū)域，對(duì)所述視點(diǎn)合成圖像的各解碼單位塊推斷運(yùn)動(dòng)向量；運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像生成單元，利用所述推斷的運(yùn)動(dòng)向量和所述參考幀，生成對(duì)于所述解碼對(duì)象幀的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像；以及圖像解碼單元，將所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像用作為預(yù)測(cè)信號(hào)，從所述編碼數(shù)據(jù)對(duì)被預(yù)測(cè)編碼的所述解碼對(duì)象幀進(jìn)行解碼。
[0033]在本發(fā)明的第六觀點(diǎn)中，也可以還包括可靠度設(shè)定單元，對(duì)所述視點(diǎn)合成圖像的各像素，設(shè)定表示所述視點(diǎn)合成圖像的確實(shí)性的可靠度，所述運(yùn)動(dòng)向量推斷單元基于所述可靠度對(duì)搜索所述對(duì)應(yīng)區(qū)域時(shí)的各像素的匹配成本進(jìn)行加權(quán)。
[0034]此外，為解決上述課題，本發(fā)明的第七觀點(diǎn)是一種運(yùn)動(dòng)向量推斷程序，令運(yùn)動(dòng)向量推斷裝置的計(jì)算機(jī)執(zhí)行以下功能:視點(diǎn)合成圖像生成功能，根據(jù)多視點(diǎn)視頻中包含的與拍攝處理圖像的處理相機(jī)不同的相機(jī)拍攝的參考相機(jī)視頻，按照與所述處理相機(jī)相同的設(shè)定，生成拍攝所述處理圖像的時(shí)刻的視點(diǎn)合成圖像；以及對(duì)應(yīng)區(qū)域推斷功能，不用所述處理圖像，而用相當(dāng)于所述處理圖像上的處理區(qū)域的所述視點(diǎn)合成圖像上的圖像信號(hào)，搜索由所述處理相機(jī)拍攝的參考圖像中的對(duì)應(yīng)區(qū)域，推斷運(yùn)動(dòng)向量。
[0035]此外，為解決上述課題，本發(fā)明的第八觀點(diǎn)是一種多視點(diǎn)視頻編碼程序，令進(jìn)行多視點(diǎn)視頻的預(yù)測(cè)編碼的多視點(diǎn)視頻編碼裝置的計(jì)算機(jī)執(zhí)行以下功能:視點(diǎn)合成圖像生成功能，根據(jù)在與所述多視點(diǎn)視頻的某個(gè)編碼對(duì)象視點(diǎn)不同的參考視點(diǎn)上，與編碼對(duì)象幀同時(shí)刻被拍攝的已經(jīng)編碼完畢的參考視點(diǎn)幀，生成所述編碼對(duì)象視點(diǎn)的視點(diǎn)合成圖像；運(yùn)動(dòng)向量推斷功能，對(duì)所述視點(diǎn)合成圖像的各編碼單位塊，捜索所述編碼對(duì)象視點(diǎn)中已經(jīng)編碼完畢的參考幀上的對(duì)應(yīng)區(qū)域，從而推斷運(yùn)動(dòng)向量；運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像生成功能，利用所述推斷的運(yùn)動(dòng)向量和所述參考幀，生成對(duì)于所述編碼對(duì)象幀的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像；以及殘差編碼功能，對(duì)所述編碼對(duì)象幀和所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像的差分信號(hào)進(jìn)行編碼。
[0036]此外，為解決上述課題，本發(fā)明的第九觀點(diǎn)是一種多視點(diǎn)視頻解碼程序，令對(duì)針對(duì)多視點(diǎn)視頻的某個(gè)視點(diǎn)的視頻的編碼數(shù)據(jù)進(jìn)行解碼的多視點(diǎn)視頻解碼裝置的計(jì)算機(jī)執(zhí)行以下功能:視點(diǎn)合成圖像生成功能，根據(jù)與解碼對(duì)象視點(diǎn)不同的參考視點(diǎn)上，與解碼對(duì)象幀同時(shí)刻被拍攝的參考視點(diǎn)幀，生成所述解碼對(duì)象視點(diǎn)的視點(diǎn)合成圖像；運(yùn)動(dòng)向量推斷功能，通過(guò)搜索所述解碼對(duì)象視點(diǎn)中已經(jīng)解碼完畢的參考幀上的對(duì)應(yīng)區(qū)域，對(duì)所述視點(diǎn)合成圖像的各解碼單位塊推斷運(yùn)動(dòng)向量；運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像生成功能，利用所述推斷的運(yùn)動(dòng)向量和所述參考幀，生成對(duì)于所述解碼對(duì)象幀的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像；以及圖像解碼功能，將所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像用作為預(yù)測(cè)信號(hào)，從所述編碼數(shù)據(jù)對(duì)被預(yù)測(cè)編碼的所述解碼對(duì)象幀進(jìn)行解碼。
[0037]依據(jù)本發(fā)明，在不能得到處理圖像的狀況下，也能高精度地推斷運(yùn)動(dòng)向量，通過(guò)在視頻信號(hào)預(yù)測(cè)中利用時(shí)間相關(guān)，同時(shí)利用2個(gè)相關(guān)(即，相機(jī)間相關(guān)及時(shí)間相關(guān))，能夠?qū)崿F(xiàn)有效率的多視點(diǎn)視頻編碼。
【專利附圖】

【附圖說(shuō)明】
[0038]圖1是表示本發(fā)明第一實(shí)施方式的多視點(diǎn)視頻編碼裝置的結(jié)構(gòu)的框圖；
圖2是說(shuō)明本第一實(shí)施方式的多視點(diǎn)視頻編碼裝置的動(dòng)作的流程圖；
圖3是表示本發(fā)明第二實(shí)施方式的多視點(diǎn)視頻編碼裝置的結(jié)構(gòu)的框圖；
圖4是說(shuō)明本第二實(shí)施方式的多視點(diǎn)視頻編碼裝置的動(dòng)作的流程圖；
圖5是表示本發(fā)明第三實(shí)施方式的多視點(diǎn)視頻解碼裝置的結(jié)構(gòu)的框圖；
圖6是說(shuō)明本第三實(shí)施方式的多視點(diǎn)視頻解碼裝置的動(dòng)作的流程圖；
圖7是表示本發(fā)明第四實(shí)施方式的多視點(diǎn)視頻解碼裝置的結(jié)構(gòu)的框圖；
圖8是說(shuō)明本第四實(shí)施方式的多視點(diǎn)視頻解碼裝置的動(dòng)作的流程圖；
圖9是表示本發(fā)明第五實(shí)施方式的運(yùn)動(dòng)向量推斷裝置的結(jié)構(gòu)的框圖；
圖10是說(shuō)明本第五實(shí)施方式的運(yùn)動(dòng)向量推斷裝置的動(dòng)作的流程圖；
圖11是表示本第五實(shí)施方式的運(yùn)動(dòng)向量推斷裝置的另ー結(jié)構(gòu)例的框圖；
圖12是表示本發(fā)明第六實(shí)施方式的多視點(diǎn)視頻編碼裝置的結(jié)構(gòu)的框圖；
圖13是說(shuō)明本第六實(shí)施方式的多視點(diǎn)視頻編碼裝置的動(dòng)作的流程圖；
圖14是表示本發(fā)明第七實(shí)施方式的多視點(diǎn)視頻編碼裝置的結(jié)構(gòu)的框圖；
圖15是說(shuō)明本第七實(shí)施方式的多視點(diǎn)視頻編碼裝置的動(dòng)作的流程圖；
圖16是表示本發(fā)明第八實(shí)施方式的多視點(diǎn)視頻解碼裝置的結(jié)構(gòu)的框圖； 圖17是說(shuō)明本第八實(shí)施方式的多視點(diǎn)視頻解碼裝置的動(dòng)作的流程圖；
圖18是表示本發(fā)明第九實(shí)施方式的多視點(diǎn)視頻解碼裝置的結(jié)構(gòu)的框圖；
圖19是說(shuō)明本第九實(shí)施方式的多視點(diǎn)視頻解碼裝置的動(dòng)作的流程圖；
圖20是表示從相機(jī)到景物為止的距離(深度)與視差的關(guān)系的概念圖。
【具體實(shí)施方式】
[0039]以下，參考附圖，就本發(fā)明的ー實(shí)施方式進(jìn)行說(shuō)明。
[0040]在現(xiàn)有技術(shù)中，利用編碼對(duì)象的輸入圖像的圖像信號(hào)，求出參考圖像上的對(duì)應(yīng)區(qū)域從而實(shí)現(xiàn)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。在這種情況下，在解碼側(cè)不能得到輸入圖像，因此需要對(duì)表示對(duì)應(yīng)區(qū)域的運(yùn)動(dòng)向量信息進(jìn)行編碼。在本發(fā)明的實(shí)施方式中，利用由別的相機(jī)拍攝的視頻生成與編碼對(duì)象圖像對(duì)應(yīng)的合成圖像(后述的步驟Sa2)，利用該合成圖像的圖像信號(hào)，求出參考圖像上的對(duì)應(yīng)區(qū)域(后述的步驟Sa5)。該合成圖像在解碼側(cè)能夠生成相同的圖像，因此在解碼側(cè)進(jìn)行與編碼側(cè)同樣的搜索就能得到運(yùn)動(dòng)向量。其結(jié)果，不管是否進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，本發(fā)明的實(shí)施方式都無(wú)需對(duì)運(yùn)動(dòng)向量進(jìn)行編碼，能得到能夠相應(yīng)地削減編碼量的效果。
[0041]此外，在以下的說(shuō)明中，通過(guò)將能夠確定用符號(hào)[]夾持的位置的信息(坐標(biāo)值、能與坐標(biāo)值對(duì)應(yīng)的指針(index)、區(qū)域、能與區(qū)域?qū)?yīng)的指針)附加到視頻(幀)上，表示該位置的像素或與該區(qū)域?qū)?yīng)的視頻信號(hào)。
[0042]A.第一實(shí)施方式
首先，對(duì)本發(fā)明的第一實(shí)施方式進(jìn)行說(shuō)明。
[0043]圖1是表示本第一實(shí)施方式的多視點(diǎn)視頻編碼裝置的結(jié)構(gòu)的框圖。如圖1所示，多視點(diǎn)視頻編碼裝置100具備:編碼對(duì)象幀輸入部101、編碼對(duì)象圖像存儲(chǔ)器102、參考視點(diǎn)幀輸入部103、參考視點(diǎn)圖像存儲(chǔ)器104、視點(diǎn)合成部105、視點(diǎn)合成圖像存儲(chǔ)器106、可靠度設(shè)定部107、對(duì)應(yīng)區(qū)域捜索部108、運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部109、預(yù)測(cè)殘差編碼部110、預(yù)測(cè)殘差解碼部111、解碼圖像存儲(chǔ)器112、預(yù)測(cè)殘差算出部113及解碼圖像算出部114。
[0044]編碼對(duì)象幀輸入部101輸入成為編碼對(duì)象的視頻幀(編碼對(duì)象幀)。編碼對(duì)象圖像存儲(chǔ)器102蓄積被輸入的編碼對(duì)象幀。參考視點(diǎn)幀輸入部103輸入針對(duì)與編碼對(duì)象幀不同的視點(diǎn)(參考視點(diǎn))的視頻幀(參考視點(diǎn)幀)。參考視點(diǎn)圖像存儲(chǔ)器104蓄積被輸入的參考視點(diǎn)幀。視點(diǎn)合成部105利用參考視點(diǎn)幀生成對(duì)應(yīng)編碼對(duì)象幀的視點(diǎn)合成圖像。
[0045]視點(diǎn)合成圖像存儲(chǔ)器106蓄積所生成的視點(diǎn)合成圖像?？煽慷仍O(shè)定部107設(shè)定每個(gè)生成的視點(diǎn)合成圖像的像素的可靠度。對(duì)應(yīng)區(qū)域捜索部108按每個(gè)視點(diǎn)合成圖像的編碼單位塊，一邊用可靠度ー邊搜索成為運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的參考幀并且與編碼對(duì)象幀相同的視點(diǎn)上被拍攝、表示已經(jīng)編碼完畢的幀中的對(duì)應(yīng)塊的運(yùn)動(dòng)向量。即，基于可靠度對(duì)進(jìn)行對(duì)應(yīng)區(qū)域搜索時(shí)的匹配成本進(jìn)行加權(quán)，從而不會(huì)在視點(diǎn)合成時(shí)被誤差所拖累，而重視能高精度合成的像素，實(shí)現(xiàn)高精度的運(yùn)動(dòng)向量推斷。
[0046]運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部109按照決定的對(duì)應(yīng)塊利用參考幀生成運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像。預(yù)測(cè)殘差算出部113算出編碼對(duì)象幀和運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像之差(預(yù)測(cè)殘差信號(hào))。預(yù)測(cè)殘差編碼部110對(duì)預(yù)測(cè)殘差信號(hào)進(jìn)行編碼。預(yù)測(cè)殘差解碼部111對(duì)預(yù)測(cè)殘差信號(hào)的編碼數(shù)據(jù)進(jìn)行解碼。解碼圖像算出部114相加被解碼的預(yù)測(cè)殘差信號(hào)和運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像而算出編碼對(duì)象幀的解碼圖像。解碼圖像存儲(chǔ)器112蓄積解碼圖像。[0047]圖2是說(shuō)明本第一實(shí)施方式的多視點(diǎn)視頻編碼裝置100的動(dòng)作的流程圖。按照該流程圖，就第一實(shí)施方式的多視點(diǎn)視頻編碼裝置100執(zhí)行的處理進(jìn)行詳細(xì)說(shuō)明。
[0048]首先，編碼對(duì)象幀Org從編碼對(duì)象幀輸入部101輸入，存放到編碼對(duì)象圖像存儲(chǔ)器102 (步驟Sal)。此外，與編碼對(duì)象幀Org同時(shí)刻在參考視點(diǎn)被拍攝的參考視點(diǎn)幀Refn從參考視點(diǎn)幀輸入部103輸入(n = 1，2，…，N)，并蓄積到參考視點(diǎn)圖像存儲(chǔ)器104中(步驟Sal)。在此所輸入的參考視點(diǎn)幀設(shè)為對(duì)已經(jīng)編碼完畢的圖像進(jìn)行解碼后的幀。這是因?yàn)橥ㄟ^(guò)使用與用解碼裝置所得到的信息相同的信息，能抑制漂移等的編碼噪聲的產(chǎn)生。但是，在容許這些編碼噪聲的產(chǎn)生的情況下，被輸入編碼前的原始的信息也可。此外，n是表示參考視點(diǎn)的指針，N是在此能利用的參考視點(diǎn)的數(shù)目。
[0049]接著，用視點(diǎn)合成部105，由參考視點(diǎn)幀的信息，合成與編碼對(duì)象幀同時(shí)刻在相同的視點(diǎn)被拍攝的圖像，將生成的視點(diǎn)合成圖像Syn蓄積在視點(diǎn)合成圖像存儲(chǔ)器106中(步驟Sa2)。該視點(diǎn)合成圖像的生成法可以采用任何方法。例如，如果參考視點(diǎn)幀的視頻信息以外還供給對(duì)應(yīng)參考視點(diǎn)幀的深度信息，則能采用記載于非專利文獻(xiàn)2或非專利文獻(xiàn)3 (Y.Mori, N.Fukushima, T.Fujii, and M.Tanimoto, “View Generation with 3D WarpingUsing Depth Information for FTV, ” Proceedings of 3DTV — C0N2008, pp.229 —232，May 2008.)等的方法。
[0050]此外，在能得到對(duì)應(yīng)編碼對(duì)象幀的深度信息的情況下，也能采用記載于非專利文獻(xiàn) 4 (S.Yea and A.Vetro, “View Synthesis Prediction for Rate — OverheadReduction in FTV, ” Proceedings of 3DTV — C0N2008, pp.145 — 148，May 2008.)等的方法。
[0051]在完全無(wú)法得到深度 信息的情況下，采用記載于非專利文獻(xiàn)5(J.Sun, N.Zheng,and H.Shum, “Stereo Matching Using Belief Propagation, ” IEEE Transactions onPattern Analysis and Machine Intelligence, Vol.25, N0.7, pp.787 — 800，July2003.)等的立體(stereo)法、稱為深度推斷法的方法，作成參考視點(diǎn)幀或?qū)?yīng)編碼對(duì)象幀的深度信息后，適用如上所述的方法能夠生成視點(diǎn)合成圖像(非專利文獻(xiàn)6:S.Shimizu,Y.Tonomura, H.Kimata, and Y.0htani, ‘-1mproved View Interpolation Predictionfor Side Information in Multiview Distributed Video Coding, ” Proceedings ofICDSC2009, August 2009.)。
[0052]也有明明不生成深度信息而由參考視點(diǎn)幀直接生成視點(diǎn)合成圖像的方法(非專利文獻(xiàn) 7:K.Yamamoto, M.Kitahara, H.Kimata, T.Yendo, T.Fujii, M.Tanimoto,S.Shimizu, K.Kamikura, and Y.Yashima, “Multiview Video Coding Using ViewInterpolation and Color Correction, ” IEEE Transactions on Circuits and Systemfor Video Technology, Vol.17, N0.11, pp.1436 — 1449, November, 2007.)。
[0053]此外，在采用這些方法時(shí)基本上需要相機(jī)的位置關(guān)系、表示相機(jī)進(jìn)行的投影過(guò)程的相機(jī)參數(shù)。這些相機(jī)參數(shù)也能從參考視點(diǎn)幀推斷。再者，在解碼側(cè)不推斷深度信息、相機(jī)參數(shù)等的情況下，需要另行對(duì)編碼裝置內(nèi)使用的這些信息進(jìn)行編碼并加以傳送。
[0054]接著，在可靠度設(shè)定部107中，對(duì)于視點(diǎn)合成圖像的各像素，生成表示對(duì)于該像素的合成能以多大的確實(shí)性實(shí)現(xiàn)的可靠度P (步驟Sa3)。在本第一實(shí)施方式中，可靠度P設(shè)為0~I為止的實(shí)數(shù)，但是，如果定義為在0以上較大的值的情況下可靠度更高，則如何體現(xiàn)可靠度都可。例如，以I以上的8位整數(shù)體現(xiàn)可靠度也可。
[0055]如上所述，如果能表示有多少正確地進(jìn)行合成，則可靠度P為任意值都可。例如，最為簡(jiǎn)單的是，視點(diǎn)合成圖像的各像素采用對(duì)應(yīng)的參考視點(diǎn)幀上的像素的像素值的離散值的方法。在對(duì)應(yīng)像素間像素值越接近，表示越能辨識(shí)相同的景物并正確地視點(diǎn)合成，因此表示離散越小可靠度就越高。即，可靠度用離散的倒數(shù)來(lái)體現(xiàn)。將在合成視點(diǎn)合成圖像Syn[P]時(shí)使用的各參考視點(diǎn)幀的像素，用Refn [pn]表示，則能用下面的數(shù)式(I)、數(shù)式(2)來(lái)表示可靠度。
[0056]【數(shù)I】
【權(quán)利要求】
1.一種運(yùn)動(dòng)向量推斷方法，其中包括: 視點(diǎn)合成圖像生成步驟，根據(jù)多視點(diǎn)視頻中包含的與拍攝處理圖像的處理相機(jī)不同的相機(jī)拍攝的參考相機(jī)視頻，按照與所述處理相機(jī)相同的設(shè)定，生成拍攝所述處理圖像的時(shí)刻的視點(diǎn)合成圖像；以及 對(duì)應(yīng)區(qū)域推斷步驟，不用所述處理圖像，而用相當(dāng)于所述處理圖像上的處理區(qū)域的所述視點(diǎn)合成圖像上的圖像信號(hào)，搜索由所述處理相機(jī)拍攝的參考圖像中的對(duì)應(yīng)區(qū)域，推斷運(yùn)動(dòng)向量。
2.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)向量推斷方法，其中 還包括可靠度設(shè)定步驟，對(duì)所述視點(diǎn)合成圖像的各像素，設(shè)定表示所述視點(diǎn)合成圖像的確實(shí)性的可靠度， 在所述對(duì)應(yīng)區(qū)域推斷步驟中，基于所述可靠度對(duì)搜索所述對(duì)應(yīng)區(qū)域時(shí)的匹配成本進(jìn)行加權(quán)。
3.一種進(jìn)行多視點(diǎn)視頻的預(yù)測(cè)編碼的多視點(diǎn)視頻編碼方法，其中包括: 視點(diǎn)合成圖像生成步驟，根據(jù)在與所述多視點(diǎn)視頻的某個(gè)編碼對(duì)象視點(diǎn)不同的參考視點(diǎn)上，與編碼對(duì)象幀同時(shí)刻被拍攝的已經(jīng)編碼完畢的參考視點(diǎn)幀，生成所述編碼對(duì)象視點(diǎn)的視點(diǎn)合成圖像； 運(yùn)動(dòng)向量推斷步驟，對(duì)所述視點(diǎn)合成圖像的各編碼單位塊，搜索所述編碼對(duì)象視點(diǎn)中已經(jīng)編碼完畢的參考幀上的對(duì)應(yīng)區(qū)域，從而推斷運(yùn)動(dòng)向量； 運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像生成 步驟，利用所述推斷的運(yùn)動(dòng)向量和所述參考幀，生成對(duì)于所述編碼對(duì)象幀的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像；以及 殘差編碼步驟，對(duì)所述編碼對(duì)象幀和所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像的差分信號(hào)進(jìn)行編碼。
4.根據(jù)權(quán)利要求3所述的多視點(diǎn)視頻編碼方法，其中 還包括可靠度設(shè)定步驟，對(duì)所述視點(diǎn)合成圖像的各像素，設(shè)定表示所述視點(diǎn)合成圖像的確實(shí)性的可靠度， 在所述運(yùn)動(dòng)向量推斷步驟中，基于所述可靠度對(duì)搜索所述對(duì)應(yīng)區(qū)域時(shí)的各像素的匹配成本進(jìn)行加權(quán)。
5.根據(jù)權(quán)利要求3或4所述的多視點(diǎn)視頻編碼方法，其中還包括: 運(yùn)動(dòng)搜索步驟，通過(guò)在與所述參考幀之間搜索對(duì)應(yīng)區(qū)域來(lái)對(duì)所述編碼對(duì)象幀的各編碼單位塊生成最佳的運(yùn)動(dòng)向量；以及 差向量編碼步驟，對(duì)所述運(yùn)動(dòng)向量和所述最佳的運(yùn)動(dòng)向量的差向量進(jìn)行編碼， 在所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像生成步驟中，利用所述最佳的運(yùn)動(dòng)向量和所述參考幀生成所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像。
6.根據(jù)權(quán)利要求5所述的多視點(diǎn)視頻編碼方法，其中 還包括預(yù)測(cè)向量生成步驟，利用所述運(yùn)動(dòng)向量和與編碼對(duì)象區(qū)域鄰接的區(qū)域中使用的最佳的運(yùn)動(dòng)向量群，生成預(yù)測(cè)向量， 在所述差向量編碼步驟中，對(duì)所述預(yù)測(cè)向量和所述最佳的運(yùn)動(dòng)向量的差向量進(jìn)行編碼。
7.一種多視點(diǎn)視頻解碼方法，對(duì)針對(duì)多視點(diǎn)視頻的某個(gè)視點(diǎn)的視頻的編碼數(shù)據(jù)進(jìn)行解碼，其中包括:視點(diǎn)合成圖像生成步驟，根據(jù)與解碼對(duì)象視點(diǎn)不同的參考視點(diǎn)上，與解碼對(duì)象幀同時(shí)刻被拍攝的參考視點(diǎn)幀，生成所述解碼對(duì)象視點(diǎn)的視點(diǎn)合成圖像； 運(yùn)動(dòng)向量推斷步驟，通過(guò)搜索所述解碼對(duì)象視點(diǎn)中已經(jīng)解碼完畢的參考幀上的對(duì)應(yīng)區(qū)域，對(duì)所述視點(diǎn)合成圖像的各解碼單位塊推斷運(yùn)動(dòng)向量； 運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像生成步驟，利用所述推斷的運(yùn)動(dòng)向量和所述參考幀，生成對(duì)于所述解碼對(duì)象幀的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像；以及 圖像解碼步驟，將所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像用作為預(yù)測(cè)信號(hào)，從所述編碼數(shù)據(jù)對(duì)被預(yù)測(cè)編碼的所述解碼對(duì)象幀進(jìn)行解碼。
8.根據(jù)權(quán)利要求7所述的多視點(diǎn)視頻解碼方法，其中 還包括可靠度設(shè)定步驟，對(duì)所述視點(diǎn)合成圖像的各像素，設(shè)定表示所述視點(diǎn)合成圖像的確實(shí)性的可靠度， 在所述運(yùn)動(dòng)向量推斷步驟中，基于所述可靠度對(duì)搜索所述對(duì)應(yīng)區(qū)域時(shí)的各像素的匹配成本進(jìn)行加權(quán)。
9.根據(jù)權(quán)利要求7或8所述的多視點(diǎn)視頻解碼方法，其中 還包括向量解碼步驟，將所述運(yùn)動(dòng)向量用作為預(yù)測(cè)向量，從所述編碼數(shù)據(jù)對(duì)被預(yù)測(cè)編碼的最佳的運(yùn)動(dòng)向量進(jìn)行解碼， 在所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖 像生成步驟中，利用所述最佳的運(yùn)動(dòng)向量和所述參考幀生成所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像。
10.根據(jù)權(quán)利要求9所述的多視點(diǎn)視頻解碼方法，其中 還包括預(yù)測(cè)向量生成步驟，利用所述運(yùn)動(dòng)向量和與解碼對(duì)象區(qū)域鄰接的區(qū)域中使用的最佳的運(yùn)動(dòng)向量群，生成推斷預(yù)測(cè)向量， 在所述向量解碼步驟中，將所述推斷預(yù)測(cè)向量用作為所述預(yù)測(cè)向量，對(duì)所述最佳的運(yùn)動(dòng)向量進(jìn)行解碼。
11.一種運(yùn)動(dòng)向量推斷裝置，其中包括: 視點(diǎn)合成圖像生成單元，根據(jù)多視點(diǎn)視頻中包含的與拍攝處理圖像的處理相機(jī)不同的相機(jī)拍攝的參考相機(jī)視頻，按照與所述處理相機(jī)相同的設(shè)定，生成拍攝所述處理圖像的時(shí)刻的視點(diǎn)合成圖像；以及 對(duì)應(yīng)區(qū)域推斷單元，不用所述處理圖像，而用相當(dāng)于所述處理圖像上的處理區(qū)域的所述視點(diǎn)合成圖像上的圖像信號(hào)，搜索由所述處理相機(jī)拍攝的參考圖像中的對(duì)應(yīng)區(qū)域，推斷運(yùn)動(dòng)向量。
12.根據(jù)權(quán)利要求11所述的運(yùn)動(dòng)向量推斷裝置，其中 還包括可靠度設(shè)定單元，對(duì)所述視點(diǎn)合成圖像的各像素，設(shè)定表示所述視點(diǎn)合成圖像的確實(shí)性的可靠度， 所述對(duì)應(yīng)區(qū)域推斷單元基于所述可靠度對(duì)搜索所述對(duì)應(yīng)區(qū)域時(shí)的匹配成本進(jìn)行加權(quán)。
13.一種進(jìn)行多視點(diǎn)視頻的預(yù)測(cè)編碼的多視點(diǎn)視頻編碼裝置，其中包括: 視點(diǎn)合成圖像生成單元，根據(jù)在與所述多視點(diǎn)視頻的某個(gè)編碼對(duì)象視點(diǎn)不同的參考視點(diǎn)上，與編碼對(duì)象幀同時(shí)刻被拍攝的已經(jīng)編碼完畢的參考視點(diǎn)幀，生成所述編碼對(duì)象視點(diǎn)的視點(diǎn)合成圖像； 運(yùn)動(dòng)向量推斷單元，對(duì)所述視點(diǎn)合成圖像的各編碼單位塊，搜索所述編碼對(duì)象視點(diǎn)中已經(jīng)編碼完畢的參考幀上的對(duì)應(yīng)區(qū)域，從而推斷運(yùn)動(dòng)向量； 運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像生成單元，利用所述推斷的運(yùn)動(dòng)向量和所述參考幀，生成對(duì)于所述編碼對(duì)象幀的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像；以及 殘差編碼單元，對(duì)所述編碼對(duì)象幀和所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像的差分信號(hào)進(jìn)行編碼。
14.根據(jù)權(quán)利要求13所述的多視點(diǎn)視頻編碼裝置，其中 還包括可靠度設(shè)定裝置，對(duì)所述視點(diǎn)合成圖像的各像素，設(shè)定表示所述視點(diǎn)合成圖像的確實(shí)性的可靠度， 所述運(yùn)動(dòng)向量推斷單元基于所述可靠度對(duì)搜索所述對(duì)應(yīng)區(qū)域時(shí)的各像素的匹配成本進(jìn)行加權(quán)。
15.一種多視點(diǎn)視頻解碼裝置，對(duì)針對(duì)多視點(diǎn)視頻的某個(gè)視點(diǎn)的視頻的編碼數(shù)據(jù)進(jìn)行解碼，其中包括: 視點(diǎn)合成圖像生成 單元，根據(jù)與解碼對(duì)象視點(diǎn)不同的參考視點(diǎn)上，與解碼對(duì)象幀同時(shí)刻被拍攝的參考視點(diǎn)幀，生成所述解碼對(duì)象視點(diǎn)的視點(diǎn)合成圖像； 運(yùn)動(dòng)向量推斷單元，通過(guò)搜索所述解碼對(duì)象視點(diǎn)中已經(jīng)解碼完畢的參考幀上的對(duì)應(yīng)區(qū)域，對(duì)所述視點(diǎn)合成圖像的各解碼單位塊推斷運(yùn)動(dòng)向量； 運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像生成單元，利用所述推斷的運(yùn)動(dòng)向量和所述參考幀，生成對(duì)于所述解碼對(duì)象幀的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像；以及 圖像解碼單元，將所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像用作為預(yù)測(cè)信號(hào)，從所述編碼數(shù)據(jù)對(duì)被預(yù)測(cè)編碼的所述解碼對(duì)象幀進(jìn)行解碼。
16.根據(jù)權(quán)利要求15所述的多視點(diǎn)視頻解碼裝置，其中 還包括可靠度設(shè)定單元，對(duì)所述視點(diǎn)合成圖像的各像素，設(shè)定表示所述視點(diǎn)合成圖像的確實(shí)性的可靠度， 所述運(yùn)動(dòng)向量推斷單元基于所述可靠度對(duì)搜索所述對(duì)應(yīng)區(qū)域時(shí)的各像素的匹配成本進(jìn)行加權(quán)。
17.—種運(yùn)動(dòng)向量推斷程序，令運(yùn)動(dòng)向量推斷裝置的計(jì)算機(jī)執(zhí)行以下功能: 視點(diǎn)合成圖像生成功能，根據(jù)多視點(diǎn)視頻中包含的與拍攝處理圖像的處理相機(jī)不同的相機(jī)拍攝的參考相機(jī)視頻，按照與所述處理相機(jī)相同的設(shè)定，生成拍攝所述處理圖像的時(shí)刻的視點(diǎn)合成圖像；以及 對(duì)應(yīng)區(qū)域推斷功能，不用所述處理圖像，而用相當(dāng)于所述處理圖像上的處理區(qū)域的所述視點(diǎn)合成圖像上的圖像信號(hào)，搜索由所述處理相機(jī)拍攝的參考圖像中的對(duì)應(yīng)區(qū)域，推斷運(yùn)動(dòng)向量。
18.一種多視點(diǎn)視頻編碼程序，令進(jìn)行多視點(diǎn)視頻的預(yù)測(cè)編碼的多視點(diǎn)視頻編碼裝置的計(jì)算機(jī)執(zhí)行以下功能: 視點(diǎn)合成圖像生成功能，根據(jù)在與所述多視點(diǎn)視頻的某個(gè)編碼對(duì)象視點(diǎn)不同的參考視點(diǎn)上，與編碼對(duì)象幀同時(shí)刻被拍攝的已經(jīng)編碼完畢的參考視點(diǎn)幀，生成所述編碼對(duì)象視點(diǎn)的視點(diǎn)合成圖像； 運(yùn)動(dòng)向量推斷功能，對(duì)所述視點(diǎn)合成圖像的各編碼單位塊，搜索所述編碼對(duì)象視點(diǎn)中已經(jīng)編碼完畢的參考幀上的對(duì)應(yīng)區(qū)域，從而推斷運(yùn)動(dòng)向量； 運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像生成功能，利用所述推斷的運(yùn)動(dòng)向量和所述參考幀，生成對(duì)于所述編碼對(duì)象幀的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像；以及 殘差編碼功能，對(duì)所述編碼對(duì)象幀和所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像的差分信號(hào)進(jìn)行編碼。
19.一種多視點(diǎn)視頻解碼程序，令對(duì)針對(duì)多視點(diǎn)視頻的某個(gè)視點(diǎn)的視頻的編碼數(shù)據(jù)進(jìn)行解碼的多視點(diǎn)視頻解碼裝置的計(jì)算機(jī)執(zhí)行以下功能: 視點(diǎn)合成圖像生成功能，根據(jù)與解碼對(duì)象視點(diǎn)不同的參考視點(diǎn)上，與解碼對(duì)象幀同時(shí)刻被拍攝的參考視點(diǎn)幀，生成所述解碼對(duì)象視點(diǎn)的視點(diǎn)合成圖像； 運(yùn)動(dòng)向量推斷功能，通過(guò)搜索所述解碼對(duì)象視點(diǎn)中已經(jīng)解碼完畢的參考幀上的對(duì)應(yīng)區(qū)域，對(duì)所述視點(diǎn)合成圖像的各解碼單位塊推斷運(yùn)動(dòng)向量； 運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像生成功能，利用所述推斷的運(yùn)動(dòng)向量和所述參考幀，生成對(duì)于所述解碼對(duì)象幀的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像；以及 圖像解碼功能，將所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像用作為預(yù)測(cè)信號(hào)，從所述編碼數(shù)據(jù)對(duì)被預(yù)測(cè)編碼的所述解碼對(duì)象 幀進(jìn)行解碼。
【文檔編號(hào)】H04N13/02GK103609119SQ201180010256
【公開日】2014年2月26日 申請(qǐng)日期:2011年2月18日 優(yōu)先權(quán)日:2010年2月23日
【發(fā)明者】志水信哉, 木全英明, 松浦宣彥 申請(qǐng)人:日本電信電話株式會(huì)社