用于處理視頻信號的方法和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于處理視頻信號的方法和裝置。
【背景技術(shù)】
[0002]壓縮指的是用于通過通信線路來發(fā)送數(shù)字信息或者以適合于存儲介質(zhì)的形式存儲該數(shù)字信息的信號處理技術(shù)。壓縮目標(biāo)包括音頻、視頻以及文本信息。特別地，壓縮圖像的技術(shù)被稱作視頻壓縮。多視圖視頻有空間冗余、時間冗余以及視圖間冗余的特性。

【發(fā)明內(nèi)容】

[0003]技術(shù)問題
[0004]本發(fā)明的目的在于改進(jìn)視頻信號編譯效率。
[0005]技術(shù)方案
[0006]在視圖合成預(yù)測中，在使用深度信息的變形過程中，即使存在多條深度信息，本發(fā)明僅使用一條深度信息。
[0007]另外，本發(fā)明使用時間視圖間運(yùn)動向量獲得被用于變形過程的視圖間運(yùn)動向量。
[0008]本發(fā)明更新獲得的視圖間運(yùn)動向量，并且在未來使用更新的視圖間運(yùn)動向量。
[0009]此外，本發(fā)明使用從編碼器發(fā)送的預(yù)先確定的視圖間運(yùn)動向量執(zhí)行變形過程。
[0010]本發(fā)明解決的技術(shù)問題不限于上面的技術(shù)問題，并且本領(lǐng)域中的技術(shù)人員可以從下面的描述中理解其它的技術(shù)問題。
[0011]有益效果
[0012]通過防止參考塊的順序的變化，本發(fā)明能夠增加視圖合成預(yù)測精確度，或者即使在視圖合成預(yù)測中使用深度信息的變形過程中存在多條深度信息，僅使用一條深度信息增加參考塊之間的間隔。
[0013]另外，通過使用時間視圖間運(yùn)動向量，本發(fā)明能夠獲得用于變形過程的單元的精確的視圖間運(yùn)動向量。
[0014]此外，本發(fā)明能夠更新獲得的視圖間運(yùn)動向量，以便獲取用于變形過程的單元的視圖間運(yùn)動向量。
[0015]通過使用從編碼器發(fā)送的預(yù)先確定的視圖間運(yùn)動向量執(zhí)行變形過程，本發(fā)明能夠獲得用于變形過程的單元的視圖間運(yùn)動向量。
[0016]本領(lǐng)域的技術(shù)人員將會理解的是，通過本發(fā)明能夠?qū)崿F(xiàn)的效果不限于在上面已經(jīng)特別地描述的效果，并且從下面的詳細(xì)描述將會更加清楚地理解本發(fā)明的其它優(yōu)勢。
【附圖說明】
[0017]圖I是根據(jù)本發(fā)明的實施例的應(yīng)用深度編譯的廣播接收機(jī)的框圖。
[0018]圖2是根據(jù)本發(fā)明的實施例的視頻解碼器的框圖。
[0019]圖3是圖示根據(jù)本發(fā)明的實施例的示例性的視圖合成預(yù)測的流程圖。
[0020]圖4圖示使用參考塊和深度塊獲得虛擬參考塊的示例。
[0021]圖5a圖示其中使用參考塊和深度塊獲得的虛擬參考塊的順序被反轉(zhuǎn)的示例。
[0022]圖5b圖示其中使用參考塊和深度塊獲得的虛擬參考塊之間的間隔增加的示例。
[0023]圖6是圖示根據(jù)本發(fā)明的實施例的用于獲得視圖合成預(yù)測的虛擬參考圖片的示例性方法的流程圖。
[0024]圖7圖示根據(jù)本發(fā)明的實施例的視圖合成預(yù)測的示例性變形方法。
[0025]圖8是圖示根據(jù)本發(fā)明的實施例的使用虛擬深度信息的第N個單元的視圖間運(yùn)動向量的示例的流程圖。
[0026]圖9圖示根據(jù)本發(fā)明的實施例的使用虛擬深度信息獲得第N個單元的視圖間運(yùn)動向量的示例。
[0027]圖10是圖示根據(jù)本發(fā)明的實施例的更新視圖間運(yùn)動向量的示例的流程圖。
【具體實施方式】
[0028]本發(fā)明提供一種用于處理視頻信號的方法和裝置，其獲得與第一單元相對應(yīng)的時間視圖間運(yùn)動向量，使用時間視圖間運(yùn)動向量獲得與第一單元相對應(yīng)的虛擬深度信息，使用與第一單元相對應(yīng)的虛擬深度信息獲得與第一單元相對應(yīng)的視圖間運(yùn)動向量，并且更新與第一單元相對應(yīng)的視圖間運(yùn)動向量。
[0029]使用與第一單元的相鄰單元相對應(yīng)的視圖間運(yùn)動向量獲得時間視圖間運(yùn)動向量。
[0030]虛擬深度信息是不同于第一單元的視圖的深度塊的深度信息。
[0031]用于處理視頻信號的方法和設(shè)備使用被更新的視圖間運(yùn)動向量獲得與第二單元相對應(yīng)的視圖間運(yùn)動向量。
[0032]用于處理視頻信號的方法和裝置使用與第一單元相對應(yīng)的視圖間運(yùn)動向量獲得與第二單元相對應(yīng)的時間視圖間運(yùn)動向量，使用與第二單元相對應(yīng)的時間視圖間運(yùn)動向量獲得與第二單元相對應(yīng)的虛擬深度信息，并且使用與第二單元相對應(yīng)的虛擬深度信息獲得與第二單元相對應(yīng)的視圖間運(yùn)動向量。
[0033]用于處理視頻信號的方法和設(shè)備更新與第二單元相對應(yīng)的視圖間運(yùn)動向量。
[0034]用于處理視頻信號的方法和設(shè)備使用與第一單元相對應(yīng)的視圖間運(yùn)動向量獲得第一虛擬參考塊，其中第一虛擬參考塊被包括在用于視圖合成預(yù)測的虛擬參考圖片中。
[0035]本發(fā)明的模式
[0036]用于對多視圖視頻信號數(shù)據(jù)進(jìn)行壓縮或解碼的技術(shù)考慮空間冗余、時間冗余以及視圖間冗余。在多視圖圖像的情況下，能夠?qū)υ趦蓚€或更多個視圖處拍攝的多視圖紋理圖像進(jìn)行編碼以便生成三維圖像。此外，必要時可以對與多視圖紋理圖像相對應(yīng)的深度數(shù)據(jù)進(jìn)行編碼?？紤]空間冗余、時間冗余或視圖間冗余，可以壓縮深度數(shù)據(jù)。深度數(shù)據(jù)是關(guān)于相機(jī)與對應(yīng)像素之間的距離的信息。在本說明書中深度數(shù)據(jù)能夠被靈活地解釋為諸如深度信息、深度圖像、深度圖片、深度序列以及深度比特流的深度相關(guān)信息。此外，編譯(coding)在本說明書中能夠包括編碼(encoding)和解碼(decoding)的兩個概念，并且能夠在本發(fā)明的技術(shù)精神和技術(shù)范圍內(nèi)被靈活地解釋。
[0037]圖1是根據(jù)應(yīng)用本發(fā)明的實施例的應(yīng)用深度編譯的廣播接收機(jī)的框圖。
[0038]根據(jù)本實施例的廣播接收機(jī)接收地面廣播信號以再現(xiàn)圖像。使用接收到的深度相關(guān)信息，廣播接收機(jī)能夠生成三維內(nèi)容。廣播接收機(jī)包括調(diào)諧器100、解調(diào)器/信道解碼器102、傳輸解復(fù)用器104、解分組器106、音頻解碼器108、視頻解碼器110、PSI/PSIP處理器114,3D渲染器116、格式化器120以及顯示器122。
[0039]調(diào)諧器100從經(jīng)由天線(未示出)輸入的多個廣播信號當(dāng)中選擇由用戶調(diào)諧到的頻道的廣播信號并且輸出所選擇的廣播信號。解調(diào)器/信道解碼器102對來自調(diào)諧器100的廣播信號進(jìn)行解調(diào)，并且對已解調(diào)信號執(zhí)行糾錯解碼以輸出傳輸流TS。傳輸解復(fù)用器104對傳輸流進(jìn)行解復(fù)用，以便將傳輸流劃分成視頻PES和音頻PES，并提取PSI/PSIP信息。解分組器106對視頻PES和音頻PES進(jìn)行解分組以恢復(fù)視頻ES和音頻ES。通過對音頻ES進(jìn)行解碼，音頻解碼器108輸出音頻比特流。音頻比特流被數(shù)字-模擬轉(zhuǎn)換器(未示出)轉(zhuǎn)換成模擬音頻信號，被放大器(未示出)放大，并且之后，通過揚(yáng)聲器(未示出)輸出。視頻解碼器HO對視頻ES進(jìn)行解碼以恢復(fù)原始圖像?；谟蒔SI/PSIP處理器114所確認(rèn)的分組ID(PID)，能夠執(zhí)行音頻解碼器108和視頻解碼器110的解碼過程。在解碼過程期間，視頻解碼器110能夠提取深度信息。此外，視頻解碼器110能夠提取生成虛擬相機(jī)視圖的圖像所必需的附加信息，例如，相機(jī)信息或用于估計通過前面物體隱藏的閉塞(occlus1n)的信息(例如，諸如物體輪廓的幾何信息、物體透明性信息以及彩色信息)，并且將附加信息提供給3D渲染器116。然而，在本發(fā)明的其它實施例中，深度信息和/或附加信息可以通過傳輸解復(fù)用器104彼此分離。
[0040]PSI/PSIP處理器114從傳輸解復(fù)用器104接收PSI/PSIP信息，解析PSI/PSIP信息，并且將經(jīng)解析的PSI/PSIP信息存儲在存儲器(未示出)或寄存器中，以便使得能夠基于所存儲的信息廣播。3D渲染器116能夠使用經(jīng)恢復(fù)的圖像、深度信息、附加信息以及相機(jī)參數(shù)在虛擬相機(jī)位置生成彩色信息、深度信息等。
[0041]此外，通過使用經(jīng)恢復(fù)的圖像和有關(guān)經(jīng)恢復(fù)的圖像的深度信息來執(zhí)行3D變形，3D渲染器116在虛擬相機(jī)位置生成虛擬圖像。雖然在本實施例中3D渲染器116被配置為與視頻解碼器110分離的塊，但是這僅僅是示例，并且3D渲染器116可以被包括在視頻解碼器110中。
[0042]格式化器120格式化在解碼過程中恢復(fù)的圖像，即，由相機(jī)拍攝的實際圖像，和由3D渲染器116根據(jù)廣播接收機(jī)的顯示模式所生成的虛擬圖像，使得3D圖像通過顯示器122來顯示。這里，響應(yīng)于用戶命令，可以選擇性地執(zhí)行深度信息和虛擬圖像在虛擬相機(jī)位置通過3D渲染器116的合成以及通過格式化器120的圖像格式化。也就是說，用戶可以操縱遙控器(未示出)，使得合成圖像不被顯示，并且指定圖像合成時間。
[0043]如上所述，用于生成3D圖像的深度信息由3D渲染器116使用。然而，在其它實施例中深度信息可以由視頻解碼器110使用。將給出其中視頻解碼器110使用深度信息的各種實施例的描述。
[0044]圖2是根據(jù)應(yīng)用本發(fā)明的實施例的視頻解碼器的框圖。
[0045]參考圖2，視頻解碼器110可以包括熵解碼單元210、逆量化單元220、逆變換單元230、環(huán)內(nèi)濾波器單元240、解碼圖片緩沖單元250、中間預(yù)測單元260以及內(nèi)部預(yù)測單元270。在圖2中，實線表示彩色圖片數(shù)據(jù)流，而虛線表示深度圖片數(shù)據(jù)流。雖然在圖2中單獨地表示了彩色圖片數(shù)據(jù)和深度圖片數(shù)據(jù)，但是彩色圖片數(shù)據(jù)和深度圖片數(shù)據(jù)的單獨表示可以指代單獨的比