視頻編碼方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明有關(guān)于=維視頻編碼。更具體地，本發(fā)明有關(guān)于根據(jù)是否為視圖間參考圖 像而運(yùn)用3D視頻編碼工具。
【背景技術(shù)】
[0002] 近年來(lái)S維（t虹ee-dimensional，3D)電視已成為一種技術(shù)趨勢(shì)，其可為觀(guān) 看者帶來(lái)震撼的觀(guān)看體驗(yàn)。各種技術(shù)被用于使能3D。其中，相較于其他技術(shù)，多視圖 (multi-view)視頻是3D電視應(yīng)用的關(guān)鍵技術(shù)。傳統(tǒng)視頻是二維（two-dimensional, 2D)媒 體，僅能向觀(guān)看者提供來(lái)自攝相機(jī)角度的場(chǎng)景的單一視圖（singleview)。然而，多視圖視 頻可提供動(dòng)態(tài)場(chǎng)景的任意視點(diǎn)（viewpoint)并為觀(guān)看者帶來(lái)真實(shí)的感官。
[0003] 多視圖視頻是通過(guò)同時(shí)使用多個(gè)攝相機(jī)捕捉一個(gè)場(chǎng)景而建立的，其中，多個(gè)攝相 機(jī)位于適當(dāng)?shù)奈恢肳使每個(gè)攝相機(jī)各從一個(gè)視點(diǎn)捕捉場(chǎng)景。相應(yīng)地，多個(gè)攝相機(jī)將捕捉多 個(gè)視頻序列（videosequence)。為了提供更多的視圖，已使用更多的攝相機(jī)W產(chǎn)生多視圖 視頻，其中該多視圖視頻具有相應(yīng)于視圖的大量視頻序列。相應(yīng)地，多視圖視頻需要大量的 存儲(chǔ)空間進(jìn)行存儲(chǔ)及/或高的帶寬進(jìn)行傳輸。因此，技術(shù)領(lǐng)域中已發(fā)展了多視圖視頻編碼 技術(shù)W減少傳輸帶寬所需的存儲(chǔ)空間。
[0004] 一種直接的方法是對(duì)每個(gè)單一視圖的視頻序列獨(dú)立地應(yīng)用傳統(tǒng)視頻編碼技術(shù)而 忽略不同視圖之間的關(guān)聯(lián)（correlation)。該種編碼系統(tǒng)是非常無(wú)效率的。為了改進(jìn)多 視圖視頻編碼效率，多視圖視頻編碼利用視圖間殘差（inter-viewre化ndancy)。通過(guò)擴(kuò) 展現(xiàn)有的視頻編碼標(biāo)準(zhǔn)，3D編碼工具已經(jīng)得到發(fā)展或正在發(fā)展中。例如，存在多種標(biāo)準(zhǔn)發(fā) 展活動(dòng)W將H. 264/AVC(演進(jìn)的視頻編碼）和HEVC(高效視頻編碼）擴(kuò)展至多視圖視頻編 碼（multi-viewvideocoding,MVC)和3D編碼。將該種發(fā)展中的對(duì)應(yīng)新標(biāo)準(zhǔn)分別稱(chēng)為 3D-HEVC或3D-AVC編碼。用于3D-HEVC或3D-AVC的已發(fā)展的或正在發(fā)展中的各種3D編碼 工具回顧如下。
[0005]圖 1 為包括視差補(bǔ)償預(yù)測(cè)（Disparit5f-CompensatedPrediction,DCP)和運(yùn)動(dòng)補(bǔ) 償預(yù)測(cè)（motion-compensatedprediction,MCP)的3D視頻編碼系統(tǒng)。將用于DCP的矢 量（110)稱(chēng)為視差矢量（disparityvector,DV)，其模擬MCP中使用的運(yùn)動(dòng)矢量（motion vector,MV)。圖1顯示相應(yīng)于MCP的S個(gè)MV(120,130和140)。此外，可W視差矢量預(yù)測(cè) 器（disparityvectorpredictor，DVP)候選項(xiàng)來(lái)預(yù)測(cè)DCP的DV110,其中，DVP候選項(xiàng)可從 使用視圖間參考圖像的相鄰區(qū)塊或時(shí)間共位區(qū)塊（temporalcollocatedblock)推導(dǎo)。視 圖間參考圖像（160)可與當(dāng)前圖像（150)具有相同圖像順序計(jì)數(shù)（pic化reordercount, POC)。然而，由于視圖間參考圖像（160)和當(dāng)前圖像（150)為不同圖像，因此他們具有不同 的視圖索引（viewindex)。
[0006] 在當(dāng)前3D-HEVC中，視圖間運(yùn)動(dòng)預(yù)測(cè)用于共享參考視圖的先前編碼運(yùn)動(dòng)信息。為 了推導(dǎo)相關(guān)視圖中的當(dāng)前區(qū)塊的候選運(yùn)動(dòng)參數(shù)，首先推導(dǎo)當(dāng)前區(qū)塊的DV，然后通過(guò)將DV加 至當(dāng)前區(qū)塊的位置來(lái)定位相關(guān)視圖中的已編碼圖像中的預(yù)測(cè)區(qū)塊。如果使用MCP編碼預(yù)測(cè) 區(qū)塊，可將相應(yīng)的運(yùn)動(dòng)參數(shù)用作當(dāng)前視圖中當(dāng)前區(qū)塊的候選運(yùn)動(dòng)參數(shù)。也可直接將DV用作DCP的候選DV。
[0007] 對(duì)于當(dāng)前區(qū)塊，可在視圖間圖像中從視圖間區(qū)塊中推導(dǎo)運(yùn)動(dòng)矢量預(yù)測(cè)器（Motion VectorPredictor,MVP)/視差矢量預(yù)測(cè)器（DisparityVectorPredictor,DVP)。在后續(xù) 中，可將視圖間圖像中的視圖間區(qū)塊簡(jiǎn)稱(chēng)為視圖間區(qū)塊。將推導(dǎo)的候選項(xiàng)稱(chēng)為"視圖間候選 項(xiàng)"，其可為視圖間MVP或DVP。根據(jù)其他視圖中的先前編碼的運(yùn)動(dòng)信息對(duì)當(dāng)前區(qū)塊（例如， 當(dāng)前預(yù)測(cè)單元（predictionunit,PU))的運(yùn)動(dòng)信息進(jìn)行編碼的編碼工具稱(chēng)為"視圖間運(yùn)動(dòng) 參數(shù)預(yù)測(cè)"。此外，將相鄰視圖中的對(duì)應(yīng)區(qū)塊稱(chēng)為"視圖間區(qū)塊"且使用從當(dāng)前圖像中的當(dāng) 前區(qū)塊的深度信息推導(dǎo)的視差矢量來(lái)定位視圖間區(qū)塊。
[000引圖2為時(shí)間視圖間運(yùn)動(dòng)預(yù)測(cè)的示例示意圖，其中，W視圖間參考圖像中的對(duì)應(yīng)區(qū) 塊（220)預(yù)測(cè)依賴(lài)視圖（dependentview)中的當(dāng)前區(qū)塊（210)的運(yùn)動(dòng)信息。W視差矢量 (230)規(guī)范對(duì)應(yīng)區(qū)塊（220)的位置。對(duì)應(yīng)區(qū)塊（220)的運(yùn)動(dòng)信息（222)用于預(yù)測(cè)當(dāng)前視圖 中的當(dāng)前區(qū)塊（210)的運(yùn)動(dòng)信息（212)。
[0009] 視圖合成預(yù)測(cè)（ViewSynthesisPrediction,VSF0是移除來(lái)自不同視點(diǎn) (viewpoint)的視頻信號(hào)之間的視圖間殘差的技術(shù)，其中，合成信號(hào)用作預(yù)測(cè)當(dāng)前圖像的參 考。示例的VSP流程如圖3所示。圖3為依賴(lài)視差矢量的視圖合成預(yù)測(cè)的示例示意圖。VSP 定位參考視圖的重建深度數(shù)據(jù)并將其用作當(dāng)前PU的虛擬深度（virtualdepth)。使用名 為相鄰區(qū)塊視差矢量（Nei曲boringBlockDisparityVector,NBDV)定位重構(gòu)深度數(shù)據(jù)。 在圖3中，對(duì)依賴(lài)紋理圖像（ckpendenttex化repic化re) (310)中的當(dāng)前預(yù)測(cè)單元（PU) (312)進(jìn)行編碼。對(duì)當(dāng)前區(qū)塊（312)的相鄰區(qū)塊（314)的視差矢量（330)進(jìn)行標(biāo)記，其中， 視差矢量（330)指向參考深度圖像（320)中的一個(gè)區(qū)塊（324)。然后當(dāng)前PU(3。）使用視 差矢量（330' )W定位參考深度圖像（320)中的對(duì)應(yīng)參考深度區(qū)塊（322)。將參考深度區(qū) 塊（322)用作當(dāng)前PU(312)的虛擬深度區(qū)塊。然后根據(jù)從PU的每個(gè)8X8分區(qū)的虛擬深度 中推導(dǎo)的視差矢量產(chǎn)生預(yù)測(cè)信號(hào)。使用從虛擬深度區(qū)塊推導(dǎo)的視差值定位參考紋理圖像 (referencetex1:urepicture)中的對(duì)應(yīng)參考樣本。例如，根據(jù)S個(gè)箭頭（350a-c)指示的 各視差值，將當(dāng)前紋理區(qū)塊（312)中的=個(gè)樣本映射至參考紋理圖像（312)中的=個(gè)樣本。 映射過(guò)程稱(chēng)為后向彎曲化ackwardwa巧ing)。此外，可在子PU層級(jí)精度（例如2x2或4x4 區(qū)塊）執(zhí)行彎曲操作。
[0010] 改進(jìn)殘差預(yù)測(cè)（Advancedresidualprediction,ARP)為當(dāng)前 3D-HEVC測(cè)試模型 中使用的另一種3D編碼工具。ARP的主程序可描述為如圖4中所示，圖4為依賴(lài)視差矢量 的改進(jìn)殘差預(yù)測(cè)的示例示意圖。其中，當(dāng)前預(yù)測(cè)單元（PU412)為使用運(yùn)動(dòng)矢量mvLX的時(shí)間 預(yù)測(cè)區(qū)塊。圖像410和440在當(dāng)前視圖中，而圖像420和450在參考視圖中。圖像410和 420對(duì)應(yīng)于具有當(dāng)前帖時(shí)間（化ametime)的兩個(gè)圖像，而圖像440和450對(duì)應(yīng)于參考帖時(shí) 間中的兩個(gè)圖像。使用運(yùn)動(dòng)矢量mvLxW帖440中的時(shí)間參考區(qū)塊442對(duì)當(dāng)前區(qū)塊412進(jìn) 行時(shí)間預(yù)測(cè)。區(qū)塊422為用于當(dāng)前區(qū)塊412的參考視圖中的對(duì)應(yīng)區(qū)塊。根據(jù)視差矢量430 從區(qū)塊412的位置中定位區(qū)塊422。使用相同運(yùn)動(dòng)矢量mvLxW定位對(duì)應(yīng)于區(qū)塊422的參考 視圖中的時(shí)間參考區(qū)塊（452)。使用區(qū)塊452和區(qū)塊422之間的參考視圖中的參考?xì)埐頦 預(yù)測(cè)區(qū)塊412和區(qū)塊442之間的當(dāng)前殘差。
[0011] 在上述3D編碼工具中，即，IVMP、VSP及ARP中，它們依賴(lài)視圖間的參考圖像。如 果相應(yīng)的視圖間參考圖像不可用，則該些3D編碼工具將無(wú)法正確執(zhí)行。相應(yīng)地，需要開(kāi)發(fā) 一種工具W克服當(dāng)相應(yīng)的視圖間參考圖像不可用時(shí)的問(wèn)題。

【發(fā)明內(nèi)容】

[0012] 有鑒于此，本發(fā)明提供一種視頻編碼方法及裝置。
[0013] 本發(fā)明提供一種視頻編碼方法，用于=維或多視圖視頻編碼或解碼系統(tǒng)，該方法 包括；在依賴(lài)視圖中接收相應(yīng)于當(dāng)前區(qū)塊的輸入數(shù)據(jù)；確定是否由視差矢量指示的視圖間 參考圖像在相應(yīng)于包括該當(dāng)前區(qū)塊的當(dāng)前條帶的當(dāng)前參考列表中W用于使用該視差矢量 的一或多個(gè)=維編碼工具；如果由該視差矢量指示的該視圖間參考圖像不在相應(yīng)于該當(dāng)前 條帶的該當(dāng)前參考列表中，禁止用于該當(dāng)前區(qū)塊的該一或多個(gè)S維編碼工具；如果由該視 差矢量指示的該視圖間參考圖像在相應(yīng)于該當(dāng)前條帶的該當(dāng)前參考列表中，使能用于該當(dāng) 前區(qū)塊的該一或多個(gè)S維編碼工具。
[0014] 本發(fā)明另提供一種視頻編碼裝置，用于=維或多視圖視頻編碼或解碼系統(tǒng)，該裝 置包括：用于在依賴(lài)視圖中接收相應(yīng)于當(dāng)前區(qū)塊的輸入數(shù)據(jù)的電路；用于確定是否由視差 矢量指示的視圖間參考圖像在相應(yīng)于包括該當(dāng)前區(qū)塊的當(dāng)前條帶的當(dāng)前參考列表中的電 路，W用于使用該視差矢量的一或多個(gè)S維編碼工具；用于如果由該視差矢量指示的該視 圖間參考圖像不在相應(yīng)于該當(dāng)前條帶的該當(dāng)前參考列表中則禁止用于該當(dāng)前區(qū)塊的該一 或多個(gè)S維編碼工具的電路；用于如果由該視差矢量指示的該視圖間參考圖像在相應(yīng)于該 當(dāng)前條帶的該當(dāng)前參考列表中則使能用于該當(dāng)前區(qū)塊的該一或多個(gè)S維編碼工具的電路。
[0015] 本發(fā)明提供的視頻編碼方法可克服當(dāng)相應(yīng)的視圖間參考圖像不可用時(shí)的問(wèn)題，正 確地執(zhí)行編碼。
【附圖說(shuō)明】
[0016] 圖1為包括視差補(bǔ)償預(yù)測(cè)和運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的3D視頻編碼系統(tǒng)。
[0017] 圖2為時(shí)間視圖間運(yùn)動(dòng)預(yù)測(cè)的示例示意圖。
[001引圖3為依賴(lài)視差矢量的視圖合成預(yù)測(cè)的示例示意圖。
[0019] 圖4為依賴(lài)視差矢量的改進(jìn)殘差預(yù)測(cè)的示例示意圖。
[0020] 圖5為根據(jù)本發(fā)明一個(gè)實(shí)施例的=維或多視圖視頻編碼或解碼的流程圖。
【具體實(shí)施方式】
[002U如上所述，DV廣泛用于S維視頻編碼系統(tǒng)的各種編碼工具中。然而，由推導(dǎo)的DV指示的視圖間參考圖像可能并不包括在當(dāng)前條帶（slice)的參考圖像列表中。如果選擇依 賴(lài)此DV的3D工具，例如IVMP、VSP或ARP，由于由推導(dǎo)的DV指示的視圖間參考圖像可能并不 包括在當(dāng)前條帶的參考圖像列表中，3D工具將是無(wú)用的。換言之，當(dāng)推導(dǎo)的DV的參考視圖