深度圖估計(jì)的推導(dǎo)的制作方法
【專利摘要】在用于產(chǎn)生和更新用于對(duì)多視圖視頻數(shù)據(jù)進(jìn)行譯碼的視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù)測(cè)的深度圖估計(jì)的一些實(shí)例性技術(shù)中，多個(gè)相依視圖中的每一者與相依深度視圖估計(jì)相關(guān)聯(lián)，所述相依深度視圖估計(jì)可基于相對(duì)于基本視圖對(duì)所述相依視圖的紋理數(shù)據(jù)的譯碼而產(chǎn)生或更新。在此些實(shí)例中，相依深度圖估計(jì)中的每一者可經(jīng)變形到基本視圖以產(chǎn)生多個(gè)基本深度圖估計(jì)中的相應(yīng)一者。用于深度圖估計(jì)對(duì)的每一相依深度圖估計(jì)和相應(yīng)基本深度圖估計(jì)與多個(gè)相依視圖中的相應(yīng)一者相關(guān)聯(lián)。
【專利說明】深度圖估計(jì)的推導(dǎo)
[0001] 本申請(qǐng)案主張2012年6月13日申請(qǐng)的第61/659, 290號(hào)美國(guó)臨時(shí)申請(qǐng)案的權(quán)益， 所述申請(qǐng)案的整個(gè)內(nèi)容以引用方式并入本文。

【技術(shù)領(lǐng)域】
[0002] 本發(fā)明涉及視頻譯碼，且更特定來說涉及用于多視圖視頻譯碼的深度圖的推導(dǎo)?！颈尘凹夹g(shù)】
[0003] 數(shù)字視頻能力可并入到廣泛范圍的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣 播系統(tǒng)、個(gè)人數(shù)字助理（PDA)、膝上型或桌上型計(jì)算機(jī)、數(shù)碼相機(jī)、數(shù)字記錄裝置、數(shù)字媒體 播放器、視頻游戲裝置、視頻游戲控制臺(tái)、蜂窩式或衛(wèi)星無線電電話、視頻電話會(huì)議裝置，及 其類似物。數(shù)字視頻裝置實(shí)施視頻壓縮技術(shù)，例如在由MPEG-2、MPEG-4、ITU-TH. 263、ITU-T H. 264/MPEG-4第10部分高級(jí)視頻譯碼（AVC)、當(dāng)前在開發(fā)的高效視頻譯碼（HEVC)標(biāo)準(zhǔn)所 定義的標(biāo)準(zhǔn)和這些標(biāo)準(zhǔn)的擴(kuò)展中所描述的技術(shù)。視頻裝置可通過實(shí)施此類視頻譯碼技術(shù)來 更有效地發(fā)射、接收、編碼、解碼和/或存儲(chǔ)數(shù)字視頻信息。
[0004] 視頻譯碼技術(shù)包含空間（圖片內(nèi)）預(yù)測(cè)和/或時(shí)間或視圖（圖片間）預(yù)測(cè)以減少 或移除視頻序列中固有的冗余。針對(duì)基于塊的視頻譯碼，視頻切片（例如，圖片或圖片的一 部分）可分割為若干視頻塊，所述視頻塊也可被稱為樹塊、譯碼單元（CU)和/或譯碼節(jié)點(diǎn)。 圖片的經(jīng)幀內(nèi)譯碼（I)切片中的視頻塊是相對(duì)于同一圖片中的相鄰塊中的參考樣本使用 空間預(yù)測(cè)來編碼。圖片的經(jīng)幀間譯碼（P或B)切片中的視頻塊可相對(duì)于同一圖片中的相鄰 塊中的參考樣本使用空間預(yù)測(cè)，或相對(duì)于其它參考圖片中的參考樣本使用時(shí)間預(yù)測(cè)。圖片 可稱為幀，且參考圖片可稱為參考幀。
[0005] 空間或時(shí)間預(yù)測(cè)針對(duì)待譯碼的塊產(chǎn)生預(yù)測(cè)性塊。殘余數(shù)據(jù)表示在待譯碼的原始?jí)K 與預(yù)測(cè)性塊之間的像素差。經(jīng)幀間譯碼塊是根據(jù)指向形成預(yù)測(cè)性塊的參考樣本的塊的運(yùn)動(dòng) 向量及指示在經(jīng)譯碼塊與預(yù)測(cè)性塊之間的差的殘余數(shù)據(jù)來編碼。經(jīng)幀內(nèi)譯碼塊是根據(jù)幀內(nèi) 譯碼模式及殘余數(shù)據(jù)來編碼。為進(jìn)行進(jìn)一步壓縮，可將殘余數(shù)據(jù)從像素域變換到變換域，從 而產(chǎn)生接著可被量化的殘余變換系數(shù)。最初以二維陣列布置的經(jīng)量化變換系數(shù)可經(jīng)掃描， 以便產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用熵譯碼以實(shí)現(xiàn)甚至更多的壓縮。


【發(fā)明內(nèi)容】

[0006] 大體上，本發(fā)明描述用于多視圖視頻譯碼的視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù) 測(cè)的技術(shù)。更特定來說，本發(fā)明描述用于產(chǎn)生和更新用于視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘 余預(yù)測(cè)的深度圖估計(jì)的技術(shù)。在一些實(shí)例中，多個(gè)相依視圖中的每一者與相依深度視圖估 計(jì)相關(guān)聯(lián)，所述相依深度視圖估計(jì)可基于相對(duì)于基本視圖的相依視圖的紋理數(shù)據(jù)的譯碼而 產(chǎn)生或更新。在此些實(shí)例中，相依深度圖估計(jì)中的每一者可經(jīng)變形到基本視圖以產(chǎn)生多個(gè) 基本深度圖估計(jì)中的相應(yīng)一者。每一相依深度圖估計(jì)和相應(yīng)基本深度圖估計(jì)用于與多個(gè)相 依視圖中的相應(yīng)一者相關(guān)聯(lián)的深度圖估計(jì)對(duì)。
[0007] 在一些實(shí)例中，在對(duì)共同視圖中的非錨點(diǎn)圖片的解碼之后更新深度圖估計(jì)對(duì)的基 本深度圖估計(jì)中的每一者?？蓪⒔?jīng)更新基本深度圖估計(jì)變形到相應(yīng)相依視圖以產(chǎn)生經(jīng)更新 相依深度圖估計(jì)。在一些實(shí)例中，對(duì)于相依視圖中的錨點(diǎn)圖片，可停用視圖間運(yùn)動(dòng)預(yù)測(cè)，而 對(duì)于相依視圖中的非錨點(diǎn)圖片，啟用視圖間運(yùn)動(dòng)預(yù)測(cè)。
[0008] 相依視圖的視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù)測(cè)可基于其經(jīng)更新相依深度圖 估計(jì)。本文描述的技術(shù)可通過避免不同相依視圖的深度圖估計(jì)之間的相依性來促進(jìn)相依視 圖的獨(dú)立解碼。舉例來說，用于一個(gè)相依視圖的視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù)測(cè)的 深度圖估計(jì)將不取決于變形另一相依視圖的深度圖估計(jì)。因此，在經(jīng)譯碼多視圖視頻數(shù)據(jù) 中可用的各種視圖的位流提取功能性可改善。
[0009] 在一個(gè)實(shí)例中，一種對(duì)視頻數(shù)據(jù)進(jìn)行譯碼的方法，所述視頻數(shù)據(jù)包括至少一個(gè)基 本視圖和多個(gè)相依視圖，其中所述多個(gè)相依視圖取決于所述基本視圖，所述方法包括：對(duì)于 所述相依視圖中的每一者，相對(duì)于存取單元的所述基本視圖的紋理數(shù)據(jù)使用所述相依視圖 的視差運(yùn)動(dòng)信息對(duì)所述存取單元的所述相依視圖的紋理數(shù)據(jù)進(jìn)行譯碼。所述方法進(jìn)一步包 括對(duì)于所述相依視圖中的每一者，基于所述相依視圖的所述視差運(yùn)動(dòng)信息產(chǎn)生所述存取單 元的相依深度圖估計(jì)；以及將所述相依深度圖估計(jì)中的每一者變形到所述基本視圖以產(chǎn)生 所述存取單元的多個(gè)基本深度圖估計(jì)中的相應(yīng)一者。所述相依深度圖估計(jì)中的每一者和所 述相應(yīng)基本深度圖估計(jì)形成所述存取單元的多個(gè)深度圖估計(jì)對(duì)中的相應(yīng)一者且與所述多 個(gè)相依視圖中的相應(yīng)一者相關(guān)聯(lián)。
[0010] 在另一實(shí)例中，一種裝置包括用于對(duì)視頻數(shù)據(jù)進(jìn)行譯碼的視頻譯碼器，所述視頻 數(shù)據(jù)包括至少一個(gè)基本視圖和多個(gè)相依視圖，其中所述多個(gè)相依視圖取決于所述基本視 圖。所述視頻譯碼器經(jīng)配置以對(duì)于所述相依視圖中的每一者，相對(duì)于存取單元的所述基本 視圖的紋理數(shù)據(jù)使用所述相依視圖的視差運(yùn)動(dòng)信息對(duì)所述存取單元的所述相依視圖的紋 理數(shù)據(jù)進(jìn)行譯碼，且對(duì)于所述相依視圖中的每一者，基于所述相依視圖的所述視差運(yùn)動(dòng)信 息產(chǎn)生所述存取單元的相依深度圖估計(jì)。所述視頻譯碼器進(jìn)一步經(jīng)配置以將所述相依深度 圖估計(jì)中的每一者變形到所述基本視圖以產(chǎn)生所述存取單元的多個(gè)基本深度圖估計(jì)中的 相應(yīng)一者。所述相依深度圖估計(jì)中的每一者和所述相應(yīng)基本深度圖估計(jì)形成所述存取單元 的多個(gè)深度圖估計(jì)對(duì)中的相應(yīng)一者且與所述多個(gè)相依視圖中的相應(yīng)一者相關(guān)聯(lián)。
[0011] 在另一實(shí)例中，一種用于對(duì)視頻數(shù)據(jù)進(jìn)行譯碼的裝置，所述視頻數(shù)據(jù)包括至少一 個(gè)基本視圖和多個(gè)相依視圖，其中所述多個(gè)相依視圖取決于所述基本視圖，所述裝置包括： 用于對(duì)于所述相依視圖中的每一者相對(duì)于存取單元的所述基本視圖的紋理數(shù)據(jù)使用所述 相依視圖的視差運(yùn)動(dòng)信息對(duì)所述存取單元的所述相依視圖的紋理數(shù)據(jù)進(jìn)行譯碼的裝置。所 述裝置進(jìn)一步包括用于對(duì)于所述相依視圖中的每一者基于所述相依視圖的所述視差運(yùn)動(dòng) 信息產(chǎn)生所述存取單元的相依深度圖估計(jì)的裝置，以及用于將所述相依深度圖估計(jì)中的每 一者變形到所述基本視圖以產(chǎn)生所述存取單元的多個(gè)基本深度圖估計(jì)中的相應(yīng)一者的裝 置。所述相依深度圖估計(jì)中的每一者和所述相應(yīng)基本深度圖估計(jì)形成所述存取單元的多個(gè) 深度圖估計(jì)對(duì)中的相應(yīng)一者且與所述多個(gè)相依視圖中的相應(yīng)一者相關(guān)聯(lián)。
[0012] 在另一實(shí)例中，一種計(jì)算機(jī)可讀存儲(chǔ)媒體具有存儲(chǔ)于其上的指令，所述指令當(dāng)由 經(jīng)配置以對(duì)包括至少一個(gè)基本視圖和多個(gè)相依視圖的視頻數(shù)據(jù)進(jìn)行譯碼的視頻譯碼器的 一或多個(gè)處理器執(zhí)行時(shí)致使所述視頻譯碼器進(jìn)行以下操作，其中所述多個(gè)相依視圖取決于 所述基本視圖：對(duì)于所述相依視圖中的每一者，相對(duì)于存取單元的所述基本視圖的紋理數(shù) 據(jù)使用所述相依視圖的視差運(yùn)動(dòng)信息對(duì)所述存取單元的所述相依視圖的紋理數(shù)據(jù)進(jìn)行譯 碼。所述指令進(jìn)一步致使所述視頻譯碼器對(duì)于所述相依視圖中的每一者，基于所述相依視 圖的所述視差運(yùn)動(dòng)信息產(chǎn)生所述存取單元的相依深度圖估計(jì)；以及將所述相依深度圖估計(jì) 中的每一者變形到所述基本視圖以產(chǎn)生所述存取單元的多個(gè)基本深度圖估計(jì)中的相應(yīng)一 者。所述相依深度圖估計(jì)中的每一者和所述相應(yīng)基本深度圖估計(jì)形成所述存取單元的多個(gè) 深度圖估計(jì)對(duì)中的相應(yīng)一者且與所述多個(gè)相依視圖中的相應(yīng)一者相關(guān)聯(lián)。
[0013] 在附圖和以下描述中陳述一或多個(gè)實(shí)例的細(xì)節(jié)。從描述和附圖以及從權(quán)利要求書 將明了其它特征、目標(biāo)和優(yōu)點(diǎn)。

【專利附圖】

【附圖說明】
[0014] 圖1是說明實(shí)例性視頻編碼和解碼系統(tǒng)的框圖，所述系統(tǒng)可經(jīng)配置以利用本發(fā)明 中描述的技術(shù)來產(chǎn)生深度圖估計(jì)以用于多視圖視頻譯碼中的視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖 間殘余預(yù)測(cè)。
[0015] 圖2是說明相對(duì)于多個(gè)空間相鄰塊的實(shí)例性當(dāng)前視頻塊的概念圖，用于當(dāng)前塊的 空間運(yùn)動(dòng)向量預(yù)測(cè)符可從所述空間相鄰塊推導(dǎo)。
[0016] 圖3是說明包含當(dāng)前視頻塊的實(shí)例性圖片和包含可從其推導(dǎo)時(shí)間運(yùn)動(dòng)向量預(yù)測(cè) 符（TMVP)的參考?jí)K的時(shí)間參考圖片的概念圖。
[0017] 圖4是說明各自包含多個(gè)視圖的多個(gè)存取單元的實(shí)例性圖片以及基于估計(jì)深度 圖的視圖間運(yùn)動(dòng)向量預(yù)測(cè)符（IVMP)的推導(dǎo)的概念圖。
[0018] 圖5是說明如當(dāng)前界定且根據(jù)本發(fā)明的技術(shù)用于視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘 余預(yù)測(cè)的深度圖估計(jì)的產(chǎn)生之間的實(shí)例性差異的概念圖。
[0019] 圖6是說明根據(jù)本發(fā)明的技術(shù)用于視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù)測(cè)的深度 圖估計(jì)的產(chǎn)生的實(shí)例的概念圖。
[0020] 圖7是說明根據(jù)本發(fā)明的用于深度圖估計(jì)的產(chǎn)生的實(shí)例性技術(shù)的流程圖。
[0021] 圖8是說明根據(jù)本發(fā)明的用于對(duì)紋理數(shù)據(jù)進(jìn)行譯碼且產(chǎn)生錨點(diǎn)圖片的深度圖估 計(jì)的實(shí)例性技術(shù)的流程圖。
[0022] 圖9是說明根據(jù)本發(fā)明的用于對(duì)紋理數(shù)據(jù)進(jìn)行譯碼且產(chǎn)生非錨點(diǎn)圖片的深度圖 估計(jì)的實(shí)例性技術(shù)的流程圖。
[0023] 圖10是說明視頻編碼器的實(shí)例的框圖，所述視頻編碼器可實(shí)施本發(fā)明中描述的 技術(shù)來產(chǎn)生深度圖估計(jì)以用于多視圖視頻譯碼中的視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù) 測(cè)。
[0024] 圖11是說明視頻解碼器的實(shí)例的框圖，所述視頻編碼器可實(shí)施本發(fā)明中描述的 技術(shù)來產(chǎn)生深度圖估計(jì)以用于多視圖視頻譯碼中的視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù) 測(cè)。

【具體實(shí)施方式】
[0025] 本發(fā)明中描述的技術(shù)大體上涉及多視圖視頻譯碼，例如兩個(gè)或兩個(gè)以上視圖的譯 碼。更特定來說，所述技術(shù)涉及使用多視圖譯碼（MVC)過程的視頻譯碼，所述過程例如MVC 加深度過程。舉例來說，所述技術(shù)可應(yīng)用于3D-HEVC編碼器-解碼器（編解碼器），其中使 用MVC或MVC加深度譯碼過程。用于3D-HEVC譯碼過程的HEVC擴(kuò)展當(dāng)前在開發(fā)中，且如當(dāng) 前建議，利用了MVC或MVC加深度譯碼過程。另外，本發(fā)明中描述的技術(shù)涉及在例如根據(jù) 3D-HEVC的視頻譯碼等多視圖視頻譯碼的上下文中的運(yùn)動(dòng)向量預(yù)測(cè)和/或殘余預(yù)測(cè)。本文 描述的技術(shù)可由根據(jù)包含本發(fā)明中描述的標(biāo)準(zhǔn)的多種視頻譯碼標(biāo)準(zhǔn)中的任一者配置的視 頻編解碼器實(shí)施。
[0026] 作為一個(gè)實(shí)例，本發(fā)明中描述的技術(shù)可由經(jīng)配置以執(zhí)行如上文論述的3D-HEVC譯 碼過程的高效視頻譯碼（HEVC)編解碼器實(shí)施。然而，可能可經(jīng)擴(kuò)展或修改以與本發(fā)明的 技術(shù)一起使用的其它實(shí)例性視頻譯碼標(biāo)準(zhǔn)包含ITU-TH. 261、IS0/IECMPEG-1視覺、ITU-T H. 262 或IS0/IECMPEG-2 視覺、ITU-TH. 263、IS0/IECMPEG-4 視覺和ITU-TH. 264(也稱 為IS0/IECMPEG-4AVC)，包含其可縮放視頻譯碼（SVC)和多視圖視頻譯碼（MVC)擴(kuò)展。MVC 的聯(lián)合草案在"用于一般視聽服務(wù)的高級(jí)視頻譯碼"(ITU-T推薦H. 264, 2010年3月）中描 述，其在 2012 年 6 月 6HbJAAhttp://www.itu.int/ITU-T/recommendations/rec.aspx? id= 10635 下載。
[0027] 高效視頻譯碼（HEVC)當(dāng)前正由ITU-T視頻譯碼專家組（VCEG)和IS0/IEC動(dòng)畫專 家組（MPEG)的視頻譯碼聯(lián)合合作組（JCT-VC)開發(fā)。HEVC的新近草案可得自：
[0028] http://wgll.sc29.org/ict/docenduser/currentdocument,php?id= 5885/TCTVC-I1003-v2〇稱為"HEVC工作草案7"的HEVC標(biāo)準(zhǔn)的另一新近草案在2012 年6 月 6 日可從以下地址下載：http://phenix.it~sudparis.eu/ict/docenduser/ documents/9Geneva/wgll/.TCTVC-I1003-v3.zip〇HEVC工作草案 7 的完整弓|用是布羅斯 (Bross)等人文獻(xiàn)HCTVC-I1003，"高效視頻譯碼（HEVC)文字規(guī)范草案7"(ITU-TSG16WP3 和IS0/IECJTC1/SC29/WG11的視頻譯碼聯(lián)合合作組（JCT-VC)，瑞士日內(nèi)瓦第9次會(huì)議， 2012年4月27日到2012年5月7日）。HEVC標(biāo)準(zhǔn)的AVC兼容視頻加深度擴(kuò)展的新近草案 可從 http://phenix.it-sudparis.eu/ict2/docenduser/currentdocument,php?id= 456下載。此文獻(xiàn)的完整引用是哈努克色拉（Hannuksela)等人的JCT3V-B1002，"3D-AVC 草案文本4"(ITU-TSG16和ISO/IEC/JDTC1/SC29/WG11的3D視頻譯碼擴(kuò)展開發(fā)聯(lián)合合 作組（JCT3V)，第2次會(huì)議，中國(guó)上海，2012年10月13日到2012年10月19日）。3D-HEVC 的最新參考軟件HM版本3. 0可從以下鏈接下載：https: //hevc.hhi.fraunhofer.de/svn/ svn3DVCSoftware/tags/HTM-3. 0/〇 用于 3D-HEVC的軟件HM版本 3. 0 的軟件描述在wl2559 號(hào)文獻(xiàn)中描述。wl2559的完整引用是舒瓦茨（Schwarz)等人的"基于HEVC的3D視頻譯碼 的考慮下的測(cè)試模型"(MPEG會(huì)議IS0/IECJTC1/SC29/WG11MPEG2011/N12559,加利福尼亞 州圣何塞，2012年2月）。
[0029] 當(dāng)前由動(dòng)畫專家組（MPEG)開發(fā)的基于HEVC的3D視頻譯碼（3D-HEVC)編解碼器 的實(shí)例在MPEG文獻(xiàn)m22570、m22571和m23698中描述。m22570的完整引用為：舒瓦茨等 人的"夫瑯和費(fèi)HHI的3D視頻譯碼技術(shù)建議的說明（HEVC兼容配置A) "（MPEG會(huì)議ISO/ IECJTC1/SC29/WG11 文獻(xiàn)MPEG11/M22570,瑞士日內(nèi)瓦，2011 年 11 月 /12 月）。m22571 的完整引用為：舒瓦茨等人的"夫瑯和費(fèi)HHI的3D視頻技術(shù)建議的說明（HEVC兼容配置 B)"（MPEG會(huì)議IS0/IECJTC1/SC29/WG11 文獻(xiàn)MPEG11/M22571，瑞士日內(nèi)瓦，2011 年 11 月 /12月）。m23698的完整引用為：舒瓦茨等人的"HHI的視圖間運(yùn)動(dòng)參數(shù)預(yù)測(cè)的3D-HEVC-CE3 結(jié)果"（MPEG會(huì)議ISO/IECJTC1/SC29/WG11 文獻(xiàn)MPEG12/M23698,美國(guó)圣何塞，2012 年 2 月）。
[0030] 先前參考中的每一者以其相應(yīng)全文引用的方式并入本文。本發(fā)明中描述的技術(shù)不 限于這些標(biāo)準(zhǔn)，且可擴(kuò)展到其它標(biāo)準(zhǔn)，包含依賴于運(yùn)動(dòng)向量預(yù)測(cè)和/或殘余預(yù)測(cè)來視頻譯 碼的技術(shù)。
[0031] 圖1是說明實(shí)例性視頻編碼和解碼系統(tǒng)10的框圖，所述系統(tǒng)可經(jīng)配置以利用本發(fā) 明中描述的技術(shù)來產(chǎn)生深度圖估計(jì)以用于多視圖視頻譯碼中的視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視 圖間殘余預(yù)測(cè)。如圖1的實(shí)例中所示，系統(tǒng)10包含源裝置12,其產(chǎn)生經(jīng)編碼視頻以用于由 目的地裝置14解碼。源裝置12可將經(jīng)編碼視頻經(jīng)由通信信道16發(fā)射到目的地裝置14， 或可將經(jīng)編碼視頻存儲(chǔ)在存儲(chǔ)裝置36 (例如存儲(chǔ)媒體或文件服務(wù)器）上，使得經(jīng)編碼視頻 可在需要時(shí)由目的地裝置14存取。源裝置12和目的地裝置14可包括廣泛多種的裝置中 的任一者，包含桌上型計(jì)算機(jī)、筆記本（即，膝上型）計(jì)算機(jī)、平板計(jì)算機(jī)、機(jī)頂盒、電話手持 機(jī)（包含蜂窩式電話或手持機(jī)和所謂的智能電話）、電視機(jī)、相機(jī)、顯示裝置、數(shù)字媒體播放 器、視頻游戲控制臺(tái)或類似物。
[0032] 在許多情況下，此些裝置可經(jīng)配備以用于無線通信。因此，通信信道16可包括無 線信道?；蛘?，通信信道16可包括有線信道、無線與有線信道的組合，或適合于經(jīng)編碼視頻 數(shù)據(jù)的發(fā)射的任一其它類型的通信信道或通信信道組合，例如射頻（RF)頻譜或者一或多 個(gè)物理傳輸線。在一些實(shí)例中，通信信道16可形成例如局域網(wǎng)（LAN)、廣域網(wǎng)（WAN)或全球 網(wǎng)（例如，因特網(wǎng)）的基于包的網(wǎng)絡(luò)的部分。通信信道16因此通常表示用于將視頻數(shù)據(jù)從 源裝置12發(fā)射到目的地裝置14的任何合適通信媒體或不同通信媒體的集合，包含有線或 無線媒體的任一合適組合。通信信道16可包含路由器、交換器、基站，或可用以促進(jìn)從源裝 置12到目的地裝置14的通信的任何其它設(shè)備。
[0033] 如圖1的實(shí)例中進(jìn)一步展示，源裝置12包含視頻源18、視頻編碼器20和輸出接口 22。視頻源18可包含視頻俘獲裝置。視頻俘獲裝置例如可包含以下各項(xiàng)中的一或多者：攝 像機(jī)，含有先前俘獲視頻的視頻存檔，用以從視頻內(nèi)容提供者接收視頻的視頻饋送接口，和 /或用于產(chǎn)生計(jì)算機(jī)圖形數(shù)據(jù)作為源視頻的計(jì)算機(jī)圖形系統(tǒng)。作為一個(gè)實(shí)例，如果視頻源 18為攝像機(jī)，那么源裝置12和目的地裝置14可形成所謂的像機(jī)電話或視頻電話，例如，如 智能電話或平板計(jì)算機(jī)或其它移動(dòng)計(jì)算裝置中那樣。然而本發(fā)明中描述的技術(shù)不限于無線 應(yīng)用或設(shè)定，且可應(yīng)用于包含視頻編碼和/或解碼能力的非無線裝置。源裝置12和目的地 裝置14因此僅為可支持本文描述的技術(shù)的譯碼裝置的實(shí)例。
[0034] 視頻編碼器20可對(duì)所俘獲、預(yù)俘獲或計(jì)算機(jī)產(chǎn)生的視頻進(jìn)行編碼，如下文將更詳 細(xì)描述。視頻編碼器20可將經(jīng)編碼視頻輸出到輸出接口 22,所述輸出接口可經(jīng)由通信信道 16將經(jīng)編碼視頻提供到目的地裝置14。輸出接口 22在一些實(shí)例中可包含調(diào)制器/解調(diào)器 ("調(diào)制解調(diào)器"）和/或發(fā)射器。
[0035] 輸出接口 22可另外或替代地將由視頻編碼器20編碼的所俘獲、預(yù)俘獲或計(jì)算機(jī) 產(chǎn)生的視頻提供到存儲(chǔ)裝置36以用于稍后檢索、解碼和消耗。存儲(chǔ)裝置36可包含藍(lán)光光 盤、DVDXD-R0M、快閃存儲(chǔ)器或用于存儲(chǔ)經(jīng)編碼視頻的任一其它合適的數(shù)字存儲(chǔ)媒體。目的 地裝置14可存取存儲(chǔ)在存儲(chǔ)裝置上的經(jīng)編碼視頻，對(duì)此經(jīng)編碼視頻進(jìn)行解碼以產(chǎn)生經(jīng)解 碼視頻且重放此經(jīng)解碼視頻。
[0036] 存儲(chǔ)裝置36可另外或替代地包含能夠存儲(chǔ)經(jīng)編碼視頻且將所述經(jīng)編碼視頻發(fā)射 到目的地裝置14的任一類型的服務(wù)器。實(shí)例文件服務(wù)器、網(wǎng)絡(luò)服務(wù)器（例如，用于網(wǎng)站）、 FTP服務(wù)器、網(wǎng)絡(luò)附接存儲(chǔ)（NAS)裝置、本地磁盤驅(qū)動(dòng)器，或能夠存儲(chǔ)經(jīng)編碼視頻數(shù)據(jù)且將 其發(fā)射到目的地裝置的任一其它類型的裝置。經(jīng)編碼視頻數(shù)據(jù)從存儲(chǔ)裝置36的發(fā)射可為 流式傳輸發(fā)射、下載發(fā)射或兩者的組合。目的地裝置14可根據(jù)任一標(biāo)準(zhǔn)數(shù)據(jù)連接（包含因 特網(wǎng)連接）存取存儲(chǔ)裝置36。此連接可包含無線信道（例如，Wi-Fi連接或無線蜂窩式數(shù) 據(jù)連接）、有線連接（例如，DSL、電纜調(diào)制解調(diào)器等等）、有線與無線信道的組合，或適合于 存取存儲(chǔ)在文件服務(wù)器上的經(jīng)編碼視頻數(shù)據(jù)的任一其它類型的通信信道。
[0037] 在圖1的實(shí)例中，目的地裝置14包含用于接收信息（包含經(jīng)譯碼視頻數(shù)據(jù)）的輸 入接口 28、視頻解碼器30和顯示裝置32。由輸入接口 28接收的信息可包含多種語法信息， 其由視頻編碼器20產(chǎn)生以供視頻解碼器30用于對(duì)相關(guān)聯(lián)經(jīng)編碼視頻數(shù)據(jù)進(jìn)行解碼。視頻 編碼器20和視頻解碼器30中的每一者可形成能夠?qū)σ曨l數(shù)據(jù)進(jìn)行編碼或解碼的相應(yīng)編碼 器-解碼器（編解碼器）的部分。
[0038] 目的地裝置14的顯示裝置32表示能夠呈現(xiàn)視頻數(shù)據(jù)供觀看者消耗的任一類型的 顯示器。雖然展示為與目的地裝置14集成，但顯示裝置32可與目的地裝置14集成或在目 的地裝置14外部。在一些實(shí)例中，目的地裝置14可包含集成顯示裝置且還經(jīng)配置以與外 部顯示裝置介接。在其它實(shí)例中，目的地裝置14可為顯示裝置。大體上，顯示裝置32向用 戶顯示經(jīng)解碼視頻數(shù)據(jù)，且可包括多種顯示裝置中的任一者，例如液晶顯示器（LCD)、等離 子顯示器、有機(jī)發(fā)光二極管（0LED)顯示器，或另一類型的顯示裝置。
[0039] 如上文論述，本發(fā)明中描述的技術(shù)大體上涉及多視圖或3D視頻譯碼，例如涉及兩 個(gè)或兩個(gè)以上紋理視圖和/或包含紋理和深度分量的視圖的譯碼。在一些實(shí)例中，3D視頻 譯碼技術(shù)可使用多視圖譯碼（MVC)或MVC加深度過程，例如當(dāng)前在開發(fā)的3D-HEVC標(biāo)準(zhǔn)中 那樣。在一些實(shí)例中，由視頻編碼器20編碼且由視頻解碼器30解碼的視頻數(shù)據(jù)在任一給 定時(shí)間實(shí)例處（即，"存取單元"內(nèi)）包含兩個(gè)或兩個(gè)以上圖片，或在任一給定時(shí)間實(shí)例處兩 個(gè)或兩個(gè)以上圖片可從中推導(dǎo)的數(shù)據(jù)。
[0040] 在一些實(shí)例中，例如視頻源18的裝置可例如通過使用兩個(gè)或兩個(gè)以上空間偏移 相機(jī)或其它視頻俘獲裝置來俘獲共同場(chǎng)景而產(chǎn)生所述兩個(gè)或兩個(gè)以上圖片。從稍微不同的 水平位置同時(shí)或近似同時(shí)俘獲的同一場(chǎng)景的兩個(gè)圖片可用以產(chǎn)生三維效果。在一些實(shí)例 中，視頻源18 (或源裝置12的另一組件）可使用深度信息或視差信息來從在給定時(shí)間實(shí)例 處的第一視圖的第一圖片產(chǎn)生在所述給定時(shí)間實(shí)例處的第二（或其它額外）視圖的第二 (或其它額外）圖片。在此情況下，存取單元內(nèi)的視圖可包含對(duì)應(yīng)于第一視圖的紋理分量， 和可與所述紋理分量一起用以產(chǎn)生第二視圖的深度分量。深度或視差信息可由俘獲第一視 圖的視頻俘獲裝置例如基于相機(jī)參數(shù)或關(guān)于視頻俘獲裝置的配置和第一視圖的視頻數(shù)據(jù) 的俘獲的其它已知信息而確定。深度或視差信息可另外或替代地例如由視頻源18或源裝 置12的另一組件根據(jù)相機(jī)參數(shù)和/或第一視圖中的視頻數(shù)據(jù)來計(jì)算。
[0041] 為了呈現(xiàn)3D視頻，顯示裝置32可同時(shí)或近似同時(shí)顯示與共同場(chǎng)景的不同視圖相 關(guān)聯(lián)的兩個(gè)圖片，所述不同視圖是同時(shí)或近似同時(shí)俘獲的。在一些實(shí)例中，目的地裝置14 的用戶可佩戴有源眼鏡來快速且交替地關(guān)閉左鏡片和右鏡片，且顯示裝置32可與有源眼 鏡同步地在左視圖與右視圖之間快速切換。在其它實(shí)例中，顯示裝置32可同時(shí)顯示所述兩 個(gè)視圖，且用戶可佩戴例如具有極化鏡片的無源眼鏡，其對(duì)視圖進(jìn)行過濾以致使適當(dāng)視圖 通過到用戶的眼睛。在其它實(shí)例中，顯示裝置32可包括自動(dòng)立體顯示器，其不需要用戶佩 戴眼鏡來感知3D效果。
[0042] 視頻編碼器20和視頻解碼器30可根據(jù)本文提到的視頻譯碼標(biāo)準(zhǔn)中的任一者來操 作，例如HEVC標(biāo)準(zhǔn)和當(dāng)前在開發(fā)的3D-HEVC擴(kuò)展。當(dāng)根據(jù)HEVC標(biāo)準(zhǔn)操作時(shí)，視頻編碼器20 和視頻解碼器30可符合HEVC測(cè)試模型（HM)。然而本發(fā)明的技術(shù)不限于任一特定譯碼標(biāo) 準(zhǔn)。
[0043] HM將視頻數(shù)據(jù)塊稱為譯碼單元（⑶）。大體上，⑶具有與根據(jù)H. 264譯碼的宏塊類 似的目的，不同的是CU不具有與H. 264的宏塊相關(guān)聯(lián)的大小區(qū)別。因此，CU可經(jīng)分裂為若 干子CU。大體上，本發(fā)明中對(duì)CU的參考可指代圖片的最大譯碼單元（LCU)或LCU的子CU。 舉例來說，位流內(nèi)的語法數(shù)據(jù)可界定LCU，其為在像素?cái)?shù)目方面的最大譯碼單元。LCU可經(jīng) 分裂為若干子⑶，且每一子⑶可經(jīng)分裂為若干子⑶。位流內(nèi)的語法數(shù)據(jù)可界定IXU可經(jīng) 分裂的最大次數(shù)，稱為最大CU深度。因此，位流也可界定最小譯碼單元（SCU)。
[0044] IXU可與階層式四叉樹數(shù)據(jù)結(jié)構(gòu)相關(guān)聯(lián)。大體上，四叉樹數(shù)據(jù)結(jié)構(gòu)包含每⑶一個(gè) 節(jié)點(diǎn)，其中根節(jié)點(diǎn)對(duì)應(yīng)于IXU。如果⑶經(jīng)分裂為四個(gè)子⑶，那么對(duì)應(yīng)于⑶的節(jié)點(diǎn)包含用于 對(duì)應(yīng)于所述子CU的四個(gè)節(jié)點(diǎn)中的每一者的參考。四叉樹數(shù)據(jù)結(jié)構(gòu)的每一節(jié)點(diǎn)可提供用于 對(duì)應(yīng)CU的語法數(shù)據(jù)。舉例來說，四叉樹中的節(jié)點(diǎn)可包含分裂旗標(biāo)，其指示對(duì)應(yīng)于所述節(jié)點(diǎn) 的CU是否經(jīng)分裂為若干子CU。用于CU的語法元素可以遞歸方式界定，且可取決于CU是否 經(jīng)分裂為若干子⑶。
[0045] 未經(jīng)分裂的⑶可包含一或多個(gè)預(yù)測(cè)單元（PU)。大體上，PU表示對(duì)應(yīng)⑶的全部或 一部分，且包含用于對(duì)與PU相關(guān)聯(lián)的視頻數(shù)據(jù)塊進(jìn)行譯碼的數(shù)據(jù)。舉例來說，PU可包含指 示用于對(duì)相關(guān)聯(lián)視頻數(shù)據(jù)塊進(jìn)行譯碼的預(yù)測(cè)模式的數(shù)據(jù)，例如所述塊是經(jīng)幀內(nèi)譯碼還是幀 間譯碼。經(jīng)幀內(nèi)譯碼塊是基于同一圖片中的已經(jīng)譯碼塊來譯碼。經(jīng)幀間譯碼塊是基于不同 圖片的已經(jīng)譯碼塊來譯碼。所述不同圖片可為時(shí)間上不同的圖片，即在視頻序列中在當(dāng)前 圖片之前或之后的圖片。
[0046] 在多視圖譯碼的情況下，例如在3D-HEVC中，所述不同圖片可為來自與當(dāng)前圖片 相同的存取單元但與不同于當(dāng)前圖片的視圖相關(guān)聯(lián)的圖片。在此情況下，幀間預(yù)測(cè)可稱為 視圖間譯碼。當(dāng)對(duì)非基本視圖（例如，相依視圖）的圖片進(jìn)行譯碼時(shí)，可將來自同一存取單 元但不同視圖（例如，來自參考視圖）的圖片添加到參考圖片列表中?？蓪⒁晥D間參考圖 片放到參考圖片列表的任一位置，如任一幀間預(yù)測(cè)（例如，時(shí)間或視圖間）參考圖片的情況 那樣。
[0047] 所述不同圖片的用于預(yù)測(cè)當(dāng)前圖片的塊的塊由預(yù)測(cè)向量識(shí)別。在多視圖譯碼中， 存在兩種預(yù)測(cè)向量。一種是指向時(shí)間參考圖片中的塊的運(yùn)動(dòng)向量，且對(duì)應(yīng)幀間預(yù)測(cè)稱為運(yùn) 動(dòng)補(bǔ)償預(yù)測(cè)（MCP)。另一類型的預(yù)測(cè)向量是視差向量，其指向在同一存取單元當(dāng)前圖片中的 圖片中但不同視圖的塊。關(guān)于視差向量，對(duì)應(yīng)幀間預(yù)測(cè)稱為視差補(bǔ)償預(yù)測(cè)（DCP)。
[0048] 界定運(yùn)動(dòng)向量或視差向量的數(shù)據(jù)可描述例如預(yù)測(cè)向量的水平分量、預(yù)測(cè)向量的 垂直分量以及預(yù)測(cè)向量的分辨率（例如，整數(shù)精度、四分之一像素精度或八分之一像素精 度）。PU的數(shù)據(jù)也可包含指示預(yù)測(cè)方向的數(shù)據(jù)，例如用以識(shí)別應(yīng)使用參考圖片列表L0和L1 中的哪一者。PU的數(shù)據(jù)還可包含指示運(yùn)動(dòng)向量或視差運(yùn)動(dòng)向量指向的參考圖片的數(shù)據(jù)，例 如到參考圖片列表中的參考圖片索引。界定PU的用于CU的數(shù)據(jù)也可描述例如CU分割為 一或多個(gè)PU。分割模式可在CU是否未經(jīng)譯碼、經(jīng)幀內(nèi)預(yù)測(cè)模式編碼或經(jīng)幀間預(yù)測(cè)模式編碼 之間不同。
[0049] 除了具有一或多個(gè)ro之外，⑶還可包含一或多個(gè)變換單元（TU)。在使用PU的 預(yù)測(cè)之后，視頻編碼器可針對(duì)⑶的對(duì)應(yīng)于PU的部分計(jì)算殘余值，其中這些殘余值也可稱為 殘余數(shù)據(jù)。殘余值可包括像素差值，例如經(jīng)譯碼像素與預(yù)測(cè)性像素之間的差，其中經(jīng)譯碼像 素可與待譯碼像素塊相關(guān)聯(lián)，且預(yù)測(cè)性像素可與用以預(yù)測(cè)經(jīng)譯碼塊的一或多個(gè)像素塊相關(guān) 聯(lián)。TU不一定限于PU的大小。因此，TU可大于或小于同一⑶的對(duì)應(yīng)PU。在一些實(shí)例中， TU的最大大小可為對(duì)應(yīng)CU的大小。本發(fā)明使用術(shù)語"塊"或"視頻塊"來指代CU、PU和/ 或TU中的任一者或組合。
[0050] 為了進(jìn)一步壓縮塊的殘余值，可將殘余值變換為將數(shù)據(jù)（也稱為"能量"）盡可能 壓縮到系數(shù)中的變換系數(shù)的集合。變換技術(shù)可包括離散余弦變換（DCT)過程或概念上類似 的過程、整數(shù)變換、小波變換或其它類型的變換。所述變換將像素的殘余值從空間域轉(zhuǎn)換到 變換域。變換系數(shù)對(duì)應(yīng)于通常與原始?jí)K大小相同的二維系數(shù)矩陣。換句話說，存在恰好與 原始?jí)K中的像素一樣多的變換系數(shù)。然而，由于變換，許多變換系數(shù)可具有等于零的值。
[0051] 視頻編碼器20可隨后量化變換系數(shù)的值以進(jìn)一步壓縮視頻數(shù)據(jù)。量化通常涉及 將相對(duì)大范圍內(nèi)的值映射到相對(duì)小范圍中的值，因此減少表示經(jīng)量化變換系數(shù)所需的數(shù)據(jù) 量。量化過程可減少與系數(shù)中的一些或全部相關(guān)聯(lián)的位深度。
[0052] 在量化之后，視頻編碼器20可掃描變換系數(shù)，從而從包含經(jīng)量化變換系數(shù)的二維 矩陣產(chǎn)生一維向量。視頻編碼器20可隨后對(duì)一維向量進(jìn)行熵編碼以更進(jìn)一步壓縮數(shù)據(jù)。 大體上，熵譯碼包括共同地壓縮經(jīng)量化變換系數(shù)序列和/或其它語法信息的一或多個(gè)過 程。熵譯碼可包含例如內(nèi)容自適應(yīng)可變長(zhǎng)度譯碼（CAVLC)、上下文自適應(yīng)二進(jìn)制算術(shù)譯碼 (CABAC)、基于語法的上下文自適應(yīng)二進(jìn)制算術(shù)譯碼（SBAC)、概率區(qū)間分割熵（PIPE)譯碼， 或另一熵編碼方法。
[0053] 如上文論述，界定視頻數(shù)據(jù)塊的運(yùn)動(dòng)向量或視差向量的數(shù)據(jù)可包含預(yù)測(cè)向量的水 平和垂直分量以及預(yù)測(cè)向量的分辨率。在其它實(shí)例中，界定運(yùn)動(dòng)向量或視差向量的數(shù)據(jù)可 在稱為運(yùn)動(dòng)向量預(yù)測(cè)符（MVP)的方面描述向量。用于當(dāng)前PU的MVP可為空間相鄰PU、即 鄰近于當(dāng)前正譯碼TO的PU的運(yùn)動(dòng)向量。替代地，用于當(dāng)前PU的MVP可為另一圖片中的位 于同一地點(diǎn)的塊或此位于同一地點(diǎn)的塊的相鄰塊的運(yùn)動(dòng)向量。作為又一替代，用于當(dāng)前PU 的MVP可為從視圖間參考圖片（S卩，與當(dāng)前圖片在同一存取單元中但來自不同視圖的參考 圖片）中的參考?jí)K推導(dǎo)的運(yùn)動(dòng)向量或視差向量。
[0054] 通常，MVP的候選列表以經(jīng)界定方式形成，例如通過以具有最小振幅的MVP到具有 最大振幅的MVP(S卩，待譯碼當(dāng)前PU與參考PU之間的最小到最大位移）列出MVP，或基于參 考?jí)K的位直（例如，空間左邊、空間上方、視圖間參考圖片或時(shí)間參考圖片）列出MVP。
[0055] 在形成MVP的列表之后，視頻編碼器20可評(píng)估MVP中的每一者以確定哪一者提供 最佳地匹配于為對(duì)視頻進(jìn)行編碼而選擇的給定速率與失真簡(jiǎn)檔的最佳速率與失真特性。視 頻編碼器20可相對(duì)于MVP中的每一者執(zhí)行速率-失真優(yōu)化（RD0)程序，選擇MVP中具有最 佳RD0結(jié)果的一者。替代地，視頻編碼器20可選擇存儲(chǔ)到列表的MVP中最佳地近似為當(dāng)前 PU確定的運(yùn)動(dòng)向量的一者。在任一情況下，視頻編碼器20可使用索引來指定選定MVP，所 述索引識(shí)別MVP中在MVP候選列表中的選定一者。視頻編碼器20可在經(jīng)編碼位流中用信 號(hào)發(fā)送此索引以由視頻解碼器30使用。
[0056] 根據(jù)用于使用MVP的一個(gè)技術(shù)，視頻編碼器20和視頻解碼器30可實(shí)施稱為"合并 模式"的模式。大體上，根據(jù)合并模式，當(dāng)前塊（例如，PU)從另一先前經(jīng)譯碼塊（例如，相 鄰塊）或者時(shí)間或視圖間參考圖片中的塊繼承預(yù)測(cè)向量。當(dāng)實(shí)施合并模式時(shí)，視頻編碼器 20以經(jīng)界定方式構(gòu)造候選MVP列表（參考圖片和運(yùn)動(dòng)向量），選擇候選MVP中的一者，且在 位流中將識(shí)別選定MVP的候選列表索引用信號(hào)發(fā)送到視頻解碼器30。視頻解碼器30在實(shí) 施合并模式中接收此候選列表索引，根據(jù)經(jīng)界定方式重構(gòu)MVP候選列表，且在候選列表中 選擇由所述索引指示的MVP中的所述一者。視頻解碼器30隨后例示MVP中的所述選定一 者作為在與MVP中的所述選定一者相同分辨率下且指向MVP中的所述選定一者所指向的同 一參考圖片的用于當(dāng)前PU的預(yù)測(cè)向量。在解碼器側(cè)，一旦候選列表索引經(jīng)解碼，便繼承選 定候選的對(duì)應(yīng)塊的所有運(yùn)動(dòng)參數(shù)，例如運(yùn)動(dòng)向量、預(yù)測(cè)方向和參考圖片索引。合并模式通過 允許視頻編碼器20用信號(hào)發(fā)送到候選MVP列表中的索引而不是界定預(yù)測(cè)向量的所有信息， 來促進(jìn)位流效率。
[0057] 視頻編碼器20和視頻解碼器30利用MVP的另一技術(shù)稱為"高級(jí)運(yùn)動(dòng)向量預(yù) 測(cè)"（AMVP)。類似于合并模式，當(dāng)實(shí)施AMVP時(shí)，視頻編碼器20以經(jīng)界定方式構(gòu)造候選MVP 列表，選擇候選MVP中的一者，且在位流中將識(shí)別選定MVP的候選列表索引用信號(hào)發(fā)送到視 頻解碼器30。類似于合并模式，當(dāng)實(shí)施AMVP時(shí)，視頻解碼器30以經(jīng)界定方式重構(gòu)候選MVP 列表，對(duì)來自編碼器的候選列表索引進(jìn)行解碼，且基于候選列表索引選擇且例示MVP中的 一者。
[0058] 然而，與合并模式相反，當(dāng)實(shí)施AMVP時(shí)，視頻編碼器20還用信號(hào)發(fā)送參考圖片列 表和到參考圖片列表中的參考圖片索引，因此指定由候選列表索引指定的MVP所指向的參 考圖片。另外，對(duì)于AMVP，視頻編碼器20和視頻解碼器30兩者基于選定參考圖片列表和到 選定列表中的參考圖片索引來構(gòu)造候選列表。特定來說，選擇哪些候選以包含在列表中是 基于選定參考圖片列表和到選定列表中的參考圖片索引來確定。此外，視頻編碼器20確定 當(dāng)前塊的運(yùn)動(dòng)向量差（MVD)，其中MVD是MVP與原本將用于當(dāng)前塊的實(shí)際運(yùn)動(dòng)向量或視差運(yùn) 動(dòng)向量之間的差。
[0059] 對(duì)于AMVP，除了參考圖片索引和候選列表索引之外，視頻編碼器20在位流中用信 號(hào)發(fā)送用于當(dāng)前塊的MVD。由于給定塊的參考圖片索引和預(yù)測(cè)向量差的信令，AMVP可能不 如合并模式那樣高效，但可提供經(jīng)譯碼視頻數(shù)據(jù)的改善保真度。大體上，將本文描述的技術(shù) 描述為在使用AMVP的視頻譯碼器中實(shí)施。然而，技術(shù)在一些實(shí)例中可由使用合并模式、跳 過模式或使用MVP來表示圖片間預(yù)測(cè)向量的任一其它模式的視頻譯碼器應(yīng)用。
[0060] 最有效譯碼工具中的一者是例如使用視圖間運(yùn)動(dòng)向量預(yù)測(cè)符（IVMP)用于合并模 式或AVMP的視圖間運(yùn)動(dòng)預(yù)測(cè)，其中相依視圖中的塊的運(yùn)動(dòng)參數(shù)是基于同一存取單元中的 另一視圖中的已經(jīng)譯碼運(yùn)動(dòng)參數(shù)來預(yù)測(cè)或推斷。為了推導(dǎo)相依視圖中的當(dāng)前塊的候選運(yùn)動(dòng) 參數(shù)，例如視頻編碼器20或視頻解碼器30將與當(dāng)前塊相關(guān)聯(lián)的深度值轉(zhuǎn)換為視差向量。 視頻譯碼器使用視差向量來識(shí)別參考（例如，基本）視圖的參考圖片中的參考（即，預(yù)測(cè)） 塊。視頻譯碼器可使用參考?jí)K的運(yùn)動(dòng)參數(shù)或視差向量作為當(dāng)前塊的運(yùn)動(dòng)參數(shù)，例如用于當(dāng) 前塊的IVMP。
[0061] 另一譯碼工具是視圖間殘余預(yù)測(cè)，其為當(dāng)前HEVC3D視頻譯碼擴(kuò)展的部分。在視 圖間殘余預(yù)測(cè)中，基本上存在兩種預(yù)測(cè)：正從參考?jí)K譯碼的當(dāng)前塊的預(yù)測(cè)；以及從殘余參 考?jí)K的殘余值對(duì)當(dāng)前塊的殘余值的預(yù)測(cè)。殘余參考?jí)K是來自同一存取單元中的參考視圖中 的參考圖片的塊，且可以類似于識(shí)別用于視圖間運(yùn)動(dòng)預(yù)測(cè)的參考?jí)K的方式基于當(dāng)前塊的視 差向量來識(shí)別。在視圖間殘余預(yù)測(cè)中，從參考?jí)K對(duì)當(dāng)前塊的第一預(yù)測(cè)可為（但不一定為） 基于通過當(dāng)前塊的視差向量識(shí)別的參考?jí)K的視圖間運(yùn)動(dòng)預(yù)測(cè)。換句話說，視圖間運(yùn)動(dòng)預(yù)測(cè) 和視圖間殘余預(yù)測(cè)中的一者或兩者可用以對(duì)特定塊進(jìn)行譯碼。視圖間運(yùn)動(dòng)預(yù)測(cè)和視圖間殘 余預(yù)測(cè)兩者分別利用當(dāng)前塊的視差向量來識(shí)別參考?jí)K或殘余參考?jí)K。
[0062] 3D-HEVC支持兩種方法來構(gòu)造用于視圖間運(yùn)動(dòng)預(yù)測(cè)和視圖間殘余預(yù)測(cè)的視差向 量。根據(jù)所述方法中的一者，視頻譯碼器直接從經(jīng)譯碼深度視圖分量推導(dǎo)視差向量。根據(jù) 由3D-HEVC支持的另一方法，視頻譯碼器僅從視差向量和運(yùn)動(dòng)向量產(chǎn)生每一像素的視差向 量。這后一種方法在上文參考的m23698中簡(jiǎn)化。
[0063] 由3D-HEVC支持的后一種方法的一個(gè)問題在于，一或多個(gè)相依視圖的視圖間運(yùn)動(dòng) 預(yù)測(cè)譯碼取決于一或多個(gè)其它相依視圖的譯碼。更特定來說，根據(jù)3D-HEVC的當(dāng)前實(shí)施方 案，視頻譯碼器基于用于相依視圖的紋理數(shù)據(jù)的譯碼來推導(dǎo)用于第一相依視圖的相依深度 圖估計(jì)。視頻譯碼器隨后將相依深度圖估計(jì)變形到基本（或參考）視圖以產(chǎn)生由所有相依 視圖共享的共同基本深度圖估計(jì)。視頻譯碼器隨后將基本深度圖估計(jì)變形到第二相依視圖 以產(chǎn)生用于第二視圖的相依深度圖估計(jì)，且基于用于第二視圖的相依深度圖估計(jì)來實(shí)現(xiàn)第 二相依視圖的紋理數(shù)據(jù)的視圖間運(yùn)動(dòng)預(yù)測(cè)譯碼。
[0064] 以此方式，根據(jù)3D-HEVC的當(dāng)前實(shí)施方案，第二相依視圖的紋理數(shù)據(jù)的譯碼不獨(dú) 立于第一相依視圖的紋理數(shù)據(jù)的譯碼。第二相依視圖的譯碼取決于第二相依深度圖估計(jì)， 所述第二相依深度圖估計(jì)是通過將第一相依深度圖估計(jì)經(jīng)由基本視圖變形到第二相依視 圖來推導(dǎo)。第一相依深度圖又取決于第一相依視圖的紋理數(shù)據(jù)的解碼。3D-HEVC的當(dāng)前實(shí) 施方案中的相依視圖之間的此相依性即使當(dāng)假設(shè)相依視圖由于停用視圖之間的紋理預(yù)測(cè) 而經(jīng)獨(dú)立譯碼時(shí)也存在。相依視圖之間的此相依性導(dǎo)致缺乏位流提取功能性，例如共享同 一基本視圖的兩個(gè)立體操作點(diǎn)。舉例來說，每當(dāng)例如在第一相依視圖中以DCP或其它方式 對(duì)特定CU或其它塊進(jìn)行譯碼之后推導(dǎo)相依深度圖估計(jì)時(shí)，使用相依深度圖估計(jì)來更新基 本深度圖估計(jì)，其可用以推導(dǎo)較晚存取單元中的另一相依視圖的深度圖估計(jì)。
[0065] 本文描述的技術(shù)可通過避免不同視圖的深度圖估計(jì)之間的相依性來促進(jìn)相依視 圖的獨(dú)立解碼。舉例來說，用于一個(gè)相依視圖的視圖間運(yùn)動(dòng)預(yù)測(cè)或視圖間殘余預(yù)測(cè)的深度 圖估計(jì)將不取決于變形另一相依視圖的深度圖估計(jì)。因此，在經(jīng)譯碼多視圖視頻數(shù)據(jù)中可 用的各種視圖的位流提取功能性可改善。
[0066] 在根據(jù)本文描述的技術(shù)的一些實(shí)例中，多個(gè)相依視圖中的每一者與相依深度視圖 估計(jì)相關(guān)聯(lián)，所述相依深度視圖估計(jì)可基于相對(duì)于基本視圖的相依視圖的紋理數(shù)據(jù)的譯碼 而產(chǎn)生或更新。在此些實(shí)例中，相依深度圖估計(jì)中的每一者可經(jīng)變形到基本視圖以產(chǎn)生多 個(gè)基本深度圖估計(jì)中的相應(yīng)一者。每一相依深度圖估計(jì)和相應(yīng)基本深度圖估計(jì)用于與多個(gè) 相依視圖中的相應(yīng)一者相關(guān)聯(lián)的深度圖估計(jì)對(duì)。因此，與3D-HEVC的當(dāng)前實(shí)施方案相反，共 同基本深度圖估計(jì)未由相依視圖中的每一者共享。而是，根據(jù)本發(fā)明的技術(shù)，每一相依視圖 與包含相依深度圖估計(jì)和基本深度圖估計(jì)的相應(yīng)深度圖估計(jì)對(duì)相關(guān)聯(lián)。
[0067] 在根據(jù)本發(fā)明的一些實(shí)例中，視頻譯碼器（例如，視頻編碼器20或視頻解碼器30) 在基本視圖中的非錨點(diǎn)圖片的解碼之后更新深度圖估計(jì)對(duì)的基本深度圖估計(jì)中的每一者。 視頻譯碼器可將經(jīng)更新基本深度圖估計(jì)變形到相應(yīng)相依視圖以產(chǎn)生經(jīng)更新相依深度圖估 計(jì)。視頻譯碼器可基于其經(jīng)更新相依深度圖估計(jì)來對(duì)相依視圖的紋理數(shù)據(jù)進(jìn)行視圖間運(yùn)動(dòng) 預(yù)測(cè)譯碼。在一些實(shí)例中，對(duì)于相依視圖中的錨點(diǎn)圖片，可停用視圖間運(yùn)動(dòng)預(yù)測(cè)，而對(duì)于相 依視圖中的非錨點(diǎn)圖片，啟用視圖間運(yùn)動(dòng)預(yù)測(cè)。
[0068] 雖然圖1中未圖示，但在一些方面中，視頻編碼器20和視頻解碼器30可各自與 音頻編碼器和解碼器集成，且可包含適當(dāng)?shù)腗UX-DEMUX單元或其它硬件和軟件，以處置 共同數(shù)據(jù)流或單獨(dú)數(shù)據(jù)流中的音頻和視頻兩者的編碼。如果適用，那么在一些實(shí)例中， MUX-DEMUX單元可符合ITUH. 223多路復(fù)用器協(xié)議，或例如用戶數(shù)據(jù)報(bào)協(xié)議（UDP)等其它協(xié) 議。
[0069] 可將視頻編碼器20和視頻解碼器30各自實(shí)施為多種合適的編碼器電路中的任一 者，例如一或多個(gè)微處理器、數(shù)字信號(hào)處理器OSP)、專用集成電路（ASIC)、現(xiàn)場(chǎng)可編程門 陣列（FPGA)、離散邏輯、軟件、硬件、固件，或其任何組合。當(dāng)所述技術(shù)部分地以軟件實(shí)施時(shí)， 裝置可將用于所述軟件的指令存儲(chǔ)在合適的非暫時(shí)性計(jì)算機(jī)可讀媒體中，且使用一或多個(gè) 處理器以硬件執(zhí)行所述指令以執(zhí)行本發(fā)明的技術(shù)?？蓪⒁曨l編碼器20和視頻解碼器30中 的每一者包含于一或多個(gè)編碼器或解碼器中，其中任一者可集成為相應(yīng)裝置中的組合式編 碼器/解碼器（CODEC)的部分。
[0070] 圖2是說明相對(duì)于多個(gè)空間相鄰（例如，鄰近）塊102A到102B和104A到104C 塊的實(shí)例性當(dāng)前視頻塊100的概念圖，用于當(dāng)前塊的空間運(yùn)動(dòng)向量預(yù)測(cè)符可從所述空間相 鄰塊推導(dǎo)。空間相鄰塊102A到102B在當(dāng)前塊100的左邊，且空間相鄰塊104A到104C在 當(dāng)前塊100上方。在一些實(shí)例中，視頻塊100以及視頻塊102A到102B和104A到104C可 為如當(dāng)前在開發(fā)的HEVC標(biāo)準(zhǔn)中一般界定。
[0071] 空間相鄰塊102A到102B和104A到104C中的每一者與當(dāng)前塊100的空間關(guān)系可 如下描述。使用亮度位置（xP，yP)來相對(duì)于當(dāng)前圖片的左上方樣本指定當(dāng)前塊的左上方亮 度樣本。變量nPSW和nPSH表示亮度的當(dāng)前塊的寬度和高度?？臻g相鄰塊102A的左上方 亮度樣本為xP-l，yP+nPSH。空間相鄰塊102B的左上方亮度樣本為xP-l，yP+nPSH-l。空間 相鄰塊104A的左上方亮度樣本為xP+nPSW，yP-1?？臻g相鄰塊104B的左上方亮度樣本為 XP+nPSW-l，yP_l?？臻g相鄰塊104C的左上方亮度樣本為xP-l，yP_l。雖然相對(duì)于亮度位 置來描述，但當(dāng)前和參考?jí)K可包含色度分量。
[0072] 空間相鄰塊102A到102B和104A到104C中的每一者可提供候選空間運(yùn)動(dòng)向量預(yù) 測(cè)符（MVP)，例如空間候選運(yùn)動(dòng)向量，以用于塊100的例如根據(jù)合并模式或AVMP的運(yùn)動(dòng)向量 預(yù)測(cè)譯碼。通常，視頻譯碼器選擇當(dāng)前塊100左邊的空間相鄰塊102A到102B中的一者來 提供第一空間MVP，稱為塊100的"mvA"。視頻譯碼器隨后選擇當(dāng)前塊100上方的空間相鄰 塊104A到104C中的一者來提供第二空間MVP，稱為塊100的"mvB"。
[0073] 為了從空間相鄰塊102A到102B和104A到104C當(dāng)中選擇mvA和mvB，視頻譯碼器 可確定空間相鄰塊102A到102B和104A到104C中的哪一者可用。再次，視頻譯碼器可為 視頻編碼器（例如視頻編碼器20)或視頻解碼器（例如視頻解碼器30)。視頻編碼器和視 頻解碼器均可以相同預(yù)定方式構(gòu)造用于合并模式或AVMP的MVP候選列表，使得例如編碼器 可僅需要用信號(hào)發(fā)送到候選列表中的索引以用信號(hào)發(fā)送選定MVP。塊102A到102B和104A到104C中的一些例如在所述塊經(jīng)幀內(nèi)譯碼的情況下或在當(dāng)前塊100接近圖片或切片邊界 而定位的情況下可能不可用于提供候選MVP。視頻譯碼器可基于預(yù)定偏好、速率-失真優(yōu)化 (RDO)或其它因素從可用的空間相鄰塊102A到102B和104A到104C當(dāng)中選擇mvA和mvB。
[0074] 在說明的實(shí)例中，空間相鄰塊102A到102B和104A到104C分別在塊100的左邊 和上方。此布置是典型的，因?yàn)榇蠖鄶?shù)視頻譯碼器從圖片的左上方以光柵掃描次序?qū)σ曨l 塊進(jìn)行譯碼。因此，在此些實(shí)例中，空間相鄰塊102A到102B和104A到104C將通常在當(dāng)前 塊100之前譯碼。然而在其它實(shí)例中，例如當(dāng)視頻譯碼器以不同次序?qū)σ曨l塊進(jìn)行譯碼時(shí)， 空間相鄰塊102A到102B和104A到104C可位于當(dāng)前塊100的右邊或下方。
[0075] 圖3是說明視頻序列內(nèi)的包含當(dāng)前視頻塊100的實(shí)例性圖片200A和時(shí)間參考圖 片200B的概念圖。時(shí)間參考圖片200B是在圖片200A之前譯碼的圖片。而且，假定時(shí)間參 考圖片200B和圖片200A在同一視圖內(nèi)。時(shí)間參考圖片200B不一定是在譯碼次序中緊鄰 于圖片200A之前的圖片，且可在顯示次序中在圖片200A之后。視頻譯碼器可從多個(gè)可能 的時(shí)間參考圖片當(dāng)中選擇時(shí)間參考圖片200B，且參考圖片列表和參考圖片索引值可指示將 選擇時(shí)間參考圖片中的哪一者。舉例來說，如果當(dāng)前切片是B切片，那么視頻譯碼器可對(duì)切 片標(biāo)頭中的collocated_from_10_flag進(jìn)行譯碼以指不參考圖片圖片是來自RefPicListO 還是RefPicListl。視頻譯碼器還可對(duì)切片標(biāo)頭中的collocated_ref_idx進(jìn)行譯碼以識(shí)別 列表中的圖片中的圖片。
[0076] 時(shí)間參考圖片200B包含位于同一地點(diǎn)的塊110,其相對(duì)于圖片200A中當(dāng)前塊100 的位置在圖片200B中位于同一地點(diǎn)。時(shí)間參考圖片200B還包含用于圖片200A中的當(dāng)前 塊100的時(shí)間參考?jí)K112。視頻譯碼器可基于參考?jí)K112的預(yù)測(cè)參數(shù)來推導(dǎo)用于當(dāng)前塊100 的TMVP。替代地，視頻譯碼器可基于位于同一地點(diǎn)的塊110的右下角分區(qū)中的PU的預(yù)測(cè)參 數(shù)來推導(dǎo)用于當(dāng)前塊100的TMVP。大體上，在HEVC的命名中，視頻譯碼器可使用右下方PU 到含有與當(dāng)前塊1〇〇位于同一地點(diǎn)的PU的CU的運(yùn)動(dòng)信息或含有與當(dāng)前塊100位于同一地 點(diǎn)的PU的⑶的PU內(nèi)的右下方PU的運(yùn)動(dòng)信息來預(yù)測(cè)當(dāng)前塊100的運(yùn)動(dòng)信息。
[0077] 時(shí)間參考?jí)K112是位于同一地點(diǎn)的塊110的空間相鄰塊。在說明的實(shí)例中，參考 塊112在位于同一地點(diǎn)的塊110的右邊和下方。在一些實(shí)例中，參考?jí)K可為含有位于同一 地點(diǎn)的PU(例如，位于同一地點(diǎn)的塊110)的⑶的右下方PU，或含有位于同一地點(diǎn)的PU的 ⑶的中心TO內(nèi)的右下方PU。在其它實(shí)例中，參考?jí)K112可為位于同一地點(diǎn)的塊110的任 一空間相鄰（例如，鄰近）塊。在一些實(shí)例中，視頻譯碼器可替代于或除了位于同一地點(diǎn)的 塊的相鄰塊之外，從位于同一地點(diǎn)的塊110推導(dǎo)用于當(dāng)前塊100的TMVP。
[0078] 為了從時(shí)間參考圖片200B中的多個(gè)候選當(dāng)中選擇用于當(dāng)前塊100的TMVP，視頻譯 碼器可確定哪些候選時(shí)間參考?jí)K可用。候選時(shí)間參考?jí)K中的一些例如在所述塊經(jīng)幀內(nèi)譯碼 的情況下或在位于同一地點(diǎn)的塊110接近圖片或切片邊界而定位的情況下可能不可用于 提供候選TMVP。如果一個(gè)以上TMVP候選可用，那么視頻譯碼器可基于預(yù)定偏好、速率-失 真優(yōu)化（RD0)或其它因素來選擇候選中的一者。對(duì)于合并模式或AMVP經(jīng)識(shí)別為用于當(dāng)前 塊的TMVP候選的運(yùn)動(dòng)向量可能需要基于時(shí)間位置按比例縮放，例如由當(dāng)前圖片和參考圖 片的圖片次序計(jì)數(shù)（P0C)值所反映。
[0079] 圖4是說明多個(gè)存取單元的圖片的概念圖，每一存取單元包含多個(gè)視圖。特定來 說，圖4包含存取單元400A和400B，其各自可表示視頻序列中的不同時(shí)間點(diǎn)（S卩，顯示時(shí)間 或輸出時(shí)間）。雖然說明兩個(gè)存取單元400A和400B，但視頻數(shù)據(jù)可包含在序列中相對(duì)于存 取單元400A向前和向后的許多額外存取單元，且存取單元400A和400B不需要為鄰近或連 續(xù)的存取單元。
[0080] 包含存取單元400A和400B的視頻數(shù)據(jù)為MVC視頻數(shù)據(jù)，即包含共同場(chǎng)景的多個(gè) 視圖。圖4說明兩個(gè)視圖V(^PV\的圖片。視頻數(shù)據(jù)可包含圖4中未圖不的額外視圖。
[0081] 存取單元400A包含Vi的圖片200A。圖片200A包含當(dāng)前塊100。存取單元400A 可稱為當(dāng)前存取單元，％可稱為當(dāng)前視圖，且圖片200A可稱為當(dāng)前圖片。存取單元400A還 包含V。的圖片202A。V?？煞Q為相對(duì)于Vi的參考視圖，且圖片202A可稱為相對(duì)于圖片200A 的視圖間參考圖片。存取單元400B包含Vi的圖片200B和V。的圖片202B。Vi的圖片200B 可稱為用于圖片200A的時(shí)間參考圖片。
[0082] 3D-HEVC中的最有效譯碼工具中的一者是視圖間運(yùn)動(dòng)預(yù)測(cè)（MP)，其中相依視圖 中的塊的運(yùn)動(dòng)參數(shù)是基于同一存取單元中的另一視圖（即，參考視圖）中的已經(jīng)譯碼運(yùn)動(dòng) 參數(shù)來預(yù)測(cè)或推斷。為了包含視圖間運(yùn)動(dòng)預(yù)測(cè)，用于3D-HEVC的AMVP模式以及合并模式已 經(jīng)以將IVMP(視圖間運(yùn)動(dòng)向量預(yù)測(cè)符）候選添加到用于待譯碼塊的MVP的候選列表的方式 擴(kuò)展。
[0083] 為了在AVMP中推導(dǎo)用于當(dāng)前塊100的IVMP，視頻譯碼器識(shí)別塊100中的樣本 120A，以及視圖間參考圖片202A中的位于同一地點(diǎn)的樣本120B?；谙鄬?duì)于視圖間參考圖 片202A的圖片200A的視差信息，視頻譯碼器確定視差向量122。視差信息可從圖片200A 的深度圖或其它深度信息推導(dǎo)。在圖4說明的實(shí)例中，視頻譯碼器從當(dāng)前圖片200A的深度 圖估計(jì)300A(例如，深度圖估計(jì)圖片（DMEP))推導(dǎo)視差信息。更特定來說，視頻譯碼器基于 深度圖估計(jì)300A的對(duì)應(yīng)于當(dāng)前圖片200A的塊100中的樣本120A的位置130A處的估計(jì)深 度值來確定視差向量122。如本文例如相對(duì)于圖5到9更詳細(xì)描述，視頻譯碼器可基于使另 一圖片（例如，參考（或基本）視圖％的參考圖片202A)的深度圖估計(jì)變形來推導(dǎo)相依視 圖Vi的紋理圖片200A的深度圖估計(jì)300A。
[0084] 基于視差向量122,視頻譯碼器識(shí)別參考視圖（V。）的視圖間參考圖片202A中的參 考?jí)K124。如果用于當(dāng)前塊100的參考圖片索引參考視圖間參考圖片202A，那么視頻譯碼器 將用于當(dāng)前塊100的IVMP設(shè)定為等于視差向量122,所述視差向量隨后變?yōu)閴K100的所謂 的視差運(yùn)動(dòng)向量。特定來說，視差運(yùn)動(dòng)向量指向圖片202A中作為用于圖片200A中的塊100A 的預(yù)測(cè)的參考?jí)K的塊124。視差向量也可稱為用于視圖間運(yùn)動(dòng)預(yù)測(cè)的視差向量（DVIVMP)， 其為經(jīng)構(gòu)造且用于視圖間運(yùn)動(dòng)預(yù)測(cè)的視差向量。
[0085] 如果用于當(dāng)前塊100的當(dāng)前參考圖片索引參考存取單元400B中的時(shí)間參考圖 片200B，那么視頻譯碼器確定參考?jí)K124是否是基于參考與當(dāng)前參考索引相同的存取單元 400B的運(yùn)動(dòng)向量而譯碼。在圖4說明的實(shí)例中，參考?jí)K124是基于指向存取單元400B中 的圖片202B中的塊128B的運(yùn)動(dòng)向量126B而譯碼。在此些情況下，視頻譯碼器將用于當(dāng)前 塊100的IVMP設(shè)定為等于指向Vi的時(shí)間參考圖片200B中的時(shí)間參考?jí)K128A的運(yùn)動(dòng)向量 126A。運(yùn)動(dòng)向量126A對(duì)應(yīng)于運(yùn)動(dòng)向量126B，例如所述運(yùn)動(dòng)向量的X、Y和其它值是相同的， 但運(yùn)動(dòng)向量126A和126B參考與同一存取單元中的不同視圖相關(guān)聯(lián)的不同圖片。在一些實(shí) 例中，如果參考?jí)K124的運(yùn)動(dòng)向量指向與用于當(dāng)前塊100的參考圖片索引不同的存取單元， 那么視頻譯碼器可將IVMP視為不可用于當(dāng)前塊100。
[0086]對(duì)于合并模式（和跳過模式）中的視圖間運(yùn)動(dòng)向量預(yù)測(cè)，以給定次序調(diào)查參考圖 片列表的前兩個(gè)參考索引。以與AMVP模式相同的方式推導(dǎo)針對(duì)參考索引0的運(yùn)動(dòng)向量候 選。如果所推導(dǎo)運(yùn)動(dòng)向量有效，那么參考索引0和所推導(dǎo)運(yùn)動(dòng)向量用于所考慮的假設(shè)。否 貝U，以相同方式測(cè)試參考索引1。如果其還導(dǎo)致無效運(yùn)動(dòng)向量，那么將運(yùn)動(dòng)假設(shè)標(biāo)記為不可 用。為了偏好時(shí)間預(yù)測(cè)，在第一索引參考視圖間參考圖片的情況下可反轉(zhuǎn)測(cè)試參考索引的 次序。如果所有潛在的運(yùn)動(dòng)假設(shè)均經(jīng)標(biāo)記為不可用，那么可不選擇且在一些實(shí)例中無法選 擇視圖間候選，即IVMP。
[0087] 3D-HEVC中的另一譯碼工具是視圖間殘余預(yù)測(cè)。對(duì)于當(dāng)前塊100的視圖間殘余預(yù) 測(cè)，可基于視差向量122識(shí)別殘余參考?jí)K。視差向量122識(shí)別參考視圖V。中的圖片202A的 塊124,其在視圖間殘余預(yù)測(cè)的情況下充當(dāng)殘余參考?jí)K124。如上文論述，視頻譯碼器可基 于深度圖估計(jì)300A的對(duì)應(yīng)于當(dāng)前圖片200A的塊100中的樣本120A的位置130A處的估計(jì) 深度值來確定視差向量122。如本文例如相對(duì)于圖5到9更詳細(xì)描述，視頻譯碼器可基于使 另一圖片（例如，參考（或基本）視圖\的參考圖片202A)的深度圖估計(jì)變形來推導(dǎo)相依 視圖％的紋理圖片200A的深度圖估計(jì)300A。
[0088] 對(duì)于當(dāng)前塊100的視圖間殘余預(yù)測(cè)，基本上存在兩種預(yù)測(cè)。當(dāng)前塊100的第一預(yù)測(cè) 是相對(duì)于參考?jí)K，其可根據(jù)本文描述的技術(shù)中的任一者，例如時(shí)間或視圖間運(yùn)動(dòng)預(yù)測(cè)。舉例 來說，當(dāng)前塊的第一預(yù)測(cè)可基于根據(jù)如上所述的視圖間運(yùn)動(dòng)預(yù)測(cè)的參考?jí)K124的預(yù)測(cè)。當(dāng) 前塊100的第二預(yù)測(cè)是基于參考?jí)K124的殘余值（基于視差向量122而識(shí)別）的殘余值的 預(yù)測(cè)。對(duì)于視圖間殘余預(yù)測(cè)，從視頻編碼器用信號(hào)發(fā)送到視頻解碼器的殘余值是在參考?jí)K 和來自殘余參考?jí)K的殘余均從當(dāng)前塊減去之后的余數(shù)，例如在參考?jí)K124和對(duì)參考?jí)K124 進(jìn)行譯碼之后的殘余均從當(dāng)前塊100減去之后。以此方式，當(dāng)前塊100的殘余通過視圖間 殘余預(yù)測(cè)可相對(duì)于當(dāng)前塊與參考?jí)K之間的差而減少，且因此，經(jīng)變換、逆變換、量化、熵譯碼 和用信號(hào)發(fā)送以用于塊100的譯碼的信息量可減少。
[0089] 圖5是說明如3D-HEVC中當(dāng)前界定且根據(jù)本發(fā)明的技術(shù)用于視圖間運(yùn)動(dòng)預(yù)測(cè)和/ 或視圖間殘余預(yù)測(cè)的深度圖估計(jì)（例如，深度圖估計(jì)300A)的產(chǎn)生之間的實(shí)例性差異的概 念圖。更特定來說，圖5說明其中視頻數(shù)據(jù)包含三個(gè)視圖的實(shí)例：由％表示的基本（參考） 視圖，第一相依（非基本）視圖％和第二相依（非基本）視圖V2。在圖5的實(shí)例中，三個(gè)視 圖的譯碼次序是：基本視圖V〇,相依視圖V\，和相依視圖V2。雖然圖5的實(shí)例包含二個(gè)視圖， 但本發(fā)明的技術(shù)可應(yīng)用于包含任一數(shù)目的視圖的視頻數(shù)據(jù)，包含任一數(shù)目的基本和參考視 圖。
[0090] 圖5說明視頻流中在表示為I；和TN的兩個(gè)不同時(shí)間點(diǎn)處的兩個(gè)存取單元。存取 單元中的每一者包含用于視圖中的每一者的相應(yīng)紋理圖片。L處的存取單元包含基本視圖 V。的圖片202B、相依視圖Vi的圖片200B和相依視圖V2的圖片204B。TN處的存取單元包 含基本視圖V。的圖片202A、相依視圖Vi的圖片200A和相依視圖V2的圖片204A。T。處的 存取單元可為錨點(diǎn)存取單元或隨機(jī)存取單元，且I；處的存取單元的紋理圖片200B、202B和 204B可稱為錨點(diǎn)圖片或隨機(jī)存取圖片。TN處的存取單元的紋理圖片200A、202A和204A可 稱為非錨點(diǎn)圖片或非隨機(jī)存取圖片，且TN處的存取單元可稱為非錨點(diǎn)存取單元或非隨機(jī)存 取單元。
[0091] 在圖5的實(shí)例中，紋理圖片中的每一者與一個(gè)估計(jì)深度圖相關(guān)聯(lián)。舉例來說，I； 處的基本視圖V。的圖片202B與基本深度圖估計(jì)302B相關(guān)聯(lián)，T。處的相依視圖Vi的圖片 200B與相依深度圖估計(jì)300B相關(guān)聯(lián)，且T。處的相依視圖V2的圖片204B與相依深度圖估 計(jì)304B相關(guān)聯(lián)。類似地，TN處的基本視圖％的圖片202A與基本深度圖估計(jì)302A相關(guān)聯(lián)， TN處的相依視圖Vi的圖片200A與相依深度圖估計(jì)300A相關(guān)聯(lián)，且TN處的相依視圖V2的 圖片204A與相依深度圖估計(jì)304A相關(guān)聯(lián)。
[0092] 在隨機(jī)存取單元中，例如根據(jù)3D-HEVC，錨點(diǎn)基本視圖紋理圖片（例如，圖片202B) 的所有塊經(jīng)幀內(nèi)譯碼。通常，相依視圖的錨點(diǎn)紋理圖片（例如，圖片200B和204B)的大多 數(shù)塊是使用DCP譯碼的，且剩余塊經(jīng)幀內(nèi)譯碼。因此，如圖5中說明，視頻譯碼器（例如，視 頻編碼器20或視頻解碼器30)使用DCP相對(duì)于基本視圖V。的錨點(diǎn)圖片202B的塊對(duì)相依 視圖％的錨點(diǎn)圖片200B的塊中的至少一些進(jìn)行譯碼（402)，且使用DCP相對(duì)于基本視圖V。 的錨點(diǎn)圖片202B的塊對(duì)相依視圖V2的錨點(diǎn)圖片204B的塊中的至少一些進(jìn)行譯碼（404)。
[0093] 當(dāng)對(duì)相依視圖Vi中的錨點(diǎn)圖片200B進(jìn)行譯碼時(shí)，其經(jīng)幀內(nèi)譯碼或在視圖間運(yùn)動(dòng) 預(yù)測(cè)和視圖間殘余預(yù)測(cè)經(jīng)停用的情況下以DCP幀間譯碼，因?yàn)椴淮嬖谏疃刃畔ⅲɡ?，相?深度圖估計(jì)300B)可用。在對(duì)相依視圖 ' 中的錨點(diǎn)圖片200B進(jìn)行譯碼之后，視頻譯碼器 可例如通過將相依深度圖估計(jì)300B中對(duì)應(yīng)于紋理圖片200B的經(jīng)視差補(bǔ)償塊的塊的所有深 度樣本設(shè)定為等于所推導(dǎo)深度值，來將用于DCP的經(jīng)譯碼視差向量轉(zhuǎn)換為深度值（406)。也 就是說，視頻譯碼器可從對(duì)應(yīng)視差向量計(jì)算深度值以產(chǎn)生深度圖估計(jì)300B的塊。通常，相 對(duì)小視差向量對(duì)應(yīng)于在與屏幕（有時(shí)稱為匯聚平面）相同的深度處顯示的對(duì)象，而相對(duì)大 視差向量對(duì)應(yīng)于在相對(duì)遠(yuǎn)離屏幕的位置（例如，在屏幕前方遠(yuǎn)處或在屏幕后方遠(yuǎn)處，或匯 聚平面）顯示的對(duì)象。以此方式，視頻譯碼器可基于 ' 中的錨點(diǎn)圖片200B的經(jīng)譯碼運(yùn)動(dòng) 信息來產(chǎn)生或更新相依深度圖估計(jì)300B。
[0094] 根據(jù)當(dāng)前3D-HEVC實(shí)施方案，視頻譯碼器可利用深度圖估計(jì)300B用于對(duì)相依視圖 %中的隨后紋理圖片（例如，非錨點(diǎn)紋理圖片300A)進(jìn)行譯碼且對(duì)V2中的紋理圖片（例如， 紋理圖片204B和204A)進(jìn)行譯碼。舉例來說，視頻譯碼器可將相依深度圖估計(jì)300B變形 到基本視圖％以產(chǎn)生基本深度圖估計(jì)302B(408)，且隨后將基本深度圖估計(jì)302B變形到相 依視圖V2以產(chǎn)生相依深度圖估計(jì)304B(410)。將單個(gè)共同基本深度圖估計(jì)302B變形到第 二相依視圖V2以產(chǎn)生相依深度圖估計(jì)304B(410)在圖5中以虛線箭頭說明，以指示共同基 本深度圖估計(jì)到額外相依視圖的此變形不是根據(jù)本發(fā)明的技術(shù)來執(zhí)行。
[0095] 深度圖估計(jì)的變形可包含基于相機(jī)參數(shù)或指示視圖之間的空間關(guān)系的其它信息， 例如通過應(yīng)用變換來修改深度圖估計(jì)的深度值。變形可另外包含已知的技術(shù)，例如應(yīng)用孔 填充算法。用于變形的實(shí)例性技術(shù)在本文參考的W12559中描述，例如W12559的章節(jié)3. 2. 1 內(nèi)。
[0096] 在一個(gè)實(shí)例中，3D變形過程涉及將來自第一視圖的點(diǎn)投影到第二視圖的圖像平面 中。為此，需要內(nèi)在相機(jī)參數(shù)A和外在相機(jī)參數(shù)E=[R|t]。內(nèi)在矩陣A將3D相機(jī)坐標(biāo)變 換為其2D圖像坐標(biāo)。外在矩陣E= [R|t]將世界坐標(biāo)變換為相機(jī)坐標(biāo)，其由旋轉(zhuǎn)矩陣R和 平移向量t組成。兩步驟變形可以兩個(gè)等式公式化，例如以下等式（1)和（3)。
[0097] 使用第一視圖的深度將第一視圖中的第一像素（\，^)變形到世界坐標(biāo)（Xw，Yw， Zw): 乂] f M 、
[0098]Yw =R^3rzrA^rvr -t3xUr (1) UJ l lu J
[0099] 其中下標(biāo)r指示第一視圖，且％是第一視圖中在位置（w，\)處的深度值，如下計(jì) 算 二_1_
[0100] (Jl-___L]+丄 (2) 255vZnearZfaryZfai
[0101] 其中V是深度圖值的8位強(qiáng)度。
[0102] 應(yīng)注意，假定值z(mì)、Znem和Zto為全正或全負(fù)值。
[0103] 隨后將3D點(diǎn)映射到第二視圖： 'If、
[0104] zvvv -A3x3vR3x3vYw +t3xlr (3) VUvv^-yj
[0105] 其中下標(biāo)V指代虛擬視圖。
[0106] 如果多個(gè)像素變形到第二視圖中的同一位置，那么最靠近相機(jī)的像素獲勝，因此 前景像素將遮擋背景像素。
[0107] 視頻譯碼器可使用視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù)測(cè)以及例如上文相對(duì)于 圖4描述的相依深度圖估計(jì)304B，相對(duì)于基本視圖V。的錨點(diǎn)紋理圖片202B對(duì)相依視圖V2 的錨點(diǎn)紋理圖片204B進(jìn)行譯碼（412)。例如使用視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù)測(cè)與 相依深度圖估計(jì)304B相對(duì)于基本紋理圖片202B對(duì)相依紋理圖片204B的譯碼在圖5中以 虛線箭頭說明，以指示相依視圖中的錨點(diǎn)圖片的此視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù)測(cè) 不是根據(jù)本發(fā)明的實(shí)例性技術(shù)來執(zhí)行。在根據(jù)本發(fā)明的技術(shù)的一些實(shí)例中，視圖間運(yùn)動(dòng)預(yù) 測(cè)和視圖間殘余預(yù)測(cè)針對(duì)對(duì)相依視圖中的錨點(diǎn)圖片進(jìn)行譯碼而停用，且針對(duì)對(duì)相依視圖中 的非錨點(diǎn)圖片進(jìn)行譯碼而啟用。
[0108] 在相依視圖V2中的錨點(diǎn)紋理圖片204B經(jīng)完全譯碼之后，視頻譯碼器可使用經(jīng)譯 碼運(yùn)動(dòng)信息來更新相依深度圖估計(jì)304B(414)。視頻譯碼器可根據(jù)用以對(duì)紋理圖片204B 的空間對(duì)應(yīng)塊進(jìn)行譯碼的預(yù)測(cè)類型基于逐塊基礎(chǔ)來更新相依深度圖估計(jì)304B。舉例來說， 對(duì)于使用DCP譯碼的紋理圖片204B的塊，視頻譯碼器可通過將用于DCP的視差向量轉(zhuǎn)換為 深度值來獲得深度圖樣本?？傊?，如上所述，圖5中說明的在三個(gè)視圖的情況下用于錨點(diǎn)圖 片的當(dāng)前3D-HEVC深度圖估計(jì)過程要求深度圖估計(jì)更新兩次（406,414)，且變形兩次（408， 410)。雖然圖5中未說明，但在其中視頻數(shù)據(jù)包含額外相依視圖的實(shí)例中，視頻譯碼器可將 相依深度圖估計(jì)304B變形回到基本視圖％以更新基本深度圖估計(jì)302B，且隨后將基本深 度圖估計(jì)302B變形到下一相依視圖以產(chǎn)生另一相依深度圖估計(jì)以用于額外相依視圖的錨 點(diǎn)紋理圖片的視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù)測(cè)。
[0109] 時(shí)間TN處的存取單元包含非錨點(diǎn)紋理圖片200A、202A和204A，其可為（但不一定 為）每一視圖中的第一非錨點(diǎn)圖片。第一非錨點(diǎn)圖片可能不在鄰近于L的存取單元中，且 可改為例如在T16處的存取單元中。視頻譯碼器（例如，視頻編碼器20或視頻解碼器30) 可使用幀內(nèi)預(yù)測(cè)或時(shí)間幀間預(yù)測(cè)（例如，MCP)對(duì)基本視圖V。的非錨點(diǎn)紋理圖片202A的塊 進(jìn)行譯碼（例如，編碼或解碼）。視頻譯碼器可隨后基于對(duì)基本視圖％的紋理圖片202A的 譯碼而更新基本深度圖估計(jì)302B以產(chǎn)生基本深度圖估計(jì)302A(416)。
[0110] 舉例來說，對(duì)于使用MCP譯碼的紋理圖片202A的每一塊，視頻譯碼器可應(yīng)用相關(guān) 聯(lián)運(yùn)動(dòng)向量以確定深度圖估計(jì)302A的空間對(duì)應(yīng)塊的深度值。特定來說，視頻譯碼器可應(yīng)用 運(yùn)動(dòng)向量來識(shí)別先前基本深度圖估計(jì)（例如，基本深度圖估計(jì)302B)中的參考?jí)K，且基于先 前基本深度圖估計(jì)的參考?jí)K中的深度值來推導(dǎo)深度圖估計(jì)302A的塊的深度值。用于對(duì)紋 理圖片進(jìn)行譯碼的運(yùn)動(dòng)向量可在用以更新深度圖估計(jì)之前舍入到樣本精度。對(duì)于經(jīng)幀內(nèi)譯 碼的紋理圖片202A的塊，視頻譯碼器可例如根據(jù)用以對(duì)紋理圖片202A的空間對(duì)應(yīng)塊進(jìn)行 譯碼的幀內(nèi)預(yù)測(cè)模式，通過從基本深度圖估計(jì)302A的相鄰塊的空間預(yù)測(cè)來確定基本深度 圖估計(jì)302A的空間對(duì)應(yīng)塊的深度值。
[0111] 視頻譯碼器可隨后將與基本視圖V。中的非錨點(diǎn)紋理圖片202A相關(guān)聯(lián)的經(jīng)更新基 本深度圖估計(jì)302A變形到相依視圖％以產(chǎn)生相依深度圖估計(jì)300A(418)。視頻譯碼器可 隨后例如以上文相對(duì)于圖4描述的方式，使用相依深度圖估計(jì)300A用于相對(duì)于基本視圖V。 的紋理圖片202A對(duì)相依視圖％的紋理圖片200A的視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù) 測(cè)譯碼（420)。在對(duì)相依視圖 ' 的紋理圖片200A的譯碼之后，視頻譯碼器可基于紋理圖片 200A的譯碼來更新相依深度圖估計(jì)300A(422)。
[0112] 視頻譯碼器可根據(jù)用以對(duì)紋理圖片200A的空間對(duì)應(yīng)塊進(jìn)行譯碼的預(yù)測(cè)類型基于 逐塊基礎(chǔ)來更新相依深度圖估計(jì)300A。舉例來說，對(duì)于使用DCP譯碼的紋理圖片200B的 塊，視頻譯碼器可通過將用于DCP的視差向量轉(zhuǎn)換為深度值來獲得深度圖樣本。對(duì)于使用 MCP譯碼的紋理圖片200A的每一塊，視頻譯碼器可應(yīng)用相關(guān)聯(lián)運(yùn)動(dòng)向量以確定深度圖估計(jì) 300A的空間對(duì)應(yīng)塊的深度值。特定來說，視頻譯碼器可應(yīng)用運(yùn)動(dòng)向量來識(shí)別用于相依視圖 Vi的先前相依深度圖估計(jì)（例如，相依深度圖估計(jì)300B)中的參考?jí)K，且基于先前基本深度 圖估計(jì)的參考?jí)K中的深度值來推導(dǎo)深度圖估計(jì)300A的塊的深度值。用于對(duì)紋理圖片進(jìn)行 譯碼的運(yùn)動(dòng)向量可在用以更新深度圖估計(jì)之前舍入到樣本精度。對(duì)于經(jīng)幀內(nèi)譯碼的紋理圖 片200A的塊，視頻譯碼器可例如根據(jù)用以對(duì)紋理圖片200A的空間對(duì)應(yīng)塊進(jìn)行譯碼的幀內(nèi) 預(yù)測(cè)模式，通過從基本深度圖估計(jì)300A的相鄰塊的空間預(yù)測(cè)來確定基本深度圖估計(jì)300A 的空間對(duì)應(yīng)塊的深度值。
[0113] 視頻譯碼器可隨后存儲(chǔ)經(jīng)更新相依深度圖估計(jì)300A與經(jīng)重構(gòu)非錨點(diǎn)紋理圖片 200A，以及將相依視圖％的經(jīng)更新相依深度圖估計(jì)300A變形到基本視圖V。以更新基本視 圖％的基本深度圖估計(jì)302A(424)。視頻譯碼器可隨后將基本視圖\的經(jīng)更新基本深度 圖估計(jì)302A變形到相依視圖V2以產(chǎn)生相依深度圖估計(jì)304A(426)。視頻譯碼器可以上文 相對(duì)于圖4描述的方式，使用相依深度圖估計(jì)304A用于相對(duì)于基本視圖％的非錨點(diǎn)紋理 圖片202A對(duì)相依視圖V2的非錨點(diǎn)紋理圖片204A的視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù) 測(cè)譯碼（428)。視頻譯碼器可隨后以上文相對(duì)于相依深度圖估計(jì)300A和紋理圖片200A描 述的方式，根據(jù)用以對(duì)紋理圖片204A的空間對(duì)應(yīng)塊進(jìn)行譯碼的預(yù)測(cè)類型例如基于逐塊基 礎(chǔ)來更新相依深度圖估計(jì)304A(430)。雖然圖5中未說明，但在其中視頻數(shù)據(jù)包含額外相依 視圖的實(shí)例中，視頻譯碼器可將相依深度圖估計(jì)304A變形回到基本視圖％以更新基本深 度圖估計(jì)302A，且隨后將基本深度圖估計(jì)302A變形到下一相依視圖以產(chǎn)生另一相依深度 圖估計(jì)以用于額外相依視圖的非錨點(diǎn)紋理圖片的視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù)測(cè)。
[0114] 對(duì)于所有隨后的非錨點(diǎn)存取單兀，重復(fù)相對(duì)于圖5描述的實(shí)例性過程。在下一隨 機(jī)存取單元處，視圖間運(yùn)動(dòng)參數(shù)預(yù)測(cè)和視圖間殘余預(yù)測(cè)可針對(duì)經(jīng)譯碼的第一相依視圖停 用，且隨后在對(duì)第一相依視圖進(jìn)行譯碼且再初始化用于第一相依視圖的相依深度圖估計(jì)之 后啟用，例如上文相對(duì)于相依視圖 ' 和I；處的存取單元所述。
[0115] 例如上文相對(duì)于圖5描述的3D-HEVC中的深度圖估計(jì)推導(dǎo)過程的當(dāng)前設(shè)計(jì)可能存 在問題。舉例來說，甚至當(dāng)例如通過停用從彼此的紋理預(yù)測(cè)來假設(shè)兩個(gè)相依視圖獨(dú)立地解 碼時(shí)，以一個(gè)相依視圖依賴于另一相依視圖來進(jìn)行正確譯碼的方式設(shè)計(jì)深度圖估計(jì)。這導(dǎo) 致缺乏位流提取功能性，例如共享同一基本視圖的兩個(gè)立體操作點(diǎn)。舉例來說，每當(dāng)例如在 第一非基本視圖中例如以DCP對(duì)特定CU進(jìn)行譯碼之后推導(dǎo)深度圖信息時(shí)，使用所述信息來 更新基本視圖深度，其可用以推導(dǎo)較晚存取單元中的另一非基本視圖的深度信息。
[0116] 根據(jù)本發(fā)明中描述的實(shí)例，在本發(fā)明中建議涉及基于HEVC(作為非限制性實(shí)例） 的多視圖視頻譯碼中的深度圖估計(jì)的技術(shù)。本發(fā)明的技術(shù)可適用于包含至少一個(gè)共同視圖 (可為基本視圖）和各自取決于共同視圖的N(其中N> 1)個(gè)相依視圖的視頻數(shù)據(jù)。
[0117] 在本發(fā)明中描述的一些實(shí)例性技術(shù)中，相依視圖可能不取決于任何其它相依視 圖。當(dāng)多個(gè)（N)相依視圖存在時(shí)，對(duì)于存取單元的每一相依視圖，針對(duì)所述相依視圖產(chǎn)生一 個(gè)相依深度圖估計(jì)，且產(chǎn)生與基本視圖相關(guān)聯(lián)且對(duì)應(yīng)于特定相依深度圖估計(jì)的一個(gè)基本深 度圖估計(jì)。相依視圖中的相依深度圖估計(jì)和所述多個(gè)基本深度圖估計(jì)中與相依視圖相關(guān)聯(lián) 的所述一者形成與相依視圖相關(guān)聯(lián)的深度圖估計(jì)對(duì)。每一深度圖估計(jì)對(duì)是獨(dú)立于任何其它 深度圖估計(jì)對(duì)而產(chǎn)生和更新。根據(jù)本發(fā)明當(dāng)在視頻數(shù)據(jù)中存在多個(gè)相依視圖時(shí)深度圖估計(jì) 對(duì)的深度圖估計(jì)的產(chǎn)生和更新可類似于當(dāng)僅一個(gè)基本視圖和一個(gè)相依視圖經(jīng)譯碼時(shí)根據(jù) 當(dāng)前設(shè)計(jì)3D-HEVC設(shè)計(jì)的深度圖估計(jì)的產(chǎn)生和更新。
[0118] 根據(jù)本發(fā)明的技術(shù)，對(duì)于相依視圖中的錨點(diǎn)圖片，可停用視圖間運(yùn)動(dòng)預(yù)測(cè)和視圖 間殘余預(yù)測(cè)。在對(duì)第i(i從1到N)相依視圖中的錨點(diǎn)圖片進(jìn)行解碼之后，基于經(jīng)譯碼信息， 更新與第i相依視圖相關(guān)聯(lián)的相依深度圖估計(jì)。隨后將經(jīng)更新相依深度圖估計(jì)變形到共同 視圖以產(chǎn)生深度圖估計(jì)對(duì)中的基本深度圖估計(jì)。
[0119] 對(duì)于基本視圖中的非錨點(diǎn)圖片，在對(duì)基本視圖中的非錨點(diǎn)圖片進(jìn)行解碼之后更新 N個(gè)深度圖估計(jì)對(duì)的所有基本深度圖估計(jì)。對(duì)于相依視圖中的非錨點(diǎn)圖片，啟用視圖間運(yùn)動(dòng) 預(yù)測(cè)。為了對(duì)第i相依視圖中的非錨點(diǎn)圖片進(jìn)行解碼，首先將同一存取單元中的第i深度 圖估計(jì)對(duì)的基本深度圖估計(jì)變形到當(dāng)前相依視圖以產(chǎn)生第i相依視圖的相依深度圖估計(jì)。 在對(duì)第i相依視圖中的非錨點(diǎn)圖片進(jìn)行解碼之后，更新相依深度圖估計(jì)且將其變形回到共 同視圖以更新相關(guān)聯(lián)基本深度圖估計(jì)。深度圖估計(jì)的分辨率可與紋理圖片相同，或可不同 于紋理視圖的分辨率。在一些實(shí)例中，相依深度圖估計(jì)的分辨率可不同于基本深度圖估計(jì) 的分辨率。
[0120] 圖6是說明根據(jù)本發(fā)明的技術(shù)用于視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù)測(cè)的深度 圖估計(jì)的產(chǎn)生的實(shí)例的概念圖。更特定來說，圖6說明其中如同圖5的實(shí)例的情況視頻數(shù) 據(jù)包含三個(gè)視圖的實(shí)例：由V。表示的基本（參考）視圖，第一相依（非基本）視圖 ' 和第 二相依（非基本）視圖V2。在圖6的實(shí)例中，如同圖5的實(shí)例的情況，三個(gè)視圖的譯碼次序 是：基本視圖％，相依視圖Vi，和相依視圖V2。雖然圖6的實(shí)例包含三個(gè)視圖，但本發(fā)明的技 術(shù)可應(yīng)用于包含任一數(shù)目的視圖的視頻數(shù)據(jù)，包含任一數(shù)目的基本和參考視圖。
[0121] 類似于圖5的實(shí)例，圖6說明視頻流中在表示為1；和TN的兩個(gè)不同時(shí)間點(diǎn)處的兩 個(gè)存取單元，其各自包含視圖中的每一者的相應(yīng)紋理圖片。L處的存取單元包含基本視圖 V。的圖片202B、相依視圖Vi的圖片200B和相依視圖V2的圖片204B。TN處的存取單元包 含基本視圖V。的圖片202A、相依視圖Vi的圖片200A和相依視圖V2的圖片204A。T。處的 存取單元可為隨機(jī)存取單元，且隨機(jī)存取單元的紋理圖片200B、202B和204B可稱為錨點(diǎn)圖 片。T。處的存取單元的紋理圖片200A、202A和204A可稱為非錨點(diǎn)圖片。
[0122] 在圖6的實(shí)例中，類似于圖5的實(shí)例，相依視圖的紋理圖片中的每一者與一個(gè)深度 圖估計(jì)相關(guān)聯(lián)。然而，不同于圖5的實(shí)例，在圖6的實(shí)例中，存在針對(duì)相依視圖中的每一者 的相應(yīng)基本深度視圖估計(jì)。因此，I處基本視圖％的圖片202B與從相依視圖Vi的基本深 度圖估計(jì)300B推導(dǎo)的基本深度圖估計(jì)302B以及從相依視圖V2的基本深度圖估計(jì)304B推 導(dǎo)的基本深度圖估計(jì)303B相關(guān)聯(lián)。類似地，TN處基本視圖V。的圖片202A與和相依視圖Vi 的基本深度圖估計(jì)300A配對(duì)的基本深度圖估計(jì)302A以及和相依視圖V2的基本深度圖估 計(jì)304A配對(duì)的基本深度圖估計(jì)303A相關(guān)聯(lián)。在圖6的實(shí)例中，視頻譯碼器針對(duì)每一相依 視圖產(chǎn)生和更新包含基本深度圖估計(jì)和相依深度圖估計(jì)的深度圖估計(jì)對(duì)。
[0123] 作為根據(jù)本發(fā)明的技術(shù)對(duì)錨點(diǎn)紋理圖片進(jìn)行譯碼的實(shí)例，如同圖5的實(shí)例中的情 況，視頻譯碼器在圖6的實(shí)例中對(duì)基本視圖％的錨點(diǎn)紋理圖片202B的塊進(jìn)行幀內(nèi)預(yù)測(cè)譯 碼，例如視頻編碼器20進(jìn)行編碼或視頻解碼器30進(jìn)行解碼。視頻譯碼器可使用DCP相對(duì) 于基本視圖的圖片202B對(duì)相依視圖Vi和V2的錨點(diǎn)紋理圖片200B和204B的塊進(jìn)行譯碼 (402，404)，或可對(duì)所述塊中的一些進(jìn)行幀內(nèi)譯碼。不同于當(dāng)前HEVC實(shí)施方案，針對(duì)對(duì)所有 相依視圖的錨點(diǎn)紋理圖片（例如，相依視圖％和V2的錨點(diǎn)紋理圖片200B和204B兩者）進(jìn) 行譯碼停用視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù)測(cè)。
[0124] 在對(duì)相依視圖％中的錨點(diǎn)圖片200B進(jìn)行譯碼之后，視頻譯碼器可例如通過將相 依深度圖估計(jì)300B中對(duì)應(yīng)于紋理圖片200B的經(jīng)視差補(bǔ)償塊的塊的所有深度樣本設(shè)定為等 于所推導(dǎo)深度值，來將用于DCP的經(jīng)譯碼視差向量轉(zhuǎn)換為深度值（406)，且將相依深度圖估 計(jì)300B變形到基本視圖％以產(chǎn)生基本深度圖估計(jì)302B(408)，如圖5的實(shí)例中的情況。然 而，視頻譯碼器不會(huì)隨后將基本深度圖估計(jì)302B變形到相依視圖V2以產(chǎn)生相依深度圖估 計(jì) 304B(圖 5 的 410)。
[0125] 而是，視頻譯碼器例如以基于紋理圖片200B的譯碼針對(duì)相依視圖％的相依深度 圖300B所完成的方式，基于用以對(duì)紋理圖片204B進(jìn)行DCP譯碼的視差信息來產(chǎn)生相依視 圖V2的相依深度圖估計(jì)304B(414)。視頻譯碼器可隨后將相依深度圖估計(jì)300B變形到基 本視圖％以產(chǎn)生基本深度圖估計(jì)303B(500)。因此，根據(jù)本發(fā)明的技術(shù)，視頻譯碼器可針對(duì) 每一相依視圖產(chǎn)生深度圖估計(jì)對(duì)，且避免相依視圖之間的譯碼相依性。與錨點(diǎn)圖片202B相 關(guān)聯(lián)的基本深度圖估計(jì)302B和303B可用以更新與基本視圖中的非錨點(diǎn)紋理圖片相關(guān)聯(lián)的 對(duì)應(yīng)基本深度圖估計(jì)。
[0126] 作為根據(jù)本發(fā)明的技術(shù)對(duì)錨點(diǎn)紋理圖片進(jìn)行譯碼的實(shí)例，如同圖5的實(shí)例中的情 況，視頻譯碼器對(duì)基本視圖％的非錨點(diǎn)紋理圖片202進(jìn)行幀內(nèi)預(yù)測(cè)或MCP譯碼。視頻譯 碼器可隨后基于基本視圖V。的紋理圖片202A的譯碼而更新基本深度圖估計(jì)302B和303B 以產(chǎn)生基本深度圖估計(jì)302A和303A(416, 502)。舉例來說，對(duì)于使用MCP譯碼的紋理圖片 202A的每一塊，視頻譯碼器可應(yīng)用相關(guān)聯(lián)運(yùn)動(dòng)向量以確定深度圖估計(jì)302A和303A中的每 一者的空間對(duì)應(yīng)塊的深度值。特定來說，視頻譯碼器可應(yīng)用運(yùn)動(dòng)向量來識(shí)別先前基本深度 圖估計(jì)（例如，基本深度圖估計(jì)302B)中的參考?jí)K，且基于先前基本深度圖估計(jì)的參考?jí)K中 的深度值來推導(dǎo)深度圖估計(jì)302A和303A的塊的深度值。用于對(duì)紋理圖片進(jìn)行譯碼的運(yùn)動(dòng) 向量可在用以更新深度圖估計(jì)之前舍入到樣本精度。對(duì)于經(jīng)幀內(nèi)譯碼的紋理圖片202A的 塊，視頻譯碼器可例如根據(jù)用以對(duì)紋理圖片202A的空間對(duì)應(yīng)塊進(jìn)行譯碼的幀內(nèi)預(yù)測(cè)模式， 通過從基本深度圖估計(jì)302A的相鄰塊的空間預(yù)測(cè)來確定基本深度圖估計(jì)302A的空間對(duì)應(yīng) 塊的深度值。視頻譯碼器可隨后將基本深度圖估計(jì)302A變形到相依視圖％以產(chǎn)生相依深 度圖估計(jì)300A(418)，且將基本深度圖估計(jì)303A變形到相依視圖V2以產(chǎn)生相依深度圖估計(jì) 304A(504)。根據(jù)本發(fā)明的技術(shù)，用于第二相依視圖V2的相依深度圖估計(jì)304A的產(chǎn)生不取 決于第一相依視圖％的深度圖估計(jì)300A或紋理圖片200A的譯碼。以此方式，本發(fā)明的技 術(shù)可避免相依視圖之間的相依性。
[0127] 根據(jù)本發(fā)明的技術(shù)，可針對(duì)對(duì)相依視圖的非錨點(diǎn)紋理圖片進(jìn)行譯碼啟用視圖間運(yùn) 動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù)測(cè)。因此，在圖6的實(shí)例中，視頻譯碼器可使用相依深度圖估計(jì) 300A用于相對(duì)于基本視圖V。的紋理圖片202A對(duì)相依視圖Vi的紋理圖片200A的視圖間運(yùn) 動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù)測(cè)譯碼（420)。視頻譯碼器可類似地使用相依深度圖估計(jì)304A 用于相對(duì)于基本視圖V〇的紋理圖片202A對(duì)相依視圖V2的紋理圖片204A的視圖間運(yùn)動(dòng)預(yù) 測(cè)和/或視圖間殘余預(yù)測(cè)譯碼（506)。當(dāng)相依視圖紋理圖片經(jīng)譯碼時(shí)，視頻譯碼器可基于相 依視圖紋理圖片的譯碼更新相依深度圖估計(jì)300A和304A(422,508)。
[0128] 視頻譯碼器可根據(jù)用以對(duì)紋理圖片200A和204A的空間對(duì)應(yīng)塊進(jìn)行譯碼的預(yù)測(cè)類 型基于逐塊基礎(chǔ)來更新相依深度圖估計(jì)300A和304A。舉例來說，對(duì)于使用DCP譯碼的相 依紋理圖片的塊，視頻譯碼器可通過將用于DCP的視差向量轉(zhuǎn)換為深度值來獲得深度圖樣 本。對(duì)于使用MCP譯碼的紋理圖片的每一塊，視頻譯碼器可應(yīng)用相關(guān)聯(lián)運(yùn)動(dòng)向量以確定深 度圖估計(jì)的空間對(duì)應(yīng)塊的深度值。特定來說，視頻譯碼器可應(yīng)用運(yùn)動(dòng)向量來識(shí)別相依視圖 的先前相依深度圖估計(jì)中的參考?jí)K，且基于相依視圖的先前基本深度圖估計(jì)的參考?jí)K中的 深度值來推導(dǎo)相依視圖的深度圖估計(jì)的塊的深度值。用于對(duì)紋理圖片進(jìn)行譯碼的運(yùn)動(dòng)向 量可在用以更新深度圖估計(jì)之前舍入到樣本精度。對(duì)于經(jīng)幀內(nèi)譯碼的相依視圖紋理圖片 200A和204A的塊，視頻譯碼器可例如根據(jù)用以對(duì)紋理圖片的空間對(duì)應(yīng)塊進(jìn)行譯碼的幀內(nèi) 預(yù)測(cè)模式，通過從基本深度圖估計(jì)300A和304A的相鄰塊的空間預(yù)測(cè)來確定基本深度圖估 計(jì)300A和304A的空間對(duì)應(yīng)塊的深度值。
[0129] 視頻譯碼器可隨后存儲(chǔ)經(jīng)更新相依深度圖估計(jì)300A和304A與經(jīng)重構(gòu)非錨點(diǎn)紋理 圖片200A和204A。視頻譯碼器還可將相依視圖％的經(jīng)更新相依深度圖估計(jì)300A變形到 基本視圖\以更新基本視圖％的基本深度圖估計(jì)302A(424)，且將相依視圖V2的經(jīng)更新相 依深度圖估計(jì)304A變形到基本視圖V。以更新基本視圖V。的基本深度圖估計(jì)303A(510)。 因此，根據(jù)本發(fā)明的技術(shù)，視頻譯碼器基于相應(yīng)的相依深度圖估計(jì)獨(dú)立地更新每一深度圖 估計(jì)對(duì)的基本深度圖估計(jì)。
[0130] 對(duì)于所有隨后的存取點(diǎn)，可重復(fù)圖6的實(shí)例說明的技術(shù)。在對(duì)基本視圖紋理圖片 進(jìn)行譯碼之后，使用所發(fā)射的運(yùn)動(dòng)參數(shù)通過MCP確定針對(duì)基本視圖圖片的N個(gè)基本深度圖 估計(jì)。將第i基本深度圖估計(jì)變形到\且用于視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù)測(cè)。在 對(duì)\的圖片進(jìn)行解碼之后，使用實(shí)際使用的譯碼參數(shù)更新深度圖估計(jì)，且將其變形回到基 本視圖。在下一隨機(jī)存取單元處，可停用針對(duì)相依視圖的視圖間運(yùn)動(dòng)參數(shù)預(yù)測(cè)和/或視圖 間殘余預(yù)測(cè)，且在對(duì)所述隨機(jī)存取單元的第i非基本視圖進(jìn)行解碼之后，如上所述再初始 化深度圖。
[0131] 圖7是說明根據(jù)本發(fā)明的用于深度圖估計(jì)的產(chǎn)生的實(shí)例性技術(shù)的流程圖。圖7的 實(shí)例性技術(shù)可由視頻譯碼器采用，所述視頻譯碼器可為視頻編碼器（例如視頻編碼器20) 或視頻解碼器（例如視頻解碼器30)。
[0132] 根據(jù)圖7的實(shí)例性技術(shù)，視頻譯碼器對(duì)基本視圖中的圖片的數(shù)據(jù)進(jìn)行譯碼（例如， 編碼或解碼）（600)。視頻譯碼器可確定圖片是錨點(diǎn)圖片還是非錨點(diǎn)圖片（602)。如果圖 片是錨點(diǎn)圖片，那么視頻譯碼器可停用相依視圖錨點(diǎn)圖片的視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間 殘余預(yù)測(cè)（604)。視頻譯碼器可隨后例如使用DCP對(duì)相依視圖的錨點(diǎn)紋理圖片進(jìn)行譯碼 (606)。也就是說，視頻譯碼器可停用相依視圖錨點(diǎn)圖片的運(yùn)動(dòng)和/或殘余信息的預(yù)測(cè)，但 仍可使用視圖間預(yù)測(cè)（本文也稱為DCP)來預(yù)測(cè)相依視圖錨點(diǎn)圖片。視頻譯碼器還可基于 例如通過將用于DCP的視差向量轉(zhuǎn)換為深度值的譯碼而產(chǎn)生相依視圖中的每一者的相依 深度圖估計(jì)（608)。視頻譯碼器可隨后將相依深度圖估計(jì)中的每一者變形到基本視圖以產(chǎn) 生多個(gè)基本深度圖估計(jì)中的相應(yīng)一者（610)。相依深度圖估計(jì)和相應(yīng)基本深度圖估計(jì)可視 為與相應(yīng)相依視圖相關(guān)聯(lián)的深度圖估計(jì)對(duì)。
[0133] 對(duì)于非錨點(diǎn)圖片（602的否），視頻譯碼器可啟用基本視圖中的非錨點(diǎn)圖片的視圖 間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù)測(cè)（612)。為了推導(dǎo)相依視圖圖片的視圖間運(yùn)動(dòng)預(yù)測(cè)和/ 或視圖間殘余預(yù)測(cè)的相依深度圖估計(jì)，視頻譯碼器可基于基本視圖的非錨點(diǎn)紋理圖片的譯 碼來更新基本深度圖估計(jì)（614)。舉例來說，視頻譯碼器可將用以對(duì)紋理圖片進(jìn)行譯碼的 預(yù)測(cè)信息應(yīng)用于基本深度圖估計(jì)以更新基本深度圖估計(jì)。視頻譯碼器可隨后將基本深度圖 估計(jì)中的每一者變形到相應(yīng)相依視圖以產(chǎn)生相依視圖中的每一者的相應(yīng)相依深度圖估計(jì) (616)。
[0134] 視頻譯碼器可隨后對(duì)相依視圖中的非錨點(diǎn)紋理圖片進(jìn)行譯碼（618)。因?yàn)楦鶕?jù)本 發(fā)明中描述的技術(shù)針對(duì)相依視圖中的非錨點(diǎn)圖片啟用視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余 預(yù)測(cè)，所以譯碼可包含相對(duì)于非錨點(diǎn)紋理圖片基本視圖的塊對(duì)相依視圖紋理圖片的塊的視 圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù)測(cè)。基于用以對(duì)相依視圖中的紋理圖片進(jìn)行譯碼的預(yù)測(cè) 參數(shù)，視頻譯碼器可更新相應(yīng)相依深度圖估計(jì)（620)。視頻譯碼器可隨后將相依深度圖估計(jì) 變形回到基本視圖以更新所述多個(gè)基本深度圖估計(jì)中的相應(yīng)者（622)。
[0135] 圖8是說明根據(jù)本發(fā)明的對(duì)紋理數(shù)據(jù)進(jìn)行譯碼且產(chǎn)生錨點(diǎn)圖片的深度圖估計(jì)的 實(shí)例性技術(shù)的流程圖。圖8的實(shí)例性技術(shù)可由視頻譯碼器采用，所述視頻譯碼器可為視頻 編碼器（例如視頻編碼器20)或視頻解碼器（例如視頻解碼器30)。
[0136] 根據(jù)圖8的實(shí)例，視頻譯碼器可對(duì)基本視圖的紋理數(shù)據(jù)（例如，紋理圖片）進(jìn)行圖 片內(nèi)譯碼（700)。視頻譯碼器可隨后參考基本視圖中的紋理數(shù)據(jù)塊對(duì)相依視圖的紋理數(shù)據(jù) 塊進(jìn)行DCP譯碼（702)。視頻譯碼器可基于相依視圖的紋理數(shù)據(jù)的譯碼產(chǎn)生相依視圖中的 每一者的多個(gè)相依深度圖估計(jì)中的相應(yīng)一者（704)。舉例來說，視頻譯碼器可基于用以對(duì)相 依視圖的紋理數(shù)據(jù)進(jìn)行譯碼的視差向量推導(dǎo)相依深度圖估計(jì)的深度值。視頻譯碼器可隨后 將相依深度圖估計(jì)中的每一者變形到基本視圖以產(chǎn)生多個(gè)基本深度圖估計(jì)中的相應(yīng)一者 (706)。
[0137] 圖9是說明根據(jù)本發(fā)明的對(duì)紋理數(shù)據(jù)進(jìn)行譯碼且產(chǎn)生非錨點(diǎn)圖片的深度圖估計(jì) 的實(shí)例性技術(shù)的流程圖。圖9的實(shí)例性技術(shù)可由視頻譯碼器采用，所述視頻譯碼器可為視 頻編碼器（例如視頻編碼器20)或視頻解碼器（例如視頻解碼器30)。
[0138] 根據(jù)圖9的實(shí)例，視頻譯碼器可應(yīng)用圖片內(nèi)或MCP譯碼以對(duì)基本視圖的紋理數(shù)據(jù) (例如，非錨點(diǎn)圖片）的塊進(jìn)行譯碼（800)。如本文描述，視頻譯碼器可基于用以對(duì)基本視 圖的紋理數(shù)據(jù)進(jìn)行譯碼的預(yù)測(cè)參數(shù)來更新所述多個(gè)基本深度圖估計(jì)中的每一者（802)。視 頻譯碼器可隨后將基本深度圖估計(jì)變形到其相應(yīng)相依視圖以產(chǎn)生相依視圖的相依深度圖 估計(jì)（804)。
[0139] 視頻譯碼器可隨后應(yīng)用視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù)測(cè)以基于其相應(yīng)相 依深度圖估計(jì)相對(duì)于基本視圖的紋理數(shù)據(jù)對(duì)相依視圖的例如非錨點(diǎn)圖片的紋理數(shù)據(jù)進(jìn)行 譯碼（806)。視頻譯碼器可隨后使用本文例如相對(duì)于圖6描述的技術(shù)基于用以對(duì)相依視圖 的紋理數(shù)據(jù)進(jìn)行譯碼的預(yù)測(cè)參數(shù)來更新相依深度圖估計(jì)（808)。視頻譯碼器可隨后將相依 深度圖估計(jì)中的每一者變形回到基本視圖以產(chǎn)生多個(gè)經(jīng)更新基本深度圖估計(jì)中的相應(yīng)一 者（810)。
[0140] 本文描述的用于產(chǎn)生和更新用于視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù)測(cè)譯碼的 深度圖估計(jì)的技術(shù)可由例如視頻編碼器20或視頻解碼器30等視頻譯碼器執(zhí)行。編碼器和 解碼器均可產(chǎn)生深度圖估計(jì)作為互逆的編碼和解碼過程的部分。舉例來說，編碼器和解碼 器均可利用視圖間運(yùn)動(dòng)預(yù)測(cè)，其可包含運(yùn)動(dòng)向量預(yù)測(cè)符候選列表的IVMP候選的識(shí)別。編碼 器和解碼器均可識(shí)別IVMP候選且以相同方式產(chǎn)生候選。編碼器可用信號(hào)發(fā)送經(jīng)由到列表 中的索引從列表選擇的候選。
[0141] 圖10是說明視頻編碼器20的實(shí)例的框圖，所述視頻編碼器可實(shí)施本發(fā)明中描述 的技術(shù)來產(chǎn)生和更新深度圖估計(jì)以用于視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù)測(cè)譯碼。視頻 編碼器20可經(jīng)配置以執(zhí)行本發(fā)明的技術(shù)中的任一者或全部，例如執(zhí)行圖6到9中說明的實(shí) 例性技術(shù)中的任一者。
[0142] 視頻編碼器20可執(zhí)行視頻切片內(nèi)的視頻塊的幀內(nèi)和幀間譯碼。幀內(nèi)譯碼依賴于 空間預(yù)測(cè)來減少或移除給定視頻幀或圖片內(nèi)的視頻中的空間冗余。幀間譯碼依賴于時(shí)間預(yù) 測(cè)來減少或移除視頻序列的鄰近幀或圖片內(nèi)的視頻中的時(shí)間冗余。幀內(nèi)模式（I模式）可 涉及若干基于空間的譯碼模式中的任一者。例如單向預(yù)測(cè)（P模式）或雙向預(yù)測(cè)（B模式） 等幀間模式可涉及若干基于時(shí)間的譯碼模式中的任一者。
[0143] 如圖10中所示，視頻編碼器20接收視頻數(shù)據(jù)。在圖10的實(shí)例中，視頻編碼器20 預(yù)測(cè)處理單元1000、求和器1010、變換處理單元1012、量化單元1014、熵編碼單元1016和 參考圖片存儲(chǔ)器1024。預(yù)測(cè)處理單元1000包含運(yùn)動(dòng)估計(jì)單元1002、運(yùn)動(dòng)補(bǔ)償單元1004和 幀內(nèi)預(yù)測(cè)單元1006。
[0144] 針對(duì)視頻塊重構(gòu)，視頻編碼器20還包含逆量化單元1018、逆變換單元1020以及求 和器1022。還可包含解塊濾波器（圖10中未圖示）以對(duì)塊邊界進(jìn)行濾波以從經(jīng)重構(gòu)視頻 移除成塊假象。如果需要，解塊濾波器將通常對(duì)求和器1022的輸出進(jìn)行濾波。除了解塊濾 波器之外還可使用額外濾波器（環(huán)路內(nèi)或環(huán)路后）。為了簡(jiǎn)明而未圖示此些濾波器，但如果 需要，則可對(duì)求和器1010的輸出進(jìn)行濾波（作為環(huán)路內(nèi)濾波器）。
[0145] 在編碼過程期間，視頻編碼器20接收待譯碼的視頻圖片或切片。預(yù)測(cè)處理單元 1000將圖片或切片劃分為多個(gè)視頻塊。運(yùn)動(dòng)估計(jì)單元1002和運(yùn)動(dòng)補(bǔ)償單元1004相對(duì)于存 儲(chǔ)在參考圖片存儲(chǔ)器1024中的一或多個(gè)參考圖片中的一或多個(gè)塊執(zhí)行對(duì)所接收視頻塊的 幀間預(yù)測(cè)性譯碼，以提供時(shí)間或視圖間預(yù)測(cè)。幀內(nèi)預(yù)測(cè)單元1006或者可相對(duì)于與待譯碼的 塊相同的圖片或切片中的一或多個(gè)相鄰塊執(zhí)行對(duì)所接收視頻塊的幀內(nèi)預(yù)測(cè)性譯碼，以提供 空間預(yù)測(cè)。視頻編碼器20可執(zhí)行多個(gè)譯碼遍次，（例如）以選擇用于每一視頻數(shù)據(jù)塊的適 當(dāng)譯碼模式。
[0146] 而且，預(yù)測(cè)處理單元1000可基于先前譯碼遍次中的先前分割方案的評(píng)估而將視 頻數(shù)據(jù)塊分割為若干子塊。舉例來說，預(yù)測(cè)處理單元1000可最初將圖片或切片分割為若干 LCU，且基于速率-失真分析（例如，速率-失真優(yōu)化）根據(jù)不同預(yù)測(cè)模式將所述LCU中的 每一者分割為若干子⑶。預(yù)測(cè)處理單元1000可產(chǎn)生指示IXU到子⑶的分割的四叉樹數(shù)據(jù) 結(jié)構(gòu)。四叉樹的葉節(jié)點(diǎn)⑶可包含一或多個(gè)TO和一或多個(gè)TU。
[0147] 預(yù)測(cè)處理單元1000可（例如）基于錯(cuò)誤結(jié)果而選擇譯碼模式（幀內(nèi)譯碼或幀間 譯碼）中的一者，且將所得的經(jīng)幀內(nèi)譯碼或幀間譯碼的塊提供到求和器1010以產(chǎn)生殘余塊 數(shù)據(jù)，且提供到求和器1022以重構(gòu)經(jīng)編碼塊以用作存儲(chǔ)在參考圖片存儲(chǔ)器1024中的參考 圖片的部分。預(yù)測(cè)處理單元1000還將例如運(yùn)動(dòng)向量、幀內(nèi)模式指示符、分區(qū)信息、參考圖片 索引值、MVP候選列表索引值和其它此類語法信息等語法元素提供到熵編碼單元1016以供 視頻解碼器30用于對(duì)視頻塊進(jìn)行解碼，例如用于如本文描述的視圖間運(yùn)動(dòng)預(yù)測(cè)。
[0148] 預(yù)測(cè)處理單元1000 (例如，運(yùn)動(dòng)估計(jì)單元1002和/或運(yùn)動(dòng)補(bǔ)償單元1004)可執(zhí)行 本發(fā)明中描述的技術(shù)來產(chǎn)生和更新深度圖估計(jì)以用于視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余 預(yù)測(cè)譯碼。舉例來說，預(yù)測(cè)處理單元1000 (例如，運(yùn)動(dòng)估計(jì)單元1002和/或運(yùn)動(dòng)補(bǔ)償單元 1004)可執(zhí)行圖6到9的實(shí)例性技術(shù)中的任一者。運(yùn)動(dòng)估計(jì)單元1002與運(yùn)動(dòng)補(bǔ)償單元1004 可為高度集成的，但為了概念性目的而單獨(dú)說明。
[0149] 由運(yùn)動(dòng)估計(jì)單元1002執(zhí)行的運(yùn)動(dòng)估計(jì)是產(chǎn)生運(yùn)動(dòng)向量或視差運(yùn)動(dòng)向量的過程， 所述向量估計(jì)視頻塊的運(yùn)動(dòng)。運(yùn)動(dòng)向量或視差運(yùn)動(dòng)向量可指示當(dāng)前圖片內(nèi)的當(dāng)前視頻塊 的當(dāng)前PU相對(duì)于參考圖片（例如，時(shí)間參考圖片或視圖間參考圖片）內(nèi)的預(yù)測(cè)性塊的位 移。預(yù)測(cè)性塊為就像素差來說被發(fā)現(xiàn)緊密匹配待譯碼的塊的塊，所述像素差可通過絕對(duì)差 和（SAD)、平方差和（SSD)或其它差量度來確定。在一些實(shí)例中，視頻編碼器20可計(jì)算存儲(chǔ) 在參考圖片存儲(chǔ)器1024中的參考圖片的子整數(shù)像素位置的值。
[0150] 舉例來說，視頻編碼器20可內(nèi)插參考圖片的四分之一像素位置、八分之一像素位 置或其它分?jǐn)?shù)像素位置的值。因此，運(yùn)動(dòng)估計(jì)單元1002可執(zhí)行相對(duì)于全像素位置和分?jǐn)?shù)像 素位置的運(yùn)動(dòng)搜索，且輸出具有分?jǐn)?shù)像素精度的運(yùn)動(dòng)向量。運(yùn)動(dòng)估計(jì)單元1002可從參考圖 片列表（例如，列表〇或列表1)選擇參考圖片，其識(shí)別存儲(chǔ)在參考幀存儲(chǔ)器1024中的一或 多個(gè)參考圖片。運(yùn)動(dòng)估計(jì)單元1002將所計(jì)算的運(yùn)動(dòng)向量或視差運(yùn)動(dòng)向量發(fā)送到熵編碼單 元1016和運(yùn)動(dòng)補(bǔ)償單元1004。在本文描述的其中采用AVMP或合并模式的一些實(shí)例中，并 非將所計(jì)算預(yù)測(cè)向量發(fā)送到熵編碼單元，運(yùn)動(dòng)估計(jì)單元1002將到運(yùn)動(dòng)向量預(yù)測(cè)符候選列 表中的索引和參考圖片索引發(fā)送到熵編碼單元。解碼器可使用與編碼器20相同的技術(shù)來 構(gòu)造候選運(yùn)動(dòng)向量預(yù)測(cè)符候選列表，且可基于由運(yùn)動(dòng)估計(jì)單元1002用信號(hào)發(fā)送的索引來 選擇運(yùn)動(dòng)向量預(yù)測(cè)符，所述運(yùn)動(dòng)向量預(yù)測(cè)符可為用于視圖間運(yùn)動(dòng)預(yù)測(cè)的IVMP。
[0151] 由運(yùn)動(dòng)補(bǔ)償單元1004執(zhí)行的運(yùn)動(dòng)補(bǔ)償可涉及基于由運(yùn)動(dòng)估計(jì)單元1002確定的預(yù) 測(cè)向量而取得或產(chǎn)生預(yù)測(cè)性塊。再次，在一些實(shí)例中，運(yùn)動(dòng)估計(jì)單元1002與運(yùn)動(dòng)補(bǔ)償單元 1004可在功能上集成。在接收到當(dāng)前視頻塊的PU的預(yù)測(cè)向量后，運(yùn)動(dòng)補(bǔ)償單元1004可即 刻在參考圖片列表中的一者中定位預(yù)測(cè)向量指向的預(yù)測(cè)性塊。求和器1010通過從正經(jīng)譯 碼的當(dāng)前視頻塊的像素值減去預(yù)測(cè)性塊的像素值從而形成像素差值，來形成殘余視頻塊。 大體上，運(yùn)動(dòng)估計(jì)單元1002執(zhí)行相對(duì)于亮度分量的運(yùn)動(dòng)估計(jì)，且運(yùn)動(dòng)補(bǔ)償單元1004使用基 于亮度分量計(jì)算的預(yù)測(cè)向量用于色度分量和亮度分量?jī)烧摺?br> [0152] 作為對(duì)由運(yùn)動(dòng)估計(jì)單元1002和運(yùn)動(dòng)補(bǔ)償單元1004執(zhí)行的幀間預(yù)測(cè)的替代，幀內(nèi) 預(yù)測(cè)單元1006可幀內(nèi)預(yù)測(cè)當(dāng)前塊。特定來說，幀內(nèi)預(yù)測(cè)單元1006可確定使用幀內(nèi)預(yù)測(cè)模 式來編碼當(dāng)前塊。在一些實(shí)例中，幀內(nèi)預(yù)測(cè)單元1006可（例如）在單獨(dú)的編碼遍次期間使 用各種幀內(nèi)預(yù)測(cè)模式來編碼當(dāng)前塊，且?guī)瑑?nèi)預(yù)測(cè)單元1006可從所測(cè)試的模式選擇將使用 的適當(dāng)?shù)膸瑑?nèi)預(yù)測(cè)模式。
[0153] 舉例來說，幀內(nèi)預(yù)測(cè)單元1006可使用針對(duì)各種經(jīng)測(cè)試的幀內(nèi)預(yù)測(cè)模式的速率-失 真分析計(jì)算速率-失真值，且在經(jīng)測(cè)試模式當(dāng)中選擇具有最好的速率-失真特性的幀內(nèi)預(yù) 測(cè)模式。速率-失真分析一般確定經(jīng)編碼塊與經(jīng)編碼以產(chǎn)生所述經(jīng)編碼塊的原始未經(jīng)編碼 塊之間的失真（或錯(cuò)誤）的量以及用以產(chǎn)生經(jīng)編碼塊的位率（即，位的數(shù)目）。幀內(nèi)預(yù)測(cè)單 元1006可從失真和速率計(jì)算各種經(jīng)編碼塊的比率，以確定哪一幀內(nèi)預(yù)測(cè)模式展現(xiàn)塊的最 好的速率 -失真值。
[0154] 在為塊選擇幀內(nèi)預(yù)測(cè)模式之后，幀內(nèi)預(yù)測(cè)單元1006可將指示塊的所選擇幀內(nèi)預(yù) 測(cè)模式的信息提供到熵編碼單元1016。熵編碼單元1016可對(duì)指示選定幀內(nèi)預(yù)測(cè)模式的信 息進(jìn)行編碼以供視頻解碼器30用于對(duì)視頻塊進(jìn)行解碼。視頻編碼器20可在所發(fā)射位流中 包含配置數(shù)據(jù)，其可包含多個(gè)幀內(nèi)預(yù)測(cè)模式索引表和多個(gè)經(jīng)修改幀內(nèi)預(yù)測(cè)模式索引表（也 稱為碼字映射表）、各種塊的編碼上下文的定義，以及將用于所述上下文中的每一者的最可 能幀內(nèi)預(yù)測(cè)模式、幀內(nèi)預(yù)測(cè)模式索引表和經(jīng)修改幀內(nèi)預(yù)測(cè)模式索引表的指示。
[0155] 視頻編碼器20通過從正譯碼的原始視頻塊減去來自預(yù)測(cè)模塊1001的預(yù)測(cè)數(shù)據(jù)而 形成殘余視頻塊。求和器1010表示執(zhí)行此減法運(yùn)算的一或多個(gè)組件。變換處理單元1012 將變換（例如，離散余弦變換（DCT)或概念上類似的變換）應(yīng)用于殘余塊，從而產(chǎn)生包括殘 余變換系數(shù)值的視頻塊。變換處理單元1012可執(zhí)行概念上類似于DCT的其它變換。也可 使用小波變換、整數(shù)變換、子帶變換或其它類型的變換。在任何狀況下，變換處理單元1012 將變換應(yīng)用于殘余塊，從而產(chǎn)生殘余變換系數(shù)的塊。變換可將殘余信息從像素值域轉(zhuǎn)換到 變換域，例如頻域。變換處理單元1012可將所得變換系數(shù)發(fā)送到量化單元1014。
[0156] 量化單元1014量化變換系數(shù)的值以進(jìn)一步減小位率。量化過程可減少與系數(shù)中 的一些或全部相關(guān)聯(lián)的位深度?？赏ㄟ^調(diào)整量化參數(shù)來修改量化程度。在一些實(shí)例中，量 化單元1014可隨后執(zhí)行對(duì)包含經(jīng)量化變換系數(shù)的矩陣的掃描。替代地，熵編碼單元1016 可執(zhí)行掃描。
[0157] 在量化之后，熵編碼單元1016對(duì)經(jīng)量化變換系數(shù)進(jìn)行熵譯碼。舉例來說，熵編 碼單元1016可執(zhí)行上下文自適應(yīng)可變長(zhǎng)度譯碼（CAVLC)、上下文自適應(yīng)二進(jìn)制算術(shù)譯碼 (CABAC)、基于語法的上下文自適應(yīng)二進(jìn)制算術(shù)譯碼（SBAC)、概率區(qū)間分割熵（PIPE)譯碼， 或另一熵譯碼技術(shù)。在基于上下文的熵譯碼的情況下，上下文可基于相鄰塊。在通過熵編 碼單元1016熵譯碼之后，可將經(jīng)編碼位流發(fā)射到另一裝置（例如，視頻解碼器30)或加以 存檔以供稍后發(fā)射或檢索。
[0158] 逆量化單元1018和逆變換單元1020分別應(yīng)用逆量化和逆變換，以在像素域中重 構(gòu)殘余塊，且隨后將殘余添加到對(duì)應(yīng)預(yù)測(cè)性塊以重構(gòu)經(jīng)譯碼塊，例如以供稍后用作參考?jí)K。 運(yùn)動(dòng)補(bǔ)償單元1004可通過將殘余塊加到參考圖片存儲(chǔ)器1024的參考圖片中的一者的預(yù)測(cè) 性塊而計(jì)算參考?jí)K。運(yùn)動(dòng)補(bǔ)償單元1004也可將一或多個(gè)內(nèi)插濾波器應(yīng)用于經(jīng)重構(gòu)的殘余 塊，以計(jì)算用于運(yùn)動(dòng)估計(jì)中的子整數(shù)像素值。求和器1022將經(jīng)重構(gòu)的殘余塊加到由運(yùn)動(dòng)補(bǔ) 償單元1004產(chǎn)生的經(jīng)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)塊，以產(chǎn)生經(jīng)重構(gòu)的視頻塊以用于存儲(chǔ)在參考圖片存 儲(chǔ)器1024中。經(jīng)重構(gòu)視頻塊可由運(yùn)動(dòng)估計(jì)單元1012和運(yùn)動(dòng)補(bǔ)償單元1014用作參考?jí)K，以 例如使用本文描述的運(yùn)動(dòng)向量預(yù)測(cè)和視圖間譯碼技術(shù)對(duì)后續(xù)圖片中的塊進(jìn)行幀間譯碼。
[0159] 圖11是說明視頻解碼器30的實(shí)例的框圖，所述視頻編碼器可實(shí)施本發(fā)明中描述 的技術(shù)來產(chǎn)生和更新深度圖估計(jì)以用于視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù)測(cè)譯碼。視頻 解碼器30可經(jīng)配置以執(zhí)行本發(fā)明的技術(shù)中的任一者或全部，例如執(zhí)行圖6到9中說明的實(shí) 例性技術(shù)中的任一者。
[0160] 在圖11的實(shí)例中，視頻解碼器30包含熵解碼單元1040、預(yù)測(cè)處理單元1041、逆量 化單元1046、逆變換單元1048、參考圖片存儲(chǔ)器1052以及求和器1050。預(yù)測(cè)處理單元1041 包含運(yùn)動(dòng)補(bǔ)償單元1042和幀內(nèi)預(yù)測(cè)單元1044。在一些實(shí)例中，視頻解碼器30可執(zhí)行與相 對(duì)于視頻編碼器20 (圖10)所述的編碼遍次大體上互逆的解碼遍次。運(yùn)動(dòng)補(bǔ)償單元1042 可基于預(yù)測(cè)向量或基于從熵解碼單元1040接收的參考圖片和運(yùn)動(dòng)向量預(yù)測(cè)符候選列表索 引來產(chǎn)生預(yù)測(cè)數(shù)據(jù)。幀內(nèi)預(yù)測(cè)單元1044可基于從熵解碼單元1040接收的幀內(nèi)預(yù)測(cè)模式指 示符來產(chǎn)生預(yù)測(cè)數(shù)據(jù)。
[0161] 在解碼過程期間，視頻解碼器30從視頻編碼器20接收表示經(jīng)編碼視頻切片的視 頻塊和相關(guān)聯(lián)語法元素的經(jīng)編碼視頻位流。視頻解碼器30的熵解碼單元1000對(duì)位流進(jìn)行 熵解碼以產(chǎn)生經(jīng)量化系數(shù)、預(yù)測(cè)向量、參考圖片和運(yùn)動(dòng)向量預(yù)測(cè)符候選列表索引、幀內(nèi)預(yù)測(cè) 模式指示符和其它語法元素，其經(jīng)轉(zhuǎn)發(fā)到預(yù)測(cè)處理單元1041。視頻解碼器30可在視頻切片 層級(jí)和/或視頻塊層級(jí)處接收語法元素。
[0162] 當(dāng)視頻切片經(jīng)譯碼為經(jīng)幀內(nèi)譯碼（I)切片時(shí)，幀內(nèi)預(yù)測(cè)單元1044可基于用信號(hào) 發(fā)送的幀內(nèi)預(yù)測(cè)模式和來自當(dāng)前圖片的先前經(jīng)解碼塊的數(shù)據(jù)而產(chǎn)生當(dāng)前視頻切片的視頻 塊的預(yù)測(cè)數(shù)據(jù)。當(dāng)視頻切片經(jīng)譯碼為經(jīng)幀間譯碼（即，B、P或GPB)切片時(shí)，運(yùn)動(dòng)補(bǔ)償單元 1042基于預(yù)測(cè)向量或參考圖片和MVP候選列表索引以及從熵解碼單元1040接收的其它語 法元素而產(chǎn)生當(dāng)前視頻切片的視頻塊的參考?jí)K。參考?jí)K可從參考圖片存儲(chǔ)器1052內(nèi)的時(shí) 間或視圖間參考圖片中的一者產(chǎn)生。參考圖片可在由視頻解碼器30使用默認(rèn)構(gòu)造技術(shù)構(gòu) 造的參考圖片列表（例如，列表〇和列表1)中的一者中列出。
[0163] 預(yù)測(cè)處理單元1041 (例如，運(yùn)動(dòng)補(bǔ)償單元1042)可執(zhí)行所述技術(shù)中的任一者來產(chǎn) 生和更新深度圖估計(jì)以用于本文描述的視圖間運(yùn)動(dòng)預(yù)測(cè)和/或視圖間殘余預(yù)測(cè)譯碼。舉例 來說，預(yù)測(cè)處理單元1041 (例如，運(yùn)動(dòng)補(bǔ)償單元1042)可執(zhí)行圖6到9說明的實(shí)例性技術(shù)中 的任一者。
[0164] 運(yùn)動(dòng)補(bǔ)償單元1042也可執(zhí)行基于內(nèi)插濾波器的內(nèi)插。運(yùn)動(dòng)補(bǔ)償單元1042可使用 在視頻塊的編碼期間由視頻編碼器20使用的內(nèi)插濾波器來計(jì)算參考?jí)K的子整數(shù)像素的經(jīng) 內(nèi)插值。在此情況下，運(yùn)動(dòng)補(bǔ)償單元1042可根據(jù)所接收語法元素確定由視頻編碼器20使 用的內(nèi)插濾波器且使用內(nèi)插濾波器來產(chǎn)生預(yù)測(cè)性塊。
[0165] 逆量化單元1046逆量化（即，解量化）在位流中提供且由熵解碼單元1040解碼 的經(jīng)量化變換系數(shù)。逆量化過程可包含針對(duì)視頻切片中的每一視頻塊使用由視頻解碼器 30計(jì)算出的量化參數(shù)QPY來確定量化程度和（同樣）應(yīng)應(yīng)用的逆量化的程度。逆變換單元 1048將逆變換（例如，逆DCT、逆整數(shù)變換或概念上類似的逆變換過程）應(yīng)用于變換系數(shù)， 以便在像素域中產(chǎn)生殘余塊。
[0166] 在運(yùn)動(dòng)補(bǔ)償單元1042產(chǎn)生當(dāng)前視頻塊的預(yù)測(cè)性塊之后，視頻解碼器30通過將來 自逆變換單元1048的殘余塊與由運(yùn)動(dòng)補(bǔ)償單元1042產(chǎn)生的對(duì)應(yīng)預(yù)測(cè)性塊進(jìn)行求和而形成 經(jīng)解碼視頻塊。求和器1050表示執(zhí)行此求和運(yùn)算的一或多個(gè)組件。如果需要，那么還可應(yīng) 用解塊濾波器以對(duì)經(jīng)解碼塊進(jìn)行濾波以便移除成塊假象。也可使用其它環(huán)路濾波器（譯碼 環(huán)路中或在譯碼環(huán)路之后）來平滑像素轉(zhuǎn)變或另外改善視頻質(zhì)量。隨后將給定圖片中的經(jīng) 解碼視頻塊存儲(chǔ)在參考圖片存儲(chǔ)器1052中，所述參考圖片存儲(chǔ)器存儲(chǔ)用于后續(xù)運(yùn)動(dòng)補(bǔ)償 的參考圖片。參考圖片存儲(chǔ)器1052還可存儲(chǔ)經(jīng)解碼視頻以用于稍后呈現(xiàn)在顯示裝置（例 如圖1的顯示裝置32)上。
[0167] 應(yīng)認(rèn)識(shí)到，取決于實(shí)例，本文描述的技術(shù)中的任一者的某些動(dòng)作或事件可以不同 順序執(zhí)行，可相加、合并或完全省去（例如，并非所有描述的動(dòng)作或事件對(duì)于所述技術(shù)的實(shí) 踐都是必要的）。而且，在某些實(shí)例中，動(dòng)作或事件可例如通過多線程處理、中斷處理或多個(gè) 處理器同時(shí)執(zhí)行，而不是循序地執(zhí)行。
[0168] 在一或多個(gè)實(shí)例中，所描述功能可以硬件、軟件、固件或其任一組合實(shí)施。如果以 軟件來實(shí)施，那么功能可作為一或多個(gè)指令或代碼存儲(chǔ)于計(jì)算機(jī)可讀媒體上或經(jīng)由計(jì)算機(jī) 可讀媒體傳輸。計(jì)算機(jī)可讀媒體可包含計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)媒體或通信媒體兩者，所述通信媒 體包含促進(jìn)計(jì)算機(jī)程序從一處轉(zhuǎn)移到另一處的任何媒體。數(shù)據(jù)存儲(chǔ)媒體可為可由一或多個(gè) 計(jì)算機(jī)或者一或多個(gè)處理器存取以檢索指令、代碼和/或數(shù)據(jù)結(jié)構(gòu)以用于實(shí)施本發(fā)明中描 述的技術(shù)的任何可用媒體。舉例來說且并非限制，計(jì)算機(jī)可讀媒體可包括RAM、R0M、EEPR0M、 CD-ROM或其它光盤存儲(chǔ)裝置、磁盤存儲(chǔ)裝置或其它磁性存儲(chǔ)裝置、快閃存儲(chǔ)器，或可用以載 運(yùn)或存儲(chǔ)呈指令或數(shù)據(jù)結(jié)構(gòu)的形式的所要程序代碼且可由計(jì)算機(jī)存取的任何其它媒體。而 且，將任何連接恰當(dāng)?shù)胤Q為計(jì)算機(jī)可讀媒體。舉例來說，如果使用同軸電纜、光纖電纜、雙絞 線、數(shù)字訂戶線OSL)或例如紅外線、無線電和微波等無線技術(shù)從網(wǎng)站、服務(wù)器或其它遠(yuǎn)程 源發(fā)射軟件，那么同軸電纜、光纖電纜、雙絞線、DSL或例如紅外線、無線電和微波等無線技 術(shù)包含于媒體的定義中。如本文所使用，磁盤和光盤包含壓縮光盤（CD)、激光光盤、光學(xué)光 盤、數(shù)字多功能光盤0WD)、軟磁盤和藍(lán)光光盤，其中磁盤通常以磁性方式再生數(shù)據(jù)，而光盤 用激光以光學(xué)方式再生數(shù)據(jù)。以上各項(xiàng)的組合也應(yīng)包含在計(jì)算機(jī)可讀媒體的范圍內(nèi)。
[0169] 可通過例如一或多個(gè)數(shù)字信號(hào)處理器（DSP)、通用微處理器、專用集成電路 (ASIC)、現(xiàn)場(chǎng)可編程邏輯陣列（FPGA)或其它等效集成或離散邏輯電路等一或多個(gè)處理器 來執(zhí)行代碼。因此，如本文使用的術(shù)語"處理器"可指代前述結(jié)構(gòu)或適于實(shí)施本文所述的技 術(shù)的任何其它結(jié)構(gòu)中的任一者。另外，在一些方面中，可將本文描述的功能性提供于經(jīng)配置 以用于編碼和解碼的專用硬件和/或軟件模塊內(nèi)，或并入于組合式編解碼器中。而且，可將 所述技術(shù)完全實(shí)施于一或多個(gè)電路或邏輯元件中。
[0170] 本發(fā)明的技術(shù)可在廣泛多種裝置或設(shè)備中實(shí)施，包含無線手持機(jī)、集成電路（1C) 或一組1C(例如，芯片組）。本發(fā)明中描述各種組件、模塊或單元以強(qiáng)調(diào)經(jīng)配置以執(zhí)行所揭 示技術(shù)的裝置的功能方面，但未必需要通過不同硬件單元來實(shí)現(xiàn)。而是如上文所述，各種單 元可組合于編解碼器硬件單元中，或通過互操作性硬件單元（包含如上文所述的一或多個(gè) 處理器）的集合結(jié)合合適的軟件和/或固件來提供。
[0171] 已描述各種實(shí)例。這些和其它實(shí)例在所附權(quán)利要求書的范圍內(nèi)。
【權(quán)利要求】
1. 一種對(duì)視頻數(shù)據(jù)進(jìn)行譯碼的方法，所述視頻數(shù)據(jù)包括至少一個(gè)基本視圖和多個(gè)相依 視圖，其中所述多個(gè)相依視圖取決于所述基本視圖，所述方法包括： 對(duì)于所述相依視圖中的每一者，相對(duì)于存取單元的所述基本視圖的紋理數(shù)據(jù)使用所述 相依視圖的視差運(yùn)動(dòng)信息對(duì)所述存取單元的所述相依視圖的紋理數(shù)據(jù)進(jìn)行譯碼； 對(duì)于所述相依視圖中的每一者，基于所述相依視圖的所述視差運(yùn)動(dòng)信息產(chǎn)生所述存取 單元的相依深度圖估計(jì)；以及 將所述相依深度圖估計(jì)中的每一者變形到所述基本視圖以產(chǎn)生所述存取單元的多個(gè) 基本深度圖估計(jì)中的相應(yīng)一者，其中所述相依深度圖估計(jì)中的每一者和所述相應(yīng)基本深度 圖估計(jì)形成所述存取單元的多個(gè)深度圖估計(jì)對(duì)中的相應(yīng)一者且與所述多個(gè)相依視圖中的 相應(yīng)一者相關(guān)聯(lián)。
2. 根據(jù)權(quán)利要求1所述的方法，其中所述深度圖估計(jì)中的每一者包括深度圖估計(jì)圖片 DMEP。
3. 根據(jù)權(quán)利要求1所述的方法，其中所述相依視圖中的每一者不取決于所述相依視圖 中的任一其它者。
4. 根據(jù)權(quán)利要求1所述的方法，其中所述視差運(yùn)動(dòng)信息包括用于視差補(bǔ)償預(yù)測(cè)DCP的 視差向量，且產(chǎn)生相依深度圖估計(jì)包括將所述視差向量轉(zhuǎn)換為深度值。
5. 根據(jù)權(quán)利要求1所述的方法，其中所述存取單元包括第一存取單元，所述方法進(jìn)一 步包括： 對(duì)第二存取單元的所述基本視圖的紋理數(shù)據(jù)進(jìn)行譯碼；以及 基于所述第二存取單元的所述基本視圖的所述紋理數(shù)據(jù)的所述譯碼來更新所述多個(gè) 基本深度圖估計(jì)中的每一者。
6. 根據(jù)權(quán)利要求5所述的方法， 其中對(duì)所述第二存取單元的所述基本視圖的紋理數(shù)據(jù)進(jìn)行譯碼包括使用圖片內(nèi)預(yù)測(cè) 或運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)MCP中的至少一者對(duì)所述紋理數(shù)據(jù)進(jìn)行譯碼，且 其中基于所述譯碼更新所述第二存取單元的所述多個(gè)基本深度圖估計(jì)中的每一者針 對(duì)所述基本深度圖估計(jì)中的每一者包括： 對(duì)于所述基本深度圖估計(jì)的對(duì)應(yīng)于所述第二存取單元的所述基本視圖的所述紋理數(shù) 據(jù)的使用圖片內(nèi)預(yù)測(cè)譯碼的塊的塊，應(yīng)用所述圖片內(nèi)預(yù)測(cè)來從所述基本深度圖估計(jì)的一或 多個(gè)其它塊推導(dǎo)所述基本深度圖估計(jì)的所述塊；以及 對(duì)于所述基本深度圖估計(jì)的對(duì)應(yīng)于所述第二存取單元的所述基本視圖的所述紋理數(shù) 據(jù)的使用MCP譯碼的塊的塊，應(yīng)用所述MCP來從先前存取單元的所述基本深度圖估計(jì)的先 前版本的一或多個(gè)塊推導(dǎo)所述基本深度圖估計(jì)的所述塊。
7. 根據(jù)權(quán)利要求5所述的方法，其針對(duì)所述相依視圖中的每一者進(jìn)一步包括： 將所述多個(gè)基本深度圖估計(jì)中的相應(yīng)一者變形到所述相依視圖以產(chǎn)生相應(yīng)相依深度 圖估計(jì)；以及 基于所述相應(yīng)相依深度圖估計(jì)相對(duì)于所述第二存取單元的所述基本視圖的所述紋理 數(shù)據(jù)對(duì)所述第二存取單元的所述相依視圖的紋理數(shù)據(jù)進(jìn)行譯碼。
8. 根據(jù)權(quán)利要求7所述的方法，其中基于所述相應(yīng)相依深度圖估計(jì)相對(duì)于所述第二存 取單元的所述基本視圖的所述紋理數(shù)據(jù)對(duì)所述第二存取單元的所述相依視圖的所述紋理 數(shù)據(jù)進(jìn)行譯碼包括在視圖間運(yùn)動(dòng)預(yù)測(cè)或視圖間殘余預(yù)測(cè)中的至少一者經(jīng)啟用的情況下相 對(duì)于所述第二存取單元的所述基本視圖的所述紋理數(shù)據(jù)對(duì)所述第二存取單元的所述相依 視圖的所述紋理數(shù)據(jù)進(jìn)行譯碼。
9. 根據(jù)權(quán)利要求7所述的方法，其針對(duì)所述相依視圖中的每一者進(jìn)一步包括： 基于所述第二存取單元的所述相依視圖的所述紋理數(shù)據(jù)的所述經(jīng)譯碼信息來更新所 述相應(yīng)相依深度圖估計(jì)；以及 將所述相應(yīng)相依深度圖估計(jì)變形回到所述基本視圖以更新所述多個(gè)基本深度圖估計(jì) 中的所述相應(yīng)一者。
10. 根據(jù)權(quán)利要求9所述的方法， 其中對(duì)所述第二存取單元的所述相依視圖的紋理數(shù)據(jù)進(jìn)行譯碼包括使用圖片內(nèi)預(yù)測(cè)、 運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)MCP或視差補(bǔ)償預(yù)測(cè)DCP中的至少一者對(duì)所述紋理數(shù)據(jù)進(jìn)行譯碼，且 其中更新所述相應(yīng)相依深度圖估計(jì)包括： 對(duì)于所述相依深度圖估計(jì)的對(duì)應(yīng)于所述第二存取單元的所述相依視圖的所述紋理數(shù) 據(jù)的使用圖片內(nèi)預(yù)測(cè)譯碼的塊的塊，應(yīng)用所述圖片內(nèi)預(yù)測(cè)來從所述相依深度圖估計(jì)的一或 多個(gè)其它塊推導(dǎo)所述相依深度圖估計(jì)的所述塊； 對(duì)于所述相依深度圖估計(jì)的對(duì)應(yīng)于所述第二存取單元的所述相依視圖的所述紋理數(shù) 據(jù)的使用MCP譯碼的塊的塊，應(yīng)用所述MCP來從先前存取單元的所述相依深度圖估計(jì)的先 前版本的一或多個(gè)塊推導(dǎo)所述相依深度圖估計(jì)的所述塊；以及 對(duì)于所述相依深度圖估計(jì)的對(duì)應(yīng)于所述第二存取單元的所述相依視圖的所述紋理數(shù) 據(jù)的使用DCP譯碼的塊的塊，將用于所述DCP的視差向量轉(zhuǎn)換為深度值。
11. 根據(jù)權(quán)利要求9所述的方法，其中將所述基本深度圖估計(jì)變形到所述相依視圖以 產(chǎn)生相依深度圖估計(jì)、對(duì)所述相依視圖的紋理數(shù)據(jù)進(jìn)行譯碼、更新所述相依深度圖估計(jì)以 及將所述相依深度圖估計(jì)變形回到所述基本視圖以更新所述基本深度圖估計(jì)包括： 針對(duì)所述多個(gè)相依視圖中的每一者，獨(dú)立地將所述基本深度圖估計(jì)變形到所述相依視 圖以產(chǎn)生相依深度圖估計(jì)、對(duì)所述相依視圖的紋理數(shù)據(jù)進(jìn)行譯碼、更新所述相依深度圖估 計(jì)以及將所述相依深度圖估計(jì)變形回到所述基本視圖以更新所述基本深度圖估計(jì)。
12. 根據(jù)權(quán)利要求5所述的方法，其中第一存取單元包括所述視圖中的每一者的相應(yīng) 錨點(diǎn)圖片，且所述第二存取單元包括所述視圖中的每一者的相應(yīng)非錨點(diǎn)圖片。
13. 根據(jù)權(quán)利要求12所述的方法，其中所述第一存取單元包括隨機(jī)存取單元，所述錨 點(diǎn)圖片包括隨機(jī)存取圖片，所述第二存取單元包括非隨機(jī)存取單元，且所述非錨點(diǎn)圖片包 括非隨機(jī)存取圖片。
14. 根據(jù)權(quán)利要求1所述的方法，其中： 當(dāng)所述存取單元包括所述視圖中的每一者的相應(yīng)錨點(diǎn)圖片時(shí)，對(duì)所述相依視圖的所述 紋理數(shù)據(jù)進(jìn)行譯碼包括停用所述存取單元的所述相依視圖的所述紋理數(shù)據(jù)的視圖間運(yùn)動(dòng) 預(yù)測(cè)譯碼或視圖間殘余預(yù)測(cè)譯碼中的至少一者；且 當(dāng)所述存取單元包括所述視圖中的每一者的相應(yīng)非錨點(diǎn)圖片時(shí)，對(duì)所述相依視圖的所 述紋理數(shù)據(jù)進(jìn)行譯碼包括啟用所述存取單元的所述相依視圖的所述紋理數(shù)據(jù)的視圖間運(yùn) 動(dòng)預(yù)測(cè)譯碼或視圖間殘余預(yù)測(cè)譯碼中的至少一者。
15. 根據(jù)權(quán)利要求1所述的方法，其中所述深度圖估計(jì)的分辨率與所述紋理數(shù)據(jù)的分 辨率相同。
16. 根據(jù)權(quán)利要求1所述的方法，其中所述深度圖估計(jì)的分辨率與所述紋理數(shù)據(jù)的分 辨率不同。
17. 根據(jù)權(quán)利要求1所述的方法，其中所述相依深度圖估計(jì)的分辨率與所述基本深度 圖估計(jì)的分辨率不同。
18. 根據(jù)權(quán)利要求1所述的方法，其中對(duì)紋理數(shù)據(jù)進(jìn)行譯碼包括以解碼器對(duì)紋理數(shù)據(jù) 進(jìn)行解碼，且產(chǎn)生和變形所述相依深度圖估計(jì)包括以所述解碼器產(chǎn)生和變形所述相依深度 圖估計(jì)。
19. 根據(jù)權(quán)利要求1所述的方法，其中對(duì)紋理數(shù)據(jù)進(jìn)行譯碼包括以編碼器對(duì)紋理數(shù)據(jù) 進(jìn)行編碼，且產(chǎn)生和變形所述相依深度圖估計(jì)包括以所述編碼器產(chǎn)生和變形所述相依深度 圖估計(jì)。
20. -種包括用于對(duì)視頻數(shù)據(jù)進(jìn)行譯碼的視頻譯碼器的裝置，所述視頻數(shù)據(jù)包括至少 一個(gè)基本視圖和多個(gè)相依視圖，其中所述多個(gè)相依視圖取決于所述基本視圖，所述視頻譯 碼器經(jīng)配置以： 對(duì)于所述相依視圖中的每一者，相對(duì)于存取單元的所述基本視圖的紋理數(shù)據(jù)使用所述 相依視圖的視差運(yùn)動(dòng)信息對(duì)所述存取單元的所述相依視圖的紋理數(shù)據(jù)進(jìn)行譯碼； 對(duì)于所述相依視圖中的每一者，基于所述相依視圖的所述視差運(yùn)動(dòng)信息產(chǎn)生所述存取 單元的相依深度圖估計(jì)；以及 將所述相依深度圖估計(jì)中的每一者變形到所述基本視圖以產(chǎn)生所述存取單元的多個(gè) 基本深度圖估計(jì)中的相應(yīng)一者，其中所述相依深度圖估計(jì)中的每一者和所述相應(yīng)基本深度 圖估計(jì)形成所述存取單元的多個(gè)深度圖估計(jì)對(duì)中的相應(yīng)一者且與所述多個(gè)相依視圖中的 相應(yīng)一者相關(guān)聯(lián)。
21. 根據(jù)權(quán)利要求20所述的裝置，其中所述深度圖估計(jì)中的每一者包括深度圖估計(jì)圖 六DMEP。
22. 根據(jù)權(quán)利要求20所述的裝置，其中所述相依視圖中的每一者不取決于所述相依視 圖中的任一其它者。
23. 根據(jù)權(quán)利要求20所述的裝置，其中所述視差運(yùn)動(dòng)信息包括用于視差補(bǔ)償預(yù)測(cè)DCP 的視差向量，且所述視頻譯碼器經(jīng)配置以將所述視差向量轉(zhuǎn)換為深度值以產(chǎn)生所述相依深 度圖估計(jì)。
24. 根據(jù)權(quán)利要求20所述的裝置，其中所述存取單元包括第一存取單元，且所述視頻 譯碼器進(jìn)一步經(jīng)配置以： 對(duì)第二存取單元的所述基本視圖的紋理數(shù)據(jù)進(jìn)行譯碼；以及 基于所述第二存取單元的所述基本視圖的所述紋理數(shù)據(jù)的所述譯碼來更新所述多個(gè) 基本深度圖估計(jì)中的每一者。
25. 根據(jù)權(quán)利要求24所述的裝置， 其中所述視頻譯碼器經(jīng)配置以使用圖片內(nèi)預(yù)測(cè)或運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)MCP中的至少一者對(duì) 所述第二存取單元的所述基本視圖的所述紋理數(shù)據(jù)進(jìn)行譯碼，且 其中對(duì)于所述基本深度圖估計(jì)中的每一者，所述視頻譯碼器經(jīng)配置以通過至少經(jīng)配置 以進(jìn)行以下操作而基于所述譯碼更新所述第二存取單元的所述基本深度圖估計(jì)： 對(duì)于所述基本深度圖估計(jì)的對(duì)應(yīng)于所述第二存取單元的所述基本視圖的所述紋理數(shù) 據(jù)的使用圖片內(nèi)預(yù)測(cè)譯碼的塊的塊，應(yīng)用所述圖片內(nèi)預(yù)測(cè)來從所述基本深度圖估計(jì)的一或 多個(gè)其它塊推導(dǎo)所述基本深度圖估計(jì)的所述塊；以及 對(duì)于所述基本深度圖估計(jì)的對(duì)應(yīng)于所述第二存取單元的所述基本視圖的所述紋理數(shù) 據(jù)的使用MCP譯碼的塊的塊，應(yīng)用所述MCP來從先前存取單元的所述基本深度圖估計(jì)的先 前版本的一或多個(gè)塊推導(dǎo)所述基本深度圖估計(jì)的所述塊。
26. 根據(jù)權(quán)利要求24所述的裝置，其中對(duì)于所述相依視圖中的每一者，所述視頻譯碼 器進(jìn)一步經(jīng)配置以： 將所述多個(gè)基本深度圖估計(jì)中的相應(yīng)一者變形到所述相依視圖以產(chǎn)生相應(yīng)相依深度 圖估計(jì)；以及 基于所述相應(yīng)相依深度圖估計(jì)相對(duì)于所述第二存取單元的所述基本視圖的所述紋理 數(shù)據(jù)對(duì)所述第二存取單元的所述相依視圖的紋理數(shù)據(jù)進(jìn)行譯碼。
27. 根據(jù)權(quán)利要求26所述的裝置，其中所述視頻譯碼器經(jīng)配置以在視圖間運(yùn)動(dòng)預(yù)測(cè)或 視圖間殘余預(yù)測(cè)中的至少一者經(jīng)啟用的情況下基于所述相應(yīng)相依深度圖估計(jì)相對(duì)于所述 第二存取單元的所述基本視圖的所述紋理數(shù)據(jù)對(duì)所述第二存取單元的所述相依視圖的所 述紋理數(shù)據(jù)進(jìn)行譯碼。
28. 根據(jù)權(quán)利要求26所述的裝置，其中對(duì)于所述相依視圖中的每一者，所述視頻譯碼 器進(jìn)一步經(jīng)配置以： 基于所述第二存取單元的所述相依視圖的所述紋理數(shù)據(jù)的所述經(jīng)譯碼信息來更新所 述相應(yīng)相依深度圖估計(jì)；以及 將所述相應(yīng)相依深度圖估計(jì)變形回到所述基本視圖以更新所述多個(gè)基本深度圖估計(jì) 中的所述相應(yīng)一者。
29. 根據(jù)權(quán)利要求28所述的裝置， 其中對(duì)于所述相依視圖中的每一者，所述視頻譯碼器經(jīng)配置以使用圖片內(nèi)預(yù)測(cè)、運(yùn)動(dòng) 補(bǔ)償預(yù)測(cè)MCP或視差補(bǔ)償預(yù)測(cè)DCP中的至少一者對(duì)所述第二存取單元的所述相依視圖的所 述紋理數(shù)據(jù)進(jìn)行譯碼，且 其中對(duì)于所述相依深度圖估計(jì)中的每一者，所述視頻譯碼器經(jīng)配置以通過至少經(jīng)配置 以進(jìn)行以下操作而更新所述相依深度圖估計(jì)： 對(duì)于所述相依深度圖估計(jì)的對(duì)應(yīng)于所述第二存取單元的所述相依視圖的所述紋理數(shù) 據(jù)的使用圖片內(nèi)預(yù)測(cè)譯碼的塊的塊，應(yīng)用所述圖片內(nèi)預(yù)測(cè)來從所述相依深度圖估計(jì)的一或 多個(gè)其它塊推導(dǎo)所述相依深度圖估計(jì)的所述塊； 對(duì)于所述相依深度圖估計(jì)的對(duì)應(yīng)于所述第二存取單元的所述相依視圖的所述紋理數(shù) 據(jù)的使用MCP譯碼的塊的塊，應(yīng)用所述MCP來從先前存取單元的所述相依深度圖估計(jì)的先 前版本的一或多個(gè)塊推導(dǎo)所述相依深度圖估計(jì)的所述塊；以及 對(duì)于所述相依深度圖估計(jì)的對(duì)應(yīng)于所述第二存取單元的所述相依視圖的所述紋理數(shù) 據(jù)的使用DCP譯碼的塊的塊，將用于所述DCP的視差向量轉(zhuǎn)換為深度值。
30. 根據(jù)權(quán)利要求28所述的裝置，其中所述視頻譯碼器經(jīng)配置以： 針對(duì)所述多個(gè)相依視圖中的每一者，獨(dú)立地將所述基本深度圖估計(jì)變形到所述相依視 圖以產(chǎn)生相依深度圖估計(jì)、對(duì)所述相依視圖的紋理數(shù)據(jù)進(jìn)行譯碼、更新所述相依深度圖估 計(jì)以及將所述相依深度圖估計(jì)變形回到所述基本視圖以更新所述基本深度圖估計(jì)。
31. 根據(jù)權(quán)利要求24所述的裝置，其中第一存取單元包括所述視圖中的每一者的相應(yīng) 錨點(diǎn)圖片，且所述第二存取單元包括所述視圖中的每一者的相應(yīng)非錨點(diǎn)圖片。
32. 根據(jù)權(quán)利要求31所述的裝置，其中所述第一存取單元包括隨機(jī)存取單元，所述錨 點(diǎn)圖片包括隨機(jī)存取圖片，所述第二存取單元包括非隨機(jī)存取單元，且所述非錨點(diǎn)圖片包 括非隨機(jī)存取圖片。
33. 根據(jù)權(quán)利要求20所述的裝置，其中所述視頻譯碼器進(jìn)一步經(jīng)配置以： 當(dāng)所述存取單元包括所述視圖中的每一者的相應(yīng)錨點(diǎn)圖片時(shí)，停用所述存取單元的所 述相依視圖的所述紋理數(shù)據(jù)的視圖間運(yùn)動(dòng)預(yù)測(cè)譯碼或視圖間殘余預(yù)測(cè)譯碼中的至少一者； 且 當(dāng)所述存取單元包括所述視圖中的每一者的相應(yīng)非錨點(diǎn)圖片時(shí)，啟用所述存取單元的 所述相依視圖的所述紋理數(shù)據(jù)的視圖間運(yùn)動(dòng)預(yù)測(cè)譯碼或視圖間殘余預(yù)測(cè)譯碼中的至少一 者。
34. 根據(jù)權(quán)利要求20所述的裝置，其中所述深度圖估計(jì)的分辨率與所述紋理數(shù)據(jù)的分 辨率相同。
35. 根據(jù)權(quán)利要求20所述的裝置，其中所述深度圖估計(jì)的分辨率與所述紋理數(shù)據(jù)的分 辨率不同。
36. 根據(jù)權(quán)利要求20所述的裝置，其中所述相依深度圖估計(jì)的分辨率與所述基本深度 圖估計(jì)的分辨率不同。
37. 根據(jù)權(quán)利要求20所述的裝置，其中視頻譯碼器包括視頻解碼器，所述視頻解碼器 經(jīng)配置以對(duì)紋理數(shù)據(jù)進(jìn)行解碼且產(chǎn)生和變形所述相依深度圖估計(jì)。
38. 根據(jù)權(quán)利要求20所述的裝置，其中視頻譯碼器包括視頻編碼器，所述視頻編碼器 經(jīng)配置以對(duì)紋理數(shù)據(jù)進(jìn)行編碼且產(chǎn)生和變形所述相依深度圖估計(jì)。
39. 根據(jù)權(quán)利要求20所述的裝置，其中所述裝置包括以下各項(xiàng)中的至少一者： 集成電路，其實(shí)施所述視頻譯碼器； 微處理器，其實(shí)施所述視頻譯碼器；以及 無線通信裝置，其包含所述視頻譯碼器。
40. -種用于對(duì)視頻數(shù)據(jù)進(jìn)行譯碼的裝置，所述視頻數(shù)據(jù)包括至少一個(gè)基本視圖和多 個(gè)相依視圖，其中所述多個(gè)相依視圖取決于所述基本視圖，所述裝置包括： 用于對(duì)于所述相依視圖中的每一者相對(duì)于存取單元的所述基本視圖的紋理數(shù)據(jù)使用 所述相依視圖的視差運(yùn)動(dòng)信息對(duì)所述存取單元的所述相依視圖的紋理數(shù)據(jù)進(jìn)行譯碼的裝 置； 用于對(duì)于所述相依視圖中的每一者基于所述相依視圖的所述視差運(yùn)動(dòng)信息產(chǎn)生所述 存取單元的相依深度圖估計(jì)的裝置；以及 用于將所述相依深度圖估計(jì)中的每一者變形到所述基本視圖以產(chǎn)生所述存取單元的 多個(gè)基本深度圖估計(jì)中的相應(yīng)一者的裝置，其中所述相依深度圖估計(jì)中的每一者和所述相 應(yīng)基本深度圖估計(jì)形成所述存取單元的多個(gè)深度圖估計(jì)對(duì)中的相應(yīng)一者且與所述多個(gè)相 依視圖中的相應(yīng)一者相關(guān)聯(lián)。
41. 根據(jù)權(quán)利要求40所述的裝置，其中所述存取單元包括第一存取單元，所述裝置進(jìn) 一步包括： 用于對(duì)第二存取單元的所述基本視圖的紋理數(shù)據(jù)進(jìn)行譯碼的裝置；以及 用于基于所述第二存取單元的所述基本視圖的所述紋理數(shù)據(jù)的所述譯碼來更新所述 多個(gè)基本深度圖估計(jì)中的每一者的裝置。
42. 根據(jù)權(quán)利要求41所述的裝置，其進(jìn)一步包括： 用于對(duì)于所述相依視圖中的每一者將所述多個(gè)基本深度圖估計(jì)中的相應(yīng)一者變形到 所述相依視圖以產(chǎn)生相應(yīng)相依深度圖估計(jì)的裝置；以及 用于對(duì)于所述相依視圖中的每一者基于所述相應(yīng)相依深度圖估計(jì)相對(duì)于所述第二存 取單元的所述基本視圖的所述紋理數(shù)據(jù)對(duì)所述第二存取單元的所述相依視圖的紋理數(shù)據(jù) 進(jìn)行譯碼的裝置。
43. 根據(jù)權(quán)利要求42所述的裝置，其中所述用于基于所述相應(yīng)相依深度圖估計(jì)相對(duì)于 所述第二存取單元的所述基本視圖的所述紋理數(shù)據(jù)對(duì)所述第二存取單元的所述相依視圖 的紋理數(shù)據(jù)進(jìn)行譯碼的裝置包括用于在視圖間運(yùn)動(dòng)預(yù)測(cè)或視圖間殘余預(yù)測(cè)中的至少一者 經(jīng)啟用的情況下基于所述相應(yīng)相依深度圖估計(jì)相對(duì)于所述第二存取單元的所述基本視圖 的所述紋理數(shù)據(jù)對(duì)所述第二存取單元的所述相依視圖的紋理數(shù)據(jù)進(jìn)行譯碼的裝置。
44. 根據(jù)權(quán)利要求42所述的裝置，其進(jìn)一步包括： 用于對(duì)于所述相依視圖中的每一者基于所述第二存取單元的所述相依視圖的所述紋 理數(shù)據(jù)的所述經(jīng)譯碼信息來更新所述相應(yīng)相依深度圖估計(jì)的裝置；以及 用于對(duì)于所述相依視圖中的每一者將所述相應(yīng)相依深度圖估計(jì)變形回到所述基本視 圖以更新所述多個(gè)基本深度圖估計(jì)中的所述相應(yīng)一者的裝置。
45. 根據(jù)權(quán)利要求41所述的裝置，其中第一存取單元包括所述視圖中的每一者的相應(yīng) 錨點(diǎn)圖片，且所述第二存取單元包括所述視圖中的每一者的相應(yīng)非錨點(diǎn)圖片。
46. 根據(jù)權(quán)利要求40所述的裝置，其進(jìn)一步包括： 用于當(dāng)所述存取單元包括所述視圖中的每一者的相應(yīng)錨點(diǎn)圖片時(shí)對(duì)所述相依視圖的 所述紋理數(shù)據(jù)進(jìn)行譯碼的裝置包括停用所述存取單元的所述相依視圖的所述紋理數(shù)據(jù)的 視圖間運(yùn)動(dòng)預(yù)測(cè)譯碼或視圖間殘余譯碼中的至少一者；且 用于當(dāng)所述存取單元包括所述視圖中的每一者的相應(yīng)非錨點(diǎn)圖片時(shí)對(duì)所述相依視圖 的所述紋理數(shù)據(jù)進(jìn)行譯碼的裝置包括啟用所述存取單元的所述相依視圖的所述紋理數(shù)據(jù) 的視圖間運(yùn)動(dòng)預(yù)測(cè)譯碼或視圖間殘余譯碼中的至少一者。
47. -種具有存儲(chǔ)于其上的指令的計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令當(dāng)由經(jīng)配置以對(duì)包 括至少一個(gè)基本視圖和多個(gè)相依視圖的視頻數(shù)據(jù)進(jìn)行譯碼的視頻譯碼器的一或多個(gè)處理 器執(zhí)行時(shí)致使所述視頻譯碼器進(jìn)行以下操作，其中所述多個(gè)相依視圖取決于所述基本視 圖： 對(duì)于所述相依視圖中的每一者，相對(duì)于存取單元的所述基本視圖的紋理數(shù)據(jù)使用所述 相依視圖的視差運(yùn)動(dòng)信息對(duì)所述存取單元的所述相依視圖的紋理數(shù)據(jù)進(jìn)行譯碼； 對(duì)于所述相依視圖中的每一者，基于所述相依視圖的所述視差運(yùn)動(dòng)信息產(chǎn)生所述存取 單元的相依深度圖估計(jì)；以及 將所述相依深度圖估計(jì)中的每一者變形到所述基本視圖以產(chǎn)生所述存取單元的多個(gè) 基本深度圖估計(jì)中的相應(yīng)一者，其中所述相依深度圖估計(jì)中的每一者和所述相應(yīng)基本深度 圖估計(jì)形成所述存取單元的多個(gè)深度圖估計(jì)對(duì)中的相應(yīng)一者且與所述多個(gè)相依視圖中的 相應(yīng)一者相關(guān)聯(lián)。
48. 根據(jù)權(quán)利要求47所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述存取單元包括第一存取單 元，且所述指令進(jìn)一步致使所述視頻譯碼器： 對(duì)第二存取單元的所述基本視圖的紋理數(shù)據(jù)進(jìn)行譯碼；以及 基于所述第二存取單元的所述基本視圖的所述紋理數(shù)據(jù)的所述譯碼來更新所述多個(gè) 基本深度圖估計(jì)中的每一者。
49. 根據(jù)權(quán)利要求48所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述指令進(jìn)一步致使所述視頻 譯碼器對(duì)于所述相依視圖中的每一者： 將所述多個(gè)基本深度圖估計(jì)中的相應(yīng)一者變形到所述相依視圖以產(chǎn)生相應(yīng)相依深度 圖估計(jì)；以及 基于所述相應(yīng)相依深度圖估計(jì)相對(duì)于所述第二存取單元的所述基本視圖的所述紋理 數(shù)據(jù)對(duì)所述第二存取單元的所述相依視圖的紋理數(shù)據(jù)進(jìn)行譯碼。
50. 根據(jù)權(quán)利要求49所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述致使所述視頻譯碼器基于 所述相應(yīng)相依深度圖估計(jì)相對(duì)于所述第二存取單元的所述基本視圖的所述紋理數(shù)據(jù)對(duì)所 述第二存取單元的所述相依視圖的紋理數(shù)據(jù)進(jìn)行譯碼的指令包括致使所述視頻譯碼器在 視圖間運(yùn)動(dòng)預(yù)測(cè)或視圖間殘余預(yù)測(cè)中的至少一者經(jīng)啟用的情況下基于所述相應(yīng)相依深度 圖估計(jì)相對(duì)于所述第二存取單元的所述基本視圖的所述紋理數(shù)據(jù)對(duì)所述第二存取單元的 所述相依視圖的所述紋理數(shù)據(jù)進(jìn)行譯碼的指令。
51. 根據(jù)權(quán)利要求49所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述指令進(jìn)一步致使所述視頻 譯碼器對(duì)于所述相依視圖中的每一者： 基于所述第二存取單元的所述相依視圖的所述紋理數(shù)據(jù)的所述經(jīng)譯碼信息來更新所 述相應(yīng)相依深度圖估計(jì)；以及 將所述相應(yīng)相依深度圖估計(jì)變形回到所述基本視圖以更新所述多個(gè)基本深度圖估計(jì) 中的所述相應(yīng)一者。
52. 根據(jù)權(quán)利要求48所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中第一存取單元包括所述視圖中 的每一者的相應(yīng)錨點(diǎn)圖片，且所述第二存取單元包括所述視圖中的每一者的相應(yīng)非錨點(diǎn)圖 片。
53. 根據(jù)權(quán)利要求47所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述指令進(jìn)一步致使所述視頻 譯碼器： 當(dāng)所述存取單元包括所述視圖中的每一者的相應(yīng)錨點(diǎn)圖片時(shí)，停用所述存取單元的所 述相依視圖的所述紋理數(shù)據(jù)的視圖間運(yùn)動(dòng)預(yù)測(cè)譯碼或視圖間殘余預(yù)測(cè)譯碼中的至少一者； 且 當(dāng)所述存取單元包括所述視圖中的每一者的相應(yīng)非錨點(diǎn)圖片時(shí)，啟用所述存取單元的 所述相依視圖的所述紋理數(shù)據(jù)的視圖間運(yùn)動(dòng)預(yù)測(cè)譯碼或視圖間殘余預(yù)測(cè)譯碼中的至少一 者。
【文檔編號(hào)】H04N19/597GK104350749SQ201380030528
【公開日】2015年2月11日 申請(qǐng)日期:2013年5月10日 優(yōu)先權(quán)日:2012年6月13日
【發(fā)明者】張莉, 陳穎, 馬爾塔·卡切維奇 申請(qǐng)人:高通股份有限公司