多視圖譯碼和3d譯碼中的視圖相依性的制作方法
【專利摘要】本發(fā)明描述用于對視頻數(shù)據(jù)塊的層相依性進(jìn)行譯碼的技術(shù)。根據(jù)這些技術(shù)，視頻編碼器產(chǎn)生與給定層相關(guān)聯(lián)的層相依性。視頻編碼器還產(chǎn)生與所述層相依性中的一或多者相關(guān)聯(lián)的預(yù)測類型。在一些實(shí)例中，所述視頻編碼器可產(chǎn)生用以用信號表示層相依性的第一語法元素，以及用以用信號表示與所述層相依性中的一或多者相關(guān)聯(lián)的預(yù)測類型的第二語法元素。視頻解碼器可獲得與給定層相關(guān)聯(lián)的所述層相依性以及與所述層相依性中的一或多者相關(guān)聯(lián)的所述預(yù)測類型。
【專利說明】多視圖譯碼和3D譯碼中的視圖相依性
[0001] 本申請案主張以下申請案的權(quán)益：
[0002] 2012年4月23日申請的第61/637, 197號美國臨時專利申請案，其整個內(nèi)容以引 用方式并入本文。

【技術(shù)領(lǐng)域】
[0003] 本發(fā)明涉及視頻譯碼，且更特定來說涉及在視頻數(shù)據(jù)預(yù)測中使用的視圖相依性。

【背景技術(shù)】
[0004] 數(shù)字視頻能力可并入到廣泛范圍的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣 播系統(tǒng)、個人數(shù)字助理（PDA)、膝上型或桌上型計(jì)算機(jī)、數(shù)碼相機(jī)、數(shù)字記錄裝置、數(shù)字媒體 播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電電話、視頻電話會議裝置，及 其類似物。數(shù)字視頻裝置實(shí)施視頻壓縮技術(shù)，例如在由MPEG-2、MPEG-4、ITU-TH.263 或 ITU-T H. 264/MPEG-4第10部分高級視頻譯碼（AVC)、當(dāng)前在開發(fā)的高效視頻譯碼（HEVC) 標(biāo)準(zhǔn)所定義的標(biāo)準(zhǔn)和這些標(biāo)準(zhǔn)的擴(kuò)展中所描述的技術(shù)，以更有效地發(fā)射和接收數(shù)字視頻信 肩、。
[0005] 視頻壓縮技術(shù)執(zhí)行空間預(yù)測（圖片內(nèi)）和/或時間預(yù)測以減少或移除視頻序列中 固有的冗余。針對基于塊的視頻譯碼，視頻幀或切片（即，圖片或圖片的一部分）可分割為 若干視頻塊，所述視頻塊可被稱為樹塊、譯碼單元（CU)和/或譯碼節(jié)點(diǎn)。每一塊可經(jīng)進(jìn)一 步分割。圖片的經(jīng)幀內(nèi)譯碼（I)幀或切片中的視頻塊是相對于同一圖片中的相鄰塊中的參 考樣本使用空間預(yù)測來編碼。圖片的經(jīng)幀間譯碼（P或B)幀或切片中的視頻塊可相對于同 一圖片中的相鄰塊中的參考樣本使用空間預(yù)測，或相對于其它參考圖片中的參考樣本使用 時間預(yù)測。
[0006] 空間或時間預(yù)測針對待譯碼的塊產(chǎn)生預(yù)測性塊。殘余數(shù)據(jù)表示在待譯碼的原始塊 與預(yù)測性塊之間的像素差。經(jīng)幀間譯碼塊是根據(jù)指向形成預(yù)測性塊的參考樣本的塊的運(yùn)動 向量及指示在經(jīng)譯碼塊與預(yù)測性塊之間的差的殘余數(shù)據(jù)來編碼。經(jīng)幀內(nèi)譯碼塊是根據(jù)幀內(nèi) 譯碼模式及殘余數(shù)據(jù)來編碼。為進(jìn)行進(jìn)一步壓縮，可將殘余數(shù)據(jù)從像素域變換到變換域，從 而產(chǎn)生接著可被量化的殘余變換系數(shù)。最初以二維陣列布置的經(jīng)量化變換系數(shù)可經(jīng)掃描， 以便產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用熵譯碼以實(shí)現(xiàn)甚至更多的壓縮。
[0007] 視頻譯碼標(biāo)準(zhǔn)包含 ITU-T H. 261、IS0/IEC MPEG-1 視覺、ITU-T H. 262 或 ISO/ IEC MPEG-2 視覺、ITU-T Η· 263、IS0/IEC MPEG-4 視覺和 ITU-T Η· 264(也稱為 IS0/IEC MPEG-4AVC)，包含其可縮放視頻譯碼（SVC)和多視圖視頻譯碼（MVC)擴(kuò)展。MVC的最新聯(lián)合 草案在"用于一般視聽服務(wù)的高級視頻譯碼"（ITU-T推薦H.264, 2010年3月）中描述，其 整個內(nèi)容以引用方式并入本文。
[0008] 另外，存在新的視頻譯碼標(biāo)準(zhǔn)，即高效視頻譯碼（HEVC)，其由ITU-T視頻譯碼專家 組（VCEG)和IS0/IEC動畫專家組（MPEG)的視頻譯碼聯(lián)合合作組（JCT-VC)開發(fā)。此外，一 直在努力形成用于HEVC的可縮放視頻譯碼、多視圖視頻譯碼和3DV擴(kuò)展。對HEVC的多視圖 擴(kuò)展，即MV-HEVC，正在由JCT-3V開發(fā)。泰克（Tech)等人的"MV-HEVC草案文本3 (ISO/IEC 23008-2 :201x/PDAM2) "(ITU-T SG16WP3 和 ISO/IEC JTC1/SC29/WG11 的視頻譯碼聯(lián)合合作 組（JCT-VC)，第12次會議，瑞士日內(nèi)瓦，2013年1月，下文稱為MV-HEVC WD 3)在2013年4 月 22 日可從 http://phenix. it_sudparis.eu/jct2/doc_end_user/documents/3_Geneva/ wgll/JCT3 V-C1004-v4.zip得到，其整個內(nèi)容以引用方式并入本文。對HEVC的可縮放擴(kuò) 展，g卩SHVC，也正在由JCT-VC開發(fā)。陳（Chen)等人的"SHVC草案文本1"（ITU-T SG16WP3 和ISO/IEC JTC1/SC29/WG11的視頻譯碼聯(lián)合合作組（JCT-VC)，第12次會議，瑞士日內(nèi)瓦， 2013 年 1 月，下文稱為 SHVC WD1)在 2013 年 4 月 22 日可從http ://phenix. int-evry. fr/ jct/doc_end_user/documents/12_Geneva/wgll/JCTVC-L1008-vl. zip 得到，其整個內(nèi)容以 引用方式并入本文。HEVC的最近規(guī)范草案，HEVC文本規(guī)范草案10且在下文稱為HEVC，其 以引用方式并入本文且在2013年4月22日可從以下地方得到 ：
[0009] http://Dhenix.it-sudDaris.eu/ict/doc end user/documents/12 Geneva/ wgll/TCTVC-L1003-v34. zip.


【發(fā)明內(nèi)容】

[0010] 大體上，本發(fā)明描述用于對包含多個層的視頻數(shù)據(jù)進(jìn)行譯碼的技術(shù)。更特定來說， 本發(fā)明描述用于執(zhí)行可縮放視頻譯碼、多視圖視頻譯碼和三維視頻譯碼（3DVC)的技術(shù)?？?縮放視頻譯碼可大體上界定用于對多個層進(jìn)行譯碼的視頻譯碼技術(shù)。多視圖視頻譯碼可大 體上界定用于對視頻數(shù)據(jù)的多個視圖進(jìn)行譯碼的視頻譯碼技術(shù)，而3DVC可大體上界定用 于對包括多個視圖分量（即，紋理分量和深度分量）的視頻數(shù)據(jù)的一或多個視圖進(jìn)行譯碼 的視頻譯碼技術(shù)。每一視圖是單獨(dú)的視頻切片或圖片，但可對應(yīng)于俘獲到共同場景的對應(yīng) 視頻數(shù)據(jù)的不同視角或角度。在一個時間實(shí)例中的視圖的經(jīng)譯碼表示是視圖分量。在一些 實(shí)例中，視圖可含有紋理分量和深度視圖分量。本發(fā)明的技術(shù)大體上涉及視圖相依性的處 置和信令以用于當(dāng)前視頻切片或圖片的預(yù)測。更具體來說，本發(fā)明的技術(shù)涉及用信號表示 與相依性切片或圖片相關(guān)聯(lián)的幀間預(yù)測的類型且基于用信號表示的幀間預(yù)測類型來產(chǎn)生 參考圖片集。
[0011] 在一個實(shí)例中，本發(fā)明描述一種對視頻數(shù)據(jù)進(jìn)行解碼的方法，所述方法包括：從經(jīng) 譯碼位流獲得與給定層相關(guān)聯(lián)的層相依性；以及從經(jīng)譯碼位流獲得與所述層相依性中的一 或多者相關(guān)聯(lián)的預(yù)測類型。
[0012] 在另一實(shí)例中，本發(fā)明描述一種對視頻數(shù)據(jù)進(jìn)行編碼的方法，所述方法包括：產(chǎn)生 與給定層相關(guān)聯(lián)的層相依性；以及產(chǎn)生與所述層相依性中的一或多者相關(guān)聯(lián)的預(yù)測類型。
[0013] 在另一實(shí)例中，一種用于對視頻數(shù)據(jù)進(jìn)行譯碼的設(shè)備包括經(jīng)配置以進(jìn)行以下操作 的一或多個處理器：對與給定層相關(guān)聯(lián)的層相依性進(jìn)行譯碼；以及對與所述層相依性中的 一或多者相關(guān)聯(lián)的預(yù)測類型進(jìn)行譯碼。
[0014] 在另一實(shí)例中，本發(fā)明描述一種對視頻數(shù)據(jù)進(jìn)行譯碼的裝置，所述裝置包括：用于 對與給定層相關(guān)聯(lián)的層相依性進(jìn)行譯碼的裝置；以及用于對與所述層相依性中的一或多者 相關(guān)聯(lián)的預(yù)測類型進(jìn)行譯碼的裝置。
[0015] 在另一實(shí)例中，本發(fā)明描述一種其上存儲有指令的非暫時性計(jì)算機(jī)可讀存儲媒 體，所述指令在執(zhí)行時致使用于對視頻數(shù)據(jù)進(jìn)行譯碼的設(shè)備的一或多個處理器進(jìn)行以下操 作：對與給定層相關(guān)聯(lián)的層相依性進(jìn)行譯碼；以及對與所述層相依性中的一或多者相關(guān)聯(lián) 的預(yù)測類型進(jìn)行譯碼。
[0016] 在附圖和以下描述中陳述本發(fā)明的一或多個方面的細(xì)節(jié)。本發(fā)明中描述的技術(shù)的 其它特征、對象和優(yōu)點(diǎn)將從描述和附圖以及從權(quán)利要求書顯而易見。

【專利附圖】

【附圖說明】
[0017] 圖1是說明實(shí)例性視頻編碼和解碼系統(tǒng)的框圖。
[0018] 圖2是說明實(shí)例性首先時間譯碼的概念圖。
[0019] 圖3是說明實(shí)例性多視圖譯碼時間和視圖間預(yù)測結(jié)構(gòu)的概念圖。
[0020] 圖4是說明可實(shí)施本發(fā)明的技術(shù)的實(shí)例性視頻編碼器的框圖。
[0021] 圖5是說明可實(shí)施本發(fā)明的技術(shù)的實(shí)例性視頻解碼器的框圖。
[0022] 圖6是說明對多視圖位流進(jìn)行編碼的實(shí)例性方法的流程圖。
[0023] 圖7是說明對多視圖位流進(jìn)行解碼的實(shí)例性方法的流程圖。
[0024] 圖8是說明對多視圖位流進(jìn)行編碼的實(shí)例性方法的流程圖。
[0025] 圖9是說明對多視圖位流進(jìn)行解碼的實(shí)例性方法的流程圖。

【具體實(shí)施方式】
[0026] 根據(jù)某些視頻譯碼系統(tǒng)，可使用運(yùn)動估計(jì)和運(yùn)動補(bǔ)償來減少視頻序列中的時間冗 余，以便實(shí)現(xiàn)數(shù)據(jù)壓縮。在此情況下，可產(chǎn)生識別視頻數(shù)據(jù)的預(yù)測性塊（例如，來自另一視 頻切片或圖片的塊）的運(yùn)動向量，其可用以預(yù)測正譯碼的當(dāng)前視頻塊的值。將預(yù)測性視頻 塊的值從當(dāng)前視頻塊的值減去以產(chǎn)生殘余數(shù)據(jù)塊。運(yùn)動信息（例如，運(yùn)動向量、運(yùn)動向量索 弓丨、預(yù)測方向或其它信息）連同殘余數(shù)據(jù)一起從視頻編碼器傳送到視頻解碼器。解碼器可 定位同一預(yù)測性塊（基于運(yùn)動向量）且通過組合殘余數(shù)據(jù)與預(yù)測性塊的數(shù)據(jù)來重構(gòu)經(jīng)編碼 視頻塊。
[0027] 可縮放視頻譯碼指其中使用一基本層和一或多個可縮放增強(qiáng)層的視頻譯碼。對于 可縮放視頻譯碼，基本層通常載運(yùn)具有基本質(zhì)量水平的視頻數(shù)據(jù)。一或多個增強(qiáng)層載運(yùn)額 外視頻數(shù)據(jù)以支持較高的空間、時間和/或信噪比SNR水平（有時稱為"質(zhì)量"水平，如貫 穿本說明書的慣例）。增強(qiáng)層可相對于先前經(jīng)編碼層來界定。即使可縮放視頻譯碼技術(shù)引 入層的概念，但所述技術(shù)仍基于切片或幀來譯碼。舉例來說，具有最低時間層的幀或切片可 形成時間基本層，其可用較高時間層處的切片或幀來增強(qiáng)。
[0028] 在支持時間可縮放性的一些可縮放視頻譯碼過程中，基本層可包含支持7. 5Hz的 重放幀速率的視頻數(shù)據(jù)。視頻譯碼過程可對支持較高重放幀速率的額外層進(jìn)行譯碼。舉例 來說，視頻譯碼過程可對支持15Hz和30Hz重放幀速率的一或多個額外層進(jìn)行譯碼?；?層，視頻譯碼過程可支持提取器工具，所述工具根據(jù)應(yīng)用要求在幀速率方面調(diào)適實(shí)際遞送 的內(nèi)容。所述要求可取決于客戶端裝置或發(fā)射信道。
[0029] 在支持空間可縮放性的一些可縮放視頻譯碼過程中，基本層可包含表示特定基本 分辨率的視頻數(shù)據(jù)。視頻譯碼過程可對包含表示較高分辨率的視頻數(shù)據(jù)的一或多個額外層 進(jìn)行譯碼。類似于時間可縮放性，提取器工具可基于應(yīng)用要求在實(shí)際分辨率方面調(diào)整實(shí)際 遞送的內(nèi)容。
[0030] 在支持質(zhì)量可縮放性的一些可縮放視頻譯碼過程中，基本層可包含表示特定基本 質(zhì)量（有時稱為基本SNR水平）的視頻數(shù)據(jù)。視頻譯碼過程可對包含表示較高SNR水平的 視頻數(shù)據(jù)的一或多個額外層進(jìn)行譯碼。類似于時間可縮放性，提取器工具可基于應(yīng)用要求 在實(shí)際分辨率方面調(diào)整實(shí)際遞送的內(nèi)容。
[0031] 最終，可縮放視頻譯碼過程可組合地使用全部三種類型的層，通過提取必要的層 且將層加在一起來產(chǎn)生符合應(yīng)用要求的結(jié)果。
[0032] 多視圖視頻譯碼是用于對視頻數(shù)據(jù)的多個視圖進(jìn)行譯碼的視頻譯碼過程。大體 上，每一視圖對應(yīng)于包括共同場景的對應(yīng)視頻數(shù)據(jù)被俘獲的不同視角或角度的不同視頻切 片或圖片。舉例來說，可俘獲在單個時間實(shí)例處來自對應(yīng)于共同場景的多個角度的視圖，進(jìn) 而產(chǎn)生包括對應(yīng)于單個時間實(shí)例的多個視圖的視頻數(shù)據(jù)。與單個時間實(shí)例相關(guān)聯(lián)的所有視 圖可分組為"存取單元"。在多視圖視頻譯碼中，每一視圖可僅包括紋理數(shù)據(jù)（即，紋理分 量）。三維視頻譯碼是用于對視頻數(shù)據(jù)的多個視圖進(jìn)行譯碼的另一視頻譯碼過程。多視圖 視頻譯碼中的視頻數(shù)據(jù)可僅包含用于每一視圖的紋理分量，而3D視頻數(shù)據(jù)可包含用于每 一視圖的紋理分量和深度分量兩者。紋理分量可包含常規(guī)圖片。深度分量可表示對應(yīng)紋理 分量中展示的對象的三維深度。
[0033] 在一些實(shí)例中，類似于多視圖視頻譯碼技術(shù)，3DVC技術(shù)可使用每一存取單元中的 多個視圖（即，所述技術(shù)可提供多個視圖）。在此些實(shí)例中，3DVC技術(shù)可采用多視圖視頻中 使用的許多譯碼技術(shù)。舉例來說，在對H. 264/AVC和HEVC的3DVC擴(kuò)展中，視頻編碼器可以 與存取單元的其它視圖相同的方式對深度分量進(jìn)行編碼。也就是說，除了用于不同視圖的 紋理分量之外，存取單元還可包含深度分量。術(shù)語"視圖分量"可用以指代存取單元的紋理 視圖分量或深度視圖分量。
[0034] 此外，一些視頻譯碼技術(shù)可使用基于深度圖像的再現(xiàn)（DIBR)來基于可用的紋理 和深度視圖分量而產(chǎn)生合成紋理視圖分量。合成紋理視圖分量可為基于一深度圖和一或多 個紋理視圖分量合成的紋理視圖分量。在一些實(shí)例中，合成紋理視圖分量可用作用于存取 單元間預(yù)測或視圖間預(yù)測的參考圖片。用作參考圖片的合成紋理視圖分量可稱為視圖合成 參考圖片（VSRP)。視頻譯碼器可在參考圖片列表中包含VSRP。在一些特定設(shè)計(jì)中，視頻譯 碼器可使用多個視圖分量（具有深度）來通過DIBR產(chǎn)生一個VSRP。
[0035] 因此，在一般意義上，多視圖視頻數(shù)據(jù)可與3D視頻數(shù)據(jù)可互換地使用。舉例來說， 視頻編碼器和解碼器可將多視圖視頻位流的一個視圖視為深度分量。在其它實(shí)例中，編碼 器和解碼器可操作以從多視圖視頻位流產(chǎn)生深度視圖分量。
[0036] 在3DVC技術(shù)中，可使用不同的光極化同時地或接近同時地顯示兩個或兩個以上 視圖（例如，人觀看者的左眼和右眼視圖），且觀看者可佩戴無源極化眼鏡以使得觀看者的 每一只眼睛接收到視圖中的相應(yīng)一者?；蛘?，觀看者可佩戴獨(dú)立地遮擋每一只眼睛的有源 眼鏡，且顯示器可與眼鏡同步地在每一只眼睛的圖像之間快速交替。
[0037] 雖然每一視圖（例如，左眼和右眼視圖）可經(jīng)個別地譯碼，但在3DVC中，可使用視 圖的深度分量從視圖中的一者重構(gòu)另一視圖。為此原因，此形式的3DVC也可稱為多視圖視 頻譯碼加深度（MVC+D)。為了說明，視圖的特定圖片的深度分量或"深度圖"（其中視圖的 此特定圖片可稱為視圖的"視圖分量"）可計(jì)算為左眼視圖與右眼視圖之間的差。編碼器可 將例如左眼視圖編碼為視圖分量的所謂的"紋理分量"，且可將深度圖編碼為視圖分量的所 謂的"深度分量"。
[0038] 解碼器可隨后對視圖分量的紋理分量和視圖分量的深度分量進(jìn)行解碼，且使用深 度分量從紋理分量（表示左眼視圖）重構(gòu)右眼視圖。通過以此方式僅對一個視圖和對應(yīng) 深度圖進(jìn)行編碼，與將左眼視圖和右眼視圖兩者獨(dú)立地編碼為3DVC數(shù)據(jù)的單獨(dú)視圖相比， 3DVC可更有效地對左眼和右眼視圖進(jìn)行編碼。
[0039] 如上文簡要論述，某些視頻譯碼系統(tǒng)可產(chǎn)生運(yùn)動估計(jì)和補(bǔ)償數(shù)據(jù)，以便減少視頻 序列中的冗余。此運(yùn)動數(shù)據(jù)可包含對參考視頻塊位于其中的其它視頻圖片或視圖的特定參 考。在一些實(shí)例中，特定參考塊將在同一圖片中（幀內(nèi)預(yù)測）。在其它實(shí)例中，特定參考塊 可在不同圖片中（幀間預(yù)測），所述不同圖片在最終輸出次序上在含有當(dāng)前視頻塊的圖片 之前或之后（即，與相對于當(dāng)前圖片在過去或未來的時間實(shí)例相關(guān)聯(lián)）。在多視圖視頻譯碼 和3DVC中，此概念可經(jīng)延伸以包含不同視圖中的預(yù)測性塊。舉例來說，預(yù)測性塊可在和與 當(dāng)前圖片相同的時間實(shí)例相關(guān)聯(lián)的不同圖片中（視圖間預(yù)測）。
[0040] 視圖間預(yù)測通常實(shí)現(xiàn)為如同另一視圖中的視圖分量是幀間預(yù)測參考。并非使用 "運(yùn)動"向量用于預(yù)測，視圖間預(yù)測利用"視差運(yùn)動"向量，其概念上類似于運(yùn)動向量但描述 位移而不是運(yùn)動?？赡艿囊晥D間參考是在序列參數(shù)集（SPS)中用信號表示，且可通過參考 圖片列表構(gòu)造過程來修改，所述過程實(shí)現(xiàn)幀間預(yù)測或視圖間預(yù)測參考的靈活排序。
[0041] 在支持可縮放視頻譯碼的視頻譯碼技術(shù)中，那些視頻譯碼技術(shù)也可采用層間預(yù) 測。舉例來說，類似于多視圖和3D視頻譯碼，特定切片或幀的所有層（即，基本層和任何增 強(qiáng)層）可形成類似于上文相對于多視圖和3D視頻譯碼描述的存取單元的存取單元。因此， 給定特定層，另一層可為幀間預(yù)測參考。如同視圖間參考，這些層間參考可在SPS中用信號 表示，且可通過參考圖片列表構(gòu)造過程來修改，所述過程實(shí)現(xiàn)幀間預(yù)測或視圖間預(yù)測參考 的靈活排序。
[0042] 在一般意義上，相對于本發(fā)明，紋理視圖分量、深度視圖分量以及各種時間、空間 和質(zhì)量層可視為在某種程度上可互換。舉例來說，無論視頻譯碼技術(shù)是否在解決紋理視圖 分量、深度視圖分量或各種層中的任一者，所述技術(shù)都可執(zhí)行各種分量和層之間的幀間預(yù) 測。因此，本發(fā)明的技術(shù)可視為適用于一般意義上的"層"，其中層可為紋理視圖分量、深度 視圖分量、時間可縮放層、空間可縮放層和質(zhì)量可縮放層中的任一者。下文中，主要相對于 視圖和視圖分量來描述本發(fā)明的技術(shù)。另外，在一些區(qū)域中，相對于SVC可縮放層（例如時 間可縮放層、空間可縮放層和質(zhì)量可縮放層）來描述本發(fā)明的技術(shù)。然而，這只是為了便于 說明和理解。不應(yīng)將其視為將所描述的技術(shù)限制為僅適用于視圖和視圖分量或一定適用于 可縮放層。相反，應(yīng)了解本文描述的技術(shù)較廣地適用于如上文描述的術(shù)語的一般"層"。
[0043] 作為幀間預(yù)測過程的部分，視頻編碼器在位流中用信號表示特定視圖分量的參考 圖片集（RPS)。特定視圖分量的參考圖片集可包含可用于特定視圖分量內(nèi)的塊的幀間預(yù)測 的參考圖片。在多視圖譯碼和3維視頻譯碼（3DVC)中，視頻編碼器可使用與特定視圖分 量相同的存取單元的視圖分量作為參考圖片來對特定視圖分量進(jìn)行編碼。然而，在一些視 頻譯碼技術(shù)中，視頻編碼器不可在視圖分量的參考圖片集中用信號表示此些視圖間參考圖 片。這可降低對位流進(jìn)行解碼的視頻解碼器的效率。此外，在視頻編碼器確實(shí)在視圖分量 的參考圖片集中用信號表示此些視圖間參考圖片的一些視頻譯碼技術(shù)中，視頻編碼器不可 進(jìn)一步用信號表示與視圖間參考圖片相關(guān)聯(lián)的幀間預(yù)測的類型。這可因?yàn)椴辉试S視頻編碼 器基于與視圖間參考圖片相關(guān)聯(lián)的幀間預(yù)測的類型選擇視圖間參考圖片以包含在RPS中 而降低譯碼效率。
[0044] 視頻數(shù)據(jù)可經(jīng)組織為網(wǎng)絡(luò)抽象層（NAL)單元，其將"網(wǎng)絡(luò)友好的"視頻表示提供到 例如視頻電話、存儲、廣播或流式傳輸?shù)鹊刂窇?yīng)用。舉例來說，視頻編碼器通常將視頻數(shù)據(jù) 的每一圖片編碼為一或多個可獨(dú)立解碼的切片。切片可封裝為NAL單元以用于在網(wǎng)絡(luò)上發(fā) 射。包含視頻譯碼層（VCL)數(shù)據(jù)的NAL單元可包含圖片的數(shù)據(jù)或圖片的切片的數(shù)據(jù)。舉例 來說，NAL單元可包含例如經(jīng)譯碼單元（例如幀、切片、塊或序列）的經(jīng)譯碼塊模式（CBP) 值、塊類型、譯碼模式、最大塊大小等語法信息，或其它信息。
[0045] 每一 NAL單元包含識別存儲在NAL單元中的數(shù)據(jù)的類型的標(biāo)頭。實(shí)例多視圖視頻 譯碼NAL單元標(biāo)頭可包含語法元素，其指示NAL單元所屬于的視圖的視圖識別符、NAL單元 是否屬于可用作隨機(jī)存取點(diǎn)（用于其它視圖分量參考）的所謂的錨點(diǎn)圖片、NAL單元是否 用于其它視圖中的NAL單元的視圖間預(yù)測，和多種其它信息。如本文描述，錨點(diǎn)圖片可一般 對應(yīng)于隨機(jī)存取圖片，且此些術(shù)語可以可互換地使用。也就是說，"隨機(jī)存取"一般指代在除 了流的開始之外的點(diǎn)開始用于位流的解碼過程的動作。隨機(jī)存取圖片一般涉及僅含有經(jīng)幀 內(nèi)譯碼切片（I切片）的圖片。在解碼次序和輸出次序上均跟隨隨機(jī)存取圖片的經(jīng)譯碼圖 片不是從在解碼次序或輸出次序上在隨機(jī)存取圖片之前的圖片預(yù)測。
[0046] 大體上，存取單元可包含特定時間實(shí)例的所有視圖分量。特定視圖分量包含在特 定時間實(shí)例處的特定視圖的所有NAL單元。多視圖視頻譯碼NAL單元可含有單字節(jié)NAL單 元標(biāo)頭（包含NAL單元類型）且可進(jìn)一步包含多視圖視頻譯碼NAL單元標(biāo)頭擴(kuò)展。
[0047] 最終，編碼器可產(chǎn)生且編碼運(yùn)動信息用于當(dāng)前圖片的重構(gòu)。因此，編碼器可產(chǎn)生且 編碼與當(dāng)前圖片內(nèi)的每一個別視頻塊相關(guān)聯(lián)的運(yùn)動信息。由于每一視頻塊可獨(dú)立于每一其 它視頻塊，因此編碼器可能需要以用于適當(dāng)重構(gòu)整個當(dāng)前圖片的次序來用信號表示各種不 同參考圖片?；诿恳灰曨l塊的運(yùn)動信息中包含的參考圖片（其中一些可為視圖），編碼器 可建立包括從殘余數(shù)據(jù)重建當(dāng)前圖片所必要的圖片的參考圖片列表。
[0048] 本發(fā)明的技術(shù)大體上涉及對與相依視圖相關(guān)聯(lián)的幀間預(yù)測的類型進(jìn)行譯碼以及 用于視圖間預(yù)測的參考圖片列表構(gòu)造過程。舉例來說，在最終參考圖片列表中包含僅用于 視圖間紋理預(yù)測而不用于其它視圖間預(yù)測類型（例如視圖間運(yùn)動預(yù)測和視圖間殘余預(yù)測） 的參考視圖可能是低效的。通過將最終參考圖片列表中包含的視圖識別且限制于在視圖間 紋理預(yù)測和至少另一類型的視圖間預(yù)測兩者中使用的那些視圖，可以在可能的程度上增加 視頻譯碼效率。
[0049] 舉例來說，根據(jù)本發(fā)明的至少一些方面，所描述的視頻譯碼技術(shù)可在序列參數(shù)集 (SPS)中用信號表示相依性。對于每一視圖，如果另一視圖（S卩，和與當(dāng)前圖片相同的時間 實(shí)例相關(guān)聯(lián)的圖片）用于任一種視圖間預(yù)測，那么將其作為相依視圖來用信號表示。然而， 另一指示也可用信號表示哪一或哪些視圖可用于視圖間紋理預(yù)測，或等效地，哪些視圖僅 用于視圖間運(yùn)動和/或殘余預(yù)測。
[0050] 以下描述應(yīng)在多視圖視頻譯碼技術(shù)和3D視頻譯碼技術(shù)兩者的上下文中來理解。 雖然3D視頻數(shù)據(jù)可包含額外信息（S卩，深度視圖分量），但本文描述的技術(shù)一般涉及視圖分 量。然而，所描述的技術(shù)可進(jìn)一步在深度視圖分量的上下文中唯一地應(yīng)用于3DVC。舉例來 說，編碼器可進(jìn)一步用信號表示參考視圖可用于視圖間深度預(yù)測。
[0051] 圖1是說明實(shí)例性視頻編碼和解碼系統(tǒng)10的框圖。如圖1中所示，系統(tǒng)10包含 源裝置12,其經(jīng)由計(jì)算機(jī)可讀媒體16將經(jīng)編碼視頻提供到目的地裝置14。源裝置12和目 的地裝置14可包括廣范圍裝置中的任一者。本發(fā)明的技術(shù)可應(yīng)用于空中電視廣播、有線電 視發(fā)射、衛(wèi)星電視發(fā)射、因特網(wǎng)視頻發(fā)射、經(jīng)編碼到存儲媒體上的經(jīng)編碼數(shù)字視頻，或其它 情形。因此，計(jì)算機(jī)可讀媒體16可包括適合于發(fā)射經(jīng)編碼視頻數(shù)據(jù)的無線或有線媒體的任 一組合，或例如光盤、硬驅(qū)動器或類似物等計(jì)算機(jī)可讀存儲媒體。
[0052] 在圖1的實(shí)例中，源裝置12包含視頻源18、視頻編碼器20和輸出接口 22。目的 地裝置14包含輸入接口 28、視頻解碼器30和顯示裝置32。根據(jù)本發(fā)明，源裝置12的視頻 編碼器20可經(jīng)配置以應(yīng)用用于多視圖譯碼或三維（3D)視頻譯碼的技術(shù)。在其它實(shí)例中， 源裝置和目的地裝置可包含其它組件或布置。舉例來說，源裝置12可從外部視頻源18 (例 如，外部相機(jī)）接收視頻數(shù)據(jù)。同樣，目的地裝置14可與外部顯示裝置介接，而非包含集成 顯示裝置。
[0053] 圖1的所說明系統(tǒng)10僅為一個實(shí)例。用于多視圖視頻譯碼或3D視頻譯碼的技術(shù) 可由任何數(shù)字視頻編碼和/或解碼裝置執(zhí)行。雖然通常本發(fā)明的技術(shù)由視頻編碼裝置執(zhí) 行，但所述技術(shù)也可由通常稱為"CODEC (編解碼器）"的視頻編碼器/解碼器執(zhí)行。而且， 也可通過視頻預(yù)處理器來執(zhí)行本發(fā)明的技術(shù)。源裝置12和目的地裝置14僅為這些譯碼裝 置的實(shí)例，其中源裝置12產(chǎn)生經(jīng)譯碼視頻數(shù)據(jù)以供發(fā)射到目的地裝置14。在一些實(shí)例中， 裝置12、14可以實(shí)質(zhì)上對稱的方式操作，使得裝置12、14中的每一者包含視頻編碼和解碼 組件。因此，系統(tǒng)10可支持視頻裝置12、14之間的單向或雙向視頻發(fā)射，例如，以用于視頻 流式傳輸、視頻重放、視頻廣播，或視頻電話。
[0054] 源裝置12的視頻源18可包含例如攝像機(jī)的視頻俘獲裝置、含有先前俘獲的視頻 的視頻存檔，和/或來自視頻內(nèi)容提供者的視頻饋送。作為又一替代，視頻源18可產(chǎn)生基 于計(jì)算機(jī)圖形的數(shù)據(jù)作為源視頻，或直播視頻、經(jīng)存檔視頻與計(jì)算機(jī)產(chǎn)生的視頻的組合。在 一些情況下，如果視頻源18為攝像機(jī)，那么源裝置12和目的地裝置14可形成所謂的像機(jī) 電話或視頻電話。然而，如上文所提及，本發(fā)明中所述的技術(shù)一般可適用于視頻譯碼，且可 應(yīng)用于無線和/或有線應(yīng)用。在每一情況下，可通過視頻編碼器20編碼所俘獲、預(yù)先俘獲 或計(jì)算機(jī)產(chǎn)生的視頻。經(jīng)編碼視頻信息可接著通過輸出接口 22輸出到計(jì)算機(jī)可讀媒體16 上。
[0055] 計(jì)算機(jī)可讀媒體16可包含：暫時性媒體，例如無線廣播或有線網(wǎng)絡(luò)發(fā)射；或存儲 媒體（即，非暫時性存儲媒體），例如硬盤、快閃驅(qū)動器、壓縮光盤、數(shù)字視頻光盤、藍(lán)光光盤 或其它計(jì)算機(jī)可讀媒體。在一些實(shí)例中，網(wǎng)絡(luò)服務(wù)器（未圖示）可從源裝置12接收經(jīng)編碼 視頻數(shù)據(jù)，且（例如）經(jīng)由網(wǎng)絡(luò)發(fā)射將經(jīng)編碼視頻數(shù)據(jù)提供到目的地裝置14。類似地，媒體 生產(chǎn)設(shè)施（例如，光盤壓印設(shè)施）的計(jì)算裝置可從源裝置12接收經(jīng)編碼視頻數(shù)據(jù)且產(chǎn)生含 有經(jīng)編碼視頻數(shù)據(jù)的光盤。因此，在各種實(shí)例中，可將計(jì)算機(jī)可讀媒體16理解為包含各種 形式的一或多個計(jì)算機(jī)可讀媒體。
[0056] 目的地裝置14的輸入接口 28從計(jì)算機(jī)可讀媒體16接收信息。計(jì)算機(jī)可讀媒體 16的信息可包含由視頻編碼器20所定義的語法信息（其也由視頻解碼器30使用），所述 語法信息包含描述塊和其它經(jīng)譯碼單元（例如，G0P)的特性和/或處理的語法元素。顯示 裝置32向用戶顯示經(jīng)解碼視頻數(shù)據(jù)，且可包括多種顯示裝置中的任一者，例如陰極射線管 (CRT)、液晶顯示器（LCD)、等離子顯示器、有機(jī)發(fā)光二極管（OLED)顯示器，或另一類型的顯 示裝置。
[0057] 在圖1的實(shí)例中，計(jì)算機(jī)可讀媒體16可包括任何無線或有線通信媒體，例如射頻 (RF)頻譜或者一或多個物理傳輸線，或無線和有線媒體的任一組合。計(jì)算機(jī)可讀媒體16可 形成例如局域網(wǎng)、廣域網(wǎng)或全球網(wǎng)（例如，因特網(wǎng)）的基于包的網(wǎng)絡(luò)的部分。計(jì)算機(jī)可讀媒 體16通常表示用于將視頻數(shù)據(jù)從源裝置12發(fā)射到目的地裝置14的任何合適通信媒體或 不同通信媒體的集合，包含有線或無線媒體的任一合適組合。計(jì)算機(jī)可讀媒體16可包含路 由器、交換器、基站，或可用以促進(jìn)從源裝置12到目的地裝置14的通信的任何其它設(shè)備。
[0058] 在圖1所示的實(shí)例中，系統(tǒng)10還包含服務(wù)器/內(nèi)容遞送網(wǎng)絡(luò)34,其可包含例如一 或多個路由器36等網(wǎng)絡(luò)元件。在一些實(shí)例中，源裝置12可經(jīng)由如上所述的多種無線和/ 或有線發(fā)射或存儲媒體與服務(wù)器/內(nèi)容遞送網(wǎng)絡(luò)34通信。而且，雖然圖1的實(shí)例中單獨(dú)地 展示，但在一些實(shí)例中，源裝置12和服務(wù)器/內(nèi)容遞送網(wǎng)絡(luò)34包括同一裝置。服務(wù)器/內(nèi) 容遞送網(wǎng)絡(luò)34可存儲經(jīng)譯碼視頻數(shù)據(jù)的一或多個版本（來自源裝置12的視頻編碼器20)， 且可使此經(jīng)譯碼視頻數(shù)據(jù)可用于由目的地裝置14和視頻解碼器30存取。在一些實(shí)例中， 路由器36可負(fù)責(zé)以所請求格式將經(jīng)譯碼視頻數(shù)據(jù)提供到目的地裝置14。
[0059] 雖然圖1中未圖示，但在一些方面中，視頻編碼器20和視頻解碼器30可各自與音 頻編碼器和解碼器集成，且可包含適當(dāng)?shù)腗UX-DEMUX單元或其它硬件和軟件，以處置共同 數(shù)據(jù)流或單獨(dú)數(shù)據(jù)流中的音頻和視頻兩者的編碼。如果適用，那么MUX-DEMUX單元可符合 ITU H. 223多路復(fù)用器協(xié)議，或例如用戶數(shù)據(jù)報(bào)協(xié)議（UDP)等其它協(xié)議。
[0060] 在一些實(shí)例中，視頻編碼器20和視頻解碼器30根據(jù)視頻壓縮標(biāo)準(zhǔn)操作，例如ISO/ IEC MPEG-4視覺和ITU-T H. 264(也稱為IS0/IEC MPEG-4AVC)，包含其可縮放視頻譯碼 (SVC)擴(kuò)展、多視圖視頻譯碼（MVC)擴(kuò)展和基于MVC的3DV擴(kuò)展。在一些實(shí)例中，符合基于 MVC的3DV的任何合法位流總是含有順應(yīng)于MVC簡檔（例如，立體高簡檔）的子位流。此 夕卜，一直在努力形成對H. 264/AVC的三維視頻（3DV)譯碼擴(kuò)展，即基于AVC的3DV。在其它 實(shí)例中，視頻編碼器20和視頻解碼器30可根據(jù)ITU-T H. 261、IS0/IEC MPEG-1視覺、ITU-T H. 262 或 IS0/IEC MPEG-2 視覺、ITU-T H. 263、IS0/IEC MPEG-4 視覺和 ITU-T H. 264、ISO/ IEC視覺或即將到來的HEVC標(biāo)準(zhǔn)而操作，如本文所述。
[0061] ITU-T H. 264/MPEG-4(AVC)標(biāo)準(zhǔn)由 ITU-T視頻譯碼專家組（VCEG)連同 IS0/IEC動 畫專家組（MPEG) -起制定為被稱為聯(lián)合視頻小組（JVT)的集體合作的產(chǎn)品。在一些方面 中，本發(fā)明中所述的技術(shù)可應(yīng)用于大體符合H. 264標(biāo)準(zhǔn)的裝置。H. 264標(biāo)準(zhǔn)通過ITU-T研 究組且在日期2005年3月描述于ITU-T推薦H. 264 "用于一般視聽服務(wù)的高級視頻譯碼 (Advanced Video Coding for generic audiovisual services)" 中，其在本文中可被稱 為Η. 264標(biāo)準(zhǔn)或Η. 264規(guī)范，或H. 264/AVC標(biāo)準(zhǔn)或規(guī)范。聯(lián)合視頻小組（JVT)繼續(xù)致力于 對 H. 264/MPEG-4AVC 的擴(kuò)展。
[0062] 可將視頻編碼器20和視頻解碼器30各自實(shí)施為多種合適的編碼器電路中的任一 者，例如一或多個微處理器、數(shù)字信號處理器（DSP)、專用集成電路（ASIC)、現(xiàn)場可編程門 陣列（FPGA)、離散邏輯、軟件、硬件、固件，或其任何組合?？蓪⒁曨l編碼器20和視頻解碼器 30中的每一者包含于一或多個編碼器或解碼器中，其中任一者可集成為組合式編碼器/解 碼器（CODEC)的部分。包含視頻編碼器20和/或視頻解碼器30的設(shè)備可包括集成電路、 微處理器和/或無線通信裝置，例如蜂窩式電話。其它設(shè)備可包含相機(jī)、計(jì)算機(jī)、移動裝置、 訂戶裝置、廣播裝置、機(jī)頂盒、服務(wù)器或類似物。
[0063] 根據(jù)下文更詳細(xì)描述的本發(fā)明的實(shí)例，圖1的視頻解碼器30可經(jīng)配置以接收與給 定視圖相關(guān)聯(lián)的視圖相依性，且接收與視圖相依性中的一或多者相關(guān)聯(lián)的預(yù)測類型。
[0064] 起初，將論述H. 264/高級視頻譯碼（AVC)標(biāo)準(zhǔn)的擴(kuò)展的多視圖視頻譯碼技術(shù)。多 視圖視頻譯碼的此特定實(shí)施方案在本發(fā)明中可稱為"MVC/AVC"。然而，本發(fā)明的技術(shù)可適用 于支持多視圖譯碼的任何視頻譯碼標(biāo)準(zhǔn)或技術(shù)，包含用于新興的HEVC標(biāo)準(zhǔn)的多視圖建議。 如上所述，本發(fā)明的技術(shù)可進(jìn)一步適用于包含3DVC能力的任何視頻譯碼標(biāo)準(zhǔn)或技術(shù)，因?yàn)?3D視頻數(shù)據(jù)可包含與單個時間實(shí)例相關(guān)聯(lián)的多個視圖或樣本，或多個視圖或樣本可從至少 一個視圖分量和一個深度分量產(chǎn)生。
[0065] 圖2中展示典型的MVC/AVC解碼次序（S卩，位流次序）。解碼次序布置稱為首先時 間譯碼。應(yīng)注意，存取單元的解碼次序可能不同于輸出或顯示次序。在圖2中，S0到S7各 自涉及多視圖視頻的不同視圖。T0到T8各自表示一個輸出時間實(shí)例。存儲單元可包含用 于一個輸出時間實(shí)例的所有視圖的經(jīng)譯碼圖片。舉例來說，第一存取單元可包含用于時間 實(shí)例T0的所有視圖S0到S7,第二存取單元可包含用于時間實(shí)例T1的所有視圖S0到S7， 以此類推。
[0066] 如上文簡要論述，本發(fā)明可使用以下定義：
[0067] 視圖分量：單個存取單元中的視圖的經(jīng)譯碼表示。當(dāng)視圖包含經(jīng)譯碼紋理和深度 表示兩者時，視圖分量由紋理視圖分量和深度視圖分量組成。
[0068] 紋理視圖分量：單個存取單元中的紋理的經(jīng)譯碼表示。
[0069] 深度視圖分量：單個存取單元中的深度的經(jīng)譯碼表示。
[0070] 在圖2中，視圖中的每一者包含若干圖片集合。舉例來說，視圖S0包含圖片0、8、 16、24、32、40、48、56 和 64 的集合，視圖 S1 包含圖片 1、9、17、25、33、41、49、57 和 65 的集合， 以此類推。每一集合包含兩個圖片：一個圖片稱為紋理視圖分量，且另一圖片稱為深度視圖 分量。視圖的圖片集合內(nèi)的紋理視圖分量和深度視圖分量可視為彼此對應(yīng)。舉例來說，視 圖的圖片集合內(nèi)的紋理視圖分量視為對應(yīng)于視圖的所述圖片集合內(nèi)的深度視圖分量，且反 之亦然（即，集合中的深度視圖分量對應(yīng)于其紋理視圖分量，且反之亦然）。如本發(fā)明中使 用，對應(yīng)于深度視圖分量的紋理視圖分量可視為作為單個存取單元的同一視圖的部分的紋 理視圖分量和深度視圖分量。
[0071] 紋理視圖分量包含顯示的實(shí)際圖像內(nèi)容。舉例來說，紋理視圖分量可包含亮度（Y) 和色度（Cb和Cr)分量。深度視圖分量可指示其對應(yīng)紋理視圖分量中的像素的相對深度。 作為一個實(shí)例，深度視圖分量是僅包含亮度值的灰度級圖像。換句話說，深度視圖分量可不 傳達(dá)任何紋理圖像內(nèi)容，而是，深度視圖分量可提供紋理視圖分量中界定的不同像素的相 對深度的量度。深度視圖分量中的深度值可界定相應(yīng)像素相對于零視差平面或可能某個其 它參考的深度。
[0072] 概念上，深度視圖分量中的純白像素指示對應(yīng)紋理視圖分量中的其對應(yīng)一或多個 像素從觀看者的視角來看較靠近，且深度視圖分量中的純黑像素指示對應(yīng)紋理視圖分量中 的其對應(yīng)一或多個像素從觀看者的視角來看較遠(yuǎn)離。黑色與白色之間的各種灰度指示不同 的深度水平。舉例來說，深度視圖分量中的極灰像素指示紋理視圖分量中的其對應(yīng)像素比 深度視圖分量中的淺灰像素更遠(yuǎn)離。因?yàn)閮H需要灰度級來識別像素的深度，所以深度視圖 分量無需包含色度分量，因?yàn)橛糜谏疃纫晥D分量的顏色值無法用于任何目的。僅使用亮度 值（例如，強(qiáng)度值）來識別深度的深度視圖分量是為了說明目的提供且不應(yīng)視為限制性的。
[0073] 在較一般意義上，深度視圖分量可包括范圍從最小值到最大值的值。根據(jù)一個特 定參考幀，相對于紋理視圖分量中對應(yīng)于深度視圖分量中具有較低值的像素的像素，深度 視圖分量中具有最大深度值的像素可將紋理視圖分量中的相應(yīng)像素的深度界定為較遠(yuǎn)離 觀看者。因此，相對于紋理視圖分量中對應(yīng)于深度視圖分量中具有較高值的像素的像素，深 度視圖分量中具有最小深度值的像素可將紋理視圖分量中的相應(yīng)像素的深度界定為較靠 近觀看者。在其它實(shí)例中，可不同地界定參考幀。舉例來說，可界定參考幀以使得相對較高 和較低值的意義保留。也就是說，相對較低值可對應(yīng)于較遠(yuǎn)離觀看者的深度，且較高值可對 應(yīng)于較靠近視圖的深度。在其它實(shí)例中，可利用任何技術(shù)來指示紋理視圖分量中的像素的 相對深度。
[0074] 圖3中展示用于多視圖視頻譯碼的典型MVC/AVC預(yù)測結(jié)構(gòu)（包含每一視圖內(nèi)的圖 片間預(yù)測和視圖間預(yù)測兩者）。預(yù)測方向由箭頭指示，被指向的對象使用指向來自的對象作 為預(yù)測參考。在MVC/AVC中，視圖間預(yù)測由視差運(yùn)動補(bǔ)償支持，其使用H. 264/AVC運(yùn)動補(bǔ)償 的語法，但允許將不同視圖中的圖片用作參考圖片。
[0075] 圖3是說明實(shí)例性MVC/AVC預(yù)測模式的概念圖。在圖3的實(shí)例中，說明八個視圖， 且針對每一視圖說明十二個時間位置。大體上，圖3中的每一行對應(yīng)于一視圖，而每一列指 示時間位置。視圖中的每一者可使用視圖識別符（"view_id"）來識別，其可用以指示相對 于其它視圖的相對相機(jī)位置。在圖3中所示的實(shí)例中，將視圖ID指示為"S0"到"S7"，但也 可使用數(shù)字視圖ID。另外，時間位置中的每一者可使用圖片次序計(jì)數(shù)（P0C)值來識別，其指 示圖片的顯示次序。在圖3中所示的實(shí)例中，將P0C值指示為"T0"到"T11"。
[0076] 雖然MVC/AVC具有可由H. 264/AVC解碼器解碼的所謂的基本視圖，且立體視圖對 也可由MVC/AVC支持，但MVC/AVC的優(yōu)點(diǎn)在于其可支持使用兩個以上視圖作為3D視頻輸入 且對由多個視圖表示的此3D視頻進(jìn)行解碼的實(shí)例。具有MVC/AVC解碼器的客戶端的再現(xiàn) 器可預(yù)期具有多個視圖的3D視頻內(nèi)容。
[0077] 圖3中的圖片是在每一行與每一列的交叉點(diǎn)處指示。H. 264/AVC標(biāo)準(zhǔn)可使用術(shù)語 幀來表示視頻的一部分。本發(fā)明可以可互換方式使用術(shù)語圖片和幀。
[0078] 圖3中的圖片是使用包含字母的帶陰影塊來指示，所述字母指定對應(yīng)圖片是否經(jīng) 幀內(nèi)譯碼（即，I幀）或者在一個方向上（即，作為P幀）或在多個方向上（即，作為B幀） 經(jīng)幀間譯碼。大體上，預(yù)測由箭頭指示，其中被指向的圖片使用指向來自的對象用于預(yù)測參 考。舉例來說，在時間位置T0處的視圖S2的P幀是從在時間位置T0處的視圖S0的I幀 預(yù)測。圖3中所示的圖片中的每一者可稱為視圖分量。也就是說，視圖的視圖分量對應(yīng)于 視圖的特定時間實(shí)例。
[0079] 如同單個視圖視頻編碼，多視圖視頻譯碼視頻序列的圖片可相對于在不同時間位 置處的圖片預(yù)測性地編碼。舉例來說，在時間位置T1處的視圖S0的b圖片具有從在時間 位置T0處的視圖S0的I圖片指向其的箭頭，指示b圖片是從I圖片預(yù)測。然而另外，在多 視圖視頻編碼的上下文中，圖片可經(jīng)視圖間預(yù)測。也就是說，視圖分量可使用其它視圖中的 視圖分量用于參考。在例如MVC/AVC中，視圖間預(yù)測經(jīng)實(shí)現(xiàn)為如同另一視圖中的視圖分量 是預(yù)測間參考?？赡艿囊晥D間參考是在序列參數(shù)集（SPS)MVC/AVC擴(kuò)展中用信號表示，且 可通過參考圖片列表構(gòu)造過程來修改，所述過程實(shí)現(xiàn)幀間預(yù)測或視圖間預(yù)測參考的靈活排 序。視圖間預(yù)測也是HEVC的建議多視圖擴(kuò)展的特征，包含3D-HEVC(多視圖加深度）。
[0080] 圖3提供視圖間預(yù)測的各種實(shí)例。在圖3的實(shí)例中，視圖S1的圖片說明為從在視 圖S1的不同時間位置處的圖片預(yù)測，以及從在相同時間位置處的視圖S0和S2的圖片中的 圖片經(jīng)視圖間預(yù)測。舉例來說，在時間位置T1處的視圖S1的b幀是從在時間位置T0和T2 處的視圖S1的B幀中的每一者以及在時間位置T1處的視圖S0和S2的b幀預(yù)測。
[0081] 在圖3的實(shí)例中，大寫字母"B"和小寫字母"b"既定指示圖片之間的不同階層關(guān) 系，而不是不同的編碼方法。大體上，大寫字母"B"幀在預(yù)測階層中比小寫字母"b"幀相對 更高。圖3還使用不同水平的陰影來說明預(yù)測階層中的變化，其中較大量陰影（S卩，相對較 暗）圖片在預(yù)測階層中比具有較少陰影的那些圖片（即，相對較亮）更高。舉例來說，圖3 中的所有I幀說明為具有滿陰影，而P幀具有稍微較亮的陰影，且B幀（和小寫字母b幀） 具有相對于彼此的各種水平的陰影，但總是比P幀和I幀的陰影更亮。大體上，預(yù)測階層涉 及視圖次序索引，因?yàn)樵陬A(yù)測階層中相對較高的圖片應(yīng)在對階層中相對較低的圖片進(jìn)行解 碼之前解碼，使得在階層中相對較高的那些圖片可在階層中相對較低的圖片的解碼器間用 作參考圖片。視圖次序索引是指示存取單元中的視圖分量的解碼次序的索引。視圖次序索 引可在例如SPS等參數(shù)集中暗示。
[0082] 以此方式，用作參考圖片的圖片可在對參照參考圖片編碼的圖片進(jìn)行解碼之前解 碼。視圖次序索引是指示存取單元中的視圖分量的解碼次序的索引。根據(jù)MVC/AVC，針對 每一視圖次序索引i，用信號表示對應(yīng)的view_id。視圖分量的解碼遵循視圖次序索引的升 序。如果呈現(xiàn)所有視圖，那么視圖次序索引集合包括從零到視圖的全部數(shù)目減一的連續(xù)排 序集合。
[0083] 在一些實(shí)例中，整個位流的子集可經(jīng)提取以形成仍符合MVC/AVC的子位流。存在 許多可能的子位流，特定應(yīng)用可能基于例如由服務(wù)器提供的服務(wù)、一或多個客戶端的解碼 器的容量、支持和能力和/或一或多個客戶端的偏好而需要所述子位流。舉例來說，客戶端 可能僅需要三個視圖，且可能存在兩種情形。在一個實(shí)例中，一個客戶端可需要平穩(wěn)的觀看 體驗(yàn)且可能偏好具有view_id值SO、S1和S2的視圖，而另一客戶端可需要視圖可縮放性且 偏好具有view_id值SO、S2和S4的視圖。這些子位流兩者可經(jīng)解碼為獨(dú)立MVC位流且可 同時得到支持。
[0084] 大體上，不同視圖之間的相機(jī)位置、定向和幾何關(guān)系可從視圖ID或視圖次序索引 推斷。為此目的，內(nèi)在和外在相機(jī)參數(shù)均可使用多視圖獲取信息SEI消息而包含在位流中。
[0085] 雖然圖3展示如上所述的八個視圖（S0到S7)，但MVC/AVC擴(kuò)展支持多達(dá)1024個 視圖且使用NAL單元標(biāo)頭中的viewjd來識別NAL單元所屬于的視圖。根據(jù)本發(fā)明的方 面，視圖次序索引可作為NAL單元標(biāo)頭的部分而用信號表示。也就是說，為了比較的目的， 視圖次序索引可代替在MVC/AVC擴(kuò)展的NAL單元標(biāo)頭中用信號表示的view_id。視圖次序 大體上描述存取單元中的視圖的排序，且視圖次序索引識別存取單元的視圖次序中的特定 視圖。也就是說，視圖次序索引描述存取單元的對應(yīng)視圖分量的解碼次序。
[0086] 在一些實(shí)例中，圖3可視為說明紋理視圖分量。舉例來說，圖2中說明的I、P、B和 b圖片可視為視圖中的每一者的紋理視圖分量。根據(jù)本發(fā)明中描述的至少一些技術(shù)，針對 圖3中說明的紋理視圖分量中的每一者，可存在對應(yīng)深度視圖分量。舉例來說，如上所述， 本發(fā)明的技術(shù)可應(yīng)用于包含并入了紋理和深度視圖分量兩者的3DV譯碼標(biāo)準(zhǔn)的視頻譯碼 標(biāo)準(zhǔn)?；蛘?，在至少一些實(shí)例中，本發(fā)明的技術(shù)也可涉及包含多視圖兼容性且僅并入紋理視 圖分量的譯碼標(biāo)準(zhǔn)。在一些實(shí)例中，深度視圖分量可以與圖3中針對對應(yīng)紋理視圖分量說 明的方式類似的方式預(yù)測。
[0087] 兩個視圖的譯碼也可由MVC/AVC支持。MVC/AVC的優(yōu)點(diǎn)之一在于MVC/AVC編碼器 可取兩個以上視圖作為3D視頻輸入且MVC/AVC解碼器可對此多視圖表示進(jìn)行解碼。由此， 具有MVC/AVC解碼器的任何再現(xiàn)器可對具有兩個以上視圖的3D視頻內(nèi)容進(jìn)行解碼。
[0088] 如上文論述，在MVC/AVC中，在同一存取單兀（在一些實(shí)例中意味著具有同一時間 實(shí)例）中的圖片當(dāng)中允許視圖間預(yù)測。當(dāng)對非基本視圖中的一者中的圖片進(jìn)行譯碼時，如 果圖片在不同視圖中但在同一時間實(shí)例內(nèi)，那么可將圖片添加到參考圖片列表中。視圖間 預(yù)測參考圖片可放在參考圖片列表的任何位置中，恰似任何預(yù)測間參考圖片。如圖3所示， 視圖分量可使用其它視圖中的視圖分量用于參考。在MVC/AVC中，視圖間預(yù)測經(jīng)實(shí)現(xiàn)為如 同另一視圖中的視圖分量是預(yù)測間參考。
[0089] 視頻序列通常包含一系列視頻幀。圖片群組（G0P)通常包括一系列一或多個視頻 幀。G0P可在G0P的標(biāo)頭、G0P的一或多個幀的標(biāo)頭或別處包含描述G0P中包含的幀的數(shù)目 的語法數(shù)據(jù)。每一幀可包含描述用于相應(yīng)幀的編碼模式的幀語法數(shù)據(jù)。視頻編碼器20通常 對個別視頻幀內(nèi)的視頻塊操作以便對視頻數(shù)據(jù)進(jìn)行編碼。視頻塊可對應(yīng)于塊或塊的分區(qū)。 視頻塊可具有固定或變化的大小，且可根據(jù)指定譯碼標(biāo)準(zhǔn)而大小不同。每一視頻幀可包含 多個切片。每一切片可包含多個塊，所述塊可經(jīng)布置為若干分區(qū)，也稱為子塊。
[0090] 作為實(shí)例，ITU-T H. 264標(biāo)準(zhǔn)支持各種塊大小的幀內(nèi)預(yù)測，例如用于亮度分量的16 乘16、8乘8或4乘4和用于色度分量的8x8,以及各種塊大小的幀間預(yù)測，例如用于亮度 分量的16xl6、16x8、8xl6、8x8、8x4、4x8和4x4和用于色度分量的對應(yīng)縮放大小。在本發(fā)明 中，"NxN"和"N乘N"可以可互換地使用以在垂直和水平尺寸方面指代塊的像素尺寸，例如 16x16像素或16乘16像素。大體上，16x16塊將在垂直方向上具有16個像素 （y = 16)且 在水平方向上具有16個像素 （x = 16)。同樣，NxN塊通常在垂直方向上具有N個像素且在 水平方向上具有N個像素，其中N表示非負(fù)整數(shù)值。塊中的像素可以布置成行和列。而且， 塊不需要一定在水平方向上與在垂直方向上具有相同數(shù)目的像素。舉例來說，塊可包括NxM 像素，其中Μ不一定等于N。
[0091] 當(dāng)前一直在努力開發(fā)新視頻譯碼標(biāo)準(zhǔn)，當(dāng)前稱為高效視頻譯碼（HEVC)。新興的 HEVC標(biāo)準(zhǔn)也可稱為ITU Η. 265標(biāo)準(zhǔn)。標(biāo)準(zhǔn)化努力是基于稱為HEVC測試模型（ΗΜ)的視頻譯 碼裝置的模型。ΗΜ假設(shè)視頻譯碼裝置優(yōu)于根據(jù)例如ITU-T H.264/AVC的裝置的若干能力。
[0092] ΗΜ將視頻數(shù)據(jù)塊稱為譯碼單元（CU)。位流內(nèi)的語法數(shù)據(jù)可界定最大譯碼單元 (LCU)，其為在像素?cái)?shù)目方面的最大譯碼單元。大體上，CU具有與Η. 264的宏塊類似的目的， 不同的是CU不具有大小區(qū)別。因此，CU可經(jīng)分裂為若干子CU。大體上，本發(fā)明中對CU的 參考可指代圖片的最大譯碼單元（LCU)或LCU的子CU。LCU可經(jīng)分裂為若干子CU，且每一 子CU可經(jīng)分裂為若干子CU。用于位流的語法數(shù)據(jù)可界定LCU可經(jīng)分裂的最大次數(shù)，稱為 ⑶深度。因此，位流也可界定最小譯碼單元（S⑶)。本發(fā)明還使用術(shù)語"塊"來指代⑶、PU 或TU中的任一者。
[0093] IXU可與四叉樹數(shù)據(jù)結(jié)構(gòu)相關(guān)聯(lián)。大體上，四叉樹數(shù)據(jù)結(jié)構(gòu)包含每⑶一個節(jié)點(diǎn)，其 中根節(jié)點(diǎn)對應(yīng)于IXU。如果⑶經(jīng)分裂為四個子⑶，那么對應(yīng)于⑶的節(jié)點(diǎn)包含四個葉節(jié)點(diǎn)， 所述葉節(jié)點(diǎn)中的每一者對應(yīng)于子CU中的一者。四叉樹數(shù)據(jù)結(jié)構(gòu)的每一節(jié)點(diǎn)可提供用于對 應(yīng)CU的語法數(shù)據(jù)。舉例來說，四叉樹中的節(jié)點(diǎn)可包含分裂旗標(biāo)，其指示對應(yīng)于所述節(jié)點(diǎn)的 CU是否經(jīng)分裂為若干子CU。用于CU的語法元素可以遞歸方式界定，且可取決于CU是否經(jīng) 分裂為若干子CU。如果CU并不進(jìn)一步分裂，那么其被稱為葉CU。在本發(fā)明中，葉CU的四個 子CU也將被稱為葉CU，即使不存在原始葉CU的明顯分裂也是如此。舉例來說，如果16x16 大小的⑶并不進(jìn)一步分裂，那么四個8x8子⑶也將被稱為葉⑶，但16x16⑶從不分裂。
[0094] CU具有與H. 264的宏塊類似的目的，不同的是CU不具有大小區(qū)別。舉例來說，樹 塊可經(jīng)分裂為四個子代節(jié)點(diǎn)（也被稱為子CU)，且每一子代節(jié)點(diǎn)可又為父代節(jié)點(diǎn)且經(jīng)分裂 為另外四個子代節(jié)點(diǎn)。被稱為四叉樹的葉節(jié)點(diǎn)的最終的未分裂子代節(jié)點(diǎn)包括譯碼節(jié)點(diǎn)，所 述譯碼節(jié)點(diǎn)也被稱為葉CU。與經(jīng)譯碼位流相關(guān)聯(lián)的語法數(shù)據(jù)可界定可分裂樹塊的最大次數(shù) (其被稱為最大CU深度），且也可界定譯碼節(jié)點(diǎn)的最小大小。因此，位流也可界定最小譯碼 單元（SCU)。本發(fā)明使用術(shù)語"塊"指代在HEVC的上下文中的⑶、PU或TU中的任一者，或 在其它標(biāo)準(zhǔn)的上下文中的類似數(shù)據(jù)結(jié)構(gòu)（例如，在H. 264/AVC中的宏塊及其子塊）。
[0095] 未經(jīng)分裂的⑶可包含一或多個預(yù)測單元（PU)。大體上，PU表示對應(yīng)⑶的全部或 一部分，且包含用于檢索PU的參考樣本的數(shù)據(jù)。舉例來說，當(dāng)PU經(jīng)幀內(nèi)模式編碼時，PU可 包含描述用于PU的幀內(nèi)預(yù)測模式的數(shù)據(jù)。作為另一實(shí)例，當(dāng)ro經(jīng)幀間模式編碼時，PU可 包含界定用于PU的運(yùn)動向量的數(shù)據(jù)。界定運(yùn)動向量的數(shù)據(jù)可描述例如運(yùn)動向量的水平分 量、運(yùn)動向量的垂直分量、運(yùn)動向量的分辨率（例如，四分之一像素精度或八分之一像素精 度）、運(yùn)動向量指向的參考幀，和/或運(yùn)動向量的參考列表（例如，列表0或列表1)。界定 ro的用于CU的數(shù)據(jù)也可描述例如CU分割為一或多個PU。分割模式可在CU是否未經(jīng)譯碼、 經(jīng)幀內(nèi)預(yù)測模式編碼或經(jīng)幀間預(yù)測模式編碼之間不同。
[0096] CU包含譯碼節(jié)點(diǎn)以及與譯碼節(jié)點(diǎn)相關(guān)聯(lián)的預(yù)測單元（PU)和變換單元（TU)。CU的 大小對應(yīng)于譯碼節(jié)點(diǎn)的大小，且形狀必須為正方形。CU的大小的范圍可從8x8像素直到具有 最大64x64像素更大的樹塊的大小。每一⑶可含有一或多個TO及一或多個TU。與⑶相關(guān) 聯(lián)的語法數(shù)據(jù)可描述（例如）cu到一或多個ro的分割。分割模式可在cu是否經(jīng)跳過或直接 模式編碼、經(jīng)幀內(nèi)預(yù)測模式編碼或經(jīng)幀間預(yù)測模式編碼之間不同。PU的形狀可分割為非正方 形。與CU相關(guān)聯(lián)的語法數(shù)據(jù)也可描述（例如）CU根據(jù)四叉樹到一或多個TU的分割。TU的 形狀可為正方形或非正方形（例如，矩形）。另外，TU不一定限于ro的大小。因此，TU可大 于或小于同一 cu的對應(yīng)ro。在一些實(shí)例中，τυ的最大大小可對應(yīng)于對應(yīng)cu的大小。
[0097] HEVC標(biāo)準(zhǔn)允許根據(jù)TU的變換，所述變換針對不同的CU可為不同的。通常基于針 對經(jīng)分割LCU所界定的給定CU內(nèi)的PU的大小而對TU定大小，但可能并非始終如此。TU通 常具有與PU相同的大小，或小于PU。在一些實(shí)例中，可使用被稱為"殘余四叉樹"（RQT)的 四叉樹結(jié)構(gòu)將對應(yīng)于CU的殘余樣本再分為若干較小單元。RQT的葉節(jié)點(diǎn)可被稱為變換單元 (TU)?？勺儞Q與TU相關(guān)聯(lián)的像素差值以產(chǎn)生可量化的變換系數(shù)。
[0098] 葉⑶可包含一或多個預(yù)測單元（PU)。大體上，PU表示對應(yīng)于對應(yīng)⑶的全部或一 部分的空間區(qū)域，且可包含用于檢索PU的參考樣本的數(shù)據(jù)。而且，PU包含與預(yù)測相關(guān)的數(shù) 據(jù)。舉例來說，當(dāng)PU經(jīng)幀內(nèi)模式編碼時，用于PU的數(shù)據(jù)可包含于殘余四叉樹（RQT)中，殘 余四叉樹可包含描述對應(yīng)于PU的TU的幀內(nèi)預(yù)測模式的數(shù)據(jù)。作為另一實(shí)例，當(dāng)PU經(jīng)幀間 模式編碼時，PU可包含界定所述ro的一或多個運(yùn)動向量的數(shù)據(jù)。界定用于PU的運(yùn)動向量 的數(shù)據(jù)可描述（例如）運(yùn)動向量的水平分量、運(yùn)動向量的垂直分量、運(yùn)動向量的分辨率（例 如，四分之一像素精度或八分之一像素精度）、運(yùn)動向量所指向的參考圖片，和/或用于運(yùn) 動向量的參考圖片列表（例如，列表0、列表1，或列表C)。
[0099] 具有一或多個ro的葉⑶也可包含一或多個變換單元（TU)?？墒褂肦QT(也被稱 為TU四叉樹結(jié)構(gòu)）指定變換單元，如上文所論述。舉例來說，分裂旗標(biāo)可指示葉CU是否分 裂為四個變換單元。接著，每一變換單元可進(jìn)一步分裂為另外的子TU。當(dāng)TU并不進(jìn)一步 分裂時，其可被稱為葉TU。一般來說，針對幀內(nèi)譯碼，屬于一葉CU的所有葉TU共享相同幀 內(nèi)預(yù)測模式。也就是說，相同幀內(nèi)預(yù)測模式大體應(yīng)用于計(jì)算葉CU的所有TU的預(yù)測值。針 對幀內(nèi)譯碼，視頻編碼器20可使用幀內(nèi)預(yù)測模式計(jì)算用于每一葉TU的殘余值，作為在對應(yīng) 于TU的CU的部分與原始塊之間的差。TU不一定限于PU的大小。因此，TU可大于或小于 PU。針對幀內(nèi)譯碼，PU可與用于同一⑶的對應(yīng)葉TU位于同一地點(diǎn)。在一些實(shí)例中，葉TU 的最大大小可對應(yīng)于對應(yīng)葉CU的大小。
[0100] 而且，葉⑶的TU也可與被稱為殘余四叉樹（RQT)的相應(yīng)四叉樹數(shù)據(jù)結(jié)構(gòu)相關(guān)聯(lián)。 也就是說，葉⑶可包含指示葉⑶分割為若干TU的方式的四叉樹。TU四叉樹的根節(jié)點(diǎn)一般 對應(yīng)于葉CU，而CU四叉樹的根節(jié)點(diǎn)一般對應(yīng)于樹塊（或LCU)。RQT的不分裂的TU被稱為 葉TU。一般來說，本發(fā)明分別使用術(shù)語CU及TU來指代葉CU及葉TU，除非另外注釋。
[0101] 如上所述，幀內(nèi)預(yù)測包含從圖片的經(jīng)先前譯碼⑶預(yù)測同一圖片的當(dāng)前⑶的PU。 更具體來說，視頻編碼器可使用特定幀內(nèi)預(yù)測模式來幀內(nèi)預(yù)測圖片的當(dāng)前CU。HM編碼器可 以多達(dá)三十三個幀內(nèi)預(yù)測模式來配置。因此，為了支持方向性幀內(nèi)預(yù)測模式與方向性變換 之間的一對一映射，HM編碼器和解碼器針對每一支持的變換大小可能需要存儲66個矩陣。 此外，支持全部三十三個幀內(nèi)預(yù)測模式的塊大小可為相對大的塊，例如32x32像素、64x64 像素或甚至更大。
[0102] 視頻序列通常包含一系列圖片（或可互換地，"幀"）。圖片群組（G0P)通常包括 一系列一或多個視頻圖片。G0P可在G0P的標(biāo)頭、圖片中的一或多者的標(biāo)頭或別處包含描述 G0P中包含的圖片的數(shù)目的語法數(shù)據(jù)。圖片的每一切片可包含描述相應(yīng)切片的編碼模式的 切片語法數(shù)據(jù)。視頻編碼器20通常對個別視頻切片內(nèi)的視頻塊操作以便對視頻數(shù)據(jù)進(jìn)行 編碼。視頻塊可對應(yīng)于CU內(nèi)的譯碼節(jié)點(diǎn)。視頻塊可具有固定或變化的大小，且可根據(jù)指定 譯碼標(biāo)準(zhǔn)而大小不同。
[0103] 作為實(shí)例，HM支持以各種PU大小進(jìn)行預(yù)測。假設(shè)特定CU的大小為2Nx2N，則HM 支持以2Nx2N或NxN的PU大小進(jìn)行幀內(nèi)預(yù)測，及以2Nx2N、2NxN、Nx2N或NxN的對稱PU大 小進(jìn)行幀間預(yù)測。HM也支持以2NxnU、2NxnD、nLx2N和nRx2N的PU大小進(jìn)行幀間預(yù)測的非 對稱分割。在非對稱分割中，CU的一個方向未分割，而另一方向分割為25%及75%。CU的 對應(yīng)于25%分割的部分是通過"η"跟隨有"上"、"下"、"左"或"右"的指示來指示。因此， 舉例來說，"2NxnU"指代以頂部2ΝχΟ. 5Ν PU及底部2Nxl. 5Ν PU水平分割的2Nx2N CU。
[0104] 在本發(fā)明中，"NxN"和"Ν乘Ν"可以可互換地使用以在垂直和水平尺寸方面指代 視頻塊的像素尺寸，例如16x16像素或16乘16像素。大體上，16x16塊將在垂直方向上具 有16個像素（y= 16)且在水平方向上具有16個像素（x= 16)。同樣，NxN塊通常在垂直 方向上具有N個像素且在水平方向上具有N個像素，其中N表示非負(fù)整數(shù)值。塊中的像素 可以布置成行和列。而且，塊不需要一定在水平方向上與在垂直方向上具有相同數(shù)目的像 素。舉例來說，塊可包括NxM像素，其中Μ不一定等于N。
[0105] 在使用CU的PU進(jìn)行幀內(nèi)預(yù)測性或幀間預(yù)測性譯碼之后，視頻編碼器20可計(jì)算用 于CU的TU的殘余數(shù)據(jù)。殘余值通常對應(yīng)于塊的預(yù)測數(shù)據(jù)與塊的真實(shí)數(shù)據(jù)之間的差。為了 進(jìn)一步壓縮塊的殘余值，可將殘余值變換為將盡可能多的數(shù)據(jù)（也稱為"能量"）壓縮到盡 可能少的系數(shù)中的變換系數(shù)的集合。變換系數(shù)對應(yīng)于可與原始塊大小相同的二維系數(shù)矩 陣。換句話說，可存在與原始塊中的像素一樣多的變換系數(shù)。然而，由于變換，許多變換系 數(shù)可具有等于零的值。
[0106] PU可包括描述在空間域（也被稱為像素域）中產(chǎn)生預(yù)測性像素?cái)?shù)據(jù)的方法或模 式的語法數(shù)據(jù)，且TU可包括在對殘余視頻數(shù)據(jù)應(yīng)用變換之后在變換域中的系數(shù)，所述變換 例如離散余弦變換（DCT)、整數(shù)變換、小波變換，或概念上類似的變換。殘余數(shù)據(jù)可對應(yīng)于 未經(jīng)編碼圖片的像素與對應(yīng)于PU的預(yù)測值之間的像素差。視頻編碼器20可形成包含用于 CU的殘余數(shù)據(jù)的TU，且接著變換所述TU以產(chǎn)生用于CU的變換系數(shù)。
[0107] 在應(yīng)用任何變換以產(chǎn)生變換系數(shù)之后，視頻編碼器20可執(zhí)行變換系數(shù)的量化。量 化通常涉及將相對大范圍內(nèi)的值映射到相對小范圍中的值，因此減少表示經(jīng)量化變換系數(shù) 所需的數(shù)據(jù)量。量化過程可減少與系數(shù)中的一些或全部相關(guān)聯(lián)的位深度。舉例來說，η位 值可在量化期間舍入到m位值，其中η大于m。
[0108] 在量化之后，視頻編碼器可掃描變換系數(shù)，從而從包含經(jīng)量化變換系數(shù)的二維矩 陣產(chǎn)生一維向量。掃描可經(jīng)設(shè)計(jì)以將較高能量（且因此較低頻率）系數(shù)置于陣列的前部， 且將較低能量（且因此較高頻率）系數(shù)置于陣列的后部。在一些實(shí)例中，視頻編碼器20可 利用預(yù)定義掃描次序來掃描經(jīng)量化變換系數(shù)，以產(chǎn)生可經(jīng)熵編碼的串行化向量。在其它實(shí) 例中，視頻編碼器20可執(zhí)行自適應(yīng)性掃描。
[0109] 在掃描經(jīng)量化變換系數(shù)以形成一維向量之后，視頻編碼器20可（例如）根據(jù)上下 文自適應(yīng)可變長度譯碼（CAVLC)、上下文自適應(yīng)二進(jìn)制算術(shù)譯碼（CABAC)、基于語法的上下 文自適應(yīng)二進(jìn)制算術(shù)譯碼（SBAC)、概率區(qū)間分割熵（PIPE)譯碼或另一熵編碼方法來對所 述一維向量進(jìn)行熵編碼。視頻編碼器20也可對與經(jīng)編碼視頻數(shù)據(jù)相關(guān)聯(lián)的語法元素進(jìn)行 熵編碼，以供視頻解碼器30用于對視頻數(shù)據(jù)進(jìn)行解碼。舉例來說，經(jīng)表示為經(jīng)量化變換系 數(shù)的量值和對應(yīng)正負(fù)號（例如，"+1"或"-1"）的系數(shù)值可使用熵譯碼技術(shù)來編碼。
[0110] 為了執(zhí)行CABAC，視頻編碼器20可將上下文模型內(nèi)的上下文指派給待發(fā)射的符 號。所述上下文可與（例如）符號的相鄰值是否為非零相關(guān)。為了執(zhí)行CAVLC，視頻編碼 器20可針對待發(fā)射的符號選擇可變長度碼?？蓪LC中的碼字建構(gòu)成使得相對較短碼對 應(yīng)于更有可能的符號，而較長碼對應(yīng)于較不可能的符號。以此方式，與（例如）針對待發(fā)射 的每一符號使用相等長度的碼字相比較，使用VLC可實(shí)現(xiàn)位節(jié)省。概率確定可基于指派給 符號的上下文。
[0111] 視頻編碼器20可（例如）在圖片標(biāo)頭、塊標(biāo)頭、切片標(biāo)頭或G0P標(biāo)頭中進(jìn)一步將 語法數(shù)據(jù)（例如，基于塊的語法數(shù)據(jù)、基于圖片的語法數(shù)據(jù)和基于G0P的語法數(shù)據(jù)）發(fā)送到 視頻解碼器30。G0P語法數(shù)據(jù)可描述相應(yīng)G0P中的圖片的數(shù)目，且圖片語法數(shù)據(jù)可指示用 以對對應(yīng)圖片進(jìn)行編碼的編碼/預(yù)測模式。
[0112] 在一些實(shí)例中，視頻編碼器20可產(chǎn)生且視頻解碼器30可接收某些參數(shù)集，所述參 數(shù)集可在對視頻數(shù)據(jù)進(jìn)行解碼時使用。舉例來說，參數(shù)集可含有序列層級標(biāo)頭信息（序列 參數(shù)集（SPS)中）和不經(jīng)常改變的圖片層級標(biāo)頭信息（圖片參數(shù)集（PPS)中）。借助參數(shù) 集（例如，PPS和SPS)，無需針對每一序列（例如，圖片序列）或圖片重復(fù)不經(jīng)常改變的信 息，因此可改善譯碼效率。此外，參數(shù)集的使用可實(shí)現(xiàn)重要標(biāo)頭信息的帶外發(fā)射，從而避免 了對用于錯誤恢復(fù)的冗余發(fā)射的需要。在帶外發(fā)射實(shí)例中，參數(shù)集NAL單元可在與其它NAL 單元不同的信道上發(fā)射，所述其它NAL單元例如為補(bǔ)充增強(qiáng)信息（SEI)NAL單元。
[0113] SEI NAL單元（稱為SEI消息）可含有對于對來自VCL NAL單元的經(jīng)譯碼圖片樣 本進(jìn)行解碼并非必要但可有助于涉及解碼、顯示、錯誤恢復(fù)和其它目的的過程的信息。SEI 消息可包含在非VCL NAL單元中。SEI消息可包含在一些標(biāo)準(zhǔn)規(guī)范的標(biāo)準(zhǔn)部分中，且因此對 于標(biāo)準(zhǔn)順應(yīng)性解碼器實(shí)施方案并不總是強(qiáng)制性的。SEI消息可為序列層級SEI消息或圖片 層級SEI消息。一些序列層級信息可包含在SEI消息中，例如SVC的實(shí)例中的可縮放性信 息SEI消息和MVC中的視圖可縮放性信息SEI消息。
[0114] 在一些實(shí)例中，視頻編碼器20可對符合MVC/AVC的多視圖視頻位流進(jìn)行編碼。同 樣，視頻解碼器30可對符合MVC/AVC的多視圖視頻位流進(jìn)行解碼。MVC/AVC的最新聯(lián)合草 案在"用于一般視聽服務(wù)的高級視頻譯碼"（ITU-T推薦H.264, 2010年3月）中描述，其全 文以引用方式并入本文。
[0115] MVC/AVC NAL單元可含有包含NAL單元類型的單字節(jié)NAL單元標(biāo)頭，以及MVC/AVC NAL單元標(biāo)頭擴(kuò)展，從而將NAL單元標(biāo)頭擴(kuò)展到4字節(jié)。作為一個實(shí)例，MVC/AVC NAL單元 標(biāo)頭擴(kuò)展可包含以下表1中的語法元素：
[0116] 表1-NAL單元標(biāo)頭擴(kuò)展語法
[0117]

【權(quán)利要求】
1. 一種對視頻數(shù)據(jù)進(jìn)行解碼的方法，所述方法包括： 從經(jīng)譯碼位流獲得與給定層相關(guān)聯(lián)的層相依性；以及 從經(jīng)譯碼位流獲得與所述層相依性中的一或多者相關(guān)聯(lián)的預(yù)測類型。
2. 根據(jù)權(quán)利要求1所述的方法，其中所述層是以下各項(xiàng)中的一者： 視圖； 視圖的紋理分量； 視圖的深度分量； 空間可縮放層；以及 質(zhì)量可縮放層。
3. 根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括： 從經(jīng)譯碼位流獲得用以用信號表示所述層相依性的第一語法元素；以及 從經(jīng)譯碼位流獲得用以用信號表示與所述層相依性中的一或多者相關(guān)聯(lián)的所述預(yù)測 類型的第二語法元素。
4. 根據(jù)權(quán)利要求1所述的方法，其中獲得所述預(yù)測類型包括獲得可用于層間紋理預(yù)測 的一或多個層的指示。
5. 根據(jù)權(quán)利要求1所述的方法，其中獲得所述預(yù)測類型包括獲得不可用于層間紋理預(yù) 測的一或多個層的指示。
6. 根據(jù)權(quán)利要求1所述的方法，其中獲得所述預(yù)測類型包括獲得可僅用于層間運(yùn)動預(yù) 測或可僅用于殘余預(yù)測的一或多個層的指示。
7. 根據(jù)權(quán)利要求1所述的方法，其中獲得層相依性和獲得所述預(yù)測類型兩者在序列參 數(shù)集中發(fā)生。
8. -種對視頻數(shù)據(jù)進(jìn)行編碼的方法，所述方法包括： 產(chǎn)生與給定層相關(guān)聯(lián)的層相依性；以及 產(chǎn)生與所述層相依性中的一或多者相關(guān)聯(lián)的預(yù)測類型。
9. 根據(jù)權(quán)利要求8所述的方法，其中所述層是以下各項(xiàng)中的一者： 視圖； 視圖的紋理分量； 視圖的深度分量； 空間可縮放層；以及 質(zhì)量可縮放層。
10. 根據(jù)權(quán)利要求8所述的方法，其中所述產(chǎn)生包含在經(jīng)譯碼位流中用信號表示。
11. 根據(jù)權(quán)利要求8所述的方法，其進(jìn)一步包括： 產(chǎn)生用以用信號表示所述層相依性的第一語法元素；以及 產(chǎn)生用以用信號表示與所述層相依性中的一或多者相關(guān)聯(lián)的所述預(yù)測類型的第二語 法元素。
12. 根據(jù)權(quán)利要求8所述的方法，其中產(chǎn)生所述預(yù)測類型包括產(chǎn)生可用于層間紋理預(yù) 測的一或多個層的指示。
13. 根據(jù)權(quán)利要求8所述的方法，其中產(chǎn)生所述預(yù)測類型包括產(chǎn)生不可用于層間紋理 預(yù)測的一或多個層的指示。
14. 根據(jù)權(quán)利要求8所述的方法，其中產(chǎn)生所述預(yù)測類型包括產(chǎn)生可僅用于層間運(yùn)動 預(yù)測或可僅用于殘余預(yù)測的一或多個層的指示。
15. 根據(jù)權(quán)利要求8所述的方法，其中所述產(chǎn)生包括在序列參數(shù)集中產(chǎn)生且用信號表 示所述層相依性和所述預(yù)測類型。
16. -種用于對視頻數(shù)據(jù)進(jìn)行譯碼的設(shè)備，其包括經(jīng)配置以進(jìn)行以下操作的一或多個 處理器： 對與給定層相關(guān)聯(lián)的層相依性進(jìn)行譯碼；以及 對與所述層相依性中的一或多者相關(guān)聯(lián)的預(yù)測類型進(jìn)行譯碼。
17. 根據(jù)權(quán)利要求16所述的設(shè)備，其中所述層是以下各項(xiàng)中的一者： 視圖； 視圖的紋理分量； 視圖的深度分量； 空間可縮放層；以及 質(zhì)量可縮放層。
18. 根據(jù)權(quán)利要求16所述的設(shè)備，其進(jìn)一步包括經(jīng)配置以存儲視頻數(shù)據(jù)且與所述處理 器通信的存儲器。
19. 根據(jù)權(quán)利要求16所述的設(shè)備，其中對視頻數(shù)據(jù)進(jìn)行譯碼包括編碼，且其中所述編 碼包括在經(jīng)譯碼位流中產(chǎn)生和用信號表示，所述產(chǎn)生包括： 產(chǎn)生用以用信號表示所述層相依性的第一語法元素；以及 產(chǎn)生用以用信號表示與所述層相依性中的一或多者相關(guān)聯(lián)的所述預(yù)測類型的第二語 法元素。
20. 根據(jù)權(quán)利要求16所述的設(shè)備，其中對視頻數(shù)據(jù)進(jìn)行譯碼包括解碼，且其中所述解 碼包括： 從經(jīng)譯碼位流獲得用信號表示所述層相依性的第一語法元素；以及 從經(jīng)譯碼位流獲得用信號表示與所述層相依性中的一或多者相關(guān)聯(lián)的所述預(yù)測類型 的第二語法元素。
21. 根據(jù)權(quán)利要求16所述的設(shè)備，其中對所述預(yù)測類型進(jìn)行譯碼包括對可用于層間紋 理預(yù)測的一或多個層的指示進(jìn)行譯碼。
22. 根據(jù)權(quán)利要求16所述的設(shè)備，其中對所述預(yù)測類型進(jìn)行譯碼包括對不可用于層間 紋理預(yù)測的一或多個層的指示進(jìn)行譯碼。
23. 根據(jù)權(quán)利要求16所述的設(shè)備，其中對所述預(yù)測類型進(jìn)行譯碼包括對可僅用于層間 運(yùn)動預(yù)測或可僅用于殘余預(yù)測的一或多個層的指示進(jìn)行譯碼。
24. 根據(jù)權(quán)利要求16所述的設(shè)備，其中所述譯碼包括在序列參數(shù)集中譯碼且用信號表 示所述層相依性和所述預(yù)測類型。
25. -種對視頻數(shù)據(jù)進(jìn)行譯碼的裝置，所述裝置包括： 用于對與給定層相關(guān)聯(lián)的層相依性進(jìn)行譯碼的裝置；以及 用于對與所述層相依性中的一或多者相關(guān)聯(lián)的預(yù)測類型進(jìn)行譯碼的裝置。
26. 根據(jù)權(quán)利要求25所述的裝置，其中所述層是以下各項(xiàng)中的一者： 視圖； 視圖的紋理分量； 視圖的深度分量； 空間可縮放層；以及 質(zhì)量可縮放層。
27. 根據(jù)權(quán)利要求25所述的裝置，其中所述用于對層相依性進(jìn)行譯碼的裝置包括： 用于產(chǎn)生用以用信號表示所述層相依性的第一語法元素的裝置；且 其中用于對預(yù)測類型進(jìn)行譯碼的裝置包括用于產(chǎn)生用以用信號表示與所述層相依性 中的一或多者相關(guān)聯(lián)的所述預(yù)測類型的第二語法元素的裝置。
28. 根據(jù)權(quán)利要求25所述的裝置，其中所述用于對所述預(yù)測類型進(jìn)行譯碼的裝置包括 用于對可用于層間紋理預(yù)測的一或多個層的指示進(jìn)行譯碼的裝置。
29. 根據(jù)權(quán)利要求25所述的裝置，其中所述用于對所述預(yù)測類型進(jìn)行譯碼的裝置包括 用于對不可用于層間紋理預(yù)測的一或多個層的指示進(jìn)行譯碼的裝置。
30. 根據(jù)權(quán)利要求25所述的裝置，其中所述用于對所述預(yù)測類型進(jìn)行譯碼的裝置包括 用于對可僅用于層間運(yùn)動預(yù)測或可僅用于殘余預(yù)測的一或多個層的指示進(jìn)行譯碼的裝置。
31. 根據(jù)權(quán)利要求25所述的裝置，其中所述用于對層相依性進(jìn)行譯碼的裝置和所述用 于對所述預(yù)測類型進(jìn)行譯碼的裝置兩者包括用于產(chǎn)生序列參數(shù)集的一部分的裝置。
32. -種其上存儲有指令的非暫時性計(jì)算機(jī)可讀存儲媒體，所述指令在執(zhí)行時致使用 于對視頻數(shù)據(jù)進(jìn)行譯碼的設(shè)備的一或多個處理器進(jìn)行以下操作： 對與給定層相關(guān)聯(lián)的層相依性進(jìn)行譯碼； 對與所述層相依性中的一或多者相關(guān)聯(lián)的預(yù)測類型進(jìn)行譯碼。
33. 根據(jù)權(quán)利要求32所述的非暫時性計(jì)算機(jī)可讀存儲媒體，其中所述層是以下各項(xiàng)中 的一者： 視圖； 視圖的紋理分量； 視圖的深度分量； 空間可縮放層；以及 質(zhì)量可縮放層。
34. 根據(jù)權(quán)利要求32所述的非暫時性計(jì)算機(jī)可讀存儲媒體，其進(jìn)一步包括致使所述一 或多個處理器進(jìn)行以下操作的指令： 產(chǎn)生用以用信號表示所述層相依性的第一語法元素；以及 產(chǎn)生用以用信號表示與所述層相依性中的一或多者相關(guān)聯(lián)的所述預(yù)測類型的第二語 法元素。
35. 根據(jù)權(quán)利要求32所述的非暫時性計(jì)算機(jī)可讀存儲媒體，其中用信號表示所述預(yù)測 類型包括用于用信號表示可用于層間紋理預(yù)測的一或多個層的指示的裝置。
36. 根據(jù)權(quán)利要求32所述的非暫時性計(jì)算機(jī)可讀存儲媒體，其中對所述預(yù)測類型進(jìn)行 譯碼包括對不可用于層間紋理預(yù)測的一或多個層的指示進(jìn)行譯碼。
37. 根據(jù)權(quán)利要求32所述的非暫時性計(jì)算機(jī)可讀存儲媒體，其中對所述預(yù)測類型進(jìn)行 譯碼包括對可僅用于層間運(yùn)動預(yù)測或可僅用于殘余預(yù)測的一或多個層的指示進(jìn)行譯碼。
38. 根據(jù)權(quán)利要求32所述的非暫時性計(jì)算機(jī)可讀存儲媒體，其中對層相依性進(jìn)行譯碼 和對所述預(yù)測類型進(jìn)行譯碼兩者包括對序列參數(shù)集的部分進(jìn)行譯碼。
【文檔編號】H04N19/30GK104272741SQ201380021044
【公開日】2015年1月7日 申請日期:2013年4月23日 優(yōu)先權(quán)日:2012年4月23日
【發(fā)明者】陳穎, 王益魁 申請人:高通股份有限公司