多層視頻譯碼中的跨層對準的制作方法
【技術(shù)領域】
[0001] 本發(fā)明涉及視頻譯碼的領域，包含單層、多層、可縮放HEVC(SHVC)和多視圖 HEVC (MV-HEVC)〇
【背景技術(shù)】
[0002] 數(shù)字視頻能力可并入到廣泛范圍的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣 播系統(tǒng)、個人數(shù)字助理（PDA)、膝上型或臺式計算機、平板計算機、電子書閱讀器、數(shù)碼相機、 數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電電 話、所謂的"智能電話"、視頻電話會議裝置、視頻串流裝置及其類似者。數(shù)字視頻裝置實施 視頻譯碼技術(shù)，例如由 MPEG-2、MPEG-4、ITU-T H. 263 或 ITU-T H. 264/MPEG-4 第 10 部分高 級視頻譯碼（AVC)所定義的標準、目前正在開發(fā)的高效視頻譯碼（HEVC)標準及這些標準的 擴展中所描述的視頻譯碼技術(shù)。視頻裝置可通過實施此些視頻譯碼技術(shù)而更有效地發(fā)射、 接收、編碼、解碼和/或存儲數(shù)字視頻信息。
[0003] 視頻譯碼技術(shù)包含空間（圖片內(nèi)）預測和/或時間（圖片間）預測以減少或去除 視頻序列中固有的冗余。對于基于塊的視頻譯碼來說，視頻切片（即，視頻幀或視頻幀的一 部分）可分割成視頻塊，視頻塊也可被稱作樹塊、譯碼單元（CU)和/或譯碼節(jié)點。使用相 對于同一圖片中的相鄰塊中的參考樣本的空間預測對圖片的經(jīng)幀內(nèi)譯碼（I)切片中的視 頻塊進行編碼。圖片的經(jīng)幀間譯碼（P或B)切片中的視頻塊可使用相對于同一圖片中的相 鄰塊中的參考樣本的空間預測，或相對于其它參考圖片中的參考樣本的時間預測。圖片可 稱為幀，且參考圖片可稱為參考幀。
[0004] 視頻譯碼技術(shù)包含空間（圖片內(nèi)）預測和/或時間（圖片間）預測以減少或去除 視頻序列中固有的冗余。對于基于塊的視頻譯碼，視頻切片（例如，視頻幀或視頻幀的一部 分）可分割成視頻塊，視頻塊也可被稱作樹塊、譯碼單元（CU)和/或譯碼節(jié)點。CU可進一 步分割成一或多個預測單元（PU)以確定針對CU的預測視頻數(shù)據(jù)。視頻壓縮技術(shù)還可將CU 分割為殘余視頻塊數(shù)據(jù)的一或多個變換單元（TU)，所述殘余視頻塊數(shù)據(jù)表示待譯碼視頻塊 與預測視頻數(shù)據(jù)之間的差。例如二維離散余弦變換（DCT)等線性變換可應用于TU以將殘 余視頻塊數(shù)據(jù)從像素域變換到頻域以實現(xiàn)進一步壓縮。此外，圖片的經(jīng)幀內(nèi)譯碼（I)切片 中的視頻塊可使用相對于同一圖片中的相鄰塊中的參考樣本的空間預測來編碼。圖片的經(jīng) 幀間譯碼（P或B)切片中的視頻塊可使用相對于同一圖片中的相鄰塊中的參考樣本的空間 預測，或相對于其它參考圖片中的參考樣本的時間預測。圖片可稱為幀，且參考圖片可稱為 參考幀。
[0005] 空間或時間預測導致用于待譯碼塊的預測塊。殘余數(shù)據(jù)表示待譯碼的原始塊與預 測塊之間的像素差。經(jīng)幀間譯碼塊是根據(jù)指向形成預測塊的參考樣本塊的運動向量和指示 經(jīng)譯碼塊與預測塊之間的差的殘余數(shù)據(jù)編碼的。經(jīng)幀內(nèi)譯碼塊是根據(jù)幀內(nèi)譯碼模式和殘余 數(shù)據(jù)來編碼。為了進一步壓縮，可將殘余數(shù)據(jù)從像素域變換到變換域，從而產(chǎn)生殘余變換系 數(shù)，接著可將殘余變換系數(shù)量化?？蓲呙枳畛醪贾贸啥S陣列的經(jīng)量化變換系數(shù)，以便產(chǎn)生 變換系數(shù)的一維向量，且可應用熵編碼以實現(xiàn)更多壓縮。
[0006] -些譯碼實施方案包含多個層中譯碼的視頻。每一層可表示視頻的經(jīng)不同編碼版 本。關注提供一種靈活標準，可給予每一層關于如何表示經(jīng)譯碼視頻信息的完全自由。然 而，此自由需要譯碼裝置處置可能不同地譯碼的分層信息。當層經(jīng)組織和譯碼時，此可引入 資源利用開銷，例如處理器循環(huán)、存儲器和/或功率消耗。此外，當處理經(jīng)譯碼信息的層時， 此可引入呈現(xiàn)延遲。

【發(fā)明內(nèi)容】

[0007] 大體來說，本發(fā)明描述關于視頻譯碼（確切地說，多層視頻譯碼）的技術(shù)。下文描 述的技術(shù)提供增強多層視頻處理所需的資源利用率的若干譯碼特征。
[0008] 在一個創(chuàng)新方面中，提供一種用于對視頻信息譯碼的設備。所述設備包含存儲器 單元，其經(jīng)配置以存儲基礎層中包含的圖片的第一集合和增強層中包含的圖片的第二集 合。所述圖片的第一集合和所述圖片的第二集合提供視頻信息的不同表示。此外，圖片的 所述第一集合和圖片的所述第二集合具有針對相應集合中包含的圖片的輸出次序。所述輸 出次序識別圖片的顯示序列，每一圖片具有相關聯(lián)輸出次序內(nèi)的輸出位置。所述圖片的第 一集合和所述圖片的第二集合具有針對相應集合中包含的圖片的解碼次序。所述解碼次序 識別針對相應集合中包含的圖片的解碼序列。每一圖片進一步具有相關聯(lián)解碼次序內(nèi)的解 碼位置。
[0009] 所述設備還包含操作上耦合到存儲器單元的視頻處理器。視頻處理器經(jīng)配置以識 別圖片的第一集合中包含的第一圖片，其中圖片的第一集合內(nèi)的具有第一圖片的輸出位置 之后的輸出位置的圖片還具有第一圖片的解碼位置之后的解碼位置。視頻處理器進一步經(jīng) 配置以識別圖片的第二集合中包含的第二圖片，其中圖片的第二集合內(nèi)的具有第二圖片的 輸出位置之后的輸出位置的圖片還具有第二圖片的解碼位置之后的解碼位置。視頻處理器 進一步經(jīng)配置以將經(jīng)識別第一圖片和經(jīng)識別第二圖片譯碼到一個存取單元中。
[0010] 在一些實施方案中，所述圖片的第一集合包含圖片的第一群組，且所述圖片的第 二集合包括圖片的第二群組。來自圖片的第一集合的具有經(jīng)識別第一圖片的輸出位置之前 的輸出位置且具有經(jīng)識別第一圖片的解碼位置之后的解碼位置的圖片還可具有基礎層中 包含的圖片的第三集合中包含的第三圖片之前的解碼位置。圖片的第三集合內(nèi)的具有第三 圖片的輸出位置之后的輸出位置的圖片還可具有第三圖片的解碼位置之后的解碼位置。來 自圖片的第二集合的具有經(jīng)識別第二圖片的輸出位置之前的輸出位置且具有經(jīng)識別第二 圖片的解碼位置之后的解碼位置的圖片還可具有增強層中包含的圖片的第四集合中包含 的第四圖片之前的解碼位置，其中圖片的第四集合內(nèi)的圖片具有第四圖片的輸出位置之后 的輸出位置，還具有第四圖片的解碼位置之后的解碼位置。
[0011] 第一圖片和第二圖片可為經(jīng)幀內(nèi)譯碼隨機存取點圖片。存取單元可為針對視頻信 息的第一存取單元，且存取單元可包含針對包含所述視頻信息的每一層的圖片。在所述設 備的一些實施方案中，與除基礎層之外的層相關聯(lián)的圖片可不譯碼為經(jīng)幀內(nèi)譯碼隨機存取 點圖片，除非對于具有視頻信息中的至少一個圖片的圖片的層下方的每一層，存在存取單 元中的圖片。
[0012] 所述設備可包含編碼器，其經(jīng)配置以產(chǎn)生存取單元，所述存取單元經(jīng)配置以對準 與存取單元的層相關聯(lián)的圖片。所述設備的一些實施方案可包含解碼器，其經(jīng)配置以處理 存取單元，所述存取單元經(jīng)配置以對準與存取單元的層相關聯(lián)的圖片。所述設備可包含臺 式計算機、筆記本計算機、膝上型計算機、平板計算機、機頂盒、電話手持機、電視機、相機、 顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺、車內(nèi)計算機或視頻串流裝置。
[0013] 在另一創(chuàng)新方面中，提供一種編碼視頻信息的方法。所述方法包含存儲基礎層中 包含的圖片的第一集合和增強層中包含的圖片的第二集合。所述圖片的第一集合和所述圖 片的第二集合提供視頻信息的不同表示。此外，圖片的第一集合和圖片的第二集合具有針 對相應集合中包含的圖片的輸出次序，其中所述輸出次序識別圖片的顯示序列。每一圖片 具有相關聯(lián)輸出次序內(nèi)的輸出位置。圖片的第一集合和圖片的第二集合各自具有相應集合 中包含的圖片的解碼次序。所述解碼次序識別針對相應集合中包含的圖片的解碼序列。每 一圖片進一步具有相關聯(lián)解碼次序內(nèi)的解碼位置。
[0014] 所述方法還包含識別圖片的第一集合中包含的第一圖片。圖片的第一集合內(nèi)的具 有第一圖片的輸出位置之后的輸出位置的圖片還具有第一圖片的解碼位置之后的解碼位 置。所述方法還包含識別圖片的第二集合中包含的第二圖片。圖片的第二集合內(nèi)的具有第 二圖片的輸出位置之后的輸出位置的圖片還具有第二圖片的解碼位置之后的解碼位置。所 述方法還包含在一個存取單元中編碼經(jīng)識別第一圖片和經(jīng)識別第二圖片。
[0015] 圖片的第一集合包括圖片的第一群組，且圖片的第二集合包括圖片的第一群組和 圖片的第二群組。第一圖片和第二圖片可為經(jīng)幀內(nèi)譯碼隨機存取點圖片。在所述視頻編碼 方法的一些實施方案中，存取單元為用于視頻信息的第一存取單元，且所述存取單元包含 針對包含所述視頻信息的每一層的圖片。在一些實施方案中，與除基礎層之外的層相關聯(lián) 的圖片可不譯碼為經(jīng)幀內(nèi)譯碼隨機存取點圖片，除非對于具有視頻信息中的至少一個圖片 的圖片的層下方的每一層，存在存取單元中的圖片。
[0016] 在所述視頻編碼方法的一些實施方案中，圖片的第一集合包含圖片的第一群組， 且圖片的第二集合包括圖片的第二群組。來自圖片的第一集合的具有經(jīng)識別第一圖片的輸 出位置之前的輸出位置且具有經(jīng)識別第一圖片的解碼位置之后的解碼位置的圖片還可具 有基礎層中包含的圖片的第三集合中包含的第三圖片之前的解碼位置。圖片的第三集合內(nèi) 的具有第三圖片的輸出位置之后的輸出位置的圖片還可具有第三圖片的解碼位置之后的 解碼位置。來自圖片的第二集合的具有經(jīng)識別第二圖片的輸出位置之前的輸出位置且具有 經(jīng)識別第二圖片的解碼位置之后的解碼位置的圖片還可具有增強層中包含的圖片的第四 集合中包含的第四圖片之前的解碼位置，其中圖片的第四集合內(nèi)的圖片具有第四圖片的輸 出位置之后的輸出位置，還具有第四圖片的解碼位置之后的解碼位置。
[0017] 在一創(chuàng)新方面中，提供一種非暫時性計算機可讀媒體，其包括可由設備的處理器 執(zhí)行的指令。所述指令致使所述設備執(zhí)行上文描述的視頻編碼方法。
[0018] 在又一創(chuàng)新方面中，提供一種解碼視頻信息的方法。所述方法包含接收包含圖片 的兩個或兩個以上層的視頻信息的第一部分，其中圖片的每一層具有針對相應層中包含的 圖片的輸出次序。所述輸出次序識別圖片的顯示序列，每一圖片具有相關聯(lián)輸出次序內(nèi)的 輸出位置。此外，圖片的第一集合和圖片的第二集合具有針對相應集合中包含的圖片的解 碼次序，所述解碼次序識別針對相應集合中包含的圖片的解碼序列。每一圖片進一步具有 相關聯(lián)解碼次序內(nèi)的解碼位置。
[0019] 所述方法還包含識別關鍵圖片，關鍵圖片為符合以下條件的圖片：無來自與所述 圖片相關聯(lián)的層中包含的具有所述圖片的解碼位置之前的解碼位置的圖片的其它圖片具 有所述圖片的輸出位置之后的輸出位置。所述方法進一步包含基于關于存取單元中包含的 所有圖片是否為經(jīng)識別關鍵圖片的確定而解碼視頻信息。
[0020] 在一個創(chuàng)新方面中，提供一種非暫時性計算機可讀媒體，其包括可由設備的處理 器執(zhí)行的指令。所述指令致使所述設備執(zhí)行上文描述的視頻解碼方法。
[0021] 在確定存取單元中包含的所有圖片為經(jīng)識別關鍵圖片或存取單元中包含的所有 圖片不是經(jīng)識別關鍵圖片后，所述方法可包含配置解碼管線用于跨層對準解碼。在一些實 施方案中，所述方法可包含識別關鍵圖片，其中來自源自一層的具有所述關鍵圖片的輸出 位置之前的輸出位置且具有所述經(jīng)識別關鍵圖片的解碼位置之后的解碼位置的圖片的第 一集合的圖片還具有所述層中包含的另一關鍵圖片之前的解碼位置，其中所述另一關鍵圖 片為按輸出次序在所述關鍵圖片之后的下一經(jīng)識別關鍵圖片。在此些實施方案中，圖片的 第一集合包括一層中包含的圖片的第一群組。
[0022] 與除基礎層以外的層相關聯(lián)的圖片可不譯碼為經(jīng)幀內(nèi)譯碼隨機存取點圖片，除非 對于具有視頻信息中的至少一個圖片的圖片的層下方的每一層，存在存取單元中的圖片。
[0023] 在此方法的一些實施方案中，選擇性地執(zhí)行所述識別?？苫趫?zhí)行所述方法的解 碼裝置的操作特性選擇性地執(zhí)行所述識別。所述操作特性可包含解碼裝置處理負載、熱狀 態(tài)、帶寬容量、存儲器容量或經(jīng)耦合硬件。
[0024] 所述方法的一些實施方案可包含存儲關于存取單元中包含的所有圖片是否為經(jīng) 識別關鍵圖片的確定。所述方法可隨后包含基于自從所述確定消逝的持續(xù)時間選擇性的執(zhí) 行所述識別。
[0025] 在另一創(chuàng)新方面中，提供一種用于對視頻信息譯碼的設備。所述設備包含用于存 儲基礎層中包含的圖片的第一集合和增強層中包含的圖片的第二集合的裝置。所述圖片的 第一集合和所述圖片的第二集合提供視頻信息的不同表示。圖片的第一集合和圖片的第 二集合各自具有針對相應集合中包含的圖片的輸出次序，所述輸出次序識別圖片的顯示序 列。每一圖片具有相關聯(lián)輸出次序內(nèi)的輸出位置。圖片的第一集合和圖片的第二集合具有 針對相應集合中包含的圖片的解碼次序，所述解碼次序識別針對相應集合中包含的圖片的 解碼序列。每一圖片進一步具有相關聯(lián)解碼次序內(nèi)的解碼位置。
[0026] 所述設備進一步包含用于識別圖片的第一集合中包含的第一圖片和用于識別圖 片的第二集合中包含的第二圖片的裝置。圖片的第一集合內(nèi)的具有第一圖片的輸出位置之 后的輸出位置的圖片還具有第一圖片的解碼位置之后的解碼位置。圖片的第二集合內(nèi)的具 有第二圖片的輸出位置之后的輸出位置的圖片還具有第二圖片的解碼位置之后的解碼位 置。所述設備還包含用于將經(jīng)識別第一圖片和經(jīng)識別第二圖片譯碼到一個存取單元中的裝 置。
[0027] 在所述設備的一些實施方案中，圖片的第一集合包括圖片的第一群組，且圖片的 第二集合包括圖片的第一群組和圖片的第二群組。存取單元可可包含針對視頻信息的第一 存取單元，且其中存取單元可包含針對包含所述視頻信息的每一層的圖片?？赡苄枰c除 基礎層之外的層相關聯(lián)的圖片不譯碼為經(jīng)幀內(nèi)譯碼隨機存取點圖片，除非對于具有視頻信 息中的至少一個圖片的圖片的層下方的每一層，存在存取單元中的圖片。
[0028] 在附圖及以下描述中陳述一或多個實例的細節(jié)，其并不希望限制本文中所描述的 發(fā)明性概念的完整范圍。其它特征、目標和優(yōu)點將從所述描述和圖式以及從權(quán)利要求書而 顯而易見。
【附圖說明】
[0029] 貫穿所述圖式，參考數(shù)字可再使用以指示參考元件之間的對應關系。提供圖式以 說明本文中描述的實例實施例，且并不希望限制本發(fā)明的范圍。
[0030] 圖1展示包含沿著不同維度的實例視頻可縮放性的維度圖。
[0031] 圖2說明示范性多層譯碼結(jié)構(gòu)的譯碼結(jié)構(gòu)圖。
[0032] 圖3說明針對包含經(jīng)譯碼多層視頻數(shù)據(jù)的位流的存取單元圖。
[0033] 圖4是說明可利用根據(jù)本發(fā)明中描述的方面的技術(shù)的實例視頻編碼和解碼系統(tǒng) 的框圖。
[0034] 圖5是說明可實施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻編碼器的實例的框圖。
[0035] 圖6為說明可實施根據(jù)本發(fā)明中描述的方面的技術(shù)的跨層對準處理器的實例的 框圖。
[0036] 圖7是說明可實施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻解碼器的實例的框圖。
[0037] 圖8說明未對準經(jīng)譯碼存取單元的實例。
[0038] 圖9說明未對準經(jīng)譯碼存取單元的另一實例。
[0039] 圖10說明經(jīng)對準經(jīng)譯碼存取單元的實例。
[0040] 圖11說明視頻譯碼的方法的過程流程圖。
[0041] 圖12展示包含跨層對準的視頻譯碼的另一方法的過程流程圖。
[0042] 圖13展示識別跨層對準視頻數(shù)據(jù)的方法的過程流程圖。
【具體實施方式】
[0043] 本發(fā)明中描述的技術(shù)大體涉及視頻譯碼，確切地說涉及多層視頻譯碼，包含可縮 放視頻譯碼和多視圖/3D視頻譯碼。舉例來說，所述技術(shù)可涉及高效視頻譯碼（HEVC)可縮 放視頻譯碼擴展（被稱作SHVC)，且與之一起使用或在其內(nèi)使用。在SHVC擴展中，可存在多 個視頻信息層。最底層級處的層可充當基礎層（BL)，且最頂部（或最高層）處的層或其間 的層可充當經(jīng)增強層（EL)。"經(jīng)增強層"有時被稱作"增強層"，且這些術(shù)語可互換地使用。 基礎層或基礎層與最高層兩者之間的層有時被稱作"參考層"（RL)，且這些術(shù)語也可可互換 地使用?；A層與頂層兩者之間的所有層可充當EL或參考層（RL)中的任一者或兩者。舉 例來說，在中間的層可為在其下方的層（例如，基礎層或任何介入增強層）的EL，且同時充 當在其上方的增強層的RL。在基礎層與頂層（或最高層）兩者之間的每一層可用作較高層 進行層間預測的參考，且可使用下部層作為用于層間