在可伸縮視頻編碼中的幀內(nèi)模式推導(dǎo)和編碼的方法和裝置制造方法
【專利摘要】本發(fā)明揭示了一種可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼方法和裝置。對于在增強層中的當(dāng)前幀內(nèi)編碼區(qū)塊，基于與在基本層中的同一位置的區(qū)塊相關(guān)的基本層編碼模式和與在增強層中的當(dāng)前區(qū)塊的相鄰區(qū)塊相關(guān)的相鄰編碼模式，將預(yù)測編碼應(yīng)用于當(dāng)前幀內(nèi)模式。在增強層中的當(dāng)前區(qū)塊的相鄰區(qū)塊包括靠近當(dāng)前區(qū)塊左側(cè)的左區(qū)塊和靠近當(dāng)前區(qū)塊上方的頂區(qū)塊。自相鄰編碼模式和基本層編碼模式得到一個或多個最可能模式，然后該一個或多個最可能模式用于當(dāng)前幀內(nèi)模式的預(yù)測編碼。
【專利說明】在可伸縮視頻編碼中的幀內(nèi)模式推導(dǎo)和編碼的方法和裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明是有關(guān)于可伸縮視頻編碼，特別是有關(guān)于用于增強層的區(qū)塊的幀內(nèi)模式編 碼技術(shù)。

【背景技術(shù)】
[0002] 視頻流媒體已經(jīng)成為當(dāng)今的主流視頻傳輸。由無處不在的高速互聯(lián)網(wǎng)和移動網(wǎng)絡(luò) 支持，可以傳送視頻內(nèi)容至終端使用者，以使得使用者在具有不同品質(zhì)的不同平臺上觀看。 為滿足各種視頻流應(yīng)用的不同需要，可能需要以不同分辨率、幀率（frame rate)、及/或品 質(zhì)來處理或存儲視頻源。這將導(dǎo)致相當(dāng)復(fù)雜的系統(tǒng)并需要高的總體帶寬或大的總體存儲空 間?？缮炜s視頻編碼是一個滿足不同分辨率、幀率、品質(zhì)、及/或比特率需要的方案。除了各 種專有開發(fā)致力于解決此問題之外，可伸縮視頻編碼的現(xiàn)有的視頻標準也可解決此問題。 IS0/IEC MPEG和ITU-T VCEG的聯(lián)合視頻工作組（joint video team, JVT)已經(jīng)標準化一 個對于H. 264/AVC標準的可伸縮視頻編碼（Scalable Video Coding, SVC)的擴展。Η. 264/ AVC可伸縮視頻編碼比特流包含從低幀率（frame-rate)、低分辨率、低品質(zhì)到高幀率、高清 晰度、高品質(zhì)的視頻信息。此種單一的比特流可通過適當(dāng)?shù)嘏渲帽忍亓鞯目缮炜s來適應(yīng)具 體的應(yīng)用。舉例來說，對應(yīng)于高清晰度的完整的比特流可以通過高速網(wǎng)絡(luò)來傳送，以提供大 屏幕觀看的充分的品質(zhì)。對應(yīng)于高清晰度視頻的低分辨率版本的部分比特流可以通過傳統(tǒng) 蜂窩網(wǎng)絡(luò)來傳送，以在手持/移動設(shè)備上觀看。相應(yīng)地，使用H. 264/AVC可伸縮視頻編碼產(chǎn) 生的比特流適合各種視頻應(yīng)用，例如視頻廣播、視頻流、和監(jiān)控（survei 11 ance)。
[0003] 在可伸縮視頻編碼中，提供三種可伸縮類型，即時間可伸縮、空間可伸縮以及品質(zhì) 可伸縮?？缮炜s視頻編碼使用多層編碼結(jié)構(gòu)以實現(xiàn)三維可伸縮?？缮炜s視頻編碼的概念 是產(chǎn)生一個可伸縮比特流，其中該可伸縮比特流可在無反式編碼（transcoding)或重編碼 (re-encoding)的情況下簡單快速地適用多種傳輸信道、各種顯示能力及/或不同計算資 源的比特率。可伸縮視頻編碼設(shè)計的重要特點是在比特流層（bitstream level)提供可伸 縮性。可以通過丟棄不需要解碼目標分辨率的網(wǎng)絡(luò)提取層（NAL)單元（或網(wǎng)絡(luò)數(shù)據(jù)包）來 簡單取得縮減空間及/或時間分辨率的比特流，可另外減小用于品質(zhì)精化的NAL單元從而 減小比特率及/或降低相應(yīng)視頻品質(zhì)。
[0004] 在H. 264/AVC可伸縮視頻編碼的擴展中，基于金字塔編碼（pyramid coding)支 持空間可伸縮。首先，降采樣（down-sample)視頻序列以取得不同空間分辨率（層）的 較小圖像。最低層（即，具有最低空間分辨率的層）稱為基本層（base layer，BL)。在 基本層之上的任意一層稱為增強層（enhancement layer, EL)。除了二元的空間分辨 率（dyadic spatial resolution), H. 264/AVC可伸縮視頻編碼的擴展也支持任意分辨 率，其稱為擴展空間可伸縮（Extended Spatial Scalability，ESS)。已在文獻在中揭 露各種層間預(yù)測方案（inter-layer prediction schemes),以改善增強層（具有較高 分辨率的視頻層）的編碼效率。在可伸縮視頻編碼中，采用三種層間預(yù)測工具，包括層 間運動預(yù)測（inter-layer motion prediction)、層間巾貞內(nèi)預(yù)測（inter-layer Intra prediction)以及層間殘差預(yù)測（inter-layer residual prediction)(例如，C. Andrew Segall 和 Gary J.Sullivan, "Spatial ScalabilityWithin the H. 264/AVC Scalable Video Coding Extension，'，IEEE Transactions on Circuits and Systems for Video Technology, Vol. 17, No. 9, Pages 1121-1135, 2007. 09)。
[0005] 圖1為根據(jù)H.264/AVC可伸縮視頻編碼的空間可伸縮設(shè)計的示意圖?；緦泳?碼器110接收較低分辨率視頻序列作為輸入，并使用現(xiàn)有的H. 264/AVC視頻編碼來編碼該 低分辨率序列。編碼模式選擇112在巾貞內(nèi)預(yù)測（Intra-prediction)和運動補償巾貞間預(yù)測 (motion-compensated Inter-prediction)之間選擇預(yù)測模式。增強層編碼器120接收較 1?分辨率序列作為輸入。該較1?分辨率序列可用與現(xiàn)有的H. 264/AVC編碼相似的結(jié)構(gòu)來編 碼。然而，層間預(yù)測130可用作附加的編碼模式。此外，增強層的模式選擇122可以在幀內(nèi) 預(yù)測、運動補償幀間預(yù)測和層間預(yù)測之間選擇預(yù)測模式。對于在基本層內(nèi)的幀內(nèi)編碼區(qū)塊， 重建的區(qū)塊提供對于增強層的預(yù)測。對于在基本層內(nèi)的幀間編碼區(qū)塊，基本層的運動向量 和殘差信息（residual difference information)可用于預(yù)測增強層。雖然如圖1所示的 兩個分辨率層作為根據(jù)H. 264/AVC可伸縮視頻編碼的空間可伸縮的示例，但是可以添加更 多的分辨率層，其中較高分辨率的增強層可使用基本層或先前傳輸?shù)脑鰪妼右杂糜趯娱g預(yù) 測。此外，可伸縮視頻編碼增強的其他形式（例如，時間或品質(zhì)）也可以出現(xiàn)于系統(tǒng)中。
[0006] 在H. 264/AVC可伸縮視頻編碼中，與較低層相關(guān)的重建區(qū)塊、運動向量、或殘差信 息用于層間編碼。必要時可以利用與較低層相關(guān)的其他編碼信息，來進一步改善編碼效率 及/或降低系統(tǒng)復(fù)雜性。
[0007] 高效率視頻編碼（High Efficiency Video Coding,以下簡稱HEVC)是先進的視頻 編碼系統(tǒng)，其是在來自國際電信聯(lián)盟遠程通信標準化組織（ITU-T)研究組的視頻編碼專家 組成的視頻編碼聯(lián)合工作組（JCT-VC)開發(fā)的。在HEVC測試模型版本6. 0(HM-6. 0)中，幀內(nèi) 編碼預(yù)測單元可以為64164、32132、16116、818、或414。如圖2八所示，總共有35個預(yù)測模 式（即，模式〇?模式34)用于所有的預(yù)測單元尺寸。此外，當(dāng)允許基于亮度幀內(nèi)預(yù)測的色 度中貞內(nèi)預(yù)測時（即，當(dāng)chroma_pred_from_luma_enabled_flag = 1時），僅將模式35(即， Intra_FromLuma)用于色度組分（chroma component)。本發(fā)明的公開內(nèi)容中，巾貞內(nèi)預(yù)測模 式也被稱為巾貞內(nèi)模式（Intra mode)。
[0008] 如圖2B所示，對于在HM-6. 0中的編碼亮度組分的幀內(nèi)預(yù)測模式編碼，基于相鄰預(yù) 測單元（預(yù)測單元220和預(yù)測單元230)的幀內(nèi)模式得到對于當(dāng)前亮度預(yù)測單元210的三 種最可能模式（most probable mode,簡稱為ΜΡΜ，標記為candModeList[x]，其中χ = 0? 2)。左側(cè)預(yù)測單元220的巾貞內(nèi)模式（標記為candlntraPredModeA)和上方預(yù)測單元230的 中貞內(nèi)模式（標記為candlntraPredModeB)用于得到最可能模式candModeList[x]，如下所 示：
[0009]

【權(quán)利要求】
1. 一種可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼方法，其特征在于，視頻數(shù)據(jù)被配置于基 本層和增強層，其中該增強層具有比該基礎(chǔ)層更高的空間分辨率或更好的視頻品質(zhì)，在編 碼當(dāng)前區(qū)塊之前，編碼在該基本層中、對應(yīng)于在該增強層中的該當(dāng)前區(qū)塊的同一位置的區(qū) 塊，以及該當(dāng)前區(qū)塊是幀內(nèi)編碼的，該可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼方法包括： 自媒體或處理器接收與在該增強層中的該當(dāng)前區(qū)塊的當(dāng)前幀內(nèi)模式相關(guān)的信息； 確定與在該基本層中的該同一位置的區(qū)塊相關(guān)的基本層編碼模式； 確定與在該增強層中該當(dāng)前區(qū)塊的一個或多個相鄰區(qū)塊相關(guān)的一個或多個相鄰編碼 模式；以及 基于與在該基本層中的該同一位置的區(qū)塊相關(guān)的該基本層編碼模式和與在該增強層 中該當(dāng)前區(qū)塊的一個或多個相鄰區(qū)塊相關(guān)的該一個或多個相鄰編碼模式，應(yīng)用預(yù)測編碼至 該當(dāng)前幀內(nèi)模式。
2. 根據(jù)權(quán)利要求1所述的可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼方法，其特征在于，在 該增強層中該當(dāng)前區(qū)塊的該一個或多個相鄰區(qū)塊包括靠近該當(dāng)前區(qū)塊的左側(cè)的左區(qū)塊和 靠近該當(dāng)前區(qū)塊的上方的頂區(qū)塊，該左區(qū)塊與左區(qū)塊編碼模式相關(guān)，以及該頂區(qū)塊與頂區(qū) 塊編碼模式相關(guān)。
3. 根據(jù)權(quán)利要求2所述的可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼方法，其特征在于，基 于該基本層編碼模式、該左區(qū)塊編碼模式和該頂區(qū)塊編碼模式得到一個或多個最可能模 式。
4. 根據(jù)權(quán)利要求3所述的可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼方法，其特征在于，該 一個或多個最可能模式為三個最可能模式。
5. 根據(jù)權(quán)利要求4所述的可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼方法，其特征在于，若 該基本層編碼模式、該左區(qū)塊編碼模式、以及該頂區(qū)塊編碼模式均不是幀內(nèi)模式，則該三個 最可能模式對應(yīng)于{平面模式、直流模式、垂直模式}。
6. 根據(jù)權(quán)利要求4所述的可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼方法，其特征在于，若 該基本層編碼模式、該左區(qū)塊編碼模式、以及該頂區(qū)塊編碼模式對應(yīng)于相同幀內(nèi)模式以及 該相同幀內(nèi)模式為該平面模式或該直流模式，則該三個最可能模式對應(yīng)于{:平面模式、直 流模式、垂直模式}。
7. 根據(jù)權(quán)利要求4所述的可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼方法，其特征在于，若 該基本層編碼模式、該左區(qū)塊編碼模式、以及該頂區(qū)塊編碼模式中的一個或多個對應(yīng)于相 同幀內(nèi)模式以及該相同幀內(nèi)模式既不是平面模式也不是直流模式，則該三個最可能模式對 應(yīng)于{該相同幀內(nèi)模式、該相同幀內(nèi)模式-1、該相同幀內(nèi)模式+1}。
8. 根據(jù)權(quán)利要求4所述的可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼方法，其特征在于，若 該基本層編碼模式、該左區(qū)塊編碼模式、以及該頂區(qū)塊編碼模式中的兩個或多于兩個是多 個中貞內(nèi)模式，其中該多個巾貞內(nèi)模式包含第一巾貞內(nèi)模式和第二巾貞內(nèi)模式，以及該第一巾貞內(nèi)模 式不同于該第二幀內(nèi)模式；若該第一幀內(nèi)模式和該第二幀內(nèi)模式均不等于平面模式，則該 三個最可能模式對應(yīng)于{該第一巾貞內(nèi)模式、該第二巾貞內(nèi)模式、平面模式};若該第一巾貞內(nèi)模 式和該第二巾貞內(nèi)模式均不等于直流模式，則該三個最可能模式對應(yīng)于{該第一巾貞內(nèi)模式、 該第二幀內(nèi)模式、直流模式};以及若該第一幀內(nèi)模式或該第二幀內(nèi)模式等于該平面模式 或直流模式，則該三個最可能模式對應(yīng)于{該第一巾貞內(nèi)模式、該第二巾貞內(nèi)模式、垂直模式}。
9. 根據(jù)權(quán)利要求4所述的可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼方法，其特征在于，若 該基本層編碼模式、該左區(qū)塊編碼模式、以及該頂區(qū)塊編碼模式對應(yīng)于三個不同的幀內(nèi)模 式，則該三個最可能模式對應(yīng)于{該基本層編碼模式、該左區(qū)塊編碼模式、該頂區(qū)塊編碼模 式}。
10. 根據(jù)權(quán)利要求4所述的可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼方法，其特征在于，若 該基本層編碼模式、該左區(qū)塊編碼模式、或該頂區(qū)塊編碼模式為平面模式，則該平面模式排 除于該三個最可能模式之外；以及若該基本層編碼模式、該左區(qū)塊編碼模式、或該頂區(qū)塊編 碼模式為直流模式，則該直流模式排除于該三個最可能模式的初始分配之外。
11. 根據(jù)權(quán)利要求10所述的可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼方法，其特征在于， 若該基本層編碼模式、該左區(qū)塊編碼模式、以及該頂區(qū)塊編碼模式中的任意一個均不是不 等于平面模式或直流模式的幀內(nèi)模式，則該三個最可能模式對應(yīng)于{該直流模式、垂直模 式、水平模式}。
12. 根據(jù)權(quán)利要求10所述的可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼方法，其特征在于， 若該基本層編碼模式、該左區(qū)塊編碼模式、以及該頂區(qū)塊編碼模式對應(yīng)于相同的角度幀內(nèi) 模式，則該三個最可能模式對應(yīng)于{該相同的角度巾貞內(nèi)模式、該相同的角度巾貞內(nèi)模式-1、該 相同的角度幀內(nèi)模式+1}。
13. 根據(jù)權(quán)利要求10所述的可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼方法，其特征在于， 若該基本層編碼模式、該左區(qū)塊編碼模式、以及該頂區(qū)塊編碼模式對應(yīng)于第一角度幀內(nèi)模 式以及第二角度幀內(nèi)模式，以及該第一角度幀內(nèi)模式不同于該第二角度幀內(nèi)模式；則該三 個最可能模式對應(yīng)于{該第一角度巾貞內(nèi)模式、該第二角度巾貞內(nèi)模式、該直流模式}。
14. 根據(jù)權(quán)利要求10所述的可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼方法，其特征在于， 若該基本層編碼模式、該左區(qū)塊編碼模式、以及該頂區(qū)塊編碼模式對應(yīng)于三個不同的角度 幀內(nèi)模式，則該三個最可能模式對應(yīng)于{該基本層編碼模式、該左區(qū)塊編碼模式、該頂區(qū)塊 編碼模式}。
15. 根據(jù)權(quán)利要求3所述的可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼方法，其特征在于，該 一個或多個最可能模式為一個最可能模式。
16. 根據(jù)權(quán)利要求15所述的可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼方法，其特征在于， 若該基本層編碼模式對應(yīng)于不等于平面模式或直流模式的第一巾貞內(nèi)模式，則該一個最可能 模式對應(yīng)于該基本層編碼模式；若該基本層編碼模式不是任意幀內(nèi)模式以及該左區(qū)塊編碼 模式對應(yīng)于不等于該平面模式或該直流模式的第二巾貞內(nèi)模式，則該一個最可能模式對應(yīng)于 該左區(qū)塊編碼模式；以及若該基本層編碼模式和該左區(qū)塊編碼模式不是任意幀內(nèi)模式以及 該頂區(qū)塊編碼模式對應(yīng)于不等于該平面模式或該直流模式的第三幀內(nèi)模式，則該一個最可 能模式對應(yīng)于該頂區(qū)塊編碼模式。
17. 根據(jù)權(quán)利要求15所述的可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼方法，其特征在于， 33個角度幀內(nèi)預(yù)測模式用于該增強層，以及32個剩余模式用5個二進制固定長度編碼來表 /_J、1 〇
18. 根據(jù)權(quán)利要求1所述的可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼方法，其特征在于，自 與在該增強層中該當(dāng)前區(qū)塊的一個或多個相鄰區(qū)塊相關(guān)的該一個或多個相鄰編碼模式和 與在該基本層中該同一位置的區(qū)塊相關(guān)的該基本層編碼模式得到一個或多個最可能模式， 以及該一個或多個最可能模式用于該當(dāng)前幀內(nèi)模式的預(yù)測編碼。
19. 根據(jù)權(quán)利要求1所述的可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼方法，其特征在于，若 與在該增強層中的該當(dāng)前區(qū)塊的一個相鄰區(qū)塊相關(guān)的一個相鄰編碼模式不是幀內(nèi)模式，則 在該當(dāng)前幀內(nèi)模式的預(yù)測編碼期間通過相鄰基本層編碼模式代替該相鄰編碼模式，其中該 相鄰基本層編碼模式與在該基本層中的相鄰?fù)晃恢玫膮^(qū)塊相關(guān)，該相鄰?fù)晃恢玫膮^(qū)塊 對應(yīng)于在該增強層中該當(dāng)前區(qū)塊的該相鄰區(qū)塊。
20. -種可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼裝置，其特征在于，視頻數(shù)據(jù)被配置于基 本層和增強層，其中該增強層具有比該基礎(chǔ)層更高的空間分辨率或更好的視頻品質(zhì)，在當(dāng) 前區(qū)塊之前，編碼在該基本層中對應(yīng)于在該增強層中的該當(dāng)前區(qū)塊的同一位置的區(qū)塊以及 該當(dāng)前區(qū)塊是幀內(nèi)編碼的，該可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼裝置包括： 確定在該增強層中的該當(dāng)前區(qū)塊的當(dāng)前幀內(nèi)模式的裝置； 確定與在該基本層同一位置的區(qū)塊相關(guān)的基本層編碼模式的裝置； 確定與在該增強層中該當(dāng)前區(qū)塊的一個或多個相鄰區(qū)塊相關(guān)的一個或多個相鄰編碼 模式的裝置；以及 基于與在該基本層中與該同一位置的區(qū)塊相關(guān)的該基本層編碼模式和與在該增強層 中該當(dāng)前區(qū)塊的一個或多個相鄰區(qū)塊相關(guān)該一個或多個相鄰編碼模式，應(yīng)用預(yù)測模式至當(dāng) 前幀內(nèi)模式的裝置。
21. 根據(jù)權(quán)利要求20所述的可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼裝置，其特征在于， 該基本層編碼模式是用于兩個或多個最可能模式的第一最可能模式。
22. 根據(jù)權(quán)利要求21所述的可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼裝置，其特征在于， 在該增強層中的該當(dāng)前區(qū)塊的該一個或多個相鄰區(qū)塊包括靠近該當(dāng)前區(qū)塊左側(cè)的左區(qū)塊 以及靠近該當(dāng)前區(qū)塊的上方的頂區(qū)塊，該左區(qū)塊與左區(qū)塊編碼模式相關(guān)，以及該頂區(qū)塊與 頂區(qū)塊編碼模式相關(guān)，以及自該基本層編碼模式、該左區(qū)塊編碼模式、以及該頂區(qū)塊編碼模 式得到一個或多個最可能模式。
23. 根據(jù)權(quán)利要求20所述的可伸縮視頻編碼系統(tǒng)的幀內(nèi)模式編碼裝置，其特征在于， 自與在增強層中的該當(dāng)前區(qū)塊的一個或多個相鄰區(qū)塊相關(guān)的該一個或多個相鄰編碼模式 和與在基本層中的該同一位置的區(qū)塊相關(guān)的該基本層編碼模式得到一個或多個最可能模 式，以及該一個或多個最可能模式用于該當(dāng)前幀內(nèi)模式的預(yù)測編碼。
【文檔編號】H04N19/96GK104247423SQ201380010197
【公開日】2014年12月24日 申請日期:2013年3月11日 優(yōu)先權(quán)日:2012年3月21日
【發(fā)明者】劉杉, 國玫, 莊子德, 雷少民 申請人:聯(lián)發(fā)科技（新加坡）私人有限公司