幀內(nèi)隨機(jī)接入點(diǎn)圖片的改進(jìn)的跨層對齊的制作方法
【專利說明】
[0001] 本申請案主張2013年7月15日提交的第61/846, 583號美國臨時申請案的權(quán)益， 所述臨時申請案的全部內(nèi)容以引用的方式并入本文中。
技術(shù)領(lǐng)域
[0002] 本發(fā)明涉及視頻處理。
【背景技術(shù)】
[0003] 數(shù)字視頻能力可并入到廣泛范圍的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣 播系統(tǒng)、個人數(shù)字助理（PDA)、膝上型或桌上型計(jì)算機(jī)、平板計(jì)算機(jī)、電子書閱讀器、數(shù)碼相 機(jī)、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電 電話、所謂的"智能電話"、視頻電話會議裝置、視頻流裝置及類似者。數(shù)字視頻裝置實(shí)施視 頻壓縮技術(shù)，例如，在由 MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H. 264/MPEG-4 第 10 部分高 級視頻譯碼（AVC)定義的標(biāo)準(zhǔn)、目前正在開發(fā)的高效率視頻譯碼（HEVC)標(biāo)準(zhǔn)及此類標(biāo)準(zhǔn)的 擴(kuò)展中所描述的視頻壓縮技術(shù)。視頻裝置通過實(shí)施此類視頻壓縮技術(shù)可以更有效地發(fā)射、 接收、編碼、解碼和/或存儲數(shù)字視頻信息。
[0004] 視頻壓縮技術(shù)執(zhí)行空間（圖片內(nèi)）預(yù)測和/或時間（圖片間）預(yù)測來減少或去除 視頻序列中固有的冗余。對于基于塊的視頻譯碼來說，視頻切片（即，視頻幀或視頻幀的一 部分）可分割成視頻塊，所述視頻塊也可被稱作樹塊、譯碼單元（CU)和/或譯碼節(jié)點(diǎn)。圖 片的經(jīng)幀內(nèi)譯碼（I)切片中的視頻塊是使用相對于同一圖片中的相鄰塊中的參考樣本的 空間預(yù)測來編碼。圖片的經(jīng)幀間譯碼（P或B)切片中的視頻塊可使用相對于同一圖片中的 相鄰塊中的參考樣本的空間預(yù)測或相對于其它參考圖片中的參考樣本的時間預(yù)測。圖片可 以被稱為幀，且參考圖片可以被稱為參考幀。
[0005] 空間或時間預(yù)測產(chǎn)生用于待譯碼塊的預(yù)測塊。殘余數(shù)據(jù)表示待譯碼原始塊與預(yù)測 塊之間的像素差。經(jīng)幀間譯碼塊根據(jù)指向形成預(yù)測塊的參考樣本塊的運(yùn)動向量和指示經(jīng)譯 碼塊與預(yù)測塊之間的差的殘余數(shù)據(jù)編碼。經(jīng)幀內(nèi)譯碼塊根據(jù)幀內(nèi)譯碼模式和殘余數(shù)據(jù)編 碼。為了進(jìn)一步壓縮，可將殘余數(shù)據(jù)從像素域變換到變換域，從而產(chǎn)生殘余變換系數(shù)，接著 可以將所述殘余變換系數(shù)量化。可以掃描初始地用二維陣列布置的經(jīng)量化變換系數(shù)，以便 產(chǎn)生變換系數(shù)的一維向量，并且可以應(yīng)用熵譯碼以實(shí)現(xiàn)更多的壓縮。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明描述在針對多層視頻譯碼中的幀內(nèi)隨機(jī)接入點(diǎn)（IRAP)圖片的跨層對齊的 要求上的各種可能改進(jìn)。本發(fā)明的技術(shù)可以通過各種類型的視頻處理裝置實(shí)施，例如視頻 編碼器、視頻解碼器、媒體感知網(wǎng)絡(luò)元件（MANE)、轉(zhuǎn)碼裝置以及其它類型的視頻處理裝置。
[0007] 根據(jù)一個實(shí)例，一種處理視頻數(shù)據(jù)的方法包含：接收包括接入單元的第一圖片的 第一網(wǎng)絡(luò)抽象層（NAL)單元；響應(yīng)于確定所述第一 NAL單元包括幀內(nèi)隨機(jī)接入點(diǎn)（IRAP)圖 片且響應(yīng)于所述第一 NAL單元的NAL單元類型指示沒有任何相關(guān)聯(lián)的前導(dǎo)圖片的瞬時解碼 刷新（IDR)圖片的存在，將第二NAL單元的NAL單元類型確定為指示沒有任何相關(guān)聯(lián)的前 導(dǎo)圖片的IDR圖片的存在的NAL單元類型，其中所述接入單元的所述第二NAL單元包括另 一 IRAP圖片；以及，基于所述第二NAL單元的NAL單元類型處理所述第一 NAL單元和所述 第二NAL單元。
[0008] 根據(jù)另一實(shí)例，一種處理視頻數(shù)據(jù)的方法包含：處理包括接入單元的第一圖片的 第一網(wǎng)絡(luò)抽象層（NAL)單元；響應(yīng)于確定所述第一 NAL單元包括幀內(nèi)隨機(jī)接入點(diǎn)（IRAP)圖 片且響應(yīng)于所述第一 NAL單元的NAL單元類型指示沒有任何相關(guān)聯(lián)的前導(dǎo)圖片的瞬時解碼 刷新（IDR)圖片的存在，對于所述接入單元的包括另一 IRAP圖片的第二NAL單元，將所述 第二NAL單元的NAL單元類型設(shè)定為指示沒有任何相關(guān)聯(lián)的前導(dǎo)圖片的IDR圖片的存在的 NAL單元類型；以及，基于所述第一 NAL單元的NAL單元類型和所述第二NAL單元的NAL單 元類型處理所述第一 NAL單元和所述第二NAL單元。
[0009] 根據(jù)另一實(shí)例，一種視頻處理裝置包含存儲視頻數(shù)據(jù)的存儲器和一或多個處理 器，所述處理器經(jīng)配置以：接收包括接入單元的第一圖片的第一網(wǎng)絡(luò)抽象層（NAL)單元；響 應(yīng)于確定所述第一 NAL單元包括幀內(nèi)隨機(jī)接入點(diǎn)（IRAP)圖片且響應(yīng)于所述第一 NAL單元 的NAL單元類型指示沒有任何相關(guān)聯(lián)的前導(dǎo)圖片的瞬時解碼刷新（IDR)圖片的存在，將第 二NAL單元的NAL單元類型確定為指示沒有任何相關(guān)聯(lián)的前導(dǎo)圖片的IDR圖片的存在的 NAL單元類型，其中所述接入單元的所述第二NAL單元包括另一 IRAP圖片；以及，基于所述 第二NAL單元的NAL單元類型處理所述第一 NAL單元和所述第二NAL單元。
[0010] 根據(jù)另一實(shí)例，一種視頻處理裝置包含存儲視頻數(shù)據(jù)的存儲器；以及一或多個處 理器，其經(jīng)配置以：處理包括接入單元的第一圖片的第一網(wǎng)絡(luò)抽象層（NAL)單元；響應(yīng)于確 定所述第一NAL單元包括幀內(nèi)隨機(jī)接入點(diǎn)（IRAP)圖片且響應(yīng)于所述第一NAL單元的NAL單 元類型指示沒有任何相關(guān)聯(lián)的前導(dǎo)圖片的瞬時解碼刷新（IDR)圖片的存在，對于所述接入 單元的包括另一 IRAP圖片的第二NAL單元，將所述第二NAL單元的NAL單元類型設(shè)定為指 示沒有任何相關(guān)聯(lián)的前導(dǎo)圖片的IDR圖片的存在的NAL單元類型；以及基于所述第一 NAL 單元的NAL單元類型和所述第二NAL單元的NAL單元類型處理所述第一 NAL單元和所述第 二NAL單元。
[0011] 根據(jù)另一實(shí)例，一種計(jì)算機(jī)可讀存儲媒體存儲指令，所述指令在由一或多個處 理器執(zhí)行時使得所述一或多個處理器：接收包括接入單元的第一圖片的第一網(wǎng)絡(luò)抽象層 (NAL)單元；響應(yīng)于確定所述第一 NAL單元包括幀內(nèi)隨機(jī)接入點(diǎn)（IRAP)圖片且響應(yīng)于所述 第一 NAL單元的NAL單元類型指示沒有任何相關(guān)聯(lián)的前導(dǎo)圖片的瞬時解碼刷新（IDR)圖片 的存在，對于所述接入單元的包括另一 IRAP圖片的第二NAL單元，將所述第二NAL單元的 NAL單元類型確定為指示沒有任何相關(guān)聯(lián)的前導(dǎo)圖片的IDR圖片的存在的NAL單元類型； 以及，基于所述第二NAL單元的NAL單元類型處理所述第一 NAL單元和所述第二NAL單元。
[0012] 根據(jù)另一實(shí)例，一種用于處理視頻數(shù)據(jù)的設(shè)備包含：用于接收包括接入單元的第 一圖片的第一網(wǎng)絡(luò)抽象層（NAL)單元的裝置；用于響應(yīng)于確定所述第一 NAL單元包括幀內(nèi) 隨機(jī)接入點(diǎn)（IRAP)圖片且響應(yīng)于所述第一 NAL單元的NAL單元類型指示沒有任何相關(guān)聯(lián) 的前導(dǎo)圖片的瞬時解碼刷新（IDR)圖片的存在，將第二NAL單元的NAL單元類型確定為指 示沒有任何相關(guān)聯(lián)的前導(dǎo)圖片的IDR圖片的存在的NAL單元類型的裝置，其中所述接入單 元的第二NAL單元包括另一 IRAP圖片；以及，用于基于所述第二NAL單元的NAL單元類型 處理所述第一 NAL單元和所述第二NAL單元的裝置。
[0013] -或多個實(shí)例的細(xì)節(jié)在附圖和以下描述中闡述。其它特征、目標(biāo)及優(yōu)點(diǎn)將從所述 描述和圖式以及從權(quán)利要求書而顯而易見。
【附圖說明】
[0014] 圖1是圖示可以利用本發(fā)明中描述的技術(shù)的實(shí)例視頻編碼和解碼系統(tǒng)的實(shí)例的 框圖。
[0015] 圖2是圖示可以實(shí)施本發(fā)明中描述的技術(shù)的實(shí)例視頻編碼器的框圖。
[0016] 圖3是圖示可以實(shí)施本發(fā)明中描述的技術(shù)的實(shí)例視頻解碼器的框圖。
[0017] 圖4是圖示形成網(wǎng)絡(luò)的部分的一組實(shí)例裝置的框圖。
[0018] 圖5是示出根據(jù)本發(fā)明的技術(shù)處理視頻數(shù)據(jù)的方法的實(shí)例的流程圖。
[0019] 圖6是示出根據(jù)本發(fā)明的技術(shù)處理視頻數(shù)據(jù)的方法的實(shí)例的流程圖。
【具體實(shí)施方式】
[0020] 本發(fā)明描述在針對多層視頻譯碼中的幀內(nèi)隨機(jī)接入點(diǎn)（IRAP)圖片的跨層對齊的 要求上的各種改進(jìn)。多層視頻譯碼包含例如，多視點(diǎn)視頻譯碼、可分級視頻譯碼以及三維 (3D)視頻譯碼。如下文將更詳細(xì)地解釋，本發(fā)明的技術(shù)可以改進(jìn)觀看者在從一個位流移動 到另一位流（例如，切換頻道）或從位流中的一個點(diǎn)跳躍到所述位流中的另一點(diǎn)時的觀看 體驗(yàn)。
[0021] 本發(fā)明將提到處理視頻數(shù)據(jù)。處理視頻數(shù)據(jù)可以指對視頻數(shù)據(jù)編碼和解碼，但處 理還可以指對視頻數(shù)據(jù)執(zhí)行的未必包含整個編碼或解碼過程的其它操作。在一些實(shí)例中， 處理可以包括解析視頻數(shù)據(jù)以從位流形成子位流，或可以包含出于將視頻數(shù)據(jù)路由到目的 地裝置的目的而解析視頻數(shù)據(jù)。所述處理可以通過視頻編碼器、視頻解碼器、轉(zhuǎn)碼裝置、媒 體感知網(wǎng)絡(luò)元件（MANE)或用于視頻處理的另一裝置來執(zhí)行。
[0022] 用于跨層IRAP圖片對齊的現(xiàn)有方法具有若干可能的缺點(diǎn)。作為一個實(shí)例，現(xiàn)有 方法通常在其中有可能具有包含隨機(jī)接入跳過前導(dǎo)（RASL)圖片和隨機(jī)接入可解碼前導(dǎo) (RADL)圖片兩者的一個接入單元的情況中不能起到較好的作用。然而，存在其中一些斷鏈 接入（BLA)圖片（一些具有相關(guān)聯(lián)的RASL圖片且一些不具有相關(guān)聯(lián)的RASL圖片而具有相 關(guān)聯(lián)的RADL圖片）的混合可為所希望的情況。
[0023] 作為另一個實(shí)例，可能不希望的允許接入單元包含前導(dǎo)圖片和非前導(dǎo)圖片兩者。 因此，應(yīng)不允許兩種不同類型的瞬時解碼刷新（IDR)圖片的混合。作為另一個實(shí)例，在一些 情況下，實(shí)現(xiàn)清潔隨機(jī)接入（CRA)圖片和BLA圖片的混合可能是有益的。
[0024] 在一或多個實(shí)例中，本發(fā)明使用在HEVC WD10中定義的許多術(shù)語和術(shù)語集。根據(jù) HEVC WD10,網(wǎng)絡(luò)抽象層（NAL)單元被如下定義：
[0025] 網(wǎng)絡(luò)抽象層（NAL)單元：包含所遵循的數(shù)據(jù)類型的指示的語法結(jié)構(gòu)和包含呈視需 要穿插有競爭防止字節(jié)的RBSP[原始字節(jié)序列有效負(fù)載]的形式的所述數(shù)據(jù)的字節(jié)。
[0026] 根據(jù)HEVC WD10,接入單元被如下定義：
[0027] 接入單元：NAL單元的集合，其根據(jù)指定分類規(guī)則而彼此相關(guān)聯(lián)、按解碼次序是連 續(xù)的且包含正好一個經(jīng)譯碼圖片。
[0028] 注意1-除了包含經(jīng)譯碼圖片的VCL NAL單元之外，接入單元還可包含非VCL NAL 單元。接入單元的解碼始終得到經(jīng)解碼圖片。
[0029] 在多層視頻譯碼中，接入單元的定義可以擴(kuò)展到包含所有視頻圖片，以及可能地 3D視頻譯碼的深度圖，所述深度圖與相同的時間實(shí)例相對應(yīng)。
[0030] 根據(jù)HEVC WD10, IRAP圖片被如下定義：
[0031] 幀內(nèi)隨機(jī)接入點(diǎn)（IRAP)圖片：其中每個VCL NAL單元具有在16到23范圍內(nèi)（包 含首尾）的nal_unit_type的經(jīng)譯碼圖片。
[0032] 注意7-IRAP圖片僅包含I切片，且可為BLA圖片、CRA圖片或IDR圖片。按解碼次 序在位流中的第一圖片必定是IRAP圖片。假設(shè)必要參數(shù)集在其需要激活時可用，那么IRAP 圖片和按解碼次序所有隨后非RASL圖片可正確地解碼，而不執(zhí)行按解碼次序在IRAP圖片 前的任何圖片的解碼過程。在位流中可能存在僅包含不是IRAP圖片的I切片的圖片。
[0033] 根據(jù)HEVC WD 10, RASL圖片被如下定義：
[0034] 隨機(jī)接入跳過前導(dǎo)（RASL)圖片：其中每個VCL NAL單元具有等于RASL_RSRASL_ N的nal_unit_type的經(jīng)譯碼圖片。
[0035] 注意15_所有RASL圖片都是相關(guān)聯(lián)的BLA或CRA圖片的如導(dǎo)圖片。當(dāng)相關(guān)聯(lián)的 IRAP圖片具有等于1的NoRaslOutputFlag時，RASL圖片不被輸出且可能不可正確地解碼， 因?yàn)镽ASL圖片可能包含對不存在于所述位流中的圖片的參考。RASL圖片不被用作非RASL 圖片的解碼過程的參考圖片。當(dāng)存在時，所有RASL圖片都按解碼次序先于相同相關(guān)聯(lián)的 IRAP圖片的所有尾隨圖片。
[0036] 根據(jù)HEVC WD 10, RADL圖片被如下定義：
[0037] 隨機(jī)接入可解碼前導(dǎo)（RADL)圖片：其中每個VCL NAL單元具有等于RADL_RS RADL_N的nal_unit_type的經(jīng)譯碼圖片。
[0038] 注意14-所有RADL圖片都是前導(dǎo)圖片。RADL圖片不被用作相同相關(guān)聯(lián)IRAP圖片 的尾隨圖片的解碼過程的參考圖片。當(dāng)存在時，所有RADL圖片都按解碼次序先于相同相關(guān) 聯(lián)的IRAP圖片的所有尾隨圖片。
[0039] 根據(jù)HEVC WD10, IDR圖片被如下定義：
[0040] 瞬時解碼刷新（IDR)圖片：其中每個VCL NAL單元具有等于IDR_W_RADL或IDR_ N_LP 的 nal_unit_type 的 IRAP 圖片。
[0041] 注意6-IDR圖片僅包含I切片，且按解碼次序可以是所述位流中的第一圖片，或可 以稍后出現(xiàn)在所述位流中。每個IDR圖片按解碼次序是CVS的第一圖片。當(dāng)IDR圖片的每 個VCL NAL單元具有等于IDR_W_RADL的nal_unit_type時，所述IDR圖片可以具有相關(guān)聯(lián) 的RADL圖片。當(dāng)IDR圖片的每個VCL NAL單元具有等于IDR_N_LP的nal_unit_type時， 所述IDR圖片不具有任何相關(guān)聯(lián)的前導(dǎo)圖片。IDR圖片不具有相關(guān)聯(lián)的RASL圖片。
[0042] 根據(jù)HEVC WD10, CRA圖片被如下定義：
[0043] 清潔隨機(jī)接入（CRA)圖片：其中每個VCL NAL單元具有等于CRA_NUT的nal_unit_ type的IRAP圖片。
[0044] 注意4-CRA圖片僅包含I切片，且按解碼次序可以是所述位流中的第一圖片，或可 以稍后出現(xiàn)在所述位流中。CRA圖片可以具有相關(guān)聯(lián)的RADL或RASL圖片。當(dāng)CRA圖片具 有等于1的NoRaslOutputFlag時，解碼器不輸出相關(guān)聯(lián)的RASL圖片，因?yàn)樗鯮ASL圖片 可能不可解碼，因?yàn)樗鯮ASL圖片可能包含對不存在于所述位流中的圖片的參考。
[0045] 根據(jù)HEVC WD 10, BLA圖片被如下定義：
[0046] 斷鏈接入（BLA)圖片：其中每個VCL NAL單元具有等于BLA_W_LP、BLA_W_RADL或 BLA_N_LP 的 nal_unit_type 的 IRAP 圖片。
[0047] 注意2-BLA圖片僅包含I切片，且按解碼次序可以是所述位流中的第一圖片，或可 以稍后出現(xiàn)在所述位流中。每個BLA圖片開始新的CVS，且對解碼過程具有與IDR圖片相 同的作用。然而，BLA圖片包含指定非空參考圖片集的語法元素 。當(dāng)BLA圖片的每個VCL NAL單元具有等于BLA_W_LP的nal_unit_type時，所述BLA圖片可以具有相關(guān)聯(lián)的RASL圖 片，所述RASL圖片未由解碼器輸出且可能不可解碼，因?yàn)樗鯮ASL圖片可能包含對不存在 于所述位流中的圖片的參考。當(dāng)BLA圖片的每個VCL NAL單元具有等于BLA_W_LP的nal_ unit_type時，所述BLA圖片還可以具有相關(guān)聯(lián)的RADL圖片，所述RADL圖片被指定解碼。 當(dāng)BLA圖片的每個VCL NAL單元具有等于BLA_W_RADL的nal_unit_type時，所述BLA圖片 不具有相關(guān)聯(lián)的RASL圖片但可以具有相關(guān)聯(lián)的RADL圖片，所述RADL圖片被指定解碼。當(dāng) BLA圖片的每個VCL NAL單元具有等于BLA_N_LP的nal_unit_type時，所述BLA圖片不具 有任何相關(guān)聯(lián)的前導(dǎo)圖片。
[0048] 根據(jù)HEVC WD10,語法元素 nal_unit_type的值指定NAL單元中包含的原始字節(jié)序 列有效負(fù)載（RBSP)數(shù)據(jù)結(jié)構(gòu)的類型，如下方再現(xiàn)的表7-1中指定。
[0049] 表7-1-NAL單元類型代碼及NAL單元類型類別
[0050]

[0052] 注意3-CRA圖片可具有存在于位流中的相關(guān)聯(lián)的RASL或RADL圖片。
[0053] 注意4-具有等于BLA_W_LP的nal_unit_type的BLA圖片可具有存在于位流中的 相關(guān)聯(lián)的RASL或RADL圖片。具有等于BLA_W_RADL的nal_unit_type的BLA圖片不具有 存在于位流中的相關(guān)聯(lián)的RASL圖片，但可具有在位流中的相關(guān)聯(lián)的