層間參考圖像集的解碼和參考圖像列表構(gòu)建的制作方法
【技術(shù)領(lǐng)域】
[0001] 本公開總體涉及電子設(shè)備。更具體地，本公開涉及層間參考圖像集的解碼系統(tǒng)和 方法以及參考圖像列表構(gòu)建。
【背景技術(shù)】
[0002] 電子設(shè)備越來越小并且功能越來越強大，以滿足消費者的需求并提供便攜性和便 利性。消費者變得依賴于電子設(shè)備并且要求更多的功能。電子設(shè)備的一些示例包括：桌面 計算機、膝上型計算機、蜂窩式電話、智能電話、媒體播放器、集成電路等。
[0003] -些電子設(shè)備用于處理和顯示數(shù)字媒體。例如，如今便攜式電子設(shè)備允許幾乎在 消費者可以去的任何位置處消費數(shù)字媒體。此外，一些電子設(shè)備可以提供數(shù)字媒體內(nèi)容的 下載或流傳輸，以供消費者使用和娛樂。
[0004] 數(shù)字媒體的廣泛流行提出了諸多問題。例如，為存儲、發(fā)送和回放，高效地表示高 質(zhì)量數(shù)字媒體提出了諸多挑戰(zhàn)。根據(jù)本討論可以看出，更高效地表示數(shù)字媒體的系統(tǒng)和方 法可能是有益的。

【發(fā)明內(nèi)容】

[0005] 結(jié)合附圖，考慮以下本發(fā)明的具體描述，本發(fā)明的上述及其他目的、特征、優(yōu)點將 更容易理解。
[0006] 本發(fā)明的一個實施例公開了一種視頻編碼方法，包括：獲得層間預(yù)測子層的最大 數(shù)量的信令（signaling);開始針對層間參考圖像集（RPS)的解碼處理；獲得層間圖像的時 間標(biāo)識符的值；確定時間標(biāo)識符的值是否大于層間預(yù)測子層的最大數(shù)量減1 ;以及如果層 間圖像的時間標(biāo)識符的值不大于層間預(yù)測子層的最大數(shù)量減1，則將層間圖像添加到層間 參考圖像集（RPS)中。
[0007] 本發(fā)明的另一個實施例公開了一種被配置用于視頻編碼的電子設(shè)備，包括：處理 器；與處理器電通信的存儲器，存儲在所述存儲器中的指令能夠被執(zhí)行以：獲得層間預(yù)測 子層的最大數(shù)量的信令；開始針對層間參考圖像集（RPS)的解碼處理；獲得層間圖像的時 間標(biāo)識符的值；確定時間標(biāo)識符的值是否大于層間預(yù)測子層的最大數(shù)量減1 ;以及如果層 間圖像的時間標(biāo)識符的值不大于層間預(yù)測子層的最大數(shù)量減1，則將層間圖像添加到層間 參考圖像集（RPS)中。
【附圖說明】
[0008] 圖1是示出多個電子設(shè)備之間的視頻編碼的框圖。
[0009] 圖2是在本發(fā)明的系統(tǒng)和方法中使用的圖像標(biāo)記模塊的框圖。
[0010] 圖3是用于標(biāo)記子層非參考圖像的方法的流程圖。
[0011] 圖4是示出使用本發(fā)明的系統(tǒng)和方法的被標(biāo)記為"不用于參考"的附加圖像的框 圖。
[0012] 圖5是示出層間參考圖像集（RPS)更新模塊的框圖。
[0013] 圖6是用于更新層間參考圖像集（RPS) (RefPicSetInterLayer)的方法的流程圖。
[0014] 圖7是示出電子設(shè)備上的編碼器的一種配置的框圖。
[0015] 圖8是示出電子設(shè)備上的解碼器的一種配置的框圖。
[0016] 圖9示出了可以在發(fā)送電子設(shè)備中使用的各個組件。
[0017] 圖10是示出可以在接收電子設(shè)備中使用的各個組件的框圖。
【具體實施方式】
[0018] 公開了一種視頻編碼方法。獲得層間預(yù)測子層的最大數(shù)量的信令。開始針對層間 參考圖像集（RPS)的解碼處理。獲得層間圖像的時間標(biāo)識符的值。確定時間標(biāo)識符的值是 否大于層間預(yù)測子層的最大數(shù)量減1。如果層間圖像的時間標(biāo)識符的層間圖像的時間標(biāo)識 符的值不大于層間預(yù)測子層的最大數(shù)量減1，則將層間圖像添加到層間參考圖像集（RPS)。
[0019] 層間參考圖像集（RPS)可以用于參考圖像列表構(gòu)建。層間圖像可以包括與作為當(dāng) 前層的直接參考層的層相對應(yīng)的層標(biāo)識符的值。層間圖像可以包括與當(dāng)前圖像的圖像序號 相等的圖像序號。如果層間預(yù)測子層的最大數(shù)量的值為〇,并且層間圖像是非RAP(隨機接 入點）圖像，則可以不將層間圖像添加到層間參考圖像集（RPS)。如果層間預(yù)測子層的最大 數(shù)量的值為〇,并且層間圖像是RAP(隨機接入點）圖像，則可以將層間圖像添加到層間參考 圖像集（RPS)中。
[0020] 層間預(yù)測子層的最大數(shù)量可以具有索引[LayderIdInVps[RefLayerId[Lay erldlnVps [nuh_layer_id] ] [i]]]。替代地，層間預(yù)測子層的最大數(shù)量可以具有索引 [RefLayerId[LayerIdInVps[nuh_layer_id]] [i]]。層間預(yù)測子層的最大數(shù)量還可以具有 索引[layer_id_in_nuh[RefLayerId[LayerIdInVps[nuh_layer_id]] [i]]]。層間預(yù)測子層 的最大數(shù)量還可以具有索引[layer_id_in_nuh[i]]。
[0021] 層間預(yù)測子層的最大數(shù)量還可以具有索引[i]。層間參考圖像列表 RefPicSetInterLayer 可以具有索弓丨[NumInterLayerRPSPics [LayerIdInVps [nuh_layer_ id]]]。NumInterLayerRPSPics[LayerIdInVps[nuh_layer_id]]可以被推導(dǎo)為與 NumDirec tRefLayers[LayerIdInVps[nuh_layer_id]]不同。
[0022] 還公開了被配置用于視頻解碼的電子設(shè)備。所述電子設(shè)備包括處理器和與處理器 電通信的存儲器。存儲在存儲器中的指令可以被執(zhí)行，以獲得層間預(yù)測子層的最大數(shù)量的 信令。存儲在存儲器中的指令還可以被執(zhí)行，以開始針對層間參考圖像集（RPS)的解碼處 理。存儲在存儲器中的指令還可以被執(zhí)行，以獲得層間圖像的時間標(biāo)識符的值。存儲在存 儲器中的指令還可以被執(zhí)行，以確定時間標(biāo)識符的值是否大于層間預(yù)測子層的最大數(shù)量減 1。存儲在存儲器中的指令還可以被執(zhí)行，如果層間圖像的時間標(biāo)識符的值不大于層間預(yù)測 子層的最大數(shù)量減1，則將層間圖像添加到層間參考圖像集（RPS)中。
[0023] 現(xiàn)在參考附圖描述各個配置，其中相似的附圖標(biāo)記可以指示功能相似的元件。在 本文附圖中一般性描述和示出的系統(tǒng)和方法可以布置和設(shè)計為各種廣泛的不同配置。因 此，以下對附圖示出的多個配置的詳細描述不意圖限制權(quán)利要求的范圍，僅作為系統(tǒng)和方 法的示意。
[0024] 圖1是不出多個電子設(shè)備l〇2a_b之間的視頻編碼的框圖。不出了第一電子設(shè)備 102a和第二電子設(shè)備102b。然而，應(yīng)當(dāng)注意的是，在一些配置中，結(jié)合第一電子設(shè)備102a 和第二電子設(shè)備l〇2b描述的一個或多個特征和功能可以組合到單個電子設(shè)備102中。每 個電子設(shè)備102可以被配置為對視頻進行編碼和/或解碼。在一種配置中，每個電子設(shè)備 可以符合高效視頻編碼（HEVC)標(biāo)準。HEVC是H. 264/MPEG-4AVC(高級視頻編碼）的后繼 視頻壓縮標(biāo)準，其提供更好的視頻質(zhì)量和更高的數(shù)據(jù)壓縮率。符合HEVC標(biāo)準的電子設(shè)備 102可以包括附加圖像標(biāo)記功能、層間參考圖像集（RPS) (RefPicSetInterLayer) 120更新 功能以及參考圖像列表構(gòu)建功能。本文中，圖像是單色格式的亮度（Iuma)樣本的陣列或者 4 : 2 : 0、4 : 2 : 2及4 : 4 : 4顏色格式的亮度樣本的陣列與兩個相應(yīng)色度樣本的陣 列。
[0025] 第一電子設(shè)備102a可以包括視頻編碼器182,視頻編碼器182包括增強層編碼器 106和基層編碼器109。下文將結(jié)合圖7詳細討論增強層編碼器106和基層編碼器109。第 一電子設(shè)備l〇2a中包括的每個元件（即增強層編碼器106和基層編碼器109)可以實現(xiàn)為 硬件、軟件或二者的組合。第一電子設(shè)備l〇2a可以獲得輸入圖像104。在一些配置中，輸 入圖像104可以使用圖像傳感器在第一電子設(shè)備102a上捕捉，或者從存儲器獲取，或者從 另一個電子設(shè)備102接收。在一種配置中，視頻編碼器182可以符合可縮放高效視頻標(biāo)準 (SHVC)或者多視圖高效視頻編碼標(biāo)準（MV-HEVC)。
[0026] 增強層編碼器106可以對輸入圖像104進行編碼，以產(chǎn)生編碼數(shù)據(jù)。例如，增強層 編碼器 106可以對輸入圖像104序列（如視頻）進行編碼。在一種配置中，增強層編碼器 106可以是高效視頻編碼（HEVC)編碼器。在另一種配置中，增強層編碼器106可以是可縮 放高效視頻標(biāo)準（SHVC)編碼器或多視圖高效視頻編碼標(biāo)準（MV-HEVC)編碼器。編碼數(shù)據(jù) 可以包括在編碼的增強層視頻比特流110中。增強層編碼器106可以基于輸入圖像104生 成開銷（overhead)信令。
[0027] 基層編碼器109也可以對輸入圖像104進行編碼。在一種配置中，基層編碼器109 可以使用與增強層編碼器106使用的相同輸入圖像104。在另一種配置中，基層編碼器109 可以使用與增強層編碼器106使用的輸入圖像104不同（但相似）的輸入圖像。例如，針 對信噪比（SNR)可縮放性（也稱為質(zhì)量可縮放性），增強層編碼器106和基層編碼器109可 以使用相同的輸入圖像104。作為另一個示例，針對空間可縮放性，基層編碼器109可以使 用下采用圖像。在又一個示例中，針對多視圖可縮放性，基層編碼器109可以使用不同的視 圖圖像?；鶎泳幋a器109可以產(chǎn)生包括在編碼的基層視頻比特流107中的編碼數(shù)據(jù)?；鶎?編碼器109也可以是可縮放高效視頻（SHVC)編碼器或者多視圖高效視頻編碼（MV-HEVC) 編碼器。
[0028] 編碼的增強層視頻比特流110和編碼的基層視頻比特流107每一個都可以包括基 于輸入圖像104的編碼數(shù)據(jù)。在一個示例中，編碼的增強層視頻比特流110和編碼的基層 視頻比特流107可以包括編碼圖像數(shù)據(jù)。在一些配置中，編碼的增強層視頻比特流110和 /或編碼的基層視頻比特流107還可以包括開銷數(shù)據(jù)，例如序列參數(shù)集（SPS)信息、圖像參 數(shù)集（PPS)信息、視頻參數(shù)集（VPS)信息、切片首部信息等。
[0029] 第一電子設(shè)備102a可以向第二電子設(shè)備102b提供層間預(yù)測子層的最大數(shù)量 (max_sublayer_for_ilp_plusl) 108。層間預(yù)測子層的最大數(shù)量（max_sublayer_for_ilp_ plusl) 108可以在VPS擴展語法結(jié)構(gòu)中信號通知（即，使用在JCTVC-L1008的F. 7. 4. 3. 1部 分定義的視頻參數(shù)集原始字節(jié)凈載荷（RBSP)語義）。
[0030] 可以在編碼的基層視頻比特流107或編碼的增強層視頻比特流110中信號通知層 間預(yù)測子層的最大數(shù)量（max_sublayer_for_ilp_plusl) 108。在一種配置中，可以在開銷 數(shù)據(jù)（例如序列參數(shù)集（SPS)信息、圖像參數(shù)集（PPS)信息、視頻參數(shù)集（VPS)信息、切片 首部信息等）中向電子設(shè)備l〇2b提供層間預(yù)測子層的最大數(shù)量（max_sublayer_for_ilp_ plusl) 108。在另一種配置中，可以在分離"元數(shù)據(jù)"比特流或文件中向第二電子設(shè)備102b 提供層間預(yù)測子層的最大數(shù)量（max_sublayer_for_ilp_plusl) 108。
[0031] 第二電子設(shè)備102b可以使用層間預(yù)測子層的最大數(shù)量（max_sublayer_for_ilp_ plusl) 108來確定是否將圖像標(biāo)記為"不用于參考"。第二電子設(shè)備102b還可以使用層間 預(yù)測子層的最大數(shù)量（max_sublayer_for_ilp_plusl) 108來將圖像添加到層間參考圖像 集（RPS) (RefPicSetInterLayer) 120。RefPicSetInterLayer 可以指代層間參考圖像列 表。第二電子設(shè)備l〇2b還可以使用層間預(yù)測子層的最大數(shù)量（max_sublayer_for_ilp_ plusl) 108 來構(gòu)建參考圖像列表（RefPicListORefPicListl)。
[0032] 可以向第二電子設(shè)備102b提供編碼的增強層視頻比特流110。類似地，可以向第 二電子設(shè)備l〇2b提供編碼的基層視頻比特流107。第二電子設(shè)備102b可以包括視頻解碼 器112和基層解碼器113。視頻解碼器112可以包括增強層解碼器115。在一種配置中，在 增強層解碼器115對編碼的增強層視頻比特流110進行解碼的同時，基層解碼器113對編 碼的基層視頻比特流107進行解碼。下文將結(jié)合圖8進一步詳細討論基層解碼器113和增 強層解碼器115。在一種配置中，視頻解碼器112可以符合可縮放高效視頻編碼（SHVC)標(biāo) 準。在另一種配置中，視頻解碼器112可以符合多視圖高效視頻編碼（MV-HEVC)標(biāo)準。基 層解碼器113和增強層解碼器115每一個都可以是高效視頻編碼（HEVC)解碼器?；鶎咏?碼器112和增強層解碼器115還可以是可縮放高效視頻編碼（SHVC)解碼器或者多視圖高 效視頻編碼（MV-HEVC)解碼器。
[0033] 在一個示例中，可以使用有線或無線鏈