用于視頻信息的可縮放譯碼的裝置和方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻譯碼及壓縮的領(lǐng)域，確切地說，涉及可縮放視頻譯碼（SVC)或多 視圖視頻譯碼（MVC，3DV)。
【背景技術(shù)】
[0002] 數(shù)字視頻能力可以并入到廣泛范圍的裝置中，包括數(shù)字電視、數(shù)字直播系統(tǒng)、無線 廣播系統(tǒng)、個人數(shù)字助理（PDA)、膝上型或桌上型計算機、數(shù)碼相機、數(shù)字記錄裝置、數(shù)字媒 體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電電話、視頻電話會議裝置 及其類似者。數(shù)字視頻裝置實施視頻壓縮技術(shù)，例如，由1?￡6-2、10^6-4、11'1]-1'11.263或 ITU-TH. 264/MPEG-4第10部分高級視頻譯碼（AVC)所定義的標(biāo)準(zhǔn)、目前正在開發(fā)的高效率 視頻譯碼01EVC)標(biāo)準(zhǔn)及這些標(biāo)準(zhǔn)的擴展中所描述的視頻壓縮技術(shù)。視頻裝置可通過實施 此類視頻譯碼技術(shù)而更有效率地發(fā)射、接收、編碼、解碼和/或存儲數(shù)字視頻信息。
[0003] 視頻壓縮技術(shù)執(zhí)行空間（圖片內(nèi)）預(yù)測和/或時間（圖片間）預(yù)測來減少或移除 視頻序列中固有的冗余。對于基于塊的視頻譯碼來說，視頻切片（例如，視頻幀、視頻幀的 一部分等）可分割成視頻塊，視頻塊也可被稱作樹塊、譯碼單元（CU)和/或譯碼節(jié)點。圖 片的經(jīng)幀內(nèi)譯碼（I)切片中的視頻塊是使用相對于同一圖片中的相鄰塊中的參考樣本的 空間預(yù)測來編碼。圖片的經(jīng)幀間譯碼（P或B)切片中的視頻塊可使用相對于同一圖片中的 相鄰塊中的參考樣本的空間預(yù)測或相對于其它參考圖片中的參考樣本的時間預(yù)測。圖片可 被稱作幀，且參考圖片可被稱作參考幀。
[0004] 空間或時間預(yù)測產(chǎn)生用于待譯碼塊的預(yù)測性塊。殘余數(shù)據(jù)表示待譯碼原始塊與預(yù) 測塊之間的像素差。經(jīng)幀間譯碼塊是根據(jù)指向形成預(yù)測性塊的參考樣本塊的運動向量及指 示經(jīng)譯碼塊與預(yù)測性塊之間的差的殘余數(shù)據(jù)編碼的。經(jīng)幀內(nèi)譯碼塊是根據(jù)幀內(nèi)譯碼模式及 殘余數(shù)據(jù)編碼的。為了進一步壓縮，可將殘余數(shù)據(jù)從像素域變換到變換域，從而產(chǎn)生殘余變 換系數(shù)，接著可以對殘余變換系數(shù)進行量化?？蓲呙枳畛醪贾贸啥S陣列的經(jīng)量化變換系 數(shù)，以便產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用熵編碼以實現(xiàn)更多壓縮。

【發(fā)明內(nèi)容】

[0005] 可縮放視頻譯碼（SVC)是指其中使用基礎(chǔ)層（BL)(有時被稱作參考層（RL))及一 或多個可縮放增強層（EL)的視頻譯碼。在SVC中，基礎(chǔ)層可攜載具有基礎(chǔ)質(zhì)量水平的視頻 數(shù)據(jù)。所述一或多個增強層可攜載額外的視頻數(shù)據(jù)以支持（舉例來說）較高的空間、時間 和/或信噪比（SNR)水平?？上鄬τ谙惹熬幋a的層來界定增強層。舉例來說，底層可充當(dāng) BL，而頂層可充當(dāng)EL。中間層可充當(dāng)EL或RL，或兩者。舉例來說，在中間的層可為在其下 方的層（例如，基礎(chǔ)層或任何介入增強層）的EL，且同時充當(dāng)在其上方的一或多個增強層的 RL。類似地，在HEVC標(biāo)準(zhǔn)的多視圖或3D擴展中，可存在多個視圖，且可利用一個視圖的信 息對另一視圖的信息（例如，運動估計、運動向量預(yù)測和/或其它冗余）進行譯碼（例如， 編碼或解碼）。
[0006] 在SVC中，可以使用基礎(chǔ)層中的對應(yīng)塊（例如，對應(yīng)于與當(dāng)前塊相同的圖片部分的 塊）的信息來預(yù)測增強層中的當(dāng)前塊。舉例來說，當(dāng)前塊的紋理信息（例如，像素或樣本 值）或語法信息（例如，例如運動向量的運動信息或例如幀內(nèi)模式的模式信息）可以基于 基礎(chǔ)層中的對應(yīng)塊。
[0007] 然而，舉例來說，當(dāng)經(jīng)譯碼幀大小大于裝置上可顯示的實際幀大小時，或者當(dāng)基礎(chǔ) 層是用另一視頻標(biāo)準(zhǔn)譯碼（例如，增強層與ffiVC兼容，但基礎(chǔ)層不與HEVC兼容）時，基礎(chǔ) 層的對應(yīng)塊可能位于基礎(chǔ)層幀外部。在此類情境中，在經(jīng)修剪圖片外部的基礎(chǔ)層部分的信 息（例如，基礎(chǔ)層圖片根據(jù)顯示器尺寸或一致性修剪窗被修剪）可能不可用于預(yù)測增強層 中的當(dāng)前塊。
[0008] 處理基礎(chǔ)層信息的此不可用性的一種方式是不允許使用經(jīng)修剪圖片外部（例如， 一致性修剪窗外部）的任何信息。然而，在一些情況下，經(jīng)修剪圖片外部的信息可能是可用 的（例如，增強層和基礎(chǔ)層兩者都遵循ffiVC設(shè)計）。在此些情況下，完全不允許使用經(jīng)修剪 圖片外部的信息，可能會導(dǎo)致譯碼效率降低。因此，通過選擇性地賦能使用經(jīng)修剪圖片外部 的信息（例如，僅僅在基礎(chǔ)層是由符合ffiVC的編解碼器譯碼時），可以改善譯碼效率。
[0009] 本發(fā)明的系統(tǒng)、方法和裝置各自具有若干創(chuàng)新方面，其中沒有單個方面單獨負(fù)責(zé) 本文所揭示的合乎需要的屬性。
[0010] 在一個實施例中，一種經(jīng)配置以對視頻信息進行譯碼（例如，編碼或解碼）的設(shè)備 包含存儲器單元及與所述存儲器單元通信的處理器。所述存儲器單元經(jīng)配置以存儲與參考 層（RL)和增強層相關(guān)聯(lián)的視頻信息，所述RL包括RL圖片，所述RL圖片具有輸出區(qū)，所述 輸出區(qū)包含所述RL圖片的一部分。所述處理器經(jīng)配置以確定是否一個條件指示所述輸出 區(qū)外部的信息可用于預(yù)測所述增強層中的當(dāng)前塊。
[0011] 在一個實施例中，一種對視頻信息進行譯碼（例如，編碼或解碼）的方法包括：存 儲與參考層（RL)和增強層相關(guān)聯(lián)的視頻信息，所述RL包括RL圖片，所述RL圖片具有輸出 區(qū)，所述輸出區(qū)包含所述RL圖片的一部分；以及確定是否一個條件指示所述輸出區(qū)外部的 信息可用于預(yù)測所述增強層中的當(dāng)前塊。
[0012] 在一個實施例中，一種非暫時性計算機可讀媒體包括當(dāng)經(jīng)執(zhí)行時使設(shè)備執(zhí)行過程 的代碼。所述過程包含：存儲與參考層RL和增強層相關(guān)聯(lián)的視頻信息，所述RL包括（RL) 圖片，所述RL圖片具有輸出區(qū)，所述輸出區(qū)包含所述RL圖片的一部分；以及確定是否一個 條件指示所述輸出區(qū)外部的信息可用于預(yù)測所述增強層中的當(dāng)前塊。
[0013] 在一個實施例中，一種經(jīng)配置以對視頻信息進行譯碼的視頻譯碼裝置包括：用于 存儲與參考層（RL)和增強層相關(guān)聯(lián)的視頻信息的裝置，所述RL包括RL圖片，所述RL圖片 具有輸出區(qū)，所述輸出區(qū)包含所述RL圖片的一部分；以及用于確定是否一個條件指示所述 輸出區(qū)外部的信息可用于預(yù)測所述增強層中的當(dāng)前塊的裝置。
【附圖說明】
[0014] 圖1是說明可利用根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻編碼及解碼系統(tǒng)的實 例的框圖。
[0015] 圖2是說明可實施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻編碼器的實例的框圖。
[0016] 圖3是說明可實施本發(fā)明中描述的方面的技術(shù)的視頻解碼器的實例的框圖。
[0017] 圖4是說明基礎(chǔ)層和增強層中的多個幀的圖。
[0018] 圖5是說明根據(jù)本發(fā)明的一個實施例的對視頻信息進行譯碼的方法的流程圖。
[0019] 圖6是說明根據(jù)本發(fā)明的一個實施例的對視頻信息進行譯碼的方法的流程圖。
【具體實施方式】
[0020] 本文中描述的某些實施例涉及在高級視頻編解碼器的情況下的針對例如 HEVC(高效率視頻譯碼）的可縮放視頻譯碼的層間預(yù)測。更確切地說，本發(fā)明涉及用于改善 ffiVC的可縮放視頻譯碼（SVC)擴展中的層間預(yù)測的性能的系統(tǒng)及方法。
[0021] 在以下描述中，描述與某些實施例有關(guān)的H. 264/AVC技術(shù)；還論述HEVC標(biāo)準(zhǔn)和有 關(guān)技術(shù)。雖然本文中在ffiVC和/或H. 264標(biāo)準(zhǔn)的情況下描述某些實施例，但所屬領(lǐng)域的一 般技術(shù)人員可了解，本文中揭示的系統(tǒng)和方法可適用于任何合適的視頻譯碼標(biāo)準(zhǔn)。例如，本 文中揭示的實施例可適用于以下標(biāo)準(zhǔn)中的一或多者：ITU-TH. 261、ISO/IECMPEG-lVisual、 ITU-TH. 262 或IS0/IECMPEG-2Visual、ITU-TH. 263、IS0/IECMPEG-4Visual和ITU-T H. 264(也被稱作IS0/IECMPEG-4AVC)，包含其可縮放視頻譯碼（SVC)和多視圖視頻譯碼 (MVC)擴展。
[0022] 在許多方面，HEVC總體上遵循先前視頻譯碼標(biāo)準(zhǔn)的框架。HEVC中的預(yù)測的單元不 同于某些先前視頻譯碼標(biāo)準(zhǔn)中的預(yù)測單元（例如，宏塊）。實際上，在HEVC中不存在如在某 些先前視頻譯碼標(biāo)準(zhǔn)中所理解的宏塊的概念。宏塊由基于四叉樹方案的階層式結(jié)構(gòu)替換， 階層式結(jié)構(gòu)可提供高靈活性以及其它可能益處。舉例來說，在HEVC方案內(nèi)，定義三個類型 的塊：譯碼單元（CU)、預(yù)測單元（PU)及變換單元（TU)。CU可指區(qū)分裂的基本單元?？煽?慮CU類似于宏塊的概念，但其不限制最大大小，且可允許遞歸分裂成四個相等大小CU以改 善內(nèi)容適應(yīng)性?？蓪U視為幀間/幀內(nèi)預(yù)測的基本單元，且其可在單一PU中含有多個任 意形狀分區(qū)以有效地對不規(guī)則圖像模式進行譯碼。可將TU視為變換的基本單元。可獨立 于PU來對其定義；然而，其大小可能限于TU屬于的CU。這樣將塊結(jié)構(gòu)分成三個不同概念， 可允許每一者根據(jù)其作用被優(yōu)化，這樣可以使得譯碼效率得到改善。
[0023] 僅出于說明的目的，用僅包含兩個層（例如，比如基礎(chǔ)層等較低層級層，和比如增 強層等較高層級層）的實例來描述本文中揭示的某些實施例。應(yīng)理解，這些實例可適用于 包含多個基礎(chǔ)層和/或增強層的配置。此外，為了易于解釋，參照某些實施例，以下揭示內(nèi) 容包含術(shù)語"幀"或"塊"。然而，這些術(shù)語不希望是限制性的。舉例來說，下文描述的技術(shù) 可供任何合適的視頻單元（例如，塊（例如，CU、PU、TU、宏塊等）、切片、幀等）使用。
[0024] 視頻譯碼標(biāo)準(zhǔn)
[0025] 例如視頻圖像、TV圖像、靜態(tài)圖像或由錄像機或計算機產(chǎn)生的圖像等數(shù)字圖像可 由布置成水平和垂直線的像素或樣本構(gòu)成。單個圖像中的像素的數(shù)目通常有數(shù)萬個。每一 像素通常含有亮度和色度信息。在未壓縮的情況下，將從圖像編碼器傳達到圖像解碼器的 信息的數(shù)量太過巨大以致不可能實現(xiàn)實時圖像發(fā)射。為了減少待發(fā)射的信息的量，已開發(fā) 出例如JPEG、MPEG及H. 263標(biāo)準(zhǔn)等數(shù)個不同壓縮方法。
[0026] 視頻譯碼標(biāo)準(zhǔn)包含ITU-TH. 261、IS0/IECMPEG-lVisual、ITU-TH. 262 或ISO/ IECMPEG-2Visual、ITU-TH. 263、IS0/IECMPEG-4Visual及ITU-TH. 264(也被稱為ISO/ IECMPEG-4AVC)，包含其可縮放視頻譯碼（SVC)及多視圖視頻譯碼（MVC)擴展。
[0027] 此外，存在一種新的視頻譯碼標(biāo)準(zhǔn)，即高效率視頻譯碼（HEVC)，其正由ITU-T視頻 譯碼專家組（VCEG)及IS0/IEC運動圖片專家組（MPEG)的視頻譯碼聯(lián)合合作小組（JCT-VC) 進行開發(fā)。對ffiVC草案10的完全引用為布羅斯（Bross)等人的文件JCTVC-L1003，"高 效率視頻譯碼（HEVC)文本規(guī)范草案 10(HighEfficiencyVideoCoding(HEVC)Text SpecificationDraft10)"，ITU-TSG16WP3 與IS0/IECJTC1/SC29/WG11 的關(guān)于視頻譯碼 的聯(lián)合合作小組（JCT-VC)，第12次會議：瑞士日內(nèi)瓦，2013年1月14日到2013年1月23 曰。
[0028] 下文參考附圖更充分地描述新穎系統(tǒng)、設(shè)備和方法的各種方面。然而，本發(fā)明可以 許多不同形式來體現(xiàn)，且不應(yīng)將其解釋為限于貫穿本發(fā)明所呈現(xiàn)的任何特定結(jié)構(gòu)或功能。 而是，提供這些方面以使得本發(fā)明將為透徹且完整的，并且將向所屬領(lǐng)域的技術(shù)人員充分 傳達本發(fā)明的范圍?；诒疚闹械慕淌?，所屬領(lǐng)域的技術(shù)人員應(yīng)了解，本發(fā)明的范圍既定涵 蓋無論是獨立于本發(fā)明的任何其它方面而實施還是與之組合而實施的本文中所揭示的新 穎系統(tǒng)、設(shè)備及方法的任何方面。舉例來說，可使用本文中所闡述的任何數(shù)目個方面來實施 設(shè)備或?qū)嵺`方法。另外，本發(fā)明的范圍既定涵蓋使用除本文中所闡述的本發(fā)明的各種方面 之外的或不同于本文中所闡述的本發(fā)明的各種方面的其它結(jié)構(gòu)、功能性或結(jié)構(gòu)與功能性來 實踐的此設(shè)備或方法。應(yīng)理解，可通過權(quán)利要求的一或多個要素來體現(xiàn)本文中所揭示的任 何方面。
[0029] 盡管本文描述了特定方面，但這些方面的許多變化及排列落在本發(fā)明的范圍內(nèi)。 盡管提及了優(yōu)選方面的一些益處和優(yōu)點，但本發(fā)明的范圍并不希望限于特定益處、用途或 目標(biāo)。實際上本發(fā)明的方面既定廣泛地適用于不同無線技術(shù)、系統(tǒng)配置、網(wǎng)絡(luò)和發(fā)射協(xié)議， 其中的一些是借助于實例而在圖中以及在優(yōu)選方面的以下描述中說明。詳細(xì)描述和圖式僅 說明本發(fā)明，而不具有限制性，本發(fā)明的范圍由所附權(quán)利要求書及其等效物界定。
【附圖說明】 [0030] 若干實例。由附圖中的參考標(biāo)號指示的元件對應(yīng)于在以下描述中由相同 參考標(biāo)號指示的元件。在本發(fā)明中，名稱以序數(shù)詞（例如，"第一"、"第二"、"第三"，等）開 始的元件未必暗示所述元件具有特定順序。確切地說，此些序數(shù)詞僅用于指代相同或類似 類型的不同元件。
[0031] 視頻譯碼系統(tǒng)
[0032] 圖1是說明可利用根據(jù)本發(fā)明中所描述的方面的技術(shù)的實例視頻譯碼系統(tǒng)10的 框圖。如本文中所描述地使用，術(shù)語"視頻譯碼器"一般指代視頻編碼器及視頻解碼器兩者。 在本發(fā)明中，術(shù)語"視頻譯碼"或"譯碼"可一般地指代視頻編碼及視頻解碼。
[0033] 如圖1中所示，視頻譯碼系統(tǒng)10包含源裝置12和目的地裝置14。源裝置12產(chǎn)生 經(jīng)編碼視頻數(shù)據(jù)。目的地裝置14可對由源裝置12產(chǎn)生的經(jīng)編碼視頻數(shù)據(jù)進行解碼。源裝 置12和目的地裝置14可包括多種多樣的裝置，包含臺式計算機、筆記本（例如，膝上型等） 計算機、平板計算機、機頂盒、例如所謂的"智能"電話等電話手持機、所謂的"智能"平板、電 視機、相機、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺、車載計算機（in-carcomputer) 或其類似者。在一些實例中，源裝置12和目的地裝置14可經(jīng)裝備以用于無線通信。
[0034] 目的地裝置14可經(jīng)由信道16從源裝置12接收經(jīng)編碼視頻數(shù)據(jù)。信道16可包括 能夠?qū)⒔?jīng)編碼視頻數(shù)據(jù)從源裝置12移動到目的地裝置14的任何類型的媒體或裝置。在一 個實例中，信道16可包括使得源裝置12能夠?qū)崟r將經(jīng)編碼視頻數(shù)據(jù)直接發(fā)射到目的地裝 置14的通信媒體。在此實例中，源裝置12可根據(jù)通信標(biāo)準(zhǔn)（例如無線通信協(xié)議）來調(diào)制 經(jīng)編碼視頻數(shù)據(jù)，且可將經(jīng)調(diào)制視頻數(shù)據(jù)發(fā)射到目的地裝置14。通信媒體可包括無線或有 線通信媒體，例如射頻（RF)頻譜或一或多個物理發(fā)射線路。通信媒體可能形成基于包的網(wǎng) 絡(luò)（例如局域網(wǎng)、廣域網(wǎng)或全球網(wǎng)絡(luò)，例如因特網(wǎng)）的一部分。通信媒體可包含路由器、交 換器、基站或促進從源裝置12到目的地裝置14的通信的其它裝備。
[0035] 在另一實例中，信道16可對應(yīng)于存儲由源裝置12產(chǎn)生的經(jīng)編碼視頻數(shù)據(jù)的存儲 媒體。在此實例中，目的地裝置14可經(jīng)由磁盤存取或卡存取來存取所述存儲媒體。存儲媒 體可包含多種本地存取的數(shù)據(jù)存儲媒體，例如藍光光盤、DVD、CD-ROM、快閃存儲器或用于存 儲經(jīng)編碼視頻數(shù)據(jù)的其它合適的數(shù)字存儲媒體。在另一實例中，信道16可包含文件服務(wù)器 或存儲由源裝置12產(chǎn)生的經(jīng)編碼視頻的另一中間存儲裝置。在此實例中，目的地裝置14可 經(jīng)由流式傳輸或下載而存取存儲在文件服務(wù)器或其它中間存儲裝置處的經(jīng)編碼視頻數(shù)據(jù)。 文件服務(wù)器可為能夠存儲經(jīng)編碼視頻數(shù)據(jù)并且將經(jīng)編碼視頻數(shù)據(jù)發(fā)射到目的地裝置14的 服務(wù)器類型。實例文件服務(wù)器包含網(wǎng)絡(luò)服務(wù)器（例如，用于網(wǎng)站等）、FTP服務(wù)器、網(wǎng)絡(luò)附接 存儲（NAS)裝置，和本地磁盤驅(qū)動器。目的地裝置14可通過任何標(biāo)準(zhǔn)數(shù)據(jù)連接（包含因特 網(wǎng)連接）來存取經(jīng)編碼視頻數(shù)據(jù)。數(shù)據(jù)連接的實例類型可包含適合于存取存儲于文件服務(wù) 器上的經(jīng)編碼視頻數(shù)據(jù)的無線信道（例如，Wi-Fi連接等）、有線連接（例如，DSL、電纜調(diào)制 解調(diào)器等）或兩者的組合。經(jīng)編碼視頻數(shù)據(jù)從文件服務(wù)器的發(fā)射可以是流式發(fā)射、下載發(fā) 射或兩者的組合。
[0036] 本發(fā)明的技術(shù)不限于無線應(yīng)用或設(shè)置。所述技術(shù)可應(yīng)用于支持多種多媒體應(yīng)用中 的任一者的視頻譯碼，例如空中電視廣播、有線電視發(fā)射、衛(wèi)星電視發(fā)射、例如經(jīng)由因特網(wǎng) 的流式傳輸視頻發(fā)射（例如，HTTP動態(tài)自適應(yīng)流式傳輸（DASH)等）、用于存儲于數(shù)據(jù)存儲 媒體上的數(shù)字視頻的編碼、存儲在數(shù)據(jù)存儲媒體上的數(shù)字視頻的解碼，或其它應(yīng)用。在一些 實例中，視頻譯碼系統(tǒng)10可經(jīng)配置以支持單向或雙向視頻發(fā)射以支持例如視頻流式傳