再取樣過(guò)程中的中間數(shù)據(jù)的動(dòng)態(tài)范圍控制的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻譯碼和壓縮的領(lǐng)域。具體來(lái)說(shuō)，其涉及可縮放視頻譯碼（SVC)， 包含用于高級(jí)視頻譯碼（AVC)的SVC以及用于高效視頻譯碼（HEVC)的SVC(其也稱(chēng)為可 縮放HEVC(SHVC))。其還涉及3D視頻譯碼，例如HEVC的多視圖擴(kuò)展（被稱(chēng)作MV-HEVC和 3D-HEVC)。各種實(shí)施例涉及用于再取樣過(guò)程中的中間數(shù)據(jù)的動(dòng)態(tài)范圍控制的系統(tǒng)和方法。
【背景技術(shù)】
[0002] 數(shù)字視頻能力可并入到廣泛范圍的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無(wú)線(xiàn)廣 播系統(tǒng)、個(gè)人數(shù)字助理（PDA)、膝上型或桌上型計(jì)算機(jī)、平板計(jì)算機(jī)、電子圖書(shū)閱讀器、數(shù)碼 相機(jī)、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺(tái)、蜂窩式或衛(wèi)星無(wú)線(xiàn) 電電話(huà)（所謂的"智能電話(huà)"）、視頻電話(huà)會(huì)議裝置、視頻串流裝置等等。數(shù)字視頻裝置實(shí)施 視頻譯碼技術(shù)，例如由 MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H. 264/MPEG-4 第 10 部分高級(jí) 視頻譯碼（AVC)所定義的標(biāo)準(zhǔn)、目前正在開(kāi)發(fā)的高效視頻譯碼（HEVC)標(biāo)準(zhǔn)及這些標(biāo)準(zhǔn)的擴(kuò) 展中所描述的視頻譯碼技術(shù)。視頻裝置可通過(guò)實(shí)施此些視頻譯碼技術(shù)而更有效地發(fā)射、接 收、編碼、解碼和/或存儲(chǔ)數(shù)字視頻信息。
[0003] 視頻譯碼技術(shù)包含空間（圖片內(nèi)）預(yù)測(cè)和/或時(shí)間（圖片間）預(yù)測(cè)以減少或移除 視頻序列中固有的冗余。對(duì)于基于塊的視頻譯碼來(lái)說(shuō)，視頻切片（即，視頻幀或視頻幀的一 部分）可以分割成視頻塊，視頻塊也可被稱(chēng)作樹(shù)塊、譯碼單元（CU)和/或譯碼節(jié)點(diǎn)。使用 相對(duì)于同一圖片中的相鄰塊中的參考樣本的空間預(yù)測(cè)對(duì)圖片的經(jīng)幀內(nèi)譯碼（I)切片中的 視頻塊進(jìn)行編碼。圖片的經(jīng)幀間編碼（P或B)切片中的視頻塊可使用相對(duì)于同一圖片中的 相鄰塊中的參考樣本的空間預(yù)測(cè)或相對(duì)于其它參考圖片中的參考樣本的時(shí)間預(yù)測(cè)。圖片可 稱(chēng)為幀，且參考圖片可稱(chēng)為參考幀。
[0004] 空間或時(shí)間預(yù)測(cè)產(chǎn)生用于待譯碼塊的預(yù)測(cè)塊。殘差數(shù)據(jù)表示待譯碼原始?jí)K與預(yù)測(cè) 塊之間的像素差。經(jīng)幀間譯碼塊是根據(jù)指向形成預(yù)測(cè)塊的參考樣本塊的運(yùn)動(dòng)向量和指示經(jīng) 譯碼塊與預(yù)測(cè)塊之間的差的殘差數(shù)據(jù)編碼的。經(jīng)幀內(nèi)譯碼塊是根據(jù)幀內(nèi)譯碼模式和殘差數(shù) 據(jù)來(lái)編碼的。為了進(jìn)一步壓縮，可將殘差數(shù)據(jù)從像素域變換到變換域，從而產(chǎn)生殘差變換系 數(shù)，接著可以對(duì)殘差變換系數(shù)進(jìn)行量化?？蓲呙枳畛醪贾贸啥S陣列的經(jīng)量化變換系數(shù)，以 便產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用熵譯碼以實(shí)現(xiàn)更多壓縮。

【發(fā)明內(nèi)容】

[0005] -般來(lái)說(shuō)，本發(fā)明描述與可縮放視頻譯碼（SVC)有關(guān)的技術(shù)。下文描述的各種技 術(shù)提供用于再取樣過(guò)程中的中間數(shù)據(jù)的動(dòng)態(tài)范圍控制的所描述方法和裝置。
[0006] 根據(jù)某些方面的用于對(duì)視頻信息進(jìn)行譯碼的設(shè)備包含存儲(chǔ)器和處理器。存儲(chǔ)器單 元經(jīng)配置以存儲(chǔ)視頻信息。處理器經(jīng)配置以：獲得參考層視頻信息；在第一維度中對(duì)參考 層視頻信息上取樣以產(chǎn)生中間輸出；將所述中間輸出約束到預(yù)定位深度；以及在第二維度 中對(duì)所述受約束中間輸出上取樣，其中所述第二維度正交于所述第一維度。
[0007] 在附圖和以下描述中陳述一或多個(gè)實(shí)例的細(xì)節(jié)，其并不希望限制本文中所描述的 發(fā)明性概念的完整范圍。其它特征、目標(biāo)和優(yōu)勢(shì)將從所述描述和圖式以及從權(quán)利要求書(shū)顯 而易見(jiàn)。
【附圖說(shuō)明】
[0008] 在整個(gè)圖式中，參考數(shù)字可再使用以指示參考元件之間的對(duì)應(yīng)關(guān)系。提供圖式以 說(shuō)明本文中描述的實(shí)例實(shí)施例，且并不希望限制本發(fā)明的范圍。
[0009] 圖1是說(shuō)明可利用根據(jù)本發(fā)明中描述的方面的技術(shù)的實(shí)例視頻編碼和解碼系統(tǒng) 的框圖。
[0010] 圖2A為說(shuō)明可實(shí)施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻編碼器的實(shí)例的框 圖。
[0011] 圖2B是說(shuō)明可實(shí)施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻編碼器的實(shí)例的框 圖。
[0012] 圖3A是說(shuō)明可實(shí)施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻解碼器的實(shí)例的框 圖。
[0013] 圖3B是說(shuō)明可實(shí)施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻解碼器的實(shí)例的框 圖。
[0014] 圖4為說(shuō)明根據(jù)本發(fā)明的方面用于再取樣過(guò)程中的中間數(shù)據(jù)的動(dòng)態(tài)范圍控制的 實(shí)例方法的流程圖。
[0015] 圖5為說(shuō)明根據(jù)本發(fā)明的方面用于再取樣過(guò)程中的中間數(shù)據(jù)的動(dòng)態(tài)范圍控制的 另一實(shí)例方法的流程圖。
【具體實(shí)施方式】
[0016] 本發(fā)明中描述的技術(shù)一般涉及可縮放視頻譯碼（SHVC，SVC)和多視圖/3D視頻譯 碼（例如，多視圖譯碼加上深度，MVC+D)。舉例來(lái)說(shuō)，所述技術(shù)可與高效視頻譯碼（HEVC)可 縮放視頻譯碼（SVC，有時(shí)稱(chēng)為SHVC)擴(kuò)展相關(guān)，且與其一起或在其內(nèi)使用。在SHVC、SVC擴(kuò) 展中，可存在多個(gè)視頻信息層。視頻信息的最低層級(jí)處的層可充當(dāng)基礎(chǔ)層（BL)或參考層 (RL)，且視頻信息的最頂部（或最高層）處的層可充當(dāng)增強(qiáng)層（EL)。"增強(qiáng)型層"有時(shí)被稱(chēng) 作"增強(qiáng)層"，且這些術(shù)語(yǔ)可互換地使用。"基礎(chǔ)層"有時(shí)被稱(chēng)作"參考層"，且這些術(shù)語(yǔ)也可 互換地使用。基礎(chǔ)層與頂層之間的所有層可充當(dāng)額外EL和/或參考層。舉例來(lái)說(shuō)，給定層 可為用于所述給定層下方（例如，在前面）的層（例如基礎(chǔ)層或任何介入增強(qiáng)層）的EL。 此外，給定層還可充當(dāng)用于給定層上方（例如，在其之后）的一或多個(gè)增強(qiáng)層的RL?；A(chǔ)層 (例如，具有例如設(shè)定為或等于"1"的層識(shí)別（ID)的最低層）與頂層（或最高層）之間的 任何層可用作用于比給定層高的層的層間預(yù)測(cè)的參考，且可使用比給定層低的層作為用于 層間預(yù)測(cè)的參考。舉例來(lái)說(shuō)，可使用比給定層低的層作為用于層間預(yù)測(cè)的參考來(lái)確定給定 層。
[0017] 為簡(jiǎn)單起見(jiàn)，根據(jù)僅兩個(gè)層來(lái)呈現(xiàn)實(shí)例：BL及EL ;然而，應(yīng)很好地理解，下文描述 的構(gòu)想和實(shí)施例也適用于具有多個(gè)層的情況。此外，為了易于解釋?zhuān)３Ｊ褂眯g(shù)語(yǔ)"幀"或 "塊"。然而，這些術(shù)語(yǔ)不希望是限制性的。舉例來(lái)說(shuō)，下文描述的技術(shù)可與多種視頻單元中 的任一者一起使用，所述視頻單元包含但不限于像素、塊（例如，〇]、？1]、11]、宏塊等）、切片、 幀、圖片等。
[0018] 視頻譯碼
[0019] 視頻譯碼標(biāo)準(zhǔn)包含 ITU-T H. 261、IS0/ffiC MPEG-lVisual、ITU-T H. 262 或 IS0/IEC MPEG-2Visual、ITU-T Η· 263、IS0/IEC MPEG-4Visual 及 ITU-T Η· 264(也被稱(chēng)作 IS0/IEC MPEG-4AVC)，包含其可縮放視頻譯碼（SVC)和多視圖視頻譯碼（MVC)及多視圖譯碼加上深 度（MVC+D)擴(kuò)展。最新的HEVC草案規(guī)格（且下文中被稱(chēng)作HEVC WD10)可從http://phenix. int-evry. fr/jet/doc_end_user/documents/12_Geneva/wgll/JCTVC-L1003-v34. zip 獲 得。對(duì)HEVC的多視圖擴(kuò)展（即，MV-HEVC)也正由JCT-3V開(kāi)發(fā)。下文的MV-HEVC WD3的最近 工作草案（WD)可從 http://phenix. it_sudparis.eu/jct2/doc_end_user/documents/3_ Geneva/wgll/JCT3V-C1004-v4. zip獲得。被稱(chēng)為SHVC的對(duì)HEVC的可縮放擴(kuò)展也是由 JCT-VC開(kāi)發(fā)的。SHVC的最近工作草案（WD)(且在下文被稱(chēng)作SHVC WD1)可從http:// phenix. int-evry. fr/jet/doc_end_user/documents/12_Geneva/wgl1/JCTVC-L1008-vl. zip獲得。
[0020] 在SVC和SHVC中，視頻信息可作為多個(gè)層提供。在最底部層級(jí)處的層可僅充當(dāng)基 礎(chǔ)層（BL)，且在最頂部層級(jí)處的層可充當(dāng)增強(qiáng)層（EL)。頂部層與底部層之間的所有層可充 當(dāng)增強(qiáng)層和參考層兩者。舉例來(lái)說(shuō)，在中間的層可為用于其下方的層的EL，且同時(shí)作為用于 其上方的層的RL。出于描述的簡(jiǎn)單性起見(jiàn)，在說(shuō)明下文描述的技術(shù)時(shí)，可假設(shè)存在兩個(gè)層： BL和EL。然而，本文中描述的所有技術(shù)還適用于具有多個(gè)（兩個(gè)以上）層的情況。
[0021] 可縮放視頻譯碼（SVC)可用于提供質(zhì)量（也稱(chēng)為信噪比（SNR))可縮放性、空間 可縮放性和/或時(shí)間可縮放性。舉例來(lái)說(shuō)，在一個(gè)實(shí)施例中，參考層（例如，基礎(chǔ)層）包含 足以在第一質(zhì)量水平下顯示視頻的視頻信息，且增強(qiáng)層包含相對(duì)于所述參考層的額外視頻 信息，以使得所述參考層和所述增強(qiáng)層一起包含足以在高于所述第一水平的第二質(zhì)量水平 (例如，更少的噪聲、更大的分辨率、更好的幀速率等）下顯示視頻的視頻信息。增強(qiáng)型層 可具有與基礎(chǔ)層不同的空間分辨率。舉例來(lái)說(shuō)，EL與BL之間的空間縱橫比可為1. 0、1. 5、 2. 0或其它不同比率。換句話(huà)說(shuō)，EL的空間縱橫尺寸可等于BL的空間縱橫尺寸的1. 0、1. 5 或2.0倍。在一些實(shí)例中，EL的縮放因子可大于BL。舉例來(lái)說(shuō)，EL中的圖片的大小可大于 BL中的圖片的大小。以此方式，可有可能（但非限制）EL的空間分辨率大于BL的空間分辨 率。
[0022] 在涉及用于H. 264的SVC擴(kuò)展或用于H. 265的SHVC擴(kuò)展（如上文所論述）的SVC 中，當(dāng)前塊的預(yù)測(cè)可使用為SVC提供的不同層來(lái)執(zhí)行。此預(yù)測(cè)可被稱(chēng)為層間預(yù)測(cè)。在SVC 中可利用層間預(yù)測(cè)方法以便減少層間冗余。層間預(yù)測(cè)的一些實(shí)例可包含層間幀內(nèi)預(yù)測(cè)、層 間運(yùn)動(dòng)預(yù)測(cè)和層間殘差預(yù)測(cè)。層間幀內(nèi)預(yù)測(cè)使用基礎(chǔ)層中的協(xié)同定位塊的重建來(lái)預(yù)測(cè)增強(qiáng) 層中的當(dāng)前塊。層間運(yùn)動(dòng)預(yù)測(cè)使用基礎(chǔ)層的運(yùn)動(dòng)信息（包含運(yùn)動(dòng)向量）來(lái)預(yù)測(cè)增強(qiáng)層中的 運(yùn)動(dòng)。層間殘差預(yù)測(cè)使用基礎(chǔ)層的殘差來(lái)預(yù)測(cè)增強(qiáng)層的殘差。
[0023] 歷
[0024] 在SHVC中，參考層圖片可需要經(jīng)再取樣（例如）用于增強(qiáng)層中的層間預(yù)測(cè)?？赏?過(guò)對(duì)來(lái)自參考層圖片的明度樣本應(yīng)用再取樣濾波器而執(zhí)行再取樣。舉例來(lái)說(shuō)，可應(yīng)用η-分 接頭濾波器。所述再取樣過(guò)程可在用于二維再取樣的兩個(gè)步驟中發(fā)生。首先，可執(zhí)行水平 再取樣，且隨后可執(zhí)行垂直再取樣。舉例來(lái)說(shuō)，可對(duì)從水平再取樣過(guò)程輸出的視頻信息執(zhí)行 垂直再取樣。再取樣濾波器可接收明度樣本作為輸入，且水平再取樣過(guò)程可基于所輸入的 明度樣本產(chǎn)生中間輸出。中間輸出可隨后用作針對(duì)垂直再取樣步驟的輸入。在一些情形 中，水平再取樣過(guò)程可將額外位添加到所輸入的明度樣本使得中間輸出與所輸入明度樣本 相比具有較多位（例如，具有較大位深度）。額外位可使數(shù)據(jù)范圍相當(dāng)大，且可對(duì)垂直再取 樣步驟的計(jì)算復(fù)雜性具有顯著影響。舉例來(lái)說(shuō)，用于中間數(shù)據(jù)的緩沖器可隨著數(shù)據(jù)范圍變 高而成比例地增加。并且，內(nèi)插過(guò)程（尤其乘法運(yùn)算）的復(fù)雜性可很大程度取決于輸入數(shù) 據(jù)的位深度。此外，存在需要具有不超過(guò)特定預(yù)定最大值的位深度的輸入的特定計(jì)算指令 集。舉例來(lái)說(shuō)，可僅在具有16位（例如，具有16位位深度）的輸入上使用特定16位指令 集。因此，約束（例如，減小或限制）多階段再取樣過(guò)程的第一階段的中間輸出的位深度將 是有利的。
[0025] 為了解決這些和其它問(wèn)題，本發(fā)明中描述的技術(shù)可將來(lái)自初始再取樣過(guò)程（例 如，水平再取樣）的中間輸出的位深度約束到指定位數(shù)。在一些實(shí)施例中，可通過(guò)將中間輸 出右移（例如，應(yīng)用右移操作">>"）特定位數(shù)而實(shí)現(xiàn)將位深度約束到指定位數(shù)?？苫谳?入到再取樣濾波器的所輸入明度樣本的位深度確定將中間輸出右移的位數(shù)。舉例來(lái)說(shuō)，中 間輸出可被約束到16位，且可通過(guò)從所輸入明度樣本的位深度減去8位而計(jì)算將中間輸出 右移的位數(shù)?？苫谒斎朊鞫葮颖镜奈粩?shù)動(dòng)態(tài)地確定移位的位數(shù)。如上文所提及，添加 到來(lái)自初始再取樣過(guò)程（例如，水平再取樣）的中間輸出的額外位可使數(shù)據(jù)范圍較大且對(duì) 接下來(lái)再取樣過(guò)程（例如，垂直再取樣）的計(jì)算復(fù)雜性具有顯著影響。以此方式約束中間 輸出可緩解這些問(wèn)題和/或難題。此外，以此方式約束中間輸出可產(chǎn)生更精確結(jié)果且減小 四舍五入誤差，且可允許譯碼裝置和過(guò)程利用特定更有效譯碼指令集。
[0026] 在一些實(shí)施例中，來(lái)自垂直再取樣過(guò)程的輸出也可以類(lèi)似方式受約束。在某些實(shí) 施例中，可在水平再取樣過(guò)程之前執(zhí)行垂直再取樣過(guò)程。所述技術(shù)還可應(yīng)用于三維譯碼。舉 例來(lái)說(shuō)，來(lái)自X軸中的再取樣的中間輸出可被約束到預(yù)定位深度，且來(lái)自y軸中的再取樣的 中間輸出也可被約束到預(yù)定位深度。待移位的位數(shù)可基于所輸入明度樣本的位深度和/或 來(lái)自再取樣中的先前步驟的中間輸出的位深度。通常，參考層圖片通常經(jīng)上取樣，但在一些 實(shí)施例中，增強(qiáng)層圖片可經(jīng)下取樣。
[0027] 下文參看附圖更充分地描述新穎系統(tǒng)、設(shè)備和方法的各個(gè)方面。然而，本發(fā)明可以 許多不同形式來(lái)體現(xiàn)，且不應(yīng)將其解釋為限于貫穿本發(fā)明所呈現(xiàn)的任何特定結(jié)構(gòu)或功能。 實(shí)際上，提供這些方面以使得本發(fā)明將為透徹且完整的，并且將向所屬領(lǐng)域的技術(shù)人員充 分傳達(dá)本發(fā)明的范圍?；诒疚闹械慕淌?，所屬領(lǐng)域的技術(shù)人員應(yīng)了解，本發(fā)明的范圍既定 涵蓋無(wú)論是獨(dú)立于本發(fā)明的任何其它方面而實(shí)施還是與之組合而實(shí)施的本文中所揭示的 新穎系統(tǒng)、設(shè)備和方法的任何方面。舉例來(lái)說(shuō)，可使用本文中所陳述的任何數(shù)目個(gè)方面來(lái)實(shí) 施設(shè)備或?qū)嵺`方法。此外，本發(fā)明的范圍既定涵蓋使用作為本文中所陳述的本發(fā)明的各種 方面的補(bǔ)充或替代的其它結(jié)構(gòu)、功能性或結(jié)構(gòu)與功能性來(lái)實(shí)踐的此設(shè)備或方法。應(yīng)理解，可 通過(guò)權(quán)利要求的一或多個(gè)要素來(lái)體現(xiàn)本文中所揭示的任何方面。
[0028] 盡管本文描述了特定方面，但這些方面的許多變化和排列屬于本發(fā)明的范圍。盡 管提到了優(yōu)選方面的一些益處和優(yōu)點(diǎn)，但本發(fā)明的范圍不希望限于特定益處、用途或目標(biāo)。 實(shí)際上，本發(fā)明的方面既定廣泛地適用于不同無(wú)線(xiàn)技術(shù)、系統(tǒng)配置、網(wǎng)絡(luò)和發(fā)射協(xié)議，其中 的一些是借助于實(shí)例而在圖中以及在優(yōu)選方面的以下描述中說(shuō)明。詳細(xì)描述和圖式僅說(shuō)明 本發(fā)明，而不具有限制性，本發(fā)明的范圍由所附權(quán)利要求書(shū)及其等效物界定。
[0029] 視頻譯碼系統(tǒng)
[0030] 圖1為說(shuō)明可利用根據(jù)本發(fā)明中所描述的方面的技術(shù)的實(shí)例視頻譯碼系統(tǒng)10的 框圖。如本文中所描述地使用，術(shù)語(yǔ)"視頻譯碼器"一般指代視頻編碼器和視頻解碼器兩者。 在本發(fā)明中，術(shù)語(yǔ)"視頻譯碼"或"譯碼"可一般地指代視頻編碼和視頻解碼。
[0031] 如圖1中所示，視頻譯碼系統(tǒng)10包含源裝置12和目的地裝置14。源裝置12產(chǎn)生 經(jīng)編碼視頻數(shù)據(jù)。目的地裝置14可解碼由源裝置12產(chǎn)生的經(jīng)編碼視頻數(shù)據(jù)。源裝置12 可經(jīng)由通信信道16將視頻數(shù)據(jù)提供到目的地裝置14,通信信道16可包含計(jì)算機(jī)可讀存儲(chǔ) 媒體或其它通信信道。源裝置12和目的地裝置14可包含廣泛范圍的裝置，包含臺(tái)式計(jì)算 機(jī)、筆記型（例如，膝上型）計(jì)算機(jī)、平板計(jì)算機(jī)、機(jī)頂盒、電話(huà)手持機(jī)（例如所謂的"智能" 電話(huà)、所謂的"智能"板）、電視機(jī)、相機(jī)、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺(tái)、車(chē)載 計(jì)算機(jī)、視頻串流裝置，等等。源裝置12和目的地裝置14可經(jīng)裝備以用于無(wú)線(xiàn)通信。
[0032] 目的地裝置14可經(jīng)由通信信道16接收待解碼的經(jīng)編碼視頻數(shù)據(jù)。通信信道16 可包括能夠?qū)⒔?jīng)編碼視頻數(shù)據(jù)從源裝置12移動(dòng)到目的地裝置14的一類(lèi)型的媒體或裝置。 舉例來(lái)說(shuō)，通信信道16可包括使得源裝置12能夠?qū)崟r(shí)地將經(jīng)編碼視頻數(shù)據(jù)直接發(fā)射到目 的地裝置14的通信媒體。經(jīng)編碼的視頻數(shù)據(jù)可根據(jù)通信標(biāo)準(zhǔn)（例如無(wú)線(xiàn)通信協(xié)議）而調(diào) 制，且被發(fā)射到目的地裝置14。通信媒體可包括無(wú)線(xiàn)或有線(xiàn)通信媒體，例如射頻（RF)頻譜 或一或多個(gè)物理發(fā)射線(xiàn)路。通信媒體可形成分組網(wǎng)絡(luò)（例如局域網(wǎng)、廣域網(wǎng)或全球網(wǎng)絡(luò)，例 如因特網(wǎng)）的部分。通信媒體可包含路由器、交換器、基站或可用于促進(jìn)從源裝置12到目 的地裝置14的通信的其它設(shè)備。
[0033] 在一些實(shí)施例中，經(jīng)編碼數(shù)據(jù)可從輸出接口 22輸出到存儲(chǔ)裝置。在此些實(shí)例中， 信道16可對(duì)應(yīng)于存