在視頻譯碼中波前平行處理的子流的制作方法
【專利摘要】一種視頻編碼器用信號(hào)發(fā)出是否使用WPP來(lái)編碼一連串視頻圖片中的一個(gè)圖片。如果使用WPP來(lái)編碼所述圖片，那么所述視頻編碼器產(chǎn)生包含多個(gè)子流的經(jīng)譯碼切片NAL單元，所述子流中的每一者包含表示所述圖片的切片中的譯碼樹(shù)塊CTB的一個(gè)經(jīng)編碼行的位的連續(xù)系列。視頻解碼器接收包含所述經(jīng)譯碼切片NAL單元的位流。此外，所述視頻解碼器可基于所述位流中的語(yǔ)法元素而確定所述切片是使用WPP編碼，且可使用WPP來(lái)解碼所述切片。
【專利說(shuō)明】在視頻譯碼中波前平行處理的子流
[0001] 本申請(qǐng)案主張于2012年1月18日申請(qǐng)的美國(guó)臨時(shí)專利申請(qǐng)案第61/588, 096號(hào) 的權(quán)利，所述申請(qǐng)案的全部?jī)?nèi)容在此以引用的方式并入。

【技術(shù)領(lǐng)域】
[0002] 本發(fā)明涉及視頻譯碼（即，視頻數(shù)據(jù)的編碼和/或解碼）。

【背景技術(shù)】
[0003] 可將數(shù)字視頻能力并入到廣泛范圍的裝置中，所述裝置包含數(shù)字電視、數(shù)字直播 系統(tǒng)、無(wú)線廣播系統(tǒng)、個(gè)人數(shù)字助理（PDA)、膝上型計(jì)算機(jī)或桌上型計(jì)算機(jī)、平板計(jì)算機(jī)、電 子書閱讀器、數(shù)碼相機(jī)、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺(tái)、 蜂窩式或衛(wèi)星無(wú)線電電話、所謂的"智能電話"、視頻電話會(huì)議裝置、視頻流式傳輸裝置和 類似者。數(shù)字視頻裝置實(shí)施視頻壓縮技術(shù)，例如在由MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H. 264/MPEG-4第10部分（先進(jìn)視頻譯碼（AVC))定義的標(biāo)準(zhǔn)、目前在開(kāi)發(fā)中的高效率視頻 譯碼（HEVC)標(biāo)準(zhǔn)和這些標(biāo)準(zhǔn)的擴(kuò)展中所描述的視頻壓縮技術(shù)。視頻裝置可通過(guò)實(shí)施這些 視頻壓縮技術(shù)來(lái)更有效率地發(fā)射、接收、編碼、解碼和/或存儲(chǔ)數(shù)字視頻信息。
[0004] 視頻壓縮技術(shù)執(zhí)行空間（圖片內(nèi)）預(yù)測(cè)和/或時(shí)間（圖片間）預(yù)測(cè)以減少或去除 視頻序列中所固有的冗余。對(duì)于基于塊的視頻譯碼，可將視頻切片（即，視頻幀或視頻幀的 一部分）分割成視頻塊，視頻塊也可被稱作樹(shù)塊、譯碼單元（CU)和/或譯碼節(jié)點(diǎn)。圖片的 經(jīng)幀內(nèi)譯碼（I)切片中的視頻塊是使用相對(duì)于相同圖片中的相鄰塊中的參考樣本的空間 預(yù)測(cè)來(lái)編碼。圖片的經(jīng)幀間譯碼（P或B)切片中的視頻塊可使用相對(duì)于相同圖片中的相鄰 塊中的參考樣本的空間預(yù)測(cè)或相對(duì)于其它參考圖片中的參考樣本的時(shí)間預(yù)測(cè)。圖片可被稱 作幀，且參考圖片可被稱作參考幀。
[0005] 空間或時(shí)間預(yù)測(cè)產(chǎn)生待譯碼的塊的預(yù)測(cè)性塊。殘余數(shù)據(jù)表示待譯碼的原始?jí)K與預(yù) 測(cè)性塊之間的像素差。根據(jù)指向形成預(yù)測(cè)性塊的參考樣本的塊的運(yùn)動(dòng)向量和指示經(jīng)譯碼塊 與預(yù)測(cè)性塊之間的差的殘余數(shù)據(jù)來(lái)編碼經(jīng)幀間譯碼塊。根據(jù)幀內(nèi)譯碼模式和殘余數(shù)據(jù)來(lái)編 碼經(jīng)幀內(nèi)譯碼塊。為了進(jìn)一步壓縮，可將殘余數(shù)據(jù)自像素域變換到變換域，從而產(chǎn)生殘余系 數(shù)，所述殘余系數(shù)接著可經(jīng)量化?？砂创涡驋呙枳畛醪贾贸啥S陣列的經(jīng)量化系數(shù)以便產(chǎn) 生系數(shù)的一維向量，且可應(yīng)用熵譯碼以達(dá)成甚至更多壓縮。


【發(fā)明內(nèi)容】

[0006] 大體來(lái)說(shuō)，本發(fā)明描述涉及圖像塊和波前平行處理（WPP)的用于視頻譯碼的技 術(shù)。更具體來(lái)說(shuō)，視頻編碼器可用信號(hào)發(fā)出是否使用WPP來(lái)編碼一連串視頻圖片中的一個(gè) 圖片。如果使用WPP來(lái)編碼所述圖片，那么所述視頻編碼器產(chǎn)生多個(gè)子流。所述子流中的 每一者可包含表示所述圖片的切片中的譯碼樹(shù)塊（CTB)的一個(gè)經(jīng)編碼行的位的連續(xù)系列。 所述視頻編碼器可產(chǎn)生包含所述多個(gè)子流的經(jīng)譯碼切片網(wǎng)絡(luò)抽象層（NAL)單元。視頻解碼 器可接收包含所述經(jīng)譯碼切片NAL單元的位流。此外，所述視頻解碼器可基于所述位流中 的語(yǔ)法元素而確定所述切片是使用WPP編碼，且可使用WPP來(lái)解碼所述切片。
[0007] 在一方面，本發(fā)明描述一種用于編碼視頻數(shù)據(jù)的方法。所述方法包括用信號(hào)發(fā)出 使用WPP來(lái)編碼一連串視頻圖片中的一個(gè)圖片。所述方法也包括執(zhí)行WPP以產(chǎn)生多個(gè)子流， 所述子流中的每一者包含表示所述圖片的切片中的CTB的一個(gè)經(jīng)編碼行的位的連續(xù)系列。 所述方法也包括產(chǎn)生包含所述多個(gè)子流的經(jīng)譯碼切片網(wǎng)絡(luò)抽象層（NAL)單元。
[0008] 在另一方面，本發(fā)明描述一種包括一或多個(gè)處理器的計(jì)算裝置，所述一或多個(gè)處 理器經(jīng)配置以用信號(hào)發(fā)出使用WPP來(lái)編碼一連串視頻圖片中的一個(gè)圖片。所述一或多個(gè)處 理器也經(jīng)配置以執(zhí)行WPP以產(chǎn)生多個(gè)子流，所述子流中的每一者包含表示所述圖片的切片 中的CTB的一個(gè)經(jīng)編碼行的位的連續(xù)系列。所述一或多個(gè)處理器也經(jīng)配置以產(chǎn)生包含所述 多個(gè)子流的經(jīng)譯碼切片NAL單元。
[0009] 在另一方面，本發(fā)明描述一種計(jì)算裝置，所述計(jì)算裝置包括用于用信號(hào)發(fā)出使用 WPP來(lái)編碼圖片的裝置。所述計(jì)算裝置也包括用于執(zhí)行WPP以產(chǎn)生多個(gè)子流的裝置，所述子 流中的每一者包含表示所述圖片的切片中的CTB的一個(gè)經(jīng)編碼行的位的連續(xù)系列。另外， 所述方法包括用于產(chǎn)生包含所述多個(gè)子流的經(jīng)譯碼切片NAL單元的裝置。
[0010] 在另一方面，本發(fā)明描述一種存儲(chǔ)指令的計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令在由計(jì) 算裝置的一或多個(gè)處理器執(zhí)行時(shí)配置所述計(jì)算裝置以用信號(hào)發(fā)出使用WPP來(lái)編碼圖片。所 述指令也配置所述計(jì)算裝置以執(zhí)行WPP以產(chǎn)生多個(gè)子流，所述子流中的每一者包含表示所 述圖片的切片中的CTB的一個(gè)經(jīng)編碼行的位的連續(xù)系列。另外，所述指令配置所述計(jì)算裝 置以產(chǎn)生包含所述多個(gè)子流的經(jīng)譯碼切片NAL單元。
[0011] 在另一方面，本發(fā)明描述一種用于解碼視頻數(shù)據(jù)的方法。所述方法包括接收包含 經(jīng)譯碼切片NAL單元的位流，所述經(jīng)譯碼切片NAL單元包含多個(gè)子流，所述子流中的每一者 包含表示圖片的切片中的譯碼樹(shù)塊（CTB)的一行的位的連續(xù)系列。所述方法也包括基于所 述位流中的語(yǔ)法元素而確定所述切片是使用WPP編碼。另外，所述方法包括使用WPP來(lái)解 碼所述切片。
[0012] 在另一方面，本發(fā)明描述一種包括一或多個(gè)處理器的計(jì)算裝置，所述一或多個(gè)處 理器經(jīng)配置以接收包含經(jīng)譯碼切片NAL單元的位流，所述經(jīng)譯碼切片NAL單元包含多個(gè)子 流，所述子流中的每一者包含表示圖片的切片中的CTB的一行的位的連續(xù)系列。所述一或 多個(gè)處理器也經(jīng)配置以基于所述位流中的一或多個(gè)語(yǔ)法元素而確定所述切片是使用WPP 編碼。另外，所述一或多個(gè)處理器經(jīng)配置以使用WPP來(lái)解碼所述切片。
[0013] 在另一方面，本發(fā)明描述一種計(jì)算裝置，所述計(jì)算裝置包括用于接收包含經(jīng)譯碼 切片NAL單元的位流的裝置，所述經(jīng)譯碼切片NAL單元包含多個(gè)子流，所述子流中的每一者 包含表示圖片的切片中的CTB的一行的位的連續(xù)系列。所述計(jì)算裝置也包括用于基于所述 位流中的一或多個(gè)語(yǔ)法元素而確定所述切片是使用WPP編碼的裝置。所述計(jì)算裝置也包括 用于使用WPP解碼所述切片的裝置。
[0014] 在另一方面，本發(fā)明描述一種存儲(chǔ)指令的計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令在由計(jì) 算裝置的一或多個(gè)處理器執(zhí)行時(shí)配置所述計(jì)算裝置以接收包含經(jīng)譯碼切片NAL單元的位 流，所述經(jīng)譯碼切片NAL單元包含多個(gè)子流，所述子流中的每一者包含表示圖片的切片中 的CTB的一行的位的連續(xù)系列。所述指令也配置所述計(jì)算裝置以基于所述位流中的一或多 個(gè)語(yǔ)法元素而確定所述切片是使用WPP編碼。另外，所述指令配置所述計(jì)算裝置以使用WPP 解碼所述切片。
[0015] 本發(fā)明的一或多個(gè)實(shí)例的細(xì)節(jié)陳述于隨附圖式和以下描述中。其它特征、目標(biāo)和 優(yōu)勢(shì)將自描述、圖式和權(quán)利要求書而顯而易見(jiàn)。

【專利附圖】

【附圖說(shuō)明】
[0016] 圖1為說(shuō)明可利用本發(fā)明中所描述的技術(shù)的實(shí)例視頻譯碼系統(tǒng)的框圖。
[0017] 圖2為說(shuō)明可實(shí)施本發(fā)明中所描述的技術(shù)的實(shí)例視頻編碼器的框圖。
[0018] 圖3為說(shuō)明可實(shí)施本發(fā)明中所描述的技術(shù)的實(shí)例視頻解碼器的框圖。
[0019] 圖4為說(shuō)明根據(jù)本發(fā)明的一或多個(gè)方面的用于編碼視頻數(shù)據(jù)的視頻編碼器的實(shí) 例操作的流程圖，其中不允許單一圖片內(nèi)的圖像塊與波前平行處理（WPP)的組合。
[0020] 圖5為說(shuō)明根據(jù)本發(fā)明的一或多個(gè)方面的用于解碼視頻數(shù)據(jù)的視頻解碼器的實(shí) 例操作的流程圖，其中不允許單一圖片內(nèi)的圖像塊與WPP的組合。
[0021] 圖6為說(shuō)明根據(jù)本發(fā)明的一或多個(gè)方面的用于解碼視頻數(shù)據(jù)的視頻解碼器的另 一實(shí)例操作的流程圖，其中不允許單一圖片內(nèi)的圖像塊與WPP的組合。
[0022] 圖7為說(shuō)明根據(jù)本發(fā)明的一或多個(gè)方面的用于編碼視頻數(shù)據(jù)的視頻編碼器的實(shí) 例操作的流程圖，其中圖片的譯碼樹(shù)塊（CTB)的每一行在單獨(dú)子流中。
[0023] 圖8為說(shuō)明根據(jù)本發(fā)明的一或多個(gè)方面的用于解碼視頻數(shù)據(jù)的視頻解碼器的實(shí) 例操作的流程圖，其中圖片的CTB的每一行在單獨(dú)子流中。
[0024] 圖9A為說(shuō)明根據(jù)本發(fā)明的一或多個(gè)方面的剖析切片數(shù)據(jù)的實(shí)例上下文自適應(yīng)性 二進(jìn)制算術(shù)譯碼（CABAC)剖析過(guò)程的第一部分的流程圖。
[0025] 圖9B為說(shuō)明圖9A的實(shí)例CABAC剖析過(guò)程的接續(xù)部分的流程圖。
[0026] 圖10為說(shuō)明WPP的實(shí)例的概念圖。
[0027] 圖11為說(shuō)明在將圖片分割成多個(gè)圖像塊時(shí)的實(shí)例譯碼次序的概念圖。

【具體實(shí)施方式】
[0028] 在視頻譯碼期間，可將圖片分割成多個(gè)圖像塊、波前平行處理（WPP)波和/或熵切 片。由穿過(guò)圖片的水平和/或垂直圖像塊邊界定義圖片的圖像塊。根據(jù)光柵掃描次序譯碼 圖片的圖像塊，且也根據(jù)光柵掃描次序譯碼每一圖像塊內(nèi)的譯碼樹(shù)塊（CTB)。在WPP中，圖 片中的CTB的每一行為"WPP波"。在視頻譯碼器使用WPP來(lái)譯碼圖片時(shí)，視頻譯碼器可在 視頻譯碼器已譯碼緊接的較高WPP波的兩個(gè)或兩個(gè)以上CTB之后，開(kāi)始自左到右譯碼WPP 波的CTB。熵切片可包含根據(jù)光柵掃描次序的一系列連續(xù)CTB。來(lái)自跨越熵切片邊界的信 息的使用被禁止用于選擇熵譯碼上下文，但可被允許用于達(dá)成其它目的。
[0029] 在現(xiàn)有視頻譯碼系統(tǒng)中，圖片可具有圖像塊、WPP波和熵切片的任何組合。例如， 可將圖片分割成多個(gè)圖像塊。在此實(shí)例中，可根據(jù)光柵掃描次序譯碼圖像塊中的一些圖像 塊中的CTB，而可使用WPP來(lái)譯碼圖像塊中的其它圖像塊中的CTB。允許圖片包含圖像塊、 WPP波和熵切片的組合可不必要地增加這些視頻譯碼系統(tǒng)的實(shí)施方案復(fù)雜度和成本。
[0030] 本發(fā)明的技術(shù)可解決此問(wèn)題。即，根據(jù)本發(fā)明的技術(shù)，不允許在圖片內(nèi)的兩個(gè)或兩 個(gè)以上圖像塊、WPP波和熵切片中的任一者的組合。例如，視頻編碼器可產(chǎn)生包含語(yǔ)法元素 的位流，所述語(yǔ)法元素指示根據(jù)第一譯碼模式或是第二譯碼模式來(lái)編碼圖片。在所述第一 譯碼模式中，使用WPP來(lái)完整地編碼所述圖片。在所述第二譯碼模式中，所述圖片具有一或 多個(gè)圖像塊，且在不使用WPP的情況下編碼所述圖片的每一圖像塊。
[0031] 此外，在此實(shí)例中，視頻解碼器可自包含圖片的經(jīng)譯碼表示的位流剖析語(yǔ)法元素。 響應(yīng)于確定所述語(yǔ)法元素具有特定值，所述視頻解碼器可使用WPP來(lái)完整地解碼所述圖 片。響應(yīng)于確定所述語(yǔ)法元素不具有所述特定值，所述視頻解碼器可在不使用WPP的情況 下解碼所述圖片的每一圖像塊。圖片可具有一或多個(gè)圖像塊。

【專利附圖】

【附圖說(shuō)明】 [0032] 實(shí)例。在附圖中由參考數(shù)字指示的元件對(duì)應(yīng)于以下描述中通過(guò)相似參考 數(shù)字指示的元件。在本發(fā)明中，具有以序數(shù)詞（例如，"第一"、"第二"、"第三"等）開(kāi)始的 名稱的元件未必暗示元件具有特定次序。相反地，這些序數(shù)詞僅用以指相同或類似類型的 不同元件。
[0033] 圖1為說(shuō)明可利用本發(fā)明的技術(shù)的實(shí)例視頻譯碼系統(tǒng)10的框圖。如本文中所描 述地使用，術(shù)語(yǔ)"視頻譯碼器"一般地指視頻編碼器與視頻解碼器兩者。在本發(fā)明中，術(shù)語(yǔ) "視頻譯碼"或"譯碼"可一般地指視頻編碼或視頻解碼。
[0034] 如圖1中所展示，視頻譯碼系統(tǒng)10包含源裝置12和目的地裝置14。源裝置12產(chǎn) 生經(jīng)編碼視頻數(shù)據(jù)。因此，源裝置12可被稱作視頻編碼裝置或視頻編碼設(shè)備。目的地裝置 14可解碼由源裝置12產(chǎn)生的經(jīng)編碼視頻數(shù)據(jù)。因此，目的地裝置14可被稱作視頻解碼裝 置或視頻解碼設(shè)備。源裝置12和目的地裝置14可為視頻譯碼裝置或視頻譯碼設(shè)備的實(shí)例。 源裝置12和目的地裝置14可包括廣泛范圍的裝置，包含桌上型計(jì)算機(jī)、移動(dòng)計(jì)算裝置、筆 記型（例如，膝上型）計(jì)算機(jī)、平板計(jì)算機(jī)、機(jī)頂盒、例如所謂的"智能型"電話的電話手持 機(jī)、電視、相機(jī)、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺(tái)、車載計(jì)算機(jī)或類似者。
[0035] 目的地裝置14可經(jīng)由信道16自源裝置12接收經(jīng)編碼視頻數(shù)據(jù)。信道16可包括 能夠?qū)⒔?jīng)編碼視頻數(shù)據(jù)自源裝置12移動(dòng)到目的地裝置14的一或多個(gè)媒體和/或裝置。在 一個(gè)實(shí)例中，信道16可包括使源裝置12能夠?qū)崟r(shí)將經(jīng)編碼視頻數(shù)據(jù)直接傳輸?shù)侥康牡匮b 置14的一或多個(gè)通信媒體。在此實(shí)例中，源裝置12可根據(jù)例如無(wú)線通信協(xié)議的通信標(biāo)準(zhǔn) 調(diào)制經(jīng)編碼視頻數(shù)據(jù)，且可將經(jīng)調(diào)制視頻數(shù)據(jù)傳輸?shù)侥康牡匮b置14。一或多個(gè)通信媒體可 包含無(wú)線和/或有線通信媒體，例如射頻（RF)頻譜或一或多個(gè)物理傳輸線。一或多個(gè)通信 媒體可形成基于包的網(wǎng)絡(luò)（例如，局域網(wǎng)、廣域網(wǎng)或全球網(wǎng)絡(luò)（例如，因特網(wǎng)））的部分。一 或多個(gè)通信媒體可包含路由器、交換器、基站或促進(jìn)自源裝置12到目的地裝置14的通信的 其它裝備。
[0036] 在另一實(shí)例中，信道16可包含存儲(chǔ)由源裝置12產(chǎn)生的經(jīng)編碼視頻數(shù)據(jù)的存儲(chǔ)媒 體。在此實(shí)例中，目的地裝置14可經(jīng)由磁盤存取或卡存取來(lái)存取存儲(chǔ)媒體。存儲(chǔ)媒體可包 含多種本地存取的數(shù)據(jù)存儲(chǔ)媒體，例如，藍(lán)光光盤、DVD、⑶-ROM、快閃存儲(chǔ)器或用于存儲(chǔ)經(jīng) 編碼視頻數(shù)據(jù)的其它合適數(shù)字存儲(chǔ)媒體。
[0037] 在另一實(shí)例中，信道16可包含存儲(chǔ)由源裝置12產(chǎn)生的經(jīng)編碼視頻的文件服務(wù)器 或另一中間存儲(chǔ)裝置。在此實(shí)例中，目的地裝置14可經(jīng)由流式傳輸或下載來(lái)存取存儲(chǔ)于文 件服務(wù)器或其它中間存儲(chǔ)裝置處的經(jīng)編碼視頻數(shù)據(jù)。文件服務(wù)器可為能夠存儲(chǔ)經(jīng)編碼視頻 數(shù)據(jù)且將經(jīng)編碼視頻數(shù)據(jù)傳輸?shù)侥康牡匮b置14的類型的服務(wù)器。實(shí)例文件服務(wù)器包含頁(yè) 面服務(wù)器（例如，用于網(wǎng)站）、文件傳送協(xié)議（FTP)服務(wù)器、網(wǎng)絡(luò)附接存儲(chǔ)（NAS)裝置和本地 磁盤機(jī)。
[0038] 目的地裝置14可經(jīng)由例如因特網(wǎng)連接的標(biāo)準(zhǔn)數(shù)據(jù)連接存取經(jīng)編碼視頻數(shù)據(jù)。數(shù) 據(jù)連接的實(shí)例類型包含適合于存取存儲(chǔ)于文件服務(wù)器上的經(jīng)編碼視頻數(shù)據(jù)的無(wú)線信道 (例如，Wi-Fi連接）、有線連接（例如，DSL、纜線調(diào)制解調(diào)器等）或無(wú)線信道與有線連接兩 者的組合。經(jīng)編碼視頻數(shù)據(jù)自文件服務(wù)器的傳輸可為流式傳輸、下載傳輸或流式傳輸與下 載傳輸兩者的組合。
[0039] 本發(fā)明的技術(shù)不限于無(wú)線應(yīng)用或設(shè)定。所述技術(shù)可應(yīng)用于視頻譯碼以支持多種多 媒體應(yīng)用，例如，空中電視廣播、有線電視傳輸、衛(wèi)星電視傳輸、流式傳輸視頻傳輸（例如， 經(jīng)由因特網(wǎng)）、編碼視頻數(shù)據(jù)以用于存儲(chǔ)于數(shù)據(jù)存儲(chǔ)媒體上、解碼存儲(chǔ)于數(shù)據(jù)存儲(chǔ)媒體上的 視頻數(shù)據(jù)或其它應(yīng)用。在一些實(shí)例中，視頻譯碼系統(tǒng)10可經(jīng)配置以支持單向或雙向視頻傳 輸以支持例如視頻流式傳輸、視頻播放、視頻廣播和/或視頻電話的應(yīng)用。
[0040] 在圖1的實(shí)例中，源裝置12包含視頻源18、視頻編碼器20和輸出接口 22。在一 些實(shí)例中，輸出接口 22可包含調(diào)制器/解調(diào)制器（調(diào)制解調(diào)器）和/或發(fā)射器。視頻源18 可包含視頻俘獲裝置（例如，攝像機(jī)）、含有先前俘獲的視頻數(shù)據(jù)的視頻存檔、自視頻內(nèi)容 提供者接收視頻數(shù)據(jù)的視頻饋入接口和/或用于產(chǎn)生視頻數(shù)據(jù)的計(jì)算機(jī)圖形系統(tǒng)，或這些 視頻數(shù)據(jù)源的組合。
[0041] 視頻編碼器20可編碼來(lái)自視頻源18的視頻數(shù)據(jù)。在一些實(shí)例中，源裝置12經(jīng)由 輸出接口 22將經(jīng)編碼視頻數(shù)據(jù)直接傳輸?shù)侥康牡匮b置14。經(jīng)編碼視頻數(shù)據(jù)也可存儲(chǔ)到存 儲(chǔ)媒體或文件服務(wù)器上以供稍后由目的地裝置14存取以用于解碼和/或播放。
[0042] 在圖1的實(shí)例中，目的地裝置14包含輸入接口 28、視頻解碼器30和顯示裝置32。 在一些實(shí)例中，輸入接口 28包含接收器和/或調(diào)制解調(diào)器。輸入接口 28可經(jīng)由信道16接 收經(jīng)編碼視頻數(shù)據(jù)。顯示裝置32可與目的地裝置14集成或可在目的地裝置14外部。大 體來(lái)說(shuō)，顯示裝置32顯示經(jīng)解碼視頻數(shù)據(jù)。顯示裝置32可包括多種顯示裝置，例如，液晶 顯示器（LCD)、等離子顯示器、有機(jī)發(fā)光二極管（0LED)顯示器或另一類型的顯示裝置。
[0043] 視頻編碼器20和視頻解碼器30可根據(jù)例如目前在開(kāi)發(fā)中的高效率視頻譯碼 (HEVC)標(biāo)準(zhǔn)的視頻壓縮標(biāo)準(zhǔn)操作，且可遵照HEVC測(cè)試模型（HM)。被稱作"HEVC工作草案5" 或"WD5"的即將到來(lái)的HEVC標(biāo)準(zhǔn)的草案描述于布羅斯（Bross)等人的"WD5 :高效率視頻譯 碼的工作草案 5 (WD5 :Working Draft 5 of High-Efficiency Video Coding)，，（ITU-T SG16WP3 和IS0/IEC JTC1/SC29/WG11視頻譯碼聯(lián)合協(xié)作小組（JCT-VC)于2011年11月在瑞士日內(nèi) 瓦的第7次會(huì)議）中，所述草案可自2012年10月10日起自http://phenix. int-evry. fr/ jct/doc_end_user/documents/7_Geneva/wgll/JCTVC-G1103_v3· zip 下載，所述草案的全 部?jī)?nèi)容以引用的方式并入本文中。被稱作" HEVC工作草案9 "的即將到來(lái)的HEVC標(biāo)準(zhǔn)的另一 草案描述于布羅斯等人的"高效率視頻譯碼（HEVC)文本規(guī)范草案9 (High Efficiency Video Coding (HEVC) text specification draft9) "（ITU-T SG16WP3 和 IS0/IEC JTC1/SC29/WG11 視 頻譯碼聯(lián)合協(xié)作小組（JCT-VC)于2012年10月在中國(guó)上海的第11次會(huì)議）中，所述草案可 [=| 2012^11^ 7 H^3[=| http://phenix. int-evry. fr/jet/doc_end_user/documents/ll_ Shanghai/wgll/JCTVC-K1003-v8. zip下載，所述草案的全部?jī)?nèi)容被以引用的方式并入本文 中。
[0044] 替代地，視頻編碼器20和視頻解碼器30可根據(jù)其它專有或工業(yè)標(biāo)準(zhǔn)來(lái)操作， 其它專有或工業(yè)標(biāo)準(zhǔn)包含 ITU-T H. 261、IS0/IEC MPEG-lVisual、ITU-T H. 262 或 IS0/IEC MPEG-2Visual、ITU-T Η· 263、ISO/IEC MPEG-4Visual 和 ITU-T H. 264(也被稱為 ISO/IEC MPEG-4AVC)，包含其可調(diào)式視頻譯碼（SVC)和多視圖視頻譯碼（MVC)擴(kuò)展。然而，本發(fā)明的 技術(shù)不限于任何特定譯碼標(biāo)準(zhǔn)或技術(shù)。
[0045] 此外，圖1僅為實(shí)例且本發(fā)明的技術(shù)可應(yīng)用于未必包含編碼裝置與解碼裝置之間 的任何數(shù)據(jù)通信的視頻譯碼設(shè)定（例如，視頻編碼或視頻解碼）。在其它實(shí)例中，數(shù)據(jù)是自 本地存儲(chǔ)器檢索，經(jīng)由網(wǎng)絡(luò)而流式傳輸，或類似者。編碼裝置可編碼數(shù)據(jù)且將數(shù)據(jù)存儲(chǔ)到存 儲(chǔ)器，和/或解碼裝置可自存儲(chǔ)器檢索數(shù)據(jù)且解碼數(shù)據(jù)。在許多實(shí)例中，由并不彼此通信而 是簡(jiǎn)單地將數(shù)據(jù)編碼到存儲(chǔ)器和/或自存儲(chǔ)器檢索數(shù)據(jù)且解碼數(shù)據(jù)的裝置執(zhí)行編碼和解 碼。
[0046] 視頻編碼器20和視頻解碼器30各自可實(shí)施為例如以下各者的多種合適電路中的 任一者：一或多個(gè)微處理器、數(shù)字信號(hào)處理器（DSP)、專用集成電路（ASIC)、現(xiàn)場(chǎng)可編程門 陣列（FPGA)、離散邏輯、硬件或其任何組合。如果部分地以軟件實(shí)施技術(shù)，那么裝置可將軟 件的指令存儲(chǔ)于合適的非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體中且可使用一或多個(gè)處理器以硬件 執(zhí)行指令，以執(zhí)行本發(fā)明的技術(shù)。前文中的任一者（包含硬件、軟件、硬件與軟件的組合等） 可被視為一或多個(gè)處理器。視頻編碼器20和視頻解碼器30中的每一者可包含于一或多個(gè) 編碼器或解碼器中，編碼器或解碼器中的任一者可作為組合式編碼器/解碼器（CODEC)的 部分而集成于相應(yīng)裝置中。
[0047] 本發(fā)明可大體上提到視頻編碼器20將某些信息"用信號(hào)發(fā)出"到例如視頻解碼器 30的另一裝置。術(shù)語(yǔ)"用信號(hào)發(fā)出"大體上可指語(yǔ)法元素和/或表示經(jīng)編碼視頻數(shù)據(jù)的其 它數(shù)據(jù)的傳達(dá)。此傳達(dá)可實(shí)時(shí)地或近實(shí)時(shí)地發(fā)生。交替地，此傳達(dá)可在時(shí)間跨度內(nèi)發(fā)生，例 如，可在編碼時(shí)在將語(yǔ)法元素存儲(chǔ)到計(jì)算機(jī)可讀存儲(chǔ)媒體時(shí)在經(jīng)編碼位流中發(fā)生，接著可 在將語(yǔ)法元素存儲(chǔ)到此媒體之后的任何時(shí)間由解碼裝置檢索語(yǔ)法元素。
[0048] 如上文簡(jiǎn)要地提及，視頻編碼器20編碼視頻數(shù)據(jù)。視頻數(shù)據(jù)可包括一或多個(gè)圖 片。圖片中的每一者可為靜態(tài)圖像。在一些例子中，圖片可被稱作視頻"幀"。視頻編碼器 20可產(chǎn)生包含形成視頻數(shù)據(jù)的經(jīng)譯碼表示的位序列的位流。位流可包含經(jīng)譯碼圖片和相關(guān) 聯(lián)的數(shù)據(jù)。經(jīng)譯碼圖片為圖片的經(jīng)譯碼表示。相關(guān)聯(lián)的數(shù)據(jù)可包含序列參數(shù)集（SPS)、圖片 參數(shù)集（PPS)和其它語(yǔ)法結(jié)構(gòu)。SPS可含有適用于圖片的零個(gè)或零個(gè)以上序列的參數(shù)。PPS 可含有適用于零個(gè)或零個(gè)以上圖片的參數(shù)。
[0049] 為了產(chǎn)生圖片的經(jīng)編碼表示，視頻編碼器20可將圖片分割成譯碼樹(shù)塊（CTB)的柵 格。在一些例子中，CTB可被稱作"樹(shù)塊"、"最大譯碼單元"（IXU)或"譯碼樹(shù)單元"。HEVC 的CTB可廣泛地類似于例如H. 264/AVC的先前標(biāo)準(zhǔn)的宏塊。然而，CTB未必限于特定大小 且可包含一或多個(gè)譯碼單元（⑶）。
[0050] CTB中的每一者可與圖片內(nèi)的大小相等的不同像素塊相關(guān)聯(lián)。每一像素可包括一 個(gè)明度（luminance或luma)樣本和兩個(gè)色度（chrominance或chroma)樣本。因此，每一 CTB可與明度樣本的一個(gè)塊和色度樣本的兩個(gè)塊相關(guān)聯(lián)。為了便于解釋，本發(fā)明可將像素的 二維陣列稱作像素塊且可將樣本的二維陣列稱作樣本塊。視頻編碼器20可使用四分樹(shù)分 割來(lái)將與CTB相關(guān)聯(lián)的像素塊分割成與CU相關(guān)聯(lián)的像素塊（因此名稱為"譯碼樹(shù)塊"）。
[0051] 可將圖片的CTB分群成一或多個(gè)切片。在一些實(shí)例中，切片中的每一者包含整數(shù) 數(shù)目個(gè)CTB。作為編碼圖片的部分，視頻編碼器20可產(chǎn)生圖片的每一切片的經(jīng)編碼表示 (即，經(jīng)譯碼切片）。為了產(chǎn)生經(jīng)譯碼切片，視頻編碼器20可編碼切片的每一 CTB以產(chǎn)生切 片的CTB中的每一者的經(jīng)編碼表示（即，經(jīng)譯碼CTB)。
[0052] 為了產(chǎn)生經(jīng)譯碼CTB，視頻編碼器20可對(duì)與CTB相關(guān)聯(lián)的像素塊遞回地執(zhí)行四分 樹(shù)分割以將像素塊劃分成逐步減小的像素塊。較小像素塊中的每一者可與CU相關(guān)聯(lián)。經(jīng) 分割CU可為像素塊經(jīng)分割成與其它CU相關(guān)聯(lián)的像素塊的CU。未經(jīng)分割CU可為像素塊未 經(jīng)分割成與其它⑶相關(guān)聯(lián)的像素塊的⑶。
[0053] 視頻編碼器20可針對(duì)每一未經(jīng)分割⑶產(chǎn)生一或多個(gè)預(yù)測(cè)單元（PU)。⑶的PU中 的每一者可與⑶的像素塊內(nèi)的一不同像素塊相關(guān)聯(lián)。視頻編碼器20可針對(duì)⑶的每一 PU 產(chǎn)生預(yù)測(cè)性像素塊。PU的預(yù)測(cè)性像素塊可為像素的塊。
[0054] 視頻編碼器20可使用幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)來(lái)產(chǎn)生PU的預(yù)測(cè)性像素塊。如果視頻 編碼器20使用幀內(nèi)預(yù)測(cè)來(lái)產(chǎn)生PU的預(yù)測(cè)性像素塊，那么視頻編碼器20可基于與PU相關(guān) 聯(lián)的圖片的經(jīng)解碼像素而產(chǎn)生PU的預(yù)測(cè)性像素塊。如果視頻編碼器20使用幀間預(yù)測(cè)來(lái)產(chǎn) 生PU的預(yù)測(cè)性像素塊，那么視頻編碼器20可基于不同于與PU相關(guān)聯(lián)的圖片的一或多個(gè)圖 片的經(jīng)解碼像素而產(chǎn)生PU的預(yù)測(cè)性像素塊。
[0055] 視頻編碼器20可基于⑶的PU的預(yù)測(cè)性像素塊而產(chǎn)生⑶的殘余像素塊。⑶的殘 余像素塊可指示CU的PU的預(yù)測(cè)性像素塊中的樣本與CU的原始像素塊中的對(duì)應(yīng)樣本之間 的差。
[0056] 此外，作為編碼未經(jīng)分割⑶的部分，視頻編碼器20可對(duì)⑶的殘余像素塊執(zhí)行遞 回四分樹(shù)分割以將CU的殘余像素塊分割成與CU的變換單元（TU)相關(guān)聯(lián)的一或多個(gè)較小 殘余像素塊。因?yàn)榕cTU相關(guān)聯(lián)的像素塊中的像素各自包含一個(gè)明度樣本和兩個(gè)色度樣本， 所以TU中的每一者可與明度樣本的一個(gè)殘余樣本塊和色度樣本的兩個(gè)殘余樣本塊相關(guān) 聯(lián)。
[0057] 視頻譯碼器20可對(duì)與TU相關(guān)聯(lián)的殘余樣本塊應(yīng)用一或多個(gè)變換以產(chǎn)生系數(shù)塊 (即，系數(shù)的塊）。視頻編碼器20可對(duì)系數(shù)塊中的每一者執(zhí)行量化過(guò)程。量化大體上指對(duì) 系數(shù)進(jìn)行量化以可能減少用以表示系數(shù)的數(shù)據(jù)的量從而提供進(jìn)一步壓縮的過(guò)程。
[0058] 視頻編碼器20可產(chǎn)生表示經(jīng)量化系數(shù)塊中的系數(shù)的語(yǔ)法元素的集合。視頻編碼 器20可將例如上下文自適應(yīng)性二進(jìn)制算術(shù)譯碼（CABAC)操作的熵編碼操作應(yīng)用于這些語(yǔ) 法元素中的至少一些語(yǔ)法元素。作為執(zhí)行熵編碼操作的部分，視頻編碼器20可選擇譯碼上 下文。在CABAC的狀況下，譯碼上下文可指示值0和值1分格的概率。
[0059] 由視頻編碼器20產(chǎn)生的位流可包含一系列網(wǎng)絡(luò)抽象層（NAL)單元。NAL單元中的 每一者可為含有NAL單元中的數(shù)據(jù)的類型的指示和含有數(shù)據(jù)的字節(jié)的語(yǔ)法結(jié)構(gòu)。例如，NAL 單元可含有表示SPS、PPS、經(jīng)譯碼切片、補(bǔ)充增強(qiáng)信息（SEI)、存取單元定界符、填充數(shù)據(jù)或 另一類型的數(shù)據(jù)的數(shù)據(jù)。經(jīng)譯碼切片NAL單元為包含經(jīng)譯碼切片的NAL單元。
[0060] 視頻解碼器30可接收位流。位流可包含由視頻編碼器20編碼的視頻數(shù)據(jù)的經(jīng)譯 碼表示。視頻解碼器30可剖析位流以自位流提取語(yǔ)法元素。作為自位流提取一些語(yǔ)法元 素的部分，視頻解碼器30可熵解碼（例如，CABAC解碼、指數(shù)哥倫布解碼等）位流中的數(shù)據(jù)。 視頻解碼器30可基于自位流提取的語(yǔ)法元素而重構(gòu)建視頻數(shù)據(jù)的圖片。
[0061] 基于語(yǔ)法元素而重構(gòu)建視頻數(shù)據(jù)的過(guò)程可與由視頻編碼器20執(zhí)行以產(chǎn)生語(yǔ)法元 素的過(guò)程大體上互逆。例如，視頻解碼器30可基于與CU相關(guān)聯(lián)的語(yǔ)法元素而產(chǎn)生CU的PU 的預(yù)測(cè)性像素塊。另外，視頻解碼器30可對(duì)與CU的TU相關(guān)聯(lián)的系數(shù)塊進(jìn)行反量化。視頻 解碼器30可對(duì)系數(shù)塊執(zhí)行反變換以重構(gòu)建與CU的TU相關(guān)聯(lián)的殘余像素塊。視頻解碼器 30可基于預(yù)測(cè)性像素塊和殘余像素塊而重構(gòu)建CU的像素塊。
[0062] 在一些實(shí)例中，視頻編碼器20可將圖片劃分成多個(gè)熵切片。本發(fā)明可使用術(shù)語(yǔ) "規(guī)則切片"來(lái)區(qū)分切片與熵切片。熵切片可包含規(guī)則切片的CU的子集。在一些實(shí)例中，視 頻編碼器20可在熵切片當(dāng)中分割CU，以使得熵切片中無(wú)一者包含比上限多的分格（例如， 經(jīng)熵譯碼位）。在單獨(dú)NAL單元中可包含每一熵切片。
[0063] 在本發(fā)明中，圖片中預(yù)測(cè)可指使用與圖片的第一單元（例如，CTB、CU、PU等）相關(guān) 聯(lián)的信息以用于譯碼同一圖片的第二單元。允許跨越熵切片邊界的圖片中預(yù)測(cè)，用于達(dá)成 熵譯碼的目的除外。例如，如果視頻譯碼器（例如，視頻編碼器20或視頻解碼器30)正對(duì) 特定PU執(zhí)行幀內(nèi)預(yù)測(cè)，那么視頻譯碼器可使用來(lái)自相鄰TO的樣本，即使相鄰PU在不同于 特定TO的熵切片中也如此。在此實(shí)例中，如果相鄰PU在不同于特定PU的切片中，那么視 頻譯碼器可能不能夠使用來(lái)自相鄰PU的樣本。
[0064] 然而，在視頻譯碼器正對(duì)與特定TO相關(guān)聯(lián)的數(shù)據(jù)執(zhí)行熵譯碼時(shí)，如果特定PU與相 鄰PU在相同熵切片中，那么僅允許視頻譯碼器基于與相鄰ro相關(guān)聯(lián)的信息而選擇譯碼上 下文。因?yàn)榇讼拗疲砸曨l譯碼器可能能夠?qū)η衅亩鄠€(gè)熵切片平行地執(zhí)行熵譯碼（即， 熵編碼或解碼）操作。因此，視頻解碼器30可能能夠平行地剖析多個(gè)熵切片的語(yǔ)法元素。 然而，視頻解碼器30不能夠平行地重構(gòu)建切片的多個(gè)熵切片的像素塊。
[0065] 如上文所指示，經(jīng)譯碼切片NAL單元可含有經(jīng)譯碼切片。此切片可為熵切片或規(guī) 則切片。經(jīng)譯碼切片NAL單元中的切片標(biāo)頭可包含指示切片為熵切片或是規(guī)則切片的語(yǔ)法 元素（例如，entropy_slice_flag)。例如，如果語(yǔ)法元素等于1，那么經(jīng)譯碼切片NAL單元 中的切片可為熵切片。
[0066] 每一經(jīng)譯碼切片可包含切片標(biāo)頭和切片數(shù)據(jù)。熵切片的切片標(biāo)頭可不同于規(guī)則切 片的切片標(biāo)頭。例如，熵切片的切片標(biāo)頭中的語(yǔ)法元素可包含規(guī)則切片的切片標(biāo)頭中的語(yǔ) 法元素的子集。因?yàn)殪厍衅那衅瑯?biāo)頭包含比規(guī)則切片的切片標(biāo)頭少的語(yǔ)法元素，所以熵 切片也可被稱作輕型切片、具有短切片標(biāo)頭的切片或短切片。熵切片可自按解碼次序在熵 切片之前的規(guī)則切片的切片標(biāo)頭繼承自熵切片的切片標(biāo)頭省略的語(yǔ)法元素。
[0067] 按照慣例，視頻編碼器針對(duì)每一熵切片產(chǎn)生單獨(dú)NAL單元。常常以單獨(dú)包在網(wǎng)絡(luò) 上輸送個(gè)別NAL單元。換句話說(shuō)，在經(jīng)由網(wǎng)絡(luò)傳輸NAL單元期間，每一包可存在一個(gè)NAL單 元。此情形對(duì)于含有熵切片的NAL單元來(lái)說(shuō)可為有問(wèn)題的。如果含有包含規(guī)則切片的NAL 單元的包在傳輸期間丟失，那么視頻解碼器30可能不能夠使用自規(guī)則切片的切片標(biāo)頭繼 承語(yǔ)法元素的熵切片。此外，如果對(duì)于圖片中預(yù)測(cè)，第一熵切片的一或多個(gè)CTB依賴于第二 熵切片的一或多個(gè)CTB，且含有包含第二熵切片的NAL單元的包在傳輸期間丟失，那么視頻 解碼器30可能不能夠解碼第一熵切片的CTB。
[0068] 在一些實(shí)例中，視頻譯碼器可使用波前平行處理（WPP)來(lái)譯碼圖片的至少部分。 下文中詳細(xì)描述的圖9為說(shuō)明WPP的實(shí)例的概念圖。如果視頻譯碼器使用WPP來(lái)譯碼圖片， 那么視頻譯碼器可將圖片的CTB劃分成多個(gè)"WPP波"。WPP波中的每一者可對(duì)應(yīng)于圖片中 的CTB的不同行。如果視頻譯碼器使用WPP來(lái)譯碼圖片，那么視頻譯碼器可開(kāi)始譯碼CTB 的頂行。在視頻譯碼器已譯碼頂行的兩個(gè)或兩個(gè)以上CTB之后，視頻譯碼器可開(kāi)始與譯碼 CTB的頂行平行地譯碼CTB的次頂行。在視頻譯碼器已譯碼次頂行的兩個(gè)或兩個(gè)以上CTB 之后，視頻譯碼器可開(kāi)始與譯碼CTB的較高行平行地譯碼CTB的頂部起第三行。此型樣可 沿圖片中的CTB的行往下繼續(xù)。
[0069] 如果視頻譯碼器正使用WPP，那么只要空間上相鄰的⑶在當(dāng)前CTB的左方、左上 方、上方或右上方，視頻譯碼器便可使用與在當(dāng)前CTB之外的空間上相鄰的CU相關(guān)聯(lián)的信 息來(lái)對(duì)當(dāng)前CTB中的特定CU執(zhí)行圖片中預(yù)測(cè)。如果當(dāng)前CTB為不同于最頂行的行中的最 左CTB，那么視頻譯碼器可使用與緊接的較高行的第二CTB相關(guān)聯(lián)的信息來(lái)選擇用于CABAC 譯碼當(dāng)前CTB的一或多個(gè)語(yǔ)法元素的上下文。否則，如果當(dāng)前CTB并非行中的最左CTB，那 么視頻譯碼器可使用與當(dāng)前CTB左方的CTB相關(guān)聯(lián)的信息來(lái)選擇用于CABAC譯碼當(dāng)前CTB 的一或多個(gè)語(yǔ)法元素的上下文。以此方式，視頻譯碼器可在編碼緊接的較高行的兩個(gè)或兩 個(gè)以上CTB之后，基于緊接的較高行的CABAC狀態(tài)而初始化行的CABAC狀態(tài)。
[0070] 因此，響應(yīng)于確定第一 CTB通過(guò)單一 CTB而與圖片的左邊界分離，視頻譯碼器可存 儲(chǔ)與第一 CTB相關(guān)聯(lián)的上下文變量。視頻譯碼器可至少部分基于與第一 CTB相關(guān)聯(lián)的上下 文變量而熵譯碼（例如，熵編碼或熵解碼）第二CTB的一或多個(gè)語(yǔ)法元素，第二CTB鄰近于 圖片的左邊界且比第一 CTB低一行CTB。
[0071] 甚至在使用WPP時(shí)，仍通常根據(jù)光柵掃描次序?qū)⑶衅慕?jīng)譯碼CTB布置于經(jīng)譯碼 切片NAL單元中。此情形可使實(shí)施WPP的視頻譯碼器的設(shè)計(jì)變得復(fù)雜。在WPP波的數(shù)目大 于1且小于圖片的CTB行的數(shù)目時(shí)，CTB的經(jīng)譯碼位的位流次序（即，在通過(guò)一個(gè)解碼器核 心處理經(jīng)譯碼圖片而非平行地解碼經(jīng)譯碼圖片的情況下的解碼次序）與如下未應(yīng)用WPP時(shí) 的情形相比較來(lái)說(shuō)改變了。按位流/解碼次序較遲的經(jīng)譯碼CTB可能需要由按解碼次序較 早的另一經(jīng)譯碼CTB進(jìn)行圖片中預(yù)測(cè)。此情形可打破無(wú)較早數(shù)據(jù)取決于按位流/解碼次序 較遲到來(lái)的數(shù)據(jù)的位流因果關(guān)系。位流因果關(guān)系已為包含視頻譯碼標(biāo)準(zhǔn)的視頻譯碼設(shè)計(jì)中 的大體遵循的原理。雖然解碼過(guò)程起作用，但在指示在位流中的當(dāng)前位置的位流指標(biāo)可在 與經(jīng)譯碼切片NAL單元相關(guān)聯(lián)的位流的部分內(nèi)前后移動(dòng)時(shí)，解碼過(guò)程可更復(fù)雜。
[0072] 在一些實(shí)例中，視頻編碼器20可將圖片劃分成一或多個(gè)圖像塊。圖像塊可包括圖 片的CTB的非重疊集合。視頻編碼器20可通過(guò)界定兩個(gè)或兩個(gè)以上垂直圖像塊邊界和兩 個(gè)或兩個(gè)以上水平圖像塊邊界而將圖片劃分成圖像塊。圖片的每一垂直側(cè)可為垂直圖像塊 邊界。當(dāng)前圖片的每一水平側(cè)可為水平圖像塊邊界。例如，如果視頻編碼器20界定圖片的 四個(gè)垂直圖像塊邊界和三個(gè)水平圖像塊邊界，那么將當(dāng)前圖片劃分成六個(gè)圖像塊。
[0073] 例如視頻編碼器20或視頻解碼器30的視頻譯碼器可根據(jù)圖像塊掃描次序譯碼圖 片的圖像塊的CTB。為了根據(jù)圖像塊掃描次序譯碼CTB，視頻譯碼器可根據(jù)光柵掃描次序譯 碼圖片的圖像塊。即，視頻譯碼器可按由左到右次序譯碼一行圖像塊中的每一圖像塊，自圖 像塊的頂行開(kāi)始且接著沿圖片向下進(jìn)行。此外，視頻譯碼器可根據(jù)光柵掃描次序譯碼圖像 塊內(nèi)的每一 CTB。以此方式，視頻譯碼器可在譯碼圖片的另一圖像塊的任何CTB之前，譯碼 圖片的給定圖像塊的每一 CTB。換句話說(shuō)，圖像塊掃描次序按圖像塊內(nèi)的CTB光柵掃描次 序遍歷CTB，且按圖片內(nèi)的圖像塊光柵掃描次序遍歷圖像塊。因此，視頻譯碼器譯碼圖片的 CTB的次序在將圖片分割成多個(gè)圖像塊的情況下與在不將圖片分割成多個(gè)圖像塊的情況下 可不同。下文所描述的圖10為說(shuō)明在將圖片分割成多個(gè)圖像塊時(shí)的實(shí)例圖像塊掃描次序 的概念圖。
[0074] 在一些例子中，視頻譯碼器可執(zhí)行跨越圖像塊邊界但不跨越切片邊界的圖片中預(yù) 測(cè)。在其它例子中，禁止跨越圖像塊邊界和切片邊界的圖片中預(yù)測(cè)。在禁止跨越圖像塊邊 界和切片邊界的圖片中預(yù)測(cè)的例子中，視頻譯碼器可能能夠平行地譯碼多個(gè)圖像塊。
[0075] 在一些實(shí)例中，由旗標(biāo)（例如，"tile_boundary_independence_idc"）控制跨越圖 像塊邊界的圖片中預(yù)測(cè)。如果旗標(biāo)等于1，那么在圖片內(nèi)不允許跨越圖像塊邊界的圖片中 預(yù)測(cè)。否則，允許跨越圖像塊邊界的圖片中預(yù)測(cè)，也為圖片邊界或切片邊界的圖像塊邊界除 夕卜。如果允許跨越圖像塊邊界的圖片中預(yù)測(cè)，那么圖像塊的功能性可為與圖片不具有圖像 塊或等效地具有僅一個(gè)圖像塊的狀況相比較來(lái)說(shuō)改變CTB的掃描次序。如果不允許跨越圖 像塊邊界的圖片中預(yù)測(cè)，那么除改變CTB的掃描次序之外，圖像塊也可提供可用于圖像塊 的平行譯碼（編碼和/或解碼）的獨(dú)立分割。因此，如果將圖片分割成至少第一圖像塊和 第二圖像塊，那么在視頻解碼器30在不使用WPP的情況下解碼圖像塊時(shí)，視頻解碼器30可 平行地解碼第一圖像塊的CTB和第二圖像塊的CTB。
[0076] 在一些例子中，可將圖片分割成圖像塊、WPP波和熵切片的組合。例如，可將圖片 分割成圖像塊和WPP波的集合。在另一實(shí)例中，可將圖片分割成兩個(gè)圖像塊和一個(gè)熵切片。 允許圖片內(nèi)的圖像塊、WPP波和熵切片的組合可為有問(wèn)題的，這是因?yàn)樵试S這些組合可增加 視頻編碼器和/或視頻解碼器的復(fù)雜度和成本。
[0077] 本發(fā)明的技術(shù)可解決上文所描述的問(wèn)題。根據(jù)本發(fā)明的技術(shù)，可不將圖片分割成 圖像塊、WPP波和熵切片的任何組合。換句話說(shuō)，可將圖片分割成一或多個(gè)圖像塊，可將圖片 分割成WPP波，或可將圖片分割成一或多個(gè)熵切片。然而，可不將圖片分割成以下組合中的 任一者：（a)圖像塊、WPP波和熵切片、（b)圖像塊和WPP波、（c)圖像塊和熵切片或（d)WPP 波和熵切片。
[0078] 為了實(shí)現(xiàn)此情形，視頻編碼器20可在位流中包含語(yǔ)法元素，所述語(yǔ)法元素指示根 據(jù)第一譯碼模式或是第二譯碼模式來(lái)編碼圖片。在所述第一譯碼模式中，使用WPP來(lái)完整 地編碼所述圖片。即，可將圖片中的每一行CTB編碼為WPP波。在第二譯碼模式中，圖片可 具有一或多個(gè)圖像塊。此外，在所述第二譯碼模式中，可在不使用WPP的情況下編碼所述圖 片的每一圖像塊。例如，在第二譯碼模式中，視頻編碼器20可針對(duì)圖片的每一圖像塊，按跨 越CTB的行自左到右且沿圖像塊的CTB的行向下的次序順序地編碼圖像塊內(nèi)的CTB。為了 便于解釋，此語(yǔ)法元素可在本文中被稱作譯碼模式語(yǔ)法元素。
[0079] 視頻解碼器30可自包含視頻數(shù)據(jù)中的圖片的經(jīng)譯碼表示的位流剖析語(yǔ)法元素。 響應(yīng)于確定所述語(yǔ)法元素具有特定值，視頻解碼器30可使用WPP來(lái)完整地解碼所述圖片。 響應(yīng)于確定所述語(yǔ)法元素不具有所述特定值，視頻解碼器30可在不使用WPP的情況下解碼 所述圖片的每一圖像塊，其中圖片具有一或多個(gè)圖像塊。
[0080] 位流的各個(gè)部分可包含譯碼模式語(yǔ)法元素。例如，視頻編碼器20可產(chǎn)生包含譯碼 模式語(yǔ)法元素的SPS。在此實(shí)例中，視頻解碼器30可從位流剖析包含譯碼模式語(yǔ)法元素的 SPS。在另一實(shí)例中，視頻編碼器20可產(chǎn)生包含譯碼模式語(yǔ)法元素的PPS。在此實(shí)例中，視 頻解碼器30可從位流剖析包含譯碼模式語(yǔ)法元素的PPS。此外，如果根據(jù)第二譯碼模式編 碼圖片，那么位流可包含指示針對(duì)圖片是否啟用熵切片的一或多個(gè)語(yǔ)法元素。位流的各個(gè) 部分可包含指示針對(duì)圖片是否啟用熵切片的一或多個(gè)語(yǔ)法元素。例如，SPS可包含指示針 對(duì)與SPS相關(guān)聯(lián)的圖片啟用熵切片的一或多個(gè)語(yǔ)法元素。在另一實(shí)例中，PPS可包含指示 針對(duì)與PPS相關(guān)聯(lián)的圖片啟用熵切片的一或多個(gè)語(yǔ)法元素。例如，在此實(shí)例中，PPS可包含 指示參考PPS的經(jīng)譯碼切片是否可由熵切片組成的entropy_slice_enabled_flag語(yǔ)法元 素。
[0081] 如果圖片包含一或多個(gè)熵切片，那么與圖片的切片相關(guān)聯(lián)的每一熵切片可包含于 單一經(jīng)譯碼切片NAL單元中，而非包含于單獨(dú)NAL單元中。因此，可將熵切片定義為切片的 子集，其中熵切片的熵解碼過(guò)程獨(dú)立于相同切片中的其它熵切片。
[0082] 如上文簡(jiǎn)要地提及，位流可包含包含經(jīng)譯碼切片的經(jīng)譯碼切片NAL單元。經(jīng)譯碼 切片可包括切片標(biāo)頭和切片數(shù)據(jù)。切片數(shù)據(jù)可包含一或多個(gè)子流。根據(jù)本發(fā)明的技術(shù)，如 果在第一譯碼模式中編碼圖片（即，使用WPP來(lái)完整地編碼圖片），那么由子流中的單一者 來(lái)表示切片的CTB的每一行。如果在第二譯碼模式中編碼圖片（即，在不使用WPP的情況 下編碼圖片的每一圖像塊），那么由子流中的單一子流表示具有切片中的一或多個(gè)CTB的 圖片的每一圖像塊。
[0083] 此外，根據(jù)本發(fā)明的技術(shù)，經(jīng)譯碼切片的切片標(biāo)頭可包含指示經(jīng)譯碼切片NAL單 元的切片數(shù)據(jù)內(nèi)的圖像塊、WPP波或熵切片的入口點(diǎn)的語(yǔ)法元素的集合。子流的入口點(diǎn)可 為子流的第一位。此外，經(jīng)譯碼切片NAL單元的切片數(shù)據(jù)內(nèi)的圖像塊、WPP波或熵切片可包 含確保圖像塊、WPP波或熵切片字節(jié)對(duì)準(zhǔn)的填補(bǔ)位。
[0084] 圖2為說(shuō)明經(jīng)配置以實(shí)施本發(fā)明的技術(shù)的實(shí)例視頻編碼器20的框圖。出于解釋 的目的而提供圖2且不應(yīng)將圖2視為限制如本發(fā)明中廣泛地例示和描述的技術(shù)。出于解釋 的目的，本發(fā)明在HEVC譯碼的情況下描述視頻編碼器20。然而，本發(fā)明的技術(shù)可適用于其 它譯碼標(biāo)準(zhǔn)或方法。
[0085] 在圖2的實(shí)例中，視頻編碼器20包含預(yù)測(cè)處理單元100、殘余產(chǎn)生單元102、變換 處理單元104、量化單元106、反量化單元108、反變換處理單元110、重構(gòu)建單元112、濾波器 單元113、經(jīng)解碼圖片緩沖器114和熵編碼單元116。預(yù)測(cè)處理單元100包含幀間預(yù)測(cè)處理 單元121和幀內(nèi)預(yù)測(cè)處理單元126。幀間預(yù)測(cè)處理單元121包含運(yùn)動(dòng)估計(jì)單元122和運(yùn)動(dòng) 補(bǔ)償單元124。在其它實(shí)例中，視頻編碼器20可包含更多、更少或不同功能組件。
[0086] 視頻編碼器20可接收視頻數(shù)據(jù)。為了編碼視頻數(shù)據(jù)，視頻編碼器20可編碼視頻數(shù) 據(jù)的每一圖片的每一切片。作為編碼切片的部分，視頻編碼器20可編碼切片中的每一 CTB。 作為編碼CTB的部分，預(yù)測(cè)處理單元100可對(duì)與CTB相關(guān)聯(lián)的像素塊執(zhí)行四分樹(shù)分割，以將 像素塊劃分成逐步減小的像素塊。較小像素塊可與CU相關(guān)聯(lián)。例如，預(yù)測(cè)處理單元100可 將CTB的像素塊分割成四個(gè)大小相等的子塊，將子塊中的一或多者分割成四個(gè)大小相等的 子子塊，等等。
[0087] 視頻編碼器20可編碼CTB的⑶以產(chǎn)生⑶的經(jīng)編碼表示（即，經(jīng)譯碼⑶）。視頻 編碼器20可根據(jù)z掃描次序編碼CTB的⑶。換句話說(shuō)，視頻編碼器20可按左上方⑶、右 上方⑶、左下方⑶和接著右下方⑶的彼次序編碼所述⑶。在視頻編碼器20編碼經(jīng)分割 CU時(shí)，視頻編碼器20可根據(jù)z掃描次序編碼與經(jīng)分割CU的像素塊的子塊相關(guān)聯(lián)的CU。
[0088] 作為編碼⑶的部分，預(yù)測(cè)處理單元100可在⑶的一或多個(gè)TO當(dāng)中分割⑶的像素 塊。視頻編碼器20和視頻解碼器30可支持各種PU大小。假定特定CU的大小為2NX2N， 視頻編碼器20和視頻解碼器30可支持2NX 2N或NXN的PU大小以供幀內(nèi)預(yù)測(cè)，且支持 2NX 2N、2NX N、NX 2N、NX N或類似大小的對(duì)稱PU大小以供幀間預(yù)測(cè)。視頻編碼器20和視 頻解碼器30也可支持對(duì)2NXnU、2NXnD、nLX 2N和nRX 2N的PU大小的非對(duì)稱分割以供幀 間預(yù)測(cè)。
[0089] 幀間預(yù)測(cè)處理單元121可通過(guò)對(duì)⑶的每一 PU執(zhí)行幀間預(yù)測(cè)來(lái)產(chǎn)生PU的預(yù)測(cè)性 數(shù)據(jù)。PU的預(yù)測(cè)性數(shù)據(jù)可包含對(duì)應(yīng)于ro的預(yù)測(cè)性像素塊和PU的運(yùn)動(dòng)信息。切片可為I切 片、P切片或B切片。幀間預(yù)測(cè)單元121可取決于PU在I切片中、在P切片中或是在B切 片中而對(duì)CU的PU執(zhí)行不同操作。在I切片中，對(duì)所有PU進(jìn)行幀內(nèi)預(yù)測(cè)。因此，如果PU在 I切片中，那么幀間預(yù)測(cè)單元121不對(duì)TO執(zhí)行幀間預(yù)測(cè)。
[0090] 如果TO在P切片中，那么運(yùn)動(dòng)估計(jì)單元122可搜索參考圖片列表（例如，"列表 〇"）中的參考圖片以查找PU的參考?jí)K。PU的參考?jí)K可為最緊密地對(duì)應(yīng)于PU的像素塊的像 素塊。運(yùn)動(dòng)估計(jì)單兀122可廣生指不含有HJ的參考?jí)K的列表0中的參考圖片的參考圖片 索引，和指示PU的像素塊與參考?jí)K之間的空間位移的運(yùn)動(dòng)向量。運(yùn)動(dòng)估計(jì)單元122可輸出 參考圖片索引和運(yùn)動(dòng)向量作為PU的運(yùn)動(dòng)信息。運(yùn)動(dòng)補(bǔ)償單元124可基于通過(guò)PU的運(yùn)動(dòng)信 息指示的參考?jí)K而產(chǎn)生TO的預(yù)測(cè)性像素塊。
[0091] 如果PU在B切片中，那么運(yùn)動(dòng)估計(jì)單元122可對(duì)PU執(zhí)行單向幀間預(yù)測(cè)或雙向幀 間預(yù)測(cè)。為了對(duì)PU執(zhí)行單向幀間預(yù)測(cè)，運(yùn)動(dòng)估計(jì)單元122可搜索第一參考圖片列表（"列 表0"）或第二參考圖片列表（"列表1"）的參考圖片以查找PU的參考?jí)K。運(yùn)動(dòng)估計(jì)單元 122可輸出以下各者作為PU的運(yùn)動(dòng)信息：指示參考圖片的列表0或列表1中含有參考?jí)K的 位置的參考圖片索引、指示PU的像素塊與參考?jí)K之間的空間位移的運(yùn)動(dòng)向量，和指示參考 圖片在列表0或是列表1中的預(yù)測(cè)方向指示符。
[0092] 為了對(duì)TO執(zhí)行雙向幀間預(yù)測(cè)，運(yùn)動(dòng)估計(jì)單元122可搜索列表0中的參考圖片以查 找PU的參考?jí)K，且也可搜索列表1中的參考圖片以查找PU的另一參考?jí)K。運(yùn)動(dòng)估計(jì)單元 122可產(chǎn)生指示參考圖片的列表0和列表1中含有參考?jí)K的位置的參考圖片索引。另外，運(yùn) 動(dòng)估計(jì)單元122可產(chǎn)生指示參考?jí)K與PU的像素塊之間的空間位移的運(yùn)動(dòng)向量。PU的運(yùn)動(dòng) 信息可包含PU的參考圖片索引和運(yùn)動(dòng)向量。運(yùn)動(dòng)補(bǔ)償單元124可基于通過(guò)PU的運(yùn)動(dòng)信息 指示的參考?jí)K而產(chǎn)生TO的預(yù)測(cè)性像素塊。
[0093] 幀內(nèi)預(yù)測(cè)處理單元126可通過(guò)對(duì)PU執(zhí)行幀內(nèi)預(yù)測(cè)來(lái)產(chǎn)生PU的預(yù)測(cè)性數(shù)據(jù)。PU的 預(yù)測(cè)性數(shù)據(jù)可包含PU的預(yù)測(cè)性像素塊和各種語(yǔ)法元素。幀內(nèi)預(yù)測(cè)處理單元126可對(duì)I切 片、P切片和B切片中的PU執(zhí)行幀內(nèi)預(yù)測(cè)。
[0094] 為了對(duì)TO執(zhí)行幀內(nèi)預(yù)測(cè)，幀內(nèi)預(yù)測(cè)處理單元126可使用多個(gè)幀內(nèi)預(yù)測(cè)模式來(lái)產(chǎn)生 PU的預(yù)測(cè)性數(shù)據(jù)的多個(gè)集合。為了使用幀內(nèi)預(yù)測(cè)模式來(lái)產(chǎn)生PU的預(yù)測(cè)性數(shù)據(jù)的集合，幀 內(nèi)預(yù)測(cè)處理單元126可使樣本在與幀內(nèi)預(yù)測(cè)模式相關(guān)聯(lián)的方向上自相鄰PU的樣本塊跨越 TO的樣本塊延伸。假定PU、⑶和CTB的左到右、上到下編碼次序，那么相鄰PU可在PU的 上方、右上方、左上方或左方。幀內(nèi)預(yù)測(cè)處理單元126可使用各種數(shù)目個(gè)幀內(nèi)預(yù)測(cè)模式，例 如，33個(gè)定向幀內(nèi)預(yù)測(cè)模式。在一些實(shí)例中，幀內(nèi)預(yù)測(cè)模式的數(shù)目可取決于PU的像素塊的 大小。
[0095] 預(yù)測(cè)處理單元100可自⑶的TO的由幀間預(yù)測(cè)處理單元121產(chǎn)生的預(yù)測(cè)性數(shù)據(jù)或 PU的由幀內(nèi)預(yù)測(cè)處理單元126產(chǎn)生的預(yù)測(cè)性數(shù)據(jù)當(dāng)中選擇PU的預(yù)測(cè)性數(shù)據(jù)。在一些實(shí)例 中，預(yù)測(cè)處理單元100基于預(yù)測(cè)性數(shù)據(jù)的集合的位率/失真度量而選擇CU的PU的預(yù)測(cè)性 數(shù)據(jù)。所選定預(yù)測(cè)性數(shù)據(jù)的預(yù)測(cè)性像素塊可在本文中被稱作所選定預(yù)測(cè)性像素塊。
[0096] 殘余產(chǎn)生單元102可基于⑶的像素塊和⑶的PU的所選定預(yù)測(cè)性像素塊而產(chǎn)生 CU的殘余像素塊。例如，殘余產(chǎn)生單元102可產(chǎn)生CU的殘余像素塊，以使得殘余像素塊中 的每一樣本具有等于CU的像素塊中的樣本與CU的PU的所選定預(yù)測(cè)性像素塊中的對(duì)應(yīng)樣 本之間的差的值。
[0097] 預(yù)測(cè)處理單元100可執(zhí)行四分樹(shù)分割以將CU的殘余像素塊分割成子塊。每一未 經(jīng)劃分的殘余像素塊可與CU的不同TU相關(guān)聯(lián)。與CU的TU相關(guān)聯(lián)的殘余像素塊的大小和 位置可或可不基于⑶的PU的像素塊的大小和位置。
[0098] 因?yàn)門U的殘余像素塊的像素可包括一個(gè)明度樣本和兩個(gè)色度樣本，所以TU中的 每一者可與明度樣本的一個(gè)塊和色度樣本的兩個(gè)塊相關(guān)聯(lián)。變換處理單元104可通過(guò)將一 或多個(gè)變換應(yīng)用于與TU相關(guān)聯(lián)的殘余樣本塊而產(chǎn)生CU的每一 TU的系數(shù)塊。變換處理單 元104可將各種變換應(yīng)用于與TU相關(guān)聯(lián)的殘余樣本塊。例如，變換處理單元104可將離散 余弦變換（DCT)、方向變換或概念上類似的變換應(yīng)用于殘余樣本塊。
[0099] 量化單元106可對(duì)與TU相關(guān)聯(lián)的系數(shù)塊中的系數(shù)進(jìn)行量化。量化過(guò)程可減小與 系數(shù)中的一些或全部相關(guān)聯(lián)的位深度。例如，可在量化期間將η位系數(shù)降值舍位到m位系 數(shù)，其中η大于m。量化單元106可基于與CU相關(guān)聯(lián)的量化參數(shù)（QP)值而對(duì)與CU的TU相 關(guān)聯(lián)的系數(shù)塊進(jìn)行量化。視頻編碼器20可通過(guò)調(diào)整與CU相關(guān)聯(lián)的QP值來(lái)調(diào)整應(yīng)用于與 CU相關(guān)聯(lián)的系數(shù)塊的量化的程度。
[0100] 反量化單元108和反變換處理單元110可分別將反量化和反變換應(yīng)用于系數(shù)塊以 自系數(shù)塊重構(gòu)建殘余樣本塊。重構(gòu)建單元112可將經(jīng)重構(gòu)建殘余樣本塊與來(lái)自由預(yù)測(cè)處理 單元100產(chǎn)生的一或多個(gè)預(yù)測(cè)性樣本塊的對(duì)應(yīng)樣本相加以產(chǎn)生與TU相關(guān)聯(lián)的經(jīng)重構(gòu)建樣 本塊。通過(guò)以此方式重構(gòu)建⑶的每一 TU的樣本塊，視頻編碼器20可重構(gòu)建⑶的像素塊。
[0101] 濾波器單元113可執(zhí)行解塊操作以減少與CU相關(guān)聯(lián)的像素塊中的塊偽影。經(jīng)解 碼圖片緩沖器114可在濾波器單元113對(duì)經(jīng)重構(gòu)建像素塊執(zhí)行一或多個(gè)解塊操作之后，存 儲(chǔ)經(jīng)重構(gòu)建像素塊。幀間預(yù)測(cè)單元121可使用含有經(jīng)重構(gòu)建像素塊的參考圖片來(lái)對(duì)其它圖 片的PU執(zhí)行幀間預(yù)測(cè)。另外，幀內(nèi)預(yù)測(cè)處理單元126可使用經(jīng)解碼圖片緩沖器114中的經(jīng) 重構(gòu)建像素塊來(lái)對(duì)與CU相同的圖片中的其它PU執(zhí)行幀內(nèi)預(yù)測(cè)。
[0102] 熵編碼單元116可自視頻編碼器20的其它功能組件接收數(shù)據(jù)。例如，熵編碼單元 116可自量化單元106接收系數(shù)塊且可自預(yù)測(cè)處理單元100接收語(yǔ)法元素。熵編碼單元116 可對(duì)數(shù)據(jù)執(zhí)行一或多個(gè)熵編碼操作以產(chǎn)生經(jīng)熵編碼數(shù)據(jù)。例如，熵編碼單元116可對(duì)數(shù)據(jù) 執(zhí)行以下操作：上下文自適應(yīng)性可變長(zhǎng)度譯碼（CAVLC)操作、CABAC操作、變量到變量（V2V) 長(zhǎng)度譯碼操作、基于語(yǔ)法的上下文自適應(yīng)性二進(jìn)制算術(shù)譯碼（SBAC)操作、概率區(qū)間分割熵 (PIPE)譯碼操作、指數(shù)哥倫布編碼操作或另一類型的熵編碼操作。
[0103] 視頻編碼器20可輸出包含由熵編碼單元116產(chǎn)生的經(jīng)熵編碼數(shù)據(jù)的位流。位流 可包含一系列NAL單元。NAL單元可包含經(jīng)譯碼切片NAL單元、SPS NAL單元、PPS NAL單元 等等。為了確保圖片不包含圖像塊、WPP波和熵切片的組合，位流可包含指示是否使用WPP 來(lái)完整地編碼圖片或是否在不使用WPP的情況下編碼圖片的每一圖像塊的語(yǔ)法元素。
[0104] 圖3為說(shuō)明經(jīng)配置以實(shí)施本發(fā)明的技術(shù)的實(shí)例視頻解碼器30的框圖。出于解釋 的目的而提供圖3且圖3并不限制如本發(fā)明中廣泛地例示和描述的技術(shù)。出于解釋的目 的，本發(fā)明在HEVC譯碼的情況下描述視頻解碼器30。然而，本發(fā)明的技術(shù)可適用于其它譯 碼標(biāo)準(zhǔn)或方法。
[0105] 在圖3的實(shí)例中，視頻解碼器30包含熵解碼單元150、預(yù)測(cè)處理單元152、反量化 單元154、反變換處理單元156、重構(gòu)建單元158、濾波器單元159和經(jīng)解碼圖片緩沖器160。 預(yù)測(cè)處理單元152包含運(yùn)動(dòng)補(bǔ)償單元162和幀內(nèi)預(yù)測(cè)處理單元164。在其它實(shí)例中，視頻解 碼器30可包含更多、更少或不同功能組件。
[0106] 視頻解碼器30可接收位流。熵解碼單元150可剖析位流以自位流提取語(yǔ)法元素。 作為剖析位流的部分，熵解碼單元150可熵解碼位流中的經(jīng)熵編碼語(yǔ)法元素。預(yù)測(cè)處理單 元152、反量化單元154、反變換處理單元156、重構(gòu)建單元158和濾波器單元159可基于自 位流提取的語(yǔ)法元素而產(chǎn)生經(jīng)解碼視頻數(shù)據(jù)。
[0107] 位流可包括一系列NAL單元。位流的NAL單元可包含經(jīng)譯碼切片NAL單元。作為 剖析位流的部分，熵解碼單元150可自經(jīng)譯碼切片NAL單元提取語(yǔ)法元素且熵解碼語(yǔ)法元 素。經(jīng)譯碼切片中的每一者可包含切片標(biāo)頭和切片數(shù)據(jù)。切片標(biāo)頭可含有關(guān)于切片的語(yǔ)法 元素。切片標(biāo)頭中的語(yǔ)法元素可包含識(shí)別與含有切片的圖片相關(guān)聯(lián)的PPS的語(yǔ)法元素。
[0108] 另外，視頻解碼器30可對(duì)未經(jīng)分割⑶執(zhí)行重構(gòu)建操作。為了對(duì)未經(jīng)分割⑶執(zhí)行 重構(gòu)建操作，視頻解碼器30可對(duì)⑶的每一 TU執(zhí)行重構(gòu)建操作。通過(guò)對(duì)⑶的每一 TU執(zhí)行 重構(gòu)建操作，視頻解碼器30可重構(gòu)建與⑶相關(guān)聯(lián)的殘余像素塊。
[0109] 作為對(duì)CU的TU執(zhí)行重構(gòu)建操作的部分，反量化單元154可對(duì)與TU相關(guān)聯(lián)的系數(shù) 塊進(jìn)行反量化（即，去量化）。反量化單元154可使用與TU的CU相關(guān)聯(lián)的QP值來(lái)確定量 化的程度，且同樣地，確定反量化單元154將應(yīng)用的反量化的程度。
[0110] 在反量化單元154對(duì)系數(shù)塊進(jìn)行反量化之后，反變換處理單元156可將一或多個(gè) 反變換應(yīng)用于系數(shù)塊以便產(chǎn)生與TU相關(guān)聯(lián)的殘余樣本塊。例如，反變換處理單元156可將 反DCT、反整數(shù)變換、反卡忽南-拉維變換（KLT)、反旋轉(zhuǎn)變換、反方向變換或另一反變換應(yīng) 用于系數(shù)塊。
[0111] 如果使用幀內(nèi)預(yù)測(cè)來(lái)編碼PU，那么幀內(nèi)預(yù)測(cè)處理單元164可執(zhí)行幀內(nèi)預(yù)測(cè)以產(chǎn)生 PU的預(yù)測(cè)性樣本塊。幀內(nèi)預(yù)測(cè)處理單元164可使用幀內(nèi)預(yù)測(cè)模式來(lái)基于空間上相鄰的PU 的像素塊而產(chǎn)生TO的預(yù)測(cè)性像素塊。幀內(nèi)預(yù)測(cè)處理單元164可基于自位流剖析的一或多 個(gè)語(yǔ)法元素而確定PU的幀內(nèi)預(yù)測(cè)模式。
[0112] 運(yùn)動(dòng)補(bǔ)償單元162可基于自位流提取的語(yǔ)法元素而構(gòu)建第一參考圖片列表（列表 〇)和第二參考圖片列表（列表1)。此外，如果使用幀間預(yù)測(cè)來(lái)編碼PU，那么熵解碼單元150 可提取PU的運(yùn)動(dòng)信息。運(yùn)動(dòng)補(bǔ)償單元162可基于PU的運(yùn)動(dòng)信息而確定PU的一或多個(gè)參 考?jí)K。運(yùn)動(dòng)補(bǔ)償單元162可基于PU的一或多個(gè)參考?jí)K而產(chǎn)生PU的預(yù)測(cè)性像素塊。
[0113] 重構(gòu)建單元158可在可適用時(shí)，使用與⑶的TU相關(guān)聯(lián)的殘余像素塊和⑶的PU 的預(yù)測(cè)性像素塊（即，幀內(nèi)預(yù)測(cè)數(shù)據(jù)或幀間預(yù)測(cè)數(shù)據(jù)）來(lái)重構(gòu)建CU的像素塊。明確地說(shuō)， 重構(gòu)建單元158可將殘余像素塊的樣本與預(yù)測(cè)性像素塊的對(duì)應(yīng)樣本相加以重構(gòu)建CU的像 素塊。
[0114] 濾波器單元159可執(zhí)行解塊操作以減少與CU的像素塊相關(guān)聯(lián)的塊偽影。視頻解碼 器30可將⑶的像素塊存儲(chǔ)于經(jīng)解碼圖片緩沖器160中。經(jīng)解碼圖片緩沖器160可提供用 于后續(xù)運(yùn)動(dòng)補(bǔ)償、幀內(nèi)預(yù)測(cè)和呈現(xiàn)于顯示裝置（例如，圖1的顯示裝置32)上的參考圖片。 例如，視頻解碼器30可基于經(jīng)解碼圖片緩沖器160中的像素塊而對(duì)其它CU的PU執(zhí)行幀內(nèi) 預(yù)測(cè)或幀間預(yù)測(cè)操作。
[0115] 如上文所提及，視頻解碼器30可接收包含譯碼模式語(yǔ)法元素的位流。如果譯碼模 式語(yǔ)法元素具有特定值，那么譯碼模式語(yǔ)法元素指示使用WPP來(lái)完整地編碼圖片。在各種 實(shí)例中，譯碼模式語(yǔ)法元素可在位流的各個(gè)部分中。例如，SPS可包含譯碼模式語(yǔ)法元素。 以下表1提供包含譯碼模式語(yǔ)法元素（"tilejnode"）的SPS的實(shí)例語(yǔ)法。
[0116] 表1--序列參數(shù)集RBSP語(yǔ)法
[0117]

【權(quán)利要求】
1. 一種編碼視頻數(shù)據(jù)的方法，所述方法包括： 用信號(hào)發(fā)出使用波前平行處理WPP來(lái)編碼一連串視頻圖片中的一個(gè)圖片； 執(zhí)行WPP以產(chǎn)生多個(gè)子流，所述子流中的每一者包含表示所述圖片的切片中的譯碼樹(shù) 塊CTB的一個(gè)經(jīng)編碼行的位的連續(xù)系列；以及 產(chǎn)生包含所述多個(gè)子流的經(jīng)譯碼切片網(wǎng)絡(luò)抽象層NAL單元。
2. 根據(jù)權(quán)利要求1所述的方法，其中產(chǎn)生所述經(jīng)譯碼切片NAL單元包括產(chǎn)生所述經(jīng)譯 碼切片NAL單元的切片標(biāo)頭和所述經(jīng)譯碼切片NAL單元的切片數(shù)據(jù)，所述切片數(shù)據(jù)包含所 述子流，所述切片標(biāo)頭包含多個(gè)偏移語(yǔ)法元素，可從所述多個(gè)偏移語(yǔ)法元素確定所述子流 的入口點(diǎn)。
3. 根據(jù)權(quán)利要求2所述的方法，其中所述切片標(biāo)頭進(jìn)一步包含第一語(yǔ)法元素和第二 語(yǔ)法元素，所述多個(gè)偏移語(yǔ)法元素中的偏移語(yǔ)法元素的數(shù)目可基于所述第一語(yǔ)法元素而確 定，且所述偏移語(yǔ)法元素中的每一者的以位為單位的長(zhǎng)度可基于所述第二語(yǔ)法元素而確 定。
4. 根據(jù)權(quán)利要求1所述的方法，其中用信號(hào)發(fā)出使用WPP來(lái)編碼所述圖片包括產(chǎn)生包 含指示使用那個(gè)WPP來(lái)編碼所述圖片的語(yǔ)法元素的圖片參數(shù)集PPS。
5. 根據(jù)權(quán)利要求1所述的方法，其中用信號(hào)發(fā)出使用WPP來(lái)編碼所述圖片包括產(chǎn)生包 含指示使用那個(gè)WPP來(lái)編碼所述圖片的語(yǔ)法元素的序列參數(shù)集SPS。
6. 根據(jù)權(quán)利要求1所述的方法，其中執(zhí)行WPP以產(chǎn)生所述多個(gè)子流包括： 響應(yīng)于確定第一 CTB與所述圖片的左邊界分離單一 CTB，存儲(chǔ)與所述第一 CTB相關(guān)聯(lián)的 上下文變量；以及 至少部分基于與所述第一 CTB相關(guān)聯(lián)的所述上下文變量而熵編碼第二CTB的一或多個(gè) 語(yǔ)法元素，所述第二CTB鄰近于所述圖片的所述左邊界且比所述第一 CTB低一行CTB。
7. 根據(jù)權(quán)利要求1所述的方法，其中所述方法由移動(dòng)計(jì)算裝置執(zhí)行。
8. -種計(jì)算裝置，其包括經(jīng)配置以進(jìn)行以下操作的一或多個(gè)處理器： 用信號(hào)發(fā)出使用波前平行處理WPP來(lái)編碼一連串視頻圖片中的一個(gè)圖片； 執(zhí)行WPP以產(chǎn)生多個(gè)子流，所述子流中的每一者包含表示所述圖片的切片中的譯碼樹(shù) 塊CTB的一個(gè)經(jīng)編碼行的位的連續(xù)系列；以及 產(chǎn)生包含所述多個(gè)子流的經(jīng)譯碼切片網(wǎng)絡(luò)抽象層NAL單元。
9. 根據(jù)權(quán)利要求8所述的計(jì)算裝置，其中產(chǎn)生所述經(jīng)譯碼切片NAL單元包括產(chǎn)生所述 經(jīng)譯碼切片NAL單元的切片標(biāo)頭和所述經(jīng)譯碼切片NAL單元的切片數(shù)據(jù)，所述切片數(shù)據(jù)包 含所述子流，所述切片標(biāo)頭包含多個(gè)偏移語(yǔ)法元素，可從所述多個(gè)偏移語(yǔ)法元素確定所述 子流的入口點(diǎn)。
10. 根據(jù)權(quán)利要求9所述的計(jì)算裝置，其中所述切片標(biāo)頭進(jìn)一步包含第一語(yǔ)法元素和 第二語(yǔ)法元素，所述多個(gè)偏移語(yǔ)法元素中的偏移語(yǔ)法元素的數(shù)目可基于所述第一語(yǔ)法元素 而確定，且所述偏移語(yǔ)法元素中的每一者的以位為單位的長(zhǎng)度可基于所述第二語(yǔ)法元素而 確定。
11. 根據(jù)權(quán)利要求8所述的計(jì)算裝置，其中所述一或多個(gè)處理器經(jīng)配置以產(chǎn)生包含指 示使用WPP來(lái)編碼所述圖片的語(yǔ)法元素的圖片參數(shù)集PPS。
12. 根據(jù)權(quán)利要求8所述的計(jì)算裝置，其中所述一或多個(gè)處理器經(jīng)配置以產(chǎn)生包含指 示使用WPP來(lái)編碼所述圖片的語(yǔ)法元素的序列參數(shù)集SPS。
13. 根據(jù)權(quán)利要求8所述的計(jì)算裝置，其中所述一或多個(gè)處理器經(jīng)配置以： 響應(yīng)于確定第一 CTB與所述圖片的左邊界分離單一 CTB，存儲(chǔ)與所述第一 CTB相關(guān)聯(lián)的 上下文變量；以及 至少部分基于與所述第一 CTB相關(guān)聯(lián)的所述上下文變量而熵編碼第二CTB的一或多個(gè) 語(yǔ)法元素，所述第二CTB鄰近于所述圖片的所述左邊界且比所述第一 CTB低一行CTB。
14. 根據(jù)權(quán)利要求8所述的計(jì)算裝置，其中所述計(jì)算裝置為移動(dòng)計(jì)算裝置。
15. -種計(jì)算裝置，其包括： 用于用信號(hào)發(fā)出使用波前平行處理WPP來(lái)編碼圖片的裝置； 用于執(zhí)行WPP以產(chǎn)生多個(gè)子流的裝置，所述子流中的每一者包含表示所述圖片的切片 中的譯碼樹(shù)塊CTB的一個(gè)經(jīng)編碼行的位的連續(xù)系列；以及 用于產(chǎn)生包含所述多個(gè)子流的經(jīng)譯碼切片網(wǎng)絡(luò)抽象層NAL單元的裝置。
16. -種存儲(chǔ)指令的計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令在由計(jì)算裝置的一或多個(gè)處理器 執(zhí)行時(shí)配置所述計(jì)算裝置以： 用信號(hào)發(fā)出使用波前平行處理WPP來(lái)編碼圖片； 執(zhí)行WPP以產(chǎn)生多個(gè)子流，所述子流中的每一者包含表示所述圖片的切片中的譯碼樹(shù) 塊CTB的一個(gè)經(jīng)編碼行的位的連續(xù)系列；以及 產(chǎn)生包含所述多個(gè)子流的經(jīng)譯碼切片網(wǎng)絡(luò)抽象層NAL單元。
17. -種解碼視頻數(shù)據(jù)的方法，所述方法包括： 接收包含經(jīng)譯碼切片網(wǎng)絡(luò)抽象層NAL單元的位流，所述經(jīng)譯碼切片NAL單元包含多 個(gè)子流，所述子流中的每一者包含表示圖片的切片中的譯碼樹(shù)塊CTB的一行的位的連續(xù)系 列； 基于所述位流中的語(yǔ)法元素而確定所述切片是使用波前平行處理WPP而編碼；以及 使用WPP解碼所述切片。
18. 根據(jù)權(quán)利要求17所述的方法，其中所述經(jīng)譯碼切片NAL單元包含切片標(biāo)頭和切片 數(shù)據(jù)，且所述方法進(jìn)一步包括至少部分基于指示所述切片是使用WPP編碼的所述切片標(biāo)頭 中的語(yǔ)法元素，確定所述經(jīng)譯碼切片NAL單元包含指示在所述子流的所述切片數(shù)據(jù)內(nèi)的位 置的多個(gè)偏移語(yǔ)法元素。
19. 根據(jù)權(quán)利要求18所述的方法，其中所述切片標(biāo)頭包含第一語(yǔ)法元素和第二語(yǔ)法元 素，且所述方法進(jìn)一步包括： 基于所述第一語(yǔ)法元素而確定在所述多個(gè)偏移語(yǔ)法元素中有多少個(gè)偏移語(yǔ)法元素； 基于所述第二語(yǔ)法元素而確定所述偏移語(yǔ)法元素的以位為單位的長(zhǎng)度；以及 至少部分基于在所述多個(gè)偏移語(yǔ)法元素中有多少個(gè)偏移語(yǔ)法元素和所述偏移語(yǔ)法元 素的以位為單位的所述長(zhǎng)度，從所述位流剖析所述偏移語(yǔ)法元素。
20. 根據(jù)權(quán)利要求18所述的方法，其進(jìn)一步包括至少部分基于所述偏移語(yǔ)法元素而確 定所述子流在存儲(chǔ)器中的位置。
21. 根據(jù)權(quán)利要求17所述的方法，其中所述位流包含圖片參數(shù)集PPS，且所述方法進(jìn)一 步包括基于所述PPS中的一或多個(gè)語(yǔ)法元素而確定使用WPP來(lái)編碼所述圖片。
22. 根據(jù)權(quán)利要求17所述的方法，其中所述位流包含序列參數(shù)集SPS，且所述方法進(jìn)一 步包括基于所述SPS中的一或多個(gè)語(yǔ)法元素而確定使用WPP來(lái)編碼所述圖片。
23. 根據(jù)權(quán)利要求17所述的方法，其中使用WPP解碼所述切片包括： 響應(yīng)于確定第一 CTB與所述圖片的左邊界分離單一 CTB，存儲(chǔ)與所述第一 CTB相關(guān)聯(lián)的 上下文變量；以及 至少部分基于與所述第一 CTB相關(guān)聯(lián)的所述上下文變量而熵解碼第二CTB的一或多個(gè) 語(yǔ)法元素，所述第二CTB鄰近于所述圖片的所述左邊界且比所述第一 CTB低一行CTB。
24. 根據(jù)權(quán)利要求17所述的方法，其中所述方法由移動(dòng)計(jì)算裝置執(zhí)行。
25. -種計(jì)算裝置，其包括經(jīng)配置以進(jìn)行以下操作的一或多個(gè)處理器： 接收包含經(jīng)譯碼切片網(wǎng)絡(luò)抽象層NAL單元的位流，所述經(jīng)譯碼切片NAL單元包含多 個(gè)子流，所述子流中的每一者包含表示圖片的切片中的譯碼樹(shù)塊CTB的一行的位的連續(xù)系 列； 基于所述位流中的一或多個(gè)語(yǔ)法元素而確定所述切片是使用波前平行處理WPP而編 碼；以及 使用WPP解碼所述切片。
26. 根據(jù)權(quán)利要求25所述的計(jì)算裝置，其中所述經(jīng)譯碼切片NAL單元包含切片標(biāo)頭和 切片數(shù)據(jù)，且所述一或多個(gè)處理器經(jīng)進(jìn)一步配置以至少部分基于指示所述切片是使用WPP 編碼的所述切片標(biāo)頭中的語(yǔ)法元素，確定所述經(jīng)譯碼切片NAL單元包含指示在所述子流的 所述切片數(shù)據(jù)內(nèi)的位置的多個(gè)偏移語(yǔ)法元素。
27. 根據(jù)權(quán)利要求26所述的計(jì)算裝置，其中所述切片標(biāo)頭包含第一語(yǔ)法元素和第二語(yǔ) 法元素，所述第一語(yǔ)法元素指示在所述多個(gè)偏移語(yǔ)法元素中有多少個(gè)偏移語(yǔ)法元素，所述 第二語(yǔ)法元素指示所述偏移語(yǔ)法元素的以位為單位的長(zhǎng)度；以及 所述一或多個(gè)處理器經(jīng)配置以至少部分基于所述第一語(yǔ)法元素和所述第二語(yǔ)法元素 而從所述位流剖析所述偏移語(yǔ)法元素。
28. 根據(jù)權(quán)利要求25所述的計(jì)算裝置，其中所述位流包含圖片參數(shù)集PPS，且所述一或 多個(gè)處理器經(jīng)進(jìn)一步配置以基于所述PPS中的一或多個(gè)語(yǔ)法元素而確定使用WPP來(lái)編碼所 述圖片。
29. 根據(jù)權(quán)利要求25所述的計(jì)算裝置，其中所述位流包含序列參數(shù)集SPS，且所述一 或多個(gè)處理器經(jīng)進(jìn)一步配置以基于所述SPS中的一或多個(gè)語(yǔ)法元素而確定使用WPP來(lái) 編碼所述圖片。
30. 根據(jù)權(quán)利要求25所述的計(jì)算裝置，其中一或多個(gè)處理器經(jīng)配置以： 響應(yīng)于確定第一 CTB與所述圖片的左邊界分離單一 CTB，存儲(chǔ)與所述第一 CTB相關(guān)聯(lián)的 上下文變量；以及 至少部分基于與所述第一 CTB相關(guān)聯(lián)的所述上下文變量而熵解碼第二CTB的一或多個(gè) 語(yǔ)法元素，所述第二CTB鄰近于所述圖片的所述左邊界且比所述第一 CTB低一行CTB。
31. 根據(jù)權(quán)利要求25所述的計(jì)算裝置，其中所述計(jì)算裝置為移動(dòng)計(jì)算裝置。
32. -種計(jì)算裝置，其包括： 用于接收包含經(jīng)譯碼切片網(wǎng)絡(luò)抽象層NAL單元的位流的裝置，所述經(jīng)譯碼切片NAL單 元包含多個(gè)子流，所述子流中的每一者包含表示圖片的切片中的譯碼樹(shù)塊CTB的一行的位 的連續(xù)系列； 用于基于所述位流中的一或多個(gè)語(yǔ)法元素而確定所述切片是使用波前平行處理WPP 而編碼的裝置；以及 用于使用WPP解碼所述切片的裝置。
33. -種存儲(chǔ)指令的計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令在由計(jì)算裝置的一或多個(gè)處理器 執(zhí)行時(shí)配置所述計(jì)算裝置以： 接收包含經(jīng)譯碼切片NAL單元的位流，所述經(jīng)譯碼切片網(wǎng)絡(luò)抽象層NAL單元包含多 個(gè)子流，所述子流中的每一者包含表示圖片的切片中的譯碼樹(shù)塊CTB的一行的位的連續(xù)系 列； 基于所述位流中的一或多個(gè)語(yǔ)法元素而確定所述切片是使用波前平行處理WPP而編 碼；以及 使用WPP解碼所述切片。
【文檔編號(hào)】H04N19/436GK104054348SQ201280067198
【公開(kāi)日】2014年9月17日 申請(qǐng)日期:2012年12月19日 優(yōu)先權(quán)日:2012年1月18日
【發(fā)明者】王益魁, 穆罕默德·蔡德·科班 申請(qǐng)人:高通股份有限公司