概括地說，本申請涉及用于視頻編碼和解碼的裝置、方法和計(jì)算機(jī)程序。具體地說，各種實(shí)施例涉及對經(jīng)交錯(cuò)的源內(nèi)容的編碼和解碼。
背景技術(shù)：
：本小節(jié)旨在為在權(quán)利要求中被詳述的發(fā)明提供背景或者上下文。本文中的說明書可以包括這樣的概念，所述概念可以被研究，但不必是之前已被設(shè)想或者研究的概念。因此，除非在本文中另外指出，否則在本小節(jié)中描述的內(nèi)容不是本申請中的說明書和權(quán)利要求的現(xiàn)有技術(shù)，并且不經(jīng)由被包括在本小節(jié)中而被承認(rèn)是現(xiàn)有技術(shù)。視頻編碼系統(tǒng)可以包括將輸入視頻變換成適于存儲(chǔ)/傳輸?shù)慕?jīng)壓縮的表示的編碼器和可以將經(jīng)壓縮的視頻表示解壓回可查看的形式的解碼器。編碼器可以丟棄原始視頻序列中的一些信息以便以更緊湊的形式表示視頻，例如以便使能以比否則可能需要的位率更低的位率存儲(chǔ)/傳輸視頻信息?？缮炜s視頻編碼指其中一個(gè)位流可以包含采用不同位率、分辨率、幀率和/或其它類型的可伸縮性的內(nèi)容的多個(gè)表示的編碼結(jié)構(gòu)?？缮炜s位流可以由提供可得的最低質(zhì)量視頻的基礎(chǔ)層和一個(gè)或多個(gè)當(dāng)與較低層一起被接收和解碼時(shí)增強(qiáng)視頻質(zhì)量的增強(qiáng)層組成。為提升增強(qiáng)層的編碼效率，該層的經(jīng)編碼的表示可以取決于較低層。每個(gè)層與它的全部有依賴的層一起是采用特定空間分辨率、時(shí)間分辨率、質(zhì)量水平和/或其它類型的可伸縮性的操作點(diǎn)的視頻信號的一個(gè)表示。當(dāng)前研究和開發(fā)了各種用于提供三維(3D)視頻內(nèi)容的技術(shù)。具體地說，密集的研究已被聚焦于其中一個(gè)查看器能夠看見僅來自具體的查看點(diǎn)的一對立體聲視頻和來自不同的查看點(diǎn)的另一對立體聲視頻的各種多視圖應(yīng)用。用于這樣的多視圖應(yīng)用的多數(shù)可行的方法中的一種方法已證明是這樣的，其中，僅例如是單聲道或者立體聲視頻加某些互補(bǔ)數(shù)據(jù)的有限數(shù)量的輸入視圖被提供給解碼器側(cè)，并且全部所需的視圖然后被解碼器本地地渲染(即，合成)以被顯示在顯示器上。在對3D視頻內(nèi)容的編碼中，可以使用諸如高級視頻編碼標(biāo)準(zhǔn)(H.264/AVC)、H.264/AVC的多視圖視頻編碼(MVC)擴(kuò)展或者HEVC的可伸縮擴(kuò)展之類的視頻壓縮系統(tǒng)。技術(shù)實(shí)現(xiàn)要素：某些實(shí)施例提供了一種用于對視頻信息進(jìn)行編碼和解碼的方法。在某些實(shí)施例中，目標(biāo)是使能實(shí)現(xiàn)使用諸如是SHVC的可伸縮視頻編碼擴(kuò)展進(jìn)行的自適應(yīng)分辨率變更。這可以經(jīng)由在可伸縮視頻編碼位流中指示增強(qiáng)層中的僅特定類型的圖片(例如，RAP圖片或者利用不同的NAL單元類型指示的不同類型的圖片)使用層間預(yù)測來完成。另外，可以在位流中指示自適應(yīng)分辨率變更操作，以使得除了對于切換圖片外，序列中的每個(gè)AU包含來自單一層的單一圖片(其可以或者可以不是基礎(chǔ)層圖片)；并且，切換在其處發(fā)生的訪問單元包括來自兩個(gè)層的圖片，并且可以使用層間可伸縮性工具。前述的編碼配置可以提供某些改進(jìn)。例如，通過使用該指示，可以在具有可伸縮的擴(kuò)展框架的視頻會(huì)議環(huán)境中使用自適應(yīng)分辨率變更；并且，中間框可以對于裁剪位流和適應(yīng)于具有不同能力的端點(diǎn)具有更大靈活性。在詳細(xì)說明書中提供了本發(fā)明的示例的各種方面。根據(jù)第一方面，提供了一種方法，所述方法包括：接收用于確定是否從解碼經(jīng)編碼的字段到解碼經(jīng)編碼的幀或者從解碼經(jīng)編碼的幀到解碼經(jīng)編碼的字段的切換點(diǎn)存在于位流中的一個(gè)或多個(gè)指示，其中，如果所述切換點(diǎn)存在，則所述方法進(jìn)一步包括：作為對確定從解碼經(jīng)編碼的字段到解碼經(jīng)編碼的幀的切換點(diǎn)的響應(yīng)，執(zhí)行以下操作：接收第一可伸縮性層的第一經(jīng)編碼的幀和第二可伸縮性層的第二經(jīng)編碼的字段；將所述第一經(jīng)編碼的幀重構(gòu)成第一經(jīng)重構(gòu)的幀；將所述第一經(jīng)重構(gòu)的幀重新采樣成第一參考圖片；以及將所述第二經(jīng)編碼的字段解碼成第二經(jīng)重構(gòu)的字段，其中，所述解碼包括使用所述第一參考圖片作為對所述第二經(jīng)編碼的字段的預(yù)測的參考；作為對確定從解碼經(jīng)編碼的幀到解碼經(jīng)編碼的字段的切換點(diǎn)的響應(yīng)，執(zhí)行以下操作：將第三可伸縮性層的第一對經(jīng)編碼的字段解碼成第一經(jīng)重構(gòu)的互補(bǔ)字段對或者將第三可伸縮性層的第一經(jīng)編碼的字段解碼成第一經(jīng)重構(gòu)的字段；將所述第一經(jīng)重構(gòu)的互補(bǔ)字段對中的一個(gè)字段或者全部兩個(gè)字段或者所述第一經(jīng)重構(gòu)的字段重新采樣成第二參考圖片；將第四可伸縮性層的第二經(jīng)編碼的幀解碼成第二經(jīng)重構(gòu)的幀，其中，所述解碼包括使用所述第二參考圖片作為對所述第二經(jīng)編碼的幀的預(yù)測的參考。根據(jù)本發(fā)明的第二方面，提供一種裝置，所述裝置包括至少一個(gè)處理器和包括計(jì)算機(jī)程序代碼的至少一個(gè)存儲(chǔ)器，所述至少一個(gè)存儲(chǔ)器和所述計(jì)算機(jī)程序代碼被配置為，利用所述至少一個(gè)處理器，導(dǎo)致所述裝置執(zhí)行以下操作：接收用于確定是否從解碼經(jīng)編碼的字段到解碼經(jīng)編碼的幀或者從解碼經(jīng)編碼的幀到解碼經(jīng)編碼的字段的切換點(diǎn)存在于位流中的一個(gè)或多個(gè)指示，其中，如果所述切換點(diǎn)存在，則所述方法進(jìn)一步包括：作為對確定從解碼經(jīng)編碼的字段到解碼經(jīng)編碼的幀的切換點(diǎn)的響應(yīng)，執(zhí)行以下操作：接收第一可伸縮性層的第一經(jīng)編碼的幀和第二可伸縮性層的第二經(jīng)編碼的字段；將所述第一經(jīng)編碼的幀重構(gòu)成第一經(jīng)重構(gòu)的幀；將所述第一經(jīng)重構(gòu)的幀重新采樣成第一參考圖片；以及將所述第二經(jīng)編碼的字段解碼成第二經(jīng)重構(gòu)的字段，其中，所述解碼包括使用所述第一參考圖片作為對所述第二經(jīng)編碼的字段的預(yù)測的參考；作為對確定從解碼經(jīng)編碼的幀到解碼經(jīng)編碼的字段的切換點(diǎn)的響應(yīng)，執(zhí)行以下操作：將第三可伸縮性層的第一對經(jīng)編碼的字段解碼成第一經(jīng)重構(gòu)的互補(bǔ)字段對或者將第三可伸縮性層的第一經(jīng)編碼的字段解碼成第一經(jīng)重構(gòu)的字段；將所述第一經(jīng)重構(gòu)的互補(bǔ)字段對中的一個(gè)字段或者全部兩個(gè)字段或者所述第一經(jīng)重構(gòu)的字段重新采樣成第二參考圖片；將第四可伸縮性層的第二經(jīng)編碼的幀解碼成第二經(jīng)重構(gòu)的幀，其中，所述解碼包括使用所述第二參考圖片作為對所述第二經(jīng)編碼的幀的預(yù)測的參考。根據(jù)本發(fā)明的第三方面，提供一種被包含在非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)中的包括計(jì)算機(jī)程序代碼的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序代碼被配置為，當(dāng)在至少一個(gè)處理器上被執(zhí)行時(shí)，導(dǎo)致裝置或者系統(tǒng)執(zhí)行以下操作：接收用于確定是否從解碼經(jīng)編碼的字段到解碼經(jīng)編碼的幀或者從解碼經(jīng)編碼的幀到解碼經(jīng)編碼的字段的切換點(diǎn)存在于位流中的一個(gè)或多個(gè)指示，其中，如果所述切換點(diǎn)存在，則所述方法進(jìn)一步包括：作為對確定從解碼經(jīng)編碼的字段到解碼經(jīng)編碼的幀的切換點(diǎn)的響應(yīng)，執(zhí)行以下操作：接收第一可伸縮性層的第一經(jīng)編碼的幀和第二可伸縮性層的第二對經(jīng)編碼的字段；將所述第一經(jīng)編碼的幀重構(gòu)成第一經(jīng)重構(gòu)的幀；將所述第一經(jīng)重構(gòu)的幀重新采樣成第一參考圖片；以及將所述第二經(jīng)編碼的字段解碼成第二經(jīng)重構(gòu)的字段，其中，所述解碼包括使用所述第一參考圖片作為對所述第二經(jīng)編碼的字段的預(yù)測的參考；作為對確定從解碼經(jīng)編碼的幀到解碼經(jīng)編碼的字段的切換點(diǎn)的響應(yīng)，執(zhí)行以下操作：將第三可伸縮性層的第一對經(jīng)編碼的字段解碼成第一經(jīng)重構(gòu)的互補(bǔ)字段對或者將第三可伸縮性層的第一經(jīng)編碼的字段解碼成第一經(jīng)重構(gòu)的字段；將所述第一經(jīng)重構(gòu)的互補(bǔ)字段對中的一個(gè)字段或者全部兩個(gè)字段或者所述第一經(jīng)重構(gòu)的字段重新采樣成第二參考圖片；將第四可伸縮性層的第二經(jīng)編碼的幀解碼成第二經(jīng)重構(gòu)的幀，其中，所述解碼包括使用所述第二參考圖片作為對所述第二經(jīng)編碼的幀的預(yù)測的參考。根據(jù)本發(fā)明的第四方面，提供一種方法，所述方法包括：接收第一未經(jīng)壓縮的互補(bǔ)字段對和第二未經(jīng)壓縮的互補(bǔ)字段對；確定是否將所述第一互補(bǔ)字段對編碼為第一經(jīng)編碼的幀或者第一對經(jīng)編碼的字段以及將所述第二未經(jīng)壓縮的互補(bǔ)字段對編碼為第二經(jīng)編碼的幀或者第二對經(jīng)編碼的字段；作為對確定所述第一互補(bǔ)字段對將被編碼為所述第一經(jīng)編碼的幀以及所述第二未經(jīng)壓縮的互補(bǔ)字段對將被編碼為所述第二對經(jīng)編碼的字段的響應(yīng)，執(zhí)行以下操作：將所述第一互補(bǔ)字段對編碼為第一可伸縮性層的所述第一經(jīng)編碼的幀；將所述第一經(jīng)編碼的幀重構(gòu)成第一經(jīng)重構(gòu)的幀；將所述第一經(jīng)重構(gòu)的幀重新采樣成第一參考圖片；以及將所述第二互補(bǔ)字段對編碼為第二可伸縮性層的所述第二對經(jīng)編碼的字段，其中，所述編碼包括使用所述第一參考圖片作為對所述第二對經(jīng)編碼的字段中的至少一個(gè)字段的預(yù)測的參考；作為對確定所述第一互補(bǔ)字段對將被編碼為所述第一對經(jīng)編碼的字段以及所述第二未經(jīng)壓縮的互補(bǔ)字段對將被編碼為所述第二經(jīng)編碼的幀的響應(yīng)，執(zhí)行以下操作：將所述第一互補(bǔ)字段對編碼為第三可伸縮性層的所述第一對經(jīng)編碼的字段；將所述第一對經(jīng)編碼的字段中的至少一個(gè)字段重構(gòu)成第一經(jīng)重構(gòu)的字段和第二經(jīng)重構(gòu)的字段中的至少一個(gè)字段；將所述第一經(jīng)重構(gòu)的字段和所述第二經(jīng)重構(gòu)的字段中的一個(gè)字段或者全部兩個(gè)字段重新采樣成第二參考圖片；以及將所述第二互補(bǔ)字段對編碼為第四可伸縮性層的所述第二經(jīng)編碼的幀，其中，所述編碼包括使用所述第二參考圖片作為對所述第二經(jīng)編碼的幀的預(yù)測的參考。根據(jù)本發(fā)明的第五方面，提供一種裝置，所述裝置包括至少一個(gè)處理器和包括計(jì)算機(jī)程序代碼的至少一個(gè)存儲(chǔ)器，所述至少一個(gè)存儲(chǔ)器和所述計(jì)算機(jī)程序代碼被配置為，利用所述至少一個(gè)處理器，導(dǎo)致所述裝置執(zhí)行以下操作：接收第一未經(jīng)壓縮的互補(bǔ)字段對和第二未經(jīng)壓縮的互補(bǔ)字段對；確定是否將所述第一互補(bǔ)字段對編碼為第一經(jīng)編碼的幀或者第一對經(jīng)編碼的字段以及將所述第二未經(jīng)壓縮的互補(bǔ)字段對編碼為第二經(jīng)編碼的幀或者第二對經(jīng)編碼的字段；作為對確定所述第一互補(bǔ)字段對將被編碼為所述第一經(jīng)編碼的幀以及所述第二未經(jīng)壓縮的互補(bǔ)字段對將被編碼為所述第二對經(jīng)編碼的字段的響應(yīng)，執(zhí)行以下操作：將所述第一互補(bǔ)字段對編碼為第一可伸縮性層的所述第一經(jīng)編碼的幀；將所述第一經(jīng)編碼的幀重構(gòu)成第一經(jīng)重構(gòu)的幀；將所述第一經(jīng)重構(gòu)的幀重新采樣成第一參考圖片；以及將所述第二互補(bǔ)字段對編碼為第二可伸縮性層的所述第二對經(jīng)編碼的字段，其中，所述編碼是經(jīng)由使用所述第一參考圖片作為對所述第二對經(jīng)編碼的字段中的至少一個(gè)字段的預(yù)測的參考；作為對確定所述第一互補(bǔ)字段對將被編碼為所述第一對經(jīng)編碼的字段以及所述第二未經(jīng)壓縮的互補(bǔ)字段對將被編碼為所述第二經(jīng)編碼的幀的響應(yīng)，執(zhí)行以下操作：將所述第一互補(bǔ)字段對編碼為第三可伸縮性層的所述第一對經(jīng)編碼的字段；將所述第一對經(jīng)編碼的字段中的至少一個(gè)字段重構(gòu)成第一經(jīng)重構(gòu)的字段和第二經(jīng)重構(gòu)的字段中的至少一個(gè)字段；將所述第一經(jīng)重構(gòu)的字段和所述第二經(jīng)重構(gòu)的字段中的一個(gè)字段或者全部兩個(gè)字段重新采樣成第二參考圖片；以及將所述第二互補(bǔ)字段對編碼為第四可伸縮性層的所述第二經(jīng)編碼的幀，其中，所述編碼是經(jīng)由使用所述第二參考圖片作為對所述第二經(jīng)編碼的幀的預(yù)測的參考。根據(jù)本發(fā)明的第六方面，提供一種被包含在非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)中的包括計(jì)算機(jī)程序代碼的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序代碼被配置為，當(dāng)在至少一個(gè)處理器上被執(zhí)行時(shí)，導(dǎo)致裝置或者系統(tǒng)執(zhí)行以下操作：接收第一未經(jīng)壓縮的互補(bǔ)字段對和第二未經(jīng)壓縮的互補(bǔ)字段對；確定是否將所述第一互補(bǔ)字段對編碼為第一經(jīng)編碼的幀或者第一對經(jīng)編碼的字段以及將所述第二未經(jīng)壓縮的互補(bǔ)字段對編碼為第二經(jīng)編碼的幀或者第二對經(jīng)編碼的字段；作為對確定所述第一互補(bǔ)字段對將被編碼為所述第一經(jīng)編碼的幀以及所述第二未經(jīng)壓縮的互補(bǔ)字段對將被編碼為所述第二對經(jīng)編碼的字段的響應(yīng)，執(zhí)行以下操作：將所述第一互補(bǔ)字段對編碼為第一可伸縮性層的所述第一經(jīng)編碼的幀；將所述第一經(jīng)編碼的幀重構(gòu)成第一經(jīng)重構(gòu)的幀；將所述第一經(jīng)重構(gòu)的幀重新采樣成第一參考圖片；以及將所述第二互補(bǔ)字段對編碼為第二可伸縮性層的所述第二對經(jīng)編碼的字段，其中，所述編碼是經(jīng)由使用所述第一參考圖片作為對所述第二對經(jīng)編碼的字段中的至少一個(gè)字段的預(yù)測的參考；作為對確定所述第一互補(bǔ)字段對將被編碼為所述第一對經(jīng)編碼的字段以及所述第二未經(jīng)壓縮的互補(bǔ)字段對將被編碼為所述第二經(jīng)編碼的幀的響應(yīng)，執(zhí)行以下操作：將所述第一互補(bǔ)字段對編碼為第三可伸縮性層的所述第一對經(jīng)編碼的字段；將所述第一對經(jīng)編碼的字段中的至少一個(gè)字段重構(gòu)成第一經(jīng)重構(gòu)的字段和第二經(jīng)重構(gòu)的字段中的至少一個(gè)字段；將所述第一經(jīng)重構(gòu)的字段和所述第二經(jīng)重構(gòu)的字段中的一個(gè)字段或者全部兩個(gè)字段重新采樣成第二參考圖片；以及將所述第二互補(bǔ)字段對編碼為第四可伸縮性層的所述第二經(jīng)編碼的幀，其中，所述編碼是經(jīng)由使用所述第二參考圖片作為對所述第二經(jīng)編碼的幀的預(yù)測的參考。根據(jù)本發(fā)明的第七方面，提供一種被配置為用于對圖片數(shù)據(jù)單元的位流進(jìn)行解碼的視頻解碼器，其中，所述視頻解碼器被進(jìn)一步配置為用于執(zhí)行以下操作：接收用于確定是否從解碼經(jīng)編碼的字段到解碼經(jīng)編碼的幀或者從解碼經(jīng)編碼的幀到解碼經(jīng)編碼的字段的切換點(diǎn)存在于位流中的一個(gè)或多個(gè)指示，其中，如果所述切換點(diǎn)存在，則所述方法進(jìn)一步包括：作為對確定從解碼經(jīng)編碼的字段到解碼經(jīng)編碼的幀的切換點(diǎn)的響應(yīng)，執(zhí)行以下操作：接收第一可伸縮性層的第一經(jīng)編碼的幀和第二可伸縮性層的第二經(jīng)編碼的字段；將所述第一經(jīng)編碼的幀重構(gòu)成第一經(jīng)重構(gòu)的幀；將所述第一經(jīng)重構(gòu)的幀重新采樣成第一參考圖片；以及將所述第二經(jīng)編碼的字段解碼成第二經(jīng)重構(gòu)的字段，其中，所述解碼包括使用所述第一參考圖片作為對所述第二經(jīng)編碼的字段的預(yù)測的參考；作為對確定從解碼經(jīng)編碼的幀到解碼經(jīng)編碼的字段的切換點(diǎn)的響應(yīng)，執(zhí)行以下操作：將第三可伸縮性層的第一對經(jīng)編碼的字段解碼成第一經(jīng)重構(gòu)的互補(bǔ)字段對或者將第三可伸縮性層的第一經(jīng)編碼的字段解碼成第一經(jīng)重構(gòu)的字段；將所述第一經(jīng)重構(gòu)的互補(bǔ)字段對中的一個(gè)字段或者全部兩個(gè)字段或者所述第一經(jīng)重構(gòu)的字段重新采樣成第二參考圖片；將第四可伸縮性層的第二經(jīng)編碼的幀解碼成第二經(jīng)重構(gòu)的幀，其中，所述解碼包括使用所述第二參考圖片作為對所述第二經(jīng)編碼的幀的預(yù)測的參考。根據(jù)本發(fā)明的第八方面，提供一種被配置為用于對圖片數(shù)據(jù)單元的位流進(jìn)行編碼的視頻編碼器，其中，所述視頻編碼器被進(jìn)一步配置為用于執(zhí)行以下操作：接收第一未經(jīng)壓縮的互補(bǔ)字段對和第二未經(jīng)壓縮的互補(bǔ)字段對；確定是否將所述第一互補(bǔ)字段對編碼為第一經(jīng)編碼的幀或者第一對經(jīng)編碼的字段以及將所述第二未經(jīng)壓縮的互補(bǔ)字段對編碼為第二經(jīng)編碼的幀或者第二對經(jīng)編碼的字段；作為對確定所述第一互補(bǔ)字段對將被編碼為所述第一經(jīng)編碼的幀以及所述第二未經(jīng)壓縮的互補(bǔ)字段對將被編碼為所述第二對經(jīng)編碼的字段的響應(yīng)，執(zhí)行以下操作：將所述第一互補(bǔ)字段對編碼為第一可伸縮性層的所述第一經(jīng)編碼的幀；將所述第一經(jīng)編碼的幀重構(gòu)成第一經(jīng)重構(gòu)的幀；將所述第一經(jīng)重構(gòu)的幀重新采樣成第一參考圖片；以及將所述第二互補(bǔ)字段對編碼為第二可伸縮性層的所述第二對經(jīng)編碼的字段，其中，所述編碼包括使用所述第一參考圖片作為對所述第二對經(jīng)編碼的字段中的至少一個(gè)字段的預(yù)測的參考；作為對確定所述第一互補(bǔ)字段對將被編碼為所述第一對經(jīng)編碼的字段以及所述第二未經(jīng)壓縮的互補(bǔ)字段對將被編碼為所述第二經(jīng)編碼的幀的響應(yīng)，執(zhí)行以下操作：將所述第一互補(bǔ)字段對編碼為第三可伸縮性層的所述第一對經(jīng)編碼的字段；將所述第一對經(jīng)編碼的字段中的至少一個(gè)字段重構(gòu)成第一經(jīng)重構(gòu)的字段和第二經(jīng)重構(gòu)的字段中的至少一個(gè)字段；將所述第一經(jīng)重構(gòu)的字段和所述第二經(jīng)重構(gòu)的字段中的一個(gè)字段或者全部兩個(gè)字段重新采樣成第二參考圖片；以及將所述第二互補(bǔ)字段對編碼為第四可伸縮性層的所述第二經(jīng)編碼的幀，其中，所述編碼包括使用所述第二參考圖片作為對所述第二經(jīng)編碼的幀的預(yù)測的參考。附圖說明為更完整地理解本發(fā)明的示例實(shí)施例，現(xiàn)在參考下面結(jié)合附圖理解的說明書，其中：圖1示意地示出了使用本發(fā)明的某些實(shí)施例的電子設(shè)備；圖2示意地示出了適于使用本發(fā)明的某些實(shí)施例的用戶設(shè)備；圖3進(jìn)一步示意地示出了使用無線和/或有線網(wǎng)絡(luò)連接被連接的使用本發(fā)明的實(shí)施例的電子設(shè)備；圖4a示意地示出了編碼器的一個(gè)實(shí)施例；圖4b示意地示出了根據(jù)某些實(shí)施例的空間可伸縮性編碼裝置的一個(gè)實(shí)施例；圖5a示意地示出了解碼器的一個(gè)實(shí)施例；圖5b示意地示出了根據(jù)本發(fā)明的某些實(shí)施例的空間可伸縮性解碼裝置的一個(gè)實(shí)施例；圖6a和6b示出了偏移量值在擴(kuò)展的空間伸縮性中的使用的一個(gè)示例；圖7示出了由兩個(gè)磁貼(tile)組成的圖片的一個(gè)示例；圖8是通用多媒體通信系統(tǒng)的圖形表示；圖9圖示出了其中經(jīng)編碼的字段位于基礎(chǔ)層中并且包含經(jīng)交錯(cuò)的源內(nèi)容的互補(bǔ)字段對的經(jīng)編碼的幀位于增強(qiáng)層中的一個(gè)示例；圖10圖示出了其中包含經(jīng)交錯(cuò)的源內(nèi)容的互補(bǔ)字段對的經(jīng)編碼的幀位于基礎(chǔ)層BL中并且經(jīng)編碼的字段位于增強(qiáng)層中的一個(gè)示例；圖11圖示出了其中經(jīng)編碼的字段位于基礎(chǔ)層中并且包含經(jīng)交錯(cuò)的源內(nèi)容的互補(bǔ)字段對的經(jīng)編碼的幀位于增強(qiáng)層中并且使用了對角線預(yù)測的一個(gè)示例；圖12圖示出了其中包含經(jīng)交錯(cuò)的源內(nèi)容的互補(bǔ)字段對的經(jīng)編碼的幀位于基礎(chǔ)層中并且經(jīng)編碼的字段位于增強(qiáng)層中并且使用了對角線預(yù)測的一個(gè)示例；圖13描繪了經(jīng)幀和字段編碼的層的階梯的一個(gè)示例；圖14描繪了利用雙向?qū)蔷€層間預(yù)測將經(jīng)編碼的字段和經(jīng)編碼的幀定位到層中作為一對經(jīng)耦接的層的一個(gè)示例實(shí)施例；圖15描繪了在其中與外部的基礎(chǔ)層圖片一起使用對角線層間預(yù)測的一個(gè)示例；圖16描繪了在其中與外部的基礎(chǔ)層圖片一起使用跳過(skip)圖片的一個(gè)示例；圖17圖示出了在其中經(jīng)編碼的字段位于基礎(chǔ)層中并且包含經(jīng)交錯(cuò)的源內(nèi)容的互補(bǔ)字段對的經(jīng)編碼的幀位于增強(qiáng)層中并且使用與基礎(chǔ)層幀或者字段對相符的增強(qiáng)層圖片來增強(qiáng)基礎(chǔ)層幀或者字段對中的一個(gè)字段或者全部兩個(gè)字段的質(zhì)量的一個(gè)示例；圖18圖示出了在其中包含經(jīng)交錯(cuò)的源內(nèi)容的互補(bǔ)字段對的經(jīng)編碼的幀位于基礎(chǔ)層BL中并且經(jīng)編碼的字段位于增強(qiáng)層中并且使用與基礎(chǔ)層幀或者字段對相符的增強(qiáng)層圖片來增強(qiáng)基礎(chǔ)層幀或者字段對中的一個(gè)字段或者全部兩個(gè)字段的質(zhì)量的一個(gè)示例；圖19描繪了不同層中的頂部和底部字段的一個(gè)示例；圖20a描繪了層樹的定義的一個(gè)示例；以及圖20b描繪了具有兩個(gè)無依賴的層的層樹的一個(gè)示例。具體實(shí)施方式在下面，將在一種視頻編碼安排的上下文中描述本發(fā)明的幾個(gè)實(shí)施例。然而應(yīng)當(dāng)指出，本發(fā)明不限于這個(gè)特定的安排。實(shí)際上，不同的實(shí)施例在其中期望在經(jīng)編碼的字段與幀之間切換時(shí)的對編碼的改進(jìn)的任何環(huán)境中具有廣泛的應(yīng)用。例如，本發(fā)明可以是適用于這樣的視頻編碼系統(tǒng)的，所述視頻編碼系統(tǒng)例如是流傳送系統(tǒng)、DVD播放器、數(shù)字電視接收器、個(gè)人錄像機(jī)、個(gè)人計(jì)算機(jī)、手持型計(jì)算機(jī)和通信設(shè)備以及諸如轉(zhuǎn)碼器并且視頻數(shù)據(jù)可在其處被處置的云計(jì)算安排之類的網(wǎng)絡(luò)單元上的系統(tǒng)和計(jì)算機(jī)程序。在下面，使用參考(解)編碼的約定描述了幾個(gè)實(shí)施例，該約定指示所述實(shí)施例可以應(yīng)用于解碼和/或編碼。由國際電信聯(lián)盟(ITU-T)的電信標(biāo)準(zhǔn)化部門的視頻編碼專家組(VCEG)和國際標(biāo)準(zhǔn)化組織(ISO)/國際電工委員會(huì)(IEC)的動(dòng)態(tài)圖像專家組(MPEG)的聯(lián)合視頻組(JVT)開發(fā)了高級視頻編碼標(biāo)準(zhǔn)(其可以被縮寫為AVC或者H.264/AVC)。H.264/AVC標(biāo)準(zhǔn)被兩個(gè)父標(biāo)準(zhǔn)化組織發(fā)布，并且其被稱為ITU-T建議H.264和也被稱為MPEG-4第10部分高級視頻編碼(AVC)的ISO/IEC國際標(biāo)準(zhǔn)14496-10。已存在H.264/AVC標(biāo)準(zhǔn)的多個(gè)版本，每個(gè)版本將新的擴(kuò)展或者特性集成到規(guī)范。這些擴(kuò)展包括可伸縮視頻編碼(SVC)和多視圖視頻編碼(MVC)。由VCEG和MPEG的聯(lián)合協(xié)作組——視頻編碼(JCT-VC)開發(fā)了高效視頻編碼標(biāo)準(zhǔn)(其可以被縮寫為HEVC或者H.265/HEVC)。該標(biāo)準(zhǔn)被兩個(gè)父標(biāo)準(zhǔn)化組織發(fā)布，并且其被稱為ITU-T建議H.265和也被稱為MPEG-H第2部分高效視頻編碼(HEVC)的ISO/IEC國際標(biāo)準(zhǔn)23008-2。當(dāng)前存在用于開發(fā)H.265/HEVC的擴(kuò)展的正在進(jìn)行的標(biāo)準(zhǔn)化項(xiàng)目，所述擴(kuò)展包括分別可以被稱為SHVC、MV-HEVC、3D-HEVC和REXT的可伸縮、多視圖、三維和保真度范圍擴(kuò)展。除非另外指出，否則已出于理解這些標(biāo)準(zhǔn)規(guī)范的定義、結(jié)構(gòu)或者概念的目的而作出的在本說明書中對H.265/HEVC、SHVC、MV-HEVC、3D-HEVC和REXT的引用應(yīng)當(dāng)理解為是對在本申請的日期之前可得的這些標(biāo)準(zhǔn)的最新版本的引用。當(dāng)在示例實(shí)施例中描述H.264/AVC以及HEVC時(shí)，可以使用例如如在H.264/AVC或者HEVC中指定的公共的針對算術(shù)運(yùn)算符、邏輯運(yùn)算符、關(guān)系運(yùn)算符、按位運(yùn)算符、賦值運(yùn)算符的記號和范圍記號。此外，可以使用例如如在H.264/AVC或者HEVC中指定的公共的數(shù)學(xué)函數(shù)，并且可以使用例如如在H.264/AVC或者HEVC中指定的公共的運(yùn)算符的優(yōu)先級次序和執(zhí)行次序(從左到右或者從右到左)。當(dāng)在示例實(shí)施例中描述H.264/AVC以及HEVC時(shí)，可以使用以下的描述符來指定每個(gè)語法元素的解析過程。-b(8)：具有任何模式的位串的字節(jié)(8位)。-se(v)：其中左位最先的有符號整數(shù)經(jīng)指數(shù)哥倫布(Exp-Golomb)編碼的語法元素。-u(n)：使用n個(gè)位的無符號整數(shù)。當(dāng)n在語法表中是“v”時(shí)，位的數(shù)量以取決于其它語法元素的值的方式改變。對該描述符的解析過程由來自被解釋為其中最先寫最高有效位的無符號整數(shù)的二進(jìn)制表示的位流的n個(gè)接下來的位指定。-ue(v)：其中左位最先的無符號整數(shù)經(jīng)指數(shù)哥倫布編碼的語法元素?？梢岳缡褂孟旅娴谋韺⒅笖?shù)哥倫布位串轉(zhuǎn)換成代碼編號(codeNum)：可以例如使用下面的表將與指數(shù)哥倫布位串相對應(yīng)的代碼編號轉(zhuǎn)換成se(v)：codeNum語法元素值00112-1324-2536-3……當(dāng)在示例實(shí)施例中描述H.264/AVC以及HEVC時(shí)，可以如下地指定語法結(jié)構(gòu)、語法元素的語義和解碼過程。用粗體表示位流中的語法元素。每個(gè)語法元素通過它的名稱(帶有下劃線字符的全小寫字母)、可選地它的一個(gè)或兩個(gè)語法類別以及針對它的經(jīng)編碼的表示的方法的一個(gè)或兩個(gè)描述符被描述。解碼過程根據(jù)語法元素的值以及之前經(jīng)解碼的語法元素的值工作。當(dāng)語法元素的值在語法表或者文本中被使用時(shí)，它以普通(即，非粗)字體出現(xiàn)。在某些情況下，語法表可以使用從語法元素值導(dǎo)出的其它變量的值。這樣的變量通過小寫和大寫字母的混合并且不具有任何下劃線字符而被命名地出現(xiàn)在語法表中。導(dǎo)出以大寫字母開始的變量以用于對當(dāng)前的語法結(jié)構(gòu)和全部有依賴的語法結(jié)構(gòu)的解碼。以大寫字母開始的變量可以在針對稍后的語法結(jié)構(gòu)而不提到該變量來源語法結(jié)構(gòu)的解碼過程中被使用。以小寫字母開始的變量僅在它們在其中被導(dǎo)出的上下文內(nèi)被使用。在某些情況下，針對語法元素值或者變量值的“助記”名稱與它們的數(shù)值可互換地被使用。有時(shí)“助記”名稱被使用而不具有任何關(guān)聯(lián)的數(shù)值。在文本中指定值與名稱的關(guān)聯(lián)。從由下劃線字符分隔的一組或多組字母構(gòu)造名稱。每個(gè)組以大寫字母開始，并且可以包含多個(gè)大寫字母。當(dāng)在示例實(shí)施例中描述H.264/AVC以及HEVC時(shí)，可以使用以下方法來指定語法結(jié)構(gòu)。被包圍在大括號中的一組語句是復(fù)合語句，并且在功能上被看作單一的語句。“while”結(jié)構(gòu)指定對是否條件為真的測試，并且如果為真，則重復(fù)地指定對語句(或者復(fù)合語句)的評估，直到條件不再為真為止?！癲o…while”結(jié)構(gòu)指定一次對語句的評估，之后跟隨對是否條件為真的測試，并且如果為真，則指定對語句的重復(fù)的評估，直到條件不再為真為止?！癷f…else”結(jié)構(gòu)指定對是否條件為真的測試，并且如果條件為真，則指定對主語句的評估，否則指定對替換語句的評估。如果不需要任何替換語句評估，則省略該結(jié)構(gòu)的“else”部分和關(guān)聯(lián)的替換語句。“for”結(jié)構(gòu)指定對初始語句的評估，之后跟隨對條件的測試，并且如果條件為真，則指定之后跟隨隨后的語句的對主語句的重復(fù)的評估，直到條件不再為真為止。在本小節(jié)中作為實(shí)施例可以在其中被實(shí)現(xiàn)的視頻編碼器、解碼器、編碼方法、解碼方法和位流結(jié)構(gòu)的一個(gè)示例描述了H.264/AVC和HEVC以及它們的擴(kuò)展中的一些擴(kuò)展的某些關(guān)鍵定義、位流和編碼結(jié)構(gòu)以及概念。H.264/AVC的關(guān)鍵定義、位流和編碼結(jié)構(gòu)以及概念中的一些關(guān)鍵定義、位流和編碼結(jié)構(gòu)以及概念與草案HEVC標(biāo)準(zhǔn)中的相同——因此，在下面聯(lián)合地描述了它們。本發(fā)明的各方面不限于H.264/AVC或者HEVC或者它們的擴(kuò)展，而相反針對本發(fā)明可以在其上被部分上或者完全地實(shí)現(xiàn)的一個(gè)可能的基礎(chǔ)給出了本說明書。與許多較早的視頻編碼標(biāo)準(zhǔn)相似地，在H.264/AVC和HEVC中指定了針對無錯(cuò)誤位流的位流語法和語義以及解碼過程。未指定編碼過程，但編碼器必須生成相符的位流?？梢岳眉傧?yún)⒖冀獯a器(HRD)驗(yàn)證位流和解碼器相符性。所述標(biāo)準(zhǔn)包含幫助應(yīng)對傳輸錯(cuò)誤和丟失的編碼工具，但在編碼時(shí)對所述工具的使用是可選的，并且未針對錯(cuò)誤的位流指定任何解碼過程。去往H.264/AVC或者HEVC編碼器的輸入和H.264/AVC或者HEVC解碼器的輸出的基本單位分別是圖片。作為去往編碼器的輸入被給出的圖片也可以被稱為源圖片，并且被解碼器解碼的圖片可以被稱為經(jīng)解碼的圖片。源和經(jīng)解碼的圖片可以各自由一個(gè)或多個(gè)采樣數(shù)組組成，所述一個(gè)或多個(gè)采樣數(shù)組諸如是采樣數(shù)組的下面的集合中的一個(gè)集合：-僅亮度(Y)(單色的)-亮度和兩個(gè)色度(YCbCr或者YCgCo)-綠、藍(lán)和紅(GBR，也被稱為RGB)-表示其它未指定的單色或者三基色顏色采樣(例如，YZX，也被稱為XYZ)的數(shù)組。在下面，這些數(shù)組可以被稱為亮度(或者L或者Y)和色度，其中，兩個(gè)色度數(shù)組可以被稱為Cb和Cr；而不考慮正在使用的實(shí)際顏色表示方法。可以例如在經(jīng)編碼的位流中例如使用H.264/AVC和/或HEVC的視頻可用性信息(VUI)語法來指示正在使用的實(shí)際顏色表示方法。分量可以被定義為來自三個(gè)采樣數(shù)組(亮度和兩個(gè)色度)中的一個(gè)采樣數(shù)組的數(shù)組或者單一的采樣，或者組成單色格式的圖片的數(shù)組或者數(shù)組的單一的采樣。在H.264/AVC和HEVC中，一個(gè)圖片可以是一個(gè)幀或者一個(gè)字段。幀包括亮度采樣以及可能對應(yīng)的色度采樣的矩陣。字段是幀的替換采樣行的集合。例如當(dāng)源信號被交錯(cuò)時(shí)，字段可以被用作編碼器輸入。色度采樣數(shù)組可以缺席(并且因此單色采樣可以是正在使用的)，或者可以當(dāng)與亮度采樣數(shù)組相比時(shí)是經(jīng)二次采樣的?？梢匀缦碌馗爬ㄒ恍┥雀袷剑?在單色采樣中，存在僅一個(gè)采樣數(shù)組，該采樣數(shù)組可以被名義上看作亮度數(shù)組。-在4:2:0采樣中，兩個(gè)色度數(shù)組中的每個(gè)色度數(shù)組具有亮度數(shù)組的半高和半寬。-在4:2:2采樣中，兩個(gè)色度數(shù)組中的每個(gè)色度數(shù)組具有亮度數(shù)組的同高和半寬。-在4:4:4采樣中，當(dāng)沒有任何單獨(dú)的顏色平面正在使用中時(shí)，兩個(gè)色度數(shù)組中的每個(gè)色度數(shù)組具有與亮度數(shù)組相同的高度和寬度。在H.264/AVC和HEVC中，有可能將采樣數(shù)組作為單獨(dú)的顏色平面編碼到位流中，并且分別地從位流中解碼經(jīng)單獨(dú)編碼的顏色平面。當(dāng)單獨(dú)的顏色平面正在使用中時(shí)，它們中的每個(gè)顏色平面被(編碼器和/或解碼器)作為具有單色采樣的圖片單獨(dú)地處理。當(dāng)色度二次采樣正在使用中(例如，4:2:0或者4:2:2色度采樣)時(shí)，可以在編碼器側(cè)(例如，作為預(yù)處理步驟或者作為編碼的一部分)確定色度采樣關(guān)于亮度采樣的位置。關(guān)于亮度采樣位置的色度采樣位置可以例如在諸如H.264/AVC或者HEVC的編碼標(biāo)準(zhǔn)中被預(yù)定義，或者可以在位流中例如被指示為H.264/AVC或者HEVC的VUI的一部分。概括地說，作為編碼的輸入被提供的源視頻序列可以表示經(jīng)交錯(cuò)的源內(nèi)容或者漸進(jìn)的源內(nèi)容。對于經(jīng)交錯(cuò)的源內(nèi)容，具有相反的奇偶性的字段已在不同時(shí)間被捕獲。漸進(jìn)的源內(nèi)容包含所捕獲的幀。編碼器可以通過兩種方式對經(jīng)交錯(cuò)的源內(nèi)容的字段進(jìn)行編碼：經(jīng)交錯(cuò)的字段的對可以被編碼到經(jīng)編碼的幀中，或者字段可以被編碼為經(jīng)編碼的字段。同樣地，編碼器可以通過兩種方式對漸進(jìn)的源內(nèi)容的幀進(jìn)行編碼：漸進(jìn)的源內(nèi)容的幀可以被編碼到經(jīng)編碼的幀或者經(jīng)編碼的字段的對中。字段對或者互補(bǔ)字段對可以被定義為在解碼和/或輸出次序中緊挨著彼此的、具有相反的奇偶性(即，一個(gè)是頂部字段，并且另一個(gè)是底部字段)并且都不屬于任何其它互補(bǔ)字段對的兩個(gè)字段。某些視頻編碼標(biāo)準(zhǔn)或者方案允許在同一經(jīng)編碼的視頻序列中混合經(jīng)編碼的幀和經(jīng)編碼的字段。此外，可以在編碼和/或解碼時(shí)使能進(jìn)行從經(jīng)編碼的幀中的字段預(yù)測經(jīng)編碼的字段和/或?qū)τ诨パa(bǔ)字段對(被編碼為字段)預(yù)測經(jīng)編碼的幀。分區(qū)可以被定義為將一個(gè)集合劃分成子集，以使得該集合的每個(gè)元素正好在所述子集中的一個(gè)子集中。圖片分區(qū)可以被定義為將圖片劃分成較小的非重疊的單元。塊分區(qū)可以被定義為將塊劃分成諸如是子塊的較小的非重疊的單元。在某些情況下，術(shù)語塊分區(qū)可以被看作覆蓋多個(gè)級別的分區(qū)，所述多個(gè)級別的分區(qū)例如是將圖片分割成切片(slice)和將每個(gè)切片分割成諸如是H.264/AVC的宏塊的較小的單元。應(yīng)當(dāng)指出，諸如是圖片的相同的單元可以具有多于一個(gè)分區(qū)。例如，草案HEVC標(biāo)準(zhǔn)的編碼單元可以被分割成預(yù)測單元，并且單獨(dú)地經(jīng)由另一個(gè)四叉樹被分割成變換單元。在H.264/AVC中，宏塊是亮度采樣的16x16塊和色度采樣的對應(yīng)的塊。例如，在4:2:0采樣模式中，宏塊包含每色度分量的色度采樣的一個(gè)8x8塊。在H.264/AVC中，圖片被分割成一個(gè)或多個(gè)切片組，并且切片組包含一個(gè)或多個(gè)切片。在H.264/AVC中，切片由在特定切片組內(nèi)的光柵掃描中被連續(xù)地排序的整數(shù)個(gè)的宏塊組成。在HEVC標(biāo)準(zhǔn)化的過程期間，例如關(guān)于圖片分區(qū)單元的術(shù)語已演進(jìn)。在接下來的段落中，提供了HEVC術(shù)語的一些非限制性的示例。在HEVC標(biāo)準(zhǔn)的一個(gè)草案版本中，圖片被劃分成覆蓋圖片的區(qū)域的編碼單元(CU)。CU由定義針對該CU內(nèi)的采樣的預(yù)測過程的一個(gè)或多個(gè)預(yù)測單元(PU)和定義針對該CU中的采樣的預(yù)測誤差編碼過程的一個(gè)或多個(gè)變換單元(TU)組成。通常，CU由具有可以從可能CU大小的預(yù)定義集合中選擇的大小的采樣的正方形塊組成。具有最大所允許大小的CU通常被稱為LCU(最大編碼單元)，并且視頻圖片被劃分成非重疊的LCU。LCU可以例如經(jīng)由遞歸地對LCU和產(chǎn)生的CU進(jìn)行拆分而被進(jìn)一步拆分成較小CU的組合。每個(gè)產(chǎn)生的CU通常具有與它相關(guān)聯(lián)的至少一個(gè)PU和至少一個(gè)TU。每個(gè)PU和TU可以分別進(jìn)一步被拆分成較小的PU和TU，以分別提高預(yù)測和預(yù)測誤差編碼過程的粒度。PU拆分可以經(jīng)由將CU拆分成四個(gè)相等大小的正方形PU或者垂直上或者水平上以對稱或者非對稱的方式將CU拆分成兩個(gè)矩形PU來實(shí)現(xiàn)。將圖像劃分成CU和將CU劃分成PU和TU通常在位流中被信號通知，這允許解碼器再現(xiàn)這些單元的預(yù)期的結(jié)構(gòu)。在一個(gè)草案HEVC標(biāo)準(zhǔn)中，圖片被分割成磁貼(tile)，所述磁貼可以是矩形的，并且包含整數(shù)個(gè)LCU。在HEVC的一個(gè)草案中，分割成磁貼形成規(guī)則的網(wǎng)格，其中磁貼的高度和寬度最大逐LCU的與彼此不同。在一個(gè)草案HEVC中，切片由整數(shù)個(gè)CU組成。CU按照磁貼內(nèi)或者圖片內(nèi)(如果磁貼未在使用中)的LCU的光柵掃描次序被掃描。在LCU內(nèi)，CU具有特定的掃描次序。在HEVC的有效草案(WD)5中，針對圖片分區(qū)的一些關(guān)鍵定義和概念被定義如下。分區(qū)被定義為將一個(gè)集合劃分成子集，以使得該集合的每個(gè)元素正好在所述子集中的一個(gè)子集中。一個(gè)草案HEVC中的基本編碼單元是樹塊。樹塊是具有三個(gè)采樣數(shù)組的圖片的亮度采樣的NxN塊和色度采樣的兩個(gè)對應(yīng)的塊、或者單色圖片或者使用三個(gè)單獨(dú)的顏色平面被編碼的圖片的采樣的NxN塊。可以針對不同的編碼和解碼過程對樹塊進(jìn)行分區(qū)。樹塊分區(qū)是由對具有三個(gè)采樣數(shù)組的圖片的樹塊進(jìn)行分區(qū)產(chǎn)生的亮度采樣的塊和色度采樣的兩個(gè)對應(yīng)的塊、或者由對單色圖片或者使用三個(gè)單獨(dú)的顏色平面被編碼的圖片的樹塊進(jìn)行分區(qū)產(chǎn)生的亮度采樣的塊。為每個(gè)樹塊指派用于標(biāo)識用于內(nèi)部或者之間預(yù)測(interprediction)和用于變換編碼的塊大小的分區(qū)信令。分區(qū)是遞歸的四叉樹分區(qū)。四叉樹的根是與樹塊相關(guān)聯(lián)的。四叉樹被拆分，直到到達(dá)被稱為編碼節(jié)點(diǎn)的葉子為止。編碼節(jié)點(diǎn)是兩個(gè)樹——預(yù)測樹和變換樹的根節(jié)點(diǎn)。預(yù)測樹指定預(yù)測塊的位置和大小。預(yù)測樹和關(guān)聯(lián)的預(yù)測數(shù)據(jù)被稱為預(yù)測單元。變換樹指定變換塊的位置和大小。變換樹和關(guān)聯(lián)的變換數(shù)據(jù)被稱為變換單元。針對亮度和色度的拆分信息對于預(yù)測樹是相同的，并且對于變換樹可以或者可以不是相同的。編碼節(jié)點(diǎn)和關(guān)聯(lián)的預(yù)測和變換單元一起形成編碼單元。在一個(gè)草案HEVC中，圖片被劃分成切片和磁貼。切片可以是樹塊的序列，但(當(dāng)提到所謂的精細(xì)粒度切片時(shí))在樹塊內(nèi)變換單元和預(yù)測單元重合的位置處也可以具有其邊界。精細(xì)粒度切片特性被包括在HEVC的某些草案中，但未被包括在最終的HEVC標(biāo)準(zhǔn)中。切片內(nèi)的樹塊按照光柵掃描次序被編碼和解碼。將圖片劃分成切片是一種分區(qū)。在一個(gè)草案HEVC中，磁貼被定義為共現(xiàn)在一列和一行中的在該磁貼內(nèi)的光柵掃描中被連續(xù)地排序的整數(shù)個(gè)樹塊。將圖片劃分成磁貼是一種分區(qū)。磁貼在圖片內(nèi)的光柵掃描中被連續(xù)地排序。盡管切片包含在磁貼的光柵掃描中連續(xù)的樹塊，但這些樹塊不必在圖片內(nèi)的光柵掃描中是連續(xù)的。切片和磁貼不需要包含樹塊的相同序列。一個(gè)磁貼可以包括被包含在多于一個(gè)切片中的樹塊。相似地，一個(gè)切片可以包括被包含在幾個(gè)磁貼中的樹塊。編碼單元與編碼樹塊之間的區(qū)別可以被例如定義如下。切片可以被定義為按照磁貼內(nèi)或者圖片內(nèi)(如果磁貼未在使用中)的光柵掃描次序的一個(gè)或多個(gè)編碼樹單元(CTU)的序列。每個(gè)CTU可以包括一個(gè)亮度編碼樹塊(CTB)和可能(取決于所使用的色度格式)兩個(gè)色度CTB。CTU可以被定義為具有三個(gè)采樣數(shù)組的圖片的亮度采樣的編碼樹塊和色度采樣的兩個(gè)對應(yīng)的編碼樹塊、或者單色圖片或者使用三個(gè)單獨(dú)的顏色平面被編碼的圖片的采樣的編碼樹塊以及用于對采樣進(jìn)行編碼的語法結(jié)構(gòu)。將切片劃分成編碼樹單元可以被看作一種分區(qū)。CTB可以被定義為針對N的某個(gè)值的采樣的NxN塊。將組成具有三個(gè)采樣數(shù)組的圖片的數(shù)組中的一個(gè)數(shù)組或者組成單色格式的圖片或者使用三個(gè)單獨(dú)的顏色平面被編碼的圖片的數(shù)組劃分成編碼樹塊可以被看作一種分區(qū)。編碼塊可以被定義為針對N的某個(gè)值的采樣的NxN塊。將編碼樹塊劃分成編碼塊可以被看作一種分區(qū)。在HEVC中，切片可以被定義為被包含在一個(gè)無依賴的切片段和同一訪問單元內(nèi)的處在下一個(gè)無依賴的切片段(如果有的話)之前的全部隨后的有依賴的切片段(如果有的話)中的整數(shù)個(gè)編碼樹單元。無依賴的切片段可以被定義為這樣的切片段，對于該切片段來說，不從在前的切片段的值推斷該切片段頭部的語法元素的值。有依賴的切片段可以被定義為這樣的切片段，對于該切片段來說，從按照解碼次序在前的無依賴的切片段的值推斷該切片段頭部的某些語法元素的值。換句話說，僅無依賴的切片段可以具有“完整的”切片頭部。無依賴的切片段可以在一個(gè)NAL單元(在同一NAL單元中不具有其它切片段)中被傳送，并且同樣地，有依賴的切片段可以在一個(gè)NAL單元(在同一NAL單元中不具有其它切片段)中被傳送。在HEVC中，經(jīng)編碼的切片段可以被看作包括切片段頭部和切片段數(shù)據(jù)。切片段頭部可以被定義為包含關(guān)于在該切片段中被表示的最先或者全部的編碼樹單元的數(shù)據(jù)元素的經(jīng)編碼的切片段的一部分。切片頭部可以被定義為是當(dāng)前的切片段的無依賴切片段或者按解碼次序處在當(dāng)前的有依賴切片段之前的最近的無依賴切片段的切片段頭部。切片段數(shù)據(jù)可以包括整數(shù)個(gè)編碼樹單元語法結(jié)構(gòu)。在H.264/AVC和HEVC中，可以跨切片邊界禁用圖片中預(yù)測。因此，切片可以被看作一種用于將經(jīng)編碼的圖片拆分成可以無依賴地解碼的片的方法，并且切片因此經(jīng)常被看作用于傳輸?shù)幕締卧?。在許多情況下，編碼器可以在位流中指示哪些類型的圖片中預(yù)測被跨切片邊界地關(guān)閉，并且解碼器操作例如當(dāng)推斷哪些預(yù)測源可用時(shí)考慮該信息。例如，來自鄰近宏塊或者CU的采樣在該鄰近宏塊或者CU位于不同的切片中的情況下可以被看作是對于內(nèi)部預(yù)測不可用的。語法元素可以被定義為在位流中被表示的數(shù)據(jù)的元素。語法結(jié)構(gòu)可以被定義為按照指定的次序一起出現(xiàn)在位流中的零個(gè)或更多個(gè)語法元素。分別用于H.264/AVC或者HEVC編碼器的輸出和H.264/AVC或者HEVC解碼器的輸入的基本單元是網(wǎng)絡(luò)抽象層(NAL)單元。對于通過面向分組的網(wǎng)絡(luò)的傳輸或者向結(jié)構(gòu)化文件中的存儲(chǔ)，NAL單元可以被封裝成分組或者相似的結(jié)構(gòu)。已在H.264/AVC和HEVC中針對不提供成幀結(jié)構(gòu)的傳輸或者存儲(chǔ)環(huán)境指定了字節(jié)流格式。字節(jié)流格式經(jīng)由在每個(gè)NAL單元前面附著開始代碼將NAL單元與彼此隔開。為避免對NAL單元邊界的錯(cuò)誤檢測，編碼器運(yùn)行面向字節(jié)的開始代碼仿真防止算法，該算法在開始代碼本將出現(xiàn)的情況下向NAL單元凈荷添加仿真防止字節(jié)。為使能進(jìn)行面向分組與面向流的系統(tǒng)之間的直觀網(wǎng)關(guān)操作，可以不考慮是否字節(jié)流格式正在使用中而總是執(zhí)行開始代碼仿真防止。NAL單元可以被定義為這樣的語法結(jié)構(gòu)，該語法結(jié)構(gòu)包含對將跟隨在后面的數(shù)據(jù)的類型的指示和當(dāng)必要時(shí)具有仿真防止字節(jié)的以RBSP散布的形式包含該數(shù)據(jù)的字節(jié)。原始字節(jié)序列凈荷(RBSP)可以被定義為包含被封裝在NAL單元中的整數(shù)個(gè)字節(jié)的語法結(jié)構(gòu)。RBSP或者是空的，或者具有包含這樣的語法元素的數(shù)據(jù)位串的形式，所述語法元素之后跟隨RBSP停止位并且之后跟隨零個(gè)或更多個(gè)隨后的等于0的位。NAL單元由頭部和凈荷組成。在H.264/AVC中，NAL單元頭部指示NAL單元的類型和被包含在NAL單元中的經(jīng)編碼的切片是參考圖片還是非參考圖片的一部分。H.264/AVC包括2位的nal_ref_idc語法元素，該語法元素當(dāng)?shù)扔?時(shí)指示被包含在NAL單元中的經(jīng)編碼的切片是非參考圖片的一部分，并且當(dāng)大于0時(shí)指示被包含在NAL單元中的經(jīng)編碼的切片是參考圖片的一部分。用于SVC的NAL單元頭部和MVCNAL單元可以額外地包含與可伸縮性和多視圖分層相關(guān)的各種指示。在HEVC中，兩字節(jié)NAL單元頭部被用于全部所指定的NAL單元類型。所述NAL單元頭部包含一個(gè)保留位、六位的NAL單元類型指示(被稱為nal_unit_type)、六位的保留字段(被稱為nuh_layer_id)和三位的針對時(shí)間級別的temporal_id_plus1指示。temporal_id_plus1語法元素可以被看作NAL單元的時(shí)間標(biāo)識符，并且可以如下地導(dǎo)出基于0的TemporalId變量：TemporalId＝temporal_id_plus1-1。等于0的TemporalId與最低的時(shí)間級別相對應(yīng)。需要temporal_id_plus1的值是非0的，以避免涉及兩個(gè)NAL單元頭部字節(jié)的開始代碼仿真。經(jīng)由排除全部具有大于或者等于所選擇的值的TemporalId的VCLNAL單元和包括全部其它VCLNAL單元所創(chuàng)建的位流保持相符。因此，具有等于TID的TemporalId的圖片不使用任何具有比TID大的TemporalId的圖片作為內(nèi)部預(yù)測參考。子層或者時(shí)間子層可以被定義為時(shí)間可伸縮位流的時(shí)間可伸縮層，其由具有TemporalId變量的特定值的VCLNAL單元和關(guān)聯(lián)的非VCLNAL單元組成。在不失一般性的情況下，在某些示例實(shí)施例中，例如如下地從nuh_layer_id的值導(dǎo)出變量LayerId：LayerId＝nuh_layer_id。在下面，除非另外指出，否者可互換地使用層標(biāo)識符、LayerId、nuh_layer_id和layer_id。在HEVC擴(kuò)展中，nuh_layer_id和/或NAL單元頭部中的相似的語法元素?cái)y帶可伸縮性層信息。例如，LayerId值nuh_layer_id和/或相似的語法元素可以被映射到描述不同的可伸縮性維度的變量或者語法元素的值。NAL單元可以被分類為視頻編碼層(VCL)NAL單元和非VCLNAL單元。VCLNAL單元通常是經(jīng)編碼的切片NAL單元。在H.264/AVC中，經(jīng)編碼的切片NAL單元包含表示一個(gè)或多個(gè)經(jīng)編碼的宏塊的語法元素，所述一個(gè)或多個(gè)經(jīng)編碼的宏塊中的每個(gè)經(jīng)編碼的宏塊與未經(jīng)壓縮的圖片中的采樣的塊相對應(yīng)。在HEVC中，經(jīng)編碼的切片NAL單元包含表示一個(gè)或多個(gè)CU的語法元素。在H.264/AVC中，可以指示經(jīng)編碼的切片NAL單元是即時(shí)解碼刷新(IDR)圖片中的經(jīng)編碼的切片或者非IDR圖片中的經(jīng)編碼的切片。在HEVC中，可以指示VCLNAL單元是以下類型中的一種類型?？梢匀缦碌囟x圖片類型的縮寫：結(jié)尾(TRAIL)圖片、時(shí)間子層訪問(TSA)、按步時(shí)間子層訪問(STSA)、隨機(jī)訪問可解碼前導(dǎo)(RADL)圖片、隨機(jī)訪問跳過前導(dǎo)(RASL)圖片、斷鏈訪問(BLA)圖片、即時(shí)解碼刷新(IDR)圖片、完全隨機(jī)訪問(CRA)圖片。可以另外或者替換地被稱為內(nèi)部隨機(jī)訪問點(diǎn)(IRAP)圖片的隨機(jī)訪問點(diǎn)(RAP)圖片是在其中每個(gè)切片或者切片段具有16到23(含)的范圍中的nal_unit_type的圖片。RAP圖片包含僅經(jīng)內(nèi)部編碼的切片(在經(jīng)無依賴地編碼的層中)，并且可以是BLA圖片、CRA圖片或者IDR圖片。位流中的第一個(gè)圖片是RAP圖片。假設(shè)必要的參數(shù)集在它們需要被激活時(shí)是可用的，則RAP圖片和按照解碼次序的全部隨后的非RASL圖片可以被正確地解碼，而不執(zhí)行任何按照解碼次序處在RAP圖片之前的圖片的解碼過程。位流中可以存在僅包含不是RAP圖片的經(jīng)內(nèi)部編碼的切片的圖片。在HEVC中，CRA圖片可以按照解碼次序是位流中的第一個(gè)圖片，或者可以稍后出現(xiàn)在位流中。HEVC中的CRA圖片允許按照解碼次序跟隨在CRA圖片之后但按照輸出次序處在它之前的所謂的前導(dǎo)圖片。前導(dǎo)圖片中的一些前導(dǎo)圖片——所謂的RASL圖片可以使用在CRA圖片之前被解碼的圖片作為參考。按照解碼和輸出次序兩者跟隨在CRA圖片之后的圖片如果在CRA圖片處執(zhí)行了隨機(jī)訪問則是可解碼的，并且因此與IDR圖片的完全隨機(jī)訪問功能相似地達(dá)到了完全隨機(jī)訪問。CRA圖片可以具有關(guān)聯(lián)的RADL或者RASL圖片。當(dāng)CRA圖片按照解碼次序是位流中的第一個(gè)圖片時(shí)，該CRA圖片按照解碼次序是經(jīng)編碼的視頻序列中的第一個(gè)圖片，并且任何關(guān)聯(lián)的RASL圖片不被解碼器輸出，并且可以不是可解碼的，因?yàn)樗鼈兛赡馨瑢ξ闯霈F(xiàn)在位流中的圖片的參考。前導(dǎo)圖片是按照輸出次序處在關(guān)聯(lián)的RAP圖片之前的圖片。關(guān)聯(lián)的RAP圖片是按照解碼次序在前的RAP圖片(如果出現(xiàn)的話)。前導(dǎo)圖片可以或者是RADL圖片或者是RASL圖片。全部RASL圖片是關(guān)聯(lián)的BLA或者CRA圖片的前導(dǎo)圖片。當(dāng)關(guān)聯(lián)的RAP圖片是BLA圖片或者是位流中的第一個(gè)經(jīng)解碼的圖片時(shí)，RASL圖片不被輸出，并且可以不是可被正確地解碼的，因?yàn)镽ASL圖片可能包含對未出現(xiàn)在位流中的圖片的參考。然而，如果解碼已從RASL圖片的關(guān)聯(lián)的RAP圖片之前的RAP圖片開始，則RASL圖片能夠被正確地解碼。RASL圖片不被用作非RASL圖片的解碼過程的參考圖片。當(dāng)出現(xiàn)時(shí)，全部RASL圖片按照解碼次序處在同一關(guān)聯(lián)的RAP圖片的全部結(jié)尾圖片之前。在HEVC標(biāo)準(zhǔn)的某些草案中，RASL圖片被稱為標(biāo)記為丟棄(TFD)圖片。全部RADL圖片是前導(dǎo)圖片。RADL圖片不被用作同一關(guān)聯(lián)的RAP圖片的結(jié)尾圖片的解碼過程的參考圖片。當(dāng)出現(xiàn)時(shí)，全部RADL圖片按照解碼次序處在同一關(guān)聯(lián)的RAP圖片的全部結(jié)尾圖片之前。RADL圖片不參考任何按照解碼次序處在關(guān)聯(lián)的RAP圖片之前的圖片，并且因此當(dāng)解碼從關(guān)聯(lián)的RAP圖片開始時(shí)能夠被正確地解碼。在HEVC標(biāo)準(zhǔn)的某些較早草案中，RADL圖片被稱為可解碼的前導(dǎo)圖片(DLP)。可解碼的前導(dǎo)圖片可以是這樣的前導(dǎo)圖片：使得在從CRA圖片開始解碼時(shí)能夠被正確地解碼。換句話說，可解碼的前導(dǎo)圖片在之間預(yù)測中僅使用初始CRA圖片或者按照解碼次序的隨后的圖片作為參考。非可解碼的前導(dǎo)圖片是這樣的前導(dǎo)圖片：使得在從初始CRA圖片開始解碼時(shí)不能被正確地解碼。換句話說，非可解碼的前導(dǎo)圖片在之間預(yù)測中使用按照解碼次序處在初始CRA圖片之前的圖片作為參考。當(dāng)從CRA圖片開始的位流的一部分被包括在另一個(gè)位流中時(shí)，與該CRA圖片相關(guān)聯(lián)的RASL圖片可能不可正確解碼，因?yàn)樗鼈兊膮⒖紙D片中的一些參考圖片可能未出現(xiàn)在經(jīng)合并的位流中。為使這樣的切片操作是直觀的，CRA圖片的NAL單元類型可以被變更，以指示它是BLA圖片。與BLA圖片相關(guān)聯(lián)的RASL圖片可能不可被正確地解碼，因此不被輸出/顯示。此外，可以從解碼中省略與BLA圖片相關(guān)聯(lián)的RASL圖片。BLA圖片可以按照解碼次序是位流中的第一個(gè)圖片，或者可以稍后出現(xiàn)在位流中。每個(gè)BLA圖片開始一個(gè)新的經(jīng)編碼的視頻序列，并且具有與IDR圖片相似的對解碼過程的影響。然而，BLA圖片包含指定非空的參考圖片集合的語法元素。當(dāng)BLA圖片具有等于BLA_W_LP的nal_unit_type時(shí)，它可以具有關(guān)聯(lián)的RASL圖片，所述關(guān)聯(lián)的RASL圖片不被解碼器輸出，并且可以不是可解碼的，因?yàn)樗鼈兛赡馨瑢ξ闯霈F(xiàn)在位流中的圖片的參考。當(dāng)BLA圖片具有等于BLA_W_LP的nal_unit_type時(shí)，它可以還具有關(guān)聯(lián)的RADL圖片，所述關(guān)聯(lián)的RADL圖片被指定為將被解碼。當(dāng)BLA圖片具有等于BLA_W_RADL(其在某些HEVC草案中被稱為BLA_W_DLP)的nal_unit_type時(shí)，它不具有關(guān)聯(lián)的RASL圖片，但可以具有關(guān)聯(lián)的RADL圖片，所述關(guān)聯(lián)的RADL圖片被指定為將被解碼。BLA_W_RADL也可以被稱為BLA_W_DLP。當(dāng)BLA圖片具有等于BLA_N_LP的nal_unit_type時(shí)，它不具有任何關(guān)聯(lián)的前導(dǎo)圖片。具有等于IDR_N_LP的nal_unit_type的IDR圖片不具有出現(xiàn)在位流中的關(guān)聯(lián)的前導(dǎo)圖片。具有等于IDR_W_RADL的nal_unit_type的IDR圖片不具有出現(xiàn)在位流中的關(guān)聯(lián)的RASL圖片，但可以具有位流中的關(guān)聯(lián)的RADL圖片。IDR_W_RADL也可以被稱為IDR_W_DLP。在HEVC中，對于許多圖片類型(例如，TRAIL_R、TRAIL_N)存在兩種NAL單元類型，它們區(qū)分圖片是否可以在同一子層中的按照解碼次序的隨后圖片中被用作之間預(yù)測的參考。子層非參考圖片(通常在圖片類型首字母縮略詞中由_N表示)可以被定義為包含在按照解碼次序的同一子層的隨后圖片的解碼過程中不能被用于之間預(yù)測的采樣的圖片。子層非參考圖片可以被用作具有更大TemporalId值的圖片的參考。子層參考圖片(通常在圖片類型首字母縮略詞中由_R表示)可以被定義為在按照解碼次序的同一子層的隨后圖片的解碼過程中可以被用作之間預(yù)測的參考的圖片。當(dāng)nal_unit_type的值等于TRAIL_N、TSA_N、STSA_N、RADL_N、RASL_N、RSV_VCL_N10、RSV_VCL_N12或者RSV_VCL_N14時(shí)，經(jīng)解碼的圖片不被用作同一nuh_layer_id和時(shí)間子層的任何其它圖片的參考。即，在HEVC標(biāo)準(zhǔn)中，當(dāng)nal_unit_type的值等于TRAIL_N、TSA_N、STSA_N、RADL_N、RASL_N、RSV_VCL_N10、RSV_VCL_N12或者RSV_VCL_N14時(shí)，經(jīng)解碼的圖片不被包括在任何具有相同TemporalId值的圖片的RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetLtCurr中的任一項(xiàng)中。具有等于TRAIL_N、TSA_N、STSA_N、RADL_N、RASL_N、RSV_VCL_N10、RSV_VCL_N12或者RSV_VCL_N14的nal_unit_type的經(jīng)編碼的圖片可以被丟棄，而不影響其它的具有相同的nuh_layer_id和TemporalId值的圖片的可解碼性。具有任何編碼類型(I、P、B)的圖片可以是H.264/AVC和HEVC中的參考圖片或者非參考圖片。圖片內(nèi)的切片可以具有不同的編碼類型。結(jié)尾圖片可以被定義為按照輸出次序跟隨在關(guān)聯(lián)的RAP圖片之后的圖片。任何是結(jié)尾圖片的圖片不具有等于RADL_N、RADL_R、RASL_N或者RASL_R的nal_unit_type。任何是前導(dǎo)圖片的圖片可以被約束為按照解碼次序處在與同一RAP圖片相關(guān)聯(lián)的全部結(jié)尾圖片之前。沒有任何RASL圖片出現(xiàn)在與具有等于BLA_W_RADL或者BLA_N_LP的nal_unit_type的BLA圖片相關(guān)聯(lián)的位流中。沒有任何RADL圖片出現(xiàn)在與具有等于BLA_N_LP的nal_unit_type的BLA圖片相關(guān)聯(lián)的或者與具有等于IDR_N_LP的nal_unit_type的IDR圖片相關(guān)聯(lián)的位流中。任何與CRA或者BLA圖片相關(guān)聯(lián)的RASL圖片可以被約束為按照輸出次序處在任何與CRA或者BLA圖片相關(guān)聯(lián)的RADL圖片之前。任何與CRA圖片相關(guān)聯(lián)的RASL圖片可以被約束為，按照輸出次序跟隨在任何按照解碼次序處在CRA圖片之前的其它RAP圖片之后。在HEVC中，存在可以用于指示時(shí)間子層切換點(diǎn)的兩種圖片類型——TSA和STSA圖片類型。如果具有上至N的TemporalId的時(shí)間子層已在TSA或者STSA圖片(不含)之前被解碼，并且TSA或者STSA圖片具有等于N+1的TemporalId，則TSA或者STSA圖片使能進(jìn)行對全部具有等于N+1的TemporalId的隨后圖片(按照解碼次序)的解碼。TSA圖片類型可以對TSA圖片自身和按照解碼次序跟隨在TSA圖片之后的同一子層中的全部圖片施加限制。不允許這些圖片中的任一個(gè)圖片使用來自按照解碼次序處在TSA圖片之前的同一子層中的任何圖片的之間預(yù)測。TSA定義可以進(jìn)一步對按照解碼次序跟隨在TSA圖片之后的更高子層中的圖片施加限制。不允許這些圖片中的任一個(gè)圖片參考按照解碼次序處在TSA圖片之前的圖片(如果該圖片屬于與TSA圖片相同或者比TSA圖片更高的子層的話)。TSA圖片具有大于0的TemporalId。STSA與TSA圖片相似，但不對按照解碼次序跟隨在STSA圖片之后的更高子層中的圖片施加限制，并且因此使能進(jìn)行僅向STSA圖片所在的子層之上的向上切換。非VCLNAL單元可以例如具有以下類型中的一種類型：序列參數(shù)集、圖片參數(shù)集、補(bǔ)充增強(qiáng)信息(SEI)NAL單元、訪問單元分隔符、序列NAL單元的末端、流NAL單元的末端或者填充數(shù)據(jù)NAL單元。參數(shù)集對于經(jīng)解碼圖片的重構(gòu)可能是需要的，而其它非VCLNAL單元中的許多非VCLNAL單元對于經(jīng)解碼的采樣值的重構(gòu)不是必要的。在HEVC中，已指定了以下的非VCLNAL單元類型。通過經(jīng)編碼的視頻序列保持未被變更的參數(shù)可以被包括在序列參數(shù)集中。除了可能被解碼過程需要的參數(shù)之外，序列參數(shù)集可以可選地包含視頻可用性信息(VUI)，視頻可用性信息(VUI)包括可能對于緩沖、圖片輸出時(shí)序、渲染和資源預(yù)留很重要的參數(shù)。在H.264/AVC中指定了三個(gè)用于攜帶序列參數(shù)集的NAL單元：包含序列中的H.264/AVCVCLNAL單元的全部數(shù)據(jù)的序列參數(shù)集NAL單元(具有等于7的NAL單元類型)，包含附屬的經(jīng)編碼的圖片的數(shù)據(jù)的序列參數(shù)集擴(kuò)展NAL單元，以及針對MVC和SVCVCLNAL單元的子集序列參數(shù)集。被包括在H.264/AVC的序列參數(shù)集NAL單元(具有等于7的NAL單元類型)中的語法結(jié)構(gòu)可以被稱為序列參數(shù)集數(shù)據(jù)、seq_parameter_set_data或者基礎(chǔ)SPS(序列參數(shù)集)數(shù)據(jù)。例如，簡檔、級別、圖片大小和色度采樣格式可以被包括在基礎(chǔ)SPS數(shù)據(jù)中。圖片參數(shù)集包含很可能在幾個(gè)經(jīng)編碼的圖片中不被變更的此類參數(shù)。在一個(gè)草案HEVC中，還存在在此被稱為自適應(yīng)參數(shù)集(APS)的另一種類型的參數(shù)集，所述參數(shù)集包括很可能在幾個(gè)經(jīng)編碼的切片中不被變更但可以例如對于每個(gè)圖片或者每少量幾個(gè)圖片變更的參數(shù)。在一個(gè)草案HEVC中，APS語法結(jié)構(gòu)包括與量化矩陣(QM)、采樣自適應(yīng)偏移量(SAO)、自適應(yīng)環(huán)路濾波(ALF)和去塊濾波相關(guān)的參數(shù)或者語法元素。在一個(gè)草案HEVC中，APS是NAL單元，并且在不具有來自任何其它NAL單元的參考或者預(yù)測的情況下被編碼。被稱為aps_id語法元素的標(biāo)識符被包括在APSNAL單元中，并且在切片頭部中被包括和使用以指特定的APS。然而，APS未被包括在最終的H.265/HEVC標(biāo)準(zhǔn)中。H.265/HEVC還包括被稱為視頻參數(shù)集(VPS)的另一種類型的參數(shù)集。視頻參數(shù)集RBSP可以包括能夠被一個(gè)或多個(gè)序列參數(shù)集RBSP引用的參數(shù)?？梢匀缦碌孛枋鯲PS、SPS和PPS之間的關(guān)系和分層。VPS在參數(shù)集分層中和在可伸縮性和/或3DV的上下文中位于SPS之上的一級中。VPS可以包括對于跨整個(gè)經(jīng)編碼的視頻序列中的全部(可伸縮性或者視圖)層的全部切片是公共的的參數(shù)。SPS包括對于整個(gè)經(jīng)編碼的視頻序列中的特定(可伸縮性或者視圖)層中的全部切片是公共的并且可以被多個(gè)(可伸縮性或者視圖)層共享的參數(shù)。PPS包括對于特定層表示(在一個(gè)訪問單元中對一個(gè)可伸縮性或者視圖層的表示)中的全部切片是公共的并且很可能被多個(gè)層表示中的全部切片共享的參數(shù)。VPS可以提供關(guān)于位流中的層的依賴關(guān)系的信息以及適用于跨整個(gè)經(jīng)編碼的視頻序列中的全部(可伸縮性或者視圖)層的全部切片的許多其它信息。H.264/AVC和HEVC語法允許參數(shù)集的許多實(shí)例，并且利用唯一的標(biāo)識符來標(biāo)識每個(gè)實(shí)例。為限制參數(shù)集所需的存儲(chǔ)器使用，已限制參數(shù)集標(biāo)識符的值范圍。在H.264/AVC和一個(gè)草案HEVC標(biāo)準(zhǔn)中，每個(gè)切片頭部包括對于包含該切片的圖片的解碼活躍的圖片參數(shù)集的標(biāo)識符，并且每個(gè)圖片參數(shù)集包含活躍的序列參數(shù)集的標(biāo)識符。在一個(gè)草案HEVC標(biāo)準(zhǔn)中，切片頭部額外地包含APS標(biāo)識符。因此，不必使圖片和序列參數(shù)集的傳輸與切片的傳輸準(zhǔn)確地同步。作為代替，活躍的序列和圖片參數(shù)集在它們被參考之前的任何時(shí)刻被接收就足夠，這允許使用比用于切片數(shù)據(jù)的協(xié)議更可靠的傳輸機(jī)制“帶外”地傳輸參數(shù)集。例如，可以將參數(shù)集作為參數(shù)包括在實(shí)時(shí)傳輸協(xié)議(RTP)會(huì)話的會(huì)話描述中。如果參數(shù)集在帶內(nèi)被發(fā)送，則它們可以被重復(fù)以改進(jìn)錯(cuò)誤魯棒性。參數(shù)集可以被來自切片或者來自另一個(gè)活躍的參數(shù)集或者在某些情況下來自諸如緩沖周期SEI消息之類的另一個(gè)語法結(jié)構(gòu)的參考所激活。SEINAL單元可以包含一個(gè)或多個(gè)SEI消息，所述SEI消息對于輸出圖片的解碼不是必需的，但可以在諸如是圖片輸出時(shí)序、渲染、錯(cuò)誤檢測、錯(cuò)誤隱藏和資源預(yù)留的相關(guān)過程中提供輔助。在H.264/AVC和HEVC中指定了幾個(gè)SEI消息，并且用戶數(shù)據(jù)SEI消息使組織和公司能夠?yàn)樗麄冏约旱氖褂弥付⊿EI消息。H.264/AVC和HEVC包含所指定的SEI消息的語法和語義，但未定義任何用于在回執(zhí)中處置消息的過程。因此，需要編碼器在它們創(chuàng)建SEI消息時(shí)遵循H.264/AVC標(biāo)準(zhǔn)或者HEVC標(biāo)準(zhǔn)，并且不需要分別與H.264/AVC標(biāo)準(zhǔn)或者HEVC標(biāo)準(zhǔn)相符的解碼器為了輸出次序相符性處理SEI消息。將SEI消息的語法和語義包括在H.264/AVC和HEVC中的原因之一是允許不同的系統(tǒng)規(guī)范相同地解釋互補(bǔ)信息，并且因此互操作。預(yù)期系統(tǒng)規(guī)范可能需要在編碼端和解碼端兩者處使用特定的SEI消息，并且額外地可以指定用于在回執(zhí)中處置特定的SEI消息的過程。H.264/AVC和H.265/HEVC標(biāo)準(zhǔn)兩者留下一系列NAL單元類型值處未被指定的狀態(tài)。預(yù)期這些未被指定的NAL單元類型值可以被其它的規(guī)范采用。具有這些未被指定的NAL單元類型值的NAL單元可以用于在視頻位流內(nèi)復(fù)用數(shù)據(jù)，所述數(shù)據(jù)諸如是通信協(xié)議所需的數(shù)據(jù)。如果具有這些未被指定的NAL單元類型值的NAL單元不被傳遞給解碼器，則當(dāng)這些NAL單元被創(chuàng)建和包括在視頻位流中時(shí)不需要執(zhí)行針對視頻位流的位流開始代碼仿真的開始代碼仿真防止，并且開始代碼仿真防止移除不需要被完成，因?yàn)檫@些NAL單元在它們被傳遞給解碼器之前被從視頻位流中移除。當(dāng)有可能具有未被指定的NAL單元類型值的NAL單元包含開始代碼仿真時(shí)，NAL單元可以被稱為類NAL單元的結(jié)構(gòu)。與實(shí)際的NAL單元不同，類NAL單元的結(jié)構(gòu)可以包含開始代碼仿真。在HEVC中，未被指定的NAL單元類型具有48到63(含)的范圍中的nal_unit_type值，并且可以如下地以表的形式被指定：在HEVC中，如此指定NAL單元UNSPEC48到UNSPEC55(含)(即，具有48到55(含)的范圍中的nal_unit_type值)：使得可以開始訪問單元，而如此指定NAL單元UNSPEC56到UNSPEC63(即，具有56到63(含)的范圍中的nal_unit_type值)：使得可以位于訪問單元的末端。經(jīng)編碼的圖片是圖片的經(jīng)編碼的表示。H.264/AVC中的經(jīng)編碼的圖片包括對圖片的解碼所需的VCLNAL單元。在H.264/AVC中，經(jīng)編碼的圖片可以是主要經(jīng)編碼圖片或者冗余經(jīng)編碼圖片。主要經(jīng)編碼圖片在有效位流的解碼過程中被使用，而冗余經(jīng)編碼圖片是應(yīng)當(dāng)僅在主要經(jīng)編碼圖片不能被成功地解碼時(shí)被解碼的冗余表示。在H.264/AVC中，訪問單元包括主要經(jīng)編碼圖片和與它相關(guān)聯(lián)的那些NAL單元。在HEVC中，訪問單元被定義為根據(jù)所指定的分類規(guī)則是與彼此相關(guān)聯(lián)的、按照解碼次序是連續(xù)的并且包含正好一個(gè)經(jīng)編碼的圖片的NAL單元的集合。在H.264/AVC中，如下地約束訪問單元內(nèi)的NAL單元的出現(xiàn)次序?？蛇x的訪問單元分隔符NAL單元可以指示訪問單元的開始。它之后跟隨0個(gè)或更多個(gè)SEINAL單元。主要經(jīng)編碼圖片的經(jīng)編碼切片接下來出現(xiàn)。在H.264/AVC中，主要經(jīng)編碼圖片的經(jīng)編碼切片之后可以跟隨0個(gè)或更多個(gè)冗余經(jīng)編碼圖片的經(jīng)編碼切片。冗余經(jīng)編碼圖片是圖片或者圖片的一部分的經(jīng)編碼的表示。如果主要經(jīng)編碼圖片例如由于傳輸?shù)膩G失或者物理存儲(chǔ)介質(zhì)的污染而未被解碼器接收，則冗余經(jīng)編碼圖片可以被解碼。在H.264/AVC中，訪問單元可以還包括附屬經(jīng)編碼圖片，附屬經(jīng)編碼圖片是對主要經(jīng)編碼圖片進(jìn)行補(bǔ)充的圖片，并且可以例如在顯示過程中被使用。附屬經(jīng)編碼圖片可以例如被用作指定經(jīng)解碼圖片中的采樣的透明度級別的阿爾法通道或者阿爾法平面。阿爾法通道或者平面可以在分層的構(gòu)圖或者渲染系統(tǒng)中被使用，在所述分層的構(gòu)圖或者渲染系統(tǒng)中，經(jīng)由在彼此之上覆蓋至少部分地透明的圖片來形成輸出圖片。附屬經(jīng)編碼圖片具有與單色的冗余經(jīng)編碼圖片相同的語法和語義限制。在H.264/AVC中，附屬經(jīng)編碼圖片包含與主要經(jīng)編碼圖片相同數(shù)量的宏塊。在HEVC中，經(jīng)編碼的圖片可以被定義為包含圖片的全部編碼樹單元的圖片的經(jīng)編碼的表示。在HEVC中，訪問單元可以被定義為根據(jù)所指定的分類規(guī)則是與彼此相關(guān)聯(lián)的、按照解碼次序是連續(xù)的并且包含具有不同值的nuh_layer_id的一個(gè)或多個(gè)經(jīng)編碼圖片的NAL單元的集合。除了包含經(jīng)編碼圖片的VCLNAL單元之外，訪問單元可以還包含非VCLNAL單元。在H.264/AVC中，經(jīng)編碼的視頻序列被定義為是按照解碼次序從一個(gè)IDR訪問單元(含)到下一個(gè)IDR訪問單元(不含)或者到位流的末端(出現(xiàn)較早的那個(gè))的連續(xù)訪問單元序列。在HEVC中，經(jīng)編碼的視頻序列(CVS)可以被定義為例如這樣的訪問單元序列：其按照解碼次序包括具有等于1的NoRaslOutputFlag的IRAP訪問單元，之后跟隨0個(gè)或更多個(gè)具有等于1的NoRaslOutputFlag的不是IRAP訪問單元的訪問單元(包括上至全部隨后的訪問單元，但不包括任何具有等于1的NoRaslOutputFlag的是IRAP訪問單元的隨后訪問單元)。IRAP訪問單元可以是IDR訪問單元、BLA訪問單元或者CRA訪問單元。NoRaslOutputFlag的值對于按照解碼次序是位流中的第一個(gè)訪問單元、按照解碼次序是跟隨在序列NAL單元的末端之后的第一個(gè)訪問單元、或者具有等于1的HandleCraAsBlaFlag的每個(gè)IDR訪問單元、每個(gè)BLA訪問單元和每個(gè)CRA訪問單元而言等于1。等于1的NoRaslOutputFlag具有這樣的影響，與對于其來說NoRaslOutputFlag被設(shè)置的IRAP圖片相關(guān)聯(lián)的RASL圖片不被解碼器輸出。HandleCraAsBlaFlag可以例如被尋求位流中的新位置或者調(diào)諧到廣播并且開始解碼并且然后開始從CRA圖片進(jìn)行解碼的播放器設(shè)置為1?？梢匀缦碌囟x圖片組(GOP)及其特性?？梢圆豢紤]是否任何之前的圖片被解碼而對GOP進(jìn)行解碼。開放式GOP是這樣的圖片組，在其中，當(dāng)解碼從開放式GOP的初始內(nèi)部圖片開始時(shí)，按照輸出次序處在初始內(nèi)部圖片之前的圖片可能不可被正確地解碼。換句話說，開放式GOP的圖片可以參考(在之間預(yù)測中)屬于前一個(gè)GOP的圖片。H.264/AVC解碼器可以從H.264/AVC位流中的恢復(fù)點(diǎn)SEI消息識別開始開放式GOP的內(nèi)部圖片。HEVC解碼器可以識別開始開放式GOP的內(nèi)部圖片，因?yàn)榫唧w的NAL單元類型、CARNAL單元類型被用于它的經(jīng)編碼的切片。封閉式GOP是這樣的圖片組，在其中，當(dāng)解碼從該封閉式GOP的初始內(nèi)部圖片開始時(shí)，全部圖片可以被正確地解碼。換句話說，封閉式GOP中沒有任何圖片參考之前的GOP中的任何圖片。在H.264/AVC和HEVC中，封閉式GOP從IDR訪問單元開始。在HEVC中，封閉式GOP還可以從BLA_W_RADL或者BLA_N_LP圖片開始。因此，封閉式GOP結(jié)構(gòu)具有比開放式GOP結(jié)構(gòu)更大的錯(cuò)誤恢復(fù)潛力，然而代價(jià)是壓縮效率的可能的降低。因?yàn)樵谶x擇參考圖片時(shí)的更大的靈活度，開放式GOP編碼結(jié)構(gòu)是在壓縮上潛在更高效的。圖片結(jié)構(gòu)(SOP)可以被定義為按照編碼次序連續(xù)的一個(gè)或多個(gè)經(jīng)編碼的圖片，其中，按照編碼次序的第一個(gè)經(jīng)編碼的圖片是最低時(shí)間子層處的參考圖片，并且除了潛在地按照編碼次序的第一個(gè)經(jīng)編碼的圖片之外，沒有任何經(jīng)編碼的圖片是RAP圖片。圖片的相對解碼次序由圖片內(nèi)的數(shù)字說明。前一個(gè)SOP中的任何圖片具有比當(dāng)前的SOP中的任何圖片小的解碼次序，并且下一個(gè)SOP中的任何圖片具有比當(dāng)前的SOP中的任何圖片大的解碼次序。術(shù)語圖片組(GOP)可以有時(shí)被與術(shù)語SOP可互換地使用，并且具有與SOP的語義而非如上面描述的封閉式或者開放式GOP的語義相同的語義。圖片自適應(yīng)幀字段編碼(PAFF)指編碼器或者編碼方案的用于基于圖片確定是經(jīng)編碼的字段還是經(jīng)編碼的幀被編碼的能力。序列自適應(yīng)幀字段編碼(SAFF)指編碼器或者編碼方案的用于對于諸如是經(jīng)編碼的視頻序列、圖片組(GOP)或者圖片結(jié)構(gòu)(SOP)的圖片序列確定是經(jīng)編碼的字段還是經(jīng)編碼的幀被編碼的能力。HEVC包括各種與指示字段(與幀相對)和源掃描類型相關(guān)的方法，可以如下地概括所述方法。在HEVC中，profile_tier_level()語法結(jié)構(gòu)被包括在具有等于0的nuh_layer_id的SPS中和VPS中。當(dāng)profile_tier_level()語法結(jié)構(gòu)被包括在VPS中但未被包括在vps_extension()語法結(jié)構(gòu)中時(shí)，profile_tier_level()語法結(jié)構(gòu)所應(yīng)用到的適用層集是由索引0指定的層集，即，僅包含基礎(chǔ)層。當(dāng)profile_tier_level()語法結(jié)構(gòu)被包括在SPS中時(shí)，profile_tier_level()語法結(jié)構(gòu)所應(yīng)用到的層集是由索引0指定的層集，即，僅包含基礎(chǔ)層。profile_tier_level()語法結(jié)構(gòu)包括general_progressive_source_flag和general_interlaced_source_flag語法元素?？梢匀缦碌亟忉実eneral_progressive_source_flag和general_interlaced_source_flag：-如果general_progressive_source_flag等于1并且general_interlaced_source_flag等于0，則CVS中的圖片的源掃描類型應(yīng)當(dāng)僅被解釋為漸進(jìn)的。-否則，如果general_progressive_source_flag等于0并且general_interlaced_source_flag等于1，則CVS中的圖片的源掃描類型應(yīng)當(dāng)僅被解釋為經(jīng)交錯(cuò)的。-否則，如果general_progressive_source_flag等于0并且general_interlaced_source_flag等于0，則CVS中的圖片的源掃描類型應(yīng)當(dāng)被解釋為未知的或者未被指定的。-否者(general_progressive_source_flag等于1并且general_interlaced_source_flag等于1)，在圖片級使用圖片時(shí)序SEI消息中的語法元素source_scan_type來指示CVS中的每個(gè)圖片的源掃描類型。根據(jù)HEVC，SPS可以(但不需要)包含VUI(在vui_parameters語法結(jié)構(gòu)中)。VUI可以包括語法元素field_seq_flag，該語法元素field_seq_flag當(dāng)?shù)扔?時(shí)可以指示CVS傳達(dá)表示字段的圖片，并且可以指定圖片時(shí)序SEI消息出現(xiàn)在當(dāng)前的CVS的每個(gè)訪問單元中。等于0的field_seq_flag可以指示CVS傳達(dá)表示幀的圖片，并且圖片時(shí)序SEI消息可以或者可以不出現(xiàn)在當(dāng)前的CVS的任何訪問單元中。當(dāng)field_seq_flag不出現(xiàn)時(shí)，可以推斷其等于0。profile_tier_level()語法結(jié)構(gòu)可以包括語法元素general_frame_only_constraint_flag，該語法元素general_frame_only_constraint_flag當(dāng)?shù)扔?時(shí)可以指定field_seq_flag等于0。等于0的general_frame_only_constraint_flag可以指示field_seq_flag可以或者可以不等于0。根據(jù)HEVC，VUI可以還包括語法元素frame_field_info_present_flag，該語法元素frame_field_info_present_flag當(dāng)?shù)扔?時(shí)可以指定：圖片時(shí)序SEI消息對于每個(gè)圖片出現(xiàn)并且包括pic_struct、source_scan_type和duplicate_flag語法元素。等于0的frame_field_info_present_flag可以指定pic_struct語法元素不出現(xiàn)在圖片時(shí)序SEI消息中。當(dāng)frame_field_info_present_flag不出現(xiàn)時(shí)，可以如下地推斷它的值：如果general_progressive_source_flag等于1并且general_interlaced_source_flag等于1，則推斷frame_field_info_present_flag等于1。否則，推斷frame_field_info_present_flag等于0?？梢匀缦碌馗爬℉EVC的圖片時(shí)序SEI消息的pic_struct語法元素。pic_struct指示圖片應(yīng)當(dāng)被顯示為幀還是一個(gè)或多個(gè)字段，并且對于幀的顯示，當(dāng)fixed_pic_rate_within_cvs_flag(其可以被包括在SPSVUI中)等于1時(shí)可以指示使用固定的幀刷新間隔的用于顯示的幀雙倍或者三倍重復(fù)周期。可以利用下面的表來指定對pic_struct的解釋：可以如下地概括HEVC的圖片時(shí)序SEI消息的source_scan_type語法元素。等于1的source_scan_type可以指示關(guān)聯(lián)的圖片的源掃描類型應(yīng)當(dāng)被解釋為漸進(jìn)的。等于0的source_scan_type可以指示關(guān)聯(lián)的圖片的源掃描類型應(yīng)當(dāng)被解釋為經(jīng)交錯(cuò)的。等于2的source_scan_type可以指示關(guān)聯(lián)的圖片的源掃描類型是未知的或者未被指定的?？梢匀缦碌馗爬℉EVC的圖片時(shí)序SEI消息的duplicate_flag語法元素。等于1的duplicate_flag可以指示當(dāng)前的圖片被指示為是按照輸出次序的前一個(gè)圖片的副本。等于0的duplicate_flag可以指示當(dāng)前的圖片未被指示為是按照輸出次序的前一個(gè)圖片的副本。duplicate_flag可以用于標(biāo)記這樣的已編碼圖片，已知已從諸如是3:2下拉或者其它這樣的復(fù)制和圖片速率插值方法的重復(fù)過程產(chǎn)生所述已編碼圖片。當(dāng)field_seq_flag等于1并且duplicate_flag等于1時(shí)，除非由對范圍9到12(含)中的pic_struct值的使用指示了配對，否則這可以被解釋為對訪問單元包含具有與當(dāng)前的字段相同的奇偶性的按照輸出次序的前一個(gè)字段的被復(fù)制的字段的指示。包括H.264/AVC和HEVC的許多混合視頻編解碼器在兩個(gè)階段中對視頻進(jìn)行編碼。在第一階段中，例如作為所謂的采樣預(yù)測和/或作為所謂的語法預(yù)測應(yīng)用預(yù)測性編碼。在采樣預(yù)測中，預(yù)測特定圖片區(qū)域或者“塊”中的像素或者采樣值?？梢岳缡褂靡韵路椒ㄖ械囊环N或多種方法來預(yù)測這些像素或者采樣值：-運(yùn)動(dòng)補(bǔ)償機(jī)制(其也可以被稱為時(shí)間預(yù)測或者運(yùn)動(dòng)補(bǔ)償時(shí)間預(yù)測或者運(yùn)動(dòng)補(bǔ)償預(yù)測或者M(jìn)CP)，其涉及找到和指示與被編碼的塊緊密對應(yīng)的之前被編碼的視頻幀中的一個(gè)視頻幀中的區(qū)域。-視圖間預(yù)測，其涉及找到和指示與被編碼的塊緊密對應(yīng)的之前被編碼的視圖分量中的一個(gè)視圖分量中的區(qū)域。-視圖合成預(yù)測，其涉及基于經(jīng)重構(gòu)/經(jīng)解碼的范圍信息來合成預(yù)測塊或者預(yù)測塊在其處被導(dǎo)出的圖像區(qū)域。-諸如是SVC的所謂的IntraBL(基礎(chǔ)層)模式的使用經(jīng)重構(gòu)/經(jīng)解碼的采樣的層間預(yù)測。-層間殘差預(yù)測，在其中，例如參考層的經(jīng)編碼的殘差或者從經(jīng)重構(gòu)/經(jīng)解碼的參考層圖片與對應(yīng)的經(jīng)重構(gòu)/經(jīng)解碼的增強(qiáng)層圖片的差別導(dǎo)出的殘差可以用于預(yù)測當(dāng)前的增強(qiáng)層塊的殘差塊。殘差塊可以被添加到例如運(yùn)動(dòng)補(bǔ)償預(yù)測塊，以獲得當(dāng)前的增強(qiáng)層塊的最終預(yù)測塊。-內(nèi)部預(yù)測，其中，可以通過涉及找到和指示空間區(qū)域關(guān)系的空間機(jī)制來預(yù)測像素或者采樣值。在也可以被稱為參數(shù)預(yù)測的語法預(yù)測中，從較早被(解)編碼的語法元素和/或較早被導(dǎo)出的變量來預(yù)測語法元素和/或語法元素值和/或從語法元素導(dǎo)出的變量。下面提供了語法預(yù)測的非限制性示例：-在運(yùn)動(dòng)向量預(yù)測中，可以關(guān)于塊特定的經(jīng)預(yù)測的運(yùn)動(dòng)向量有差別地對例如針對之間和/或視圖間預(yù)測的運(yùn)動(dòng)向量進(jìn)行編碼。在許多視頻編解碼器中，例如經(jīng)由計(jì)算相鄰的塊的經(jīng)編碼或者經(jīng)解碼的運(yùn)動(dòng)向量的中值而通過預(yù)定義的方法來創(chuàng)建經(jīng)預(yù)測的運(yùn)動(dòng)向量。有時(shí)被稱為高級運(yùn)動(dòng)向量預(yù)測(AMVP)的另一種用于創(chuàng)建運(yùn)動(dòng)向量預(yù)測的方法在于，從時(shí)間參考圖片中的相鄰的塊和/或協(xié)同定位的塊生成候選預(yù)測的列表，并且作為運(yùn)動(dòng)向量預(yù)測器對所選擇的候選預(yù)測進(jìn)行信號通知。除了預(yù)測運(yùn)動(dòng)向量值之外，可以預(yù)測前一個(gè)經(jīng)編碼/經(jīng)解碼的圖片的參考索引。可以從時(shí)間參考圖片中的相鄰的塊和/或協(xié)同定位的塊來預(yù)測參考索引。可以跨切片邊界禁用對運(yùn)動(dòng)向量的有差別的編碼。-可以預(yù)測例如從CTU到CU以及下至PU的塊分區(qū)。-在濾波器參數(shù)預(yù)測中，可以預(yù)測例如針對采樣自適應(yīng)偏移量的濾波參數(shù)。使用來自前一個(gè)經(jīng)編碼的圖像的圖像信息的預(yù)測方法也可以被稱為之間預(yù)測方法，所述之間預(yù)測方法也可以被稱為時(shí)間預(yù)測和運(yùn)動(dòng)補(bǔ)償。使用同一圖像內(nèi)的圖像信息的預(yù)測方法也可以被稱為內(nèi)部預(yù)測方法。第二階段是對像素或者采樣的所預(yù)測的塊與像素或者采樣的原始塊之間的誤差進(jìn)行編碼中的一項(xiàng)。這可以經(jīng)由使用指定的變換對像素或者采樣值的差值進(jìn)行變換來完成。該變換可以是離散余弦變換(DCT)或者其變型。在對差值進(jìn)行變換之后，對經(jīng)變換的差值進(jìn)行量化和熵編碼。經(jīng)由改變量化過程的保真度，編碼器可以控制在像素或者采樣表示的準(zhǔn)確度(即，圖片的視覺質(zhì)量)與產(chǎn)生的經(jīng)編碼的視頻表示的大小(即，文件大小或者傳輸比特率)之間的平衡。解碼器經(jīng)由應(yīng)用與被編碼器使用的預(yù)測機(jī)制相似的預(yù)測機(jī)制以形成像素或者采樣值的經(jīng)預(yù)測的表示(使用由編碼器創(chuàng)建并且被存儲(chǔ)在圖像的經(jīng)壓縮的表示中的運(yùn)動(dòng)或者空間信息)和預(yù)測誤差解碼(用于在空域中恢復(fù)經(jīng)量化的預(yù)測誤差信號的預(yù)測誤差編碼的逆操作)來重構(gòu)輸出視頻。在應(yīng)用像素或者采樣預(yù)測和誤差解碼過程之后，解碼器可以合并預(yù)測和預(yù)測誤差信號(像素或者采樣值)，以形成輸出視頻幀。解碼器(和編碼器)可以在傳遞輸出視頻以用于顯示和/或存儲(chǔ)為視頻序列中的即將到來的圖片的預(yù)測參考之前還應(yīng)用額外的濾波過程以改進(jìn)輸出視頻的質(zhì)量。濾波可以用于減少來自參考圖像的諸如是塊、振鈴等的各種效應(yīng)。在之后跟隨增加經(jīng)逆變換的殘差的運(yùn)動(dòng)補(bǔ)償之后，獲得經(jīng)重構(gòu)的圖片。該圖片可以具有諸如是塊、振鈴等的各種效應(yīng)。為消除所述效應(yīng)，可以應(yīng)用各種后處理操作。如果經(jīng)后處理的圖片在運(yùn)動(dòng)補(bǔ)償環(huán)路中被用作參考，則后處理操作/濾波器通常被稱為環(huán)路濾波器。經(jīng)由使用環(huán)路濾波器，參考圖片的質(zhì)量提高。因此，可以達(dá)到更高的編碼效率。濾波可以包括例如去塊濾波器、采樣自適應(yīng)偏移量(SAO)濾波器和/或自適應(yīng)環(huán)路濾波器(ALF)。去塊濾波器可以被用作環(huán)路濾波器中的一個(gè)濾波器。去塊濾波器在H.264/AVC和HEVC標(biāo)準(zhǔn)兩者中是可用的。去塊濾波器的目的在于移除出現(xiàn)在塊的邊界處的塊效應(yīng)。這可以經(jīng)由沿塊邊界進(jìn)行濾波來達(dá)到。在SAO中，圖片被劃分成區(qū)域，其中，對于每個(gè)區(qū)域作出單獨(dú)的SAO決策。區(qū)域中的SAO信息被封裝在SAO參數(shù)調(diào)整單元(SAO單元)中，并且在HEVC中，用于調(diào)整SAO參數(shù)的基本單元是CTU(因此，SAO區(qū)域是被對應(yīng)的CTU覆蓋的塊)。在SAO算法中，根據(jù)規(guī)則的集合對CTU中的采樣進(jìn)行分類，并且經(jīng)由增加偏移量值來增強(qiáng)每個(gè)經(jīng)分類的采樣的集合。在位流中對偏移量值進(jìn)行信號通知。存在兩種類型的偏移量：1)帶偏移量；2)邊緣偏移量。對于CTU，或者不使用任何SAO，或者使用帶偏移量或者邊緣偏移量?？梢杂删幋a器利用例如速率失真優(yōu)化(RDO)來決定并且向解碼器信號通知對將不使用任何SAO還是使用帶或者邊緣偏移量的選擇。在帶偏移量中，采樣值的整個(gè)范圍在某些實(shí)施例中被劃分成32個(gè)等寬的帶。例如，對于8位的采樣，帶的寬度是8(＝256/32)。在32個(gè)帶中，選擇它們中的4個(gè)，并且對于所選擇的帶中的每個(gè)帶，信號通知不同的偏移量。選擇決策被編碼器作出，并且可以如下地被信號通知：第一個(gè)帶的索引被信號通知，并且然后推斷跟隨在后面的四個(gè)帶是所選擇的帶。帶偏移量在糾正平滑區(qū)域中的誤差時(shí)可以有用的。在邊緣偏移量類型中，可以從其中每個(gè)類型是與一個(gè)方向關(guān)聯(lián)的四個(gè)可能的類型(或者邊緣分類)中選出邊緣偏移量(EO)類型：1)垂直，2)水平，3)135度對角線，以及4)45度對角線。對方向的選擇由編碼器給出，并且被向解碼器信號通知。每個(gè)類型定義基于角度的針對給定的采樣的兩個(gè)相鄰采樣的位置。然后基于將采樣值與兩個(gè)鄰居采樣的值進(jìn)行的比較將CTU中的每個(gè)采樣分類到五個(gè)類別中的一個(gè)類別中。所述五個(gè)類別被描述如下：1.當(dāng)前的采樣值小于兩個(gè)鄰居采樣2.當(dāng)前的采樣值小于所述鄰居中的一個(gè)鄰居并且等于另一個(gè)鄰居3.當(dāng)前的采樣值大于所述鄰居中的一個(gè)鄰居并且等于另一個(gè)鄰居4.當(dāng)前的采樣值大于兩個(gè)鄰居采樣5.不是以上各項(xiàng)中的任一項(xiàng)不需要向解碼器信號通知這五個(gè)類別，因?yàn)榉诸愂腔趦H經(jīng)重構(gòu)的采樣的，經(jīng)重構(gòu)的采樣可以是在編碼器和解碼器兩者中可用和相同的。在邊緣偏移量類型CTU中的每個(gè)采樣被分類為五個(gè)類別中的一個(gè)類別之后，確定并且向解碼器信號通知針對前四個(gè)類別中的每個(gè)類別的偏移量值。針對每個(gè)類別的偏移量被增加到與對應(yīng)的類別相關(guān)聯(lián)的采樣值。邊緣偏移量可以是在糾正振鈴效應(yīng)時(shí)有效的。SAO參數(shù)可以當(dāng)被交織在CTU數(shù)據(jù)中時(shí)被信號通知。在CTU之上，切片頭部包含指定是否SAO在切片中被使用的語法元素。如果SAO被使用，則兩個(gè)額外的語法元素指定是否SAO被應(yīng)用于Cb和Cr分量。對于每個(gè)CTU，存在三個(gè)選項(xiàng)：1)從左邊的CTU復(fù)制SAO參數(shù)，2)從上邊的CTU復(fù)制SAO參數(shù)，或者3)信號通知新的SAO參數(shù)。雖然在上面描述了SAO的具體實(shí)現(xiàn)，但應(yīng)當(dāng)理解，與上面描述的實(shí)現(xiàn)相似的SAO的其它實(shí)現(xiàn)可以也是可能的。例如，并非當(dāng)被交織在CTU數(shù)據(jù)中時(shí)對SAO參數(shù)進(jìn)行信號通知，使用四叉樹分段的基于圖片的信號通知可以被使用?？梢杂删幋a器例如通過速率失真優(yōu)化過程確定SAO參數(shù)的合并(即，使用與左邊或者上邊的CTU中的參數(shù)相同的參數(shù))或者四叉樹結(jié)構(gòu)。自適應(yīng)環(huán)路濾波器(ALF)是用于增強(qiáng)經(jīng)重構(gòu)的采樣的質(zhì)量的另一種方法。這可以經(jīng)由在環(huán)路中對采樣值進(jìn)行濾波來達(dá)到。ALF是對于其來說濾波器系數(shù)由編碼器確定并且被編碼到位流中的有限脈沖響應(yīng)(FIR)濾波器。編碼器可以例如利用最小二乘法或者維納濾波器優(yōu)化來選擇嘗試最小化相對于原始的未經(jīng)壓縮的圖片的失真的濾波器系數(shù)。濾波器系數(shù)可以例如位于調(diào)整參數(shù)集或者切片頭部中，或者它們可以以與其它CU特定的數(shù)據(jù)交織的方式出現(xiàn)在CU的切片數(shù)據(jù)中。在包括H.264/AVC和HEVC的許多視頻編解碼器中，由與每個(gè)運(yùn)動(dòng)補(bǔ)償圖像塊相關(guān)聯(lián)的運(yùn)動(dòng)向量指示運(yùn)動(dòng)信息。這些運(yùn)動(dòng)向量中的每個(gè)運(yùn)動(dòng)向量表示將被編碼(在編碼器中)或者解碼(在解碼器處)的圖片中的圖像塊與之前被編碼或者解碼的圖像(或者圖片)中的一個(gè)圖像(或者圖片)中的預(yù)測源塊的替換。如許多其它視頻壓縮標(biāo)準(zhǔn)一樣，H.264/AVC和HEVC將圖片劃分成矩形的網(wǎng)，對于所述矩形中的每個(gè)矩形，參考圖片中的一個(gè)參考圖片中的相似的塊被指示以用于之間預(yù)測。預(yù)測塊的位置被編碼為指示預(yù)測塊相對于被編碼的塊的位置的運(yùn)動(dòng)向量?？梢岳缡褂靡韵乱蛩刂械囊粋€(gè)或多個(gè)因素來描繪之間預(yù)測過程的特性。運(yùn)動(dòng)向量表示的準(zhǔn)確度。例如，運(yùn)動(dòng)向量可以具有四分之一像素準(zhǔn)確度、半像素準(zhǔn)確度或者全像素準(zhǔn)確度，并且可使用有限脈沖響應(yīng)(FIR)濾波器來獲得分?jǐn)?shù)像素位置處的采樣值。用于之間預(yù)測的塊分區(qū)。包括H.264/AVC和HEVC的許多編碼標(biāo)準(zhǔn)允許選擇對于其來說在編碼器中應(yīng)用運(yùn)動(dòng)向量以用于運(yùn)動(dòng)補(bǔ)償預(yù)測的塊的大小和形狀，并且在位流中指示所選擇的大小和形狀，以使得解碼器可以再現(xiàn)在編碼器中被完成的運(yùn)動(dòng)補(bǔ)償預(yù)測。這個(gè)塊也可以被稱為運(yùn)動(dòng)分區(qū)。用于之間預(yù)測的參考圖片的數(shù)量。之間預(yù)測的源是之前被解碼的圖片。包括H.264/AVC和HEVC的許多編碼標(biāo)準(zhǔn)使能存儲(chǔ)用于之間預(yù)測的多個(gè)參考圖片和基于塊來選擇所使用的參考圖片。例如，可以在H.264/AVC中基于宏塊或者宏塊分區(qū)以及在HEVC中基于PU或者CU來選擇參考圖片。諸如是H.264/AVC和HEVC的許多編碼標(biāo)準(zhǔn)包括使解碼器能夠創(chuàng)建一個(gè)或多個(gè)參考圖片列表的位流中的語法結(jié)構(gòu)。指向參考圖片列表的參考圖片索引可以用于指示多個(gè)參考圖片中的哪個(gè)參考圖片被用于對于特定塊的之間預(yù)測。參考圖片索引在某些之間編碼模式下可以被編碼器編碼到位流中，或者它在某些其它的之間編碼模式下可以被(編碼器和解碼器)例如使用相鄰的塊來導(dǎo)出。運(yùn)動(dòng)向量預(yù)測。為在位流中高效地表示運(yùn)動(dòng)向量，可以關(guān)于塊特定的經(jīng)預(yù)測的運(yùn)動(dòng)向量有差別地對運(yùn)動(dòng)向量進(jìn)行編碼。在許多視頻編解碼器中，例如經(jīng)由計(jì)算相鄰塊的經(jīng)編碼或者經(jīng)解碼的運(yùn)動(dòng)向量的中值而通過預(yù)定義的方法來創(chuàng)建經(jīng)預(yù)測的運(yùn)動(dòng)向量。有時(shí)被稱為高級運(yùn)動(dòng)向量預(yù)測(AMVP)的另一種用于創(chuàng)建運(yùn)動(dòng)向量預(yù)測的方法在于，從時(shí)間參考圖片中的相鄰的塊和/或協(xié)同定位的塊來生成候選預(yù)測的列表，并且作為運(yùn)動(dòng)向量預(yù)測器對所選擇的候選預(yù)測進(jìn)行信號通知。除了預(yù)測運(yùn)動(dòng)向量值之外，可以預(yù)測前一個(gè)被編碼/被解碼的圖片的參考索引?？梢詮臅r(shí)間參考圖片中的相鄰的塊和/或協(xié)同定位的塊來預(yù)測參考索引?？梢钥缜衅吔缃脤\(yùn)動(dòng)向量的有差別的編碼。多假設(shè)運(yùn)動(dòng)補(bǔ)償預(yù)測。H.264/AVC和HEVC使能在P切片(在本文中被稱為單預(yù)測切片)中使用單一的預(yù)測塊或者對于也被稱為B切片的雙預(yù)測切片使用兩個(gè)運(yùn)動(dòng)補(bǔ)償預(yù)測塊的線性組合。B切片中的各個(gè)塊可以被雙預(yù)測、單預(yù)測或者內(nèi)部預(yù)測，并且P切片中的各個(gè)塊可以被單預(yù)測或者內(nèi)部預(yù)測。雙預(yù)測圖片的參考圖片可以不限于按照輸出次序的隨后一個(gè)圖片和前一個(gè)圖片，而相反可以使用任何參考圖片。在諸如是H.264/AVC和HEVC的許多編碼標(biāo)準(zhǔn)中，對于P切片構(gòu)造被稱為參考圖片列表0的一個(gè)參考圖片列表，并且對于B切片構(gòu)造為列表0和列表1的兩個(gè)參考圖片列表。對于B切片，當(dāng)是前向方向上的預(yù)測時(shí)可以指從參考圖片列表0中的參考圖片進(jìn)行的預(yù)測，并且后向方向上的預(yù)測可以指從參考圖片列表1中的參考圖片進(jìn)行的預(yù)測，即使用于預(yù)測的參考圖片可以具有與彼此或者與當(dāng)前圖片的任何解碼或者輸出次序關(guān)系。加權(quán)預(yù)測。許多編碼標(biāo)準(zhǔn)對于之間(P)圖片的預(yù)測塊使用為1的預(yù)測權(quán)重，并且對于B圖片的每個(gè)預(yù)測塊使用為0.5的預(yù)測權(quán)重(導(dǎo)致求平均)。H.264/AVC允許對于P和B切片兩者的加權(quán)預(yù)測。在隱含加權(quán)預(yù)測中，權(quán)重與圖片次序計(jì)數(shù)成比例，而在顯式加權(quán)預(yù)測中，預(yù)測權(quán)重被顯式地指示?？梢岳缭谝韵抡Z法結(jié)構(gòu)中的一個(gè)或多個(gè)語法結(jié)構(gòu)中指示用于顯式加權(quán)預(yù)測的權(quán)重：切片頭部、圖片頭部、圖片參數(shù)集、調(diào)整參數(shù)集或者任何相似的語法結(jié)構(gòu)。在許多視頻編解碼器中，運(yùn)動(dòng)補(bǔ)償之后的預(yù)測殘差被首先利用變換內(nèi)核(例如，DCT)進(jìn)行變換，并且然后被編碼。這樣做的原因在于，通常殘差中仍然存在某種相關(guān)性，并且變換可以在許多情況下幫助降低該相關(guān)性并且提供更高效的編碼。在一個(gè)草案HEVC中，每個(gè)PU具有與它相關(guān)聯(lián)的定義對于該P(yáng)U內(nèi)的像素將應(yīng)用哪種預(yù)測的預(yù)測信息(例如，用于經(jīng)之間預(yù)測的PU的運(yùn)動(dòng)向量信息和用于經(jīng)內(nèi)部預(yù)測的PU的內(nèi)部預(yù)測方向性信息)。相似地，每個(gè)TU與描述針對該TU內(nèi)的采樣的預(yù)測誤差解碼過程的信息(包括例如DCT系數(shù)信息)相關(guān)聯(lián)?？梢栽贑U級信號通知是否對于每個(gè)CU應(yīng)用了預(yù)測誤差編碼。在不存在任何與CU相關(guān)聯(lián)的預(yù)測誤差殘差的情況下，可以認(rèn)為不存在任何針對CU的TU。在某些編碼格式和編解碼器中，在所謂的短期和長期參考圖片之間作出區(qū)分。該區(qū)分可以影響諸如是時(shí)間直接模式下的運(yùn)動(dòng)向量縮放或者隱含加權(quán)預(yù)測的一些解碼過程。如果用于時(shí)間直接模式的參考圖片中的全部兩個(gè)參考圖片是短期參考圖片，則可以根據(jù)當(dāng)前的圖片與參考圖片中的每個(gè)參考圖片之間的圖片次序計(jì)數(shù)(POC)差值來縮放預(yù)測中所使用的運(yùn)動(dòng)向量。然而，如果用于時(shí)間直接模式的至少一個(gè)參考圖片是長期參考圖片，則可以使用對運(yùn)動(dòng)向量的缺省的縮放，例如可以使用將運(yùn)動(dòng)縮放到一半。相似地，如果短期參考圖片被用于隱含加權(quán)預(yù)測，則可以根據(jù)當(dāng)前的圖片的POC與參考圖片的POC之間的POC差值來縮放預(yù)測權(quán)重。然而，如果長期參考圖片被用于隱含加權(quán)預(yù)測，則可以使用缺省的預(yù)測權(quán)重，缺省的預(yù)測權(quán)重諸如是在對于雙預(yù)測塊的隱含加權(quán)預(yù)測中的0.5。諸如H.264/AVC的某些視頻編碼格式包括frame_num語法元素，該frame_num語法元素被用于與多個(gè)參考圖片相關(guān)的各種解碼過程。在H.264/AVC中，針對IDR圖片的frame_num的值是0。針對非IDR圖片的frame_num的值等于被遞增了1的按照解碼次序的前一個(gè)參考圖片的frame_num(采用模運(yùn)算，即，frame_num的值在frame_num的最大值之后回繞到0)。H.264/AVC和HEVC包括圖片次序計(jì)數(shù)(POC)的概念。POC的值被針對每個(gè)圖片導(dǎo)出，并且是隨著按照輸出次序的遞增的圖片位置而非遞減的。POC因此指示圖片的輸出次序。POC可以在解碼過程中被使用，例如用于對雙預(yù)測切片的時(shí)間直接模式中的運(yùn)動(dòng)向量的隱含縮放、用于加權(quán)預(yù)測中的被隱含導(dǎo)出的權(quán)重以及用于參考圖片列表初始化。此外，POC可以在對輸出次序符合性的驗(yàn)證中被使用。在H.264/AVC中，相對于前一個(gè)IDR圖片或者包含將全部圖片標(biāo)記為“未被用于參考”的存儲(chǔ)器管理控制操作的圖片來指定POC。用于經(jīng)解碼的參考圖片標(biāo)記的語法結(jié)構(gòu)可以存在于視頻編碼系統(tǒng)中。例如，當(dāng)圖片的解碼已被完成時(shí)，經(jīng)解碼的參考圖片標(biāo)記語法結(jié)構(gòu)如果出現(xiàn)的話則可以用于自適應(yīng)的將圖片標(biāo)記為“未被用于參考”或者“被用于長期參考”。如果經(jīng)解碼的參考圖片標(biāo)記語法結(jié)構(gòu)不出現(xiàn)，并且被標(biāo)記為“被用于參考”的圖片的數(shù)量不再增大，則可以使用基本上將最早的(按照解碼次序)經(jīng)解碼的參考圖片標(biāo)記為未被用于參考的滑動(dòng)窗口參考圖片標(biāo)記。H.264/AVC指定用于經(jīng)解碼的參考圖片標(biāo)記的過程，以控制解碼器中的存儲(chǔ)器消耗。在序列參數(shù)集中確定被稱為M的被用于之間預(yù)測的參考圖片的最大數(shù)量。當(dāng)參考圖片被解碼時(shí)，它被標(biāo)記為“被用于參考”。如果對參考圖片的解碼導(dǎo)致產(chǎn)生多于M個(gè)被標(biāo)記為“被用于參考”的圖片，則至少一個(gè)圖片被標(biāo)記為“未被用于參考”。存在用于經(jīng)解碼的參考圖片標(biāo)記的兩種類型的操作：自適應(yīng)存儲(chǔ)器控制和滑動(dòng)窗口?；趫D片選擇經(jīng)解碼的參考圖片標(biāo)記的操作模式。自適應(yīng)存儲(chǔ)器控制使能進(jìn)行對哪些圖片被標(biāo)記為“未被用于參考”的顯式信號通知，并且還可以為短期參考圖片指派長期索引。自適應(yīng)存儲(chǔ)器控制可能需要存儲(chǔ)器管理控制操作(MMCO)參數(shù)出現(xiàn)在位流中。MMCO參數(shù)可以被包括在經(jīng)解碼的參考圖片標(biāo)記語法結(jié)構(gòu)中。如果滑動(dòng)窗口操作模式正在使用中，并且存在M個(gè)被標(biāo)記為“被用于參考”的圖片，則是在那些被標(biāo)記為“被用于參考”的短期參考圖片中被最先解碼的圖片的短期參考圖片被標(biāo)記為“未被用于參考”。換句話說，滑動(dòng)窗口操作模式導(dǎo)致產(chǎn)生在短期參考圖片中的先進(jìn)先出緩沖操作。H.264/AVC中的存儲(chǔ)器管理控制操作中的一個(gè)存儲(chǔ)器管理控制操作導(dǎo)致除當(dāng)前的圖片之外的全部參考圖片被標(biāo)記為“未被用于參考”。即時(shí)解碼刷新(IDR)圖片僅包含經(jīng)內(nèi)部編碼的切片，并且導(dǎo)致對參考圖片的相似的“重置”。在一個(gè)草案HEVC標(biāo)準(zhǔn)中，未使用參考圖片標(biāo)記語法結(jié)構(gòu)和相關(guān)的解碼過程，而作為代替，出于相似的目的使用了參考圖片集(RPS)語法結(jié)構(gòu)和解碼過程。對于圖片有效或者活躍的參考圖片集包括全部被用作該圖片的參考的參考圖片和全部對于任何按照解碼次序的隨后圖片被保持標(biāo)記為“被用于參考”的參考圖片。存在參考圖片集的六個(gè)子集，所述六個(gè)子集即被稱為RefPicSetStCurr0(其可以另外或者替換地被稱為RefPicSetStCurrBefore)、RefPicSetStCurr1(其可以另外或者替換地被稱為RefPicSetStCurrAfter)、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr和RefPicSetLtFoll。在某些HEVC草案規(guī)范中，RefPicSetStFoll0和RefPicSetStFoll1被看作一個(gè)子集，這一個(gè)子集可以被稱為RefPicSetStFoll。所述六個(gè)子集的記號如下?！癈urr”指被包括在當(dāng)前圖片的參考圖片列表中的參考圖片，并且因此可以被用作當(dāng)前圖片的之間預(yù)測參考?！癋oll”指未被包括在當(dāng)前圖片的參考圖片列表中但可以在按照解碼次序的隨后圖片中被用作參考圖片的參考圖片。“St”指短期參考圖片，所述短期參考圖片概括地說可以通過它們的POC值的特定數(shù)量的最低有效位來標(biāo)識。“Lt”指長期參考圖片，所述長期參考圖片被專門地標(biāo)識，并且概括地說具有相對于當(dāng)前的圖片的比可以被所提到的特定數(shù)量的最低有效位表示的POC值的差值更大的POC值的差值?！?”指那些具有比當(dāng)前圖片的POC值小的POC值的參考圖片?！?”指那些具有比當(dāng)前圖片的POC值大的POC值的參考圖片。RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0和RefPicSetStFoll1共同被稱為參考圖片集的短期子集。RefPicSetLtCurr和RefPicSetLtFoll共同被稱為參考圖片集的長期子集。在一個(gè)草案HEVC標(biāo)準(zhǔn)中，參考圖片集可以在序列參數(shù)集中被指定，并且通過指向參考圖片集的索引在切片頭部中被采用。參考圖片集也可以在切片頭部中被指定。參考圖片集的長期子集概括地說僅在切片頭部中被指定，而同一參考圖片集的短期子集可以在圖片參數(shù)集或者切片頭部中被指定。參考圖片集可以被無依賴地編碼，或者可以從另一個(gè)參考圖片集被預(yù)測(稱為RPS間預(yù)測)。當(dāng)參考圖片集被無依賴地編碼時(shí)，語法結(jié)構(gòu)包括在不同類型的參考圖片上迭代的上至三個(gè)環(huán)路：具有比當(dāng)前圖片低的POC值的短期參考圖片、具有比當(dāng)前圖片高的POC值的短期參考圖片和長期參考圖片。每個(gè)環(huán)路條目指定將被標(biāo)記為“被用于參考”的圖片。概括地說，利用有差別的POC值來指定圖片。RPS間預(yù)測利用了這一事實(shí)：可以從前一個(gè)經(jīng)解碼的圖片的參考圖片集來預(yù)測當(dāng)前圖片的參考圖片集。這是因?yàn)楫?dāng)前圖片的全部參考圖片或者是前一個(gè)圖片的參考圖片或者是前一個(gè)經(jīng)解碼的圖片自身。僅有必要指示這些圖片中的哪些圖片應(yīng)當(dāng)是參考圖片并且被用于對當(dāng)前圖片的預(yù)測。在全部兩種類型的參考圖片集編碼中，對于每個(gè)參考圖片額外地發(fā)送指示是(被包括在*Curr列表中)否(被包括在*Foll列表中)該參考圖片被用于被當(dāng)前圖片所參考的標(biāo)志(used_by_curr_pic_X_flag)。參考圖片集可以每圖片被解碼一次，并且其可以在對第一個(gè)切片頭部進(jìn)行解碼之后但在對任何編碼單元進(jìn)行解碼之前并且在重構(gòu)參考圖片列表之前被解碼。被包括在被當(dāng)前的切片使用的參考圖片集中的圖片被標(biāo)記為“被用于參考”，并且不在被當(dāng)前的切片使用的參考圖片集中的圖片被標(biāo)記為“未被用于參考”。如果當(dāng)前的圖片是IDR圖片，則RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr和RefPicSetLtFoll全部被設(shè)置為空。經(jīng)解碼圖片緩沖器(DPB)可以在編碼器和/或解碼器中被使用。存在對經(jīng)解碼的圖片進(jìn)行緩沖的兩個(gè)原因：用于之間預(yù)測中的參考和用于將經(jīng)解碼的圖片重新排序?yàn)檩敵龃涡?。由于H.264/AVC和HEVC為參考圖片標(biāo)記和輸出重新排序兩者提供了大量靈活度，所以用于參考圖片緩沖和輸出圖片緩沖的單獨(dú)的緩沖器可能浪費(fèi)存儲(chǔ)器資源。因此，DPB可以包括用于參考圖片和輸出重新排序的經(jīng)統(tǒng)一的經(jīng)解碼圖片緩沖過程。經(jīng)解碼的圖片當(dāng)它不再被用作參考以及不需要輸出時(shí)被從DPB中移除。在H.264/AVC和HEVC的許多編碼模式中，利用指向參考圖片列表的索引來指示用于之間預(yù)測的參考圖片?？梢岳每勺冮L度編碼對所述索引進(jìn)行編碼，所述可變長度編碼通常導(dǎo)致較小的索引具有對應(yīng)的語法元素的較短的值。在H.264/AVC和HEVC中，對于每個(gè)雙預(yù)測(B)切片生成兩個(gè)參考圖片列表(參考圖片列表0和參考圖片列表1)，并且對于每個(gè)經(jīng)之間編碼的(P)切片形成一個(gè)參考圖片列表(參考圖片列表0)?？梢酝ㄟ^兩個(gè)步驟來構(gòu)造諸如參考圖片列表0和參考圖片列表1的參考圖片列表：首先，生成初始的參考圖片列表?？梢岳缁趂rame_num、POC、temporal_id或者諸如GOP結(jié)構(gòu)的關(guān)于預(yù)測分層的信息或者它們的任意組合來生成初始的參考圖片列表。第二，可以通過也被稱為參考圖片列表修改語法結(jié)構(gòu)的可以被包含在切片頭部中的參考圖片列表重新排序(RPLP)命令對初始的參考圖片列表進(jìn)行重新排序。RPLR命令指示被排序到各自的參考圖片列表的起點(diǎn)的圖片。這第二個(gè)步驟也可以被稱為參考圖片列表修改過程，并且RPLR命令可以被包括在參考圖片列表修改語法結(jié)構(gòu)中。如果使用了參考圖片集，則參考圖片列表0可以被初始化為首先包含RefPicSetStCurr0，之后跟隨RefPicSetStCurr1，之后跟隨RefPicSetLtCurr。參考圖片列表1可以被初始化為首先包含RefPicSetStCurr1，之后跟隨RefPicSetStCurr0?？梢酝ㄟ^參考圖片列表修改語法結(jié)構(gòu)來修改初始的參考圖片列表，其中，可以通過指向列表的條目索引來標(biāo)識初始的參考圖片列表中的圖片。諸如一個(gè)草案HEVC編解碼器之類的許多高效的視頻編解碼器使用額外的通常被稱為合并/合并模式/過程/機(jī)制的運(yùn)動(dòng)信息編碼/解碼機(jī)制，其中，在不具有任何修改/糾正的情況下預(yù)測和使用塊/PU的全部運(yùn)動(dòng)信息。PU的前述的運(yùn)動(dòng)信息可以包括以下各項(xiàng)中的一項(xiàng)或多項(xiàng)：1)關(guān)于“PU被使用僅參考圖片列表0進(jìn)行單預(yù)測”還是“PU被使用僅參考圖片列表1進(jìn)行單預(yù)測”還是“PU被使用全部兩個(gè)參考圖片列表0和列表1進(jìn)行雙預(yù)測”的信息；2)與參考圖片列表0相對應(yīng)的運(yùn)動(dòng)向量，其可以包括水平和垂直運(yùn)動(dòng)向量分量；3)參考圖片列表0中的參考圖片索引和/或被與參考圖片列表0相對應(yīng)的運(yùn)動(dòng)向量指向的參考圖片的標(biāo)識符，其中，參考圖片的標(biāo)識符可以是例如圖片次序計(jì)數(shù)值、層標(biāo)識符值(對于層間預(yù)測)或者圖片次序計(jì)數(shù)值和層標(biāo)識符值的對；4)對參考圖片進(jìn)行標(biāo)記的參考圖片的信息，例如關(guān)于參考圖片被標(biāo)記為“被用于短期參考”還是“被用于長期參考”的信息；5)-7)分別與2)-4)相同，但是針對參考圖片列表1。相似地，使用時(shí)間參考圖片中的相鄰的塊和/或協(xié)同定位的塊的運(yùn)動(dòng)信息來實(shí)現(xiàn)對運(yùn)動(dòng)信息的預(yù)測?？梢越?jīng)由包括與可用的相鄰/協(xié)同定位的塊相關(guān)聯(lián)的運(yùn)動(dòng)預(yù)測候選項(xiàng)來構(gòu)造通常被稱為合并列表的列表，并且所選擇的運(yùn)動(dòng)預(yù)測候選項(xiàng)在列表中的索引被信號通知，并且所選擇的候選項(xiàng)的運(yùn)動(dòng)信息被復(fù)制到當(dāng)前的PU的運(yùn)動(dòng)信息。當(dāng)對于整個(gè)CU使用合并機(jī)制并且針對CU的預(yù)測信號被用作重構(gòu)信號，即不處理預(yù)測殘差時(shí)，對CU進(jìn)行的這種類型的編碼/解碼通常被稱為跳過模式或者基于合并的跳過模式。除了跳過模式之外，還可以對于各個(gè)PU(不必如在跳過模式下一樣對于整個(gè)CU)使用合并機(jī)制，并且在此情況下，預(yù)測殘差可以用于改進(jìn)預(yù)測質(zhì)量。這種類型的預(yù)測模式通常被稱為合并間(inter-mode)模式。合并列表中的候選項(xiàng)中的一個(gè)候選項(xiàng)可以是TMVP候選項(xiàng)，可以從所指示或者推斷的參考圖片內(nèi)的協(xié)同定位的塊來導(dǎo)出TMVP候選項(xiàng)，所述指示或者推斷的參考圖片諸如是例如在切片頭部中例如使用collocated_ref_idx語法元素來指示的參考圖片等。在HEVC中，當(dāng)運(yùn)動(dòng)編碼模式是合并模式時(shí)，合并列表中的時(shí)間運(yùn)動(dòng)向量預(yù)測的所謂的目標(biāo)參考索引被設(shè)置為0。當(dāng)HEVC中的使用時(shí)間運(yùn)動(dòng)向量預(yù)測的運(yùn)動(dòng)編碼模式是高級運(yùn)動(dòng)向量預(yù)測模式時(shí)，目標(biāo)參考索引值被顯式地指示(例如，依照每PU地)。當(dāng)目標(biāo)參考索引值已被確定時(shí)，可以如下地導(dǎo)出時(shí)間運(yùn)動(dòng)向量預(yù)測的運(yùn)動(dòng)向量值：計(jì)算與當(dāng)前的預(yù)測單元的右下鄰居協(xié)同定位的塊處的運(yùn)動(dòng)向量?？梢岳绺鶕?jù)如上面描述的在切片頭部中被信號通知的參考索引來確定協(xié)同定位的塊所在的圖片。關(guān)于第一圖片次序計(jì)數(shù)差值與第二圖片次序計(jì)數(shù)差值的比率對協(xié)同定位的塊處的所確定的運(yùn)動(dòng)向量進(jìn)行縮放。從包含協(xié)同定位的塊的圖片與協(xié)同定位的塊的運(yùn)動(dòng)向量的參考圖片之間導(dǎo)出第一圖片次序計(jì)數(shù)差值。從當(dāng)前的圖片與目標(biāo)參考圖片之間導(dǎo)出第二圖片次序計(jì)數(shù)差值。如果目標(biāo)參考圖片和協(xié)同定位的塊的運(yùn)動(dòng)向量的參考圖片中的一項(xiàng)但不是全部兩項(xiàng)是長期參考圖片(而另一項(xiàng)是短期參考圖片)，則TMVP候選項(xiàng)可以被看作不可用。如果目標(biāo)參考圖片和協(xié)同定位的塊的運(yùn)動(dòng)向量的參考圖片中的全部兩項(xiàng)是長期參考圖片，則不可以應(yīng)用任何基于POC的運(yùn)動(dòng)向量縮放。運(yùn)動(dòng)參數(shù)類型或者運(yùn)動(dòng)信息可以包括但不限于以下類型中的一個(gè)或多個(gè)類型：-對預(yù)測類型(例如，內(nèi)部預(yù)測、單預(yù)測、雙預(yù)測)和/或參考圖片的數(shù)量的指示；-對諸如之間(也稱為時(shí)間)預(yù)測、層間預(yù)測、視圖間預(yù)測、視圖合成預(yù)測(VSP)和分量間預(yù)測之類的預(yù)測方向的指示(其可以依照參考圖片和/或依照預(yù)測類型被指示，并且其中，在某些實(shí)施例中，視圖間和視圖合成預(yù)測可以聯(lián)合地被看作一種預(yù)測方向)，和/或?qū)χT如短期參考圖片和/或長期參考圖片和/或?qū)娱g參考圖片之類的參考圖片類型的指示(其可以例如依照參考圖片被指示)-指向參考圖片列表的參考索引和/或參考圖片的任何其它標(biāo)識符(其可以例如依照參考圖片被指示，并且其類型可以取決于預(yù)測方向和/或參考圖片類型，并且其可以伴隨有可以由諸如參考索引所應(yīng)用于的參考圖片列表之類的其它相關(guān)信息塊)；-水平運(yùn)動(dòng)向量分量(其可以例如依照預(yù)測塊或者依照參考索引等被指示)；-垂直運(yùn)動(dòng)向量分量(其可以例如依照預(yù)測塊或者依照參考索引等被指示)；-一個(gè)或多個(gè)參數(shù)(諸如包含或者關(guān)聯(lián)于運(yùn)動(dòng)參數(shù)的圖片與它的參考圖片之間的圖片次序計(jì)數(shù)差值和/或相對照相機(jī)間隔)，其可以用于在一個(gè)或多個(gè)運(yùn)動(dòng)向量預(yù)測過程中對水平運(yùn)動(dòng)向量分量和/或垂直運(yùn)動(dòng)向量分量進(jìn)行縮放(其中，所述一個(gè)或多個(gè)參數(shù)可以例如依照每個(gè)參考圖片或者每個(gè)參考索引等被指示)；-運(yùn)動(dòng)參數(shù)和/或運(yùn)動(dòng)信息所應(yīng)用于的塊的坐標(biāo)，例如亮度采樣單元中的塊的左上采樣的坐標(biāo)；-運(yùn)動(dòng)參數(shù)和/或運(yùn)動(dòng)信息所應(yīng)用于的塊的幅度(例如，寬度和高度)。與圖片相關(guān)聯(lián)的運(yùn)動(dòng)字段可以被看作由針對該圖片的每個(gè)經(jīng)編碼的塊產(chǎn)生的運(yùn)動(dòng)信息的集合組成。運(yùn)動(dòng)字段可以通過例如塊的坐標(biāo)來訪問。運(yùn)動(dòng)字段可以例如在TMVP或者在其中使用了除當(dāng)前的被(解)編碼圖片之外的預(yù)測的源或者參考的任何其它運(yùn)動(dòng)預(yù)測機(jī)制中被使用?？梢詰?yīng)用不同的空間粒度或者單元來表示和/或存儲(chǔ)運(yùn)動(dòng)字段。例如，可以使用規(guī)則的空間單元網(wǎng)格。例如，圖片可以被劃分成特定大小的矩形塊(諸如右邊緣和底邊緣上的圖片的邊緣處的塊可能例外)。例如，空間單元的大小可以等于對于其來說可以由編碼器在位流中指示不同運(yùn)動(dòng)的最小大小(諸如亮度采樣單元中的4x4塊)。例如，可以使用所謂的經(jīng)壓縮的運(yùn)動(dòng)字段，其中，空間單元可以等于諸如亮度采樣單元中的16x16塊的預(yù)定義或者所指示的大小，該大小可以大于用于指示不同的運(yùn)動(dòng)的最小大小。例如，可以以使得對于每個(gè)經(jīng)解碼的運(yùn)動(dòng)字段執(zhí)行運(yùn)動(dòng)數(shù)據(jù)存儲(chǔ)減少(MDSR)(在將運(yùn)動(dòng)字段用于圖片之間的任何預(yù)測之前)的方式來實(shí)現(xiàn)HEVC編碼器和/或解碼器。在一種HEVC實(shí)現(xiàn)中，MDSR可以經(jīng)由保持運(yùn)動(dòng)適用于經(jīng)壓縮的運(yùn)動(dòng)字段中的16x16塊的左上采樣來將運(yùn)動(dòng)數(shù)據(jù)的粒度降低到亮度采樣單元中的16x16塊。編碼器可以將與經(jīng)壓縮的運(yùn)動(dòng)字段的空間單元相關(guān)的指示編碼為例如序列級語法結(jié)構(gòu)中的一個(gè)或多個(gè)語法元素和/或語法元素值，所述序列級語法結(jié)構(gòu)諸如是視頻參數(shù)集或者序列參數(shù)集。在某些(解)編碼方法和/或設(shè)備中，可以根據(jù)運(yùn)動(dòng)預(yù)測的塊分區(qū)(例如，根據(jù)HEVC標(biāo)準(zhǔn)的預(yù)測單元)來表示和/或存儲(chǔ)運(yùn)動(dòng)字段。在某些(解)編碼方法和/或設(shè)備中，可以應(yīng)用規(guī)則的網(wǎng)格和塊分區(qū)的結(jié)合，以使得與大于預(yù)定義或者所指示的空間單元大小的分區(qū)相關(guān)聯(lián)的運(yùn)動(dòng)被與那些分區(qū)相關(guān)聯(lián)地進(jìn)行表示和/或存儲(chǔ)，而與小于或者未與預(yù)定義或者所指示的空間單元大小或者網(wǎng)格對齊的分區(qū)相關(guān)聯(lián)的運(yùn)動(dòng)被針對所述預(yù)定義或者指示的單元進(jìn)行表示和/或存儲(chǔ)?？缮炜s視頻編碼可以指在其中一個(gè)位流可以包含采用不同比特率、分辨率和/或幀率的內(nèi)容的多個(gè)表示的編碼結(jié)構(gòu)。在這些情況下，接收器可以取決于期望的表示的特性(例如，與設(shè)備的顯示器的分辨率最佳地匹配的分辨率)來提取期望的表示。替換地，服務(wù)器或者網(wǎng)絡(luò)單元可以取決于例如網(wǎng)絡(luò)特性或者接收器的處理能力來提取將被發(fā)送到接收器的位流的部分?？缮炜s位流可以由提供可用的最低質(zhì)量視頻的基礎(chǔ)層和一個(gè)或多個(gè)當(dāng)與較低層一起被接收和解碼時(shí)對視頻質(zhì)量進(jìn)行增強(qiáng)的增強(qiáng)層組成。增強(qiáng)層可以對由另一個(gè)層或者其一部分表示的視頻內(nèi)容的例如時(shí)間分辨率(即，幀率)、空間分辨率或者簡單地說質(zhì)量進(jìn)行增強(qiáng)。為改進(jìn)增強(qiáng)層的編碼效率，該層的經(jīng)編碼的表示可以取決于較低層。例如，可以從較低層預(yù)測增強(qiáng)層的運(yùn)動(dòng)和模式信息。相似地，較低層的像素?cái)?shù)據(jù)可以用于創(chuàng)建對增強(qiáng)層(多個(gè))的預(yù)測?？缮炜s性模式或者可伸縮性維度可以包括但不限于以下各項(xiàng)：-質(zhì)量可伸縮性：以比增強(qiáng)層圖片低的質(zhì)量對基礎(chǔ)層圖片進(jìn)行編碼，其可以例如在基礎(chǔ)層中使用比在增強(qiáng)層中更大的量化參數(shù)值(即，更大的用于變換系數(shù)量化的量化步長大小)來達(dá)到。質(zhì)量可伸縮性可以被進(jìn)一步分類為如下面描述的細(xì)顆?；蛘呒?xì)粒度可伸縮性(FGS)、中顆?；蛘咧辛６瓤缮炜s性(MGS)和/或粗顆?；蛘叽至６瓤缮炜s性(CGS)。-空間可伸縮性：可以以比增強(qiáng)層圖片低的分辨率(即，具有更少的采樣)對基礎(chǔ)層圖片進(jìn)行編碼。特別是其粗顆?？缮炜s性類型的空間可伸縮性和質(zhì)量可伸縮性有時(shí)可以被看作相同類型的可伸縮性。-位深可伸縮性：可以以比增強(qiáng)層圖片(例如，10或12位)低的位深(例如，8位)對基礎(chǔ)層圖片進(jìn)行編碼。-色度格式可伸縮性：基礎(chǔ)層圖片提供比增強(qiáng)層圖片(例如，4:4:4格式)低的色度采樣數(shù)組的空間分辨率(例如，以4:2:0色度格式被編碼)。-色域可伸縮性：增強(qiáng)層圖片具有比基礎(chǔ)層圖片的顏色表現(xiàn)范圍更豐富/廣泛的顏色表現(xiàn)范圍——例如，增強(qiáng)層可以具有UHDTV(ITU-RBT.2020)色域，并且基礎(chǔ)層可以具有ITU-RBT.709色域。-視圖可伸縮性，其也可以被稱為多視圖編碼?；A(chǔ)層表示第一視圖，而增強(qiáng)層表示第二視圖。-深度可伸縮性，其也可以被稱為深度增強(qiáng)的編碼。位流的一個(gè)層或者一些層可以表示紋理視圖，而其它一個(gè)層或多個(gè)層可以表示深度視圖。-感興趣的區(qū)域可伸縮性(如下面描述的)。-交錯(cuò)對漸進(jìn)可伸縮性(如隨后描述的)。-混合編解碼器可伸縮性：根據(jù)與增強(qiáng)層圖片不同的編碼標(biāo)準(zhǔn)或者格式對基礎(chǔ)層圖片進(jìn)行編碼。例如，可以利用H.264/AVC對基礎(chǔ)層進(jìn)行編碼，并且可以利用HEVC擴(kuò)展對增強(qiáng)層進(jìn)行編碼。應(yīng)當(dāng)理解，可以合并和一起應(yīng)用所述可伸縮性類型中的許多可伸縮性類型。例如，可以合并色域可伸縮性和位深可伸縮性。在以上可伸縮性情況中的全部可伸縮性情況下，基礎(chǔ)層信息可以用于對增強(qiáng)層進(jìn)行編碼，以最小化額外的比特率開銷。術(shù)語層可以在包括視圖可伸縮性的任何類型的可伸縮性和深度增強(qiáng)的上下文中被使用。增強(qiáng)層可以指諸如SNR、空間、多視圖、深度、位深、色度格式和/或色域增強(qiáng)的任何類型的增強(qiáng)。基礎(chǔ)層可以指諸如基礎(chǔ)視圖、針對SNR/空間可伸縮性的基礎(chǔ)層或者針對深度增強(qiáng)的視頻編碼的紋理基礎(chǔ)視圖的任何類型的基礎(chǔ)視頻序列。感興趣的區(qū)域(ROI)編碼可以被定義為指以較高保真度對視頻內(nèi)的特定區(qū)域進(jìn)行編碼。存在使編碼器和/或其它實(shí)體從將被編碼的輸入圖片確定ROI的幾種方法。例如，可以使用臉部檢測，并且可以將臉部確定為ROI。額外地或者替換地，在另一個(gè)示例中，焦點(diǎn)中的物體可以被檢測和確定為是ROI，而焦點(diǎn)外的物體被確定為在ROI之外。額外地或者替換地，在另一個(gè)示例中，與物體的距離可以例如基于深度傳感器被估計(jì)或者是已知的，并且ROI可以被確定為是那些相對地靠近照相機(jī)而非背景的物體。ROI可伸縮性可以被定義為其中增強(qiáng)層僅例如在空間上、按質(zhì)量、在位深上和/或沿其它可伸縮性維度對參考層圖片的一部分進(jìn)行增強(qiáng)的一種類型的可伸縮性。由于ROI可伸縮性可以與其它類型的可伸縮性一起被使用，所以它可以被看作形成一種不同類別的可伸縮性類型。存在可以經(jīng)由使用ROI可伸縮性來實(shí)現(xiàn)的對具有不同需求的ROI編碼的幾種不同的應(yīng)用。例如，可以發(fā)送增強(qiáng)層以對基礎(chǔ)層中的區(qū)域的質(zhì)量和/或分辨率進(jìn)行增強(qiáng)。接收增強(qiáng)和基礎(chǔ)層位流兩者的解碼器可以對全部兩個(gè)層進(jìn)行解碼，并且將經(jīng)解碼的圖片覆蓋在彼此之上，以及顯示最終的圖片?？梢岳缡褂盟^的經(jīng)伸縮參考層偏移量由編碼器指示和/或由解碼器解碼增強(qiáng)層圖片與參考層區(qū)域或者類似地增強(qiáng)層區(qū)域與基礎(chǔ)層圖片之間的空間對應(yīng)?？梢哉J(rèn)為經(jīng)伸縮參考層偏移量指定經(jīng)上采樣的參考層圖片的轉(zhuǎn)角采樣相對于增強(qiáng)層圖片的各自的轉(zhuǎn)角采樣的位置。所述偏移量值可以是有符號的，如在圖6a和圖6b中說明的，這使對所述偏移量值的使用能夠在全部兩種類型的經(jīng)擴(kuò)展的空間可伸縮性中被使用。假設(shè)是感興趣的區(qū)域可伸縮性(圖6a)，則增強(qiáng)層圖片110與參考層圖片116的區(qū)域112相對應(yīng)，并且經(jīng)伸縮參考層偏移量指示擴(kuò)展增強(qiáng)層圖片的區(qū)域的經(jīng)上采樣的參考層圖片的轉(zhuǎn)角?？梢越?jīng)由四個(gè)語法元素(例如，依照增強(qiáng)層與其參考層的對)來指示經(jīng)伸縮參考層偏移量，所述四個(gè)語法元素可以被稱為scaled_ref_layer_top_offset118、scaled_ref_layer_bottom_offset120、scaled_ref_layer_right_offset122和scaled_ref_layer_left_offset124。可以由編碼器和/或解碼器經(jīng)由分別根據(jù)增強(qiáng)層圖片高度或者寬度與經(jīng)上采樣的參考層圖片高度或者寬度之間的比率對經(jīng)伸縮參考層偏移量進(jìn)行向下伸縮來推斷被進(jìn)行上采樣的參考層區(qū)域。經(jīng)向下伸縮的經(jīng)伸縮參考層偏移量可以然后用于獲得被進(jìn)行上采樣的參考層區(qū)域和/或確定參考層圖片的哪些采樣與增強(qiáng)層圖片的特定采樣協(xié)同定位。假設(shè)參考層圖片與增強(qiáng)層圖片的區(qū)域相對應(yīng)(圖6b)，則經(jīng)伸縮參考層偏移量指示處在增強(qiáng)層圖片的該區(qū)域內(nèi)的經(jīng)上采樣的參考層圖片的轉(zhuǎn)角。經(jīng)伸縮參考層偏移量可以用于確定經(jīng)上采樣的參考層圖片的哪些采樣與增強(qiáng)層圖片的特定采樣協(xié)同定位。還有可能對擴(kuò)展的空間可伸縮性的類型進(jìn)行混合，即，水平地應(yīng)用一種類型并且垂直地應(yīng)用另一種類型。可以由編碼器指示和/或由解碼器例如從諸如SPS和/或VPS的序列級語法結(jié)構(gòu)來解碼經(jīng)伸縮參考層偏移量。經(jīng)伸縮參考偏移量的準(zhǔn)確度可以例如在編碼標(biāo)準(zhǔn)中預(yù)定義和/或由編碼器指定和/或由解碼器從位流來解碼。例如，可以使用增強(qiáng)層中的亮度采樣大小的1/16的準(zhǔn)確度。當(dāng)沒有任何層間預(yù)測在兩個(gè)層之間發(fā)生時(shí)，經(jīng)伸縮參考層偏移量可以在編碼、解碼和/或顯示過程中被指示、解碼和/或使用。每個(gè)可伸縮層與全部它的有依賴的層一起是采用特定空間分辨率、時(shí)間分辨率、質(zhì)量級別和/或任何其它可伸縮性維度的視頻信號的一個(gè)表示。在本文檔中，將可伸縮層與全部它的有依賴的層一起稱作“可伸縮層表示”。與可伸縮層表示相對應(yīng)的可伸縮位流的部分可以被提取和解碼，以產(chǎn)生采用特定保真度的原始信號的表示?？梢酝ㄟ^兩種基本的方法來啟用可伸縮性?；蛘呓?jīng)由引入用于執(zhí)行對來自可伸縮表示的較低層的像素值或者語法的預(yù)測的新編碼模式，或者經(jīng)由將較低層圖片放入較高層的參考圖片緩沖器(例如，經(jīng)解碼圖片緩沖器，DPB)。第一種方法可能是更靈活的，并且因此可以在多數(shù)情況下提供更高的編碼效率。然而，第二種基于參考幀的可伸縮性方法可以利用對單一層編解碼器的最小變更來高效地實(shí)現(xiàn)，同時(shí)仍然達(dá)到可得的編碼效率獲益的大部分。大體地說，基于參考幀的可伸縮性編解碼器可以經(jīng)由對全部層使用相同的硬件或者軟件實(shí)現(xiàn)來實(shí)現(xiàn)，只是要處理由外部單元進(jìn)行的DPB管理。可以如下地實(shí)現(xiàn)針對質(zhì)量可伸縮性(也被稱為信噪比或者SNR)和/或空間可伸縮性的可伸縮視頻編碼器。對于基礎(chǔ)層，可以使用常規(guī)的非可伸縮視頻編碼器和解碼器?；A(chǔ)層的經(jīng)重構(gòu)/經(jīng)解碼的圖片被包括在增強(qiáng)層的參考圖片緩沖器和/或參考圖片列表中。假設(shè)是空間可伸縮性，則經(jīng)重構(gòu)/經(jīng)解碼的基礎(chǔ)層圖片可以在它被插入增強(qiáng)層圖片的參考圖片列表之前被進(jìn)行上采樣?；A(chǔ)層經(jīng)解碼圖片可以與增強(qiáng)層的經(jīng)解碼參考圖片類似地被插入用于對增強(qiáng)層圖片的編碼/解碼的參考圖片列表。因此，編碼器可以選擇基礎(chǔ)層參考圖片作為之間預(yù)測參考，并且在經(jīng)編碼位流中利用參考圖片索引來指示它的用途。解碼器從位流中(例如從參考圖片索引)解碼出基礎(chǔ)層圖片被用作增強(qiáng)層的之間預(yù)測參考。當(dāng)經(jīng)解碼基礎(chǔ)層圖片被用作增強(qiáng)層的預(yù)測參考時(shí)，它被稱為層間參考圖片。雖然前一個(gè)段落利用具有增強(qiáng)層和基礎(chǔ)層的兩個(gè)可伸縮性層描述了可伸縮視頻編解碼器，但需要理解，該描述可以被一般化到具有多于兩個(gè)層的可伸縮性分層中的任意兩個(gè)層。在此情況下，第二增強(qiáng)層可以在編碼和/或解碼過程中取決于第一增強(qiáng)層，并且第一增強(qiáng)層可以因此被看作用于對第二增強(qiáng)層的編碼和/或解碼的基礎(chǔ)層。此外，需要理解，增強(qiáng)層的參考圖片緩沖器或者參考圖片列表中可以存在來自多于一個(gè)層的層間參考圖片，并且這些層間參考圖片中的每個(gè)層間參考圖片可以被看作位于被編碼和/或解碼的增強(qiáng)層的基礎(chǔ)層或者參考層中。可伸縮視頻編碼和/或解碼方案可以使用多環(huán)路編碼和/或解碼，可以如下地描繪所述多環(huán)路編碼和/或解碼的特性。在編碼/解碼時(shí)，基礎(chǔ)層圖片可以被重構(gòu)/解碼，以被用作同一層內(nèi)的按照編碼/解碼次序的隨后的圖片的運(yùn)動(dòng)補(bǔ)償參考圖片，或者被用作層間(或者視圖間或者分量間)預(yù)測的參考。經(jīng)重構(gòu)/經(jīng)解碼的基礎(chǔ)層圖片可以被存儲(chǔ)在DPB中。增強(qiáng)層圖片可以同樣地被重構(gòu)/被解碼，以被用作同一層內(nèi)的按照編碼/解碼次序的隨后的圖片的運(yùn)動(dòng)補(bǔ)償參考圖片，或者被用作對于更高的增強(qiáng)層(如果有的話)的層間(或者視圖間或者分量間)預(yù)測的參考。除了經(jīng)重構(gòu)/經(jīng)解碼的采樣值之外，基礎(chǔ)/參考層的語法元素值或者從基礎(chǔ)/參考層的語法元素值導(dǎo)出的變量可以在層間/分量間/視圖間預(yù)測中被使用。在某些情況下，增強(qiáng)層中的數(shù)據(jù)可以在特定位置之后或者甚至在任意位置處被截?cái)?，其中，每個(gè)截?cái)辔恢每梢园ū硎局饾u被增強(qiáng)的視覺質(zhì)量的額外的數(shù)據(jù)。這樣的可伸縮性被稱為細(xì)顆粒(粒度)可伸縮性(FGS)。FGS被包括在SVC標(biāo)準(zhǔn)的某些草案版本中，但它最后被從最終的SVC標(biāo)準(zhǔn)中排除。隨后在SVC標(biāo)準(zhǔn)的某些草案版本的上下文中討論FGS。由那些不能被截?cái)嗟脑鰪?qiáng)層提供的可伸縮性被稱為粗顆粒(粒度)可伸縮性(CGS)。其總體上包括傳統(tǒng)的質(zhì)量(SNR)可伸縮性和空間可伸縮性。SVC標(biāo)準(zhǔn)支持所謂的中顆粒可伸縮性(MGS)，其中，質(zhì)量增強(qiáng)圖片與SNR可伸縮層圖片類似地被進(jìn)行編碼，但與FGS層圖片類似地經(jīng)由具有大于0的quality_id語法元素被高層語法元素所指示。SVC使用層間預(yù)測機(jī)制，其中，可以從除當(dāng)前被重構(gòu)的層或者緊挨的較低層之外的層預(yù)測特定的信息。可以被進(jìn)行層間預(yù)測的信息包括內(nèi)部紋理、運(yùn)動(dòng)和殘差數(shù)據(jù)。層間運(yùn)動(dòng)預(yù)測包括對塊編碼模式、頭部信息等的預(yù)測，其中，來自較低層的運(yùn)動(dòng)可以用于對較高層的預(yù)測。假設(shè)是內(nèi)部編碼，則從周圍的宏塊或者從較低層的協(xié)同定位的宏塊進(jìn)行的預(yù)測是可能的。這些預(yù)測技術(shù)不使用來自較早被編碼的訪問單元的信息，并且因此被稱為內(nèi)部預(yù)測技術(shù)。此外，來自較低層的殘差數(shù)據(jù)也可以用于對當(dāng)前的層的預(yù)測，這可以被稱為層間殘差預(yù)測。可以利用被稱為單環(huán)路解碼的概念來實(shí)現(xiàn)可伸縮視頻(解)編碼，其中，僅對于被解碼的最高層重構(gòu)經(jīng)解碼的參考圖片，而較低層處的圖片可以不被完全地解碼，或者可以在將它們用于層間預(yù)測之后被丟棄。在單環(huán)路解碼中，解碼器僅對于期望進(jìn)行回放的可伸縮層(被稱為“期望層”或者“目標(biāo)層”)執(zhí)行運(yùn)動(dòng)補(bǔ)償和完全的圖片重構(gòu)，因此當(dāng)與多環(huán)路解碼相比時(shí)降低解碼復(fù)雜度。除期望層之外的層中的全部層不需要被完全地解碼，因?yàn)榻?jīng)解碼圖片數(shù)據(jù)中的全部數(shù)據(jù)或者部分?jǐn)?shù)據(jù)對于重構(gòu)期望層不是所需要的。然而，較低層(比目標(biāo)層低)可以用于諸如層間運(yùn)動(dòng)預(yù)測之類的層間語法或者參數(shù)預(yù)測。額外地或者替換地，較低層可以用于層間內(nèi)部預(yù)測，并且因此較低層的經(jīng)內(nèi)部編碼的塊可能必須被解碼。額外地或者替換地，可以應(yīng)用層間殘差預(yù)測，其中，較低層的殘差信息可以用于對目標(biāo)層的解碼，并且該殘差信息可能需要被解碼或者重構(gòu)。在某些編碼安排中，單解碼環(huán)路對于對多數(shù)圖片的解碼是所需要的，而第二解碼環(huán)路可以被有選擇地應(yīng)用，以重構(gòu)所謂的基礎(chǔ)表示(即，經(jīng)解碼的基礎(chǔ)層圖片)，所述基礎(chǔ)表示可以是作為預(yù)測參考而不是用于輸出或者顯示而被需要。SVC允許使用單環(huán)路解碼。其經(jīng)由使用受限的內(nèi)部紋理預(yù)測模式來被啟用，由此可以將層間內(nèi)部紋理預(yù)測應(yīng)用于對于其來說基礎(chǔ)層的對應(yīng)塊位于內(nèi)部MB內(nèi)的宏塊(MB)。同時(shí)，基礎(chǔ)層中的那些內(nèi)部MB使用受限的內(nèi)部預(yù)測(例如，具有等于1的語法元素“constrained_intra_pred_flag”)。在單環(huán)路解碼中，解碼器僅對于期望進(jìn)行回放的可伸縮層(被稱為“期望層”或者“目標(biāo)層”)執(zhí)行運(yùn)動(dòng)補(bǔ)償和完全的圖片重構(gòu)，因此大大地降低解碼復(fù)雜度。除期望層之外的層中的全部層不需要被完全地解碼，因?yàn)椴槐挥糜趯娱g預(yù)測(不管是層間內(nèi)部紋理預(yù)測、層間運(yùn)動(dòng)預(yù)測還是層間殘差預(yù)測)的MB的數(shù)據(jù)中全部數(shù)據(jù)或全部數(shù)據(jù)對于期望層的重構(gòu)不是所需要的。單解碼環(huán)路對于解碼多數(shù)圖片是所需要的，而第二解碼環(huán)路被有選擇地應(yīng)用，以重構(gòu)基礎(chǔ)表示，所述基礎(chǔ)表示是作為預(yù)測參考而不是針對輸出或顯示而被需要，并且僅對于所謂的關(guān)鍵圖片(對于其來說，“store_ref_base_pic_flag”等于1)被重構(gòu)。經(jīng)由三個(gè)語法元素來描繪所述SVC草案中的可伸縮性結(jié)構(gòu)的特性：“temporal_id”、“dependency_id”和“quality_id”。語法元素“temporal_id”用于指示時(shí)間可伸縮性分層，或者間接地指示幀率。包括具有較小的最大“temporal_id”值的圖片的可伸縮層表示的幀率小于包括具有較大的最大“temporal_id”的圖片的可伸縮層表示。給定的時(shí)間層通常取決于較低的時(shí)間層(即，具有較小的“temporal_id”的時(shí)間層)，但不取決于任何較高的時(shí)間層。語法元素“dependency_id”用于指示CGS層間編碼依賴分層(其如早先提到的包括SNR和空間可伸縮性兩者)。在任何時(shí)間級別位置處，具有較小的“dependency_id”值的圖片可以用于對具有較大的“dependency_id”值的圖片的編碼的層間預(yù)測。語法元素“quality_id”用于指示FGS或者M(jìn)GS層的質(zhì)量級別分層。在任何時(shí)間位置處，并且在具有相同的“dependency_id”值的情況下，具有等于QL的“quality_id”的圖片將具有等于QL-1的“quality_id”的圖片用于層間預(yù)測。具有大于0的“quality_id”的經(jīng)編碼切片可以被編碼為可截?cái)嗟腇GS切片或者非可截?cái)嗟腗GS切片。為簡單起見，一個(gè)訪問單元中的具有相同“dependency_id”值的全部數(shù)據(jù)單元(例如，SVC上下文中的網(wǎng)絡(luò)抽象層單元或者NAL單元)被稱為依賴單元或者依賴表示。在一個(gè)依賴單元內(nèi)，全部具有相同“quality_id”值的數(shù)據(jù)單元被稱為質(zhì)量單元或者層表示。也被稱為經(jīng)解碼基礎(chǔ)圖片的基礎(chǔ)表示是由對依賴單元的具有等于0的“quality_id”并且對于其來說“store_ref_base_pic_flag”被設(shè)置為等于1的視頻編碼層(VCL)NAL單元進(jìn)行解碼而產(chǎn)生的經(jīng)解碼的圖片。也被稱為經(jīng)解碼圖片的增強(qiáng)表示由規(guī)則的解碼過程產(chǎn)生，在所述規(guī)則的解碼過程中，針對最高依賴表示來說出現(xiàn)的全部層表示被解碼。如早先提到的，CGS包括空間可伸縮性和SNR可伸縮性兩者?？臻g可伸縮性初始被設(shè)計(jì)為用于支持具有不同分辨率的視頻的表示。對于每個(gè)時(shí)刻，VCLNAL單元被編碼在相同的訪問單元中，并且這些VCLNAL單元可以與不同的分辨率相對應(yīng)。在解碼期間，較低分辨率VCLNAL單元提供運(yùn)動(dòng)字段和殘差，所述運(yùn)動(dòng)字段和殘差可以被對高分辨率圖片的最終解碼和重構(gòu)可選地繼承。當(dāng)與較舊的視頻壓縮標(biāo)準(zhǔn)相比時(shí)，SVC的空間可伸縮性已被一般化為使基礎(chǔ)層能夠是增強(qiáng)層的經(jīng)裁剪和縮放的版本。與FGS質(zhì)量層類似地利用“quality_id”來指示MGS質(zhì)量層。對于每個(gè)依賴單元(具有相同的“dependency_id”)，存在具有等于0的“quality_id”的層，并且可以存在其它的具有大于0的“quality_id”的層。取決于是否切片被編碼為可截?cái)嗟那衅@些具有大于0的“quality_id”的層是MGS層或者FGS層。在FGS增強(qiáng)層的基本形式中，使用僅層間預(yù)測。因此，F(xiàn)GS增強(qiáng)層可以被自由地截?cái)?，而不?dǎo)致經(jīng)解碼的序列中的任何誤差傳播。然而，F(xiàn)GS的基本形式遭受低壓縮效率的困擾。這個(gè)問題因?yàn)閮H低質(zhì)量圖片被用于之間預(yù)測參考而出現(xiàn)。因此已提出，經(jīng)FGS增強(qiáng)的圖片被用作之間預(yù)測參考。然而，當(dāng)某些FGS數(shù)據(jù)被丟棄時(shí)，這可以導(dǎo)致也被稱為漂移的編碼-解碼失配。一個(gè)草案SVC標(biāo)準(zhǔn)的一個(gè)特征在于FGSNAL單元可以被自由地放棄或者截?cái)啵⑶以揝VCV標(biāo)準(zhǔn)的一個(gè)特征在于MGSNAL單元可以被自由地放棄(但不能被截?cái)?而不影響位流的相符性。如上面討論的，當(dāng)那些FGS或者M(jìn)GS數(shù)據(jù)已在編碼期間被用于之間預(yù)測參考時(shí)，放棄或者截?cái)嗨鰯?shù)據(jù)將導(dǎo)致解碼器側(cè)與編碼器側(cè)的經(jīng)解碼圖片之間的失配。該失配也被稱為漂移。為控制由于放棄或者截?cái)郌GS或者M(jìn)GS數(shù)據(jù)而產(chǎn)生的漂移，SVC應(yīng)用以下解決方案：在特定的依賴單元中，基礎(chǔ)表示(經(jīng)由對僅具有等于0的“quality_id”的CGS圖片和全部有依賴的較低層數(shù)據(jù)進(jìn)行解碼)被存儲(chǔ)在經(jīng)解碼圖片緩沖器中。當(dāng)對具有相同“dependency_id”值的隨后的依賴單元進(jìn)行編碼時(shí)，包括FGS或者M(jìn)GSNAL單元的NAL單元中的全部NAL單元將基礎(chǔ)表示用于之間預(yù)測參考。因此，由于放棄或者截?cái)噍^早訪問單元中的FGS或者M(jìn)GSNAL單元而產(chǎn)生的全部漂移在該訪問單元處被停止。對于其它的具有相同“dependency_id”值的依賴單元，NAL單元中的全部NAL單元將經(jīng)解碼的圖片用于之間預(yù)測參考，以便獲得高編碼效率。每個(gè)NAL單元在NAL單元頭部中包括語法元素“use_ref_base_pic_flag”。當(dāng)這個(gè)元素的值等于1時(shí)，對該NAL單元的解碼在之間預(yù)測過程期間使用參考圖片的基礎(chǔ)表示。語法元素“store_ref_base_pic_flag”指定是(當(dāng)?shù)扔?時(shí))否(當(dāng)?shù)扔?時(shí))為未來的圖片存儲(chǔ)當(dāng)前的圖片的基礎(chǔ)表示以用于之間預(yù)測。具有大于0的“quality_id”的NAL單元不包含與參考圖片列表構(gòu)造和加權(quán)預(yù)測相關(guān)的語法元素，即，語法元素“num_ref_active_1x_minus1”(x＝0或者1)、參考圖片列表重新排序語法表和加權(quán)預(yù)測語法表不出現(xiàn)。因此，MGS或者FGS層當(dāng)需要時(shí)不得不從同一依賴單元的具有等于0的“quality_id”的NAL單元繼承這些語法元素。在SVC中，參考圖片列表由僅基礎(chǔ)表示(當(dāng)“use_ref_base_pic_flag”等于1時(shí))或者僅未被標(biāo)記為“基本表示”的經(jīng)解碼圖片(當(dāng)“use_ref_base_pic_flag”等于0時(shí))組成，但從不同時(shí)由這兩者組成。已在AVC和HEVC標(biāo)準(zhǔn)中指定或者提出了幾個(gè)嵌套的SEI消息。嵌套的SEI消息的想法在于，在一個(gè)嵌套的SEI消息內(nèi)包含一個(gè)或多個(gè)SEI消息，并且提供用于將被包含的SEI消息與位流的子集和/或經(jīng)解碼數(shù)據(jù)的子集相關(guān)聯(lián)的機(jī)制。可能需要嵌套的SEI消息包含一個(gè)或多個(gè)自身不是嵌套的SEI消息的SEI消息。被包含在嵌套的SEI消息中的SEI消息可以被稱為被嵌套的SEI消息。未被包含在嵌套的SEI消息中的SEI消息可以被稱為非被嵌套的SEI消息。HEVC的可伸縮的嵌套的SEI消息使能識別被嵌套的SEI消息所應(yīng)用于的位流子集(由子位流提取過程產(chǎn)生)或者層的集合。位流子集也可以被稱為子位流。已在SVC中指定可伸縮的嵌套的SEI消息。可伸縮的嵌套的SEI消息提供用于將SEI消息與諸如所指示的依賴表示或者其它可伸縮層之類的位流的子集相關(guān)聯(lián)的機(jī)制。可伸縮的嵌套的SEI消息包含一個(gè)或多個(gè)自身不是可伸縮的嵌套的SEI消息的SEI消息。被包含在可伸縮的嵌套的SEI消息中的SEI消息被稱為被嵌套的SEI消息。未被包含在可伸縮的嵌套的SEI消息中的SEI消息被稱為非被嵌套的SEI消息。用于指定HEVC標(biāo)準(zhǔn)的可伸縮和多視圖擴(kuò)展的工作正在進(jìn)行中。被稱為MV-HEVC的HEVC的多視圖擴(kuò)展與H.264/AVC的MVC擴(kuò)展相似。與MVC相似地，在MV-HEVC中，視圖間參考圖片可以被包括在當(dāng)前的被編碼或者解碼的圖片的參考圖片列表中。被稱為SHVC的HEVC的可伸縮擴(kuò)展被規(guī)劃為，將被指定為使得它使用多環(huán)路解碼操作(與H.264/AVC的SVC擴(kuò)展不同)。SHVC是基于參考索引的，即，層間參考圖片可以被包括在當(dāng)前的被編碼或者解碼的圖片的一個(gè)或多個(gè)參考圖片列表中(如上面描述的)。有可能對于MV-HEVC和SHVC使用相同語法結(jié)構(gòu)、語義和解碼過程中的許多項(xiàng)。還可以利用與MV-HEVC和SHVC中的語法結(jié)構(gòu)、語義和解碼過程相同或者相似的語法結(jié)構(gòu)、語義和解碼過程來實(shí)現(xiàn)諸如經(jīng)深度增強(qiáng)的視頻之類的其它類型的可伸縮性。對于增強(qiáng)層編碼，HEVC的相同的概念和編碼工具可以在SHVC、MV-HEVC等中被使用。然而，使用參考層中的已被編碼的數(shù)據(jù)(包括經(jīng)重構(gòu)的圖片采樣和又稱運(yùn)動(dòng)信息的運(yùn)動(dòng)參數(shù))以用于高效地編碼增強(qiáng)層的額外的層間預(yù)測工具可以被集成到SHVC、MV-HEVC等編解碼器中。在MV-HEVC、SHVC等中，VPS可以例如包括從NAL單元頭部導(dǎo)出的LayerId值向一個(gè)或多個(gè)可伸縮性維度值的映射，例如與和SVC和MVC相似地被定義的層的dependency_id、quality_id、view_id和depth_flag相對應(yīng)。在MV-HEVC/SHVC中，可以在VPS中指示具有大于0的層標(biāo)識符值的層不具有任何直接的參考層，即，不從任何其它層來層間預(yù)測所述層。換句話說，MV-HEVC/SHVC位流可以包含可被稱為同播層的不依賴于彼此的層。VPS的指定可以出現(xiàn)在位流中的可伸縮性維度、nuh_layer_id值向可伸縮性維度值的映射和層之間的依賴性的部分可以利用以下語法來指定：可以如在以下段落中描述的那樣地指定VPS的以上所示部分的語義。等于1的splitting_flag指示，dimension_id[i][j]語法元素未出現(xiàn)并且NAL單元頭部中的nuh_layer_id值的二進(jìn)制表示被拆分成具有根據(jù)dimension_id_len_minus[j]的值的按位計(jì)的長度的NumScalabilityTypes段，并且從NumScalabilityTypes段推斷dimension_id[LayerIdxInVps[nuh_layer_id]][j]的值。等于0的splitting_flag指示語法元素dimension_id[i][j]出現(xiàn)。在下面的示例語義中，在不失一般性的情況下，假設(shè)splitting_flag等于0。等于1的scalability_mask_flag[i]指示與下表中的第i個(gè)可伸縮性維度相對應(yīng)的dimension_id語法元素出現(xiàn)。等于0的scalability_mask_flag[i]指示與第i個(gè)可伸縮性維度相對應(yīng)的dimension_id語法元素未出現(xiàn)。在HEVC的未來的3D擴(kuò)展中，可伸縮性掩碼索引0可以用于指示深度地圖。dimension_id_len_minus[j]加1指定dimension_id[i][j]語法元素的按位計(jì)的長度。等于1的vps_nuh_layer_id_present_flag指定，對于從0到MaxLayersMinus1(其等于位流中的層的最大數(shù)量減1)(含)的i，layer_id_in_nuh[i]出現(xiàn)。等于0的vps_nuh_layer_id_present_flag指定，對于從0到MaxLayersMinus1(含)的i，layer_id_in_nuh[i]未出現(xiàn)。layer_id_in_nuh[i]指定第i層的VCLNAL單元中的nuh_layer_id語法元素的值。對于0到MaxLayersMinus1(含)的范圍中的i，當(dāng)layer_id_in_nuh[i]未出現(xiàn)時(shí)，該值可以被推斷為等于i。當(dāng)i大于0時(shí)，layer_id_in_nuh[i]大于layer_id_in_nuh[i-1]。對于從0到MaxLayersMinus1(含)的i，變量LayerIdxInVps[layer_id_in_nuh[i]]被設(shè)置為等于i。dimension_id[i][j]指定第i層的第j個(gè)出現(xiàn)的可伸縮性維度類型的標(biāo)識符。被用于dimension_id[i][j]的表示的位數(shù)是dimension_id_len_minus1[j]+1位。當(dāng)splitting_flag等于0時(shí)，對于從0到NumScalabilityTypes-1(含)的j，dimension_id[0][j]被推斷為等于0。如下地導(dǎo)出指定第i層的第smIdx個(gè)可伸縮性維度類型的標(biāo)識符的變量ScalabilityId[i][smIdx]、指定第i層的視圖次序索引的變量ViewOrderIdx[layer_id_in_nuh[i]]、指定第i層的空間/質(zhì)量可伸縮性標(biāo)識符的DependencyId[layer_id_in_nuh[i]]和指定是否第i層是視圖可伸縮性擴(kuò)展層的變量ViewScalExtLayerFlag[layer_id_in_nuh[i]]：增強(qiáng)層或者具有大于0的層標(biāo)識符值的層可以被指示為包含對基礎(chǔ)層或者其它層進(jìn)行補(bǔ)充的附屬視頻。例如，在MV-HEVC的當(dāng)前的草案中，可以使用附屬圖片層將附屬圖片編碼在位流中。附屬圖片層與它自身的可伸縮性維度值A(chǔ)uxId(與例如視圖次序索引類似地)相關(guān)聯(lián)。具有大于0的AuxId的層包含附屬圖片。一個(gè)層攜帶僅一種類型的附屬圖片，并且被包括在一個(gè)層中的附屬圖片的類型可以由它的AuxId值指示。換句話說，AuxId值可以被映射到附屬圖片的類型。例如，等于1的AuxId可以指示阿爾法平面，并且等于2的AuxId可以指示深度圖片。附屬圖片可以被定義為對主要圖片的解碼過程不具有任何規(guī)范的效果的圖片。換句話說，主要圖片(具有等于0的AuxId)可以被約束為不從附屬圖片進(jìn)行預(yù)測。附屬圖片可以從主要圖片進(jìn)行預(yù)測，盡管可能存在例如是基于AuxId值的不允許這樣的預(yù)測的約束。SEI消息可以用于傳達(dá)諸如由深度附屬層表示的深度范圍之類的附屬圖片層的更詳細(xì)的特性。MV-HEVC的當(dāng)前的草案包括對深度附屬層的支持?？梢允褂冒ǖ幌抻谝韵赂黜?xiàng)的不同類型的附屬圖片：深度圖片；阿爾法圖片；覆蓋圖片；以及標(biāo)簽圖片。在深度圖片中，采樣值表示深度圖片的視點(diǎn)(或者照相機(jī)位置)或者深度或者距離之間的差距。在阿爾法圖片(又稱阿爾法平面和阿爾法磨砂圖片)中，采樣值表示透明度或者不透明度。阿爾法圖片可以針對每個(gè)像素指示一定程度的透明度或者等價(jià)地指示一定程度的不透明度。阿爾法圖片可以是單色的圖片，或者阿爾法圖片的色度分量可以被設(shè)置為不指示任何色度(例如，當(dāng)色度采樣值被看作有符號的時(shí)是0，或者當(dāng)色度采樣值是8位的并且被看作無符號的時(shí)是128)。覆蓋圖片可以在顯示時(shí)被覆蓋在主要圖片之上。覆蓋圖片可以包含幾個(gè)區(qū)域和背景，其中，所述區(qū)域中全部區(qū)域或者子集可以在顯示時(shí)被覆蓋，并且所述背景不被覆蓋。標(biāo)簽圖片包含可以用于標(biāo)識單一覆蓋區(qū)域的針對不同覆蓋區(qū)域的不同標(biāo)簽。繼續(xù)可以如何指定所呈現(xiàn)的VPS摘錄的語義：view_id_len指定view_id_val[i]語法元素的按位計(jì)的長度。view_id_val[i]指定由VPS指定的第i個(gè)視圖的視圖標(biāo)識符。view_id_val[i]語法元素的長度是view_id_len位。當(dāng)不出現(xiàn)時(shí)，推斷view_id_val[i]的值等于0。對于每個(gè)具有等于nuhLayerId的nuh_layer_id的層，設(shè)置值ViewId[nuhLayerId]等于view_id_val[ViewOrderIdx[nuhLayerId]]。等于0的direct_dependency_flag[i][j]指定具有索引j的層不是具有索引i的層的直接參考層。等于1的direct_dependency_flag[i][j]指定具有索引j的層可以是具有索引i的層的直接參考層。當(dāng)direct_dependency_flag[i][j]對于0到MaxLayersMinus1范圍中的i和j不出現(xiàn)時(shí)，可以推斷它等于0。增強(qiáng)層或者具有大于0的層標(biāo)識符值的層可以被指示為包含對基礎(chǔ)層或者其它層進(jìn)行補(bǔ)充的附屬視頻。例如，在MV-HEVC的當(dāng)前的草案中，可以使用附屬圖片層將附屬圖片編碼在位流中。附屬圖片層與它自身的可伸縮性維度值A(chǔ)uxId(與例如視圖次序索引類似地)相關(guān)聯(lián)。具有大于0的AuxId的層包含附屬圖片。一個(gè)層攜帶僅一種類型的附屬圖片，并且被包括在一個(gè)層中的附屬圖片的類型可以由它的AuxId值指示。換句話說，AuxId值可以被映射到附屬圖片的類型。例如，等于1的AuxId可以指示阿爾法平面，并且等于2的AuxId可以指示深度圖片。附屬圖片可以被定義為對主要圖片的解碼過程不具有任何規(guī)范的效果的圖片。換句話說，主要圖片(具有等于0的AuxId)可以被約束為不從附屬圖片進(jìn)行預(yù)測。附屬圖片可以從主要圖片進(jìn)行預(yù)測，盡管可能存在例如基于AuxId值的不允許這樣的預(yù)測的約束。SEI消息可以用于傳達(dá)諸如由深度附屬層表示的深度范圍之類的附屬圖片層的更詳細(xì)的特性。MV-HEVC的當(dāng)前的草案包括對深度附屬層的支持?？梢允褂冒ǖ幌抻谝韵赂黜?xiàng)的不同類型的附屬圖片：深度圖片；阿爾法圖片；覆蓋圖片；以及標(biāo)簽圖片。在深度圖片中，采樣值表示深度圖片的視點(diǎn)(或者照相機(jī)位置)或者深度或者距離之間的差距。在阿爾法圖片(又稱阿爾法平面和阿爾法磨砂圖片)中，采樣值表示透明度或者不透明度。阿爾法圖片可以針對每個(gè)像素指示一定程度的透明度或者等價(jià)地指示一定程度的不透明度。阿爾法圖片可以是單色的圖片，或者阿爾法圖片的色度分量可以被設(shè)置為不指示任何色度(例如，當(dāng)色度采樣值被看作有符號的時(shí)是0，或者當(dāng)色度采樣值是8位的并且被看作無符號的時(shí)是128)。覆蓋圖片可以在顯示時(shí)被覆蓋在主要圖片之上。覆蓋圖片可以包含幾個(gè)區(qū)域和背景，其中，所述區(qū)域中全部區(qū)域或者子集可以在顯示時(shí)被覆蓋，并且所述背景不被覆蓋。標(biāo)簽圖片包含可以用于標(biāo)識單一覆蓋區(qū)域的針對不同覆蓋區(qū)域的不同標(biāo)簽。在SHVC、MV-HEVC等中，未變更塊級語法和解碼過程以支持層間紋理預(yù)測。僅已修改(與HEVC的相比)包括切片頭部、PPS、SPS和VPS的概括地說被稱為語法結(jié)構(gòu)的高級語法，以使得從相同訪問單元的參考層被重構(gòu)的圖片(如果必要，被進(jìn)行了上采樣的)可以被用作用于對當(dāng)前的增強(qiáng)層圖片進(jìn)行解碼的參考圖片。層間參考圖片以及時(shí)間參考圖片被包括在參考圖片列表中。所信號通知的參考圖片索引用于指示當(dāng)前的預(yù)測單元(PU)是從時(shí)間參考圖片還是層間參考圖片被預(yù)測。對該特征的使用可以由編碼器控制，并且在位流中例如在視頻參數(shù)集、序列參數(shù)集、圖片參數(shù)和/或切片頭部中被指示。所述指示可以是專用于例如增強(qiáng)層、參考層、增強(qiáng)層與參考層的對、具體的TemporalId值、具體的圖片類型(例如，RAP圖片)、具體的切片類型(例如，P和B切片，但不是I切片)、具有具體的POC值的圖片和/或具體的訪問單元。所述指示的范圍和/或持久性可以與指示自身一起被指示，和/或可以被推斷?？梢允褂迷谄渲袑娱g參考圖片(如果有)可以被包括在初始的參考圖片列表中的具體的過程來初始化SHVC、MV-HEVC等中的參考列表。例如，可以以與HEVC中的參考列表構(gòu)造相同的方式首先將時(shí)間參考添加到參考列表(L0、L1)中。此后，可以在時(shí)間參考之后添加層間參考?？梢岳鐝腣PS擴(kuò)展中所提供的層依賴性信息來推斷層間參考圖片。層間參考圖片在當(dāng)前的增強(qiáng)層切片是P切片的情況下可以被添加到初始的參考圖片列表L0，并且在當(dāng)前的增強(qiáng)層切片是B切片的情況下可以被添加到初始的參考圖片列表L0和L1兩者。層間參考圖片可以按照具體的次序被添加到參考圖片列表，所述具體的次序可以但不需要對于全部兩個(gè)參考圖片列表是相同的。例如，可以使用與初始的參考圖片列表0的添加次序相反的將層間參考圖片添加到初始的參考圖片列表1的次序。例如，層間參考圖片可以按照nuh_layer_id的升序被插入初始的參考圖片0，而相反的次序可以用于對初始的參考圖片列表1進(jìn)行初始化。在編碼和/或解碼過程中，層間參考圖片可以被看作長期參考圖片?？梢匀缦碌貙?shí)現(xiàn)可以被稱為層間運(yùn)動(dòng)預(yù)測的一種類型的層間預(yù)測。諸如H.265/HEVC的TMVP之類的時(shí)間運(yùn)動(dòng)向量預(yù)測過程可以被用于利用不同層之間的運(yùn)動(dòng)數(shù)據(jù)的冗余性。這可以如下地完成：當(dāng)經(jīng)解碼的基礎(chǔ)層圖片被進(jìn)行上采樣時(shí)，基礎(chǔ)層圖片的運(yùn)動(dòng)數(shù)據(jù)也被映射到對增強(qiáng)層的解析。如果增強(qiáng)層圖片使用例如利用諸如H.265/HEVC的TMVP之類的時(shí)間運(yùn)動(dòng)向量預(yù)測機(jī)制的從基礎(chǔ)層圖片進(jìn)行的運(yùn)動(dòng)向量預(yù)測，則對應(yīng)的運(yùn)動(dòng)向量預(yù)測器來源于被映射的基礎(chǔ)層運(yùn)動(dòng)字段。這樣，可以利用不同層的運(yùn)動(dòng)數(shù)據(jù)之間的相關(guān)性來改進(jìn)可伸縮視頻編碼器的編碼效率。在SHVC等中，可以經(jīng)由將層間參考圖片設(shè)置為用于TMVP導(dǎo)出的協(xié)同定位的參考圖片來執(zhí)行層間運(yùn)動(dòng)預(yù)測?？梢詧?zhí)行兩個(gè)層之間的運(yùn)動(dòng)字段映射過程，例如用以避免TMVP導(dǎo)出時(shí)的塊級解碼過程修改。對運(yùn)動(dòng)字段映射特征的使用可以由編碼器控制器，并且在位流中例如在視頻參數(shù)集、序列參數(shù)集、圖片參數(shù)和/或切片頭部中被指示。所述指示可以專用于例如增強(qiáng)層、參考層、增強(qiáng)層與參考層的對、具體的TemporalId值、具體的圖片類型(例如，RAP圖片)、具體的切片類型(例如，P和B切片，但不是I切片)、具有具體的POC值的圖片和/或具體的訪問單元。所述指示的范圍和/或持久性可以與指示自身一起被指示，和/或可以被推斷。在針對空間可伸縮性的運(yùn)動(dòng)字段映射過程中，經(jīng)上采樣的層間參考圖片的運(yùn)動(dòng)字段可以基于各自的參考層圖片的運(yùn)動(dòng)字段被獲得。針對經(jīng)上采樣的層間參考圖片的每個(gè)塊的運(yùn)動(dòng)參數(shù)(其可以例如包括水平和/或垂直運(yùn)動(dòng)向量值和參考索引)和/或預(yù)測模式可以從參考層圖片中的協(xié)同定位的塊的對應(yīng)的運(yùn)動(dòng)參數(shù)和/或預(yù)測模式來導(dǎo)出。用于導(dǎo)出經(jīng)上采樣的層間參考圖片中的運(yùn)動(dòng)參數(shù)和/或預(yù)測模式的塊大小可以是例如16×16。16×16塊大小與在其中使用了參考圖片的經(jīng)壓縮的運(yùn)動(dòng)字段的HEVCTMVP導(dǎo)出過程中相同。層間重新采樣編碼器和/或解碼器可以針對增強(qiáng)層與其參考層的對導(dǎo)出水平縮放因子(例如，被存儲(chǔ)在變量ScaleFactorX中)和垂直縮放因子(例如，被存儲(chǔ)在變量ScaleFactorY中)，所述導(dǎo)出例如基于所述對的經(jīng)縮放參考層偏移量。如果任一個(gè)或者全部兩個(gè)縮放因子不等于1，則參考層圖片可以被重新采樣，以生成用于預(yù)測增強(qiáng)層圖片的參考圖片。用于進(jìn)行重新采樣的過程和/或?yàn)V波器可以例如在編碼標(biāo)準(zhǔn)中被預(yù)定義，和/或由編碼器在位流中指示(例如，被指示為被預(yù)定義的重新采樣過程或者濾波器之間的索引)，和/或由解碼器從位流中解碼。不同的重新采樣過程可以取決于縮放因子的值而被編碼器指示和/或被解碼器解碼和/或被編碼器和/或解碼器推斷。例如，當(dāng)全部兩個(gè)縮放因子小于1時(shí)，可以推斷預(yù)定義的下采樣過程；并且當(dāng)全部兩個(gè)縮放因子大于1時(shí)，可以推斷預(yù)定義的上采樣過程。額外地或者替換地，不同的重新采樣過程可以取決于哪個(gè)采樣數(shù)組被處理而被編碼器指示和/或被解碼器解碼和/或被編碼器和/或解碼器推斷。例如，第一重新采樣過程可以被推斷為用于亮度采樣數(shù)組，并且第二重新采樣過程可以被推斷為用于色度采樣數(shù)組。下面提供了用于獲得經(jīng)重新采樣的亮度采樣值的層間重新采樣過程的一個(gè)示例。通過變量rlPicSampleL推斷也可以被稱為亮度參考采樣數(shù)組的輸入亮度采樣數(shù)組。針對亮度采樣位置(xP,yP)相對于增強(qiáng)層圖片的左上亮度采樣導(dǎo)出經(jīng)重新采樣的亮度采樣值。因此，該過程生成通過變量intLumaSample來訪問的經(jīng)重新采樣的亮度采樣。在這個(gè)示例中，以下的具有其中p＝0...15和x＝0...7的系數(shù)fL[p,x]的8抽頭濾波器被用于亮度重新采樣過程。(在下面，可以可互換地解釋具有和不具有下標(biāo)的記號。例如，fL可以被解釋為是與fL相同的)。可以經(jīng)由應(yīng)用以下的有序的步驟來導(dǎo)出經(jīng)插值的亮度采樣IntLumaSample的值：1.可以例如基于經(jīng)縮放參考層偏移量導(dǎo)出與(xP,yP)相對應(yīng)或者協(xié)同定位的參考層采樣位置。該參考層采樣位置被稱為以1/16采樣的單元計(jì)的(xRef16,yRef16)。2.如下地導(dǎo)出變量xRef和xPhase：xRef＝(xRef16>>4)xPhase＝(xRef16)％16其中，“>>”是向右的移位運(yùn)算，即，將x的二的補(bǔ)碼整數(shù)表示算術(shù)向右移位y個(gè)二進(jìn)制數(shù)字?？梢詢H對于非負(fù)整數(shù)值的y定義該函數(shù)。由于向右移位而被移位到MSB(最高有效位)中的位具有等于移位運(yùn)算前的x的MSB的值?！埃ァ笔悄＿\(yùn)算，即，僅對于其中x>＝0且y>0的整數(shù)x和y定義的x除以y的余數(shù)。3.如下地導(dǎo)出變量yRef和yPhase：yRef＝(yRef16>>4)yPhase＝(yRef16)％164.如下地導(dǎo)出變量shift1、shift2和偏移量：shift1＝RefLayerBitDepthY-8shift2＝20-BitDepthYoffset＝1<<(shift2-1)其中，RefLayerBitDepthY是參考層中每亮度采樣的位數(shù)。BitDepthY是增強(qiáng)層中每亮度采樣的位數(shù)。“<<”是向左移位運(yùn)算，即，將x的二的補(bǔ)碼整數(shù)表示算術(shù)向左移位y個(gè)二進(jìn)制數(shù)字。可以僅對于非負(fù)整數(shù)值的y定義該函數(shù)。由于向左移位而被移位到SLB(最低有效位)中的位具有等于0的值。5.如下地導(dǎo)出其中n＝0…7的采樣值tempArray[n]：yPosRL＝Clip3(0,RefLayerPicHeightInSamplesY-1,yRef+n-1)refW＝RefLayerPicWidthInSamplesYtempArray[n]＝(fL[xPhase,0]*rlPicSampleL[Clip3(0,refW-1,xRef-3),yPosRL]+fL[xPhase,1]*rlPicSampleL[Clip3(0,refW-1,xRef-2),yPosRL]+fL[xPhase,2]*rlPicSampleL[Clip3(0,refW-1,xRef-1),yPosRL]+fL[xPhase,3]*rlPicSampleL[Clip3(0,refW-1,xRef),yPosRL]+fL[xPhase,4]*rlPicSampleL[Clip3(0,refW-1,xRef+1),yPosRL]+fL[xPhase,5]*rlPicSampleL[Clip3(0,refW-1,xRef+2),yPosRL]+fL[xPhase,6]*rlPicSampleL[Clip3(0,refW-1,xRef+3),yPosRL]+fL[xPhase,7]*rlPicSampleL[Clip3(0,refW-1,xRef+4),yPosRL])>>shift1其中，RefLayerPicHeightInSamplesY是以亮度采樣計(jì)的參考層圖片的高度。RefLayerPicWidthInSamplesY是以亮度采樣計(jì)的參考層圖片的寬度。6.如下地導(dǎo)出經(jīng)插值的亮度采樣值intLumaSample：intLumaSample＝(fL[yPhase,0]*tempArray[0]+fL[yPhase,1]*tempArray[1]+fL[yPhase,2]*tempArray[2]+fL[yPhase,3]*tempArray[3]+fL[yPhase,4]*tempArray[4]+fL[yPhase,5]*tempArray[5]+fL[yPhase,6]*tempArray[6]+fL[yPhase,7]*tempArray[7]+offset)>>shift2intLumaSample＝Clip3(0,(1<<BitDepthY)-1,intLumaSample)可以與上面描述的針對亮度采樣值的過程相同地或者相似地指定用于獲得經(jīng)重新采樣的色度采樣值的層間重新采樣過程。例如，具有與亮度采樣不同的數(shù)量的抽頭的濾波器可以被用于色度采樣?？梢岳绨磮D片(對于將被重新采樣的整個(gè)參考層圖片或者區(qū)域)、按切片(例如，對于與增強(qiáng)層切片相對應(yīng)的參考層區(qū)域)或者按塊(例如，對于與增強(qiáng)層編碼樹單元相對應(yīng)的參考層區(qū)域)執(zhí)行重新采樣。針對所確定的區(qū)域(例如，增強(qiáng)層圖片中的圖片、切片或者編碼樹單元)對參考層圖片進(jìn)行重新采樣可以例如經(jīng)由在所確定的區(qū)域的全部采樣位置上循環(huán)和對每個(gè)采樣位置執(zhí)行按采樣的重新采樣過程而被執(zhí)行。然而，應(yīng)當(dāng)理解，存在用于對所確定的區(qū)域進(jìn)行重新采樣的其它的可能性——例如，對特定采樣位置進(jìn)行的濾波可以使用前一個(gè)采樣位置的變量值。在可以被稱為交錯(cuò)對漸進(jìn)可伸縮性或者字段對幀可伸縮性的可伸縮性類型中，利用用于表示漸進(jìn)式源內(nèi)容的增強(qiáng)層對基礎(chǔ)層的經(jīng)編碼的經(jīng)交錯(cuò)源內(nèi)容材料進(jìn)行增強(qiáng)?；A(chǔ)層中的經(jīng)編碼的經(jīng)交錯(cuò)源內(nèi)容可以包括經(jīng)編碼的字段、表示字段對的經(jīng)編碼的幀或者它們的混合體。在交錯(cuò)對漸進(jìn)可伸縮性中，基礎(chǔ)層圖片可以被重新采樣，以使得它變成一個(gè)或多個(gè)增強(qiáng)層圖片的合適的參考圖片。交錯(cuò)對漸進(jìn)可伸縮性可以還使用對表示經(jīng)交錯(cuò)源內(nèi)容的參考層經(jīng)解碼圖片的重新采樣。編碼器可以指示如經(jīng)由重新采樣是針對頂部字段還是底部字段而被確定的額外的相位偏移量。解碼器可以接收并解碼額外的相位偏移量。替換地，編碼器和/或解碼器可以例如基于對基礎(chǔ)層和增強(qiáng)層圖片表示哪些字段的指示而推斷額外的相位偏移量。例如，phase_position_flag[RefPicLayerId[i]]可以被有條件地包括在EL切片的切片頭部中。當(dāng)phase_position_flag[RefPicLayerId[i]]不出現(xiàn)時(shí)，可以推斷它等于0。phase_position_flag[RefPicLayerId[i]]可以指定當(dāng)前的圖片與參考層圖片之間的垂直方向上的相位位置，其中，在對參考層采樣位置的導(dǎo)出過程中使用等于RefPicLayerId[i]的nuh_layer_id。可以例如在較早呈現(xiàn)的層間重新采樣過程中，具體地說在yPhase的導(dǎo)出中考慮額外的相位偏移量。yPhase可以被更新為等于yPhase+(phase_position_flag[RefPicLayerId[i]]<<2)?？梢员粦?yīng)用于經(jīng)重構(gòu)或者經(jīng)解碼的基礎(chǔ)層圖片以獲得用于層間預(yù)測的參考圖片的重新采樣可以從重新采樣濾波中排除每隔一個(gè)的采樣行。類似地，重新采樣可以包括抽取步驟，在所述抽取步驟中，每隔一個(gè)的采樣行在可以針對重新采樣而被實(shí)施的濾波步驟之前被排除。概括地說，垂直抽取因子可以通過一個(gè)或多個(gè)指示而被指示，或者被編碼器或者諸如是位流復(fù)用器的另一個(gè)實(shí)體推斷。所述一個(gè)或多個(gè)指示可以例如位于增強(qiáng)層切片的切片頭部中、基礎(chǔ)層的前綴NAL單元中、BL位流內(nèi)的增強(qiáng)層封裝NAL單元(等)內(nèi)、EL位流內(nèi)的基礎(chǔ)層封裝NAL單元(等)內(nèi)、屬于或者用于包含或者提到基礎(chǔ)層和/或增強(qiáng)層的文件的元數(shù)據(jù)內(nèi)和/或諸如MPEG-2傳輸流的描述符之類的通信協(xié)議中的元數(shù)據(jù)內(nèi)。如果基礎(chǔ)層可以包含經(jīng)編碼的字段和表示經(jīng)交錯(cuò)的源內(nèi)容的經(jīng)幀編碼的字段對的混合體，則所述一個(gè)或多個(gè)指示可以是按圖片的。替換地或者額外地，所述一個(gè)或多個(gè)指示可以專用于時(shí)刻和/或增強(qiáng)層與它的參考層的對。替換地或者額外地，所述一個(gè)或多個(gè)指示可以專用于增強(qiáng)層與它的參考層的對(并且可以針對圖片的序列(諸如針對經(jīng)編碼的視頻序列)被指示)。所述一個(gè)或多個(gè)指示可以是例如切片頭部中的flagvert_decimation_flag，flagvert_decimation_flag可以是專用于參考層的。例如被稱為VertDecimationFactor的變量可以從所述標(biāo)志被導(dǎo)出，例如，VertDecimationFactor可以被設(shè)置為等于vert_decimation_flag+1。解碼器或者諸如位流解復(fù)用器之類的另一個(gè)實(shí)體可以接收并解碼所述一個(gè)或多個(gè)指示以獲得垂直抽取因子，和/或它可以推斷垂直抽取因子?？梢岳缁陉P(guān)于基礎(chǔ)層圖片是字段還是幀和增強(qiáng)層圖片是字段還是幀的信息來推斷垂直抽取因子。當(dāng)基礎(chǔ)層圖片被推斷為是包含表示經(jīng)交錯(cuò)源內(nèi)容的字段對的幀，并且各自的增強(qiáng)層圖片被推斷為是表示漸進(jìn)式源內(nèi)容的幀時(shí)，可以推斷垂直抽取因子等于2，即，指示在重新抽樣時(shí)對經(jīng)解碼基礎(chǔ)層圖片的(例如，它的亮度采樣數(shù)組的)每隔一個(gè)的采樣行進(jìn)行處理。當(dāng)基礎(chǔ)層圖片被推斷為是字段，并且各自的增強(qiáng)層圖片被推斷為是表示漸進(jìn)式源內(nèi)容的幀時(shí)，可以推斷垂直抽取因子等于1，即，指示在重新采樣時(shí)對經(jīng)解碼基礎(chǔ)層圖片的(例如，它的亮度采樣數(shù)組的)每個(gè)采樣行進(jìn)行處理。可以如下面那樣參考較早呈現(xiàn)的層間重新采樣過程將對在下面由變量VertDecimationFactor表示的垂直抽取因子的使用包括在重新采樣中。僅與彼此相距VertDecimationFactor的參考層圖片的采樣行可以參與濾波。重新采樣過程的步驟5可以如下地或者以相似的方式使用VertDecimationFactor。5.如下地導(dǎo)出其中n＝0…7的采樣值tempArray[n]：yPosRL＝Clip3(0,RefLayerPicHeightInSamplesY-1,yRef+VertDecimationFactor*(n-4))refW＝RefLayerPicWidthInSamplesYtempArray[n]＝(fL[xPhase,0]*rlPicSampleL[Clip3(0,refW-1,xRef-3),yPosRL]+fL[xPhase,1]*rlPicSampleL[Clip3(0,refW-1,xRef-2),yPosRL]+fL[xPhase,2]*rlPicSampleL[Clip3(0,refW-1,xRef-1),yPosRL]+fL[xPhase,3]*rlPicSampleL[Clip3(0,refW-1,xRef),yPosRL]+fL[xPhase,4]*rlPicSampleL[Clip3(0,refW-1,xRef+1),yPosRL]+fL[xPhase,5]*rlPicSampleL[Clip3(0,refW-1,xRef+2),yPosRL]+fL[xPhase,6]*rlPicSampleL[Clip3(0,refW-1,xRef+3),yPosRL]+fL[xPhase,7]*rlPicSampleL[Clip3(0,refW-1,xRef+4),yPosRL])>>shift1其中，RefLayerPicHeightInSamplesY是以亮度采樣計(jì)的參考層圖片的高度，RefLayerPicWidthInSamplesY是以亮度采樣計(jì)的參考層圖片的寬度。跳過圖片可以被定義為對于其來說應(yīng)用僅層間預(yù)測而不對任何預(yù)測誤差進(jìn)行編碼的增強(qiáng)層圖片。話句話說，對于跳過圖片不應(yīng)用任何內(nèi)部預(yù)測或者之間預(yù)測(來自相同的層的)。在MV-HEVC/SHVC中，可以利用可以被如下地指定的VPSVUI標(biāo)志higher_layer_irap_skip_flag來指示對跳過圖片的使用。等于1的higher_layer_irap_skip_flag指示，對于每個(gè)對于其來說在同一訪問單元中存在另一個(gè)具有較低值的nuh_layer_id的圖片的參考VPS的IRAP圖片，以下約束適用：-對于該IRAP圖片的全部切片：oslice_type應(yīng)當(dāng)?shù)扔赑。oslice_sao_luma_flag和slice_sao_chroma_flag應(yīng)兩者都等于0。ofive_minus_max_num_merge_cand應(yīng)當(dāng)?shù)扔?。oweighted_pred_flag在被所述切片參考的PPS中應(yīng)當(dāng)?shù)扔?。-對于該IRAP圖片的全部編碼單元：ocu_skip_flag[i][j]應(yīng)當(dāng)?shù)扔?。o等于0的higher_layer_irap_skip_flag指示以上的約束可以或者可以不適用。混合編解碼器可伸縮性可伸縮視頻編碼中的一種類型的可伸縮性是也可以被稱為混合編解碼器可伸縮性的編碼標(biāo)準(zhǔn)可伸縮性。在混合編解碼器可伸縮性中，在不同的視頻編碼標(biāo)準(zhǔn)中指定基礎(chǔ)層和增強(qiáng)層的位流語法、語義和解碼過程。例如，可以根據(jù)諸如H.264/AVC的一個(gè)編碼標(biāo)準(zhǔn)對基礎(chǔ)層進(jìn)行編碼，并且可以根據(jù)諸如MV-HEVC/SHVC的另一個(gè)編碼標(biāo)準(zhǔn)對增強(qiáng)層進(jìn)行編碼。這樣，可以由遺留的基于H.264/AVC的系統(tǒng)以及基于HEVC的系統(tǒng)兩者對相同的位流進(jìn)行解碼。概括地說，在混合編解碼器可伸縮性中，可以根據(jù)一個(gè)編碼標(biāo)準(zhǔn)或者規(guī)范對一個(gè)或多個(gè)層進(jìn)行編碼，并且可以根據(jù)另一個(gè)編碼標(biāo)準(zhǔn)或者規(guī)范對其它的一個(gè)或多個(gè)層進(jìn)行編碼。例如，可能存在被根據(jù)H.264/AVC的MVC擴(kuò)展進(jìn)行編碼的兩個(gè)層(其中，一個(gè)是被根據(jù)H.264/AVC進(jìn)行編碼的基礎(chǔ)層)以及被根據(jù)MV-HEVC進(jìn)行編碼的一個(gè)或多個(gè)額外的層。此外，同一位流的不同層被根據(jù)其進(jìn)行編碼的編碼標(biāo)準(zhǔn)或者規(guī)范的數(shù)量在混合編解碼器可伸縮性中可以不限于兩個(gè)?；旌暇幗獯a器可伸縮性可以與諸如時(shí)間、質(zhì)量、空間、多視圖、深度增強(qiáng)、附屬圖片、位深、色域、色度格式和/或ROI可伸縮性之類的任何類型的可伸縮性一起被使用。由于混合編解碼器可伸縮性可以與其它類型的可伸縮性一起被使用，所以可以認(rèn)為它形成不同類別的可伸縮性類型?？梢岳缭谠鰪?qiáng)層位流中指示對混合編解碼器可伸縮性的使用。例如，在MV-HEVC、SHVC等中，可以在VPS中指示對混合編解碼器可伸縮性的使用。例如，可以使用以下的VPS語法：可以如下地指定vps_base_layer_internal_flag的語義：等于0的vps_base_layer_internal_flag指定由未在MV-HEVC、SHVC等中被指定的外部單元提供基礎(chǔ)層。等于1的vps_base_layer_internal_flag指定在位流中提供基礎(chǔ)層。在許多視頻通信或者傳輸系統(tǒng)、傳輸機(jī)制和多媒體容器文件格式中，存在用于與增強(qiáng)層隔開地發(fā)送或者存儲(chǔ)基礎(chǔ)層的機(jī)制。可以認(rèn)為通過隔開的邏輯信道來存儲(chǔ)或者發(fā)送層。下面提供了示例：-ISO基礎(chǔ)媒體文件格式(ISOBMFF，ISO/IEC國際標(biāo)準(zhǔn)14496-12)：基礎(chǔ)層可以被存儲(chǔ)為一個(gè)軌道，并且每個(gè)增強(qiáng)層可以被存在另一個(gè)軌道中。相似地，在混合編解碼器可伸縮性的情況下，非經(jīng)HEVC編碼的基礎(chǔ)層可以被存儲(chǔ)為一個(gè)軌道(例如，具有采樣條目類型‘a(chǎn)vc1’的)，而增強(qiáng)層可以被存儲(chǔ)為另一個(gè)軌道，其中，使用所謂的軌道參考將所述另一個(gè)軌道鏈接到基礎(chǔ)層軌道。-實(shí)時(shí)傳輸協(xié)議(RTP)：RTP會(huì)話復(fù)用或者同步源(SSRC)復(fù)用可以用于將不同的層在邏輯上隔開。-MPEG-2傳輸流(TS)：每個(gè)層可以具有不同的分組標(biāo)識符(PID)值。許多視頻通信或者傳輸系統(tǒng)、傳輸機(jī)制和多媒體容器文件格式提供用于將諸如屬于不同的軌道或者會(huì)話的隔開的邏輯信道的經(jīng)編碼數(shù)據(jù)與彼此相關(guān)聯(lián)的手段。例如，存在用于將同一訪問單元的經(jīng)編碼數(shù)據(jù)關(guān)聯(lián)在一起的機(jī)制。例如，可以在容器文件格式或者傳輸機(jī)制中提供解碼或者輸出時(shí)間，并且可以認(rèn)為具有相同的解碼或者輸出時(shí)間的經(jīng)編碼數(shù)據(jù)形成一個(gè)訪問單元?？捎玫拿襟w文件格式標(biāo)準(zhǔn)包括ISO基礎(chǔ)媒體文件格式(ISO/IEC14496-12，其可以被縮寫為ISOBMFF)、MPEG-4文件格式(ISO/IEC14496-14，也被稱為MP4格式)、用于NAL單元結(jié)構(gòu)化視頻的文件格式(ISO/IEC14496-15)和3GPP文件格式(3GPPTS26.244，也被稱為3GP格式)。ISO文件格式是導(dǎo)出全部上面提到的文件格式(排除ISO文件格式自身)的基礎(chǔ)。這些文件格式(包括ISO文件格式自身)可以概括地被稱為ISO族的文件格式。下面作為實(shí)施例可以基于其被實(shí)現(xiàn)的容器文件格式的示例描述了ISOBMFF的某些概念、結(jié)構(gòu)和規(guī)范。本發(fā)明的方面不限于ISOBMFF，而相反，針對本發(fā)明可以在其之上被部分或者完全地實(shí)現(xiàn)的一種可能的基礎(chǔ)給出了所述描述。ISO基礎(chǔ)媒體文件格式中的基礎(chǔ)構(gòu)建塊被稱為箱體(box)。每個(gè)箱體具有頭部和凈荷。箱體頭部指示箱體的類型和以字節(jié)為單位的箱體的大小。一個(gè)箱體可以裝入其它箱體，并且ISO文件格式指定在特定類型的箱體內(nèi)允許哪些箱體類型。此外，某些箱體的出現(xiàn)可以是在每個(gè)文件中強(qiáng)制的，而其它箱體的出現(xiàn)可以是可選的。額外地，對于某些箱體類型，使多于一個(gè)箱體出現(xiàn)在文件中是可允許的。因此，可以認(rèn)為ISO基礎(chǔ)媒體文件格式指定箱體的分層結(jié)構(gòu)。根據(jù)ISO族的文件格式，文件包括被封裝到箱體中的媒體數(shù)據(jù)和元數(shù)據(jù)。每個(gè)箱體由一個(gè)四字符代碼(4CC)標(biāo)識，并且以通知關(guān)于箱體的類型和大小的信息的頭部開始。在與ISO基礎(chǔ)媒體文件格式相符的文件中，可以在媒體數(shù)據(jù)‘mdat’箱體中提供媒體數(shù)據(jù)，并且電影‘moov’箱體可以用于裝入元數(shù)據(jù)。在某些情況下，對于將被操作的文件，‘mdat’和‘moov’箱體中的全部兩個(gè)箱體可能是需要出現(xiàn)的。電影‘moov’箱體可以包括一個(gè)或多個(gè)軌道，并且每個(gè)軌道可以位于一個(gè)對應(yīng)的軌道‘trak’箱體中。一個(gè)軌道可以是許多類型中的一種類型，所述許多類型包括指被根據(jù)媒體壓縮格式進(jìn)行格式化的采樣的媒體軌道(以及它到ISO基礎(chǔ)媒體文件格式的封裝)。一個(gè)軌道可以被看作一個(gè)邏輯信道。每個(gè)軌道與由四字符代碼標(biāo)識的指定軌道類型的句柄(handler)相關(guān)聯(lián)。視頻、音頻和圖像序列軌道可以被共同稱為媒體軌道，并且它們包含基本媒體流。其它軌道類型包括提示(hint)軌道和同步的(timed)元數(shù)據(jù)軌道。軌道包括諸如音頻或者視頻幀的采樣。媒體軌道指被根據(jù)媒體壓縮格式進(jìn)行格式化的采樣(其也可以被稱為媒體采樣)(以及它到ISO基礎(chǔ)媒體文件格式的封裝)。提示軌道指提示采樣，所述提示采樣包含用于構(gòu)造分組以用于通過所指示的通信協(xié)議傳輸?shù)氖謨灾噶?cookbookinstruction)。手冊指令可以包括用于分組頭部構(gòu)造的指南，并且可以包括分組凈荷構(gòu)造。在分組凈荷構(gòu)造中，位于其它軌道或者項(xiàng)目中的數(shù)據(jù)可以被引用。因此，例如，位于其它軌道或者項(xiàng)目中的數(shù)據(jù)可以通過引用被指示為是關(guān)于特定軌道或者項(xiàng)目中的哪些數(shù)據(jù)被責(zé)令在分組構(gòu)造過程期間被復(fù)制到分組中的。同步的元數(shù)據(jù)軌道可以指描述被引用的媒體和/或提示采樣的采樣。為呈現(xiàn)一種媒體類型，可以選擇一個(gè)媒體軌道。電影片段可以例如在向ISO文件記錄內(nèi)容時(shí)被使用，例如用以如果記錄應(yīng)用崩潰、耗盡存儲(chǔ)器空間或者某個(gè)其它事件發(fā)生的話避免丟失數(shù)據(jù)。在沒有電影片段的情況下，因?yàn)槲募袷娇赡苄枰缡请娪跋潴w的全部元數(shù)據(jù)被寫到文件的一個(gè)連續(xù)的區(qū)域中，所以數(shù)據(jù)丟失可能發(fā)生。此外，當(dāng)記錄文件時(shí)，對于可用的存儲(chǔ)器的大小，可能不存在用于緩沖電影箱體的足夠量的存儲(chǔ)器空間(例如，隨機(jī)訪問存儲(chǔ)器RAM)，并且當(dāng)電影被關(guān)閉時(shí)重新計(jì)算電影箱體的內(nèi)容可能太慢。此外，電影片段可以使能使用常見的ISO文件解析器進(jìn)行對文件的同時(shí)的記錄和回放。此外，對于例如當(dāng)電影片段被使用時(shí)對文件的同時(shí)接收和回放的漸進(jìn)式下載可能需要較少持續(xù)時(shí)間的初始緩沖，并且初始的電影箱體比具有相同媒體內(nèi)容但被結(jié)構(gòu)化為不具有電影片段的文件更小。電影片段特征可以使能將否則可能位于電影箱體中的元數(shù)據(jù)拆分成多個(gè)片。每個(gè)片可以與軌道的特定時(shí)段相對應(yīng)。換句話說，電影片段特征可以使能對文件元數(shù)據(jù)和媒體數(shù)據(jù)進(jìn)行交織。因此，電影箱體的大小可以是有限的，并且上面提到的用例被實(shí)現(xiàn)。在某些示例中，電影片段的媒體采樣在它們與moov箱體處于同一文件中的情況下可以位于mdat箱體中。然而對于電影片段的元數(shù)據(jù)，可以提供moof箱體。moof箱體可以包括之前本已在moov箱體中的針對特定持續(xù)時(shí)間的回放時(shí)間的信息。moov箱體可以仍然靠它自身來表示有效的電影，但另外，它可以包括指示電影片段將在同一文件中跟隨在后面的mvex箱體。電影片段可以擴(kuò)展在時(shí)間上關(guān)聯(lián)于moov箱體的呈現(xiàn)。在電影片段內(nèi)，可以存在包括每軌道的幾乎從零到多個(gè)的軌道片段的集合。軌道片段可以接著包括幾乎從零到多個(gè)軌道運(yùn)行，所述文檔中的每個(gè)文檔是該軌道的一個(gè)連續(xù)運(yùn)行的采樣。在這些結(jié)構(gòu)內(nèi)，許多字段是可選的，并且可以被取缺省值?？梢员话ㄔ趍oof箱體中的元數(shù)據(jù)可以限于可以被包括在moov箱體中的元數(shù)據(jù)的子集，并且可以在某些情況下被有差別地進(jìn)行編碼?？梢詮腎SO基礎(chǔ)媒體文件格式規(guī)范中找到關(guān)于可以被包括在moof箱體中的箱體的細(xì)節(jié)。自包含的電影片段可以被定義為由按照文件次序連續(xù)的moof箱體和mdat箱體組成，并且其中，mdat箱體包含電影片段(moof箱體為其提供元數(shù)據(jù))的采樣，并且不包含任何其它電影片段(即，任何其它moof箱體)的采樣。ISO基礎(chǔ)媒體文件格式包含三種用于可以與特定采樣相關(guān)聯(lián)的同步的元數(shù)據(jù)的機(jī)制：采樣組、同步的元數(shù)據(jù)軌道和采樣附屬信息。導(dǎo)出的規(guī)范可以提供與這三種機(jī)制中的一種或多種機(jī)制相似的功能。ISO基礎(chǔ)媒體文件格式以及諸如AVC文件格式和SVC文件格式的其導(dǎo)出物中的采樣分組可以被定義為，基于分組準(zhǔn)則將軌道中的每個(gè)采樣指派為一個(gè)采樣組的成員。采樣分組中的采樣組不限于是連續(xù)的采樣，并且可以包含非相鄰的采樣。當(dāng)可能存在針對一個(gè)軌道中的采樣的多于一個(gè)采樣分組時(shí)，每個(gè)采樣分組可以具有用于指示分組的類型的類型字段。采樣分組可以由兩個(gè)被鏈接的數(shù)據(jù)結(jié)構(gòu)表示：(1)SampleToGroup箱體(sbgp箱體)表示向采樣分組指派采樣；以及(2)SampleGroupDescription箱體(sgpd箱體)包含針對每個(gè)采樣組的描述該組的屬性的采樣組條目?？赡艽嬖诨诓煌纸M準(zhǔn)則的SampleToGroup和SampleGroupDescription箱體的多個(gè)實(shí)例。它們可以通過指示分組類型的類型字段加以區(qū)分。采樣附屬信息可以被預(yù)期用于在其中該信息在一對一的基礎(chǔ)上與采樣相關(guān)的情況，并且可以是媒體采樣處理和呈現(xiàn)所需要的。每采樣的采樣附屬信息可以被存儲(chǔ)在與采樣數(shù)據(jù)自身相同的文件中的任何地方；對于自包含的媒體文件，這可以是‘mdat’箱體。采樣附屬信息可以被存儲(chǔ)在多個(gè)組塊(chunk)中，其中，每組塊的采樣的數(shù)量以及組塊的數(shù)量與屬于主要采樣數(shù)據(jù)的或者針對電影采樣表(或者電影片段)中的全部采樣的單一組塊中的組塊相匹配。針對被包含在單一組塊(或者軌道運(yùn)行)內(nèi)的全部采樣的采樣附屬信息被連續(xù)地(與采樣數(shù)據(jù)相似地)存儲(chǔ)。采樣附屬信息當(dāng)出現(xiàn)時(shí)可以被存儲(chǔ)在與它所相關(guān)的采樣相同的文件中，因?yàn)樗鼈児蚕硐嗤臄?shù)據(jù)引用(‘dref’)結(jié)構(gòu)。然而，可以使用用于指示數(shù)據(jù)的位置的附屬信息偏移量(‘saio’)將該數(shù)據(jù)存儲(chǔ)在該文件內(nèi)的任何地方。使用兩個(gè)箱體——采樣附屬信息大小箱體和采樣附屬信息偏移量(‘saio’)箱體來放置采樣附屬信息。對于全部這兩個(gè)箱體，給出或者推斷語法元素aux_info_type和aux_info_type_parameter(所述語法元素中的全部兩個(gè)語法元素是32位無符號整數(shù)或者等價(jià)地是四字符代碼)。雖然aux_info_type確定附屬信息的格式，但具有相同格式的附屬信息的幾個(gè)流可以在它們的aux_info_type_parameter值不同時(shí)被使用。采樣附屬信息大小箱體提供每個(gè)采樣的采樣附屬信息的大小，而采樣附屬信息偏移量箱體提供采樣附屬信息的組塊或者軌道運(yùn)行的(起始)位置。Matroska文件格式能夠(但不限于)在一個(gè)文件中存儲(chǔ)視頻、音頻、圖片或者字幕軌道中的任一項(xiàng)。Matroska可以被用作諸如WebM的導(dǎo)出的文件格式的基礎(chǔ)格式。Matroska使用可擴(kuò)展二進(jìn)制元語言(EBML)作為基礎(chǔ)。EBML指定受XML的原理啟發(fā)的二進(jìn)制和八位組(字節(jié))對齊的格式。EBML自身是對二進(jìn)制標(biāo)記的技術(shù)的一般化的描述。Matroska文件由組成EBML“文檔”的元素組成。元素包含元素ID、針對元素的大小的描述符和二進(jìn)制數(shù)據(jù)本身。元素可以被嵌套。Matroska的段元素是其它頂層(第1層)元素的容器。一個(gè)Matroska文件可以包括(但不限于由其組成)一個(gè)段。Matroska文件中的多媒體數(shù)據(jù)被組織成集群(或者集群元素)，每個(gè)集群通常包含幾秒的多媒體數(shù)據(jù)。集群包括BlockGroup元素，BlockGroup元素接著包括Block元素。Cues元素包括元數(shù)據(jù)，所述元數(shù)據(jù)可以在隨機(jī)訪問或者尋找中有幫助，并且可以包括尋找點(diǎn)的文件指針或者各自的時(shí)間戳。實(shí)時(shí)傳輸協(xié)議(RTP)被廣泛地用于對諸如音頻和視頻的同步媒體的實(shí)時(shí)傳輸。RTP可以在用戶數(shù)據(jù)報(bào)協(xié)議(UDP)之上工作，用戶數(shù)據(jù)報(bào)協(xié)議(UDP)接著可以在互聯(lián)網(wǎng)協(xié)議(IP)之上工作。在從www.ietf.org/rfc/rfc3550.txt可得的互聯(lián)網(wǎng)工程任務(wù)組(IETF)請求評議(RFC)3550中指定了RTP。在RTP傳輸中，媒體數(shù)據(jù)被封裝到RTP分組中。通常，每個(gè)媒體類型或者媒體編碼格式具有專用的RTP凈荷格式。RTP會(huì)話是利用RTP進(jìn)行通信的參與者的組之間的關(guān)聯(lián)。它是可以潛在地傳送許多RTP流的組通信信道。RTP流是包括媒體數(shù)據(jù)的RTP分組的流。RTP流由屬于特定的RTP會(huì)話的SSRC標(biāo)識。SSRC指同步源或者同步源標(biāo)識符，所述同步源標(biāo)識符是RTP分組頭部中的32位的SSRC字段。同步源的特性在于，來自該同步源的全部分組形成相同的時(shí)序和序列號空間的部分，因此接收器可以經(jīng)由同步源對分組進(jìn)行分組以用于回放。同步源的示例包括從諸如麥克風(fēng)或者照相機(jī)的信號源導(dǎo)出的分組的流的發(fā)送者或者RTP混合器。每個(gè)RTP流由一個(gè)SSRC標(biāo)識，該SSRC在RTP會(huì)話內(nèi)是唯一的。一個(gè)RTP流可以被看作一個(gè)邏輯信道。RTP分組由RTP頭部和RTP分組凈荷組成?？梢哉J(rèn)為分組凈荷包括如在所使用的RTP凈荷格式中指定的那樣被格式化的RTP凈荷頭部和RTP凈荷數(shù)據(jù)。H.265(HEVC)的草案凈荷格式指定可以使用凈荷頭部擴(kuò)展結(jié)構(gòu)(PHES)被擴(kuò)展的RTP凈荷頭部?？梢哉J(rèn)為PHES被包括在作為RTP凈荷數(shù)據(jù)內(nèi)的第一個(gè)NAL單元出現(xiàn)的可以被稱為凈荷內(nèi)容信息(PACI)的類NAL單元的結(jié)構(gòu)內(nèi)。當(dāng)凈荷頭部擴(kuò)展機(jī)制正在使用中時(shí)，可以認(rèn)為RTP分組凈荷包括凈荷頭部、凈荷頭部擴(kuò)展結(jié)構(gòu)(PHES)和PACI凈荷。PACI凈荷可以包括NAL單元或者諸如分片單元(包括NAL單元的一部分)或者幾個(gè)NAL單元的聚合(或者集合)的類NAL單元的結(jié)構(gòu)。PACI是可擴(kuò)展的結(jié)構(gòu)，并且可以有條件地包括如由PACI頭部中的出現(xiàn)標(biāo)志控制的不同的擴(kuò)展。H.265(HEVC)的草案凈荷格式指定一個(gè)被稱為時(shí)間可伸縮性控制信息的PACI擴(kuò)展。RTP凈荷可以使能經(jīng)由包括和/或推斷數(shù)據(jù)單元的解碼次序號(DON)等來建立所包含的數(shù)據(jù)單元(例如，NAL單元)的解碼次序，其中，DON值指示解碼次序。指定可以將兩個(gè)或多個(gè)標(biāo)準(zhǔn)或者編碼系統(tǒng)的NAL單元和/或其它經(jīng)編碼數(shù)據(jù)單元封裝到同一位流、字節(jié)流、NAL單元流等中的格式可能是可取的。這種方法可以被稱為封裝的混合編解碼器可伸縮性。在下面，描述了用于在同一NAL單元流中包括AVCNAL單元和HEVCNAL單元的機(jī)制。需要理解，可以對于除NAL單元之外的經(jīng)編碼數(shù)據(jù)單元、對于位流或者字節(jié)流格式、對于任何編碼標(biāo)準(zhǔn)或者系統(tǒng)類似地實(shí)現(xiàn)機(jī)制。在下面，認(rèn)為基礎(chǔ)層是經(jīng)AVC編碼的，并且認(rèn)為增強(qiáng)層是利用諸如SHVC或者M(jìn)V-HEVC的HEVC擴(kuò)展被編碼的。需要理解，如果多于一個(gè)層是屬于諸如AVC或者它的例如MVC的擴(kuò)展的第一編碼標(biāo)準(zhǔn)或者系統(tǒng)的，和/或多于一個(gè)層是第二編碼標(biāo)準(zhǔn)，則可以類似地實(shí)現(xiàn)機(jī)制。同樣地，需要理解，當(dāng)層表示多于兩個(gè)編碼標(biāo)準(zhǔn)時(shí)，可以類似地實(shí)現(xiàn)機(jī)制。例如，基礎(chǔ)層可以是利用AVC被編碼的，增強(qiáng)層可以是利用MVC被編碼的并且表示非基礎(chǔ)視圖，并且可以由利用SHVC被編碼的空間或者質(zhì)量可伸縮層對前述層中的任一個(gè)層或者全部兩個(gè)層進(jìn)行增強(qiáng)。NAL單元流格式對AVC和HEVCNAL單元兩者進(jìn)行封裝的選項(xiàng)包括但不限于以下各項(xiàng)：AVCNAL單元可以被包含在符合HEVC的NAL單元流中。可以在HEVC標(biāo)準(zhǔn)中所指定的nal_unit_type值中指定一個(gè)或多個(gè)可以被稱為AVC容器NAL單元的NAL單元類型以指示AVCNAL單元。可以包括AVCNAL單元頭部的AVCNAL單元可以然后被作為NAL單元凈荷包括在AVC容器NAL單元中。HEVCNAL單元可以被包含在符合AVC的NAL單元流中。可以在AVC標(biāo)準(zhǔn)的nal_unit_type值中指定一個(gè)或多個(gè)可以被稱為HEVC容器NAL單元的NAL單元類型以指示HEVCNAL單元?？梢园℉EVCNAL單元頭部的HEVCNAL單元可以然后被作為NAL單元凈荷包括在HEVC容器NAL單元中。并非包含第一編碼標(biāo)準(zhǔn)或者系統(tǒng)的數(shù)據(jù)單元，第二編碼標(biāo)準(zhǔn)或者系統(tǒng)的位流、字節(jié)流、NAL單元流等可以引用第一編碼標(biāo)準(zhǔn)的數(shù)據(jù)單元。額外地，可以在第二編碼標(biāo)準(zhǔn)的位流、字節(jié)流、NAL單元流等內(nèi)提供第一編碼標(biāo)準(zhǔn)的數(shù)據(jù)單元的屬性。所述屬性可以與經(jīng)解碼參考圖片標(biāo)記、處理和緩沖的操作相關(guān)，所述操作可以是解碼、編碼和/或HRD操作的一部分。替換地或者額外地，所述屬性可以與諸如CPB和DPB緩沖延遲的緩沖延遲和/或諸如CPB移除時(shí)間等的HRD時(shí)序相關(guān)。替換地或者額外地，所述屬性可以與諸如圖片次序計(jì)數(shù)的圖片標(biāo)識或者到訪問單元的關(guān)聯(lián)相關(guān)。所述屬性可以使能在第二編碼標(biāo)準(zhǔn)的解碼過程和/或HRD中處置第一編碼標(biāo)準(zhǔn)或者系統(tǒng)的經(jīng)解碼圖片，就像所述經(jīng)解碼圖片根據(jù)第二編碼標(biāo)準(zhǔn)被解碼一樣。例如，所述屬性可以使能在SHVC或者M(jìn)V-HEVC的解碼過程和/或HRD中處置經(jīng)解碼的AVC基礎(chǔ)層圖片，就像所述經(jīng)解碼圖片是HEVC基礎(chǔ)層圖片一樣。為解碼過程指定使能提供一個(gè)或多個(gè)可以在解碼過程中被用作參考的經(jīng)解碼圖片的接口可能是可取的。這種方法可以被稱為例如非封裝的混合編解碼器可伸縮性。在某些情況下，解碼過程是一個(gè)或多個(gè)增強(qiáng)層可以根據(jù)其被解碼的增強(qiáng)層解碼過程。在某些情況下，解碼過程是一個(gè)或多個(gè)子層可以根據(jù)其被解碼的子層解碼過程?？梢岳缤ㄟ^一個(gè)或多個(gè)變量來指定所述接口，所述一個(gè)或多個(gè)變量可以例如由諸如媒體播放器或者解碼器控制邏輯的外部單元設(shè)置。在非封裝的混合編解碼器可伸縮性中，基礎(chǔ)層可以被稱為外部的基礎(chǔ)層，這指示基礎(chǔ)層在增強(qiáng)層位流(其也可以被稱為EL位流)的外部。根據(jù)HEVC擴(kuò)展的增強(qiáng)層位流的外部的基礎(chǔ)層可以被稱為非HEVC基礎(chǔ)層。在非封裝的混合編解碼器可伸縮性中，將基礎(chǔ)層經(jīng)解碼圖片與增強(qiáng)層解碼器或者位流的訪問單元相關(guān)聯(lián)經(jīng)由可以不在增強(qiáng)層解碼和/或位流的規(guī)范中被指定的手段被執(zhí)行?？梢岳绲幌抻谑褂靡韵率侄沃械囊环N或多種手段來執(zhí)行所述關(guān)聯(lián)：可以例如使用容器文件格式元數(shù)據(jù)和/或傳輸協(xié)議頭部來指示解碼時(shí)間和/或呈現(xiàn)時(shí)間。在某些情況下，基礎(chǔ)層圖片當(dāng)基礎(chǔ)層圖片和增強(qiáng)層圖片的呈現(xiàn)時(shí)間是相同的時(shí)可以是與增強(qiáng)層圖片相關(guān)聯(lián)的。在某些情況下，基礎(chǔ)層圖片當(dāng)基礎(chǔ)層圖片和增強(qiáng)層圖片的解碼時(shí)間是相同的時(shí)可以是與增強(qiáng)層圖片相關(guān)聯(lián)的。在帶內(nèi)被包括在增強(qiáng)層位流中的類NAL單元的結(jié)構(gòu)。例如，在MV-HEVC/SHVC位流中，可以使用具有范圍UNSPEC48到UNSPEC55(含)中的nal_unit_type的類NAL單元的結(jié)構(gòu)。類NAL單元的結(jié)構(gòu)可以標(biāo)識與包含類NAL單元的結(jié)構(gòu)的增強(qiáng)層訪問單元相關(guān)聯(lián)的基礎(chǔ)層圖片。例如，在從ISO基礎(chǔ)媒體文件格式導(dǎo)出的文件中，諸如ISO/IEC14496-15中所指定的提取器(又稱提取器NAL單元)的結(jié)構(gòu)可以包含枚舉的軌道引用(用以指示包含基礎(chǔ)層的軌道)和解碼時(shí)間差值(用以指示相對于增強(qiáng)層軌道的當(dāng)前文件格式采樣的解碼時(shí)間的基礎(chǔ)層軌道中的文件格式采樣)。ISO/IEC14496-15中所指定的提取器包括由對包含提取器的軌道的引用指示的來自被引用的軌道(例如，包含基礎(chǔ)層的軌道)的被引用的采樣的字節(jié)范圍。在另一個(gè)示例中，類NAL單元的結(jié)構(gòu)包括諸如H.264/AVC的idr_pic_id的值的BL經(jīng)編碼視頻序列的標(biāo)識符和諸如H.264/AVC的frame_num或者POC值的BL經(jīng)編碼視頻序列內(nèi)的圖片的標(biāo)識符?？梢允褂每梢允桥c特定的EL圖片相關(guān)聯(lián)的的協(xié)議和/或文件格式元數(shù)據(jù)。例如，基礎(chǔ)層圖片的標(biāo)識符可以作為MPEG-2傳輸流的描述符被包括，其中，該描述符是與增強(qiáng)層位流相關(guān)聯(lián)的。協(xié)議和/或文件格式元數(shù)據(jù)可以是與BL和EL圖片相關(guān)聯(lián)的。當(dāng)BL和EL圖片的元數(shù)據(jù)相匹配時(shí)，可以認(rèn)為它們屬于相同的時(shí)刻或者訪問單元。例如，可以使用跨層訪問單元標(biāo)識符，其中，訪問單元標(biāo)識符值需要在按照解碼或者位流次序的特定數(shù)據(jù)范圍或者數(shù)據(jù)量內(nèi)與其它跨層訪問單元標(biāo)識符值不同。存在至少兩種用于在混合編解碼器可伸縮性中處置經(jīng)解碼基礎(chǔ)層圖片的輸出的方法。在可以被稱為單獨(dú)DPB混合編解碼器可伸縮性方法的第一種方法中，基礎(chǔ)層解碼器處理經(jīng)解碼基礎(chǔ)層圖片的輸出。增強(qiáng)層解碼器需要具有一個(gè)針對經(jīng)解碼基礎(chǔ)層圖片的圖片存儲(chǔ)緩沖器(例如，在與基礎(chǔ)層相關(guān)聯(lián)的子DPB中)。在對每個(gè)訪問單元進(jìn)行解碼之后，針對基礎(chǔ)層的圖片存儲(chǔ)緩沖器可以被清空。在可以被稱為共享DPB混合編解碼器可伸縮性方法的第二種方法中，由增強(qiáng)層解碼器處置經(jīng)解碼基礎(chǔ)層圖片的輸出，而基礎(chǔ)層解碼器不需要輸出基礎(chǔ)層圖片。在共享DPB方法中，經(jīng)解碼基礎(chǔ)層圖片可以至少概念上位于增強(qiáng)層解碼器的DPB中。單獨(dú)DPB方法可以與封裝的或者非封裝的混合編解碼器可伸縮性一起被應(yīng)用。同樣地，共享DPB方法可以與封裝的或者非封裝的混合編解碼器可伸縮性一起被應(yīng)用。為了DPB在共享DPB混合編解碼器可伸縮性(即，基礎(chǔ)層是經(jīng)非HEVC編碼的)的情況下正確地工作，基礎(chǔ)層圖片可以至少概念上被包括在可伸縮位流的DPB工作中，并且被指派以下屬性等中的一個(gè)或多個(gè)屬性：1.NoOutputOfPriorPicsFlag(對于IRAP圖片)2.PicOutputFlag3.PicOrderCntVal4.Referencepictureset(參考圖片集)這些提到的屬性可以使基礎(chǔ)層圖片能夠在DPB工作中與任何其它層的圖片相似地被看待。例如，當(dāng)基礎(chǔ)層是經(jīng)AVC編碼的并且增強(qiáng)層是經(jīng)HEVC編碼的時(shí)，這些提到的屬性使能諸如以下各項(xiàng)地利用HEVC的語法元素來控制與AVC基礎(chǔ)層相關(guān)的功能：-在某些輸出層集合中，基礎(chǔ)層可以是在輸出層中的，在某些其它的輸出層集合中，基礎(chǔ)層可以不是在輸出層中的。-可以將AVC基礎(chǔ)層圖片的輸出與同一訪問中的其它層的圖片的輸出同步。-可以為基礎(chǔ)層圖片指派諸如是no_output_of_prior_pics_flag和pic_output_flag的專用于輸出操作的信息。針對非封裝的混合編解碼器可伸縮性的接口可以能夠但不限于傳達(dá)以下各條信息中的一條或多條信息：-對于是否存在可以被用于對特定增強(qiáng)層圖片的層間預(yù)測的基礎(chǔ)層圖片的指示。-基礎(chǔ)層經(jīng)解碼圖片的采樣數(shù)組。-包括以亮度采樣計(jì)的寬度和高度、顏色格式、亮度位深和色度位深的基礎(chǔ)層經(jīng)解碼圖片的表示格式。-與基礎(chǔ)層圖片相關(guān)聯(lián)的圖片類型或者NAL單元類型。例如，對于是否基礎(chǔ)層圖片是IRAP圖片的指示，以及，如果基礎(chǔ)層圖片是IRAP圖片的話，可以例如指定IDR圖片、CRA圖片或者BLA圖片的IRAPNAL單元類型。-對于圖片是幀還是字段的指示。如果圖片是字段的話，對字段奇偶性(頂部字段或者底部字段)的指示。如果圖片是幀的話，對是否幀表示互補(bǔ)的字段對的指示。-可能對于共享DPB混合編解碼器可伸縮性是需要的的NoOutputOfPriorPicsFlag、PicOutputFlag、PicOrderCntVal和參考圖片集中的一項(xiàng)或多項(xiàng)。在某些情況下，經(jīng)非HEVC編碼的基礎(chǔ)層圖片是與上面提到的屬性中的一個(gè)或多個(gè)屬性相關(guān)聯(lián)的?？梢酝ㄟ^外部的手段(在位流格式之外的)或者通過在HEVC位流中的具體的NAL單元或者SEI消息中指示屬性或者通過在AVC位流中的具體的NAL單元或者SEI消息中指示屬性來產(chǎn)生所述關(guān)聯(lián)。HEVC位流中的這樣的具體的NAL單元可以被稱為BL封裝NAL單元，并且同樣地，HEVC位流中的這樣的具體的SEI消息可以被稱為BL封裝SEI消息。AVC位流中的這樣的具體的NAL單元可以被稱為EL封裝NAL單元，并且同樣地，AVC位流中的這樣的具體的SEI消息可以被稱為EL封裝SEI消息。在某些情況下，被包括在HEVC位流中的BL封裝NAL單元可以額外地包括基礎(chǔ)層經(jīng)編碼數(shù)據(jù)。在某些情況下，被包括在AVC位流中的EL封裝NAL單元可以額外地包括增強(qiáng)層經(jīng)編碼數(shù)據(jù)。當(dāng)混合編解碼器可伸縮性正在使用中時(shí)，可以對于經(jīng)解碼的基礎(chǔ)層圖片推斷解碼過程和/或HRD中所需要的一些語法元素和/或變量值。例如，對于基于HEVC的增強(qiáng)層解碼，可以推斷經(jīng)解碼基礎(chǔ)層圖片的nuh_layer_id等于0，并且可以設(shè)置經(jīng)解碼基礎(chǔ)層圖片的圖片次序計(jì)數(shù)等于相同時(shí)刻或者訪問單元的各自的增強(qiáng)層圖片的圖片次序計(jì)數(shù)。此外，可以推斷外部基礎(chǔ)層圖片的TemporalId等于該外部基礎(chǔ)層圖片與之相關(guān)聯(lián)的訪問單元中的其它圖片的TemporalId?；旌暇幗獯a器可伸縮性嵌套SEI消息可以包含一個(gè)或多個(gè)諸如是緩沖周期SEI消息(例如，根據(jù)H.264/AVC或者HEVC的)或者圖片時(shí)序SEI消息(例如，根據(jù)H.264/AVC或者HEVC的)的HRDSEI消息。替換地或者額外地，混合編解碼器可伸縮性嵌套SEI消息可以包含諸如是H.264/AVC的hrd_parameters()語法結(jié)構(gòu)的位流級或者序列級HRD參數(shù)。替換地或者額外地，混合編解碼器可伸縮性嵌套SEI消息可以包含這樣的語法元素，所述語法元素中的一些語法元素可以是與位流級或者序列級HRD參數(shù)(例如，H.264/AVC的hrd_parameters()語法結(jié)構(gòu))中和/或緩沖周期SEI消息(例如，根據(jù)H.264/AVC或者HEVC的)或者圖片時(shí)序SEI消息(例如，根據(jù)H.264/AVC或者HEVC的)中的那些語法元素相同或者相似的。應(yīng)當(dāng)理解，被允許嵌套在混合編解碼器可伸縮性嵌套SEI消息中的SEI消息或者其它語法結(jié)構(gòu)可以不限于以上那些。混合編解碼器可伸縮性嵌套SEI消息可以位于基礎(chǔ)層位流中和/或增強(qiáng)層位流中?；旌暇幗獯a器可伸縮性嵌套SEI消息可以包括指定被嵌套的SEI消息所應(yīng)用于的層、子層、位流子集和/或位流分區(qū)的語法元素。在混合編解碼器可伸縮性的基礎(chǔ)層HRD參數(shù)被應(yīng)用時(shí)適用的基礎(chǔ)層簡檔和/或級別(和/或類似的相符性信息)可以被編碼到具體的SEI消息中和/或從具體的SEI消息中被解碼，所述具體的SEI消息可以被稱為基礎(chǔ)層簡檔和級別SEI消息。根據(jù)一個(gè)實(shí)施例，在混合編解碼器可伸縮性的基礎(chǔ)層HRD參數(shù)被應(yīng)用時(shí)適用的基礎(chǔ)層簡檔和/或級別(和/或類似的相符性信息)可以被編碼到具體的SEI消息中和/或從具體的SEI消息中被解碼，所述具體的SIE消息的語法和語義取決于基礎(chǔ)層的編碼格式。例如，可以指定AVC基礎(chǔ)層簡檔和級別SEI消息，其中，SEI消息凈荷可以包含H.264/AVC的profile_idc、H.264/AVC的seq_parameter_set_data()語法結(jié)構(gòu)(其可以包括其中x是0到5(含)的范圍中的每個(gè)值的語法元素constraint_setX_flag和reserverved_zero_2bits)的第二字節(jié)和/或H.264/AVC的level_idc。基礎(chǔ)層HRD初始化參數(shù)SEI消息(等)、基礎(chǔ)層緩沖周期SEI消息(等)、基礎(chǔ)層圖片時(shí)序SEI消息(等)、混合編解碼器可伸縮性嵌套SEI消息(等)和/或基礎(chǔ)層簡檔和級別SEI消息(等)可以在以下包含語法結(jié)構(gòu)和/或機(jī)制的項(xiàng)中的一項(xiàng)或多項(xiàng)中被包括和/或被解碼：-BL位流內(nèi)的與基礎(chǔ)層圖片相關(guān)聯(lián)的前綴NAL單元(等)。-BL位流內(nèi)的增強(qiáng)層封裝NAL單元(等)。-作為BL位流內(nèi)的“自支撐的”(即，非被封裝的或者非被嵌套的)SEI消息。-BL位流內(nèi)的可伸縮的嵌套SEI消息(等)，其中，可以指定目標(biāo)層包括基礎(chǔ)層和增強(qiáng)層。-EL位流內(nèi)的基礎(chǔ)層封裝NAL單元(等)。-作為EL位流內(nèi)的“自支撐的”(即，非被封裝的或者非被嵌套的)SEI消息。-EL位流內(nèi)的可伸縮的嵌套SEI消息(等)，其中，可以指定目標(biāo)層是基礎(chǔ)層。-符合文件格式的元數(shù)據(jù)，所述元數(shù)據(jù)位于文件處或者被文件引用，所述文件包括或者引用BL位流和EL位流。-通信協(xié)議內(nèi)的元數(shù)據(jù)，諸如MPEG-2傳輸流的描述符內(nèi)的元數(shù)據(jù)。當(dāng)混合編解碼器可伸縮性正在使用中時(shí)，第一位流復(fù)用器可以把基礎(chǔ)層位流和增強(qiáng)層位流當(dāng)作輸入，并且形成諸如是MPEG-2傳輸流或者其一部分的經(jīng)復(fù)用的位流。替換地或者額外地，第二位流復(fù)用器(也可以將其與第一位流復(fù)用器合并)可以將諸如是NAL單元的基礎(chǔ)層數(shù)據(jù)單元封裝到增強(qiáng)層數(shù)據(jù)單元中，將諸如是NAL單元的增強(qiáng)層數(shù)據(jù)單元封裝到增強(qiáng)層位流中。第二位流復(fù)用器可以替換地將諸如是NAL單元的增強(qiáng)層數(shù)據(jù)單元封裝到基礎(chǔ)層數(shù)據(jù)單元中，將諸如是NAL單元的基礎(chǔ)層數(shù)據(jù)單元封裝到基礎(chǔ)層位流中。編碼器或者諸如是文件創(chuàng)建器的另一個(gè)實(shí)體可以通過接口接收將被編碼的不同層的預(yù)期的顯示行為。所述預(yù)期的顯示行為可以是例如由一個(gè)或多個(gè)用戶通過用戶界面創(chuàng)建內(nèi)容，所述用戶界面的設(shè)置因而影響編碼器通過接口接收的預(yù)期的顯示行為。編碼器或者諸如是文件創(chuàng)建器的另一個(gè)實(shí)體可以基于輸入內(nèi)容和/或編碼設(shè)置確定預(yù)期的顯示行為。例如，如果提供了兩個(gè)視圖作為將被編碼為層的輸入，則編碼器可以確定預(yù)期的顯示行為是單獨(dú)地(例如，在立體的顯示器上)顯示所述視圖。在另一個(gè)示例中，編碼器接收感興趣的增強(qiáng)層(EL)將被編碼的編碼設(shè)置。編碼器可以例如具有這樣的啟發(fā)式規(guī)則：如果ROI增強(qiáng)層與它的參考層(RL)之間的縮放因子小于或者等于例如是2的特定限制，則預(yù)期的顯示行為是將EL圖片覆蓋在各自的經(jīng)上采樣的RL圖片之上?；谒邮蘸?或所確定的顯示行為，編碼器或者諸如是文件創(chuàng)建器的另一個(gè)實(shí)體可以將對兩個(gè)或多個(gè)層的預(yù)期的顯示行為的指示編碼到位流中，例如編碼在諸如是VPS和/或SPS(其中，所述指示可以位于它們的VUI部分內(nèi))的序列級語法結(jié)構(gòu)中，或者作為SEI編碼在例如SEI消息中。替換地或者另外，編碼器或者諸如是文件創(chuàng)建器的另一個(gè)實(shí)體可以將對兩個(gè)或多個(gè)層的預(yù)期的顯示行為的指示編碼到包括經(jīng)編碼圖片的容器文件中。替換地或者另外，編碼器或者諸如是文件創(chuàng)建器的另一個(gè)實(shí)體可以將對兩個(gè)或多個(gè)層的預(yù)期的顯示行為的指示編碼到諸如是MIME媒體參數(shù)、SDP或者M(jìn)PD的描述中。解碼器或者諸如是媒體播放器或者文件解析器的另一個(gè)實(shí)體可以從位流中解碼對兩個(gè)或多個(gè)層的預(yù)期的顯示行為的指示，所述解碼例如是從諸如是VPS和/或SPS(其中，所述指示可以位于它們的VUI部分內(nèi))的序列級語法結(jié)構(gòu)中，或者通過SEI機(jī)制例如從SEI消息中。替換地或者另外，解碼器或者諸如是媒體播放器或者文件解析器的另一個(gè)實(shí)體可以從包括經(jīng)編碼圖片的容器文件中解碼對兩個(gè)或多個(gè)層的預(yù)期的顯示行為的指示。替換地或者另外，解碼器或者諸如是媒體播放器或者文件解析器的另一個(gè)實(shí)體可以從諸如是MIME媒體參數(shù)、SDP或者M(jìn)PD的描述中解碼對兩個(gè)或多個(gè)層的預(yù)期的顯示行為的指示。基于經(jīng)解碼的顯示行為，解碼器或者諸如是媒體播放器或者文件解析器的另一個(gè)實(shí)體可以從兩個(gè)或多個(gè)層的經(jīng)解碼(并且可能經(jīng)裁剪)的圖片創(chuàng)建一個(gè)或多個(gè)將被顯示的圖片。解碼器或者諸如是媒體播放器或者文件解析器的另一個(gè)實(shí)體還可以顯示所述一個(gè)或多個(gè)將被顯示的圖片。對角線層間預(yù)測另一種類別的層間預(yù)測區(qū)分對齊的層間預(yù)測和對角線(或者定向的)層間預(yù)測?？梢哉J(rèn)為對齊的層間預(yù)測從被包括在與被預(yù)測的圖片相同的訪問單元中的圖片發(fā)生。層間參考圖片可以被定義為來自與被預(yù)測的圖片不同的層(例如，在HEVC上下文中具有與當(dāng)前圖片的nuh_layer_id值不同的nuh_layer_id值)的參考圖片。對齊的層間參考圖片可以被定義為被包括在也包含當(dāng)前圖片的訪問單元中的層間參考圖片。可以認(rèn)為對角線層間預(yù)測從與包含當(dāng)前的被預(yù)測的圖片的訪問單元不同的訪問單元的圖片發(fā)生?？梢岳缛缦碌貑⒂脤蔷€預(yù)測和/或?qū)蔷€層間參考圖片。額外的短期參考圖片集(RPS)等可以被包括在切片段頭部中。所述額外的短期RPS等是與如由編碼器在切片段頭部中指示和由解碼器從切片段頭部中解碼的所指示的直接參考層相關(guān)聯(lián)的。可以例如通過根據(jù)可以例如出現(xiàn)在VPS中的層依賴性信息為可能的直接參考層編制索引來執(zhí)行所述指示。所述指示可以例如是被編制索引的直接參考層中的索引值，或者所述指示可以是包括直接參考層的位掩碼，其中，掩碼中的位置指示直接參考層，并且掩碼中的位值指示是否層被用作對角線層間預(yù)測的參考(并且因此針對該層和與該層相關(guān)聯(lián)的短期RPS等被包括)。額外的短期RPS語法結(jié)構(gòu)等指定被包括在當(dāng)前圖片的初始參考圖片列表中的來自直接參考層的圖片。與被包括在切片段頭部中的常規(guī)的短期RPS不同，對所述額外的短期RPS等的解碼不導(dǎo)致對圖片的標(biāo)記(例如，標(biāo)記為“未被用于參考”或者“被用于長期參考”)的任何變更。所述額外的短期RPS等不需要使用與常規(guī)的短期RPS相同的語法——具體地說，有可能排除用于指示所指示的圖片可以被用于當(dāng)前圖片的參考或者所指示的圖片未被用于當(dāng)前圖片的參考但可以被用于按照解碼次序的隨后的圖片的參考的標(biāo)志。參考圖片列表構(gòu)造的解碼過程可以被修改為包括來自當(dāng)前圖片的額外的短期RPS語法結(jié)構(gòu)等的參考圖片。自適應(yīng)分辨率變更指例如視頻會(huì)議用例中的動(dòng)態(tài)地變更視頻序列內(nèi)的分辨率。自適應(yīng)分辨率變更可以用于例如更好的網(wǎng)絡(luò)適應(yīng)和錯(cuò)誤恢復(fù)。為了對不同內(nèi)容的變更的網(wǎng)絡(luò)需求的更好適應(yīng)，能夠除質(zhì)量之外變更時(shí)間/空間分辨率兩者可能是可取的。自適應(yīng)分辨率變更可以還使能實(shí)現(xiàn)快速啟動(dòng)，其中，會(huì)話的啟動(dòng)時(shí)間可以能夠經(jīng)由首先發(fā)送低分辨率幀并且然后提高分辨率而被提高。自適應(yīng)分辨率變更可以進(jìn)一步在組成會(huì)議時(shí)被使用。例如，當(dāng)一個(gè)人開始講話時(shí)，他/她的對應(yīng)的分辨率可以被提高。利用IDR幀實(shí)現(xiàn)該效果可能導(dǎo)致質(zhì)量的“波動(dòng)”，因?yàn)镮DR幀需要以相對低的質(zhì)量被編碼以使得延遲不被顯著增大。在下面，使用可伸縮視頻編碼框架詳細(xì)描述了自適應(yīng)分辨率變更用例的一些細(xì)節(jié)。由于可伸縮視頻編碼固有地包括用于分辨率變更的機(jī)制，所以自適應(yīng)分辨率變更可以被高效地支持。在分辨率切換在其處發(fā)生的訪問單元處，可以對兩個(gè)圖片進(jìn)行編碼和/或解碼。較高層處的圖片可以是IRAP圖片，即，沒有任何之間預(yù)測被用于對它進(jìn)行編碼或者解碼，但層間預(yù)測可以被用于對它進(jìn)行編碼或者解碼。較高層處的圖片可以是跳過圖片，即，其除空間分辨率之外可能不在質(zhì)量和/或其它可伸縮性維度方面增強(qiáng)較低層圖片。沒有任何分辨率變更在其處發(fā)生的訪問單元可以包含僅一個(gè)圖片，可以從同一層中的較早圖片對該僅一個(gè)圖片進(jìn)行之間預(yù)測。在MV-HEVC和SHVC的VPSVUI中，已指定以下的與自適應(yīng)分辨率變更相關(guān)的語法元素：可以如下地指定上面描述的語法元素的語義。等于1的single_layer_for_non_irap_flag指示或者訪問單元的全部VCLNAL單元具有相同的nuh_layer_id值，或者兩個(gè)nuh_layer_id值被訪問單元的VCLNAL單元使用，并且具有較大nuh_layer_id值的圖片是IRAP圖片。等于0的single_layer_for_non_irap_flag指示由等于1的single_layer_for_non_irap_flag暗示的約束可以適用或者可以不適用。等于1的higher_layer_irap_skip_flag指示，對于每個(gè)對于其來說相同的訪問單元中存在另一個(gè)具有較低值的nuh_layer_id的圖片的引用VPS的IRAP圖片，以下約束適用：-對于該IRAP圖片的全部切片：oslice_type應(yīng)當(dāng)?shù)扔赑。oslice_sao_luma_flag和slice_sao_chroma_flag應(yīng)兩者都等于0。ofive_minus_max_num_merge_cand應(yīng)當(dāng)?shù)扔?。o在被所述切片引用的PPS中，weighted_pred_flag應(yīng)當(dāng)?shù)扔?。-對于該IRAP圖片的全部編碼單元：ocu_skip_flag[i][j]應(yīng)當(dāng)?shù)扔?。o等于0的higher_layer_irap_skip_flag指示以上約束可以適用或者可以不適用。編碼器可以將single_layer_for_non_irap_flag和higher_layer_irap_skip_flag兩者設(shè)置為等于1，作為對于以下事項(xiàng)的向解碼器的指示：是否同一訪問單元中存在兩個(gè)圖片，具有較高nuh_layer_id的那個(gè)圖片是IRAP圖片，對于所述IRAP圖片來說，可以經(jīng)由利用另一個(gè)圖片作為輸入應(yīng)用對層間參考圖片的重新采樣過程來導(dǎo)出經(jīng)解碼的采樣。當(dāng)前研究和開發(fā)了各種用于提供三維(3D)視頻內(nèi)容的技術(shù)?？梢哉J(rèn)為，在立體或者兩視圖視頻中，針對左眼呈現(xiàn)一個(gè)視頻序列或者視圖，同時(shí)針對右眼呈現(xiàn)一個(gè)并行的視圖。對于啟用視點(diǎn)切換的應(yīng)用或者對于可以同時(shí)呈現(xiàn)大量視圖并且讓觀看者從不同的視點(diǎn)觀察內(nèi)容的自動(dòng)立體顯示器，可能需要多于兩個(gè)并行的視圖。密集的研究已被聚焦于用于自動(dòng)立體顯示器和這樣的多視圖應(yīng)用的視頻編碼，在這樣的多視圖應(yīng)用中，觀看者能夠從一個(gè)具體的視點(diǎn)看到僅一對立體聲視頻并且從一個(gè)不同的視點(diǎn)看到另一對立體聲視頻。已證明用于這樣的多視圖應(yīng)用的最可行的方法中的一種方法是這樣的，其中，僅例如是單聲道或者立體聲視頻的有限數(shù)量的視圖加上某些補(bǔ)充數(shù)據(jù)被提供給解碼器側(cè)，并且全部所需的視圖然后在解碼器本地被渲染(即，合成)以被顯示在顯示器上。幀打包指一種方法，其中，在編碼器側(cè)作為編碼的預(yù)處理步驟將多于一個(gè)幀打包到單一的幀中，并且然后利用常規(guī)的2D視頻編碼方案對經(jīng)幀打包的幀進(jìn)行編碼。由解碼器產(chǎn)生的輸出幀因此包含與在編碼器側(cè)在空間上被打包到一個(gè)幀中的輸入幀相對應(yīng)的組成幀。幀打包可以被用于立體視頻，其中，一對幀(一個(gè)與左眼/照相機(jī)/視圖相對應(yīng)并且另一個(gè)與右眼/照相機(jī)/視圖相對應(yīng))被打包到單一的幀中。幀打包可以另外或者替換地被用于經(jīng)深度或者差異增強(qiáng)的視頻，其中，組成幀中的一個(gè)組成幀表示與包含規(guī)則的顏色信息(亮度和色度信息)的另一個(gè)組成幀相對應(yīng)的深度或者差異信息。對幀打包的其它使用也可以是可能的。可以在視頻位流中例如使用H.264/AVC的幀打包安排SEI消息等來信號通知對幀打包的使用?？梢粤硗饣蛘咛鎿Q地通過諸如是高清多媒體接口(HDMI)的視頻接口來指示對幀打包的使用。可以另外或者替換地使用諸如是會(huì)話描述協(xié)議(SDP)的各種能力交換和模式協(xié)商協(xié)議來指示和/或協(xié)商對幀打包的使用。幀打包可以在幀兼容的立體視頻中被使用，其中，在編碼器側(cè)作為編碼的預(yù)處理步驟執(zhí)行將立體聲對空間打包到單一的幀中，并且然后利用常規(guī)的2D視頻編碼方案對經(jīng)幀打包的幀進(jìn)行編碼。由解碼器產(chǎn)生的輸出幀包含立體聲對的組成幀。在一種經(jīng)典的工作模式下，對每個(gè)視圖的原始幀和經(jīng)打包的單一幀的空間解析具有相同的分辨率。在此情況下，編碼器在打包操作之前對立體視頻的兩個(gè)視圖進(jìn)行下采樣?？臻g打包可以使用例如逐側(cè)或者上下格式，并且下采樣應(yīng)當(dāng)被相應(yīng)地執(zhí)行。視圖可以被定義為表示一個(gè)照相機(jī)或者視點(diǎn)的圖片的序列。表示一個(gè)視圖的圖片也可以被稱為視圖分量。換句話說，視圖分量可以被定義為單一的訪問單元中的視圖的經(jīng)編碼的表示。在多視圖視頻編碼中，將多于一個(gè)視圖編碼在位流中。由于視圖通常旨在被顯示在立體或者多視圖自動(dòng)立體顯示器上，或者旨在被用于其它3D安排，所以它們通常表示相同的場景，并且雖然表示內(nèi)容的不同視點(diǎn)但是是按內(nèi)容部分上重疊的。因此，視圖間預(yù)測可以在多視圖視頻編碼中被使用，以利用視圖間相關(guān)性和提升壓縮效率。一種用于實(shí)現(xiàn)視圖間預(yù)測的方法在于，將一個(gè)或多個(gè)其它視圖的一個(gè)或多個(gè)經(jīng)解碼的圖片包括在位于第一視圖內(nèi)的被編碼或者解碼的圖片的參考圖片列表中。視圖可伸縮性可以指這樣的多視圖視頻編碼或者多視圖視頻位流，這樣的多視圖視頻編碼或者多視圖視頻位流使能夠移除或者省略一個(gè)或多個(gè)經(jīng)編碼的視圖，而產(chǎn)生的位流仍然是相符的并且利用比初始少的數(shù)量的視圖來表示視頻。已提出可以以使得對于經(jīng)幀打包的圖片的每個(gè)組成幀對單獨(dú)的增強(qiáng)層圖片進(jìn)行編碼/解碼的方式來對經(jīng)幀打包的視頻進(jìn)行增強(qiáng)。例如，表示左視圖的組成幀的空間增強(qiáng)圖片可以在一個(gè)增強(qiáng)層內(nèi)被提供，并且表示右視圖的組成幀的空間增強(qiáng)圖片可以在另一個(gè)增強(qiáng)層內(nèi)被提供。例如，9.0版本的H.264/AVC指定了針對立體視頻編碼的多分辨率幀兼容(MFC)增強(qiáng)和一個(gè)利用MFC增強(qiáng)的簡檔。在MFC中，基礎(chǔ)層(又稱基礎(chǔ)視圖)包括經(jīng)幀打包的立體視頻，而每個(gè)非基礎(chǔ)視圖包括基礎(chǔ)層的組成視圖中的一個(gè)組成視圖的全分辨率增強(qiáng)。如早先所指示的，MVC是H.264/AVC的擴(kuò)展。H.264/AVC的定義、概念、語法結(jié)構(gòu)、語義和解碼過程中的許多項(xiàng)也同樣地或者在具有特定的一般化或者約束的情況下適用于MVC。下面描述了MVC的某些定義、概念、語法結(jié)構(gòu)、語義和解碼過程。MVC中的訪問單元被定義為按照解碼次序是連續(xù)的并且包含正好一個(gè)由一個(gè)或多個(gè)視圖分量組成的主要經(jīng)編碼圖片的NAL單元的集合。除了主要經(jīng)編碼圖片之外，訪問單元可以還包含一個(gè)或多個(gè)冗余經(jīng)編碼圖片、一個(gè)附屬經(jīng)編碼圖片或者其它的不包含經(jīng)編碼圖片的切片或者切片數(shù)據(jù)分區(qū)的NAL單元。當(dāng)解碼錯(cuò)誤、位流錯(cuò)誤或者可以影響解碼的其它錯(cuò)誤不出現(xiàn)時(shí)，對訪問單元的解碼產(chǎn)生一個(gè)由一個(gè)或多個(gè)經(jīng)解碼的視圖分量組成的經(jīng)解碼的圖片。換句話說，MVC中的一個(gè)訪問單元包含一個(gè)輸出時(shí)刻的視圖的視圖分量。MVC中的視圖分量被稱為單一訪問單元中的視圖的經(jīng)編碼的表示。視圖間預(yù)測可以在MVC中被使用，并且指從相同訪問單元的不同視圖分量的經(jīng)解碼的采樣對視圖分量的預(yù)測。在MVC中，與之間預(yù)測類似地來實(shí)現(xiàn)視圖間預(yù)測。例如，視圖間參考圖片被放入與之間預(yù)測的參考圖片相同的參考圖片列表中，并且對于視圖間和之間參考圖片類似地對參考索引以及運(yùn)動(dòng)向量進(jìn)行編碼或者推斷。錨圖片(anchorpicture)是經(jīng)編碼的圖片，在所述經(jīng)編碼的圖片中，全部切片可以參考僅相同訪問單元內(nèi)的切片，即，可以使用視圖間預(yù)測，但不使用任何之間預(yù)測，并且全部按照輸出次序跟隨在后面的經(jīng)編碼圖片不使用從按照解碼次序處在該經(jīng)解碼的圖片之前的任何圖片進(jìn)行的之間預(yù)測。視圖間預(yù)測可以被用于是非基礎(chǔ)視圖的一部分的IDR視圖分量。MVC中的基礎(chǔ)視圖是在經(jīng)編碼視頻序列中具有最小視圖次序索引值的視圖?；A(chǔ)視圖可以獨(dú)立于其它視圖被解碼，并且不使用視圖間預(yù)測?；A(chǔ)視圖可以被支持僅單一視圖簡檔的H.264/AVC解碼器解碼，所述單一視圖簡檔諸如H.264/AVC的基線簡檔或者高簡檔。在MVC標(biāo)準(zhǔn)中，MVC解碼過程的子過程中的許多子過程經(jīng)由分別用“視圖分量”、“幀視圖分量”和“字段視圖分量”替換H.264/AVC標(biāo)準(zhǔn)的子過程規(guī)范中的術(shù)語“圖片”、“幀”和“字段”來使用H.264/AVC標(biāo)準(zhǔn)的各自的子過程。同樣地，術(shù)語“圖片”、“幀”和“字段”通常在下面用于分別表示“視圖分量”、“幀視圖分量”和“字段視圖分量”。如早先提到的，MVC位流的非基礎(chǔ)視圖可以指子集序列參數(shù)集NAL單元。MVC的子集序列參數(shù)集包括基礎(chǔ)SPS數(shù)據(jù)結(jié)構(gòu)和序列參數(shù)集MVC擴(kuò)展數(shù)據(jù)結(jié)構(gòu)。在MVC中，來自不同視圖的經(jīng)編碼圖片可以使用不同的序列參數(shù)集。MVC中的SPS(具體地說，MVC中的SPS的序列參數(shù)集MVC擴(kuò)展部分)可以包含用于視圖間預(yù)測的視圖依賴信息。該信息可以例如被信令感知媒體網(wǎng)關(guān)使用以構(gòu)造視圖依賴樹。在SVC和MVC中，前綴NAL單元可以被定義為按照解碼次序緊接在基礎(chǔ)層/視圖經(jīng)編碼切片的VCLNAL單元之前的NAL單元。按照解碼次序緊跟在前綴NAL單元之后的NAL單元可以被稱為關(guān)聯(lián)的NAL單元。前綴NAL單元包含與關(guān)聯(lián)的NAL單元相關(guān)聯(lián)的數(shù)據(jù)，可以認(rèn)為所述數(shù)據(jù)是關(guān)聯(lián)的NAL單元的一部分。當(dāng)SVC或者M(jìn)VC解碼過程正在使用中時(shí)，前綴NAL單元可以用于包括影響對基礎(chǔ)層/視圖經(jīng)編碼切片的解碼的語法元素。H.264/AVC基礎(chǔ)層/視圖解碼器可以在它的解碼過程中忽略前綴NAL單元。在可伸縮多視圖編碼中，同一位流可以包含多個(gè)視圖的經(jīng)編碼的視圖分量，并且可以使用質(zhì)量和/或空間可伸縮性對至少一些經(jīng)編碼的視圖分量進(jìn)行編碼。存在其中對紋理視圖和深度視圖兩者進(jìn)行編碼的針對深度增強(qiáng)的視頻編碼的正在進(jìn)行的標(biāo)準(zhǔn)化活動(dòng)。紋理視圖指表示普通視頻內(nèi)容的視圖，所述視圖例如已使用普通照相機(jī)被捕獲，并且通常適于渲染在顯示器上。紋理視圖通常包括具有三個(gè)分量的圖片，所述三個(gè)分量是一個(gè)亮度分量和兩個(gè)色度分量。在下面，除非例如用術(shù)語亮度紋理圖片和色度紋理圖片指出，否則紋理圖片通常包括它的全部分量圖片或者顏色分量。深度視圖指表示紋理采樣與照相機(jī)傳感器相距的距離信息、紋理采樣與另一個(gè)視圖中的各自的紋理采樣之間的差異或者視差信息或者類似的信息的視圖。深度視圖可以包括具有一個(gè)與紋理視圖的亮度分量類似的分量的深度圖片(又稱深度地圖)。深度地圖是具有每像素的深度信息或者類似的信息的圖像。例如，深度地圖中的每個(gè)采樣表示各自的一個(gè)或多個(gè)紋理采樣與照相機(jī)所在的平面相距的距離。換句話說，如果z軸是沿照相機(jī)的拍攝軸的(并且因此與照相機(jī)所在的平面互相垂直)，則深度地圖中的采樣表示z軸上的值。深度地圖值的語義可以例如包括以下各項(xiàng)：1.經(jīng)編碼深度視圖分量中的每個(gè)亮度采樣值表示真實(shí)距離(Z)值的倒數(shù)，即，1/Z，該倒數(shù)在亮度采樣的動(dòng)態(tài)范圍中被規(guī)范化，諸如被規(guī)范化到針對8位亮度表示的0到255(含)的范圍。可以以其中量1/Z在差異方面是均勻的的方式來完成所述規(guī)范化。2.經(jīng)編碼深度視圖分量中的每個(gè)亮度采樣值表示真實(shí)距離(Z)值的倒數(shù)，即，1/Z，該倒數(shù)被映射到亮度采樣的動(dòng)態(tài)范圍，諸如被映射到針對8位亮度表示的0到255的范圍，其中，使用映射函數(shù)f(1/Z)或者諸如按片線性映射的表完成所述映射。換句話說，深度地圖值導(dǎo)致應(yīng)用函數(shù)f(1/Z)。3.經(jīng)編碼深度視圖分量中的每個(gè)亮度采樣值表示諸如被規(guī)范到針對8位亮度表示的0到255(含)的范圍之類的在亮度采樣的動(dòng)態(tài)范圍中被規(guī)范化的真實(shí)距離(Z)值。4.經(jīng)編碼深度視圖分量的每個(gè)亮度采樣值表示從當(dāng)前的深度視圖到另一個(gè)所指示或者導(dǎo)出的深度視圖或者視圖位置的差異或者視差值?？梢栽谖涣髦欣缭谝曨l參數(shù)集語法結(jié)構(gòu)、序列參數(shù)集語法結(jié)構(gòu)、視頻可用性信息語法結(jié)構(gòu)、圖片參數(shù)集語法結(jié)構(gòu)、照相機(jī)/深度/適應(yīng)參數(shù)集語法結(jié)構(gòu)、補(bǔ)充增強(qiáng)信息消息或者任何類似的項(xiàng)內(nèi)指示深度地圖值的語義。盡管諸如深度視圖、深度視圖分量、深度圖片和深度地圖之類的短語被用于描述各種實(shí)施例，但應(yīng)當(dāng)理解，包括但不限于上面描述那些語義的深度地圖值的任何語義可以在各種實(shí)施例中被使用。例如，本發(fā)明的實(shí)施例可以被應(yīng)用于其中采樣值指示差異值的深度圖片。編碼系統(tǒng)或者任何其它創(chuàng)建或者修改包括經(jīng)編碼深度地圖的位流的實(shí)體可以創(chuàng)建并且包括關(guān)于深度采樣的語義和關(guān)于深度采樣在位流中的量化方案的信息。這樣的關(guān)于深度采樣的語義和關(guān)于深度采樣的量化方案的信息可以例如被包括在視頻參數(shù)集結(jié)構(gòu)、序列參數(shù)集結(jié)構(gòu)或者SEI消息中。經(jīng)深度增強(qiáng)的視頻指具有一個(gè)或多個(gè)與具有一個(gè)或多個(gè)深度視圖的深度視頻相關(guān)聯(lián)的視圖的紋理視頻。一些方法可以用于表示經(jīng)深度增強(qiáng)的視頻，包括使用視頻加深度(V+D)、多視圖視頻加深度(MVD)和分層的深度視頻(LDV)。在視頻加深度(V+D)表示中，紋理的單一視圖和深度的各自的視圖分別被表示為紋理圖片和深度圖片的序列。MVD表示包含一些紋理視圖和各自的深度視圖。在LDV表示中，中央視圖的紋理和深度被常規(guī)地表示，而其它視圖的紋理和深度被部分地表示，并且覆蓋僅中間視圖的正確視圖合成所需要的非封閉的區(qū)域。紋理視圖分量可以被定義為單一訪問單元中的視圖的紋理的經(jīng)編碼的表示?？梢砸耘c單視圖紋理位流或者多視圖紋理位流兼容的方式對經(jīng)深度增強(qiáng)的視頻位流中的紋理視圖分量進(jìn)行編碼，以使得單視圖或者多視圖解碼器即使它不具有任何用于對深度視圖進(jìn)行解碼的能力也可以對紋理視圖進(jìn)行解碼。例如，H.264/AVC解碼器可以對來自經(jīng)深度增強(qiáng)的H.264/AVC位流的單一的紋理視圖進(jìn)行解碼。可以替換地以使得具有單視圖或者多視圖紋理解碼能力的解碼器(諸如H.264/AVC或者M(jìn)VC解碼器)例如因?yàn)榧y理視圖分量使用基于深度的編碼工具而不能夠?qū)υ摷y理視圖分量進(jìn)行解碼的方式對紋理視圖分量進(jìn)行編碼。深度視圖分量可以被定義為單一的訪問單元中的視圖的深度的經(jīng)編碼的表示。視圖分量對可以被定義為同一訪問單元內(nèi)的相同視圖的紋理視圖分量和深度視圖分量。可以以其中獨(dú)立于彼此地對紋理和深度進(jìn)行編碼的方式對經(jīng)深度增強(qiáng)的視頻進(jìn)行編碼。例如，紋理視圖可以被編碼為一個(gè)MVC位流，并且深度視圖可以被編碼為另一個(gè)MVC位流。還可以以其中聯(lián)合地對紋理和深度進(jìn)行編碼的方式對經(jīng)深度增強(qiáng)的視頻進(jìn)行編碼。在一種形式的對紋理和深度視圖的聯(lián)合編碼中，從深度圖片的某些經(jīng)解碼的采樣或者在深度圖片的解碼過程中獲得的數(shù)據(jù)元素來預(yù)測或者導(dǎo)出紋理圖片的某些經(jīng)解碼的采樣或者用于對紋理圖片的解碼的數(shù)據(jù)元素。替換地或者另外，可以從紋理圖片的某些經(jīng)解碼的采樣或者在紋理圖片的解碼過程中獲得的數(shù)據(jù)元素來預(yù)測或者導(dǎo)出深度圖片的某些經(jīng)解碼的采樣或者用于對深度圖片的解碼的數(shù)據(jù)元素。在另一個(gè)選項(xiàng)中，不從彼此來預(yù)測紋理的經(jīng)編碼視頻數(shù)據(jù)和深度的經(jīng)編碼視頻數(shù)據(jù)，或者不基于另一項(xiàng)對其中一項(xiàng)進(jìn)行編碼/解碼，但經(jīng)編碼的紋理和深度視圖可以在編碼時(shí)被復(fù)用到同一位流中，并且在解碼時(shí)從該位流中被解復(fù)用。在又另一個(gè)選項(xiàng)中，盡管在例如底下的切片層中不從深度的經(jīng)編碼視頻數(shù)據(jù)來預(yù)測紋理的經(jīng)編碼視頻數(shù)據(jù)，但可以與彼此共享或者從彼此來預(yù)測紋理視圖和深度視圖的高層編碼結(jié)構(gòu)中的某些編碼結(jié)構(gòu)。例如，可以從經(jīng)編碼紋理切片的切片頭部來預(yù)測經(jīng)編碼深度切片的切片頭部。此外，參數(shù)集中的某些參數(shù)集可以被經(jīng)編碼紋理視圖和經(jīng)編碼深度視圖兩者使用。經(jīng)深度增強(qiáng)的視頻格式使能生成未被經(jīng)編碼視圖中的任一個(gè)經(jīng)編碼視圖表示的照相機(jī)位置處的虛擬視圖或者圖片。概括地說，任何基于深度圖像的渲染(DIBR)算法可以用于對視圖進(jìn)行合成。用于指定可以被稱為3D-HEVC的HEVC標(biāo)準(zhǔn)的經(jīng)深度增強(qiáng)視頻編碼擴(kuò)展的工作也在進(jìn)行中，在所述擴(kuò)展中，紋理視圖和深度視圖可以被編碼到單一的位流中，其中，所述紋理視圖中的一些紋理視圖可以是與HEVC兼容的。換句話說，HEVC解碼器可以是能夠?qū)@樣的位流的紋理視圖中的一些紋理視圖進(jìn)行解碼的，并且可以省略剩余的紋理視圖和深度視圖。在可伸縮和/或多視圖視頻編碼中，可以支持至少以下的用于對圖片和/或具有隨機(jī)訪問屬性的訪問單元進(jìn)行編碼的原則。-一個(gè)層內(nèi)的RAP圖片可以是不具有層間/視圖間預(yù)測的經(jīng)內(nèi)部編碼的圖片。這樣的圖片使能具有對它所在的層/視圖的隨機(jī)訪問能力。-一個(gè)增強(qiáng)層內(nèi)的RAP圖片可以是不具有之間預(yù)測(即，時(shí)間預(yù)測)但具有被允許的層間/視圖間預(yù)測的圖片。這樣的圖片使能在假如全部參考層/視圖是可用的的情況下開始對該圖片所在的層/視圖的解碼。在單環(huán)路解碼中，如果經(jīng)編碼的參考層/視圖是可用的(其可以是例如SVC中的針對具有大于0的dependency_id的IDR圖片的情況)，則可能是足夠的。在多環(huán)路解碼中，可能需要參考層/視圖被解碼。這樣的圖片可以例如被稱為逐步層訪問(STLA)圖片或者增強(qiáng)層RAP圖片。-錨訪問單元或者完整的RAP訪問單元可以被定義為在全部層中包括僅經(jīng)內(nèi)部編碼的圖片和STLA圖片。在多環(huán)路解碼中，這樣的訪問單元使能實(shí)現(xiàn)對全部層/視圖的隨機(jī)訪問。這樣的訪問單元的一個(gè)示例是MVC錨訪問單元(在該類型中，IDR訪問單元是一種特殊情況)。-逐步RAP訪問單元可以被定義為在基礎(chǔ)層中包括RAP圖片但不需要在全部增強(qiáng)層中包含RAP圖片。逐步RAP訪問單元使能開始基礎(chǔ)層解碼，而增強(qiáng)層解碼可以在增強(qiáng)層包含RAP圖片并且(在多環(huán)路解碼的情況下)全部它的參考層/視圖在該點(diǎn)被解碼時(shí)被開始。在HEVC的可伸縮擴(kuò)展或者與HEVC類似的單層編碼方案的任何可伸縮擴(kuò)展中，可以指定IRAP圖片具有以下屬性中的一個(gè)或多個(gè)屬性。-具有大于0的nuh_layer_id的IRAP圖片的NAL單元類型值可以用于指示增強(qiáng)層隨機(jī)訪問點(diǎn)。-增強(qiáng)層IRAP圖片可以被定義為使能在該增強(qiáng)層的全部參考層已在該ELIRAP圖片之前被解碼時(shí)開始對該增強(qiáng)層的解碼的圖片。-可以對于具有大于0的nuh_layer_id的IRAPNAL單元允許層間預(yù)測，而不允許之間預(yù)測。-不需要跨層地對齊IRAPNAL單元。換句話說，一個(gè)訪問單元可以包含IRAP圖片和非IRAP圖片兩者。-在基礎(chǔ)層處的BLA圖片之后，當(dāng)增強(qiáng)層包含IRAP圖片并且對它的參考層中的全部參考層的解碼已被開始時(shí)，可以開始對該增強(qiáng)層的解碼。換句話說，基礎(chǔ)層中的BLA圖片開始逐層啟動(dòng)過程。-當(dāng)對增強(qiáng)層的解碼從CRA圖片開始時(shí)，與BLA圖片的RASL圖片(HEVC版本1中的)類似地處置它的RASL圖片。具有未被跨層地對齊的IRAP圖片等的可伸縮位流可以被使用，例如，更頻繁的IRAP圖片可以在基礎(chǔ)層中被使用，在所述基礎(chǔ)層處，它們可以由于例如較小的空間分辨率而具有較小的經(jīng)編碼大小。用于解碼的逐層啟動(dòng)的過程或者機(jī)制可以被包括在視頻解碼方案中。解碼器可以因此在基礎(chǔ)層包含IRAP圖片時(shí)開始對位流的解碼，并且在其它層包含IRAP圖片時(shí)逐步開始對所述其它層進(jìn)行解碼。換句話說，在解碼過程的逐層啟動(dòng)中，解碼器隨著來自額外的增強(qiáng)層的隨后的圖片在解碼過程中被解碼而漸進(jìn)地增加經(jīng)解碼的層的數(shù)量(其中，層可以表示在空間分辨率、質(zhì)量級別、視圖、諸如深度的額外的分量或者一種組合上的增強(qiáng))。經(jīng)解碼的層的數(shù)量的漸進(jìn)的增加可以被感知為例如圖片質(zhì)量的漸進(jìn)的改進(jìn)(在質(zhì)量和空間可伸縮性的情況下)。逐層啟動(dòng)機(jī)制可以為特定的增強(qiáng)層中的按照解碼次序的第一個(gè)圖片的參考圖片生成不可用的圖片。替換地，解碼器可以省略對處在可以從其開始對層的解碼的IRAP圖片之前的圖片的解碼。可以由編碼器或者另一個(gè)實(shí)體在位流內(nèi)特別地標(biāo)記這些可以被省略的圖片。例如，一個(gè)或多個(gè)具體的NAL單元類型可以被用于它們。這些圖片可以被稱為跨層隨機(jī)訪問跳過(CL-RAS)圖片。逐層啟動(dòng)機(jī)制可以在增強(qiáng)層的全部參考層已與所述參考層中的IRAP圖片類似地被初始化時(shí)從該增強(qiáng)層中的IRAP圖片開始對增強(qiáng)層圖片的輸出。換句話說，任何按照輸出次序處在這樣的IRAP圖片之前的圖片(相同的層內(nèi)的)不可以從解碼器被輸出和/或不可以被顯示。在某些情況下，與這樣的IRAP圖片相關(guān)聯(lián)的可解碼的前導(dǎo)圖片可以被輸出，而處在這樣的IRAP圖片之前的其它圖片不可以被輸出。也可以被稱為切片化的對經(jīng)編碼的視頻數(shù)據(jù)的連接(concatenation)可以發(fā)生，例如，經(jīng)編碼的視頻序列可以被連接成位流，所述位流被廣播或者流傳送或者存儲(chǔ)在大容量存儲(chǔ)器中。例如，可以將表示商業(yè)廣告或者廣告的經(jīng)編碼的視頻序列與電影或者其它“主要”內(nèi)容相連接?？缮炜s視頻位流可以包含未被跨層地對齊的IRAP圖片。然而，使能連接在它的第一個(gè)訪問單元中的基礎(chǔ)層中但不必在全部層中包含IRAP圖片的經(jīng)編碼的視頻序列可能是方便的。在第一個(gè)經(jīng)編碼的視頻序列之后被切片化的第二個(gè)經(jīng)編碼的視頻序列應(yīng)當(dāng)觸發(fā)逐層解碼啟動(dòng)過程。那是因?yàn)?，所述第二個(gè)經(jīng)編碼的視頻序列的第一個(gè)訪問單元可能未在它全部的層中包含IRAP圖片，并且因此那個(gè)訪問單元中的非IRAP圖片的某些參考圖片可能不是可用的(在經(jīng)連接的位流中)并且因此不能被解碼。在下文中被稱為切片器的對經(jīng)編碼的視頻序列進(jìn)行連接的實(shí)體因此應(yīng)當(dāng)修改第二個(gè)經(jīng)編碼的視頻序列的第一個(gè)訪問單元，以使得它觸發(fā)解碼器中的逐層啟動(dòng)過程。用于指示對逐層啟動(dòng)過程的觸發(fā)的指示可以存在于位流語法中。這些指示可以由編碼器或者切片器生成，并且可以被解碼器遵守。這些指示可以用于僅特定的圖片類型或者NAL單元類型，諸如僅用于IDR圖片，雖然在其它實(shí)施例中這些指示可以用于任何圖片類型。在不失一般性的情況下，下面提到了被認(rèn)為被包括在切片段頭部中的稱為cross_layer_bla_flag的指示。應(yīng)當(dāng)理解，可以額外地或者替換地使用具有任何其它名稱或者被包括在任何其它語法結(jié)構(gòu)中的類似的指示。獨(dú)立于觸發(fā)逐層啟動(dòng)過程的指示地，特定的NAL單元類型和/或圖片類型可以觸發(fā)逐層啟動(dòng)過程。例如，基礎(chǔ)層BLA圖片可以觸發(fā)逐層啟動(dòng)過程?？梢栽谝韵虑闆r中的一種或多種情況下發(fā)起逐層啟動(dòng)機(jī)制：-在位流的起點(diǎn)處。-當(dāng)被特別地控制時(shí)，例如當(dāng)例如作為對調(diào)諧到廣播或者尋找文件或者流中的位置的響應(yīng)而開啟或者重啟解碼過程時(shí)，在經(jīng)編碼的視頻序列的起點(diǎn)處。解碼過程可以輸入可以被諸如視頻播放器等的外部單元控制的例如被稱為NoClrasOutputFlag的變量。-基礎(chǔ)層BLA圖片。-具有等于1的cross_layer_bla_flag的基礎(chǔ)層IDR圖片。(或者具有等于1的cross_layer_bla_flag的基礎(chǔ)層IRAP圖片)。當(dāng)逐層啟動(dòng)機(jī)制被發(fā)起時(shí)，DPB中的全部圖片可以被標(biāo)記為“未被用于參考”。換句話說，全部層中的全部圖片可以被標(biāo)記為“未被用于參考”，并且將不被用作用于對發(fā)起逐層啟動(dòng)機(jī)制的圖片或者任何按照解碼次序的隨后圖片的預(yù)測的參考?？鐚与S機(jī)訪問被跳過(CL-RAS)圖片可以具有這樣的屬性：當(dāng)逐層啟動(dòng)機(jī)制被調(diào)用時(shí)(例如，當(dāng)NoClrasOutputFlag等于1時(shí))，CL-RAS圖片不被輸出，并且可能不可被正確地解碼，因?yàn)镃L-RAS圖片可以包含對未出現(xiàn)在位流中的圖片的參考?？梢灾付?，CL-RAS圖片不被用作非CL-RAS圖片的解碼過程的參考圖片?？梢岳缃?jīng)由一個(gè)或多個(gè)NAL單元類型或者切片頭部標(biāo)記(例如，經(jīng)由將cross_layer_bla_flag重命名為cross_layer_constraint_flag，以及重新定義非IRAP圖片的cross_layer_bla_flag的語義)來顯式指示CL-RAS圖片。一個(gè)圖片當(dāng)它是非IRAP圖片(例如，如經(jīng)由它的NAL單元類型確定)、它位于增強(qiáng)層中并且它具有等于1的cross_layer_constraint_flag(等)時(shí)可以被看作CL-RAS圖片。否則，圖片可以被分類為是非CL-RAS圖片。如果圖片是IRAP圖片(例如，如經(jīng)由它的NAL單元類型確定的)、它位于基礎(chǔ)層中并且cross_layer_constraint_flag等于1，則可以推斷cross_layer_bla_flag等于1(或者可以將各自的變量設(shè)置為1)。否則，可以推斷cross_layer_bla_flag等于0(或者可以將各自的變量設(shè)置為0)。替換地，可以推斷CL-RAS圖片。例如，當(dāng)LayerInitializedFlag[layerId]等于0時(shí)，可以推斷具有等于0的nuh_layer_id的圖片是CL-RAS圖片。可以以使得特定的變量控制是否使用逐層啟動(dòng)過程的方式來指定解碼過程。例如，可以使用變量NoClrasOutputFlag，該變量當(dāng)?shù)扔?時(shí)指示正常的解碼操作，并且當(dāng)?shù)扔?時(shí)指示逐層啟動(dòng)操作?？梢岳缡褂靡韵虏襟E中的一個(gè)或多個(gè)步驟來設(shè)置NoClrasOutputFlag：1)如果當(dāng)前的圖片是IRAP圖片，該IRAP圖片是位流中的第一個(gè)圖片，則NoClrasOutputFlag被設(shè)置為等于1。2)否則，如果某些外部單元對于將變量NoClrasOutputFlag設(shè)置為等于針對基礎(chǔ)層IRAP圖片的值是可用的，則變量NoClrasOutputFlag被設(shè)置為等于由該外部單元提供的值。3)否則，如果當(dāng)前的圖片是BLA圖片，該BLA圖片是經(jīng)編碼的視頻序列(CVS)中的第一個(gè)圖片，則NoClrasOutputFlag被設(shè)置為等于1。4)否則，如果當(dāng)前的圖片是IDR圖片，該IDR圖片是經(jīng)編碼的視頻序列(CVS)中的第一個(gè)圖片，并且cross_layer_bla_flag等于1，則NoClrasOutputFlag被設(shè)置為等與1。5)否則，NoClrasOutputFlag被設(shè)置為等于0?？梢蕴鎿Q地例如如下面那樣更概括地?cái)⑹錾厦娴牟襟E4：“否則，如果當(dāng)前的圖片是IRAP圖片，該IRAP圖片是CVS中的第一個(gè)圖片，并且對逐層啟動(dòng)過程的指示是與該IRAP圖片相關(guān)聯(lián)的，則NoClrasOutputFlag被設(shè)置為等于1”?？梢砸瞥厦娴牟襟E3，并且可以指定BLA圖片在它的cross_layer_bla_flag等于1時(shí)發(fā)起逐層啟動(dòng)過程(即，將NoClrasOutputFlag設(shè)置為等于1)。應(yīng)當(dāng)理解，其它的用于敘述條件的方法是可能的，并且是同等適用的。針對逐層啟動(dòng)的解碼過程可以例如經(jīng)由兩個(gè)數(shù)組變量LayerInitializedFlag[i]和FirstPicInLayerDecodedFlag[i]來控制，所述兩個(gè)數(shù)組變量可以具有針對每個(gè)層(可能排除基礎(chǔ)層，以及可能也排除其它無依賴的層)的條目。當(dāng)逐層啟動(dòng)過程例如作為對NoClrasOutputFlag等于1的響應(yīng)而被調(diào)用時(shí)，這些數(shù)組變量可以被重置為它們的缺省值。例如，當(dāng)64個(gè)層被啟用(例如，具有6位nuh_layer_id)時(shí)，可以如下地重置所述變量：對于從0到63(含)的i的全部值，將變量LayerInitializedFlag[i]設(shè)置為等于0，并且對于從1到63(含)的i的全部值，將變量FirstPicInLayerDecodedFlag[i]設(shè)置為等于0。解碼過程可以包括以下的或者類似的用于控制RASL圖片的輸出的操作。在當(dāng)前的圖片是IRAP圖片時(shí)，以下操作適用：-如果LayerInitializedFlag[nuh_layer_id]等于0，則變量NoRaslOutputFlag被設(shè)置為等于1。-否則，如果某些外部單元對于將變量HandleCraAsBlaFlag設(shè)置為針對當(dāng)前的圖片的值是可用的，則變量HandleCraAsBlaFlag被設(shè)置為等于由該外部單元提供的值，并且變量NoRaslOutputFlag被設(shè)置為等于HandleCraAsBlaFlag。-否則，變量HandleCraAsBlaFlag被設(shè)置為等于0，并且變量NoRaslOutputFlag被設(shè)置為等于0。解碼過程可以包括以下的用于更新層的LayerInitializedFlag的操作。在當(dāng)前的圖片是IRAP圖片并且以下兩項(xiàng)中的任一項(xiàng)為真時(shí)，LayerInitializedFlag[nuh_layer_id]被設(shè)置為等于1。-nuh_layer_id等于0。-LayerInitializedFlag[nuh_layer_id]等于0，并且對于等于RefLayerId[nuh_layer_id][j]的refLayerId的全部值，LayerInitializedFlag[refLayerId]等于1，其中，j在0到NumDirectRefLayers[nuh_layer_id]–1(含)的范圍中。當(dāng)FirstPicInLayerDecodedFlag[nuh_layer_id]等于0時(shí)，可以在對當(dāng)前的圖片進(jìn)行解碼之前調(diào)用用于生成不可用的參考圖片的解碼過程。用于生成不可用的參考圖片的解碼過程可以針對具有缺省值的參考圖片集中的每個(gè)圖片生成圖片。可以主要僅針對CL-RAS圖片的語法約束的指定來指定生成不可用的參考圖片的過程，其中，CL-RAS圖片可以被定義為具有等于layerId的nuh_layer_id的圖片，并且LayerInitializedFlag[layerId]等于0。在HRD操作中，在導(dǎo)出CPB到達(dá)和移除時(shí)間時(shí)可能需要考慮CL-RAS圖片。解碼器可以忽略任何CL-RAS圖片，因?yàn)檫@些圖片未被指定為用于輸出，并且對任何其它的被指定為用于輸出的圖片的解碼過程沒有任何影響。編碼標(biāo)準(zhǔn)或者系統(tǒng)可以引用術(shù)語工作點(diǎn)等，所述工作點(diǎn)等可以指示解碼在其下工作的可伸縮層和/或子層，和/或可以是與包括被解碼的可伸縮層和/或子層的子位流相關(guān)聯(lián)的。下面提供了工作點(diǎn)的一些非限制性的定義。在HEVC中，工作點(diǎn)被定義為，經(jīng)由利用另一個(gè)位流、目標(biāo)最高TemporalId和目標(biāo)層標(biāo)識符列表作為輸入的子位流提取過程的工作從該另一個(gè)位流創(chuàng)建的位流。HEVC的VPS指定層集和這些層集的HRD參數(shù)。層集可以在子位流提取過程中被用作目標(biāo)層標(biāo)識符列表。在SHVC和MV-HEVC中，工作點(diǎn)定義可以包括考慮目標(biāo)輸出層集。在SHVC和MV-HEVC中，工作點(diǎn)可以被定義為，經(jīng)由利用另一個(gè)位流、目標(biāo)最高TemporalId和目標(biāo)層標(biāo)識符列表作為輸入的子位流提取過程的工作從該另一個(gè)位流創(chuàng)建的并且與目標(biāo)輸出層的集合相關(guān)聯(lián)的位流。輸出層集可以被定義為由所指定的層集中的一個(gè)層集的層組成的層的集合，其中，層的所述集合中的一個(gè)或多個(gè)層被指示為是輸出層。輸出層可以被定義為，當(dāng)解碼器和/或HRD使用輸出層集作為目標(biāo)輸出層集工作時(shí)被輸出的輸出層集的層。在MV-HEVC/SHVC中，經(jīng)由將TargetOptLayerSetIdx設(shè)置為等于是目標(biāo)輸出層集的輸出層集的索引，變量TargetOptLayerSetIdx可以指定哪個(gè)輸出層集是目標(biāo)輸出層集。TargetOptLayerSetIdx可以例如被HRD設(shè)置和/或可以被外部單元設(shè)置，例如被播放器等通過由解碼器提供的接口進(jìn)行設(shè)置。在MV-HEVC/SHVC中，目標(biāo)輸出層可以被定義為這樣的層，該層將被輸出，并且是具有使得TargetOptLayerSetIdx等于olsIdx的索引olsIdx的輸出層集的輸出層中的一個(gè)輸出層。MV-HEVC/SHVC使能使用具體的機(jī)制或者經(jīng)由顯式地指示輸出層來導(dǎo)出VPS中指定的每個(gè)層集的“缺省的”輸出層集。已指定了兩種具體的機(jī)制：可以在VPS中指定，每個(gè)層是輸出層，或者僅最高層是“缺省的”輸出層集中的輸出層?？梢栽谑褂盟岬降木唧w的機(jī)制來確定是否層是輸出層時(shí)從考慮中排除附屬圖片層。除了“缺省的”輸出層集之外，VPS擴(kuò)展使能指定額外的輸出層集，所述額外的輸出層集具有所選擇的被指示為是輸出層的層。在MV-HEVC/SHVC中，對于每個(gè)輸出層集，關(guān)聯(lián)了profile_tier_level()語法結(jié)構(gòu)。更確切地說，在VPS擴(kuò)展中提供了profile_tier_level()語法結(jié)構(gòu)的列表，并且對于每個(gè)輸出層集給出所述列表內(nèi)的指向適用的profile_tier_level()的索引。換句話說，對于每個(gè)輸出層集，指示簡檔、層和級別值的組合。盡管輸出層的不變的集合完全適于其中最高層在每個(gè)訪問單元中保持不被變更的用例和位流，但它們可能不支持其中最高層從一個(gè)訪問單元到另一個(gè)訪問單元地變更的用例。因此已提出，編碼器可以在位流內(nèi)指定對替換的輸出層的使用，并且響應(yīng)于所指定的對替換的輸出層的使用，解碼器在輸出層中的圖片在同一訪問單元內(nèi)不出現(xiàn)時(shí)輸出來自替換的輸出層的經(jīng)解碼的圖片。關(guān)于如何指示替換的輸出層，存在幾種可能性。例如，輸出層集中的每個(gè)輸出層可以是與最小的替換的輸出層相關(guān)聯(lián)的，并且output-layer-wise語法元素可以用于指定針對每個(gè)輸出層的替換的輸出層。替換地，替換的輸出層集機(jī)制可以限于被用于僅包含僅一個(gè)輸出層的輸出層集，并且output-layer-set-wise語法元素可以用于指定針對輸出層集的輸出層的替換的輸出層。替換地，替換的輸出層集機(jī)制可以限于被用于僅在其中全部所指定的輸出層集包含僅一個(gè)輸出層的位流或者CVS，并且可以經(jīng)由逐位流或者逐CVS語法元素來指示替換的輸出層?？梢岳缃?jīng)由在例如VPS內(nèi)列出替換的輸出層(例如，使用它們的層標(biāo)識符或者直接或間接參考層的列表的索引)、指示最小的替換的輸出層(例如，使用它的層標(biāo)識符或者它在直接或間接參考層的列表內(nèi)的索引)或者指定任何直接或間接參考層是替換的輸出層的標(biāo)志來指定替換的輸出層。當(dāng)使多于一個(gè)替換的輸出層能夠被使用時(shí)，可以指定，下至所指示的最小的替換的輸出層的按照遞減的層標(biāo)識符次序出現(xiàn)在訪問單元中的第一個(gè)直接或者間接的層間參考圖片被輸出?？缮炜s視頻位流的HRD可以與單層位流的HRD類似地工作。然而，特別當(dāng)涉及到對可伸縮位流的多環(huán)路解碼中的DPB操作時(shí)，某些變更可能是需要的或者可取的。有可能通過多種方法指定對可伸縮位流的多環(huán)路解碼的DPB操作。在一種逐層的方法中，每個(gè)層可以概念上具有它自身的DPB，所述DPB否則可以獨(dú)立地工作，只是可以對于全部逐層的DPB聯(lián)合地提供某些DPB參數(shù)，并且圖片輸出可以同步地工作，以使得具有相同輸出時(shí)間的圖片被同時(shí)輸出，或者在輸出次序相符性檢查中，來自同一訪問單元的圖片被緊接著彼此地輸出。在被稱為分辨率特定的方法的另一種方法中，具有相同的關(guān)鍵屬性的層共享相同的子DPB。關(guān)鍵屬性可以包括以下各項(xiàng)中的一項(xiàng)或多項(xiàng)：圖片寬度、圖片高度、色度格式、位深、顏色格式/色域。利用相同的DPB模型來支持逐層的和分辨率特定的DPB方法兩者可能是可能的，所述相同的DPB模型可以被稱為子DPB模型。DPB被分割成幾個(gè)子DPB，并且每個(gè)子DPB被獨(dú)立地管理，只是可以對于全部子DPB聯(lián)合地提供某些DPB參數(shù)，并且圖片輸出可以同步地工作，以使得具有相同輸出時(shí)間的圖片被同時(shí)輸出，或者在輸出次序相符性檢查中，來自同一訪問單元的圖片被緊接著彼此地輸出?？梢哉J(rèn)為DPB在邏輯上被分割成子DPB，并且每個(gè)子DPB包含圖片存儲(chǔ)緩沖器。每個(gè)子DPB可以是與一個(gè)層(在層特定的模式下)或者具有分辨率、色度格式和位深的特定組合的全部層(在所謂的分辨率特定的模式下)相關(guān)聯(lián)的，并且所述層中的全部圖片可以存儲(chǔ)在關(guān)聯(lián)的子DPB中。子DPB的工作可以是獨(dú)立于彼此的——就經(jīng)解碼圖片的插入、標(biāo)記和移除以及每個(gè)子DPB的大小來說，盡管來自不同子DPB的經(jīng)解碼圖片的輸出可以通過它們的輸出時(shí)間或者圖片次序計(jì)數(shù)值被鏈接。在分辨率特定的模式下，編碼器可以提供依照子DPB和/或依照層的圖片緩沖器數(shù)量，并且解碼器或者HRD可以在它們的緩沖操作中使用任一種或者全部兩種類型的圖片緩沖器數(shù)量。例如，在輸出次序相符性解碼中，當(dāng)一個(gè)層中的所存儲(chǔ)的圖片的數(shù)量滿足或者超過所指定的每層圖片緩沖器數(shù)量時(shí)，和/或當(dāng)被存儲(chǔ)在子DPB中的圖片的數(shù)量滿足或者超過針對該子DPB所指定的圖片緩沖器的數(shù)量時(shí)，可以調(diào)用碰撞過程。在MV-HEVC和SHVC的當(dāng)前的草案中，DPB特性被包括在也可以被稱為dpb_size()的DPB大小語法結(jié)構(gòu)中。DPB大小語法結(jié)構(gòu)被包括在VPS擴(kuò)展中。DPB大小語法結(jié)構(gòu)包含，對于每個(gè)輸出層集(除了僅包含基礎(chǔ)層的第0個(gè)輸出層集)，以下信息片可以對于每個(gè)子層(上至最大子層)出現(xiàn)，或者可以被推斷為等于應(yīng)用于較低子層的各自的信息：-max_vps_dec_pic_buffering_minus1[i][k][j]加1指定針對等于j的最大TemporalId(即，HighestTid)的以圖片存儲(chǔ)緩沖器為單位的第i個(gè)輸出層集中的CVS的第k個(gè)子DPB的最大所需大小-max_vps_layer_dec_pic_buff_minus1[i][k][j]加1指定當(dāng)HighestTid等于j時(shí)需要被存儲(chǔ)在DPB中的第i個(gè)輸出層集中的CVS的第k個(gè)層的經(jīng)解碼圖片的最大數(shù)量。-max_vps_num_reorder_pics[i][j]指定，當(dāng)HighestTid等于j時(shí)，可以按照解碼次序處在任何包含CVS中的第i個(gè)輸出層集中的具有等于1的PicOutputFlag的圖片的訪問單元auA之前并且按照輸出次序跟隨在包含具有等于1的PicOutputFlag的圖片的訪問單元auA之后的包含具有等于1的PicOutputFlag的圖片的訪問單元的最大允許數(shù)量。-不等于0的max_vps_latency_increase_plus1[i][j]用于計(jì)算VpsMaxLatencyPictures[i][j]的值，VpsMaxLatencyPictures[i][j]當(dāng)HighestTid等于j時(shí)指定，可以按照輸出次序處在任何包含CVS中的具有等于1的PicOutputFlag的圖片的訪問單元auA之前并且按照解碼次序跟隨在包含具有等于1的PicOutputFlag的圖片的訪問單元auA之后的包含第i個(gè)輸出層集中的具有等于1的PicOutputFlag的圖片的訪問單元的最大數(shù)量。已針對諸如MV-HEVC和SHVC之類的HEVC擴(kuò)展的POC值導(dǎo)出提出了幾種方法。在下面，描述了一種被稱為POC重置方法的方法。作為可以利用其來實(shí)現(xiàn)不同實(shí)施例的POC導(dǎo)出的一個(gè)示例描述了這種POC導(dǎo)出方法。需要理解，可以利用任何POC導(dǎo)出來實(shí)現(xiàn)所描述的實(shí)施例，并且對POC重置方法的所述描述只是一個(gè)非限制性的示例。POC重置方法是基于以下內(nèi)容的：在切片頭部內(nèi)指示，POC值將被重置，以使得從針對當(dāng)前圖片所提供的POC信令導(dǎo)出當(dāng)前圖片的POC，并且按照解碼次序的較早的圖片的POC被遞減特定的值。可以執(zhí)行總共四種模式的POC重置：-當(dāng)前訪問單元中的POCMSB重置。這種模式可以在增強(qiáng)層包含IRAP圖片時(shí)被使用。(在語法中由等于1的poc_reset_idc指示這種模式)。-當(dāng)前訪問單元中的完全POC重置(MSB和LSB兩者被重置為0)。這種模式可以在基礎(chǔ)層包含IDR圖片時(shí)被使用。(在語法中由等于2的poc_reset_idc指示這種模式)。-“延遲的”POCMSB重置。這種模式可以用于具有等于nuhLayerId的nuh_layer_id的圖片，以使得導(dǎo)致POCMSB重置的較早訪問單元(按照解碼次序)中不存在任何具有等于nuhLayerId的nuh_layer_id的圖片。(在語法中由等于3的poc_reset_idc和等于0的full_poc_reset_flag指示這種模式)。-“延遲的”完全POC重置。這種模式可以用于具有等于nuhLayerId的nuh_layer_id的圖片，以使得導(dǎo)致完全POC重置的較早訪問單元(按照解碼次序)中不存在任何具有等于nuhLayerId的nuh_layer_id的圖片。(在語法中由等于3的poc_reset_idc和等于1的full_poc_reset_flag指示這種模式)。“延遲的”POC重置信令可以還用于錯(cuò)誤恢復(fù)目的(用于提供對包括POC重置信令的同一層中的前一個(gè)圖片的丟失的恢復(fù))。可以基于POC重置周期ID來指定POC重置周期的概念，其中，可以例如使用語法元素poc_reset_period_id來指示POC重置周期ID，語法元素poc_reset_period_id可以出現(xiàn)在切片段頭部擴(kuò)展中。每個(gè)屬于包含至少一個(gè)IRAP圖片的訪問單元的非IRAP圖片可以是包含該非IRAP圖片的層中的POC重置周期的起點(diǎn)。在該訪問單元中，每個(gè)圖片將是包含該圖片的層中的POC重置周期的起點(diǎn)。POC重置和對DPB中的同層圖片的POC值的更新被應(yīng)用于僅每個(gè)POC重置周期內(nèi)的第一個(gè)圖片。DPB中的全部層的較早圖片的POC值可以在每個(gè)需要POC重置的訪問單元開始時(shí)被更新，并且開始新的POC重置周期(在對該訪問單元的第一個(gè)所接收的圖片進(jìn)行解碼之前，并且在對該圖片的第一個(gè)切片的切片頭部信息進(jìn)行解碼之后)。替換地，DPB中的當(dāng)前圖片的層的較早圖片的POC值可以在開始對是針對POC重置周期的層中的第一個(gè)圖片的圖片進(jìn)行解碼時(shí)被更新。替換地，DPB中的當(dāng)前圖片的層樹的較早圖片的POC值可以在開始對是針對POC重置周期的層樹中的第一個(gè)圖片的圖片進(jìn)行解碼時(shí)被更新。替換地，DPB中的當(dāng)前層和它的直接和間接參考層的較早圖片的POC值可以在開始對是針對POC重置周期的層中的第一個(gè)圖片的圖片進(jìn)行解碼時(shí)被更新。為了導(dǎo)出用于更新DPB中的同層圖片的POC值的增量POC值，以及為了導(dǎo)出當(dāng)前圖片的POC值的POCMSB，有條件地在切片段頭部中對POCLSB值(poc_lsb_val語法元素)進(jìn)行信號通知(對于“延遲的”POC重置模式，以及對于諸如是基礎(chǔ)層IDR圖片的具有完全POC重置的基礎(chǔ)層圖片)。當(dāng)“延遲的”POC重置模式被使用時(shí)，poc_lsb_val可以被設(shè)置為等于POC在其中被重置的訪問單元的POCLSB(slice_pic_order_cnt_lsb)值。當(dāng)完全POC重置在基礎(chǔ)層中被使用時(shí)，poc_lsb_val可以被設(shè)置為等于prevTid0Pic的POCLSB(如早先指定的)。對于具有特定的nuh_layer_id值并且在POC重置周期內(nèi)的按照解碼次序的第一個(gè)圖片，導(dǎo)出被從當(dāng)前在DPB中的圖片減去的值DeltaPocVal。一個(gè)基本想法在于，對于POCMSB重置，DeltaPocVal等于觸發(fā)重置的圖片的POC值的MSB部分，并且對于完全POC重置，DeltaPocVal等于觸發(fā)POC重置的圖片的POC(而稍微不同地看待延遲的POC重置)。DPB中的全部層或者當(dāng)前的層或者當(dāng)前的層樹的全部經(jīng)解碼圖片的PicOrderCntVal值被遞減DeltaPocVal的值。因此，一個(gè)基本想法在于，在POCMSB重置之后，DPB中的圖片可以具有上至MaxPicOrderCntLsb(不含)的POC值，并且在完全POC重置之后，DPB中的圖片可以具有上至0(不含)的POC值，而再次稍微不同地處置延遲的POC重置?？梢酝ㄟ^許多方法來定義用于可伸縮視頻編碼的訪問單元，所述方法包括但不限于如早先描述的用于HEVC的訪問單元的定義。例如，HEVC的訪問單元定義可以被放寬，以使得訪問單元需要包括與同一輸出時(shí)間相關(guān)聯(lián)并且屬于同一層樹的經(jīng)編碼圖片。當(dāng)位流具有多個(gè)層樹時(shí)，訪問單元可以但不需要包括與同一輸出時(shí)間相關(guān)聯(lián)并且屬于不同層樹的經(jīng)編碼圖片。許多視頻編碼器使用拉格朗日成本函數(shù)來找出例如是期望的宏塊模式和關(guān)聯(lián)的運(yùn)動(dòng)向量的速率-失真最優(yōu)編碼模式。這種類型的成本函數(shù)使用加權(quán)因子或者λ來將由于有損編碼方法產(chǎn)生的精確或者估計(jì)的圖像失真與在圖像區(qū)域中表示像素/采樣值所需的精確或者估計(jì)的信息量聯(lián)系在一起?？梢杂梢韵路匠瘫硎纠窭嗜粘杀竞瘮?shù)：C＝D+λR其中，C是將被最小化的拉格朗日成本，D是伴隨當(dāng)前所考慮的模式和運(yùn)動(dòng)向量的圖像失真(例如，原始圖像塊與經(jīng)編碼的圖像塊中的像素/采樣值之間的均方誤差)，λ是拉格朗日系數(shù)，并且R是表示在解碼器中重構(gòu)圖像塊所需的數(shù)據(jù)所需的位數(shù)(包括用于表示候選運(yùn)動(dòng)向量的數(shù)據(jù)量)。編碼標(biāo)準(zhǔn)可以包括子位流提取過程，并且例如在SVC、MVC和HEVC中指定了這樣的子位流提取過程。子位流提取過程與經(jīng)由移除NAL單元將位流轉(zhuǎn)換成子位流相關(guān)。子位流將仍然是與標(biāo)準(zhǔn)相符的。例如，在一個(gè)草案HEVC標(biāo)準(zhǔn)中，經(jīng)由排除全部具有大于所選擇的值的temporal_id的VCLNAL單元和包括全部其它的VCLNAL單元?jiǎng)?chuàng)建的位流仍然是相符的。在該草案HEVC標(biāo)準(zhǔn)的另一個(gè)版本中，子位流提取過程把TemporalId和/或LayerId值的列表當(dāng)作輸入，并且經(jīng)由從位流中移除全部具有大于輸入的TemporalId值的TemporalId或者具有不在輸入的LayerId值的列表中的值中的layer_id的NAL單元來導(dǎo)出子位流(也被稱為位流子集)。在一個(gè)草案HEVC標(biāo)準(zhǔn)中，可以如下地通過變量TargetDecLayerIdSet和HighestTid來設(shè)置解碼器使用的工作點(diǎn)?？梢杂芍T如是解碼器控制邏輯的外部單元指定列表TargetDecLayerIdSet，列表TargetDecLayerIdSet指定將被解碼的VCLNAL單元的layer_id的值的集合。如果未被外部單元指定，則列表TargetDecLayerIdSet包含layer_id的一個(gè)值，該值指示基礎(chǔ)層(即，在一個(gè)草案HEVC標(biāo)準(zhǔn)中等于0)?？梢杂赏獠繂卧付?biāo)識最高時(shí)間子層的變量HighestTid。如果未被外部單元指定，則HighestTid被設(shè)置為諸如是一個(gè)草案HEVC標(biāo)準(zhǔn)中的sps_max_sub_layers_minus1的值的可以出現(xiàn)在經(jīng)編碼的視頻序列或者位流中的最高的TemporalId值?？梢栽趯argetDecLayerIdSet和HighestTid作為輸入并且將輸出指派給被稱為BitstreamToDecode的位流的情況下應(yīng)用子位流提取過程?？梢詫τ贐itstreamToDecode中的每個(gè)經(jīng)編碼的圖片運(yùn)行解碼過程。如上面描述的，HEVC使能將經(jīng)交錯(cuò)的源內(nèi)容編碼為字段或者幀(表示互補(bǔ)的字段對)，并且還包括與源內(nèi)容的類型和它的預(yù)期表示相關(guān)的復(fù)雜信令。本發(fā)明的許多實(shí)施例使用可以在經(jīng)編碼的字段和幀之間切換時(shí)避免需要內(nèi)部編碼的編碼/解碼算法實(shí)現(xiàn)了圖片自適應(yīng)的幀-字段編碼。在一個(gè)示例實(shí)施例中，表示互補(bǔ)的字段對的經(jīng)編碼幀位于與經(jīng)編碼字段的對不同的可伸縮性層中，并且經(jīng)編碼字段的對中的一個(gè)或者全部兩個(gè)字段可以被用作對經(jīng)編碼幀進(jìn)行預(yù)測的參考，或者反之亦然。因此，可以在不根據(jù)當(dāng)前圖片和/或參考圖片的類型(經(jīng)編碼幀或者經(jīng)編碼字段)和/或根據(jù)源信號類型(交錯(cuò)的或者漸進(jìn)的)調(diào)整低層編碼工具的情況下使能進(jìn)行圖片自適應(yīng)的幀-字段編碼。編碼器可以例如基于如早先描述的速率失真最優(yōu)化確定將互補(bǔ)的字段對編碼為經(jīng)編碼幀還是編碼為兩個(gè)經(jīng)編碼字段。如果經(jīng)編碼幀得出比兩個(gè)經(jīng)編碼字段的成本小的拉格朗日成本函數(shù)的成本，則編碼器可以選擇將互補(bǔ)的字段對編碼為經(jīng)編碼幀。圖9圖示出了其中經(jīng)編碼字段102、104位于基礎(chǔ)層(BL)中并且包含經(jīng)交錯(cuò)的源內(nèi)容的互補(bǔ)的字段對的經(jīng)編碼幀106位于增強(qiáng)層(EL)中的一個(gè)示例。在圖9以及某些隨后的圖中，高的矩形可以表示幀(例如，106)，小的非填充的矩形(例如，102)可以表示具有特定字段奇偶性的字段(例如，奇字段)，并且小的斜條紋的矩形(例如，104)可以表示具有相反的字段奇偶性的字段(例如，偶字段)?？梢栽趯觾?nèi)使用對任何預(yù)測分層的之間預(yù)測。當(dāng)編碼器確定從字段編碼切換到幀編碼時(shí)，它可以在本示例中對跳過圖片108進(jìn)行編碼。跳過圖片108被圖示為黑色矩形。跳過圖片108可以與任何其它圖片類似地被用作同一層內(nèi)的按照(解)編碼次序的稍后的圖片的之間預(yù)測的參考。跳過圖片108可以被指示為將不被解碼器輸出或者顯示(例如，經(jīng)由設(shè)置HEVC的pic_output_flag等于0)。沒有任何基礎(chǔ)層圖片需要被編碼到與增強(qiáng)層圖片相同的訪問單元中或者針對與如由增強(qiáng)層圖片表示的時(shí)刻相同的時(shí)刻被編碼。如在圖9中由箭頭114、116示例出的，當(dāng)編碼器確定從幀編碼切換回字段編碼時(shí)，它可以(但不需要)使用較早的基礎(chǔ)層圖片作為預(yù)測的參考。矩形100圖示出了經(jīng)交錯(cuò)的源信號，該經(jīng)交錯(cuò)的源信號可以例如圖示出作為輸入為編碼器提供的信號。圖10圖示出了其中包含經(jīng)交錯(cuò)的源內(nèi)容的互補(bǔ)的字段對的經(jīng)編碼幀位于基礎(chǔ)層BL中并且經(jīng)編碼字段位于增強(qiáng)層EL中的一個(gè)示例。否則，所述編碼是與圖9中的編碼類似的。在圖10的圖示中，從幀編碼到字段編碼的切換發(fā)生在基礎(chǔ)層上的最左幀處，其中，可以在較高層上(在本示例中是在增強(qiáng)層EL上)提供跳過字段109。在稍后的階段，回到幀編碼的切換可以發(fā)生，其中，基礎(chǔ)層上的一個(gè)或多個(gè)之前的幀可以但不需要在對基礎(chǔ)層的下一個(gè)幀進(jìn)行預(yù)測時(shí)被使用。在圖10中還圖示出了從幀編碼到字段編碼的另一次切換。圖11和圖12呈現(xiàn)了分別與圖9和圖0中的那些示例相似的示例，但取代跳過圖片而使用了對角線層間預(yù)測。在圖11的示例中，當(dāng)從字段編碼到幀編碼的切換發(fā)生時(shí)，從基礎(chǔ)層流的最后一個(gè)字段對增強(qiáng)層EL上的第一個(gè)幀進(jìn)行對角線預(yù)測。當(dāng)從幀編碼切換回字段編碼時(shí)，可以從在之前的從字段編碼到幀編碼的切換之前被編碼/解碼的最后的一個(gè)或多個(gè)字段預(yù)測接下來的一個(gè)或多個(gè)字段。在圖11中利用箭頭114、116對此進(jìn)行了圖示。在圖12的示例中，當(dāng)從幀編碼到字段編碼的切換發(fā)生時(shí)，從基礎(chǔ)層流的最后一個(gè)幀對增強(qiáng)層EL上的最先兩個(gè)字段進(jìn)行對角線預(yù)測。當(dāng)從字段編碼切換回幀編碼時(shí)，可以從在之前的幀編碼到字段編碼的切換之前被編碼/解碼的最后一個(gè)幀預(yù)測下一個(gè)幀。在圖12中利用箭頭118對此進(jìn)行了圖示。在下面，簡短地描述了一些用于將經(jīng)編碼字段和經(jīng)編碼幀放置在層中的非限制性示例實(shí)施例。在一個(gè)示例實(shí)施例中，提供了如圖13中所描繪的一種經(jīng)幀編碼和經(jīng)字段編碼層的“樓梯”。根據(jù)本示例，當(dāng)作出從經(jīng)編碼幀到經(jīng)編碼字段或者反之的切換時(shí)，下一個(gè)最高層被采用，以使能使用從經(jīng)編碼幀到經(jīng)編碼字段或者反之的層間預(yù)測。在圖13中所描繪的示例情形中，當(dāng)作出從經(jīng)編碼幀到經(jīng)編碼字段或者反之的切換時(shí)，在切換到的層處對跳過圖片108、109進(jìn)行編碼，但可以利用對角線層間預(yù)測類似地實(shí)現(xiàn)編碼安排。在圖13中，基礎(chǔ)層包含經(jīng)交錯(cuò)的源信號的經(jīng)編碼字段100。在從經(jīng)編碼字段到經(jīng)編碼幀的切換預(yù)期在該處發(fā)生的位置處，在較高層上(在本示例中是在第一增強(qiáng)層EL1上)提供跳過幀108，之后跟隨經(jīng)幀編碼的字段對106?？梢越?jīng)由使用從較低層(例如，切換自的層)進(jìn)行的層間預(yù)測來形成跳過幀108。在從經(jīng)編碼幀到經(jīng)編碼字段的切換預(yù)期在該處發(fā)生的位置處，在更高的層上(在本示例中是在第二增強(qiáng)層EL2上)提供另一個(gè)跳過幀109，之后跟隨經(jīng)編碼的字段12?？梢岳脤娱g預(yù)測實(shí)現(xiàn)在經(jīng)編碼幀與經(jīng)編碼字段之間的切換，直到達(dá)到最大層為止。當(dāng)對IDR或者BLA圖片(等)進(jìn)行編碼時(shí)，可以分別取決于該IDR或者BLA圖片被確定為將被編碼為經(jīng)編碼幀還是經(jīng)編碼字段而在包含經(jīng)編碼幀或者經(jīng)編碼字段的最低層(BL或者EL1)處對該圖片進(jìn)行編碼。應(yīng)當(dāng)理解，盡管圖13圖示出了其中基礎(chǔ)層包含經(jīng)編碼字段的安排，但可以實(shí)現(xiàn)其中基礎(chǔ)層包含經(jīng)編碼幀、第一增強(qiáng)層(EL1)包含經(jīng)編碼字段、第二增強(qiáng)層(EL2)包含經(jīng)編碼幀、第三增強(qiáng)層(EL3)包含經(jīng)編碼字段等等的類似的安排。編碼器可以指示對于使用如圖13中所描繪的經(jīng)幀編碼和經(jīng)字段編碼的層的“樓梯”被進(jìn)行編碼的位流使用自適應(yīng)分辨率變更。例如，編碼器可以在利用MV-HEVC、SHVC等被進(jìn)行編碼的位流的VPSVUI中設(shè)置single_layer_for_non_irap_flag等于1。編碼器可以指示對于使用如圖13中所描繪的經(jīng)幀編碼和經(jīng)字段編碼層的“樓梯”被進(jìn)行編碼的位流使用跳過圖片。例如，編碼器可以在利用MV-HEVC、SHVC等被進(jìn)行編碼的位流的VPSVUI中設(shè)置higher_layer_irap_skip_flag等于1。如果分辨率特定的子DPB操作正在使用中，如早先描述的，共享相同的諸如是圖片寬度、圖片高度、色度格式、位深和/或顏色格式/色域的關(guān)鍵屬性的層共享相同的子DPB。例如，參考圖13，BL和EL2可以共享相同的子DPB。概括地說，在如在之前的段落中描述的其中對經(jīng)幀編碼和經(jīng)字段編碼的層的“樓梯”進(jìn)行編碼和/或解碼的示例實(shí)施例中，許多層可以共享相同的子DPB。如早先描述的，在HEVC和它的擴(kuò)展中，在開始對圖片進(jìn)行解碼時(shí)，對參考圖片集進(jìn)行解碼。因此，當(dāng)對圖片的解碼被完成時(shí)，該圖片和全部它的參考圖片仍然被標(biāo)記為“被用于參考”，并且因此仍然出現(xiàn)在DPB中。這些參考圖片可以在同一層中的下一個(gè)圖片被解碼時(shí)最早地被標(biāo)記為“未被用于參考”，并且當(dāng)前的圖片可以在同一層中的下一個(gè)圖片被解碼時(shí)(如果當(dāng)前的圖片不是被解碼的最高TemporalId處的子層非參考圖片的話)或者在可以使用當(dāng)前的圖片作為層間預(yù)測的參考的全部圖片已被解碼時(shí)(在當(dāng)前的圖片是被解碼的最高TemporalId處的子層非參考圖片時(shí))被標(biāo)記為“未被用于參考”。因此，許多圖片可以保持被標(biāo)記為“被用于參考”并且保持占用DPB中的圖片存儲(chǔ)緩沖器，即使它們不將被用作任何按照解碼次序的隨后的圖片的參考。在一個(gè)可以與特別是參考圖13描述的實(shí)施例的其它實(shí)施例相獨(dú)立地或者一起被應(yīng)用的實(shí)施例中，編碼器或者另一個(gè)實(shí)體可以將命令等包括在位流中，所述命令等導(dǎo)致將特定層上的圖片的參考圖片標(biāo)記為“未被用于參考”比開始對該層的下一個(gè)圖片的解碼更早。這樣的命令的示例包括但不限于以下各項(xiàng)：-把將在對層內(nèi)的圖片的解碼之后被應(yīng)用的參考圖片集(RPS)包括在位流中。這樣的RPS可以被稱為解碼后RPS。解碼后RPS可以例如當(dāng)對圖片的解碼已被完成時(shí)在對按照解碼次序的下一個(gè)圖片進(jìn)行解碼之前被應(yīng)用。如果當(dāng)前層處的圖片可以被用作層間預(yù)測的參考，則在對圖片的解碼已被完成時(shí)被解碼的解碼后RPS不可以將當(dāng)前的圖片標(biāo)記為“未被用于參考”，因?yàn)樗赡苋匀槐挥米鲗娱g預(yù)測的參考。替換地，解碼后RPS可以例如在對訪問單元的解碼已被完成之后被應(yīng)用(這保證沒有任何仍然被用作層間預(yù)測的參考的圖片變得被標(biāo)記為“未被用于參考”)。解碼后RPS可以被包括在例如具體的NAL單元中、后綴NAL單元或者前綴NAL單元內(nèi)和/或切片頭部擴(kuò)展內(nèi)。可能需要解碼后RPS是相同的或者導(dǎo)致相同的圖片作為同一層中的下一個(gè)圖片的RPS被維護(hù)在DPB中?？赡苄枰缭诰幋a標(biāo)準(zhǔn)中，解碼后RPS不導(dǎo)致將具有小于當(dāng)前圖片的TemporalId的TemporalId的圖片標(biāo)記為“未被用于參考”。-將可以被稱為延遲的解碼后RPS的參考圖片集(RPS)語法結(jié)構(gòu)包括在位流中。延遲的解碼后RPS可以是與指示相關(guān)聯(lián)的，所述指示標(biāo)識例如按照解碼次序的位置(按照解碼次序與當(dāng)前圖片相比在隨后的)或者按照解碼次序的隨后的(與當(dāng)前圖片相比)圖片。所述指示可以是例如POC差值，該P(yáng)OC差值當(dāng)被增加到當(dāng)前圖片的POC時(shí)標(biāo)識第二POC值，以使得如果具有等于或者大于第二POC值的POC的圖片被解碼，則延遲的解碼后RPS可以被解碼(在對圖片進(jìn)行解碼之前或者之后，如例如在編碼標(biāo)準(zhǔn)預(yù)定義的或者在位流中指示的)。在另一個(gè)示例中，所述指示可以是例如frame_num_difference值(等)，該frame_num_difference值(等)當(dāng)被增加到當(dāng)前圖片的frame_num(等)時(shí)標(biāo)識第二frame_num值(等)，以使得如果具有等于或者大于第二frame_num值(等)的frame_num(等)的圖片被解碼，則延遲的解碼后RPS可以被解碼(在對圖片進(jìn)行解碼之前或者之后，如例如在編碼標(biāo)準(zhǔn)中預(yù)定義的或者在位流中指示的)。-例如在切片段頭部中例如使用HEVC切片段頭部的slice_reserved[i]語法元素的位位置包括標(biāo)志，該標(biāo)志導(dǎo)致，例如當(dāng)包含當(dāng)前圖片的訪問單元已被完整解碼時(shí)，在對當(dāng)前圖片的解碼之后將層內(nèi)的全部圖片(包括對于其來說所述標(biāo)志被設(shè)置為1的當(dāng)前圖片)標(biāo)記為“未被用于參考”。如例如在編碼標(biāo)準(zhǔn)中預(yù)定義的或者在位流中單獨(dú)地指示的，所述標(biāo)志可以在其語義中包括或者排除當(dāng)前圖片(即，包含所述標(biāo)志在該處出現(xiàn)的切片的圖片)。-上面提到的標(biāo)志可以是專用于TemporalId的，即，導(dǎo)致具有與當(dāng)前圖片的TemporalId相比相同或者更高的TemporalId值的圖片被標(biāo)記為“未被用于參考”(雖然所述標(biāo)志的語義否則是與上面的語義相同的)，或者導(dǎo)致具有比當(dāng)前圖片的TemporalId高的TemporalId值的圖片被標(biāo)記為“未被用于參考”(雖然所述標(biāo)志的語義否者是與上面的語義相同的)。-導(dǎo)致經(jīng)解碼參考圖片標(biāo)記的MMCO命令等。解碼器和/或HRD和/或諸如是媒體感知網(wǎng)絡(luò)單元的另一個(gè)實(shí)體可以從位流中解碼上面提到的命令等中的一個(gè)或多個(gè)命令等，并且因此將參考圖片標(biāo)記為“未被用于參考”。將圖片標(biāo)記為“未被用于參考”可以影響對如早先描述的DPB中的圖片存儲(chǔ)緩沖器的清空或者解除分配。編碼器可以在作出從經(jīng)編碼字段到經(jīng)編碼幀或者反之的切換時(shí)將上面提到的命令等中的一個(gè)或多個(gè)命令等編碼在位流中。上面提到的命令等中的一個(gè)或多個(gè)命令等可以在切換到對另一個(gè)層(即，被預(yù)測的層，例如當(dāng)在圖片108處切換層時(shí)圖中的增強(qiáng)層EL1)處的圖片進(jìn)行編碼之前被包括在切換自的層(即，參考層，例如當(dāng)在圖片108處切換層時(shí)圖13中的基礎(chǔ)層)的按照解碼次序的最后一個(gè)圖片中。上面提到的命令等中的一個(gè)或多個(gè)命令等可以導(dǎo)致切換自的層的圖片被標(biāo)記為“未被用于參考”，并且因此還清空DPB圖片存儲(chǔ)緩沖器。在MV-HEVC和SHVC的當(dāng)前的草案中，存在有時(shí)被稱為早期標(biāo)記的特征，其中，子層非參考圖片當(dāng)它的TemporalId等于被解碼的最高TemporalId(即，正在使用中的操作點(diǎn)的最高TemporalId)時(shí)以及當(dāng)可以使用該子層非參考圖片作為層間預(yù)測的參考的全部圖片已被解碼時(shí)被標(biāo)記為“未被用于參考”。因此，圖片存儲(chǔ)緩沖器可以比在未應(yīng)用早期標(biāo)記時(shí)更早地被清空，這可以減少特別是分辨率特定的子DPB操作中的最大所需DPB占用。然而，存在這樣的問題：哪個(gè)是出現(xiàn)在位流中和/或?qū)ζ鋺?yīng)用早期標(biāo)記的特定訪問單元中的最高nuh_layer_id值可能不是已知的。因此，如果預(yù)期或者有可能(例如，基于諸如是VPS的序列級信息)訪問單元將已包含可能已使用第一圖片作為層間預(yù)測的參考的隨后的圖片(按照解碼次序)，則第一圖片可以保持被標(biāo)記為“被用于參考”。在一個(gè)可以與其它實(shí)施例相獨(dú)立地或者一起被應(yīng)用的實(shí)施例中，不僅在對訪問內(nèi)的一個(gè)圖片進(jìn)行解碼之后(例如，在對每個(gè)圖片進(jìn)行解碼之后)，而還在該訪問單元的全部圖片已被解碼之后，以使得該訪問單元的每個(gè)子層非參考圖片在它的TemporalId等于被解碼的最高TemporalId(即，正在使用中的操作點(diǎn)的最高TemporalId)時(shí)被標(biāo)記為“未被用于參考”的方式執(zhí)行如在之前的段落中描述的早期標(biāo)記。因此，即使訪問單元不包含全部被預(yù)測的層中的圖片，對于參考層處的圖片也執(zhí)行標(biāo)記為“未被用于參考”。然而，存在這樣的問題：哪個(gè)是接收下一個(gè)訪問單元的一個(gè)或多個(gè)NAL單元之前的一個(gè)訪問單元的最后一個(gè)編解碼器圖片或者最后一個(gè)NAL單元可能是未知的。由于下一個(gè)訪問單元可以不在對當(dāng)前的訪問單元的解碼已結(jié)束之后立即被接收，所以對于推斷訪問單元的最后一個(gè)經(jīng)編碼圖片或者NAL單元，并且因此在能夠?qū)嵤┰谠L問單元的全部經(jīng)編碼圖片已被解碼之后被執(zhí)行的過程(所述過程諸如是如在之前的段落中描述的在對訪問單元的解碼結(jié)束時(shí)被執(zhí)行的早期標(biāo)記)之前，可能存在延遲。在一個(gè)可以與其它實(shí)施例相獨(dú)立地或者一起被應(yīng)用的實(shí)施例中，編碼器將諸如是NALunit末尾(EoNALU)NAL單元的標(biāo)記按照解碼次序的訪問單元的最后一個(gè)數(shù)據(jù)片的指示編碼在位流中。在一個(gè)可以與其它實(shí)施例相獨(dú)立地或者一起被應(yīng)用的實(shí)施例中，解碼器從位流中解碼諸如是NALunit末尾(EoNALU)NAL單元的標(biāo)記按照解碼次序的訪問單元的最后一個(gè)數(shù)據(jù)片的指示。作為對解碼所述指示的響應(yīng)，解碼器執(zhí)行這樣的過程，所述過程在訪問單元的全部經(jīng)編碼圖片已被解碼之后但在對按照解碼次序的下一個(gè)訪問單元進(jìn)行解碼之前被執(zhí)行。例如，作為對解碼所述指示的響應(yīng)，解碼器執(zhí)行如在前面的段落中描述的在對訪問單元的解碼結(jié)束時(shí)被執(zhí)行的早期標(biāo)記，和/或執(zhí)行如早先描述的對訪問單元的圖片的PicOutputFlag的確定。例如當(dāng)序列末尾NAL單元或者位流末尾NAL單元出現(xiàn)在訪問單元中時(shí)，可以允許EoNALUNAL單元不出現(xiàn)。在另一個(gè)示例實(shí)施例中，將經(jīng)編碼字段和經(jīng)編碼幀放置在層中可以被實(shí)現(xiàn)為具有雙向?qū)娱g預(yù)測的一對經(jīng)耦合的層。在圖14中描繪了這種方法的一個(gè)示例。在該安排中，一對層被耦合，以使得它們不可以形成常規(guī)的分層或者單向?qū)娱g預(yù)測關(guān)系，而相反形成可以在其中執(zhí)行雙向?qū)娱g預(yù)測的層對或者層組?？梢蕴厥獾刂甘窘?jīng)耦合的層對，并且子位流提取可以將經(jīng)耦合的層對看作可以從位流中提取或者被保持在位流中的單一的單元，而經(jīng)耦合的層對內(nèi)沒有任一個(gè)層可以從位流中被單個(gè)地提取(而另一個(gè)層沒有也被提取)。由于經(jīng)耦合的層對中沒有任一個(gè)層可以與基礎(chǔ)層解碼過程相符(由于使用了層間預(yù)測)，所以全部兩個(gè)層可以是增強(qiáng)層。層依賴性信令(例如VPS中的)可以被修改，以特殊地將經(jīng)耦合的層對看作例如在指示層依賴性時(shí)的單一的單元(而可以推斷經(jīng)耦合的層對中的層之間的層間預(yù)測將被啟用)。在圖14中，已使用了使能指定參考層的哪些參考圖片可以被用作對當(dāng)前層中的圖片進(jìn)行預(yù)測的參考的對角線層間預(yù)測。假設(shè)圖片的(解)編碼次序可以從一個(gè)訪問單元到另一個(gè)訪問單元地改變，并且可以用于確定是否層N是層M的參考層或者反之，則可以利用常規(guī)的(對齊的)層間預(yù)測來類似地實(shí)現(xiàn)所述編碼安排。在又另一個(gè)示例實(shí)施例中，將經(jīng)編碼字段和經(jīng)編碼幀放置在層中可以被實(shí)現(xiàn)為增強(qiáng)層位流與外部基礎(chǔ)層的經(jīng)耦合的對。在圖15中呈現(xiàn)了這樣的被稱為增強(qiáng)層位流與外部基礎(chǔ)層的經(jīng)耦合的對的編碼安排的一個(gè)示例。在該安排中，對兩個(gè)位流進(jìn)行編碼，一個(gè)位流包括表示經(jīng)交錯(cuò)的源內(nèi)容的互補(bǔ)的字段對的經(jīng)編碼幀，并且另一個(gè)位流包括經(jīng)編碼字段。全部兩個(gè)位流被編碼為具有混合編解碼器可伸縮性的增強(qiáng)層位流。換句話說，在全部兩個(gè)位流中，僅一個(gè)增強(qiáng)層被編碼，并且基礎(chǔ)層被指示為是外部的。所述位流可以被復(fù)用成經(jīng)復(fù)用的位流，所述經(jīng)復(fù)用的位流可能不與用于增強(qiáng)層解碼過程的位流格式相符。替換地，可以諸如是在容器文件中在單獨(dú)的軌道中或者在MPEG-2傳輸流中使用隔開的PID而使用單獨(dú)的邏輯信道存儲(chǔ)和/或發(fā)送所述位流。經(jīng)復(fù)用的位流格式和/或其它信令(例如，文件格式元數(shù)據(jù)或者通信協(xié)議內(nèi)的)可以指定位流1的哪些圖片被用作對位流2中的圖片進(jìn)行預(yù)測的參考和/或反之，和/或識別位流1和2內(nèi)的具有這樣的位流間或者層間預(yù)測關(guān)系的圖片對或者圖片組。當(dāng)經(jīng)編碼字段被用于對經(jīng)編碼幀進(jìn)行預(yù)測時(shí)，可以在位流1的解碼過程內(nèi)或者作為與位流1的解碼過程有關(guān)但不包括位流1的解碼過程的位流間過程對它進(jìn)行上采樣。當(dāng)位流2的經(jīng)編碼字段的互補(bǔ)對被用于對經(jīng)編碼幀進(jìn)行預(yù)測時(shí)，可以在位流1的解碼過程內(nèi)或者作為與位流1的解碼過程有關(guān)但不包括位流1的解碼過程的位流間過程對所述字段進(jìn)行交織(逐行地)。當(dāng)經(jīng)編碼幀被用于對經(jīng)編碼字段進(jìn)行預(yù)測時(shí)，在位流2的解碼過程內(nèi)或者作為與位流2的解碼過程有關(guān)但不包括位流2的解碼過程的位流間過程，可以對它進(jìn)行下采樣，或者可以提取每隔一個(gè)的采樣行。圖15呈現(xiàn)了在其中與外部基礎(chǔ)層圖片一起使用對角線層間預(yù)測的一個(gè)示例。如圖16中圖示的，當(dāng)對跳過圖片進(jìn)行編碼而非使用對角線層間預(yù)測時(shí)，可以類似地實(shí)現(xiàn)編碼安排。當(dāng)在圖16中經(jīng)編碼字段被用于對經(jīng)編碼幀進(jìn)行預(yù)測時(shí)，可以在位流1的解碼過程內(nèi)或者作為與位流1的解碼過程有關(guān)但不包括位流1的解碼過程的位流間過程對它進(jìn)行上采樣。當(dāng)在圖16中位流2的經(jīng)編碼字段的互補(bǔ)對被用于對經(jīng)編碼幀進(jìn)行預(yù)測時(shí)，可以在位流1的解碼過程內(nèi)或者作為與位流1的解碼過程有關(guān)但不包括位流1的解碼過程的位流間過程對所述字段進(jìn)行交織(逐行地)。在全部所述兩種情況下，經(jīng)編碼幀可以是跳過圖片。當(dāng)在圖16中經(jīng)編碼幀被用于對經(jīng)編碼字段進(jìn)行預(yù)測時(shí)，在位流2的解碼過程內(nèi)或者作為與位流2的解碼過程有關(guān)但不包括位流2的解碼過程的位流間過程，可以對它進(jìn)行下采樣，或者可以提取每隔一個(gè)的采樣行，并且所述經(jīng)編碼字段可以是跳過圖片。在某些實(shí)施例中，編碼器可以在位流中指示和/或解碼器可以從位流中解碼，關(guān)于諸如是各種實(shí)施例的那些編碼安排的編碼安排的以下各項(xiàng)中的一項(xiàng)或多項(xiàng)：-位流(或者例如是圖15中示例的實(shí)施例的某些實(shí)施例中的經(jīng)復(fù)用的位流)表示經(jīng)交錯(cuò)的源內(nèi)容。在基于HEVC的編碼中，這可以在適用于位流的profile_tier_level語法結(jié)構(gòu)中利用等于0的general_progressive_source_flag和等于1的general_interlaced_source_flag來指示。-輸出圖片的序列(如被指示為將被編碼器輸出和/或被解碼器輸出的)表示經(jīng)交錯(cuò)的源內(nèi)容。-可以指示層是由表示經(jīng)編碼字段還是經(jīng)編碼幀的經(jīng)編碼圖片組成的。在基于HEVC的編碼中，這可以由SPSVUI的field_seq_flag指示。每個(gè)層可以激活不同的SPS，并且因此可以依照層單個(gè)地設(shè)置field_seq_flag。-關(guān)聯(lián)的序列中的任何時(shí)刻或者訪問單元或者包含來自單一層的單一圖片(其可以或者可以不是BL圖片)，或者包含其中較高層處的圖片是IRAP圖片的兩個(gè)圖片。在基于HEVC的編碼(例如，SHVC)中，這可以利用等于1的single_layer_for_non_irap_flag來指示。如果是這樣，則可以進(jìn)一步指示，當(dāng)兩個(gè)圖片在同一時(shí)刻或者訪問單元中出現(xiàn)時(shí)，較高層處的圖片是跳過圖片。在基于HEVC的編碼中，這可以利用等于1的higher_layer_irap_skip_flag來指示。-關(guān)聯(lián)的序列中的任何時(shí)刻或者訪問單元包含來自單一層的單一圖片。上面提到的指示可以例如位于一個(gè)或多個(gè)諸如是VPS、SPS、VPSVUI、SPSVUI的序列級語法結(jié)構(gòu)和/或一個(gè)或多個(gè)SEI消息中。替換地或者另外，上面提到的指示可以例如位于諸如是ISOBMFF的解碼器配置記錄的容器文件格式的元數(shù)據(jù)和/或諸如是MPEG-2傳輸流的描述符的通信協(xié)議頭部內(nèi)。在某些實(shí)施例中，編碼器可以在位流中指示和/或解碼器可以從位流中解碼，關(guān)于諸如是各種實(shí)施例中那些編碼安排的編碼安排的以下各項(xiàng)中的一項(xiàng)或多項(xiàng)：-對于經(jīng)編碼字段，對頂部或者底部字段的指示。-對于可以被用作層間預(yù)測的參考的經(jīng)編碼字段和/或?qū)τ诒贿M(jìn)行層間預(yù)測的經(jīng)編碼幀，將對該字段應(yīng)用的上采樣濾波的垂直相位偏移量。-對于可以被用作層間預(yù)測的參考的經(jīng)編碼字段和/或?qū)τ诒贿M(jìn)行層間預(yù)測的經(jīng)編碼幀，對經(jīng)上采樣的經(jīng)編碼字段在所述經(jīng)編碼幀內(nèi)的垂直偏移量的指示。例如，可以使用與SHVC的經(jīng)縮放參考層偏移量類似的信令，但是是以逐圖片的方式。-對于可以被用作層間預(yù)測的參考的經(jīng)編碼字段和/或?qū)τ诒贿M(jìn)行層間預(yù)測的經(jīng)編碼幀，所述幀內(nèi)的初始的垂直偏移量和/或?qū)⒃趯λ鰩闹匦虏蓸又袘?yīng)用的垂直抽取因子(例如，如上面指定的VertDecimationFactor)。上面提到的指示可以例如位于一個(gè)或多個(gè)諸如是VPS和/或SPS的序列級語法結(jié)構(gòu)中。可以例如基于所指示的層、子層或者TemporalId值、圖片類型和/或NAL單元類型指定所述指示應(yīng)用于訪問單元或者圖片的僅一個(gè)子集。例如，序列級語法結(jié)構(gòu)可以包括針對跳過圖片的上面提到的指示中的一個(gè)或多個(gè)指示。替換地或者另外，上面提到的指示可以位于訪問單元、圖片或者切片級中，例如位于PPS、APS、訪問單元頭部或者分隔符、圖片頭部或者分隔符和/或切片頭部中。替換地或者另外，上面提到的指示可以例如位于諸如是ISOBMFF的采樣附屬信息的容器文件格式的元數(shù)據(jù)和/或諸如是MPEG-2傳輸流的描述符的通信協(xié)議頭部內(nèi)。在下面，描述了以下補(bǔ)充和/或替換的實(shí)施例。具有質(zhì)量增強(qiáng)的層間預(yù)測在一個(gè)實(shí)施例中，第一未經(jīng)壓縮的互補(bǔ)字段對是與第二未經(jīng)壓縮的字段對相同的或者表示與第二未經(jīng)壓縮的字段對相同的時(shí)刻。可以認(rèn)為，表示與基礎(chǔ)層圖片相同的時(shí)刻的增強(qiáng)層圖片可以對該基礎(chǔ)層圖片的一個(gè)或全部兩個(gè)字段的質(zhì)量進(jìn)行增強(qiáng)。圖17和18呈現(xiàn)了分別與圖9和圖10中的那些示例類似的示例，但其中取代增強(qiáng)層EL中的跳過圖片，與基礎(chǔ)層幀或者字段對一致的增強(qiáng)層圖片可以對基礎(chǔ)層幀或者字段對的一個(gè)或者全部兩個(gè)字段的質(zhì)量進(jìn)行增強(qiáng)。被分隔在不同層中的頂部和底部字段HEVC版本1包括對例如通過VUI的field_seq_flag和圖片時(shí)序SEI消息的pic_struct指示交錯(cuò)源材料的支持。然而，具有正確地顯示交錯(cuò)源材料的能力取決于顯示過程。主張播放器可以忽略諸如是圖片時(shí)序SEI消息的pic_struct語法元素的指示，并且就像字段是幀一樣地顯示字段——這可能導(dǎo)致不令人滿意的回放行為。經(jīng)由將具有不同奇偶性的字段分隔到不同的層，基礎(chǔ)層解碼器將顯示僅具有單一奇偶性的字段，這可以提供穩(wěn)定和令人滿意的顯示行為?？梢砸云渲许敳亢偷撞孔侄挝挥诓煌瑢又械姆绞綄?shí)現(xiàn)各種實(shí)施例。圖19圖示出了與圖11中的示例類似的示例。為使能將頂部和底部字段分隔在不同的層中，在特定條件下當(dāng)縮放因子是1時(shí)可以使能進(jìn)行對參考層圖片的重新采樣，所述特定條件例如是當(dāng)濾波的垂直相位偏移量被指示為是特定的時(shí)和/或當(dāng)指示了參考層圖片表示具有特定奇偶性的字段而被預(yù)測的圖片表示具有相反的奇偶性的字段時(shí)。同一位流中的利用可伸縮性層和交錯(cuò)-漸進(jìn)可伸縮性的PAFF編碼在某些實(shí)施例中，可以利用一個(gè)或多個(gè)早先描述的實(shí)施例實(shí)現(xiàn)PAFF編碼。額外地，例如如早先描述的，一個(gè)或多個(gè)表示漸進(jìn)式源增強(qiáng)的層可以也被編碼和/或解碼。當(dāng)對表示漸進(jìn)式源內(nèi)容的層進(jìn)行編碼和/或解碼時(shí)，它的參考層可以是包含表示經(jīng)交錯(cuò)源內(nèi)容的互補(bǔ)字段對的經(jīng)編碼幀的層和/或一個(gè)或兩個(gè)包含經(jīng)編碼字段的層。主張?jiān)贛V-HEVC/SHVC中對與源掃描類型(漸進(jìn)式或者交錯(cuò)的)和圖片類型(幀或者字段)相關(guān)的指示的使用當(dāng)前是不明確的，因?yàn)椋?general_progressive_source_flag和general_interlaced_source_flag被包括在profile_tier_level()語法結(jié)構(gòu)中。在MV-HEVC/SHVC中，profile_tier_level()語法結(jié)構(gòu)是與輸出層集相關(guān)聯(lián)的。另外，general_progressive_source_flag和general_interlaced_source_flag的語義指CVS——據(jù)認(rèn)為其表示全部層，不只是profile_tier_level()語法結(jié)構(gòu)與之相關(guān)聯(lián)的輸出層集的層。-在SPSVUI不出現(xiàn)時(shí)，general_progressive_source_flag和general_interlaced_source_flag用于推斷指定是否pic_struct、source_scan_type和duplicate_flag語法元素出現(xiàn)在圖片時(shí)序SEI消息中的frame_field_info_present_flag的值。然而，general_progressive_source_flag和general_interlaced_source_flag不出現(xiàn)在具有大于0的nuh_layer_id的SPS中，因此對general_interlaced_source_flag在哪個(gè)profile_tier_level()語法結(jié)構(gòu)中的推斷是不明確的。編碼器可以將一個(gè)或多個(gè)指示編碼到位流中，并且解碼器可以從位流解碼一個(gè)或多個(gè)指示，例如編碼到/解碼自諸如是VPS的序列級語法結(jié)構(gòu)，其中，所述一個(gè)或多個(gè)指示可以指示，例如對于每個(gè)層，層表示經(jīng)交錯(cuò)的源內(nèi)容還是漸進(jìn)式源內(nèi)容。替換地或者另外，在HEVC擴(kuò)展中，可以在語法和/或語義和/或編碼和/或解碼中應(yīng)用以下變更：-SPS語法被修改為包括當(dāng)profile_tier_level()不出現(xiàn)在SPS中時(shí)出現(xiàn)在SPS中的layer_progressive_source_flag和layer_interlaced_source_flag語法元素。這些語法元素與具有等于0的nuh_layer_id的SPS中的general_progressive_source_flag和general_interlaced_source_flag如何指定基礎(chǔ)層的源掃描類型類似地指定源掃描類型。-當(dāng)general_progressive_source_flag、general_interlaced_source_flag、general_non_packed_constraint_flag和general_frame_only_constraint_flag出現(xiàn)在SPS中時(shí)，它們適用于對于其來說所述SPS是活躍的SPS的圖片。-當(dāng)general_progressive_source_flag、general_interlaced_source_flag、general_non_packed_constraint_flag和general_frame_only_constraint_flag出現(xiàn)在與輸出層集相關(guān)聯(lián)的profile_tier_level()語法結(jié)構(gòu)中時(shí)，它們適用于該輸出層集的輸出層和替換的輸出層(如果有的話)。-如果general_progressive_source_flag和general_interlaced_source_flag出現(xiàn)在SPS中則基于它們以及否則基于layer_progressive_source_flag和layer_interlaced_source_flag導(dǎo)出對frame_field_info_present_flag(SPSVUI中的)的值的約束和推斷。替換地或者額外地，在HEVC擴(kuò)展中，可以如下地追加profile_tier_level()語法結(jié)構(gòu)中的general_progressive_source_flag和general_interlaced_source_flag的語義。當(dāng)profile_tier_level()語法結(jié)構(gòu)被包括在是獨(dú)立的層的活躍SPS的SPS中時(shí)，general_progressive_source_flag和general_interlaced_source_flag指示是否該層包含經(jīng)交錯(cuò)或者漸進(jìn)式的源內(nèi)容，或者源內(nèi)容類型是未知的，或者源內(nèi)容類型被逐圖片地指示。當(dāng)profile_tier_level()語法結(jié)構(gòu)被包括在VPS中時(shí)，general_progressive_source_flag和general_interlaced_source_flag指示是否輸出圖片包含經(jīng)交錯(cuò)或者漸進(jìn)式的源內(nèi)容，或者源內(nèi)容類型是未知的，或者源內(nèi)容類型被逐圖片地指示，其中，根據(jù)引用profile_tier_level()語法結(jié)構(gòu)的輸出層集來確定輸出圖片。替換地或者額外地，在HEVC擴(kuò)展中，可以如下地追加profile_tier_level()語法結(jié)構(gòu)中的general_progressive_source_flag和general_interlaced_source_flag的語義。與輸出層集相關(guān)聯(lián)的profile_tier_level()語法結(jié)構(gòu)的general_progressive_source_flag和general_interlaced_source_flag指示是否輸出層的層包含經(jīng)交錯(cuò)或者漸進(jìn)式的源內(nèi)容、或者源內(nèi)容類型是未知的，或者源內(nèi)容類型被逐圖片地指定。如果輸出層集內(nèi)存在表示與在該輸出層集的VPS中指示的掃描類型不同的掃描類型的層，則那些層的活躍SPS包括具有指定該不同的掃描類型的general_progressive_source_flag和general_interlaced_source_flag值的profile_tier_level()語法結(jié)構(gòu)。上面描述的實(shí)施例使能利用諸如是SHVC的可伸縮視頻編碼進(jìn)行對經(jīng)交錯(cuò)源內(nèi)容的圖片自適應(yīng)的幀-字段編碼，而不需要調(diào)整低級編碼工具?？梢赃€使能進(jìn)行在經(jīng)編碼字段與經(jīng)編碼幀之間的預(yù)測，因此可以獲得良好的壓縮效率，所述壓縮效率是可與可以利用其中低級編碼工具被調(diào)整以使能進(jìn)行經(jīng)編碼幀與經(jīng)編碼字段之間的預(yù)測的編解碼器達(dá)到的壓縮效率相比的。下面描述了一個(gè)可以與其它實(shí)施例一起或者相獨(dú)立地被應(yīng)用的實(shí)施例。對于混合編解碼器可伸縮性，編碼器或者復(fù)用器等可以將可被稱為HEVC屬性SEI消息的SEI消息編碼和/或包括在基礎(chǔ)層位流中。HEVC屬性SEI消息可以被嵌套在例如混合編解碼器可伸縮性SEI消息內(nèi)。HEVC屬性SEI消息可以指示以下各項(xiàng)中的一項(xiàng)或多項(xiàng)：-用于確定如被MV-HEVC、SHVC等需要的關(guān)聯(lián)的外部基礎(chǔ)層圖片的輸入變量的值的語法元素。例如，該SEI消息可以包括對是否圖片是用于EL位流解碼過程的IRAP圖片的指示和/或?qū)D片的類型的指示。-用于識別EL位流中的圖片或者訪問單元的語法元素，其中，所述圖片或者訪問單元的關(guān)聯(lián)的基礎(chǔ)層圖片是可以被用作層間預(yù)測的參考的參考層圖片。例如，POC重置周期和/或與POC相關(guān)的語法元素可以被包括。-用于識別EL位流中的圖片或者訪問單元的語法元素，其中，所述圖片或者訪問單元按照解碼次序緊跟在是參考層圖片的關(guān)聯(lián)的基礎(chǔ)層圖片之后或者之前。例如，如果基礎(chǔ)層圖片充當(dāng)用于增強(qiáng)層解碼的BLA圖片，并且沒有任何EL位流圖片被認(rèn)為與和該BLA圖片相同的時(shí)刻相對應(yīng)，則可能需要識別在EL位流中哪個(gè)圖片處在該BLA圖片之后或者之前，因?yàn)樵揃LA圖片可能影響對EL位流的解碼。-用于指定將被應(yīng)用于一個(gè)或多個(gè)關(guān)聯(lián)的圖片(例如，互補(bǔ)的字段對)的重新采樣的語法元素，其中，應(yīng)用所述重新采樣是在將圖片作為經(jīng)解碼的外部基礎(chǔ)層圖片提供給EL解碼之前的，和/或是作為EL解碼過程內(nèi)的對經(jīng)解碼的外部基礎(chǔ)層圖片的層間處理的一部分的。在一個(gè)示例實(shí)施例中，以下語法等可以被用于HEVC屬性SEI消息：可以如下地指定HEVC屬性SEI消息的語義。等于0的hevc_irap_flag指定關(guān)聯(lián)的圖片不是外部的基礎(chǔ)層IRAP圖片。等于1的hevc_irap_flag指定關(guān)聯(lián)的圖片是外部的基礎(chǔ)層IRAP圖片。當(dāng)關(guān)聯(lián)的圖片被用作外部的基礎(chǔ)層圖片時(shí)，等于0、1和2的hevc_irap_type分別指定nal_unit_type等于IDR_W_RADL、CRA_NUT和BLA_W_LP。hevc_poc_reset_period_id指定關(guān)聯(lián)的HEVC訪問單元的poc_reset_period_id值。如果hevc_pic_order_cnt_val_sign等于1，則導(dǎo)出hevcPoc等于hevc_abs_pic_order_cnt_val；否則，導(dǎo)出hevcPoc等于hevc_abs_pic_order_cnt_val-1。hevcPoc指定關(guān)聯(lián)的HEVC訪問單元在由hevc_poc_reset_period_id標(biāo)識的POC重置周期內(nèi)的PicOrderCntVal值。除了或者取代HEVC屬性SEI消息，可以在例如是以下各項(xiàng)中的一項(xiàng)或多項(xiàng)中的其它位置提供與在SEI消息的語法元素中提供的信息類似的信息：-在BL位流內(nèi)的與基礎(chǔ)層圖片相關(guān)聯(lián)的前綴NAL(等)內(nèi)。-在BL位流內(nèi)的增強(qiáng)層封裝NAL單元(等)內(nèi)。-在EL位流內(nèi)的基礎(chǔ)層封裝NAL單元(等)內(nèi)。-EL位流內(nèi)的SEI消息或者SEI消息內(nèi)的指示。-符合文件格式的元數(shù)據(jù)，該元數(shù)據(jù)位于包括或者引用BL位流和EL位流的文件處或者被所述文件引用。例如，ISO基礎(chǔ)媒體文件格式的采樣附屬信息、采樣分組和/或同步元數(shù)據(jù)軌道可以用于包括基礎(chǔ)層的軌道。-通信協(xié)議內(nèi)的元數(shù)據(jù)，諸如是MPEG-2傳輸流的描述符內(nèi)的元數(shù)據(jù)。接下來給出一個(gè)與利用ISOBMFF的采樣附屬信息機(jī)制提供與上面描述的HEVC屬性SEI消息類似的基礎(chǔ)層圖片屬性相關(guān)的示例實(shí)施例。當(dāng)多層HEVC位流使用外部的基礎(chǔ)層時(shí)(即，當(dāng)HEVC位流的活躍VPS具有等于0的vps_base_layer_internal_flag時(shí))，例如由文件創(chuàng)建器為可以使用外部的基礎(chǔ)層作為層間預(yù)測的參考的軌道提供具有等于‘lhvc’(或者某個(gè)其它的所選擇的四字符代碼)的aux_info_type和等于0(或者某個(gè)其它的值)的aux_info_type_parameter的采樣附屬信息。采樣附屬信息的存儲(chǔ)遵循ISOBMFF的規(guī)范。具有等于‘lhvc’的aux_info_type的采樣附屬信息是以下的信息或者類似的信息：可以如下面描述那樣或者類似地指定具有等于‘lhvc’的aux_info_type的采樣附屬信息的語義。在該語義中，術(shù)語當(dāng)前的采樣指這樣的采樣，該采樣附屬信息是與所述采樣相關(guān)聯(lián)的并且應(yīng)當(dāng)被提供以用于對所述采樣進(jìn)行解碼。-等于0的bl_pic_used_flag指定沒有任何經(jīng)解碼的基礎(chǔ)層圖片被用于對當(dāng)前的采樣進(jìn)行解碼。等于1的bl_pic_used_flag指定經(jīng)解碼的基礎(chǔ)層圖片可以被用于對當(dāng)前的采樣進(jìn)行解碼。-bl_irap_pic_flag指定，當(dāng)bl_pic_used_flag等于1時(shí)，當(dāng)作為用于對當(dāng)前的采樣進(jìn)行解碼的經(jīng)解碼基礎(chǔ)層圖片提供經(jīng)解碼圖片時(shí)，該關(guān)聯(lián)的經(jīng)解碼圖片的BlIrapPicFlag變量的值。-bl_irap_nal_unit_type指定，當(dāng)bl_pic_used_flag等于1且bl_irap_pic_flag等于1時(shí)，當(dāng)作為用于對當(dāng)前的采樣進(jìn)行解碼的經(jīng)解碼基礎(chǔ)層圖片提供經(jīng)解碼圖片時(shí)，該關(guān)聯(lián)的經(jīng)解碼圖片的nal_unit_type語法元素的值。-sample_offset給出，當(dāng)bl_pic_used_flag等于1時(shí)，關(guān)聯(lián)的采樣在鏈接的軌道中的相對索引。由對鏈接的軌道中的關(guān)聯(lián)的采樣進(jìn)行解碼產(chǎn)生的經(jīng)解碼圖片是應(yīng)當(dāng)被提供以用于對當(dāng)前的采樣進(jìn)行解碼的關(guān)聯(lián)的經(jīng)解碼圖片。等于0的sample_offset指定關(guān)聯(lián)的采樣具有與當(dāng)前的采樣的解碼時(shí)間相比相同或者緊跟在之前的解碼時(shí)間；等于1的sample_offset指定關(guān)聯(lián)的采樣是相對于針對等于0的sample_offset導(dǎo)出的關(guān)聯(lián)的采樣的下一個(gè)采樣；等于-1的sample_offset指定關(guān)聯(lián)的采樣是相對于針對等于0的sample_offset導(dǎo)出的關(guān)聯(lián)的采樣的前一個(gè)采樣，等等。接下來提供一個(gè)示例實(shí)施例，該示例實(shí)施例是與對使用ISOBMFF的采樣附屬信息機(jī)制傳達(dá)的與上面描述的HEVC屬性SEI消息類似的基礎(chǔ)層圖片屬性進(jìn)行解析相關(guān)的。當(dāng)多層HEVC位流使用外部的基礎(chǔ)層時(shí)(即，當(dāng)HEVC位流的活躍VPS具有等于0的vps_base_layer_internal_flag時(shí))，例如由文件解析器對于可以使用外部的基礎(chǔ)層作為層間預(yù)測的參考的軌道解析具有等于‘lhvc’(或者某個(gè)其它的所選擇的四字符代碼)的aux_info_type和等于0(或者某個(gè)其它的值)的aux_info_type_parameter的采樣附屬信息。具有等于‘lhvc’的aux_info_type的采樣附屬信息的語法和語義可以是與上面描述的那些語法和語義等類似的。當(dāng)對于EL軌道采樣解析等于0的bl_pic_used_flag時(shí)，沒有任何經(jīng)解碼的基礎(chǔ)層圖片被提供以用于對(該EL軌道的)當(dāng)前的采樣的EL解碼過程。當(dāng)對于EL軌道采樣解析等于1的bl_pic_used_flag時(shí)，所標(biāo)識的BL圖片被解碼(除非它已被解碼)，并且經(jīng)解碼的BL圖片被提供給對當(dāng)前的采樣的EL解碼過程。當(dāng)?shù)扔?的bl_pic_used_flag被解析時(shí)，語法元素bl_irap_pic_flag、bl_irap_nal_unit_type和sample_offset中的至少一些項(xiàng)也被解析。通過如上面描述的sample_offset語法元素來標(biāo)識BL圖片。與經(jīng)解碼BL圖片一起或者與經(jīng)解碼BL圖片相關(guān)聯(lián)地，經(jīng)解碼的信息bl_irap_pic_flag和bl_irap_nal_unit_type(或者任何類似的指示性的信息)也被提供給對當(dāng)前的采樣的EL解碼過程。EL解碼過程可以如早先描述地工作。接下來提供一個(gè)與通過外部基礎(chǔ)層提取器NAL單元結(jié)構(gòu)來提供與上面描述的HEVC屬性SEI消息類似的基礎(chǔ)層圖片屬性相關(guān)的示例實(shí)施例。外部基礎(chǔ)層提取器NAL單元被與ISO/IEC14496-15中指定的普通提取器NAL單元類似地指定，但額外地為經(jīng)解碼基礎(chǔ)層圖片提供BlIrapPicFlag和nal_unit_type。當(dāng)經(jīng)解碼基礎(chǔ)層圖片被用作對EL采樣進(jìn)行解碼的參考時(shí)，文件創(chuàng)建器(或者另一個(gè)實(shí)體)將外部基礎(chǔ)層提取器NAL單元包括在EL采樣中，其中，語法元素值標(biāo)識基礎(chǔ)層軌道、在對基礎(chǔ)層圖片進(jìn)行解碼時(shí)被用作輸入的基礎(chǔ)層采樣和(可選地)在對基礎(chǔ)層圖片進(jìn)行解碼時(shí)被用作輸入的基礎(chǔ)層采樣內(nèi)的字節(jié)范圍。文件創(chuàng)建器還獲得經(jīng)解碼基礎(chǔ)層圖片的BlIrapPicFlag和nal_unit_type的值，并且將那些值包括在外部基礎(chǔ)層提取器NAL單元中。接下來提供一個(gè)示例實(shí)施例，該示例實(shí)施例是與對使用外部基礎(chǔ)層提取器NAL單元結(jié)構(gòu)傳達(dá)的與上面描述的HEVC屬性SEI消息類似的基礎(chǔ)層圖片屬性進(jìn)行解析相關(guān)的。文件解析器(或者另一個(gè)實(shí)體)從EL采樣中解析外部基礎(chǔ)層提取器NAL單元，并且因此推斷經(jīng)解碼基礎(chǔ)層圖片可以被用作對該EL采樣進(jìn)行解碼的參考。文件解析器從外部基礎(chǔ)層提取器NAL單元中解析哪個(gè)基礎(chǔ)層圖片被解碼，以獲得可以被用作對EL采樣進(jìn)行解碼的參考的經(jīng)解碼基礎(chǔ)層圖片。例如，文件解析器可以從外部基礎(chǔ)層提取器NAL單元中解析這樣的語法元素，所述語法元素標(biāo)識基礎(chǔ)層軌道、標(biāo)識在對基礎(chǔ)層圖片進(jìn)行解碼時(shí)被用作輸入的基礎(chǔ)層采樣(例如，通過如早先利用ISO/IEC14496-15的提取器機(jī)制描述的解碼時(shí)間)和(可選地)在對基礎(chǔ)層圖片進(jìn)行解碼時(shí)被用作輸入的基礎(chǔ)層采樣內(nèi)的字節(jié)范圍。文件解析器可以還從外部基礎(chǔ)層提取器NAL單元中獲得經(jīng)解碼基礎(chǔ)層圖片的BlIrapPicFlag和nal_unit_type的值。與經(jīng)解碼BL圖片一起或者相關(guān)聯(lián)地，經(jīng)解析的信息BlIrapPicFlag和nal_unit_type(或者任何類似的指示性的信息)也被提供給對當(dāng)前的EL采樣的EL解碼過程。EL解碼過程可以如早先描述的那樣工作。接下來給出一個(gè)與在諸如是RTP凈荷格式的分組化格式內(nèi)提供與上面描述的HEVC屬性SEI消息類似的基礎(chǔ)層圖片屬性相關(guān)的示例實(shí)施例?？梢岳缤ㄟ^以下手段中的一個(gè)或多個(gè)手段來提供基礎(chǔ)層圖片屬性：-(部分上或者完全地)包括經(jīng)編碼的EL圖片的分組的凈荷頭部。例如，可以使用凈荷頭部擴(kuò)展機(jī)制。例如，可以使用PACI擴(kuò)展(如對于H.265的RTP凈荷格式指定的)等來包含這樣的結(jié)構(gòu)，所述結(jié)構(gòu)包括指示經(jīng)解碼基礎(chǔ)層圖片的BlIrapPicFlag以及至少當(dāng)BlIrapPicFlag為真時(shí)指示經(jīng)解碼基礎(chǔ)層圖片的nal_unit_type的信息。-(部分上或者完全地)包括經(jīng)編碼的BL圖片的分組的凈荷頭部。-(部分上或者完全地)包括EL圖片的分組內(nèi)的例如與上面描述的外部基礎(chǔ)層提取器NAL單元類似的類NAL單元的結(jié)構(gòu)，但其中，通過與如上面描述的基于軌道的手段不同的手段來建立EL圖片與各自的BL圖片之間的對應(yīng)關(guān)系。例如，所述類NAL單元的結(jié)構(gòu)可以包括指示經(jīng)解碼基礎(chǔ)層圖片的BlIrapPicFlag以及至少當(dāng)BlIrapPicFlag為真時(shí)指示經(jīng)解碼基礎(chǔ)層圖片的nal_unit_type的信息。-(部分上或者完全地)包括BL圖片的分組內(nèi)的類NAL單元的結(jié)構(gòu)。在上面的示例中，可以隱含地經(jīng)由假設(shè)BL圖片和EL圖片具有相同的RTP時(shí)間戳來建立EL圖片與各自的BL圖片之間的對應(yīng)關(guān)系。替換地，可以經(jīng)由以下操作來建立EL圖片與各自的BL圖片之間的對應(yīng)關(guān)系：將諸如是BL圖片的第一個(gè)單元的解碼次序號(DON)或者BL圖片的圖片次序計(jì)數(shù)(POC)的BL圖片的標(biāo)識符包括在與EL圖片相關(guān)聯(lián)的類NAL單元的結(jié)構(gòu)或者頭部擴(kuò)展中；或者反之，將EL圖片的標(biāo)識符包括在與BL圖片相關(guān)聯(lián)的類NAL單元的結(jié)構(gòu)或者頭部擴(kuò)展中。在一個(gè)實(shí)施例中，當(dāng)經(jīng)解碼的基礎(chǔ)層圖片可以被用作對EL圖片進(jìn)行解碼的參考時(shí)，發(fā)送器、網(wǎng)關(guān)或者另一個(gè)實(shí)體例如在凈荷頭部中、在類NAL單元的結(jié)構(gòu)內(nèi)和/或使用SEI消息指示這樣的信息，所述信息指示經(jīng)解碼基礎(chǔ)層圖片的BlIrapPicFlag的值以及至少當(dāng)BlIrapPicFlag為真時(shí)指示經(jīng)解碼基礎(chǔ)層圖片的nal_unit_type的值。在一個(gè)實(shí)施例中，接收器、網(wǎng)關(guān)或者另一個(gè)實(shí)體例如從凈荷頭部、從類NAL單元的結(jié)構(gòu)和/或從SEI消息中解析這樣的信息，所述信息指示經(jīng)解碼基礎(chǔ)層圖片的BlIrapPicFlag的值以及至少當(dāng)BlIrapPicFlag為真時(shí)指示經(jīng)解碼基礎(chǔ)層圖片的nal_unit_type的值。與經(jīng)解碼BL圖片一起或者相關(guān)聯(lián)地，經(jīng)解析的信息BlIrapPicFlag和nal_unit_type(或者任何類似的指示性的信息)也被提供給對關(guān)聯(lián)的EL圖片的EL解碼過程。EL解碼過程可以如早先描述的那樣工作。EL位流編碼器或者EL位流解碼器可以例如經(jīng)由提供被編碼或者解碼的EL圖片的poc_reset_period_id和PicOrderCntVal的值來從BL位流編碼器或者BL位流解碼器請求外部的基礎(chǔ)層圖片。如果BL位流編碼器或者BL位流解碼器例如基于經(jīng)解碼的HEVC屬性SEI消息推斷存在兩個(gè)與同一EL圖片或者訪問單元相關(guān)聯(lián)的BL圖片，則所述兩個(gè)經(jīng)解碼的BL圖片可以按照預(yù)定義的次序被提供給EL位流編碼器或者EL位流解碼器，所述按照預(yù)定義的次序諸如是按照BL圖片或者處在不是EL位流編碼或者解碼中的IRAP圖片的圖片之前的充當(dāng)EL位流編碼或者解碼中的IRAP圖片的圖片的各自的解碼次序。如果BL位流編碼器或者BL位流解碼器例如基于經(jīng)解碼的HEVC屬性SEI消息推斷存在一個(gè)與EL圖片或者訪問單元相關(guān)聯(lián)的BL圖片，則BL位流編碼器或者BL位流解碼器可以將該經(jīng)解碼的BL圖片提供給EL位流編碼器或者EL位流解碼器。如果BL位流編碼器或者BL位流解碼器例如基于經(jīng)解碼的HEVC屬性SEI消息推斷不存在任何與EL圖片或者訪問單元相關(guān)聯(lián)的BL圖片，則BL位流編碼器或者BL位流解碼器可以向EL位流編碼器或者EL位流解碼器提供對不存在任何關(guān)聯(lián)的BL圖片的指示。當(dāng)從外部基礎(chǔ)層進(jìn)行的對角線預(yù)測正在使用中時(shí)，EL位流編碼器或者EL位流解碼器可以經(jīng)由提供每個(gè)可以被使用或者被用作對角線預(yù)測的參考的圖片的poc_reset_period_id和PicOrderCntVal的值來從BL位流編碼器或者BL位流解碼器請求外部的基礎(chǔ)層圖片。例如，在被用于標(biāo)識對角線參考圖片的額外的短期RPS等中，在額外的短期RPS中指示或者從額外的短期RPS中導(dǎo)出的PicOrderCntVal值可以被EL位流編碼器或者EL位流解碼器用于從BL位流編碼器或者BL位流解碼器請求外部的基礎(chǔ)層圖片，并且當(dāng)前的被編碼或者解碼的EL圖片的poc_reset_period_id可以也在請求外部的基礎(chǔ)層圖片時(shí)被使用。下面描述了一個(gè)可以與其它實(shí)施例一起或者相獨(dú)立地被應(yīng)用的實(shí)施例。幀兼容(又稱經(jīng)幀打包)的視頻被編碼到基礎(chǔ)層中和/或從基礎(chǔ)層中被解碼?；A(chǔ)層可以被編碼器(或者另一個(gè)實(shí)體)指示和/或被解碼器(或者另一個(gè)實(shí)體)解碼為包括經(jīng)幀打包的內(nèi)容，其中，例如通過以下各項(xiàng)來進(jìn)行幀打包：通過諸如是HEVC的幀打包安排SEI消息的SEI消息，和/或通過可以被包括在VPS和/或SPS中的諸如是HEVC的profile_tier_level()語法結(jié)構(gòu)的general_non_packed_constraint_flag的參數(shù)集。等于1的general_non_packed_constraint_flag指定，CVS中既沒出現(xiàn)幀打包安排SEI消息也沒出現(xiàn)經(jīng)分段的矩形幀打包安排SEI消息，即，基礎(chǔ)層未被指示為包括經(jīng)幀打包的內(nèi)容。等于0的general_non_packed_constraint_flag指定，CVS中可以或者可以不存在一個(gè)或多個(gè)幀打包安排SEI消息或者經(jīng)分段的矩形幀打包安排SEI消息，即，基礎(chǔ)層可以被指示為包括經(jīng)幀打包的內(nèi)容?？梢岳缤ㄟ^諸如是VPS的序列級語法結(jié)構(gòu)在位流中編碼和/或從位流中解碼，增強(qiáng)層表示對由基礎(chǔ)層表示的視圖中的一個(gè)視圖的全分辨率增強(qiáng)?？梢岳缡褂媒?jīng)縮放參考層偏移量和/或類似的信息由編碼器在位流中指示和/或由解碼器從位流中解碼被打包在基礎(chǔ)層圖片內(nèi)的視圖與增強(qiáng)層的空間關(guān)系。所述空間關(guān)系可以指示對表示一個(gè)視圖的基礎(chǔ)層圖片的組成圖片的上采樣，其中，為將經(jīng)上采樣的組成圖片用作對增強(qiáng)層圖片進(jìn)行預(yù)測的參考圖片而應(yīng)用所述上采樣。各種其它的所描述的實(shí)施例可以在由編碼器指示或者由解碼器解碼基礎(chǔ)層圖片與增強(qiáng)層圖片的關(guān)聯(lián)時(shí)被使用。下面描述了一個(gè)可以與其它實(shí)施例一起或者相獨(dú)立地被應(yīng)用的實(shí)施例。至少一個(gè)冗余圖片被編碼和/或解碼。所述至少一個(gè)冗余的經(jīng)編碼圖片位于在HEVC上下文中具有大于0的nuh_layer_id的增強(qiáng)層中。包含所述至少一個(gè)冗余圖片的層不包含主要圖片。為冗余圖片層指派它自身的可伸縮性標(biāo)識符類型(其在HEVC擴(kuò)展的上下文中可以被稱為ScalabilityId)，或者它可以是附屬圖片層(并且可以在HEVC擴(kuò)展的上下文中為它指派AuxId值)。AuxId值可以是專用于指示冗余圖片層的。替換地，可以使用剩余未被指定的AuxId值(例如，HEVC擴(kuò)展的上下文中的128到143(含)的范圍中的值)，并且可以利用SEI消息(例如，冗余圖片屬性SEI消息可以被指定)來指示附屬圖片層包含冗余圖片。編碼器可以在位流中指示和/或解碼器可以從位流中解碼：冗余圖片層可以使用從“主要”圖片層(其可以是基礎(chǔ)層)進(jìn)行的層間預(yù)測。例如，在HEVC擴(kuò)展的上下文中，可以將VPS擴(kuò)展的direct_dependency_flag用于這樣的目的?？赡芾缭诰幋a標(biāo)準(zhǔn)中要求，冗余圖片不使用從同一層的其它圖片進(jìn)行的之間預(yù)測，并且它們可以僅使用(從主要圖片層進(jìn)行的)對角線層間預(yù)測。可能例如在編碼標(biāo)準(zhǔn)中要求，每當(dāng)冗余圖片層中存在冗余圖片時(shí)，同一訪問單元中存在主要圖片?？梢栽谡Z義上將冗余圖片層的特性描繪為，使得冗余圖片層的經(jīng)解碼圖片具有與同一訪問單元中的主要圖片層的圖片相似的內(nèi)容。因此，在與冗余圖片相同的訪問單元中的主要圖片不出現(xiàn)(即，意外的完全的圖片丟失)或者解碼失敗(即，部分的圖片丟失)時(shí)，冗余圖片可以被用作對主要圖片層中的圖片的預(yù)測的參考。主張上面提到的要求的結(jié)果是，冗余圖片需要僅在各自的主要圖片未被(成功地)解碼時(shí)被解碼，并且不需要為冗余圖片維護(hù)任何單獨(dú)的子DPB。在一個(gè)實(shí)施例中，主要圖片層是第一EL位流(具有外部的基礎(chǔ)層)中的增強(qiáng)層，并且冗余圖片層是第二EL位流(具有外部的基礎(chǔ)層)中的增強(qiáng)層。換句話說，在該安排中，對兩個(gè)位流進(jìn)行編碼，一個(gè)位流包括主要圖片，并且另一個(gè)位流包括冗余圖片。所述全部兩個(gè)位流被編碼為具有混合編解碼器可伸縮性的增強(qiáng)層位流。換句話說，在所述全部兩個(gè)位流中，僅增強(qiáng)層被編碼，并且基礎(chǔ)層被指示為是外部的。所述位流可以被復(fù)用成經(jīng)復(fù)用的位流，該經(jīng)復(fù)用的位流可能不符合用于增強(qiáng)層解碼過程的位流格式。替換地，可以使用單獨(dú)的邏輯信道(諸如在容器文件中的單獨(dú)的軌道中或者使用MPEG-2傳輸流中的隔開的PID)來存儲(chǔ)和/或發(fā)送所述位流。編碼器可以將主要圖片EL位流的圖片編碼為，使得它們除了在隨后描述的特殊情況下之外可以僅使用內(nèi)部和之間預(yù)測(相同層內(nèi)的)而不使用層間預(yù)測。編碼器可以將冗余圖片EL位流的圖片編碼為，使得它們可以使用內(nèi)部和之間預(yù)測(相同層內(nèi)的)以及從與主要圖片EL位流相對應(yīng)的外部基礎(chǔ)層進(jìn)行的層間預(yù)測。然而，編碼器可以省略使用如上面描述的冗余圖片EL位流中的之間預(yù)測(從相同層內(nèi)的圖片進(jìn)行的)。編碼器和/或復(fù)用器可以在經(jīng)復(fù)用的位流格式和/或其它信令(例如，文件格式元數(shù)據(jù)或者通信協(xié)議內(nèi)的)中指示位流1(例如，主要圖片EL位流)的哪些圖片被用作對位流2(例如，冗余圖片EL位流)中的圖片進(jìn)行預(yù)測的參考，和/或反之；和/或識別具有這樣的位流間或者層間預(yù)測關(guān)系的位流1和2內(nèi)的圖片對或者圖片組。在一種特殊情況下，編碼器可以將這樣的指示編碼在經(jīng)復(fù)用的位流中：冗余圖片EL位流的圖片被用作對主要圖片EL位流的圖片的預(yù)測的參考。換句話說，所述指示指示了，冗余圖片就像它是主要圖片EL位流的外部基礎(chǔ)層的參考層圖片一樣地被使用。該特殊情況可以由編碼器(等)例如基于來自遠(yuǎn)端解碼器或者接收器等的一個(gè)或多個(gè)反饋消息來確定。所述一個(gè)或多個(gè)反饋消息可以指示，主要圖片EL位流的一個(gè)或多個(gè)圖片(或者其一部分)已缺席的或者還未被成功地解碼。額外地，一個(gè)或多個(gè)反饋消息可以指示，來自冗余圖片EL位流的冗余圖片已被接收并且被成功地解碼。因此，為避免使用主要圖片EL位流的未被接收的或者被不成功地解碼的圖片作為對主要圖片EL位流的隨后的圖片的預(yù)測的參考，編碼器可以確定使用冗余圖片EL位流的一個(gè)或多個(gè)圖片作為對主要圖片EL位流的隨后的圖片的預(yù)測的參考并且指示所述使用。解碼器或者解復(fù)用器等可以從經(jīng)復(fù)用的位流中解碼這樣的指示：冗余圖片EL位流的圖片被用作對主要圖片EL位流的圖片的預(yù)測的參考。作為響應(yīng)，解碼器或者解復(fù)用器等可以對冗余圖片EL位流的所指示的圖片進(jìn)行解碼，并且作為用于主要圖片EL位流解碼的經(jīng)解碼外部基礎(chǔ)層圖片提供經(jīng)解碼的冗余圖片。所提供的經(jīng)解碼外部基礎(chǔ)層圖片可以被用作對主要圖片EL位流的一個(gè)或多個(gè)圖片的解碼時(shí)的層間預(yù)測的參考。下面描述了一個(gè)可以與其它實(shí)施例一起或者相獨(dú)立地被應(yīng)用的實(shí)施例。編碼器對至少兩個(gè)具有不同的空間分辨率的EL位流進(jìn)行編碼以實(shí)現(xiàn)自適應(yīng)分辨率變更功能。當(dāng)從較低分辨率向較高分辨率的切換發(fā)生時(shí)，較低分辨率EL位流的一個(gè)或多個(gè)經(jīng)解碼的圖片作為用于較高分辨率EL位流編碼和/或解碼的外部基礎(chǔ)層圖片被提供，并且所述外部基礎(chǔ)層圖片可以被用作層間預(yù)測的參考。當(dāng)從較高分辨率向較低分辨率的切換發(fā)生時(shí)，較高分辨率EL位流的一個(gè)或多個(gè)經(jīng)解碼的圖片作為用于較低分辨率EL位流編碼和/或解碼的外部基礎(chǔ)層圖片被提供，并且所述外部基礎(chǔ)層圖片可以被用作層間預(yù)測的參考。在此情況下，對經(jīng)解碼的較高分辨率圖片的下采樣可以例如在位流間過程中或者在較低分辨率EL位流編碼和/或解碼內(nèi)被執(zhí)行。因此，當(dāng)與伴隨可伸縮視頻編碼的用于實(shí)現(xiàn)自適應(yīng)分辨率變更的常規(guī)方法相比時(shí)，從較高分辨率圖片(常規(guī)上在較高層處)對較低分辨率圖片(常規(guī)上在較低層處)進(jìn)行的層間預(yù)測可以發(fā)生?？梢栽趯?shí)施例中使用以下的定義。層樹可以被定義為與層間預(yù)測依賴性有關(guān)的層的集合?；A(chǔ)層樹可以被定義為包括基礎(chǔ)層的層樹。非基礎(chǔ)層樹可以被定義為不包括基礎(chǔ)層的層樹。獨(dú)立層可以被定義為不具有直接參考層的層。獨(dú)立非基礎(chǔ)層可以被定義為不是基礎(chǔ)層的獨(dú)立層。圖20a提供了MV-HEVC(等)中的這些定義的示例。該示例呈現(xiàn)了3視圖的多視圖視頻加深度MV-HEVC位流可以如何分配nuh_layer_id值。由于在MV-HEVC中不存在任何從紋理視頻對深度或者反之的預(yù)測，所以存在包含“基礎(chǔ)”深度視圖的獨(dú)立非基礎(chǔ)層。位流中存在兩個(gè)層樹，一個(gè)層樹(基礎(chǔ)層樹)包含紋理視頻的層，并且另一個(gè)層樹(非基礎(chǔ)層樹)包含深度層。額外地，可以使用以下的定義。層子樹可以被定義為層樹的層的子集，該子集包括該子集內(nèi)的層的全部直接和間接參考層。非基礎(chǔ)層子樹可以被定義為不包括基礎(chǔ)層的層子樹。參考圖20a，層子樹可以例如由具有等于0和2的nuh_layer_id的層組成。非基礎(chǔ)層子樹的一個(gè)示例由具有等于1和3的nuh_layer_id的層組成。層子樹也可以包含層樹的全部層。層樹可以包含多于一個(gè)獨(dú)立層。層樹分區(qū)可以因此被定義為層樹的層的子集，該子集包括正好一個(gè)獨(dú)立層以及全部它的直接或者間接被預(yù)測的層(除非它們被包括在同一層樹的具有較小索引的層樹分區(qū)中)?？梢园凑諏訕涞莫?dú)立層的遞增的層標(biāo)識符次序(例如，在MV-HEVC、SHVC等中按照遞增的nuh_layer_id次序)導(dǎo)出層樹的層樹分區(qū)。圖20b呈現(xiàn)了具有兩個(gè)獨(dú)立層的層樹的一個(gè)示例。具有等于1的nuh_layer_id的層可以是例如基礎(chǔ)層的感興趣區(qū)域增強(qiáng)，而具有等于2的nuh_layer_id的層可以在質(zhì)量方面或者在空間上對整個(gè)基礎(chǔ)層圖片進(jìn)行增強(qiáng)。圖20b的層樹被分割成如圖中所示的兩個(gè)層樹分區(qū)。非基礎(chǔ)層子樹因此可以是非基礎(chǔ)層樹的子集或者具有大于0的分區(qū)索引的基礎(chǔ)層樹的層樹分區(qū)。例如，圖20b中的層樹分區(qū)1是非基礎(chǔ)層子樹。額外地，可以使用以下的定義。額外層集可以被定義為具有外部基礎(chǔ)層的位流的層的集合或者一個(gè)或多個(gè)非基礎(chǔ)層子樹的層的集合。額外獨(dú)立層集可以被定義為由一個(gè)或多個(gè)非基礎(chǔ)層子樹組成的層集。在某些實(shí)施例中，可以使用輸出層集嵌套SEI消息。輸出層集嵌套SEI消息可以被定義為，用于提供用于將SEI消息與一個(gè)或多個(gè)額外層集或者一個(gè)或多個(gè)輸出層集相關(guān)聯(lián)的機(jī)制。輸出層集SEI消息的語法可以例如是如下的語法或者任何類似的語法：可以例如如下地指定輸出層集嵌套SEI消息的語義。輸出層集嵌套SEI消息提供將SEI消息與一個(gè)或多個(gè)額外層集或者一個(gè)或多個(gè)輸出層集相關(guān)聯(lián)的機(jī)制。輸出層集嵌套SEI消息包含一個(gè)或多個(gè)SEI消息。等于0的ols_flag指定被嵌套的SEI消息是與通過ols_idx[i]來標(biāo)識的額外層集相關(guān)聯(lián)的。等于1的ols_flag指定被嵌套的SEI消息是與通過ols_idx[i]來標(biāo)識的輸出層集相關(guān)聯(lián)的。當(dāng)NumAddLayerSets等于0時(shí)，ols_flag應(yīng)當(dāng)?shù)扔?。num_ols_indices_minus1加1指定被嵌套SEI消息所關(guān)聯(lián)的額外層集或者輸出層集的索引的數(shù)量。ols_idx[i]指定被嵌套SEI消息所關(guān)聯(lián)的在活躍VPS中指定的額外層集或者輸出層集的索引。ols_nesting_zero_bit可能例如被編碼標(biāo)準(zhǔn)要求為等于0。下面描述一個(gè)可以與其它實(shí)施例一起或者相獨(dú)立地被應(yīng)用的實(shí)施例。編碼器可以在位流中指示和/或解碼器可以從位流中解碼與額外層集相關(guān)的指示。例如，可以在VPS擴(kuò)展中在層集索引的以下值范圍中的任一個(gè)或者全部兩個(gè)值范圍中指定額外層集：當(dāng)外部基礎(chǔ)層正在使用中時(shí)，用于額外層集的索引的第一范圍；以及，用于額外獨(dú)立層集(其可以被轉(zhuǎn)換成相符的獨(dú)立位流)的索引的第二范圍?？梢岳缭诰幋a標(biāo)準(zhǔn)中指定，不要求所指示的額外層集利用常規(guī)的子位流提取過程生成相符的位流。用于指定額外層集的語法可以利用在諸如是VPS的序列級結(jié)構(gòu)中指示的層依賴性信息。在一個(gè)示例實(shí)施例中，每個(gè)層樹分區(qū)中的最高層被編碼器指示為指定額外層集，并且被解碼器解碼為導(dǎo)出額外層集。例如，可以對于每個(gè)層樹的每個(gè)層樹分區(qū)利用基于1的索引來指示額外層集(按照預(yù)定義的次序，所述預(yù)定義的次序諸如是每個(gè)層樹分區(qū)的獨(dú)立層的遞增的層標(biāo)識符次序)，并且索引0可以用于指示沒有任何來自各自的層樹分區(qū)的圖片被包括在層樹中。對于額外獨(dú)立層集，編碼器可以額外地指示，在應(yīng)用非基礎(chǔ)層子樹提取過程之后，哪個(gè)獨(dú)立層變成基礎(chǔ)層。如果層集包含僅一個(gè)獨(dú)立非基礎(chǔ)層，則所述信息可以被編碼器和/或解碼器推斷而非被顯式地指示，例如被編碼器在VPS擴(kuò)展中推斷和/或被解碼器例如從VPS擴(kuò)展中推斷。諸如是針對被重寫的位流的VPS和/或HRD參數(shù)(例如，HEVC的緩沖周期、圖片時(shí)序和/或解碼單元信息SEI消息)的某些屬性可以被包括在具體的嵌套SEI消息中，所述具體的嵌套SEI消息被指示為僅在重寫過程中適用，以使得被嵌套的信息被解封裝。在一個(gè)實(shí)施例中，嵌套SEI消息適用于可以例如由層集索引標(biāo)識的指定的層集。當(dāng)層集索引指向一個(gè)或多個(gè)非基礎(chǔ)層子樹的層集時(shí)，可以推斷它將在針對該一個(gè)或多個(gè)非基礎(chǔ)層子樹的重寫過程中被應(yīng)用。在一個(gè)實(shí)施例中，與上描述的SEI消息相同或者相似的輸出層集SEI消息可以用于指示被嵌套的SEI消息所適用的額外層集。編碼器可以在額外獨(dú)立層集已被重寫為符合獨(dú)立位流的之后生成適用于所述額外獨(dú)立層集的一個(gè)或多個(gè)VPS，并且將那些VPS包括在例如VPS重寫SEI消息中。VPS重寫SEI消息等可以被包括在諸如是輸出層集嵌套SEI消息(例如，如上面描述的)的合適的嵌套SEI消息中。額外地，編碼器或者HRD驗(yàn)證器等可以在額外獨(dú)立層集已被重寫為符合獨(dú)立位流的之后生成適用于所述額外獨(dú)立層集的HRD參數(shù)，并且將那些HRD參數(shù)包括在諸如是輸出層集嵌套SEI消息(例如，如上面描述的)的合適的嵌套SEI消息中。下面描述了一個(gè)可以與其它實(shí)施例一起或者相獨(dú)立地被應(yīng)用的實(shí)施例。非基礎(chǔ)層子樹提取過程可以將一個(gè)或多個(gè)非基礎(chǔ)層子樹轉(zhuǎn)換成獨(dú)立的相符的位流。非基礎(chǔ)層子樹提取過程可以獲得額外獨(dú)立層集的層集索引lsIdx作為輸入。非基礎(chǔ)層子樹提取過程可以包括以下步驟中的一個(gè)或多個(gè)步驟：-它移除具有不在層集中的nuh_layer_id的NAL單元。-它將等于與lsIdx相關(guān)聯(lián)的所指示的新基礎(chǔ)層的nuh_layer_id重寫為0。-它從VPS重寫SEI消息中提取VPS。-它從輸出層集嵌套SEI消息中提取緩沖周期、圖片時(shí)序和解碼單元信息SEI消息。-它移除具有可能不適用于被重寫的位流的嵌套SEI消息的SEINAL單元。在一個(gè)可以與其它實(shí)施例相獨(dú)立地或者一起被應(yīng)用的實(shí)施例中，編碼器或者另一個(gè)諸如是HRD驗(yàn)證器的實(shí)體可以指示以下類型的位流中的一種類型或者全部兩種類型的緩沖參數(shù)：其中其NoClrasOutputFlag等于1的IRAP圖片的CL-RAS圖片出現(xiàn)的位流，以及，其中其NoClrasOutputFlag等于1的IRAP圖片的CL-RAS圖片不出現(xiàn)的位流。例如，可以例如在任一種或者全部兩種所提到的類型的位流的VUI中單獨(dú)地指示CPB緩沖器大小和比特率。額外地或者替換地，編碼器或者另一個(gè)實(shí)體可以指示任一種或者全部兩種所提到的類型的位流的初始的CPB和/或DPB緩沖延遲和/或其它緩沖和/或時(shí)序參數(shù)。編碼器或者另一個(gè)實(shí)體可以例如將緩沖周期SEI消息包括在輸出層集嵌套SEI消息中(例如，利用與如上面描述的語法和語義相同或者相似的語法和語義)，該輸出層集嵌套SEI消息可以指示被包含的緩沖周期SEI消息所適用的子位流、層集或者輸出層集。HEVC的緩沖周期SEI消息支持指示參數(shù)的兩個(gè)集合，一個(gè)集合用于其中與IRAP圖片(對于其來說，所述緩沖周期SEI消息也是相關(guān)聯(lián)的)相關(guān)聯(lián)的前導(dǎo)圖片出現(xiàn)的情況，并且另一個(gè)集合用于其中前導(dǎo)圖片不出現(xiàn)的情況。在緩沖周期SEI消息被包含在可伸縮的嵌套SEI消息內(nèi)的情況下，可以認(rèn)為參數(shù)的后一個(gè)(替換的)集合涉及其中與IRAP圖片(對于其來說，所述緩沖周期SEI消息也是相關(guān)聯(lián)的)相關(guān)聯(lián)的CL-RAS圖片不出現(xiàn)的位流。概括地說，緩沖參數(shù)的后一個(gè)集合可以涉及其中與NoClrasOutputFlag等于1的IRAP圖片相關(guān)聯(lián)的CL-RAS圖片不出現(xiàn)的位流。應(yīng)當(dāng)理解，盡管具體的術(shù)語和變量名在對該實(shí)施例的描述中被使用，但其可以被利用其它術(shù)語類似地實(shí)現(xiàn)，并且只要解碼器操作是類似的則不需要使用相同或者相似的變量?；谖涣鞣謪^(qū)的緩沖操作已被提出，并且主要在MV-HEVC/SHVC的上下文中在下面被描述。然而，所呈現(xiàn)的位流分區(qū)緩沖的概念是通用于任何可伸縮的編碼的。如下面描述的緩沖操作等可以作為HRD的一部分被使用。位流分區(qū)可以被定義為采用NAL單元流或者字節(jié)流的形式的位的序列，所述位的序列是符合分區(qū)的位流的子集。可以例如基于層和/或子層來形成位流分區(qū)。位流可以被分割成一個(gè)或多個(gè)位流分區(qū)。對位流分區(qū)0(又稱基礎(chǔ)位流分區(qū))的解碼是獨(dú)立于其它位流分區(qū)的。例如，基礎(chǔ)層(以及與基礎(chǔ)層相關(guān)聯(lián)的NAL單元)可以是基礎(chǔ)位流分區(qū)，而位流分區(qū)1可以由排除基礎(chǔ)位流分區(qū)的剩余位流組成?；A(chǔ)位流分區(qū)可以被定義為自身也是相符的位流的位流分區(qū)。不同的位流分區(qū)可以例如在不同的輸出層集中被使用，并且位流分區(qū)可以因此基于輸出層集被指示?？梢葬槍ξ涣鞣謪^(qū)給出HRD參數(shù)。當(dāng)HRD參數(shù)被針對位流分區(qū)給出時(shí)，可以基于其中假想的調(diào)度和經(jīng)編碼圖片緩沖針對每個(gè)位流分區(qū)工作的HRD操作對于位流分區(qū)測試位流的相符性。當(dāng)位流分區(qū)被解碼器和/或HRD使用時(shí)，維護(hù)多于一個(gè)被稱為位流分區(qū)緩沖器的經(jīng)編碼圖片緩沖器(BPB0、BPB1，...)。位流可以被分割成一個(gè)或多個(gè)位流分區(qū)。對位流分區(qū)0(又稱基礎(chǔ)位流分區(qū))的解碼是獨(dú)立于其它位流分區(qū)的。例如，基礎(chǔ)層(以及與基礎(chǔ)層相關(guān)聯(lián)的NAL單元)可以是基礎(chǔ)位流分區(qū)，而位流分區(qū)1可以由排除基礎(chǔ)位流分區(qū)的剩余位流組成。在如本文中描述的CPB操作中，解碼單元(DU)處理周期(從CPB初始到達(dá)直到CPB移除為止)在不同的BPB中可以重疊。因此，利用對于對每個(gè)位流分區(qū)的解碼過程能夠?qū)崟r(shí)地以到來的位流分區(qū)被調(diào)度的速率對到來的位流分區(qū)進(jìn)行解碼的假設(shè)，HRD模型固有地支持并行處理。在一個(gè)可以與其它實(shí)施例相獨(dú)立地或者一起被應(yīng)用的實(shí)施例中，對緩沖參數(shù)進(jìn)行編碼可以包括對指示位流分區(qū)的嵌套的數(shù)據(jù)結(jié)構(gòu)進(jìn)行編碼和對嵌套數(shù)的據(jù)結(jié)構(gòu)內(nèi)的緩沖參數(shù)進(jìn)行編碼?？梢岳缡褂帽话ㄔ谇短椎腟EI消息中的緩沖周期、圖片時(shí)序和解碼單元信息SEI消息來傳達(dá)位流分區(qū)的緩沖周期和圖片時(shí)序信息。例如，位流分區(qū)嵌套SEI消息可以用于指示被嵌套的SEI消息所適用的位流分區(qū)。位流分區(qū)嵌套SEI消息的語法包括一個(gè)或多個(gè)對于它適用于其哪個(gè)位流分區(qū)操作和/或哪個(gè)位流分區(qū)(所指示的位流分區(qū)操作內(nèi)的)的指示。所述指示可以例如是指語法級語法結(jié)構(gòu)的索引，在所述語法級語法結(jié)構(gòu)中，指定位流分區(qū)操作和/或位流分區(qū)，并且在所述語法級語法結(jié)構(gòu)中，分區(qū)操作和/或分區(qū)被隱含地根據(jù)它被指定的次序編制索引或者顯式地例如利用語法元素被編制索引。輸出層集嵌套SEI消息可以指定被包含的SEI消息所適用的輸出層集，并且可以包括指定該SEI消息適用于輸出層集的哪個(gè)位流分區(qū)的位流分區(qū)嵌套SEI消息。位流分區(qū)嵌套SEI消息可以接著包括針對所指定的層集和位流分區(qū)的一個(gè)或多個(gè)緩沖周期、圖片時(shí)序和解碼單元信息SEI消息。圖4a示出了適于使用本發(fā)明的實(shí)施例的視頻編碼器的方框圖。圖4a呈現(xiàn)了針對兩個(gè)層的編碼器，但應(yīng)當(dāng)認(rèn)識到，所呈現(xiàn)的編碼器可以被類似地?cái)U(kuò)展為對多于兩個(gè)層進(jìn)行編碼。圖4a圖示出了包括針對基礎(chǔ)層的第一編碼器部分500和針對增強(qiáng)層的第二編碼器部分502的視頻編碼器的一個(gè)實(shí)施例。第一編碼器部分500和第二編碼器部分502中的每項(xiàng)可以包括類似的用于對到來的圖片進(jìn)行編碼的單元。編碼器部分500、502可以包括像素預(yù)測器302、402、預(yù)測誤差編碼器303、403和預(yù)測錯(cuò)誤解碼器304、404。圖4a還將像素預(yù)測器302、402的一個(gè)實(shí)施例示為包括之間預(yù)測器306、406、內(nèi)部預(yù)測器308、408、模式選擇器310、410、濾波器316、416和參考幀存儲(chǔ)器318、418。第一編碼器部分500的像素預(yù)測器302接收300將在之間預(yù)測器306(其確定圖像與經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)膮⒖紟?18之間的差別)和內(nèi)部預(yù)測器308(其僅基于當(dāng)前的幀或者圖片的已被處理的部分確定對圖像塊的預(yù)測)兩者處被編碼的視頻流的基礎(chǔ)層圖像。之間預(yù)測器和內(nèi)部預(yù)測器兩者的輸出被傳遞給模式選擇器310。內(nèi)部預(yù)測器308可以具有多于一個(gè)內(nèi)部預(yù)測模式。因此，每個(gè)模式可以執(zhí)行內(nèi)部預(yù)測并且將所預(yù)測的信號提供給模式選擇器310。模式選擇器310還接收基礎(chǔ)層圖片300的副本。對應(yīng)地，第二編碼器部分502的像素預(yù)測器402接收400將在之間預(yù)測器406(其確定圖像與經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)膮⒖紟?18之間的差別)和內(nèi)部預(yù)測器408(其僅基于當(dāng)前的幀或者圖片的已被處理的部分確定對圖像塊的預(yù)測)兩者處被編碼的視頻流的增強(qiáng)層圖像。之間預(yù)測器和內(nèi)部預(yù)測器兩者的輸出被傳遞給模式選擇器410。內(nèi)部預(yù)測器408可以具有多于一個(gè)內(nèi)部預(yù)測模式。因此，每個(gè)模式可以執(zhí)行內(nèi)部預(yù)測并且將所預(yù)測的信號提供給模式選擇器410。模式選擇器410還接收增強(qiáng)層圖片400的副本。在一個(gè)可以與其它實(shí)施例一起或者相獨(dú)立地被應(yīng)用的實(shí)施例中，編碼器等(諸如是HRD驗(yàn)證器)可以在位流中例如在VPS或者SEI消息中指示包含跳過圖片的層或者層的集合的第二子DPB大小等，其中，第二子DPB大小排除了跳過圖片。第二子DPB大小可以在指示一個(gè)或多個(gè)常規(guī)的子DPB大小之外被指示，所述常規(guī)的子DPB大小諸如是當(dāng)前的MV-HEVC和SHVC草案規(guī)范的max_vps_dec_pic_buffering_minus1[i][k][j]和/或max_vps_layer_dec_pic_buff_minus1[i][k][j]。應(yīng)當(dāng)理解，跳過圖片不出現(xiàn)情況下的逐層子DPB大小和/或針對分辨率特定的DPB操作的子DPB大小可以被指示。在一個(gè)可以與其它實(shí)施例一起或者相獨(dú)立地被應(yīng)用的實(shí)施例中，解碼器等(諸如是HRD)可以從位流中例如從VPS或者SEI消息中解碼包含跳過圖片的層或者層的集合的第二子DPB大小等，其中，第二子DPB大小排除了跳過圖片。第二子DPB大小可以在解碼一個(gè)或多個(gè)常規(guī)的子DPB大小之外被解碼，所述常規(guī)的子DPB大小諸如是當(dāng)前的MV-HEVC和SHVC草案規(guī)范的max_vps_dec_pic_buffering_minus1[i][k][j]和/或max_vps_layer_dec_pic_buff_minus1[i][k][j]。應(yīng)當(dāng)理解，跳過圖片不出現(xiàn)情況下的逐層子DPB大小和/或針對分辨率特定的DPB操作的子DPB大小可以被解碼。解碼器等可以使用第二子DPB大小等來為經(jīng)解碼圖片分配緩沖器。解碼器等可以省略在DPB中存儲(chǔ)經(jīng)解碼的跳過圖片。作為代替，當(dāng)跳過圖片被用作預(yù)測的參考時(shí)，解碼器等可以使用與跳過圖片相對應(yīng)的參考層圖片作為預(yù)測的參考圖片。如果參考層圖片在它可以被用作參考之前需要諸如是重新采樣的層間處理，則解碼器可以對與跳過圖片相對應(yīng)的參考層圖片進(jìn)行例如是重新采樣的處理，并且使用經(jīng)處理的參考層圖片作為預(yù)測的參考。在一個(gè)可以與其它實(shí)施例一起或者相獨(dú)立地被應(yīng)用的實(shí)施例中，編碼器等(諸如是HRD驗(yàn)證器)可以在位流中例如使用HEVC切片段頭部的slice_reserved[i]語法元素的位位置和/或在SEI消息中指示圖片是跳過圖片。在一個(gè)可以與其它實(shí)施例一起或者相獨(dú)立地被應(yīng)用的實(shí)施例中，編碼器等(諸如是HRD驗(yàn)證器)可以從位流中例如從HEVC切片段頭部的slice_reserved[i]語法元素的位位置中和/或從SEI消息中解碼圖片是跳過圖片。模式選擇器310可以在成本評估器方框382中例如使用拉格朗日成本函數(shù)來通?；趬K在諸如是運(yùn)動(dòng)向量、參考索引和內(nèi)部預(yù)測方向的編碼模式和它們的參數(shù)值之間進(jìn)行選擇。這種成本函數(shù)可以使用加權(quán)因子lambda來將由于有損的編碼方法產(chǎn)生的(精確的或者估計(jì)的)圖像失真與表示圖像區(qū)域中的像素值所需的(精確的或者估計(jì)的)信息量聯(lián)系在一起：C＝D+lambda×R，其中，C是將被最小化的拉格朗日成本，D是伴隨模式和它們的參數(shù)的圖像失真(例如，均方誤差)，并且R是表示在解碼器中重構(gòu)圖像塊所需的數(shù)據(jù)(例如，包括用于表示候選運(yùn)動(dòng)向量的數(shù)據(jù)量)所需要的位數(shù)。取決于選擇了哪個(gè)編碼模式來對當(dāng)前的塊進(jìn)行編碼，之間預(yù)測器306、406的輸出或者可選的內(nèi)部預(yù)測器模式中的一個(gè)內(nèi)部預(yù)測器模式的輸出或者模式選擇器內(nèi)的表面編碼器的輸出被傳遞給模式選擇器310、410的輸出。模式選擇器的輸出被傳遞給第一求和設(shè)備321、421。第一求和設(shè)備可以從基礎(chǔ)層圖片300/增強(qiáng)層圖片400中減去像素預(yù)測器302、402的輸出，以產(chǎn)生第一預(yù)測誤差信號320、420，第一預(yù)測誤差信號320、420被輸出給預(yù)測誤差編碼器303、403。像素預(yù)測器302、402進(jìn)一步從初步重構(gòu)器339、439接收圖像快312、412的預(yù)測表示與預(yù)測誤差解碼器304、404的輸出338、438的組合。經(jīng)初步重構(gòu)的圖像314、414可以被傳遞給內(nèi)部預(yù)測器308、408和濾波器316、416。接收初步表示的濾波器316、416可以對初步表示進(jìn)行濾波，并且輸出最終的經(jīng)重構(gòu)的圖像340、440，最終的經(jīng)重構(gòu)的圖像340、440可以被保存在參考幀存儲(chǔ)器318、418中。參考幀存儲(chǔ)器318可以被連接到之間預(yù)測器306，以被用作在之間預(yù)測操作中將未來的基礎(chǔ)層圖片300與其進(jìn)行比較的參考圖像。受約束于被選擇和指示為是根據(jù)某些實(shí)施例的對增強(qiáng)層的層間采樣預(yù)測和/或?qū)娱g運(yùn)動(dòng)信息預(yù)測的源的基礎(chǔ)層，參考幀存儲(chǔ)器318可以還被連接到之間預(yù)測器406，以被用作在之間預(yù)測操作中將未來的增強(qiáng)層圖片400與其進(jìn)行比較的參考圖像。此外，參考幀存儲(chǔ)器418可以被連接到之間預(yù)測器406，以被用作在之間預(yù)測操作中將未來的增強(qiáng)層圖片400與其進(jìn)行比較的參考圖像。受約束于被選擇和指示為是根據(jù)某些實(shí)施例的用于對增強(qiáng)層的濾波參數(shù)進(jìn)行預(yù)測的源的基礎(chǔ)層，來自第一編碼器部分500的濾波器316的濾波參數(shù)可以被提供給第二編碼器部分502。預(yù)測誤差編碼器303、403包括變換單元342、442和量化器344、444。變換單元342、442將第一預(yù)測誤差信號320、420變換到變換域。所述變換例如是DCT變換。量化器344、444對例如是DCT系數(shù)的變換域信號進(jìn)行量化，以形成經(jīng)量化的系數(shù)。預(yù)測誤差解碼器304、404接收來自預(yù)測誤差編碼器303、403的輸出，并且執(zhí)行預(yù)測誤差編碼器303、403的逆過程，以產(chǎn)生經(jīng)解碼的預(yù)測誤差信號338、438，經(jīng)解碼的預(yù)測誤差信號338、438當(dāng)在第二求和設(shè)備339、439處被與圖像塊312、412的預(yù)測表示合并時(shí)產(chǎn)生經(jīng)初步重構(gòu)的圖像314、414?？梢哉J(rèn)為預(yù)測誤差解碼器包括：反量化器361、461，該反量化器361、461對例如是DCT系數(shù)的經(jīng)量化的系數(shù)值進(jìn)行反量化，以重構(gòu)變換信號；以及逆變換單元363、463，該逆變換單元363、463對經(jīng)重構(gòu)的變換信號執(zhí)行逆變換，其中，逆變換單元363、463的輸出包含經(jīng)重構(gòu)的塊。預(yù)測誤差解碼器可以還包括塊濾波器，所述塊濾波器可以根據(jù)進(jìn)一步的經(jīng)解碼的信息和濾波器參數(shù)對經(jīng)重構(gòu)的塊進(jìn)行濾波。熵編碼器330、430接收預(yù)測誤差編碼器303、403的輸出，并且可以對所述信號執(zhí)行合適的熵編碼/可變長度編碼，以提供誤差檢測和糾正能力。熵編碼器330、430的輸出可以被例如復(fù)用器508插入位流中。圖4b描繪了包括基礎(chǔ)層編碼單元500和增強(qiáng)層編碼單元502的空間可伸縮性編碼裝置400的一個(gè)實(shí)施例的高級方框圖?；A(chǔ)層編碼單元500將輸入視頻信號300編碼成基礎(chǔ)層位流506，并且分別地，增強(qiáng)層編碼單元502將輸入視頻信號300編碼成增強(qiáng)層位流507。空間可伸縮性編碼裝置400可以還包括下采樣器404，該下采樣器404用于如果基礎(chǔ)層表示和增強(qiáng)層表示的分辨率與彼此不同則對輸入視頻信號進(jìn)行下采樣。例如，基礎(chǔ)層與增強(qiáng)層之間的縮放因子可以是1：2，其中，增強(qiáng)層的分辨率是基礎(chǔ)層的分辨率的兩倍(在水平和垂直方向兩者上)?；A(chǔ)層編碼單元500和增強(qiáng)層編碼單元502可以包括與圖4a中所描繪的編碼器類似的單元，或者它們可以是與彼此不同的。在許多實(shí)施例中，參考幀存儲(chǔ)器318、418可以是能夠存儲(chǔ)不同層的經(jīng)解碼的圖片的，或者可以存在用于存儲(chǔ)不同層的經(jīng)解碼的圖片的不同的參考幀存儲(chǔ)器。像素預(yù)測器302、402的操作可以被配置為實(shí)現(xiàn)任何像素預(yù)測算法。濾波器316可以用于減少來自參考圖像的諸如是塊、振鈴等的各種效應(yīng)。濾波器316可以包括例如去塊濾波器、采樣自適應(yīng)偏移量(SAO)濾波器和/或自適應(yīng)環(huán)路濾波器(ALF)。在某些實(shí)施例中，編碼器基于例如RDO確定將對圖片的哪個(gè)區(qū)域進(jìn)行濾波和濾波器系數(shù)，并且向解碼器信號通知該信息。如果增強(qiáng)層編碼單元502已選擇了SAO濾波器，則它可以使用上面呈現(xiàn)的SAO算法。預(yù)測誤差編碼器303、403可以包括變換單元342、442和量化器344、444。變換單元342、442將第一預(yù)測誤差信號320、420變換到變換域。所述變換例如是DCT變換。量化器344、444對例如是DCT系數(shù)的變換域信號進(jìn)行量化，以形成經(jīng)量化的系數(shù)。預(yù)測誤差解碼器304、404接收來自預(yù)測誤差編碼器303、403的輸出，并且執(zhí)行預(yù)測誤差編碼器303、403的逆過程，以產(chǎn)生經(jīng)解碼的預(yù)測誤差信號338、438，經(jīng)解碼的預(yù)測誤差信號338、438當(dāng)在第二求和設(shè)備339、439處被與圖像塊312、412的預(yù)測表示合并時(shí)產(chǎn)生經(jīng)初步重構(gòu)的圖像314、414。可以認(rèn)為預(yù)測誤差解碼器包括：反量化器361、461，該反量化器361、461對例如是DCT系數(shù)的經(jīng)量化的系數(shù)值進(jìn)行反量化，以重構(gòu)變換信號；以及逆變換單元363、463，該逆變換單元363、463對經(jīng)重構(gòu)的變換信號執(zhí)行逆變換，其中，逆變換單元363、463的輸出包含經(jīng)重構(gòu)的塊。預(yù)測誤差解碼器可以還包括宏塊濾波器，所述宏塊濾波器可以根據(jù)進(jìn)一步的經(jīng)解碼的信息和濾波器參數(shù)對經(jīng)重構(gòu)的宏塊進(jìn)行濾波。熵編碼器330、430接收預(yù)測誤差編碼器303、403的輸出，并且可以對所述信號執(zhí)行合適的熵編碼/可變長度編碼，以提供誤差檢測和糾正能力。熵編碼器330、430的輸出可以被例如復(fù)用器508插入位流中。在某些實(shí)施例中，濾波器440包括采樣自適應(yīng)濾波器，在某些其它的實(shí)施例中，濾波器440包括自適應(yīng)環(huán)路濾波器，以及在另外某些其它的實(shí)施例中，濾波器440包括采樣自適應(yīng)濾波器和自適應(yīng)環(huán)路濾波器兩者。如果基礎(chǔ)層和增強(qiáng)層的分辨率與彼此不同，則經(jīng)濾波的基礎(chǔ)層采樣值可能需要由上采樣器450進(jìn)行上采樣。上采樣器450的輸出即經(jīng)上采樣的經(jīng)濾波基礎(chǔ)層采樣值然后被提供給增強(qiáng)層編碼單元502，作為對增強(qiáng)層上的當(dāng)前塊的像素值的預(yù)測的參考。出于完整性，下文中描述了合適的解碼器。然而，某些解碼器可能不能夠處理其中它們可能不能夠解碼全部所接收的圖像的增強(qiáng)層數(shù)據(jù)。解碼器可以檢查所接收的位流，以確定諸如是inter_layer_pred_for_el_rap_only_flag和single_layer_for_non_rap_flag兩個(gè)標(biāo)志的值。如果第一個(gè)標(biāo)志的值指示增強(qiáng)層中的僅隨機(jī)訪問圖片可以使用層間預(yù)測并且增強(qiáng)層中的非RAP圖片從不使用層間預(yù)測，則解碼器可以推斷層間預(yù)測僅被與RAP圖片一起使用。在解碼器側(cè)，類似的操作被執(zhí)行以重構(gòu)圖像塊。圖5a示出了適于使用本發(fā)明的實(shí)施例的視頻解碼器的方框圖。在該實(shí)施例中，視頻解碼器550包括針對基礎(chǔ)視圖分量的第一解碼器部分552和針對非基礎(chǔ)視圖分量的第二解碼器部分554。方框556圖示出了用于將與基礎(chǔ)視圖分量相關(guān)的信息遞送給第一解碼器部分552和用于將與非基礎(chǔ)視圖分量相關(guān)的信息遞送給第二解碼器部分554的解復(fù)用器。解碼器示出了對所接收的信號執(zhí)行熵解碼(E-1)的熵解碼器700、800。熵解碼器因此執(zhí)行上面描述的編碼器的熵編碼器330、430的逆操作。熵解碼器700、800將熵解碼的結(jié)果輸出給預(yù)測誤差解碼器701、801和像素預(yù)測器704、804。參考P’n代表圖像塊的經(jīng)預(yù)測的表示。參考D’n代表經(jīng)重構(gòu)的預(yù)測誤差信號。方框705、805圖示出了經(jīng)初步重構(gòu)的圖像或者圖像塊(I’n)。參考R’n代表最終的經(jīng)重構(gòu)的圖像或者圖像塊。方框703、803圖示出了逆變換(T-1)。方框702、802圖示出了逆量化(Q-1)。方框706、806圖示出了參考幀存儲(chǔ)器(RFM)。方框707、807圖示出了預(yù)測(P)(之間預(yù)測或者內(nèi)部預(yù)測)。方框708、808圖示出了濾波(F)。方框709、809可以用于將經(jīng)解碼的預(yù)測誤差信息與經(jīng)預(yù)測的基礎(chǔ)視圖/非基礎(chǔ)視圖分量合并以獲得經(jīng)初步重構(gòu)的圖像(I’n)。經(jīng)初步重構(gòu)和濾波的基礎(chǔ)視圖圖像可以從第一解碼器部分552被輸出，并且經(jīng)初步重構(gòu)和濾波的基礎(chǔ)視圖圖像可以從第二解碼器部分554被輸出。像素預(yù)測器704、804接收熵解碼器700、800的輸出。熵解碼器700、800的輸出可以包括對在當(dāng)前塊進(jìn)行編碼時(shí)所使用的預(yù)測模式的指示。像素預(yù)測器704、804內(nèi)的預(yù)測器選擇器707、807可以確定當(dāng)前的將被解碼的塊是增強(qiáng)層塊。因此，預(yù)測選擇器707、807可以選擇在對當(dāng)前的增強(qiáng)層塊進(jìn)行解碼時(shí)使用來自諸如是基礎(chǔ)層的另一個(gè)層上的對應(yīng)的塊的信息對基礎(chǔ)層預(yù)測塊進(jìn)行濾波。對基礎(chǔ)層預(yù)測塊已于在增強(qiáng)層預(yù)測中使用之前被編碼器濾波的指示可以已被解碼器接收，其中，像素預(yù)測器704、804可以使用該指示來向?yàn)V波器708、808提供經(jīng)重構(gòu)的基礎(chǔ)層塊值，以及確定例如是SAO濾波器和/或自適應(yīng)環(huán)路濾波器的哪種濾波器已被使用或者可能存在其它的用于確定是否經(jīng)修改的解碼模式應(yīng)當(dāng)被使用的方法。預(yù)測器選擇器可以將圖像塊的經(jīng)預(yù)測的表示P’n輸出給第一合并器709。圖像塊的經(jīng)預(yù)測的表示被與經(jīng)重構(gòu)的預(yù)測誤差信號D’n相結(jié)合地使用，以生成經(jīng)初步重構(gòu)的圖像I’n。經(jīng)初步重構(gòu)的圖像可以在預(yù)測器704、804中被使用，或者可以被傳遞給濾波器708、808。濾波器應(yīng)用濾波，所述濾波輸出最終的經(jīng)重構(gòu)的信號R’n。最終的經(jīng)重構(gòu)的信號R’n可以被存儲(chǔ)在參考幀存儲(chǔ)器706、806中，參考幀存儲(chǔ)器706、806進(jìn)一步被連接到預(yù)測器707、807以用于預(yù)測操作。預(yù)測誤差解碼器702、802接收熵解碼器700、800的輸出。預(yù)測誤差解碼器702、802的反量化器702、802可以對熵解碼器700、800的輸出進(jìn)行反量化，并且逆變換方框703、803可以對由反量化器702、802輸出的經(jīng)反量化的信號執(zhí)行逆變換操作。熵解碼器700、800的輸出可以還指示預(yù)測誤差信號將不被應(yīng)用，并且在此情況下，預(yù)測誤差解碼器產(chǎn)生全0輸出信號。應(yīng)當(dāng)理解，對于圖5a中的各種方框，層間預(yù)測被應(yīng)用，即使其未在圖5a中被圖示出。層間預(yù)測可以包括采樣預(yù)測和/或語法/參數(shù)預(yù)測。例如，來自一個(gè)解碼器部分(例如，RFM706)的參考圖片可以被用于其它解碼器部分(例如，方框807)的采樣預(yù)測。在另一個(gè)示例中，來自一個(gè)解碼器部分的語法元素或者參數(shù)(例如，來自方框708的濾波器參數(shù))可以被用于其它解碼器部分(例如，方框808)的語法/參數(shù)預(yù)測。在某些實(shí)施例中，可以利用除H.264/AVC或者HEVC之外的另一個(gè)標(biāo)準(zhǔn)對視圖進(jìn)行編碼。圖5b示出了包括基礎(chǔ)層解碼單元810和增強(qiáng)層解碼單元820的空間可伸縮性解碼裝置800的方框圖?；A(chǔ)層解碼單元810將經(jīng)編碼的基礎(chǔ)層位流802解碼成基礎(chǔ)層經(jīng)解碼視頻信號818，以及分別地，增強(qiáng)層解碼單元820將經(jīng)編碼的增強(qiáng)層位流804解碼成增強(qiáng)層經(jīng)解碼視頻信號828?？臻g可伸縮性解碼裝置800可以還包括用于對經(jīng)重構(gòu)的基礎(chǔ)層像素值進(jìn)行濾波的濾波器840和用于對經(jīng)濾波的經(jīng)重構(gòu)基礎(chǔ)層像素值進(jìn)行上采樣的上采樣器850?；A(chǔ)層解碼單元810和增強(qiáng)層解碼單元820可以包括與圖4a中所描繪的編碼器類似的單元，或者它們可以是與彼此不同的。換句話說，基礎(chǔ)層解碼單元810和增強(qiáng)層解碼單元820兩者可以包括圖5a中所示的解碼器的單元中的全部或者一些單元。在某些實(shí)施例中，相同的解碼器電路可以被用于實(shí)現(xiàn)基礎(chǔ)層解碼單元810和增強(qiáng)層解碼單元820的操作，其中，解碼器知道其當(dāng)前正在解碼的層。可能還有可能使用包括HEVCSAO和HEVCALV后濾波器的任何增強(qiáng)層后處理模塊作為對于基礎(chǔ)層數(shù)據(jù)的預(yù)處理器。增強(qiáng)層后處理模塊當(dāng)對基礎(chǔ)層數(shù)據(jù)進(jìn)行操作時(shí)可以被修改。例如，特定的模式可以被禁用，或者特定的新模式可以被添加。圖8是可以在其中實(shí)現(xiàn)各種實(shí)施例的通用多媒體通信系統(tǒng)的圖形表示。如圖8中所示，數(shù)據(jù)源900提供采用模擬、未經(jīng)壓縮的數(shù)字或者經(jīng)壓縮的數(shù)字格式或者這些格式的任意組合的源信號。編碼器910將源信號編碼到經(jīng)編碼的媒體位流中。應(yīng)當(dāng)指出，可以從位于幾乎任何類型的網(wǎng)絡(luò)內(nèi)的遠(yuǎn)程設(shè)備直接或者間接地接收將被解碼的位流。額外地，可以從本地的硬件或者軟件接收所述位流。編碼器910可以是能夠?qū)χT如是音頻和視頻的多于一個(gè)媒體類型進(jìn)行編碼的，或者可能需要多于一個(gè)編碼器910來對不同媒體類型的源信號進(jìn)行編碼。編碼器910可以還獲得諸如是圖形和文本的以合成方法產(chǎn)生的輸入，或者它可以是能夠產(chǎn)生合成媒體的經(jīng)編碼的位流的。在下面，為簡化描述，考慮了僅對一種媒體類型的一個(gè)經(jīng)編碼的媒體位流的處理。然而應(yīng)當(dāng)指出，通常，多媒體服務(wù)包括幾個(gè)流(通常至少一個(gè)音頻和視頻流)。還應(yīng)當(dāng)指出，所述系統(tǒng)可以包括許多編碼器，但在圖8中，在不失一般性的情況下，為簡化描述，表示了僅一個(gè)編碼器910。應(yīng)當(dāng)進(jìn)一步理解，盡管包含在本文中的文本和示例可能特別地描述編碼過程，但本領(lǐng)域的技術(shù)人員將理解，相同的概念和原理還適用于對應(yīng)的解碼過程，并且反之亦然。經(jīng)編碼的媒體位流被傳輸給存儲(chǔ)器920。存儲(chǔ)器920可以包括用于存儲(chǔ)經(jīng)編碼的媒體位流的任何類型的大容量存儲(chǔ)器。存儲(chǔ)器920中的經(jīng)編碼的媒體位流的格式可以是基本的自包含的位流格式，或者一個(gè)或多個(gè)經(jīng)編碼的媒體位流可以被封裝到容器文件中。如果一個(gè)或多個(gè)媒體位流被封裝到容器文件中，則文件生成器(未在圖中示出)可以用于將所述一個(gè)或多個(gè)媒體位流存儲(chǔ)在所述文件中并且創(chuàng)建也被存儲(chǔ)在所述文件中的文件格式元數(shù)據(jù)。編碼器910或者存儲(chǔ)器920可以包括文件生成器，或者文件生成器被可操作地附著到編碼器910或者存儲(chǔ)器920。某些系統(tǒng)“直播地”工作，即，省略存儲(chǔ)器并且將經(jīng)編碼的媒體位流從編碼器910直接傳輸?shù)桨l(fā)送器930。經(jīng)編碼的媒體位流因而被基于需求傳輸給也被稱為服務(wù)器的發(fā)送器930。在傳輸中所使用的格式可以是基本的自包含的位流格式、分組流格式，或者一個(gè)或多個(gè)經(jīng)編碼的媒體位流可以被封裝到容器文件中。編碼器910、存儲(chǔ)器920和服務(wù)器930可以位于同一物理設(shè)備中，或者它們可以被包括在單獨(dú)的設(shè)備中。編碼器910和服務(wù)器930可以與直播的實(shí)時(shí)內(nèi)容一起工作，在此情況下，經(jīng)編碼的媒體位流通常不被永久地存儲(chǔ)，而相反在短時(shí)間段內(nèi)被緩沖在內(nèi)容編碼器910和/或服務(wù)器930中，以使處理延遲、傳輸延遲和經(jīng)編碼媒體比特率中的變化平滑。服務(wù)器930使用通信協(xié)議棧發(fā)送經(jīng)編碼的媒體位流。所述?？梢园ǖ幌抻趯?shí)時(shí)傳輸協(xié)議(RTP)、用戶數(shù)據(jù)報(bào)(UDP)和互聯(lián)網(wǎng)協(xié)議(IP)。當(dāng)通信協(xié)議棧是面向分組的時(shí)，服務(wù)器930將經(jīng)編碼的媒體位流封裝到分組中。例如，當(dāng)RTP被使用時(shí)，服務(wù)器930根據(jù)RTP凈荷格式將經(jīng)編碼的媒體位流封裝到RTP分組中。通常，每個(gè)媒體類型具有專用的RTP凈荷格式。應(yīng)當(dāng)再次指出，一個(gè)系統(tǒng)可以包含多于一個(gè)服務(wù)器930，但為簡單起見，下面的描述僅考慮一個(gè)服務(wù)器930。如果媒體內(nèi)容被封裝在容器文件中以用于存儲(chǔ)器920或者用于將數(shù)據(jù)輸入到發(fā)送器930，則發(fā)送器930可以包括或者被可操作地附著到“發(fā)送文件解析器”(未在圖中示出)。特別地說，如果容器文件本身未被發(fā)送，但所包含的經(jīng)編碼的媒體位流中的至少一個(gè)經(jīng)編碼的媒體位流被封裝以用于通過通信協(xié)議傳輸，則發(fā)送文件解析器定位將通過通信協(xié)議被傳達(dá)的經(jīng)編碼的媒體位流的合適部分。發(fā)送文件解析器可以還在創(chuàng)建諸如是分組頭部和凈荷的針對通信協(xié)議的正確格式時(shí)提供輔助。多媒體容器文件可以包含諸如是ISO基本媒體文件格式中的提示軌道的封裝指令，以用于將所包含的媒體位流中的至少一個(gè)媒體位流封裝到通信協(xié)議上。服務(wù)器930可以或者可以不被通過通信網(wǎng)絡(luò)連接到網(wǎng)關(guān)940?？梢粤硗饣蛘咛鎿Q地被稱為中間框或者媒體感知網(wǎng)絡(luò)單元(MANE)的網(wǎng)關(guān)940可以執(zhí)行不同類型的功能，所述功能諸如是將符合一種通信協(xié)議棧的分組流轉(zhuǎn)換到另一種通信協(xié)議棧、數(shù)據(jù)流的合并和分叉以及根據(jù)下行鏈路和/或接收器能力操縱數(shù)據(jù)流，根據(jù)下行鏈路和/或接收器能力操縱數(shù)據(jù)流諸如是根據(jù)占優(yōu)勢的下行鏈路網(wǎng)絡(luò)狀況控制被轉(zhuǎn)發(fā)的流的比特率。網(wǎng)關(guān)940的示例包括多點(diǎn)會(huì)議控制單元(MCU)、電路交換與分組交換視頻電話之間的網(wǎng)關(guān)、基于蜂窩的即按即說(PoC)服務(wù)器、數(shù)字視頻廣播手持型(DVB-H)系統(tǒng)中的IP封裝器或者將廣播傳輸本地轉(zhuǎn)發(fā)到家庭無線網(wǎng)絡(luò)的機(jī)頂盒。當(dāng)RTP被使用時(shí)，網(wǎng)關(guān)940可以被稱為RTP混合器或者RTP轉(zhuǎn)換器，并且可以充當(dāng)RTP連接的端點(diǎn)。在發(fā)送器930與接收器950之間的連接中可以存在0到任意數(shù)量的網(wǎng)關(guān)。所述系統(tǒng)包括一個(gè)或多個(gè)通常能夠?qū)⑺l(fā)送的信號接收、解調(diào)和/或解封裝成經(jīng)編碼的媒體位流的接收器950。經(jīng)編碼的媒體位流被傳輸給記錄存儲(chǔ)器955。記錄存儲(chǔ)器955可以包括用于存儲(chǔ)經(jīng)編碼的媒體位流的任何類型的大容量存儲(chǔ)器。記錄存儲(chǔ)器955可以替換地或者額外地包括諸如是隨機(jī)訪問存儲(chǔ)器的計(jì)算存儲(chǔ)器。記錄存儲(chǔ)器955中的經(jīng)編碼的媒體位流的格式可以是基本的自包含的位流格式，或者一個(gè)或多個(gè)經(jīng)編碼的媒體位流可以被封裝到容器文件中。如果存在與彼此相關(guān)聯(lián)的諸如是音頻流和視頻流的多個(gè)經(jīng)編碼的媒體位流，則容器文件通常被使用，并且接收器950包括或者被附著到從輸入流產(chǎn)生容器文件的容器文件生成器。某些系統(tǒng)“直播地”工作，即，省略記錄存儲(chǔ)器955，并且將經(jīng)編碼的媒體位流從接收器950直接傳輸給解碼器960。在某些系統(tǒng)中，僅所記錄的流的最近部分(例如所記錄的流的最近10分鐘的選摘)被維護(hù)在記錄存儲(chǔ)器955中，而任何較早的所記錄的數(shù)據(jù)被從記錄存儲(chǔ)器955中丟棄。將經(jīng)編碼的媒體位流從記錄存儲(chǔ)器955傳輸給解碼器960。如果存在與彼此相關(guān)聯(lián)并且被封裝到容器文件中的諸如是音頻流和視頻流的多個(gè)經(jīng)編碼的媒體位流，或者單一的媒體流被封裝在容器文件中例如以用于更容易的訪問，則文件解析器(未在圖中示出)被用于從容器文件中解封裝每個(gè)經(jīng)編碼的媒體位流。記錄存儲(chǔ)器955或者解碼器960可以包括文件解析器，或者文件解析器可以被附著到記錄存儲(chǔ)器955或者解碼器960。經(jīng)編碼的媒體位流可以被解碼器960進(jìn)一步處理，解碼器960的輸出是一個(gè)或多個(gè)未經(jīng)壓縮的媒體流。最后，渲染器970可以例如利用揚(yáng)聲器或者顯示器再現(xiàn)未經(jīng)壓縮的媒體流。接收器950、記錄存儲(chǔ)器955、解碼器960和渲染器970可以位于同一物理設(shè)備中，或者它們可以被包括在單獨(dú)的設(shè)備中。圖1將根據(jù)一個(gè)示例實(shí)施例的視頻編碼系統(tǒng)的方框圖示為可以包括根據(jù)本發(fā)明的一個(gè)實(shí)施例的編解碼器的示例性裝置或者電子設(shè)備50的示意方框圖。圖2示出了根據(jù)一個(gè)示例實(shí)施例的裝置的布局。接下來將闡述圖1和2的單元。電子設(shè)備50可以例如是無線通信系統(tǒng)的移動(dòng)終端或者用戶設(shè)備。然而應(yīng)當(dāng)認(rèn)識到，本發(fā)明的實(shí)施例可以在任何可能需要編碼和解碼或者對視頻圖像進(jìn)行編碼或者解碼的電子設(shè)備或者裝置內(nèi)被實(shí)現(xiàn)。裝置50可以包括用于合并和保護(hù)設(shè)備的機(jī)殼30。裝置50進(jìn)一步可以包括采用液晶顯示器的形式的顯示器32。在本發(fā)明的其它實(shí)施例中，所述顯示器可以是任何適于顯示圖像或者視頻的合適顯示器技術(shù)。裝置50可以進(jìn)一步包括鍵區(qū)34。在本發(fā)明的其它實(shí)施例中，可以使用任何合適的數(shù)據(jù)或者用戶界面機(jī)制。例如，用戶界面可以被實(shí)現(xiàn)為作為觸摸敏感顯示器的一部分的虛擬鍵盤或者數(shù)據(jù)輸入系統(tǒng)。所述裝置可以包括麥克風(fēng)36或者任何可以是數(shù)字或者模擬信號輸入的合適的音頻輸入。裝置50可以進(jìn)一步包括音頻輸出設(shè)備，所述音頻輸出設(shè)備在本發(fā)明的實(shí)施例可以是以下各項(xiàng)中的任一項(xiàng)：耳機(jī)38、揚(yáng)聲器、或者模擬音頻或者數(shù)字音頻輸出連接。裝置50可以還包括電池40(或者在本發(fā)明的其它實(shí)施例中，所述設(shè)備可以由諸如是太陽能電池、燃料電池或者時(shí)鐘發(fā)生器的任何合適的移動(dòng)能量設(shè)備供電)。所述裝置可以進(jìn)一步包括能夠記錄或者捕獲圖像和/或視頻的照相機(jī)42。在某些實(shí)施例中，裝置50可以進(jìn)一步包括用于與其它設(shè)備的短距視線通信的紅外線端口。在其它實(shí)施例中，裝置50可以進(jìn)一步包括諸如是例如藍(lán)牙無線連接或者USB/火線有線連接的任何合適的短距通信解決方案。裝置50可以包括用于對裝置50進(jìn)行控制的控制器56或者處理器?？刂破?6可以被連接到存儲(chǔ)器58，存儲(chǔ)器58在本發(fā)明的實(shí)施例中可以存儲(chǔ)采用圖像和音頻數(shù)據(jù)的形式的數(shù)據(jù)，和/或可以還存儲(chǔ)用于在控制器56上實(shí)現(xiàn)的指令?？刂破?6可以進(jìn)一步被連接到編碼器電路56，所述編解碼器電路56適于實(shí)現(xiàn)對音頻和/或視頻數(shù)據(jù)的編碼和解碼或者在由控制器56實(shí)現(xiàn)的編碼和解碼中提供輔助。裝置50可以進(jìn)一步包括例如是UICC和UICC閱讀器的用于提供用戶信息和適于提供用于在網(wǎng)絡(luò)處對用戶進(jìn)行認(rèn)證和授權(quán)的認(rèn)證信息的讀卡器48和智能卡46。裝置50可以包括連接到控制器并且適于生成例如用于與蜂窩通信網(wǎng)絡(luò)、無線通信網(wǎng)絡(luò)或者無線局域網(wǎng)通信的無線通信信號的無線電接口電路52。裝置50可以進(jìn)一步包括連接到無線電接口電路52的用于將在無線電接口電路52處生成的射頻信號發(fā)送給其它裝置和用于從其它裝置接收射頻信號的天線44。在本發(fā)明的某些實(shí)施例中，裝置50包括能夠記錄或者檢測各個(gè)幀的照相機(jī)，所述各個(gè)幀然后被傳遞給編解碼器54或者控制器以用于處理。在本發(fā)明的某些實(shí)施例中，所述裝置可以在傳輸和/或存儲(chǔ)之前從另一個(gè)設(shè)備接收視頻圖像數(shù)據(jù)以用于處理。在本發(fā)明的某些實(shí)施例中，裝置50可以無線地和經(jīng)由有線的連接接收圖像以用于編碼/解碼。圖3示出了根據(jù)一個(gè)示例實(shí)施例的包括多個(gè)裝置、網(wǎng)絡(luò)和網(wǎng)絡(luò)單元的視頻編碼的安排。關(guān)于圖3，示出了本發(fā)明的實(shí)施例可以在其中被實(shí)現(xiàn)的系統(tǒng)的一個(gè)示例。系統(tǒng)10包括可以通過一個(gè)或多個(gè)網(wǎng)絡(luò)進(jìn)行通信的多個(gè)通信設(shè)備。系統(tǒng)10可以包括有線或者無線網(wǎng)絡(luò)的任意組合，所述有線或者無線網(wǎng)絡(luò)包括但不限于無線蜂窩電話網(wǎng)絡(luò)(諸如是GSM、UMTS、CDMA網(wǎng)絡(luò)等)、諸如由IEEE802.x標(biāo)準(zhǔn)中的任一個(gè)標(biāo)準(zhǔn)定義的無線局域網(wǎng)(WLAN)、藍(lán)牙個(gè)域網(wǎng)、以太局域網(wǎng)、令牌環(huán)局域網(wǎng)、廣域網(wǎng)和互聯(lián)網(wǎng)。系統(tǒng)是10可以包括適于實(shí)現(xiàn)本發(fā)明的實(shí)施例的有線和無線通信設(shè)備或者裝置50兩者。例如，圖3中所示的系統(tǒng)示出了移動(dòng)電話網(wǎng)絡(luò)11和對互聯(lián)網(wǎng)28的表示。與互聯(lián)網(wǎng)28的連接性可以包括但不限于長距無線連接、短距無線連接和包括但不限于電話線路、線纜線路、電力線路和類似的通信路徑的各種有線連接。系統(tǒng)10中所示的示例通信設(shè)備可以包括但不限于電子設(shè)備或者裝置50、個(gè)人數(shù)字助理(PDA)和移動(dòng)電話的組合14、PDA16、綜合消息傳送設(shè)備(IMD)18、桌面型計(jì)算機(jī)20、筆記本計(jì)算機(jī)22。裝置50可以是固定的，或者當(dāng)被正在移動(dòng)的個(gè)人攜帶時(shí)是移動(dòng)的。裝置50可以還處在運(yùn)輸模式下，所述運(yùn)輸模式包括但不限于汽車、卡車、出租車、公共汽車、火車、船、飛機(jī)、自行車、摩托車或者任何類似的合適的運(yùn)輸模式。一些或者進(jìn)一步的裝置可以通過與基站24的無線連接25發(fā)送和接收呼叫和消息并且與服務(wù)提供商通信。基站24可以連接到允許移動(dòng)電話網(wǎng)絡(luò)11與互聯(lián)網(wǎng)28之間的通信的網(wǎng)絡(luò)服務(wù)器26。所述系統(tǒng)可以包括額外的通信設(shè)備和各種類型的通信設(shè)備。所述通信設(shè)備可以使用各種傳輸技術(shù)進(jìn)行通信，所述傳輸技術(shù)包括但不限于碼分多址(CDMA)、全球移動(dòng)通信系統(tǒng)(GSM)、通用移動(dòng)電信系統(tǒng)(UMTS)、時(shí)分多址(TDMA)、頻分多址(FDMA)、傳輸控制協(xié)議-互聯(lián)網(wǎng)協(xié)議(TCP-IP)、短消息傳送服務(wù)(SMS)、多媒體消息傳送服務(wù)(MMS)、電子郵件、即時(shí)消息傳送服務(wù)(IMS)、藍(lán)牙、IEEE802.11和任何類似的無線通信技術(shù)。在實(shí)現(xiàn)本發(fā)明的各種實(shí)施例時(shí)涉及的通信設(shè)備可以使用包括但不限于無線電、紅外線、激光、線纜連接和任何合適的連接的各種介質(zhì)進(jìn)行通信。在上面，已關(guān)于特定類型的參數(shù)集描述了一些實(shí)施例。然而需要理解，可以在位流中利用任何類型的參數(shù)集或者語法結(jié)構(gòu)來實(shí)現(xiàn)實(shí)施例。在上面，已關(guān)于將指示、語法單元和/或語法結(jié)構(gòu)編碼到位流或者經(jīng)編碼的視頻序列中和/或從位流或者經(jīng)編碼的視頻序列中解碼指示、語法元素和/或語法結(jié)構(gòu)描述了一些實(shí)施例。然而需要理解，可以在將指示、語法元素和/或語法結(jié)構(gòu)編碼到處在包括諸如是經(jīng)編碼切片的視頻編碼層數(shù)據(jù)的位流或者經(jīng)編碼的視頻序列的外部的語法結(jié)構(gòu)或者數(shù)據(jù)單元中和/或從處在包括諸如是經(jīng)編碼切片的視頻編碼層數(shù)據(jù)的位流或者經(jīng)編碼的視頻序列的外部的語法結(jié)構(gòu)或者數(shù)據(jù)單元中解碼指示、語法元素和/或語法結(jié)構(gòu)時(shí)實(shí)現(xiàn)實(shí)施例。例如，在某些實(shí)施例中，根據(jù)任一個(gè)上面的實(shí)施例的指示可以被編碼到視頻參數(shù)集或者序列參數(shù)集中，其中，例如使用諸如是SDP的控制協(xié)議在經(jīng)編碼的視頻序列的外部傳達(dá)所述視頻參數(shù)集或者序列參數(shù)集。繼續(xù)同一示例，接收器可以例如使用所述控制協(xié)議獲得所述視頻參數(shù)集或者序列參數(shù)集，并且提供所述視頻參數(shù)集或者序列參數(shù)集以用于解碼。在上面，已借助于位流的語法描述了示例實(shí)施例。然而需要理解，對應(yīng)的結(jié)構(gòu)和/或計(jì)算機(jī)程序可以位于用于生成位流的編碼器處和/或用于對位流進(jìn)行解碼的解碼器處。同樣地，在已參考編碼器描述了示例實(shí)施例的情況下，需要理解，產(chǎn)生的位流和解碼器在它們中具有對應(yīng)的元素。同樣地，在已參考解碼器描述了示例實(shí)施例的情況下，需要理解，編碼器具有用于生成將被解碼器解碼的位流的結(jié)構(gòu)和/或計(jì)算機(jī)程序。在上面，已參考增強(qiáng)層和基礎(chǔ)層描述了一些實(shí)施例。需要理解，所述基礎(chǔ)層可以也是任何其它層，只要它是增強(qiáng)層的參考層即可。還需要理解，編碼器可以在位流中生成多于兩個(gè)層，并且解碼器可以從位流中解碼多于兩個(gè)層?？梢岳迷鰪?qiáng)層與它的參考層的任意對實(shí)現(xiàn)實(shí)施例。同樣地，可以在考慮多于兩個(gè)層的情況下實(shí)現(xiàn)許多實(shí)施例。在上面，已參考單一的增強(qiáng)層描述了一些實(shí)施例。需要理解，實(shí)施例不限于對僅一個(gè)增強(qiáng)層進(jìn)行編碼和/或解碼，而是更大數(shù)量的增強(qiáng)層可以被編碼和/或解碼。例如，附屬圖片層可以被編碼和/或解碼。在另一個(gè)示例中，表示漸進(jìn)式源內(nèi)容的額外的增強(qiáng)層可以被編碼和/或解碼。在上面，已使用跳過圖片描述了一些實(shí)施例，同時(shí)已使用對角線層間預(yù)測描述了一些其它的實(shí)施例。需要理解，跳過圖片和對角線層間預(yù)測不必是互斥的，并且因此可以使用跳過圖片和對角線層間預(yù)測兩者類似地實(shí)現(xiàn)實(shí)施例。例如，在一個(gè)訪問單元中，跳過圖片可以用于實(shí)現(xiàn)從經(jīng)編碼字段向經(jīng)編碼幀或者反之的切換，并且在另一個(gè)訪問單元中，對角線層間預(yù)測可以用于實(shí)現(xiàn)從經(jīng)編碼字段向經(jīng)編碼幀或者反之的切換。在上面，已參考經(jīng)交錯(cuò)的源內(nèi)容描述了一些實(shí)施例。需要理解，可以在忽略源內(nèi)容的掃描類型的情況下應(yīng)用實(shí)施例。換句話說，實(shí)施例可以類似地適用于漸進(jìn)式源內(nèi)容和/或經(jīng)交錯(cuò)和漸進(jìn)式源內(nèi)容的混合體。在上面，已參考單一的編碼器和/或單一的解碼器描述了一些實(shí)施例。需要理解，可以在實(shí)施例中類似地使用多于一個(gè)編碼器和/或多于一個(gè)解碼器。例如，可以依照每個(gè)被編碼和/或被解碼的層使用一個(gè)編碼器和/或一個(gè)解碼器。盡管上面的示例描述了在電子設(shè)備內(nèi)的編解碼器內(nèi)工作的本發(fā)明的實(shí)施例，但應(yīng)當(dāng)認(rèn)識到，如下面描述的本發(fā)明可以被實(shí)現(xiàn)為任何視頻編解碼器的一部分。因此，例如，本發(fā)明的實(shí)施例可以在可通過固定或者有線通信通路實(shí)現(xiàn)視頻編碼的視頻編解碼器中被實(shí)現(xiàn)。因此，用戶設(shè)備可以包括諸如是在上面的本發(fā)明的實(shí)施例中描述的那些視頻編解碼器的視頻編解碼器。應(yīng)當(dāng)認(rèn)識到，術(shù)語用戶設(shè)備旨在覆蓋諸如是移動(dòng)電話、便攜式數(shù)據(jù)處理設(shè)備或者便攜式web瀏覽器的任何合適類型的無線用戶設(shè)備。此外，公共陸地移動(dòng)網(wǎng)絡(luò)(PLMN)的單元可以也包括如上面描述的視頻編解碼器。概括地說，可以用硬件或者專用電路、軟件、邏輯或者它們的任意組合來實(shí)現(xiàn)本發(fā)明的各種實(shí)施例。例如，某些方面可以用硬件來實(shí)現(xiàn)，而其它方面可以用可以被控制器、微處理器或者其它計(jì)算設(shè)備執(zhí)行的固件或者軟件來實(shí)現(xiàn)，盡管本發(fā)明不限于此。盡管可以作為方框圖、流程圖或者使用某種其它的圖畫表示來圖示和描述本發(fā)明的各種方面，但應(yīng)當(dāng)理解，作為非限制性的示例，可以使用硬件、軟件、固件、專用電路或者邏輯、通用硬件或者控制器或者其它計(jì)算設(shè)備、或者它們的某種組合來實(shí)現(xiàn)本文中描述的這些方框、裝置、系統(tǒng)、技術(shù)或者方法。可以由可以被移動(dòng)設(shè)備的數(shù)據(jù)處理器諸如在處理器實(shí)體中執(zhí)行的計(jì)算機(jī)軟件、或者由硬件、或者由軟件和硬件的組合來實(shí)現(xiàn)本發(fā)明的實(shí)施例。進(jìn)一步地，在這點(diǎn)上應(yīng)當(dāng)指出，如附圖中的邏輯流的任何方框可以表示程序步驟、或者互聯(lián)的邏輯電路、塊和功能、或者程序步驟和邏輯電路、塊和功能的組合。軟件可以被存儲(chǔ)在諸如是存儲(chǔ)器芯片、或者在處理器內(nèi)實(shí)現(xiàn)的存儲(chǔ)器塊的物理介質(zhì)、諸如是硬盤或者軟盤的磁性介質(zhì)和諸如是例如DVD和其數(shù)據(jù)變型CD的光學(xué)介質(zhì)上?？梢越柚谖挥诖鎯?chǔ)器中并且導(dǎo)致相關(guān)的裝置實(shí)現(xiàn)本發(fā)明的計(jì)算機(jī)程序代碼來實(shí)現(xiàn)本發(fā)明的各種實(shí)施例。例如，終端設(shè)備可以包括用于處置、接收和發(fā)送數(shù)據(jù)的電路和電子器件、存儲(chǔ)器中的計(jì)算機(jī)程序代碼以及當(dāng)運(yùn)行計(jì)算機(jī)程序代碼時(shí)導(dǎo)致該終端設(shè)備實(shí)現(xiàn)一個(gè)實(shí)施例的特征的處理器。仍然進(jìn)一步地，網(wǎng)絡(luò)設(shè)備可以包括用于處置、接收和發(fā)送數(shù)據(jù)的電路和電子器件、存儲(chǔ)器中的計(jì)算機(jī)程序代碼以及當(dāng)運(yùn)行計(jì)算機(jī)程序代碼時(shí)導(dǎo)致該網(wǎng)絡(luò)設(shè)備實(shí)現(xiàn)一個(gè)實(shí)施例的特征的處理器。存儲(chǔ)器可以是任何適于本地技術(shù)環(huán)境的類型的，并且可以使用諸如是基于半導(dǎo)體的存儲(chǔ)器設(shè)備、磁性存儲(chǔ)器設(shè)備和系統(tǒng)、光學(xué)存儲(chǔ)器設(shè)備和系統(tǒng)、固定存儲(chǔ)器和可移除存儲(chǔ)器的任何合適的數(shù)據(jù)存儲(chǔ)技術(shù)來實(shí)現(xiàn)。數(shù)據(jù)處理器可以是任何適于本地技術(shù)環(huán)境的類型的，并且作為非限制性示例可以包括通用計(jì)算機(jī)、專用計(jì)算機(jī)、微處理器、數(shù)字信號處理器(DSP)和基于多核處理器架構(gòu)的處理器中的一項(xiàng)或多項(xiàng)。可以在諸如是集成電路模塊的各種部件中實(shí)踐本發(fā)明的實(shí)施例。集成電路的設(shè)計(jì)總的來說是高度自動(dòng)化的過程。復(fù)雜和強(qiáng)大的軟件工具可用于將邏輯層設(shè)計(jì)轉(zhuǎn)換成對于被蝕刻和形成在半導(dǎo)體基底上準(zhǔn)備就緒的半導(dǎo)體電路設(shè)計(jì)。諸如是由加利福尼亞芒廷維尤的Synopsys公司和加利福尼亞圣何塞的CadenceDesign提供的那些程序的程序使用已恰當(dāng)建立的設(shè)計(jì)規(guī)則以及已預(yù)存儲(chǔ)的設(shè)計(jì)模塊的庫自動(dòng)地在半導(dǎo)體芯片上規(guī)定導(dǎo)體的路線和放置部件。一旦半導(dǎo)體電路的設(shè)計(jì)已被完成，則產(chǎn)生的采用標(biāo)準(zhǔn)化的電子格式(例如，Opus、GDSII等)的電路可以被發(fā)送給半導(dǎo)體制造設(shè)施或者“工廠”以便進(jìn)行制造。前述的描述已經(jīng)由示例性和非限制性的示例提供了對本發(fā)明的示例性實(shí)施例的充分和信息豐富的描述。然而，當(dāng)結(jié)合附圖和所附的權(quán)利要求閱讀時(shí)，鑒于前述的描述，各種修改和調(diào)整對于相關(guān)領(lǐng)域的技術(shù)人員可以變得顯而易見。然而，對于本發(fā)明的教導(dǎo)的全部這樣的和類似的修改將仍然落在本發(fā)明的范圍內(nèi)。下面將提供一些示例。根據(jù)第一示例，提供了一種方法，所述方法包括：接收用于確定是否從解碼經(jīng)編碼的字段到解碼經(jīng)編碼的幀或者從解碼經(jīng)編碼的幀到解碼經(jīng)編碼的字段的切換點(diǎn)存在于位流中的一個(gè)或多個(gè)指示，其中，如果所述切換點(diǎn)存在，則所述方法進(jìn)一步包括：作為對確定從解碼經(jīng)編碼的字段到解碼經(jīng)編碼的幀的切換點(diǎn)的響應(yīng)，執(zhí)行以下操作：接收第一可伸縮性層的第一經(jīng)編碼的幀和第二可伸縮性層的第二經(jīng)編碼的字段；將所述第一經(jīng)編碼的幀重構(gòu)成第一經(jīng)重構(gòu)的幀；將所述第一經(jīng)重構(gòu)的幀重新采樣成第一參考圖片；以及將所述第二經(jīng)編碼的字段解碼成第二經(jīng)重構(gòu)的字段，其中，所述解碼包括使用所述第一參考圖片作為對所述第二經(jīng)編碼的字段的預(yù)測的參考；作為對確定從解碼經(jīng)編碼的幀到解碼經(jīng)編碼的字段的切換點(diǎn)的響應(yīng)，執(zhí)行以下操作：將第三可伸縮性層的第一對經(jīng)編碼的字段解碼成第一經(jīng)重構(gòu)的互補(bǔ)字段對或者將第三可伸縮性層的第一經(jīng)編碼的字段解碼成第一經(jīng)重構(gòu)的字段；將所述第一經(jīng)重構(gòu)的互補(bǔ)字段對中的一個(gè)字段或者全部兩個(gè)字段或者所述第一經(jīng)重構(gòu)的字段重新采樣成第二參考圖片；將第四可伸縮性層的第二經(jīng)編碼的幀解碼成第二經(jīng)重構(gòu)的幀，其中，所述解碼包括使用所述第二參考圖片作為對所述第二經(jīng)編碼的幀的預(yù)測的參考。在某些實(shí)施例中，所述方法包括以下步驟中的一個(gè)或多個(gè)步驟：接收對所述第一參考圖片的指示；接收對所述第二參考圖片的指示。在某些實(shí)施例中，所述方法包括：接收這樣的指示：所述第一可伸縮性、第二可伸縮性層、第三可伸縮性層和第四可伸縮性層中的至少一項(xiàng)，是否該可伸縮性層包括表示經(jīng)編碼的字段或者經(jīng)編碼的幀的經(jīng)編碼的圖片。在某些實(shí)施例中，所述方法包括：使用一個(gè)層作為所述第一可伸縮性層和所述第四可伸縮性層；以及使用另一個(gè)層作為所述第二可伸縮性層和所述第三可伸縮性層。在某些實(shí)施例中，所述一個(gè)層是可伸縮視頻編碼的基礎(chǔ)層；以及，所述另一個(gè)層是所述可伸縮視頻編碼的增強(qiáng)層。在某些實(shí)施例中，所述另一個(gè)層是可伸縮視頻編碼的基礎(chǔ)層；以及，所述一個(gè)層是所述可伸縮視頻編碼的增強(qiáng)層。在某些實(shí)施例中，所述一個(gè)層是可伸縮視頻編碼的第一增強(qiáng)層；以及所述另一個(gè)層是所述可伸縮視頻編碼的另一個(gè)增強(qiáng)層。在某些實(shí)施例中，所述方法包括：提供包括按照視頻質(zhì)量增強(qiáng)的遞增次序排序的多個(gè)可伸縮性層的可伸縮性層分層；以及作為對確定從解碼經(jīng)編碼的字段到解碼經(jīng)編碼的幀的切換點(diǎn)的響應(yīng)，使用在所述可伸縮性層分層中比所述第一可伸縮性層高的可伸縮性層作為所述第二可伸縮性層。在某些實(shí)施例中，所述方法包括：提供包括按照視頻質(zhì)量增強(qiáng)的遞增次序排序的多個(gè)可伸縮性層的可伸縮性層分層；以及作為對確定從解碼經(jīng)編碼的幀到解碼經(jīng)編碼的字段的切換點(diǎn)的響應(yīng)，使用在所述可伸縮性層分層中比所述第三可伸縮性層高的可伸縮性層作為所述第四可伸縮性層。在某些實(shí)施例中，所述方法包括：從所述第一對經(jīng)編碼的字段對所述第二參考圖片進(jìn)行對角線預(yù)測。在某些實(shí)施例中，所述方法包括：將所述第二參考圖片解碼為將不被輸出的圖片。根據(jù)第二示例，提供了一種裝置，所述裝置包括至少一個(gè)處理器和包括計(jì)算機(jī)程序代碼的至少一個(gè)存儲(chǔ)器，所述至少一個(gè)存儲(chǔ)器和所述計(jì)算機(jī)程序代碼被配置為，利用所述至少一個(gè)處理器，導(dǎo)致所述裝置執(zhí)行以下操作：接收用于確定是否從解碼經(jīng)編碼的字段到解碼經(jīng)編碼的幀或者從解碼經(jīng)編碼的幀到解碼經(jīng)編碼的字段的切換點(diǎn)存在于位流中的一個(gè)或多個(gè)指示，其中，如果所述切換點(diǎn)存在，則所述方法進(jìn)一步包括：作為對確定從解碼經(jīng)編碼的字段到解碼經(jīng)編碼的幀的切換點(diǎn)的響應(yīng)，執(zhí)行以下操作：接收第一可伸縮性層的第一經(jīng)編碼的幀和第二可伸縮性層的第二經(jīng)編碼的字段；將所述第一經(jīng)編碼的幀重構(gòu)成第一經(jīng)重構(gòu)的幀；將所述第一經(jīng)重構(gòu)的幀重新采樣成第一參考圖片；以及將所述第二經(jīng)編碼的字段解碼成第二經(jīng)重構(gòu)的字段，其中，所述解碼包括使用所述第一參考圖片作為對所述第二經(jīng)編碼的字段的預(yù)測的參考；作為對確定從解碼經(jīng)編碼的幀到解碼經(jīng)編碼的字段的切換點(diǎn)的響應(yīng)，執(zhí)行以下操作：將第三可伸縮性層的第一對經(jīng)編碼的字段解碼成第一經(jīng)重構(gòu)的互補(bǔ)字段對或者將第三可伸縮性層的第一經(jīng)編碼的字段解碼成第一經(jīng)重構(gòu)的字段；將所述第一經(jīng)重構(gòu)的互補(bǔ)字段對中的一個(gè)字段或者全部兩個(gè)字段或者所述第一經(jīng)重構(gòu)的字段重新采樣成第二參考圖片；將第四可伸縮性層的第二經(jīng)編碼的幀解碼成第二經(jīng)重構(gòu)的幀，其中，所述解碼包括使用所述第二參考圖片作為對所述第二經(jīng)編碼的幀的預(yù)測的參考。在所述裝置的某些實(shí)施例中，所述至少一個(gè)存儲(chǔ)器具有存儲(chǔ)在其上的代碼，所述代碼當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置執(zhí)行至少以下操作：接收對所述第一參考圖片的指示；接收對所述第二參考圖片的指示。在所述裝置的某些實(shí)施例中，所述至少一個(gè)存儲(chǔ)器具有存儲(chǔ)在其上的代碼，所述代碼當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置執(zhí)行至少以下操作：接收這樣的指示：所述第一可伸縮性、第二可伸縮性層、第三可伸縮性層和第四可伸縮性層中的至少一項(xiàng)，是否該可伸縮性層包括表示經(jīng)編碼的字段或者經(jīng)編碼的幀的經(jīng)編碼的圖片。在所述裝置的某些實(shí)施例中，所述至少一個(gè)存儲(chǔ)器具有存儲(chǔ)在其上的代碼，所述代碼當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置執(zhí)行至少以下操作：使用一個(gè)層作為所述第一可伸縮性層和所述第四可伸縮性層；以及使用另一個(gè)層作為所述第二可伸縮性層和所述第三可伸縮性層。在某些實(shí)施例中，所述一個(gè)層是可伸縮視頻編碼的基礎(chǔ)層；以及，所述另一個(gè)層是所述可伸縮視頻編碼的增強(qiáng)層。在某些實(shí)施例中，所述另一個(gè)層是可伸縮視頻編碼的基礎(chǔ)層；以及，所述一個(gè)層是所述可伸縮視頻編碼的增強(qiáng)層。在某些實(shí)施例中，所述一個(gè)層是可伸縮視頻編碼的第一增強(qiáng)層；以及所述另一個(gè)層是所述可伸縮視頻編碼的另一個(gè)增強(qiáng)層。在所述裝置的某些實(shí)施例中，所述至少一個(gè)存儲(chǔ)器具有存儲(chǔ)在其上的代碼，所述代碼當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置執(zhí)行至少以下操作：提供包括按照視頻質(zhì)量增強(qiáng)的遞增次序排序的多個(gè)可伸縮性層的可伸縮性層分層；以及作為對確定從解碼經(jīng)編碼的字段到解碼經(jīng)編碼的幀的切換點(diǎn)的響應(yīng)，使用在所述可伸縮性層分層中比所述第一可伸縮性層高的可伸縮性層作為所述第二可伸縮性層。在所述裝置的某些實(shí)施例中，所述至少一個(gè)存儲(chǔ)器具有存儲(chǔ)在其上的代碼，所述代碼當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置執(zhí)行至少以下操作：提供包括按照視頻質(zhì)量增強(qiáng)的遞增次序排序的多個(gè)可伸縮性層的可伸縮性層分層；以及作為對確定從解碼經(jīng)編碼的幀到解碼經(jīng)編碼的字段的切換點(diǎn)的響應(yīng)，使用在所述可伸縮性層分層中比所述第三可伸縮性層高的可伸縮性層作為所述第四可伸縮性層。在所述裝置的某些實(shí)施例中，所述至少一個(gè)存儲(chǔ)器具有存儲(chǔ)在其上的代碼，所述代碼當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置執(zhí)行至少以下操作：從所述第一對經(jīng)編碼的字段對所述第二參考圖片進(jìn)行對角線預(yù)測。在所述裝置的某些實(shí)施例中，所述至少一個(gè)存儲(chǔ)器具有存儲(chǔ)在其上的代碼，所述代碼當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置執(zhí)行至少以下操作：將所述第二參考圖片解碼為將不被輸出的圖片。根據(jù)第三示例，提供了一種被包含在非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)中的包括計(jì)算機(jī)程序代碼的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序代碼被配置為，當(dāng)在至少一個(gè)處理器上被執(zhí)行時(shí)，導(dǎo)致裝置或者系統(tǒng)執(zhí)行以下操作：接收用于確定是否從解碼經(jīng)編碼的字段到解碼經(jīng)編碼的幀或者從解碼經(jīng)編碼的幀到解碼經(jīng)編碼的字段的切換點(diǎn)存在于位流中的一個(gè)或多個(gè)指示，其中，如果所述切換點(diǎn)存在，則所述方法進(jìn)一步包括：作為對確定從解碼經(jīng)編碼的字段到解碼經(jīng)編碼的幀的切換點(diǎn)的響應(yīng)，執(zhí)行以下操作：接收第一可伸縮性層的第一經(jīng)編碼的幀和第二可伸縮性層的第二對經(jīng)編碼的字段；將所述第一經(jīng)編碼的幀重構(gòu)成第一經(jīng)重構(gòu)的幀；將所述第一經(jīng)重構(gòu)的幀重新采樣成第一參考圖片；以及將所述第二經(jīng)編碼的字段解碼成第二經(jīng)重構(gòu)的字段，其中，所述解碼包括使用所述第一參考圖片作為對所述第二經(jīng)編碼的字段的預(yù)測的參考；作為對確定從解碼經(jīng)編碼的幀到解碼經(jīng)編碼的字段的切換點(diǎn)的響應(yīng)，執(zhí)行以下操作：將第三可伸縮性層的第一對經(jīng)編碼的字段解碼成第一經(jīng)重構(gòu)的互補(bǔ)字段對或者將第三可伸縮性層的第一經(jīng)編碼的字段解碼成第一經(jīng)重構(gòu)的字段；將所述第一經(jīng)重構(gòu)的互補(bǔ)字段對中的一個(gè)字段或者全部兩個(gè)字段或者所述第一經(jīng)重構(gòu)的字段重新采樣成第二參考圖片；將第四可伸縮性層的第二經(jīng)編碼的幀解碼成第二經(jīng)重構(gòu)的幀，其中，所述解碼包括使用所述第二參考圖片作為對所述第二經(jīng)編碼的幀的預(yù)測的參考。在某些實(shí)施例中，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序代碼，所述計(jì)算機(jī)程序代碼被配置為，當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置或者所述系統(tǒng)執(zhí)行至少以下操作：接收對所述第一參考圖片的指示；接收對所述第二參考圖片的指示。在某些實(shí)施例中，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序代碼，所述計(jì)算機(jī)程序代碼被配置為，當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置或者所述系統(tǒng)執(zhí)行至少以下操作：接收這樣的指示：所述第一可伸縮性、第二可伸縮性層、第三可伸縮性層和第四可伸縮性層中的至少一項(xiàng)，是否該可伸縮性層包括表示經(jīng)編碼的字段或者經(jīng)編碼的幀的經(jīng)編碼的圖片。在某些實(shí)施例中，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序代碼，所述計(jì)算機(jī)程序代碼被配置為，當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置或者所述系統(tǒng)執(zhí)行至少以下操作：使用一個(gè)層作為所述第一可伸縮性層和所述第四可伸縮性層；以及使用另一個(gè)層作為所述第二可伸縮性層和所述第三可伸縮性層。在某些實(shí)施例中，所述一個(gè)層是可伸縮視頻編碼的基礎(chǔ)層；以及，所述另一個(gè)層是所述可伸縮視頻編碼的增強(qiáng)層。在某些實(shí)施例中，所述另一個(gè)層是可伸縮視頻編碼的基礎(chǔ)層；以及，所述一個(gè)層是所述可伸縮視頻編碼的增強(qiáng)層。在某些實(shí)施例中，所述一個(gè)層是可伸縮視頻編碼的第一增強(qiáng)層；以及所述另一個(gè)層是所述可伸縮視頻編碼的另一個(gè)增強(qiáng)層。在某些實(shí)施例中，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序代碼，所述計(jì)算機(jī)程序代碼被配置為，當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置或者所述系統(tǒng)執(zhí)行至少以下操作：提供包括按照視頻質(zhì)量增強(qiáng)的遞增次序排序的多個(gè)可伸縮性層的可伸縮性層分層；以及作為對確定從解碼經(jīng)編碼的字段到解碼經(jīng)編碼的幀的切換點(diǎn)的響應(yīng)，使用在所述可伸縮性層分層中比所述第一可伸縮性層高的可伸縮性層作為所述第二可伸縮性層。在某些實(shí)施例中，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序代碼，所述計(jì)算機(jī)程序代碼被配置為，當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置或者所述系統(tǒng)執(zhí)行至少以下操作：提供包括按照視頻質(zhì)量增強(qiáng)的遞增次序排序的多個(gè)可伸縮性層的可伸縮性層分層；以及作為對確定從解碼經(jīng)編碼的幀到解碼經(jīng)編碼的字段的切換點(diǎn)的響應(yīng)，使用在所述可伸縮性層分層中比所述第三可伸縮性層高的可伸縮性層作為所述第四可伸縮性層。在某些實(shí)施例中，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序代碼，所述計(jì)算機(jī)程序代碼被配置為，當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置或者所述系統(tǒng)執(zhí)行至少以下操作：從所述第一對經(jīng)編碼的字段對所述第二參考圖片進(jìn)行對角線預(yù)測。在某些實(shí)施例中，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序代碼，所述計(jì)算機(jī)程序代碼被配置為，當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置或者所述系統(tǒng)執(zhí)行至少以下操作：將所述第二參考圖片解碼為將不被輸出的圖片。根據(jù)第四示例，提供了一種方法，所述方法包括：接收第一未經(jīng)壓縮的互補(bǔ)字段對和第二未經(jīng)壓縮的互補(bǔ)字段對；確定是否將所述第一互補(bǔ)字段對編碼為第一經(jīng)編碼的幀或者第一對經(jīng)編碼的字段以及將所述第二未經(jīng)壓縮的互補(bǔ)字段對編碼為第二經(jīng)編碼的幀或者第二對經(jīng)編碼的字段；作為對確定所述第一互補(bǔ)字段對將被編碼為所述第一經(jīng)編碼的幀以及所述第二未經(jīng)壓縮的互補(bǔ)字段對將被編碼為所述第二對經(jīng)編碼的字段的響應(yīng)，執(zhí)行以下操作：將所述第一互補(bǔ)字段對編碼為第一可伸縮性層的所述第一經(jīng)編碼的幀；將所述第一經(jīng)編碼的幀重構(gòu)成第一經(jīng)重構(gòu)的幀；將所述第一經(jīng)重構(gòu)的幀重新采樣成第一參考圖片；以及將所述第二互補(bǔ)字段對編碼為第二可伸縮性層的所述第二對經(jīng)編碼的字段，其中，所述編碼包括使用所述第一參考圖片作為對所述第二對經(jīng)編碼的字段中的至少一個(gè)字段的預(yù)測的參考；作為對確定所述第一互補(bǔ)字段對將被編碼為所述第一對經(jīng)編碼的字段以及所述第二未經(jīng)壓縮的互補(bǔ)字段對將被編碼為所述第二經(jīng)編碼的幀的響應(yīng)，執(zhí)行以下操作：將所述第一互補(bǔ)字段對編碼為第三可伸縮性層的所述第一對經(jīng)編碼的字段；將所述第一對經(jīng)編碼的字段中的至少一個(gè)字段重構(gòu)成第一經(jīng)重構(gòu)的字段和第二經(jīng)重構(gòu)的字段中的至少一個(gè)字段；將所述第一經(jīng)重構(gòu)的字段和所述第二經(jīng)重構(gòu)的字段中的一個(gè)字段或者全部兩個(gè)字段重新采樣成第二參考圖片；以及將所述第二互補(bǔ)字段對編碼為第四可伸縮性層的所述第二經(jīng)編碼的幀，其中，所述編碼包括使用所述第二參考圖片作為對所述第二經(jīng)編碼的幀的預(yù)測的參考。在某些實(shí)施例中，所述方法包括以下步驟中的一個(gè)或多個(gè)步驟：接收對所述第一參考圖片的指示；接收對所述第二參考圖片的指示。在某些實(shí)施例中，所述方法包括：接收這樣的指示：對于所述第一可伸縮性、第二可伸縮性層、第三可伸縮性層和第四可伸縮性層中的至少一項(xiàng)，是否該可伸縮性層包括表示經(jīng)編碼的字段或者經(jīng)編碼的幀的經(jīng)編碼的圖片。在某些實(shí)施例中，所述方法包括：使用一個(gè)層作為所述第一可伸縮性層和所述第四可伸縮性層；以及使用另一個(gè)層作為所述第二可伸縮性層和所述第三可伸縮性層。在某些實(shí)施例中，所述一個(gè)層是可伸縮視頻編碼的基礎(chǔ)層；以及，所述另一個(gè)層是所述可伸縮視頻編碼的增強(qiáng)層。在某些實(shí)施例中，所述另一個(gè)層是可伸縮視頻編碼的基礎(chǔ)層；以及，所述一個(gè)層是所述可伸縮視頻編碼的增強(qiáng)層。在某些實(shí)施例中，所述一個(gè)層是可伸縮視頻編碼的第一增強(qiáng)層；以及所述另一個(gè)層是所述可伸縮視頻編碼的另一個(gè)增強(qiáng)層。在某些實(shí)施例中，所述方法包括：提供包括按照視頻質(zhì)量增強(qiáng)的遞增次序排序的多個(gè)可伸縮性層的可伸縮性層分層；以及作為對確定將所述第一互補(bǔ)字段對編碼為所述第一經(jīng)編碼的幀和將所述第二未經(jīng)壓縮的互補(bǔ)字段對編碼為所述第二對經(jīng)編碼的字段的響應(yīng)，使用在所述可伸縮性層分層中比所述第一可伸縮性層高的可伸縮性層作為所述第二可伸縮性層。在某些實(shí)施例中，所述方法包括：提供包括按照視頻質(zhì)量增強(qiáng)的遞增次序排序的多個(gè)可伸縮性層的可伸縮性層分層；以及作為對確定將所述第一互補(bǔ)字段對編碼為所述第一對經(jīng)編碼的字段和將所述第二未經(jīng)壓縮的互補(bǔ)字段對編碼為所述第二經(jīng)編碼的幀的響應(yīng)，使用在所述可伸縮性層分層中比所述第三可伸縮性層高的可伸縮性層作為所述第四可伸縮性層。在某些實(shí)施例中，所述方法包括：從所述第一對經(jīng)編碼的字段對所述第二參考圖片進(jìn)行對角線預(yù)測。在某些實(shí)施例中，所述方法包括：將所述第二參考圖片編碼為將不從解碼過程被輸出的圖片。根據(jù)第五示例，提供了一種裝置，所述裝置包括至少一個(gè)處理器和包括計(jì)算機(jī)程序代碼的至少一個(gè)存儲(chǔ)器，所述至少一個(gè)存儲(chǔ)器和所述計(jì)算機(jī)程序代碼被配置為，利用所述至少一個(gè)處理器，導(dǎo)致所述裝置執(zhí)行以下操作：接收第一未經(jīng)壓縮的互補(bǔ)字段對和第二未經(jīng)壓縮的互補(bǔ)字段對；確定是否將所述第一互補(bǔ)字段對編碼為第一經(jīng)編碼的幀或者第一對經(jīng)編碼的字段以及將所述第二未經(jīng)壓縮的互補(bǔ)字段對編碼為第二經(jīng)編碼的幀或者第二對經(jīng)編碼的字段；作為對確定所述第一互補(bǔ)字段對將被編碼為所述第一經(jīng)編碼的幀以及所述第二未經(jīng)壓縮的互補(bǔ)字段對將被編碼為所述第二對經(jīng)編碼的字段的響應(yīng)，執(zhí)行以下操作：將所述第一互補(bǔ)字段對編碼為第一可伸縮性層的所述第一經(jīng)編碼的幀；將所述第一經(jīng)編碼的幀重構(gòu)成第一經(jīng)重構(gòu)的幀；將所述第一經(jīng)重構(gòu)的幀重新采樣成第一參考圖片；以及將所述第二互補(bǔ)字段對編碼為第二可伸縮性層的所述第二對經(jīng)編碼的字段，其中，所述編碼是經(jīng)由使用所述第一參考圖片作為對所述第二對經(jīng)編碼的字段中的至少一個(gè)字段的預(yù)測的參考的；作為對確定所述第一互補(bǔ)字段對將被編碼為所述第一對經(jīng)編碼的字段以及所述第二未經(jīng)壓縮的互補(bǔ)字段對將被編碼為所述第二經(jīng)編碼的幀的響應(yīng)，執(zhí)行以下操作：將所述第一互補(bǔ)字段對編碼為第三可伸縮性層的所述第一對經(jīng)編碼的字段；將所述第一對經(jīng)編碼的字段中的至少一個(gè)字段重構(gòu)成第一經(jīng)重構(gòu)的字段和第二經(jīng)重構(gòu)的字段中的至少一個(gè)字段；將所述第一經(jīng)重構(gòu)的字段和所述第二經(jīng)重構(gòu)的字段中的一個(gè)字段或者全部兩個(gè)字段重新采樣成第二參考圖片；以及將所述第二互補(bǔ)字段對編碼為第四可伸縮性層的所述第二經(jīng)編碼的幀，其中，所述編碼是經(jīng)由使用所述第二參考圖片作為對所述第二經(jīng)編碼的幀的預(yù)測的參考的。在所述裝置的某些實(shí)施例中，所述至少一個(gè)存儲(chǔ)器具有存儲(chǔ)在其上的代碼，所述代碼當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置執(zhí)行至少以下操作：接收對所述第一參考圖片的指示；接收對所述第二參考圖片的指示。在所述裝置的某些實(shí)施例中，所述至少一個(gè)存儲(chǔ)器具有存儲(chǔ)在其上的代碼，所述代碼當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置執(zhí)行至少以下操作：接收這樣的指示：對于所述第一可伸縮性、第二可伸縮性層、第三可伸縮性層和第四可伸縮性層中的至少一項(xiàng)，是否該可伸縮性層包括表示經(jīng)編碼的字段或者經(jīng)編碼的幀的經(jīng)編碼的圖片。在所述裝置的某些實(shí)施例中，所述至少一個(gè)存儲(chǔ)器具有存儲(chǔ)在其上的代碼，所述代碼當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置執(zhí)行至少以下操作：使用一個(gè)層作為所述第一可伸縮性層和所述第四可伸縮性層；以及使用另一個(gè)層作為所述第二可伸縮性層和所述第三可伸縮性層。在某些實(shí)施例中，所述一個(gè)層是可伸縮視頻編碼的基礎(chǔ)層；以及，所述另一個(gè)層是所述可伸縮視頻編碼的增強(qiáng)層。在某些實(shí)施例中，所述另一個(gè)層是可伸縮視頻編碼的基礎(chǔ)層；以及，所述一個(gè)層是所述可伸縮視頻編碼的增強(qiáng)層。在某些實(shí)施例中，所述一個(gè)層是可伸縮視頻編碼的第一增強(qiáng)層；以及所述另一個(gè)層是所述可伸縮視頻編碼的另一個(gè)增強(qiáng)層。在所述裝置的某些實(shí)施例中，所述至少一個(gè)存儲(chǔ)器具有存儲(chǔ)在其上的代碼，所述代碼當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置執(zhí)行至少以下操作：提供包括按照視頻質(zhì)量增強(qiáng)的遞增次序排序的多個(gè)可伸縮性層的可伸縮性層分層；以及作為對確定將所述第一互補(bǔ)字段對編碼為所述第一經(jīng)編碼的幀和將所述第二未經(jīng)壓縮的互補(bǔ)字段對編碼為所述第二對經(jīng)編碼的字段的響應(yīng)，使用在所述可伸縮性層分層中比所述第一可伸縮性層高的可伸縮性層作為所述第二可伸縮性層。在所述裝置的某些實(shí)施例中，所述至少一個(gè)存儲(chǔ)器具有存儲(chǔ)在其上的代碼，所述代碼當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置執(zhí)行至少以下操作：提供包括按照視頻質(zhì)量增強(qiáng)的遞增次序排序的多個(gè)可伸縮性層的可伸縮性層分層；以及作為對確定將所述第一互補(bǔ)字段對編碼為所述第一對經(jīng)編碼的字段和將所述第二未經(jīng)壓縮的互補(bǔ)字段對編碼為所述第二經(jīng)編碼的幀的響應(yīng)，使用在所述可伸縮性層分層中比所述第三可伸縮性層高的可伸縮性層作為所述第四可伸縮性層。在所述裝置的某些實(shí)施例中，所述至少一個(gè)存儲(chǔ)器具有存儲(chǔ)在其上的代碼，所述代碼當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置執(zhí)行至少以下操作：從所述第一對經(jīng)編碼的字段對所述第二參考圖片進(jìn)行對角線預(yù)測。在所述裝置的某些實(shí)施例中，所述至少一個(gè)存儲(chǔ)器具有存儲(chǔ)在其上的代碼，所述代碼當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置執(zhí)行至少以下操作：將所述第二參考圖片編碼為將不從解碼過程被輸出的圖片。根據(jù)第六示例，提供了一種被包含在非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)中的包括計(jì)算機(jī)程序代碼的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序代碼被配置為，當(dāng)在至少一個(gè)處理器上被執(zhí)行時(shí)，導(dǎo)致裝置或者系統(tǒng)執(zhí)行以下操作：接收第一未經(jīng)壓縮的互補(bǔ)字段對和第二未經(jīng)壓縮的互補(bǔ)字段對；確定是否將所述第一互補(bǔ)字段對編碼為第一經(jīng)編碼的幀或者第一對經(jīng)編碼的字段以及將所述第二未經(jīng)壓縮的互補(bǔ)字段對編碼為第二經(jīng)編碼的幀或者第二對經(jīng)編碼的字段；作為對確定所述第一互補(bǔ)字段對將被編碼為所述第一經(jīng)編碼的幀以及所述第二未經(jīng)壓縮的互補(bǔ)字段對將被編碼為所述第二對經(jīng)編碼的字段的響應(yīng)，執(zhí)行以下操作：將所述第一互補(bǔ)字段對編碼為第一可伸縮性層的所述第一經(jīng)編碼的幀；將所述第一經(jīng)編碼的幀重構(gòu)成第一經(jīng)重構(gòu)的幀；將所述第一經(jīng)重構(gòu)的幀重新采樣成第一參考圖片；以及將所述第二互補(bǔ)字段對編碼為第二可伸縮性層的所述第二對經(jīng)編碼的字段，其中，所述編碼是經(jīng)由使用所述第一參考圖片作為對所述第二對經(jīng)編碼的字段中的至少一個(gè)字段的預(yù)測的參考的；作為對確定所述第一互補(bǔ)字段對將被編碼為所述第一對經(jīng)編碼的字段以及所述第二未經(jīng)壓縮的互補(bǔ)字段對將被編碼為所述第二經(jīng)編碼的幀的響應(yīng)，執(zhí)行以下操作：將所述第一互補(bǔ)字段對編碼為第三可伸縮性層的所述第一對經(jīng)編碼的字段；將所述第一對經(jīng)編碼的字段中的至少一個(gè)字段重構(gòu)成第一經(jīng)重構(gòu)的字段和第二經(jīng)重構(gòu)的字段中的至少一個(gè)字段；將所述第一經(jīng)重構(gòu)的字段和所述第二經(jīng)重構(gòu)的字段中的一個(gè)字段或者全部兩個(gè)字段重新采樣成第二參考圖片；以及將所述第二互補(bǔ)字段對編碼為第四可伸縮性層的所述第二經(jīng)編碼的幀，其中，所述編碼是經(jīng)由使用所述第二參考圖片作為對所述第二經(jīng)編碼的幀的預(yù)測的參考的。在某些實(shí)施例中，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序代碼，所述計(jì)算機(jī)程序代碼被配置為，當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置或者所述系統(tǒng)執(zhí)行至少以下操作：接收對所述第一參考圖片的指示；接收對所述第二參考圖片的指示。在某些實(shí)施例中，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序代碼，所述計(jì)算機(jī)程序代碼被配置為，當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置或者所述系統(tǒng)執(zhí)行至少以下操作：接收這樣的指示：對于所述第一可伸縮性、第二可伸縮性層、第三可伸縮性層和第四可伸縮性層中的至少一項(xiàng)，是否該可伸縮性層包括表示經(jīng)編碼的字段或者經(jīng)編碼的幀的經(jīng)編碼的圖片。在某些實(shí)施例中，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序代碼，所述計(jì)算機(jī)程序代碼被配置為，當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置或者所述系統(tǒng)執(zhí)行至少以下操作：使用一個(gè)層作為所述第一可伸縮性層和所述第四可伸縮性層；以及使用另一個(gè)層作為所述第二可伸縮性層和所述第三可伸縮性層。在某些實(shí)施例中，所述一個(gè)層是可伸縮視頻編碼的基礎(chǔ)層；以及，所述另一個(gè)層是所述可伸縮視頻編碼的增強(qiáng)層。在某些實(shí)施例中，所述另一個(gè)層是可伸縮視頻編碼的基礎(chǔ)層；以及，所述一個(gè)層是所述可伸縮視頻編碼的增強(qiáng)層。在某些實(shí)施例中，所述一個(gè)層是可伸縮視頻編碼的第一增強(qiáng)層；以及所述另一個(gè)層是所述可伸縮視頻編碼的另一個(gè)增強(qiáng)層。在某些實(shí)施例中，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序代碼，所述計(jì)算機(jī)程序代碼被配置為，當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置或者所述系統(tǒng)執(zhí)行至少以下操作：提供包括按照視頻質(zhì)量增強(qiáng)的遞增次序排序的多個(gè)可伸縮性層的可伸縮性層分層；以及作為對確定將所述第一互補(bǔ)字段對編碼為所述第一經(jīng)編碼的幀和將所述第二未經(jīng)壓縮的互補(bǔ)字段對編碼為所述第二對經(jīng)編碼的字段的響應(yīng)，使用在所述可伸縮性層分層中比所述第一可伸縮性層高的可伸縮性層作為所述第二可伸縮性層。在某些實(shí)施例中，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序代碼，所述計(jì)算機(jī)程序代碼被配置為，當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置或者所述系統(tǒng)執(zhí)行至少以下操作：提供包括按照視頻質(zhì)量增強(qiáng)的遞增次序排序的多個(gè)可伸縮性層的可伸縮性層分層；以及作為對確定將所述第一互補(bǔ)字段對編碼為所述第一對經(jīng)編碼的字段和將所述第二未經(jīng)壓縮的互補(bǔ)字段對編碼為所述第二經(jīng)編碼的幀的響應(yīng)，使用在所述可伸縮性層分層中比所述第三可伸縮性層高的可伸縮性層作為所述第四可伸縮性層。在某些實(shí)施例中，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序代碼，所述計(jì)算機(jī)程序代碼被配置為，當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置或者所述系統(tǒng)執(zhí)行至少以下操作：從所述第一對經(jīng)編碼的字段對所述第二參考圖片進(jìn)行對角線預(yù)測。在某些實(shí)施例中，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序代碼，所述計(jì)算機(jī)程序代碼被配置為，當(dāng)被所述至少一個(gè)處理器執(zhí)行時(shí)，導(dǎo)致所述裝置或者所述系統(tǒng)執(zhí)行至少以下操作：將所述第二參考圖片編碼為將不從解碼過程被輸出的圖片。根據(jù)第七示例，提供了一種被配置為用于對圖片數(shù)據(jù)單元的位流進(jìn)行解碼的視頻解碼器，其中，所述視頻解碼器被進(jìn)一步配置為用于執(zhí)行以下操作：接收用于確定是否從解碼經(jīng)編碼的字段到解碼經(jīng)編碼的幀或者從解碼經(jīng)編碼的幀到解碼經(jīng)編碼的字段的切換點(diǎn)存在于位流中的一個(gè)或多個(gè)指示，其中，如果所述切換點(diǎn)存在，則所述方法進(jìn)一步包括：作為對確定從解碼經(jīng)編碼的字段到解碼經(jīng)編碼的幀的切換點(diǎn)的響應(yīng)，執(zhí)行以下操作：接收第一可伸縮性層的第一經(jīng)編碼的幀和第二可伸縮性層的第二經(jīng)編碼的字段；將所述第一經(jīng)編碼的幀重構(gòu)成第一經(jīng)重構(gòu)的幀；將所述第一經(jīng)重構(gòu)的幀重新采樣成第一參考圖片；以及將所述第二經(jīng)編碼的字段解碼成第二經(jīng)重構(gòu)的字段，其中，所述解碼包括使用所述第一參考圖片作為對所述第二經(jīng)編碼的字段的預(yù)測的參考；作為對確定從解碼經(jīng)編碼的幀到解碼經(jīng)編碼的字段的切換點(diǎn)的響應(yīng)，執(zhí)行以下操作：將第三可伸縮性層的第一對經(jīng)編碼的字段解碼成第一經(jīng)重構(gòu)的互補(bǔ)字段對或者將第三可伸縮性層的第一經(jīng)編碼的字段解碼成第一經(jīng)重構(gòu)的字段；將所述第一經(jīng)重構(gòu)的互補(bǔ)字段對中的一個(gè)字段或者全部兩個(gè)字段或者所述第一經(jīng)重構(gòu)的字段重新采樣成第二參考圖片；將第四可伸縮性層的第二經(jīng)編碼的幀解碼成第二經(jīng)重構(gòu)的幀，其中，所述解碼包括使用所述第二參考圖片作為對所述第二經(jīng)編碼的幀的預(yù)測的參考。根據(jù)第八示例，提供了一種被配置為用于對圖片數(shù)據(jù)單元的位流進(jìn)行編碼的視頻編碼器，其中，所述視頻編碼器被進(jìn)一步配置為用于執(zhí)行以下操作：接收第一未經(jīng)壓縮的互補(bǔ)字段對和第二未經(jīng)壓縮的互補(bǔ)字段對；確定是否將所述第一互補(bǔ)字段對編碼為第一經(jīng)編碼的幀或者第一對經(jīng)編碼的字段以及將所述第二未經(jīng)壓縮的互補(bǔ)字段對編碼為第二經(jīng)編碼的幀或者第二對經(jīng)編碼的字段；作為對確定所述第一互補(bǔ)字段對將被編碼為所述第一經(jīng)編碼的幀以及所述第二未經(jīng)壓縮的互補(bǔ)字段對將被編碼為所述第二對經(jīng)編碼的字段的響應(yīng)，執(zhí)行以下操作：將所述第一互補(bǔ)字段對編碼為第一可伸縮性層的所述第一經(jīng)編碼的幀；將所述第一經(jīng)編碼的幀重構(gòu)成第一經(jīng)重構(gòu)的幀；將所述第一經(jīng)重構(gòu)的幀重新采樣成第一參考圖片；以及將所述第二互補(bǔ)字段對編碼為第二可伸縮性層的所述第二對經(jīng)編碼的字段，其中，所述編碼包括使用所述第一參考圖片作為對所述第二對經(jīng)編碼的字段中的至少一個(gè)字段的預(yù)測的參考；作為對確定所述第一互補(bǔ)字段對將被編碼為所述第一對經(jīng)編碼的字段以及所述第二未經(jīng)壓縮的互補(bǔ)字段對將被編碼為所述第二經(jīng)編碼的幀的響應(yīng)，執(zhí)行以下操作：將所述第一互補(bǔ)字段對編碼為第三可伸縮性層的所述第一對經(jīng)編碼的字段；將所述第一對經(jīng)編碼的字段中的至少一個(gè)字段重構(gòu)成第一經(jīng)重構(gòu)的字段和第二經(jīng)重構(gòu)的字段中的至少一個(gè)字段；將所述第一經(jīng)重構(gòu)的字段和所述第二經(jīng)重構(gòu)的字段中的一個(gè)字段或者全部兩個(gè)字段重新采樣成第二參考圖片；以及將所述第二互補(bǔ)字段對編碼為第四可伸縮性層的所述第二經(jīng)編碼的幀，其中，所述編碼包括使用所述第二參考圖片作為對所述第二經(jīng)編碼的幀的預(yù)測的參考。當(dāng)前第1頁1 2 3