將視頻可用性信息并入多視圖視頻編碼系統(tǒng)的方法和裝置的制造方法
【專(zhuān)利摘要】提供了用于將視頻可用性信息(VUI)并入多視圖視頻編碼(MVC)的方法和裝置。裝置(100)包括編碼器(100)，用于通過(guò)對(duì)于從各個(gè)視圖(300)、視圖中的各個(gè)時(shí)間級(jí)(500)以及各個(gè)運(yùn)行點(diǎn)(700)中選擇的至少一項(xiàng)指定視頻可用性信息來(lái)編碼多視圖視頻內(nèi)容。此外，裝置(200)包括解碼器，用于通過(guò)對(duì)于從各個(gè)視圖(400)、視圖中的各個(gè)時(shí)間級(jí)(600)以及各個(gè)運(yùn)行點(diǎn)(800)中選擇的至少一項(xiàng)指定視頻可用性信息來(lái)解碼多視圖視頻內(nèi)容。
【專(zhuān)利說(shuō)明】
將視頻可用性信息并入多視圖視頻編碼系統(tǒng)的方法和裝置
[0001] 本申請(qǐng)是2008年9月16日提交的申請(qǐng)?zhí)枮?00880119540.4的發(fā)明專(zhuān)利申請(qǐng)"將視 頻可用性信息(VUI)并入多視圖視頻(MVC)編碼系統(tǒng)的方法和裝置"的分案申請(qǐng)。
[0002] 相關(guān)申請(qǐng)的交叉引用
[0003] 該申請(qǐng)要求2007年10月5日提交的美國(guó)臨時(shí)申請(qǐng)序列號(hào)60/977,709的權(quán)益，通過(guò) 引用將其全部?jī)?nèi)容并入于此。此外，該申請(qǐng)與共同受讓的、通過(guò)引用并入于此、并且與該申 請(qǐng)同時(shí)提交的、題為 "METHODS AND APPARATUS FOR INC0RP0RATI0NG VIDEO USABILITY (VUI)WITHIN A MULTI-VIEW VIDE0(MVC)C0DING SYSTEM"代理人案號(hào)PU080155的非臨時(shí)申 請(qǐng)有關(guān)，其也要求2007年10月5日提交的美國(guó)臨時(shí)申請(qǐng)序列號(hào)60/977，709的權(quán)益。
技術(shù)領(lǐng)域
[0004] 本原理一般設(shè)及視頻編碼和解碼，并且更具體地設(shè)及用于將視頻可用性信息 (VUI)并入多視圖視頻編碼(MVC)的方法和裝置。
【背景技術(shù)】
[0005] 國(guó)際標(biāo)準(zhǔn)化組織/國(guó)際電工委員會(huì)（IS0/IEC)運(yùn)動(dòng)畫(huà)面專(zhuān)家組-4(M陽(yáng)G-4)第10部 分高級(jí)視頻編碼(AVC)標(biāo)準(zhǔn)/國(guó)際電信聯(lián)盟電信分部（ITU-T )H. 264建議(下文中稱(chēng)為"MPEG- 4AVC標(biāo)準(zhǔn)"）規(guī)定了序列參數(shù)集的視頻可用性信息(VUI)參數(shù)的語(yǔ)法和語(yǔ)義。視頻可用性信 息包括W下信息：高寬比、過(guò)掃描(over-scanning)、視頻信號(hào)類(lèi)型、色度位置、定時(shí)、網(wǎng)絡(luò)抽 象層(NAL)假定參考解碼器化畑)參數(shù)、視頻編碼層(V化)假定參考解碼器參數(shù)、比特流限制 等等。視頻可用性信息提供對(duì)應(yīng)的比特流的額外信息，W允許用戶(hù)的更寬范圍的應(yīng)用。例 如，在比特流限制信息中，視頻可用性信息規(guī)定：（1)運(yùn)動(dòng)是否超過(guò)畫(huà)面邊界；（2)每個(gè)畫(huà)面 的最大字節(jié)；（3)每個(gè)宏塊的最大比特；（4)最大運(yùn)動(dòng)向量長(zhǎng)度(水平的和垂直的）；（5)重新 排序帖的數(shù)目；W及(6)最大的解碼帖緩沖器大小。當(dāng)解碼器看到該信息時(shí)，替代使用"級(jí)" 信息來(lái)設(shè)置解碼要求(其通常比比特流實(shí)際要求的解碼要求要高），解碼器可W基于更緊的 界限（tighter limits)來(lái)定制其解碼操作。
[0006] 多視圖視頻編碼(MVC)是對(duì)MPEG-4AVC標(biāo)準(zhǔn)的擴(kuò)展。在多視圖視頻編碼中，可W通 過(guò)使用各視圖之間的相關(guān)性來(lái)編碼多視圖的視頻圖像。在所有視圖中，一個(gè)視圖是基本視 圖，其是兼容MPEG-4AVC標(biāo)準(zhǔn)的，并且不能從其它視圖預(yù)測(cè)。其它視圖被稱(chēng)為非基本視圖?？?W從基本視圖和其它非基本視圖中預(yù)測(cè)性地編碼非標(biāo)準(zhǔn)視圖?？蒞在時(shí)間上對(duì)每個(gè)視圖進(jìn) 行子采樣?？蒞通過(guò)temporal_id語(yǔ)法元素來(lái)標(biāo)識(shí)視圖的時(shí)間子集。視圖的時(shí)間級(jí)是視頻信 號(hào)的一個(gè)表示。在多視圖視頻的編碼的比特流中，存在視圖和時(shí)間級(jí)的不同組合。每個(gè)組合 被稱(chēng)為操作點(diǎn)?？蒞從比特流中提取與各操作點(diǎn)相對(duì)應(yīng)的子比特流。

【發(fā)明內(nèi)容】

[0007] 通過(guò)本原理解決現(xiàn)有技術(shù)的運(yùn)些和其它缺陷和缺點(diǎn)，本原理針對(duì)用于將視頻可用 性信息(VUI)并入多視圖視頻編碼(MVC)的方法和裝置。
[0008] 根據(jù)本原理的一方面，提供了一種裝置。該裝置包括編碼器，其用于通過(guò)對(duì)于各個(gè) 視圖、視圖中的各個(gè)時(shí)間級(jí)、W及各個(gè)操作點(diǎn)中的至少一項(xiàng)指定視頻可用性信息來(lái)編碼多 視圖視頻內(nèi)容。
[0009] 根據(jù)本原理的另一方面，提供了一種方法。該方法包括通過(guò)對(duì)于各個(gè)視圖、視圖中 的各個(gè)時(shí)間級(jí)、W及各個(gè)操作點(diǎn)中的至少一項(xiàng)指定視頻可用性信息來(lái)編碼多視圖視頻內(nèi) 容。
[0010] 根據(jù)本原理的另一方面，提供了一種裝置。該裝置包括解碼器，其用于通過(guò)對(duì)于各 個(gè)視圖、視圖中的各個(gè)時(shí)間級(jí)、W及各個(gè)操作點(diǎn)中的至少一項(xiàng)指定視頻可用性信息來(lái)解碼 多視圖視頻內(nèi)容。
[0011] 根據(jù)本原理的另一方面，提供了一種方法。該方法包括通過(guò)對(duì)于各個(gè)視圖、視圖中 的各個(gè)時(shí)間級(jí)、W及各個(gè)操作點(diǎn)中的至少一項(xiàng)指定視頻可用性信息來(lái)解碼多視圖視頻內(nèi) 容。
[0012] 根據(jù)本原理的另一方面，提供一種編碼方法，包括:通過(guò)為多視圖視頻編碼中的各 個(gè)操作點(diǎn)指定比特流限制信息，來(lái)編碼多視圖視頻內(nèi)容，其中操作點(diǎn)對(duì)應(yīng)于視圖和時(shí)間級(jí) 的不同組合中的一個(gè)組合。
[0013] 根據(jù)本原理的另一方面，提供一種解碼方法，包括:通過(guò)解碼為多視圖視頻編碼中 的各個(gè)操作點(diǎn)指定的比特流限制信息，來(lái)解碼多視圖視頻內(nèi)容，其中操作點(diǎn)對(duì)應(yīng)于視圖和 時(shí)間級(jí)的不同組合中的一個(gè)組合。
[0014] 根據(jù)本原理的另一方面，提供一種解碼裝置，包括:解碼器，用于通過(guò)解碼為多視 圖視頻編碼中的各個(gè)操作點(diǎn)指定的比特流限制信息，來(lái)解碼多視圖視頻內(nèi)容，其中操作點(diǎn) 對(duì)應(yīng)于視圖和時(shí)間級(jí)的不同組合中的一個(gè)組合。
[0015] 根據(jù)本原理的另一方面，提供一種傳輸視頻信號(hào)的裝置，包括:用于通過(guò)為多視圖 視頻編碼中的各個(gè)操作點(diǎn)指定比特流限制信息，來(lái)傳輸多視圖視頻內(nèi)容的部件，其中操作 點(diǎn)對(duì)應(yīng)于視圖和時(shí)間級(jí)的不同組合中的一個(gè)組合。
[0016] 根據(jù)本原理的另一方面，提供一種解碼方法，包括:通過(guò)解碼為多視圖視頻編碼的 視圖中的每個(gè)時(shí)間級(jí)別指定的比特流限制信息，來(lái)解碼多視圖視頻內(nèi)容，其中所述比特流 限制信息指示W(wǎng)下中的一個(gè)或多個(gè)：
[0017] (1)運(yùn)動(dòng)向量是否超過(guò)畫(huà)面邊界；
[0018] (2)每個(gè)畫(huà)面的最大字節(jié)；
[0019] (3)每個(gè)宏塊的最大比特；
[0020] (4)最大水平和垂直運(yùn)動(dòng)向量長(zhǎng)度；
[0021] (5)重新排序帖的數(shù)目；W及
[0022] (6)最大的解碼帖緩沖器大小。
[0023] 本原理的運(yùn)些和其它方面、特征和優(yōu)點(diǎn)將從要結(jié)合附圖閱讀的示例實(shí)施例的W下 詳細(xì)描述中變得明顯。
【附圖說(shuō)明】
[0024] 依據(jù)W下示例圖，可W更好地理解本原理，其中：
[0025] 圖1是依據(jù)本原理的實(shí)施例的、可W應(yīng)用本原理的示例的多視圖視頻編碼(MVC)編 碼器的框圖；
[0026] 圖2是依據(jù)本原理的實(shí)施例的、可W應(yīng)用本原理的示例的多視圖視頻編碼(MVC)解 碼器的框圖；
[0027] 圖3是依據(jù)本原理的實(shí)施例的、使用mvc_vui_parameters_extension()語(yǔ)法元素 來(lái)編碼每個(gè)視圖的比特流限制參數(shù)的示例方法的流程圖；
[002引圖4是依據(jù)本原理的實(shí)施例的、使用mvc_vui_parameters_extension()語(yǔ)法元素 來(lái)解碼每個(gè)視圖的比特流限制參數(shù)的示例方法的流程圖；
[00巧]圖5是依據(jù)本原理的實(shí)施例的、使用mvc_vui_parameters_extension()語(yǔ)法元素 來(lái)編碼每個(gè)視圖中的每個(gè)時(shí)間級(jí)的比特流限制參數(shù)的示例方法的流程圖；
[0030] 圖6是依據(jù)本原理的實(shí)施例的、使用mvc_vui_parameters_extension()語(yǔ)法元素 來(lái)解碼每個(gè)視圖中的每個(gè)時(shí)間級(jí)的比特流限制參數(shù)的示例方法的流程圖；
[0031 ]圖 7 是依據(jù)本原理的實(shí)施例的、使用 view_scalability_parameters_extension() 語(yǔ)法元素來(lái)編碼每個(gè)操作點(diǎn)的比特流限制參數(shù)的示例方法的流程圖；W及
[0032] 圖 8 是依據(jù)本原理的實(shí)施例的、使用 view_scalability_parameters_extension() 語(yǔ)法元素來(lái)解碼每個(gè)操作點(diǎn)的比特流限制參數(shù)的示例方法的流程圖。
【具體實(shí)施方式】
[0033] 本原理針對(duì)用于將視頻可用性信息(VUI)并入多視圖視頻編碼(MVC)的方法和裝 置。
[0034] 本說(shuō)明書(shū)例示了本原理。因此，將理解:本領(lǐng)域技術(shù)人員將能夠設(shè)計(jì)盡管在此沒(méi)有 清楚地描述或示出、但是實(shí)現(xiàn)本原理并包括在其精神和范圍之內(nèi)的各種布置。
[0035] 在此敘述的所有示例和條件性語(yǔ)言意欲用于教導(dǎo)的目的W便幫助讀者理解由本 發(fā)明人貢獻(xiàn)W促進(jìn)本領(lǐng)域技術(shù)的本原理W及構(gòu)思，并且應(yīng)當(dāng)被解釋為不限制運(yùn)種具體敘述 的示例和條件。
[0036] 另外，在運(yùn)里敘述本原理的原理、方面和實(shí)施例及其特定示例的所有陳述意欲包 括其結(jié)構(gòu)上的和功能上的等效物。另外，意圖是:運(yùn)樣的等效物包括當(dāng)前已知的等效物W及 將來(lái)開(kāi)發(fā)的等效物二者，即所開(kāi)發(fā)的執(zhí)行相同功能的任何元件，而不論其結(jié)構(gòu)如何。
[0037] 因此，例如，本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到:在此呈現(xiàn)的框圖表示體現(xiàn)本原理的說(shuō)明性 電路的概念性視圖。類(lèi)似地，將認(rèn)識(shí)到：任何流程圖示（flow chad)、流程圖（flow diagram)、狀態(tài)轉(zhuǎn)換圖、偽代碼等表示實(shí)質(zhì)上可W表示在計(jì)算機(jī)可讀介質(zhì)中并因此由計(jì)算 機(jī)或處理器執(zhí)行的各種處理，而不管是否明確地示出運(yùn)樣的計(jì)算機(jī)或處理器。
[0038] 可W通過(guò)使用專(zhuān)用硬件W及能夠與適當(dāng)?shù)能浖嚓P(guān)聯(lián)地執(zhí)行軟件的硬件來(lái)提供 圖中示出的各種元件的功能。當(dāng)利用處理器來(lái)提供所述功能時(shí)，可W利用單個(gè)專(zhuān)用處理器、 利用單個(gè)共享處理器、或者利用其中一些可被共享的多個(gè)獨(dú)立處理器來(lái)提供所述功能。另 夕h術(shù)語(yǔ)"處理器"或"控制器"的明確使用不應(yīng)當(dāng)被解釋為排他性地指代能夠執(zhí)行軟件的硬 件，而是可W隱含地?zé)o限制地包括數(shù)字信號(hào)處理器（"DSP")硬件、用于存儲(chǔ)軟件的只讀存儲(chǔ) 器r'R0M")、隨機(jī)存取存儲(chǔ)器r'RAM")、和非易失性存儲(chǔ)器。
[0039] 還可W包括其它傳統(tǒng)的和/或定制的硬件。類(lèi)似地，圖中示出的任何開(kāi)關(guān)只是概念 性的。它們的功能可W通過(guò)程序邏輯的操作、通過(guò)專(zhuān)用邏輯、通過(guò)程序控制和專(zhuān)用邏輯的交 互、或者甚至手動(dòng)地來(lái)執(zhí)行，如從上下文更具體地理解的，可W由實(shí)施者選擇具體技術(shù)。
[0040] 在其權(quán)利要求中，被表示為用于執(zhí)行指定功能的部件的任何元件意欲包含執(zhí)行那 個(gè)功能的任何方式，例如包括:a)執(zhí)行那個(gè)功能的電路元件的組合或者b)與適當(dāng)電路相組 合的任何形式的軟件，所述軟件因此包括固件或微代碼等，所述適當(dāng)電路用于執(zhí)行該軟件 W執(zhí)行所述功能。由運(yùn)種權(quán)利要求限定的本原理在于如下事實(shí)，即，W權(quán)利要求所要求的方 式將由各種所敘述的部件提供的功能組合和集合到一起。因此，認(rèn)為可W提供那些功能的 任何部件與在此示出的那些部件等效。
[0041] 在本說(shuō)明書(shū)中提到的本原理的"一個(gè)實(shí)施例"或"實(shí)施例"是指結(jié)合所述實(shí)施例描 述的特定特征、結(jié)構(gòu)、特性等被包括在本原理的至少一個(gè)實(shí)施例中。因此，在說(shuō)明書(shū)各處出 現(xiàn)的短語(yǔ)"在一個(gè)實(shí)施例中"和"在實(shí)施例中"的出現(xiàn)不必都指代相同的實(shí)施例。
[0042] 應(yīng)當(dāng)認(rèn)識(shí)到，術(shù)語(yǔ)"和/或"和"至少一個(gè)"的使用（例如在"A和/或護(hù)和"A和B中的至 少一個(gè)"的情況下）意欲包括僅選擇第一個(gè)列出的選項(xiàng)(A)、僅選擇第二個(gè)列出的選項(xiàng)(B)、 或者選擇兩個(gè)選項(xiàng)(A和B)。作為另一示例，在"A、B和/或C"和"A、B和C中的至少一個(gè)"的情況 下，運(yùn)種措辭意欲包括僅選擇第一個(gè)列出的選項(xiàng)(A)、或者僅選擇第二個(gè)列出的選項(xiàng)(B)、或 者僅選擇第=個(gè)列出的選項(xiàng)(C)、或者僅選擇第一個(gè)和第二個(gè)列出的選項(xiàng)(A和B)、或者僅選 擇第一個(gè)和第立個(gè)列出的選項(xiàng)(A和C)、或者僅選擇第二個(gè)和第=個(gè)列出的選項(xiàng)(B和C)、或 者選擇全部=個(gè)選項(xiàng)(A和B和C)。如本領(lǐng)域和相關(guān)領(lǐng)域普通技術(shù)人員容易認(rèn)識(shí)到的，運(yùn)可 W被擴(kuò)展用于很多列出的項(xiàng)目。
[0043] 多視圖視頻編碼(MVC)是用于編碼多視圖序列的壓縮架構(gòu)。多視圖視頻編碼(MVC) 序列是從不同視點(diǎn)捕獲同一場(chǎng)景的一組兩個(gè)或更多個(gè)視頻序列。
[0044] 如在運(yùn)里可互換地使用的，"交叉視圖kross-view)"和"視圖間（inter-view)"兩 者都指代屬于除了當(dāng)前視圖之外的視圖的畫(huà)面。
[0045] 此外，如在此使用的，"高級(jí)語(yǔ)法"指代在分層級(jí)地駐留在宏塊層上的比特流中出 現(xiàn)的語(yǔ)法。例如，高級(jí)語(yǔ)法（如在此使用的）可W指代但不限于碼片報(bào)頭級(jí)、補(bǔ)充增強(qiáng)信息 (SEI)級(jí)、畫(huà)面參數(shù)集(PPS)級(jí)、序列參數(shù)集(SPS)級(jí)和網(wǎng)絡(luò)抽象層(NAL)單元報(bào)頭級(jí)處的語(yǔ) 法。
[0046] 而且，應(yīng)當(dāng)認(rèn)識(shí)到，盡管在此關(guān)于MPEG-4AVC標(biāo)準(zhǔn)的多視圖視頻編碼擴(kuò)展、為了例 示性目的描述了本原理的一個(gè)或多個(gè)實(shí)施例，但是本原理不僅限于該擴(kuò)展和/或該標(biāo)準(zhǔn)，并 且因此可W關(guān)于其它視頻編碼標(biāo)準(zhǔn)、建議和其擴(kuò)展而利用本原理，同時(shí)維持本原理的精神。
[0047] 另外，應(yīng)當(dāng)認(rèn)識(shí)到，盡管在此關(guān)于比特流限制信息、為了例示性目的描述了本原理 的一個(gè)或多個(gè)實(shí)施例，但是本原理不僅限于使用作為一種類(lèi)型的視頻可用性信息的比特流 限制信息，并且因此根據(jù)本原理還可W使用關(guān)于多視圖視頻編碼可W擴(kuò)展使用的其它類(lèi)型 的視頻可用性信息，同時(shí)維持本原理的精神。
[0048] 轉(zhuǎn)到圖1，通過(guò)參考標(biāo)號(hào)100總地指示示例的多視圖視頻編碼(MVC)編碼器。編碼器 100包括具有與變換器110的輸入W信號(hào)通信地連接的輸出的組合器105。變換器110的輸出 與量化器115的輸入W信號(hào)通信地連接。量化器115的輸出與賭編碼器120的輸入W及逆量 化器125的輸入W信號(hào)通信地連接。逆量化器125的輸出與逆變換器130的輸入W信號(hào)通信 地連接。逆變換器130的輸出與組合器135的第一非反相輸入W信號(hào)通信地連接。組合器135 的輸出與帖內(nèi)預(yù)測(cè)器145的輸入和去塊(deblocking)濾波器150的輸入W信號(hào)通信地連接。 去塊濾波器150的輸出與(視圖i的）參考畫(huà)面存儲(chǔ)部件155的輸入W信號(hào)通信地連接。參考 畫(huà)面存儲(chǔ)部件155的輸出與運(yùn)動(dòng)補(bǔ)償器175的第一輸入W及運(yùn)動(dòng)估計(jì)器180的第一輸入W信 號(hào)通信地連接。運(yùn)動(dòng)估計(jì)器180的輸出與運(yùn)動(dòng)補(bǔ)償器175的第二輸入W信號(hào)通信地連接。
[0049] (其它視圖的）參考畫(huà)面存儲(chǔ)部件160的輸出與視差/照度估計(jì)器170的第一輸入 W及視差/照度補(bǔ)償器165的第一輸入W信號(hào)通信地連接。視差/照度估計(jì)器170的輸出與視 差/照度補(bǔ)償器165的第二輸入W信號(hào)通信地連接。
[0050] 賭解碼器120的輸出可用作編碼器100的輸出。組合器105的非反相輸入可用作編 碼器100的輸入，并且與視差/照度估計(jì)器170的第二輸入W及運(yùn)動(dòng)估計(jì)器180的第二輸入W 信號(hào)通信地連接。開(kāi)關(guān)185的輸出與組合器135的第二非反相輸入W及組合器105的反相輸 入W信號(hào)通信地連接。開(kāi)關(guān)185包括與運(yùn)動(dòng)補(bǔ)償器175的輸出W信號(hào)通信地連接的第一輸 入、與視差/照度補(bǔ)償器165的輸出W信號(hào)通信地連接的第二輸入、W及與帖內(nèi)預(yù)測(cè)器145的 輸出W信號(hào)通信地連接的第=輸入。
[0051] 模式判定模塊140具有連接到開(kāi)關(guān)185的輸出，用于控制通過(guò)開(kāi)關(guān)185選擇哪個(gè)輸 入。
[0052] 轉(zhuǎn)到圖2,通過(guò)附圖標(biāo)記200總地指示示例的多視圖視頻編碼(MVC)解碼器。解碼器 200包括賭解碼器205,其具有與逆量化器210的輸入W信號(hào)通信地連接的輸出。逆量化器的 輸出與逆變換器215的輸入W信號(hào)通信地連接。逆變換器215的輸出與組合器220的第一非 反相輸入W信號(hào)通信地連接。組合器220的輸出與去塊濾波器225的輸入和帖內(nèi)預(yù)測(cè)器230 的輸入W信號(hào)通信地連接。去塊濾波器225的輸出與（視圖i的）參考畫(huà)面存儲(chǔ)部件240的輸 入W信號(hào)通信地連接。參考畫(huà)面存儲(chǔ)部件240的輸出與運(yùn)動(dòng)補(bǔ)償器235的第一輸入W信號(hào)通 信地連接。
[0053] (其它視圖的）參考畫(huà)面存儲(chǔ)部件245的輸出與視差/照度補(bǔ)償器250的第一輸入W 信號(hào)通信地連接。
[0054] 賭解碼器205的輸入可用作對(duì)解碼器200的輸入，用于接收殘余比特流。此外，模式 模塊260的輸入也可用作對(duì)解碼器200的輸入，用于接收控制語(yǔ)法W控制通過(guò)開(kāi)關(guān)255選擇 哪個(gè)輸入。此外，運(yùn)動(dòng)補(bǔ)償器235的第二輸入可用作解碼器200的輸入，用于接收運(yùn)動(dòng)向量。 此外，視差/照度補(bǔ)償器250的第二輸入可用作對(duì)解碼器200的輸入，用于接收視差向量和照 度補(bǔ)償語(yǔ)法。
[0055] 開(kāi)關(guān)255的輸出與組合器220的第二非反相輸入W信號(hào)通信地連接。開(kāi)關(guān)255的第 一輸入與視差/照度補(bǔ)償器250的輸出W信號(hào)通信地連接。開(kāi)關(guān)255的第二輸入與運(yùn)動(dòng)補(bǔ)償 器235的輸出W信號(hào)通信地連接。開(kāi)關(guān)255的第=輸入與帖內(nèi)預(yù)測(cè)器230的輸出W信號(hào)通信 地連接。模式模塊260的輸出與開(kāi)關(guān)255W信號(hào)通信地連接，W控制通過(guò)開(kāi)關(guān)255選擇哪個(gè)輸 入。去塊濾波器225的輸出可用作解碼器的輸出。
[0056] 在MPEG-4AVC標(biāo)準(zhǔn)中，序列參數(shù)集的語(yǔ)法和語(yǔ)義參數(shù)被指定用于視頻可用性信息 (VUI)。運(yùn)表示可W被插入到比特流中W增強(qiáng)視頻對(duì)于多種目的的可用性的附加信息。視頻 可用性信息包括W下信息：高寬比、過(guò)掃描、視頻信號(hào)類(lèi)型、色度位置、定時(shí)、網(wǎng)絡(luò)抽象層 (NAL)假定參考解碼器化RD)參數(shù)、視頻編碼層(V化)假定參考解碼器參數(shù)、比特流限制等 等D
[0057] 依據(jù)本原理的一個(gè)或多個(gè)實(shí)施例，我們將現(xiàn)有的視頻可用性信息字段用于與現(xiàn)有 技術(shù)相比新的和不同的目的，并且進(jìn)一步將其使用擴(kuò)展到多視圖視頻編碼(MVC)。在我們的 多視圖視頻編碼機(jī)制中，擴(kuò)展視頻可用性信息，使得其可W在例如不同視圖、視圖中的不同 時(shí)間級(jí)、或不同操作點(diǎn)之間是不同的。因此，依據(jù)實(shí)施例，我們根據(jù)W下項(xiàng)中的一項(xiàng)或多項(xiàng) (但不限于)來(lái)指定視頻可用性信息：分別指定各個(gè)視圖的視頻可用性信息；分別指定視圖 中的各個(gè)時(shí)間級(jí)的視頻可用性信息；W及分別指定各個(gè)操作點(diǎn)的視頻可用性信息。
[0化引在MPEG-4AVC標(biāo)準(zhǔn)中，可W在序列參數(shù)集(SPS)中傳送包括視頻可用性信息(VUI) 的集。依據(jù)實(shí)施例，我們將視頻可用性信息的概念擴(kuò)展到用于多視圖視頻編碼(MVC)背景 中。有利地，運(yùn)允許為多視圖視頻編碼中的不同的視圖、視圖中的不同時(shí)間級(jí)、或者不同操 作點(diǎn)指定不同的視頻可用性信息。在實(shí)施例中，我們提供新穎的方式來(lái)考慮、修改和使用多 視圖視頻編碼的視頻可用性信息中的比特流限制信息。
[0059]在作為sequence_paramete;r_set()的一部分的vui_parameters()語(yǔ)法元素中指 定了MPEG-4AVC標(biāo)準(zhǔn)中的比特流限制信息。表1例示了 vui_parameters ()的MPEG-4AVC標(biāo)準(zhǔn) 語(yǔ)法。
[0060] 表 1
[0061]
[0062] 比特流限制信息的語(yǔ)法元素的語(yǔ)義如下：
[0063] bitstream_rest;riction_flag等于1指定：W下的編碼后的視頻序列比特流限制 參數(shù)存在。
[0064] bitstream_rest;riction_flag等于0指定：W下的編碼后的視頻序列比特流限制 參數(shù)不存在。
[00化]motion_vectors_ove;r_pic_bounda;ries_f lag 等于 0 指示:沒(méi)有使用畫(huà)面邊界之外 的樣本W(wǎng)及部分樣本位置處的樣本(使用畫(huà)面邊界之外的一個(gè)或多個(gè)樣本導(dǎo)出該樣本的 值)來(lái)對(duì)任何樣本進(jìn)行帖間預(yù)測(cè)。
[0066] motion_vectors_ove;r_pic_bounda;ries_f lag 等于 1 指示:可 W在帖間預(yù)測(cè)中使用 畫(huà)面邊界之外的一個(gè)或多個(gè)樣本。
[0067] 當(dāng) motion_vectors_over_pic_boundaries_fla邑語(yǔ)法元素不存在時(shí)，motion_ vectors_ove;r_pic_bounda;ries_f lag 的值應(yīng)當(dāng)被推斷為等于 I。
[0068] max_bytes_pe;r_pic_denom指示與編碼后的視頻序列中的任何編碼畫(huà)面相關(guān)聯(lián)的 虛擬編碼層(V化)網(wǎng)絡(luò)抽象層(NAL)單元的尺寸之和不超過(guò)的字節(jié)數(shù)目。
[0069] 為此目的，將表示網(wǎng)絡(luò)抽象層單元流中的一畫(huà)面的字節(jié)數(shù)目指定為該畫(huà)面的虛擬 編碼層網(wǎng)絡(luò)抽象層單元數(shù)據(jù)的總的字節(jié)數(shù)目，（即，虛擬編碼層網(wǎng)絡(luò)抽象層單元的 NumB}ftesInNALunit變量的總數(shù)）<3max_b}ftes_pe;r_pic_denom的值應(yīng)當(dāng)在包括0和 16的、0到 16的范圍內(nèi)。
[0070] 取決于max_b}ftes_pe;r_pic_denom，W下適用：
[0071 ]-如果 max_b}ftes_pe;r_pic_denom 等于 0,則不指示界限。
[0072] -否則(max_b^es_pe;r_pic_denom不等于0)，貝通過(guò)多于W下比特?cái)?shù)目來(lái)在編碼 后的視頻序列中表示未編碼畫(huà)面：
[0073] (PicSizelnMbs^RawMbBits)^(8*max_bytes_per_pic_denom)
[0074] 當(dāng) max_b}ftes_pe;r_pic_denom 語(yǔ)法元素不存在時(shí)，max_b}ftes_pe;r_pic_denom 的值 應(yīng)當(dāng)被推斷為等于2。變量PicSizeInMbs是畫(huà)面中宏塊的數(shù)目。如在MPEG-4AVC標(biāo)準(zhǔn)的子款 7.4.2.1中，導(dǎo)出了變量3曰*]\化8113。
[007引 max_bits_pe;r_mb_denom指示編碼后的視頻序列的任何畫(huà)面中任何宏塊的 mac;roblock_laye;r()數(shù)據(jù)的編碼比特的最大數(shù)目。max_bits_pe;r_mb_denom的值應(yīng)當(dāng)在包 括0和16的、0到16的范圍中。
[0076] 取決于max_bits_pe;r_mb_denom，W下適用：
[0077] -如果max_b i t s_pe;r_mb_denom等于0，則不規(guī)定界限。
[007引-否則(max_bits_pe;r_mb_denom不等于0)，應(yīng)當(dāng)通過(guò)多于W下的比特?cái)?shù)目來(lái)在比 特流中表示未編碼的111日(31'01310。4_1日761'0。
[0079] (128+RawMbBits)^max_bits_per_mb_denom
[0080] 取決于en1:;ropy_coding_mode_f lag,如下地計(jì)數(shù)macrobIockJayer()數(shù)據(jù)的比 特：
[0081 ]-如果 ent;ropy_coding_mode_f lag 等于 0，則通過(guò)宏塊的 mac;roblock_laye;r()語(yǔ)法 結(jié)構(gòu)中的比特?cái)?shù)目來(lái)給出111曰(3'〇61〇〇4_1曰76八）數(shù)據(jù)的比特?cái)?shù)目。
[0082] -否則（ent;ropy_coding_mode_f lag等于1 )，則當(dāng)解析與宏塊相關(guān)聯(lián)的 macroblock_layer ()時(shí)，通過(guò)在M陽(yáng)G-4AVC標(biāo)準(zhǔn)的子款9.3.3.2.2和9.3.3.2.3 中調(diào)用read_ b i ts (1)的次數(shù)來(lái)給出該宏塊的macrob lock_lay er ()數(shù)據(jù)的比特?cái)?shù)目。
[0083] 當(dāng) max_bits_pe;r_mb_denom 不存在時(shí)，max_bits_pe;r_mt)_denom 的值應(yīng)當(dāng)被推斷為 等于1。
[0084] log2_max_mv_length_ho;rizonta 巧 tn〇g2_max_mv_length_ve;rtical 分別指示編 碼后的視頻序列中所有畫(huà)面的W1/4亮度樣本為單位(l/41uma sample units)的解碼后的 水平和垂直運(yùn)動(dòng)向量分量的最大絕對(duì)值。值n宣告沒(méi)有運(yùn)動(dòng)向量分量的值將超過(guò)Wl/4亮度 樣本的位移為單位的從包括-2"和2"-1的、-2"到2"-1的范圍。l〇g2_max_mv_length_ horizontal的值應(yīng)當(dāng)在包括0和16 的、0到 16的范圍中。log2_max_mv_length_ve;rtical的 值應(yīng)當(dāng)在包括0和16的、0到16的范圍中。當(dāng)log2_max_mv_length_ho;rizontal不存在時(shí)， log2_max_mv_length_horizontal 和 log2_max_mv_length_vertical 的值應(yīng)當(dāng)被推斷為等 于16。應(yīng)注意，解碼后的垂直或水平運(yùn)動(dòng)向量分量的最大絕對(duì)值也被如在MPEG-4AVC標(biāo)準(zhǔn)的 附錄A中規(guī)定的簡(jiǎn)檔和級(jí)界限所限制。
[0085] num_reorde;r_frames指示分別在解碼順序上領(lǐng)先于編碼后的視頻序列中的任何 帖、補(bǔ)充字段對(duì)、或非成對(duì)的字段并且在輸出順序上跟在其后的帖、補(bǔ)充字段對(duì)、或非成對(duì) 的字段的最大數(shù)目。num_reorde;r_frames的值應(yīng)當(dāng)在包括0和max_dec_fram_buffe;ring的、 0到max_dec_fram_buffe;ring的范圍中。當(dāng)num_reorde;r_frames語(yǔ)法元素不存在時(shí)，num_ reorde;r_frames的值應(yīng)當(dāng)被如下地推斷：
[00 化]-如果 prof ile_idc 等于 44、100、110、122 或 244,并且 cons1:raint_set3_f lag 等于 1，貝lJnum_reorde;r_frames的值應(yīng)當(dāng)被推斷為等于0。
[0087] -否則（prof ile_idc 不等于 44、100、110、122 或 244,或者 constraint_set3_f lag 等 于0) ,num_r0〇rder_fram0s的值應(yīng)當(dāng)被推斷為等于m日x_d0c_fram_buff0rin邑Ma址pbSiz0。
[0088] max_dec_fram_buffering指定W帖緩沖器為單位的、假定參考解碼器解碼后的畫(huà) 面緩沖器(DPB)的所需尺寸。編碼后的視頻序列不應(yīng)要求具有大于Max( 1，max_dec_fram_ buffering)個(gè)帖緩沖器的尺寸的解碼后的畫(huà)面緩沖器，W便使得解碼畫(huà)面的輸出處于通過(guò) 畫(huà)面定時(shí)補(bǔ)充增強(qiáng)信息（SE I)消息的^b_ou化Ut_de 1 ay指定的輸出時(shí)間。max_dec_f ram_ buffering的值應(yīng)當(dāng)在包括num_ref_frames和MaxDpbSize (如在MPEG-4AVC標(biāo)準(zhǔn)的子款 A. 3.1或A. 3.2中所規(guī)定的）的、num_ref_frames到MaxDpbSize的范圍中。當(dāng)max_dec_fram_ buffering語(yǔ)法元素不存在時(shí)，max_decjram_buffe;ring的值應(yīng)當(dāng)被如下地推斷：
[0089] -如果 prof ile_idc 等于 44 或 244,并且 cons1:raint_set3_f lag 等于 1，則max_dec_ 打amjxiffering的值應(yīng)當(dāng)被推斷為等于0。
[0090] -否則（prof ile_idc不等于44或244，或者cons1:raint_set3_f lag等于0)，max_ dec_frame_buffe;ring 的值應(yīng)當(dāng)被推斷為等于 MaxDpbSize。
[0091] 在多視圖視頻編碼中，比特流限制參數(shù)基于更緊的界限定制子流的解碼操作。因 此，應(yīng)允許對(duì)于多視圖視頻編碼比特流的每個(gè)可提取的子流指定比特流限制參數(shù)。依據(jù)實(shí) 施例，我們提出對(duì)于每個(gè)視圖、視圖中每個(gè)時(shí)間級(jí)、W及/或者每個(gè)操作點(diǎn)指定比特流限制 信息。
[009。對(duì)于每個(gè)視圖指定比特流限制參數(shù)
[OOW] 可W對(duì)于每個(gè)視圖指定比特流限制參數(shù)。我們提出mvc_vui_parameters_ extension 語(yǔ)法，其是 subset_sequence_parameter_set 的一部分。表2例示了mvc_vui_ parameters-extension 語(yǔ)法。
[0094] mvc_vui_parameters_extension()在與該 subset_sequence_parameter_set 相關(guān) 聯(lián)的所有視圖上循環(huán)。在該循環(huán)內(nèi)指定每個(gè)視圖的view_id和每個(gè)視圖的比特流限制參數(shù)。 [00巧]表2
[0096]
[0097] 比特流限制語(yǔ)法元素的語(yǔ)義如下：
[009引 bitstream_restriction_flag[i]指定具有等于view_id的 view_id[i]的視圖的 bitstream_restriction_f lag 的值 D
[0099] motion_vectors_over_pic_boundaries_f lag[i]指定具有等于 view_id的 view_ id[ i] S fitlmotion_vectors_over_pic_boundaries_f IagfltlfEo ^motion_vectors_ over_pic_boundaries_f lag[i]語(yǔ)法元素不存在時(shí)，具有等于view_id的view_id[i]的視圖 的 motion_vectors_over_pic_boundaries_f lag 的值應(yīng)當(dāng)被推斷為等于 10
[0100] max_b^es_per_pic_denom[i]指定具有等于 view_id 的view_id[i]的視圖的 max_ bytes_per_pic_denom{E〇 ^max_bytes_per_pic_denom[i ￥王6師_1(1的￥16師_1(1[；[]的視圖的1113。3八63_口61'_口；[(3_(16110111的值應(yīng)當(dāng)被推斷為等于20 [0101 ] max_bits_per_mb_denom[i]指定具有等于view_id的 view_id[i]的視圖的 max_ bits_per_mb_denom值 D 當(dāng) max_bits_per_mb_denom[i]不存在時(shí)，具有等于view_id 的 view_ id[ i ]的視圖的max_bits_per_mb_denom的值應(yīng)當(dāng)被推斷為等于1。
[0102] log2_max_mv_length_horizontal[i]和log2_max_mv_length_vertical[i]分另リ 指定具有等于view_id的 view_id[i]的視圖的 log2_max_mv_length_horizontal和log2_ max_mv_length_verticalfltlfE〇 ^l〇g2_max_mv_length_horizontal 于view_id的view_id[ i ]的視圖的Iog2_max_mv_length_horizontal^01og2_max_mv_ 16雌化_^61'巾；[031的值應(yīng)當(dāng)被推斷為等于16。
[0103] num_reorder_frames[i]指定具有等于view_id的view_id[i]的視圖的num_ reorder_frames的值Dnum_reorder_frames[i]的值應(yīng)當(dāng)在包括0和max_dec_frame_ buffering白勺、0至ljmax_dec_frame_buffering白勺范圍中 D 當(dāng)num_reorder_frames[i]語(yǔ)、法元 素不存在時(shí)，具有等于view_id的view_id[i]的視圖的num_reorder_frames的值應(yīng)當(dāng)被推 斷為等于 max_dec_frame_buffering。
[0104] max_dec_frame_buffering[i]指定具有等于 view_id 的view_id[i]的視圖的 max_ dec_frame_buf f ering白勺值Dmax_dec_frame_buffering[ i ]白勺值應(yīng)當(dāng)在包括num_ref_ frameS [ ij和Ma址pbSi Ze (如在M陽(yáng)G-4AVC標(biāo)準(zhǔn)中的子款A(yù). 3.1或A. 3.2中所指定的）的、num_ ref_frames[i]至IjMa址pbSize的范圍中。當(dāng)max_dec_frame_buffering[i]語(yǔ)法元素不存在 時(shí)，具有等于V i ew_i d的V i ew_i d [ i ]的視圖的max_de c_f rame_buf f er ing的值應(yīng)當(dāng)被推斷為 等于 MaxDpbSi ze。
[0105] 轉(zhuǎn)到圖3，通過(guò)附圖標(biāo)記300總地指示用于使用111￥。_￥11；[_口日拘111616'3_6義16]13；[0]1() 語(yǔ)法元素來(lái)編碼每個(gè)視圖的比特流限制參數(shù)的示例方法。
[0106] 方法300包括開(kāi)始?jí)K305,其將控制傳遞到功能塊310。功能塊310將變量M設(shè)置為等 于視圖的數(shù)目減一，并將控制傳遞到功能塊315。功能塊315將變量M寫(xiě)入到比特流，并將控 制傳遞到功能塊320。功能塊320將變量i設(shè)置為等于0,并將控制傳遞到功能塊325。功能塊 325寫(xiě)入view_id[i ]語(yǔ)法元素，并將控制傳遞到功能塊330。功能塊330寫(xiě)入bitstream_ res1:;riction_f lag[i]語(yǔ)法元素，并將控制傳遞到判定塊335。判定塊335確定bits1:ream_ res化iction_flag[i]語(yǔ)法元素是否等于0。如果等于0,則將控制傳遞到判定塊345。否則， 將控制傳遞到功能塊340。
[0107] 功能塊340寫(xiě)入視圖i的比特流限制參數(shù)，并將控制傳遞到判定塊345。判定塊345 確定變量i是否等于變量M。如果等于，則將控制傳遞到結(jié)束塊399。否則，將控制傳遞到功能 塊350。
[0108] 功能塊350將變量i設(shè)置為等于i加一，并且將控制返回到功能塊325。
[0109] 轉(zhuǎn)到圖4,通過(guò)參考標(biāo)號(hào)400總地指示用于使用mvc_vui_parameters_extension() 語(yǔ)法元素來(lái)解碼每個(gè)視圖的比特流限制參數(shù)的示例方法。
[0110] 方法400包括開(kāi)始?jí)K405,其將控制傳遞到功能塊407。功能塊407從比特流中讀取 變量M，并將控制傳遞到功能塊410。功能塊410將視圖的數(shù)目設(shè)置為等于變量M加一，并將控 制傳遞到功能塊420。功能塊420將變量i設(shè)置為等于0,并將控制傳遞到功能塊425。功能塊 425讀取view_id[i ]語(yǔ)法元素，并將控制傳遞到功能塊430。功能塊430讀取bitstream_ res1:;riction_f lag[i]語(yǔ)法元素，并將控制傳遞到判定塊435。判定塊435確定bits1:ream_ res化iction_flag[i]語(yǔ)法元素是否等于0。如果等于0,則將控制傳遞到判定塊445。否則， 將控制傳遞到功能塊440。
[0111] 功能塊440讀取視圖i的比特流限制參數(shù)，并將控制傳遞到判定塊445。判定塊445 確定變量i是否等于變量M。如果等于，則將控制傳遞到結(jié)束塊499。否則，將控制傳遞到功能 塊450。
[0112] 功能塊450將變量i設(shè)置為等于i加一，并且將控制返回到功能塊425。
[0…]對(duì)于每個(gè)視圖的每個(gè)時(shí)間級(jí)指定比特流限制參數(shù)
[0114] 可W對(duì)于每個(gè)視圖的每個(gè)時(shí)間級(jí)指定比特流限制參數(shù)。我們提出作為subset, sequence_parameter_set 的一部分的mvc_vui_parameters_extention語(yǔ)法。表3例示了 mvc_vui_parameters_extention 語(yǔ)法。
[0115] 表3
[0116]
[0117] 比特流限制語(yǔ)法元素的語(yǔ)義如下：
[0118] bitstream_rest;riction_f lag[i] [ j]指定具有等于view_id的view_id[i]的視圖 中的、具有等于temporal_id的temporal_id[ i] [ j]的時(shí)間級(jí)的bits1:ream_res1:;riction_ flag的值。
[0119] motion_vectors_over_pic_boundaries_f lag[i] [ j]指定具有等于view_id的 view_id[i]的視圖中的、具有等于temporal_id的temporal_id[i] [ j]的時(shí)間級(jí)的motion_ vectors_over_pic_boundaries_f lag的值 D 當(dāng)motion_vectors_over_pic_boundaries_ flag[i]語(yǔ)法元素不存在時(shí)，具有等于view_id的view_id[i]的視圖中的、具有等于 temporal_id的temporal_id[i] [ j]的時(shí)間級(jí)的motion_vectors_over_pic_boundaries_ flag的值應(yīng)當(dāng)被推斷為等于1。
[0120] max_b^es_per_pic_denom[i] [ j]指定具有等于view_id的view_id[i]的視圖中 的、具有等于temporal_id的temporal_id[i] [ j]的時(shí)間級(jí)的max_b^es_per_pic_denom的 值D當(dāng)max_bytes_per_pic_denom[i]語(yǔ)法元素不存在時(shí)，具有等于view_id的view_id[i]的 視圖中的、具有等于temporal_id的temporal_id[i] [ j]的時(shí)間級(jí)的max_bytes_per_pic_ denom的值應(yīng)當(dāng)被推斷為等于2。
[0121 ] max_bits_per_mb_denom[i] [ j]指定具有等于view_id的view_id[i]的視圖中的、 具有等于temporal_id的temporal_id[i] [ j]的時(shí)間級(jí)的max_bits_per_mb_denom的值。當(dāng) max_bits_per_mb_denom[i]不存在時(shí)，具有等于view_id的view_id[i]的視圖中的、具有等 于temporal_id的temporal_id[i] [ j]的時(shí)間級(jí)的max_bits_per_mb_denom的值應(yīng)當(dāng)被推斷 為等于1。
[0122] log2_max_mv_length_horizontal[i][j]和log2_max_mv_length_vertical[i] [j]分別指定具有等于view_id的view_id[i]的視圖中的、具有等于temporal_id的 temporal_id[i] [ j]的時(shí)間級(jí)的log2_max_mv_length_horizontal和log2_max_mv_length_ ￥6如；[031的值。當(dāng)10容2_1113^_11^_1611容扣_1101'1乙011古31[；[]不存在時(shí)，具有等于￥16師_1(1的 view_id[i]的視圖中的、具有等于temporal_id的temporal_id[i][ j]的時(shí)間級(jí)的log2_ 111過(guò)又_11^_16雌化_1101'1乙0的31和1〇容2_1113^_11^_16雌化_^6別；[031的值應(yīng)當(dāng)被推斷為等于16。
[0123] num_reorder_frames[i] [ j]指定具有等于view_id的view_id[i]的視圖中的、具 有等于temporal_id的temporal_id[i] [ j]的時(shí)間級(jí)的num_reorder_frames的值Dnum_ reorder_frames[i]的值應(yīng)當(dāng)在包括0和 max_dec_frame_buffering的、0到max_dec_frame_ buffering的范圍中D當(dāng)num_reorder_frames[i]語(yǔ)法元素不存在時(shí)，具有等于view_id的 view_id[i]的視圖中的、具有等于temporal_id的temporal_id[i][ j]的時(shí)間級(jí)的num_ reorder_frames 的值應(yīng)當(dāng)被推斷為等于 max_dec_frame_buffering。
[0124] max_dec_frame_buffering[i] [ j]指定具有等于view_id的view_id[i]的視圖中 的、具有等于temporal_id的temporal_id[i] [ j]的時(shí)間級(jí)的max_dec_frame_buffering的 值。max_dec_frame_buffering[i]的值應(yīng)當(dāng)在包括 num_ref_frames [。和 MaxDpbSize (如在 MPEG-4AVC標(biāo)準(zhǔn)中的子款A(yù).3.1或A.3.2中所指定的）的、num_ref_frames[i]至IjMaxDpbSize 的范圍中D當(dāng)max_dec_frame_buffering[i]語(yǔ)法元素不存在時(shí)，具有等于view_id的view_ id[i]的視圖中的、具有等于temporal_id的temporal_id[i] [ j]的時(shí)間級(jí)的max_dec_ frame_buffering的值應(yīng)當(dāng)被推斷為等于MaxDpbSize D
[01巧]在11^(3_￥11；[_口3萬(wàn)31116古6萬(wàn)3_6^古6113；[011()中，執(zhí)行兩個(gè)循環(huán)。外循環(huán)在與3扣36古_(tái) sequence_parameter_set相關(guān)聯(lián)的所有視圖上循環(huán)。在外循環(huán)中指定用于每個(gè)視圖的時(shí)間 級(jí)數(shù)目的view_id。內(nèi)循環(huán)在視圖的所有時(shí)間級(jí)上循環(huán)。在內(nèi)循環(huán)中指定比特流限制信息。
[0126] 轉(zhuǎn)到圖5，通過(guò)附圖標(biāo)記500總地指示用于使用111￥。_￥11；[_口日拘111616'3_6義16]13；[0]1() 語(yǔ)法元素來(lái)編碼每個(gè)視圖中的每個(gè)時(shí)間級(jí)的比特流限制參數(shù)的示例方法。
[0127] 方法500包括開(kāi)始?jí)K505,其將控制傳遞到功能塊510。功能塊510將變量M設(shè)置為等 于視圖的數(shù)目減一，并將控制傳遞到功能塊515。功能塊515將變量M寫(xiě)入到比特流，并將控 制傳遞到功能塊520。功能塊520將變量i設(shè)置為等于0,并將控制傳遞到功能塊525。功能塊 525寫(xiě)入view_id山語(yǔ)法元素，并將控制傳遞到功能塊530。功能塊530將變量N設(shè)置為等于 視圖i中時(shí)間級(jí)的數(shù)目減一，并將控制傳遞到功能塊535。功能塊535將變量N寫(xiě)入到比特流， 并將控制傳遞到功能塊540。功能塊540將變量j設(shè)置為等于0,并將控制傳遞到功能塊545。 功能塊545寫(xiě)入temporal_id[i][ j]語(yǔ)法元素，并將控制傳遞到功能塊550。功能塊550寫(xiě)入 bitstream_rest;riction_f lag[i] [ j]語(yǔ)法元素，并將控制傳遞到判定塊555。判定塊555確 定bitstream_rest;riction_flag[i][j]語(yǔ)法元素是否等于0。如果等于0，則將控制傳遞到 判定塊565。否則，將控制傳遞到功能塊560。
[0128] 功能塊560寫(xiě)入視圖i中的時(shí)間級(jí)j的比特流限制參數(shù)，并將控制傳遞到判定塊 565。判定塊565確定變量j是否等于變量N。如果等于，則將控制傳遞到判定塊570。否則，將 控制傳遞到功能塊575。
[0129] 判定塊570確定變量i是否等于變量M。如果等于，則將控制傳遞到結(jié)束塊599。否 貝IJ，將控制傳遞到功能塊580。
[0130] 功能塊580將變量i設(shè)置為等于i加一，并且將控制返回到功能塊525。
[0131] 功能塊575將變量j設(shè)置為等于j加一，并且將控制返回到功能塊545。
[0132] 轉(zhuǎn)到圖6,通過(guò)參考標(biāo)號(hào)600總地指示用于使用mvc_vui_parameters_extension() 語(yǔ)法元素來(lái)解碼每個(gè)視圖中的每個(gè)時(shí)間級(jí)的比特流限制參數(shù)的示例方法。
[0133] 方法600包括開(kāi)始?jí)K605,其將控制傳遞到功能塊607。功能塊607從比特流中讀取 變量M，并將控制傳遞到功能塊610。功能塊610將視圖的數(shù)目設(shè)置為等于M加一，并將控制傳 遞到功能塊620。功能塊620將變量i設(shè)置為等于0,并將控制傳遞到功能塊625。功能塊625讀 取view_id[i]語(yǔ)法元素，并將控制傳遞到功能塊627。功能塊627從比特流中讀取變量N，并 將控制傳遞到功能塊630。功能塊630將視圖i中時(shí)間級(jí)的數(shù)目設(shè)置為等于N加一，并將控制 傳遞到功能塊640。功能塊640將變量j設(shè)置為等于0，并將控制傳遞到功能塊645。功能塊645 讀取temporal_id[i] [ j]語(yǔ)法元素，并將控制傳遞到功能塊650。功能塊650讀取bitstream_ rest;riction_f lag[ i ] [ j ]語(yǔ)法元素，并將控制傳遞到判定塊655。判定塊655確定 bitstream_rest;riction_flag[i] [ j]語(yǔ)法元素是否等于0。如果等于0,則將控制傳遞到判 定塊665。否則，將控制傳遞到功能塊660。
[0134] 功能塊660讀取視圖i中的時(shí)間級(jí)j的比特流限制參數(shù)，并將控制傳遞到判定塊 665。判定塊665確定變量j是否等于變量N。如果等于，則將控制傳遞到判定塊670。否則，將 控制傳遞到功能塊675。
[0135] 判定塊670確定變量i是否等于變量M。如果等于，則將控制傳遞到結(jié)束塊699。否 貝IJ，將控制傳遞到功能塊680。
[0136] 功能塊680將變量i設(shè)置為等于i加一，并且將控制返回到功能塊625。
[0137] 功能塊675將變量j設(shè)置為等于j加一，并且將控制返回到功能塊645。
[013引對(duì)于每個(gè)操作點(diǎn)指定比特流限制信息
[0139] 可W對(duì)于每個(gè)操作點(diǎn)指定比特流限制參數(shù)。我們提出在視圖可縮放性信息SEI消 息中傳遞每個(gè)操作點(diǎn)的比特流限制參數(shù)?？蒞如表4中那樣修改視圖可縮放性信息SEI消息 的語(yǔ)法。將比特流限制信息的語(yǔ)法插入在所有操作點(diǎn)上循環(huán)的循環(huán)中。
[0140] 表4
[0141]
[0142]
[0143] 比特流限制語(yǔ)法元素的語(yǔ)義如下：
[0144] bi tstream_restri Ct ion_f lag [ i ]指定具有等于operation_point_id的 operation_point_id[i]的操作點(diǎn)的 bitstream_restriction_f lag 的值 D
[014日] motion_vectors_over_pic_boundaries_f lag[ i ]指定具有等于operation_ point_id 的operation_point_id[i]的操作點(diǎn)的 motion_vectors_over_pic_boundaries_ flag的值。當(dāng)1110^011_^6(3的萬(wàn)3_0￥61'_9；[(3_1301111(131'163_^3容[；[]語(yǔ)法元素不存在時(shí)，具有等 于 operation_point_id 的 operation_point_id[i]的操作點(diǎn)的 motion_vectors_over_pic_ boundaries_f lag值應(yīng)當(dāng)被推斷為等于1。
[0146] max_bytes_per_pic_denom[ i ]指定具有等于等于operation_point_id的 operation_point_id[i]的操作點(diǎn)的 max_bytes_per_pic_denom值 D 當(dāng) max_bytes_per_pic_ denom[i]語(yǔ)法元素不存在時(shí)，具有等于 operation_point_id 的operation_point_id[i]的 操作點(diǎn)的max_b^es_per_pic_denom的值應(yīng)當(dāng)被推斷為等于2。
[0147] max_bits_per_mb_denom[ i ]指定具有等于 operation_point_id 的operation- point_id[i]的操作點(diǎn)的max_bits_per_mb_denom值D當(dāng)max_bits_per_mb_denom[i懷存 在時(shí)，具有等于 0peration_point_id 的operation_point_id[i]的操作點(diǎn)的 max_bits_per_ mb_denom的值應(yīng)當(dāng)被推斷為等于1。
[0148] log2_max_mv_length_horizontal[i]和log2_max_mv_length_vertical[i]分另リ 指定具有等于 〇peration_point_id的operation_point_id[i]的操作點(diǎn)的 log2_max_mv_ length-horizontal 的值和log2_max_mv_length_vertical 的值 D 當(dāng) log2_max_mv_length_ horizontal。]不存在時(shí)，具有等于 operation_point_id 的operation_point_id[i]的操作 點(diǎn)的 l〇g2_max_mv_length_horizontal 和 log2_max_mv_length_vertical 的值應(yīng)當(dāng)被推斷 為等于16。
[0149] num_reorder_frames[i]指定具有等于 operation_point_id 的 operation_point_ i d [ i ]的操作點(diǎn)的 num_r eor derjrame S 的值。num_r eor de;r_f rame S [ i ]的值應(yīng)當(dāng)在包括 O 和 max_dec_frame_buffering的、0到max_dec_frame_buffering的范圍中。當(dāng)num_reorder_ 打 ames [ i ]語(yǔ)法元素不存在時(shí)，具有等于 operation_point_id 的 operation_point_id[ i ]的 操作點(diǎn)的num_r0〇rder_fram0s的值應(yīng)當(dāng)被推斷為等于max-dec-frame-bufferin邑。
[0150] max_dec_frame_buffering[i]t旨定具有等于 〇peration_point_id 的 operation_ point_id[i]白勺操作,點(diǎn)的 max_dec_frame_bufferin 邑白勺值。max_dec_frame_bufferin 邑[i]白勺 值應(yīng)當(dāng)在包括num_ref_frames [。和MaxDpbSize (如在MPEG-4AVC標(biāo)準(zhǔn)中的子款A(yù). 3.1或 A. 3.2中所指定的）的、num_ref_frames[ i ]到MaxDpbSize的范圍中。當(dāng)max_dec_frame_ bufferin邑[i]語(yǔ)法元素不存在時(shí)，具有等于operation_point_i^operation_point_id
[i]的操作點(diǎn)的max_dec_frame_buffe;ring的值應(yīng)當(dāng)被推斷為等于MaxDpbSize。
[0151 ] 轉(zhuǎn)到圖7，通過(guò)附圖標(biāo)記700總地指示用于使用view_scalability_parameters_ extensionO語(yǔ)法元素來(lái)編碼每個(gè)操作點(diǎn)的比特流限制參數(shù)的示例方法。
[0152] 方法700包括開(kāi)始?jí)K705,其將控制傳遞到功能塊710。功能塊710將變量M設(shè)置為等 于操作點(diǎn)的數(shù)目減一，并將控制傳遞到功能塊715。功能塊715將變量M寫(xiě)入到比特流，并將 控制傳遞到功能塊720。功能塊720將變量i設(shè)置為等于0,并將控制傳遞到功能塊725。功能 塊725寫(xiě)入operation_point_id[ i ]語(yǔ)法元素，并將控制傳遞到功能塊730。功能塊730寫(xiě)入 bitstream_res1:;riction_f lag[i]語(yǔ)法元素，并將控制傳遞到判定塊735。判定塊735確定 bitstream_res化iction_flag[i]語(yǔ)法元素是否等于0。如果等于0,則將控制傳遞到判定 塊745。否則，將控制傳遞到功能塊740。
[0153] 功能塊740寫(xiě)入操作點(diǎn)i的比特流限制參數(shù)，并將控制傳遞到判定塊745。判定塊 745確定變量i是否等于變量M。如果等于，則將控制傳遞到結(jié)束塊799。否則，將控制傳遞到 功能塊750。
[0154] 功能塊750將變量i設(shè)置為等于i加一，并且將控制返回到功能塊725。
[01巧]轉(zhuǎn)到圖8，通過(guò)參考標(biāo)號(hào)800總地指示用于使用view_scalability_parameters_ extensionO語(yǔ)法元素來(lái)解碼每個(gè)操作點(diǎn)的比特流限制參數(shù)的示例方法。
[0156] 方法800包括開(kāi)始?jí)K805,其將控制傳遞到功能塊807。功能塊807從比特流中讀取 變量M，并將控制傳遞到功能塊810。功能塊810將操作點(diǎn)的數(shù)目設(shè)置為等于變量M加一，并將 控制傳遞到功能塊820。功能塊820將變量i設(shè)置為等于0,并將控制傳遞到功能塊825。功能 塊825讀取operation_point_id[ i ]語(yǔ)法元素，并將控制傳遞到功能塊830。功能塊830讀取 bitstream_res化iction_f lag[i]語(yǔ)法元素，并將控制傳遞到判定塊835。判定塊835確定 bitstream_rest;riction_flag[i]語(yǔ)法元素是否等于0。如果等于0，則將控制傳遞到判定塊 845。否則，將控制傳遞到功能塊840。
[0157] 功能塊840讀取操作點(diǎn)i的比特流限制參數(shù)，并將控制傳遞到判定塊845。判定塊 445確定變量i是否等于變量M。如果等于，則將控制傳遞到結(jié)束塊899。否則，將控制傳遞到 功能塊850。
[0158] 功能塊850將變量i設(shè)置為等于i加一，并且將控制返回到功能塊825。
[0159] 現(xiàn)在將給出本發(fā)明的許多伴隨優(yōu)點(diǎn)/特征中的一些的描述，已經(jīng)在上面提及了所 述許多伴隨優(yōu)點(diǎn)/特征中的一些。例如，一個(gè)優(yōu)點(diǎn)/特征是包括用于通過(guò)對(duì)于各個(gè)視圖、視圖 中的各個(gè)時(shí)間級(jí)、W及各個(gè)操作點(diǎn)中的至少一項(xiàng)指定視頻可用性信息來(lái)編碼多視圖視頻內(nèi) 容的編碼器的裝置。
[0160] 另一優(yōu)點(diǎn)/特征是具有如上所述的編碼器的裝置，其中，在至少一個(gè)高級(jí)語(yǔ)法元素 中指定參數(shù)。
[0161] 此外，另一優(yōu)點(diǎn)/特征是具有如上所述的編碼器的裝置，其中，所述至少一個(gè)高級(jí) 語(yǔ)法元素包括W下中的至少一項(xiàng)：mvc_vui_parameters_extension()語(yǔ)法元素、mvc_ scalability_info補(bǔ)充增強(qiáng)信息語(yǔ)法消息、序列參數(shù)集的至少一部分、畫(huà)面參數(shù)集、W及補(bǔ) 充增強(qiáng)信息。
[0162] 此外，另一優(yōu)點(diǎn)/特征是具有如上所述的編碼器的裝置，其中，視頻可用性信息的 至少一部分包括比特流限制參數(shù)。
[0163] 基于運(yùn)里的教導(dǎo)，相關(guān)領(lǐng)域普通技術(shù)人員可W容易確定本原理的運(yùn)些和其它特征 和優(yōu)點(diǎn)。應(yīng)理解本原理的教導(dǎo)可W W硬件、軟件、固件、特殊用途處理器、或其組合的各種形 式來(lái)實(shí)現(xiàn)。
[0164] 最優(yōu)選地，本原理的教導(dǎo)被實(shí)現(xiàn)為硬件與軟件的組合。此外，軟件可W實(shí)現(xiàn)為有形 地體現(xiàn)在程序存儲(chǔ)單元上的應(yīng)用程序。應(yīng)用程序可W被上載到包括任何適當(dāng)結(jié)構(gòu)的機(jī)器并 由該機(jī)器執(zhí)行。優(yōu)選地，在具有諸如一個(gè)或多個(gè)中央處理單元（"CPU")、隨機(jī)存取存儲(chǔ)器 ("RAM" )、W及輸入/輸出（"1/爐）接口等的硬件的計(jì)算機(jī)平臺(tái)上實(shí)現(xiàn)該機(jī)器。計(jì)算機(jī)平臺(tái)還 可W包括操作系統(tǒng)和微指令代碼。運(yùn)里描述的各種處理與功能可W是可W由CPU執(zhí)行的微 指令代碼的一部分或是應(yīng)用程序的一部分、或者是其任何組合。另外，各種其它外設(shè)單元可 W連接到計(jì)算機(jī)平臺(tái)，如附加數(shù)據(jù)存儲(chǔ)單元W及打印單元。
[0165] 還應(yīng)理解，由于在附圖中示出的一些系統(tǒng)組成組件和方法優(yōu)選地W軟件實(shí)現(xiàn)，因 此運(yùn)些系統(tǒng)組件或處理功能塊之間的實(shí)際連接可能取決于本原理被編程的方式而有所不 同。給出運(yùn)里的教導(dǎo)，相關(guān)領(lǐng)域普通技術(shù)人員將能夠預(yù)期本原理的運(yùn)些和類(lèi)似的實(shí)現(xiàn)方式 或配置。
[0166] 盡管運(yùn)里已經(jīng)參考附圖描述了示例實(shí)施例，但是應(yīng)理解本原理不限于那些確切的 實(shí)施例，并且相關(guān)領(lǐng)域普通技術(shù)人員可W在其中進(jìn)行各種改變和修改，而不偏離本原理的 范圍和精神。所有運(yùn)些改變和修改意在被包括在所附權(quán)利要求中所提出的本原理的范圍之 內(nèi)。
【主權(quán)項(xiàng)】
1. 一種編碼方法，包括： 通過(guò)為多視圖視頻編碼中的各個(gè)操作點(diǎn)指定比特流限制信息，來(lái)編碼多視圖視頻內(nèi) 容，其中操作點(diǎn)對(duì)應(yīng)于視圖和時(shí)間級(jí)的不同組合中的一個(gè)組合。2. 如權(quán)利要求1所述的方法，其中所述比特流限制信息指示以下中的一個(gè)或多個(gè)： (1) 運(yùn)動(dòng)向量是否超過(guò)畫(huà)面邊界； (2) 每個(gè)畫(huà)面的最大字節(jié)； (3) 每個(gè)宏塊的最大比特； (4) 最大水平和垂直運(yùn)動(dòng)向量長(zhǎng)度； (5) 重新排序幀的數(shù)目；以及 (6) 最大的解碼幀緩沖器大小。3. 如權(quán)利要求1所述的方法，其中在視頻可用性信息（"VUI"）語(yǔ)法結(jié)構(gòu)中規(guī)定所述比特 流限制ig息。4. 如權(quán)利要求1所述的方法，其中在補(bǔ)充增強(qiáng)信息消息中傳遞所述比特流限制信息。5. 一種解碼方法，包括： 通過(guò)解碼為多視圖視頻編碼中的各個(gè)操作點(diǎn)指定的比特流限制信息，來(lái)解碼多視圖視 頻內(nèi)容，其中操作點(diǎn)對(duì)應(yīng)于視圖和時(shí)間級(jí)的不同組合中的一個(gè)組合。6. 如權(quán)利要求5所述的方法，其中所述比特流限制信息指示以下中的一個(gè)或多個(gè)： (1) 運(yùn)動(dòng)向量是否超過(guò)畫(huà)面邊界； (2) 每個(gè)畫(huà)面的最大字節(jié)； (3) 每個(gè)宏塊的最大比特； (4) 最大水平和垂直運(yùn)動(dòng)向量長(zhǎng)度； (5) 重新排序幀的數(shù)目；以及 (6) 最大的解碼幀緩沖器大小。7. 如權(quán)利要求5所述的方法，其中在視頻可用性信息（"VUI"）語(yǔ)法結(jié)構(gòu)中規(guī)定所述比特 流限制ig息。8. 如權(quán)利要求5所述的方法，其中在補(bǔ)充增強(qiáng)信息消息中傳遞所述比特流限制信息。9. 一種解碼裝置，包括： 解碼器，用于通過(guò)解碼為多視圖視頻編碼中的各個(gè)操作點(diǎn)指定的比特流限制信息，來(lái) 解碼多視圖視頻內(nèi)容，其中操作點(diǎn)對(duì)應(yīng)于視圖和時(shí)間級(jí)的不同組合中的一個(gè)組合。10. 如權(quán)利要求9所述的裝置，其中所述比特流限制信息指示以下中的一個(gè)或多個(gè)： (1) 運(yùn)動(dòng)向量是否超過(guò)畫(huà)面邊界； (2) 每個(gè)畫(huà)面的最大字節(jié)； (3) 每個(gè)宏塊的最大比特； (4) 最大水平和垂直運(yùn)動(dòng)向量長(zhǎng)度； (5) 重新排序幀的數(shù)目；以及 (6) 最大的解碼幀緩沖器大小。11. 如權(quán)利要求9所述的裝置，其中在視頻可用性信息（"VUI"）語(yǔ)法結(jié)構(gòu)中規(guī)定所述比 特流限制彳目息。12. 如權(quán)利要求9所述的裝置，其中在補(bǔ)充增強(qiáng)信息消息中傳遞所述比特流限制信息。13. -種傳輸視頻信號(hào)的裝置，包括： 用于通過(guò)為多視圖視頻編碼中的各個(gè)操作點(diǎn)指定比特流限制信息，來(lái)傳輸多視圖視頻 內(nèi)容的部件，其中操作點(diǎn)對(duì)應(yīng)于視圖和時(shí)間級(jí)的不同組合中的一個(gè)組合。14. 如權(quán)利要求13所述的裝置，其中所述比特流限制信息指示以下中的一個(gè)或多個(gè)： (1) 運(yùn)動(dòng)向量是否超過(guò)畫(huà)面邊界； (2) 每個(gè)畫(huà)面的最大字節(jié)； (3) 每個(gè)宏塊的最大比特； (4) 最大水平和垂直運(yùn)動(dòng)向量長(zhǎng)度； (5) 重新排序幀的數(shù)目；以及 (6) 最大的解碼幀緩沖器大小。15. 如權(quán)利要求13所述的裝置，其中在視頻可用性信息（"VUI"）語(yǔ)法結(jié)構(gòu)中規(guī)定所述比 特流限制彳目息。16. 如權(quán)利要求13所述的裝置，其中在補(bǔ)充增強(qiáng)信息消息中傳遞所述比特??Ε限制信息。17. -種解碼方法，包括： 通過(guò)解碼為多視圖視頻編碼的視圖中的每個(gè)時(shí)間級(jí)別指定的比特流限制信息，來(lái)解碼 多視圖視頻內(nèi)容，其中所述比特流限制信息指示以下中的一個(gè)或多個(gè)： (1) 運(yùn)動(dòng)向量是否超過(guò)畫(huà)面邊界； (2) 每個(gè)畫(huà)面的最大字節(jié)； (3) 每個(gè)宏塊的最大比特； (4) 最大水平和垂直運(yùn)動(dòng)向量長(zhǎng)度； (5) 重新排序幀的數(shù)目；以及 (6) 最大的解碼幀緩沖器大小。
【文檔編號(hào)】H04N19/597GK105979270SQ201610473867
【公開(kāi)日】2016年9月28日
【申請(qǐng)日】2008年9月16日
【發(fā)明人】羅建聰, 尹澎
【申請(qǐng)人】湯姆森特許公司