專利名稱：：用于包含多視點(diǎn)視頻編碼的參考圖像管理的方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及運(yùn)動(dòng)圖像(movingpictures)領(lǐng)域，更具體地，涉及與多視點(diǎn)視頻編碼(multviewvideocoding)相關(guān)聯(lián)的運(yùn)動(dòng)圖形的存儲(chǔ)維護(hù)(memorymaintenance)的課題。
背景技術(shù)：
：許多幀間編碼(interframeencoding)系統(tǒng)使用參考圖像(referencepcture)，使用這種參考圖像有助于降低編碼比特流的大小。這樣的結(jié)果就是編碼效率比僅僅使用幀內(nèi)編碼(intraframeencoding)技術(shù)要高。因此，許多編碼標(biāo)準(zhǔn)既包含幀內(nèi)也包含幀間編碼技術(shù)，以編碼一系列移動(dòng)圖像的比特流。在現(xiàn)有技術(shù)中，不同類型的參考圖像用于編碼標(biāo)準(zhǔn)，例如"I"圖像，其只使用圖像自身內(nèi)(幀內(nèi))的元素進(jìn)行編碼，又例如"B"圖像，其通過使用來自圖像自身內(nèi)部的元素和/或來自兩個(gè)先前參考圖像(幀間)的元素進(jìn)行編碼，再例如"P"圖像，其通過使用來自圖像自身內(nèi)部的元素和/或來自一個(gè)先前參考圖像(幀間)的元素進(jìn)行編碼。"B"圖像和"P"圖像都可以使用多個(gè)參考圖像，但是這兩種類型的圖像之間的區(qū)別在于，4"B"圖像每塊可以使用至多兩個(gè)運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)信號(hào)的幀間預(yù)測(cè)，而"P"圖像對(duì)于每個(gè)預(yù)測(cè)塊只允許使用一個(gè)預(yù)測(cè)器。當(dāng)"B"圖像或"P"圖像被編碼和/或解碼時(shí)，這種圖像因而取決于其他參考幀，從而這種圖像在解碼過程中可以被正確編碼或構(gòu)建。編碼/解碼系統(tǒng)應(yīng)當(dāng)提供某種類型的存儲(chǔ)單元(memorylocation),從而在其他圖像在由參考圖像編碼或解碼時(shí)可以存儲(chǔ)這種參考圖像。顯而易見，不久以后，參考圖像就不能被用于編碼操作，因?yàn)椴辉儆行枰幋a的圖像在以后的編碼操作中使用參考圖像。雖然可以將全部參考圖像永久地存儲(chǔ)在存儲(chǔ)裝置中，但是這種方案將導(dǎo)致存儲(chǔ)器資源的無效率使用。因此，現(xiàn)有技術(shù)中的存儲(chǔ)技術(shù)，例如先入先出(FIFO)或后入后出(LIFO)存儲(chǔ)操作，可以用于操作用來存儲(chǔ)參考圖像的存儲(chǔ)器，從而(通過丟棄不需要的參考圖像)協(xié)助降低用于存儲(chǔ)這種參考圖像的空間。但是當(dāng)考慮使用多視點(diǎn)編碼系統(tǒng)時(shí)(其中被編碼和/或解碼的圖像既具有時(shí)間相互關(guān)系也具有視點(diǎn)相互關(guān)系)，這種存儲(chǔ)操作就會(huì)產(chǎn)生不需要的結(jié)果。即，多視點(diǎn)編碼系統(tǒng)會(huì)產(chǎn)生移動(dòng)圖像的多視點(diǎn)的問題，其中每個(gè)視點(diǎn)代表各個(gè)對(duì)象/場景的不同視點(diǎn)?，F(xiàn)在，參考圖像將被用于與兩個(gè)不同視點(diǎn)相關(guān)聯(lián)的圖像的編碼或者解碼。因此，簡單的存儲(chǔ)技術(shù)不能被用于這種環(huán)境。
發(fā)明內(nèi)容本發(fā)明能夠解決現(xiàn)有技術(shù)的上述缺點(diǎn)和不足。本發(fā)明涉及一種用于再利用可用的運(yùn)動(dòng)信息作為運(yùn)動(dòng)估計(jì)預(yù)測(cè)器以進(jìn)行視頻編碼的方法和裝置。根據(jù)本發(fā)明原理的一個(gè)方面，提出了一種編碼器，其根據(jù)來自由解碼器解碼的圖像的信息對(duì)存儲(chǔ)在存儲(chǔ)器中的參考圖像進(jìn)行存儲(chǔ)管理操作，其中這種信息與關(guān)聯(lián)于該參考圖像的視點(diǎn)信息相關(guān)。通過下面結(jié)合附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行的詳細(xì)說明，本發(fā)明的上述和其他方面以及特征和優(yōu)點(diǎn)將變得顯而易見。根據(jù)參照下面附圖的詳細(xì)說明，本發(fā)明的原理將得到更好的理解。圖1是根據(jù)本發(fā)明實(shí)施方式的不同時(shí)間的視頻圖像視點(diǎn)的多視點(diǎn)編碼，其中這種視頻圖像使用參考圖像按照?qǐng)D中所示的方式進(jìn)行編碼；圖2是根據(jù)本發(fā)明原理的視頻編碼器的示例性實(shí)施方式；圖3是在根據(jù)本發(fā)明實(shí)施方式所用的語法元素dec—ref_pic—marking()的偽代碼的實(shí)施方式；圖4是在根據(jù)本發(fā)明實(shí)施方式所用的語法元素seq_parameter—set—mvc—extensionO的《為f^石馬的實(shí)施方式；圖5是在根據(jù)本發(fā)明實(shí)施方式所用的語法元素dec—ref_pic—marking—mvc一extension()的偽代碼的實(shí)施方式；圖6是在根據(jù)本發(fā)明實(shí)施方式所用的樣本圖像頭部的實(shí)施方式；圖7是在根據(jù)本發(fā)明實(shí)施方式所用的語法元素dec_ref_pic—marking—mvc一extension()的偽代碼的實(shí)施方式；圖8是在根據(jù)本發(fā)明實(shí)施方式所用的樣本圖像頭部的實(shí)施方式；圖9是在根據(jù)本發(fā)明實(shí)施方式所用的語法元素dec—ref_pic—marking—mvc一extension()的偽代碼的實(shí)施方式；圖10是在根據(jù)本發(fā)明實(shí)施方式所用的語法元素dec_ref_pic_marking—mvc一extension()的偽代石馬的實(shí)施方式；圖11是根據(jù)本發(fā)明實(shí)施方式的圖像標(biāo)記方法的流程圖。具體實(shí)施例方式本發(fā)明的原理可以適用于任何基于幀內(nèi)和幀間的編碼標(biāo)準(zhǔn)。本說明書中使用的術(shù)語"圖像"是一個(gè)用于描述各種形式的視頻圖像信息的通用術(shù)語，所述視頻圖像信息在本領(lǐng)域中可以理解為"幀(frame)"、"場(field)"、"條(slice)"以及"圖像(picture)"本身。并且，在對(duì)本發(fā)明的說明中，在附圖中詳細(xì)描述了使用C語言類型格式編寫的各種指令(語法元素/syntaxelement),對(duì)這種指令中的描述符(descriptor)使用下列命名法。u(n):使用n比特的無符號(hào)整數(shù)。當(dāng)n為語法表中的"v"時(shí)，比特?cái)?shù)按照取決于其他語法元素的值的方式變化。對(duì)于此描述符的解析通過函數(shù)read—bits(n)的返回值(returnvalue)來確定，其被解釋為無符號(hào)整數(shù)的以最高有效位在先書寫(mostsignificantbitwrittenfirst)的二進(jìn)制表示。ue(v):左位在先(leftbitfirst)的無符號(hào)整數(shù)Exp-Golomb編碼的語法元素。se(v):左位在先的帶符號(hào)整數(shù)Exp-Golomb編碼的語法元素。C表示語法元素所適用的類，即一個(gè)特定的場應(yīng)當(dāng)適用于那一級(jí)。本說明書解釋了本發(fā)明的原理。雖然在本說明書中并未描述，但本領(lǐng)域普通技術(shù)人員在本發(fā)明的原理和范圍之內(nèi)能夠設(shè)想出各種實(shí)施方式。本說明書中所采用的示例性和條件性的語言的目的在于幫助閱讀者理解由發(fā)明人對(duì)現(xiàn)有技術(shù)進(jìn)行改進(jìn)的本發(fā)明的原理和概念，本發(fā)明并不局7限于這種特定的實(shí)例和條件。并且，對(duì)于本發(fā)明原理、方面和實(shí)施方式以及特定實(shí)例的所有陳述都意在包括等同的結(jié)構(gòu)和功能。另外，這種等同結(jié)構(gòu)和功能包括當(dāng)前已知和以后開發(fā)出來的結(jié)構(gòu)和功能、即不論結(jié)構(gòu)如何而用來執(zhí)行相同功能的任何元件。因此，例如，本領(lǐng)域普通技術(shù)人員可以理解，說明書中的框圖表示根據(jù)本發(fā)明原理的實(shí)施方式的示例性電路的概念性圖示。類似地，可以理解，任何流程圖、操作程序圖、狀態(tài)轉(zhuǎn)換圖、偽代碼等都表示能夠有計(jì)算機(jī)可讀介質(zhì)表示并因而由計(jì)算機(jī)或處理器執(zhí)行的各種過程步驟，這種計(jì)算機(jī)或處理器是否明確示出并無關(guān)系。附圖中所示各種元件的功能可以與適當(dāng)?shù)能浖?lián)合通過使用專用硬件以及能夠執(zhí)行軟件的硬件來提供。當(dāng)通過處理器提供時(shí)，該功能可以通過單個(gè)專用處理器、單個(gè)共享處理器或者多個(gè)處理器(某些可以共享)來提供。并且，術(shù)語"處理器"或者"控制器"的明確使用不應(yīng)當(dāng)被理解為專指能夠執(zhí)行軟件的硬件，還可以非限制性地包括數(shù)字信號(hào)處理器(DSP)、用于存儲(chǔ)軟件的只讀存儲(chǔ)器(ROM)、隨機(jī)訪問存儲(chǔ)器(RAM)以及非易失性存儲(chǔ)器。其他普通和/或定制硬件也可以包括進(jìn)來。類似地，圖中所示的任何開關(guān)都是概念性的。其功能可以通過程序邏輯、專用邏輯、程序控制和專用邏輯的相互作用甚至手動(dòng)操作來執(zhí)行，實(shí)施者可以根據(jù)應(yīng)用環(huán)境選擇特定的技術(shù)。在權(quán)利要求中，任何被表達(dá)為用于執(zhí)行特定功能的元件都包括執(zhí)行該功能的任何方式，例如a)執(zhí)行該功能的電路元件的組合；b)任何形式的軟件，包括固件、微代碼等，與適當(dāng)?shù)碾娐方Y(jié)合以執(zhí)行該軟件從而執(zhí)行該功能。這些權(quán)利要求限定的本發(fā)明的原理基于的事實(shí)是，各個(gè)引用的裝置所提供的功能型以權(quán)利要求要求的方式結(jié)合在一起。因此可以認(rèn)為任何能夠提供這些功能性的裝置都等同于所述裝置。說明書中所提到的本發(fā)明原理的"一個(gè)實(shí)施方式"或"實(shí)施方式"表示特定結(jié)合該實(shí)施方式描述的特征、結(jié)構(gòu)、要素包括在本發(fā)明原理的至少-個(gè)實(shí)施方式中。因此，說明書各個(gè)地方出現(xiàn)的表述"在一個(gè)實(shí)施方式中"或"在實(shí)施方式中"不一定指同一實(shí)施方式。圖1是多視點(diǎn)編碼系統(tǒng)中使用的參考圖像結(jié)構(gòu)的示例性實(shí)施方式。具體而言，所示結(jié)構(gòu)涉及根據(jù)多視點(diǎn)編碼(MVC)方案在時(shí)間(TO—T100)使用8個(gè)不同視點(diǎn)(S0—S7)，所述MVC方案在2006年7月奧地利Klagenfort的JVT-T208.doc的A.Vetro、Y.Su、H.Kimata、A.Smolic的"JointMultiviewVideoModel(JMVM)1.0"中提出。此多視點(diǎn)編碼標(biāo)準(zhǔn)基于高級(jí)視頻編碼(AVC)標(biāo)準(zhǔn)(GSullivan、T.Wiegand、A.Luthra，"H.264/AVC(ITU推薦標(biāo)準(zhǔn)和ISO/IEC14496-10(MPEG-4第10部分)高級(jí)視頻編碼)"，PalmadeMallorca，ES18-22，2004年10月)。這兩個(gè)標(biāo)準(zhǔn)的最大的區(qū)別在于AVC不解決對(duì)多視點(diǎn)圖像的編碼而MVC能夠解決。請(qǐng)?jiān)賲⒖磮Dl，例如可以看出，當(dāng)編碼在時(shí)間T1與視點(diǎn)S1相關(guān)聯(lián)的圖像時(shí)，需要編碼的圖像與來自相同視點(diǎn)(時(shí)間T0的Sl和時(shí)間T2的Sl)的圖像(參考圖像)相關(guān)聯(lián)，并且需要編碼的圖像與來自不同視點(diǎn)(時(shí)間Tl的S0和時(shí)間T1的S2)的圖像相關(guān)聯(lián)。因此，當(dāng)編碼與S1、Tl關(guān)聯(lián)的圖像時(shí)，重要的是要在存儲(chǔ)裝置(例如可以由硬件、軟件或其組合實(shí)施的緩存器、寄存器、RAM等)中保存參考圖像(時(shí)間T0的S1、時(shí)間T2的S1、時(shí)間T1的S0和時(shí)間T1的S2)。但是，當(dāng)考慮在時(shí)間T98的圖像S7的編碼時(shí)，這種參考圖像就不會(huì)起作用，因?yàn)闀r(shí)間T98的圖像S7取決于使用與時(shí)間T1的圖像S1所用的不同的參考圖像。用于編碼操作的緩存器的有效存儲(chǔ)管理的一個(gè)方案披露在與AVC視頻標(biāo)準(zhǔn)相關(guān)的解碼圖像緩存器(DPB)的使用中。圖2所示的簡化的框圖200顯示了編碼器205、編碼緩存器210和解碼圖像緩存器215之間的操作。在編碼操作(編碼或者解碼)過程中，由編碼器205正在進(jìn)行編碼的圖像存在于編碼緩存器210中，而先前編碼的參考圖像存儲(chǔ)在解碼圖像緩存器215中。AVC披露了使用稱為存儲(chǔ)管理控制運(yùn)算(MMCO)的指令，能夠讓編碼器205指明如何在解碼圖像緩存器215中保存參考圖像。艮口，當(dāng)圖像被編碼時(shí)，這種MMCO被輸入至當(dāng)前被編碼的圖像的頭部以指明如何使用在該圖像之前到達(dá)的參考圖像。該操作被稱為"標(biāo)記(marking)"。這些指令隨后可以由編碼器205使用以確定如何使用存在于解碼圖像緩存器215中的參考圖像。應(yīng)當(dāng)理解，雖然此處術(shù)語被用來表示各種元素視頻信息，AVC指的是在這些參考圖像可以使用來自相同圖像的條作為"參考圖像"時(shí)使用條，并且不論圖像被如何再劃分(sub-divided),本發(fā)明原理都適用。圖3顯示了用于執(zhí)行MMCO指令的AVC中的指令(dec—ref_pic—marking)。具體而言，參考圖像被標(biāo)記為短期參考圖像、長期參考圖像，或者該圖像被標(biāo)記為非參考圖像(在這種狀況下，如果存儲(chǔ)器需要，參考圖像將被丟棄)。隨著更多的圖像被編碼，參考圖像的狀態(tài)可以變化。例如，對(duì)于一個(gè)正被編碼的圖像指定的短期參考圖像在第二圖像被編碼時(shí)可以被指定為長期參考圖像。圖3還顯示了用于在兩個(gè)不同模式之間執(zhí)行圖像頭部(條頭部)的標(biāo)記的指令標(biāo)志(adaptive—ref_pic—marking_flag)。當(dāng)該標(biāo)志被設(shè)定為"0"時(shí)，滑云力窗口參考標(biāo)記模式(slidingwindowreferencemarkingmode)被啟動(dòng)，該模式為短期參考圖像提供FIFO機(jī)制。當(dāng)該標(biāo)志被設(shè)定為"1"時(shí)，自適應(yīng)參考HH象牛示i己豐莫式(adaptivereferencepicturemarkingmode)凈皮啟動(dòng)，該模式提供語法元素以將參考圖像標(biāo)記為"非用于參考"并將長期幀索引賦值給參考圖像等。通過AVC中使用的MMCO指令為參考幀進(jìn)行的各種賦值示于下面的表1中。表l:<table>tableseeoriginaldocumentpage11</column></row><table><table>tableseeoriginaldocumentpage12</column></row><table>AVC涉及的一個(gè)問題是，圖像可以由其各自的幀編號(hào)(frame—number)值和圖像各自的圖像序列號(hào)(POC)來識(shí)別，該幀編號(hào)值表示圖像(在圖像序列中)的實(shí)際編碼順序，該序列號(hào)是圖像將被顯示的順序。但是，MVC比AVC更為復(fù)雜，這是因?yàn)樵贛VC中必須考慮多個(gè)視點(diǎn)，而AVC只涉及單一視點(diǎn)。因此，在MVC中，另外的值視點(diǎn)id(viewjd)被用于將特定圖像與特定視點(diǎn)相關(guān)聯(lián)。因此，當(dāng)將AVC的MMCO與MVC的view—id使用相結(jié)合時(shí)，現(xiàn)有技術(shù)中對(duì)于MMCO的使用只允許用戶根據(jù)相同view—id的圖像提供MMCO。g卩，被編碼的圖像只能適用于相同view一id的其他圖像(view1類型圖像只能提供用于其他viewl類型圖像的MMCO指令)。由于必須采用MMCO指令的當(dāng)前應(yīng)用來記錄全部這些不同的視點(diǎn)，因而不利于有效地使用存儲(chǔ)管理來運(yùn)行DPB。具體而言，圖4代表當(dāng)前MVC，其中另外的語法被加入至SPS(用于標(biāo)記交叉視點(diǎn)(cross-view)參考)。加入的語法被用于按照下面的方式指示用于錨圖像(即I圖像)和非錨圖像的交叉視點(diǎn)參考。請(qǐng)注意，錨圖像(anchorpicture)通常代表一編碼圖像，該編碼圖像中全部片參考只是相同圖像序列號(hào)的片、即其他視點(diǎn)的片，而不是當(dāng)前視點(diǎn)的片。這種圖像通過將anchorj)ic—flag設(shè)置為1而標(biāo)記。在解碼錨圖像之后，對(duì)于顯示順序中的全部后面的編碼圖像都能夠使用所述錨圖像之前的任何其他圖像解碼器的幀間預(yù)測(cè)進(jìn)行解碼。如果在一個(gè)視點(diǎn)中的圖像是錨圖像，則其他視點(diǎn)中的相同時(shí)間指數(shù)內(nèi)的全部圖像都應(yīng)被認(rèn)為是錨圖像。應(yīng)當(dāng)進(jìn)行下面的步驟以將來自與當(dāng)前視點(diǎn)不同視點(diǎn)的參考圖像放置在參考預(yù)測(cè)列表中—對(duì)于從0至num—multiview_ref—for—listX-l的每個(gè)"I"值；一得到從與當(dāng)前圖像時(shí)間一致的視點(diǎn)reference一view一for—list—X[i]重構(gòu)的圖像并將其插入至解碼圖像緩存器(DPB)中；一將該圖像的指數(shù)插入至RefPicListX中的下一空時(shí)隙中。在此特定實(shí)施方式中，MMCO指令只與單個(gè)視點(diǎn)直接相關(guān)聯(lián)并且不能標(biāo)記其他視點(diǎn)中的圖像。作為直接的結(jié)果，交叉視點(diǎn)參考圖像可以比必要時(shí)間(如上所述)更長地停留在DPB中，因?yàn)檫@種圖像只能被圖像在比特流中其自己以后的視點(diǎn)中標(biāo)記為"非用于參考"。例如，請(qǐng)參看圖l，視點(diǎn)SO中時(shí)間TO—Til的圖像只對(duì)視點(diǎn)Sl、S2是必須的，其后被標(biāo)記為用于參考。因此，存儲(chǔ)這種圖像的DPB將需要較大的存儲(chǔ)區(qū)。因而，不考慮圖像與哪一個(gè)視點(diǎn)相關(guān)聯(lián)而清除DPB的唯一方式，與新圖像組(GOP)的開始相關(guān)聯(lián)的圖像或者即時(shí)解碼刷新(IDR)圖像將指示完全清除參考圖像的DPB。因而本發(fā)明通過提供能夠適用于交叉視點(diǎn)的MMCO提出了對(duì)于DPB問題的解決方案，這表示，當(dāng)圖像被編碼時(shí)，這種圖像將包含關(guān)于如何考慮參考圖像交叉視點(diǎn)(與正在被編碼的圖像不同的視點(diǎn))的信息?？紤]到AVC標(biāo)準(zhǔn)對(duì)本發(fā)明的幾個(gè)實(shí)施方式進(jìn)行了說明，其中對(duì)新的高級(jí)語法元素進(jìn)行了定義和討論，但是可以理解，本發(fā)明的原理也可以適用于其他編碼標(biāo)準(zhǔn)以利用多視角圖像。在圖5所示的一個(gè)實(shí)施方式中，提出了一個(gè)新的語法元素dec_ref_pic—marking—mvc_extension()，其被用于標(biāo)記圖像交叉視點(diǎn)。該函數(shù)從圖6所示的響應(yīng)的slice—header—mvc—extension()函數(shù)調(diào)用，圖6所示函數(shù)表示被編碼的圖像頭部語法(具體而言該指令從AVC所示的條頭部改造得出)。由于此新語法只用于標(biāo)記當(dāng)前視點(diǎn)之外的視點(diǎn)中的圖像，其必須還要考慮提供一個(gè)選項(xiàng)以允許系統(tǒng)標(biāo)記相同視點(diǎn)之內(nèi)的圖像。相同視點(diǎn)內(nèi)圖像的標(biāo)記是通過在新的標(biāo)記步驟之后調(diào)用AVC兼容的函數(shù)dec_ref—pic_marking()(參看圖5)而實(shí)現(xiàn)的。可以理解，可以在基于MVC的標(biāo)記作用之前或者之后調(diào)用該函數(shù)。對(duì)于基于AVC的用于MVC的dec—ref—pic—marking()語法還有另外的限制，其中AVC語法假定只用于單一視點(diǎn)，因?yàn)槎嘁朁c(diǎn)系統(tǒng)最初在AVC標(biāo)準(zhǔn)中并未提及。因此，AVC語法只能適用于編碼的當(dāng)前圖像所屬視點(diǎn)。請(qǐng)?jiān)賲⒖磮D5，對(duì)新加入的幾個(gè)附加語法描述如下mvc_adaptive_ref—pic_marking_mode—flag用于在當(dāng)前編碼的圖像的參考標(biāo)記模式之間進(jìn)行選擇。標(biāo)志"0"代表滑動(dòng)窗口參考圖像標(biāo)記模式，其中短期參考圖像在DPB中以FIFO基礎(chǔ)賦值。標(biāo)志"1"代表自適應(yīng)參考圖像標(biāo)記模式，其中元素可以被提供給與關(guān)聯(lián)于當(dāng)前編碼圖像的視點(diǎn)不同的視點(diǎn)中的標(biāo)記參考圖像。用于其他視點(diǎn)中的參考圖像的這種狀態(tài)包括"非用于參考"和"長期幀索引"當(dāng)當(dāng)前標(biāo)記為"用于長期參考"的圖像(幀、互補(bǔ)場對(duì)和非場場)的數(shù)量等于Max(Num—ref—frames,1)時(shí)，標(biāo)志應(yīng)當(dāng)?shù)扔?1"。memory—management—control_operation指明將被施力卩并影響由編碼器進(jìn)行的參考圖像標(biāo)記操作的控制運(yùn)算(MMCO)。memoiy—management—control_operation語法元素之后是由控制運(yùn)算的值指明的操作所需要的數(shù)據(jù)。下面的表2說明了與用于多視點(diǎn)的MMCO相關(guān)聯(lián)的值和控制運(yùn)算。memory—management_control—operation語法元素按照這種指令在圖像頭部(例如條頭部)中出現(xiàn)的順序由編碼過程來處理，并且在每個(gè)MMCO被處理的特定的位置施加對(duì)于每個(gè)MMCO表達(dá)的語義約束。表2:<table>tableseeoriginaldocumentpage15</column></row><table><table>tableseeoriginaldocumentpage16</column></row><table>在memory—management—control—operation由編碼過程進(jìn)《亍處理時(shí)，在圖像頭部中memory—management—control—operation應(yīng)當(dāng)不等于1,除非指定的參考圖像被標(biāo)記為"不用于短期參考"。在memory—management—control—operation由角軍碼過程進(jìn)行處理時(shí)，在條頭部中memoiy—management—control—operation應(yīng)當(dāng)不等于2，除非指定的長期圖像號(hào)指被標(biāo)記為"用于長期參考"的參考圖像。在memory—management—control—operation由角軍石馬過禾呈進(jìn)4亍處理時(shí)，在條頭部中memoiy—management—control—operation應(yīng)當(dāng)不等于3，除非指定的參考圖像被標(biāo)記為"用于短期參考"。在memory—management—control—operation由解碼過程進(jìn)行處理時(shí)，如果變量MaxLongTermFrameldx的值等于"非長期幀索弓l"，memory—management—control—operation應(yīng)當(dāng)不等于3、5禾口6。在圖像頭部中不應(yīng)出現(xiàn)一個(gè)以上的memoiy—management—control—operation等于4。在圖像頭部中不應(yīng)出現(xiàn)一個(gè)以上的memory—management—control—operation等于5。在圖像頭部中不應(yīng)出現(xiàn)一個(gè)以上的memory—management_control_operation等于6。當(dāng)對(duì)場進(jìn)行解碼并且出現(xiàn)等于3的memoiy_management—control—operation指令以將長期幀索弓I賦值給短期參考幀的一部分或者短期互補(bǔ)參考場對(duì)一部分的場，在相同的解碼參考圖像標(biāo)記語法結(jié)構(gòu)中應(yīng)當(dāng)出現(xiàn)另夕卜一個(gè)memory—management—control—operation指令以將相同的長期幀索引賦值給相同幀或者互補(bǔ)參考場對(duì)的其他場。請(qǐng)注意，即使當(dāng)MMCO所指的場等于3并且實(shí)質(zhì)上被標(biāo)記為"非用于參考"(例如在圖像頭部中當(dāng)MMCO等于2，從而導(dǎo)致被標(biāo)記的場為"非用于參考")，上述要求也應(yīng)得到滿足。當(dāng)互補(bǔ)參考場對(duì)(按照解碼順序)的第一場包括等于1的long—term—reference—flag或者等于6的memory—management—control—operation指令，貝U用于互補(bǔ)參考場對(duì)的其ftk場的解碼的參考圖像標(biāo)記語法結(jié)構(gòu)應(yīng)當(dāng)包含等于6的memory—management—control—operation指令以將相同的長期幀索弓I賦值給其他場。請(qǐng)注意，即使互補(bǔ)參考場對(duì)實(shí)質(zhì)上被標(biāo)記為"非用于參考"(例如在第二場的圖像頭部中當(dāng)MMCO等于2，從而導(dǎo)致被標(biāo)記的場為"非用于參考")，上述要求也應(yīng)得到滿足。difference_of_vies_id用于導(dǎo)出當(dāng)前memory—management—control—operation適用的view—id。difference_of—pic_nums用于將長期幀索引賦值給除其自身之外的視點(diǎn)內(nèi)的短期參考圖像或者將除其自身之外的視點(diǎn)內(nèi)的短期參考圖像標(biāo)記為"非用于參考"。當(dāng)相關(guān)耳關(guān)的memory—management—control—operation由解碼過程處理時(shí)，從difference—of_pic—nums得到的結(jié)果圖像號(hào)應(yīng)當(dāng)是賦值17給被標(biāo)記為"用于參考"的參考圖像之一并且之前沒有賦值給長期幀索引的圖像號(hào)。結(jié)果圖像號(hào)受如下條件限制。如果fiekLpic一flag等于0，結(jié)果圖像號(hào)應(yīng)當(dāng)是賦值給參考圖像或者互補(bǔ)參考場對(duì)的圖像號(hào)組其中之一?？梢岳斫猓?dāng)fiddjic—flag等于0，結(jié)果圖像號(hào)必須是賦值給其中兩個(gè)場都被標(biāo)記為"用于參考"的互補(bǔ)參考場對(duì)的圖像號(hào)、或者是其中兩個(gè)場都被標(biāo)記為"用于參考"的幀的圖像號(hào)。具體而言，當(dāng)fidd_pic_flag等于0，非配對(duì)場或其中單一場被標(biāo)記為"用于參考"的幀的標(biāo)記不能受memory—management—control—operation等于1的影口向。否則，fidd_piC—flag等于1，結(jié)果圖像號(hào)應(yīng)當(dāng)是賦值給參考場的圖像號(hào)組其中之一。long_term_frame_idx(memory—management_control_operation等于2)用于將長期幀索引賦值給具有與于當(dāng)前圖像的view—id不同的wewjd的圖像。當(dāng)才目關(guān)memory—management—control—operation有角牟石馬過禾呈處理時(shí)，long—term—frame—idx的H應(yīng)當(dāng)處于0至UMaxLongTeraiFrameldx的范圍之間，包括端點(diǎn)。語法different_of—pic—nums允許選擇具有大于當(dāng)前圖像的picNum的picNum的圖像。這使得標(biāo)記更為高效。下面對(duì)表2中所示不同函數(shù)的應(yīng)用進(jìn)行說明。當(dāng)MMCO等于l，這表示短期參考圖像被定義為"非用于參考"。因此，picNumX可以由下式確定18picNumX=CurrPicNum-(different_of_pic—nums)viewIdX由下式確定viewIdX=Currentviewld—(different一of—view—id)根據(jù)fidd_piC—flag,picNumX的值用于如下將短期參考圖像標(biāo)記為"非用于參考"。_如果field_pic_flag等于0，在viewIdX限定的視點(diǎn)中由picNumX限定的短期參考幀或短期互補(bǔ)參考場對(duì)及其兩個(gè)場都被標(biāo)記為"非用于參考"?！駝t(field_pic_flag等于1)，在viewIdX限定的視點(diǎn)中由picNumX限定的短期參考場被標(biāo)記為"非用于參考"。當(dāng)該參考場是參考幀或者互補(bǔ)參考場對(duì)的一部分，該幀或互補(bǔ)場對(duì)也被標(biāo)記為"非用于參考"，但其他場的標(biāo)記不變。當(dāng)MMCO等于2，此狀況代表長期參考圖像被變?yōu)?非用于參考"。根據(jù)field_pic—flag,LongTermPicNum的值用于如下將長期參考圖像標(biāo)記為"非用于參考"。一如果field_pic—flag等于0，具有等于long—term_pic—num的LongTermPicNum的長期參考幀或長期互補(bǔ)參考場對(duì)及其兩個(gè)場都被標(biāo)記為"非用于參考"。一否貝U(field_pic—flag等于1)，由等于long—term_pic—num的LongTermPicNum限定的長期參考場被標(biāo)記為"非用于參考"。當(dāng)該參考場是參考幀或者互補(bǔ)參考場對(duì)的一部分，該幀或互補(bǔ)場對(duì)也被標(biāo)記為"非用于參考"，但其他場的標(biāo)記不變。19當(dāng)MMCO等于3，此狀況代表將LongTermFrameIdx賦值給短期參考圖像的過程(將短期參考值標(biāo)記為長期參考圖像)。給定語法元素different—of_pic—nums禾口different—of_view_id，如上所述獲得變量picNumX和viewIdX。picNumX應(yīng)當(dāng)指在由viewIdX限定的視點(diǎn)中被標(biāo)記為"用于短期參考"而并非標(biāo)記為"不存在"的幀或互補(bǔ)參考場對(duì)或非配對(duì)參考場。當(dāng)?shù)扔趌ong—term_frame_idx的LongTermFrameldx己經(jīng)被賦值給長期參考幀或長期互補(bǔ)參考場對(duì)，該幀或長期互補(bǔ)參考場對(duì)及其兩個(gè)場都被標(biāo)記為"非用于參考"。當(dāng)LongTermFrameldx已經(jīng)被賦值給非配對(duì)參考場，并且該場不是由p化NumX限定的圖像的互補(bǔ)場，該場被標(biāo)記為"非用于參考"。根據(jù)field_pic_flag，LongTermFrameldx的值如下被用于將圖像從"用于短期參考"標(biāo)記為"用于長期參考"。—如果field_pic—flag等于0，在viewIdX限定的視點(diǎn)中由picNumX限定的短期參考幀或短期互補(bǔ)參考場對(duì)及其兩個(gè)場都被從"用于短期參考"標(biāo)記為"用于長期參考"并且賦值等于long_term_frame—idx的LongTermFrameldx。一否則(field_pic—flag等于1)，在viewIdX限定的視點(diǎn)中由picNumX限定的短期參考場被從"用于短期參考"標(biāo)記為"用于長期參考"并且賦值等于long—term—frame—idx的LongTermFrameldx。當(dāng)該場是參考幀或者互補(bǔ)參考場對(duì)的一部分，并且相同參考幀或互補(bǔ)參考場對(duì)的其他場也被標(biāo)記為"用于長期參考"，參考幀或互補(bǔ)參考場對(duì)也被標(biāo)記為"用于長期20參考"并且賦值等于long—term—frame—idx的LongTermFrameldxo當(dāng)MMCO等于4，當(dāng)LongTeraiFrameldx值大于與long_term_frame—idx—Plusl-l相關(guān)的值時(shí)，此狀況被調(diào)用以將參考圖像的狀態(tài)從"用于長期參考"變?yōu)?非用于參考"。按照下述方式確定變量LongTermFrameIdx。如果max—long—term—frame—idx_plusl等于0,LongTeraiFrameldx設(shè)定為等于"非長期幀索引"。否貝'J(max—long—term—frame—idx_plusl大于0)，LongTeraiFrameldx設(shè)定為等于max—long—term—frame—idx_plusl—1?？梢岳斫?，memory—management—control—operation等于4可以被用于將長期參考圖像標(biāo)記為"非用于參考"。本說明書并未規(guī)定傳輸max—long—term—frame—idx_plusl的頻率，但是該頻率可以由編碼器的設(shè)計(jì)者選擇。但是，編碼器在接收到錯(cuò)誤消息(例如幀內(nèi)刷新請(qǐng)求消息)時(shí)應(yīng)當(dāng)發(fā)送等于4的memory—management—control—operation。等于5的MMCO代表由viewIdX(如上所述獲得)限定的視點(diǎn)中的全部參考圖像被標(biāo)記為"非用于參考"的狀況。S卩，此MMCO使得編碼器具有改變特定視點(diǎn)的全部圖像的函數(shù)(不需要特別地識(shí)別每個(gè)參考圖像)。這種類型的函數(shù)可以被調(diào)用以改變與當(dāng)前編碼的圖像的視點(diǎn)相同的參考圖像的狀況。類似地，該指令可以被調(diào)用以改變與關(guān)聯(lián)于當(dāng)前編碼圖像的視點(diǎn)不同的特定視點(diǎn)的參考圖像的狀況。使MMCO等于6表示將與關(guān)聯(lián)于當(dāng)前編碼圖像的視點(diǎn)不同的全部視點(diǎn)中的全部參考圖像的狀況改變?yōu)?非用于參考"并將MaxLongTermFramekk變量設(shè)定為"非長期幀索引"的情形。該指令有效地控制DPB以最終清除非關(guān)聯(lián)于當(dāng)前編碼圖像的視點(diǎn)的視點(diǎn)的全部參考圖像。如上所述，MMCO等于5用于改變與特定視點(diǎn)關(guān)聯(lián)的參考圖像的狀況，而本MMCO(等于6)用于影響關(guān)聯(lián)于與被編碼圖像的視點(diǎn)不同的視點(diǎn)的全部參考圖像。使MMCO等于7表示將參考圖像的狀況從"長期參考"變?yōu)?用于短期參考"的情形。這種參考圖像關(guān)聯(lián)于與關(guān)聯(lián)于當(dāng)前編碼圖像的視點(diǎn)不同的視點(diǎn)。圖7是在根據(jù)本發(fā)明原理的另一實(shí)施方式，其中說明了語法元素difference_of_pics_nums—minusl(而不是使用語法元素different—of_pic_nums)。這種改變意味著其適用于無法選擇picNumX大于當(dāng)前圖像的picNumX的圖像的情形。與此實(shí)施方式相關(guān)聯(lián)的MMCO按照上述相同方式運(yùn)算(表2)。圖8是在根據(jù)本發(fā)明原理的另一實(shí)施方式，其中圖像頭部(例如條頭部)指令被修改以在圖像由AVC運(yùn)算編碼過程中調(diào)用語法元素指令slice—header_mvc_extension()。即，在本實(shí)施方式中，用于多視點(diǎn)的MMCO指令將在AVC編碼過程中出現(xiàn)(其中不同視點(diǎn)中的全部參考圖像可以被考慮)，而不是像上面所述那樣考慮與正被考慮的圖像不同視點(diǎn)的參考圖像。圖9說明了語法元素指令dec_ref_pic—marking^mvc—extension()的構(gòu)成。此新語法(如在圖8所示圖像頭部/條頭部中所調(diào)用)用于通過設(shè)定合適的difference_of—view—id語法來標(biāo)記與當(dāng)前視點(diǎn)不同的視點(diǎn)中的圖像。22為了使與關(guān)聯(lián)于被編碼圖像的視點(diǎn)相關(guān)聯(lián)的參考圖像的存儲(chǔ)狀態(tài)改變，difference—of—view—id語法被設(shè)置為0。此提議的語法元素將替代使用指令def—ref_pic—marking的用于DPB管理的現(xiàn)有AVC函數(shù)。下面將說明與dec—ref_pic—marking—mvc—extension()相關(guān)聯(lián)的各禾中i吾法元素。mvc_adaptive_ref—pic—marking^mode—flag用于在當(dāng)前編碼的圖像白勺參考標(biāo)記模式之間進(jìn)行選擇。標(biāo)志"0"代表滑動(dòng)窗參考圖像標(biāo)記模式，其中短期參考圖像在DPB中被賦值為FIFO基礎(chǔ)。標(biāo)志"1"代表自適應(yīng)參考圖像標(biāo)記模式，其中元素可以被提供以將參考圖形標(biāo)記為"非用于參考"并賦值"長期幀索引"。在當(dāng)前被編輯為"未用于長期參考"的幀、互補(bǔ)場對(duì)和非配對(duì)場的數(shù)量等于Max(num—ref_frames，1)時(shí)，mvc—adaptive—ref_pic—marking—mode—flag應(yīng)當(dāng)?shù)扔?。memory—management—control—operation(MMCO)規(guī)定了一控制運(yùn)算，該控制運(yùn)算被采用以影響參考圖像標(biāo)記。MMCO語法元素之后跟著用于由MMCO的值規(guī)定的運(yùn)算所需的數(shù)據(jù)。與所述MMCO相關(guān)聯(lián)的數(shù)值和控制運(yùn)算顯示于表3(如下)中。本實(shí)施方式中的MMCO語法元素按照其在條頭部中出現(xiàn)的順序由解碼過程處理，并且為每個(gè)memory—management—control—operation表達(dá)的語義約束作用在按照該順序該單個(gè)MMCO被處理的特定位置。為了角牟釋memory—management—control—operation，X寸術(shù)i吾參考圖像角率釋如下。一如果當(dāng)前圖像是幀，術(shù)語參考圖像指參考幀或互補(bǔ)參考場對(duì)。23_否則(當(dāng)前圖像是場)，術(shù)語參考圖像指參考場或者參考幀的場。當(dāng)memory—management—control—operation由角軍碼過程處理時(shí)，在條頭部中memoiy—management—control—operation不應(yīng)等于1，除非指定的參考圖像被標(biāo)記為"用于短期參考"。在memory—management—control—operation由角軍碼過程進(jìn)行處理時(shí)，在條頭部中memory—management—control—operation應(yīng)當(dāng)不等于2，除非指定的長期圖像號(hào)指被標(biāo)記為"用于長期參考"的參考圖像。在memory—management—control—operation由角軍碼過程進(jìn)行處理時(shí)，在條頭部中memory—management—control—operation應(yīng)當(dāng)不等于3，除非指定的參考圖像被標(biāo)記為"用于短期參考"。在memory—management—control—operation由角軍碼過程進(jìn)碎亍處理時(shí),如果變量MaxLongTermFrameldx的值等于"非長期幀索引"，memory—management—control—operation應(yīng)當(dāng)不等于3、5禾口6。當(dāng)對(duì)場進(jìn)行解碼并且出現(xiàn)等于3的memoiy—management_control_operation指令以將長期幀索弓I賦值給短期參考幀的一部分或者短期互補(bǔ)參考場對(duì)一部分的場，在相同的解碼參考圖像標(biāo)記語法結(jié)構(gòu)中應(yīng)當(dāng)出現(xiàn)另夕卜一個(gè)memory_management_control—operation指令以將相同的長期幀索引賦值給相同幀或者互補(bǔ)參考場對(duì)的其他場。請(qǐng)注意，艮卩使當(dāng)?shù)扔?的memory—management—control_operation所指的場實(shí)質(zhì)上被標(biāo)記為"非用于參考"(例如當(dāng)?shù)扔?的memory—management—control—operation出5見在相同條頭部中，從而導(dǎo)致被標(biāo)記的場為"非用于參考")，上述要求也應(yīng)得到滿足。當(dāng)互補(bǔ)參考場對(duì)(按照解碼順序)的第一場包括等于1的long—term—reference—flag或者等于6的memory—management—control—operation指令，貝l(用于互補(bǔ)參考場對(duì)的其他場的解碼的參考圖像標(biāo)記語法結(jié)構(gòu)應(yīng)當(dāng)包含等于6的memory—management—control_operation指令以將相同的長期幀索弓I賦值給其他場。請(qǐng)注意，即使互補(bǔ)參考場對(duì)的第一場實(shí)質(zhì)上被標(biāo)記為"非用于參考"(例如當(dāng)?shù)扔?的memory—management—control—operation出現(xiàn)在相同條頭部中，從而導(dǎo)致第一場被標(biāo)記為"非用于參考")，上述要求也應(yīng)得到滿足。difference_of_view—id用于導(dǎo)出當(dāng)前memory—management—control—operation適用的view—id。difference_of_pic_mmis用于將長期幀索引賦值給除其自身之外的視點(diǎn)內(nèi)的短期參考圖像或者將除其自身之外的視點(diǎn)內(nèi)的短期參考圖像標(biāo)記為"非用于參考"。當(dāng)相關(guān)耳關(guān)的memory—management—control—operation由解碼過程處理時(shí)，從difference—of_pic—nums得到的結(jié)果圖像號(hào)應(yīng)當(dāng)是賦值給被標(biāo)記為"用于參考"的參考圖像之一并且之前沒有賦值給長期幀索引的圖像號(hào)。結(jié)果圖像號(hào)受如下條件限制。一如果field_pic—flag等于0，結(jié)果圖像號(hào)應(yīng)當(dāng)是賦值給參考圖像或者互補(bǔ)參考場對(duì)的圖像號(hào)組其中之一?？梢岳斫?，當(dāng)fiekLpic—flag等于O，結(jié)果圖像號(hào)必須是賦值給其中兩個(gè)場都被標(biāo)記為"用于參考"的互補(bǔ)參考場對(duì)的圖像號(hào)、或者是其中兩個(gè)場都被標(biāo)記為"用于參考"的幀的圖像號(hào)。具體而言，當(dāng)fiekLpic—flag等于0，非配對(duì)場或其中單一場被標(biāo)記為"用25于參考"的幀的標(biāo)記不會(huì)巨受memory—management—control—operation等于1的影響。一否則(fidd_piC—flag等于1)，結(jié)果圖像號(hào)應(yīng)當(dāng)是賦值給參考場的圖像號(hào)組其中之一。long_term_pic_num(memory—management—control—operation等于2)用于將長期參考圖像標(biāo)記為"非用于參考"。當(dāng)相關(guān)聯(lián)的memory—management—control—operation由角軍石馬過禾呈處理時(shí),1ong一termjic—num應(yīng)當(dāng)?shù)扔谫x值給被當(dāng)前標(biāo)記為"用于長期參考"的參考圖像其中之一的長期圖像號(hào)。結(jié)果的長期圖像號(hào)受如下約束。一如果fidd_p1C—flag等于0，結(jié)果的長期圖像號(hào)應(yīng)當(dāng)是賦值給參考圖像或者互補(bǔ)參考場對(duì)的長期圖像號(hào)組其中之一。請(qǐng)注意，當(dāng)fidd_piC_flag等于0，結(jié)果的長期圖像號(hào)必須是賦值給其中兩個(gè)場都被標(biāo)記為"用于參考"的互補(bǔ)參考場對(duì)的長期圖像號(hào)、或者是其中兩個(gè)場都被標(biāo)記為"用于參考"的幀的長期圖像號(hào)。具體而言，當(dāng)fiel(Lpic—flag等于0，非配對(duì)場或其中單一場被標(biāo)記為"用于參考"的幀的標(biāo)記不能受memoiy—management—control—operation等于1的影卩向。一否則(fiekLpic—flag等于1)，結(jié)果的長期圖像號(hào)應(yīng)當(dāng)是賦值給參考場的長期圖像號(hào)組其中之一。long_term—frame一idx(memory—management—control—operation等于3或6)用于將長期幀索引賦值給圖像。當(dāng)相關(guān)聯(lián)的memory—management—control—operation■由角軍石馬過禾呈處理時(shí)，long_term_frame—idx的值應(yīng)當(dāng)處于0至ljMaxLongTeraiFrameldx的范圍之間，包括端點(diǎn)。語法different_of_pic—nums允許選擇具有大于當(dāng)前圖像的picNum的p化Num的圖像。這使得標(biāo)記更為高效。下面對(duì)用于不同MMCO指令的解碼的不同圖像標(biāo)記過程進(jìn)行說明。viewIdX由下式確定viewIdX=CurrentViewld—(different—of—view—id)所有的MMCO指令(如下表3所示)作用于如上獲得的作為viewIdX的viewld。表3:memory—management—control—operation存儲(chǔ)管理控制運(yùn)算0結(jié)束memory—managementcontrol—operation語法元素循環(huán)<table>tableseeoriginaldocumentpage27</column></row><table>7將除其自身之外的視點(diǎn)中的長期參考圖像標(biāo)記為"用于短期參考"當(dāng)MMCO等于0，圖像頭部(例如條頭部)的標(biāo)記結(jié)束。當(dāng)MMCO等于1,特定的參考圖像將把與其相關(guān)聯(lián)的狀況從"短期參考圖像"變?yōu)?非用于參考"。picNumX可以由下式確定picNumX=CurrPicNum-(different_of_pic_nums)另夕卜，根據(jù)field_pic_flag，picNumX的值用于如下將短期參考圖像標(biāo)記為"非用于參考"。一如果field_pic_flag等于0，在viewIdX限定的視點(diǎn)中由picNumX限定的短期參考幀或短期互補(bǔ)參考場對(duì)及其兩個(gè)場都被標(biāo)記為"非用于參考"?！駝t(field_pic—flag等于1)，在viewIdX限定的視點(diǎn)中由picNumX限定的短期參考場被標(biāo)記為"非用于參考"。當(dāng)該參考場是參考幀或者互補(bǔ)參考場對(duì)的一部分，該幀或互補(bǔ)場對(duì)也被標(biāo)記為"非用于參考"，但其他場的標(biāo)記不變。當(dāng)MMCO等于2，特定的參考圖像將把與其相關(guān)聯(lián)的狀況從"長期參考圖像"變?yōu)?非用于參考"。根據(jù)field_pic_flag，LongTermPicNum的值用于如下將長期參考圖像標(biāo)記為"非用于參考"?！绻鹒ield__pic_flag等于0，具有等于long—term_pic_num的LongTermPicNum的長期參考幀或長期互補(bǔ)參考場對(duì)及其兩個(gè)場都被標(biāo)記為"非用于參考"。一否貝lj(field_pic_flag等于1),由等于long—term_pic_num的28LongTermPicNum限定的長期參考場被標(biāo)記為"非用于參考"。當(dāng)該參考場是參考幀或者互補(bǔ)參考場對(duì)的一部分，該幀或互補(bǔ)場對(duì)也被標(biāo)記為"非用于參考"，但其他場的標(biāo)記不變。當(dāng)MMCO等于3，將LongTermFrameldx賦值給特定參考幀(將短期參考值賦值給為長期參考圖像)。給定語法元素different_of_piC—nums和differentofview_id,如上所述獲得變量picNumX和viewIdX。picNumX應(yīng)當(dāng)指在由viewIdX限定的視點(diǎn)中被標(biāo)記為"用于短期參考"而并非標(biāo)記為"不存在"的幀或互補(bǔ)參考場對(duì)或非配對(duì)參考場。當(dāng)?shù)扔趌ong_term—frame—idx的LongTermFrameldx己經(jīng)被賦值給長期參考幀或長期互補(bǔ)參考場對(duì)，該幀或長期互補(bǔ)參考場對(duì)及其兩個(gè)場都被標(biāo)記為"非用于參考"。當(dāng)LongTermFrameldx已經(jīng)被賦值給非配對(duì)參考場，并且該場不是由picNumX限定的圖像的互補(bǔ)場，該場被標(biāo)記為"非用于參考"。根據(jù)field_pic_flag，LongTermFrameldx的值如下被用于將圖像從"用于短期參考"標(biāo)記為"用于長期參考"。_如果field_pic_flag等于0，在viewIdX限定的視點(diǎn)中由picNumX限定的短期參考幀或短期互補(bǔ)參考場對(duì)及其兩個(gè)場的標(biāo)記都被從"用于短期參考"變?yōu)?用于長期參考"并且賦值等于long—term—framejdx的LongTermFrameldx?！駝t(field_pic_flag等于1)，在viewIdX限定的視點(diǎn)中由picNumX限定的短期參考場的標(biāo)記被從"用于短期參考"變?yōu)?用于長期參考"并且賦值等于long_term—frame—idx的LongTermFrameldx。當(dāng)該場是參考幀或者互補(bǔ)參考場對(duì)的一部分，并且相同參考幀或互補(bǔ)參考場對(duì)的其他場也被標(biāo)記為"用于長期參考"，參考幀或互補(bǔ)參考場對(duì)也被標(biāo)記為"用于長期參考"并且賦值等于long—term_frame_idx的LongTermFrameldx。當(dāng)MMCO等于4，最大長期幀索引值被確定，從而被識(shí)別為長期參考幀并且?guī)饕笥谧畲笾档娜繀⒖紟急环诸悶?非用于參考"。具體而言(在函數(shù)調(diào)用的命名規(guī)則中)，LongTermFrameldx值大于max—long—term—frame—idx_Plusl-l并且被標(biāo)記為"用于長期參考"的全部圖像都被標(biāo)記為"非用于參考"。按照下述方式確定變量LongTermFrameldx?！绻鹠ax—long—term_frame_idx_plusl等于0，LongTermFrameldx設(shè)定為等于"非長期幀索引"。—否貝(J(max—long—term—frame—idx_plusl大于0)，LongTermFrameldx設(shè)定為等于max—long—term—frame—idx_plusl—1?？梢岳斫?，本MMCO可以被用于將長期參考圖像標(biāo)記為"非用于參考"。本說明書并未規(guī)定傳輸maxjong—term—frame—idx_plus1的頻率，但是該頻率可以由編碼器的設(shè)計(jì)者選擇。但是，編碼器在接收到錯(cuò)誤消息(例如幀內(nèi)刷新請(qǐng)求消息)時(shí)應(yīng)當(dāng)發(fā)送等于4的memory—management—control—operation。當(dāng)MMCO等于5，編碼器將由viewIdX(如上所述獲得)限定的視點(diǎn)(特定視點(diǎn))中的全部參考圖像標(biāo)記為"非用于參考"并將LongTermFrameldx變量設(shè)定為等于"非長期幀索引"。這表示，標(biāo)識(shí)為特定視點(diǎn)的參考圖像被設(shè)置為"非用于參考"，其中該參考圖像之前的圖像被標(biāo)記為"長期"。當(dāng)MMCO等于6，當(dāng)前編碼的圖像被標(biāo)記為"用于長期"并且將長30期幀索引賦值給圖像。具體而言，當(dāng)?shù)扔趌ong—term—framejdx的LongTermFrameldx已經(jīng)被賦值給長期參考幀或長期互補(bǔ)參考場對(duì)，該幀或互補(bǔ)參考場對(duì)及其兩個(gè)場被標(biāo)記為"非用于參考"。當(dāng)LongTermFrameldx己經(jīng)被賦值給非配對(duì)參考場，并且該場不是當(dāng)前圖像的互補(bǔ)場，則該場被標(biāo)記為"非用于參考"。當(dāng)前圖像被標(biāo)記為"用于長期參考"并賦值為等于long_term_frame—idx的LongTermFrameldx。當(dāng)field_p1C—flag等于0時(shí)，其兩場也被標(biāo)記為"用于長期參考"并賦值為等于long—term—frame—idx的LongTermFrameldx。當(dāng)field_piC—flag等于1并且當(dāng)前圖像是互補(bǔ)參考場對(duì)(按照解碼順序)的第二場時(shí)，互補(bǔ)參考場對(duì)的第一場當(dāng)前也被標(biāo)記為"用于長期參考"，互補(bǔ)參考場對(duì)也被標(biāo)記為"用于長期參考"并賦值為等于long—term—frame—idx的LongTermFrameldx。在標(biāo)記當(dāng)前解碼的參考圖像之后，具有至少一個(gè)場被標(biāo)記為"用于參考"的幀的數(shù)量，加上具有至少一個(gè)場被標(biāo)記為"用于參考"的互補(bǔ)參考場對(duì)的數(shù)量，加上被標(biāo)記為"用于參考"的非配對(duì)場的數(shù)量，應(yīng)當(dāng)不大于Max(num一ref—frames，1)。請(qǐng)注意，在某些情況下，上述語句可以對(duì)等于6的memory—management—control—operationi吾法元素相對(duì)于等于1、2或4的memory—management—control—operation在解碼的參考圖像語法中出現(xiàn)的順序施加約束。當(dāng)MMCO等于7,在viewIdX限定的視點(diǎn)中由long_term_pic—num限定的長期參考場被標(biāo)記為"用于短期參考"。這表示，(由picnumber標(biāo)識(shí)31的)特定幀和特定視點(diǎn)將其狀況從"長期參考圖像"變?yōu)?短期參考圖像"。根據(jù)圖10所示的語法元素說明了本發(fā)明的另外實(shí)施方式，其中基于difference_of_view_id的值傳輸difference一of一pic一nums或difference—of—pic一nums—minusl。當(dāng)只對(duì)于時(shí)間的情況使用MMCO指令而不使用圖8所示difference_of_pic_nums語法元素時(shí)提出了該解決方案。圖11說明了根據(jù)本發(fā)明原理的通用參考圖像標(biāo)記方法的框圖1100。步驟1105表示編碼圖像的通用原理(其中編碼運(yùn)算通常由一組基于視頻的運(yùn)動(dòng)圖像編碼圖像)。該運(yùn)算也可以表示編碼圖像的解碼。但是在本步驟中，被編碼的圖像與多視點(diǎn)視頻編碼系統(tǒng)中的多個(gè)視點(diǎn)中的特定視點(diǎn)相關(guān)聯(lián)。優(yōu)選實(shí)施方式利用AVC編碼器環(huán)境中的MVC視頻標(biāo)準(zhǔn)中披露的原理，但是可以理解，也可以采用其他多視點(diǎn)視頻標(biāo)準(zhǔn)。重要的是，編碼圖像將與圖像ID號(hào)和視點(diǎn)ID號(hào)相關(guān)聯(lián)。圖像ID號(hào)表示編碼圖像序列中的編碼圖像號(hào)。編碼圖像還將具有視點(diǎn)ID號(hào)，該視點(diǎn)ID號(hào)對(duì)應(yīng)于編碼圖像相關(guān)聯(lián)的視點(diǎn)(l至n之間，n^視點(diǎn)的全部數(shù)量)。例如，與視點(diǎn)"2"相關(guān)聯(lián)的編碼圖像將具有視點(diǎn)ID號(hào)"2"。在步驟1110中，編碼圖像存儲(chǔ)在存儲(chǔ)器(例如DPB)中并且編碼圖像被賦值存儲(chǔ)狀態(tài)。編碼圖像被存儲(chǔ)，從而圖像可以被用于參考圖像。如上所述，編碼圖像可以具有至少三個(gè)與其相關(guān)聯(lián)的不同的存儲(chǔ)狀態(tài)。"長期參考圖像"表示編碼圖像將被存儲(chǔ)為參考圖像的情況。被指定為長期參考圖像的編碼圖像被賦值一(長期圖像索引中)索引號(hào)。此圖像被認(rèn)為暫時(shí)保留，從而該圖像在編碼將來的圖像時(shí)可以被用作參考圖像。"短期參考圖像"表示被認(rèn)為短時(shí)間保留以作為參考圖像的編碼圖像。在這種情況下，在空間要求時(shí)參考圖像可以被移出存儲(chǔ)器(DPB)。"非用于參考"表示編碼圖像將不被用作參考圖像的情況。在這種情況下，在空間要求時(shí)DPB可以除去參考圖像(利用LIFO/FIFO)或者直接從DPB中刪除。被指定為非用于參考的圖像有可能直接被刪除而在步驟1110和1115中永遠(yuǎn)不存儲(chǔ)在DPB中。在步驟1120中，第二視頻圖像被編碼。此時(shí)，用存儲(chǔ)管理指令運(yùn)算視頻圖像標(biāo)記視頻圖像(如在其他實(shí)施方式中所述)，其中MMCO影響存儲(chǔ)在用于存儲(chǔ)參考圖像的存儲(chǔ)器(例如DPB)的參考圖像。如上文所述，可以采用不同的MMCO來決定如何改變與參考圖像相關(guān)聯(lián)的存儲(chǔ)狀態(tài)。這種改變可以基于當(dāng)前編碼的圖像具有與存儲(chǔ)的參考圖像相同/不同的視點(diǎn)而做出(例如，具有相同視點(diǎn)ID的全部圖像都同時(shí)被改變，因?yàn)檫@表示一種全局改變)。與圖像相關(guān)聯(lián)的存儲(chǔ)狀態(tài)的改變可以直接進(jìn)行，其中特別存儲(chǔ)的參考圖像被識(shí)別并且MMCO規(guī)定該圖像的存儲(chǔ)狀態(tài)將改變(例如，在"長期參考"、"短期參考"和"非用于參考"的存儲(chǔ)狀態(tài)之間變化，這表示一種局部改變)。另外，如上所述，本發(fā)明的各種實(shí)施方式使得當(dāng)前編碼的圖像的視點(diǎn)ID能夠影響圖像是否只對(duì)于具有不同視點(diǎn)ID的參考圖像(在不同視點(diǎn)之間)改變還是對(duì)于與當(dāng)前編碼圖像具有相同視點(diǎn)ID的參考圖像(對(duì)于特定視點(diǎn))改變。步驟1125是MMCO指令的執(zhí)行，其中存儲(chǔ)裝置存儲(chǔ)執(zhí)行與參考圖像相關(guān)聯(lián)的存儲(chǔ)狀態(tài)的參考圖像。這些類型的運(yùn)算在上面也已經(jīng)進(jìn)行了說明。本領(lǐng)域普通技術(shù)人員根據(jù)本發(fā)明的原理可以理解本發(fā)明的上述和其他特征和優(yōu)點(diǎn)?？梢岳斫猓景l(fā)明的原理可以用各種形式的硬件、軟件、固件、專用處理器及其組合實(shí)現(xiàn)。最優(yōu)選地，本發(fā)明的原理可以作為硬件和軟件的組合來實(shí)現(xiàn)。并且，軟件可以作為嵌入在程序存儲(chǔ)單元上地應(yīng)用程序來實(shí)現(xiàn)。應(yīng)用程序可以被上載至包含任何適當(dāng)體系結(jié)構(gòu)的機(jī)器并由其執(zhí)行。優(yōu)選地，該機(jī)器在具有硬件的計(jì)算極平臺(tái)上執(zhí)行，所述硬件例如是一個(gè)或多個(gè)中央處理器(CPU)、隨機(jī)訪問存儲(chǔ)器(RAM)、輸入輸出(I/O)接口。計(jì)算機(jī)平臺(tái)還可以包括操作系統(tǒng)和微指令代碼。本文所述各種處理和功能可以是能夠由CPU處理的微指令代碼的一部分或應(yīng)用程序的一部分，或者它們的組合。另外，各種外圍設(shè)備可以連接至計(jì)算機(jī)平臺(tái)，例如附加數(shù)據(jù)存儲(chǔ)單元和打印單元?？梢赃M(jìn)一步理解的是，因?yàn)楦綀D中描述的某些系統(tǒng)構(gòu)成部件和方法優(yōu)選由軟件實(shí)現(xiàn)，系統(tǒng)元件或者處理功能框之間的實(shí)際連接根據(jù)本發(fā)明的原理被編程的方式可能存在不同之處?；诒景l(fā)明的原理，本領(lǐng)域普通技術(shù)人員可以設(shè)想到用來實(shí)現(xiàn)本發(fā)明原理的上述和其他方式或結(jié)構(gòu)。雖然結(jié)合目前優(yōu)選實(shí)施例對(duì)本發(fā)明進(jìn)行了說明，但是可以理解本發(fā)明并不局限于公開的實(shí)施例。而且，在本發(fā)明的原理和范圍之內(nèi)，可以對(duì)本發(fā)明進(jìn)行修改以引入本說明書未說明的任何變化、改變、替換或者等同設(shè)置。因此，本發(fā)明不應(yīng)被視為由上述說明來限制，而是由所附權(quán)利要求的范圍來限定。權(quán)利要求1.一種用于多視點(diǎn)編碼的參考圖像的存儲(chǔ)管理的方法，該方法包括下述步驟在存儲(chǔ)器中存儲(chǔ)參考圖像(1110)，其中所述參考圖像與存儲(chǔ)器狀態(tài)和視點(diǎn)相關(guān)聯(lián)；和以影響所述存儲(chǔ)的視頻圖像的存儲(chǔ)狀態(tài)的信息編碼視頻圖像(1120)。2.根據(jù)權(quán)利要求l所述的方法，其中所述存儲(chǔ)狀態(tài)的改變通過使用存儲(chǔ)管理運(yùn)算指令執(zhí)行。3.根據(jù)權(quán)利要求2所述的方法，其中當(dāng)與所述參考圖像相關(guān)聯(lián)的視點(diǎn)不同于與所述編碼視頻圖像相關(guān)聯(lián)的視點(diǎn)時(shí)執(zhí)行所述編碼步驟。4.根據(jù)權(quán)利要求2所述的方法，其中當(dāng)與所述參考圖像相關(guān)聯(lián)的視點(diǎn)相同于與所述編碼視頻圖像相關(guān)聯(lián)的視點(diǎn)時(shí)執(zhí)行所述編碼步驟。5.根據(jù)權(quán)利要求2—4其中之一所述的方法，其中存儲(chǔ)的第二參考圖像屬于與所述視點(diǎn)不同的第二視點(diǎn)；并且所述存儲(chǔ)管理運(yùn)算指令影響與所述視點(diǎn)相關(guān)聯(lián)的全部參考圖像而不影響與所述第二視點(diǎn)相關(guān)聯(lián)的參考圖像。6.根據(jù)權(quán)利要求2—5其中之一所述的方法，其中與所述存儲(chǔ)的參考幀相關(guān)聯(lián)的所述存儲(chǔ)狀態(tài)從選自下面的狀態(tài)長期參考幀、短期參考幀、非用于參考改變至選自下面的狀態(tài)長期參考幀、短期參考幀和非用于參考。7.根據(jù)權(quán)利要求2—6其中之一所述的方法，其中所述參考圖像最初使用基于H.264的編碼運(yùn)算進(jìn)行編碼并且在多視點(diǎn)編碼運(yùn)算過程中執(zhí)行所述存儲(chǔ)狀態(tài)改變。8.根據(jù)權(quán)利要求2—6其中之一所述的方法，其中所述參考圖像被編碼，并且在既進(jìn)行時(shí)間編碼也進(jìn)行視點(diǎn)間編碼的視頻編碼運(yùn)算中執(zhí)行所述存儲(chǔ)狀態(tài)的改變。9.根據(jù)權(quán)利要求1一8其中之一所述的方法，其中調(diào)用一標(biāo)記模式語法元素標(biāo)志以在當(dāng)前編碼的所述圖像的參考標(biāo)記模式之間進(jìn)行選擇。10.—種編碼裝置，用于執(zhí)行權(quán)利要求1一9其中之一所述方法。全文摘要本發(fā)明描述了用于存儲(chǔ)在存儲(chǔ)器(1110)中的解碼的參考圖像的存儲(chǔ)管理一系列存儲(chǔ)管理運(yùn)算指令和多視點(diǎn)視頻編碼運(yùn)算。所述視頻編碼運(yùn)算將相對(duì)于與存儲(chǔ)的參考圖像(1120)相關(guān)聯(lián)的視點(diǎn)考慮將編碼的圖像的視點(diǎn)，其中允許操作存儲(chǔ)管理運(yùn)算指令以影響存儲(chǔ)的參考圖像的存儲(chǔ)狀態(tài)，其中這種影響可以是將參考圖像(1125)指定為短期參考圖像、長期參考圖像，或者指定該參考圖像是不需要的參考圖像。文檔編號(hào)H04N7/26GK101653000SQ200780038099公開日2010年2月17日申請(qǐng)日期2007年10月12日優(yōu)先權(quán)日2006年10月13日發(fā)明者鵬尹,普爾溫·比布哈斯·潘迪特,蘇野平申請(qǐng)人:湯姆遜許可公司