專利名稱：：參考畫面列表的管理的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明原理一般地涉及視頻編碼和解碼，并更具體地涉及在多視圖(multi-view)編碼的禍L頻中4吏用高級(jí)語法進(jìn)4亍參考畫面(referencepicture)列表的管理的方法和裝置。
背景技術(shù)：
：在當(dāng)前的基于H.264/MPEG-4AVC的MVC的實(shí)施中，參考軟件通過利用單個(gè)編碼器來編碼每個(gè)視圖并且考慮交叉視圖(cross-view)參考來實(shí)現(xiàn)多視圖預(yù)測。另外，MVC還將不同的視圖之間的frame—num和POC解耦，因而使得在解碼畫面緩存(DPB)中呈現(xiàn)具有相同的frame—num和POC的畫面(例如，屬于不同泮見圖的畫面)。4吏用與畫面相關(guān)聯(lián)的view_id來區(qū)分這些畫面。用于重新排序(reorder)視圖間(inter-view)參考畫面的參考畫面列表重新排序(ReferencePictureListReordering)的命令在某些語法元素的值上施加一些限制(restriction),并且附帶地不允許復(fù)制(duplicate)參考列表中具有特定view—id的畫面。例如在參考畫面的修改的版本與原始參考畫面一同被用作參考畫面的情況中，參考畫面的復(fù)制是有用的。這被用于加權(quán)預(yù)測(weightedprediction)禾口自適應(yīng)參考》應(yīng)》皮(adaptivereferencefiltering)。
發(fā)明內(nèi)容在本發(fā)明的至少一個(gè)實(shí)施方案中，對(duì)基于H.264/MPEG-4AVC的多視圖編碼標(biāo)準(zhǔn)的高級(jí)語法進(jìn)行改變以使得高效管理參考畫面列表。具體地，本發(fā)明允許通過修改方程在最終參考列表中復(fù)制視圖間參考畫面，所述方程用于選擇要添加至參考列表的視圖間畫面的索引(index)。例如在參考畫面的修改的版本與原始參考畫面一同被用作參考畫面的情況中，參考畫面的復(fù)制是有用的。這被用于加權(quán)預(yù)測和自適應(yīng)參考濾波。通過本發(fā)明的實(shí)施方案也可以更高效地實(shí)施參考畫面的重新排序。例如對(duì)于通過使得能夠在參考畫面列表的較低索引中呈現(xiàn)與當(dāng)前畫面更相關(guān)的畫面來改善編碼的效率，參考畫面的重新排序是有用的。在MVC擴(kuò)展(extension)中，引入新的RPLR命令的集合來重新排序視圖間的參考畫面。這在表2中示出。在本發(fā)明的至少一個(gè)實(shí)施方案中，修改在當(dāng)前MVC規(guī)范中的視圖索引值的推導(dǎo)中指定的方程以使得管理參考畫面列表。該修改移除在當(dāng)前規(guī)范中施加的限制，并附帶地允許在參考列表中復(fù)制視圖間的參考畫面。表格1示出了AVC中的參考畫面列表重新排序的語法；表格2示出了MVC中的參考畫面列表重新排序的語法；表格3示出了MVC中的參考畫面列表的重新排序的Reordering—of_pic—nums—idc的才喿作。具體實(shí)施例方式在本發(fā)明的至少一個(gè)實(shí)施方案中，對(duì)基于H.264/MPEG-4AVC的多一見圖編碼標(biāo)準(zhǔn)的高級(jí)語法進(jìn)行改變以允許高效管理參考畫面列表。具體地，本發(fā)明允許通過^^改方程而在最終的參考列表中復(fù)制^L圖間的參考畫面，所述方程用于選擇要添加至參考列表的視圖間畫面的索引。在當(dāng)前的基于H.264/MPEG-4AVC的MVC實(shí)施中，參考軟件通過利用單個(gè)編碼器編碼每個(gè)視圖、以及考慮交叉視圖的參考來實(shí)現(xiàn)多視圖預(yù)測。另外，MVC還將不同的視圖之間的frame—num和POC解耦，因而允許在DPB中呈現(xiàn)具有相同的frame—num和POC的畫面(例如屬于不同浮見圖的畫面)。使用與畫面相關(guān)聯(lián)的view—id來區(qū)分這些畫面。用于將視圖間參考畫面重新排序的參考畫面列表重新排序命令在某些語法元素的值上施加一些限制，并且附帶地不允許復(fù)制參考列表中具有特定view—id的畫面。例如在參考畫面的修改的版本與原始的參考畫面一同被用作參考畫面的情況中，參考畫面的復(fù)制是有用的。這被用于加權(quán)預(yù)測和自適應(yīng)參考濾波。H.264/MPEG-4AVC使得編碼器/解碼器能夠?yàn)橄乱唤獯a片段(slice)暫時(shí)改變list0(以及Bslices的listl)中的參考畫面的默認(rèn)順序。這可以通過在片段頭部(header)呈現(xiàn)參考畫面列表重新排序(RPLR)命令來實(shí)現(xiàn)。在表格1示出了RPLR語法表格中的這些RPLR命令。例如對(duì)于通過使得能夠在參考畫面列表的較低索引中呈現(xiàn)與當(dāng)前畫面更相關(guān)的畫面來改善編碼效率，參考畫面的重新排序是有用的。在MVC擴(kuò)展中，引入新的RPLR命令的集合來重新排序視圖間的參考畫面。這在表格2中示出。在Error!Referencesourcenotfound(4晉誤！未找到參考源)中示出用于新的RPLR命令的語義(semantics)。進(jìn)一步地，語法abs_diff—view_idx_minus1具有下歹'J語義。abs—diff—view一idx一minusl力。1指定在參考畫面列表中放置當(dāng)前索引的畫面的視圖索引、與視圖索引預(yù)測值之間的絕對(duì)差。如果當(dāng)前解碼片段屬于^苗定畫面(anchorpicture)，則abs—diff—view—idx—minus1夸在0至num—anchor—refs—IX[curr—view—id]-1的范圍內(nèi)，或者如果當(dāng)前解碼片段屬于非錨定畫面，貝'Jabs—diff—view—idx—minus1將在0至num—non—anchor—refs—IX[curr—view—id]-1的范圍內(nèi)。curr—view—id等于包含當(dāng)前片段的視圖的view—id。按照MVC的H.8.2.2.3子條款中所指定來進(jìn)一步限制所允i午的abs—diff_view—idx—minus1的丫直。在MVCSPS擴(kuò)展中，視圖間畫面的視圖索引指示取決于當(dāng)前解碼視圖中出現(xiàn)的浮見圖間畫面的view—id的順序。對(duì)于#見圖索引等于view—index的畫面，如果當(dāng)前編碼片段屬于錨定畫面，則其view—id等于anchor—ref—IX[curr—view—id][view—index]，或者如果當(dāng)前編碼片4爻屬于非錨定畫面,貝寸其view—id等于non—anchor—ref—IX[curr—view—id][view—index]。<table>tableseeoriginaldocumentpage7</column></row><table><table>tableseeoriginaldocumentpage8</column></row><table>表格3:MVC中參考畫面列表的重新排序的Reordering—of—pic-國s一idc搡作聞想g所指定的重新排序0呈現(xiàn)abs-diff-pic—n咖-mi加sl并對(duì)應(yīng)于從畫面號(hào)碼預(yù)測值中減去的差呈現(xiàn)abs—diff-pic_n咖』linus1并對(duì)應(yīng)于添加至畫面號(hào)碼預(yù)測值的差2呈現(xiàn)long—term—pic—num.并指定參考畫面的長期的畫面號(hào)碼3結(jié)束初始參考畫面列表的重新排序的循環(huán)4呈現(xiàn)abs—diff—view—idx—minusl并對(duì)應(yīng)于從視圖索引預(yù)測值中減去的差5呈現(xiàn)abs—diff—view—idx—minusl并對(duì)應(yīng)于添加至視圖索引預(yù)測值的差在至少一個(gè)實(shí)施方案中，為了管理參考畫面列表，本發(fā)明修改了當(dāng)前MVC規(guī)范中在視圖索引值的推導(dǎo)中所指定方程。該修改移除了施加在當(dāng)前規(guī)范中的限制，并附帶地允許復(fù)制參考列表中的視圖間參考畫面。當(dāng)前將^L圖間畫面的重新排序的處理指定為中的索引refldxLX。該處理的輸出為可能修改的參考畫面列表RefPicListX(其中X為0或1)和增加的索引refldxLX。如下推導(dǎo)變量picViewIdxLX:匿如果reordering—of_pic—nums—idc等于4，則picViewIdxLX=picViewIdxLXPred—(abs—diff—view—idx—minus1+1)(1)-否貝寸(reordering—of_pic—nums—idc等于5)，picViewIdxLX=picViewIdxLXPred+(abs—diff—view_idx_minusl+1)(2)picViewIdxLXPred為變量picViewIdxLX的預(yù)測值。在對(duì)于一片段首次調(diào)用(invoke)該子條款中指定的處理時(shí)(即在ref_pic—list_reordering()語法中首次出現(xiàn)等于4或5的reordering—of_pic—nums—idc時(shí))，picViewIdxL0Pred和picViewIdxLlPred初始地被設(shè)置為等于0。在對(duì)于一片段首次調(diào)用該子條款中指定的處理、并且reordering—of_pic—nums—idc等于4、并且隨后的abs—diff—view—idx—minus1等于0時(shí)，直接將picViewIdxLX推導(dǎo)為0，而不使用上面的方程。在picViewIdxLX的每個(gè)分配之后，將picViewIdxLX的值分配給picViewIdxLXPred。如下，進(jìn)行下列過程以將具有等于picViewIdxLX的視圖索引的視圖間畫面放置在索引位置refldxLX處，并將任何其他剩余的畫面的位置向列表中的后面移動(dòng)(shift):TargetViewID=num—multiview—refs—for—listX[picViewIdxLX]for(cldx=num—ref一idx一IX一active一minusl+1;cldx>refldxLX;cldx誦-)RefPicListX[cldx]=RefPicListX[cldx-1]RefPicListX[refldxLX++]=inter-viewreferencepicturewithviewidequaltoTargetViewID(具有等于TargetViewID的viewid的視圖間參考畫面)nldx=refldxLXfor(cldx=refldxLX;cldx<=num—ref—idx—IX—active—minus1+1;cldx++)if(ViewID(RefPicListX[cldx])!=TargetViewID||PictureOrderCnt(RefPicListX[cldx])!=CurrPOC)RefPicListX[nldx++]=RefPicListX[cldx]其中CurrPOC指示當(dāng)前解碼畫面的PicOrderCnt()。如從上面的描述看出其施加下列限制在對(duì)于一片段首次調(diào)用該子條款中所指定的處理、并且reordering—of_pic—nums—idc等于4、并且abs—diff—view—idx—minus1的下一語法元素等于0時(shí)，則直接將picViewIdxLX推導(dǎo)為0,而不使用上面的方程。例如，如果picViewIdxLXPred和abs—diff—view—idx—minus1都具有初始值零，則這排除(precluse)了picViewIdxLX具有負(fù)值的可能性。另外，由于方程(1)和方程(2)將生成不正確的值，所以使用方程(l)和(2)不可能復(fù)制參考列表中的條目(entry)。為了應(yīng)對(duì)(address)這些問題，至少一個(gè)實(shí)施方案提出以下列方式修改兩個(gè)方程(1)和(2)。如下推導(dǎo)變量picViewIdxLX:-j口果reordering—of_pic—nums—idc等于4，則If(picViewIdxLXPred—(abs—diff—view—idx—minus1+1)<0)picViewIdxLX=picViewIdxLXPred—(abs—diff—view—idx—minus1+1)+MaxViewIdx(3)elsepicViewIdxLX=picViewIdxLXPred—(abs—diff一view—idx一minusl+1)-否則(reordering_of_pic—nums—idc等于5)If(picViewIdxLXPred+(abs—diff—view—idx_minusl+1)>=MaxViewIdx)picViewIdxLX=picViewIdxLXPred+(abs—diff—view—idx一minusl+1)-MaxViewIdx(4)elsepicViewIdxLX=picViewIdxLXPred+(abs—diff—view—idx一minus1+1)MaxViewIdx是變量，并且如下使用來自SPSMVC擴(kuò)展的語法來推導(dǎo)方程(3)和(4)中MaxViewIdx的值^口果當(dāng)前畫面為4苗定畫面，則MaxViewIdx=num—anchor—refs—IX[curr—view—id]否則MaxViewIdx=num一non—anchor一refs—IX[curr—view一id]明顯地，編碼器和解碼器的兩者都可以推導(dǎo)MaxViewIdx的值。該方法的一個(gè)4尤點(diǎn)為，通過將abs—diff—view—idx—minus1發(fā)4言令(signaling)為等于(MaxViewIdx-1)的值，可以復(fù)制特定的視圖索引值。即，因?yàn)閜icViewIdxLX=picViewIdxLXPred,所以通過使用表格2的語法來對(duì)這樣的值發(fā)信令，則將在解碼器的參考列表中復(fù)制特定的視圖索引值。附力口地，當(dāng)"reordering—of_pic—nums—idc=4"為片段的第一命令時(shí)，該方法移除了原始地施加在abs—diff—view—idx_minusl上的限制。即picViewIdxLX不需要被自動(dòng)地設(shè)置為0。這遵循(follow)了因?yàn)閯偤?just)在方程(3)之上的第一"if，語句(statement)捕獲(catch)了picViewIdxLX的潛在的無效值(按照現(xiàn)有的方程(1)所計(jì)算的)的出現(xiàn)。例如，在此所描述的特征和方面允許復(fù)制參考畫面列表中的視圖間參考畫面。這樣的復(fù)制可以僅僅指復(fù)制關(guān)于實(shí)際的參考畫面(其包括像素值)的指針，在該情況中，參考畫面列表例如可以包括關(guān)于一個(gè)或多個(gè)實(shí)際的參考畫面的一系列指針。例如可以在解碼畫面緩存中存儲(chǔ)實(shí)際的參考畫面。在這樣的實(shí)施方案中，復(fù)制參考畫面列表中的一個(gè)或多個(gè)指針，以使指針指向相同的實(shí)際的參考畫面。例如，如在2006年7月18日提交的、題為"AdaptiveReferenceFrameFilteringforVideoCoding"(用于視頻編碼的自適應(yīng)參考幀濾波)的美國臨時(shí)申請(qǐng)序列號(hào)第60/807,645號(hào)中所描述的，可以在執(zhí)行自適應(yīng)參考濾波時(shí)使用參考畫面列表中的視圖間參考畫面的復(fù)制，在此通過引用并入其全部內(nèi)容。應(yīng)當(dāng)清楚，實(shí)施方案還可以復(fù)制參考畫面列表中被多個(gè)指針指向的實(shí)際的參考畫面。進(jìn)一步地，實(shí)施方案可以保留(maintain)包括實(shí)際參考畫面而非僅僅關(guān)于實(shí)際參考畫面的指針的參考畫面列表。所描述的實(shí)施方案的特征和方面還可以適配于其他實(shí)施方案而改造。例制。這樣的其他編碼/解碼處理可以允許例如使用顯式信令(explicitsignaling)或隱式信令(implicitsignaling)的這樣的復(fù)制。作為顯式信令的例子，實(shí)施方案可以包括其中每個(gè)編碼的畫面指示是否在列表中復(fù)制特定的參考畫面的語法?？梢栽诶绶椒ɑ蛱幚?、裝置、或軟件程序中實(shí)施在此描述的實(shí)施方案。盡管只是在單個(gè)形式的實(shí)施方案的環(huán)境中進(jìn)行討論(例如只作為方法來討論)，但也可以以其他形式(例如裝置或程序)來實(shí)施所討論的實(shí)施方案或特征?？梢栽诶缜‘?dāng)?shù)挠布④浖凸碳袑?shí)施裝置?？梢栽诶缰T如解碼器、編碼器或一些其他處理設(shè)備之類的裝置中實(shí)施該方法。另外，還可以由被處理設(shè)備或其他裝置執(zhí)行的指令來實(shí)施該方法，并且這樣的指令可以被存儲(chǔ)在諸如例如CD或其他計(jì)算機(jī)可讀存儲(chǔ)設(shè)備之類的計(jì)算接可讀介質(zhì)、或集成電路上。對(duì)于本領(lǐng)域技術(shù)人員應(yīng)當(dāng)是明顯的，實(shí)施方案還可以產(chǎn)生被格式化為例如可以被存儲(chǔ)或傳輸?shù)某休d信息的信號(hào)。該信息例如可以包括用于執(zhí)行方法的指令、或包括由所述的實(shí)施方案之一所產(chǎn)生的數(shù)據(jù)。例如，信號(hào)可以被格式化為承載作為顯式信令語法的值的數(shù)據(jù)。進(jìn)一步地，本申請(qǐng)預(yù)想了其他的實(shí)施方案。例如，可以通過組合、刪除、修改或補(bǔ)充所公開的實(shí)施方案的各種特征來創(chuàng)建另外的實(shí)施方案。權(quán)利要求書提供了各種實(shí)施方案的簡短列表。該列表不是旨在是窮盡性的(exhaustive),而是僅僅提供許多可能的實(shí)施方案中的少數(shù)實(shí)施方案的簡短的描述。權(quán)利要求1.一種在多視圖編碼格式中構(gòu)建參考畫面列表的方法，其包括在比特流中提供信息，該信息指示是否要在參考畫面的列表上復(fù)制特定的參考畫面；重新排序以允許在參考畫面列表中復(fù)制視圖間畫面。2.根據(jù)權(quán)利要求1所述的方法，其中修改用于計(jì)算視圖索引的值的方程以允許復(fù)制。3.根據(jù)權(quán)利要求2所述的方法，其中如果滿足一定條件，則該方程添加最大參考索引的值。4.根據(jù)權(quán)利要求2所述的方法，其中如果滿足一定條件，則該方程減去最大參考索引的值。5.根據(jù)權(quán)利要求3或4所述的方法，其中從SPS語法來確定最大參考索引的值。6.根據(jù)權(quán)利要求5所述的方法，其中最大參考索引的值對(duì)于錨定畫面和非錨定畫面可以是不同的。7.—種編碼器，被配置為提供包括指令的信息，所述指令用于實(shí)現(xiàn)在參考畫面的列表上復(fù)制特定的參考畫面。8.根據(jù)權(quán)利要求7所述的編碼器，其中該信息包括顯式信令語法的值。9.一種解碼器，被配置為在參考畫面的列表中復(fù)制特定的參考畫面。10.根據(jù)權(quán)利要求7或9所述的裝置，其中特定的參考畫面是視圖間參考畫面。11.根據(jù)權(quán)利要求9所述的解碼器，其中所述解碼器被進(jìn)一步配置為接收用于指示要執(zhí)行復(fù)制的信息。12.根據(jù)權(quán)利要求11所述的解碼器，其中該信息包括顯式信令語法的值。13.—種編碼器可以使用的方法，其包括提供用于指示在參考畫面的列表上要復(fù)制的特定的參考畫面的信息。14.一種解碼器可以使用的方法，其包括在參考畫面的列表中復(fù)制特定的參考畫面。15.根據(jù)權(quán)利要求14所述的方法，其中該方法進(jìn)一步包括接收用于指示要執(zhí)行復(fù)制的信息。16.—種包括指令的計(jì)算機(jī)可讀介質(zhì)，所述指令促使在解碼器保留的參考畫面的列表中復(fù)制參考畫面以用于解碼畫面。17.根據(jù)權(quán)利要求16所述的介質(zhì)，其中所述指令促使響應(yīng)于接收用于指示復(fù)制參考畫面的信號(hào)而復(fù)制這樣的參考畫面。全文摘要對(duì)基于H.264/MPEG-4AVC的多視圖編碼標(biāo)準(zhǔn)的高級(jí)語法進(jìn)行改變以允許參考畫面列表的有效管理。本發(fā)明允許通過修改方程來在最終參考列表中復(fù)制視圖間參考畫面，所述方程用于選擇將被添加至參考列表的視圖間畫面的索引。在諸如加權(quán)預(yù)測和自適應(yīng)參考濾波中、參考畫面的修改后版本與原始參考畫面一同被用作參考畫面時(shí)，參考畫面的復(fù)制是有價(jià)值的。通過本發(fā)明的實(shí)施方案，還實(shí)現(xiàn)了參考畫面的重新排序的有效實(shí)施。參考畫面的重新排序可以通過使得與當(dāng)前畫面更相關(guān)的畫面能夠呈現(xiàn)在參考畫面列表的較低索引中來改善編碼效率。在MVC擴(kuò)展中，引入新的RPLR命令的集合來將視圖間參考畫面重新排序。通過本發(fā)明的另一實(shí)施方案，修改方程以允許管理參考畫面列表，在當(dāng)前MVC規(guī)范中的視圖索引值的推導(dǎo)中指定所述方程。該修改移除施加在當(dāng)前規(guī)范中的限制，并附加地允許復(fù)制參考列表中的視圖間參考畫面。文檔編號(hào)H04N7/26GK101647287SQ200880010403公開日2010年2月10日申請(qǐng)日期2008年3月17日優(yōu)先權(quán)日2007年4月4日發(fā)明者澎尹,珀文·B·潘迪特申請(qǐng)人:湯姆森特許公司