動態(tài)圖像預(yù)測解碼裝置、動態(tài)圖像預(yù)測解碼方法
【專利說明】動態(tài)圖像預(yù)測解碼裝置、動態(tài)圖像預(yù)測解碼方法
[0001]本申請是申請?zhí)枮?01180013583.6的發(fā)明專利申請(國際申請?zhí)?PCT/JP2011/055915，申請日:2011年03月14日，發(fā)明名稱:動態(tài)圖像預(yù)測編碼裝置、動態(tài)圖像預(yù)測編碼方法、動態(tài)圖像預(yù)測編碼程序、動態(tài)圖像預(yù)測解碼裝置、動態(tài)圖像預(yù)測解碼方法、動態(tài)圖像預(yù)測解碼程序)的分案申請。
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及動態(tài)圖像預(yù)測解碼裝置、和方法。
【背景技術(shù)】
[0003]為了高效地進(jìn)行動態(tài)圖像數(shù)據(jù)的傳輸和蓄積，采用了壓縮編碼技術(shù)。對于動態(tài)圖像廣泛采用了 MPEGl?4和H.261?H.264的方式。
[0004]在這些編碼方式中，將作為編碼的對象的圖像分割為多個塊，對各個塊進(jìn)行編碼/解碼處理。為了提高編碼效率采用了如下所述的預(yù)測編碼方法。在畫面內(nèi)的預(yù)測編碼中，使用與對象塊相同畫面內(nèi)的相鄰的已再現(xiàn)的圖像信號(將過去被編碼的圖像數(shù)據(jù)復(fù)原得到的信號)來生成預(yù)測信號，并對從對象塊的信號中減去預(yù)測信號得到的差分信號進(jìn)行編碼。在畫面間的預(yù)測編碼中，參照與對象塊不同的畫面內(nèi)的已再現(xiàn)的圖像信號而檢索信號的位移，并對該位移量進(jìn)行補(bǔ)償而生成預(yù)測信號，對從對象塊的信號中減去預(yù)測信號得到的差分信號進(jìn)行編碼。將此時為了進(jìn)行動態(tài)的檢索/補(bǔ)償而參照的已再現(xiàn)的圖像稱為參照圖像。
[0005]另外，在雙向畫面間預(yù)測中存在如下情況，即不僅參照在顯示時間順序中被顯示于對象圖像前面的過去的圖像，而且也一并參照被顯示于對象圖像后面的未來的圖像(但是，需要先于對象圖像對未來的圖像進(jìn)行編碼并預(yù)先再現(xiàn))。并且，對從過去的圖像取得的預(yù)測信號和從未來的圖像取得的預(yù)測信號雙方進(jìn)行平均，由此對被隱藏的新出現(xiàn)的物體的信號的預(yù)測比較有效，并且具有減輕雙方的預(yù)測信號中包含的雜音的效果。
[0006]另外，在H.264的畫面間預(yù)測編碼中，關(guān)于針對對象塊的預(yù)測信號，參照過去被編碼并再現(xiàn)的多個參照圖像，在進(jìn)行動態(tài)檢索的同時將誤差最小的圖像信號選擇為最佳的預(yù)測信號。并且，求出對象塊的像素信號與該最佳的預(yù)測信號之差分，對差分實施離散余弦變換并進(jìn)行量化，然后進(jìn)行熵編碼。同時，對有關(guān)從哪個參照圖像取得針對對象塊的最佳的預(yù)測信號的信息(參照索引)以及有關(guān)從參照圖像內(nèi)的哪個區(qū)域取得最佳的預(yù)測信號的信息(運(yùn)動向量)一并進(jìn)行編碼。在H.264中，已被再現(xiàn)的4?5張圖像被作為參照圖像被存儲在幀存儲器中。另外，在本說明書中，假設(shè)幀存儲器包括所謂再現(xiàn)圖像緩沖器(decodedpicture buffer)ο
[0007]畫面間預(yù)測編碼雖然能夠運(yùn)用圖像間的相關(guān)高效地進(jìn)行壓縮編碼，但是為了能夠通過電視的頻道切換從中途視聽影像節(jié)目，需要切斷畫面間的依賴性。下面，在動態(tài)圖像的壓縮比特流中，將不存在畫面間的依賴性的位置稱為“隨機(jī)訪問點(diǎn)(random accesspoint) ”。除頻道的切換之外，在編輯動態(tài)圖像的情況下以及將不同的動態(tài)圖像的壓縮數(shù)據(jù)連接起來的情況下，都需要隨機(jī)訪問點(diǎn)。在H.264中，指定IDR圖片，利用上述的畫面內(nèi)預(yù)測編碼方法對所指定的IDR圖片進(jìn)行編碼，同時將存儲在幀存儲器中的再現(xiàn)圖像設(shè)定為不要，將該再現(xiàn)圖像設(shè)為不可參照，由此實質(zhì)上將幀存儲器釋放(刷新(refresh))。這種處理被稱為“存儲器刷新”，根據(jù)情況也被稱為“幀存儲器刷新(memory refresh) ”或者“緩沖器刷新(buffer refresh) ”。
[0008]圖11⑷是表示包括IDR圖片的動態(tài)圖像的預(yù)測構(gòu)造的示意圖。該圖11⑷所示的多個圖像901、902、…、909是構(gòu)成動態(tài)圖像的圖像組的一部分，將各個圖像也稱為“圖片”或者“幀”。各個箭頭表示預(yù)測的方向。例如，圖像902將朝向圖像902的兩個箭頭的起點(diǎn)即圖像903、905作為參照圖像取得預(yù)測信號。另外，假設(shè)圖1l(A)的圖像901是參照圖1l(A)未示出的過去的圖像進(jìn)行了編碼的圖像。然后對圖像902、903、904進(jìn)行編碼，但此時采用上述的雙向預(yù)測編碼方法，以便提高壓縮率。即，先對圖像905進(jìn)行編碼/再現(xiàn)，然后參照已再現(xiàn)的圖像901和905對圖像903進(jìn)行編碼(在圖11 (A)中省略了源自圖像901的箭頭)。并且，圖像902、904分別將已再現(xiàn)的3個圖像901、905、903作為參照圖像進(jìn)行編碼(在圖11㈧中省略了源自圖像901的箭頭)。同樣地，圖像906、907、908參照圖像905和909進(jìn)行編碼。并且，這樣被編碼(壓縮)后的各個圖像的壓縮數(shù)據(jù)按照圖1l(B)所示的順序進(jìn)行傳輸或者蓄積。關(guān)于圖1l(B)的壓縮數(shù)據(jù)和圖1l(A)的圖像，利用P1、IDR5、B3等共同的符號示出其對應(yīng)關(guān)系。例如，壓縮數(shù)據(jù)910是指附加了相同符號Pl的圖像901的壓縮數(shù)據(jù)，壓縮數(shù)據(jù)911是指附加了相同符號IDR5的圖像905的壓縮數(shù)據(jù)。
[0009]另外，考慮到隨機(jī)訪問，對將圖像905指定為IDR圖片進(jìn)行畫面內(nèi)預(yù)測編碼的情況進(jìn)行說明。在這種情況下，根據(jù)H.264中的IDR規(guī)則，在剛剛對壓縮數(shù)據(jù)911進(jìn)行解碼來再現(xiàn)圖像905后(或者也可以是即將開始壓縮數(shù)據(jù)911的解碼之前)，必須將在幀存儲器中存儲的全部參照圖像(即包括圖像901的過去的再現(xiàn)圖像)設(shè)定為不要，使不可參照。其結(jié)果是，圖11 (A)的圖像901不可參照，在對圖像902、903、904進(jìn)行編碼時不能參照圖像901。這種與IDR圖片相關(guān)的處理例如記述在下述的非專利文獻(xiàn)I中。
[0010]現(xiàn)有技術(shù)文獻(xiàn)
[0011]專利文獻(xiàn)
[0012]專利文獻(xiàn)1:日本國際公開公報TO2005/006763A1
[0013]非專利文獻(xiàn)
[0014]非專利文獻(xiàn)1:1ain E.G.Richardson, “H.264and MPEG_4VideoCompress1n，，，John ffiley&Sons, 2003, sect1n6.4.2

【發(fā)明內(nèi)容】

[0015]發(fā)明要解決的問題
[0016]由于IDR圖片的導(dǎo)入，在上述預(yù)測中使用的參照圖像受限制，因而不能高效地對在圖像的顯示順序中位于IDR圖片前面的圖像(圖1l(A)的圖像902、903、904)進(jìn)行編碼。為了解決該問題，在上述專利文獻(xiàn)I中公開了如下的方法:使刷新幀存儲器的定時(即將幀存儲器內(nèi)的參照圖像設(shè)定為不要的定時)延遲到對在IDR圖片后面被編碼的圖像執(zhí)行編碼的時刻。通過延遲幀存儲器刷新的定時，在圖1l(A)的圖像902、903、904的編碼執(zhí)行時刻，圖像901殘留在幀存儲器中，因而在對圖像902、903、904進(jìn)行編碼時能夠參照圖像901，能夠高效地進(jìn)行編碼。
[0017]根據(jù)專利文獻(xiàn)1，關(guān)于延遲存儲器刷新的定時的方法公開了如下的方法。
[0018]方法1:對IDR圖片附加與使延遲的圖像的張數(shù)相關(guān)的信息。
[0019]方法2:對與實施存儲器刷新的定時對應(yīng)的圖像的壓縮數(shù)據(jù)附加用于指示執(zhí)行存儲器刷新的信號(標(biāo)志)。
[0020]方法3:將在IDR圖片之后出現(xiàn)的第一個P圖片(單向預(yù)測圖像)設(shè)為刷新的定時。
[0021]可是，上述的方法具有下述缺點(diǎn)。
[0022]缺點(diǎn)1:在上述的方法I中，在編輯動態(tài)圖像時是這樣進(jìn)行的，即將多張圖像中的一部分圖像舍去，將另一部分圖像連接起來并插入另一部分圖像，因而對IDR圖片附加的“與使延遲的圖像的張數(shù)相關(guān)的信息”不貼切，存在導(dǎo)致錯誤動作的情況。
[0023]缺點(diǎn)2:在上述的方法2中，同樣即使是在采用標(biāo)志的情況下，在通過編輯動態(tài)圖像而使得對應(yīng)的圖像的壓縮數(shù)據(jù)被刪除時，附加于被刪除的壓縮數(shù)據(jù)的標(biāo)志消失，也存在導(dǎo)致錯誤動作的情況。
[0024]缺點(diǎn)3:在上述的方法3中，存儲器刷新的信號(定時)被限定為P圖片，因而存在不能利用其它方法進(jìn)行編碼的情況。例如，對于場景的變化銜接處，不能作為畫面內(nèi)預(yù)測(I圖片)進(jìn)行編碼。
[0025]另外，此處的“錯誤動作”是指由于不能在恰當(dāng)?shù)亩〞r進(jìn)行存儲器刷新，致使成為在對后續(xù)數(shù)據(jù)進(jìn)行解碼時需要的參照圖像沒有存儲在幀存儲器中的狀態(tài)，其結(jié)果是后續(xù)的圖像不能準(zhǔn)確再現(xiàn)。
[0026]本發(fā)明目的在于解決上述問題，對作為隨機(jī)訪問的位置的圖像的前后圖像高效地進(jìn)行壓縮編碼，同時消除由于現(xiàn)有技術(shù)的缺點(diǎn)導(dǎo)致的問題。
[0027]用于解決問題的手段
[0028]為了達(dá)到上述目的，本發(fā)明的一個實施方式的動態(tài)圖像預(yù)測編碼裝置的特征在于，該動態(tài)圖像預(yù)測編碼裝置具有:輸入單元，其輸入構(gòu)成動態(tài)圖像的多個圖像；編碼單元，其利用畫面內(nèi)預(yù)測方法或者畫面間預(yù)測方法對所輸入的所述圖像進(jìn)行編碼，生成包含成為隨機(jī)訪問的圖像即隨機(jī)訪問圖像在內(nèi)的壓縮圖像數(shù)據(jù)，并且對與所述圖像的顯示順序信息相關(guān)的數(shù)據(jù)進(jìn)行編碼；復(fù)原單元，其對所生成的所述壓縮圖像數(shù)據(jù)進(jìn)行解碼，由此復(fù)原再現(xiàn)圖像；圖像存儲單元，其將被復(fù)原的所述再現(xiàn)圖像作為用于對后續(xù)的圖像進(jìn)行編碼的參照圖像進(jìn)行存儲；以及存儲器管理單元，其控制所述圖像存儲單元，在生成所述隨機(jī)訪問圖像的編碼處理結(jié)束后，所述存儲器管理單元在對顯示順序信息比所述隨機(jī)訪問圖像的顯示順序信息大的第一個圖像即將進(jìn)行編碼之前或者剛剛進(jìn)行編碼之后，將存儲于所述圖像存儲單元的參照圖像中除所述隨機(jī)訪問圖像之外的參照圖像設(shè)定為不要，由此刷新所述圖像存儲單元。
[0029]也可以是，對于包括顯示順序信息比所述隨機(jī)訪問圖像的顯示順序信息大、而且在生成所述隨機(jī)訪問圖像的編碼處理結(jié)束后第一個成為編碼對象的圖像在內(nèi)的一個以上的編碼對象圖像，所述編碼單元對所述編碼對象圖像的顯示順序信息與所述隨機(jī)訪問圖像的顯示順序信息之間的差分值進(jìn)行編碼，作為與所述編碼對象圖像的顯示順序信息相關(guān)的數(shù)據(jù)。
[0030]并且，也可以是，所述編碼單元對于從在隨機(jī)訪問圖像之后成為編碼對象的圖像開始、到顯示順序信息比所述隨機(jī)訪問圖像的顯示順序信息大、而且在生成所述隨機(jī)訪問圖像的編碼處理結(jié)束后第一個成為編碼對象的圖像為止的各個圖像，對各個圖像的顯示順序信息與所述隨機(jī)訪問圖像的顯示順序信息之間的差分值進(jìn)行編碼，作為與該各個圖像的顯示順序信息相關(guān)的數(shù)據(jù)。
[0031]本發(fā)明的一個實施方式的動態(tài)圖像預(yù)測解碼裝置的特征在于，該動態(tài)圖像預(yù)測解碼裝置具有:輸入單元，其輸入利用畫面內(nèi)預(yù)測方法或者畫面間預(yù)測方法對構(gòu)成動態(tài)圖像的多個圖像進(jìn)行編碼得到的、包括成為隨機(jī)訪問的圖像即隨機(jī)訪問圖像在內(nèi)的壓縮圖像數(shù)據(jù)、以及通過對與所述圖像的顯示順序信息相關(guān)的數(shù)據(jù)進(jìn)行編碼得到的顯示順序編碼數(shù)據(jù)；復(fù)原單元，其通過對所述壓縮圖像數(shù)據(jù)進(jìn)行解碼而復(fù)原再現(xiàn)圖像，并且通過對所述顯示順序編碼數(shù)據(jù)進(jìn)行解碼而復(fù)原顯示順序信息；圖像存儲單元，其將被復(fù)原的所述再現(xiàn)圖像作為用于對后續(xù)的圖像進(jìn)行解碼的參照圖像進(jìn)行存儲；以及存儲器管理單元，其控制所述圖像存儲單元，在對所述隨機(jī)訪問圖像進(jìn)行解碼的解碼處理結(jié)束后，在對顯示順序信息比所述隨機(jī)訪問圖像的顯示順序信息大的第一個圖像即將進(jìn)行解碼之前或者剛剛進(jìn)行解碼之后，所述存儲器管理單元將存儲于所述圖像存儲單元的參照圖像中除所述隨機(jī)訪問圖像之外的參照圖像設(shè)定為不要，由此刷新所述圖像存儲單元。
[0032]也可以是，所述復(fù)原單元對于包括顯示順序信息比所述隨機(jī)訪問圖像的顯示順序信息大、而且在對所述隨機(jī)訪問圖像進(jìn)行解碼的解碼處理結(jié)束后第一個成為解碼對象的圖像在內(nèi)的一個以上的解碼對象圖像的顯示順序信息，將對該解碼對象圖像的顯示順序編碼數(shù)據(jù)進(jìn)行解碼得到的該解碼對象圖像的顯示順序信息與所述隨機(jī)訪問圖像的顯示順序信息之間的差分值、和所述隨機(jī)訪問圖像的顯示順序信息進(jìn)行相加，由此復(fù)原該解碼對象圖像的顯示順序信息。
[0033]并且，也可以是，所述復(fù)原單元對于從在隨機(jī)訪問圖像之后成為解碼對象的圖像開始、到顯示順序信息比所述隨機(jī)訪問圖像的顯示順序信息大、而且在生成所述隨機(jī)訪問圖像的解碼處理結(jié)束后第一個成為解碼對象的圖像為止的各個圖像的顯示順序信息，將對該各個圖像的顯示順序編碼數(shù)據(jù)進(jìn)