專利名稱：運(yùn)動(dòng)圖像處理裝置和運(yùn)動(dòng)圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及運(yùn)動(dòng)圖像流的處理裝置，特別涉及以直接模式(direct mode)預(yù)測(cè)圖像塊的運(yùn)動(dòng)向量的運(yùn)動(dòng)圖像處理裝置和運(yùn)動(dòng)圖像處理方法。
背景技術(shù)：
在H. 264/AVC等的運(yùn)動(dòng)圖像壓縮編碼標(biāo)準(zhǔn)中，準(zhǔn)備有直接模式，其根據(jù)已編碼的像素塊的運(yùn)動(dòng)向量來預(yù)測(cè)/生成像素塊的運(yùn)動(dòng)向量。使用直接模式，可以不對(duì)編碼對(duì)象的像素塊的運(yùn)動(dòng)向量差值進(jìn)行編碼，能夠提高運(yùn)動(dòng)圖像的壓縮效率。在直接模式中具有時(shí)間直接模式和空間直接模式的兩種模式。在時(shí)間直接模式中，在目標(biāo)像素塊所屬的目標(biāo)圖像的Ll方向?qū)⒄招蛱?hào)最小的圖像設(shè)定為錨圖像(anchor picture)，另外在錨圖像中將與目標(biāo)像素塊處于相同空間位置處的像素塊設(shè)定為錨塊 (anchor block)，錨塊的參照?qǐng)D像(reference picture)為目標(biāo)像素塊的LO方向的參照?qǐng)D像。并且，按照目標(biāo)圖像與參照?qǐng)D像之間的時(shí)間間隔和目標(biāo)圖像與錨圖像之間的時(shí)間間隔分別對(duì)錨塊的運(yùn)動(dòng)向量進(jìn)行比例分配，其結(jié)果成為目標(biāo)像素塊的LO方向及Ll方向的運(yùn)動(dòng)向量。另一方面，在空間直接模式中，在錨塊的運(yùn)動(dòng)向量及其參照?qǐng)D像滿足如下的條件時(shí)，視為目標(biāo)像素塊處于靜止(colZeroFlag = 1)從而將其運(yùn)動(dòng)向量設(shè)為0。(1)錨塊的運(yùn)動(dòng)向量的水平/垂直方向的大小都為士 1以下。(2)錨塊的參照?qǐng)D像的參照序號(hào)為0。(3)在LO方向參照序號(hào)最小的圖像為短時(shí)間參照?qǐng)D像。另一方面，在滿足上述條件時(shí)，在目標(biāo)圖像中，根據(jù)目標(biāo)像素塊(正確的是包含目標(biāo)像素塊的規(guī)定尺寸的宏塊)的左鄰接、上鄰接以及右上鄰接的各塊的運(yùn)動(dòng)向量，計(jì)算目標(biāo)像素塊的LO方向以及Ll方向的運(yùn)動(dòng)向量(例如，參照專利文獻(xiàn)1)。專利文獻(xiàn)1 JP特開2005-244503號(hào)公報(bào)使用時(shí)間直接模式來預(yù)測(cè)運(yùn)動(dòng)向量的情況下，除了目標(biāo)圖像的信息以外還需要按照每個(gè)目標(biāo)像素塊將錨塊的運(yùn)動(dòng)向量和參照?qǐng)D像的序號(hào)臨時(shí)保存在存儲(chǔ)器中。另一方面， 在使用空間直接模式來預(yù)測(cè)運(yùn)動(dòng)向量的情況下，除了目標(biāo)圖像的信息以外只要按照每個(gè)目標(biāo)像素塊將colZeroFlag臨時(shí)保存在存儲(chǔ)器中即可，存儲(chǔ)器的使用量、帶寬都大致只有三十分之一。特別在處理全高清視場(chǎng)角的運(yùn)動(dòng)圖像等情況下該差異較大。對(duì)于現(xiàn)有的運(yùn)動(dòng)圖像處理裝置而言，作為目標(biāo)像素塊的直接模式預(yù)測(cè)信息將錨塊的運(yùn)動(dòng)向量和參照?qǐng)D像的序號(hào)臨時(shí)保存在存儲(chǔ)器中，從而無論是時(shí)間直接模式還是空間直接模式都可以對(duì)應(yīng)，在編碼裝置的情況下作為直接模式預(yù)測(cè)信息僅將colZeroFlag臨時(shí)保存在存儲(chǔ)器中從而被限定在空間直接模式。在前者的情況下，不僅需要用于臨時(shí)保存直接模式預(yù)測(cè)信息的大存儲(chǔ)容量，而且在直接模式預(yù)測(cè)信息的傳輸中需要比較寬的存儲(chǔ)器總線帶寬，由此帶來了成本增加。另一方面，在后者的方法中，雖然因?yàn)榕R時(shí)保存在存儲(chǔ)器中的直接模式預(yù)測(cè)信息較少所以能夠抑制數(shù)據(jù)傳輸速率從而實(shí)現(xiàn)低成本化，但是由于被限定在空間直接模式，因此有可能帶來畫質(zhì)的劣化。還有在譯碼裝置中無法采用后者的方法。

發(fā)明內(nèi)容
鑒于上述問題，本發(fā)明的課題在于時(shí)間直接模式以及空間直接模式都可對(duì)應(yīng)，同時(shí)降低臨時(shí)保存的直接模式預(yù)測(cè)信息從而抑制存儲(chǔ)器總線帶寬。為了解決上述課題，本發(fā)明敘述了如下的機(jī)構(gòu)。也就是說，作為運(yùn)動(dòng)圖像處理裝置及運(yùn)動(dòng)圖像處理方法，其具備運(yùn)動(dòng)信息生成部或?qū)?yīng)于此的步驟，其結(jié)合與應(yīng)該以直接模式預(yù)測(cè)運(yùn)動(dòng)向量的像素塊不同時(shí)間且處于相同空間位置的錨塊的運(yùn)動(dòng)向量及錨塊的參照?qǐng)D像的序號(hào)，生成像素塊的運(yùn)動(dòng)信息；靜止判定部或?qū)?yīng)于此的步驟，其基于錨塊的運(yùn)動(dòng)向量及參照?qǐng)D像的序號(hào)，判定是否視為像素塊處于靜止；選擇部或?qū)?yīng)于此的步驟，將運(yùn)動(dòng)信息生成部的輸出及靜止判定部的判定結(jié)果的任意一方選擇性地保存在存儲(chǔ)器中，來作為像素塊的直接模式預(yù)測(cè)信息；和運(yùn)動(dòng)向量預(yù)測(cè)部或?qū)?yīng)于此的步驟，基于在存儲(chǔ)器中保存的直接模式預(yù)測(cè)信息，使用直接模式預(yù)測(cè)像素塊的運(yùn)動(dòng)向量。據(jù)此，作為直接模式預(yù)測(cè)信息，信息量多的運(yùn)動(dòng)信息及信息量少的靜止判定結(jié)果的任意一個(gè)被選擇性地保存在存儲(chǔ)器中。因此，在運(yùn)動(dòng)信息被保存的情況下能夠以時(shí)間直接模式來預(yù)測(cè)運(yùn)動(dòng)向量，而在靜止判定結(jié)果被保存的情況下限定在空間直接模式從而能夠抑制存儲(chǔ)器使用量及存儲(chǔ)器總線帶寬。優(yōu)選上述運(yùn)動(dòng)圖像處理裝置還具備數(shù)據(jù)檢測(cè)部，該數(shù)據(jù)檢測(cè)部在所輸入的運(yùn)動(dòng)圖像流中檢測(cè)到規(guī)定的數(shù)據(jù)時(shí)，指示述選擇部使其選擇靜止判定部的判定結(jié)果。進(jìn)一步優(yōu)選數(shù)據(jù)檢測(cè)部在檢測(cè)到規(guī)定的數(shù)據(jù)之前指示選擇部使其選擇運(yùn)動(dòng)信息生成部的輸出。由此，對(duì)于被插入了規(guī)定的數(shù)據(jù)的運(yùn)動(dòng)圖像流判斷為能被限定在空間直接模式進(jìn)行處理，從而作為直接模式預(yù)測(cè)信息在存儲(chǔ)器中保存靜止判定結(jié)果，由此能夠抑制存儲(chǔ)器總線帶寬。還有，優(yōu)選上述運(yùn)動(dòng)圖像處理裝置還具備數(shù)據(jù)傳輸帶寬測(cè)量部，該數(shù)據(jù)傳輸帶寬測(cè)量部測(cè)量存儲(chǔ)器的數(shù)據(jù)傳輸帶寬，在數(shù)據(jù)傳輸帶寬小于閾值時(shí)，指示選擇部使其選擇運(yùn)動(dòng)信息生成部的輸出，在數(shù)據(jù)傳輸帶寬大于閾值時(shí)，指示選擇部使其選擇靜止判定部的判
定結(jié)果。由此，在存儲(chǔ)器總線帶寬中有余量的期間可以對(duì)應(yīng)時(shí)間直接模式及空間直接模式的任意一方，而如果存儲(chǔ)器總線帶寬不足，則切換至存儲(chǔ)器中臨時(shí)保存的直接模式預(yù)測(cè)信息較少的空間直接模式，由此能夠抑制存儲(chǔ)器總線帶寬。還優(yōu)選運(yùn)動(dòng)圖像處理裝置還具備譯碼部，其對(duì)所輸入的運(yùn)動(dòng)圖像流進(jìn)行譯碼處理；和錯(cuò)誤檢測(cè)部，在作為應(yīng)該以時(shí)間直接模式預(yù)測(cè)運(yùn)動(dòng)向量的像素塊的直接模式預(yù)測(cè)信息在存儲(chǔ)器中保存了靜止判定部的判定結(jié)果的情況下，檢測(cè)為錯(cuò)誤。然后，譯碼部在存在錯(cuò)誤檢測(cè)時(shí)進(jìn)行錯(cuò)誤隱藏處理。并且，譯碼部在有錯(cuò)誤檢測(cè)時(shí)，進(jìn)行錯(cuò)誤隱藏處理。具體而言，作為錯(cuò)誤隱藏處理，譯碼部跳過包含錯(cuò)誤檢測(cè)所涉及的像素塊的圖像的譯碼而輸出其他的已譯碼的圖像、或者代以空間直接模式來對(duì)包含錯(cuò)誤檢測(cè)所涉及的像素塊的圖像進(jìn)行譯碼。據(jù)此，即便由于直接模式預(yù)測(cè)信息不足而無法以時(shí)間直接模式來預(yù)測(cè)運(yùn)動(dòng)向量也不會(huì)使運(yùn)動(dòng)圖像流的譯碼處理停止能夠持續(xù)進(jìn)行。
還優(yōu)選上述運(yùn)動(dòng)圖像處理裝置還具備編碼部，其生成運(yùn)動(dòng)圖像流；和直接模式指定部，針對(duì)選擇部、運(yùn)動(dòng)向量預(yù)測(cè)部及編碼部指定時(shí)間直接模式及空間直接模式的任意一個(gè)，在指定了空間直接模式時(shí)，選擇部選擇靜止判定部的判定結(jié)果，在指定了空間直接模式時(shí)，編碼部將規(guī)定的數(shù)據(jù)插入運(yùn)動(dòng)圖像流中，該規(guī)定的數(shù)據(jù)表示運(yùn)動(dòng)圖像流能夠以空間直接模式進(jìn)行譯碼。據(jù)此，在生成運(yùn)動(dòng)圖像流時(shí)，能夠降低為了在直接模式中使用而臨時(shí)保存的直接模式預(yù)測(cè)信息從而能夠抑制存儲(chǔ)器總線帶寬。發(fā)明效果根據(jù)本發(fā)明，無論是時(shí)間直接模式還是空間直接模式都可對(duì)應(yīng)，同時(shí)降低臨時(shí)保存的直接模式預(yù)測(cè)信息從而抑制存儲(chǔ)器總線帶寬。


圖1是第1實(shí)施方式所涉及的運(yùn)動(dòng)圖像處理裝置的主要部分的結(jié)構(gòu)圖。圖2是由第1實(shí)施方式所涉及的運(yùn)動(dòng)圖像處理裝置進(jìn)行的運(yùn)動(dòng)圖像譯碼處理的流程圖。圖3是第2實(shí)施方式所涉及的運(yùn)動(dòng)圖像處理裝置的主要部分的結(jié)構(gòu)圖。圖4是第3實(shí)施方式所涉及的運(yùn)動(dòng)圖像處理裝置的主要部分的結(jié)構(gòu)圖。圖5是第4實(shí)施方式所涉及的運(yùn)動(dòng)圖像處理裝置的主要部分的結(jié)構(gòu)圖。圖6是第5實(shí)施方式所涉及的運(yùn)動(dòng)圖像處理裝置的示意外觀圖。
具體實(shí)施例方式以下，參照附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行說明。此外，為了方便說明，下述的實(shí)施方式基于H. 264/AVC標(biāo)準(zhǔn)，但本發(fā)明并不限定于此。第1實(shí)施方式圖1表示第1實(shí)施方式所涉及的運(yùn)動(dòng)圖像處理裝置的主要部分的結(jié)構(gòu)。具體而言，本實(shí)施方式所涉及的運(yùn)動(dòng)圖像處理裝置是對(duì)輸入的運(yùn)動(dòng)圖像流進(jìn)行譯碼的運(yùn)動(dòng)圖像譯碼裝置。本實(shí)施方式所涉及的運(yùn)動(dòng)圖像譯碼裝置的主要部分可以集成化為L(zhǎng)SI10。譯碼部 101基于輸入的運(yùn)動(dòng)圖像流輸出譯碼圖像(decoded picture)預(yù)測(cè)誤差、運(yùn)動(dòng)向量差值、及參照?qǐng)D像序號(hào)。運(yùn)動(dòng)向量差值與從運(yùn)動(dòng)向量預(yù)測(cè)部103輸出的預(yù)測(cè)運(yùn)動(dòng)向量進(jìn)行相加運(yùn)算從而生成運(yùn)動(dòng)向量。運(yùn)動(dòng)向量被保存在運(yùn)動(dòng)向量存儲(chǔ)器102中。運(yùn)動(dòng)向量預(yù)測(cè)部103從運(yùn)動(dòng)向量存儲(chǔ)器102適當(dāng)讀出運(yùn)動(dòng)向量來生成預(yù)測(cè)運(yùn)動(dòng)向量。運(yùn)動(dòng)補(bǔ)償部104基于運(yùn)動(dòng)向量以及從存儲(chǔ)器100讀出的運(yùn)動(dòng)補(bǔ)償參照?qǐng)D像像素生成預(yù)測(cè)圖像像素。預(yù)測(cè)圖像像素與從譯碼部101輸出的譯碼圖像預(yù)測(cè)誤差進(jìn)行相加運(yùn)算從而成為譯碼圖像并保存在存儲(chǔ)器100 中。運(yùn)動(dòng)信息生成部105接收在直接模式預(yù)測(cè)時(shí)所參照的錨塊的運(yùn)動(dòng)向量和參照?qǐng)D像序號(hào)，結(jié)合這些生成目標(biāo)像素塊的運(yùn)動(dòng)信息。另一方面，靜止判定部106同樣接收錨塊的運(yùn)動(dòng)向量和參照?qǐng)D像序號(hào)，判定目標(biāo)像素塊是否被視為靜止。該判定條件如上述。選擇部 107選擇性地將運(yùn)動(dòng)信息生成部105的輸出及靜止判定部106的判定結(jié)果的任意一方保存在存儲(chǔ)器100中，來作為目標(biāo)像素塊的直接模式預(yù)測(cè)信息。作為靜止判定部106的判定結(jié)果例如可以使用colZeroFlag。在直接模式預(yù)測(cè)時(shí)，運(yùn)動(dòng)向量預(yù)測(cè)部103基于數(shù)據(jù)檢測(cè)部109的輸出，參照從存儲(chǔ)器100被讀出至直接模式預(yù)測(cè)信息存儲(chǔ)器108中的直接模式預(yù)測(cè)信息來生成直接模式運(yùn)動(dòng)向量，作為預(yù)測(cè)運(yùn)動(dòng)向量。選擇部107的選擇動(dòng)作由數(shù)據(jù)檢測(cè)部109來控制。數(shù)據(jù)檢測(cè)部109在輸入至運(yùn)動(dòng)圖像譯碼裝置中的運(yùn)動(dòng)圖像流中檢測(cè)到規(guī)定的數(shù)據(jù)時(shí)，對(duì)選擇部107進(jìn)行指示使其選擇靜止判定部106的判定結(jié)果。數(shù)據(jù)檢測(cè)部109直到檢測(cè)到規(guī)定的數(shù)據(jù)為止，對(duì)選擇部107進(jìn)行指示使其選擇運(yùn)動(dòng)信息生成部105的輸出。該規(guī)定的數(shù)據(jù)是表示能否以空間直接模式來預(yù)測(cè)運(yùn)動(dòng)向量的信息。規(guī)定的數(shù)據(jù)例如作為SEI (Supplemental Enhancement Information 補(bǔ)充增強(qiáng)信息)包含在運(yùn)動(dòng)圖像流中，或者包含在運(yùn)動(dòng)圖像流中的PESO^cketized Elementary Mream打包基本流)的頭數(shù)據(jù)、圖像的頭數(shù)據(jù)、及數(shù)據(jù)片段的頭數(shù)據(jù)的任意一個(gè)當(dāng)中。還有，作為規(guī)定的數(shù)據(jù)也可以使用包含在數(shù)據(jù)片段的頭數(shù)據(jù)中的direCt_Spatial_ mv—pred—flag。圖2表示由本實(shí)施方式所涉及的運(yùn)動(dòng)圖像處理裝置進(jìn)行的運(yùn)動(dòng)圖像譯碼處理流程。首先，判定譯碼模式是時(shí)間直接模式還是空間直接模式(Si)。如果是時(shí)間直接模式，則將運(yùn)動(dòng)信息生成部105生成的運(yùn)動(dòng)信息保存在存儲(chǔ)器100中(S2)，使用時(shí)間直接模式來預(yù)測(cè)運(yùn)動(dòng)向量以進(jìn)行運(yùn)動(dòng)圖像譯碼處理(S3、S4)。另一方面，如果是空間直接模式，則將靜止判定部106的判定結(jié)果保存在存儲(chǔ)器100中(S5)，使用空間直接模式來預(yù)測(cè)運(yùn)動(dòng)向量以進(jìn)行運(yùn)動(dòng)圖像譯碼處理(S6、S4)。以上，根據(jù)本實(shí)施方式，在所輸入的運(yùn)動(dòng)圖像流中表示該運(yùn)動(dòng)圖像流限定在空間直接模式下能夠譯碼的情況下，能夠降低為了在直接模式中使用而臨時(shí)保存的直接模式預(yù)測(cè)信息從而抑制存儲(chǔ)器總線帶寬。此外，這種運(yùn)動(dòng)圖像流由后述的運(yùn)動(dòng)圖像編碼裝置生成。第2實(shí)施方式圖3表示第2實(shí)施方式所涉及的運(yùn)動(dòng)圖像處理裝置的主要部分的結(jié)構(gòu)。本實(shí)施方式所涉及的運(yùn)動(dòng)圖像處理裝置也還是運(yùn)動(dòng)圖像譯碼裝置，代替圖1的運(yùn)動(dòng)圖像處理裝置中的數(shù)據(jù)檢測(cè)部109，而設(shè)置了數(shù)據(jù)傳輸帶寬測(cè)量部110。數(shù)據(jù)傳輸帶寬測(cè)量部110測(cè)量存儲(chǔ)器100的數(shù)據(jù)傳輸帶寬，在數(shù)據(jù)傳輸帶寬小于閾值時(shí)，對(duì)選擇部107進(jìn)行指示使其選擇運(yùn)動(dòng)信息生成部105的輸出。另一方面，在數(shù)據(jù)傳輸帶寬大于閾值時(shí)，對(duì)選擇部107進(jìn)行指示使其選擇靜止判定部106的判定結(jié)果。以上，根據(jù)本實(shí)施方式，在存儲(chǔ)器總線帶寬中有余量的期間，通過使用時(shí)間直接模式及空間直接模式中適當(dāng)?shù)囊环絹眍A(yù)測(cè)運(yùn)動(dòng)向量，從而良好地保持譯碼圖像的品質(zhì)；在存儲(chǔ)器總線帶寬似乎不足時(shí)，使用臨時(shí)保存的直接模式預(yù)測(cè)信息較少的空間直接模式來預(yù)測(cè)運(yùn)動(dòng)向量，從而能夠抑制存儲(chǔ)器總線帶寬防止譯碼處理失敗。此外，也可以不在LSIlO設(shè)置數(shù)據(jù)傳輸帶寬測(cè)量部110，在存儲(chǔ)器100中測(cè)量數(shù)據(jù)傳輸帶寬。第3實(shí)施方式圖4表示第3實(shí)施方式所涉及的運(yùn)動(dòng)圖像處理裝置的主要部分的結(jié)構(gòu)。本實(shí)施方式所涉及的運(yùn)動(dòng)圖像處理裝置也還是運(yùn)動(dòng)圖像譯碼裝置，代替圖1的運(yùn)動(dòng)圖像處理裝置中的數(shù)據(jù)檢測(cè)部109而設(shè)置了錯(cuò)誤檢測(cè)部111。錯(cuò)誤檢測(cè)部111，在將靜止判定部106的判定結(jié)果保存在存儲(chǔ)器100中作為應(yīng)該使用時(shí)間直接模式來預(yù)測(cè)運(yùn)動(dòng)向量的像素塊的直接模式預(yù)測(cè)信息從而無法正確預(yù)測(cè)運(yùn)動(dòng)向量的情況下，檢測(cè)出錯(cuò)誤，對(duì)選擇部107進(jìn)行指示使其選擇運(yùn)動(dòng)信息生成部105的輸出。并且，在直至能夠由時(shí)間直接模式進(jìn)行譯碼為止的期間中，指示運(yùn)動(dòng)向量預(yù)測(cè)部103及譯碼部101，跳過含有該像素塊的圖像的譯碼，以完成譯碼的圖像來代替該圖像、或者由空間直接模式來代替進(jìn)行譯碼等。由此，運(yùn)動(dòng)圖像流的譯碼處理不會(huì)停止而能夠持續(xù)地進(jìn)行。第4實(shí)施方式圖5表示第4實(shí)施方式所涉及的運(yùn)動(dòng)圖像處理裝置的主要部分的結(jié)構(gòu)。具體而言，本實(shí)施方式所涉及的運(yùn)動(dòng)圖像處理裝置是對(duì)輸入的運(yùn)動(dòng)圖像信號(hào)進(jìn)行編碼的運(yùn)動(dòng)圖像編碼裝置。本實(shí)施方式所涉及的運(yùn)動(dòng)圖像編碼裝置的主要部分可以集成化為L(zhǎng)SI20。運(yùn)動(dòng)檢測(cè)部201對(duì)輸入運(yùn)動(dòng)圖像信號(hào)和從LSI20外部的存儲(chǔ)器100讀出的運(yùn)動(dòng)檢測(cè)參照?qǐng)D像像素進(jìn)行比較，輸出運(yùn)動(dòng)向量及參照?qǐng)D像序號(hào)。運(yùn)動(dòng)向量被保存在運(yùn)動(dòng)向量存儲(chǔ)器202中。運(yùn)動(dòng)向量預(yù)測(cè)部203，從運(yùn)動(dòng)向量存儲(chǔ)器202讀出目標(biāo)像素塊附近的像素塊的運(yùn)動(dòng)向量，生成預(yù)測(cè)運(yùn)動(dòng)向量。此外，在直接模式預(yù)測(cè)時(shí)，運(yùn)動(dòng)向量預(yù)測(cè)部203參照從存儲(chǔ)器100被讀出至直接模式預(yù)測(cè)信息存儲(chǔ)器204中的直接模式預(yù)測(cè)信息來生成直接模式運(yùn)動(dòng)向量，作為預(yù)測(cè)運(yùn)動(dòng)向量。運(yùn)動(dòng)補(bǔ)償部205根據(jù)運(yùn)動(dòng)向量、預(yù)測(cè)運(yùn)動(dòng)向量及運(yùn)動(dòng)補(bǔ)償參照?qǐng)D像像素生成預(yù)測(cè)圖像像素。編碼部206根據(jù)作為運(yùn)動(dòng)向量與預(yù)測(cè)運(yùn)動(dòng)向量之間的差值的運(yùn)動(dòng)向量差值及參照?qǐng)D像序號(hào)，對(duì)作為輸入運(yùn)動(dòng)圖像信號(hào)與預(yù)測(cè)圖像像素之間的差值的圖像像素差值進(jìn)行編碼，進(jìn)而再進(jìn)行譯碼生成重構(gòu)圖像像素差值。并且最終編碼部206生成運(yùn)動(dòng)圖像流。重構(gòu)圖像像素差值與預(yù)測(cè)圖像像素進(jìn)行相加運(yùn)算生成重構(gòu)圖像，并保存在存儲(chǔ)器100中。在存儲(chǔ)器100中保存的重構(gòu)圖像會(huì)作為運(yùn)動(dòng)檢測(cè)參照?qǐng)D像及運(yùn)動(dòng)補(bǔ)償參照?qǐng)D像來使用。運(yùn)動(dòng)信息生成部207接收在直接模式預(yù)測(cè)時(shí)所參照的錨塊的運(yùn)動(dòng)向量和參照?qǐng)D像序號(hào)，結(jié)合這些生成目標(biāo)像素塊的運(yùn)動(dòng)信息。另一方面，靜止判定部208同樣接收錨塊的運(yùn)動(dòng)向量和參照?qǐng)D像序號(hào)，判定目標(biāo)像素塊是否被視為處于靜止。該判定條件如上述。選擇部209選擇性地將運(yùn)動(dòng)信息生成部207的輸出及靜止判定部208的判定結(jié)果的任意一方保存在存儲(chǔ)器100中，作為目標(biāo)像素塊的直接模式預(yù)測(cè)信息。作為靜止判定部208的判定結(jié)果例如可以使用colZeroFlag。直接模式指定部210對(duì)選擇部209、運(yùn)動(dòng)向量預(yù)測(cè)部203及編碼部206指定時(shí)間直接模式及空間直接模式的任意一方。例如，在直接模式指定部210指定了空間直接模式的情況下，選擇部209選擇靜止判定部208的輸出，另外運(yùn)動(dòng)向量預(yù)測(cè)部203使用空間直接模式來預(yù)測(cè)目標(biāo)像素塊的運(yùn)動(dòng)向量。此外，在直接模式指定部210指定了空間直接模式的情況下，編碼部206在所生成的運(yùn)動(dòng)圖像流中插入規(guī)定的數(shù)據(jù)，上述規(guī)定的數(shù)據(jù)表示該運(yùn)動(dòng)圖像流能夠采用空間直接模式進(jìn)行譯碼。規(guī)定的數(shù)據(jù)例如可以作為SEI插入運(yùn)動(dòng)圖像流中、或者插入PES、圖像、及數(shù)據(jù)片段的任意一個(gè)的頭數(shù)據(jù)中。此外，作為規(guī)定的數(shù)據(jù)可以使用包含在數(shù)據(jù)片段的頭數(shù)據(jù)中的direct_Spatial_mV_pred_flag。以上，根據(jù)本實(shí)施方式，在生成運(yùn)動(dòng)圖像流時(shí)，能夠降低為了在直接模式中使用而臨時(shí)保存的直接模式預(yù)測(cè)信息，由此抑制存儲(chǔ)器總線帶寬。此外，還可以面向第1實(shí)施方式這種的特定運(yùn)動(dòng)圖像譯碼裝置，生成插入了規(guī)定的數(shù)據(jù)的運(yùn)動(dòng)圖像流。
此外，作為本實(shí)施方式的變形例，還可以追加圖3中的數(shù)據(jù)傳輸帶寬測(cè)量部110。 在這種情況下，在存儲(chǔ)器總線帶寬中有余量時(shí)臨時(shí)保存直接模式預(yù)測(cè)用的全部信息，指定時(shí)間直接模式和空間直接模式之中的恰當(dāng)?shù)哪Ｊ剑划?dāng)存儲(chǔ)器總線帶寬似乎不足時(shí)，通過使用臨時(shí)保存的直接模式預(yù)測(cè)信息可以較少的空間直接模式來預(yù)測(cè)運(yùn)動(dòng)向量，能夠抑制存儲(chǔ)器總線帶寬，由此防止編碼處理的失敗。從在存儲(chǔ)器總線帶寬中沒有余量的狀態(tài)變化至有余量的狀態(tài)的時(shí)，盡管伴隨于此將臨時(shí)保存的直接模式預(yù)測(cè)信息變更為全部信息，但是直至能夠進(jìn)行時(shí)間直接模式編碼為止進(jìn)行空間直接模式編碼。第5實(shí)施方式圖6表示第5實(shí)施方式所涉及的運(yùn)動(dòng)圖像處理裝置的示意外觀。具體而言，本實(shí)施方式所涉及的運(yùn)動(dòng)圖像處理裝置是攝像機(jī)。該攝像機(jī)作為運(yùn)動(dòng)圖像編碼裝置具備上述的 LSI20、作為運(yùn)動(dòng)圖像譯碼裝置具備上述的LSI10、臨時(shí)數(shù)據(jù)保存用的存儲(chǔ)器100及數(shù)據(jù)流保存用的存儲(chǔ)裝置200。輸入至攝像機(jī)中的運(yùn)動(dòng)圖像被LSI20進(jìn)行編碼并存儲(chǔ)在存儲(chǔ)裝置 200中。另一方面，從存儲(chǔ)裝置200中讀出的數(shù)據(jù)流由LSIlO進(jìn)行譯碼，并保存在存儲(chǔ)器100 中。此外，在存儲(chǔ)器100中保存的視頻數(shù)據(jù)經(jīng)由視頻輸出300被輸出至外部。一般的攝像機(jī)為了降低成本多數(shù)情況下沒有搭載高速/大容量的存儲(chǔ)器。因此，即便是具備比較廉價(jià)的存儲(chǔ)器的攝像機(jī)，通過搭載上述的運(yùn)動(dòng)圖像編碼裝置及運(yùn)動(dòng)圖像譯碼裝置，只要在存儲(chǔ)器總線帶寬中有余量便可使用時(shí)間直接模式進(jìn)行高清晰記錄/再現(xiàn)，如果存儲(chǔ)器總線帶寬不足則切換至空間直接模式，能夠防止記錄/再現(xiàn)處理的失敗。此外，圖1至圖4示出的各功能模塊和圖5的LSIlO及LSI20是以典型的集成電路即LSI來實(shí)現(xiàn)的。這些既可以單獨(dú)形成一個(gè)芯片，也可以按照包括一部分或全部的方式形成一個(gè)芯片。盡管為了實(shí)現(xiàn)存儲(chǔ)器100等的大容量，有時(shí)使用外置于LSI的大容量的SDRAM 等進(jìn)行組裝，但也可形成一個(gè)封裝或一個(gè)芯片。此外，這里雖然稱作LSI，但由于集成度的不同有時(shí)也被稱為IC、系統(tǒng)LSI、大規(guī)模 LSI、超大規(guī)模LSI。另外，集成電路化的方法也并不限于LSI，也可以使用專用電路或通用處理器來實(shí)現(xiàn)。也可以利用在LSI制造后能夠進(jìn)行編程的FPGA (Field Programmable Gate Array)、或能夠動(dòng)態(tài)重構(gòu)LSI內(nèi)部的電路單元的連接和設(shè)定的可重構(gòu)處理器。再有，如果由于半導(dǎo)體技術(shù)的進(jìn)步或者派生出的其他技術(shù)出現(xiàn)了置換為L(zhǎng)SI的集成電路化的技術(shù)，當(dāng)然也可以采用該技術(shù)進(jìn)行功能模塊的集成化。也有可能會(huì)應(yīng)用生物技術(shù)等。(產(chǎn)業(yè)上的可利用性)由于本發(fā)明所涉及的運(yùn)動(dòng)圖像處理裝置能夠降低臨時(shí)保存的直接模式預(yù)測(cè)信息從而抑制存儲(chǔ)器總線帶寬，因此對(duì)于高清畫質(zhì)的攝像機(jī)、記錄器、播放器等是有用的。附圖符號(hào)說明
100存儲(chǔ)器
101譯碼部
103運(yùn)動(dòng)向量預(yù)測(cè)部
105運(yùn)動(dòng)信息生成部
106靜止判定部
107選擇部
109數(shù)據(jù)檢測(cè)部
110數(shù)據(jù)傳輸帶寬測(cè)量部
111錯(cuò)誤檢測(cè)部
203運(yùn)動(dòng)向量預(yù)測(cè)部
206編碼部
207運(yùn)動(dòng)信息生成部
208靜止判定部
209選擇部
210直接模式指定部
權(quán)利要求
1.一種運(yùn)動(dòng)圖像處理裝置，其具備運(yùn)動(dòng)信息生成部，其結(jié)合與應(yīng)該以直接模式預(yù)測(cè)運(yùn)動(dòng)向量的像素塊不同時(shí)間且處于相同空間位置的錨塊的運(yùn)動(dòng)向量及所述錨塊的參照?qǐng)D像的序號(hào)，生成所述像素塊的運(yùn)動(dòng)信息；靜止判定部，其基于所述錨塊的運(yùn)動(dòng)向量及所述參照?qǐng)D像的序號(hào)，判定是否視為所述像素塊處于靜止；選擇部，將所述運(yùn)動(dòng)信息生成部的輸出及所述靜止判定部的判定結(jié)果的任意一方選擇性地保存在存儲(chǔ)器中，來作為所述像素塊的直接模式預(yù)測(cè)信息；和運(yùn)動(dòng)向量預(yù)測(cè)部，基于在所述存儲(chǔ)器中保存的直接模式預(yù)測(cè)信息，使用直接模式預(yù)測(cè)所述像素塊的運(yùn)動(dòng)向量。
2.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像處理裝置，其中，所述運(yùn)動(dòng)圖像處理裝置還具備數(shù)據(jù)檢測(cè)部，該數(shù)據(jù)檢測(cè)部在所輸入的運(yùn)動(dòng)圖像流中檢測(cè)到規(guī)定的數(shù)據(jù)時(shí)，指示所述選擇部使其選擇所述靜止判定部的判定結(jié)果。
3.根據(jù)權(quán)利要求2所述的運(yùn)動(dòng)圖像處理裝置，其中，所述數(shù)據(jù)檢測(cè)部，直到檢測(cè)到所述規(guī)定的數(shù)據(jù)為止，指示所述選擇部使其選擇所述運(yùn)動(dòng)信息生成部的輸出。
4.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像處理裝置，其中，所述運(yùn)動(dòng)圖像處理裝置還具備數(shù)據(jù)傳輸帶寬測(cè)量部，該數(shù)據(jù)傳輸帶寬測(cè)量部測(cè)量所述存儲(chǔ)器的數(shù)據(jù)傳輸帶寬，在所述數(shù)據(jù)傳輸帶寬小于閾值時(shí)，指示所述選擇部使其選擇所述運(yùn)動(dòng)信息生成部的輸出，在所述數(shù)據(jù)傳輸帶寬大于所述閾值時(shí)，指示所述選擇部使其選擇所述靜止判定部的判定結(jié)果。
5.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像處理裝置，其中，所述運(yùn)動(dòng)圖像處理裝置還具備譯碼部，其對(duì)所輸入的運(yùn)動(dòng)圖像流進(jìn)行譯碼處理；和錯(cuò)誤檢測(cè)部，在作為應(yīng)該以時(shí)間直接模式預(yù)測(cè)運(yùn)動(dòng)向量的像素塊的直接模式預(yù)測(cè)信息在所述存儲(chǔ)器中保存了所述靜止判定部的判定結(jié)果的情況下，檢測(cè)為錯(cuò)誤，所述譯碼部在存在所述錯(cuò)誤檢測(cè)時(shí)進(jìn)行錯(cuò)誤隱藏處理。
6.根據(jù)權(quán)利要求5所述的運(yùn)動(dòng)圖像處理裝置，其中，作為所述錯(cuò)誤隱藏處理，所述譯碼部跳過包含所述錯(cuò)誤檢測(cè)所涉及的像素塊的圖像的譯碼而輸出其他的已譯碼的圖像、或者代以空間直接模式來對(duì)包含所述錯(cuò)誤檢測(cè)所涉及的像素塊的圖像進(jìn)行譯碼。
7.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像處理裝置，其中，所述運(yùn)動(dòng)圖像處理裝置還具備編碼部，其生成運(yùn)動(dòng)圖像流；和直接模式指定部，針對(duì)所述選擇部、運(yùn)動(dòng)向量預(yù)測(cè)部及編碼部指定時(shí)間直接模式及空間直接模式的任意一個(gè)，在指定了空間直接模式時(shí)，所述選擇部選擇所述靜止判定部的判定結(jié)果，在指定了空間直接模式時(shí)，所述編碼部將規(guī)定的數(shù)據(jù)插入所述運(yùn)動(dòng)圖像流中，該規(guī)定的數(shù)據(jù)表示所述運(yùn)動(dòng)圖像流能夠以空間直接模式進(jìn)行譯碼。
8.根據(jù)權(quán)利要求2和7的任意一項(xiàng)所述的運(yùn)動(dòng)圖像處理裝置，其中， 所述規(guī)定的數(shù)據(jù)作為附加信息包含在所述運(yùn)動(dòng)圖像流中。
9.根據(jù)權(quán)利要求8所述的運(yùn)動(dòng)圖像處理裝置，其中，所述規(guī)定的數(shù)據(jù)作為補(bǔ)充增強(qiáng)信息SEI包含在所述運(yùn)動(dòng)圖像流中。
10.根據(jù)權(quán)利要求8所述的運(yùn)動(dòng)圖像處理裝置，其中，所述規(guī)定的數(shù)據(jù)包含在所述運(yùn)動(dòng)圖像流中的打包基本流 PES的頭數(shù)據(jù)、圖像的頭數(shù)據(jù)、以及數(shù)據(jù)片段的頭數(shù)據(jù)的任意一個(gè)當(dāng)中。
11.根據(jù)權(quán)利要求2和7的任意一項(xiàng)所述的運(yùn)動(dòng)圖像處理裝置，其中， 所述規(guī)定的數(shù)據(jù)是每個(gè)數(shù)據(jù)片段的直接預(yù)測(cè)標(biāo)志位。
12.根據(jù)權(quán)利要求11所述的運(yùn)動(dòng)圖像處理裝置，其中，所述規(guī)定的數(shù)據(jù)是包含在數(shù)據(jù)片段的頭數(shù)據(jù)中的direct_Spatial_mV_pred_flag。
13.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像處理裝置，其中， 所述靜止判定部輸出一位的判定結(jié)果。
14.一種運(yùn)動(dòng)圖像處理方法，其包括如下步驟結(jié)合與應(yīng)該以直接模式預(yù)測(cè)運(yùn)動(dòng)向量的像素塊不同時(shí)間且處于相同空間位置的錨塊的運(yùn)動(dòng)向量及所述錨塊的參照?qǐng)D像的序號(hào)，生成所述像素塊的運(yùn)動(dòng)信息；基于所述錨塊的運(yùn)動(dòng)向量及所述參照?qǐng)D像的序號(hào)，判定是否視為所述像素塊處于靜止；將所述運(yùn)動(dòng)信息及所述判定結(jié)果的任意一方選擇性地保存在存儲(chǔ)器中，來作為所述像素塊的直接模式預(yù)測(cè)信息；和基于在所述存儲(chǔ)器中保存的直接模式預(yù)測(cè)信息，使用直接模式預(yù)測(cè)所述像素塊的運(yùn)動(dòng)向量。
全文摘要
本發(fā)明提供一種運(yùn)動(dòng)圖像處理裝置和運(yùn)動(dòng)圖像處理方法，可對(duì)應(yīng)時(shí)間直接模式及空間直接模式的任意一個(gè)，同時(shí)可降低臨時(shí)保存的直接模式預(yù)測(cè)信息以抑制存儲(chǔ)器總線帶寬。該運(yùn)動(dòng)圖像處理裝置具備運(yùn)動(dòng)信息生成部(105)，其結(jié)合錨塊的運(yùn)動(dòng)向量及錨塊的參照?qǐng)D像的序號(hào)，生成像素塊的運(yùn)動(dòng)信息；靜止判定部(106)，其基于錨塊的運(yùn)動(dòng)向量及參照?qǐng)D像的序號(hào)，判定是否視為像素塊處于靜止；選擇部(107)，將運(yùn)動(dòng)信息生成部(105)的輸出及靜止判定部(106)的判定結(jié)果的任意一方選擇性地保存在存儲(chǔ)器中，來作為像素塊的直接模式預(yù)測(cè)信息；運(yùn)動(dòng)向量預(yù)測(cè)部(103)，基于在存儲(chǔ)器(100)中保存的直接模式預(yù)測(cè)信息，使用直接模式預(yù)測(cè)像素塊的運(yùn)動(dòng)向量。
文檔編號(hào)H04N7/32GK102450016SQ200980159478
公開日2012年5月9日 申請(qǐng)日期2009年11月6日 優(yōu)先權(quán)日2009年5月26日
發(fā)明者井口雅保, 天野博史, 江崎功太郎, 路次美紀(jì)子 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社