專利名稱：運(yùn)動(dòng)補(bǔ)償裝置和運(yùn)動(dòng)圖象編碼裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及適用于數(shù)字圖象發(fā)送裝置、數(shù)字CATV和數(shù)字廣播系統(tǒng)等的運(yùn)動(dòng)補(bǔ)償裝置。


圖18是說明在電子情報(bào)通信學(xué)會(huì)技術(shù)研究報(bào)告VOL.95,No.217,P2～8(1995)記載的「MPEG2實(shí)時(shí)編碼系統(tǒng)芯片設(shè)置的開發(fā)」中所示的現(xiàn)有數(shù)字圖象編碼方式的方框圖。
在圖18中，400是輸入輸入圖象202和參照?qǐng)D象152并輸出預(yù)測圖象204和最適當(dāng)矢量449的運(yùn)動(dòng)補(bǔ)償處理部，222是求出輸入圖象202與預(yù)測圖象204的差分并輸出殘留誤差223的差分器，401是對(duì)所輸入的殘留誤差223進(jìn)行編碼并輸出差分編碼數(shù)據(jù)450的差分信號(hào)編碼處理部，402是對(duì)所輸入的最適當(dāng)矢量449進(jìn)行編碼并輸出運(yùn)動(dòng)矢量編碼數(shù)據(jù)451的運(yùn)動(dòng)矢量編碼處理部。
下面對(duì)上述構(gòu)成所對(duì)應(yīng)的動(dòng)作進(jìn)行說明。
運(yùn)動(dòng)補(bǔ)償處理部400輸入作為目前幀的圖象的輸入圖象202和作為以前幀的圖象的參照?qǐng)D象152，從參照?qǐng)D象152中檢索出與輸入圖象202最近似的圖象。檢索方法是取輸入圖象202和參照?qǐng)D象152的差分絕對(duì)值和，把在參照?qǐng)D象中提供最小變形的圖象作為最適當(dāng)圖象即預(yù)測圖象204。此時(shí)，如圖19所示的那樣，最適當(dāng)圖象(預(yù)測圖象)從目前幀中的輸入圖象的位置表示某處暗淡空間運(yùn)動(dòng)的是運(yùn)動(dòng)矢量。該運(yùn)動(dòng)矢量作為最適當(dāng)矢量449被發(fā)送給運(yùn)動(dòng)矢量編碼處理部402，由運(yùn)動(dòng)矢量編碼處理部402進(jìn)行編碼并輸出。
另一方面，對(duì)于由運(yùn)動(dòng)補(bǔ)償處理部400進(jìn)行預(yù)測后的預(yù)測誤差信號(hào)，由差分器222取出由運(yùn)動(dòng)補(bǔ)償處理部400所選擇的最適當(dāng)預(yù)測圖象204與輸入圖象202的差分，由差分信號(hào)編碼處理部401對(duì)該殘留誤差223進(jìn)行編碼并輸出。該處理的編碼處理中的發(fā)生信息量為把由差分信號(hào)編碼處理部401發(fā)生的差分編碼數(shù)據(jù)450的信息量和由運(yùn)動(dòng)矢量編碼處理部402發(fā)生的運(yùn)動(dòng)矢量編碼數(shù)據(jù)451的信息量相結(jié)合的值。
現(xiàn)有的裝置，在上述那樣的運(yùn)動(dòng)補(bǔ)償處理部400中，把表示差分絕對(duì)值和的最小矢量作為最適當(dāng)矢量，但是，在圖象編碼處理中，通過運(yùn)動(dòng)補(bǔ)償來對(duì)選擇作為最適當(dāng)矢量的矢量進(jìn)行編碼(運(yùn)動(dòng)矢量編碼)，同時(shí)，對(duì)于目前塊和最適當(dāng)矢量位置的以前塊的殘留誤差(預(yù)測誤差)進(jìn)一步進(jìn)行編碼(殘留誤差編碼)。接著，把由運(yùn)動(dòng)矢量編碼所產(chǎn)生的信息量與由殘留誤差編碼所產(chǎn)生的信息量相結(jié)合的信息成為編碼量。由此，例如，如果對(duì)成為最適當(dāng)矢量的進(jìn)行編碼，則信息量變得非常大，在此情況下，由上述方法選擇的最適當(dāng)矢量并不僅限于使編碼量成為最小的。
一般，在運(yùn)動(dòng)補(bǔ)償預(yù)測中僅使用亮度信息來求出矢量，但是，在亮度信號(hào)相同而色差信號(hào)不同的圖象中，就會(huì)抽出錯(cuò)誤的運(yùn)動(dòng)矢量。
為了解決上述問題，本發(fā)明的目的是提供運(yùn)動(dòng)補(bǔ)償裝置和運(yùn)動(dòng)圖象編碼裝置及方法，為了決定最適當(dāng)矢量，不僅考慮預(yù)測差分的差分絕對(duì)值和，而且考慮用于對(duì)運(yùn)動(dòng)矢量進(jìn)行編碼的編碼量，由此，能夠提高總的編碼效率。
本發(fā)明所涉及的運(yùn)動(dòng)補(bǔ)償裝置，包括運(yùn)動(dòng)補(bǔ)償處理部，輸入輸入圖象和參照?qǐng)D象，輸出輸入圖象與參照?qǐng)D象之間的運(yùn)動(dòng)矢量和從參照?qǐng)D象根據(jù)運(yùn)動(dòng)矢量抽出的預(yù)測圖象；變形量運(yùn)算部，輸入上述輸入圖象和上述預(yù)測圖象來求出輸入圖象與預(yù)測圖象之間的變形量；矢量值編碼部，輸入上述運(yùn)動(dòng)矢量來進(jìn)行編碼并輸出矢量編碼量；最適當(dāng)矢量決定部，輸入上述運(yùn)動(dòng)矢量和上述變形量及上述矢量編碼量，對(duì)進(jìn)行評(píng)價(jià)的多個(gè)運(yùn)動(dòng)矢量的全部求出從變形量和矢量編碼量所算出的評(píng)價(jià)函數(shù)，輸出評(píng)價(jià)函數(shù)呈現(xiàn)最小值的運(yùn)動(dòng)矢量來作為最適當(dāng)矢量。
上述變形量運(yùn)算部是計(jì)算上述輸入圖象與上述預(yù)測圖象之間的差分絕對(duì)值和并輸出的差分絕對(duì)值和運(yùn)算部。
上述變形量運(yùn)算部是計(jì)算上述輸入圖象與上述預(yù)測圖象之間的差分平方和并輸出的差分平方和運(yùn)算部。
上述矢量值編碼部包括延遲所輸入的運(yùn)動(dòng)矢量的延遲器、取得所輸入的運(yùn)動(dòng)矢量與經(jīng)過上述延遲器的運(yùn)動(dòng)矢量的差分并輸出差分矢量的差分器、對(duì)上述差分矢量進(jìn)行編碼并輸出矢量編碼量的差分矢量編碼部。
另一個(gè)發(fā)明所涉及的運(yùn)動(dòng)補(bǔ)償裝置，包括運(yùn)動(dòng)補(bǔ)償處理部，輸入輸入圖象和參照?qǐng)D象，輸出輸入圖象與參照?qǐng)D象之間的運(yùn)動(dòng)矢量和從參照?qǐng)D象根據(jù)運(yùn)動(dòng)矢量抽出的預(yù)測圖象；第一平均值分離部，得到從上述輸入圖象分離平均值的平均值分離輸入圖象；第二平均值分離部，得到從上述預(yù)測圖象分離平均值的平均值分離預(yù)測圖象；變形量運(yùn)算部，輸入上述平均值分離輸入圖象和上述平均值分離預(yù)測圖象，來求出由平均值分離輸入圖象與平均值分離預(yù)測圖象之間的變形量的運(yùn)算所得到的評(píng)價(jià)值；最適當(dāng)矢量決定部，輸入上述運(yùn)動(dòng)矢量和上述平均值，對(duì)進(jìn)行評(píng)價(jià)的多個(gè)運(yùn)動(dòng)矢量的全部求出其評(píng)價(jià)值，輸出評(píng)價(jià)函數(shù)呈現(xiàn)最小值的運(yùn)動(dòng)矢量來作為最適當(dāng)矢量。
上述變形量運(yùn)算部是計(jì)算上述輸入圖象與上述預(yù)測圖象之間的差分絕對(duì)值和并輸出的差分絕對(duì)值和運(yùn)算部。
上述變形量運(yùn)算部是計(jì)算上述輸入圖象與上述預(yù)測圖象之間的差分平方和并輸出的差分平方和運(yùn)算部。
進(jìn)一步包括輸入上述運(yùn)動(dòng)矢量來進(jìn)行編碼而輸出矢量編碼量的矢量值編碼部，上述最適當(dāng)矢量決定部輸入上述運(yùn)動(dòng)矢量和上述變形量以及上述矢量編碼量，對(duì)進(jìn)行評(píng)價(jià)的多個(gè)運(yùn)動(dòng)矢量的全部求出從變形量和矢量編碼量所算出的評(píng)價(jià)函數(shù)，輸出評(píng)價(jià)函數(shù)呈現(xiàn)最小值的運(yùn)動(dòng)矢量來作為最適當(dāng)矢量。
另一個(gè)發(fā)明所涉及的運(yùn)動(dòng)補(bǔ)償裝置，包括運(yùn)動(dòng)補(bǔ)償處理部，輸入輸入圖象和參照?qǐng)D象，輸出輸入圖象與參照?qǐng)D象之間的運(yùn)動(dòng)矢量和從參照?qǐng)D象根據(jù)運(yùn)動(dòng)矢量抽出的預(yù)測圖象；減法器，把上述輸入圖象和上述預(yù)測圖象相減來求出預(yù)測誤差；頻率解析部，把上述預(yù)測誤差變換為頻率系數(shù)；評(píng)價(jià)值生成部，根據(jù)所變換的頻率系數(shù)來生成評(píng)價(jià)值；矢量決定部，輸入上述運(yùn)動(dòng)矢量和上述評(píng)價(jià)值，從多個(gè)取出的運(yùn)動(dòng)矢量中輸出上述評(píng)價(jià)值呈現(xiàn)最小值的運(yùn)動(dòng)矢量來作為最適當(dāng)矢量。
另一個(gè)發(fā)明所涉及的運(yùn)動(dòng)補(bǔ)償裝置，包括運(yùn)動(dòng)補(bǔ)償處理部，輸入輸入圖象和參照?qǐng)D象，輸出輸入圖象與參照?qǐng)D象之間的運(yùn)動(dòng)矢量和從參照?qǐng)D象根據(jù)運(yùn)動(dòng)矢量抽出的預(yù)測圖象；減法器，把上述輸入圖象和上述預(yù)測圖象相減來求出預(yù)測誤差；差分圖象編碼部，對(duì)上述預(yù)測誤差進(jìn)行差分編碼并輸出差分圖象編碼量；矢量值編碼部，輸入上述運(yùn)動(dòng)矢量來進(jìn)行編碼而輸出矢量編碼量；矢量決定部，輸入上述運(yùn)動(dòng)矢量和上述差分圖象編碼量及上述矢量編碼量，從多個(gè)取出的運(yùn)動(dòng)矢量中輸出在上述差分圖象編碼量上相加了上述矢量編碼量的編碼量成為最小的運(yùn)動(dòng)矢量來作為最適當(dāng)矢量。
另一個(gè)發(fā)明所涉及的運(yùn)動(dòng)補(bǔ)償裝置，包括運(yùn)動(dòng)補(bǔ)償處理部，輸入輸入圖象和參照?qǐng)D象，輸出輸入圖象與參照?qǐng)D象之間的運(yùn)動(dòng)矢量和從參照?qǐng)D象根據(jù)運(yùn)動(dòng)矢量抽出的預(yù)測圖象；第一亮度色差分離部，從上述輸入圖象分離輸入圖象亮度信號(hào)和輸入圖象色差信號(hào)；第二亮度色差分離部，從上述預(yù)測圖象分離預(yù)測圖象亮度信號(hào)和預(yù)測圖象色差信號(hào)；第一減法器，求出來自上述第一亮度色差分離部的輸入圖象色差信號(hào)與來自上述第二亮度色差分離部的預(yù)測圖象色差信號(hào)的差分；第二減法器，求出來自上述第一亮度色差分離部的輸入圖象亮度信號(hào)與來自上述第二亮度色差分離部的預(yù)測圖象亮度信號(hào)的差分；色差評(píng)價(jià)值生成部，根據(jù)來自上述第一減法器的輸出來生成色差評(píng)價(jià)值；亮度評(píng)價(jià)值生成部，根據(jù)來自上述第二減法器的輸出來生成亮度評(píng)價(jià)值；評(píng)價(jià)值運(yùn)算部，根據(jù)來自上述色差評(píng)價(jià)值生成部的色差評(píng)價(jià)值和來自上述亮度評(píng)價(jià)值生成部的亮度評(píng)價(jià)值來運(yùn)算最適當(dāng)矢量決定用評(píng)價(jià)值；矢量決定部，輸入上述運(yùn)動(dòng)矢量和上述最適當(dāng)矢量決定用評(píng)價(jià)值，從多個(gè)取出的運(yùn)動(dòng)矢量中輸出在上述最適當(dāng)矢量決定用評(píng)價(jià)值成為最小的運(yùn)動(dòng)矢量來作為最適當(dāng)矢量。
上述評(píng)價(jià)值運(yùn)算部是把來自上述色差評(píng)價(jià)值生成部的色差評(píng)價(jià)值與來自上述亮度評(píng)價(jià)值生成部的亮度評(píng)價(jià)值相加而求出總評(píng)價(jià)值的加法器，上述矢量決定部輸入作為上述運(yùn)動(dòng)矢量和上述總評(píng)價(jià)值的總相加值，從多個(gè)取出的運(yùn)動(dòng)矢量中輸出在上述上述總評(píng)價(jià)值成為最小的運(yùn)動(dòng)矢量來作為最適當(dāng)矢量。
另一個(gè)發(fā)明所涉及的運(yùn)動(dòng)補(bǔ)償裝置，包括運(yùn)動(dòng)補(bǔ)償處理部，輸入輸入圖象和參照?qǐng)D象，輸出輸入圖象與參照?qǐng)D象之間的運(yùn)動(dòng)矢量和對(duì)于輸入圖象的亮度成分從參照?qǐng)D象根據(jù)運(yùn)動(dòng)矢量亮度信號(hào)抽出的預(yù)測圖象亮度信號(hào)和根據(jù)運(yùn)動(dòng)矢量色差信號(hào)抽出的預(yù)測圖象色差信號(hào)；第一亮度色差分離部，從上述輸入圖象分離輸入圖象亮度信號(hào)和輸入圖象色差信號(hào)；第三亮度色差分離部，從上述運(yùn)動(dòng)矢量分離運(yùn)動(dòng)矢量亮度信號(hào)和運(yùn)動(dòng)矢量色差信號(hào)；第一減法器，求出來自上述第一亮度色差分離部的輸入圖象色差信號(hào)與上述預(yù)測圖象色差信號(hào)的差分；第二減法器，求出來自上述第一亮度色差分離部的輸入圖象亮度信號(hào)與上述預(yù)測圖象亮度信號(hào)的差分；色差評(píng)價(jià)值生成部，根據(jù)來自上述第一減法器的輸出來生成色差評(píng)價(jià)值；亮度評(píng)價(jià)值生成部，根據(jù)來自上述第二減法器的輸出來生成亮度評(píng)價(jià)值；亮度色差評(píng)價(jià)值比較部，把來自上述色差評(píng)價(jià)值生成部的色差評(píng)價(jià)值與來自上述亮度評(píng)價(jià)值生成部的亮度評(píng)價(jià)值進(jìn)行比較而輸出評(píng)價(jià)值比較差；矢量決定部，輸入上述運(yùn)動(dòng)矢量亮度信號(hào)和運(yùn)動(dòng)矢量色差信號(hào)以及上述評(píng)價(jià)值比較差，從多個(gè)取出的運(yùn)動(dòng)矢量中輸出在上述評(píng)價(jià)值比較差成為最小的運(yùn)動(dòng)矢量來作為最適當(dāng)矢量。
另一個(gè)發(fā)明所涉及的運(yùn)動(dòng)補(bǔ)償裝置，在進(jìn)行執(zhí)行運(yùn)動(dòng)圖象編碼的編碼時(shí)，以塊單位從以前幀的數(shù)據(jù)來預(yù)測運(yùn)動(dòng)，而進(jìn)行信息量削減，其特征在于，包括以前幀存儲(chǔ)部，存儲(chǔ)以前幀的數(shù)據(jù)；最小變形計(jì)算部，從目前塊和以前幀的特定區(qū)域來進(jìn)行圖形匹配，計(jì)算提供最小變形的運(yùn)動(dòng)矢量和變形值；特定矢量變形計(jì)算部，計(jì)算目前塊和與所輸入的一個(gè)以上運(yùn)動(dòng)矢量相對(duì)應(yīng)的以前幀的塊的變形；最適當(dāng)矢量輸出部，根據(jù)從上述最小變形計(jì)算部所輸出的變形和從上述特定矢量變形計(jì)算部所輸出的變形，來輸出最適當(dāng)運(yùn)動(dòng)矢量。
被輸入上述特定矢量變形計(jì)算部的運(yùn)動(dòng)矢量是從上述最適當(dāng)矢量輸出裝置所輸出的矢量。
上述最適當(dāng)矢量輸出部包括加法器，對(duì)來自上述最小變形計(jì)算部的變形進(jìn)行加權(quán)；比較器，把進(jìn)行了加權(quán)的來自最小變形計(jì)算部的變形與來自上述特定矢量變形計(jì)算部的變形進(jìn)行比較；選擇器，根據(jù)該比較器的比較結(jié)果來選擇提供最小變形的運(yùn)動(dòng)矢量或特定矢量中的一個(gè)，并作為最適當(dāng)運(yùn)動(dòng)矢量而輸出。
上述最適當(dāng)矢量輸出部進(jìn)一步包括偏移值計(jì)算部，通過提供最小變形的運(yùn)動(dòng)矢量與特定矢量的差分的大小，來適當(dāng)?shù)刈兏峁?duì)來自上述最小變形計(jì)算部的變形進(jìn)行了加權(quán)的偏移值。
上述最小變形計(jì)算部輸出目前探索范圍內(nèi)的最小變形和在窄于目前探索范圍的范圍中的預(yù)先設(shè)定的范圍中的最小變形。
本發(fā)明所涉及的運(yùn)動(dòng)圖象編碼裝置，根據(jù)運(yùn)動(dòng)補(bǔ)償預(yù)測來進(jìn)行運(yùn)動(dòng)圖象編碼，其特征在于，包括存儲(chǔ)器，存儲(chǔ)用于運(yùn)動(dòng)補(bǔ)償預(yù)測的參照?qǐng)D象數(shù)據(jù)；運(yùn)動(dòng)檢出部，根據(jù)輸入宏塊和來自上述存儲(chǔ)器的參照?qǐng)D象數(shù)據(jù)來檢出提供最小預(yù)測誤差的運(yùn)動(dòng)矢量；預(yù)測矢量導(dǎo)出部，導(dǎo)出在對(duì)用于輸入宏塊的運(yùn)動(dòng)補(bǔ)償預(yù)測的運(yùn)動(dòng)矢量進(jìn)行編碼時(shí)所使用的預(yù)測矢量；運(yùn)動(dòng)補(bǔ)償部，根據(jù)所提供的運(yùn)動(dòng)矢量來取出上述存儲(chǔ)器內(nèi)的參照?qǐng)D象數(shù)據(jù)對(duì)應(yīng)位置的圖象數(shù)據(jù)，來作為與運(yùn)動(dòng)矢量相對(duì)應(yīng)的預(yù)測圖象；閾值處理部，根據(jù)由上述運(yùn)動(dòng)檢出部所得到的運(yùn)動(dòng)矢量并使用從上述運(yùn)動(dòng)補(bǔ)償部所輸出的預(yù)測圖象來求出預(yù)測誤差量，使用第一閾值來對(duì)該預(yù)測誤差量進(jìn)行閾值判定，當(dāng)判定結(jié)果是預(yù)測誤差量大于第一閾值時(shí)，把由上述預(yù)測矢量導(dǎo)出部所得到的預(yù)測矢量輸出給上述運(yùn)動(dòng)補(bǔ)償部，而當(dāng)預(yù)測誤差量小于第一閾值時(shí)，把由上述運(yùn)動(dòng)檢出部所得到的運(yùn)動(dòng)矢量輸出給上述運(yùn)動(dòng)補(bǔ)償部；預(yù)測圖象判定部，生成由與預(yù)測矢量相對(duì)應(yīng)的預(yù)測圖象所產(chǎn)生的預(yù)測誤差信號(hào)，使用第二閾值來對(duì)該預(yù)測誤差信號(hào)的發(fā)生編碼量推定值進(jìn)行閾值判定，當(dāng)判定結(jié)果是預(yù)測誤差信號(hào)的發(fā)生編碼量推定值大于第二閾值時(shí)，輸出由上述運(yùn)動(dòng)檢出部所得到運(yùn)動(dòng)矢量來作為最終運(yùn)動(dòng)矢量，而當(dāng)預(yù)測誤差信號(hào)的發(fā)生編碼量推定值小于第二閾值時(shí)，輸出上述預(yù)測矢量來作為最終運(yùn)動(dòng)矢量，并且，輸出與最終運(yùn)動(dòng)矢量相對(duì)應(yīng)的預(yù)測圖象來作為最終預(yù)測圖象。
進(jìn)一步包括幀活動(dòng)計(jì)算部，根據(jù)來自上述運(yùn)動(dòng)檢出部的運(yùn)動(dòng)矢量和最小預(yù)測誤差量的輸入來算出幀活動(dòng)的值，根據(jù)所算出的值來以幀單位切換控制使用由上述閾值處理部和上述預(yù)測圖象判定部所產(chǎn)生的預(yù)測矢量的運(yùn)動(dòng)矢量的置換處理。
本發(fā)明所涉及的運(yùn)動(dòng)圖象編碼方法，根據(jù)運(yùn)動(dòng)補(bǔ)償預(yù)測來進(jìn)行運(yùn)動(dòng)圖象編碼，其特征在于，包括運(yùn)動(dòng)矢量檢出步驟，根據(jù)輸入宏塊和參照?qǐng)D象數(shù)據(jù)來檢出提供最小預(yù)測誤差的運(yùn)動(dòng)矢量；第一閾值判定步驟，根據(jù)輸入宏塊和運(yùn)動(dòng)矢量所相對(duì)應(yīng)的預(yù)測圖象并使用第一閾值來對(duì)預(yù)測誤差信號(hào)進(jìn)行閾值判定；預(yù)測矢量導(dǎo)出步驟，當(dāng)?shù)谝婚撝蹬卸ńY(jié)果是預(yù)測誤差信號(hào)大于第一閾值時(shí)，導(dǎo)出在對(duì)運(yùn)動(dòng)矢量進(jìn)行編碼時(shí)所使用的預(yù)測矢量；預(yù)測誤差信號(hào)生成步驟，生成由與預(yù)測矢量相對(duì)應(yīng)的預(yù)測圖象所產(chǎn)生的預(yù)測誤差信號(hào)；計(jì)算步驟，算出預(yù)測誤差信號(hào)的發(fā)生編碼量推定值；第二閾值判定步驟，使用第二閾值來對(duì)所算出的預(yù)測誤差信號(hào)的發(fā)生編碼量推定值進(jìn)行閾值判定；置換步驟，當(dāng)?shù)诙撝蹬卸ńY(jié)果是預(yù)測誤差信號(hào)的發(fā)生編碼量推定值小于第二閾值時(shí)，把運(yùn)動(dòng)矢量置換為上述預(yù)測矢量；使用運(yùn)動(dòng)矢量來實(shí)施運(yùn)動(dòng)預(yù)測編碼。
進(jìn)一步包括控制步驟，根據(jù)運(yùn)動(dòng)矢量和最小預(yù)測誤差來算出幀活動(dòng)值，根據(jù)所算出的值來進(jìn)行是否以幀單位進(jìn)行運(yùn)動(dòng)矢量和預(yù)測矢量的置換的切換控制。
本發(fā)明的這些和其他的目的、優(yōu)點(diǎn)及特征將通過結(jié)合附圖對(duì)本發(fā)明的實(shí)施例的描述而得到進(jìn)一步說明。在這些附圖中圖1是表示本發(fā)明的實(shí)施例1所涉及的運(yùn)動(dòng)補(bǔ)償裝置的方框圖；圖2是表示本發(fā)明的實(shí)施例2所涉及的運(yùn)動(dòng)補(bǔ)償裝置的方框圖；圖3是表示本發(fā)明的實(shí)施例3所涉及的運(yùn)動(dòng)補(bǔ)償裝置的方框圖；圖4是表示本發(fā)明的實(shí)施例4所涉及的運(yùn)動(dòng)補(bǔ)償裝置的方框圖；圖5是表示本發(fā)明的實(shí)施例5所涉及的運(yùn)動(dòng)補(bǔ)償裝置的方框圖；圖6是表示本發(fā)明的實(shí)施例6所涉及的運(yùn)動(dòng)補(bǔ)償裝置的方框圖；圖7是表示本發(fā)明的實(shí)施例7所涉及的運(yùn)動(dòng)補(bǔ)償裝置的方框圖；圖8是表示本發(fā)明的實(shí)施例8所涉及的運(yùn)動(dòng)補(bǔ)償裝置的方框圖；圖9是表示本發(fā)明的實(shí)施例9所涉及的運(yùn)動(dòng)補(bǔ)償裝置的方框圖10是表示本發(fā)明的實(shí)施例9所涉及的運(yùn)動(dòng)補(bǔ)償裝置的變形例的方框圖；圖11是表示本發(fā)明的實(shí)施例9所涉及的運(yùn)動(dòng)補(bǔ)償裝置的另一個(gè)變形例的方框圖；圖12是表示本發(fā)明的實(shí)施例9所涉及的運(yùn)動(dòng)補(bǔ)償裝置的又一個(gè)變形例的方框圖；圖13是表示本發(fā)明的實(shí)施例10所涉及的運(yùn)動(dòng)圖象編碼裝置的方框圖；圖14是表示圖13中的編碼裝置中的運(yùn)動(dòng)補(bǔ)償預(yù)測部19的處理流程的流程圖；圖15是說明本發(fā)明的實(shí)施例11所涉及的MPEG-4或ITU-T推薦的H.263中的運(yùn)動(dòng)矢量的預(yù)測值的計(jì)算方法的示意圖；圖16是表示本發(fā)明的實(shí)施例12所涉及的運(yùn)動(dòng)圖象編碼裝置的方框圖；圖17是表示圖16的編碼裝置中的運(yùn)動(dòng)補(bǔ)償預(yù)測部19的處理流程的流程圖；圖18是表示現(xiàn)有的運(yùn)動(dòng)補(bǔ)償裝置的方框圖；圖19是求出最適當(dāng)圖象(預(yù)測圖象)的示意圖。
實(shí)施例1圖1是表示實(shí)施例1所涉及的運(yùn)動(dòng)補(bǔ)償裝置的方框圖。
如圖1所示的那樣，實(shí)施例1所涉及的運(yùn)動(dòng)補(bǔ)償裝置包括運(yùn)動(dòng)補(bǔ)償處理部200，輸入作為目前幀的圖象的輸入圖象202和作為以前幀的圖象的參照?qǐng)D象201，從參照?qǐng)D象201中探索與輸入圖象202最近似的圖象塊，輸出抽出符合運(yùn)動(dòng)矢量的預(yù)測圖象時(shí)的輸入圖象202和參照?qǐng)D象201之間的運(yùn)動(dòng)矢量203和預(yù)測圖象204；作為變形量運(yùn)算部的差分絕對(duì)值和運(yùn)算部205，計(jì)算并輸出差分絕對(duì)值和206來作為輸入圖象202和運(yùn)動(dòng)矢量203的變形量；矢量值編碼部207，輸入運(yùn)動(dòng)矢量203并進(jìn)行編碼而輸出矢量編碼量208；最適當(dāng)矢量決定部209，輸入運(yùn)動(dòng)矢量203和差分絕對(duì)值和206以及矢量編碼量208，對(duì)于進(jìn)行評(píng)價(jià)的多個(gè)運(yùn)動(dòng)矢量的全部來運(yùn)算出從差分絕對(duì)值和206和矢量編碼量208所算出的評(píng)價(jià)函數(shù)，輸出評(píng)價(jià)函數(shù)呈現(xiàn)最小值的運(yùn)動(dòng)矢量來作為最適當(dāng)矢量210。
下面對(duì)上述構(gòu)成所涉及的實(shí)施例1的動(dòng)作進(jìn)行說明。
運(yùn)動(dòng)補(bǔ)償處理部200對(duì)于輸入圖象202從參照?qǐng)D象201抽出符合運(yùn)動(dòng)矢量203的預(yù)測圖象204。在差分絕對(duì)值和運(yùn)算部205中，從輸入圖象202和預(yù)測圖象204計(jì)算差分絕對(duì)值和206。
另一方面，為了抽出預(yù)測圖象204而使用的運(yùn)動(dòng)矢量203被輸入矢量值編碼部207和最適當(dāng)矢量決定部209。被輸入矢量值編碼部207的運(yùn)動(dòng)矢量203被進(jìn)行編碼，而輸出矢量編碼量208。其中，在矢量值編碼部207中，大多使用可變長編碼等。在最適當(dāng)矢量決定部209中，輸入差分絕對(duì)值和206、矢量編碼量208和運(yùn)動(dòng)矢量203，對(duì)于進(jìn)行評(píng)價(jià)的多個(gè)運(yùn)動(dòng)矢量的全部來運(yùn)算出從差分絕對(duì)值和206和矢量編碼量208所算出的評(píng)價(jià)函數(shù)，輸出評(píng)價(jià)函數(shù)呈現(xiàn)最小值的運(yùn)動(dòng)矢量來作為最適當(dāng)矢量210。其中，作為所使用的評(píng)價(jià)函數(shù)，對(duì)例如差分絕對(duì)值和206和矢量編碼量208進(jìn)行加權(quán)相加。
這樣，在最適當(dāng)矢量210的決定中，不僅使用差分絕對(duì)值和206，還要同時(shí)使用矢量編碼量208，由此，能夠提高總的編碼效率。特別是，在低速率編碼中，矢量的編碼量占全部編碼量的一半以上，考慮矢量編碼量的運(yùn)動(dòng)矢量選擇是重要的。
即，為了對(duì)運(yùn)動(dòng)矢量進(jìn)行編碼，使用用于對(duì)編碼量和預(yù)測誤差信號(hào)進(jìn)行編碼的信息量作為評(píng)價(jià)值，來選擇最適當(dāng)矢量，由此，與現(xiàn)有的運(yùn)動(dòng)補(bǔ)償預(yù)測相比，最終的編碼結(jié)果效率更高。
實(shí)施例2圖2是表示實(shí)施例2所涉及的運(yùn)動(dòng)補(bǔ)償裝置的方框圖。
與圖1所示的實(shí)施例1相同的部分使用相同的標(biāo)號(hào)，而省略其說明。作為新的標(biāo)號(hào)，211是取代在圖1中作為變形量運(yùn)算部而使用的差分絕對(duì)值和運(yùn)算部205所使用的差分平方和運(yùn)算部。差分平方和，與差分絕對(duì)值和相比，由于是進(jìn)行平方運(yùn)算，作為需要更復(fù)雜的運(yùn)算，但是，能夠評(píng)價(jià)在信號(hào)中包含的功率。一般，功率方能夠以更高精度來評(píng)價(jià)預(yù)測誤差信號(hào)，與實(shí)施例1相比，能夠進(jìn)行精度更高的預(yù)測，由此，能夠求出更正確的最適當(dāng)矢量。
實(shí)施例3圖3是用于說明實(shí)施例3所涉及的運(yùn)動(dòng)補(bǔ)償裝置的圖，是實(shí)施例1和2中的矢量值編碼部207的內(nèi)部構(gòu)成圖。
如圖3所示的那樣，矢量值編碼部207包括延遲所輸入的運(yùn)動(dòng)矢量203的延遲器213、取得所輸入的運(yùn)動(dòng)矢量203與經(jīng)過延遲器213的運(yùn)動(dòng)矢量的差分而輸出差分矢量的差分器214、對(duì)上述差分矢量進(jìn)行編碼而輸出運(yùn)動(dòng)矢量編碼量208的差分矢量編碼部215。
被輸入矢量值編碼部207的運(yùn)動(dòng)矢量203，由差分器214取得與在以前被輸入并存儲(chǔ)在延遲器213中的運(yùn)動(dòng)矢量的差分，由差分矢量編碼部215對(duì)該差分矢量進(jìn)行編碼。運(yùn)動(dòng)矢量大多取在畫面內(nèi)的局部看時(shí)相似的值。這樣，取得與已經(jīng)使用的近邊的運(yùn)動(dòng)矢量的差分，由此，能夠減小進(jìn)行編碼的值，能夠減少矢量編碼量而謀求編碼效率的提高。
實(shí)施例4圖4是表示實(shí)施例4所涉及的運(yùn)動(dòng)補(bǔ)償裝置的方框圖。
在圖4中，與圖1所示的實(shí)施例1相同的部分使用相同的標(biāo)號(hào)，而省略其說明。作為新的標(biāo)號(hào)，216a是從輸入圖象202得到分離出平均值的平均值分離輸入圖象217的第一平均值分離部，216b是從預(yù)測圖象204得到分離出平均值的平均值分離預(yù)測圖象218的第二平均值分離部，219是變形量運(yùn)算部，輸入平均值分離輸入圖象217和平均值分離預(yù)測圖象218來求出平均值分離輸入圖象217與平均值分離預(yù)測圖象218之間的變形量，該變形量運(yùn)算部219與實(shí)施例1和2相同求出由差分絕對(duì)值和或差分平方和的運(yùn)算所得到的評(píng)價(jià)值220，被輸入最適當(dāng)矢量決定部209，在最適當(dāng)矢量決定部209中，輸入上述運(yùn)動(dòng)矢量203和由差分絕對(duì)值和或差分平方和的運(yùn)算所得到的評(píng)價(jià)值220，求出全部評(píng)價(jià)評(píng)價(jià)值220的多個(gè)運(yùn)動(dòng)矢量203，輸出評(píng)價(jià)值呈現(xiàn)最小值的運(yùn)動(dòng)矢量而作為最適當(dāng)矢量210。
如圖4所示的那樣，運(yùn)動(dòng)矢量203和預(yù)測圖象204分別由平均值分離部216a和216b進(jìn)行平均值的分離。通過變形量運(yùn)算部219，在分離出平均值的平均值分離輸入圖象217與分離出平均值的平均值分離預(yù)測圖象218之間，求出由圖1和圖2中說明的差分絕對(duì)值和或差分平方和的運(yùn)算所得到的評(píng)價(jià)值220，被輸入最適當(dāng)矢量決定部209，來求出最適當(dāng)矢量210。
這樣，分離平均值并進(jìn)行評(píng)價(jià)就使不依賴于圖象的水平的運(yùn)動(dòng)補(bǔ)償成為可能。例如，在淡入圖象和亮度變化劇烈的圖象的情況下，在現(xiàn)有的探索中，不能檢出正確的運(yùn)動(dòng)，但是，通過分離出平均值，則即使在這些情況下，也能檢出精度更高的運(yùn)動(dòng)矢量。
即，在分離輸入圖象和預(yù)測圖象兩方的平均值的圖象相互間進(jìn)行運(yùn)動(dòng)預(yù)測評(píng)價(jià)，由此，能夠?qū)崿F(xiàn)不依賴于圖象的水平的運(yùn)動(dòng)補(bǔ)償，即使對(duì)變化劇烈的圖象也能實(shí)現(xiàn)精度更高的運(yùn)動(dòng)矢量的檢出。
雖然在此沒有描述，但是，當(dāng)然能夠象圖1和圖2中說明的那樣，使用矢量編碼量208作為另一個(gè)評(píng)價(jià)值，而供最適當(dāng)矢量的決定使用。同樣，具有圖3所示的那樣對(duì)矢量編碼進(jìn)行差分矢量編碼的效果。
實(shí)施例5圖5是表示實(shí)施例5所涉及的運(yùn)動(dòng)補(bǔ)償裝置的方框圖。
在圖5中，與圖1所示的實(shí)施例1相同的部分使用相同的標(biāo)號(hào)，而省略其說明。作為新的標(biāo)號(hào)，222是把輸入圖象202與預(yù)測圖象204相減來求出預(yù)測誤差223的減法器，224是把預(yù)測誤差223變換為頻率系數(shù)225的DCT和FFT等的頻率解析部，226是生成根據(jù)所變換的頻率系數(shù)225來進(jìn)行加權(quán)的評(píng)價(jià)值227的評(píng)價(jià)值生成部，最適當(dāng)矢量決定部209輸入運(yùn)動(dòng)矢量203和評(píng)價(jià)值227，從多個(gè)取出的運(yùn)動(dòng)矢量中，輸出上述評(píng)價(jià)值227呈現(xiàn)最小值的運(yùn)動(dòng)矢量作為最適當(dāng)矢量210。
如圖5所示的那樣，輸入圖象202和預(yù)測圖象204通過減法器222得到預(yù)測誤差223，預(yù)測誤差在頻率解析部224中被變換為頻率系數(shù)225。所變換頻率系數(shù)在評(píng)價(jià)值生成部226中完成評(píng)價(jià)運(yùn)算，作為評(píng)價(jià)值227被輸出。
這樣，進(jìn)行預(yù)測誤差的頻率解析來求出頻率系數(shù)的過程相當(dāng)于進(jìn)行與對(duì)預(yù)測誤差進(jìn)行變換編碼時(shí)的處理大致相同的過程。例如，在求出的頻率系數(shù)中，對(duì)低頻成分進(jìn)行加權(quán)，來生成評(píng)價(jià)值，由此，能夠相當(dāng)正確地預(yù)測對(duì)預(yù)測誤差進(jìn)行變換編碼時(shí)的編碼量。通過使用該編碼量作為評(píng)價(jià)值，能夠希望進(jìn)行效率更高的編碼。
即，求出進(jìn)行預(yù)測差分的頻率解析的頻率系數(shù)，從該系數(shù)來求出評(píng)價(jià)值，由此，能夠相當(dāng)正確地預(yù)測在預(yù)測誤差的編碼之前包含的變換編碼后的編碼量，能夠?qū)崿F(xiàn)效率高的編碼。
實(shí)施例6圖6是表示實(shí)施例6所涉及的運(yùn)動(dòng)補(bǔ)償裝置的方框圖。
在圖6中，與圖1所示的實(shí)施例1相同的部分使用相同的標(biāo)號(hào)，而省略其說明。作為新的標(biāo)號(hào)，228是對(duì)來自減法器222的預(yù)測誤差223進(jìn)行差分編碼而輸出差分圖象編碼量229的差分圖象編碼部228，矢量決定部209輸入運(yùn)動(dòng)矢量203和上述差分圖象編碼量229以及來自矢量值編碼部208的矢量編碼量208，從多個(gè)取得的運(yùn)動(dòng)矢量203中，輸出把上述矢量編碼量208加上上述差分圖象編碼量229的編碼量成為最小的運(yùn)動(dòng)矢量來作為最適當(dāng)矢量210。
如圖6所示的那樣，輸入圖象202和預(yù)測圖象204通過減法器222得到預(yù)測誤差223，預(yù)測誤差由差分圖象編碼部228進(jìn)行編碼，而輸出編碼量229。對(duì)預(yù)測誤差進(jìn)行差分編碼的過程與進(jìn)行通常的編碼處理的過程相同，而且，通過把其與矢量編碼量相加，能夠計(jì)算出在使用運(yùn)動(dòng)矢量203時(shí)的大致完全的編碼量。這樣，通過采用本構(gòu)成，能夠在取得的總的運(yùn)動(dòng)矢量中，求出編碼量成為最適當(dāng)?shù)氖噶俊?br> 即，對(duì)預(yù)測誤差進(jìn)行編碼而求出編碼信息量，接著，使用矢量編碼的編碼量，由此，能夠得到該矢量中的大致完全的編碼量，在變形與編碼量的關(guān)系上，能夠進(jìn)行最適當(dāng)?shù)木幋a。
實(shí)施例7圖7是表示實(shí)施例7所涉及的運(yùn)動(dòng)補(bǔ)償裝置的方框圖。
在圖7中，與圖1所示的實(shí)施例1相同的部分使用相同的標(biāo)號(hào)，而省略其說明。作為新的標(biāo)號(hào)，230a是從輸入圖象202分離出輸入圖象亮度信號(hào)231和輸入圖象色差信號(hào)232的第一亮度色差分離部，230b是從預(yù)測圖象204分離出預(yù)測圖象亮度信號(hào)233和預(yù)測圖象色差信號(hào)234的第二亮度色差分離部，235a是求出來自第一亮度色差分離部230a的輸入圖象亮度信號(hào)231與來自第二亮度色差分離部230b的預(yù)測圖象亮度信號(hào)233的差分的第二減法器，235b是求出來自第一亮度色差分離部230a的輸入圖象色差信號(hào)232和來自第二亮度色差分離部230b的預(yù)測圖象色差信號(hào)234的差分的第一減法器，237是根據(jù)來自第一減法器235b的輸出而生成色差評(píng)價(jià)值的色差評(píng)價(jià)值生成部，236是根據(jù)來自第二減法器235a的輸出而生成亮度評(píng)價(jià)值的亮度評(píng)價(jià)值生成部，238是根據(jù)來自色差評(píng)價(jià)值生成部237的色差評(píng)價(jià)值和來自亮度評(píng)價(jià)值生成部236的亮度評(píng)價(jià)值來運(yùn)算最適當(dāng)矢量決定用總評(píng)價(jià)值239的作為評(píng)價(jià)值運(yùn)算部的加法器，矢量決定部209輸入運(yùn)動(dòng)矢量203和最適當(dāng)矢量決定用總評(píng)價(jià)值239，從多個(gè)取得的運(yùn)動(dòng)矢量中，輸出最適當(dāng)矢量決定用總評(píng)價(jià)值成為最小的運(yùn)動(dòng)矢量來作為最適當(dāng)矢量210。
如圖7所示的那樣，輸入圖象202和預(yù)測圖象204分別輸入亮度色差分離部230a、230b，被分離成輸入圖象亮度信號(hào)231、輸入圖象色差信號(hào)232、預(yù)測圖象亮度信號(hào)233、預(yù)測圖象色差信號(hào)234。由減法器235a、235b從所分離的信號(hào)中求出亮度信號(hào)彼此或者輸出信號(hào)彼此的差分，由亮度評(píng)價(jià)值生成部236和色差評(píng)價(jià)值生成部237來分別獨(dú)立地計(jì)算出評(píng)價(jià)值。通過加法器238來把所算出的亮度評(píng)價(jià)值和色差評(píng)價(jià)值相加，而得到總評(píng)價(jià)值239。根據(jù)該總評(píng)價(jià)值，在多個(gè)取得的運(yùn)動(dòng)矢量中，總評(píng)價(jià)值成為最小的運(yùn)動(dòng)矢量成為最適當(dāng)矢量210。
在現(xiàn)有的運(yùn)動(dòng)補(bǔ)償預(yù)測中，一般是僅由亮度成分算出評(píng)價(jià)值。而分離成亮度色差來求出評(píng)價(jià)值的方案能夠通過使用色差圖象來求出僅由亮度不能求出的運(yùn)動(dòng)。當(dāng)分離出亮度成分和色差成分時(shí)，雖然在亮度信號(hào)上沒有變化，而存在在色差成分上明確看到變化的圖象。在這樣的圖象的情況下，當(dāng)僅由亮度成分進(jìn)行運(yùn)動(dòng)補(bǔ)償時(shí)，不可能追隨色差成分的變化，而求出了錯(cuò)誤的矢量。通過同時(shí)評(píng)價(jià)色差成分，就能在上述那樣的情況下求出最適當(dāng)矢量。
這樣，通過把亮度信號(hào)和色差信號(hào)加到運(yùn)動(dòng)補(bǔ)償預(yù)測的評(píng)價(jià)值上，就能提高僅由亮度信號(hào)不能進(jìn)行平價(jià)的顏色的運(yùn)動(dòng)的再現(xiàn)性。
雖然在此沒有描述，但是，通過由加法器238來在亮度評(píng)價(jià)值和色差評(píng)價(jià)值的相加中進(jìn)行加權(quán)相加運(yùn)算，就能求出更適當(dāng)?shù)脑u(píng)價(jià)值。
實(shí)施例8圖8是表示實(shí)施例8所涉及的運(yùn)動(dòng)補(bǔ)償裝置的方框圖。
在圖8中，與圖1所示的實(shí)施例1相同的部分使用相同的標(biāo)號(hào)，而省略其說明。作為新的標(biāo)號(hào)，230c是從運(yùn)動(dòng)矢量203分離出運(yùn)動(dòng)矢量亮度信號(hào)242和運(yùn)動(dòng)矢量色差信號(hào)243的第三亮度色差分離部，244是把來自色差評(píng)價(jià)值生成部237的亮度評(píng)價(jià)值與來自色差評(píng)價(jià)值生成部237的色差評(píng)價(jià)值進(jìn)行比較而輸出評(píng)價(jià)值比較差的作為評(píng)價(jià)值運(yùn)算部的亮度色差評(píng)價(jià)值比較部，運(yùn)動(dòng)補(bǔ)償處理部200輸入輸入圖象202和參照?qǐng)D象201，輸出輸入圖象202和參照?qǐng)D象201之間的運(yùn)動(dòng)矢量，以及，相對(duì)于輸入圖象202的亮度成分，輸出從參照?qǐng)D象201按照運(yùn)動(dòng)矢量亮度信號(hào)抽出的預(yù)測圖象亮度信號(hào)240和按照運(yùn)動(dòng)矢量色差信號(hào)抽出的預(yù)測圖象色差信號(hào)241，最適當(dāng)矢量決定部209輸入運(yùn)動(dòng)矢量亮度信號(hào)242以及運(yùn)動(dòng)矢量色差信號(hào)243和上述評(píng)價(jià)值比較差，從多個(gè)取得的運(yùn)動(dòng)矢量中，輸出上述評(píng)價(jià)值比較差成為最小的運(yùn)動(dòng)矢量來作為最適當(dāng)矢量。
如圖8所示的那樣，對(duì)于輸入圖象202的亮度成分，從參照?qǐng)D象201分別求出符合運(yùn)動(dòng)矢量亮度信號(hào)242的預(yù)測圖象亮度信號(hào)240，和符合運(yùn)動(dòng)矢量色差信號(hào)243的預(yù)測圖象色差信號(hào)241。輸入圖象202通過亮度色差分離部230a被分離成亮度信號(hào)231和色差信號(hào)232。對(duì)于亮度信號(hào)的輸入圖象和預(yù)測圖象以及輸出信號(hào)的輸入圖象和預(yù)測圖象分別取得差分，分別運(yùn)算亮度評(píng)價(jià)值和色差評(píng)價(jià)值，并輸入亮度色差評(píng)價(jià)值比較部244。由比較部244來執(zhí)行進(jìn)行了加權(quán)的比較，把被判斷為更適當(dāng)?shù)脑u(píng)價(jià)值輸出給最適當(dāng)矢量決定部209。最適當(dāng)矢量決定部209輸入亮度、色差的各自的矢量，通過以前輸入的評(píng)價(jià)值，來輸出從亮度、色差矢量中所選擇的來作為最適當(dāng)矢量210。
實(shí)施例9圖9是表示實(shí)施例9所涉及的運(yùn)動(dòng)補(bǔ)償裝置的方框圖。
圖9所示的運(yùn)動(dòng)補(bǔ)償裝置是在進(jìn)行運(yùn)動(dòng)圖象編碼時(shí)以塊單位從以前幀的數(shù)據(jù)預(yù)測運(yùn)動(dòng)來進(jìn)行信息量削減的運(yùn)動(dòng)補(bǔ)償裝置，包括存儲(chǔ)以前幀的數(shù)據(jù)的以前幀存儲(chǔ)器104；從目前幀的塊數(shù)據(jù)150和以前幀的探索范圍數(shù)據(jù)151的特定區(qū)域來進(jìn)行圖形匹配，而計(jì)算提供最小變形的運(yùn)動(dòng)矢量155和最小變形154的最小變形計(jì)算部101；計(jì)算目前幀的塊數(shù)據(jù)150和與從外部所輸入的一個(gè)以上特定矢量153相對(duì)應(yīng)的以前幀的塊數(shù)據(jù)152的變形156的特定矢量計(jì)算部102；根據(jù)從上述最小變形計(jì)算部101所輸出的變形和從上述特定矢量計(jì)算部102所輸出的變形而輸出最適當(dāng)運(yùn)動(dòng)矢量157的最適當(dāng)矢量輸出部103。
下面對(duì)圖9的動(dòng)作進(jìn)行說明。
在最小變形計(jì)算部101中，對(duì)于目前幀的塊數(shù)據(jù)150，從以前幀的探索范圍數(shù)據(jù)151來計(jì)算出成為最小的最小變形154和提供最小變形的運(yùn)動(dòng)矢量155，并輸出。另一方面，在特定矢量計(jì)算部102中，從以前幀存儲(chǔ)器104取出與由外部提供的特定矢量153相對(duì)應(yīng)的數(shù)據(jù)152，計(jì)算該數(shù)據(jù)和目前幀的塊數(shù)據(jù)150的變形156。
以來自最小變形計(jì)算部101的最小變形154和來自特定矢量計(jì)算部102的變形156為基礎(chǔ)，在最適當(dāng)矢量輸出部103中計(jì)算最適當(dāng)矢量。
作為最適當(dāng)矢量輸出部103的最適當(dāng)矢量計(jì)算方法，例舉出了圖11。即，把來自最小變形計(jì)算部101的最小變形154與偏移值110相加，由比較器112來比較其結(jié)果和來自特定矢量計(jì)算部102的變形156，輸出提供較小值的矢量來作為最適當(dāng)運(yùn)動(dòng)矢量156。
如圖10所示的那樣，輸入作為最適當(dāng)矢量輸出部103的輸出的最適當(dāng)運(yùn)動(dòng)矢量157來作為特定矢量計(jì)算部102的輸入和特定矢量153，由此，輸入前一個(gè)塊的最適當(dāng)矢量來作為特定矢量，由此，在選擇以前塊的最適當(dāng)矢量作為目前塊的最適當(dāng)矢量的情況下，能夠大幅度減小運(yùn)動(dòng)矢量的可變長編碼中的信息量。
最適當(dāng)矢量輸出部103，如圖12所示的那樣，進(jìn)一步包括偏移值計(jì)算部114，通過提供最小變形的運(yùn)動(dòng)矢量155與特定矢量153的差分的大小來適當(dāng)?shù)刈兏峁┰趤碜宰钚∽冃斡?jì)算部101的變形上進(jìn)行了加權(quán)的偏移值，這樣就能通過差分值來決定偏移值。例如，當(dāng)矢量的差分較小時(shí)，提供較小的偏移值。當(dāng)差分較大時(shí)，提供較大的偏移值。由此，當(dāng)某種程度矢量的差分較大時(shí)，如果特定矢量的值≤((最小變形)+偏移)作為選擇特定矢量作為最適當(dāng)運(yùn)動(dòng)矢量。
由此，能夠大幅度削減可變長編碼時(shí)的發(fā)生信息量。
實(shí)施例10下面，在以下的實(shí)施例中，提供運(yùn)動(dòng)圖象編碼裝置和方法，不但具有簡單構(gòu)成下的實(shí)用性和通用性，還考慮了總的編碼量和變形的平衡，把當(dāng)對(duì)編碼變形的降低沒有貢獻(xiàn)時(shí)所考慮的運(yùn)動(dòng)矢量校正為成為編碼量最小的預(yù)測矢量，抑制整體變形的增大并削減運(yùn)動(dòng)矢量的編碼量。本方法能夠用于在現(xiàn)有技術(shù)中所述的各種國際標(biāo)準(zhǔn)運(yùn)動(dòng)圖象編碼方式，在有效地削減編碼系統(tǒng)整體中的編碼量的目的上，與上述各實(shí)施例相一致。
首先，在該實(shí)施例10所涉及的運(yùn)動(dòng)圖象編碼裝置中，根據(jù)運(yùn)動(dòng)補(bǔ)償預(yù)測來進(jìn)行運(yùn)動(dòng)圖象編碼，其中包括存儲(chǔ)器，存儲(chǔ)用于運(yùn)動(dòng)補(bǔ)償預(yù)測的參照?qǐng)D象數(shù)據(jù)；運(yùn)動(dòng)檢出部，根據(jù)輸入宏塊和來自上述存儲(chǔ)器的參照?qǐng)D象數(shù)據(jù)來檢出提供最小預(yù)測誤差的運(yùn)動(dòng)矢量；預(yù)測矢量導(dǎo)出部，導(dǎo)出在對(duì)用于輸入宏塊的運(yùn)動(dòng)補(bǔ)償預(yù)測的運(yùn)動(dòng)矢量進(jìn)行編碼時(shí)所使用的預(yù)測矢量；運(yùn)動(dòng)補(bǔ)償部，根據(jù)所提供的運(yùn)動(dòng)矢量來取出上述存儲(chǔ)器內(nèi)的參照?qǐng)D象數(shù)據(jù)對(duì)應(yīng)位置的圖象數(shù)據(jù)，來作為與運(yùn)動(dòng)矢量相對(duì)應(yīng)的預(yù)測圖象；閾值處理部，根據(jù)由上述運(yùn)動(dòng)檢出部所得到的運(yùn)動(dòng)矢量并使用從上述運(yùn)動(dòng)補(bǔ)償部所輸出的預(yù)測圖象來求出預(yù)測誤差量，使用第一閾值來對(duì)該預(yù)測誤差量進(jìn)行閾值判定，當(dāng)判定結(jié)果是預(yù)測誤差量大于第一閾值時(shí)，把由上述預(yù)測矢量導(dǎo)出部所得到的預(yù)測矢量輸出給上述運(yùn)動(dòng)補(bǔ)償部，而當(dāng)預(yù)測誤差量小于第一閾值時(shí)，把由上述運(yùn)動(dòng)檢出部所得到的運(yùn)動(dòng)矢量輸出給上述運(yùn)動(dòng)補(bǔ)償部；預(yù)測圖象判定部，生成由與預(yù)測矢量相對(duì)應(yīng)的預(yù)測圖象所產(chǎn)生的預(yù)測誤差信號(hào)，使用第二閾值來對(duì)該預(yù)測誤差信號(hào)的發(fā)生編碼量推定值進(jìn)行閾值判定，當(dāng)判定結(jié)果是預(yù)測誤差信號(hào)的發(fā)生編碼量推定值大于第二閾值時(shí)，輸出由上述運(yùn)動(dòng)檢出部所得到運(yùn)動(dòng)矢量來作為最終運(yùn)動(dòng)矢量，而當(dāng)預(yù)測誤差信號(hào)的發(fā)生編碼量推定值小于第二閾值時(shí)，輸出上述預(yù)測矢量來作為最終運(yùn)動(dòng)矢量，并且，輸出與最終運(yùn)動(dòng)矢量相對(duì)應(yīng)的預(yù)測圖象來作為最終預(yù)測圖象。對(duì)于圖象數(shù)據(jù)的編碼量，當(dāng)運(yùn)動(dòng)參數(shù)(運(yùn)動(dòng)矢量)的編碼量的比率變高的低比特率編碼時(shí)，實(shí)現(xiàn)了全體的編碼量和編碼變形的平衡良好的編碼。
本實(shí)施例10，在由一般的運(yùn)動(dòng)補(bǔ)償預(yù)測和離散余弦變換(discrete cosinetransform，以下簡稱為DCT)·量化所進(jìn)行的運(yùn)動(dòng)圖象編碼裝置中，表示出了裝入本實(shí)施例所涉及的技術(shù)要素的例子。
圖13是本實(shí)施例10中的運(yùn)動(dòng)圖象編碼裝置的內(nèi)部構(gòu)成圖。
在根據(jù)圖13所示的實(shí)施例10中的使用運(yùn)動(dòng)矢量的運(yùn)動(dòng)補(bǔ)償預(yù)測來進(jìn)行運(yùn)動(dòng)圖象編碼的裝置中，作為主要的構(gòu)成，在運(yùn)動(dòng)補(bǔ)償預(yù)測部19內(nèi)包括幀存儲(chǔ)器34，存儲(chǔ)用于運(yùn)動(dòng)補(bǔ)償預(yù)測的參照?qǐng)D象數(shù)據(jù)；運(yùn)動(dòng)檢出部20，根據(jù)輸入宏塊3和來自上述存儲(chǔ)器34的參照?qǐng)D象數(shù)據(jù)來檢出提供最小預(yù)測誤差的運(yùn)動(dòng)矢量21；預(yù)測矢量導(dǎo)出部27，導(dǎo)出在對(duì)用于輸入宏塊3的運(yùn)動(dòng)補(bǔ)償預(yù)測的運(yùn)動(dòng)矢量進(jìn)行編碼時(shí)所使用的預(yù)測矢量28；運(yùn)動(dòng)補(bǔ)償部22，根據(jù)所提供的運(yùn)動(dòng)矢量來取出上述存儲(chǔ)器34內(nèi)的參照?qǐng)D象數(shù)據(jù)對(duì)應(yīng)位置的圖象數(shù)據(jù)，來作為與運(yùn)動(dòng)矢量相對(duì)應(yīng)的預(yù)測圖象23,29；閾值處理部24，根據(jù)由上述運(yùn)動(dòng)檢出部20所得到的運(yùn)動(dòng)矢量21并使用從上述運(yùn)動(dòng)補(bǔ)償部22所輸出的預(yù)測圖象23來求出預(yù)測誤差量，使用第一閾值來對(duì)該預(yù)測誤差量進(jìn)行閾值判定，當(dāng)判定結(jié)果是預(yù)測誤差量大于第一閾值時(shí)，把由上述預(yù)測矢量導(dǎo)出部27所得到的預(yù)測矢量28輸出給上述運(yùn)動(dòng)補(bǔ)償部22，而當(dāng)預(yù)測誤差量小于第一閾值時(shí)，把由上述運(yùn)動(dòng)檢出部20所得到的運(yùn)動(dòng)矢量21輸出給上述運(yùn)動(dòng)補(bǔ)償部22；預(yù)測圖象判定部30，生成由與預(yù)測矢量28相對(duì)應(yīng)的預(yù)測圖象29所產(chǎn)生的預(yù)測誤差信號(hào)，使用第二閾值來對(duì)該預(yù)測誤差信號(hào)的發(fā)生編碼量推定值進(jìn)行閾值判定，當(dāng)判定結(jié)果是預(yù)測誤差信號(hào)的發(fā)生編碼量推定值大于第二閾值時(shí)，輸出由上述運(yùn)動(dòng)檢出部20所得到運(yùn)動(dòng)矢量21來作為最終運(yùn)動(dòng)矢量33，而當(dāng)預(yù)測誤差信號(hào)的發(fā)生編碼量推定值小于第二閾值時(shí)，輸出上述預(yù)測矢量28來作為最終運(yùn)動(dòng)矢量33，并且，輸出與最終運(yùn)動(dòng)矢量33相對(duì)應(yīng)的預(yù)測圖象37來作為最終預(yù)測圖象。
作為其他的標(biāo)號(hào)，2是根據(jù)輸入圖象信號(hào)1而生成輸入宏塊3的宏塊生成部，5是根據(jù)輸入宏塊3和預(yù)測誤差信號(hào)4的輸入來進(jìn)行方式判定而輸出方式選擇信息6和編碼對(duì)象圖象信號(hào)7的方式判定部，8是對(duì)編碼對(duì)象圖象信號(hào)7進(jìn)行離散余弦變換而輸出DCT系數(shù)數(shù)據(jù)的DCT部，10是對(duì)DCT系數(shù)數(shù)據(jù)9進(jìn)行量化而輸出量化DCT系數(shù)數(shù)據(jù)的量化部，12是對(duì)量化DCT系數(shù)數(shù)據(jù)11進(jìn)行逆量化而輸出逆量化DCT系數(shù)數(shù)據(jù)13的逆量化部，14是根據(jù)逆量化DCT系數(shù)數(shù)據(jù)13來復(fù)原解碼圖象數(shù)據(jù)15的逆DCT部，16是解碼重放圖象，17是按照來自方式判定部5的方式選擇信息6來進(jìn)行控制的開關(guān)，26和32是運(yùn)動(dòng)補(bǔ)償預(yù)測部19內(nèi)的開關(guān)，38是可變長編碼·復(fù)用部，把量化DCT系數(shù)數(shù)據(jù)11、方式選擇信息6、運(yùn)動(dòng)矢量33以預(yù)定的語法、可變長編碼方法復(fù)用為比特流39的形式而輸出。
圖14是表示用于說明本實(shí)施例10所涉及的運(yùn)動(dòng)圖象編碼裝置和方法的包含圖13的運(yùn)動(dòng)補(bǔ)償預(yù)測部19的運(yùn)動(dòng)矢量檢出的處理過程的流程圖。
下面說明圖13和圖14。
(1)編碼裝置的全體動(dòng)作首先，對(duì)圖13的編碼裝置的全體動(dòng)作進(jìn)行簡單地說明。輸入圖象信號(hào)1中與一幀相對(duì)應(yīng)的數(shù)據(jù)被輸入，該幀數(shù)據(jù)由宏塊生成部2分割成輸入宏塊3。對(duì)于各個(gè)輸入宏塊，在方式判定部5中決定是進(jìn)行幀內(nèi)編碼還是進(jìn)行幀間編碼。用于判定的是輸入宏塊3和預(yù)測誤差信號(hào)4，該預(yù)測誤差信號(hào)4是通過運(yùn)動(dòng)補(bǔ)償預(yù)測部19的處理而得到的預(yù)測圖象37與輸入宏塊3的差分信號(hào)，通過預(yù)定的判定方法來選擇判斷為編碼效率高的信號(hào)作為編碼對(duì)象圖象信號(hào)7。此時(shí)的判定方法可以采用各種方法，但是，由于其不是本發(fā)明的技術(shù)要素，就不進(jìn)行詳細(xì)說明了。下面詳細(xì)說明生成預(yù)測圖象37和運(yùn)動(dòng)矢量33的運(yùn)動(dòng)補(bǔ)償預(yù)測部19的處理。
編碼對(duì)象圖象信號(hào)7在DCT部8中對(duì)每個(gè)由8×8象素組成的塊進(jìn)行DCT，而變換為DCT系數(shù)數(shù)據(jù)9。DCT系數(shù)數(shù)據(jù)9由量化部10按照預(yù)定的方法進(jìn)行量化，而作為量化DCT系數(shù)數(shù)據(jù)11送給可變長編碼·復(fù)用部38。量化DCT系數(shù)數(shù)據(jù)11在逆量化部12中被恢復(fù)為逆量化DCT系數(shù)數(shù)據(jù)13，在逆DCT部14中復(fù)原為解碼圖象數(shù)據(jù)15。其中，按照來自方式判定部5的方式選擇信息6來控制開關(guān)17，當(dāng)是幀內(nèi)編碼方式時(shí)，得到「0」；當(dāng)是幀間編碼方式時(shí)，與預(yù)測圖象37相加而得到解碼重放圖象16。
解碼重放圖象16用于以后的運(yùn)動(dòng)補(bǔ)償預(yù)測，因此，被存儲(chǔ)在幀存儲(chǔ)器34中。運(yùn)動(dòng)補(bǔ)償預(yù)測部19除了輸出預(yù)測圖象37外，還向可變長編碼·復(fù)用部38輸出用于得到預(yù)測圖象37的運(yùn)動(dòng)矢量33。
可變長編碼·復(fù)用部38以預(yù)定的算法、可變長編碼方法來把量化DCT系數(shù)數(shù)據(jù)11、運(yùn)動(dòng)矢量33和方式選擇信息6等復(fù)用成為比特流39形式并輸出。其中，預(yù)定的算法是指按照上述的國際標(biāo)準(zhǔn)運(yùn)動(dòng)圖象編碼標(biāo)準(zhǔn)所決定的數(shù)據(jù)復(fù)用規(guī)則。
(2)運(yùn)動(dòng)補(bǔ)償預(yù)測部19的動(dòng)作運(yùn)動(dòng)補(bǔ)償預(yù)測部19的內(nèi)部構(gòu)成為圖13所示的那樣。下面同時(shí)使用圖14的流程來詳細(xì)說明其動(dòng)作。
(2-1)運(yùn)動(dòng)檢出處理(步驟S1)首先，如步驟S1所示的那樣，對(duì)于輸入宏塊3，求出提供最小預(yù)測誤差(最小匹配變形)的運(yùn)動(dòng)矢量21。該處理在運(yùn)動(dòng)檢出部20中進(jìn)行。對(duì)于預(yù)測誤差，具有現(xiàn)有技術(shù)中所述的差分絕對(duì)值和(SAD)和對(duì)宏塊亮度成分的全部象素來總合象素差分平方的差分平方和等，但是，在下面使用SAD。運(yùn)動(dòng)檢出部20在輸入宏塊3和幀存儲(chǔ)器34中提供參照?qǐng)D象的運(yùn)動(dòng)矢量探索范圍中包含的圖象數(shù)據(jù)之間，求出使SAD成為最小的參照?qǐng)D象數(shù)據(jù)位置，輸出距輸入宏塊3的幀內(nèi)位置的偏移來作為運(yùn)動(dòng)矢量21。用于預(yù)測誤差的計(jì)算的幀存儲(chǔ)器34中的參照?qǐng)D象數(shù)據(jù)通過圖象數(shù)據(jù)總線35送入運(yùn)動(dòng)檢出部20。
接著，開關(guān)26接通而把該運(yùn)動(dòng)矢量21傳輸給運(yùn)動(dòng)補(bǔ)償部22。運(yùn)動(dòng)補(bǔ)償部22通過運(yùn)動(dòng)矢量21來經(jīng)過圖象數(shù)據(jù)總線36取出與幀存儲(chǔ)器34中的參照?qǐng)D象數(shù)據(jù)的對(duì)應(yīng)位置的圖象數(shù)據(jù)，而作為預(yù)測圖象23輸出。預(yù)測圖象23首先被送給最終預(yù)測圖象判定部30，在此時(shí)刻，最終預(yù)測圖象判定部30把該預(yù)測圖象23原封不動(dòng)地作為預(yù)測圖象37直接輸出。
(2-2)方式判定(步驟S2、S3)接著，在步驟S2中，進(jìn)行幀內(nèi)/幀間判定。該處理不是由運(yùn)動(dòng)補(bǔ)償預(yù)測部19而是由方式判定部5來按(1)所述的那樣進(jìn)行。接著，在步驟S3中，判定方式選擇信息6是否表示「幀間方式」。如果是幀內(nèi)方式即把輸入宏塊3直接作為編碼對(duì)象信號(hào)的方式，則在此結(jié)束運(yùn)動(dòng)補(bǔ)償預(yù)測部19的處理。
(2-3)運(yùn)動(dòng)矢量的效率判定(步驟S4)如果是幀間方式即把輸入宏塊3和預(yù)測圖象37的差分圖象(預(yù)測誤差信號(hào))作為編碼對(duì)象信號(hào)的方式，則按照以下說明的順序和動(dòng)作來考慮編碼量和編碼變形的均衡，而在總體上修改決定效率更高的運(yùn)動(dòng)矢量。首先，在幀間方式的情況下，啟動(dòng)最小匹配變形閾值處理部24，對(duì)于由預(yù)測圖象23所產(chǎn)生的SAD，根據(jù)預(yù)定的閾值TH1來進(jìn)行閾值判定(步驟S4)。其中，如果實(shí)驗(yàn)或經(jīng)驗(yàn)地決定TH1來作為謀求預(yù)測效率的值，則在產(chǎn)生大于TH1的SAD的情況下，由運(yùn)動(dòng)矢量21所產(chǎn)生的運(yùn)動(dòng)補(bǔ)償預(yù)測能夠判斷為預(yù)測效率不那么好。即，在該宏塊中，使用運(yùn)動(dòng)矢量21來得到預(yù)測誤差信號(hào)，為了對(duì)該預(yù)測誤差信號(hào)進(jìn)行編碼，可以進(jìn)行較多的編碼量為必要的某種程度推測。因此，此時(shí)的運(yùn)動(dòng)矢量21消耗運(yùn)動(dòng)矢量21自身的編碼量，而判斷為進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測的價(jià)值較低，而謀求運(yùn)動(dòng)矢量的編碼量的削減。
反之，在SAD為小于TH1的值的情況下，確認(rèn)運(yùn)動(dòng)矢量21的效率，原封不動(dòng)地使用其來作為最終的運(yùn)動(dòng)矢量，來進(jìn)行編碼。
(2-4)運(yùn)動(dòng)矢量的置換處理(步驟S5～S9)在上述步驟S4中，討論了當(dāng)判斷為SAD大于TH1時(shí)，把運(yùn)動(dòng)矢量21置換為在實(shí)際進(jìn)行差分編碼時(shí)使用的預(yù)測矢量。一般，在現(xiàn)有的運(yùn)動(dòng)圖象編碼標(biāo)準(zhǔn)方式中，運(yùn)動(dòng)矢量由附近的運(yùn)動(dòng)矢量進(jìn)行預(yù)測，對(duì)其差分值進(jìn)行編碼。由于運(yùn)動(dòng)矢量取與附近相似的值，則分配預(yù)測差分接近于零等編碼長度短的編碼，來進(jìn)行編碼。因此，使運(yùn)動(dòng)矢量與預(yù)測矢量相一致，由此，運(yùn)動(dòng)矢量的編碼量成為最小的，因此，通過該置換，如果預(yù)測誤差信號(hào)的編碼量不是非常大，就能進(jìn)行在總量上削減了編碼量的效率高的編碼。
當(dāng)最小匹配變形閾值處理部24在步驟S4中判斷為SAD大于TH1時(shí)，通過控制信號(hào)25來切換開關(guān)26，給預(yù)測矢量導(dǎo)出部27提供運(yùn)動(dòng)矢量21。預(yù)測矢量導(dǎo)出部27進(jìn)行步驟S5的處理，導(dǎo)出在對(duì)運(yùn)動(dòng)矢量21實(shí)際進(jìn)行編碼時(shí)使用的運(yùn)動(dòng)矢量編碼用的預(yù)測矢量28。例如，使預(yù)測方法取以前的宏塊的運(yùn)動(dòng)矢量作為預(yù)測矢量(在MPEG-1和MPEG-2中采用其)。這樣一來，運(yùn)動(dòng)矢量21為(-2,8)，在以前的宏寬的運(yùn)動(dòng)矢量為(0,4)的情況下，進(jìn)行編碼的運(yùn)動(dòng)矢量數(shù)據(jù)其差分為(2,4)。其中，運(yùn)動(dòng)矢量(x,y)代表把從被預(yù)測宏塊的象素位置向水平方向偏移x象素(以右方向?yàn)檎?、向垂直方向偏移y象素(以下方向?yàn)檎?的位置的正存儲(chǔ)器中的象素作為預(yù)測象素。預(yù)測矢量導(dǎo)出部27輸出與預(yù)測矢量相對(duì)應(yīng)的(0,4)作為置換候補(bǔ)矢量。
運(yùn)動(dòng)補(bǔ)償部22接受預(yù)測矢量28，以與上述預(yù)測圖象23的取得相同的程序來輸出與預(yù)測矢量28相對(duì)應(yīng)的預(yù)測圖象29。
預(yù)測圖象29與預(yù)測圖象23一起被輸入最終預(yù)測圖象判定部30。最終預(yù)測圖象判定部30生成由預(yù)測圖象29所產(chǎn)生的預(yù)測誤差信號(hào)(通過取得與輸入宏塊3的差分而得到。相當(dāng)于步驟S6)，檢驗(yàn)該預(yù)測誤差信號(hào)的編碼效率。其目的是在用預(yù)測矢量28來置換運(yùn)動(dòng)矢量21時(shí)，當(dāng)隨之預(yù)測誤差信號(hào)的編碼量大幅度增加時(shí)，運(yùn)動(dòng)矢量的置換為反效果，由此，以某種程度來測量預(yù)測誤差信號(hào)的編碼量的程度。
檢驗(yàn)的方法是使用作為預(yù)測誤差信號(hào)的發(fā)生編碼量推定值的亮度成分的分散值的閾值判定(步驟S7、S8)。該判定方法的根據(jù)為以下這樣預(yù)測誤差信號(hào)一般具有在零附近存在峰值的拉普拉斯、高斯類的分布。編碼是把該預(yù)測誤差信號(hào)通過DCT變換為頻率成分，為了利用其系數(shù)分布偏向于低頻的情況來削減冗余度，則在高頻成分中建立的系數(shù)的發(fā)生頻率成為編碼效率的量度。高頻成分的含有率在某種程度上有預(yù)測誤差信號(hào)的信號(hào)分布的分散所代表。分散越大，信號(hào)分布的峰值下部越寬。則DCT系數(shù)的高頻成分的發(fā)生頻率變高。
從這樣的觀點(diǎn)看，特別是把占編碼量的多數(shù)的亮度成分的分散值σ2用于閾值判定，當(dāng)該分散值小于閾值TH2時(shí)，作為由運(yùn)動(dòng)矢量置換所產(chǎn)生的預(yù)測誤差信號(hào)的編碼量增加被進(jìn)行了某種程度的抑制的結(jié)果，而確認(rèn)運(yùn)動(dòng)矢量的置換(步驟S9)。反之，當(dāng)亮度成分的分散值大于TH2時(shí)，則判定為運(yùn)動(dòng)矢量置換反而引起了預(yù)測誤差信號(hào)的編碼量增加，則不確認(rèn)運(yùn)動(dòng)矢量的置換，把提供最小SAD的運(yùn)動(dòng)矢量21作為最終的運(yùn)動(dòng)矢量。
最終預(yù)測圖象判定部30根據(jù)以上的亮度信號(hào)分散值來進(jìn)行置換可否的判定，作為其結(jié)果，通過控制信號(hào)31來切換開關(guān)32，輸出最終運(yùn)動(dòng)矢量33，同時(shí)，從預(yù)測圖象23、預(yù)測圖象29中選擇與最終運(yùn)動(dòng)矢量33相對(duì)應(yīng)的最終預(yù)測圖象37而輸出。即，在幀間方式中，使用經(jīng)過以上處理后的最終預(yù)測圖象37來實(shí)施幀間編碼，同時(shí)，把最終運(yùn)動(dòng)矢量33送給可變長編碼·復(fù)用部38來進(jìn)行編碼。
當(dāng)根據(jù)使用上述圖14所示的運(yùn)動(dòng)矢量的運(yùn)動(dòng)補(bǔ)償預(yù)測來歸納運(yùn)動(dòng)圖象編碼方法中的處理步驟時(shí)，為以下這樣即，圖14所示的運(yùn)動(dòng)圖象編碼方法包括運(yùn)動(dòng)矢量檢出步驟S1，根據(jù)輸入宏塊和參照?qǐng)D象數(shù)據(jù)來檢出提供最小預(yù)測誤差(最小匹配變形)的運(yùn)動(dòng)矢量；第一閾值判定步驟S4，根據(jù)輸入宏塊和運(yùn)動(dòng)矢量所相對(duì)應(yīng)的預(yù)測圖象并使用第一閾值來對(duì)預(yù)測誤差信號(hào)進(jìn)行閾值判定；預(yù)測矢量導(dǎo)出步驟S5，當(dāng)?shù)谝婚撝蹬卸ńY(jié)果是預(yù)測誤差信號(hào)大于第一閾值時(shí)，導(dǎo)出在對(duì)運(yùn)動(dòng)矢量進(jìn)行編碼時(shí)所使用的預(yù)測矢量；預(yù)測誤差信號(hào)生成步驟S6，生成由與預(yù)測矢量相對(duì)應(yīng)的預(yù)測圖象所產(chǎn)生的預(yù)測誤差信號(hào)；計(jì)算步驟S7，算出預(yù)測誤差信號(hào)的發(fā)生編碼量推定值；第二閾值判定步驟S8，使用第二閾值來對(duì)所算出的預(yù)測誤差信號(hào)的發(fā)生編碼量推定值進(jìn)行閾值判定；置換步驟S9，當(dāng)?shù)诙撝蹬卸ńY(jié)果是預(yù)測誤差信號(hào)的發(fā)生編碼量推定值小于第二閾值時(shí)，把運(yùn)動(dòng)矢量置換為上述預(yù)測矢量；使用運(yùn)動(dòng)矢量來實(shí)施運(yùn)動(dòng)預(yù)測編碼。
通過上述構(gòu)成的編碼裝置和方法，通過閾值判定來指定對(duì)預(yù)測誤差信號(hào)的編碼量削減沒有貢獻(xiàn)的運(yùn)動(dòng)矢量，而能夠一邊抑制預(yù)測誤差信號(hào)的編碼量增加一邊削減運(yùn)動(dòng)矢量的編碼量來進(jìn)行編碼，因此，能夠選擇運(yùn)動(dòng)信息、圖象信息的總的編碼效率最適當(dāng)?shù)倪\(yùn)動(dòng)矢量。
在本實(shí)施例10中，雖然未對(duì)閾值TH1和TH2的具體決定方法進(jìn)行描述，但是，由于這些值根據(jù)特定的編碼比特率和幀速率等來變化最適當(dāng)值，因此能夠作為與狀況相對(duì)應(yīng)的調(diào)諧的參數(shù)來使用。通過把這些值設(shè)定為最適當(dāng)，能夠提高編碼效率。
在本實(shí)施例10的編碼裝置中，與現(xiàn)有的運(yùn)動(dòng)矢量探索相比，追加了SAD的閾值處理、預(yù)測矢量和由預(yù)測矢量所產(chǎn)生的預(yù)測誤差信號(hào)的導(dǎo)出、由預(yù)測矢量所產(chǎn)生的預(yù)測誤差信號(hào)的亮度信號(hào)的分散值的計(jì)算和閾值處理。但是，除了SAD和分散值的閾值處理可以由一個(gè)條件分支來實(shí)現(xiàn)之外，預(yù)測矢量導(dǎo)出即使在現(xiàn)有的運(yùn)動(dòng)矢量編碼時(shí)也不需要特別的追加機(jī)構(gòu)。
由預(yù)測矢量所產(chǎn)生的預(yù)測誤差信號(hào)的導(dǎo)出能夠通過宏塊的緩沖存儲(chǔ)和預(yù)測矢量的暫時(shí)存儲(chǔ)，而由檢出提供最小SAD的運(yùn)動(dòng)矢量的過程(運(yùn)動(dòng)檢出部20)來實(shí)施，分散值計(jì)算不僅可以每一個(gè)宏塊進(jìn)行一次處理(但是，在步驟S4中，僅對(duì)成為運(yùn)動(dòng)矢量置換的候補(bǔ)的宏塊)，而且可以通過追加極少的運(yùn)算量來實(shí)現(xiàn)。在由硬件構(gòu)成的情況下，必須追加若干內(nèi)部構(gòu)成部件，而在由軟件構(gòu)成編碼裝置的情況下，能夠僅增加少量的運(yùn)算量來實(shí)現(xiàn)。
在本實(shí)施例10中，雖然使用運(yùn)動(dòng)矢量來作為表現(xiàn)運(yùn)動(dòng)量的參數(shù)來進(jìn)行說明，但是，也可以適用于使用仿射參數(shù)和透視變換參數(shù)等更復(fù)雜的運(yùn)動(dòng)參數(shù)來進(jìn)行預(yù)測的情況。對(duì)于這些復(fù)雜的運(yùn)動(dòng)參數(shù)，在預(yù)測矢量導(dǎo)出部27中，能夠算出在參數(shù)編碼時(shí)削減冗余度來進(jìn)行編碼的參數(shù)。
實(shí)施例11在上述實(shí)施例10中，提供最小SAD的運(yùn)動(dòng)矢量可以從幾種方式中選擇。例如，根據(jù)MPEG-4的最終草案(ISO/IEC JTC 1/SC29WG11/N2202)和作為ITU-T推薦的H.263的選項(xiàng)之一的Advanced Prediction Mode，作為運(yùn)動(dòng)矢量，可以選擇對(duì)每個(gè)宏塊求出一個(gè)矢量的「1MV方式」和對(duì)于每個(gè)成為DCT單位的4個(gè)8象素×8線的塊求出一個(gè)運(yùn)動(dòng)矢量的「4MV方式」。在此情況下，比較「1MV方式」和「4MV方式」，選擇提供最小SAD的方式。
該處理可以在圖13的運(yùn)動(dòng)檢出部20的內(nèi)部實(shí)施，能夠作為圖14的步驟S1的分步驟而設(shè)置。
在此情況下的預(yù)測矢量導(dǎo)出部27進(jìn)行使用附近運(yùn)動(dòng)矢量的中間值的預(yù)測矢量的計(jì)算。
在圖15中，MV代表被預(yù)測運(yùn)動(dòng)矢量，MV1～MV3代表用于預(yù)測矢量的計(jì)算的必要的運(yùn)動(dòng)矢量，(a)決定了宏塊中左上的塊的運(yùn)動(dòng)矢量時(shí)的MV1～MV3的位置；(b)決定了宏塊中右上的塊的運(yùn)動(dòng)矢量時(shí)的MV1～MV3的位置；(c)決定了宏塊中左下的塊的運(yùn)動(dòng)矢量時(shí)的MV1～MV3的位置；(a)決定了宏塊中右下的塊的運(yùn)動(dòng)矢量時(shí)的MV1～MV3的位置。
預(yù)測矢量(Px,Py)由下式求出Px=Median(MV1x,MV2x,MV3x)Py=Median(MV1y,MV2y,MV3y)其中，MV1=(MV1x,MV1y)MV2=(MV2x,MV2y)MV3=(MV3x,MV3y)函數(shù)Median()輸出三個(gè)獨(dú)立變量的中央值。
雖然圖15為「4MV方式」的示意圖，但是，對(duì)于「1MV方式」，在該圖(a)的情況下也能說明。
在「1MV方式」的情況下，使用圖3(a)，來把MV視為宏塊全體的運(yùn)動(dòng)矢量，來求出預(yù)測矢量。MV1～MV3，在它們屬于的宏塊的運(yùn)動(dòng)矢量方式是「1MV方式」時(shí)，4個(gè)塊都視為相同的運(yùn)動(dòng)矢量。
根據(jù)本實(shí)施例12，在MPEG-4和H.263等把低比特率編碼作為目標(biāo)的編碼裝置中，可以使用本發(fā)明。
實(shí)施例12在本實(shí)施例12中，對(duì)具有以幀單位切換在實(shí)施例10中說明的運(yùn)動(dòng)矢量置換處理的ON/OFF的構(gòu)成的編碼裝置進(jìn)行說明。在運(yùn)動(dòng)補(bǔ)償預(yù)測的效率極高的幀中，運(yùn)動(dòng)矢量的置換成為逆效果，為了防止其，在幀全體中進(jìn)行ON/OFF，由此就能削減不進(jìn)行置換處理的幀中的運(yùn)算量。
即，在該實(shí)施例12中，進(jìn)一步包括幀活動(dòng)計(jì)算部40，根據(jù)來自運(yùn)動(dòng)檢出部20的運(yùn)動(dòng)矢量和最小預(yù)測誤差量的輸入，來算出幀活動(dòng)的值，根據(jù)所算出的值來以幀單位切換控制使用由最小匹配變形閾值處理部24和最終預(yù)測圖象判定部30所產(chǎn)生的運(yùn)動(dòng)矢量的置換處理，能夠?qū)γ繋刂七\(yùn)動(dòng)參數(shù)置換處理的ON/OFF，由此能夠更柔軟低進(jìn)行全體的編碼量和編碼變形的均衡良好的編碼。
在圖16中表示了本實(shí)施例12中的運(yùn)動(dòng)補(bǔ)償預(yù)測部19的內(nèi)部構(gòu)成。
在該圖中，與圖13所示的實(shí)施例10相同的部分使用相同標(biāo)號(hào)，而省略其說明。作為新的標(biāo)號(hào)，40是幀活動(dòng)計(jì)算部，根據(jù)來自運(yùn)動(dòng)檢出部20的運(yùn)動(dòng)矢量21和最小預(yù)測誤差41的輸入，來算出幀活動(dòng)的值，根據(jù)所算出的值來以幀單位切換控制使用由最小匹配變形閾值處理部24和最終預(yù)測圖象判定部30所產(chǎn)生的運(yùn)動(dòng)矢量的置換處理，43和44是用于根據(jù)該控制信號(hào)進(jìn)行運(yùn)動(dòng)矢量的置換處理的開關(guān)。
圖17是表示使用圖16的運(yùn)動(dòng)補(bǔ)償預(yù)測部19時(shí)的運(yùn)動(dòng)補(bǔ)償預(yù)測處理程序的流程圖。下面，使用圖16和圖17來詳細(xì)說明本實(shí)施例12中的運(yùn)動(dòng)補(bǔ)償預(yù)測部19的動(dòng)作。編碼裝置全體的構(gòu)成與在實(shí)施例10中說明的圖13相等價(jià)，僅置換了運(yùn)動(dòng)補(bǔ)償預(yù)測部19，方式判定部5的動(dòng)作與實(shí)施例10相同。
(1)運(yùn)動(dòng)檢出處理(步驟S1)首先，與實(shí)施例10相同，如步驟S1所示的那樣，對(duì)于輸入宏塊3，求出提供最小預(yù)測誤差(最小匹配變形)的運(yùn)動(dòng)矢量21。該運(yùn)動(dòng)矢量檢出的處理在一幀的范圍中實(shí)施，把各宏塊的運(yùn)動(dòng)矢量21和最小SAD 41輸入幀活動(dòng)計(jì)算部40。幀活動(dòng)計(jì)算部40在該幀中計(jì)算成為是否進(jìn)行運(yùn)動(dòng)矢量置換處理的判定基準(zhǔn)的幀活動(dòng)(步驟S10)。在從該幀活動(dòng)的值判斷為進(jìn)行運(yùn)動(dòng)矢量置換的情況下，通過開關(guān)42來使開關(guān)26、43、44都向著進(jìn)行實(shí)施例10的處理的方向動(dòng)作。否則，根據(jù)提供最小SAD的運(yùn)動(dòng)矢量21來使開關(guān)26、43、44強(qiáng)制地動(dòng)作，以便于進(jìn)行運(yùn)動(dòng)矢量預(yù)測。這些開關(guān)的切換相當(dāng)于圖17中的步驟S11，在圖17中，進(jìn)行宏塊單位的切換。雖然這也可以以幀單位來實(shí)施，而以下根據(jù)幀活動(dòng)的值對(duì)宏塊單位進(jìn)行選擇。
作為幀活動(dòng)的值，考慮幀全體的運(yùn)動(dòng)的大小和復(fù)雜度等。在具體的量中，考慮表示幀全體中的最小SAD總和和幀全體的運(yùn)動(dòng)矢量的偏差的程度的運(yùn)動(dòng)矢量分散等。例如，當(dāng)在幀間運(yùn)動(dòng)復(fù)雜的情況下，以僅用平行移動(dòng)來捕獲運(yùn)動(dòng)的運(yùn)動(dòng)矢量不能得到足夠的預(yù)測效率的可能性較高。在此情況下，運(yùn)動(dòng)矢量不能有效作用的位置較多，因此，使運(yùn)動(dòng)矢量置換的機(jī)構(gòu)成為ON。反之，在運(yùn)動(dòng)能夠通過單調(diào)來得到足夠的預(yù)測效率的情況下，使運(yùn)動(dòng)矢量置換的機(jī)構(gòu)為OFF，可以考慮一直使用最小SAD的運(yùn)動(dòng)矢量這樣的控制。在最小SAD的總和較大的幀中，考慮到來自以前幀的運(yùn)動(dòng)是復(fù)雜的無法捕獲運(yùn)動(dòng)的情況，可以僅對(duì)運(yùn)動(dòng)矢量的分散較大的情況視為運(yùn)動(dòng)的復(fù)雜度較大。因此，考慮幀活動(dòng)的定義。
下面，以在運(yùn)動(dòng)矢量置換的ON/OFF切換中使用最適當(dāng)?shù)幕顒?dòng)作為前提來接著進(jìn)行說明。
(2)方式判定(步驟S2、S3)接著，在步驟S2中，進(jìn)行幀內(nèi)/幀間判定。該處理不是由運(yùn)動(dòng)補(bǔ)償預(yù)測部19而是由方式判定部5來按(1)所述的那樣進(jìn)行。接著，在步驟S3中，判定方式選擇信息6是否表示「幀間方式」。如果是幀內(nèi)方式即把輸入宏塊3直接作為編碼對(duì)象信號(hào)的方式，則在此結(jié)束運(yùn)動(dòng)補(bǔ)償預(yù)測部19的處理。
(3)根據(jù)幀活動(dòng)來判定運(yùn)動(dòng)矢量置換處理的ON/OFF判定(步驟S11)如在(1)中說明的那樣，在步驟S11中，以在步驟S10中求出的幀活動(dòng)為基礎(chǔ)，來判定是使處理進(jìn)到運(yùn)動(dòng)矢量置換處理(步驟S4～S9)，還是原封不動(dòng)地使用提供最小SAD的運(yùn)動(dòng)矢量并結(jié)束運(yùn)動(dòng)補(bǔ)償預(yù)測的處理。
(4)運(yùn)動(dòng)矢量的置換處理(步驟S4～S9)當(dāng)在(3)中判定為進(jìn)行運(yùn)動(dòng)矢量置換處理時(shí)，在幀間方式下，通過在實(shí)施例1中所述的程序，考慮編碼量與編碼變形的均衡，來修改決定在總體上效率高的運(yùn)動(dòng)矢量。此時(shí)，控制開關(guān)43和44來進(jìn)行實(shí)施例1的動(dòng)作。在此情況下的處理程序與在實(shí)施例10中所述的方法大致相同，因此在此省略了其說明。
如上述那樣，根據(jù)使用圖17所示的運(yùn)動(dòng)矢量的運(yùn)動(dòng)補(bǔ)償預(yù)測，在運(yùn)動(dòng)圖象編碼方法中的處理步驟中，進(jìn)一步包括控制步驟，對(duì)圖14所示的處理步驟，根據(jù)運(yùn)動(dòng)矢量和最小預(yù)測誤差拉算出幀活動(dòng)的值，根據(jù)所算出的值來進(jìn)行是否以幀單位來進(jìn)行運(yùn)動(dòng)矢量和預(yù)測矢量的置換的切換控制，來實(shí)施運(yùn)動(dòng)預(yù)測編碼。
通過以上構(gòu)成的編碼裝置和方法，以幀單位和宏塊單位，通過閾值判定來指定對(duì)預(yù)測誤差信號(hào)的編碼量削減沒有貢獻(xiàn)的運(yùn)動(dòng)矢量，就能一邊抑制預(yù)測誤差信號(hào)的編碼量增加一邊削減運(yùn)動(dòng)矢量的編碼量來進(jìn)行編碼，因此，對(duì)運(yùn)動(dòng)信息、圖象信息的總的編碼效率，更柔軟地進(jìn)行最適當(dāng)運(yùn)動(dòng)矢量的選擇。由此，對(duì)于運(yùn)動(dòng)矢量的置換不是有效的幀，從開始使置換處理為OFF，就能防止效率的降低。在處理為OFF的情況下，能夠以幀單位削減置換處理的運(yùn)算量。
在本實(shí)施例12的編碼裝置和方法中，與實(shí)施例10的編碼裝置和方法相比，進(jìn)一步追加了幀活動(dòng)計(jì)算的處理過程，而由于其對(duì)每幀僅實(shí)施一次，則對(duì)作為全體的運(yùn)算量的增加沒有較大的影響。
在本實(shí)施例12中，在幀存儲(chǔ)器34內(nèi)過去所編碼的圖象數(shù)據(jù)與所輸入的原圖象之間來計(jì)算幀活動(dòng)，在其構(gòu)成中，在包含編碼變形的圖象和原圖象之間來進(jìn)行活動(dòng)計(jì)算，不能算出嚴(yán)密的幀間活動(dòng)。由此，通過設(shè)置緩沖存儲(chǔ)了過去幀的原圖象的幀存儲(chǔ)器，而能夠在原圖象相互之間算出幀間的活動(dòng)。
在本實(shí)施例12中的編碼裝置中，如實(shí)施例11中所述的那樣，能夠適應(yīng)于「1MV方式」和「4MV方式」，由此，能夠用于MPEG-4和H.263等低比特率編碼裝置。
如上述那樣，根據(jù)本發(fā)明，為了決定最適當(dāng)矢量，作為變形量，不僅考慮預(yù)測差分的差分絕對(duì)值和，還考慮矢量編碼量的編碼量，由此，能夠提高總的編碼效率。
通過使用差分平方和來取代差分絕對(duì)值，能夠評(píng)價(jià)在差分信號(hào)中包含的功率，能夠?qū)崿F(xiàn)更高精度的預(yù)測，因而能夠期待編碼效率的提高。
在運(yùn)動(dòng)矢量編碼中，對(duì)與以前所使用的運(yùn)動(dòng)矢量的差分進(jìn)行編碼，由此，能夠減少矢量編碼量，而能夠期待提高編碼效率。
通過在分離出輸入圖象和預(yù)測圖象兩者的圖象彼此間進(jìn)行運(yùn)動(dòng)預(yù)測評(píng)價(jià)，就能實(shí)現(xiàn)不依賴于圖象水平的運(yùn)動(dòng)補(bǔ)償，即使在變化劇烈的圖象中，也能實(shí)現(xiàn)精度高的運(yùn)動(dòng)矢量檢出。
通過進(jìn)行預(yù)測差分的頻率解析，求出頻率系數(shù)，從該系數(shù)求出評(píng)價(jià)值，就能相當(dāng)正確地預(yù)測出預(yù)測誤差的變換編碼后的編碼量，能夠?qū)崿F(xiàn)效率高的編碼。
通過對(duì)預(yù)測誤差進(jìn)行編碼來求出編碼信息量，進(jìn)而使用矢量編碼的編碼量，就能得到該矢量中的大致完全的編碼量，在變形與編碼量的關(guān)系中，能夠進(jìn)行最適當(dāng)?shù)木幋a。
通過把輸入圖象和預(yù)測圖象分解為亮度·色差來求出評(píng)價(jià)值，就能通過色差的評(píng)價(jià)值檢出僅由亮度不能判定的運(yùn)動(dòng)，能夠忠實(shí)地判定顏色的運(yùn)動(dòng)。
通過把輸入圖象和預(yù)測圖象分解為亮度·色差來對(duì)亮度、色差分別進(jìn)行預(yù)測，從亮度·色差的評(píng)價(jià)值中選擇最適當(dāng)?shù)氖噶?，由此，能夠?qū)崿F(xiàn)效率更高的編碼。
能夠求出在可變編碼之前包含的最適當(dāng)運(yùn)動(dòng)矢量，而得到提高畫質(zhì)的效果。
根據(jù)本發(fā)明的運(yùn)動(dòng)圖象編碼裝置和方法，不大大增加預(yù)測誤差信號(hào)的編碼量，就能有效地削減運(yùn)動(dòng)矢量的編碼量。特別是，對(duì)于圖象數(shù)據(jù)的編碼量，在運(yùn)動(dòng)參數(shù)的編碼量的比率變高的低比特率編碼中，能夠進(jìn)行全體的編碼量和編碼變形的均衡良好的編碼。
而且，根據(jù)幀活動(dòng)的值，來以幀單位切換控制是否進(jìn)行運(yùn)動(dòng)參數(shù)的置換，因此，能夠?qū)γ繋刂七\(yùn)動(dòng)參數(shù)置換處理的ON/OFF，能夠更柔軟地進(jìn)行全體的編碼量和編碼變形的均衡良好的編碼。對(duì)于不進(jìn)行置換處理的幀，能夠削減運(yùn)算量。
權(quán)利要求
1.一種運(yùn)動(dòng)補(bǔ)償裝置，其特征在于，包括運(yùn)動(dòng)補(bǔ)償處理部，輸入輸入圖象和參照?qǐng)D象，輸出輸入圖象與參照?qǐng)D象之間的運(yùn)動(dòng)矢量和從參照?qǐng)D象根據(jù)運(yùn)動(dòng)矢量抽出的預(yù)測圖象；變形量運(yùn)算部，輸入上述輸入圖象和上述預(yù)測圖象來求出輸入圖象與預(yù)測圖象之間的變形量；矢量值編碼部，輸入上述運(yùn)動(dòng)矢量來進(jìn)行編碼并輸出矢量編碼量；最適當(dāng)矢量決定部，輸入上述運(yùn)動(dòng)矢量和上述變形量及上述矢量編碼量，對(duì)進(jìn)行評(píng)價(jià)的多個(gè)運(yùn)動(dòng)矢量的全部求出從變形量和矢量編碼量所算出的評(píng)價(jià)函數(shù)，輸出評(píng)價(jià)函數(shù)呈現(xiàn)最小值的運(yùn)動(dòng)矢量來作為最適當(dāng)矢量。
2.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)補(bǔ)償裝置，其特征在于，上述變形量運(yùn)算部是計(jì)算上述輸入圖象與上述預(yù)測圖象之間的差分絕對(duì)值和并輸出的差分絕對(duì)值和運(yùn)算部。
3.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)補(bǔ)償裝置，其特征在于，上述變形量運(yùn)算部是計(jì)算上述輸入圖象與上述預(yù)測圖象之間的差分平方和并輸出的差分平方和運(yùn)算部。
4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的運(yùn)動(dòng)補(bǔ)償裝置，其特征在于，上述矢量值編碼部包括延遲所輸入的運(yùn)動(dòng)矢量的延遲器、取得所輸入的運(yùn)動(dòng)矢量與經(jīng)過上述延遲器的運(yùn)動(dòng)矢量的差分并輸出差分矢量的差分器、對(duì)上述差分矢量進(jìn)行編碼并輸出矢量編碼量的差分矢量編碼部。
5.一種運(yùn)動(dòng)補(bǔ)償裝置，其特征在于，包括運(yùn)動(dòng)補(bǔ)償處理部，輸入輸入圖象和參照?qǐng)D象，輸出輸入圖象與參照?qǐng)D象之間的運(yùn)動(dòng)矢量和從參照?qǐng)D象根據(jù)運(yùn)動(dòng)矢量抽出的預(yù)測圖象；第一平均值分離部，得到從上述輸入圖象分離平均值的平均值分離輸入圖象；第二平均值分離部，得到從上述預(yù)測圖象分離平均值的平均值分離預(yù)測圖象；變形量運(yùn)算部，輸入上述平均值分離輸入圖象和上述平均值分離預(yù)測圖象，來求出由平均值分離輸入圖象與平均值分離預(yù)測圖象之間的變形量的運(yùn)算所得到的評(píng)價(jià)值；最適當(dāng)矢量決定部，輸入上述運(yùn)動(dòng)矢量和上述平均值，對(duì)進(jìn)行評(píng)價(jià)的多個(gè)運(yùn)動(dòng)矢量的全部求出其評(píng)價(jià)值，輸出評(píng)價(jià)函數(shù)呈現(xiàn)最小值的運(yùn)動(dòng)矢量來作為最適當(dāng)矢量。
6.根據(jù)權(quán)利要求5所述的運(yùn)動(dòng)補(bǔ)償裝置，其特征在于，上述變形量運(yùn)算部是計(jì)算上述輸入圖象與上述預(yù)測圖象之間的差分絕對(duì)值和并輸出的差分絕對(duì)值和運(yùn)算部。
7.根據(jù)權(quán)利要求5所述的運(yùn)動(dòng)補(bǔ)償裝置，其特征在于，上述變形量運(yùn)算部是計(jì)算上述輸入圖象與上述預(yù)測圖象之間的差分平方和并輸出的差分平方和運(yùn)算部。
8.根據(jù)權(quán)利要求5至7所述的運(yùn)動(dòng)補(bǔ)償裝置，其特征在于，進(jìn)一步包括輸入上述運(yùn)動(dòng)矢量來進(jìn)行編碼而輸出矢量編碼量的矢量值編碼部，上述最適當(dāng)矢量決定部輸入上述運(yùn)動(dòng)矢量和上述變形量以及上述矢量編碼量，對(duì)進(jìn)行評(píng)價(jià)的多個(gè)運(yùn)動(dòng)矢量的全部求出從變形量和矢量編碼量所算出的評(píng)價(jià)函數(shù)，輸出評(píng)價(jià)函數(shù)呈現(xiàn)最小值的運(yùn)動(dòng)矢量來作為最適當(dāng)矢量。
9.一種運(yùn)動(dòng)補(bǔ)償裝置，其特征在于，包括運(yùn)動(dòng)補(bǔ)償處理部，輸入輸入圖象和參照?qǐng)D象，輸出輸入圖象與參照?qǐng)D象之間的運(yùn)動(dòng)矢量和從參照?qǐng)D象根據(jù)運(yùn)動(dòng)矢量抽出的預(yù)測圖象；減法器，把上述輸入圖象和上述預(yù)測圖象相減來求出預(yù)測誤差；頻率解析部，把上述預(yù)測誤差變換為頻率系數(shù)；評(píng)價(jià)值生成部，根據(jù)所變換的頻率系數(shù)來生成評(píng)價(jià)值；矢量決定部，輸入上述運(yùn)動(dòng)矢量和上述評(píng)價(jià)值，從多個(gè)取出的運(yùn)動(dòng)矢量中輸出上述評(píng)價(jià)值呈現(xiàn)最小值的運(yùn)動(dòng)矢量來作為最適當(dāng)矢量。
10.一種運(yùn)動(dòng)補(bǔ)償裝置，其特征在于，包括運(yùn)動(dòng)補(bǔ)償處理部，輸入輸入圖象和參照?qǐng)D象，輸出輸入圖象與參照?qǐng)D象之間的運(yùn)動(dòng)矢量和從參照?qǐng)D象根據(jù)運(yùn)動(dòng)矢量抽出的預(yù)測圖象；減法器，把上述輸入圖象和上述預(yù)測圖象相減來求出預(yù)測誤差；差分圖象編碼部，對(duì)上述預(yù)測誤差進(jìn)行差分編碼并輸出差分圖象編碼量；矢量值編碼部，輸入上述運(yùn)動(dòng)矢量來進(jìn)行編碼而輸出矢量編碼量；矢量決定部，輸入上述運(yùn)動(dòng)矢量和上述差分圖象編碼量及上述矢量編碼量，從多個(gè)取出的運(yùn)動(dòng)矢量中輸出在上述差分圖象編碼量上相加了上述矢量編碼量的編碼量成為最小的運(yùn)動(dòng)矢量來作為最適當(dāng)矢量。
11.一種運(yùn)動(dòng)補(bǔ)償裝置，其特征在于，包括運(yùn)動(dòng)補(bǔ)償處理部，輸入輸入圖象和參照?qǐng)D象，輸出輸入圖象與參照?qǐng)D象之間的運(yùn)動(dòng)矢量和從參照?qǐng)D象根據(jù)運(yùn)動(dòng)矢量抽出的預(yù)測圖象；第一亮度色差分離部，從上述輸入圖象分離輸入圖象亮度信號(hào)和輸入圖象色差信號(hào)；第二亮度色差分離部，從上述預(yù)測圖象分離預(yù)測圖象亮度信號(hào)和預(yù)測圖象色差信號(hào)；第一減法器，求出來自上述第一亮度色差分離部的輸入圖象色差信號(hào)與來自上述第二亮度色差分離部的預(yù)測圖象色差信號(hào)的差分；第二減法器，求出來自上述第一亮度色差分離部的輸入圖象亮度信號(hào)與來自上述第二亮度色差分離部的預(yù)測圖象亮度信號(hào)的差分；色差評(píng)價(jià)值生成部，根據(jù)來自上述第一減法器的輸出來生成色差評(píng)價(jià)值；亮度評(píng)價(jià)值生成部，根據(jù)來自上述第二減法器的輸出來生成亮度評(píng)價(jià)值；評(píng)價(jià)值運(yùn)算部，根據(jù)來自上述色差評(píng)價(jià)值生成部的色差評(píng)價(jià)值和來自上述亮度評(píng)價(jià)值生成部的亮度評(píng)價(jià)值來運(yùn)算最適當(dāng)矢量決定用評(píng)價(jià)值；矢量決定部，輸入上述運(yùn)動(dòng)矢量和上述最適當(dāng)矢量決定用評(píng)價(jià)值，從多個(gè)取出的運(yùn)動(dòng)矢量中輸出在上述量適當(dāng)矢量決定用評(píng)價(jià)值成為最小的運(yùn)動(dòng)矢量來作為最適當(dāng)矢量。
12.根據(jù)權(quán)利要求11所述的運(yùn)動(dòng)補(bǔ)償裝置，其特征在于，上述評(píng)價(jià)值運(yùn)算部是把來自上述色差評(píng)價(jià)值生成部的色差評(píng)價(jià)值與來自上述亮度評(píng)價(jià)值生成部的亮度評(píng)價(jià)值相加而求出總評(píng)價(jià)值的加法器，上述矢量決定部輸入作為上述運(yùn)動(dòng)矢量和上述總評(píng)價(jià)值的總相加值，從多個(gè)取出的運(yùn)動(dòng)矢量中輸出在上述上述總評(píng)價(jià)值成為最小的運(yùn)動(dòng)矢量來作為最適當(dāng)矢量。
13.一種運(yùn)動(dòng)補(bǔ)償裝置，其特征在于，包括運(yùn)動(dòng)補(bǔ)償處理部，輸入輸入圖象和參照?qǐng)D象，輸出輸入圖象與參照?qǐng)D象之間的運(yùn)動(dòng)矢量和對(duì)于輸入圖象的亮度成分從參照?qǐng)D象根據(jù)運(yùn)動(dòng)矢量亮度信號(hào)抽出的預(yù)測圖象亮度信號(hào)和根據(jù)運(yùn)動(dòng)矢量色差信號(hào)抽出的預(yù)測圖象色差信號(hào)；第一亮度色差分離部，從上述輸入圖象分離輸入圖象亮度信號(hào)和輸入圖象色差信號(hào)；第三亮度色差分離部，從上述運(yùn)動(dòng)矢量分離運(yùn)動(dòng)矢量亮度信號(hào)和運(yùn)動(dòng)矢量色差信號(hào)；第一減法器，求出來自上述第一亮度色差分離部的輸入圖象色差信號(hào)與上述預(yù)測圖象色差信號(hào)的差分；第二減法器，求出來自上述第一亮度色差分離部的輸入圖象亮度信號(hào)與上述預(yù)測圖象亮度信號(hào)的差分；色差評(píng)價(jià)值生成部，根據(jù)來自上述第一減法器的輸出來生成色差評(píng)價(jià)值；亮度評(píng)價(jià)值生成部，根據(jù)來自上述第二減法器的輸出來生成亮度評(píng)價(jià)值；亮度色差評(píng)價(jià)值比較部，把來自上述色差評(píng)價(jià)值生成部的色差評(píng)價(jià)值與來自上述亮度評(píng)價(jià)值生成部的亮度評(píng)價(jià)值進(jìn)行比較而輸出評(píng)價(jià)值比較差；矢量決定部，輸入上述運(yùn)動(dòng)矢量亮度信號(hào)和運(yùn)動(dòng)矢量色差信號(hào)以及上述評(píng)價(jià)值比較差，從多個(gè)取出的運(yùn)動(dòng)矢量中輸出在上述評(píng)價(jià)值比較差成為最小的運(yùn)動(dòng)矢量來作為最適當(dāng)矢量。
14.一種運(yùn)動(dòng)補(bǔ)償裝置，在進(jìn)行執(zhí)行運(yùn)動(dòng)圖象編碼的編碼時(shí)，以塊單位從以前幀的數(shù)據(jù)來預(yù)測運(yùn)動(dòng)，而進(jìn)行信息量削減，其特征在于，包括以前幀存儲(chǔ)部，存儲(chǔ)以前幀的數(shù)據(jù)；最小變形計(jì)算部，從目前塊和以前幀的特定區(qū)域來進(jìn)行圖形匹配，計(jì)算提供最小變形的運(yùn)動(dòng)矢量和變形值；特定矢量變形計(jì)算部，計(jì)算目前塊和與所輸入的一個(gè)以上運(yùn)動(dòng)矢量相對(duì)應(yīng)的以前幀的塊的變形；最適當(dāng)矢量輸出部，根據(jù)從上述最小變形計(jì)算部所輸出的變形和從上述特定矢量變形計(jì)算部所輸出的變形，來輸出最適當(dāng)運(yùn)動(dòng)矢量。
15.根據(jù)權(quán)利要求14所述的運(yùn)動(dòng)補(bǔ)償裝置，其特征在于，被輸入上述特定矢量變形計(jì)算部的運(yùn)動(dòng)矢量是從上述最適當(dāng)矢量輸出裝置所輸出的矢量。
16.根據(jù)權(quán)利要求14或15所述的運(yùn)動(dòng)補(bǔ)償裝置，其特征在于，上述最適當(dāng)矢量輸出部包括加法器，對(duì)來自上述最小變形計(jì)算部的變形進(jìn)行加權(quán)；比較器，把進(jìn)行了加權(quán)的來自最小變形計(jì)算部的變形與來自上述特定矢量變形計(jì)算部的變形進(jìn)行比較；選擇器，根據(jù)該比較器的比較結(jié)果來選擇提供最小變形的運(yùn)動(dòng)矢量或特定矢量中的一個(gè)，并作為最適當(dāng)運(yùn)動(dòng)矢量而輸出。
17.根據(jù)權(quán)利要求14或15所述的運(yùn)動(dòng)補(bǔ)償裝置，其特征在于，上述最適當(dāng)矢量輸出部進(jìn)一步包括偏移值計(jì)算部，通過提供最小變形的運(yùn)動(dòng)矢量與特定矢量的差分的大小，來適當(dāng)?shù)刈兏峁?duì)來自上述最小變形計(jì)算部的變形進(jìn)行了加權(quán)的偏移值。
18.根據(jù)權(quán)利要求14或17所述的運(yùn)動(dòng)補(bǔ)償裝置，其特征在于，上述最小變形計(jì)算部輸出目前探索范圍內(nèi)的最小變形和在窄于目前探索范圍的范圍中的預(yù)先設(shè)定的范圍中的最小變形。
19.一種運(yùn)動(dòng)圖象編碼裝置，根據(jù)運(yùn)動(dòng)補(bǔ)償預(yù)測來進(jìn)行運(yùn)動(dòng)圖象編碼，其特征在于，包括存儲(chǔ)器，存儲(chǔ)用于運(yùn)動(dòng)補(bǔ)償預(yù)測的參照?qǐng)D象數(shù)據(jù)；運(yùn)動(dòng)檢出部，根據(jù)輸入宏塊和來自上述存儲(chǔ)器的參照?qǐng)D象數(shù)據(jù)來檢出提供最小預(yù)測誤差的運(yùn)動(dòng)矢量；預(yù)測矢量導(dǎo)出部，導(dǎo)出在對(duì)用于輸入宏塊的運(yùn)動(dòng)補(bǔ)償預(yù)測的運(yùn)動(dòng)矢量進(jìn)行編碼時(shí)所使用的預(yù)測矢量；運(yùn)動(dòng)補(bǔ)償部，根據(jù)所提供的運(yùn)動(dòng)矢量來取出上述存儲(chǔ)器內(nèi)的參照?qǐng)D象數(shù)據(jù)對(duì)應(yīng)位置的圖象數(shù)據(jù)，來作為與運(yùn)動(dòng)矢量相對(duì)應(yīng)的預(yù)測圖象；閾值處理部，根據(jù)由上述運(yùn)動(dòng)檢出部所得到的運(yùn)動(dòng)矢量并使用從上述運(yùn)動(dòng)補(bǔ)償部所輸出的預(yù)測圖象來求出預(yù)測誤差量，使用第一閾值來對(duì)該預(yù)測誤差量進(jìn)行閾值判定，當(dāng)判定結(jié)果是預(yù)測誤差量大于第一閾值時(shí)，把由上述預(yù)測矢量導(dǎo)出部所得到的預(yù)測矢量輸出給上述運(yùn)動(dòng)補(bǔ)償部，而當(dāng)預(yù)測誤差量小于第一閾值時(shí)，把由上述運(yùn)動(dòng)檢出部所得到的運(yùn)動(dòng)矢量輸出給上述運(yùn)動(dòng)補(bǔ)償部；預(yù)測圖象判定部，生成由與預(yù)測矢量相對(duì)應(yīng)的預(yù)測圖象所產(chǎn)生的預(yù)測誤差信號(hào)，使用第二閾值來對(duì)該預(yù)測誤差信號(hào)的發(fā)生編碼量推定值進(jìn)行閾值判定，當(dāng)判定結(jié)果是預(yù)測誤差信號(hào)的發(fā)生編碼量推定值大于第二閾值時(shí)，輸出由上述運(yùn)動(dòng)檢出部所得到運(yùn)動(dòng)矢量來作為最終運(yùn)動(dòng)矢量，而當(dāng)預(yù)測誤差信號(hào)的發(fā)生編碼量推定值小于第二閾值時(shí)，輸出上述預(yù)測矢量來作為最終運(yùn)動(dòng)矢量，并且，輸出與最終運(yùn)動(dòng)矢量相對(duì)應(yīng)的預(yù)測圖象來作為最終預(yù)測圖象。
20.根據(jù)權(quán)利要求19所述的運(yùn)動(dòng)圖象編碼裝置，其特征在于，進(jìn)一步包括幀活動(dòng)計(jì)算部，根據(jù)來自上述運(yùn)動(dòng)檢出部的運(yùn)動(dòng)矢量和最小預(yù)測誤差量的輸入來算出幀活動(dòng)的值，根據(jù)所算出的值來以幀單位切換控制使用由上述閾值處理部和上述預(yù)測圖象判定部所產(chǎn)生的預(yù)測矢量的運(yùn)動(dòng)矢量的置換處理。
21.一種運(yùn)動(dòng)圖象編碼方法，根據(jù)運(yùn)動(dòng)補(bǔ)償預(yù)測來進(jìn)行運(yùn)動(dòng)圖象編碼，其特征在于，包括運(yùn)動(dòng)矢量檢出步驟，根據(jù)輸入宏塊和參照?qǐng)D象數(shù)據(jù)來檢出提供最小預(yù)測誤差的運(yùn)動(dòng)矢量；第一閾值判定步驟，根據(jù)輸入宏塊和運(yùn)動(dòng)矢量所相對(duì)應(yīng)的預(yù)測圖象并使用第一閾值來對(duì)預(yù)測誤差信號(hào)進(jìn)行閾值判定；預(yù)測矢量導(dǎo)出步驟，當(dāng)?shù)谝婚撝蹬卸ńY(jié)果是預(yù)測誤差信號(hào)大于第一閾值時(shí)，導(dǎo)出在對(duì)運(yùn)動(dòng)矢量進(jìn)行編碼時(shí)所使用的預(yù)測矢量；預(yù)測誤差信號(hào)生成步驟，生成由與預(yù)測矢量相對(duì)應(yīng)的預(yù)測圖象所產(chǎn)生的預(yù)測誤差信號(hào)；計(jì)算步驟，算出預(yù)測誤差信號(hào)的發(fā)生編碼量推定值；第二閾值判定步驟，使用第二閾值來對(duì)所算出的預(yù)測誤差信號(hào)的發(fā)生編碼量推定值進(jìn)行閾值判定；置換步驟，當(dāng)?shù)诙撝蹬卸ńY(jié)果是預(yù)測誤差信號(hào)的發(fā)生編碼量推定值小于第二閾值時(shí)，把運(yùn)動(dòng)矢量置換為上述預(yù)測矢量；使用運(yùn)動(dòng)矢量來實(shí)施運(yùn)動(dòng)預(yù)測編碼。
22.根據(jù)權(quán)利要求21所述的運(yùn)動(dòng)圖象編碼方法，其特征在于，進(jìn)一步包括控制步驟，根據(jù)運(yùn)動(dòng)矢量和最小預(yù)測誤差來算出幀活動(dòng)值，根據(jù)所算出的值來進(jìn)行是否以幀單位進(jìn)行運(yùn)動(dòng)矢量和預(yù)測矢量的置換的切換控制。
全文摘要
本發(fā)明的裝置包括:輸出輸入圖象和參照?qǐng)D象之間的運(yùn)動(dòng)矢量和從參照?qǐng)D象按照運(yùn)動(dòng)矢量抽出的預(yù)測圖象的運(yùn)動(dòng)補(bǔ)償處理部200、作為輸出輸入圖象和預(yù)測圖象而求出輸入圖象與預(yù)測圖象之間的變形量的變形量運(yùn)算部的差分絕對(duì)值和運(yùn)算部205、輸入運(yùn)動(dòng)矢量來進(jìn)行編碼而輸出矢量編碼量的矢量值編碼部207、最適當(dāng)矢量210,輸入運(yùn)動(dòng)矢量和變形量以及矢量編碼量,對(duì)進(jìn)行評(píng)價(jià)的多個(gè)運(yùn)動(dòng)矢量的全部求出從變形量和矢量編碼量所算出的評(píng)價(jià)函數(shù),輸出評(píng)價(jià)函數(shù)呈現(xiàn)最小值的運(yùn)動(dòng)矢量來作為最適當(dāng)矢量。
文檔編號(hào)H04N11/04GK1226782SQ98126970
公開日1999年8月25日 申請(qǐng)日期1998年12月19日 優(yōu)先權(quán)日1997年12月25日
發(fā)明者村上篤道, 大平英雄, 西川博文, 淺野研一, 山田悅久, 關(guān)口俊一, 淺井幸太郎 申請(qǐng)人:三菱電機(jī)株式會(huì)社