專利名稱：抖動(dòng)校正裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像抖動(dòng)檢測裝置及方法。
背景技術(shù)：
近年來，攝像機(jī)等影像裝置快速普及，在家庭中也頻繁地使用。越來越多的攝像機(jī)等影像裝置具有抖動(dòng)校正功能，以便能夠記錄抖動(dòng)較少的圖像。抖動(dòng)校正功能通常由抖動(dòng)檢測功能和對(duì)檢測出的抖動(dòng)進(jìn)行校正的功能。作為實(shí)現(xiàn)上述檢測功能的方法，提出了利用角速度傳感器等傳感器進(jìn)行檢測的方法和專利文獻(xiàn)1公開的利用了傳感器和移動(dòng)圖像編碼的移動(dòng)預(yù)測的方法。
專利文獻(xiàn)1特開2001-24932號(hào)公報(bào)在上述現(xiàn)有的技術(shù)中，為了檢測影像裝置的移動(dòng)，傳感器是必須的重要器件。因此，從成本較高、安裝體積增大或耐沖擊性等觀點(diǎn)來看，存在難以安裝在便攜式電話機(jī)等設(shè)備中的問題。此外，當(dāng)僅利用移動(dòng)圖像編碼的移動(dòng)預(yù)測來檢測抖動(dòng)校正時(shí)，因利用構(gòu)成畫面的所有編碼單位的移動(dòng)預(yù)測，并使用了整體的平均或中心值，故抖動(dòng)的檢測精度較差。

發(fā)明內(nèi)容
為了解決這一問題，提供一種影像裝置，該裝置包括圖像信號(hào)取得部，取得圖像信號(hào)；圖像信號(hào)編碼部，對(duì)上述圖像信號(hào)進(jìn)行編碼；中間信息比較部，對(duì)由圖像信號(hào)生成的、用于上述編碼的各編碼單位的中間信息進(jìn)行比較；圖像抖動(dòng)量檢測部，通過對(duì)上述中間信息進(jìn)行加權(quán)來檢測由上述圖像信號(hào)取得部取得的圖像信號(hào)的抖動(dòng)量；以及編碼單位加權(quán)決定部，根據(jù)上述中間信息比較部的比較結(jié)果決定上述圖像抖動(dòng)量檢測部中的各編碼單位的加權(quán)。此外，該影像裝置也可以包括對(duì)編碼后的圖像信號(hào)進(jìn)行譯碼的圖像信號(hào)譯碼部，即使編碼后再譯碼，也可以決定各編碼單位的加權(quán)。此外，該影像裝置在通過與各編碼單位的中間信息進(jìn)行比較來決定各編碼單位的加權(quán)時(shí)，可以根據(jù)各編碼單位的代碼量來決定權(quán)重，也可以對(duì)各編碼單位的結(jié)構(gòu)進(jìn)行正交變換，通過對(duì)變換后的成分進(jìn)行高頻突出積分(高周波顕在化積分)求出評(píng)價(jià)值，再根據(jù)評(píng)價(jià)值決定權(quán)重。或者，也可以這樣來決定權(quán)重，即，令使用同一加權(quán)值的中間信息的值在將上述中間信息用于幀間預(yù)測時(shí)和用于幀內(nèi)預(yù)測時(shí)呈倒數(shù)關(guān)系。
在本發(fā)明的影像裝置中，因不使用用于檢測影像裝置的移動(dòng)的傳感器，而使用在圖像信號(hào)編碼時(shí)所生成的各編碼單位的中間信息進(jìn)行攝像抖動(dòng)的檢測，故能夠?qū)⒍秳?dòng)校正功能安裝在像便攜式電話機(jī)那樣的設(shè)備中。此外，通過對(duì)各編碼單位進(jìn)行加權(quán)，可以選擇最佳的編碼單位來進(jìn)行攝像抖動(dòng)校正，故可以高效地提供一種精度較高的抖動(dòng)校正功能。


圖1是說明實(shí)施方式的功能框圖。
圖2是說明幀編碼類型的圖。
圖3是說明包含在每一個(gè)編碼單位中的圖像差異的圖。
圖4是說明移動(dòng)矢量的差異的圖。
圖5是說明因移動(dòng)矢量的差異而導(dǎo)致圖像的差分不同的圖。
圖6是說明實(shí)施方式1的處理流程的圖。
圖7是說明實(shí)施方式2的功能框圖。
圖8是說明實(shí)施方式2的另一例的功能框圖。
圖9是說明實(shí)施方式2的處理流程的圖。
圖10是說明實(shí)施方式3的功能框圖。
圖11是說明實(shí)施方式3的處理流程的圖。
圖12是說明實(shí)施方式4的功能框圖。
圖13是與將包含在編碼單位中的圖像正交變換后的成分相乘的系數(shù)的圖。
圖14是倒數(shù)決定裝置的功能框圖。
圖15是加權(quán)呈倒數(shù)關(guān)系的權(quán)重表的圖。
圖16是說明實(shí)施方式4的處理流程的圖。
圖17是說明評(píng)價(jià)值決定處理的流程的圖。
圖18是說明倒數(shù)計(jì)算處理的流程的圖。
圖19是說明實(shí)施方式5的功能框圖。
圖20是說明實(shí)施方式5的處理流程的圖。
具體實(shí)施例方式
下面，說明各實(shí)施方式。再有，本發(fā)明不受這些實(shí)施方式的限制，在不脫離其主旨的范圍內(nèi)，可以按各種各樣的形態(tài)來實(shí)施。
《實(shí)施方式1》<實(shí)施方式1的概要>
本實(shí)施方式的影像裝置的特征是根據(jù)在對(duì)圖像信號(hào)進(jìn)行編碼時(shí)所生成的各編碼單位的信息檢測圖像信號(hào)的抖動(dòng)量。而且，當(dāng)檢測圖像信號(hào)的抖動(dòng)量時(shí)，為了選擇最佳編碼單位，對(duì)編碼單位進(jìn)行加權(quán)。
<實(shí)施方式1的構(gòu)成>
圖1示出本實(shí)施方式的一例功能框。圖1所示的影像裝置(0100)具有圖像信號(hào)取得部(0110)、圖像信號(hào)編碼部(0120)、中間信息比較部(0130)、圖像抖動(dòng)量檢測部(0140)和編碼單位加權(quán)決定部(0150)。圖像信號(hào)取得部(0110)取得圖像信號(hào)。圖像信號(hào)是指由例如CCD或CMOS圖像傳感器等攝像元件和攝像元件驅(qū)動(dòng)電路構(gòu)成的圖像信號(hào)輸入部輸入的信號(hào)。圖像信號(hào)編碼部(0120)對(duì)上述圖像信號(hào)進(jìn)行編碼。這里，作為圖像信號(hào)編碼的例子，可以舉出以電視電話或電話會(huì)議等通訊圖像作為對(duì)象的H.263、以CD-ROM等存儲(chǔ)媒體圖像作為對(duì)象的MPGE-1、或以DVD或數(shù)字電視廣播用的通訊圖像作為對(duì)象的MPEG-2、或以模擬電話線路或移動(dòng)體通訊的通訊圖像作為對(duì)象的MPEG-4等。它們的編碼例如基于移動(dòng)補(bǔ)償或正交變換而進(jìn)行。中間信息比較部(0130)對(duì)由圖像信號(hào)生成的、上述編碼使用的每一個(gè)編碼單位的中間信息進(jìn)行比較。編碼單位可以是N×M個(gè)像素的塊，或者也可以是將4個(gè)亮度塊和2個(gè)色差塊共6個(gè)塊歸在一起的宏塊。中間信息例如是移動(dòng)矢量、幀編碼類型、代碼量、將各編碼單位包含的圖像正交變換后的系數(shù)、或者將它們量子化后的系數(shù)和進(jìn)行了可變長度編碼之后的代碼等編碼所使用的信息，也可以是它們之中的1個(gè)或2個(gè)以上的任意組合。這些中間信息在圖像信號(hào)的基礎(chǔ)上生成。再有，各編碼單位的中間信息一般因編碼類型而異。例如，當(dāng)像圖2的I幀(021、025)那樣是幀內(nèi)預(yù)測時(shí)，對(duì)包含在編碼單位中的圖像進(jìn)行正交變換，并對(duì)正交變換會(huì)的系數(shù)進(jìn)行量子化。接著，通過對(duì)量子化后的系數(shù)進(jìn)行編碼來結(jié)束編碼過程。因此，作為這時(shí)的中間信息的一個(gè)例子，可以舉出由以上程序得到的中間信息。另一方面，當(dāng)像圖2的P幀(022、023、024、026和027)那樣，編碼類型是幀間預(yù)測時(shí)，首先，從預(yù)測源的幀中選擇與編碼單位所包含的圖像類似的N×M像素的圖像，將該編碼單位的位置和預(yù)測源幀的類似的N×M像素的位置之差作為移動(dòng)矢量取得。其次，求出該編碼單位所包含的代碼值和預(yù)測源幀的類似編碼單位所包含的代碼值的差，對(duì)該差值進(jìn)行正交變換，并量子化正交變換后的系數(shù)。接著，對(duì)由量子化取得的系數(shù)進(jìn)行可變長度編碼，通過對(duì)移動(dòng)矢量進(jìn)行多路復(fù)用處理，最后結(jié)束編碼。因此，幀間預(yù)測時(shí)，作為中間信息的一個(gè)例子，可以舉出由上述程序得到的信息。幀間預(yù)測和幀內(nèi)預(yù)測不同，其特征是對(duì)編碼單位的差值進(jìn)行編碼。再有，當(dāng)編碼類型是幀內(nèi)預(yù)測時(shí)，因不使用前后的幀，故編碼單位上不附加移動(dòng)矢量。這時(shí)，通過使用前后幀的同一編碼單位的矢量進(jìn)行內(nèi)插等方法，決定編碼單位的移動(dòng)矢量。
其次，使用圖3～圖5說明對(duì)各編碼單位的中間信息進(jìn)行比較的一個(gè)例子。在本實(shí)施方式中，說明上述中間信息是各編碼單位的代碼量的情況。首先考慮對(duì)像圖3那樣的建筑物圖像進(jìn)行編碼的情況。在幀內(nèi)預(yù)測編碼中，編碼單位0320是建筑物0300的窗框部分，因要表現(xiàn)輪廓，故代碼量大。另一方面，因編碼單位0310是建筑物0300的白色墻壁部分，故代碼量小。在繼續(xù)顯示的幀中，當(dāng)求圖像抖動(dòng)量時(shí)，編碼單位0320的移動(dòng)矢量比編碼單位0310的移動(dòng)矢量的可靠性高。這是因?yàn)榫幋a單位0320所包含的圖像是該幀中具有特征的窗框部分，附圖3的圖象中無類似的地方。相反，編碼單位0310是建筑物03000的墻壁的一部分，與墻壁的其他部分類似，故在該幀中特征點(diǎn)很少。再有，在本實(shí)施方式中，對(duì)以代碼量大的編碼單位作為具有特征點(diǎn)的編碼單位的情況進(jìn)行說明，但也可以相反，以代碼量小的編碼單位作為具有特征點(diǎn)的編碼單位。例如，在以激湍的瀑布為背景拍攝人物時(shí)，幀中的大多數(shù)編碼單位的代碼量大，代碼量小的編碼單位少，這時(shí)，后者類似的情況少，所以，可靠性也很高。因此，可以相對(duì)地判斷是編碼單位的代碼量多的一方具有特征還是少的一方具有特征。在最一般的自然圖像的情況下，由于在幀內(nèi)預(yù)測中大多是編碼單位的代碼量多的一方具有特征，故在本說明書中說明編碼單位的代碼量多的一方具有特征的情況。其次，使用圖4具體進(jìn)行說明。假定圖4的建筑物在拍攝了虛線所示的建筑物0410的下一幀中，因圖像抖動(dòng)而在實(shí)線所示的建筑物0420的位置上被拍攝。這時(shí)，編碼單位0421選擇上一幀的類似地點(diǎn)0411，取得移動(dòng)矢量4A。與此相對(duì)，有時(shí)編碼單位0422錯(cuò)誤地選擇類似地點(diǎn)0424并取得移動(dòng)矢量4C，而沒有選擇類似地點(diǎn)0423并取得移動(dòng)矢量4B。因此，當(dāng)編碼類型是幀內(nèi)預(yù)測時(shí)，代碼量多的編碼單位在檢測圖像抖動(dòng)時(shí)可靠性高。另一方面，當(dāng)編碼類型是幀間預(yù)測時(shí)，使用圖5進(jìn)行說明。假定圖5的建筑物在拍攝了虛線所示的建筑物0510的下一幀中，因圖像抖動(dòng)而在實(shí)線所示的建筑物0520的位置上被拍攝。這時(shí)，若考慮編碼單位0521，當(dāng)對(duì)上一幀的類似地點(diǎn)0511取得了移動(dòng)矢量5A時(shí)，因編碼單位包含的圖像差異小，故代碼量也少。與此相對(duì)，若考慮編碼單位0522，則當(dāng)對(duì)上一幀的類似地點(diǎn)0512取得了移動(dòng)矢量5B時(shí)，因產(chǎn)生窗框部分的圖像差，故編碼單位中所包含的圖像差異變大，結(jié)果代碼量也多。在像這樣幀間預(yù)測時(shí)代碼量多的情況下，多數(shù)情況不是圖像抖動(dòng)而實(shí)際上是對(duì)象移動(dòng)的結(jié)果，或者是移動(dòng)預(yù)測失敗的情況。因此，與幀內(nèi)預(yù)測對(duì)比，代碼量少的編碼單位在檢測圖像抖動(dòng)時(shí)可靠性高。這樣，由于各編碼類型的不同，相對(duì)于編碼單位所包含的代碼量的可靠性也不同。
圖像抖動(dòng)量檢測部(0140)通過對(duì)上述中間信息進(jìn)行加權(quán)來檢測由上述圖像信號(hào)取得部取得的圖像信號(hào)的抖動(dòng)量。作為圖像抖動(dòng)量檢測的一個(gè)例子，有使用各編碼單位的移動(dòng)矢量和中間信息的加權(quán)來決定圖像的抖動(dòng)量的方法。在移動(dòng)矢量中，既有因圖像抖動(dòng)產(chǎn)生的移動(dòng)矢量，又有因被拍攝體等的實(shí)際移動(dòng)或因移動(dòng)預(yù)測失敗而產(chǎn)生的移動(dòng)矢量，所以，為了明確使用什么樣的編碼單位的移動(dòng)矢量來決定圖像抖動(dòng)量，利用上述中間信息的加權(quán)。編碼單位加權(quán)決定部(0150)根據(jù)上述中間信息比較部的比較結(jié)果，決定上述圖像抖動(dòng)量檢測部中的各編碼單位的加權(quán)。例如，若考慮編碼類型是幀內(nèi)預(yù)測的情況，因代碼量多的編碼單位在檢測圖像抖動(dòng)時(shí)可靠性高，故進(jìn)行較大的加權(quán)，對(duì)代碼量少的編碼單位施加的權(quán)重小。權(quán)重可以在代碼量的基礎(chǔ)上，根據(jù)事先準(zhǔn)備的表等來決定，也可以根據(jù)幀中編碼單位的代碼量的平均值等來相對(duì)地決定。作為一個(gè)例子，對(duì)超過一定的代碼量的編碼單位所加的權(quán)重＝1，對(duì)除此之外的編碼單位所加的權(quán)重＝0。而且，有時(shí)只使用權(quán)重＝1的編碼單位的移動(dòng)矢量的平均值來檢測圖像抖動(dòng)量。另一方面，若考慮編碼類型是幀間預(yù)測的情況，則因代碼量少的編碼單位在檢測圖像抖動(dòng)時(shí)可靠性高，故進(jìn)行較大的加權(quán)，對(duì)代碼量多的編碼單位施加的權(quán)重小。這樣，不管是幀內(nèi)預(yù)測還是幀間預(yù)測，越是擁有與圖像抖動(dòng)量類似的移動(dòng)矢量的編碼單位，其權(quán)重越大，圖像抖動(dòng)量的檢測精度高?？梢允褂脦瑑?nèi)預(yù)測的權(quán)重和幀間預(yù)測的權(quán)重中的一方或雙方來檢測圖像抖動(dòng)量。當(dāng)使用雙方的權(quán)重時(shí)，也可以將幀內(nèi)預(yù)測和幀間預(yù)測的權(quán)重平均后再使用。作為表示圖像抖動(dòng)量的信息的一個(gè)例子，可以舉出像矢量那樣表示大小和方向的信息和表示該矢量包含的幀的信息相關(guān)聯(lián)的信息等。作為本發(fā)明的構(gòu)成要素的各部分可以利用硬件、軟件或軟硬件構(gòu)成。例如，作為實(shí)現(xiàn)這樣的構(gòu)成的一個(gè)例子，當(dāng)使用計(jì)算機(jī)時(shí)，可以舉出由CPU、存儲(chǔ)器、總線、接口和外設(shè)等構(gòu)成的硬件及可在這些硬件上執(zhí)行的軟件。具體地說，通過按順序執(zhí)行在存儲(chǔ)器上展開的程序，對(duì)存儲(chǔ)器上的數(shù)據(jù)或經(jīng)接口輸入的數(shù)據(jù)進(jìn)行加工、存儲(chǔ)和輸出等，由此實(shí)現(xiàn)各部分的功能(整個(gè)說明書都一樣)。
<實(shí)施方式1的處理流程及效果>
圖6是表示本實(shí)施方式的一例處理流程的圖。本實(shí)施方式的影像裝置的動(dòng)作方法由如下步驟構(gòu)成取得圖像信號(hào)的圖像信號(hào)取得步驟(S0610)、對(duì)上述圖像信號(hào)進(jìn)行編碼的圖像信號(hào)編碼步驟(S0620)、對(duì)由圖像信號(hào)生成的上述編碼所使用的各編碼單位的中間信息進(jìn)行比較的中間信息比較步驟(S0630)、根據(jù)上述中間信息比較步驟的比較結(jié)果決定各編碼單位的加權(quán)的編碼單位加權(quán)決定步驟(S0640)、通過對(duì)上述中間信息進(jìn)行加權(quán)來檢測上述圖像信號(hào)取得步驟取得的圖像信號(hào)的抖動(dòng)量的圖像抖動(dòng)量檢測步驟(S0650)。在本發(fā)明的影像裝置中，不使用用于檢測影像裝置的移動(dòng)的傳感器、而使用圖像信號(hào)編碼時(shí)所生成的各編碼單位的中間信息，所以，能夠在像便攜式電話機(jī)那樣的設(shè)備中安裝抖動(dòng)校正功能。此外，通過對(duì)各編碼單位進(jìn)行加權(quán)可以對(duì)圖像抖動(dòng)校正選擇最佳的編碼單位，所以，可以提供效率高、精度高的抖動(dòng)校正功能。
《實(shí)施方式2》<實(shí)施方式2的概要>
本實(shí)施方式和實(shí)施方式1一樣，涉及檢測圖像信號(hào)抖動(dòng)量時(shí)為了選擇最佳編碼單位而對(duì)編碼單位進(jìn)行加權(quán)的影像裝置，本實(shí)施方式的特征是除了實(shí)施方式1之外，還設(shè)有圖像信號(hào)輸入部和數(shù)據(jù)保存部。
<實(shí)施方式2的構(gòu)成>
圖7示出本實(shí)施方式的一例功能框圖。圖7所示的影像裝置(0700)具有圖像信號(hào)取得部(0710)、圖像信號(hào)編碼部(0720)、中間信息比較部(0730)、圖像抖動(dòng)量檢測部(0740)、編碼單位加權(quán)決定部(0750)、圖像信號(hào)輸入部(0760)和數(shù)據(jù)保存部(0770)。因除了圖像信號(hào)輸入部(0760)和數(shù)據(jù)保存部(0770)之外的構(gòu)成和實(shí)施方式1一樣，故這里省略其說明。此外，圖像信號(hào)輸入部(0760)在實(shí)施方式1中也進(jìn)行了說明，故這里省略其說明。數(shù)據(jù)保存部(0770)保存上述圖像信號(hào)編碼部編碼后的圖像信號(hào)或由上述圖像抖動(dòng)量檢測部檢測出的圖像抖動(dòng)量。數(shù)據(jù)保存部可以是能夠和圖像處理裝置分離的記錄媒體，也可以是磁帶或盒式磁帶等的磁盤或CD-ROM、CD-R/RW、MO、MD、DVD-ROM、DVD-RAM、DVD-RW等光盤的盤系列、PC卡、輕便閃速存儲(chǔ)器(登錄商標(biāo))、SM(Smart Media)卡(登錄商標(biāo))、IC卡、SD卡(登錄商標(biāo))、存儲(chǔ)條(登錄商標(biāo))等卡系列、或者是包含RAM、EEPROM、閃速ROM等半導(dǎo)體存儲(chǔ)器的媒體。通過將編碼后的圖像信號(hào)和圖像抖動(dòng)量一起保存，從而在再生圖像信號(hào)時(shí)，可以消除抖動(dòng)。此外，利用該結(jié)構(gòu)，使用者在再生圖像信號(hào)時(shí)，可以利用所保存的圖像抖動(dòng)量來選擇是否進(jìn)行圖像抖動(dòng)校正。再有，圖8示出一例利用數(shù)據(jù)保存部保存的編碼后的圖像信號(hào)和圖像抖動(dòng)量來再生圖像信號(hào)后再進(jìn)行顯示的影像裝置，由數(shù)據(jù)讀出部(0810)、圖像信號(hào)譯碼部(0820)、圖像抖動(dòng)校正部(0830)、圖像顯示部(0840)和數(shù)據(jù)保存部(0850)構(gòu)成。數(shù)據(jù)讀出部(0810)讀出由數(shù)據(jù)保存部保存的編碼后的圖像信號(hào)或圖像抖動(dòng)量。圖像信號(hào)譯碼部(0820)對(duì)編碼后的圖像信號(hào)進(jìn)行譯碼。圖像抖動(dòng)校正部(0830)根據(jù)從上述數(shù)據(jù)讀出部讀出的圖像抖動(dòng)量校正上述圖像信號(hào)的圖像抖動(dòng)。作為一例圖像抖動(dòng)的校正方法，可以是切出圖像的規(guī)定區(qū)域，使圖像平行移動(dòng)，再將平行移動(dòng)后的圖像送往圖像顯示部等方法。進(jìn)行抖動(dòng)校正的圖像顯示部(0840)顯示圖像抖動(dòng)校正后的圖像信號(hào)。作為圖像顯示部的具體例子，可以是像LCD監(jiān)視器那樣的顯示器。再有，圖8所示的各部分也可以和圖7所示的影像裝置制作成一體。
<實(shí)施方式2的處理流程及效果>
圖9是表示本實(shí)施方式的一例處理流程的圖。本實(shí)施方式中的影像裝置的動(dòng)作方法由圖像信號(hào)取得步驟(S0910)、圖像信號(hào)編碼步驟(S0920)、中間信息比較步驟(S0930)、數(shù)據(jù)保存步驟(S0921、S0951)、編碼單位加權(quán)決定步驟(S0940)、圖像抖動(dòng)量檢測步驟(S0950)構(gòu)成。本發(fā)明的影像裝置因?qū)⒕幋a后的圖像信號(hào)和最合適的圖像抖動(dòng)量一起保存，故在再生圖像時(shí)可以消除抖動(dòng)。
《實(shí)施方式3》<實(shí)施方式3的概要>
本實(shí)施方式和實(shí)施方式2一樣，涉及檢測圖像信號(hào)抖動(dòng)量時(shí)為了選擇最佳編碼單位而對(duì)編碼單位進(jìn)行加權(quán)的影像裝置，本實(shí)施方式的特征是除了實(shí)施方式2之外，還通過預(yù)測來所輸入的圖像信號(hào)進(jìn)行實(shí)時(shí)校正。
<實(shí)施方式3的構(gòu)成>
圖10示出本實(shí)施方式的一例功能框圖。圖10所示的影像裝置(1000)具有圖像信號(hào)取得部(1010)、圖像信號(hào)編碼部(1020)、中間信息比較部(1030)、圖像抖動(dòng)量檢測部(1040)、編碼單位加權(quán)決定部(1050)、圖像信號(hào)輸入部(1060)、數(shù)據(jù)保存部(1070)和圖像抖動(dòng)校正部(1080)。因除了圖像抖動(dòng)校正部(1080)之外的構(gòu)成和實(shí)施方式2一樣，故這里省略其說明。本實(shí)施方式的圖像抖動(dòng)校正部(1080)根據(jù)從上述圖像抖動(dòng)量檢測部檢測出的圖像抖動(dòng)量進(jìn)行圖像抖動(dòng)校正。作為本實(shí)施方式的一例圖像抖動(dòng)校正，可以將圖像抖動(dòng)量發(fā)送給圖像信號(hào)輸入部，使透鏡在攝像元件和被拍攝體之間移動(dòng)，或者，改變從攝像元件讀出的區(qū)域的位置，再進(jìn)行圖像抖動(dòng)校正。像這樣通過根據(jù)當(dāng)前的圖像抖動(dòng)量來預(yù)測將來的圖像抖動(dòng)量，由此可以對(duì)從圖像信號(hào)輸入部輸入的圖像信號(hào)實(shí)時(shí)地進(jìn)行圖像抖動(dòng)校正。這在例如強(qiáng)風(fēng)不斷地刮、照相機(jī)振動(dòng)、圖像不停地抖動(dòng)的情況經(jīng)常發(fā)生的海岸等地進(jìn)行攝像時(shí)很有效果。
<實(shí)施方式3的處理流程及效果>
圖11是表示本實(shí)施方式的一例處理流程的圖。本實(shí)施方式中的影像裝置的動(dòng)作方法由圖像信號(hào)輸入步驟(S1110)、圖像信號(hào)取得步驟(S1120)、圖像信號(hào)編碼步驟(S1130)、數(shù)據(jù)保存步驟(S1131)、中間信息比較步驟(S1140)、編碼單位加權(quán)決定步驟(S1150)、圖像抖動(dòng)量預(yù)測步驟(S1160)和圖像抖動(dòng)校正步驟(S1170)構(gòu)成。在本發(fā)明的影像裝置中，因設(shè)置了圖像抖動(dòng)校正部，故可以根據(jù)圖像抖動(dòng)量檢測部檢測出的圖像抖動(dòng)量進(jìn)行圖像抖動(dòng)校正。此外，通過將來自圖像抖動(dòng)校正部的信息送給圖像信號(hào)輸入部，可以預(yù)測圖像抖動(dòng)量，對(duì)從圖像信號(hào)輸入部輸入的圖像信號(hào)實(shí)時(shí)地進(jìn)行圖像抖動(dòng)校正。
《實(shí)施方式4》<實(shí)施方式4的概要>
本實(shí)施方式和實(shí)施方式1不一樣，其特征在于從對(duì)圖像信號(hào)譯碼時(shí)生成的各編碼單位的信息中檢測出圖像信號(hào)的抖動(dòng)量，而且，當(dāng)檢測出圖像信號(hào)的抖動(dòng)量時(shí)，為了選擇最佳編碼單位，對(duì)編碼單位進(jìn)行加權(quán)。
<實(shí)施方式4的構(gòu)成>
圖1 2示出本實(shí)施方式的一例功能框圖。本實(shí)施方式中的影像裝置(1200)具有圖像信號(hào)譯碼部(1210)、第2中間信息比較部(1220)、第2圖像抖動(dòng)量檢測部(1230)、第2編碼單位加權(quán)決定部(1240)。圖像信號(hào)譯碼部(1210)對(duì)編碼后的圖像信號(hào)進(jìn)行譯碼。在譯碼圖像信號(hào)時(shí)，可以進(jìn)行和編碼圖像信號(hào)相反的處理。例如，對(duì)編碼后的圖像信號(hào)進(jìn)行可變長度譯碼，再經(jīng)過反量子化和反正交變換等，對(duì)圖像信號(hào)進(jìn)行譯碼。第2中間信息比較部(1220)對(duì)上述譯碼中所使用的每一個(gè)編碼單位的第2中間信息進(jìn)行比較。上述中間信息可以是對(duì)各編碼單位的結(jié)構(gòu)進(jìn)行正交變換并通過對(duì)變換后的成分進(jìn)行高頻突出積分而求出的評(píng)價(jià)值，所謂結(jié)構(gòu)是使用對(duì)象庫(objection base)進(jìn)行編碼時(shí)的圖像的構(gòu)圖。變換后的成分例如是正交變換后得到的系數(shù)等。高頻突出積分是為了在變換后的成分中使包含很多高頻成分的編碼單位突出的積分。圖13是一例高頻突出積分所使用的系數(shù)。雖然在以下的例子中說明的是編碼圖像信號(hào)時(shí)的處理，當(dāng)然，譯碼時(shí)也可以使用。在一般的編碼處理中，使用圖13所示的系數(shù)對(duì)正交變換后得到的成分進(jìn)行除法運(yùn)算，并對(duì)高頻成分進(jìn)行圓滑量子化。但是，本實(shí)施方式中的高頻突出積分和量子化相反，使用圖13所示那樣的系數(shù)進(jìn)行乘法運(yùn)算。由此，可以使高頻成分多的編碼單位更加突出。評(píng)價(jià)值是使用圖13那樣的系數(shù)對(duì)正交變換后的成分進(jìn)行乘法運(yùn)算得到的所有值的合計(jì)值。評(píng)價(jià)值越高，高頻成分越多。第2圖像抖動(dòng)量檢測部(1230)通過對(duì)上述第2中間信息進(jìn)行加權(quán)來檢測編碼后的圖像信號(hào)的抖動(dòng)量。第2編碼單位加權(quán)決定部(1240)根據(jù)上述第2中間信息比較部的比較結(jié)果，決定上述第2圖像抖動(dòng)量檢測部中的各編碼單位的加權(quán)。加權(quán)因編碼類型而異。由于幀內(nèi)預(yù)測時(shí)包含有特征圖像的編碼單位的可靠性高，故對(duì)包含很多高頻成分的編碼單位、即評(píng)價(jià)值高的編碼單位施加較大的加權(quán)，對(duì)評(píng)價(jià)值低的編碼單位施加的權(quán)重小。另一方面，在幀間預(yù)測的情況下，由于和上一幀的差分小的一方的可靠性高，故對(duì)高頻成分小的編碼單位、即評(píng)價(jià)值低的編碼單位施加的權(quán)重大。
再有，上述編碼單位加權(quán)決定部也可以具有倒數(shù)決定裝置，該裝置決定加權(quán)值，以便使用同一加權(quán)值的中間信息的值在利用上述中間信息進(jìn)行幀間預(yù)測時(shí)和在利用上述中間信息進(jìn)行幀內(nèi)預(yù)測時(shí)呈倒數(shù)關(guān)系。圖14是中間信息為評(píng)價(jià)值時(shí)的加權(quán)表。因此，幀內(nèi)預(yù)測和幀間預(yù)測不必分別參照各自的加權(quán)表，容易安裝。圖15是一例倒數(shù)決定裝置(1500)。倒數(shù)決定裝置(1500)從評(píng)價(jià)值輸入器(1512)輸入評(píng)價(jià)值，從權(quán)重輸出器(1530)輸出權(quán)重。此外，從編碼類型輸入器(1511)輸入是幀內(nèi)預(yù)測還是幀間預(yù)測的識(shí)別信號(hào)。若向編碼類型輸入器(1511)輸入的是幀內(nèi)預(yù)測，則開關(guān)(1510)執(zhí)行從輸出端(1514)的輸出，從評(píng)價(jià)值輸入器(1512)輸入的評(píng)價(jià)值直接從權(quán)重輸出器(1530)輸出。與此相對(duì)，若向編碼類型輸入器(1511)輸入的是幀間預(yù)測，則開關(guān)(1510)執(zhí)行從輸出端(1513)的輸出，評(píng)價(jià)值向倒數(shù)計(jì)算器(1520)輸出。倒數(shù)計(jì)算器(1520)在算出評(píng)價(jià)值的倒數(shù)之后，從權(quán)重輸出器(1530)輸出權(quán)重。因此，幀內(nèi)預(yù)測和幀間預(yù)測不必分別參照各自的加權(quán)表。以上，說明了本實(shí)施方式的中間信息是評(píng)價(jià)值的情況，當(dāng)然，也可以是各編碼單位的代碼量。此外，當(dāng)然，實(shí)施方式1至4中任何一個(gè)的中間信息也可以是評(píng)價(jià)值。
<實(shí)施方式4的處理流程及效果>
圖16示出本實(shí)施方式的一例處理流程。本實(shí)施方式的影像裝置的動(dòng)作方法由圖像信號(hào)譯碼步驟(S1610)、第2中間信息比較步驟(S1620)、第2編碼單位加權(quán)決定步驟(S1630)和圖像抖動(dòng)量檢測步驟(S1640)構(gòu)成。此外，圖1 7示出一例決定評(píng)價(jià)值時(shí)的處理流程。圖17所示的評(píng)價(jià)值的決定方法包括結(jié)構(gòu)的正交變換步驟(S1710)、高頻突出積分步驟(S1720)和評(píng)價(jià)值決定步驟(S1730)。此外，圖18示出一例倒數(shù)決定方法的處理流程。圖18所示的倒數(shù)決定方法包括評(píng)價(jià)值輸入步驟(S1810)、編碼類型判斷步驟(S1820)和根據(jù)編碼類型判斷步驟的判斷結(jié)果算出倒數(shù)的倒數(shù)計(jì)算步驟(S1830)。在本實(shí)施方式中，因能夠利用圖像信號(hào)譯碼時(shí)使用的中間信息，故即使不對(duì)圖像信號(hào)附加與圖像抖動(dòng)量有關(guān)的信息，也可以檢測出最合適的圖像抖動(dòng)量。此外，因可以決定加權(quán)值，以便使用同一加權(quán)值的中間信息的值在用于進(jìn)行幀間預(yù)測時(shí)和用于進(jìn)行幀內(nèi)預(yù)測時(shí)呈倒數(shù)關(guān)系，故不必分別參照各自的權(quán)重表，容易安裝。
《實(shí)施方式5》<實(shí)施方式5的概要>
本實(shí)施方式的影像裝置和實(shí)施方式4一樣，在根據(jù)對(duì)圖像信號(hào)進(jìn)行譯碼時(shí)生成的各編碼單位的信息檢測出圖像信號(hào)的抖動(dòng)量時(shí)，為了選擇最合適的編碼單位而對(duì)編碼單位進(jìn)行加權(quán)，但是，除了實(shí)施方式4之外，還具有數(shù)據(jù)讀出部、圖像抖動(dòng)量校正部和圖象顯示部。
<實(shí)施方式5的構(gòu)成>
圖1 9示出本實(shí)施方式的一例功能框圖。本實(shí)施方式中的影像裝置(1900)具有圖像信號(hào)譯碼部(1910)、第2中間信息比較部(1920)、第2圖像抖動(dòng)量檢測部(1930)、第2編碼單位加權(quán)決定部(1940)、數(shù)據(jù)讀出部(1950)、圖像校正部(1960)和圖像顯示部(1970)。因?yàn)槌藬?shù)據(jù)讀出部(1950)、圖像校正部(1960)和圖像顯示部(1970)以外的構(gòu)成和實(shí)施方式4一樣，所以，在此省略其說明。此外，數(shù)據(jù)讀出部(1950)、圖像校正部(1960)和圖像顯示部(1970)均已進(jìn)行了說明，故在此省略其說明。在本實(shí)施方式中，在對(duì)圖像信號(hào)進(jìn)行譯碼時(shí)可以檢測出最合適的圖像抖動(dòng)量，并根據(jù)該檢測出的圖像抖動(dòng)量進(jìn)行圖像抖動(dòng)校正后再進(jìn)行顯示。即使在譯碼圖像信號(hào)時(shí)也可以檢測出圖像抖動(dòng)量，所以，即使是不包含與圖像抖動(dòng)量有關(guān)的信息的圖像信號(hào)，也可以顯示抖動(dòng)修正后的圖像。
<實(shí)施方式5的處理流程及效果>
圖16示出本實(shí)施方式的一例處理流程。本實(shí)施方式的影像裝置的動(dòng)作方法由數(shù)據(jù)讀出步驟(S2010)、圖像信號(hào)譯碼步驟(S2020)、第2中間信息比較步驟(S2030)、第2編碼單位加權(quán)決定步驟(S2040)、圖像抖動(dòng)量檢測步驟(S2050)和圖像顯示步驟(S2060)構(gòu)成。在本實(shí)施方式的影像裝置中，因即使在圖像信號(hào)譯碼時(shí)也可以檢測出圖像抖動(dòng)量，故即使是不包含與圖像抖動(dòng)量有關(guān)的信息的圖像信號(hào)，也可以顯示抖動(dòng)修正后的圖像。
權(quán)利要求
1.一種影像裝置，其特征在于，包括圖像信號(hào)取得部，取得圖像信號(hào)；圖像信號(hào)編碼部，對(duì)所述圖像信號(hào)進(jìn)行編碼；中間信息比較部，對(duì)由圖像信號(hào)生成的用于所述編碼的各編碼單位的中間信息進(jìn)行比較；圖像抖動(dòng)量檢測部，通過對(duì)所述中間信息進(jìn)行加權(quán)來檢測由所述圖像信號(hào)取得部取得的圖像信號(hào)的抖動(dòng)量；和編碼單位加權(quán)決定部，根據(jù)所述中間信息比較部的比較結(jié)果決定所述圖像抖動(dòng)量檢測部中的各編碼單位的加權(quán)。
2.一種影像裝置，其特征在于，包括圖像信號(hào)譯碼部，對(duì)編碼后的圖像信號(hào)進(jìn)行譯碼；第2中間信息比較部，對(duì)用于所述譯碼的各編碼單位的第2中間信息，即第2中間信息進(jìn)行比較；第2圖像抖動(dòng)量檢測部，通過對(duì)所述第2中間信息進(jìn)行加權(quán)來檢測編碼后的圖像信號(hào)的抖動(dòng)量；第2編碼單位加權(quán)決定部，根據(jù)所述第2中間信息比較部的比較結(jié)果來決定所述第2圖像抖動(dòng)量檢測部中的各編碼單位的加權(quán)。
3.權(quán)利要求1或2記載的影像裝置，其特征在于所述中間信息是各編碼單位的代碼量。
4.權(quán)利要求1或2記載的影像裝置，其特征在于所述中間信息是通過對(duì)各編碼單位的結(jié)構(gòu)進(jìn)行正交變換并對(duì)變換后的成分進(jìn)行高頻突出積分而求出的評(píng)價(jià)值。
5.權(quán)利要求4記載的影像裝置，其特征在于所述編碼單位加權(quán)決定部具有倒數(shù)決定裝置，該裝置決定加權(quán)值，以便使用同一加權(quán)值的中間信息的值在將所述中間信息用于幀間預(yù)測時(shí)和將所述中間信息用于幀內(nèi)預(yù)測時(shí)呈倒數(shù)關(guān)系。
6.一種影像裝置的動(dòng)作方法，其特征在于，包括圖像信號(hào)取得步驟，取得圖像信號(hào)；圖像信號(hào)編碼步驟，對(duì)所述圖像信號(hào)進(jìn)行編碼；中間信息比較步驟，對(duì)由圖像信號(hào)生成的用于所述編碼的各編碼單位的中間信息進(jìn)行比較；圖像抖動(dòng)量檢測步驟，通過對(duì)所述中間信息進(jìn)行加權(quán)來檢測由所述圖像信號(hào)取得部所取得的圖像信號(hào)的抖動(dòng)量；和編碼單位加權(quán)決定步驟，根據(jù)所述中間信息比較步驟的比較結(jié)果決定所述圖像抖動(dòng)量檢測步驟中的各編碼單位的加權(quán)。
7.一種影像裝置的動(dòng)作方法，其特征在于，包括圖像信號(hào)譯碼步驟，對(duì)編碼后的圖像信號(hào)進(jìn)行譯碼；第2中間信息比較步驟，對(duì)用于所述譯碼的各編碼單位的第2中間信息，即第2中間信息進(jìn)行比較；第2圖像抖動(dòng)量檢測步驟，通過對(duì)所述第2中間信息進(jìn)行加權(quán)來檢測編碼后的圖像信號(hào)的抖動(dòng)量；第2編碼單位加權(quán)決定步驟，根據(jù)所述第2中間信息比較步驟的比較結(jié)果來決定所述第2圖像抖動(dòng)量檢測步驟中的各編碼單位的加權(quán)。
8.權(quán)利要求6或7記載的影像裝置的動(dòng)作方法，其特征在于所述中間信息是各編碼單位的代碼量。
9.權(quán)利要求6或7記載的影像裝置，其特征在于所述中間信息是通過對(duì)各編碼單位的結(jié)構(gòu)進(jìn)行正交變換并對(duì)變換后的成分進(jìn)行高頻突出積分而求出的評(píng)價(jià)值。
10.權(quán)利要求9記載的影像裝置的動(dòng)作方法，其特征在于所述編碼單位加權(quán)決定部包含倒數(shù)決定步驟，該倒數(shù)決定步驟決定加權(quán)值，以便使用同一加權(quán)值的中間信息的值在將所述中間信息用于幀間預(yù)測時(shí)和將所述中間信息用于幀內(nèi)預(yù)測時(shí)呈倒數(shù)關(guān)系。
全文摘要
作為實(shí)現(xiàn)圖像抖動(dòng)檢測功能的方法，提出了利用角速度傳感器等傳感器進(jìn)行檢測的方法或利用傳感器和移動(dòng)圖像編碼的移動(dòng)預(yù)測的方法。若使用傳感器，則從成本、安裝體積和耐沖擊方面來看是不利的，要安裝到像便攜式電話機(jī)那樣的設(shè)備中很困難。此外，當(dāng)只利用移動(dòng)圖像編碼的移動(dòng)預(yù)測來檢測抖動(dòng)校正時(shí)，利用構(gòu)成畫面的所有編碼單位的移動(dòng)預(yù)測，由于使用了其整體的平均或中心值，故抖動(dòng)檢測精度低。因此，提供一種具有圖像信號(hào)取得部、圖像信號(hào)編碼部、中間信息比較部、圖像抖動(dòng)量檢測部和編碼單位加權(quán)決定部的影像裝置。
文檔編號(hào)H04N7/26GK101044751SQ20058003608
公開日2007年9月26日 申請(qǐng)日期2005年9月20日 優(yōu)先權(quán)日2004年10月28日
發(fā)明者林宏之 申請(qǐng)人:夏普株式會(huì)社