專利名稱：對數(shù)字化圖像實(shí)施由計(jì)算機(jī)支持的運(yùn)動補(bǔ)償?shù)姆椒ê脱b置、計(jì)算機(jī)程序產(chǎn)品以及計(jì)算機(jī) ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對數(shù)字化圖像實(shí)施由計(jì)算機(jī)支持的運(yùn)動補(bǔ)償?shù)姆椒ê脱b置。
在[1]中曾公開過這種方法和裝置。
在這種已知的方法中，由攝像機(jī)拍攝圖像，并對其進(jìn)行數(shù)字化和存儲。所述被拍攝和數(shù)字化的圖像具有一些分配有編碼信息的像點(diǎn)。
編碼信息可理解為亮度信息(流明信息)和/或顏色信息(色度信息)。
所存儲的圖像被放大，且所述的編碼信息被內(nèi)插到未放大的圖像的原始像點(diǎn)之間。在所述放大的整個圖像上應(yīng)用一種“整體”運(yùn)動估測(也即估測整個圖像的運(yùn)動)和“整體”運(yùn)動補(bǔ)償。所述整體運(yùn)動估測的結(jié)果是產(chǎn)生一個被分配給所述放大圖像的圖像運(yùn)動矢量。從所述的放大圖像中讀出一個經(jīng)運(yùn)動補(bǔ)償?shù)膱D像片段。經(jīng)運(yùn)動補(bǔ)償?shù)膱D像片段可以理解成如下的圖像片段，它在所述的放大圖像內(nèi)偏移了所述求出的圖像運(yùn)動矢量。
當(dāng)利用手持?jǐn)z像機(jī)進(jìn)行拍攝時，這種運(yùn)動補(bǔ)償尤其可被用來補(bǔ)償人的晃動。所公開的方法尤其具有如下缺點(diǎn)，就是通過放大圖像而降低了攝像機(jī)的分辨率，這使得在經(jīng)運(yùn)動補(bǔ)償?shù)膱D像上可以看到不清晰。
另外還已知通過利用機(jī)械工具來執(zhí)行運(yùn)動補(bǔ)償。對于這種裝置，在攝像機(jī)內(nèi)裝設(shè)一些機(jī)械傳感器，由它們來測試攝像機(jī)的運(yùn)動、譬如晃動。另外還設(shè)置了一種運(yùn)動透鏡系統(tǒng)，根據(jù)所測得的運(yùn)動來控制該透鏡系統(tǒng)，以便對所述的運(yùn)動進(jìn)行補(bǔ)償，并由此確保一種平滑的、在原本拍攝該圖像之前的經(jīng)過運(yùn)動補(bǔ)償?shù)膱D像。
但該技術(shù)的缺點(diǎn)是，由于附加的傳感器和透鏡系統(tǒng)而使得其附加重量非常大。另外，這種裝置的實(shí)現(xiàn)費(fèi)用也較昂貴。因此該技術(shù)尤其不適合小型的設(shè)備，譬如可視移動電話。公開了一種遵照H.263標(biāo)準(zhǔn)的基于塊的圖像編碼方法。、[4]和[5]講述過其它一些用于估測整體運(yùn)動的方法。
因此本發(fā)明所基于的問題在于，提供一種對數(shù)字化圖像進(jìn)行運(yùn)動補(bǔ)償?shù)姆椒ê脱b置，它們不需要昂貴的附加透鏡系統(tǒng)，而且利用它們可以避免降低所拍攝圖像的圖像分辨率。
該問題由具有獨(dú)立權(quán)利要求所述特征的方法和裝置、以及計(jì)算機(jī)產(chǎn)品和計(jì)算機(jī)可讀的存儲介質(zhì)來解決。
在對數(shù)字化圖像實(shí)施由計(jì)算機(jī)支持的運(yùn)動補(bǔ)償?shù)姆椒ㄖ?，分別針對整個圖像而為所述的圖像和在時間上處于前面的預(yù)定數(shù)量的圖像執(zhí)行運(yùn)動估測。由此分別測出一個圖像運(yùn)動矢量。通過采用相應(yīng)的圖像運(yùn)動矢量而以運(yùn)動補(bǔ)償?shù)男问綄⑺龅膱D像存儲在存儲器內(nèi)。讀出所述存儲器的預(yù)定區(qū)域，以便產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)膱D像。
在另一種用于對數(shù)字化圖像實(shí)施由計(jì)算機(jī)支持的運(yùn)動補(bǔ)償?shù)姆椒ㄖ?，將所述的圖像存儲在存儲器內(nèi)。為整個圖像執(zhí)行運(yùn)動估測。得出一個圖像運(yùn)動矢量作為所述運(yùn)動估測的結(jié)果。另外，讀出所述存儲器中包括所述整個圖像的圖像片段的區(qū)域。從一個預(yù)定的基本位置出發(fā)，根據(jù)所測出的圖像運(yùn)動矢量進(jìn)行運(yùn)動補(bǔ)償以得出圖像內(nèi)的所述區(qū)域的位置。讀出所求出的位置處的存儲器區(qū)域，以便產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)膱D像。
對數(shù)字化圖像實(shí)施由計(jì)算機(jī)支持的運(yùn)動補(bǔ)償?shù)难b置具有一種處理器，該處理器可被設(shè)置用來執(zhí)行如下步驟·分別針對整個圖像而為所述的圖像和在時間上處于前面的預(yù)定數(shù)量的圖像執(zhí)行運(yùn)動估測，由此分別測出一個圖像運(yùn)動矢量，·通過采用相應(yīng)的圖像運(yùn)動矢量而以運(yùn)動補(bǔ)償?shù)男问綄⑺龅膱D像存儲在存儲器內(nèi)，而且·讀出所述存儲器的預(yù)定區(qū)域，以便產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)膱D像。
另一種用于對數(shù)字化圖像實(shí)施由計(jì)算機(jī)支持的運(yùn)動補(bǔ)償?shù)难b置包括一種處理器，該處理器可被設(shè)置用來執(zhí)行如下步驟·將所述的圖像存儲在存儲器內(nèi)，·為整個圖像執(zhí)行運(yùn)動估測，由此測出一個圖像運(yùn)動矢量，·讀出所述存儲器中包括所述整個圖像的圖像片段的區(qū)域，·從一個預(yù)定的基本位置出發(fā)，根據(jù)所測出的圖像運(yùn)動矢量進(jìn)行運(yùn)動補(bǔ)償以得出圖像內(nèi)的所述區(qū)域的位置，而且
·讀出所求出的位置處的存儲器區(qū)域，以便產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)膱D像。
在一種計(jì)算機(jī)可讀的存儲介質(zhì)上存儲有一個程序，在該程序裝載到計(jì)算機(jī)的存儲器內(nèi)后，它可以使計(jì)算機(jī)執(zhí)行如下步驟以便對數(shù)字化圖像實(shí)施運(yùn)動補(bǔ)償·分別針對整個圖像而為所述的圖像和在時同上處于前面的預(yù)定數(shù)量的圖像執(zhí)行運(yùn)動估測，由此分別測出一個圖像運(yùn)動矢量，·通過采用相應(yīng)的圖像運(yùn)動矢量而以運(yùn)動補(bǔ)償?shù)男问綄⑺龅膱D像存儲在存儲器內(nèi)，而且·讀出所述存儲器的預(yù)定區(qū)域，以便產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)膱D像。
在另一種計(jì)算機(jī)可讀的存儲介質(zhì)上存儲有一個程序，在該程序裝載到計(jì)算機(jī)的存儲器內(nèi)后，它可以使計(jì)算機(jī)執(zhí)行如下步驟以便對數(shù)字化圖像實(shí)施運(yùn)動補(bǔ)償·將所述的圖像存儲在存儲器內(nèi)，·為整個圖像執(zhí)行運(yùn)動估測，由此測出一個圖像運(yùn)動矢量，·其中，讀出所述存儲器中包括所述整個圖像的圖像片段的區(qū)域，·從一個預(yù)定的基本位置出發(fā)，根據(jù)所測出的圖像運(yùn)動矢量進(jìn)行運(yùn)動補(bǔ)償以得出圖像內(nèi)的所述區(qū)域的位置，而且·讀出所求出的位置處的存儲器區(qū)域，以便產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)膱D像。
一種計(jì)算機(jī)程序產(chǎn)品包括一種計(jì)算機(jī)可讀的存儲介質(zhì)，該存儲介質(zhì)上存儲有一個程序，在該程序裝載到計(jì)算機(jī)的存儲器內(nèi)后，它可以使計(jì)算機(jī)執(zhí)行如下步驟以便對數(shù)字化圖像實(shí)施運(yùn)動補(bǔ)償·分別針對整個圖像而為所述的圖像和在時間上處于前面的預(yù)定數(shù)量的圖像執(zhí)行運(yùn)動估測，由此分別測出一個圖像運(yùn)動矢量，·通過采用相應(yīng)的圖像運(yùn)動矢量而以運(yùn)動補(bǔ)償?shù)男问綄⑺龅膱D像存儲在存儲器內(nèi)，而且·讀出所述存儲器的預(yù)定區(qū)域，以便產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)膱D像。
另一種計(jì)算機(jī)程序產(chǎn)品包括一種計(jì)算機(jī)可讀的存儲介質(zhì)，該存儲介質(zhì)上存儲有一個程序，在該程序裝載到計(jì)算機(jī)的存儲器內(nèi)后，它可以使計(jì)算機(jī)執(zhí)行如下步驟以便對數(shù)字化圖像實(shí)施運(yùn)動補(bǔ)償·將所述的圖像存儲在存儲器內(nèi)，
·為整個圖像執(zhí)行運(yùn)動估測，由此測出一個圖像運(yùn)動矢量，·其中，讀出所述存儲器中包括所述整個圖像的圖像片段的區(qū)域，·從一個預(yù)定的基本位置出發(fā)，根據(jù)所測出的圖像運(yùn)動矢量進(jìn)行運(yùn)動補(bǔ)償以得出圖像內(nèi)的所述區(qū)域的位置，而且·讀出所求出的位置處的存儲器區(qū)域，以便產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)膱D像。
利用本發(fā)明可以提供一種成本合適的解決方案，以用來對數(shù)字化圖像實(shí)施運(yùn)動補(bǔ)償，通過該補(bǔ)償可以避免降低攝像機(jī)的圖像分辨率。因此，與[1]所公開的方法相比，所述經(jīng)運(yùn)動補(bǔ)償?shù)膱D像具有更高的清晰度。
本發(fā)明的優(yōu)選改進(jìn)方案由各從屬權(quán)利要求給出。
在下文所講述的改進(jìn)方案中將涉及到所述的方法、裝置、計(jì)算機(jī)程序產(chǎn)品以及計(jì)算機(jī)可讀的存儲介質(zhì)。
本發(fā)明既可以用軟件也可以譬如通過采用特殊的電路以硬件的形式來實(shí)現(xiàn)。
在一種改進(jìn)方案中規(guī)定，在所述存儲器的圖像疊加區(qū)域內(nèi)，在時間上處于前面的每個圖像以運(yùn)動補(bǔ)償?shù)男问奖粫r間上處于后面的圖像重寫掉。
本發(fā)明可被優(yōu)選地用來對數(shù)字化圖像進(jìn)行編碼和/或解碼。
本發(fā)明非常適用于移動電信終端，譬如可視移動電話。
附圖中示出了本發(fā)明的實(shí)施例，下面來對它進(jìn)行詳細(xì)闡述

圖1簡略地示出了用于說明該實(shí)施例顯而易見的原理的方框圖；圖2簡略地示出了一種具有攝像機(jī)和編碼單元的裝置、以及用于對編碼的圖像序列進(jìn)行解碼的解碼裝置，所述編碼單元用來對利用所述攝像機(jī)拍攝的圖像序列進(jìn)行編碼；圖3詳細(xì)地示出了一種用于圖像編碼和整體運(yùn)動補(bǔ)償?shù)难b置；圖4a～c分別示出了如下一些圖像，在圖像(圖1a)中，相對于在時間上處于前面的圖像而言該圖像的運(yùn)動矢量場具有一個預(yù)定的區(qū)域，從該區(qū)域每次確定出用于形成運(yùn)動模型參數(shù)的運(yùn)動矢量，一幅具有所有運(yùn)動矢量的圖像(圖1b)，以及一幅具有遵循方法迭代的運(yùn)動矢量的圖像(圖1c)，所述方法利用了圖1a所示的預(yù)定區(qū)域；圖5示出了一個流程圖，它給出了用于對圖像的圖像運(yùn)動矢量進(jìn)行測定的方法步驟；圖6簡略地說明了按照第一實(shí)施例來存儲在時間上處于前面的圖像；圖7簡略地說明了選擇一個區(qū)域以便按照第二實(shí)施例來選出用于圖像運(yùn)動補(bǔ)償?shù)膱D像片段。
第一實(shí)施例在圖2中示出了一種包含有兩個計(jì)算機(jī)202、208和一個攝像機(jī)201的裝置，其中說明了圖像編碼、圖像數(shù)據(jù)傳輸以及圖像解碼。
攝像機(jī)201通過線路219與第一計(jì)算機(jī)202相接。所述攝像機(jī)201將拍攝的圖像204傳送給該第一計(jì)算機(jī)202。第一計(jì)算機(jī)202具有第一處理器203，該處理器通過總線218同圖像存儲器205相連。利用所述第一計(jì)算機(jī)202的第一處理器203實(shí)現(xiàn)一種圖像編碼方法。通過這種方式，被編碼的圖像數(shù)據(jù)206通過通信連接207-優(yōu)選為導(dǎo)線或無線鏈路-從第一計(jì)算機(jī)202傳輸?shù)降诙?jì)算機(jī)208。所述第二計(jì)算機(jī)208包含有第二處理器209，該處理器通過總線210與圖像存儲器211相連。利用第二處理器209實(shí)現(xiàn)一種圖像解碼方法。
所述第一計(jì)算機(jī)202和第二計(jì)算機(jī)208都具有一個像屏212或213，在該像屏上可以使圖像數(shù)據(jù)204視覺化。為了操作第一計(jì)算機(jī)202和第二計(jì)算機(jī)208，分別裝設(shè)了輸入單元，優(yōu)選地為鍵盤214或215、以及計(jì)算機(jī)鼠標(biāo)216或217。
通過線路219從攝像機(jī)201傳輸至第一計(jì)算機(jī)202的圖像數(shù)據(jù)204為時域內(nèi)的數(shù)據(jù)，而通過通信連接207從第一計(jì)算機(jī)202傳輸至第二計(jì)算機(jī)207的數(shù)據(jù)為頻域內(nèi)的圖像數(shù)據(jù)。
在像屏220上顯示被解碼的圖像數(shù)據(jù)。
圖3簡略地示出了一種按照第一實(shí)施例來實(shí)現(xiàn)所述方法的裝置，在該范圍內(nèi)執(zhí)行基于塊的圖像編碼方法。
具有時間相繼的數(shù)字化圖像的、需編碼的視頻數(shù)據(jù)流被輸入到圖像編碼單元301。數(shù)字化圖像被劃分為宏塊302，其中每個宏塊包含16×16個像點(diǎn)。所述宏塊302包括4個圖塊303、304、305和306，其中每個圖塊包含8×8個被指定了流明值(亮度值)的像點(diǎn)。另外，每個宏塊302還包括兩個色度塊307和308，所述色度塊具有分配給像點(diǎn)的色度值(顏色信息，色飽和度)。
圖像的所述塊中包含有流明值(＝亮度)、第一色度值(色調(diào))和第二色度值(色飽和度)。在此，流明值、第一色度值和第二色度值被稱為色值。
這些圖塊被輸入到變換編碼單元309中。在一種差分圖像編碼器中，從當(dāng)前需編碼的圖塊中減去時間上處于前面的圖像的需編碼的值，只有求差信息310輸入到變換編碼單元(離散余弦變換，DCT)。對此，通過連接334將當(dāng)前的宏塊302傳給運(yùn)動估測單元329。在所述的變換編碼單元309中，為需編碼的圖塊或差分圖塊生成譜系數(shù)311，并將其輸至量化單元312。
量化的譜系數(shù)313既輸入到掃描單元314，又輸入到反饋回路中的逆量化單元315。根據(jù)一種掃描方法，譬如“折線”掃描方法，在為此而設(shè)置的熵編碼單元316內(nèi)對被掃描過的譜系數(shù)332進(jìn)行熵編碼。經(jīng)過熵編碼的譜系數(shù)以編碼圖像數(shù)據(jù)317的形式通過信道、優(yōu)選地為通過導(dǎo)線或無線鏈路而被傳輸至解碼器中。
在逆量化單元315中對被量化過的譜系數(shù)313進(jìn)行逆量化。如此獲得的譜系數(shù)318被輸入到逆向的變換編碼單元319(逆向的離散余弦變換，IDCT)之中。重構(gòu)的編碼值(也即差分編碼值)320在求差模式下被輸至加法器321。加法器321另外還獲得圖塊的一些編碼值，所述編碼值是根據(jù)已執(zhí)行的運(yùn)動補(bǔ)償而從在時間上處于前面的圖像中得出的。利用加法器321形成重構(gòu)的圖塊322，并將其暫存在圖像存儲器323中。
從圖像存儲器323把被重構(gòu)的圖塊322的色度值324輸至運(yùn)動補(bǔ)償單元325。在為此而設(shè)的內(nèi)插單元327內(nèi)為亮度值326實(shí)現(xiàn)內(nèi)插。借助所述的內(nèi)插，相應(yīng)圖塊內(nèi)所包含的亮度值的數(shù)量被優(yōu)選地加倍。所有亮度值328既被輸入運(yùn)動補(bǔ)償單元325，又被輸入運(yùn)動估測單元329。所述的運(yùn)動估測單元329另外還通過連接334獲得所述需編碼的宏塊(16×16個像點(diǎn))的圖塊。在運(yùn)動估測單元329中通過考慮所述內(nèi)插的亮度值來實(shí)現(xiàn)運(yùn)動估測(“基于半像素的運(yùn)動估測”)。
運(yùn)動估測的結(jié)果為一種運(yùn)動矢量330，利用該矢量來表達(dá)從在時間上處于前面的圖像中所選出的宏塊相對于需編碼的宏塊302的局部偏移。
參考由運(yùn)動估測單元329測定的宏塊，亮度消息和色度信息均被偏移一個運(yùn)動矢量330，并從宏塊302的編碼值中減去(參見數(shù)據(jù)回路231)。
所述運(yùn)動估測以如下方式來實(shí)現(xiàn)，即對于為其實(shí)行運(yùn)動估測的每個圖塊，譬如根據(jù)如下公式來測定相對于與在時間上處于前面的圖像的圖塊具有同樣形狀和大小的區(qū)域的誤差EE=Σi=1nΣj=1m|xi,j-xdi,j|→min∀d∈S,----(1)]]>其中，-i，j均為下標(biāo)，-n，m分別為圖塊中所包含的沿著第一方向x的像點(diǎn)的數(shù)目(n)和沿著第二方向y的像點(diǎn)的數(shù)目(m)，-xi，j為圖塊中位于由下標(biāo)i，j所標(biāo)示的相對位置處的像點(diǎn)所分配的編碼信息，-xdi，j為在時間上處于前面的圖像區(qū)域內(nèi)由下標(biāo)i，j所標(biāo)示的、被偏移了預(yù)定值d的相應(yīng)像點(diǎn)所分配的編碼信息，-S為在時間上處于前面的圖像之內(nèi)的預(yù)定形狀和大小的搜索空間。
針對搜索空間S內(nèi)的不同偏移為每個圖塊計(jì)算誤差E。在時間上處于前面的圖像內(nèi)，極近似地選擇如下圖塊作為執(zhí)行運(yùn)動估測的圖塊，即該圖塊的誤差E最小。
由此產(chǎn)生具有兩個運(yùn)動矢量分量的運(yùn)動矢量330來作為所述運(yùn)動估測的結(jié)果，也即沿著第一方向x和第二方向y的第一運(yùn)動矢量分量BVx和第二運(yùn)動矢量分量BVyBV=BVxBVy.]]>。
該運(yùn)動矢量330被分配給所述的圖塊。
圖3所示的圖像編碼單元由此給所有圖塊或宏圖塊提供運(yùn)動矢量330。
運(yùn)動矢量330被輸入到單元335中，以便對該運(yùn)動矢量330進(jìn)行選擇或加權(quán)。在該用于對運(yùn)動矢量335進(jìn)行選擇的單元中，選出位于預(yù)定區(qū)域401(參見圖4a)內(nèi)的圖塊所分配的運(yùn)動矢量330，或?qū)ζ溥M(jìn)行加高權(quán)。此外，在單元335中還選出已可靠(342)估測的運(yùn)動矢量，或?qū)ζ溥M(jìn)行加高權(quán)。
選出的運(yùn)動矢量336被輸入到一個用于對運(yùn)動模型參數(shù)進(jìn)行測定的單元337中。在該用于對運(yùn)動模型參數(shù)進(jìn)行測定的單元337中，根據(jù)所選擇的運(yùn)動矢量測出下文還將按照圖1進(jìn)行講述的運(yùn)動模型。
被測定的運(yùn)動模型338被輸至用于對攝像機(jī)和所拍攝圖像之間的運(yùn)動進(jìn)行補(bǔ)償?shù)膯卧?39中。在該補(bǔ)償單元339中，根據(jù)下文將要講述的運(yùn)動模型對運(yùn)動進(jìn)行補(bǔ)償，使得其運(yùn)動已被補(bǔ)償?shù)?、有少量歪跳的圖像340在圖像存儲器323內(nèi)被存儲到事先沒有處理的、其運(yùn)動需要補(bǔ)償?shù)膱D像中，在處理之后再存入到補(bǔ)償單元339中。
圖1以方框圖的形式示出了整體運(yùn)動測定的原理。
根據(jù)運(yùn)動矢量場101、預(yù)定的區(qū)域或加權(quán)掩模102、以及可靠系數(shù)加權(quán)掩模106，計(jì)算出下文將要講述的運(yùn)動模型338(步驟103)。
運(yùn)動矢量場101可以理解為圖像的所有被測定的運(yùn)動矢量330的集合。運(yùn)動矢量場101在圖4b中是通過每次為圖塊描述一個運(yùn)動矢量330的劃線示出的(402)。該運(yùn)動矢量場402在數(shù)字化圖像400上是簡略地畫出來的。圖像400包括人形式的運(yùn)動物體403和圖像背景404。
圖4a示出了預(yù)定的區(qū)域401。該預(yù)定的區(qū)域401規(guī)定了圖塊必須位于其內(nèi)的區(qū)域，由此選擇給這些圖塊所分配的運(yùn)動矢量。
通過如下方式來產(chǎn)生所述的預(yù)定區(qū)域401，即由距數(shù)字化圖像400的邊緣407為第一預(yù)定間距406之內(nèi)的圖塊組成邊緣區(qū)域405。因此，在測定運(yùn)動模型338的參數(shù)時不考慮直接位于圖像400邊緣407的圖塊。另外，該預(yù)定的區(qū)域401由如下的圖塊形成，這些圖塊位于距數(shù)字化圖像400的中心409為第二預(yù)定間距408之內(nèi)。
所述的預(yù)定區(qū)域或加權(quán)掩模在具有下述步驟的迭代方法中被變換如成下迭代的新區(qū)域(步驟104)。
為位于預(yù)定區(qū)域401內(nèi)的每個圖塊分別測定矢量差異值VU，利用該差異值來描述所確定的運(yùn)動模型338和每個圖塊所分配的運(yùn)動矢量330之間的差異。該矢量差異值VU譬如按如下公式來產(chǎn)生VU＝|BVX-MBVX|+|BVY-MBVY|，(2)其中，MBVx和MBVy均為按照運(yùn)動模型計(jì)算出來的運(yùn)動矢量MBV的分量。
下面來詳細(xì)講述基于模型的運(yùn)動矢量的測定。
在采用二進(jìn)制掩模的情況下，如果相應(yīng)的矢量差異值VU小于預(yù)定的閾值ε，則圖塊被包含在下一迭代的新區(qū)域內(nèi)。但假若所述矢量差異值VU大于所述的閾值ε，則在新的預(yù)定區(qū)域內(nèi)不考慮分配了相應(yīng)運(yùn)動矢量的圖塊。
在采用加權(quán)掩模的情況下，規(guī)定所述塊的加權(quán)因子與其矢量差異值VU成反比。
通過該優(yōu)選方案可以實(shí)現(xiàn)當(dāng)在下一迭代中計(jì)算運(yùn)動模型的參數(shù)時，可以不考慮或只很少考慮與從所確定的運(yùn)動模型中計(jì)算出來的運(yùn)動矢量MBV大不相同的那些運(yùn)動矢量。
在生成新區(qū)域或新加權(quán)掩模之后，通過采用新區(qū)域內(nèi)包含的圖塊所分配的運(yùn)動矢量，或通過附加地采用加權(quán)掩模來為運(yùn)動模型確定一個新的參數(shù)組。
在預(yù)定數(shù)量的迭代內(nèi)，或只要滿足在迭代步驟中沒有達(dá)到一定數(shù)目的刪除塊，則執(zhí)行上述方法，直到出現(xiàn)中斷判據(jù)。
在此，總是采用新的區(qū)域作為預(yù)定的區(qū)域，或采用包括原先運(yùn)動矢量在內(nèi)的加權(quán)掩模作為下一個迭代的輸入量。
利用如下方式來實(shí)現(xiàn)整體運(yùn)動的測定，即為整體的攝像機(jī)運(yùn)動測定模型的參數(shù)。
為了闡明所述的運(yùn)動模型，下文示出了運(yùn)動模型的詳細(xì)推導(dǎo)此處的出發(fā)點(diǎn)為利用攝像機(jī)使自然的三維景物在兩維的投影平面上成像。點(diǎn)的成像p0＝x0，y0，z0)T(4)通過如下公式來產(chǎn)生XY=Fz0x0y0^z0>>F,----(5)]]>其中，F(xiàn)表示焦距，X、Y表示成像點(diǎn)P0在像平面上的坐標(biāo)。
如果此時攝像機(jī)產(chǎn)生運(yùn)動，則成像規(guī)則在與攝像機(jī)一起同步運(yùn)動的坐標(biāo)系統(tǒng)內(nèi)保持不變，但物點(diǎn)的坐標(biāo)必須變換成該坐標(biāo)系統(tǒng)。由于攝像機(jī)的所有運(yùn)動都可理解為旋轉(zhuǎn)和平移的累加，所以可根據(jù)下式將地點(diǎn)固定的坐標(biāo)系統(tǒng)(x，y，z)變換成一起運(yùn)動的坐標(biāo)系統(tǒng) x~0y~0z~0=r11r12r13r21r22r23r31r32r33·x0y0z0+t1t2t3.----(6)]]>根據(jù)公式(6)，由攝像機(jī)運(yùn)動所引起的圖像變化可按下式進(jìn)行修正 其中，用ΔX、ΔY表示當(dāng)所述的攝像機(jī)運(yùn)動時在時間間隔Δt內(nèi)所引起的像點(diǎn)的坐標(biāo)變化，用Z表示在所述時間間隔Δt內(nèi)攝像機(jī)圍繞z軸所旋轉(zhuǎn)的角度。用預(yù)定因子CF標(biāo)示焦距變化或沿z軸的平移。
公式(7)所表示的方程系統(tǒng)是非線性的，因此不可能直接確定該方程系統(tǒng)的參數(shù)。
因此，為快速計(jì)算采用一種簡化的運(yùn)動模型，其中，在成像平面內(nèi)，攝像機(jī)的運(yùn)動采用具有6個參數(shù)的運(yùn)動模型，所述參數(shù)按下式產(chǎn)生X~0Y~0=r11′r12′r21′r22′·X0Y0+tX′tY′.----(8)]]>此時，利用運(yùn)動矢量場的數(shù)據(jù)產(chǎn)生的方程系統(tǒng)可以通過線性回歸來解答，其中，變換的復(fù)雜性為對稱的3*3矩陣。
在確定參數(shù)r′11、r′12、r′21、r′22、t′X和t′Y之后，按照下式來近似式子(7)中的參數(shù)T＝T′， (9) ρz=arcsin12(r21′-r12′).----(11)]]>圖4c示出了位于預(yù)定區(qū)域401內(nèi)的圖塊所分配的一些運(yùn)動矢量。相對于圖4a所示的預(yù)定區(qū)域401，此處的預(yù)定區(qū)域401通過迭代(步驟104)發(fā)生了改變。
通過使用這些參數(shù)可以求出圖像的圖像運(yùn)動矢量，并利用該圖像運(yùn)動矢量來描述所述圖像相對于拍攝圖像的攝像機(jī)的運(yùn)動。
對于偏移了相應(yīng)圖像運(yùn)動矢量的圖像時間序列，其每個圖像被存儲在圖像存儲器323內(nèi)，其中所述的圖像運(yùn)動矢量是為所述圖像而求出的。該圖像存儲器323大于拍攝所述圖像序列的攝像機(jī)的格式。因此，用所述重構(gòu)的圖像所表示的攝像機(jī)片段顯然是在圖像存儲器323內(nèi)經(jīng)過偏移相應(yīng)的圖像運(yùn)動矢量后，再經(jīng)運(yùn)動補(bǔ)償而被存儲的。在存儲當(dāng)前經(jīng)運(yùn)動補(bǔ)償過的圖像時，用新的圖像重寫掉圖像存儲器內(nèi)已被先前圖像寫過的區(qū)域。
該方案在圖6中是用四個圖像601、602、603和604象征性地示出的。從基本位置600出發(fā)，所述四個圖像601、602、603和604中的每一個都偏移了一個矢量，該矢量對應(yīng)于相應(yīng)圖像601、602、603和604所屬的圖像運(yùn)動矢量611、612、613和614。
可以針對當(dāng)前需編碼或顯示的圖像而讀出位于所述圖像存儲器323內(nèi)的圖像信息，以作為經(jīng)運(yùn)動補(bǔ)償?shù)膱D像，這些圖像信息包含在圖像存儲器323的區(qū)域610內(nèi)，且該區(qū)域610在其右上邊緣處包含有所述的基本位置600。
所述被讀出的圖像在圖6中是用參考符號620表示的。
如果被拍攝的圖像序列的背景涉及固定的物體，譬如一片風(fēng)景或可視會議室的背墻，則可以在編碼并利用運(yùn)動補(bǔ)償向圖像存儲器323存儲多個圖像之后的時間上建立更多相關(guān)的實(shí)際圖像背景面，這譬如尤其是在拍攝圖像序列時通過不同的攝像視點(diǎn)來促成的。
持續(xù)地、也即為每個圖像從圖像存儲器323中讀出所述相同的區(qū)域620。
下面借助圖5再次來講述該方法的各個方法步驟在方法開始(步驟501)之后，對圖塊或宏圖塊進(jìn)行選擇(步驟502)。為選出的圖塊或宏圖塊測定運(yùn)動矢量(步驟503)，并在下一步驟(步驟504)中檢驗(yàn)是否圖像的所有圖塊或宏圖塊都已處理。
如果是，則在下一步驟(步驟505)中選出還沒有處理的圖塊或宏圖塊。
但是，若所有的圖塊或宏圖塊都已處理完畢，則選擇位于預(yù)定區(qū)域內(nèi)的圖塊或宏圖塊所分配的運(yùn)動矢量(步驟506)。
從所選擇的運(yùn)動矢量中測出運(yùn)動模型的參數(shù)(步驟507)。如果需要執(zhí)行下一迭代，也就是說，還沒有達(dá)到規(guī)定的迭代數(shù)目，或還不滿足中斷判據(jù)，那么，在下一步驟(步驟509)中確定新的區(qū)域或根據(jù)矢量差異值VU計(jì)算出下一迭代的加權(quán)掩模(步驟510)。
通過采用所確定的運(yùn)動模型來補(bǔ)償圖像的運(yùn)動(步驟508)。
接下來講述上述實(shí)施例的一些選擇方案所述區(qū)域的形狀基本上可以是任意的，并優(yōu)選地取決于對景物的預(yù)先了解。如下圖像區(qū)域不應(yīng)被考慮用來確定運(yùn)動模型，即從它們可以得知所述圖像區(qū)域明顯不同于所述的整體運(yùn)動。
所述區(qū)域應(yīng)該只包含如下圖像區(qū)域的運(yùn)動矢量，即按照運(yùn)動估測方法的可靠值342，所述圖像區(qū)域被證明是可靠的。
總的來說，運(yùn)動估測可以按照任意的方法來實(shí)現(xiàn)，并不局限于塊匹配的原理。因此，譬如也可以通過采用動態(tài)編程來實(shí)現(xiàn)運(yùn)動估測。
因而，運(yùn)動估測的類型、以及為圖塊測定運(yùn)動矢量的類型和方法對本發(fā)明是無關(guān)緊要的。
為了近似地確定方程系統(tǒng)(7)的參數(shù)，也可選擇將式子(7)中的正弦項(xiàng)和余弦項(xiàng)線性化。
由此為小角度ρZ得出如下式子ΔXΔY=CF-1-CFωzCFωzCF-1·XY+tXtY=R1-R2R2R1·XY+tXtY.----(12)]]>由于等式的優(yōu)化對用ΔX用ΔY來說是相互無關(guān)的，所以誤差平方和最小，也即遵循如下式子Σv-[(ΔXη-R1Xη+R2Yη-tX)2+(ΔYη-R2Xη+R1Yη-tY)2]→min.----(13)]]>在此，ΔXη、ΔYη分別表示位于圖像預(yù)定區(qū)域V的Xη、Yη位置處的圖塊η的運(yùn)動矢量的X分量和Y分量。
根據(jù)等式(12)，R1、R2、tX以及tY為運(yùn)動模型的需確定的參數(shù)。
在執(zhí)行所述的優(yōu)化方法之后，按照所確定的方程系統(tǒng)(12)并通過使用相應(yīng)宏塊的X和Y分量來確定所屬的、基于模型的運(yùn)動矢量MBV(ΔX、ΔY)。
在計(jì)算運(yùn)動模型的參數(shù)時，也可以按如下式子采用加權(quán)掩模AX、AY來替代上述的區(qū)域，該加權(quán)掩模表示了運(yùn)動矢量的可靠性、先驗(yàn)知識以及在迭代方法中分別為運(yùn)動矢量的X和Y分量得出的結(jié)論Σv‾(αXη·(ΔXη-R1Xη+R2Yη-tX))2+(αYη·(ΔYη-R2Xη-R1Yη-tX))→min]]>αXη∈AX，αYη∈AY。 (14)譬如可以按如下方式為運(yùn)動矢量(105)的可靠性來計(jì)算加權(quán)掩模AX、AY，即在塊匹配時根據(jù)如下式子來為圖塊計(jì)算αX、αY的值 其中，SADη表示在塊匹配的第η個偏移(xη，yη)時、塊的像素差的總和，而SAD匹配則表示最好的、最終選出的區(qū)域(x匹配，y匹配)。N為已檢查的搜索位置的總數(shù)。如果只考慮譬如16個最好的區(qū)域來計(jì)算該值，則可以以“螺旋式搜索”的形式來實(shí)現(xiàn)塊匹配，并利用所選出的16個區(qū)域中的最壞區(qū)域的SAD作為中斷判據(jù)。
另一種可能性在于，利用下式為運(yùn)動矢量的可靠性計(jì)算加權(quán)掩模Ax＝Ay＝A 其中，α＝αX＝αY為圖塊或其運(yùn)動矢量的加權(quán)因子。
本發(fā)明譬如可用來對運(yùn)動的攝像機(jī)的運(yùn)動進(jìn)行補(bǔ)償，或也可用于對被集成在移動通信設(shè)備(視頻手提設(shè)備)內(nèi)的攝像機(jī)進(jìn)行運(yùn)動補(bǔ)償。
第二實(shí)施例圖7示出了圖像存儲器323，它象征性地描繪了按照第二實(shí)施例來存儲和讀取所述的圖像。
在該實(shí)施例的范圍內(nèi)的前提條件是，所述的攝像機(jī)利用比為圖像輸出所需的圖像格式要更大的圖像格式來拍攝圖像。
該實(shí)施例基本上與所述的第一實(shí)施例是一致的，但區(qū)別在于，圖像片段700是在執(zhí)行運(yùn)動估測之后從圖像存儲器323中讀出的，該圖像片段從基本位置702出發(fā)偏移了所求出的圖像運(yùn)動矢量701。
需要注意的是，圖像的運(yùn)動補(bǔ)償是在對各個圖塊進(jìn)行變換編碼之前進(jìn)行的，由此可以采用一種編碼器，利用它來處理所述輸出的圖像的圖像格式。顯然這意味著，在該情形下所述的運(yùn)動補(bǔ)償是“前聯(lián)”在所述的編碼器上。
下面來講述上述實(shí)施例的一些替換方案所述用于運(yùn)動補(bǔ)償?shù)姆椒ㄅc所選的運(yùn)動估測方法無關(guān)，也就是說，可以采用任意的方法來測定所述的圖像運(yùn)動矢量。
在本文件中引用了如下公開出版物[1]K.Uomori，A.Morimura，H.Ishii，用于視頻照相機(jī)和VCR的電子圖像穩(wěn)定系統(tǒng)，SMPTE學(xué)報(bào)，卷101，號2，頁66-75，1992[2]ITU-T，國際通信聯(lián)盟，ITU電信部分，草案ITU-T介紹H.263，用于低比特率通信的視頻編碼，1996年5月2日[3]S.B.Balakirsky，R.Chellappa，圖像穩(wěn)定算法的性能特征，關(guān)于圖像處理的國際會議紀(jì)要，卷2、3，頁413-416，1996[4]R.Gupta，M.C Theys，H.J.Siegel，背景補(bǔ)償和有效的照相機(jī)跟蹤算法，關(guān)于并行處理的1997國際會議紀(jì)要，頁431-440，1997[5]D.Wang，L.Wang，利用一種快速可靠的算法估測整體運(yùn)動的參數(shù)，IEEE關(guān)于視頻技術(shù)電路和系統(tǒng)的學(xué)報(bào)，卷7，號5，頁823-826，199權(quán)利要求
1.對數(shù)字化圖像實(shí)施由計(jì)算機(jī)支持的運(yùn)動補(bǔ)償?shù)姆椒?，·其中，分別針對整個圖像而為所述的圖像和在時間上處于前面的預(yù)定數(shù)量的圖像執(zhí)行運(yùn)動估測，由此分別測出一個圖像運(yùn)動矢量，·其中，通過采用相應(yīng)的圖像運(yùn)動矢量而以運(yùn)動補(bǔ)償?shù)男问綄⑺龅膱D像存儲在存儲器內(nèi)，而且·其中，讀出所述存儲器的預(yù)定區(qū)域，以便產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)膱D像。
2.如權(quán)利要求1所述的方法，其中，在所述存儲器的圖像疊加區(qū)域內(nèi)，在時間上處于前面的每個圖像以運(yùn)動補(bǔ)償?shù)男问奖粫r間上處于后面的圖像重寫掉。
3.對數(shù)字化圖像實(shí)施由計(jì)算機(jī)支持的運(yùn)動補(bǔ)償?shù)姆椒ǎて渲?，將所述的圖像存儲在存儲器內(nèi)，·其中，為整個圖像執(zhí)行運(yùn)動估測，由此測出一個圖像運(yùn)動矢量，·其中，讀出所述存儲器中包括所述整個圖像的圖像片段的區(qū)域，·其中，從一個預(yù)定的基本位置出發(fā)，根據(jù)所測出的圖像運(yùn)動矢量進(jìn)行運(yùn)動補(bǔ)償以得出圖像內(nèi)的所述區(qū)域的位置，而且·其中，讀出所求出的位置處的存儲器區(qū)域，以便產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)膱D像。
4.如上述權(quán)利要求中任一項(xiàng)所述的方法，它被用來對數(shù)字化圖像進(jìn)行編碼。
5.如上述權(quán)利要求中任一項(xiàng)所述的方法，它被用來對數(shù)字化圖像進(jìn)行解碼。
6.對數(shù)字化圖像實(shí)施由計(jì)算機(jī)支持的運(yùn)動補(bǔ)償?shù)难b置，具有一種處理器，該處理器可被設(shè)置用來執(zhí)行如下步驟·分別針對整個圖像而為所述的圖像和在時間上處于前面的預(yù)定數(shù)量的圖像執(zhí)行運(yùn)動估測，由此分別測出一個圖像運(yùn)動矢量，·通過采用相應(yīng)的圖像運(yùn)動矢量而以運(yùn)動補(bǔ)償?shù)男问綄⑺龅膱D像存儲在存儲器內(nèi)，而且·讀出所述存儲器的預(yù)定區(qū)域，以便產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)膱D像。
7.如權(quán)利要求6所述的裝置，其中，所述的處理器被如此地設(shè)置，使得在所述存儲器的圖像疊加區(qū)域內(nèi)，在時間上處于前面的每個圖像以運(yùn)動補(bǔ)償?shù)男问奖粫r間上處于后面的圖像重寫掉。
8.對數(shù)字化圖像實(shí)施由計(jì)算機(jī)支持的運(yùn)動補(bǔ)償?shù)难b置，具有一種處理器，該處理器可被設(shè)置用來執(zhí)行如下步驟·將所述的圖像存儲在存儲器內(nèi)，·為整個圖像執(zhí)行運(yùn)動估測，由此測出一個圖像運(yùn)動矢量，·讀出所述存儲器中包括所述整個圖像的圖像片段的區(qū)域，·從一個預(yù)定的基本位置出發(fā)，根據(jù)所測出的圖像運(yùn)動矢量進(jìn)行運(yùn)動補(bǔ)償以得出圖像內(nèi)的所述區(qū)域的位置，而且·讀出所求出的位置處的存儲器區(qū)域，以便產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)膱D像。
9.如權(quán)利要求6～8中任一項(xiàng)所述的裝置，它被用來對數(shù)字化圖像進(jìn)行編碼。
10.如權(quán)利要求6～8中任一項(xiàng)所述的裝置，它被用來對數(shù)字化圖像進(jìn)行解碼。
11.計(jì)算機(jī)可讀的存儲介質(zhì)，其上存儲有一個程序，在該程序裝載到計(jì)算機(jī)的存儲器內(nèi)后，它可以使計(jì)算機(jī)執(zhí)行如下步驟以便對數(shù)字化圖像實(shí)施運(yùn)動補(bǔ)償·分別針對整個圖像而為所述的圖像和在時間上處于前面的預(yù)定數(shù)量的圖像執(zhí)行運(yùn)動估測，由此分別測出一個圖像運(yùn)動矢量，·通過采用相應(yīng)的圖像運(yùn)動矢量而以運(yùn)動補(bǔ)償?shù)男问綄⑺龅膱D像存儲在存儲器內(nèi)，而且·讀出所述存儲器的預(yù)定區(qū)域，以便產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)膱D像。
12.計(jì)算機(jī)可讀的存儲介質(zhì)，其上存儲有一個程序，在該程序裝載到計(jì)算機(jī)的存儲器內(nèi)后，它可以使計(jì)算機(jī)執(zhí)行如下步驟以便對數(shù)字化圖像實(shí)施運(yùn)動補(bǔ)償·將所述的圖像存儲在存儲器內(nèi)，·為整個圖像執(zhí)行運(yùn)動估測，由此測出一個圖像運(yùn)動矢量，·其中，讀出所述存儲器中包括所述整個圖像的圖像片段的區(qū)域，·從一個預(yù)定的基本位置出發(fā)，根據(jù)所測出的圖像運(yùn)動矢量進(jìn)行運(yùn)動補(bǔ)償以得出圖像內(nèi)的所述區(qū)域的位置，而且·讀出所求出的位置處的存儲器區(qū)域，以便產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)膱D像。
13.計(jì)算機(jī)程序產(chǎn)品，它包括一種計(jì)算機(jī)可讀的存儲介質(zhì)，該存儲介質(zhì)上存儲有一個程序，在該程序裝載到計(jì)算機(jī)的存儲器內(nèi)后，它可以使計(jì)算機(jī)執(zhí)行如下步驟以便對數(shù)字化圖像實(shí)施運(yùn)動補(bǔ)償·分別針對整個圖像而為所述的圖像和在時間上處于前面的預(yù)定數(shù)量的圖像執(zhí)行運(yùn)動估測，由此分別測出一個圖像運(yùn)動矢量，·通過采用相應(yīng)的圖像運(yùn)動矢量而以運(yùn)動補(bǔ)償?shù)男问綄⑺龅膱D像存儲在存儲器內(nèi)，而且·讀出所述存儲器的預(yù)定區(qū)域，以便產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)膱D像。
14.計(jì)算機(jī)程序產(chǎn)品，它包括一種計(jì)算機(jī)可讀的存儲介質(zhì)，該存儲介質(zhì)上存儲有一個程序，在該程序裝載到計(jì)算機(jī)的存儲器內(nèi)后，它可以使計(jì)算機(jī)執(zhí)行如下步驟以便對數(shù)字化圖像實(shí)施運(yùn)動補(bǔ)償·將所述的圖像存儲在存儲器內(nèi)，·為整個圖像執(zhí)行運(yùn)動估測，由此測出一個圖像運(yùn)動矢量，·其中，讀出所述存儲器中包括所述整個圖像的圖像片段的區(qū)域，·從一個預(yù)定的基本位置出發(fā)，根據(jù)所測出的圖像運(yùn)動矢量進(jìn)行運(yùn)動補(bǔ)償以得出圖像內(nèi)的所述區(qū)域的位置，而且·讀出所求出的位置處的存儲器區(qū)域，以便產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)膱D像。
全文摘要
分別針對整個圖像而為所述的圖像和在時間上處于前面的預(yù)定數(shù)量的圖像執(zhí)行運(yùn)動估測,由此分別測出一個圖像運(yùn)動矢量。通過采用相應(yīng)的圖像運(yùn)動矢量而以運(yùn)動補(bǔ)償?shù)男问綄⑺龅膱D像存儲在存儲器內(nèi)。讀出所述存儲器的預(yù)定區(qū)域,以便產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)膱D像。
文檔編號H04N7/32GK1350749SQ00807303
公開日2002年5月22日 申請日期2000年4月5日 優(yōu)先權(quán)日1999年5月7日
發(fā)明者R·庫特卡 申請人:西門子公司