專利名稱：具有抖動(dòng)提取的處理設(shè)備和包括這種設(shè)備的裝備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字圖像處理領(lǐng)域，更具體的，涉及視頻序列的數(shù)字圖像的穩(wěn)定化。

背景技術(shù)：
如本領(lǐng)域的技術(shù)人員所知，已經(jīng)提出了圖像穩(wěn)定化算法，以在保留必需的攝像機(jī)運(yùn)動(dòng)的同時(shí)，去除不期望的攝像機(jī)運(yùn)動(dòng)或抖動(dòng)，從而提供更加愉悅的觀察感受。這里，“不期望的攝像機(jī)運(yùn)動(dòng)或抖動(dòng)”是指添加至攝像機(jī)的期望的運(yùn)動(dòng)的所有不利的圖像位置波動(dòng)，諸如平移和/或旋轉(zhuǎn)。
在多數(shù)數(shù)字圖像穩(wěn)定化(或DIS)算法中，將3個(gè)主要步驟連續(xù)應(yīng)用于視頻序列的數(shù)字圖像。第一步驟在于確定視頻序列的兩幅連續(xù)的圖像幀(在時(shí)刻t和(t—1))之間的運(yùn)動(dòng)估計(jì)。第二步驟在于根據(jù)相應(yīng)的已確定的運(yùn)動(dòng)估計(jì)來(lái)確定每一幅圖像幀的抖動(dòng)。第三步驟在于根據(jù)每一幅圖像幀的全局運(yùn)動(dòng)參數(shù)來(lái)對(duì)抖動(dòng)進(jìn)行過(guò)濾(去除)，以便去除不期望的運(yùn)動(dòng)。
在專利文獻(xiàn)US 2003/0090593和US 2004/0001147中重點(diǎn)描述了這種數(shù)字圖像穩(wěn)定化算法的示例。這些已知的數(shù)字圖像穩(wěn)定化算法的第一和第三步驟很容易實(shí)現(xiàn)。困難出現(xiàn)在第二步驟，第二步驟的目的是從期望的運(yùn)動(dòng)中分離出不期望的運(yùn)動(dòng)。由于這些困難，這些算法或提供靜態(tài)或準(zhǔn)靜態(tài)視頻序列的較弱的穩(wěn)定化和全景/移動(dòng)(panoramic/traveling)視頻序列較好(有效)銜接，或提供靜態(tài)或準(zhǔn)靜態(tài)視頻序列的較強(qiáng)(有效的)穩(wěn)定化和不穩(wěn)定的全景/移動(dòng)視頻序列。


發(fā)明內(nèi)容
因此，本發(fā)明的目的是，通過(guò)根據(jù)視頻序列中出現(xiàn)的運(yùn)動(dòng)的類型來(lái)自適應(yīng)地調(diào)節(jié)抖動(dòng)提取方法，以至少部分地改進(jìn)上述情況。
為此，本發(fā)明涉及一種用于穩(wěn)定數(shù)字視頻序列的圖像幀的處理設(shè)備，該處理設(shè)備包括處理裝置，該處理裝置被設(shè)置為，針對(duì)視頻序列的每一幅圖像幀，根據(jù)該圖像幀的全局運(yùn)動(dòng)參數(shù)來(lái)確定抖動(dòng)，該圖像幀的全局運(yùn)動(dòng)參數(shù)是根據(jù)視頻序列的該圖像幀和前一幀之間的運(yùn)動(dòng)估計(jì)來(lái)確定的；并且用于從所確定的全局運(yùn)動(dòng)參數(shù)中去除所述抖動(dòng)，以去除存在于圖像幀中的不期望的運(yùn)動(dòng)。
該處理設(shè)備的特征在于，其處理裝置被設(shè)置為 -用于根據(jù)該視頻序列的該圖像幀的所確定的全局運(yùn)動(dòng)參數(shù)和至少一幅先前圖像幀之一的所確定的全局運(yùn)動(dòng)參數(shù)，來(lái)確定運(yùn)動(dòng)類型(所述運(yùn)動(dòng)存在于視頻序列中)，然后 -用于根據(jù)該所確定的運(yùn)動(dòng)類型，在至少兩種抖動(dòng)提取技術(shù)中選擇選定抖動(dòng)提取技術(shù)，以及 -用于使用該選定抖動(dòng)提取技術(shù)來(lái)確定抖動(dòng)。
根據(jù)本發(fā)明的處理設(shè)備可以包括可以分離或組合地考慮的附加特征，特別是 -其處理裝置可以被設(shè)置用于至少在第一抖動(dòng)提取技術(shù)和第二抖動(dòng)提取技術(shù)中選擇選定抖動(dòng)提取技術(shù)，該第一抖動(dòng)提取技術(shù)適于準(zhǔn)靜態(tài)視頻序列的強(qiáng)穩(wěn)定化，該第二抖動(dòng)提取技術(shù)適于全景視頻序列的平滑銜接； 其處理裝置可以被設(shè)置為a)計(jì)算包括當(dāng)前圖像幀的K1幅連續(xù)圖像幀的所選K1個(gè)確定的全局運(yùn)動(dòng)參數(shù)的第一和，以及計(jì)算包括當(dāng)前圖像幀的K2幅連續(xù)圖像幀的所選K2個(gè)確定的全局運(yùn)動(dòng)參數(shù)的第二和，其中K2<K1(例如K2＝K1/2)，然后，b)比較包括當(dāng)前圖像幀的這些K1幅連續(xù)圖像幀的第一和的符號(hào)，然后，c)將該第一和的符號(hào)與第二和的符號(hào)進(jìn)行比較，然后，d)當(dāng)K1個(gè)第一和具有不同的符號(hào)時(shí)、或K1個(gè)第一和具有相同符號(hào)并且第一和與第二和具有不同的符號(hào)時(shí)，將與第一抖動(dòng)提取技術(shù)相關(guān)聯(lián)的第一運(yùn)動(dòng)類型與當(dāng)前圖像幀相關(guān)聯(lián)，或當(dāng)K1個(gè)第一和具有相同的符號(hào)并且第一和第二和具有相同的符號(hào)時(shí)，將與第二抖動(dòng)提取技術(shù)相關(guān)聯(lián)的第二運(yùn)動(dòng)類型與當(dāng)前圖像幀相關(guān)聯(lián)； ●其處理裝置可以被設(shè)置為，針對(duì)表示場(chǎng)景的每一幅圖像幀，計(jì)算第一值，該第一值表示該場(chǎng)景在所選參考中的實(shí)際位置，然后計(jì)算第二值，該第二值表示包括當(dāng)前圖像幀的連續(xù)圖像幀的K1個(gè)確定的第一值的平均值，然后將該第一值的平均值與所述第一和相加來(lái)獲得第三值，該第三值表示該場(chǎng)景在所選參考中的目標(biāo)位置，然后，通過(guò)從與當(dāng)前圖像幀相對(duì)應(yīng)的第一值減去同樣與當(dāng)前圖像幀相對(duì)應(yīng)的第三值，來(lái)計(jì)算與當(dāng)前圖像幀相對(duì)應(yīng)的抖動(dòng)； ○其處理裝置可以被設(shè)置為，針對(duì)每一幅圖像幀，計(jì)算第四值和第五值，該第四值表示由先前圖像幀所表示的場(chǎng)景在所選參考中的校正位置，該第五值表示由先前圖像幀所表示的場(chǎng)景在所選參考中的目標(biāo)位置，然后從第四值中減去第五值來(lái)獲得第六值，然后從與當(dāng)前圖像幀相對(duì)應(yīng)的抖動(dòng)中減去第六值來(lái)獲得要從所確定的全局運(yùn)動(dòng)參數(shù)去除的校正抖動(dòng)； ○其處理裝置可以被設(shè)置為，針對(duì)每一幅圖像幀，計(jì)算第七值，該第七值表示由當(dāng)前圖像幀所表示的場(chǎng)景在所選參考中的校正位置，然后從第七值中減去第四值來(lái)獲得第八值，該第八值表示當(dāng)前圖像幀的校正全局運(yùn)動(dòng)參數(shù)，然后對(duì)第八值的符號(hào)與當(dāng)前圖像幀的全局運(yùn)動(dòng)參數(shù)或第二和的符號(hào)進(jìn)行比較，當(dāng)所述符號(hào)一致時(shí)，使用當(dāng)前圖像幀的所計(jì)算的抖動(dòng)或校正抖動(dòng)，或當(dāng)所述符號(hào)不一致時(shí)，使用先前圖像幀的所計(jì)算的抖動(dòng)或校正抖動(dòng)； ●K1可以是小于或等于表示所述視頻序列平均幀率的參數(shù)值的整數(shù)； -該處理設(shè)備可以包括第一計(jì)算裝置，該第一計(jì)算裝置被設(shè)置為，針對(duì)視頻序列的每一幅圖像幀，確定該視頻序列的當(dāng)前圖像幀和前一幀之間的運(yùn)動(dòng)估計(jì)，然后根據(jù)所確定的運(yùn)動(dòng)估計(jì)來(lái)確定當(dāng)前圖像幀的全局運(yùn)動(dòng)參數(shù)； -該處理設(shè)備可以包括第二計(jì)算裝置，該第二計(jì)算裝置被設(shè)置為，從與當(dāng)前圖像幀相對(duì)應(yīng)的所確定的全局運(yùn)動(dòng)參數(shù)中去除抖動(dòng)或校正抖動(dòng)，以去除存在于該當(dāng)前圖像幀中的不期望的運(yùn)動(dòng)； -該處理設(shè)備可以構(gòu)成集成電路的至少一部分。
本發(fā)明還提供了第一電子裝備，該第一電子裝備包括用于獲取數(shù)字視頻序列的圖像幀的裝置，以及如上述之一的處理設(shè)備。例如，這樣的第一電子裝備可以是數(shù)字?jǐn)z像機(jī)或具有視頻獲取裝置的通信裝備。
本發(fā)明還提供了第二電子裝備，該第二電子裝備包括用于接收數(shù)字視頻序列的圖像幀以進(jìn)行處理的裝置，以及如上述之一的處理設(shè)備。例如，這樣的第二電子裝備可以是通信裝備或數(shù)字視頻解碼器或數(shù)字視頻記錄器或數(shù)字視頻編碼器。



下文中通過(guò)驗(yàn)證詳細(xì)的說(shuō)明書和附圖，本發(fā)明的其它特征和優(yōu)點(diǎn)將變得顯而易見(jiàn)，其中 圖1示意性并功能性地示出了根據(jù)本發(fā)明的數(shù)字?jǐn)z像機(jī)的實(shí)施例的示例，其中包括處理設(shè)備的實(shí)施例的示例，以及 圖2示意性并功能性地示出了根據(jù)本發(fā)明的數(shù)字視頻記錄器的實(shí)施例的示例，其中包括處理設(shè)備的實(shí)施例的示例。

具體實(shí)施例方式 圖1示出了根據(jù)本發(fā)明的處理設(shè)備D的實(shí)施例的示例。在這個(gè)示例中，處理設(shè)備D是電子裝備E1的一部分，該電子裝備E1還包括獲取裝置AM，提供該獲取裝置AM用于獲取要處理(即穩(wěn)定)的數(shù)字視頻序列的圖像幀，以及用于顯示已處理的視頻序列的顯示器裝置DM。例如，該電子裝備E1是數(shù)字?jǐn)z像機(jī)，但是本發(fā)明不限于這類獲取裝備。事實(shí)上，例如，該電子裝備還可以是具有視頻獲取裝置的通信裝備，諸如移動(dòng)電話或個(gè)人數(shù)字助理(PDA)。
在圖2示出的變型中，處理設(shè)備D是電子裝備E2的一部分，該電子裝備E2還包括數(shù)據(jù)接收裝置RM，提供該數(shù)據(jù)接收裝置RM用于接收表示要處理(即穩(wěn)定)的數(shù)字視頻序列的圖像幀的數(shù)字?jǐn)?shù)據(jù)，以及用于至少臨時(shí)存儲(chǔ)已處理的視頻序列的存儲(chǔ)裝置SM。例如，該電子裝備E2是適于連接至數(shù)字?jǐn)z像機(jī)或通信裝備或通信網(wǎng)絡(luò)的數(shù)字視頻解碼器或數(shù)字視頻記錄器或數(shù)字視頻編碼器，但是本發(fā)明不限于這類接收裝備。事實(shí)上，例如，該電子裝備E2還可以是諸如移動(dòng)電話或個(gè)人數(shù)字助理(PDA)的通信裝備。
根據(jù)本發(fā)明的處理設(shè)備D至少包括處理模塊PM，該處理模塊PM被設(shè)置為用于確定(估計(jì))幾乎存在于視頻序列的每一幅圖像幀中的抖動(dòng)(或不期望的運(yùn)動(dòng))。該抖動(dòng)可以表示平移和/或旋轉(zhuǎn)。
為了確定這樣的抖動(dòng)，處理模塊PM需要每一幅圖像幀的所謂的全局運(yùn)動(dòng)參數(shù)。全局運(yùn)動(dòng)參數(shù)可以是全局運(yùn)動(dòng)矢量GMV或旋轉(zhuǎn)。事實(shí)上，必須從每一幅圖像幀的已確定的全局運(yùn)動(dòng)參數(shù)中去除抖動(dòng)，以便去除其包含的不期望的運(yùn)動(dòng)，從而有助于視頻圖像的穩(wěn)定化?；叵氲?，連續(xù)的值GMV(t)包含期望的運(yùn)動(dòng)和不期望(或不需要)的運(yùn)動(dòng)(即抖動(dòng))。通過(guò)第一計(jì)算模塊CM1來(lái)確定這樣的GMV，如圖1和2所示出，該第一計(jì)算模塊CM1可以是處理設(shè)備D的一部分，或連接至處理設(shè)備D的電子裝備E1或E2的一部分。
向第一計(jì)算模塊CM1饋送表示要處理(即穩(wěn)定)的數(shù)字視頻序列的圖像幀的數(shù)字?jǐn)?shù)據(jù)，傳統(tǒng)上，該第一計(jì)算模塊CM1被設(shè)置為，針對(duì)視頻序列的每一幅圖像幀，確定該(當(dāng)前)圖像幀(在時(shí)刻t)和前一圖像幀(在時(shí)刻t-1)之間的運(yùn)動(dòng)估計(jì)，然后，根據(jù)該運(yùn)動(dòng)估計(jì)來(lái)確定表示該圖像幀與前一圖像幀相比的位置差異的全局運(yùn)動(dòng)參數(shù)。本領(lǐng)域的技術(shù)人員已知的任一項(xiàng)技術(shù)可以用于輸出圖像幀的GMV。
根據(jù)本發(fā)明，處理模塊PM被設(shè)置為，針對(duì)數(shù)字視頻序列的每一幅圖像幀，根據(jù)該視頻序列的當(dāng)前圖像幀和至少一幅先前圖像幀的全局運(yùn)動(dòng)參數(shù)(由第一計(jì)算模塊CM1確定的GMV和/或旋轉(zhuǎn))來(lái)確定該每一幅圖像幀的運(yùn)動(dòng)類型。處理模塊PM還被設(shè)置為根據(jù)其對(duì)當(dāng)前圖像幀所確定的運(yùn)動(dòng)類型，在至少兩種抖動(dòng)提取技術(shù)中選擇一種選定抖動(dòng)提取技術(shù)，并且最后使用該選定抖動(dòng)提取技術(shù)來(lái)確定與當(dāng)前圖像幀相對(duì)應(yīng)的抖動(dòng)。
例如，處理模塊PM在至少第一抖動(dòng)提取技術(shù)和第二抖動(dòng)提取技術(shù)之間進(jìn)行其選擇，以選擇選定抖動(dòng)提取技術(shù)，該第一抖動(dòng)提取技術(shù)適于靜態(tài)或準(zhǔn)靜態(tài)視頻序列的強(qiáng)穩(wěn)定化，該第二抖動(dòng)提取技術(shù)適于全景(或移動(dòng))視頻序列的平滑銜接。
為了選擇技術(shù)，處理模塊PM可以實(shí)現(xiàn)下文中描述的4個(gè)步驟，這些步驟旨在確定存在于當(dāng)前圖像幀中的運(yùn)動(dòng)是與靜態(tài)或準(zhǔn)靜態(tài)視頻序列的運(yùn)動(dòng)相對(duì)應(yīng)，還是與全景(或移動(dòng))視頻序列的運(yùn)動(dòng)相對(duì)應(yīng)。
全景幀的檢測(cè)是基于對(duì)由第一計(jì)算模塊MC1輸出的輸入視頻序列的GMV的監(jiān)控。更準(zhǔn)確地，全景幀的檢測(cè)所基于的事實(shí)是在輸入視頻序列中全景運(yùn)動(dòng)的情況下，運(yùn)動(dòng)沿著唯一方向，因此若干連續(xù)GMV具有相同的符號(hào)。然而，由于抖動(dòng)存在于輸入視頻序列中，因此必須要考慮若干個(gè)GMV，使得不期望的抖動(dòng)被平滑消除，并沒(méi)有納入考慮中。
出于這個(gè)目的，在第一步驟中，處理模塊PM可以計(jì)算包括當(dāng)前圖像幀(時(shí)刻t)的視頻序列的K1幅連續(xù)圖像幀的所選K1個(gè)已確定的全局運(yùn)動(dòng)參數(shù)GMV(t)的第一和S1(t)，以及計(jì)算包括當(dāng)前圖像幀(時(shí)刻t)的視頻序列的K2幅連續(xù)圖像幀的所選K2個(gè)已確定的全局運(yùn)動(dòng)參數(shù)GMV(t)的第二和S2(t)，其中K2<K1。以下給出S1(t)和S2(t)的表達(dá)式 例如，可以選擇K2＝K1/2。
優(yōu)選地，K1是由表達(dá)式K1＝(FR*RE)/1000定義的整數(shù)，其中“/”是整數(shù)除法，F(xiàn)R是輸入視頻序列的平均幀率，RE是定義了在全景運(yùn)動(dòng)情況下計(jì)算的反應(yīng)性(即檢測(cè)全景運(yùn)動(dòng)所需的最小時(shí)間)的時(shí)間常數(shù)(例如，用毫秒表示)。RE的值可以在例如650至690之間，更優(yōu)選地，可以等于667，667是實(shí)現(xiàn)穩(wěn)定性和反應(yīng)性之間良好折衷的值(但是其它RE值也是可能的)。K1的值越高，算法能找到的全景運(yùn)動(dòng)越少。
在第二步驟中，處理模塊PM對(duì)包括當(dāng)前圖像幀的K1幅連續(xù)圖像幀的第一和S1(t-K1)，S1(t-K1+1)，S1(t-K1+2)，...，S1(t-1)，S1(t)的各自的符號(hào)進(jìn)行比較。
在第三步驟中，處理模塊PM將與當(dāng)前圖像幀相對(duì)應(yīng)的該第一和S1(t)的符號(hào)和同樣與當(dāng)前圖像幀相對(duì)應(yīng)的第二和S2(t)的符號(hào)相比較。
最后，在第四步驟中，處理模塊PM使用兩個(gè)比較結(jié)果來(lái)確定當(dāng)前圖像幀的運(yùn)動(dòng)類型。更準(zhǔn)確地，可能發(fā)生以下三種情況 —如果K1個(gè)第一和S1(t-K1)，S1(t-K1+1)，S1(t-K1+2)，...，S1(t-1)，S1(t)具有不同的符號(hào)，則處理模塊PM將與第一抖動(dòng)提取技術(shù)相關(guān)聯(lián)的第一運(yùn)動(dòng)類型與當(dāng)前圖像幀相關(guān)聯(lián)， —如果K1個(gè)第一和S1(t-K1)，S1(t-K1+1)，S1(t-K1+2)，...，S1(t-1)，S1(t)具有相同的符號(hào)，并且當(dāng)前圖像幀的第一和S1(t)和第二和S2(t)具有不同的符號(hào)，則處理模塊PM也將第一運(yùn)動(dòng)類型與當(dāng)前圖像幀相關(guān)聯(lián)， 一如果K1個(gè)第一和S1(t-K1)，S1(t-K1+1)，S1(t-K1+2)，...，S1(t-1)，S1(t)具有相同的符號(hào)，并且當(dāng)前圖像幀的第一和S1(t)和第二和S2(t)具有相同的符號(hào)，則處理模塊PM將與第二抖動(dòng)提取技術(shù)相關(guān)聯(lián)的第二運(yùn)動(dòng)類型與當(dāng)前圖像幀相關(guān)聯(lián)。
因此，第一運(yùn)動(dòng)類型與靜態(tài)或準(zhǔn)靜態(tài)視頻序列相對(duì)應(yīng)，而第二運(yùn)動(dòng)類型與全景(或移動(dòng))視頻序列相對(duì)應(yīng)。
可以使用任意第一抖動(dòng)提取技術(shù)(適于靜態(tài)或準(zhǔn)靜態(tài)視頻序列的強(qiáng)穩(wěn)定化)，下文中將重點(diǎn)描述兩種提取技術(shù)。
第一抖動(dòng)提取技術(shù)可以開始于對(duì)全局運(yùn)動(dòng)矢量GMV(t)進(jìn)行積分的階段，該全局運(yùn)動(dòng)矢量表示在時(shí)刻t當(dāng)前圖像幀相對(duì)于先前圖像幀的運(yùn)動(dòng)的方向和幅度，其具有衰減系數(shù)a(E)(該衰減系數(shù)a(E)是取決于表達(dá)式E的可變自適應(yīng)因子)，以便輸出被稱作積分運(yùn)動(dòng)矢量的修改的矢量IMV(t)，該矢量IMV(t)表示根據(jù)其運(yùn)動(dòng)校正而要應(yīng)用至當(dāng)前圖像幀的最終運(yùn)動(dòng)矢量校正。以下表達(dá)式給出了積分運(yùn)動(dòng)矢量IMV(t) IMV(t)＝a(t，t-1，...).IMV(t-1)+GMV(t)， 其中，IMV(t-1)是與在當(dāng)前圖像幀之前的圖像幀相對(duì)應(yīng)的積分運(yùn)動(dòng)矢量。
例如，衰減因子a(E)取決于最后兩個(gè)全局運(yùn)動(dòng)矢量GMV(t-1)和GMV(t)之和。這允許跟蹤期望運(yùn)動(dòng)的開始部分(通常，由于最后的全局運(yùn)動(dòng)矢量GMV(t-1)太不穩(wěn)定，實(shí)質(zhì)上不能使用)。
可以采用以下的方式來(lái)構(gòu)建衰減因子a(E)和最后兩個(gè)全局運(yùn)動(dòng)矢量之和(GMV(t)+GMV(t-1))之間對(duì)應(yīng)表 —較低的GMV的值意味著能夠較強(qiáng)地穩(wěn)定序列的較高的衰減因子值，正如假設(shè)靜態(tài)期望運(yùn)動(dòng)； —較高的GMV的值意味著較低的衰減因子a(E)，則序列更精確的與原始運(yùn)動(dòng)銜接。
可以提出一些附加特征。例如，具有獨(dú)立于y矢量過(guò)濾的x矢量過(guò)濾是有利的。此外，還可以提供界限之外的檢測(cè)所述檢測(cè)允許檢查IMV校正是否不高于與許可的額外輸入?yún)^(qū)域相對(duì)應(yīng)的給定閾值，并且允許對(duì)其進(jìn)行校正，使其保持在允許的范圍內(nèi)，例如+/-16畫面元素(或像素)。
這樣的技術(shù)是對(duì)文獻(xiàn)“Fast digital image stabilizer based onGray-coded bit-plane matching”，IEEE Transactions on ConsumerElectronics，Vol.45，n°3，August 1999，pp.598-603中所描述技術(shù)的改進(jìn)。
在一種變型中，可以提供第一抖動(dòng)提取技術(shù)，不僅可以用于提取平移性質(zhì)的抖動(dòng)，而且可以用于提取旋轉(zhuǎn)性質(zhì)的抖動(dòng)。這種變型需要特定的全局運(yùn)動(dòng)矢量GMV，可以如下文中所述來(lái)獲得該全局運(yùn)動(dòng)矢量GMV。
運(yùn)動(dòng)估計(jì)階段可以再分為3個(gè)子階段 —針對(duì)由數(shù)字?jǐn)z像機(jī)提供的圖像的特定部分(角落、區(qū)域等)，計(jì)算和產(chǎn)生所謂的“塊運(yùn)動(dòng)矢量”(下文中稱“BMV”)，例如，所述BMV匹配當(dāng)前圖像和先前圖像之間的宏塊， —截除BMV以執(zhí)行仿射(affine)運(yùn)動(dòng)搜索，以及 —求解方程組并確定拒絕準(zhǔn)則，以獲得從BMV導(dǎo)出的表示攝像機(jī)運(yùn)動(dòng)的全局運(yùn)動(dòng)參數(shù)(平移矢量和旋轉(zhuǎn)角度)。
產(chǎn)生BMV的第一子階段包括以下的4個(gè)步驟 第一步驟是關(guān)于產(chǎn)生二進(jìn)制圖像幀。
將“1比特圖像”用于運(yùn)動(dòng)估計(jì)，這是由于其顯著降低了存儲(chǔ)器的限制，此外，可以非常有效地計(jì)算參考和搜索塊之間的失真函數(shù)。通過(guò)使用易于實(shí)現(xiàn)的“XOR”運(yùn)算來(lái)計(jì)算失真函數(shù)，即“絕對(duì)差之和”(下文稱作“SAD”)。使用圖像幀的“格雷編碼比特平面”分解。如下創(chuàng)建格雷編碼比特平面 將在某位置處的像素亮度表示為 Flum(x，y)＝aN-12N-1+aN-22N-2+...+ak2k+...+a121+a020 (1)， 其中，x和y是所述平面的坐標(biāo)，ak(0≤k≤N-1)是0或1。例如，為了確定概念，在這種情況下，由于使用8比特亮度圖像，N＝8。
從以下的方程計(jì)算第4格雷比特碼g4 其中，符號(hào)

表示“異或”運(yùn)算，并且ak是由等式(1)給出的“基2”表示的第k比特。
將與最初產(chǎn)生的圖像幀(例如由獲取裝置AM產(chǎn)生的圖像幀)相對(duì)應(yīng)的第4格雷編碼比特平面或二進(jìn)制圖像幀記錄在存儲(chǔ)器裝置中。
第二步驟涉及塊定位和紋理指示符。
例如，將表示風(fēng)景的所述二進(jìn)制圖像幀Img分成例如6個(gè)區(qū)域，A1到A6，該6個(gè)區(qū)域根據(jù)兩條平行線分別規(guī)則地分布在圖像的頂部和底部。每一個(gè)區(qū)域，A1到A6包含例如16×16像素的9個(gè)宏塊(下文中稱“MB”)(在圖像的格式已知為QCIF圖像格式的情況下)。
和8比特圖像的二值化一起，針對(duì)1比特圖像的每一個(gè)二進(jìn)制MB計(jì)算可靠性測(cè)量。通過(guò)簡(jiǎn)單地對(duì)16×16像素塊中的“1”的個(gè)數(shù)進(jìn)行計(jì)數(shù)來(lái)執(zhí)行所述測(cè)量。將具有極低紋理(即與“0”相比，“1’的比例太多或太少)的MB標(biāo)記為不可靠，并不在該MB上執(zhí)行運(yùn)動(dòng)估計(jì)。例如，一些塊非常同質(zhì)(homogenous)，并且這些塊非常容易導(dǎo)致錯(cuò)誤估計(jì)的運(yùn)動(dòng)矢量。
第三步驟是關(guān)于塊匹配搜索策略。所述策略包括以下子步驟。
在執(zhí)行全搜索塊匹配的區(qū)域中，存在可變數(shù)量的塊運(yùn)動(dòng)矢量(BMV)。
預(yù)測(cè)值和搜索范圍為了進(jìn)一步簡(jiǎn)化每一個(gè)區(qū)域中的候選矢量的個(gè)數(shù)，僅每一MB行的第一個(gè)矢量具有擴(kuò)展的搜索區(qū)域。其余塊將具有減小搜索窗口，該搜索窗口以從先前可靠的BMV獲得的預(yù)測(cè)值運(yùn)動(dòng)矢量為中心。如果所選的相鄰MV不可靠，則使用上一個(gè)有效的MV作為預(yù)測(cè)值(假定處理順序?yàn)閺淖蟮接?、從上到?。
拒絕可能不可靠的MV已經(jīng)添加了用于拒絕一些可能不可靠的運(yùn)動(dòng)矢量的機(jī)制。特別是在光線改變的情況下，運(yùn)動(dòng)搜索將產(chǎn)生結(jié)果，但是該結(jié)果可能完全錯(cuò)誤所匹配的塊非常不同，并且產(chǎn)生的矢量更多指向“較少不同的塊”而非“最相似的塊”。因此，選擇拒絕SAD大于特定閾值(下文中稱作SAD_threshold)的MV。
加速塊匹配搜索該閾值還用于加速運(yùn)動(dòng)搜索。先前，應(yīng)用下列機(jī)制針對(duì)每一個(gè)MB搜索位置，對(duì)MB中的每?jī)尚袑?dāng)前SAD與當(dāng)前最小SAD相比較。如果當(dāng)前SAD超過(guò)所述最小SAD，則對(duì)于這個(gè)位置的搜索停止。因此，通過(guò)將當(dāng)前最小SAD初始化為SAD_threshold，可以進(jìn)一步加速匹配過(guò)程。
第4步驟是關(guān)于子像素運(yùn)動(dòng)估計(jì)。
執(zhí)行子像素搜索的一種方式是內(nèi)插8比特圖像以創(chuàng)建子像素樣本，并且對(duì)該擴(kuò)展的圖像應(yīng)用二值化過(guò)程。然后，二進(jìn)制的擴(kuò)展圖像的匹配為運(yùn)動(dòng)矢量提供了子像素精確度。
第二子階段在于截除BMV以便執(zhí)行仿射運(yùn)動(dòng)搜索。
從前面的步驟已經(jīng)獲得BMV集合，該集合是當(dāng)前圖像和先前圖像之間相對(duì)應(yīng)的點(diǎn)的集合。為了獲得全局仿射運(yùn)動(dòng)參數(shù)，求解該方程組。利用多于3對(duì)的兩幀之間相對(duì)應(yīng)的點(diǎn)，可以得到方程最小二乘解，給出全局仿射運(yùn)動(dòng)參數(shù)。為了獲得可靠的結(jié)果，需要使用更多的矢量(多達(dá)54個(gè)矢量)，從而創(chuàng)建超定(over-determined)方程組。
然而，最小二乘算法對(duì)異常值非常敏感，正確去除這些異常值是運(yùn)動(dòng)估計(jì)過(guò)程的關(guān)鍵步驟。采用下文中描述的3個(gè)步驟來(lái)實(shí)現(xiàn)該關(guān)鍵步驟。
1、基于其SAD來(lái)去除更多BMV拒絕SAD超過(guò)特定閾值(下文中稱為SAD_threshold_low)的矢量(該閾值當(dāng)然應(yīng)低于之前在“運(yùn)動(dòng)估計(jì)”中使用的閾值)。
2、去除局部異常值首先局部地去除每一個(gè)區(qū)域的異常值。存在6個(gè)區(qū)域并且每個(gè)區(qū)域中有多達(dá)9個(gè)矢量。
現(xiàn)在將解釋對(duì)矢量的一個(gè)坐標(biāo)的處理，例如針對(duì)x坐標(biāo)。對(duì)于區(qū)域中的每一個(gè)矢量k(0≤k≤有效矢量個(gè)數(shù))，從該矢量到區(qū)域中的所有其它矢量(i)來(lái)計(jì)算絕對(duì)差之和sum_diff[k] sum_diff[k]＝∑iabs(value[k]-value[i])(2) 然后執(zhí)行以下計(jì)算 average_diff＝(∑ksum_diff[k])/number_of_valid_vectors (2-2) 其中，average_diff是區(qū)域上的絕對(duì)差之和的平均。
最后，拒絕準(zhǔn)則sum_diff_[k]，如下 sum_diff_[k]>(number_of_valid_vectors/α)+β*average_diff (2-3) 其中，α和β是預(yù)定義閾值。
對(duì)x和y矢量值獨(dú)立地進(jìn)行該計(jì)算。如果任何矢量坐標(biāo)驗(yàn)證了該方程(2-3)，則拒絕所述矢量。
3、去除全局異常值使用所有運(yùn)動(dòng)矢量在圖像級(jí)實(shí)現(xiàn)異常值拒絕過(guò)程使用與局部異常值拒絕過(guò)程相同的原理。局部步驟是必要的，因?yàn)橐恍┦噶磕軌蛟谌植襟E創(chuàng)建群集(cluster)，因此如果可能的話首先應(yīng)在局部步驟將這些矢量去除。由于該區(qū)域具有非常少數(shù)量的矢量或包括不能與全局運(yùn)動(dòng)相應(yīng)的運(yùn)動(dòng)目標(biāo)，因此全局拒絕允許去除在第一階段后仍保留的異常值。然而為了避免例如在高度旋轉(zhuǎn)運(yùn)動(dòng)的情況下拒絕太多的矢量，對(duì)閾值α和β的限制較小。
第三子階段是關(guān)于求解方程組和確定拒絕準(zhǔn)則。
求解超定方程組(通過(guò)高斯-約旦(Gauss-Jordan)方法求解一次聯(lián)立方程)，該方程組為 X＝ax+by+e Y＝cx+dy+f 其中x和y是二進(jìn)制圖像的坐標(biāo)。
最小均方求解給出6個(gè)參數(shù)a、b、c、d、e和f。對(duì)該方程組的變換進(jìn)行建模，如平移(平移矢量(Tx，Ty))+旋轉(zhuǎn)(旋轉(zhuǎn)角度θ)+攝像機(jī)變焦(縮放因子r)，這些方程相應(yīng)的表示為 X＝rcosθx-rsinθy+Tx Y＝rsinθx+rcosθy+Ty 因此，計(jì)算旋轉(zhuǎn)角度θ，并同時(shí)檢查方程組的解給出的參數(shù)a、b、c和d的一致性。
-執(zhí)行第一項(xiàng)檢查來(lái)確定是否近似滿足以下方程 a2+b2＝c2+d2(等式兩邊均等于r2)，當(dāng)以下不等式成立時(shí)結(jié)果為否定 (a2+b2)-(c2+d2)>max_diff_zoom_factor(3) 其中，max_diff_zoom_factor是預(yù)定變焦參數(shù)； -執(zhí)行第二項(xiàng)檢查來(lái)確定是否兩個(gè)方程產(chǎn)生近似相同的旋轉(zhuǎn)角度，當(dāng)以下不等式成立時(shí)結(jié)果為否定 |θ1-θ2|>max_angle_difference (4) 其中，max_angle_difference是預(yù)定的旋轉(zhuǎn)角度參數(shù)，θ1＝arctan(-b/a)和θ2＝arctan(c/d)。
此外，如果另一個(gè)預(yù)定的旋轉(zhuǎn)角度參數(shù)(表示為medium_angle_difference)與以下不等式相匹配 medium_angle_difference<|θ1-θ2|<max_angle_difference(4-2)，則選擇所找到的最小旋轉(zhuǎn)角度作為θ的值。
如果結(jié)果被認(rèn)為一致，則因此獲得平移矢量(Tx＝c，Tx＝f)和由θ＝(θ1+θ2)/2給出的旋轉(zhuǎn)角度θ。
由于方程(3)或(4)其中任一成立，如果方程組求解失敗，則將旋轉(zhuǎn)角度設(shè)為0。對(duì)于平移矢量，取BMV的中值(在異常值去除過(guò)程之后)。
運(yùn)動(dòng)過(guò)濾階段在運(yùn)動(dòng)估計(jì)階段之后進(jìn)行。在該運(yùn)動(dòng)過(guò)濾階段中，優(yōu)選地，對(duì)平移矢量和旋轉(zhuǎn)角度分別進(jìn)行過(guò)濾。一旦發(fā)現(xiàn)平移和旋轉(zhuǎn)的理想校正，就執(zhí)行界限檢查。因此，所述運(yùn)動(dòng)濾階段包括3個(gè)主要步驟。
第一步驟在于過(guò)濾平移。
采用一致的方式在序列過(guò)程上將期望運(yùn)動(dòng)與抖動(dòng)分離是一個(gè)復(fù)雜的問(wèn)題。對(duì)于實(shí)時(shí)應(yīng)用來(lái)說(shuō)，主要的限制是不允許任何延時(shí)，這意味著一些幀不能存儲(chǔ)在存儲(chǔ)器裝置中，并且運(yùn)動(dòng)最好是已知的。如已經(jīng)回顧的那樣，平移矢量的過(guò)濾方法本質(zhì)上是已知的。
因此，沒(méi)有必要更詳細(xì)地描述這樣的方法。
第二步驟在于對(duì)旋轉(zhuǎn)角度矢量進(jìn)行過(guò)濾。
由于期望旋轉(zhuǎn)角度矢量的變化比平移矢量更確定，因此采用不同的并更簡(jiǎn)單的方式對(duì)旋轉(zhuǎn)角度進(jìn)行過(guò)濾。在由攝像機(jī)提供的圖像序列上累加運(yùn)動(dòng)估計(jì)給出的角度。該過(guò)程嘗試對(duì)其進(jìn)行補(bǔ)償。通過(guò)對(duì)完整序列上的所有旋轉(zhuǎn)角度求和來(lái)計(jì)算累加角度，例如，在幀n (Accθ)[n]＝∑(1≤k≤n)θ[k] 原始累加角度定義為原始旋轉(zhuǎn)角度(由運(yùn)動(dòng)估計(jì)過(guò)程給出)之和。校正的累加角度定義為校正的累加角度(如下文中所描述，在由界限檢查步驟的截?cái)嘀?之和。
通常，由于界限檢查步驟，如果用戶決定任意傾斜攝像機(jī)，則補(bǔ)償全部旋轉(zhuǎn)角度是不可行的，或甚至是有利的。當(dāng)回到初始位置時(shí)，與原始序列相比，新的角度“固定”位置(與校正的累加角度相對(duì)應(yīng))可能是略微傾斜的。為了避免這種情況，將由運(yùn)動(dòng)估計(jì)所測(cè)量的原始累加角度存儲(chǔ)并保存在存儲(chǔ)器裝置中。對(duì)于特定數(shù)量的連續(xù)幀，如果校正的累加角度與原始累加角度偏離太大，則添加額外的校正以將校正的序列帶回接近用戶所期望的位置。
第三步驟在于界限檢查。
在“界限檢查步驟”期間，檢查“旋轉(zhuǎn)+平移校正”(下文中稱“R+T”)以確定是否所述校正不大于與許可的額外輸入?yún)^(qū)域相對(duì)應(yīng)的預(yù)定允許閾值。如果是，則進(jìn)一步校正“R+T”以使其保持在允許的范圍內(nèi)(例如，為了確定概念，該范圍是±8個(gè)像素的邊界)重點(diǎn)首先放在平移校正上(模擬的額外區(qū)域比實(shí)際的區(qū)域略小)，接著截?cái)嘈D(zhuǎn)角度以使其保持在圖像的所允許的額外界限范圍內(nèi)。
下文將描述詳細(xì)的過(guò)程。
首先，平移(幀的中心從O到O′)圖像幀F(xiàn)(下文中稱“幀”)平移矢量VT。給出新中心O′的位置，在必須計(jì)算特定角度之前，僅能旋轉(zhuǎn)幀F(xiàn)(幀F(xiàn)’)。
在最終的幀創(chuàng)建過(guò)程中，例如一個(gè)數(shù)字?jǐn)z像機(jī)E1的捕捉器AM產(chǎn)生具有額外輸入?yún)^(qū)域Ai(邊界大小等于1)的幀F(xiàn)。如果創(chuàng)建穩(wěn)定幀F(xiàn)′的旋轉(zhuǎn)角度太大，則在旋轉(zhuǎn)后的幀中會(huì)出現(xiàn)孔洞。
幀F(xiàn)包括限定向用戶顯示的圖像的內(nèi)部矩形ABCD。
現(xiàn)在將解釋的是，如何在考慮剪裁圖像的一個(gè)頂角(例如A，左上角)的情況下進(jìn)行界限檢查步驟，但是，該過(guò)程對(duì)其它頂角是一致的，必須對(duì)這些頂角中的每一個(gè)重復(fù)進(jìn)行該過(guò)程。考慮邊界大小為1的情況，其目的是計(jì)算旋轉(zhuǎn)圖像邊界與點(diǎn)A交叉的限制角度。
沿著順時(shí)針?lè)较蚧蚰鏁r(shí)針?lè)较?，每個(gè)要考慮的頂角存在兩個(gè)可能限制角度。
這兩個(gè)限制角之間包括了任何角度，所述任何角度不會(huì)導(dǎo)致孔洞的產(chǎn)生(考慮頂角A再次，必須檢查其余頂角)。
根據(jù)以下方程來(lái)計(jì)算第一限制角度θ1A而不在點(diǎn)A附近產(chǎn)生孔洞(第一種情況) θ1A＝α1A-ArcCos((O′M)/LA) 其中，α1A＝ArcCos((nl/2-1+Vy))/LA)，LA是替換后的中心O′與頂角A之間的距離(從幀大小、邊界大小1、以及平移矢量VT可以很容易地計(jì)算)，Vy是矢量VT的y值，并且O′M＝nl/2(其中np和nl分別是所捕捉的幀F(xiàn)的寬度和高度)。
計(jì)算另一限制角度θ2A而不在點(diǎn)A附近產(chǎn)生孔洞(第二種情況) θ2A＝α2A-ArcCos((O′N)/LA) 其中，α2A＝ArcCos((np/2-1+Vx))/LA)，Vx是矢量VT的x值，并且O′N＝np/2。
因此，通過(guò)4個(gè)頂角A、B、C和D，獲得8個(gè)角度。然后計(jì)算正角度的最小值和負(fù)角度的最大值。如果需要，則將由運(yùn)動(dòng)估計(jì)給出的旋轉(zhuǎn)角度截?cái)酁閮蓚€(gè)最終角度中的一個(gè)。
可以使用任意第二抖動(dòng)提取技術(shù)(適于全景視頻序列的平滑銜接)，下文中重點(diǎn)描述一種技術(shù)。
第二抖動(dòng)提取技術(shù)的目的是針對(duì)視頻的每一幅圖像幀，輸出可以從當(dāng)前圖像幀的全局運(yùn)動(dòng)參數(shù)中去除的抖動(dòng)，以允許其跟隨輸入視頻序列的全局運(yùn)動(dòng)。輸入視頻序列運(yùn)動(dòng)的“平均運(yùn)動(dòng)”滿足該要求。因此，必須以圖像幀的當(dāng)前和實(shí)際運(yùn)動(dòng)與該圖像幀期望的平均運(yùn)動(dòng)之間的差來(lái)計(jì)算抖動(dòng)。
為了定義當(dāng)前圖像幀的實(shí)際和期望運(yùn)動(dòng)，使用所謂的累加運(yùn)動(dòng)矢量或AMV。
回想到，由于AMV表示場(chǎng)景在(固定的)參考中的位置，因此AMV是通常用于DIS環(huán)境中的量?！皥?chǎng)景”在這里是指在視頻序列中由例如數(shù)字?jǐn)z像機(jī)E1的獲取裝置AM所覆蓋的整個(gè)視野。如果GMV(t)表示了表示在時(shí)刻t的場(chǎng)景的當(dāng)前圖像幀和表示在時(shí)刻t-1的相同場(chǎng)景的先前圖像幀之間的位置差，則AMV(t)表示從視頻序列起點(diǎn)開始的連續(xù)GMV的和，從而表示了場(chǎng)景在參考中的位置。
期望的運(yùn)動(dòng)可以定義為相同AMV的平滑消除的版本(使用簡(jiǎn)單的移動(dòng)平均過(guò)濾器)。
可以說(shuō)明，移動(dòng)平均的計(jì)算引入偏移。更準(zhǔn)確地，由于實(shí)現(xiàn)限制需要零延時(shí)，因此在時(shí)刻t，平均AMV表示在時(shí)刻t減去平均時(shí)間段的時(shí)刻輸入視頻序列的平滑消除的位置。由于運(yùn)動(dòng)與全景序列相對(duì)應(yīng)，因此該偏移可能相當(dāng)大，這取決于獲取裝置AM的速度。因此，如果直接從所測(cè)量的運(yùn)動(dòng)中減去平均運(yùn)動(dòng)，則偏移和抖動(dòng)相加，從而導(dǎo)致相當(dāng)大的計(jì)算出的抖動(dòng)。該計(jì)算出的抖動(dòng)很可能超過(guò)允許的限制(例如對(duì)于CIF格式可以等于16個(gè)像素)，并且被截?cái)啾３衷谠撝怠Ｔ谶@種情況下，可以跟隨運(yùn)動(dòng)，但是不能補(bǔ)償任何抖動(dòng)。
因此，為了克服該問(wèn)題，必須對(duì)運(yùn)動(dòng)進(jìn)行外插。為了實(shí)現(xiàn)該效果，根據(jù)以下表達(dá)式，定義表示場(chǎng)景在所選參考中的目標(biāo)位置的(第三)值desiredAMV(t) 其中，realAMV(t)是表示場(chǎng)景在所選參考中的實(shí)際和所測(cè)量位置的(第一)值，S1(t)是之前定義的第一和(表示從時(shí)刻(t-K)開始已經(jīng)被添加至realAMV(t)的運(yùn)動(dòng)量)。
只要抖動(dòng)具有大致的零期望并且輸入視頻序列的運(yùn)動(dòng)與大致恒定速度的全景/移動(dòng)相對(duì)應(yīng)，則可以相當(dāng)有信心的認(rèn)為，desiredAMV(t)也已經(jīng)被增大至該量。
為了計(jì)算(第三)值desiredAMV(t)，處理模塊PM首先針對(duì)視頻序列的每一幅圖像幀計(jì)算第一值realAMV(t)，然后計(jì)算(第二)值，該(第二)值表示包括當(dāng)前圖像幀的K1幅連續(xù)圖像幀的K1個(gè)已確定的第一值的平均值，最后將該第一值平均值與當(dāng)前圖像幀的第一和S1(t)相加。
處理模塊PM可以通過(guò)從realAMV(t)直接減去desiredAMV(t)來(lái)獲得抖動(dòng)jitter(t)＝realAMV(t)-desiredAMV(t)，但是有利的是，當(dāng)從第一抖動(dòng)提取技術(shù)切換至第二抖動(dòng)提取技術(shù)時(shí)，可以采用不同的方式。事實(shí)上，在這種情況下，處理模塊PM必須計(jì)算調(diào)節(jié)值[shift(t)]，以便在每次從第一抖動(dòng)提取技術(shù)切換至第二抖動(dòng)提取技術(shù)時(shí)減輕輸出視頻序列(即已穩(wěn)定的視頻序列)中產(chǎn)生的“跳躍”。因此，每次處理模塊PM決定從第一抖動(dòng)提取技術(shù)切換至第二抖動(dòng)提取技術(shù)時(shí)，該處理模塊PM計(jì)算由以下表達(dá)式定義的(第六)調(diào)節(jié)值shift(t) shift(t)＝correctedAMV(t-1)-desiredAMV(t-1) 其中，correctedAMV(t-1)是表示由先前圖像幀所表示的場(chǎng)景在所選參考中的已校正位置的(第四)值(在時(shí)刻t-1)，desiredAMV(t-1)是表示由先前圖像幀所表示的場(chǎng)景在所述參考中的目標(biāo)位置的(第五)值(在時(shí)刻t-1)。
只要處理模塊PM沒(méi)有改變抖動(dòng)提取技術(shù)，隨后的shift(t)值保持恒定。
最后，處理模塊PM計(jì)算由以下表達(dá)式定義的校正抖動(dòng) correctedjitter(t)＝realAMV(t)-desiredAMV(t)-shift(t) 當(dāng)從第二抖動(dòng)提取技術(shù)切換回至考慮其先前值來(lái)計(jì)算抖動(dòng)的第一抖動(dòng)提取技術(shù)(如在上述描述的第一抖動(dòng)提取技術(shù)的情況)時(shí)，不需要調(diào)節(jié)。然而，對(duì)于其他類型的第一抖動(dòng)提取技術(shù)，這樣的調(diào)節(jié)是必要的。
無(wú)論使用何種抖動(dòng)提取技術(shù)，當(dāng)抖動(dòng)或校正抖動(dòng)已經(jīng)由處理模塊PM計(jì)算時(shí)，提供第二計(jì)算模塊CM2用于將該抖動(dòng)從相對(duì)應(yīng)的全局運(yùn)動(dòng)參數(shù)中去除，以便去除存在于當(dāng)前圖像幀中不期望的運(yùn)動(dòng)。如圖1和2所示出的，計(jì)算模塊CM2可以是處理設(shè)備D的一部分，或電子裝備E1或E2的一部分并連接至處理設(shè)備D。
在從相應(yīng)的全局運(yùn)動(dòng)參數(shù)中去除抖動(dòng)或校正抖動(dòng)之前，處理模塊PM優(yōu)選地檢查校正的全局運(yùn)動(dòng)參數(shù)是否具有與當(dāng)前運(yùn)動(dòng)GMV(t)相同的符號(hào)。出于該目的，處理模塊PM計(jì)算(第七)值correctedAMV(t)，該(第七)值表示由當(dāng)前圖像幀所表示的場(chǎng)景在所選參考中的校正的位置，然后從(第七)值correctedAMV(t)中減去(第四)值correctedAMV(t-1)以獲得表示當(dāng)前圖像幀的校正的全局運(yùn)動(dòng)參數(shù)的(第八)值。
接著，將該第八值(correctedAMV(t)-correctedAMV(t-1))的符號(hào)和全局運(yùn)動(dòng)參數(shù)GMV(t)的符號(hào)進(jìn)行比較。
該比較可以采用以下偽代碼來(lái)表達(dá) GMV(t)x(correctedAMV(t)-correctedAMV(t-1))<0 如果符號(hào)一致，則處理模塊PM向第二計(jì)算模塊CM2發(fā)送當(dāng)前圖像幀的所計(jì)算的抖動(dòng)(jitter(t))或校正抖動(dòng)(correctedjitter(t))。
如果符號(hào)不一致，則處理模塊PM將校正的運(yùn)動(dòng)(在時(shí)刻t)截?cái)酁?，這可以采用如下的偽碼來(lái)表達(dá) correctedAMV(t)←correctedAMV(t-1))，和 correcledjitter(t)[或jitter(t)]←realAMV(t)-correctedAMV(t) 該比較類型在每次抖動(dòng)發(fā)生時(shí)容易導(dǎo)致全景序列中間的靜止階段，并因此降低期望的運(yùn)動(dòng)平滑度。因此，為了避免實(shí)際的反校正(例如，如果全景停止或反轉(zhuǎn)其方向)，處理模塊PM可以將該第八值(correctedAMV(t)-correctedAMV(t-1))的符號(hào)與第二和S2(t)的符號(hào)進(jìn)行比較。該第二和S2(t)表示短期平均，比長(zhǎng)期平均S1(t)更能夠?qū)\(yùn)動(dòng)的改變做出反應(yīng)。
該比較的變型可以采用如下的偽碼來(lái)表達(dá) S2(t)x(correctedAMV(t)-correctedAMV(t-1))<0 如果符號(hào)一致，則處理模塊PM向第二計(jì)算模塊CM2發(fā)送當(dāng)前圖像幀的所計(jì)算的抖動(dòng)(jitter(t))或校正抖動(dòng)(correctedjitter(t))。
如果符號(hào)不一致，則處理模塊PM將校正的運(yùn)動(dòng)(在時(shí)刻t)截?cái)酁?，可以采用如下的偽碼來(lái)表達(dá) correctedAMV(t)←correctedAMV(t-1))，和 correctedjitter(t)[或jitter(t)]←realAMV(t)-corrected4MV(t) 優(yōu)選地，處理設(shè)備D構(gòu)成集成電路IC的至少一部分?？梢圆捎肅MOS技術(shù)或當(dāng)前在芯片廠使用的任何技術(shù)來(lái)實(shí)現(xiàn)這樣的集成電路。然而，還可以通過(guò)軟件模塊或硬件和軟件模塊的組合來(lái)定義處理設(shè)備D。
本發(fā)明特別的優(yōu)勢(shì)在于實(shí)時(shí)穩(wěn)定化的情況，即當(dāng)不能將幀存儲(chǔ)在存儲(chǔ)器裝置時(shí)，從而在沒(méi)有延時(shí)的情況下，必須逐一地立即穩(wěn)定這些幀。
本發(fā)明不限于上述僅作為示例的處理設(shè)備和電子設(shè)備的實(shí)施例，但是本發(fā)明涵蓋本領(lǐng)域的技術(shù)人員在權(quán)利要求的范圍內(nèi)的可以設(shè)想的所有可選實(shí)施例。
權(quán)利要求
1、一種用于數(shù)字視頻序列的圖像幀穩(wěn)定化的處理設(shè)備(D)，包括處理裝置(PM)，所述處理裝置(PM)用于針對(duì)視頻序列的每一幅圖像幀，根據(jù)所述圖像幀的全局運(yùn)動(dòng)參數(shù)來(lái)確定抖動(dòng)，其中所述全局運(yùn)動(dòng)參數(shù)是根據(jù)所述視頻序列的所述圖像幀和前一圖像幀之間的運(yùn)動(dòng)估計(jì)來(lái)確定的；并從所確定的全局運(yùn)動(dòng)參數(shù)中去除所述抖動(dòng)，以去除存在于所述圖像幀中的不期望的運(yùn)動(dòng)，
其特征在于，所述處理裝置(PM)被設(shè)置為根據(jù)所述視頻序列中所述圖像幀的所確定的全局運(yùn)動(dòng)參數(shù)和至少一幅先前圖像幀的所確定的全局運(yùn)動(dòng)參數(shù)，來(lái)確定存在于所述視頻序列中的運(yùn)動(dòng)的類型，然后根據(jù)所確定的運(yùn)動(dòng)類型，在至少兩種抖動(dòng)提取技術(shù)之間選擇選定抖動(dòng)提取技術(shù)，并使用所述選定抖動(dòng)提取技術(shù)來(lái)確定所述抖動(dòng)。
2、根據(jù)權(quán)利要求1所述的處理設(shè)備，其特征在于，所述處理裝置(PM)被設(shè)置用于從至少包括第一抖動(dòng)提取技術(shù)和第二抖動(dòng)提取技術(shù)的組中選擇選定抖動(dòng)提取技術(shù)，所述第一抖動(dòng)提取技術(shù)適于準(zhǔn)靜態(tài)視頻序列的強(qiáng)穩(wěn)定化，所述第二抖動(dòng)提取技術(shù)適于全景視頻序列的平滑銜接。
3、根據(jù)權(quán)利要求2所述的處理設(shè)備，其特征在于，所述處理裝置(PM)被設(shè)置為a)計(jì)算包括當(dāng)前圖像幀的K1幅連續(xù)圖像幀的所選K1個(gè)確定的全局運(yùn)動(dòng)參數(shù)的第一和，以及計(jì)算包括當(dāng)前圖像幀的K2幅連續(xù)圖像幀的所選K2個(gè)確定的全局運(yùn)動(dòng)參數(shù)的第二和，其中K2<K1；然后，b)比較包括當(dāng)前圖像幀的所述K1幅連續(xù)圖像幀的第一和的符號(hào)；然后，c)將所述第一和的符號(hào)與所述第二和的符號(hào)進(jìn)行比較；然后，d)當(dāng)所述K1個(gè)第一和具有不同的符號(hào)時(shí)、或所述K1個(gè)第一和具有相同符號(hào)并且所述第一和與所述第二和具有不同的符號(hào)時(shí)，將與所述第一抖動(dòng)提取技術(shù)相關(guān)聯(lián)的第一運(yùn)動(dòng)類型與當(dāng)前圖像幀相關(guān)聯(lián)，或者當(dāng)所述K1個(gè)第一和具有相同的符號(hào)并且所述第一和與所述第二和具有相同的符號(hào)時(shí)，將與所述第二抖動(dòng)提取技術(shù)相關(guān)聯(lián)的第二運(yùn)動(dòng)類型與當(dāng)前圖像幀相關(guān)聯(lián)。
4、根據(jù)權(quán)利要求3所述的處理設(shè)備，其特征在于，K2等于K1/2。
5、根據(jù)權(quán)利要求3和4之一所述的處理設(shè)備，其特征在于，所述處理裝置(PM)被設(shè)置為針對(duì)表示場(chǎng)景的每一幅圖像幀，計(jì)算第一值，所述第一值表示所述場(chǎng)景在所選參考中的實(shí)際位置；然后計(jì)算第二值，所述第二值表示包括當(dāng)前圖像幀的連續(xù)圖像幀的K1個(gè)確定的第一值的平均值；然后將所述第一值的平均值與所述第一和相加，來(lái)獲得第三值，所述第三值表示所述場(chǎng)景在所述所選參考中的目標(biāo)位置；然后，通過(guò)從與所述當(dāng)前圖像幀相對(duì)應(yīng)的所述第一值中減去同樣與所述當(dāng)前圖像幀相對(duì)應(yīng)的所述第三值，來(lái)計(jì)算與所述當(dāng)前圖像幀相對(duì)應(yīng)的抖動(dòng)。
6、根據(jù)權(quán)利要求5所述的處理設(shè)備，其特征在于，所述處理裝置(PM)被設(shè)置為針對(duì)每一幅圖像幀，計(jì)算第四值和第五值，所述第四值表示由先前圖像幀所表示的場(chǎng)景在所述所選參考中的校正位置，所述第五值表示由先前圖像幀所表示的場(chǎng)景在所述所選參考中的目標(biāo)位置；然后從所述第四值中減去所述第五值，來(lái)獲得第六值；然后從與所述當(dāng)前圖像幀相對(duì)應(yīng)的所述抖動(dòng)中減去所述第六值，來(lái)獲得要從所確定的全局運(yùn)動(dòng)參數(shù)中去除的校正抖動(dòng)。
7、根據(jù)權(quán)利要求6所述的處理設(shè)備，其特征在于，所述處理裝置(PM)被設(shè)置為針對(duì)每一幅圖像幀，計(jì)算第七值，所述第七值表示由當(dāng)前圖像幀所表示的場(chǎng)景在所述所選參考中的校正位置；然后從所述第七值中減去所述第四值，來(lái)獲得所述第八值，所述第八值表示所述當(dāng)前圖像幀的校正全局運(yùn)動(dòng)參數(shù)；然后對(duì)所述第八值的符號(hào)與所述當(dāng)前圖像幀的所述全局運(yùn)動(dòng)參數(shù)的符號(hào)進(jìn)行比較，當(dāng)所述符號(hào)一致時(shí)，使用所述當(dāng)前圖像幀的所計(jì)算的抖動(dòng)或所述校正抖動(dòng)，或當(dāng)所述符號(hào)不一致時(shí)，使用所述先前圖像幀的所計(jì)算的抖動(dòng)或所述校正抖動(dòng)。
8、根據(jù)權(quán)利要求6所述的處理設(shè)備，其特征在于，所述處理裝置(PM)被設(shè)置為針對(duì)每一幅圖像幀，計(jì)算第七值，所述第七值表示由當(dāng)前圖像幀所表示的場(chǎng)景在所述所選參考中的校正位置；然后從所述第七值中減去所述第四值，來(lái)獲得所述第八值，所述第八值表示所述當(dāng)前圖像幀的校正全局運(yùn)動(dòng)參數(shù)；然后對(duì)所述第八值的符號(hào)與所述第二和的符號(hào)進(jìn)行比較，當(dāng)所述符號(hào)一致時(shí)，使用所述當(dāng)前圖像幀的所計(jì)算的抖動(dòng)或所述校正抖動(dòng)，或當(dāng)所述符號(hào)不一致時(shí)，使用所述先前圖像幀的所計(jì)算的抖動(dòng)或所述校正抖動(dòng)。
9、根據(jù)權(quán)利要求8所述的處理設(shè)備，其特征在于，K1是小于或等于表示所述視頻序列平均幀率的參數(shù)值的整數(shù)。
10、根據(jù)權(quán)利要求1至9之一所述的處理設(shè)備，其特征在于，所述處理設(shè)備包括第一計(jì)算裝置(CM1)，所述第一計(jì)算裝置被設(shè)置為，針對(duì)所述視頻序列的每一幅圖像幀，確定所述視頻序列的所述圖像幀和前一圖像幀之間的所述運(yùn)動(dòng)估計(jì)，然后根據(jù)所確定的運(yùn)動(dòng)估計(jì)來(lái)確定所述圖像幀的所述全局運(yùn)動(dòng)參數(shù)。
11、根據(jù)權(quán)利要求10所述的處理設(shè)備，其特征在于，所述處理設(shè)備包括第二計(jì)算裝置(CM2)，所述第二計(jì)算裝置被設(shè)置為，從與當(dāng)前圖像幀相對(duì)應(yīng)的所確定的全局運(yùn)動(dòng)參數(shù)中去除所述抖動(dòng)或校正抖動(dòng)，以去除存在于所述當(dāng)前圖像幀中的不期望的運(yùn)動(dòng)。
12、根據(jù)權(quán)利要求11所述的處理設(shè)備，其特征在于，所述處理設(shè)備構(gòu)成集成電路的至少一部分。
13、一種電子裝備(E1)，包括用于獲取數(shù)字視頻序列的圖像幀的裝置，其特征在于，所述電子裝備(E1)包括根據(jù)權(quán)利要求1到12中任一項(xiàng)所述的處理設(shè)備(D)。
14、根據(jù)權(quán)利要求13所述的電子裝備，其特征在于，所述電子裝備選自至少包括數(shù)字?jǐn)z像機(jī)和具有視頻獲取裝置的通信裝備的組。
15、一種電子裝備(E2)，所述電子裝備(E2)包括用于接收要處理的數(shù)字視頻序列的圖像幀的裝置，其特征在于，所述電子裝備(E2)包括根據(jù)權(quán)利要求1到12中任一項(xiàng)所述的處理設(shè)備(D)。
16、根據(jù)權(quán)利要求15所述的電子裝備，其特征在于，所述電子裝備選自至少包括通信裝備、數(shù)字視頻解碼器、數(shù)字視頻記錄器以及數(shù)字視頻編碼器的組。
全文摘要
本發(fā)明提供了一種在例如數(shù)字?jǐn)z像機(jī)的電子裝備(E1)中用于數(shù)字視頻序列的圖像幀穩(wěn)定化的處理設(shè)備(D)。所述處理設(shè)備(D)包括處理裝置(PM)，所述處理裝置(PM)被設(shè)置為用于針對(duì)視頻序列的每一幅當(dāng)前圖像幀，根據(jù)所述視頻序列的當(dāng)前圖像幀的全局運(yùn)動(dòng)參數(shù)和至少一幅先前圖像幀之一的全局運(yùn)動(dòng)參數(shù)，來(lái)確定存在于所述視頻序列中的運(yùn)動(dòng)類型。所述參數(shù)是根據(jù)所述視頻序列的當(dāng)前圖像幀和前一圖像幀之間的運(yùn)動(dòng)估計(jì)來(lái)確定的。所述運(yùn)動(dòng)確定之后接著是，根據(jù)所確定的運(yùn)動(dòng)類型，在至少兩種抖動(dòng)提取技術(shù)中選擇選定抖動(dòng)提取技術(shù)。使用選定抖動(dòng)提取技術(shù)來(lái)確定要從所確定的全局運(yùn)動(dòng)參數(shù)中去除的抖動(dòng)，以去除存在于當(dāng)前圖像幀中的不期望的運(yùn)動(dòng)。
文檔編號(hào)H04N5/232GK101502099SQ200780016766
公開日2009年8月5日 申請(qǐng)日期2007年5月3日 優(yōu)先權(quán)日2006年5月9日
發(fā)明者安托萬(wàn)·德羅烏特 申請(qǐng)人:Nxp股份有限公司