專利名稱：圖像處理設(shè)備和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于對活動圖像(movingimage)的模糊進(jìn)行補(bǔ) 償?shù)膱D像處理設(shè)備和程序。
背景技術(shù)：
通常，作為諸如數(shù)字相機(jī)等等之類的成像設(shè)備，通過圖像處理(稱 為模糊校正)來對由于對活動圖像進(jìn)行成像而產(chǎn)生的模糊進(jìn)行補(bǔ)償， 然后將其記錄為活動圖像文件，這已經(jīng)是眾所周知的了。另外，對于在成像時(shí)未執(zhí)行模糊校正就被記錄的活動圖像文件而 言，已經(jīng)開發(fā)了一種通過在重放活動圖像時(shí)檢測移動來執(zhí)行模糊校正 的設(shè)備(例如，參考日本專利特許公開說明書Tokukaiher 10-136304，以下稱為專利文獻(xiàn)l)。 發(fā)明內(nèi)容同時(shí)，在上述專利文獻(xiàn)l等的情況下，在重放活動圖像時(shí)搜索一 個幀的特征部分，并通過將該特征部分與該幀之前和之后的幀進(jìn)行比 較，來檢測每一個部分的移動。然而根據(jù)每一個部分的移動來檢測整 個幀的移動。然而，由于搜索一個幀的特征部分以及將該特征部分與該幀之前 和之后的幀進(jìn)行比較需要大量的計(jì)算，因此就存在當(dāng)執(zhí)行重放時(shí)負(fù)擔(dān) 很重的問題。因此，本發(fā)明的一個目的是提供一種圖像處理設(shè)備和程序，希望 在重放未執(zhí)行模糊校正就被記錄的活動圖像時(shí)減輕由于模糊校正處 理而造成的負(fù)擔(dān)。根據(jù)本發(fā)明的一個方面， 一種圖像處理設(shè)備，包括 活動圖像解碼部分，用以將經(jīng)過編碼的活動圖像信息解碼為活動圖像信息，其中，所述經(jīng)過編碼的活動圖像信息是采用執(zhí)行運(yùn)動補(bǔ)償?shù)男畔嚎s技術(shù)進(jìn)行編碼的；運(yùn)動補(bǔ)償信息獲取部分，用以根據(jù)活動圖像解碼部分對活動圖像 信息的解碼，獲取與構(gòu)成活動圖像的多個幀中的至少一個幀相關(guān)的運(yùn) 動補(bǔ)償信息；總運(yùn)動矢量估計(jì)部分，用以根據(jù)運(yùn)動補(bǔ)償信息獲取部分所獲取的 運(yùn)動補(bǔ)償信息，估計(jì)該幀的總運(yùn)動矢量；以及模糊校正部分，用以根據(jù)總運(yùn)動矢量估計(jì)部分所估計(jì)的總運(yùn)動矢 量，在重放該活動圖像時(shí)執(zhí)行模糊校正。優(yōu)選地，該圖像處理設(shè)備還包括幀識別部分，用以在所述多個幀中識別出沒有運(yùn)動信息的幀，其 中，運(yùn)動補(bǔ)償信息獲取部分無法從該沒有運(yùn)動信息的幀中獲取運(yùn)動補(bǔ) 償《言息；以及總運(yùn)動矢量內(nèi)插部分，用以根據(jù)在由幀識別部分所識別的沒有運(yùn) 動信息的幀之前和之后的幀，來執(zhí)行對于與該沒有運(yùn)動信息的幀相關(guān) 的總運(yùn)動矢量的內(nèi)插計(jì)算。優(yōu)選地，該圖像處理設(shè)備還包括幀識別部分，用以在所述多個幀中識別出沒有運(yùn)動信息的幀，其 中，運(yùn)動補(bǔ)償信息獲取部分無法從該沒有運(yùn)動信息的幀中獲取運(yùn)動補(bǔ) 償信息；特征點(diǎn)提取部分，用以提取與由幀識別部分所識別的沒有運(yùn)動信 息的幀相關(guān)的特征點(diǎn)；特征點(diǎn)跟蹤部分，用以在沒有運(yùn)動信息的幀之前或之后的兩個幀 之一中，跟蹤由特征點(diǎn)提取部分所提取的特征點(diǎn)；以及總運(yùn)動矢量確定部分，用以根據(jù)特征點(diǎn)跟蹤部分對該特征點(diǎn)的跟 蹤結(jié)果，確定與該沒有運(yùn)動信息的幀相關(guān)的總運(yùn)動矢量。優(yōu)選地，該圖像處理設(shè)備還包括-可靠性檢驗(yàn)器，用以判斷構(gòu)成該幀的多個宏塊的運(yùn)動矢量的可靠 性；以及宏塊選擇部分，用以在所述多個宏塊中選擇一個運(yùn)動矢量可靠性 被判斷為高的宏塊，作為總運(yùn)動矢量估計(jì)部分用來估計(jì)總運(yùn)動矢量的宏塊。優(yōu)選地，可靠性檢驗(yàn)器根據(jù)與該幀中的宏塊相關(guān)的圖像部分的平坦度(flatness),來判斷運(yùn)動矢量的可靠性。優(yōu)選地，根據(jù)以下至少一個來確定平坦度與宏塊的圖像信息的 量化相關(guān)的Q因子，以及宏塊的編碼數(shù)據(jù)量。優(yōu)選地，可靠性檢驗(yàn)器確定宏塊的運(yùn)動補(bǔ)償?shù)膶?shí)現(xiàn)程度，并根據(jù) 所確定的實(shí)現(xiàn)程度來判斷運(yùn)動矢量的可靠性。根據(jù)本發(fā)明的第二方面， 一種圖像處理方法，包括解碼步驟，用以將經(jīng)過編碼的活動圖像信息解碼為活動圖像信 息，其中，所述經(jīng)過編碼的活動圖像信息是采用執(zhí)行運(yùn)動補(bǔ)償?shù)男畔?壓縮技術(shù)進(jìn)行編碼的；運(yùn)動補(bǔ)償信息獲取步驟，用以根據(jù)對于所述活動圖像信息的解碼 來獲取與構(gòu)成活動圖像的多個幀中的至少一個幀相關(guān)的信息；估計(jì)步驟，用以根據(jù)所獲取的運(yùn)動補(bǔ)償信息來估計(jì)該幀的總運(yùn)動 矢量；以及模糊校正步驟，用以根據(jù)所估計(jì)的總運(yùn)動矢量來在重放該活動圖 像時(shí)校正模糊。根據(jù)本發(fā)明的第三方面， 一種嵌入計(jì)算機(jī)可讀介質(zhì)中的軟件程序 產(chǎn)品，用以執(zhí)行一種方法，該方法包括解碼步驟，用以將經(jīng)過編碼的活動圖像信息解碼為活動圖像信 息，其中，所述經(jīng)過編碼的活動圖像信息是采用執(zhí)行運(yùn)動補(bǔ)償?shù)男畔?壓縮技術(shù)進(jìn)行編碼的；運(yùn)動補(bǔ)償信息獲取步驟，用以根據(jù)所述活動圖像信息的解碼來獲 取與構(gòu)成活動圖像的多個幀中的至少一個幀相關(guān)的信息；估計(jì)步驟，用以根據(jù)所獲取的運(yùn)動補(bǔ)償信息來估計(jì)該幀的總運(yùn)動 矢量；以及模糊校正步驟，用以根據(jù)所估計(jì)的總運(yùn)動矢量來在重放該活動圖 像時(shí)校正模糊。


圖1是顯示成像設(shè)備的主要結(jié)構(gòu)的方框圖，其中提供該成像設(shè)備 作為應(yīng)用本發(fā)明的圖像處理設(shè)備的一個實(shí)施例的實(shí)例；圖2是示意性示出一個構(gòu)成活動圖像的幀的示意圖，該活動圖像顯示在圖1所示成像設(shè)備的顯示器上；圖3A至3C是示意性示出與圖1所示成像設(shè)備在重放時(shí)所進(jìn)行 的模糊校正處理相關(guān)的幀和顯示區(qū)域的示意圖；圖4是示出根據(jù)圖3A至3C在重放時(shí)的模糊校正處理的一個操 作實(shí)例的流程圖；圖5是示出根據(jù)圖3A至3C在重放時(shí)的模糊校正處理中的宏塊 選擇處理的一個操作實(shí)例的流程圖；以及圖6是示出根據(jù)修改實(shí)例1的成像設(shè)備的主要結(jié)構(gòu)的方框圖。
具體實(shí)施方式
以下，將參照附圖詳細(xì)描述本發(fā)明的特定實(shí)施例。然而，本發(fā)明 的范圍并不局限于附圖中所提供的實(shí)例。在此，圖1是示出成像設(shè)備100的主要結(jié)構(gòu)的方框圖，其中提供 該成像設(shè)備100作為應(yīng)用本發(fā)明的圖像處理設(shè)備的一個實(shí)施例的實(shí)例。例如，成像設(shè)備ioo應(yīng)用于對所采集的活動圖像進(jìn)行編碼和記錄的數(shù)字相機(jī)等。在此，利用諸如MPEG4等之類的信息壓縮技術(shù)來執(zhí) 行編碼，其中該信息壓縮技術(shù)是用于記錄所采集的活動圖像的標(biāo)準(zhǔn)編 碼技術(shù)。具體而言，如圖1所示，成像設(shè)備100由圖像采集器l、編碼器 2、記錄器3、解碼器4、顯示器51、模糊校正處理器6等構(gòu)成，其 中，圖像采集器l對目標(biāo)的靜態(tài)圖像或活動圖像進(jìn)行成像，編碼器2 利用預(yù)定的信息壓縮技術(shù)對圖像采集器1所采集的圖像進(jìn)行編碼，記 錄器3記錄由編碼器2所編碼的經(jīng)過編碼的圖像數(shù)據(jù)，解碼器4對記 錄器3所記錄的經(jīng)過編碼的圖像數(shù)據(jù)進(jìn)行解碼，顯示器51顯示由圖 像采集器1所采集的圖像，模糊校正處理器6對顯示器51上所顯示 的活動圖像的模糊進(jìn)行補(bǔ)償。
圖像采集器1被構(gòu)造為使其能夠根據(jù)開關(guān)(未顯示)等等的預(yù)定 操作來在切換時(shí)執(zhí)行對于靜態(tài)圖像或活動圖像的成像。具體而言，圖 像采集器1具有 一組具有聚焦功能、變焦功能等的成像鏡頭；電子 成像設(shè)備，其將穿過該成像鏡頭組的目標(biāo)圖像轉(zhuǎn)換為二維圖像數(shù)據(jù)， 該電子成像設(shè)備包括CCD、 CMOS等等；信號處理器，用以對電子 成像設(shè)備所輸出的圖像數(shù)據(jù)進(jìn)行預(yù)定的圖像處理；以及成像控制器， 用于控制電子成像設(shè)備、信號處理器等。在成像控制器的控制下，從信號處理器向編碼器2輸出經(jīng)過圖像 處理的圖像數(shù)據(jù)。編碼器2采用執(zhí)行運(yùn)動補(bǔ)償?shù)男畔嚎s技術(shù)，例如MPEG4等， 對活動圖像數(shù)據(jù)進(jìn)行編碼。具體而言，對從圖像采集器1輸入的活動 圖像數(shù)據(jù)執(zhí)行信息壓縮編碼處理，該信息壓縮編碼處理例如運(yùn)動補(bǔ) 償、離散余弦泰換(DCT)等等，其中，運(yùn)動補(bǔ)償利用構(gòu)成活動圖像 的幀的在時(shí)間上的相關(guān)性來減少編碼數(shù)據(jù)量，離散余弦變換(DCT) 利用每一個幀在空間方面的相關(guān)性，來減少編碼數(shù)據(jù)量。另外，編碼器2執(zhí)行例如量化處理，在該處理中，將通過DCT 計(jì)算得到的DCT轉(zhuǎn)換系數(shù)除以一個預(yù)定的Q因子，該Q因子將直觀 特征考慮在內(nèi)。運(yùn)動補(bǔ)償是一種幀間預(yù)測，其將輸入的圖像數(shù)據(jù)劃分為宏塊單 元，宏塊單元是16x 16像素的正方形區(qū)域；搜索在參考圖像中的預(yù) 定搜索區(qū)域，檢測到其中與宏塊之間的差異最小的塊，然后補(bǔ)償移動 量。在此，表示參考圖像中所檢測到的、其中差異為最小的塊在水平 方向和垂直方向上的移動量的矢量稱為運(yùn)動矢量。運(yùn)動補(bǔ)償以幀內(nèi)編碼圖像I幀作為標(biāo)準(zhǔn)，產(chǎn)生P幀、B幀等等， 其中，P幀是幀前向預(yù)測編碼圖像，B幀是前向和后向預(yù)測編碼圖像。另外，DCT通過二維頻率變換，將圖像分成人眼容易注意到的低 頻成分和難以區(qū)別的高頻成分。具體而言，采用8X8像素的塊單元， 對在經(jīng)過運(yùn)動補(bǔ)償處理的圖像與輸入圖像之間的差異執(zhí)行DCT計(jì) 算。在此，由于I幀是幀內(nèi)編碼圖像，因此直接對輸入圖像執(zhí)行DCT 計(jì)算而不獲取差異。
記錄器3由磁或光記錄介質(zhì)、半導(dǎo)體存儲器等構(gòu)成，并記錄由編 碼器2進(jìn)行編碼的靜態(tài)圖像數(shù)據(jù)和活動圖像數(shù)據(jù)。解碼器(活動圖像解碼部分)4在重放活動圖像時(shí)，通過對記錄 器3中所記錄的編碼圖像數(shù)據(jù)進(jìn)行解碼來產(chǎn)生比特流(活動圖像數(shù) 據(jù))。具體而言，解碼器4通過對編碼活動圖像數(shù)據(jù)進(jìn)行解碼來計(jì)算 量化系數(shù)和運(yùn)動矢量，并進(jìn)一步執(zhí)行逆量化來將量化系數(shù)轉(zhuǎn)換成DCT 系數(shù)。然后，對8 X 8像素的塊單元執(zhí)行逆DCT，以根據(jù)DCT系數(shù) 來計(jì)算像素值(像素值之間的差異)。此外，通過添加已經(jīng)利用像素 值與運(yùn)動矢量之間的差異來進(jìn)行了補(bǔ)償?shù)膲K，來對P幀和B幀進(jìn)行 解碼。顯示器51由例如液晶顯示設(shè)備等構(gòu)成，并根據(jù)解碼器4所解碼 的圖像數(shù)據(jù)來顯示各種圖像。另外，將與外部輸出終端52相連的顯 示處理器53連接到顯示器51。外部輸出終端52可用于連接顯示設(shè)備(例如電視，未顯示)并 顯示圖像。顯示處理器53根據(jù)顯示區(qū)域5R而從解碼器4所解碼的 圖像數(shù)據(jù)中裁剪出所需部分，其中，該顯示區(qū)域5R由模糊校正處理 器6的顯示區(qū)域設(shè)置器65 (稍后描述)在重放模糊校正處理時(shí)設(shè)置。 然后，處理該所需部分，使其成為變?yōu)樵陲@示器51中或在連接到外 部輸出終端52的顯示設(shè)備中顯示的形式。在此，顯示處理器53包括緩沖器(未顯示)，以便與內(nèi)插處理器 64的總運(yùn)動矢量內(nèi)插計(jì)算所得到的延遲時(shí)間同步。當(dāng)在顯示器51中重放(顯示)未執(zhí)行模糊校正處理就被記錄的 活動圖像數(shù)據(jù)時(shí)，模糊校正處理器(模糊校正部分)6通過檢測模糊 量，即幀移動的量，來執(zhí)行模糊校正。具體而言，模糊校正處理器6 包括幀處理器61、宏塊選擇器62、模糊估計(jì)器63、內(nèi)插處理器64、 顯示區(qū)域設(shè)置器65等等。幀處理器61執(zhí)行處理，以對構(gòu)成由解碼器4所解碼的比特流(活動圖像)的多個幀確定次序。另外，幀處理器61對于所述多個幀中的每一個幀，判斷其是否為不能從其中獲取運(yùn)動矢量(運(yùn)動補(bǔ)償信息)的I幀(沒有運(yùn)動信息 的幀)。然后，向宏塊選擇器62和內(nèi)插處理器64輸出該判斷結(jié)果。
即，幀處理器61構(gòu)建了一個幀識別部分，用以在所述多個幀中識別 出周期性出現(xiàn)的I幀。對于幀處理器61判定為不是I幀的幀(例如，P幀和B幀)，宏 塊選擇器62選出適用于計(jì)算該幀的總運(yùn)動矢量的宏塊。艮P，例如，在VGA大小的MPEG4流的情況下，每個幀有1200 個宏塊(參照圖2),并包括具有幀間補(bǔ)償?shù)膸g宏塊(Inter macroblock)和不具有幀間補(bǔ)償?shù)膸瑑?nèi)宏塊(Intra Macroblock)。在 這些宏塊中，假設(shè)通過對幀間宏塊的運(yùn)動矢量進(jìn)行平均，來計(jì)算一個 完整幀的總運(yùn)動矢量(模糊)。然而，還有可能在對幀進(jìn)行編碼時(shí)產(chǎn)生錯誤的運(yùn)動矢量。因此， 并不是所有的運(yùn)動矢量都適用于計(jì)算總運(yùn)動矢量。此外，由于再次進(jìn) 行檢測來判斷運(yùn)動矢量是否為錯誤檢測是不實(shí)際的，所以要根據(jù)各種 與宏塊有關(guān)的信息來判斷錯誤檢測的可能性是否很高。因此，選出了 具有高可靠性的宏塊。在此，宏塊選擇器62構(gòu)建了一個可靠性檢驗(yàn)器，其判斷構(gòu)成一 個幀的多個宏塊的運(yùn)動矢量的可靠性。此外，宏塊選擇器62在所述 多個宏塊中選擇一個被判斷為具有高可靠性的運(yùn)動矢量的宏塊，作為 模糊估計(jì)器63用來估計(jì)一個幀的總運(yùn)動矢量的宏塊。在此，對于宏塊選擇器62對運(yùn)動矢量可靠性的判斷而言，處理 一個幀內(nèi)所有宏塊的計(jì)算負(fù)擔(dān)是很重的。因此，把幀劃分為宏塊組(4 x4宏塊組)。然后，通過從每一個組中選擇一個宏塊來判斷可靠性。 在可靠性為高的情況下，選擇該宏塊作為用于估計(jì)總運(yùn)動矢量的宏 塊，并在可靠性為低的情況下，對該宏塊組中的其他宏塊(例如，下 一個宏塊)執(zhí)行類似的處理。另外，宏塊選擇器(根據(jù)平坦度確定可靠性的部分)62根據(jù)與宏 塊相關(guān)的圖像部分的平坦度，來判斷該幀的宏塊的運(yùn)動矢量的可靠 性。艮口，對于一個幀而言，在平坦且?guī)缀醪痪哂刑卣鞯牟糠忠子诎l(fā)生 運(yùn)動矢量的錯誤檢測。因此，與平坦且?guī)缀醪痪哂刑卣鞯膱D像部分相 關(guān)的宏塊的運(yùn)動矢量具有低可靠性，并且不用于估計(jì)總運(yùn)動矢量。具體而言，編碼器2用于對宏塊的圖像數(shù)據(jù)進(jìn)行編碼的Q因子(量
化參數(shù))在平坦且?guī)缀醪痪哂刑卣鞯牟糠种凶兊煤苄?，而在頻率成分很大的部分里變得很大。因此，宏塊選擇器62根據(jù)該Q因子來判斷 圖像平坦度。另外，宏塊選擇器62根據(jù)在編碼器的DCT之后得到的DC系數(shù)， 來確定該幀的宏塊的運(yùn)動補(bǔ)償?shù)膶?shí)現(xiàn)程度，然后根據(jù)該確定結(jié)果，判 斷宏塊的運(yùn)動矢量的可靠性。即，DC系數(shù)是經(jīng)過DCT之后的DC分量與參考塊之間的差異， 并且在DC系數(shù)變大的情況下，存在未在正確位置上進(jìn)行運(yùn)動補(bǔ)償?shù)?可能性，因此DC分量與參考塊之間的差異就變大了。因此，在DC 系數(shù)為大于等于一個預(yù)定閾值的情況下，宏塊的運(yùn)動矢量的可靠性 低，從而不將其用于估計(jì)總運(yùn)動矢量。在此，宏塊選擇器62構(gòu)建了一個運(yùn)動補(bǔ)償實(shí)現(xiàn)程度確定部分， 其確定宏塊的運(yùn)動補(bǔ)償?shù)膶?shí)現(xiàn)程度。此外，宏塊選擇器62構(gòu)建了一 個根據(jù)實(shí)現(xiàn)程度來判斷可靠性的部分，其根據(jù)該確定結(jié)果來判斷運(yùn)動 矢量的可靠性。模糊估計(jì)器63獲取適于估計(jì)由宏塊選擇器62所選擇的一個幀的 總運(yùn)動矢量的多個宏塊的運(yùn)動矢量，并且通過對這些運(yùn)動矢量執(zhí)行平 均處理來計(jì)算該幀的模糊(總運(yùn)動矢量)。在此，模糊估計(jì)器63構(gòu)建了一個運(yùn)動補(bǔ)償信息獲取部分，其根 據(jù)解碼器4對活動圖像數(shù)據(jù)的解碼，獲取與構(gòu)成活動圖像的多個幀中 的至少一個幀相關(guān)的運(yùn)動矢量。此外，模糊估計(jì)器63構(gòu)建了一個總 運(yùn)動矢量估計(jì)部分，其根據(jù)所獲取的運(yùn)動矢量來估計(jì)該幀的總運(yùn)動矢內(nèi)插處理器64通過內(nèi)插處理，根據(jù)位于由幀處理器61所識別的 I幀(沒有運(yùn)動信息的幀)之前和之后的幀的總運(yùn)動矢量，計(jì)算該I 幀的總運(yùn)動矢量。在此，內(nèi)插處理器64構(gòu)建了一個總運(yùn)動矢量內(nèi)插部分，其執(zhí)行對于與該I幀(沒有運(yùn)動信息的幀)相關(guān)的總運(yùn)動矢量的內(nèi)插計(jì)算。 顯示區(qū)域設(shè)置器65設(shè)置在顯示器51上顯示的活動圖像的幀F(xiàn)的 顯示區(qū)域5R(圖3A)。具體而言，當(dāng)重放由這些幀F(xiàn)構(gòu)成的活動圖 像時(shí)，根據(jù)由模糊估計(jì)器63所計(jì)算(估計(jì))的P幀和B幀的總運(yùn)動矢量以及由內(nèi)插處理器64所計(jì)算的I幀的總運(yùn)動矢量，顯示區(qū)域設(shè) 置器65通過將一個幀F(xiàn)2的顯示區(qū)域5R2 (圖3B)從先前幀F(xiàn)1的顯 示區(qū)域5R1 (圖3A)處移動一個總運(yùn)動矢量的量，來執(zhí)行模糊校正。 因此，在顯示器51上顯示對于進(jìn)行了模糊補(bǔ)償?shù)幕顒訄D像的重放(參 考圖3C)。在此，圖3A是示意性地示出首先顯示的幀F(xiàn)l和顯示區(qū)域5R1 的示意圖，圖3B是示意性地示出在最初的幀F(xiàn)l之后將要顯示的幀 F2和顯示區(qū)域5R2的示意圖，圖3C是示意性地示出在經(jīng)過模糊校正 處理之后所顯示的幀F(xiàn)2和顯示區(qū)域5R2的示意圖。接下來，參照圖4和5來描述在重放時(shí)的模糊校正處理。在此，圖4是示出了根據(jù)重放時(shí)模糊校正處理的一個操作實(shí)例的 流程圖，圖5是示出了根據(jù)重放時(shí)模糊校正處理中宏塊選擇處理的一 個操作實(shí)例的流程圖。如圖4所示，當(dāng)根據(jù)用戶對成像設(shè)備100的一個預(yù)定操作來指示 重放在記錄器3中所記錄的活動圖像時(shí)，首先，解碼器4通過從記錄 器3中獲取MPEG活動圖像文件并對該文件進(jìn)行解碼，來產(chǎn)生比特 流(步驟S1)。接著，幀處理器61執(zhí)行處理，以對在解碼后的比特流中所包含 的多個幀確定次序，并對于每一個幀，判斷其是否為I幀(步驟S2)。 然后，標(biāo)記I幀，并向宏塊選擇器62和內(nèi)插處理器64發(fā)送幀處理器 61的判斷結(jié)果。然后，宏塊處理器62對于在步驟S2中判定為不是I幀的幀(步 驟S2:否)，執(zhí)行宏塊選擇處理(步驟S3)。 以下，參照圖5描述宏塊選擇處理。如圖5所示，宏塊選擇器62將輸入的幀的宏塊劃分為宏塊組(4 X4宏塊組)(參考圖2，步驟S301)。接著，宏塊選擇器62在所劃分的多個宏塊組中選擇一個宏塊組 (步驟S302)，并在該宏塊組中選擇一個宏塊(例如，在圖2中左上 角處填充黑色的宏塊)(步驟S303)。接著，宏塊選擇器602從解碼后的比特流中提取(獲取)與該宏 塊相關(guān)的Q因子，以及與宏塊選擇相關(guān)的各種參數(shù)，例如DC系數(shù)(步 然后，宏塊選擇器602根據(jù)幀內(nèi)/幀間標(biāo)簽，判斷所選擇的宏塊是 否為幀間宏塊(步驟S305)。在此，在其被判定為是幀間宏塊的情況下(步驟S305:是)，宏 塊選擇器62判斷該宏塊的Q因子是否大于等于預(yù)定值(步驟S306)。在判定該Q因子超出該預(yù)定值的情況下，gP，在判定為是包含大 量頻率成分的宏塊的情況下(步驟S306:是)，宏塊選擇器62判斷 在DCT之后的該宏塊的DC系數(shù)是否小于預(yù)定值(步驟S307)。在此，在判定DC系數(shù)小于預(yù)定值的情況下(步驟S307:是)， 宏塊選擇器62采用該宏塊作為用于估計(jì)總運(yùn)動矢量的宏塊(歩驟 S308)。同時(shí)，在判定其不是幀間宏塊的情況下，即，在步驟S305中判 定其是沒有運(yùn)動矢量的獨(dú)立類型的幀內(nèi)宏塊的情況下(步驟S305: 否)、在步驟S306中判定該Q因子小于預(yù)定值的情況下(步驟S306: 否)、或者在DC系數(shù)大于預(yù)定值的情況下，即，在步驟S307中確定 未在正確位置上進(jìn)行運(yùn)動補(bǔ)償?shù)目赡苄院艽蟮那闆r下(步驟S307: 否)，宏塊選擇器62判斷是否已經(jīng)對包含該宏塊的宏塊組中所有宏塊 都執(zhí)行了各種參數(shù)的判斷(步驟S309)。在此，在判定還沒有對所有宏塊執(zhí)行判斷的情況下(步驟S309: 否)，宏塊選擇器62在宏塊組中選擇另一個宏塊(步驟S310)，移至 步驟S304并執(zhí)行隨后的處理。另外，在步驟S309中判定對所有宏塊都執(zhí)行了判斷的情況下， 或者在步驟S308中采用了該宏塊作為用于進(jìn)行估計(jì)的宏塊的情況 下，判斷是否對所有宏塊組都執(zhí)行了與總運(yùn)動矢量的估計(jì)相關(guān)的宏塊 估計(jì)(步驟S311)。在此，在判定還沒有對所有宏塊組都執(zhí)行了宏塊估計(jì)的情況下 (步驟S311:否)，宏塊選擇器62移至步驟S302并執(zhí)行隨后的處理。此外，在步驟S311中，在判定已經(jīng)對所有宏塊組執(zhí)行了宏塊估 計(jì)的情況下(步驟S31h是)，該宏塊選擇處理完成。當(dāng)完成宏塊選擇處理時(shí)，如圖4所示，模糊估計(jì)器63獲取由宏 塊選擇器62所采用的與一個幀相關(guān)的多個宏塊的運(yùn)動矢量，并且通
過對這些運(yùn)動矢量執(zhí)行平均處理來計(jì)算該幀的總運(yùn)動矢量(步驟S4)。接下來，對于在步驟S2中被判定為I幀的幀(I幀)(步驟S2: 是)，內(nèi)插處理器64從模糊估計(jì)器63中獲取在該I幀之后的一個幀 的總運(yùn)動矢量，并在該幀的總運(yùn)動矢量與在該I幀之前的幀的總運(yùn)動 矢量之間執(zhí)行內(nèi)插計(jì)算。從而獲取該I幀的總運(yùn)動矢量(步驟S5)。接著，對于獲得了總運(yùn)動矢量的多個幀F(xiàn)，顯示區(qū)域設(shè)置器65 通過將一個幀的顯示區(qū)域5R從先前幀F(xiàn)的顯示區(qū)域5R處移動一個 總運(yùn)動矢量的量，來對在顯示器51上顯示的活動圖像執(zhí)行模糊校正 (步驟S6，參照圖3A至3C)。如上所述，根據(jù)本發(fā)明的成像設(shè)備100，由于采用MPEG技術(shù)對 活動圖像數(shù)據(jù)進(jìn)行編碼，因此能夠根據(jù)構(gòu)成活動圖像的幀的多個宏塊 的運(yùn)動矢量來估計(jì)該幀的總運(yùn)動矢量。具體而言，在構(gòu)成該幀的多個宏塊中，可以選擇運(yùn)動矢量可靠性 高的宏塊作為用于估計(jì)總運(yùn)動矢量的宏塊。因此，從總運(yùn)動矢量的估 計(jì)中消除具有低可靠性的宏塊，其是在編碼過程中使用錯誤的運(yùn)動矢 量而產(chǎn)生的。因此，可以更適當(dāng)?shù)貓?zhí)行總運(yùn)動矢量的估計(jì)。在此，可以根據(jù)與宏塊有關(guān)的圖像部分的平坦度，以及根據(jù)對該 宏塊的運(yùn)動補(bǔ)償?shù)膶?shí)現(xiàn)程度的確定結(jié)果，來執(zhí)行對幀中宏塊的運(yùn)動矢 量可靠性的判斷。因此，可以更加適當(dāng)?shù)貓?zhí)行對運(yùn)動矢量可靠性的判 斷，因此可以適當(dāng)?shù)貓?zhí)行對于要從總運(yùn)動矢量的估計(jì)中消除的宏塊的 確定。此外，由于能夠根據(jù)與宏塊的圖像數(shù)據(jù)的量化相關(guān)的Q因子來執(zhí) 行對于幀中與宏塊相關(guān)的圖像部分的平坦度的判斷，因此可以更加適 當(dāng)?shù)貓?zhí)行對平坦度的判斷，因此可以適當(dāng)?shù)貓?zhí)行對宏塊的運(yùn)動矢量可 靠性的判斷。因此，即便是在未執(zhí)行模糊校正就被記錄的活動圖像，也可以在 重放該活動圖像時(shí)，根據(jù)所估計(jì)的該幀的總運(yùn)動矢量來適當(dāng)?shù)貓?zhí)行模 糊校正。因此，當(dāng)執(zhí)行模糊校正處理時(shí)，不需要如傳統(tǒng)實(shí)踐中那樣， 在一個幀中搜索特征部分且將該特征部分與該幀之前和之后的幀進(jìn) 行比較。從而，能夠適當(dāng)?shù)匾种圃谥胤呕顒訄D像時(shí)由于模糊校正處理
而造成的負(fù)擔(dān)。另外，對于沒有運(yùn)動矢量的I幀而言，可以根據(jù)該I幀之前和之 后的幀，適當(dāng)?shù)貓?zhí)行對與該I幀相關(guān)的總運(yùn)動矢量的內(nèi)插計(jì)算。因此， 即使是I幀，也可以獲取其總運(yùn)動矢量，因此能夠在重放該活動圖像 時(shí)適當(dāng)?shù)貓?zhí)行模糊校正處理。在此，本發(fā)明并不局限于上述實(shí)施例，而是可以應(yīng)用于各種修改 和可供選擇的設(shè)計(jì)，只要其沒有偏離本發(fā)明的范圍。例如，宏塊的Q因子被用作宏塊選擇器62用來判斷與該宏塊相 關(guān)的圖像部分的平坦度的參數(shù)。然而，其并不局限于這種情況。例如， 在該幀中，由于在平坦且?guī)缀醪痪哂刑卣鞯膱D像部分中的壓縮率很 高，所以編碼數(shù)據(jù)量很低。因此，宏塊選擇器62作為平坦度編碼數(shù) 據(jù)量判斷部分，可以利用宏塊的編碼數(shù)據(jù)量作為用來進(jìn)行判斷的參 數(shù)，并判斷該圖像部分的平坦度。因此，根據(jù)宏塊的編碼數(shù)據(jù)量，就可以更加適當(dāng)?shù)貓?zhí)行對與宏塊 相關(guān)的圖像部分的平坦度的判斷。因此，能夠適當(dāng)?shù)貓?zhí)行對宏塊的運(yùn) 動矢量的可靠性判斷。此外，在上述實(shí)施例中，根據(jù)宏塊的Q因子和DCT之后的DC系數(shù)來判斷用于估計(jì)總運(yùn)動矢量的宏塊。然而，其并不局限于這種情 況。例如，可以僅僅使用Q因子和DC系數(shù)中的至少一種來執(zhí)行判斷， 或者，除了它們兩者之一之外，還使用宏塊的編碼數(shù)據(jù)量作為進(jìn)行判 斷的參數(shù)，并執(zhí)行判斷。另外，在上述實(shí)施例中，根據(jù)沒有運(yùn)動矢量的I幀的之前和之后 的幀的總運(yùn)動矢量，來內(nèi)插計(jì)算出與該I幀相關(guān)的總運(yùn)動矢量。然而，用于獲得I幀的總運(yùn)動矢量的方法并不局限于這種情況。即，例如， 可以為成像設(shè)備200提供圖像信號處理器164 (參照圖6)。在此，圖像信號處理器164作為特征點(diǎn)提取部分，從I幀中提取預(yù)定的特征點(diǎn)。 接著，作為特征點(diǎn)跟蹤部分，圖像信號處理器164采用KLT (Kanade-Lucas-Tomasi)特征跟蹤算法等等在該I幀之前或之后的兩 個幀中任何一個幀內(nèi)(例如，之前的一個幀)跟蹤與所提取的特征點(diǎn) 相對應(yīng)的特征點(diǎn)。然后，作為總運(yùn)動矢量確定部分，圖像信號處理器 164根據(jù)對特征點(diǎn)的跟蹤結(jié)果(特征點(diǎn)的移動量)來確定I幀的總運(yùn)
動矢量。因此，即使是沒有運(yùn)動矢量的I幀，也可以在該I幀之前或之后 的兩個幀中的任何一個幀內(nèi)跟蹤其特征點(diǎn)，并且可以根據(jù)該跟蹤結(jié)果 來確定與該I幀相關(guān)的總運(yùn)動矢量。因此，可以適當(dāng)?shù)卦诨顒訄D像重 放過程中執(zhí)行模糊校正處理。另外，在上述實(shí)施例中，作為與本發(fā)明相關(guān)的圖像處理器設(shè)備，提供成像設(shè)備100和200作為實(shí)例，它們拍攝圖像并顯示(重放)所 采集的靜態(tài)圖像和活動圖像。然而，其并不局限于這種情況，其可以 是任何設(shè)備，只要其至少能夠執(zhí)行活動圖像的重放。例如，可以向作 為圖像處理設(shè)備的個人計(jì)算機(jī)(PC，未顯示)等加載活動圖像文件， 并根據(jù)PC對于預(yù)定程序的執(zhí)行，執(zhí)行對該活動圖像文件的解碼處理、 運(yùn)動矢量的獲取處理、總運(yùn)動矢量的計(jì)算處理、以及在重放該活動圖 像時(shí)的模糊校正處理。本申請基于在2005年10月26日提交的先前日本專利申請 2005-311041，并要求其優(yōu)先權(quán)，在此引用其全文作為參考。 工業(yè)應(yīng)用性如上所述，根據(jù)本發(fā)明的圖像處理設(shè)備和程序可以應(yīng)用于成像設(shè) 備，并按照所期望地減輕在重放未執(zhí)行模糊校正就被記錄的活動圖像 時(shí)由于模糊校正處理所造成的負(fù)擔(dān)。
權(quán)利要求
1、一種圖像處理設(shè)備，包括活動圖像解碼部分(4)，用以將經(jīng)過編碼的活動圖像信息解碼為活動圖像信息，其中，所述經(jīng)過編碼的活動圖像信息是采用執(zhí)行運(yùn)動補(bǔ)償?shù)男畔嚎s技術(shù)進(jìn)行編碼的；運(yùn)動補(bǔ)償信息獲取部分(61)，用以根據(jù)所述活動圖像解碼部分對所述活動圖像信息的解碼，獲取與在構(gòu)成活動圖像的多個幀中的至少一個幀相關(guān)的運(yùn)動補(bǔ)償信息；總運(yùn)動矢量估計(jì)部分(63)，用以根據(jù)所述運(yùn)動補(bǔ)償信息獲取部分所獲取的運(yùn)動補(bǔ)償信息，估計(jì)所述幀的總運(yùn)動矢量；以及模糊校正部分(65)，用以根據(jù)所述總運(yùn)動矢量估計(jì)部分所估計(jì)的總運(yùn)動矢量，在重放所述活動圖像時(shí)執(zhí)行模糊校正。
2、 如權(quán)利要求l所述的圖像處理設(shè)備，還包括 幀識別部分(61)，用以在所述多個幀中識別出沒有運(yùn)動信息的幀，其中，所述運(yùn)動補(bǔ)償信息獲取部分無法從所述沒有運(yùn)動信息的幀 中獲取運(yùn)動補(bǔ)償信息；以及總運(yùn)動矢量內(nèi)插部分(64)，用以根據(jù)由所述幀識別部分所識別 出的所述沒有運(yùn)動信息的幀之前和之后的幀，執(zhí)行對于與所述沒有運(yùn) 動信息的幀相關(guān)的總運(yùn)動矢量的內(nèi)插計(jì)算。
3、 如權(quán)利要求l所述的圖像處理設(shè)備，還包括 幀識別部分，用以在所述多個幀中識別出沒有運(yùn)動信息的幀，其中，所述運(yùn)動補(bǔ)償信息獲取部分無法從所述沒有運(yùn)動信息的幀中獲取 運(yùn)動補(bǔ)償信息；特征點(diǎn)提取部分(164)，用以提取與由所述幀識別部分所識別出 的所述沒有運(yùn)動信息的幀相關(guān)的特征點(diǎn)；特征點(diǎn)跟蹤部分(164)，用以在所述沒有運(yùn)動信息的幀之前或之 后的兩個幀之一中，跟蹤由所述特征點(diǎn)提取部分所提取的特征點(diǎn)；以及總運(yùn)動矢量確定部分(63)，用以根據(jù)所述特征點(diǎn)跟蹤部分對所 述特征點(diǎn)的跟蹤結(jié)果，確定與所述沒有運(yùn)動信息的幀相關(guān)的總運(yùn)動矢
4、 如權(quán)利要求l的圖像處理設(shè)備，還包括可靠性檢驗(yàn)器(62)，用以判斷構(gòu)成所述幀的多個宏塊的運(yùn)動矢 量的可靠性；以及宏塊選擇部分(62)，用以在所述多個宏塊中選擇一個運(yùn)動矢量 可靠性被判斷為高的宏塊，作為所述總運(yùn)動矢量估計(jì)部分用以估計(jì)所 述總運(yùn)動矢量的宏塊。
5、 如權(quán)利要求4所述的圖像處理設(shè)備，其中，所述可靠性檢驗(yàn) 器根據(jù)與所述幀中的宏塊相關(guān)的圖像部分的平坦度，來判斷運(yùn)動矢量 的可靠性。
6、 如權(quán)利要求5所述的圖像處理設(shè)備，其中，根據(jù)以下至少一 個來判斷所述平坦度與宏塊的圖像信息的量化相關(guān)的Q因子，以 及宏塊的編碼數(shù)據(jù)量。
7、 如權(quán)利要求4所述的圖像處理設(shè)備，其中，所述可靠性檢驗(yàn) 器確定宏塊的運(yùn)動補(bǔ)償?shù)膶?shí)現(xiàn)程度，并根據(jù)所確定的實(shí)現(xiàn)程度來判斷 運(yùn)動矢量的可靠性。
8、 一種圖像處理方法，包括解碼步驟(Sl)，用以將經(jīng)過編碼的活動圖像信息解碼為活動圖 像信息，其中，所述經(jīng)過編碼的活動圖像信息是采用執(zhí)行運(yùn)動補(bǔ)償?shù)?信息壓縮技術(shù)進(jìn)行編碼的；運(yùn)動補(bǔ)償信息獲取步驟(Sl)，用以根據(jù)對所述活動圖像信息的 解碼，獲取與在構(gòu)成活動圖像的多個幀中的至少一個幀相關(guān)的信息；估計(jì)步驟(S4)，用以根據(jù)所獲取的運(yùn)動補(bǔ)償信息，估計(jì)所述幀 的總運(yùn)動矢量；以及模糊校正步驟(S6)，用以根據(jù)所估計(jì)的總運(yùn)動矢量，在重放所 述活動圖像時(shí)校正模糊。
9、 如權(quán)利要求8所述的圖像處理方法，還包括 幀識別步驟(S2)，用以在所述多個幀中識別出沒有運(yùn)動信息的幀；以及總運(yùn)動矢量內(nèi)插步驟(S5)，用以根據(jù)所識別出的所述沒有運(yùn)動 信息的幀之前和之后的幀，執(zhí)行對于與所述沒有運(yùn)動信息的幀相關(guān)的 總運(yùn)動矢量的內(nèi)插計(jì)算。
10、 如權(quán)利要求8所述的圖像處理方法，還包括 幀識別步驟(S2)，用以在所述多個幀中識別出沒有運(yùn)動信息的幀；特征點(diǎn)提取步驟，用以提取與所識別出的所述沒有運(yùn)動信息的幀 相關(guān)的特征點(diǎn)；特征點(diǎn)跟蹤步驟，用以在所述沒有運(yùn)動信息的幀之前或之后的兩 個幀之一中，跟蹤所提取的特征點(diǎn)；以及總運(yùn)動矢量確定步驟，用以根據(jù)對所述特征點(diǎn)的跟蹤結(jié)果，確定 與所述沒有運(yùn)動信息的幀相關(guān)的總運(yùn)動矢量。
11、 如權(quán)利要求8的圖像處理方法，還包括 可靠性檢驗(yàn)步驟(S3)，用以判斷構(gòu)成所述幀的多個宏塊的運(yùn)動矢量的可靠性；以及宏塊選擇步驟(S3)，用以在所述多個宏塊中選擇一個運(yùn)動矢量 可靠性被判斷為高的宏塊，作為用以估計(jì)所述總運(yùn)動矢量的宏塊。
12、 如權(quán)利要求11所述的圖像處理方法，其中，在可靠性檢驗(yàn) 步驟中，根據(jù)與所述幀中的宏塊相關(guān)的圖像部分的平坦度，來判斷運(yùn)動矢量的可靠性。
13、 如權(quán)利要求12所述的圖像處理方法，其中，根據(jù)以下至少一個來判斷所述平坦度與宏塊的圖像信息的量化相關(guān)的Q因子，以及宏塊的編碼數(shù)據(jù)量。
14、 如權(quán)利要求11所述的圖像處理方法，其中，在可靠性檢驗(yàn) 步驟中，根據(jù)宏塊的運(yùn)動補(bǔ)償?shù)膶?shí)現(xiàn)程度，判斷運(yùn)動矢量的可靠性。
15、 一種嵌入計(jì)算機(jī)可讀介質(zhì)中的軟件程序產(chǎn)品，用以執(zhí)行如權(quán) 利要求8所述的方法。
16、 一種嵌入計(jì)算機(jī)可讀介質(zhì)中的軟件程序產(chǎn)品，用以執(zhí)行如權(quán) 利要求9所述的方法。
17、 一種嵌入計(jì)算機(jī)可讀介質(zhì)中的軟件程序產(chǎn)品，用以執(zhí)行如權(quán) 利要求10所述的方法。
18、 一種嵌入計(jì)算機(jī)可讀介質(zhì)中的軟件程序產(chǎn)品，用以執(zhí)行如權(quán) 利要求ll所述的方法。
19、 一種嵌入計(jì)算機(jī)可讀介質(zhì)中的軟件程序產(chǎn)品，用以執(zhí)行如權(quán) 利要求12所述的方法。
20、 一種嵌入計(jì)算機(jī)可讀介質(zhì)中的軟件程序產(chǎn)品，用以執(zhí)行如權(quán) 利要求13所述的方法。
21、 一種嵌入計(jì)算機(jī)可讀介質(zhì)中的軟件程序產(chǎn)品，用以執(zhí)行如權(quán) 利要求14所述的方法。
全文摘要
公開了一種成像設(shè)備，其具有活動圖像解碼部分(4)，用以將采用MPEG技術(shù)所編碼的編碼活動圖像數(shù)據(jù)解碼為活動圖像數(shù)據(jù)；模糊總運(yùn)動矢量估計(jì)部分(63)，用以獲取由宏塊選擇部分(62)所選擇的、適合于估計(jì)總運(yùn)動矢量的宏塊的運(yùn)動矢量，并根據(jù)該運(yùn)動矢量來估計(jì)幀的總運(yùn)動矢量；以及總運(yùn)動矢量內(nèi)插部分(63)，用以根據(jù)所估計(jì)的總運(yùn)動矢量，在重放活動圖像時(shí)執(zhí)行模糊校正。
文檔編號H04N5/232GK101151889SQ20068001055
公開日2008年3月26日 申請日期2006年10月19日 優(yōu)先權(quán)日2005年10月26日
發(fā)明者清水博 申請人:卡西歐計(jì)算機(jī)株式會社