專利名稱：圖像處理裝置、圖像處理方法和程序的制作方法
技術領域：
本發(fā)明涉及圖像處理裝置、圖像處理方法和程序。
技術背景近年來，在涉及數據圖像數據(以下稱為"圖像數據")的分發(fā)的技術方 面有了重要進展。關于這些技術，在高質量圖像數據的分發(fā)和記錄方面的技 術方面取得了顯著的進展。在這些顯著的技術中，涉及圖像數據的編碼和解 碼的技術引起了高度注意。擁有高等級空間分辨率(spatial resolution )和時 間分辨率(temporal resolution)的圖像數據具有極大的數據量(data size )。 為此，用戶希望有效地壓縮經編碼的圖像數據以便于將其進行分發(fā)或記錄。 在這種情況下，需要允許具有更高壓縮率的高分辨圖像數據的壓縮的編碼技 術的發(fā)展，以及允許以更高空間分辨率回放的最先進的解碼技術的發(fā)展。關于這些技術，例如，在日本專利申請公開第JP-A-2004-312276號和曰 本專利申請公開第JP-A-2004-312277提出了 一種方法，通過將第 一 圖像數據 與第二圖像數據相結合以產生擁有高等級空間分辨率和時間分辨率兩者的圖 像數據。該第一圖像數據具有低空間分辨率，但時間分辨率高(例如，視頻 數據等)，而該第二圖像數據具有高空間分辨率，但時間分辨率低(例如，一 連串畫面數據等)。利用這種方法，該技術涉及使用第一圖像數據的幀之間的 運動矢量的預測。然后，將這些運動矢量和第二圖像數據用于校正第一圖像 數據的高頻分量。利用這種技術，將起始于不包括在第二圖像數據中的所選 時間點的幀，使用從第 一圖像數據檢測到的運動矢量和起始于第二圖像數據 中接近于所選時間點的一個時間點的幀來產生。進一步，在上述文獻中還描 述了利用上述技術來產生擁有高空間分辨率和時間分辨率的圖像數據的圖像數據存儲與回放裝置。作為替換，眾所周知，被叫做超分辨率(super resolution)的技術是用以 從多個低分辨率圖像產生高分辨率圖像的方法。被稱為超分辨率的技術將多 個重疊的低分辨率圖像結合起來，并且計算對應于單幀高分辨率圖像的每個 像素的像素值。使用這種方法，可以以超過圖像傳感器(諸如電荷耦合裝置 (CCD)或互補金屬氧化物半導體(CMOS))的分辨率的高分辨率來實現高 分辨率圖像。例如，超分辨率技術用于高分辨率衛(wèi)星照片的產生。然而，當 與那些將包括高頻分量的高分辨率圖像數據用于校正圖像的方法進行比較 時，超分辨率技術的高分辨率性能實際上差得很。發(fā)明內容當使用上述每篇文獻中所描述的方法時，存在對運動矢量估計的精度的 依賴性，并且可能在高頻分量重出現噪聲。為此，需要允許高精度運動矢量 估計的技術。此外，如果在關于所涉及到的高分辨率靜止圖像數據的照片 (shot)之間的間隔很長，則需要更精確的運動矢量估計精度。為了滿足這些 必要條件，本發(fā)明的實施方式基于上述超分辨率技術，提供使用運動估計和 運動補償技術來校正高分辨率靜止圖像數據的高頻分量的方法，以產生高分 辨率圖像。本發(fā)明的一種實施方式提供允許以所選擇的定時、使用低分辨率圖像數 據和高分辨率圖像數據序列，產生更高質量的高分辨率圖像數據的、新的改 進型圖像處理裝置、圖像處理方法和程序。根據本發(fā)明的一種實施方式，提供圖像處理裝置，其包括圖像獲取單 元，其獲得包括多個相繼幀的視頻數據，還獲得對應于所述幀中的某些幀并 且具有比所述頓更高的空間分辨率的圖像數據；超分辨率處理單元，其使用 多個幀，對所述幀進行超分辨率處理，并且產生對應于所述幀的超分辨率圖 像；運動估計單元，其使用視頻數據檢測超分辨率圖像之間的運動矢量；以 及圖像產生單元，其基于對應于圖像數據的超分辨率圖像和該運動矢量，產 生對應于所述幀的運動補償圖像數據。所述圖像處理裝置還可以包括放大圖像產生單元，其使用所述幀之一， 以與超分辨率圖像之一相同的空間分辨率，產生放大圖像；以及相位失真檢 測單元，其檢測對應于所述幀之一的超分辨率圖像和放大圖像之間的相位失真。所述圖像處理裝置還可以包括相位失真校正單元，其基于相位失真檢測 單元所檢測到的相位失真，校正超分辨率圖像的相位失真。所述圖像處理裝置還可以包括運動矢量補償單元，其基于相位失真檢測 單元所檢測到的相位失真，校正超分辨率圖像之間的運動矢量估計的結果。行分辨率轉換。進行分辨率轉換并產生放大圖像，而該運動估計單元可以運行來檢測放大圖 像之間的運動矢量。所述圖像處理裝置還可以包括存儲單元，其記錄視頻數據和圖像數據。 所述圖像獲取單元可以運行來獲得記錄在該存儲單元中的視頻數據和圖像數 據。第 一序列圖像數據可以作為視頻數據記錄在存儲單元中，具有低空間分 辨率和高時間分辨率。第二序列圖像數據對應于包括在第 一序列圖像數據的圖像，比第 一序列圖像數據具有更高的空間分辨率和更低的時間分辨率。該圖像產生單元可以運行來指定包括在第 一序列圖像數據中而不包括在第二序列圖像數據中的幀之一作為所選幀，并且產生對應于該所選幀的圖像數據，并改善第二序列圖像數據的時間分辨率。記錄在該存儲單元中的該視頻數據可以是通過對所抓拍的圖像信號進行下取樣(downsampling )所獲得一序列圖像數據。在進行運動補償的時候，當超分辨率圖像與圖像數據之間的差值大于預 定值時，該圖像產生單元可以運行來根據該差值改變合并作為運動矢量涉及 者(referrer)的所選幀與作為運動矢量指向者(referent)的圖像數據的比率。根據本發(fā)明的另一實施方式，提供成像方法，包括步驟獲得包括多個的空間分辨率的圖像數據；使用多個幀，對所述幀進行超分辨率處理，并且 產生對應于所述幀的超分辨率圖像；通過使用視頻數據檢測超分辨率圖像之 間的運動矢量來預測該運動矢量；以及基于對應于圖像數據的超分辨率圖像 和該運動矢量，產生對應于所述幀的運動補償圖像數據。根據本發(fā)明的另一實施方式，提供計算機程序，其包括命令計算機執(zhí)行圖像處理裝置的功能的指令。進一步，提供在其上記錄上述程序的記錄介質。 本發(fā)明的上述實施方式，可以以所選擇的定時、與高分辨率圖像相結合 地使用 一 系列低分辨率圖像數據產生更高質量的高分辨率圖像數據。


圖l是圖解該分辨率圖像產生方法的解釋性圖；圖2是示出使用FIR濾波器的分辨率轉換和超分辨率處理之間的差得解 釋性圖；圖3是示出根據本發(fā)明的實施方式的圖像處理裝置的結構的解釋性圖； 圖4是圖解根據本實施方式的圖像產生處理電路的操作的解釋性圖； 圖5是圖解根據本實施方式的相位校正電路的操作的解釋性圖； 圖6是示出根據本實施方式的高分辨率圖像產生方法的解釋性圖； 圖7是示出根據本實施方式的改進型示例的高分辨率圖像產生方法的解 釋性圖；以及圖8是示出可以實現根據本實施方式的圖像處理裝置的功能的信息處理 裝置的硬件配置的解釋性圖。
具體實施方式
以下將參考附圖詳細描述本發(fā)明的優(yōu)選實施方式。注意，在本說明書和 附圖中，具有實質上相同功能和結構的結構元素用同一附圖標記表示，并省 略對這些結構元素的重復解釋。 (高分辨率圖像產生方法)首先，在解釋根據本發(fā)明的實施方式的圖像處理裝置和圖像處理方法之 前，將參考圖1,對與高空間分辨率數據結合地使用具有低空間分辨率的連 續(xù)記錄的圖像數據序列來產生高分辨率圖像數據的思想做出基本解釋。具有 低空間分辨率的該連續(xù)記錄的圖像數據序列(以下有時稱為"視頻數據，，)與 對應于包括在視頻數據中的適當幀(以下有時稱為"低分辨率畫面(LRP)，，) 的、間歇地記錄的高空間分辨率數據(以下有時稱為"畫面凝:據"或"高分辨率 畫面(HRP)")相結合，產生對應于包括在視頻數據中的所選幀的高分辨率 圖像數據(以下稱為"所建畫面(CP)，，)。圖l是示出高分辨率圖像產生方法 的示例的解釋性圖。圖1描述了高分辨率畫面HRP (t)、低分辨率畫面LRP (t)、低分辨率畫面LRP (t+h )、放大比例圖像(以下有時稱為"放大畫面(MP ) " ) MP (t )、 放大畫面MP (t+h)和所建畫面CP (t+h)。這里，括號內的字母指示圖像被 抓拍時的時間。例如，所建畫面CP (t+h)指示對應于在時間t+h抓拍的低分 辨率畫面LRP (t+h)的所建畫面。所建畫面CP是從使用低分辨率畫面LRP檢測到的運動矢量，利用使用 高分辨率畫面HRP進行的運動補償產生的圖像數據。例如，如圖l所示，通 過放大低分辨率畫面LRP (t)產生的放大畫面MP (t)與通過放大低分辨率 畫面LRP (t+h )產生的放大畫面MP (t+h )用于檢測時間t與時間t+h之間 的運動矢量(MV)(步驟S1)。接下來，基于該運動矢量MV,取出對應于 低分辨率畫面LRP (t)參考塊(BLK)的高分辨率畫面HRP (t)參考塊。 然后，以預定的比率將參考塊像素與放大畫面MP (t+h)像素合并以產生所 建畫面CP (t+h)(步驟S2)。在上述示例中，使用實質上不同的圖像進行運動估計和運動補償。雖然 與高分辨率畫面HRP相比，通過放大低分辨率畫面LRP而產生的放大畫面 MP被放大到與高分辨率畫面HRP相同的空間分辨率，但放大畫面MP缺少 高頻分量。因為這個原因，可能會在使用放大畫面MP所檢測到的運動矢量 和用于高分辨率畫面HRP的原始運動矢量之間出現差異(discrepancy )。如 果運動估計精度很低，則高分辨率畫面HRP中的參考塊的位置可能被移位。 因此，噪聲變成將被加到運動補償之后產生的所建畫面CP的高頻分量。這里，需要抑制作為基于擁有不同空間分辨率的多個圖像數據被進行的 運動補償的結果而變成將被加的噪聲的技術。當抓拍高分辨率畫面HRP (t) 時的時間t與要產生所建畫面CP (t+h)時的時間t+h之間存在間隔時，運動 矢量誤差變大。因為這個原因，需要即使在時間間隔h很大的時候，也能獲 得高分辨率所建畫面CP (t+h)的技術。如下面解釋的那樣，根據本發(fā)明的實施方式圖像處理裝置不使用利用有限脈沖響應(finite impulse response ， FIR)濾波器等產生的放大畫面MP來 進行運動估計，如圖2所示。圖2是圖解使用FIR濾波器等的分辨率轉換， 如圖2所示，當使用FIR濾波器等轉換圖像分辨率時，基于單低分辨率畫面LRP進行放大處理，并產生放大畫面MP。利用這種方法，使用最接近的像素值來內插像素值。該內插過程產生平滑信號(smooth signal )。然而， 當使用超分辨率處理轉換圖像分辨率時，使用多個低分辨率畫面LRP來產生 超分辨率畫面SRP。超分辨率處理是使用具有一個像素或更少的失真的多個 低分辨率畫面LRP的方法，并且結合對應于像素的像素值來重構這些像素。 與使用FIR濾波器等來產生放大畫面MP圖像的方法相比，使用這種方法可 以顯著地改善運動矢量估計。因為這個原因，根據本實施方式的圖像處理裝 置可以產生高分辨率所建畫面CP (t+h)。以下將解釋可以實現這些技術構思 的圖像處理裝置的詳細結構示例。 (本發(fā)明的實施方式)首先，將解釋根據本發(fā)明的第一實施方式的圖像處理裝置100。 (圖像處理裝置100的結構)首先，將參考圖3解釋根據本實施方式的圖像處理裝置100的結構。圖 3是示出根據本實施方式的圖像處理裝置100的結構的示例的解釋性圖。如圖3所示，圖像處理裝置100主要包括成像透鏡(imaging lens ) 102、 圖像傳感器104、照相機信號處理塊110、視頻記錄/回放塊120、畫面記錄/ 回放塊130、圖像產生處理電路302、相位才交正電路304、超分辨率處理電路 306和顯示電路108。該相位校正電路304是相位失真檢測單元、相位失真校 正單元或運動矢量補償單元的一個示例。超分辨率處理電路306也是超分辨 率處理單元的 一個示例。成像透鏡102聚集(condense)光線，是形成景物的圖像(以下稱為聚 集圖像(condensed image ))的光透鏡。圖像傳感器104是將成像透鏡102所 聚集的光線轉換成電信號的光電元件。圖像傳感器104使用半導體元件，諸 如電荷耦合裝置(CCD)圖像傳感器或互補金屬氧化物半導體(CMOS)圖 像傳感器。圖像傳感器104也具有比視頻數據的空間分辨率有效像素計數更 大的像素計數。當圖像數據被記錄或回放或者用戶正在檢查圖像數據時，顯示電路108 在顯示裝置(未示出)上顯示圖像數據。圖像產生定時控制器106是允許操 作者指令在正在回放視頻數據的同時獲得畫面數據的裝置。(照相機信號處理塊110)如圖3所示，照相機信號處理塊110包括A/D轉換器112和數字信號處10說明書第7/16頁理電路114。A/D轉換器112是轉換模擬信號到數字信號并且輸出該數字信號的模擬-數字轉換器。A/D轉換器112將從圖像傳感器104接收到的聚集圖像的模擬 信號轉換成數字信號，并將該數字信號輸出到數字信號處理電路114。數字 信號處理電路114對從A/D轉換器112接收到的聚集圖像數字信號(以下稱 為"圖像數據")進行白平衡調節(jié)和伽馬校正等。 (視頻記錄/回放塊120)如圖3所示，視頻記錄/回放塊120包括圖像密度轉換電路126、視頻數 據壓縮/擴展電路124和存儲單元122。當記錄視頻數據時，圖像密度(density)轉換電路126對從數字信號處 理電路114接收到的圖像數據(視頻數據)序列進行稀疏處理(thinning out processing )(例如，編碼幀之間的差等)。圖像密度轉換電路126將稀疏處理 之后的視頻數據輸出到視頻數據壓縮/擴展電路124。視頻數據壓縮/擴展電路 124壓縮從圖像密度轉換電路126接收到的變稀疏的數據，并將經壓縮視頻 數據記錄到存儲單元122。當回放視頻數據時，視頻數據壓縮/擴展電路124首先讀取然后擴展存儲 在存儲單元122中的視頻數據。然后，視頻數據壓縮擴展電路124將經擴展 的視頻數據輸入到圖像密度轉換電路126。圖像密度轉換電路126內插從視 頻數據壓縮/擴展電路124接收到的經擴展數據(例如，重構求差分數據 (differentiated data)等)。 (畫面記錄/回i丈塊130)如圖3所示，畫面記錄/回放塊130包括畫面數據壓縮/擴展電路134和存 儲單元132。存儲單元132也可以使用具有存儲單元122的公用存儲裝置， 并且可以實現存儲單元132的功能。當記錄畫面數據時，畫面數據壓縮/擴展電路134壓縮從數字信號處理電 路114接收到的圖像數據，并將該數據記錄到存儲單元132。當回放畫面數 據時，畫面數據壓縮/擴展電路134首先讀取然后擴展存儲在存儲單元132中 的圖像數據。(圖像產生處理電路302 )圖像產生處理電路302包括運動估計單元312 (在附圖中未示出)以及 運動補償單元314 (在附圖中未示出)。運動估計單元312是運動估計單元的一個示例。此外，運動補償單元314是圖像產生單元的一個示例。運動估計單元312進行在從視頻記錄/回放塊120傳送來的視頻數據的幀 之間的運動估計，并且4企測運動矢量。例如，運動估計單元312選擇在最接 近在預定時間記錄的幀的時間點上記錄的畫面數據。然后，運動估計單元312 進行在對應于所選畫面數據的幀與在預定時間記錄的幀之間的運動估計，并 檢測所述幀之間的運動矢量。在那時，運動估計單元312對其參考到的每一 幀(LRP)進行超分辨率處理，并使用分辨率經轉換的超分辨率畫面(SRP) 檢測運動矢量。作為另一示例，運動估計單元312可以提取在接近在預定時間記錄的幀 的時間點上記錄的多個畫面數據，并選擇與最相似于在預定時間記錄的幀的 畫面數據對應的幀。然后，運動估計單元312可以進行在對應于所選畫面數 據的幀與在預定時間記錄的幀之間的運動估計，并且檢測所述幀之間的運動矢量。運動補償單元314基于從運動估計單元312接收到的運動矢量數據和從 畫面記錄/回放塊130接收到的畫面數據進行運動補償。例如，運動補償單元 314基于運動矢量，識別對應于在預定時間記錄的幀中的參考塊的畫面數據 參考塊。運動補償單元314以預定比率合并畫面數據參考塊和在預定時間上 記錄的幀的參考塊，并產生所建畫面(CP)。進一步，當產生所建畫面CP，圖像產生處理電^各302監(jiān)^L對應于所建畫 面CP的超分辨率畫面SRP和指向者圖像之間的差值(amount of difference )。 當高分辨率畫面HRP和超分辨率畫面SRP之間的差值很小時，圖像產生處 理電路302可以按原樣輸出高分辨率畫面HRP,作為所建畫面CP。這情況在 抓拍完全靜止景物時出現。如上所示，引起運動估計的精度變壞的一個因素是從視頻記錄/回放塊 120傳送的圖像數據的低空間分辨率。與以高分辨率抓拍的畫面數據相比， 分辨率轉換之后的高空間分辨率圖像數據不包含高頻分量。在這種情況下， 即使當以處于分數像素計數(fractional-pixel count)或整像素計數 (integer-pixel count)級精度進行詳細的運動估計時，其也成為不包括在圖像 數據中的信號之間的比較問題。因為該原因，運動估計的精度可能依賴于放 大比率而明顯變壞。(超分辨率處理電路306，相位校正電路304 )根據本實施方式的圖像處理裝置100包括超分辨率處理電路306,其通 過超分辨率處理，對低分辨率畫面LRP進行分辨率轉換?，F在將更詳細地解 釋涉及超分辨率處理電路306等的超分辨率處理的技術配置。首先，圖像產生處理電路302將從視頻記錄/回放塊120接收到的低分辨 率畫面LRP,經由相位校正電路304輸入到超分辨率處理電路306。超分辨 率處理電路306使用與多個視頻數據幀對應的低分辨率畫面LRP，利用超分 辨率處理將每個低分辨率畫面LRP轉換成高分辨率圖像。然后，超分辨率處 理電路306將高分辨率轉換后的超分辨率畫面SRP輸入到相位校正電路304 。如圖4所示，超分辨率處理電路首先集中關于與視頻數據對應的多個LRP 幀的數據，并產生單高分辨率畫面。在不同的時間點抓拍被使用超分辨率處 理的該多個低分辨率畫面LRP。因為那種原因，即使景物相同，也時常包括 具有不同相位的信號。這里，基于超分辨率處理方法，利用相位重疊，可以 重疊包括在多個LRP中的高頻分量，并改善輸出的圖像數據分辨率。輸入的 LRP的數量可以是兩個或以上， 一直到圖像處理裝置的存儲容量和算術處理 能力的極限。即使當使用超分辨率處理電路306時，分辨率轉換之前的低空間分辨率 圖像數據也被完全重構。然而，超分辨率處理將高頻分量校正到一定程度。 因為那種原因，而顯著改善運動估計精度。換句話說，由超分辨率處理產生 并校正高頻分量，并且可以以更大的精度進行圖像信號的比較。接下來，相位校正電路304將從圖像密度轉換電路126傳送的低分辨率 畫面LRP (或者使用FIR濾波器等放大的放大畫面MP),與從超分辨率處理 電路306傳送的超分辨率畫面SRP比較，并對從超分辨率處理電路306傳送 的超分辨率畫面SRP進行相位校正。然后，超分辨率處理電路306將相位被 校正的超分辨率畫面SRP輸入到圖像產生處理電路302。圖像產生處理電路 302基于從相位校正電路304接收到的超分辨率畫面SRP和畫面記錄/回放塊 130接收到的高分辨率畫面HRP,進行運動補償，并產生所建畫面CP。在那 以后，圖像產生處理電路302將所建畫面CP輸出到顯示電路108。圖像密度 轉換電路126是放大圖像產生單元的一個示例。的有圖像數據(SRP),以及已經經由圖像密度轉換電路126轉換過分辨率的 圖像數據，被輸入到相位校正電路304。如圖5所示，前者SRP數據具有通過超分辨率處理增加的高頻分量。后者圖像數據只是已經經歷了使用FIR濾 波器等的分辨率轉換，因此不增加高頻分量。然而，后者圖像數據對與到更高分辨率的轉換向一致地(inline with)出現的相位失真很少敏感。另一方面， 前者SRP圖像數據包括涉及多個圖像的求和的處理，原則上，其更容易對相 位失真敏感。在用在運動估計中的圖像與用在運動補償中的圖像之間的相位失真導致質量變壞。這里，相位校正電路304計算在從超分辨率處理電路306接收到的超分 辨率畫面SRP與從視頻記錄/回放塊120接收到的放大畫面MP之間的相位失 真量。例如，可以應用于本實施方式來計算校正量的方法包括通過相位相關 法(phase correlation )、塊匹配法(block matching )等的運動估計。這里，使 用某種運動估計。如果整個圖像存在均勻相位失真，則用于上述運動估計的 適當方法是相位相關法等。另一方面，如果相位失真量依賴于圖像中的區(qū)域 而不同，則用于上述運動估計的適當方法是塊匹配法等。如果所建的是筒化 的圖像，則可以以相對容易的方式完成運動估計。接下來，相位校正電路304使用利用上述方法計算出來的相位失真量， 來對從超分辨率處理電路306接收到的超分辨率畫面SRP進行相位校正。如 果失真以整像素級精度出現，則可以通過簡單移位整個圖像來進行校正。如 果失真以分數像素級精度(例如，半像素級(half-pixel level)等)出現，則 可以結合通過FIR濾波器的校正處理來進行校正。在這種方法中，圖像被臨 時放大，并且分數像素失真被放大來作為整像素失真處理。失真，而使用用以校正諸如在超分辨率畫面SRP之間檢測到的運動矢量之類 的運動數據的方法來進行相位校正。換句話說，圖像產生處理電路302使用 從超分辨率處理電路306輸出的超分辨率畫面SRP來進行相位校正。然后， 圖像產生處理電路302通過添加由相位校正電路304所計算出來的相位失真 量來校正所檢測到的運動矢量。在那之后，圖像產生處理電路302使用從畫 面記錄/回放塊130輸出的高分辨率畫面HRP來進行運動補償。通過這種校 正處理，消除在超分辨率處理電路306中出現的超分辨率畫面SRP相位失真。 (圖像數據的記錄) 接下來，將給出通過根據本實施方式的圖像處理裝置100的圖像數據的 記錄的簡單解釋。首先，操作者指令圖像處理裝置100開始記錄(步驟SIO)。圖像處理裝置100接收該指令并開始形成該視頻數據的幀的連續(xù)記錄(步驟S12)。圖像 處理裝置100經由成像透鏡102獲得聚集圖像(步驟S14)。接下來，圖像處 理裝置IOO使用圖像傳感器104對該聚集圖像進行光電轉換并且產生模擬信 號(步驟S16 )。然后，圖像處理裝置100將該模擬信號輸入到A/D轉換器 112，并且將該模擬信號轉換為數字信號(步驟S18)。接下來，圖像處理裝 置100將該數字信號輸入到數字信號處理電路114并對對應于該數字信號的 圖像數據進行諸如白平衡調節(jié)和伽馬校正之類的處理(步驟S20)。圖像處理 裝置100可以積累圖像數據并形成視頻數據。接下來，圖像處理裝置100使用圖像密度轉換電路126來對該視頻數據 進行稀疏(步驟S22)。當進行步驟S22時，可以關于諸如全國電視系統委員 會制式(NTSC)、逐行倒相制式(PAL)或綜合業(yè)務數字廣播(ISDB)法之 類的每種視頻信號格式獲得有效像素的數量。然后，圖像處理裝置100使用 視頻數據壓縮/擴展電路124來壓縮變稀疏的的視頻數據(步驟S24 )，并將該 視頻數據記錄在存儲單元122 (步驟S25 )。此外，圖像處理裝置100使用畫 面數據壓縮/擴展電路134來以預定間隔間歇性地獲得并壓縮圖像數據(畫面 數據)(步驟S32 ),并且將該畫面數據存儲在存儲單元132 (步驟S34 )。 (圖像數據的回放)接下來，將給出通過根據本實施方式的圖像處理裝置IOO的圖像數據的 回放的筒單解釋。操作者使用圖像產生定時控射器106指令圖像處理裝置IOO開始回放(步 驟S50)。圖像處理裝置IOO接收指令并開始具有比視頻數據更高的空間分辨 率的、關于不記錄畫面數據的時間點而記錄的高質量圖像數據的產生(步驟 S52 )。圖像處理裝置100讀取存儲在存儲單元122中的經壓縮視頻數據(步 驟S54 ),并且使用視頻數據壓縮/擴展電路124來擴展該視頻數據(步驟S56 )。 接下來，圖像處理裝置100使用圖像密度轉換電路126來對經擴展的視頻數 據進行校正處理(步驟S58 )。在步驟S58,每一幀視頻數據都被轉換成具有 與畫面數據相同的像素數的圖像數據。然后，將該視頻數據傳送到圖像產生 處理電路302 (步驟S60)。圖像處理裝置100使用畫面數據壓縮/擴展電路134來讀取存儲在存儲單 元132中的畫面數據(步驟S72),并將該畫面數據傳送到圖像產生處理電路302。(圖像產生處理電路302的操作)這里，將參考圖4來解釋圖像產生處理電路302的操作。圖4是圖解圖 像產生處理電路302的處理操作的解釋性圖。在圖4,與圖像抓取時間相對應地示出了高分辨率畫面HRP (t)、多個 低分辨率畫面LRP(t)與低分辨率畫面LRP(t+h)等、以及所建畫面CP(t+h)。 圖4是用以產生與在時間t+h時記錄的低分辨率畫面LRP (t+h)對應的所建 畫面CP (t+h)處理操作的圖解。對于高分辨率畫面HRP，假設水平像素的數量是N，垂直像素的數量是 M，而幀速率是1/AT (fps)。此外，對于低分辨率畫面LRP,假設水平像素 的數量是n，垂直像素的數量是m，而幀速率是1/At (fps)。假設每個變量滿 足關系N^n、 M^m和AT^At。進一步，假設變量h滿足關系0^h^ AT。將參考圖4中所示的示例來解釋用于產生關于時間t+h的所建畫面CP (t+h)的方法。然而，根據本實施方式的圖像處理裝置100的處理方法不限 于這種示例。例如，圖像處理裝置IOO可以額外地參考到關于另一時間t+AT (在附圖中未示出)的高分辨率畫面HRP(t+AT)來產生所建畫面CP(t+h)。 在那時，圖像處理裝置100也可以進行處理來，依賴于景物的運動程度(extent) 和速度等，選擇將要參考到的高分辨率畫面HRP。 (步驟Sl )首先，圖像處理裝置100的運動估計單元312使用超分辨率畫面SRP(t) 和超分辨率畫面SRP (t+h)來進行運動估計，并且檢測在超分辨率畫面SRP (t)與超分辨率畫面SRP (t+h)之間的運動矢量(MV)。因為使用超分辨 率畫面SRP來預測運動矢量MV,因而可以實現高度的運動估計精度?？梢?應用于本實施方式的運動估計的方法包括塊匹配法、相位相關法或光流方法。 (步驟S2 )接下來，圖像處理裝置100的運動補償單元314使用運動矢量MV和高 分辨率畫面HRP(t)來進行運動補償。運動補償單元314使用運動矢量MV 來識別對應于超分辨率畫面SRP (t+h)參考塊的高分辨率畫面HRP (t)參 考塊。然后，運動補償單元314以預定比率合并所識另'J出的高分辨率畫面參 考塊和超分辨率畫面SRP (t+h)參考塊，以產生所建畫面CP (t+h)。當產生了所建畫面CP時，圖像產生處理電路302也可以參考到除上述圖像之外的圖像。這里的解釋通過參考定位于更晚時間期間(later in temporal term)中的圖像描述運動估計和運動補償(前向預測)，但運動估計和運動補 償可以參考定位于更早時間期間(earlier in temporal term )中的圖像來進行。 作為替換，可以參考更晚圖像和更早圖像來進行運動估計和運動補償。進一 步，圖像產生處理電路302可以通過參考定位于時間期間更早或更晚的多個 圖像來產生所建畫面CP。在上述方式中，可以以多種方式改進根據本實施方式的圖像產生處理電 路302 。例如，如果高分辨率畫面HRP (t+AT)存在于時間t+AT ( h<AT ), 則圖像產生處理電路302可以根據上述方法，將基于高分辨率畫面HRP (t+AT)從更早點校正和產生的所建畫面CP,與從更晚點相繼地校正和產生 的所建畫面CP進行比較，并且可以選擇具有更高質量的圖像?？紤]到這種 選擇應用等，例如，圖像產生處理電路302可以比較關于時間t和t+AT等的 超分辨率畫面SRP (t)和超分辨率畫面SRP (t+AT)等，并且監(jiān)碎見該差。換句話說，圖像產生處理電路302基于關于多個預測源的運動矢量進行運動 補償，對運動補償像素值進行加權，并使它們最終達到平衡。為了給出一個 簡單的示例，可以根據公式(1 ),關于預測尺寸像素A和預測尺寸像素B, 計算出滿足預測的像素C。 (公式1 )C= ( A+B ) /2 ( 1 )這是用以以等加權系數獲得平均值的方法。與在一個方向上作出的預測 相比，通過進行在雙向上的預測，可以降低能量差(energy difference )。這種 方法關于諸如運動畫面專家組(MPEG)技術之類的圖像壓縮技術而著稱。 因為本發(fā)明的實施方式還組合在兩個方向上的預測，所以被認為可以進一步 改善所建畫面CP的質量。進一步，如在關于H.264標準等的雙向預測技術中 那樣，關于兩個矢量的預測方向在時間期間可以被設置在同一方向(前向方 向或后向方向)上。當產生所建畫面CP時，例如，相對容易的雙向預測方法可能是用以使 用利用兩個高分辨率畫面HRP (t)與HRP (t+AT)之間的平均值產生的所 建畫面CP (t+h)的方法。這種方法對衰落的靜物的圖像有效。如果景物包括運動對象，則圖像產生處理電路302可以關于超分辨率畫面SRP (t+h)和超分辨率畫面SRP (t)進行雙向預測，并且可以基于高分辨率畫面HRP (t)和高分辨率畫面HRP (t+AT)進行運動補償。圖像產生處 理電路302也可以在超分辨率畫面SRP (t+h )和超分辨率畫面SRP (t)使用 景物運動，來改善所建畫面CP (t+h)的畫面質量。 (圖像處理方法)這里，參考圖6來解釋根據本實施方式的圖像處理方法。圖6是示出根 據本實施方式的圖像產生處理的流程的解釋性圖。首先，圖像產生處理電路302開始關鍵幀高分辨率處理(步驟S200)。產生與高分辨率畫面HRP具有相同空間分辨率的超分辨率a面SRP (步驟 S202)。接下來，初始化指示參考塊的位置的參數b (步驟S204)。然后確定 參數b是否超過參數b的最大值b—max (步驟S206 )。這里，b—max是包括 在幀中的塊的數量。當b^b—max時，圖像產生處理電路302結束圖像產生過程。當b〈b一max 時，運動估計單元312從當前幀(SRP (t+h))到關鍵幀(SRP (t))進行運 動估計(步驟S208 )。接下來，圖像產生處理電路302基于估計殘留信號的 大小，確定是否進行運動補償(步驟S212 )。如果在步驟S212確定不能進行運動補償，則運動補償單元314將在步驟 S202放大過的超分辨率畫面SRP (t+h)作為所建畫面CP (t+h)輸出。如果在步驟S212確定可以進行運動補償，則運動補償單元314使用高分 辨率畫面HRP (t)進行運動補償(步驟S214)。那時，運動補償單元314使 用在步驟S208中從當前幀到關鍵幀所獲得的運動矢量單元塊大小和和參考 幀數據等。然后，圖像產生處理電路302遞增參數b (步驟S218),并再次從步驟 S206開始處理。以這種方式，當進4亍運動補償時，圖像產生處理電^各302在 確定圖像差的同時，確定是否可以進行運動補償。因為那種原因，而可以使 得出現在根據低運動估計精度產生的所建畫面CP (t+h)中的噪聲達到最小。 (變形示例)此夕卜，如圖7所示，可以進4亍連續(xù)順序(consecutive sequence )運動補4嘗。 使用高分辨率畫面HRP (t)產生中間所建畫面CP， ( t+h，， ) ( t<h"<h ),然后 使用該中間所建畫面CP， (t+h，，)產生所建畫面CP (t+h)。圖7是示出根據18本實施方式的變形示例(deformed example )的圖像產生方法的解釋性圖。如 這里所示，本實施方式不限于上述描述，而是可以按照各種方式畸變。此外， 像在下面所示的示例中那樣，通過使用計算機程序的信息處理裝置，可以進 行由圖像處理裝置100的結構成員所進行的功能。 (硬件配置)例如，通過具有如圖8所示的硬件配置的信息處理裝置，可以進行圖像 處理裝置100的功能。圖8是示出可以進行圖像處理裝置100的每個結構成 員的功能的信息處理裝置的硬件配置的示例的解釋性圖。如圖8所示，該信息處理裝置主要包括中央處理單元(CPU) 902、只讀 存儲器(ROM) 904、隨機存取存儲器(RAM) 906、主總線(host bus ) 908、 橋接器910、外部總線912、接口 914、輸入單元916、輸出單元918、存儲 單元920、驅動器922、連接端口 924以及通信單元926。例如，CPU902作用為算術處理單元或控制單元，基于記錄在ROM 904、 RAM 906、存儲單元920或可移動記錄介質928控制每個結構成員的全部或 部分操作。例如，ROM卯4存儲將要讀到CPU902的程序或在計算時用到的 數據。RAM 906臨時或永久地存儲將要讀到CPU 902的程序或當執(zhí)行這些程 序時適當地改變的各種參數等。例如，這些結構成員通過允許高速數據傳輸 的主總線908相互連接。例如，主總線908經由橋接器910連接到具有比較 低的數據傳輸速度的外部總線912。例如，輸入單元916是諸如鼠標、鍵盤、觸摸屏、按鈕、開關、控制桿 之類的操作裝置。輸入單元916還可以是能夠使用紅外線或其他無線電波傳 送控制信號的遙控裝置(所謂"遙控器")。輸入單元916由輸入控制電路等形 成，設計成使用上述操作裝置，將傳送輸入數據作為輸入信號傳送到CPU 卯2。例如，輸出單元918為諸如陰極射線管(CRT)、液晶顯示器(LCD)、 等離子體顯示板(PDP)或電致發(fā)光顯示器(ELD)之類的顯示裝置，諸如 揚聲器或麥克風之類的音頻輸出裝置，或能夠向用戶提供關于由音頻或視覺 裝置等所獲得的數據的信息的打印機、蜂窩電話或傳真機等。存儲單元920是用以存儲各種數據的裝置，例如，由諸如硬盤驅動器 (HDD)之類的磁存儲裝置，或半導體存儲裝置、光存儲裝置或磁光存儲裝 置等形成。驅動器922是讀取例如存儲在可移動記錄介質928 (即，磁盤、光盤或 磁光盤等)中的數據，或寫數據到可移動記錄介質928中的裝置。例如，可 移動記錄介質928可以是DVD介質、Blu-rayTM介質、HD-DVD介質、 CompactFlash ( CF )存儲器、記憶棒或安全數字存儲卡(SD)等。當然， 作為替換，例如，可移動記錄介質928可以是具有非接觸式IC芯片的集成電 路卡(IC卡)或電子裝置等。連接部分924例如是通用串行總線(USB )、正EE 1394端口 、小型計算 機系統接口 (SCSI)、 RS-232端口或光學音頻端口等，以便連接到外部連接 裝置930。例如，外部連接裝置930為打印機、便攜式音樂播放器、數字照 相機、數字視頻攝像機或IC記錄器等。通信單元926為用以連接到網絡932的通信裝置，例如，可以是有線或 無線局域網(LAN)、 BluetoothTM或無線USB ( WUSB )通信卡、用于光通信 的路由器、非對稱數字訂戶線路(ADSL)路由器或其他種類的通信調制解調 器等。此外，連接到通信單元926的網絡由有線或無線連接的網絡形成，例 如，為Internet、家庭LAN、紅外通信網絡、廣播網或衛(wèi)星通信網絡等。這完成了根據本實施方式的圖像處理裝置100的結構的解釋，以及圖像 處理方法的解釋。如上所示，本實施方式涉及結合地使用超分辨率技術以及 運動補償技術的技術。因為使用包括高頻分量的高分辨率畫面HRP進行運動 補償，所以與使用對高頻分量僅僅使用低分辨率畫面LRP進行運動補償的超 分辨率技術相比，可以獲得更高質量的圖像數據。此外，由于可以改善運動 估計精度，因此可以獲得不包括在普通超分辨率處理中的超分辨率有點。本領域普通技術人員應該理解，依賴于設計要求和其他因素，只要它們 在附屬權利要求或其等效物的范圍內，可以出現各種修改、組合、部分組合 和變更。例如，在本實施方式的上述解釋中，解釋了在前向(使用更晚幀)上的 運動估計和運動補償，但本實施方式的技術范圍不限于這種示例，而是可以 在后向(使用更早幀)上或者雙向(使用更晚幀和更早幀)上進行運動估計 禾口運動才卜j嘗。
權利要求
1、一種圖像處理裝置，包括圖像獲取單元，其獲得包括多個相繼幀的視頻數據，還獲得對應于所述幀中的某些幀并且具有比所述幀更高的空間分辨率的圖像數據；超分辨率處理單元，其使用多個所述幀對所述幀進行超分辨率處理，并且產生對應于所述幀的超分辨率圖像；運動估計單元，其通過使用所述視頻數據檢測所述超分辨率圖像之間的運動矢量；以及圖像產生單元，其基于對應于所述圖像數據的所述超分辨率圖像和所述運動矢量，產生對應于所述幀的運動補償圖像數據。
2、 根據權利要求1的圖像處理裝置，進一步包括 放大圖像產生單元，其通過使用所述幀之一，以與超分辨率圖像之一相同的空間分辨率，產生放大圖像；以及相位失真檢測單元，其檢測對應于所述幀之一的所述超分辨率圖像和所 述放大圖像之間的相位失真。
3、 根據權利要求2的圖像處理裝置，進一步包括 相位失真校正單元，其基于由所述相位失真檢測單元所檢測到的所述相位失真，校正所述超分辨率圖像的所述相位失真。
4、 根據權利要求2的圖像處理裝置，進一步包括 運動矢量補償單元，其基于由所述相位失真檢測單元所檢測到的所述相位失真，校正所述超分辨率圖像之間的所述運動矢量估計的結果。
5、 根據權利要求1的圖像處理裝置，其中所述超分辨率處理單元運行超分辨率處理，而不用對所述幀進行分辨率 轉換。
6、 根據權利要求5的圖像處理裝置，其中辨率轉換，并產生所述放大圖像，和所述運動估計單元^^測所述放大圖像之間的所述運動矢量。
7、 根據權利要求1的圖像處理裝置，進一步包括 存儲單元，其記錄所述視頻數據和所述圖像數據，其中像數據。
8、 根據權利要求7的圖像處理裝置，其中第一序列圖像數據作為所述視頻數據記錄在所述存儲單元中，其具有低 空間分辨率和高時間分辨率，而第二序列圖像數據對應于包括在所述第 一序列圖像數據中的圖像，其具 有比所述第 一序列圖像數據更高的空間分辨率和更低的時間分辨率。
9、 根據權利要求8的圖像處理裝置，其中所述圖像產生單元指定包括在所述第 一序列圖像數據中而不包括在所述 第二序列圖像數據中的所述幀之一作為所選幀，并且產生對應于該所選幀的 圖像數據，并改善所述第二序列圖像數據的時間分辨率。
10、 根據權利要求7的圖像處理裝置，其中記錄在所述存儲單元中的所述視頻數據是通過對所抓拍的圖像信號進行 下取樣所獲得一序列圖像數據。
11、 根據權利要求1的圖像處理裝置，其中在進行運動補償的時候，當所述超分辨率圖像與所述圖像數據之間的差 值大于預定值時，所述圖像產生單元根據該差值改變合并作為運動矢量涉及 者的所選幀與作為運動矢量指向者的圖像數據的比率。
12、 一種成像方法，包括步驟獲得包括多個相繼幀的視頻數據，并獲得對應于所述幀中的某些幀并且 具有比所述幀更高的空間分辨率的圖像數據；使用多個所述幀對所述幀進行超分辨率處理，并且產生對應于所述幀的 超分辨率圖像；通過使用所述視頻數據檢測所述超分辨率圖像之間的運動矢量來預測運 動矢量；以及基于對應于所述圖像數據的所述超分辨率圖像和所述運動矢量，產生對 應于所述幀的運動補償圖像數據。
13、 一種計算機程序，其包括命令計算機作為如下單元的指令 圖像獲取單元，其獲得包括多個相繼幀的視頻數據，還獲得對應于所述幀中的某些幀并且具有比所述幀更高的空間分辨率的圖像數據；超分辨率處理單元，其使用多個所述幀對所述幀進行超分辨率處理，并且產生對應于所述幀的超分辨率圖像；運動估計單元，其使用所述視頻數據檢測所述超分辨率圖像之間的運動矢量；以及圖像產生單元，其基于對應于所述圖像數據的所述超分辨率圖像和所述 運動矢量，產生對應于所述幀的運動補償圖像數據。
全文摘要
提供圖像處理裝置，其包括圖像獲取單元，用于獲得包括多個相繼幀的視頻數據，還獲得對應于所述幀中的某些幀并且具有比所述幀更高的空間分辨率的圖像數據。該圖像處理裝置還包括超分辨率處理單元，用于使用多個所述幀對所述幀進行超分辨率處理，并且產生對應于所述幀的超分辨率圖像。該圖像處理裝置還包括用于使用該視頻數據檢測該超分辨率圖像之間的運動矢量的運動估計單元，以及基于對應于所述圖像數據的該超分辨率圖像和該運動矢量，產生對應于所述幀的運動補償圖像數據的圖像產生單元。
文檔編號H04N5/926GK101330569SQ200810125320
公開日2008年12月24日 申請日期2008年6月18日 優(yōu)先權日2007年6月18日
發(fā)明者中神央二, 田中潤一, 矢崎陽一 申請人:索尼株式會社