圖像處理設(shè)備及其控制方法
【專利摘要】本發(fā)明涉及圖像處理設(shè)備及其控制方法，提供即使在幀頻高的情況下也能夠以高速獲得高質(zhì)量圖像的攝像設(shè)備。幀頻控制單元控制拍攝的幀頻。圖像間隔剔除單元以預(yù)定的時間間隔對多個圖像采樣并且從多個圖像中選擇至少兩個圖像作為間隔剔除圖像。移動矢量檢測單元檢測表示被攝體在間隔剔除圖像之間的移動方向和移動量的移動矢量。間隔剔除控制單元根據(jù)從移動矢量檢測單元輸出的移動矢量的絕對值來改變間隔剔除條件。合成單元基于移動矢量檢測單元的輸出來對齊多個圖像并且接著合成所對齊的多個圖像以獲得合成圖像。
【專利說明】圖像處理設(shè)備及其控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種能夠以高幀頻拍攝的攝像設(shè)備、用于該攝像設(shè)備的控制方法以及存儲用于實現(xiàn)控制方法的控制程序的計算機可讀取的存儲介質(zhì)，并且特別地，涉及一種利用以高幀頻拍攝的圖像來抑制由照相機抖動而造成的圖像劣化的技術(shù)。
【背景技術(shù)】
[0002]一般地，諸如數(shù)字照相機等的一些攝像設(shè)備將多個幀中的多個圖像對齊、接著將圖像合成，從而抑制由照相機抖動而造成的圖像劣化。這里，幀不僅可以指運動圖像的幀，也可以指在使用所謂的連拍功能拍攝多個靜止圖像的情況下多個靜止圖像的各個圖像。
[0003]執(zhí)行上述的對齊從而減小由被攝體的移動造成的圖像模糊的影響(所謂的運動模糊)，并且例如獲得在時間上相鄰的幀之間的移動矢量(運動矢量)。該移動矢量代表被攝體等的位置在幀之間的差異。基于移動矢量來對齊多個圖像(對準(zhǔn)處理)，并且之后，合成多個圖像。
[0004]應(yīng)當(dāng)注意，在對準(zhǔn)處理中，在預(yù)先確定的搜索范圍內(nèi)對齊圖像。
[0005]另一方面，已存在一種獲得在時間上彼此不相鄰的幀之間的移動矢量從而減小計算負荷并且穩(wěn)定圖像的方法(見日本專利特開2007-214666號公報)。這里，計算存儲在存儲器中的多個幀中最老的幀和最新的幀之間的移動矢量。
[0006]此外，已存在如下方法，其中，為了減小檢測移動矢量所需要的計算負荷，基于使用第(N-1)幀和第N幀所獲得的移動矢量來確定獲得在第N幀和第(N+1)幀之間的移動矢量時所使用的搜索范圍(見日本專利特開2007-267232號公報)。
[0007]然而，根據(jù)日本專利特開2007-214666和2007-267232號公報中說明的方法，在所要合成的圖像的數(shù)量由于幀頻的增大而增大的情況下，其計算量(處理時間)將會隨著幀頻而顯著增大。處理時間的增大帶來用戶的便利性的劣化。

【發(fā)明內(nèi)容】

[0008]本發(fā)明提供一種即使在幀頻高的情況下也能夠以高速獲得高質(zhì)量圖像的攝像設(shè)備、用于該攝像設(shè)備的控制方法以及存儲有用于實現(xiàn)控制方法的控制程序的計算機可讀取的存儲介質(zhì)。
[0009]因而，本發(fā)明的第一方面提供一種將通過對被攝體連續(xù)拍攝所獲得的多個圖像對齊，并且接著將多個圖像合成以獲得合成圖像的圖像處理設(shè)備，包括圖像間隔剔除單元、用于以預(yù)定的時間間隔對多個圖像采樣并且從多個圖像中選擇至少兩個圖像作為間隔剔除圖像，移動矢量檢測單元、用于檢測表示被攝體在間隔剔除圖像之間的移動方向和移動量的移動矢量，間隔剔除控制單元、用于根據(jù)移動矢量檢測單元輸出的移動矢量的絕對值來改變圖像間隔剔除單元進行采樣的間隔剔除條件，以及合成單元、用于基于移動矢量檢測單元的輸出來對齊多個圖像并且接著合成所對齊的多個圖像以獲得合成圖像。
[0010]因而，本發(fā)明的第二方面提供一種用于圖像處理設(shè)備的控制方法，其中該圖像處理設(shè)備將通過對被攝體連續(xù)拍攝所獲得的多個圖像對齊、并且接著將多個圖像合成以獲得合成圖像，該方法包括以預(yù)定的時間間隔對多個圖像采樣并且從多個圖像中選擇至少兩個圖像作為間隔剔除圖像的圖像間隔剔除步驟，檢測表示被攝體在間隔剔除圖像之間的移動方向和移動量的移動矢量的移動矢量檢測步驟，根據(jù)在移動矢量檢測步驟中獲得的移動矢量的絕對值來改變圖像間隔剔除步驟中進行采樣的間隔剔除條件的間隔剔除控制步驟，以及基于在移動矢量檢測步驟中所獲得的移動矢量來對齊多個圖像、并且接著合成所對齊的多個圖像以獲得合成圖像的合成步驟。
[0011]因而，本發(fā)明的第三方面提供了一種存儲有用于攝像設(shè)備的控制程序的非易失性的計算機可讀取存儲介質(zhì)，其中該攝像設(shè)備將通過對被攝體連續(xù)拍攝所獲得的多個圖像對齊、并且接著將多個圖像合成以獲得合成圖像，該控制方法包括控制拍攝幀頻的幀頻控制步驟，以預(yù)定的時間間隔對多個圖像采樣并且從多個圖像中選擇至少兩個圖像作為間隔剔除圖像的圖像間隔剔除步驟，檢測表示被攝體在間隔剔除圖像之間的移動方向和移動量的移動矢量的移動矢量檢測步驟，根據(jù)在移動矢量檢測步驟中獲得的移動矢量的絕對值來改變間隔剔除步驟中進行采樣的間隔剔除條件的間隔剔除控制步驟，以及基于在移動矢量檢測步驟中所獲得的移動矢量來對齊多個圖像、并且接著合成所對齊的多個圖像以獲得合成圖像的合成步驟。
[0012]根據(jù)本發(fā)明，即使在幀頻高的情況下也能夠以高速獲得高質(zhì)量的圖像。
[0013]通過以下(參考附圖)對典型實施例的說明，本發(fā)明的其它特征將變得明顯。
【專利附圖】

【附圖說明】
[0014]圖1A和IB是用于說明根據(jù)本發(fā)明的實施例的典型攝像設(shè)備的配置的圖，其中圖1A是示出攝像設(shè)備結(jié)構(gòu)的截面圖，并且圖1B是用于說明攝像設(shè)備的控制系統(tǒng)的框圖。
[0015]圖2是用于說明在圖1A和圖1B中出現(xiàn)的攝像設(shè)備中的圖像處理的例子的流程圖。
[0016]圖3是用于說明在圖1A和圖1B中出現(xiàn)的攝像設(shè)備中的圖像處理的另一個例子的流程圖。
[0017]圖4是用于具體說明參考圖2描述的圖像處理的圖。
【具體實施方式】
[0018]以下將參考附圖給出對根據(jù)本發(fā)明的實施例的典型攝像設(shè)備的描述。
[0019]圖1A和IB是用于說明根據(jù)本發(fā)明的實施例的典型攝像設(shè)備的配置的圖。圖1A是示出攝像設(shè)備結(jié)構(gòu)的截面圖，并且圖1B是用于說明攝像設(shè)備的控制系統(tǒng)的框圖。在以下說明中，假定攝像設(shè)備是所謂的單鏡頭反光數(shù)字照相機(以下僅稱為照相機)。
[0020]圖中示出的照相機具有照相機主體I和鏡頭單元2。能夠?qū)㈢R頭單元2安裝到照相機主體I以及從照相機主體I上拆卸。在鏡頭單元2安裝到照相機主體I的情況下，鏡頭單元2與照相機主體I通過電觸點11電氣相連接。
[0021 ] 如圖所不，鏡頭單兀2配備有拍攝光學(xué)系統(tǒng)3、鏡頭系統(tǒng)控制單兀12以及鏡頭驅(qū)動單元13。照相機主體I配備有快速返回鏡機構(gòu)14、攝像裝置6、圖像處理單元7、存儲器單元8、距離測量單元15、照相機系統(tǒng)控制單元5、顯示器9以及操作檢測單元10。[0022]如上所述，在鏡頭單元2安裝至照相機主體I的情況下，照相機系統(tǒng)控制單元5和鏡頭系統(tǒng)控制單元12通過電觸點11連接到一起。接著，在照相機系統(tǒng)控制單元5的控制下，鏡頭系統(tǒng)控制單元12使得鏡頭驅(qū)動單元13驅(qū)動控制拍攝光學(xué)系統(tǒng)3。應(yīng)當(dāng)注意，拍攝光學(xué)系統(tǒng)3包括調(diào)焦透鏡、圖像穩(wěn)定透鏡和光圈等。
[0023]快速返回鏡機構(gòu)14位于拍攝光學(xué)系統(tǒng)3的光軸4上。此外，攝像裝置6布置在快速返回鏡機構(gòu)14的在光軸4的方向上的后側(cè)(與被攝體側(cè)相反的方向)。
[0024]在瞄準(zhǔn)的時候，快速返回鏡機構(gòu)14使得來自拍攝光學(xué)系統(tǒng)3的光線被引導(dǎo)至距離測量單元15和光學(xué)取景器16。另一方面，在拍攝的時候(也就是拍攝的瞬間)，快速返回鏡機構(gòu)14將快速返回鏡向上移動以將光學(xué)圖像引導(dǎo)到攝像裝置6從而能夠?qū)⒐鈱W(xué)圖像形成在攝像裝置6上。在拍攝完成的情況下，快速返回鏡返回它原來的位置。
[0025]攝像裝置6輸出與光學(xué)圖像相對應(yīng)的模擬信號。在照相機系統(tǒng)控制單元5的控制下，圖像處理單元7將模擬信號轉(zhuǎn)換為數(shù)字信號，接著對數(shù)字信號進行圖像處理，并且輸出結(jié)果圖像數(shù)據(jù)。接著，將圖像數(shù)據(jù)記錄在存儲器單元8中。
[0026]照相機系統(tǒng)控制單元5直接從圖像處理單元7接收圖像數(shù)據(jù)或者從存儲器單元8讀取圖像數(shù)據(jù)，并且將與圖像數(shù)據(jù)相對應(yīng)的圖像顯示在諸如液晶顯示器等的顯示器9上。因此，在連拍或視頻拍攝的情況下，用戶可以在檢查顯示器9上的圖像的同時進行拍攝。
[0027]圖像處理單元7具有例如模/數(shù)轉(zhuǎn)換器、白平衡處理電路、伽馬校正電路、插值計算電路等等。此外，盡管未在圖中示出，但是這里的圖像處理單元7具有以下將要說明的幀間隔剔除單元、移動矢量檢測單元、圖像合成單元、像素間隔剔除單元以及移動矢量計算控制單兀。
[0028]存儲器單元8具有記錄圖像數(shù)據(jù)所需要的處理電路，以及記錄圖像數(shù)據(jù)的存儲單元。存儲器單元8將圖像數(shù)據(jù)記錄在存儲單元中，并且生成和存儲要輸出到顯示器9的圖像。此外，存儲器單元8使用預(yù)先確定的技術(shù)將圖像數(shù)據(jù)(包括視頻數(shù)據(jù))和語音等壓縮。應(yīng)當(dāng)注意，這里，存儲器單元8配備有以下將要說明的緩沖器單元。
[0029]照相機系統(tǒng)控制單元5響應(yīng)外部操作而控制照相機主體I和鏡頭單元2。例如，在操作檢測單元10檢測到按下快門釋放按鈕(未示出)的情況下，照相機系統(tǒng)控制單元5控制攝像裝置6的致動、圖像處理單元7的操作和由存儲器單元8進行的壓縮處理等等。此夕卜，照相機系統(tǒng)控制單元5通過在顯示器9上顯示各種類型的信息來控制片段的狀態(tài)。
[0030]如圖所示，距離測量單元15和測光單元(未示出)與照相機系統(tǒng)控制單元5相連接，并且基于距離測量單元15和測光單元所獲得的距離測量結(jié)果和測光結(jié)果來獲得焦點位置和光圈位置。于是，基于焦點位置和光圈位置，照相機系統(tǒng)控制單元5接著通過電觸點11來控制鏡頭系統(tǒng)控制單元12。鏡頭系統(tǒng)控制單元12基于焦點位置和光圈位置驅(qū)動控制鏡頭驅(qū)動單元13來調(diào)整調(diào)焦透鏡和光圈。
[0031]照相機抖動檢測傳感器(未示出)與鏡頭系統(tǒng)控制單元12相連接。在選擇了圖像穩(wěn)定模式的情況下，鏡頭系統(tǒng)控制單元12基于由照相機抖動檢測傳感器所獲得的照相機抖動檢測結(jié)果使得鏡頭驅(qū)動單元13驅(qū)動控制圖像穩(wěn)定透鏡。
[0032]在圖中示出的照相機中，照相機系統(tǒng)控制單元5對攝像裝置6獲得圖像的頻率(所謂的幀頻)進行控制。即，這里，照相機系統(tǒng)控制單元5用作幀頻控制單元。此外，照相機系統(tǒng)控制單元5具有以下將要說明的間隔剔除控制單元。[0033]在拍攝靜止圖像或者運動圖像時，適當(dāng)?shù)乜刂茙l是重要的。應(yīng)當(dāng)注意，可能存在如下的情況，其中通過連拍等而連續(xù)獲得并且對齊靜止圖像，因此，對于靜止圖像，也將連拍的頻率稱作幀頻。
[0034]在拍攝圖像時對照相機添加照相機抖動的情況下，將會產(chǎn)生被攝體圖像劣化。為了避免這樣的被攝體圖像劣化，應(yīng)當(dāng)增大幀頻以縮短各個圖像的曝光時間。
[0035]在縮短曝光時間的情況下，增大增益以彌補曝光不足造成了噪聲增大。因此，根據(jù)所需的曝光時間來對齊多個圖像并且接著將其合成以獲得合成圖像。具體地，照相機系統(tǒng)控制單元5以比拍攝時的曝光時間更高的幀頻獲得多個圖像，進行以下說明的圖像處理以獲得并且輸出與所需的曝光時間相對應(yīng)的合成圖像。
[0036]例如，在將要拍攝一個曝光時間l/30[s]的靜止圖像的情況下，照相機系統(tǒng)控制單元5將幀頻設(shè)置為240fps (比1/30高的示例速度)以獲得8個圖像。接著，照相機系統(tǒng)控制單元5將8個圖像合成以輸出與l/30[s]的曝光時間相對應(yīng)的一個靜止圖像。在這種情況下，由于照相機抖動、圖像可能偏移，因此照相機系統(tǒng)控制單元5將8個圖像彼此相對地對齊，接著合成8個圖像。
[0037]需要預(yù)定量的計算來對齊并且合成多個圖像。在將要以增大的獲得圖像的幀頻來合成若干圖像的情況下，所需的計算量將會急劇增加。
[0038]另一方面，為了將各幀中的圖像模糊減小到滿意的水平，必須增大幀頻。此外，由于近來的技術(shù)進步，在單位時間里能夠處理的數(shù)據(jù)量趨于增大，因此能夠增大獲得圖像時的幀頻。
[0039]圖2是用于說明在圖1A和圖1B中出現(xiàn)的照相機中的圖像處理的例子的流程圖。應(yīng)當(dāng)注意，圖2示出執(zhí)行時間間隔剔除和合成圖像的處理。這里，時間間隔剔除是指對時間上連續(xù)的幀進行間隔剔除以降低在時間方向上的采樣頻率。在以下說明中，例如假定通過合成以240fps的幀頻獲得的圖像來獲得與1/30[s]的曝光時間相對應(yīng)的靜止圖像。
[0040]在開始圖像處理的情況下，照相機系統(tǒng)控制單元5獲得用于拍攝圖像的幀頻設(shè)置值(步驟S2)。例如從檢測用戶操作的操作檢測單元10獲得該幀頻設(shè)置值。
[0041]接著，照相機系統(tǒng)控制單元5根據(jù)幀頻設(shè)置值來設(shè)置時間間隔剔除條件(步驟S3)。這里，設(shè)置為幀頻設(shè)置值越高，間隔剔除的初始值就越稀疏。另一方面，設(shè)置為幀頻設(shè)置值越低，間隔剔除的初始值就越密集。
[0042]在用戶保持照相機的情況下，通常在一定程度上抑制了照相機抖動的速度。S卩，由于人手是柔軟的，因此照相機不大可能以高頻率大幅度移動。由于這個原因，在以高幀頻進行拍攝的情況下使間隔剔除量小從而幀可以是密集的，幀之間的時間間隔短，結(jié)果進行了不需要的計算。因此，如上所述，根據(jù)幀頻設(shè)置值來設(shè)置時間間隔剔除條件。
[0043]例如，在以諸如SOOOfps等的極高幀頻進行拍攝并且對幀間隔剔除以使得曝光時間可以為l/8[s]的情況下，即使對于間隔剔除后的圖像、時間方向上的采樣頻率也為IOOOfps0在用戶保持照相機的情況下，照相機如上所述不以高頻率大幅移動，即，角速度低，并且在幀頻為IOOOfps的情況下，只要鏡頭的焦距不長、圖像就不明顯模糊。
[0044]據(jù)說，只要曝光時間為(I/焦距)，靜止圖像的圖像模糊就不明顯，因此，在幀頻為IOOOfps的情況下，只要鏡頭的焦距為1000mm，圖像模糊就不明顯。應(yīng)當(dāng)注意，在一般的拍攝中很少使用這樣長焦距的鏡頭。[0045]因此，在幀頻極高的情況下，優(yōu)選為對幀進行大量間隔剔除以使得曝光時間能夠為(I/焦距)。這個水平的時間采樣可能在攝像裝置上造成幀間圖像上若干像素的偏移。這里，“若干”意味著典型的數(shù)值；有時不存在偏移，并且有時存在大約10個像素的偏移。
[0046]具體地，在使用焦距35mm的鏡頭進行拍攝的情況下，通過以大約1/256 [s]的程度進行間隔剔除，幀頻能夠為31.25fps。
[0047]能夠基于步驟S3中的時間采樣(間隔剔除)和拍攝光學(xué)系統(tǒng)3的焦距來粗略估計偏移的最大值。這與只要在靜止圖像中曝光時間為(I/焦距)、則圖像模糊不明顯是相同含義?？梢詫⑸鲜龅钠频淖畲笾涤米髟谝韵聦⒁f明的步驟S5中檢測運動矢量的搜索范圍。
[0048]接著，在照相機系統(tǒng)控制單元5的控制下，圖像處理單元7根據(jù)時間間隔剔除條件來執(zhí)行時間間隔剔除(步驟S4)。在步驟S4的間隔剔除處理中，可以僅執(zhí)行間隔剔除，但是如下所述，可以執(zhí)行相加從而抑制在時間方向上的混疊。
[0049]接著，在照相機系統(tǒng)控制單元5的控制下，圖像處理單元7獲得間隔剔除后的圖像之間的移動矢量(被攝體的運動矢量)(步驟S5)。在步驟S5中，圖像處理單元7獲得在兩個圖像之間的移動方向和距離從而對齊圖像。
[0050]應(yīng)當(dāng)注意，可以使用任何方法來獲得移動矢量，并且這里，使用所謂的塊匹配來檢測移動矢量。
[0051]接著，在照相機系統(tǒng)控制單元5的控制下，圖像處理單元7判斷根據(jù)時間間隔剔除條件的時間采樣之間的間隔和移動矢量的絕對值(即，移動量)各自是否等于或者小于預(yù)定設(shè)置值和預(yù)定規(guī)定值(步驟S6)。在時間采樣之間的間隔等于或者小于設(shè)置值并且移動矢量的絕對值等于或者小于規(guī)定值(例如，不超過±2像素)的情況下，能夠判斷為在本采樣中被攝體等尚未移動。
[0052]如上所述，這與上述在人保持照相機的情況下發(fā)生的圖像模糊不超過預(yù)定大小(角速度)同義。作為結(jié)果，如下所述，能夠判斷為被攝體等在某些幀之間尚未移動，并且可以取消隨后的計算。
[0053]在時間采樣之間的間隔以及移動矢量的絕對值分別等于或者小于預(yù)定設(shè)置值和規(guī)定值的情況下(步驟S6中為“是”)，即，在對于全部幀滿足計算中斷條件的情況下或者在時間采樣之間的間隔變得等于獲得圖像時的幀頻的情況下，圖像處理單元7在照相機系統(tǒng)控制單元5的控制下基于移動矢量來對齊各幀中的圖像以合成圖像(步驟S7)。接著，照相機終止圖像合成處理。
[0054]在不是對于全部幀滿足計算中斷條件并且在時間采樣之間的間隔不等于獲得圖像時的幀頻的情況下(步驟S6中為“否”)，照相機系統(tǒng)控制單元5改變時間間隔剔除條件(步驟S8)。這里，照相機系統(tǒng)控制單元5改變時間間隔剔除條件以使得時間間隔剔除條件可以是密集的。應(yīng)當(dāng)注意，基于2的乘冪來執(zhí)行時間間隔剔除從而在遞歸進行計算的同時利用先前的計算結(jié)果。即，在步驟S8中，在時間間隔剔除后的時間采樣頻率為2倍(計算中要使用的幀為2倍)。
[0055]接著，照相機系統(tǒng)控制單元5設(shè)置移動矢量搜索范圍(步驟S9)。在默認情況下，必須在所有幀之間檢測移動矢量，但是對于在步驟S6中滿足中斷條件的幀，不需要檢測移動矢量，因此在排除那些幀的情況下設(shè)置移動矢量搜索范圍。[0056]之后，再次執(zhí)行步驟S4和S5中的處理。應(yīng)當(dāng)注意，在步驟S5中，在存在先前的計算結(jié)果(檢測結(jié)果)的情況下，如下說明，可以將移動矢量的一半設(shè)置為初始值。
[0057]圖3是用于說明在圖1A和圖1B中出現(xiàn)的照相機中的圖像處理的另一個例子的流程圖。應(yīng)當(dāng)注意，圖3示出執(zhí)行時間間隔剔除以及空間間隔剔除并且合成圖像的處理。這里，空間間隔剔除是指通過改變采樣間隔來減小在空間方向上的采樣頻率。在圖3中，以相同的附圖標(biāo)記來表示與圖2中相同的步驟。
[0058]在步驟S2中獲得幀頻設(shè)置值后，照相機系統(tǒng)控制單元5設(shè)置時間間隔剔除條件以及空間間隔剔除條件(步驟S13)。應(yīng)當(dāng)注意，可以根據(jù)時間間隔剔除條件來設(shè)置作為空間間隔剔除條件的密度，或者可以相互獨立地設(shè)置時間間隔剔除條件和空間間隔剔除條件。
[0059]然而，在時間間隔剔除中要減小時間方向上的采樣間隔的情況下，優(yōu)選為也減小在空間方向上的采樣間隔。即，通過在時間上跳躍的方式對圖像進行采樣以使得圖像可以是粗糙的馬賽克而將圖像粗對齊。接著，逐漸使圖像進入時間和空間上密集的狀態(tài)并且以高精度對齊圖像。
[0060]在步驟S4中執(zhí)行時間間隔剔除之后，圖像處理單元7在照相機系統(tǒng)控制單元5的控制下執(zhí)行空間間隔剔除(步驟S14)。這里，根據(jù)空間間隔剔除條件來對圖像中的像素數(shù)據(jù)(以下僅稱作像素)間隔剔除。作為結(jié)果，將圖像轉(zhuǎn)為像素數(shù)量小的壓縮圖像。應(yīng)當(dāng)注意，在步驟S14中，可以僅對像素間隔剔除，但是優(yōu)選為進行相加從而抑制在空間方向上的混疊。
[0061]在步驟S6中不是對于全部幀滿足計算中斷條件并且時間采樣間隔不等于獲得圖像時的幀頻的情況下，照相機系統(tǒng)控制單元5改變時間間隔剔除條件以及空間間隔剔除條件(步驟S17)。這里，如前所述，改變空間間隔剔除條件以使得在空間方向上的采樣也能夠是密集的。
[0062]圖4是用于具體說明參考圖2所描述的圖像處理的圖。
[0063]參考圖4，現(xiàn)假定已獲得第O至第16幀(S卩，圖像)。用戶的照相機抖動的大小隨時間變化。這里假定為將照相機抖動的大小分類為“大”、“中”和“小”，并且照相機抖動的大小在時間方向上以從“大”到“中”、“小”、“中”、“大”和“中”這樣的順序來變化。
[0064]還假定為將“1/8時間間隔剔除”、“1/4時間間隔剔除”、“1/2時間間隔剔除”、“無時間間隔剔除”選擇性地設(shè)置為時間間隔剔除條件。應(yīng)當(dāng)注意，在以下說明中，拍攝鏡頭的焦距為80mm，并且通過合成獲得與1/30[s]的曝光時間相對應(yīng)的合成圖像。由于在比(I/焦距)長的時間段曝光，因此該焦距與曝光時間之間的關(guān)系是一般針對由于照相機抖動而造成的圖像劣化需要注意的條件。
[0065]這里，合成第O至第16幀、S卩17個圖像。這與例如根據(jù)以480fps的幀頻采樣的圖像生成與l/30[s]的曝光時間相對應(yīng)的靜止圖像的情況相對應(yīng)。在這種情況下，將包括相加圖像的數(shù)量的與2的乘冪或(2的乘冪+1)在數(shù)量上相對應(yīng)的圖像臨時緩沖在存儲器單元8中。即，將與不比輸出圖像的曝光時間短的時間相對應(yīng)并且與幀頻X (2的乘冪+1)相對應(yīng)的圖像進行緩沖。
[0066]這里，在圖2中的步驟S2中，照相機系統(tǒng)控制單元5獲得480fps作為幀設(shè)置值。接著，在步驟S3中，照相機系統(tǒng)控制單元5將“1/8時間間隔剔除”設(shè)置為時間間隔剔除條件。作為結(jié)果，間隔副除后的巾貞頻為60fps。[0067]在1/8時間間隔剔除中，選擇了第O個、第8個以及第16個幀(至少選擇2個圖像)。具體地，假定總是選擇第O個幀，在1/8時間間隔剔除中，從第O幀開始選擇幀以使得幀能夠成為1/8，并且在時間方向上進行間隔剔除。
[0068]應(yīng)當(dāng)注意，盡管在圖4中示出的例子中，僅選擇了第O個、第8個以及第16個幀，但是可以使用例如將周邊的幀相加的方法。在這種情況下，所要緩沖的幀的數(shù)量需要大于17。
[0069]例如，使用通過把第O到第7幀相加而獲得的圖像來代替第O幀，并且使用通過把第8到第15幀相加而獲得的圖像來代替第8幀。在這種情況下，使用通過把第16到第23幀相加而獲得的圖像來代替第16幀。由于這個原因，這里，在存儲器單元8中緩沖第O到第23幀。
[0070]盡管在圖4中示出的例子里，緩沖(2的乘冪+1)個圖像，但是，在由于存儲器限制因而2的乘冪更加方便的情況下，可以使用第15幀來代替第16幀。S卩，將第15幀和第16幀當(dāng)做同一圖像，并且從第15幀到第16幀的移動矢量完全為O。這能夠?qū)⑺彌_的圖像的數(shù)量限制為2的乘冪。
[0071]在步驟S5中，檢測在第O、第8和第16幀之間的移動矢量。在圖4中，用實線將要檢測移動矢量的幀連到一起。即，在1/8時間間隔剔除中，獲得在第O幀與第8幀之間的移動矢量，并且接著，獲得在第8幀與第16幀之間的移動矢量。
[0072]在檢測到移動矢量后，在步驟S6中判斷是否中止計算。如上所述，使用間隔剔除后的幀頻和移動矢量的絕對值作為中斷條件。
[0073]在執(zhí)行間隔剔除以使得幀頻減小到非常小的值(例如，Ifps)的情況下，認為圖像臨時模糊并且接著圖像返回到其原始位置。在這種狀態(tài)中判斷為未發(fā)生圖像模糊的情況下，圖像不能良好對齊。因此，優(yōu)選為基于上述的設(shè)置值和規(guī)定值或者在拍攝時照相機抖動檢測傳感器的輸出來預(yù)測照相機抖動的速度，并且確定開始中止的幀頻。
[0074]在圖4中示出的1/8時間間隔剔除中，作為中斷判斷的結(jié)果，處理進入步驟S8。在步驟S8中，改變時間間隔剔除條件。這里，把時間間隔剔除條件從1/8時間間隔剔除改變至1/4時間間隔剔除。此外，在步驟S9中設(shè)置移動矢量搜索范圍。
[0075]在1/4時間間隔剔除中，選擇第O、第4、第8、第12以及第16幀，并且對于這些幀檢測移動矢量。接著，在步驟S6中，再次執(zhí)行中斷判斷。
[0076]在圖4中示出的例子中，在第4幀與第8幀之間滿足中斷條件。即，由于在第4幀與第8幀之間的圖像模糊“小”，因此認為在第4幀與第8幀之間所獲得的移動矢量的絕對值足夠小。在這種情況下，在圖像合成中對齊的誤差處于容許范圍內(nèi)。因此，在這種情況下，在未在第4幀與第8幀之間檢測移動矢量的情況下通過在步驟S9中設(shè)置移動矢量搜索范圍來進行移動矢量插值。
[0077]在圖4中示出的1/4時間間隔剔除中，作為中斷判斷的結(jié)果，處理進入步驟S8。在步驟S8中，改變時間間隔剔除條件。這里，把時間間隔剔除條件從1/4時間間隔剔除改變至1/2時間間隔剔除。此外，如上所述，在步驟S9中設(shè)置移動矢量搜索范圍。
[0078]在1/2時間間隔剔除中，選擇第O、第2、第4、第6、第8、第10、第12、第14以及第16幀，并且對于這些幀檢測移動矢量。接著，在步驟S6中，再次執(zhí)行中斷判斷。
[0079]應(yīng)當(dāng)注意，如前所述，應(yīng)當(dāng)將用于第O幀和第2幀的移動矢量搜索范圍設(shè)置為用于第O幀到第4幀的移動矢量搜索范圍的一半。此外，應(yīng)當(dāng)將用于第4幀和第6幀的移動矢量搜索范圍設(shè)置為用于第4幀到第8幀的移動矢量搜索范圍的一半。
[0080]具體地，在已經(jīng)精確地獲得了移動矢量的情況下，在把在第O幀與第2幀之間的移動矢量和在第2幀與第4幀之間的移動矢量合成的情況下，認為獲得了在第O幀與第4幀之間的移動矢量。因此，對于在第O幀與第2幀之間的移動矢量的初始值，應(yīng)當(dāng)只搜索作為中心點的在第O幀與第4幀之間的中點周圍的區(qū)域，并且因此能夠降低檢測所需的計算量。應(yīng)當(dāng)注意，在第一次搜索中，應(yīng)當(dāng)通過將搜索的中心值設(shè)置為O來有余量地設(shè)置搜索范圍。
[0081]在上述的方法中，以對已中斷檢測的從第4幀到第8幀的移動矢量插值的方式來設(shè)置移動矢量。具體地，假定在第4幀與第8幀之間存在+2像素的偏移，對從第4幀到第6幀設(shè)置+1像素的偏移。同樣地，對從第6幀到第8幀也設(shè)置+1像素的偏移。
[0082]在要檢測移動矢量時，對中斷檢測的第4幀到第6幀以及第6幀到第8幀不進行檢測，并且保持通過1/4時間間隔剔除所獲得的移動矢量(初始值)。
[0083]接著，在步驟S6中的處理中，中斷對除了具有大量圖像模糊的部分以外的部分的移動矢量的檢測。接著處理進入步驟S8，其中，將“無時間間隔剔除”設(shè)置為時間間隔剔除條件。作為結(jié)果，在步驟S5中的移動矢量的檢測中，檢測在第O幀和第2幀之間的移動矢量以及在第10幀和第14幀之間的移動矢量。
[0084]在圖中示出的示例中，在將“無時間間隔剔除”設(shè)置為時間間隔剔除條件的情況下，在全部幀中都滿足計算中斷條件，并且處理進入到步驟S7，其中將圖像對齊并且合成。
[0085]在圖4中示出的例子中，盡管首先將“1/8時間間隔剔除”設(shè)置為時間間隔剔除條件，但是在由于高幀頻而存在大量圖像的情況下從更稀疏的狀態(tài)開始間隔剔除。作為結(jié)果，在將“無時間間隔剔除”設(shè)置為時間間隔剔除條件之前，即，在早期滿足中斷條件。作為結(jié)果，在幀頻高的情況下，能夠有效地減小計算量。
[0086]換言之，在以高幀頻拍攝中，獲得大量大致相同的圖像，并且因此，在容許彌散圓的范圍內(nèi)，不需要單獨獲得移動矢量，并且因此能夠顯著減小計算量。
[0087]應(yīng)當(dāng)注意，參考圖4的說明是根據(jù)基于圖2中的流程圖的處理給出的，但是在圖3的流程圖中，應(yīng)當(dāng)根據(jù)時間間隔剔除進行空間間隔剔除，并且因此能夠基于圖4的說明而容易地進行空間間隔剔除。即，應(yīng)當(dāng)基于諸如1/8時間間隔剔除等的時間間隔剔除條件來對像素間隔剔除。
[0088]如上所述，根據(jù)本發(fā)明的實施例，能夠以減小的運算量來對齊并且合成以高幀頻拍攝的圖像。作為結(jié)果，能夠以高速度獲得高質(zhì)量的圖像。
[0089]從上面的描述中可以清楚地看出，在圖1A和IB中示出的例子中，照相機系統(tǒng)控制單元5用作幀頻控制單元以及間隔剔除控制單元。此外，照相機系統(tǒng)控制單元5和圖像處理單元7用作圖像間隔剔除單元、移動矢量檢測單元、合成單元以及像素間隔剔除單元。應(yīng)當(dāng)注意，存儲器單元8用作緩沖單元。
[0090]其它實施例
[0091]本發(fā)明的實施例還可以由一種系統(tǒng)或者設(shè)備(或者諸如CPU或者MPU等的裝置)的計算機讀出并且執(zhí)行記錄于存儲裝置上的程序以進行以上說明的實施例的功能而實現(xiàn)，還可以通過一種方法實現(xiàn)，該方法的步驟由一種系統(tǒng)或者設(shè)備的計算機通過例如讀出并且執(zhí)行記錄于存儲裝置上的程序以進行以上說明的實施例的功能而進行。為了這一目的，將程序例如通過網(wǎng)絡(luò)或者用作存儲裝置(例如，計算機可讀取的介質(zhì))的各種存儲介質(zhì)提供給計算機。
[0092]盡管已經(jīng)參考典型實施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不限于所公開的典型實施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功倉泛。
[0093]本申請要求2012年8月20日提交的日本專利申請2012-181740的優(yōu)先權(quán)，在此通過引用包含該申請的全部內(nèi)容。
【權(quán)利要求】
1.一種將通過對被攝體連續(xù)拍攝所獲得的多個圖像對齊、然后將所述多個圖像合成以獲得合成圖像的圖像處理設(shè)備，包括: 圖像間隔剔除單元，用于以預(yù)定的時間間隔對所述多個圖像采樣，并且從所述多個圖像中選擇至少兩個圖像作為間隔剔除圖像； 移動矢量檢測單元，用于檢測表示所述被攝體在所述間隔剔除圖像之間的移動方向和移動量的移動矢量； 間隔剔除控制單元，用于根據(jù)作為所述移動矢量檢測單元的輸出的所述移動矢量的絕對值，改變所述圖像間隔剔除單元進行所述采樣的間隔剔除條件；以及 合成單元，用于基于所述移動矢量檢測單元的輸出來對齊所述多個圖像、然后合成所對齊的所述多個圖像以獲得所述合成圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，還包括像素間隔剔除單元，用于在所述圖像間隔剔除單元進行所述采樣的情況下，從所采樣出的圖像間隔剔除預(yù)定數(shù)量的像素數(shù)據(jù)，以在大小上縮小所采樣出的圖像。
3.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述間隔剔除控制單元在所述移動矢量的絕對值大于預(yù)先規(guī)定的規(guī)定值的情況下改變所述間隔剔除條件。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中，所述間隔剔除控制單元在所述采樣中的時間間隔大于預(yù)先設(shè)置的設(shè)置值的情況下改變所述間隔剔除條件。
5.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其中，所述移動矢量檢測單元在所述采樣中的時間間隔等于或者小于所述設(shè)置值并且所述移動矢量的絕對值等于或者小于所述規(guī)定值的情況下，中斷對所述間隔剔除圖像的移動矢量的檢測。
6.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，還包括緩沖單元，用于保持通過以比預(yù)先設(shè)置的曝光時間更長的時間進行拍攝而得到的所述多個圖像。
7.根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其中，所述緩沖單元保持在數(shù)量上與2的乘冪相對應(yīng)的圖像。
8.一種用于圖像處理設(shè)備的控制方法，其中該圖像處理設(shè)備將通過對被攝體連續(xù)拍攝所獲得的多個圖像對齊、然后將所述多個圖像合成以獲得合成圖像，所述控制方法包括: 圖像間隔剔除步驟，以預(yù)定的時間間隔對所述多個圖像采樣，并且從所述多個圖像中選擇至少兩個圖像作為間隔剔除圖像； 移動矢量檢測步驟，檢測表示所述被攝體在所述間隔剔除圖像之間的移動方向和移動量的移動矢量； 間隔剔除控制步驟，根據(jù)在所述移動矢量檢測步驟中獲得的所述移動矢量的絕對值，改變在所述圖像間隔剔除步驟中進行所述采樣的間隔剔除條件；以及 合成步驟，基于在所述移動矢量檢測步驟中所獲得的所述移動矢量來對齊所述多個圖像、然后合成所對齊的所述多個圖像以獲得所述合成圖像。
【文檔編號】H04N5/235GK103634513SQ201310364398
【公開日】2014年3月12日 申請日期:2013年8月20日 優(yōu)先權(quán)日:2012年8月20日
【發(fā)明者】木村正史 申請人:佳能株式會社