專利名稱：圖像處理設(shè)備和圖像處理設(shè)備的控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理設(shè)備和圖像處理設(shè)備的控制方法，尤其涉及一種用于生成動態(tài)范圍被擴(kuò)展的圖像的技術(shù)。
背景技術(shù)：
近年來，已知一種用于生成與通過諸如數(shù)字照相機(jī)等的攝像設(shè)備中的正常攝像所獲得的圖像相比、動態(tài)范圍被擴(kuò)展了的圖像的所謂的HDR(高動態(tài)范圍)技術(shù)。更具體地，使用HDR技術(shù)的圖像處理方法可以通過合成所拍攝的具有不同曝光的多個圖像來創(chuàng)建動 態(tài)范圍被擴(kuò)展的圖像(HDR圖像)。然而，在這樣創(chuàng)建的HDR圖像中，由于合成了多個圖像，因而由于圖像模糊和作用于攝像設(shè)備的抖動的影響，在所獲得的圖像邊緣部分可能出現(xiàn)多個邊緣。尤其在高亮度部分和低亮度部分之間的邊界部分處，所創(chuàng)建的HDR圖像中的這一多邊緣現(xiàn)象尤為明顯。下面將使用


HDR圖像中的多邊緣現(xiàn)象。注意，為了簡化，將說明用于通過合成具有不同曝光的兩個圖像來創(chuàng)建HDR圖像的例子。例如，下面將說明如圖4A所示、作為主被攝體的人相對于具有高亮度值的背景圖像處于背光關(guān)系的取景。在此時拍攝的圖像中，由于繪制主被攝體的區(qū)域是低亮度區(qū)域，因而當(dāng)主被攝體移動時或者當(dāng)攝像設(shè)備抖動時，在HDR圖像中的主被攝體和背景之間的邊緣部分處出現(xiàn)多個邊緣。此時，當(dāng)選擇圖4A所示的圖像的水平線401作為感興趣的線時，在要合成的低曝光拍攝圖像和高曝光拍攝圖像中，該水平線的X坐標(biāo)的像素值^和Dh示出圖5A所示的狀態(tài)。在圖5A中，由于主被攝體的運動或者攝像設(shè)備的抖動，這兩個圖像的像素值具有不同的像素值減小處的坐標(biāo)。注意，高曝光拍攝圖像的曝光是低曝光拍攝圖像的曝光的四倍，并且在圖5A 5F所示的例子中，在高亮度背景區(qū)域中，高曝光拍攝圖像的像素值飽和。為了合成具有不同曝光的兩個圖像，這兩個圖像經(jīng)過伽馬轉(zhuǎn)換或變換。由于這些圖像具有不同曝光條件，因而如圖5B所示，對于各個圖像使用不同的轉(zhuǎn)換特性曲線進(jìn)行伽馬轉(zhuǎn)換。這樣，以此方式轉(zhuǎn)換后的伽馬轉(zhuǎn)換輸出&和Gh示出圖5C所示的狀態(tài)。通過這兩個具有不同曝光的圖像的伽馬轉(zhuǎn)換輸出可知，背景區(qū)域飽和的高曝光拍攝圖像在背景區(qū)域中呈現(xiàn)不同于低曝光拍攝圖像的伽馬轉(zhuǎn)換輸出。另外，在低曝光拍攝圖像中，通常在低亮度區(qū)域中趨于發(fā)生暗飽和，并且在該區(qū)域中不能清晰地表現(xiàn)被攝體。也就是說，對于高亮度區(qū)域，要創(chuàng)建的HDR圖像優(yōu)選使用低曝光拍攝圖像，并且對于低亮度區(qū)域，優(yōu)選使用高曝光拍攝圖像。為此，作為具有創(chuàng)建HDR圖像所需的基準(zhǔn)曝光的圖像，選擇沒有任何飽和區(qū)域的低曝光拍攝圖像，并且根據(jù)該圖像的伽馬轉(zhuǎn)換輸出Gj角定圖示出的加法系數(shù)K。加法系數(shù)K是為確定要創(chuàng)建的HDR圖像中的低曝光拍攝圖像和高曝光拍攝圖像的合成方法所預(yù)先確定的系數(shù)，并且可以如下表示HDR圖像的伽馬輸出Gq G0 = KXGl+KKXGh (I)
加法系數(shù)K在預(yù)定伽馬轉(zhuǎn)換輸出范圍內(nèi)從0改變成1，例如，如圖ro所示。另外，通過(I-K)給出加法系數(shù)KK。更具體地，在范圍0<K< I內(nèi)合成這兩個圖像，即低曝光拍攝圖像和高曝光拍攝圖像，在范圍K= I內(nèi)在創(chuàng)建中僅使用低曝光拍攝圖像，并且在范圍K=0內(nèi)在創(chuàng)建中僅使用高曝光拍攝圖像這樣創(chuàng)建的HDR圖像的伽馬轉(zhuǎn)換輸出示出圖5E所示的狀態(tài)。通過圖5E可知，當(dāng)創(chuàng)建HDR圖像所使用的具有不同曝光的圖像在它們的拍攝時刻遭受圖像模糊或攝像設(shè)備的抖動時，在低亮度區(qū)域中合成高曝光拍攝圖像的高亮度區(qū)域的圖像。在這種情況下，在所創(chuàng)建的HDR圖像中的低亮度區(qū)域和高亮度區(qū)域之間的邊界處發(fā)生被稱為偽邊緣的多邊緣現(xiàn)象。如上所述，當(dāng)要合成的圖像在它們的拍攝時刻遭受任何圖像模糊或攝像設(shè)備的抖動時，多邊緣通常出現(xiàn)在低亮度區(qū)域和高亮度區(qū)域之間的邊界處，結(jié)果導(dǎo)致HDR圖像的圖像質(zhì)量下降和用戶感覺不自然。日本特開2009-010566號公報公開了一種技術(shù)，該技術(shù)通過將具有不同曝光的多個圖像中的一個設(shè)置為具有基準(zhǔn)曝光的圖像、并且對所選擇的圖像應(yīng)用平均化濾波來消除合成圖像中的多邊緣，從而平均不同亮度的邊界附近的濃度值。另外，日本特開2005-223769號公報公開了一種技術(shù)，該技術(shù)用于檢測特定區(qū)域中要合成的具有不同曝光的兩個圖像的伽馬校正輸出之間的差，并且當(dāng)該差大于閾值時通過選擇低曝光拍攝圖像、或者當(dāng)該差小于另一閾值時通過選擇高曝光拍攝圖像來創(chuàng)建圖像。然而，利用上述日本特開2009-010566號公報的技術(shù)，由于在不同明暗度邊界附近應(yīng)用平均化處理，因而當(dāng)在該邊界附近進(jìn)行圖像的合成處理時，可能并非希望地進(jìn)行下面的不自然的合成處理。也就是說，由于在邊界附近應(yīng)用平均化處理，因而在高亮度區(qū)域中合成亮飽和的高曝光拍攝圖像，或者在低亮度區(qū)域中合成暗飽和的低曝光拍攝圖像。為此，由于在高亮度區(qū)域中合成白色區(qū)域，并且在夾著邊界的低亮度區(qū)域中合成黑色區(qū)域，因而可能創(chuàng)建不自然的HDR圖像。對于日本特開2005-223769號公報的技術(shù)，在表現(xiàn)陡峭亮度梯度的區(qū)域中，在伽馬轉(zhuǎn)換輸出的差值小的區(qū)域中生成細(xì)小的偽邊緣。

發(fā)明內(nèi)容
考慮到相關(guān)技術(shù)的上述問題做出了本發(fā)明。本發(fā)明即使在產(chǎn)生了圖像模糊或攝像設(shè)備抖動時，也提供一種動態(tài)范圍被擴(kuò)展的自然合成圖像。在本發(fā)明的第一方面，提供一種圖像處理設(shè)備，所述圖像處理設(shè)備包括獲得部件，用于獲得使用第一曝光拍攝的第一圖像和使用不同于所述第一曝光的第二曝光拍攝的第二圖像；創(chuàng)建部件，用于根據(jù)所述第一圖像創(chuàng)建作為合成處理的基準(zhǔn)的第三圖像；以及合成部件，用于使用與所述第三圖像的像素值相關(guān)聯(lián)的加法系數(shù)，對所述第一圖像和所述第二圖像的各個像素進(jìn)行加權(quán)合成，其中，創(chuàng)建所述第三圖像包括將以所述第一圖像的各像素為中心的預(yù)設(shè)范圍內(nèi)的像素的最大像素值設(shè)置作為選擇作為中心的像素的像素值。在本發(fā)明的第二方面，提供一種圖像處理設(shè)備，所述圖像處理設(shè)備包括獲得部件，用于獲得使用第一曝光拍攝的第一圖像和使用不同于所述第一曝光的第二曝光拍攝的第二圖像；創(chuàng)建部件，用于根據(jù)所述第一圖像創(chuàng)建作為合成處理的基準(zhǔn)的第三圖像；以及合成部件，用于使用與所述第三圖像的像素值相關(guān)聯(lián)的加法系數(shù)，對所述第一圖像和所述第二圖像的各個像素進(jìn)行加權(quán)合成，其中，創(chuàng)建所述第三圖像包括將以所述第一圖像的各像素為中心的預(yù)設(shè)范圍內(nèi)的像素的最小像素值設(shè)置作為選擇作為中心的像素的像素值。在本發(fā)明的第三方面，提供一種圖像處理設(shè)備的控制方法，所述控制方法包括以下步驟獲得步驟，用于獲得使用第一曝光拍攝的第一圖像和使用不同于所述第一曝光的第二曝光拍攝的第二圖像；創(chuàng)建步驟，用于根據(jù)所述第一圖像創(chuàng)建作為合成處理的基準(zhǔn)的第三圖像；以及合成步驟，用于使用與所述第三圖像的像素值相關(guān)聯(lián)的加法系數(shù)，對所述第一圖像和所述第二圖像的各個像素進(jìn)行加權(quán)合成，其中，所述創(chuàng)建步驟包括將以所述第一圖像的各像素為中心的預(yù)設(shè)范圍內(nèi)的像素的最大像素值設(shè)置作為選擇作為中心的像素的像素值。 在本發(fā)明的第四方面，提供一種圖像處理設(shè)備的控制方法，所述控制方法包括以下步驟獲得步驟，用于獲得使用第一曝光拍攝的第一圖像和使用不同于所述第一曝光的第二曝光拍攝的第二圖像；創(chuàng)建步驟，用于根據(jù)所述第一圖像創(chuàng)建作為合成處理的基準(zhǔn)的第三圖像；以及合成步驟，用于使用與所述第三圖像的像素值相關(guān)聯(lián)的加法系數(shù)，對所述第一圖像和所述第二圖像的各個像素進(jìn)行加權(quán)合成，其中，所述創(chuàng)建步驟包括將以所述第一圖像的各像素為中心的預(yù)設(shè)范圍內(nèi)的像素的最小像素值設(shè)置作為選擇作為中心的像素的像素值。通過以下(參考附圖)對典型實施例的說明，本發(fā)明的其它特征將顯而易見。

圖I是示出根據(jù)本發(fā)明實施例的數(shù)字照相機(jī)的功能結(jié)構(gòu)的框圖；圖2是用于說明根據(jù)本發(fā)明實施例創(chuàng)建HDR圖像所需的處理的框圖；圖3是示出根據(jù)本發(fā)明第一和第二實施例的基準(zhǔn)明暗度創(chuàng)建單元的電路結(jié)構(gòu)的電路圖；圖4A和4B是示出根據(jù)本發(fā)明實施例在創(chuàng)建HDR圖像時的場景例子的圖；圖5A、5B、5C、5D、5E和5F是用于說明在相關(guān)技術(shù)中創(chuàng)建HDR圖像時的問題的圖；圖6A、6B、6C和6D是用于說明根據(jù)本發(fā)明第一實施例的信號處理器的處理的圖；圖7A、7B、7C和7D是用于說明根據(jù)本發(fā)明第二實施例的信號處理器的處理的圖；圖8是示出根據(jù)本發(fā)明第三實施例的基準(zhǔn)明暗度創(chuàng)建單元的電路結(jié)構(gòu)的電路圖；圖9A、9B、9C、9D、9E、9F和9G是用于說明根據(jù)本發(fā)明第三實施例的信號處理器的處理的圖；以及圖10是用于說明根據(jù)本發(fā)明第三實施例的信號處理器的處理的另一個圖。
具體實施例方式第一實施例下面將參考附圖詳細(xì)說明本發(fā)明的優(yōu)選實施例。注意，下面所述的實施例說明下面的例子將本發(fā)明應(yīng)用于作為圖像處理設(shè)備的例子的數(shù)字照相機(jī)，其中，該圖像處理設(shè)備可以使用具有不同曝光的多個圖像創(chuàng)建擴(kuò)展了動態(tài)范圍的一個圖像。然而，本發(fā)明可應(yīng)用于能夠使用具有不同曝光的多個圖像創(chuàng)建擴(kuò)展了動態(tài)范圍的一個圖像的任意裝置。
圖I是示出根據(jù)本發(fā)明實施例的數(shù)字照相機(jī)100的功能結(jié)構(gòu)的框圖?？刂破?01是例如微型計算機(jī)，并且控制數(shù)字照相機(jī)100中包括的各個塊的操作?？刂破?01通過讀出數(shù)字照相機(jī)100中包括的各個塊的操作程序控制各個塊的操作，其中，將各個塊的程序存儲在例如R0M102中，并且在RAM103中展開和執(zhí)行這些程序。R0M102是例如諸如EEPROM等的電性可重寫非易失性存儲器，并且除數(shù)字照相機(jī)100中包括的各個塊的操作程序以外，還存儲諸如各個塊的操作所需的設(shè)置值等的信息。RAM103是易失性存儲器，并且不僅用作數(shù)字照相機(jī)100中包括的各個塊的操作程序的展開區(qū)域，而且還用作用于臨時存儲在各個塊的操作期間輸出的中間數(shù)據(jù)等的區(qū)域。存儲器控制器108是控制對RAM103的數(shù)據(jù)讀寫訪問的塊，并且在控制器101的控制下工作。注意，在假定通過塊的操作程序控制數(shù)字照相機(jī)100中所包括的各個塊的操作的前提下，對本實施例給出以下說明。然而，本發(fā)明不局限于此，并且可以由執(zhí)行與相應(yīng)的操作程序相同的處理的電路構(gòu)成各個塊。攝像單元105是例如諸如(XD或CMOS傳感器等的攝像元件。攝像單元105對經(jīng)由光學(xué)系統(tǒng)104在攝像元件所形成的光學(xué)圖像進(jìn)行光電轉(zhuǎn)換，并且將所獲得的模擬圖像信號輸出給A/D轉(zhuǎn)換器106。A/D轉(zhuǎn)換器106對輸入的模擬圖像信號應(yīng)用A/D轉(zhuǎn)換處理,從而輸出數(shù)字圖像信號。在本實施例中，攝像單元105通過設(shè)置不同的曝光時間拍攝具有不同曝光的兩種類型的圖像，并且將在A/D轉(zhuǎn)換器106的A/D轉(zhuǎn)換處理之后所獲得的兩個圖像存儲在RAM103中。注意，下面將基于短曝光時間所獲得的圖像稱為“低曝光圖像”，并且將基于長曝光時間所獲得的圖像稱為“高曝光圖像”。信號處理器107是向拍攝圖像應(yīng)用各種類型的圖像處理的塊。在本例子中，假定除用于創(chuàng)建擴(kuò)展了動態(tài)范圍的HDR圖像的合成處理以外，信號處理器107還可以執(zhí)行例如用于檢測和校正低曝光圖像和高曝光圖像之間的被攝體位置偏移的處理等。HDR圖像創(chuàng)津處理下面將參考圖2說明具有上述結(jié)構(gòu)的本實施例的數(shù)字照相機(jī)100的實際HDR圖像創(chuàng)建處理。圖2是示出由信號處理器107執(zhí)行的處理的框圖，用于解釋根據(jù)存儲在RAM103中的低曝光圖像和高曝光圖像創(chuàng)建HDR圖像的序列。將由存儲器控制器108從RAM103讀出的低曝光圖像和高曝光圖像輸入給信號處理器107。輸入給信號處理器107的低曝光圖像和高曝光圖像分別在低曝光伽馬轉(zhuǎn)換器201和高曝光伽馬轉(zhuǎn)換器202中經(jīng)過伽馬轉(zhuǎn)換處理。注意，如對HDR圖像的上述說明一樣，本實施例將說明在圖4A所示的攝像場景下的HDR圖像的創(chuàng)建。另外，如上述說明一樣，假定在創(chuàng)建HDR圖像時由高曝光伽馬轉(zhuǎn)換器202應(yīng)用的伽馬轉(zhuǎn)換處理的轉(zhuǎn)換特性使用圖5B所示的轉(zhuǎn)換特性曲線。將經(jīng)過了伽馬轉(zhuǎn)換處理的低曝光圖像從低曝光伽馬轉(zhuǎn)換器201輸出給創(chuàng)建基準(zhǔn)明暗度圖像的基準(zhǔn)明暗度創(chuàng)建單元203?；鶞?zhǔn)明暗度圖像是作為確定如何合成低曝光圖像和高曝光圖像以創(chuàng)建HDR圖像所需的基準(zhǔn)來使用的圖像，并且使用基準(zhǔn)明暗度圖像的明暗度確定上述加法系數(shù)K。注意，在假定使用低曝光圖像作為具有基準(zhǔn)曝光的圖像的前提下，對本實施例給出以下說明。然而，本發(fā)明不局限于此，并且可以在其它實施例中使用高曝光圖像。還使用

本實施例中的基準(zhǔn)明暗度圖像的創(chuàng)建方法。在本實施例中，為了避免在HDR圖像中出現(xiàn)多邊緣，進(jìn)行控制以減少高曝光區(qū)域中的邊緣在合成HDR圖像中的低亮度區(qū)域中的貢獻(xiàn)。更具體地，在低亮度區(qū)域中，將從基準(zhǔn)明暗度創(chuàng)建單元203輸出的基準(zhǔn)明暗度圖像的明暗度設(shè)置成高。也就是說，設(shè)置低曝光圖像的高加法系數(shù)，以使得在低亮度區(qū)域和高亮度區(qū)域之間的邊界附近，減小可能遭受圖像模糊或攝像設(shè)備的抖動、并且可能在低亮度區(qū)域中被合成的高曝光圖像的邊緣的加法系數(shù)。這樣，基準(zhǔn)明暗度創(chuàng)建單元203修改通過伽馬轉(zhuǎn)換所獲得的低曝光圖像的明暗度 的信息，以在要創(chuàng)建的HDR圖像中的低亮度區(qū)域中、將高曝光圖像的邊緣的加法系數(shù)設(shè)置成低明暗度。下面將參考圖3詳細(xì)說明由根據(jù)本實施例的基準(zhǔn)明暗度創(chuàng)建單元203所執(zhí)行的基準(zhǔn)明暗度圖像創(chuàng)建處理。圖3是示出要在基準(zhǔn)明暗度創(chuàng)建單元203內(nèi)部執(zhí)行的處理的電路圖。基準(zhǔn)明暗度創(chuàng)建單元203包括執(zhí)行圖像的縮小處理的縮小電路301、執(zhí)行圖像的放大處理的放大電路302和MAX濾波電路303。在應(yīng)用預(yù)先設(shè)置的低通濾波處理以使縮小處理不會引起任何混疊之后，縮小電路301對輸入圖像執(zhí)行縮小處理。MAX濾波電路303是轉(zhuǎn)換濾波器，其搜索輸入圖像的各像素的以該像素為中心的3 X 3周邊像素，并且以周邊像素的最大亮度的像素值作為該像素的新像素值。也就是說，與輸入圖像相比，在從MAX濾波電路303輸出的圖像中，單純將高亮度區(qū)域在上、下、右和左方向上擴(kuò)展一個像素；并且相反，將低亮度區(qū)域在上、下、右和左方向上縮小一個像素。在本實施例中，為降低與基準(zhǔn)明暗度圖像的創(chuàng)建相關(guān)聯(lián)的計算量，將MAX濾波電路303中的轉(zhuǎn)換處理應(yīng)用于通過向輸入給基準(zhǔn)明暗度創(chuàng)建單元203的圖像應(yīng)用縮小或放大處理所獲得的圖像。例如，下面將檢查下面的情況將MAX濾波電路303中的轉(zhuǎn)換處理應(yīng)用于通過在縮小電路301中應(yīng)用如下縮小處理所獲得的圖像、即像素的數(shù)量是輸入圖像的1/16的圖像該縮小處理用于分別在垂直方向和水平方向上兩次將像素的數(shù)量減少成1/2。此時，在從MAX濾波電路303輸出的圖像中，也就是說，在像素的數(shù)量為輸入給基準(zhǔn)明暗度創(chuàng)建單元203的圖像的1/16的圖像中，在上、下、右和左方向上將高亮度區(qū)域擴(kuò)展一個像素。然后，當(dāng)放大電路302向輸出圖像應(yīng)用用于分別在垂直方向和水平方向上兩次加倍像素的數(shù)量的放大處理時，可以獲得像素的數(shù)量與輸入給基準(zhǔn)明暗度創(chuàng)建單元203的圖像相同的圖像，并且基準(zhǔn)明暗度創(chuàng)建單元203輸出該圖像。也就是說，與輸入給基準(zhǔn)明暗度創(chuàng)建單元203的圖像相比，從基準(zhǔn)明暗度創(chuàng)建單元203輸出的圖像的高亮度區(qū)域在上、下、右和左方向上擴(kuò)展了四個像素。由于通過這一轉(zhuǎn)換獲得具有基準(zhǔn)曝光的圖像，因而即使在創(chuàng)建HDR圖像所使用的圖像由于圖像模糊或攝像設(shè)備的抖動而具有偏移時，也可以避免在低亮度區(qū)域中合成高曝光圖像的邊緣。也就是說，基準(zhǔn)明暗度創(chuàng)建單元203應(yīng)用用于擴(kuò)展高亮度區(qū)域并且縮小低亮度區(qū)域的處理，以在低亮度區(qū)域中設(shè)置低曝光圖像的高加法系數(shù)，也就是說，在該區(qū)域中設(shè)置基準(zhǔn)明暗度圖像的高明暗度。也就是說，由于預(yù)先設(shè)置由于圖像模糊或攝像設(shè)備的抖動而在創(chuàng)建HDR圖像所使用的圖像之間生成的偏移的容許量(像素數(shù)量)，因而由基準(zhǔn)明暗度創(chuàng)建單元203所執(zhí)行的處理可以具有每次預(yù)定的計算量。在上述例子中，允許圖像之間的偏移達(dá)四個像素。例如，當(dāng)允許達(dá)四個像素的偏移時，可以執(zhí)行下面的處理。I.將MAX濾波電路303的轉(zhuǎn)換處理應(yīng)用于像素數(shù)量是輸入給基準(zhǔn)明暗度創(chuàng)建單元203的圖像的1/16的圖像。2.放大電路302向轉(zhuǎn)換處理之后的圖像應(yīng)用用于分別在垂直方向和水平方向上加倍像素數(shù)量的放大處理。
3. MAX濾波電路303向放大處理之后的圖像應(yīng)用轉(zhuǎn)換處理。4.放大電路302還向第二次轉(zhuǎn)換處理之后的圖像應(yīng)用用于分別在垂直方向和水平方向上加倍像素的數(shù)量的放大處理。這樣，在從基準(zhǔn)明暗度創(chuàng)建單元203輸出的圖像中，可以將高亮度區(qū)域擴(kuò)展任意數(shù)量的像素，并且可以創(chuàng)建能夠防止在HDR圖像的低亮度區(qū)域中合成多邊緣的基準(zhǔn)明暗度圖像。圖6A示出輸入給基準(zhǔn)明暗度創(chuàng)建單元203的伽馬轉(zhuǎn)換之后的低曝光圖像的明暗度匕、僅經(jīng)過了縮小處理和放大處理的圖像的明暗度Gb'、以及通過MAX濾波器303中的轉(zhuǎn)換處理所獲得的圖像的明暗度Gb。在這種情況下，如圖6B和6C所示，對于MAX濾波電路303中的轉(zhuǎn)換處理之后所獲得的基準(zhǔn)明暗度圖像Gb，即使在高曝光圖像中低亮度區(qū)域和高亮度區(qū)域之間的邊界(邊緣)處，加法系數(shù)K也是1.0。也就是說，可以避免合成高曝光圖像的邊緣，并且可以創(chuàng)建具有圖6D所示的明暗度Gq的HDR圖像。在本實施例的說明中，預(yù)先設(shè)置由于圖像模糊或攝像設(shè)備的抖動而在創(chuàng)建HDR圖像所需的圖像之間生成的偏移的容許量。然而，本發(fā)明不局限于此。例如，陀螺儀傳感器可以檢測攝像設(shè)備的抖動以控制基準(zhǔn)明暗度創(chuàng)建單元203根據(jù)抖動量執(zhí)行不同處理，或者可以檢測要合成的圖像之間的偏移，以控制基準(zhǔn)明暗度創(chuàng)建單元203執(zhí)行不同處理。當(dāng)使用陀螺儀傳感器時，例如，可以在制造時預(yù)先測量從陀螺儀傳感器輸出的攝像設(shè)備的轉(zhuǎn)動信息與表示要合成的圖像之間的被攝體偏移量的像素數(shù)量之間的關(guān)系，并且可以在攝像時應(yīng)用該測量結(jié)果。例如，通過制造時的測量，當(dāng)俯仰方向上的轉(zhuǎn)動角度落在范圍0° 1°內(nèi)時，確定被攝體的偏移量為5個像素，當(dāng)轉(zhuǎn)動角度落在范圍1° 2°內(nèi)時，確定被攝體的偏移量為10個像素，當(dāng)轉(zhuǎn)動角度為3°以上時，確定被攝體的偏移量為20個像素等等。當(dāng)從要合成的圖像檢測表示圖像之間的偏移量的像素數(shù)量時，可以使用例如諸如模式匹配等的特定技術(shù)在兩個圖像中搜索同一被攝體圖像，并且可以計算被攝體的運動矢量，從而檢測表示偏移量的像素的數(shù)量。當(dāng)可以檢測表示要合成的圖像之間的被攝體的偏移量的像素數(shù)量時，可以根據(jù)像素數(shù)量來控制基準(zhǔn)明暗度創(chuàng)建單元203以設(shè)置不同的偏移容許量。例如，考慮到檢測誤差，將作為所檢測到的表示被攝體偏移量的像素數(shù)量的兩倍的值設(shè)置為偏移容許量。在本實施例中，作為用于在以對象像素作為中心的3X3周邊像素的范圍內(nèi)進(jìn)行搜索的處理，說明在MAX濾波電路303中要應(yīng)用的轉(zhuǎn)換處理。然而，本發(fā)明不局限于此。也就是說，對于對象像素要搜索的像素范圍的設(shè)置方法沒有特別限制。例如，盡管處理量增大，但是可以對5 X 5周邊像素進(jìn)行搜索。當(dāng)對5 X 5周邊像素進(jìn)行搜索時，可以減小在縮小電路301中要執(zhí)行的縮小處理的縮小比率。也就是說,可以將MAX濾波電路303中要搜索的以對象像素作為中心的范圍設(shè)置成具有通過將創(chuàng)建HDR圖像所需的圖像之間的被攝體的偏移容許量或所檢測到的偏移量乘以在縮小電路301中執(zhí)行的縮小處理的縮小比率所獲得的像素的數(shù)量。如上所述，即使在產(chǎn)生了圖像模糊或攝像設(shè)備的抖動時，本實施例的圖像處理設(shè)備也提供動態(tài)范圍擴(kuò)展了的自然的合成圖像。更具體地，圖像處理設(shè)備獲得使用第一曝光所拍攝的第一圖像和使用高于第一曝光的第二曝光所拍攝的第二圖像。然后，該設(shè)備縮小經(jīng)過了伽馬轉(zhuǎn)換處理的第一圖像，并且對于縮小圖像的各個像素，將感興趣像素的像素值轉(zhuǎn)換成以感興趣像素為中心的、具有預(yù)先設(shè)置的像素數(shù)量的范圍內(nèi)的像素的像素值中的最大像素值。此外，該設(shè)備將通過轉(zhuǎn)換像素值所獲得的圖像放大至具有經(jīng)過了伽馬轉(zhuǎn)換處理的第一圖像的像素數(shù)量，從而創(chuàng)建作為合成處理的基準(zhǔn)所使用的第三圖像。使用與這樣所創(chuàng)建的第三圖像的像素值預(yù)先相關(guān)聯(lián)的加法系數(shù)，對第一和第二圖像進(jìn)行加權(quán)合成，從而創(chuàng)建動態(tài)范圍擴(kuò)展了的圖像。對于上述處理，即使在拍攝具有不同曝光并且被用于創(chuàng)建HDR圖像的圖像期間生成了圖像模糊或攝像設(shè)備的抖動時，也可以避免在低亮度區(qū)域中合成由于高曝光圖像的亮度梯度而生成的邊緣。也就是說，本實施例的圖像處理設(shè)備可以創(chuàng)建沒有任何多邊緣的HDR圖像。在上述說明中，通過合成具有不同曝光的兩個圖像創(chuàng)建HDR圖像。另外，本發(fā)明可應(yīng)用于通過合成具有不同曝光的三個以上的圖像來創(chuàng)建HDR圖像的情況。例如，下面將說明使用圖10所示的加權(quán)加法系數(shù)KpK2和K3合成具有不同曝光的三個圖像GpG2和G3 (它們滿足G1 < G2 < G3)以創(chuàng)建HDR圖像的情況。在圖10中，縱坐標(biāo)繪制加權(quán)加法系數(shù)，并且橫坐標(biāo)繪制根據(jù)最低曝光圖像G1所創(chuàng)建的基準(zhǔn)明暗度。也就是說，參考根據(jù)最低曝光圖像G1所創(chuàng)建的基準(zhǔn)明暗度確定所有加權(quán)加法系數(shù)。最初，通過HDR合成圖像G1和G2，即根據(jù)公式⑴G12 = K1X GfK2 X G2，創(chuàng)建中間HDR
圖像G12。接著，通過HDR合成圖像GjPG3，即根據(jù)公式(I)Gq= I XG12+K3XG3創(chuàng)建最終的HDR圖像G。。使用與創(chuàng)建中間HDR圖像G12所使用的相同的基準(zhǔn)明暗度圖像。根據(jù)本實施例，即使合成具有不同曝光的三個以上的圖像來創(chuàng)建HDR圖像時，由于使用最低曝光圖像作為基準(zhǔn)明暗度，因而可以根據(jù)一個基準(zhǔn)明暗度圖像計算用于從低曝光到高曝光的所有亮度水平的加權(quán)加法系數(shù)。第二實施例上述第一實施例示例性說明了高亮度背景區(qū)域包括作為主被攝體的人的低亮度區(qū)域的情況，如圖4A所示。本實施例將說明在低亮度區(qū)域包括由例如穿過樹葉的日光或聚光燈所形成的小的高亮度區(qū)域時的HDR圖像創(chuàng)建處理，如圖4B所示。在圖4B所示場景的情況下，如上述實施例一樣，通過在MAX濾波電路303中應(yīng)用轉(zhuǎn)換處理，擴(kuò)展小的高亮度區(qū)域。然而，即使在這類小的高亮度區(qū)域中，在將低曝光圖像的加法系數(shù)設(shè)置成高時，生成由暗飽和圖像所圍繞的小的區(qū)域，因此給用戶圖像不自然的感覺。為此，本實施例將說明在預(yù)先設(shè)置小的高亮度區(qū)域的大小的情況下所執(zhí)行的處理，其中，該區(qū)域被確定為跳過具有基準(zhǔn)曝光的圖像的明暗度校正。、
例如，當(dāng)將被確定要跳過明暗度校正的小的高亮度區(qū)域的大小預(yù)先設(shè)置成16個像素，并且在創(chuàng)建HDR圖像所需的圖像之間生成的偏移的容許量是4個像素時，基準(zhǔn)明暗度創(chuàng)建單元203如下創(chuàng)建基準(zhǔn)明暗度圖像。
I.縮小電路301執(zhí)行用于分別在垂直方向和水平方向上將輸入給基準(zhǔn)明暗度創(chuàng)建單元203的圖像的像素的數(shù)量減少成1/16的縮小處理。2.放大電路302應(yīng)用用于將縮小處理之后的圖像放大成分別在垂直方向和水平方向上具有該圖像的四倍數(shù)量的像素的圖像的放大處理。3. MAX濾波電路303對放大之后的圖像應(yīng)用轉(zhuǎn)換處理。4.放大電路302還應(yīng)用用于將轉(zhuǎn)換處理之后的圖像放大成分別在垂直方向和水平方向上具有該圖像的四倍數(shù)量的像素的圖像的放大處理。也就是說，由于縮小電路301執(zhí)行到使得確定為小的高亮度區(qū)域不存在或者確定為該區(qū)域的亮度梯度不陡峭的像素數(shù)量的縮小處理，因而可以跳過對該區(qū)域的明暗度校正。此外，向輸入給基準(zhǔn)明暗度創(chuàng)建單元203的圖像應(yīng)用放大處理以分別在垂直方向和水平方向上將像素的數(shù)量增大成四倍。然后，執(zhí)行MAX濾波電路303中的轉(zhuǎn)換處理，從而創(chuàng)建可以允許圖像之間的偏移達(dá)四個像素的基準(zhǔn)明暗度圖像。圖7A示出在圖4B所示圖像的水平線402上、輸入給基準(zhǔn)明暗度創(chuàng)建單元203的伽馬轉(zhuǎn)換之后的低曝光圖像的明暗度Gp在僅縮小處理和放大處理之后所獲得的圖像的明暗度Gb'、以及通過MAX濾波電路303的轉(zhuǎn)換處理所獲得的圖像的明暗度Gb。通過圖7A可知，通過縮小處理將圖像轉(zhuǎn)換成使得能夠確定為小的高亮度區(qū)域的亮度梯度不陡峭的大小。在這種情況下，在通過執(zhí)行MAX濾波電路303中的轉(zhuǎn)換處理所獲得的基準(zhǔn)明暗度圖像Gb中，在高亮度區(qū)域中，加法系數(shù)K小于1.0，如圖7B和7C所示。也就是說，可以防止將低曝光圖像的暗飽和部分合成到小的高亮度區(qū)域周圍的部分，并且可以創(chuàng)建具有圖7D所示的明暗度Gtj的HDR圖像。這樣，即使在包括小的高亮度區(qū)域時，該方法確定跳過具有基準(zhǔn)曝光的圖像的明暗度校正，并且可以創(chuàng)建不會給用戶任何不自然感覺的HDR圖像。第三實施例上述第一和第二實施例說明了用于通過轉(zhuǎn)換伽馬轉(zhuǎn)換后的低曝光圖像的明暗度確定創(chuàng)建HDR圖像所使用的各個圖像的加法系數(shù)的方法。本實施例將說明用于通過以不同縮小比率縮小表示低曝光圖像和高曝光圖像的各個像素的加法系數(shù)的加法系數(shù)圖像來確定具有不同空間頻率特性的加法系數(shù)圖像的加法系數(shù)方法。注意，本實施例假定如第一實施例一樣，在圖4A所示場景下創(chuàng)建HDR圖像。圖8是示出根據(jù)本實施例在基準(zhǔn)明暗度創(chuàng)建單元203內(nèi)部所執(zhí)行的處理的電路圖。除執(zhí)行圖像的縮小處理的縮小電路301、放大電路302和MAX濾波電路303以外，基準(zhǔn)明暗度創(chuàng)建單元203還包括縮小電路801、放大電路802、MIN濾波電路803和合成系數(shù)確定電路804。縮小電路801和放大電路802與縮小電路301和放大電路302相同。合成系數(shù)確定電路804將伽馬轉(zhuǎn)換輸出的像素值轉(zhuǎn)換成低曝光圖像和高曝光圖像的加法系數(shù)圖像Gkci和例如，當(dāng)輸入的低曝光圖像的伽馬轉(zhuǎn)換輸出如圖9A所示時，使用圖9B所示的轉(zhuǎn)換特性創(chuàng)建圖9C和9D所示的加法系數(shù)圖像Gkq和Gffitl。MIN濾波電路803是轉(zhuǎn)換濾波器，其搜索輸入圖像的各像素的以該像素為中心的3X3周邊像素，并且與MAX濾波電路303相反，以周邊像素的最小像素值作為該像素的新像素值。也就是說，與輸入圖像相比，在從MIN濾波電路802輸出的圖像中，單純將具有小像素值的區(qū)域、即高亮度區(qū)域在上、下、右和左方向上擴(kuò)展一個像素，相反，將低亮度區(qū)域在上、下、右和左方向上縮小一個像素。通過與第一和第二實施例的圖3所述的相同方法，加法系數(shù)圖像Gkci經(jīng)過縮小、MAX濾波和放大處理，從而創(chuàng)建加法系數(shù)圖像Gk。通過與第一和第二實施例相同的方法確定要應(yīng)用MAX濾波的圖像大小。例如，當(dāng)允許確定為在低曝光圖像中跳過明暗度校正的小的低亮度區(qū)域的大小是8個像素時，加法系數(shù)圖像Gkci的縮小比率為1/8。另外，通過相同方法，加法系數(shù)圖像Gkkq經(jīng)過縮小、MIN濾波和放大處理，從而創(chuàng)建加法系數(shù)圖像Gkk。例如，當(dāng)允許確定為在高曝光圖像中跳過明暗度校正的小的高亮度區(qū)域的大小是16個像素時，加法系數(shù)圖像Gkkci的縮小比率為1/16。 將創(chuàng)建的加法系數(shù)圖像Gk和Gffi輸出給合成系數(shù)確定電路204作為低曝光圖像和高曝光圖像的基準(zhǔn)明暗度圖像，并且使用圖9E和9F所示的轉(zhuǎn)換特性將其轉(zhuǎn)換成加法系數(shù)K和KK。在合成單元205中，將低曝光圖像Gl和高曝光圖像Gh乘以作為公式(I)中的K和KK的加法系數(shù)K和KK，從而創(chuàng)建作為加法結(jié)果的HDR圖像G。。由于通過MAX濾波處理創(chuàng)建加法系數(shù)圖像Gk，因而加法系數(shù)圖像Gk包括寬的大像素值區(qū)域，并且即使在高曝光圖像中的低亮度區(qū)域和高亮度區(qū)域之間邊界(邊緣)處，像素值也取大的值。為此，在該區(qū)域中，相應(yīng)的加法系數(shù)K為1.0。另一方面，由于通過MIN濾波處理創(chuàng)建加法系數(shù)圖像Gffi，因而加法系數(shù)圖像Gkk包括寬的小像素值區(qū)域，并且即使在高曝光圖像中的低亮度區(qū)域和高亮度區(qū)域之間的邊界(邊緣)處，像素值也取小的值。為此，在該區(qū)域中，相應(yīng)的加法系數(shù)KK為0. O。也就是說，可以避免合成高曝光圖像的邊緣，并且可以創(chuàng)建具有圖9G所示的明暗度Gtj的HDR圖像。也就是說，在加法系數(shù)圖像Gk中，如第一實施例一樣，通過MAX濾波電路303中的轉(zhuǎn)換處理擴(kuò)展高亮度區(qū)域。在加法系數(shù)圖像Gffi中，通過MIN濾波電路803中的轉(zhuǎn)換處理擴(kuò)展高亮度區(qū)域。因此，通過低曝光圖像和高曝光圖像的加權(quán)合成所形成的區(qū)域?qū)?yīng)于低亮度的人區(qū)域。為此，即使在由于圖像模糊和攝像設(shè)備的抖動而在創(chuàng)建HDR圖像所需的圖像之間生成偏移時，也可以避免在低亮度區(qū)域中合成高曝光圖像的邊緣。如上所述，通過改變用于低曝光圖像和高曝光圖像的加法系數(shù)圖像的空間頻率特性，即使在圖像包括小的低亮度區(qū)域和小的高亮度區(qū)域兩者時，也可以在低曝光圖像和高曝光區(qū)域中獨立控制是否校正明暗度。其它實施例還可以利用讀出并執(zhí)行記錄在存儲器裝置上的程序以進(jìn)行上述實施例的功能的系統(tǒng)或設(shè)備的計算機(jī)(或者CPU或MPU等裝置)和通過下面的方法實現(xiàn)本發(fā)明的各方面，其中，利用系統(tǒng)或設(shè)備的計算機(jī)通過例如讀出并執(zhí)行記錄在存儲器裝置上的程序以進(jìn)行上述實施例的功能來進(jìn)行上述方法的各步驟。為此，例如，通過網(wǎng)絡(luò)或者通過用作存儲器裝置的各種類型的記錄介質(zhì)(例如，計算機(jī)可讀介質(zhì))將該程序提供給計算機(jī)。盡管參考典型實施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不局限于所公開的典型實施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功倉泛。
權(quán)利要求
1.一種圖像處理設(shè)備，包括 獲得部件，用于獲得使用第一曝光拍攝的第一圖像和使用不同于所述第一曝光的第二曝光拍攝的第二圖像； 創(chuàng)建部件，用于根據(jù)所述第一圖像創(chuàng)建作為合成處理的基準(zhǔn)的第三圖像；以及合成部件，用于使用與所述第三圖像的像素值相關(guān)聯(lián)的加法系數(shù)，對所述第一圖像和所述第二圖像的各個像素進(jìn)行加權(quán)合成， 其中，創(chuàng)建所述第三圖像包括將以所述第一圖像的各像素為中心的預(yù)設(shè)范圍內(nèi)的像素的最大像素值設(shè)置作為選擇作為中心的像素的像素值。
2.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其特征在于，所述創(chuàng)建部件對所述第一圖像應(yīng)用低通濾波處理，并且根據(jù)經(jīng)過了所述低通濾波處理的第一圖像創(chuàng) 建所述第三圖像。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其特征在于，所述低通濾波處理是縮小處理；以及 所述創(chuàng)建部件通過將經(jīng)過了所述縮小處理的第一圖像放大成具有拍攝時的第一圖像的像素數(shù)量來創(chuàng)建所述第三圖像。
4.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其特征在于，所述第二曝光高于所述第一曝光。
5.一種圖像處理設(shè)備，包括 獲得部件，用于獲得使用第一曝光拍攝的第一圖像和使用不同于所述第一曝光的第二曝光拍攝的第二圖像； 創(chuàng)建部件，用于根據(jù)所述第一圖像創(chuàng)建作為合成處理的基準(zhǔn)的第三圖像；以及合成部件，用于使用與所述第三圖像的像素值相關(guān)聯(lián)的加法系數(shù)，對所述第一圖像和所述第二圖像的各個像素進(jìn)行加權(quán)合成， 其中，創(chuàng)建所述第三圖像包括將以所述第一圖像的各像素為中心的預(yù)設(shè)范圍內(nèi)的像素的最小像素值設(shè)置作為選擇作為中心的像素的像素值。
6.根據(jù)權(quán)利要求I 5中任一項所述的圖像處理設(shè)備，其特征在于，所述預(yù)設(shè)范圍采用根據(jù)在由所述獲得部件獲得的所述第一圖像和所述第二圖像之間生成的被攝體的偏移所容許的像素數(shù)量所確定的值。
7.根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其特征在于，所述預(yù)設(shè)范圍采用基于通過將所述被攝體的偏移所容許的像素數(shù)量乘以縮小所述第一圖像使用的縮小比率所獲得的值而確定的值。
8.根據(jù)權(quán)利要求I 5中任一項所述的圖像處理設(shè)備，其特征在于，還包括檢測部件，所述檢測部件用于檢測表示由所述獲得部件獲得的所述第一圖像和所述第二圖像之間的被攝體的偏移量的像素數(shù)量， 其中，所述創(chuàng)建部件根據(jù)由所述檢測部件所檢測到的表示所述被攝體的偏移量的像素數(shù)量確定所述預(yù)設(shè)范圍。
9.根據(jù)權(quán)利要求8所述的圖像處理設(shè)備，其特征在于，所述預(yù)設(shè)范圍采用基于通過將表示所述被攝體的偏移量的像素數(shù)量乘以縮小所述第一圖像使用的縮小比率所獲得的值而確定的值。
10.一種圖像處理設(shè)備的控制方法，所述控制方法包括以下步驟獲得步驟，用于獲得使用第一曝光拍攝的第一圖像和使用不同于所述第一曝光的第二曝光拍攝的第二圖像； 創(chuàng)建步驟，用于根據(jù)所述第一圖像創(chuàng)建作為合成處理的基準(zhǔn)的第三圖像；以及合成步驟，用于使用與所述第三圖像的像素值相關(guān)聯(lián)的加法系數(shù)，對所述第一圖像和所述第二圖像的各個像素進(jìn)行加權(quán)合成， 其中，所述創(chuàng)建步驟包括將以所述第一圖像的各像素為中心的預(yù)設(shè)范圍內(nèi)的像素的最大像素值設(shè)置作為選擇作為中心的像素的像素值。
11.一種圖像處理設(shè)備的控制方法，所述控制方法包括以下步驟 獲得步驟，用于獲得使用第一曝光拍攝的第一圖像和使用不同于所述第一曝光的第二曝光拍攝的第二圖像； 創(chuàng)建步驟，用于根據(jù)所述第一圖像創(chuàng)建作為合成處理的基準(zhǔn)的第三圖像；以及合成步驟，用于使用與所述第三圖像的像素值相關(guān)聯(lián)的加法系數(shù)，對所述第一圖像和所述第二圖像的各個像素進(jìn)行加權(quán)合成， 其中，所述創(chuàng)建步驟包括將以所述第一圖像的各像素為中心的預(yù)設(shè)范圍內(nèi)的像素的最小像素值設(shè)置作為選擇作為中心的像素的像素值。
全文摘要
本發(fā)明涉及圖像處理設(shè)備和圖像處理設(shè)備的控制方法。獲得使用第一曝光拍攝的第一圖像和使用高于所述第一曝光的第二曝光拍攝的第二圖像。根據(jù)所述第一圖像創(chuàng)建作為合成處理的基準(zhǔn)使用的第三圖像。通過使用預(yù)先與所述第三圖像的像素值相關(guān)聯(lián)的加法系數(shù)對所述第一圖像和所述第二圖像進(jìn)行加權(quán)合成來創(chuàng)建動態(tài)范圍被擴(kuò)展的圖像。
文檔編號H04N5/232GK102629976SQ20121002660
公開日2012年8月8日 申請日期2012年2月7日 優(yōu)先權(quán)日2011年2月7日
發(fā)明者松岡正明 申請人:佳能株式會社