專(zhuān)利名稱(chēng)：圖像處理設(shè)備和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理設(shè)備和圖像處理方法，尤其涉及一種適用于從所拍攝圖 像檢測(cè)模糊狀態(tài)的技術(shù)。
背景技術(shù)：
已知當(dāng)經(jīng)由包括變焦透鏡的光學(xué)系統(tǒng)在圖像傳感器的攝像面上對(duì)被攝體進(jìn)行成 像時(shí)，不同于原始被攝體，由圖像傳感器所拍攝的圖像在光學(xué)系統(tǒng)的像差的影響下模糊，由 此降低了圖像質(zhì)量。已知當(dāng)經(jīng)由焦平面位于相對(duì)于要進(jìn)行成像的被攝體的位置的偏移位置的光學(xué)系 統(tǒng)、在圖像傳感器的攝像面上對(duì)被攝體進(jìn)行成像時(shí)，由圖像傳感器所拍攝的圖像變得模糊。 因此，所拍攝圖像的圖像質(zhì)量劣化。一種用于防止圖像質(zhì)量下降的技術(shù)是反卷積(deconvolution)。該技術(shù)通過(guò)從包 含模糊的一個(gè)所拍攝圖像檢測(cè)模糊狀態(tài)來(lái)生成無(wú)模糊的清晰的所拍攝圖像。作為卷積的逆 運(yùn)算的反卷積根據(jù)輸出函數(shù)和加權(quán)函數(shù)求出輸入函數(shù)。特別地，編碼孔徑技術(shù)(coded aperture technique)使得能夠利用不同模糊函數(shù) 進(jìn)行反卷積。由此，將極大影響模糊狀態(tài)的光圈設(shè)置成特殊形狀，并且將用于檢測(cè)模糊狀態(tài) 的指標(biāo)嵌入所拍攝圖像中。根據(jù)非專(zhuān)利文獻(xiàn)1所述的技術(shù)，將在經(jīng)由特殊固定光圈所拍攝的圖像中產(chǎn)生的模 糊嵌入在所拍攝圖像中作為用于檢測(cè)模糊狀態(tài)的指標(biāo)。所拍攝圖像中產(chǎn)生的模糊函數(shù)具有 寬的特征頻率分布，并且允許檢測(cè)根據(jù)被攝體的各部分的深度而改變的模糊狀態(tài)。根據(jù)非專(zhuān)利文獻(xiàn)2所述的技術(shù)，將使用特殊光圈所產(chǎn)生的模糊類(lèi)似地嵌入所拍攝 圖像中作為用于檢測(cè)模糊狀態(tài)的指標(biāo)。該技術(shù)意圖減少模糊函數(shù)中的特定頻率成分，以檢 測(cè)根據(jù)被攝體的各部分的深度而改變的模糊狀態(tài)。[非專(zhuān)禾丨J 文獻(xiàn) 1]Veeraraghavan, A. , Raskar, R. , Agrawal, A. , Tumblin, J. (2007)， “ Dappled Photography :Mask Enhanced Cameras for Heterodyned Light Fields and Coded Aperture Refocusing " , ACM Transactions on Graphics (Proc. SIGGRAPH)[非專(zhuān)利文獻(xiàn) 2] Levin, Α.，F(xiàn)ergus, R.，Durand, F.，F(xiàn)reeman, B. (2007)，“ Image and Depth from a Conventional Camera with a Coded Aperture" ,ACM Transactions on Graphics (Proc. SIGGRAPH)然而，非專(zhuān)利文獻(xiàn)1和2中的技術(shù)采用固定形狀的光圈。這限制了用于將指標(biāo)嵌 入所拍攝圖像以檢測(cè)模糊狀態(tài)的方法。

發(fā)明內(nèi)容
為解決上述問(wèn)題做出了本發(fā)明，并且本發(fā)明允許通過(guò)使用可變孔徑光圈生成特征 模糊圖案，以高精度從所拍攝圖像檢測(cè)模糊狀態(tài)。
根據(jù)本發(fā)明的第一方面，一種圖像處理設(shè)備，包括圖像獲取單元，用于獲取在圖 像傳感器單元上對(duì)經(jīng)由光圈的開(kāi)口從被攝體入射的光進(jìn)行成像的結(jié)果，作為圖像；控制單 元，用于在所述圖像獲取單元獲取所述圖像時(shí)，基于定義所述開(kāi)口的形狀的時(shí)間變化的函 數(shù)來(lái)控制所述開(kāi)口的形狀；以及檢測(cè)單元，用于基于所述函數(shù)，檢測(cè)所述圖像中的模糊狀 態(tài)。根據(jù)本發(fā)明的第二方面，一種圖像處理方法，其通過(guò)使用計(jì)算機(jī)來(lái)進(jìn)行以下步驟 獲取步驟，用于獲取在圖像傳感器單元上對(duì)經(jīng)由光圈的開(kāi)口從被攝體入射的光進(jìn)行成像的 結(jié)果，作為圖像；控制步驟，用于在獲取所述圖像時(shí)，基于定義所述開(kāi)口的形狀的時(shí)間變化 的函數(shù)來(lái)控制所述開(kāi)口的形狀；以及檢測(cè)步驟，用于基于所述函數(shù)，檢測(cè)所述圖像中的模糊 狀態(tài)。通過(guò)以下參考附圖對(duì)典型實(shí)施例的說(shuō)明，本發(fā)明的其它特征將變得明顯。


圖1是舉例說(shuō)明根據(jù)第一實(shí)施例的攝像設(shè)備的結(jié)構(gòu)的框圖；圖2A和2B是舉例說(shuō)明根據(jù)第一實(shí)施例的可變孔徑光圈的結(jié)構(gòu)的圖；圖3是示出根據(jù)第一實(shí)施例的保持在光圈直徑表保持單元中的經(jīng)過(guò)時(shí)間和孔徑 直徑之間的特性的圖；圖4A 4E是示出根據(jù)第一實(shí)施例的、針對(duì)孔徑直徑rQ r4的、作為位于與攝像 鏡頭相距預(yù)定距離處的點(diǎn)光源的被攝體的模糊圖像中相對(duì)于模糊的中心的位置(bx，by)和 亮度之間的特性的圖；圖5是用于解釋根據(jù)第一實(shí)施例的攝像處理的過(guò)程的流程圖；圖6是用于解釋根據(jù)第一實(shí)施例的可變孔徑光圈和快門(mén)的控制過(guò)程的流程圖；圖7是用于解釋根據(jù)第一實(shí)施例的模糊狀態(tài)檢測(cè)單元的模糊狀態(tài)檢測(cè)過(guò)程的流 程圖；圖8A 8D是舉例說(shuō)明根據(jù)第一實(shí)施例的具有特殊形狀的開(kāi)口的可變孔徑光圈的 圖；圖9A和9B是示出根據(jù)第一實(shí)施例的在孔徑直徑r的變化速度連續(xù)的情況下孔徑 直徑r和從開(kāi)始曝光起經(jīng)過(guò)的時(shí)間t之間的關(guān)系的特性的圖；圖10是示出根據(jù)本發(fā)明第一實(shí)施例的在使用快門(mén)時(shí)孔徑直徑和從開(kāi)始曝光起經(jīng) 過(guò)的時(shí)間之間的關(guān)系的圖；圖11是舉例說(shuō)明根據(jù)第二實(shí)施例的攝像設(shè)備的結(jié)構(gòu)的框圖；圖12A 12C是舉例說(shuō)明根據(jù)第二實(shí)施例的切換光圈的示意結(jié)構(gòu)的圖；圖13是示出根據(jù)第二實(shí)施例的保持在光圈圖案表保持單元中的光圈圖案編號(hào)和 曝光時(shí)間之間的關(guān)系的圖；圖14A和14B是示出根據(jù)第二實(shí)施例的在使用各光圈圖案時(shí)作為位于與攝像鏡頭 相距預(yù)定距離處的點(diǎn)光源的被攝體的模糊圖像中相對(duì)于模糊的中心的位置和亮度之間的 關(guān)系的特性的圖；圖15是用于解釋根據(jù)第二實(shí)施例的攝像處理的過(guò)程的流程圖；圖16是用于解釋根據(jù)第二實(shí)施例的切換光圈和快門(mén)的控制過(guò)程的流程圖；以及
圖17A 17C是舉例說(shuō)明根據(jù)第二實(shí)施例的具有由液晶所限定的孔徑形狀的液晶 光圈的圖。
具體實(shí)施例方式下面參考附圖詳細(xì)說(shuō)明本發(fā)明的實(shí)施例。這些實(shí)施例僅是所附權(quán)利要求書(shū)所述的 本發(fā)明的結(jié)構(gòu)的例子，并且本發(fā)明不局限于這些實(shí)施例。第一實(shí)施例圖1舉例說(shuō)明根據(jù)應(yīng)用了本發(fā)明的第一實(shí)施例的攝像設(shè)備101的結(jié)構(gòu)。如圖1所 示，第一實(shí)施例中的攝像設(shè)備101包括圖像傳感器單元102、攝像鏡頭103、用作可變光圈的 可變孔徑光圈104以及可變光圈控制單元105。攝像設(shè)備101還包括快門(mén)106、快門(mén)控制單 元107、圖像獲取單元(所拍攝圖像生成單元)108、模糊狀態(tài)檢測(cè)單元109、清晰圖像生成單 元110、操作單元111和經(jīng)過(guò)時(shí)間測(cè)量單元112。圖像傳感器單元102通過(guò)使用沿著χ軸和y軸二維排列的元件檢測(cè)到達(dá)圖像傳感 器單元102的表面的光。圖像傳感器單元102的例子有CXD圖像傳感器和CMOS圖像傳感 器。在根據(jù)第一實(shí)施例的結(jié)構(gòu)中，圖像傳感器單元102具有平面矩形形狀，并且檢測(cè)經(jīng)由攝 像鏡頭103和可變孔徑光圈104投影的被攝體圖像的光?？梢酝ㄟ^(guò)在元件陣列前面配置低 通濾波器或Bayer陣列顏色濾波器等獲取彩色圖像。攝像鏡頭103包括用于將被攝體圖像投影在圖像傳感器單元102上的光學(xué)系統(tǒng)。 第一實(shí)施例中的攝像鏡頭103使用單凸透鏡鏡頭。(后面說(shuō)明的)可變孔徑光圈104被配 置在孔徑位置處以改變孔徑直徑。攝像鏡頭103不一定總是使用單凸透鏡鏡頭，并且可以 由多個(gè)透鏡或與反射鏡的組合所構(gòu)成，只要可以將被攝體圖像投影在圖像傳感器單元102 上，并且可以配置可變孔徑光圈104即可?？扉T(mén)106與可變孔徑光圈104協(xié)作地通過(guò)透過(guò)或遮斷從被攝體入射的光，使圖像 傳感器單元102曝光或遮光。在第一實(shí)施例中，快門(mén)106在任意時(shí)刻進(jìn)行切換以使圖像傳 感器單元102曝光于通過(guò)攝像鏡頭103所獲得的投影被攝體圖像的光或者遮光?？扉T(mén)106 是例如機(jī)械焦平面快門(mén)?？扉T(mén)控制單元107控制快門(mén)106的曝光/遮光定時(shí)。圖像獲取單元108包括A/D轉(zhuǎn)換器113和存儲(chǔ)器114。圖像獲取單元108將由圖 像傳感器單元102所感測(cè)到的投影被攝體圖像的光轉(zhuǎn)換成數(shù)字?jǐn)?shù)據(jù)，以生成具有2D亮度分 布的所拍攝圖像a (X，y)，并將其存儲(chǔ)在存儲(chǔ)器114中?？勺兛讖焦馊?04改變攝像鏡頭103的孔徑直徑。圖2A和2B示出第一實(shí)施例中 的可變孔徑光圈104的示意結(jié)構(gòu)。如圖2A所示，可變孔徑光圈104包括外部框201、如圖2B 所示相對(duì)外部框201轉(zhuǎn)動(dòng)以改變孔徑直徑r的孔徑葉片202、以及驅(qū)動(dòng)孔徑葉片202的馬達(dá) 203?？勺兛讖焦馊?04可以在可變光圈控制單元105的控制下任意改變攝像鏡頭103的 孔徑直徑r?？勺児馊刂茊卧?05包括光圈直徑表保持單元115和光圈控制信號(hào)生成單元 116。光圈直徑表保持單元115保持由從攝像操作開(kāi)始經(jīng)過(guò)的時(shí)間t和隨著經(jīng)過(guò)的時(shí)間t 改變的可變孔徑光圈104的孔徑直徑r的目標(biāo)值組成的表。圖3示出光圈直徑表保持單元115中保持的經(jīng)過(guò)時(shí)間t和孔徑直徑r之間的特性。 可以將圖3所示的特性準(zhǔn)備為查找表。在圖3中，孔徑直徑^對(duì)應(yīng)于第一形狀，并且孔徑
6直徑r4對(duì)應(yīng)于第二形狀。可以通過(guò)下面的函數(shù)給出圖3中的經(jīng)過(guò)時(shí)間t和孔徑直徑r之 間的關(guān)系r = g(t)... (1)代替該函數(shù)中的孔徑直徑r，還可以使用孔徑面積和孔徑外周長(zhǎng)等。可以通過(guò)孔徑 直徑、孔徑面積或孔徑外周長(zhǎng)等的變化量(速度)來(lái)定義該函數(shù)。圖4A 4E示出針對(duì)孔徑直徑rQ r4的、作為位于與攝像鏡頭103相距預(yù)定距離 處的點(diǎn)光源的被攝體的模糊圖像中相對(duì)于模糊的中心的位置(bx，by)和亮度之間的特性。 在各模糊圖像中，暗部分表現(xiàn)為高亮度區(qū)域。該特性根據(jù)如孔徑直徑A r4所表示的可變 孔徑光圈104的孔徑直徑r而改變。該特性還根據(jù)攝像鏡頭103和點(diǎn)光源之間的距離ζ而 改變?？梢詫⒃谝匀我饪讖街睆絩和相對(duì)于點(diǎn)光源的距離ζ對(duì)圖像進(jìn)行靜態(tài)拍攝時(shí)的相對(duì) 于模糊的中心的位置(bx，by)處的亮度i寫(xiě)為i = f (bx, by, ζ, r)- (2) 等式( 假定點(diǎn)光源所發(fā)射的光具有相同的f (bx，by，ζ, r)，而不管該光通過(guò)攝像
鏡頭103的位置和角度如何。認(rèn)為通過(guò)根據(jù)等式( 將與圖像傳感器單元102的像素一樣
多的點(diǎn)光源卷積于所拍攝圖像a (χ, y)中，來(lái)獲得圖像傳感器單元102所感測(cè)到的投影被攝
體圖像?；诘仁絆)，可以按照如下給出曝光之后所生成的模糊點(diǎn)光源圖像中的、相距點(diǎn)
光源為距離ζ并且相對(duì)于模糊的中心的位置(bx，by)處的亮度j
權(quán)利要求
1.一種圖像處理設(shè)備，包括圖像獲取單元，用于獲取在圖像傳感器單元上對(duì)經(jīng)由光圈的開(kāi)口從被攝體入射的光進(jìn) 行成像的結(jié)果，作為圖像；控制單元，用于在所述圖像獲取單元獲取所述圖像時(shí)，基于定義所述開(kāi)口的形狀的時(shí) 間變化的函數(shù)來(lái)控制所述開(kāi)口的形狀；以及檢測(cè)單元，用于基于所述函數(shù)，檢測(cè)所述圖像中的模糊狀態(tài)。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，所述函數(shù)定義所述開(kāi)口的孔徑直徑的時(shí)間變化，以及在所述圖像獲取單元獲取所述圖像期間，所述函數(shù)的二次微分取正值和負(fù)值。
3.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，所述函數(shù)定義所述開(kāi)口的形狀 的、除仿射變換所表示的變化以外的變化。
4.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，所述函數(shù)在至少一個(gè)點(diǎn)處是不 能微分的。
5.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，所述控制單元控制所述開(kāi)口的 形狀，以將所述開(kāi)口的形狀從所述開(kāi)口在所述圖像獲取單元獲取所述圖像的開(kāi)始時(shí)刻的第 一形狀改變成所述開(kāi)口在所述圖像獲取單元獲取所述圖像的結(jié)束時(shí)刻的第二形狀。
6.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，所述函數(shù)是通過(guò)查找表而定義的。
7.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，還包括快門(mén)控制單元，所述快門(mén) 控制單元控制快門(mén)，以在所述圖像獲取單元獲取所述圖像時(shí)，與所述控制單元的控制協(xié)作 地，通過(guò)透過(guò)或遮擋從所述被攝體入射的光，來(lái)對(duì)所述圖像傳感器單元進(jìn)行曝光或遮光。
8.一種圖像處理方法，其通過(guò)使用計(jì)算機(jī)來(lái)進(jìn)行以下步驟獲取步驟，用于獲取在圖像傳感器單元上對(duì)經(jīng)由光圈的開(kāi)口從被攝體入射的光進(jìn)行成 像的結(jié)果，作為圖像；控制步驟，用于在獲取所述圖像時(shí)，基于定義所述開(kāi)口的形狀的時(shí)間變化的函數(shù)來(lái)控 制所述開(kāi)口的形狀；以及檢測(cè)步驟，用于基于所述函數(shù)，檢測(cè)所述圖像中的模糊狀態(tài)。
9.根據(jù)權(quán)利要求8所述的圖像處理方法，其特征在于，所述函數(shù)定義所述開(kāi)口的孔徑直徑的時(shí)間變化，以及在獲取所述圖像期間，所述函數(shù)的二次微分取正值和負(fù)值。
10.根據(jù)權(quán)利要求8所述的圖像處理方法，其特征在于，所述函數(shù)定義所述開(kāi)口的形狀 的、除仿射變換所表示的變化以外的變化。
11.根據(jù)權(quán)利要求8所述的圖像處理方法，其特征在于，所述函數(shù)在至少一個(gè)點(diǎn)處是不 能微分的。
12.根據(jù)權(quán)利要求8所述的圖像處理方法，其特征在于，在所述控制步驟中控制所述開(kāi) 口的形狀，以將所述開(kāi)口的形狀從所述開(kāi)口在獲取所述圖像的開(kāi)始時(shí)刻的第一形狀改變成 所述開(kāi)口在獲取所述圖像的結(jié)束時(shí)刻的第二形狀。
13.根據(jù)權(quán)利要求8所述的圖像處理方法，其特征在于，定義所述開(kāi)口的形狀的時(shí)間變 化的所述函數(shù)是通過(guò)查找表而定義的。
14.根據(jù)權(quán)利要求8所述的圖像處理方法，其特征在于，還包括控制快門(mén)，以在獲取所 述圖像時(shí)，與所述控制步驟中的控制協(xié)作地，通過(guò)透過(guò)或遮擋從所述被攝體入射的光，對(duì)所 述圖像傳感器單元進(jìn)行曝光或遮光。
全文摘要
一種圖像處理設(shè)備包括圖像獲取單元，用于獲取對(duì)經(jīng)由光圈的開(kāi)口從被攝體入射的光在圖像傳感器單元上進(jìn)行成像的結(jié)果，作為圖像；控制單元，用于在所述圖像獲取單元獲取所述圖像時(shí)，基于定義所述開(kāi)口的形狀的時(shí)間變化的函數(shù)來(lái)控制所述開(kāi)口的形狀；以及檢測(cè)單元，用于基于所述函數(shù)，在所述圖像中檢測(cè)模糊狀態(tài)。
文檔編號(hào)G06T5/20GK102119527SQ20098013101
公開(kāi)日2011年7月6日 申請(qǐng)日期2009年7月31日 優(yōu)先權(quán)日2008年8月4日
發(fā)明者園田哲理, 穴吹真秀 申請(qǐng)人:佳能株式會(huì)社