專利名稱：閃爍校正方法和裝置及成像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種閃爍校正方法和裝置、以及圖像拾取裝置，其中通過從圖像信號中減去閃爍校正信號來校正閃爍。
背景技術(shù)：
在傳統(tǒng)的圖像傳感器中，電荷存儲的定時根據(jù)是按平面還是按行進(jìn)行電荷存儲而不同。通常，按平面的電荷存儲的定時被稱作“全局快門系統(tǒng)”，而按行的電荷存儲的定時被稱作“滾動(rolling)快門系統(tǒng)”。過去，大部分CCD采用了全局快門類型的圖像傳感器。然而，最近，對CMOS圖像傳感器給予了日益增加的關(guān)注，其中CMOS圖像傳感器消耗比CCD更少的功率，并且由于其更少數(shù)目的零件而可以比CCD更廉價地生產(chǎn)。許多CMOS圖像傳感器由于其結(jié)構(gòu)問題而采用滾動快門系統(tǒng)。采用兩個快門系統(tǒng)中的一個，當(dāng)在重復(fù)導(dǎo)通和關(guān)斷的光源的光之下進(jìn)行成像時，在整個圖像平面中將出現(xiàn)亮和暗條紋(平面閃爍)，而采用另一個快門系統(tǒng)，將按行出現(xiàn)亮和暗條紋(平面內(nèi)閃爍)。
圖1示出了采用全局快門系統(tǒng)的圖像傳感器中的電荷存儲量的差異，并且圖2示出了當(dāng)圖像傳感器為全局快門類型時發(fā)生平面閃爍的圖像的示例。圖3示出了采用滾動快門系統(tǒng)的圖像傳感器中的電荷存儲量的差異，并且圖4示出了發(fā)生平面內(nèi)閃爍的圖像的示例。另外，包括于在循環(huán)導(dǎo)通和關(guān)斷的光源的光下所捕獲的圖像中的閃爍分量可以近似于正弦波，并且通過基于正弦波的性質(zhì)而消除閃爍來形成校正圖像的方法已經(jīng)很普遍。
對于閃爍校正，提出過一種基于在輸入圖像中檢測到的閃爍分量來控制增益的方法(如在日本專利申請公開No.2004-222228中)。

發(fā)明內(nèi)容
當(dāng)在諸如熒光燈、循環(huán)重復(fù)導(dǎo)通和關(guān)斷的光源的光之下，用數(shù)字照相機(jī)對對象成像時，在所捕獲的對象圖像中將出現(xiàn)循環(huán)的亮和暗條紋，從而導(dǎo)致它們將似乎在圖像中運(yùn)動。不然的話，在圖像上的幀之間將循環(huán)出現(xiàn)亮度差。這被稱作“閃爍”。當(dāng)在閃爍光源的光之下通過使用圖像傳感器對對象成像的數(shù)字照相機(jī)對對象成像，其中電荷存儲的定時發(fā)生偏移時，閃爍是不可避免發(fā)生的問題。
對于閃爍校正，利用閃爍可以近似于正弦波的特征來檢測輸入信號中的閃爍分量。類似地，從正弦波的特性和所檢測的閃爍分量計算校正量，并且將校正量加到輸入信號，或者將后者乘以校正量。對于閃爍分量到正弦波的近似，必須檢測三個特征“循環(huán)”、“相位”和“幅度”。
可以基于電源頻率和幀速率來檢測循環(huán)。
因此，本發(fā)明的申請人提出了一種閃爍校正方法，其包括以下步驟響應(yīng)于每個特定周期的校正誤差信號，獲取與包括在視頻信號的每個特定周期內(nèi)的閃爍分量相對應(yīng)的閃爍校正信號，其中視頻信號由連續(xù)的特定周期形成，并且包含閃爍分量，并且計算閃爍校正信號和每個特定周期，以生成校正了其閃爍分量的、一個特定周期的校正視頻信號，在每個特定周期之前的一個特定周期和每個特定周期的校正視頻信號中檢測閃爍分量的校正誤差，以獲取校正誤差信號，作為與所檢測的校正誤差相對應(yīng)的信號，并且獲取閃爍校正信號作為與校正誤差信號相對應(yīng)地減小了校正誤差的信號(如在日本專利申請公開No.2004-330299中)。
上述閃爍校正方法是在沒有檢測閃爍幅度而是采用固定閃爍值的情況下執(zhí)行的。在來自光源的光不變化的情況下，即使采用固定的閃爍幅度值，也可以執(zhí)行該方法而沒有任何問題。然而，在來自光源的光變化的情況下，必須適當(dāng)?shù)馗淖冮W爍幅度。因此，該傳統(tǒng)方法不是通用的。
因此，期望通過提供一種閃爍校正方法和裝置以及圖像拾取裝置來克服相關(guān)技術(shù)的上述缺點(diǎn)，其中即使當(dāng)光源的光強(qiáng)變化時，也能靈活地校正閃爍。
根據(jù)本發(fā)明，通過檢測輸入圖像信號中的閃爍分量，基于所檢測的閃爍分量而計算校正值，并且將校正值加到輸入圖像信號，從而進(jìn)行閃爍校正。
根據(jù)本發(fā)明，提供了一種閃爍校正方法，其包括以下步驟從當(dāng)前經(jīng)過閃爍校正的幀的圖像，預(yù)測下一幀的圖像的閃爍，以生成被加入了在電平上相互不同的閃爍的兩種閃爍圖像；通過所生成的兩種閃爍圖像與輸入的下一幀的圖像之間的比較來檢測閃爍分量；
基于所檢測的閃爍分量而生成閃爍校正值；以及通過逐幀地將所生成的閃爍校正值加到輸入圖像幀來進(jìn)行閃爍校正。
根據(jù)本發(fā)明，還提供了一種閃爍校正裝置，包括閃爍校正部件，用于通過將閃爍校正信號加到輸入圖像信號來進(jìn)行閃爍校正；以及閃爍校正信號生成部件，用于從已經(jīng)由閃爍校正部件閃爍校正的圖像信號和尚未經(jīng)過閃爍校正的圖像信號，預(yù)測下一幀的圖像的閃爍，以生成具有在電平上相互不同的閃爍的兩種閃爍圖像，通過所生成的兩種閃爍圖像和輸入的下一幀的圖像之間的比較，檢測閃爍分量，以及基于所檢測的閃爍分量而生成閃爍校正值，閃爍校正部件，將由閃爍校正信號生成部件逐幀生成的閃爍校正信號加到輸入圖像信號，以便進(jìn)行閃爍校正。
根據(jù)本發(fā)明，還提供了一種包括閃爍校正裝置的圖像拾取裝置，用于通過將閃爍校正信號加到由圖像拾取裝置捕獲的圖像信號來進(jìn)行閃爍校正，該閃爍校正裝置包括閃爍校正部件，用于通過將閃爍校正信號加到輸入圖像信號來進(jìn)行閃爍校正；以及閃爍校正信號生成部件，用于從已經(jīng)由閃爍校正部件閃爍校正的圖像信號和尚未經(jīng)過閃爍校正的圖像信號，預(yù)測下一幀的圖像的閃爍，以生成具有在電平上相互不同的閃爍的兩種閃爍圖像，通過所生成的兩種閃爍圖像和輸入的下一幀的圖像之間的比較，檢測閃爍分量，以及基于所檢測的閃爍分量而生成閃爍校正值，閃爍校正部件，將由閃爍校正信號生成部件逐幀生成的閃爍校正信號加到輸入圖像信號，以進(jìn)行閃爍校正。
根據(jù)本發(fā)明，可以通過在經(jīng)過幅度預(yù)測的閃爍圖像和由圖像傳感裝置(在此也被稱為“成像元件”)捕獲的圖像之間的比較，順序地預(yù)測閃爍的幅度。即使當(dāng)光源的光強(qiáng)變化時，也能隨時以自動的方式靈活地調(diào)整閃爍幅度，以便校正閃爍。另外，即使在從具有閃爍源的位置轉(zhuǎn)移到無閃爍的位置時進(jìn)行成像，也能自動地改變閃爍幅度，并且停止閃爍校正。另外，即使在從無閃爍的位置轉(zhuǎn)移到具有閃爍源的位置時進(jìn)行成像，也能自動地改變閃爍幅度，并且進(jìn)行閃爍校正。
因此，根據(jù)本發(fā)明，即使當(dāng)光源的光強(qiáng)改變時，也可以這樣靈活地進(jìn)行閃爍校正。


圖1示意性地示出了全局快門類型的圖像傳感器中的電荷存儲量差異；圖2示意性地示出了在采用全局快門系統(tǒng)時出現(xiàn)的平面閃爍圖像示例；圖3示意性地示出了滾動快門類型的圖像傳感器中的電荷存儲量差異；圖4示意性地示出了平面內(nèi)閃爍圖像的示例；圖5是作為本發(fā)明的一個實(shí)施例的圖像拾取裝置的示意性方框圖；圖6也是包括在圖5所示的圖像拾取裝置內(nèi)的閃爍校正電路的示意性方框圖；圖7是閃爍校正電路中的校正值計算器的示意性方框圖；圖8示意性地示出了圖像拾取裝置中用于校正誤差檢測的算法；圖9是包括在圖像拾取裝置內(nèi)的校正相位誤差檢測器的示意性方框圖；圖10是包括在圖像拾取裝置內(nèi)的校正幅度誤差檢測器的示意性方框圖；圖11是包括在圖像拾取裝置內(nèi)的閃爍幅度調(diào)整器的示意性方框圖。
具體實(shí)施例方式
下面將參考附圖涉及本發(fā)明實(shí)施例來詳細(xì)描述本發(fā)明。應(yīng)當(dāng)注意，本發(fā)明不限于以下將要描述的實(shí)施例，而是它可以以各種方式進(jìn)行修改，可選地進(jìn)行構(gòu)造，或者以各種其它形式進(jìn)行實(shí)施，而不背離其范圍和精神。
本發(fā)明適用于如圖5所示構(gòu)造的圖像拾取裝置。該圖像拾取裝置在總體上用附圖標(biāo)記100表示。
圖像拾取裝置100包括紅色圖像傳感裝置(圖像元件)10R、綠色圖像傳感裝置(成像元件)10G、藍(lán)色圖像傳感裝置(成像元件)10B；A-D轉(zhuǎn)換器20R、20G和20B，用于數(shù)字化分別由圖像傳感裝置10R、10G和10B捕獲的彩色圖像的圖像信號SI_R、SI_G和SI_B；閃爍校正電路30R、30G和30B、校正相位誤差檢測器40R、40G和40B、以及校正幅度誤差檢測器50R、50G和50B，分別被提供由A-D轉(zhuǎn)換器20R、20G和20B數(shù)字化的圖像信號DV_R、DV-G和DV_B；閃爍幅度調(diào)整器60R、60G和60B，分別被提供由校正幅度誤差檢測器50R、50G和50B檢測到的校正幅度誤差信號C_R、C_G和C_B；照相機(jī)信號處理電路70，分別被提供由閃爍校正電路30R、30G和30B閃爍校正之后的圖像信號CV_R、CV_G和CV_B；等等。
被提供分別由閃爍校正電路30R、30G和30B閃爍校正之后的圖像信號CV_R、CV_G和CV_B，以及分別由閃爍幅度調(diào)整器60R、60G和60B調(diào)整之后的閃爍幅度信號A_R、A_G和A_B，校正相位誤差檢測器40R、40G和40B檢測數(shù)字化圖像信號DV_R、DV_G和DV_B中的圖像信號CV_R、CV_G和CV_B的校正相位誤差，以及經(jīng)過閃爍校正的圖像信號CV_R、CV_G和CV_B和閃爍幅度信號A_R、A_G和A_B的校正相位誤差，以生成校正相位誤差信號E_R、E_G和E_B，并且將所生成的校正幅度誤差信號E_R、E_G和E_B分別提供給閃爍校正電路30R、30G和30B，以及校正幅度誤差檢測器50R、50G和50B。
被提供分別由閃爍校正電路30R、30G和30B閃爍校正之后的圖像信號CV_R、CV_G和CV_B，以及分別由閃爍幅度調(diào)整器60R、60G和60B調(diào)整之后的閃爍幅度信號A_R、A_G和A_B，校正幅度誤差檢測器50R、50G和50B檢測數(shù)字化圖像信號DV_R、DV_G和DV_B中的圖像信號CV_R、CV_G和CV_B，經(jīng)過閃爍校正的圖像信號CV_R、CV_G和CV_B和閃爍幅度信號A_R、A_G和A_B中的校正相位誤差，以生成校正幅度誤差信號C_R、C_G和C_B，并且將所生成的校正幅度誤差信號E_R、E_G和E_B分別提供給閃爍幅度調(diào)整器60R、60G和60B。
閃爍幅度調(diào)整器60R、60G和60B分別從校正幅度誤差信號E_R、E_G和E_B生成閃爍幅度信號A_R、A_G和A_B，并且將所生成的閃爍幅度信號A_R、A_G和A_B分別提供給閃爍校正電路30R、30G和30B，校正相位誤差檢測器40R、40G和40B，以及校正幅度誤差檢測器50R、50G和50B。
在圖像拾取裝置100中，閃爍校正電路30R、30G和30B中的每個使用如圖6所示構(gòu)造的閃爍校正電路30*。在此應(yīng)當(dāng)注意，星號(*)代表“R(紅)”、“G(綠)”和“B(藍(lán))”。
閃爍校正電路30*包括地址計算器31*，被提供來自校正誤差檢測器40*的校正誤差信號E_*；校正值計算器32*，被提供由地址計算器31*算出的地址AD；乘法器33*，被提供由校正值計算器32*算出的閃爍校正數(shù)據(jù)FD、以及由閃爍幅度調(diào)整器60*生成的閃爍幅度信號A_*；電平調(diào)整器34*，被提供通過在乘法器33中將閃爍校正數(shù)據(jù)FD乘以閃爍幅度信號A_*而得到的閃爍校正數(shù)據(jù)FDA；以及低通濾波器(LPF)35*和運(yùn)算電路36*，被提供由A-D轉(zhuǎn)換器20*數(shù)字化的圖像信號DV_*。通過低通濾波器(LPF)35*將由A-D轉(zhuǎn)換器20*數(shù)字化的圖像信號DV_*提供給電平調(diào)整器34*，然后，其將生成要被提供給運(yùn)算電路36*的閃爍校正值CFD。
在如上構(gòu)造的閃爍校正電路30*中，地址計算器31*基于從校正誤差檢測器40提供的校正誤差信號E_*，計算包括在校正值計算器32*內(nèi)的ROM(后面將進(jìn)一步詳細(xì)描述的閃爍存儲器321和322)中的地址AD。
地址計算器31*計算當(dāng)前行的地址，這是通過從電源頻率和幀速率計算所關(guān)注的幀中的第一行的地址、并且計算朝向該地址每次前進(jìn)一行的地址增量來完成的。更具體地說，在電源頻率是50Hz，幀速率是30Hz，并且圖像傳感裝置10*的縱向時鐘數(shù)是1125clk的情況下(貫穿下面描述，這些電源頻率、幀速率以及圖像傳感裝置10*的時鐘數(shù)保持不變)，閃爍的亮和暗條紋之間的周期T將包含如下由方程式1給出的337.5行T＝30Hz×1125clk/(50Hz×2)＝337.5(clk) .......(1)另外，系統(tǒng)中的ROM保存通過將一個周期除以512而得到的閃爍數(shù)據(jù)。在每次前進(jìn)一行時，ROM中的地址將大約增加如下由方程式2給出的1.51703512/337.5＝1.51703 .......(2)也就是，假定第一行上的校正波地址是零(0)，從第一行開始計數(shù)的第100行上的地址將是如下由方程式3給出的1520+1.51703×100≈152 ......(3)如圖7所示，校正值計算器32*包括閃爍存儲器321和322；乘法器323和324，用于將從閃爍存儲器321和322讀取的兩種閃爍數(shù)據(jù)FD1和FD2分別乘以系數(shù)α和α-1；以及加法器325，被提供分別由乘法器323和324乘以系數(shù)α和α-1之后的閃爍數(shù)據(jù)FD1_A和FD2_A。根據(jù)由地址計算器31*算出的地址AD，將分別從閃爍存儲器321和322讀取兩種閃爍數(shù)據(jù)FD1和FD2。
校正值計算器32*通過基于由地址計算器31*算出的地址AD而分別從閃爍存儲器321和322讀取兩種閃爍數(shù)據(jù)FD1和FD2，與幀速率和快門速度相對應(yīng)地分別由乘法器323和324將閃爍數(shù)據(jù)FD1和FD2分別乘以系數(shù)α和α-1，并且由加法器325將結(jié)果相加在一起，從而計算一個閃爍校正數(shù)據(jù)FD。
注意，利用閃爍數(shù)據(jù)的周期性，校正值計算器32*保存閃爍數(shù)據(jù)FD1和FD2的一部分波形。另外，即使采用不同于ROM的任何其它存儲器，也可以適當(dāng)?shù)赜嬎汩W爍數(shù)據(jù)。在該實(shí)施例中，通過將兩個閃爍數(shù)據(jù)FD1和FD2組合在一起，來合成與波形相對應(yīng)的一個閃爍校正數(shù)據(jù)FD。然而，可以將三個或更多個閃爍數(shù)據(jù)組合在一起，以合成各個閃爍校正數(shù)據(jù)FD。逐行地，通過取決于每行的值來更新閃爍校正數(shù)據(jù)FD一次。
由于閃爍與每個像素的值相對應(yīng)地在電平上變化，因此通過使用輸入圖像信號DV_*來調(diào)整每一個的電平。然而，圖像信號DV_*中的噪聲分量將影響電平調(diào)整。
因此，在圖像拾取裝置100的閃爍校正電路30中，使輸入圖像信號DV_*通過低通濾波器(LPF)35*，以便從圖像信號DV_*中消除噪聲分量，并且將無噪聲的圖像信號DV_*′提供給電平調(diào)整器34*。電平調(diào)整器34*可以從無噪聲的圖像數(shù)據(jù)DV_*′和由校正值計算器32*算出的閃爍校正數(shù)據(jù)FD，計算不受噪聲影響的每個像素的校正值CFD。
注意，調(diào)整該實(shí)施例使得校正值與像素值相對應(yīng)地單調(diào)增加，這是因?yàn)橐延^察到閃爍電平也與像素值相對應(yīng)地線性增加的趨勢。另外，由于在像素值非常小或大時沒有觀察到閃爍，因此該實(shí)施例被調(diào)整成考慮這個特征來進(jìn)行計算。然而，本發(fā)明不限于該實(shí)施例。
在閃爍校正電路30*中，運(yùn)算單元35*將每個像素的校正值CFD加到圖像信號DV_*，以提供校正圖像信號CV_*。
下面將參考圖8描述用于在圖像拾取裝置100中檢測校正誤差的算法。
在此假定，特定幀圖像(第n幀的圖像)的閃爍可能已被校正為校正電平。由于閃爍從一個幀到另一個幀是連續(xù)的，因此可以預(yù)測下一幀的閃爍。在所預(yù)測的下一幀的閃爍保持為與第n幀的閃爍相同電平的情況下，將第(n+1)幀的閃爍加到校正圖像中。將這樣產(chǎn)生的閃爍圖像視為“圖像A”。同時，在電平變得高于第n幀電平的情況下，將第(n+1)幀的閃爍加到經(jīng)過閃爍校正的圖像。將這樣產(chǎn)生的閃爍圖像視為“圖像B”。圖像A是通過將第(n+1)幀的閃爍分量加到第n幀的對象圖像而得到的圖像，而圖像B是通過將其閃爍電平變得高于圖像A的閃爍電平的第(n+1)幀的閃爍分量加到第n幀的對象圖像而得到的。當(dāng)分別計算實(shí)際提供的第(n+1)幀的圖像與圖像A和B之間的差值時，僅僅對象的運(yùn)動分量將作為差值出現(xiàn)，這是因?yàn)樵趫D像A中忠實(shí)地再現(xiàn)了下一幀閃爍。然而，因?yàn)閳D像B變得在電平上高于下一幀閃爍，所以它包含兩個分量，即對象運(yùn)動和閃爍分量，作為差值，也就是，更近似于下一幀閃爍的預(yù)測閃爍分量將取小值作為差值。此外，生成了兩個圖像，即，其中加入了在電平上高于第n幀的閃爍的第(n+1)幀的閃爍分量的圖像，以及其中加入了在電平上低于第n幀的閃爍的第(n+1)幀的閃爍分量的圖像。當(dāng)分別計算這兩個圖像和第(n+1)幀的圖像之間的差值時，更近似于第(n+1)幀的閃爍電平的差值將取小值。因此，通過在每個幀的差值之間進(jìn)行比較，有可能隨著時間經(jīng)過而將任意閃爍的初始電平自動調(diào)整到適當(dāng)?shù)拈W爍電平。
根據(jù)上述算法來設(shè)計校正相位誤差檢測器40R、40G和40B，以及校正幅度誤差檢測器50R、50G和50B中的每個。
在該圖像拾取裝置100中，校正相位誤差檢測器40R、40G和40B中的每個使用如9所示的、根據(jù)前述算法而構(gòu)造的校正相位誤差檢測器40*。在此應(yīng)當(dāng)注意，星號(*)代表“R(紅)”、“G(綠)”和“B(藍(lán))”。
校正相位誤差檢測器40*包括閃爍加入信號生成器41A和41B，其被提供由閃爍校正電路30*閃爍校正之后的圖像信號CV_*、以及由閃爍幅度調(diào)整器60*生成的閃爍幅度信號A_*；行積分器42A和42B，其被提供分別由閃爍加入信號生成器41A和41B生成的閃爍加入信號FDV1和FDV2；存儲器43A和43B，其被提供分別由行積分器42A和42B積分之后的行數(shù)據(jù)LD11和LD21；差值檢測器44A和44B，其被提供分別從存儲器43A和43B讀取的行數(shù)據(jù)LD12和LD22；行積分器45，其被提供由A-D轉(zhuǎn)換器20*數(shù)字化的圖像信號DV_*；積分器46A和46B，其被提供分別由差值檢測器44A和44B檢測的差值數(shù)據(jù)DD1和DD2；比較器47，其被提供分別由積分器46A和46B提供的積分?jǐn)?shù)據(jù)ID1和ID2；等等。由行積分器45提供的行數(shù)據(jù)LD3將被提供給差值檢測器44A和44B中的每個，并且作為來自比較器47的比較輸出而提供的校正誤差信號E_*被提供給閃爍加入信號生成器41A和41B中的每個。
閃爍加入信號生成器41A和41B中的每個包括地址計算器411A和411B，其被提供作為來自比較器47的比較輸出而提供的校正誤差信號E_*；地址轉(zhuǎn)換器412A和412B，其被提供分別由地址計算器411A和411B算出的地址AD11和AD21；校正值計算器413A和413B，其被提供分別由地址轉(zhuǎn)換器412A和412B算出的地址AD12和AD22；乘法器414A和414B，其被提供由閃爍幅度調(diào)整器60*生成的閃爍幅度信號A_*；電平調(diào)整器415A和415B，其被提供在乘法器414A和414B中乘以閃爍幅度信號A_*之后的閃爍數(shù)據(jù)FD1和FD2；以及低通濾波器(LPF)416A和416B以及運(yùn)算單元417A和417B，其被提供由A-D轉(zhuǎn)換器20*數(shù)字化的圖像信號DV_*。分別通過低通濾波器(LPF)416A和416B，將由A-D轉(zhuǎn)換器20*數(shù)字化的圖像信號DV_*提供給電平調(diào)整器415A和415B，并且將分別由電平調(diào)整器415A和415B生成的校正值CFD1和CFD2分別提供給運(yùn)算單元417A和417B。
在如上構(gòu)造的校正誤差檢測器40*中，地址計算器411A和411B基于校正誤差信號E_*而計算ROM中的地址AD11和AD21。這樣算出的地址通過以正方向或負(fù)方向偏移下一幀的閃爍的前列地址而得到。如在閃爍校正電路30*的地址計算器31*中計算這些地址。另外，包括在校正誤差檢測器40*內(nèi)的ROM與包括在閃爍校正電路30*內(nèi)的ROM相同。
地址轉(zhuǎn)換器412A和412B將分別由地址計算器411A和411B算出的地址AD11和AD21，分別轉(zhuǎn)換成從其可以再現(xiàn)下一幀的閃爍的地址AD12和AD22。也就是，它們將地址AD1和AD2轉(zhuǎn)換成具有相反相位的地址。分別由地址轉(zhuǎn)換器412A和412B轉(zhuǎn)換的地址AD12和AD22通過下一幀的閃爍的預(yù)測而得到，而不是打算用于閃爍校正。
校正值計算器413A和413B基于由地址轉(zhuǎn)換器412A和412B分別轉(zhuǎn)換的地址AD12和AD22，分別計算閃爍數(shù)據(jù)FD1和FD2。也如同在閃爍校正電路30*中一樣按行確定閃爍數(shù)據(jù)FD1和FD2。類似于包括在閃爍校正電路30*內(nèi)的校正值計算器32*，構(gòu)造校正值計算器413A和413B。
如同在閃爍校正電路30*中一樣，在校正相位誤差檢測器40*的閃爍加入信號生成器41A和41B中，使圖像信號DV_*通過低通濾波器(LPF)416A和416B，以便從圖像信號DV_*中消除噪聲，將無噪聲圖像信號DV_*′提供給電平調(diào)整器415A和415B。電平調(diào)整器415A和415B基于無噪聲圖像信號DV_*′以及分別由乘法器414A和414B算出的閃爍數(shù)據(jù)FD1和FD2，計算不受噪聲影響的每個像素的校正值CFD1和CFD2。
如同包括在閃爍校正電路30*內(nèi)的電平調(diào)整器34*一樣，構(gòu)造電平調(diào)整器415A和415B。
運(yùn)算單元417A和417B將每個像素的校正值CFD1和CFD2加到閃爍校正圖像信號CV_*，以生成下一幀的閃爍加入信號FDV1和FDV2。還如同包括在閃爍校正電路30*內(nèi)的運(yùn)算單元36一樣，構(gòu)造運(yùn)算單元417A和417B。
行積分器42A和42B通過分別積分下一幀的閃爍加入信號FDV1和FDV2的特定片段來計算行數(shù)據(jù)LD11和LD21?！捌巍笨梢允亲鳛樗匠叽绲娜我庵担灰谒将@取的圖像內(nèi)即可。采用較大的片段，可以以較高準(zhǔn)確度來檢測校正誤差。片段的垂直尺寸可以是一個屏幕內(nèi)的閃爍的亮和暗條紋的循環(huán)的整倍數(shù)。更具體地說，可以假定該片段為1000個水平像素乘以675個垂直像素(＝337.5×2)，即1000×675像素。
分別將由行積分器42A和42B算出的行數(shù)據(jù)LD11和LD21存儲在存儲器43A和43B中，直至提供下一幀的圖像信號DV_*。當(dāng)提供下一幀的圖像信號DV_*時，行積分器45對與已經(jīng)積分的閃爍加入信號FDV1和FDV2的片段相同的片段進(jìn)行行積分，以計算行數(shù)據(jù)LD3。
分別存儲在存儲器43A和43B中的行數(shù)據(jù)LD12和LD22、以及與行數(shù)據(jù)LD12和LD22的行相對應(yīng)的下一幀圖像信號DV_*的行數(shù)據(jù)LD3被提供給差值檢測器44A和44B，以提供差值數(shù)據(jù)DD1和DD2。
積分器46A和46B通過分別積分兩個差值數(shù)據(jù)DD1和DD2，分別提供積分?jǐn)?shù)據(jù)ID1和ID2。
然后，比較器47通過在這些積分?jǐn)?shù)據(jù)ID1和ID2之間進(jìn)行大小比較，判斷在哪個方向上偏移地址以便預(yù)測校正閃爍，即正或負(fù)方向。例如，如果在正方向上偏移地址的情況下獲得的積分?jǐn)?shù)據(jù)ID_*小于在負(fù)方向上偏移地址的情況下獲得的積分?jǐn)?shù)據(jù)ID_*，則輸出校正相位誤差信號E_*，以在正方向上偏移該地址。
通過將校正相位誤差信號E_*提供給閃爍校正電路30*的地址計算器31、以及校正幅度誤差檢測器50*的地址計算器511A和511B，以便在朝著閃爍的正確方向上偏移地址，從而最小化校正誤差。
另外，在該圖像拾取裝置100中，校正幅度誤差檢測器50R、50G和50B中的每個使用如10所示的、根據(jù)前述算法而構(gòu)造的校正幅度誤差檢測器60*。在此應(yīng)當(dāng)注意，星號(*)代表“R(紅)”、“G(綠)”和“B(藍(lán))”。
校正幅度誤差檢測器50*包括閃爍加入信號生成器51A和51B，其被提供由閃爍校正電路30*閃爍校正之后的圖像信號CV_*、以及由閃爍幅度調(diào)整器60*生成的閃爍幅度信號A_*；行積分器52A和52B，其被提供分別由閃爍加入信號生成器51A和51B生成的閃爍加入信號FDV13和FDV32；存儲器53A和53B，其被提供分別由行積分器52A和52B積分的行數(shù)據(jù)LD31和LD32；差值檢測器54A和54B，其被提供分別從存儲器53A和53B讀取的行數(shù)據(jù)LD31和LD32；行積分器55，其被提供由A-D轉(zhuǎn)換器20*數(shù)字化的圖像信號DV_*；積分器56A和56B，其被提供分別由差值檢測器54A和54B檢測的差值數(shù)據(jù)DD31和DD32；比較器57，其被提供分別由積分器56A和56B提供的積分?jǐn)?shù)據(jù)ID31和ID32；等等。由行積分器55提供的行數(shù)據(jù)LD3將被提供給差值檢測器54A和54B中的每個。
閃爍加入信號生成器51A和51B包括地址計算器511A和511B，分別被提供作為來自校正相位誤差檢測器40*中的比較器47的比較輸出而提供的校正相位誤差信號E_*；地址轉(zhuǎn)換器512A和512B，被提供分別由地址計算器511A和511B算出的地址AD31；校正值計算器513A和513B，被提供分別由地址轉(zhuǎn)換器512A和512B算出的地址AD32；幅度放大器514A和幅度衰減器514B，被提供由閃爍幅度調(diào)整器60*生成的閃爍幅度信號A_*；乘法器515A和515B，被提供分別由校正值計算器513A和513B算出的閃爍數(shù)據(jù)FD31和CFD31；電平調(diào)整器516A和516B，被提供在乘法器515A和515B中乘以閃爍幅度信號A_*之后的閃爍數(shù)據(jù)CFD1和CFD2；以及低通濾波器(LPF)517A和517B以及運(yùn)算單元518A和518B，被提供由A-D轉(zhuǎn)換器20*數(shù)字化的圖像信號DV_*。將通過控制幅度放大器515A和幅度衰減器514B中的閃爍幅度信號A_*而得到的幅度信號AM31和AM32分別提供給乘法器515A和515B，分別通過低通濾波器(LPF)517A和517B將把由A-D轉(zhuǎn)換器20*數(shù)字化的圖像信號DV_*提供給電平調(diào)整器516A和516B，并且分別將由電平調(diào)整器516A和516B生成的校正值CFD31和CFD32提供給運(yùn)算單元518A和518B。
在如上構(gòu)造的校正幅度誤差檢測器50*的閃爍加入信號生成器51A和51B中，地址計算器511A和511B基于校正誤差信號E_*而計算ROM中的地址AD31。這樣算出的地址是下一幀的閃爍分量的前列地址。如同在閃爍校正電路30*的地址計算器31*中一樣計算該地址。另外，包括在校正幅度誤差檢測器50*內(nèi)的ROM與包括在閃爍校正電路30*內(nèi)的ROM相同。
地址轉(zhuǎn)換器512A和512B將由地址計算器511A和511B算出的地址AD31轉(zhuǎn)換成從其可以再現(xiàn)下一幀的閃爍的地址。更具體地說，它們將地址AD31的相位轉(zhuǎn)換成在相位上與地址AD31相反的地址AD32。由地址轉(zhuǎn)換器512A和512B轉(zhuǎn)換的地址AD32通過下一幀的閃爍的預(yù)測而得到，而不是打算用于閃爍校正。
校正值計算器513A和513B基于由地址轉(zhuǎn)換器512A和512B轉(zhuǎn)換的地址AD32而計算閃爍數(shù)據(jù)FD31。還如同在閃爍校正電路30*中一樣按行確定閃爍數(shù)據(jù)FD31。類似于包括在閃爍校正電路30*內(nèi)的校正值計算器32*，構(gòu)造校正值計算器513A和513B。
接下來，幅度放大器514A計算通過幅度信號A_*的放大而得到的幅度信號AM31。同時，幅度衰減器514B衰減所提供的幅度信號A_*，以計算幅度信號AM32。乘法器515A和515B將算出的幅度信號AM31和AM32乘以閃爍數(shù)據(jù)FD31，以提供具有其放大的閃爍分量的閃爍校正數(shù)據(jù)FDA31，以及具有其衰減的閃爍分量的閃爍校正數(shù)據(jù)FDA32。
另外，在校正幅度誤差檢測器50*的閃爍加入信號生成器51A和51B中，如同在閃爍校正電路30*中一樣，使圖像信號DV_*通過低通濾波器(LPF)517A和517B，以從圖像信號DV_*中消除噪聲，并且將無噪聲圖像信號DV_*′提供給電平調(diào)整器516A和516B。電平調(diào)整器516A和516B從無噪聲圖像信號DV_*′以及由校正值計算器515A和515B分別算出的閃爍數(shù)據(jù)FDA31和FDA32，計算每個像素的校正值CFD31和CFD32。
類似于包括在閃爍校正電路30*內(nèi)的電平調(diào)整器34*，構(gòu)造電平調(diào)整器516A和516B。
運(yùn)算單元518A和518B將每個像素的校正值CFD31和CFD32加到經(jīng)過閃爍校正的圖像信號CV_*，以生成下一幀的閃爍加入信號FDV31和FDV32。類似于包括在閃爍校正電路30*內(nèi)的運(yùn)算單元36，構(gòu)造運(yùn)算單元518A和518B。
然后，如同在校正相位誤差檢測器40*中一樣，處理分別從運(yùn)算單元518A和518B提供的下一幀的閃爍加入信號FDV31和FDV32。
也就是，行積分器52A和52B積分其中存在閃爍加入信號FDV31和FDV32的下一幀的片段，以計算行數(shù)據(jù)LD31和LD32。
將由行積分器52A和52B算出的行數(shù)據(jù)LD31和LD32分別存儲在存儲器53A和53B中，直至提供下一幀的圖像信號DV_*。當(dāng)提供下一幀的圖像信號DV_*時，行積分器55對與已經(jīng)被積分的閃爍加入信號FDV31和FDV32的片段相同的片段進(jìn)行行積分，以計算行數(shù)據(jù)LD3。
將分別存儲在存儲器53A和53B中的行數(shù)據(jù)LD31和LD32、以及與行數(shù)據(jù)LD31和LD32的行相對應(yīng)的下一幀圖像信號DV_*的行數(shù)據(jù)LD3提供給差值檢測器54A和54B，以提供差值數(shù)據(jù)DD31和DD32。
積分器56A和56B通過分別積分兩個差值數(shù)據(jù)DD31和DD32，分別提供積分?jǐn)?shù)據(jù)ID31和ID32。
然后，比較器57在這些積分?jǐn)?shù)據(jù)ID31和ID32之間進(jìn)行大小比較，以提供表示應(yīng)該放大還是衰減下一幀閃爍的幅度的比較信號C*。
將在校正幅度誤差檢測器50*中提供的比較信號C_*提供給閃爍幅度調(diào)整器60*。如圖11所示，閃爍幅度調(diào)整器60*包括比較器61和幅度增大/減小單元62，并且始終基于比較信號C_*而改變閃爍幅度。閃爍幅度調(diào)整器60*用來在從校正幅度誤差檢測器50*提供的比較信號C_*將變小的方向上，改變閃爍幅度。在此應(yīng)當(dāng)注意，更小的比較信號C_*意味著基于預(yù)測的閃爍圖像更近似于由圖像傳感裝置10*形成的實(shí)際圖像。也就是，由比較器61檢查各幀之間的比較信號C_*的大小關(guān)系允許判斷是否準(zhǔn)確地預(yù)測了閃爍電平。例如，如果當(dāng)閃爍幅度已經(jīng)增大時，比較信號C_*大于前一幀的比較信號C_*，則可以確定不準(zhǔn)確地預(yù)測了閃爍幅度。在這種情況下，將由幅度增大/減小單元62減小閃爍幅度。相反，如果比較信號C_*小于前一幀的比較信號C_*，則可以確定已經(jīng)準(zhǔn)確地預(yù)測了閃爍幅度。在這種情況下，將由幅度增大/減小單元62增大閃爍幅度。通過這些操作，提供幅度信號A_*作為輸出。
這樣，通過根據(jù)前述校正誤差檢測算法，在兩個差值數(shù)據(jù)DD31和DD32的積分值將更小的方向上改變電平，有可能隨著時間的經(jīng)過，將校正電平改變?yōu)樽顑?yōu)電平。
本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計要求及其他因素，可以進(jìn)行各種修改、組合、子組合以及變更，只要它們在所附權(quán)利要求或其等價物的范圍之內(nèi)即可。
對相關(guān)申請的交叉引用本發(fā)明包含與2005年5月13日在日本專利局提交的日本專利申請JP2005-141614相關(guān)的主題內(nèi)容，在此將其全文引作參考。
權(quán)利要求
1.一種閃爍校正方法，包括以下步驟從當(dāng)前經(jīng)過閃爍校正的幀的圖像，預(yù)測下一幀的圖像的閃爍，以生成被加入了在電平上相互不同的閃爍的兩種閃爍圖像；通過所生成的兩種閃爍圖像與輸入下一幀的圖像之間的比較來檢測閃爍分量；基于所檢測的閃爍分量而生成閃爍校正值；以及通過逐幀地將所生成的閃爍校正值加到輸入圖像來進(jìn)行閃爍校正。
2.一種閃爍校正裝置，包括閃爍校正部件，用于通過將閃爍校正信號加到輸入圖像信號來進(jìn)行閃爍校正；以及閃爍校正信號生成部件，用于從已經(jīng)由閃爍校正部件閃爍校正的圖像信號和尚未經(jīng)過閃爍校正的圖像信號，預(yù)測下一幀的圖像的閃爍，以生成具有在電平上相互不同的閃爍的兩種閃爍圖像，通過所生成的兩種閃爍圖像和輸入的下一幀的圖像之間的比較，檢測閃爍分量，以及基于所檢測的閃爍分量而生成閃爍校正值，閃爍校正部件，通過將由閃爍校正信號生成部件逐幀生成的閃爍校正信號加到輸入圖像信號，進(jìn)行閃爍校正。
3.根據(jù)權(quán)利要求2所述的裝置，其中閃爍校正信號生成部件包括校正相位誤差檢測部件，用于通過從由閃爍校正部件閃爍校正之后的圖像信號和尚未經(jīng)過閃爍校正的圖像信號，預(yù)測下一幀的圖像信號的閃爍，以生成被加入了在電平上相互不同的閃爍的兩種閃爍圖像信號，并且在所生成的兩種閃爍圖像信號和輸入的下一幀的圖像信號之間進(jìn)行比較，檢測校正相位誤差；校正幅度誤差檢測部件，用于通過從由閃爍校正部件閃爍校正之后的圖像信號和尚未經(jīng)過閃爍校正的圖像信號，預(yù)測下一幀的圖像信號的閃爍，以生成被加入了在電平上相互不同的閃爍的兩種閃爍圖像信號，并且在所生成的兩種閃爍圖像信號和輸入的下一幀的圖像信號之間進(jìn)行比較，檢測校正幅度誤差；以及閃爍幅度調(diào)整部件，用于生成幅度信號，根據(jù)該幅度信號，在由校正幅度誤差檢測部件檢測的校正幅度誤差將更小的方向上，控制閃爍校正信號的幅度，基于由校正相位誤差檢測部件生成的校正相位誤差信號、以及由閃爍幅度調(diào)整部件生成的幅度信號而生成閃爍校正信號。
4.一種圖像拾取裝置，包括閃爍校正裝置以通過將閃爍校正信號加到由圖像拾取裝置捕獲的圖像信號來進(jìn)行閃爍校正，該閃爍校正裝置包括閃爍校正部件，用于通過將閃爍校正信號加到輸入圖像信號來進(jìn)行閃爍校正；以及閃爍校正信號生成部件，用于從已經(jīng)由閃爍校正部件閃爍校正的圖像信號和尚未經(jīng)過閃爍校正的圖像信號，預(yù)測下一幀的圖像的閃爍，以生成具有在電平上相互不同的閃爍的兩種閃爍圖像，通過所生成的兩種閃爍圖像和輸入的下一幀的圖像之間的比較，檢測閃爍分量，以及基于所檢測的閃爍分量而生成閃爍校正值，閃爍校正部件，通過將由閃爍校正信號生成部件逐幀生成的閃爍校正信號加到輸入圖像信號，進(jìn)行閃爍校正。
5.一種閃爍校正裝置，包括閃爍校正電路，用于通過將閃爍校正信號加到輸入圖像信號，進(jìn)行閃爍校正；以及閃爍校正信號生成器，用于從已經(jīng)由閃爍校正電路閃爍校正的圖像信號和尚未經(jīng)過閃爍校正的圖像信號，預(yù)測下一幀的圖像的閃爍，以生成具有在電平上相互不同的閃爍的兩種閃爍圖像，通過所生成的兩種閃爍圖像和輸入的下一幀的圖像之間的比較，檢測閃爍分量，以及基于所檢測的閃爍分量而生成閃爍校正值，閃爍校正電路，通過將由閃爍校正信號生成器逐幀生成的閃爍校正信號加到輸入圖像信號，進(jìn)行閃爍校正。
6.一種圖像拾取裝置，包括閃爍校正裝置以通過將閃爍校正信號加到由圖像拾取裝置捕獲的圖像信號來進(jìn)行閃爍校正，該閃爍校正裝置包括閃爍校正電路，用于通過將閃爍校正信號加到輸入圖像信號，進(jìn)行閃爍校正；以及閃爍校正信號生成器，用于從已經(jīng)由閃爍校正電路閃爍校正的圖像信號和尚未經(jīng)過閃爍校正的圖像信號，預(yù)測下一幀的圖像的閃爍，以生成具有在電平上相互不同的閃爍的兩種閃爍圖像，通過所生成的兩種閃爍圖像和輸入的下一幀的圖像之間的比較，檢測閃爍分量，以及基于所檢測的閃爍分量而生成閃爍校正值，閃爍校正電路，通過將由用于進(jìn)行閃爍校正的閃爍校正信號生成器逐幀生成的閃爍校正信號加到輸入的圖像信號，進(jìn)行閃爍校正。
全文摘要
即使當(dāng)光源的光強(qiáng)變化時，也可以這樣靈活地進(jìn)行校正閃爍。本發(fā)明提供了一種閃爍校正方法，其包括以下步驟從當(dāng)前經(jīng)過閃爍校正的幀的圖像，預(yù)測下一幀的圖像的閃爍，以生成被加入了在電平上相互不同的閃爍的兩種閃爍圖像，通過所生成的兩種閃爍圖像與輸入的下一幀的圖像之間的比較來檢測閃爍分量，基于所檢測的閃爍分量而生成閃爍校正值；以及通過逐幀地將所生成的閃爍校正值加到輸入圖像來進(jìn)行閃爍校正。
文檔編號H04N5/243GK1863277SQ20061008173
公開日2006年11月15日 申請日期2006年5月10日 優(yōu)先權(quán)日2005年5月13日
發(fā)明者大野哲之, 中筋元宏, 西出義章, 池山裕政 申請人:索尼株式會社