專利名稱：閃光帶處理電路和處理方法、成像裝置和成像處理方法
技術(shù)領(lǐng)域：
本公開涉及可被應(yīng)用在檢測(cè)到閃光帶的情形中的閃光帶(flash band)處理電路、 處理閃光帶的方法、成像裝置和成像處理方法，該閃光帶生成在例如通過(guò)向?qū)ο蟀l(fā)射強(qiáng)光 (以下，稱為“閃光”)來(lái)將對(duì)象成像所獲得的視頻內(nèi)。
背景技術(shù)：
在相關(guān)技術(shù)中，作為在相機(jī)中所使用的成像設(shè)備，利用滾動(dòng)快門系統(tǒng)的成像設(shè)備是公知的，其中，針對(duì)每個(gè)水平線(以下，稱為“行”)曝光被順序啟動(dòng)，并且，通過(guò)順序讀出每行的視頻信號(hào)，幀被順序生成。在利用滾動(dòng)快門系統(tǒng)的成像設(shè)備中，針對(duì)每行，曝光時(shí)段是不同的。因此，在閃光等在比成像設(shè)備讀出視頻信號(hào)的幀率更短的時(shí)段期間中出現(xiàn)的情形中，存在如下情形在亮度等級(jí)中的帶形區(qū)別(閃光帶)被生成在根據(jù)讀出幀內(nèi)的視頻信號(hào)所顯示的視頻中。以下，亮度等級(jí)被縮寫為“等級(jí)”，而閃光帶被縮寫為“FB”。圖15A和圖15B是示出了在相關(guān)技術(shù)中的生成在幀中的FB的示例的示意圖。在圖15A中，縱軸代表在垂直方向上的行的數(shù)量，橫軸代表時(shí)間(秒)，并且，示出了連續(xù)幀和閃光之間的關(guān)系。成像設(shè)備以從在垂直方向上的行的數(shù)量少的一側(cè)(在本示例中，是從幀的上部到下部的方向)的次序讀出視頻信號(hào)并輸出視頻信號(hào)。從第一幀到第二幀，閃光出現(xiàn)。圖15B示出了每個(gè)幀的視頻的示例。當(dāng)閃光從第一幀到第二幀出現(xiàn)時(shí)，閃光對(duì)已經(jīng)被讀出的第一幀的上部行沒(méi)有影響，但是，由于閃光的影響，等級(jí)差異被在第一幀的下部行中生成。在第二幀中，在第一幀的最低行的視頻信號(hào)被讀出之前，第二幀的上部行的視頻信號(hào)被讀出。因此，由于閃光在第二幀的上部行中的影響，等級(jí)差異被生成，但是，閃光對(duì)第二幀的下部行沒(méi)有影響。如以上，當(dāng) FB被在幀中生成時(shí)，視頻的下部被在第一幀中照亮，而視頻的上部被在第二幀中照亮。由于FB被在多個(gè)幀中生成，并且，當(dāng)視頻被再現(xiàn)或靜止屏幕被捕捉時(shí)，F(xiàn)B被看到，因此，視頻的質(zhì)量可變壞。在相關(guān)技術(shù)中，為了抑制其中FB被生成在視頻上的幀的影響，采用諸如校正幀以用于移除等級(jí)差異或丟棄幀之類的對(duì)策。作為這種對(duì)策的前提，檢測(cè)是否存在FB的方法已被審查。在JP-A-2010-135921中，作為檢測(cè)FB的方法，公開了利用第一條件的方法，該第一條件是檢測(cè)到其中出現(xiàn)像素等級(jí)在第一幀的下部和第二針幀的上部增加(其作為FB的典型特征)的區(qū)域。在該方法中，在第一幀中等級(jí)增加的區(qū)域的等級(jí)在第二幀中降低被設(shè)置為第二條件。通過(guò)將第二條件添加到第一條件，可防止在僅由于目標(biāo)的構(gòu)成而使第一條件被滿足的情形中對(duì)FB的生成的錯(cuò)誤檢測(cè)。另外，作為另一方法，在JP-A-2007-306225中，公開了一種方法，其中，從通過(guò)在適當(dāng)?shù)钠毓庀鲁上袼@得的一組連續(xù)幀中檢測(cè)到曝光飽和的幀。

發(fā)明內(nèi)容
在JP-A-2010-135921中所公開的檢測(cè)FB的方法中，很難檢測(cè)FB的開始行和結(jié)束行落入一幀(以下，這種FB狀態(tài)被稱為“FB被完成”)的情形或FB在三幀或更多幀上連續(xù)的情形。另外，在該方法中，一行的視頻信號(hào)從幀的上部至下部被讀出。因此，當(dāng)具有高亮度的對(duì)象從幀的下部移動(dòng)到上部時(shí)，由于顯示在第一幀的下部的對(duì)象和顯示在第二幀的上部的對(duì)象，F(xiàn)B可能被錯(cuò)誤地檢測(cè)。另外，即便當(dāng)如在新聞報(bào)告節(jié)目等中的短時(shí)段中存在許多目標(biāo)的閃光，因而FB在連續(xù)幀的多個(gè)地方生成時(shí)，也很難指定幀中的FB的位置。另外，在公開在JP-A-2007-306225中的檢測(cè)FB的方法中，在運(yùn)動(dòng)體的位置或具有高亮度的光源變化時(shí)，由于運(yùn)動(dòng)體或光源的位置已經(jīng)改變，因此將可能錯(cuò)誤地檢測(cè)FB的生成。因此，希望合適地檢測(cè)在幀中所生成的FB。在本公開的實(shí)施例中，基于由包括在滾動(dòng)快門系統(tǒng)的成像設(shè)備中的像素針對(duì)每幀所輸出的每行的視頻信號(hào)的曝光時(shí)段差來(lái)檢測(cè)閃光帶的開始行和結(jié)束行。因此，可檢測(cè)在幀中所生成的FB的開始行和結(jié)束行。根據(jù)本公開的實(shí)施例，通過(guò)檢測(cè)在幀中所生成的FB的開始行和結(jié)束行，可獲得用于校正FB所必須的詳細(xì)信息。因此，存在如下優(yōu)點(diǎn)僅可針對(duì)作為目標(biāo)的所檢測(cè)到的FB執(zhí)行合適的FB校正處理。


圖I是示出了根據(jù)本公開的實(shí)施例的成像裝置的內(nèi)部配置的示例的框圖。圖2示出了根據(jù)本公開的實(shí)施例的檢測(cè)在幀內(nèi)生成的FB的閃光帶檢測(cè)電路的內(nèi)部配置的示例。圖。圖。
圖3是示出了根據(jù)本公開的實(shí)施例的等級(jí)比較電路的內(nèi)部配置的示例的框圖。
圖4是示出了根據(jù)本公開的實(shí)施例的水平方向積分單元的內(nèi)部配置的示例的框
圖5是示出了根據(jù)本公開的實(shí)施例的判定保持單元的內(nèi)部配置的示例的框圖。
圖6是示出了根據(jù)本公開的實(shí)施例的區(qū)域判定單元的內(nèi)部配置的示例的框圖。
圖7是示出了根據(jù)本公開的實(shí)施例的垂直方向積分單元的內(nèi)部配置的示例的框
圖8是示出了根據(jù)本公開的實(shí)施例的FB校正處理的操作示例的流程圖。
圖9是示出了根據(jù)本公開的實(shí)施例的全面臉部閃光處理的操作示例的流程圖。
圖10是示出了根據(jù)本公開的實(shí)施例的閃光去除處理的操作示例的流程圖。
圖11是示出了在FB在兩個(gè)幀中連續(xù)生成的情形中的根據(jù)本公開的實(shí)施例的輸出中貞的示例的示意圖。圖12A和圖12B是示出了 FB在三個(gè)幀中連續(xù)生成的情形中的根據(jù)本公開的實(shí)施例的輸出幀的示例的示意圖。圖13A至圖13C是示出了 FB在四個(gè)或更多個(gè)幀中連續(xù)生成的情形中的根據(jù)本公開的實(shí)施例的輸出幀的示例的示意圖。圖14是示出了在FB在一幀中完成的情形中的根據(jù)本公開的實(shí)施例的輸出幀的示例的示意圖。圖15A和圖15B是示出了在相關(guān)技術(shù)中生成在幀中的FB的示例的示意圖。
具體實(shí)施例方式以下，將描述實(shí)現(xiàn)本公開(以下，稱為實(shí)施例)的模式。將以如下的次序呈現(xiàn)該描述。I.實(shí)施例(檢測(cè)到FB并校FB的處理的示例)2.修改后的示例〈I.實(shí)施例 >[檢測(cè)到FB并校正FB的處理的示例]以下，將參照?qǐng)DI至圖14來(lái)描述本公開的實(shí)施例。在本實(shí)施例中，將描述檢測(cè)在幀中所生成的FB并校正所檢測(cè)到的FB的視頻信號(hào)處理電路3以及包括該視頻信號(hào)處理電路3的成像裝置I的示例(以下，稱為“本示例”)。圖I示出了本示例的成像裝置I的內(nèi)部配置的示例。首先，將描述利用通用相機(jī)系統(tǒng)的成像裝置I。與本公開相關(guān)的技術(shù)也被應(yīng)用于在成像裝置I中所使用的成像處理方法。成像裝置I包括成像單元2和對(duì)從成像單元2接收的視頻信號(hào)執(zhí)行預(yù)定處理的視頻信號(hào)處理電路3，該成像單元2包括成像設(shè)備的滾動(dòng)快門系統(tǒng)、透鏡系統(tǒng)等，以及三原色的輸出視頻信號(hào)。關(guān)于該成像設(shè)備，例如使用CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)傳感器。在圖中并未示出包括在成像單元2中的成像設(shè)備、透鏡系統(tǒng)等。成像設(shè)備針對(duì)每個(gè)像素對(duì)通過(guò)透鏡系統(tǒng)入射到目標(biāo)的圖像光進(jìn)行曝光，并且，針對(duì)每行讀出視頻信號(hào)。存在如下的情形由于閃光，針對(duì)每幀，在幀中的行等級(jí)差異FB基于在由包括在成像設(shè)備中的像素所輸出的視頻信號(hào)的曝光時(shí)段中的針對(duì)每行的差異而生成。 然后，通過(guò)利用A/D (模擬/數(shù)字)轉(zhuǎn)換單元，成像單元2將由成像設(shè)備所讀出的視頻信號(hào)從模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，從而生成量化的視頻信號(hào)。視頻信號(hào)處理電路3包括校正從成像單元2所接收的視頻信號(hào)的缺陷的成像系統(tǒng)校正單元31，以及根據(jù)指令調(diào)整視頻信號(hào)的增益等的增益調(diào)整單元32，該指令由用戶等做出，從在圖中未示出的操作單元發(fā)送出來(lái)。在本示例中，成像系統(tǒng)校正單元31和增益調(diào)整單元32被組合，以被用作執(zhí)行對(duì)視頻信號(hào)的線性校正的線性校正單元。將稍后描述的閃光帶檢測(cè)電路10 (參見圖2)檢測(cè)FB的出現(xiàn)以及FB的開始行和結(jié)束行，并且，優(yōu)選地被安裝在成像系統(tǒng)校正單元31或增益調(diào)整單元32中。根據(jù)本公開的實(shí)施例的閃光帶檢測(cè)電路10和包括在線性校正單元中的閃光帶校正電路17檢測(cè)在幀中所生成的FB的開始行和結(jié)束行，并被用作校正FB的閃光帶處理電路和處理閃光帶的方法。另外，閃光帶校正電路17被用作閃光帶校正單元。另外，閃光帶處理電路檢測(cè)當(dāng)前由成像設(shè)備輸出的當(dāng)前幀中的FB的出現(xiàn)。另外， 在當(dāng)前幀之前的預(yù)定數(shù)量幀到當(dāng)前幀之間，閃光帶處理電路檢測(cè)由成像設(shè)備輸出的過(guò)去的幀中的FB的生成。在以下所呈現(xiàn)的描述中，當(dāng)前幀的視頻被縮寫為“當(dāng)前幀”，而過(guò)去幀的視頻被縮寫為“過(guò)去幀”。另外，視頻信號(hào)處理電路3包括執(zhí)行對(duì)視頻信號(hào)的拐點(diǎn)校正(knee correction)的拐點(diǎn)校正單元33和對(duì)視頻信號(hào)執(zhí)行伽瑪校正的伽瑪校正單元34。拐點(diǎn)校正單元33和伽瑪校正單元34被組合，以便被用作對(duì)視頻信號(hào)執(zhí)行非線性校正的非線性校正單元。另外， 視頻信號(hào)處理電路3包括輸出信號(hào)生成單元35，該輸出信號(hào)生成單元將用于輸出從伽瑪校正單元34接收的視頻信號(hào)的輸出信號(hào)輸出到外部記錄介質(zhì)(閃存、HDD等)。由成像單元2輸出的三原色R、G和B的視頻信號(hào)被成像系統(tǒng)校正單元31和增益調(diào)整單元32適當(dāng)?shù)鼐€性處理，并且然后，其等級(jí)被拐點(diǎn)校正單元33壓縮，以便被設(shè)置在預(yù)定信號(hào)規(guī)格中。另外，為了對(duì)應(yīng)于諸如CRT(陰極射線管)之類的監(jiān)視器(視頻信號(hào)從該監(jiān)視器輸出)的伽瑪(gamma)，伽瑪校正單元34執(zhí)行對(duì)視頻信號(hào)的伽瑪校正。之后，輸出信號(hào)生成單元35將視頻信號(hào)轉(zhuǎn)換成最終輸出格式，以用于將其輸出到監(jiān)視器等，并且，將已轉(zhuǎn)換的視頻信號(hào)輸出。圖2示出了檢測(cè)在幀中生成的FB的閃光帶檢測(cè)電路10的內(nèi)部配置和閃光帶校正電路17的示例。閃光帶檢測(cè)電路10比較幀之間的等級(jí)，其中，當(dāng)前幀和過(guò)去幀針對(duì)每個(gè)像素是連續(xù)的，以便獲得對(duì)比結(jié)果，其指定等級(jí)線，其中，基于比較結(jié)果，等級(jí)的變化量很大，并且，檢測(cè)變化量大的連續(xù)等級(jí)線和變化量小的等級(jí)線之間的邊界線，從而檢測(cè)閃光帶的生成。閃光帶檢測(cè)電路10包括記錄過(guò)去幀的記錄單元11和比較當(dāng)前幀和過(guò)去幀的等級(jí)的等級(jí)比較單元12。另外，閃光帶檢測(cè)電路10包括水平方向積分單元13，該水平方向積分單元接收作為針對(duì)每個(gè)像素從等級(jí)比較單元12判定的每個(gè)像素的等級(jí)的變化的結(jié)果的變化量判定值(O或I)并計(jì)算在水平方向上的每行的當(dāng)前幀的積分。以下，等級(jí)的變化被稱為“等級(jí)變化”，而等級(jí)的變化量被稱為“等級(jí)變化量”。水平方向積分單元13包括兩種類型的水平方向積分部件13a和13d。水平方向積分部件13a直接將從在水平方向上的等級(jí)比較單元12輸出的變化量判定值進(jìn)行積分。在另一方面，水平方向積分部件13d包括一行延遲部件13b和減法部件13c，該一行延遲部件 13b存儲(chǔ)在水平方向上的一行的變化量判定值，減法部件13c從作為處理目標(biāo)從等級(jí)比較單元12讀出的當(dāng)前行的變化量判定值中減去由一行延遲部件13b所延遲的一行的變化量判定值。另外，閃光帶檢測(cè)電路10包括區(qū)域判定單元14，該區(qū)域判定單元14基于從稍后描述的判定保持單元16所接收的在水平方向上的積分值判定值和FB開始行判定值以及FB 結(jié)束行判定值從過(guò)去幀的等級(jí)來(lái)判定其中生成了 FB的區(qū)域的等級(jí)的增加或減少。另外，包括垂直方向積分單元15，該垂直方向積分單元15將行數(shù)進(jìn)行積分，該行所在區(qū)域被判定為關(guān)于每個(gè)各種量判定值的由區(qū)域判定單元14輸出的增加區(qū)域判定值或減少區(qū)域判定值(參見圖7，其將稍后描述)。垂直方向積分單元15將指示對(duì)FB的開始的判定的“FB開始判定值”和指示對(duì)FB的結(jié)束的判定的“FB結(jié)束判定值”輸出到判定保持單元16和閃光帶校正電路17。用O或I來(lái)表示FB開始判定值。當(dāng)FB開始判定值是O時(shí)，其指示FB還未開始。在另一方面，當(dāng)FB開始判定值是I時(shí)，其指示FB已經(jīng)開始。另外，用O 或I來(lái)表示FB結(jié)束判定值。當(dāng)FB結(jié)束判定值是O時(shí)，其指示FB還未結(jié)束。在另一方面， 當(dāng)FB結(jié)束判定值是I時(shí)，其指示FB已經(jīng)結(jié)束。另外，閃光帶檢測(cè)電路10包括判定保持單元16，該判定保持單元基于FB開始判定值或FB結(jié)束判定值(以下，被縮寫為“FB開始/結(jié)束判定值”)來(lái)判定當(dāng)前幀是否在FB
7時(shí)段中間。該判定保持單元16在一行或一幀時(shí)段中保持判定結(jié)果。然后，判定保持單元16 獲得作為對(duì)FB的開始行和結(jié)束行的判定結(jié)果的“FB開始行判定值”和“FB結(jié)束行判定值”， 并且，將FB開始行判定值和FB結(jié)束行判定值輸出到區(qū)域判定單元14。閃光帶處理電路包括閃光帶校正電路17，該閃光帶校正電路輸出通過(guò)基于從垂直方向積分單元15接收的FB開始/結(jié)束判定值來(lái)校正包括在當(dāng)前幀和過(guò)去幀中的FB所獲得的輸出幀。閃光帶校正電路17基于預(yù)先設(shè)置的清除模式或復(fù)制模式來(lái)執(zhí)行FB校正。此處，其中執(zhí)行了全面臉部閃光處理、刪除去除處理和通過(guò)輸出(through output)(稍后描述)的處理模式被稱為“清除模式”，而其中執(zhí)行了全面臉部閃光處理和通過(guò)輸出的處理模式被稱為“復(fù)制模式”。然后，閃光帶校正電路17將其FB根據(jù)處理模式被校正的幀作為輸出中貞輸出。接下來(lái)，將描述每個(gè)單元的操作示例。等級(jí)比較單元12將位于當(dāng)前幀和過(guò)去幀的特定位置處(在本示例中，是相同的位置(x，y))的像素的亮度等級(jí)的比率作為等級(jí)變化比而獲得。然后，作為指示位于當(dāng)前幀和之前幀中的相同位置(X，y)處的像素的等級(jí)變化量是否大于預(yù)定閾值的值，等級(jí)比較單元 12在變化量小的情形中將“變化量判定值”輸出為“0”，而在變化量大的情形中將“變化量判定值”輸出為“I”。作為指示通過(guò)對(duì)每行進(jìn)行積分所獲得的積分值的絕對(duì)值是否大于預(yù)定閾值的值， 水平方向積分部件13a在積分值小于閾值的情形中輸出為O的“積分值判定值”，而在積分值大于閾值的情形中輸出為I的“積分值判定值”。另外，水平方向積分單元13輸出“積分值符號(hào)”，其表示積分值的符號(hào)是正的還是負(fù)的。區(qū)域判定單元14基于如下值來(lái)獲得增加區(qū)域或減少區(qū)域從水平方向積分單元 13輸入的積分值判定值和積分值符號(hào)、表示FB的開始行或結(jié)束行并從判定保持單元16輸入的“FB開始行判定值”或“FB結(jié)束行判定值”等等。以下，“FB開始行判定值”或“FB結(jié)束行判定值”被縮寫為“FB開始/結(jié)束行判定值”。區(qū)域判定單元14在當(dāng)前幀中包括增加區(qū)域的情形中輸出“增加區(qū)域判定值”，而在當(dāng)前幀中包括減少區(qū)域的情形中輸出“減少區(qū)域判定值”。此處，其中當(dāng)前幀中的像素等級(jí)高于之前幀中相同位置處的像素等級(jí)的區(qū)域被稱為“增加區(qū)域”，而其中當(dāng)前幀中的像素等級(jí)低于過(guò)去幀中的像素等級(jí)的區(qū)域被稱為“減少區(qū)域”。垂直方向積分單元15累加被判定為當(dāng)前幀的垂直方向上的增加區(qū)域的行數(shù)或被判定為減少區(qū)域的行數(shù)。然后，當(dāng)所累加的行數(shù)超過(guò)預(yù)定閾值時(shí)，垂直方向積分單元15將指示對(duì)FB的開始或結(jié)束的判定的FB開始/結(jié)束判定值輸出到判定保持單元16和閃光帶校正電路17。將稍后描述判定其是否在FB時(shí)段期間中的處理。判定保持單元16基于從垂直方向積分單元15輸入的FB開始/結(jié)束判定值，將 FB開始/結(jié)束行判定值輸出到區(qū)域判定單元14。另外，判定保持單元16將判定FB開始/ 結(jié)束行判定值是“在FB時(shí)段期間中”還是“不在FB時(shí)段期間中”的值輸出到區(qū)域判定單元14。閃光帶校正電路17通過(guò)利用從記錄單元11讀出的當(dāng)前巾貞和過(guò)去巾貞，基于從垂直方向積分單元15接收的FB開始/結(jié)束判定值，來(lái)對(duì)FB進(jìn)行校正并輸出一輸出幀。稍后， 將參照稍后描述的圖8至圖14來(lái)詳細(xì)描述由閃光帶校正電路17執(zhí)行的FB校正處理。
在本公開的實(shí)施例中，用于判定FB的條件是以下四個(gè)條件。第一條件位于當(dāng)前幀和之前幀(過(guò)去幀)中相同位置處的像素的等級(jí)變化大 (等級(jí)比較單元12)。第二條件在一行中存在許多滿足第一條件的像素(水平方向積分單元13)。第三條件滿足第二條件的行在垂直方向上是連續(xù)的(垂直方向積分單元15)。第四條件在垂直方向上的高頻率分量出現(xiàn)在滿足第三條件的一組行中的首行 (leading line)中(區(qū)域判定單元14)。在幀中生成FB的情形中，在其在從過(guò)去幀的等級(jí)增加了亮度等級(jí)的正方向上的等級(jí)變更的一組行(其中閃光被成像的區(qū)域)出現(xiàn)在當(dāng)前幀中之后，在其在減少了亮度等級(jí)的負(fù)方向上的等級(jí)變更(恢復(fù)到原始等級(jí))的一組行出現(xiàn)在當(dāng)前幀中。因此，在滿足第一到第四條件的一組行中，可估計(jì)FB的生成，在其生成在區(qū)域所具有的邊界處，等級(jí)從正方向變化到負(fù)方向。第四條件是用于防止錯(cuò)誤地將高亮度移動(dòng)體檢測(cè)為FB，該高亮度移動(dòng)體的等級(jí)由于其跨越多個(gè)幀的移動(dòng)而在幀中變化。在第四條件中，在存在FB的情形中，存在的如下差異被使用在存在閃光的時(shí)段期間被成像的行的等級(jí)與不存在閃光的時(shí)段期間被成像的行的等級(jí)之間的差異。因此，通過(guò)利用第四條件，通過(guò)檢測(cè)幀的垂直方向上的高頻分量的存在，可彼此識(shí)別閃光和移動(dòng)體。接下來(lái)，將描述閃光帶檢測(cè)電路10的每個(gè)單元的內(nèi)部配置的示例和其操作的示例。圖3是示出了等級(jí)比較單元12的內(nèi)部配置的示例的框圖。等級(jí)比較單元12比較在當(dāng)前幀和過(guò)去幀中的每個(gè)像素的等級(jí)，從而判定第一條件。等級(jí)比較單元12包括將針對(duì)每個(gè)像素輸出的當(dāng)前幀的視頻信號(hào)轉(zhuǎn)換成每個(gè)像素的像素值Y的Y轉(zhuǎn)換部件12a，以及將針對(duì)每個(gè)像素輸出的過(guò)去幀的視頻信號(hào)轉(zhuǎn)換成每個(gè)像素的像素值Y的Y轉(zhuǎn)換部件12b。另外，等級(jí)比較單元12包括減法電路12c，該減法電路 12c將從Y轉(zhuǎn)換部件12a輸入的亮度值Y從Y轉(zhuǎn)換部件12b輸入的亮度值Y中減去。另外， 等級(jí)比較單元12包括選擇部件12d和12e，其每一個(gè)選擇由Y轉(zhuǎn)換部件12a和12b輸出的亮度值Y中的一個(gè)并輸入所選擇的亮度值，以及除法電路12f，該除法電路12f通過(guò)將由選擇部件12d輸出的亮度值Y的等級(jí)除以由選擇部件12e輸出的亮度值Y的等級(jí)來(lái)獲得“等級(jí)變化比”。另外，等級(jí)比較單元12包括減法電路12g，該減法電路12g基于當(dāng)前幀和過(guò)去幀，通過(guò)從第一閾值TH_LV中減去由除法電路12f所獲得的等級(jí)變化比，輸出針對(duì)每個(gè)像素的像素值Y判定變化量的判定結(jié)果。接下來(lái)，將描述等級(jí)比較單元12的操作示例。等級(jí)比較單元12將在當(dāng)前幀和過(guò)去幀中特定位置處的像素的亮度等級(jí)比率作為等級(jí)變化比獲得，并且將表示等級(jí)變化比是等于還是高于第一閾值(TH_LV)的等級(jí)變化量作為變化量判定值獲得。更具體地，Y轉(zhuǎn)換部件12a和12b將輸入到等級(jí)比較單元12的當(dāng)前幀和過(guò)去幀的每個(gè)像素的視頻信號(hào)轉(zhuǎn)換成亮度值Y，并且，減法電路12C減少在當(dāng)前幀和過(guò)去幀中的每個(gè)像素的亮度值Y。此處，減法電路12c在減法結(jié)果為正的情形中將“O”作為符號(hào)位輸出，而在減法結(jié)果為負(fù)的情形中輸出“I”。然后，Y轉(zhuǎn)換部件12a將亮度值Y輸入到選擇部件12s 的輸入端口 O和選擇部件12e的輸入端口 I。另外，Y轉(zhuǎn)換部件12b將亮度值Y輸入到選擇部件12d的輸入端口 I和選擇部件12e的輸入端口 O。選擇部件12d和12e中的每一個(gè)基于減法電路12c的減法結(jié)果，選擇并輸出從Y轉(zhuǎn)換部件12a或12b輸入到輸入端口 O或I的當(dāng)前幀或過(guò)去幀中的每個(gè)像素的亮度值Y。此處，當(dāng)從減法電路12c輸入的符號(hào)位是“I”時(shí)，當(dāng)前幀的亮度值Y的大小大于過(guò)去幀的亮度值Y的大小，并且因此，選擇部件12d輸出當(dāng)前幀的亮度值Y，而選擇部件12e輸出過(guò)去幀的亮度值Y。選擇部件12d在從減法電路12c輸入的符號(hào)為“O”的情形中將輸入到輸入端口 O的亮度值Y輸出，而在符號(hào)為“I”的情形中將輸入到輸入端口 I的亮度值Y輸出。在另一方面，當(dāng)輸入符號(hào)位是“I”時(shí)，過(guò)去幀的亮度值Y大于當(dāng)前幀的亮度值Y，并且因此，選擇部件12d輸出過(guò)去幀的亮度值Y，而選擇部件12e輸出當(dāng)前幀的亮度值Y。在從減法電路 12c輸入的符號(hào)為“O”的情形中，選擇部件12e將輸入到輸入端口 O的亮度值Y輸出，而在符號(hào)為“ I ”的情形中，將輸入到輸入端口 I的亮度值Y輸出。除法電路12f將如下值作為“等級(jí)變化比”獲得從選擇部件12d輸出的具有更高等級(jí)的像素的亮度值Y的等級(jí)與從選擇部件12W輸出的具有更低等級(jí)的像素的亮度值Y的等級(jí)的比率。在圖中所示的等級(jí)變化比被近似地記錄為“更高等級(jí)/更低等級(jí)”。然后，除法電路12f不僅將等級(jí)變化比輸出到減法電路12g，還其輸出到閃光帶校正電路17。在等級(jí)變化比高于閾值TH_LV的情形中，減法電路12g輸出像素的存在，該像素滿足包括在變化量判定值中的第一條件。在當(dāng)前幀和過(guò)去幀中相同位置處的像素的等級(jí)的變化量小的情形中，該變化量判定值被輸出為“0”，而在變化大的情形中，被輸出為“I”。另外，減法電路12C將“變化量符號(hào)”作為變化方向輸出，該變化方向表示正等級(jí)變化量和負(fù)等級(jí)變化量中的一個(gè)。在包括在當(dāng)前幀中的像素等級(jí)高于過(guò)去幀中的像素等級(jí)的情形中， 變化量符號(hào)是正的，并且被設(shè)置為“O”。在另一方面，在包括在過(guò)去幀中的像素等級(jí)高于當(dāng)前幀中的像素等級(jí)的情形中，變化量符號(hào)是負(fù)的，并且被設(shè)置為“ I ”。接下來(lái)，水平方向積分單元13針對(duì)在水平方向上的每行，對(duì)由等級(jí)比較單元12輸出的變化量判定值進(jìn)行積分，以便判定第二條件。圖4是示出了水平方向積分單元13的內(nèi)部配置示例的框圖。水平方向積分單元13包括水平方向積分部件13a，該水平方向積分部件13a通過(guò)對(duì)在水平方向上的每一行具有更大變化量的像素的變化量判定值進(jìn)行積分來(lái)獲得積分值。 另外，水平方向積分單元13包括水平方向積分部件13d，該水平方向積分部件13d通過(guò)對(duì)經(jīng)過(guò)每一行的高通濾波器的變化量判定值進(jìn)行積分來(lái)獲得積分值。在變化量判定值是“O”的情形中，通過(guò)利用水平方向積分部件13a來(lái)對(duì)每行進(jìn)行積分所獲得的積分值是“O”。在另一方面，在變化量判定值是“ I ”的情形中，作為對(duì)變化量判定值進(jìn)行積分的結(jié)果，積分值與具有更大變化量的像素?cái)?shù)相同。水平方向積分部件13a包括乘法部分13al，該乘法部分13al將從等級(jí)比較單元 12輸入的變化量判定值乘以-I。另外，水平方向積分部件13a包括選擇部分13a2，該選擇部分13a2輸入通過(guò)利用乘法部分13al將從等級(jí)比較單元12輸入的變化量判定值乘以_1 所獲得的變化量判定值，并且，基于從等級(jí)比較單元12輸入的變化量符號(hào)，將所選擇的變化量判定值輸出。另外，水平方向積分部件13a包括相加電路13a3，該相加電路13a3對(duì)由選擇部分13a2輸出的對(duì)應(yīng)于在水平方向上的一行的變化量判定值進(jìn)行積分，和絕對(duì)值轉(zhuǎn)換部分13a4，該絕對(duì)值轉(zhuǎn)換部分13a4將積分值轉(zhuǎn)換成絕對(duì)值。另外，水平方向積分部件13a 包括減法電路13a5，該減法電路13a5通過(guò)將由絕對(duì)值轉(zhuǎn)換部分13a4輸出的絕對(duì)值減去閾值TH_INTEG來(lái)輸出“積分值判定值”，該“積分值判定值”用于判定積分值的大小關(guān)系。接下來(lái)，將描述水平方向積分單元13的操作示例。水平方向積分單元13的水平方向積分部件13a通過(guò)對(duì)變化量判定值進(jìn)行積分來(lái)獲得水平方向積分值，該變化量判定值的等級(jí)變化比等于或高于包括在當(dāng)前幀的等級(jí)線中的每個(gè)像素的第一閾值(TH_LV)。然后，水平方向積分部件13a獲得指示在水平方向上的積分值是否等于或大于第二閾值(TH_INTEG)的積分值判定值，并且獲得表示正號(hào)或負(fù)號(hào)之一的積分值符號(hào)。包括在水平方向積分部件13a中的乘法部分13al將通過(guò)把可變量判定值乘以_1 所獲得的值輸入到選擇部分13a2的輸入端口 I。此處，在滿足第一條件的像素的變化量判定值是I的情形中，乘法部分13al將把其乘以-I所獲得的-I輸出到選擇部分13a2。在另一方面，在滿足第一條件的像素的變化量判定值是O的情形中，乘法部分13al將把其乘以-I所獲得的O輸出到選擇部分13a2。變化量判定值被直接輸入到選擇部分13a2的輸入端口 O。在變化量符號(hào)是O的情形中，選擇部分13a2將變化量判定值輸出到輸入端口 0， 而在變化量符號(hào)是I的情形中，選擇部分13a2將變化量判定值輸出到輸入端口 I。加法電路13a3通過(guò)將由對(duì)應(yīng)于一行的選擇部分13a2所輸出的變化量判定值進(jìn)行積分來(lái)獲得積分值。此處，在變化量小的情形中，變化量判定值是0，并且變化量符號(hào)是0，由加法電路13a3 所積分的積分值是O。在變化量大的情形中，根據(jù)變化量符號(hào)由選擇部分13a2所輸出的變化量判定值是積分帶有正號(hào)或負(fù)號(hào)的積分值。加法電路13a3將“積分值符號(hào)”作為知識(shí)積分值是正的還是負(fù)的的符號(hào)輸出。在積分值是正的的情形中，積分值符號(hào)被輸出為0，而在積分值是負(fù)的的情形中，積分值符號(hào)被輸出為I。絕對(duì)值轉(zhuǎn)換部分13a4計(jì)算帶有正號(hào)或負(fù)號(hào)的積分值的絕對(duì)值，并且，減法電路 13a5從閾值TH_INTEG中減去絕對(duì)值并判斷絕對(duì)值的大小關(guān)系。在絕對(duì)值比閾值TH_INTEG 足夠大得多的情形中，減法電路13a5將判定結(jié)果作為“積分值判定值”輸出。此處，在積分值的絕對(duì)值小于閾值TH_INTEG的情形中，減法電路13a5將積分值判定值輸出為0，而在積分值的絕對(duì)值等于或大于閾值TH_INTEG的情形中，減法電路13a5將積分值判定值輸出為 I。水平方向積分單元13的水平方向積分部分13d執(zhí)行類似于上述的水平方向積分部分13a的處理的處理，并且因此，對(duì)省略了對(duì)每個(gè)框的詳細(xì)描述，與配置水平方向積分部分13a的框相同的參考標(biāo)號(hào)被指派給該每個(gè)框。但是，為了在水平方向積分部件13d中判定增加區(qū)域或減少區(qū)域的開始行(第四條件)，一行延遲部件13b被布置在選擇部分13a2 和加法電路13a3之間。換言之，水平方向積分部件13d獲得“HPF積分值”，該HPF積分值是通過(guò)從對(duì)包括在垂直方向中的彼此鄰接的行中并位于水平方向中的相同位置處的每個(gè)像素的其他變化量判定值中減去一個(gè)變化量判定值的結(jié)果進(jìn)行積分所獲得的。此時(shí)，減法部件13c通過(guò)從出現(xiàn)在輸入到水平方向積分部件13d的坐標(biāo)X的位置處的像素所獲得的變化量判定值中減去位于在X方向上的相同位置處并在y方向上被延遲一行的像素所獲得的變化量判定值來(lái)獲得差值。然后，加法電路13a3通過(guò)對(duì)一行的差值進(jìn)行積分而獲得HPF積分值。另外，水平方向積分部件13d獲得HPF積分值判定值，該HPF積分值判定值指示HPF 積分值是等于還是大于第五閾值(TH_HPF_INTEG)，并且，水平方向積分部件13d獲得HPF積分值符號(hào)，該HPF積分值符號(hào)表HPF積分值的符號(hào)是正號(hào)還是負(fù)號(hào)。將一行延遲部件13b和減法部件13c布置在水平方向積分部件13d中的原因是識(shí)別FB和視頻，該視頻通過(guò)利用某現(xiàn)象來(lái)捕獲彼此具有高亮度的運(yùn)動(dòng)體而被獲得，在該現(xiàn)象中，在通過(guò)對(duì)具有高亮度的運(yùn)動(dòng)體進(jìn)行成像所獲得的視頻幀的每行中，彼此的亮度不同。當(dāng) FB被生成，包括在垂直方向上彼此鄰接的行中的像素的亮度值Y的變化量相當(dāng)大。但是，在對(duì)具有高亮度的運(yùn)動(dòng)體進(jìn)行成像的情形中，包括在垂直方向上彼此鄰接的行中的像素的亮度值Y的變化量小。因此，通過(guò)將一行延遲部件13b、減法部件13c和加法電路13a3用作高通濾波器，判定在垂直方向上是否出現(xiàn)高頻分量，并且，僅有FB能被正確識(shí)別，而不將通過(guò)對(duì)具有高亮度的運(yùn)動(dòng)體進(jìn)行成像所獲得的識(shí)別錯(cuò)誤地識(shí)別為FB。之后，減法電路13a5比較由絕對(duì)值轉(zhuǎn)換部分13a4所轉(zhuǎn)換的絕對(duì)值和閾值TH_HPF_ INTEG，并且，輸出“HPF積分值判定值”，以用于判定經(jīng)過(guò)高通濾波器的積分值的大小關(guān)系。 另外，加法電路13a3將“HPF積分值符號(hào)”作為指示HPF積分值的符號(hào)是正的還是負(fù)的的符號(hào)輸出。由于當(dāng)前行的變化量判定值和位于當(dāng)前行之前的一行的變化量判定值的差值是積分目標(biāo)，因此，HPF積分值判定值可被用于判定在垂直方向是否存在高頻分量。在HPF積分值的絕對(duì)值小于閾值TH_HPF_INTEG的情形中，HPF積分值判定值被輸出為0，而在HPF積分值的絕對(duì)值等于或大于閾值TH_HPF_INTEG的情形中，HPF積分值判定值被輸出為I。另外， 在HPF積分值是正的的情形中，HPF積分值的符號(hào)被輸出為0，而在HPF積分值是負(fù)的的情形中，HPF積分值的符號(hào)被輸出為I。接下來(lái)，區(qū)域判定單元14基于水平方向積分單元13的輸出結(jié)果判定第四條件是否滿足。此時(shí)，保持在判定保持單元16中的FB判定結(jié)果被使用。因此，首先，將描述配置的示例和判定保持單元16的操作。圖5是示出了判定保持單元16的內(nèi)部配置的示例的框圖。判定保持單元16包括與(AND)電路16a，該與電路16a獲得從垂直方向積分單元 15輸入的FB開始判定值和行時(shí)段的重置信號(hào)的邏輯積，并且，針對(duì)每行輸出FB開始判定值。另外，判定保持單元16包括與電路16b，該與電路16b獲得從垂直方向積分單元15輸入的FB結(jié)束判定值和行時(shí)段的重置信號(hào)的邏輯積，并且，針對(duì)每行輸出FB結(jié)束判定值。另外，判定保持單元16包括具有S (設(shè)置)端子的鎖存電路16c和16f，由與電路輸出的FB開始判定值被輸入到該S端子。鎖存電路16f的輸出被用作表示FB開始行的FB開始行判定值。另外，判定保持單元16包括與電路16d，該與電路16d獲得鎖存電路16c的輸出信號(hào)的反向信號(hào)和幀時(shí)段的重置信號(hào)的邏輯積。另外，判定保持單元16包括或電路16e，該或電路16e獲得與電路16b和16d的信號(hào)的邏輯和，并且，將結(jié)果信號(hào)輸出到鎖存電路16f的 R(重置)端子。另外，判定保持單元16包括或電路16g，與電路16a的輸出信號(hào)和幀時(shí)段的重置信號(hào)被輸入到該或電路16g，并且，判定保持單元16包括鎖存電路16h，該鎖存電路 16h具有S端子(與電路16b的輸出信號(hào)被輸入到該端子)和R端子(或電路16g的輸出信號(hào)被輸入到該端子)。鎖存電路16h的輸出被用作表示FB結(jié)束行的FB結(jié)束行判定值。
另外，判定保持單元16包括與電路16i，該與電路16i獲得鎖存電路16f的輸出信號(hào)和幀時(shí)段的重置信號(hào)的邏輯積，并且，判定保持單元16包括鎖存電路16j，該鎖存電路 16 j包括S端子(與電路16i的輸出信號(hào)被輸入到該端子)。O被輸入到鎖存電路16 j的R 端子。另外，判定保持單元16包括與電路16k，該與電路16k獲得鎖存電路16f的輸出信號(hào)和鎖存電路16j的反向信號(hào)的邏輯積，并且，判定保持單元16包括與電路161，該與電路 161獲得鎖存電路16h和16j的輸出信號(hào)的邏輯積。與電路16k的輸出信號(hào)被用作表不“不在FB時(shí)段期間和FB開始行判定值”。由與電路161所輸出的輸出值被用于表示“在FB時(shí)段期間和FB結(jié)束行判定值”。接下來(lái)，將描述判定保持單元16的操作的示例。判定保持單元16基于幀的行時(shí)段和根據(jù)行時(shí)段的幀時(shí)段以及幀時(shí)段，針對(duì)預(yù)定時(shí)段保持FB開始判定值和FB結(jié)束判定值。然后，判定保持單元16基于FB開始判定值將表示對(duì)FB開始行的位置的判定的FB開始行判定值輸出到區(qū)域判定單元14，并且，基于FB 結(jié)束判定值將表示對(duì)FB結(jié)束行的位置的判定的FB結(jié)束行判定值輸出到區(qū)域判定單元14。更具體地，判定保持單元16保持在行時(shí)段和幀時(shí)段處的FB開始/結(jié)束判定值(其為垂直方向積分單元15的輸出結(jié)果)，并且，基于在行時(shí)段處所保持的FB開始/結(jié)束判定值，將FB開始/結(jié)束行判定值輸出。然后，判定保持單元16通過(guò)組合在幀時(shí)段處所保持的 FB開始/結(jié)束行判定值，一起輸出“不在FB時(shí)段期間和FB開始行判定值”和“在FB時(shí)段期間和FB結(jié)束行判定值”?！安辉贔B時(shí)段期間和FB開始行判定值”被用于檢測(cè)FB (參見圖14)，該FB在一幀中完成。在這種情形中，對(duì)應(yīng)于FB提示結(jié)束(tip end)的當(dāng)前幀的像素等級(jí)并未從過(guò)去幀的等級(jí)中改變。因此，F(xiàn)B的提示結(jié)束并不是等級(jí)在負(fù)方向上變化的行，而是等級(jí)不變化的行。“在FB時(shí)段期間和FB結(jié)束行判定值”被用于檢測(cè)FB是連續(xù)的，并且，在一幀中FB的結(jié)束緊接其后，下一 FB開始(參見圖12A和圖12B)。在這種情形中，對(duì)應(yīng)于在當(dāng)前幀中所開始的FB的開始結(jié)束的行的像素等級(jí)并未從當(dāng)前幀的等級(jí)中改變。因此，F(xiàn)B的開始結(jié)束并不是等級(jí)在正方向上變化的行，而是等級(jí)不變化的行。接下來(lái)，將描述區(qū)域判定單元14的配置和操作的示例。圖6是示出了區(qū)域判定單元14的內(nèi)部配置的示例的框圖。區(qū)域判定單元14包括與電路14a，該與電路14a獲得從水平方向積分部件13a輸入的積分值判定值和反向積分值符號(hào)的邏輯積，并且，區(qū)域判定單元14包括與電路14b，該與電路14b獲得積分值判定值和積分值符號(hào)的邏輯積。另外，區(qū)域判定單元14包括與電路 14c，該與電路14c獲得從水平方向積分部件13d輸入的HPF積分值判定值和反向HPF積分值符號(hào)的邏輯積，并且，區(qū)域判定單元14包括與電路14d，該與電路14d獲得HPF積分值判定值和HPF積分值符號(hào)的邏輯積。另外，區(qū)域判定單元14包括或電路14e，該或電路14e將與電路14c的輸出信號(hào)和從稍后描述的與電路14m輸出的增加區(qū)域判定值作為輸入接收，并且，獲得其邏輯積。另外，區(qū)域判定單元14包括或電路14f，該或電路14f將與電路14d的輸出信號(hào)和由稍后描述的與電路14η輸出的增加的區(qū)域判定值作為輸入接收，并且，獲得其邏輯積。另外，區(qū)域判定單元14包括與電路14g，該與電路14g將與電路14a和或電路14e 的輸出信號(hào)作為輸入接收，并且，獲得其邏輯積，并且，區(qū)域判定單元14包括與電路14h，該與電路14h將與電路14b的方向輸出信號(hào)和或電路14e的輸出信號(hào)作為輸入接收，并且，獲得其邏輯積。另外，區(qū)域判定單元14包括與電路14i，該與電路14i將與電路14a的反向輸出信號(hào)和或電路Hf的輸出信號(hào)作為輸入接收，并且，獲得其邏輯積，并且，區(qū)域判定單元 14包括與電路14 j，該與電路14 j將與電路14b和或電路14f的輸出信號(hào)作為輸入接收，并且，獲得其邏輯積。另外，區(qū)域判定單元14包括選擇部件14k，該選擇部件14k選擇將與電路14g和 14h的輸出信號(hào)輸入到輸入端口 O和1，并且，基于“在FB時(shí)段期間和FB結(jié)束行判定值”的輸入，將所選擇的輸出信號(hào)輸出。另外，區(qū)域判定單元14包括選擇部件141，該選擇部件141 選擇將與電路14i和14j的輸出信號(hào)輸入到端口 I和0，并且，基于“不在FB時(shí)段期間和FB 開始行判定值”的輸入，將所選擇的輸出信號(hào)輸出。另外，區(qū)域判定單元14包括與電路14m， 該與電路14m獲得選擇部件14k的輸出信號(hào)和反向“FB開始行判定值”的邏輯積，并且，區(qū)域判定單元14包括與電路14η，該與電路14η獲得選擇部件141的輸出信號(hào)和反向“FB結(jié)束行判定值”的邏輯積。與電路14m將增加區(qū)域判定值輸出到垂直積分單元15，并且，與電路14η將增加區(qū)域判定值輸出到垂直方向積分單元15。接下來(lái)，將描述區(qū)域判定值14的操作的示例?；诜e分值判定值和積分值符號(hào)，在積分值符號(hào)是正的的情形中，區(qū)域判定單元 14輸出表示對(duì)增加區(qū)域的判定的增加區(qū)域判定值，在該增加區(qū)域中，包括在當(dāng)前幀中的像素的亮度高于包括在過(guò)去幀中的像素的亮度。在另一方面，在積分值符號(hào)是負(fù)的的情形中， 區(qū)域判定單元14輸出表示對(duì)減少區(qū)域的判定的減少區(qū)域判定值，在該減少區(qū)域中，包括在當(dāng)前幀中的像素的亮度低于包括在過(guò)去幀中的像素的亮度。另外，區(qū)域判定單元14通過(guò)基于HPF積分值判定值和HPF積分值符號(hào)來(lái)判定在垂直方向上是否出現(xiàn)高頻分量，從而基于閃光來(lái)檢測(cè)是否出現(xiàn)FB。在如下情形中，區(qū)域判定單元14判定增加區(qū)域“在FB時(shí)段期間和FB結(jié)束行判定值”為1、HPF積分值判定值為1，以及HPF積分值符號(hào)是O (正的)。該增加區(qū)域是一組行， 該行到達(dá)至積分值是I (積分值在負(fù)方向上大)的行，并且，在該行之后，積分值判定值是I。 另外，在如下情形中，增加區(qū)域在判定“在FB時(shí)段期間和FB結(jié)束行判定值”是0、HPF積分值判定值是1，并且HPF積分值符號(hào)是O (正的)。該增加區(qū)域是一組行，在該組行之后，積分值判定值是1，并且，積分值符號(hào)是0(積分值在正方向上大)。增加區(qū)域是滿足第一、第二和第四條件的區(qū)域，并且，具有在正方向上變化的等級(jí)(等級(jí)在負(fù)方向上不變化)。在另一方面，在如下情形中，在到達(dá)積分值在正方向上增加的行之后的一組行被判定為減少區(qū)域“不在FB時(shí)段期間和FB開始行判定值”是I、HPF積分值判定值是1，并且，HPF積分值符號(hào)是I。另外，在如下情形中，在到達(dá)積分值在負(fù)方向上增加的行之后的一組行被判定為減少區(qū)域“不在FB時(shí)段期間和FB開始行判定值”是0、HPF積分值判定值是 1，并且，HPF積分值符號(hào)是I。減少區(qū)域是滿足第一、第二和第四條件的區(qū)域，并且，具有在負(fù)方向上變化的等級(jí)(或不在正方向上變化的等級(jí))。接下來(lái)，垂直方向積分單元15判定通過(guò)基于區(qū)域判定單元14的輸出結(jié)果對(duì)一組連續(xù)行進(jìn)行積分(計(jì)數(shù))來(lái)判定是否滿足第三條件。以下，將描述垂直方向積分單元15的配置和操作示例。圖7是示出了垂直方向積分單元15的內(nèi)部配置的示例的框圖。
垂直方向積分單元15包括計(jì)數(shù)器15a，該計(jì)數(shù)器15a在從區(qū)域判定單元14輸入的區(qū)域判定值是I的情形中，對(duì)計(jì)數(shù)值進(jìn)行積分，而在增加區(qū)域判定值是O的情形中，將計(jì)數(shù)值重置，并且，垂直方向積分單元15包括減法部件15b，該減法部件15b通過(guò)從閾值TH_UP_ LINES中減去計(jì)數(shù)值而獲得相減值。當(dāng)認(rèn)識(shí)到增加區(qū)域的數(shù)量大于由閾值TH_UP_LINES所定義的行數(shù)時(shí)，減法部件15b輸出FB開始判定值。另外，垂直方向積分單元15包括計(jì)數(shù)器 15c，該計(jì)數(shù)器15c在從區(qū)域判定單元14輸入的增加區(qū)域判定值是I的情形中，對(duì)計(jì)數(shù)值進(jìn)行積分，而在減少區(qū)域判定值是O的情形中，將計(jì)數(shù)值重置，并且，垂直方向積分單元15包括減法部件15d，該減法部件15d從閾值TH_DN_LINES中減去計(jì)數(shù)值。當(dāng)認(rèn)識(shí)到增加區(qū)域的數(shù)量大于由閾值TH_DN_LINES所定義的行數(shù)時(shí)，減法部件15d輸出FB結(jié)束判定值。接下來(lái)，將描述垂直方向積分單元15的操作的示例。此時(shí)，在通過(guò)針對(duì)在垂直方向上的每行的增加區(qū)域判定值進(jìn)行積分所獲得的增加區(qū)域判定值積分值等于或大于第三閾值(TH_UP_LINES)的情形中，垂直方向積分單元15輸出表示FB在幀中開始的FB開始判定值。另外，在通過(guò)針對(duì)在垂直方向上的每行的減少區(qū)域判定值進(jìn)行積分所獲得的減少區(qū)域判定值積分值等于或大于第四閾值(TH_DN_LINES)的情形中，垂直方向積分單元15輸出表示FB在幀中結(jié)束的FB結(jié)束判定值。更具體地，計(jì)數(shù)器15a對(duì)其增加區(qū)域判定值是I (等級(jí)在滿足第一、第二和第四條件的區(qū)域中的正方向上變化)的連續(xù)行的數(shù)量進(jìn)行計(jì)數(shù)。在所計(jì)數(shù)的值大于閾值TH_UP_ LINES的情形中，減法部件15b判定FB的開始，并且，將增加區(qū)域判定值重置為O。在另一方面，計(jì)數(shù)器15c對(duì)減少區(qū)域判定值是I的行的數(shù)量進(jìn)行計(jì)數(shù)。然后，在所計(jì)數(shù)的值大于閾值TH_DN_LINES的情形中，減法部件15d判定FB的結(jié)束，并且，將減少區(qū)域判定值重置為O。閃光帶校正電路17判定一組行，該組行開始于垂直方向積分單元15輸出FB開始判定值的行，并結(jié)束于FB結(jié)束判定值被作為“FB估計(jì)部件”輸出的行，該部件被估計(jì)為其中 FB是連續(xù)的的部件。另外，在如下情形中，F(xiàn)B結(jié)束判定值是無(wú)效的FB的結(jié)束是在未判定 FB的開始的狀態(tài)中判定的。然后，將描述基于FB開始/結(jié)束判定值利用當(dāng)前幀和過(guò)去幀來(lái)執(zhí)行FB校正的閃光帶校正電路17的處理的示例。圖8是示出了 FB校正處理的操作示例的流程圖。首先，閃光帶校正電路17基于由閃光帶檢測(cè)電路10輸出的FB開始/結(jié)束判定值來(lái)判定FB開始判定值是否出現(xiàn)在幀中(步驟SI)。在未出現(xiàn)FB開始判定值的情形中，過(guò)去幀(用于檢測(cè)FB的目標(biāo)幀)被直接輸出(以下，稱為“通過(guò)輸出“)，而不執(zhí)行對(duì)其的任何校正處理(步驟S2)。在該通過(guò)輸出中，不僅輸出通過(guò)復(fù)制過(guò)去幀所獲得的輸出陣，而且存在通過(guò)復(fù)制當(dāng)前幀所獲得的輸出幀被輸出的情形。在出現(xiàn)FB開始判定值的情形中，判定FB結(jié)束判定值是否出現(xiàn)在幀中(步驟S3)。 在未出現(xiàn)FB結(jié)束判定值的情形中，可以估計(jì)，其當(dāng)前在FB時(shí)段期間內(nèi)。在這種情形中，“全面臉部閃光處理”被執(zhí)行，其中，比較包括在當(dāng)前幀和過(guò)去幀中的像素的亮度值，并且，輸出將要替換到具有更大亮度值的像素中的輸出幀，從而決定由于FB而導(dǎo)致的等級(jí)中差異(步驟S4)。通過(guò)全面臉部處理，在特定幀中的像素的等級(jí)可被提升，以便在整個(gè)臉部上均勻。 另外，在包括當(dāng)前幀和過(guò)去幀的兩幀中，可添加(平均)像素。但是，通過(guò)平均而進(jìn)行閃光校正之后的等級(jí)是原始等級(jí)的1/2。
在步驟S3的處理中，在出現(xiàn)FB開始判定值和FB結(jié)束判定值的情形中，可以估計(jì)， 當(dāng)前行在FB的結(jié)束之后。在這種情形中，執(zhí)行“閃光去除處理”(步驟S4)，其中，通過(guò)比較包括在當(dāng)前幀和過(guò)去幀中的像素的亮度值以及輸出將要替換到具有更低亮度的像素中的輸出幀，閃光的影響被去除。另外，“復(fù)制模式”可被選擇，其中，當(dāng)前幀是通過(guò)輸出(參見圖 11至圖14)。但是，在下一個(gè)將要開始的FB被包括在完成FB的當(dāng)前幀中的情形中，當(dāng)通過(guò)輸出被執(zhí)行時(shí)，以下所公開的FB被直接表示。針對(duì)在一幀中完成的FB (圖14)，在其中開始了 FB的幀緊接其后的幀被估計(jì)為在 FB的結(jié)束之后。因此，通過(guò)降低幀中的等級(jí)以在整個(gè)臉部均勻，用于排除閃光的閃光去除處理被執(zhí)行。在一幀中完成的FB的情形中，由于閃光被成像的區(qū)域并未出現(xiàn)在過(guò)去幀中，并且因此，很難執(zhí)行組合了當(dāng)前幀和過(guò)去幀的全面臉部閃光處理。因此，F(xiàn)B被從當(dāng)前幀中去除的“閃光去除處理”是有效的校正方法。圖9是示出了在圖8中所示出的步驟S4中所描述的全面臉部閃光處理的操作示例的流程圖。在全面臉部閃光處理中，如下處理被執(zhí)行包括在當(dāng)前幀和過(guò)去幀中的具有高等級(jí)的亮像素被在輸出幀中收集。首先，閃光帶校正電路17比較在當(dāng)前幀和過(guò)去幀中的每個(gè)像素的等級(jí)(步驟 Sll)。然后，判定包括在當(dāng)前幀中的像素的等級(jí)是否高于包括在過(guò)去幀中的像素的等級(jí) (步驟S12)。接下來(lái)，在包括在當(dāng)前幀中的像素的等級(jí)高于包括在過(guò)去幀中的像素的等級(jí)的情形中，判定通過(guò)將當(dāng)前幀的像素的等級(jí)除以過(guò)去幀的像素的等級(jí)所獲得的“等級(jí)變化率”是否大于閾值TH_LV(步驟S13)。在該等級(jí)變化率大于閾值TH_LV的情形中，輸出幀被輸出 (步驟S14)，其中，其等級(jí)低的像素被替換為過(guò)去幀中具有高等級(jí)的像素。在另一方面，在等級(jí)變化率低(等于或小于閾值TH_LV)的情形中，根據(jù)等級(jí)變化率，當(dāng)前幀的等級(jí)和過(guò)去幀的等級(jí)通過(guò)α被混合。在變化率是I的情形(等級(jí)相同)中， 此時(shí)的混合率α被設(shè)置為O. 5，而在變化率是TH_LV的情形中，被設(shè)置為1.0。當(dāng)具有更高等級(jí)的像素的等級(jí)是H并且具有更低等級(jí)的像素的等級(jí)式L的情形中，以下計(jì)算方程滿足上述混合率α。在以下呈現(xiàn)的描述中，為了簡(jiǎn)化方程，存在如下情形包括在當(dāng)前幀中的像素的等級(jí)被縮寫為“當(dāng)前的”，而包括在過(guò)去幀中的像素的等級(jí)被縮寫為“過(guò)去的”。
\.0(H>LxTH _LV)
a =—————+ 0.5(其他情形)……⑴
2Lx(TH _LV-l)在本示例的閃光帶校正電路17中，α =(當(dāng)前的-過(guò)去的)/(2Χ過(guò)去的X (ΤΗ_ LV-l)+l/2)，并且，當(dāng)前的X α+過(guò)去的X (l-α)的處理被執(zhí)行(步驟S15)。另外，優(yōu)選的是，應(yīng)用低通濾波器(LPF)，使得混合率α在幀的空間方向上是平滑的。因此，通過(guò)生成圖像(其中，閃光在整個(gè)臉部上成像)，輸出幀被輸出。同樣，在當(dāng)前幀的像素等于或低于過(guò)去幀的像素的情形中，類似于步驟S13，閃光帶校正電路17判定等級(jí)變化率是否高于在步驟S12的處理中的閾值TH_LV(步驟S16)。在等級(jí)變化率高于閾值TH_LV的情形中，通過(guò)將在過(guò)去幀中具有低等級(jí)的像素替換為在當(dāng)前幀中具有高等級(jí)的像素，輸出幀被輸出(步驟S17)。
16
在等級(jí)變化率低(等于或低于閾值TH_LV)的情形中，閃光帶校正電路17根據(jù)等級(jí)變化率通過(guò)a混合等將像素等級(jí)混合。在本示例中，α =(過(guò)去的-當(dāng)前的)/(2χ當(dāng)前的x(TH_LV-l))+l/2，并且，當(dāng)前的Χ(1-α) +過(guò)去的χα的處理被執(zhí)行(步驟S15)。另外， 希望應(yīng)用低通濾波器，使得混合率α在幀的空間方向上是平滑的。因此，輸出幀被輸出，其中，閃光在整個(gè)臉部上被成像的視頻被生成。圖10是示出了在圖8中所示的步驟S5中所描述的閃光去除處理的操作示例的流程圖。在該閃光去除處理中，如下處理被執(zhí)行具有包括在當(dāng)前幀和過(guò)去幀中的低等級(jí)的黑像素被在輸出幀中收集。不同于參照?qǐng)D9所描述的全面臉部閃光處理，閃光帶校正電路17將在當(dāng)前幀中具有高等級(jí)的像素替換為在過(guò)去幀中具有低等級(jí)的像素。更具體地，針對(duì)在全面臉部閃光處理中所計(jì)算的混合率α，可將l-α設(shè)置為混合率。因此，可生成其中閃光未被包括在幀的整個(gè)臉部中的視頻，換言之，可生成其中FB被去除的視頻。首先，閃光帶校正電路17比較在當(dāng)前幀和過(guò)去幀中的每個(gè)像素的等級(jí)(步驟 S21)。然后，閃光帶校正電路17判定包括在當(dāng)前幀中的像素的等級(jí)是否高于包括在過(guò)去幀中的像素的等級(jí)(步驟S22)。接下來(lái)，在包括在當(dāng)前幀中的像素的等級(jí)高于包括在過(guò)去幀中的像素的等級(jí)的情形中，閃光帶校正電路17判定等級(jí)變化率是否高于閾值TH_LV(步驟S23)。在等級(jí)變化率高于閾值TH_LV的情形中，通過(guò)將在過(guò)去幀中具有高等級(jí)的像素替換為在當(dāng)前幀中具有低等級(jí)的像素，輸出幀被輸出(步驟S24)。在等級(jí)變化率低(等于或低于閾值TH_LV)的情形中，閃光帶校正電路17根據(jù)等級(jí)變化率通過(guò)a混合等將等級(jí)混合。在變化率是I (等級(jí)相同)的情形中，此時(shí)的混合率a 被設(shè)置為值O. 5，而在變化率是TH_LV的情形中，被設(shè)置為I. O。在本示例的閃光帶校正電路17中，α =(當(dāng)前的-過(guò)去的)/(2χ過(guò)去的χ(ΤΗ_ LV_l))+l/2，并且，當(dāng)前的χ(Ι-α)+過(guò)去的χα的處理被執(zhí)行(步驟S25)。另外，優(yōu)選的是，應(yīng)用低通濾波器，使得混合率α在幀的空間方向上是平滑的。因此，通過(guò)生成在整個(gè)臉部上去除了 FB的圖像，輸出巾貞被輸出。在步驟S22的處理中，同樣，在當(dāng)前幀的像素的等級(jí)等于或低于過(guò)去幀的像素的等級(jí)的情形中，類似于步驟S23，閃光帶校正電路17判定等級(jí)變化率是否高于閾值ΤΗ_ LV(步驟S26)。在等級(jí)變化率高于閾值TH_LV的情形中，通過(guò)將在過(guò)去幀中具有高等級(jí)的像素替換為在當(dāng)前幀中具有低等級(jí)的像素，輸出幀被輸出(步驟S27)。在等級(jí)變化率低(等于或低于閾值TH_LV)的情形中，閃光帶校正電路17根據(jù)等級(jí)變化率通過(guò)α混合等將像素的等級(jí)混合(步驟S26)。閃光帶校正電路17將α設(shè)置為α =(過(guò)去的-當(dāng)前的)/(2χ當(dāng)前的x(TH_LV_l))+l/2，并且，執(zhí)行當(dāng)前的χα +過(guò)去的 x(l-a)的處理(步驟S25)。另外，希望應(yīng)用低通濾波器，使得混合率α在幀的空間方向上是平滑的。因此，輸出幀被輸出，其中，視頻被在與當(dāng)閃光在整個(gè)臉部上時(shí)的狀態(tài)相同的狀態(tài)中成像。接下來(lái)，將參照?qǐng)D11至圖14來(lái)描述操作示例，其中，閃光帶檢測(cè)電路10檢測(cè)在幀中所生成的FB，并且，閃光帶校正電路17對(duì)FB進(jìn)行校正。圖11示出了在FB在兩幀中連續(xù)生成的情形中的輸出幀的示例。
在圖11中，從第一幀到第五幀，示出了輸入到閃光帶檢測(cè)電路10的視頻幀。在本示例中，F(xiàn)B在第二幀的下部和第三幀的上部生成。閃光帶檢測(cè)電路10從FB的第二幀的開始行在輸入的視頻幀中檢測(cè)增加區(qū)域，并且，從FB的第三幀的結(jié)束行檢測(cè)減少區(qū)域。然后，閃光帶校正電路17將第一幀作為也在去除模式和復(fù)制模式之中的一個(gè)中的通過(guò)輸出輸出。接下來(lái)，閃光帶校正電路17執(zhí)行全面臉部閃光處理，其中，第二幀和第三幀的增加區(qū)域被組合，并且，輸出結(jié)果。接下來(lái)，在去除模式中，第三幀和第四幀的減少區(qū)域被組合和輸出，閃光被去除。在另一方面，在復(fù)制模式中， 第四幀被作為通過(guò)輸出輸出。由于在那之后FB校正對(duì)輸出幀而言不是必須的，因此，輸出幀別直接作為通過(guò)輸出輸出。另外，當(dāng)通過(guò)輸出被執(zhí)行時(shí)，閃光帶校正電路17將在當(dāng)前幀之前一幀的過(guò)去幀設(shè)置為輸出幀。但是，在FB包括在當(dāng)前幀的前一幀中的幀之中并且全面臉部閃光處理或閃光去除處理未執(zhí)行的情形中，作為通過(guò)輸出而被輸出的幀被變更，使得當(dāng)前幀被設(shè)置為輸出幀，并且之后，過(guò)去幀被設(shè)置為輸出幀。圖12A和12B是示出了 FB在三幀中連續(xù)生成的情形中的輸出幀的示例的示意圖。在圖12A和圖12B中，從第一幀到第六幀示出了輸入到閃光帶檢測(cè)電路10的視頻幀。在本示例中，從第二幀到第四幀，F(xiàn)B被生成兩次。圖12A示出了在FB中存在中斷的情形中的FB檢測(cè)處理和FB校正處理的示例。在本示例中，雖然FB從第二幀到第四幀中生成，閃光在短時(shí)間內(nèi)連續(xù)，但是，F(xiàn)B被在第三幀中中斷。在這種情形中，閃光帶檢測(cè)電路10從包括在第一次出現(xiàn)閃光的第二幀中的FB開始行檢測(cè)增加區(qū)域，并且，識(shí)別到FB結(jié)束行，在該行處，減少區(qū)域被檢測(cè)為FB估計(jì)部分。另外，在第三幀中，從閃光結(jié)束處的FB結(jié)束行檢測(cè)減少區(qū)域，并且接下來(lái)，從包括在閃光再次出現(xiàn)的區(qū)域中的FB開始行檢測(cè)增加區(qū)域。然后，在第四幀中，從閃光被中斷處的 FB結(jié)束行識(shí)別減少區(qū)域，并且，還在第五幀中識(shí)別減少區(qū)域。然后，在去除模式和復(fù)制模式中的任意一個(gè)中的閃光帶校正電路17將第一幀作為通過(guò)輸出而輸出，并且通過(guò)組合增加區(qū)域，將第二幀和第三幀以及第三幀和第四幀作為整個(gè)臉部閃光輸出。另外，在去除模式中，第四幀和第五幀的減少區(qū)域被組合并通過(guò)去除閃光而輸出。另外，在復(fù)制模式中，第五巾貞被作為通過(guò)輸出而輸出。針對(duì)在那之后的輸出中貞， FB校正不是必須的，并且，輸出幀被直接作為通過(guò)輸出而輸出。圖12B示出了在FB中不存在中斷的情形中的FB檢測(cè)處理和FB校正處理的示例。圖12B與圖12A的不同之處在于在第三幀中不存在FB中斷。因此，閃光帶檢測(cè)電路10通過(guò)在每幀中檢測(cè)增加區(qū)域和減少區(qū)域而檢測(cè)FB的生成。然后，如在圖12A中所示，閃光帶校正電路17輸出其中FB被作為通過(guò)輸出生成的幀，并且，輸出其中通過(guò)組合增加區(qū)域而生成FB的幀。另外，閃光帶校正電路17輸出其中包括了 FB結(jié)束行和通過(guò)組合下一幀的減少區(qū)域而被去除的閃光的幀。圖13A至圖13C示出了 FB在四個(gè)或更多個(gè)幀中被連續(xù)生成的情形中的輸出幀的示例。在圖13A至圖13C中，從第一幀到第七幀示出了輸入到閃光帶檢測(cè)電路10的視頻幀。在本示例中，從第二幀到第五幀，F(xiàn)B被生成兩次。圖13A示出了在FB在四幀上連續(xù)生成并且在一幀上存在FB中斷的情形中的FB檢測(cè)處理和FB校正處理的示例。在本示例中，雖然從第二幀到第五幀中生成FB，閃光在短時(shí)間內(nèi)連續(xù)，但是，從第三幀到第四幀，F(xiàn)B被中斷。FB被中斷的時(shí)段具有等于或長(zhǎng)于一幀的長(zhǎng)度。在這種情形中， 閃光帶檢測(cè)電路10識(shí)別區(qū)域，其中，從第二幀到第三幀并從第四幀到第五幀，增加區(qū)域被檢測(cè)為FB估計(jì)部分。另外，閃光帶檢測(cè)電路10將從第三幀的FB結(jié)束行到第四幀和第五幀以及之后處閃光被中斷的區(qū)域識(shí)別為減少區(qū)域。然后，在去除模式和復(fù)制模式中的任意一個(gè)中的閃光帶校正電路17將第一幀作為通過(guò)輸出而輸出，并且，執(zhí)行全面臉部閃光處理，其中，針對(duì)第二幀、第三幀、第四幀和第五幀，增加區(qū)域被組合，并且，輸出經(jīng)過(guò)處理后的幀。另外，在去除模式中，針對(duì)第三幀和第四幀執(zhí)行全面臉部閃光處理，并且，通過(guò)組合其減少區(qū)域并執(zhí)行針對(duì)其的閃光去除處理來(lái)輸出第五幀和第六幀。另外，在復(fù)制模式中，第四幀和第五幀被作為通過(guò)輸出而輸出。針對(duì)在那之后的輸出幀，F(xiàn)B校正不是必須的，并且，輸出幀被直接輸出為通過(guò)輸出。圖13B示出了 FB在四幀或更多幀中連續(xù)生成并在少于一幀中存在FB中斷的情形中的FB檢測(cè)處理和FB校正處理的示例。在本示例中，雖然從第二幀到第五幀生成了 FB，閃光在短時(shí)間內(nèi)是連續(xù)的，但是， 從第三幀到第四幀，F(xiàn)B被中斷。FB被中斷的時(shí)段具有少于一幀的長(zhǎng)度。在這種情形中，閃光帶檢測(cè)電路10將從第二幀到第三幀和從第四幀到第五幀中檢測(cè)到增加區(qū)域的部分識(shí)別為FB估計(jì)部分。另外，閃光帶檢測(cè)電路10從FB結(jié)束行(其中，閃光被從第三幀中斷)到第四幀和第五幀和之后幀識(shí)別減少區(qū)域。然后，在去除模式和復(fù)制模式中的任意一個(gè)中的閃光帶校正電路17將第一幀作為通過(guò)輸出而輸出，并且，執(zhí)行全面臉部閃光處理，其中，針對(duì)第二幀、第三幀、第四幀和第五幀，增加區(qū)域被組合，并且，輸出經(jīng)過(guò)處理后的幀。另外，在去除模式中，針對(duì)第三幀和第四幀執(zhí)行全面臉部閃光處理，并且，通過(guò)組合其減少區(qū)域并執(zhí)行針對(duì)其的閃光去除處理來(lái)輸出第五幀和第六幀。另外，在復(fù)制模式中，第四幀和第五幀被作為通過(guò)輸出而輸出。針對(duì)在那之后的輸出幀，F(xiàn)B校正不是必須的，并且，輸出幀被直接輸出為通過(guò)輸出。圖13C示出了 FB在四幀或更多幀上連續(xù)生成并在FB中不存在中斷的情形中的FB 檢測(cè)處理和FB校正處理的示例。在本示例中，雖然FB從第二幀到第五幀被生成，閃光存在了很長(zhǎng)時(shí)間，但是，在FB 中不存在中斷。在這種情形中，閃光帶檢測(cè)電路10將從第二幀到第五幀檢測(cè)到增加區(qū)域的部分識(shí)別為FB估計(jì)部分。另外，閃光帶檢測(cè)電路10從FB結(jié)束行識(shí)別減少區(qū)域，閃光被在第五幀和第六幀中中斷。然后，在去除模式和復(fù)制模式中的任意一個(gè)中的閃光帶校正電路17將第一幀作為通過(guò)輸出而輸出，并且，執(zhí)行全面臉部閃光處理，其中，針對(duì)第二幀、第三幀、第四幀，增加區(qū)域被組合，并且，將經(jīng)過(guò)處理后的幀作為全面臉部閃光輸出。另外，在第四幀之后的輸出中貞被直接作為通過(guò)輸出而輸出。圖14示出了 FB在一幀中完成的情形中的惡輸出幀的示例。在圖14中，從第一幀到第四幀示出了輸入到閃光帶檢測(cè)電路10的視頻幀。在本示例，雖然FB在第二幀中生成，但是，該FB在第二幀中完成。在這種情形中，閃光帶檢測(cè)電路10將在第二幀中檢測(cè)到增加區(qū)域的部分識(shí)別為FB估計(jì)部分。另外，在第三幀中，閃光帶檢測(cè)電路10從FB結(jié)束行識(shí)別減少區(qū)域，在第二幀中檢測(cè)到減少區(qū)域。然后，閃光帶檢測(cè)電路17將第一幀作為通過(guò)輸出而輸出。在去除模式中，通過(guò)組合第二幀和第三幀并對(duì)其執(zhí)行去除處理，第二幀和第三幀被輸出，而在復(fù)制模式中，第二幀被作為通過(guò)輸出而輸出。針對(duì)在那之后的輸出巾貞，對(duì)FB的校正不是必須的，并且,輸出巾貞被直接作為通過(guò)輸出而輸出。根據(jù)實(shí)施例的上述閃光帶檢測(cè)電路10通過(guò)檢測(cè)在幀中所生成的FB的開始行和結(jié)束行可檢測(cè)其中實(shí)時(shí)地生成了 FB的幀。因此，通過(guò)執(zhí)行所檢測(cè)的FB所適合的校正處理，視頻處理所必須的時(shí)間被縮短，因而存在如下優(yōu)點(diǎn)輸出幀可實(shí)時(shí)地輸出。除了兩幀連續(xù)的FB之外，三幀或更多幀連續(xù)的FB或在一幀中完成的FB被檢測(cè)， 并且，所檢測(cè)到的FB可被校正。另外，不僅可檢測(cè)到從過(guò)去幀到當(dāng)前幀的FB的生成，還可檢測(cè)到僅在當(dāng)前幀中生成的FB，該FB在相關(guān)技術(shù)中很難檢測(cè)和校正。由于閃光帶校正電路 17校正所檢測(cè)到的FB，僅在一幀或多幀上的FB被有效地校正，因而，可改善輸出幀的視頻質(zhì)量。另外，閃光帶校正電路17可通過(guò)利用基于由閃光帶檢測(cè)電路10所獲得的FB開始 /結(jié)束判定值的全面臉部閃光處理或閃光去除處理來(lái)根據(jù)幀中的增加區(qū)域和減少區(qū)域校正 FB。此時(shí)，根據(jù)如下情形，選擇合適的校正方法FB在兩幀或更多幀中連續(xù)的情形中的全面臉部閃光或FB在一幀中完成的情形中的閃光去除。另外，通過(guò)像素在當(dāng)前幀和過(guò)去幀之間交換的FB校正，與包括在校正前的幀中的原始閃光的等級(jí)相比，包括在校正后的輸出幀中的閃光視頻的等級(jí)并未減少。另外，通過(guò)任意設(shè)置去除模式或復(fù)制模式，閃光帶校正電路17 可選擇輸出一幀，其中，F(xiàn)B作為通過(guò)輸出而生成。另外，當(dāng)執(zhí)行FB檢測(cè)和FB校正時(shí)，閃光帶檢測(cè)電路10和閃光燈校正電路17 二者可僅參照兩幀，該兩幀包括當(dāng)前幀和緊接當(dāng)前幀之前的過(guò)去幀。因此，可包括作為對(duì)應(yīng)于一幀的幀存儲(chǔ)器的記錄單元11，并且因此，可以以低成本實(shí)現(xiàn)閃光帶處理電路?！?.修改后的示例〉另外，在幀中檢測(cè)到FB之后，閃光帶檢測(cè)電路10可將指示對(duì)FB的檢測(cè)的符號(hào)指派給檢測(cè)到FB的幀的輔助數(shù)據(jù)區(qū)域?；谠摲?hào)，閃光帶校正電路17可校正該FB。因此， 在由閃光帶檢測(cè)電路10檢測(cè)到FB的幀被一次記錄在記錄單元11中之后，閃光帶校正電路 17可從記錄單元11讀出幀，并且，根據(jù)符號(hào)來(lái)校正FB。在相關(guān)技術(shù)中，作為校正所檢測(cè)到的FB的方法，存在一般的方法，其中，F(xiàn)B出現(xiàn)在底部和上部的兩幀被添加和平均。因此，通過(guò)利用將包括在當(dāng)前幀和過(guò)去幀中的像素的亮度值進(jìn)行添加和平均的方法，可以以靈活的方式回應(yīng)成像環(huán)境。另外，根據(jù)上述實(shí)施例的一系列處理可以由硬件或軟件執(zhí)行。在由軟件來(lái)執(zhí)行一系列處理的情形中，其可由其中配置軟件的程序被嵌入到專用硬件的計(jì)算機(jī)來(lái)執(zhí)行，或者可由安裝了執(zhí)行各種功能的程序的計(jì)算機(jī)來(lái)執(zhí)行。例如，可通過(guò)將配置所希望的軟件的程序安裝到通用個(gè)人計(jì)算機(jī)等來(lái)執(zhí)行一系列處理。另外，其上記錄了實(shí)現(xiàn)上述實(shí)施例的功能的軟件的程序代碼的記錄介質(zhì)可被提供給系統(tǒng)或裝置。另外，很顯然，通過(guò)利用系統(tǒng)的計(jì)算機(jī)(或諸如CPU之類的控制設(shè)備)或裝置，通過(guò)讀出并執(zhí)行存儲(chǔ)在記錄介質(zhì)上的程序代碼，可實(shí)現(xiàn)功能。作為在這種情形中的用于提供程序代碼的記錄介質(zhì)，例如可使用靈活盤、硬盤、光盤、磁光盤、CD-ROM、CD-R、磁帶、非易失性存儲(chǔ)卡、ROM等。另外，計(jì)算機(jī)執(zhí)行所讀出的代碼，從而實(shí)現(xiàn)上述實(shí)施例的功能。另外，基于程序代碼的指令，操作計(jì)算機(jī)的OS等執(zhí)行部分或全部的實(shí)際處理。這里包括由處理來(lái)實(shí)現(xiàn)上述實(shí)施例的功能的情形。另外，本公開并不限于上述實(shí)施例，并且，很顯然，可使用其他各種應(yīng)用和修改后的示例，只要它們不偏離由所附權(quán)利要求所定義的本公開的概念即可。另外，本公開還可具有以下配置。(I)提供了一種閃光帶處理電路，包括閃光帶檢測(cè)電路，該閃光帶檢測(cè)電路基于由包括在利用滾動(dòng)快門系統(tǒng)的成像設(shè)備中的像素針對(duì)每幀所輸出的每行的視頻信號(hào)的曝光時(shí)段差來(lái)檢測(cè)閃光帶的開始行和結(jié)束行，該閃光帶是在幀中根據(jù)閃光所生成的每行的等級(jí)差。(2)在(I)中所描述的閃光帶處理電路，其中，所述閃光帶檢測(cè)電路檢測(cè)由所述成像設(shè)備輸出的當(dāng)前幀中的閃光帶的生成，或由所述成像設(shè)備輸出的、從所述當(dāng)前幀之前的預(yù)定數(shù)量的幀到所述當(dāng)前幀中的一過(guò)去幀的閃光帶的生成。(3)在⑵中所描述的閃光帶處理電路，其中，所述閃光帶檢測(cè)電路通過(guò)執(zhí)行以下操作來(lái)檢測(cè)所述閃光帶的生成通過(guò)比較在針對(duì)每個(gè)像素當(dāng)前幀和過(guò)去幀連續(xù)的幀之間的等級(jí)來(lái)獲得比較結(jié)果，基于所述比較結(jié)果指定變化量大的水平行，并且檢測(cè)作為在所述變化量大的連續(xù)水平行和所述變化量小的連續(xù)水平行之間的邊界的行。(4)在(3)中所描述的閃光帶處理電路，還包括等級(jí)比較單元，該等級(jí)比較單元獲得出現(xiàn)在所述當(dāng)前幀和過(guò)去幀的特定位置處的像素的亮度等級(jí)的比率作為等級(jí)變化率， 并且，獲得指示所述等級(jí)變化率是否是等于或高于第一閾值的等級(jí)變化量作為變化量判定值；水平方向積分單元，該水平方向積分單元獲得積分值判定值，該積分值判定值指示通過(guò)針對(duì)包括在所述當(dāng)前幀的水平方向上的行中的每個(gè)像素對(duì)所述等級(jí)變化率等于或高于第一閾值的所述變化量判定值進(jìn)行積分所獲得的水平方向積分值是否是等于或大于第二閾值，并且，該水平方向積分單元獲得表示所述積分值的正號(hào)或負(fù)號(hào)的積分值符號(hào)；區(qū)域判定單元，該區(qū)域判定單元基于所述積分值判定值和所述積分值符號(hào)，在所述積分值符號(hào)為正的情形中，輸出判定增加區(qū)域的增加區(qū)域判定值，在所述增加區(qū)域中，包括在所述當(dāng)前幀中的像素的亮度高于在所述過(guò)去幀中的像素的亮度，并且，在所述積分值符號(hào)為負(fù)的情形中， 輸出判定減少區(qū)域的減少區(qū)域判定值，在所述減少區(qū)域中，包括在所述當(dāng)前幀中的像素的亮度低于在所述過(guò)去幀中的像素的亮度；垂直方向積分單元，在通過(guò)針對(duì)在垂直方向上的每行對(duì)所述增加區(qū)域判定值進(jìn)行積分所獲得的增加區(qū)域判定值積分值等于或大于第三閾值的情形中，該垂直方向積分單元輸出表示幀中的閃光帶的開始的閃光帶開始判定值，并且，在通過(guò)針對(duì)在垂直方向上的每行對(duì)所述減少區(qū)域判定值進(jìn)行積分所獲得的減少區(qū)域判定值積分值等于或大于第四閾值的情形中，該垂直方向積分單元輸出表示幀中的閃光帶的結(jié)束的閃光帶結(jié)束判定值；以及判定保持單元，該判定保持單元基于幀的行時(shí)段和幀時(shí)段、 按照行時(shí)段和幀時(shí)段，將所述閃光帶開始判定值和所述閃光帶結(jié)束判定值保持預(yù)定時(shí)段， 基于所述閃光帶開始判定值將判定所述閃光帶的開始行的閃光帶開始行判定值輸出到所述區(qū)域判定單元，并且，基于所述閃光帶結(jié)束判定值將判定所述閃光帶的結(jié)束行的閃光帶結(jié)束行判定值輸出到所述區(qū)域判定單元。
21
(5)在(4)中所描述的閃光帶處理電路，其中，所述水平方向積分單元針對(duì)包括在在垂直方向上彼此鄰接的行中的、在水平方向上位于相同位置處的每個(gè)像素，獲得第二積分值判定值，該第二積分值判定值表示通過(guò)將一個(gè)變化量判定值從其他變化量判定值中減去的結(jié)果進(jìn)行積分所獲得的積分值是否是等于或大于第五閾值，并且，所述水平方向積分單元獲得表示所述積分值是具有正號(hào)還是負(fù)號(hào)的第二積分值符號(hào)，并且其中，所述區(qū)域判定單元基于所述第二積分值判定值和所述第二積分值符號(hào)，通過(guò)判定在幀中是否出現(xiàn)在垂直方向上的高頻分量，來(lái)檢測(cè)是否出現(xiàn)由于閃光所導(dǎo)致的所述閃光帶。(6)在⑴到(5)中的任一項(xiàng)中所描述的閃光帶處理電路，其中，表示檢測(cè)到所述閃光帶的符號(hào)被附接到檢測(cè)到所述閃光帶的幀的輔助數(shù)據(jù)區(qū)域。(7)在(I)到(6)中的任一項(xiàng)中所描述的閃光帶處理電路，還包括閃光帶校正單元，該閃光帶校正單元輸出一輸出幀，在該輸出幀中所生成的閃光帶基于所述閃光帶開始判定值和所述閃光帶結(jié)束判定值被校正。(8)在(7)中所描述的閃光帶處理電路，其中，所述閃光帶校正單元比較包括在所述當(dāng)前幀和所述過(guò)去幀中的像素的亮度值，并且，輸出具有較大亮度值的像素被替換的輸出幀。(9)在(7)或⑶中所描述的閃光帶處理電路，其中，所述閃光帶校正單元比較包括在所述當(dāng)前幀和所述過(guò)去幀中的像素的亮度值，并且，輸出具有較小亮度值的像素被替換的輸出中貞。(10)在(7)到(9)中的任一項(xiàng)中所描述的閃光帶處理電路，其中，所述閃光帶校正單元輸出通過(guò)復(fù)制所述過(guò)去幀所獲得的輸出幀。(11)在(7)到(10)中的任一項(xiàng)中所描述的閃光帶處理電路，其中，所述閃光帶校正單元輸出通過(guò)對(duì)包括在所述當(dāng)前幀和所述過(guò)去幀中的像素的亮度值相加和取平均所獲得的輸出中貞。(12)提供了一種處理閃光帶的方法，所述方法包括基于由包括在利用滾動(dòng)快門系統(tǒng)的成像設(shè)備中的像素針對(duì)每幀所輸出的每行的視頻信號(hào)的曝光時(shí)段差來(lái)檢測(cè)閃光帶的開始行和結(jié)束行，該閃光帶是在幀中根據(jù)閃光所生成的每行的等級(jí)差。(13)提供了一種成像裝置，包括閃光帶檢測(cè)電路，該閃光帶檢測(cè)電路基于由包括在利用滾動(dòng)快門系統(tǒng)的成像設(shè)備中的像素針對(duì)每幀所輸出的每行的視頻信號(hào)的曝光時(shí)段差來(lái)檢測(cè)閃光帶的開始行和結(jié)束行，該閃光帶是在幀中根據(jù)閃光所生成的每行的等級(jí)差；以及閃光帶校正電路，該閃光帶校正電路輸出被校正成幀中沒(méi)有閃光帶生成的視頻的輸出幀。(14)提供了一種成像處理方法，包括基于由包括在利用滾動(dòng)快門系統(tǒng)的成像設(shè)備中的像素針對(duì)每幀所輸出的每行的視頻信號(hào)的曝光時(shí)段差來(lái)檢測(cè)閃光帶的開始行和結(jié)束行，該閃光帶是在幀中根據(jù)閃光所生成的每行的等級(jí)差；以及輸出被校正成幀中沒(méi)有閃光帶生成的視頻的輸出幀。本公開包括與2011年I月24日遞交日本專利局的日本優(yōu)先權(quán)專利申請(qǐng)JP 2011-012034公開的內(nèi)容有關(guān)的主題，該申請(qǐng)的全部?jī)?nèi)容通過(guò)引用被結(jié)合于此。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計(jì)要求和其他因素，可以發(fā)生各種修改、組合、子組合和變更，只要它們?cè)谒綑?quán)利要求或其等同物的范圍內(nèi)即可。
權(quán)利要求
1.一種閃光帶處理電路，包括閃光帶檢測(cè)電路，該閃光帶檢測(cè)電路基于由包括在利用滾動(dòng)快門系統(tǒng)的成像設(shè)備中的像素針對(duì)每幀所輸出的每行的視頻信號(hào)的曝光時(shí)段差來(lái)檢測(cè)閃光帶的開始行和結(jié)束行，該閃光帶是在幀中根據(jù)閃光所生成的每行的等級(jí)差。
2.根據(jù)權(quán)利要求I所述的閃光帶處理電路，其中，所述閃光帶檢測(cè)電路檢測(cè)由所述成像設(shè)備輸出的當(dāng)前幀中的閃光帶的生成，或由所述成像設(shè)備輸出的、從所述當(dāng)前幀之前的預(yù)定數(shù)量的幀到所述當(dāng)前幀中的一過(guò)去幀的閃光帶的生成。
3.根據(jù)權(quán)利要求2所述的閃光帶處理電路，其中，所述閃光帶檢測(cè)電路通過(guò)執(zhí)行以下操作來(lái)檢測(cè)所述閃光帶的生成通過(guò)比較在針對(duì)每個(gè)像素當(dāng)前幀和過(guò)去幀連續(xù)的幀之間的等級(jí)來(lái)獲得比較結(jié)果，基于所述比較結(jié)果指定變化量大的水平行，并且檢測(cè)作為在所述變化量大的連續(xù)水平行和所述變化量小的連續(xù)水平行之間的邊界的行。
4.根據(jù)權(quán)利要求3所述的閃光帶處理電路，還包括等級(jí)比較單元，該等級(jí)比較單元獲得出現(xiàn)在所述當(dāng)前幀和過(guò)去幀的特定位置處的像素的亮度等級(jí)的比率作為等級(jí)變化率，并且，獲得指示所述等級(jí)變化率是否是等于或高于第一閾值的等級(jí)變化量作為變化量判定值；水平方向積分單元，該水平方向積分單元獲得積分值判定值，該積分值判定值指示通過(guò)針對(duì)包括在所述當(dāng)前幀的水平方向上的行中的每個(gè)像素對(duì)所述等級(jí)變化率等于或高于第一閾值的所述變化量判定值進(jìn)行積分所獲得的水平方向積分值是否是等于或大于第二閾值，并且，該水平方向積分單元獲得表示所述積分值的正號(hào)或負(fù)號(hào)的積分值符號(hào)；區(qū)域判定單元，該區(qū)域判定單元基于所述積分值判定值和所述積分值符號(hào)，在所述積分值符號(hào)為正的情形中，輸出判定增加區(qū)域的增加區(qū)域判定值，在所述增加區(qū)域中，包括在所述當(dāng)前幀中的像素的亮度高于在所述過(guò)去幀中的像素的亮度，并且，在所述積分值符號(hào)為負(fù)的情形中，輸出判定減少區(qū)域的減少區(qū)域判定值，在所述減少區(qū)域中，包括在所述當(dāng)前幀中的像素的亮度低于在所述過(guò)去幀中的像素的亮度；垂直方向積分單元，在通過(guò)針對(duì)在垂直方向上的每行對(duì)所述增加區(qū)域判定值進(jìn)行積分所獲得的增加區(qū)域判定值積分值等于或大于第三閾值的情形中，該垂直方向積分單元輸出表示幀中的閃光帶的開始的閃光帶開始判定值，并且，在通過(guò)針對(duì)在垂直方向上的每行對(duì)所述減少區(qū)域判定值進(jìn)行積分所獲得的減少區(qū)域判定值積分值等于或大于第四閾值的情形中，該垂直方向積分單元輸出表示幀中的閃光帶的結(jié)束的閃光帶結(jié)束判定值；以及判定保持單元，該判定保持單元基于幀的行時(shí)段和幀時(shí)段、按照行時(shí)段和幀時(shí)段，將所述閃光帶開始判定值和所述閃光帶結(jié)束判定值保持預(yù)定時(shí)段，基于所述閃光帶開始判定值將判定所述閃光帶的開始行的閃光帶開始行判定值輸出到所述區(qū)域判定單元，并且，基于所述閃光帶結(jié)束判定值將判定所述閃光帶的結(jié)束行的閃光帶結(jié)束行判定值輸出到所述區(qū)域判定單元。
5.根據(jù)權(quán)利要求4所述的閃光帶處理電路，其中，所述水平方向積分單元針對(duì)包括在在垂直方向上彼此鄰接的行中的、在水平方向上位于相同位置處的每個(gè)像素，獲得第二積分值判定值，該第二積分值判定值表示通過(guò)將一個(gè)變化量判定值從其他變化量判定值中減去的結(jié)果進(jìn)行積分所獲得的積分值是否是等于或大于第五閾值，并且，所述水平方向積分單元獲得表示所述積分值是具有正號(hào)還是負(fù)號(hào)的第二積分值符號(hào)，并且其中，所述區(qū)域判定單元基于所述第二積分值判定值和所述第二積分值符號(hào)，通過(guò)判定在幀中是否出現(xiàn)在垂直方向上的高頻分量，來(lái)檢測(cè)是否出現(xiàn)由于閃光所導(dǎo)致的所述閃光帶。
6.根據(jù)權(quán)利要求5所述的閃光帶處理電路，其中，表示檢測(cè)到所述閃光帶的符號(hào)被附接到檢測(cè)到所述閃光帶的幀的輔助數(shù)據(jù)區(qū)域。
7.根據(jù)權(quán)利要求6所述的閃光帶處理電路，還包括閃光帶校正單元，該閃光帶校正單元輸出一輸出幀，在該輸出幀中所生成的閃光帶基于所述閃光帶開始判定值和所述閃光帶結(jié)束判定值被校正。
8.根據(jù)權(quán)利要求7所述的閃光帶處理電路，其中，所述閃光帶校正單元比較包括在所述當(dāng)前幀和所述過(guò)去幀中的像素的亮度值，并且，輸出具有較大亮度值的像素被替換的輸出幀。
9.根據(jù)權(quán)利要求7所述的閃光帶處理電路，其中，所述閃光帶校正單元比較包括在所述當(dāng)前幀和所述過(guò)去幀中的像素的亮度值，并且，輸出具有較小亮度值的像素被替換的輸出幀。
10.根據(jù)權(quán)利要求7所述的閃光帶處理電路，其中，所述閃光帶校正單元輸出通過(guò)復(fù)制所述過(guò)去幀所獲得的輸出幀。
11.根據(jù)權(quán)利要求7所述的閃光帶處理電路，其中，所述閃光帶校正單元輸出通過(guò)對(duì)包括在所述當(dāng)前幀和所述過(guò)去幀中的像素的亮度值相加和取平均所獲得的輸出幀。
12.一種處理閃光帶的方法，所述方法包括基于由包括在利用滾動(dòng)快門系統(tǒng)的成像設(shè)備中的像素針對(duì)每幀所輸出的每行的視頻信號(hào)的曝光時(shí)段差來(lái)檢測(cè)閃光帶的開始行和結(jié)束行，該閃光帶是在幀中根據(jù)閃光所生成的每行的等級(jí)差。
13.一種成像裝置，包括閃光帶檢測(cè)電路，該閃光帶檢測(cè)電路基于由包括在利用滾動(dòng)快門系統(tǒng)的成像設(shè)備中的像素針對(duì)每幀所輸出的每行的視頻信號(hào)的曝光時(shí)段差來(lái)檢測(cè)閃光帶的開始行和結(jié)束行，該閃光帶是在幀中根據(jù)閃光所生成的每行的等級(jí)差；以及閃光帶校正電路，該閃光帶校正電路輸出被校正成幀中沒(méi)有閃光帶生成的視頻的輸出幀。
14.一種成像處理方法，包括基于由包括在利用滾動(dòng)快門系統(tǒng)的成像設(shè)備中的像素針對(duì)每幀所輸出的每行的視頻信號(hào)的曝光時(shí)段差來(lái)檢測(cè)閃光帶的開始行和結(jié)束行，該閃光帶是在幀中根據(jù)閃光所生成的每行的等級(jí)差；以及輸出被校正成幀中沒(méi)有閃光帶生成的視頻的輸出幀。
全文摘要
本發(fā)明公開了閃光帶處理電路和處理方法、成像裝置和成像處理方法。一種閃光帶處理電路包括閃光帶檢測(cè)電路，該閃光帶檢測(cè)電路基于由包括在利用滾動(dòng)快門系統(tǒng)的成像設(shè)備中的像素針對(duì)每幀所輸出的視頻信號(hào)的曝光時(shí)段差來(lái)檢測(cè)閃光帶的開始行和結(jié)束行，該閃光帶是在幀中根據(jù)閃光所生成的每行的等級(jí)差。
文檔編號(hào)H04N5/225GK102611837SQ20121002497
公開日2012年7月25日 申請(qǐng)日期2012年1月17日 優(yōu)先權(quán)日2011年1月24日
發(fā)明者五味田遵 申請(qǐng)人:索尼公司