專利名稱：圖像處理設(shè)備、圖像捕捉設(shè)備、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備、圖像捕捉設(shè)備、圖像處理方法和程序，并且更具體 地涉及能夠通過使用具有不同曝光時間的多個圖像的圖像合成處理來產(chǎn)生具有寬動態(tài)范 圍的高質(zhì)量輸出圖像的圖像處理設(shè)備、圖像捕捉設(shè)備、圖像處理方法和程序。
背景技術(shù)：
用于攝像機(jī)、數(shù)字靜止圖像攝像機(jī)等等的諸如CCD圖像傳感器或CMOS (互補(bǔ) 金屬氧化物半導(dǎo)體)圖像傳感器的固態(tài)成像裝置根據(jù)入射光量執(zhí)行存儲電荷的光電轉(zhuǎn)換 并且輸出對應(yīng)于累積的電荷的電信號。然而，由于光電轉(zhuǎn)換單元中的電荷累積量存在上 限，所以如果接收預(yù)定光量或更多，則累積的電荷量達(dá)到飽和水平，使得設(shè)置了飽和亮 度水平的所謂雪盲(white-out)出現(xiàn)在亮度是預(yù)定值或更多的對象區(qū)域中。
為了防止這個現(xiàn)象，已有一種處理，其中通過根據(jù)外界光變化等等控制光電轉(zhuǎn) 換單元中的電荷累積時段來調(diào)整曝光時間，使得靈敏度被控制到最優(yōu)值。例如，針對亮 的對象，通過用高速快門釋放縮短曝光時間來減少光電轉(zhuǎn)換單元中的電荷累積時段，使 得在累積的電荷量達(dá)到飽和水平之前輸出電信號。通過這種處理，可以輸出準(zhǔn)確地再現(xiàn) 根據(jù)對象的灰度級的圖像。
然而，在亮和暗部分混合的對象的拍照中，如果使用高速快門釋放，則不保證 暗部分的充分曝光時間。因此，S/N被降低，使得圖像質(zhì)量退化。通過這種方式，在亮 和暗部分混合的對象的圖像拍照中，為了準(zhǔn)確地再現(xiàn)亮和暗部分的亮度水平，針對入射 光量小的圖像傳感器的像素，可能需要通過長曝光時間實現(xiàn)高S/N，并且針對入射光量 大的像素，可能需要提供避免飽和的處理。
作為實現(xiàn)這種處理的方法，已知一種使用具有不同曝光時間的多個圖像的方 法。換句話說，在該方法中，長時間曝光圖像用于暗圖像區(qū)域，并且短時間曝光圖像用 于長時間曝光圖像中雪盲化的亮圖像區(qū)域，使得最優(yōu)像素水平可以被確定。以這種方 式，通過合成具有不同曝光的多個圖像，可以獲得具有寬動態(tài)范圍、沒有雪盲的圖像。
例如，日本未審專利申請公開說明書No.2008-99158公開了通過合成具有不同曝 光量的多個圖像來獲得具有寬動態(tài)范圍的圖像的配置。參考圖1描述該過程。例如，在 運(yùn)動圖片拍照中，成像裝置在視頻速率(30-60fps)內(nèi)輸出具有不同曝光時間的兩個圖像 數(shù)據(jù)。此外，在靜止圖片拍照中，成像裝置也產(chǎn)生和輸出具有不同曝光時間的兩個圖像 數(shù)據(jù)。圖1是圖解由成像裝置產(chǎn)生的、具有不同曝光時間的兩個圖像(長時間曝光圖像 和短時間曝光圖像)的特性的圖。水平軸是時間(t)，并且垂直軸是構(gòu)成對應(yīng)于固態(tài)成像 裝置的一個像素的光電轉(zhuǎn)換單元的光敏光電二極管(PD)中累積的電荷量(e)。
例如，在光敏光電二極管(PD)的感測光量大的情況下，即在對應(yīng)于亮對象的情 況下，如圖1中高亮度區(qū)域11所示，電荷累積量隨著時間推移快速地增加。另一方面， 在光敏光電二極管(PD)的所感測光量小的情況下，即在對應(yīng)于暗對象的情況下，如圖1 的低亮度區(qū)域12所示，電荷累積量隨著時間推移逐漸地增加。
時間t0到t3對應(yīng)于用于獲得長時間曝光圖像的曝光時間TL。針對在曝光時間 TL被設(shè)置成長時間的低亮度區(qū)域12中圖解的線，在時間t3處，電荷累積量未達(dá)到飽和水 平(非飽和點(diǎn)Py)。因此，可以通過像素的灰度級水平獲得準(zhǔn)確的灰度級表示，其中通 過使用根據(jù)電荷累積量6a)獲得的電信號來確定像素的灰度級水平。
然而，針對在高亮度區(qū)域11中圖解的線，顯然，在時間t3之前，電荷累積量已 經(jīng)達(dá)到飽和水平(飽和點(diǎn)Px)。因此，在這樣的高亮度區(qū)域11中，從長時間曝光圖像中 只獲得只有對應(yīng)于具有飽和水平的電信號的像素值，使得形成雪盲化像素。
因此，在這樣的高亮度區(qū)域11中，在時間t3之前的一個時間處，例如在圖中圖 解的時間tl (電荷清除啟動點(diǎn)Pl)處，光敏光電二極管(PD)中的累積的電荷被清除。不 對光敏光電二極管(PD)中的所有累積電荷執(zhí)行電荷清除，但是電荷清除被分行到光電二 極管(PD)中控制的中間電壓持續(xù)水平。在電荷清除處理之后，再次以曝光時間TS(t2到 t3)執(zhí)行短時間曝光。換句話說，在圖中圖解的從短時間曝光開始點(diǎn)P2到短時間曝光結(jié) 束點(diǎn)P3時間段內(nèi)，執(zhí)行短時間曝光。通過短時間曝光獲得電荷累積量6b)，并且根據(jù) 電信號確定像素的灰度級水平，該電信號是根據(jù)電荷累積量6b)獲得的。
此外，在根據(jù)下述因素確定像素值的情況下根據(jù)通過在低亮度區(qū)域12中的長 時間曝光而獲得的電荷累積量6a)來獲得的電信號，和根據(jù)通過在高亮度區(qū)域251中的 短時間曝光而獲得的電荷累積量6b)來獲得的電信號，計算同時執(zhí)行曝光的情況的估計 電荷累積量，或?qū)?yīng)于估計電荷累積量的電信號輸出值，并且根據(jù)所計算的結(jié)果來確定 像素值水平。
以這種方式，通過合成短時間曝光圖像和長時間曝光圖像，可以獲得具有寬動 態(tài)范圍、沒有雪盲的圖像。
然而，具有不同曝光量的多個圖像是在時間不同的各個定時處拍照的圖像。因 此，如果對象的運(yùn)動在該時間內(nèi)發(fā)生，則在合成圖像的時候圖像存在差異。結(jié)果，運(yùn)動 對象區(qū)域的圖像區(qū)域中偽彩色的出現(xiàn)導(dǎo)致圖像質(zhì)量退化的問題等等。
作為公開減輕這種問題的技術(shù)的相關(guān)技術(shù)，例如，存在日本未審專利申請公開 說明書 No.2000-50151。
在日本未審專利申請公開說明書No.2000-50151中，所公開的是比較具有不同 曝光量的多個圖像以指定存在運(yùn)動的像素區(qū)域并且執(zhí)行校正的配置。處理的細(xì)節(jié)如下。 首先，獲得長時間曝光圖像CL^)和短時間曝光圖像6E)，并且獲得曝光比A( = LE/ SE)，該曝光比A是長時間曝光圖像(LE)的曝光量與短時間曝光圖像6E)的曝光量的 比率。此外，針對每個像素，計算(LE-SEXA)。在完全相同對象被拍照的情況下， (LE-SEXA) = 0。針對未滿足(LE-SEXA) = 0的像素，很可能在長時間曝光圖像(LE) 和短時間曝光圖像6E)中拍照不同的對象，并且這樣的像素區(qū)域被識別為運(yùn)動區(qū)域。
換句話說，在拍照相同對象的情況下，長時間曝光圖像(LE)的輸出值(亮度) 和短時間曝光圖像6E)的輸出值(亮度)之間的對應(yīng)關(guān)系被設(shè)置在如圖2所示的斜率為 A(=曝光比)的線上。在對應(yīng)關(guān)系偏離線的情況下，確定區(qū)域中存在運(yùn)動。
然而，在實際情況中，由于構(gòu)成成像裝置的PD或晶體管的特殊產(chǎn)品存在變化， 所以難以準(zhǔn)確地根據(jù)(LE-SEXA) = 0的滿足或不滿足來確定是否存在對象的運(yùn)動。例 如，可以通過設(shè)置閾值(Th)并且確定是否滿足|LE_SEXA| < Th來降低裝置間的小變化。然而，由于裝置之間的變化根據(jù)設(shè)備而發(fā)生改變，所以存在難以設(shè)置最優(yōu)閾值的問題。發(fā)明內(nèi)容
期望提供能夠準(zhǔn)確地確定存在對象的運(yùn)動的區(qū)域的圖像處理設(shè)備、圖像捕捉設(shè) 備、圖像處理方法和程序，這種對象運(yùn)動可導(dǎo)致圖像質(zhì)量退化，例如在通過合成具有不 同曝光時間的多個圖像來產(chǎn)生具有寬動態(tài)范圍的圖像時出現(xiàn)偽彩色。
在本發(fā)明的第一實施例中，提供了一種圖像處理設(shè)備，包含圖像合成單元， 其通過合成具有不同曝光時間的所拍照圖像來產(chǎn)生合成圖像；和運(yùn)動區(qū)域檢測單元，其 對由圖像合成單元產(chǎn)生的多個合成圖像執(zhí)行比較處理以獲得像素值差，并且其執(zhí)行運(yùn)動 區(qū)域檢測處理，該處理比較像素值差和預(yù)定閾值，并且確定像素值差等于或大于閾值的 像素區(qū)域是對象的運(yùn)動被估計為已經(jīng)發(fā)生的運(yùn)動區(qū)域。
此外，在根據(jù)本發(fā)明一個實施例的圖像處理設(shè)備中，圖像合成單元被配置為每 當(dāng)具有不同曝光時間的一個拍照圖像被輸入時，通過合成新輸入圖像和具有不同曝光時 間的已完成輸入的所拍照圖像來產(chǎn)生合成圖像，并且該運(yùn)動區(qū)域檢測單元通過比較由圖 像合成單元產(chǎn)生的兩個連續(xù)合成圖像的對應(yīng)像素的像素值，執(zhí)行運(yùn)動區(qū)域檢測處理。
此外，在根據(jù)本發(fā)明一個實施例的圖像處理設(shè)備中，該圖像處理設(shè)備包含合 成前圖像比較單元，其通過在要合成的圖像之間比較對應(yīng)像素的輸出值來獲得要合成的 圖像之間的像素值差，其中要合成的圖像是用于合成圖像的生成的來源；和過檢測移除 單元，其比較要合成的圖像之間的像素值差和預(yù)定第二閾值，并且針對由運(yùn)動區(qū)域檢測 單元檢測的運(yùn)動區(qū)域的對應(yīng)像素，確定要合成的圖像之間的像素值差小于第二閾值的像 素區(qū)域不是運(yùn)動區(qū)域。
此外，在根據(jù)本發(fā)明一個實施例的圖像處理設(shè)備中，圖像處理設(shè)備包含圖像質(zhì) 量退化區(qū)域檢測單元，其通過使用要合成的圖像的像素對應(yīng)選擇信息，確定這樣的像素 區(qū)域作為圖像質(zhì)量退化區(qū)域在所述像素區(qū)域中，具有不同曝光時間的所拍照圖像的像 素被設(shè)置成合成圖像上的相鄰像素的像素區(qū)域，其中要合成的圖像是用于合成圖像的生 成的來源，并且輸出圖像質(zhì)量退化運(yùn)動區(qū)域檢測信息，其中作為由運(yùn)動區(qū)域檢測單元檢 測的運(yùn)動區(qū)域并且作為圖像質(zhì)量退化區(qū)域的像素區(qū)域被提取為圖像質(zhì)量退化運(yùn)動區(qū)域。
此外，在根據(jù)本發(fā)明一個實施例的圖像處理設(shè)備中，該圖像處理設(shè)備包含輸 出值有效區(qū)域檢測單元，其通過使用關(guān)于要合成的圖像的像素對應(yīng)選擇信息，針對合成 圖像的像素獲得要合成的圖像的像素值，其中要合成的圖像是用于合成圖像的生成的來 源，并且在要合成的圖像的像素值在零或飽和值附近的情況下，確定所述像素區(qū)域具有 低有效性的輸出值；和圖像質(zhì)量退化區(qū)域檢測單元，其確定由輸出值有效區(qū)域檢測單元 檢測的具有低有效性的輸出值的像素區(qū)域為具有高可能性的圖像質(zhì)量退化的圖像質(zhì)量退 化區(qū)域，并且其輸出圖像質(zhì)量退化運(yùn)動區(qū)域檢測信息，所述圖像質(zhì)量退化運(yùn)動區(qū)域檢測 信息指示作為由運(yùn)動區(qū)域檢測單元檢測的運(yùn)動區(qū)域并且作為圖像質(zhì)量退化區(qū)域的所述像 素區(qū)域被提取為圖像質(zhì)量退化運(yùn)動區(qū)域。
此外，在根據(jù)本發(fā)明一個實施例的圖像處理設(shè)備中，該圖像處理設(shè)備包含第 二運(yùn)動區(qū)域檢測單元，其通過使用作為用于合成圖像的生成的來源的要合成的圖像的像素對應(yīng)選擇信息，確定像素處于運(yùn)動區(qū)域中，其中該像素是作為被用于合成圖像的像素 的長時間曝光圖像的像素，并且具有有效像素值，使得對應(yīng)于該像素的短時間曝光圖像 的像素的值不在零附近；和檢測結(jié)果集成單元，其輸出運(yùn)動區(qū)域檢測信息，其中由運(yùn)動 區(qū)域檢測單元確定為運(yùn)動區(qū)域并且由第二運(yùn)動區(qū)域檢測單元確定為運(yùn)動區(qū)域的區(qū)域被設(shè) 置成最終運(yùn)動區(qū)域。
在本發(fā)明的第二實施例中，提供了一種圖像處理設(shè)備，包含圖像合成單元， 其通過合成具有不同曝光時間的所拍照圖像來產(chǎn)生合成圖像；和輸出值有效區(qū)域檢測單 元，其通過使用關(guān)于要合成的圖像的像素對應(yīng)選擇信息，針對合成圖像的像素獲得要合 成的圖像的像素值，其中要合成的圖像是用于合成圖像的生成的來源，在要合成的圖像 的像素值在零或飽和值附近的情況下確定所述像素區(qū)域具有低有效性的輸出值，并且輸 出圖像質(zhì)量退化區(qū)域檢測信息，其中該區(qū)域被清楚地指示為具有高可能性的圖像質(zhì)量退 化的圖像質(zhì)量退化區(qū)域。
在本發(fā)明的第三實施例中，提供了一種圖像處理設(shè)備，包含圖像合成單元， 其通過合成具有不同曝光時間的所拍照圖像來產(chǎn)生合成圖像；和運(yùn)動區(qū)域檢測單元，其 通過使用作為用于合成圖像的生成的來源的要合成的圖像的像素對應(yīng)選擇信息，確定像 素處于運(yùn)動區(qū)域中，其中該像素是長時間曝光圖像的像素并且具有有效像素值，使得對 應(yīng)于該像素的短時間曝光圖像的像素的值不在零附近，并且輸出清楚地指示該運(yùn)動區(qū)域 的運(yùn)動區(qū)域檢測信息。
在本發(fā)明的第四實施例中，提供了一種圖像處理設(shè)備，包含檢測單元，其計算 具有不同曝光時間的所拍照圖像的對應(yīng)像素的像素值差和預(yù)定相關(guān)信息之間的差，并且 在該差值大于預(yù)定閾值的情況下，確定存在運(yùn)動區(qū)域。
此外，在根據(jù)本發(fā)明一個實施例的圖像處理設(shè)備中，根據(jù)作為比較對象的具有 不同曝光時間的圖像的輸出值的相關(guān)產(chǎn)生該相關(guān)信息。
在本發(fā)明的第五實施例中，提供了具有圖像處理設(shè)備的成像設(shè)備，其中該圖像 處理設(shè)備還包含成像裝置，其捕捉具有不同曝光時間的所拍照圖像；和圖像處理單 元，其執(zhí)行根據(jù)權(quán)利要求1至10中任何一個所述的成像處理。
在本發(fā)明的第六實施例中，提供了在圖像處理設(shè)備中執(zhí)行的一種圖像處理方 法，其包含步驟圖像合成單元，通過合成具有不同曝光時間的所拍照圖像來產(chǎn)生合成 圖像；以及，運(yùn)動區(qū)域檢測單元，對由圖像合成單元產(chǎn)生的多個合成圖像執(zhí)行比較處理 以獲得像素值差，并且執(zhí)行比較該像素值差和預(yù)定閾值的運(yùn)動區(qū)域檢測處理，并且確定 像素值差等于或大于該閾值的像素區(qū)域為對象的運(yùn)動被估計為已經(jīng)發(fā)生的運(yùn)動區(qū)域。
在本發(fā)明的第七實施例中，提供了允許圖像處理設(shè)備執(zhí)行成像處理的程序，成 像處理包含步驟允許圖像合成單元通過合成具有不同曝光時間的所拍照圖像來產(chǎn)生合 成圖像；和允許運(yùn)動區(qū)域檢測單元對由圖像合成單元產(chǎn)生的多個合成圖像執(zhí)行比較處理 以獲得像素值差，并且執(zhí)行比較像素值差和預(yù)定閾值的運(yùn)動區(qū)域檢測處理，并且確定像 素值差等于或大于該閾值的像素區(qū)域為對象的運(yùn)動被估計為已經(jīng)發(fā)生的運(yùn)動區(qū)域。
此外，根據(jù)本發(fā)明的處理是例如可以通過具有計算機(jī)可讀格式的存儲介質(zhì)或通 信介質(zhì)提供給可以執(zhí)行各種程序/代碼的信息處理設(shè)備或計算機(jī)/系統(tǒng)的程序。這樣的 程序以計算機(jī)可讀格式提供，使得根據(jù)該程序的處理在信息處理設(shè)備或計算機(jī)/系統(tǒng)中5/29 實現(xiàn)。
通過根據(jù)隨后描述的本發(fā)明的實施例或附圖的詳細(xì)說明會明白本發(fā)明的其它目 的、特性或優(yōu)點(diǎn)。此外，在本說明書中，系統(tǒng)表示多個設(shè)備的邏輯集成配置，并且該配 置的每個設(shè)備不限于被包含在同一外殼內(nèi)。
根據(jù)本發(fā)明的一個實施例的配置，在輸入具有不同曝光時間的多個圖像并且通 過有選擇地合成有效像素值來產(chǎn)生具有寬動態(tài)范圍的圖像的處理中，可以有效地檢測出 導(dǎo)致出現(xiàn)圖像質(zhì)量退化，例如偽彩色的對象的運(yùn)動區(qū)域。例如，執(zhí)行由具有不同曝光時 間的多個圖像產(chǎn)生的合成圖像的比較，并且根據(jù)比較結(jié)果檢測運(yùn)動區(qū)域。根據(jù)該處理， 可以執(zhí)行能夠抑制由成像裝置的特性差異導(dǎo)致的錯誤檢測的高準(zhǔn)確運(yùn)動區(qū)域檢測。


圖1是圖解通過合成具有不同曝光量的多個圖像來獲得具有寬動態(tài)范圍的圖像 的處理的圖。
圖2是圖解長時間曝光圖像(LE)的輸出值(亮度)和短時間曝光圖像6E)的 輸出值(亮度)之間的對應(yīng)關(guān)系的圖。
圖3是圖解根據(jù)本發(fā)明的、圖像處理設(shè)備的整個結(jié)構(gòu)的例子的圖。
圖4是圖解根據(jù)本發(fā)明的第一實施例的圖像處理設(shè)備的圖像處理單元104的處理 的圖。
圖5是圖解通過合成具有曝光時間Tl到的四個圖像來產(chǎn)生具有寬動態(tài)范圍的 一個圖像的合成處理的例子的圖。
圖6是圖解合成圖像的像素值之間的對應(yīng)關(guān)系的圖。
圖7是圖解通過使用合成圖像之間的相關(guān)來檢測運(yùn)動區(qū)域的處理的圖。
圖8是圖解由根據(jù)第二實施例的圖像處理設(shè)備執(zhí)行的圖像處理的圖。
圖9是圖解根據(jù)第二實施例的圖像處理設(shè)備的處理的模塊圖。
圖10是圖解根據(jù)第二實施例的圖像處理設(shè)備的處理的模塊圖。
圖11是圖解由根據(jù)第三實施例的圖像處理設(shè)備執(zhí)行的圖像處理的圖。
圖12是圖解長時間曝光圖像的輸出值和短時間曝光圖像的輸出值之間的對應(yīng)關(guān) 系的圖。
圖13是圖解根據(jù)第三實施例的圖像處理設(shè)備的處理的模塊圖。
圖14是圖解第四實施例的概念的圖。
圖15是圖解根據(jù)第四實施例的圖像處理設(shè)備的處理的模塊圖。
圖16Α和16Β是圖解比較檢測對象像素和相鄰像素的比較處理的圖。
圖17是圖解根據(jù)第五實施例的圖像處理設(shè)備的處理的模塊圖。
圖18是圖解根據(jù)第六實施例的圖像處理設(shè)備的處理的模塊圖。
圖19是圖解在對象運(yùn)動的情況下成像設(shè)備的輸出信號的例子的圖。
圖20是圖解根據(jù)第七實施例的圖像處理設(shè)備的處理的模塊圖。
圖21是圖解根據(jù)第八實施例的圖像處理設(shè)備的處理的模塊圖。
圖22是圖解根據(jù)第九實施例的圖像處理設(shè)備的處理的模塊圖。
圖23是圖解根據(jù)第九實施例的圖像處理設(shè)備的處理的模塊圖。
圖M是圖解根據(jù)第十實施例的圖像處理設(shè)備的處理的模塊圖。
圖25是圖解長時間曝光圖像的輸出值和短時間曝光圖像的輸出值之間的對應(yīng)關(guān) 系的圖，此關(guān)系被用于根據(jù)第十實施例的圖像處理設(shè)備的處理。
具體實施方式
下面參考附圖描述根據(jù)本發(fā)明的圖像處理設(shè)備、圖像捕捉設(shè)備、圖像處理方法 和程序。按下面的順序進(jìn)行描述。
1.圖像處理設(shè)備的整體配置
2.圖像處理設(shè)備的詳細(xì)實施例
1.圖像處理設(shè)備的整體配置
首先，參考圖3描述根據(jù)本發(fā)明的圖像處理設(shè)備的整體配置的例子。
圖3是圖解作為根據(jù)本發(fā)明的圖像處理設(shè)備的一個例子的圖像捕捉設(shè)備的配置 的例子的模塊圖。穿過光學(xué)透鏡101進(jìn)入的光線入射到用例如CMOS圖像傳感器等等構(gòu) 成的成像裝置102，并且輸出通過光電轉(zhuǎn)換獲得的圖像數(shù)據(jù)。將該輸出圖像數(shù)據(jù)通過存儲 器103輸入到圖像處理單元104?？刂茊卧?05根據(jù)例如存儲器(未示出)中存儲的程序 向每個部件輸出控制信號以控制各種處理。
成像裝置102產(chǎn)生具有不同曝光時間的多個圖像111到114。將具有不同曝光時 間的多個圖像111到114輸入圖像處理單元104，并且圖像處理單元104執(zhí)行合成處理以 產(chǎn)生輸出圖像120。在此后描述的實施例中，在將來自成像裝置102的具有不同曝光時間 的四種圖像輸入圖像處理單元104的配置中進(jìn)行描述。換句話說，如圖3中所示，圖像 如下。
圖像1(曝光時間Τ1)111
圖像2(曝光時間T2)112
圖像3(曝光時間Τ3)113
圖像4(曝光時間Τ4)114
這里，T1<T2<T3<T4。
圖像處理單元104被輸入來自成像裝置102的具有不同曝光時間(Tl到Τ4)的四 種圖像，以根據(jù)具有不同曝光時間的多個圖像生成輸出圖像120。
如上所述，從成像裝置輸出的電信號取決于入射到該成像裝置的光的量。因 此，在某個曝光時間(長時間曝光)的情況下，對應(yīng)于亮對象的像素中從光電轉(zhuǎn)換單元輸 出的電信號可能達(dá)到飽和水平。結(jié)果，這些像素變成所謂的雪盲像素，其中對應(yīng)于飽和 水平的電信號被輸出，使得灰度級差不可感知。
例如，由于避免這種雪盲以獲得反映對象的亮度水平的輸出，所以允許生成在 從長時間曝光到短時間曝光的范圍中的多個圖像數(shù)據(jù)，并且圖像處理單元104對多個圖 像執(zhí)行合成處理以獲得輸出圖像120。例如，針對被估計為通過執(zhí)行長時間曝光達(dá)到飽和 水平的像素，執(zhí)行根據(jù)通過執(zhí)行短時間曝光獲得的數(shù)據(jù)來計算像素值并且輸出像素值的 這種處理。
在由與本發(fā)明的申請人相同的申請人提交的日本未審專利申請公開說明書 Νο.2008-99158或2008-227697中公開了獲得具有不同曝光時間的多個圖像的處理?；旧希ㄟ^與其中公開的方法相同的方法獲得具有不同曝光時間的多個圖像，使得生成不 存在雪盲像素的合成圖像。此外，盡管日本未審專利申請公開說明書No.2008-99158或 2008-227697公開了獲得包含長時間曝光圖像和短時間曝光圖像的兩種圖像的處理，但在 本發(fā)明中，可以根據(jù)具有不同曝光時間的四種圖像執(zhí)行各處理。
如上所述，具有不同曝光量的多個圖像是在時間不同的定時處拍照的圖像。因 此，如果對象的運(yùn)動在該時間內(nèi)出現(xiàn)，則在合成圖像時圖像中存在差異。結(jié)果，運(yùn)動圖 像區(qū)域的偽彩色的出現(xiàn)導(dǎo)致圖像質(zhì)量退化的問題等等。
圖像處理單元104在執(zhí)行合成從成像裝置102輸入的圖像的處理之前，執(zhí)行確定 這樣的圖像區(qū)域的處理在該圖像區(qū)域中，對象的運(yùn)動被估計為已經(jīng)發(fā)生。對通過運(yùn)動 確定方法確定為運(yùn)動區(qū)域的像素區(qū)域執(zhí)行校正處理，并且之后生成合成圖像。此后，描 述通過使用具有不同曝光時間的多個圖像來檢測運(yùn)動圖像區(qū)域的處理的詳細(xì)實施例。
2.圖像處理設(shè)備的詳細(xì)實施例
此后，描述圖3中圖解的圖像處理設(shè)備的配置和處理的詳細(xì)實施例。
(2-1)第一實施例
圖4是圖解根據(jù)本發(fā)明第一實施例的圖像處理設(shè)備的圖像處理單元104的處理的 圖。處理隨著時間推移沿上部中圖解的時間軸⑴上從左到右的方向進(jìn)行。換句話說， 隨著時間推移，包含具有曝光時間(Tl)的圖像1、具有曝光時間(T2)的圖像2、具有曝 光時間(T3)的圖像3、具有曝光時間(T4)的圖像4...的圖像被順序地輸入和處理。
圖像處理單元104順序地輸入通過成像裝置102獲得的、具有不同曝光時間的四 個圖像，包含具有曝光時間(Tl)的圖像1、具有曝光時間(T2)的圖像2、具有曝光時間 (T3)的圖像3、具有曝光時間(T4)的圖像4。接著，類似地，圖像處理單元104順序 地輸入具有不同曝光時間的四個圖像，包含具有曝光時間(Tl)的圖像5、具有曝光時間 (T2)的圖像6、具有曝光時間(T3)的圖像7、具有曝光時間(T4)的圖像8。此后，重 復(fù)相同處理。此外，曝光時間Tl到科滿足Tl < T2 < T3 < T4。
圖像處理單元104根據(jù)需要通過使用具有曝光時間Tl到T4的四個圖像來構(gòu)成具 有寬動態(tài)范圍的一個圖像。參照圖5說明該合成處理的例子。圖5不同于圖1的地方在 于除了獲得長時間曝光圖像和短時間曝光圖像的兩個圖像之外，使用四種曝光時間，并 且該合成處理基本上與圖1的合成處理相同。
在圖5中，水平軸是時間(0，并且垂直軸是光敏光電二極管(PD)中累積的電 荷量(e)，其中光敏光電二極管(PD)構(gòu)成對應(yīng)于構(gòu)成成像裝置102的固態(tài)成像裝置的一 個像素的光電轉(zhuǎn)換單元。例如，在光敏光電二極管(PD)的感測光量大的情況下，即在對 應(yīng)于亮對象的情況下，如圖5中超高亮度區(qū)域151所示，電荷累積量隨著時間推移快速地 增加。另一方面，在光敏光電二極管(PD)的感測光量小的情況下，即在對應(yīng)于暗對象的 情況下，如圖5的低亮度區(qū)域IM所示，電荷累積量隨著時間推移逐漸地增加。在高亮 度區(qū)域152和中等亮度區(qū)域153之間存在亮對象。換句話說，對象的亮度順序如下。
超高亮度區(qū)域151 >高亮度區(qū)域152 >中等亮度區(qū)域153 >低亮度區(qū)域154
在低亮度區(qū)域154中的像素處，盡管執(zhí)行了最長曝光時間(T4)的曝光，但電荷 累積量未達(dá)到飽和水平。因此，可以由通過使用圖的右端圖解的[長時間曝光輸出]信號 確定的像素的灰度級水平獲得準(zhǔn)確的灰度級表示，該[長時間曝光輸出]信號是在經(jīng)過曝光時間(T4)之后基于電荷累積量獲得的。然而，針對超高亮度區(qū)域151、高亮度區(qū)域152和中等亮度區(qū)域153中圖解的 線，在最長曝光時間(Τ4)之前，很可能電荷累積量已經(jīng)達(dá)到飽和水平。因此，在這樣的 像素區(qū)域中，從長時間曝光圖像中只獲得對應(yīng)于具有飽和水平的電信號的像素值，使得 形成雪盲像素。

因此，在對應(yīng)于從超高亮度區(qū)域151到中等亮度區(qū)域153的范圍的像素中，首 先，在每個預(yù)定定時(tpl，tql和trl)處，光敏光電二極管(PD)中累積的電荷被清除。 不對光敏光電二極管(PD)中的所有累積電荷執(zhí)行電荷清除，而是將電荷清除執(zhí)行到光電 二極管(PD)中控制的中間電壓持續(xù)水平。在電荷清除處理之后，再次以曝光時間(Tl = tpl到tp2)、曝光時間(T2 = tql到tq2)和曝光時間(T3 = trl到tr2)執(zhí)行曝光處理。換 句話說，如圖所示，執(zhí)行具有短時間曝光時間(Tl)、短時間曝光時間(T2)和短時間曝光 時間(T3)的短時間曝光。以這種方式，通過各曝光時間獲得對應(yīng)于多個不同曝光時間Tl到T4(T1 < Τ2 <Τ3<Τ4)的電荷累積量，并且根據(jù)電信號確定像素的灰度級水平，其中電信號是根 據(jù)電荷累積量獲得的。此外，當(dāng)要基于電信號確定像素值時，其中基于根據(jù)每個曝光時 間獲得的電荷累積量來獲得此電信號，計算在執(zhí)行等時間曝光的情況下的估計電荷累積 量，或?qū)?yīng)于估計電荷累積量的電信號輸出值，并且根據(jù)計算結(jié)果確定像素值水平。以 這種方式，通過合成短時間曝光圖像和長時間曝光圖像，可以獲得具有寬動態(tài)范圍、無 雪盲的圖像。此外，曝光時間Tl到Τ4可以被設(shè)置為例如Τ4 = 1/30秒，Τ3 = 1/300秒，Τ2 =1/3000秒和Tl = 1/30000秒。例如，在Tl到Τ4的這種設(shè)置中，如果將圖3中圖解 的輸出圖像120生成為具有曝光時間Tl到Τ4的四個圖像的合成圖像，則在輸出圖像120 是運(yùn)動圖片的情況下，對應(yīng)于30fps的運(yùn)動圖片可以被順序地生成。這是由于可以每隔T4= 1/30秒根據(jù)從(超高亮度像素)=(曝光時間Tl)的曝 光圖像到(低亮度像素)=(曝光時間T4)的曝光圖像的范圍中的圖像生成合成圖像。然而，具有不同曝光量，即曝光時間Tl到T4的多個圖像是在時間不同的定時 處拍照的圖像。因此，如果對象的運(yùn)動在該時間內(nèi)出現(xiàn)，則在合成圖像時圖像中存在差 異。結(jié)果，運(yùn)動對象區(qū)域的圖像區(qū)域中偽彩色的出現(xiàn)導(dǎo)致圖像質(zhì)量退化的問題等等。根據(jù)本發(fā)明的圖像處理設(shè)備100的圖像處理單元104識別運(yùn)動對象的圖像區(qū)域以 解決該問題。此外，此后，運(yùn)動的對象被稱為"運(yùn)動對象"，并且運(yùn)動對象的所捕捉圖 像區(qū)域被稱為〃運(yùn)動區(qū)域〃。如圖4所示，根據(jù)實施例的圖像處理單元104通過使用多個合成后圖像識別運(yùn)動 區(qū)域。如圖4所示，圖像處理單元104包含圖像合成單元201和運(yùn)動區(qū)域檢測單元 202。此外，盡管圖4中圖解了兩個圖像合成單元201，但這個圖解表示前面執(zhí)行了合成 圖像1到4的處理，并且之后，執(zhí)行合成圖像5到8的處理。因此，這個圖解表示一個 圖像合成單元201順序地執(zhí)行處理。換句話說，不一定有多個圖像合成單元，一個圖像 合成單元201可以是足夠的。運(yùn)動區(qū)域檢測單元202比較由圖像合成單元201生成的兩個合成圖像以確定運(yùn)動區(qū)域。換句話說，兩個合成圖像如下。通過合成圖像1到4的處理生成的合成圖像a 141a通過合成圖像5到8的處理生成的合成圖像b 141b運(yùn)動區(qū)域檢測單元202比較順序生成的兩個合成圖像，并且檢測圖像中包含的 運(yùn)動區(qū)域。檢測結(jié)果被作為運(yùn)動區(qū)域檢測信息143輸出。運(yùn)動區(qū)域檢測單元202在合成后圖像之間比較像素值。在對象沒有運(yùn)動的情況 下，在相同坐標(biāo)處的像素值彼此一致。換句話說，合成圖像a，141a存在的坐標(biāo)處的高 亮度像素與合成圖像b，141b的對應(yīng)坐標(biāo)處的 高亮度像素相同，并且合成圖像a，141a的 低亮度像素與合成圖像b，141b的低亮度像素相同。圖6中圖解了像素值之間的對應(yīng)關(guān)系。在圖6中，水平軸表示當(dāng)前合成圖像(合成圖像b，141b)的像素值(0到最大)， 并且垂直軸表示先前合成圖像(合成圖像a，141a)的像素值(0到最大)。例如，在當(dāng)前 合成圖像(合成圖像b，141b)所處的坐標(biāo)(xl，yl)處的像素值是pi的情況下，先前合 成圖像(合成圖像a，141a)的相同坐標(biāo)處的像素值也是pi。換句話說，在對象沒有運(yùn)動 的情況下，在相同坐標(biāo)處的像素值彼此一致，使得像素值可以位于圖中圖解的具有斜率1 的直線上。此外，如圖6所示，當(dāng)前合成圖像(合成圖像b，141b)和先前合成圖像(合成圖 像a，141a)中的任何一個是通過合成具有不同曝光時間，即曝光時間Tl到T4的圖像的 處理而生成的圖像。換句話說，根據(jù)具有短曝光時間Tl的圖像確定作為高亮度區(qū)域的像 素區(qū)域中的像素值，并且根據(jù)具有長曝光時間T4的圖像確定作為低亮度區(qū)域的像素區(qū)域 中的像素值，使得當(dāng)前和先前合成圖像中的任何一個是通過合成具有曝光時間(Tl到T4) 的多個圖像的處理而生成的合成圖像。如圖6所示，具有曝光時間Tl到T4的圖像的曝光比如下。Al T4 與 Tl 的曝光比(T4/T1)A2 T4 與 T2 的曝光比(T4/T2)A3 T4 與 T3 的曝光比(T4/T3)例如，如圖6所示，通過將曝光比Al到A3和具有曝光時間Tl到T4的圖像的 每一個輸出信號相乘的處理來確定輸出像素值。換句話說，低亮度區(qū)域中的像素值根據(jù) 具有曝光時間T4的圖像來確定；中等亮度區(qū)域中的像素值根據(jù)具有曝光時間T3的圖像 來確定；高亮度區(qū)域中的像素值根據(jù)具有曝光時間T2的圖像來確定；并且超高亮度區(qū)域 中的像素值根據(jù)具有曝光時間Tl的圖像來確定。合成方法是在當(dāng)前合成圖像(合成圖像b，141b)和先前合成圖像(合成圖像a， 141a)中相同的處理。在對象沒有運(yùn)動的情況下，在相同坐標(biāo)處的像素值彼此一致，使得 像素值可以位于圖6中圖解的具有斜率1的直線上。根據(jù)第一實施例的圖像處理單元104通過使用合成圖像之間的相關(guān)來檢測運(yùn)動 區(qū)域。參考圖7描述該處理。圖7是圖解根據(jù)第一實施例的圖像處理單元104的處理的模塊圖。成像裝置102 輸出圖像111到114(曝光時間=Tl到T4)，并且存儲圖像在存儲器103中。圖像處理單元104輸入圖像111到114(曝光時間=Tl到T4)并且允許圖像合成單元201執(zhí)行圖像合成處理以生成合成圖像。如前面在圖6中所圖解的，圖像合成單元 201合成具有根據(jù)亮度的不同曝光時間的圖像，以生成移除具有飽和像素值的雪盲像素的 合成圖像。此外，如前面參考圖4所描述的，圖像合成單元201通過將具有四種不同曝 光時間的四個圖像作為一個組，順序地生成合成圖像。 由圖像合成單元201生成的合成圖像被輸入到運(yùn)動區(qū)域檢測單元202。例如，在 由四個圖像生成的合成圖像a和由接著的四個圖像生成的合成圖像b被連續(xù)地輸入的情況 下，運(yùn)動區(qū)域檢測單元202傳過前面輸入的合成圖像a，并且將合成圖像a和輸出(合成 圖像141) 一起存儲在幀存儲器203中。如果由四個圖像生成的在后合成圖像b被從圖像合成單元201輸入，則運(yùn)動區(qū)域 檢測單元202從幀存儲器203讀取在前合成圖像a，并且比較在前合成圖像a和從圖像合 成單元201輸入的在后合成圖像b。運(yùn)動區(qū)域檢測單元202比較合成圖像a和合成圖像b的像素值。換句話說，在 相同像素的對應(yīng)位置的每個上執(zhí)行像素值比較。在對象中沒有出現(xiàn)運(yùn)動的情況下，如參 考圖6所述，理想地，在對應(yīng)于合成圖像a和合成圖像b的坐標(biāo)處的像素值位于圖6中圖 解的具有斜率為1的直線上。如果在對應(yīng)于合成圖像a和合成圖像b的坐標(biāo)位置處的像素值位于圖6圖解的具 有斜率1的直線上，則確定該對象是靜止的。如果像素值偏離圖6圖解的具有斜率1的 直線，則確定存在運(yùn)動區(qū)域。然而，在實際情況中，盡管對象是靜止的，但由于固態(tài)成像裝置的噪聲或光的 拍攝噪聲的影響，所以輸出值完全地彼此一致的可能性不大。因此，在比較時可能要設(shè) 置某種程度的容差。例如，設(shè)置像素值差的允許值(Thl)。如果在合成圖像a和合成圖 像b的相同坐標(biāo)位置處的像素值差在允許差值(Thl)內(nèi)，則確定對象是靜止的。如果在 合成圖像a和合成圖像b的相同坐標(biāo)位置處的像素值差超過允許差值(Thl)，則確定存在 運(yùn)動區(qū)域。更具體地，例如，允許差值(Thl)被設(shè)置成像素值的10% (當(dāng)前合成圖像(在 后合成圖像b)的輸出值)，即允許差值(Thl) = 10%。在這種情況下，將合成圖像a和 合成圖像b的相同坐標(biāo)位置處的像素值差超過像素值的10%的區(qū)域確定為運(yùn)動區(qū)域，即 運(yùn)動對象的拍照區(qū)域。運(yùn)動區(qū)域檢測單元202通過使用例如下列確定公式(公式1)以像 素為單位來確定是否運(yùn)動區(qū)域。(當(dāng)前合成圖像輸出值)X0.1< I (當(dāng)前合成圖像輸出值)_(先前合成圖像輸出 值)| (公式1)此外，在上述公式中，允許差值(Thl) =0.1 (像素值的10%)，但是它是一個 例子。由于允許量取決于例如固態(tài)成像裝置的性能，所以優(yōu)選根據(jù)所使用的固態(tài)成像裝 置的性能等等確定該允許量。運(yùn)動區(qū)域檢測單元202確定滿足例如上述公式(公式1)的像素是運(yùn)動區(qū)域，并 且不滿足上述公式的像素為非運(yùn)動區(qū)域。運(yùn)動區(qū)域檢測單元202輸出確定運(yùn)動區(qū)域像素和非運(yùn)動區(qū)域像素的信息作為運(yùn) 動區(qū)域檢測信息143。運(yùn)動區(qū)域檢測信息143配置有對應(yīng)于像素的運(yùn)動區(qū)域檢測信息等 等，其中以圖像的像素為單位設(shè)置例如運(yùn)動區(qū)域像素=1和非運(yùn)動區(qū)域像素=0。
此外，在上述處理中，經(jīng)過比較處理的合成圖像可以是攝像機(jī)信號處理前圖 像，例如去馬賽克處理前圖像，或攝像機(jī)信號處理后圖像。此外，作為成像裝置中包含的固態(tài)成像裝置，例如，除了具有上述日本未審專 利申請公開說明書No.2008-99158的配置的成像裝置之外，可以使用普通固態(tài)成像裝置， 更具體地，例如普通CCD圖像傳感器或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器的 固態(tài)成像裝置。(2-2)第二實施例圖8是圖解根據(jù)第二實施例的圖像處理的概念的圖。隨著時間推移，包含具有 曝光時間(Tl)的圖像1、具有曝光時間(T2)的圖像2、具有曝光時間(T3)的圖像3、具 有曝光時間(T4)的圖像4的圖像被順序地輸入和處理。該實施例在選擇用于合成的圖像的方法方面不同于第一實施例。不同于第一實 施例，當(dāng)一個要合成的圖像(圖像η)被輸出時，執(zhí)行合成。

圖像合成單元201執(zhí)行圖像合成處理如下。通過使用包含具有不同曝光時間Tl到Τ4(Τ1 < Τ2 < Τ3 < Τ4)的圖像1到圖像 4的多個圖像的圖像合成處理，生成合成圖像a，141a。接著，通過使用包含具有不同曝光時間Tl到T4(T1 < Τ2 < Τ3 < Τ4)的圖像2 到圖像5的多個圖像的圖像合成處理，生成合成圖像b，141b。接著，重復(fù)相同處理。結(jié)果，執(zhí)行合成包含圖像η到n+3的四個圖像的處理， 并且之后，執(zhí)行合成包含圖像(n+1)到(n+4)的四個圖像的處理，使得通過合成被偏移一 個圖像的四個圖像來順序地生成合成圖像。運(yùn)動區(qū)域檢測單元202比較由圖像合成單元201生成的兩個合成圖像，以確定運(yùn) 動區(qū)域。換句話說，兩個合成圖像如下。通過合成圖像1到4的處理生成的合成圖像a 141a通過合成圖像2到5的處理生成的合成圖像a 141b運(yùn)動區(qū)域檢測單元202比較順序生成的兩個合成圖像，并且檢測圖像中包含的 運(yùn)動區(qū)域。運(yùn)動區(qū)域檢測單元202比較順序生成的兩個合成圖像，并且檢測圖像中包含的 運(yùn)動區(qū)域。檢測結(jié)果被作為運(yùn)動區(qū)域檢測信息143輸出。運(yùn)動區(qū)域檢測單元202的處理與第一實施例的處理相同。換句話說，在對象未 在當(dāng)前合成圖像(合成圖像b，141b)和先前合成圖像(合成圖像a，141a)中運(yùn)動的情況 下，在相同坐標(biāo)處的像素值彼此一致，使得像素值可以位于圖6圖解的具有斜率1的直線 上。如果在對應(yīng)于合成圖像a和合成圖像b的坐標(biāo)位置處的像素值位于圖6圖解的具 有斜率1的直線上，則確定該對象是靜止的。如果像素值偏離圖6圖解的具有斜率1的直 線，則確定存在運(yùn)動區(qū)域。然而，優(yōu)選執(zhí)行將這樣的像素區(qū)域確定為運(yùn)動區(qū)域的處理 如參考上述公式(公式1)描述的，通過使用根據(jù)所使用的固態(tài)成像裝置的性能等等確定 的允許差值(Thl)，檢測出等于或大于允許差值(Thl)的像素值差。運(yùn)動區(qū)域檢測單元202輸出確定運(yùn)動區(qū)域像素和非運(yùn)動區(qū)域像素的信息作為運(yùn) 動區(qū)域檢測信息143。運(yùn)動區(qū)域檢測信息143配置有對應(yīng)于像素的運(yùn)動區(qū)域檢測信息等等，其中以圖像的像素為單位設(shè)置例如運(yùn)動區(qū)域像素=1和非運(yùn)動區(qū)域像素=O。
在圖8圖解的第二實施例的處理中，與參考圖4描述的第一實施例相比較，由于 合成圖像之間的時間間隔短，所以可以允許縮短運(yùn)動對象的運(yùn)動距離。然而，在圖像處 理設(shè)備中執(zhí)行的圖像處理可能需要高速執(zhí)行。例如，可能需要提供以等于圖像的輸入速 率的輸出速率合成和輸出圖像的處理。圖9和圖10是圖解根據(jù)該實施例的圖像處理單元104的處理的模塊圖。首先， 參考圖9和10描述實施例的處理。首先，如圖9所示，成像裝置102輸出圖像111到 114(曝光時間=Tl到T4)，并且將圖像存儲在存儲器103中。圖像處理單元104輸入這些圖像111到114(曝光時間=Tl到T4)，并且允許圖 像合成單元201執(zhí)行圖像合成處理并且生成合成圖像。如上參考圖6所述，圖像合成單元 201通過合成具有根據(jù)亮度的不同曝光時間的圖像，生成移除了具有飽和像素值的雪盲像 素的合成圖像。此外，如上參考圖8所述，圖像合成單元201以被偏移一個圖像的一組 四個圖像為單位，通過將具有四種不同曝光時間的四個圖像作為一個組，順序地生成合 成圖像。圖9是圖解將包含圖像1，111到圖像4，114的圖像存儲到存儲器103，并且通 過合成包含圖像1到圖像4的圖像的處理生成合成圖像a，141a(參考圖8)的定時的例子 的圖。圖10是圖解將下一圖像5，115輸入到存儲器103，并且通過合成存儲器103中 存儲的包含圖像2，112到圖像5，115的圖像的處理生成合成圖像b，141(參考圖8)的 定時的例子的圖。由圖像合成單元201生成的合成圖像被輸入到運(yùn)動區(qū)域檢測單元202。例如，在 順序地輸入由四個圖像(圖像1到圖像4)生成的合成圖像a和由接著的四個圖像(圖像2 到圖像5)生成的合成圖像b的情況下，運(yùn)動區(qū)域檢測單元202傳過前面輸入的合成圖像 a并且將合成圖像a和輸出(合成圖像141) 一起存儲在幀存儲器203中。如果由四個圖像生成的在后合成圖像b被從圖像合成單元201輸入，則運(yùn)動區(qū)域 檢測單元202從幀存儲器203讀取在前合成圖像a，并且比較在前合成圖像a和從圖像合 成單元201輸入的在后合成圖像b。運(yùn)動區(qū)域檢測單元202在合成圖像a和合成圖像b之間執(zhí)行像素值比較。換句 話說，運(yùn)動區(qū)域檢測單元202在同一對應(yīng)像素位置處執(zhí)行像素值比較。在對象中沒有出 現(xiàn)運(yùn)動的情況下，如參考圖6所述，理想地，在對應(yīng)于合成圖像a和合成圖像b的坐標(biāo)處 的像素值位于圖6中圖解的具有斜率為1的直線上。如果在對應(yīng)于合成圖像a和合成圖像b的坐標(biāo)位置處的像素值位于圖6圖解的具 有斜率1的直線上，則確定該對象是靜止的。如果像素值偏離圖6圖解的具有斜率1的 直線，則確定存在運(yùn)動區(qū)域。然而，如參考上述公式(公式1)的描述，優(yōu)選執(zhí)行通過使 用允許差值(Thl)將這樣的像素區(qū)域確定為運(yùn)動區(qū)域的處理檢測出等于或大于根據(jù)所 使用的固態(tài)成像裝置的性能等等確定的允許差值(Thl)的像素值。運(yùn)動區(qū)域檢測單元202確定滿足例如上述公式(公式1)的像素是運(yùn)動區(qū)域，并 且不滿足上述公式的像素為非運(yùn)動區(qū)域。運(yùn)動區(qū)域檢測單元202輸出確定運(yùn)動區(qū)域像素和非運(yùn)動區(qū)域像素的信息作為運(yùn)動區(qū)域檢測信息143。運(yùn)動區(qū)域檢測信息143配置有例如像素對應(yīng)運(yùn)動區(qū)域檢測信息等等，其中以圖像的像素為單位，運(yùn)動區(qū)域像素=1和非運(yùn)動區(qū)域像素=O。在實施例中，除了具有上述日本未審專利申請公開說明書Νο.2008-99158的配置 的成像裝置之外，可以使用普通固態(tài)成像裝置，更具體地，是例如普通CCD圖像傳感器 或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器的固態(tài)成像裝置。(2-3)第三實施例如參考圖4等等所述，根據(jù)第一實施例的上述處理是這樣的處理通過使用具 有曝光時間Tl到T4的四個圖像作為一個組并且比較合成圖像以檢測運(yùn)動區(qū)域，以沒有交 疊的一組四個圖像為單位生成合成圖像。盡管根據(jù)第一實施例的處理非常簡單，但作為像素值比較的對象的兩個合成圖 像的拍照時間分隔一個間隔。以這種方式，如果作為比較的對象的合成圖像被分隔一個 時間間隔，則例如甚至具有慢運(yùn)動的運(yùn)動對象被確定為運(yùn)動區(qū)域的可能性也較高。以這種方式，如果作為比較的對象的兩個合成圖像被分隔一個時間間隔，即使 在通過合成圖像之間的像素值比較處理檢測出像素值差并且被確定為運(yùn)動區(qū)域的像素區(qū) 域中，在作為一個合成圖像的合成源的多個不同曝光圖像之間的對應(yīng)像素的像素值差可 能較小，并且該區(qū)域可能因為該差值被確定為運(yùn)動區(qū)域。這是由于構(gòu)成合成圖像的不同 曝光圖像之間的拍照時間間隔小于合成圖像之間的拍照時間間隔。通過這種方式，由于在第一實施例中經(jīng)過像素值比較的合成圖像之間的拍照時 間間隔大，所以運(yùn)動區(qū)域的檢測趨向過度。第三實施例是包含移除這種過檢測的方法的 配置的例子。圖11是圖解根據(jù)第三實施例的圖像處理的概念的圖。隨著時間推移，包含具有 曝光時間(Tl)的圖像1、具有曝光時間(T2)的圖像2、具有曝光時間(T3)的圖像3、具 有曝光時間(T4)的圖像4的圖像被順序地輸入和處理。用于生成合成圖像的圖像的合成與參考圖4所述的第一實施例的合成相同。換 句話說，通過使用包含具有不同曝光時間Tl到T4(T1 < Τ2 < Τ3 < Τ4)的圖像1到圖像 4的多個圖像的圖像合成處理，生成合成圖像a，141a。接著，通過使用包含具有不同曝光時間Tl到T4(T1 < Τ2 < Τ3 < Τ4)的圖像5 到圖像8的圖像的圖像合成處理，生成合成圖像b，141b。該實施例不同于參考圖4所述的第一實施例的地方在于包含合成前圖像比較單 元205。合成前圖像比較單元205在合成前要合成圖像(圖像η)的像素之間比較輸出值， 并且提供比較結(jié)果到運(yùn)動區(qū)域檢測單元202。運(yùn)動區(qū)域檢測單元202通過使用從合成前圖像比較單元205輸入的關(guān)于合成前要 合成圖像(圖像η)的像素之間的像素值比較結(jié)果的信息，對在合成圖像之間的像素值比 較中被確定為運(yùn)動區(qū)域的區(qū)域執(zhí)行再驗證。在合成前要合成圖像(圖像η)的像素之間的 像素值比較結(jié)果等于或小于預(yù)定像素值差的情況下，確定在合成圖像之間的像素值比較 中被確定為運(yùn)動區(qū)域的區(qū)域不是運(yùn)動區(qū)域。換句話說，運(yùn)動區(qū)域檢測單元202執(zhí)行移除 在合成圖像之間的像素值比較中被過度確定為運(yùn)動區(qū)域的部分的處理。合成前圖像比較單元205執(zhí)行合成前要合成圖像，即具有不同曝光時間Tl到 Τ4(Τ1 < Τ2 < Τ3 < Τ4)的圖像的對應(yīng)像素的像素值比較。在這種情況下，可能需要執(zhí)行根據(jù)曝光時間計算的輸出像素值之間的比較。該處理對應(yīng)于上面背景技術(shù)中描述的日本未審專利申請公開說明書 No.2000-50151的處理，S卩，如上參考圖2所述的長時間曝光圖像(LE)的輸出值(亮度) 和短時間曝光圖像(SE)的輸出值(亮度)之間的對應(yīng)關(guān)系比較處理。換句話說，如果長 時間曝光圖像(LE)的輸出值(亮度)和短時間曝光圖像(SE)的輸出值(亮度)被設(shè)置 在如圖2圖解的具有斜率A(=曝光比)的線上，則可以確定長時間曝光圖像(LE)和短 時間曝光圖像(SE)的對應(yīng)像素與具有完全相同亮度的對象的拍照相關(guān)聯(lián)。換句話說，在拍照相同對象的情況下，長時間曝光圖像(LE)的輸出值(亮度) 和短時間曝光圖像(SE)的輸出值(亮度)之間的對應(yīng)關(guān)系被設(shè)置成在如圖2所示具有斜 率A(=曝光比)的線上。因此，偏離該線的區(qū)域被確定為運(yùn)動出現(xiàn)的區(qū)域。然而，如上所述，在實際情況中，由于在構(gòu)成成像裝置的PD或晶體管的特殊產(chǎn) 品中存在變化，所以難以根據(jù)滿足或不滿足(LE-SEXA) =0來準(zhǔn)確地確定是否該對象有 運(yùn)動。例如，裝置之間的小變化可以通過設(shè)置閾值(Th)并且確定是否滿足|LE_S EXA| < Th來降低。然而，由于裝置之間的變化根據(jù)設(shè)備而發(fā)生改變，所以存在難以設(shè)置最優(yōu) 閾值的問題。在該實施例中，使用解決具有不同曝光時間的圖像的比較中的問題的方法。根 據(jù)例如成像裝置的特性，長時間曝光圖像的輸出值和短時間曝光圖像的輸出值顯示出如 圖12所圖解的特性。圖12是圖解與上述圖2類似的長時間曝光圖像(LE)的輸出值(亮度)和短時間 曝光圖像(SE)的輸出值(亮度)之間的對應(yīng)關(guān)系的曲線圖。例如，在上述日本未審專利申請公開說明書No.2008-99158中公開的成像裝置具 有圖12所圖解的特性。換句話說，不發(fā)生短時間曝光的輸出，直到長時間曝光的輸出等 于或大于某個水平(圖12中的區(qū)域1)。這表示，在如上所述的圖1中，如果對象的亮度 未超過中間電壓持續(xù)水平，則不發(fā)生短時間曝光的輸出。如果對象的亮度超過中間電壓持續(xù)水平，則發(fā)生短時間曝光的輸出。然而，在 發(fā)生輸出時短時間曝光的輸出的值非常不穩(wěn)定。在短時間曝光的曝光時間段內(nèi)，由于亮 度未超過中間電壓持續(xù)水平并且由于未發(fā)生有效輸出，所以區(qū)間中的斜率不同于由曝光 比定義的斜率(圖12中的區(qū)域2)。此外，曝光比是曝光比A( = LE/SE)，其是長時間 曝光圖像(LE)的曝光量與短時間曝光圖像(SE)的曝光量的比。這是由復(fù)雜的處理導(dǎo)致的，例如通過復(fù)雜處理執(zhí)行的短時間曝光處理，包含清 除光電二極管的累積的電荷，以及之后執(zhí)行短時間曝光等等。換句話說，如上參考圖1 所述，在短時間曝光處理中，首先在圖1所圖解的時間tl(電荷清除啟動點(diǎn)Pl)，把光敏 光電二極管(PD)的累積電荷清除到光電二極管(PD)中控制的中間電壓持續(xù)水平，并且 在電荷清除處理之后，再次以曝光時間TS (tl到t2)執(zhí)行曝光處理。在圖12的區(qū)域2中，在短時間曝光處理開始后就根據(jù)光電二極管(PD)的累積的 電荷量計算輸出值，并且該部分變成非常不穩(wěn)定的輸出。此外，長時間曝光圖像(LE)和 短時間曝光圖像(SE)的輸出值之間的對應(yīng)關(guān)系(斜率B)被設(shè)置成斜率B (興斜率A(曝 光比))，其不同于由作為曝光量的比值的曝光比A( = LE/SE)定義的斜率。在下一個區(qū)域3中，由于執(zhí)行短時間曝光處理的光電二極管(PD)的電荷累積變成穩(wěn)定狀態(tài)的輸出值，所以可以由曝光比計算出常量斜率A(曝光比)。上面描述的相同 關(guān)系可以被用于合成三個或更多圖像的情況。上面參考圖2描述的長時間曝光圖像的輸出值和短時間曝光圖像的輸出值之間 的對應(yīng)關(guān)系是理論關(guān)系，但是它與實際成像裝置的輸出值一致。對應(yīng)關(guān)系取決于成像裝 置的特性，使得在許多情況下，長時間曝光圖像的輸出值和短時間曝光圖像的輸出值之 間的關(guān)系可以是圖12中圖解的關(guān)系。通過考慮這個因素，在圖11所圖解的合成前圖像比較單元205在合成之前執(zhí)行 具有不同曝光時間的要合成圖像(圖像η)的像素之間的輸出值比較的情況下，只針對圖 12所圖解的區(qū)域3，即亮度等于或高于預(yù)定閾值亮度水平(圖12中的Th2)的像素，選擇 像素作為比較對象，并且只對所選擇的像素執(zhí)行像素值比較處理。此外，根據(jù)成像裝置的特性確定閾值亮度水平(圖12中的Th2)，以根據(jù)使得在 短時間曝光中輸出是穩(wěn)定的這種亮度水平來預(yù)定該閾值亮度水平。合成前圖像比較單元205在亮度等于或大于預(yù)定閾值亮度水平(圖12的Th2)的 像素處比較作為要合成圖像的長時間曝光圖像和短時間曝光圖像的輸出值，并且將比較 結(jié)果輸出到過檢測移除單元203 (參考圖13)。過檢測移除單元203根據(jù)接收自合成前圖 像比較單元205的信息，對運(yùn)動區(qū)域檢測單元202在合成圖像之間的像素值比較的結(jié)果中 確定為運(yùn)動區(qū)域的像素區(qū)域執(zhí)行再驗證。換句話說，在作為要合成圖像的長時間曝光圖像和短時間曝光圖像的輸出值之 間的差值小于預(yù)定閾值的情況下，確定在合成圖像之間的像素值比較結(jié)果中確定為運(yùn)動 區(qū)域的像素區(qū)域不是運(yùn)動區(qū)域，使得運(yùn)動區(qū)域的確定被取消。圖13是圖解根據(jù)實施例的圖像處理設(shè)備的模塊圖。該圖不同于圖7的地方在于 包 含合成前比較單元205和過檢測移除單元206。成像裝置102輸出圖像115到118 (曝光時間=Tl到T4)，并且將圖像存儲在存 儲器103中。圖像處理單元104輸入這些圖像115到118 (曝光時間=Tl到T4)，并且 允許圖像合成單元201執(zhí)行圖像合成處理并且生成合成圖像。此外，在圖13中，描述了 通過使用在前圖像111到114(曝光時間=Tl到T4)生成的合成圖像已經(jīng)被存儲在幀存儲 器203中。如上參考圖6所述，圖像合成單元201通過合成具有根據(jù)亮度的不同曝光時間的 圖像，生成移除了具有飽和像素值的雪盲像素的合成圖像。由圖像合成單元201生成的 合成圖像被輸入到運(yùn)動區(qū)域檢測單元202。例如，在由四個圖像生成的合成圖像a和由 接著的四個圖像生成的合成圖像b被連續(xù)地輸入的情況下，運(yùn)動區(qū)域檢測單元202傳過前 面輸入的合成圖像a，并且把合成圖像a和輸出(合成圖像141) 一起存儲在幀存儲器203 中。如果由四個圖像生成的在后合成圖像b被從圖像合成單元201輸入，則運(yùn)動區(qū)域 檢測單元202從幀存儲器203讀取在前合成圖像a，并且比較在前合成圖像a和從圖像合 成單元201輸入的在后合成圖像b。如果在對應(yīng)于合成圖像a和合成圖像b的坐標(biāo)位置處的像素值位于圖6圖解的具 有斜率1的直線上，則確定該對象是靜止的。如果像素值偏離圖6圖解的具有斜率1的 直線，則確定存在運(yùn)動區(qū)域。然而，如參考上述公式(公式1)描述的，優(yōu)選執(zhí)行通過使用允許 差值(Thl)把這樣的像素區(qū)域確定為運(yùn)動區(qū)域的處理檢測出等于或大于根據(jù)所 使用的固態(tài)成像裝置的性能等等確定的允許差值(Thl)的像素值。在實施例中，運(yùn)動區(qū)域檢測單元202的檢測結(jié)果被輸入到過檢測移除單元206。 過檢測移除單元206對根據(jù)在合成圖像a和合成圖像b的對應(yīng)坐標(biāo)位置處的像素值比較被 確定為運(yùn)動區(qū)域的像素區(qū)域執(zhí)行再驗證，并且執(zhí)行把被確定為過檢測的運(yùn)動區(qū)域的像素 確定為不在運(yùn)動區(qū)域中的過檢測移除處理。換句話說，從合成前圖像比較單元205向過檢測移除單元206輸入成為要合成圖 像的長時間曝光圖像的輸出值和短時間曝光圖像的輸出值之間的比較結(jié)果。在這樣的情 況下針對在合成圖像之間的像素值比較的結(jié)果中被確定為運(yùn)動區(qū)域的像素區(qū)域，成為 要合成圖像的長時間曝光圖像的輸出值和短時間曝光圖像的輸出值之間的差值小于預(yù)定 閾值，過檢測移除單元206執(zhí)行確定該區(qū)域不是運(yùn)動區(qū)域并且取消運(yùn)動區(qū)域的確定的過 檢測移除處理。此外，如上所述，合成前圖像比較單元205在亮度等于或大于預(yù)定閾值亮度水 平(圖12的Th2)的像素處比較作為要合成圖像的長時間曝光圖像和短時間曝光圖像的輸 出值，并且將比較結(jié)果輸出到運(yùn)動區(qū)域檢測單元202的過檢測移除單元206。合成前比較單元205設(shè)置類似于上述公式的某種程度的允許量，并且通過使用 下列公式(公式2)執(zhí)行運(yùn)動區(qū)域的確定。在圖12所圖解的區(qū)域3中不滿足下列公式2 的情況下，確定該區(qū)域不是運(yùn)動區(qū)域，并且該區(qū)域是從運(yùn)動區(qū)域移除的對象。在短時間曝光圖像(例如，圖像5(T1)115)和長時間曝光圖像(例如，圖像 6(Τ2)116)被設(shè)置成比較對象的情況下。(短時間曝光圖像的輸出)X0.1 > |(長時間曝光圖像的輸出)_(短時間曝光圖像 的輸出)ΧΑ| (公式2)此外，A是曝光比A( = LE/SE)，其是長時間曝光圖像(LE)的曝光量與短時間 曝光圖像(SE)的曝光量的比。上述公式(公式2)表示，例如，在曝光比A = 10的情況下，表示通過從圖像
6 (T2) 116 (長時間曝光圖像)的輸出值中10次減去圖像5 (Tl) 115 (短時間曝光圖像)的 輸出值所獲得的絕對值。以這種方式，盡管運(yùn)動區(qū)域檢測單元202根據(jù)合成圖像之間的像素值的比較確 定像素區(qū)域為運(yùn)動區(qū)域，但過檢測移除單元206執(zhí)行確定圖12所圖解的區(qū)域3中滿足下 列公式2的區(qū)域不是運(yùn)動區(qū)域并且從運(yùn)動區(qū)域中移除該區(qū)域的處理。此外，未對合成前圖像的所有組合執(zhí)行比較處理，但是當(dāng)在生成合成圖像時被 選擇為構(gòu)成合成圖像的像素的圖像之前和之后執(zhí)行比較處理(從圖像合成單元102獲得選 擇信息)。換句話說，例如，在圖像6 (T2) 116的像素被選擇作為合成圖像的特定像素的 有效像素值的情況下，在圖像6(T2) 116和圖像5 (Tl) 115之間和在圖像6 (Τ2) 116和圖像
7 (Τ3) 117之間執(zhí)行比較。以這種方式，運(yùn)動區(qū)域檢測單元202執(zhí)行(1)通過合成圖像之間的像素值比較來 檢測運(yùn)動區(qū)域的檢測處理。過檢測移除單元206執(zhí)行(2)通過作為合成圖像的來源的要合成圖像之間的像素 值比較來檢測運(yùn)動區(qū)域的再檢測處理。過檢測移除單元206只將在兩步處理中被確定為運(yùn)動區(qū)域的像素區(qū)域確定為最終運(yùn)動區(qū)域，并且運(yùn)動區(qū)域檢測信息143。運(yùn)動區(qū)域檢測信息143配置有例如像素對應(yīng)運(yùn)動區(qū)域檢測信息等等，其中以圖 像的像素為單位，運(yùn)動區(qū)域像素=1和非運(yùn)動區(qū)域像素=0。在實施例中，除了 具有上述日本未審專利申請公開說明書Νο.2008-99158的配置 的成像裝置之外，可以使用普通固態(tài)成像裝置，更具體地，是例如普通CCD圖像傳感器 或CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器的固態(tài)成像裝置。此外，根據(jù)成像裝置 的特性，長時間曝光圖像的輸出值和短時間曝光圖像的輸出值之間的關(guān)系可以是圖12中 圖解的關(guān)系，圖2中所圖解的關(guān)系，或其它關(guān)系。優(yōu)選地，合成前圖像比較單元205具 有通過根據(jù)所使用的成像裝置的特性改進(jìn)確定區(qū)域來執(zhí)行確定的配置。(2-4)第四實施例接著，描述根據(jù)本發(fā)明第四實施例的圖像處理設(shè)備的配置的例子，其從運(yùn)動區(qū) 域中檢測具有發(fā)生圖像質(zhì)量退化的較高可能性的圖像質(zhì)量退化區(qū)域。例如，在使用利用R，G和B濾色鏡(濾色鏡的顏色可以是任意的)的單板型 固態(tài)成像裝置的情況下，在與構(gòu)成所生成的合成圖像的像素相鄰的像素的位置處的R，G 和B像素被從不同的要合成圖像中選擇和合成的情況下，拍照運(yùn)動對象時的圖像質(zhì)量退 化的增加。作為更詳細(xì)的例子，存在這樣的情況針對構(gòu)成合成圖像的像素，從具有曝光 時間T2的圖像112 (T2)中選擇G像素，并且從具有曝光時間T4的圖像114(T4)中選擇 與G像素相鄰的R像素和B像素。在執(zhí)行這種合成處理的情況下，靜止圖片沒有嚴(yán)重問題。然而，在拍照運(yùn)動對 象的情況下，具有不同曝光時間和曝光間隔的圖像被用于相鄰像素。因此，之后，如果 執(zhí)行去馬賽克(插值)處理并且執(zhí)行作為彩色圖像的觀察，則圖像質(zhì)量退化可能出現(xiàn)，并 且更具體地，偽彩色等等可能出現(xiàn)。此外，即使在拍照運(yùn)動對象的情況下，如果從相同要合成圖像中選擇相鄰像 素，則不存在圖像質(zhì)量退化。這是由于表示具有相同曝光時間和曝光間隔的圖像。因 此，至少偽彩色等等不出現(xiàn)。圖14是圖解實施例的概念的圖。例如，通過上述第一到第三實施例的若干方法檢測的運(yùn)動區(qū)域是作為圖14中的 寬區(qū)域的"運(yùn)動區(qū)域"，并且具體出現(xiàn)圖像質(zhì)量退化(偽彩色等等)的"圖像質(zhì)量退化區(qū) 域"被包含在其中。在根據(jù)第四實施例的圖像處理設(shè)備中，在相鄰像素之間使用的不同要合成圖像 的像素被從構(gòu)成被確定為包含運(yùn)動對象的〃運(yùn)動區(qū)域〃的像素中提取，并且這些像素被 檢測為構(gòu)成"圖像質(zhì)量退化區(qū)域"的像素。圖15是圖解根據(jù)實施例的圖像處理設(shè)備的模塊圖。該圖不同于圖7的地方在于 包含選擇圖像比較單元207和圖像質(zhì)量退化區(qū)域檢測單元208。由于其它配置與圖7的配置相同，所以省略其描述。此后，描述與圖7的配置 的差別。選擇圖像比較單元207輸入來自圖像合成單元201的選擇圖像信息。選擇圖像 信息表示從要合成圖像(圖像1到圖像4)的哪些像素中選擇構(gòu)成通過圖像合成單元201中的圖像合成處理生成的合成圖像的像素。選擇圖像比較單元207執(zhí)行把從其它圖像中 選擇的相鄰像素設(shè)置為圖像質(zhì)量退化區(qū)域檢測對象的處理。參考圖16A和16B描述由選擇圖像比較單元207執(zhí)行的處理。圖16A和16B圖 解了下列兩個例子。(a)圖像質(zhì)量退化區(qū)域不是檢測對象的例子(b)圖像質(zhì)量退化區(qū)域是檢測對象的例子在每個例子中，確定對象是9個像素中的中央像素。(a)圖像質(zhì)量退化區(qū)域不是檢測對象的例子

在該例子中，被用作確定對象的中央像素用從圖像I(Tl)中選擇的像素來配 置，并且作為相鄰像素的所有8個像素類似于中央像素地用從圖像I(Tl)中選擇的像素來配置。通過這種方式，在與作為中央像素的要確定像素相鄰的所有像素被從與中央像 素的圖像相同的圖像中選擇的情況下，確定沒有圖像質(zhì)量退化的可能性，使得其被確定 不是圖像質(zhì)量退化區(qū)域檢測對象。(b)圖像質(zhì)量退化區(qū)域是檢測對象的例子另一方面，在圖16B圖解的例子中，被用作確定對象的中央像素用從圖像I(Tl) 中選擇的像素來配置，并且作為相鄰像素的8個像素中的兩個像素用不同于中央像素地 從圖像2(T2)中選擇的像素來配置。通過這種方式，在不同于中央像素地從圖像中選擇的像素被包含為與作為中央 像素的要確定像素相鄰的情況下，確定存在圖像質(zhì)量退化的可能性，使得其被設(shè)置成圖 像質(zhì)量退化區(qū)域檢測對象。通過這種方式，選擇圖像比較單元207向圖像質(zhì)量退化區(qū)域檢測單元208輸出像 素對應(yīng)確定信息，像素對應(yīng)確定信息針對構(gòu)成合成圖像的像素區(qū)別圖像質(zhì)量退化區(qū)域檢 測對象像素和圖像質(zhì)量退化區(qū)域非檢測對象像素。例如，向圖像質(zhì)量退化區(qū)域檢測單元 208輸出合成圖像的像素對應(yīng)圖像質(zhì)量退化區(qū)域檢測信息，其中圖像質(zhì)量退化區(qū)域檢測對 象像素=1并且圖像質(zhì)量退化區(qū)域非檢測對象像素=0。圖像質(zhì)量退化區(qū)域檢測單元208輸入來自選擇圖像比較單元207的圖像質(zhì)量退化 區(qū)域檢測信息，并且輸入來自運(yùn)動區(qū)域檢測單元202的基于合成圖像之間的像素值比較 的處理而生成的運(yùn)動區(qū)域檢測信息143。運(yùn)動區(qū)域檢測信息143配置有例如運(yùn)動區(qū)域檢測 信息等等，其中以合成圖像的像素為單位，運(yùn)動區(qū)域像素=1并且非運(yùn)動區(qū)域像素=0。圖像質(zhì)量退化區(qū)域檢測單元208根據(jù)圖像質(zhì)量退化區(qū)域檢測信息和運(yùn)動區(qū)域檢 測信息143，生成和輸出作為最終信息的圖像質(zhì)量退化運(yùn)動區(qū)域檢測信息144。圖像質(zhì)量退化區(qū)域檢測單元208針對所有像素只提取運(yùn)動區(qū)域像素=1和圖像質(zhì) 量退化區(qū)域檢測對象像素=1的像素，并且將這個區(qū)域定義為圖像質(zhì)量退化運(yùn)動區(qū)域。換句話說，圖像質(zhì)量退化區(qū)域檢測單元208對圖像質(zhì)量退化區(qū)域檢測信息和運(yùn) 動區(qū)域檢測信息143執(zhí)行AND( “與”)處理(AND邏輯計算)以只提取在運(yùn)動區(qū)域中 并且作為圖像質(zhì)量退化區(qū)域檢測對象的像素，并且確定這些像素為圖像質(zhì)量退化運(yùn)動區(qū) 域像素。圖像質(zhì)量退化區(qū)域檢測單元208確定除了這些像素之外的像素作為非圖像質(zhì)量 退化運(yùn)動區(qū)域像素，并且輸出圖像質(zhì)量退化運(yùn)動區(qū)域檢測信息144，其中以像素為單位設(shè)置確定信息。 從圖像質(zhì)量退化區(qū)域檢測單元208輸出的圖像質(zhì)量退化運(yùn)動區(qū)域檢測信息144配 置有例如像素對應(yīng)圖像質(zhì)量退化運(yùn)動區(qū)域檢測信息等等，其中圖像質(zhì)量退化運(yùn)動區(qū)域像 素=1并且非圖像質(zhì)量退化運(yùn)動區(qū)域像素=0。在實施例中，除了具有上述日本未審專利申請公開說明書Νο.2008-99158的配置 的成像裝置之外，可以使用普通固態(tài)成像裝置，更具體地，是例如普通CCD圖像傳感器 或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器的固態(tài)成像裝置。(2-5)第五實施例接著，在根據(jù)本發(fā)明的第五實施例的圖像處理設(shè)備中，參考圖17描述輸出作為 檢測非常可能導(dǎo)致圖像質(zhì)量退化的區(qū)域的信息的圖像質(zhì)量退化區(qū)域檢測信息的配置。圖17是圖解根據(jù)實施例的圖像處理設(shè)備的模塊圖。成像裝置102和存儲器103 的配置與參考圖7描述的第一實施例的配置相同。圖像處理單元104的圖像合成單元201的處理也與參考圖7描述的第一實施例的 配置相同，其中具有不同曝光時間的圖像1到4被用于生成合成圖像141。輸出值有效區(qū)域檢測單元209輸入來自圖像合成單元201的選擇圖像信息。選 擇圖像信息表示要合成圖像(圖像1到圖像4)的哪些像素中選擇構(gòu)成由圖像合成單元201 生成的合成圖像的像素。選擇信息與參考圖15描述的第四實施例的選擇信息相同。當(dāng)輸出值有效區(qū)域檢測單元209輸入該選擇信息時，輸出值有效區(qū)域檢測單元 209針對所有構(gòu)成合成圖像的像素獲得所選圖像，即在存儲器103中存儲的合成前要合成 圖像(圖像1到圖像4)的對應(yīng)像素值，并且確定合成前圖像的輸出值的有效性。例如，在圖像的有效位配置有10位數(shù)據(jù)并且比特值能夠取的值，即數(shù)位值在從 0到1023數(shù)位的范圍中的情況下，輸出值有效區(qū)域檢測單元209確定該范圍兩端處的比特 值的有效性低。更具體地，例如，在構(gòu)成合成圖像的像素的比特值(0到1023數(shù)位)滿 足下列公式3的情況下，比特值> 1000數(shù)位，或比特值< 5數(shù)位(公式3)確定像素的比特值的有效性低，使得該區(qū)域被確定為圖像質(zhì)量退化區(qū)域(第五 實施例(參考圖17))。比特值> 1000數(shù)位滿足公式的像素是像素值幾乎達(dá)到飽和水平的像素。比特值< 5數(shù)位滿足公式的像素是像素值幾乎在零附近的像素。由于這種像素輸出準(zhǔn)確像素值的可能性較小，所以該區(qū)域被確定為像素值沒有 有效性的像素區(qū)域。通過這種方式，輸出值有效區(qū)域檢測單元209通過使用確定公式(公式3)，根據(jù) 構(gòu)成合成圖像的像素的像素值確定像素值是否被設(shè)置成有效性實際上被阻礙的像素值， 并且生成和輸出圖像質(zhì)量退化區(qū)域檢測信息145，其中確定結(jié)果被設(shè)置成像素對應(yīng)有效性 fn息ο圖像質(zhì)量退化區(qū)域檢測信息145配置有例如像素對應(yīng)圖像質(zhì)量退化區(qū)域信息等等，其中以合成圖像的像素為單位，圖像質(zhì)量退化區(qū)域像素=1表示滿足上述公式3的像 素，并且非圖像質(zhì)量退化區(qū)域像素=O表示像素不滿足上述公式3。(2-6)第六實施例接著，參考圖18描述根據(jù)本發(fā)明第六實施例的圖像處理設(shè)備的配置。圖18中圖解的圖像處理設(shè)備是圖17所圖解的第五實施例的修改例子。圖18所圖解的圖像處理設(shè)備具有參考圖7描述的第一實施例的配置，和參考圖 17描述的第五實施例的配置。圖像合成單元201中的圖像合成處理與第一實施例的處理相同。成像裝置102輸出圖像111到114(曝光時間=Tl到T4)，并且存儲圖像在存儲 器103中。圖像處理單元104輸入圖像111到114(曝光時間=Tl到T4)，并且允許圖 像合成單元201執(zhí)行圖像合成處理以生成合成圖像。圖18所圖解的運(yùn)動區(qū)域檢測單元202執(zhí)行參考圖7描述的處理。換句話說，運(yùn) 動區(qū)域檢測單元202執(zhí)行合成圖像之間的像素值比較，生成合成圖像的運(yùn)動區(qū)域檢測信 息143，并且輸出到圖像質(zhì)量退化區(qū)域檢測單元208。由運(yùn)動區(qū)域檢測單元202生成的運(yùn)動區(qū)域檢測信息143配置有例如像素對應(yīng)運(yùn)動 區(qū)域檢測信息等等，其中以構(gòu)成合成圖像的像素為單位，運(yùn)動區(qū)域像素=1和非運(yùn)動區(qū) 域像素=0。另一方面，輸出值有效區(qū)域檢測單元209輸入來自圖像合成單元201的選擇圖像 信息。選擇圖像信息表示從要合成圖像(圖像1到圖像4)的哪些像素中選擇構(gòu)成由圖像 合成單元201生成的合成圖像的像素。輸出值有效區(qū)域檢測單元209針對構(gòu)成合成圖像 的所有像素獲得所選圖像，即在存儲器103中存儲的合成前要合成圖像(圖像1到圖像4) 的對應(yīng)像素值，并且確定合成前圖像的輸出值的有效性。這個處理與由參考圖17描述的第五實施例的輸出值有效區(qū)域檢測單元209執(zhí)行 的處理相同。更具體地，例如，在構(gòu)成合成圖像的像素的有效位配置有10位數(shù)據(jù)并且比特值 能夠取的值，即數(shù)位值在從0到1023數(shù)位的范圍中的情況下，輸出值有效區(qū)域檢測單元 209確定范圍兩端處的比特值的有效性低。更具體地，例如，在構(gòu)成合成圖像的像素的比 特值(0到1023數(shù)位)滿足下列公式3的情況下，比特值> 1000數(shù)位，或比特值< 5數(shù)位(公式3)確定像素的比特值的有效性低，使得該區(qū)域被確定為圖像質(zhì)量退化區(qū)域。生成 和輸出確定結(jié)果被設(shè)置成像素對應(yīng)有效性信息的圖像質(zhì)量退化區(qū)域檢測信息145。圖像質(zhì)量退化區(qū)域檢測信息145配置有例如像素對應(yīng)圖像質(zhì)量退化區(qū)域信息等 等，其中以合成圖像的像素為單位，圖像質(zhì)量退化區(qū)域像素=1表示滿足上述公式3的像 素，并且非圖像質(zhì)量退化區(qū)域像素=0表示不滿足上述公式3的像素。 圖像質(zhì)量退化區(qū)域檢測單元208根據(jù)圖像質(zhì)量退化區(qū)域檢測信息和運(yùn)動區(qū)域檢 測信息143，生成和輸出作為最終信息的圖像質(zhì)量退化運(yùn)動區(qū)域檢測信息144。圖像質(zhì)量退化區(qū)域檢測單元208針對所有像素只提取運(yùn)動區(qū)域像素=1并且圖像 質(zhì)量退化區(qū)域像素=1的像素，并且將這個區(qū)域定義為圖像質(zhì)量退化運(yùn)動區(qū)域。
換句話說，圖像質(zhì)量退化區(qū)域檢測單元208對圖像質(zhì)量退化區(qū)域檢測信息145和 運(yùn)動區(qū)域檢測信息143執(zhí)行AND處理(AND邏輯計算)，以只提取在運(yùn)動區(qū)域中并且在 圖像質(zhì)量退化區(qū)域中的像素，并且確定該像素作為圖像質(zhì)量退化運(yùn)動區(qū)域像素。圖像質(zhì) 量退化區(qū)域檢測單元208確定除了這些像素之外的像素作為非圖像質(zhì)量退化運(yùn)動區(qū)域像 素，并且輸出圖像質(zhì)量退化運(yùn)動區(qū)域檢測信息144，其中以像素為單位設(shè)置確定信息。從圖像質(zhì)量退化區(qū)域檢測單元208輸出的圖像質(zhì)量退化運(yùn)動區(qū)域檢測信息144配 置有例如像素對應(yīng)圖像質(zhì)量退化運(yùn)動區(qū)域檢測信息等等，其中圖像質(zhì)量退化運(yùn)動區(qū)域像 素=1并且非圖像質(zhì)量退化運(yùn)動區(qū)域像素=0。通過這種方式，在圖18所圖解的第六實施例中，提供了相加上述第一和第五實 施例的結(jié)果的配置。在第六實施例中，類似于第五實施例，執(zhí)行確定像素值接近于飽和像素值或零 的像素作為圖像質(zhì)量退化區(qū)域的處理。然而，在該實施例中，在使用合成圖像之后的數(shù) 據(jù)的運(yùn)動檢測處理中，未被檢測作為運(yùn)動區(qū)域的區(qū)域未被選擇作為圖像質(zhì)量退化運(yùn)動區(qū) 域。因此，如果作為合成圖像的比較對象的合成圖像的對應(yīng)像素值沒有被用來確定 運(yùn)動區(qū)域的 像素值差，則該區(qū)域被從圖像質(zhì)量退化運(yùn)動區(qū)域中移除。因此，與第五實施 例相比較，可以避免過度圖像質(zhì)量退化區(qū)域的檢測。在實施例中，除了具有上述日本未審專利申請公開說明書No.2008-99158的配置 的成像裝置之外，可以使用普通固態(tài)成像裝置，更具體地，是例如普通CCD圖像傳感器 或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器的固態(tài)成像裝置。(2-7)第七實施例接著，參考圖19和20描述根據(jù)本發(fā)明第七實施例的圖像處理設(shè)備的配置。圖19是與圖5的特性圖相同的特性圖。S卩，圖19是圖解在從長時間曝光圖像 到短時間曝光圖像的范圍內(nèi)獲得多個圖像的處理的圖。在圖19中，水平軸是時間(t)， 并且垂直軸是光敏光電二極管(PD)中累積的電荷量(e)，其中光敏光電二極管(PD)構(gòu)成 對應(yīng)于固態(tài)成像裝置的一個像素的光電轉(zhuǎn)換單元。例如，在光敏光電二極管(PD)的感 測光量大的情況下，即，在對應(yīng)于亮對象的情況下，電荷累積量隨著時間推移快速地增 力口。另一方面，在光敏光電二極管(PD)的感測光量小的情況下，S卩，在對應(yīng)于暗對象的 情況下，電荷累積量隨著時間推移逐漸地增加。圖19是考慮通過拍照運(yùn)動對象來獲得像素的處理的圖。該解了在拍照開始 時間亮并且之后暗的情形。在圖19中，由于在開始時間(時間=tx到ty)的亮情形中的 信號超過中間電壓持續(xù)水平，所以出現(xiàn)短時間曝光的區(qū)域。然而，同時(時間=ty)，對 象運(yùn)動，使得像素值變暗。在由于亮對象的運(yùn)動而使得像素值變暗之后，執(zhí)行短時間曝光。圖19圖解了短 時間曝光時間(Tl到T3)。由于這個時間段在亮對象已經(jīng)運(yùn)動之后，所以在這種情形下 拍照暗對象，并且光敏光電二極管(PD)的電荷的累積速度降低，使得圖中圖解的線的斜 率增加。接著，在經(jīng)過長時間曝光時間(T4)之后，獲得長時間曝光輸出。在這種情況 下，由于拍照暗對象，所以斜率在時間t2之后的時間段內(nèi)減小，使得可以獲得像素未接 近飽和水平的長時間曝光輸出。
在圖像合成處理中，執(zhí)行短時間曝光的輸出值和長時間曝光的輸出值之間的比 較。然而，在這個例子中，由于短時間曝光的輸出小，所以可以選擇長時間曝光的輸 出。這里，存在長時間曝光的輸出值可能不正確的問題。這是由于，如圖19所示，在 經(jīng)過長時間曝光時間(T4)之后獲得的長時間曝光輸出上存在接近中間電壓持續(xù)水平、作 為偏移的信號。
如果偏移量被減去并且通過考慮曝光時間來執(zhí)行曝光比的調(diào)整，則可以計算準(zhǔn) 確的輸出值。然而，在實際情況中，由于裝置造成的中間電壓的不規(guī)則性，所以難以獲 得準(zhǔn)確值。因此，存在的問題在于在這種情況下獲得的合成圖像尤其可能具有大量圖像 質(zhì)量退化。在該實施例中，公開了檢測這種像素的方法。圖20是圖解根據(jù)實施例的圖像處理設(shè)備的模塊圖。成像裝置102和存儲器103 的配置與參考圖7描述的第一實施例的配置相同。圖像處理單元104的圖像合成單元201的處理也與參考圖7描述的第一實施例的 處理相同，其中具有不同曝光時間的圖像1到4被用于生成合成圖像141。運(yùn)動區(qū)域檢測單元b 210輸入來自圖像合成單元201的選擇圖像信息。選擇圖像 信息表示從要合成圖像(圖像1到圖像4)的哪些像素中選擇構(gòu)成由圖像合成單元201生 成的合成圖像的像素。選擇信息與參考圖15描述的第四實施例的選擇信息相同。運(yùn)動區(qū)域檢測單元b 210輸入圖像1，111到圖像4，114的輸出(像素值)，其 中圖像1，111到圖像4，114是存儲器103中存儲的要合成圖像，并且運(yùn)動區(qū)域檢測單元 b 210輸入來自圖像合成單元201的選擇圖像信息。運(yùn)動區(qū)域檢測單元b 210針對構(gòu)成合 成圖像的所有像素獲得所選圖像，即在存儲器103中存儲的合成前要合成圖像(圖像1到 圖像4)的對應(yīng)像素值，并且確定構(gòu)成合成圖像的像素是否滿足下列條件。作為構(gòu)成合成圖像的像素，選擇長時間曝光圖像(在這種情況下，圖像4(T4)， 114)。此外，滿足下列公式中的任何一個。(圖像1(Tl) 111的輸出)> 5數(shù)位，(圖像2(Τ2)112的輸出)> 5數(shù)位，或(圖像3(Τ3) 113的輸出)> 5數(shù)位(公式4)確定滿足上述條件的像素為運(yùn)動區(qū)域中的像素。然而，考慮圖像的有效位配置有10位數(shù)據(jù)并且比特值能夠取的值，即數(shù)位值在 從0到1023數(shù)位的范圍內(nèi)的情況。在該確定處理中，短時間曝光圖像(圖像1到3)中的任何一個輸出有效像素值 (例如，大于5數(shù)位)，并且此外，在長時間曝光圖像(圖像Τ4)被選擇作為像素的合成 圖像上像素的值的情況下，該像素是參考圖19描述的情況中的像素。確定滿足上述條件的像素為運(yùn)動區(qū)域中的像素。圖20所圖解的運(yùn)動區(qū)域檢測單元b 210通過該處理生成和輸出運(yùn)動區(qū)域檢測信 息143。運(yùn)動區(qū)域檢測信息143配置有例如像素對應(yīng)運(yùn)動區(qū)域檢測信息等等，其中以構(gòu)成 合成圖像的像素為單位，運(yùn)動區(qū)域像素=1并且非運(yùn)動區(qū)域像素=0。(2-8)第八實施例接著，參考圖21描述根據(jù)本發(fā)明第七實施例的圖像處理設(shè)備的配置。
圖21中圖解的圖像處理設(shè)備是圖20所圖解的第七實施例的修改例子。圖21所圖解的圖像處理設(shè)備具有參考圖7描述的第一實施例的配置，和參考圖 20描述的第七實施例的配置。圖像合成單元201中的圖像合成處理與第一實施例的處理相同。成像裝置102輸出圖像111到114(曝光時間=Tl到T4)，并且存儲圖像在存儲 器103中。圖像處理單元104輸入圖像111到114(曝光時間=Tl到T4)，并且允許圖 像合成單元201執(zhí)行圖像合成處理以生成合成圖像。圖21所圖解的運(yùn)動區(qū)域檢測單元202執(zhí)行與參考圖7描述的運(yùn)動區(qū)域檢測單元 202的處理相同的處理。換句話說，運(yùn)動區(qū)域檢測單元202執(zhí)行合成圖像之間的像素值比 較，以生成和輸出合成圖像的運(yùn)動區(qū)域檢測信息a 143a。由運(yùn)動區(qū)域檢測單元202生成的運(yùn)動區(qū)域檢測信息a 143a配置有例如像素對應(yīng)運(yùn) 動區(qū)域檢測信息等等，其中以構(gòu)成合成圖像的像素為單位，運(yùn)動區(qū)域像素=1和非運(yùn)動 區(qū)域像素=0。

另一方面，圖21所圖解的運(yùn)動區(qū)域檢測單元b 210執(zhí)行與參考圖20描述的運(yùn)動 區(qū)域檢測單元b 210的處理相同的處理。換句話說，運(yùn)動區(qū)域檢測單元b 210輸入圖像1，111到圖像4，114的輸出(像 素值)，其中圖像1，111到圖像4，114是存儲器103中存儲的要合成圖像，并且運(yùn)動區(qū) 域檢測單元b 210輸入來自圖像合成單元201的選擇圖像信息。運(yùn)動區(qū)域檢測單元b 210 針對構(gòu)成合成圖像的所有像素獲得所選圖像，即在存儲器103中存儲的合成前要合成圖 像(圖像1到圖像4)的對應(yīng)像素值，并且確定構(gòu)成合成圖像的像素是否滿足下列條件。作為構(gòu)成合成圖像的像素，選擇長時間曝光圖像(在這種情況下，圖像 4(T4)114)。此外，滿足下列公式中的任何一個。(圖像1(Tl) 111的輸出)> 5數(shù)位，(圖像2(Τ2)112的輸出)> 5數(shù)位，或(圖像3(Τ3) 113的輸出)> 5數(shù)位(公式4)確定滿足上述條件的像素為運(yùn)動區(qū)域中的像素。然而，考慮圖像的有效位配置有10位數(shù)據(jù)并且比特值能夠取的值，即數(shù)位值在 從0到1023數(shù)位的范圍內(nèi)的情況。圖21所圖解的運(yùn)動區(qū)域檢測單元b 210通過該處理生成和輸出運(yùn)動區(qū)域檢測信 息b 143b。運(yùn)動區(qū)域檢測信息b 143b配置有例如像素對應(yīng)運(yùn)動區(qū)域檢測信息等等，其中 以構(gòu)成合成圖像的像素為單位，運(yùn)動區(qū)域像素=1并且非運(yùn)動區(qū)域像素=0。檢測結(jié)果集成單元211執(zhí)行集成運(yùn)動區(qū)域檢測信息a 143a和運(yùn)動區(qū)域檢測信息b 143b的處理。更具體地，在運(yùn)動區(qū)域檢測信息a 143a中檢測的運(yùn)動區(qū)域和在運(yùn)動區(qū)域檢測信 息b 143b中檢測的運(yùn)動區(qū)域被確定為最終運(yùn)動區(qū)域。換句話說，檢測結(jié)果集成單元211對運(yùn)動區(qū)域檢測信息a 143a和運(yùn)動區(qū)域檢測 信息b 143b執(zhí)行AND處理(AND邏輯計算)，以只提取針對兩個運(yùn)動區(qū)域檢測信息被確 定為在運(yùn)動區(qū)域中的像素，并且確定這些像素作為最終運(yùn)動區(qū)域像素。檢測結(jié)果集成單元211確定除了這些像素之外的像素作為非運(yùn)動區(qū)域像素，并且輸出運(yùn)動區(qū)域檢測信息c 143c,其中以像素為單位設(shè)置確定信息。運(yùn)動區(qū)域檢測信息c 143c也配置有例如像素對應(yīng)運(yùn)動區(qū)域檢測信息等等，其中 以構(gòu)成合成圖像的像素為單位，運(yùn)動區(qū)域像素=1并且非運(yùn)動區(qū)域像素=0。在第八實施例中，類似于第七實施例，參考具有上面參考圖19描述的每個曝光 時間的圖像的像素值執(zhí)行運(yùn)動區(qū)域確定處理。然而，在實施例中，在使用圖像合成之后 的數(shù)據(jù)的運(yùn)動 檢測處理中，未被檢測為運(yùn)動區(qū)域的區(qū)域不被選擇作為圖像質(zhì)量退化運(yùn)動 區(qū)域。因此，如果作為合成圖像的比較對象的合成圖像的對應(yīng)像素值沒有被用來確定 運(yùn)動區(qū)域的像素值差，則該區(qū)域被從運(yùn)動區(qū)域中移除。因此，與第七實施例相比較，可 以避免運(yùn)動區(qū)域的過度檢測。(2-9)第九實施例第一和第二實施例不可被配置在一起，但是第三到第八實施例可以根據(jù)用途組
I=I O圖22是圖解作為上述第一、第三、第四、第六和第八實施例的組合的實施例的 圖。此外，圖23是圖解作為上述第一、第三、第四、第五和第七實施例的組合的實施例 的圖。圖22所圖解的圖像處理設(shè)備的配置包含執(zhí)行下列處理的配置。運(yùn)動區(qū)域檢測單元202通過合成圖像之間的像素值比較來執(zhí)行運(yùn)動區(qū)域的檢測 (第一實施例(參考圖7))。合成前圖像比較單元205在合成前要合成圖像的像素處對亮度等于或大于預(yù)定 閾值亮度水平(圖12的Th2)的像素執(zhí)行像素值比較。即，每一圖像具有不同曝光時間 Tl到T4(T1 < Τ2 < Τ3 < Τ4)。在長時間曝光圖像的輸出值和短時間曝光圖像的輸出值 之間的差值小于預(yù)定閾值的情況下，過檢測移除單元206確定該區(qū)域不是運(yùn)動區(qū)域，并 且執(zhí)行取消運(yùn)動區(qū)域的確定的過檢測移除處理(第三實施例(參考圖13))。此外，作為過檢測移除的結(jié)果，輸出運(yùn)動區(qū)域檢測信息143。運(yùn)動區(qū)域檢測信息 143配置有例如像素對應(yīng)運(yùn)動區(qū)域檢測信息等等，其中以合成圖像的像素為單位，運(yùn)動區(qū) 域像素=1并且非運(yùn)動區(qū)域像素=0。選擇圖像比較單元207輸入來自圖像合成單元201的選擇圖像信息。選擇圖像信 息表示從要合成圖像(圖像1到圖像4)的哪些像素中選擇構(gòu)成通過圖像合成單元201中的 圖像合成處理生成的合成圖像的像素。選擇圖像比較單元207執(zhí)行將從其它圖像中選擇 的相鄰像素設(shè)置為圖像質(zhì)量退化區(qū)域檢測對象的處理(第四實施例(參考圖14和15))。輸出值有效區(qū)域檢測單元209輸入來自圖像合成單元201的選擇圖像信息。選 擇圖像信息表示從要合成圖像(圖像1到圖像4)的哪些像素中選擇構(gòu)成通過圖像合成單 元201生成的合成圖像的像素。輸出值有效區(qū)域檢測單元209針對構(gòu)成合成圖像的所有 像素獲得所選圖像，即在存儲器103中存儲的合成前要合成圖像(圖像1到圖像4)的對 應(yīng)像素值，并且確定合成前圖像的輸出值的有效性。更具體地，例如，在構(gòu)成合成圖像的像素的比特值(0到1023數(shù)位)滿足下列公 式3的情況下，
比特值> 1000數(shù)位，或比特值<5數(shù)位(公式3)確定像素的比特值的有效性低，使得該區(qū)域被確定為圖像質(zhì)量退化區(qū)域(第六 實施例(參考圖18))。運(yùn)動區(qū)域檢測單元b 210輸入來自圖像合成單元201的選擇圖像信息。選擇圖像 信息表示從要合成圖像(圖像1到圖像4)的哪些像素中選擇構(gòu)成通過圖像合成單元201 生成的合成圖像的像素。此外，運(yùn)動區(qū)域檢測單元b 210針對構(gòu)成合成圖像的所有像素獲 得所選圖像，即在存儲器103中存儲的合成前要合成圖像(圖像1到圖像4)的對應(yīng)像素 值，并且確定構(gòu)成合成圖像的像素是否滿足下列條件。(圖像1(Tl) 111的輸出)> 5數(shù)位，(圖像2(T2)112的輸出)> 5數(shù)位，或(圖像3(Τ3) 113的輸出)> 5數(shù)位(公式4) 確定滿足上述條件的像素為運(yùn)動區(qū)域中的像素。然而，考慮圖像的有效位配置有10位數(shù)據(jù)并且比特值能夠取的值，即數(shù)位值在 從0到1023數(shù)位的范圍內(nèi)的情況(第八實施例(參考圖19和21))。圖像質(zhì)量退化區(qū)域檢測單元208輸入圖像質(zhì)量退化區(qū)域確定信息，例如(a)由選 擇圖像比較單元207生成的圖像質(zhì)量退化區(qū)域確定信息(根據(jù)像素是否具有從其它圖像中 選擇的相鄰像素的像素而生成的圖像質(zhì)量退化區(qū)域確定信息)，(b)由輸出值有效區(qū)域檢 測單元209生成的圖像質(zhì)量退化區(qū)域確定信息(根據(jù)合成圖像的比特值是否接近于零或飽 和值生成的圖像質(zhì)量退化區(qū)域確定信息)，和(C)由運(yùn)動區(qū)域檢測單元b 210生成的圖像 質(zhì)量退化區(qū)域確定信息(圖像質(zhì)量退化區(qū)域確定信息與長時間曝光圖像的輸出的設(shè)置像 素相關(guān)聯(lián)，并且根據(jù)短時間曝光圖像中的任何一個是否具有有效像素值的像素來生成)。圖像質(zhì)量退化區(qū)域檢測單元208最終將這樣的區(qū)域確定為圖像質(zhì)量退化區(qū)域 在上述(a)到(c)的圖像質(zhì)量退化區(qū)域確定信息的任何一個中，該區(qū)域被確定為圖像質(zhì)量 退化區(qū)域。此外，圖像質(zhì)量退化區(qū)域檢測單元208生成和輸出圖像質(zhì)量退化運(yùn)動區(qū)域檢測 信息144，其中，這樣的區(qū)域被設(shè)置成圖像質(zhì)量退化區(qū)域該區(qū)域是在從過檢測移除單 元206輸入的運(yùn)動區(qū)域檢測信息143中被確定為運(yùn)動區(qū)域的像素區(qū)域，并且在上述(a)到 (C)的圖像質(zhì)量退化區(qū)域確定信息的任何一個中被確定為圖像質(zhì)量退化區(qū)域，并且其交疊 區(qū)域被設(shè)置成圖像質(zhì)量退化運(yùn)動區(qū)域。從圖像質(zhì)量退化區(qū)域檢測單元208輸出的圖像質(zhì)量退化運(yùn)動區(qū)域檢測信息144配 置有例如像素對應(yīng)圖像質(zhì)量退化運(yùn)動區(qū)域檢測信息等等，其中圖像質(zhì)量退化運(yùn)動區(qū)域像 素=1并且非圖像質(zhì)量退化運(yùn)動區(qū)域像素=0。此外，圖23是圖解作為第一、第三、第四、第五和第七實施例的組合的實施例 的圖。圖23所圖解的圖像處理設(shè)備的配置包含執(zhí)行下列處理的配置。運(yùn)動區(qū)域檢測單元202通過合成圖像之間的像素值比較執(zhí)行運(yùn)動區(qū)域的檢測(第 一實施例(參考圖7))。合成前圖像比較單元205在合成前要合成圖像的像素處對亮度等于或大于預(yù)定閾值亮度水平(圖12的Th2)的像素執(zhí)行像素值比較。即，每一圖像具有不同曝光時間 Tl到T4(T1 < Τ2 < Τ3 < Τ4)。在長時間曝光圖像的輸出值和短時間曝光圖像的輸出值 之間的差值小于預(yù)定閾值的情況下，過檢測移除單元206確定該區(qū)域不是運(yùn)動區(qū)域，并 且執(zhí)行取消運(yùn)動區(qū)域的確定的過檢測移除處理(第三實施例(參考圖13))。 此外，作為過檢測移除的結(jié)果，輸出運(yùn)動區(qū)域檢測信息143。運(yùn)動區(qū)域檢測信息 143配置有例如像素對應(yīng)運(yùn)動區(qū)域檢測信息等等，其中以合成圖像的像素為單位，運(yùn)動區(qū) 域像素=1并且非運(yùn)動區(qū)域像素=0。選擇圖像比較單元207輸入來自圖像合成單元201的選擇圖像信息。選擇圖像信 息表示從要合成圖像(圖像1到圖像4)的哪些像素中選擇構(gòu)成通過圖像合成單元201中的 圖像合成處理生成的合成圖像的像素。選擇圖像比較單元207執(zhí)行將從其它圖像中選擇 的相鄰像素設(shè)置為圖像質(zhì)量退化區(qū)域檢測對象的處理(第四實施例(參考圖14和15))。輸出值有效區(qū)域檢測單元209輸入來自圖像合成單元201的選擇圖像信息。選 擇圖像信息表示從要合成圖像(圖像1到圖像4)的哪些像素中選擇構(gòu)成通過圖像合成單 元201生成的合成圖像的像素。輸出值有效區(qū)域檢測單元209針對構(gòu)成合成圖像的所有 像素獲得所選圖像，即在存儲器103中存儲的合成前要合成圖像(圖像1到圖像4)的對 應(yīng)像素值，并且確定合成前圖像的輸出值的有效性。更具體地，例如，在構(gòu)成合成圖像的像素的比特值(0到1023數(shù)位)滿足下列公 式3的情況下，比特值> 1000數(shù)位，或比特值< 5數(shù)位(公式3)確定像素的比特值的有效性低，使得該區(qū)域被確定為圖像質(zhì)量退化區(qū)域(第五 實施例(參考圖17))。運(yùn)動區(qū)域檢測單元b 210輸入來自圖像合成單元201的選擇圖像信息。選擇圖像 信息表示從要合成圖像(圖像1到圖像4)的哪些像素中選擇構(gòu)成通過圖像合成單元201 生成的合成圖像的像素。此外，運(yùn)動區(qū)域檢測單元b 210針對構(gòu)成合成圖像的所有像素獲 得所選圖像，即在存儲器103中存儲的合成前要合成圖像(圖像1到圖像4)的對應(yīng)像素 值，并且確定構(gòu)成合成圖像的像素是否滿足下列條件。(圖像1(Tl) 111的輸出)> 5數(shù)位，(圖像2(T2)112的輸出)> 5數(shù)位，或(圖像3(Τ3) 113的輸出)> 5數(shù)位(公式4)確定滿足上述條件的像素為運(yùn)動區(qū)域中的像素。然而，考慮圖像的有效位配置有10位數(shù)據(jù)并且比特值能夠取的值，即數(shù)位值在 從0到1023數(shù)位的范圍內(nèi)的情況(第七實施例(參考圖19和20))。圖像質(zhì)量退化區(qū)域檢測單元208輸入由選擇圖像比較單元207生成的圖像質(zhì)量退 化區(qū)域確定信息(圖像質(zhì)量退化區(qū)域確定信息表示像素是否具有從其它圖像中選擇的相 鄰像素)。此外，圖像質(zhì)量退化區(qū)域檢測單元208將圖像質(zhì)量退化運(yùn)動區(qū)域檢測信息輸出 到檢測結(jié)果集成單元211，其中這樣的區(qū)域被設(shè)置成圖像質(zhì)量退化區(qū)域該區(qū)域是在從 過檢測移除單元206輸入的運(yùn)動區(qū)域檢測信息143中被確定為運(yùn)動區(qū)域的像素區(qū)域，并且在圖像質(zhì)量退化區(qū)域確定信息中被確定為圖像質(zhì)量退化區(qū)域。檢測結(jié)果集成單元211輸入圖像質(zhì)量退化運(yùn)動區(qū)域檢測信息，例如(a)由圖像質(zhì) 量退化區(qū)域檢測單元208生成的圖像質(zhì)量退化運(yùn)動區(qū)域檢測信息，(b)由輸出值有效區(qū)域 檢測單元209生成的圖像質(zhì)量退化區(qū)域確定信息(根據(jù)合成圖像的比特值是否接近于零或 飽和值而生成的圖像質(zhì)量退化區(qū)域確定信息)，和(C)由運(yùn)動區(qū)域檢測單元b 210生成的 圖像質(zhì)量退化區(qū)域確定信息(圖像質(zhì)量退化區(qū)域確定信息指示是長時間曝光圖像的輸出 的設(shè)置像素，還是短時間曝光圖像的任何一個中具有有效像素值的像素)。檢測結(jié)果集成單元211最終確定這樣的區(qū)域作為圖像質(zhì)量退化運(yùn)動區(qū)域該區(qū) 域在上述(a)的圖像質(zhì)量退化運(yùn)動區(qū)域檢測信息和(b)和(c)的圖像質(zhì)量退化區(qū)域確定信 息的任何一個中被確定為圖像質(zhì)量退化運(yùn)動區(qū)域或圖像質(zhì)量退化區(qū)域，并且輸出具有上 述信息的圖像質(zhì)量退化運(yùn)動區(qū)域檢測信息144。從檢測結(jié)果集成單元211輸出的圖像質(zhì)量退化運(yùn)動區(qū)域檢測信息144配置有例如 像素對應(yīng)圖像質(zhì)量退化運(yùn)動區(qū)域檢測信息等等，其中圖像質(zhì)量退化運(yùn)動區(qū)域像素=1并 且非圖像質(zhì)量退化運(yùn)動區(qū)域像素=0。(2-10)第十實施例 當(dāng)由于系統(tǒng)的某個限制而不能獲得先前合成圖像時，不能使用上述第一到第九 實施例。作為非常適于這種情況的運(yùn)動對象檢測機(jī)構(gòu)的實施例，圖24中圖解了第十實施 例。在該實施例中，通過比較具有曝光時間Tl到T4(T1 < Τ2 < Τ3 < Τ4)的四個圖 像的信號水平來檢測運(yùn)動對象。成像裝置102輸出圖像111到114(曝光時間=Tl到Τ4)，并且將圖像存儲在存 儲器103中。相關(guān)檢測單元a，301，相關(guān)檢測單元b，302和相關(guān)檢測單元c，303分別輸入圖 像1 (曝光時間Tl) 111和圖像2 (曝光時間T2) 112，圖像2 (曝光時間T2) 112和圖像3 (曝 光時間T3) 113，和圖像3 (曝光時間T3) 113和圖像4 (曝光時間T4) 114，并且通過使用圖 25中圖解的長時間曝光圖像和短時間曝光圖像之間的相關(guān)關(guān)系作為參考，比較像素值。在像素值比較中，相關(guān)檢測單元301到303考慮固態(tài)成像裝置的噪聲或光的拍攝 噪聲的影響，使得如果對象的像素值相對參考直線超出某個程度的允許量，則確定該對 象為運(yùn)動對象。該實施例在中間電壓的變化相對較小的情況下有效。在長時間曝光圖像(LE)和短時間曝光圖像(SE)之間的曝光時間比被設(shè)置成曝 光比ACLE/SE)的情況下，圖25中圖解的長時間曝光圖像和短時間曝光圖像之間的相關(guān) 關(guān)系是這樣的相關(guān)關(guān)系數(shù)據(jù)其中針對三個分區(qū)區(qū)域定義有不同的斜率，這三個分區(qū)區(qū) 域包含具有相關(guān)關(guān)系直線的低輸出區(qū)域，其中區(qū)域1=(短時間曝光圖像的輸出)不能被 獲得，具有相關(guān)關(guān)系直線的中等輸出區(qū)域，其中區(qū)域2 =(大于曝光比ACLE/SE)的斜 率)，和高輸出區(qū)域，其根據(jù)區(qū)域3 =(曝光比ACLE/SE))確定。圖25中圖解的相關(guān)關(guān)系與參考圖12描述的相關(guān)關(guān)系相同。圖25中圖解的相關(guān)關(guān)系是根據(jù)作為比較對象、具有不同曝光時間的圖像的輸出 值的相關(guān)生成的相關(guān)信息。這里，根據(jù)作為比較對象的圖像設(shè)置每個閾值Thl和Th2，并且可能需要預(yù)先準(zhǔn)備。在根據(jù)圖24中圖解的實施例的圖像處理設(shè)備中，相關(guān)檢測單元a，301輸入圖像 1 (曝光時間Tl) 111和圖像2 (曝光時間T2) 112，并且通過使用圖25中圖解的長時間曝光 圖像和短時間曝光圖像之間的相關(guān)關(guān)系作為參考，比較對應(yīng)像素值。在像素值比較的結(jié)果位于圖25中圖解的直線上的情況下，或在與直線的差在預(yù) 定閾值內(nèi)的情況下，確定該區(qū)域不是運(yùn)動區(qū)域。類似地，相關(guān)檢測單元b，302也輸入圖像2 (曝光時間T2) 112和圖像3 (曝光時 間T3) 113，并且通過使用圖25中圖解的長時間曝光圖像和短時間曝光圖像之間的相關(guān)關(guān) 系作為參考，比較對應(yīng)像素值。在像素值比較的結(jié)果位于圖25中圖解的直線上的情況下，或在與直線的差在預(yù) 定閾值內(nèi)的情況下，確定該區(qū)域不是運(yùn)動區(qū)域。類似地，相關(guān)檢測單元C，303也輸入圖像3 (曝光時間T3) 113和圖像4 (曝光時 間T4)114，并且通過使用圖25中圖解的相關(guān)關(guān)系作為參考，比較對應(yīng)像素值。在像素值比較的結(jié)果位于圖25中圖解的直線上的情況下，或在與直線的差在預(yù) 定閾值內(nèi) 的情況下，確定該區(qū)域不是運(yùn)動區(qū)域。通過這種方式，根據(jù)該實施例的圖像處理單元104的相關(guān)檢測單元利用根據(jù)根 據(jù)曝光時間、根據(jù)成像裝置的特性的相關(guān)關(guān)系信息，執(zhí)行具有不同時間的圖像的對應(yīng)像 素之間的像素值比較。如果該差值是預(yù)定閾值或更大，則該區(qū)域被設(shè)置成運(yùn)動區(qū)域。檢測結(jié)果集成單元310輸入相關(guān)檢測單元301到303的檢測結(jié)果，并且針對檢測 結(jié)果中的任何一個，執(zhí)行確定被確定為運(yùn)動區(qū)域的像素區(qū)域是最終運(yùn)動區(qū)域的處理。檢 測結(jié)果集成單元310輸出包含上述信息的運(yùn)動區(qū)域檢測信息143。從檢測結(jié)果集成單元310輸出的運(yùn)動區(qū)域檢測信息143配置有例如像素對應(yīng)運(yùn)動 區(qū)域檢測信息等等，其中運(yùn)動區(qū)域像素=1并且非運(yùn)動區(qū)域像素=0。該實施例的配置也可以被修改為這樣的配置生成合成圖像的處理是不必要 的，并且不執(zhí)行合成圖像的生成。此外，該實施例的配置也可以被修改為這樣的配置 在合成圖像開始前，通過圖24中圖解的處理確定運(yùn)動區(qū)域，并且通過使用確定的結(jié)果， 對運(yùn)動區(qū)域執(zhí)行校正等等之前，生成合成圖像。在這之前，描述了多個實施例(第一到第十實施例)。根據(jù)第一到第三實施例，例如，在使用具有上述日本未審專利申請公開說明書 Νο.2008-99158中公開的配置的成像裝置的情況下，可以有效地檢測運(yùn)動對象區(qū)域。第一實施例具有最簡單的配置。盡管第二實施例使用比第一實施例的速度更高 的的速度，但可以獲得更加改進(jìn)的檢測。盡管第三實施例具有更復(fù)雜的配置，但可以以 與第一實施例的處理速度相同的處理速度獲得改進(jìn)。在根據(jù)第四到第八實施例的結(jié)構(gòu)中，可以檢測非常大量的圖像質(zhì)量退化。在第九實施例中，盡管復(fù)雜的處理導(dǎo)致電路尺寸的增加，但可以高性能地執(zhí)行 檢測。在第十實施例中，即使在不可獲得先前合成圖像的情況下，仍可以相對好地檢 測運(yùn)動對象區(qū)域。在這之前，參考具體實施例詳細(xì)地描述了本發(fā)明。然而，本領(lǐng)域普通技術(shù)人員能夠想到不偏離本發(fā)明的實質(zhì)的范圍內(nèi)的修改或替換。換句話說，由于以示例方式描述了本發(fā)明，所以不應(yīng)以限制性方式來分析。在確定本發(fā)明的實質(zhì)時，要考慮權(quán)利要求 書。此外，說明書中描述的一系列處理可以以硬件方式、以軟件方式或以其結(jié)合的 方式實現(xiàn)。在以軟件方式實現(xiàn)處理的情況下，記錄處理序列的程序可以被安裝在被裝配 成專用硬件的計算機(jī)的存儲器中以被執(zhí)行。此外，程序可以被安裝在可以執(zhí)行各種處理 的通用計算機(jī)中以被執(zhí)行。例如，程序可以被預(yù)先記錄在記錄介質(zhì)中。除了從記錄介質(zhì) 到計算機(jī)的安裝之外，程序可以通過例如LAN(局域網(wǎng))和因特網(wǎng)的網(wǎng)絡(luò)被接收，并且被 安裝在例如內(nèi)置硬盤的記錄介質(zhì)中。此外，說明書中公開的各種處理可以按根據(jù)該公開的時序執(zhí)行。此外，處理可 以根據(jù)執(zhí)行處理的裝置的處理性能或根據(jù)必要性并行或單獨(dú)執(zhí)行。此外，在該說明書 中，系統(tǒng)表示多個裝置的邏輯集成結(jié)構(gòu)，并且該結(jié)構(gòu)的每個裝置不局限于被包含在同一 外殼內(nèi)。本申請包含涉及2009年9月18日提交日本專利局的日本優(yōu)先權(quán)專利申請JP 2009-216529和2009年12月18日提交的JP 2009-288018中的公開的主題，這里參考合 并了所述專利申請的全部內(nèi)容。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計要求和其它因素，可以進(jìn)行各種修改、 合成、子合成和變化，只要它們在所附權(quán)利要求書或其等同表述的范圍內(nèi)。
權(quán)利要求
1.一種圖像處理設(shè)備，包括圖像合成單元，其通過合成具有不同曝光時間的所拍照圖像來產(chǎn)生合成圖像；和運(yùn)動區(qū)域檢測單元，其對由圖像合成單元生成的多個合成圖像執(zhí)行比較處理以獲得 像素值差，并且執(zhí)行運(yùn)動區(qū)域檢測處理，該處理比較像素值差和預(yù)定閾值，并且確定像 素值差等于或大于閾值的像素區(qū)域是對象的運(yùn)動被估計為已經(jīng)發(fā)生的運(yùn)動區(qū)域。
2.如權(quán)利要求1所述的圖像處理設(shè)備，其中，圖像合成單元被配置為每當(dāng)具有不同曝光時間的一個所拍照圖像被輸入時， 通過合成新輸入圖像和具有不同曝光時間的輸入完成的所拍照圖像，來生成所述合成圖 像，禾口其中運(yùn)動區(qū)域檢測單元通過比較由圖像合成單元生成的兩個連續(xù)的合成圖像的對應(yīng) 像素的像素值，來執(zhí)行運(yùn)動區(qū)域檢測處理。
3.如權(quán)利要求1或2所述的圖像處理設(shè)備，其中，該圖像處理設(shè)備包含合成前圖像比較單元，其通過在要合成圖像之間比較對應(yīng)像素的輸出值來獲得要合 成圖像之間的像素值差，其中要合成圖像是用于合成圖像的生成的來源；和過檢測移除單元，其比較要合成圖像之間的像素值差和預(yù)定第二閾值，并且針對由 運(yùn)動區(qū)域檢測單元檢測的運(yùn)動區(qū)域的對應(yīng)像素，確定要合成圖像之間的像素值差小于第 二閾值的像素區(qū)域不是運(yùn)動區(qū)域。
4.如權(quán)利要求1或2所述的圖像處理設(shè)備，其中圖像處理設(shè)備包含圖像質(zhì)量退化區(qū)域檢測單元，其通過使用要合成圖像的像素 對應(yīng)選擇信息，確定這樣的像素區(qū)域作為圖像質(zhì)量退化區(qū)域在所述像素區(qū)域中，具有 不同曝光時間的所拍照圖像的像素被設(shè)置成合成圖像上的相鄰像素，其中要合成圖像是 用于合成圖像的生成的來源，并且圖像質(zhì)量退化區(qū)域檢測單元輸出圖像質(zhì)量退化運(yùn)動區(qū) 域檢測信息，其中作為由運(yùn)動區(qū)域檢測單元檢測的運(yùn)動區(qū)域并且作為圖像質(zhì)量退化區(qū)域 的像素區(qū)域被提取為圖像質(zhì)量退化運(yùn)動區(qū)域。
5.如權(quán)利要求1或2所述的圖像處理設(shè)備，其中，該圖像處理設(shè)備包含輸出值有效區(qū)域檢測單元，其通過使用關(guān)于要合成圖像的像素對應(yīng)選擇信息，針對 合成圖像的像素獲得要合成圖像的像素值，其中要合成圖像是用于合成圖像的生成的來 源，并且輸出值有效區(qū)域檢測單元在要合成圖像的像素值在零或飽和值附近的情況下， 確定所述像素區(qū)域具有低有效性的輸出值；和圖像質(zhì)量退化區(qū)域檢測單元，其確定由輸出值有效區(qū)域檢測單元檢測的具有低有效 性的輸出值的像素區(qū)域為具有高可能性的圖像質(zhì)量退化的圖像質(zhì)量退化區(qū)域，并且圖像 質(zhì)量退化區(qū)域檢測單元輸出圖像質(zhì)量退化運(yùn)動區(qū)域檢測信息，所述圖像質(zhì)量退化運(yùn)動區(qū) 域檢測信息指示作為由運(yùn)動區(qū)域檢測單元檢測的運(yùn)動區(qū)域并且作為圖像質(zhì)量退化區(qū)域的 所述像素區(qū)域被提取為圖像質(zhì)量退化運(yùn)動區(qū)域。
6.如權(quán)利要求1或2所述的圖像處理設(shè)備，其中，該圖像處理設(shè)備包含第二運(yùn)動區(qū)域檢測單元，其通過使用作為用于合成圖像的生成的來源的要合成圖像的像素對應(yīng)選擇信息，確定所述像素處于運(yùn)動區(qū)域中，其中所述像素是作為用于合成圖 像的像素的長時間曝光圖像的像素，并且具有有效像素值，使得對應(yīng)于所述像素的短時 間曝光圖像的像素的值不在零附近；和檢測結(jié)果集成單元，其輸出運(yùn)動區(qū)域檢測信息，其中被運(yùn)動區(qū)域檢測單元確定為運(yùn) 動區(qū)域并且被第二運(yùn)動區(qū)域檢測單元確定為運(yùn)動區(qū)域的區(qū)域被設(shè)置成最終運(yùn)動區(qū)域。
7.—種圖像處理設(shè)備，包括圖像合成單元，其通過合成具有不同曝光時間的所拍照圖像來產(chǎn)生合成的圖像；和輸出值有效區(qū)域檢測單元，其通過使用關(guān)于要合成圖像的像素對應(yīng)選擇信息，針對 合成圖像的像素獲得要合成圖像的像素值，其中要合成圖像是用于合成圖像的生成的來 源，在要合成圖像的像素值在零或飽和值附近的情況下確定所述像素區(qū)域具有低有效性 的輸出值，并且輸出圖像質(zhì)量退化區(qū)域檢測信息，其中所述區(qū)域被清楚地指示為具有高 可能性的圖像質(zhì)量退化的圖像質(zhì)量退化區(qū)域。
8.—種圖像處理設(shè)備，包括圖像合成單元，其通過合成具有不同曝光時間的所拍照圖像來產(chǎn)生合成圖像；和運(yùn)動區(qū)域檢測單元，其通過使用關(guān)于作為用于合成圖像的生成的來源的要合成圖像 的像素對應(yīng)選擇信息，確定像素處于運(yùn)動區(qū)域中，其中所述像素是長時間曝光圖像的像 素并且具有有效像素值，使得對應(yīng)于所述像素的短時間曝光圖像的像素值不在零附近， 并且輸出清楚地指示所述運(yùn)動區(qū)域的運(yùn)動區(qū)域檢測信息。
9.一種圖像處理設(shè)備，包括檢測單元，其計算具有不同曝光時間的所拍照圖像的對應(yīng)像素的像素值差和預(yù)定相 關(guān)信息之間的差，并且在該差大于預(yù)定閾值的情況下，確定存在運(yùn)動區(qū)域。
10.如權(quán)利要求9所述的圖像處理設(shè)備，其中根據(jù)作為比較對象的具有不同曝光時間的圖像的輸出值的相關(guān)，生成相關(guān)信息。
11.一種具有圖像處理設(shè)備的成像設(shè)備，其中，該圖像處理設(shè)備還包含成像裝置，其捕捉具有不同曝光時間的所拍照圖像；和圖像處理單元，其執(zhí)行根據(jù)權(quán)利要求1至10中任何一個權(quán)利要求所述的圖像處理。
12.—種在圖像處理設(shè)備中執(zhí)行的圖像處理方法，包括步驟允許圖像合成單元通過合成具有不同曝光時間的所拍照圖像來生成合成圖像；和允許運(yùn)動區(qū)域檢測單元對由圖像合成單元生成的多個合成圖像執(zhí)行比較處理，以獲 得像素值差，并且執(zhí)行運(yùn)動區(qū)域檢測處理，所述運(yùn)動區(qū)域檢測處理比較所述像素值差和 預(yù)定閾值，并且確定所述像素值差等于或大于所述閾值的像素區(qū)域為對象的運(yùn)動被估計 為已經(jīng)發(fā)生的運(yùn)動區(qū)域。
13.—種允許圖像處理設(shè)備執(zhí)行成像處理的程序，所述成像處理包括步驟允許圖像合成單元通過合成具有不同曝光時間的所拍照圖像來產(chǎn)生合成圖像；和允許運(yùn)動區(qū)域檢測單元對由圖像合成單元產(chǎn)生的多個合成圖像執(zhí)行比較處理，以獲 得像素值差，并且執(zhí)行運(yùn)動區(qū)域檢測處理，所述運(yùn)動區(qū)域檢測處理比較所述像素值差和 預(yù)定閾值，并且確定所述像素值差等于或大于所述閾值的像素區(qū)域為對象的運(yùn)動被估計為已經(jīng)發(fā)生的運(yùn)動區(qū)域。
全文摘要
提供一種圖像處理設(shè)備、圖像捕捉設(shè)備、圖像處理方法和程序。圖像處理設(shè)備包含圖像合成單元，其通過合成具有不同曝光時間的所拍照圖像來產(chǎn)生合成圖像；和運(yùn)動區(qū)域檢測單元，其對由圖像合成單元產(chǎn)生的多個合成圖像執(zhí)行比較處理以獲得像素值差，并且執(zhí)行運(yùn)動區(qū)域檢測處理，該處理比較像素值差和預(yù)定閾值，并且確定像素值差等于或大于閾值的像素區(qū)域是對象的運(yùn)動被估計為已經(jīng)發(fā)生的運(yùn)動區(qū)域。
文檔編號H04N5/235GK102025917SQ20101028067
公開日2011年4月20日 申請日期2010年9月10日 優(yōu)先權(quán)日2009年9月18日
發(fā)明者海津俊, 竹內(nèi)悟, 笠井政范 申請人:索尼公司