專利名稱：圖像數(shù)據(jù)處理方法、圖像數(shù)據(jù)處理裝置和計(jì)算機(jī)程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理方法、一種圖像處理裝置以及一種計(jì)算機(jī)程序，具體地說，本發(fā)明涉及實(shí)現(xiàn)適當(dāng)白平衡處理和獲得清楚圖像的一種圖像處理方法、一種圖像處理裝置和計(jì)算機(jī)程序。
背景技術(shù)：
當(dāng)利用攝影機(jī)捕獲圖像時(shí)，閃光(電子閃光，頻閃儀)被用做一輔助光源。近年來，已經(jīng)迅速流行一種DSC(數(shù)字靜態(tài)圖片攝影機(jī))，并經(jīng)常利用所述DSC執(zhí)行閃光成像。通過利用所述閃光，可以執(zhí)行諸如補(bǔ)助光(一種當(dāng)在人的面部具有很強(qiáng)的陰影時(shí)消弱該陰影的技術(shù))、背景光補(bǔ)償(一種在諸如利用背景陽(yáng)光拍照情況下避免黑暗曝光的技術(shù))、捕光(一種引入一“光點(diǎn)”照射到眼瞳中，從而使所述瞳孔被描述為具有一非常美麗外觀的技術(shù))和日光同步(日光同步；一種在白天或夜間使用輔助眼的技術(shù))等的各種成像處理。另一方面，當(dāng)執(zhí)行閃光成像時(shí)，可能出現(xiàn)色彩的不平衡或變白。本發(fā)明的目的就是提供一種能夠校正在這種閃光成像中產(chǎn)生的不希望現(xiàn)像的適當(dāng)?shù)难b置。
通常，數(shù)字?jǐn)z影機(jī)提供一白平衡(WB)調(diào)節(jié)，以便可以捕獲例如白色的白色目標(biāo)。例如，當(dāng)在其中使用自然光、照明光和閃光(頻閃光)等照射目標(biāo)的光具有高色溫和強(qiáng)藍(lán)(B)光分量的光分量場(chǎng)合下執(zhí)行成像時(shí)，所述白平衡被調(diào)節(jié)為抑制對(duì)藍(lán)光的敏感度并對(duì)紅光的敏感度相對(duì)高，相反，當(dāng)在其中用于照射目標(biāo)的光具有低色溫和強(qiáng)紅(R)光的光分量場(chǎng)合執(zhí)行成像時(shí)，所述白平衡被調(diào)節(jié)為抑制對(duì)紅光的敏感度和使對(duì)藍(lán)光(B)的敏感度相對(duì)高。
所述白平衡調(diào)節(jié)對(duì)于執(zhí)行一調(diào)節(jié)處理是非常有用的，在該調(diào)節(jié)處理中，根據(jù)在成像時(shí)所使用光源設(shè)置一調(diào)節(jié)參數(shù)。例如，當(dāng)執(zhí)行閃光成像時(shí)，根據(jù)對(duì)應(yīng)于將被使用的閃光所具有的光分量的參數(shù)執(zhí)行所述白平衡調(diào)節(jié)。
但是，在其中具有除所述閃光以外的周圍光的場(chǎng)合下，當(dāng)執(zhí)行閃光成像時(shí)，所述閃光和周圍光這兩種光都照射到所述目標(biāo)上，從而使反射光到達(dá)所述攝影機(jī)的圖像分量上，并進(jìn)而執(zhí)行所述成像。當(dāng)執(zhí)行這種成像時(shí)，如果根據(jù)所述閃光執(zhí)行所述白平衡調(diào)節(jié)，那么，被更多閃光照射的目標(biāo)部分被調(diào)節(jié)為自然顏色。但是，在所述閃光沒有到達(dá)并僅借助于反射周圍光執(zhí)行成像的區(qū)域，例如背景圖像區(qū)域，如果根據(jù)基于所述閃光的光分量所設(shè)置的參數(shù)執(zhí)行白平衡調(diào)節(jié)，那么將不能適當(dāng)?shù)貓?zhí)行所述白平衡調(diào)節(jié)，從而使得該區(qū)域可能作為具有一非自然顏色的區(qū)域被輸出。
相反，如果對(duì)所捕獲到的所有圖像執(zhí)行所述白平衡調(diào)節(jié)，可以認(rèn)為所述白平衡調(diào)節(jié)是根據(jù)所述背景部分執(zhí)行的，即僅通過周圍光執(zhí)行成像，和具有較多閃光的部分被調(diào)節(jié)為非自然顏色。
為了解決這些問題，已經(jīng)提出了一系列結(jié)構(gòu)。例如，日本專利申請(qǐng)公開No.8-51632披露了一種結(jié)構(gòu)，在這種結(jié)構(gòu)中，獲取沒有燃亮閃光所捕獲到的圖像和燃亮閃光所捕獲到的圖像，這兩個(gè)被捕獲到的圖像被分成多個(gè)塊，比較用于每個(gè)塊的亮度值，和基于所述亮度值比較的結(jié)果，相對(duì)于通過燃亮所述閃光捕獲到的圖像執(zhí)行每個(gè)塊均不相同的白平衡調(diào)節(jié)。
通過選擇根據(jù)用于每個(gè)塊的所述閃光的白平衡調(diào)節(jié)、根據(jù)所述閃光和周圍光的中間的白平衡調(diào)節(jié)或根據(jù)所述周圍光的白平衡調(diào)節(jié)中的任一白平衡調(diào)節(jié)執(zhí)行所述白平衡調(diào)節(jié)。但是，利用這樣一種結(jié)構(gòu)，必須在每個(gè)塊基礎(chǔ)上執(zhí)行處理，因此，存在一個(gè)問題，即當(dāng)發(fā)生塊失真或目標(biāo)移動(dòng)等時(shí)，不能精確地執(zhí)行所述處理。
日本專利申請(qǐng)公開No.2000-308068披露了下述處理結(jié)構(gòu)，在這種處理結(jié)構(gòu)中，以光圈被全部打開的方式通過燃亮所述閃光執(zhí)行成像，曝光時(shí)間被縮短，然后在不燃亮所述閃光并以原始預(yù)期的曝光條件執(zhí)行所述成像。這里，前者被認(rèn)為是第一圖像，和后者被認(rèn)為是第二圖像。此外，在所述第一圖像中，多于一預(yù)定級(jí)別的像素被注冊(cè)為一主目標(biāo)區(qū)域，其它的則被注冊(cè)為一背景區(qū)域。然后，根據(jù)所述閃光對(duì)該第一圖像進(jìn)行白平衡調(diào)節(jié)，根據(jù)周圍光對(duì)該第二圖像進(jìn)行白平衡調(diào)節(jié)，然后，第一圖像的所述主目標(biāo)區(qū)域和第二圖像的所述背景區(qū)域被結(jié)合到一起作為最后的記錄圖像。
但是，在這個(gè)結(jié)構(gòu)中，對(duì)于那些被周圍光和閃光同時(shí)照射到的目標(biāo)不能正確地執(zhí)行所述白平衡調(diào)節(jié)。
此外，除了上述日本專利申請(qǐng)公開No.2000-308068以外，日本專利申請(qǐng)公開No.2000-307940還披露了一種被添加有一圖像模糊檢測(cè)裝置的結(jié)構(gòu)。當(dāng)它確定存在一模糊時(shí)，上述第一圖像被原樣地改變成一記錄圖像，從而不執(zhí)行結(jié)合所述第一圖像和所述第二圖像的處理。因此，當(dāng)檢測(cè)到所述模糊時(shí)，將不能排除由于所述閃光和周圍光之間的色溫差而導(dǎo)致的不自然。
此外，日本專利申請(qǐng)公開No.H8-340542披露了一種結(jié)構(gòu)，在這種結(jié)構(gòu)中，在通過燃亮所述閃光和不燃亮所述閃光捕獲的相應(yīng)圖像像素的亮度值之間執(zhí)行一分割，從而獲得所述閃光的組成比，然后，在所述組成比的基礎(chǔ)上，針對(duì)通過燃亮所述閃光而捕獲的圖像執(zhí)行所述白平衡調(diào)節(jié)。
但是，在該結(jié)構(gòu)中，對(duì)于借助于反射的閃光和周圍光的混合所捕獲的圖像，基于所述閃光的組成比，對(duì)所述閃光和周圍光簡(jiǎn)單地插入一白平衡參數(shù)，從而以生成所述最后圖像。但是，當(dāng)考慮實(shí)際光的反射模型時(shí)，應(yīng)當(dāng)獨(dú)立處理所述閃光的分量和所述周圍光的分量，并且，不可能僅僅通過對(duì)借助于所述閃光和反射的周圍光的混合所捕獲到的圖像進(jìn)行處理來生成較佳的最后圖像。
最近的攝影機(jī)是在用于機(jī)械的燃亮所述閃光的頻閃儀和所述攝影機(jī)的成像單元之間交換信息，并使所述頻閃儀發(fā)射精確的光數(shù)量，從而使所述攝影機(jī)能夠利用精確的曝光執(zhí)行成像。該系統(tǒng)被稱之為TTL(經(jīng)過鏡頭)自動(dòng)曝光控制系統(tǒng)，并且這種技術(shù)被廣泛使用。
圖1示出了一典型照片10的例子，該照片是在這種情況下使用一頻閃儀在暗室中對(duì)個(gè)人外形成像所獲得的。個(gè)人A的投影圖像是11。在暗室中的投影圖像是12。取得該照片的過程如下所述。個(gè)人A已經(jīng)處于所述暗室之中。成像器攜帶具有所述頻閃儀的攝影機(jī)并靠近個(gè)人A取像。
在成像期間，所述TTL自動(dòng)曝光控制系統(tǒng)累積和測(cè)量由所述頻閃儀發(fā)射并從一對(duì)像目標(biāo)反射后返回到所述攝影機(jī)的每個(gè)光的數(shù)量。在測(cè)量一精確數(shù)量光的定時(shí)處，所述攝影機(jī)指令頻閃儀側(cè)停止發(fā)射光，借此能夠獲得一精確曝光的圖像。
但是，與圖1所示的照片相似，當(dāng)個(gè)人A的投影圖像11很小時(shí)，從所述頻閃儀發(fā)射的絕大部分光都沒有照射到所述個(gè)人A上，而是由位于相對(duì)遠(yuǎn)處的室內(nèi)墻壁所反射的光。因此，返回光的數(shù)量很小，從而所述TTL自動(dòng)曝光控制系統(tǒng)確定光的數(shù)量是不充分的，并且調(diào)節(jié)而增加從所述頻閃儀發(fā)射的光的數(shù)量。
該調(diào)節(jié)處理的結(jié)果使成像時(shí)所述頻閃光的數(shù)量增加，從而使得由直接靠近所述成像裝置(攝影機(jī))的個(gè)人A所反射的總的光數(shù)量相對(duì)于所述頻閃光而言被明顯增加，借此，所述個(gè)人A的投影圖像部分的像素?cái)?shù)據(jù)的值極度地增高并處于飽和狀態(tài)。
通過使用數(shù)字值，所述像素?cái)?shù)據(jù)被表示如下。在上述的例子中，雖然一方法是公知的，每個(gè)像素?cái)?shù)據(jù)中的紅(R)、綠(G)和藍(lán)(B)中的每一個(gè)都被表示為256(0-256)標(biāo)度，但個(gè)人A(特別是諸如臉部的淺褐色部分)是由(R，G，B)＝(255，255，255)表示的。這是由于由所述頻閃儀發(fā)射的閃光太多地照射到靠近攝影機(jī)站立的個(gè)人A上所引起的。
換言之，這是由于頻閃光的數(shù)量很高，從而使得在由個(gè)人A反射的總光量中的R分量超過了255，G分量超過了255和B分量也超過了255。(R，G，B)＝(255，255，255)表示最亮的白。這就是所謂的“白化”。個(gè)人A臉部的投影圖像不是淺褐色而是純白色。
當(dāng)(R，G，B)＝(255或更多，255或更多，255或更多)時(shí)所獲取的像素?cái)?shù)據(jù)中的每一個(gè)實(shí)際上都具有不同的色調(diào)。但是，光是被過度地照射到所述目標(biāo)上的，因此，它們可以被統(tǒng)一表示為(R，G，B)＝(255，255，255)，和變成純白色。
在日本專利申請(qǐng)公開No.2000-278598中描述了一種為解決所謂的“白化”問題而提出的結(jié)構(gòu)。該專利申請(qǐng)公開披露了一種對(duì)過曝光圖像中具有高亮度的圖像信號(hào)進(jìn)行移位補(bǔ)償處理的結(jié)構(gòu)。具體地說，該結(jié)構(gòu)生成一輸入信號(hào)亮度級(jí)別和一輸出信號(hào)亮度級(jí)別的移位轉(zhuǎn)換特征曲線，以便調(diào)節(jié)所述輸出信號(hào)的高亮度部分，即利用一灰度系數(shù)(gamma)校正表對(duì)所述高亮度部分進(jìn)行補(bǔ)償。
但是，即使是應(yīng)用上述日本專利申請(qǐng)公開No.2000-278598中描述的技術(shù)，每個(gè)具有(R，G，B)＝(255，255，255)的輸入信號(hào)被轉(zhuǎn)換為某個(gè)設(shè)置輸出值。事實(shí)上，具有(R，G，B)＝(255或更多，255或更多，255或更多)的像素?cái)?shù)據(jù)總是具有不能解決上述“白化”問題的相同的值。換言之，應(yīng)當(dāng)具有各種像素值的目標(biāo)圖像被設(shè)置為相同的顏色和亮度，從而不能再現(xiàn)這些目標(biāo)顏色和亮度的分布。

發(fā)明內(nèi)容
針對(duì)相關(guān)技術(shù)中存在的上述問題做出了本發(fā)明，并提供了一種圖像數(shù)據(jù)處理方法、一種圖像數(shù)據(jù)處理裝置和一種計(jì)算機(jī)程序，它們能夠允許對(duì)在周圍光和閃光被混合在一起的環(huán)境下捕獲到的圖像執(zhí)行一較佳的白平衡調(diào)節(jié)，并且即使是當(dāng)檢測(cè)到一圖像模糊時(shí)也允許一較佳的白平衡調(diào)節(jié)而不會(huì)發(fā)生失敗。
此外，在執(zhí)行到所述目標(biāo)的光照射以便捕獲圖像的結(jié)構(gòu)中，本發(fā)明提供了一種圖像數(shù)據(jù)處理方法、一種圖像數(shù)據(jù)處理裝置和一種計(jì)算機(jī)程序，它們能夠解決所述目標(biāo)太靠近所述成像裝置以及照射到所述目標(biāo)上面的光量過多而導(dǎo)致所述目標(biāo)圖像的值(R，G，B)被飽和為白化的問題，和即使是對(duì)于一被過度照射的目標(biāo)也可以生成再現(xiàn)其精確顏色和亮度的圖像。
本發(fā)明的第一方面是一圖像數(shù)據(jù)處理方法，其特征在于一從構(gòu)成借助于使第一光源發(fā)光導(dǎo)致的一成像處理所獲取的第二數(shù)據(jù)圖像的每個(gè)像素的像素值中減去借助于使前述第一光源不發(fā)光導(dǎo)致的一圖像處理所獲取的第一圖像數(shù)據(jù)的相應(yīng)像素值，借此以獲得與在僅有前述第一光源照射環(huán)境下捕獲到的圖像相對(duì)應(yīng)的差圖像數(shù)據(jù)的步驟；一差圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟，用于針對(duì)前述差圖像數(shù)據(jù)執(zhí)行像素值調(diào)節(jié)處理；和一最終像素值調(diào)節(jié)圖像生成步驟，用于使用在前述差圖像數(shù)據(jù)像素調(diào)節(jié)處理步驟中生成的經(jīng)調(diào)節(jié)的一像素?cái)?shù)據(jù)，以便生成一最終像素值調(diào)節(jié)圖像。
此外，根據(jù)本發(fā)明圖像數(shù)據(jù)處理方法的一較佳實(shí)施例，前述圖像數(shù)據(jù)處理方法的特征還在于包括一第一圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟，用于對(duì)前述第一圖像數(shù)據(jù)執(zhí)行像素值調(diào)節(jié)處理，其中，前述最終像素值調(diào)節(jié)圖像生成步驟是一對(duì)由前述差圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟和前述第一圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟獲取的經(jīng)調(diào)節(jié)像素值的兩個(gè)圖像數(shù)據(jù)的相應(yīng)像素執(zhí)行像素值加法處理、從而生成一最終像素值調(diào)節(jié)圖像數(shù)據(jù)的步驟。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實(shí)施例，前述像素值調(diào)節(jié)處理是一白平衡調(diào)節(jié)處理，前述差圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟是根據(jù)基于前述第一光源的光分量設(shè)置的參數(shù)的白平衡調(diào)節(jié)處理，和前述第一圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟是根據(jù)基于不包含前述第一光源的周圍光分量設(shè)置的參數(shù)的白平衡調(diào)節(jié)處理。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實(shí)施例，前述參數(shù)是由3×3矩陣表示的參數(shù)，和所述矩陣被用于對(duì)構(gòu)成每個(gè)像素顏色的顏色分量轉(zhuǎn)換。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實(shí)施例，前述3×3矩陣是除對(duì)角分量以外被設(shè)置為0的矩陣。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實(shí)施例，前述圖像數(shù)據(jù)處理方法的特征在于還包括一像素值加法步驟，用于將在前述差圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟中生成的經(jīng)調(diào)節(jié)像素值的圖像數(shù)據(jù)的每個(gè)像素的像素值加到前述第一圖像數(shù)據(jù)的相應(yīng)像素的像素值上，其中，前述最終像素值調(diào)節(jié)圖像生成步驟是一對(duì)在前述像素值加法步驟中生成的圖像數(shù)據(jù)執(zhí)行所述像素值調(diào)節(jié)從而生成所述最終像素值調(diào)節(jié)圖像數(shù)據(jù)的步驟。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實(shí)施例，前述像素值調(diào)節(jié)處理是所述白平衡調(diào)節(jié)處理，和前述差圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟是根據(jù)基于不包含前述第一光源的周圍光分量所設(shè)置參數(shù)的白平衡調(diào)節(jié)處理。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實(shí)施例，前述圖像數(shù)據(jù)處理方法的特征在于還包括一用于根據(jù)多個(gè)圖像數(shù)據(jù)的差數(shù)據(jù)檢測(cè)其中目標(biāo)移動(dòng)的的移動(dòng)部分的移動(dòng)檢測(cè)步驟，和一用于對(duì)前述移動(dòng)部分執(zhí)行像素值調(diào)節(jié)處理的移動(dòng)部分像素值調(diào)節(jié)步驟。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實(shí)施例，前述移動(dòng)部分像素值調(diào)節(jié)步驟的特征在于包括一當(dāng)前述第一光源被導(dǎo)致發(fā)光或不發(fā)光時(shí)計(jì)算兩個(gè)光源的光強(qiáng)度標(biāo)量比，作為對(duì)應(yīng)于與移動(dòng)部分相鄰的靜止部分的一像素的數(shù)據(jù)的步驟；一使用一徑向基礎(chǔ)函數(shù)(RBFRadial Basis Function)計(jì)算與所述移動(dòng)部分的每個(gè)像素對(duì)應(yīng)的光強(qiáng)度標(biāo)量比的步驟；一第一像素值計(jì)算步驟，用于在與所述移動(dòng)部分的每個(gè)像素對(duì)應(yīng)的所述光強(qiáng)度標(biāo)量比的基礎(chǔ)上計(jì)算在與僅具有前述第一光源的照射環(huán)境中捕獲的圖像等效的一圖像中所述移動(dòng)部分每個(gè)像素的像素值作為所述第一像素值；一第二像素值計(jì)算步驟，用于在與所述移動(dòng)部分的每個(gè)像素對(duì)應(yīng)的所述光強(qiáng)度標(biāo)量比的基礎(chǔ)上計(jì)算在與不包括前述第一光源的周圍光照射環(huán)境中捕獲的圖像的一圖像中所述移動(dòng)部分的每個(gè)像素的像素值作為所述第二像素值；一第一像素值調(diào)節(jié)處理步驟，用于基于在前述第一像素值計(jì)算步驟中計(jì)算的所述第一像素值執(zhí)行所述像素值調(diào)節(jié)處理；一第二像素值調(diào)節(jié)處理步驟，用于基于在前述第二像素值計(jì)算步驟計(jì)算的所述第二像素值執(zhí)行所述像素值調(diào)節(jié)處理；和一像素值加法步驟，用于將在前述第一像素值調(diào)節(jié)處理步驟和在前述第二像素值調(diào)節(jié)處理步驟所生成的兩個(gè)調(diào)節(jié)像素值相加。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實(shí)施例，前述像素值調(diào)節(jié)處理是所述白平衡調(diào)節(jié)處理，前述第一像素值調(diào)節(jié)處理步驟是根據(jù)基于所述第一光源的前述光分量所設(shè)置的參數(shù)的所述白平衡調(diào)節(jié)處理，和前述第二像素值調(diào)節(jié)處理步驟是根據(jù)基于不包含前述第一光源的周圍光所設(shè)置的參數(shù)的白平衡調(diào)節(jié)處理。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實(shí)施例，前述移動(dòng)部分像素值調(diào)節(jié)步驟的特征在于還包括一計(jì)算所述移動(dòng)部分的內(nèi)部周邊像素的像素值與和所述移動(dòng)部分內(nèi)部周邊像素相鄰的所述移動(dòng)部分的外部周邊相素的平均相素值的顏色分量比(αr，αg，αb)的步驟；一通過將所述移動(dòng)部分中的所有內(nèi)部周邊像素認(rèn)為是采樣點(diǎn)并在每個(gè)像素對(duì)應(yīng)的所屬顏色分量比的基礎(chǔ)上構(gòu)成所述徑向基礎(chǔ)函數(shù)(RBFRadial Basis Function)的步驟；和在前述徑向基礎(chǔ)函數(shù)(RBF)的基礎(chǔ)上計(jì)算與所述移動(dòng)部分的每個(gè)像素對(duì)應(yīng)的顏色分量比，并倍增將被補(bǔ)償圖像的顏色分量比，以便獲得一補(bǔ)償像素值的步驟。
此外，根據(jù)本發(fā)明圖像數(shù)據(jù)處理方法的一較佳實(shí)施例，前述圖像數(shù)據(jù)處理方法的特征在于還包括一用于根據(jù)多個(gè)圖像數(shù)據(jù)的差數(shù)據(jù)檢測(cè)其中一目標(biāo)在移動(dòng)的移動(dòng)部分的移動(dòng)檢測(cè)步驟；一當(dāng)前述移動(dòng)部分整個(gè)圖像的比例大于一預(yù)定閾值時(shí)在借助于使前述第一光源發(fā)光導(dǎo)致的一圖像處理所獲取的圖像數(shù)據(jù)的基礎(chǔ)上執(zhí)行所述像素值調(diào)節(jié)處理的步驟，其中，基于所述第二圖像數(shù)據(jù)的所述像素值調(diào)節(jié)數(shù)據(jù)被設(shè)置為一最終像素值調(diào)節(jié)數(shù)據(jù)。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實(shí)施例，基于前述第二圖像數(shù)據(jù)的所述像素值調(diào)節(jié)處理的特征在于是根據(jù)基于前述第一光源的光分量所設(shè)置的參數(shù)的白平衡調(diào)節(jié)處理、根據(jù)基于不包含前述第一光源的周圍光所設(shè)置的參數(shù)的白平衡調(diào)節(jié)處理或根據(jù)基于在前述第一光源和不包含前述第一光源光分量的周圍光分量之間的一中間分量所設(shè)置的參數(shù)的白平衡調(diào)節(jié)處理。
此外，根據(jù)本發(fā)明的第二方面提供了一種圖像數(shù)據(jù)處理裝置，其特征在于包括一存儲(chǔ)器，用于存儲(chǔ)借助于使所述第一光源不發(fā)光導(dǎo)致的一成像處理所獲取的一第一圖像數(shù)據(jù)，和借助于使前述第一光源發(fā)光導(dǎo)致的一成像處理所獲取的一第二圖像數(shù)據(jù)；和一數(shù)據(jù)處理單元，用于基于在前述存儲(chǔ)器中存儲(chǔ)的所述圖像數(shù)據(jù)執(zhí)行一像素值調(diào)節(jié)處理，其中，前述數(shù)據(jù)處理單元具有一差圖像數(shù)據(jù)獲取單元，用于從構(gòu)成前述第二圖像數(shù)據(jù)的每個(gè)像素的像素值中減去前述第一圖像數(shù)據(jù)的相應(yīng)像素的像素值，以便獲取與僅具有前述第一光源的照射環(huán)境中捕獲到的所述圖像相對(duì)應(yīng)的所述差圖像數(shù)據(jù)；一差圖像數(shù)據(jù)像素值調(diào)節(jié)單元，用于對(duì)前述差圖像數(shù)據(jù)執(zhí)行所述像素值調(diào)節(jié)處理；和一最終像素值調(diào)節(jié)單元，用于使用在前述差圖像數(shù)據(jù)像素值調(diào)節(jié)單元中生成的經(jīng)調(diào)節(jié)像素值的圖像數(shù)據(jù)執(zhí)行一最終像素值調(diào)節(jié)。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理裝置的一較佳實(shí)施例，前述數(shù)據(jù)處理單元還包括一第一圖像數(shù)據(jù)像素值調(diào)節(jié)單元，用于執(zhí)行關(guān)于前述第一圖像數(shù)據(jù)的所述像素值調(diào)節(jié)處理，和前述最終像素值調(diào)節(jié)單元被配置成對(duì)在前述差圖像數(shù)據(jù)像素值調(diào)節(jié)單元和前述第一圖像數(shù)據(jù)像素值調(diào)節(jié)單元中生成的經(jīng)調(diào)節(jié)像素值的兩個(gè)圖像數(shù)據(jù)的相應(yīng)像素執(zhí)行像素值加法處理，并生成所述最終像素值調(diào)節(jié)圖像數(shù)據(jù)。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理裝置的一較佳實(shí)施例，前述像素值調(diào)節(jié)處理是所述白平衡調(diào)節(jié)處理，前述差圖像數(shù)據(jù)像素值調(diào)節(jié)單元被配置成根據(jù)基于前述第一光源的光分量所設(shè)置的參數(shù)執(zhí)行所述白平衡調(diào)節(jié)處理，和前述第一圖像數(shù)據(jù)像素值調(diào)節(jié)單元根據(jù)基于不包括前述第一光源的周圍光分量所設(shè)置的參數(shù)執(zhí)行所述白平衡調(diào)節(jié)處理。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理裝置的一較佳實(shí)施例，前述數(shù)據(jù)處理單元還包括一像素值加法單元，用于將在前述差圖像數(shù)據(jù)像素值調(diào)節(jié)單元中生成的經(jīng)調(diào)節(jié)像素值的所述圖像數(shù)據(jù)的每個(gè)像素的像素值加到前述第一圖像數(shù)據(jù)的相應(yīng)像素的一像素值上，和前述最終像素值圖像生成單元執(zhí)行關(guān)于在前述像素值加法單元中生成的所述圖像數(shù)據(jù)的像素值調(diào)節(jié)，并生成所述最終像素值調(diào)節(jié)圖像數(shù)據(jù)。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理裝置的一較佳實(shí)施例，前述像素值調(diào)節(jié)處理是所述白平衡調(diào)節(jié)處理，和前述差圖像數(shù)據(jù)像素值調(diào)節(jié)單元根據(jù)基于不包括前述第一光源的周圍光分量所設(shè)置的參數(shù)執(zhí)行所述白平衡調(diào)節(jié)處理。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理裝置的一較佳實(shí)施例，前述數(shù)據(jù)處理單元的特征在于還包括一移動(dòng)檢測(cè)單元，用于在多個(gè)圖像數(shù)據(jù)的所述差數(shù)據(jù)的基礎(chǔ)上檢測(cè)一目標(biāo)的移動(dòng)部分；還包括一移動(dòng)部分像素值調(diào)節(jié)單元，用于執(zhí)行關(guān)于前述移動(dòng)部分的像素值調(diào)節(jié)處理。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理裝置的一較佳實(shí)施例，前述移動(dòng)部分像素值調(diào)節(jié)單元的特征在于當(dāng)前述第一光源被導(dǎo)致發(fā)光和不發(fā)光時(shí)計(jì)算兩個(gè)光源的光強(qiáng)度標(biāo)量比作為對(duì)應(yīng)于與一移動(dòng)部分相鄰的靜止部分的一像素對(duì)應(yīng)的數(shù)據(jù)；使用一徑向基礎(chǔ)函數(shù)(RBFRadial Basis Function)計(jì)算與所述移動(dòng)部分每個(gè)像素對(duì)應(yīng)的所述光強(qiáng)度標(biāo)量比；在與所述移動(dòng)部分的每個(gè)像素對(duì)應(yīng)的光強(qiáng)度標(biāo)量比的基礎(chǔ)上，計(jì)算在等效于僅具有前述第一光源的照射環(huán)境中捕獲的圖像的一圖像中所述移動(dòng)部分的每個(gè)像素的所述像素值，作為所述第一像素值；在與所述移動(dòng)部分的每個(gè)像素對(duì)應(yīng)的所述光強(qiáng)度標(biāo)量比的基礎(chǔ)上，計(jì)算在等效于其中不包括前述第一光源的周圍光照射環(huán)境中捕獲的圖像的一圖像中所述移動(dòng)部分的每個(gè)像素的像素值，作為所述第二像素值；在前述第一像素值的基礎(chǔ)上，執(zhí)行所述像素值調(diào)節(jié)處理；在前述第二像素值的基礎(chǔ)上，執(zhí)行所述像素值調(diào)節(jié)處理；和將所生成的兩個(gè)調(diào)節(jié)像素值相加，以此執(zhí)行一移動(dòng)部分像素值調(diào)節(jié)處理。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理裝置的一較佳實(shí)施例，前述像素值調(diào)節(jié)處理是所述白平衡調(diào)節(jié)處理，作為所述白平衡調(diào)節(jié)處理，執(zhí)行根據(jù)基于前述第一光源的光分量所設(shè)置的參數(shù)的前述第一像素值調(diào)節(jié)處理作為所述白平衡調(diào)節(jié)處理，執(zhí)行根據(jù)基于不包括前述第一光源的周圍光分量所設(shè)置的參數(shù)的前述第二像素值調(diào)節(jié)處理。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理裝置的一較佳實(shí)施例，前述移動(dòng)部分像素值調(diào)節(jié)單元的特征在于計(jì)算所述移動(dòng)部分一內(nèi)部周邊像素的像素值與和所述移動(dòng)部分的該內(nèi)部周邊像素相鄰的所述移動(dòng)部分的一外部周邊像素的像素值的顏色分量比(αr，αg，αb)，在認(rèn)定所述移動(dòng)部分中的所有內(nèi)部周邊像素是采樣點(diǎn)并基于對(duì)應(yīng)于每個(gè)像素的所述顏色分量比構(gòu)建一徑向基礎(chǔ)函數(shù)(RBFRadial Basis Fuction)，在前述徑向基礎(chǔ)函數(shù)(RBF)的基礎(chǔ)上計(jì)算與所述移動(dòng)部分的每個(gè)像素對(duì)應(yīng)的所述顏色分量比，和倍增將被補(bǔ)償?shù)囊粓D像的所述顏色分量比并由此獲得一補(bǔ)償?shù)南袼刂怠?br> 此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理裝置的一較佳實(shí)施例，前述數(shù)據(jù)處理單元的特征在于當(dāng)由前述移動(dòng)檢測(cè)單元檢測(cè)到的前述移動(dòng)部分的整個(gè)圖像的比例大于一預(yù)定閾值時(shí)，基于借助于使前述第一光源發(fā)光的成像處理所獲取的第二圖像數(shù)據(jù)執(zhí)行所述像素值調(diào)節(jié)處理，從而使基于前述第二圖像數(shù)據(jù)的所述像素值調(diào)節(jié)數(shù)據(jù)被設(shè)置為所述最終像素值調(diào)節(jié)數(shù)據(jù)。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理裝置的一較佳實(shí)施例，基于前述第二圖像數(shù)據(jù)的所述像素值調(diào)節(jié)處理的特征在于根據(jù)基于前述第一光源的光分量所設(shè)置的參數(shù)執(zhí)行所述白平衡調(diào)節(jié)處理、根據(jù)基于不包括前述第一光源的周圍光分量所設(shè)置的參數(shù)執(zhí)行白平衡調(diào)節(jié)處理或根據(jù)基于在前述第一光源的光分量和不包括前述第一光源的周圍光分量之間的一中間光分量所設(shè)置的參數(shù)執(zhí)行所述白平衡調(diào)節(jié)處理。
此外，本發(fā)明的第三方面是一種圖像數(shù)據(jù)處理方法，該方法的特征在于一借助于使前述第一光源不發(fā)光導(dǎo)致的一成像處理獲取第一圖像數(shù)據(jù)的步驟；一借助于使前述第一光源發(fā)光導(dǎo)致的一成像處理獲取一第二圖像數(shù)據(jù)的步驟；一從構(gòu)成前述第二圖像數(shù)據(jù)的每個(gè)像素的像素值中減去前述第一圖像數(shù)據(jù)的相應(yīng)像素的像素值，以便獲取與在只有前述第一光源的照射環(huán)境中捕獲的圖像對(duì)應(yīng)的一差圖像數(shù)據(jù)的步驟；一差圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟，用于執(zhí)行關(guān)于前述差圖像數(shù)據(jù)的像素值調(diào)節(jié)處理；和一最終像素值調(diào)節(jié)圖像生成步驟，用于使用在前述差圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟中生成的經(jīng)調(diào)節(jié)的像素值圖像數(shù)據(jù)生成一最終像素值調(diào)節(jié)圖像。
此外，本發(fā)明的第四方面是一種圖像數(shù)據(jù)處理方法，其特征在于一在所述第一光源的發(fā)光條件相同的場(chǎng)合獲取不同時(shí)間捕獲到的多個(gè)圖像數(shù)據(jù)的步驟；一基于在前述多個(gè)圖像數(shù)據(jù)中的比較獲取移動(dòng)信息的步驟；和一根據(jù)基于前述移動(dòng)信息所設(shè)置的白平衡執(zhí)行關(guān)于前述多個(gè)圖像數(shù)據(jù)中的一個(gè)、一部分、全部或者其它圖像數(shù)據(jù)的處理的步驟。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實(shí)施例，在根據(jù)基于前述移動(dòng)信息所設(shè)置的白平衡執(zhí)行關(guān)于在捕獲前述多個(gè)圖像數(shù)據(jù)的時(shí)間周期內(nèi)捕獲到的所述其它圖像數(shù)據(jù)的處理的步驟中，剛好在捕獲前述多個(gè)圖像數(shù)據(jù)的前后調(diào)節(jié)相應(yīng)部分的白平衡。
此外，根據(jù)本發(fā)明的所述圖像數(shù)據(jù)處理方法的一較佳實(shí)施例，在根據(jù)基于前述移動(dòng)信息所設(shè)置的白平衡執(zhí)行所述處理的步驟中，當(dāng)基于前述移動(dòng)信息確定一移動(dòng)較大時(shí)，在周圍光、所述閃光或虛擬光源的中間周圍光和所屬閃光的基礎(chǔ)上執(zhí)行所述白平衡調(diào)節(jié)處理。
此外，根據(jù)本發(fā)明的所述圖像數(shù)據(jù)處理方法的一較佳實(shí)施例，基于前述移動(dòng)信息執(zhí)行所述白平衡處理的步驟的特征在于還包括一自適應(yīng)地轉(zhuǎn)換用于所述圖像每個(gè)部分的白平衡調(diào)節(jié)處理，而不是用于整個(gè)圖像的均衡處理的步驟，其中，在前述移動(dòng)信息的基礎(chǔ)上，進(jìn)一步根據(jù)與一相應(yīng)部分相鄰的靜止部分的圖像數(shù)據(jù)內(nèi)插所述圖像，以獲得所述相應(yīng)部分的圖像數(shù)據(jù)。
此外，本發(fā)明的第五方面是一種圖像數(shù)據(jù)處理裝置，其特征在于一成像裝置，用于借助于使一第一光源不發(fā)光導(dǎo)致的一成像處理和使前述第一光源發(fā)光導(dǎo)致的一成像處理獲取多個(gè)圖像數(shù)據(jù)；一存儲(chǔ)器，用于存儲(chǔ)借助于使前述第一光源不發(fā)光導(dǎo)致的所述成像處理獲取的第一圖像數(shù)據(jù)和借助于使前述第一光源發(fā)光導(dǎo)致的所述成像處理獲取的第二圖像數(shù)據(jù)；和一數(shù)據(jù)處理單元，用于在存儲(chǔ)在前述存儲(chǔ)器中的圖像數(shù)據(jù)的基礎(chǔ)上執(zhí)行一像素值調(diào)節(jié)處理，其中，前述數(shù)據(jù)處理單元包括一差圖像數(shù)據(jù)獲取單元，用于從構(gòu)成前述第二圖像數(shù)據(jù)的每個(gè)像素的像素值中減去前述第一圖像數(shù)據(jù)相應(yīng)像素的像素值，從而獲取與在僅有前述第一光源的照射環(huán)境中捕獲到的所述圖像對(duì)應(yīng)的一差圖像數(shù)據(jù)；一差圖像數(shù)據(jù)像素值調(diào)節(jié)單元，用于執(zhí)行關(guān)于前述差圖像數(shù)據(jù)的像素值調(diào)節(jié)處理；和一最終像素值調(diào)節(jié)單元，用于通過使用在前述差圖像數(shù)據(jù)像素值調(diào)節(jié)單元中生成的經(jīng)調(diào)節(jié)的像素值的圖像數(shù)據(jù)執(zhí)行一最終像素值調(diào)節(jié)。
此外，本發(fā)明的第六方面是一種圖像數(shù)據(jù)處理裝置，其特征在于一用于在所述第一光源的發(fā)光和成像條件相同的場(chǎng)合獲取不同時(shí)間捕獲到的多個(gè)圖像數(shù)據(jù)的裝置；
一用于在前述多個(gè)圖像數(shù)據(jù)當(dāng)中進(jìn)行比較的基礎(chǔ)上獲取移動(dòng)信息的裝置；和一用于根據(jù)基于前述移動(dòng)信息所設(shè)置的白平衡執(zhí)行關(guān)于前述多個(gè)圖像數(shù)據(jù)中的一個(gè)、一部分、全部或者其它圖像數(shù)據(jù)處理的裝置。
此外，本發(fā)明的第七方面是一種計(jì)算機(jī)程序，用于執(zhí)行與所述圖像數(shù)據(jù)相關(guān)的處理，該計(jì)算機(jī)程序的特征在于一借助于使一第一光源不發(fā)光導(dǎo)致的一成像處理獲取一第一圖像數(shù)據(jù)的步驟；一借助于使前述第一光源發(fā)光導(dǎo)致的一成像處理獲取一第二圖像數(shù)據(jù)的步驟；一從構(gòu)成前述第二圖像數(shù)據(jù)的每個(gè)像素的像素值中減去前述第一圖像數(shù)據(jù)相應(yīng)像素的像素值，從而獲取與在前述僅有前述第一光源的照射環(huán)境中捕獲到的所述圖像對(duì)應(yīng)的一差圖像數(shù)據(jù)的步驟；一差圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟，用于執(zhí)行關(guān)于前述差圖像數(shù)據(jù)的像素值調(diào)節(jié)處理；和一最終像素值調(diào)節(jié)圖像生成步驟，用于通過使用在前述差圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟中生成的經(jīng)調(diào)節(jié)的像素值圖像數(shù)據(jù)生成一最終像素值調(diào)節(jié)圖像。
此外，本發(fā)明的第八方面是一種圖像數(shù)據(jù)處理方法，用于對(duì)一具有飽和像素值的圖像數(shù)據(jù)執(zhí)行一像素值補(bǔ)償處理，該方法的特征在于一臨時(shí)補(bǔ)償像素值計(jì)算步驟，用于輸入包括將被補(bǔ)償并具有其中所述圖像數(shù)據(jù)中的至少部分像素被設(shè)置為最大像素值的一飽和像素的第一圖像數(shù)據(jù)以及在不同于所述第一圖像數(shù)據(jù)的曝光條件下捕獲到的一個(gè)或多個(gè)子圖像數(shù)據(jù)的多個(gè)圖像數(shù)據(jù)，基于多個(gè)輸入圖像數(shù)據(jù)中相互對(duì)應(yīng)的像素值差獲取一指出在獲取每個(gè)圖像數(shù)據(jù)時(shí)曝光條件差的曝光條件差數(shù)據(jù)，和在所述曝光條件差數(shù)據(jù)的基礎(chǔ)上計(jì)算在前述第一圖像數(shù)據(jù)中所述飽和像素的臨時(shí)補(bǔ)償像素值；和一補(bǔ)償像素值計(jì)算步驟，用于執(zhí)行一標(biāo)準(zhǔn)化處理，以便將前述臨時(shí)補(bǔ)償像素值校正為可輸出范圍內(nèi)的一像素值。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實(shí)施例，前述第一圖像數(shù)據(jù)在所述飽和像素位置(Xc，Yc)中具有所述像素值(Rc1、Gc1，Bc1)，并且是在不飽和像素(Xu，Yu)中具有所述像素值(Ru1，Gu1，Bu1)的圖像數(shù)據(jù)；前述子圖像數(shù)據(jù)包括作為曝光強(qiáng)度低于前述第一圖像數(shù)據(jù)的捕獲圖像的所述第二圖像數(shù)據(jù)和作為曝光強(qiáng)度低于所述第二圖像數(shù)據(jù)的捕獲圖像的第三圖像數(shù)據(jù)，前述臨時(shí)補(bǔ)償像素值計(jì)算步驟根據(jù)下述等式執(zhí)行一計(jì)算，假設(shè)在所述第二圖像數(shù)據(jù)和第三圖像數(shù)據(jù)中對(duì)應(yīng)于前述第一圖像數(shù)據(jù)的不飽和像素(Xu，Yu)的部分中的像素值是(Ru2，Gu2，Bu2)和(Ru3，Gu3，Bu3)，P(Xu,Yu)=((Ru1-Ru3)(Ru2-Ru3))2+((Gu1-Gu3)(Gu2-Gu3))2+((Bu1-Bu3)(Bu2-Bu3))2]]>…(等式1)S=ΣP(Xu,Yu)n]]>…(等式2)和在上述等式1和2的基礎(chǔ)上計(jì)算所述曝光條件差數(shù)據(jù)S。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實(shí)施例，前述補(bǔ)償像素值計(jì)算步驟的特征在于還根據(jù)下述等式執(zhí)行一處理，假設(shè)在所述第二圖像數(shù)據(jù)和第三圖像數(shù)據(jù)中與前述第一圖像數(shù)據(jù)的飽和像素(Xc，Yc)對(duì)應(yīng)的位置的像素值是(Rc2，Gc2，Bc2)和(Rc3，Gc3，Bc3)，Rcq＝(Rc2-Rc3)×S+Rc3Gcq＝(Gc2-Gc3)×S+Gc3Bcq＝(Bc2-Bc3)×S+Bc3 …(等式3)和基于前述等式3，計(jì)算前述第一圖像數(shù)據(jù)中所述飽和像素的臨時(shí)補(bǔ)償像素值(Rcq，Gcq，Bcq)。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實(shí)施例，前述補(bǔ)償像素值計(jì)算步驟的特征在于計(jì)算前述第一像素的不飽和像素(Xu，Yu)的像素值(Ru，Gu，Bu)的所有數(shù)據(jù)的最大值Dmax、關(guān)于所述飽和像素(Xc，Yc)的前述臨時(shí)補(bǔ)償像素值(Rcq，Gcq，Bcq)，根據(jù)下述等式執(zhí)行所述計(jì)算處理，在不飽和像素(Xu，Yu)的情況下，Ruf＝Ru/DmaxGuf＝Gu/DmaxBug＝Bu/Dmax，在飽和像素(Xc，Yc)的情況下，
Rcf＝Rcq/DmaxGcf＝Gcq/DmaxBcf＝Bcq/Dmax …(等式4)和基于前述等式4，計(jì)算前述第一圖像數(shù)據(jù)的不飽和像素的補(bǔ)償像素值(Ruf，Guf，Buf)以及所述飽和像素的補(bǔ)償像素值(Rcf，Gcf，Bcf)。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實(shí)施例，在前述第一圖像數(shù)據(jù)和一個(gè)或多個(gè)子圖像數(shù)據(jù)之間的曝光條件的差是照射光強(qiáng)度的差，和前述臨時(shí)補(bǔ)償像素值計(jì)算步驟基于在多個(gè)圖像數(shù)據(jù)的照射光強(qiáng)度的差計(jì)算照射光量的比值，作為前述曝光條件差數(shù)據(jù)。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實(shí)施例，在前述第一圖像數(shù)據(jù)和一個(gè)或多個(gè)子圖像數(shù)據(jù)之間的曝光條件的差是曝光時(shí)間的差，和前述臨時(shí)補(bǔ)償像素值計(jì)算步驟基于多個(gè)圖像數(shù)據(jù)曝光時(shí)間的差計(jì)算照射光強(qiáng)度的比值，作為前述曝光條件差數(shù)據(jù)。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實(shí)施例，前述臨時(shí)補(bǔ)償像素值計(jì)算步驟和前述補(bǔ)償像素值計(jì)算步驟的特征在于計(jì)算與前述第一圖像中彩色圖像的每個(gè)信號(hào)分量相關(guān)的補(bǔ)償數(shù)據(jù)。
此外，根據(jù)本發(fā)明所述圖像數(shù)據(jù)處理方法的一較佳實(shí)施例，前述臨時(shí)補(bǔ)償像素值計(jì)算步驟和前述補(bǔ)償像素值計(jì)算步驟的特征在于根據(jù)前述第一圖像的亮度分量計(jì)算所述補(bǔ)償數(shù)據(jù)。
此外，本發(fā)明的第九方面是一種成像方法，用于捕獲將被存儲(chǔ)到一存儲(chǔ)器中的圖像數(shù)據(jù)，該方法的特征在于一成像步驟，用于通過設(shè)置不同的曝光條件捕獲圖像；一臨時(shí)補(bǔ)償像素值計(jì)算步驟，用于輸入包括將被補(bǔ)償并具有其中該圖像數(shù)據(jù)中的至少部分像素被設(shè)置為一最大像素值的第一圖像數(shù)據(jù)和一個(gè)或多個(gè)在不同于所述第一圖像數(shù)據(jù)曝光條件下捕獲的子圖像數(shù)據(jù)的多個(gè)圖像，基于在所述多個(gè)圖像數(shù)據(jù)中彼此對(duì)應(yīng)的像素值差獲取用于指出在獲取每個(gè)圖像數(shù)據(jù)時(shí)曝光條件的差的曝光條件差數(shù)據(jù)，和基于所述曝光條件差計(jì)算在前述第一圖像數(shù)據(jù)中的飽和像素的臨時(shí)補(bǔ)償像素值；一補(bǔ)償像素值計(jì)算步驟，用于執(zhí)行一標(biāo)準(zhǔn)化處理，以便將前述臨時(shí)補(bǔ)償像素值校正為一可輸出范圍的像素值；和一存儲(chǔ)步驟，用于存儲(chǔ)由前述補(bǔ)償像素值計(jì)算步驟補(bǔ)償?shù)南袼厮M成的所述圖形數(shù)據(jù)。
此外，根據(jù)本發(fā)明所述成像方法的一較佳實(shí)施例，在前述曝光條件之間的差是照射光強(qiáng)度的差或者是曝光時(shí)間的差，前述成像步驟在照射光強(qiáng)度或曝光時(shí)間的不同設(shè)置條件下捕獲多個(gè)圖像，和前述臨時(shí)補(bǔ)償像素值計(jì)算步驟在所述多個(gè)圖像數(shù)據(jù)的照射光強(qiáng)度或曝光時(shí)間差的基礎(chǔ)上計(jì)算照射光強(qiáng)度比作為前述曝光條件差數(shù)據(jù)。
此外，本發(fā)明的第十方面是一種圖像數(shù)據(jù)處理裝置，用于對(duì)一具有一飽和像素值的圖像數(shù)據(jù)執(zhí)行像素值補(bǔ)償處理，所述圖像數(shù)據(jù)處理裝置的特征在于包括一臨時(shí)補(bǔ)償像素值計(jì)算裝置，用于輸入包括將被補(bǔ)償并具有其中該圖像數(shù)據(jù)中的至少部分像素被設(shè)置為一最大像素值的飽和像素的一第一圖像數(shù)據(jù)和一個(gè)或多個(gè)在不同于所述第一圖像數(shù)據(jù)的曝光條件下捕獲的子圖像數(shù)據(jù)的多個(gè)圖像數(shù)據(jù)，基于多個(gè)圖像數(shù)據(jù)中彼此對(duì)應(yīng)的像素值差獲取一用于指出在獲取每個(gè)圖像數(shù)據(jù)時(shí)曝光調(diào)節(jié)差的曝光條件差數(shù)據(jù)，和基于所述曝光條件差數(shù)據(jù)計(jì)算前述第一圖像數(shù)據(jù)中所述飽和像素的臨時(shí)補(bǔ)償像素值；和一補(bǔ)償像素值計(jì)算裝置，用于執(zhí)行一標(biāo)準(zhǔn)化處理，以便將前述臨時(shí)補(bǔ)償像素值校正為在一可輸出范圍內(nèi)的像素值。
此外，本發(fā)明的第十一方面是一計(jì)算機(jī)程序，用于對(duì)具有一飽和像素值的圖像數(shù)據(jù)執(zhí)行包括像素值補(bǔ)償處理的圖像數(shù)據(jù)處理，所述計(jì)算機(jī)程序的特征在于一臨時(shí)補(bǔ)償像素值計(jì)算步驟，用于輸入包括將被補(bǔ)償并具有其中所述圖像數(shù)據(jù)中的至少部分像素被設(shè)置為一最大像素值的飽和像素的第一圖形數(shù)據(jù)和一個(gè)或多個(gè)在不同于所述第一圖像數(shù)據(jù)的曝光條件下捕獲的子圖像數(shù)據(jù)的多個(gè)圖像，在多個(gè)輸入圖像數(shù)據(jù)中相應(yīng)像素值差的基礎(chǔ)上獲取一指出在獲取每個(gè)圖像數(shù)據(jù)時(shí)曝光條件差的曝光條件差數(shù)據(jù)，和在所述曝光條件差的基礎(chǔ)上計(jì)算在前述第一圖像數(shù)據(jù)中所述飽和像素的臨時(shí)補(bǔ)償像素值；和一補(bǔ)償像素值計(jì)算步驟，用于執(zhí)行一格式化處理，以便將前述臨時(shí)補(bǔ)償像素值校正為在一可輸出范圍內(nèi)的像素值。
根據(jù)本發(fā)明的所述結(jié)構(gòu)，可以就在諸如周圍光、閃光等不同光分量相互混合在一起的環(huán)境中所捕獲到的圖像穩(wěn)定地調(diào)節(jié)所述白平衡，并能夠獲取自然色調(diào)的圖像數(shù)據(jù)。
此外，根據(jù)本發(fā)明的結(jié)構(gòu)，由于它被結(jié)構(gòu)成能夠就將被在諸如周圍光、閃光等多種不同種類照射光條件下捕獲的圖像轉(zhuǎn)換成在單種光照射環(huán)境中捕獲或生成所述圖像，并相對(duì)于單種光照射的每個(gè)環(huán)境中的圖像執(zhí)行根據(jù)基于每種照射光顏色分量(色溫)所設(shè)置的參數(shù)的白平衡調(diào)節(jié)以合成所述圖像，借此，實(shí)現(xiàn)了其中減少了閃光和周圍光之間的色溫差的穩(wěn)定的白平衡調(diào)節(jié)處理。
此外，根據(jù)本發(fā)明的結(jié)構(gòu)，由于它被結(jié)構(gòu)成就目標(biāo)本身的移動(dòng)部分能夠以與靜止部分相鄰的像素值為基礎(chǔ)調(diào)節(jié)和設(shè)置所述像素值，所以可以產(chǎn)生像素間平滑變化的自然圖像數(shù)據(jù)。
此外，本發(fā)明的結(jié)構(gòu)對(duì)所述像素?cái)?shù)據(jù)提供適當(dāng)?shù)南袼刂笛a(bǔ)償，在所述像素?cái)?shù)據(jù)中，由于靠近所述成像裝置的目標(biāo)處于諸如附著到諸如攝影機(jī)的成像裝置上的頻閃儀的照射光的過度照射之下，所以，該目標(biāo)圖像的所述像素值被飽和。
此外，根據(jù)本發(fā)明的結(jié)構(gòu)，基于在不同曝光條件下的多個(gè)圖像數(shù)據(jù)獲得所述飽和像素值的臨時(shí)補(bǔ)償像素值，和該臨時(shí)補(bǔ)償像素值被標(biāo)準(zhǔn)化處理，從而再次被校正為所述可輸出的像素值并進(jìn)而被輸出或記錄，借此，在一精確補(bǔ)償像素值計(jì)算和所述補(bǔ)償像素值的基礎(chǔ)上，可以輸出和存儲(chǔ)一個(gè)清晰的圖像數(shù)據(jù)。
此外，根據(jù)本發(fā)明的結(jié)構(gòu)，輸入多個(gè)圖像數(shù)據(jù)，包括將被補(bǔ)償和具有其中是該圖像數(shù)據(jù)中至少部分像素被設(shè)置為一最大像素值的飽和像素的第一圖像數(shù)據(jù)和一個(gè)或多個(gè)在不同于所述第一圖像數(shù)據(jù)曝光條件下捕獲的子圖像數(shù)據(jù)；基于所述多個(gè)圖像數(shù)據(jù)中相互對(duì)應(yīng)的像素值差，獲取所述曝光條件差數(shù)據(jù)，該數(shù)據(jù)指出在獲取每個(gè)圖像數(shù)據(jù)時(shí)的曝光條件的差；在所述曝光條件差數(shù)據(jù)的基礎(chǔ)上，計(jì)算前述第一圖像數(shù)據(jù)中的所述飽和像素的臨時(shí)補(bǔ)償像素值；和執(zhí)行一格式化處理，以將前述臨時(shí)補(bǔ)償像素值校正為一可輸出范圍內(nèi)的像素值，然后，在一精確補(bǔ)償像素值計(jì)算和所述補(bǔ)償像素值的基礎(chǔ)上，輸出和存儲(chǔ)一清晰的圖像數(shù)據(jù)。
另外，一與本發(fā)明相符的計(jì)算機(jī)程序是一種能夠被提供用于一計(jì)算機(jī)系統(tǒng)的計(jì)算機(jī)程序，所述計(jì)算機(jī)系統(tǒng)能夠例如借助于一種以計(jì)算機(jī)可讀形式提供的記錄介質(zhì)和通信媒體執(zhí)行各種程序碼，所述記錄介質(zhì)諸如是CD、FD和MO，所述通信媒體諸如是一個(gè)網(wǎng)絡(luò)。通過提供這種計(jì)算機(jī)可讀形式的程序，可以在計(jì)算機(jī)系統(tǒng)上實(shí)現(xiàn)根據(jù)該程序的處理。
通過下面基于本發(fā)明的例子和附圖的詳細(xì)描述，本發(fā)明的其它方面、特性和優(yōu)點(diǎn)將變得更加明顯。


圖1用于解釋有關(guān)在利用頻閃儀等照射下捕獲的圖像的問題；圖2用于解釋在本發(fā)明一圖像處理裝置中捕獲的多個(gè)圖像的曝光條件；圖3用于解釋本發(fā)明所述圖像處理裝置的硬件結(jié)構(gòu)的例子；圖4用于解釋本發(fā)明所述圖像處理裝置中圖像獲取的例子，圖5用于解釋本發(fā)明所述圖像處理裝置中多個(gè)被捕獲到的圖像的例子；圖6的流程圖用于解釋本發(fā)明所述圖像處理裝置中的像素值補(bǔ)償處理；圖7的流程圖用于解釋本發(fā)明所述圖像處理裝置中的像素值補(bǔ)償處理；圖8的流程圖用于解釋本發(fā)明所述圖像處理裝置中的像素值補(bǔ)償處理；圖9的功能框圖示出了用于在本發(fā)明所述圖像處理裝置中執(zhí)行的與每個(gè)功能相關(guān)的像素值補(bǔ)償；圖10用于解釋在本發(fā)明的所述圖像處理裝置中捕獲的多個(gè)圖像的曝光條件；圖11示出了本發(fā)明所述圖像數(shù)據(jù)處理裝置的結(jié)構(gòu)；圖12的流程圖用于解釋本發(fā)明圖像數(shù)據(jù)處理方法的過程；圖13的流程圖用于解釋本發(fā)明圖像數(shù)據(jù)處理方法中基于多個(gè)圖像數(shù)據(jù)的白平衡調(diào)節(jié)處理的過程；圖14的曲線示出了本發(fā)明圖像數(shù)據(jù)處理方法中基于多個(gè)圖像數(shù)據(jù)的白平衡調(diào)節(jié)處理的原理；圖15用于解釋在本發(fā)明所述圖像數(shù)據(jù)處理方法中基于所述多個(gè)圖像數(shù)據(jù)的移動(dòng)部分的檢測(cè)處理；圖16的流程圖用于解釋在本發(fā)明所述圖像數(shù)據(jù)處理方法中所述移動(dòng)部分的像素值調(diào)節(jié)處理；圖17的曲線用于解釋本發(fā)明所述圖像數(shù)據(jù)處理方法中所述移動(dòng)部分的像素值調(diào)節(jié)處理；圖18用于解釋一種機(jī)制，在該機(jī)制下執(zhí)行本發(fā)明所述圖像數(shù)據(jù)處理方法中基于所述多個(gè)圖像數(shù)據(jù)的白平衡像素值調(diào)節(jié)處理；
圖19的流程圖用于解釋在本發(fā)明所述圖像數(shù)據(jù)處理方法中基于所述多個(gè)圖像數(shù)據(jù)的白平衡調(diào)節(jié)處理的過程；圖20用于解釋一種機(jī)制，在該機(jī)制下，執(zhí)行本發(fā)明所述圖像處理方法中基于所述多個(gè)圖像的像素值調(diào)節(jié)處理。
具體實(shí)施例方式
此后，將結(jié)合附圖描述一圖像數(shù)據(jù)處理方法，一成像裝置，以及用于根據(jù)本發(fā)明對(duì)圖像進(jìn)行處理的一裝置和方法。將依次描述以下二個(gè)主題。
1.用于由于過度光照射而導(dǎo)致的飽和像素值的補(bǔ)償處理2.在其中周圍光和閃光被相互混合的環(huán)境中圖像的較佳白平衡調(diào)節(jié)處理[1.用于由于過度光照射而導(dǎo)致的飽和像素值的補(bǔ)償處理]首先，描述本發(fā)明用于對(duì)由于過度光照射而導(dǎo)致的飽和像素值執(zhí)行補(bǔ)償處理的圖像處理裝置、成像裝置和方法的概況。在本發(fā)明中，捕獲至少三個(gè)或更多個(gè)以不同成像模式捕獲的圖像。如圖2(a)和(b)所示，所述多個(gè)圖像的成像模式在所述圖像的曝光時(shí)間和光強(qiáng)度方面是變化的。第一圖像是將要被補(bǔ)償?shù)膱D像，和第二圖像和第三圖像是被用于對(duì)所述第一圖像進(jìn)行補(bǔ)償處理的子圖像。
與傳統(tǒng)方式類似，當(dāng)例如頻閃儀的發(fā)光裝置發(fā)射光時(shí)，將被進(jìn)行補(bǔ)償處理的所述第一圖像被曝光。因此，當(dāng)將被捕獲圖像的目標(biāo)存在于相對(duì)于所述成像裝置一近距離位置和一遠(yuǎn)距離位置時(shí)，過度的光量被照射到位于靠近所述成像裝置的成像目標(biāo)上，從而所述圖像(稱做第一圖像)的值(R，G，B)被飽和。另外，在下面的描述中，雖然所述發(fā)射裝置被描述為頻閃儀或一閃光，但當(dāng)所述發(fā)射裝置不僅利用了所述頻閃儀和閃光，而且還有其它不同的光照射裝置時(shí)，也可以應(yīng)用本發(fā)明的結(jié)構(gòu)。
作為所述子圖像的第二圖像是通過將所述曝光時(shí)間設(shè)置得短于所述第一圖像的曝光時(shí)間所捕獲到的圖像，或者是在其中所述頻閃儀的光強(qiáng)度被減小到所述第一圖像成像時(shí)的光強(qiáng)度的情況中捕獲的圖像(稱做第二圖像)。
此外，作為第三圖像的子圖像是一個(gè)通過將所述曝光時(shí)間設(shè)置為比所述第二圖像的曝光時(shí)間更短時(shí)捕獲到的圖像，或者是在其中所述頻閃儀的光強(qiáng)度仍然低于所述第二圖像成像(或沒有發(fā)射光)的情況中捕獲的圖像(稱做第三圖像)。
由于第二圖像與第三圖像具有較少的頻閃光(strobe light)的曝光時(shí)間和較低的強(qiáng)度，所以，從整體上看圖像變得較暗。即使它是一個(gè)靠近所述成像裝置(攝影機(jī))和距離作為光發(fā)射裝置的頻閃儀比較近的目標(biāo)，照射光的強(qiáng)度也減小，因此，所捕獲到圖像的像素也不會(huì)出現(xiàn)飽和的情況。
由于所述第二圖像和第三圖像是暗圖像，所以它沒有被用于觀看。但是，它們包括被所述第一圖像丟失的有用信息。即，有關(guān)色度的信息。換言之，從所述第二圖像和第三圖像中可以獲得每個(gè)像素中R∶G∶B的比例關(guān)系。根據(jù)這個(gè)信息，恢復(fù)第一圖像中飽和像素的數(shù)據(jù)(特別是色度)。
下面將說明本發(fā)明的一特定結(jié)構(gòu)。首先，結(jié)合圖3說明本發(fā)明一圖像處理裝置的硬件結(jié)構(gòu)的例子。結(jié)合圖3描述圖像處理裝置100的每個(gè)構(gòu)成組件。另外，圖3所示的圖像處理裝置100也能夠被插入到所述成像裝置(攝影機(jī))中。
作為該圖像處理裝置100的主控器的CPU(中央處理單元)101在操作系統(tǒng)(OS)的控制下執(zhí)行各種應(yīng)用程序。CPU101能夠執(zhí)行一應(yīng)用程序以補(bǔ)償從作為成像裝置的數(shù)字?jǐn)z影機(jī)150經(jīng)外部設(shè)備接口106一次下載到一HDD111中的圖像。如圖所示，CPU101借助總線107與其它設(shè)備互連。
存儲(chǔ)器102是一個(gè)用于存儲(chǔ)在CPU101中執(zhí)行的程序碼或用于臨時(shí)存儲(chǔ)運(yùn)行中操作數(shù)據(jù)的存儲(chǔ)設(shè)備。應(yīng)當(dāng)理解，圖示存儲(chǔ)器102既包括諸如ROM的非易失存儲(chǔ)器，也包括諸如DRAM的易失存儲(chǔ)器。
顯示控制器103是一專用控制器，用于實(shí)際處理由CPU101發(fā)出的繪制命令。在顯示控制器103中處理的一繪制數(shù)據(jù)例如在被一次寫入一幀緩存器(未示出)之后通過顯示器108輸出給一屏幕。例如，從HDD(111)再現(xiàn)的圖像和由CPU101處理的圖像被顯示在屏幕108上，借此使用戶能夠看到它們。
輸入設(shè)備接口104是一個(gè)用于將諸如鍵盤109、鼠標(biāo)110等用戶輸入設(shè)備連接到系統(tǒng)100上的設(shè)備。所述用戶能夠經(jīng)過鍵盤109和鼠標(biāo)110輸入用于處理和顯示所述圖像的命令等。
網(wǎng)絡(luò)接口105可以根據(jù)諸如以太網(wǎng)(Ethernet)的一預(yù)定通信協(xié)議將系統(tǒng)100連接到諸如LAN(局域網(wǎng))的本地網(wǎng)絡(luò)和諸如因特網(wǎng)(Internet)的廣域網(wǎng)上。
在一網(wǎng)絡(luò)上，以透明狀態(tài)連接多個(gè)主機(jī)端和服務(wù)器(未示出)，和建立一分布式計(jì)算環(huán)境。在所述網(wǎng)絡(luò)上，可以對(duì)分布軟件程序和數(shù)據(jù)內(nèi)容等提供服務(wù)。例如，一圖像數(shù)據(jù)可被從其中保存有由其它服務(wù)器捕獲到的圖像的其它服務(wù)器中經(jīng)過所述網(wǎng)絡(luò)下載到HDD(111)。
外部設(shè)備接口106是一用于將諸如數(shù)字?jǐn)z影機(jī)、硬盤驅(qū)動(dòng)器(HDD)111和媒體設(shè)備112的外部設(shè)備連接到系統(tǒng)100的設(shè)備。
HDD111是一個(gè)用于固定地承載作為存儲(chǔ)介質(zhì)的磁盤、在存儲(chǔ)容量、數(shù)據(jù)傳輸速度等方面優(yōu)于其它外部存儲(chǔ)裝置并能夠提供隨機(jī)訪問的外部存儲(chǔ)裝置。把將被執(zhí)行的軟件程序放置到所述HDD111上被稱之為在所述系統(tǒng)中“安裝(to install)”所述程序。通常，將由CPU101執(zhí)行的操作系統(tǒng)的程序碼、應(yīng)用程序和設(shè)備驅(qū)動(dòng)程序等被以非易失方式存儲(chǔ)在HDD111中。例如，下面將要描述的圖像補(bǔ)償程序可以被安裝到HDD111中。
媒體驅(qū)動(dòng)器112是一個(gè)被安裝在諸如CD(高密度盤)、MO(磁光盤)、DVD(數(shù)字通用盤)的便攜式介質(zhì)160上的設(shè)備，用于訪問它們的數(shù)據(jù)記錄側(cè)。
便攜式介質(zhì)160被用于主要備份一軟件程序和數(shù)據(jù)文件等作為計(jì)算機(jī)可讀的數(shù)據(jù)，并用于在系統(tǒng)之間移動(dòng)它們(即，包括銷售、流通和分配)。通過使用這些便攜式介質(zhì)，可以在多個(gè)設(shè)備當(dāng)中實(shí)際流通和分配用于執(zhí)行成像處理的應(yīng)用程序。
另外，圖3所示成像處理裝置100的例子可以被實(shí)現(xiàn)為來自美國(guó)IBM公司的個(gè)人計(jì)算機(jī)“PC/AT(Personal Computer/Advanced Technology)”的一兼容機(jī)或一后繼的機(jī)器。當(dāng)然，就該實(shí)施例而言，也可以使用裝備有其它作為圖像處理裝置100的結(jié)構(gòu)的計(jì)算機(jī)。此外，還可以通過將其插入到所述數(shù)字?jǐn)z影機(jī)內(nèi)將其實(shí)現(xiàn)為在所述數(shù)字?jǐn)z影機(jī)內(nèi)執(zhí)行處理的結(jié)構(gòu)。
下面將描述在本發(fā)明圖像處理裝置中執(zhí)行的圖像處理的一特定例子。如圖4所示，一攝影者利用作為所述成像裝置的攝影機(jī)(數(shù)字?jǐn)z影機(jī))210對(duì)個(gè)人A(250)成像。所述個(gè)人A(250)位于暗室200中，所述攝影者利用頻閃儀211承載攝影機(jī)(數(shù)字?jǐn)z影機(jī))210，和所述攝影機(jī)210位于靠近個(gè)人A(250)的位置處。
攝影機(jī)210檢測(cè)周圍光的強(qiáng)度并以“頻閃串行成像(strobe serialimaging)”的模式自動(dòng)成像。另一方面，攝影者操作一有意添加到所述數(shù)字?jǐn)z影機(jī)上的按鈕，以便以“頻閃串行成像”的模式成像。另外，所述“頻閃串行成像”模式是這樣一種模式，在這種模式下，持續(xù)地捕獲將被在所述圖像處理裝置中進(jìn)行處理的多個(gè)圖像，并且這不是一個(gè)通用術(shù)語(yǔ)。
在所述“頻閃串行成像”模式下，當(dāng)所述攝影者推動(dòng)一個(gè)釋放按鈕時(shí)，自動(dòng)地執(zhí)行多個(gè)圖像(例如三個(gè)圖像)的串行成像。在所述“頻閃串行成像”模式下，當(dāng)一釋放按鈕被推動(dòng)時(shí)，首先執(zhí)行所述成像，同時(shí)使一頻閃儀以一傳統(tǒng)方式發(fā)射光。所捕獲到的圖像被立即捕獲到所述數(shù)字?jǐn)z像機(jī)中的一存儲(chǔ)器(幀存儲(chǔ)器)中作為第一圖像。
在將所述第一圖像捕獲到所述存儲(chǔ)器之中后，再次執(zhí)行成像，同時(shí)使所述頻閃儀發(fā)射弱于成像所述第一圖像時(shí)的光。然后，將其捕獲到所述攝像機(jī)中的存儲(chǔ)器中作為第二圖像。此外，在此之后，在不使所述頻閃儀發(fā)光的情況下再次執(zhí)行所述成像。然后，將其捕獲到所述數(shù)字?jǐn)z像機(jī)的存儲(chǔ)器中作為第三圖像。
另外，不存在獲取這些圖像的順序規(guī)則。另一方面，可以通過使用多個(gè)成像裝置在基本上相同的時(shí)間處執(zhí)行成像。此外，通過推動(dòng)所述釋放按鈕三次，在有意控制所述頻閃儀的光強(qiáng)度的同時(shí)，上述第一圖像、第二圖像以及第三圖像都可以被所述攝影者捕獲到。
根據(jù)所述成像可獲得例如圖5所示的圖像。圖5(a)是利用普通光照射捕獲到的所述第一圖像，圖5(b)是利用低強(qiáng)度光照射捕獲到的所述第二圖像，和圖5(c)是利用更低強(qiáng)度的光照射捕獲到的第三圖像。
圖6以流程圖的形式示出了在本發(fā)明所述圖像處理裝置100中執(zhí)行的處理過程。通過使用圖6，將參考圖3所示的圖像處理裝置詳細(xì)說明本發(fā)明所述圖像處理裝置中執(zhí)行的處理。
首先，在圖6的步驟1，所述圖像處理裝置100的使用者將用于成像的數(shù)字?jǐn)z像機(jī)連接到外部接口106上。另一方面，當(dāng)所捕獲到的數(shù)據(jù)位于諸如MO的便攜式介質(zhì)中時(shí)，所述便攜式介質(zhì)被安裝在媒體驅(qū)動(dòng)器112中。
在步驟2，從諸如數(shù)字?jǐn)z像機(jī)或MO的所述便攜式介質(zhì)中取出將被處理的圖像數(shù)據(jù)，并將其復(fù)制到例如HDD111中。這里，被捕獲到的圖像數(shù)據(jù)是多個(gè)在上述“頻閃串行成像”模式下捕獲到的多個(gè)圖像，即在不同曝光條件下捕獲到的多個(gè)圖像數(shù)據(jù)。例如，它們是如圖5所示的三個(gè)圖像數(shù)據(jù)。在步驟2S，所述圖像數(shù)據(jù)被進(jìn)一步發(fā)送給存儲(chǔ)器102。當(dāng)然，雖然它不需要被一次復(fù)制到HDD111中，但是，最好將它們復(fù)制到HDD111中，以便可以在不連接到諸如數(shù)字?jǐn)z像機(jī)或MO的所述便攜式介質(zhì)的情況下再次觀看它們。然后，處理進(jìn)行到步驟3。
在步驟3，CPU101分析第一圖像數(shù)據(jù)，例如圖5(a)所示利用普通光照射所捕獲到的第一圖像數(shù)據(jù)，并提取一飽和的圖像數(shù)據(jù)區(qū)域，該區(qū)域是通過由CPU101判斷所述圖像數(shù)據(jù)中的每個(gè)像素是否存在具有三個(gè)分量R、G和B當(dāng)中的255像素值的一個(gè)或多個(gè)分量而確定的。
換言之，提取具有像素值R＝255或像素值G＝255或像素值B＝255的值的一像素作為一飽和像素。所述飽和像素位置被設(shè)置為(Xc，Yc)。不飽和的像素位置被設(shè)置為(Xu，Yu)。然后，處理進(jìn)行到步驟4。
在步驟4，在所述第二圖像和第三圖像的基礎(chǔ)上計(jì)算在步驟3中獲得的所述第一圖像中的飽和像素位置(Xc，Yc)的補(bǔ)償像素?cái)?shù)據(jù)，即在所述第二圖像和第三圖像的基礎(chǔ)上計(jì)算所述補(bǔ)償像素圖像。下面將結(jié)合圖7和圖8描述步驟4的特定處理。另外，在圖7和圖8中，步驟41-45示出了圖6所示步驟4的詳細(xì)處理，和步驟51-52示出了圖6所示步驟5的詳細(xì)處理(格式化處理)。這些處理是由CPU101執(zhí)行下述的處理實(shí)現(xiàn)的。
首先，在步驟41，確定所述第一圖像的飽和的像素(飽和像素)的位置(Xc，Yc)和所述第一圖像中沒有飽和的像素(未飽和像素)的位置(Xu，Yu)，從而獲取像素位置信息。所述飽和的像素(飽和像素)是其中R、G和B中的任何一個(gè)都被設(shè)置為最大值(例如，255)的一個(gè)像素。所述未飽和像素是其它像素，即其中R、G和B的任何一個(gè)都沒有被設(shè)置為所述最大值(例如，255)的像素。
接著，在步驟42，從所述第二圖像和第三圖像中取出與所述第一圖像中飽和的像素(飽和像素)的位置(Xc，Yc)相同位置中的像素。所述第一飽和的像素的R、G和B分別被表示為Rc1、Gc1和Bc1。在從第二圖像取出的相同位置處的像素的R、G和B被分別表示為Rc2、Gc2和Bc2。此外，在從第三圖像取出的相同位置處的像素的R、G和B被分別表示為Rc3、Gc3和Bc3。
此外，從所述第二圖像和第三圖像中取出與在所述第一圖像中還沒有飽和的像素(未飽和像素)的位置(Xu，Yu)相同位置中的像素。所述第一未飽和像素的R、G和B分別由Ru1、Gu1個(gè)Bu1表示。從所述第二圖像中取出的相同位置中的像素的R、G和B分別由Ru2、Gu2和Bu2表示。此外，從所述第三圖像中取出的相同位置中的像素的R、G和B分別由Ru3、Gu3和Bu3表示。
接著，在步驟42，針對(duì)所述第一圖像中沒有飽和的像素(飽和像素)的每個(gè)位置(Xu，Yu)如下計(jì)算(等式1)P(Xu，Yu)P(Xu,Yu)=((Ru1-Ru3)(Ru2-Ru3))2+((Gu1-Gu3)(Gu2-Gu3))2+((Bu1-Bu3)(Bu2-Bu3))2]]>…(等式1)相對(duì)于在所述第一圖像中關(guān)于沒有飽和的所述像素的位置(Xu，Yu)，利用等式1計(jì)算P(Xu，Yu)。進(jìn)一步，在步驟44，計(jì)算所有像素位置的P(Xu，Yu)的平均值S，所述平均值是由下述(等式2)計(jì)算的S=ΣP(Xu,Yu)n]]>(等式2)在上述(等式1)和(等式2)中，(Xu，Yu)是所述第一圖像中沒有飽和的像素的位置。n是所述第一圖像中沒有飽和的像素的總數(shù)。
由上述(等式1)和(等式2)計(jì)算的S指出“當(dāng)成像第一圖像時(shí)所發(fā)射的頻閃光的強(qiáng)度＝[高強(qiáng)度頻閃光]”與“當(dāng)成像第二圖像時(shí)所發(fā)射的頻閃光的強(qiáng)度＝[低強(qiáng)度頻閃光]”的比值。即，可以是，S指出隨著每個(gè)圖像數(shù)據(jù)的曝光條件不同數(shù)據(jù)的照射光強(qiáng)度的比值。
換言之，(Ru1-Ru3、Gu1-Gu3、Bu1-Bu3)是通過從關(guān)于所述第一圖像中未飽和像素(未飽和像素)的所述第一圖像的像素值(Ru1、Gu1、Bu1)分別減去所述第三圖像的相應(yīng)位置中的像素值(Ru3、Gu3、Bu3)所得到的差值。所述差值指出通過消除周圍光分量在純碎利用所述[高強(qiáng)度照射光]直接照射的投影位置中的像素值。這里所述[高強(qiáng)度照射光]是指當(dāng)獲取所述第一圖像時(shí)發(fā)射的頻閃光。
類似的，(Ru2-Ru3，Gu2-Gu3，Bu2-Bu3)是通過從在與在所述第一圖像中未飽和的像素(未飽和像素)對(duì)應(yīng)的位置中的所述第二圖像的像素值(Ru2，Gu2，Bu2)中減去在所述第三圖像的相應(yīng)位置中的像素值(Ru3，Gu3，Bu3)所得到的差值。通過消除周圍光分量，所述差值構(gòu)成了純碎利用所述[低強(qiáng)度頻閃光]照射的一投影圖像的差值。這里所述[低強(qiáng)度頻閃光]是指當(dāng)獲取所述第二圖像時(shí)發(fā)射的光。
因此，借助于上述(等式2)所計(jì)算的曝光條件差數(shù)據(jù)S指出“當(dāng)成像所述第一圖像時(shí)發(fā)射的頻閃光的強(qiáng)度＝[高強(qiáng)度頻閃光]”與“當(dāng)成像所述第二圖像時(shí)發(fā)射的頻閃光的強(qiáng)度＝[低強(qiáng)度頻閃光]”的比值。
由此，借助于在不同發(fā)光條件下捕獲到的三個(gè)圖像的基礎(chǔ)上執(zhí)行的圖像分析處理，可以計(jì)算“當(dāng)成像所述第一圖像時(shí)發(fā)射的頻閃光的強(qiáng)度＝[高強(qiáng)度頻閃光]”與“當(dāng)成像所述第二圖像時(shí)發(fā)射的頻閃光的強(qiáng)度＝[讀強(qiáng)度頻閃光]”的比值S。
另外，在所述成像裝置(攝像機(jī))側(cè)或連接到所述攝像機(jī)的控制單元，如果可以正確地控制頻閃發(fā)射的強(qiáng)度以獲取指出“當(dāng)成像所述第一圖像時(shí)發(fā)射的頻閃光的強(qiáng)度＝[高強(qiáng)度頻閃光]”與“當(dāng)成像所述第二圖像時(shí)發(fā)射的頻閃光的強(qiáng)度＝[低強(qiáng)度頻閃光]”的比值的數(shù)據(jù)，那么，所獲取的數(shù)據(jù)被作為S。
接著，在步驟45(圖8)，捕獲在所述第一圖像中被飽和的所述像素(飽和像素)的位置(Xc，Yc)，和根據(jù)下述(等式3)使用所述曝光條件差數(shù)據(jù)S計(jì)算每個(gè)位置(Xc，Yc)中的臨時(shí)補(bǔ)償像素值(Rcq，Gcq，Bcq)。
Rcq＝(Rc2-Rc3)×S+Rc3Gcq＝(Gc2-Gc3)×S+Gc3Bcq＝(Bc2-Bc3)×S+Bc3(等式3)然后，利用(等式3)表示的所述臨時(shí)補(bǔ)償像素值(Rcq，Gcq，Bcq)分別被設(shè)置為相對(duì)于在第一像素中的飽和像素位置(Xc，Yc)的臨時(shí)補(bǔ)償像素值。
其中，(Xc，Yc)是所述第一圖像中被飽和像素(飽和像素)的位置。由上述(等式3)所計(jì)算的值(Rcq，Gcq，Bcq)是所述像素的值，假設(shè)所發(fā)射的光強(qiáng)度是“當(dāng)成像所述第二圖像時(shí)所發(fā)射的頻閃光的強(qiáng)度＝[低強(qiáng)度頻閃光]”的S倍。換言之，它們是假設(shè)當(dāng)利用“當(dāng)取所述第一圖像時(shí)的頻閃光的強(qiáng)度＝[高強(qiáng)度頻閃光]”照射時(shí)它們沒有被飽和的前提下的所述像素的值。
因此，由上述(等式3)所計(jì)算的像素值可以是超過實(shí)際圖像像素值的最大值(例如，255)的值。
由此，在圖6所示處理流程的步驟4(圖7和8的步驟41-45)中，執(zhí)行一處理，用于利用假設(shè)其沒有被飽和的一個(gè)假設(shè)的像素值、即一個(gè)假設(shè)的臨時(shí)補(bǔ)償像素值(Rcq，Gcq，Bcq)來替換所述第一圖像中的飽和像素。
接著，在步驟5，對(duì)于在步驟4對(duì)應(yīng)于在所述飽和像素位置(Xc，Yc)中的像素(Rc，Gc，Bc)和在未飽和像素位置(Xu，Yu)中由像素(Ru，Gu，Bu)構(gòu)成的所述第一圖像的組成像素值所計(jì)算的臨時(shí)補(bǔ)償像素值(Rcq，Gcq，Bcq)執(zhí)行一格式化處理。
如上所述，對(duì)于在步驟4像素?cái)?shù)據(jù)替換處理中所計(jì)算的臨時(shí)補(bǔ)償像素值(Rcq，Gcq，Bcq)，所有Rc、Bcq或Gcq的值并不總是被設(shè)置在范圍0-255之內(nèi)，其中的任何一個(gè)值都可以超過255。在這種場(chǎng)合下不能輸出圖像。然后，執(zhí)行所述格式化處理，以便使所有像素的R、G和B的值都可以被限制到可允許的輸出值，例如在0-255的范圍內(nèi)，從而正確的計(jì)算補(bǔ)償像素值(Rcf，Gcf，Bcf)。
下面將結(jié)合圖8的步驟51和52描述一具體的格式化處理。首先，在步驟51，計(jì)算所述第一圖像的最大像素值Dmax。
換言之，分別獲得所述第一圖像的未飽和像素(Xu，Yu)的像素值(Ru，Gu，Bu)和由根據(jù)所述飽和像素(Xc，Yc)在步驟4(＝步驟41-45)計(jì)算的所述臨時(shí)補(bǔ)償像素值(Rcq，Gcq，Bcq)構(gòu)成的所述第一圖像的所有像素的像素值，并計(jì)算所有的最大值Dmax。
接著，在步驟52，將所述第一圖像的組成像素的每個(gè)像素值除以在步驟51中計(jì)算的最大像素值Rmax、Gmax或Bmax，和利用下述(等式4)分別計(jì)算在所述未飽和像素位置(Xu，Yu)中的補(bǔ)償像素值(Rus，Guf，Buf)和在所述飽和像素位置(Xc，Yc)中的補(bǔ)償像素值(Rcf，Gcf，Bcf)。
(1)在未飽和像素(Xu，Yu)的情況下，Ruf＝(Ru/Dmax)×255Guf＝(Gu/Dmax)×255Buf＝(Bu/Dmax)×255在飽和像素(Xc，Yc)情況下，Rcf＝(Rcq/Dmax)×255Gcf＝(Gcq/Dmax)×255Bcf＝(Bcq/Dmax)×255 (等式4)由上述(等式4)計(jì)算的像素值，即在未飽和像素位置(Xu，Yu)中的補(bǔ)償像素值(Ruf，Guf，Buf)和在飽和像素位置(Xc，Yc)中的補(bǔ)償像素值(Rcf，Gcf，Bcf)可以被保持在0-255之間的值。這些補(bǔ)償像素值被用作輸出像素值。
所述格式化處理并不局限于上述處理。也可以使用諸如在日本專利申請(qǐng)No.2002-025464中描述其它格式化處理。上述日本專利申請(qǐng)是同樣由本發(fā)明的申請(qǐng)人申請(qǐng)的專利申請(qǐng)。它提供了一種用于將具有寬動(dòng)態(tài)范圍的圖像(即具有超過255的值的圖像)轉(zhuǎn)換成具有較窄動(dòng)態(tài)范圍的圖像(即其所有像素值的R，G和B都在0-255范圍之間的圖像)而不會(huì)被人的視覺感到不適應(yīng)的處理方法。通過使用這種處理方法，計(jì)算構(gòu)成所述第一圖像的未飽和像素位置(Xu，Yu)中的補(bǔ)償像素值(Ruf，Guf，Buf)和飽和像素位置(Xc，Yc)中的補(bǔ)償像素值(Rcf，Gcf，Bcf)，借此以將所有像素的R、G和B的值保持在0-255的范圍內(nèi)。
在圖6的步驟5(圖8的步驟51和52)的格式化處理之后，處理移動(dòng)到步驟6。在步驟6，在步驟5重新寫入的所述第一圖像被輸出和處理結(jié)束。這個(gè)圖像是由在未飽和像素位置(Xu，Yu)中的補(bǔ)償像素值(Ruf，Guf，Buf)和在飽和像素位置(Xc，Yc)中的補(bǔ)償像素值(Rcf，Gcf，Bcf)構(gòu)成的。
被如此獲得的圖像是這樣一個(gè)圖像，在該圖像中，利用假設(shè)沒有被飽和所述像素來替換所述第一原始圖像中被飽和的像素，這消除了傳統(tǒng)的缺陷。換言之，能夠避免當(dāng)一目標(biāo)在附近時(shí)由于頻閃成像導(dǎo)致所述(R，G，B)的值被飽和和導(dǎo)致最亮的白色。
圖9示出了一功能框圖，用于解釋本發(fā)明圖像處理裝置中的處理。所述圖像處理裝置能夠以例如具有如前面使用圖3描述的一CPU的PC等來實(shí)現(xiàn)。在所述CPU中執(zhí)行如參考圖6-8所描述的其中記錄有所述處理過程的程序，從而實(shí)現(xiàn)所述補(bǔ)償像素值的計(jì)算。圖9是一功能框圖，該圖示出了主要在所述CPU中執(zhí)行并被單獨(dú)分塊的處理功能。
在成像單元301中，捕獲其中上述曝光條件是變化的多個(gè)圖像(見圖2和圖5)，和該多個(gè)圖像被存儲(chǔ)在存儲(chǔ)器302中。在像素值鑒別單元303中，相對(duì)于存儲(chǔ)在所述存儲(chǔ)器302中的多個(gè)圖像執(zhí)行像素值鑒別處理，和執(zhí)行所述多個(gè)圖像的像素值的獲取處理。
在像素區(qū)域劃分單元304中，在像素值鑒別單元303中獲得的所述第一圖像中的像素值被分成一飽和像素區(qū)域和一未飽和像素。所述飽和像素是其中三個(gè)分量R，G和B中一個(gè)或者多個(gè)分量具有最大值(例如，255)的像素。其它的像素是未飽和像素。
第一到第三圖像的所有像素值數(shù)據(jù)都被取入臨時(shí)補(bǔ)償像素值計(jì)算單元305。通過使用上述等式1-3，計(jì)算所述第一圖像中所述飽和像素位置(Xc，Yc)內(nèi)的臨時(shí)補(bǔ)償像素值(Rcq，Gcq，Bcq)。
在補(bǔ)償像素值計(jì)算單元(格式化處理單元)306中，從像素區(qū)域劃分單元304輸入所述第一圖像的未飽和像素(Xu，Yu)的像素值(Ru，Gu，Bu)。此外，從臨時(shí)補(bǔ)償像素值計(jì)算單元305輸入所述第一圖像的飽和像素(Xc，Yc)的臨時(shí)補(bǔ)償像素值(Rcq，Gcq，Bcq)。根據(jù)上述的(等式4)，分別計(jì)算在未飽和像素位置(Xu，Yu)中的所述補(bǔ)償像素值(Ruf，Guf，Buf)和在飽和像素位置(Xc，Yc)中的所述補(bǔ)償像素值(Rcf，Gcf，Bcf)。
在輸出單元307中，輸出根據(jù)在補(bǔ)償像素值計(jì)算單元(格式化處理單元)306中所計(jì)算的補(bǔ)償像素值的圖像數(shù)據(jù)。
另外，圖9所示的結(jié)構(gòu)也可以被配置為一成像裝置(攝像機(jī))。如果是這種情況，如結(jié)合上述圖3所述的圖像處理裝置結(jié)構(gòu)可以被插入到所述成像裝置(攝像機(jī))中，借此以在由例如DVD、CD、閃存等構(gòu)成的存儲(chǔ)器單元中存儲(chǔ)所述補(bǔ)償圖像數(shù)據(jù)。所述成像單元根據(jù)上述描述執(zhí)行持續(xù)設(shè)置不同曝光條件的處理，獲取多個(gè)圖像(見圖2和圖5)，和使所述成像處理單元(見圖3)包含在所述成像裝置中提供的CPU，以便執(zhí)行上述處理，從而基于在所述存儲(chǔ)器單元中的補(bǔ)償像素值計(jì)算所述補(bǔ)償像素值并存儲(chǔ)所述圖像數(shù)據(jù)。
在根據(jù)當(dāng)前結(jié)構(gòu)的成像裝置中，基于多個(gè)圖像所補(bǔ)償?shù)膱D像數(shù)據(jù)被存儲(chǔ)在所述存儲(chǔ)器單元中，從而可以保留其中所述飽和像素值被補(bǔ)償?shù)那逦鷪D像數(shù)據(jù)作為記錄數(shù)據(jù)。
根據(jù)本發(fā)明的圖像處理裝置或成像裝置，對(duì)于具有其中由于普通照射光而導(dǎo)致過度照射光從而使所述像素值為最大并處于飽和狀態(tài)的像素區(qū)域的圖像數(shù)據(jù)，通過補(bǔ)償所述像素值計(jì)算較佳像素值，借此輸出或記錄所述清晰的圖像數(shù)據(jù)。
另外，在上述的例子中，雖然描述了利用普通頻閃光成像、利用低強(qiáng)度頻閃光成像和利用最小強(qiáng)度頻閃光成像的基于三種類型圖像執(zhí)行像素值補(bǔ)償?shù)慕Y(jié)構(gòu)例，但是它也可以被配置成使用在不同曝光條件下捕獲的四種或更多種圖像執(zhí)行補(bǔ)償處理。在這種情況下，計(jì)算其中每一個(gè)都具有利用上述(等式2)所獲得的強(qiáng)度的多個(gè)頻閃光的比值。通過將(等式3)運(yùn)用于它們當(dāng)中的每一個(gè)，計(jì)算所述臨時(shí)補(bǔ)償像素值。在將所述臨時(shí)補(bǔ)償像素值的平均值設(shè)置為一最終臨時(shí)補(bǔ)償像素值之后，可以借助于(等式4)執(zhí)行所述格式化處理。
此外，在上述的較佳實(shí)施例中，雖然描述了使用通過改變所述頻閃光的強(qiáng)度捕獲的多個(gè)圖像的處理，但是，可以對(duì)通過改變曝光時(shí)間而捕獲的多個(gè)圖像執(zhí)行類似的補(bǔ)償處理，換言之，可以借助于上述(等式2)計(jì)算基于每個(gè)圖像數(shù)據(jù)曝光時(shí)間差的照射光量的比值S，執(zhí)行類似的補(bǔ)償像素值計(jì)算處理等等。
此外，如圖10所示，在取所述第一圖像之前，在不發(fā)射所述頻閃光的情況可以捕獲一第三’圖像(third’image)，捕獲(1)第三’圖像(沒有頻閃光)(2)第一圖像(普通頻閃光)(3)第二圖像(低強(qiáng)度頻閃光)，和(4)第三圖像(沒有頻閃光)，計(jì)算“所述第三圖像和所述第三圖像的平均值”，和所計(jì)算的圖像可以被用作上述中的所述第三圖像。由此，通過執(zhí)行平均處理，可以補(bǔ)償在串行成像期間由個(gè)人A的移動(dòng)所引起的“圖像間的位移”，并可以減少噪聲。
此外，在上述的較佳實(shí)施例中，所述像素值被表示為關(guān)于由三種主要顏色(R，G，B)構(gòu)成的所述圖像數(shù)據(jù)的補(bǔ)償?shù)睦?。借助于類似的處理，也可以?duì)不是彩色圖像的黑白圖像、即只有亮度數(shù)據(jù)的圖像執(zhí)行亮度補(bǔ)償。此外，對(duì)于由除RGB以外的顏色所表示的圖像數(shù)據(jù)，可以通過補(bǔ)償每個(gè)數(shù)據(jù)值來補(bǔ)償飽和的數(shù)據(jù)。
下面將描述用于在其中周圍光和閃光被混合環(huán)境中成像的較佳白平衡調(diào)節(jié)處理裝置。
圖11示出了根據(jù)移實(shí)施例的當(dāng)前例的一成像裝置的結(jié)構(gòu)。如圖11所示，根據(jù)該較佳實(shí)施例的成像裝置裝備有透鏡501、可變光圈502、固態(tài)圖像組件503、關(guān)聯(lián)雙采樣電路504、A/D轉(zhuǎn)換器505、DSP塊506、定時(shí)發(fā)生器507、D/A轉(zhuǎn)換器508、視頻編碼器509、視頻監(jiān)視器510、編碼解碼器(CODEC)511、存儲(chǔ)器512、CPU513、輸入設(shè)備514、閃光控制單元515和閃光發(fā)射裝置516。
這里，輸入設(shè)備514包括諸如是在攝像機(jī)殼體中的記錄按鈕的多個(gè)手動(dòng)操作按鈕。此外，DSP塊506是一個(gè)具有用于信號(hào)處理的處理器和用于圖像的RAM的塊，所述用于信號(hào)處理的處理器能夠?qū)Υ鎯?chǔ)在所述用于圖像的RAM中的圖像數(shù)據(jù)執(zhí)行先前所編程的圖像處理。所述DSP塊在下面將簡(jiǎn)稱之為DSP。
下面將描述較佳實(shí)施例的這些例子的操作。
通過一光學(xué)系統(tǒng)并到達(dá)所述固態(tài)圖像組件503的入射光首先到達(dá)成像表面上的每個(gè)光接收器，然后借助于在所述光接收器處的光電轉(zhuǎn)換被轉(zhuǎn)換為電信號(hào)，借助于關(guān)聯(lián)雙采樣電路504消除噪聲，借助于A/D轉(zhuǎn)換器505轉(zhuǎn)換為數(shù)字信號(hào)，然后暫時(shí)存儲(chǔ)在數(shù)字信號(hào)處理單元(DSP)506中的圖像存儲(chǔ)器中。另外，如果需要，閃光發(fā)射裝置516可以在成像情況下經(jīng)過閃光控制單元515被導(dǎo)致發(fā)光。
在成像期間，定時(shí)發(fā)生器507控制一信號(hào)處理系統(tǒng)，以便以一固定的幀速率保持圖像捕獲。在一像素流也被以一固定速率傳送到其中執(zhí)行了適當(dāng)?shù)膱D像處理的數(shù)字信號(hào)處理單元(DSP)506之后，圖像數(shù)據(jù)被傳送給D/A轉(zhuǎn)換器508和/或編碼解碼器(CODEC)511。D/A轉(zhuǎn)換器508將從數(shù)字信號(hào)處理單元(DSP)506傳送的所述圖像數(shù)據(jù)轉(zhuǎn)換為模擬信號(hào)，該模擬信號(hào)并由視頻編碼器509轉(zhuǎn)換為視頻信號(hào)，借此，可以借助于視頻監(jiān)視器510監(jiān)視所述視頻信號(hào)。視頻監(jiān)視器510在實(shí)施例的當(dāng)前例中起所述攝像機(jī)的取景器的作用。此外，編碼解碼器(CODEC)511對(duì)從數(shù)字信號(hào)處理單元(DSP)506接收的所述圖像數(shù)據(jù)編碼，和編碼后的圖像數(shù)據(jù)被記錄在存儲(chǔ)器512中。這里，存儲(chǔ)器512可以是使用半導(dǎo)體的記錄設(shè)備、磁記錄介質(zhì)、磁光記錄介質(zhì)和光記錄介質(zhì)等。
雖然上面描述了實(shí)施例的較佳例子的數(shù)字?jǐn)z影機(jī)的整個(gè)系統(tǒng)，但是在施例的當(dāng)前例子中，本發(fā)明是在數(shù)字信號(hào)處理單元(DSP)506中的圖像處理中實(shí)現(xiàn)的。下面將詳細(xì)描述所述圖像處理的一部分。
如上所述，實(shí)施例當(dāng)前例的圖像處理單元實(shí)際上是在數(shù)字信號(hào)處理單元(DSP)506中提供的。因此，在實(shí)施例當(dāng)前例的結(jié)構(gòu)中，所述圖像處理單元對(duì)輸入的圖像信號(hào)流的操作是如下實(shí)現(xiàn)的即所述操作單元順序地執(zhí)行在數(shù)字信號(hào)處理單元(DPS)506中的預(yù)定程序碼所描述的操作。在下面的說明中，借助于一流程圖來描述在所述程序中執(zhí)行的每個(gè)處理的過程。但是，除了所述實(shí)施例的當(dāng)前例所描述的所述程序的較佳實(shí)施例以外，本發(fā)明還可以被結(jié)構(gòu)安裝一硬件電路，該硬件電路被用于實(shí)現(xiàn)與下述功能等效的處理。
圖12的流程圖用于解釋對(duì)所述數(shù)字信號(hào)處理單元(DSP)506內(nèi)輸入的圖像信號(hào)流執(zhí)行的所述白平衡(WB)調(diào)節(jié)處理的過程。
在步驟101，使用預(yù)先設(shè)置的光圈和快門速度，在沒有閃光的情況下執(zhí)行成像，在步驟102，在沒有閃光情況下捕獲到的圖像被作為一圖像數(shù)據(jù)I1存儲(chǔ)在一存儲(chǔ)器中。
在步驟103，與步驟101類似，使用預(yù)先設(shè)置的所述光圈和快門速度，借助于閃光執(zhí)行所述成像。在步驟104，利用閃光所捕獲到的該圖像被作為圖像數(shù)據(jù)I2存儲(chǔ)在所述存儲(chǔ)器中。
接著，在步驟105，與步驟101類似，使用預(yù)先設(shè)置的光圈和快門速度，再次在沒有閃光的情況下執(zhí)行成像。在步驟106，在沒有閃光情況下捕獲到的所述圖像被作為圖像數(shù)據(jù)I3存儲(chǔ)在所述存儲(chǔ)器中。
另外，當(dāng)繼續(xù)成像時(shí)，例如以約1/100的第二間隔連續(xù)成像時(shí)，執(zhí)行步驟101、103和105的成像。使用從各成像步驟中獲得的多個(gè)圖像，執(zhí)行所述白平衡調(diào)節(jié)處理并生成其白平衡(WB)被調(diào)節(jié)的圖像數(shù)據(jù)。
此外，在步驟102、104和106中存儲(chǔ)在所述存儲(chǔ)器中的圖像數(shù)據(jù)I1、I2和I3被認(rèn)為是在模糊補(bǔ)償中得到調(diào)節(jié)的圖像。換言之，當(dāng)在攝取三個(gè)圖像I1、I2和I3的時(shí)間處發(fā)生模糊時(shí)，所述模糊首先被補(bǔ)償，然后被存儲(chǔ)在所述存儲(chǔ)器中。
換言之，當(dāng)所捕獲到的圖像是一模糊圖像時(shí)，在步驟101和102之間、步驟103和104之間以及步驟105和106之間補(bǔ)償所述模糊，然后經(jīng)過補(bǔ)償?shù)膱D像被存儲(chǔ)到所述存儲(chǔ)器中。因此，存儲(chǔ)在所述存儲(chǔ)器中的圖像數(shù)據(jù)I1、I2和I3就像一攝像機(jī)被安裝在三腳架上的情況下它們被連續(xù)捕獲一樣。
另外，模糊補(bǔ)償處理可以使用一傳統(tǒng)已知的處理。例如，使用一加速傳感器檢測(cè)位移從而移動(dòng)透鏡的方法、讀出適當(dāng)?shù)牟糠忠员憧梢允褂靡粓D像組件捕獲分辨率高于目標(biāo)分辨率的圖像從而不引起位移的方法、或者僅借助于不使用傳感器的圖像處理校正模糊的方法都是傳統(tǒng)和被廣泛使用的方法。
接著在步驟107，檢測(cè)在步驟101、103和105成像三個(gè)圖像期間是否存在緣自所述成像目標(biāo)本身移動(dòng)的圖像模糊。檢測(cè)是否存在由所述成像目標(biāo)本身的移動(dòng)導(dǎo)致的任一圖像模糊的處理是通過比較三個(gè)圖像中的兩個(gè)圖像執(zhí)行的。例如，使用所述圖像I1和圖像I3能夠檢測(cè)一移動(dòng)部分。作為一個(gè)例子，對(duì)圖像圖像I1和圖像I3的每個(gè)像素取一個(gè)差。當(dāng)所述差大于某個(gè)閾值時(shí)，相應(yīng)的像素可以被注冊(cè)為一移動(dòng)部分。當(dāng)它確定不存在由于成像目標(biāo)本身的移動(dòng)而導(dǎo)致的圖像模糊時(shí)(步驟108No)，處理進(jìn)行到步驟112。而當(dāng)檢測(cè)到一移動(dòng)時(shí)(步驟108Yes)，處理進(jìn)行到步驟109。
在步驟109，確定是否可應(yīng)用對(duì)在步驟107檢測(cè)到的所述移動(dòng)部分執(zhí)行白平衡(WB)調(diào)節(jié)的補(bǔ)償處理。該確定處理使用，例如基于在步驟107中被注冊(cè)為所述移動(dòng)部分的像素?cái)?shù)量與整個(gè)圖像的相書數(shù)量的比值所執(zhí)行的處理。例如，當(dāng)被注冊(cè)為所述移動(dòng)部分的像素?cái)?shù)量與整個(gè)圖像的像素?cái)?shù)量的比值[比值A(chǔ)]大于某個(gè)預(yù)定的固定閾值[閾值]時(shí)，它確定不可能補(bǔ)償所述像素。當(dāng)所述比值小于所述閾值時(shí)，則確定可以對(duì)其進(jìn)行補(bǔ)償。
當(dāng)在步驟109確定不可能對(duì)其進(jìn)行補(bǔ)償時(shí)，處理進(jìn)行到步驟113。當(dāng)確定可以對(duì)其進(jìn)行補(bǔ)償時(shí)，處理進(jìn)行到步驟110。
在步驟113，對(duì)利用閃光捕獲到的圖像數(shù)據(jù)I2執(zhí)行白平衡(WB)調(diào)節(jié)，生成輸出圖像R，所述處理結(jié)束。用于所述白平衡調(diào)節(jié)的參數(shù)值是根據(jù)周圍光分量設(shè)置的參數(shù)、根據(jù)閃光分量設(shè)置的參數(shù)、或者是基于周圍光和閃光的中間分量設(shè)置的參數(shù)。由于設(shè)置了三種參數(shù)，所以能夠執(zhí)行所述白平衡(WB)調(diào)節(jié)。另外，這個(gè)白平衡調(diào)節(jié)方法是一種傳統(tǒng)執(zhí)行的方法，因此，在這里省略對(duì)它們的描述。另外，將被使用的參數(shù)是由一3×3矩陣表示的參數(shù)，并且是用于轉(zhuǎn)換構(gòu)成每個(gè)像素顏色的顏色分量的矩陣。至于所述3×3矩陣，使用了除對(duì)角以外設(shè)置為0的一矩陣。
下面將描述基于步驟110和步驟S112的多個(gè)圖像數(shù)據(jù)的白平衡(WB)調(diào)節(jié)處理。在步驟110和步驟S112的處理是相同的處理。下面將結(jié)合圖13詳細(xì)描述該處理。
在步驟201，取得在利用閃光捕獲圖像數(shù)據(jù)I2的分量和在沒有閃光情況下捕獲的圖像I1的所述像素的每種顏色的分量之間的差，以便生成一差圖像F＝I2-I1，并將其存儲(chǔ)在所述存儲(chǔ)器中。如果所述成像目標(biāo)在其中沒有閃光執(zhí)行成像的步驟101和在其中利用閃光執(zhí)行成像的步驟103中確實(shí)沒有移動(dòng)，那么，所述差圖像F＝I2-I1等效于在某種場(chǎng)合下僅利用閃光照射成像目標(biāo)捕獲到的一圖像，在所述場(chǎng)合下，沒有周圍光，只有從所述成像目標(biāo)反射的閃光，并入射到所述攝像機(jī)的所述固態(tài)成像組件上。接著，在步驟202，相對(duì)于圖像F執(zhí)行依據(jù)所述閃光的色溫的白平衡(WB)調(diào)節(jié)。換言之，在根據(jù)通過依據(jù)所述閃光調(diào)節(jié)所述差圖像數(shù)據(jù)F所建立的參數(shù)的基礎(chǔ)上執(zhí)行所述白平衡(WB)調(diào)節(jié)。此外，當(dāng)所述閃光太亮或太暗時(shí)，執(zhí)行一強(qiáng)度調(diào)節(jié)，以便使所述圖像的亮度可以變得較佳，從而生成一補(bǔ)償圖像F’。
接著，在步驟203，根據(jù)周圍光執(zhí)行關(guān)于在沒有閃光情況下捕獲到的圖像數(shù)據(jù)I1的白平衡(WB)調(diào)節(jié)。換言之，基于通過依據(jù)周圍光調(diào)節(jié)在沒有閃光情況下捕獲到的圖像數(shù)據(jù)I1所建立的參數(shù)執(zhí)行所述白平衡(WB)調(diào)節(jié)，并由此生成一補(bǔ)償圖像I1’。
這是通過一種傳統(tǒng)使用和廣泛公知的白平衡(WB)調(diào)節(jié)執(zhí)行的。在日本專利申請(qǐng)公開No.2001-78202中披露了一種可應(yīng)用的技術(shù)。在日本專利申請(qǐng)公開No.2001-78202中，獲得目標(biāo)顏色分量數(shù)據(jù)和周圍光的頻譜分布作為來自利用閃光捕獲到的圖像I2和沒有利用閃光捕獲到的圖像I1之間的差圖像F的發(fā)光分量數(shù)據(jù)，以及一已知閃光的頻譜特征。使用所述發(fā)光分量數(shù)據(jù)，執(zhí)行圖像I1的所述白平衡(WB)調(diào)節(jié)。
接著，在步驟204，通過將所述差圖像F’加到所述補(bǔ)償圖像I1’上生成白平衡(WB)調(diào)節(jié)圖像R。根據(jù)上述步驟，所述白平衡(WB)調(diào)節(jié)圖像R是這樣一種圖像，即相對(duì)于沒有移動(dòng)的部分，借助于閃光的分量和借助于周圍光的分量獨(dú)自地受到所述白平衡(WB)調(diào)節(jié)。
圖14的曲線用于解釋根據(jù)圖13所示流程執(zhí)行的基于兩個(gè)圖像的白平衡(WB)調(diào)節(jié)處理圖像R的生成原理。換言之，該曲線用于解釋基于沒有閃光捕獲到的圖像I1和利用閃光捕獲到的圖像I2生成所述白平衡(WB)調(diào)節(jié)圖像R的原理。
圖14(a)的曲線示出了利用閃光捕獲到的所述圖像數(shù)據(jù)I2的坐標(biāo)位置(x，y)中作為RGB空間上的矢量V3的一像素。所述矢量V3具有作為(R，G，B)的值的(ir，ig，ib)。所述矢量V3是一個(gè)基于包括周圍光分量和閃光分量的照射光而獲取的像素值。
因此，該矢量V3等效于矢量V1和V2的和，所述矢量V1基于通過只利用周圍光分量成像獲取的相同坐標(biāo)(x，y)中的所述像素值，即在沒有閃光情況下捕獲到的像素?cái)?shù)據(jù)I1，和所述矢量V2包括當(dāng)在只有閃光而沒有周圍光的假定條件下執(zhí)行成像時(shí)捕獲到的圖像的像素值分量。
因此，由矢量V1表示的像素值被從矢量V3中減掉，以便獲取矢量V2的像素值，即當(dāng)在只有閃光而沒有周圍光的假定條件下執(zhí)行成像時(shí)捕獲到的所述圖像的像素值。圖14(b)的矢量V2示出了這個(gè)結(jié)果。根據(jù)基于在由所述矢量V2表示的僅有閃光照射條件的像素值中的閃光分量所設(shè)置的參數(shù)，執(zhí)行所述白平衡調(diào)節(jié)，以便計(jì)算補(bǔ)償像素值并獲得具有所述補(bǔ)償像素值的矢量V2’。由利用矢量V2’表示的像素值所構(gòu)成的圖像對(duì)應(yīng)于作為在圖3所示步驟202中所述白平衡調(diào)節(jié)的結(jié)果的所述補(bǔ)償圖像F’。換言之，圖14(a)和圖14(b)的處理等效于圖13所示流程中的步驟201和202。
圖14(c)示出了一處理，在該處理中，根據(jù)基于周圍光分量所設(shè)置的參數(shù)對(duì)與基于在沒有閃光捕獲到的所述圖像數(shù)據(jù)I1的像素值的矢量V1對(duì)應(yīng)的像素值執(zhí)行所述白平衡(WB)調(diào)節(jié)，借此獲得所述補(bǔ)償像素值并獲得具有該補(bǔ)償像素值的矢量V1’。由矢量V1’表示的像素值構(gòu)成的圖像對(duì)應(yīng)于作為圖13所示步驟203中白平衡調(diào)節(jié)結(jié)果獲得的補(bǔ)償圖像I1’。換言之，圖14(c)的處理等效于圖13所示流程的步驟203。
圖14(d)示出了一處理，在該處理中，由對(duì)應(yīng)于圖14(b)所示補(bǔ)償圖像F’的矢量V2’表示的所述像素值被加到由對(duì)應(yīng)于圖14(c)所示補(bǔ)償圖像I1’的矢量V1’表示的像素值上，借此以生成具有一最終白平衡調(diào)節(jié)像素值的白平衡調(diào)節(jié)圖像數(shù)據(jù)R。換言之，在某個(gè)坐標(biāo)(x，y)處的白平衡調(diào)節(jié)像素值是由對(duì)應(yīng)于圖14(b)所示補(bǔ)償圖像F’的矢量V2’所表示的像素值與由對(duì)應(yīng)于圖14(c)所示補(bǔ)償圖像I1’的矢量V1’表示的像素值的結(jié)果之和。即，圖14(d)的處理等效于圖13所示流程的步驟204。
在這種方式中，實(shí)施例當(dāng)前例的白平衡調(diào)節(jié)處理被安排為包含周圍光分量和閃光分量的圖像被分割成兩個(gè)圖像，即僅利用周圍光分量捕獲的圖像和僅利用閃光分量捕獲的圖像。僅利用周圍光分量捕獲的圖像被根據(jù)基于所述周圍光分量所設(shè)置的參數(shù)進(jìn)行白平衡調(diào)節(jié)處理，和僅利用閃光分量捕獲的圖像被根據(jù)基于閃光分量所設(shè)置的參數(shù)進(jìn)行所述白平衡調(diào)節(jié)處理，從而將這些補(bǔ)償像素值再次相相加，以獲得以最終的所述白平衡調(diào)節(jié)圖像R。在這種方式下，借助于適用于每個(gè)光學(xué)分量的參數(shù)相對(duì)于兩個(gè)獨(dú)立的光學(xué)分量執(zhí)行所述白平衡調(diào)節(jié)，從而可以執(zhí)行以精確的白平衡調(diào)節(jié)。換言之，可以就像在其中周圍光和閃光是相同顏色的場(chǎng)合中被捕獲一樣地生成一經(jīng)過調(diào)節(jié)的圖像。
步驟的描述將繼續(xù)返回到圖12所示的流程。當(dāng)執(zhí)行如上步驟112所述基于多個(gè)圖像的白平衡調(diào)節(jié)時(shí)，所述白平衡調(diào)節(jié)圖像R被設(shè)置為一最終輸出圖像，和處理結(jié)束。
另一方面，如果執(zhí)行如上述步驟110所述基于多個(gè)圖像的白平衡調(diào)節(jié)處理，那么其情況如下確定是否存在由成像目標(biāo)本身的移動(dòng)所導(dǎo)致的圖像模糊和確定將可能對(duì)所述圖像模糊進(jìn)行補(bǔ)償。在步驟111，在步驟110中生成的白平衡調(diào)節(jié)圖像R當(dāng)中，對(duì)由成像目標(biāo)本身移動(dòng)所導(dǎo)致的模糊圖像區(qū)域、即所述移動(dòng)部分區(qū)域執(zhí)行所述像素值補(bǔ)償處理。換言之，對(duì)在步驟107檢測(cè)到的所述移動(dòng)部分執(zhí)行一消除處理，從而校正所述白平衡調(diào)節(jié)圖像R?？紤]到利用閃光捕獲到的圖像數(shù)據(jù)I2的像素值對(duì)應(yīng)于一從中檢測(cè)到作為一輸入的所述移動(dòng)的所述部分，所以，所述校正處理可以確定關(guān)于在所述白平衡調(diào)節(jié)圖像R中沒有移動(dòng)部分的像素值的從中檢測(cè)到所述移動(dòng)的所述部分的像素值，借此例如以合成一最終圖像。
該合成技術(shù)將予以描述。在圖像中出現(xiàn)的目標(biāo)的顏色如下通過所述目標(biāo)反射光，并入射到一圖像組件并被捕獲。例如，當(dāng)在所述白光源下在所述圖像上的某個(gè)目標(biāo)是紅色的時(shí)，所述目標(biāo)將反射其頻率等于紅色的可見光，并準(zhǔn)確地吸收頻率等于其它顏色的光。換言之，一個(gè)目標(biāo)能夠具有對(duì)每個(gè)頻率光的特殊反射系數(shù)?，F(xiàn)在假設(shè)所述目標(biāo)的RGB各顏色分量的光反射系數(shù)由(Or，Og，Ob)表示，某種色溫的光由(lr，lg，lb)表示。當(dāng)所述光出現(xiàn)時(shí)，即當(dāng)利用所述攝像機(jī)捕獲到由目標(biāo)(Or，Og，Ob)反射的光(lr，lg，lb)時(shí)，構(gòu)成被捕獲圖像的所述像素的值(ir，Ig，Ib)可用下述(等式5)表示(ir，Ig，Ib)＝(k*ir*Or，k*Ig*Og，k*Ib*Ob) … (等式5)在上述的等式中，k是一表示所述光的強(qiáng)度的標(biāo)度值。然后，例如具有諸如周圍光和閃光的作為兩種照射光的光源l(l1r，l1g，l1b)光源2(l2r，l2g，l2b)。當(dāng)攝像機(jī)捕獲到由某個(gè)目標(biāo)(Or，Og，Ob)反射的這兩種光的光時(shí)，被所述攝像機(jī)捕獲到的圖像的像素值(ir，Ig，Ib)可由下述等式(等式6)來表示(ir，Ig，Ib)＝((k1*l1r+k2*l2r)*Or，(k1*l1g+k2*l2g)*Og，(k1*l1b+k2*l2b)*Ob)…(等式6)其中，k1是表示光源1的強(qiáng)度的標(biāo)度值，和k2是表示光源2的強(qiáng)度的標(biāo)度值。
現(xiàn)在假設(shè)，Or’＝k1*Or，Og’＝k1*Og，和Ob’＝k1*Ob，則上述等式(等式6)可以被轉(zhuǎn)換為下述等式(等式7)(ir，Ig，Ib)＝((l1r+k’*l2r)*Or’，(l1g+k’*l2g)*Og’，(l1b+k’*l2b)*Ob’)
(等式7)其中，k’＝k2/k1，和k’是兩個(gè)光源的光強(qiáng)度標(biāo)度比值。即，k’是在由感興趣的像素捕獲的所述目標(biāo)的一部分中由光源1和光源2發(fā)射的光的強(qiáng)度的標(biāo)度比值。
現(xiàn)在，讓我們考慮某個(gè)像素值(ir，ig，ib)，該像素值位于通過所述目標(biāo)反射周圍光和閃光這兩種光所捕獲的圖像I2上。在上述等式(等式7)中的光源1是周圍光，和光源2是所述閃光。周圍光的顏色(l1r，l1g，l1b)可以利用傳統(tǒng)的用于自動(dòng)白平衡調(diào)節(jié)的方法進(jìn)行測(cè)量。此外，由于所述閃光的顏色(l2r，l2g，l2b)為閃光設(shè)備所特有，所以，它們是已知的并能夠被事先設(shè)置。當(dāng)k’也是已知的時(shí)，像素(ir，ig，ib)可以被分解成周圍光分量(l1r*Or’，l1g*Og’，l1b*Ob’)和閃光分量(k’*l2r*Or’，k’*l2g*Og’，k’*l2b*Ob’)。所述周圍光分量和閃光分量被分離并單獨(dú)承受一WB處理。通過將需要重新結(jié)構(gòu)的圖像相加，可以消除由周圍光和閃光之間的色溫差引起的圖像的不自然性。
在結(jié)合圖12所述的流程中，相對(duì)于在步驟S107檢測(cè)到的移動(dòng)部分，根據(jù)上述處理在步驟S111執(zhí)行所述像素值補(bǔ)償。此后，將描述該處理的一特定例子。
如上所述，在步驟107中，檢測(cè)由所述目標(biāo)本身的移動(dòng)而導(dǎo)致的圖像模糊是否是在步驟101、103和105中的三個(gè)圖像成像期間。通過比較所述三個(gè)圖像中的兩個(gè)圖像執(zhí)行是否存在任何由所述目標(biāo)本身引起的圖像模糊的檢測(cè)處理。
例如如圖15所示，當(dāng)在執(zhí)行串行成像(a)沒有閃光的圖像I1、(b)利用閃光的圖像I2和(c)沒有閃光的圖像I3的同時(shí)球600滾動(dòng)時(shí)，捕獲在(a)的圖像I1和(c)的圖像I3之間的差圖像(d)I3-I1，并檢測(cè)區(qū)域610，該區(qū)域產(chǎn)生了由所述目標(biāo)本身的移動(dòng)引起的圖像模糊。
結(jié)合圖16和17說明所述移動(dòng)部分的像素值補(bǔ)償處理的特定處理過程。圖16的流程圖示出了所述移動(dòng)部分的像素值補(bǔ)償處理的一特定處理過程，圖17示出了包括用于補(bǔ)償?shù)乃鲆苿?dòng)部分的像素區(qū)域，該區(qū)域在圖15中是區(qū)域610的一部分。
如圖17所示，在確定將要移動(dòng)的圖像區(qū)域內(nèi)，確定將不移動(dòng)的所述圖像區(qū)域的相鄰像素(包括在周圍8個(gè)像素中的位置中的像素)被定義為所述移動(dòng)部分的內(nèi)部周邊像素650。另外，在確定將要移動(dòng)的一圖像區(qū)域內(nèi)，除所述內(nèi)部周邊像素650以外的像素是移動(dòng)非周邊像素652。
此外，在確定將不移動(dòng)的所述圖像區(qū)域內(nèi)，確定將要移動(dòng)的所述圖像區(qū)域的相鄰像素(包括在周圍8個(gè)像素中的位置中的像素)被定義為所述移動(dòng)部分的外部周邊像素651。另外，在步驟103確定將不移動(dòng)的部分中，除所述移動(dòng)部分的所述外部周邊像素651以外的像素是靜止部分653的非周邊像素。
相對(duì)于所述移動(dòng)部分的像素，光源1(周圍光)的強(qiáng)度(標(biāo)度值)k1與光源2(閃光)的強(qiáng)度(標(biāo)度值)k2的比值，即光強(qiáng)標(biāo)度比k’＝k2/k1是未知的?，F(xiàn)在假設(shè)一正確經(jīng)受目標(biāo)白平衡(WB)調(diào)節(jié)和所述移動(dòng)部分已經(jīng)被補(bǔ)償?shù)南袼鼐哂幸环N所述移動(dòng)部分和所述靜止部分的像素值平滑改變的像素結(jié)構(gòu)。在該假設(shè)情況下，相對(duì)于所述移動(dòng)部分的外部周邊像素651計(jì)算光強(qiáng)標(biāo)度比k’的值。相對(duì)于所述移動(dòng)部分的外部周邊像素651，由于在上述等式(等式7)中的周圍光分量(l1r*Or’，l1g*Og’，和l1b*Ob’)等于沒有閃光捕獲的圖像數(shù)據(jù)I1中的對(duì)應(yīng)像素的值，所以，可以在利用閃光捕獲的圖像數(shù)據(jù)I2的像素值(ir，ig，ib)和等式(等式7)的基礎(chǔ)上計(jì)算所述光強(qiáng)標(biāo)度比k’＝k2/k1的值。相對(duì)于移動(dòng)部分651，外部周邊像素651的光源1(周圍光)的強(qiáng)度(標(biāo)度值)k1與光源2(閃光)的強(qiáng)度(標(biāo)度值)k2的比值k’＝k2/k1的計(jì)算處理是在圖16所示步驟301執(zhí)行的。
根據(jù)步驟301的處理，可以計(jì)算相對(duì)于移動(dòng)部分的外部周邊像素651的光強(qiáng)標(biāo)度比k’。但是，與包括在所述移動(dòng)部分中的像素對(duì)應(yīng)的光強(qiáng)標(biāo)度比k’的值是未知的。根據(jù)對(duì)應(yīng)于所述移動(dòng)部分的外部周邊像素651所計(jì)算的k’的值對(duì)對(duì)應(yīng)于包括在所述移動(dòng)部分中的像素的光強(qiáng)標(biāo)度比k’的值進(jìn)行內(nèi)插。作為內(nèi)插方法的一個(gè)例子所給出的處理是使用徑向基礎(chǔ)函數(shù)(RBFRadialBasis Function)。有關(guān)使用所述RBF進(jìn)行數(shù)據(jù)內(nèi)插的文獻(xiàn)例如是J.C.Carr的“利用Radial Basis Function(徑向基礎(chǔ)函數(shù))的三維對(duì)像的重構(gòu)和表示”，ACMSIGGRAPH2001，Los Angeles，CA，pp67-76，和12-17 August2001。
所述Radial Basis Function(徑向基礎(chǔ)函數(shù))是指其中一個(gè)色調(diào)值隨著到一中心點(diǎn)的距離的增加(或減少)而減少(或增加)，輪廓線變成一超球面(兩維中的圓或橢圓)。為了通過構(gòu)建一個(gè)被用于使一條線穿過其高度未知的采樣點(diǎn)并變得盡可能平滑的函數(shù)解決估計(jì)一未知點(diǎn)高度值的問題，已經(jīng)知道可以僅添加位于已知采樣點(diǎn)中心的RBF。具體地說，當(dāng)所述采樣點(diǎn)位于兩維空間時(shí)，使所述采樣點(diǎn)是{C→i=(Cix,Ciy)}(1≤i≤n)]]>(其中，Cix，Ciy分別表示在一采樣點(diǎn)處的一X坐標(biāo)值和一Y坐標(biāo)值)和使各點(diǎn)處的高度為{hi}(1≤i≤n)，然后，使用所述RBF以下述等式(等式8)表示預(yù)期函數(shù) f(x→)=p(x→)++ΣJ=1ndjφ(x→-c→j)]]>… (等式8)其中，p(x→)=p0+p1x+p2y.]]>另外，作為一基礎(chǔ)函數(shù) 的例子，還有φ(x→)=|x→|]]>或φ(x→)=|x→|2log|x→|]]>等。但是，不能只利用上述等式(等式8)來規(guī)定{di}(1≤i≤n)，{pi}(0≤i≤2)。然后計(jì)算滿足下述等式(等式9)的{di}(1≤i≤n)，{pi}(0≤i≤2)Σj=1ndj=Σj=1ndjcjx=Σj=1ndjcjy=0]]>… (等式9)因此，可以根據(jù)f(c→i)=p(c→i)+Σj=1ndiφ(c→i-c→j)]]>和等式(等式9)計(jì)算(未知數(shù)n+3，等數(shù)n+3){di}(1≤i≤n)，{pi}(0≤i≤2)。
如果 是通過假設(shè)在是一個(gè)采樣的所述移動(dòng)部分中的所述外部周邊像素651中的光強(qiáng)標(biāo)度比k’構(gòu)成的，那么，可以計(jì)算在任一位置中的光強(qiáng)標(biāo)度此k’。這個(gè)處理是基于圖16步驟302所示的所述采樣點(diǎn)的光強(qiáng)標(biāo)度比k’(在所述移動(dòng)部分的外部周邊像素651中的k’)的RBF結(jié)構(gòu)處理。
借助于所述RBF結(jié)構(gòu)處理，可以假定被確定將要移動(dòng)部分的光源1(周圍光)的強(qiáng)度(標(biāo)度值)k1與對(duì)應(yīng)于利用閃光捕獲的圖像數(shù)據(jù)I2上每個(gè)像素的光源2(閃光)的強(qiáng)度(標(biāo)度值)k2的比值，即對(duì)應(yīng)于包括在所述移動(dòng)部分中的每個(gè)像素的光強(qiáng)標(biāo)度比K’∶k’＝k2/k1。通過使用與每個(gè)像素對(duì)應(yīng)的假定光強(qiáng)標(biāo)度比k’，所述圖像I2的移動(dòng)區(qū)域部分被分解為周圍光分量和閃光分量，和根據(jù)每種光的色溫分別執(zhí)行所述白平衡(WB)調(diào)節(jié)處理。
換言之，由于能夠計(jì)算所述移動(dòng)部分的每個(gè)像素位置中的光強(qiáng)標(biāo)度比k’，所以，所述k’、在利用閃光捕獲的圖像數(shù)據(jù)I2的每個(gè)像素位置中的像素值(ir，ig，ib)和光源1(周圍光)的已知光分量(l1r，l1g，l1b)以及光源2(閃光)的光分量(l2r，l2g，l2b)都被代入到上述等式(等式7)中，從而獲得僅僅基于所述光源(周圍光)的所述目標(biāo)的反射系數(shù)(Or’，Og’，Ob’)。
此外，計(jì)算當(dāng)只利用周圍光分量照射時(shí)的所述目標(biāo)的像素值(l1r*Or’，l1g*Og’，l1b*Ob’)和只利用閃光分量照射時(shí)所述目標(biāo)的像素值(k’*l2r*Or’，k’*l2g*Og’，k’*l2b*Ob’)，并通過根據(jù)在前結(jié)合圖13和14描述的各光分量所設(shè)置的獨(dú)立參數(shù)對(duì)其中的每一個(gè)執(zhí)行二次白平衡調(diào)節(jié)。借助于所述調(diào)節(jié)數(shù)據(jù)的重組處理，計(jì)算所述最終白平衡調(diào)節(jié)像素值。
概括地說，所述移動(dòng)部分的像素值的補(bǔ)償過程執(zhí)行下述a-f的處理。
a.首先，作為與移動(dòng)部分相鄰的靜止部分的像素對(duì)應(yīng)的數(shù)據(jù)，計(jì)算在所捕獲到的目標(biāo)的部分像素中的兩種光之間的光強(qiáng)標(biāo)度比，這兩種光是僅從上述第一光源發(fā)射的光和從沒有上述第一光源的周圍光發(fā)射的光。
b.使用徑向基礎(chǔ)函數(shù)(RBFRadial Basis Function)，計(jì)算對(duì)應(yīng)于所述移動(dòng)部分的每個(gè)像素的所述光強(qiáng)標(biāo)度比。
c.在對(duì)應(yīng)于所述移動(dòng)部分的每個(gè)像素的所述光強(qiáng)標(biāo)度比的基礎(chǔ)上，計(jì)算與僅利用所述第一光源的照射環(huán)境下捕獲到的圖像等效的圖像中所述移動(dòng)部分的每個(gè)像素的像素值，作為所述第一像素值。
d.在對(duì)應(yīng)于所述移動(dòng)部分的每個(gè)像素的所述光強(qiáng)標(biāo)度比的基礎(chǔ)上，計(jì)算與在不包括所述第一光源的周圍光照射環(huán)境下捕獲到的圖像等效的圖像中所述移動(dòng)部分的每個(gè)像素的像素值，作為所述第二像素值。
e.在所述第一像素值的基礎(chǔ)上執(zhí)行所述像素值調(diào)節(jié)處理(白平衡調(diào)節(jié))，和在所述第二像素值的基礎(chǔ)上執(zhí)行所述像素值調(diào)節(jié)處理(白平衡調(diào)節(jié))。
f.將兩個(gè)生成的被調(diào)節(jié)的像素值相加。
由此，相對(duì)于包括在所述移動(dòng)部分中的所述像素的白平衡(WB)調(diào)節(jié)像素值重寫在圖12步驟110中生成的圖像數(shù)據(jù)R，借此以獲得所述第一補(bǔ)償圖像數(shù)據(jù)R’。換言之，只有相對(duì)于由所述目標(biāo)的移動(dòng)引起的所述移動(dòng)區(qū)域的像素值被重置以用于在步驟111中所捕獲到的圖像，并重寫在步驟110所生成的白平衡調(diào)節(jié)圖像R，以便獲得所述第一補(bǔ)償圖像數(shù)據(jù)R’。
另外，如在圖13所示處理流程中所述，當(dāng)執(zhí)行所述閃光的級(jí)別(level)補(bǔ)償(S202)時(shí)，在執(zhí)行等效級(jí)別補(bǔ)償之后以及當(dāng)計(jì)算所述移動(dòng)部分的像素值時(shí)，基于周圍光分量和閃光分量的白平衡調(diào)節(jié)像素值被相加。
由此，所述移動(dòng)部分的像素值被重置，和與所述圖像R的移動(dòng)部分區(qū)域?qū)?yīng)的像素被改寫。這個(gè)處理是圖16步驟303中的處理。
但是，在以在上述移動(dòng)區(qū)域中重置的像素值重寫已經(jīng)在步驟110中生成的所述白平衡調(diào)節(jié)圖像R的方式獲得的所述第一補(bǔ)償圖像R’中，在所述移動(dòng)部分的所述重置像素和原始圖像R的靜止部分的像素之間的邊界不可能是平滑的。一個(gè)原因是不可能精確地測(cè)量周圍光的顏色。另一個(gè)原因是在利用閃光等捕獲的圖像I2中可能發(fā)生增白現(xiàn)像。因此，為了照顧這種情況，還要執(zhí)行平滑設(shè)置所述邊界部分的顏色轉(zhuǎn)換處理。
具體地說，執(zhí)行圖16中步驟304-306所示的處理。首先，在步驟304，在所述第一補(bǔ)償圖像R’的移動(dòng)部分的所述內(nèi)部周邊像素650的像素值的某個(gè)像素a654(見圖17)的像素值和與所述像素a654相鄰的像素(在包括在8個(gè)周圍像素中的位置中的像素)的所述移動(dòng)部分的外部周邊像素(圖17中的像素655)的所述第一補(bǔ)償圖像R’的值的平均值之間計(jì)算每種顏色分量的比值(αr，αg，αb)。該比值被用作對(duì)應(yīng)于所述像素a654的顏色補(bǔ)償比數(shù)據(jù)。類似的，計(jì)算與在所述移動(dòng)部分中所述內(nèi)部周邊像素650的所有位置中的每個(gè)像素對(duì)應(yīng)的每個(gè)顏色分量的比值(αr，αg，αb)，作為與所述像素對(duì)應(yīng)的顏色補(bǔ)償比數(shù)據(jù)，并用作與每個(gè)像素對(duì)應(yīng)的顏色補(bǔ)償比值數(shù)據(jù)。接著，在步驟305，使用作為采樣點(diǎn)的所述移動(dòng)部分中所有內(nèi)部周邊像素650建立基于所述顏色補(bǔ)償比值數(shù)據(jù)的RBF。
最后，在步驟306，相對(duì)于所述移動(dòng)部分的每個(gè)像素，根據(jù)基于所建立的顏色補(bǔ)償比值數(shù)據(jù)的RBF，計(jì)算與所述移動(dòng)部分的每個(gè)像素對(duì)應(yīng)的顏色補(bǔ)償比值數(shù)據(jù)(αr，αg，αb)，和將在所述第一補(bǔ)償圖像R’中設(shè)置的每個(gè)像素的像素值乘以對(duì)應(yīng)像素的顏色補(bǔ)償比值數(shù)據(jù)(αr，αg，αb)，借此以獲得一個(gè)新的像素值，并在將所述像素值認(rèn)定為是所述移動(dòng)部分的像素的情況下執(zhí)行一第二顏色轉(zhuǎn)換。通過執(zhí)行所述第二顏色轉(zhuǎn)換除了所獲得的第二補(bǔ)償圖像R”是所述輸出圖像。這個(gè)處理是在圖16所示步驟306中執(zhí)行的處理。
另外，在通過圖16所示步驟303執(zhí)行的處理獲得的所述第一補(bǔ)償圖像R’中，當(dāng)在所述移動(dòng)部分的圖像和靜止部分的圖像之間的邊界具有平滑連接時(shí)，可以省略步驟304到步驟306的處理。
在上面的描述中，描述了相對(duì)于在其它點(diǎn)處內(nèi)插在所述采樣點(diǎn)處的值的方法以及使用所述RBF的方法，但是，其它的方法也可以被用于內(nèi)插。上述處理是圖12中的步驟111的處理的具體例子。因此，當(dāng)從串行捕獲的多個(gè)圖像中檢測(cè)到基于目標(biāo)本身移動(dòng)的圖像模糊時(shí)，執(zhí)行根據(jù)圖16所示流程的處理，由上述處理生成的所述第二補(bǔ)償圖像R”或所述第一補(bǔ)償圖像R’是最后輸出的圖像。
另外，當(dāng)事先已知所述目標(biāo)本身沒有移動(dòng)時(shí)，不再需要圖12中的步驟107到111的處理。此外，由于步驟108的判定總是“NO”，所以，不需要執(zhí)行步驟108的判定處理，因此，不再需要?jiǎng)?chuàng)建和存儲(chǔ)用于在步驟108進(jìn)行判定的數(shù)據(jù)的步驟105和106。
因此，當(dāng)事先已知所述目標(biāo)本身沒有移動(dòng)時(shí)，在步驟105中沒有閃光捕獲到的圖像I3不再是需要的圖像。在這種情況下，只有沒有閃光捕獲到的圖像I1和利用閃光捕獲到的圖像I2這兩種圖像。
此外，使用將閃光稱之為當(dāng)所述目標(biāo)是暗的時(shí)發(fā)射光的發(fā)光裝置的術(shù)語(yǔ)進(jìn)行了描述。除此之外，所述閃光還經(jīng)常被稱之為頻閃光，它并不局限于所述閃光，由此，本發(fā)明被應(yīng)用于當(dāng)所述目標(biāo)是暗的時(shí)通常發(fā)光的發(fā)光裝置。
如上所述，在較佳實(shí)施例的例子中，關(guān)于利用多種不同光、閃光、周圍光等照射捕獲到的圖像，獲取并生成在單一照射光環(huán)境下捕獲到的圖像；相對(duì)于在各單一照射光環(huán)境下的圖像，執(zhí)行根據(jù)基于各照射光的顏色分量(色溫)所設(shè)置的參數(shù)的白平衡調(diào)節(jié)處理；通過合成這些圖像，可以實(shí)現(xiàn)其中閃光和周圍光的色溫差被減小的精確白平衡調(diào)節(jié)處理。
圖18的框圖示出了執(zhí)行根據(jù)所述較佳實(shí)施例的例子的處理的數(shù)字信號(hào)處理單元(DSP)(與圖11的DSP506等效)的功能結(jié)構(gòu)。
下面將描述圖18所示的所述數(shù)字信號(hào)處理單元(DSP)中的處理并與圖12所示的流程對(duì)比。
分別在圖12的步驟101-106中捕獲的沒有閃光的圖像I1、利用閃光的圖像I2和沒有閃光的圖像I3分別被存儲(chǔ)在幀存儲(chǔ)器701、702和703中。另外，內(nèi)置于所述數(shù)字信號(hào)處理單元(DSP)中的一存儲(chǔ)器或連接到總線上的一存儲(chǔ)器(圖11的存儲(chǔ)器512)可被用做存儲(chǔ)圖像的幀存儲(chǔ)器。
在移動(dòng)檢測(cè)單元709中執(zhí)行步驟S107的移動(dòng)檢測(cè)。如前結(jié)合圖15所述，該處理是借助于沒有閃光的圖像I1和沒有閃光的圖像I3的差數(shù)據(jù)執(zhí)行的檢測(cè)處理。
在步驟112基于多個(gè)圖像數(shù)據(jù)的白平衡調(diào)節(jié)處理是如先前結(jié)合圖13和圖14所描述處理。
首先，在沒有閃光的圖像I1和利用閃光的圖像I2的基礎(chǔ)上，在一差圖像計(jì)算單元704中計(jì)算所述差圖像數(shù)據(jù)F＝I2-I1(見圖13，S201)。接著，在一白平衡調(diào)節(jié)單元707中根據(jù)基于所述閃光的分量所設(shè)置的參數(shù)對(duì)所述差圖像數(shù)據(jù)F＝I2-I1、即與僅利用閃光照射捕獲到的圖像等效的圖像F執(zhí)行所述白平衡調(diào)節(jié)處理(圖13，S202)。此外，在白平衡調(diào)節(jié)單元705中對(duì)沒有閃光的圖像I1執(zhí)行根據(jù)基于在周圍光分量假定單元706中估計(jì)的周圍光分量的估計(jì)值所設(shè)置的參數(shù)的白平衡調(diào)節(jié)處理(圖13，S203)。
此外，在像素值加法單元708中將由這兩種白平衡調(diào)節(jié)處理所捕獲的兩個(gè)圖像的像素值相加(圖13，S204)。
當(dāng)移動(dòng)部分沒有包括在所捕獲到的圖像中時(shí)，在移動(dòng)部分補(bǔ)償像素值計(jì)算單元710中不執(zhí)行處理，但具有在所述像素值加法單元708中相加的像素值的圖像數(shù)據(jù)被經(jīng)過一輸出開關(guān)單元712輸出，作為一白平衡調(diào)節(jié)圖像。目的地是一用于進(jìn)行數(shù)字-模擬轉(zhuǎn)換的D/A轉(zhuǎn)換器508(見圖11)、用于編碼處理的編解碼器511等。
另一方面，所述目標(biāo)本身的移動(dòng)區(qū)域是作為在移動(dòng)檢測(cè)單元709中借助于基于沒有閃光的圖像I1和沒有閃光的圖像I3的差數(shù)據(jù)的移動(dòng)檢測(cè)的結(jié)果檢測(cè)的。此外，在移動(dòng)部分補(bǔ)償像素值計(jì)算單元710中，執(zhí)行如在前結(jié)合圖16和圖17所述的所述移動(dòng)部分像素值的補(bǔ)償(轉(zhuǎn)換)，經(jīng)過輸出開關(guān)單元712輸出具有其中所述移動(dòng)部分已經(jīng)被替換為所述補(bǔ)償像素值的像素值的圖像。
白平衡調(diào)節(jié)單元711執(zhí)行圖12處理流程中步驟113的處理。換言之，當(dāng)在移動(dòng)檢測(cè)單元709中檢測(cè)到所述移動(dòng)區(qū)域時(shí)，但是如果由于在整個(gè)圖像中移動(dòng)區(qū)域的比例太大而確定補(bǔ)償是不可能的，那么，輸入利用閃光的圖像I2，和執(zhí)行根據(jù)預(yù)定參數(shù)的白平衡調(diào)節(jié)，從而經(jīng)過所述輸出開關(guān)單元712輸出它。
另外，圖18所示的結(jié)構(gòu)示出了每個(gè)獨(dú)立的處理單元，以便解釋所述功能，但是，實(shí)際的處理可以利用所述DSP中的一處理器根據(jù)一用于執(zhí)行與上述每個(gè)處理流程相符的程序來執(zhí)行。
(白平衡調(diào)節(jié)處理的實(shí)施例的第二個(gè)例子)在上述白平衡調(diào)節(jié)處理中，如結(jié)合圖13和圖14所述，可以計(jì)算關(guān)于周圍光分量和閃光分量中每種光分量的單一照射光圖像數(shù)據(jù)。相對(duì)于所述圖像，描述了所述結(jié)構(gòu)例，在這種結(jié)構(gòu)中，根據(jù)基于周圍光分量和閃光分量所設(shè)置的參數(shù)執(zhí)行所述白平衡調(diào)節(jié)處理。
下面將說明關(guān)于對(duì)應(yīng)于僅具有閃光照射光條件的差圖像數(shù)據(jù)F＝I2-I1的結(jié)構(gòu)例子，其中，所述白平衡調(diào)節(jié)處理是根據(jù)基于周圍光分量所設(shè)置的參數(shù)執(zhí)行的。
圖19示出了基于等效于圖13所示流程的實(shí)施例的當(dāng)前例的多個(gè)圖像數(shù)據(jù)的白平衡調(diào)節(jié)處理流程。
在步驟401，獲得在利用閃光捕獲到的圖像數(shù)據(jù)I2的像素和沒有閃光捕獲的圖像I1的像素之間的每個(gè)顏色分量的差，以生成將被存儲(chǔ)在所述存儲(chǔ)器中的差圖像F＝I2-I1。所述差圖像F＝I2-I1與以其中在沒有周圍光場(chǎng)合下僅利用閃光照射所述成像目標(biāo)、僅有從所述成像目標(biāo)反射的閃光入射到攝像機(jī)固態(tài)成像組件上的方式捕獲到的圖像等效。接著，在步驟402，相對(duì)于所述圖像F，執(zhí)行根據(jù)周圍光的色溫的白平衡(WB)調(diào)節(jié)以生成補(bǔ)償圖像F’。即，根據(jù)基于所述差圖像數(shù)據(jù)F與所述周圍光的色溫相匹配所設(shè)置的參數(shù)執(zhí)行所述白平衡(WB)調(diào)節(jié)，從而生成所述補(bǔ)償圖像F’。
在這種情況下，由于允許在所述差圖像F和沒有閃光捕獲到的圖像I1的各個(gè)像素之間進(jìn)行直接補(bǔ)償，所以，執(zhí)行所述白平衡調(diào)節(jié)處理，以便使所述閃光可以與所述周圍光的顏色相匹配。作為該WB處理的一特定的例子，使用在沒有閃光情況下捕獲到的像素(ri，gi，bi)，位于與所述差圖像F的像素(rf，gf，bf)相同位置處的像素、所述差圖像F的所述像素的分量R、B與在沒有閃光情況下捕獲到的圖像I1的像素的G信號(hào)的級(jí)別相匹配，然后，使用下述(等式10)和(等式11)執(zhí)行所述像素值的轉(zhuǎn)換。
rf′＝rf*(gi/gf)… (等式10)bf′＝bf*(gi/gf)… (等式11)然后，通過比較rf′和ri以及bf′和bi得到下述值。
ar＝ri/rf′＝(ri*gf)/(rf*gi)… (等式12)aB＝bi/bf′＝(bi*gf)/(bf*gi)… (等式13)通過對(duì)所有的像素使用上述(等式12)和(等式13)獲得的ar和ab來計(jì)算所述WB參數(shù)。通過將所獲得的參數(shù)乘以所述圖像F的每個(gè)像素的R分量和B分量執(zhí)行所述白平衡調(diào)節(jié)。根據(jù)該處理，圖像F被轉(zhuǎn)換成如同在利用與周圍光具有相同顏色的閃光照射時(shí)所捕獲到的圖像，從而被用做所述圖像F’。
進(jìn)一步，在步驟403，所述差圖像F’與在沒有閃光時(shí)捕獲到的圖像I1被合成到一起，從而生成第一白平衡調(diào)節(jié)圖像R1。所述第一白平衡調(diào)節(jié)圖像R1變成其周圍光和閃光的色溫彼此相互匹配的圖像。
最后，在步驟404，執(zhí)行相對(duì)于所述第一白平衡調(diào)節(jié)圖像R1的白平衡調(diào)節(jié)處理，并進(jìn)一步生成一第二白平衡調(diào)節(jié)圖像R2。
在步驟404，由用戶設(shè)置的值可被用于所述WB的參數(shù)。通過使用已知的自動(dòng)白平衡技術(shù)，可以被改變，以便使所述第二白平衡調(diào)節(jié)處理圖像R2可以具有一自然的色調(diào)。
通過使用根據(jù)較佳實(shí)施例的該例子的處理，獲得了強(qiáng)調(diào)了周圍光分量的所述白平衡調(diào)節(jié)。具體地說，當(dāng)由于晚間光而使周圍光微紅時(shí)，即當(dāng)具有較高的R分量時(shí)，根據(jù)周圍光的調(diào)節(jié)，獲得諸如將整個(gè)圖像調(diào)節(jié)到微紅色調(diào)的結(jié)果。
圖20的框圖示出了執(zhí)行根據(jù)較佳實(shí)施例的該例子的所述數(shù)字信號(hào)處理單元(DSP)(等效于圖11所示的DSP506)的基本結(jié)構(gòu)。
下面將結(jié)合圖20描述在數(shù)字信號(hào)處理單元(DSP)中執(zhí)行的處理并與圖19所示的流程對(duì)比。
在圖12的步驟101-106中捕獲的沒有閃光的圖像I1、利用閃光的圖像I2和沒有閃光的圖像I3被分別存儲(chǔ)在幀存儲(chǔ)器801、802和803中。
在沒有閃光的圖像I1和利用閃光的圖像I2的基礎(chǔ)上，在差圖像計(jì)算單元804中計(jì)算所述差圖像數(shù)據(jù)F＝I2-I1(圖19，S401)。接著，在白平衡調(diào)節(jié)單元805中對(duì)所述差圖像數(shù)據(jù)F＝I2-I1，即與僅具有閃光照射條件下捕獲到的圖像等效的所述圖像F執(zhí)行根據(jù)基于周圍光分量所設(shè)置的參數(shù)的白平衡調(diào)節(jié)處理(圖19，S402)。進(jìn)一步，在像素值加法單元806中，通過該白平衡調(diào)節(jié)處理所捕獲到的補(bǔ)償圖像F’的像素值和沒有閃光的圖像I1的像素值被相相加，并生成第一白平衡調(diào)節(jié)圖像R1(圖19，S403)。然后，在所述白平衡調(diào)節(jié)單元807中，執(zhí)行相對(duì)于所述第一白平衡調(diào)節(jié)圖像R1的白平衡調(diào)節(jié)，并生成第二白平衡調(diào)節(jié)圖像R2。
當(dāng)所述移動(dòng)部分沒有包括在所捕獲的圖像中時(shí)，在移動(dòng)部分補(bǔ)償像素值計(jì)算單元809中不執(zhí)行所述處理，經(jīng)過輸出開關(guān)單元811輸出作為所述白平衡調(diào)節(jié)圖像的第二白平衡調(diào)節(jié)圖像R2。目的地是執(zhí)行數(shù)字-模擬的轉(zhuǎn)換的D/A轉(zhuǎn)換器508(見圖11)、執(zhí)行編碼處理的編碼器511。
另一方面，作為借助于基于沒有閃光的圖像I1和沒有閃光的圖像I3的差數(shù)據(jù)移動(dòng)檢測(cè)的結(jié)果，在運(yùn)動(dòng)檢測(cè)單元808中檢測(cè)目標(biāo)本身的移動(dòng)區(qū)域。此外，在移動(dòng)部分補(bǔ)償像素值計(jì)算單元809中，執(zhí)行如前面結(jié)合圖16和圖17所述的移動(dòng)部分的像素值的補(bǔ)償(轉(zhuǎn)換)，并經(jīng)過輸出開關(guān)單元811輸出具有其中所述移動(dòng)部分已經(jīng)被所述補(bǔ)償像素值替換的像素值數(shù)據(jù)的圖像。
白平衡調(diào)節(jié)單元810在圖12所示的處理流程的步驟113執(zhí)行所述處理。換言之，當(dāng)在移動(dòng)檢測(cè)單元808中檢測(cè)到所述移動(dòng)區(qū)域時(shí)，但是如果它確定由于整個(gè)圖像中的移動(dòng)區(qū)域的比例太大而導(dǎo)致不可能進(jìn)行補(bǔ)償，那么，輸入利用閃光的圖像I2，并執(zhí)行根據(jù)一預(yù)定參數(shù)的白平衡調(diào)節(jié)，從而經(jīng)過所述輸出開關(guān)單元811輸出它。
另外，圖20所示的結(jié)構(gòu)單獨(dú)地示出了每個(gè)處理單元，以便解釋所述功能，但是，實(shí)際處理可以是通過在所述DSP中的一處理器根據(jù)用于執(zhí)行與上述每個(gè)處理流程相符的處理的程序執(zhí)行的。
根據(jù)較佳實(shí)施例的該例子，能夠獲得強(qiáng)調(diào)了周圍光分量的白平衡調(diào)節(jié)。
已經(jīng)就特定的實(shí)施例詳細(xì)地描述了本發(fā)明，但是，對(duì)于本領(lǐng)域普通技術(shù)人員來講很明顯，在不脫離本發(fā)明的范圍的前提下可以對(duì)所述較佳實(shí)施例的例子做出修改或替換。換言之，僅僅是借助于舉例披露了本發(fā)明，因此該說明的內(nèi)容并不是作為限制，所附權(quán)利要求被解釋為確定本發(fā)明的特性。
另外，可以借助于硬件、軟件或軟硬件的結(jié)合來執(zhí)行上述的一系列處理。當(dāng)借助于軟件執(zhí)行處理時(shí)，具有所記錄的處理順序的程序可以被插入到置于一專用硬件設(shè)備內(nèi)部的一計(jì)算機(jī)內(nèi)的一存儲(chǔ)器中，另外，可以使用能夠執(zhí)行各種處理插入其中和執(zhí)行所述程序的一通用計(jì)算機(jī)。
例如，所述程序可以事先被記錄到作為記錄介質(zhì)的一硬盤或一ROM(只讀存儲(chǔ)器)中。另外，所述程序還可以被永久或暫時(shí)地存儲(chǔ)到諸如軟盤、CD-ROM(高密度盤只讀存儲(chǔ)器)、MO(磁光)盤、DVD(數(shù)字通用盤)、磁帶、半導(dǎo)體存儲(chǔ)器等的可拆卸記錄介質(zhì)中。
另外，所述程序可以經(jīng)過上述可拆卸記錄介質(zhì)安裝到一計(jì)算機(jī)中、從下載一側(cè)無(wú)線發(fā)送給所述計(jì)算機(jī)、或者經(jīng)導(dǎo)線或諸如LAN(局域網(wǎng))、Internet等的網(wǎng)絡(luò)發(fā)送給所述計(jì)算機(jī)。所述計(jì)算機(jī)可以接收待被安裝到諸如內(nèi)置硬盤的記錄介質(zhì)中的如此發(fā)送的程序。
另外，上述說明書中所描述的各種處理不僅可以按照上述的時(shí)間順序執(zhí)行，還可以根據(jù)需要或根據(jù)執(zhí)行所述處理的設(shè)備的吞吐能力來執(zhí)行。此外，在該說明書中，系統(tǒng)是指多個(gè)設(shè)備的邏輯組結(jié)構(gòu)，因此，不必在同一個(gè)殼體中提供每個(gè)設(shè)備。
工業(yè)實(shí)用性如上所述，根據(jù)本分明的結(jié)構(gòu)，可以精確地調(diào)節(jié)在諸如周圍光和閃光的不同光分量相互混合的環(huán)境下所捕獲到的圖像的白平衡，并獲取自然色調(diào)的圖像數(shù)據(jù)。
此外，根據(jù)本發(fā)明的結(jié)構(gòu)，由于它是被如下構(gòu)建的，即就將被在諸如周圍光和閃光等多個(gè)不同種類照射光下捕獲的圖像而言，在單種光照環(huán)境中捕獲或生成所述圖像，并根據(jù)基于每種照射光的顏色分量(色溫)所設(shè)置的參數(shù)執(zhí)行關(guān)于在每個(gè)單種照射光環(huán)境下圖像的白平衡調(diào)節(jié)，以便合成它們，所以可以實(shí)現(xiàn)一其中閃光和周圍光之間的色溫差被減小的精確白平衡調(diào)節(jié)處理。
此外，根據(jù)本發(fā)明的結(jié)構(gòu)，由于它是被如下構(gòu)建的，即就所述目標(biāo)本身的移動(dòng)部分而言，基于相鄰的無(wú)移動(dòng)部分的像素值調(diào)節(jié)和設(shè)置所述像素值，所以，可以生成像素間可以平滑變化的自然圖像數(shù)據(jù)。
此外，根據(jù)本發(fā)明的結(jié)構(gòu)，可以對(duì)所述圖像數(shù)據(jù)提供一種適當(dāng)?shù)南袼刂笛a(bǔ)償，在所述圖像數(shù)據(jù)中，由于靠近諸如攝像機(jī)的成像裝置的所述目標(biāo)被諸如頻閃儀的照射光的過度照射而導(dǎo)致所述目標(biāo)圖像的像素值被飽和。
此外，根據(jù)本發(fā)明的結(jié)構(gòu)，在不同曝光條件下基于多個(gè)圖像數(shù)據(jù)獲得所述飽和像素的臨時(shí)補(bǔ)償像素值，和對(duì)該臨時(shí)補(bǔ)償像素值執(zhí)行格式化處理，以便將其再次校正為可輸出的像素值，然后輸出或記錄，借此，能夠在精確補(bǔ)償像素值計(jì)算和所述補(bǔ)償像素值的基礎(chǔ)上輸出和存儲(chǔ)一清晰的圖像數(shù)據(jù)。
此外，根據(jù)本發(fā)明的結(jié)構(gòu)，輸入包括將被補(bǔ)償和具有其中所述圖像數(shù)據(jù)中的至少部分像素值被設(shè)置為最大像素值的第一圖像數(shù)據(jù)和一個(gè)或多個(gè)在不同于所述第一圖像數(shù)據(jù)的曝光條件下捕獲的子圖像數(shù)據(jù)的多個(gè)圖像數(shù)據(jù)；在所述多個(gè)輸入圖像數(shù)據(jù)的相應(yīng)像素值差的基礎(chǔ)上，獲取曝光條件差數(shù)據(jù)，該數(shù)據(jù)指出在獲取每個(gè)圖像數(shù)據(jù)時(shí)所述曝光條件的差；在所述曝光條件差的基礎(chǔ)上，計(jì)算在上述第一圖像數(shù)據(jù)中所述飽和像素的臨時(shí)補(bǔ)償像素值；和執(zhí)行所述格式化處理，以便將所述臨時(shí)補(bǔ)償像素值校正為一可輸出范圍內(nèi)的像素值，由此，在所述精確補(bǔ)償像素值計(jì)算和所述補(bǔ)償像素值的基礎(chǔ)上，輸出和存儲(chǔ)所述清晰的圖像數(shù)據(jù)。
權(quán)利要求
1.一種捕獲的圖像數(shù)據(jù)處理方法，其特征在于一相減步驟，從構(gòu)成借助于一第一光源發(fā)光導(dǎo)致的成像處理獲取的第二圖像數(shù)據(jù)的每個(gè)像素的像素值減去借助于一使所述第一光源不發(fā)光導(dǎo)致的成像處理獲取的第一像素?cái)?shù)據(jù)的相應(yīng)像素的像素值，和獲得與僅有所述第一光源照射環(huán)境下所捕獲的一圖像對(duì)應(yīng)的差圖像數(shù)據(jù)；一差圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟，相對(duì)于所述差圖像數(shù)據(jù)執(zhí)行一像素值調(diào)節(jié)處理；和一最終像素值調(diào)節(jié)圖像生成步驟，應(yīng)用在所述差圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟中生成的經(jīng)調(diào)節(jié)的像素值的圖像數(shù)據(jù)，并生成一最終像素值調(diào)節(jié)圖像。
2.根據(jù)權(quán)利要求1所述的捕獲的圖像數(shù)據(jù)處理方法，其特征在于還包括一第一圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟，相對(duì)于所述第一圖像數(shù)據(jù)執(zhí)行像素值調(diào)節(jié)處理；其中所述最終像素值調(diào)節(jié)圖像生成步驟是一對(duì)通過所述差圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟和所述第一圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟獲取的經(jīng)調(diào)節(jié)像素值的兩個(gè)圖像數(shù)據(jù)的相應(yīng)像素執(zhí)行像素值加法處理并生成最終像素值調(diào)節(jié)圖像數(shù)據(jù)的步驟。
3.根據(jù)權(quán)利要求2所述的捕獲的圖像數(shù)據(jù)處理方法，其特征在于所述像素值調(diào)節(jié)處理是一白平衡調(diào)節(jié)處理；所述差圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟是根據(jù)基于所述第一光源的光分量所設(shè)置參數(shù)的白平衡調(diào)節(jié)處理，和所述第一圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟是根據(jù)基于不包含所述第一光源的周圍光分量所設(shè)置參數(shù)的白平衡調(diào)節(jié)處理。
4.根據(jù)權(quán)利要求3所述的捕獲的圖像數(shù)據(jù)處理方法，其特征在于所述參數(shù)是由一3×3矩陣表示的，所述矩陣用于構(gòu)成每個(gè)像素顏色的顏色分量的轉(zhuǎn)換。
5.根據(jù)權(quán)利要求4所述的捕獲的圖像數(shù)據(jù)處理方法，其特征在于所述3×3矩陣是一除了對(duì)角分量以外被設(shè)置為0的矩陣。
6.根據(jù)權(quán)利要求1所述的捕獲的圖像數(shù)據(jù)處理方法，其特征在于還包括一將在所述差圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟中生成的經(jīng)調(diào)節(jié)像素值的圖像數(shù)據(jù)的每個(gè)像素的像素值加到所述第一圖像數(shù)據(jù)的相應(yīng)像素的像素值上的像素值加法步驟；其中，所述最終像素值調(diào)節(jié)圖像生成步驟是一對(duì)在所述像素值加法步驟中生成的所述圖像數(shù)據(jù)執(zhí)行所述像素值調(diào)節(jié)并生成所述最終像素值調(diào)節(jié)圖像數(shù)據(jù)的步驟。
7.根據(jù)權(quán)利要求6所述的捕獲的圖像數(shù)據(jù)處理方法，其特征在于所述像素值調(diào)節(jié)處理是一白平衡調(diào)節(jié)處理；所述差圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟是一根據(jù)基于不包含所述第一光源的周圍光分量所設(shè)置的參數(shù)的白平衡調(diào)節(jié)處理。
8.根據(jù)權(quán)利要求1所述的捕獲的圖像數(shù)據(jù)處理方法，其特征在于還包括一移動(dòng)檢測(cè)步驟，根據(jù)多個(gè)圖像數(shù)據(jù)的所述差數(shù)據(jù)檢測(cè)其中一目標(biāo)移動(dòng)的移動(dòng)部分；和一移動(dòng)部分像素值調(diào)節(jié)步驟，相對(duì)于所述移動(dòng)部分執(zhí)行像素值調(diào)節(jié)處理。
9.根據(jù)權(quán)利要求8所述的捕獲的圖像數(shù)據(jù)處理方法，其特征在于所述移動(dòng)部分像素值調(diào)節(jié)步驟具有一當(dāng)所述第一光源發(fā)射光和不發(fā)射光時(shí)計(jì)算兩個(gè)光源的光強(qiáng)度標(biāo)量比，以作為與一移動(dòng)部分相鄰的無(wú)移動(dòng)部分的像素對(duì)應(yīng)的數(shù)據(jù)的步驟；一使用一徑向基礎(chǔ)函數(shù)(RBF)計(jì)算與所述移動(dòng)部分的每個(gè)像素對(duì)應(yīng)的光強(qiáng)度標(biāo)量比的步驟；一第一像素值計(jì)算步驟，在與所述移動(dòng)部分的每個(gè)像素對(duì)應(yīng)的所述光強(qiáng)度標(biāo)量比的基礎(chǔ)上計(jì)算與在僅有所述第一光源照射環(huán)境中捕獲的圖像等效的圖像中作為所述第一像素值的所述移動(dòng)部分的每個(gè)像素的像素值；一第二像素值計(jì)算步驟，在與所述移動(dòng)部分的每個(gè)像素對(duì)應(yīng)的所述光強(qiáng)度標(biāo)量比的基礎(chǔ)上計(jì)算與在其中不包括所述第一光源的周圍光照射環(huán)境中捕獲的圖像等效的圖像中作為所述第二像素值的所述移動(dòng)部分的每個(gè)像素的像素值；一第一像素值調(diào)節(jié)處理步驟，基于在所述第一像素值計(jì)算步驟計(jì)算的所述第一像素值執(zhí)行所述像素值調(diào)節(jié)處理；一第二像素值調(diào)節(jié)處理步驟，基于在所述第二像素值計(jì)算步驟計(jì)算的所述第二像素值執(zhí)行所述像素值調(diào)節(jié)處理；和一像素值加法步驟，將在所述第一像素值調(diào)節(jié)處理步驟和所述第二像素值調(diào)節(jié)處理步驟中生成的兩個(gè)調(diào)節(jié)像素值相加。
10.根據(jù)權(quán)利要求9所述的捕獲的圖像數(shù)據(jù)處理方法，其特征在于所述像素值調(diào)節(jié)處理是一白平衡調(diào)節(jié)處理；所述第一像素值調(diào)節(jié)處理步驟是根據(jù)基于所述第一光源的光分量所設(shè)置的參數(shù)的白平衡調(diào)節(jié)處理；和所述第二像素值調(diào)節(jié)處理步驟是根據(jù)基于不包含所述第一光源的周圍光分量所設(shè)置的參數(shù)的白平衡調(diào)節(jié)處理。
11.根據(jù)權(quán)利要求8所述的捕獲的圖像數(shù)據(jù)處理方法，其特征在于所述移動(dòng)部分像素值調(diào)節(jié)步驟還具有一計(jì)算所述移動(dòng)部分的內(nèi)部周邊像素的像素值和與所述移動(dòng)部分的內(nèi)部周邊像素相鄰的所述移動(dòng)部分的外部周邊像素的平均像素值的顏色分量比(αr、αg、αb)的步驟；一通過將所述移動(dòng)部分的所有內(nèi)部周邊像素看作是多個(gè)采樣點(diǎn)并基于與每個(gè)像素對(duì)應(yīng)的所述顏色分量比構(gòu)成所述徑向基礎(chǔ)函數(shù)(RBF)的步驟；和一在所述徑向基礎(chǔ)函數(shù)(RBF)的基礎(chǔ)上計(jì)算與所述移動(dòng)部分的每個(gè)像素對(duì)應(yīng)的顏色分量比，并倍增將被補(bǔ)償圖像的顏色分量比和獲得一補(bǔ)償像素值的步驟。
12.根據(jù)權(quán)利要求1所述的捕獲的圖像數(shù)據(jù)處理方法，其特征在于還包括一移動(dòng)檢測(cè)步驟，用于根據(jù)多個(gè)圖像數(shù)據(jù)的所述差數(shù)據(jù)檢測(cè)其中一目標(biāo)移動(dòng)的移動(dòng)部分；和一當(dāng)所述移動(dòng)部分的整個(gè)圖像的比例高于一預(yù)定閾值時(shí)，在借助于使所述第一光源發(fā)光的一成像處理獲取的所述第二圖像數(shù)據(jù)的基礎(chǔ)上執(zhí)行所述像素值調(diào)節(jié)處理的步驟；其中基于所述第二圖像數(shù)據(jù)的所述像素值調(diào)節(jié)數(shù)據(jù)被設(shè)置為一最終像素值調(diào)節(jié)數(shù)據(jù)。
13.根據(jù)權(quán)利要求12所述的捕獲的圖像數(shù)據(jù)處理方法，其特征在于基于所述第二圖像數(shù)據(jù)的所述像素值調(diào)節(jié)處理是根據(jù)基于所述第一光源的光分量所設(shè)置的參數(shù)的白平衡調(diào)節(jié)處理、根據(jù)基于不包含所述第一光源周圍光分量所設(shè)置的參數(shù)的白平衡調(diào)節(jié)處理或根據(jù)基于在所述第一光源和不包含所述第一光源的光分量的周圍光分量之間的一中間光分量所設(shè)置的參數(shù)的白平衡調(diào)節(jié)處理。
14.一種捕獲的圖像數(shù)據(jù)處理裝置，其特征在于包括一存儲(chǔ)器，用于存儲(chǔ)借助于使所述第一光源不發(fā)光導(dǎo)致的一成像處理獲取的一第一圖像數(shù)據(jù)，和借助于使所述第一光源發(fā)光導(dǎo)致的一成像處理獲取的一第二圖像數(shù)據(jù)；和一數(shù)據(jù)處理單元，用于在所述存儲(chǔ)器中存儲(chǔ)的所述圖像數(shù)據(jù)的基礎(chǔ)上執(zhí)行一像素值調(diào)節(jié)處理；所述數(shù)據(jù)處理單元包括一差圖像數(shù)據(jù)獲取單元，用于從構(gòu)成所述第二圖像數(shù)據(jù)的每個(gè)像素的一像素值中減去所述第一圖像數(shù)據(jù)的相應(yīng)像素的像素值，從而獲取與僅有所述第一光源的照射環(huán)境中捕獲的圖像相對(duì)應(yīng)的差圖像數(shù)據(jù)；一差圖像數(shù)據(jù)像素值調(diào)節(jié)單元，用于執(zhí)行相對(duì)于所述差圖像數(shù)據(jù)的所述像素值調(diào)節(jié)處理；和一最終像素值調(diào)節(jié)單元，用于通過使用在所述差圖像數(shù)據(jù)像素值調(diào)節(jié)單元中生成的經(jīng)調(diào)節(jié)的像素值的圖像數(shù)據(jù)執(zhí)行一最終像素值調(diào)節(jié)。
15.根據(jù)權(quán)利要求14所述的捕獲的圖像數(shù)據(jù)處理裝置，其特征在于所述數(shù)據(jù)處理單元還包括一第一圖像數(shù)據(jù)像素值調(diào)節(jié)單元，用于對(duì)所述第一圖像數(shù)據(jù)執(zhí)行像素值調(diào)節(jié)處理；其中所述第一像素值調(diào)節(jié)單元被配置成對(duì)在所述差圖像數(shù)據(jù)像素值調(diào)節(jié)單元和所述第一圖像數(shù)據(jù)像素值調(diào)節(jié)單元中生成的經(jīng)調(diào)節(jié)的像素值的兩個(gè)圖像數(shù)據(jù)的相應(yīng)像素執(zhí)行像素值加法處理，并生成所述最終像素值調(diào)節(jié)圖像數(shù)據(jù)。
16.根據(jù)權(quán)利要求15所述的捕獲的圖像數(shù)據(jù)處理裝置，其特征在于所述像素值調(diào)節(jié)處理是一白平衡調(diào)節(jié)處理；所述差圖像數(shù)據(jù)像素值調(diào)節(jié)單元被配置成根據(jù)基于所述第一光源的光分量所設(shè)置的參數(shù)執(zhí)行所述白平衡調(diào)節(jié)處理；和所述第一圖像數(shù)據(jù)像素值調(diào)節(jié)單元被配置成根據(jù)基于不包括所述第一光源的周圍光分量所設(shè)置的參數(shù)執(zhí)行所述白平衡調(diào)節(jié)處理。
17.根據(jù)權(quán)利要求14所述的捕獲的圖像數(shù)據(jù)處理裝置，其特征在于所述數(shù)據(jù)處理單元還包括一像素值加法單元，用于將在所述差圖像數(shù)據(jù)像素值調(diào)節(jié)單元中生成的經(jīng)調(diào)節(jié)的像素值的像素?cái)?shù)據(jù)的每個(gè)像素的像素值加到所述第一像素?cái)?shù)據(jù)的相應(yīng)像素的像素值上，和所述最終像素值調(diào)節(jié)圖像生成單元相對(duì)于在所述像素值加法單元中生成的圖像數(shù)據(jù)執(zhí)行像素值調(diào)節(jié)，并生成所述最終像素值調(diào)節(jié)圖像數(shù)據(jù)。
18.根據(jù)權(quán)利要求17所述的捕獲的圖像數(shù)據(jù)處理裝置，其特征在于所述像素值調(diào)節(jié)處理是一白平衡調(diào)節(jié)處理；所述差圖像數(shù)據(jù)像素值調(diào)節(jié)單元根據(jù)基于不包括所述第一光源的周圍光分量所設(shè)置的參數(shù)執(zhí)行所述白平衡調(diào)節(jié)處理。
19.根據(jù)權(quán)利要求14所述的捕獲的圖像數(shù)據(jù)處理裝置，其特征在于所述數(shù)據(jù)處理單元包括一移動(dòng)檢測(cè)單元，用于在多個(gè)圖像數(shù)據(jù)之間的差數(shù)據(jù)的基礎(chǔ)上檢測(cè)一目標(biāo)的移動(dòng)部分；和一移動(dòng)部分像素值調(diào)節(jié)單元，用于相對(duì)于所述移動(dòng)部分執(zhí)行像素值調(diào)節(jié)處理。
20.根據(jù)權(quán)利要求19所述的捕獲的圖像數(shù)據(jù)處理裝置，其中，所述移動(dòng)部分像素值調(diào)節(jié)單元的特征在于當(dāng)所述第一光源被導(dǎo)致發(fā)光或不發(fā)光時(shí)，計(jì)算兩個(gè)光源的光強(qiáng)度標(biāo)量比，作為與一移動(dòng)部分相鄰的一靜止部分的像素對(duì)應(yīng)的數(shù)據(jù)；通過應(yīng)用一徑向基礎(chǔ)函數(shù)(RBF)計(jì)算與所述移動(dòng)部分的每個(gè)像素對(duì)應(yīng)的光強(qiáng)度標(biāo)量比；在對(duì)應(yīng)于所述移動(dòng)部分的每個(gè)像素的光強(qiáng)度標(biāo)量比的基礎(chǔ)上，計(jì)算作為與在僅有所述第一光源的照射環(huán)境中捕獲的圖像等效的一圖像中的所述移動(dòng)部分的每個(gè)像素的第一像素值的一像素值；在對(duì)應(yīng)于所述移動(dòng)部分的每個(gè)像素的光強(qiáng)度標(biāo)量比的基礎(chǔ)上，計(jì)算作為與其中不包括所述第一光源的周圍光照射環(huán)境中捕獲的圖像等效的一圖像中的所述移動(dòng)部分的每個(gè)像素的第二像素值的一像素值；在所述第一像素值的基礎(chǔ)上執(zhí)行像素值調(diào)節(jié)處理；在所述第二像素值的基礎(chǔ)上執(zhí)行像素值調(diào)節(jié)處理；和將所生成的兩個(gè)調(diào)節(jié)像素值相加以執(zhí)行一移動(dòng)部分像素值調(diào)節(jié)處理。
21.根據(jù)權(quán)利要求20所述的捕獲的圖形數(shù)據(jù)處理裝置，其特征在于所述像素值調(diào)節(jié)處理是一白平衡調(diào)節(jié)處理；根據(jù)基于所述第一光源的光分量所設(shè)置的參數(shù)執(zhí)行所述第一像素值調(diào)節(jié)處理作為所述白平衡調(diào)節(jié)處理；和根據(jù)基于不包括所述第一光源的周圍光分量所設(shè)置的參數(shù)執(zhí)行所述第二像素值調(diào)節(jié)處理作為一白平衡調(diào)節(jié)處理。
22.根據(jù)權(quán)利要求19所述的捕獲的圖形數(shù)據(jù)處理裝置，其中，所述移動(dòng)部分像素值調(diào)節(jié)單元的特征在于計(jì)算所述移動(dòng)部分的一內(nèi)部周邊像素的像素值與所述移動(dòng)部分的該內(nèi)部周邊像素相鄰的所述移動(dòng)部分的一外部周邊像素的像素值的平均值的顏色分量比(αr，αg，αb)；通過將所述移動(dòng)部分中的所有內(nèi)部周邊像素看作是采樣點(diǎn)在對(duì)應(yīng)于每個(gè)像素的所述顏色分量比的基礎(chǔ)上構(gòu)成一徑向基礎(chǔ)函數(shù)(RBF)；在所述徑向基礎(chǔ)函數(shù)(RBF)的基礎(chǔ)上，計(jì)算與所述移動(dòng)部分的每個(gè)像素對(duì)應(yīng)的所述顏色分量比；和倍增將被補(bǔ)償圖像的所述顏色分量比，和獲得一補(bǔ)償像素值。
23.根據(jù)權(quán)利要求19所述的捕獲的圖像數(shù)據(jù)處理裝置，其中，所述數(shù)據(jù)處理單元的特征在于當(dāng)由所述移動(dòng)檢測(cè)單元檢測(cè)到的所述移動(dòng)部分的整個(gè)圖像的比例高于一預(yù)定閾值時(shí)，在借助于使所述第一光源發(fā)光導(dǎo)致的成像處理獲取的所述第二圖像數(shù)據(jù)的基礎(chǔ)上執(zhí)行所述像素值調(diào)節(jié)處理，和基于所述第二像素?cái)?shù)據(jù)的所述像素值調(diào)節(jié)數(shù)據(jù)被設(shè)置為最終像素值調(diào)節(jié)數(shù)據(jù)。
24.根據(jù)權(quán)利要求23所述的捕獲的圖像數(shù)據(jù)處理裝置，其特征在于基于所述第二圖像數(shù)據(jù)的所述像素值調(diào)節(jié)處理執(zhí)行根據(jù)基于所述所述第一光源的光分量所設(shè)置的參數(shù)的白平衡調(diào)節(jié)處理、根據(jù)基于不包括所述第一光源的周圍光分量所設(shè)置的參數(shù)的白平衡調(diào)節(jié)處理或根據(jù)基于在所述第一光源的光分量和不包括所述第一光源的周圍光分量之間的中間光分量設(shè)置的參數(shù)的白平衡調(diào)節(jié)處理。
25.一種捕獲的圖像數(shù)據(jù)處理方法，其特征在于包括一借助于使所述第一光源不發(fā)光導(dǎo)致的一成像處理獲取一第一圖像數(shù)據(jù)的步驟；一借助于使所述第一光源發(fā)光導(dǎo)致的一成像處理獲取一第二圖像數(shù)據(jù)的步驟；一從構(gòu)成所述第二圖像數(shù)據(jù)的每個(gè)像素的像素值中減去所述第一圖像數(shù)據(jù)的相應(yīng)像素的像素值，和獲取與在只有所述第一光源的照射環(huán)境中捕獲的所述圖像對(duì)應(yīng)的一差圖像數(shù)據(jù)的步驟；一差圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟，相對(duì)于所述差圖像數(shù)據(jù)執(zhí)行像素值調(diào)節(jié)處理；和一最終像素值調(diào)節(jié)圖像生成步驟，通過使用在所述差圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟中生成的經(jīng)調(diào)節(jié)的像素值圖像數(shù)據(jù)生成一最終像素值調(diào)節(jié)圖像。
26.一種捕獲的圖像數(shù)據(jù)處理方法，其特征在于一獲取在一第一光源發(fā)光條件相同的場(chǎng)合下在相互不同的時(shí)間處所捕獲多個(gè)圖像數(shù)據(jù)的步驟；一基于在所述多個(gè)圖像數(shù)據(jù)中進(jìn)行的比較獲取移動(dòng)信息的步驟；和一根據(jù)基于所述移動(dòng)信息所設(shè)置的白平衡執(zhí)行相對(duì)于所述多個(gè)圖像、它們的一部分、它們的全部或其它圖像數(shù)據(jù)的處理的步驟。
27.根據(jù)權(quán)利要求26所述的捕獲的圖像數(shù)據(jù)處理方法，其特征在于在根據(jù)基于所述移動(dòng)信息所設(shè)置的白平衡執(zhí)行處理的步驟中，在捕獲所述多個(gè)圖像數(shù)據(jù)的期間內(nèi)或者剛好在捕獲所述多個(gè)圖像數(shù)據(jù)的前后相對(duì)于對(duì)應(yīng)于捕獲的其它圖像數(shù)據(jù)的部分調(diào)節(jié)所述白平衡。
28.根據(jù)權(quán)利要求26所述的捕獲的圖像數(shù)據(jù)處理方法，其特征在于在根據(jù)基于所述移動(dòng)信息所設(shè)置的白平衡執(zhí)行所述處理的步驟中，當(dāng)根據(jù)所述移動(dòng)信息確定一移動(dòng)較大時(shí)，在周圍光、閃光或在周圍光和所述閃光之間的一虛擬光源的基礎(chǔ)上執(zhí)行所述白平衡調(diào)節(jié)處理。
29.根據(jù)權(quán)利要求26所述的捕獲的圖像數(shù)據(jù)處理方法，其特征在于基于所述移動(dòng)信息設(shè)置的白平衡加工處理的步驟還包括自適應(yīng)地轉(zhuǎn)換用于所述圖像每個(gè)部分的白平衡調(diào)節(jié)處理而不是用于整個(gè)圖像的均勻處理，和在所述移動(dòng)信息的基礎(chǔ)上，根據(jù)與一相應(yīng)部分相鄰的一靜止部分的圖像數(shù)據(jù)內(nèi)插所述圖像，從而獲得所述相應(yīng)部分的圖像數(shù)據(jù)的步驟。
30.一種捕獲的圖像數(shù)據(jù)處理裝置，其特征在于包括一成像裝置，用于借助于使一第一光源不發(fā)光導(dǎo)致的成像處理和一使所述第一光源發(fā)光導(dǎo)致的一成像處理獲取多個(gè)圖像數(shù)據(jù)；一存儲(chǔ)器，用于存儲(chǔ)借助于使所述第一光源不發(fā)光導(dǎo)致的所述成像處理獲取的第一圖像數(shù)據(jù)和借助于使所述第一光源發(fā)光導(dǎo)致的所述成像處理獲取一第二圖像數(shù)據(jù)；和一數(shù)據(jù)處理單元，用于基于存儲(chǔ)在所述存儲(chǔ)器中的所述圖像數(shù)據(jù)執(zhí)行一像素值調(diào)節(jié)處理；其中所述數(shù)據(jù)處理單元包括一差圖像數(shù)據(jù)獲取單元，用于從構(gòu)成所述第二圖像數(shù)據(jù)的每個(gè)像素的像素值中減去所述第一圖像數(shù)據(jù)相應(yīng)像素的一像素值，從而獲取與在僅具有所述第一光源的照射環(huán)境中捕獲到的所述圖像對(duì)應(yīng)的一差圖像數(shù)據(jù)；一差圖像數(shù)據(jù)像素值調(diào)節(jié)單元，用于相對(duì)于所述差圖像數(shù)據(jù)執(zhí)行一像素值調(diào)節(jié)處理；和一最終像素值調(diào)節(jié)單元，用于通過使用在所述差圖像數(shù)據(jù)像素值調(diào)節(jié)單元中生成的經(jīng)調(diào)節(jié)的像素值的圖像數(shù)據(jù)執(zhí)行一最終像素值調(diào)節(jié)。
31.一種捕獲的圖像數(shù)據(jù)處理裝置，其特征在于包括；一用于在一第一光源的發(fā)光和成像條件相同的場(chǎng)合獲取在相互不同時(shí)間處捕獲到的多個(gè)圖像的裝置；一用于在所述多個(gè)圖像數(shù)據(jù)之間比較的基礎(chǔ)上獲取移動(dòng)信息的裝置；和一用于根據(jù)基于所述移動(dòng)信息所設(shè)置的白平衡相對(duì)于所述多個(gè)圖像數(shù)據(jù)、它們的一部分、它們的全部或者其它圖像數(shù)據(jù)執(zhí)行一處理的裝置。
32.一種計(jì)算機(jī)可讀程序，用于使一計(jì)算機(jī)執(zhí)行多個(gè)圖像數(shù)據(jù)處理的步驟，所述計(jì)算機(jī)程序的特征在于包括一借助于使一第一光源不發(fā)光導(dǎo)致的一成像處理獲取一第一圖像數(shù)據(jù)的步驟；一借助于使所述第一光源發(fā)光導(dǎo)致的一成像處理獲取一第二圖像數(shù)據(jù)的步驟；一從構(gòu)成所述第二圖像數(shù)據(jù)的每個(gè)像素的像素值中減去所述第一圖像數(shù)據(jù)相應(yīng)像素的一像素值，和獲取與在僅有所述第一光源的照射環(huán)境中捕獲的所述圖像對(duì)應(yīng)的一差圖像數(shù)據(jù)的步驟；一差圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟，相對(duì)于所述差圖像數(shù)據(jù)執(zhí)行一像素值調(diào)節(jié)處理；和一最終像素值調(diào)節(jié)圖像生成步驟，通過使用在所述差圖像數(shù)據(jù)像素值調(diào)節(jié)處理步驟中生成的經(jīng)調(diào)節(jié)的像素值圖像數(shù)據(jù)生成一最終像素值調(diào)節(jié)圖像。
33.一種圖像數(shù)據(jù)處理方法，用于相對(duì)于具有一飽和像素值的圖像數(shù)據(jù)執(zhí)行一像素值補(bǔ)償處理，該方法的特征在于包括一臨時(shí)補(bǔ)償像素值計(jì)算步驟，輸入多個(gè)圖像數(shù)據(jù)，所述多個(gè)圖像數(shù)據(jù)包括將被補(bǔ)償并具有其中所述圖像數(shù)據(jù)的至少部分像素被設(shè)置為最大像素值的飽和像素的第一圖像數(shù)據(jù)和一個(gè)或多個(gè)在不同于所述第一圖像數(shù)據(jù)的曝光條件下捕獲到的子圖像數(shù)據(jù)；在多個(gè)輸入圖像數(shù)據(jù)彼此對(duì)應(yīng)像素值差的基礎(chǔ)上，獲取曝光條件差數(shù)據(jù)，該數(shù)據(jù)指出在獲取每個(gè)圖像數(shù)據(jù)時(shí)的曝光條件差；和基于所述曝光條件差數(shù)據(jù)計(jì)算所述第一圖像數(shù)據(jù)中所述飽和像素的臨時(shí)補(bǔ)償像素值；和一補(bǔ)償像素值計(jì)算步驟，執(zhí)行一標(biāo)準(zhǔn)化處理，以便將所述臨時(shí)補(bǔ)償像素值校正為在一可輸出范圍內(nèi)的像素值。
34.根據(jù)權(quán)利要求33所述的圖像數(shù)據(jù)處理方法，其特征在于所述第一圖像數(shù)據(jù)具有在飽和像素位置(Xc，Yc)中的像素值(Rc1，Gc1，Bc1)和在非飽和像素位置(Xu，Yu)中的像素值(Ru1，Gu1，Bu1)；所述子圖像數(shù)據(jù)包括曝光強(qiáng)度低于所述第一圖像數(shù)據(jù)曝光強(qiáng)度時(shí)捕獲到的一第二圖像數(shù)據(jù)和其曝光強(qiáng)度低于所述第二圖像數(shù)據(jù)的曝光強(qiáng)度時(shí)捕獲到的一第三圖像數(shù)據(jù)；所述臨時(shí)補(bǔ)償像素值計(jì)算步驟根據(jù)下述等式執(zhí)行一計(jì)算處理，并假設(shè)在所述第二圖像數(shù)據(jù)和第三圖像數(shù)據(jù)中與所述第一圖像數(shù)據(jù)的非飽和像素(Xu，Yu)對(duì)應(yīng)的位置中的所述像素值是(Ru2，Gu2，Bu2)和(Ru3，Gu3，Bu3)，P(Xu,Yu)=((Ru1-Ru3)(Ru2-Ru3))2+((Gu1-Gu3)Gu2-Gu3)2+((Bu1-Bu3)(Bu2-Bu3))2]]>...(等式1)S=ΣP(Xu,Yu)n]]>...(等式2)和基于上述(等式1)和(等式2)計(jì)算一曝光條件差數(shù)據(jù)S。
35.根據(jù)權(quán)利要求33所述的圖像數(shù)據(jù)處理方法，其特征在于所述補(bǔ)償像素值計(jì)算步驟根據(jù)下述等式執(zhí)行一計(jì)算處理，假設(shè)在所述第二圖像數(shù)據(jù)和第三圖像數(shù)據(jù)中與所述第一圖像數(shù)據(jù)的飽和像素(Xc，Yc)對(duì)應(yīng)的位置的像素值是(Rc2，Gc2，Bc2)和(Rc3，Gc3，Bc3)Rcq＝(Rc2-Rc3)xS+Rc3Gcq＝(Gc2-Gc3)xS+Gc3Bcq＝(Bc2-Bc3)xS+Bc3... (等式3)和基于上述(等式3)，計(jì)算所述第一圖形數(shù)據(jù)的所述飽和像素的臨時(shí)補(bǔ)償像素值(Rcq，Gcq，Bcq)。
36.根據(jù)權(quán)利要求33所述的圖像數(shù)據(jù)處理方法，其特征在于所述補(bǔ)償像素值計(jì)算步驟根據(jù)下述等式執(zhí)行計(jì)算處理，計(jì)算所述第一圖像的非飽和像素(Xu，Yu)的像素值(Ru，Gu，Bu)的所有數(shù)據(jù)的最大值Dmax，相對(duì)于飽和像素(Xc，Yc)的臨時(shí)補(bǔ)償像素值(Rcq，Gcq，Bcq)，其中，非飽和像素(Xu，Yu)，Ruf＝Ru/DmaxGuf＝Gu/DmaxBuf＝Bu/Dmax其中，飽和像素(Xc，Yc)，Rcf＝Rcq/DmaxGcf＝Gcq/DmaxBcf＝Bcq/Dmax...... (等式4)和基于(等式4)，計(jì)算所述第一圖像數(shù)據(jù)的非飽和像素的補(bǔ)償像素值(Ruf，Guf，Buf)和所述飽和像素的補(bǔ)償像素值(Rcf，Gcf，Bcf)。
37.根據(jù)權(quán)利要求33所述的圖像數(shù)據(jù)處理方法，其特征在于在照射光強(qiáng)度方面，在所述第一圖像數(shù)據(jù)和一個(gè)或多個(gè)子圖像數(shù)據(jù)之間的曝光條件的差是不同的；和所述臨時(shí)補(bǔ)償像素值計(jì)算步驟基于作為所述曝光調(diào)節(jié)差數(shù)據(jù)的多個(gè)圖像數(shù)據(jù)的照射光強(qiáng)的差計(jì)算照射光數(shù)量的比值。
38.根據(jù)權(quán)利要求33所述的圖像數(shù)據(jù)處理方法，其特征在于在曝光時(shí)間方面，在所述第一圖像數(shù)據(jù)和所述一個(gè)或多個(gè)子圖像數(shù)據(jù)之間的曝光條件差是不同的，和所述臨時(shí)補(bǔ)償像素值計(jì)算步驟基于在作為曝光條件差數(shù)據(jù)的多個(gè)圖像數(shù)據(jù)的曝光時(shí)間差計(jì)算照射光強(qiáng)的比值。
39.根據(jù)權(quán)利要求33所述的圖像數(shù)據(jù)處理方法，其特征在于所述臨時(shí)補(bǔ)償像素值計(jì)算步驟和所述補(bǔ)償像素值計(jì)算步驟的特征在于計(jì)算關(guān)于所述第一圖像中彩色圖像的每個(gè)信號(hào)分量的補(bǔ)償數(shù)據(jù)。
40.根據(jù)權(quán)利要求33所述的圖像數(shù)據(jù)處理方法，其特征在于所述臨時(shí)補(bǔ)償像素值計(jì)算步驟和所述補(bǔ)償像素值計(jì)算步驟根據(jù)所述第一圖像的亮度分量計(jì)算所述補(bǔ)償數(shù)據(jù)。
41.一種用于捕獲將被存儲(chǔ)到一存儲(chǔ)單元中的圖像數(shù)據(jù)的方法，其特征在于一成像步驟，基于所設(shè)置的不同曝光條件捕獲圖像；一臨時(shí)補(bǔ)償像素值計(jì)算步驟，輸入多個(gè)圖像數(shù)據(jù)，該多個(gè)圖像數(shù)據(jù)包括將被補(bǔ)償并且具有其中所述圖像數(shù)據(jù)中的至少部分像素被設(shè)置為最大像素值的飽和像素的第一圖像數(shù)據(jù)和其曝光條件不同于所述第一圖像數(shù)據(jù)曝光條件下捕獲的一個(gè)或多個(gè)子圖像數(shù)據(jù)；基于所述多個(gè)輸入圖像數(shù)據(jù)的彼此對(duì)應(yīng)的像素值差獲取一曝光條件差數(shù)據(jù)，該數(shù)據(jù)指出獲取每個(gè)圖像數(shù)據(jù)時(shí)曝光條件的差；和基于所述曝光條件差數(shù)據(jù)計(jì)算所述第一圖像數(shù)據(jù)中飽和像素的臨時(shí)補(bǔ)償像素值；一補(bǔ)償像素值計(jì)算步驟，用于執(zhí)行一標(biāo)準(zhǔn)化處理，以便將所述臨時(shí)補(bǔ)償像素值校正為在一可輸出范圍內(nèi)的像素值；和一存儲(chǔ)步驟，用于存儲(chǔ)由利用所述補(bǔ)償像素值計(jì)算步驟所補(bǔ)償?shù)南袼刂邓鶚?gòu)成的圖像數(shù)據(jù)。
42.根據(jù)權(quán)利要求41所述的成像方法，其特征在于在所述曝光條件之間的差是所述照射光強(qiáng)方面的差或是在曝光時(shí)間方面的差，所述成像步驟在照射光強(qiáng)或曝光時(shí)間的不同設(shè)置條件下捕獲多個(gè)圖像數(shù)據(jù)，和所述臨時(shí)補(bǔ)償像素值計(jì)算步驟基于作為曝光條件差數(shù)據(jù)的所述多個(gè)圖像數(shù)據(jù)的照射光強(qiáng)或曝光時(shí)間的差計(jì)算照射光強(qiáng)的比值。
43.一種捕獲的圖像數(shù)據(jù)處理裝置，用于相對(duì)于具有一飽和像素值的圖像數(shù)據(jù)執(zhí)行像素值補(bǔ)償處理，所述圖像數(shù)據(jù)處理裝置的特征在于包括一臨時(shí)補(bǔ)償像素值計(jì)算裝置，用于輸入多個(gè)圖像數(shù)據(jù)，該多個(gè)圖像數(shù)據(jù)包括將被補(bǔ)償并具有其中至少部分所述圖像數(shù)據(jù)的的像素被設(shè)置為一最大值的飽和像素的第一圖像數(shù)據(jù)和在與不同于所述第一圖像數(shù)據(jù)曝光條件下捕獲的一個(gè)或多個(gè)子圖像數(shù)據(jù)；基于所述多個(gè)輸入圖像數(shù)據(jù)中彼此對(duì)應(yīng)的像素值差獲取一曝光條件差數(shù)據(jù)，該數(shù)據(jù)指出在獲取每個(gè)圖像數(shù)據(jù)時(shí)曝光條件的差，和基于所述曝光條件差數(shù)據(jù)計(jì)算所述第一圖像中所述飽和像素的一臨時(shí)補(bǔ)償像素值；和一補(bǔ)償像素值計(jì)算裝置，用于執(zhí)行一標(biāo)準(zhǔn)化處理，以便將所述臨時(shí)補(bǔ)償像素值校正為在一可輸出范圍內(nèi)的像素值。
44.一種計(jì)算機(jī)程序，用于執(zhí)行包括關(guān)于具有一飽和像素值的圖像數(shù)據(jù)的像素值補(bǔ)償處理的圖像數(shù)據(jù)處理，所述計(jì)算機(jī)程序的特征在于一臨時(shí)補(bǔ)償像素值計(jì)算步驟，用于輸入多個(gè)圖像數(shù)據(jù)，所述多個(gè)圖像數(shù)據(jù)包括將被補(bǔ)償并且具有其中所述圖像數(shù)據(jù)中至少部分像素被設(shè)置為最大值的飽和像素的第一圖像數(shù)據(jù)和在不同于所述第一圖像數(shù)據(jù)的曝光條件下捕獲一個(gè)或多個(gè)子圖像數(shù)據(jù)；基于所述多個(gè)輸入圖像數(shù)據(jù)的相應(yīng)的像素值差獲取一曝光條件差數(shù)據(jù)，該數(shù)據(jù)指出在獲取每個(gè)圖像數(shù)據(jù)時(shí)曝光條件的差，和基于所述曝光條件差數(shù)據(jù)計(jì)算所述第一圖像數(shù)據(jù)中所述飽和像素的一臨時(shí)補(bǔ)償像素值；和一補(bǔ)償像素值計(jì)算步驟，用于執(zhí)行一標(biāo)準(zhǔn)化處理，以便將所述臨時(shí)補(bǔ)償像素值校正為在一可輸出范圍內(nèi)的像素值。
全文摘要
提供了一種用于在諸如周圍光和閃光被相互混合的不同顏色環(huán)境下捕獲的圖像的精確白平衡調(diào)節(jié)處理。相對(duì)于將被在諸如周圍光和閃光的多種不同類型照射光下捕獲到的圖像，在單一光照射環(huán)境中捕獲或生成所述圖像。對(duì)在每種單一光照射環(huán)境中的圖像執(zhí)行根據(jù)基于每種照射光的顏色分量(色溫)所設(shè)置參數(shù)的所述白平衡，并合成它們。此外，相對(duì)于目標(biāo)本身的移動(dòng)部分，本發(fā)明被配置為基于相鄰靜止部分的像素值補(bǔ)償和建立所述像素值，因?yàn)榭梢陨删哂邢袼亻g平滑變化的自然圖像數(shù)據(jù)。
文檔編號(hào)H04N5/235GK1669333SQ0381717
公開日2005年9月14日 申請(qǐng)日期2003年6月19日 優(yōu)先權(quán)日2002年7月18日
發(fā)明者山田類, 大木光晴 申請(qǐng)人:索尼株式會(huì)社