專利名稱：圖像處理裝置、成像裝置、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理裝置、成像裝置、圖像處理方法和程序。本發(fā)明具體地涉及用于生成具有寬動態(tài)范圍的圖像的圖像處理裝置、成像裝置、圖像處理方法和程序。
背景技術(shù)：
用在攝像機、數(shù)碼相機等中的固態(tài)成像元件(諸如CXD圖像傳感器和CM0S(互補金屬氧化物半導(dǎo)體)圖像傳感器)累積與入射光量對應(yīng)的電荷，并且執(zhí)行光電轉(zhuǎn)換以輸出與所累積的電荷對應(yīng)的電信號。然而，對可以累積在光電轉(zhuǎn)換元件中的電荷量存在限制，并且如果接收到超過特定量的光量，則累積電荷量接近飽和水平，并且，如果拍攝對象區(qū)域具有超過特定量的亮度，則在光亮度水平已變得飽和的那些區(qū)域內(nèi)出現(xiàn)了所謂的白化狀況。
為了防止這種現(xiàn)象，對應(yīng)于外部光的改變來控制光電轉(zhuǎn)換元件的電荷累積時段，并且類似地，調(diào)整曝光時段，并執(zhí)行處理以將靈敏度控制為最佳值。例如，對于明亮的拍攝對象，通過以高速切快門，縮短了曝光時段，并且縮短了光電轉(zhuǎn)換元件的光電累積時段，以使得在所累積的電荷達到飽和水平之前輸出電信號。利用這種處理，可輸出灰度對應(yīng)于拍攝對象而被正確地再現(xiàn)的圖像。
然而，為了拍攝具有亮區(qū)域和暗區(qū)域這兩者的拍攝對象，如果高速切快門，則曝光時段對于暗區(qū)域不是足夠長的，這導(dǎo)致S/N劣化以及圖像質(zhì)量損失。對于具有亮區(qū)域和暗區(qū)域這兩者的拍攝對象的拍攝圖像，必需對圖像傳感器上的具有少量入射光的像素以長曝光時段來實現(xiàn)高S/N，并且執(zhí)行處理以避免具有大量入射光的像素的飽和，以便正確地再現(xiàn)亮區(qū)域和暗區(qū)域兩者。
作為用于實現(xiàn)這種處理的方法，已知用于將以不同曝光時間連續(xù)地拍攝的多幅圖像合并的方法。也就是說，這是用于生成一副圖像的方法，其中，單獨地、連續(xù)地拍攝長曝光圖像和短曝光圖像，并且，利用合并處理，在該合并處理中，長曝光圖像被用于暗圖像區(qū)域，而短曝光圖像被用于在長曝光圖像中將會具有白化的亮圖像區(qū)域。以此方式，通過對多幅不同曝光圖像進行合并，可獲得沒有白化且具有寬動態(tài)范圍的圖像。
例如，PTLl (日本未審查專利申請公開2008-99158)公開了一種用于通過對具有不同曝光量的多幅圖像進行合并來獲得具有寬動態(tài)范圍的圖像的配置。將參照圖1描述該處理。關(guān)于拍攝運動圖像，成像裝置例如在視頻速率(30fps至60fps)內(nèi)輸出具有兩種不同曝光時間的圖像數(shù)據(jù)。此外，關(guān)于拍攝靜止圖像，生成并輸出具有兩種不同曝光時間的圖像數(shù)據(jù)。圖1是描述由成像裝置生成的具有兩種不同曝光時間的圖像(長曝光圖像和短曝光圖像)的特性的圖。橫軸是時間(t)，并且縱軸是光接收光電二極管(PD)的累積電荷量(e)，該光接收光電二極管(PD)構(gòu)成與固態(tài)成像元件的一個像素對應(yīng)的光電轉(zhuǎn)換元件。
例如，當光接收光電二極管(PD)的入射光量大時，也就是說，當處理亮拍攝對象時，如由圖1所示的高光亮度區(qū)域11表示的那樣，電荷累積量隨著經(jīng)過的時間而快速地增力口。反之，當光接收光電二極管(PD)的入射光量小時，也就是說，當處理暗拍攝對象時，如圖1所示的低光亮度區(qū)域12表示的那樣，電荷累積量隨著經(jīng)過的時間而緩慢地上升。
時刻t0至t3等同于用于獲得長曝光圖像的曝光時間TL。對于隨著該長曝光時間TL來表示低光亮度區(qū)域12的線，電荷累積量在時刻t3未達到飽和水平(非飽和點Py)，并且通過使用基于該電荷累積量(Sa)而獲得的電信號來確定像素的灰度水平，可獲得正確的灰度表達。然而，明顯的是，對于表示高光亮度區(qū)域11的線的電荷累積量在時刻t3之前已達到飽和水平(飽和點Px)。因此，從這種高光亮度區(qū)域11中，從長曝光圖像僅可獲得與處于飽和水平的電信號對應(yīng)的像素值，結(jié)果，像素將會白化。因此，在這種高光亮度區(qū)域11處，對于在直到時刻t3前的時間，例如圖中所示的時刻tl (放電起始點P1)，首先，來自光接收光電二極管(PD)的電荷將放電。所放電的電荷不是累積在光接收光電二極管(PD)中的全部電荷，而僅僅是對于光電二極管(PD)而言可控制的中間電壓保持水平。在該電荷放電處理之后，再次執(zhí)行短曝光，其曝光時間為TS(t2至t3)。也就是說，將在如圖所示的從短曝光起始點P2到短曝光結(jié)束點P3的時段期間執(zhí)行短曝光。通過該短曝光可獲得電荷累積量(Sb)，并且根據(jù)基于該電荷累積量(Sb)而獲得的電信號來確定像素灰度水平。另外，當基于根據(jù)通過對低光亮度區(qū)域12的長曝光而獲得的電荷累積量(Sa)的電信號和根據(jù)通過對高光亮度區(qū)域251的短曝光而獲得的電荷累積量(Sb)的電信號來確定像素值時，計算在執(zhí)行同等時間曝光時的估計電荷累積量或者與該估計電荷累積量相對應(yīng)的電信號輸出值，并且基于計算結(jié)果來確定像素值水平。這樣，通過將短曝光圖像和長曝光圖像進行合并，可獲得具有寬動態(tài)范圍的、沒有白化的圖像。另外，PTL2 (日本未審查專利申請公開2000-50151)公開了與PTLl中所述的配置類似的配置，其中，拍攝具有不同曝光量的多幅圖像，并且在合并處理期間，對具有不同曝光量的多幅圖像進行比較，并識別包含移動的像素區(qū)域，并且執(zhí)行校正以控制伴隨該合并的假色的生成。然而，在前述PTLl和PTL2中所描述的配置必須執(zhí)行在某一點處分別拍攝并合并長曝光圖像和短曝光圖像的處理。為了執(zhí)行該處理，必須存在足夠的幀存儲器來存儲至少一幅圖像的數(shù)據(jù)，這已成為導(dǎo)致了成本增加的問題。此外，執(zhí)行圖像處理的DSP (數(shù)字信號處理器)必須執(zhí)行輸入具有不同曝光時間的兩幅圖像的數(shù)據(jù)的處理。結(jié)果，這需要具有高級功能的處理器，并且這點也已成為導(dǎo)致了攝像裝置成本增加的問題。此外，由于必須要執(zhí)行對至少兩幅圖像的拍攝，因此存在對于拍攝時間和處理時間必須花費太多時間的問題。此外，當拍攝對象移動并且在拍攝兩幅圖像的時段期間發(fā)生移動時，這引起了無法執(zhí)行良好的圖像合并的問題，并且這降低了合并圖像輸出的質(zhì)量。引用列表專利文獻PTLl:日本未審查專利申請公開2008-99158PTL2:日本未審查專利申請公開2000-5015
發(fā)明內(nèi)容
技術(shù)問題
本發(fā)明的目的在于在考慮前述問題的情況下，提供圖像處理裝置、成像裝置、圖像處理方法和程序，該圖像處理裝置、成像裝置、圖像處理方法和程序沒有分別拍攝具有不同曝光時間的圖像，而是可以利用例如一次拍攝的圖像來生成具有寬動態(tài)范圍的圖像。
針對技術(shù)問題的方案
本發(fā)明的第一方面是一種圖像處理裝置，其包括:
控制單元，用于執(zhí)行像素和像素區(qū)域單位的曝光時間控制，
像素部，用于通過在控制單元的控制下的成像處理來輸出多個不同曝光時間的像素信息，以及
像素信息合并單元，用于通過輸入從像素部輸出的具有多個不同曝光時間的像素信息并執(zhí)行使用該多個像素信息的計算處理，而計算輸出圖像的像素值。
另外，關(guān)于本發(fā)明的圖像處理裝置的實施例，控制單元以像素部的行為單位執(zhí)行曝光時間控制，像素部輸出來自多個不同的行的、具有不同曝光時間的像素信息，該像素信息合并單元通過使用從多個不同的行輸入的多個像素信息的計算處理來計算輸出圖像的一個像素的像素值。
另外，關(guān)于本發(fā)明的圖像處理裝置的實施例，像素部從長曝光區(qū)域輸出高靈敏度像素信息，并且從短曝光區(qū)域輸出低靈敏度像素信息，并且其中，在輸出圖像的像素值的計算處理中，像素信息合并單元執(zhí)行加法處理，以針對從長曝光區(qū)域輸入的高靈敏度像素信息和從短曝光區(qū)域輸入的低靈敏度像素信息來設(shè)置與拍攝對象的亮度相對應(yīng)的權(quán)重。
另外，關(guān)于本發(fā)明的圖像處理裝置的實施例，當從長曝光區(qū)域輸入的高靈敏度像素信息等于或大于預(yù)定閾值時，像素信息合并單元通過如下計算處理來計算輸出圖像的像素值:該計算處理將高靈敏度像素信息的權(quán)重設(shè)置為零或小的數(shù)，并且僅使用從短曝光區(qū)域輸入的低靈敏度像素信息或者將其權(quán)重設(shè)置為大的數(shù)。
另外，關(guān)于本發(fā)明的圖像處理裝置的實施例，當從短曝光區(qū)域輸入的低靈敏度像素信息小于預(yù)定閾值時，像素信息合并單元通過如下計算處理來計算輸出圖像的像素值:該計算處理將低靈敏度像素信息的權(quán)重設(shè)置為零或小的數(shù)，并且僅使用從長曝光區(qū)域輸入的高靈敏度像素信息或者將其權(quán)重設(shè)置為大的數(shù)。
另外，關(guān)于本發(fā)明的圖像處理裝置的實施例，當從短曝光區(qū)域輸入的低靈敏度像素信息等于或大于預(yù)定閾值時，像素信息合并單元通過如下計算處理來計算輸出圖像的像素值:該計算處理將從長曝光區(qū)域輸入的高靈敏度像素信息的權(quán)重設(shè)置為零或小的數(shù)，并且僅使用從短曝光區(qū)域輸入的低靈敏度像素信息或者將其權(quán)重設(shè)置為大的數(shù)。
另外，關(guān)于本發(fā)明的圖像處理裝置的實施例，控制單元執(zhí)行曝光時間控制來以像素部的兩行為單位設(shè)置長曝光區(qū)域和短曝光區(qū)域，像素部從長曝光區(qū)域和短曝光區(qū)域中的每一個輸出至少一個或更多個像素信息，并且像素信息合并單元通過如下計算處理來計算輸出圖像的一個像素的像素值:該計算處理使用自從長曝光區(qū)域輸入的高靈敏度像素信息和從短曝光區(qū)域輸入的低靈敏度像素信息中的每一個輸入的至少一個或更多個像素信息。
另外，關(guān)于本發(fā)明的圖像處理裝置的實施例，控制單元通過以像素部的行為單位的快門控制來以行為單位執(zhí)行曝光時間控制。
另外，關(guān)于本發(fā)明的圖像處理裝置的實施例，控制單元通過以像素部的顏色為單位的快門控制來以顏色為單位執(zhí)行曝光時間控制。
另外，關(guān)于本發(fā)明的圖像處理裝置的實施例，圖像處理裝置還包括:計數(shù)器，用于對與從像素部輸出的長曝光區(qū)域的高靈敏度像素的像素值相等的數(shù)字值進行計數(shù)；以及輸出選擇單元，用于在由計數(shù)器計數(shù)的高靈敏度像素的像素值小于預(yù)定閾值時，選擇并輸出該高靈敏度像素的像素值作為輸出圖像的計算像素值，而在由計數(shù)器計數(shù)的高靈敏度像素的像素值等于或大于預(yù)定閾值時，選擇并輸出顏色與該高靈敏度像素相同的、短曝光區(qū)域的低靈敏度像素的像素值作為輸出圖像的計算像素值。另外，關(guān)于本發(fā)明的圖像處理裝置的實施例，像素部從長曝光區(qū)域輸出高靈敏度像素信息，從短曝光區(qū)域輸出低靈敏度像素信息，并且從具有在長曝光與短曝光之間的曝光時間的中間曝光區(qū)域輸出中間靈敏度像素信息，并且關(guān)于輸出圖像的像素值的計算處理，像素信息合并單元通過執(zhí)行計算處理以向高靈敏度像素信息、低靈敏度像素信息和中間靈敏度像素信息設(shè)置與拍攝對象的亮度對應(yīng)的權(quán)重，來計算輸出圖像像素值。另外，關(guān)于本發(fā)明的圖像處理裝置的實施例，圖像處理裝置還包括灰度轉(zhuǎn)換單元，該灰度轉(zhuǎn)換單元用于執(zhí)行由像素信息合并單元生成的輸出圖像的每個像素的像素值的比特減少處理。另外，關(guān)于本發(fā)明的圖像處理裝置的實施例，圖像處理裝置還包括信號處理單元，該信號處理單元用于對從像素信息合并單元生成的輸出圖像執(zhí)行信號處理。另外，關(guān)于本發(fā)明的圖像處理裝置的實施例，圖像處理裝置還包括用于對由像素信息合并單元生成的輸出圖像執(zhí)行編碼處理的編解碼器。另外，關(guān)于本發(fā)明的圖像處理裝置的實施例，像素部具有下述配置:在該配置中，從至少為3X3像素的像素區(qū)域輸出同一顏色的具有不同曝光時間的像素信息。另外，關(guān)于本發(fā)明的圖像處理裝置的實施例，像素部包括貝爾陣列或RGBW陣列。另外，本發(fā)明的第二方面是一種成像裝置，其包括:成像單元，以及圖像處理單元，用于執(zhí)行根據(jù)權(quán)利要求1至16中任一項所述的處理。另外，本發(fā)明的第三方面是一種由圖像處理裝置執(zhí)行的圖像處理方法，包括:控制步驟，其中控制單元執(zhí)行像素或像素區(qū)域單位的曝光時間控制，像素信息輸出步驟，其中像素部通過在控制單元的控制下的成像處理來輸出具有多個不同曝光時間的像素信息，以及像素信息合并步驟，其中像素信息合并單元通過輸入從像素部輸出的具有多個不同曝光時間的像素信息并執(zhí)行使用該多個像素信息的計算處理，來計算輸出圖像的像素值。另外，本發(fā)明的第四方面是一種用于執(zhí)行圖像處理裝置中的圖像處理的程序，包括:控制步驟，其中控制單元執(zhí)行像素或像素區(qū)域單位的曝光時間控制，像素信息輸出步驟，其中像素部通過在控制單元的控制下的成像處理來輸出具有多個不同曝光時間的像素信息，以及像素信息合并步驟，其中像素信息合并單元通過輸入從像素部輸出的多個不同曝光時間的像素信息并且執(zhí)行使用該多個像素信息的計算處理，來計算輸出圖像的像素值。另外，本發(fā)明的程序可以例如經(jīng)由網(wǎng)絡(luò)介質(zhì)或者記錄介質(zhì)來提供，該記錄介質(zhì)以用于可執(zhí)行各種程序代碼的計算機系統(tǒng)或信息處理裝置的計算機可讀格式來提供程序。通過以計算機可讀格式提供這種程序，可在信息處理裝置或計算機系統(tǒng)上實現(xiàn)對應(yīng)于程序的處理。
將基于附圖和稍后所述的實施例來更詳細地描述本發(fā)明的其他目的、特征和優(yōu)點。另外，本說明書中的系統(tǒng)是多個裝置的邏輯分組配置，并且每個裝置配置不限于在同一物理裝置內(nèi)。
本發(fā)明的有益效果
根據(jù)本發(fā)明的實施例的配置，裝置和方法被實現(xiàn)為基于一幅拍攝圖像來生成具有寬動態(tài)范圍的圖像。具體地，執(zhí)行曝光時間控制來以像素部的行為單位或以像素區(qū)域為單位設(shè)置不同的曝光時間，并且獲得多個不同像素信息，這多個不同像素信息是具有所設(shè)置的不同曝光時間的像素的像素值。例如，獲得來自長曝光像素的高靈敏度像素信息和來自短曝光像素的低靈敏度像素信息，并且基于具有這些不同靈敏度的像素信息來計算輸出圖像的像素值。例如，高光亮度區(qū)域具有靈敏度像素信息具有飽和值的潛能，因此，關(guān)于低靈敏度像素信息的權(quán)重被設(shè)置為大的數(shù)，此外，低光亮度區(qū)域被估計為具有SN比差的低靈敏度像素信息，因此，關(guān)于高靈敏度像素信息的權(quán)重被設(shè)置為大的數(shù)以確定輸出像素值。
通過該處理實現(xiàn)了基于一幅拍攝圖像來生成具有寬動態(tài)范圍的圖像。


[圖1]圖1是描述通過對具有多個不同的曝光量的圖像進行合并來獲得具有寬動態(tài)范圍的圖像的處理的圖。
[圖2]圖2是示出本發(fā)明的圖像處理裝置的配置示例的圖。
[圖3]圖3是描述與本發(fā)明的第一實施例相關(guān)的圖像處理裝置的處理和成像裝置配置的圖。
[圖4]圖4是描述與本發(fā)明的第一實施例相關(guān)的圖像處理裝置的像素信息合并處理的具體示例的圖。
[圖5]圖5是描述如下增益控制的圖:該增益控制作為對高靈敏度像素和低靈敏度像素的亮度與輸出之間的對應(yīng)關(guān)系以及低靈敏度像素的輸出的調(diào)整處理。
[圖6]圖6是描述與本發(fā)明的第一實施例相關(guān)的圖像處理裝置的成像裝置中的像素部的曝光時間控制處理的示例的圖。
[圖7]圖7是描述與本發(fā)明的第一實施例相關(guān)的圖像處理裝置的成像裝置的像素信息合并單元的輸出像素確定算法的示例的圖。
[圖8]圖8是描述與本發(fā)明的第一實施例相關(guān)的圖像處理裝置的成像裝置的像素信息合并單元的輸出像素確定算法的示例的圖。
[圖9]圖9是描述與本發(fā)明的第一實施例相關(guān)的圖像處理裝置的成像裝置的像素信息合并單元的輸出像素確定算法的示例的圖。
[圖10]圖10是描述與本發(fā)明的第一實施例相關(guān)的圖像處理裝置的成像裝置的像素信息合并單元的輸出像素確定算法的示例的圖。
[圖11]圖11是描述與本發(fā)明的第二實施例相關(guān)的圖像處理裝置的成像裝置的配置和處理的圖。
[圖12]圖12是描述與本發(fā)明的第二實施例相關(guān)的圖像處理裝置的成像裝置的輸出選擇單元的配置和處理的圖。[圖13]圖13是示出了如下流程圖的圖:該流程圖描述了與本發(fā)明的第二實施例相關(guān)的圖像處理裝置的成像裝置中所執(zhí)行的對于根據(jù)像素信息而合并的圖像的像素值確定序列。[圖14]圖14是描述與本發(fā)明的第三實施例相關(guān)的圖像處理裝置的成像裝置的配置和處理的圖。[圖15]圖15是描述與本發(fā)明的第三實施例相關(guān)的圖像處理裝置的成像裝置中所設(shè)置的灰度轉(zhuǎn)換單元所執(zhí)行的處理的具體示例的圖。[圖16]圖16是描述與本發(fā)明的第四實施例相關(guān)的圖像處理裝置的成像裝置的配置和處理的圖。[圖17]圖17是描述與本發(fā)明的第五實施例相關(guān)的圖像處理裝置的成像裝置的像素部的配置和曝光控制處理的圖。[圖18]圖18是描述與本發(fā)明的第五實施例相關(guān)的圖像處理裝置的成像裝置的像素部的曝光控制處理的具體示例的圖。[圖19]圖19是描述與本發(fā)明的第六實施例相關(guān)的圖像處理裝置的成像裝置的像素部的配置和曝光控制處理的圖。[圖20]圖20是描述與本發(fā)明的第七實施例相關(guān)的圖像處理裝置的成像裝置的配置和像素信息合并處理的圖。[圖21]圖21是描述與本發(fā)明的第八實施例相關(guān)的圖像處理裝置的成像裝置的配置的圖。
具體實施例方式以下將參照附圖描述本發(fā)明的圖像處理裝置、成像裝置、圖像處理方法和程序。將按以下項目順序進行描述。1.圖像處理裝置的整體配置示例2.圖像處理裝置的具體配置和處理的實施例(2-1.第一實施例)至(2-8.第八實施例)[1.圖像處理裝置的整體配置示例]首先，將參照圖2描述本發(fā)明的圖像處理裝置的整體配置示例。圖2是示出作為本發(fā)明的圖像處理裝置的示例的成像裝置的配置的框圖。通過光學(xué)透鏡101照射的光照射到由例如CMOS圖像傳感器構(gòu)成的成像裝置102，并且通過光電轉(zhuǎn)換而作為圖像數(shù)據(jù)被輸出。輸出的圖像數(shù)據(jù)被輸入到信號處理單元103中。信號處理單元103執(zhí)行通常在攝像裝置中使用的信號處理(諸如，白平衡(WB)調(diào)整和伽馬校正)，并且生成輸出圖像120。輸出圖像120被存儲在未示出的存儲單元中。其也可以被輸出到顯示單元?？刂茊卧?05根據(jù)例如存儲在未示出的存儲器中的程序來將控制信號輸出到每個單元，并且執(zhí)行各種處理控制。下文中，將主要關(guān)于成像裝置的配置和處理來描述多個實施例。[2.圖像處理裝置的具體配置和處理的實施例]
(2-1.第一實施例)首先，將描述與本發(fā)明的圖像處理裝置的第一實施例相關(guān)的成像裝置的配置和處理。如圖3所示，第一實施例的成像裝置102包括像素部201和計算單元202。像素部201通過例如由RGB像素構(gòu)成的貝爾陣列的像素陣列的每個像素的光電轉(zhuǎn)換而輸出與曝光時間對應(yīng)的電荷信息。關(guān)于第一實施例的配置，通過控制單元105的控制(快門控制)而以像素區(qū)域(例如，行或線)為單位來以不同曝光時間設(shè)置像素部201。從被設(shè)置進行長曝光的行輸出與基于長曝光的累積充電對應(yīng)的高靈敏度像素信息251。此外，從被設(shè)置進行短曝光的行輸出與基于短曝光的累積充電對應(yīng)的低靈敏度像素信息252。稍后將詳細描述對于曝光時間的控制配置的具體示例。另外，控制單元設(shè)置在成像裝置中，并且成像裝置的處理控制可被配置為通過成像裝置中的控制單元的控制來執(zhí)行。計算單元202輸入從像素部201輸出的高靈敏度像素信息251和低靈敏度像素信息252,包括用于基于輸入的該信息生成一個圖像信息的像素信息合并單兀211。像素信息合并單元211的輸出被輸入到信號處理單元103。信號處理單元103例如執(zhí)行攝像裝置中通常使用的信號處理(諸如白平衡(WB)調(diào)整和伽馬校正)，并且生成輸出圖像120。輸出圖像120被存儲在未示出的存儲單元中。其也可顯示在顯示單元上。圖4是示出在本發(fā)明的第一實施例的成像裝置的像素信息合并單元中所執(zhí)行的合并處理的示例的圖。圖4示出了:(a)像素部的拍攝圖像(b)通過來自像素信息合并單元的合并處理而生成的輸出圖像。另外，該圖僅示出了(a)和(b)的拍攝圖像和像素信息合并圖像的部分區(qū)域。圖4 (a)中所示的像素部的拍攝圖像是與圖3中的成像裝置102的像素部201的配置對應(yīng)的圖。根據(jù)本示例，像素部201中的濾色器的陣列是貝爾陣列，并且具有根據(jù)指定陣列來設(shè)置R、Gb> Gr和B像素的配置。圖3的成像裝置102中的計算單元202的像素信息合并單元211對圖4 (a)所示的來自像素部201的多個像素信息進行合并，生成圖4 (b)所示的像素信息合并圖像，并且將其輸出到下一級信號處理單元103。圖4示出了從具有不同靈敏度的總共四個像素、即兩個高靈敏度像素和兩個低靈敏度像素當中確定輸出圖像的一個像素的像素值的處理示例。也就是說，根據(jù)本實施例，像素信息合并單元211基于包括像素部201中所拍攝的圖像的4個像素來確定輸出圖像的一個像素的像素值。通過該處理來生成像素部中的像素的1/4的輸出圖像，并輸出該輸出圖像。圖4( b )所示的由像素信息合并單元211生成的輸出圖像的左上部的像素Gb( out)的像素值是基于以下像素的像素值而計算的:作為圖4 Ca)中所示的拍攝圖像的、像素部201的左上部中的四個像素，即像素Gb (0，0)、Gb (l，0)、Gb (0，1)和Gb (1，1)。如圖4 (a)中的像素部的拍攝圖像的左側(cè)所示，該拍攝圖像以兩行為單位被交互地設(shè)置為高靈敏度像素區(qū)域和低靈敏度像素區(qū)域。高靈敏度像素區(qū)域是執(zhí)行長曝光的區(qū)域，以及
低靈敏度像素區(qū)域是執(zhí)行短曝光的區(qū)域。根據(jù)本實施例的配置，以此方式以像素部201的一行為單位執(zhí)行曝光時間控制，并且拍攝以兩行為單位交互地設(shè)置有高靈敏度區(qū)域和低靈敏度區(qū)域的圖像。像素信息合并單元211輸入該高靈敏度像素區(qū)域中的像素的像素值和該低靈敏度像素區(qū)域中的像素的像素值，以確定一個輸出像素的像素值。作為示例，將描述圖4 (b)中的像素信息合并圖像的左上部中的像素Gb (out)的像素值的計算示例。像素信息合并單元211基于兩個高靈敏度像素和兩個低靈敏度像素的像素值來計算圖4 (b)中的像素信息合并圖像的左上部中的像素Gb (out)的像素值，這兩個高靈敏度像素和兩個低靈敏度像素是圖4 Ca)中的拍攝圖像的左上部中的四個像素，如下:高靈敏度像素:Gb (0,0)和Gb (1,0)低靈敏度像素:Gb(0,1)和 Gb (1,1)。像素信息合并單元211對圖4(b)中的像素信息合并圖像的所有像素(S卩，像素Gb(out)、Gr (out)、B (out)和R (ou t))執(zhí)行相同的像素值計算處理。也就是說,輸出圖像的這些像素值全部是使用圖4 (a)中的拍攝圖像的兩個高靈敏度像素和兩個低靈敏度像素的像素值來計算的。然而，當計算一個輸出像素值時，四個輸入像素的像素值的貢獻比率并不是恒定的(分配比率)，并且例如執(zhí)行處理，以確定對拍攝對象的亮度的依賴性。稍后將描述該處理。此外，圖4所示的示例示出了以兩行為單位交互地設(shè)置高靈敏度像素區(qū)域和低靈敏度像素區(qū)域的示例，但這僅僅是一個示例，并且像素區(qū)域的切換單位可被設(shè)置為除了兩行外的值。將使用圖4 (b)所示的Gb (out)的像素值計算的示例來描述像素信息合并單元211的像素值計算處理示例。例如根據(jù)以下表達式(表達式I)來計算圖4 (b)所示的Gb (out)的像素值。Gb (out) = [Gb (0，0) X a ] + [Gb (1，0) X 3 ] + [Gb (0，I) X (Gain) X y ] + [Gb(l, I) X (Gain) X e ]......(表達式 I)其中Gb (x，y)是拍攝圖像在坐標(x，y)的位置處的像素值，Gain是用于校正靈敏度比率的增益值(預(yù)定值)，以及a、0、Y和e是用于設(shè)置輸入像素的貢獻比率的系數(shù)，并且是滿足a+^ + y+e=l的關(guān)系的系數(shù)。以此方式，像素信息合并單元211從輸入圖像中的、處于與圖4 (b)所示的輸出圖像的像素位置相對應(yīng)的位置處的多個像素當中，輸入來自至少包括高靈敏度像素和低靈敏度像素的多個像素的像素值，并且根據(jù)前述表達式來計算圖4 (b)所示的像素信息合并圖像的每個像素值。根據(jù)本實施例，輸入來自兩個高靈敏度像素和兩個低靈敏度像素的像素值，并且根據(jù)前述表達式來計算圖4 (b)中的像素信息合并圖像的每個像素值。除了 Gb之外，使用前述(表達式I)來針對Gr、R和B執(zhí)行相同的像素值計算處理。也就是說，關(guān)于與像素信息合并圖像的Gr (out)的像素位置相對應(yīng)的拍攝圖像的像素區(qū)域，使用高靈敏度像素區(qū)域的兩個Gr像素值和低靈敏度像素區(qū)域的兩個Gr像素值來計算圖4 (b)中的輸出圖像的Gr (out)的像素值。
關(guān)于與像素信息合并圖像的R(out)的像素位置相對應(yīng)的拍攝圖像的像素區(qū)域，使用高靈敏度像素區(qū)域的兩個R像素值和低靈敏度像素區(qū)域的兩個R像素值來計算圖4 (b)中的輸出圖像的R (out)的像素值。關(guān)于與像素信息合并圖像的B(OUt)的像素位置相對應(yīng)的拍攝圖像的像素區(qū)域，使用高靈敏度像素區(qū)域的兩個B像素值和低靈敏度像素區(qū)域的兩個B像素值來計算圖4 (b)中的輸出圖像的B (out)的像素值。如前述(表達式I)所示，當對輸出圖像執(zhí)行像素值計算處理時，使用根據(jù)系數(shù)α、β、Y和ε而應(yīng)用的平均權(quán)重來執(zhí)行該處理,其中系數(shù)α、β、γ和ε對應(yīng)于作為輸入圖像的四個拍攝圖像的像素值。表達式中的增益是用于校正靈敏度差異的系數(shù)。例如，當?shù)挽`敏度像素與高靈敏度像素之間的靈敏度比率為1:4時，將四倍的增益應(yīng)用于來自低靈敏度像素的輸出，并且關(guān)于前述表達式(表達式1)，增益被設(shè)置為:Gain=4.0。結(jié)果，維持了對應(yīng)于亮度的線性，并且可實現(xiàn)寬動態(tài)范圍。圖5是描述增益控制的圖。如圖5所示，當?shù)挽`敏度像素與高靈敏度像素之間的靈敏度比率為1:4時，對應(yīng)于來自低靈敏度像素的輸出來應(yīng)用400%的增益，使得來自低靈敏度像素的輸出與來自高靈敏度像素的輸出匹配。

來自前述(表達式I)的α、β、Y和ε是如前所述的用于設(shè)置每個像素的貢獻比率的系數(shù)。這些系數(shù)α、β、γ和ε的值可全部使用對應(yīng)于輸出像素的顏色(例如，Gb、Gr、B和R)的不同值。此外，這些系數(shù)可被設(shè)置為取決于拍攝對象的亮度來更新。例如，存在如下情況:高靈敏度像素的像素值處于與亮拍攝對象對應(yīng)的飽和狀態(tài)，即處于最大像素值，因此可能無法反映正確的像素值。在這種情況下，根據(jù)前述(表達式1)，例如:α =β =0,因此,沒有應(yīng)用高靈敏度像素Gb (O, O)和Gb (1,0)的像素值，Y+ε =1，因此，僅應(yīng)用低靈敏度像素Gb (0,1)和Gb (1，I)的像素值來執(zhí)行計算輸出像素值的處理。也就是說，前述(表達式I)通過僅應(yīng)用低靈敏度像素Gb (0，1)和Gb (1，1)的像素值來計算輸出像素的像素值Gb (out)，如下:Gb (out) = [Gb (0，O) X α ] + [Gb (1，O) X β ] + [Gb (O, I) X (Gain) X Y ] + [Gb(l, I) X (Gain) Xe]= [Gb (0，I) X (Gain) X Y ] + [Gb(l, I) X (Gain) X ε ]。作為這種處理的結(jié)果，可通過僅使用低靈敏度像素的有效像素值信息來設(shè)置輸出像素值，而沒有收到來自飽和的高靈敏度像素的像素值的任何影響。例如前述(表達式I)中的與拍攝對象的亮度相對應(yīng)的α、β、γ和ε的設(shè)置值和增益值或者這些值的計算處理算法應(yīng)該被預(yù)先指定，并且存儲在成像裝置內(nèi)的存儲器中。這也可以被實現(xiàn)為硬件。像素信息合并單元211通過例如應(yīng)用存儲在存儲器中的值、硬件或算法并且根據(jù)前述(表達式I)計算輸出值(即，像素信息合并圖像的配置像素的像素值)，來獲取或計算增益值和系數(shù)α、β、γ和ε。
圖6是描述控制像素部201中的高靈敏度像素區(qū)域和低靈敏度像素區(qū)域的曝光時間的控制的示例的圖。圖6中的縱軸表示像素部的像素行，而橫軸表示經(jīng)過的時間?？v軸的行開始于在最上部的像素部的第一行，并且各行從這里按順序向下(行號=2、3、4、5…)。橫軸的時間示出根據(jù)在右方向上的行進而經(jīng)過的時間。圖6示出當?shù)挽`敏度像素與高靈敏度像素之間的靈敏度比率為1:4時高靈敏度像素區(qū)域和低靈敏度像素區(qū)域的曝光時間的控制處理的示例。根據(jù)本示例，高靈敏度像素的曝光時間被設(shè)置為低靈敏度像素的曝光時間的4倍。以行為單位控制電子快門的曝光時間，以設(shè)置高靈敏度像素區(qū)域和低靈敏度像素區(qū)域。例如，用作圖3中所示的成像裝置102的像素部201的CMOS成像器具有使得能夠以行為單位進行電子快門控制的 配置。也就是說，該配置使得能夠以行為單位設(shè)置任意曝光時間。例如，基于對應(yīng)于成像裝置102的像素部201的、從圖3所示的控制單元105輸出的控制信號，來執(zhí)行以行為單位的曝光時間控制。圖6中所示的曝光時間控制示例是與如下配置對應(yīng)的曝光時間控制示例:在該配置中，以與對圖4 (a)中的像素部的拍攝圖像的左側(cè)所示的相同的方式，以兩行為單位交互地設(shè)置高靈敏度像素區(qū)域和低靈敏度像素區(qū)域。第I行和第2行是具有長曝光處理的高靈敏度像素區(qū)域。第3行和第4行是具有短曝光處理的低靈敏度像素處理。也以兩行為單位交互地設(shè)置從第5行以下的行，其中，高靈敏度像素區(qū)域執(zhí)行長曝光處理，并且低靈敏度像素區(qū)域執(zhí)行短曝光處理。如圖6所示，對于諸如第I行和第2行、第5行和第6行等的高靈敏度像素區(qū)域，第一行的快門從時刻tl起啟動(曝光開始)，并且曝光開始從上面的行向下移動到下面的行。從時刻tl起的至右下方的虛線(SI)表示高靈敏度像素行(行號=1，2，5，6，…)的每一行的快門啟動位置(曝光開始)。另外，從上面的行向下面的行按順序執(zhí)行快門的打開和關(guān)閉操作，因此，延遲了根據(jù)到下面的行的行進的處理時間。由右下方的行來設(shè)置該影響。對于諸如第3行和第4行、第7行和第8行等的低靈敏度像素區(qū)域，第三行的快門從時刻t2起啟動(曝光開始)，并且曝光開始從上面的行向后移動到下面的行。從時刻tl起的至右下方的虛線(S2)表示低靈敏度行(行號=3，4，7，8，…)的每一行的快門啟動位置(曝光開始)。另外，從上面的行向下面的行按順序執(zhí)行快門的打開和關(guān)閉操作，因此，延遲了根據(jù)到后面的行的行進的處理時間。由右下方的行來設(shè)置該影響。另外，在圖6的右邊緣的右下方的虛線(El)表示每個像素中所累積的電荷的讀出起始位置(曝光結(jié)束)。該像素值讀出處理沒有被分為高靈敏度像素行(1，2，5，6，…)和低靈敏度像素行(3，4，7，8，…)，而是針對全部行來執(zhí)行的。從時刻t3起，第一行的讀出開始，并且根據(jù)經(jīng)過的時間，對于第2、3、4、5、6、7、……行以下降的行順序行進來執(zhí)行全部行的像素值(累積電荷)的讀出。也就是說，圖6所示的快門控制如下。首先設(shè)置高靈敏度像素行(1，2，5，6，…)的曝光開始時間(tl)。然后設(shè)置低靈敏度像素行(3，4，7，8，…)的曝光開始時間(t2)。
另外，從時刻t3起，從上面的行連續(xù)地執(zhí)行讀出(曝光結(jié)束)。由于該處理，可將高靈敏度像素行(1，2，5，6，…)的曝光時間設(shè)置得比低靈敏度像素行(3，4，7，8，…)的曝光時間長(對于本示例為4倍)，并且可基于不同的曝光時間從每個像素獲得累積電荷(像素值)。根據(jù)參照圖4和圖6所述的本實施例，每隔兩行改變曝光時間的長度。對于高靈敏度是較長的曝光時間，而對于低靈敏度是較短的曝光時間。圖7是描述作為圖6所示的曝光控制的結(jié)果而由像素信息合并單元211生成的合并圖像(即，像素信息合并圖像的生成處理)的示例的圖。如參照圖4和(表達式I)所述，如圖3所示的像素信息合并單元211應(yīng)用多個像素的像素值并確定如圖4 (b)所示的輸出圖像的一個像素的像素值。像素信息合并單元211基于如下的、作為合并圖像的像素值計算表達式的前述表達式(表達式I)，根據(jù)拍攝圖像的多個像素值來計算一個像素的像素值:Gb(out)=[Gb(0，O)Xa]+[Gb(1，O)Xβ]+[Gb(O,I)X(Gain)XY]+[Gb(l,I)X(Gain)Xε]。如前所述，前述表達式中的系數(shù)α、β、Υ和ε可被設(shè)置為對應(yīng)于例如拍攝對象的亮度來進行更新。例如，存在如下情況:高靈敏度像素的像素值處于對應(yīng)于亮拍攝對象的飽和狀態(tài)，也就是說，處于最大像素值，因此可能無法反映正確的像素值。在這種情況下，根據(jù)前述(表達式I)，例如，α=β=0，因此，沒有應(yīng)用高靈敏度像素Gb (0，0)和Gb (0，1)的像素值，以及Y + ε =1,因此僅應(yīng)用低靈敏度像素Gb (O, I)和Gb (I, I)的像素值來執(zhí)行計算輸出像素值的處理。圖7示出了這種處理的三種處理狀態(tài)。也就是說，圖7是描述與這些拍攝對象的成像區(qū)域?qū)?yīng)的合并處理的狀態(tài)的圖:(I)亮拍攝對象(高靈敏度像素具有飽和值)(2)中間拍攝對象(高靈敏度像素具有飽和以下的值，并且高靈敏度像素和低靈敏度像素兩者均具有等于或高于預(yù)定容限的SN比)(3)暗拍攝對象(高靈敏度像素具有飽和以下的值，并且低靈敏度像素具有低于預(yù)定容限的SN比)將描述每種處理狀態(tài)。(I)売拍攝對象(聞靈敏度像素具有飽和值)如圖7 (I)所示，當高靈敏度像素具有飽和值時，高靈敏度像素的像素值是與在像素部的每個像素中可累積的最大電荷量對應(yīng)的最大像素值，并且處于可能無法反映正確的像素值的狀態(tài)。在這種情況下，高靈敏度像素的像素值沒有被應(yīng)用于像素信息合并圖像的輸出像素的像素值計算。根據(jù)該圖7 (I)所示的示例，前述(表達式I)中的系數(shù)α、β、Υ和ε的設(shè)置被設(shè)置如下。α =β =0,因此,不應(yīng)用高靈敏度像素Gb(0, O)和Gb(l, O)的像素值，以及Y + ε =1,因此僅應(yīng)用低靈敏度像素Gb (0，1)和Gb (1，I)的像素值來執(zhí)行計算輸出像素值的處理。也就是說，對于圖4中的Gb (out)的計算處理，例如:Gb (out) = [Gb (0，O) X α ] + [Gb (1，O) X β ] + [Gb (O, I) X (Gain) X Y ] + [Gb(l, I) X (Gain) Xe]= [Gb (0，I) X (Gain) X Y ] + [Gb(l, I) X (Gain) X ε ]。如前所述，不應(yīng)用高靈敏度像素Gb (0，0)和Gb (1，O)的像素值，因此，僅僅應(yīng)用低靈敏度像素Gb (0，1)和Gb (1，I)的像素值來計算像素信息合并圖像的輸出像素值。根據(jù)圖7 (I)所示的示例，α = β =0γ+ε=1。 在滿足上述限制的范圍內(nèi)能夠進行各種設(shè)置。作為示例，設(shè)Y+ ε =0.5。通過這種設(shè)置，可將兩個低靈敏度像素的平均值設(shè)置為像素信息合并圖像的一個輸出像素的像素值。(2)中間拍攝對象(高靈敏度像素具有飽和以下的值，并且高靈敏度像素和低靈敏度像素兩者都具有等于或大于預(yù)定容限的SN比)如圖7(2)所示，對于具有中等亮度的拍攝對象，也就是說，當高靈敏度像素具有飽和以下的值，并且高靈敏度像素和低靈敏度像素兩者均具有等于或大于預(yù)定容限的SN比時，執(zhí)行以下處理。為了確定針對高靈敏度像素和低靈敏度像素兩者均反映了正確的像素值，選擇這些像素中的一個并將其用于設(shè)置像素信息合并圖像的像素值，或者可執(zhí)行全部這些像素的混合處理以計算像素信息合并圖像的像素值。在這種情況下，前述(表達式I)中的系數(shù)α、β、Υ、ε被設(shè)置如下。α+β + γ+ ε=1在滿足上述限制的范圍內(nèi)能夠進行各種設(shè)置。作為示例,設(shè)α+β + γ+ε =0.25。通過這種設(shè)置，可將兩個高靈敏度像素和兩個低靈敏度像素這總共4個像素的平均值設(shè)置為像素信息合并圖像的一個輸出圖像的像素值。(3)暗拍攝對象(高靈敏度像素具有飽和以下的值，并且低靈敏度像素具有低于預(yù)定容限的SN比)如圖7 (3)所不,對于暗拍攝對象,也就是說，當聞靈敏度像素具有飽和以下的值，并且低靈敏度像素具有低于預(yù)定容限的SN比時，執(zhí)行以下處理。低靈敏度像素的像素值具有低于預(yù)定容限的SN比，因此，無法認為反映了正確的像素值。在這種情況下，不應(yīng)用低靈敏度像素的像素值，并且僅基于高靈敏度像素的像素值來計算像素信息合并圖像的輸出像素值。在這種情況下，前述(表達式I)中的系數(shù)α、β、Υ、ε被設(shè)置如下。y = ε =0α+β=1也就是說,對于圖4中的Gb (out)的計算處理,例如，Gb (out) = [Gb (0，O) X α ] + [Gb (1，O) X β ] + [Gb (O, I) X (Gain) X Y ] + [Gb(l, I) X (Gain) Xe]=[Gb(0, 0) X a ] + [Gb(l, 0) X β ]如前所述，不應(yīng)用低靈敏度像素Gb (0，1)和Gb (1，I)的像素值，因此，僅應(yīng)用高靈敏度像素Gb (0，0)和Gb (1，O)的像素值來計算像素信息合并圖像的輸出像素值。
y + e =0a+￠=1
在滿足上述限制的范圍內(nèi)能夠進行各種設(shè)置。作為示例，設(shè)a+3 =0.5。通過這種設(shè)置，可將兩個高靈敏度像素的平均值設(shè)置為像素信息合并圖像的一個輸出像素的像素值。如參照圖7所述，當確定要生成的像素信息合并圖像的每個像素值時，像素信息合并單元211取決于拍攝對象的亮度而確定是否使用高靈敏度像素和低靈敏度像素中的任一個或兩者。當明亮?xí)r，存在高靈敏度像素飽和(無效)的情況，并且在這種情況下，優(yōu)選按原樣使用低靈敏度像素信息，但當兩種像素信息均有效時，可在考慮SN比之后確定要使用哪一個。參照圖8描述像素信息合并單元211的處理的具體示例。圖8所示的處理是像素信息合并單元211執(zhí)行的處理的一個序列示例。根據(jù)圖8所示的示例，通過以下序列執(zhí)行像素信息合并圖像的像素值計算。首先，在步驟Sll處，基于垂直方向上的兩個像素來計算中間合并像素值。接下來，在步驟S12處，將基于垂直方向上的兩個像素的中間像素值用來執(zhí)行最終將被輸出的圖像的像素計算。也就是說，在步驟Sll處，僅選擇一個高靈敏度像素和一個低靈敏度像素來計算中間合并像素值，并且此后，在步驟S12處，基于這些中間合并像素值，針對最終將被輸出的圖像來執(zhí)行像素計算。將參照圖9描述當執(zhí)行該序列時與每個像素的貢獻比率相對應(yīng)的權(quán)重系數(shù)的設(shè)置示例。圖9 (I)示出了被應(yīng)用于圖8的步驟Sll中的基于垂直方向上的兩個像素來計算中間合并像素值的處理的計算和系數(shù)的示例。圖9 (2)示出了被應(yīng)用于圖8的步驟S12中的基于兩個中間合并像素值的最終像素值計算處理的計算示例。如圖9 (I)所示，作為圖8的步驟Sll中的基于垂直方向上的兩個像素的中間合并像素值的計算處理而執(zhí)行的計算如下。輸出[Gb(I)] = [Gb (0,0) X ffH] +[Gb (0, I) X (Gain) XffJ.....(表達式 2)另外，前述(表達式2)表示關(guān)于之前參照圖4所述的像素信息合并圖像的像素值Gb (out)的計算處理，在圖8的步驟Sll處所執(zhí)行的一個中間合并像素值[Gb(I)]的計算表達式。根據(jù)以下表達式執(zhí)行又一個中間合并像素值[Gb(2)]的計算。輸出[Gb(2)] = [Gb (1,0) XffH]+ [Gb (I, I) X (Gain) XffJ.....(表達式 3)關(guān)于前述(表達式2)以及(表達式3)，Gb (x，y)是拍攝圖像在坐標(X，y)的位置處的像素值，Gain是用于校正靈敏度比率的增益值(預(yù)定值)，Wh是與輸入像素的高靈敏度像素相對應(yīng)的權(quán)重系數(shù)，以及Wl是與輸入像素的低靈敏度像素相對應(yīng)的權(quán)重系數(shù)，其中，這些系數(shù)滿足％+1=1的關(guān)系。
圖9 (I)示出了輸入像素的與高靈敏度像素相對應(yīng)的權(quán)重系數(shù)Wh和與低靈敏度像素相對應(yīng)的權(quán)重系數(shù)I的設(shè)置示例。這里，該設(shè)置將不同的系數(shù)用于低靈敏度像素的像素值。具體地，例如如圖9 (I)所示，使用了系數(shù)的以下設(shè)置。另外，每個像素的像素值被輸出為10比特的值(0至1023)。以下設(shè)置對應(yīng)于低靈敏度像素的像素值(數(shù)據(jù))。(a)當 0 ≤數(shù)據(jù)〈50 時:ffH=l.0 和 Wl=O(b)當 50 ≤數(shù)據(jù) <100 時:ffH=0.5 和 Wl=0.5(c)當 100 ≤數(shù)據(jù) <1023 時:ffH=0 和 Wl=L 0該系數(shù)設(shè)置基于以下假設(shè)。(a)當0≤數(shù)據(jù)〈50時以此方式，當?shù)挽`敏度像素的像素值(數(shù)據(jù))小時，拍攝對象的亮度低，并且假設(shè)低靈敏度像素的像素值的SN比低。在這種情況下，確定低靈敏度像素的像素值(數(shù)據(jù))的可靠性低，并且還假設(shè)附近的高靈敏度像素的像素值并未飽和。在這種情況下，與低靈敏度像素的像素值相對應(yīng)的權(quán)重系數(shù)\為0’并且與高靈敏度像素的像素值相對應(yīng)的權(quán)重系數(shù)Wh為1，因此，僅取決于高靈敏度像素的像素值來計算關(guān)于中間合并像素值的像素值[Gb(I)]。(b)當50≤數(shù)據(jù)〈100時以此方式，當?shù)挽`敏度像素的像素值(數(shù)據(jù))處于中間時，拍攝對象的亮度處于中間，并且假設(shè)低靈敏度像素的像素值的SN比良好。在這種情況下，確定低靈敏度像素的像素值(數(shù)據(jù))的可靠性高，并且還假設(shè)附近的高靈敏度像素的像素值并未飽和。在這種情況下，將低靈敏度像素的像素值和高靈敏度像素的像素值混合。也就是說，與低靈敏度像素的像素值相對應(yīng)的權(quán)重系數(shù)W^為0.5，并且與高靈敏度像素的像素值相對應(yīng)的權(quán)重系數(shù)Wh為
0.5，因此，通過來自高靈敏度像素和低靈敏度像素的兩個像素值的平均來計算中間合并像素值的像素值[Gb (I)]。(c)當 100 ≤數(shù)據(jù)〈1023 時以此方式，當?shù)挽`敏度像素的像素值(數(shù)據(jù))高時，拍攝對象的亮度極其高。在這種情況下，低靈敏度像素的像素值的SN比良好，并且確定低靈敏度像素的像素值(數(shù)據(jù))的可靠性高，但假設(shè)附近的高靈敏度像素的像素值飽和。在這種情況下，與高靈敏度像素的像素值相對應(yīng)的權(quán)重系數(shù)Wh為0，與低靈敏度像素的像素值相對應(yīng)的權(quán)重系數(shù)I為1，因此，僅取決于低靈敏度像素的像素值來計算中間合并像素值的像素值[Gb(I)]。以此方式，可使用低靈敏度像素信息來執(zhí)行系數(shù)的設(shè)置。另外，為了簡化，這里使用了三種類型，但可預(yù)先設(shè)置用于基于低靈敏度像素來計算權(quán)重的函數(shù)，并且如圖3所示的像素信息合并單元211可具有如下配置:通過基于從像素部201輸入的低靈敏度像素信息252來執(zhí)行應(yīng)用預(yù)先設(shè)置的函數(shù)的計算，而計算系數(shù)Wh和Wp圖9 (2)示出了圖8中的步驟S12的處理，也就是說，應(yīng)用于基于兩個中間合并像素值的最終像素值計算處理的計算示例。如該圖9 (2)所示，作為圖8的步驟S12中的基于中間合并像素值的最終像素值計算處理而執(zhí)行的計算如下。輸出[Gb (out) ] = [Gb (I) X 0.5] + [Gb (2) X0.5].....(表達式 4)
另外，前述(表達式4)表示關(guān)于之前參照圖4所述的像素信息合并圖像的像素值Gb (out)的計算處理，圖8的步驟S12中所執(zhí)行的、基于兩個中間合并像素值的最終像素值計算處理的計算表達式。這里，示出了通過對兩個中間合并像素值的簡單平均來執(zhí)行最終像素值計算的示例。另外，參照圖8和圖9所述的關(guān)于像素信息合并圖像的像素值計算處理示例僅僅是一個示例，還可以進行各種其他處理，諸如在例如設(shè)置權(quán)重系數(shù)期間來設(shè)置通過相加而得到的中點的校正方差的系數(shù)。此外，例如，當具有參照圖2所述的由像素R、Gr、Gb和B構(gòu)成的貝爾陣列或其他像素配置時，可以單獨地計算例如應(yīng)用于像素信息合并圖像的每個像素的計算的權(quán)重系數(shù)Wh和I，并且該配置可使用針對先前處理的鄰近像素已算出的權(quán)重值。參照圖10描述已算出的該權(quán)重系數(shù)的使用示例。圖10所示的示例是描述當在像素信息合并單元處首先執(zhí)行輸出圖像的Gb像素的計算并且此后執(zhí)行B像素的計算時的處理示例的圖。在圖10中，依據(jù)參照圖9 (I)所述的系數(shù)設(shè)置，根據(jù)以下表達式執(zhí)行中間合并像素值[Gb(I)]和[Gb (2)]的計算。輸出[Gb(I)] = [Gb (0,0) X Whi+[Gb (0，I) X (Gain) XWlJ輸出[Gb(I)] = [Gb (I, O) X WH2]+ [Gb (1，I) X (Gain) XffL2]根據(jù)參照圖9 (I)所述的系數(shù)的設(shè)置狀態(tài)來設(shè)置輸出[Gb(I)]的計算表達式中所不的系數(shù)Whi和Wu。根據(jù)參照圖9 (I)所述的系數(shù)的設(shè)置狀態(tài)來設(shè)置輸出[Gb(2)]的計算表達式中所不的系數(shù)Wh2和Wlj2。當已算出這些系數(shù)時，可將用于計算像素信息合并圖像中的B像素的系數(shù)，即與圖10中所示的像素B (P)和像素B(q)相乘的權(quán)重系數(shù)，配置為是使用在前述[Gb(I)]的計算表達式中所使用的系數(shù)Whi和Wu以及在[Gb (2)]的計算表達式中所使用的系數(shù)Wh2和來計算的，。例如，作為對應(yīng)于圖8中的步驟Sll的處理，針對B的中間合并像素B(I)的計算表達式如下。輸出[B(I)]= [B(P) XffHb] + [B(q) X (Gain) XffLb]因此，描述了計算表達式。例如，該表達式中所使用的系數(shù)WHb和Wu3被計算如下。Wsb=(UW112)/2ffLb=(ffL1+ffL2)/2以此方式，將用于向B賦予權(quán)重的系數(shù)可被配置為是基于系數(shù)Gb來計算的。結(jié)果，如下處理取決于輸出圖像的每個像素的顏色而提高高靈敏度像素信息或低靈敏度像素信息的貢獻比率:該處理用于使權(quán)重系數(shù)穩(wěn)定化，而不會因輸出圖像的每個像素的顏色而引起大的變化。這與通過使像素區(qū)域的曝光時間均勻來使輸出圖像穩(wěn)定化相聯(lián)系，結(jié)果，這有助于防止由于諸如當正拍攝的物理對象移動時的曝光時段的變化等而產(chǎn)生假色。
(2-2.第二實施例)接下來，作為本發(fā)明的第二實施例，成像裝置的配置和處理示例將被描述為具有如下配置:其中，在AD轉(zhuǎn)換電路中從多個像素中選擇一個像素，并且基于所選擇的像素執(zhí)行輸出圖像的像素值的設(shè)置。圖11是示出與本發(fā)明的第二實施例相關(guān)的成像裝置300的示例配置的圖。成像裝置300包括如圖所示的像素部301、輸出選擇單元302和計算單元303。輸出選擇單元302被配置為如圖12所示的與來自像素部301的每列的輸出像素相對應(yīng)的各個輸出選擇單元302a、302b等，并且每個輸出選擇單元被配置為包括比較器321、計數(shù)器322和確定單元323。計算單元303包括像素信息合并單元311。另外，圖像處理裝置(成像裝置)的整體配置類似于第一實施例，并且具有如之前參照圖2所述的配置。盡管圖11中未示出，但是來自控制單元105的控制信號被輸入到像素部301、輸出選擇單元302和計算單元，其中，執(zhí)行各種類型的控制。像素部301的配置和處理類似于第一實施例，其中以兩行為單位設(shè)置具有長曝光的高靈敏度像素行和具有短曝光的低靈敏度像素行。曝光處理類似于第一實施例，其中類似于如之前參照圖6所述的那樣執(zhí)行快門控制，因此，以兩行為單位設(shè)置具有長曝光的高靈敏度像素行和具有短曝光的低靈敏度像素行。然而，根據(jù)本實施例，曝光后的累積電荷的讀出序列不同于先前的第一實施例。根據(jù)先前的第一實施例以及如參照圖6所述，從上面開始按順序執(zhí)行從第一到第二、第三、第四、第五等各行的讀出。相比之下，根據(jù)第二實施例并如圖11所示，讀出順序被設(shè)置如下。第一行(高靈敏度像素行)，第三行(低靈敏度像素行)，第二行(高靈敏度像素行)，第四行(低靈敏度像素行)，第五行(高靈敏度像素行)，第七行(低靈敏度像素行)，第六行(高靈敏度像素行)，等等。如前所述，從上面開始在高靈敏度像素行與低靈敏度像素行之間交替執(zhí)行讀出處理。這樣，所讀出的像素值(累積電荷)被順序地輸出到輸出選擇單元302的比較器321。比較器321針對每列來順序地輸入高靈敏度像素值和低靈敏度像素值。例如，關(guān)于左邊緣列(第一列)，首先輸入作為高靈敏度像素行的第一行中的[Gb(0，0)]，接著輸入作為低靈敏度像素行的第三行中的同一顏色的[Gb(0，I)]。類似地，對于第二列，輸入作為高靈敏度像素行的第一行中的[B]，接著輸入作為低靈敏度像素行的第三行中的同一顏色的[B].
以此方式，針對每列，同一顏色的像素值被輸入到比較器321，其中首先輸入高靈敏度像素值、此后輸入低靈敏度像素值。
比較器321基于來自每個像素的輸出電荷來生成數(shù)字數(shù)據(jù)，并且將其輸出到計數(shù)器322。根據(jù)本實施例，將描述可輸出每個信號的10比特(O至1032)的數(shù)字像素值的設(shè)置。像素值=0至1023比較器321將數(shù)字數(shù)據(jù)設(shè)置為該范圍內(nèi)的與來自每個像素的輸出電荷相對應(yīng)的關(guān)于每個像素的值，并將其輸出到計數(shù)器322。首先，比較器321生成表示高靈敏度像素的像素值的數(shù)字數(shù)據(jù)，將其輸出到計數(shù)器322，并接著將表示同一顏色的低靈敏度像素的像素值的數(shù)字數(shù)據(jù)輸出到計數(shù)器322。首先，計數(shù)器322對從比較器321輸入的高靈敏度像素的數(shù)字值進行計數(shù)。確定單元323確定首先從比較器321輸入的高靈敏度像素的數(shù)字值是否等于或大于512，512是10比特的數(shù)(O至1032)的值的一半。當高靈敏度像素的數(shù)字值等于或大于512時，高靈敏度像素信息、即表示高靈敏度像素的像素值的數(shù)字數(shù)據(jù)被放棄(被初始化)。接下來，讀出低靈敏度像素值，并且將低靈敏度像素的像素信息作為數(shù)字值輸入到計數(shù)器322。然后，輸出該數(shù)字值。相比之下，如果高靈敏度像素的數(shù)字值小于512，則計數(shù)器322按原樣保存高靈敏度像素信息，并且將其設(shè)置為不利用低靈敏度像素信息來重寫。當對于該處理，高靈敏度像素的數(shù)字值等于或大于512時，存在高靈敏度像素飽和的潛能，并且由于低靈敏度像素信息還被確定為良好，因此放棄高靈敏度像素信息，并且將低靈敏度像素信息輸入到計數(shù)器322。相反，當高靈敏度像素的數(shù)字值小于512時，不存在高靈敏度像素飽和的潛能，并且由于低靈敏度像素信息還被確定為較差，因此將高靈敏度像素信息按原樣保存在計數(shù)器322 中。另外，如前所述，已將用于確定選擇哪個值的確定閾值描述為像素值的一半，但可根據(jù)成像裝置的特性等來確定該閾值。以此方式，通過作為AD轉(zhuǎn)換電路單元中所配置的輸出選擇單元的比較器321、計數(shù)器322和確定單元323來執(zhí)行對像素信息的選擇，此后，類似于前述第一實施例(圖8中的步驟S12的處理)，對水平方向上的像素信息進行合并，并且輸出一個圖像信息。另外，可在成像元件內(nèi)執(zhí)行垂直方向上的選擇，或者可通過成像元件外部的LSI來處理垂直方向。圖13所示的流程圖描述了與圖11所示的本發(fā)明的第二實施例相關(guān)的成像裝置300的像素值選擇處理的序列。首先，在步驟SlOl處，比較器321生成從像素部301讀出的高靈敏度像素的像素值的數(shù)字數(shù)據(jù)。另外，圖13所示的流程被描述為Gb像素的讀出處理的示例。在步驟S102處，計數(shù)器322對從比較器321輸入的高靈敏度像素的像素值的數(shù)字數(shù)據(jù)進行計數(shù)，并且確定其是否小于作為10比特的值(O至1023)的一半的512。當高靈敏度像素的像素值的數(shù)字數(shù)據(jù)小于512時，處理進行到步驟S103，反之，當該數(shù)字數(shù)據(jù)等于或大于512時，處理進行到步驟S105。當高靈敏度像素的像素值的數(shù)字數(shù)據(jù)小于512時，處理進行到步驟S103，保存高靈敏度像素的像素值的數(shù)字數(shù)據(jù)，并且將其設(shè)置為不利用作為下一輸入值的、與同一顏色的低靈敏度像素的像素值相對應(yīng)的數(shù)據(jù)來重寫。
接下來，處理進行到步驟S104，并且輸出高靈敏度像素的像素值的數(shù)字值。反之，在步驟S102處，當高靈敏度像素的像素值的數(shù)字數(shù)據(jù)等于或大于512時，處理進行到步驟S105，丟棄與高靈敏度像素的像素值相對應(yīng)的數(shù)據(jù)，并且保存作為下一輸入值的、與同一顏色的低靈敏度像素的像素值相對應(yīng)的數(shù)字值。接下來，處理進行到步驟S106，并且輸出低靈敏度像素的像素值的數(shù)字值。以此方式，根據(jù)本實施例，從像素部讀出同一顏色的高靈敏度像素的像素值和低靈敏度像素的像素值，如果首先讀出的高靈敏度像素的像素值小于指定閾值(例如，為最大值的一半的值)，則選擇并輸出高靈敏度像素的像素值，而如果首先讀出的高靈敏度像素的像素值等于或大于指定閾值(例如，為最大值的一半的值)，則選擇并輸出低靈敏度像素的像素值。作為該處理的結(jié)果，針對亮像素區(qū)域來選擇并輸出低靈敏度像素的像素值，針對相對暗的像素區(qū)域來選擇并輸出高靈敏度像素的像素值，丟棄飽和像素值以及具有差的SN比的像素值，因此，可選擇具有高準確度的像素值，并可確定輸出像素的像素值。(2-3.第三實施例)接下來，作為本發(fā)明的第三實施例，將參照圖14描述在像素信息合并單元之后的灰度轉(zhuǎn)換單元的配置。圖14是示出與第三實施例相關(guān)的成像裝置400的配置的圖。圖14所示的配置具有灰度轉(zhuǎn)換單元412，該灰度轉(zhuǎn)換單元412設(shè)置在先前被描述為第一實施例的圖3所示的成像裝置的下游側(cè)。其他配置與如圖3所示的第一實施例的配置相同。另外，圖像處理裝置(成像裝置)的整體配置類似于第一實施例，并且具有之前參照圖2所述的配置。關(guān)于圖14所示的成像裝置400，像素部401包括例如之前參照第一實施例的圖4所述的RGbGrB像素的貝爾陣列，并且在控制單元105的控制下，以兩行為單位執(zhí)行長曝光和短曝光。依據(jù)根據(jù)第一實施例的圖6所示的序列來執(zhí)行曝光序列。通過來自控制單元105的控制(快門控制)來以像素區(qū)域為單位(例如以行(或線)為單位)將像素部401設(shè)置成不同的曝光時間，輸出高靈敏度像素信息451，該高靈敏度像素信息451是來自具有長曝光的行的基于長曝光的累積電荷。此外，輸出低靈敏度像素信息452,低靈敏度像素信息452是來自具有短曝光的行的基于短曝光的累積電荷。計算單元402輸入從像素部401輸出的高靈敏度像素信息451和低靈敏度像素信息，并且基于該輸入信息來在像素信息合并單元411處生成像素信息合并圖像。以與參照第一實施例的圖4以及圖7至圖10所述的合并處理相同的方式來執(zhí)行該合并處理。也就是說，輸入同一顏色的高靈敏度像素信息和低靈敏度像素信息，并且應(yīng)用前述(表達式I)或者(表達式2)至(表達式4)來執(zhí)行像素信息合并圖像的像素值計算和生成像素信息合并圖像。根據(jù)第三實施例，灰度轉(zhuǎn)換單元412設(shè)置在該像素信息合并單元411之后。灰度轉(zhuǎn)換單元412對像素信息合并單元411所生成的像素信息合并圖像(例如圖4 (b))的每個像素的像素值的灰度進行轉(zhuǎn)換。具體地，當像素信息合并單元411生成的像素信息合并圖像的每個像素的像素值具有14比特(0至16383)的灰度時，執(zhí)行處理，以將每個像素的像素值的灰度轉(zhuǎn)換為10比特(0至1023)并將其輸出。也就是說，在減小每個像素的比特計數(shù)之后生成并輸出圖像。
通過長曝光圖像與短曝光圖像的合并而生成的具有寬動態(tài)范圍的圖像趨向于增加每個像素的信息的比特計數(shù)。例如，對于以10比特正常操作的成像元件，當在內(nèi)部增加16倍的靈敏度比率并且生成具有16倍大的值的寬動態(tài)范圍的圖像時，該值變?yōu)?4比特的數(shù)。存在如下情況:具有以此方式增加的比特計數(shù)的圖像可能不能被作為下游信號處理單元的DSP來處理。為了防止這種情況，灰度轉(zhuǎn)換單元412執(zhí)行灰度轉(zhuǎn)換處理，以將每個像素的比特計數(shù)壓縮為可被作為下游信號處理單元的DSP所處理的比特水平。將參照圖15描述由灰度轉(zhuǎn)換單元412執(zhí)行的比特計數(shù)壓縮處理的示例。在圖15中，橫軸表示灰度轉(zhuǎn)換單元412的輸入圖像的每個像素的灰度[14比特(O至16383)]，并且縱軸表示來自灰度轉(zhuǎn)換單元412的輸出圖像的每個像素的灰度[10比特(O至1023)]。以此方式，灰度轉(zhuǎn)換單元412執(zhí)行處理，以將位計數(shù)減小為小于像素信息合并單元411輸出的多灰度像素值的位計數(shù)小。將該灰度轉(zhuǎn)換之后的圖像數(shù)據(jù)(例如，由每個像素的10比特的數(shù)據(jù)構(gòu)成的圖像)提供到下游信號處理單元103 (DSP)使得能夠毫無問題地在信號處理單元103 (DSP)處進行處理。另外，由灰度轉(zhuǎn)換單元412執(zhí)行的比特計數(shù)壓縮處理使用例如用于減少比特計數(shù)的函數(shù)。可以預(yù)先確定該函數(shù)，或者可從外部裝置輸入對應(yīng)于圖像的函數(shù)或者可在內(nèi)部計算對應(yīng)于圖像的函數(shù)。(2-4.第四實施例)接下來，作為本發(fā)明的第四實施例，將參照圖16來描述如下的實施例，其中，在根據(jù)第三實施例的灰度轉(zhuǎn)換單元之后，設(shè)置用于執(zhí)行諸如去馬賽克和降噪(NR)的攝像裝置信號處理的信號處理單元以及用于執(zhí)行圖像壓縮處理(JPEG等)的編解碼器。圖16是示出與第四實施例相關(guān)的成像裝置500的配置的圖。圖16所示的配置在根據(jù)圖3所示的第三實施例成像裝置的灰度轉(zhuǎn)換單元之后設(shè)置了用于執(zhí)行諸如去馬賽克和降噪(NR)的攝像裝置信號處理的信號處理單元513以及用于執(zhí)行圖像壓縮處理(JPEG等)的編解碼器514。另外，類似于第一實施例的配置，圖像處理裝置(成像裝置)的整體配置具有之前參照圖2所述的配置，或者配置具有已從圖2的配置中省略的信號處理單元103。當圖16中的信號處理單元513執(zhí)行圖2的配置中的信號處理單元103所執(zhí)行的全部處理時，可以省略下游信號處理單元103。當在不同信號處理單元處執(zhí)行不同處理時，該配置可包括兩個信號處理單元。關(guān)于圖16所示的成像裝置500，像素部500例如包括如之前參照第一實施例的圖4所述的由R、Gb、Gr和B像素構(gòu)成的貝爾陣列，并且在控制單元520的控制下，以兩行為單位執(zhí)行長曝光和短曝光。依據(jù)根據(jù)第一實施例的圖6所示的序列來執(zhí)行曝光序列。根據(jù)本實施例，所示的示例具有設(shè)置在成像裝置中的控制單元520。通過來自控制單元520的控制(快門控制)，以像素區(qū)域單位(例如，以行(或線)為單位)將像素部501設(shè)置為不同曝光時間。從具有長曝光的行輸出作為基于長曝光的累積電荷的高靈敏度像素信息551。此外，從具有短曝光的行輸出作為基于短曝光的累積電荷的低靈敏度像素信息552。計算單元502輸入從像素部501輸出的高靈敏度像素信息551和低靈敏度像素信息552，并且基于該輸入信息，在像素信息合并單元511處生成像素信息合并圖像。以與參照第一實施例的圖4以及圖7至圖10所述的合并處理相同的方式來執(zhí)行該合并處理。也就是說，輸入同一顏色的高靈敏度像素信息和低靈敏度像素信息，并且應(yīng)用前述(表達式I)或者(表達式2)至(表達式4)來執(zhí)行像素信息合并圖像的像素值計算和生成像素信息合并圖像。根據(jù)第四實施例，在像素信息合并單元511之后設(shè)置了根據(jù)第三實施例的灰度轉(zhuǎn)換單元512、用于執(zhí)行諸如去馬賽克和降噪(NR)的攝像裝置信號處理的信號處理單元513、以及用于執(zhí)行圖像壓縮處理(JPEG等)的編解碼器514。通過實現(xiàn)這些種類的功能，可省略在成像元件下游的信號處理單元，或者替選地，可簡化在成像元件下游的信號處理單元。(2-5.第五實施例)接下來，作為本發(fā)明的第五實施例，將描述成像裝置中的像素部的曝光控制的新實施例。根據(jù)之前參照圖4所述的第一實施例，該配置設(shè)置了用于以像素部的兩行為單位來執(zhí)行長曝光處理的高靈敏度像素區(qū)域、以及用于以像素部的兩行為單位來執(zhí)行短曝光處理的低靈敏度像素區(qū)域。也就是說，創(chuàng)建了一種設(shè)置，以針對每行只對長曝光或短曝光中的一種來單獨地執(zhí)行曝光處理。第五實施例是如下配置:其使得能夠基于控制信號來針對每行以顏色信號(R、Gr、Gb和B)為單位來設(shè)置長曝光處理或短曝光處理，而沒有設(shè)置以這些行為單位被固定的曝光時間。圖17示出了與本實施例相關(guān)的成像裝置的像素部的配置示例。如圖17所示，像素部的配置像素(R、Gr, Gb和B)中的每一個通過兩條控制線連接。這些線表示控制信號A和控制信號B的每條線。這些控制信號是從控制單元輸入的控制信號，并且如圖17所示，對于第一、第三、第五和所有奇數(shù)行，控制信號Al、A3、A5等連接到Gb像素，以及控制信號B1、B3、B5等連接到B像素。此外，對于第二、第四、第六和所有偶數(shù)行，控制信號A2、A4、A6等連接到R像素，以及控制信號B2、B4、B6等連接到Gr像素。以此方式，該配置將控制線用作針對僅一種顏色的顏色信號。另外，在非專利文獻〃ISSCC2006Dig.Tech.Papers, pp.492-493(2)〃 中描述了這種對應(yīng)于顏色的控制信號連接配置，并且通過使用在該文獻中所描述的配置，使得能夠?qū)崿F(xiàn)通過控制信號而進行的對應(yīng)于每個像素的控制。根據(jù)第五實施例，利用對應(yīng)于每種顏色的控制信號來對應(yīng)于每種顏色而執(zhí)行曝光時間控制。圖17中所示的控制信號Al至An以及BI至Bn中的任一個可被設(shè)置為控制單元105 (參照圖3)處的可選控制信號，這使得能夠設(shè)置各種曝光時間。具體地，(I)用于針對長曝光控制來開始曝光和停止曝光(讀出開始)的定時控制信號，
(2)用于針對短曝光控制來開始曝光和停止曝光(讀出開始)的定時控制信號，這些控制信號中的任一個可被設(shè)置為控制信號Al至An和BI至Bn。此外，該設(shè)置不限于長曝光和短曝光這兩種曝光時間，因此可以顏色為單位改變曝光時間。也就是說，使得能夠以像素部的每個顏色為單位進行控制，并且可以針對每種顏色選擇最佳靈敏度來生成輸出圖像。將參照圖18描述曝光時間控制的具體示例。圖18是與之前參照第一實施例的圖6所述的曝光時間控制示例相對應(yīng)的圖?？v軸表示像素部的像素行，而橫軸表示經(jīng)過的時間?？v軸的行以像素部的第一行開始于上面，并按順序下降至下面的行(行號=2，3，4，5，…)。根據(jù)參照圖6所述的示例，I至2行、5至6行、9至10行等被設(shè)置為高靈敏度像素區(qū)域以接收長曝光處理，以及3至4行、7至8行、11至12行等被設(shè)置為低靈敏度像素區(qū)域以接收短曝光處理，以及一行中所包括的像素全部以相同曝光時間設(shè)置。相比之下，根據(jù)本實施例，可以每種顏色R、Gr、Gb和B為單位設(shè)置不同曝光時間控制。在圖18中示出具體示例。

在圖18所示的示例中，為Gb和R設(shè)置第一長曝光時間和第一短曝光時間，以及為Gr和B設(shè)置第二短曝光時間，因此，為Gb和R設(shè)置的長曝光時間和短曝光時間不同于為Gr和B設(shè)置的長曝光時間和短曝光時間。另外，在圖18中，設(shè)置顏色對Gb和R以及顏色對Gr和B，并且單個對是具有相同曝光時間的兩種顏色的組合，但長曝光時間和短曝光時間的設(shè)置對于每個顏色R、Gr、Gb和B可以是不同的。以此方式，通過應(yīng)用本實施例，使得能夠以像素部中的每種顏色為單位進行控制，并且可以針對每種顏色選擇最佳靈敏度來生成輸出圖像。(2-6.第六實施例)接下來，作為本發(fā)明的第六實施例，將描述成像裝置中的像素部的新配置示例。圖19示出了第六實施例的成像裝置中的像素部的配置示例。圖19所示的像素陣列(陣列結(jié)構(gòu))是旋轉(zhuǎn)了 45度的、參照第一實施例的圖4 (a)所述的像素部的陣列。對應(yīng)于圖19所示的陣列來以行為單位執(zhí)行曝光時間控制。如圖19所示，第一行以Gb像素和Gr像素構(gòu)成，第二行以B像素和R像素構(gòu)成，并且對于向下的第三行、第四行、第五行等，重復(fù)這個模式，在該模式中，以Gb像素和Gr像素構(gòu)成的各行與以B像素和R像素構(gòu)成的各行交替。如果對應(yīng)于圖19所示的像素陣列以行為單位執(zhí)行曝光控制，則可以以前述的顏色像素對為單位執(zhí)行曝光時間控制，這是對Gb與Gr的分組以及對B與R的分組。(2-7.第七實施例)
接下來，作為本發(fā)明的第七實施例，將描述由成像裝置的像素信息合并單元進行的曝光控制和合并處理的變型示例。圖20示出了第七實施例的成像裝置的曝光控制和合并處理的示例。圖20類似于前述第一實施例的圖4，并且示出了(a)像素部的拍攝圖像，以及(b)通過像素信息合并單元進行的合并處理而生成的輸出圖像。另外，(a)和(b)兩者都是僅示出拍攝圖像或像素信息合并圖像的部分區(qū)域的圖。根據(jù)先前的第一實施例，該配置以像素部的兩行為單位而設(shè)置了執(zhí)行長曝光處理的高靈敏度像素區(qū)域以及執(zhí)行短曝光處理的低靈敏度像素區(qū)域。根據(jù)該第七實施例以及如圖20 (a)所示，第一至第二行是執(zhí)行長曝光的高靈敏度像素區(qū)域，第三至第四行是執(zhí)行中等曝光的中等靈敏度像素區(qū)域，第五至第六行是執(zhí)行短曝光的低靈敏度像素區(qū)域，同樣，對于接下來的行，該配置以兩行為單位重復(fù)高靈敏度像素區(qū)域、中等靈敏度像素區(qū)域和低靈敏度像素區(qū)域。本實施例的成像裝置配置與第一實施例的成像裝置配置相同，并且包括圖3所示的配置。像素信息合并單元輸入同一顏色的高靈敏度像素、中等靈敏度像素和低靈敏度像素的每種類型的像素中的三個，并且基于這9個像素的總像素值來確定像素信息合并圖像的一個輸出像素的像素值。例如，如圖20所示，當確定圖20 (b)中的像素信息合并圖像的一個像素Gb (out)的像素值時，輸入像素值如下。(I)高靈敏度像素:Gb (0,0)、Gb (1,0)、Gb (2,0)(2)中等靈敏度像素:Gb (0, l)、Gb(l，I)、Gb (2，I)(3)低靈敏度像素:Gb (0,2)、Gb (1,2)、Gb (2，2)像素信息合并單元基于這9個像素的像素值，計算像素信息合并圖像的一個像素的像素值Gb (out)。像素信息合并單元例如根據(jù)以下表達式(表達式I)來計算圖20 (b)所示的Gb(out)的像素值。Gb (out) = [Gb (0，0) X kl] + [Gb (1，0) X k2] + [Gb (2，0) X k3] + [Gb (0，I) X (Gainl) Xk4] + [Gb(l, I) X (Gainl) Xk5] + [Gb(2, I) X (Gainl) Xk6] + [Gb (0, 2) X (Gain2) Xk7] + [Gb(
I,2) X (Gain2) X k8] + [Gb (2，2) X (Gain2) Xk9].....(表達式 5)其中，Gb (x，y)是拍攝圖像在坐標(x，y)的位置處的像素值，Gainl和Gain2是用于補償靈敏度比率的增益值(預(yù)定值)，kl至k9是用于設(shè)置輸入像素的貢獻比率的系數(shù)，并且是滿足kl+k2+k3+k4+k5+k6+k7+k8+k9=l 的關(guān)系的系數(shù)。另外，例如可通過如下處理來執(zhí)行系數(shù)kl至k9的設(shè)置:該處理用于設(shè)置與拍攝對象的亮度相對應(yīng)的設(shè)置值。根據(jù)本實施例，該配置使用包括拍攝圖像中所包括的高靈敏度像素、中等靈敏度像素和低靈敏度像素的九個像素的像素值，來執(zhí)行針對像素信息合并圖像的一個像素的像素值的計算處理。通過使用具有三種靈敏度水平的像素值，可計算例如對應(yīng)于亮度的最佳像素值。(2-8.第八實施例)接下來，作為本發(fā)明的第八實施例，將描述成像裝置中的像素部的變型示例。根據(jù)第一實施例以及如之前參照圖4所述，使用由R、Gr、Gb和B像素構(gòu)成的貝爾陣列描述了示例配置。本發(fā)明的圖像處理裝置也可支持如下配置:該配置包括由不同于該貝爾陣列的陣列所形成的像素部。圖21示出了這樣的像素陣列的示例。圖21所示的像素陣列是RGBW像素的像素陣列。這里，W表示透明(白色)。當對圖像執(zhí)行合并處理時，關(guān)于W像素和G像素，與參照圖4的先前描述類似，輸入高靈敏度像素和低靈敏度像素各自兩個的總共四個像素，針對這些像素根據(jù)前述(表達式I)執(zhí)行計算。然而，如圖21所示的3X3像素區(qū)域中的R像素和B像素僅包括高靈敏度像素和低靈敏度像素的每種像素中的一個，因此，基于一個高靈敏度像素和一個低靈敏度像素的像素值來計算圖像信息合并圖像的輸出像素值。即使當執(zhí)行與本實施例相關(guān)的、應(yīng)用于RGBW陣列的像素信息合并處理時，也輸入高靈敏度像素和低靈敏度像素各自的至少一個像素，并且通過應(yīng)用具有這些不同靈敏度的像素值來確定像素信息合并圖像的像素值。例如，當拍攝對象亮且高靈敏度像素飽和時，將低靈敏度像素的像素值用于確定像素信息合并圖像的像素值，并且當拍攝對象暗并且低靈敏度像素的像素值的SN比差時，執(zhí)行諸如使用高靈敏度像素的像素值、設(shè)置大的權(quán)重、以及執(zhí)行混合等的處理。作為這種處理的結(jié)果，可生成并輸出具有已以更高準確度設(shè)置了像素值的寬動態(tài)范圍的圖像。參照具體實施例詳細描述了本技術(shù)。然而，明顯的是，在不脫離本發(fā)明的本質(zhì)的情況下，本領(lǐng)域技術(shù)人員可對實施例進行變型或替代。也就是說，這些實施例是用于公開本發(fā)明的示例，并且不應(yīng)被解釋為限制性的。為了確定本發(fā)明的本質(zhì)，應(yīng)該參考權(quán)利要求部分。此外，在整篇說明書中所述的系列處理可由硬件、軟件或兩者的組合配置來執(zhí)行。當由軟件來執(zhí)行處理時，已記錄有處理序列的程序可以被安裝到由專用硬件構(gòu)成的計算機中的存儲器并在該存儲器處執(zhí)行，或者可以是安裝到可執(zhí)行各種處理的通用計算機并由該通用計算機執(zhí)行的程序。例如，程序可預(yù)先記錄在記錄介質(zhì)上。除了從記錄介質(zhì)安裝到計算機上之外，程序可以經(jīng)由諸如LAN (局域網(wǎng))或互聯(lián)網(wǎng)的網(wǎng)絡(luò)來接收，并且可以安裝到諸如內(nèi)部硬盤的記錄介質(zhì)。另外，在該說明書中所述的各種處理不限于按根據(jù)說明書的序列順序執(zhí)行，該處理可以按期望或者對應(yīng)于執(zhí)行處理的裝置的處理能力來并行執(zhí)行，或者可單獨地執(zhí)行。此夕卜，本說明書中的系統(tǒng)是多個裝置的邏輯分組配置，并且每種配置的裝置不限于同一物理殼體。工業(yè)應(yīng)用性根據(jù)本發(fā)明的第一實施例的配置以及如前所述，裝置和方法被實現(xiàn)為基于一幅拍攝圖像來生成具有寬動態(tài)范圍的圖像。具體地，執(zhí)行曝光時間控制，其中，以像素部的行為單位、以像素區(qū)域為單位設(shè)置不同曝光時間，并且獲得多個不同像素信息，這多個不同像素信息是以不同曝光來設(shè)置的像素的像素值。例如，從長曝光像素獲得高靈敏度像素信息，并從短曝光像素獲得低靈敏度像素信息，并且基于具有這些不同靈敏度的像素信息來計算輸出圖像的像素值。例如，對于高光亮度區(qū)域，靈敏度像素信息可能具有飽和值，因此，對低靈敏度像素信息設(shè)置大的權(quán)重，此外，對于低光亮度區(qū)域，估計低靈敏度像素信息的SN比是較差的，因此，對高靈敏度像素信息設(shè)置大的權(quán)重，以確定輸出像素值。作為該處理的結(jié)果，可以基于一幅拍攝圖像來實現(xiàn)生成具有寬動態(tài)范圍的圖像。附圖標記列表10 光亮度閾值水平11 高光亮度區(qū)域12 低光亮度區(qū)域101光學(xué)透鏡102成像裝置103信號處理單元105控制單元201像素部202計算單元211像素信息合并單元251高靈敏度像素信息252低靈敏度像素信息300成像裝置301像素部302輸出選擇單元303計算單元321比較器322計數(shù)器323確定單元311像素信息合并單元351高靈敏度像素信息352低靈敏度像素信息400成像裝置401像素部402 計算單元411像素信息合并單元412灰度轉(zhuǎn)換單元451高靈敏度像素信息452低靈敏度像素信息500成像裝置501像素部
502計算單元511像素信息合并單元512灰度轉(zhuǎn)換單元513信號處理單元514編解碼器520控制單元551高靈敏度像素信息552低靈敏度像素信息
權(quán)利要求
1.一種圖像處理裝置，包括: 控制單元，用于執(zhí)行像素或像素區(qū)域單位的曝光時間控制； 像素部，用于通過在所述控制單元的控制下的成像處理來輸出具有多個不同曝光時間的像素信息； 像素信息合并單元，用于通過輸入從所述像素部輸出的具有多個不同曝光時間的像素信息并且執(zhí)行使用該多個像素信息的計算處理，而計算輸出圖像的像素值。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述控制單元以所述像素部的行為單位來執(zhí)行曝光時間控制； 并且，其中，所述像素部輸出來自多個不同的行的具有不同曝光時間的像素信息， 并且，其中，所述像素信息合并單元通過下述計算處理來計算輸出圖像的一個像素的像素值:該計算處理使用從多個不同的行輸入的多個像素信息。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述像素部 從長時間曝光區(qū)域輸出高靈敏度像素信息，并從短時間曝光區(qū)域輸出低靈敏度像素信息， 并且，其中，在所述輸出圖像的像素值的計算處理中， 所述像素信息合并單元 執(zhí)行加法處理，以針對從長時間曝光區(qū)域輸入的高靈敏度信息和從短時間曝光區(qū)域輸入的低靈敏度像素信息來設(shè)置 與拍攝對象的亮度相對應(yīng)的權(quán)重。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，當從長時間曝光區(qū)域輸入的高靈敏度像素信息等于或高于預(yù)定閾值時，所述像素信息合并單元通過如下的計算處理來計算輸出圖像的像素值:該計算處理將所述高靈敏度像素信息的權(quán)重設(shè)置為零或小的數(shù)，并且僅使用從短時間曝光區(qū)域輸入的低靈敏度像素信息或者將該低靈敏度像素信息的權(quán)重設(shè)置為大的數(shù)。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，當從短時間曝光區(qū)域輸入的低靈敏度像素信息低于預(yù)定閾值時，所述像素信息合并單元通過如下的計算處理來計算輸出圖像的像素值:該計算處理將所述低靈敏度像素信息的權(quán)重設(shè)置為零或小的數(shù)，并且僅使用從長時間曝光區(qū)域輸入的高靈敏度像素信息或者將該高靈敏度像素信息的權(quán)重設(shè)置為大的數(shù)。
6.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，當從短時間曝光區(qū)域輸入的低靈敏度像素信息等于或高于預(yù)定閾值時，所述像素信息合并單元通過如下的計算處理來計算輸出圖像的像素值:該計算處理將從長時間曝光區(qū)域輸入的高靈敏度像素信息的權(quán)重設(shè)置為零或小的數(shù)，并且僅使用從短時間曝光區(qū)域輸入的低靈敏度像素信息或者將該低靈敏度像素信息的權(quán)重設(shè)置為大的數(shù)。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述控制單元執(zhí)行曝光時間控制來以所述像素部的兩行為單位設(shè)置長時間曝光區(qū)域和短時間曝光區(qū)域； 并且，其中，所述像素部從所述長時間曝光區(qū)域和所述短時間曝光區(qū)域中的每一個輸出至少一個或更多個像素信息； 并且，其中，所述像素信息合并單元通過下述計算處理來計算輸出圖像的一個像素的像素值:該計算處理使用自從所述長時間曝光區(qū)域輸入的高靈敏度像素信息和從所述短時間曝光區(qū)域輸入的低靈敏度像素信息中的每一個輸入的至少一個或更多個像素信息。
8.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述控制單元通過以所述像素部的行為單位的快門控制來以行為單位執(zhí)行曝光時間控制。
9.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述控制單元通過以所述像素部的顏色為單位的快門控制來以顏色為單位執(zhí)行曝光時間控制。
10.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括: 計數(shù)器，用于對與從所述像素部輸出的長時間曝光區(qū)域的高靈敏度像素的像素值相等的數(shù)字值進行計數(shù)；以及 輸出選擇單元，用于在由所述計數(shù)器計數(shù)的高靈敏度像素的像素值低于預(yù)定閾值時，選擇并輸出該高靈敏度像素的像素值作為所述輸出圖像的計算用像素值； 其中，在由所述計數(shù)器計數(shù)的高靈敏度像素的像素值等于或高于預(yù)定閾值時，所述輸出選擇單元選擇并輸出顏色與該高靈敏度像素相同的短時間曝光區(qū)域的低靈敏度像素的像素值作為所述輸出圖像的計算用像素值。
11.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述像素部 從長時間曝光區(qū)域輸出高靈敏度像素信息，從短時間曝光區(qū)域輸出低靈敏度像素信息，并且從具有長時間曝光與短時間曝光之間的曝光時間的中間時間曝光區(qū)域輸出中間靈敏度像素信息； 并且，其中，在所述輸出圖像的像素值的計算處理中， 所述像素信息合并單元 通過執(zhí)行計算處理以向所述高靈敏度像素信息、所述低靈敏度像素信息和所述中間靈敏度像素信息設(shè)置與拍攝對象的亮度相對應(yīng)的權(quán)重，來計算輸出圖像的像素值。
12.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括: 灰度轉(zhuǎn)換單元，用于執(zhí)行由所述像素信息合并單元生成的所述輸出圖像的每個像素的像素值的比特減少處理。
13.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括: 信號處理單元，用 于對從所述像素信息合并單元生成的輸出圖像執(zhí)行信號處理。
14.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括: 編解碼器，用于對由所述像素信息合并單元生成的輸出圖像執(zhí)行編碼處理。
15.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述像素部具有下述配置:在該配置中，從3X3像素區(qū)域以上的區(qū)域輸出同一顏色的具有不同曝光時間的像素信息。
16.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述像素部包括貝爾陣列或RGBW陣列。
17.一種成像裝置，包括: 成像單元；以及 圖像處理單元，用于執(zhí)行根據(jù)權(quán)利要求1至16中任一項所述的處理。
18.—種由圖像處理裝置執(zhí)行的圖像處理方法，所述方法包括: 控制步驟，其中控制單元執(zhí)行像素或像素區(qū)域單位的曝光時間控制； 像素信息輸出步驟，其中像素部通過在所述控制單元的控制下的成像處理來輸出具有多個不同曝光時間的像素信息；以及 像素信息合并步驟，其中像素信息合并單元通過輸入從所述像素部輸出的具有多個不同曝光時間的像素信息并執(zhí)行使用該多個像素信息的計算處理，來計算輸出圖像的像素值。
19.一種用于利用圖像處理裝置執(zhí)行圖像處理的程序，所述程序包括: 控制步驟，其中控制單元執(zhí)行像素或像素區(qū)域單位的曝光時間控制； 像素信息輸出步驟，其中像素部通過在所述控制單元的控制下的成像處理來輸出具有多個不同曝光時間的像素信息；以及 像素信息合并步驟，其中像素信息合并單元通過輸入從所述像素部輸出的具有多個不同曝光時間的像素信息并執(zhí)行使用該多個像素信息的計算處理，來計算輸出圖像的像素值。 ·
全文摘要
提供了用于基于一幅拍攝圖像來生成寬動態(tài)范圍圖像的裝置和方法。執(zhí)行曝光時間控制，其中以像素區(qū)域單位(諸如像素單元的行單位)來設(shè)置的不同曝光時間，并且獲取多個不同像素信息，即分別具有對其設(shè)置的不同曝光時間的像素的像素值。例如，從長時間曝光像素獲取高靈敏度像素信息，并從短時間曝光像素獲取低靈敏度像素信息，并且基于具有不同靈敏度的像素信息來計算輸出圖像的像素值。例如，在高亮度區(qū)域中，由于存在靈敏度像素信息為飽和值的可能性，因此將低靈敏度像素信息的權(quán)重設(shè)置得大，而由于估計在低亮度區(qū)域中的低靈敏度像素信息的SN比低，因此將高靈敏度像素信息的權(quán)重設(shè)置得大，并且確定輸出像素值。
文檔編號H04N5/232GK103190145SQ201180053209
公開日2013年7月3日 申請日期2011年10月24日 優(yōu)先權(quán)日2010年11月12日
發(fā)明者笠井政范 申請人:索尼公司