使用具有縱色像差的透鏡單元的成像系統(tǒng)及其操作方法
【專利摘要】成像單元（100）的透鏡單元（120）具有縱色像差的特征。根據(jù)成像場景，成像傳感器單元（140）拍攝具有不同光譜含量的無色彩校正第一圖像。強度處理單元（202）基于描述所述透鏡單元（120）成像特性的信息，計算第一圖像的寬頻帶亮度清晰度信息。色度處理單元（201）基于第一圖像計算色度信息。合成單元（280）包括計算的色度和亮度信息，以便提供具有例如擴展景深的輸出圖像。成像單元（100）可以設置在例如照相機系統(tǒng)、數(shù)碼顯微鏡或數(shù)碼望遠鏡中。
【專利說明】使用具有縱色像差的透鏡單元的成像系統(tǒng)及其操作方法
【技術領域】
[0001]本發(fā)明主要涉及后拍攝數(shù)字圖像處理技術的領域。實施方式涉及包括具有縱色像差的無色彩校正透鏡單元和用于后拍攝數(shù)字圖像處理的處理單元的成像系統(tǒng)。另一實施方式討論操作成像系統(tǒng)的方法，該成像系統(tǒng)包括具有縱色像差的無色彩校正透鏡單元。
【背景技術】
[0002]F.Guichard 等人在 2009 年 SPIE 的電子成像學報“Extended Depth-of-Fieldusing Sharpness Transport across Colour Channels”討論獲得具有擴展景深的圖像的方法，其中對于給定的對象距離，RGB圖像的至少一個色彩平面包含對焦場景信息。OliverCossairt等人在2010年IEEE的計算攝影國際會議(ICCP)上發(fā)表的“Spectral FocalSweep:Extended Depth of Field from Chromatic Aberrations”提供了光譜聚焦掃描相機，其對利用大的縱色像差透鏡獲得的的二進制圖像展開卷積，以便恢復具有擴展景深的圖像。Shen C.H.和Chen HH在2006年消費電子國際會議(ICCE)上發(fā)表的“Robust focusmeasure for low-contrast images”建議使用用于評估聚焦和清晰度信息的離散余弦變換能量措施。
[0003]Manu Parmar 和 Brian Wandell 在 2009 年的學報上發(fā)表的 “ InterleavedImaging:An Imaging System Design Inspired by Rod-Con Vision” 建議米用具有獲得灰度級圖像的高感光單色像素集和獲得彩色圖像的低感光的三色像素集的成像架構。在低光照下，輸出圖像的空間信息主要從灰度級圖像獲取，而在光適應條件下，高感光像素飽和，輸出圖像僅從彩色圖像獲取。在中間視覺條件下，輸出圖像從彩色和灰度級圖像兩者獲取，其中，通過使用距離函數(shù)和相似度函數(shù)，考慮到鄰近的像素值，每個像素值被更新。相似度函數(shù)從各自彩色和灰度級圖像提供信息，而灰度信息的權重由像斑中距離和相似性當前正被評估的鄰近像素周圍的飽和像素的分數(shù)確定。
[0004]S.Chung等人在2010年六月份的光學工程卷49 (6)上發(fā)表的“RemovingChromatic Aberration by Digital Image Processing”建議,通過在不顯不色差的邊緣上分析色彩的變化，消除色像差，用于評估色差信號的范圍限制。違反范圍限制條件的像素值被識別為由色像差產生的彩色條紋，并且用允許的值替代。

【發(fā)明內容】

[0005]本發(fā)明的目的是提供了一種用于以低計算力獲得增強圖像的增強成像系統(tǒng)。所述目的通過獨立權利要求的主題實現(xiàn)。另一實施方式在從屬權利要求中被分別限定。通過下列結合所附附圖的實施方式的詳細描述，本發(fā)明的細節(jié)和優(yōu)勢會變得更加明顯。除非他們彼此排斥。否則，各個實施方式的特征可以被組合。
【專利附圖】

【附圖說明】
[0006]圖1A示出根據(jù)本發(fā)明實施方式的成像系統(tǒng)的示意性框圖，該成像系統(tǒng)包括圖像處理單元和具有縱色像差的無色彩校正透鏡單元。
[0007]圖1B示出圖1A的圖像處理單元的示意性框圖。
[0008]圖2示出根據(jù)本發(fā)明另一個實施方式的成像系統(tǒng)的成像單元的示意性橫截面視圖。
[0009]圖3A示出根據(jù)實施方式的亮度處理單元關于RGB圖像的插入的細節(jié)的示意性框圖。
[0010]圖3B示出根據(jù)實施方式的亮度處理單元關于RGBIR圖像的插入的細節(jié)的示意性框圖。
[0011]圖3C示出根據(jù)本發(fā)明的另一實施方式的亮度處理單元關于解卷積的細節(jié)的示意性框圖。
[0012]圖4A示出用于說明本發(fā)明的效果的光譜感光度的示圖。
[0013]圖4B示出用于說明本發(fā)明效果的常規(guī)亮度的PSF深度方差的示圖。
[0014]圖4C示出用于說明本發(fā)明效果的寬頻帶亮度的PSF深度方差的示圖。
[0015]圖4D示出用于說明本發(fā)明相關效果的色彩透鏡組件的點擴散函數(shù)的示圖。
[0016]圖4E示出用于說明本發(fā)明相關效果的無色彩校正透鏡組件的點擴散函數(shù)的示圖。
[0017]圖4F示出用于說明本發(fā)明效果的包括IR傳感器的光譜感光度的示圖。
[0018]圖5A示出根據(jù)實施方式的關于色度處理單元生成深度映射的細節(jié)的示意性框圖。
[0019]圖5B示出根據(jù)有關IR傳感器的實施方式的關于色度處理單元生成深度映射的細節(jié)的示意性框圖。
[0020]圖5C示出根據(jù)另一實施方式的合成單元細節(jié)的示意性框圖。
[0021]圖6A是示出根據(jù)實施方式的從RGBW圖像獲取輸出圖像的過程的示圖。
[0022]圖6B是示出根據(jù)實施方式的從RGBIR圖像獲取輸出圖像的過程的示圖。
[0023]圖6C是示出根據(jù)實施方式的從RGB圖像獲取輸出圖像的過程的示圖。
[0024]圖6D是示出根據(jù)實施方式的從RGBIR圖像獲取輸出圖像的過程的示圖。
[0025]圖7是指出根據(jù)本發(fā)明另一個實施方式的有關操作成像系統(tǒng)的方法的簡化流程圖。
【具體實施方式】
[0026]作為簡化本發(fā)明文本閱讀的約定，我們將可見光和紅外(IR)照射光譜的任何子范圍稱為“色彩”。特別地，我們將IR稱為色彩，即使這種命名方法從人類視覺的觀點來看是不正確的。例如，僅僅透射IR光譜范圍的照射的過濾器也被稱為“濾色器”。
[0027]圖1示出具有成像單元100的成像系統(tǒng)400。成像系統(tǒng)400可以是移動或靜止照相系統(tǒng)，例如監(jiān)控攝像機系統(tǒng)、用于診斷或外科手術方法的照相機、被嵌入在制造過程控制系統(tǒng)中的照相機、數(shù)碼顯微鏡、數(shù)碼望遠鏡，用于消費和專業(yè)應用的靜止相機或攝像機以及用于遠程控制或游戲應用的檢測手勢或姿勢的照相機的一部分。根據(jù)其他實施方式，成像系統(tǒng)被集成在包括照相機系統(tǒng)的手持設備中，例如像蜂窩電話、個人數(shù)字輔助終端或音樂播放器。[0028]成像單元100包括光圈單元110，其被布置使得穿過光圈單元110的光圈的照射通過透鏡單元120以及入射在成像傳感器單元140上。光圈單元110還可以被安裝在透鏡單元120中，尤其是在透鏡單元120的入瞳平面的位置。
[0029]透鏡單元120可以為單透鏡，微透鏡陣列或包括多個透鏡的透鏡組件。透鏡單元120具有縱色像差的特征，以及成像單元100不包含用于補償縱向(軸)色像差以生成色彩校正圖像的元件。例如，透鏡單元120是由像玻璃或塑料的高色散材料形成的復合透鏡，其中，折射率是入射光波長的函數(shù)，使得焦距隨著波長的函數(shù)而變化。例如，透鏡單元120使紅外照射在第一焦平面Fik成像，可見紅光在焦平面Fk成像，綠光在焦平面Fe成像以及藍光在焦平面Fb成像。
[0030]根據(jù)實施方式，透鏡單元120可以包括用于補償球形和/或場相關像差的補償元件，使得透鏡單元120不呈現(xiàn)或僅呈現(xiàn)微不足道的球形和場相關像差。
[0031]成像傳感器單元140包括多個像素傳感器，其中，每個像素傳感器包括將來自入射照射的光信號轉換為電子信號的光電傳感器。成像傳感器單元140可以以數(shù)字形式輸出包括成像傳感器單元140的所有像素傳感器的像素值的圖像信號。
[0032]成像單元100可以提供灰度級圖像和紅外圖像。根據(jù)其他實施方式，濾色器單元130可以被布置在透鏡單元120與成像傳感器單元140之間。濾色器單元130可以包括多個濾色器部件，其中，每個濾色器部件具有顏色過濾器，例如藍色，紅色，綠色，白色或IR(紅外線)。每個濾色器部件可以被指定給一個單像素傳感器，使得每個像素傳感器接收特定顏色的圖像信息。成像傳感器單元140輸出兩個，三個，四個或更多不同的子圖像，其中，每個子圖像均包括與入射照射特定頻率范圍有關的圖像信息。子圖像中的一個可以描述成像場景的紅外部分。
[0033]根據(jù)成像場景，成像傳感器單元140拍攝不同光譜含量或成分的多個無色彩校正第一圖像，例如，使用“紅色”濾色器的“紅色”圖像，使用“藍色”濾色器的“藍色”圖像，以及使用“綠色”濾色器的“綠色”圖像。第一圖像中的一個可以包括紅外線范圍的至少一部分，并且輸出對應的圖像信號。不同光譜含量的圖像還可以包括具有重疊光譜含量的圖像。例如，成像傳感器單元140可以包括寬頻帶感光像素傳感器，其被指定給具有對整個可見光譜近乎是透明的“白”濾色器的寬頻帶濾色器部件。在下文中，不同光譜含量的第一圖像被稱為色彩平面或圖像，并且可以包括整個可見光譜信息的灰度級圖像，或可以指的是在可見光范圍之外，例如紅外照射的光譜含量。
[0034]圖像處理單元200接收包括亮度信息和色彩信息兩者的色彩平面，并且計算已修改的輸出圖像信號。已修改的輸出圖像信號表示與第一圖像相比已經被降低或增強景深的圖像，或可以是重新聚焦的圖像，或例如具有3D效果特征的圖像。
[0035]已修改的圖像例如可以作為表示彩色圖像的一組數(shù)字值被存儲在成像系統(tǒng)400的非易失性存儲器300中。非易失性存儲器310可以是照相機系統(tǒng)的存儲卡?？晒┻x擇或附加地，已修改的圖像可以在成像系統(tǒng)400的顯示設備上顯示，或可以經由有線或無線通信通道被輸出到連接至成像系統(tǒng)400的另一個系統(tǒng)，或可以被提供給用于進一步處理包含在已修改輸出圖像中的信息的處理系統(tǒng)或應用軟件。
[0036]圖1B更詳細示出圖像處理單元200。根據(jù)亮度信息，強度處理單元202可以基于透鏡參數(shù)，例如描述透鏡單元120的成像特性的PSF (點擴散函數(shù))，計算寬頻帶亮度清晰度信息(清晰強度信息)。寬度亮度與強度圖像相對應?；陬伾畔?，通過校正無色彩校正透鏡單元120的使用產生的色像差，色度處理單元201可以計算色度信息。基于從亮度信息獲得的結果清晰度信息以及基于從色彩信息獲取的校正色像差信息，合成單元280合成已修改的輸出圖像。
[0037]根據(jù)實施方式，強度處理單元202包括亮度預處理單元250，其基于成像單元100的輸出信號，例如色彩平面計算寬頻帶亮度信息。解卷積單元260使用描述透鏡單元120的信息用于基于寬頻帶亮度信息計算寬頻帶亮度清晰度信息(清晰強度信息)。
[0038]圖1A的成像傳感器單元140使用像4X4或2X4RGBW馬賽克圖案的RGBW馬賽克圖案，可以提供例如其中的“白”色彩平面或灰度級圖像。接著，至少在日光條件下，“白”色彩平面可以直接表示被提供給解卷積單元260的寬頻帶亮度信息，以及強度處理單元202基于“白”色彩平面計算清晰強度信息。
[0039]在成像傳感器單元140不輸出“白”色彩平面的地方，亮度預處理單元250可以基于色彩平面計算灰度級圖像，以及可以向解卷積單元260提供已計算灰度級圖像作為寬頻帶亮度信息。
[0040]雖然強度處理單元202與清晰強度信息相關，色度處理單元201與包括IR平面的色彩信息相關。由于透鏡單元120的色像差，不同顏色在不同距離聚焦，其中，對用于透鏡單元的普通色散材料來說，更短光波長比更大波長在更近的深度聚焦。通過測量每個色彩平面的焦距和相互比較已獲得的焦距測量結果，色度處理單元201可以生成粗略深度?；谶@個信息，色彩平面中的色像差可以被校正，以便消除色像差產生的滲色效應，其中所述色彩平面可以包括IR平面。
[0041]色度處理單元201可以包括預處理色彩平面(可以包括IR平面)的色度預處理單元210以及生成使深度值與顏色和IR平面的像素值關聯(lián)的深度映射的深度估值器220。校正單元230校正主要源于使用無色彩校正透鏡單元120而產生的色像差。例如，校正單元230分析不顯示色像差的這種邊緣的色彩變化，以用于評估色差信號的范圍限制，識別由色像差產生的違背色彩邊緣的范圍限制的像素值，并且用允許的值替換這些像素值。根據(jù)另一個實施方式，校正單元230可以例如基于深度映射，在色彩平面之間交換清晰度信息。
[0042]圖1的圖像處理單元200的所有元件可以僅由硬件，例如集成電路、FPGA (現(xiàn)場可編程門陣列)、ASIC (專用集成電路)體現(xiàn)，僅由例如在計算機程序或微控制器存儲器中可以被實施的軟件體現(xiàn)，或由硬件和軟件單元的組合體現(xiàn)。
[0043]圖2指的是成像單元100的示意性橫截面視圖。成像單元100可以包括光圈單元110，其中，在曝光期間，例如，描述場景或物體的圖像的可見光和/或紅外照射穿過光圈單元Iio的光圈115和透鏡單元120，并且入射在成像傳感器單元140上。成像傳感器單元140包括多個像素傳感器145。每個像素傳感器145包括將來自入射光的光信號轉換為電子信號的光電傳感器。像素傳感器145可以形成在半導體基板上。像素傳感器145可以被布置在一個平面或不同平面中。成像單元100可以包括濾色器單元130，其可以被布置在透鏡單元120與成像傳感器單元140之間或光圈單元110與透鏡單元120之間。
[0044]例如，成像傳感器單元140可以具有垂直整合的光電二極管結構，其具有在毗鄰于半導體基板的基板表面形成的光電二極管下面幾微米的基板部件中形成的深光電二極管?？梢姽庠诎雽w基板的表面部件中被吸收，而紅外照射更深穿透到半導體基板中。結果，深光電二極管僅接收紅外照射。在另一個例子中，成像傳感器單元140可以具有以陣列布置光電二極管的橫向整合的光電二極管結構。
[0045]濾色器單元130可以被布置緊密接觸成像傳感器單元140，并且可以包括多個濾色器部件135，其中每個濾色器部件135具有例如綠色、紅色、藍色、紅紫色、黃色、白色或IR(紅外線)的濾色器。每個濾色器部件135被指定給一個單像素傳感器145，使得每個像素傳感器145接收特定顏色圖像的信息。例如，濾色器部件135可以被布置在類似矩陣的列和行中。被指定給不同濾色器的濾色器部件135可以按常規(guī)的方式沿行方向和列方向交替。例如，形成2 X 2矩陣的每四個濾色器部件135可以被布置形成拜耳馬賽克圖案，其中，具有“綠色”濾色器的濾色器部件135被布置在2X2矩陣的第一對角線上，以及具有“紅色”濾色器的一個濾色器部件135和具有“藍色”濾色器的一個濾色器部件135被布置在2X2矩陣的另一個對角線上。通過拜耳馬賽克圖案，考慮到綠色傳送人眼的大多數(shù)亮度信息，“綠色”濾色器的采樣速率為“紅色”和“藍色”濾色器的兩倍。
[0046]根據(jù)另一個實施方式，濾色器部件135可以在2X2單元矩陣中被布置作為第四濾色器形成具有“翡翠綠”的RGBE馬賽克圖案，具有一個青綠色和兩個黃色和一個紅紫色濾色器部件135的CYYM馬賽克圖案，或具有一個青綠色、一個黃色、一個綠色和一個紅紫色濾色器部件135的CYGM馬賽克圖案，上述圖案可以在濾色器單元130中被重復布置。根據(jù)另一個實施方式，濾色器單元130包括單元矩陣馬賽克，其具有三個不同濾色器的三個濾色器部件以及沒有濾色器特性并且對于可見光內的所有色彩是透明的一個透明濾色器部件。透明和色彩濾色器部件135可以被布置形成RGBW馬賽克圖案，例如4x4或2x4RGBW馬賽克圖案。
[0047]濾色器部件135的過濾范圍不限于光譜的可見光部分。根據(jù)實施方式，濾色器130包括對紅外照射而言為透明的至少一種濾色器部件類型。例如，濾色器130為RGBIR過濾器，其中，每個2X2單元矩陣包括一個紅色、一個綠色、一個藍色和一個紅外部件135，并且所述單元矩陣通常被布置形成馬賽克圖案。四個色彩R、G、B和IR可以以任意排列在2X2單元矩陣內被布置。
[0048]紅外照射可以穿過對濾色器部件135之間的紅外照射是透明的部件133中的濾色器單元130。根據(jù)實施方式，濾色器130包括對紅外照射是透明的至少一種濾色器部件類型。例如，濾色器130是RGBIR過濾器，其中每2X2單元矩陣包括一個紅色、一個綠色、一個藍色和一個紅外濾色器部件135，并且所述單元矩陣通常被布置為形成馬賽克圖案。根據(jù)其他實施方式，由于濾色器部件135對紅外照射的頻率范圍部分是透明的，濾色器單元130不包括被指定給深光電二極管的部件。
[0049]由于色像差，每個色彩圖像，藍色、綠色、紅色和紅外從近到遠，分別在不同的距離聚焦，使得通過測量和比較四個圖像平面中每個的清晰度，四層深的映射可以被計算。
[0050]每個透鏡單元120可以被實現(xiàn)為包括多個分段的微透鏡陣列。透鏡單元120的每個透鏡分段可以被指定給一個單像素傳感器145和一個濾色器部件135。
[0051]根據(jù)其他實施方式，透鏡單元120可以被實現(xiàn)為物鏡，其包括適于使物體空間中的物體在傳感器平面上形成圖像的幾個單像素透鏡。由于色像差，每個色彩圖像，藍色、綠色、紅色和紅外線會在不同距離的另一個焦平面聚焦。在涉及具有兩個或更多傳感器平面的成像傳感器單元的實施方式中，在用于紅外照射的第一焦平面與被指定給可見光的任何第二焦平面之間的距離不和第一與第二傳感器平面之間的垂直距離匹配。結果，還在這種情況下，當紅外圖像和可見光圖像兩者同時被拍攝時，第一和第二圖像中的至少一個嚴重不聚焦。
[0052]圖3A指的是亮度預處理單元250的實施方式，利用RGB拜耳馬賽克濾色器，所述亮度預處理單元250從成像傳感器單元140接收濾色第一圖像，例如紅色、綠色和藍色的色彩平面。根據(jù)其他實施方式，成像傳感器單元140可以是提供色彩平面青綠色、黃色、紅紫色和綠色的CYGM傳感器，或提供色彩平面青綠色、黃色和紅紫色的CYYM傳感器。
[0053]對于每個已接收的色彩平面，亮度預處理單元250可以包括內插單元252，由于對應的像素被指定給另一個濾色器，其將用于每個像素平面的那些像素值插入到沒有可用像素值的色彩平面中。通過估算相同色彩平面的鄰近像素值和/或其他色彩平面的相應像素丟失的像素值，內插可以被實現(xiàn)。成像單元100僅輸出色彩通道的至少一些實施方式可以提供分別用于色彩通道中的一個、兩個或全部的加權單元256。每個加權單元256乘以被指定具體值的色彩平面的像素值。重疊單元254可以將已內插和加權的色彩平面加起來，以便獲得被提供給圖1B的解卷積單元260的灰度級圖像。根據(jù)涉及RGB傳感器的實施方式，至少在日光條件下，以相同權重將紅色、綠色和藍色圖像加起來，可以獲得計算的寬頻帶亮度。
[0054]每個加權單元256可以是不可配置的，并且在對色彩平面賦以權重為“I”的權重時，可以是有線連接。另一個實施方式提供可配置的加權單元256和加權控制單元258，其將加權單元256的權重配置為亮度條件的函數(shù)或響應于用戶輸入。權重中的至少一個可以具有值“O”。根據(jù)實施方式，強度圖像是包括白色和紅外的傳感器平面中所有可用光譜成分的加權平均。
[0055]根據(jù)實施方式，成像系統(tǒng)使用解釋場景的光源類型的信息選擇用于獲得已計算寬頻帶亮度的權重。例如，對于至少一個特定光源類型，有關合適色彩權重的信息可以被存儲在加權控制單元258中，其中所述色彩權重是預定義的，使得通過色彩感光度乘以其相應權重獲得的乘以色彩成分總數(shù)的光源的光譜功率密度在可見光譜范圍內是寬的和平坦的，以便實現(xiàn)深度不變PSF。加權控制單元258適于將照亮成像場景的光源分類為日光或人工光，例如白熾燈、螢光燈或LED燈。根據(jù)其他實施方式，加權控制單元258可以處理指示光源類型的用戶命令。
[0056]根據(jù)另一個實施方式，成像單元100基于多層圖像傳感器，其中，像素傳感器層被堆疊在透明的基板內，并且利用紅色、綠色和藍色光穿透不同深度的基板的事實，每個像素傳感器層對進入光的另一個光譜范圍是敏感的。在這樣的情況下，在圖像傳感器提供全標度色彩平面時，例如在堆疊的像素傳感器被使用時，內插單元252可以被忽略。
[0057]圖3B指的是亮度預處理單元250的實施方式，利用RGBIR拜耳馬賽克濾色器，所述亮度預處理單元250從成像傳感器單元140接收濾色第一圖像，例如紅色、綠色、藍色和紅外線的色彩平面。根據(jù)其他實施方式，成像傳感器單元140可以是提供色彩平面青綠色、黃色、紅紫色、綠色和紅外線的CYGMIR傳感器，或提供色彩平面青綠色、黃色、紅紫色和紅外線的CYYMIR傳感器。
[0058]在至少日光的條件下，通過把紅色、綠色、藍色和紅外線圖像的彩色圖像以相同權重加起來，可以獲得計算的寬頻帶亮度。[0059]圖3C指的是解卷積單元260的實施方式。解卷積單元260接收例如向灰度級圖像的寬頻帶亮度信息，以及利用描述透鏡單元120的成像特性的信息來恢復清晰度信息。根據(jù)實施方式，利用描述圖1的透鏡單元120的成像特性的PSF，解卷積單元260對灰度級圖像解卷積。點擴散函數(shù)可以被存儲在存儲器單元262中。解卷積子單元264執(zhí)行解卷積，并且輸出表示清晰強度信息的灰度級圖像。
[0060]根據(jù)圖3C的解卷積單元260的實施方式，存儲器單元可以存儲對焦PSF。根據(jù)其他實施方式，存儲器單元262可以存儲不同景深范圍的幾個點擴散函數(shù)，并且他們中的一個被選擇，作為對相應用戶請求的響應。例如，對焦PSF和對應于用戶可選擇的場景模式像“宏大”，“人像”或“風景”可以被提供，例如在PSF的深度不變不足夠大的時候。
[0061]對于這樣的具有寬頻帶頻譜的物體的更大景深來說，產生的清晰強度信息近乎是深度不變。這是最真實的現(xiàn)實世界中的物體的情況。
[0062]圖4A至圖4E指的是解卷積過程的細節(jié)和效果。在上半部分，圖4A示出RGB圖像傳感器的光譜感光度的第一曲線圖。曲線422是被指定給“紅色”濾色器的像素光譜感光度，曲線424是被指定給“綠色”濾色器的像素光譜感光度，以及曲線426是被指定給“藍色”濾色器的像素的光譜感光度。在所有的曲線圖中，光譜感光度被繪制為波長的函數(shù)。
[0063]在下半部分，圖4A在左手側示出用于說明“常規(guī)”亮度428的光譜感光度的第二曲線圖，以及用于說明寬頻帶亮度429的光譜感光度的第三曲線圖。照慣例，通過RGB到YUV的轉換，亮度從RGB色彩平面獲得，其中在YUV空間中，Y表示灰度級圖像或亮度，以及UV表示兩個不同色彩通道或色度，其中亮度以它密切表示由CIE (國際照明委員會)1931標準定義的視覺亮度功能的方式被定義。傳統(tǒng)的亮度Y通過對紅色信號賦以WR=0.299，藍色信號賦以WB=0.114以及綠色信號賦以WG=0.587的權重，并且將三個加權操作的結果加起來獲得。在第二曲線圖中示出的常規(guī)亮度光譜感光度曲線428通過將這些權重施加到第一曲線圖中的光譜感光度曲線422、424、426產生。
[0064]與此相反，寬頻帶亮度429根據(jù)主要對應于由全色傳感器元件拍攝的黑白圖像，或在日光條件下通過單色傳感器拍攝的灰度級圖像的實施方式計算，其中所述在日光條件下拍攝的圖像具有寬頻帶特性。參考僅輸出色彩通道的圖像傳感器，計算的寬頻帶亮度可以以類似于在HSL色彩空間中定義的強度被計算。根據(jù)涉及RGB傳感器的實施方式，在日光條件下，以相同權重將紅色、綠色和藍色色彩圖像加起來，獲得計算的寬頻帶亮度。
[0065]在不是日光的照明條件下，色彩通道，例如紅色、綠色和藍色通道或紅色、綠色、藍色和IR通道的權重可以被選擇，使得在成像系統(tǒng)給定的可用計算資源的情況下，最終的光譜感光度響應在可見光譜內盡可能寬和平坦的，以便固定深度不變的PSF，但至少比CIE1931標準所定義的視覺亮度功能更加平坦。例如，計算的寬頻帶亮度429在至少IOOnm或200nm的波長范圍內是近乎平坦的，其中在平坦范圍內，感光度改變不會超過10%或20%。根據(jù)另一個實施方式，最終光譜感光度響應的幅值在半個可見光范圍內改變不會超過50%。
[0066]通過對拜耳傳感器、RGB傳感器、RGBIR傳感器或CYGM、CYGMIR、CYYM或CYYMIR傳感器的色彩通道去馬賽克，并且以相等的權重將相應的像素值加起來，或通過將色彩通道加起來，其中所述色彩通道可以包括堆疊或多層RGB或GBIR傳感器的IR通道，可以獲得寬頻帶亮度。在其他照明條件下，權重可以被選擇，使得他們考慮照亮圖像被拍攝場景的光源，例如白熾燈、熒光燈或LED燈的光譜功率密度，使得產生的點擴散函數(shù)比利用相等權重獲得的深度變量更少。
[0067]參考圖4B，下半部分示出為真實透鏡的光譜感光度曲線428估算的一維PSF系列402、404、406，其中所述光譜感光度曲線428是為圖4B上半部分中的常規(guī)亮度給出。與此相反，圖4C示出為真實透鏡的光譜感光度曲線429估算的一維PSF系列412、414、416，其中，所述光譜感光度曲線429是為圖4C上半部分中的寬頻帶亮度給出。每個單PSF描述相應的透鏡裝置對點源與透鏡平面之間給定距離的點源的響應，其中所述透鏡裝置被規(guī)定在所述透鏡平面中。PSF圖從IOcm到無限遠。
[0068]圖4B和圖4C示出了與常規(guī)亮度相比，寬頻帶亮度產生更大深度不變量PSF。更為具體地，在常規(guī)亮度的情況下，近距離的PSF改變更多。圖4B和圖4C指的是日光條件。在其他照明條件下，通過對每個色彩選擇適當?shù)臋嘀兀梢垣@得寬頻帶亮度。根據(jù)實施方式，在白熾燈光中，藍色比綠色具有更多權重，以及綠色比紅色具有更多權重，其中所述權重被選擇，使得產生的亮度具有上述的“寬頻帶亮度”特性。
[0069]圖4D簡要示出用于常規(guī)透鏡裝置的一維PSF系列422、424、426，而圖4E指的是無色彩校正透鏡裝置的一維PSF系列432、434、436。每個單PSF描述相應的透鏡裝置對點源與透鏡平面之間給定距離的點源的響應，其中所述透鏡裝置被規(guī)定在所述透鏡平面中。在兩個圖中的PSF比較示出，對于無色彩校正透鏡裝置，PSF彼此之間偏離的不同距離比色彩校正透鏡裝置的PSF之間偏離的距離明顯更少。由于模糊在很寬的范圍內保持深度近乎不變，雖然具有色像差的透鏡裝置引入模糊，利用推理的已知模糊內核的簡單解卷積過程足以恢復清晰強度信息。根據(jù)實施方式，對應于對焦位置的PSF被選擇用于解卷積。由于對焦位置是對稱位置，并且無色彩校正透鏡在近散焦位置和遠散焦位置時的PSF變化類似并且緩慢，對焦PSF給出最佳的結果。
[0070]對于這樣的具有寬頻帶頻譜的物體的更大景深來說，產生的清晰強度信息近乎是深度不變。這是最真實的現(xiàn)實世界中的物體的情況。
[0071]在上半部分，圖4F示出RGBIR圖像傳感器的光譜感光度的第一曲線圖。曲線421是被指定給IR光譜感光度過濾器的像素的光譜感光度。曲線422是被指定給“紅”濾色器的像素的光譜感光度。曲線424是被指定給“綠”濾色器的像素的光譜感光度。曲線426是被指定給“藍”濾色器的像素的光譜感光度。在所有的曲線圖中，光譜感光度被繪制為波長的函數(shù)。
[0072]在下半部分，圖4F在左手側示出，基于色彩平面紅色、綠色和藍色說明“常規(guī)”亮度428的光譜感光度的第二曲線圖，以及用于說明從包括紅外線的所有色彩平面產生的寬頻帶亮度430的光譜感光度的第三曲線圖。在第二曲線圖中示出的常規(guī)亮度光譜感光度曲線428通過將這些權重施加到第一曲線圖中的光譜感光度曲線422、424、426產生。
[0073]與此相反，寬頻帶亮度430根據(jù)主要對應于由全色傳感器元件拍攝的黑白圖像，或在日光條件下通過單色傳感器拍攝的灰度級圖像的實施方式計算，其中所述在日光條件下拍攝的圖像具有寬頻帶特性。參考僅輸出色彩通道的圖像傳感器，計算的寬頻帶亮度可以以類似于在HSL色彩空間中定義的強度被計算。根據(jù)涉及RGBIR傳感器的實施方式，在日光條件下，以相同權重將紅色、綠色和藍色色彩圖像加起來，獲得計算的寬頻帶亮度。
[0074]在不是日光的照明條件下，色彩通道，例如紅色、綠色、藍色和H紅外線通道的權重可以被選擇，使得在成像系統(tǒng)給定的可用計算資源的情況下，最終的光譜感光度響應在可見光譜內盡可能寬和平坦的，以便固定深度不變的PSF，但至少比CIE 1931標準所定義的視覺亮度功能更加平坦。例如，計算的寬頻帶亮度429在至少IOOnm或200nm的波長范圍內是近乎平坦的，其中在平坦范圍內，感光度改變不會超過10%或20%。根據(jù)另一個實施方式，最終光譜感光度響應的幅值在半個可見光范圍內改變不會超過50%。
[0075]圖5A指的是作為圖1B的色度處理單元201的元件的深度映射估算器220。第一無色彩校正子圖像或色彩平面可以被提供給保持用于下列操作的至少兩個或所有色彩平面的存儲單元222。
[0076]根據(jù)實施方式，利用例如DCT (離散余弦變換)，深度映射單元224比較臨時存儲在存儲單元222中色彩平面之中的相對清晰度信息。例如，在色彩平面中給定位置的每個像素的鄰域，通過計算局部梯度與平均梯度之間差異的歸一化總和，可以測量色彩平面之間的相對清晰度。通過估算成像場景的子區(qū)域或像素的最清晰色彩平面，深度映射單元224可以生成向每個像素或每組像素指定距離信息的深度映射。根據(jù)實施方式，哈達瑪變換被用于清晰度措施。哈達瑪變換的結果類似于DCT的結果，但由于執(zhí)行哈達瑪變換只需要加法和減法，所以計算量更少?？晒┻x擇或附加地，可以使用其他已知的清晰度措施。
[0077]根據(jù)另一個實施方式，梯度在對數(shù)域中計算，由于對數(shù)域使深度估算獨立于照明條件的小變化以及在不同色彩中的強度梯度的小變化，歸一化步驟可以被省略。
[0078]深度映射可以被提供給圖1B的校正單元230。校正單元230校正在色彩平面中的色像差。例如，基于在未示出色像差的邊緣上的色彩變化，校正單元230評估色彩差異的范圍限制，識別違背范圍限制的像素，并且用允許的值替換這些像素的像素值。根據(jù)另一個實施方式，校正單元230可以使用被包括在深度映射中的信息，以便提供校正的色彩圖像。例如，通過將用于相應圖像區(qū)域的最清晰色彩平面的高頻復制到另一個色彩平面，校正單元230可以執(zhí)行清晰度遷移。例如，用于相應子區(qū)域的最清晰色彩平面的高通濾波版本可以被添加到色彩平面的每個已模糊子區(qū)域中。
[0079]圖5B示出具有用于保持IR平面的附加存儲單元222的深度映射估算器220。
[0080]圖5C指的是合成單元280，其將清晰強度信息傳輸?shù)接蓤D1B的校正單元230輸出的校正色彩圖像中，以便獲得例如具有擴展景深的已修改輸出圖像。根據(jù)實施方式，例如在色度信息處理期間，基于已獲得的深度映射，合成單元280將清晰強度信息傳輸?shù)叫Ｕ龍D像中。例如，最清晰光譜成分的清晰強度信息被傳輸?shù)轿葱Ｕ墓庾V成分。根據(jù)另一個實施方式，基于深度映射和指示有關圖片組成的用戶請求的用戶信息，合成單元280傳輸清晰強度信息。所述用戶請求可以關注拍攝后焦距選擇或焦點范圍選擇的實施。
[0081]根據(jù)涉及RGBW或RGBWIR圖像傳感器的實施方式，通過交錯成像途徑，合成單元280可以獲得已修改的輸出圖像，其中，對于例如中型照明條件，輸出圖像從色彩圖像和灰度級圖像兩者獲取，其中所述色彩圖像從色度路徑獲得，所述灰度級圖像從亮度路徑獲得。對于每個色彩平面，通過距離函數(shù)和相似度函數(shù)的方式，基于鄰近像素值，每個像素值被更新，其中所述相似度函數(shù)使用相應色彩圖像和灰度級圖像兩者的信息，并且確定灰度級圖像的信息的權重。例如，通過像斑中距離和相似度當前被評估的鄰近像素周圍的飽和像素的分數(shù)，權重可以被確定。
[0082]不同于常規(guī)途徑，通過考慮無色彩校正透鏡單元的成像特性的過程，例如通過透鏡單元PSF對從成像單元獲得的灰度級圖像解卷積，獲得與色彩圖像結合的灰度級圖像。[0083]根據(jù)涉及RGB或RGBIR圖像傳感器的其他實施方式，通過同樣的交叉成像途徑，合成單元280獲得輸出圖像，其中用于相似度函數(shù)的灰度級圖像可以通過對RGB信號到HSL(色調-飽和度-強度)空間的變換獲得的光強度解卷積獲得。光強度信號或在下面的RGB圖像可以被預處理，以對應PSF更加深度不變的寬頻帶亮度信號。
[0084]圖6A指的是基于輸出R、G、B和W平面的RGBW圖像傳感器的實施方式(602)。在亮度路徑中，W平面可以直接給出寬頻帶亮度信號，或可以被預處理，以表示寬頻帶亮度信號(650)。利用所述透鏡單元的PSF，所述W平面被解卷積(660)。初始的R、G、B平面被提供給色度路徑(610)。在R、G、B平面中的色像差被補償(630)。深度映射可以從初始R、G、B平面獲取(620)，并且被用于補償或校正R、G、B平面中的色像差。解卷積的W平面被校正的R、G、B平面分別交織(680)。包括已修改RGB平面或等效信息的已修改色彩圖像被輸出(690)。
[0085]圖6B指的是基于輸出R、G、B、IR和W平面的RGBWIR圖像傳感器的實施方式(602)。在亮度路徑中，W平面可以直接給出寬頻帶亮度信號，或可以被預處理，以表示寬頻帶亮度信號(650)。利用所述透鏡單元的PSF，所述W平面被解卷積(660)。初始的R、G、B、IR平面被提供給色度路徑(610)。在R、G、B、IR平面中的色像差被補償(630)。深度映射可以從初始R、G、B、IR平面獲取(620 )，并且被用于補償或校正R、G、B、IR平面中的色像差。解卷積的W平面被校正的R、G、B、IR平面分別交織(680)。包括已修改R、G、B、IR平面或等效信息的已修改色彩圖像被輸出(690)。
[0086]圖6C指的是基于輸出R、G和B平面的RGB圖像傳感器的實施方式(602)。所述R、G、B平面可以被預處理，例如被變換為HSI空間(650)，從而獲得色調值、飽和和光強度(652)。利用透鏡PSF，所述光強度被解卷積(660)。初始的R、G、B平面可以被提供給色度路徑(614)，或利用反向HSI變換，從HSI值重新計算R、G、B平面(610)。在R、G、B平面中的色像差被補償(630)。深度映射可以從初始R、G、B平面計算(620)，并且被用于補償或校正R、G、B平面中的色像差。解卷積的光強度被校正的R、G、B平面分別交織(680)。包括已修改RGB平面或等效信息的已修改色彩圖像被輸出(690)。
[0087]圖6D指的是基于輸出R、G、B和IR平面的RGBIR圖像傳感器的實施方式(602)。所述R、G、B平面可以被預處理，例如被變換為HSI空間(650)，從而獲得色調值、飽和和光強度(652)。利用透鏡PSF，所述光強度被解卷積(660)。初始的R、G、B、IR平面可以被提供給色度路徑(614)。在R、G、B、IR平面中的色像差被補償(630)。深度映射可以從初始R、G、B、IR平面計算(620)，并且被用于補償或校正R、G、B、IR平面中的色像差。解卷積的光強度可以被校正的R、G、B、IR平面分別交織(680)。包括已修改R、G、B和IR平面或等效信息的已修改色彩圖像可以被輸出(690)。
[0088]圖7指的是操作成像系統(tǒng)的方法。所述方法提供通過利用具有縱色像差特征的透鏡單元，拍攝成像場景的至少兩個無色彩校正第一圖像，其中所述第一圖像具有不同的光譜成分(702)，并且表示例如不同的色彩平面。通過第一圖像，寬頻帶亮度清晰度信息(704)和色度信息(706)被計算。以計算的色度和寬頻帶亮度清晰度信息被結合，以提供輸出圖像(708)。
[0089]所述計算寬頻帶亮度信息可以包括，利用描述所述透鏡單元的點擴散函數(shù)，對從無色彩校正第一圖像中的至少一個獲取的灰度級圖像解卷積。所述計算色度信息可以包括，對由無色彩校正透鏡單元的使用產生的色像差的效果補償。利用基于色度和寬頻帶亮度清晰度信息兩者的相似度函數(shù)，基于交織過程，所述結合色度和寬頻帶亮度清晰度信息可以被執(zhí)行。
[0090]其中所述在色彩平面之間使用清晰度遷移的途徑準確度僅僅取決于深度估算到更高程度的質量，本發(fā)明途徑使用寬頻帶亮度通道已知的PSF，使得通過執(zhí)行簡單的解卷積，可以獲得擴展的景深或其他效果。本發(fā)明途徑還提供在色度通道中的色像差的校正，其中，由于人眼對色度信號畸變不像亮度畸變一樣敏感的事實，剩下的小色彩人工制品不會使圖像質量下降。
[0091]另一方面，涉及光譜焦點的途徑掃描被包括在色彩平面中的松散的色彩信息，使得滲色的人工制品出現(xiàn)在最終圖像中。在低計算力時，通過單獨處理在第一階段的彼此獨立的寬頻帶亮度清晰度信息和色度信息，以及在第二階段結合他們，本發(fā)明途徑比以前的途徑產生明顯更好的結果，并且可感知地獲得真實世界場景的更有意義的再現(xiàn)。
【權利要求】
1.一種成像系統(tǒng)，包括: 成像單元(100)，包括表現(xiàn)出縱色像差的透鏡單元(120)和被配置為從成像場景中生成不同光譜含量的無色彩校正的第一圖像的成像傳感器單元(140)， 強度處理單元(202)，被配置為基于所述第一圖像和描述所述透鏡單元(120)的成像特性的信息，來計算寬頻帶亮度清晰度信息， 色度處理單元(201)，被配置為基于所述第一圖像計算色度信息，以及 合成單元(280)，被配置為將所述色度信息和所述寬頻帶亮度清晰度信息結合在一起，以提供輸出圖像。
2.根據(jù)權利要求1所述的成像系統(tǒng),其中， 所述成像傳感器單元(140)被配置為輸出灰度級圖像，以及所述強度處理單元(202)被配置為基于所述灰度級圖像計算所述寬頻帶亮度清晰度信息。
3.根據(jù)權利要求1所述的成像系統(tǒng)，其中， 所述成像單元(100)被配置為提供至少兩個經濾色的第一圖像， 所述強度處理單元(202)包括被配置為從所述至少兩個經濾色的第一圖像生成灰度級圖像或強度函數(shù)的亮度預處理單元(250)，以及 所述強度處理單元(202)被配置為基于已生成的所述灰度級圖像，計算所述寬頻帶亮度清晰度信息。·
4.根據(jù)權利要求2或3中任一項所述的成像系統(tǒng)，其中，所述強度處理單元(202)包括: 可控的加權單元(256)，每個加權單元(256)被配置為將可選的權重應用至所述第一圖像中的一個，以及 加權控制單元(258)，被配置為響應于用戶輸入或所述第一圖像的評估，選擇用于所述加權單元(256)的權重。
5.根據(jù)權利要求2至4中任一項所述的成像系統(tǒng)，其中， 所述強度處理單元(202)包括被配置為通過用描述所述透鏡單元(120)的點擴散函數(shù)對所述灰度級圖像解卷積來計算所述寬頻帶亮度清晰度信息的解卷積單元(260)。
6.根據(jù)權利要求1至5中任一項所述的成像系統(tǒng)，其中， 所述色度處理單元(201)包括被配置為從所述第一圖像生成深度映射的深度映射估算器(220)。
7.根據(jù)權利要求6所述的成像系統(tǒng)，其中， 所述色度處理單元(201)進一步包括被配置為校正所述第一圖像中的色像差以從所述第一圖像提供校正圖像的校正單元(230)。
8.根據(jù)權利要求1至7中任一項所述的成像系統(tǒng)，其中， 所述合成單元(280)被配置為將來自所述寬頻帶亮度清晰度信息的清晰度信息傳輸?shù)剿鲂Ｕ龍D像中。
9.根據(jù)權利要求7中任一項所述的成像系統(tǒng)，其中， 所述合成單元(280)被配置為基于所述深度映射將所述寬頻帶亮度清晰度信息的所述清晰度信息傳輸?shù)剿鲂Ｕ龍D像中。
10.根據(jù)權利要求1至6中任一項所述的成像系統(tǒng)，其中，所述合成單元(280)被配置為交織從所述色度處理單元(201)獲得的所述校正圖像和從所述強度處理單元(202)獲得的所述灰度級圖像，其中，對于每個校正圖像，像素值借助于距離函數(shù)和相似度函數(shù)而基于鄰近像素值來更新，所述相似度函數(shù)使用來自相應校正圖像和所述灰度級圖像的信息并確定用于來自所述灰度級圖像的所述信息的權重。
11.根據(jù)權利要求9所述的成像系統(tǒng)，其中， 所述合成單元(280)被配置為進一步基于用戶請求來傳輸清晰度信息， 所述用戶請求關注從包括3D效果實施、對焦距離選擇和焦點范圍選擇的組中選擇的一個或多個項。
12.根據(jù)權利要求1至11中任一項所述的成像系統(tǒng)，其中， 所述成像系統(tǒng)(400)被設置在照相機系統(tǒng)、數(shù)碼望遠鏡或數(shù)碼顯微鏡中。
13.一種操作成像系統(tǒng)的方法，所述方法包括: 利用具有縱色像差特征的透鏡單元(120)拍攝成像場景的至少兩個無色彩校正的第一圖像，所述第一圖像具有不同的光譜成分； 基于描述所述透鏡單元(120)的成像特性的信息計算所述第一圖像的寬頻帶亮度清晰度?目息， 計算來自所述第一圖像的色度信息以獲得校正圖像，以及 利用合成單元(280)將所 述色度信息和寬頻帶亮度清晰度信息結合，以提供輸出圖像。
14.根據(jù)權利要求13所述的方法，其中， 計算所述寬頻帶亮度信息包括，利用解卷積單元(260)和描述所述透鏡單元(120)的點擴散函數(shù)對從所述第一圖像中的至少一個獲取的灰度級圖像解卷積。
15.根據(jù)權利要求13或14所述的成像方法，其中， 計算所述寬頻帶亮度清晰度信息包括，利用權重對所述第一圖像加權，所述權重響應于照明條件來選擇，使得由此產生的點擴散函數(shù)與在不同于日光的照明條件下使用相同權重獲得的點擴散函數(shù)相比而為更小的深度變量。
16.根據(jù)權利要求13至15中任一項所述的成像方法，其中， 將所述色度信息和所述亮度信息結合包括，交織表示所述色度信息的所述校正圖像和表示所述寬頻帶亮度清晰度信息的所述灰度級圖像，其中，對于每個校正圖像，像素值借助于距離函數(shù)和相似度函數(shù)而基于鄰近像素值來更新，所述相似度函數(shù)使用來自相應校正圖像和所述灰度級圖像兩者的信息并確定用于來自所述灰度級圖像的信息的權重。
【文檔編號】H04N9/04GK103430551SQ201280005368
【公開日】2013年12月4日 申請日期:2012年1月13日 優(yōu)先權日:2011年1月14日
【發(fā)明者】穆罕默德·阿蒂夫, 穆罕默德·西迪基, 克里斯蒂安·翁魯, 馬庫斯·卡瑪 申請人:索尼公司