專利名稱：：雙圖像捕獲處理的制作方法雙圖像捕獲處理相關(guān)申請的交叉參考本申請要求于2011年7月20日提交的美國臨時申請61/509，747、以及2011年12月22日提交的美國實用專利申請13/335,028的優(yōu)先權(quán)，將其全部內(nèi)容通過引用結(jié)合于此。
背景技術(shù)：
：某些類型的圖像處理，諸如高動態(tài)范圍(HDR)圖像處理，涉及將照相機的順序的靜態(tài)圖像輸出(例如，各具有不同的曝光)組合成具有高動態(tài)范圍的單個靜態(tài)圖像(即在亮暗圖像區(qū)域之間具有更大的亮度變化范圍的圖像)。該方法通常被稱為包圍曝光，并可以在現(xiàn)有的相機中發(fā)現(xiàn)
發(fā)明內(nèi)容本發(fā)明提供了一種圖像捕獲設(shè)備，包括第一圖像傳感器，用于記錄第一圖像;第二圖像傳感器，用于記錄第二圖像；控制處理電路，啟動第一圖像傳感器對第一圖像以及第二圖像傳感器對第二圖像的同時捕獲；以及圖像處理電路，產(chǎn)生包括第一圖像和第二圖像的至少一部分的增強的單視場圖像。優(yōu)選地，增強的單視場圖像包括從第一圖像中獲取的第一部分和從第二圖像中獲取的第二部分，其中，第一部分包括具有與第二部分不同的曝光水平或者具有與第二部分不同的景深中的至少一個。優(yōu)選地，增強的單視場圖像的分辨率大于第一圖片和第二圖像的單個的分辨率。優(yōu)選地，對第二圖像進行分析并將其與第一圖像比較，以分離出第一圖像中的缺陷，其中，增強的單視場圖像是第一圖像去除缺陷的經(jīng)校正的版本。優(yōu)選地，控制處理電路被配置為在以下模式下進行操作立體模式，利用第一圖像傳感器和第二圖像傳感器的同時操作以產(chǎn)生立體圖像；單視場模式，利用第一圖像傳感器的單獨的操作以產(chǎn)生單視場圖像；以及增強的單視場模式，利用第一圖像傳感器和第二圖像傳感器的同時操作以產(chǎn)生增強的單視場圖像。優(yōu)選地，控制處理電路被配置為在包括單視場模式、立體模式或增強的單視場模式中的至少兩個的操作模式之間自動切換。優(yōu)選地，第一圖像用作用于增強的單視場圖像的圖像數(shù)據(jù)，并且第二圖像用作增強數(shù)據(jù)以增強第一圖像的至少一個圖像特性，其中，增強的單視場圖像包括具有至少一個改善的特性的第一圖像。優(yōu)選地，圖像處理電路在第一處理路徑中處理第一圖像和第二圖像所共享的相似像素，并且在第二處理路徑中處理第二圖像的不相似的像素。優(yōu)選地，第一圖像傳感器在同時捕獲的過程中以第一面元劃分水平進行操作，第一面元劃分水平不同于在同時捕獲的過程中第二圖像傳感器進行操作的面元劃分水平。本發(fā)明還提供了一種圖像處理方法，包括記錄由第一圖像傳感器所捕獲的第一圖像；記錄由第二圖像傳感器所捕獲的第二圖像，其中，第一圖像和第二圖像是同時捕獲的；比較第一圖像和第二圖像中的至少一部分；以及響應(yīng)于第一圖像和第二圖像的比較結(jié)果，產(chǎn)生增強的單視場圖像。優(yōu)選地，第一圖像用作用于增強的單視場圖像的圖像數(shù)據(jù)，而第二圖像用作增強數(shù)據(jù)以增強的第一圖像的至少一個圖像特性，其中，增強的單視場圖像包括具有至少一個改善的特性的第一圖像。優(yōu)選地，至少一個改善的特性包括改善的景深、改善的分辨率中的至少一個；或改善的曝光水平。優(yōu)選地，對第二圖像進行分析并將其與第一圖像比較，以分離出第一圖像中的缺陷，其中，增強的單視場圖像是第一圖像去除缺陷的經(jīng)校正的版本。優(yōu)選地，缺陷包括鏡頭陰影缺陷。優(yōu)選地，一種圖像捕獲設(shè)備包括第一圖像傳感器和第二圖像傳感器，方法還包括在以下模式之間切換圖像捕獲設(shè)備的操作立體模式，利用第一圖像傳感器和第二圖像傳感器的同時操作以產(chǎn)生立體圖像；單視場模式，利用第一圖像傳感器的單獨的操作以產(chǎn)生單視場圖像；以及增強的單視場模式，利用第一圖像傳感器和第二圖像傳感器的同時操作以產(chǎn)生增強的單視場圖像。優(yōu)選地，第一圖像傳感器包括將紅色、綠色或藍色的光傳輸至傳感器像素的圖像傳感器，并且第二圖像傳感器包括與第一圖像傳感器不同類型的圖像傳感器。本發(fā)明還提供了一種具有圖像處理程序的計算機可讀介質(zhì)，當(dāng)圖像處理程序被硬件處理器執(zhí)行時，使硬件處理器記錄由第一圖像傳感器所捕獲的第一圖像；記錄由第二圖像傳感器所捕獲的第二圖像，其中，第一圖像和第二圖像是同時捕獲的；比較第一圖像和第二圖像中的至少一部分；以及響應(yīng)于第一圖像和第二圖像的比較結(jié)果，生成增強的單視場圖像。優(yōu)選地，一種圖像捕獲設(shè)備包括第一圖像傳感器和第二圖像傳感器，圖像處理程序進一步使硬件處理器在以下模式之間切換圖像捕獲設(shè)備的操作立體模式，利用第一圖像傳感器和第二圖像傳感器的同時操作以產(chǎn)生立體圖像；單視場模式，利用第一圖像傳感器的單獨的操作以產(chǎn)生單視場圖像；以及增強的單視場模式，利用第一圖像傳感器和第二圖像傳感器的同時操作以產(chǎn)生增強的單視場圖像。優(yōu)選地，第一圖像用作用于增強的單視場圖像的圖像數(shù)據(jù)，并且第二圖像用作支持?jǐn)?shù)據(jù)以校正第一圖像中的缺陷。優(yōu)選地，第一圖像用作用于增強的單視場圖像的圖像數(shù)據(jù)，并且第二圖像用作增強數(shù)據(jù)以增強的第一圖像的至少一個圖像特性，其中，增強的單視場圖像包括具有至少一個改善的特性的第一圖像。參考以下的附圖，本發(fā)明的許多方面可以得到更好地了解。附圖中的組成部分不一定成比例，而是將重點放在清楚地示出本發(fā)明的原理上。此外，在附圖中，幾個示圖中類似的參考標(biāo)號表不對應(yīng)的部分。圖I是根據(jù)本發(fā)明的圖像處理電路的一個實施方式的框圖。圖2到圖5是由圖I的圖像處理電路的管線處理邏輯所實現(xiàn)的圖像信號處理管線的實施方式的框圖。圖6是示出了采用圖I的圖像處理電路的電子設(shè)備的實施方式的框圖。圖7到圖9是示出了圖I的圖像處理電路的實施方式的各種功能的流程圖。具體實施例方式本發(fā)明涉及可進行編程以自動利用數(shù)碼照相機或數(shù)碼攝像機中的圖像處理管線中的同時圖像捕獲(capture)的設(shè)備、方法、計算機可用介質(zhì)和處理器。本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)認(rèn)識到，所公開的技術(shù)也可以應(yīng)用于其他環(huán)境和應(yīng)用。對于例如數(shù)碼照相機、數(shù)碼攝像機、移動電話、個人數(shù)據(jù)助理(PDA)、平板、便攜式音樂播放器以及臺式機或筆記本計算機這樣的嵌入式設(shè)備中的照相機，為了產(chǎn)生視覺上更·加悅目的圖像，諸如本文所公開的技術(shù)可以改善圖像質(zhì)量，而不會產(chǎn)生明顯的計算開銷或電力成本。為了獲取圖像數(shù)據(jù)，數(shù)字成像設(shè)備可以包括提供了多個被配置為將由圖像傳感器檢測到的光轉(zhuǎn)換成電信號的光檢測單元(如光電檢測器)的圖像傳感器。圖像傳感器也可以包括過濾圖像傳感器捕獲到的光以捕獲色彩信息的彩色濾光器陣列。然后，圖像傳感器捕獲到的圖像數(shù)據(jù)可以通過圖像處理管線電路來處理，其可以對圖像數(shù)據(jù)施加多個不同的圖像處理操作以產(chǎn)生可以在諸如監(jiān)視器的顯示設(shè)備上顯示以用于觀看的全彩色圖像。傳統(tǒng)的圖像處理，諸如傳統(tǒng)的高動態(tài)范圍(HDR)圖像處理，需要順序地捕獲多個圖像，然后進行組合，以產(chǎn)生具有增強的圖像特性的HDR。在傳統(tǒng)的HDR圖像處理中，通過單個圖像傳感器以不同的曝光順序地捕獲多個圖像并進行組合，以產(chǎn)生具有比通過捕獲單個圖像所可能具有的更高的動態(tài)范圍的單個圖像。例如，對霓虹燈的室外夜間鏡頭的捕獲，可能導(dǎo)致霓虹燈曝光過度或者該場景的其他部分曝光不足。然而，捕獲曝光過度的圖像和曝光不足的圖像，并組合多個圖像可以產(chǎn)生霓虹燈和場景都適當(dāng)曝光的HDR圖像。該方法通常被稱為包圍曝光，但是要求是捕獲到的圖像必須基本相同，盡管這些圖像是被順序拍攝以防止引入大量模糊或重影。本發(fā)明的實施方式通過利用同時捕獲到的多個圖像而提供了增強的圖像處理。參考圖1，示出了用于成像設(shè)備150的圖像處理電路100的一個實施方式的框圖。所示的成像設(shè)備150可以被提供為數(shù)碼照相機，其被配置為獲取靜態(tài)圖像和運動圖像(例如，視頻)。設(shè)備150可以包括多個鏡頭110以及被配置為捕獲光并將光轉(zhuǎn)換成電信號的多個圖像傳感器101。僅作為示例，單個圖像傳感器可以包括CMOS(互補金屬氧化物半導(dǎo)體)圖像傳感器(例如，CMOS有源像素傳感器(APS))或CXD(電荷耦合器件)傳感器。具有多個照相機或圖像傳感器的成像設(shè)備150的一個有前景的應(yīng)用是將會增加顯示圖像中所表示的維數(shù)。該功能類型的一個示例是通常具有兩個照相機(例如，兩個圖像傳感器)的立體照相機。然而，本發(fā)明的實施方式可以具有兩個以上的照相機或圖像傳感器。此外，成像設(shè)備150的實施方式可以具有這樣的操作模式一種模式可以允許成像設(shè)備150捕獲二維(2D)圖像；第二模式可以允許成像設(shè)備捕獲多維圖像(例如，3D圖像)；并且第三模式可以允許成像設(shè)備同時捕獲多個圖像，并用它們來產(chǎn)生一個或多個已應(yīng)用圖像處理效果的2D增強的圖像。因此，本發(fā)明的一些實施方式，包括可配置的和可更改的(adaptable)的多成像器(multi-imager)照相機結(jié)構(gòu)，其以立體(3D)模式、單視場(monoscopic)(單個2D成像器)模式或組合單視場(多個2D成像器)模式操作。在一個實施方式中，模式配置涉及到用戶選擇，而更改可以為自動或提示模式操作。例如，單視場模式可以用于足夠普通的情況下，但是當(dāng)控制邏輯105檢測到需要時切換到組合單視場操作。在一些實施方式中，圖像處理電路100可以包括各種子組件和/或分立的邏輯單元以共同形成用于執(zhí)行各個不同的圖像處理步驟的圖像處理“管線”。這些子組件可以使用硬件(例如，數(shù)字信號處理器或ASIC(專用集成電路))或軟件、或通過硬件和軟件組件的組合來實現(xiàn)。各種圖像處理操作可以通過圖像處理電路100提供。圖像處理電路100其中可以包括前端處理邏輯103、管線處理邏輯104以及控制邏輯105。一個或多個圖像傳感器101可以包括彩色濾光器陣列(例如，拜耳(Bayer)濾光器)，從而可以提供由圖像傳感器101的各個成像像素捕獲到的到的光強度和波長信息，以提供可被前端處理邏輯103處理的一組原始圖像數(shù)據(jù)。前端處理邏輯103可以從存儲器108接收像素數(shù)據(jù)。例如，原始像素數(shù)據(jù)可以從圖像傳感器101發(fā)送到存儲器108。然后，駐留在存儲器108中的原始像素數(shù)據(jù)可以被提供至前端處理邏輯103用于處理。在接收到原始圖像數(shù)據(jù)(從圖像傳感器101或從存儲器108)時，前端處理邏輯103可以執(zhí)行一個或多個圖像處理操作。然后，處理過的圖像數(shù)據(jù)可以在顯示(例如在顯示裝置106上)之前被提供至管線處理邏輯104進行附加的處理，或者可以被送至存儲器108。管線處理邏輯104可以直接從前端處理邏輯103或從存儲器108接收“前端”處理的數(shù)據(jù)，并可以根據(jù)情況來提供原始域以及RGB和YCbCr色彩空間中的圖像數(shù)據(jù)的附加的處理。然后，管線處理邏輯104處理過的圖像數(shù)據(jù)可以輸出到顯示器106(或取景器)用于用戶觀看和/或可以被圖形引擎進一步處理。此外，來自管線處理邏輯104的輸出可以發(fā)送到存儲器108，并且顯示器106可以從存儲器108讀取圖像數(shù)據(jù)。此外，在一些實現(xiàn)方式中，管線處理邏輯104可以還包括諸如壓縮引擎的編碼器107等，用于在顯示器106讀取圖像數(shù)據(jù)之前編碼圖像數(shù)據(jù)。編碼器107可以是用于對靜態(tài)圖像編碼的JPEG(聯(lián)合圖像專家組)壓縮引擎，或用于對視頻圖像編碼的H.264壓縮引擎，或它們的一些組合。此外，應(yīng)注意，管線處理邏輯104還可以從存儲器108接收原始圖像數(shù)據(jù)。控制邏輯105可以包括處理器620(圖6)和/或被配置為執(zhí)行一個或多個例程的微控制器(例如，固件)，這些例程被配置為確定用于成像設(shè)備150的控制參數(shù)以及用于管線處理邏輯104的控制參數(shù)。僅作為示例，控制參數(shù)可以包括傳感器控制參數(shù)、照相機閃光燈控制參數(shù)、鏡頭控制參數(shù)(例如，用于聚焦或變焦的焦距)或者這些參數(shù)的組合以用于一個或多個圖像傳感器101。控制參數(shù)，也可以包括圖像處理命令，諸如自動白平衡、自動聚焦、自動曝光、色彩調(diào)整，以及用于管線處理邏輯104的鏡頭陰影校正參數(shù)。控制參數(shù)還可以包括用于管線處理邏輯104的復(fù)用信號或命令?，F(xiàn)在參考圖2，管線處理邏輯104的一個實施方式可通過首先發(fā)送圖像信息至第一處理單元201來執(zhí)行圖像信號處理管線的處理，第一處理單元201可采用圖像傳感器101(圖I)所產(chǎn)生的原始數(shù)據(jù)并生成數(shù)字圖像，以被用戶觀看或被下游處理單元進行進一步的處理。因此，處理管線可以被視為實時調(diào)整圖像數(shù)據(jù)的一系列專用算法，并經(jīng)常被實現(xiàn)為片上系統(tǒng)(SoC)圖像處理器的集成組件。通過以硬件實現(xiàn)的圖像信號處理管線，可以在不對主應(yīng)用處理器620(圖6)增加任何處理負擔(dān)的情況下完成前端圖像處理。在一個實施方式中，圖像信號處理管線的第一處理單元201元可以執(zhí)行特定的圖像處理，諸如降噪、有缺陷的像素檢測/校正、鏡頭陰影校正、鏡頭失真校正、去馬賽克、圖像銳化、色彩均勻化、RGB(紅、綠、藍)對比、飽和度提升處理等。如上所述，管線可以包括第二處理單元202。在一個實施方式中，第二處理單元202可以執(zhí)行特定的和不同的圖像處理，諸如降噪、缺陷像素檢測/校正、鏡頭陰影校正、去馬賽克、圖像銳化、色彩均勻化、RGB對比度、飽和度提升處理等。然后，圖像數(shù)據(jù)可以根據(jù)情況被發(fā)送至管線的一個或多個附加單元、保存到存儲器108和/或為顯示器106輸入。在一個實施方式中，由圖像信號處理管線中的處理單元201和202處理單元所執(zhí)行的圖像處理是增強的高動態(tài)范圍處理。用于增強的高動態(tài)范圍處理的操作模式會使同時的圖像被圖像傳感器101捕獲到。通過同時拍攝多張圖像，將在每個圖像中在同一時間捕獲對象被拍攝的多張圖片。在用于增強的高動態(tài)范圍處理的操作模式下，以不同的曝光水平(例如，不同的增益設(shè)置)或其他一些特性來捕獲多個圖像，然后進行組合以產(chǎn)生具有特定特性的增強的范圍的圖像。例如，增強的圖像可以根據(jù)同時捕獲到的圖像的數(shù)量而被產(chǎn)生為一部分具有低曝光、另一部分具有中曝光、而又一部分具有高曝光。在不同的情景下，同時的圖像可關(guān)于不同聚焦級別(focuslevel)而被捕獲。在另一實施方式中，由圖像信號處理管線中的處理單元201或202所執(zhí)行的不同的圖像處理是在包括增強的連續(xù)自動聚焦的許多情況下可以使用的增強的自動聚焦處理。用于增強的高動態(tài)范圍處理的操作模式使同時的圖像被圖像傳感器101捕獲。可以使圖像傳感器101(起輔助作用)之一聚焦在對象上，然后掃描整個聚焦范圍以找到對第一圖像傳感器最佳的聚焦。然后該最佳聚焦范圍被主圖像傳感器用來捕獲對象的圖像。在一個情景中，主圖像傳感器101可以捕獲對象或包括對象的場景的視頻。因此，歸因于第二或輔助圖像傳感器101的最佳聚焦范圍可以隨場景的變化而變化，因此，主圖像傳感器101所用的聚焦可以隨著視頻被捕獲而進行調(diào)整。在又一實施方式中，圖像信號處理管線中的處理單元所執(zhí)行的圖像處理是增強的景深處理。用于增強處理的操作模式使同時的圖像被圖像傳感器101所捕獲到。圖像傳感器101的聚焦可以被控制邏輯105獨立地控制。因此，一個圖像傳感器可以在場景中的對象上精密地聚焦或變焦，而第二個圖像傳感器可以在該場景的不同方面以不同水平焦距。然后，圖像單一處理管線中的圖像處理可以采取捕獲到的圖像，并組合它們以產(chǎn)生具有更大景深的增強的圖像。因此，可以組合多個圖像以有效地擴展長景深。此外，一些實施方式可以利用來自多于兩個的成像器或圖像傳感器101的圖像。在各種實施方式中，多個圖像傳感器101可以不聚焦在場景中的同一個對象上。例如，可以對圖像傳感器101或成像器施加命令，其中主成像器和副成像器以不同的角度、不同的曝光、不同的增益等來捕獲場景，其中，第二圖像被用來校正或增強主圖像。示例性操作包括但不僅限于作為一個示例，HDR捕獲和通過利用一個幀以幫助對其他幀進行降噪的增強的降噪操作。為了說明，在一個實現(xiàn)方式中，在兩個同時的圖像中捕獲到的場景可通過平均兩個圖像的像素值來進行增強的，這將改善捕獲到的場景的信噪比。此外，通過具有以不同角度同時捕獲的多個圖像，可以計算鏡頭陰影曲線(使用圖像捕獲中的相同的一個或多個對象在兩個(或更多)圖像傳感器之間的位置差)并且將其用于校正有效像素。因此，在又一實施方式中，圖像信號處理管線中的處理單元201或202所執(zhí)行的圖像處理是校正處理。用于增強的處理的操作模式會使同時的圖像被圖像傳感器101捕獲至IJ。各個成像器101的鏡頭可以具有不同的視角。因此，在圖像處理中，對以不同視角捕獲到的圖像進行比較以確定兩個圖像中的差異。例如，有缺陷的硬件或設(shè)備可導(dǎo)致在捕獲到的圖像中的可見的缺陷。因此，由于不同的視角，來自多個圖像傳感器101的捕獲圖像中的缺陷在兩個視圖(View)/圖像中將不會處于相同的位置。會存在小的差異，并且，圖像信號處理管線能夠區(qū)分缺陷與真實的圖像，以施加某些形式的校正。在又一實施方式中，圖像信號處理管線中的處理單元201或202所執(zhí)行的圖像處理是增強的圖像分辨率處理。用于增強的處理的操作模式會使同時的圖像被圖像傳感器101以特定的分辨率(例如，10兆像素(Megapixel))捕獲到。然后圖像單一處理管線中的圖像處理可以采用捕獲到的圖像，并組合它們以產(chǎn)生具有增加的或超級的分辨率(例如，20兆像素)的增強的圖像。此外，在一些實施方式中，一個捕獲圖像可用于改善另一個捕獲圖像，反之亦然。因此，可以通過圖像的同時捕獲而產(chǎn)生多個增強的單視場圖像。在又一實施方式中，圖像信號處理管線中的處理單元所執(zhí)行的圖像處理是增強的圖像分辨率處理。用于增強的處理的操作模式使同時的圖像視頻流在低光照條件下被圖像傳感器101捕獲到?？紤]到在低光照條件下照相機的成像質(zhì)量往往不足。對于被設(shè)計為用于充足光照條件的圖像傳感器陣列而言，環(huán)境光照往往是較低且不充足的。因此，這樣的傳感器陣列不能接收足夠的光子以捕獲具有良好曝光的圖像，從而導(dǎo)致發(fā)暗的圖像。試圖通過模擬或數(shù)字增益來校正這點可以有所幫助，但也往往過于放大了底層噪聲(underlyingnoise)(這點在低光照條件下更加突出)。一個可行的方法是延長曝光時間，但是因為手的晃動可能引入模糊所以這也未必可行。另一種傳統(tǒng)的解決辦法是增加大光圈鏡頭和外置閃光燈。前者是非常昂貴且占用體積的提案，而后者則可能不被允許(諸如在博物館中)或未必有效(諸如遠距離拍攝)。此外，閃光系統(tǒng)也是昂貴的并消耗大量的電力。本發(fā)明的可選擇的實施方式使用了不同的圖像傳感器101(例如紅外線、RGB、全色等)的組合。例如，一個圖像傳感器可以有利地補償其他的圖像傳感器所不提供的圖像信息，反之亦然。因此，圖像傳感器可以同時地捕獲圖像，其中，大部分的圖像信息從主圖像傳感器所獲取，而附加的圖像信息則根據(jù)需要由一個或多個附加的圖像傳感器提供。在一個實施方式中，低光(lowlight)圖像傳感器101或全色圖像傳感器與標(biāo)準(zhǔn)RGB(拜耳模式)圖像傳感器陣列合作而使用。由于具有較小的成像器芯片尺寸，全色傳感器接收的光子多達單一的RGB感應(yīng)器的光子的三倍，但是依賴RGB鄰居來進行色彩識別。這種傳感器陣列設(shè)計由于較大的圖像芯片尺寸而優(yōu)于較高光照水平的普通的RGB傳感器。成像設(shè)備150的一個實施方式使用用于高光照的條件的RGB型CMOS或CCD型傳感器陣列以及設(shè)計用于低光照條件下(例如，全色-只有黑色和白色亮度，或散布的全色)的第二低光型傳感器。從而，成像設(shè)備150在兩個傳感器之間自動切換以最佳地捕獲當(dāng)前的光照條件下的圖像。此外，在一個實施方式中，可在低光照下捕獲同時的圖像。特別是，通過使用全色成像器101和普通光照成像器101來捕獲多個圖像，捕獲到的圖像可以被進行關(guān)聯(lián)和組合以產(chǎn)生更加生動的低光圖像。作為一個示例，全色圖像傳感器101可用于在低光照條件下以較高的幀速率來捕獲視頻流，而只以一半的速率來采樣色度數(shù)據(jù)。相對于以比亮度更小的分辨率來處理色度的空間方法，這相當(dāng)于時間壓縮方法。處理單元201或202的輸出可以是單一幀序列或者可以實際上包括兩個分離的流以用于后處理訪問。在另一情景下，可以使用全色成像器101和普通光照成像器101來減少運動模糊。運動模糊為當(dāng)對象在成像設(shè)備150前面運動時以及在低光照條件下，例如，用于低光照條件下的選擇性曝光可以捕獲到被拍攝的對象的運動或成像設(shè)備150本身的晃動。因此，全色成像器被用于以比普通光照成像器捕獲到的第二圖像更小的曝光來捕獲圖像。捕獲到的圖像可以進行關(guān)聯(lián)和組合，以產(chǎn)生運動模糊經(jīng)校正的圖像。成像設(shè)備150的實施方式不限于具有兩個圖像傳感器，而可以應(yīng)用多個圖像傳感器101。例如，平板設(shè)備可以在該設(shè)備的前面具有兩個成像器，并且在設(shè)備的后面具有兩個成像器，其中來自各個成像器的圖像(包括視頻)被同時地捕獲，并被組合成所得圖像。接下來參考圖3，在一個實施方式中，由管線處理邏輯104所實現(xiàn)的圖像信號處理管線包含平行的路徑，而不是單一的直線路徑。例如，平行路徑可以提供第一路徑和第二路徑。此外，在一個實施方式中，第一路徑包括主要處理路徑，第二路徑包括補充處理路徑。因此，當(dāng)來自第一圖像傳感器101的圖像數(shù)據(jù)正在第一路徑中處理時，來自第二圖像傳感器101的原始圖像數(shù)據(jù)可以在第二平行路徑中處理。可以是第二路徑包含比第一路徑更少的階段或單元321、322?？商娲兀谝宦窂娇梢园瑪?shù)量等于或少于第二路徑的階段或單元311、312。此外,第二路徑可以涉及圖像分辨率的下轉(zhuǎn)換(down-conversion),以減少在管線中的諸如用于圖像分析的圖像處理過程中需要處理的像素的量。并行路徑的好處可以應(yīng)用于一個或多個圖像傳感器101捕獲到的靜態(tài)圖像以及視頻圖像。在圖像信號處理管線中使用并行路徑能夠同時處理多個圖像數(shù)據(jù)，同時最大化最終圖像的質(zhì)量。參考圖4，在圖像處理管線的一個實施方式中，處理單元411和412可以劃分為適合于主圖像的單元和適合于副圖像的處理單元421和422。因此，副圖像可初步地進行諸如使縮小或按比例縮放(scale)的處理，以有益于下游單元。作為示例，由于副圖像需要下游單元來進行降噪，副圖像的路徑可以包含噪聲濾波單元。在一些實施方式中，第一路徑和第二路徑所產(chǎn)生的圖像可以存儲在存儲器108中，并且可用于隨后的過程和單元的后續(xù)應(yīng)用。因此，在一個實施方式中，當(dāng)主圖像正在管線的主路徑中處理時，該圖像的被縮小或按比例縮放的另一圖像或者先前的圖像可以由主路徑讀取。這可以實現(xiàn)管線中的諸如噪聲濾波期間的更加強大的處理。此外，在一些實施方式中，在多個圖像中的類似像素可以一次處理，然后將獨立處理不同的像素。應(yīng)注意，從兩個彼此接近的圖像傳感器同時捕獲圖像會非常相似。因此，第一捕獲圖像的像素可以在管線的主路徑中處理。另外，可以以相似度掩碼來識別第二捕獲圖像中的類似的像素，其中，類似的像素也包含在第一捕獲圖像中(并且已被處理)。在第二捕獲圖像中去除類似的像素之后，其余的像素可以在管線的副路徑中處理。通過去除冗余的處理，可以實現(xiàn)在圖像信號處理管線中顯著的電力節(jié)省。此外，在一些實施方式中，第一路徑和第二路徑產(chǎn)生的圖像可以同時顯示。例如，顯示器106的一個顯示部分可以用來顯示視頻(例如，從第一條路徑輸出)而顯示器106的第二顯示部分可用來顯示靜態(tài)圖像或響應(yīng)于成像設(shè)備150的界面上的暫停按鈕的來自視頻的“快照”(例如，從第二路徑輸出)?？商娲兀粋€圖像幀可在顯示器的分割畫面(screen)中顯示(例如，左側(cè)部分)，而另一圖像幀可顯示在顯示器的右側(cè)部分中。成像設(shè)備可以被配置為允許用戶選擇幀(例如，在分割畫面中顯示的幀)的組合，然后通過處理邏輯103、104、105進行比較和組合，以產(chǎn)生具有改善的圖像質(zhì)量和分辨率的增強的圖像。如前所述，成像設(shè)備150的實施方式，可以采用從設(shè)備的界面單元中可選擇的操作模式。界面單元可以包括從顯示器106中可選擇的圖形界面單元或從成像設(shè)備150的殼體中可選擇的或可切換的機械式按鈕或開關(guān)。在一個實施方式中，用戶可以激活立體操作模式，其中，成像設(shè)備150的處理邏輯103、104、105使用捕獲到的圖像產(chǎn)生在顯示屏106上可觀看或能夠保存在存儲器108中的3D圖像。用戶也可以激活2D操作模式，其中，單一的圖像被捕獲并顯示，或被保存在存儲器108中。此外，用戶可以激活增強的2D操作模式，其中，多個圖像被捕獲并被用于產(chǎn)生可以觀看或在存儲器108中保存的具有增強的特性(例如，改善景深、增強的聚焦、HDR、超級分辨率等)的2D圖像。在圖像處理中，面元劃分(binning)允許來自相鄰像素的電荷相結(jié)合，以減小空間分辨率為代價，提供了改善的信噪比。在各種實施方式中，可以在多個圖像傳感器的每一個中使用不同的劃分水平。因此，可以從具有較低的面元劃分水平的圖像傳感器中獲取更好的分辨率而從具有較高的面元劃分水平的圖像傳感器中獲取更好的信噪比。然后捕獲到的場景或圖像的兩個版本可以相組合以產(chǎn)生圖像的增強版本。特別是，在一個實施方式中，多個圖像傳感器101捕獲各自具有不同的曝光水平的多個圖像。圖像信號處理管線的處理單元201和202對捕獲到的圖像的不同組合進行關(guān)聯(lián)并執(zhí)行高動態(tài)范圍處理。來自不同的組合的所得圖像可以顯示給用戶，或者提供給用戶對可以保存和/或顯示的所需的最終圖像進行選擇。在一些實施方式中，也可以提供允許漸進或逐步移動的圖形界面滑動條(或其他用戶界面控制單元)，以提供具有不同曝光的圖像之間的不同權(quán)重組合。對于視頻，可以跨所有幀而保持這樣的設(shè)置。在實施方式中，還利用多個圖像傳感器101實現(xiàn)了圖像信號處理管線的復(fù)用。例如，如圖5所示，考慮立體成像設(shè)備(例如，成像設(shè)備150的一個實施方式)分發(fā)(deliver)了對象的左側(cè)圖像和右側(cè)圖像至單一圖像信號處理管線。因此，管線處理邏輯104中的單一圖像管線被前端處理邏輯103在并行地輸入至管線的左側(cè)圖像和右側(cè)圖像之間復(fù)用?？商娲兀谠鰪姷?D圖像處理中，同時的圖像捕獲也可以通過圖像之間的復(fù)用而并行地輸入至管線。因此，不是一個圖像在另一圖像已被完整處理之后被完整處理，而是只要前端處理邏輯103的處理時間允許，圖像可以通過與另一個之間切換圖像處理而同時地進行處理。這樣通過不延遲圖像處理直到另一圖像完成而減少了等待時間，從而兩個圖像的處理會更迅速地完成。記住以上幾點，圖6是示出了使用上面簡要地提到的一個或多個圖像處理技術(shù)而提供了圖像數(shù)據(jù)處理的電子設(shè)備650的示例的框圖。電子設(shè)備650可以是被配置為接收和處理圖像數(shù)據(jù)(諸如使用一個或多個圖像傳感組件所獲取的數(shù)據(jù))的任何類型的電子設(shè)備，諸如筆記本計算機或臺式計算機、移動電話、平板、數(shù)字媒體播放器等。無論其形式(例如，便攜式和非便攜式)，應(yīng)當(dāng)理解，其中，電子設(shè)備650可以使用以上簡要地說明的一個或多個圖像處理技術(shù)而提供圖像數(shù)據(jù)的處理。在一些實施方式中，電子設(shè)備650可以對電子設(shè)備650的存儲器中存儲的圖像數(shù)據(jù)應(yīng)用這樣的圖像處理技術(shù)。在進一步的實施方式中，電子設(shè)備650可以包括諸如集成的或外部的數(shù)碼照相機或成像器101的多個成像設(shè)備，它們被配置為獲取圖像數(shù)據(jù)，然后這些圖像數(shù)據(jù)被電子設(shè)備650使用一個或多個上述提到的圖像處理技術(shù)進行處理。如圖6所示，電子設(shè)備605可以包括各種有助于設(shè)備605的功能的內(nèi)部和/或外部組件。本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)認(rèn)識到，圖6中所示的各種功能塊可以包括硬件單元(包括電路)、軟件單元(包括存儲在計算機可讀介質(zhì)中的計算機代碼)或硬件和軟件單元的組合。例如，在當(dāng)前所不的實施方式中，電子設(shè)備605可以包括輸入/輸出(I/O)端口610、一個或多個處理器620、存儲設(shè)備630、非易失性存儲器640、網(wǎng)絡(luò)設(shè)備650、電源660以及顯示器670。此外，電子設(shè)備605可以包括諸如數(shù)碼照相機或成像器101的成像設(shè)備680，以及圖像處理電路690。正如將在下面進一步討論的，圖像處理電路690可被配置為在處理圖像數(shù)據(jù)時實現(xiàn)一個或多個上述圖像處理技術(shù)。正如所能夠認(rèn)識到的，圖像處理電路690處理過的圖像數(shù)據(jù)可以從存儲器630和/或一個或多個非易失性存儲設(shè)備640中檢索，或者可以使用成像設(shè)備680來獲取。在繼續(xù)之前，應(yīng)當(dāng)理解，圖6中所示的設(shè)備605的系統(tǒng)框圖旨在成為高層級的控制圖，其示出了該設(shè)備605中可以包含的各種組件。即，圖6中所示的各個組件之間的連接線并非必須表示數(shù)據(jù)流動或在設(shè)備605的各個組件之間傳輸?shù)穆窂交蚍较颉Ｊ聦嵣?，如上所述，在一些實施方式中，所不的一個或多個處理器620包括諸如主處理器(例如，CPU)的多個處理器，以及專用的圖像和/或視頻處理器。在這些實施方式中，圖像數(shù)據(jù)的處理可以主要由這些專用處理器來處理，從而有效地從主處理器(CPU)中分擔(dān)這些任務(wù)。接下來，參考圖7，所示的是提供了根據(jù)各種實施方式的圖像處理電路100的一部分的操作的一個示例的流程圖。應(yīng)當(dāng)理解，圖7的流程圖只是提供了許多不同類型的功能配置的示例，它們可以被用來實現(xiàn)本文所述的圖像處理電路100的一部分的操作。作為替代，圖7的流程圖可以被視為示出了根據(jù)一個或多個實施方式的電子設(shè)備605(圖6)中實現(xiàn)的方法的步驟的示例。從步驟702開始，控制邏輯105觸發(fā)或啟動來自圖像傳感器101的多個圖像的同時捕獲，其中多個圖像包括至少第一圖像和第二圖像。第一圖像包含與第二圖像的成像特性不同的成像特性或設(shè)置?？赡艿膱D像特性包括曝光水平、聚焦水平、景深設(shè)置、視角等。在步驟704中，處理邏輯103和處理邏輯104至少組合第一圖像和第二圖像或者第一圖像和第二圖像的一部分以產(chǎn)生具有第一圖像和第二圖像的質(zhì)量的增強的圖像。作為示例，增強的圖像可以包含具有來自第一圖像和第二圖像的景深、來自第一圖像和第二圖像的曝光水平、第一圖像和第二圖像的組合分辨率等的部分。在步驟706中，增強的圖像從處理邏輯的圖像信號處理管線中輸出，并被提供用于顯示。接下來，參考圖8，所示的是提供了根據(jù)各種實施方式的圖像處理電路100的一部分的操作的附加示例的流程圖。從步驟802開始，控制邏輯105觸發(fā)來自圖像傳感器101的多個圖像的同時捕獲，其中多個圖像包括至少第一圖像和第二圖像。第一圖像包含與第二圖像的成像特性不同的成像特性或設(shè)置。此外，由于不同的特性或設(shè)置，一個圖像可包含其他圖像中不存在的圖像劣化。例如，如果一個圖像具有比其他圖像更長的曝光，則更長的曝光的圖像可能具有其他圖像中沒有捕獲到的運動模糊劣化，但是其他的圖像可能具有其他諸如低光照水平的非期望的特性。在步驟804中，處理邏輯104比較至少第一圖像和第二圖像或者第一圖像和第二圖像的一部分，以檢測第一圖像中的圖像劣化，然后在步驟806中，管線處理邏輯104補償圖像劣化以產(chǎn)生具有第一圖像和第二圖像的質(zhì)量的增強的圖像。在步驟808中，增強的圖像從管線處理邏輯104中的圖像信號處理管線中輸出，并被提供用于顯示。在可選的實施方式中，可以輸出多個增強的圖像，其中一個捕獲到的圖像可以用來檢測第二圖像中的圖像劣化或缺陷而第二圖像也可以用來檢測第一圖片中的圖像劣化/缺陷。在圖9中示出了提供了根據(jù)各種實施方式的圖像處理電路100的一部分的操作的附加示例的流程圖。從步驟902開始，控制邏輯105激活了成像設(shè)備150的立體操作模式，其中，捕獲圖像被用來產(chǎn)生能夠在顯示器106上可觀看的或能夠保存在存儲器108中的3D圖像。在一個實施方式中，用戶可以產(chǎn)生用于控制邏輯105的命令以激活立體操作模式。在可選的實施方式中，控制邏輯105可被配置為自動激活立體操作模式。因此，在步驟904中，控制邏輯105激活用于成像設(shè)備150的2D或單視場操作模式，其中，單一的圖像被捕獲并顯示，或者被保存在存儲器108中。在一個實施方式中，用戶可以產(chǎn)生用于控制邏輯105的命令以激活2D模式。在可選的實施方式中，控制邏輯105可被配置為在沒有用戶提示情況下自動激活2D操作模式。此外，在步驟906中，控制邏輯105激活用于成像設(shè)備150的增強的2D或單視場操作模式，其中，多個圖像被捕獲并被用來產(chǎn)生具有增強的特性(例如，改善的景深、增強的聚焦、HDR、超級分辨率等)、可觀看的或可保存在存儲器108中的2D圖像。此外，在各種實施方式中，圖像處理的其中一個輸出可以不是增強的圖像而可以是諸如景深信息的用于增強的圖像的圖像信息。在一個實施方式中，用戶可以生成用于控制邏輯105的命令，以激活增強的2D操作模式。在可選的實施方式中，控制邏輯105可被配置為在沒有用戶提示的情況下自動激活增強的2D操作模式。流程圖中的任何處理的說明或模塊，應(yīng)當(dāng)理解為表示了包括用于實現(xiàn)處理中特定的邏輯功能或步驟的一個或多個可執(zhí)行指令的模塊、程序段(segment)或部分代碼，并且可選的實施方式也被包括在本發(fā)明的實施方式的范圍內(nèi)，其中，如本領(lǐng)域技術(shù)人員所理解的，根據(jù)所涉及的功能，可以以與所示的和所說明的順序不同的順序(包括基本同時或逆序)而執(zhí)行功能。在本文獻的上下文中，“計算機可讀介質(zhì)”可以是包含、存儲、通信或傳輸被指令執(zhí)行系統(tǒng)、裝備或設(shè)備所使用或與它們相關(guān)的任何裝置。計算機可讀介質(zhì)可以是但不限于例如電子、磁、光、電磁、紅外或半導(dǎo)體系統(tǒng)、裝置或設(shè)備。計算機可讀介質(zhì)的更具體的示例(不完全列表)將包括以下具有一條以上配線的電連接(電子)、便攜式計算機磁盤(磁)、隨機存取存儲器(RAM)(電子)、只讀存儲器(ROM)(電子)、可擦除可編程只讀存儲器(EPROM或閃存存儲器)(電子)、光纖(光)和便攜式只讀光盤存儲器(⑶-ROM)(光)。此外，某些實施的范圍包括以硬件或軟件配置的介質(zhì)實現(xiàn)的邏輯來實現(xiàn)實施方式的功能。應(yīng)當(dāng)強調(diào)的是，上述的實施方式僅僅是實現(xiàn)方式的可能的示例，只是為清楚地了解發(fā)明的原理而予以說明。在本質(zhì)上沒有偏離發(fā)明的精神和原理的前提下，可對上述的一個或多個實施方式進行各種變化和修改。所有這些變化和修改旨在包括在本發(fā)明范圍內(nèi)，并且受所附權(quán)利要求的保護。權(quán)利要求1.一種圖像捕獲設(shè)備，包括第一圖像傳感器，用于記錄第一圖像；第二圖像傳感器，用于記錄第二圖像；控制處理電路，啟動所述第一圖像傳感器對所述第一圖像以及所述第二圖像傳感器對所述第二圖像的同時捕獲；以及圖像處理電路，產(chǎn)生包括所述第一圖像和所述第二圖像的至少一部分的增強的單視場圖像。2.根據(jù)權(quán)利要求I所述的圖像捕獲設(shè)備，其中，所述增強的單視場圖像包括從所述第一圖像中獲取的第一部分和從所述第二圖像中獲取的第二部分，其中，所述第一部分包括具有與所述第二部分不同的曝光水平或者具有與所述第二部分不同的景深中的至少一個，或者其中，所述增強的單視場圖像的分辨率大于所述第一圖片和所述第二圖像的單個的分辨率。3.根據(jù)權(quán)利要求I所述的圖像捕獲設(shè)備，其中，對所述第二圖像進行分析并將其與所述第一圖像比較，以分離出所述第一圖像中的缺陷，其中，所述增強的單視場圖像是所述第一圖像去除所述缺陷的經(jīng)校正的版本。4.根據(jù)權(quán)利要求I所述的圖像捕獲設(shè)備，其中，所述控制處理電路被配置為在以下模式下進行操作立體模式，利用所述第一圖像傳感器和所述第二圖像傳感器的同時操作以產(chǎn)生立體圖像；單視場模式，利用所述第一圖像傳感器的單獨的操作以產(chǎn)生單視場圖像；以及增強的單視場模式，利用所述第一圖像傳感器和所述第二圖像傳感器的同時操作以產(chǎn)生所述增強的單視場圖像，或者其中，所述控制處理電路被配置為在包括所述單視場模式、所述立體模式或所述增強的單視場模式中的至少兩個的操作模式之間自動切換。5.根據(jù)權(quán)利要求I所述的圖像捕獲設(shè)備，其中，所述第一圖像用作用于所述增強的單視場圖像的圖像數(shù)據(jù)，并且所述第二圖像用作增強數(shù)據(jù)以增強所述第一圖像的至少一個圖像特性，其中，所述增強的單視場圖像包括具有至少一個改善的特性的所述第一圖像。6.根據(jù)權(quán)利要求I所述的圖像捕獲設(shè)備，其中，所述圖像處理電路在第一處理路徑中處理所述第一圖像和所述第二圖像所共享的相似像素，并且在第二處理路徑中處理所述第二圖像的不相似的像素。7.一種圖像處理方法，包括記錄由第一圖像傳感器所捕獲的第一圖像；記錄由第二圖像傳感器所捕獲的第二圖像，其中，所述第一圖像和所述第二圖像是同時捕獲的；比較所述第一圖像和所述第二圖像中的至少一部分；以及響應(yīng)于所述第一圖像和所述第二圖像的比較結(jié)果，產(chǎn)生增強的單視場圖像。8.根據(jù)權(quán)利要求7所述的圖像處理方法，其中，所述第一圖像用作用于所述增強的單視場圖像的圖像數(shù)據(jù)，而所述第二圖像用作增強數(shù)據(jù)以增強的所述第一圖像的至少一個圖像特性，其中，所述增強的單視場圖像包括具有至少一個改善的特性的所述第一圖像，其中，所述至少一個改善的特性包括改善的景深、改善的分辨率中的至少一個；或改善的曝光水平。9.根據(jù)權(quán)利要求7所述的圖像處理方法，其中，對所述第二圖像進行分析并將其與所述第一圖像比較，以分離出所述第一圖像中的缺陷，其中，所述增強的單視場圖像是所述第一圖像去除所述缺陷的經(jīng)校正的版本。10.根據(jù)權(quán)利要求7所述的圖像處理方法，其中，一種圖像捕獲設(shè)備包括所述第一圖像傳感器和所述第二圖像傳感器，所述方法還包括在以下模式之間切換所述圖像捕獲設(shè)備的操作立體模式，利用所述第一圖像傳感器和所述第二圖像傳感器的同時操作以產(chǎn)生立體圖像；單視場模式，利用所述第一圖像傳感器的單獨的操作以產(chǎn)生單視場圖像；以及增強的單視場模式，利用所述第一圖像傳感器和所述第二圖像傳感器的同時操作以產(chǎn)生所述增強的單視場圖像。全文摘要本發(fā)明涉及雙圖像捕獲處理。本發(fā)明的成像設(shè)備的實施方式自動利用圖像處理管線中的同時圖像捕獲。在一個實施方式中，控制處理電路啟動第一圖像傳感器對第一圖像以及第二圖像傳感器對第二圖像的同時捕獲；并且圖像處理電路產(chǎn)生包括第一圖像和第二圖像中的至少一部分的增強的單視場圖像。文檔編號H04N9/04GK102892008SQ20121025480公開日2013年1月23日申請日期2012年7月20日優(yōu)先權(quán)日2011年7月20日發(fā)明者勞倫特·布里瑟杜,戴維·普洛曼,羅恩·弗里登塔勒,本杰明·休厄爾,諾希爾·帕圖克,克雷西達·哈丁申請人:美國博通公司