包括至少一個(gè)拜耳型攝像機(jī)的陣列系統(tǒng)及關(guān)聯(lián)的方法
【專利摘要】本發(fā)明涉及一種處理從不同有利位置記錄的場(chǎng)景的多個(gè)圖像的方法，其中所述多個(gè)圖像包括拜耳型攝像機(jī)捕獲的彩色參考圖像和至少一個(gè)額外圖像，所述方法包括：（a）配準(zhǔn)所述多個(gè)圖像中至少一部分；以及（b）從所述多個(gè)圖像生成單一色彩圖像，其中所述第一色彩圖像的色彩信息完全是從所述彩色參考圖像確定的。
【專利說(shuō)明】包括至少一個(gè)拜耳型攝像機(jī)的陣列系統(tǒng)及關(guān)聯(lián)的方法
[0001]相關(guān)申請(qǐng)的交叉參考
[0002]本申請(qǐng)要求2012年11月21日申請(qǐng)的美國(guó)臨時(shí)申請(qǐng)N0.61/729217的權(quán)益，其全部?jī)?nèi)容包括在此以供參考。
【技術(shù)領(lǐng)域】
[0003]本申請(qǐng)涉及一種處理從不同有利位置記錄的場(chǎng)景的多個(gè)圖像的方法。
【背景技術(shù)】
[0004]包括多個(gè)攝像機(jī)的攝像機(jī)系統(tǒng)用于從不同有利位置對(duì)公共場(chǎng)景成像。由攝像機(jī)系統(tǒng)捕獲的圖像可組合提供該攝像機(jī)系統(tǒng)中任何單個(gè)攝像機(jī)不能獲得的信息。某些應(yīng)用針對(duì)以明顯高于與單個(gè)攝像機(jī)關(guān)聯(lián)的幀速率捕獲視頻，其用于捕獲快速移動(dòng)物體的視頻。在其他應(yīng)用中，不同類型的攝像機(jī)用于獲得不同類型的信息。例如，攝像機(jī)系統(tǒng)可包括一個(gè)用于捕獲彩色圖像的攝像機(jī)和另一個(gè)用于捕獲單色圖像的攝像機(jī)。已經(jīng)證明包括多個(gè)攝像機(jī)的攝像機(jī)系統(tǒng)在立體攝像機(jī)應(yīng)用方面特別有用。
[0005]立體攝像機(jī)由彼此空間偏移的兩個(gè)或更多攝像機(jī)系統(tǒng)組成。每個(gè)攝像機(jī)捕獲同一場(chǎng)景的圖像，且所記錄圖像的后續(xù)分析提供標(biāo)準(zhǔn)的兩維圖像之外的距離信息。該構(gòu)型模擬一雙眼睛。人類通過(guò)比較通過(guò)眼睛獲取的視覺(jué)信息察覺(jué)距離。雙眼之間的距離導(dǎo)致雙眼中形成的圖像有輕微差別。大腦處理該差異性從而確定到場(chǎng)景中不同物體的距離并提供深度感。類似地，彼此鄰近設(shè)置并觀察同一場(chǎng)景的兩臺(tái)攝像機(jī)捕獲稍微不同的圖像，這是由于兩臺(tái)攝像機(jī)之間距離導(dǎo)致的。場(chǎng)景中的物體出現(xiàn)在圖像中稍微不同的位置。如果攝像機(jī)彼此以已知的距離分開(kāi)，則場(chǎng)景中物體相對(duì)立體攝像機(jī)的三維位置可通過(guò)三角測(cè)量從捕獲的圖像獲得。
[0006]立體攝像機(jī)被發(fā)現(xiàn)在越來(lái)越多的要求圖像捕獲和場(chǎng)景中距離信息的應(yīng)用中。例如，立體攝像機(jī)被實(shí)施在汽車中，以通過(guò)監(jiān)測(cè)周圍環(huán)境并確定是否汽車太接近其他物體或人而防止事故。除了位置和距離信息，立體攝像機(jī)還可以通過(guò)將所確定的物體和立體攝像機(jī)之間的距離應(yīng)用于物體的大小，如在圖像中測(cè)量的大小，而提供物體的實(shí)際大小。該特征在要求物體識(shí)別的應(yīng)用中有用，如監(jiān)控，機(jī)器視覺(jué)，和機(jī)器人設(shè)備。某些立體攝像機(jī)包括提供立體攝像機(jī)觀察到場(chǎng)景彩色圖像的額外攝像機(jī)。

【發(fā)明內(nèi)容】

[0007]一種處理從不同的有利位置記錄的場(chǎng)景多個(gè)圖像的方法，其中所述多個(gè)圖像包括彩色拜耳(Bayer)型攝像機(jī)捕獲的參考圖像和至少一個(gè)額外圖像，該方法包括:Ca)配準(zhǔn)所述多個(gè)圖像中至少一部分，以及(b)從所述多個(gè)圖像生成單一色彩圖像，其中單一色彩圖像的色彩信息完全由彩色參考圖像確定。
[0008]一種照相機(jī)系統(tǒng)，其包括(a)從多個(gè)有利位置捕獲場(chǎng)景的多個(gè)圖像的攝像機(jī)陣列，其中攝像機(jī)陣列包括至少一個(gè)具有拜耳型濾色器陣列的彩色攝像機(jī)，(b)處理器，(c)通信耦合到處理器的存儲(chǔ)器，以及(d)包括存儲(chǔ)在存儲(chǔ)器中的機(jī)器可讀指令的圖像組合模塊，在機(jī)器可讀指令在被處理器執(zhí)行時(shí)，發(fā)生具有完全由所選的至少一個(gè)彩色攝像機(jī)捕獲的圖像獲得的色彩信息的場(chǎng)景單一色彩圖像。
[0009]一種用于處理從不同有利位置記錄的場(chǎng)景的多個(gè)圖像，其中所述多個(gè)圖像包括拜耳型攝像機(jī)捕獲的彩色參考圖像和至少一個(gè)額外圖像，該系統(tǒng)包括(a)處理器，(b)通信耦合到處理器的存儲(chǔ)器，以及(C)圖像組合模塊，其包括存儲(chǔ)在存儲(chǔ)器中的機(jī)器可讀指令，在機(jī)器可讀指令在被處理器執(zhí)行時(shí)，發(fā)生具有完全由彩色參考圖像獲得的色彩信息的場(chǎng)景單一色彩圖像，所述單一色彩圖像被配準(zhǔn)到彩色參考圖像。
【專利附圖】

【附圖說(shuō)明】
[0010]圖1示出根據(jù)實(shí)施例的一個(gè)示例性攝像機(jī)系統(tǒng)，其包括具有至少一個(gè)拜耳型攝像機(jī)的攝像機(jī)陣列，和用于發(fā)生單一色彩圖像和深度地圖的圖像處理系統(tǒng)。
[0011]圖2示出根據(jù)實(shí)施例包括至少一個(gè)拜耳型攝像機(jī)的示例性攝像機(jī)陣列。
[0012]圖3示出根據(jù)實(shí)施例包括具有至少一個(gè)拜耳型攝像機(jī)的攝像機(jī)陣列的示例性攝像機(jī)系統(tǒng)。
[0013]圖4示出圖3中攝像機(jī)系統(tǒng)的一個(gè)示例性實(shí)施例。
[0014]圖5示出根據(jù)實(shí)施例從包括至少一個(gè)拜耳型圖像的多個(gè)輸入圖像生成深度地圖和單一色彩圖像的示例性方法。
[0015]圖6是根據(jù)實(shí)施例的示圖，其將場(chǎng)景物體的立體差異性與場(chǎng)景物體的深度和攝像機(jī)系統(tǒng)的特性關(guān)聯(lián)。
[0016]圖7示出根據(jù)實(shí)施例的一個(gè)示例性方法，其用于確定包括參考、拜耳型圖像的多個(gè)輸入圖像中可識(shí)別的場(chǎng)景物體的立體差異性，其中圖像由攝像機(jī)陣列捕獲。
[0017]圖8是根據(jù)實(shí)施例的示意圖，其示出根據(jù)一個(gè)示例性包括至少一個(gè)拜耳型攝像機(jī)的2X2攝像機(jī)陣列捕獲的圖像確定的場(chǎng)景物體立體差異性之間的關(guān)系。
[0018]圖9示出根據(jù)實(shí)施例的用于配準(zhǔn)包括參考、拜耳型圖像的多個(gè)輸入圖像的一個(gè)示例性方法，其中圖像由攝像機(jī)陣列捕獲，且配準(zhǔn)結(jié)果是以單個(gè)立體差異性的形式為參考、拜耳型圖像的每個(gè)像素提供的。
[0019]圖10示出根據(jù)實(shí)施例的用于根據(jù)包括至少一個(gè)參考、拜耳型圖像的多個(gè)輸入圖像生成深度地圖的一個(gè)示例性方法，其中深度地圖被配準(zhǔn)到參考、拜耳型地圖。
[0020]圖11示出根據(jù)實(shí)施例用于從包括參考、拜耳型圖像的多個(gè)輸入圖像生成單一色彩圖像的示例性方法，其中所述單一色彩圖像被配準(zhǔn)到參考、拜耳型圖像，且單元色彩圖像的色彩是從參考、拜耳型圖像獲得的。
[0021]圖12是根據(jù)實(shí)施例的示意圖，其示出基于相同的基本像素陣列，一個(gè)拜耳型圖像傳感器1210和一個(gè)示例性非拜耳型圖像傳感器1220的比較。
[0022]圖13示出圖2中攝像機(jī)陣列的一個(gè)示例性實(shí)施例，其中攝像機(jī)陣列包括拜耳型攝像機(jī)、至少一個(gè)清晰攝像機(jī)、以及額外的任選攝像機(jī)。
[0023]圖14示出圖11中方法的實(shí)施例，該實(shí)施例是為包括參考、拜耳型圖像和至少一個(gè)清晰圖像的輸入圖像處理剪裁的，所述圖像是通過(guò)如圖13所示的攝像機(jī)陣列捕獲的。
[0024]圖15示出圖2中攝像機(jī)陣列的一個(gè)示例性實(shí)施例，其中所述攝像機(jī)陣列包括拜耳型攝像機(jī)，以及一組攝像機(jī)，其中每個(gè)都對(duì)拜耳型攝像機(jī)所包括的光譜中部分光譜范圍敏感且結(jié)合起來(lái)至少涵蓋該拜耳型攝像機(jī)覆蓋的光譜范圍。
[0025]圖16示出圖11中方法的實(shí)施例，該實(shí)施例是為包括參考、拜耳型圖像、表示紅色進(jìn)入光的圖像、表示綠色進(jìn)入光的圖像、以及表示藍(lán)色進(jìn)入光的圖像的輸入圖像處理剪裁的，所述輸入圖像是通過(guò)如圖14所示的攝像機(jī)陣列捕獲的。
[0026]圖17示出根據(jù)實(shí)施例的用于處理包括至少一個(gè)拜耳型圖像的示例性實(shí)施例。
[0027]圖18是圖17中系統(tǒng)的一個(gè)示例性實(shí)施例。
【具體實(shí)施方式】
[0028]圖1示出包括一個(gè)示例性攝像機(jī)陣列110和圖像處理系統(tǒng)120的攝像機(jī)陣列系統(tǒng)100。攝像機(jī)陣列110包括拜耳型攝像機(jī)111、攝像機(jī)112、以及任選攝像機(jī)113和114。拜耳型攝像機(jī)111、攝像機(jī)112以及任選攝像機(jī)113和114中的每一個(gè)都包括成像物鏡(圖1中未示出)和用于捕獲場(chǎng)景圖像的數(shù)字圖像傳感器，如電荷耦合器件(CCD)圖像傳感器或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)圖像傳感器。拜耳型攝像機(jī)111、攝像機(jī)112、以及任選攝像機(jī)113和114從不同的有利位置觀看共同的場(chǎng)景，因而提供立體成像能力。圖像處理系統(tǒng)120處理一組圖像，每個(gè)圖像都由攝像機(jī)陣列110的各個(gè)獨(dú)立攝像機(jī)捕獲，從而生成單個(gè)、單一色彩圖像130和深度地圖140。深度地圖140指示從攝像機(jī)陣列110到圖像中捕獲的場(chǎng)景物體的距離。
[0029]拜耳型攝像機(jī)111的圖像傳感器裝配有拜耳型濾色器陣列。拜耳型攝像機(jī)111的每個(gè)色彩像素150都由對(duì)不同顏色的光，如紅色、綠色、和藍(lán)色敏感的感光點(diǎn)155(圖1中標(biāo)記了一個(gè)示例性感光點(diǎn))組成。感光點(diǎn)155提供光的光譜分析，其導(dǎo)致由色彩像素150檢測(cè)到的光的色彩識(shí)別。在傳統(tǒng)拜耳型濾色器陣列的情形中，如圖1所示，色彩像素、如色彩像素150由紅色感光點(diǎn)(R)、兩個(gè)綠色感光點(diǎn)(G)、以及藍(lán)色感光點(diǎn)(B)組成。其他類型的拜耳型濾色器陣列包括，例如每個(gè)色彩像素中具有一個(gè)紅色、一個(gè)綠色、一個(gè)藍(lán)色、以及一個(gè)翠綠色感光點(diǎn)的RGBE濾色器陣列，每個(gè)色彩像素中具有一個(gè)青色、兩個(gè)黃色、以及一個(gè)洋紅色感光點(diǎn)的CYYM濾色器陣列，每個(gè)色彩像素中具有一個(gè)青色、一個(gè)黃色、一個(gè)綠色、以及一個(gè)洋紅色感光點(diǎn)的CYGM濾色器陣列。
[0030]圖像處理系統(tǒng)120基于多個(gè)圖像生成單一色彩的圖像130。然而，單一色彩圖像130中色彩信息是完全從由拜耳型攝像機(jī)111捕獲的圖像中提取的。在某些用于從多攝像機(jī)系統(tǒng)生成單一圖像的現(xiàn)有技術(shù)系統(tǒng)中，不同攝像機(jī)對(duì)不同顏色敏感。因此，確定所得單一色彩圖像中像素的色彩要求組合超過(guò)一個(gè)攝像機(jī)的信息。對(duì)于某些用于色彩識(shí)別的攝像機(jī)，在成像場(chǎng)景中前景物體如此接近攝像機(jī)系統(tǒng)，以致遮擋遠(yuǎn)處背景的觀察的情形中，這常常會(huì)引入偽色(color artifact)。這導(dǎo)致遠(yuǎn)處背景被遮擋部分的色彩信息不完整。例如，如果前景物體遮擋提供光譜藍(lán)色部分信息的攝像機(jī)捕獲的圖像中部分遠(yuǎn)處藍(lán)色天空，則遠(yuǎn)程藍(lán)色天空被遮擋部分將缺少藍(lán)色。圖1中系統(tǒng)100通過(guò)分配完全從拜耳型攝像機(jī)111獲得的色彩給單一色彩圖像130而克服該問(wèn)題。圖11中示出生成單一色彩圖像130的方法。
[0031]圖像處理系統(tǒng)120基于圖像集合中至少兩個(gè)圖像生成深度地圖140。對(duì)于拜耳型攝像機(jī)111獲得的圖像中場(chǎng)景的所有物體、或點(diǎn)，圖像處理系統(tǒng)120在攝像機(jī)112和任選攝像機(jī)113和114中至少一個(gè)中定位同一場(chǎng)景物體或點(diǎn)。到由攝像機(jī)陣列110成像的場(chǎng)景中物體或其部分的距離是通過(guò)如至少兩個(gè)攝像機(jī)測(cè)量的其成像位置的三角測(cè)量法確定的。根據(jù)設(shè)計(jì)，單一色彩圖像140中出現(xiàn)的任何特征也出現(xiàn)在由拜耳型攝像機(jī)111捕獲的圖像中。構(gòu)造攝像機(jī)陣列110以便由色彩像素150的感光點(diǎn)155覆蓋的光譜范圍被攝像機(jī)陣列110中其他攝像機(jī)覆蓋。在實(shí)施例中，除了拜耳型攝像機(jī)111，攝像機(jī)陣列110包括至少一個(gè)“清晰攝像機(jī)”，如攝像機(jī)112。清晰攝像機(jī)的每個(gè)像素至少對(duì)色彩像素150的感光點(diǎn)155覆蓋的光譜范圍內(nèi)的光敏感。這確保了單一色彩圖像130中發(fā)現(xiàn)的任何特征都出現(xiàn)在至少兩個(gè)圖像中，無(wú)論其色彩，因而使得能夠?qū)υ撎卣鬟M(jìn)行深度計(jì)算。在另一個(gè)實(shí)施例中，除了拜耳型攝像機(jī)111，攝像機(jī)陣列110包括多個(gè)攝像機(jī)，如攝像機(jī)112和任選攝像機(jī)113和114，每個(gè)都對(duì)色彩像素150的感光點(diǎn)155覆蓋的部分光譜范圍敏感，且組合起來(lái)至少覆蓋色彩像素150的感光點(diǎn)155覆蓋的光譜范圍。這使得能夠通過(guò)三角測(cè)量進(jìn)行深度計(jì)算，因?yàn)樘卣鞒霈F(xiàn)在至少兩個(gè)圖像中。在某些實(shí)施例中，雖然拜耳型攝像機(jī)111包括拜耳型濾色器(感光點(diǎn)1?、6、8、和6，如圖1所示)，但攝像機(jī)112和任選攝像機(jī)113和114包括對(duì)紅光敏感的攝像機(jī)，對(duì)綠光敏感的攝像機(jī)，以及對(duì)綠光敏感的攝像機(jī)。
[0032]圖2示出攝像機(jī)陣列210，其為與本公開(kāi)相關(guān)的攝像機(jī)陣列的一般形式。圖1中攝像機(jī)陣列110是攝像機(jī)陣列210的實(shí)施例，且圖1中的討論，包括單一色彩圖像130的生成和圖像處理系統(tǒng)120獲得的深度地圖140，都可應(yīng)用于基于攝像機(jī)陣列210的系統(tǒng)。攝像機(jī)陣列210包括拜耳型攝像機(jī)211、攝像機(jī)212、以及任意數(shù)目的任選攝像機(jī)213(圖2中僅標(biāo)記出一個(gè))。
[0033]雖然圖2示出設(shè)置在規(guī)則網(wǎng)格上的各攝像機(jī)，但各攝像機(jī)可以任意構(gòu)型布置，只要其觀察到公 共場(chǎng)景。各攝像機(jī)不必在同一平面中，但它們的相對(duì)位置必須是已知的。每個(gè)攝像機(jī)212和任選攝像機(jī)213是，例如清晰攝像機(jī)、所有像素具有相同色彩敏感性的色彩涂覆的攝像機(jī)、紅外攝像機(jī)、或拜耳型攝像機(jī)。在實(shí)施例中，攝像機(jī)212或任選攝像機(jī)213捕獲的圖像是以與拜耳型攝像機(jī)211捕獲的圖像相同的放大率捕獲的。在另一個(gè)實(shí)施例中，攝像機(jī)212和任選攝像機(jī)213中至少一個(gè)以不同于拜耳型攝像機(jī)211的放大率捕獲圖像。在進(jìn)一步實(shí)施例中，至少一個(gè)攝像機(jī)212和任選攝像機(jī)213以與拜耳型攝像機(jī)211不同的亮度設(shè)定捕獲圖像，如不同曝光時(shí)間、增益設(shè)定、孔徑光闌，以便擴(kuò)展攝像機(jī)系統(tǒng)的動(dòng)態(tài)范圍。在某些實(shí)施例中，攝像機(jī)212和/或任選攝像機(jī)213捕獲與拜耳型攝像機(jī)211所捕獲圖像的像素分辨率不同的圖像。攝像機(jī)陣列210可形成在單一染料上，所述染料提供各攝像機(jī)，即，拜耳型攝像機(jī)211、攝像機(jī)212、和任選攝像機(jī)213之間魯棒性對(duì)準(zhǔn)。
[0034]圖3示出通過(guò)攝像機(jī)陣列進(jìn)行圖像捕獲以及所捕獲圖像的后續(xù)處理的系統(tǒng)300，其包括至少個(gè)拜耳型攝像機(jī)。系統(tǒng)300包括圖2中攝像機(jī)陣列210。在系統(tǒng)300中，攝像機(jī)陣列210與處理器320通信，以便處理從攝像機(jī)陣列210接收的圖像，以及可選用于控制攝像機(jī)陣列210。處理器320與非易失性存儲(chǔ)器330通信，該非易失性存儲(chǔ)器330包括用于處理從處理器320接收的機(jī)器可讀指令340，和用于存儲(chǔ)攝像機(jī)陣列210捕獲的圖像，以及可選地，由處理器320生成的圖像的圖像存儲(chǔ)裝置350。
[0035]在實(shí)施例中，機(jī)器可讀指令340至少含用于生成圖1中單一色彩圖像130和深度地圖140的算法。在該情形中，處理器320和存儲(chǔ)器330包括圖1中圖像處理系統(tǒng)120的功能。圖1中的討論可延伸到系統(tǒng)300的該實(shí)施例。處理器320進(jìn)一步與接口 360通信，以便傳輸攝像機(jī)陣列210捕獲的圖像和/或處理器320生成的數(shù)據(jù)，如單一色彩圖像130和深度地圖140。接口 360可傳輸圖像和其他數(shù)據(jù)到用戶或外部計(jì)算機(jī)，以便數(shù)據(jù)的進(jìn)一步處理和/或存儲(chǔ)。在某些實(shí)施例中，攝像機(jī)陣列210、處理器320、存儲(chǔ)器330、以及接口360封閉在殼體390中。殼體390可以是攝像機(jī)主體。進(jìn)一步包括在殼體390中的可以是電源370。任選地，處理器320和存儲(chǔ)器330的部分功能由與接口 360通信的外部計(jì)算機(jī)提供(圖3中未示出)。
[0036]圖4示出用于圖像捕獲和處理的系統(tǒng)400，其為圖3中系統(tǒng)300的實(shí)施例。在系統(tǒng)400中，機(jī)器可讀指令340包括用于處理由攝像機(jī)陣列210捕獲的同一場(chǎng)景的多個(gè)圖像的算法，每個(gè)圖像都表示從不同有利位置觀察到的場(chǎng)景視圖。包括在指令340中的算法是:用于配準(zhǔn)多個(gè)圖像的配準(zhǔn)算法(registration algorithm) 412 ;用于生成單一圖像的組合算法，如圖1中基于多個(gè)圖像的單一色彩圖像130 ;以及用于生成深度地圖的深度算法416，如圖1中基于多個(gè)圖像的深度地圖140。存儲(chǔ)器330進(jìn)一步包括用于存儲(chǔ)處理器320根據(jù)配準(zhǔn)算法412中指令生成的配準(zhǔn)數(shù)據(jù)的配準(zhǔn)數(shù)據(jù)420。配準(zhǔn)數(shù)據(jù)420包括立體差異性422。存儲(chǔ)器330進(jìn)一步包括處理器320在處理從攝像機(jī)陣列210接收的圖像時(shí)使用的校準(zhǔn)數(shù)據(jù)430。校準(zhǔn)數(shù)據(jù)430包括由處理器320用于執(zhí)行配準(zhǔn)算法412的差異性關(guān)系432。進(jìn)一步，存儲(chǔ)器330包括處理器320在執(zhí)行指令340中使用的計(jì)數(shù)模塊440，和用于處理器320根據(jù)指令340所生成結(jié)果存儲(chǔ)的結(jié)果450。
[0037]圖5示出從場(chǎng)景多個(gè)圖像生成單一圖像和深度地圖的方法500。每個(gè)圖像都表示從不同有利位置獲得的場(chǎng)景視圖，且至少一個(gè)圖像是拜耳型圖像。例如，方法500由圖3和4中處理器320用于處理從攝像機(jī)陣列210接收的圖像(圖2)，從而生成圖1中單一色彩圖像130和深度地圖。
[0038]在步驟510中，多個(gè)輸入圖像是從攝像機(jī)陣列接收的?？蛇x地，多個(gè)輸入圖像是從與直接來(lái)自攝像機(jī)陣列不同的存儲(chǔ)位置獲得的。每個(gè)圖像都表示來(lái)自不同有利位置的同一場(chǎng)景的視圖。圖像可由攝像機(jī)陣列210捕獲(圖2)并由處理器320接收(圖3和4)。在任選步驟520中，輸入圖像被修剪從而除去無(wú)意義的圖像部分,如受到虛光照(vignetting)的圖像部分或過(guò)度失真的部分。例如，根據(jù)指令340 (圖3和4)，步驟520是由處理器320執(zhí)行的(圖3和4)。在任選步驟530中，原始拜耳型圖像被轉(zhuǎn)換為彩色圖像。如果拜耳型圖像是以原始格式接收的，則執(zhí)行任選步驟530，其中來(lái)自多個(gè)感光點(diǎn)，如感光點(diǎn)155(圖1)的數(shù)據(jù)尚未組合來(lái)定義像素的色彩，如彩色像素150 (圖1)。通常，任選步驟530包括白平衡和去馬賽克化。例如，根據(jù)指令340，任選步驟530由處理器320執(zhí)行(圖3和4)。
[0039]在步驟540中，配準(zhǔn)多個(gè)輸入圖像。由于每個(gè)圖像都表示從不同有利位置獲得的場(chǎng)景視圖，所以場(chǎng)景物體被成像到多個(gè)圖像中每個(gè)圖像的不同位置。這些差異就是已知的立體差異性。
[0040]圖6是示圖600，其示出與成像物鏡621在像素陣列631上成像以及成像物鏡622在像素陣列632上成像的場(chǎng)景中物體610關(guān)聯(lián)的立體差異性。成像物鏡621和622的光學(xué)軸641和642分別由長(zhǎng)度為B的立體基線650分開(kāi)。如線601所示，成像物鏡621將物體610在像素陣列631的位置611上成像，與像素陣列631的原點(diǎn)距離為X。類似地，如線602所示，成像物鏡622將物體610在像素陣列632的位置612上成像，與像素陣列632的原點(diǎn)距離為χ+Λχ。與物體610關(guān)聯(lián)并被稱為其在像素陣列631上成像位置611的立體差異性為Λχ。物體610的深度定義為在與各光學(xué)軸641和642平行方向上從物體610到成像物鏡621和622的距離z (標(biāo)記為670)。通過(guò)下面的等式，物體610的深度與立體差異性Λχ
關(guān)聯(lián):
[0041]Z=BX f/ Δ X,(等式 I)
[0042]其中f是成像物鏡621和622的焦距(標(biāo)記為650)。示圖600和深度與立體差異性之間關(guān)系的關(guān)聯(lián)偏差基于兩個(gè)相同的成像系統(tǒng)，它們具有相同薄透鏡成像物鏡，平行光軸，以及共面像素陣列。易于調(diào)整示圖600和其中的討論，以及等式1，從而不偏離其范圍解決更復(fù)雜的情形。
[0043]再回到圖5的方法500，步驟540包括確定相應(yīng)位置集合，作為各輸入圖像中同一場(chǎng)景物體(或點(diǎn))位置的每個(gè)相應(yīng)位置都被確定。位置可以局限于實(shí)際像素位置或以超像素分辨率確定。步驟540進(jìn)一步包括計(jì)算與成像場(chǎng)景中點(diǎn)關(guān)聯(lián)的立體差異性，如與物體610關(guān)聯(lián)的立體差異性ΛΧ (圖6)。立體差異性被稱為參考圖像。在一個(gè)實(shí)施例中，如果發(fā)現(xiàn)場(chǎng)景物體在兩個(gè)以上的圖像中，則所有確定的需要位置都用于單個(gè)、關(guān)聯(lián)的立體差異性。立體差異性存儲(chǔ)在存儲(chǔ)器中，如存儲(chǔ)到配準(zhǔn)數(shù)據(jù)420 (圖4)作為立體差異性422 (圖4)。在實(shí)施例中，指示相應(yīng)位置集合的配準(zhǔn)數(shù)據(jù)存儲(chǔ)到存儲(chǔ)器中，如作為配準(zhǔn)數(shù)據(jù)420。在替換實(shí)施例中，僅立體差異性被存儲(chǔ)到存儲(chǔ)器中，且方法500的后續(xù)步驟中所需的相應(yīng)位置集合是從這類立體差異性中推導(dǎo)出的，如立體差異性422。例如，步驟540是由處理器320根據(jù)配準(zhǔn)算法412中指令執(zhí)行的(圖3和4)。
[0044]在步驟550中，生成深度地圖，例如，圖1中指示成像場(chǎng)景中物體深度的深度地圖140。深度計(jì)算基于步驟540中確定的立體差異性，例如，立體差異性422(圖4)。深度計(jì)算可利用等式I。例如，步驟550是由處理器320 (圖3和圖4)根據(jù)深度算法416 (圖4)中指令執(zhí)行的。
[0045]在步驟560中，根據(jù)步驟540中確定的配準(zhǔn)，通過(guò)組合不同輸入圖像，從多個(gè)輸入圖像生成單一色彩圖像，例如，圖1中單一色彩圖像130。單一色彩圖像中每個(gè)像素的色彩是根據(jù)參考圖像中相應(yīng)像素的色彩分配的。在實(shí)施例中，單一色彩圖像的每個(gè)像素的灰度值是通過(guò)組合多個(gè)輸入圖像中所有相應(yīng)位置的強(qiáng)度發(fā)現(xiàn)的，這里相應(yīng)位置已經(jīng)在步驟540中確定。在實(shí)施例中，相應(yīng)位置是從步驟540中確定的立體差異性推導(dǎo)的。在另一個(gè)實(shí)施例中，如果在步驟540中，相應(yīng)位置是以超像素分辨率確定的，則“相應(yīng)位置”的強(qiáng)度構(gòu)成最靠近該位置的像素強(qiáng)度的加權(quán)平均值。例如，步驟560是根據(jù)組合算法(圖4)中指令由處理器320 (圖3和4)執(zhí)行的。
[0046]在步驟570中，輸出分別在步驟560和550中生成的單一色彩圖像和深度地圖。例如，步驟570由處理器320利用接口 360 (圖3和4)執(zhí)行。步驟570可以兩個(gè)分開(kāi)的步驟執(zhí)行，一個(gè)輸出深度地圖，另一個(gè)輸出單一色彩圖像，只要其可用。步驟550和560可依次或并行執(zhí)行。
[0047]在某些實(shí)施例中，步驟540、550、和560中一個(gè)或更多步驟利用從至少一個(gè)拜耳型圖像中選擇的參考拜耳型圖像。在這類實(shí)施例中，步驟540中計(jì)算的立體差異性被稱為參考拜耳型圖像中位置。類似地，在某些實(shí)施例中，步驟550中生成的深度地圖被稱為參考拜耳型圖像，以便深度地圖中每個(gè)像素指示參考拜耳型圖像的同一位置中物體的深度。相同的原理可應(yīng)用于步驟550，以便在某些實(shí)施例中，單一色彩圖像中場(chǎng)景物體的位置與參考拜耳型圖像中位置相同。然而，因?yàn)閱我簧蕡D像的像素強(qiáng)度是從多個(gè)圖像確定的，與參考拜耳型圖像相比，單一色彩圖像中物體的空間分辨率可改善。在利用參考拜耳型圖像的實(shí)施例560中，單一色彩圖像中像素的色彩被設(shè)定為參考拜耳型圖像中相同像素的色彩。
[0048]圖7示出確定攝像機(jī)陣列捕獲的圖像中場(chǎng)景的物體(或點(diǎn))的立體差異性。輸入圖像表示從不同有利位置觀察的共同場(chǎng)景的圖像并包括至少一個(gè)拜耳型圖像，其中之一定義窗口圖像。假定場(chǎng)景物體可在至少三個(gè)圖像中識(shí)別，包括參考、拜耳型圖像。因此，至少兩個(gè)不同圖像對(duì)可用于立體差異性確定。如下所述，從不同圖像對(duì)獲得的立體差異性之間的關(guān)系已經(jīng)在執(zhí)行方法700之前校準(zhǔn)，例如，在制造用于捕獲輸入圖像的攝像機(jī)陣列過(guò)程中。根據(jù)示出場(chǎng)景物體的所有圖像的考量，方法700利用立體差異性之間三個(gè)預(yù)校準(zhǔn)的關(guān)系確定單個(gè)立體差異性。這相對(duì)僅利用兩個(gè)含場(chǎng)景物體圖像的方法增加了魯棒性。方法700構(gòu)成方法500 (圖5)的步驟540 —個(gè)示例性實(shí)施例的一部分，并可存儲(chǔ)為圖4中配準(zhǔn)算法412的一部分。
[0049]在步驟710中，包括參考、拜耳型圖像的多個(gè)輸入圖像是從攝像機(jī)陣列或從存儲(chǔ)位置接收的。例如，處理器320 (圖3和4)從攝像機(jī)陣列210 (圖2)或從圖像存儲(chǔ)裝置350(圖3和4)接收多個(gè)輸入圖像。在步驟720中，下面表示為參考像素的色彩像素是從參考、拜耳型圖像中選擇的。參考像素與出現(xiàn)在至少兩個(gè)額外圖像中的場(chǎng)景物體(或點(diǎn))的圖像一致。例如，參考像素是圖1中拜耳型攝像機(jī)111的色彩像素150。步驟720可由處理器320(圖3和4)執(zhí)行，并可定義部分配準(zhǔn)算法412 (圖4)。
[0050]在步驟730中，相應(yīng)于參考像素的位置集合在其他輸入圖像中被識(shí)別。給定成像到步驟720中選擇的參考像素的場(chǎng)景物體至少在兩個(gè)其他圖像中可識(shí)別，則至少兩個(gè)相應(yīng)位置在步驟730中確定。每個(gè)相應(yīng)于參考像素的位置是指各非參考輸入圖像，并與參考像素的場(chǎng)景物體的圖像最佳匹配。因?yàn)榱Ⅲw差異性可以是任何尺度的，且不限于整數(shù)個(gè)像素，相應(yīng)于參考像素的位置可不在圖像像素的中心。在實(shí)施例中，步驟730中確定的相應(yīng)于參考像素的位置被限制在像素坐標(biāo)。在另一個(gè)實(shí)施例中，相應(yīng)于參考像素的位置是以超像素分辨率分配的。用于捕獲輸入圖像的攝像機(jī)間有利位置差可導(dǎo)致給定場(chǎng)景物體的圖像表示中不同圖像的差別。因此，步驟730確定最佳匹配參考像素的位置。還要注意，輸入圖像可具有不同分辨率。例如，非拜耳型圖像的像素分辨率可比拜耳型圖像高。步驟730可以是配準(zhǔn)算法412 (圖4)的一部分，并可由處理器320 (圖3和4)執(zhí)行。參考像素及其相應(yīng)位置由處理器320 (圖3和4)存儲(chǔ)在，例如存儲(chǔ)器中，如存儲(chǔ)在配準(zhǔn)數(shù)據(jù)420 (圖4)中。
[0051]在步驟730的某些實(shí)施例中，相應(yīng)于參考像素的位置是通過(guò)非參考圖像中搜索掃描線發(fā)現(xiàn)的?？紤]示例性圖像對(duì)，包括由位于同一垂直位置的兩個(gè)攝像機(jī)捕獲的參考圖像和非參考圖像。圖2中攝像機(jī)陣列210中拜耳型攝像機(jī)211和攝像機(jī)212示出這樣的情形。在例子中，其中拜耳型攝像機(jī)211和攝像機(jī)212具有相同的成像特性，平行于光軸，以及共面像素陣列，成像到步驟720中選擇的參考像素上的物體位于非參考圖像中同一垂直位置。該垂直位置的水平線被掃描到非參考圖像中，且沿水平掃描線與參考像素中內(nèi)容最佳匹配被識(shí)別。在更復(fù)雜例子中，其中拜耳型攝像機(jī)211和攝像機(jī)212具有不同成像特性(如，放大率)，不平行光軸，或非共面像素陣列，或位于不同垂直位置，圖像被修正補(bǔ)償。這樣的修正可包括用變換映射攝像機(jī)212捕獲的圖像內(nèi)容到新圖像上，該變換解決拜耳型攝像機(jī)211和攝像機(jī)212之間的差別，而非有利位置點(diǎn)差別?？商鎿Q地，差別是通過(guò)掃描非參考圖像中變換的軌跡解決的。變換信息可存儲(chǔ)在存儲(chǔ)器中，如校準(zhǔn)數(shù)據(jù)430 (圖4)，并在處理器320 (圖3和4)需要時(shí)被檢索。
[0052]在步驟740中，步驟720中選擇的參考像素和相應(yīng)于參考像素并在步驟730中被識(shí)別的至少兩個(gè)位置以參考像素坐標(biāo)項(xiàng)和立體差異性表達(dá)。至少兩個(gè)立體差異性Ax(i)輸入該問(wèn)題。
[0053]一個(gè)示例性攝像機(jī)陣列801在圖8的示意圖800中示出。攝像機(jī)陣列801包括具有拜耳型像素陣列810的攝像機(jī)，和三個(gè)其他具有像素陣列820、830、以及840的攝像機(jī)。這四個(gè)攝像機(jī)布置在2X2網(wǎng)格中。拜耳型像素陣列810的色彩像素811定義示例性參考像素，如圖7中步驟720所選并與拜耳型像素陣列810上形成的圖像中場(chǎng)景物體關(guān)聯(lián)的像素。參考像素811相對(duì)定義的坐標(biāo)系統(tǒng)原點(diǎn)的位置815為(X，y)(圖8中標(biāo)記為815),例如拜耳型像素陣列810的左上部色彩像素。在該例子中，根據(jù)圖7中步驟730，相應(yīng)位置825、835、以及845被發(fā)現(xiàn)在各像素陣列820、830、和840上形成的每個(gè)圖像中。像素陣列820的位置825的坐標(biāo)為(x+Ax，y)，其中Δ X為與參考像素位置815和相應(yīng)位置825關(guān)聯(lián)的立體差異性。類似地，像素陣列830上形成的圖像中位置835為(x，y+Ay)。最終，像素陣列840上形成的圖像中位置845為(x+Ax，y+Ay)。該坐標(biāo)是通過(guò)將立體差異性Λχ加到相應(yīng)位置835的坐標(biāo),或通過(guò)將立體差異性Δ y加到相應(yīng)位置845的坐標(biāo)發(fā)現(xiàn)的。
[0054]因此所有位置825、835、和845都是以參考像素位置815的項(xiàng)和立體差異性Λχ與Ay表達(dá)的。這導(dǎo)致下面的等式系統(tǒng):
[0055](x815, y815) = (x, y)，(等式 2a)
[0056](x825, y825) = (x+ Δ x, y),(等式 2b)
[0057](x835, y835) = (x, y+Δ y)，(等式 2c)
[0058](x815, y815) = (x+Ax, y+Ay)(等式 2d)
[0059]所有坐標(biāo)x815、y815、x825、y825、X835> y835、X845>以及y845都是已知的，因?yàn)樗鼈兪菑妮斎雸D像提取的。等式2a可用于消除未知數(shù)X和y，留下三個(gè)等式:
[0060](x825, y825) = (χ815+ Δ x, y815)(等式 3a)
[0061 ] (x835, y835) = (x815, y815+ Δ y)(等式 3b )
[0062](x815, y815) = (x815+Δχ, y815+Ay)(等式 3c)
[0063]因此，位置量是立體差異性Λχ和Ay。
[0064]返回到方法700 (圖7)的步驟740，圖8中所示例子易于延伸到從一般攝像機(jī)陣列獲得的輸入圖像中任意數(shù)目的位置，相應(yīng)于參考像素，如結(jié)合圖2討論的攝像機(jī)陣列。步驟740可構(gòu)成配準(zhǔn)算法412 (圖4)的一部分，并由處理器320 (圖3和4)執(zhí)行。
[0065]在步驟750中，立體差異性Ax(i)之間預(yù)校準(zhǔn)的關(guān)系被調(diào)用來(lái)根據(jù)參考像素位置和單個(gè)立體差異性表達(dá)相應(yīng)于參考像素的所有位置。例如，這些預(yù)校準(zhǔn)的關(guān)系是從校準(zhǔn)數(shù)據(jù)430檢索的作為差異性關(guān)系432。表示單個(gè)立體差異性Λ X，所有其他立體差異性Ax(i)可以表達(dá)為Δχ(I)Zfi(Ax),其中&是Λχ的預(yù)校準(zhǔn)函數(shù)。例如，&是Λχ的線性函數(shù)。
[0066]為了例示，步驟750應(yīng)用于等式3中列出并與圖8中例子相關(guān)的等式系統(tǒng)，產(chǎn)生如下等式系統(tǒng):
[0067](x825, y825) = (χ815+ Δ x, y815) (等式 4a)
[0068](X835, y835) = (X815, y815+f ( λ X))(等式 4b)
[0069](x815, y815) = (x815+ Δ x, y815+f ( Δ x))(等式 4c )[0070]其中Ay=f(X)。這使得三個(gè)等式的系統(tǒng)中有一個(gè)未知數(shù)，立體差異性Λχ。
[0071]步驟750可應(yīng)用于由任何攝像機(jī)陣列捕獲的輸入圖像，包括拜耳型攝像機(jī)，如結(jié)合圖2討論的攝像機(jī)。一般情形中，步驟750的輸出是至少兩個(gè)具有單個(gè)未知數(shù)的等式，SP，等式的超定系統(tǒng)(overdetermined system)。例如，步驟750構(gòu)成配準(zhǔn)算法412 (圖4)的一部分，并由處理器320 (圖3和4)執(zhí)行。
[0072]在步驟760中，求解步驟750中生成的等式的超定系統(tǒng)，如等式4，從而確定單個(gè)立體差異性Λχ。解超定等式系統(tǒng)的方法是現(xiàn)有技術(shù)中已知的。在某些情形中，精確解可用，例如矩陣代數(shù)發(fā)現(xiàn)的。通常，至少近似解可用優(yōu)化法發(fā)現(xiàn)。在實(shí)施例，等式的超定系統(tǒng)是用最小二次方法求解的。例如，步驟760是配準(zhǔn)算法412 (圖4)的一部分，并可由處理器320(圖3和4)執(zhí)行。在步驟770，確定的立體差異性ΛΧ輸出到存儲(chǔ)器，輸出給用戶，或輸出給外部計(jì)算機(jī)。例如，步驟770是由處理器320 (圖3和4)執(zhí)行的，其存儲(chǔ)立體差異性Λχ到立體差異性422 (圖4)，和/或經(jīng)接口 360 (圖3和4)將立體差異性Ax傳輸給用戶或外部計(jì)算機(jī)。
[0073]任選步驟780使用等式I計(jì)算成像到步驟720中選擇的參考像素上的場(chǎng)景物體(或點(diǎn))的深度。例如，任選步驟780是通過(guò)處理器320 (圖3和4)執(zhí)行的，并構(gòu)成深度算法416 (圖4)的一部分。立體基線B的值可從校準(zhǔn)數(shù)據(jù)430 (圖4)中檢索。任選步驟785輸出步驟780中確定的深度到，例如存儲(chǔ)器，用戶，或外部計(jì)算機(jī)。任選步驟785可由處理器320 (圖3和4)執(zhí)行，其存儲(chǔ)深度到結(jié)果450 (圖4)和/或經(jīng)接口 360 (圖3和4)輸出深度到用戶或外部計(jì)算機(jī)。
[0074]圖9示出配準(zhǔn)由攝像機(jī)陣列捕獲的多個(gè)輸入圖像的方法900，包括至少一個(gè)拜耳型圖像。至少一個(gè)拜耳型圖像中的一個(gè)圖像定義參考圖像，而非參考圖像被配準(zhǔn)到拜耳型參考圖像。方法900是方法500 (圖5)的步驟540的一個(gè)示例性實(shí)施例，且方法900的指令可存儲(chǔ)在圖4中配準(zhǔn)算法412。在方法900中，配準(zhǔn)是以立體差異性的項(xiàng)表達(dá)的。在可替換實(shí)施例中，圖9中沒(méi)有示出，由方法900確定的配準(zhǔn)是根據(jù)相應(yīng)位置集合表達(dá)的。
[0075]在步驟910中，接收由攝像機(jī)陣列生成的輸入圖像。輸入圖像包括參考圖像，拜耳型圖像。例如，步驟910是由處理器320 (圖3和4)執(zhí)行的，其可從攝像機(jī)陣列210 (圖2、
3、4)接收輸入圖像，或根據(jù)需要，從存儲(chǔ)的位置，如圖像存儲(chǔ)裝置350 (圖3和4)接收輸入圖像。在步驟920中，參考圖像像素計(jì)數(shù)器被初始化。例如，參考圖像像素計(jì)數(shù)器被處理器320 (圖3和4)初始化，并存儲(chǔ)在計(jì)數(shù)器模塊440 (圖4)中。后續(xù)步驟930到960是為參考像素N執(zhí)行的，其中N是參考圖像像素計(jì)數(shù)器的值。
[0076]在步驟930中，非參考輸入圖像是為與參考像素N的內(nèi)容匹配或與其最佳匹配的位置搜索的。步驟930利用與方法700 (圖7)的步驟730相同的搜索方法。在某些情形中，沒(méi)有發(fā)現(xiàn)相應(yīng)的最佳匹配位置。例如，當(dāng)靠近用于捕獲輸入圖像的攝像機(jī)陣列的場(chǎng)景物體遮擋非參考圖像中參考像素N的內(nèi)容時(shí)，會(huì)發(fā)生沒(méi)有相應(yīng)的最佳匹配位置。導(dǎo)致沒(méi)有相應(yīng)最佳匹配位置的其他情形包括搜索方法不能發(fā)現(xiàn)單個(gè)最佳匹配位置的情形。例如，搜索可發(fā)現(xiàn)兩個(gè)最佳匹配位置，但沒(méi)有信息指導(dǎo)在這兩者之間做出選擇，或參考像素N的內(nèi)容可以是圖像中較大一致區(qū)域的一部分，以便搜索識(shí)別較大范圍，而非單個(gè)位置。例如，步驟930是由處理器320 (圖3和4)執(zhí)行的。參考像素N的位置和相應(yīng)最佳匹配可通過(guò)處理器320 (圖3和4)存儲(chǔ)到存儲(chǔ)器，例如存儲(chǔ)到配準(zhǔn)數(shù)據(jù)420 (圖4)。[0077]步驟932是決定步驟。步驟932評(píng)估步驟930中發(fā)現(xiàn)的相應(yīng)最佳匹配位置的數(shù)目。例如，步驟932由處理器320 (圖3和4)執(zhí)行，可選基于從配準(zhǔn)數(shù)據(jù)420中檢索相應(yīng)最佳匹配位置。如果步驟930中沒(méi)有發(fā)現(xiàn)相應(yīng)最佳匹配位置，則方法900進(jìn)入步驟960。如果步驟930中發(fā)現(xiàn)單個(gè)相應(yīng)最佳匹配位置，方法900進(jìn)入步驟940，其中與參考像素N關(guān)聯(lián)的立體差異性是從參考像素N的位置和相應(yīng)最佳匹配之間差異計(jì)算的。步驟950可由處理器320 (圖3和4)執(zhí)行。如果步驟930中發(fā)現(xiàn)兩個(gè)或更多最佳匹配位置，則方法進(jìn)入步驟進(jìn)入950，其與方法700的步驟740到770相同，并確定與參考像素N關(guān)聯(lián)的立體差異性。步驟940和950中確定的立體差異性可存儲(chǔ)到存儲(chǔ)器。例如，處理器320 (圖3和4)存儲(chǔ)確定的立體差異性到配準(zhǔn)數(shù)據(jù)420 (圖4)。
[0078]步驟960是另一個(gè)決定。步驟960可由處理器320 (圖3和4)執(zhí)行。如果參考像素N不是參考、拜耳型圖像的最后像素，則方法900進(jìn)入步驟965，其中參考圖像像素計(jì)數(shù)器在方法900進(jìn)入步驟930之前增加。例如，步驟965是由處理器320 (圖3和4)通過(guò)如下操作執(zhí)行的:從計(jì)數(shù)器模塊440 (圖4)讀取參考圖像像素計(jì)數(shù)的值，增加值，以及存儲(chǔ)增加的值到計(jì)數(shù)器模塊440。如果參考像素960是參考、拜耳型圖像的最后像素，則方法900進(jìn)入到任選步驟970。任選步驟970為在步驟930中沒(méi)有發(fā)現(xiàn)相應(yīng)最佳匹配位置的每個(gè)參考像素確定立體差異性。對(duì)于這些像素，立體差異性是從其他具有已知立體差異性的參考像素通過(guò)內(nèi)插法確定的。例如，任選步驟970是由處理器320 (圖3和4)使用存儲(chǔ)在配準(zhǔn)數(shù)據(jù)420 (圖4)中的立體差異性執(zhí)行的。在步驟980中，方法900輸出立體差異性。步驟980可由處理器320 (圖3和4)執(zhí)行，其存儲(chǔ)立體差異性到配準(zhǔn)數(shù)據(jù)420 (圖4)，和/或經(jīng)接口 360 (圖3和4)輸出深度給用戶或外部計(jì)算機(jī)。
[0079]圖10示出方法1000，其用于根據(jù)多個(gè)輸入圖像，包括至少一個(gè)出口圖像和拜耳圖像生成深度地圖。方法1000是方法500(圖5)中步驟550的一個(gè)示例性實(shí)施例。方法1000的指令可在系統(tǒng)400 (圖4)中執(zhí)行為深度算法416。方法1000利用配準(zhǔn)數(shù)據(jù)，即相對(duì)參考、拜耳型圖像表達(dá)的輸入圖像之間的像素關(guān)系生成深度地圖。在該實(shí)施例中，由方法1000使用的配準(zhǔn)數(shù)據(jù)為立體差異性的形式。在可替換實(shí)施例中，圖10中沒(méi)有示出，方法1000的輸入是相應(yīng)像素的集合，其被方法1000轉(zhuǎn)換為立體差異性。
[0080]在步驟1010中，方法1000接收與參考、拜耳型圖像的像素關(guān)聯(lián)的立體差異性。例如，步驟1010是由處理器320 (圖3和4)執(zhí)行的，處理器320從配準(zhǔn)數(shù)據(jù)420 (圖4)檢索立體差異性422 (圖4)。在步驟1020中，參考圖像像素計(jì)數(shù)器N被初始化。例如，參考圖像像素計(jì)數(shù)器被處理器320 (圖3和4)初始化，并存儲(chǔ)在計(jì)數(shù)器模塊(圖4)中。后續(xù)步驟1025到1045是為參考像素N執(zhí)行的。
[0081]任選步驟1205評(píng)估是否與參考像素N關(guān)聯(lián)的立體差異性是已知的。在與參考、拜耳型圖像關(guān)聯(lián)的配準(zhǔn)數(shù)據(jù)不完整，如如果配準(zhǔn)數(shù)據(jù)由方法900 (圖9)生成，而不執(zhí)行任選步驟970的情形中，任選步驟1205包括在方法1000中。例如，步驟1025由處理器320 (圖3和4)通過(guò)執(zhí)行立體差異性422 (圖4)的檢索執(zhí)行。如果與參考像素N關(guān)聯(lián)的立體差異性是未知的，則方法1000進(jìn)入步驟1040。如果與參考像素N關(guān)聯(lián)的立體差異性是已知的，則方法1000進(jìn)入到步驟1030。在步驟1030，與參考像素N關(guān)聯(lián)的深度是用等式I從立體差異性計(jì)算的。例如步驟1030是由處理器320 (圖3和4)執(zhí)行的，且得到的深度存儲(chǔ)在結(jié)果450 (圖4)中。步驟1040是決定步驟。如果參考像素N是最后參考像素，則方法1000進(jìn)入到任選步驟1050。否則，方法1000進(jìn)入到步驟1045。步驟1040可由處理器320 (圖3和4)執(zhí)行。在方法1000進(jìn)入步驟1025之前，步驟1045增加圖像像素計(jì)數(shù)器N。例如，步驟1045由處理器320 (圖3和4)通過(guò)如下操作執(zhí)行:從計(jì)數(shù)器模塊440 (圖4)讀取參考圖像像素計(jì)數(shù)器的值，增加該值，并存儲(chǔ)增加的值到計(jì)數(shù)器模塊440。
[0082]如果輸入到方法1000的配準(zhǔn)數(shù)據(jù)是不完整的，則調(diào)用任選步驟1050，如對(duì)任選步驟1025的討論。在任選步驟1050中，與立體差異性未知的參考像素關(guān)聯(lián)的深度是從具有已知關(guān)聯(lián)深度的其他參考像素通過(guò)內(nèi)插法確定的。例如，任選步驟1050是由處理器320 (圖3和4)使用存儲(chǔ)在結(jié)果450 (圖4)中的深度執(zhí)行的。在步驟1060中，輸出與參考、拜耳型圖像中每個(gè)像素關(guān)聯(lián)的深度。在實(shí)施例中，輸出為配準(zhǔn)到參考拜耳型圖像的深度地圖形式。例如，步驟1060是通過(guò)處理器320 (圖3和4)執(zhí)行的，其存儲(chǔ)深度地圖到結(jié)果450 (圖4)和/或經(jīng)接口 360 (圖3和4)輸出深度地圖到用戶或外部計(jì)算機(jī)。
[0083]圖11示出從由攝像機(jī)陣列捕獲的多個(gè)輸入圖像，包括參考、拜耳型圖像生成單一色彩圖像的方法1100。方法1100是方法500 (圖5)中步驟560的實(shí)施例。方法1000的指令可在系統(tǒng)400 (圖4)中實(shí)施為組合算法414。圖14和16中公開(kāi)了為某些類型的輸入圖像特別剪裁的方法1000的實(shí)施例。
[0084]在步驟1110中，方法1100接收由攝像機(jī)陣列捕獲的輸入圖像，包括參考、拜耳型圖像。步驟1110可由處理器320 (圖3和4)執(zhí)行，其從圖像存儲(chǔ)350 (圖3和4)檢索輸入圖像。在步驟1120，方法1100接收輸入的配準(zhǔn)數(shù)據(jù)。在步驟1120的例子中，處理器320(圖3和4)檢索配準(zhǔn)數(shù)據(jù)420 (圖4)。
[0085]在步驟1130，生成灰度單一圖像。步驟1130可由處理器320 (圖3和4)執(zhí)行。灰度單一圖像的每個(gè)像素具有像素強(qiáng)度，但沒(méi)有色鮮明度(color definition)。單一圖像被配準(zhǔn)到參考、拜耳型輸入圖像，即，單一圖像中場(chǎng)景物體的位置至少近似等于參考、拜耳型圖像中的位置。由于圖像組合過(guò)程導(dǎo)致的改善的空間分辨率，可發(fā)生少量偏移。
[0086]在實(shí)施例中，灰度信息是使用配準(zhǔn)數(shù)據(jù)從組合所有輸入圖像的像素強(qiáng)度獲得的。參考、拜耳型圖像中給定像素的組合過(guò)程可通過(guò)組合多個(gè)像素強(qiáng)度執(zhí)行，每個(gè)像素強(qiáng)度都是從各輸入圖像中單個(gè)像素提取的。可替換地，如果配準(zhǔn)數(shù)據(jù)是以超像素分辨率提供的，則組合過(guò)程可以超像素分辨率執(zhí)行。在該情形中，從各輸入圖像提取的像素強(qiáng)度可以是多個(gè)像素驅(qū)動(dòng)的加權(quán)平均值，如最接近配準(zhǔn)數(shù)據(jù)定義的位置的像素強(qiáng)度。在某些實(shí)施例中，灰度信息是僅基于非拜耳型圖像確定的，即由攝像機(jī)捕獲的所有像素都具有相同色彩強(qiáng)度的圖像。如下面的討論，非拜耳型圖像傳感器常比拜耳型圖像傳感器提供的較高質(zhì)量的灰度信肩、O
[0087]圖12是基于同一基本像素陣列，拜耳型圖像傳感器1210和非拜耳型圖像傳感器1220的比較。如結(jié)合圖1中的討論，拜耳型圖像傳感器由色彩像素組成。一個(gè)示例性色彩像素1212在圖12中示出。色彩像素1212由對(duì)紅光敏感的感光點(diǎn)1215，對(duì)綠光敏感的感光點(diǎn)1216和1217，以及對(duì)藍(lán)光敏感的感光點(diǎn)1218組成。這些感光點(diǎn)是以光譜敏感涂層涂覆的實(shí)際傳感器像素。分析來(lái)自每個(gè)感光點(diǎn)1215、1216、1217、和1218的信號(hào)從而提供色彩像素1212的灰度值和色鮮明度。感光點(diǎn)1215、1216、1217、和1218相應(yīng)于非拜耳型圖像傳感器1220的像素1225、1226、1227、以及1228。因此，相比由拜耳型圖像傳感器1210生成的圖像，由非拜耳型圖像傳感器生成的圖像具有四倍像素分辨率，因此提供更高分辨率的灰度信息。感光點(diǎn)1215、1216、1217、以及1218的光譜選擇性涂層進(jìn)一步影響從拜耳型圖像傳感器獲得的灰度信息的質(zhì)量。感光點(diǎn)1215、1216、1217、以及1218的光譜選擇性涂層中每個(gè)防止各通帶外波長(zhǎng)的光達(dá)到傳感器光敏區(qū)。通帶定義由感光點(diǎn)檢測(cè)的光譜范圍。而且，即使在通帶內(nèi)，涂層的透射率通常在60-90%的范圍內(nèi)。光譜選擇性涂層導(dǎo)致的光損耗導(dǎo)致拜耳型圖像傳感器1210的信噪比相比非拜耳型圖像傳感器1220減小。因此，改善的空間分辨率和信噪比的灰度信息可通過(guò)僅基于非拜耳型圖像確定灰度信息而獲得。
[0088]在步驟1140中，色彩信息加入到步驟1130中生成的灰度單一圖像。色彩信息是從參考、拜耳型圖像提取的。例如，步驟1140是由處理器320 (圖3和4)執(zhí)行的。單一圖像的每個(gè)像素被分配一種顏色。分配的顏色是參考、拜耳型圖像中相應(yīng)像素的顏色。參考，拜耳型圖像具有完整的色彩信息，且單一圖像的色彩信息沒(méi)有某些偽色，如遮擋導(dǎo)致的現(xiàn)有技術(shù)系統(tǒng)具有的色彩是真(aliasing)，現(xiàn)有技術(shù)系統(tǒng)從圖像組合過(guò)程獲得單一圖像的色彩信息。
[0089]在一個(gè)實(shí)施例中，單一圖像和參考、拜耳型圖像具有相同的像素分辨率。單一圖像中給定像素的色彩是參考、拜耳型圖像中相應(yīng)像素的色彩。在另一個(gè)實(shí)施例中，單一圖像比參考、拜耳型圖像的像素分辨率高，因此參考、拜耳型圖像中每個(gè)像素相應(yīng)于單一圖像中多個(gè)像素塊。例如，灰度信息是基于與參考、拜耳型圖像傳感器(參看圖12)相同的基本像素陣列僅從非拜耳型圖像獲得的情形就是這樣。單一圖像中像素塊中每個(gè)像素被分配以相應(yīng)于像素塊的參考像素的色彩。這導(dǎo)致灰度信息比色彩信息具有更高空間分辨率的單一色彩圖像。在許多應(yīng)用中，這完全是可接受的，因?yàn)橐话闳说囊曈X(jué)對(duì)灰度空間細(xì)節(jié)比對(duì)色彩空間細(xì)節(jié)更敏感。在另一個(gè)實(shí)施例中，步驟1130中生成的單一灰度圖像具有與參考、拜耳型圖像不同的任意像素分辨率。單一灰度圖像的每個(gè)像素都被分配色彩，該色彩是(a)像素位置最密切匹配的參考像素的色彩，或(b)像素位置最密切匹配的參考像素集合的加權(quán)平均值。
[0090]在步驟1150中輸出在步驟1140中最終確定的單一色彩圖像。在某些實(shí)施例中，步驟1150的輸出進(jìn)一步包括步驟1130中生成的灰度單一圖像。步驟1150是由處理器320(圖3和4)執(zhí)行的，其存儲(chǔ)單一色彩圖像和任選的灰度單一圖像到結(jié)果450 (圖4)中，和/或經(jīng)接口 360 (圖3和4)輸出單一色彩圖像和任選的灰度單一圖像到用戶或外部計(jì)算機(jī)。方法1100的步驟可再組織，而不偏離本發(fā)明的范圍。在一個(gè)實(shí)施例中，步驟1140是在步驟1130之前執(zhí)行的。在另一個(gè)實(shí)施例中，步驟1130和1140并行執(zhí)行。在又一個(gè)實(shí)施例中，單一色彩圖像是通過(guò)為單一圖像的單個(gè)像素執(zhí)行步驟1130和1140并為所有像素重復(fù)這兩個(gè)步驟，而逐個(gè)像素生成的。
[0091]圖3示出作為攝像機(jī)陣列210 (圖2、3和4)實(shí)施例的攝像機(jī)陣列1310。攝像機(jī)陣列1310包括拜耳型攝像機(jī)1311、清晰攝像機(jī)1312、以及任意數(shù)目的任選攝像機(jī)1313(圖13中僅標(biāo)記一個(gè))。清晰攝像機(jī)312至少對(duì)拜耳型攝像機(jī)覆蓋的光譜范圍敏感，并僅提供灰度信息。在實(shí)施例中，清晰攝像機(jī)1312包括用于圖像捕獲的單色圖像傳感器。
[0092]圖14示出方法1400，其用于從多個(gè)輸入圖像，包括參考、拜耳型圖像和至少一個(gè)灰度圖像生成單一色彩圖像。由方法1400生成的輸入圖像被攝像機(jī)陣列捕獲，例如圖13中攝像機(jī)陣列1310。方法1400是方法1100 (圖11)的實(shí)施例，其經(jīng)剪裁利用特定類型的輸入圖像。
[0093]步驟1410和1420與方法1100 (圖1)中各步驟1110和1120相同，但要求在步驟1410中接收的輸入圖像包括參考、拜耳型圖像和至少一個(gè)灰度圖像。假定至少一個(gè)灰度圖像的每個(gè)像素空間上相應(yīng)于參考、拜耳型圖像的色彩像素的感光點(diǎn)，如圖12所示。在步驟1430中，單一圖像像素計(jì)數(shù)器N被初始化。單一圖像像素計(jì)數(shù)器是例如由處理器320 (圖3和4)初始化的，并存儲(chǔ)在計(jì)數(shù)器模塊440 (圖4)中。后續(xù)步驟1440到1465是為單一像素N執(zhí)行的，其中N是單一圖像像素計(jì)數(shù)器的值。在步驟1440中，強(qiáng)度，即單一像素N的灰度值被設(shè)定為灰度輸入圖像中相應(yīng)像素的平均值。在某些情形中，灰度輸入圖像中僅有單個(gè)相應(yīng)像素，且平均值僅是該單個(gè)相應(yīng)像素的值。步驟1440說(shuō)明應(yīng)用于單一圖像的單個(gè)像素的步驟1130 (圖11)的實(shí)施例，其中灰度單一圖像的灰度信息是僅基于灰度輸入圖像確定的。在步驟1450中，單一像素N被分配參考、拜耳型圖像中相應(yīng)色彩像素的色彩。步驟1450說(shuō)明圖11中步驟1140的實(shí)施例。在步驟1460中，單一像素計(jì)數(shù)器N的值被評(píng)估。步驟1460可由處理器320 (圖3和4)執(zhí)行。如果單一像素N是單一圖像的最后像素，則方法1400進(jìn)入步驟1470。否則，方法1400進(jìn)入步驟1465，其中單一像素計(jì)數(shù)器N在進(jìn)入步驟1400之前增加。例如，步驟1465由處理器320 (圖3和4)通過(guò)如下操作執(zhí)行:從計(jì)數(shù)器模塊440 (圖4)讀取單一圖像像素計(jì)數(shù)器的值N，增加該值，以及存儲(chǔ)該增加的值到計(jì)數(shù)器模塊440中。步驟1470與方法1100 (圖11)的步驟1150相同。
[0094]圖15示出作為攝像機(jī)陣列210 (圖2、3、和4)的實(shí)施例的攝像機(jī)陣列1510。攝像機(jī)陣列1510包括拜耳型攝像機(jī)1511、對(duì)紅光敏感的R-攝像機(jī)1512、對(duì)綠光敏感的G-攝像機(jī)1513、對(duì)藍(lán)光敏感的B-攝像機(jī)1514、以及任意數(shù)目的任選攝像機(jī)1515(圖15中僅標(biāo)記一個(gè))。在實(shí)施例中，拜耳型攝像機(jī)1511的色彩像素的每個(gè)感光點(diǎn)都具有與R-攝像機(jī)1512、G-攝像機(jī)1513、和B-攝像機(jī)1514之一相同的光譜敏感性。雖然圖15中，拜耳型攝像機(jī)1511基于傳統(tǒng)濾色器陣列，其中每個(gè)色彩像素都由一個(gè)紅色，兩個(gè)綠色，以及一個(gè)藍(lán)色感光點(diǎn)組成，也可使用其他拜耳型濾色器陣列，而不偏離其中的范圍。類似地，R-攝像機(jī)1512、G-攝像機(jī)1513、和B-攝像機(jī)1514可由另一組攝像機(jī)取代,每個(gè)都對(duì)一定光譜范圍敏感,且組合起來(lái)至少覆蓋拜耳型攝像機(jī)1511的光譜范圍，如可見(jiàn)光范圍，這不偏離其中的范圍。
[0095]圖16示出方法1600，其用于從多個(gè)輸入圖像，包括參考、拜耳型圖像、以及R、G、和B圖像生成單一色彩圖像，其中R、G、和B圖像是紅色、綠色、和藍(lán)色圖像，分別為部分進(jìn)入光。由方法1600使用的輸入圖像被攝像機(jī)陣列捕獲，例如，圖15的攝像機(jī)陣列1510。R、G、和B圖像可以由另一組圖像取代，每個(gè)都代表一定光譜范圍，且組合至少覆蓋參考、拜耳型圖像的光譜范圍，而不偏離其中的范圍。假定R、G、和B圖像的每個(gè)像素都在空間上相應(yīng)于參考、拜耳型圖像的色彩像素的感光點(diǎn)，如圖12所示。方法1600是方法1100 (圖11)的實(shí)施例，其經(jīng)剪裁利用特定類型的輸入圖像。方法1600易于延伸到包括參考、拜耳型圖像以及一組其他圖像的任意多個(gè)輸入圖像，其中每個(gè)其他圖像都表示拜耳型圖像的光譜范圍的一部分，且組合至少不是拜耳型圖像的光譜范圍。
[0096]步驟1610與方法1100 (圖11)的步驟1110相同，但其要求步驟1610中接收的輸入圖像包括參考、拜耳型圖像以及R、G、和G圖像。步驟1620和1630與方法1400 (圖14)的各步驟1420和1430相同。步驟1640說(shuō)明方法1100 (圖11)的步驟1130的實(shí)施例，其應(yīng)用于單一圖像的多個(gè)像素，其中單一像素N的強(qiáng)度，即灰度值被設(shè)定為R、G、和B輸入圖像的每個(gè)中相應(yīng)像素的加權(quán)平均值。步驟1640中使用的R、G、和B像素組合提供像素分辨率高于通過(guò)組合參考、拜耳型圖像色彩像素感光點(diǎn)所實(shí)現(xiàn)的像素分辨率的灰度值。步驟1650、1660、1665、以及1670與方法1400 (圖14)的各步驟1450、1460、1465、以及1470相同。
[0097]圖17示出系統(tǒng)1700，其用于處理由攝像機(jī)系統(tǒng)捕獲的多個(gè)輸入圖像，包括至少一個(gè)拜耳型圖像。系統(tǒng)1700是圖像處理系統(tǒng)120 (圖1)的實(shí)施例。系統(tǒng)1700包括處理器320 (圖3和4)、存儲(chǔ)器330 (圖3和4)、以及接口 360 (圖3和4)。處理器320根據(jù)指令340 (圖3和4)處理存儲(chǔ)在存儲(chǔ)器330的圖像存儲(chǔ)裝置350 (圖3和4)中的多個(gè)圖像，從而生成單一色彩圖像130 (圖1)和深度地圖140 (圖1)。由處理器320生成的結(jié)果可經(jīng)接口 360傳輸給用戶或外部計(jì)算機(jī)。
[0098]圖18示出作為系統(tǒng)1700實(shí)施例的系統(tǒng)1800。在系統(tǒng)1800中，機(jī)器可讀指令340包括用于處理攝像機(jī)陣列210捕獲的同一場(chǎng)景的多個(gè)圖像的算法，每個(gè)圖像都代表來(lái)自不同有利位置的場(chǎng)景視圖。包括在指令340中的算法是:用于配準(zhǔn)多個(gè)圖像的配準(zhǔn)算法412 ；組合算法414，其用于根據(jù)多個(gè)圖像生成單一圖像，如圖1中單一色彩圖像130 ;以及深度算法416，其用于根據(jù)多個(gè)圖像生成深度地圖，如圖1中深度地圖140。存儲(chǔ)器330進(jìn)一步包括配準(zhǔn)數(shù)據(jù)420，其用于存儲(chǔ)處理器320根據(jù)配準(zhǔn)算法412中的指令生成的配準(zhǔn)數(shù)據(jù)。配準(zhǔn)數(shù)據(jù)420包括立體差異性422。存儲(chǔ)器330進(jìn)一步包括處理器320在處理從攝像機(jī)陣列210接收的圖像中使用的校準(zhǔn)數(shù)據(jù)430。校準(zhǔn)數(shù)據(jù)430包括差異性關(guān)系432，其由處理器320用于執(zhí)行配準(zhǔn)算法412。進(jìn)一步，存儲(chǔ)器330包括處理器320在指令340執(zhí)行中使用的計(jì)數(shù)器模塊440，以及結(jié)果450，其用于存儲(chǔ)存儲(chǔ)器320根據(jù)指令340生成的結(jié)果。系統(tǒng)1800處理存儲(chǔ)在圖像存儲(chǔ)裝置350 (圖3、4、和17)中的圖像，這與處理直接從攝像機(jī)陣列接收的圖像不同。
[0099]可不偏離其中的范圍對(duì)上面的方法和系統(tǒng)做出變化。因此應(yīng)該注意，上面的描述以及附圖中所示的內(nèi)容應(yīng)解釋為例示性的，而非限制性的。權(quán)利要求是為了涵蓋這里所述的總體和特定特征，以及本發(fā)明方法和系統(tǒng)的范圍的陳述，這些陳述作為語(yǔ)言，可以說(shuō)在其范圍內(nèi)。
[0100]特征組合
[0101]上述特征以及權(quán)利要求所要求的特征可以不同方式組合，而不偏離其范圍。例如，應(yīng)該理解，這里所述的一個(gè)攝像機(jī)陣列系統(tǒng)或方法的方法可包括或與這里所述的另一個(gè)攝像機(jī)陣列系統(tǒng)或方法的特征交換。下面的例子示出可能的、非限制性的上述實(shí)施例組合?？梢悦鞔_看出可以對(duì)這里的方法和系統(tǒng)做出許多其他改變和修改，而不偏離本發(fā)明的精神和保護(hù)范圍。
[0102](A)—種處理從不同有利位置記錄的場(chǎng)景的多個(gè)圖像的方法，所述多個(gè)圖像包括拜耳型攝像機(jī)捕獲的彩色參考圖像和至少一個(gè)額外圖像，所述方法包括從所述多個(gè)圖像生成單一色彩圖像，其中所述第一色彩圖像的色彩信息完全從所述彩色參考圖像確定。
[0103](B)如(A)所述的方法，進(jìn)一步包括配準(zhǔn)所述多個(gè)圖像中的至少一部分。
[0104](C)如(B)所述的方法，其中所述步驟或配準(zhǔn)包括:為所述彩色參考圖像中每個(gè)像素在至少一個(gè)額外圖像中發(fā)現(xiàn)一個(gè)或更多相應(yīng)位置，這里每個(gè)相應(yīng)位置屬于至少一個(gè)額外圖像中的不同圖像，并表示與所述彩色參考圖像中像素相同部分的場(chǎng)景。
[0105](D)如(C)所述的方法，其中所述配準(zhǔn)步驟進(jìn)一步包括根據(jù)一個(gè)或更多相應(yīng)位置中全部位置確定單個(gè)立體差異性與所述彩色參考圖像中像素關(guān)聯(lián)。
[0106](E)如(D)所述的方法，其中所述確定單個(gè)立體差異性包括:當(dāng)所述彩色參考圖像中像素具有多個(gè)相應(yīng)位置時(shí)，計(jì)算多個(gè)立體差異性，每個(gè)都是所述多個(gè)相應(yīng)位置中各個(gè)位置相對(duì)應(yīng)所述彩色參考圖像中像素的偏移。
[0107](F)如(E)所述的方法，其中所述確定單一立體差異性的步驟進(jìn)一步包括調(diào)用所述多個(gè)立體差異性之間一個(gè)或更多已知關(guān)系，從而消除所述單一立體差異性。
[0108](G)如(F)所述的方法，其中所述確定單一立體差異性的步驟進(jìn)一步包括求解等式系統(tǒng)，所述等式系統(tǒng)由所述單一立體差異性、所述彩色參考圖像中像素的已知坐標(biāo)、以及所有相應(yīng)位置的已知坐標(biāo)表達(dá)，從而確定所述單一立體差異性。
[0109](H)如(G)所述的方法，進(jìn)一步包括從所述單一立體差異性為所述彩色參考圖像中每個(gè)像素推導(dǎo)與所述彩色參考圖像中像素關(guān)聯(lián)的一部分場(chǎng)景的深度。
[0110](I)如(A) IlJ(H)所述的方法，其中所述至少一個(gè)額外圖像包括至少一個(gè)灰度圖像。
[0111](J)如(I)所述的方法，其中所述單一色彩圖像的灰度信息是從至少一個(gè)灰度圖像確定的。
[0112](K)如(I)和(J)所述的方法，其中所述至少一個(gè)灰度圖像和所述單一色彩圖像比所述彩色參考圖像具有較高空間分辨率。
[0113](L)如(A)到(H)所述的方法，其中所述至少一個(gè)額外圖像包括多個(gè)光譜選擇性圖像，其中(a)所述多個(gè)光譜選擇性圖像表示由所述彩色參考圖像覆蓋的光譜范圍多個(gè)部分中各部分，以及(b)所述多個(gè)部分組合包括由所述彩色圖像覆蓋的光譜范圍。
[0114](M)如(L)所述的方法，其中所述單一色彩圖像的灰度信息是從所述多個(gè)光譜選擇性圖像確定的。
[0115](N)如(L)和(M)所述的方法，其中所述多個(gè)光譜選擇性圖像和所述單一色彩圖像比所述彩色參考圖像的空間分辨率高。
[0116](O)如(A)到(N)所述的方法，其中所述單一色彩圖像被配準(zhǔn)到所述彩色參考圖像。
[0117](P)如(A)到(O)所述的方法，進(jìn)一步包括生成配準(zhǔn)到所述單一色彩圖像的深度地圖。
[0118](Q) —種攝像機(jī)系統(tǒng)，其包括用于從多個(gè)有利位置捕獲場(chǎng)景多個(gè)圖像的攝像機(jī)陣列，所述攝像機(jī)陣列包括至少一個(gè)具有拜耳型濾色鏡陣列的彩色攝像機(jī)。
[0119](R)如(Q)所述的系統(tǒng)，進(jìn)一步包括處理器。
[0120](S)如(R)所述的系統(tǒng)，進(jìn)一步包括通信耦合到所述處理器的存儲(chǔ)器。
[0121](T)如(S)所述的系統(tǒng)，進(jìn)一步包括圖像組合模塊，其包括存儲(chǔ)在所述存儲(chǔ)器中的機(jī)器可讀指令，所述指令在被所述處理器執(zhí)行時(shí)，生成所述場(chǎng)景的單一色彩圖像，其具有完全從由至少一個(gè)彩色攝像機(jī)中所選攝像機(jī)捕獲的圖像獲得的色彩信息。
[0122](U)如(Q)到(T)所述的系統(tǒng)，其中所述攝像機(jī)陣列進(jìn)一步包括至少一個(gè)單色攝像機(jī)。
[0123](V)如(T)所述的系統(tǒng)，其中(a)所述攝像機(jī)陣列進(jìn)一步包括至少一個(gè)單色攝像機(jī)，以及(b)所述圖像組合模塊進(jìn)一步適于從由至少一個(gè)單色攝像機(jī)捕獲的圖像獲得所述單一色彩圖像的灰度信息。
[0124](W)如(Q)到(T)所述的系統(tǒng)，其中所述攝像機(jī)陣列進(jìn)一步包括多個(gè)對(duì)至少一個(gè)彩色攝像機(jī)中所選攝像機(jī)的光譜范圍的各部分敏感的光譜選擇性攝像機(jī)，且所述多個(gè)光譜選擇性攝像機(jī)結(jié)合起來(lái)至少對(duì)至少一個(gè)彩色攝像機(jī)中所選攝像機(jī)的光譜范圍敏感。
[0125](X)如(T)所述的系統(tǒng)，其中(a)所述攝像機(jī)陣列進(jìn)一步包括多個(gè)對(duì)至少一個(gè)彩色攝像機(jī)中所選攝像機(jī)的光譜范圍各部分敏感的光譜選擇性攝像機(jī)，且所述多個(gè)光譜選擇性攝像機(jī)結(jié)合起來(lái)至少對(duì)至少一個(gè)彩色攝像機(jī)中所選攝像機(jī)的光譜范圍敏感，以及(b)所述圖像組合模塊進(jìn)一步適于從由所述多個(gè)光譜選擇性攝像機(jī)捕獲的圖像獲得所述單一色彩圖像的灰度信息。
[0126](Y)如(S)到(X)所述的系統(tǒng)，進(jìn)一步包括深度模塊，其包括存儲(chǔ)在所述存儲(chǔ)器中的機(jī)器可讀指令，所述指令在被所述處理器執(zhí)行時(shí)生成所述場(chǎng)景的深度地圖。
[0127](Z)如(Y)所述的系統(tǒng)，其中所述深度地圖被配準(zhǔn)到所述單一色彩圖像。
[0128](AA)如(S)到(Z)所述的系統(tǒng)，進(jìn)一步包括配準(zhǔn)模塊，其包括存儲(chǔ)在所述存儲(chǔ)器中的機(jī)器可讀指令，所述指令在被所述處理器執(zhí)行時(shí)使用存儲(chǔ)在所述存儲(chǔ)器中的校準(zhǔn)數(shù)據(jù)，為由至少一個(gè)彩色攝像機(jī)中所選攝像機(jī)捕獲的圖像中每個(gè)像素生成配準(zhǔn)數(shù)據(jù)，其以單個(gè)立體差異性表達(dá)。
[0129](AB)如(AA)所述的系統(tǒng)，其中所述校準(zhǔn)數(shù)據(jù)包括與所述攝像機(jī)陣列的不同攝像機(jī)對(duì)關(guān)聯(lián)的立體差異性之間的關(guān)系。
[0130](AC )如(T )到(AB )所述的系統(tǒng)，其中所述單一色彩圖像被配準(zhǔn)到由所述至少一個(gè)彩色攝像機(jī)中所選攝像機(jī)捕獲的圖像。
[0131](AD) —種用于處理從不同有利位置記錄的場(chǎng)景多個(gè)圖像的系統(tǒng)，其中所述多個(gè)圖像包括由拜耳型攝像機(jī)捕獲的彩色參考圖像和至少一個(gè)額外圖像。
[0132](AE)如(AD)所述的系統(tǒng)，其包括處理器。
[0133](AF)如(AE)所述的系統(tǒng)，進(jìn)一步包括通信耦合到所述處理器的存儲(chǔ)器。
[0134](AG)如(AF)所述的系統(tǒng)，進(jìn)一步包括圖像組合模塊，其包括存儲(chǔ)在所述存儲(chǔ)器中的機(jī)器可讀指令，所述指令在被所述處理器執(zhí)行時(shí)，生成具有完全從所述彩色參考圖像獲得的色彩信息的場(chǎng)景單一色彩圖像。
[0135](AH)如(AD)到(AG)所述的系統(tǒng)，其中所述多個(gè)圖像包括至少一個(gè)單色圖像。
[0136](Al)如(AG)所述的系統(tǒng)，其中(a)所述多個(gè)圖像包括至少一個(gè)單色圖像，以及(b)所述圖像組合模塊進(jìn)一步適于從至少一個(gè)單色圖像獲得所述單一色彩圖像的灰度信息。
[0137](AJ)如(AD)到(AG)所述的系統(tǒng)，其中所述多個(gè)圖像包括多個(gè)表示所述彩色參考圖像光譜范圍各部分的光譜選擇性圖像，且多個(gè)光譜選擇性圖像組合起來(lái)至少表示所述彩色參考圖像的光譜范圍。
[0138](AK)如(Al)所述的系統(tǒng)，其中(a)所述多個(gè)圖像包括多個(gè)表示所述彩色參考圖像光譜范圍各部分的光譜選擇性圖像，且多個(gè)光譜選擇性圖像組合起來(lái)至少表示所述彩色參考圖像的光譜范圍，以及(b)所述圖像組合模塊進(jìn)一步適于從所述光譜選擇性圖像獲得單一色彩圖像的灰度信息。
[0139](AL)如(AF)到(AK)所述的系統(tǒng)，進(jìn)一步包括深度模塊，其具有存儲(chǔ)在所述存儲(chǔ)器中的機(jī)器可讀指令，所述指令在被所述處理器執(zhí)行時(shí)，生成所述場(chǎng)景的深度地圖。
[0140](AM)如(AL)所述的系統(tǒng)，其中所述深度地圖被配準(zhǔn)到所述彩色參考圖像。
[0141 ] (AN)如(AE)到(AM)所述的系統(tǒng)，進(jìn)一步包括配準(zhǔn)模塊，其包括存儲(chǔ)在所述存儲(chǔ)器中的機(jī)器可讀指令，所述指令在被所述處理器執(zhí)行時(shí)，使用存儲(chǔ)在所述存儲(chǔ)器中的校準(zhǔn)數(shù)據(jù)，為所述彩色參考圖像中每個(gè)像素生成以單個(gè)立體差異性表達(dá)的配準(zhǔn)數(shù)據(jù)。
[0142](AO)如(AN)所述的系統(tǒng)，其中所述校準(zhǔn)數(shù)據(jù)包括與所述多個(gè)圖像的不同圖像對(duì)關(guān)聯(lián)的立體差異性之間的關(guān)系。
[0143](AP)如(AG)到(AO)所述的系統(tǒng)，其中所述單一色彩圖像被配準(zhǔn)到所述彩色參考圖像。
【權(quán)利要求】
1.一種處理從不同有利位置記錄的場(chǎng)景的多個(gè)圖像的方法，所述多個(gè)圖像包括拜耳型攝像機(jī)捕獲的彩色參考圖像和至少一個(gè)額外圖像，所述方法包括: 配準(zhǔn)所述多個(gè)圖像中至少一部分；以及 從所述多個(gè)圖像生成單一色彩圖像，所述第一色彩圖像的色彩信息完全從所述彩色參考圖像確定。
2.根據(jù)權(quán)利要求1所述的方法，其中所述單一色彩圖像被配準(zhǔn)到所述彩色參考圖像。
3.根據(jù)權(quán)利要求2所 述的方法，進(jìn)一步包括: 生成配準(zhǔn)到所述單一色彩圖像的深度地圖。
4.根據(jù)權(quán)利要求1所述的方法，所述配準(zhǔn)步驟包括為所述彩色參考圖像中每個(gè)像素: 在至少一個(gè)額外圖像中發(fā)現(xiàn)一個(gè)或更多相應(yīng)位置，每個(gè)相應(yīng)位置術(shù)語(yǔ)至少一個(gè)額外圖像中的不同圖像，并表示與所述彩色參考圖像中所述像素相同的場(chǎng)景部分；以及 根據(jù)所述一個(gè)或更多相應(yīng)位置中所有位置，確定與所述彩色參考圖像中像素關(guān)聯(lián)的單個(gè)立體差異性。
5.根據(jù)權(quán)利要求4所述的方法，所述確定單個(gè)立體差異性包括:當(dāng)所述彩色參考圖像中像素具有多個(gè)相應(yīng)位置時(shí)， 計(jì)算多個(gè)立體差異性，每個(gè)都是所述多個(gè)相應(yīng)位置中各個(gè)位置相對(duì)應(yīng)所述彩色參考圖像中像素的偏移； 調(diào)用所述多個(gè)立體差異性之間一個(gè)或更多已知關(guān)系，從而消除所述單一立體差異性； 求解等式系統(tǒng)，所述等式系統(tǒng)由所述單一立體差異性、所述彩色參考圖像中像素的已知坐標(biāo)、以及所有相應(yīng)位置的已知坐標(biāo)表達(dá)，從而確定所述單一立體差異性。
6.根據(jù)權(quán)利要求5所述的方法，進(jìn)一步包括從所述單一立體差異性為所述彩色參考圖像中每個(gè)像素推導(dǎo)與所述彩色參考圖像中像素關(guān)聯(lián)的一部分場(chǎng)景的深度。
7.根據(jù)權(quán)利要求1所述的方法，所述至少一個(gè)額外圖像包括至少一個(gè)灰度圖像。
8.根據(jù)權(quán)利要求7所述的方法，所述單一色彩圖像的灰度信息是從至少一個(gè)灰度圖像確定的。
9.根據(jù)權(quán)利要求8所述的方法，所述至少一個(gè)灰度圖像和所述單一色彩圖像比所述彩色參考圖像具有較高空間分辨率。
10.根據(jù)權(quán)利要求1所述的方法，所述至少一個(gè)額外圖像包括多個(gè)光譜選擇性圖像，其中(a)所述多個(gè)光譜選擇性圖像表示由所述彩色參考圖像覆蓋的光譜范圍多個(gè)部分中各部分，以及(b)所述多個(gè)部分組合包括由所述彩色圖像覆蓋的光譜范圍。
11.根據(jù)權(quán)利要求10所述的方法，所述單一色彩圖像的灰度信息是從所述多個(gè)光譜選擇性圖像確定的。
12.根據(jù)權(quán)利要求11所述的方法，所述多個(gè)光譜選擇性圖像和所述單一色彩圖像比所述彩色參考圖像的空間分辨率高。
13.一種攝像機(jī)系統(tǒng)，其包括: 用于從多個(gè)有利位置捕獲場(chǎng)景多個(gè)圖像的攝像機(jī)陣列，所述攝像機(jī)陣列包括至少一個(gè)具有拜耳型濾色鏡陣列的彩色攝像機(jī)； 處理器； 通信耦合到所述處理器的存儲(chǔ)器；以及圖像組合模塊，其包括存儲(chǔ)在所述存儲(chǔ)器中的機(jī)器可讀指令，所述指令在被所述處理器執(zhí)行時(shí)，生成所述場(chǎng)景的單一色彩圖像，其具有完全從由至少一個(gè)彩色攝像機(jī)中所選攝像機(jī)捕獲的圖像獲得的色彩信息。
14.根據(jù)權(quán)利要求13所述的系統(tǒng)， 其中所述攝像機(jī)陣列進(jìn)一步包括至少一個(gè)單色攝像機(jī)；以及 其中所述圖像組合模塊進(jìn)一步適于從由至少一個(gè)單色攝像機(jī)捕獲的圖像獲得所述單一色彩圖像的灰度信息。
15.根據(jù)權(quán)利要求13所述的系統(tǒng)， 其中所述攝像機(jī)陣列進(jìn)一步包括多個(gè)對(duì)至少一個(gè)彩色攝像機(jī)中所選攝像機(jī)的光譜范圍的各部分敏感的光譜選擇性攝像機(jī)，且所述多個(gè)光譜選擇性攝像機(jī)結(jié)合起來(lái)至少對(duì)至少Iv彩色攝像機(jī)中所選攝像機(jī)的光譜、M圍敏感；以及 其中所述圖像組合模塊進(jìn)一步適于從由所述多個(gè)光譜選擇性攝像機(jī)捕獲的圖像獲得所述單一色彩圖像的灰度信息。
16.根據(jù)權(quán)利要求13所述的系統(tǒng)，進(jìn)一步包括: 深度模塊，其包括存儲(chǔ)在所述存儲(chǔ)器中的機(jī)器可讀指令，所述指令在被所述處理器執(zhí)行時(shí)生成所述場(chǎng)景的深度地圖。
17.根據(jù)權(quán)利要求16所述的系統(tǒng)，所述深度地圖被配準(zhǔn)到所述單一色彩圖像。
18.根據(jù)權(quán)利要求13所述的系統(tǒng)，進(jìn)一步包括: 配準(zhǔn)模塊，其包括存儲(chǔ)在所述存儲(chǔ)器中的機(jī)器可讀指令，所述指令在被所述處理器執(zhí)行時(shí)使用存儲(chǔ)在所述存儲(chǔ)器中的校準(zhǔn)數(shù)據(jù)，為由至少一個(gè)彩色攝像機(jī)中所選攝像機(jī)捕獲的圖像中每個(gè)像素生成配準(zhǔn)數(shù)據(jù)，其以單個(gè)立體差異性表達(dá)，所述校準(zhǔn)數(shù)據(jù)包括與所述攝像機(jī)陣列的不同攝像機(jī)對(duì)關(guān)聯(lián)的立體差異性之間關(guān)系。
19.一種用于處理從不同有利位置記錄的場(chǎng)景多個(gè)圖像的系統(tǒng)，所述多個(gè)圖像包括由拜耳型攝像機(jī)捕獲的彩色參考圖像和至少一個(gè)額外圖像，所述系統(tǒng)包括: 處理器； 通信耦合到所述處理器的存儲(chǔ)器；以及 圖像組合模塊，其包括存儲(chǔ)在所述存儲(chǔ)器中的機(jī)器可讀指令，所述指令在被所述處理器執(zhí)行時(shí)，生成具有完全從所述彩色參考圖像獲得的色彩信息的場(chǎng)景單一色彩圖像，所述單一色彩圖像被配準(zhǔn)到所述彩色參考圖像。
20.根據(jù)權(quán)利要求19所述的系統(tǒng)，進(jìn)一步包括: 深度模塊，其包括存儲(chǔ)在所述存儲(chǔ)器中的機(jī)器可讀指令，所述指令在被所述處理器執(zhí)行時(shí)，生成所述場(chǎng)景的深度地圖，所述深度地圖被配準(zhǔn)到所述彩色參考圖像。
21.根據(jù)權(quán)利要求19所述的系統(tǒng)，進(jìn)一步包括: 配準(zhǔn)模塊，其包括存儲(chǔ)在所述存儲(chǔ)器中的機(jī)器可讀指令，所述指令在被所述處理器執(zhí)行時(shí)，使用存儲(chǔ)在所述存儲(chǔ)器中的校準(zhǔn)數(shù)據(jù)，為所述彩色參考圖像中每個(gè)像素生成以單個(gè)立體差異性表達(dá)的配準(zhǔn)數(shù)據(jù)，所述校準(zhǔn)數(shù)據(jù)包括與所述多個(gè)圖像中不同圖像對(duì)關(guān)聯(lián)的立體差異性之間的關(guān)系。
【文檔編號(hào)】H04N13/02GK104010183SQ201310590776
【公開(kāi)日】2014年8月27日 申請(qǐng)日期:2013年11月21日 優(yōu)先權(quán)日:2012年11月21日
【發(fā)明者】倪勇慎, 劉關(guān)松 申請(qǐng)人:全視技術(shù)有限公司