專利名稱：多鏡頭和多傳感器成像系統(tǒng)中視差保留和視差消除的制作方法
多鏡頭和多傳感器成像系統(tǒng)中視差保留和視差消除發(fā)明概述本發(fā)明涉及到多個(gè)鏡頭和多個(gè)傳感器的數(shù)字相機(jī)來產(chǎn)生一個(gè)或多個(gè)連續(xù)圖像。具 體的是關(guān)于數(shù)字相機(jī)使用多個(gè)鏡頭和多個(gè)傳感器具有分開的幾何布局以便產(chǎn)生接近以至 于完全逼近人眼的視覺效果。視差可以被完全消除或者保留以達(dá)到理想的視覺效果。摘要本發(fā)明是基于已經(jīng)發(fā)明的多傳感器多透鏡系統(tǒng)的圖像采集與處理系統(tǒng)[1]。這種 系統(tǒng)可用于提高信號的信噪比(SNR)，動(dòng)態(tài)范圍和其他接收圖像信號的參數(shù)。在本發(fā)明中通 過多鏡頭和多傳感器的基本原理和一些基本數(shù)學(xué)運(yùn)算來改進(jìn)的原來單鏡頭光學(xué)系統(tǒng)和傳 感器的局限性，誤差和缺陷以提高性能。背景一個(gè)圖像采集系統(tǒng)包括鏡頭和圖像傳感器即光學(xué)分系統(tǒng)和電子分系統(tǒng)。關(guān)于多鏡 頭和多傳感器系統(tǒng)中在美國專利6611289號(2003年8月26日批準(zhǔn)，發(fā)明人Yu et al)進(jìn) 行過描述。此專利的題目是“使用多個(gè)傳感器相機(jī)和多鏡頭的數(shù)碼相機(jī)”。和一個(gè)傳感器的 數(shù)碼相機(jī)相比多傳感器收到的噪音將有壓制效果，其結(jié)果是接收圖像的動(dòng)態(tài)范圍和質(zhì)量得 以改善。然而，上述發(fā)明可能無法完全模仿人類視覺系統(tǒng)，因?yàn)閮社R頭和傳感器國之間的 距離不一定如同人一樣是6-7厘米。這實(shí)際上也是當(dāng)前的單鏡頭相機(jī)攝影現(xiàn)實(shí)和特點(diǎn)，即 采取了無視差的設(shè)計(jì)。這意味著單鏡頭的相機(jī)產(chǎn)生的圖像和人眼有一定的區(qū)別。最明顯的 區(qū)別是，立體的圖像信息丟失。其他一些微細(xì)的信息，如提高信號噪聲比的信息也失去了， 所以產(chǎn)生的圖像嚴(yán)格的是一維的并且質(zhì)量較低。在本發(fā)明中圖像質(zhì)量得到進(jìn)一步改善，多 個(gè)鏡頭和傳感器是可以排列在這樣一種方式下使產(chǎn)生的圖像數(shù)據(jù)是不嚴(yán)格的一維。相對于 單鏡頭和單傳感器照相機(jī)而言更多的一些細(xì)節(jié)得以保留，使獲得的圖像具有更接近人的視 覺系統(tǒng)的真實(shí)的特性。
發(fā)明概要由于新型產(chǎn)品不斷發(fā)展、技術(shù)快速進(jìn)步并出現(xiàn)了互聯(lián)網(wǎng)、電子郵件、無線通信等， 這些新技術(shù)都有助于使數(shù)碼相機(jī)和移動(dòng)設(shè)備具有相機(jī)功能而成為最熱門的新一類的消費(fèi) 電子產(chǎn)品。但是，圖像質(zhì)量、圖像的像素?cái)?shù)和圖像的動(dòng)態(tài)范圍還有待于進(jìn)一步提高。本發(fā)明 中數(shù)碼相機(jī)使用多個(gè)圖像傳感器與多個(gè)鏡頭，改善了各種數(shù)碼相機(jī)圖像質(zhì)量，而不會(huì)帶來 成本的大幅增加。本發(fā)明已考慮了數(shù)碼相機(jī)的現(xiàn)有問題和需要，并特別是考慮了如何進(jìn)一步滿足數(shù) 碼相機(jī)的進(jìn)一步要求，以生產(chǎn)高品質(zhì)的數(shù)字圖像。本發(fā)明以改進(jìn)的數(shù)碼相機(jī)可用兩個(gè)圖像 傳感器為例，每個(gè)傳感器有自己的鏡頭，其中一個(gè)圖像傳感器是是接受的是所有可見光的 信息具有接受黑白即亮度信息，而第二個(gè)圖像傳感器具是接受的是所有可見光的信息馬賽 克微型波器來捕獲所有可見光的彩色圖像數(shù)據(jù)。同時(shí)本系統(tǒng)使用一個(gè)嵌入數(shù)字圖像處理數(shù) 字處理芯片，圖像是由一個(gè)或兩個(gè)彩色圖像傳感器和黑白圖像傳感器的圖像數(shù)據(jù)，產(chǎn)生出高質(zhì)量真彩色數(shù)字圖像。美國專利6611289中提到了鏡頭和傳感器獨(dú)特的配置，它有許多顯而易見的好處 和優(yōu)勢。首先，圖像傳感器的解相度可以充分利用的。第二，每個(gè)圖像傳感器只負(fù)責(zé)接受一 種顏色；從而那種昂貴的把微型彩色濾波器疊加的每一像素的工藝就可以取消了，后續(xù)的 微型鏡片工藝也不是必要的。應(yīng)該注意到這種具有這種微型選擇性彩色濾波的傳感器仍然 可以使用，第三，圖像從黑白(亮度)圖像傳感器捕捉的信息，可以包括所有的細(xì)節(jié)。這兩 個(gè)彩色圖像傳感器可能已經(jīng)錯(cuò)過了黑白細(xì)節(jié)。此外，因?yàn)檫@些圖像傳感器解像度可充分利 用，為在同一解像度的彩色圖像，該圖像傳感器可使用相對較小的像素?cái)?shù)量，或同樣數(shù)量像 素的會(huì)有更高分辨率，這通常會(huì)導(dǎo)致傳輸速率高，靈敏度高，串?dāng)n少，同一空間分辨率采用 低時(shí)鐘速度。此外，圖像的傳感器面積可以較小，因此可以使用較小的光學(xué)鏡頭，這特別有 利于鏡頭的制造，安裝和校準(zhǔn)。本發(fā)明是一種改進(jìn)的數(shù)字相機(jī)系統(tǒng)。具體體現(xiàn)在，包括2個(gè)圖像傳感器，安裝在 一個(gè)共同的平臺(tái)它們可以位于同一段距離的關(guān)系(6-7厘米)，以接近人類視覺系統(tǒng)，該系 統(tǒng)共有2個(gè)鏡頭，每一個(gè)安裝在圖像傳感器的前面；第一個(gè)圖像傳感器可接收所有可見顏 色譜，可以是黑白的傳感器；第2個(gè)傳感器圖像可接受全面的可見光色譜并且具有微型彩 色濾波；2個(gè)模擬數(shù)字轉(zhuǎn)換電路將2個(gè)圖像傳感器產(chǎn)生了數(shù)據(jù)進(jìn)行數(shù)字化；它們是圖像相應(yīng) 的圖像數(shù)據(jù)；改進(jìn)的數(shù)字相機(jī)還有相應(yīng)的電路在模擬數(shù)字轉(zhuǎn)換電路之后把圖像可以進(jìn)行存 儲(chǔ)和存儲(chǔ)，然后進(jìn)行數(shù)字圖像處理生產(chǎn)生最后的完整的彩色圖像。本發(fā)明步驟可部分體現(xiàn)在如表格所示上。表格表示了如何改進(jìn)各個(gè)參數(shù)。這種表 格可以全面審查所有區(qū)域中的所有鏡頭像素對象和數(shù)據(jù)。但注意，表格并沒有說明如何在 同一時(shí)間同時(shí)改進(jìn)所有的參數(shù)。本項(xiàng)發(fā)明在如隨附的說明圖將具體描述并體現(xiàn)。示意圖簡介為了能更好地理解本發(fā)明的優(yōu)勢及其他功能，將在以下幾列方面做出說明，并附 在聲明和標(biāo)注在相應(yīng)的說明圖上。

圖1 體現(xiàn)本發(fā)明的改善數(shù)碼相機(jī)采用多鏡頭和傳感器的方框圖；它也表明多個(gè) 圖像傳感器被置于一個(gè)的平臺(tái)鏡頭之間傳感器可以有一些距離。兩個(gè)傳感器能夠接收所有的可見光，他們可以是單色即黑白的或有微型鑲嵌彩色 濾波器傳感器。如果采用了微型鑲嵌彩色濾波器圖像傳感器，其設(shè)計(jì)應(yīng)能使感光的像素分 別接收其全部考慮的光譜。圖2 表明了一個(gè)有代表性測試具有是視差的場景。圖3 顯示了不同傳感器的不同圖像和最后的圖像結(jié)果。圖4 描繪了多個(gè)鏡頭和多個(gè)傳感器照相機(jī)圖像數(shù)據(jù)分辨率增強(qiáng)的原理。本發(fā)明的描述下面的詳細(xì)說明本發(fā)明具體的細(xì)節(jié)，以便進(jìn)一步透徹的了解本發(fā)明。然而，它將不 描述那些明顯的和已知的工藝。描述是采用了具有代表性并均為常見的手段，即采用了有 經(jīng)驗(yàn)或技能的工藝最有效地傳達(dá)的實(shí)質(zhì)內(nèi)容。在其他情況下，眾所周知的方法，程序，組件 和電路沒有進(jìn)行詳細(xì)說明，以避免不必要的混淆。圖1 描述了圖像采集系統(tǒng)。即使用多個(gè)攝像機(jī)鏡頭和多個(gè)傳感器。對象101。鏡 頭102，和104的相應(yīng)鏡頭相機(jī)。這項(xiàng)安排的圖像傳感器和鏡頭中顯示103和105。在相機(jī)機(jī)身是描繪107。該圖像傳感器也如108和109所示。圖像數(shù)據(jù)傳輸?shù)奈⑿吞幚砥?06通 過傳輸電纜110，111。輸出圖像數(shù)據(jù)經(jīng)過處理器進(jìn)行處理。處理過程包括對圖像傳感器和 鏡頭的檢測和相互校正產(chǎn)生最后的圖像。圖2 描述了一個(gè)典型具有視差的測試圖像。201是所排攝的一個(gè)具有三角形外形 的對象。202、203是第一個(gè)傳感器和鏡頭。205是另一個(gè)傳感器及鏡頭。206、207是兩個(gè)鏡 頭和傳感器捕獲的圖像。圖3 描繪了取得最后的圖像數(shù)據(jù)的產(chǎn)生過程。301表示了從第一個(gè)傳感器和鏡頭 得到的圖像。302表示了從第二個(gè)傳感器和鏡頭得到的圖像。303表示了如把第一個(gè)傳感 器和鏡頭作為主眼而得到的最后無視差的圖像。304表示了如把第二個(gè)傳感器和鏡頭作為 主眼而得到的最后無視差的圖像。305表示了如把第一個(gè)傳感器和鏡頭作為主眼而得到的 另一種最后的結(jié)果。在此圖像中視差信息被疊加到無視差的圖像中去。圖4 描繪了多個(gè)鏡頭和多個(gè)傳感器照相機(jī)的圖像數(shù)據(jù)分辨率增強(qiáng)的過程。400描 繪了采用了拜耳模式的單鏡頭單傳感器的二維空間分辨率。401描繪了采用了拜耳模式的 單鏡頭單傳感器的RGB 二維空間分辨距離，402描繪了采用了拜耳模式的單鏡頭單傳感器 的G對角的二維空間分辨距離。403描繪了單色或紅色傳感器的單方向空間分辨。405描 繪了單色或藍(lán)色的單方向空間分辨率。407描繪了單色或綠色的單方向空間分辨率。404， 406，和408描繪了對應(yīng)的單色的單方向空間分辨距離。410表示了如果有同樣的像素?cái)?shù)和 空間距離則單鏡頭單傳感器的單方向空間分辨率是多個(gè)鏡頭和多個(gè)傳感器的單方向空間 分辨率的一半?？紤]到G(綠色)傳感器最小對角的空間分辨距離只有1. 4倍于單色的最 小單方向空間分辨率，三鏡頭和傳感器照相機(jī)二維空間分辨率是單鏡頭單傳感器的二維空 間分辨率的三倍。數(shù)字?jǐn)z影是一個(gè)出現(xiàn)在20世紀(jì)后半期最激動(dòng)人心的技術(shù)，使用適當(dāng)?shù)挠布蛙?件，幾乎任何人都可以使用數(shù)碼攝影。最近由于的產(chǎn)品引進(jìn)、技術(shù)進(jìn)步且價(jià)格不短降低，同 時(shí)最重要的是出現(xiàn)了高速無線通信和互聯(lián)網(wǎng)，這有助于使數(shù)碼相機(jī)成為最炙手可熱的新一 類的消費(fèi)電子產(chǎn)品。大多數(shù)數(shù)碼相機(jī)的圖像傳感器使用或感光器材，如電荷耦合器件(CCD)或互補(bǔ)金 屬氧化物(CMOS)技術(shù)半導(dǎo)體感知到場景。感光器件把現(xiàn)場轉(zhuǎn)化成電信號然后轉(zhuǎn)換成數(shù)字， 光線通過紅、綠、藍(lán)過濾器，例如，由此可以看出每個(gè)單獨(dú)的彩色光譜。當(dāng)數(shù)據(jù)是通過合并和 處理，相機(jī)能夠確定每個(gè)部分的圖片的具體的顏色。由于圖像實(shí)際上是一個(gè)集合的數(shù)字?jǐn)?shù) 據(jù)，它就可以輕松地下載到電腦和操縱更多的藝術(shù)效果。然而，有許多情況下，由于數(shù)碼相機(jī)的性能有限所以相機(jī)可能根本無法使用。相比 之下人的肉眼仍然有許多優(yōu)點(diǎn)，有更多的自適應(yīng)處理能力，更高的分辨率.更大的動(dòng)態(tài)范 圍，由于大腦的力量，加上眼(傳感器)的自適應(yīng)，人眼的缺陷可以大大限制和和改善。例 如，一對近視眼可優(yōu)于任何單一的一只眼。在非常低的光照明的情況下，人眼視覺系統(tǒng)會(huì)自 動(dòng)變成一個(gè)單一顏色或接近單色感光的模式，以提取認(rèn)為最重要的信息。人眼的動(dòng)態(tài)范圍 可大至一百分貝，數(shù)字表示大約是16比特。在一個(gè)典型的多光學(xué)鏡頭和多種圖像傳感器或 感光芯片的數(shù)碼相機(jī)中，感光芯片包括一個(gè)兩維的光電轉(zhuǎn)換單元數(shù)組，即像素。有選擇性地 交織在一起的彩色濾光片是疊加在每個(gè)像素。光電感光芯片通常有一定的各方向的解像能 力，由此產(chǎn)生的水平分辨率是由若干像素連續(xù)在行的排列的相對距離所決定和垂直分辨率是由一些像素在列的排列的相對距離所決定。由于彩色和亮度感光像素交替排列，實(shí)際上 的圖像解像素已被減少。雖然我們清楚地認(rèn)識(shí)到還有許多其他質(zhì)量因素限制了數(shù)碼相機(jī)圖像采集的性能。 例如，光圈不能任意設(shè)置和此參數(shù)將反過來會(huì)極大地影響到圖像質(zhì)量，這是由于眾所周知 的光學(xué)繞射和衍射的效果。當(dāng)光圈值設(shè)置為低一些時(shí)，可以得到更多的光能和改善的衍射 效應(yīng)，但鏡頭質(zhì)量缺陷可能更加暴露使最終圖像質(zhì)量受到影響。當(dāng)光圈值設(shè)置為高，曝光可 能不足而鏡頭的衍射效應(yīng)將成為影響圖像質(zhì)量的主要因素。當(dāng)采用多個(gè)鏡頭和多傳感器相機(jī)，一個(gè)傳感器缺失可以用其他傳感器的數(shù)據(jù)得到 補(bǔ)償和糾正。一般來說一個(gè)傳感器可以配置成接受一種極端情況，而另外的傳感器可以配 置接受另一端的極端情況。例如一個(gè)傳感器可以配置成接受高亮度的圖像信息，而另外的 傳感器可以配置接受低亮度的圖像信息。最后的圖像是自適應(yīng)的融合這兩個(gè)圖像的結(jié)果。 一種簡單的融合方法是擴(kuò)大每一個(gè)像素的比特?cái)?shù)以把所有的細(xì)節(jié)清楚地表示。 應(yīng)該注意到本發(fā)明及步驟應(yīng)在獲得初步的結(jié)果圖像之后進(jìn)行，不同傳感器的數(shù)據(jù) 可能有坐標(biāo)的縮放和對齊已保證位置的嚴(yán)格匹配。參考文獻(xiàn)[1]美國專利6611289號(2003年8月26日發(fā)表，發(fā)明人Yu等)“使用多個(gè)傳感 器相機(jī)比多鏡頭的數(shù)碼相機(jī)”。
權(quán)利要求
多鏡頭和多傳感器的數(shù)碼采集和處理系統(tǒng)(相機(jī))其多個(gè)圖像傳感器安裝在一個(gè)平臺(tái)上面向一個(gè)方向并相互之間可以有一定的距離并且其圖像數(shù)據(jù)共用一個(gè)單獨(dú)的處理器，此數(shù)碼相機(jī)至少有一個(gè)全頻譜傳感器，并且此數(shù)碼相機(jī)可以獲取并處理從如上所述的多個(gè)傳感器采集的圖像數(shù)據(jù)其最后結(jié)果可是一個(gè)單一的無視差的圖像，最后結(jié)果也可是一個(gè)或一組能表示視差的圖像。
2.如權(quán)利要求1中所述的圖像采集和處理系統(tǒng)，兩個(gè)全光譜圖像傳感器數(shù)據(jù)進(jìn)行線性 相對比較和相關(guān)，沒有進(jìn)一步的非線性處理，只是線性處理。
3.如權(quán)利要求1中所述的圖像采集和處理系統(tǒng)，兩個(gè)全光譜圖像傳感器數(shù)據(jù)進(jìn)行進(jìn)一 步的非線性處理及非線性和線性混合處理。
4.如權(quán)利要求1中述的圖像采集和處理系統(tǒng)，不同傳感器和鏡頭可以配置成工作在相 同或不同的工作模式和參數(shù)例如不同的光圈，速度，距離和景深。
5.如權(quán)利要求1中述的圖像采集和處理系統(tǒng)，不同傳感器和鏡頭可以放置成有一個(gè)相 對的角度，例如45度(或有135，225，或315度)角度。
6.如權(quán)利要求1中述的圖像采集和處理系統(tǒng)，不同傳感器和鏡頭的相對的角度和位置 可以進(jìn)行實(shí)時(shí)調(diào)整以達(dá)到最優(yōu)效果。
7.如權(quán)利要求1中述的圖像采集和處理系統(tǒng)，處理器可以應(yīng)用芯片外的存儲(chǔ)芯片來緩 存和儲(chǔ)存中間的和最后的結(jié)果。
8.如權(quán)利要求1中述的圖像采集和處理系統(tǒng)，處理器可以應(yīng)用系統(tǒng)中某一個(gè)圖像傳感 器作為主眼而另外的圖像傳感器作為輔眼來提取視差信息。
9.如權(quán)利要求1中述的圖像采集和處理系統(tǒng)，處理器可以應(yīng)用系統(tǒng)中某一個(gè)圖像傳感 器作為主眼而另外的圖像傳感器作為輔眼來消除視差。
10.如權(quán)利要求1中述的圖像采集和處理系統(tǒng)，每一個(gè)圖像傳感器都有自己的模數(shù)傳 感器來將模擬的數(shù)據(jù)轉(zhuǎn)換成數(shù)字的信息。
11.如權(quán)利要求1中述的圖像采集和處理系統(tǒng)，處理器可以接受部分或所有的圖像傳 感器的信息進(jìn)行處理。
12.如權(quán)利要求1中述的圖像采集和處理系統(tǒng)，處理器采用不同的圖像傳感器的孔闌 校正之前的信息進(jìn)行排列來增強(qiáng)圖像的分辨率。
13.如權(quán)利要求12中述的圖像采集和處理系統(tǒng)，某一個(gè)或某幾個(gè)圖像傳感器的相對位 置可以一個(gè)方向或兩個(gè)方向的微調(diào)以達(dá)到最高的圖像的分辨率。
14.如權(quán)利要求13中述的圖像采集和處理系統(tǒng)，最后的結(jié)果是經(jīng)過處理的只顯示最高 的分辨率圖像的全部或某一部分。
全文摘要
本發(fā)明涉及多鏡頭和多傳感器成像系統(tǒng)中視差保留和視差消除。本發(fā)明是基于已經(jīng)發(fā)明的多傳感器多透鏡系統(tǒng)的圖像采集與處理系統(tǒng)。這種系統(tǒng)可用于提高信號的信噪比(SNR)，動(dòng)態(tài)范圍，清晰度和其他接收圖像信號的參數(shù)。在本發(fā)明中通過多鏡頭和多傳感器的基本原理和一些基本數(shù)學(xué)運(yùn)算來改進(jìn)的原來單鏡頭光學(xué)系統(tǒng)和傳感器的局限性以提高性能。
文檔編號H04N9/093GK101883289SQ20091008363
公開日2010年11月10日 申請日期2009年5月7日 優(yōu)先權(quán)日2009年5月7日
發(fā)明者張冬云 申請人:張冬云