渡越時(shí)間相機(jī)系統(tǒng)的制作方法
【專利說明】渡越時(shí)間相機(jī)系統(tǒng)發(fā)明領(lǐng)域
[0001]本發(fā)明涉及渡越時(shí)間(TOF)射程成像系統(tǒng)，即TOF相機(jī)系統(tǒng)。特別地，本發(fā)明的目的是提供高質(zhì)量的場(chǎng)景3D圖像。
[0002]發(fā)明背景
[0003]計(jì)算機(jī)視覺是包括用于捕獲、處理、分析、和理解圖像的方法的成長(zhǎng)中的研究領(lǐng)域。在該領(lǐng)域中的主要驅(qū)動(dòng)理念是要通過電子感知并理解場(chǎng)景的圖像來復(fù)制人類視覺系統(tǒng)的能力。值得注意的是，計(jì)算機(jī)視覺研究中的一個(gè)主題是深度感知，或者換句話說是三維(3D)視覺。
[0004]對(duì)于人類，深度感知源自于所謂的立體景深效應(yīng)，藉由立體效應(yīng)，人類大腦將兩只眼睛對(duì)一場(chǎng)景所捕捉到的兩個(gè)略微不同的圖像進(jìn)行熔合，并且檢取深度信息等。此外，最近的研究顯示，識(shí)別場(chǎng)景中的對(duì)象的能力進(jìn)一步對(duì)深度感知做出了極大貢獻(xiàn)。
[0005]對(duì)于相機(jī)系統(tǒng)，深度信息并不易于獲取并且要求復(fù)雜的方法和系統(tǒng)。當(dāng)對(duì)場(chǎng)景成像時(shí)，一個(gè)常規(guī)的二維(2D)相機(jī)系統(tǒng)將場(chǎng)景的每個(gè)點(diǎn)與給定的RGB色彩信息相關(guān)聯(lián)。在成像過程的最后，場(chǎng)景的2D色彩圖被創(chuàng)建。標(biāo)準(zhǔn)2D相機(jī)系統(tǒng)不能夠容易地從該色彩圖中識(shí)別場(chǎng)景中的對(duì)象，因?yàn)樯矢叨鹊厝Q于變動(dòng)的場(chǎng)景照明，也因?yàn)槠洳⒉还逃械匕魏尉S度信息。新的技術(shù)已經(jīng)被引入來發(fā)展計(jì)算機(jī)視覺，值得注意地其被用于發(fā)展3D成像，這尤其使得能夠直接捕捉與深度有關(guān)的信息以及間接捕獲與場(chǎng)景或?qū)ο笥嘘P(guān)的維度信息。3D成像系統(tǒng)最近的發(fā)展是令人印象深刻的并且引起了來自工業(yè)界、學(xué)術(shù)界以及消費(fèi)者社團(tuán)的不斷增長(zhǎng)的興趣。
[0006]用來創(chuàng)建3D圖像的最常見的技術(shù)是基于立體景深效應(yīng)的。兩個(gè)相機(jī)對(duì)同一場(chǎng)景照相，但是它們分隔開一段距離一一就像人類的眼睛那樣。計(jì)算機(jī)比較這些圖像而同時(shí)將這兩張圖像一起移位到彼此上下相疊來找出匹配和不匹配的部分。所移位的量被稱為不一致性。計(jì)算機(jī)使用圖像中的對(duì)象得以最佳匹配的不一致性通過額外使用相機(jī)傳感器幾何參數(shù)和鏡頭規(guī)范來計(jì)算距離信息，即深度圖。
[0007]圖1中解說的渡越時(shí)間(TOF)相機(jī)系統(tǒng)3表示了另一種更為近期且不同的技術(shù)。TOF相機(jī)系統(tǒng)3包括具有專用照明單元18和數(shù)據(jù)處理裝置4的相機(jī)I。TOF相機(jī)系統(tǒng)能夠通過分析光從光源18渡越到對(duì)象的渡越時(shí)間來捕捉場(chǎng)景15的3D圖像。此類3D相機(jī)系統(tǒng)現(xiàn)在被用于許多應(yīng)用中，其中在這些應(yīng)用中要求深度或距離信息測(cè)量。標(biāo)準(zhǔn)2D相機(jī)系統(tǒng)(諸如紅-綠-藍(lán)(RGB)相機(jī)系統(tǒng))是被動(dòng)技術(shù)，即它們使用環(huán)境光來捕捉圖像且并不基于附加光的發(fā)射。相反，TOF相機(jī)系統(tǒng)的基本操作原理是使用專用照明單元以預(yù)定波長(zhǎng)的經(jīng)調(diào)制光16 (例如用至少一個(gè)預(yù)定頻率的一些光脈沖)來主動(dòng)照明場(chǎng)景15。經(jīng)調(diào)制的光被從場(chǎng)景內(nèi)的對(duì)象反射回去。鏡頭收集反射光17并且將對(duì)象的圖像形成到成像傳感器I上。取決于對(duì)象到相機(jī)的距離，在經(jīng)調(diào)制光(例如，所謂的光脈沖)的發(fā)射與在相機(jī)處對(duì)那些光脈沖的接收之間經(jīng)歷了延遲。在一個(gè)常見的實(shí)施例中，反射對(duì)象以及相機(jī)之間的距離可以被確定為所觀察到的時(shí)間延遲以及光速常量值的函數(shù)。在另一個(gè)更為復(fù)雜且可靠的實(shí)施例中，如在 Robert Lange 的題為“3D time-of-flight distance measurement with customsolid-state image sensors in CMOS/CCD technology(使用CMOS/CCD技術(shù)中的定制固態(tài)圖像傳感器進(jìn)行的3D渡越時(shí)間距離測(cè)量)”的博士論文中所介紹的，所發(fā)射的參考光脈沖以及所捕捉到的光脈沖之間的多個(gè)相位差可以被確定且被用于估計(jì)深度信息。
[0008]TOF相機(jī)系統(tǒng)包括數(shù)個(gè)元件，其中每個(gè)元件具有特異的功能。
[0009]DTOF相機(jī)系統(tǒng)的第一組件是照明單元18。當(dāng)使用脈沖時(shí),每個(gè)光脈沖的脈沖寬度決定了相機(jī)射程。例如，對(duì)于50ns的脈沖寬度，該射程被限定于7.5m。結(jié)果，場(chǎng)景照明對(duì)TOF相機(jī)系統(tǒng)的操作變得至關(guān)重要，并且照明單元的高速驅(qū)動(dòng)頻率要求使得必需使用專業(yè)光源(諸如，發(fā)光二極管(LED)或激光)來生成此類短光脈沖。
[0010]2) TOF相機(jī)系統(tǒng)的另一組件是成像傳感器I或稱TOF傳感器。成像傳感器通常包括形成場(chǎng)景圖像的像素矩陣陣列。應(yīng)當(dāng)理解，像素是指對(duì)光電磁輻射敏感的圖元及其相關(guān)的電子電路系統(tǒng)。像素的輸出能夠被用于確定光從照明單元到場(chǎng)景中對(duì)象以及從該對(duì)象反射回成像TOF傳感器的渡越時(shí)間。可在分開的處理單元中計(jì)算渡越時(shí)間，該分開的處理單元可耦合到TOF傳感器或可直接集成到TOF傳感器本身中。已知有各種用于測(cè)量光從照明單元行進(jìn)至對(duì)象并從對(duì)象回到成像傳感器的定時(shí)的方法。
[0011]3)成像光學(xué)器件2和處理電子器件4也在TOF相機(jī)系統(tǒng)內(nèi)提供。成像光學(xué)器件被設(shè)計(jì)成收集來自場(chǎng)景中諸對(duì)象的反射光(通常是IR域中)并且濾除與照明單元所發(fā)射的光并非處于相同波長(zhǎng)的光。在一些實(shí)施例中，光學(xué)器件可以使得能夠捕捉用于TOF原理測(cè)量的紅外線照明和用于RGB彩色測(cè)量的可見照明。這些處理電子器件驅(qū)動(dòng)TOF傳感器，從而濾除與照明單元所發(fā)射的光頻率不同但是波長(zhǎng)類似的光(一般為日光)以及還用于其他數(shù)個(gè)特征等。通過濾除不想要的波長(zhǎng)或頻率，可有效地抑制背景光。處理電子器件進(jìn)一步包括針對(duì)照明單元和成像傳感器二者的驅(qū)動(dòng)器，從而這些組件能夠被準(zhǔn)確地同步控制來確保執(zhí)行準(zhǔn)確的圖像捕捉并且確定場(chǎng)景的可靠深度圖。
[0012]對(duì)構(gòu)成TOF相機(jī)系統(tǒng)的元件的選取是至關(guān)重要的。取決于所使用的元件的類型以及性能，TOF相機(jī)系統(tǒng)旨在覆蓋從幾毫米一直到數(shù)千米的寬廣射程。此類TOF相機(jī)系統(tǒng)可以具有從亞厘米到數(shù)厘米或者甚至數(shù)米的不同距離準(zhǔn)確性?？膳cTOF相機(jī)系統(tǒng)聯(lián)用的諸技術(shù)包括帶數(shù)字計(jì)時(shí)器的脈沖光源、帶相位檢測(cè)器的射頻(RF)調(diào)制光源、以及射程選通成像器。
[0013]TOF相機(jī)系統(tǒng)遭受到數(shù)種缺陷。在當(dāng)前TOF成像器或者TOF傳感器中，像素節(jié)距通常范圍從ΙΟμ??到ΙΟΟμ??不等。由于該技術(shù)的新穎性以及TOF像素的架構(gòu)高度復(fù)雜這一事實(shí)，難以設(shè)計(jì)小像素尺寸而同時(shí)又維持高效的信噪比(SNR)并且不忘有關(guān)以低成本進(jìn)行大規(guī)模生產(chǎn)的要求。這導(dǎo)致了 TOF圖像傳感器相對(duì)大的芯片大小。在使用常規(guī)光學(xué)器件的情況下，圖像傳感器如此大的大小要求較大且厚的光學(xué)堆疊來配合到管芯上。一般而言，不得不在所要求的分辨率與器件的厚度之間尋求某種妥協(xié)來使得其能夠嵌入到便攜式大眾消費(fèi)廣品上。
[0014]進(jìn)一步，由TOF相機(jī)系統(tǒng)所獲得的深度測(cè)量可以因?yàn)槎鄠€(gè)原因而被錯(cuò)誤地確定。首先，此類系統(tǒng)的分辨率要被改進(jìn)。大的像素大小要求大的傳感器芯片，并且由此該傳感器分辨率受到TOF傳感器大小的限制。其次，此類系統(tǒng)的深度測(cè)量中的準(zhǔn)確性仍然需要被改進(jìn)，因?yàn)槠涓叨鹊匾蕾囉谛旁氡群驼{(diào)制頻率(調(diào)制頻率決定了深度準(zhǔn)確性以及操作深度測(cè)量射程)以及其他多個(gè)參數(shù)等。具體地，深度測(cè)量中的不確定性或不準(zhǔn)確性可以是因?yàn)楸环Q為“深度混疊”的效應(yīng)，這將會(huì)在之后被詳細(xì)描述。此外，不確定性能夠源自于背景中附加光的存在。實(shí)際上，TOF相機(jī)系統(tǒng)的像素包括光敏元件，該光敏元件接收入射光并將其轉(zhuǎn)換成電信號(hào)(例如，電流信號(hào))。在場(chǎng)景的捕捉期間，若背景光在傳感器敏感的波長(zhǎng)中太強(qiáng)烈，那么像素可能會(huì)接收到并非反射自該場(chǎng)景內(nèi)的對(duì)象的附加光，這可能會(huì)改動(dòng)測(cè)得的距離。
[0015]目前，在TOF成像領(lǐng)域中，有多種選項(xiàng)可用來至少部分地克服該技術(shù)可能遭受的主要個(gè)體缺陷，諸如，例如，使得能夠進(jìn)行更為穩(wěn)健且準(zhǔn)確的深度測(cè)量的改進(jìn)的調(diào)制頻率系統(tǒng)、解混疊或者背景光穩(wěn)健性機(jī)制。
[0016]仍然要提議技術(shù)方案來將這些缺陷一并解決并且附加地改進(jìn)TOF相機(jī)系統(tǒng)的分辨率，而同時(shí)又限制完整系統(tǒng)的厚度并且減少視差問題以使得其順應(yīng)于大規(guī)模生產(chǎn)的便攜式設(shè)備集成。
發(fā)明概要
[0017]本發(fā)明涉及包括數(shù)個(gè)相機(jī)的TOF相機(jī)系統(tǒng)，這些相機(jī)中的至少一個(gè)相機(jī)是TOF相機(jī)，其中這些相機(jī)被組裝在共同的基板上并且同時(shí)對(duì)相同場(chǎng)景成像，并且其中至少兩個(gè)相機(jī)由不同驅(qū)動(dòng)參數(shù)驅(qū)動(dòng)。
[0018]通過將該至少一個(gè)TOF相機(jī)的深度信息至少結(jié)合來自用不同參數(shù)驅(qū)動(dòng)的另一相機(jī)的信息使用，將所有相機(jī)信息熔合在一起幫助完善和增強(qiáng)最終圖像的質(zhì)量，并且尤其幫助從所捕捉的場(chǎng)景獲取較高質(zhì)量深度圖，因?yàn)檫@些圖像是由諸相機(jī)同時(shí)捕獲的。
[0019]有利地，這些相機(jī)的傳感器被制造并組