飛行去混疊的單個(gè)頻率時(shí)間的制作方法
【專利說(shuō)明】飛行去混疊的單個(gè)頻率時(shí)間
[0001]背景
[0002]例如飛行時(shí)間(TOF)相機(jī)的門控三維(3-D)相機(jī)通過(guò)對(duì)場(chǎng)景進(jìn)行照明并且捕捉來(lái)自照明的反射光來(lái)提供對(duì)場(chǎng)景中的對(duì)象的距離測(cè)量。各距離測(cè)量構(gòu)成場(chǎng)景的深度圖，該場(chǎng)景的3-D圖像是從該深度圖生成的。
[0003]常規(guī)的TOF系統(tǒng)通過(guò)發(fā)射已知頻率f的經(jīng)調(diào)制光能并檢查從目標(biāo)對(duì)象反射回TOF系統(tǒng)的光信號(hào)的相移來(lái)查明目標(biāo)對(duì)象的深度距離(Z)。這樣的示例性相位型的TOF系統(tǒng)在由Canesta公司獲得現(xiàn)在轉(zhuǎn)讓給微軟公司的幾個(gè)美國(guó)專利中描述。這樣的專利包括題為‘‘Methods for CMOS-Compatible Three-Dimens1nal Imaging Sensing UsingQuantum Efficiency Modulat1n(用于使用量子效率調(diào)制的CMOS兼容的三維成像感測(cè)的方法)”的美國(guó)專利 N0.6515740，題為 “Methods and Devices for Charge Managementfor Three Dimens1nal Sensing(用于三維感測(cè)的電荷管理的方法和設(shè)備)”的美國(guó)權(quán)利N0.6，906，793，題為“Method and System to Enhance Dynamic Range Convers1n UseableWith CMOS Three-Dimens1nal Imaging (可與CMOS三維成像一起用于增強(qiáng)動(dòng)態(tài)范圍轉(zhuǎn)換的方法和系統(tǒng))”的美國(guó)專利 N0.6，678，039，題為 “CMOS-Compatible Three-Dimens1nalImage Sensing Using Reduced Peak Energy (使用降低的峰值能量的CMOS兼容的三維圖像感測(cè))”的美國(guó)專利 N0.6，587，186，題為“Systems for CMOS-CompatibleThree-Dimens1nal Image Sensing Using Quantum Efficiency Modulat1n(用于使用量子效率調(diào)制的COMS兼容的三維圖像感測(cè)的系統(tǒng))”的美國(guó)專利N0.6，580, 496。
[0004]實(shí)際上，Z的改變產(chǎn)生相移的可測(cè)量改變，但最終相移開始重復(fù)，例如Θ =Θ+2 JT，等。因此，距尚Z是已知的I旲2 JT C/(2 ω) = C/(2f)，其中f是調(diào)制頻率。由此，在檢測(cè)到的相移Θ和距離Z的值之間可存在固有歧義。
[0005]已知通過(guò)從光源針對(duì)每一圖像數(shù)據(jù)幀以多個(gè)頻率來(lái)發(fā)射光來(lái)對(duì)相移數(shù)據(jù)進(jìn)行消歧或去混疊。然而，該操作會(huì)導(dǎo)致較高的功率消耗和計(jì)算消耗，這對(duì)于某些TOF系統(tǒng)(諸如，便攜式深度成像系統(tǒng))而言可能不是實(shí)用或最優(yōu)的。
[0006]概述
[0007]本文中公開了用于以低功率消耗來(lái)確定深度圖的系統(tǒng)和方法。在各示例中，該系統(tǒng)包括用于使用TOF方法來(lái)確定深度圖的深度成像系統(tǒng)。該深度成像系統(tǒng)包括用于以預(yù)定頻率發(fā)射光的光源，以及用于接收來(lái)自光源的光在被反射離開場(chǎng)景中的對(duì)象之際返回的光的像素檢測(cè)器陣列。反射離開對(duì)象的光將以指示對(duì)象和深度成像系統(tǒng)之間的距離的相移在該陣列中的一個(gè)像素檢測(cè)器中被接收到，盡管在所返回的距離和相移之間可能存在歧義。
[0008]為了對(duì)給定相移的所返回的距離進(jìn)行消歧或去混疊，本發(fā)明技術(shù)可在η個(gè)連續(xù)的圖像幀上發(fā)射η個(gè)不同的光頻率，其中η是例如2和4之間的整數(shù)。測(cè)量針對(duì)每一連續(xù)幀中的每一頻率的相移，并且針對(duì)每一相移計(jì)算距離Ζ。存儲(chǔ)針對(duì)不同頻率的距離Ζ，并在收集了 η幀數(shù)據(jù)后，可通過(guò)各種方法將這些距離相關(guān)以確定如在η個(gè)圖像幀上測(cè)量到的單個(gè)距對(duì)象的距離。當(dāng)每個(gè)圖像幀可發(fā)射一個(gè)頻率時(shí)，該深度圖可以以開發(fā)常規(guī)TOF深度圖的功率的一部分來(lái)開發(fā)。
[0009]在一示例中，本發(fā)明技術(shù)涉及一種深度成像系統(tǒng)，該系統(tǒng)包括:光源，所述光源用于跨一頻率范圍發(fā)射光；像素檢測(cè)器陣列，所述像素檢測(cè)器陣列用于接收來(lái)自所述光源的在反射離開對(duì)象以后的光；以及，處理器，所述處理器確定在第一時(shí)間在所述像素檢測(cè)器陣列中的一像素檢測(cè)器中接收到的第一頻率的光的相移數(shù)據(jù)，并確定在第二時(shí)間在所述像素檢測(cè)器中接收到的第二頻率的光的相移數(shù)據(jù)，所述第二頻率不同于所述第一頻率，并且所述第二時(shí)間不同于所述第一時(shí)間，所述處理器對(duì)所述相移數(shù)據(jù)進(jìn)行去混疊以確定由在所述第一和第二時(shí)間的所述第一頻率和第二頻率所指示的距所述對(duì)象的距離。
[0010]在另一示例中，本發(fā)明技術(shù)涉及目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)的捕捉設(shè)備，所述深度成像系統(tǒng)包括:RGB相機(jī)；和深度成像系統(tǒng)，包括:光源，所述光源用于跨一頻率范圍發(fā)射光，像素檢測(cè)器陣列，所述像素檢測(cè)器陣列用于接收來(lái)自所述光源的在反射離開對(duì)象以后的光；以及，處理器，所述處理器確定在第一成像幀中在所述像素檢測(cè)器陣列中的一像素檢測(cè)器中接收到的第一頻率的光的相移數(shù)據(jù)，并確定在第二圖像幀中在所述像素檢測(cè)器中接收到的第二頻率的光的相移數(shù)據(jù)，所述第二頻率不同于所述第一頻率，并且所述第二圖像幀不同于所述第一圖像幀，所述處理器對(duì)所述相移數(shù)據(jù)進(jìn)行去混疊以確定由在所述第一和第二時(shí)間的所述第一頻率和第二頻率所指示的距所述對(duì)象的距離。
[0011]在其他示例中，本發(fā)明技術(shù)涉及一種用于確定深度成像系統(tǒng)和場(chǎng)景中的對(duì)象之間的距離的方法，包括:(a)在第一時(shí)間發(fā)射第一頻率的光；(b)在第二時(shí)間發(fā)射第二頻率的光，所述第二頻率不同于所述第一頻率，并且所述第二時(shí)間在所述第一時(shí)間之后；以及，(C)基于在所述第一時(shí)間發(fā)射的所述第一頻率的光以及在所述第二時(shí)間發(fā)射的所述第二頻率的光的相移來(lái)測(cè)量距所述對(duì)象的距離。
[0012]提供概述以便以簡(jiǎn)化形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念的選集。本概述并不旨在標(biāo)識(shí)出所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護(hù)的主題的范圍。此外，所要求保護(hù)的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點(diǎn)的實(shí)現(xiàn)。
[0013]附圖簡(jiǎn)述
[0014]圖1示出了其中可使用的本發(fā)明技術(shù)的深度成像系統(tǒng)的目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)的示例實(shí)施例。
[0015]圖2示出了可以在目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中使用的捕捉設(shè)備的示例實(shí)施例。
[0016]圖3是根據(jù)本發(fā)明技術(shù)的各實(shí)施例的樣本深度成像系統(tǒng)的框圖。
[0017]圖4和5是示出與圖3的成像系統(tǒng)相關(guān)聯(lián)的發(fā)射的和反射的光能波形的示圖。
[0018]圖6示出根據(jù)本發(fā)明技術(shù)的各實(shí)施例的在各個(gè)相位處的示例性相位捕捉的細(xì)節(jié)。
[0019]圖7到圖10解說(shuō)示出相移對(duì)照針對(duì)各個(gè)調(diào)制頻率的距離的示圖。
[0020]圖11是本發(fā)明技術(shù)的一實(shí)施例的使用多個(gè)幀上的多個(gè)頻率來(lái)對(duì)相移數(shù)據(jù)進(jìn)行去混疊的操作的流程圖。
[0021]圖12解說(shuō)了可在本發(fā)明技術(shù)的各實(shí)施例中使用的計(jì)算設(shè)備的示例實(shí)施例。
[0022]詳細(xì)描述
[0023]現(xiàn)在將參考附圖1-12來(lái)描述本公開的一般涉及深度圖像的低功率生成的系統(tǒng)和方法的各實(shí)施例。在各實(shí)施例中，一圖像數(shù)據(jù)幀通過(guò)以下方式生成:T0C相機(jī)的光源發(fā)射經(jīng)調(diào)制的光脈沖，并檢查從目標(biāo)對(duì)象反射回TOF相機(jī)的光信號(hào)的相移。在各實(shí)施例中，該系統(tǒng)通過(guò)在η個(gè)連續(xù)圖像數(shù)據(jù)幀上發(fā)射η個(gè)不同的光頻率來(lái)對(duì)光信號(hào)的相位進(jìn)行去混疊。該系統(tǒng)至少為該η個(gè)圖像數(shù)據(jù)幀維護(hù)狀態(tài)數(shù)據(jù)，并將來(lái)自這些連續(xù)幀的相移進(jìn)行相關(guān)以對(duì)深度信息進(jìn)行去混疊。在各示例中，η可等于3，但它在不同的示例中可大于或小于3。
[0024]本公開的各實(shí)施例可發(fā)射并檢測(cè)脈沖型的周期性波形。然而，各實(shí)施例可相對(duì)于正弦波形的發(fā)射和檢測(cè)來(lái)描述，因?yàn)檫@樣的波形更容易數(shù)學(xué)地進(jìn)行分析。應(yīng)理解，包括不完美的正弦波形的周期性脈沖波形可在數(shù)學(xué)上被使用并被表示成系數(shù)和頻率多樣性改變的完美正弦波形的編組。
[0025]參考圖1和2，本公開的各實(shí)施例被提供作為目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10中用于跟蹤移動(dòng)的目標(biāo)的TOF 3-D相機(jī)的一部分系統(tǒng)10可為游戲和其他應(yīng)用提供自然用戶界面(NUI)。然而，應(yīng)理解，本公開的系統(tǒng)可以在不同于目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10的各種應(yīng)用中使用。
[0026]目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10可用來(lái)識(shí)別、分析和/或跟蹤人類目標(biāo)(諸如用戶18)以及其他靜止或移動(dòng)的對(duì)象(諸如對(duì)象23)。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10的各實(shí)施例包括用于執(zhí)行游戲或其他應(yīng)用的計(jì)算設(shè)備12。計(jì)算設(shè)備12可包括硬件組件和/或軟件組件，使得計(jì)算設(shè)備12可用于執(zhí)行諸如游戲和