專利名稱：三維幾何建模和三維視頻內(nèi)容創(chuàng)建的制作方法
三維幾何建模和三維視頻內(nèi)容創(chuàng)建
與現(xiàn)有申請(qǐng)的關(guān)系
本申請(qǐng)要求2006年11月21日提交的美國(guó)臨時(shí)專利60/860,209的優(yōu) 先權(quán)，其內(nèi)容由此通過(guò)引用被并入。
本申請(qǐng)還要求2007年4月4日提交的美國(guó)臨時(shí)專利60/907,495的優(yōu) 先權(quán)，其內(nèi)容由此通過(guò)引用被并入。
本申請(qǐng)還要求2007年5月3日提交的美國(guó)臨時(shí)專利60/924,206的優(yōu) 先權(quán)，其內(nèi)容由此通過(guò)引用被并入。
本申請(qǐng)還要求2007年7月13日提交的美國(guó)臨時(shí)專利60/929,835的 優(yōu)先權(quán)，其內(nèi)容由此通過(guò)引用被并入。
本申請(qǐng)還要求2007年8月13日提交的美國(guó)臨時(shí)專利60/935,427的 優(yōu)先權(quán)，其內(nèi)容由此通過(guò)引用被并入。
本發(fā)明的領(lǐng)域和背景
本發(fā)明涉及用于使用主動(dòng)三角測(cè)量法(active triangulation method )的
物體的三維成像和深度測(cè)量的系統(tǒng)和方法，并且尤其但不排它地涉及在靜 止和在運(yùn)動(dòng)中的物體的三維成像。
三維傳感器系統(tǒng)用在大量應(yīng)用中。這些傳感器系統(tǒng)確定位于傳感器系 統(tǒng)視野的場(chǎng)景中的物體的形狀和/或表面特征(feature)。近年來(lái)，提出了用 于實(shí)現(xiàn)三維建模系統(tǒng)的很多方法，這些系統(tǒng)能夠?qū)Ω鞣N應(yīng)用快速獲取物體 的準(zhǔn)確的高分辨率三維圖像。
這樣的三維成像系統(tǒng)的精確配置可能被改變。很多基于 前的三角測(cè) 量的系統(tǒng)使用至少兩個(gè)或多個(gè)攝像機(jī)(camera)的陣列來(lái)確定稱為被動(dòng)立體對(duì)應(yīng)(passive stereo correspondence)的深度j直。這才羊的方法依賴于4皮 高紋理(texture)化的成像表面，因而易于產(chǎn)生誤差且非魯棒性的。而且， 自動(dòng)對(duì)應(yīng)算法在來(lái)自不同攝像機(jī)的鏡頭的匹配中常常包含大量誤差。
其它方法利用LIDAR (光成像探測(cè)和測(cè)距)系統(tǒng)來(lái)確定遠(yuǎn)距離目標(biāo) 的范圍和/或其它信息。用光脈沖的方法，通過(guò)測(cè)量光脈沖的傳輸和反射 信號(hào)的探測(cè)之間的時(shí)間延遲來(lái)確定到物體的距離。稱為飛行時(shí)間的這樣的 方法通常不受三角測(cè)量法中一般的阻塞(occlusion)的影響，但準(zhǔn)確度和分 辨率固有地不如在三角測(cè)量法中得到的準(zhǔn)確度和分辨率。
基于主動(dòng)三角測(cè)量的三維傳感器系統(tǒng)和方法一般具有作為光源用于 投影到表面上的 一 個(gè)或多個(gè)投影4義，以及在離投影儀的限定的 一般校正的 相對(duì)位置處的用于使被照明的表面成像的一個(gè)或多個(gè)攝像機(jī)。攝像機(jī)和投 影儀因此具有不同的光路，且它們之間的距離稱為基線。通過(guò)了解基線距 離以及投影和成像角，已知的幾何/三角測(cè)量方程用于確定到被成像的物 體的距離。在本領(lǐng)域中已知的各種三角測(cè)量法中的主要差異在于投影方法 以及通常是結(jié)構(gòu)光的所投影的光的類型、以及在于獲得三維數(shù)據(jù)的圖像解 碼的過(guò)程。
光投影的方法從時(shí)間方法變化到空間編碼的結(jié)構(gòu)光。在本領(lǐng)域中各種 形式的投影光的例子包括"激光扇(laser fan)"和"線編碼光"。
一旦捕獲了物體的二維圖像，光源被如上所述投影在物體上，圖像處 理軟件通常分析圖像，以提取物體的三維幾何結(jié)構(gòu)并可能提取物體通過(guò)空 間的三維運(yùn)動(dòng)。這通常通過(guò)比較所捕獲的圖像中的特征與以前捕獲的圖像 和/或與投影光的已知特點(diǎn)和特征來(lái)完成。該步驟的實(shí)現(xiàn)在當(dāng)前已知的方 法中廣泛地變化， 一般是用于將光投影到物體上的方法的功能。不管所使 用的方法是什么，過(guò)程的結(jié)果通常是在所捕獲的圖像中被識(shí)別的特征的一 種視差/位移圖。根據(jù)公知的幾何方程，特別是三角測(cè)量方程，三維空間 位置和/或三維運(yùn)動(dòng)捕獲的最后步驟包括上面提到的視差圖到深度數(shù)據(jù)的 轉(zhuǎn)換。
當(dāng)今存在數(shù)百種方法和系統(tǒng)的絕對(duì)事實(shí)暗示在根本問(wèn)題是缺乏足夠 有效和可靠的用于三維成像的方法。而且，利用主動(dòng)三角測(cè)量法的大多數(shù)系統(tǒng)今天被限制到物體的非動(dòng)態(tài)成像。也就是說(shuō)，即使以高的幀率和快門 速度，成像的物體也必須在圖像獲取期間保持靜止。例如，可給建筑物成 像，而不是騎自行車的人或在街道上移動(dòng)的汽車。對(duì)三維成像的這個(gè)限制 是在大多數(shù)基于三角測(cè)量的三維成像系統(tǒng)中需要的直接結(jié)杲，以獲得一系 列圖像同時(shí)隨著時(shí)間的過(guò)去而改變光源的特點(diǎn)。例如，很多方法利用在一 段時(shí)間間隔內(nèi)投影的很多光圖樣，稱為時(shí)間編碼。
盡管如此，歷年來(lái)為移動(dòng)物體的三維成像引入了很多方法，其中大部 分是基于光的單個(gè)圖樣在被成像的物體上的投影，因而從一個(gè)或多個(gè)同時(shí) 存在的圖像而不是在一段時(shí)間間隔內(nèi)的多個(gè)圖像來(lái)實(shí)現(xiàn)深度測(cè)量的重建。 這些單個(gè)圖樣方法可分成兩種主要的類別。第一種是輔助立體方法，其中 單個(gè)圖樣被投影，且在來(lái)自兩個(gè)或多個(gè)成像系統(tǒng)的兩個(gè)或多個(gè)圖像之間進(jìn) 行比較，以計(jì)算深度數(shù)據(jù)。
第二種是結(jié)構(gòu)光方法，特別是編碼結(jié)構(gòu)光方法。這些方法常常只使用 一個(gè)成像系統(tǒng)或攝像機(jī)。編碼結(jié)構(gòu)光方法可進(jìn)一步分成幾種編碼類型。使 用編碼結(jié)構(gòu)光的 一種這樣的類型是空間編碼，其因精度和可靠性的各種各 樣的問(wèn)題而受到損害，特別是關(guān)于特征識(shí)別和其它嚴(yán)重的性能限制。因而， 空間單個(gè)圖樣系統(tǒng)只以非常有限的方式在商業(yè)上實(shí)現(xiàn)。本領(lǐng)域中進(jìn)一步的
結(jié)構(gòu)編碼^支術(shù)是語(yǔ)或彩色編碼，這需要中性色表面(color neutral surface),
且通常需要昂貴的成像系統(tǒng)。
因此，存在對(duì)克服上面的缺點(diǎn)的系統(tǒng)和方法的未滿足的需要，且具有 這樣的系統(tǒng)和方法是高度有用的。

發(fā)明內(nèi)容
一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的 三維形狀的方法，該二維圖像以可辨別的幾何分離的對(duì)極線(epipolar line) 為特征，所述方法包括
提供具有多個(gè)不同的特征類型的二維編碼光圖樣,每個(gè)特征類型根據(jù) 唯一的二維構(gòu)成是可辨別的，將編碼光圖樣投影到物體上，
捕獲具有投影在物體上的被投影的編碼光圖樣的物體的二維圖像，所 捕獲的二維圖像包括被反射的特征類型，
根據(jù)唯一的二維構(gòu)成提取被反射的特征類型，以及
提取特征類型在所捕獲的圖像中相應(yīng)的對(duì)極線上的位置。
一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的 三維形狀的裝置，該二維圖像以可辨別的幾何分離的對(duì)極線為特征，所述
裝置包括
具有多個(gè)不同的特征類型的二維編碼光圖樣，每個(gè)特征類型根據(jù)唯一 的二維構(gòu)成是可辨別的，
投影儀，其用于將編碼光圖樣投影到物體上，
成像設(shè)備，其用于捕獲具有投影在物體上的被投影的編碼光圖樣的物 體的圖像，所捕獲的圖像包括被反射的特征類型，以及
解碼器，其配置成
a) 根據(jù)唯一的二維構(gòu)成提取被反射的特征類型，
b) 提取特征類型在所捕獲的圖像中相應(yīng)的對(duì)極線上的位置。
一種用于從二維視頻圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二維視頻圖 像中的移動(dòng)物體的三維形狀的方法，該二維視頻圖像的每個(gè)幀以可辨別的 幾何分離的對(duì)極線為特征，所述方法包括
提供具有多個(gè)不同的特征類型的二維編碼光圖樣，每個(gè)特征類型根據(jù) 唯一的二維構(gòu)成是可辨別的，
將編碼光圖樣投影到移動(dòng)物體上，
捕獲具有投影在移動(dòng)物體上的被投影的編碼光圖樣的移動(dòng)物體的二 維視頻圖像，所捕獲的二維視頻圖像包括被反射的特征類型，以及
對(duì)于視頻圖像的每個(gè)被捕獲的幀
a)根據(jù)唯一的二維構(gòu)成提取被反射的特征類型，b)提取特征類型在相應(yīng)的對(duì)極線上的位置。
一種用于從二維視頻圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二維視頻圖 像中的移動(dòng)物體的三維形狀的裝置，該二維視頻圖像的每個(gè)幀以可辨別的 幾何分離的對(duì)極線為特征，所述裝置包括
具有多個(gè)不同的特征類型的二維編碼光圖樣，每個(gè)特征類型根據(jù)唯一 的二維構(gòu)成是可辨別的，
投影儀，其用于將編碼光圖樣投影到移動(dòng)物體上，
成像設(shè)備，其用于捕獲具有投影在移動(dòng)物體上的被投影的編碼光圖樣 的移動(dòng)物體的二維視頻圖像，所捕獲的二維視頻圖像包括被反射的特征類
型，以及
解碼器，其配置成
a) 根據(jù)唯一的二維構(gòu)成提取被反射的特征類型，
b) 對(duì)于視頻圖像的每個(gè)被捕獲的幀，提取特征類型在相應(yīng)的對(duì) 極線上的位置。
一種用于獲得包括一個(gè)或多個(gè)物體的場(chǎng)景的距離數(shù)據(jù)的方法，所述方 法包括
將具有多個(gè)不同的特征類型的二維編碼光圖樣投影到場(chǎng)景上，以便從 場(chǎng)景中不同的相應(yīng)反射位置反射光圖樣的每個(gè)特征，特征類型根據(jù)二維構(gòu) 成在圖樣上可辨別為唯一的，
捕獲包括被反射的特征的、場(chǎng)景的二維圖像，
對(duì)出現(xiàn)在二維圖像中的每個(gè)被反射的特征
a) 根據(jù)唯一的二維構(gòu)成確定相應(yīng)的特征類型，
b) 確定特征類型在相應(yīng)的對(duì)極線上的位置，
根據(jù)相應(yīng)的確定的特征類型并根據(jù)相應(yīng)的確定的對(duì)極線位置，對(duì)每個(gè) 被反射的特征得到相應(yīng)的相關(guān)反射點(diǎn)的相應(yīng)距離。
在包括圖樣投影裝置和圖像捕獲裝置的系統(tǒng)中一種獲得場(chǎng)景數(shù)據(jù)的方法，所述圖樣投影裝置操作地將多個(gè)特征類型二維光圖樣投影到場(chǎng)景上 使得多個(gè)特征類型二維光圖樣的每個(gè)特征從相應(yīng)的反射點(diǎn)反射，所述圖像 捕獲裝置操作地捕獲包括被反射的特征的、場(chǎng)景的二維圖像，所述方法包 括
a) 對(duì)于特征集合中的每個(gè)特征，包括根據(jù)唯一的二維構(gòu)成可辨別的 特征，其中二維光圖樣的第 一特征類型不同類的多個(gè)對(duì)極共線特征與第一 對(duì)極線相關(guān)，而第二特征類型不同類的多個(gè)對(duì)極共線特征與不同于第一對(duì) 極線的第二對(duì)極線相關(guān)，提供了相應(yīng)的反射點(diǎn)距離圖像點(diǎn)位置關(guān)系的相 應(yīng)描述，從而提供多個(gè)反射點(diǎn)距離圖像點(diǎn)位置關(guān)系，
b) 對(duì)于目標(biāo)場(chǎng)景的被捕獲的二維圖像，對(duì)于特征集合中的每個(gè)特征， 從場(chǎng)景的被捕獲的二維圖像根據(jù)唯一的二維構(gòu)成確定相應(yīng)的特征類型并 確定每個(gè)特征的相應(yīng)的對(duì)極線標(biāo)識(shí)(identity);
c) 對(duì)特征集合中的每個(gè)特征，根據(jù)確定的特征類型和對(duì)極線標(biāo)識(shí)， 使每個(gè)特征與從多個(gè)反射點(diǎn)距離圖像點(diǎn)位置關(guān)系選擇的相應(yīng)的反射點(diǎn)距 離圖像點(diǎn)位置關(guān)系關(guān)聯(lián)；以及
d) 對(duì)特征集合中的每個(gè)特征，使用相應(yīng)的選定的反射點(diǎn)距離圖像點(diǎn) 位置關(guān)系來(lái)根據(jù)目標(biāo)場(chǎng)景的被捕荻的二維圖像中的位置確定目標(biāo)場(chǎng)景中 相應(yīng)的反射點(diǎn)的位置。
一種用于從目標(biāo)場(chǎng)景獲得場(chǎng)景數(shù)據(jù)的系統(tǒng)，該系統(tǒng)包括
a) 圖樣投影裝置，其操作地將具有多個(gè)不同的特征類型的二維編碼 光圖樣投影到場(chǎng)景上，以便每個(gè)特征從相應(yīng)的反射點(diǎn)反射，特征類型根據(jù) 二維構(gòu)成在圖樣中可辨別為唯 一 的，
b) 圖像捕獲裝置，其操作地捕獲包括被反射的特征的、場(chǎng)景的二維 圖像；以及
c) 圖像處理元件，對(duì)二維圖像的每個(gè)被反射的特征，其操作來(lái)
i)對(duì)每個(gè)一皮反射的特征
A.根據(jù)唯一的二維構(gòu)成確定特征類型；
30B.確定相應(yīng)的對(duì)極線位置；以及
ii)根據(jù)相應(yīng)的確定的特征類型并根據(jù)相應(yīng)的確定的對(duì)極線位
置，對(duì)每個(gè)被反射的特征得出相應(yīng)的相關(guān)反射點(diǎn)的相應(yīng)距離。
一種用于從目標(biāo)場(chǎng)景獲得場(chǎng)景數(shù)據(jù)的系統(tǒng)，該系統(tǒng)包括
a) 圖樣投影裝置，其操作地將具有多個(gè)不同的特征類型的二維編碼 光圖樣投影到場(chǎng)景上，以便每個(gè)特征從相應(yīng)的反射點(diǎn)反射，特征類型根據(jù) 二維構(gòu)成在圖樣中可辨別為唯一的，
b) 圖像捕獲裝置，其操作地捕獲包括被反射的特征的、場(chǎng)景的二維 圖像，圖樣投影裝置和圖像捕獲裝置配置成使得每個(gè)被反射的特征以不受 場(chǎng)景距離影響的方式保持在被捕獲的二維圖像中確定的對(duì)極線上；以及
c) 圖像處理元件，其操作來(lái)
i) 根據(jù)二維圖像中的特征的唯一的二維構(gòu)成對(duì)每個(gè)^L反射的特 征確定相應(yīng)的特征類型ii) 以不受特征的對(duì)極線排序影響的方式區(qū)別開(kāi)特征。 一種用于從目標(biāo)場(chǎng)景獲得場(chǎng)景數(shù)據(jù)的系統(tǒng)，該系統(tǒng)包括
a) 圖樣投影裝置，其操作地將具有多個(gè)不同的特征類型的二維編碼 光圖樣投影到場(chǎng)景上，以便每個(gè)特征從相應(yīng)的反射點(diǎn)反射，特征類型根據(jù) 二維構(gòu)成在圖樣中可辨別為唯一的，
b) 圖像捕獲裝置，其操作地捕獲包括被反射的特征的、場(chǎng)景的二維 圖像，其中圖樣投影裝置和圖像捕獲裝置以不受離目標(biāo)場(chǎng)景的距離影響的 方式操作，使得對(duì)于在所捕獲的二維圖像中多線對(duì)極線集合中的每個(gè)不同 的對(duì)極線
i) 二維光圖樣的特征類型不同類的多個(gè)投影特征存在于每個(gè)對(duì)
極線上；
ii) 至多一個(gè)特征類型存在于每個(gè)對(duì)極線上。
一種用于確定出現(xiàn)在兩個(gè)所得到的二維圖像中的被成像的物體的三 維形狀的方法，所得到的圖像通過(guò)限定的對(duì)極場(chǎng)(epipolar field)彼此相關(guān)，所述方法包括
提供具有多個(gè)不同的特征類型的二維編碼光圖樣，每個(gè)特征類型根據(jù) 唯一的二維構(gòu)成是可辨別的，
將編碼光圖樣投影到被成像的物體上， 捕獲被成像的物體的第一二維圖像， 捕獲被成像的物體的第二二維圖像，
選擇第一二維圖像的像素區(qū)域PXl,出現(xiàn)在PX1上的內(nèi)容被約束為
出現(xiàn)在第二二維圖像中特定的對(duì)極線EPm上，
在第二圖像中沿著對(duì)極線EPm找到PX1的內(nèi)容，以及
確定在第一圖像和第二圖像之間的PX1的內(nèi)容出現(xiàn)的相對(duì)位置。
一種用于確定出現(xiàn)在兩個(gè)所得到的二維圖像中的被成像的物體的三 維形狀的裝置，二維圖像從至少兩個(gè)實(shí)質(zhì)上相鄰的成像設(shè)備得到，圖像通 過(guò)限定的對(duì)極場(chǎng)彼此相關(guān)，所述裝置包括
具有多個(gè)不同的特征類型的二維編碼光圖樣，每個(gè)特征類型根據(jù)唯一 的二維構(gòu)成是可辨別的，
投影儀，其用于將編碼光圖樣投影到被成像的物體上，
第 一成像設(shè)備，其用于捕獲被成像的物體的第一二維圖像，
第二成像設(shè)備，其用于捕獲被成像的物體的第二二維圖像，
圖像處理設(shè)備，其用于
a) 選擇第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PX1上的內(nèi)容被 約束為出現(xiàn)在第二二維圖像中特定的對(duì)極線EPm上，
b) 在第二圖像中沿著對(duì)極線EPm找到PX1的內(nèi)容，以及
c) 確定在第一圖像和第二圖像之間的PX1的內(nèi)容出現(xiàn)的相對(duì)位置。
一種用于城市場(chǎng)景的三維建模的基于三角測(cè)量的方法，該方法捕獲具 有投影在城市場(chǎng)景上的被投影的結(jié)構(gòu)光圖樣的城市場(chǎng)景的至少兩個(gè)圖像，圖像通過(guò)限定的對(duì)極場(chǎng)彼此相關(guān)，每個(gè)圖像進(jìn)一步具有與投影儀有關(guān)的額 外的對(duì)^f及場(chǎng)，所述方法包括
提供具有多個(gè)不同的特征類型的二維編碼光圖樣，每個(gè)特征類型根據(jù) 唯一的二維構(gòu)成是可辨別的，
將編碼光圖樣投影到城市場(chǎng)景上，
捕獲包括被反射的特征類型的城市場(chǎng)景的第一二維圖像， 捕獲包括被反射的特征類型的城市場(chǎng)景的第二二維圖像，
選擇第一二維圖像的像素區(qū)域PXl,出現(xiàn)在PX1上的內(nèi)容被約束為 出現(xiàn)在第二二維圖像中特定的對(duì)極線EPm上，
在第二圖像中沿著對(duì)極線EPm找到PX1的內(nèi)容，以及
確定在第一圖像和第二圖像之間的PX1的內(nèi)容出現(xiàn)的相對(duì)位置，以
及
獨(dú)立地對(duì)于每個(gè)被捕獲的圖像，進(jìn)一步根據(jù)唯一的二維構(gòu)成提取被反 射的特征類型和提取特征類型在相應(yīng)的對(duì)極線上的位置。
一種用于城市場(chǎng)景的基于三角測(cè)量的三維建模的裝置，該裝置包括用 于捕獲城市場(chǎng)景的至少兩個(gè)圖像的至少兩個(gè)實(shí)質(zhì)上相鄰的成像設(shè)備，該裝 置進(jìn)一步具有用于將結(jié)構(gòu)光圖樣投影在場(chǎng)景中的物體上的投影儀，圖像通 過(guò)限定的對(duì)極場(chǎng)彼此相關(guān)，每個(gè)圖像進(jìn)一步具有與投影儀有關(guān)的額外的對(duì) 極場(chǎng)，所述裝置包括
具有多個(gè)不同的特征類型的二維編碼光圖樣，每個(gè)特征類型根據(jù)唯一 的二維構(gòu)成是可辨別的，
投影儀，其用于將編碼光圖樣投影到城市場(chǎng)景上，
第一成像設(shè)備，其用于捕獲包括被反射的特征類型的城市場(chǎng)景的第一 二維圖像，
第二成像設(shè)備，其用于捕獲包括被反射的特征類型的城市場(chǎng)景的第二 二維圖像，
圖像處理設(shè)備，其用于a) 選擇第一二維圖像的像素區(qū)域PXl,出現(xiàn)在PX1上的內(nèi)容被
約束為出現(xiàn)在第二二維圖像中特定的對(duì)極線EPm上，
b) 在第二圖像中沿著對(duì)極線EPm找到PX1的內(nèi)容，
c) 確定在第一圖像和第二圖像之間的PX1的內(nèi)容出現(xiàn)的相對(duì)位
置，以及
d) 獨(dú)立地在每個(gè)圖像中根據(jù)唯一的二維構(gòu)成提取被反射的特征 類型和提取特征類型在相應(yīng)的對(duì)極線上的位置。
一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的 三維形狀的方法，該二維圖像以可辨別的幾何分離的對(duì)極線為特征，所述 方法包4舌
提供具有多個(gè)不同的可識(shí)別的特征類型的二維編碼光圖樣，每個(gè)特征 類型根據(jù)唯一 的二維構(gòu)成是可辨別的，
提供二維編碼光圖樣的反圖樣(inverse)，
將編碼光圖樣和反的編碼光圖樣投影在物體上，
捕獲
1) 具有投影在物體上的被投影的編碼光圖樣的物體的第一圖像，第 一圖像包括被反射的特征類型，
2) 具有投影在物體上的反的編碼光圖樣的物體的第二圖像，第二圖 像包括被反射的特征類型，
從第一被捕獲的圖像中減去第二被捕獲的圖像來(lái)獲得合成圖像 (resultant image)， 以及
在合成圖像中根據(jù)唯一 的二維構(gòu)成提取被反射的特征類型和提取特 征類型在相應(yīng)的對(duì)極線上的位置。
一種用于從兩個(gè)二維圖像獲得紋理數(shù)據(jù)的方法，每個(gè)圖像包括用于對(duì) 每個(gè)圖像獨(dú)立地獲得被成像的物體的深度數(shù)據(jù)的反射碼，所述方法包括
提供具有多個(gè)不同的可識(shí)別的特征類型的二維編碼光圖樣，每個(gè)特征 類型根據(jù)唯一的二維構(gòu)成是可辨別的，提供二維編碼光圖樣的反圖樣，將編碼光圖樣和反的編碼光圖樣投影在物體上，捕獲1) 具有投影在物體上的被投影的編碼光圖樣的物體的第一圖像，第 一圖像包括被反射的特征類型，2) 具有投影在物體上的反的編碼光圖樣的物體的第二圖像，第二圖 像包括被反射的特征類型，從第二被捕荻的圖像與第一被捕獲的圖像的相加中獲得合成圖像，合 成圖像提供被成像的物體的紋理信息。一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的 三維形狀的方法，該二維圖像以可辨別的幾何分離的對(duì)極線為特征，所述 方法包4舌提供具有多個(gè)不同的可識(shí)別的特征類型的第一二維編碼光圖樣，每個(gè) 特征類型包括光強(qiáng)度變化的點(diǎn)，其中特征類型的一個(gè)點(diǎn)為最大值或最小 值，提供第二二維編碼光圖樣，第二二維編碼光圖樣包括具有最大值或最 小值反轉(zhuǎn)了的第一圖樣，將第 一編碼光圖樣和第二編碼光圖樣投影在物體上，捕獲1 )具有投影在物體上的第一被投影的編碼光圖樣的物體的第一圖像， 第 一 圖像包括被反射的特征類型，2)具有投影在物體上的第二編碼光圖樣的物體的第二圖像，第二圖 像包括被反射的特征類型，從第 一被捕獲的圖像中減去第二被捕獲的圖像來(lái)獲得合成圖像,合成 圖像包括被反射的特征類型的最大值點(diǎn)和最小值點(diǎn)，以及在合成圖像中提取最大值點(diǎn)和最小值點(diǎn)以及最大值點(diǎn)和最小值點(diǎn)在 相應(yīng)的對(duì)極線上的位置。一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的 三維形狀的方法，該二維圖像以可辨別的幾何分離的對(duì)極線為特征，所述方法包4舌提供具有多個(gè)不同的可識(shí)別的特征類型的第一二維編碼光圖樣，每個(gè) 特征類型由光強(qiáng)度變化的點(diǎn)組成，其中特征類型的一個(gè)點(diǎn)是最大值或最小 值，提供第二二維編碼光圖樣，第二二維編碼光圖樣包括具有最大值或最 小值反轉(zhuǎn)了的第一圖樣，將第一編碼光圖樣和第二編碼光圖樣投影在物體上，捕獲1 )具有投影在物體上的第一被投影的編碼光圖樣的物體的第一圖像， 第 一 圖像包括被反射的特征類型，2)具有投影在物體上的第二編碼光圖樣的物體的第二圖像，第二圖 像包括被反射的特征類型，從第一被捕獲的圖像與第二被捕獲的圖像的相加來(lái)獲得合成圖像,合 成圖像包括被反射的特征類型的非最大值強(qiáng)度點(diǎn)和非最小值強(qiáng)度點(diǎn)，在合成圖像中提取被反射的特征類型的非最大值點(diǎn)和非最小值點(diǎn)以 及非最大值點(diǎn)和非最小值點(diǎn)在相關(guān)的對(duì)極線上的位置。一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的 三維形狀的方法，該二維圖像以可辨別的幾何分離的對(duì)極線為特征，所述 方法包括提供具有多個(gè)不同的特征類型的二維編碼光圖樣，每個(gè)特征類型根據(jù) 唯一的二維構(gòu)成是可辨別的，提供二維編碼光圖樣的反圖樣，將編碼光圖樣和反的編碼光圖樣投影在物體上，捕獲1)具有投影在物體上的被投影的編碼光圖樣的物體的第一圖像，第36一圖像包括被反射的特征類型，
2)具有投影在物體上的反的編碼光圖樣的物體的第二圖像，第二圖 像包括被反射的特征類型，
從第 一被捕獲的圖像與第二被捕獲的圖像相減的絕對(duì)值來(lái)獲得合成 圖像，合成圖像包括被反射的特征類型的輪廓，
在合成圖像中提取輪廓以及輪廓在相應(yīng)的對(duì)極線上的位置。
一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的 三維形狀的方法，該二維圖像以可辨別的幾何分離的對(duì)極線為特征，所述
方法包括
提供具有多個(gè)不同的可識(shí)別的特征類型的二維編碼光圖樣，每個(gè)特征 類型根據(jù)唯 一 的二維構(gòu)成是可辨別的，
將編碼光圖樣投影在物體上，
捕獲
1) 具有投影在物體上的被投影的編碼光圖樣的物體的第一圖像，第 一圖像包括被反射的特征類型，
2) 具有投影在物體上的環(huán)境光的物體的第二圖像，
從第 一被捕獲的圖像中減去第二被捕獲的圖像來(lái)獲得合成圖像，
在合成圖像中提取被反射的特征類型和特征類型在相應(yīng)的對(duì)極線上 的位置。
一種用于確定出現(xiàn)在兩個(gè)所得到的二維圖像中的被成像的解剖 (anatomical)表面元件的三維形狀的方法，所得到的圖像通過(guò)限定的對(duì)極 場(chǎng)彼此相關(guān)，所述方法包括
提供具有多個(gè)不同的可識(shí)別的特征類型的二維編碼光圖樣，每個(gè)特征 類型根據(jù)唯一的二維構(gòu)成是可辨別的，
將編碼光圖樣投影到解剖表面元件上，
捕獲解剖表面元件的第一二維圖像，捕獲解剖表面元件的第二二維圖像，
選擇第一二維圖像的像素區(qū)域PXl,出現(xiàn)在PX1上的內(nèi)容被約束為
出現(xiàn)在第二二維圖像中特定的對(duì)極線EPm上，
在第二圖像中沿著對(duì)極線EPm找到PX1的內(nèi)容，以及
確定在第一圖像和第二圖像之間的PX1的內(nèi)容出現(xiàn)的相對(duì)位置。
一種用于確定出現(xiàn)在兩個(gè)所得到的二維圖像中的被成像的解剖表面 元件的三維形狀的裝置，二維圖像從至少兩個(gè)實(shí)質(zhì)上相鄰的成像設(shè)備得 到，圖像通過(guò)限定的對(duì)極場(chǎng)彼此相關(guān)，所述裝置包括
具有多個(gè)不同的可識(shí)別的特征類型的二維編碼光圖樣，每個(gè)特征類型 根據(jù)唯一的二維構(gòu)成是可辨別的，
投影儀，其用于將編碼光圖樣投影到解剖表面元件上，
第一成像設(shè)備，其用于捕獲被成像的解剖表面元件的第一二維圖像，
第二成像設(shè)備，其用于捕獲被成像的解剖表面元件的第二二維圖像，
圖像處理設(shè)備，其用于
a) 選擇第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PX1上的內(nèi)容被 約束為出現(xiàn)在第二二維圖像中特定的對(duì)極線EPm上，
b) 在第二圖像中沿著對(duì)極線EPm找到PX1的內(nèi)容，以及
c) 確定在第一圖像和第二圖像之間的PX1的內(nèi)容出現(xiàn)的相對(duì)位置。
一種用于解剖表面元件的三維建模的基于三角測(cè)量的方法，該方法捕 獲具有投影在解剖表面元件上的被投影的結(jié)構(gòu)光圖樣的解剖表面元件的 至少兩個(gè)圖像，圖像通過(guò)限定的對(duì)極場(chǎng)彼此相關(guān)，每個(gè)圖像進(jìn)一步具有與 投影儀有關(guān)的額外的對(duì)極場(chǎng)，所述方法包括
提供具有多個(gè)不同的特征類型的二維編碼光圖樣，每個(gè)特征類型根據(jù) 唯一的二維構(gòu)成是可辨別的，
將編碼光圖樣投影到解剖表面元件上，捕獲包括被反射的特征類型的城市場(chǎng)景的第一二維圖像， 捕獲包括被反射的特征類型的城市場(chǎng)景的第二二維圖像， 選擇第一二維圖像的像素區(qū)域PXl,出現(xiàn)在PX1上的內(nèi)容被約束為
出現(xiàn)在第二二維圖像中特定的對(duì)極線EPm上，
在第二圖像中沿著對(duì)極線EPm找到PX1的內(nèi)容， 確定在第一圖像和第二圖像之間的PX1的內(nèi)容出現(xiàn)的相對(duì)位置，以
及
獨(dú)立地對(duì)于每個(gè)被捕獲的圖像，進(jìn)一步根據(jù)唯一的二維構(gòu)成提取被反 射的特征類型和特征類型在相應(yīng)的對(duì)極線上的位置。
一種用于對(duì)解剖表面元件的基于三角測(cè)量的三維建模的裝置，該裝置 包括用于捕獲表面元件的至少兩個(gè)圖像的至少兩個(gè)實(shí)質(zhì)上相鄰的成像設(shè) 備，該裝置進(jìn)一步具有用于將結(jié)構(gòu)光圖樣投影在解剖元件上的投影儀，圖 像通過(guò)限定的對(duì)極場(chǎng)彼此相關(guān)，每個(gè)圖像進(jìn)一步具有與投影儀有關(guān)的額外 的對(duì)極場(chǎng)，所述裝置包括
二維編碼光圖樣，其具有多個(gè)不同的特征類型，被反射的特征類型根 據(jù)唯一的二維構(gòu)成和特征類型在相應(yīng)的對(duì)極線上的位置，
投影儀，其用于將編碼光圖樣投影到解剖元件上，
第 一成像設(shè)備，其用于捕獲包括被反射的特征類型的解剖元件的第一 二維圖像，
第二成像設(shè)備，其用于捕獲包括被反射的特征類型的解剖元件的第二 二維圖像，
圖像處理設(shè)備，其用于
a) 選擇第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PX1上的內(nèi)容被 約束為出現(xiàn)在第二二維圖像中特定的對(duì)極線EPm上，
b) 在第二圖像中沿著對(duì)極線EPm找到PX1的內(nèi)容，
c) 確定在第一圖像和第二圖像之間的PX1的內(nèi)容出現(xiàn)的相對(duì)位
置，以及d)獨(dú)立地在每個(gè)圖像中提取被反射的特征類型和特征類型在相 應(yīng)的對(duì)極線上的位置。
一種可安裝在機(jī)動(dòng)車輛上的裝置，該裝置配置成獲得在離車輛尾部的 一定范圍內(nèi)的物體的深度數(shù)據(jù)，并進(jìn)一步配置成獲得二維圖像以便從其確 定深度數(shù)據(jù)，二維圖像以可辨別的幾何分離的對(duì)極線為特征，該裝置包括
二維編碼光圖樣，其具有多個(gè)預(yù)定的可識(shí)別的特征類型，每個(gè)特征類 型根據(jù)唯一的二維構(gòu)成是可辨別的，
投影儀，其用于將編碼光圖樣投影到物體上，
第一成像設(shè)備，其用于捕獲具有投影在物體上的被投影的編碼光圖樣 的物體的圖像，被捕獲的圖像包括被反射的特征類型，以及
解碼器，其配置成根據(jù)唯一的二維構(gòu)成提取被反射的特征類型和提取 特征類型在被捕荻的圖像中相應(yīng)的對(duì)極線上的位置。
一種用于荻得位于機(jī)動(dòng)車輛后的目標(biāo)場(chǎng)景的深度數(shù)據(jù)的系統(tǒng)，該系統(tǒng)
包括
a) 圖樣投影裝置，其操作地將具有多個(gè)不同的特征類型的二維編碼 光圖樣投影到場(chǎng)景上，使得每個(gè)特征從相應(yīng)的反射點(diǎn)反射，特征類型根據(jù) 二維構(gòu)成在圖樣上可辨別為唯一的；
b) 圖像捕獲裝置，其可安裝在機(jī)動(dòng)車輛上，并操作地捕獲包括被反 射的特征的、場(chǎng)景的二維圖像；以及
c) 圖像處理元件，其對(duì)二維圖像的每個(gè)被反射的特征操作來(lái)
i) 對(duì)每個(gè)被反射的特征
A. 根據(jù)唯一的二維構(gòu)成確定特征類型；
B. 確定相應(yīng)的對(duì);f及線位置；以及
ii) 根據(jù)相應(yīng)的確定的特征類型并根據(jù)相應(yīng)的確定的對(duì)極線位 置，對(duì)每個(gè)被反射的特征得出相應(yīng)的相關(guān)反射點(diǎn)的相應(yīng)距離。
一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的 三維形狀的方法，該二維圖像以可辨別的幾何分離的對(duì)極線為特征，所述方法包4舌
提供具有多個(gè)不同的可識(shí)別的特征類型的二維編碼光圖樣，每個(gè)特征 類型根據(jù)唯一的二維構(gòu)成是可辨別的，
將編碼光圖樣投影到物體上，
捕獲
1) 具有投影在物體上的被投影的編碼光圖樣的物體的第一圖像，第 一圖像包括被反射的特征類型，
2) 具有投影在物體上的均勻光的物體的第二圖像，
從第 一被捕獲的圖像被第二被捕獲的圖像除，來(lái)獲得合成圖像，
在合成圖像中提取被反射的特征類型和特征類型在相應(yīng)的對(duì)極線上 的位置。
一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的 三維形狀的方法，該二維圖像以可辨別的幾何分離的對(duì)極線為特征，所述 方法包4舌
提供具有多個(gè)不同的可識(shí)別的特征類型的第一二維編碼光圖樣，每個(gè) 特征類型根據(jù)唯一的二維構(gòu)成是可辨別的，
提供具有多個(gè)不同的可識(shí)別的特征類型的、不同于第一圖樣的、第二 二維編碼光圖樣，每個(gè)特征類型根據(jù)唯一的二維構(gòu)成是可辨別的，
將第一編碼光圖樣投和第二編碼光圖樣投影到物體上，
捕獲
1 )具有投影在物體上的第 一被投影的編碼光圖樣的物體的第 一 圖像， 第 一 圖像包括被反射的特征類型，
2)具有投影在物體上的第二編碼光圖樣的物體的第二圖像，第二圖 像包括被反射的特征類型，
獨(dú)立地在每個(gè)圖像中根據(jù)唯一 的二維構(gòu)成提取被反射的特征類型和 提取特征類型在相應(yīng)的對(duì)極線上的位置，比較在第二圖像中對(duì)極線的區(qū)域與在第一圖像中沿著相同對(duì)極線的 相似區(qū)域，以驗(yàn)證第 一 圖像中的特征標(biāo)識(shí)。
除非另外規(guī)定，這里使用的所有技術(shù)和科學(xué)術(shù)語(yǔ)具有與本發(fā)明所屬的 領(lǐng)域中的普通技術(shù)人員所一般理解的相同的含義。這里提供的資料、方法 和例子僅僅是示例性的，且不意味著是限制性的。
本發(fā)明的方法和系統(tǒng)的實(shí)現(xiàn)包括手動(dòng)、自動(dòng)或組合地執(zhí)行或完成某些 選定的任務(wù)或步驟。而且，根據(jù)本發(fā)明的方法和系統(tǒng)的優(yōu)選實(shí)施方式的實(shí) 際儀器和設(shè)備，一些選定的步驟可通過(guò)硬件或通過(guò)軟件在任何固件的任何 操作系統(tǒng)上實(shí)現(xiàn)，或由其組合實(shí)現(xiàn)。例如，作為硬件，本發(fā)明的選定步驟 可實(shí)現(xiàn)為芯片或電路。作為軟件，本發(fā)明的選定步驟可實(shí)現(xiàn)為多個(gè)軟件指 令，這些軟件指令由使用任何適當(dāng)?shù)牟僮飨到y(tǒng)的計(jì)算機(jī)執(zhí)行。在任何情況 下，本發(fā)明的方法和系統(tǒng)的選定階段可被描述為由數(shù)據(jù)處理器執(zhí)行，例如 用于執(zhí)行多個(gè)指令的計(jì)算平臺(tái)。
附圖的簡(jiǎn)要說(shuō)明
參考附圖，僅作為例子在這里描述了本發(fā)明?，F(xiàn)在特別詳細(xì)地參考附 圖，應(yīng)強(qiáng)調(diào)，顯示的細(xì)節(jié)僅作為例子，并僅為了本發(fā)明的優(yōu)選實(shí)施方式的 例證性討論，且介紹細(xì)節(jié)以便提供被認(rèn)為是最有用的東西和本發(fā)明的原理 和概念方面的容易理解的描述。在這方面，不試圖顯示比基本理解本發(fā)明 所必需的更詳細(xì)的本發(fā)明的結(jié)構(gòu)細(xì)節(jié)，采用附圖的描述使本發(fā)明的 一 些形 式可如何體現(xiàn)在實(shí)踐中對(duì)于本領(lǐng)域技術(shù)人員變得明顯。
在附圖中


圖1A-1G是示出本發(fā)明的一個(gè)實(shí)施方式的簡(jiǎn)圖，其顯示二維光圖樣 成1象如<可與對(duì)極幾何的原理一起使用。
圖2是示出在當(dāng)前實(shí)施方式的三維圖像和/或運(yùn)動(dòng)圖像捕獲的過(guò)程中 的步驟的簡(jiǎn)化流程圖。
圖3示出被投影以獲得反射圖樣的對(duì)極分離和相應(yīng)的圖像Ip,的示例 性空間周期性二維圖樣P1 。
42圖4是示出如何得到所捕獲的二維圖像中的被識(shí)別的特征的相應(yīng)的 三維空間位置的簡(jiǎn)化流程圖和圖解。
圖5示出通過(guò)本發(fā)明的實(shí)施方式的方法得到的另外的示例性點(diǎn)云。
圖6A是根據(jù)對(duì)極分離原理投影之后的反射圖樣的簡(jiǎn)化示意性表示。
圖6B再次示出反射圖樣的筒化示意性表示，但現(xiàn)在包括相同特征在
圖像中的給定對(duì)極線上的多次出現(xiàn)。
圖7是根據(jù)本發(fā)明的特定實(shí)施方式投影的優(yōu)選光圖樣的被捕獲的圖
像的簡(jiǎn)化圖示。
圖8是此刻關(guān)于對(duì)極場(chǎng)的方向、以較小的旋轉(zhuǎn)角投影的圖樣的簡(jiǎn)化示 意性表示。
圖9是可用在某些實(shí)施方式中的非有序和非周期性二維空間圖樣的 筒化示意圖。
圖10示出包括優(yōu)選的編碼圖樣P1的示例性特征類型的圖示。
圖11是在從成像立方體(imaged cube)反射之后如所見(jiàn)的圖像I'P1的示 例性圖樣Pl的圖示。
圖12A和12B示出圖樣P1中固有的構(gòu)造過(guò)程和編碼方案。
圖12C包括在從被成像的物體反射并被視為成像裝置中所捕獲的圖 像的部分之后，圖樣P1中的采樣點(diǎn)的筒化圖示。
圖13A示出使用實(shí)現(xiàn)對(duì)極分離技術(shù)的圖樣Pl的優(yōu)選投影和成像方法。
圖13B1示出提供增加數(shù)量的采樣點(diǎn)的優(yōu)選圖樣P2。
圖13B2示出圖樣P2中固有的構(gòu)造過(guò)程和編碼方案。
圖13C示出時(shí)間編碼實(shí)施方式的兩個(gè)優(yōu)選圖樣T1和T2。
圖13D示出時(shí)間編碼實(shí)施方式的優(yōu)選圖樣T2的特寫(xiě)。
圖14示出示例性字符或特征類型連同示例性圖樣P1的圖像/『
圖15是涉及P1和-P1的本發(fā)明的優(yōu)選雙重投影和雙重成像實(shí)施方式
43的圖示。
圖16是兩個(gè)圖像P,和-P,的相加的圖示。
圖17是本發(fā)明的雙重投影和雙重成像方法的優(yōu)選實(shí)施方式。
圖18示出圖17的兩個(gè)成像圖樣的相加。
圖19示出從圖像P,減去-P,的絕對(duì)值得到的合成圖像的圖示。
圖20是從圖像P,減去-C的絕對(duì)值得到的合成圖像的圖示。
圖21是雙重圖樣投影和雙重圖樣成像的特定實(shí)施方式的圖示。
圖22是使用均勻光的雙重投影的特定實(shí)施方式的圖示。
圖23是示出兩個(gè)圖像之間的對(duì)極場(chǎng)如何相關(guān)的簡(jiǎn)化圖示。
圖24是示出在特定實(shí)施方式中分離的對(duì)極場(chǎng)對(duì)于相應(yīng)的成像裝置和 投影儀如何存在的簡(jiǎn)化圖示。
圖25是示出在產(chǎn)生城市地區(qū)的三維地圖的過(guò)程中的步驟的本發(fā)明特 定實(shí)施方式的簡(jiǎn)化流程圖。
圖26是示出在解剖部分的三維成像的過(guò)程中的步驟的本發(fā)明特定實(shí) 施方式的簡(jiǎn)化流程圖。
圖27是示出確定在倒車機(jī)動(dòng)車輛的路徑中的障礙距離的過(guò)程中的步 驟的本發(fā)明特定實(shí)施方式的簡(jiǎn)化流程圖。
優(yōu)選實(shí)施方式的描述
本實(shí)施方式提供了用于靜止和運(yùn)動(dòng)物體的三維成像的裝置和方法。特 別是，通過(guò)(a)將編碼二維光圖樣投影在物體上；以及(b)利用與對(duì)極 幾何和三角測(cè)量相關(guān)的光學(xué)約束和原理來(lái)分析反射二維光圖樣的二維圖 像，可能確定給定物體的三維空間形狀數(shù)據(jù)。
參考附圖和附隨的描述可更好地理解根據(jù)本發(fā)明的裝置和方法的原 理和操作。
在詳細(xì)解釋本發(fā)明的至少一個(gè)實(shí)施方式之前，應(yīng)理解，本發(fā)明在其應(yīng)用中不限于在下面的描述中闡述或在附圖中示出的結(jié)構(gòu)的細(xì)節(jié)和部件的 布置。本發(fā)明允許其它實(shí)施方式或能夠以各種方法實(shí)踐或?qū)嵤?。此外，?yīng) 理解，這里使用的措辭和術(shù)語(yǔ)是為了描述的目的，而不應(yīng)被視為限制性的。
確定一個(gè)戚多個(gè)浙體的三維深度慰
現(xiàn)在參考圖1A-1D，其為示出本發(fā)明的一個(gè)實(shí)施方式的簡(jiǎn)圖。在圖 1A-1D的特定例子中，系統(tǒng)10包括存在于相應(yīng)的位置(x,p, y,p， z,p)和(x人 y,i, z。的投影儀12和成像裝置14。包括可識(shí)別的特征類型的有限集合的 預(yù)定陣列的編碼二維光圖樣16由投影儀12投影到在包含被成像的物體 18a、 18b和18c的場(chǎng)景中的表面上。在投影圖樣中的示例性特征被表示 為20a、 20b、 20d和20f。在該特定例子中，投影圖樣采取強(qiáng)度變化的單 色光束或陣列的形式，其中相鄰光束的組合包括具有二維空間構(gòu)成 (bi-dimensional spatial formation)的編碼特征或字母。這些特征在不同 的反射點(diǎn)19a、 19b、 19d和19f處與被成像的物體表面相交，并接著在成 像裝置14的傳感器24上捕獲的二維圖像22中被觀察到。投影特征19a、 19b、 19d和19f因而作為被捕獲的圖像22中的被反射的特征28a、 28b、 28d和28f出現(xiàn)。成像裝置14可例如是CCD或CMOS數(shù)字視頻攝像機(jī)或 任何其它類型的光探測(cè)器元件陣列。
投影儀12和傳感器24之間的相對(duì)位置30是固定的，因而給予系統(tǒng) 10以幾何約束。該約束將所捕獲的圖像22中的任何給定被反射特征28a、 28b、 28d和28f的位置限制到稱為對(duì)極線的圖像中的唯——組點(diǎn)。對(duì)極 線P、 cp和p在圖中示出。也就是說(shuō)，對(duì)于具有給定光圖樣以及投影儀和 傳感器之間的固定相對(duì)位置的系統(tǒng)10,對(duì)于上面投影了圖樣的任何物體 或一組物體，在所捕獲的圖像22中特定的單個(gè)對(duì)極線上總是觀察到投影 圖樣的每個(gè)特征。而且，如下面將解釋的，不管被成像的物體是固定的還 是處于與投影儀/成像裝置的相對(duì)運(yùn)動(dòng)中，上面內(nèi)容都適用。圖樣中的每 個(gè)特征和恒定的對(duì)極線之間的關(guān)系因而與所述特征被反射的三維空間中 的反射點(diǎn)無(wú)關(guān)。
示例性投影特征的反射點(diǎn)被表示為19a、 19b、 19d和19f，并具有相 關(guān)的相應(yīng)反射距離DA. Db、 Dd和Df。反射距離是從成像裝置的傳感器24到被成像的物體18a、 18b、 18c上給定特征被反射的三維空間中反射點(diǎn)位 置的距離。反射距離有時(shí)稱為深度。
因此，如圖1A-1D所示，存在于圖像22中的每個(gè)被反射的特征28a、 28b、 28d和28f被約束到相應(yīng)的特定對(duì)極線，而與特征被從其反射的空 間中的點(diǎn)無(wú)關(guān)。特征28a因而被約束到與19a的三維位置無(wú)關(guān)或可選地與 反射距離DA無(wú)關(guān)的對(duì)極線(p。特征28b和28d是來(lái)自共享相同的對(duì)極線 (3的圖樣的兩個(gè)被反射的特征。特征28b和28d總是存在于與反射距離 Db和DD無(wú)關(guān)的該對(duì)極線上。類似地，特征28f總是反射到與反射距離 Dp無(wú)關(guān)的對(duì)極線p上。
然而，反射距離或可選地特征被從其反射的三維空間中的點(diǎn)實(shí)際上確 定沿著該對(duì)極線所述特征出現(xiàn)的地方。因此，反射距離不影響給定被反射 的特征在其上出現(xiàn)的特定對(duì)極線，而更確切地只影響沿著該線的精確位置。
為了說(shuō)明依賴于反射距離的沿著對(duì)極線的特征的位置的變化，我們現(xiàn) 在轉(zhuǎn)到圖1E-1G。在圖1E、 1F和1G的每個(gè)中，投影儀和成像裝置雖然 總是彼此處于固定的相對(duì)距離，但相對(duì)于物體18a移動(dòng)。在圖1E中，投 影儀12和成像裝置14分別在(x,P， y,P, z,P)和(x,i， yr， z,)位置。當(dāng)從物體18a 上的反射點(diǎn)19a被反射之后，在對(duì)極線cp上的被反射的特征28a (投影特 征20a)的反射距萬(wàn)被看作Da。在圖1F中，投影儀和成像裝置移到空間 中相應(yīng)的點(diǎn)(X2P，y/, z/)和(X2i,yi,z力。當(dāng)從物體18a上的不同反射點(diǎn)19a' 被反射之后，被反射的特征28a的反射距離現(xiàn)在是DA'。作為結(jié)果，特征 28a現(xiàn)在反射到對(duì)極線cp的下部分上。在圖1G中，投影儀和成像裝置移 到空間中的第三組相應(yīng)的坐標(biāo)(x/, y3p， z/)和(xA y3i, z3j)。當(dāng)從物體18a上 又一第三個(gè)反射點(diǎn)19a"被反射之后，被反射的特征28a的反射距離現(xiàn)在 是Da"。作為結(jié)果，特征28a現(xiàn)在反射到對(duì)極線cp的上部分上。然而，不 管反射距離是什么，被反射的特征28a (投影特征20a)都必須總是出現(xiàn) 在對(duì)極線cp上，且只在cp上。為了清楚的目的，每個(gè)特征都只與本實(shí)施 方式中的一個(gè)對(duì)極線相關(guān)。應(yīng)理解，因?yàn)樘卣靼ū徊东@的圖像中光強(qiáng)度 的空間構(gòu)成，每個(gè)特征的元素可位于分立的可辨別的對(duì)極線上。應(yīng)理解，系統(tǒng)10和被成^f象的物體之間的任何相對(duì)運(yùn)動(dòng)使特定特征的 反射距離變化。該相對(duì)運(yùn)動(dòng)可從被成像的物體的運(yùn)動(dòng)、從投影儀/成像系 統(tǒng)的運(yùn)動(dòng)、或從被成像的物體和投影儀/成像系統(tǒng)兩者的運(yùn)動(dòng)產(chǎn)生。反射 距離的任何變化都引起給定被反射的特征沿著該特征的相關(guān)對(duì)極線的精 確位置的變化。然而，特征在其上出現(xiàn)的特定對(duì)極線保持不變。
因此，我們可斷定，對(duì)才及幾何的原理規(guī)定圖像中的一組二維坐標(biāo)和由 成像裝置觀察的空間中的三維坐標(biāo)之間的映射。此外，給定被捕獲的特征 沿著特定對(duì)極線出現(xiàn)的精確位置依賴于特征的反射距離，或換句話說(shuō)，特 征從其被反射的三維空間中的點(diǎn)。
對(duì)于每個(gè)圖像或幀，根據(jù)特征類型識(shí)別每個(gè)被反射的特征，且優(yōu)選地 通過(guò)圖像處理設(shè)備36確定圖像中沿著特征的相關(guān)對(duì)極線的被反射的特征 的位置。被識(shí)別的特征沿著特征的對(duì)極線的精確位置于是對(duì)應(yīng)到該特征在 原始投影圖樣中的位置。特征在圖像和投影圖樣之間這種對(duì)應(yīng)允許基于三 角測(cè)量的計(jì)算，以確定特征從其被反射的三維空間坐標(biāo)。預(yù)先計(jì)算的三角 測(cè)量表可用于確定特征從其被反射的物體上的點(diǎn)的三維空間位置。在一些
實(shí)施方式中，這些基于三角測(cè)量的計(jì)算由圖像處理設(shè)備36實(shí)施。
該過(guò)程可對(duì)二維圖像的多個(gè)特征重復(fù)，其中每個(gè)特征從三維被成像的 物體的表面上的不同的相應(yīng)位置被反射。對(duì)于任何給定的圖像幀，所捕獲 的二維圖像中每個(gè)這樣識(shí)別的特征導(dǎo)致三維空間位置，所有這樣的空間位 置的編制(compilation)包括三維空間中位置的點(diǎn)云。此三維點(diǎn)云給出被成 像的物體的三維映射。點(diǎn)云的進(jìn)一 步的處理可產(chǎn)生本質(zhì)上將三維云的點(diǎn)熔 合成三維表面的三維網(wǎng)格(mesh)。根據(jù)場(chǎng)景中物體的額外的紋理捕獲，該 網(wǎng)格也可以是給定圖形紋理。對(duì)于運(yùn)動(dòng)中的物體的三維映射，對(duì)單個(gè)圖像 描述的上面的過(guò)程在產(chǎn)生三維視頻的 一 系列圖像上實(shí)施。
慰么'三維廚像捕獲的簡(jiǎn)化流程街
參考圖2,其為示出在當(dāng)前實(shí)施方式的三維圖像和/或運(yùn)動(dòng)圖像捕獲 的過(guò)程中的步驟的筒化流程圖。在下面附圖中進(jìn)一步詳細(xì)地討論該流程圖 的每個(gè)步驟。流程圖連同圖1A-1G—起給讀者提供這里所述的三維成像 過(guò)程的簡(jiǎn)單和總體直觀的理解。步驟70提供了預(yù)定的編碼光圖樣。如在圖1A-1D中舉例說(shuō)明的并被 表示為16的該編碼光圖樣，是以變化強(qiáng)度的光束的空間構(gòu)成的形式的特 征類型的有限集合的陣列。下面在附圖中討論圖樣的優(yōu)選實(shí)施方式及其特點(diǎn)。步驟72是該圖樣在物體上的投影。下面也在附圖中討論幾個(gè)優(yōu)選的 投影方法。在步驟74中，捕獲包含從物體反射的特征的二維圖像，圖樣 投影在該物體上。在步驟76,分析圖像以識(shí)別特征及其沿著相應(yīng)的對(duì)極 線的位置。在步驟78,接著使沿著其對(duì)極線的特征的位置與特征被反射 的空間中的三維坐標(biāo)相關(guān)。下面討"i侖通過(guò)三角測(cè)量技術(shù)執(zhí)行的、沿著對(duì)極 線的特征位置和三維空間坐標(biāo)之間的此關(guān)聯(lián)過(guò)程。對(duì)于二維圖像中的每個(gè) 被識(shí)別的特征，因而得到指示特征從被成像的物體反射的空間中的點(diǎn)的相 應(yīng)的三維坐標(biāo)。在步驟80，通過(guò)所有這樣的三維坐標(biāo)的編制，得到給出 被成像的物體的三維映射的三維點(diǎn)云。點(diǎn)云的進(jìn)一步的處理可產(chǎn)生本質(zhì)上 將三維云的點(diǎn)熔合成三維表面的三維網(wǎng)格。也可根據(jù)該場(chǎng)景中物體的額外 的紋理捕獲給該網(wǎng)格提供圖形紋理。在物體或攝像機(jī)在運(yùn)動(dòng)中的情況下，步驟74-80可連續(xù)重復(fù)，以獲得 三維運(yùn)動(dòng)捕獲。在三維運(yùn)動(dòng)捕獲的這樣的情況下，從移動(dòng)物體反射的光圖 樣的一系列二維捕獲的圖像包括視頻序列中的幀。該二維視頻序列可按在 流程圖中討論的方式被逐幀處理，以得到每幀的三維空間坐標(biāo)。結(jié)杲是一 系列點(diǎn)云，視頻序列的每幀有一個(gè)點(diǎn)云，其一起包括隨著時(shí)間的過(guò)去的動(dòng) 態(tài)三維映射。廚l街袢拔影和對(duì)極分離圖3提供了可投影到物體上的示例性空間周期性二維圖樣P1。 二維 圖樣包括多個(gè)不同的特征類型20,其出現(xiàn)在圖樣內(nèi)的不同位置處。為了 清楚，在本圖中，每個(gè)唯一的特征類型被任意分配字母字符。如下面在圖 10中進(jìn)一步詳細(xì)解釋的，每個(gè)圖樣特征都由黑點(diǎn)和白點(diǎn)的編碼空間構(gòu)成 組成。特征在代碼中以循環(huán)的方式重復(fù)。特別地，相同的特征類型在圖樣 的垂直方向上每隔1行并在圖樣的水平方向上每隔16列重復(fù)自身。圖樣 特征的黑點(diǎn)和白點(diǎn)相應(yīng)于在被成像的物體上的單色光的高或低照明強(qiáng)度 的投影。代碼中的每個(gè)字符因此是投影光強(qiáng)度的二維空間構(gòu)成。在本實(shí)施方式的圖樣P1中，該構(gòu)成是連續(xù)的。也可實(shí)現(xiàn)具有非連續(xù)構(gòu)成的其它圖樣。在從三維物體反射之后，投影周期性圖樣P1的子部分48產(chǎn)生包含 反射圖樣的圖像Ip,。示出對(duì)極線52、 54和56。因此，圖像Ip,是當(dāng)從被 成像的物體反射時(shí)通過(guò)成像裝置被觀察到的反射圖樣的簡(jiǎn)化圖示。為了簡(jiǎn) 單起見(jiàn)，只示出反射圖樣，而沒(méi)有示出也出現(xiàn)在IP1中的任何反射的被成 像的物體。在這個(gè)特定的實(shí)施方式中，投影儀和成像裝置彼此垂直地放置， 因而使被捕獲的圖像中的對(duì)極線在實(shí)質(zhì)上垂直的方向上。在另一可能的實(shí) 施方式中，投影儀和成像裝置可彼此水平地放置，在這種情況下被捕獲的 圖像中的對(duì)極線實(shí)質(zhì)上是水平的。如在上面看到和提到的，任何給定的特征類型在圖樣的垂直方向上循 環(huán)地重復(fù)自身很多次，并且如果圖樣無(wú)旋轉(zhuǎn)地被投影，相同類型的很多特 征在被捕獲的圖像中在相同的垂直對(duì)極線上會(huì)被觀察到。然而，通過(guò)投影 圖樣的稍微旋轉(zhuǎn)，相同類型的特征被反射到圖像IPI中分離的對(duì)極線上。 例如，都是類型(A)的特征58和60現(xiàn)在反射到兩個(gè)相鄰的但可辨別地 分離的對(duì)極線52和54上。如將在下面進(jìn)一步解釋的，在被捕獲的圖像中 分離的對(duì)極線上的所有相同圖樣特征類型的分離明確地實(shí)現(xiàn)每個(gè)特征的 識(shí)別，該分離在這里稱為對(duì)極分離。為了理解為什么是這樣，接下來(lái)是系 統(tǒng)校準(zhǔn)的簡(jiǎn)短討論，以理解在原始投影圖樣中的特征和被捕獲的圖像中的 對(duì)極線之間的關(guān)系。如上所解釋的，給定特定的圖樣，例如在本實(shí)施方式中描述的圖樣， 并假定投影儀和成像裝置之間的固定相對(duì)位置的幾何約束，任何給定的圖 樣特征出現(xiàn)在包含反射圖樣的圖像中恒定的預(yù)定對(duì)極線上。投影圖樣中的 每個(gè)特征和反射圖樣的圖像中相關(guān)的對(duì)極線之間的此預(yù)定關(guān)系可用很多 方法確定，包括強(qiáng)力(bmte force)。確定該關(guān)系的過(guò)程可稱為對(duì)極場(chǎng)校準(zhǔn) 過(guò)程，并對(duì)于成像設(shè)備和投影儀的給定圖樣和給定配置實(shí)施一次。這樣的 映射的結(jié)果是如下面看到的對(duì)極場(chǎng)表。廚樣中的特征類型和位f被捕獲的^傢中的對(duì)極錢 (A,)在X,，Y, E,(A2)在X2,Y2 E2(AN)在X3， Y3 EN(B,)在 X4, Y4 E,(B2)在X5,Y5 E2(Bm)在X6, Y6 EN如從表中看到的，圖樣中特征類型的每次出現(xiàn)與不同的對(duì)極線相關(guān) 對(duì)出現(xiàn)在圖像中的投影圖樣中的同樣數(shù)量的(A)類型出現(xiàn)，(A,)與E, 、 (A2) 與E2，依此類推。當(dāng)然不同類型的特征例如(AO和(B,)可落在相同的對(duì)極 線例如E,上。因此，從校準(zhǔn)過(guò)程知道了落在這些對(duì)極線上的原始圖樣中 所有的對(duì)極線位置和特定的特征。如所提到的，包含反射圖樣的任何給定的圖像包括某個(gè)尺寸的 一組特 征類型。在本實(shí)施方式的圖樣中，這組包括32個(gè)類型。用于給被捕獲的 圖像解碼的解碼引擎根據(jù)包括對(duì)極線的圖像中的特征類型和位置坐標(biāo)，給 每個(gè)特征解碼。接著使這個(gè)被解碼的圖像特征與原始投影圖樣中特定的特 征一致。例如，如果發(fā)現(xiàn)特征類型(A)在對(duì)極線E2上，則從對(duì)極場(chǎng)校準(zhǔn)表中，我們知道該圖像特征唯一地相應(yīng)于原始圖樣中的特征(A2),而不是圖樣中的任何其它特征。此外，如果循環(huán)圖樣沒(méi)有旋轉(zhuǎn)地被投影，相同類型 的很多特征將被捕獲的圖像中在相同的對(duì)極線上被觀察到。因?yàn)楦鶕?jù)特征 類型來(lái)識(shí)別被反射的特征，在相同的圖像特征類型與其在原始圖樣中相應(yīng) 的特征之間將無(wú)法在一對(duì)一的基礎(chǔ)上對(duì)應(yīng)。換句話說(shuō)，沒(méi)有對(duì)圖像中的哪 個(gè)被識(shí)別的(A)特征類型對(duì)應(yīng)于投影圖樣中的哪個(gè)(A)類型特征的指示。然而，通過(guò)將每個(gè)特征類型限制到在被捕獲的圖像中特定對(duì)極線上的 單個(gè)出現(xiàn)，可進(jìn)行該特定圖像特征和圖樣中該特征的出現(xiàn)的關(guān)聯(lián)。因此每 個(gè)對(duì)極線都有給定特征類型的至多 一個(gè)特征。所以，對(duì)于所有的圖樣特征， 圖樣P1中的每個(gè)(A)特征類型落在圖像中不同的對(duì)極線上，每個(gè)(B)特征 類型落在獨(dú)立的對(duì)極線上，依此類推。類似地，每個(gè)對(duì)極線優(yōu)選地具有多50個(gè)特征，只要它們具有可辨別的類型。例如，參考圖1A-1D，注意，特征28b和28d都存在于相同的對(duì)極線(3上，然而可與相應(yīng)的圖樣出現(xiàn)進(jìn) 行比較，因?yàn)樗鼈兙哂胁煌目杀鎰e的特征類型。特定的圖像特征和圖樣中該特征的出現(xiàn)之間的明確匹配導(dǎo)致正確的 三角測(cè)量，其確定特征從其被反射的空間中的精確三維位置。應(yīng)認(rèn)識(shí)到，當(dāng)前實(shí)施方式利用校正的成像系統(tǒng)，意味著成像裝置的平 面和投影儀的平面位于相同的空間平面上。因此，在投影儀和成像裝置之 間只存在垂直或水平移位。在這樣的校正系統(tǒng)中，被捕獲的圖像中的對(duì)極 線一起包括單向?qū)O場(chǎng)。因?yàn)閳D像中的對(duì)極線這樣彼此平行，重復(fù)圖樣的 旋轉(zhuǎn)將重復(fù)的特征類型放置在分離的對(duì)極線上。所以，總之，作為投影方法和代碼的內(nèi)部結(jié)構(gòu)的結(jié)果，每個(gè)對(duì)極線具 有給定特征類型的至多一個(gè)特征。此外，雖然圖樣是循環(huán)的且因此特征類 型在圖樣中出現(xiàn)很多次，但上面描述的相同的特征類型放置在分離的對(duì)極 線上意味著在圖像中該特征類型的多次出現(xiàn)之間沒(méi)有混淆。對(duì)于圖像流中 的每個(gè)圖像，每個(gè)特征的位置確定新的一組三維空間坐標(biāo)，其提供當(dāng)前被 成像的物體位置的三維圖。參考圖1A-1G,圖像處理設(shè)備36優(yōu)選地至少包括圖像處理引擎，圖 像處理引擎用于識(shí)別(1 )被捕獲的二維圖像中的特征及其相關(guān)的對(duì)極線， 以及(2)在其對(duì)極線上的特征位置。圖像處理設(shè)備一般還有包含用于投 影圖樣中的所有特征的坐標(biāo)的數(shù)據(jù)庫(kù)。處理設(shè)備使圖像中的每個(gè)被識(shí)別的 特征與該特征在圖樣中的相應(yīng)特征匹配?；谌菧y(cè)量的計(jì)算隨即用于將 空間中的三維坐標(biāo)分配到每個(gè)被識(shí)別的特征，以得到被成像的物體的三維 點(diǎn)云。這些基于三角測(cè)量的計(jì)算優(yōu)選地存儲(chǔ)在存儲(chǔ)器中的表中，以幫助三 維空間坐標(biāo)的快速處理。點(diǎn)云的進(jìn)一步的處理可能被可選地期望。這樣的 處理可包括對(duì)于更豐富的逼真的三維圖像A見(jiàn)頻確定來(lái)自三維點(diǎn)云的網(wǎng)格 或三維表面。也可增加紋理數(shù)據(jù)。點(diǎn)云的這樣的處理可利用用于三維點(diǎn)云 處理的已知的處理引擎。因此，通過(guò)這里描述的將對(duì)極幾何的上面原理與結(jié)構(gòu)光投影和編碼/ 解碼方案合并在一起的新技術(shù)，當(dāng)前實(shí)施方式提供高分辨率、高準(zhǔn)確度三維成像，例如對(duì)HDTV、 4CIF、百萬(wàn)像素成像和類似的應(yīng)用所描述的。在優(yōu)選實(shí)施方式中，對(duì)于短距離，獲得具有少于1毫米的準(zhǔn)確度。也就是 說(shuō)，三角測(cè)量誤差是±毫米。如所述，即使在物體處于運(yùn)動(dòng)中的情況下，也可優(yōu)選地實(shí)現(xiàn)該系統(tǒng)和 方法，因?yàn)楸景l(fā)明的優(yōu)選實(shí)施方式利用單個(gè)編碼圖樣的投影。在由成像裝 置確定的每個(gè)時(shí)間間隔處，只有編碼光圖樣的單個(gè)投影需要捕獲物體的表 面點(diǎn)，因而使連續(xù)的圖像能夠捕獲在運(yùn)動(dòng)中的物體的變化的表面點(diǎn)。也就 是說(shuō)，在場(chǎng)景中的物體和/或攝像機(jī)和投影儀系統(tǒng)可相對(duì)于彼此在三維空 間中移動(dòng)，因而實(shí)現(xiàn)在運(yùn)動(dòng)中的三維物體的動(dòng)態(tài)深度捕獲。當(dāng)物體移動(dòng)時(shí)， 在歐幾里得空間中的物體的三維坐標(biāo)動(dòng)態(tài)地變化。因此，在一系列被捕獲 的圖像上的深度變化，對(duì)于每個(gè)被捕獲的圖像，在特征沿著其相應(yīng)的對(duì)極 線的移動(dòng)或位移中得到反映。作為結(jié)果，對(duì)每個(gè)圖像幀得出不同的點(diǎn)云。在優(yōu)選實(shí)施方式中，成像裝置和投影儀一^:包含在單個(gè)設(shè)備殼體中。被投影的二維光圖樣可由任何光源投影，包括但不限于視頻投影儀、在打印的圖樣情況下的幻燈投影儀、或激光/LED投影儀。在優(yōu)選實(shí)施方式中 單個(gè)圖樣投影儀的使用允許衍射投影的直接使用，這導(dǎo)致低功率消耗、緊 湊性、歸因于窄帶型信號(hào)的噪聲過(guò)濾、和對(duì)不可見(jiàn)的NIR輻射應(yīng)用的很 強(qiáng)的適合性。成像裝置可以是一般具有CCD或CMOS傳感器的專賣的或 現(xiàn)貨供應(yīng)的視頻或靜止攝像機(jī)。應(yīng)進(jìn)一步理解，在被捕獲的圖像中的對(duì)極 線可具有非線性形狀，且圖1A-1G和圖3中的線性線僅用于舉例說(shuō)明的 目的。參考圖4，其為示出如何得到在所捕荻的二維圖像中被識(shí)別的特征的 相應(yīng)的三維空間位置的簡(jiǎn)化流程圖和圖解。圖4的流程圖從二維圖像捕獲 階段一也在圖2中看到的階段74—開(kāi)始。三個(gè)不同的示例性特征類型(A)、 (B)和(C)共享被捕獲的二維圖像84中的對(duì)極線，圖像84包括在二維中的 被成像的物體和反射圖樣。在編碼圖樣中的示例性特征類型被投影到被成 像的物體上，且所有特征類型隨后在二維圖像84中沿著單個(gè)對(duì)極線 被觀察到，如在步驟76看到的。下一步驟包括沿著對(duì)極線的每個(gè)被識(shí)別 的特征和投影二維編碼光圖樣中的發(fā)起(originating)特征之間的相應(yīng)(步三角測(cè)量法計(jì)算特征從其被反射的空間中的 三維點(diǎn)或深度坐標(biāo)(步驟78b )。特別地，步驟78a和78b合并，如在圖2 的流程圖中的步驟78看到的。所有這樣的三角測(cè)量特征的合計(jì)產(chǎn)生被成 像的物體的三維點(diǎn)云(步驟80)。在優(yōu)選實(shí)施方式中，在步驟82，點(diǎn)云 80進(jìn)一步被處理以獲得三維圖像/視頻圖像的紋理和表面。因?yàn)樗咎卣黝愋褪遣煌?，可使所有三個(gè)類型容易地對(duì)應(yīng)投影圖樣 中的相應(yīng)的特征。如果在對(duì)極線上有比如(B)的多次出現(xiàn)，則當(dāng)試圖使(B) 的每次出現(xiàn)與投影圖樣中的相應(yīng)出現(xiàn)關(guān)聯(lián)時(shí)將產(chǎn)生模糊。作為在單個(gè)對(duì)極 線上特征類型的多次出現(xiàn)的結(jié)果的模糊，將必然導(dǎo)致在被成像的物體上空 間位置的三角測(cè)量誤差和虛假測(cè)量。本發(fā)明的實(shí)施方式因此確保任何給定 特征類型在對(duì)極線上的至多單次出現(xiàn)，在這里稱為對(duì)極分離，以確保在圖 樣中所乂見(jiàn)察的特征和特^E的出現(xiàn)之間的一對(duì)一的匹配過(guò)程。此外，在當(dāng)前實(shí)施方式中，被成像的物體可為靜止的或在運(yùn)動(dòng)中。如 果被成像的物體在運(yùn)動(dòng)中，則重復(fù)步驟74-82以提供三維視頻。可選地， 成像和投影儀裝置可相對(duì)于物體處于運(yùn)動(dòng)中。在動(dòng)態(tài)應(yīng)用中，以視頻幀率 計(jì)算三角測(cè)量方程，以給出在運(yùn)動(dòng)中的物體的實(shí)時(shí)三維坐標(biāo)。而且，如下面將在附圖中示出的，當(dāng)被捕獲的圖像中可辨別的對(duì)極線 的總數(shù)增加時(shí)，編碼光可以通過(guò)允許被捕獲的圖像中特征的更多出現(xiàn)的方 式而被投影?？杀鎰e的對(duì)極線的總數(shù)可能由于很多因素而增加，包括但不 限于特征結(jié)構(gòu)或形狀、作為高分辨率傳感器的結(jié)果的低噪聲水平、系統(tǒng)的 光學(xué)特性或更準(zhǔn)確的坐標(biāo)檢淚'J算法。圖5示出通過(guò)本發(fā)明的實(shí)施方式的方法得到的另外的示例性點(diǎn)云。圖 示86示出人揮手的點(diǎn)云的前視圖。云中的每個(gè)點(diǎn)都有空間中的三維(x， y, z)坐標(biāo)。圖示88示出提供另一深度透視的側(cè)視圖。參考圖6A。圖6A現(xiàn)在示出在根據(jù)上面討論的對(duì)極分離原理被投影 之后，在反射空間編碼圖樣的圖像中的出現(xiàn)的示意性表示500。也就是說(shuō)， 光圖樣以使任何給在本實(shí)施方式中，任何給定特征類型在對(duì)極線上的單次出現(xiàn)通過(guò)投影在本例中是垂直的，并由對(duì)極線102A、 102B和102C表示。反射光圖樣 的示意圖500示出相同的10x2矩陣90的周期性或循環(huán)的磚瓦式結(jié)構(gòu)構(gòu) 成。每個(gè)矩陣都有20個(gè)特征類型A-T。矩陣圖樣在圖像的長(zhǎng)度和寬度上 重復(fù)自身?，F(xiàn)在，當(dāng)在附圖中，圖樣投影以被指定為94的角旋轉(zhuǎn)時(shí)，圖像中特 征類型的周期性圖樣在長(zhǎng)度H,上在任何給定的對(duì)極線上重復(fù)自身。因此， 對(duì)于在成像裝置垂直視場(chǎng)H,上的每個(gè)可辨別的對(duì)極線，任何特征類型至 多出現(xiàn)一次。通過(guò)使圖樣的投影角傾斜，實(shí)現(xiàn)相同的特征類型到可辨別的 對(duì)極線上的分離。例如，在圖樣的y方向上每隔一個(gè)特征重復(fù)的特征96、 98和100分離到在被捕獲的圖像中分開(kāi)的可辨別的對(duì)極線102A、 102B 和102C上。結(jié)果，可在整個(gè)圖像區(qū)域上識(shí)別相當(dāng)數(shù)量的特征。在所捕獲 的圖像中被識(shí)別的特征的總數(shù)稱為圖像容量或覆蓋度。因此，緊密周期性代碼的對(duì)極分離允許大量可識(shí)別的特征在圖像中被 捕獲，導(dǎo)致高分辨率。而且，圖樣的周期性性質(zhì)允許包含少量重復(fù)的特征 類型的編碼圖樣，從而使每個(gè)特征能夠保持小尺寸，并進(jìn)一步促成高分辨 率圖像。作為例子，在具有640 x480像素分辨率的一般傳感器上，每個(gè) 特征可具有10個(gè)像素的近似面積。這轉(zhuǎn)換成對(duì)每幀大約31,000個(gè)特征的 圖4象容量，因而31,000個(gè)三維空間坐標(biāo)。在上面和當(dāng)前實(shí)施方式中，為了解釋的簡(jiǎn)單和清楚，沒(méi)有考慮二維圖 像中的圖樣特征的寬度。因此，每個(gè)特征都與對(duì)極線相關(guān)，如同特征具有 無(wú)限小的尺寸一樣，且每個(gè)特征都只由一個(gè)對(duì)極線辨別。在實(shí)際實(shí)踐中， 不是單個(gè)對(duì)極線與分立的特征相關(guān)，而是包括特征的空間構(gòu)成位于可辨別 的實(shí)質(zhì)上相鄰的對(duì)^f及線上。返回到圖6A，被表示為D,和D2的距離是在可辨別的對(duì)極線之間的 等距距離。在可辨別的對(duì)極線之間的已知的水平距離依賴于成像裝置和圖 像處理設(shè)備，并有助于圖像中被反射的特征的明確識(shí)別和驗(yàn)證。例如，被 反射的特征類型(A)98在被捕獲的圖像中在沿著對(duì)極線102B的某個(gè)y坐54標(biāo)處被檢測(cè)到。因此，最近的特征類型(A)如果在所得到的圖像中確實(shí)被捕獲，則可僅存在于到對(duì)極線102B的右邊和左邊即102A和102C最 近的可辨別的對(duì)極線上。雖然為了說(shuō)明的目的，在附圖中所有的對(duì)極線都 完全垂直，但其它實(shí)施方式是可能的，其中對(duì)極線可為具有變化的x和/ 或y坐標(biāo)的直線或曲線。限定性的對(duì)極線分離因素是區(qū)分開(kāi)在被捕獲的圖像中分離的對(duì)極線 所必需的最小水平距離。區(qū)分開(kāi)分離的對(duì)極線上的特征的能力基于幾個(gè)因 素。首先，特征的形狀常常確定特征在從被成像的物體反射之后是否具有 可檢測(cè)的坐標(biāo)位置。具有可被較精確地分配坐標(biāo)的特征的代碼允許區(qū)分開(kāi) 在不斷靠近的對(duì)極線上的特征。物體表面類型也可以有效果，因?yàn)槔鐏?lái) 自金屬表面、玻璃和其它透明或非常黑暗的表面的特征被不太精確地反 射。低投影儀SNR和內(nèi)部傳感器光學(xué)器件可限制可辨別的對(duì)極線之間的 距離?，F(xiàn)在參考圖6B。如到現(xiàn)在所解釋的，只要相同的特征類型落在分離 的可辨別的對(duì)極線上，就可在被捕獲的圖像中識(shí)別每個(gè)特征類型，而不用 考慮其間的混淆。然而，在現(xiàn)在將討論的已知被反射的特征僅存在于對(duì)極 線的預(yù)定部分上的某些情況下，則沿著相同的對(duì)極線的相同特征類型的分 離甚至是可能的。在被成像的物體在一系列圖像上在非常有限的深度范圍 內(nèi)移動(dòng)的情況下，在相同對(duì)極線上的相同類型的兩個(gè)分立的特征可只出現(xiàn) 在其上的有限部分上。也就是說(shuō)，如果被成像的物體移動(dòng)被限制到離成像 系統(tǒng)的特定距離范圍，則相同特征類型的多次出現(xiàn)可發(fā)生在單個(gè)對(duì)極線 上。如果三維空間中被成像的物體的移動(dòng)是輕微的，則被反射的特征沿著 其各自的對(duì)極線的相應(yīng)移動(dòng)很小。在這樣的情況下，可能分離在單個(gè)對(duì)極 線上給定特征類型的多次出現(xiàn)，其中每個(gè)特征類型出現(xiàn)在沿著對(duì)極線的預(yù) 定限制范圍內(nèi)。為了舉例說(shuō)明，我們現(xiàn)在轉(zhuǎn)到圖6B，其示出與圖6A相同的示意性 表示500。對(duì)極線p、 lj、 0、 e、 cp和卩被示出，且表示為Hr的圖像高度 現(xiàn)在較大，以包括相同特征在圖像中給定對(duì)極線上的多次出現(xiàn)。在對(duì)極線 lj上，例如特征96和506是出現(xiàn)在相同對(duì)極線上的兩個(gè)分立的特征，并55具有相同的類型，即(A)。如果這些特征中的每個(gè)都自由地出現(xiàn)在圖像中 對(duì)極線y的任何部分上，則在特征識(shí)別期間在兩個(gè)特征之間可能產(chǎn)生混淆。如所解釋的，特征96和506的每個(gè)與特征在投影圖樣中的唯一出現(xiàn) 之間的對(duì)應(yīng)受誤差影響。但在本實(shí)施方式中，特征96的出現(xiàn)被保證只出 現(xiàn)在對(duì)極線IJ的子部分96A上，而特征506的出現(xiàn)被保證只出現(xiàn)在相同 對(duì)極線y的子部分506A上。在這樣的情況下，兩個(gè)子部分之間的距離 Dv大到足以使得兩個(gè)相同特征類型之間的混淆的顧慮不存在。在特征識(shí) 別過(guò)程期間，存在于對(duì)極線1J的子部分506A上的(A)類型特征被明確地 識(shí)別為特征506，而存在于部分96A上的(A)類型特征被明確地識(shí)別為特 征96。區(qū)域96A和506A是兩個(gè)界限分明的間隔開(kāi)的區(qū)域。同樣，在對(duì) 極線0上的特征98和504的出現(xiàn)僅分別在范圍98A和504A內(nèi)。最后， 特征100和502也只出現(xiàn)在沿著對(duì)極線0的相應(yīng)范圍100A和502A內(nèi)。 在所有前面的三種情況中，足夠大的距離存在于沿著單個(gè)對(duì)極線的范圍之 間，兩個(gè)相同的特征類型可落在該對(duì)極線上。因此，相同類型的兩個(gè)分開(kāi) 的特征的識(shí)別是可能的。在對(duì)極線上有相同特征類型的多于一次出現(xiàn)的一種方法是通過(guò)將圖 像高度從H,增加到Hr。圖像高度的增加導(dǎo)致相同特征類型沿著圖像中對(duì) 極線的多次出現(xiàn)。相同特征類型的多次出現(xiàn)是由于圖樣的周期性循環(huán)，該圖樣沿著增大的H,或H「的長(zhǎng)度重復(fù)自身?？蛇x地，如果圖像傳感器的分 辨率增加，且圖樣特征在尺寸上減小，則特征類型可沿著對(duì)極線重復(fù)自身。只要深度測(cè)量被限制到被成像的物體移動(dòng)的某個(gè)范圍內(nèi)，沿著對(duì)極線的任 何給定特征就對(duì)每幀只移動(dòng)一段短的距離。因此，甚至兩個(gè)相同的特征也 可在單個(gè)對(duì)極線上被區(qū)分開(kāi)，只要它們?cè)谄渖弦莆坏膶?duì)極線的部分是有限的且間隔開(kāi)足夠遠(yuǎn)。對(duì)極線到預(yù)定部分的劃分依賴于深度范圍限制。通過(guò) 這樣的深度范圍限制，更多的點(diǎn)在圖像中被采樣，且當(dāng)被捕獲的圖像中深 度讀數(shù)的數(shù)量較大時(shí)分辨率進(jìn)一步增加。我們現(xiàn)在參考圖7，其為優(yōu)選光圖樣的被捕獲的圖像的簡(jiǎn)化圖示，該 圖樣根據(jù)對(duì)極分離被投影以確保相同的特征類型落在可辨別的分離的對(duì) 極線上。附圖示出幾何原理，其通過(guò)以與對(duì)極場(chǎng)成的角度投影優(yōu)選圖樣來(lái)提供相當(dāng)大數(shù)量的可識(shí)別的特征。投影周期性圖樣的偏角調(diào)節(jié)確保相同的 特征類型被捕獲在分離的可辨別的對(duì)極線上。特征優(yōu)選地由在空間上布置 的采樣點(diǎn)的唯一組合組成，且被捕獲的圖像中的采樣點(diǎn)的數(shù)量稱為圖像容 量或覆蓋度因子。可提問(wèn)的問(wèn)題是為什么不構(gòu)造具有與覆蓋由傳感器高度H表示的圖像幀所需要的一樣多的特征類型的代碼，從而不需要對(duì)極分離？答案在于以下事實(shí)單個(gè)圖樣成像系統(tǒng)力求有盡可能小的特征類型，因而提供每 圖像較高的采樣密度。為了這個(gè)目的，在空間編碼方法和系統(tǒng)中，非常希 望以最小數(shù)量的特征類型給投影光編碼，因?yàn)槊總€(gè)特征類型都由某個(gè)有限 區(qū)域的空間代碼表示。也就是說(shuō)，在代碼中的特征越少，需要給特征編碼 的像素區(qū)域就越小，因?yàn)槊總€(gè)特征出現(xiàn)在圖像傳感器上，作為在一定數(shù)量 的方形像素上的光強(qiáng)度構(gòu)成。通過(guò)借助于重復(fù)的代碼限制特征類型的數(shù) 量，表示給定特征類型所需要的像素的數(shù)量被最小化。因此，在二維圖像 中可識(shí)別的特征的數(shù)量增加了 ，因而相應(yīng)的點(diǎn)云點(diǎn)的數(shù)量或點(diǎn)云密度也增 加了 。較高數(shù)量的點(diǎn)云點(diǎn)導(dǎo)致較高分辨率的三維圖像。因此，給大量特征類型編碼以便避免在本實(shí)施方式中使用對(duì)極線分離 技術(shù)將不是有效的或不希望有的。通過(guò)在實(shí)施方式中描述的對(duì)極分離的技 術(shù)，相當(dāng)小的矩陣代碼可提供圖像容量的"膨脹"，因?yàn)榭蔀槊總€(gè)被捕獲 的圖像幀觀察到更多唯一可識(shí)別的特征。圖7示出由特征類型的一系列10x2矩陣組成的投影編碼圖樣104 的示意性圖像，其中投影再次與對(duì)極場(chǎng)成一角度。圖樣的每個(gè)特征具有方 形像素尺寸CxC。因此，圖樣中每個(gè)周期性矩陣的長(zhǎng)度是XC二10C，而 高度是YC = 2C。距離P表示圖像中可辨別的對(duì)極線之間的像素中的水平 距離。如所看到的，投影圖樣104相對(duì)于對(duì)極場(chǎng)以角106旋轉(zhuǎn)?？杀砻鳎?圖樣的Y方向上的每隔一個(gè)特征，或換句話說(shuō)，相同特征的每次重新出 現(xiàn)都落在可辨別的對(duì)極線上。應(yīng)認(rèn)識(shí)到，矩陣可具有不同的尺寸，且該尺 寸僅僅是為了例證目的的例子。使用在相似三角形的幾何結(jié)構(gòu)中已知的原 理，可證明，具有邊H-U-V的三角形和具有邊YC-h-P的三角形是相似三 角形，因而下列一般方程成立H/U = YC/P 其中U = XC ~> H = XYC2/PH因而是出現(xiàn)在對(duì)極線108上的像素的數(shù)量。當(dāng)對(duì)極分離P降低時(shí)， 角106變得較小。從該方程中我們看到，對(duì)于恒定的圖樣面積尺寸，如果 只有對(duì)極線分離P降低，則H變得較大。例如，特征110—(A)類型特征一按需要只在對(duì)極線108上出現(xiàn)一次。 特征112表示特征IIO之后特征類型(A)的下次出現(xiàn)，并表示圖像高度的 上限。如果可辨別的對(duì)極線之間的距離P減小，則角106也減小，且具 有相同數(shù)量的特征的相同編碼圖樣因而從對(duì)極場(chǎng)旋轉(zhuǎn)得較少。相同的特征 現(xiàn)在由仍然可辨別的較近的對(duì)極線分離，且旋轉(zhuǎn)^:影圖樣以獲得對(duì)極分離 的效應(yīng)變得更明顯。特征110在對(duì)極線108上的不斷增大的距離內(nèi)重復(fù)自 身，因而擴(kuò)大了H的值，且因而擴(kuò)大了圖像中的唯一可識(shí)別的特征的數(shù) 量或分辨率。角106的下限在對(duì)極線不再是可辨別時(shí)出現(xiàn)，也就是說(shuō)，相 同的特征類型落在兩個(gè)相鄰的對(duì)極線上，這兩個(gè)對(duì)極線太近而不能被準(zhǔn)確 地辨別。從該方程中，我們看到，只要總矩陣尺寸不改變，矩陣的X和Y尺 寸的任何組合就對(duì)圖像覆蓋率沒(méi)有影響。例如，如果矩陣代碼的Y分量 增加而X分量減小，比如從所示的10 x 2矩形到5x4類似正方形的形狀， 我們現(xiàn)在有較接近于正方形的矩陣形狀，而不是細(xì)長(zhǎng)的(long skinny)矩形。 然而，總矩形面積(XY)保持相同。角106減小，且圖樣從對(duì)極場(chǎng)旋轉(zhuǎn)得 較少，以確保在每個(gè)可辨別的對(duì)極線上的對(duì)極分離。如從方程看到的，H 保持相同，因而圖像覆蓋率不增加。特別地，矩陣結(jié)構(gòu)使得在X方向上的周期長(zhǎng)度比在Y方向上的周期 長(zhǎng)度大得多。這樣的矩陣代碼結(jié)構(gòu)在這里稱為優(yōu)選的方向編碼。在實(shí)際光 學(xué)組裝、校準(zhǔn)、操作物理和靈敏性方面，X比Y大得多是合理的。例如， 成像系統(tǒng)的振動(dòng)或其它晃動(dòng)可使非常小的旋轉(zhuǎn)角106對(duì)對(duì)極區(qū)別變得太 小。而且，作為非優(yōu)選方向編碼圖樣的結(jié)果的較小的旋轉(zhuǎn)角需要通過(guò)較大 的安全因子降低圖像視場(chǎng)，以便確保對(duì)極分離?，F(xiàn)在參考圖8，其為圖6A的被捕獲的圖像的圖示，反射光圖樣500 現(xiàn)在以相對(duì)于對(duì)極場(chǎng)的方向的較小的旋轉(zhuǎn)角114被投影?？杀鎰e的對(duì)極線、 118和120是在圖樣的y方向上每隔一 個(gè)特征重復(fù)自身的相同的特征類型。這些特征現(xiàn)在落到對(duì)極線122A、 122B和122C上。才艮據(jù)圖7描述的方程，因?yàn)閳D樣沒(méi)有改變，意味著X、 Y和C是不變的，但P降低，H變得較大。因此，H2是比圖6A的H,大 的垂直圖像高度，提供了更多的采樣點(diǎn)，因而在被捕獲的圖像中提供更高 的分辨率。成像系統(tǒng)現(xiàn)在可在遭遇模糊之前采樣被捕獲的圖像中更多的 點(diǎn)，意味著不可能沿著相同對(duì)極線遇到相同的特征類型?？蛇x地，代替增 加圖像視場(chǎng)，具有較小的特征的圖樣可使用高分辨率傳感器被投影。然而，當(dāng)角114減小得太多時(shí)，不希望有的系統(tǒng)模糊出現(xiàn)。當(dāng)角114 變得太接近于O度時(shí)，被校準(zhǔn)的投影儀/成像裝置中任何微小的移動(dòng)或晃 動(dòng)可能引起失真，并妨礙清楚的對(duì)極線區(qū)分。此外，當(dāng)圖樣中的周期性矩 陣在X方向上減小而在Y方向上增加時(shí)，例如上面提到的幾乎正方形形 狀，確保H不減小而需要的投影角要求P降低到一點(diǎn)，該點(diǎn)太小而不能 為對(duì)極線區(qū)分提供安全的水平距離。作為上面的幾何因素和導(dǎo)致誤差的可 能性的額外因素的結(jié)果，代碼優(yōu)選地利用在X方向上的優(yōu)選方向代碼。 雖然本實(shí)施方式利用旋轉(zhuǎn)的圖樣來(lái)獲得對(duì)極分離的結(jié)果，但存在包括但不 限于使投影圖樣傾斜的其它實(shí)施方式。雖然在前面的實(shí)施方式中，投影圖樣是周期性的，但應(yīng)理解，在可選 實(shí)施方式中，其它編碼方案是可能的，包括但不限于可被^L影以實(shí)現(xiàn)對(duì)極 分離的非有序和/或非周期性編碼圖樣。以前的實(shí)施方式描述了使用唯一 的結(jié)構(gòu)空間編碼圖樣Pl的空間編碼:技術(shù)。然而，應(yīng)i人識(shí)到，另外的實(shí)施 方式可包括時(shí)間編碼、譜編碼、其組合、或任何其它二維編碼方案或其組 合，包括涉及空間編碼實(shí)施方式例如這里描述的實(shí)施方式的組合，其實(shí)現(xiàn) 沿著可辨別的對(duì)極線的多個(gè)特征類型的區(qū)別。參考圖9，其為非有序和非周期性圖樣的示意圖。在非周期性代碼中 的二維空間構(gòu)成的每個(gè)特征類型在圖樣中被表示為數(shù)字。應(yīng)認(rèn)識(shí)到，每個(gè) 特征類型一在附圖中的數(shù)字1到6—在任何給定的對(duì)極線上出現(xiàn)不多于一 次。示例性對(duì)極線是124、 126和128。所示的示例性空間編碼是類似于 多米諾的圖樣?？臻g編碼當(dāng)然可具有很多形式，可能與在圖3和下面圖10中看到的代碼類似或相同。其它結(jié)構(gòu)光編碼技術(shù)可包括雙調(diào)、灰度和/ 或多光譜技術(shù)。現(xiàn)在參考圖10,其為包括優(yōu)選的編碼圖樣P1的示例性特征類型的圖示。特征A-J是二進(jìn)制空間編碼特征類型的例子。每個(gè)特征由5個(gè)黑點(diǎn)和 白點(diǎn)的空間組合或空間構(gòu)成組成，這5個(gè)點(diǎn)由l個(gè)黑(局部最小值)或白 (局部最大值)中心點(diǎn)130和4個(gè)黑或白外圍或點(diǎn)132組成。5個(gè) 黑點(diǎn)和白點(diǎn)的所有可能組合產(chǎn)生32個(gè)唯一的字符或特征類型的字母表。 圖10中的示例性特征類型是任意指定的A-J，每個(gè)相應(yīng)于1個(gè)中心點(diǎn)和4 個(gè)鞍點(diǎn)的不同組合。具有白中心點(diǎn)的特征類型相應(yīng)于投影圖樣中的局部最 大照明強(qiáng)度，而具有黑中心點(diǎn)的特征類型相應(yīng)于投影圖樣中的局部最小照 明強(qiáng)度。每個(gè)字母的外圍點(diǎn)相應(yīng)于既非最大也非最小的照明強(qiáng)度，其中白 外圍點(diǎn)更接近于最大強(qiáng)度而不是最小強(qiáng)度，而黑外圍點(diǎn)更接近于最小強(qiáng)度 而不是最大強(qiáng)度。注意，其它實(shí)施方式可使用具有或多或少的鞍點(diǎn)的組合 的特征。例如，如果每個(gè)特征包含6個(gè)鞍點(diǎn)，則字母表現(xiàn)在有128個(gè)唯一 的字符或特征類型，因而有較大的圖樣周期。這樣的編碼特征將適合于具 有較多采樣點(diǎn)的較大圖樣的應(yīng)用，例如高分辨率百萬(wàn)像素成像。為了進(jìn)一步舉例說(shuō)明，參考圖11，其為在從成像立方體134反射之 后在圖像I'P,中看到的示例性圖樣P1的圖示。周期性圖樣包括在圖10中 描述的特征類型。示出立方體的一部分的圖像的特寫(xiě)顯示在附圖的底部。 白中心點(diǎn)136表示圖像的緊鄰周圍的像素區(qū)域內(nèi)的最大強(qiáng)度反射。黑中心 點(diǎn)138表示圖像的緊鄰周圍的像素區(qū)域內(nèi)的最小強(qiáng)度反射。白鞍點(diǎn)140 示出較接近于最大值而不是最小值的反射強(qiáng)度。黑鞍點(diǎn)142相反，并示出 較接近于最小值而不是最大值的反射強(qiáng)度。當(dāng)投影圖樣的特征從被成像的物體反射到圖像傳感器上時(shí)，任何給定 特征的5個(gè)點(diǎn)中的每個(gè)點(diǎn)變成被捕獲的圖像中的采樣點(diǎn)。這些采樣點(diǎn)包含 在相鄰的傳感器像素上，被反射的特征在這些像素上成像。應(yīng)理解，特定 的采樣點(diǎn)是否是最大值、最小值或鞍點(diǎn)取決于在該點(diǎn)上的投影光強(qiáng)度以及 在該點(diǎn)處被成像的物體的材料的反射特性。最大值、最小值和鞍點(diǎn)優(yōu)選地通過(guò)識(shí)別其在圖像中的微商而被提取。這意味著它們通過(guò)照明中的局部變化來(lái)確定。例如，如果被從黑暗表面反 射，表示投影圖樣中局部最大照明強(qiáng)度的投影特征的白中心點(diǎn)在成像傳感 器上獲得低像素強(qiáng)度或灰度值。如果這樣的中心點(diǎn)獨(dú)立于該中心點(diǎn)的周圍 采樣點(diǎn)被編碼，則解碼引擎可能將低強(qiáng)度值錯(cuò)誤地解釋為指示局部最小 值，或黑中心點(diǎn)。然而，當(dāng)分析從黑暗表面反射的白采樣點(diǎn)的周圍像素時(shí)， 解碼引擎將看到甚至更低強(qiáng)度的像素值，因而出現(xiàn)將采樣點(diǎn)作為局部最大 〃f直的正確識(shí)別。同樣，如果被從明亮表面反射，表示投影圖樣中局部最小照明強(qiáng)度的 投影特征的黑中心點(diǎn)在成像傳感器上獲得高像素強(qiáng)度。再次，這樣的采樣 點(diǎn)的直接強(qiáng)度估計(jì)將錯(cuò)誤地識(shí)別為包含局部最大值或白中心點(diǎn)的特征。然 而，通過(guò)測(cè)量在這樣的點(diǎn)周圍的局部強(qiáng)度的變化，解碼引擎將識(shí)別甚至更 高的值的像素值。作為結(jié)果，出現(xiàn)將采樣點(diǎn)作為局部最小值的正確識(shí)別。 因此，當(dāng)分析單個(gè)投影圖樣的反射的圖像時(shí)，使用臨界點(diǎn)檢測(cè)。臨界點(diǎn)檢 測(cè)意指使用通過(guò)已知的推導(dǎo)分析方法的局部照明強(qiáng)度的變化，而不是直接 強(qiáng)度估計(jì)，以確保解碼過(guò)程中的正確特征檢測(cè)。而且，在之前實(shí)施方式的周期性重復(fù)代碼中，特征的鞍點(diǎn)和最小值或 最大值之間的相對(duì)水平距離是不變的。在解碼過(guò)程期間，確定特征的元素 或分量之間的矢量或距離集合，并預(yù)期恒定的矢量。這樣的矢量實(shí)現(xiàn)了準(zhǔn)確的特征讀數(shù)的驗(yàn)證。從噪聲和被成像的物體上的紋理差異產(chǎn)生的錯(cuò)誤讀 數(shù)可通過(guò)特征的點(diǎn)之間的距離的驗(yàn)證過(guò)程來(lái)最小化。例如，如果鞍點(diǎn)和最 小值之間的距離大于預(yù)期的差異，則解碼系統(tǒng)可判斷被識(shí)別的特征元素僅 僅是噪聲而不是特征的一部分?？赡芡ㄟ^(guò)相鄰點(diǎn)灰度值的交叉參考，相鄰鞍點(diǎn)和最大值的已知值進(jìn)一 步用于特征驗(yàn)證過(guò)程和錯(cuò)誤校正。例如，在識(shí)別和驗(yàn)證過(guò)程中，已知字母 表中的某些字符在其空間值布置與已知相鄰字符的空間值布置矛盾的情 況下可被消除。用于給特征識(shí)別解碼的另 一方法是通過(guò)將半有效的字符合并到已知的字符組。示例性情況是4個(gè)鞍點(diǎn)之一沒(méi)有被清楚地識(shí)別，但其 它3個(gè)被驗(yàn)證。應(yīng)理解，字符識(shí)別的很多不同實(shí)現(xiàn)是可能的，包括波長(zhǎng)分 析或本領(lǐng)域中已知的任何其它方法。應(yīng)認(rèn)識(shí)到，編碼方案不限于二進(jìn)制代碼，也不限于二進(jìn)制代碼的任何 優(yōu)選光學(xué)實(shí)現(xiàn)，例如雙調(diào)、單色或雙極沖殳影，并且如在上面之前的實(shí)施方 式中給出的幾個(gè)例子中的，編碼方案可用其它方法實(shí)現(xiàn)，包括但不限于譜 編碼、非周期性編碼和時(shí)間編碼。現(xiàn)在參考圖12A和12B,其示出圖樣P1中固有的構(gòu)造過(guò)程和編碼方 案。首先參考圖12A,過(guò)程以Debruijn序列144開(kāi)始。序列144在字符 空間SJ^ {0,1，2，3}上創(chuàng)建。系列具有長(zhǎng)度2，意味著兩個(gè)數(shù)字的每個(gè)序 列出現(xiàn)至多一次。因此，Debruijn序列的長(zhǎng)度是ISI叫E、^二16。通過(guò)用矩陣的二進(jìn)制表示代替矩陣144中的每個(gè)數(shù)字，且以列的方式 寫(xiě)每個(gè)二進(jìn)制數(shù)字，由矩陣144產(chǎn)生矩陣146。矩陣148通過(guò)翻轉(zhuǎn)偶數(shù)列 從矩陣146得到，換句話說(shuō)，矩陣的偶數(shù)列的上部行中的二進(jìn)制值移到底 部行，反之亦然。執(zhí)行矩陣146中偶數(shù)列的翻轉(zhuǎn)，以避免代碼重復(fù)的情況， 意味著確保在圖樣中矩陣的任何給定循環(huán)中沒(méi)有字母出現(xiàn)多于一次。現(xiàn)在轉(zhuǎn)到圖12B。圖12A的矩陣148被映射到具有兩種顏色的灰度 的菱形的二維圖樣I50,每種顏色表示矩陣148中的1或0。這兩種顏色 灰度圖樣重復(fù)地映射到黑、白和灰色菱形的圖樣152上。構(gòu)成具有4種顏 色灰度的合成的圖樣154。圖樣150的每種灰度菱形給圖樣152中的灰色 菱形之一涂上兩種灰度陰影之一。黑和白菱形保持不變。在接下來(lái)的兩個(gè) 步驟中，執(zhí)行菱對(duì)形圖樣154的二值化，可能通過(guò)高斯平滑，接著通過(guò)獲 得稱為銳利強(qiáng)度閾值的項(xiàng)，雖然其它技術(shù)是可能的。如最初在圖3中示出 的合成的圖樣P1為允許上述對(duì)極分離技術(shù)的投影提供了雙調(diào)尖銳圖樣。應(yīng)理解，這里描述的編碼是構(gòu)造可行的基于二維空間構(gòu)成的光代碼的 僅一種方法，該代碼具有將在本發(fā)明的優(yōu)選實(shí)施方式中使用的多個(gè)特征類 型，且其它代碼類型例如完備映射、M陣列和偽隨機(jī)碼是可能的。參考圖12C,其為在從被成像的物體反射并被視為成像裝置中所捕獲 的圖像的部分之后，圖樣P1中的采樣點(diǎn)的簡(jiǎn)化圖示。圖樣164是前面附 圖的圖樣154的特寫(xiě)。矩陣150的32個(gè)二進(jìn)制值被看作32個(gè)鞍點(diǎn)168。 這32個(gè)鞍點(diǎn)的每個(gè)都變成采樣點(diǎn)。每組4個(gè)鞍點(diǎn)具有在中央的白點(diǎn)172 或黑點(diǎn)170。黑點(diǎn)和白點(diǎn)是圖樣154中的黑和白菱形，并且也成為采樣點(diǎn)。62總之，在圖樣中代碼的每次循環(huán)中有64個(gè)采樣點(diǎn)。這些點(diǎn)顯示在明亮的區(qū)域173中。圖樣166是圖樣P1的特寫(xiě)。在圖樣166中，在用高斯平滑 和尖銳強(qiáng)度閾值處理圖樣之后看到采樣點(diǎn)。參考圖13A，其示出實(shí)現(xiàn)上述對(duì)極分離技術(shù)的優(yōu)選投影和成像方法。 再一次，示出前面的實(shí)施方式的編碼光圖樣。如在圖3中的，編碼光圖樣 在這里被看到相對(duì)于被捕獲的圖像中的對(duì)極線174旋轉(zhuǎn)某個(gè)角度，因而將 代碼的相同的特征類型放置在分離的對(duì)極線上。旋轉(zhuǎn)角由下列方程描述。Sin -1 CP/YC)通過(guò)選#^旋轉(zhuǎn)角，可實(shí)施上面描述的對(duì)極分離技術(shù)。本領(lǐng)域中已知的 校準(zhǔn)方法用于確定被捕獲的圖像中對(duì)極線的確切位置。而且，為了確保沒(méi) 有代碼的兩個(gè)相同的特征在給定的對(duì)極線上重復(fù)自身，投影圖樣高度HP 被限制在投影儀裝置中，如圖樣中明亮的區(qū)域175所例示的。作為結(jié)果， 每個(gè)周期的每個(gè)對(duì)角列被不同的對(duì)極線切割。被捕獲的圖像中的每個(gè)對(duì)極 線因此包含每種類型的一個(gè)且僅一個(gè)特征。如果所測(cè)量的深度范圍是有限 的，則如上面在圖6B中討論的，多于一個(gè)的相同的特征類型可出現(xiàn)在圖 像中的每個(gè)對(duì)極線上。像素中的圖像高度H可由上面圖7中的方程描述。 因?yàn)殛幱皡^(qū)域的長(zhǎng)寬比為4/3 ，關(guān)于采樣像素的總表面積由下列方程定義A= H2(4/3) = X2Y2C4/P2 (4/3)參考圖13B1。對(duì)于某些三維成像應(yīng)用，需要較大數(shù)量的采樣點(diǎn)來(lái)獲 得期望的分辨率。為了這樣的目的，可利用在上面實(shí)施方式中圖樣P1的 變化的編碼方案，在這里稱為P2。在圖13B1中示出P2圖樣。如在Pl 中的，P2是包含由5個(gè)黑和白元素或點(diǎn)的空間組合組成的特征類型的二 進(jìn)制空間編碼周期性圖樣。同樣，如在P1中的，黑(局部最小值)或白 (局部最大值)中心點(diǎn)被4個(gè)鞍點(diǎn)圍繞。然而，在圖樣P2中，每個(gè)字母 的兩個(gè)幾何變體包括在代碼的每次循環(huán)中，因而字母組從32到64重復(fù)。 也就是說(shuō)，每個(gè)字母有一個(gè)變形Yl和另一變形XI,在變形Y1中，中央 點(diǎn)朝著左邊移位，變?yōu)檩^接近于左鞍點(diǎn)，而在變形X1中，中央點(diǎn)朝著右 邊移位，變?yōu)檩^接近于右鞍點(diǎn)落。交替的最大值和最小值在垂直方向上沒(méi) 有如在編碼圖樣Pl中那樣一個(gè)落在另一個(gè)的頂部上，而相反，每個(gè)最大給定循環(huán)中，總共有32個(gè)黑最小值，32個(gè)白最小值以及64個(gè)鞍點(diǎn)，總共包括128個(gè)采樣點(diǎn)。特別地，如上討論的，圖像中每個(gè)特征的點(diǎn)之間的相對(duì)水平距離現(xiàn)在 允許表示編碼的矢量。也就是說(shuō)，除了允許25 = 32特征代碼的特征的5 個(gè)點(diǎn)以外，給定特征的點(diǎn)之間的變化的水平距離允許額外的特征類型出現(xiàn) 于每個(gè)圖樣中，因而增加對(duì)給定圖像可能的采樣點(diǎn)的數(shù)量。相同的5個(gè)特 征點(diǎn)的水平距離的各種組合是可能的。我們現(xiàn)在轉(zhuǎn)到圖13B2。使用Debruijn序列,以與上面在圖12A、 12B 中描述的類似的方法，構(gòu)造圖樣P2。基于稍微更改的Debruijn序列的二 進(jìn)制矩陣被映射到具有兩種顏色灰度的菱形的二維圖樣282。此兩種顏色 灰度菱形圖樣被重復(fù)地映射到黑、白和灰菱形的圖樣284上。構(gòu)成具有4 種顏色灰度的合成的圖樣286。圖樣282的每個(gè)灰色菱形給圖樣284中的 灰色菱形之一涂上兩種灰度陰影之一。黑和白菱形保持不變。在接下來(lái)的 兩個(gè)步驟中，可能通過(guò)高斯平滑，接著通過(guò)獲得稱為銳利強(qiáng)度閾值的項(xiàng)， 執(zhí)行對(duì)菱形圖樣286的二值化，雖然其它技術(shù)是可能的。如最初在圖13B1 中示出的合成的圖樣P2為允許上述對(duì)極分離技術(shù)的投影提供了雙調(diào)尖銳 圖樣。在菱形陣列上實(shí)施本領(lǐng)域中已知的圖形處理，以獲得允許如上所述的 每個(gè)字母的兩個(gè)移位變形的"Z字型"圖樣。此外，柵格圖樣的旋轉(zhuǎn)確保以交替方式出現(xiàn)在每個(gè)對(duì)角列上的每?jī)蓚€(gè) 相同的特4正不落在相同的對(duì)極線上。解碼的過(guò)程特征在于比較表示最小值、最大值或鞍點(diǎn)的不同采樣點(diǎn)之 間的相對(duì)水平距離。如上所述，解碼過(guò)程試圖識(shí)別最大值、最小值和鞍點(diǎn) 的位置。這樣的點(diǎn)之間的水平距離用于驗(yàn)證在二維圖像中該位置處的特征 的存在。在本實(shí)施方式中，這些水平距離可用于識(shí)別這樣的Z字型圖樣 中的特征。例如，通過(guò)確定被識(shí)別的最大值和最大值相關(guān)的鞍點(diǎn)之間的相 對(duì)水平距離，可確定包括這樣的點(diǎn)陣列的字母標(biāo)識(shí)。參考圖13C和13D。在圖13C中，呈現(xiàn)兩個(gè)圖樣T1和T2。 Tl就是 在前面實(shí)施方式中在高度上加倍的圖樣Pl。圖樣Tl與Pl —樣包含32 個(gè)特征并且周期循環(huán)為16。包含投影圖樣T1的被捕獲的圖像被示為ITI, 并允許圖樣在垂直方向上的兩次循環(huán)。因此，每個(gè)特征在圖像I"中的給 定對(duì)極線上出現(xiàn)兩次。顯著地，這些特征彼此處于等于圖樣P1的高度的 距離處。
在高度上等于圖樣T1的T2是具有不同于T1的唯一二維構(gòu)成的周期 性空間編碼圖樣。圖樣T2包括32個(gè)特征類型。每個(gè)特征類型在循環(huán)中 連續(xù)出現(xiàn)兩次(不同于在每次循環(huán)中出現(xiàn)一次的4個(gè)唯一的特征類型)。 每對(duì)相鄰的相同特征類型共享共同的鞍點(diǎn)。例如，在圖13D中，特征350a 和350b具有相同的類型，并相鄰于彼此出現(xiàn)。每個(gè)特征由極值和4個(gè)鞍 點(diǎn)組成。每個(gè)特征的4個(gè)鞍點(diǎn)中的兩個(gè)鞍點(diǎn)對(duì)于兩個(gè)特征是共同的。因此， 每對(duì)相鄰的特征包括兩個(gè)極值和6個(gè)鞍點(diǎn)。兩個(gè)相同特征的每個(gè)序列在圖 樣中每隔32線重復(fù)自身。
作為在圖樣T2循環(huán)內(nèi)這樣的重復(fù)的結(jié)果，當(dāng)圖樣以對(duì)成像傳感器的 成的旋轉(zhuǎn)角被投影時(shí)，特征類型再次出現(xiàn)在合成的所得到的圖像中相同對(duì) 極線上的緊密鄰近的范圍內(nèi)。參考圖13D，在對(duì)極線354上看到這樣的例 子，其中相同的特征350a和350b出現(xiàn)在緊密鄰近范圍內(nèi)的線上。如在附 圖中看到的，相同的特征350a和350b在循環(huán)中^C此相鄰。因此，旋轉(zhuǎn)將 相似的特征類型放置在對(duì)極線上的緊密鄰近范圍內(nèi)。同樣，相同的特征 360a、 360b和360c以三個(gè)一組出現(xiàn)，如在循環(huán)中看到的。這三個(gè)特征因 此在如所示的緊密鄰近范圍內(nèi)沿著對(duì)極線362出現(xiàn)。因此知道了沿著對(duì)極 線的每個(gè)特征類型的位置范圍。
返回到圖13C，我們看到，增大的圖樣T1的優(yōu)點(diǎn)是可被成像和關(guān)聯(lián) 到空間中深度點(diǎn)的增大數(shù)量的采樣點(diǎn)。然而，相似的特征類型在相同對(duì)極 線上的出現(xiàn)可能引起如上討論的編碼過(guò)程中的模糊。例如，相同的特征 366a和366b在ITI中相同的對(duì)極線370上。為了解決這樣的模糊，第二 圖樣T2可間歇地用Tl投影。因?yàn)門2具有兩倍于Tl的長(zhǎng)度的循環(huán)，接 著在具有與圖像It,相同的高度的固像It2中，相同的特征組364或368在圖像的長(zhǎng)度上不重復(fù)自身。每個(gè)特征組僅沿著圖像IT2的長(zhǎng)度出現(xiàn)一 次。 現(xiàn)在，當(dāng)圖樣Tl和T2在投影儀裝置中對(duì)準(zhǔn)并被在時(shí)間上
(temporally)投影時(shí)，可在連續(xù)圖像中沿著平行對(duì)極線的范圍內(nèi)，在所 觀察的特征之間進(jìn)行比較。特征從In的第一圖像到112的第二圖像中的同 類型的(sister)特征的匹配可允許第一圖像中的特征驗(yàn)證。作為例子， 特征366a被看到在反射圖樣ITI的第 一 圖像中沿著給定對(duì)極線370的特定 范圍內(nèi)。同樣，特征366b在第 一 圖像ITI中沿著此相同的對(duì)極線出現(xiàn)，雖 然離366a有一段距離。這樣的情況可導(dǎo)致ITI中的模糊。
具有反射圖樣T2的繼第一圖像之后被連續(xù)捕獲的第二圖像IT2包括 在相同的對(duì)極線370上的相同的特征集364a、 364b和364c,如出現(xiàn)在圖 像ITI中的特征366a。此外，在圖像1.12中此相同的對(duì)極線的不同區(qū)域中 出現(xiàn)相同的特征集368a、 368b和368c。因?yàn)檫@些特征集在對(duì)極線上是不 同的，每集可分別與特征366a和366b比較。也就是說(shuō)，通過(guò)使來(lái)自I-n 的特征366a與IT2中的特征集364a、 364b和364c關(guān)聯(lián)，以及使來(lái)自In 的特征366b與IT2中的特征集368a、 368b和368c關(guān)聯(lián)，可消除模糊。這 是因?yàn)樵诘谝粓D像中的特征366a和366b的每個(gè)都與第二圖像中的特征集 匹配。
投影和解碼的過(guò)程如下。T1和T2被交替地投影，與攝像機(jī)同步。圖 像起先被分別解碼。如在上面的實(shí)施方式中描述的，執(zhí)行IT,的解碼，雖 然每個(gè)特征攜帶兩個(gè)圖像坐標(biāo)，因?yàn)樗趯?duì)極線上出現(xiàn)兩次。同樣In以 與上面實(shí)施方式相同的方式被解碼，且相似的特征被發(fā)現(xiàn)沿著相同的對(duì)極 線彼此垂直。因此，如果沒(méi)有在幀之間出現(xiàn)的被成像的物體中的運(yùn)動(dòng)，則 圖像序列In、 IT2、 IT1內(nèi)的每個(gè)特征可通過(guò)兩個(gè)圖像之間的關(guān)聯(lián)被驗(yàn)證。 如果IT1和ITI相同，則成像場(chǎng)景對(duì)成像時(shí)間幀是靜止的。IT2充當(dāng)分辨圖 樣，因?yàn)閳D像IT2中的特定位置處的每個(gè)特征都不同于圖像IT1中的相應(yīng)位 置處的特征。因?yàn)橄嗤愋偷亩鄠€(gè)特征類型在緊密鄰近范圍內(nèi)再次出現(xiàn)在 It2上，即使移動(dòng)出現(xiàn)在幀之間，匹配過(guò)程仍然能識(shí)別兩個(gè)圖像之間相關(guān) 的特征。本質(zhì)上，上面的過(guò)程合并來(lái)自時(shí)間和空間兩種編碼方法的原理。
在時(shí)間編碼技術(shù)中，其中多于一個(gè)圖樣被投影在每個(gè)被捕獲的圖像的物體上，應(yīng)理解，必須對(duì)正在被成像的物體的運(yùn)動(dòng)速度提出限制。
參考圖14，其示出圖像Ip,以及圖樣Pl的示例性字符或特征類型。
字符176表示在圖樣的每個(gè)周期內(nèi)被編碼的特征，這樣的特征的性質(zhì)在上 面圖10中被描述。注意，在本圖中對(duì)特征類型的字母的分配與圖IO無(wú)關(guān)。 圖樣P1的每個(gè)周期的長(zhǎng)度是16，而高度是2。也就是說(shuō)，相同的特征類 型或者屬于相同的對(duì)角列，例如相同的特征A和E，或?qū)儆诹心?shù) (modulo ) 16,例如相同的特征A和F。模數(shù)16意。未著相同的特征每16 個(gè)對(duì)角列周期性地隔開(kāi)。然而，不是模數(shù)16的來(lái)自對(duì)角列的特征總是具 有不同的類型，例如特征A、 B、 C和D。在每個(gè)對(duì)角列上，只有兩個(gè)不 同的特征類型以交替的方式出現(xiàn)， 一個(gè)特征具有黑中心值，而一個(gè)具有白 中心值，例如A和G。如所解釋的，特征A、 E和F是出現(xiàn)在圖樣中的 具有相同類型的分立的特征。為了清楚的目的，這些分立的特征在圖3 和示出Pl的其它附圖中只稱為特征類型(A),而在本圖中，每個(gè)分開(kāi)的特 征被分別分配唯一的字母A、 E和F。
相同的特征不落在相同的對(duì)極線上。作為例子，特征A和E是在圖樣中 具有相同類型的兩個(gè)分立的特征。特征A落在對(duì)極線178上。與特征A 相同的特征E被發(fā)現(xiàn)是在同 一對(duì)角線上比A低4個(gè)特征。在該對(duì)角線上， A/E特征類型每隔一個(gè)特征出現(xiàn)。特征E落在與178水平地區(qū)分的對(duì)極線 180上。我們看到圖像中的每個(gè)特征可根據(jù)特征類型和特征的相關(guān)對(duì)極線 表示。
上面實(shí)施方式討論了單個(gè)圖樣到被成像的物體上的投影。第二圖樣的 投影在確定第三維或深度時(shí)可進(jìn)一步提供有價(jià)值的信息。特別是，雙重投 影與雙重成像一起可明顯增加特征類型識(shí)別的準(zhǔn)確性和可靠性，以及提供 在深度讀數(shù)中達(dá)到非常高的分辨率的新方法。而且，在某些實(shí)施方式中， 從這里討論的雙重投影方法得到的信息中可提取紋理信息。
雙重投影方法可包括時(shí)間方法和/或光譜方法。時(shí)間方法是這樣的， 其中兩個(gè)或多個(gè)圖樣在分開(kāi)的時(shí)間間隔內(nèi)被投影。光譜方法是這樣的，其 中兩個(gè)或多個(gè)圖樣以不同的光波長(zhǎng)被投影。時(shí)間方法可利用空間光調(diào)制
67器，例如LCD、 DLP或DMD。光i普方法可例如由光復(fù)用器4丸4亍。
在下面的實(shí)施方式中，在光譜分離實(shí)現(xiàn)的情況下，光譜分離優(yōu)選地很 小，以便允許反射強(qiáng)度的直接比較。也就是說(shuō)，在不同的但相鄰的波長(zhǎng)處 投影到被成像的物體上的兩個(gè)相同的圖樣將以實(shí)質(zhì)上相同的反射強(qiáng)度反 射。所以例如，在第一圖像IV,中，高強(qiáng)度或白點(diǎn)在某個(gè)波長(zhǎng)處投影到特 定的明亮表面上，并被大部分反射。在第二反的圖像I'-p,中，低強(qiáng)度或黑 點(diǎn)在相鄰波長(zhǎng)處投影到相同的明亮表面上，并被大部分吸收。因?yàn)镮'-FM 中的黑點(diǎn)在相鄰波長(zhǎng)處被投影，黑點(diǎn)對(duì)于給定表面、以與在I'p,中被投影 的白點(diǎn)相反的方式來(lái)表現(xiàn)，并被大部分吸收。同樣，在圖像中在兩個(gè)相鄰 波長(zhǎng)處投影的白點(diǎn)都以幾乎相同的方式反射。在圖像中在兩個(gè)相鄰波長(zhǎng)處 投影的黑點(diǎn)都以幾乎相同的方式吸收。
參考圖15，其為本發(fā)明的優(yōu)選雙重投影和雙重成像實(shí)施方式的圖示。 I'iM是具有前面實(shí)施方式的圖樣Pl的Rubik立方體的圖像，如在圖3和 11中詳細(xì)解釋的，投影到立方體上。圖像I'-h是具有投影在立方體上的 圖樣P1的負(fù)圖樣(negative)的立方體的第二圖像。最后，圖像IV,-l'-P1 是從I'P,減去r.p,得到的合成圖像。特寫(xiě)182和184是來(lái)自圖像I'fM和I'^ 中立方體的4個(gè)右下正方形的相應(yīng)圖樣反射。在圖像IV,和I'-Pl中，成像 的白點(diǎn)是最大光強(qiáng)度在成像立方體的此表面位置上的投影和其后的反射 的結(jié)果。同樣，成像的黑點(diǎn)是最小光強(qiáng)度在成像立方體的此表面位置上的 投影和其后的反射的結(jié)果。所以，如果在IV,中，看到反射白點(diǎn)在立方體 上的特定表面位置上，則在I'.p,中，觀察到反射黑點(diǎn)在立方體上的相同表
面位置上。例如，圖像i'iM中所看到的白色最大值點(diǎn)186被看作圖像r-p,
中的黑點(diǎn)188。同樣，圖像I'p,中的白鞍點(diǎn)190由圖像I'-H中的黑鞍點(diǎn)192 代替。
因?yàn)镽ubik立方體包括變化顏色的正方形，反射圖樣在從明亮顏色的 正方形例如194反射時(shí)顯示高對(duì)比度，而當(dāng)從較暗顏色的正方形例如196 反射時(shí)顯示較低的對(duì)比度。這是下列事實(shí)的結(jié)果投影白點(diǎn)的能量或光強(qiáng) 度最大值從明亮表面反射比從黑暗表面反射的能量程度大得多，在黑暗表 面中大量能量被吸收。從明亮顏色的表面反射的投影白點(diǎn)在圖像中呈現(xiàn)為白色，表示具有高強(qiáng)度反射的被成像的物體的區(qū)域。相反，當(dāng)投影白點(diǎn)從 黑暗顏色的表面反射時(shí)，反射白點(diǎn)在圖像中呈現(xiàn)得非常接近于黑，表示具 有低強(qiáng)度反射的被成像的物體的區(qū)域。然而在任一情況下，投影白點(diǎn)將總 是從任何給定的被成像的物體表面點(diǎn)、以比在該相同點(diǎn)上被投影的黑點(diǎn)更 高的強(qiáng)度反射。
因此，不管成像表面反射特性是什么，成像黑點(diǎn)在被成像的物體表面 上的相同位置處總是具有比成像白點(diǎn)低的反射強(qiáng)度。因此，從圖像I'n中 特定位置處的白點(diǎn)強(qiáng)度值186減去圖像I'-p,中相同位置處的黑點(diǎn)強(qiáng)度值
188將總是產(chǎn)生正的強(qiáng)度值200。同樣，從都在相同的圖像位置處的圖像 I'PI中的黑點(diǎn)204減去圖像I'-Pl中的白點(diǎn)202將總是產(chǎn)生負(fù)的強(qiáng)度值206。 因此，合成圖像中的每個(gè)像素的值符號(hào)為正或負(fù)。為了顯象目的，因?yàn)轱@ 示屏和打印不能理解負(fù)像素值，標(biāo)準(zhǔn)化標(biāo)度可用于表示正和負(fù)的合成的強(qiáng)度值。
通過(guò)將圖樣和負(fù)圖樣投影在物體上，并從反射原始圖樣的圖像減去反 射負(fù)圖樣的圖像，圖像IVi中的最大值和最小值位置可直接由合成圖像I'n -I'-Pl中的相同的圖像位置的灰度級(jí)或強(qiáng)度的測(cè)量來(lái)確定。IV,-I'-p,圖像中
的所有正的強(qiáng)度值指示白點(diǎn)，而i'n-r—p,圖像中的所有負(fù)的強(qiáng)度值指示黑 點(diǎn)。再次，因?yàn)轱@示屏可能不理解負(fù)的強(qiáng)度值，標(biāo)準(zhǔn)化標(biāo)度可用于圖像顯 示。使用這樣的雙重投影的最大值和最小值的此直接測(cè)量與上面在圖11 中描述的單個(gè)圖樣投影情況不同。在單個(gè)圖樣投影的情況下，優(yōu)選最大值 和/或最小值的周圍點(diǎn)的局部強(qiáng)度值的額外分析，以確保較高水平的正確 特征類型識(shí)別。因此，本發(fā)明的相減方法允許魯棒性更大的圖樣識(shí)別分析， 因而允許較可靠和強(qiáng)大的引擎，用于從被捕獲的二維圖像中被識(shí)別的特征 得到三維空間坐標(biāo)。
而且，在i'p廣r.p,圖像中的強(qiáng)度值的動(dòng)態(tài)范圍通過(guò)兩個(gè)圖樣的相減而 加倍。這產(chǎn)生更增強(qiáng)的圖樣，因而有助于特征類型識(shí)別。另一優(yōu)點(diǎn)是合成 圖像rP1 - r.PI上環(huán)境光的效應(yīng)的抵消。合成圖像顯示具有被成像的物體紋 理的較少干擾的增強(qiáng)的圖樣。
應(yīng)理解，通過(guò)4吏用"i普分化(spectral differentiation)可在時(shí)間上拍攝兩個(gè)圖像或同時(shí)拍攝兩個(gè)圖像。同樣，兩個(gè)圖樣可使用光譜或極性分離被 同時(shí)或在時(shí)間上投影，或兩個(gè)圖樣可具有相同的波長(zhǎng)或極性，但投影在時(shí) 間上分離。只要光譜分離接近，兩個(gè)反射圖樣的反射強(qiáng)度就在任何給定的 被成像的物體表面位置處實(shí)質(zhì)上確切地為負(fù)。
參考圖16,其為兩個(gè)圖像I'p,和I'-p,的相加的圖示。兩個(gè)圖像與投影
在其上的相反的圖樣照明強(qiáng)度的相加導(dǎo)致在rPI + r.PI圖像中圖樣的抵消。 這是因?yàn)樵趦蓚€(gè)圖像中任何給定相同位置的任何兩個(gè)反射強(qiáng)度的相加導(dǎo) 致顯示最大光強(qiáng)度從物體上所有點(diǎn)的反射的合成圖像。反射強(qiáng)度的變化因 而僅僅依賴于被成像的物體的紋理。也就是說(shuō)，被成像的物體的變化的紋 理影響反射強(qiáng)度，白點(diǎn)以該強(qiáng)度從被成像的物體的不同點(diǎn)被反射。合成圖
像從在圖像I'p,和I'-Pl中觀察到的成像圖樣來(lái)分離深度被成像的物體的紋理。
現(xiàn)在參考圖17，其為本發(fā)明的雙重投影和雙重成像方法的優(yōu)選實(shí)施 方式。如在前面附圖中的，I'p,是具有投影在立方體上的圖樣Pl的Rubik
立方體的圖像。圖像r《是具有與在rPI中投影在其上的相同的圖樣的立 方體的第二圖像，只是最大值和最小值被對(duì)調(diào)。也就是說(shuō)，圖像iv,中的
最大值186被看作圖像1'《中的最小值210。然而，鞍點(diǎn)例如圖像IV,中的 白鞍點(diǎn)190保持為圖像I'-c中的白鞍點(diǎn)212。因此，最大值由最小值代替， 反之亦然，但鞍點(diǎn)在兩個(gè)圖像中保持不變。最后，圖像IV,-r—c是從圖像
rPI減去圖像i'-c的合成圖像。
如在特寫(xiě)214中看到的，圖像I'p,-I'-c中保留的是,最大值和最小值，
有時(shí)稱為代碼的載體。此外，對(duì)于在圖像傳感器上的任何給定位置，圖像 rPI中的反射局部強(qiáng)度最大值點(diǎn)由圖像r.c中的反射局部強(qiáng)度最小值點(diǎn)代 替。局部強(qiáng)度最大值作為圖像中的白點(diǎn)出現(xiàn)，而局部強(qiáng)度最小值作為圖像 中的黑點(diǎn)出現(xiàn)。鞍點(diǎn)在兩個(gè)圖像中是相同的。所以，例如，當(dāng)圖像r.c中
的位置的強(qiáng)度值210從圖像IV,中的相同位置的強(qiáng)度值186減去時(shí)，在合 成圖像I'p, - 1'《中得到白點(diǎn)強(qiáng)度值216。類似地，當(dāng)圖像I'.c中的位置的 強(qiáng)度值218從圖像IV,中的相同位置的強(qiáng)度值220減去時(shí)，在合成圖像I'p , -1'《中得到黑點(diǎn)強(qiáng)度值222。相反，當(dāng)圖像1'《中的鞍點(diǎn)212從相同強(qiáng)度和相同位置的鞍點(diǎn)190減去時(shí)，鞍點(diǎn)作為白鞍點(diǎn)或黑鞍點(diǎn)的標(biāo)識(shí)消失。另 一方面，在圖像IV,中的鞍點(diǎn)的位置現(xiàn)在通過(guò)相減被加重和增強(qiáng)。兩個(gè)圖 像的相減因此中和了圖像中的鞍點(diǎn)值，但清楚地描繪了其位置。而且，兩 個(gè)圖像的相減導(dǎo)致環(huán)境光的抵消。
合成圖像I'P,-I'-C現(xiàn)在可容易對(duì)最大值、最小值和鞍點(diǎn)位置被掃描。 如上解釋的，在圖10中，成像圖樣中的最大值和最小值代表圖樣中被反 射的特征的中心點(diǎn)。當(dāng)合成圖像只顯示鞍點(diǎn)位置，而不是值時(shí)，對(duì)最大值 和最小值的搜索因而被簡(jiǎn)化，且變得更快和更防止錯(cuò)誤。這些最大值和最 小值接著指示特征的存在，且可確定在圖像中特征的對(duì)極線位置。剩下的 是通過(guò)鞍點(diǎn)的識(shí)別來(lái)確定特征類型。這可通過(guò)如在單個(gè)圖樣情況中的或如
文中描述的rPI的分析來(lái)完成。
參考圖18,其示出圖17的兩個(gè)成像圖樣I'fM和r-c的相加。兩個(gè)圖像
的相加導(dǎo)致合成圖像，其顯示最大光強(qiáng)度對(duì)所有載體位置的反射。換句話 說(shuō)，所有以前的載體位置在合成圖像中變成白的。只有鞍點(diǎn)保留。兩個(gè)圖 像的相加導(dǎo)致兩個(gè)相反的載體反射強(qiáng)度在兩個(gè)圖像中的相同位置處的相 力口。相反，鞍點(diǎn)在兩個(gè)圖像中是相同的，所以兩個(gè)圖像的相加導(dǎo)致鞍點(diǎn)的增強(qiáng)。
例如，在I'p,圖像的特寫(xiě)224中，示出具有中心點(diǎn)226的黑特征。特 征的兩個(gè)上部鞍點(diǎn)228和230是黑的。左下鞍點(diǎn)232也是黑的，而右下鞍 點(diǎn)234是白的。在I'《圖像中Rubik立方體上相同位置的特寫(xiě)236中，相 同的特征現(xiàn)在具有白中心點(diǎn)238而不是黑的。鞍點(diǎn)240-246保持相同。因 此，合成圖像特寫(xiě)248顯示4個(gè)鞍點(diǎn)250-256。因?yàn)樵诤铣蓤D像 中所有栽體變成白的，鞍點(diǎn)可被清楚地識(shí)別，而不與局部最大值和最小值 混淆。圖17和18表明，載體從鞍點(diǎn)的分離允許魯棒性更大的解碼過(guò)程， 因?yàn)檩d體和鞍點(diǎn)的檢測(cè)被簡(jiǎn)化。圖像I'PI -I'.c提供載體和鞍點(diǎn)檢測(cè)以及位
置信息，而圖像rP1+r.c提供鞍點(diǎn)識(shí)別信息。
參考圖19,其為從圖像I'p,減去圖像I'.p,的結(jié)果的絕對(duì)值得到的合成 圖像的圖示。合成圖像270是圖樣的輪廓。如上面圖15和16討論的，因 為兩個(gè)圖像是彼此的反圖像，分立的圖樣可被表示為兩個(gè)相反的正弦曲線。圖形260是包括兩個(gè)反的圖樣中的每個(gè)的正弦曲線的截面。圖像I'H 中的每個(gè)局部最大值和白鞍點(diǎn)分別由圖像I'-Pl中的局部最小值和黑鞍點(diǎn) 代替。相反，圖像I'p,中的每個(gè)局部最小值和黑鞍點(diǎn)分別由圖像l'-p,中的 局部最大值和白鞍點(diǎn)代替。兩個(gè)圖像中從相同位置關(guān)于任何兩個(gè)極值或鞍
點(diǎn)的絕對(duì)相減(absolute subtraction)導(dǎo)致在合成圖像IIV, - I'-p,l中的亮強(qiáng) 度點(diǎn)。因此，任何最大值、最小值或鞍點(diǎn)在圖像IIV, - I'-p,I中是亮的。這 在合成圖像的特寫(xiě)272中被看到。
虛曲線262和264指示相應(yīng)的圖像I'p,和I'-Pl的黑點(diǎn)和白點(diǎn)之間的邊 界區(qū)域。在正弦圖上，這些虛曲線由圖像l'p,和I'-p,的相應(yīng)圖之間的交匯 點(diǎn)或0點(diǎn)表示。在這些點(diǎn)交匯的地方，絕對(duì)相減ii'p,-r-d的結(jié)果為0。這 些交匯點(diǎn)出現(xiàn)在合成圖像中的兩維平面中，產(chǎn)生圖樣的黑輪廓266。黑輪 廓在圖像270中表示最小值，并在合成圖像中提供高度可識(shí)別的曲線的連 續(xù)性的子像素分辨率。沿著該圖樣輪廓的點(diǎn)可通過(guò)不同的三角測(cè)量技術(shù)與 空間坐標(biāo)相關(guān)。
參考圖20,其為從圖像iv,減去圖像r—c的絕對(duì)值得到的合成圖像的 圖示。如上面在圖17和18中討論的，立方體的I'—c圖像具有與投影在其 上的IV,中相同的圖樣，只是最大值和最小值對(duì)調(diào)了。也就是說(shuō)，圖像IV, 中的最大值186被看作圖像r《中的最小值210。然而，圖像IV,中的白鞍 點(diǎn)190保持圖像1'《中的白鞍點(diǎn)212。因此，最大值由最小值代替，反之 亦然，但鞍點(diǎn)在兩個(gè)圖像中保持不變。
從圖像rP,減去I'-c的結(jié)果的絕對(duì)值產(chǎn)生圖像274。從圖像I'PI中的黑 或白載體與圖像r.c中的黑或白載體的絕對(duì)相減導(dǎo)致在特寫(xiě)圖像276中看
到的全白載體。黑交叉點(diǎn)表示rPI和r—c圖像中的黑和白載體之間的邊界 線區(qū)域。邊界線區(qū)域是白載體開(kāi)始變黑的區(qū)域，反之亦然。在精確的邊界 線處，像素既不是黑的也不是白的，因?yàn)橹稻_地在最大值和最小值之間。
這些像素的絕對(duì)相減導(dǎo)致圖像274中的0值、或黑點(diǎn)或最小值點(diǎn)。合成圖 像有較少的環(huán)境光并允許較清楚的解碼和極值的準(zhǔn)確定位。
參考圖21，其為雙重圖樣投影和雙重圖樣成像的特定實(shí)施方式的圖 示。第一圖像是I'p,,而第二個(gè)是有照亮圖像的環(huán)境光的立方體的圖像。具有環(huán)境光的立方體的圖像從具有投影在立方體上的圖樣P1的立方體圖 像I'n的相減提供了實(shí)質(zhì)上無(wú)環(huán)境光的合成圖像。作為結(jié)果，合成圖像中
的圖樣被增強(qiáng)，因而更容易解碼。這在合成圖像278的特寫(xiě)中被看到，其
中圖像的黑點(diǎn)和白點(diǎn)比在原始rP1圖像中看到的更清楚。
參考圖22，其為雙重圖樣投影和雙重圖樣成像的特定實(shí)施方式的圖 示。第一圖像是IV,，而第二個(gè)是有照亮圖像的均勻或相對(duì)均勻的光的立 方體的圖像。立方體圖像I'p,被具有投影在立方體上的均勻光的立方體圖 像除，提供了實(shí)質(zhì)上無(wú)物體紋理的合成圖像。作為結(jié)果，合成圖像中的圖 樣被增強(qiáng)，因而更容易解碼。這在合成圖像280的特寫(xiě)中被看到，其中圖 像的黑點(diǎn)和白點(diǎn)比在原始I'P1圖像中看到的更清楚。
在附圖15-22的所有雙重投影和成像實(shí)施方式中，兩個(gè)圖像中被成像 的物體之間的對(duì)準(zhǔn)或相對(duì)空間位置被稍微限制。成像幀之間運(yùn)動(dòng)被限制的 程度一般依賴于成像設(shè)備的成像策略和速度。時(shí)間和空間成像設(shè)備可用在 以前的實(shí)施方式上，以捕獲雙重圖像。
例如，在以前實(shí)施方式中雙重圖樣的時(shí)間成像的最簡(jiǎn)單的實(shí)現(xiàn)是通過(guò) 在兩個(gè)時(shí)間間隔內(nèi)成像設(shè)備的兩個(gè)"快照"。被現(xiàn)代攝像機(jī)系統(tǒng)支持的時(shí) 間雙重成像的 一個(gè)先進(jìn)方法是非均勻曝光計(jì)時(shí)?，F(xiàn)代攝像機(jī)傳感器在攝像 機(jī)傳感器的曝光時(shí)間內(nèi)實(shí)現(xiàn)控制。所以，例如，可能提供彼此接近地安排 的間隔的曝光時(shí)間對(duì)，而不是在時(shí)間上均勻地間隔開(kāi)。例如，可在1=0毫 秒拍攝圖像Il,在{=5毫秒拍攝圖像I2，在100毫秒拍攝圖像I3,在105 毫秒拍攝圖像I4，依此類推。作為結(jié)果，以每秒20個(gè)圖像的平均速率得
拍攝的圖像對(duì)。作為結(jié)果，如果出現(xiàn)在第一和第二時(shí)間間隔之間的運(yùn)動(dòng)足 夠輕微，或可選地如果成像設(shè)備足夠快速，則可與以前實(shí)施方式中一樣執(zhí) 行兩個(gè)圖像之間的比較。
在相鄰的時(shí)間間隔的兩個(gè)連續(xù)的圖像的上面策略依賴于快速投影速 度。成像裝置傳感器應(yīng)理想地不對(duì)超過(guò)投影時(shí)間的任何時(shí)間曝光，因?yàn)檫@ 將導(dǎo)致成像圖樣中的環(huán)境光破壞。其它傳感器設(shè)計(jì)成對(duì)包括某些CMOS 基于每像素的計(jì)算傳感器的本發(fā)明的實(shí)施方式增加成像速度。當(dāng)像素接收光強(qiáng)度時(shí)，這些特別設(shè)計(jì)的傳感器立即在每個(gè)像素位置執(zhí)行計(jì)算。這與在 傳感器對(duì)計(jì)算模塊騰空之后計(jì)算像素值相反。
而且，可實(shí)現(xiàn)上面的雙重成像策略以獲得與被捕獲的深度信息并行的
紋理圖像。在優(yōu)選實(shí)施方式中，圖樣每隔一個(gè)圖像幀被^:影。在剩余的圖
像幀中，均勻照明被投影到物體上，且物體被成像。假設(shè)兩個(gè)幀之間的最 小相對(duì)運(yùn)動(dòng)，可能把在將均勻光投影到物體上時(shí)所得到的紋理信息，應(yīng)用 到包含投影圖樣的圖像中所捕獲的深度信息。
應(yīng)理解，捕獲兩個(gè)圖樣的頻譜方法也是可能的。這樣的實(shí)現(xiàn)可包括多
個(gè)CCD的使用。
某些高紋理表面的反射特征可在單個(gè)成像設(shè)備系統(tǒng)中導(dǎo)致特征識(shí)別 誤差。因此，為了確保得到正確的三維空間坐標(biāo)，可將額外的成像設(shè)備增 加到系統(tǒng)。除了這里在前面描述的單個(gè)圖像解碼方法以外，額外的成像裝 置還允許被稱為立體深度解碼的方法。
例如，使用某些實(shí)施方式的方法和裝置的雙重成像系統(tǒng)可方便地安裝 在城市環(huán)境中的移動(dòng)車輛上，以捕獲在城市場(chǎng)景中靜止和移動(dòng)的建筑物、 路標(biāo)和其它物體的三維中的幾何結(jié)構(gòu)。
為了進(jìn)一步理解使用優(yōu)選實(shí)施方式的方法和裝置的立體深度解碼，我 們參考圖23。在基于立體的深度成像和解碼系統(tǒng)中，彼此接近地放置的 兩個(gè)成像設(shè)備優(yōu)選地同時(shí)捕獲給定的場(chǎng)景。表示為圖像A和圖像B的兩 個(gè)圖像幾乎是相同的。然而，因?yàn)閮蓚€(gè)圖像從稍微不同的角度被拍攝，被 成像的物體出現(xiàn)在兩個(gè)圖像中稍微不同的像素位置。對(duì)每個(gè)幀給定成像設(shè) 備之間的固定距離，曾經(jīng)出現(xiàn)在圖像A中某個(gè)像素位置上的任何物體必 然出現(xiàn)在圖像B中特定的對(duì)極線上。同樣，曾經(jīng)出現(xiàn)在圖像B中某個(gè)像 素位置上的任何物體出現(xiàn)在圖像A中特定的對(duì)極線上。出現(xiàn)在一個(gè)圖像 中某個(gè)像素位置的被成像的物體的距離影響在第二圖像中物體沿著相應(yīng) 的對(duì)極線出現(xiàn)的位置。
現(xiàn)在，當(dāng)投影儀被添加在兩個(gè)被成像的物體或攝像機(jī)之間時(shí)，結(jié)構(gòu)光 圖樣例如上面討論的圖樣可投影到成像的城市物體上。在兩個(gè)圖像的每個(gè)
74中，反射圖樣特征與被成像的物體的紋理一起出現(xiàn)，如在圖11中看到的。 任一圖像中的給定像素可包含被反射的特征的部分，因而圖像的任何隨機(jī) 選擇的方形像素區(qū)域除了被成像的物體紋理之外還可包含特征或特征的 部分。特征或特征的部分以及被成像的物體紋理包括關(guān)于任何給定像素的 信息的全體。出現(xiàn)在圖像A中方形像素位置的信息將總是出現(xiàn)在圖像B
中一組唯一的坐標(biāo)(一組特定的對(duì)極線)上。同樣，出現(xiàn)在圖像B中方 形像素位置的任何信息將總是出現(xiàn)在圖像A中一組唯一的對(duì)極線上。進(jìn)
一步地，如果利用與圖樣結(jié)構(gòu)和投影相關(guān)的對(duì)極分離技術(shù)，特征類型僅在 每個(gè)對(duì)極線上出現(xiàn)一次。因此，在每個(gè)圖像中沿著對(duì)極線的每個(gè)小區(qū)域是 唯一的，且特征為每個(gè)圖像提供不重復(fù)的"人造紋理"。通常通過(guò)本領(lǐng)域 中已知的立體校準(zhǔn)或立體裝備校準(zhǔn)技術(shù)來(lái)確定包括圖像之間的對(duì)極場(chǎng)的 一組點(diǎn)。
圖像B、 EP1B中的對(duì)極線包括點(diǎn)的總體，在這些點(diǎn)上，包含在圖像 A中像素區(qū)域PX1上的信息可在圖像B中找到。同樣，圖像A中的對(duì)極 線EP1A包括點(diǎn)的總體，在這些點(diǎn)上，包含在圖像B中像素區(qū)域PX2上 的信息可在圖像A中找到。圖像A中的像素位置與圖像B中像素位置之 間的關(guān)系稱為對(duì)極場(chǎng)。
參考圖24，存在兩個(gè)額外的對(duì)極場(chǎng)。這些場(chǎng)是l)投影儀和圖像A 之間的對(duì)極場(chǎng)，以及2 )投影儀和圖像B之間的對(duì)極場(chǎng)。這些場(chǎng)表現(xiàn)為如 上面在以前的實(shí)施方式中描述的，且不在這里進(jìn)一步解釋。值得注意的是， 根據(jù)上面的討論，除了被成像的物體的紋理以外，特征F1可出現(xiàn)在圖像 A中像素區(qū)域PX1處。在這樣的情況下，特征F1和被成像的物體都出現(xiàn) 在圖像B中EP1"上相同的點(diǎn)處。 立體對(duì)應(yīng)可接著如下實(shí)施。在任一圖像例如圖像A中某個(gè)位置處選 擇像素的特定組或"窗口"。只有沿著圖像B中某組對(duì)極線才能找到在圖 像A中選擇的像素的相似組。圖像B沿著這些對(duì)極線對(duì)像素的匹配組掃 描。當(dāng)找到匹配的像素組時(shí)，記下圖像B中的位置。我們現(xiàn)在知道每個(gè) 圖像A和B中匹配的像素窗口及其相應(yīng)的位置。兩個(gè)成像裝置之間的距 離連同對(duì)每個(gè)攝像機(jī)/成像裝置的圖像捕獲和投影的角是已知的。三角測(cè)量方法現(xiàn)在可用于確定在每個(gè)圖像中那些像素位置上成像的物體的三維 空間坐標(biāo)。該過(guò)程對(duì)每個(gè)像素組位置繼續(xù)，以對(duì)每個(gè)幀得到被成像的物體 的三維點(diǎn)云。
在包含反射圖樣的兩個(gè)圖像的立體深度解碼中，特征并非如在單個(gè)圖 像情況下那樣被解碼。更確切地，圖樣特征充當(dāng)非常密集的和高對(duì)比度"人
造紋理"。在兩個(gè)圖像之間比較像素的"窗口"，以找到匹配的像素區(qū)域。 而且，因?yàn)楫?dāng)使用當(dāng)前實(shí)施方式的投影技術(shù)時(shí)，特征類型不沿著對(duì)極線重 復(fù)自身，所以像素的每個(gè)小"窗口"沿著相應(yīng)的對(duì)極線是唯一的。此外， 這些窗口可不包括完全的圖樣特征，而僅僅是特征的部分。在任一情況下， 特征充當(dāng)沿著在被成像的物體的紋理的頂部上的對(duì)極線的唯一的"人造紋 理"。
在單個(gè)成像系統(tǒng)中可能導(dǎo)致特征識(shí)別錯(cuò)誤的表面包括例如高紋理表
面、透明和半透明表面以及黑暗表面。這是因?yàn)閊:影在高紋理表面上的編 碼光的特征可能變成變形的，因而作為從高紋理表面的反射的結(jié)果是不可 解碼的。雖然被反射的特征可能是不可譯碼的，但它們?nèi)詫⒀刂鴮?duì)極線的 唯一特征添加到已經(jīng)有紋理的圖像上。兩個(gè)被捕獲的二維圖像之間的比較 變得容易，因?yàn)槲ㄒ坏?窗口，，可彼此匹配。被反射的特征圖樣的相加有 助于立體匹配過(guò)程。在非紋理或低紋理表面例如墻壁或玻璃中，特征可從 一個(gè)圖像提取，如在前面的實(shí)施方式中描述的。
額外的成像設(shè)備因此首先提供"另外的機(jī)會(huì)"來(lái)得到給定圖像幀的給 定場(chǎng)景的深度坐標(biāo)?？傮w來(lái)說(shuō)，使用本實(shí)施方式的配置的給定場(chǎng)景的三維 坐標(biāo)被計(jì)算三次。在每個(gè)圖像中分開(kāi)地通過(guò)被反射的特征解碼一次，以及 第三次是來(lái)自第 一和第二圖像之間的對(duì)應(yīng)性的比較。
以下是系統(tǒng)幾何約束，加以系統(tǒng)幾何約束以便除了單個(gè)圖像解碼以外 還實(shí)現(xiàn)立體深度解碼。在第 一成像設(shè)備和投影儀之間以及在第二成像設(shè)備 和投影儀之間設(shè)置有時(shí)稱為基線的適當(dāng)位移。兩個(gè)成像設(shè)備理想地在投影 儀的相對(duì)側(cè)上，每個(gè)在離投影儀的180度處。因此，兩條基線彼此平行， 且三個(gè)光學(xué)中心(投影儀和兩個(gè)成像設(shè)備)在單線上或幾乎在單線上。投 影儀和成像設(shè)備的順序可變化。然而，對(duì)極分離技術(shù)施加了所有投影儀和成像設(shè)備都相對(duì)于彼此位于實(shí)質(zhì)上直線內(nèi)的約束。投影圖樣以適當(dāng)?shù)膬A角 被投影，如在上面的實(shí)施方式中描述的，以確保對(duì)極分離都沿著成像設(shè)備 和才殳影儀之間的對(duì)極場(chǎng)以及兩個(gè)成像i殳備之間的對(duì)極場(chǎng)。
實(shí)際上，可進(jìn)一步期望將投影儀更接近于成像設(shè)備之一比如第一成像 設(shè)備放置。第 一成像設(shè)備和投影儀之間的較小距離特別適合于從那些物體 反射的特征的解碼。第二成像設(shè)備和投影儀之間的中等位移特別適合于從 在更遠(yuǎn)處的物體反射的特征的解碼。最后，第一成像設(shè)備和第二成像設(shè)備 之間的大位移適合于遙遠(yuǎn)的被成像的物體的立體匹配。因?yàn)橥队皟x具有有 限的能量，投影圖樣可能常常不能到達(dá)遙遠(yuǎn)的物體。在這樣的情況下，通
匹配。因此，對(duì)立體匹配的任務(wù)保留最大的基線。
現(xiàn)在參考圖25,其為示出在產(chǎn)生城市地區(qū)的三維地圖的過(guò)程中的步 驟的簡(jiǎn)化流程圖。在圖25的例子中，城市地區(qū)不限于單個(gè)"規(guī)劃"或風(fēng) 景。相反，當(dāng)移動(dòng)的車輛在不同的位置時(shí)，例如通過(guò)將投影儀和/或成像 裝置安裝在移動(dòng)的車輛上并捕獲圖像，從不同位置和不同角度捕獲多個(gè)三 維圖像。
流程圖示出投影儀和兩個(gè)成像裝置的例子，但具有更多投影儀和成像 裝置的其它配置是可能的。如上解釋的，在當(dāng)前實(shí)施方式中使用至少兩個(gè) 成像裝置的原因是，除了到現(xiàn)在為止所描述的使用單個(gè)成像裝置的主動(dòng)三 角測(cè)量法以外，還實(shí)現(xiàn)立體深度測(cè)量。
該過(guò)程如下。首先，在步驟sl中，如在以前實(shí)施方式中的產(chǎn)生兩維 編碼光圖樣。該兩維圖樣應(yīng)構(gòu)造成使得上面討論的對(duì)極分離技術(shù)能夠被實(shí) 現(xiàn)。在以前實(shí)施方式中的圖樣P1特別適合于城市建模，因?yàn)閳D樣是可縮
放的，并可對(duì)城市物體被做得相當(dāng)大。其次，在步驟s2中，圖樣從安裝 在移動(dòng)車輛上的投影儀被投影到城市場(chǎng)景中的物體上。這些城市物體可包
括建筑物、汽車、植物、街道標(biāo)志、人或任何其它物體。如上討論的投影 _忮術(shù)確<呆對(duì)才及分離。
在步驟s3中，從優(yōu)選地以與場(chǎng)景成稍微不同的角度定位的兩個(gè)成像 裝置中的每個(gè)成像裝置捕獲圖像。圖像優(yōu)選地被同時(shí)捕獲，并顯示原始紋理和圖樣的合并。在步驟S4中，如在前面的實(shí)施方式中的，根據(jù)沿著相 應(yīng)的對(duì)極線的特征及其位置，兩個(gè)被捕獲的圖像中的每個(gè)被獨(dú)立分析。除 了步驟s4以外，在兩個(gè)圖像之間執(zhí)行使用如上所述的立體對(duì)應(yīng)的比較。
在該比較中，識(shí)別兩個(gè)圖像中類似的像素區(qū)域。如所討論的，類似的像素 區(qū)域指示了相同的成像位置出現(xiàn)在每個(gè)圖像中的何處。沿著其它圖像中某 些對(duì)極線搜索一個(gè)圖像中給定的像素區(qū)域，并找到對(duì)應(yīng)性。
現(xiàn)在，在步驟S5中找到每個(gè)圖像中的特征和原始圖樣之間的對(duì)應(yīng)性，
如上面的實(shí)施方式中描述的。此外，在步驟5中，計(jì)算兩個(gè)圖像中相應(yīng)的
像素"窗口"之間的相對(duì)位置。根據(jù)對(duì)應(yīng)性，使用三角測(cè)量找到三維空間
坐標(biāo)，見(jiàn)步驟s6。
如上所討論的，圖像之間的比較允許從富紋理表面、黑暗表面、局部 不平滑表面、透明表面、有光澤的表面等推導(dǎo)三維坐標(biāo)，而在單個(gè)圖樣條 件下這些表面可能被錯(cuò)誤地識(shí)別或根本不能被識(shí)別。在一起采用的被成像
的物體的3個(gè)三維坐標(biāo)映射允許成像場(chǎng)景的三維點(diǎn)云的構(gòu)造，如在步驟 s7中看到的。該點(diǎn)云可進(jìn)一步被處理，以得到網(wǎng)狀或三維表面，如在步 驟s8中看到的。三維表面可接著與來(lái)自額外的攝像機(jī)或CCD的紋理數(shù)據(jù) 一起被進(jìn)一步處理。也可增加城市場(chǎng)景的空中數(shù)據(jù)(aerial data )。這樣的 紋理和空中數(shù)據(jù)可補(bǔ)充通過(guò)步驟si-s8得到的深度三維深度圖。
一般通過(guò)圖像處理設(shè)備或本領(lǐng)域中已知的各種設(shè)備實(shí)施步驟s4到 s9。紋理數(shù)據(jù)可用很多方法獲得。 一種方法是通過(guò)增加額外的CCD。另 一種是通過(guò)將可調(diào)濾波器添加到單個(gè)"可轉(zhuǎn)換的"CCD,以便在某些時(shí) 間間隔CCD捕獲圖樣，因而捕獲深度信息，而在其它時(shí)間間隔CCD捕 獲紋理信息。又一方法是通過(guò)簡(jiǎn)單地增加紋理專用攝像機(jī)以與深度捕獲系 統(tǒng)并行工作。
如所述，在優(yōu)選實(shí)施方式中使用的單個(gè)圖樣方法允許成像/投影儀系 統(tǒng)和成像^i市物體之間的相對(duì)運(yùn)動(dòng)。因此，該方法和裝置特別適合于一種 實(shí)現(xiàn)，其中成像裝置安裝在以不同速度在整個(gè)城市環(huán)境中移動(dòng)的地面車輛 上。
為了獲得在三維中的動(dòng)態(tài)場(chǎng)景建模，重復(fù)步驟s2到s8,并獲得一序
78列三維圖像。來(lái)自移動(dòng)物體的數(shù)據(jù)處理可通過(guò)適當(dāng)?shù)奶幚碥浖陀布?shí)時(shí) 地出現(xiàn)，以從物體的三維點(diǎn)云及其隨著時(shí)間的過(guò)去在三維空間中的運(yùn)動(dòng)得 到表面和形狀。
因?yàn)閳D25中的本實(shí)施方式可通過(guò)單個(gè)圖樣結(jié)構(gòu)光代碼的投影來(lái)實(shí) 現(xiàn)，圖像捕獲的速度一般只被圖樣在其中實(shí)現(xiàn)的成像裝置的速度限制，因 而對(duì)城市風(fēng)景的快速三維建模是可能的。城市場(chǎng)景建模的上面的實(shí)施方式 不是限制性的，且利用立體解碼方法和裝置的其它實(shí)施方式是可能的。
被動(dòng)或主動(dòng)的立體匹配提供對(duì)成像場(chǎng)景的非常密集的采樣。這是因?yàn)?比如第 一 圖像的任何給定像素的內(nèi)容提供相對(duì)于在第二圖像中出現(xiàn)的相 同內(nèi)容的不一致性測(cè)量。該不一致性測(cè)量對(duì)每個(gè)給定像素意味著深度值。
所以如果CCD傳感器包含X個(gè)像素，則得到X深度坐標(biāo)。
相反，在如上解釋的單個(gè)圖像的解碼中，被解碼的每個(gè)特征在傳感器
上具有某個(gè)空間區(qū)域。讓我們假定一般有IO個(gè)方形像素，所以解碼的二 維圖像具有X/10深度坐標(biāo)，從該二維圖像對(duì)三維空間坐標(biāo)作三角測(cè)量。 所以立體匹配實(shí)現(xiàn)具有IO倍之多的深度坐標(biāo)，因而有較密集的采樣。
而且，在立體匹配中，通過(guò)執(zhí)行兩個(gè)被捕獲的圖像的兩個(gè)向上采樣的 版本之間的匹配過(guò)程，子像素分辨率是可能的。例如，在兩個(gè)圖像中的每 個(gè)中，像素的每個(gè)4x4塊被4倍向上采樣，達(dá)到大小為16x 16像素塊。 在第一圖像中選擇某個(gè)向上采樣的塊。接著在第二圖像中搜索與像素的該 向上采樣的塊類似的塊。像素之間的對(duì)應(yīng)性現(xiàn)在是就向上采樣的像素而言 的。所以如果在兩個(gè)圖像之間發(fā)現(xiàn)比如21個(gè)像素的不一致性，則這等于 21/4=5.25個(gè)原始像素。剩余的四分之一像素是是就原始圖像分辨率的子 像素分辨率而言的。
本發(fā)明的基于運(yùn)動(dòng)的三維圖像捕獲和深度測(cè)量的方法和裝置對(duì)醫(yī)學(xué) 成像領(lǐng)域有特定的應(yīng)用。對(duì)于靜止和移動(dòng)的表面解剖的建模，可實(shí)時(shí)地計(jì) 算在三維中確定解剖表面部分的形狀和尺寸的表面圖像?？蛇M(jìn)一步處理通 過(guò)上面的實(shí)施方式確定的三維點(diǎn)云，以得到物體的表面和形狀以及其隨著 時(shí)間的過(guò)去在三維空間中的運(yùn)動(dòng)。這些表面和形狀稱為三角剖分 (triangulation mesh)。這樣的三維建模數(shù)據(jù)可能對(duì)各種醫(yī)學(xué)應(yīng)用特別有用，包括但不限于用 于肺瘤分析、皮膚生長(zhǎng)分析、骨骼結(jié)構(gòu)分析、牙齒外科應(yīng)用、上頷面和其 它切骨手術(shù)、皮膚癌和黑素瘤診斷、修復(fù)術(shù)應(yīng)用、康復(fù)目的、運(yùn)動(dòng)醫(yī)學(xué)應(yīng) 用和整形外科以及其它美容醫(yī)療過(guò)程的外部三維成像。
列舉幾個(gè)，在重建、整形和牙齒外科的領(lǐng)域中，生物力學(xué)建模在手術(shù) 規(guī)劃和術(shù)后復(fù)查中可利用人體測(cè)量數(shù)據(jù)的動(dòng)態(tài)三維建模。手術(shù)的預(yù)期美容 結(jié)果對(duì)患者很重要，且當(dāng)前實(shí)施方式的成像系統(tǒng)允許三維的軟組織預(yù)測(cè)。 解剖變化的術(shù)后復(fù)查，例如乳房假體和縮小、皮膚填充物、面部和頸部除 皺術(shù)可通過(guò)使用當(dāng)前實(shí)施方式的三維成像系統(tǒng)來(lái)實(shí)現(xiàn)。
對(duì)于解剖部分的康復(fù)應(yīng)用骨架建模，例如在美國(guó)專利號(hào)6,133,921中 討論的骨架建模可根據(jù)三維點(diǎn)云的分析來(lái)實(shí)施?？山又鴪?zhí)行骨架模型的運(yùn) 動(dòng)分析。在牙齒應(yīng)用的領(lǐng)域中，三維輔助建模和其它面部骨骼分析是可能 的。其它應(yīng)用包括腫瘤形狀和尺寸的測(cè)量、重建的手術(shù)規(guī)劃和診斷、牙齒 和整形外科、修復(fù)術(shù)、康復(fù)和皮膚癌分析。
現(xiàn)在參考圖26，其為示出在根據(jù)本發(fā)明的表面解剖的三維圖像捕獲 過(guò)程中的步驟的簡(jiǎn)化流程圖。在步驟300中，產(chǎn)生兩維編碼光圖樣。接著， 在步驟302中，所產(chǎn)生的圖樣投影到外部解剖部分上。因?yàn)槠つw表面是自 然的低紋理表面，當(dāng)前實(shí)施方式的結(jié)構(gòu)光圖樣自然適合于皮膚表面成像。 在步驟304中，解剖部分的二維成像和反射圖樣被成像設(shè)備捕獲。在步驟 306中，被捕獲的圖像被發(fā)送到處理器，用于提取被反射的特征類型及其 在被捕獲的圖像中沿著相應(yīng)的對(duì)極線的位置。在步驟308，使特征沿著其 對(duì)極線的位置接著與反射該特征的成像解剖部分上的三維坐標(biāo)相關(guān)。沿著 對(duì)極線的特征位置和三維空間坐標(biāo)之間這個(gè)對(duì)應(yīng)過(guò)程確定解剖形狀。該過(guò) 程通過(guò)三角測(cè)量技術(shù)實(shí)施，如上所討論的。對(duì)于二維圖像中的每個(gè)被識(shí)別 的特征，因此得到指示特征從解剖部分反射的空間中的點(diǎn)的相應(yīng)的三維坐 標(biāo)。通過(guò)所有這樣的三維坐標(biāo)的編制，在步驟310得到三維點(diǎn)云，其給出 成像解剖部分的三維圖。如果解剖部分移動(dòng)，則重復(fù)步驟304到310,并 得到空間中的三維坐標(biāo)的序列。在步驟312,該序列包括隨著時(shí)間的過(guò)去 設(shè)置的點(diǎn)云數(shù)據(jù)，據(jù)此可產(chǎn)生運(yùn)動(dòng)中的骨架。在優(yōu)選實(shí)施方式中，該靜止或動(dòng)態(tài)骨架模型被進(jìn)一步處理，并優(yōu)選地 輸出到二維或三維屏幕用于觀看。如所述，可對(duì)靜止或運(yùn)動(dòng)的解剖實(shí)時(shí)地 處理三維坐標(biāo)。通過(guò)后處理，例如，點(diǎn)云和/或骨架模型被傳輸?shù)奖硎境?像解剖部分的尺寸的三維表面中。處于運(yùn)動(dòng)或靜止的三維成像表面可用在 附圖的底部所示出的和上面所討論的應(yīng)用中。
在可選實(shí)施方式中，特別是在修復(fù)術(shù)或康復(fù)應(yīng)用中，解剖部分可用布 (clothing)或其它材料覆蓋。而且，上面的實(shí)施方式可與額外的成像設(shè)備特 別是基于 一 個(gè)或多個(gè)紋理的成像設(shè)備一起實(shí)現(xiàn)，以得到紋理信息連同深度
信息。這樣的實(shí)現(xiàn)的例子包括RGBZ、椅背板(splat)、彩色體素和紋理表 面。 一般，這些實(shí)現(xiàn)包括增加紋理專用的攝像機(jī)以與深度捕獲系統(tǒng)并行地
及通過(guò)避免阻塞的增加的可見(jiàn)度。而且，這樣的額外基于紋理的攝像機(jī)允 許高對(duì)比度、高紋理的非平滑表面例如毛發(fā)的重建。
而且，其它實(shí)施方式可優(yōu)選地利用如上所述的第二成像設(shè)備。立體主 動(dòng)三角測(cè)量技術(shù)提供了 一些優(yōu)點(diǎn)。在所得到的三維圖像中出現(xiàn)較少的阻 塞，因?yàn)槲矬w或解剖元件現(xiàn)在從多于一個(gè)的視點(diǎn)成像。對(duì)于上面提到的高 對(duì)比度、高紋理的表面，例如被毛發(fā)、斑點(diǎn)、黑素瘤覆蓋的身體部分，立 體成像被優(yōu)選為如上討論的。最后，使用如上討論的立體匹配也得到較高 的分辨率。因?yàn)槿祟惿眢w通常是低紋理表面，對(duì)于需要靜止或移動(dòng)的身體 部分的幾何形狀的大多數(shù)應(yīng)用，利用單個(gè)圖像解碼和三維空間坐標(biāo)推導(dǎo)。
很多醫(yī)學(xué)應(yīng)用需要三維運(yùn)動(dòng)捕獲，用于解剖運(yùn)動(dòng)分析。而且，人類身 體即使在休息時(shí)也不是靜止的。作為結(jié)果，密集的采樣對(duì)每個(gè)幀是必要的。
當(dāng)前實(shí)施方式的基于運(yùn)動(dòng)的三維圖像捕獲和深度測(cè)量的仍然進(jìn)一步 的應(yīng)用在機(jī)動(dòng)車領(lǐng)域。 一個(gè)重要的應(yīng)用是機(jī)動(dòng)車輛的三維備援?dāng)z像機(jī) (backup camera )。測(cè)量在倒車的車輛^各徑中的可能障礙的深度并及時(shí)警 告駕駛員的能力是重要的安全需要。對(duì)于在倒車的車輛的路徑中的任何給 定的被識(shí)別的物體，期望確定物體的分類，例如尺寸、準(zhǔn)確的位置、物體 -車輛相對(duì)速度和重要地物體有生命的還是無(wú)生命的。
在圖27中示出機(jī)動(dòng)車應(yīng)用的一般流程圖。如上所提到的，至少一個(gè)
81投影儀和至少一個(gè)傳感器裝置安裝在車輛的后側(cè)上。在步驟324,投影儀
可能使用來(lái)自激光LED投影儀的IR光來(lái)投影二維編碼光圖樣。圖樣在限 定的側(cè)面和深度范圍內(nèi)，在車輛后面從靜止和移動(dòng)的物體^皮反射。傳感器 接著捕獲反射圖樣和紋理信息，如在步驟326所看到的。在步驟328，該 數(shù)據(jù)接著被車栽處理單元處理，以識(shí)別特征及其在二維圖像中沿著相應(yīng)的 對(duì)極線的位置。在步驟332，特征的這些位置接著對(duì)應(yīng)到被識(shí)別的物體的 距離。這些距離接著用于可聽(tīng)得見(jiàn)地或在用于距離的儀表板上的顯示屏上 可見(jiàn)地警告駕駛員。該過(guò)程隨著時(shí)間的過(guò)去連續(xù)重復(fù)，以向駕駛員提供連 續(xù)的實(shí)時(shí)信息。
優(yōu)選實(shí)施方式利用窄帶單色成像，其比捕獲彩色圖像簡(jiǎn)單和便宜。單 色成像允許低成本不可見(jiàn)IR光的投影。
預(yù)期在患者的生命期間，很多相關(guān)的設(shè)備和系統(tǒng)將發(fā)展，且在這里術(shù) 語(yǔ)的范圍被規(guī)定為先驗(yàn)地包括所有這樣的新技術(shù)。
術(shù)語(yǔ)"光圖樣"、"光代碼"和"光代碼圖樣"在這里用于指任何光編 碼技術(shù)，包括但不限于結(jié)構(gòu)光、編碼光和本領(lǐng)域中已知的其它等效形式。
術(shù)語(yǔ)"對(duì)極共線"簡(jiǎn)單地指兩個(gè)獨(dú)立的特征在給定二維圖像中相同的 對(duì)極線上出現(xiàn)。
術(shù)語(yǔ)"反射點(diǎn)距離圖像點(diǎn)位置關(guān)系"指被捕獲的二維圖像中的每個(gè) 點(diǎn)和三維空間中的點(diǎn)之間的一對(duì)一關(guān)系。可例如在非易失性存儲(chǔ)器如閃存 中提供該關(guān)系。
術(shù)語(yǔ)"特征類型不同類多個(gè)(feature-type-inhomogeneous plurality )，' 指一組特征，其中每個(gè)特征是唯一的。
由這里描述的方法和裝置成像的物體可以被可選地稱為"目標(biāo)場(chǎng)景" 或在校準(zhǔn)的情況下為"校準(zhǔn)場(chǎng)景"。
除了其它圖像捕獲裝置以外，也可使用光電探測(cè)器的二維陣列。
術(shù)語(yǔ)"不受對(duì)極線排序影響"等效于說(shuō)"不受場(chǎng)景距離影響"。
應(yīng)認(rèn)識(shí)到，為了清楚而在分開(kāi)的實(shí)施方式的上下文中描述的本發(fā)明的某些特征也可結(jié)合單個(gè)實(shí)施方式被提供。相反，為了簡(jiǎn)潔而在單個(gè)實(shí)施方 式的上下文中描述的本發(fā)明的各種特征也可分開(kāi)地或在任何適當(dāng)?shù)淖咏M 合中被提供。
雖然結(jié)合其中的特定實(shí)施方式描述了本發(fā)明，顯然很多可選、更改和 變化形式將對(duì)本領(lǐng)域技術(shù)人員是很明顯。因此，意圖是包括落在所附權(quán)利 要求的實(shí)質(zhì)和大范圍內(nèi)的所有這樣的可選、更改和變化形式。在本說(shuō)明書(shū) 中提到的所有公布、專利和專利申請(qǐng)?jiān)谶@里都通過(guò)引用被全部并入本說(shuō)明 書(shū)中，以達(dá)到好像每個(gè)單獨(dú)的公布、專利和專利申請(qǐng)被特別和單獨(dú)地指示 為在這里通過(guò)引用被并入的相同程度。此外，在本申請(qǐng)中任何參考資料的 引用或識(shí)別不應(yīng)被解釋為承認(rèn)本發(fā)明可利用這樣的引用作為現(xiàn)有技術(shù)。
權(quán)利要求
1.一種方法，其用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二維圖像中的物體的三維形狀，所述二維圖像以可辨別的幾何分離的對(duì)極線為特征，所述方法包括提供具有多個(gè)不同的特征類型的二維編碼光圖樣，每個(gè)特征類型根據(jù)唯一的二維構(gòu)成是可辨別的，將所述編碼光圖樣投影到所述物體上，捕獲具有投影在所述物體上的所述被投影的編碼光圖樣的所述物體的二維圖像，所述被捕獲的二維圖像包括被反射的所述特征類型，根據(jù)所述唯一的二維構(gòu)成提取所述被反射的特征類型，以及提取所述特征類型在所述被捕獲的圖像中相應(yīng)的所述對(duì)極線上的位置。
2. 如權(quán)利要求1所述的方法，其中所述被反射的特征類型沿著相應(yīng) 的對(duì)極線的所述位置根據(jù)三角測(cè)量確定所述被成像的物體的相應(yīng)的三維 空間坐標(biāo)。
3. 如權(quán)利要求2所述的方法，其中所述三維空間坐標(biāo)的編制包括三 維點(diǎn)云。
4. 如權(quán)利要求3所述的方法，其中所述三維點(diǎn)云被進(jìn)一步處理以構(gòu) 成三維網(wǎng)格。
5. 如權(quán)利要求4所述的方法，其中所述三維網(wǎng)格被進(jìn)一步處理以添 加所述被成像的物體的紋理數(shù)據(jù)。
6. 如權(quán)利要求2所述的方法，其中通過(guò)所述被捕獲的圖像中所述被 反射的特征類型的位置與所述被投影的圖樣中相同的所述特征類型的位 置之間的對(duì)應(yīng)來(lái)計(jì)算所述三角測(cè)量。
7. 如權(quán)利要求l所述的方法，其中所述編碼光圖樣是重復(fù)的周期性圖樣。
8. 如權(quán)利要求1所述的方法，其中所述編碼光圖樣是非周期性圖樣。
9. 如權(quán)利要求l所述的方法，其中所述被投影的編碼光圖樣投影成 使得每個(gè)所述可識(shí)別的特征類型在所述可辨別的對(duì)極線的預(yù)定部分上至 多出現(xiàn)一次。
10. 如權(quán)利要求9所述的方法，其中所述對(duì)極線的所述預(yù)定部分包括 所述被捕獲的圖像中的對(duì)極線的整個(gè)長(zhǎng)度。
11. 如權(quán)利要求9所述的方法，其中所述對(duì)極線的所述預(yù)定部分是所述被捕獲的圖像中的對(duì)極線的長(zhǎng)度的部分。
12. 如權(quán)利要求9所述的方法，其中所述編碼光圖樣的所述投影與所 述對(duì)極線成預(yù)定的最佳角。
13. 如權(quán)利要求12所述的方法，其中所述預(yù)定的最佳投影角與所述 編碼光圖樣的尺寸相適應(yīng)。
14. 如權(quán)利要求12所述的方法，其中所述預(yù)定的最佳投影角與可辨 別的對(duì)極線之間的水平距離相適應(yīng)。
15. 如權(quán)利要求1所述的方法，其中根據(jù)唯一的二維構(gòu)成對(duì)所述特征 類型的所述提取步驟包括確定a) 包括所述特征類型的元素；b) 所述特征類型的所述元素之間的對(duì)極距離。
16. 如權(quán)利要求15所述的方法，其中特征的所述元素是在傳感器的 像素區(qū)域上的二維光強(qiáng)度構(gòu)成。
17. 如權(quán)利要求16所述的方法，其中通過(guò)在相鄰的采樣像素值中定 位光強(qiáng)度的臨界點(diǎn)來(lái)識(shí)別所述構(gòu)成。
18. 如權(quán)利要求15所述的方法，其中所述元素是二進(jìn)制值。
19. 如權(quán)利要求15所述的方法，其中所述元素的位置被表示為所述 二維圖像中的兩維坐標(biāo)。
20. 如權(quán)利要求15所述的方法，其中所述元素之間的所述對(duì)極距離 是恒定的。
21. 如權(quán)利要求15所述的方法，其中所述元素之間的所述對(duì)極距離變化。
22. 如權(quán)利要求1所述的方法，其中所述唯一的二維構(gòu)成包括譜編碼。
23. 如權(quán)利要求1所述的方法，其中所述被捕獲的圖像在每個(gè)連續(xù)的 時(shí)間幀;波捕獲。
24. 如權(quán)利要求23所述的方法，其中對(duì)于每個(gè)所述被捕獲的圖像， 沿著相應(yīng)的對(duì)極線的所述被反射的特征類型根據(jù)三角測(cè)量確定所述被成 像的物體的相應(yīng)的三維空間坐標(biāo)。
25. 如權(quán)利要求24所述的方法，其中一系列幀的所有這樣的幀的所 述三維坐標(biāo)構(gòu)成提供三維運(yùn)動(dòng)捕獲的視頻流。
26. 如權(quán)利要求25所述的方法，其中所述三維坐標(biāo)被實(shí)時(shí)地計(jì)算以 提供三維運(yùn)動(dòng)捕獲的實(shí)時(shí)視頻流。
27. 如權(quán)利要求1所述的方法，其中所述二維編碼光圖樣通過(guò)將多個(gè) 編碼矩陣疊加在菱形圖樣上來(lái)產(chǎn)生，所述矩陣包括從Debruijn序列得到 的二進(jìn)制值。
28. 如權(quán)利要求27所述的方法，進(jìn)一步包括對(duì)具有疊加的編碼矩陣 的所述菱形圖樣進(jìn)行高斯平滑。
29. —種裝置，其用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二維 圖像中的物體的三維形狀，所述二維圖像以可辨別的幾何分離的對(duì)極線為 特征，所述裝置包括具有多個(gè)不同的特征類型的二維編碼光圖樣，每個(gè)特征類型根據(jù)唯一 的二維構(gòu)成是可辨別的，投影儀，其用于將所述編碼光圖樣投影到所述物體上， 圖樣的所述物體的圖像，所述被捕獲的圖像包括被反射的所述特征類型，以及解碼器，其配置成a) 根據(jù)所述唯一的二維構(gòu)成提取所述被反射的特征類型，b) 提取所述特征類型在所述被捕獲的圖像中相應(yīng)的所述對(duì)極線 上的位置。
30. 如權(quán)利要求29所述的裝置，其中所述被反射的特征類型沿著相 應(yīng)的對(duì)極線的所述位置根據(jù)三角測(cè)量確定所述被成像的物體的相應(yīng)的三 維空間坐標(biāo)。
31. 如權(quán)利要求29所述的裝置，其進(jìn)一步配置成在對(duì)所述物體的所 述成像期間相對(duì)于所述物體在三維中移動(dòng)。
32. 如權(quán)利要求29所述的裝置，其進(jìn)一步配置成捕獲相對(duì)于所述裝 置在三維中移動(dòng)的所述物體的所述圖像。
33. —種方法，其用于從二維視頻圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述 二維視頻圖像中的移動(dòng)物體的三維形狀，所述二維視頻圖像的每個(gè)幀以可 辨別的幾何分離的對(duì)極線為特征，所述方法包括提供具有多個(gè)不同的特征類型的二維編碼光圖樣，每個(gè)特征類型根據(jù) 唯一的二維構(gòu)成是可辨別的，將所述編碼光圖樣投影到所述移動(dòng)物體上，捕獲具有投影在所述移動(dòng)物體上的所述被投影的編碼光圖樣的所迷 移動(dòng)物體的所述二維視頻圖像，所述被捕獲的二維視頻圖像包括被反射的所述特征類型，以及對(duì)于所述視頻圖像的每個(gè)被捕獲的幀a) 根據(jù)所述唯一的二維構(gòu)成提取所述被反射的特征類型，b) 提取所述特征類型在相應(yīng)的所述對(duì)極線上的位置。
34. 如權(quán)利要求33所述的方法，其中，對(duì)于每個(gè)被捕獲的幀，所述 被反射的特征類型沿著相應(yīng)的對(duì)極線的所述位置根據(jù)三角測(cè)量確定所述 -波成Y象的物體的相應(yīng)的三維空間坐標(biāo)。
35. 如權(quán)利要求33所述的方法，其中對(duì)于每個(gè)投影，每個(gè)所述可識(shí)
36. —種裝置，其用于從二維視頻圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述 二維視頻圖像中的移動(dòng)物體的三維形狀，所述二維視頻圖像的每個(gè)幀以可 辨別的幾何分離的對(duì)極線為特征，所述裝置包括具有多個(gè)不同的特征類型的二維編碼光圖樣，每個(gè)特征類型4艮據(jù)唯一 的二維構(gòu)成是可辨別的，投影儀，其用于將所述編碼光圖樣投影到所述移動(dòng)物體上，成像設(shè)備，其用于捕獲具有投影在所述移動(dòng)物體上的所述被投影的編 碼光圖樣的所述移動(dòng)物體的所述二維視頻圖像，所述被捕獲的二維視頻圖 像包括被反射的所述特征類型，以及解碼器，其配置成a) 根據(jù)所述唯一的二維構(gòu)成提取所述被反射的特征類型，b) 對(duì)于所述視頻圖像的每個(gè)被捕獲的幀，提取所述特征類型在 相應(yīng)的所述對(duì)極線上的位置。
37. 如權(quán)利要求36所述的裝置，其中，對(duì)于每個(gè)被捕獲的幀，所述 被反射的特征類型沿著相應(yīng)的對(duì)極線的所述位置根據(jù)三角測(cè)量確定所述 被成像的物體的相應(yīng)的三維空間坐標(biāo)。
38. —種方法，其用于獲得包括一個(gè)或多個(gè)物體的場(chǎng)景的距離數(shù)據(jù)， 所述方法包括將具有多個(gè)不同的特征類型的二維編碼光圖樣投影到所述場(chǎng)景上，以 便從所述場(chǎng)景中不同的相應(yīng)反射位置反射所述光圖樣的每個(gè)特征，所述特 征類型根據(jù)二維構(gòu)成在所述圖樣上可辨別為唯一的，捕獲所述場(chǎng)景的二維圖像，所述二維圖像包括所述被反射的特征，對(duì)出現(xiàn)在所述二維圖像中的每個(gè)所述被反射的特征a) 根據(jù)所述唯一的二維構(gòu)成確定相應(yīng)的特征類型，b) 確定所述特征類型在相應(yīng)的所述對(duì)極線上的位置，根據(jù)所述相應(yīng)的確定的特征類型并根據(jù)所述相應(yīng)的確定的對(duì)極線位 置，對(duì)所述每個(gè)被反射的特征得到相應(yīng)的相關(guān)反射點(diǎn)的相應(yīng)距離。
39. 如權(quán)利要求38所述的方法，其中所述相應(yīng)距離的編制包括所述 被成像的物體的三維幾何形狀。
40. 如權(quán)利要求38所述的方法，其中對(duì)所述相應(yīng)的對(duì)極線位置的所述確定包括產(chǎn)生所述被捕獲的圖像中所述相應(yīng)的確定的特征類型與所述 被投影的圖樣中相同的所述特征類型的位置之間的關(guān)聯(lián)。
41. 在包括圖樣投影裝置和圖像捕獲裝置的系統(tǒng)中，所述圖樣投影裝 置操作地將多特征類型二維光圖樣投影到場(chǎng)景上使得所述多特征類型二 維光圖樣的每個(gè)特征從相應(yīng)的反射點(diǎn)反射，所述圖像捕獲裝置操作地捕獲 所述場(chǎng)景的二維圖像，所述二維圖像包括所述被反射的特征， 一種獲得場(chǎng) 景數(shù)據(jù)的方法，所述方法包括a) 對(duì)于包括根據(jù)唯一的二維構(gòu)成可辨別的特征的特征集合中的每個(gè) 特征，其中所述二維光圖樣的第 一特征類型不同類的多個(gè)對(duì)極共線特征與 第 一對(duì)極線相關(guān)，而第二特征類型不同類的多個(gè)對(duì)極共線特征與不同于所 述第 一對(duì)極線的第二對(duì)極線相關(guān)，提供相應(yīng)的反射點(diǎn)距離圖像點(diǎn)位置關(guān) 系的相應(yīng)描述，從而提供多個(gè)所述反射點(diǎn)距離圖像點(diǎn)位置關(guān)系，b) 對(duì)于目標(biāo)場(chǎng)景的被捕獲的二維圖像，對(duì)所述特征集合中的每個(gè)特 征，從所述場(chǎng)景的所述被捕獲的二維圖像根據(jù)所述唯一的二維構(gòu)成確定相 應(yīng)的特征類型并確定所述每個(gè)特征的相應(yīng)的對(duì)極線標(biāo)識(shí)；c) 對(duì)所述特征集合中的所述每個(gè)特征，根據(jù)所述確定的特征類型和 所述對(duì)極線標(biāo)識(shí)，使所述每個(gè)特征與從所述多個(gè)反射點(diǎn)距離圖像點(diǎn)位置 關(guān)系選4奪的相應(yīng)的所述反射點(diǎn)距離圖像點(diǎn)位置關(guān)系關(guān)聯(lián)；以及d) 對(duì)所述特征集合中的所述每個(gè)特征，使用所述相應(yīng)的選定的反射 點(diǎn)距離圖像點(diǎn)位置關(guān)系來(lái)從所述目標(biāo)場(chǎng)景的所述被捕獲的二維圖像中的 位置確定所述目標(biāo)場(chǎng)景中相應(yīng)的反射點(diǎn)的位置。
42. —種系統(tǒng)，其用于從目標(biāo)場(chǎng)景獲得場(chǎng)景數(shù)據(jù)，所述系統(tǒng)包括a)圖樣^投影裝置，其操作地將具有多個(gè)不同的特征類型的二維編碼光圖樣投影到所述場(chǎng)景上，以便每個(gè)特征從相應(yīng)的反射點(diǎn)反射，所述特征 類型根據(jù)二維構(gòu)成在所述圖樣中可辨別為唯一的，b) 圖像捕獲裝置，其操作地捕獲所述場(chǎng)景的二維圖像，所述二維圖像包括所述被反射的特征；以及c) 圖像處理元件，其對(duì)所述二維圖像的每個(gè)所述被反射的特征操作來(lái)i) 對(duì)每個(gè)所述被反射的特征A. 根據(jù)所述唯一的二維構(gòu)成確定特征類型；B. 確定相應(yīng)的對(duì)一及線位置；以及ii) 根據(jù)所述相應(yīng)的確定的特征類型并根據(jù)所述相應(yīng)的確定的對(duì) 極線位置，對(duì)每個(gè)所述被反射的特征得出相應(yīng)的相關(guān)反射點(diǎn)的相應(yīng)距離。
43. —種系統(tǒng)，其用于從目標(biāo)場(chǎng)景獲得場(chǎng)景數(shù)據(jù)，所述系統(tǒng)包括a) 圖樣投影裝置，其操作地將具有多個(gè)不同的特征類型的二維編碼 光圖樣投影到所述場(chǎng)景上，以便每個(gè)特征從相應(yīng)的反射點(diǎn)反射，所述特征 類型根據(jù)二維構(gòu)成在所述圖樣中可辨別為唯一的，b) 圖像捕獲裝置，其操作地捕獲場(chǎng)景的二維圖像，所述二維圖像包 括所述被反射的特征，所述圖樣投影裝置和所述圖像捕獲裝置配置成使得 每個(gè)所述被反射的特征以不受場(chǎng)景距離影響的方式保持在所述被捕獲的 二維圖像中確定的對(duì)極線上；以及c) 圖像處理元件，其操作來(lái)i)根據(jù)所述二維圖像中的所述特征的所述唯一的二維構(gòu)成對(duì)每 個(gè)被反射的特征確定相應(yīng)的特征類型
44. 一種系統(tǒng)，其用于從目標(biāo)場(chǎng)景獲得場(chǎng)景數(shù)據(jù)，所述系統(tǒng)包括a)圖樣投影裝置，其操作地將具有多個(gè)不同的特征類型的二維編碼 光圖樣投影到所述場(chǎng)景上，以便每個(gè)特征從相應(yīng)的反射點(diǎn)反射，所述特征 類型根據(jù)二維構(gòu)成在所述圖樣中可辨別為唯一的，b)圖像捕獲裝置，其操作來(lái)捕獲所述場(chǎng)景的二維圖像，所述二維圖 像包括所述被反射的特征，其中所迷圖樣投影裝置和所述圖像捕獲裝置以 不受離所述目標(biāo)場(chǎng)景的距離影響的方式操作，使得對(duì)于在所述被捕獲的二維圖像中的多線對(duì)極線集合中的每個(gè)不同的對(duì)極線i) 所述二維光圖樣的特征類型不同類的多個(gè)投影特征存在于所述每個(gè)對(duì)極線上；ii) 至多一個(gè)特征類型存在于所述每個(gè)對(duì)極線上。
45. —種方法，其用于確定出現(xiàn)在兩個(gè)得到的二維圖像中的被成像的 物體的三維形狀，所述得到的圖像通過(guò)限定的對(duì)極場(chǎng)彼此相關(guān)，所述方法 包括提供具有多個(gè)不同的特征類型的二維編碼光圖樣，每個(gè)特征類型根據(jù) 唯一的二維構(gòu)成是可辨別的，將所述編碼光圖樣投影到所述被成像的物體上，捕獲所述被成像的物體的第一二維圖像，捕獲所述被成像的物體的第二二維圖像，選擇所述第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PX1上的內(nèi)容被約 束為出現(xiàn)在所述第二二維圖像中特定的對(duì)極線EPm上，在所述第二圖像中沿著所述對(duì)極線EPm找到PX1的所述內(nèi)容，以及確定在所述第一圖像和所述第二圖像之間的PX的所述內(nèi)容的出現(xiàn) 的相對(duì)位置。
46. 如權(quán)利要求45所述的方法，其中PX1內(nèi)容的所述出現(xiàn)的所述相 對(duì)位置根據(jù)三角測(cè)量確定被成像的物體的相應(yīng)的三維空間坐標(biāo)。
47. 如權(quán)利要求46所述的方法，其中所述被成像的物體是在城市場(chǎng) 景中的物體，且所述三維空間坐標(biāo)用于對(duì)所述場(chǎng)景進(jìn)行三維建模。
48. —種裝置，其用于確定出現(xiàn)在兩個(gè)得到的二維圖像中的被成像的 物體的三維形狀，所述二維圖像從至少兩個(gè)實(shí)質(zhì)上相鄰的成像設(shè)備得到， 所述圖像通過(guò)限定的對(duì)極場(chǎng)彼此相關(guān)，所述裝置包括具有多個(gè)不同的特征類型的二維編碼光圖樣，每個(gè)特征類型根據(jù)唯一 的二維構(gòu)成是可辨別的，投影儀，其用于將所述編碼光圖樣投影到所述被成像的物體上，第 一成像設(shè)備，其用于捕獲所述被成像的物體的第一二維圖像，第二成像設(shè)備，其用于捕獲所述被成像的物體的第二二維圖像，圖像處理設(shè)備，其用于a) 選擇所述第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PX1上的內(nèi) 容被約束為出現(xiàn)在所述第二二維圖像中的特定的對(duì)極線EPm上，b) 在所述第二圖像中沿著所述對(duì)極線EPm找到PX1的所述內(nèi)容，以及c) 確定在所述第一圖像和所述第二圖像之間的PX1的所述內(nèi)容 的出現(xiàn)的相對(duì)位置。
49. 如權(quán)利要求48所述的裝置，其中PX1內(nèi)容的所述出現(xiàn)的所述相 對(duì)位置根據(jù)三角測(cè)量確定被成像的物體的相應(yīng)的三維空間坐標(biāo)。
50. 如權(quán)利要求49所述的裝置，其中所述被成像的物體是在城市場(chǎng) 景中的物體，且所述三維空間坐標(biāo)用于對(duì)所述場(chǎng)景進(jìn)行三維建模。
51. —種基于三角測(cè)量的方法，其用于對(duì)城市場(chǎng)景的三維建模，所述 方法捕獲具有投影在所述城市場(chǎng)景上的被投影的結(jié)構(gòu)光圖樣的所述城市 場(chǎng)景的至少兩個(gè)圖像，所述圖像通過(guò)限定的對(duì)極場(chǎng)彼此相關(guān)，每個(gè)圖像進(jìn) 一步具有與投影儀有關(guān)的額外的對(duì)極場(chǎng)，所述方法包括提供具有多個(gè)不同的特征類型的二維編碼光圖樣，每個(gè)特征類型根據(jù) 唯一的二維構(gòu)成是可辨別的，將編碼光圖樣投影到所述城市場(chǎng)景上，捕獲包括被反射的所述特征類型的、所述城市場(chǎng)景的第一二維圖像， 捕獲包括被反射的所述特征類型的、所述城市場(chǎng)景的第二二維圖像， 選擇所述第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PX1上的內(nèi)容被約束為出現(xiàn)在所述第二二維圖像中特定的對(duì)極線EPm上，在所述第二圖像中沿著所述對(duì)極線EPm找到PX1的所述內(nèi)容，以及確定在所述第一圖像和所述第二圖像之間的PX1的所述內(nèi)容的出現(xiàn) 的相對(duì)位置，以及獨(dú)立地對(duì)于每個(gè)所述被捕獲的圖像，進(jìn)一步根據(jù)所述唯一的二維構(gòu)成 提取所述被反射的特征類型，并提取所述特征類型在相應(yīng)的對(duì)才及線上的位置。
52. 如權(quán)利要求51所述的方法，其中所述被反射的特征類型沿著相 應(yīng)的對(duì)極線的所述位置根據(jù)三角測(cè)量確定在所述城市場(chǎng)景中一皮成像的物 體的相應(yīng)的三維空間坐標(biāo)。
53. 如權(quán)利要求51所述的方法，其中PX1的所述內(nèi)容的出現(xiàn)的所述 相對(duì)位置根據(jù)三角測(cè)量確定在所述城市場(chǎng)景中被成像的物體的相應(yīng)的三 維空間坐標(biāo)。
54. 如權(quán)利要求53所述的方法，其中所述三維空間坐標(biāo)用于對(duì)所述 城市場(chǎng)景進(jìn)行三維建模。
55. 如權(quán)利要求54所述的方法，其中城市場(chǎng)景的所述三維建模在顯 示器上被顯示給用戶，所述顯示器允許所述用戶在所述城市場(chǎng)景中巡視。
56. 如權(quán)利要求54所述的方法，其中紋理信息被添加以補(bǔ)充所述城 市建模。
57. 如權(quán)利要求56所述的方法，其中空中數(shù)據(jù)被添加以補(bǔ)充所述城 市建模。
58. —種裝置，其用于對(duì)城市場(chǎng)景進(jìn)行基于三角測(cè)量的三維建模，所 述裝置包括用于捕獲所述城市場(chǎng)景的至少兩個(gè)圖像的至少兩個(gè)實(shí)質(zhì)上相 鄰的成像設(shè)備，所述裝置進(jìn)一步具有用于將結(jié)構(gòu)光圖樣投影在所述場(chǎng)景中 的物體上的投影儀，所述圖像通過(guò)限定的對(duì)極場(chǎng)彼此相關(guān)，每個(gè)圖像進(jìn)一 步具有與所述投影儀有關(guān)的額外的對(duì)極場(chǎng)，所述裝置包括具有多個(gè)不同的特征類型的二維編碼光圖樣，每個(gè)特征類型根據(jù)唯一的二維構(gòu)成是可辨別的，投影儀，其用于將所述編碼光圖樣投影到所述城市場(chǎng)景上，第一成像設(shè)備，其用于捕獲包括被反射的所述特征類型的、所述^^市 場(chǎng)景的第一二維圖像，第二成像設(shè)備，其用于捕獲包括被反射的所述特征類型的、所述城市 場(chǎng)景的第二二維圖像，圖像處理設(shè)備，其用于a) 選擇所述第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PX1上的內(nèi) 容被約束為出現(xiàn)在所述第二二維圖像中特定的對(duì)極線EPm上，b) 在所述第二圖像中沿著所述對(duì)極線EPm找到PX1的所述內(nèi)答,c) 確定在所述第一圖^f象和所述第二圖像之間的PX1的所述內(nèi)容 的出現(xiàn)的相對(duì)位置，以及d) 獨(dú)立地在每個(gè)圖像中根據(jù)所述唯一的二維構(gòu)成提取所述被反 射的特征類型并提取所述特征類型在相應(yīng)的對(duì)極線上的位置。
59. 如權(quán)利要求58所述的裝置，其中所述被反射的特征類型沿著相 應(yīng)的對(duì)極線的所述位置根據(jù)三角測(cè)量確定在所述城市場(chǎng)景中被成像的物 體的相應(yīng)的三維空間坐標(biāo)。
60. 如權(quán)利要求59所述的裝置，其中PX1的所述內(nèi)容的出現(xiàn)的所述 相對(duì)位置根據(jù)三角測(cè)量確定在所述城市場(chǎng)景中被成像的物體的相應(yīng)的三 維空間坐標(biāo)。
61. 如權(quán)利要求60所述的裝置，其中所述三維空間坐標(biāo)用于對(duì)所述 城市場(chǎng)景進(jìn)行三維建模。
62. 如權(quán)利要求61所述的裝置，其中城市場(chǎng)景的所述三維建模在顯 示器上被顯示給用戶，所述顯示器允許所述用戶在所述城市場(chǎng)景中巡視。
63. 如權(quán)利要求61所述的裝置，其中紋理信息被添加以補(bǔ)充所述城 市建模。
64. 如權(quán)利要求61所述的裝置，其中空中數(shù)據(jù)被添加以補(bǔ)充所述城 市建模。
65. 如權(quán)利要求61所述的裝置，其進(jìn)一步配置成在對(duì)所述城市場(chǎng)景 的所述成像期間相對(duì)于所述城市場(chǎng)景中的物體在三維中移動(dòng)。
66. 如權(quán)利要求61所述的裝置，其進(jìn)一步配置成捕獲相對(duì)于所述裝 置在三維中移動(dòng)的所述城市場(chǎng)景中的物體的所述圖像。
67. —種方法，其用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二維 圖像中的物體的三維形狀，所述二維圖像以可辨別的幾何分離的對(duì)極線為 特征，所述方法包括提供具有多個(gè)不同的可識(shí)別的特征類型的二維編碼光圖樣，每個(gè)所述 特征類型根據(jù)唯一的二維構(gòu)成是可辨別的，提供所述二維編碼光圖樣的反圖樣，將所述編碼光圖樣和所述反的編碼光圖樣投影在所述物體上， 捕獲1 )具有投影在所述物體上的所述被投影的編碼光圖樣的所述物體的 第一圖像，所述第一圖像包括被反射的所述特征類型，2)具有投影在所述物體上的所述反的編碼光圖樣的所述物體的第二 圖像，所述第二圖像包括被反射的所述特征類型，從所述第一被捕獲的圖像中減去所述第二被捕荻的圖像來(lái)荻得合成 圖像，以及在所述合成圖像中，根據(jù)所述唯一的二維構(gòu)成提取所述被反射的特征 類型并提取所述特征類型在相應(yīng)的對(duì)極線上的位置。
68. 如權(quán)利要求67所述的方法，其中所述被反射的特征類型沿著相 應(yīng)的對(duì)極線的所述位置根據(jù)三角測(cè)量確定所述被成像的物體的相應(yīng)的三 維空間坐標(biāo)。
69. 如權(quán)利要求67所述的方法，其中所述光圖樣在時(shí)間上被投影。
70. 如權(quán)利要求67所述的方法，其中所述光圖樣以光的不同譜值被投影。
71. 如權(quán)利要求70所述的方法，其中具有不同謙值的所述光圖樣在 時(shí)間上被投影。
72. 如權(quán)利要求67所述的方法，其中所述第一圖像和所述第二圖像 在時(shí)間上被捕獲。
73. 如權(quán)利要求72所述的方法，其中所述時(shí)間成像在不均勻的時(shí)間 間隔上實(shí)施。
74. 如權(quán)利要求67所述的方法，其中所述第一圖像和所述第二圖像 使用譜分化被同時(shí)捕獲。
75. 如權(quán)利要求67所述的方法，進(jìn)一步包括對(duì)所述被成像的物體的 第三圖像的捕獲，所述第三圖像包括紋理信息。
76. 如權(quán)利要求67所述的方法，其中所述合成圖像中所述特征類型 的所述提取通過(guò)確定采樣點(diǎn)的直接強(qiáng)度值來(lái)實(shí)施。
77. —種方法，其用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二維 圖像中的物體的三維形狀，所述二維圖像以可辨別的幾何分離的對(duì)極線為 特征，所述方法包括提供具有多個(gè)不同的可識(shí)別的特征類型的第一二維編碼光圖樣，每個(gè) 特征類型根據(jù)唯一的二維構(gòu)成是可辨別的，提供具有多個(gè)不同的可識(shí)別的特征類型的、不同于所述第一圖樣的第 二二維編碼光圖樣，每個(gè)特征類型根據(jù)唯一的二維構(gòu)成是可辨別的，將所述第一編碼光圖樣和所述第二編碼光圖樣投影在所述物體上，捕獲1)具有投影在所述物體上的所述第一被投影的編碼光圖樣的所述物 體的第 一 圖像，所述第 一圖像包括被反射的所述特征類型，2)具有投影在所述物體上的所述第二被投影的編碼光圖樣的所述物 體的第二圖像，所述第二圖像包括被反射的所述特征類型，獨(dú)立地在每個(gè)圖像中根據(jù)所述唯 一 的二維構(gòu)成提取所述被反射的特征類型并提取所述特征類型在相應(yīng)的對(duì)極線上的位置；比較所述第二圖像中的對(duì)極線的區(qū)域與第 一 圖像中沿著相同的對(duì)極 線的相似區(qū)域，以^S正第 一圖像中的特征標(biāo)識(shí)。
78. —種方法，其用于從兩個(gè)二維圖像獲得紋理數(shù)據(jù)，每個(gè)所述圖像 包括用于對(duì)每個(gè)圖像獨(dú)立地獲得被成像的物體的深度數(shù)據(jù)的反射碼，所述方法包括提供具有多個(gè)不同的可識(shí)別的特征類型的二維編碼光圖樣，每個(gè)特征 類型根據(jù)唯一 的二維構(gòu)成是可辨別的，提供所述二維編碼光圖樣的反圖樣，將所述編碼光圖樣和所述反的編碼光圖樣投影在所述物體上，捕獲1 )具有投影在所述物體上的所述被投影的編碼光圖樣的所述物體的 第一圖像，所述第一圖像包括被反射的所述特征類型，2)具有投影在所述物體上的所述反的編碼光圖樣的所述物體的第二 圖像，所述第二圖像包括被反射的所述特征類型，從所述第二被捕獲的圖像與所述第 一被捕獲的圖像的相加中獲得合 成圖像，所述合成圖像提供所述被成像的物體的紋理信息。
79. —種方法，其用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二維 圖像中的物體的三維形狀，所述二維圖像以可辨別的幾何分離的對(duì)極線為 特征，所述方法包括提供具有多個(gè)不同的可識(shí)別的特征類型的二維編碼光圖樣，每個(gè)特征 類型由變化的光強(qiáng)度的點(diǎn)組成，其中所述特征類型的一個(gè)點(diǎn)是最大值或最 小值，提供第二二維編碼光圖樣，所述第二二維編碼光圖樣包括具有所述最 大值或最小值反轉(zhuǎn)了的所述第一圖樣，將所述第一編碼光圖樣和所述第二編碼光圖樣投影在物體上，捕獲` 1 )具有投影在所述物體上的所述第一被投影的編碼光圖樣的所述物 體的第 一 圖像，所述第 一 圖像包括被反射的所述特征類型，`2)具有投影在所述物體上的所述第二被投影的編碼光圖樣的所述物 體的第二圖像，所述第二圖像包括被反射的所述特征類型，從所述第 一被捕獲的圖像中減去所述第二被捕獲的圖像來(lái)獲得合成 圖像，所述合成圖像包括所述被反射的特征類型的所述最大值點(diǎn)和所述最 小值點(diǎn)，以及在所述合成圖像中提取所述最大值點(diǎn)和所述最小值點(diǎn)以及在所述相 應(yīng)的對(duì)極線上的所述最大值點(diǎn)和所述最小值點(diǎn)的位置。
80. 如權(quán)利要求79所述的方法，其中最大值和最小值的所述位置用 于確定所述第一圖像中相應(yīng)的特征類型位置。
81. —種方法，其用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二維 圖像中的物體的三維形狀，所述二維圖像以可辨別的幾何分離的對(duì)極線為 特征，所述方法包括提供具有多個(gè)不同的可識(shí)別的特征類型的第一二維編碼光圖樣，每個(gè) 特征類型由變化的光強(qiáng)度的點(diǎn)組成，其中所述特征類型的 一個(gè)點(diǎn)是最大值 或最小值，提供第二二維編碼光圖樣，所述第二二維編碼光圖樣包括具有所述最 大值或最小值反轉(zhuǎn)了的所述第 一 圖樣， 將所述第一編碼光圖樣和所述第二編碼光圖樣^:影在所述物體上，捕獲`1 )具有投影在所述物體上的所述第一被投影的編碼光圖樣的所述物 體的第 一圖像，所述第 一 圖像包括被反射的所述特征類型，`2)具有投影在所述物體上的所述第二被投影的編碼光圖樣的所述物 體的第二圖像，所述第二圖像包括被反射的所述特征類型，從所述第 一被捕獲的圖像與所述第二被捕獲的圖像的相加來(lái)獲得合 成圖像，所述合成圖像包括所述被反射的特征類型的非最大值強(qiáng)度點(diǎn)和非最小值強(qiáng)度點(diǎn)，以及在所述合成圖像中提取所述被反射的特征類型的所述非最大值點(diǎn)和 所述非最小值點(diǎn)以及所述非最大值點(diǎn)和所述非最小值點(diǎn)在所述相關(guān)的所 述對(duì)極線上的位置。
82. 如權(quán)利要求79和81所述的方法，其中沿著相應(yīng)的對(duì)極線的所述最大值和所述最小值的所述位置以及所述非最大值點(diǎn)和所述非最小值點(diǎn) 的沿著相應(yīng)的對(duì)極線的所述位置根據(jù)三角測(cè)量確定所述被成像的物體的 相應(yīng)的三維空間坐標(biāo)。
83. —種方法，其用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二維 圖像中的物體的三維形狀，所述二維圖像以可辨別的幾何分離的對(duì)極線為 特征，所述方法包括提供具有多個(gè)不同的特征類型的二維編碼光圖樣，每個(gè)特征類型根據(jù) 唯一的二維構(gòu)成是可辨別的，提供所述二維編碼光圖樣的反圖樣，將所述編碼光圖樣和所述反的編碼光圖樣投影在所述物體上， 捕獲1 )具有投影在所述物體上的所述被投影的編碼光圖樣的所述物體的 第一圖像，所述第一圖像包括被反射的所述特征類型，2)具有投影在所述物體上的所述反的編碼光圖樣的所述物體的第二 圖像，所述第二圖像包括被反射的所述特征類型，從所述第一被捕獲的圖像與所述第二被捕獲的圖像的相減的絕對(duì)值 來(lái)獲得合成圖像，所述合成圖像包括所述被反射的特征類型的輪廓，在所述合成圖像中提取所述輪廓以及所述輪廓在相應(yīng)的所述對(duì)極線 上的位置。
84. 如權(quán)利要求83所述的方法，其中所述輪廓沿著相應(yīng)的對(duì)極線的 所述位置根據(jù)三角測(cè)量確定所述被成像的物體的相應(yīng)的三維空間坐標(biāo)。
85. —種方法，其用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二維圖像中的物體的三維形狀，所述二維圖像以可辨別的幾何分離的對(duì)極線為特征，所述方法包括提供具有多個(gè)不同的可識(shí)別的特征類型的二維編碼光圖樣，每個(gè)特征 類型根據(jù)唯一 的二維構(gòu)成是可辨別的，將所述編碼光圖樣投影在所述物體上，捕獲1)具有投影在所述物體上的所述被投影的編碼光圖樣的所述物體的 第一圖像，所述第一圖像包括被反射的所述特征類型，2)具有投影在所述物體上的環(huán)境光的所述物體的第二圖像，從所述第一被捕獲的圖像中減去所述第二被捕獲的圖像來(lái)獲得合成 圖像，在所述合成圖像中提取所述被反射的特征類型和所述特征類型在相 應(yīng)的所述對(duì)極線上的位置。
86. 如權(quán)利要求85所述的方法，其中所述被反射的特征類型沿著相 應(yīng)的對(duì)極線的所述位置根據(jù)三角測(cè)量確定所述被成像的物體的相應(yīng)的三 維空間坐標(biāo)。
87. —種方法，其用于確定出現(xiàn)在兩個(gè)得到的二維圖像中的被成像的 解剖表面元件的三維形狀，所述得到的圖像通過(guò)限定的對(duì)極場(chǎng)彼此相關(guān)， 所述方法包括提供具有多個(gè)不同的可識(shí)別的特征類型的二維編碼光圖樣，每個(gè)特征 類型根據(jù)唯一 的二維構(gòu)成是可辨別的，將所述編碼光圖樣投影到所述解剖表面元件上，捕獲所述解剖表面元件的第一二維圖像，捕獲所述解剖表面元件的第二二維圖像，選擇所述第一二維圖像的像素區(qū)域pxi，出現(xiàn)在PX1上的內(nèi)容被約 束為出現(xiàn)在所述第二二維圖像中特定的對(duì)極線EPm上，在所述第二圖像中沿著所述對(duì)極線EPm找到PX1的所述內(nèi)容，以及確定在所述第一圖像和所述第二圖像之間的PX1的所述內(nèi)容的出現(xiàn) 的相對(duì)位置。
88. 如權(quán)利要求87所述的方法，其中PX1內(nèi)容的所述出現(xiàn)的所述相 對(duì)位置根據(jù)三角測(cè)量確定被成像的解剖表面元件的相應(yīng)的三維空間坐標(biāo)。
89. —種裝置，其用于確定出現(xiàn)在兩個(gè)得到的二維圖像中的被成像的 解剖表面元件的三維形狀，所述二維圖像從至少兩個(gè)實(shí)質(zhì)上相鄰的成像設(shè) 備得到，所述圖像通過(guò)限定的對(duì)極場(chǎng)彼此相關(guān)，所述裝置包括具有多個(gè)不同的可識(shí)別的特征類型的二維編碼光圖樣，每個(gè)特征類型 根據(jù)唯一的二維構(gòu)成是可辨別的，投影儀，其用于將所述編碼光圖樣投影到所述解剖表面元件上，第一成像設(shè)備，其用于捕獲所述被成像的解剖表面元件的第一二維圖像，第二成像設(shè)備，其用于捕獲所述被成像的解剖表面元件的第二二維圖像，圖像處理設(shè)備，其用于a) 選擇所述第一二維圖像的像素區(qū)域PXl,出現(xiàn)在PX1上的內(nèi) 容被約束為出現(xiàn)在所述第二二維圖像中特定的對(duì)極線EPm上，b) 在所述第二圖像中沿著所述對(duì)極線EPm找到PX1的所述內(nèi)容，以及c) 確定在所述第一圖像和所述第二圖像之間的PX1的所述內(nèi)容 的出現(xiàn)的相對(duì)位置。
90. 如權(quán)利要求89所述的裝置，其中PX1內(nèi)容的所述出現(xiàn)的所述相 對(duì)位置根據(jù)三角測(cè)量確定被成像的解剖表面元件的相應(yīng)的三維空間坐標(biāo)。
91. 一種基于三角測(cè)量的方法，其用于對(duì)解剖表面元件的三維建模， 所述解剖表面元件的至少兩個(gè)圖像，所述圖像通過(guò)限定的對(duì)極場(chǎng)彼此相關(guān)，每個(gè)圖像進(jìn)一步具有與投影儀有關(guān)的額外的對(duì)極場(chǎng)，所述方法包括提供具有多個(gè)不同的特征類型的二維編碼光圖樣，每個(gè)特征類型根據(jù) 唯一的二維構(gòu)成是可辨別的，將所述編碼光圖樣投影到所述解剖表面元件上，捕獲包括被反射的所述特征類型的、所述解剖元件的第一二維圖像， 捕獲包括被反射的所述特征類型的、所述解剖元件的第二二維圖像，選擇所述第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PX1上的內(nèi)容被約 束為出現(xiàn)在所述第二二維圖像中特定的對(duì)極線EPm上，在所述第二圖像中沿著所述對(duì)極線EPm找到PX1的所述內(nèi)容，以及確定在所述第一圖像和所述第二圖像之間的PX1的所述內(nèi)容的出現(xiàn) 的相對(duì)位置，以及獨(dú)立地對(duì)于每個(gè)所述被捕獲的圖像，進(jìn)一步根據(jù)所述唯一的二維構(gòu)成 提取所述被反射的特征類型并提取所述特征類型在相應(yīng)的對(duì)極線上的位置。
92. 如權(quán)利要求91所述的方法，其中所述被反射的特征類型沿著相 應(yīng)的對(duì)極線的所述位置根據(jù)三角測(cè)量確定被成像的解剖表面元件的相應(yīng) 的三維空間坐標(biāo)。
93. 如權(quán)利要求92所述的方法，其中PX1的所述內(nèi)容的出現(xiàn)的所述 相對(duì)位置根據(jù)三角測(cè)量確定被成像的解剖表面元件的相應(yīng)的三維空間坐標(biāo)。
94. 如權(quán)利要求93所述的方法，其中所述三維空間坐標(biāo)用于對(duì)所述 解剖表面元件進(jìn)行三維建;f莫。
95. 如權(quán)利要求94所述的方法，其中解剖表面元件的所述三維建模 在顯示器上被顯示給用戶，所述顯示器允許所述用戶在所述解剖表面元件 周圍巡-見(jiàn)。
96. 如權(quán)利要求94所述的方法，其中紋理信息被添加以補(bǔ)充所述解 剖表面元件建模。
97. —種裝置，其用于對(duì)解剖表面元件進(jìn)行基于三角測(cè)量的三維建模， 所述裝置包括用于捕獲所述解剖元件的至少兩個(gè)圖像的至少兩個(gè)實(shí)質(zhì)上 相鄰的成像設(shè)備，所述裝置進(jìn)一步具有用于將結(jié)構(gòu)光圖樣投影在解剖元件 上的投影儀，所述圖像通過(guò)限定的對(duì)極場(chǎng)彼此相關(guān)，每個(gè)圖像進(jìn)一步具有與所述投影儀有關(guān)的額外的對(duì)極場(chǎng)，所述裝置包括二維編碼光圖樣，其具有多個(gè)不同的特征類型，所述被反射的特征類 型依據(jù)所述唯 一 的二維構(gòu)成以及所述特征類型在相應(yīng)的對(duì)極線上的位置，投影儀，其用于將所述編碼光圖樣投影到所述解剖元件上，第一成像設(shè)備，其用于捕獲包括被反射的所述特征類型的、所述解剖 元件的第一二維圖像，第二成像設(shè)備，其用于捕獲包括被反射的所述特征類型的、所述解剖 元件的第二二維圖像，圖像處理設(shè)備，其用于a) 選擇所述第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PX1上的內(nèi) 容被約束為出現(xiàn)在所述第二二維圖像中特定的對(duì)極線EPm上，b) 在所述第二圖像中沿著所述對(duì)極線EPm找到PX1的所述內(nèi)容,c) 確定在所述第一圖像和所述第二圖像之間的PX1的所述內(nèi)容 的出現(xiàn)的相對(duì)位置，以及d) 獨(dú)立地在每個(gè)圖像中提取所述被反射的特征類型和所述特征 類型在相應(yīng)的所述對(duì)極線上的位置。
98. 如權(quán)利要求97所述的裝置，其中所述被反射的特征類型沿著相 應(yīng)的對(duì)極線的所述位置根據(jù)三角測(cè)量確定被成像的解剖表面元件的相應(yīng) 的三維空間坐標(biāo)。
99. 如權(quán)利要求98所述的裝置，其中PX1的所述內(nèi)容的出現(xiàn)的所述 相對(duì)位置根據(jù)三角測(cè)量確定被成像的解剖表面元件的相應(yīng)的三維空間坐標(biāo)。
100. 如權(quán)利要求99所述的裝置，其中所述三維空間坐標(biāo)用于對(duì)所述 解剖表面元件進(jìn)行三維建模。
101. 如權(quán)利要求100所述的裝置，其中解剖表面元件的所述三維建 模在顯示器上被顯示給用戶，所述顯示器允許所述用戶在所述解剖表面元 件周圍巡視。
102. 如權(quán)利要求100所述的裝置，其中紋理信息被添加以補(bǔ)充所述 解剖表面元件建才莫。
103. 如權(quán)利要求97所述的裝置，其進(jìn)一步配置成在對(duì)所述解剖元件 的所述成像期間相對(duì)于所述解剖表面元件在三維中移動(dòng)。
104. 如權(quán)利要求97所述的裝置，其配置成捕獲相對(duì)于所述裝置在三 維中移動(dòng)的所述解剖表面元件的所述圖像。
105. —種可安裝在機(jī)動(dòng)車輛上的裝置，所述裝置配置成獲得在離所 述車輛的尾部的一定范圍內(nèi)的物體的深度數(shù)據(jù)，并進(jìn)一步配置成獲得二維 圖像以便從所述二維圖像確定所述深度數(shù)據(jù)，所述二維圖像以可辨別的幾 何分離的對(duì)極線為特征，所述裝置包括二維編碼光圖樣，其具有多個(gè)預(yù)定的可識(shí)別的特征類型，每個(gè)特征類 型根據(jù)唯一的二維構(gòu)成是可辨別的，投影儀，其用于將所述編碼光圖樣投影到所述物體上，圖樣的所述物體的圖像，所述被捕獲的圖像包括被反射的所述特征類型， 以及解碼器，其配置成根據(jù)所述唯一的二維構(gòu)成提取所述被反射的特征類 型并提取所述特征類型在所述被捕獲的圖像中相應(yīng)的所述對(duì)極線上的位置。
106. 如權(quán)利要求105所述的裝置，其中所述被反射的特征類型沿著 相應(yīng)的對(duì)極線的所述位置根據(jù)三角測(cè)量確定所述被成像的物體的相應(yīng)的 三維空間坐標(biāo)。
107. 如權(quán)利要求105所述的裝置，其進(jìn)一步配置成在對(duì)所述對(duì)象的所述成像期間相對(duì)于所述物體在三維中移動(dòng)。
108. 如權(quán)利要求105所述的裝置，其配置成捕獲相對(duì)于所述裝置在 三維中移動(dòng)的所述物體的所述圖像。
109. —種系統(tǒng)，其用于獲得位于機(jī)動(dòng)車輛后的目標(biāo)場(chǎng)景的深度數(shù)據(jù)， 所述系統(tǒng)包括a) 圖樣投影裝置，其操作地將具有多個(gè)不同的特征類型的二維編碼 光圖樣」投影到所述場(chǎng)景上，使得每個(gè)特征從相應(yīng)的反射點(diǎn)反射，所述特征 類型根據(jù)二維構(gòu)成在所述圖樣上可辨別為唯一的；b) 圖像捕獲裝置，其可安裝在所述機(jī)動(dòng)車輛上，并操作地捕獲所述 場(chǎng)景的二維圖像，所述二維圖像包括所述被反射的特征；以及c) 圖像處理元件，其對(duì)所述二維圖像的每個(gè)所述被反射的特征操作來(lái)i) 對(duì)所述每個(gè)^f皮反射的特征A. 根據(jù)所述唯一的二維構(gòu)成確定特征類型；B. 確定相應(yīng)的對(duì)極線位置；以及ii) 根據(jù)所述相應(yīng)的確定的特征類型并根據(jù)所述相應(yīng)的確定的對(duì) 極線位置，對(duì)每個(gè)所述被反射的特征得出相應(yīng)的相關(guān)反射點(diǎn)的相應(yīng)距離。
110. —種方法，其用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二 維圖像中的物體的三維形狀，所述二維圖像以可辨別的幾何分離的對(duì)極線 為特征，所述方法包括提供具有多個(gè)不同的可識(shí)別的特征類型的二維編碼光圖樣，每個(gè)特征 類型根據(jù)唯一的二維構(gòu)成是可辨別的，將所述編碼光圖樣投影到所述物體上， 捕獲1)具有投影在所述物體上的所述被投影的編碼光圖樣的所述物體的 第一圖像，所述第一圖像包括被反射的所述特征類型，2)具有投影在所述物體上的均勻光的所述物體的第二圖像， 從所述第一被捕獲的圖像被所述第二被捕獲的圖像除，來(lái)獲得合成圖像，在所述合成圖像中提取所述被反射的特征類型和所述特征類型在相 應(yīng)的所述對(duì)4及線上的位置。
111. 一種系統(tǒng)或方法，其用于實(shí)質(zhì)上如在上文或在任何附圖中描述 或示出的三維成像。
全文摘要
一種方法和裝置，其用于獲得圖像以使用具有多個(gè)不同的可識(shí)別的特征類型的二維編碼光圖樣來(lái)確定靜止或移動(dòng)物體的三維形狀。編碼光圖樣投影到物體上，使得每個(gè)可識(shí)別的特征類型在可辨別的對(duì)極線的預(yù)定部分上出現(xiàn)至多一次。捕獲物體的圖像，并提取被反射的特征類型連同其在被捕獲的圖像中已知對(duì)極線上的位置。根據(jù)三角測(cè)量映射，在二維圖像中被識(shí)別的特征類型的位置對(duì)應(yīng)到空間中的三維坐標(biāo)。因此獲得在一個(gè)時(shí)間處的被成像的物體的三維映射或建模。
文檔編號(hào)G01B11/25GK101627280SQ200780050227
公開(kāi)日2010年1月13日 申請(qǐng)日期2007年11月20日 優(yōu)先權(quán)日2006年11月21日
發(fā)明者伊亞爾·戈登, 古爾·阿里·比坦 申請(qǐng)人:曼蒂斯影像有限公司