專利名稱：確定場景中的對象的三維姿態(tài)的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及三維對象的檢測和識別，更具體地說，涉及確定
對象的姿態(tài)(pose)。本方法的實(shí)際輸出(即，對象的姿態(tài))使得能夠進(jìn) 行多種有用的應(yīng)用，尤其是用于制造現(xiàn)場(setting)的料箱提取機(jī)械(bin picking machine)。
背景技術(shù)：
工業(yè)機(jī)器人通常被設(shè)計(jì)用來以高準(zhǔn)確度和高精確度來重復(fù)執(zhí)行相同 任務(wù)。在多種工業(yè)應(yīng)用中(諸如制造和裝配中)，機(jī)器人用于從料箱中 '提取'零件(零件獲取)，并以正確的位置和方向(姿態(tài))來放置這 些零件，用于后續(xù)處理。
機(jī)器人依賴于要提取的零件的一致姿態(tài)。任何偏差都會導(dǎo)致機(jī)器人 或者零件的損壞，這會增加成本。通常，定制設(shè)計(jì)的機(jī)械及機(jī)電系統(tǒng)用 于以特定的姿態(tài)向機(jī)器人供給零件。在有些情況下，零件是由人工預(yù)先 定位的，使得機(jī)器人能夠容易地提取零件。
最近，計(jì)算機(jī)視覺技術(shù)已經(jīng)被用于使零件定位及提取的過程自動化。 大多數(shù)傳統(tǒng)的自動化技術(shù)只能提取單個非封閉(non-occluding)零件，或 者彼此間隔放置的零件(例如，零散地分散在傳送帶上的零件)。
雖然一些視覺輔助系統(tǒng)能夠提取堆疊(stacked)的零件，但是這只 能在使用復(fù)雜的機(jī)械系統(tǒng)或者人工干預(yù)的情況下實(shí)現(xiàn)。大多數(shù)視覺輔助 系統(tǒng)缺乏可靠性、準(zhǔn)確度和魯棒性，并且使用昂貴的視覺傳感器和硬件。 當(dāng)零件被隨機(jī)放置、被以隨意的方式彼此上下放置成一堆或放置在料箱 中時，傳統(tǒng)的視覺輔助系統(tǒng)缺乏三維零件獲取的能力。
三維姿態(tài)估計(jì)及零件獲取的問題是公知的。手工零件獲取包括人工 地進(jìn)行獲取、放置以進(jìn)行裝配。對于對沉重的零件進(jìn)行工作的人是存在風(fēng)險(xiǎn)的。另外，要求人類操作者具備特定水平的一系列技巧。期望通過 取代人類操作者來降低成本。
自動的零件獲取系統(tǒng)通常使用機(jī)電裝置，諸如裝備有特別設(shè)計(jì)的用
于提取零件的抓取器(gmsper)的機(jī)械手。然而，機(jī)器人需要了解要提 取零件的姿態(tài)。諸如精確固定(precision fixturing)的一些方法能夠用于 以特定的姿態(tài)將零件遞交給機(jī)械手。這些系統(tǒng)是昂貴的，缺乏互操作性 (即，需要針對特定的零件專門地設(shè)計(jì)這些系統(tǒng))，而且不能處理成箱的 隨機(jī)堆疊的零件。
計(jì)算機(jī)視覺系統(tǒng)能夠用于確定對象的姿態(tài)。這些系統(tǒng)通常使用一個 或更多個照相機(jī)。能夠?qū)τ蛇@些照相機(jī)所獲取的圖像進(jìn)行分析，以對這 些對象進(jìn)行定位，并為機(jī)械手提供用于進(jìn)行后續(xù)操作的反饋。大多數(shù)視 覺系統(tǒng)是二維的，并且只能用于二維的任務(wù)，諸如檢查和簡單的零件獲 取。那些系統(tǒng)只能夠確定該零件在平面內(nèi)的方向和位置，但是不能確定 在平面外的任何旋轉(zhuǎn)和到該零件的距離。通常，那些二維系統(tǒng)要求零件 沒有交疊，并且放置在平坦的表面上。所以，那些系統(tǒng)不能對成堆(pile) 的隨機(jī)放置的對象進(jìn)行操作。
一些系統(tǒng)通過使得到該對象的距離基于在圖像中該對象的尺寸，來 改進(jìn)二維視覺系統(tǒng)。但是，那些2.5維系統(tǒng)不能估計(jì)平面外的旋轉(zhuǎn)，而且 它們的距離估計(jì)通常不可靠。
三維視覺系統(tǒng)通常使用傳感器來估計(jì)場景(scene)的三維幾何尺寸。 立體(stereo)系統(tǒng)使用兩個照相機(jī)來估計(jì)到對象的距離。首先，相應(yīng)的 特征都位于立體圖像中。這些照相機(jī)之間的幾何關(guān)系能夠用于識別這些 特征的深度(距離)。然而，對相應(yīng)的特征進(jìn)行定位本身就是一個挑戰(zhàn)性 的問題，尤其是對于在外表上通常具有高反射性并相似(homogeneous) 的機(jī)器零件。如果圖像關(guān)于特征是嘈雜的，則立體系統(tǒng)可能會錯誤地估 計(jì)深度。立體系統(tǒng)的另一個問題在于，只針對特征、而不是覆蓋整個對 象來恢復(fù)深度。所降低的準(zhǔn)確度不足以進(jìn)行準(zhǔn)確的料箱提取。
激光三角測量(triangulation)使用結(jié)構(gòu)光(structured light)來生成 其全部圖像都通過照相機(jī)獲取的對象表面的模型(pattem)。激光三角測量能夠恢復(fù)該對象表面的三維形狀。這種技術(shù)例如已經(jīng)被用于包括對柔
性的且尺寸不穩(wěn)定的零件進(jìn)行焊接(wdding)、密封(sealing)、膠漿淀 積(glue deposition )、研磨(grinding )、水射流切割(waterjet cutting )以 及去毛剌(deburring)的邊緣跟蹤(edge tracking)的應(yīng)用。
激光三角測量要求圖像配準(zhǔn)(image registration),并考慮陰影 (shadow)和遮擋(occlusion)。那些系統(tǒng)對于一般、隨機(jī)的料箱提取應(yīng) 用還不夠完善。另外，當(dāng)在人類操作者附近設(shè)置激光時經(jīng)常會引起安全 問題。

發(fā)明內(nèi)容
本發(fā)明的實(shí)施方式提供一種用于檢測和識別在場景中的對象的系統(tǒng) 和方法。此外，這些實(shí)施方式確定了各個對象的三維姿態(tài)。這里將姿態(tài) 定義為對象的三維位置和方向。
在實(shí)際應(yīng)用的示例中，這些對象在料箱中彼此上下成堆。距離照相 機(jī)最近的對象位于堆的頂部，并且能夠從料箱中被提取出來而不干擾其 它對象。
當(dāng)使用光源對該場景進(jìn)行照明時，照相機(jī)獲取該場景的圖像。光源 投下陰影。這些陰影用于獲得該場景中的對象的深度邊緣和陰影邊緣。 使用深度邊緣與陰影邊緣之間的物理及幾何約束來將這些深度邊緣連接 起來，得到閉合輪廓(contour)。這些輪廓用于將該圖像場景劃分成多個 區(qū)域。
構(gòu)造一個"遮擋圖(occlusiongraph)"。該圖針對每個所劃分的區(qū)域 都具有一個節(jié)點(diǎn)。如果與一個節(jié)點(diǎn)相關(guān)的區(qū)域?qū)㈥幱巴兜?遮擋)與另 一節(jié)點(diǎn)相關(guān)的區(qū)域上，則將這兩個節(jié)點(diǎn)通過邊(edge)連接起來。遮擋 圖標(biāo)識出該場景中的未被遮擋對象。未被遮擋對象對應(yīng)于該堆頂部的對 象，該對象具有完整的連接輪廓。
使用這些對象的三維計(jì)算機(jī)輔助設(shè)計(jì)(CAD)模型來生成對象廓影 (silhouette)的數(shù)據(jù)庫(存儲器)。這些廓影針對不同的視角。該數(shù)據(jù)庫 還包括針對不同視角的該對象的部分廓影。這些廓影也表示為深度邊緣。對該遮擋圖進(jìn)行遍歷以找到潛在的候選未被遮擋對象。將頂層(未 遮擋)對象的輪廓與該數(shù)據(jù)庫的這些廓影進(jìn)行匹配，以估計(jì)該未被遮擋 對象的三維位置和方向(三維姿態(tài))。
可以將所估計(jì)的三維姿態(tài)與機(jī)械手一起用于多種機(jī)器人任務(wù)，包括 用于處理或裝配的零件獲取。該系統(tǒng)使得能夠進(jìn)行沒有約束的三維料箱 提取。


圖1是示出根據(jù)本發(fā)明實(shí)施方式的定位和提取對象的系統(tǒng)和方法的
框圖2是示出根據(jù)本發(fā)明實(shí)施方式的一個對象及該對象所投下陰影的 示意圖；以及
圖3是示出根據(jù)本發(fā)明一個實(shí)施方式的遮擋圖。
具體實(shí)施方式
系統(tǒng)結(jié)構(gòu)
圖1示出了根據(jù)本發(fā)明實(shí)施方式的定位和提取對象的系統(tǒng)和方法。 在本發(fā)明的一個實(shí)施方式中，這些對象在外觀和形狀上相似。在另一實(shí) 施方式中，這些對象不同。
料箱101裝有機(jī)器人103要提取的對象102。由多個光源104對該 料箱進(jìn)行照明。這些光源在該料箱上投下多個陰影。照相機(jī)105獲取110 當(dāng)照明發(fā)生變化時該料箱中的這些對象的一組(多個)圖像lll。例如， 如圖2中所示，根據(jù)光源104的位置，陰影201-202可以是對象102的任
確定120由于圖像111中的陰影201-202而造成的深度邊緣121及 陰影邊緣122。連接深度邊緣121以形成130經(jīng)連接的輪廓131。這些輪 廓用于將該圖像劃分140成多個區(qū)域141。然后，將這些區(qū)域141用于構(gòu) 造150遮擋圖151。
該圖用于對預(yù)先存儲在數(shù)據(jù)庫(存儲器)162中的廓影161進(jìn)行定位160。這些廓影也采用深度邊緣的形式。各個廓影都具有相關(guān)的姿態(tài)
106。選擇170該數(shù)據(jù)庫中的與根據(jù)該圖的未被遮擋對象的輪廓131最佳 匹配的廓影161的姿態(tài)106，作為該料箱中的對象的姿態(tài)。機(jī)器人103使 用這些姿態(tài)來從該料箱中提取對象，用于進(jìn)一步處理。
方法操作
圖像獲取
通過一個或者更多個照相機(jī)105獲取110—組(多個)圖像lll。這 些照相機(jī)可以是攝像機(jī)或者是靜態(tài)照相機(jī)。這些照相機(jī)可以被設(shè)置在機(jī) 械手107上，或者被固定在靠近該機(jī)器人及料箱的工作空間內(nèi)。使用光 源104來獲取這些圖像。這些光源可以是放置在照相機(jī)附近或者工作空 間中的發(fā)光二極管(LED)或其它類型的發(fā)光裝置。出于校準(zhǔn)的目的， 確定這些光源相對于這些照相機(jī)的設(shè)置。在目前的實(shí)現(xiàn)中，我們使用多 閃光燈(m扁ash)照相機(jī)，參見授予Raskar的美國專利7，218，792，以 引用的方式將該專利合并于此。
當(dāng)只由環(huán)境(ambient)光對該場景進(jìn)行照明時，還獲取環(huán)境圖像。 從該組圖像中的每一個圖像中減去該環(huán)境圖像，以消除環(huán)境光的影響。
確定深度邊緣及陰影邊緣
在獲取這些圖像之后，我們確定該料箱中的這些對象的深度邊緣121 和陰影邊緣122。深度邊緣被定義為對象的邊界與背景之間的不連續(xù)性 (discontinuity)。陰影邊緣被定義為對象所投下的陰影與背景之間的不連 續(xù)性。
通常，工業(yè)對象具有非朗伯反射(non-Lambertian reflectance)及鏡 面反射(specularity),這導(dǎo)致噪聲及偽深度邊緣。因?yàn)榱炼入S著視角發(fā) 生改變，所以很難處理非朗伯表面。本方法也能夠處理具有孔的對象。 與自投影(self-shadowing)類似，當(dāng)存在由于鏡面反射而產(chǎn)生的偽深度 邊緣時，本方法能夠通過去除偽深度邊緣而忽略鏡面輝亮(specular highlight)的影響。
為了簡化該描述，這組圖像包括通過將這些光源放置在該照相機(jī)的 上方、下方、左方、右方而獲得的四個不同照明的圖像A、 /2、 /3、 /4。我們通過確定在各個像素處的梯度的中值并根據(jù)這些梯度重構(gòu)回去，來從
這組圖像中確定本征圖像(intrinsic image) /me￡tol,參見Raskar。
然后，用/i-min(4 /^^")來替換各個圖像/i。也就是說，在圖像/i
中的各個像素處，用亮度值或者中值4w。n中的最小值來替換該亮度11。
然后，我們獲得比值圖像^=/// ^,。 。這個操作的作用在于使這些圖像中
的鏡面反射最小化。
在這些比值圖像中檢測邊緣。根據(jù)對該圖像照明的方向，這些邊緣
對應(yīng)于深度邊緣或陰影邊緣。 輪廓形成
深度邊緣121可能是不完整的，g卩，由于軟陰影(soft shadow)或 者缺少陰影而可能缺少深度邊緣和陰影邊緣的某些部分。使用格式塔規(guī) 則(Gestaltrule)的用于連接邊緣的啟發(fā)式方法(heuristic method)是公 知的。但是，我們使用物理及幾何約束來進(jìn)行邊緣連接，而不使用啟發(fā) 式方法。這些約束是在深度邊緣與陰影邊緣之間。所投下的陰影具有半 陰影區(qū)(penumbra region),以上所定義的深度邊緣對應(yīng)于位于該半陰影 的一側(cè)的不連續(xù)性，而陰影邊緣對應(yīng)于該半陰影的另一側(cè)的不連續(xù)性。 因此，我們定義兩個約束
1) 對于每一個深度邊緣，存在平行的陰影邊緣；以及
2) 深度邊緣和陰影邊緣不能在同一像素處共存。 這兩個約束使得我們能夠完成(complete)缺失的深度邊緣，以形成
閉合輪廓。我們通過使線段與深度邊緣擬合(fit)并且延長各條線段， 來實(shí)現(xiàn)該處理。將符合上述約束的各條延長線段保留為輪廓131。 劃分
由深度邊緣121形成的輪廓131將該圖像劃分成多個區(qū)域141。如 下面所述，通過合并對過度劃分進(jìn)行修正。 遮擋圖構(gòu)造
如圖3中所示，遮擋圖被定義為節(jié)點(diǎn)301、 303及有向弧302的二維 有向圖。在該圖中，這些節(jié)點(diǎn)表示區(qū)域，而當(dāng)由第一節(jié)點(diǎn)所代表的區(qū)域 在由第二節(jié)點(diǎn)所代表的區(qū)域上投下陰影時，有向弧從第一節(jié)點(diǎn)前進(jìn)到第二節(jié)點(diǎn)。對于一個圖像，可能存在一組圖。例如，如果有兩堆單獨(dú)的對 象，則我們構(gòu)造兩個遮擋圖，每一堆一個遮擋圖。
如下來構(gòu)造該遮擋圖。令^和S表示一對區(qū)域。將這對區(qū)域作為節(jié) 點(diǎn)插入到該圖中。然后，我們確定區(qū)域^(是否在區(qū)域B上投下陰影，反 之亦然。如果是，貝'J由有向弧以投下陰影的方向來連接節(jié)點(diǎn)^和萬。如 果否，則可以將這些區(qū)域合并，并合并這些節(jié)點(diǎn)。
定位未被遮擋對象
該遮擋圖標(biāo)識出該料箱里的未被遮擋對象。源節(jié)點(diǎn)303是沒有入 (incoming)有向弧的節(jié)點(diǎn)。源節(jié)點(diǎn)必須表示未被遮擋對象的區(qū)域。 姿態(tài)估計(jì)
姿態(tài)估計(jì)是兩階段處理，第一階段處理是粗處理，第二階段處理是 精處理。姿態(tài)估計(jì)使用預(yù)先存儲在數(shù)據(jù)庫中的廓影的深度邊緣。 預(yù)處理
將在不同視角下的對象的廓影預(yù)先存儲在數(shù)據(jù)庫中。針對各個視角， 還將對象的部分廓影存儲在數(shù)據(jù)庫中。視角得到相應(yīng)的姿態(tài)。這些部分 廓影有助于對存在自投影及自遮擋(selfocclusion)的對象進(jìn)行匹配。假 定在制造和裝配應(yīng)用中很容易獲得對象的CAD模型。
粗姿態(tài)估計(jì)
將與根據(jù)該圖的未被遮擋對象相關(guān)的輪廓與存儲在數(shù)據(jù)庫中的廓影 進(jìn)行匹配，以獲得最佳匹配姿態(tài)。這種匹配可以使用任何已知的技術(shù)， 諸如斜面(chamfer)匹配或者匹配圖像矩(moment)。由于存儲在數(shù)據(jù) 庫中的廓影的數(shù)量是有限的，所以我們只能獲得粗姿態(tài)估計(jì)。
精姿態(tài)估計(jì)
我們使用整個三維CAD模型來細(xì)化該三維姿態(tài)。使用通過將該三維 CAD模型的廓影與給定區(qū)域進(jìn)行匹配而對旋轉(zhuǎn)及位移(translation)進(jìn)行 優(yōu)化的傳統(tǒng)技術(shù)，來對姿態(tài)進(jìn)行細(xì)化。這種優(yōu)化從粗姿態(tài)估計(jì)開始，并 收斂于正確的姿態(tài)。
對象提取
機(jī)器人可以使用該姿態(tài)來從該料箱中提取最上層的對象。如果具體的圖像顯示出多個未被遮擋對象，則可以依次提取這些對象。 多個對象類型
當(dāng)該數(shù)據(jù)庫存儲了不同對象的對應(yīng)廓影時，針對類似的對象描述了 以上方法。
多個圖像獲取
針對位于固定視角的單個照相機(jī)描述了以上方法。但是，該系統(tǒng)也 可以工作于多個照相機(jī)視角。然后，額外的圖像可以用于驗(yàn)證劃分以及 姿態(tài)估計(jì)結(jié)果。另選的是，可以組合來自多個圖像的信息，以提高姿態(tài) 估計(jì)的準(zhǔn)確度。
本發(fā)明的效果
根據(jù)本發(fā)明的實(shí)施方式的系統(tǒng)和方法確定料箱中的未被遮擋零件的姿態(tài)。該系統(tǒng)使用裝備有廉價(jià)發(fā)光二極管(LED)的單個照相機(jī)?？梢?br> 將姿態(tài)饋送給機(jī)械手，以在制造應(yīng)用中從料箱中提取出這些零件。由于 本方法相對簡單而且執(zhí)行快捷，所以它可用于實(shí)時應(yīng)用。
本發(fā)明執(zhí)行三維對象識別和姿態(tài)估計(jì)而不使用三維獲取設(shè)備(諸如 立體攝像機(jī)、激光或者結(jié)構(gòu)光)。重構(gòu)場景的深度圖是費(fèi)時而昂貴的，尤 其是對具有鏡面反射及非朗伯表面的發(fā)亮的工業(yè)零件。本發(fā)明的系統(tǒng)不 對三維深度進(jìn)行估計(jì)。而是根據(jù)所投下的陰影獲得深度邊緣。與一般所 用的特征(諸如亮度邊緣、角部和接合點(diǎn))不同，可以將深度邊緣用作 用于劃分場景和估計(jì)姿態(tài)的特征。
使用深度邊緣使得本系統(tǒng)能夠?qū)τ屑y理的(textured)對象、沒有紋 理的(non-textured)對象、發(fā)亮的或者鏡面的對象進(jìn)行操作。使用基于 亮度邊緣的特征的系統(tǒng)很難處理發(fā)亮的金屬工業(yè)零件和無紋理的對象。
本發(fā)明提供了一種新穎的邊緣連接處理，以完成場景中缺失的深度 邊緣。傳統(tǒng)的邊緣連接處理試圖通過使用啟發(fā)式方法來完成亮度邊緣， 以從亮度圖像獲得封閉輪廓。我們使用實(shí)際的物理及幾何約束連接深度 邊緣，而不使用任何啟發(fā)式方法。
我們還提供了一種新穎的場景遮擋圖。從被深度邊緣包圍的區(qū)域構(gòu) 造該遮擋圖。該遮擋圖中的各個節(jié)點(diǎn)對應(yīng)于被深度邊緣所包圍的二維區(qū)域。如果區(qū)域A在區(qū)域B上投下陰影，則在節(jié)點(diǎn)A與節(jié)點(diǎn)B之間存在有 向弧。該遮擋圖的源節(jié)點(diǎn)對應(yīng)于該場景中的未被遮擋對象。
該圖減少了將對象與它們的廓影進(jìn)行匹配所需執(zhí)行的匹配次數(shù)。 雖然通過優(yōu)選實(shí)施方式的示例的方式對本發(fā)明進(jìn)行了描述，但是可 以理解的是，可以在本發(fā)明的精神和范圍內(nèi)作出各種其它改動和修改。 因此，所附權(quán)利要求的目的在于覆蓋落入本發(fā)明真實(shí)的精神和范圍內(nèi)的 所有這些變形和修改。
權(quán)利要求
1、一種用于確定場景中的對象的三維姿態(tài)的方法，該方法包括以下步驟在變化包括多個對象的場景中的照明時根據(jù)所獲取的所述場景的一組圖像確定多個深度邊緣；連接所述深度邊緣，來形成多個輪廓；根據(jù)所述輪廓來將所述圖像劃分成多個區(qū)域；使用所述區(qū)域來構(gòu)造遮擋圖，其中，所述遮擋圖包括源節(jié)點(diǎn)，該源節(jié)點(diǎn)代表在所述場景中的未被遮擋對象的未被遮擋區(qū)域；將與所述未被遮擋區(qū)域相關(guān)的輪廓與所述多個對象的一組廓影進(jìn)行比較，其中，每一個廓影都具有已知的姿態(tài)；以及選擇最佳匹配的廓影的已知姿態(tài)，作為所述未被遮擋對象的姿態(tài)。
2、 根據(jù)權(quán)利要求1所述的方法，該方法還包括以下步驟 根據(jù)所述姿態(tài)將所述未被遮擋對象從所述場景中提取出來。
3、 根據(jù)權(quán)利要求2所述的方法，其中，由機(jī)械手執(zhí)行所述提取的步驟。
4、 根據(jù)權(quán)利要求1所述的方法，其中，所述多個對象在外表和形狀 上類似。
5、 根據(jù)權(quán)利要求1所述的方法，其中，所述多個對象具有非朗伯表面。
6、 根據(jù)權(quán)利要求1所述的方法，其中，所述變化的照明來自位于照 相機(jī)上方、下方、左方及右方的光源。
7、 根據(jù)權(quán)利要求6所述的方法，其中，所述照相機(jī)是攝像機(jī)。
8、 根據(jù)權(quán)利要求3所述的方法，其中，照相機(jī)被設(shè)置在所述機(jī)械手上。
9、 根據(jù)權(quán)利要求1所述的方法，該方法還包括以下步驟-將所述深度邊緣定義為所述對象的邊界與所述場景中的背景之間的不連續(xù)性；以及將所述陰影邊緣定義為由所述對象投下的陰影與所述背景之間的不 連續(xù)性。
10、 根據(jù)權(quán)利要求1所述的方法，其中，所述多個對象包括鏡面反射。
11、 根據(jù)權(quán)利要求10所述的方法，其中，所述一組圖像為^，并且該方法還包括以下步驟-根據(jù)所述一組圖像中的各個像素處的梯度的中值來確定對于各個圖像/,的本征圖像4e細(xì)；用/產(chǎn)m/"(J,，/^^J來替代各個圖像/, ; 獲得比值圖像i/4^^;以及根據(jù)所述比值圖像來確定所述深度邊緣，以使所述鏡面反射最小化。
12、 根據(jù)權(quán)利要求9所述的方法，其中，所述連接的步驟具有以下 的約束對于每一個深度邊緣存在平行的陰影邊緣，并且所述深度邊緣 和所述陰影邊緣不能在所述一組圖像中的同一像素處共存。
13、 根據(jù)權(quán)利要求1所述的方法，其中，當(dāng)由第一節(jié)點(diǎn)所代表的第 一區(qū)域在由第二節(jié)點(diǎn)所代表的第二區(qū)域上投下陰影時，有向弧從所述第 一節(jié)點(diǎn)前進(jìn)到所述第二節(jié)點(diǎn)，并且所述源節(jié)點(diǎn)沒有入有向弧。
14、 根據(jù)權(quán)利要求13所述的方法，該方法還包括以下步驟 如果所述第一節(jié)點(diǎn)與所述第二節(jié)點(diǎn)之間沒有有向弧，則將所述第一節(jié)點(diǎn)與所述第二節(jié)點(diǎn)合并。
15、 根據(jù)權(quán)利要求1所述的方法，其中，所述廓影及已知姿態(tài)都預(yù) 先存儲在存儲器或數(shù)據(jù)庫中。
16、 根據(jù)權(quán)利要求1所述的方法，其中，從所述多個對象的不同視 角的計(jì)算機(jī)輔助設(shè)計(jì)模型來獲得所述廓影及已知姿態(tài)。
17、 根據(jù)權(quán)利要求l所述的方法，其中，所述廓影包括部分廓影。
18、 根據(jù)權(quán)利要求1所述的方法，其中，由多個照相機(jī)獲取所述一 組圖像。
19、 一種用于確定場景中的對象的三維姿態(tài)的系統(tǒng)，該系統(tǒng)包括 照相機(jī)，該照相機(jī)被設(shè)置為在改變包括多個對象的場景中的照明時獲取所述場景的一組圖像；用于根據(jù)所述一組圖像來確定多個深度邊緣的裝置； 用于連接所述深度邊緣來形成多個輪廓的裝置； 用于根據(jù)所述輪廓來將所述圖像劃分成多個區(qū)域的裝置； 用于使用所述區(qū)域來構(gòu)造遮擋圖的裝置，其中，該遮擋圖包括源節(jié)點(diǎn)，該源節(jié)點(diǎn)代表所述場景中的未被遮擋對象的未被遮擋區(qū)域；用于存儲所述多個對象的一組廓影的數(shù)據(jù)庫，其中，每一個廓影都具有己知姿態(tài)；用于將對應(yīng)于所述遮擋圖的子圖的深度邊緣與所述一組廓影進(jìn)行比 較的裝置；以及用于選擇最佳匹配的廓影的已知姿態(tài)作為所述未被遮擋對象的姿態(tài) 的裝置。
20、根據(jù)權(quán)利要求19所述的系統(tǒng)，該系統(tǒng)還包括 用于根據(jù)所述姿態(tài)從所述場景提取出所述未被遮擋對象的裝置。
全文摘要
本發(fā)明涉及確定場景中的對象的三維姿態(tài)的方法和系統(tǒng)。根據(jù)在改變包括多個對象的場景中的照明時所獲取的所述場景的一組圖像確定多個深度邊緣。連接所述深度邊緣來形成多個輪廓。根據(jù)所述輪廓來將所述圖像劃分成多個區(qū)域。使用所述區(qū)域來構(gòu)造遮擋圖。所述遮擋圖包括代表場景中的未被遮擋對象的未被遮擋區(qū)域的源節(jié)點(diǎn)。將與所述未被遮擋區(qū)域相關(guān)的輪廓與所述多個對象的一組廓影進(jìn)行比較，其中，每一個廓影都具有已知姿態(tài)。選擇最佳匹配的廓影的已知姿態(tài)作為所述未被遮擋對象的姿態(tài)。
文檔編號G01B11/24GK101430192SQ20081017561
公開日2009年5月13日 申請日期2008年10月17日 優(yōu)先權(quán)日2007年11月7日
發(fā)明者拉梅什·拉什卡爾, 阿米特·K·阿格拉瓦爾 申請人:三菱電機(jī)株式會社