一種基于cad模型與單目視覺的物體位姿測量方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種基于CAD模型與單目視覺的物體位姿測量方法，屬于視覺測量領(lǐng) 域。
【背景技術(shù)】
[0002] 隨著工業(yè)機(jī)器人的發(fā)展，基于視覺伺服的機(jī)器人/機(jī)械臂作業(yè)在越來越多的場景 得到應(yīng)用，是目前"機(jī)器換人"，產(chǎn)業(yè)轉(zhuǎn)型的核屯、問題。但當(dāng)前的工業(yè)視覺系統(tǒng)因?yàn)榧夹g(shù)和成 本限制，對S維物體的精確定位尚無較好的簡易解決方案，導(dǎo)致目前的視覺伺服系統(tǒng)主要 應(yīng)用在兩方面：一是目標(biāo)物體形狀規(guī)則且扁平的場景，可W通過外輪廓來精確定位；二是 對識別精度要求不高，具有較大抓取誤差容許的場景，如食品打包、碼煤等。但是對于形狀 結(jié)構(gòu)復(fù)雜需要=維精確定位的應(yīng)用場景則只能依賴高價的激光等傳感器，無法實(shí)現(xiàn)普遍應(yīng) 用推廣。
[0003] 在W往的利用單目視覺對目標(biāo)進(jìn)行S維位姿測量的方法中，需要將攝像機(jī)固定在 運(yùn)動載體上，攝像機(jī)在不同位置下拍攝兩幅圖像，根據(jù)圖像上的匹配點(diǎn)和對極幾何約束計 算本征矩陣，通過對本征矩陣進(jìn)行SVD分解，來得到攝像機(jī)在拍攝兩幅圖像時的位置關(guān)系。 但該樣得到的計算結(jié)果并不唯一，需要參考固定攝影機(jī)載體的運(yùn)動控制參數(shù)來確定攝像機(jī) 運(yùn)動的正解。在工業(yè)應(yīng)用中運(yùn)動載體控制參數(shù)不可知或者根本沒有運(yùn)動載體的情況下，此 類方法并不可行。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是針對現(xiàn)有的單目視覺測量中存在的不足，提供一種基于CAD模型 與單目視覺的物體位姿測量方法。
[0005] 基于CAD模型與單目視覺的物體位姿測量方法的步驟如下：
[0006] (1)獲取物體的CAD模型；
[0007] (2)將單個攝像機(jī)固定在工作區(qū)域上方，對攝像機(jī)進(jìn)行內(nèi)參數(shù)標(biāo)定，得到攝像機(jī)的 內(nèi)參數(shù)和崎變系數(shù)，設(shè)定世界坐標(biāo)系，W工作臺作為Z = 0的平面，得到攝像機(jī)的外參數(shù)[Ri ti]，即攝像機(jī)坐標(biāo)系相對于世界坐標(biāo)系的旋轉(zhuǎn)和平移變換，其中Ri表示旋轉(zhuǎn)矩陣，11表示 平移向量；
[000引 （3)將物體放置在視野中央，拍攝目標(biāo)物體的標(biāo)準(zhǔn)模板圖像；
[0009] (4)攝像機(jī)在線實(shí)時拍攝獲取當(dāng)前放置位姿下物體的圖像，設(shè)物體當(dāng)前的位姿為 Pw，物體在進(jìn)行模板拍攝時的位姿為P〇，Pw聲P。；
[0010] (5)利用基于尺度不變、旋轉(zhuǎn)不變的特征提取算法，得到當(dāng)前拍攝圖像和模板圖像 中的特征點(diǎn)描述信息，根據(jù)圖像的特征點(diǎn)描述信息對兩幅圖像進(jìn)行粗匹配，得到N對匹配 的特征點(diǎn)對，調(diào)整特征提取算法的參數(shù)，使得得到至少8對W上匹配特征點(diǎn)；
[ocm] (6)根據(jù)步驟（5)兩幅圖像中至少8對W上的匹配特征點(diǎn)對，利用RANSAC算法計 算兩幅圖像之間的基礎(chǔ)矩陣F，根據(jù)基礎(chǔ)矩陣F和對極幾何的極線約束剔除步驟（5)中的誤 匹配點(diǎn)，得到精匹配結(jié)果；
[001引（7)根據(jù)當(dāng)前目標(biāo)物體圖像和模板圖像，已知攝像機(jī)內(nèi)參數(shù)，假設(shè)物體位姿固定不 變，得到拍攝兩幅圖像時攝像機(jī)的外參數(shù)，就可W對目標(biāo)物體進(jìn)行=維重建，為計算當(dāng)前物 體在世界坐標(biāo)系中的放置位姿，假設(shè)物體W當(dāng)前位姿固定放置，模板圖像由攝像機(jī)運(yùn)動拍 攝得到，攝像機(jī)的位置相對當(dāng)前固定位置的旋轉(zhuǎn)變換為R，平移變換為t，為方便描述，下文 中W模板拍攝攝像機(jī)代指該攝像機(jī)運(yùn)動假設(shè)中模板拍攝位置的攝像機(jī)，設(shè)模板拍攝攝像機(jī) 的外參數(shù)為[R2 t,]，即模板拍攝攝像機(jī)坐標(biāo)系相對于世界坐標(biāo)系的旋轉(zhuǎn)平移變換，其中R, 表示旋轉(zhuǎn)矩陣，t2表示平移向量；
[001引 做根據(jù)模板拍攝攝像機(jī)運(yùn)動假設(shè)，已知固定攝像機(jī)外參數(shù)，需要求解模板拍攝攝 像機(jī)的外參數(shù)[R2 t,]，通過基于特征匹配的迭代算法，完成對模板拍攝攝像機(jī)外參數(shù)的估 計，迭代過程包括兩個階段；模板拍攝攝像機(jī)的外參數(shù)求解階段和特征點(diǎn)世界坐標(biāo)估計階 段；
[0014] (9)根據(jù)步驟（8)得到的模板拍攝攝像機(jī)外參數(shù)[R2 t2]和固定攝像機(jī)的外參數(shù) [Ri tj W及圖像信息、攝像機(jī)內(nèi)參數(shù)，對目標(biāo)物體進(jìn)行=維重建，得到物體的點(diǎn)云數(shù)據(jù)，在 =維重建立體匹配的過程中，由于邊緣點(diǎn)和角點(diǎn)灰度變化明顯，得到的=維點(diǎn)云中會包含 較多的邊緣信息和角點(diǎn)信息；
[0015] (10)將目標(biāo)物體在當(dāng)前位姿下的點(diǎn)云數(shù)據(jù)與物體的CAD模型進(jìn)行配準(zhǔn)，得到測量 的世界坐標(biāo)系和CAD設(shè)計模型坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，從而準(zhǔn)確的得到與物體點(diǎn)云數(shù)據(jù)對 應(yīng)的CAD模型在當(dāng)前世界坐標(biāo)系中的位置和姿態(tài)，完成對物體=維位姿的測量。
[0016] 所述的步驟做包括：
[0017] (8-1)迭代過程包括兩個階段；模板拍攝攝像機(jī)的外參數(shù)求解階段和特征點(diǎn)世界 坐標(biāo)估計階段；
[0018] (8-2)特征點(diǎn)世界坐標(biāo)初始化；已知固定攝像機(jī)的外部參數(shù)[Ri tj和內(nèi)參數(shù)M，給 定特征點(diǎn)景深的初始值，得到當(dāng)前圖像與模板圖像匹配特征點(diǎn)的世界坐標(biāo)初始值{Pl，P2,… P。} ?，其中n表示匹配特征點(diǎn)對的個數(shù)；
[0019] (8-3)模板拍攝攝像機(jī)外參數(shù)求解階段；根據(jù)模板圖像中特征點(diǎn)的像平面坐標(biāo)和 其對應(yīng)的世界坐標(biāo)點(diǎn)柄，P2,…，PJ W W及攝像機(jī)內(nèi)參數(shù)M，通過求解PnP問題，更新模板拍 攝攝像機(jī)的外參數(shù)[R2 t2]w;
[0020] (8-4)特征點(diǎn)世界坐標(biāo)計算階段；已知固定攝像機(jī)外參數(shù)化ti]、更新后的模板 拍攝攝像機(jī)的外參數(shù)[R2 t2]W和攝像機(jī)的內(nèi)參數(shù)W及兩幅圖像中匹配特征點(diǎn)對應(yīng)的像坐 標(biāo)，根據(jù)S角測量原理，更新特征點(diǎn)的世界坐標(biāo){Pi，P2,…，P。} ;
[0021] (8-5)根據(jù)模板圖像的特征點(diǎn)像坐標(biāo){屯，屯，…，q。}、攝像機(jī)內(nèi)參M W及化t2] W， 柄，口2,…，計算重投影誤差：
[0022]
【主權(quán)項(xiàng)】
1. 一種基于CAD模型與單目視覺的物體位姿測量方法，其特征在于：它的步驟如下： (1) 獲取物體的CAD模型； (2) 將單個攝像機(jī)固定在工作區(qū)域上方，對攝像機(jī)進(jìn)行內(nèi)參數(shù)標(biāo)定，得到攝像機(jī)的內(nèi)參 數(shù)和崎變系數(shù)，設(shè)定世界坐標(biāo)系，W工作臺作為Z = 0的平面，得到攝像機(jī)的外參數(shù)[Ri ti]， 即攝像機(jī)坐標(biāo)系相對于世界坐標(biāo)系的旋轉(zhuǎn)和平移變換，其中Ri表示旋轉(zhuǎn)矩陣，ti表示平移 向量； (3) 將物體放置在視野中央，拍攝目標(biāo)物體的標(biāo)準(zhǔn)模板圖像； (4) 攝像機(jī)在線實(shí)時拍攝獲取當(dāng)前放置位姿下物體的圖像，設(shè)物體當(dāng)前的位姿為Pw，物 體在進(jìn)行模板拍攝時的位姿為P。，Pw聲P。； (5) 利用基于尺度不變、旋轉(zhuǎn)不變的特征提取算法，得到當(dāng)前拍攝圖像和模板圖像中的 特征點(diǎn)描述信息，根據(jù)圖像的特征點(diǎn)描述信息對兩幅圖像進(jìn)行粗匹配，得到N對匹配的特 征點(diǎn)對，調(diào)整特征提取算法的參數(shù)，使得得到至少8對W上匹配特征點(diǎn)； (6) 根據(jù)步驟（5)兩幅圖像中至少8對W上的匹配特征點(diǎn)對，利用RANSAC算法計算兩 幅圖像之間的基礎(chǔ)矩陣F，根據(jù)基礎(chǔ)矩陣F和對極幾何的極線約束剔除步驟（5)中的誤匹配 點(diǎn)，得到精匹配結(jié)果； (7) 根據(jù)當(dāng)前目標(biāo)物體圖像和模板圖像，已知攝像機(jī)內(nèi)參數(shù)，假設(shè)物體位姿固定不變， 得到拍攝兩幅圖像時攝像機(jī)的外參數(shù)，就可W對目標(biāo)物體進(jìn)行=維重建，為計算當(dāng)前物體 在世界坐標(biāo)系中的放置位姿，假設(shè)物體W當(dāng)前位姿固定放置，模板圖像由攝像機(jī)運(yùn)動拍攝 得到，攝像機(jī)的位置相對當(dāng)前固定位置的旋轉(zhuǎn)變換為R，平移變換為t，為方便描述，下文中 W模板拍攝攝像機(jī)代指該攝像機(jī)運(yùn)動假設(shè)中模板拍攝位置的攝像機(jī)，設(shè)模板拍攝攝像機(jī)的 外參數(shù)為[R2 t,]，即模板拍攝攝像機(jī)坐標(biāo)系相對于世界坐標(biāo)系的旋轉(zhuǎn)平移變換，其中R,表 示旋轉(zhuǎn)矩陣，*2表示平移向量； (8) 根據(jù)模板拍攝攝像機(jī)運(yùn)動假設(shè)，已知固定攝像機(jī)外參數(shù)，需要求解模板拍攝攝像機(jī) 的外參數(shù)[R2 t2]，通過基于特征匹配的迭代算法，完成對模板拍攝攝像機(jī)外參數(shù)的估計，迭 代過程包括兩個階段：模板拍攝攝像機(jī)的外參數(shù)求解階段和特征點(diǎn)世界坐標(biāo)估計階段； (9) 根據(jù)步驟（8)得到的模板拍攝攝像機(jī)外參數(shù)[R2 t2]和固定攝像機(jī)的外參數(shù)[Ri tj W及圖像信息、攝像機(jī)內(nèi)參數(shù)，對目標(biāo)物體進(jìn)行=維重建，得到物體的點(diǎn)云數(shù)據(jù)，在=維 重建立體匹配的過程中，由于邊緣點(diǎn)和角點(diǎn)灰度變化明顯，得到的=維點(diǎn)云中會包含較多 的邊緣信息和角點(diǎn)信息； (10) 將目標(biāo)物體在當(dāng)前位姿下的點(diǎn)云數(shù)據(jù)與物體的CAD模型進(jìn)行配準(zhǔn)，得到測量的世 界坐標(biāo)系和CAD設(shè)計模型坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，從而準(zhǔn)確的得到與物體點(diǎn)云數(shù)據(jù)對應(yīng)的 CAD模型在當(dāng)前世界坐標(biāo)系中的位置和姿態(tài)，完成對物體=維位姿的測量。
2. 根據(jù)權(quán)利要求1所述的一種基于CAD模型與單目視覺的物體位姿測量方法，其特征 在于：所述的步驟做包括： (8-1)迭代過程包括兩個階段；模板拍攝攝像機(jī)的外參數(shù)求解階段和特征點(diǎn)世界坐標(biāo) 估計階段； (8-2)特征點(diǎn)世界坐標(biāo)初始化；已知固定攝像機(jī)的外部參數(shù)[Ri tj和內(nèi)參數(shù)M，給定特 征點(diǎn)景深的初始值，得到當(dāng)前圖像與模板圖像匹配特征點(diǎn)的世界坐標(biāo)初始值柄，P2, ... PJ ?，其中n表示匹配特征點(diǎn)對的個數(shù)； (8-3)模板拍攝攝像機(jī)外參數(shù)求解階段；根據(jù)模板圖像中特征點(diǎn)的像平面坐標(biāo)和其對 應(yīng)的世界坐標(biāo)點(diǎn){Pi，P2,…，PJ W W及攝像機(jī)內(nèi)參數(shù)M，通過求解PnP問題，更新模板拍攝攝 像機(jī)的外參數(shù)[R2 t2]w; (8-4)特征點(diǎn)世界坐標(biāo)計算階段；已知固定攝像機(jī)外參數(shù)[Ri ti]、更新后的模板拍攝 攝像機(jī)的外參數(shù)[R2 t2]w和攝像機(jī)的內(nèi)參數(shù)W及兩幅圖像中匹配特征點(diǎn)對應(yīng)的像坐標(biāo)，根 據(jù)S角測量原理，更新特征點(diǎn)的世界坐標(biāo){pi，P2,…，P。} ; (8-W根據(jù)模板圖像的特征點(diǎn)像坐標(biāo)站，屯，…，q。}、攝像機(jī)內(nèi)參M W及化t2]w' 柄，口別…，pj(w)計算重投影誤差：
其中枯*&>表示R 2?的第立行，12Z&嗦示12W的第立行，q巧像素坐標(biāo)的齊次形式，當(dāng) 重投影誤差小于設(shè)定的闊值時，則停止迭代，得到迭代計算結(jié)果[R2 t2] = [R2 t2]?，否則， 置 k = k+1。
【專利摘要】本發(fā)明公開了一種基于CAD模型與單目視覺的物體位姿測量方法。本發(fā)明通過模板拍攝攝像機(jī)運(yùn)動假設(shè)和迭代計算得到假設(shè)運(yùn)動的模板拍攝攝像機(jī)與固定攝像機(jī)之間的運(yùn)動關(guān)系，得到假設(shè)運(yùn)動的模板拍攝攝像機(jī)和固定攝像機(jī)組成的雙目系統(tǒng)外參數(shù)后，對目標(biāo)進(jìn)行三維重建，得到目標(biāo)的三維點(diǎn)云數(shù)據(jù)，并與包含物體三維結(jié)構(gòu)信息的CAD模型進(jìn)行配準(zhǔn)，得到當(dāng)前世界坐標(biāo)系下目標(biāo)物體位姿與CAD模型的對應(yīng)關(guān)系，準(zhǔn)確計算出目標(biāo)物體的位姿。本發(fā)明無需運(yùn)動的攝像機(jī)固定載體，同時結(jié)合了物體的CAD模型和立體視覺信息，成本低，精度高，可滿足實(shí)際工業(yè)應(yīng)用的需求。
【IPC分類】G01C21-00, G01C11-00, G01C11-04
【公開號】CN104596502
【申請?zhí)枴緾N201510034292
【發(fā)明人】熊蓉, 程玉立, 章逸豐
【申請人】浙江大學(xué)
【公開日】2015年5月6日
【申請日】2015年1月23日