本發(fā)明涉及一種機(jī)器視覺技術(shù)領(lǐng)域，尤其涉及一種立體視覺映射模型建立方法。

背景技術(shù)：

目前的視覺系統(tǒng)類型主要包括單目視覺系統(tǒng)和立體視覺系統(tǒng)，簡單的單目視覺系統(tǒng)成像方式是基于線性的透鏡成像，在考慮了視覺系統(tǒng)的結(jié)構(gòu)之后，擴(kuò)展其成像到空間成像坐標(biāo)系，并分別構(gòu)建了全局坐標(biāo)系，攝像機(jī)坐標(biāo)系，成像平面坐標(biāo)系以及像素坐標(biāo)系。目標(biāo)物空間點(diǎn)轉(zhuǎn)換的目的是從成像圖片中提取出目標(biāo)物的三維空間坐標(biāo)值，立體視覺系統(tǒng)在單目成像原理的基礎(chǔ)上增加了目標(biāo)點(diǎn)的景深信息，這使得移動(dòng)機(jī)器人能夠很好的識(shí)別目標(biāo)的姿態(tài)及空間方位朝向信息。但是攝像機(jī)透鏡加工時(shí)的畸變因素，將不可避免的影響視覺系統(tǒng)對(duì)空間坐標(biāo)點(diǎn)成像位置的判斷，因此利用數(shù)學(xué)算法合理求解畸變因子也是提高移動(dòng)機(jī)器人視覺系統(tǒng)認(rèn)知信息精度的關(guān)鍵。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的就在于為了解決上述問題而提供一種立體視覺映射模型建立方法。

本發(fā)明通過以下技術(shù)方案來實(shí)現(xiàn)上述目的：

1、本發(fā)明包括以下步驟：

步驟1：粒子采樣；對(duì)通過改進(jìn)tsai算法標(biāo)定的立體視覺內(nèi)外參數(shù)共28個(gè)進(jìn)行采樣，因此采樣粒子共有28維，采用隨機(jī)采樣法進(jìn)行粒子采樣，重要性密度函數(shù)為高斯分布，方差可以通過經(jīng)驗(yàn)獲得；在空間內(nèi)產(chǎn)生規(guī)模為n的粒子群h＝{h1,h2,…,hn}，h為每個(gè)粒子在空間內(nèi)的28維矢量，h＝(αx1,αy1,u0l,v0l,k1l,k2l,p1l,p2l,αl,βl,γl,txl,tyl,tzl,αxr,αyr,u0r,v0r,k1r,k2r,p1r,p2r,αr,βr,γr,txrtyr,tzr)

步驟2：利用采樣粒子的畸變參數(shù)對(duì)圖像進(jìn)行校正，利用采樣粒子的其他參數(shù)生成投影矩陣，這樣每個(gè)粒子空間(28維矢量)生成了對(duì)應(yīng)的2幅畸變校正圖像和2個(gè)投影矩陣；

步驟3：確定適應(yīng)度函數(shù)；

pi為k空間點(diǎn)實(shí)際投影的像素坐標(biāo)，表示當(dāng)前粒子h作為立體視覺非線性模型參數(shù)估計(jì)的像素坐標(biāo)值，利用每個(gè)粒子生成的投影矩陣求解；

步驟4：粒子群更新；

為了有效地控制粒子遷移速度，使算法具有精細(xì)搜索能力，借鑒模擬退火算法思想在粒子群更新策略中引入慣性因子；在每次遷移中，每個(gè)粒子根據(jù)以下準(zhǔn)則更新位置和速度

式(2)中，為第i個(gè)粒子在第k次遷移時(shí)第d維速度；c1為認(rèn)知因子，c2為社會(huì)因子，分別調(diào)節(jié)粒子向個(gè)體極值和全局極值方向遷移的步長；r1和r2為(0,1)之間分布的隨機(jī)數(shù)；為第i個(gè)粒子在第d維的個(gè)體極值位置，為粒子群在第d維的全局極值位置，和在迭代過程中根據(jù)粒子適應(yīng)度實(shí)時(shí)更新；慣性因子ω＝b–k(b–a)/k，b＝0.9，a＝0.4，k為最大遷移次數(shù)；

步驟5：粒子群更新結(jié)束；

當(dāng)粒子群達(dá)到設(shè)定的截止遷移次數(shù)k或粒子適應(yīng)值達(dá)到期望值ζ，粒子群停止優(yōu)化；將更新結(jié)束后的粒子進(jìn)行粒子濾波，粒子濾波以棋盤格特征點(diǎn)的3d坐標(biāo)作為優(yōu)化條件，也是符合立體視覺實(shí)際應(yīng)用；

步驟6：獲取特征點(diǎn)觀測(cè)值

以棋盤格第一個(gè)位置作為世界坐標(biāo)系，求取棋盤格各特征點(diǎn)的坐標(biāo)值作為觀測(cè)值，棋盤格采用的30cm*30cm的黑白方格，很容易獲取個(gè)特征點(diǎn)的觀測(cè)值；

步驟7：特征點(diǎn)預(yù)測(cè)值求解；提取特征點(diǎn)在左右攝像機(jī)圖像的像素坐標(biāo)，以當(dāng)前粒子h作為立體視覺的非線性參數(shù)計(jì)算對(duì)應(yīng)特征點(diǎn)的預(yù)測(cè)值；計(jì)算方法如下；

其中，(xw，yw，zw，1)為點(diǎn)p在世界坐標(biāo)系下的齊次坐標(biāo)，(u1，v1，1)與(u2，v2，1)分別為點(diǎn)p在左右像機(jī)的圖像坐標(biāo)系投影的齊次坐標(biāo)；由式(3)和(4)可以得到關(guān)于xw，yw，zw的四個(gè)線性方程：

式(5)3個(gè)未知數(shù)4個(gè)方程，為了提高計(jì)算精度減少噪聲影響，采用最小二乘法求解；

步驟8：粒子權(quán)重計(jì)算,并做歸一化處理；

粒子權(quán)重計(jì)算就是計(jì)算每個(gè)粒子hi的概率大?。?/p>

由于每個(gè)標(biāo)定特征點(diǎn)pi之間誤差分布是獨(dú)立,標(biāo)定參數(shù)采樣粒子的概率大小計(jì)算公式如下：

由式(6)可知，如果能夠求出每個(gè)特征點(diǎn)pi對(duì)標(biāo)定參數(shù)采樣粒子的影響，也即求出p(pi|hi)，通過式(6)很容易求取標(biāo)定參數(shù)采樣粒子在所有特征點(diǎn)影響下的概率大小；設(shè)每個(gè)特征點(diǎn)的觀測(cè)值預(yù)測(cè)值為為了計(jì)算簡單，設(shè)p(pi|hi)服從高斯分布，其中均值u為和的差值，方差為觀察值方差和預(yù)測(cè)值的方差之和；

其中觀測(cè)值通過棋盤格獲取，誤差可以忽略不計(jì)，預(yù)測(cè)值由立體視覺獲得；

路標(biāo)誤差計(jì)算如下：

式(8)中r,c是特征點(diǎn)在左圖像的投影坐標(biāo)，r0,c0是左圖像的中心坐標(biāo).變量c,r,d被認(rèn)為均值為零的高斯隨機(jī)分布，根據(jù)協(xié)方差前向傳播定理，

j為式(9)的雅克比矩陣，分別為對(duì)應(yīng)變量的協(xié)方差，一般取式(9)經(jīng)計(jì)算得到：

歸一化權(quán)重：

步驟9：求標(biāo)定參數(shù)精確估計(jì)值及其協(xié)方差，標(biāo)定參數(shù)精確估計(jì)值是將每組采樣粒子乘以歸一化權(quán)重然后求和如式(12)，其標(biāo)定參數(shù)精確估計(jì)值的協(xié)方差如式(13)：

采用的粒子濾波進(jìn)行立體視覺標(biāo)定優(yōu)化算法，更好的結(jié)合了立體視覺導(dǎo)航的具體應(yīng)用，對(duì)所有參數(shù)進(jìn)行整體優(yōu)化使3維坐標(biāo)重投影誤差最小化。

本發(fā)明的有益效果在于：

本發(fā)明是一種立體視覺映射模型建立方法，與現(xiàn)有技術(shù)相比，本發(fā)明對(duì)關(guān)鍵畸變因子的標(biāo)定提出了基于tsai改進(jìn)算法。詳細(xì)介紹了基于opencv的實(shí)現(xiàn)方法，算法充分考慮了opencv函數(shù)庫最小二乘法的特性，對(duì)圖像分步進(jìn)行畸變校正，避免透鏡非線性映射導(dǎo)致的計(jì)算量增加，降低了算法迭代次數(shù)，是一種高效，簡便的算法。為了進(jìn)一步提高標(biāo)定精度，采用了粒子群優(yōu)化粒子濾波的非線性優(yōu)化算法，通過粒子群優(yōu)化使粒子集朝后驗(yàn)概率密度分布取值較大的區(qū)域運(yùn)動(dòng),從而克服了粒子貧乏問題,并極大地降低了精確預(yù)估所需的粒子數(shù)，提高估計(jì)精度。同時(shí)粒子群優(yōu)化時(shí)以投影像素誤差作為約束條件，而粒子濾波求取粒子權(quán)重時(shí)以棋盤格的特征點(diǎn)3d坐標(biāo)誤差進(jìn)行計(jì)算，充分考慮了2維和3維誤差，大大提高標(biāo)定的精度和魯棒性。最后進(jìn)行了實(shí)驗(yàn)分析，以標(biāo)定板特征點(diǎn)3d投影誤差作為精度評(píng)價(jià)指標(biāo)，結(jié)果表明本算法精度高、魯棒性好，在立體視覺導(dǎo)航中有很好的應(yīng)用前景。

附圖說明

圖1是本發(fā)明的3d路標(biāo)不確定性圖；

圖2是本發(fā)明棋盤格平面標(biāo)定模；

圖3是本發(fā)明成功檢測(cè)特征點(diǎn)對(duì)比圖；

圖4是本發(fā)明畸變矯正標(biāo)靶。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步說明：

本發(fā)明包括以下步驟：

步驟1：粒子采樣；對(duì)通過改進(jìn)tsai算法標(biāo)定的立體視覺內(nèi)外參數(shù)共28個(gè)進(jìn)行采樣，因此采樣粒子共有28維，采用隨機(jī)采樣法進(jìn)行粒子采樣，重要性密度函數(shù)為高斯分布，方差可以通過經(jīng)驗(yàn)獲得；在空間內(nèi)產(chǎn)生規(guī)模為n的粒子群h＝{h1,h2,…,hn}，h為每個(gè)粒子在空間內(nèi)的28維矢量，h＝(αx1,αy1,u0l,v0l,k1l,k2l,p1l,p2l,αl,βl,γl,txl,tyl,tzl,αxr,αyr,u0r,v0r,k1r,k2r,p1r,p2r,αr,βr,γr,txrtyr,tzr)

步驟2：利用采樣粒子的畸變參數(shù)對(duì)圖像進(jìn)行校正，利用采樣粒子的其他參數(shù)生成投影矩陣，這樣每個(gè)粒子空間(28維矢量)生成了對(duì)應(yīng)的2幅畸變校正圖像和2個(gè)投影矩陣；

步驟3：確定適應(yīng)度函數(shù)；

pi為k空間點(diǎn)實(shí)際投影的像素坐標(biāo)，表示當(dāng)前粒子h作為立體視覺非線性模型參數(shù)估計(jì)的像素坐標(biāo)值，利用每個(gè)粒子生成的投影矩陣求解；

步驟4：粒子群更新；

為了有效地控制粒子遷移速度，使算法具有精細(xì)搜索能力，借鑒模擬退火算法思想在粒子群更新策略中引入慣性因子；在每次遷移中，每個(gè)粒子根據(jù)以下準(zhǔn)則更新位置和速度

式(2)中，為第i個(gè)粒子在第k次遷移時(shí)第d維速度；c1為認(rèn)知因子，c2為社會(huì)因子，分別調(diào)節(jié)粒子向個(gè)體極值和全局極值方向遷移的步長；r1和r2為(0,1)之間分布的隨機(jī)數(shù)；為第i個(gè)粒子在第d維的個(gè)體極值位置，為粒子群在第d維的全局極值位置，和在迭代過程中根據(jù)粒子適應(yīng)度實(shí)時(shí)更新；慣性因子ω＝b–k(b–a)/k，b＝0.9，a＝0.4，k為最大遷移次數(shù)；

步驟5：粒子群更新結(jié)束；

當(dāng)粒子群達(dá)到設(shè)定的截止遷移次數(shù)k或粒子適應(yīng)值達(dá)到期望值ζ，粒子群停止優(yōu)化；將更新結(jié)束后的粒子進(jìn)行粒子濾波，粒子濾波以棋盤格特征點(diǎn)的3d坐標(biāo)作為優(yōu)化條件，也是符合立體視覺實(shí)際應(yīng)用；

步驟6：獲取特征點(diǎn)觀測(cè)值

以棋盤格第一個(gè)位置作為世界坐標(biāo)系，求取棋盤格各特征點(diǎn)的坐標(biāo)值作為觀測(cè)值，棋盤格采用的30cm*30cm的黑白方格，很容易獲取個(gè)特征點(diǎn)的觀測(cè)值；

步驟7：特征點(diǎn)預(yù)測(cè)值求解；提取特征點(diǎn)在左右攝像機(jī)圖像的像素坐標(biāo)，以當(dāng)前粒子h作為立體視覺的非線性參數(shù)計(jì)算對(duì)應(yīng)特征點(diǎn)的預(yù)測(cè)值；計(jì)算方法如下；

其中，(xw，yw，zw，1)為點(diǎn)p在世界坐標(biāo)系下的齊次坐標(biāo)，(u1，v1，1)與(u2，v2，1)分別為點(diǎn)p在左右像機(jī)的圖像坐標(biāo)系投影的齊次坐標(biāo)；由式(3)和(4)可以得到關(guān)于xw，yw，zw的四個(gè)線性方程：

式(5)3個(gè)未知數(shù)4個(gè)方程，為了提高計(jì)算精度減少噪聲影響，采用最小二乘法求解；

步驟8：粒子權(quán)重計(jì)算,并做歸一化處理；

粒子權(quán)重計(jì)算就是計(jì)算每個(gè)粒子hi的概率大?。?/p>

由于每個(gè)標(biāo)定特征點(diǎn)pi之間誤差分布是獨(dú)立,標(biāo)定參數(shù)采樣粒子的概率大小計(jì)算公式如下：

由式(6)可知，如果能夠求出每個(gè)特征點(diǎn)pi對(duì)標(biāo)定參數(shù)采樣粒子的影響，也即求出p(pi|hi)，通過式(6)很容易求取標(biāo)定參數(shù)采樣粒子在所有特征點(diǎn)影響下的概率大?。辉O(shè)每個(gè)特征點(diǎn)的觀測(cè)值預(yù)測(cè)值為為了計(jì)算簡單，設(shè)p(pi|hi)服從高斯分布，其中均值u為和的差值，方差為觀察值方差和預(yù)測(cè)值的方差之和；

其中觀測(cè)值通過棋盤格獲取，誤差可以忽略不計(jì)，預(yù)測(cè)值由立體視覺獲得；

路標(biāo)誤差形成如圖1，計(jì)算如下：

式(8)中r,c是特征點(diǎn)在左圖像的投影坐標(biāo)，r0,c0是左圖像的中心坐標(biāo).變量c,r,d被認(rèn)為均值為零的高斯隨機(jī)分布，根據(jù)協(xié)方差前向傳播定理，

j為式(9)的雅克比矩陣，分別為對(duì)應(yīng)變量的協(xié)方差，一般取式(9)經(jīng)計(jì)算得到：

歸一化權(quán)重：

步驟9：求標(biāo)定參數(shù)精確估計(jì)值及其協(xié)方差，標(biāo)定參數(shù)精確估計(jì)值是將每組采樣粒子乘以歸一化權(quán)重然后求和如式(12)，其標(biāo)定參數(shù)精確估計(jì)值的協(xié)方差如式(13)：

采用的粒子濾波進(jìn)行立體視覺標(biāo)定優(yōu)化算法，更好的結(jié)合了立體視覺導(dǎo)航的具體應(yīng)用，對(duì)所有參數(shù)進(jìn)行整體優(yōu)化使3維坐標(biāo)重投影誤差最小化。

實(shí)驗(yàn)與結(jié)果分析

如圖2所示：由于3d標(biāo)定物的精度難以保證，這里采用多個(gè)空間方位角度不同黑白交替排列的棋盤格平面標(biāo)定模板。使用pointgreyresearch公司生產(chǎn)的bumblebee2camera作為圖像采集設(shè)備。雙目視覺系統(tǒng)基線長120mm，最大分辨率為1024×768，像素面積為4.65um×4.65um，幀數(shù)為30fps，70°水平視角下的焦距為3.8mm，50°水平視角下的焦距為6mm，數(shù)字圖像位深由支持的數(shù)據(jù)格式定為24bit，圖像信號(hào)噪聲比率在0db的時(shí)候增益大于60db。

目標(biāo)棋盤格標(biāo)定板尺寸270mm×210mm，每個(gè)棋盤格尺寸為30mm×30mm，中心距30mm，陣列9×7，每幅圖像像素比均為640×480，位深8bit，標(biāo)定面的平整度誤差范圍在-0.05mm以內(nèi)，透鏡成像平面與標(biāo)定靶面的夾角保持在50°以內(nèi)。

實(shí)驗(yàn)時(shí)，雙目攝像頭一共采集3組共10副不同空間方位的圖像，應(yīng)保證獲取的棋盤格占據(jù)成像平面大部分區(qū)域。算法進(jìn)行特征點(diǎn)提取時(shí)，首先在圖像中心點(diǎn)區(qū)域范圍內(nèi)繪制特征點(diǎn)圖像，以避免圖像邊緣過畸變導(dǎo)致的標(biāo)定實(shí)際誤差，特征點(diǎn)位置用圖中圓圈內(nèi)兩直徑的交點(diǎn)表示，然后標(biāo)定平板上特征點(diǎn)的行列數(shù)。提取成功的圖像，前一行的最后一個(gè)特征點(diǎn)與后一行的第一個(gè)特征點(diǎn)由彩色直線相連，以判斷是否找到所有特征點(diǎn)，每一行特征點(diǎn)都用不同顏色的圓圈區(qū)別。圖中第一行的三幅棋盤格圖像為左攝像機(jī)特征點(diǎn)提取結(jié)果，第二行的三幅圖像是在相同空間成像映射下，右攝像機(jī)的特征點(diǎn)提取結(jié)果。

如圖3所示：為了驗(yàn)證本文標(biāo)定方法的可行性，將本文提出的粒子群優(yōu)化粒子濾波優(yōu)化算法(方法1)分別與遺傳算法非線性優(yōu)化標(biāo)定的立體視覺兩步標(biāo)定法^[81](方法2)和僅使用粒子群算法非線性優(yōu)化標(biāo)定的立體視覺兩步標(biāo)定法^[77](方法3)進(jìn)行了比較，方法1中粒子數(shù)位500，截止遷移次數(shù)500，方法2中遺傳截止進(jìn)化代數(shù)為10000，方法3中粒子群截止遷移次數(shù)為3000，優(yōu)化后具體參數(shù)如表3.2所示。

表3.2參數(shù)對(duì)比

通過粒子群優(yōu)化粒子濾波優(yōu)化算法后更接近真實(shí)值，為了進(jìn)一步評(píng)價(jià)算法的優(yōu)劣，結(jié)合立體視覺導(dǎo)航應(yīng)用環(huán)境，采用了空間真實(shí)坐標(biāo)點(diǎn)與重建后對(duì)應(yīng)的坐標(biāo)值的均方根作為評(píng)價(jià)指標(biāo)，如式(3-30)，其參數(shù)如表3.3。

表3.3性能評(píng)價(jià)結(jié)果

三種算法標(biāo)定的立體視覺的相互位置參數(shù)如表3.4，粒子群優(yōu)化粒子濾波的參數(shù)更接近廠家出廠的參數(shù)。

表3.4左右相機(jī)相互位置參數(shù)比較

最后用標(biāo)定的畸變參數(shù)對(duì)圖像進(jìn)行了畸變矯正，圖3棋盤標(biāo)定格圖像經(jīng)過畸變矯正后結(jié)果如圖4，可以看出，算法可以顯著糾正透鏡成像時(shí)發(fā)生在圖像邊緣的徑向畸變和切向畸變。

小結(jié)

本發(fā)明內(nèi)容介紹了立體視覺標(biāo)定，通過對(duì)目前常用的幾種視覺系統(tǒng)的標(biāo)定方法的分析，提出了一種基于2d平面靶標(biāo)的多項(xiàng)畸變模型立體攝像機(jī)標(biāo)定方法，算法線性求解了尺度焦距因子、像素平面中心點(diǎn)坐標(biāo)、旋轉(zhuǎn)矩陣參數(shù)、平移矩陣參數(shù)在內(nèi)的十項(xiàng)攝像機(jī)參數(shù)。對(duì)關(guān)鍵畸變因子的標(biāo)定提出了基于tsai改進(jìn)算法。詳細(xì)介紹了基于opencv的實(shí)現(xiàn)方法，算法充分考慮了opencv函數(shù)庫最小二乘法的特性，對(duì)圖像分步進(jìn)行畸變校正，避免透鏡非線性映射導(dǎo)致的計(jì)算量增加，降低了算法迭代次數(shù)，是一種高效，簡便的算法。為了進(jìn)一步提高標(biāo)定精度，采用了粒子群優(yōu)化粒子濾波的非線性優(yōu)化算法，通過粒子群優(yōu)化使粒子集朝后驗(yàn)概率密度分布取值較大的區(qū)域運(yùn)動(dòng),從而克服了粒子貧乏問題,并極大地降低了精確預(yù)估所需的粒子數(shù)，提高估計(jì)精度。同時(shí)粒子群優(yōu)化時(shí)以投影像素誤差作為約束條件，而粒子濾波求取粒子權(quán)重時(shí)以棋盤格的特征點(diǎn)3d坐標(biāo)誤差進(jìn)行計(jì)算，充分考慮了2維和3維誤差，大大提高標(biāo)定的精度和魯棒性。最后進(jìn)行了實(shí)驗(yàn)分析，以標(biāo)定板特征點(diǎn)3d投影誤差作為精度評(píng)價(jià)指標(biāo)，結(jié)果表明本算法精度高、魯棒性好，在立體視覺導(dǎo)航中有很好的應(yīng)用前景。

以上顯示和描述了本發(fā)明的基本原理和主要特征及本發(fā)明的優(yōu)點(diǎn)。本行業(yè)的技術(shù)人員應(yīng)該了解，本發(fā)明不受上述實(shí)施例的限制，上述實(shí)施例和說明書中描述的只是說明本發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會(huì)有各種變化和改進(jìn)，這些變化和改進(jìn)都落入要求保護(hù)的本發(fā)明范圍內(nèi)。本發(fā)明要求保護(hù)范圍由所附的權(quán)利要求書及其等效物界定。