專利名稱:基于無跡卡爾曼濾波的攝像機(jī)標(biāo)定方法
技術(shù)領(lǐng)域:
本發(fā)明涉及一種基于無跡卡爾曼濾波的攝像機(jī)標(biāo)定方法。該方法主要用于視覺系統(tǒng)的攝 像機(jī)標(biāo)定,可應(yīng)用于三維測量、三維重建、主動視覺和機(jī)器導(dǎo)航等領(lǐng)域。
背景技術(shù):
攝像機(jī)標(biāo)定是根據(jù)攝像機(jī)參數(shù)模型,由圖像坐標(biāo)系和世界坐標(biāo)系的已知特征點(diǎn)求解攝像 機(jī)模型內(nèi)部光學(xué)參數(shù)和相對于世界坐標(biāo)系的位置關(guān)系的外部參數(shù)。在計算機(jī)視覺應(yīng)用中常采 用針孔攝像機(jī)模型,該成像模型可用以下公式描述.-<formula>formula see original document page 5</formula>其中,(tt,v)表示二維圖像坐標(biāo)系上的點(diǎn),(x,y,zj表示三維世界坐標(biāo)系上的點(diǎn),s為任 意非零尺度因子,旋轉(zhuǎn)矩陣R與平移向量t構(gòu)成及外部參數(shù)矩陣,分別定義了攝像機(jī)在三維 空間的姿態(tài)和位置,A稱為攝像機(jī)內(nèi)部參數(shù)矩陣,定義為
(線。,v。)為攝像機(jī)光心在圖像平面的投影點(diǎn)坐標(biāo),即主點(diǎn),au、 ^分別表示ii軸和v軸的 尺度因子。在實(shí)際中,鏡頭不是理想的透鏡成像,存在不同程度的畸變,使實(shí)際二維圖像平 面坐標(biāo)(tt',v'〕發(fā)生偏移,有如下關(guān)系 <formula>formula see original document page 5</formula>其中,Su和^是線性畸變,定義如下<formula>formula see original document page 5</formula>上述&、 av、 u。、 v。、與畸變參數(shù)lq、 i^一起構(gòu)成了非線性模型的攝像機(jī)內(nèi)部參數(shù)。 現(xiàn)有的攝像機(jī)定標(biāo)技術(shù)大體歸為兩類:傳統(tǒng)的攝像機(jī)定標(biāo)方法和攝像機(jī)自定標(biāo)方法。 傳統(tǒng)的攝像機(jī)定標(biāo)是利用一個標(biāo)準(zhǔn)參照物與其圖像的對應(yīng)約束關(guān)系,來確定攝像機(jī)模型 的參數(shù),標(biāo)定方法可以分成四類,即利用最優(yōu)化算法的定標(biāo)方法;利用攝像機(jī)變換矩陣的定標(biāo)方法;進(jìn)一步考慮畸變補(bǔ)償?shù)膬刹椒ê筒捎酶鼮楹侠淼臄z像機(jī)成像模型的雙平面定標(biāo)方法。 按照求解算法的特點(diǎn),它分為直接非線性最小化方法(迭代法)、閉式求解方法和基于徑向約 束的兩步法。
攝像機(jī)自定標(biāo)不需要知道準(zhǔn)確的三維度量信息,試圖利用從圖像序列中得到的約束關(guān)系 來計算攝像機(jī)模型的參數(shù)。目前的研究成果主要有利用本質(zhì)矩陣和基本矩陣的攝像機(jī)定標(biāo) 方法、利用絕對二次曲線和外極線變換性質(zhì)的攝像機(jī)定標(biāo)方法、利用主動系統(tǒng)控制攝像機(jī)做 特定運(yùn)動的自定標(biāo)方法和利用多幅圖像之間的直線對應(yīng)關(guān)系的攝像機(jī)定標(biāo)方法等。
傳統(tǒng)的攝像機(jī)定標(biāo)技術(shù)必須利用一個標(biāo)準(zhǔn)參照物以獲得準(zhǔn)確的三維度信息,對標(biāo)定物的 精度要求高,往往造成過高的成本,而攝像機(jī)自標(biāo)定技術(shù)問題可以歸結(jié)為求解一組非線性多 項(xiàng)式方程組問題。解決這類問題的最常用的方法是各種優(yōu)化算法。然而優(yōu)化算法本身既不能 保證找到全局最優(yōu)解,又不能說明解的性質(zhì),因此在計算機(jī)視覺中對求解非線性問題方法的研 究是一個很重要的方面。
發(fā)明內(nèi)容
本發(fā)明是針對現(xiàn)有技術(shù)中的不足,提出了一種基于無跡卡爾曼濾波的攝像機(jī)標(biāo)定方法, 該標(biāo)定方法能簡化靶標(biāo)制作工藝,降低靶標(biāo)制作成本,還能提高攝像機(jī)標(biāo)定系統(tǒng)的標(biāo)定精度 和魯棒性。
為了實(shí)現(xiàn)上述目的,本發(fā)明的技術(shù)方案是上述基于無跡卡爾曼濾波的攝像機(jī)標(biāo)定方法, 該標(biāo)定方法包括將二維平面靶標(biāo)圖像上的標(biāo)志點(diǎn)看作勻速運(yùn)動的點(diǎn),利用系統(tǒng)噪聲和量測噪 聲的統(tǒng)計特性,以觀測到的靶標(biāo)標(biāo)志點(diǎn)的圖像坐標(biāo)和對應(yīng)的世界坐標(biāo)作為濾波器的輸入,內(nèi) 外參數(shù)的估計作為卡爾曼濾波器的輸出,根據(jù)無跡卡爾曼濾波算法得到攝像機(jī)內(nèi)外參數(shù)的最 優(yōu)估計,其步驟如下
(1) 、制作已知尺寸的二維平面靶標(biāo),靶標(biāo)的樣式為國際象棋棋盤格樣式,靶標(biāo)的尺寸 由視覺系統(tǒng)目標(biāo)對象的尺寸決定。通常,靶標(biāo)尺寸應(yīng)與目標(biāo)對象尺寸近似一致;
(2) 、在攝像機(jī)視野范圍內(nèi)拍攝不同位姿靶標(biāo)圖像攝像機(jī)固定在待標(biāo)定攝像機(jī)位置上 在其視野范圍內(nèi)移動拍攝耙標(biāo),或在固定耙標(biāo)位置上移動攝像機(jī)從不同位置和角度拍攝靶標(biāo);
(3) 、提取上述二維平面靶標(biāo)圖像的標(biāo)志點(diǎn),標(biāo)志點(diǎn)為棋盤格角點(diǎn),采用Harris角點(diǎn) 檢測算法,提取出像素級的角點(diǎn),求出各標(biāo)志點(diǎn)在二維平面靶標(biāo)圖像坐標(biāo)系中的坐標(biāo)值;
(4 )、將上述提取的標(biāo)志點(diǎn)圖像坐標(biāo)以及對應(yīng)的世界坐標(biāo)作為卡爾曼濾波器的輸入,利用無跡卡爾曼濾波算法計算出攝像機(jī)內(nèi)、外參數(shù)的最優(yōu)估計作為系統(tǒng)的輸出,根據(jù)上述卡爾 曼濾波輸出結(jié)果中的畸變參數(shù)矯正二維靶標(biāo)圖像,完成攝像機(jī)的標(biāo)定。
本發(fā)明的基于無跡卡爾曼濾波的攝像機(jī)標(biāo)定方法應(yīng)用于基于平面靶標(biāo)對攝像機(jī)進(jìn)行標(biāo)定 的各種場合,該方法標(biāo)定攝像機(jī)的內(nèi)部幾何光學(xué)參數(shù)(內(nèi)部參數(shù))和相對于外部世界坐標(biāo)系 的位置關(guān)系參數(shù)(外部參數(shù))主要有以下優(yōu)點(diǎn)
(1)、該方法使用了二維平面靶標(biāo)進(jìn)行標(biāo)定,二維平面靶標(biāo)較傳統(tǒng)三維靶標(biāo)具有制作工 藝簡單,成本低,精度高等特點(diǎn),具有較高的實(shí)用性。
(2)、該方法采用無跡卡爾曼濾波作為攝像機(jī)內(nèi)外參數(shù)估計的算法,充分利用了卡爾曼濾波的良好動 態(tài)特性和參數(shù)最優(yōu)估計特性,能提高攝像機(jī)標(biāo)定系統(tǒng)的精度和魯棒性。
圖1是本發(fā)明一個實(shí)施例中所采用的二維靶標(biāo)示意圖; 圖2是本發(fā)明一個實(shí)施例中所拍攝的6幅不同位姿靶標(biāo)示意圖; 圖3是從一幅靶標(biāo)圖像上提取的標(biāo)志點(diǎn)的示意圖; 圖4是本發(fā)明的基于無跡卡爾曼濾波的攝像機(jī)標(biāo)定方法流程圖。
具體實(shí)施例方式
下面結(jié)合本發(fā)明的一個具體實(shí)施例及附圖對本發(fā)明做進(jìn)一步詳細(xì)說明。 本發(fā)明基于無跡卡爾曼濾波的攝像機(jī)標(biāo)定方法包括以下步驟
步驟l:制作尺寸大小已知的二維平面耙標(biāo),如圖l所示,該二維靶標(biāo)尺寸為8X8的棋
盤格,共有耙標(biāo)標(biāo)志點(diǎn)64個,每個棋盤格單元大小為9. 42mmX9. 42mm;
步驟2:拍攝不同位姿靶標(biāo)圖像,如圖2所示。圖2僅展示了 6幅不同位姿實(shí)際耙標(biāo)圖 像,實(shí)際測量中,不同位姿靶標(biāo)圖像數(shù)量與攝像機(jī)標(biāo)定精度成正比。在二維靶標(biāo)平面上建立 坐標(biāo)系OwK^,YwZw,該坐標(biāo)系稱為世界坐標(biāo)系。靶標(biāo)各標(biāo)志點(diǎn)表示為〔x^y^z^) ,i為自然數(shù)。 根據(jù)攝像機(jī)擺放位置建立攝像機(jī)坐標(biāo)系"XcYcZc
步驟3:提取二維平面靶標(biāo)標(biāo)志點(diǎn),采用現(xiàn)有的各種角點(diǎn)提取算法標(biāo)記出各幅二維靶標(biāo) 圖像上的各標(biāo)志點(diǎn)位置,見圖3中的圓點(diǎn)標(biāo)記,優(yōu)先采用Harris角點(diǎn)檢測算法,提取出像素 級的角點(diǎn)后,對角點(diǎn)子域的像素灰度進(jìn)行擬合內(nèi)插,常用高斯曲面擬合,這樣的角點(diǎn)檢測結(jié) 果在子像素級,具有更高的精度。設(shè)所提取的各標(biāo)志點(diǎn)在靶標(biāo)圖像坐標(biāo)系OUV中與視覺坐標(biāo) 系對應(yīng)的坐標(biāo)為(iit ,W), i為自然數(shù),攝像機(jī)光心在靶標(biāo)圖像坐標(biāo)系中的投影點(diǎn),即主點(diǎn),坐標(biāo)為(% ' V0) o
(4)、將上述提取的標(biāo)志點(diǎn)圖像坐標(biāo)以及對應(yīng)的世界坐標(biāo)作為卡爾曼濾波器的輸入,利 用無跡卡爾曼濾波算法計算出攝像機(jī)內(nèi)、外參數(shù)的最優(yōu)估計作為系統(tǒng)的輸出,根據(jù)上述卡爾 曼濾波輸出結(jié)果中的畸變參數(shù)矯正二維耙標(biāo)圖像,完成攝像機(jī)的標(biāo)定,其具體步驟如下 步驟4-l:建立攝像機(jī)模型,如下式
<formula>formula see original document page 8</formula>
其中,各參數(shù)含義與技術(shù)背景中所述一致。平移向量t-〖^tytj,旋轉(zhuǎn)矩陣R采用四元數(shù)
表示法,旋轉(zhuǎn)矩陣R可以用四元矢量q"nq^J描述,見下式
<formula>formula see original document page 8</formula>
其中,qi+q|+q§ + qi = i。考慮到鏡頭畸變使實(shí)際二維圖像平面坐標(biāo)發(fā)生偏移,有如下
關(guān)系:
<formula>formula see original document page 8</formula>
其中,§。和§、.是線性畸變,定義如下:
<formula>formula see original document page 8</formula>
上述q。HHVtz,nu。,v。與畸變系數(shù)H,一起構(gòu)成攝像機(jī)模型的內(nèi)、外參數(shù);
步驟4-2:建立卡爾曼濾波狀態(tài)模型。假設(shè)靶標(biāo)標(biāo)志點(diǎn)是做勻速運(yùn)動,把點(diǎn)數(shù)的增加作
為時刻變化,靶標(biāo)標(biāo)志點(diǎn)坐標(biāo)作為點(diǎn)在不同時刻的運(yùn)動坐標(biāo),
設(shè)狀態(tài)向量 琳)=(H "th,q4,Wty:tjs,au,av,iio, v。鳥,k:2)T
攝像機(jī)狀態(tài)方程x(k) = #(ia-:i)x(fc-i),
其中x(k)和x(k-l)分別為k-l和k時刻的狀態(tài)向量,爭(fch+i)為13階的單位方陣, 處于臨界穩(wěn)定狀態(tài)。
步驟4-3:建立卡爾曼濾波量測模型。將先驗(yàn)知識多幅靶標(biāo)標(biāo)志點(diǎn)的圖像坐標(biāo)(U, V)、
對應(yīng)的世界坐標(biāo)(x,y,,zj和約束條件q〗+ql+ q〖+ qi = i作為量測向量,則量測方程可表示z(fc) = H[x(k),is(k)=[1^04112(!0,|13(1£)〗7+n:0c),ii2(lc:U3(切7
其中,[&(fc),馬Ck),^(Ic)〗T是零均值白噪聲,為時間函數(shù),
r4 (k)s;w + r5 (k)yw +' rs (k〕^ + ty(k)
緣)="氣CkK^掘^+"(^+"G0線+ 》=順 h3(k) = q^十q置+ql+q| =1
步驟4-4:無跡卡爾曼濾波算法,卡爾曼濾波包括兩個步驟預(yù)測與更新。設(shè)靶標(biāo)標(biāo)志
點(diǎn)從0時刻運(yùn)動到k時刻,量測信息Zk=[Zl, z2,, zk]。利用量測信息得到x (k)的估計S(klk〗, 估計的協(xié)方差P(klk-l)列出預(yù)測與更新方程,有
預(yù)測方程
x(k|k - i) = E[x(k- 一 1)jZ勺,
E (k|k — 13 = E((x(lc) — f (k|k —— i))Cx(k) — &S(1# — 1))丁『Z51,
1她—i) - E{《2(k)-糊k— —艦k—幼t:〗;
更新方程
v(k)=z(k)—i(kjk- i),
W恥=!^棘—i照(雖—i),
S:(Mfc) = 5(ki|k - i) + W(k)v(k),
P(k.lk) - P汰jk —幻-W(k)Pw04k — i)WT(k)。 根據(jù)無跡卡爾曼算法原理,上述非線性方程求解轉(zhuǎn)化為求H(O的均值和協(xié)方差的非線性變 換,關(guān)鍵點(diǎn)是確定點(diǎn)集采樣策略,目前已有的采樣策略有對稱采樣、單行采樣、3階矩偏度 采樣以及高斯分布4階矩采樣等,本發(fā)明優(yōu)選對稱采樣。
步驟4-5:矯正畸變圖像。將根據(jù)卡爾曼濾波輸出結(jié)果中的畸變參數(shù)i^^矯正二維標(biāo)靶 圖像。
本發(fā)明實(shí)現(xiàn)一個完整的攝像機(jī)標(biāo)定過程,其步驟如上所述,如圖4所示。
權(quán)利要求
1、一種基于無跡卡爾曼濾波的攝像機(jī)標(biāo)定方法,其特征在于包括將二維平面靶標(biāo)圖像上的標(biāo)志點(diǎn)看作勻速運(yùn)動的點(diǎn),利用系統(tǒng)噪聲和量測噪聲的統(tǒng)計特性,以觀測到的靶標(biāo)標(biāo)志點(diǎn)的圖像坐標(biāo)和對應(yīng)的世界坐標(biāo)作為濾波器的輸入,內(nèi)外參數(shù)的估計作為卡爾曼濾波器的輸出,根據(jù)無跡卡爾曼濾波算法得到攝像機(jī)內(nèi)外參數(shù)的最優(yōu)估計,其步驟如下(1)、制作已知尺寸的二維平面靶標(biāo);(2)、在攝像機(jī)視野范圍內(nèi)拍攝不同位姿靶標(biāo)圖像;(3)、提取上述二維平面靶標(biāo)圖像的標(biāo)志點(diǎn);(4)、將上述提取的標(biāo)志點(diǎn)圖像坐標(biāo)以及對應(yīng)的世界坐標(biāo)作為卡爾曼濾波器的輸入,利用無跡卡爾曼濾波算法計算出攝像機(jī)內(nèi)、外參數(shù)的最優(yōu)估計作為系統(tǒng)的輸出,根據(jù)上述卡爾曼濾波輸出結(jié)果中的畸變參數(shù)矯正二維靶標(biāo)圖像,完成攝像機(jī)的標(biāo)定。
2、 根據(jù)權(quán)利要求1所述的方法,其特征在于,上述步驟(1)中,制作已知尺寸的二維平面 靶標(biāo),靶標(biāo)的樣式為國際象棋棋盤格樣式,靶標(biāo)的尺寸由視覺系統(tǒng)目標(biāo)對象的尺寸決定,靶 標(biāo)尺寸應(yīng)與目標(biāo)對象尺寸近似一致。
3、 根據(jù)權(quán)利要求2所述的方法,其特征在于,上述步驟(2)中,在攝像機(jī)視野范圍內(nèi)拍攝不同位姿靶標(biāo)圖像,攝像機(jī)固定在待標(biāo)定攝像機(jī)位置上在其視野范圍內(nèi)移動拍攝耙標(biāo),或在 固定耙標(biāo)位置上移動攝像機(jī)從不同位置和角度拍攝耙標(biāo)。
4、 根據(jù)權(quán)利要求3所述的方法,其特征在于,上述步驟(3)中,提取上述二維平面靶標(biāo)圖像 的標(biāo)志點(diǎn),采用Harris角點(diǎn)檢測算法,提取出像素級的角點(diǎn),求出各標(biāo)志點(diǎn)在二維平面靶標(biāo) 圖像坐標(biāo)系中的坐標(biāo)值。
5、 根據(jù)權(quán)利要求4所述的方法,其特征在于,上述步驟(4)中,將上述步驟(3)中提取的標(biāo) 志點(diǎn)圖像坐標(biāo)以及對應(yīng)的世界坐標(biāo)作為卡爾曼濾波器的輸入,利用無跡卡爾曼濾波算法計算 出攝像機(jī)內(nèi)、外參數(shù)的最優(yōu)估計作為系統(tǒng)的輸出,根據(jù)上述卡爾曼濾波輸出結(jié)果中的畸變參 數(shù)矯正二維靶標(biāo)圖像。
6、 根據(jù)權(quán)利要求1或2或3或4或5所述的方法,其特征在于,上述步驟(4)中,將上述步 驟(3 )中提取的標(biāo)志點(diǎn)圖像坐標(biāo)以及對應(yīng)的世界坐標(biāo)作為卡爾曼濾波器的輸入,利用無跡卡 爾曼濾波算法計算出攝像機(jī)內(nèi)、外參數(shù)的最優(yōu)估計作為系統(tǒng)的輸出,根據(jù)上述卡爾曼濾波輸 出結(jié)果中的畸變參數(shù)矯正二維靶標(biāo)圖像,其具體步驟為(4)-1:建立攝像機(jī)模型,如下式<formula>formula see original document page 2</formula>其中,平移向量t-〖^tytj,旋轉(zhuǎn)矩陣R采用四元數(shù)表示法,旋轉(zhuǎn)矩陣R用四元矢量 cp(qi,q2H)描述'見下式<formula>formula see original document page 3</formula>2fecfc + q。 q,)(lU + q! — q:i2(q2 tfa — q:0 qj其中,+ = i 鏡頭畸變使實(shí)際二維圖像平面坐標(biāo)發(fā)生偏移,有如下關(guān)系其中,5u和^是線性畸變,定義如下、r = V一 tt。》+ — v。)'2上述q。,nq4,WVtz,^,^tt。,v。與畸變系數(shù)kpk2—起構(gòu)成攝像機(jī)模型的內(nèi)、外參數(shù);(4)-2 :建立卡爾曼濾波狀態(tài)模型,假設(shè)耙標(biāo)標(biāo)志點(diǎn)是做勻速運(yùn)動,把點(diǎn)數(shù)的增加作為 時刻變化,靶標(biāo)標(biāo)志點(diǎn)坐標(biāo)作為點(diǎn)在不同時刻的運(yùn)動坐標(biāo),設(shè)狀態(tài)向量 琳)=(qjj'qi'ntx'ty'Va^a^ttjj ^vkvfcs)T攝像機(jī)狀態(tài)方程=— i)3i〔k- i),其中X(k)和X(k-l)分別為k-l和k時刻的狀態(tài)向量,# (kk+i)為13階的單位方陣, 處于臨界穩(wěn)定狀態(tài);(4)-3:建立卡爾曼濾波量測模型,多幅靶標(biāo)標(biāo)志點(diǎn)的圖像坐標(biāo)(U, V)、對應(yīng)的世界坐 標(biāo)(x,y,^〗和約束條件ql +qf++= l作為量測向量,則量測方程可表示為z(k) = HDc(ftn(k)] -: |ha00,h2O0,hs(IO〗T+ [na(k),%(i:us(k)F其中,[1k(k),iaiCl,Il3(fc》〗T是零均值白噪聲,為時間函數(shù),<formula>formula see original document page 3</formula>(4)-4:無跡卡爾曼濾波算法,卡爾曼濾波包括兩個步驟設(shè)靶標(biāo)標(biāo)志點(diǎn)從O時刻運(yùn)動到 k時刻,量測信息Zk=[Zl, z2,…,Zk],利用量測信息得到x(k)的估計S(k)k),估計的協(xié)方差 P(klk-l)列出預(yù)測與更新方程,有 預(yù)測方程-安Ck〗k — 1〗=Ex(k — i jk - i〗P,P(klk — 1) = Ef (sSK —— l))Cx(k)—,魅《Klk — l〕f |2k3,試k:lk — 1) = E《H(S0clk— 1))P,,PTOWlc — 1) = £Kz 》一 2汰lk — —試Wk — 1〕)T};更新方程v(fc) = z(k) — g(klk-1),WCD = i^Wk — 1)J^ 汰lfe — i),糊k) = ,k — i) +W(k>'(k), P(到k) = P(lclk —■ 1) - W(fc)Pvv(k|k — l)WT(k); 上述非線性方程求解轉(zhuǎn)化為求H( )的均值和協(xié)方差的非線性變換; (4)-5:矯正畸變圖像,將根據(jù)卡爾曼濾波輸出結(jié)果中的畸變參數(shù)^,ks矯正二維標(biāo)靶圖像, 完成攝像機(jī)的標(biāo)定。
全文摘要
本發(fā)明公開了一種基于無跡卡爾曼濾波的攝像機(jī)標(biāo)定方法,該方法包括將二維平面靶標(biāo)圖像上的標(biāo)志點(diǎn)看作勻速運(yùn)動的點(diǎn),利用系統(tǒng)噪聲和量測噪聲的統(tǒng)計特性,以觀測到的靶標(biāo)標(biāo)志點(diǎn)的圖像坐標(biāo)和對應(yīng)的世界坐標(biāo)作為濾波器的輸入,內(nèi)外參數(shù)的估計作為卡爾曼濾波器的輸出,根據(jù)無跡卡爾曼濾波算法得到攝像機(jī)內(nèi)外參數(shù)的最優(yōu)估計,完成攝像機(jī)的標(biāo)定。該方法使用了二維平面靶標(biāo)進(jìn)行標(biāo)定,二維平面靶標(biāo)較傳統(tǒng)三維靶標(biāo)具有制作工藝簡單,成本低,精度高等特點(diǎn),具有較高的實(shí)用性;該方法采用無跡卡爾曼濾波作為攝像機(jī)內(nèi)外參數(shù)估計的算法,充分利用了卡爾曼濾波的良好動態(tài)特性和參數(shù)最優(yōu)估計特性,能提高攝像機(jī)標(biāo)定系統(tǒng)的精度和魯棒性。
文檔編號G06T7/00GK101561931SQ20091005203
公開日2009年10月21日 申請日期2009年5月26日 優(yōu)先權(quán)日2009年5月26日
發(fā)明者孫峰杰, 李長遠(yuǎn), 羅珍茜, 雷 薛, 陸士清 申請人:上海大學(xué)