專利名稱：一種多相機(jī)定位與跟蹤方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，尤其涉及的是一種多相機(jī)定位與跟蹤方法及系 統(tǒng)。
背景技術(shù)：
20世紀(jì)80年代美國(guó)麻省理工學(xué)院人工智能實(shí)驗(yàn)室的Marr提出了一種基于兩幅有 視差的二維平面圖像，產(chǎn)生具有深度信息的立體圖形的視覺(jué)計(jì)算理論，奠定了計(jì)算機(jī)立體 視覺(jué)發(fā)展的理論基礎(chǔ)。相比于其他的立體視方法，如全息照相術(shù)、投影式三維顯示和透鏡板 三維成像等技術(shù)；計(jì)算機(jī)立體視覺(jué)技術(shù)模擬人類雙眼處理景物的方式，測(cè)量簡(jiǎn)便可靠，在很 多領(lǐng)域具有應(yīng)用價(jià)值。目前，較為流行的計(jì)算機(jī)立體視覺(jué)測(cè)量技術(shù)是基于雙目立體視覺(jué)的三維測(cè)量技 術(shù)。雙目視覺(jué)測(cè)距原理，如

圖1所示，點(diǎn)P(x，y，z)代表帶測(cè)量的空間點(diǎn)，P1和已分別代表 P點(diǎn)在兩個(gè)相機(jī)成像面的投影，O1和O2分別代表兩個(gè)相機(jī)的光心，0_xyz代表世界坐標(biāo)系。相 機(jī)101的焦距Π和相機(jī)102的焦距Π相同，兩相機(jī)的光軸平行，且二維成像平面與相機(jī) 101坐標(biāo)系和相機(jī)102坐標(biāo)系重合。兩個(gè)相機(jī)之間的基線距離為b，則空間目標(biāo)的深度Z則 可以用以下公式表達(dá)Z =—
d其中，d表示目標(biāo)在兩相機(jī)成像面中的視差(X1-Xr)。在實(shí)際應(yīng)用中，由于在相機(jī)成像器件和光學(xué)鏡頭制造，測(cè)試環(huán)境光照和視差計(jì)算 等方面均存在誤差，這些累積誤差對(duì)雙目視覺(jué)測(cè)量系統(tǒng)的測(cè)量精度產(chǎn)生了很大的影響。以 微視公司的MVC360SAM_GE60_STERE0雙目視覺(jué)產(chǎn)品為例，其測(cè)量方向僅有物體的深度信 息，且精度約為150mm。所以，現(xiàn)有的基于雙目視覺(jué)的測(cè)量技術(shù)具有測(cè)量精度較低，穩(wěn)定性不 好，易受外界噪聲干擾等缺點(diǎn)。因此，現(xiàn)有技術(shù)還有待于改進(jìn)和發(fā)展。

發(fā)明內(nèi)容
為了克服以往雙目視覺(jué)測(cè)量方法易受外界噪聲干擾的影響，本發(fā)明的目的在于提 供一種多相機(jī)定位與跟蹤方法及系統(tǒng)，其不受外界的影響，可以實(shí)現(xiàn)較好的定位精度，且測(cè)
量穩(wěn)定性高。本發(fā)明的技術(shù)方案如下一種多相機(jī)定位與跟蹤方法，其中，包括步驟A、多個(gè)相機(jī)從不同的方位實(shí)時(shí)連續(xù)采集被測(cè)物體的圖像信號(hào)；B、將采集到的各路圖像信號(hào)通過(guò)圖像畸變技術(shù)進(jìn)行圖像矯正；C、將矯正后的各路圖像信號(hào)采用基于顏色空間模型的目標(biāo)識(shí)別技術(shù)，進(jìn)行目標(biāo)識(shí) 另|J，找出被測(cè)物在各個(gè)相機(jī)中不同時(shí)刻的成像位置二維坐標(biāo)；
D、將被測(cè) 物在各個(gè)相機(jī)中不同時(shí)刻的成像位置二維坐標(biāo)通過(guò)優(yōu)化算法進(jìn)行2D坐 標(biāo)插值計(jì)算；E、基于經(jīng)過(guò)優(yōu)化算法計(jì)算的被測(cè)物體，在所有相機(jī)成像面中的多個(gè)二維平面坐標(biāo) 所構(gòu)成的多條空間異面直線，通過(guò)三維坐標(biāo)定位算法計(jì)算被測(cè)物的空間三維坐標(biāo)。所述多相機(jī)定位與跟蹤方法，其中，所述步驟C具體包括Cl、通過(guò)多次拍攝取平均值的方法，提取出被測(cè)物體矯正后的多路圖像信號(hào)顏色 分量模型[R，G，B]；C2、對(duì)含有該被測(cè)物體待識(shí)別圖像的每個(gè)像素的顏色分量[Rp，Gp，Bp]，和已提取 的顏色分量模型[R，G，B]做如下處理
權(quán)利要求
1.一種多相機(jī)定位與跟蹤方法，其特征在于，包括步驟A、多個(gè)相機(jī)從不同的方位實(shí)時(shí)連續(xù)采集被測(cè)物體的圖像信號(hào)；B、將采集到的各路圖像信號(hào)通過(guò)圖像畸變技術(shù)進(jìn)行圖像矯正；C、將矯正后的各路圖像信號(hào)采用基于顏色空間模型的目標(biāo)識(shí)別技術(shù)，進(jìn)行目標(biāo)識(shí)別， 找出被測(cè)物在各個(gè)相機(jī)中不同時(shí)刻的成像位置二維坐標(biāo)；D、將被測(cè)物在各個(gè)相機(jī)中不同時(shí)刻的成像位置二維坐標(biāo)通過(guò)優(yōu)化算法進(jìn)行2D坐標(biāo)插 值計(jì)算；E、基于經(jīng)過(guò)優(yōu)化算法計(jì)算的被測(cè)物體，在所有相機(jī)成像面中的多個(gè)二維平面坐標(biāo)所構(gòu) 成的多條空間異面直線，通過(guò)三維坐標(biāo)定位算法計(jì)算被測(cè)物的空間三維坐標(biāo)。
2.根據(jù)權(quán)利要求1所述多相機(jī)定位與跟蹤方法，其特征在于，所述步驟C具體包括 Cl、通過(guò)多次拍攝取平均值的方法，提取出被測(cè)物體矯正后的多路圖像信號(hào)顏色分量模型[R，G，B]；C2、對(duì)含有該被測(cè)物體待識(shí)別圖像的每個(gè)像素的顏色分量[Rp，Gp, Bp]，和已提取的顏 色分量模型[R，G，B]做如下處理Rc- RbPG-G1tB-B^< σbOr,, 08和％代表三個(gè)顏色分量的門限閾值，如果以上公式成立，則當(dāng)前像素則被認(rèn) 為是被測(cè)物體；C3、當(dāng)找到圖像中的所有目標(biāo)的像素，則被測(cè)物體在該幅圖像中即被識(shí)別出來(lái)，其二維 平面坐標(biāo)可以用重心位置(x，y)表示。
3.根據(jù)權(quán)利要求1所述多相機(jī)定位與跟蹤方法，其特征在于，所述步驟E具體包括 E1、獲取被測(cè)物體在所有相機(jī)成像面中的，經(jīng)過(guò)2D坐標(biāo)插值計(jì)算的二維平面坐標(biāo)(Xi， y》，其中，i = 1，2，... N，N表示系統(tǒng)的相機(jī)個(gè)數(shù)；E2、在世界坐標(biāo)系Ow-XwYwZw中，定義相機(jī)的外部參數(shù)用平移向量(tx，ty，tz)和旋轉(zhuǎn)角 度θ，Ψ，^表示，并建立相機(jī)的旋轉(zhuǎn)R和平移向量t :ru = COS ψ cos φrn = sin Θ sin ψ cos φ-cos θ sin φ rn = cos Θ sin ψ cos φ-sin θ sin φ "2| = cos ψ sin φ 胃 φ ■ r22 二 sin θ sin ^ sin ^ + cos θ cos φ r23 = cos θ sin ψ sm. φ ~ sin Θ cos φ^31 =Sin ψ言一rn = sin ^ COS^-r33 = cos 權(quán) sin ρE3、定義每個(gè)相機(jī)光心與相機(jī)成像面其中一點(diǎn)(x，y)連成的直線為極線； 令相機(jī)的焦距用f表示，則通過(guò)該相機(jī)光心和點(diǎn)(χ，y)的極線方程[Xw，Yw, Zw]，用如 下式子表達(dá)rurn R =hir22,23/31hir33txtytz
4.根據(jù)權(quán)利要求1所述多相機(jī)定位與跟蹤方法，其特征在于，所述步驟D中的優(yōu)化算法 采用最小二乘法、平均法或中值法。
5.根據(jù)權(quán)利要求4所述多相機(jī)定位與跟蹤方法，其特征在于，當(dāng)采用最小二乘法時(shí)，所 述步驟D具體包括步驟D1、計(jì)算被測(cè)物在各個(gè)相機(jī)中的不同時(shí)刻成像位置二維坐標(biāo)(Xmk Ymk)，其中，m代表標(biāo) 號(hào)為m的相機(jī)，k = 0，1，2. . . η代表不同時(shí)刻計(jì)算出的目標(biāo)在相機(jī)m中的平面二維坐標(biāo)； D2、對(duì)于坐標(biāo)X，令Φ (χ) = ax2+bx+C，將η個(gè)χ坐標(biāo)帶入后得到 Xm0 = aO2 士 b0 士 c Xm1 = al2+bl+c Xm2 = a22+b2+cXmn = an2+bn+cD3、依據(jù)誤差的最小平方和，求得參數(shù)a，b，c
6.根據(jù)權(quán)利要求4所述多相機(jī)定位與跟蹤方法，其特征在于，當(dāng)采用平均法時(shí)，所述步 驟D具體包括步驟D11、計(jì)算被測(cè)物在各個(gè)相機(jī)中的不同時(shí)刻成像位置二維坐標(biāo)(Xmk Ymk)，其中，m代表標(biāo) 號(hào)為m的相機(jī)，k = 0，1，2. . . η代表不同時(shí)刻計(jì)算出的目標(biāo)在相機(jī)m中的平面二維坐標(biāo)；D12、采用均值
7. 一種多相機(jī)定位與跟蹤系統(tǒng)，其特征在于，包括多個(gè)圖像視頻采集設(shè)備、用于從不同的方位實(shí)時(shí)連續(xù)采集被測(cè)物體的圖像信號(hào)，并將 所述被測(cè)物體的圖像信號(hào)通過(guò)有線或者無(wú)線的方式傳送至圖像矯正模塊；與多個(gè)圖像視頻采集設(shè)備聯(lián)接的圖像矯正模塊，用于通過(guò)圖像畸變技術(shù)對(duì)所述采集到 的各路圖像信號(hào)進(jìn)行矯正；與所述圖像矯正模塊聯(lián)接的目標(biāo)識(shí)別模塊，用于將矯正后的各路圖像信號(hào)采用基于顏 色空間模型的目標(biāo)識(shí)別技術(shù)，進(jìn)行目標(biāo)識(shí)別，找出被測(cè)物在各個(gè)相機(jī)中不同時(shí)刻的成像位 置二維坐標(biāo)；與所述目標(biāo)識(shí)別模塊聯(lián)接的2D坐標(biāo)插值計(jì)算模塊，用于將被測(cè)物在各個(gè)相機(jī)中不同 時(shí)刻的成像位置二維坐標(biāo)通過(guò)優(yōu)化算法進(jìn)行2D坐標(biāo)插值計(jì)算；與所述2D坐標(biāo)插值計(jì)算模塊聯(lián)接的三維定位計(jì)算模塊，用于基于經(jīng)過(guò)優(yōu)化算法計(jì)算 的被測(cè)物體，在所有相機(jī)成像面中的多個(gè)二維平面坐標(biāo)所構(gòu)成的多條空間異面直線，通過(guò) 三維坐標(biāo)定位算法計(jì)算被測(cè)物的空間三維坐標(biāo)。
全文摘要
本發(fā)明公開(kāi)了一種多相機(jī)定位與跟蹤方法及系統(tǒng)，所述的方法包括多個(gè)相機(jī)從不同的方位實(shí)時(shí)連續(xù)采集被測(cè)物體的圖像信號(hào)；將被測(cè)物在各個(gè)相機(jī)中不同時(shí)刻的成像位置二維坐標(biāo)通過(guò)優(yōu)化算法進(jìn)行2D坐標(biāo)插值計(jì)算；在所有相機(jī)成像面中的多個(gè)二維平面坐標(biāo)所構(gòu)成的多條空間異面直線，通過(guò)三維坐標(biāo)定位算法計(jì)算被測(cè)物的空間三維坐標(biāo)本。發(fā)明所提供的一種多相機(jī)定位與跟蹤方法及系統(tǒng)，利用多相機(jī)成像的信息冗余特點(diǎn)，最大程度地克服相機(jī)內(nèi)外參數(shù)誤差和其他諸如光照等因素影響所帶來(lái)的系統(tǒng)測(cè)量誤差，可以實(shí)現(xiàn)較好的定位精度，達(dá)到5-20mm的定位精度，而且測(cè)量結(jié)果為待測(cè)目標(biāo)的三維坐標(biāo)信息，實(shí)現(xiàn)目標(biāo)的三維空間坐標(biāo)測(cè)量。
文檔編號(hào)G01B11/03GK102072706SQ20091018952
公開(kāi)日2011年5月25日 申請(qǐng)日期2009年11月20日 優(yōu)先權(quán)日2009年11月20日
發(fā)明者劉偉, 胡超, 賀慶 申請(qǐng)人:深圳先進(jìn)技術(shù)研究院