專利名稱：一種全向立體視覺成像方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及成像技術(shù)，具體地說是一種全向立體視覺成像方法及裝置。
背景技術(shù)：
移動(dòng)機(jī)器人的應(yīng)用領(lǐng)域越來越廣泛，應(yīng)用領(lǐng)域的拓展要求其具有越來越高的智能，要求其能自主的巡游和避障。對(duì)此人們提出了基于超聲波、紅外、激光雷達(dá)、常規(guī)CCD相機(jī)等各種傳感器在內(nèi)的定位和導(dǎo)航及避障技術(shù)。超聲傳感器價(jià)格便宜，但其探測波束角過大，分辨力受到嚴(yán)重的限制，方向性差；紅外的有效探測范圍太近，遠(yuǎn)不能滿足自然場景中機(jī)器人探測障礙的要求；激光雷達(dá)探測距離遠(yuǎn)，精度高，但容易受噪聲影響且價(jià)格昂貴，相對(duì)于以上外部導(dǎo)航傳感器，立體視覺具有本身不發(fā)出光及其他輻射源的特性，隱蔽性好，獲取周圍場景的信息豐富，測量快速準(zhǔn)確。但常規(guī)鏡頭的視場角較小(約23°左右)，只能獲取有限視野的局部信息，而且在深度對(duì)應(yīng)性求解時(shí)，立體視覺的有效檢測區(qū)域?yàn)槎€(gè)相機(jī)視野的公共部分，由于視場角限制，系統(tǒng)中一個(gè)相機(jī)參考圖像中的某些點(diǎn)未必能被其他相機(jī)拍攝，造成匹配問題的退化。且公共視野區(qū)的狹小使視覺導(dǎo)航系統(tǒng)的靈活性和魯幫性降低，盡管可以通過增加云臺(tái)等機(jī)械裝置來彌補(bǔ)這一缺陷，但這在增加了系統(tǒng)的復(fù)雜性的同時(shí)還降低了實(shí)時(shí)性。
當(dāng)前獲取全向立體視覺大致通過三種途徑旋轉(zhuǎn)成像和多攝像機(jī)成像、魚眼鏡頭成像和折反射全向成像。
(1)旋轉(zhuǎn)成像和多攝像機(jī)成像旋轉(zhuǎn)成像是相機(jī)繞通過其光心的軸旋轉(zhuǎn)，在旋轉(zhuǎn)的各個(gè)角度拍攝多幅圖像，再將這些圖像進(jìn)行拼接或者重采樣，從而得到全景圖像。通過對(duì)旋轉(zhuǎn)中不同位置拍攝的圖像尋找對(duì)應(yīng)點(diǎn)，進(jìn)行深度恢復(fù)。這種成像方式需要精確的旋轉(zhuǎn)運(yùn)動(dòng)控制部件或復(fù)雜的算法，且旋轉(zhuǎn)一周需要較長時(shí)間，因此不適用于視覺導(dǎo)航等有實(shí)時(shí)性要求的工作。
多攝像機(jī)成像則是采用朝向各個(gè)方向的多個(gè)相機(jī)來實(shí)現(xiàn)全向成像，將多個(gè)相機(jī)同時(shí)拍攝的圖像進(jìn)行融合，生成全景圖像。該成像系統(tǒng)若要滿足單視點(diǎn)約束，各個(gè)攝像機(jī)的光學(xué)中心必須重合。實(shí)際上由于各個(gè)相機(jī)的物理特性限制，安裝中不同相機(jī)的光學(xué)中心不可能重合。而且這種成像方式成本高，系統(tǒng)復(fù)雜。
(2)魚眼鏡頭成像魚眼鏡頭具有很短的焦距(f＜3mm)，這使攝像機(jī)能夠觀察到接近半球面內(nèi)的物體，視場角接近180°。但這種成像存在較大的圖像畸變；且其畸變模型不滿足透視投影條件，無法從所獲取的圖像中映射出無畸變的透視投影圖像；同時(shí)視場角越大，光學(xué)系統(tǒng)越復(fù)雜，造價(jià)越昂貴，同時(shí)視場角變彎，物像對(duì)應(yīng)關(guān)系復(fù)雜，補(bǔ)償困難。對(duì)于大視場立體視覺，這種系統(tǒng)和方法(1)存在的一個(gè)共同問題是都難以滿足單視點(diǎn)約束。且該方法成像區(qū)域到所要求的全向成像仍有一定的差距，而且在用于全景成像時(shí)，其高分辨率區(qū)域往往是不重要的區(qū)域，比如天空或攝像機(jī)支架本身。
(3)折反射全向成像系統(tǒng)用普通相機(jī)和曲面反射鏡面制作的折反射全向成像系統(tǒng)能夠?qū)崟r(shí)獲取水平方向360°和垂直方向一定角度的全向圖像。若采用符合單視點(diǎn)約束的雙曲面反射鏡或拋物面反射鏡，則滿足透視投影成像模型條件的系統(tǒng)容易進(jìn)行系統(tǒng)標(biāo)定、圖像分析和處理，實(shí)現(xiàn)對(duì)圖像或圖像序列的定量操作?，F(xiàn)有的此類全向立體視覺裝置主要有兩種I、通過安裝在機(jī)器人上的單個(gè)雙曲面反射鏡用序列實(shí)現(xiàn)多基線立體視覺，即其立體圖對(duì)通過機(jī)器人的運(yùn)動(dòng)來獲取。此類方法需要機(jī)器人裝有精確的碼盤等內(nèi)部導(dǎo)航傳感器，且只適用于平整的地面等理想情況，不適用于各種環(huán)境下移動(dòng)機(jī)器人的避障和導(dǎo)航。II、兩個(gè)普通相機(jī)和兩反射鏡組成的系統(tǒng)①水平基線的全向立體視覺系統(tǒng)，可對(duì)機(jī)器人前后的障礙物進(jìn)行檢測，立體視覺的測量精度很不均勻，而且由于系統(tǒng)本身的遮擋對(duì)兩側(cè)場景不能進(jìn)行感知，全向圖像的外極線是二次曲線，對(duì)應(yīng)點(diǎn)計(jì)算復(fù)雜；②垂直基線的全向立體視覺系統(tǒng)，把兩個(gè)攝像機(jī)上下共軸放置，此時(shí)外極線成為一系列放射線，全向圖像(Omnidirectional image)被投影成全景圖像(Panoramic image)后，外極線成為一系列垂直平行線，對(duì)應(yīng)點(diǎn)的計(jì)算簡化為在垂直的像素點(diǎn)中尋找。這種配置仍不能根本解決攝像機(jī)之間的相互遮擋問題。

發(fā)明內(nèi)容
為了克服上述不足，本發(fā)明的提供了一種具有結(jié)構(gòu)和計(jì)算簡單、對(duì)應(yīng)點(diǎn)匹配容易、精度和實(shí)時(shí)性高、系統(tǒng)成像無遮擋的全向立體視覺成像方法及裝置。
為了實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案如下全向立體視覺成像方法將一透視相機(jī)鏡頭的光軸和兩反射鏡面的共同對(duì)稱軸重合放置，空間中的一點(diǎn)分別經(jīng)兩反射鏡面反射后分別在所述透視相機(jī)的像平面上成像于不同的兩點(diǎn)，等效于用兩個(gè)相機(jī)成像，這樣用一個(gè)相機(jī)實(shí)現(xiàn)雙目全向立體視覺。
成像裝置包括兩個(gè)反射鏡面、相機(jī)，所述相機(jī)鏡頭的光軸和兩反射鏡面的共同對(duì)稱軸重合，系統(tǒng)基線長度為10-300mm(基線長度定義如圖6所示，空間中一點(diǎn)P分別經(jīng)兩反射鏡面成虛像P1、P2，兩反射鏡面對(duì)成像的空間點(diǎn)來說相當(dāng)于兩個(gè)虛擬相機(jī)，兩虛擬相機(jī)光心之間的距離1即是由此兩虛擬相機(jī)組成的雙目立體視覺系統(tǒng)的基線長度)；所述兩反射鏡面可以為兩雙曲反射鏡面，兩雙曲反射鏡面同軸固定，相機(jī)鏡頭的光心和兩個(gè)雙曲反射鏡面的共同焦點(diǎn)重合，相機(jī)鏡頭的光軸和兩個(gè)雙曲反射鏡面的共同對(duì)稱軸共線，接近相機(jī)的雙曲反射鏡面中間設(shè)有孔，遠(yuǎn)離相機(jī)的雙曲反射鏡面通過接近相機(jī)的雙曲反射鏡面中間的孔使周圍環(huán)境在相機(jī)像平面上成像，系統(tǒng)基線長度可以為30-300mm。
其中所述相機(jī)為透視相機(jī)；所述兩雙曲反射鏡面可以同軸固定于一個(gè)透明管內(nèi)；在兩雙曲反射鏡面的對(duì)稱軸上可以安裝一針狀物體(黑色)。
與現(xiàn)有技術(shù)相比，本發(fā)明更具有如下優(yōu)點(diǎn)1.系統(tǒng)結(jié)構(gòu)和計(jì)算簡單。本發(fā)明只使用一個(gè)相機(jī)，降低了相同的復(fù)雜性。系統(tǒng)配置相機(jī)的光心與兩個(gè)雙曲面鏡的共同焦點(diǎn)重合，幾何計(jì)算非常簡單。
2.精度高。本發(fā)明使兩鏡面間隔的距離較大，系統(tǒng)的基線長度可達(dá)到三百毫米，極大的提高了系統(tǒng)的精度。
3.對(duì)應(yīng)點(diǎn)匹配容易。此配置使系統(tǒng)的外極線成為一系列放射線，對(duì)應(yīng)點(diǎn)的計(jì)算簡化為在一條直線的像素點(diǎn)中尋找，且通過上下鏡面的成像范圍等其他約束可進(jìn)一步把尋找的區(qū)域縮小為長度很短的一段線段內(nèi)。
4.實(shí)時(shí)性高。由于系統(tǒng)的結(jié)構(gòu)和幾何計(jì)算簡單，對(duì)應(yīng)點(diǎn)匹配容易，極大的減輕了系統(tǒng)的計(jì)算負(fù)擔(dān)，提高了系統(tǒng)的實(shí)時(shí)性。
5.系統(tǒng)成像無遮擋?，F(xiàn)有的用兩個(gè)相機(jī)實(shí)現(xiàn)全向立體視覺的系統(tǒng)中，水平基線配置由于全向相機(jī)的互相遮擋，不能獲取機(jī)器人兩側(cè)區(qū)域的深度信息；垂直基線的配置由于上面相機(jī)的支架、電源和數(shù)據(jù)線對(duì)下面相機(jī)的遮擋，下面相機(jī)所獲取的圖像有相當(dāng)大的區(qū)域是無用的信息。
6.應(yīng)用范圍廣。采用本發(fā)明能使移動(dòng)機(jī)器人在有效探測四周障礙物的同時(shí)獲取周圍場景的深度信息，可用于各種環(huán)境下移動(dòng)機(jī)器人導(dǎo)航，亦可用于視頻監(jiān)控和三維重建等要求快速和實(shí)時(shí)計(jì)算的工作。


圖1為本發(fā)明系統(tǒng)原理示意圖。
圖2為雙曲反射鏡面及相機(jī)配置圖。
圖3為本發(fā)明一個(gè)實(shí)施例系統(tǒng)結(jié)構(gòu)示意圖。
圖4為本發(fā)明實(shí)施例2系統(tǒng)結(jié)構(gòu)示意圖。
圖5為本發(fā)明實(shí)施例3系統(tǒng)結(jié)構(gòu)示意圖。
圖6為本發(fā)明系統(tǒng)基線原理示意圖。
具體實(shí)施例方式
下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。
實(shí)施例1全向立體視覺成像方法將一透視相機(jī)鏡頭的光軸和兩反射鏡面的共同對(duì)稱軸重合放置，空間中的一點(diǎn)P分別經(jīng)兩反射鏡面反射后分別在所述透視相機(jī)的像平面成像于點(diǎn)Pa、Pb，這樣空間中的一點(diǎn)在同一相機(jī)像平面的兩個(gè)不同位置成像，用一個(gè)相機(jī)實(shí)現(xiàn)雙目全向立體視覺(參見圖1)。
成像裝置如圖3所示，本發(fā)明系統(tǒng)硬件包括兩個(gè)雙曲反射面鏡(圖中1為位于上面的雙曲反射鏡面，2為位于下面的雙曲反射鏡面)，和一個(gè)普通透視相機(jī)3和透明管組成，所述兩雙曲反射鏡面直徑相同，上下布置，同軸固定于一個(gè)透明玻璃管內(nèi)，相機(jī)鏡頭的光心和兩個(gè)雙曲反射鏡面的共同焦點(diǎn)重合，相機(jī)鏡頭的光軸和兩個(gè)雙曲反射鏡面的共同對(duì)稱軸共線(參見圖2)，下面的雙曲反射鏡面中間設(shè)有孔4，上面的雙曲反射鏡面下面的雙曲反射鏡面中間的孔4使周圍環(huán)境在相機(jī)3像平面上成像；本實(shí)施例系統(tǒng)的基線長度為204.9516mm。
本發(fā)明原理如下以相機(jī)的光心為坐標(biāo)原點(diǎn)O，以光軸的方向?yàn)閦軸，定義相機(jī)像平面的兩個(gè)方向u，v分別為x軸和y軸，參見圖1。由于系統(tǒng)的對(duì)稱性，系統(tǒng)模型可簡化為在二維平面上討論，以光軸的方向?yàn)閦軸，定義相機(jī)像平面上的任一直線為r軸，則r軸和z軸相垂直，兩雙曲反射鏡面的鏡面方程可以寫為(z-c)2a2-r2b2=1;]]>其中a分別為aa、ab；b分別為ba、bb；c分別為ca，cb；aa，ab為別兩雙曲反射鏡面的二分之一實(shí)軸；ba，bb為別兩雙曲反射鏡面的二分之一虛軸；ca，cb為別兩雙曲反射鏡面的二分之一焦距，aa，ab，ba，bb，ca，cb的值可根據(jù)移動(dòng)機(jī)器人檢測障礙和導(dǎo)航的范圍確定(本實(shí)施例為aa＝131.2955mm，ba＝90.4923mm，ca＝159.4596mm；ab＝41.1515mm，bb＝39.4171mm，cb＝56.9838mm，本系統(tǒng)置于0.75m高處，可檢測障礙物半徑為2.5m)?？臻g中的一點(diǎn)P(r，z)通過兩雙曲反射鏡面的反射分別在相機(jī)像平面上成像于Pa(ua，-f)和Pb(ub，-f)，連接pa、pb和坐標(biāo)原點(diǎn)O(0，0)的直線分別和上下設(shè)置的雙曲反射鏡面相交于Ma(ra，za)、Mb(rb，zb)，由于兩雙曲反射鏡面的方程和焦點(diǎn)坐標(biāo)Fa(0，2ca)、Fb(0，2cb)已知，則直線FaMa、FbMb的方程可以以兩點(diǎn)式求出rra==(z-2ca)(za-2ca)rrb==(z-2cb)(zb-2cb);]]>解上面的方程組即可求得P點(diǎn)的坐標(biāo)(r，z)，然后用z值和點(diǎn)P附近物體的縱坐標(biāo)z值相比較，即可判斷此點(diǎn)處在障礙物上還是在凹坑里，進(jìn)而實(shí)現(xiàn)移動(dòng)機(jī)器人避障和導(dǎo)航；r即是P點(diǎn)物體的深度信息，z是障礙物信息。
實(shí)施例2與實(shí)施例1不同之處在于
參見圖4，所述系統(tǒng)基線長度為300mm；在兩雙曲反射鏡面的對(duì)稱軸上安裝一黑色、不變形、長細(xì)狀的針5，起到消除玻璃管散射的作用。
實(shí)施例3與實(shí)施例1不同之處在于參見圖5，所述透視相機(jī)鏡頭的光軸和兩反射鏡面的共同對(duì)稱軸重合放置，兩反射鏡面的鏡面方程為二次曲面，(如雙曲面、圓錐面、球面、拋物面等，本實(shí)施例采用雙曲面)，系統(tǒng)基線長度為10mm。
總之采用本發(fā)明通過空間中的一點(diǎn)被兩反射鏡面反射后分別成像于相機(jī)像平面，等效于兩個(gè)相機(jī)實(shí)現(xiàn)雙目視覺，用一個(gè)普通透視相機(jī)和兩個(gè)反射鏡面實(shí)現(xiàn)雙目全向立體視覺，系統(tǒng)結(jié)構(gòu)和幾何計(jì)算簡單；所獲取的立體圖像對(duì)在一系列射線上，對(duì)應(yīng)點(diǎn)尋找和匹配容易，使系統(tǒng)的具有很高的實(shí)時(shí)性；兩個(gè)反射鏡面間隔一定距離使系統(tǒng)的基線增長，極大地減小了系統(tǒng)的誤差。
權(quán)利要求
1.一種全向立體視覺成像方法，其特征在于將一透視相機(jī)鏡頭的光軸和兩反射鏡面的共同對(duì)稱軸重合放置，空間中的一點(diǎn)(P)分別經(jīng)兩反射鏡面反射后分別在所述透視相機(jī)的像平面成像于點(diǎn)(Pa、Pb)。
2.一種全向立體視覺成像裝置，包括兩個(gè)反射鏡面、相機(jī)，其特征在于所述相機(jī)鏡頭的光軸和兩反射鏡面的共同對(duì)稱軸重合放置，系統(tǒng)基線長度為10-300mm。
3.按權(quán)利要求2所述全向立體視覺成像裝置，其特征在于所述兩反射鏡面為兩雙曲反射鏡面，同軸固定，相機(jī)鏡頭的光心和兩個(gè)雙曲反射鏡面的共同焦點(diǎn)重合，相機(jī)鏡頭的光軸和兩個(gè)雙曲反射鏡面的共同對(duì)稱軸共線，接近相機(jī)的雙曲反射鏡面中間設(shè)有孔，遠(yuǎn)離相機(jī)的雙曲反射鏡面通過接近相機(jī)的雙曲反射鏡面中間的孔使周圍環(huán)境在相機(jī)像平面上成像，系統(tǒng)基線長度為30-300mm。
4.根據(jù)權(quán)利要求2或3所述全向立體視覺裝置，其特征在于所述相機(jī)為透視相機(jī)。
5.根據(jù)權(quán)利要求3所述全向立體視覺裝置，其特征在于所述兩雙曲反射鏡面同軸固定于一個(gè)透明管內(nèi)。
6.根據(jù)權(quán)利要求3所述全向立體視覺裝置，其特征在于在兩雙曲反射鏡面的對(duì)稱軸上安裝一針狀物體。
7.根據(jù)權(quán)利要求6所述全向立體視覺系統(tǒng)，其特征在于所述針狀物體為黑色。
全文摘要
本發(fā)明涉及成像技術(shù)，具體地說是一種全向立體視覺成像方法及裝置。它將一透視相機(jī)鏡頭的光軸和兩反射鏡面的共同對(duì)稱軸重合放置，空間中的一點(diǎn)分別經(jīng)兩反射鏡面反射后分別在所述透視相機(jī)的像平面成像于不同的兩點(diǎn)，相當(dāng)于兩個(gè)相機(jī)成像；裝置包括兩個(gè)反射鏡面、相機(jī)，所述相機(jī)鏡頭的光軸和兩反射鏡面的共同對(duì)稱軸重合。本發(fā)明具有成像清晰、系統(tǒng)結(jié)構(gòu)和幾何計(jì)算簡單、精度和實(shí)時(shí)性高、系統(tǒng)成像無遮擋的優(yōu)點(diǎn)。
文檔編號(hào)G02B27/22GK1804720SQ200510045648
公開日2006年7月19日 申請(qǐng)日期2005年1月12日 優(yōu)先權(quán)日2005年1月12日
發(fā)明者朱楓, 蘇連成, 歐錦軍, 董再勵(lì), 郝穎明 申請(qǐng)人:中國科學(xué)院沈陽自動(dòng)化研究所