本發(fā)明屬于三維信息技術(shù)領(lǐng)域,尤其涉及一種基于多攝像機(jī)的實(shí)時(shí)三維點(diǎn)云重建方法和系統(tǒng)。
技術(shù)背景
三維重建是計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)等領(lǐng)域常見(jiàn)的問(wèn)題。所謂三維物體重建是指通過(guò)傳感設(shè)備獲得空間三維物體的2d圖像或2.5d深度數(shù)據(jù),從中恢復(fù)出物體的三維結(jié)構(gòu)。傳感類型可以包括可光學(xué)成像、激光掃描、熱成像等。三維重建在計(jì)算機(jī)輔助設(shè)計(jì)、3d動(dòng)畫(huà)/游戲、科學(xué)計(jì)算和虛擬現(xiàn)實(shí)、工業(yè)測(cè)量等方面有著許多應(yīng)用。
目前,市面上常用的三維重建設(shè)備或方法包括三種。第一種是基于激光掃描的方法,其主要是基于激光測(cè)距的原理,此類設(shè)備的構(gòu)造一般主要包括一臺(tái)高速精確的激光測(cè)距儀、數(shù)碼相機(jī)、以及引導(dǎo)激光運(yùn)動(dòng)的輔助設(shè)備。采用激光掃描的方法具有精度高、速度快的優(yōu)點(diǎn),然而其設(shè)備往往價(jià)格昂貴,并且體積等常比較大;第二種方法是基于立體視覺(jué)的方法,即通過(guò)兩臺(tái)以上攝像機(jī)從不同角度對(duì)物體進(jìn)行拍攝,分析獲得的圖像數(shù)據(jù),從中計(jì)算出物體各個(gè)三維點(diǎn)的空間位置,從而得到三維重建數(shù)據(jù)。這類方法關(guān)鍵需要解決高精度的攝像機(jī)標(biāo)定、特征提取、以及立體匹配等計(jì)算問(wèn)題,只有獲得精確的匹配結(jié)果,才有可能準(zhǔn)確的恢復(fù)出物體三維點(diǎn)云信息。第三種方法是基于單攝像機(jī)及輔助信息的方法,這類方法需要在物體上打上主動(dòng)光斑等輔助信息,通過(guò)分析紋理光斑的形變等變化來(lái)計(jì)算出物體的三維位置信息,比如一些設(shè)備采用紅外投影儀向物體投射結(jié)構(gòu)化的光斑信息。這類方法的缺點(diǎn)在于需要額外的輔助設(shè)備,并且在對(duì)物體快速運(yùn)動(dòng)的場(chǎng)景會(huì)遇到困難。而且有一些三維重建的方法,物體輪廓分割不干凈,物體輪廓和物體外貌顏色信息獲取不準(zhǔn)確,計(jì)算量大,步驟復(fù)雜。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明針對(duì)以上技術(shù)問(wèn)題,提供一種基于多攝像機(jī)的實(shí)時(shí)三維點(diǎn)云重建方法和系統(tǒng),精確度更高、效率更高、普遍適用、計(jì)算更簡(jiǎn)單。
本發(fā)明采用的技術(shù)方案如下,一種基于多攝像機(jī)的實(shí)時(shí)三維點(diǎn)云重建方法,其特征在于,包括:
a1:搭建多攝像機(jī)同步采集系統(tǒng):選擇一個(gè)封閉的三維立體空間,并在三維立體空間的四周合適位置上固定安裝一定數(shù)目的攝像機(jī),攝像機(jī)拍攝的環(huán)境要求為單一顏色的靜態(tài)背景,控制燈源,使得空間內(nèi)部的光照均勻;
a2:多攝像機(jī)系統(tǒng)標(biāo)定:確定各個(gè)攝像機(jī)的空間方位和內(nèi)部參數(shù);
a3:建立投影查找表:將三維立體空間均分為若干個(gè)相同的粒塊,并標(biāo)定粒塊的中心點(diǎn)位置坐標(biāo),依據(jù)攝像機(jī)的空間方位信息和內(nèi)部參數(shù)得到各粒塊中心點(diǎn)在各個(gè)攝像機(jī)像面上的成像點(diǎn);
a4:圖像采集:通過(guò)攝像機(jī)對(duì)三維立體空間內(nèi)的運(yùn)動(dòng)物體圖像進(jìn)行采集;
a5:物體輪廓分割:從采集的圖像中分割出物體輪廓;
a6:三維重建:通過(guò)步驟a5獲得t時(shí)刻多視圖物體輪廓圖像數(shù)據(jù)后,利用攝像機(jī)標(biāo)定信息、捕捉粒塊的三維位置信息以及投影查找表,得到動(dòng)態(tài)的物體重建數(shù)據(jù)。
優(yōu)選地,所述多攝像機(jī)系統(tǒng)標(biāo)定方法為:1)采用常規(guī)的攝像機(jī)標(biāo)定方法標(biāo)定各個(gè)攝像機(jī)的內(nèi)部參數(shù),所述內(nèi)部參數(shù)包括攝像機(jī)焦距、攝像機(jī)主點(diǎn)坐標(biāo)以及成像畸變參數(shù);2)在三維立體空間地面上平鋪合適大小的標(biāo)定網(wǎng)格板,使得各個(gè)攝像機(jī)都能夠覆蓋成像;3)標(biāo)定網(wǎng)格一角定義世界坐標(biāo)系,各個(gè)攝像機(jī)對(duì)標(biāo)定網(wǎng)格板拍攝,由已標(biāo)定的攝像機(jī)內(nèi)部參數(shù)、標(biāo)定網(wǎng)格板各網(wǎng)格點(diǎn)在世界坐標(biāo)系上的位置坐標(biāo)以及各攝像機(jī)得到的標(biāo)定網(wǎng)格板中各網(wǎng)格點(diǎn)的像素坐標(biāo),并通過(guò)位姿估計(jì)的方法計(jì)算出攝像機(jī)的方位信息。
優(yōu)選地,所述物體輪廓分割的操作方法為,通過(guò)對(duì)其中任一臺(tái)攝像機(jī)采集的圖像的rgb各通道圖像與該攝像機(jī)對(duì)應(yīng)的背景圖像的rgb各通道圖像對(duì)比,獲得分割后的物體輪廓圖像的rgb各通道圖像,得到物體輪廓像素點(diǎn)集合。
優(yōu)選地,所述三維重建的具體步驟如下:
b1:給定一個(gè)粒塊的二進(jìn)制串狀態(tài)變量,并初始化;
b2:對(duì)每一幅分割得到的物體輪廓圖像進(jìn)行以下掃描操作:通過(guò)對(duì)應(yīng)于該攝像機(jī)的投影查找表,依次對(duì)其中的屬于前景物體輪廓區(qū)域的像素點(diǎn)集合的各像素點(diǎn)查找到對(duì)應(yīng)的粒塊序號(hào)集合,并將每一個(gè)粒塊序號(hào)對(duì)應(yīng)粒塊的狀態(tài)變量進(jìn)行更新賦值;
b3:按照b2所述方法對(duì)t時(shí)刻多視圖所有物體輪廓圖像進(jìn)行掃描操作結(jié)束后,得到物體形體粒塊;
b4:尋找表面點(diǎn):具體為,對(duì)每一個(gè)重建點(diǎn),判斷其上下、左右和前后6個(gè)鄰域點(diǎn)是否全部為重建點(diǎn),若均為重建點(diǎn),將該重建點(diǎn)予以剔除,最終得到物體對(duì)象在t時(shí)刻的三維重建點(diǎn)云。
優(yōu)選地,所述重建方法還包括色彩重建步驟,在獲得物體重建數(shù)據(jù)后,利用物體輪廓的顏色信息對(duì)物體外貌色彩進(jìn)行重建。
優(yōu)選地,色彩重建的具體方法如下:
c1:對(duì)每個(gè)重建的粒塊定義一四維向量cn=(r,g,b,m)(n=1,2,…,nshape,nshape為形體粒塊的數(shù)目),并初始化該向量元素值均為0;
c2:通過(guò)透視投影模型計(jì)算所找出的各物體粒塊在當(dāng)前攝像機(jī)像面的深度數(shù)值,并確定離攝像機(jī)像面最近的重建物體粒塊,則將該像素點(diǎn)的顏色信息(rij,gij,bij)以下面的方式記錄到重建物體粒塊對(duì)應(yīng)的四維向量cn=(r,g,b,m):
c3:對(duì)每一個(gè)物體粒塊計(jì)算顏色值:對(duì)某物體粒塊,如果對(duì)應(yīng)的四維向量中m值不為0,則該粒塊的顏色數(shù)據(jù)計(jì)算為
優(yōu)選地,在建立投影查找表時(shí),記錄各個(gè)粒塊的深度信息,并對(duì)每個(gè)輪廓像素對(duì)應(yīng)的粒塊集合按照深度大小進(jìn)行排序存儲(chǔ),以便于避免在上述步驟c3中再次進(jìn)行深度計(jì)算,
一種基于多攝像機(jī)的實(shí)時(shí)三維點(diǎn)云重建系統(tǒng),包括,封閉的單一顏色的靜態(tài)背景的三維立體空間、固定安裝在立體空間四周的若干個(gè)的攝像機(jī)與若干個(gè)燈源和計(jì)算機(jī),其中所述攝像機(jī)與計(jì)算機(jī)連接,所述計(jì)算機(jī)包括:
攝像機(jī)標(biāo)定模塊,用于確定各個(gè)攝像機(jī)的空間方位和內(nèi)部參數(shù);
投影查找表計(jì)算模塊,用于建立投影查找表;
物體輪廓分割模塊,將攝像機(jī)采集得到的圖像中分割出物體輪廓;
三維重建模塊,用于根據(jù)攝像機(jī)的標(biāo)定信息、捕捉粒塊的三維位置信息以及投影查找表,得到動(dòng)態(tài)的物體重建數(shù)據(jù)。
優(yōu)選地,所述系統(tǒng)還包括色彩重建模塊,用于在獲得物體重建數(shù)據(jù)后,利用物體輪廓的顏色信息對(duì)物體外貌色彩進(jìn)行重建。
本發(fā)明與現(xiàn)有技術(shù)相比,具有以下優(yōu)點(diǎn):
(1)重建精度可以自主控制:通過(guò)設(shè)定劃分粒塊的大小,而得到不同的分辨率,可以獲得不同精度的重建效果,粒塊越細(xì)化,重建精度更高。
(2)重建效率高:采用了通過(guò)輪廓像素掃描向空間反向投影交匯的方法,其中最耗時(shí)的投影計(jì)算利用了投影查找表,這使得重建效率高;采用去除體內(nèi)粒塊的策略,使得大大降低了渲染和后續(xù)外貌重建的時(shí)間;同時(shí),采用基于預(yù)先計(jì)算的深度信息,避免了在顏色重建過(guò)程中的對(duì)粒塊的多次掃描處理;這些策略使得能夠在普通pc機(jī)器上達(dá)到實(shí)時(shí)重建效果。
(3)計(jì)算更簡(jiǎn)單:在輪廓分割時(shí),封閉的三維立體空間的環(huán)境為單一顏色的靜態(tài)背景,不被其他外界物體干擾,采用了靜態(tài)簡(jiǎn)單背景和均勻光照,通過(guò)該方法可以實(shí)時(shí)的獲取精準(zhǔn)的物體輪廓和物體外貌顏色信息。
(4)適合并行計(jì)算:該方法適合采用并行計(jì)算來(lái)進(jìn)一步提高效率,由于各個(gè)像面的掃描操作都是相互獨(dú)立的,甚至是每個(gè)像素的掃描操作都是相互獨(dú)立的,計(jì)算更快速。
(5)還原更真實(shí)。
附圖說(shuō)明
圖1為本發(fā)明的方法步驟流程圖。
圖2為多個(gè)攝像機(jī)安裝及三維立體空間結(jié)構(gòu)示意圖。
圖3為單一攝像機(jī)標(biāo)定板及其圖像獲取示意圖。
圖4為多攝像機(jī)系統(tǒng)標(biāo)定板及其圖像獲取示意圖。
圖5為三維立體空間劃分粒塊示意圖。
圖6為物體投影及投影查找表創(chuàng)建示意圖。
圖7為三維物體重建結(jié)果示例圖。
圖8為本發(fā)明的系統(tǒng)結(jié)構(gòu)圖。
具體實(shí)施方式
下面結(jié)合附圖說(shuō)明,對(duì)本發(fā)明進(jìn)行詳細(xì)地介紹,應(yīng)當(dāng)理解,以下只是介紹本發(fā)明的具體實(shí)施方式,并不在于限定本發(fā)明的保護(hù)范圍。
一種三維重建方法,如圖1所示,包括以下內(nèi)容和步驟:
1、搭建多攝像機(jī)同步采集系統(tǒng):如圖2所示,在足夠大的室內(nèi)劃分出合適大小、長(zhǎng)寬高相等的三維立體空間,此三維立體空間為物體對(duì)象的運(yùn)動(dòng)空間,即物體對(duì)象只能限制在此三維立體空間內(nèi)運(yùn)動(dòng)。為說(shuō)明方便,稱此三維立體空間為捕捉空間;在捕捉空間四周合適位置上固定安裝一定數(shù)目的攝像機(jī),攝像機(jī)個(gè)數(shù)宜不少于10個(gè)。所有攝像機(jī)能夠?qū)Σ蹲娇臻g覆蓋成像,并能夠同步采集分辨率不少于640*480、幀率大于24幀每秒的彩色圖像數(shù)據(jù)。為了使物體重建不被其他動(dòng)態(tài)物體干擾,可要求背景是靜態(tài)的,可在捕捉空間四周以可透光的單一顏色蒙皮覆蓋,從而布置出封閉的“表演舞臺(tái)”。在“舞臺(tái)”外圍合適位置和方位上布置燈源,通過(guò)控制燈源使得舞臺(tái)內(nèi)部的光照均勻,所有攝像機(jī)通過(guò)usb3.0或firewire接口連接到一臺(tái)計(jì)算機(jī)上。
2、多攝像機(jī)系統(tǒng)標(biāo)定:如圖3所示,多攝像機(jī)系統(tǒng)標(biāo)定是為了確定各個(gè)攝像機(jī)的空間方位和內(nèi)部參數(shù)。已知各攝像機(jī)標(biāo)定信息,則可以確定空間點(diǎn)與其在各攝像機(jī)像面上二維像素坐標(biāo)之間的關(guān)系,多攝像機(jī)系統(tǒng)標(biāo)定,采用以下三步驟進(jìn)行標(biāo)定:(1)采用常規(guī)的攝像機(jī)標(biāo)定方法標(biāo)定各個(gè)攝像機(jī)的內(nèi)部參數(shù),所謂內(nèi)部參數(shù)包括攝像機(jī)焦距、攝像機(jī)主點(diǎn)坐標(biāo)以及成像畸變參數(shù);(2)在捕捉空間地面上平鋪合適大小的標(biāo)定網(wǎng)格板,使得各個(gè)攝像機(jī)都能夠覆蓋成像;(3)在標(biāo)定網(wǎng)格一角定義世界坐標(biāo)系cw,各個(gè)攝像機(jī)對(duì)標(biāo)定網(wǎng)格板拍攝,由已標(biāo)定的攝像機(jī)內(nèi)部參數(shù)、標(biāo)定網(wǎng)格板各網(wǎng)格點(diǎn)在世界坐標(biāo)系cw上的位置坐標(biāo)以及各攝像機(jī)得到的標(biāo)定網(wǎng)格板中各網(wǎng)格點(diǎn)的像素坐標(biāo),可以通過(guò)位姿估計(jì)的方法計(jì)算出攝像機(jī)的外部參數(shù),也就是攝像機(jī)的方位信息,位姿估計(jì)方法可采用現(xiàn)有的位姿估計(jì)方法。
3、建立投影查找表:如圖4將捕捉空間沿著長(zhǎng)、寬、高均勻劃分大小一致的小立體塊,設(shè)捕捉空間長(zhǎng)、寬、高均為l,將長(zhǎng)、寬、高各均勻劃分a段,由此得到小立體塊的個(gè)數(shù)nv為nv=a×a×a,各小立體塊尺寸為
其中
4、物體輪廓分割:在上述拍攝環(huán)境下所得到的圖像其前景為物體對(duì)象,為了從圖像中分割出物體輪廓,以各個(gè)攝像機(jī)拍攝在無(wú)目標(biāo)物體情況下一組序列圖像,從中得到這組序列圖像的平均圖像,作為背景圖。設(shè)在t時(shí)刻由多攝像機(jī)同步采集系統(tǒng)獲得nc幅圖像,為說(shuō)明方便,稱這對(duì)應(yīng)于同一時(shí)刻t的nc幅圖像為t時(shí)刻多視圖,并用
若
5、三維重建:在獲得t時(shí)刻多視圖物體輪廓圖像數(shù)據(jù)后,可以利用攝像機(jī)標(biāo)定信息、捕捉空間粒塊三維位置信息以及投影查找表快速、準(zhǔn)確地重建出物體對(duì)象在t時(shí)刻的三維重建。對(duì)各個(gè)時(shí)刻進(jìn)行三維重建,就能夠得到動(dòng)態(tài)的物體重建數(shù)據(jù)。三維重建的具體步驟如下:
1)對(duì)捕捉空間包含的nv個(gè)粒塊各個(gè)粒塊定義一個(gè)包含nc位的二進(jìn)制串狀態(tài)變量
2)對(duì)每一幅分割得到的物體輪廓圖像
3)按照2)所述方法對(duì)t時(shí)刻多視圖所有物體輪廓圖像進(jìn)行掃描操作結(jié)束后,則只有那些粒塊狀態(tài)變量各個(gè)二進(jìn)制位數(shù)值全為1的為物體上的粒塊。例如,對(duì)于nc=10,則只有
4)由于三維重建只需要重建位于物體表面的點(diǎn),被包含在物體內(nèi)部的點(diǎn)則無(wú)意義。為了提高顯示和處理速度,可以將內(nèi)部點(diǎn)進(jìn)行去除。采用以下的方法可以快速去除內(nèi)部點(diǎn):對(duì)每一個(gè)重建點(diǎn),判斷其上下、左右和前后6個(gè)鄰域點(diǎn)是否全部為重建點(diǎn)。如果所有鄰域點(diǎn)均為重建點(diǎn),則該重建點(diǎn)為內(nèi)部點(diǎn),可以其從重建點(diǎn)云集合中予以剔除,最終得到物體對(duì)象在t時(shí)刻的三維重建點(diǎn)云。
6、色彩重建:在獲得物體三維重建點(diǎn)云數(shù)據(jù)后,可以利用物體輪廓的顏色信息對(duì)物體外貌進(jìn)行重建。此處的外貌重建是指恢復(fù)出物體重建點(diǎn)云的顏色信息,外貌重建的具體方法如下:
首先,對(duì)每個(gè)重建的粒塊定義一四維向量cn=(r,g,b,m)(n=1,2,…,nshape,nshape為形體粒塊的數(shù)目),并初始化該向量元素值均為0;
其次,依次對(duì)各個(gè)前景物體輪廓區(qū)域的像素點(diǎn)集合
最后,對(duì)每一個(gè)物體粒塊計(jì)算顏色值:對(duì)某物體粒塊,如果對(duì)應(yīng)的四維向量中m值不為0,則該粒塊的顏色數(shù)據(jù)計(jì)算為
為了提高重建效率,可以在創(chuàng)建投影查找表時(shí),通過(guò)記錄各個(gè)粒塊的深度信息,進(jìn)而對(duì)每個(gè)輪廓像素對(duì)應(yīng)的粒塊集合按照深度大小進(jìn)行排序存儲(chǔ),從而避免在上述步驟中再次進(jìn)行深度計(jì)算。
同時(shí),提供一種基于多攝像機(jī)的實(shí)時(shí)三維點(diǎn)云重建系統(tǒng),如圖7所述,包括,封閉的單一顏色的靜態(tài)背景的三維立體空間1、固定安裝在立體空間1四周的若干個(gè)的攝像機(jī)2與若干個(gè)燈源3和計(jì)算機(jī)4,其中所述攝像機(jī)2與計(jì)算機(jī)4連接,所述計(jì)算機(jī)4包括,攝像機(jī)標(biāo)定模塊41,用于確定各個(gè)攝像機(jī)2的空間方位和內(nèi)部參數(shù);投影查找表計(jì)算模塊42,用于建立投影查找表;物體輪廓分割模塊43,將攝像機(jī)2采集得到的圖像中分割出物體輪廓;三維重建模塊44,用于根據(jù)攝像機(jī)2的標(biāo)定信息、捕捉粒塊的三維位置信息以及投影查找表,得到動(dòng)態(tài)的物體重建數(shù)據(jù),所述系統(tǒng)包括色彩重建模塊45,用于在獲得物體重建數(shù)據(jù)后,利用物體輪廓的顏色信息對(duì)物體外貌色彩進(jìn)行重建。
本發(fā)明的實(shí)施例只是介紹其具體實(shí)施方式,不在于限制其保護(hù)范圍。本行業(yè)的技術(shù)人員在本實(shí)施例的啟發(fā)下可以作出某些修改,故凡依照本發(fā)明專利范圍所做的等效變化或修飾,均屬于本發(fā)明專利權(quán)利要求范圍內(nèi)。