專利名稱:大型堆場三維形貌的投影輔助攝像測量方法
技術(shù)領(lǐng)域:
本發(fā)明涉及礦石粉、煤炭、糧食等物料大型堆場形貌攝像測量方法,進(jìn)一步是指在 激光投影等投影設(shè)備對復(fù)雜形貌堆場的輔助下,通過非接觸序列立體成像構(gòu)建堆場表面數(shù) 字模型,測定三維形貌參數(shù)的方法;還屬于輸送裝卸工程機械智能化、現(xiàn)代物流管理信息化 等工程技術(shù),以及數(shù)字?jǐn)z影測量、數(shù)字圖像處理、計算機視覺等領(lǐng)域。
背景技術(shù):
礦石粉、煤炭和糧食等物料大型堆場的三維形貌參數(shù)快速準(zhǔn)確測定,對于提高港 口及大型倉庫等物流管理調(diào)度能力、降低損耗、合理安排物資進(jìn)出等,具有重要的指導(dǎo)和監(jiān) 測作用,并能產(chǎn)生良好的經(jīng)濟(jì)效益。在堆場物料的裝卸輸送中,通常要求將物料堆放成一定幾何形狀截面(如三角形) 的長條形,裝卸工程機械在堆場兩側(cè)滑軌上進(jìn)行取貨或者堆放操作。日常堆場管理和裝卸 操作中,需要準(zhǔn)確掌握堆場三維形貌參數(shù),用于堆場已被填挖、或者可被填挖的物料三維參 數(shù)計算。在堆場物料挖取或回填的操作中,堆場形貌隨時可能發(fā)生滑動等局部變化,并非簡 單的幾何增減。長期以來,堆場通過整形填挖操作對堆場物資的進(jìn)出進(jìn)行經(jīng)驗管理,這需要 操作中對堆場進(jìn)行嚴(yán)格的幾何形態(tài)維護(hù),效率低、誤差大。隨著激光測距掃描技術(shù)的發(fā)展, 在堆場物料三維形貌參數(shù)測量中也得到使用,但該技術(shù)目前很難滿足實際應(yīng)用需求,主要 原因是激光主動發(fā)射后需沿原路反射返回,方可形成一次有效掃描測距,而堆場物資顆粒 小,激光發(fā)射后在表面易形成漫反射;對氣候、光照等條件的變化比較敏感,惡劣天氣條件 下難以正常工作;堆場材質(zhì)對光波的吸收比較明顯,進(jìn)一步降低了激光有效掃描能力;此 外,堆場一般為三角形截面,掃描設(shè)備架設(shè)于截面最高點以上的移動平臺懸臂,此時的俯視 掃描,對堆場表面的入射角很小,有效激光掃描不到平時的十分之一甚至更低。近年來,為解決堆場表面紋理特征貧乏、特征提取匹配困難的問題,在傳統(tǒng)攝影測 量的基礎(chǔ)上加入了光切法的思想,此時CCD成像雖也能解算堆場表面三維輪廓,但光刀面 與CCD相對關(guān)系的標(biāo)定精度、光刀運動范圍、實際操作的技術(shù)要求和復(fù)雜度、與投影中心線 提取都是影響精度的重要因素。以上激光掃描、光切法的三維測量整體精度和可靠性在實際工作中并不高,因為 雖然單點激光測距具有毫米級精度,但當(dāng)掃描設(shè)備被架設(shè)在十多米長的移動懸臂上時,設(shè) 備隨著物料裝卸負(fù)荷的變化使得移動懸臂的抖動十分明顯,可達(dá)數(shù)十毫米,而且這種不規(guī) 則運動很難被補償消除,使得不同掃描位置之間的數(shù)據(jù)拼接對整體的堆場表面三維重建精 度影響相當(dāng)大。此外,能滿足數(shù)百米堆場掃描的激光設(shè)備屬于室外大功率的工程級設(shè)備,目 前還需要依賴國外進(jìn)口,價格昂貴、無法自行維護(hù),初期和運行成本均相當(dāng)大。因此,從以上 分析來看,現(xiàn)有技術(shù)手段很難全面適應(yīng)大型堆場三維形貌測量在精度、速度、可靠性與自動 化水平和運行成本等方面的要求。近年來,以計算機技術(shù)、數(shù)字圖像處理技術(shù)和空間分析技術(shù)為核心的信息技術(shù)得 到飛速發(fā)展,數(shù)字?jǐn)z像機制造工藝水平大幅度提高,這些科技進(jìn)步使得利用攝像測量方法實施堆場的非接觸式、高精度、自動快速測量成為可能。
發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是,針對現(xiàn)有技術(shù)存在的不足,提出一種大型堆場三維 形貌的投影輔助攝像測量方法,它將光投影輔助下的攝像測量運用于堆場三維測量,系統(tǒng) 數(shù)字化程度高、操作簡便、速度快,可以滿足堆場三維形貌高精度、高可靠度、高自動化程度 測量的需要,適應(yīng)大型堆場物流管理調(diào)度現(xiàn)代化、數(shù)字化,以及物料輸送和裝卸工程機械智 能化作業(yè)等要求。本發(fā)明的技術(shù)方案是,所述大型堆場三維形貌的投影輔助攝像測量方法包括a.堆場攝像測量系統(tǒng)與輔助投影設(shè)備的安裝在堆場不同位置安裝至少2臺固定的或可移動的攝像機,標(biāo)定攝像機參數(shù),組成攝像 測量網(wǎng)絡(luò)系統(tǒng);在堆場安裝輔助投影設(shè)備,該輔助投影設(shè)備通過繞固定點轉(zhuǎn)動或平動或由轉(zhuǎn)動與平動 的組合運動對堆場表面投影,形成堆場表面全覆蓋的(光線)投影特征; 所述輔助投影設(shè)備可以是結(jié)構(gòu)光投影設(shè)備、或者線投影如激光光刀等;b.堆場表面投影特征的三維解算所述輔助投影設(shè)備對堆場表面投影的同時,所述各攝像機同步采集堆場表面投影特 征,通過影像內(nèi)投影特征、梯度矢量、核線等相互約束實現(xiàn)自動可靠匹配與立體或多目視覺 影像交會平差計算,實時獲取堆場表面投影特征三維解;c.序列投影特征的三維拼接輔助投影對堆場表面的全覆蓋結(jié)束后,對攝像系統(tǒng)生成的時間序列三維投影特征進(jìn)行 拼接,統(tǒng)一到堆場整體的三維坐標(biāo)系中,得到堆場表面投影特征的點云與邊緣線等提取于 序列影像的三維數(shù)據(jù)集;d.堆場三維數(shù)字表面模型構(gòu)建以堆場表面的三維數(shù)據(jù)集為基礎(chǔ),以堆場基準(zhǔn)平面的位置為自變量,根據(jù)雙線性插值 等算法計算每個平面點位的堆場表面相對于基準(zhǔn)平面的高度,形成堆場三維表面數(shù)字模 型;e.堆場三維形貌測量以堆場三維表面數(shù)字模型為基礎(chǔ),按照空間分析等方式計算該數(shù)字模型的堆場三維形 貌參數(shù),如堆場任意局部區(qū)域的體積、堆場表面積等參數(shù)。以下對本發(fā)明做出進(jìn)一步說明。如圖1所示,本發(fā)明的技術(shù)原理和工作過程為,以光線投影增強堆場表面可被攝 像記錄的特征,通過非接觸攝像測量方式對堆場進(jìn)行序列成像,按照攝像系統(tǒng)已標(biāo)定的立 體或多目視覺實時解算影像中堆場表面的瞬間三維投影特征,以平臺運動參數(shù)和影像相對 定向?qū)崿F(xiàn)不同時刻的三維投影特征拼接,從而建立堆場三維數(shù)字模型并全面測量堆場三維 形貌參數(shù);基本工作過程可表述為架設(shè)以堆場為成像觀測視場的攝像系統(tǒng),為彌補物料 (如礦石粉、煤炭、糧食)所形成堆場三維表面紋理貧乏、特征點提取與匹配困難的問題,引 入與攝像基線具有較大交角的投影輔助設(shè)備在堆場表面形成點陣或輪廓線特征;通過投影 設(shè)備自主運動(旋轉(zhuǎn)、平移等)對堆場表面進(jìn)行連續(xù)投影,攝像系統(tǒng)對投影特征同步成像采集影像數(shù)據(jù);影像投影特征提取得到附著于堆場表面的一組投影特征點陣或輪廓線,以立 體像對核線、投影特征交點與投影邊緣特征梯度等獲得同步影像中的同名特征,以交會平 差的方式結(jié)合攝像系統(tǒng)的標(biāo)定參數(shù),解算三維投影特征;為實現(xiàn)移動平臺條件下的三維投 影特征拼接,以移動平臺運動參數(shù)為初值,精確解算相鄰序列影像的相對定向參數(shù),該影像 處理工作可以在同名影像得到后實時完成;投影設(shè)備對堆場表面全覆蓋投影和攝像系統(tǒng)同 步成像結(jié)束后,即可根據(jù)投影特征三維數(shù)據(jù)集、和不同成像時刻攝像系統(tǒng)在統(tǒng)一的堆場三 維參考坐標(biāo)系的相對姿態(tài)位置參數(shù)進(jìn)行拼接;以參考坐標(biāo)系中平面位置為二維變量,以每 個平面位置局部區(qū)域的點云數(shù)據(jù)高度為基礎(chǔ),按照雙線性插值等方法得到堆場的三維表面 數(shù)字模型,然后按照空間分析計算該數(shù)字模型全面的堆場三維形貌參數(shù)。本發(fā)明可有效適應(yīng)物料輸送與裝卸工程機械智能化、現(xiàn)代物流管理信息化的要 求,滿足高精度、高可靠度、高自動化程度大宗物料堆場三維測量的需要,在工程機械先進(jìn) 制造與現(xiàn)代物流領(lǐng)域、港口廠礦倉庫等散裝物料輸送裝卸管理與監(jiān)測方面具有良好的應(yīng)用 前景。本發(fā)明是一種非接觸式、輔助投影下的大型堆場三維測量方法。應(yīng)用本發(fā)明方法 時,只需標(biāo)定多像機組成的攝像系統(tǒng),并布置好輔助投影設(shè)備,使堆場處于攝像網(wǎng)絡(luò)裝置所 確定的視場和投影掃描范圍內(nèi)即可,在實際使用中,簡單易用,測量裝置的可操作性好;實 施本發(fā)明,可采用以攝像裝置、激光光刀和個人計算機(或DSP處理器)為核心的硬件設(shè)備, 對硬件依賴程度低,數(shù)字化、自動化程度高,測量結(jié)果可靠,維護(hù)簡便,處理速度快,可以方 便地采用計算機對攝像裝置所獲得的圖像數(shù)據(jù)進(jìn)行存儲、復(fù)制、傳輸和自動化處理。
圖1是投影輔助下的堆場三維攝像測量原理及過程圖示;圖2是攝像機與輔助投影設(shè)備均安裝在移動平臺上的一種實施例堆場三維測量系統(tǒng) 示意圖;圖中的直線箭頭和圓形線箭頭分別表示相應(yīng)設(shè)備的可直線或旋轉(zhuǎn)運行的方向;圖3是攝像機固定、輔助投影設(shè)備安裝在移動平臺上的另一種實施例的堆場三維測量 系統(tǒng)示意圖;圖中的直線箭頭和圓形線箭頭分別表示相應(yīng)設(shè)備的可直線或旋轉(zhuǎn)運行的方 向。在圖中1、2、3、4一攝像機, 5—輔助投影設(shè)備,6—移動平臺。
具體實施例方式一種大型堆場三維形貌的投影輔助攝像測量方法,包括 大型堆場中架設(shè)攝像系統(tǒng)可采用兩種方式(1)如圖2所示,在移動平臺固定安裝兩臺及兩臺以上攝像機和可自 主轉(zhuǎn)動和平移運動的光線投影設(shè)備;(2 )在堆場合適位置固定架設(shè)兩臺或或兩臺以上攝像 機(如圖3所示,在堆場四角各架設(shè)一臺攝像機)組成攝像網(wǎng)絡(luò)系統(tǒng),在移動平臺或其它位置 安裝可自主轉(zhuǎn)動與平移運動的光投影設(shè)備;攝像網(wǎng)絡(luò)系統(tǒng)標(biāo)定對相對姿態(tài)位置固定的攝像機(如圖2、圖3所示情形)之間相對關(guān) 系,以高精度標(biāo)定框放入攝像系統(tǒng)視場,按兩步法等方法計算像機自身內(nèi)參數(shù)、以及各像機 之間的角度與方位等姿態(tài)參數(shù),建立解算同步影像中所記錄堆場表面投影特征的局部三維 坐標(biāo)系;堆場表面投影與攝像數(shù)據(jù)采集通過移動平臺或投影設(shè)備自主運動,輔助投影設(shè)備對 堆場進(jìn)行投影,形成準(zhǔn)確表現(xiàn)堆場表面結(jié)構(gòu)的投影特征,攝像機網(wǎng)絡(luò)系統(tǒng)對投影特征進(jìn)行 跟蹤和同步成像,直至完成堆場表面的全覆蓋投影成像;堆場表面投影特征三維解算圖像數(shù)據(jù)在標(biāo)定參數(shù)輔助下,通過計算機軟件系統(tǒng)處理, 實時獲取堆場表面投影特征三維解、相鄰序列影像相對定向參數(shù)(即相鄰成像時刻攝像系 統(tǒng)之間的角度與位置相對關(guān)系);三維投影特征拼接與三維測量根據(jù)固定攝像參數(shù)、或者移動攝像網(wǎng)絡(luò)動態(tài)解算的相 對關(guān)系參數(shù),拼接三維投影特征,空間插值解算堆場三維表面數(shù)字模型,計算堆場三維形貌 參數(shù)。本發(fā)明方法所測量計算的參數(shù)可以是堆場三維形貌參數(shù)以及堆場體積、表面積等 參數(shù)。在獲得堆場三維表面數(shù)字模型后,堆場局部或者整體的體積表面積或其它形貌參數(shù) 計算,按照先做基準(zhǔn)平面的格網(wǎng)插值、再計算每個格網(wǎng)區(qū)間的體積或表面積微元、然后積分 獲得選定區(qū)域或者堆場整體的體積表面積等參數(shù)值。進(jìn)一步地,本發(fā)明獲得待測堆場三維形貌參數(shù)的方法為a.從攝像機攝得的影像提取投影特征,計算立體像對核線約束和投影特征(點陣或輪 廓線)交點,在立體像對內(nèi)外參數(shù)已知條件下,以成像時刻為單位,計算攝像機同步影像所 記錄的三維投影特征(如堆場表面投影線);b.所有三維投影特征在攝像網(wǎng)絡(luò)標(biāo)定的三維坐標(biāo)系中進(jìn)行空間拼接,可以采用以下兩 種方式之一(1)當(dāng)多個攝像機所組成的攝像網(wǎng)絡(luò)系統(tǒng)被安裝在移動平臺上,則在已知移動平臺運 動參數(shù)、和序列影像相對定向參數(shù)用于三維投影特征的精確拼接,以形成堆場統(tǒng)一坐標(biāo)系 下表面的三維點云與輪廓線數(shù)據(jù)集;(2)如果攝像機固定架設(shè)在堆場四周,則由立體或多目視覺交會的投影特征均在同一 個確定的三維坐標(biāo)系內(nèi),得到序列影像綜合的三維數(shù)據(jù)集;c.獲得堆場整體三維表面數(shù)字模型得到具有三維坐標(biāo)的堆場表面點云與輪廓線集 合后,以堆場平面位置為二維變量,根據(jù)雙線性插值等算法計算每個平面點位的堆場表面 相對于基準(zhǔn)平面的高度,構(gòu)成堆場三維表面數(shù)字模型;d.以堆場三維表面數(shù)字模型為基礎(chǔ),以空間分析土方計算等方式獲得堆場三維形貌參數(shù)。所述輔助投影設(shè)備為能在不規(guī)則起伏堆場表面形成清晰投影線的光學(xué)投影設(shè)備, 如光刀輪廓線投影設(shè)備、點陣投影設(shè)備等。為保證輔助投影可準(zhǔn)確全面表面堆場表面特征、并實現(xiàn)整個處理過程中投影特征 的實時自動提取與精確解算,本發(fā)明所述光投影設(shè)備(輔助投影設(shè)備)可以自主轉(zhuǎn)動或者平 動,其要求是在堆場表面的投影特征與攝像機之間基線形成較大交角,從而保證影像內(nèi)核 線與投影特征(如投影點排列組成的堆場表面輪廓線)相交的唯一性與交點位置的準(zhǔn)確性。本發(fā)明中,輔助投影設(shè)備自主轉(zhuǎn)動和平移對堆場表面投影,投影參數(shù)(投影點與攝 像機的基線、投影面在參考三維坐標(biāo)系角度)不需求解,堆場表面投影點陣或輪廓線的三維 解由同步影像特征提取匹配后結(jié)合核線、邊緣梯度、前方交會等方法自動解算。本方法中有關(guān)模型算法的分析說明1基于核線與梯度約束的同步影像內(nèi)投影線邊緣提取與同名點確定 由于堆場自身材料特點,非投影線部分的影像亮度非常黯淡,一般可以將投影線灰度 閾值設(shè)為99%甚至更高,據(jù)此可以得到不同影像區(qū)分投影線主體和極少數(shù)噪聲與其它堆場 背景部分的灰度閾值,再根據(jù)Carmy算子提取投影線邊緣信息,得到同步立體影像中具有 對稱性的投影線兩個連續(xù)邊緣以及極少量噪點,然后計算邊緣點梯度矢量、根據(jù)核線約束 匹配投影線邊緣同名點。有關(guān)影像梯度、核線約束的投影線邊緣同名點解算的數(shù)學(xué)分析如 下a設(shè)影像/的灰度矩陣為Gij,其中ΟΑ ^ΛΑ,則影像任意點的梯度矢量為梯度值
權(quán)利要求
1.一種大型堆場三維形貌的投影輔助攝像測量方法,其特征是,該方法包括a.堆場攝像測量系統(tǒng)與輔助投影設(shè)備的安裝在堆場不同位置安裝至少2臺固定的或可移動的攝像機,標(biāo)定攝像機參數(shù),組成攝像 測量網(wǎng)絡(luò)系統(tǒng);在堆場安裝輔助投影設(shè)備,該輔助投影設(shè)備通過繞固定點轉(zhuǎn)動或平動或所述轉(zhuǎn)動與平 動的復(fù)合運動對堆場表面投影,形成堆場表面全覆蓋的投影特征;b.堆場表面投影特征的三維解算所述輔助投影設(shè)備對堆場表面投影的同時,所述各攝像機同步采集堆場表面投影特 征,通過影像內(nèi)投影特征、梯度矢量、核線相互約束實現(xiàn)自動可靠匹配與立體或多目視覺影 像交會平差計算,實時獲取堆場表面投影特征三維解;c.序列投影特征的三維拼接輔助投影對堆場表面的全覆蓋結(jié)束后,對攝像系統(tǒng)生成的時間序列三維投影特征進(jìn)行 拼接,統(tǒng)一到堆場三維坐標(biāo)系中,得到統(tǒng)一坐標(biāo)系下堆場表面的三維點云與輪廓線數(shù)據(jù)集 或序列影像綜合的三維數(shù)據(jù)集;d.對于三維點云與輪廓線數(shù)據(jù)集或序列影像綜合的三維數(shù)據(jù)集,以堆場平面位置為二 維變量,根據(jù)雙線性插值等算法計算每個平面點位的堆場表面相對于基準(zhǔn)平面的高度,構(gòu) 成堆場三維表面數(shù)字模型;e.以堆場三維表面數(shù)字模型為基礎(chǔ),按照空間分析計算該數(shù)字模型全面的堆場三維形 貌參數(shù)、堆場體積、堆場表面積中的至少一個參數(shù)。
2.根據(jù)權(quán)利要求1所述大型堆場三維形貌的投影輔助攝像測量方法,其特征是從攝像機攝得的影像提取投影特征,計算立體像對核線約束和投影特征交點,在立體 像對內(nèi)外參數(shù)已知條件下,以成像時刻為單位,計算攝像機同步影像所記錄的三維投影特 征;所述投影特征為點陣或輪廓線,三維投影特征為堆場表面投影線;所有三維投影特征在攝像網(wǎng)絡(luò)標(biāo)定的三維坐標(biāo)系中進(jìn)行空間拼接,采用以下兩種方式 之一(1)當(dāng)多個攝像機所組成的攝像網(wǎng)絡(luò)系統(tǒng)被安裝在移動平臺上,則在已知移動平臺運 動參數(shù)、和序列影像相對定向參數(shù)用于三維投影特征的精確拼接,以形成堆場統(tǒng)一坐標(biāo)系 下表面的三維點云與輪廓線數(shù)據(jù)集;(2)當(dāng)攝像機固定架設(shè)在堆場四周,則由立體或多目視覺交會的投影特征均在同一個 確定的三維坐標(biāo)系內(nèi),得到序列影像綜合的三維數(shù)據(jù)集;以堆場三維表面數(shù)字模型為基礎(chǔ),以空間分析土方計算等方式獲得堆場三維形貌參數(shù)。
3.根據(jù)權(quán)利要求1所述大型堆場三維形貌的投影輔助攝像測量方法,其特征是,所述 輔助投影設(shè)備為能在不規(guī)則起伏堆場表面形成清晰投影線的光學(xué)投影設(shè)備。
4.根據(jù)權(quán)利要求1或3所述大型堆場三維形貌的投影輔助攝像測量方法,其特征是,所 述輔助投影設(shè)備為光刀輪廓線投影設(shè)備或點陣投影設(shè)備。
5.根據(jù)權(quán)利要求1所述大型堆場三維形貌的投影輔助攝像測量方法,其特征是,所述 輔助投影設(shè)備為可自主轉(zhuǎn)動或者平動的,它在堆場表面的投影特征與攝像機之間基線形成 較大交角。
6.根據(jù)權(quán)利要求1所述大型堆場三維形貌的投影輔助攝像測量方法,其特征是,堆場 表面投影點陣或輪廓線的三維解由同步影像特征提取匹配后結(jié)合核線、邊緣梯度、前方交 會等方法自動解算。
全文摘要
一種大型堆場三維形貌的投影輔助攝像測量方法,包括架設(shè)以堆場為觀測視場的攝像網(wǎng)絡(luò)系統(tǒng),引入投影輔助增強堆場表面特征,多個攝像機對堆場投影特征同步成像形成序列影像;提取影像投影特征后,以核線、梯度等多個約束確定堆場表面投影線同名點集,結(jié)合攝像系統(tǒng)已標(biāo)定參數(shù)和前方交會實時解算三維投影線;解算各成像時刻攝像網(wǎng)絡(luò)系統(tǒng)在參考坐標(biāo)系運動狀態(tài)及序列影像相對姿態(tài)的物理參數(shù)后,拼接三維投影線形成堆場的表面數(shù)字模型,并由此計算堆場三維形貌參數(shù)。本方法可解決港口碼頭、廠礦倉庫調(diào)度管理中大型物料堆場三維形貌參數(shù)的高精度、實時自動測量問題,可應(yīng)用于提高裝卸工程機械智能化、現(xiàn)代物流管理信息化水平等方面。
文檔編號G01B11/25GK102042814SQ20101020832
公開日2011年5月4日 申請日期2010年6月24日 優(yōu)先權(quán)日2010年6月24日
發(fā)明者于起峰, 張小虎, 朱肇昆, 歐建良, 苑云 申請人:中國人民解放軍國防科學(xué)技術(shù)大學(xué)