本發(fā)明涉及3d機(jī)器視覺及智能安全輔助駕駛技術(shù)領(lǐng)域，具體涉及一種基于智能深度相機(jī)與多傳感器融合的3d機(jī)器視覺叉車行駛輔助安全系統(tǒng)及方法。

背景技術(shù)：

在現(xiàn)代大型工業(yè)生產(chǎn)與裝配工廠及物流倉儲(chǔ)中，叉車是必不可少的工具。叉車在搬運(yùn)貨物的過程中，叉車駕駛員的視線容易被貨物遮擋，從而造成安全隱患，因此需要一套叉車行駛輔助安全系統(tǒng)，以減少甚至避免安全事故的發(fā)生。傳統(tǒng)的安全駕駛輔助系統(tǒng)大多是基于超聲、雷達(dá)、紅外、激光等點(diǎn)距離測量來判斷叉車周邊狀況，檢測精度、分辨率及識別可靠性較差；基于機(jī)器視覺的安全駕駛輔助系統(tǒng)主要采用灰度相機(jī)或彩色相機(jī)的二維圖像進(jìn)行視覺處理與分析，然后做出判斷，存在檢測復(fù)雜度高，易受背景干擾，識別準(zhǔn)確度較差的問題；基于多攝像頭二維圖像合成的多目立體視覺存在計(jì)算難度大，復(fù)雜環(huán)境下檢測穩(wěn)定性較差的問題。

由于叉車運(yùn)行的工廠環(huán)境比較復(fù)雜，叉車作業(yè)狀態(tài)多變，傳統(tǒng)的行駛輔助安全系統(tǒng)都存在一定的局限性，大多僅用作預(yù)警提示，無法可靠地保障叉車作業(yè)安全性。因此需要一種新的安全駕駛監(jiān)測輔助系統(tǒng)，融合多種傳感器對叉車的行駛狀態(tài)進(jìn)行全方位的監(jiān)測與控制，以提高作業(yè)安全，尤其是作業(yè)現(xiàn)場人員安全。

技術(shù)實(shí)現(xiàn)要素：

為了克服上述現(xiàn)有技術(shù)中存在的缺陷，本發(fā)明的目的是提供一種3d機(jī)器視覺叉車行駛輔助安全系統(tǒng)及方法，基于深度相機(jī)與多傳感器融合，能夠?qū)崟r(shí)監(jiān)測叉車的行駛狀態(tài)與周邊作業(yè)環(huán)境，保障叉車作業(yè)過程中的人員與資產(chǎn)安全。

為達(dá)到上述目的，本發(fā)明采用如下技術(shù)方案：

一種3d機(jī)器視覺叉車行駛輔助安全系統(tǒng)，包括作業(yè)環(huán)境感知子系統(tǒng)、車輛狀態(tài)監(jiān)測子系統(tǒng)、控制輸出子系統(tǒng)和信息處理子系統(tǒng)，所述作業(yè)環(huán)境感知子系統(tǒng)、車輛狀態(tài)監(jiān)測子系統(tǒng)、控制輸出子系統(tǒng)通過通信網(wǎng)絡(luò)或輸入輸出模塊連接到信息處理子系統(tǒng)；所述作業(yè)環(huán)境感知子系統(tǒng)包括前方智能深度相機(jī)、側(cè)方智能深度相機(jī)、后方智能深度相機(jī)、側(cè)方碰撞開關(guān)和后方碰撞開關(guān)，用來采集叉車作業(yè)時(shí)周邊各種信息，確保叉車安全行駛與作業(yè)安全；所述車輛狀態(tài)監(jiān)測子系統(tǒng)包括車輛測速傳感器、車載加速度傳感器、車載陀螺儀、駕駛員狀態(tài)傳感器，用來采集車輛的運(yùn)行方向、轉(zhuǎn)彎、加減速、俯仰傾斜、駕駛員位置信息，為智能判別提供車輛狀態(tài)類別和處理依據(jù)；所述控制輸出子系統(tǒng)包括多色報(bào)警指示燈、蜂鳴報(bào)警器、車輛制動(dòng)器控制接口、車輛動(dòng)力控制接口，用來在檢測到異?；蛭ｋU(xiǎn)狀況時(shí)，對車輛進(jìn)行主動(dòng)干預(yù)，對駕駛?cè)藛T和周邊人員進(jìn)行警示提醒；所述信息處理子系統(tǒng)包括主控制器單元以及輸入輸出模塊、通信模塊、電源模塊，對叉車作業(yè)環(huán)境信息、車輛狀態(tài)信息進(jìn)行處理，從而生成報(bào)警與控制信息，實(shí)現(xiàn)叉車行駛與作業(yè)的安全運(yùn)行。

一種3d機(jī)器視覺叉車行駛輔助安全方法，使用上述的3d機(jī)器視覺叉車行駛輔助安全系統(tǒng)，具體步驟如下：

步驟2.1：根據(jù)叉車行駛和作業(yè)環(huán)境的要求以及工廠安全行駛的規(guī)范，確定每個(gè)智能深度相機(jī)的測量距離、視場角度的工作參數(shù)、預(yù)定義的警示區(qū)域、車輛速度和加速度限值，叉車作業(yè)俯仰或傾斜角度限值，初始化報(bào)警事件和參數(shù)閾值；

步驟2.2：信息處理子系統(tǒng)從車輛狀態(tài)監(jiān)測子系統(tǒng)獲得叉車運(yùn)行狀態(tài)，并進(jìn)行分類，根據(jù)車速分為低速、中速、高速，根據(jù)方向分為前進(jìn)、后退、轉(zhuǎn)彎；根據(jù)叉車狀態(tài)由車載加速度傳感器和車載陀螺儀確定叉車姿態(tài)是否允許作業(yè)；根據(jù)駕駛員狀態(tài)傳感器確定駕駛員是否處于正確駕駛位置；

步驟2.3：根據(jù)加速度、速度、轉(zhuǎn)彎角度、俯仰角度信息，判斷叉車駕駛和作業(yè)是否符合規(guī)范，如不符合，則進(jìn)入步驟2.7c，如符合，則進(jìn)入步驟2.4；

步驟2.4：如叉車方向?yàn)榍斑M(jìn)或轉(zhuǎn)彎，使用前方智能深度相機(jī)采集叉車行駛前方完全覆蓋叉齒前面預(yù)定義的警示區(qū)域的3d深度影像數(shù)據(jù)，前方智能深度相機(jī)根據(jù)由主控制器單元發(fā)送過來的叉車狀態(tài)和姿態(tài)信息進(jìn)行智能機(jī)器視覺處理，處理內(nèi)容包括：

2.4a：根據(jù)預(yù)設(shè)的速度等級，當(dāng)叉車在高速行駛時(shí)，將3d深度影像中叉齒前面預(yù)定義的警示區(qū)域部分前移，擴(kuò)大檢測深度范圍，以加長叉車制動(dòng)的安全距離；當(dāng)叉車在低速行駛或未啟動(dòng)裝卸作業(yè)時(shí)，將3d深度影像中的叉齒前面預(yù)定義的警示區(qū)域部分后移，以便叉車在狹窄區(qū)域作業(yè)；

2.4b：根據(jù)叉車轉(zhuǎn)彎狀態(tài)和速度信息，計(jì)算出叉車的轉(zhuǎn)彎半徑，將3d深度影像中叉齒前面預(yù)定義的警示區(qū)部分向轉(zhuǎn)彎方向偏移，實(shí)現(xiàn)前方智能深度相機(jī)對叉車轉(zhuǎn)彎的隨動(dòng)跟蹤功能，同時(shí)避免叉車在狹小空間大角度轉(zhuǎn)彎時(shí)的誤報(bào)；

2.4c：根據(jù)叉車行駛的俯仰姿態(tài)，對3d深度影像的信息進(jìn)行空間校正與補(bǔ)償；

2.4d：前方智能深度相機(jī)對校正偏移后的3d深度影像中叉齒前面預(yù)定義的警示區(qū)域部分進(jìn)行視覺辨識，對路面、人員、墻壁、欄桿、設(shè)備進(jìn)行分割辨識，將警示區(qū)域內(nèi)物體屬性、距離、位置、大小信息上傳主控制器單元用于判斷決策；

步驟2.5：如叉車方向?yàn)楹笸嘶蜣D(zhuǎn)彎，使用后方智能深度相機(jī)采集叉車后方預(yù)定義的警示區(qū)域的3d深度影像數(shù)據(jù)，由后方智能深度相機(jī)對3d深度影像數(shù)據(jù)中預(yù)定義的警示區(qū)域部分進(jìn)行視覺辨識，確定是否有障礙物，并將障礙物屬性、距離、位置、大小上傳主控制器單元用于判斷決策；

步驟2.6：在叉車處于直行狀態(tài)時(shí)，側(cè)方智能深度相機(jī)的下視3d深度影像中預(yù)定義的警示區(qū)域部分限定在車體兩側(cè)較窄的區(qū)域，以便叉車在狹窄空間作業(yè)；在叉車處于轉(zhuǎn)彎狀態(tài)時(shí)，側(cè)方智能深度相機(jī)的下視3d深度影像中預(yù)定義的警示區(qū)域部分向轉(zhuǎn)彎方向擴(kuò)展，以擴(kuò)大安全監(jiān)測范圍；側(cè)方智能深度相機(jī)對采集的3d深度影像中預(yù)定義的警示區(qū)域部分進(jìn)行視覺辨識，并將處理結(jié)果上傳主控制器單元用于判斷決策；

步驟2.7：主控制器單元獲得所有智能深度相機(jī)的視覺辨識結(jié)果后，根據(jù)叉車狀態(tài)和姿態(tài)做出判斷決策，內(nèi)容包括：

2.7a：當(dāng)檢測到可能的障礙物碰撞信息時(shí)，通過多色報(bào)警指示燈和蜂鳴報(bào)警器發(fā)出警示信號，并通過車輛動(dòng)力控制接口輸出降速或關(guān)閉信號，以限定叉車在安全范圍內(nèi)工作；

2.7b：當(dāng)檢測到嚴(yán)重人員安全狀況或障礙物碰撞狀況時(shí)，在發(fā)出警示信號的同時(shí)，通過車輛動(dòng)力控制接口關(guān)閉車輛動(dòng)力，并通過車輛制動(dòng)器控制接口進(jìn)行緊急制動(dòng)，防止事故發(fā)生或降低事故損害；

2.7c：當(dāng)檢測到駕駛員違規(guī)駕駛時(shí)，除發(fā)出警示信號外，通過車輛制動(dòng)器控制接口輸出緊急制動(dòng)信號，停止叉車運(yùn)行；

步驟2.8：主控制器單元對叉車異常狀況、發(fā)出警示信號時(shí)的3d深度影像數(shù)據(jù)進(jìn)行記錄形成行車日志，以便對叉車行駛與作業(yè)狀況進(jìn)行記錄與追溯；

步驟2.9：如叉車處于上電狀態(tài)，則轉(zhuǎn)到步驟2.2，機(jī)器視覺叉車行駛輔助安全系統(tǒng)進(jìn)行循環(huán)不斷的在線檢測。

與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點(diǎn)：

本發(fā)明機(jī)器視覺叉車行駛輔助安全系統(tǒng)機(jī)系統(tǒng)及方法采用智能深度相機(jī)與多傳感器對叉車的作業(yè)環(huán)境和車輛狀況進(jìn)行全面監(jiān)測；采用智能3d深度影像進(jìn)行智能辨識，克服了現(xiàn)有技術(shù)報(bào)警范圍模糊，無法進(jìn)行障礙物辨識，只能提供簡單的警示信息而無法進(jìn)行主動(dòng)人員安全預(yù)警及控制功能；智能深度相機(jī)的3d機(jī)器視覺處理融合了車輛狀態(tài)和姿態(tài)信息，能夠?qū)ι疃扔跋襁M(jìn)行有針對性的修正與補(bǔ)償，使整個(gè)系統(tǒng)運(yùn)行更加穩(wěn)定，魯棒性更強(qiáng)，從而提高車輛作業(yè)的安全性。

附圖說明

圖1是3d機(jī)器視覺叉車行駛輔助安全系統(tǒng)結(jié)構(gòu)圖。

圖2是3d機(jī)器視覺叉車行駛輔助安全系統(tǒng)工作流程圖。

具體實(shí)施方式

下面結(jié)合附圖對本發(fā)明的具體實(shí)施例作進(jìn)一步的詳細(xì)說明。

如圖1所示，一種3d機(jī)器視覺叉車行駛輔助安全系統(tǒng)，包括作業(yè)環(huán)境感知子系統(tǒng)1.1、車輛狀態(tài)監(jiān)測子系統(tǒng)1.2、控制輸出子系統(tǒng)1.3和信息處理子系統(tǒng)1.4，所述作業(yè)環(huán)境感知子系統(tǒng)1.1、車輛狀態(tài)監(jiān)測子系統(tǒng)1.2、控制輸出子系統(tǒng)1.3通過通信網(wǎng)絡(luò)或輸入輸出模塊連接到信息處理子系統(tǒng)1.4；所述作業(yè)環(huán)境感知子系統(tǒng)1.1包括前方智能深度相機(jī)1.5、側(cè)方智能深度相機(jī)1.6、后方智能深度相機(jī)1.7、側(cè)方碰撞開關(guān)1.8和后方碰撞開關(guān)1.9，用來采集叉車作業(yè)時(shí)周邊各種信息，確保叉車安全行駛與作業(yè)安全；所述車輛狀態(tài)監(jiān)測子系統(tǒng)1.2包括車輛測速傳感器1.10、車載加速度傳感器1.11、車載陀螺儀1.12、駕駛員狀態(tài)傳感器1.13，用來采集車輛的運(yùn)行方向、轉(zhuǎn)彎、加減速、俯仰傾斜、駕駛員位置信息，為智能判別提供車輛狀態(tài)類別和處理依據(jù)；所述控制輸出子系統(tǒng)1.3包括多色報(bào)警指示燈1.14、蜂鳴報(bào)警器1.15、車輛制動(dòng)器控制接口1.16、車輛動(dòng)力控制接口1.17，用來在檢測到異?；蛭ｋU(xiǎn)狀況時(shí)，對車輛進(jìn)行主動(dòng)干預(yù)，對駕駛?cè)藛T和周邊人員進(jìn)行警示提醒；所述信息處理子系統(tǒng)1.4包括主控制器單元1.18以及輸入輸出模塊、通信模塊、電源模塊，對叉車作業(yè)環(huán)境信息、車輛狀態(tài)信息進(jìn)行處理，從而生成報(bào)警與控制信息，實(shí)現(xiàn)叉車行駛與作業(yè)的安全運(yùn)行。

如圖2所示，一種3d機(jī)器視覺叉車行駛輔助安全方法，使用上述的3d機(jī)器視覺叉車行駛輔助安全系統(tǒng)，具體步驟如下：

步驟2.1：根據(jù)叉車行駛和作業(yè)環(huán)境的要求以及工廠安全行駛的規(guī)范，確定每個(gè)智能深度相機(jī)的測量距離、視場角度的工作參數(shù)、預(yù)定義的警示區(qū)域、車輛速度和加速度限值，叉車作業(yè)俯仰或傾斜角度限值，初始化報(bào)警事件和參數(shù)閾值；

步驟2.2：信息處理子系統(tǒng)1.4從車輛狀態(tài)監(jiān)測子系統(tǒng)1.2獲得叉車運(yùn)行狀態(tài)，并進(jìn)行分類，根據(jù)車速分為低速、中速、高速，根據(jù)方向分為前進(jìn)、后退、轉(zhuǎn)彎；根據(jù)叉車狀態(tài)由車載加速度傳感器1.11和車載陀螺儀1.12確定叉車姿態(tài)是否允許作業(yè)；根據(jù)駕駛員狀態(tài)傳感器1.13確定駕駛員是否處于正確駕駛位置；

步驟2.3：根據(jù)加速度、速度、轉(zhuǎn)彎角度、俯仰角度信息，判斷叉車駕駛和作業(yè)是否符合規(guī)范，如不符合，則進(jìn)入步驟2.7c，如符合，則進(jìn)入步驟2.4；

步驟2.4：如叉車方向?yàn)榍斑M(jìn)或轉(zhuǎn)彎，使用前方智能深度相機(jī)1.5采集叉車行駛前方完全覆蓋叉齒前面預(yù)定義的警示區(qū)域的3d深度影像數(shù)據(jù)，前方智能深度相機(jī)1.5根據(jù)由主控制器單元1.18發(fā)送過來的叉車狀態(tài)和姿態(tài)信息進(jìn)行智能機(jī)器視覺處理，處理內(nèi)容包括：

2.4a：根據(jù)預(yù)設(shè)的速度等級，當(dāng)叉車在高速行駛時(shí)，將3d深度影像中叉齒前面預(yù)定義的警示區(qū)域部分前移，擴(kuò)大檢測深度范圍，以加長叉車制動(dòng)的安全距離；當(dāng)叉車在低速行駛或未啟動(dòng)裝卸作業(yè)時(shí)，將3d深度影像中的叉齒前面預(yù)定義的警示區(qū)域部分后移，以便叉車在狹窄區(qū)域作業(yè)；

2.4b：根據(jù)叉車轉(zhuǎn)彎狀態(tài)和速度信息，計(jì)算出叉車的轉(zhuǎn)彎半徑，將3d深度影像中叉齒前面預(yù)定義的警示區(qū)部分向轉(zhuǎn)彎方向偏移，實(shí)現(xiàn)前方智能深度相機(jī)1.5對叉車轉(zhuǎn)彎的隨動(dòng)跟蹤功能，同時(shí)避免叉車在狹小空間大角度轉(zhuǎn)彎時(shí)的誤報(bào)；

2.4c：根據(jù)叉車行駛的俯仰姿態(tài)，對3d深度影像的信息進(jìn)行空間校正與補(bǔ)償；

2.4d：前方智能深度相機(jī)1.5對校正偏移后的3d深度影像中叉齒前面預(yù)定義的警示區(qū)域部分進(jìn)行視覺辨識，對路面、人員、墻壁、欄桿、設(shè)備進(jìn)行分割辨識，將警示區(qū)域內(nèi)物體屬性、距離、位置、大小信息上傳主控制器單元1.18用于判斷決策；

步驟2.5：如叉車方向?yàn)楹笸嘶蜣D(zhuǎn)彎，使用后方智能深度相機(jī)1.7采集叉車后方預(yù)定義的警示區(qū)域的3d深度影像數(shù)據(jù)，由后方智能深度相機(jī)1.7對3d深度影像數(shù)據(jù)中預(yù)定義的警示區(qū)域部分進(jìn)行視覺辨識，確定是否有障礙物，并將障礙物屬性、距離、位置、大小上傳主控制器單元1.18用于判斷決策；

步驟2.6：在叉車處于直行狀態(tài)時(shí)，側(cè)方智能深度相機(jī)1.6的下視3d深度影像中預(yù)定義的警示區(qū)域部分限定在車體兩側(cè)較窄的區(qū)域，以便叉車在狹窄空間作業(yè)；在叉車處于轉(zhuǎn)彎狀態(tài)時(shí)，側(cè)方智能深度相機(jī)1.6的下視3d深度影像中預(yù)定義的警示區(qū)域部分向轉(zhuǎn)彎方向擴(kuò)展，以擴(kuò)大安全監(jiān)測范圍；側(cè)方智能深度相機(jī)1.6對采集的3d深度影像中預(yù)定義的警示區(qū)域部分進(jìn)行視覺辨識，并將處理結(jié)果上傳主控制器單元1.18用于判斷決策；

步驟2.7：主控制器單元1.18獲得所有智能深度相機(jī)的視覺辨識結(jié)果后，根據(jù)叉車狀態(tài)和姿態(tài)做出判斷決策，內(nèi)容包括：

2.7a：當(dāng)檢測到可能的障礙物碰撞信息時(shí)，通過多色報(bào)警指示燈1.14和蜂鳴報(bào)警器1.15發(fā)出警示信號，并通過車輛動(dòng)力控制接口1.17輸出降速或關(guān)閉信號，以限定叉車在安全范圍內(nèi)工作；

2.7b：當(dāng)檢測到嚴(yán)重人員安全狀況或障礙物碰撞狀況時(shí)，在發(fā)出警示信號的同時(shí)，通過車輛動(dòng)力控制接口1.17關(guān)閉車輛動(dòng)力，并通過車輛制動(dòng)器控制接口1.16進(jìn)行緊急制動(dòng)，防止事故發(fā)生或降低事故損害；

2.7c：當(dāng)檢測到駕駛員違規(guī)駕駛時(shí)，除發(fā)出警示信號外，通過車輛制動(dòng)器控制接口1.16輸出緊急制動(dòng)信號，停止叉車運(yùn)行；

步驟2.8：主控制器單元1.18對叉車異常狀況、發(fā)出警示信號時(shí)的3d深度影像數(shù)據(jù)進(jìn)行記錄形成行車日志，以便對叉車行駛與作業(yè)狀況進(jìn)行記錄與追溯；

步驟2.9：如叉車處于上電狀態(tài)，則轉(zhuǎn)到步驟2.2，機(jī)器視覺叉車行駛輔助安全系統(tǒng)進(jìn)行循環(huán)不斷的在線檢測。