本發(fā)明屬于目標(biāo)檢測(cè)領(lǐng)域，涉及一種基于rgcfusion的危險(xiǎn)駕駛行為檢測(cè)方法。

背景技術(shù)：

1、yolov8是yolo系列目標(biāo)檢測(cè)算法，它建立在yolo系列歷史版本的基礎(chǔ)上，并引入了新的功能和改進(jìn)點(diǎn)，以進(jìn)一步提升性能和靈活性。yolov8不僅支持目標(biāo)檢測(cè)，還涵蓋了圖像分類(lèi)、實(shí)例分割、姿態(tài)估計(jì)等多種視覺(jué)任務(wù)，成為實(shí)現(xiàn)這些任務(wù)的最佳選擇之一。yolov8采用了更先進(jìn)的骨干網(wǎng)絡(luò)架構(gòu)，如c2f模塊代替c3模塊，以及panet結(jié)構(gòu)等，這些改進(jìn)使得模型在特征提取和表示方面更加高效。

2、el?khatib等人(2020)將對(duì)駕駛員視覺(jué)分心進(jìn)行檢測(cè)的指標(biāo)分為以下幾個(gè)種類(lèi)：駕駛員看向路中心的時(shí)間和頻率(percent?road?center，prc)、眨眼的頻率、視線(xiàn)偏移的時(shí)間和駕駛員的頭部姿態(tài)角度。li等人(2021)利用dlib檢測(cè)出人臉的68個(gè)關(guān)鍵點(diǎn)后，通過(guò)計(jì)算人眼閉合的頻率來(lái)判定駕駛員是否處于疲勞狀態(tài)。singh等人(2021)利用深度神經(jīng)網(wǎng)絡(luò)對(duì)駕駛員頭部進(jìn)行姿態(tài)估計(jì)來(lái)預(yù)測(cè)駕駛員的注意力時(shí)長(zhǎng)。潘劍凱等人(2021)建立駕駛員眼部的自商圖與梯度圖共生矩陣模型用以判定人眼的開(kāi)閉狀態(tài)，提升了面部遮擋情況下的疲勞駕駛檢測(cè)準(zhǔn)確率。

3、這些方法都可以在一定程度上實(shí)現(xiàn)對(duì)駕駛員的危險(xiǎn)行為進(jìn)行檢測(cè)。有很多是利用駕駛員的面部表情來(lái)檢測(cè)駕駛員的駕駛狀態(tài)，是否疲勞駕駛等，這樣無(wú)法準(zhǔn)確識(shí)別駕駛員的分心駕駛行為，對(duì)模型的復(fù)雜度要求也更好，也有不少對(duì)駕駛員的姿態(tài)進(jìn)行檢測(cè)的發(fā)明，但是計(jì)算量與參數(shù)量都過(guò)于龐大，無(wú)法在算力較小的嵌入式平臺(tái)上進(jìn)行部署，或者檢測(cè)的實(shí)時(shí)性較低。目前還有一些利用可穿戴設(shè)備對(duì)駕駛員進(jìn)行檢測(cè)，這樣勢(shì)必會(huì)對(duì)駕駛員的駕駛操作造成阻礙，難免會(huì)造成駕駛的失誤。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的：針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提出了一種基于rgcfusion的危險(xiǎn)駕駛行為檢測(cè)方法，在檢測(cè)精確度可接受的范圍內(nèi)大大提高了效率，大幅度的減少了計(jì)算量與參數(shù)量，縮短的檢測(cè)時(shí)間，減少了對(duì)嵌入式設(shè)備的算力要求，更大程度上保證了駕駛的安全。

2、技術(shù)方案：本發(fā)明公開(kāi)一種基于rgcfusion的危險(xiǎn)駕駛行為檢測(cè)方法，包括如下步驟：

3、001收集多張機(jī)動(dòng)車(chē)駕駛員在開(kāi)車(chē)時(shí)，進(jìn)行不同類(lèi)型的危險(xiǎn)駕駛的圖片，并將圖片進(jìn)行歸類(lèi)，使用yolo格式對(duì)這些圖片進(jìn)行標(biāo)注；再將圖片隨機(jī)的進(jìn)行翻轉(zhuǎn)剪裁操作來(lái)擴(kuò)充數(shù)據(jù)集的數(shù)量；

4、002搭建rgcfusion-yolo模型，所述rgcfusion-yolo模型利用rgcspelan模塊替換yolov8模型中的c2f模塊，在neck層與檢測(cè)頭之間增加cgafusion特征融合模塊或在neck層與檢測(cè)頭之間增加caafusion特征融合模塊；

5、003將數(shù)據(jù)集按照7：3的比例劃分成訓(xùn)練集以及驗(yàn)證集；

6、004按照?qǐng)D片標(biāo)注的順序，將圖片類(lèi)型寫(xiě)成ymal文件，設(shè)定訓(xùn)練參數(shù)，對(duì)rgcfusion-yolo模型進(jìn)行訓(xùn)練；

7、005利用訓(xùn)練后的rgcfusion-yolo模型進(jìn)行危險(xiǎn)駕駛行為檢測(cè)。

8、進(jìn)一步地，所述rgcspelan模塊首先將輸入進(jìn)來(lái)的參數(shù)進(jìn)行一次卷積、池化、歸一化操作；然后使用spilt進(jìn)行梯度分流，并且在分支上使用repconv，然后再進(jìn)行n-1次的conv操作，最后融合所有特征進(jìn)行concat，最后經(jīng)過(guò)一次卷積、池化、歸一化的操作，進(jìn)行輸出信息。

9、進(jìn)一步地，所述spilt的比例大小，預(yù)設(shè)為0.5。

10、進(jìn)一步地，將rgcfusion-yolo模型的第4層與15層、第6層與18層、第9與21層之間進(jìn)行特征融合，所述cgafusion特征融合模塊使用cga來(lái)計(jì)算特征調(diào)制的空間權(quán)重，將編碼器部分的低級(jí)特征和相應(yīng)的高級(jí)特征輸入到cga模塊中計(jì)算權(quán)重，然后采用加權(quán)求和的方法進(jìn)行組合；還通過(guò)跳躍連接增加輸入特征，最后對(duì)融合后的特征進(jìn)行1*1的卷積投影，具體如下：

11、ffuse＝c1×1(flow·w+fhigh·(1-w)+flow+fhigh)

12、其中，c1×1代表1*1卷積，w代表寬度，fgigh、flow分別表示高級(jí)特征和低級(jí)特征。

13、進(jìn)一步地，所述cga模塊具體如下：

14、設(shè)定代表輸入處理前的特征，cga模塊生成通道特定的sims與x保持相同的尺寸，下面計(jì)算相應(yīng)的wc與ws：

15、

16、其中，max(0,x)代表relu激活函數(shù)，代表內(nèi)核大小為1*1的卷積層，與分別表示跨空間維度的全局平均池化操作、跨通道維度的全局平均池化操作和跨通道維度的全局最大池化操作處理的特征；第一次1×1卷積將通道維數(shù)從c降為c/r，r代表降維比，第二次將通道數(shù)擴(kuò)展為c；之后通過(guò)簡(jiǎn)單的相加規(guī)則，將wc與ws融合到一起，得到粗糙的

17、wcoa＝wc+ws

18、wcoa與x的每個(gè)信道都通過(guò)信道洗牌重新交替排列：

19、

20、其中，σ代表sigmoid函數(shù)操作，cs()代表通道洗牌操作，代表7*7的內(nèi)核大小的卷積核。

21、進(jìn)一步地，將caa模塊集成到傳統(tǒng)的cgafusion模塊中替換其中的cga模塊，得到caafusion特征融合模塊，所述caa模塊具體過(guò)程如下：

22、采用平均池化后1×1卷積得到局部區(qū)域特征：

23、

24、其中，表示平均池化操作；

25、

26、ds為下采樣操作，fl-1表示backbone中stage1輸出的結(jié)果，stage1表示為conv加上rgcspelan模塊，當(dāng)n＝0時(shí)，有應(yīng)用兩個(gè)深度條形卷積作為標(biāo)準(zhǔn)大核深度卷積的近似：

27、

28、其中，表示深度卷積，設(shè)置kb＝11+2*l，kb為內(nèi)核大小，最后caa模塊產(chǎn)生一個(gè)注意力權(quán)重al-1,n用來(lái)增強(qiáng)caafusion模塊的輸出：

29、

30、sigmoid函數(shù)確保注意力權(quán)重al-1,n在(0,1)范圍內(nèi)，⊙表示元素智乘法，表示元素智乘法求和，表示增強(qiáng)特征，pl-1,n表示低維與高維獲取的特征；

31、

32、最后的caafusion模塊輸出為

33、有益效果：

34、本發(fā)明不再使用針對(duì)面部的識(shí)別方式以及利用可穿戴設(shè)備對(duì)駕駛員的分心駕駛行為進(jìn)行檢測(cè)，通過(guò)對(duì)不同類(lèi)型的危險(xiǎn)駕駛的圖片進(jìn)行檢測(cè)分類(lèi)，這樣不僅僅增加識(shí)別的準(zhǔn)確性，并且減少了對(duì)駕駛員的駕駛操作難度。

35、本發(fā)明提出了rgcspelan模塊，相比于c2f，具有更小的計(jì)算量與參數(shù)量，更快的推理速度。rgcspelan模塊預(yù)設(shè)split的比例大小為0.5，其次為了防止該模塊提取到的特征過(guò)少，在梯度流通分支上使用repconv，以此來(lái)增強(qiáng)特征提取和梯度流通的能力，并且repconv可以在推理的時(shí)候進(jìn)行融合，并且可是使用縮放因子n控制該模塊的大小，使得該模型兼顧大模型與小模型。

36、本發(fā)明在neck層與檢測(cè)頭之間加入fusion模塊進(jìn)行特征融合。獲取更多低維與高維的圖像信息，提高識(shí)別的準(zhǔn)確度。在cgafusion中加入pkinet中caa的思想，將caa模塊集成到cgafusion中，提出一種caafusion特征融合模塊。這樣大大減少了數(shù)據(jù)的計(jì)算量與參數(shù)量，簡(jiǎn)化了模型的訓(xùn)練時(shí)間，減少了對(duì)硬件的依賴(lài)。