本發(fā)明涉及圖像識別領(lǐng)域，具體涉及一種邊緣計算架構(gòu)下員工異常行為智能識別方法及系統(tǒng)。

背景技術(shù)：

1、隨著現(xiàn)代化智能工廠生產(chǎn)規(guī)模的逐步擴(kuò)大，企業(yè)的廠區(qū)面積、廠區(qū)數(shù)及員工數(shù)量等急劇增加。隨之而來的是，因廠區(qū)分散、員工活動范圍廣，對員工工作期間的狀態(tài)，如危險區(qū)域站人、不規(guī)范配戴安全帽、不穿安全服、工作期間沉溺手機(jī)、突發(fā)暈厥無人發(fā)現(xiàn)等各種異常行為不易掌握等問題凸顯，而有效識別員工的異常行為對規(guī)范化企業(yè)管理，保障員工安全及提高企業(yè)生產(chǎn)效率至關(guān)重要。傳統(tǒng)的人工巡檢方式難以實現(xiàn)廠區(qū)范圍的全覆蓋，且對各種異常行為容易出現(xiàn)漏檢、誤檢等情況，同時對各種潛在的人員安全、規(guī)范管理及生產(chǎn)安全等問題缺乏有效的預(yù)測與判斷，因此亟須開展智能化的人員異常行為識別與監(jiān)測方面的研究。

2、基于深度卷積神經(jīng)網(wǎng)絡(luò)的r-cnn(regions?with?convolutional?neuralnetwork)系列、基于單階段檢測器的ssd(single?shot?multibox?dector)系列及yolo(youonly?look?once)系列等為目前的主流目標(biāo)檢測算法，其中yolo系列目標(biāo)檢測算法因高效性和易用性等優(yōu)點備受青睞，也是工業(yè)界與學(xué)術(shù)界的研究熱點之一，廣泛應(yīng)用于城市安全、交通管理、智能零售、農(nóng)業(yè)監(jiān)測、環(huán)境研究和地圖制作等生產(chǎn)服務(wù)及安全管理領(lǐng)域。同時，邊緣計算擁有近端處理的優(yōu)勢，可在靠近數(shù)據(jù)輸入或用戶的地方提供計算、存儲和網(wǎng)絡(luò)帶寬，為應(yīng)用開發(fā)者和服務(wù)提供商在網(wǎng)絡(luò)的邊緣側(cè)提供云服務(wù)和it環(huán)境服務(wù)，具有系統(tǒng)響應(yīng)速度快、數(shù)據(jù)處理能力強(qiáng)等特點，能更好地適應(yīng)現(xiàn)代化工廠實時性、準(zhǔn)確性、高效性等管理要求。因此，在邊緣計算架構(gòu)下，開展對人員的異常行為識別與監(jiān)測的智能化研究，對現(xiàn)代化工廠的持續(xù)發(fā)展具有重要意義。

3、為了解現(xiàn)有目標(biāo)檢測算法配置方法和技術(shù)的發(fā)展現(xiàn)狀，對已有論文和專利進(jìn)行檢索、比較和分析，篩選出如下與本發(fā)明相關(guān)度比較高的技術(shù)信息：

4、技術(shù)方案1：專利公開號cn202210962497.x的《一種基于視頻監(jiān)控的人員異常行為檢測方法及裝置》專利，該專利公開了一種基于視頻監(jiān)控的人員異常行為檢測方法及裝置。該檢測方法步驟為：實時獲取由攝像機(jī)拍攝的監(jiān)控區(qū)域的視頻圖像；基于所述視頻圖像進(jìn)行檢測與跟蹤，得到實時變化的人體檢測框；基于人體檢測框的幾何尺寸特征和運動狀態(tài)特征，進(jìn)行異常行為檢測；若存在異常行為，則進(jìn)行報警。此檢測方法更大程度的提高了人員異常檢測的準(zhǔn)確率。

5、技術(shù)方案2：專利公開號cn201910229246.9的《一種基于視覺的運營車輛人員異常行為檢測方法》專利，該專利公開了一種基于視頻的運營車輛人員異常行為檢測方法。該異常行為檢測方法為：首先全方位采集車內(nèi)駕駛?cè)藛T及其周圍人員的圖像信息；然后，提取2d圖像，利用openpose數(shù)據(jù)庫中深度學(xué)習(xí)算法對所有圖像內(nèi)人員的骨骼節(jié)點進(jìn)行標(biāo)注；接著，結(jié)合車輛行駛狀態(tài)，界定干擾人員與被干擾人員，計算被干擾人員各關(guān)鍵肢體部位的危險距離閾值。隨后，基于雙目測距原計算干擾人員的腕部節(jié)點與被干擾人員關(guān)鍵肢體部位的危險距離閾值；最后，通過判斷空間距離處在危險距離閾值內(nèi)的時間，檢測干擾人員的異常行為。該檢測方法，通過分布式攝像頭全方位獲取車內(nèi)人員圖像信息，基于openpose數(shù)據(jù)庫實時提供人員的姿態(tài)，結(jié)合雙目測距原理獲取車內(nèi)人員間的空間相對位置，并以此判定車內(nèi)人員是否有異常行為，為基于視覺的運營車輛人員異常行為檢測提供了可能性。

6、技術(shù)方案3：專利公開號cn202310710806.9的《社區(qū)人員的異常行為檢測方法、裝置及相關(guān)設(shè)備》專利，該專利公開了一種社區(qū)人員異常行為檢測方法、裝置及相關(guān)設(shè)備。該專利所公布的人員異常行為檢測的方法步驟為：首先獲取社區(qū)監(jiān)控的視頻流，并對視頻進(jìn)行抽幀處理和縮放處理，得到檢測圖像集；通過預(yù)訓(xùn)練好的yolo模型對檢測圖像集進(jìn)行人體檢測，得到包含有檢測框的人體圖像；采用openpose模型對人體圖像進(jìn)行姿態(tài)識別，得到包含人體姿態(tài)信息的人體姿態(tài)圖像；將人體姿態(tài)圖像輸入預(yù)置的transreid模型進(jìn)行姿態(tài)信息的識別和跟蹤，輸出以結(jié)構(gòu)化數(shù)據(jù)形式保存的結(jié)構(gòu)化數(shù)據(jù)集；將結(jié)構(gòu)化數(shù)據(jù)集輸入預(yù)置的行為分類模型進(jìn)行異常行為識別，確定結(jié)構(gòu)化數(shù)據(jù)集中的每一檢測對象的行為是否屬于異常行為，標(biāo)記屬于異常行為的檢測對象并在視頻流中進(jìn)行目標(biāo)追蹤。該專利提升管理人員效率，降低了社區(qū)內(nèi)風(fēng)險事件發(fā)生的可能。

7、技術(shù)方案4：專利公開號cn202211640713.5的《基于機(jī)器視覺和目標(biāo)檢測的人員異常行為檢測方法及系統(tǒng)》專利，該專利公開了一種基于計算機(jī)視覺和目標(biāo)檢測的人員異常行為檢測方法及系統(tǒng)。該專利所公布的人員異常行為檢測方法步驟為：獲取卸車機(jī)作業(yè)現(xiàn)場圖像、目標(biāo)人員圖像以及光照數(shù)據(jù)，并獲取卸車機(jī)設(shè)備本身的作業(yè)反饋信息；對采集的圖像進(jìn)行預(yù)處理；提取所述目標(biāo)人員圖像的臉部特征數(shù)據(jù)，判斷是否為異常人員，若因臉部遮擋無法提取臉部特征數(shù)據(jù)的目標(biāo)人員則對其提取衣著特征，并判斷是否為異常人員；根據(jù)作業(yè)反饋信息判斷卸車機(jī)作業(yè)階段，將異常人員的作業(yè)現(xiàn)場圖像以及人體圖像輸入基于輕量化網(wǎng)絡(luò)mobilenetv2-yolov4算法模型中判斷是否出現(xiàn)異常行為。該人員異常行為檢測模型大大降低了參數(shù)量以及計算量，提高檢測的速度。

8、技術(shù)方案1實時獲取由攝像機(jī)拍攝的監(jiān)控區(qū)域的視頻圖像；基于所述視頻圖像進(jìn)行檢測與跟蹤，得到實時變化的人體檢測框；基于人體檢測框的幾何尺寸特征和運動狀態(tài)特征，進(jìn)行異常行為檢測，此檢測方法更大程度的提高了人員異常檢測的準(zhǔn)確率，但是檢測速度較慢。

9、技術(shù)方案2基于openpose數(shù)據(jù)庫實時提供人員的姿態(tài)，結(jié)合雙目測距原理獲取車內(nèi)人員間的空間相對位置，并以此判定車內(nèi)人員是否有異常行為，雖然為基于視覺的運營車輛人員異常行為檢測提供了可能性，但是檢測步驟過于繁瑣。

10、技術(shù)方案3將結(jié)構(gòu)化數(shù)據(jù)集輸入預(yù)置的行為分類模型進(jìn)行異常行為識別，確定結(jié)構(gòu)化數(shù)據(jù)集中的每一檢測對象的行為是否屬于異常行為，標(biāo)記屬于異常行為的檢測對象并在視頻流中進(jìn)行目標(biāo)追蹤，此方案雖然可以提升管理人員的效率，但是模型精度提升有限。

11、技術(shù)方案4將異常人員的作業(yè)現(xiàn)場圖像以及人體圖像輸入基于輕量化網(wǎng)絡(luò)mobilenetv2-yolov4算法模型中判斷是否出現(xiàn)異常行為。該人員異常行為檢測模型大大降低了參數(shù)量以及計算量，提高檢測的速度。但是該方法檢測速度仍然較低，檢測精度也不高。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)中的上述不足，本發(fā)明提供的邊緣計算架構(gòu)下員工異常行為智能識別方法及系統(tǒng)解決了對員工行為進(jìn)行檢測的現(xiàn)有技術(shù)難以兼顧檢測速度、檢測精度和檢測便利度的問題。

2、為了達(dá)到上述發(fā)明目的，本發(fā)明采用的技術(shù)方案為：

3、提供一種邊緣計算架構(gòu)下員工異常行為智能識別方法，其包括以下步驟：

4、s1、對yolov10n網(wǎng)絡(luò)進(jìn)行改進(jìn)，得到iida網(wǎng)絡(luò)：

5、將yolov10n中除骨干網(wǎng)絡(luò)中第一個conv卷積層的其余conv卷積層替換為dsconv卷積層，將yolov10n中的psa層替換為polarized?self-attention層，在yolov10n的頸部網(wǎng)絡(luò)與檢測頭之間添加yolo-ms模塊，得到改進(jìn)后的yolov10n網(wǎng)絡(luò)，即iida網(wǎng)絡(luò)；

6、s2、將訓(xùn)練后的iida網(wǎng)絡(luò)部署到邊緣計算架構(gòu)中；

7、s3、獲取待識別圖像并進(jìn)行預(yù)處理，得到預(yù)處理后的待識別圖像；

8、s4、通過訓(xùn)練后的iida網(wǎng)絡(luò)的骨干網(wǎng)絡(luò)提取預(yù)處理后的待識別圖像的不同深度的特征；

9、s5、通過訓(xùn)練后的iida網(wǎng)絡(luò)的頸部網(wǎng)絡(luò)對骨干網(wǎng)絡(luò)提取的不同深度的特征進(jìn)行融合，得到不同深度的融合特征；

10、s6、通過yolo-ms模塊對不同深度的融合特征進(jìn)行特征增強(qiáng)，得到增強(qiáng)后的特征；

11、s7、通過訓(xùn)練后的iida網(wǎng)絡(luò)的檢測頭對增強(qiáng)后的特征進(jìn)行異常行為分類識別，得到員工異常行為識別結(jié)果。

12、進(jìn)一步地，邊緣計算架構(gòu)為atlas?200idk?a2邊緣計算盒子。

13、進(jìn)一步地，iida網(wǎng)絡(luò)的訓(xùn)練方式為：

14、獲取員工在工作期間佩戴安全帽、跌倒、手機(jī)沉溺、抽煙、未穿安全服、穿安全服和未佩戴安全帽的圖像作為訓(xùn)練用圖，并分別打上相應(yīng)的標(biāo)簽，形成訓(xùn)練集；通過訓(xùn)練集對iida網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至達(dá)到訓(xùn)練次數(shù)或識別準(zhǔn)備率達(dá)到閾值，得到訓(xùn)練后的iida網(wǎng)絡(luò)。

15、進(jìn)一步地，iida網(wǎng)絡(luò)的骨干網(wǎng)絡(luò)包括依次連接的conv卷積層、第一dsconv卷積層、第一c2f層、第二dsconv卷積層、第二c2f層、第一scdown層、第三c2f層、第二scdown層、第四c2f層、sppf層和polarized?self-attention層；其中第二c2f層、第三c2f層和polarizedself-attention層的輸出均為骨干網(wǎng)絡(luò)輸出的特征。

16、進(jìn)一步地，iida網(wǎng)絡(luò)的頸部網(wǎng)絡(luò)包括依次連接的第一upsample層、第一concat層、第五c2f層、第二upsample層、第二concat層、第六c2f層、第三dsconv卷積層、第三concat層、第七c2f層、第三scdown層、第四concat層和c2fcib層；其中第一upsample層的輸入和第四concat層的另一個輸入均為polarized?self-attention層的輸出；第一concat層的另一個輸入為第三c2f層的輸出；第二concat層的另一個輸入為第二c2f層的輸出；第三concat層的另一個輸入為第五c2f層的輸出；第六c2f層的輸出、第七c2f層的輸出和c2fcib層的輸出均為融合特征。

17、進(jìn)一步地，yolo-ms模塊為3個，3個yolo-ms模塊的輸入端分別連接第六c2f層的輸出、第七c2f層的輸出和c2fcib層的輸出。

18、進(jìn)一步地，iida網(wǎng)絡(luò)的檢測頭包括3個檢測單元，每個檢測單元的輸入端與一個yolo-ms模塊的輸出端相連。

19、提供一種邊緣計算架構(gòu)下員工異常行為智能識別系統(tǒng)，其包括邊緣計算架構(gòu)、數(shù)據(jù)采集模塊、行為識別模塊；

20、邊緣計算架構(gòu)，用于部署行為識別模塊；

21、數(shù)據(jù)采集模塊，用于采集待識別圖像并對其進(jìn)行預(yù)處理，數(shù)據(jù)采集模塊

22、行為識別模塊，用于通過訓(xùn)練后的iida網(wǎng)絡(luò)對預(yù)處理后的待識別圖像進(jìn)行異常行為分類識別，得到員工異常行為識別結(jié)果；

23、其中iida網(wǎng)絡(luò)的構(gòu)建方法為：將yolov10n中的conv卷積層替換為dsconv卷積層，將yolov10n中的psa層替換為polarized?self-attention層，在yolov10n的頸部網(wǎng)絡(luò)與檢測頭之間添加yolo-ms模塊，得到改進(jìn)后的yolov10n網(wǎng)絡(luò)，即iida網(wǎng)絡(luò)。

24、本發(fā)明的有益效果為：本發(fā)明用dsconv卷積替換yolov10n中的conv卷積，采用dsconv以提高卷積層的內(nèi)存效率和速度；使用polarized?self-attention替換原有的psa提高iida網(wǎng)絡(luò)的效率和準(zhǔn)確性同時減少計算量；添加yolo-ms模塊，采用層次化的方式融合并增強(qiáng)來自網(wǎng)絡(luò)不同層次的特征，有助于模型在處理細(xì)粒度和粗粒度信息時的表現(xiàn)；在網(wǎng)絡(luò)的不同階段使用不同大小的卷積核，以適應(yīng)不同尺度的特征表示，提高了iida網(wǎng)絡(luò)在進(jìn)行員工異常行為識別過程中的魯棒性和泛化能力；本發(fā)明將訓(xùn)練后的iida網(wǎng)絡(luò)部署到atlas200idk?a2邊緣計算盒子以確保實時的數(shù)據(jù)分析與預(yù)警，進(jìn)而實現(xiàn)員工異常行為的智能化識別與監(jiān)測，兼顧了員工行為檢測的檢測速度、檢測精度和檢測便利度。