本發(fā)明涉及深度學(xué)習(xí)，尤其是涉及一種基于深度學(xué)習(xí)的多模態(tài)安防設(shè)備預(yù)警警方法及系統(tǒng)。

背景技術(shù)：

1、在當(dāng)今社會，工業(yè)生產(chǎn)和各類作業(yè)現(xiàn)場的規(guī)模不斷擴(kuò)大，復(fù)雜性持續(xù)增加。無論是工廠車間、建筑工地還是其他工作場所，安全始終是至關(guān)重要的問題。

2、傳統(tǒng)的安防設(shè)備大多采用單一的監(jiān)測手段，如單純的視頻監(jiān)控系統(tǒng)只能提供視覺畫面，無法獲取音頻及環(huán)境數(shù)據(jù)等多方面的信息。這使得在實際應(yīng)用中，很容易出現(xiàn)遺漏關(guān)鍵安全隱患的情況。例如，在一些嘈雜的工作環(huán)境中，僅靠視頻監(jiān)控可能無法察覺設(shè)備異常運轉(zhuǎn)所發(fā)出的細(xì)微聲音變化；而在某些情況下，視覺上看似正常的場景，可能由于環(huán)境因素的變化而潛藏著巨大的安全風(fēng)險，若沒有多模態(tài)數(shù)據(jù)的綜合分析，這些隱患很難被及時發(fā)現(xiàn)。

3、而且，傳統(tǒng)安防設(shè)備在數(shù)據(jù)處理能力方面較為薄弱。面對大量的、來自不同渠道的多模態(tài)數(shù)據(jù)，傳統(tǒng)方法往往難以進(jìn)行高效的整合和分析。無法對復(fù)雜的現(xiàn)場情況進(jìn)行深入理解和準(zhǔn)確判斷，導(dǎo)致預(yù)警的及時性和準(zhǔn)確性大打折扣。

4、再者，隨著科技的不斷進(jìn)步，工作現(xiàn)場的動態(tài)性和不確定性也在增加?，F(xiàn)有的安防預(yù)警系統(tǒng)在智能化程度上難以滿足實際需求。它們通常不能根據(jù)實時變化的現(xiàn)場條件進(jìn)行自適應(yīng)調(diào)整，也無法對潛在的安全風(fēng)險進(jìn)行精準(zhǔn)預(yù)測。例如，不能根據(jù)不同時間段的工作特點、人員活動情況以及設(shè)備運行狀態(tài)等因素，動態(tài)地調(diào)整預(yù)警策略。

5、此外，在一些特殊的工作場景中，如高溫、高壓、高粉塵等惡劣環(huán)境下，傳統(tǒng)安防設(shè)備的可靠性和穩(wěn)定性也面臨嚴(yán)峻挑戰(zhàn)。這些設(shè)備可能會受到環(huán)境因素的影響而出現(xiàn)故障或誤報，給安全管理帶來極大的困擾。

6、綜上所述，為了更好地保障工作現(xiàn)場的安全，迫切需要一種基于深度學(xué)習(xí)的多模態(tài)安防設(shè)備預(yù)警方法及系統(tǒng)，以實現(xiàn)對現(xiàn)場工作多模態(tài)數(shù)據(jù)的全面獲取、高效處理和精準(zhǔn)預(yù)警

技術(shù)實現(xiàn)思路

1、為了解決上述提到的問題，本發(fā)明提供一種基于深度學(xué)習(xí)的多模態(tài)安防設(shè)備預(yù)警方法及系統(tǒng)。

2、第一方面，本發(fā)明提供的一種基于深度學(xué)習(xí)的多模態(tài)安防設(shè)備預(yù)警方法，采用如下的技術(shù)方案：

3、一種基于深度學(xué)習(xí)的多模態(tài)安防設(shè)備預(yù)警方法，包括：

4、獲取現(xiàn)場工作多模態(tài)數(shù)據(jù)；

5、對獲取的現(xiàn)場工作多模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理；

6、構(gòu)建基于長短時記憶的神經(jīng)網(wǎng)絡(luò)模型，利用基于長短時記憶的神經(jīng)網(wǎng)絡(luò)模型對預(yù)處理后的現(xiàn)場工作多模態(tài)數(shù)據(jù)進(jìn)行結(jié)果預(yù)測；

7、對預(yù)測結(jié)果輸入生成對抗網(wǎng)絡(luò)，基于生成對抗網(wǎng)絡(luò)得到判別結(jié)果；

8、將判別結(jié)果上傳后生成警示指令。

9、進(jìn)一步地，所述獲取現(xiàn)場工作多模態(tài)數(shù)據(jù)，包括通過高清攝像頭獲取工作現(xiàn)場的音頻、視頻和環(huán)境數(shù)據(jù)資料，其中，定期從視頻流中抽取關(guān)鍵幀作為圖像數(shù)據(jù)。

10、進(jìn)一步地，所述對獲取的現(xiàn)場工作多模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理，包括對采集到的視頻和圖像進(jìn)行裁剪、縮放和歸一化處理，其中，采用圖像增強(qiáng)技術(shù)對圖像數(shù)據(jù)進(jìn)行提高質(zhì)量；采用降噪和濾波技術(shù)對音頻數(shù)據(jù)進(jìn)行處理，預(yù)處理后轉(zhuǎn)換為適合?lstm?網(wǎng)絡(luò)輸入的格式。

11、進(jìn)一步地，所述構(gòu)建基于長短時記憶的神經(jīng)網(wǎng)絡(luò)模型，包括構(gòu)建神經(jīng)網(wǎng)絡(luò)的輸入層、lstm?層和輸出層，其中，確定?lstm?層的數(shù)量為13層并設(shè)置每個?lstm?層的單元數(shù)量為50，在輸出層設(shè)置一個基于sigmoid?激活函數(shù)的全連接層，用于輸出概率值。

12、進(jìn)一步地，所述利用基于長短時記憶的神經(jīng)網(wǎng)絡(luò)模型對預(yù)處理后的現(xiàn)場工作多模態(tài)數(shù)據(jù)進(jìn)行結(jié)果預(yù)測，包括將預(yù)處理后的多模態(tài)數(shù)據(jù)輸入至lstm?網(wǎng)絡(luò)中，通過前向傳播計算輸出結(jié)果，并根據(jù)損失函數(shù)計算預(yù)測結(jié)果與真實標(biāo)簽之間的誤差，通過優(yōu)化算法反向傳播誤差更新lstm?網(wǎng)絡(luò)的權(quán)重和偏置參數(shù)，直到損失函數(shù)收斂。

13、進(jìn)一步地，所述對預(yù)測結(jié)果輸入生成對抗網(wǎng)絡(luò)，基于生成對抗網(wǎng)絡(luò)得到判別結(jié)果，包括構(gòu)建生成器和判別器，通過生成器輸入神經(jīng)網(wǎng)絡(luò)模型輸出的預(yù)測結(jié)果，并生成相應(yīng)的樣本，通過判別器判斷輸入樣本為真實樣本的可能性，得到輸出結(jié)果。

14、進(jìn)一步地，所述將判別結(jié)果上傳后生成警示指令，包括接收?生成對抗網(wǎng)絡(luò)的判別結(jié)果，生成警示指令，并進(jìn)行數(shù)據(jù)存儲和管理，其中，警示指令以聲音警報、燈光閃爍、顯示屏提示的形式輸出給工人和管理人員。

15、第二方面，一種基于深度學(xué)習(xí)的多模態(tài)安防設(shè)備預(yù)警系統(tǒng)，包括：

16、數(shù)據(jù)獲取模塊，被配置為，獲取現(xiàn)場工作多模態(tài)數(shù)據(jù)；

17、預(yù)處理模塊，被配置為，對獲取的現(xiàn)場工作多模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理；

18、模型預(yù)測模塊，被配置為，構(gòu)建基于長短時記憶的神經(jīng)網(wǎng)絡(luò)模型，利用基于長短時記憶的神經(jīng)網(wǎng)絡(luò)模型對預(yù)處理后的現(xiàn)場工作多模態(tài)數(shù)據(jù)進(jìn)行結(jié)果預(yù)測；

19、判別模塊，被配置為，對預(yù)測結(jié)果輸入生成對抗網(wǎng)絡(luò)，基于生成對抗網(wǎng)絡(luò)得到判別結(jié)果；

20、警示模塊，被配置為，將判別結(jié)果上傳后生成警示指令。

21、第三方面，本發(fā)明提供一種計算機(jī)可讀存儲介質(zhì)，其中存儲有多條指令，所述指令適于由終端設(shè)備的處理器加載并執(zhí)行所述的一種基于深度學(xué)習(xí)的多模態(tài)安防設(shè)備預(yù)警方法。

22、第四方面，本發(fā)明提供一種終端設(shè)備，包括處理器和計算機(jī)可讀存儲介質(zhì)，處理器用于實現(xiàn)各指令；計算機(jī)可讀存儲介質(zhì)用于存儲多條指令，所述指令適于由處理器加載并執(zhí)行所述的一種基于深度學(xué)習(xí)的多模態(tài)安防設(shè)備預(yù)警方法。

23、綜上所述，本發(fā)明具有如下的有益技術(shù)效果：

24、本發(fā)明通過采集現(xiàn)場視頻，并利用圖像增強(qiáng)技術(shù)提升圖像質(zhì)量，能夠有效實時監(jiān)控現(xiàn)場施工；基于長短時記憶的神經(jīng)網(wǎng)絡(luò)模型能有效處理時間序列數(shù)據(jù)，并充分提取特征，提高預(yù)測準(zhǔn)確性。同時利用網(wǎng)絡(luò)模型有效判斷工人動作規(guī)范性，為警示指令提供更可靠依據(jù)。以聲音警報、燈光閃爍、顯示屏提示等多種形式輸出警示指令，確保工人和管理人員及時接收預(yù)警信息。同時進(jìn)行數(shù)據(jù)存儲和管理，為安全管理提供數(shù)據(jù)支持和分析基礎(chǔ)。

25、該方案綜合運用多種技術(shù)，實現(xiàn)對現(xiàn)場工作的實時監(jiān)測和預(yù)警，有效提升安防設(shè)備的預(yù)警能力，降低安全風(fēng)險，提高安全管理效率

技術(shù)特征：

1.一種基于深度學(xué)習(xí)的多模態(tài)安防設(shè)備預(yù)警方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的多模態(tài)安防設(shè)備預(yù)警方法，其特征在于，所述獲取現(xiàn)場工作多模態(tài)數(shù)據(jù)，包括通過高清攝像頭獲取工作現(xiàn)場的音頻、視頻和環(huán)境數(shù)據(jù)資料，其中，定期從視頻流中抽取關(guān)鍵幀作為圖像數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的一種基于深度學(xué)習(xí)的多模態(tài)安防設(shè)備預(yù)警方法，其特征在于，所述對獲取的現(xiàn)場工作多模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理，包括對采集到的視頻和圖像進(jìn)行裁剪、縮放和歸一化處理，其中，采用圖像增強(qiáng)技術(shù)對圖像數(shù)據(jù)進(jìn)行提高質(zhì)量；采用降噪和濾波技術(shù)對音頻數(shù)據(jù)進(jìn)行處理，預(yù)處理后轉(zhuǎn)換為適合?lstm?網(wǎng)絡(luò)輸入的格式。

4.根據(jù)權(quán)利要求3所述的一種基于深度學(xué)習(xí)的多模態(tài)安防設(shè)備預(yù)警方法，其特征在于，所述構(gòu)建基于長短時記憶的神經(jīng)網(wǎng)絡(luò)模型，包括構(gòu)建神經(jīng)網(wǎng)絡(luò)的輸入層、lstm?層和輸出層，其中，確定?lstm?層的數(shù)量為13層并設(shè)置每個?lstm?層的單元數(shù)量為50，在輸出層設(shè)置一個基于sigmoid?激活函數(shù)的全連接層，用于輸出概率值。

5.根據(jù)權(quán)利要求4所述的一種基于深度學(xué)習(xí)的多模態(tài)安防設(shè)備預(yù)警方法，其特征在于，所述利用基于長短時記憶的神經(jīng)網(wǎng)絡(luò)模型對預(yù)處理后的現(xiàn)場工作多模態(tài)數(shù)據(jù)進(jìn)行結(jié)果預(yù)測，包括將預(yù)處理后的多模態(tài)數(shù)據(jù)輸入至lstm?網(wǎng)絡(luò)中，通過前向傳播計算輸出結(jié)果，并根據(jù)損失函數(shù)計算預(yù)測結(jié)果與真實標(biāo)簽之間的誤差，通過優(yōu)化算法反向傳播誤差更新lstm網(wǎng)絡(luò)的權(quán)重和偏置參數(shù)，直到損失函數(shù)收斂。

6.根據(jù)權(quán)利要求5所述的一種基于深度學(xué)習(xí)的多模態(tài)安防設(shè)備預(yù)警方法，其特征在于，所述對預(yù)測結(jié)果輸入生成對抗網(wǎng)絡(luò)，基于生成對抗網(wǎng)絡(luò)得到判別結(jié)果，包括構(gòu)建生成器和判別器，通過生成器輸入神經(jīng)網(wǎng)絡(luò)模型輸出的預(yù)測結(jié)果，并生成相應(yīng)的樣本，通過判別器判斷輸入樣本為真實樣本的可能性，得到輸出結(jié)果。

7.根據(jù)權(quán)利要求6所述的一種基于深度學(xué)習(xí)的多模態(tài)安防設(shè)備預(yù)警方法，其特征在于，所述將判別結(jié)果上傳后生成警示指令，包括接收?生成對抗網(wǎng)絡(luò)的判別結(jié)果，生成警示指令，并進(jìn)行數(shù)據(jù)存儲和管理，其中，警示指令以聲音警報、燈光閃爍、顯示屏提示的形式輸出給工人和管理人員。

8.一種基于深度學(xué)習(xí)的多模態(tài)安防設(shè)備預(yù)警系統(tǒng)，其特征在于，包括：

9.一種計算機(jī)可讀存儲介質(zhì)，其中存儲有多條指令，其特征在于，所述指令適于由終端設(shè)備的處理器加載并執(zhí)行如權(quán)利要求1所述的方法。

10.一種終端設(shè)備，包括處理器和計算機(jī)可讀存儲介質(zhì)，處理器用于實現(xiàn)各指令；計算機(jī)可讀存儲介質(zhì)用于存儲多條指令，其特征在于，所述指令適于由處理器加載并執(zhí)行如權(quán)利要求1所述的方法。

技術(shù)總結(jié)
本發(fā)明涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，尤其是涉及一種基于深度學(xué)習(xí)的多模態(tài)安防設(shè)備預(yù)警警方法及系統(tǒng)。方法，包括獲取現(xiàn)場工作多模態(tài)數(shù)據(jù)；對獲取的現(xiàn)場工作多模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理；構(gòu)建基于長短時記憶的神經(jīng)網(wǎng)絡(luò)模型，利用基于長短時記憶的神經(jīng)網(wǎng)絡(luò)模型對預(yù)處理后的現(xiàn)場工作多模態(tài)數(shù)據(jù)進(jìn)行結(jié)果預(yù)測；對預(yù)測結(jié)果輸入生成對抗網(wǎng)絡(luò)，基于生成對抗網(wǎng)絡(luò)得到判別結(jié)果；將判別結(jié)果上傳后生成警示指令。本發(fā)明通過采集現(xiàn)場視頻，并利用圖像增強(qiáng)技術(shù)提升圖像質(zhì)量，能夠有效實時監(jiān)控現(xiàn)場施工。

技術(shù)研發(fā)人員：曹永軍,王紅蕾,許明
受保護(hù)的技術(shù)使用者：山東先行致業(yè)信息科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10