本發(fā)明涉及口岸異常檢測，尤其涉及一種基于多特征融合的口岸初步異常篩選方法、系統(tǒng)、終端及計算機(jī)可讀存儲介質(zhì)。

背景技術(shù)：

1、隨著貿(mào)易旅行全球化，人口流動進(jìn)一步加劇，各個口岸的出入境人次急劇增長，跨境傳染病防控面臨復(fù)雜嚴(yán)峻的挑戰(zhàn)，并且由于入境人群背景復(fù)雜、來源多樣，外防輸入是防控的關(guān)鍵難點(diǎn)。

2、目前，海關(guān)工作人員在管理入境人員的時候，主要是通過海關(guān)工作人員的個人經(jīng)驗(yàn)來人工判斷入境人員是否存在異常情況，并對疑似異常的入境人員進(jìn)行臨時抽檢，但是，海關(guān)每日通行的人流量非常之大，海關(guān)工作人員無法觀察到每個入境人員的情況，也就是說，人工判斷的方式不僅增加了通關(guān)時間，加劇了入境關(guān)口人流擁堵情況，同時也導(dǎo)致海關(guān)工作人員人力負(fù)擔(dān)較重，并且容易出現(xiàn)疏漏，對入境人員篩選的準(zhǔn)確度與效率不高。

3、因此，現(xiàn)有技術(shù)還有待于改進(jìn)和發(fā)展。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的主要目的在于提供一種基于多特征融合的口岸初步異常篩選方法、系統(tǒng)、終端及計算機(jī)可讀存儲介質(zhì)，旨在解決現(xiàn)有技術(shù)中通過人工判斷的方式對入境人員進(jìn)行初步異常篩選，效率低且準(zhǔn)確率差的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于多特征融合的口岸初步異常篩選方法，所述基于多特征融合的口岸初步異常篩選方法包括如下步驟：

3、獲取目標(biāo)口岸的待處理的視頻數(shù)據(jù)，對所述視頻數(shù)據(jù)進(jìn)行人臉識別處理，得到所述視頻數(shù)據(jù)中每個待篩選人員對應(yīng)的人臉視頻數(shù)據(jù)；

4、分別基于每個所述人臉視頻數(shù)據(jù)進(jìn)行特征提取操作，得到每個所述待篩選人員對應(yīng)的多模態(tài)融合特征；

5、基于所述視頻數(shù)據(jù)進(jìn)行人體姿態(tài)檢測，得到每個所述待篩選人員對應(yīng)的姿態(tài)特征；

6、根據(jù)每個所述待篩選人員對應(yīng)的多模態(tài)融合特征和姿態(tài)特征得到每個所述待篩選人員對應(yīng)的最終篩選特征，并基于每個所述最終篩選特征進(jìn)行分類操作，得到每個所述待篩選人員對應(yīng)的初步異常篩選結(jié)果。

7、可選地，所述的基于多特征融合的口岸初步異常篩選方法，其中，所述獲取目標(biāo)口岸的待處理的視頻數(shù)據(jù)，對所述視頻數(shù)據(jù)進(jìn)行人臉識別處理，得到所述視頻數(shù)據(jù)中每個待篩選人員對應(yīng)的人臉視頻數(shù)據(jù)，具體包括：

8、獲取目標(biāo)口岸的待處理的視頻數(shù)據(jù)，其中，所述視頻數(shù)據(jù)由拍攝設(shè)備實(shí)時拍攝得到；

9、將所述視頻數(shù)據(jù)輸入至預(yù)先訓(xùn)練完成的人臉檢測模型，所述人臉檢測模型對所述視頻數(shù)據(jù)進(jìn)行人臉識別處理，得到每個篩選人員對應(yīng)的人臉區(qū)域；

10、根據(jù)每個所述篩選人員的人臉區(qū)域生成每個所述篩選人員對應(yīng)的人臉視頻數(shù)據(jù)。

11、可選地，所述的基于多特征融合的口岸初步異常篩選方法，其中，所述分別基于每個所述人臉視頻數(shù)據(jù)進(jìn)行特征提取操作，得到每個所述待篩選人員對應(yīng)的多模態(tài)融合特征，具體包括：

12、分別基于每個所述人臉視頻數(shù)據(jù)進(jìn)行心率估計，得到每個所述待篩選人員的心率特征；

13、分別基于每個所述人臉視頻數(shù)據(jù)進(jìn)行疲勞檢測，得到每個所述待篩選人員的疲勞特征；

14、分別基于每個所述人臉視頻數(shù)據(jù)進(jìn)行體溫檢測，得到每個所述待篩選人員的體溫特征；

15、基于注意力機(jī)制將分別將每個所述待篩選人員的心率特征、疲勞特征和體溫特征進(jìn)行融合，得到多模態(tài)融合特征。

16、可選地，所述的基于多特征融合的口岸初步異常篩選方法，其中，所述基于注意力機(jī)制將分別將每個所述待篩選人員的心率特征、疲勞特征和體溫特征進(jìn)行融合，得到多模態(tài)融合特征，具體包括：

17、根據(jù)每個所述待篩選人員的疲勞特征和體溫特征進(jìn)行計算，得到每個所述待篩選人員對應(yīng)的心率注意力權(quán)重，并根據(jù)每個所述心率注意力權(quán)重和對應(yīng)的心率特征進(jìn)行計算，得到多個注意力心率特征；

18、根據(jù)每個所述待篩選人員的心率特征和體溫特征進(jìn)行計算，得到每個所述待篩選人員對應(yīng)的疲勞注意力權(quán)重，并根據(jù)每個所述疲勞注意力權(quán)重和對應(yīng)的疲勞特征進(jìn)行計算，得到多個注意力疲勞特征；

19、根據(jù)每個所述待篩選人員的心率特征和疲勞特征進(jìn)行計算，得到每個所述待篩選人員對應(yīng)的體溫注意力權(quán)重，并根據(jù)每個所述體溫注意力權(quán)重和對應(yīng)的體溫特征進(jìn)行計算，得到多個注意力體溫特征；

20、將每個所述待篩選人員對應(yīng)的注意力心率特征、注意力疲勞特征和注意力體溫特征進(jìn)行融合，得到每個所述待篩選人員的多模態(tài)融合特征。

21、可選地，所述的基于多特征融合的口岸初步異常篩選方法，其中，所述基于所述視頻數(shù)據(jù)進(jìn)行人體姿態(tài)檢測，得到每個所述待篩選人員對應(yīng)的姿態(tài)特征，具體包括：

22、將所述視頻數(shù)據(jù)輸入至預(yù)先訓(xùn)練完成的姿態(tài)識別網(wǎng)絡(luò)，所述姿態(tài)識別網(wǎng)絡(luò)對所述視頻數(shù)據(jù)進(jìn)行人體關(guān)鍵點(diǎn)識別，得到每個所述待篩選人員對應(yīng)的人體關(guān)鍵點(diǎn)；

23、分別基于每個所述篩選人員的人體關(guān)鍵點(diǎn)進(jìn)行姿態(tài)估計，得到每個所述篩選人員對應(yīng)的姿態(tài)特征。

24、可選地，所述的基于多特征融合的口岸初步異常篩選方法，其中，所述分別將每個所述待篩選人員對應(yīng)的多模態(tài)融合特征和姿態(tài)特征進(jìn)行融合，得到每個所述待篩選人員對應(yīng)的最終融合特征，并基于每個所述最終融合特征進(jìn)行分類操作，得到每個所述待篩選人員對應(yīng)的初步異常篩選結(jié)果，具體包括：

25、分別將每個所述待篩選人員對應(yīng)的多模態(tài)融合特征和姿態(tài)特征進(jìn)行特征融合處理，得到每個所述待篩選人員對應(yīng)的最終篩選特征；

26、基于預(yù)先訓(xùn)練完成的異常篩選網(wǎng)絡(luò)，分別根據(jù)每個所述最終篩選特征對每個所述待篩選人員進(jìn)行分類操作，得到每個待篩選人員對應(yīng)的異常概率值；

27、分別根據(jù)每個所述異常概率值生成每個所述待篩選人員對應(yīng)的初步異常篩選結(jié)果。

28、可選地，所述的基于多特征融合的口岸初步異常篩選方法，其中，所述分別根據(jù)每個所述異常概率值生成每個所述待篩選人員對應(yīng)的初步異常篩選結(jié)果，具體包括：

29、基于預(yù)設(shè)閾值分別對每個所述待篩選人員對應(yīng)的異常概率值進(jìn)行判斷；

30、若異常概率值大于所述預(yù)設(shè)閾值，則為對應(yīng)的待篩選人員生成內(nèi)容為無異常的初步異常篩選結(jié)果；

31、若異常概率值小于等于所述預(yù)設(shè)閾值，則為對應(yīng)的待篩選人員生成內(nèi)容為存在異常的初步異常篩選結(jié)果。

32、此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種基于多特征融合的口岸初步異常篩選系統(tǒng)，其中，所述基于多特征融合的口岸初步異常篩選系統(tǒng)包括：

33、人臉數(shù)據(jù)獲取模塊，用于獲取目標(biāo)口岸的待處理的視頻數(shù)據(jù)，對所述視頻數(shù)據(jù)進(jìn)行人臉識別處理，得到所述視頻數(shù)據(jù)中每個待篩選人員對應(yīng)的人臉視頻數(shù)據(jù)；

34、多模態(tài)特征獲取模塊，用于分別基于每個所述人臉視頻數(shù)據(jù)進(jìn)行特征提取操作，得到每個所述待篩選人員對應(yīng)的多模態(tài)融合特征；

35、姿態(tài)特征獲取模塊，用于基于所述視頻數(shù)據(jù)進(jìn)行人體姿態(tài)檢測，得到每個所述待篩選人員對應(yīng)的姿態(tài)特征；

36、初步異常篩選模塊，用于根據(jù)每個所述待篩選人員對應(yīng)的多模態(tài)融合特征和姿態(tài)特征得到每個所述待篩選人員對應(yīng)的最終篩選特征，并基于每個所述最終篩選特征進(jìn)行分類操作，得到每個所述待篩選人員對應(yīng)的初步異常篩選結(jié)果。

37、此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種終端，其中，所述終端包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的基于多特征融合的口岸初步異常篩選程序，所述基于多特征融合的口岸初步異常篩選程序被所述處理器執(zhí)行時實(shí)現(xiàn)如上所述的基于多特征融合的口岸初步異常篩選方法的步驟。

38、此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種計算機(jī)可讀存儲介質(zhì)，其中，所述計算機(jī)可讀存儲介質(zhì)存儲有基于多特征融合的口岸初步異常篩選程序，所述基于多特征融合的口岸初步異常篩選程序被處理器執(zhí)行時實(shí)現(xiàn)如上所述的基于多特征融合的口岸初步異常篩選方法的步驟。

39、本發(fā)明中，獲取目標(biāo)口岸的待處理的視頻數(shù)據(jù)，對所述視頻數(shù)據(jù)進(jìn)行人臉識別處理，得到所述視頻數(shù)據(jù)中每個待篩選人員對應(yīng)的人臉視頻數(shù)據(jù)；分別基于每個所述人臉視頻數(shù)據(jù)進(jìn)行特征提取操作，得到每個所述待篩選人員對應(yīng)的多模態(tài)融合特征；基于所述視頻數(shù)據(jù)進(jìn)行人體姿態(tài)檢測，得到每個所述待篩選人員對應(yīng)的姿態(tài)特征；根據(jù)每個所述待篩選人員對應(yīng)的多模態(tài)融合特征和姿態(tài)特征得到每個所述待篩選人員對應(yīng)的最終篩選特征，并基于每個所述最終篩選特征進(jìn)行分類操作，得到每個所述待篩選人員對應(yīng)的初步異常篩選結(jié)果。本發(fā)明通過多模態(tài)特征融合，實(shí)現(xiàn)了對口岸入境人員的快速異常篩選，也提高了對入境人員進(jìn)行異常篩選的準(zhǔn)確性，并且通過多模態(tài)算法，實(shí)現(xiàn)了實(shí)時的異常狀態(tài)檢測，提高了異常篩選的效率，避免入境口岸堵塞，大大加快了入境的效率。