本發(fā)明涉及執(zhí)法技術(shù)領(lǐng)域，具體涉及一種智能移動執(zhí)法系統(tǒng)及方法。

背景技術(shù)：

近年來，隨著計算機網(wǎng)絡(luò)技術(shù)和人工智能技術(shù)的高速發(fā)展，利用人工智能技術(shù)來分析圖片和視頻內(nèi)容，實現(xiàn)對目標(biāo)的識別和視頻內(nèi)容的理解，在各行各業(yè)都有廣泛的應(yīng)用。隨著經(jīng)濟的飛速發(fā)展，人口流動越來越頻繁，對社會治安的管理提出了更高的要求，與警力不足的矛盾也日趨激烈，因此科技助力警力刻不容緩。

目前，傳統(tǒng)的移動執(zhí)法系統(tǒng)很大程度上還依靠人工操作，難以滿足實際需求。傳統(tǒng)的移動警務(wù)系統(tǒng)在追查嫌疑人或嫌疑車輛的過程中完全依靠民警的個人素質(zhì)，導(dǎo)致工作效率不高，查處力度不大。例如，民警在對人員進行盤查時，需首先詢問盤查人員的身份證號碼，接著將盤查人員的身份證號碼輸入到移動執(zhí)法終端進行查詢，最后再確認(rèn)查詢結(jié)果，這種傳統(tǒng)的移動執(zhí)法系統(tǒng)及方法費時費力，在實際實施時操作較繁瑣而且收效甚微，很難保證盤查的有效性。

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題在于克服現(xiàn)有的移動執(zhí)法系統(tǒng)在人員盤查過程中很大程度上依靠人工操作導(dǎo)致移動執(zhí)法費時費力、操作繁瑣、有效性低的缺陷。

本發(fā)明提供一種智能移動執(zhí)法系統(tǒng)，包括：

前端采集單元，用于采集執(zhí)法數(shù)據(jù)，所述執(zhí)法數(shù)據(jù)包括對執(zhí)法對象拍攝的視頻；

分析管理單元，用于接收并存儲所述執(zhí)法數(shù)據(jù)，根據(jù)執(zhí)法數(shù)據(jù)確定目標(biāo)信息；將所述目標(biāo)信息與數(shù)據(jù)庫預(yù)存的信息進行比對；當(dāng)所述目標(biāo)信息與數(shù)據(jù)庫預(yù)存的信息相匹配時，根據(jù)匹配的預(yù)存信息確定告警信息，并將所述匹配的預(yù)存信息和所述告警信息確定為推送信息，并向所述前端采集單元推送所述推送信息。

優(yōu)選地，所述前端采集單元包括執(zhí)法記錄儀、移動警務(wù)終端和車載攝像機中的至少一種。

優(yōu)選地，所述分析管理單元包括：

設(shè)備管理單元，用于選擇接入所述前端采集單元；

數(shù)據(jù)分析單元，用于根據(jù)所述執(zhí)法數(shù)據(jù)確定人員的圖像信息和屬性信息，并根據(jù)所述人員的圖像信息和屬性信息確定推送信息；

數(shù)據(jù)存儲單元，用于存儲人員的圖像信息和屬性信息。

優(yōu)選地，所述數(shù)據(jù)存儲單元包括云存儲系統(tǒng)和數(shù)據(jù)庫設(shè)備。

本發(fā)明還提供一種智能移動執(zhí)法方法，包括：

根據(jù)執(zhí)法數(shù)據(jù)確定目標(biāo)信息，所述執(zhí)法數(shù)據(jù)包括對執(zhí)法對象拍攝的視頻；

將所述目標(biāo)信息與數(shù)據(jù)庫預(yù)存的信息進行比對；

當(dāng)所述目標(biāo)信息與數(shù)據(jù)庫預(yù)存的信息相匹配時，根據(jù)匹配的預(yù)存信息確定告警信息，并將所述匹配的預(yù)存信息和所述告警信息確定為推送信息。

優(yōu)選地，所述目標(biāo)信息包括人臉圖像和人臉屬性信息。

優(yōu)選地，所述人臉屬性信息包括置信度、位置、姿態(tài)、特征點、特征點可見度和人臉清晰度。

優(yōu)選地，所述根據(jù)執(zhí)法數(shù)據(jù)確定目標(biāo)信息，包括：

對所述包括人員的視頻進行解碼得到多幀圖像；

從所述多幀圖像中篩選出帶有人臉的圖像；

從所述帶有人臉的圖像中選擇一個具有最優(yōu)視覺效果的圖像；

獲取所述具有最優(yōu)視覺效果的圖像中的人臉屬性信息；

其中，具有最優(yōu)視覺效果的圖像滿足的條件如式(1)所示：

式(1)中，w和h分別為檢測到的人臉寬度和人臉高度；yaw、pitch和roll分別為人臉姿態(tài)中的偏航角、俯仰角和旋轉(zhuǎn)角，abs(*)為求絕對值函數(shù)；li(x,y)為人臉的特征點，分別為左眼、右眼、鼻子、左嘴角和右嘴角處5個特征點，x和y表示特征點的位置，visibility(*)為特征點的可見度；sharpness為人臉清晰度指標(biāo)，blur表示清晰度為模糊。

優(yōu)選地，所述從所述帶有人臉的圖像中選擇一個具有最優(yōu)視覺效果的圖像，包括：

分別確定所述帶有人臉的圖像中的人臉姿態(tài)信息；

根據(jù)所述人臉姿態(tài)信息確定具有最優(yōu)視覺效果的圖像。

優(yōu)選地，所述將所述目標(biāo)信息與數(shù)據(jù)庫預(yù)存的信息進行比對，包括：

將所述人臉圖像中的人臉與預(yù)存的信息中的人臉對齊；

提取所述人臉圖像中的人臉特征；

將所述人臉圖像中的人臉特征和所述預(yù)存的信息中的人臉特征進行比對。

本發(fā)明技術(shù)方案，具有如下優(yōu)點：

本發(fā)明提供一種智能移動執(zhí)法系統(tǒng)及方法，所述智能移動執(zhí)法系統(tǒng)包括前端采集單元，用于采集執(zhí)法數(shù)據(jù)，所述執(zhí)法數(shù)據(jù)包括對執(zhí)法對象拍攝的視頻；分析管理單元，用于接收并存儲所述執(zhí)法數(shù)據(jù)，根據(jù)執(zhí)法數(shù)據(jù)確定目標(biāo)信息；將所述目標(biāo)信息與數(shù)據(jù)庫預(yù)存的信息進行比對；當(dāng)所述目標(biāo)信息與數(shù)據(jù)庫預(yù)存的信息相匹配時，根據(jù)匹配的預(yù)存信息確定告警信息，并將所述匹配的預(yù)存信息和所述告警信息確定為推送信息，并向所述前端采集單元推送所述推送信息。所述方法包括：根據(jù)執(zhí)法數(shù)據(jù)確定目標(biāo)信息；將所述目標(biāo)信息與數(shù)據(jù)庫預(yù)存的信息進行比對；當(dāng)所述目標(biāo)信息與數(shù)據(jù)庫預(yù)存的信息相匹配時，根據(jù)匹配的預(yù)存信息確定告警信息，并將所述匹配的預(yù)存信息和所述告警信息確定為推送信息。該智能移動執(zhí)法系統(tǒng)及方法，有效提升了民警執(zhí)法的便攜性和智能化，通過視頻全程記錄執(zhí)法過程，分析并識別視頻中的人員信息，實現(xiàn)目標(biāo)信息的自動化查詢，從而對執(zhí)法過程中的嫌疑人員進行布控和實時告警，實現(xiàn)科技助力警力，縮短了民警執(zhí)法盤查的時間，確保了移動執(zhí)法的公正性和高效性。

附圖說明

為了更清楚地說明本發(fā)明具體實施方式或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對具體實施方式或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施方式，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為一種智能移動執(zhí)法系統(tǒng)的結(jié)構(gòu)示意圖；

圖2為一種智能移動執(zhí)法方法的流程圖；

圖3為圖1所示的智能移動執(zhí)法系統(tǒng)中數(shù)據(jù)分析單元的示意圖；

圖4為圖2所示的智能移動執(zhí)法方法中cnn級聯(lián)網(wǎng)絡(luò)檢測算法的示意圖。

附圖標(biāo)記：

10-前端采集單元；20-分析管理單元；30-數(shù)據(jù)通信單元；

201-監(jiān)控平臺；202-人員分析模塊；203-視訊通服務(wù)器；

2021-設(shè)備管理單元；2022-消息隊列單元；2023-數(shù)據(jù)分析單元；2024-數(shù)據(jù)存儲單元。

具體實施方式

下面將結(jié)合附圖對本發(fā)明的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

在本發(fā)明的描述中，需要說明的是，術(shù)語“中心”、“上”、“下”、“左”、“右”、“豎直”、“水平”、“內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對本發(fā)明的限制。此外，術(shù)語“第一”、“第二”、“第三”僅用于描述目的，而不能理解為指示或暗示相對重要性。

在本發(fā)明的描述中，需要說明的是，除非另有明確的規(guī)定和限定，術(shù)語“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，還可以是兩個元件內(nèi)部的連通，可以是無線連接，也可以是有線連接。對于本領(lǐng)域的普通技術(shù)人員而言，可以具體情況理解上述術(shù)語在本發(fā)明中的具體含義。

此外，下面所描述的本發(fā)明不同實施方式中所涉及的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互結(jié)合。

實施例1

本實施例提供一種智能移動執(zhí)法系統(tǒng)，該系統(tǒng)的結(jié)構(gòu)示意圖如圖1所示。該系統(tǒng)主要包括前端采集單元10和分析管理單元20。

前端采集單元10主要指負責(zé)視頻等數(shù)據(jù)采集的設(shè)備，用于采集執(zhí)法數(shù)據(jù)，所述執(zhí)法數(shù)據(jù)包括對執(zhí)法對象拍攝的視頻。例如，帶有攝像和通信功能的執(zhí)法記錄儀、移動警務(wù)終端和車載攝像機中的至少一種。其中，移動警務(wù)終端可以包括警務(wù)通、單兵取證終端等。執(zhí)法對象可以是車輛，也可以是人員。

在民警移動執(zhí)法過程中，公安系統(tǒng)為了確保執(zhí)法數(shù)據(jù)安全，一般將分析管理單元20部署到公安系統(tǒng)內(nèi)部專網(wǎng)中。前端采集單元10可以將執(zhí)法數(shù)據(jù)通過4g網(wǎng)絡(luò)跟基站進行通信，然后再將實時的執(zhí)法數(shù)據(jù)通過公安專網(wǎng)傳輸?shù)胶蠖说姆治龉芾韱卧?0。

分析管理單元20，用于接收并存儲所述執(zhí)法數(shù)據(jù)，根據(jù)執(zhí)法數(shù)據(jù)確定目標(biāo)信息；將所述目標(biāo)信息與數(shù)據(jù)庫預(yù)存的信息進行比對；當(dāng)所述目標(biāo)信息與數(shù)據(jù)庫預(yù)存的信息相匹配時，根據(jù)匹配的預(yù)存信息確定告警信息，并將所述匹配的預(yù)存信息和所述告警信息確定為推送信息，并向前端采集單元10推送所述推送信息。分析管理單元20主要包括監(jiān)控平臺201、人員分析模塊202和視訊通服務(wù)器203。其中，監(jiān)控平臺201主要用于對所述執(zhí)法數(shù)據(jù)，即前端采集單元10采集的視頻，進行接收、存儲和管理。人員分析模塊202，用于通過公安專網(wǎng)接收所述執(zhí)法數(shù)據(jù)，并根據(jù)所述執(zhí)法數(shù)據(jù)確定目標(biāo)信息；將所述目標(biāo)信息與數(shù)據(jù)庫預(yù)存的信息進行比對；當(dāng)所述目標(biāo)信息與數(shù)據(jù)庫預(yù)存的信息相匹配時，根據(jù)匹配的預(yù)存信息確定告警信息，并將所述匹配的預(yù)存信息和所述告警信息確定為推送信息。具體地，人員分析模塊202向監(jiān)控平臺201請求執(zhí)法視頻時，監(jiān)控平臺201將指定的前端采集單元10所采集的實時執(zhí)法視頻通過公安專網(wǎng)傳輸給人員分析模塊202進行分析。視訊通服務(wù)器203，用于將所述推送信息推送至前端采集單元10。視訊通服務(wù)器203主要用于將人員分析模塊202給出的分析結(jié)果推送到前端采集單元10。具體地，人員分析模塊202根據(jù)執(zhí)法視頻分析得到的人員的信息在數(shù)據(jù)庫進行查詢，根據(jù)查詢結(jié)果，輸出不同等級的告警信息，若發(fā)現(xiàn)與嫌疑人員對比成功，人員分析模塊202會請求視訊通服務(wù)器203將嫌疑人員身份信息以及告警信息一并推送給執(zhí)法民警隨身攜帶的前端采集單元10上，有助于民警及時采取措施。

前端采集單元10除執(zhí)法數(shù)據(jù)采集功能外，還用于接收分析管理單元20的推送信息，并在前端采集單元10對推送信息進行顯示或告警。例如，在移動警用設(shè)備的顯示屏上查看分析管理單元20推送的被盤查人員的身份信息，對嫌疑人員進行實時告警。具體地，民警可以同時使用多個前端采集單元，一個用于采集執(zhí)法數(shù)據(jù)，另一個用于接收推送信息。例如，民警在執(zhí)法時，使用自己的警號登陸設(shè)備管理軟件，然后將攜帶的移動警用設(shè)備在監(jiān)控平臺上注冊為不同類型和功能的設(shè)備，如執(zhí)法記錄儀將采集的執(zhí)法視頻發(fā)送給分析管理單元，民警可以在警務(wù)通上實時查看視頻分析結(jié)果，也即是，將執(zhí)法記錄儀用于采集執(zhí)法數(shù)據(jù)，警務(wù)通用于接收推送信息，實現(xiàn)執(zhí)法的便捷性和安全性。

本發(fā)明提供的智能移動執(zhí)法系統(tǒng)，包括：前端采集單元，用于采集執(zhí)法數(shù)據(jù)，所述執(zhí)法數(shù)據(jù)包括對執(zhí)法對象拍攝的視頻；分析管理單元，用于接收并存儲所述執(zhí)法數(shù)據(jù)，根據(jù)執(zhí)法數(shù)據(jù)確定目標(biāo)信息；將所述目標(biāo)信息與數(shù)據(jù)庫預(yù)存的信息進行比對；當(dāng)所述目標(biāo)信息與數(shù)據(jù)庫預(yù)存的信息相匹配時，根據(jù)匹配的預(yù)存信息確定告警信息，并將所述匹配的預(yù)存信息和所述告警信息確定為推送信息，并向所述前端采集單元推送所述推送信息。該智能移動執(zhí)法系統(tǒng)，有效提升了民警執(zhí)法的便攜性和智能化，通過視頻全程記錄執(zhí)法過程，分析并識別視頻中的人員信息，實現(xiàn)目標(biāo)信息的自動化查詢，從而對執(zhí)法過程中的嫌疑人員進行布控和實時告警，實現(xiàn)科技助力警力，縮短了民警執(zhí)法盤查的時間，確保了移動執(zhí)法的公正性和高效性。

作為一個具體的實施方式，該智能移動執(zhí)法系統(tǒng)還包括數(shù)據(jù)通信單元30。數(shù)據(jù)通信單元30分別與前端采集單元10和分析管理單元20連接，用于在前端采集單元10和分析管理單元20之間進行數(shù)據(jù)傳輸。

人員分析模塊202包括設(shè)備管理單元2021、消息隊列單元2022、數(shù)據(jù)分析單元2023和數(shù)據(jù)存儲單元2024。具體地，設(shè)備管理單元2021，用于對監(jiān)控平臺201接入的前端采集單元10的移動警用設(shè)備進行選擇，即用于選擇接入所述前端采集單元，以防止未經(jīng)過登陸或注冊的移動終端訪問系統(tǒng)，保證執(zhí)法數(shù)據(jù)的安全。消息隊列單元2022的作用是設(shè)備管理單元2021和數(shù)據(jù)分析單元2023之間的交互接口，用于傳輸指令。例如，設(shè)備管理單元2021通過向數(shù)據(jù)分析單元2023發(fā)送消息指令，數(shù)據(jù)分析單元2023根據(jù)所述消息指令對前端采集單元10的某一移動警用設(shè)備的視頻圖像進行分析。數(shù)據(jù)分析單元2023，用于對執(zhí)法視頻進行分析以獲取人員的圖像信息，并將其與數(shù)據(jù)庫預(yù)存的信息進行比對，所述數(shù)據(jù)庫預(yù)存的信息包括人員的圖像信息和人員屬性信息。當(dāng)獲得相匹配的人員圖像時，即可獲得該匹配的人員圖像對應(yīng)的人員屬性信息。即根據(jù)所述執(zhí)法數(shù)據(jù)確定人員的圖像信息和屬性信息，并根據(jù)所述人員的圖像信息和屬性信息確定推送信息。數(shù)據(jù)存儲單元2024，用于存儲人員的圖像信息和屬性信息。數(shù)據(jù)存儲單元2024可以包括云存儲系統(tǒng)和數(shù)據(jù)庫設(shè)備，用于存儲人員的圖像信息和屬性信息，可以將人員的圖像信息存儲至云存儲系統(tǒng)，將人員的屬性信息例如身份證等信息存儲至數(shù)據(jù)庫設(shè)備。

本實施例中，分析管理單元還可以包括客戶端，民警可以在后臺通過一張人臉照片利用客戶端進行人員入庫和布控，也可事先將全國或常駐人員人口庫、嫌疑人員人口庫導(dǎo)入到數(shù)據(jù)存儲單元中。數(shù)據(jù)分析單元2023將檢測到的人臉與數(shù)據(jù)存儲單元中的人臉進行比對，并輸出查詢結(jié)果。

具體地，數(shù)據(jù)分析單元2023將人員的圖像信息，即通過計算獲得的執(zhí)法視頻中的最佳快照，即具有最優(yōu)視覺效果的目標(biāo)圖像，存儲在云存儲系統(tǒng)上，將人員的屬性信息存儲到數(shù)據(jù)庫設(shè)備中，供客戶端進行查看和布控，同時也會與數(shù)據(jù)存儲單元中存儲的人臉進行比對，并將查詢到的人員信息推送到客戶端和前端采集單元。

數(shù)據(jù)分析單元2023可以包括人臉檢測模塊和人臉識別模塊，如圖3所示。數(shù)據(jù)分析單元接收到監(jiān)控平臺轉(zhuǎn)發(fā)的視頻碼流，經(jīng)過視頻解碼，解碼一幀圖像，人臉檢測模塊檢測每幀圖像中出現(xiàn)的人臉區(qū)域，并對人臉區(qū)域進行跟蹤，選擇同一個人員所有軌跡中角度和清晰度最好的人臉快照作為最佳快照，即具有最優(yōu)視覺效果的圖像，將最佳快照上報給人臉識別模塊進行比對。在執(zhí)法過程中，前端采集設(shè)備使用的場景具有多樣性，采集的視頻也不同于普通監(jiān)控場景的視頻，例如，攝影頭和背景均是運動的，導(dǎo)致視頻嚴(yán)重的運動模糊、曝光不足等。由于該系統(tǒng)的目的是抓取嫌疑人員或被盤查人員的人臉正面照，以此來準(zhǔn)確查詢?nèi)藛T信息，因此，需要排除掉部分側(cè)臉和模糊的人臉，且不能引起過多的重報。通過人臉檢測算法獲得視頻中的最佳人臉快照提高了該系統(tǒng)的實時性和準(zhǔn)確性。人臉識別模塊將最佳人臉快照圖像中的人臉與預(yù)存的信息中的人臉對齊；提取最佳人臉快照中的人臉特征；將最佳人臉快照中的人臉特征和所述預(yù)存的信息中的人臉特征進行比對，最后輸出分析結(jié)果即推送信息。

作為一個優(yōu)選的實施方式，為了保證整個智能移動執(zhí)法系統(tǒng)的實時性和準(zhǔn)確性，人員分析模塊配置了兩塊高性能的gpu(graphicsprecessingunit，圖形處理器)顯卡型號為gtx1080作為主要運算單元。為了保證解碼的高效性，本實施例使用intel核芯顯卡進行硬解碼，人員分析模塊使用基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)算法，并利用gpu進行加速運算。具體地，該系統(tǒng)支持在1080p(一種視頻顯示格式)圖像上所能檢測的最小人臉大小為40個像素，最多支持實時處理30路以上，即同時處理30個前端采集單元發(fā)送的數(shù)據(jù)。盡管gpu的配置會增加整個系統(tǒng)的成本，但是從系統(tǒng)的實用性角度考慮，配置gpu主要有兩個方面原因：1)人臉檢測和識別算法的準(zhǔn)確性，傳統(tǒng)方法的人臉檢測和識別算法的準(zhǔn)確性和場景適應(yīng)性均不及深度學(xué)習(xí)方法，也有利于算法在gpu上進一步深度優(yōu)化；2)人臉檢測的多路實時性，傳統(tǒng)人臉檢測算法檢測1080p圖像上的40個像素以上的人臉很難達到實時，對于多路視頻同時進行實時處理更是難以實現(xiàn)，在實際使用中，有很多警務(wù)人員在外執(zhí)法并配備前端采集單元，整個系統(tǒng)需要同時處理多路即多個前端采集單元的實時視頻。

該智能移動執(zhí)法系統(tǒng)靈活性高、實用性好，整個系統(tǒng)支持多種入庫和布控方式，采用最先進的人工智能技術(shù)，準(zhǔn)確率高。

實施例2

本實施例提供一種智能移動執(zhí)法方法，該方法的流程圖如圖2所示。包括如下步驟：

s1：根據(jù)執(zhí)法數(shù)據(jù)確定目標(biāo)信息，所述執(zhí)法數(shù)據(jù)包括對執(zhí)法對象拍攝的視頻。由于執(zhí)法數(shù)據(jù)的獲取場景具有多樣性，采集的視頻也不同于普通監(jiān)控場景的視頻，如：攝影頭和背景均是運動的，嚴(yán)重的運動模糊，曝光不足等。另外，該方法的目的是抓取嫌疑人員和被盤查人員的人臉正面照，用來準(zhǔn)確查詢?nèi)藛T信息，因此，需要排除掉部分側(cè)臉和模糊的人臉，且不能引起過多的重報。所述目標(biāo)信息可以包括人臉圖像和人臉屬性信息等，所述人臉屬性信息可以包括置信度、位置、姿態(tài)、特征點、特征點可見度和人臉清晰度，人臉屬性信息等。具體地，可以根據(jù)執(zhí)法數(shù)據(jù)確定目標(biāo)的圖像信息。在數(shù)據(jù)庫設(shè)備中預(yù)存人臉圖像和與人臉圖像相應(yīng)的人員屬性信息例如身份證號碼、姓名、家庭住址等信息。進一步地，人臉圖像的人臉特征信息也可以預(yù)存在數(shù)據(jù)庫設(shè)備中。再根據(jù)目標(biāo)的圖像信息在數(shù)據(jù)庫設(shè)備中進行查詢，匹配出人臉圖像，從而確定目標(biāo)的人員屬性信息。

s2：將所述目標(biāo)信息與數(shù)據(jù)庫預(yù)存的信息進行比對。具體地，先將所述人臉圖像中的人臉與預(yù)存的信息中的人臉對齊，所述人臉對齊即根據(jù)人臉圖像中提取的特征點，例如左眼、右眼、鼻子、左嘴角和右嘴角處這5個特征點，對人臉進行旋轉(zhuǎn)、縮放等變換從而實現(xiàn)與預(yù)存的信息中的人臉對齊。再提取所述人臉圖像中的人臉特征。將所述人臉圖像中的人臉特征和所述預(yù)存的信息中的人臉特征進行比對。

s3：當(dāng)所述目標(biāo)信息與數(shù)據(jù)庫預(yù)存的信息相匹配時，根據(jù)匹配的預(yù)存信息確定告警信息，并將所述匹配的預(yù)存信息和所述告警信息確定為推送信息。具體地，當(dāng)通過比對匹配出的預(yù)存信息為某嫌疑人員的信息時，可以根據(jù)嫌疑人員的信息確定告警信息。

本發(fā)明提供的智能移動執(zhí)法方法，包括：根據(jù)執(zhí)法數(shù)據(jù)確定目標(biāo)信息；將所述目標(biāo)信息與數(shù)據(jù)庫預(yù)存的信息進行比對；當(dāng)所述目標(biāo)信息與數(shù)據(jù)庫預(yù)存的信息相匹配時，根據(jù)匹配的預(yù)存信息確定告警信息，并將所述匹配的預(yù)存信息和所述告警信息確定為推送信息。該智能移動執(zhí)法方法，有效提升了民警執(zhí)法的便攜性和智能化，通過視頻全程記錄執(zhí)法過程，分析并識別視頻中的人員信息，實現(xiàn)目標(biāo)信息的自動化查詢，從而對執(zhí)法過程中的嫌疑人員進行布控和實時告警，實現(xiàn)科技助力警力，縮短了民警執(zhí)法盤查的時間，確保了移動執(zhí)法的公正性和高效性。

作為一個具體的實施方式，上述步驟s1還包括如下子步驟：

s11：對所述包括人員的視頻進行解碼得到多幀圖像。

s12：從所述多幀圖像中篩選出帶有人臉的圖像。

s13：從所述帶有人臉的圖像中選擇一個具有最優(yōu)視覺效果的圖像。所述具有最優(yōu)視覺效果的圖像即為最佳人臉快照。

s14：獲取所述具有最優(yōu)視覺效果的圖像中的人臉屬性信息；

其中，具有最優(yōu)視覺效果的圖像滿足的條件如式(1)所示：

式(1)中，w和h分別為檢測到的人臉寬度和人臉高度；yaw、pitch和roll分別為人臉姿態(tài)中的偏航角、俯仰角和旋轉(zhuǎn)角，abs(*)為求絕對值函數(shù)；li(x,y)為人臉的特征點，本實施例中總共輸出5個特征點，分別為左眼、右眼、鼻子、左嘴角和右嘴角處，x和y表示特征點的位置，visibility(*)為特征點的可見度(側(cè)臉時或遮擋時部分特征點的可見度為0)；sharpness為人臉清晰度指標(biāo)，分為清晰、一般和模糊(blur)三種，人臉最佳快照要求的圖像清晰度不能模糊。

由于人臉檢測算法的效率決定整個智能移動執(zhí)法系統(tǒng)的處理速度和后續(xù)人臉識別的準(zhǔn)確度，作為一個優(yōu)選的實施方式，本發(fā)明采用cnn級聯(lián)網(wǎng)絡(luò)(convolutionalneuralnetwork，卷積神經(jīng)網(wǎng)絡(luò))來檢測執(zhí)法視頻圖像中的人臉，cnn級聯(lián)網(wǎng)絡(luò)檢測算法如圖4所示。向cnn級聯(lián)網(wǎng)絡(luò)輸入多幀圖像數(shù)據(jù)，即s11：對所述包括人員的視頻進行解碼得到多幀圖像。通過cascadenet1(第一級聯(lián)網(wǎng)絡(luò))能排除掉大部分非人臉區(qū)域，也能大幅度提升后續(xù)處理的速度，即s12：從所述多幀圖像中篩選出帶有人臉的圖像。通過cascadenet2(第二級聯(lián)網(wǎng)絡(luò))進一步提升人臉區(qū)域的準(zhǔn)確性。通過cascadenet3(第三級聯(lián)網(wǎng)絡(luò))得到最終的人臉區(qū)域即最佳人臉快照和其他的人臉屬性信息，即s13：從所述帶有人臉的圖像中選擇一個或多個具有最優(yōu)視覺效果的圖像即最佳人臉快照，人臉屬性信息包括置信度、位置、姿態(tài)、特征點、特征點可見度和人臉清晰度，用于輔助最佳人臉快照的選擇，即確定一個或多個具有最優(yōu)視覺效果的圖像，具體地，具有最優(yōu)視覺效果的圖像滿足的條件如式(1)所示；s14：獲取所述具有最優(yōu)視覺效果的圖像中的人臉屬性信息。

本發(fā)明針對處理視頻的特點，改進了cascadenet3網(wǎng)絡(luò)，在特征層的基礎(chǔ)上，分別增加多個全連接層，用于得到更多的人臉姿態(tài)和特征點可見度等屬性信息。

具體地，整個網(wǎng)絡(luò)的訓(xùn)練可以采用聯(lián)合訓(xùn)練的方式，人臉位置、姿態(tài)、特征點、特征點可見度分別為不同的訓(xùn)練樣本，人臉置信度使用交叉熵代價函數(shù)，其余屬性均使用歐式距離作為待優(yōu)化的loss(目標(biāo)函數(shù))，每個屬性的loss權(quán)重相同。本發(fā)明中cnn級聯(lián)網(wǎng)絡(luò)輸出的人臉屬性主要用于輔助人臉最佳快照的選擇，提升后續(xù)人臉識別的準(zhǔn)確性。優(yōu)選地，所述cnn級聯(lián)網(wǎng)絡(luò)采用基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)來實現(xiàn)。

級聯(lián)網(wǎng)絡(luò)是目前基于深度學(xué)習(xí)技術(shù)的最快速人臉檢測算法，考慮到整個系統(tǒng)的實用性，本發(fā)明對級聯(lián)網(wǎng)絡(luò)和分析單元做了進一步的深度優(yōu)化。主要包含以下幾個方面：

1)圖像數(shù)據(jù)操作由gpu完成。解碼器解碼出的原始圖像數(shù)據(jù)格式一般為yuv420格式，而網(wǎng)絡(luò)輸入需要rgb格式，且分別存儲在不同的通道，另外，級聯(lián)網(wǎng)絡(luò)還需要對原始圖像進行不同尺度的縮放，cpu直接完成這些圖像運算將是非常耗時的。本發(fā)明中選擇將原始yuv420格式的數(shù)據(jù)直接拷貝到顯存中，在gpu上編寫核函數(shù)，直接完成圖像的格式轉(zhuǎn)換和圖像縮放操作，將圖像縮放后的數(shù)據(jù)直接存儲到級聯(lián)網(wǎng)絡(luò)的輸入顯存上。

2)減少顯存和內(nèi)存的數(shù)據(jù)拷貝。級聯(lián)網(wǎng)絡(luò)在處理多尺度的圖像的分析結(jié)果時，需要將每個尺度的結(jié)果取出并拷貝到內(nèi)存中，后續(xù)進行nms(非最大值抑制)處理，這種顯存和內(nèi)存的頻繁交互制約了系統(tǒng)的性能。本發(fā)明首先減少輸出結(jié)果的數(shù)據(jù)量，因為單個尺度輸出的檢測框大小相同，因此利用maxpooling算法(輸出的檢測框置信度圖像的2x2區(qū)域內(nèi)保留置信度最高的檢測框，stride為2)來替代nms算法得到最終的檢測框，從而將數(shù)據(jù)量減少到原始數(shù)據(jù)量的1/4。盡管算法原理并不完全相同，實際效果并無明顯區(qū)別，減少了實際的拷貝到內(nèi)存的數(shù)據(jù)量，也節(jié)約了計算量。將每個尺度的輸出結(jié)果依次存放到一個預(yù)設(shè)的顯存中，減少顯存和內(nèi)存的交互次數(shù)，最終只需將所有尺度的輸出結(jié)果一次性拷貝到內(nèi)存中進行后續(xù)操作。

本發(fā)明對圖像數(shù)據(jù)和級聯(lián)網(wǎng)絡(luò)進行深度優(yōu)化后，極大地提升了整個智能移動執(zhí)法系統(tǒng)的運行效率，將實時處理的視頻路數(shù)提升到30路以上。

作為一個具體的實施方式，上述步驟s13還包括如下子步驟：

s131：分別確定所述帶有人臉的圖像中的人臉姿態(tài)信息；

s132：根據(jù)所述人臉姿態(tài)信息確定具有最優(yōu)視覺效果的圖像。

由于整個智能移動執(zhí)法系統(tǒng)要求及時上報盤查人員的信息，因此設(shè)定具有最優(yōu)視覺效果的圖像即人臉最佳快照需滿足式(1)的條件。

作為一個優(yōu)選的實施方式，在上述步驟s1：根據(jù)執(zhí)法數(shù)據(jù)確定目標(biāo)信息之后，還包括：將所述目標(biāo)信息存儲至所述數(shù)據(jù)庫中，所述目標(biāo)信息包括目標(biāo)圖像和目標(biāo)屬性信息。

顯然，上述實施例僅僅是為清楚地說明所作的舉例，而并非對實施方式的限定。對于所屬領(lǐng)域的普通技術(shù)人員來說，在上述說明的基礎(chǔ)上還可以做出其它不同形式的變化或變動。這里無需也無法對所有的實施方式予以窮舉。而由此所引伸出的顯而易見的變化或變動仍處于本發(fā)明創(chuàng)造的保護范圍之中。