基于深度卷積網(wǎng)絡的行人檢測方法及裝置制造方法
【專利摘要】本發(fā)明公開了一種基于深度卷積網(wǎng)絡的行人檢測方法及裝置，其中，該方法包括卷積神經(jīng)網(wǎng)絡訓練步驟和行人檢測步驟；所述卷積神經(jīng)網(wǎng)絡訓練包括如下步驟：S10.從圖像庫中選取多組樣本圖像數(shù)據(jù)；S11.將一組樣本圖像數(shù)據(jù)送入多層神經(jīng)卷積網(wǎng)絡的輸入層；S12.計算神經(jīng)卷積網(wǎng)絡的中間層的輸出矢量以及輸出層的實際輸出矢量得出中間層誤差以及輸出層誤差；S13.調(diào)整輸出層矢量元素到中間層輸出矢量元素的權值以及中間層輸出矢量元素到輸出層矢量元素的權值；S14.判斷總誤差函數(shù)值，并利用訓練后的網(wǎng)絡檢測行人。本發(fā)明具有魯棒性較佳、檢測準確率高的優(yōu)點。
【專利說明】基于深度卷積網(wǎng)絡的行人檢測方法及裝置

【技術領域】
[0001] 本發(fā)明涉及圖像處理【技術領域】，尤其涉及一種基于深度卷積網(wǎng)絡的行人檢測方法 及裝置。

【背景技術】
[0002] 隨著科技的發(fā)展，智能視頻監(jiān)控技術漸漸成為視頻監(jiān)控技術的研究熱點之一。所 謂"智能化"，就是要充分挖掘抽取視頻資源中的關鍵信息，并利用這種信息為用戶提供有 價值的服務。比如，當監(jiān)控系統(tǒng)發(fā)現(xiàn)一個來歷不明的物品較長時間地出現(xiàn)在安全區(qū)域，或者 發(fā)現(xiàn)可疑人物游蕩在安全管理的區(qū)域以及其他的異常行為時，系統(tǒng)能對這樣一些具有潛在 威脅的事件及時捕獲，并對是否介入事件做出智能的判斷，從而有效抑制人作為行為主體 所引致的系列問題，實現(xiàn)真正意義上的全天候的監(jiān)控。
[0003] 智能化監(jiān)控系統(tǒng)除了可以提高報警精確度，減少漏分析或者誤分析的現(xiàn)象外，還 可以縮短響應時間，提高響應速度，形成更為有效的現(xiàn)場數(shù)據(jù)，在安全威脅發(fā)生之前就能夠 提示安全人員關注相關監(jiān)控畫面，為潛在威脅做好準備工作。于是，近年來，智能視頻監(jiān)控 系統(tǒng)也開始在一些特定的場合，如車站、銀行、商場等公共領域逐漸普及，所以安全領域成 為主要應用場所。
[0004] 實際上，目前大多數(shù)監(jiān)控系統(tǒng)都還停留在普通的網(wǎng)絡視頻監(jiān)控（IP監(jiān)控、數(shù)字化 監(jiān)控）的概念上。簡單地說，"眼睛"到處都有，但是智能化的程度并不高，還處于比較初始 的階段。一些智能化監(jiān)控系統(tǒng)還只能分析一些較為簡單的異常行為，其光照環(huán)境適應性也 處在較低的水平，離用戶所期望的理想效果還差得比較遠。隨著市場上對智能視頻應用需 求的不斷提升，很多科研機構和廠商正投入大量的資金和研發(fā)力量從事監(jiān)控系統(tǒng)智能化的 研究。研發(fā)出了一批相關技術和產(chǎn)品。
[0005] 而行人作為視頻監(jiān)控的主體，又有著其特殊的研究地位。所以對行人的檢測與識 別技術的研究在智能視頻監(jiān)控中有著重要的意義。行人檢測可定義為：判斷輸入圖片（或 視頻幀）是否包含行人，如果有，給出位置信息。它是車輛輔助駕駛、智能視頻監(jiān)控和人體 行為分析等應用中的第一步，近年來也應用在航拍圖像、受害者營救等新興領域中.行人 兼具剛性和柔性物體的特性，外觀易受穿著、尺度、遮擋、姿態(tài)和視角等影響，使得行人檢測 成為智能視頻監(jiān)控的研究難點與熱點。
[0006] 目前常用的行人檢測方法主要有背景差法、幀差法、光流法，模版匹配和基于機器 學習的方法等。前四種檢測方法都是常規(guī)的基于圖像處理技術的人體檢測方法，然而這些 方法不能解決人體形狀和外貌各式各樣的難點，人體的不同運動方式的問題，受天氣以及 光照的隨機變化，行人的服飾和姿態(tài)改變影響，較大?；跈C器學習的方法從樣本集中學習 人體的不同變化，具有較好的魯棒性，而且合理的選擇訓練樣本和特征，結合結構合理的分 類算法，可以較好地克服許多不利條件，如行人多樣性、場景多樣性、光照環(huán)境多樣性等的 影響，從而有很好的推廣性和廣泛的適用范圍。由于基于機器學習的行人檢測方法的優(yōu)點， 它已經(jīng)成為目前行人檢測的一種主流的方法。
[0007] 基于機器學習的方法一般包括特征提取和訓練機器學習分類器，檢測三個部分。 用于行人檢測的特征有：Haar特征，Hog特征，Edgelet特征，F(xiàn)DF特征等。用于行人檢測的 機器學習算法有：支持向量機（SVM)、各種類型的神經(jīng)網(wǎng)絡（NN)以及其他基于統(tǒng)計的學習 分類器（如Adaboost、級聯(lián)分類器）等。行人檢測除了具有一般人體檢測具有的服飾變化、 姿態(tài)變化等難點外，由于其特定的應用領域還具有以下難點：攝像機是運動的，這樣廣泛應 用于智能監(jiān)控領域中檢測動態(tài)目標的方法便不能直接使用；行人檢測面臨的是一個開放的 環(huán)境，要考慮不同的路況、天氣和光線變化，對算法的魯棒性提出了很高的要求；實時性是 系統(tǒng)必須滿足的要求，這就要求采用的圖像處理算法不能太復雜。由于傳統(tǒng)的算法對以上 問題的適應性都不好，所以要提出一種新的方法來解決上述問題。


【發(fā)明內(nèi)容】

[0008] 本發(fā)明所要解決的技術問題是：提供一種魯棒性較佳、檢測準確率高的基于深度 卷積網(wǎng)絡的行人檢測方法及裝置。
[0009] 為了解決上述技術問題，本發(fā)明采用的技術方案為：提供一種基于深度卷積網(wǎng)絡 的行人檢測方法，包括卷積神經(jīng)網(wǎng)絡訓練步驟和行人檢測步驟；
[0010] 所述卷積神經(jīng)網(wǎng)絡訓練步驟包括如下步驟：
[0011] S10、從圖像庫中選取多組樣本圖像數(shù)據(jù)；
[0012] S11、將一組樣本圖像數(shù)據(jù)送入多層神經(jīng)卷積網(wǎng)絡的輸入層，并給定輸出層正確的 輸出結果，其中，所述多層神經(jīng)網(wǎng)絡是基于神經(jīng)元模型而構建，每個神經(jīng)元包括輸入層、中 間層及輸出層；
[0013] S12、計算卷積神經(jīng)網(wǎng)絡的中間層的輸出矢量以及輸出層的實際輸出矢量后，將中 間層的輸出矢量以及輸出層的實際輸出矢量中的兀素分別與正確輸出矢量中的兀素比較， 得出中間層誤差以及輸出層誤差；
[0014] S13、根據(jù)中間層誤差以及輸出層誤差分別調(diào)整輸出層矢量元素到中間層輸出矢 量元素的權值以及中間層輸出矢量元素到輸出層矢量元素的權值；
[0015] S14、判斷總誤差函數(shù)值是否小于或等于誤差閾值，若是，則卷積神經(jīng)網(wǎng)絡訓練完 成，并儲存輸出層矢量元素到中間層輸出矢量元素的權值以及中間層輸出矢量元素到輸出 層矢量元素的權值；若否，則返回步驟S11。
[0016] 所述行人檢測步驟包括如下步驟：
[0017] S20、采集待檢測的視頻圖像；
[0018] S21、提取多組待測目標矢量，并選擇一組待測目標矢量輸入卷積神經(jīng)網(wǎng)絡，并利 用卷積神經(jīng)網(wǎng)絡對待測目標矢量進行判斷，當待測目標矢量的總誤差函數(shù)值小于或等于誤 差閾值，則為行人圖像，否則，繼續(xù)處理下一組待測目標矢量。
[0019] 為了解決上述技術問題，本發(fā)明采用的另一技術方案為：提供一種基于深度卷積 網(wǎng)絡的行人檢測裝置，包括卷積神經(jīng)網(wǎng)絡訓練模塊和行人檢測模塊，所述卷積神經(jīng)網(wǎng)絡訓 練模塊包括依次電連接的圖像選擇模塊、圖像導入模塊、計算模塊以及判斷模塊；所述行人 檢測識別模塊包括電連接的圖像采集模塊以及圖像識別模塊；所述圖像選擇模塊，用于從 圖像庫中選取多組樣本圖像數(shù)據(jù)；所述圖像導入模塊，用于將一組樣本圖像數(shù)據(jù)送入多層 神經(jīng)卷積網(wǎng)絡的輸入層，并給定輸出層的理想輸出矢量，其中，所述多層神經(jīng)網(wǎng)絡基于神經(jīng) 元模型而構建，每層神經(jīng)元包括輸入層、中間層及輸出層；所述計算模塊，用于計算神經(jīng)卷 積網(wǎng)絡的中間層的輸出矢量以及輸出層的實際輸出矢量后，將中間層的輸出矢量以及輸出 層的實際輸出矢量中的元素分別與正確輸出矢量中的元素比較，得出中間層誤差以及輸出 層誤差；以及根據(jù)中間層誤差以及輸出層誤差分別調(diào)整輸出層矢量元素到中間層輸出矢量 元素的權值以及中間層輸出矢量元素到輸出層矢量元素的權值；所述判斷模塊，用于判斷 總誤差函數(shù)值是否小于或等于誤差閾值，若是，則卷積神經(jīng)網(wǎng)絡訓練完成，并儲存輸出層矢 量元素到中間層輸出矢量元素的權值以及中間層輸出矢量元素到輸出層矢量元素的權值； 所述圖像采集模塊，用于采集待檢測的視頻圖像；所述圖像識別模塊，用于提取多組待測目 標矢量，并選擇一組待測目標矢量輸入卷積神經(jīng)網(wǎng)絡，并利用卷積神經(jīng)網(wǎng)絡對待測目標矢 量進行判斷，當待測目標矢量的總誤差函數(shù)值小于或等于誤差閾值，則為行人圖像，否則， 繼續(xù)處理下一組待測目標矢量。
[0020] 本發(fā)明的有益效果在于：基于深度卷積網(wǎng)絡的行人檢測方法先通過構建卷積神經(jīng) 網(wǎng)絡并對神經(jīng)網(wǎng)絡進行訓練，其訓練得出輸出層矢量元素到中間層輸出矢量元素的權值以 及中間層輸出矢量元素到輸出層矢量元素的權值，并根據(jù)總誤差函數(shù)來與誤差閾值的關系 來判斷進一步調(diào)整權值得到良好的分類器，并利用該分類器對采集的視頻圖像進行分析進 而檢測出行人目標。具有計算簡單、魯棒性較佳、行人檢測準確率高的優(yōu)點。

【專利附圖】

【附圖說明】
[0021] 圖1是本發(fā)明基于深度卷積網(wǎng)絡的行人檢測方法的方法流程圖。

【具體實施方式】
[0022] 為詳細說明本發(fā)明的技術內(nèi)容、構造特征、所實現(xiàn)目的及效果，以下結合實施方式 并配合附圖詳予說明。
[0023] 本發(fā)明最關鍵的構思在于：本發(fā)明先通過構建卷積神經(jīng)網(wǎng)絡并對神經(jīng)網(wǎng)絡進行 訓練得到一個良好的分類器，然后利用該分類器對采集的視頻圖像進行分析進而檢測行人 目標，具有魯棒性較佳、檢測準確率高的優(yōu)點。
[0024] 請參閱圖1，一種基于深度卷積網(wǎng)絡的行人檢測方法，包括卷積神經(jīng)網(wǎng)絡訓練步驟 和行人檢測步驟；
[0025] 所述卷積神經(jīng)網(wǎng)絡訓練步驟包括如下步驟：
[0026] S10、從圖像庫中選取多組樣本圖像數(shù)據(jù)；
[0027] S11、將一組樣本圖像數(shù)據(jù)送入多層神經(jīng)卷積網(wǎng)絡的輸入層，并給定輸出層的理想 輸出矢量，其中，所述多層神經(jīng)網(wǎng)絡基于神經(jīng)元模型而構建，每層神經(jīng)元包括輸入層、中間 層及輸出層；
[0028] S12、計算神經(jīng)卷積網(wǎng)絡的中間層的輸出矢量以及輸出層的實際輸出矢量后，將中 間層的輸出矢量以及輸出層的實際輸出矢量中的元素分別與理想輸出矢量中的元素比較， 得出中間層誤差以及輸出層誤差；
[0029] S13、根據(jù)中間層誤差以及輸出層誤差分別調(diào)整輸出層矢量元素到中間層輸出矢 量元素的權值以及中間層輸出矢量元素到輸出層矢量元素的權值；
[0030] S14、判斷總誤差函數(shù)值是否小于或等于誤差閾值，若是，則卷積神經(jīng)網(wǎng)絡訓練完 成，并儲存輸出層矢量元素到中間層輸出矢量元素的權值以及中間層輸出矢量元素到輸出 層矢量元素的權值；若否，則返回步驟S11。
[0031] 所述行人檢測步驟包括如下步驟：
[0032] S20、采集待檢測的視頻圖像；
[0033] S21、提取多組待測目標矢量，并選擇一組待測目標矢量輸入卷積神經(jīng)網(wǎng)絡，并利 用卷積神經(jīng)網(wǎng)絡對待測目標矢量進行判斷，當待測目標矢量的總誤差函數(shù)值小于或等于誤 差閾值，則為行人圖像，否則，繼續(xù)處理下一組待測目標矢量。
[0034] 從上述描述可知，本發(fā)明的有益效果在于：基于深度卷積網(wǎng)絡的行人檢測方法先 通過構建卷積神經(jīng)網(wǎng)絡并對神經(jīng)網(wǎng)絡進行訓練，其訓練得出輸出層矢量元素到中間層輸出 矢量元素的權值以及中間層輸出矢量元素到輸出層矢量元素的權值，并根據(jù)總誤差函數(shù)來 與誤差閾值的關系來判斷進一步調(diào)整權值得到良好的分類器，并利用該分類器對采集的視 頻圖像進行分析進而識別行人圖像。具有計算簡單、魯棒性較佳、檢測準確率高的優(yōu)點。
[0035] 本方案中的輸出矢量按照常用的Bootstrap處理方法，可以從大量的圖像中收集 這些邊界樣本，同時根據(jù)卷積神經(jīng)網(wǎng)絡的特點，做出一些改進，降低隨機性，提高了效率。在 獲得圖像數(shù)據(jù)后，通過一些歸一化和預處理步驟，減小圖像噪聲的影響和消除圖像亮度及 對比度的差異，提高數(shù)據(jù)的針對性和魯棒性，得到統(tǒng)計的方法進行學習處理樣本的最基本 的特征向量。
[0036] 具體的訓練過程：
[0037] 首先假設輸入層、中間層和輸出層的單元數(shù)分別是N、L和Μ。X = (x0，xl，…，xN) 是加到網(wǎng)絡的輸入矢量，H= (h0，hl，…，hL)是中間層輸出矢量，Y= (yO，yl，?，yM)是網(wǎng) 絡的實際輸出矢量，并且用D= (dO，dl，?，dM)來表示訓練組中各模式的目標輸出矢量輸 出單元i到隱單元j的權值是Vij，而隱單元j到輸出單元k的權值是Wjk。另外用0k和 來分別表示輸出單元和隱含單元的閾值。
[0038] 于是，中間層各單元的輸出為：
[0039]

【權利要求】
1. 一種基于深度卷積網(wǎng)絡的行人檢測方法，其特征在于，包括卷積神經(jīng)網(wǎng)絡訓練步驟 和行人檢測步驟； 所述卷積神經(jīng)網(wǎng)絡訓練步驟包括如下步驟： 510、 從圖像庫中選取多組樣本圖像數(shù)據(jù)； 511、 將一組樣本圖像數(shù)據(jù)送入多層神經(jīng)卷積網(wǎng)絡的輸入層，并給定輸出層的理想輸出 矢量，其中，所述多層神經(jīng)網(wǎng)絡基于神經(jīng)元模型而構建，每層神經(jīng)卷積網(wǎng)絡包括輸入層、中 間層及輸出層； 512、 計算神經(jīng)卷積網(wǎng)絡的中間層的輸出矢量以及輸出層的實際輸出矢量后，將中間層 的輸出矢量以及輸出層的實際輸出矢量中的元素分別與理想輸出矢量中的元素比較，得出 中間層誤差以及輸出層誤差； 513、 根據(jù)中間層誤差以及輸出層誤差分別調(diào)整輸出層矢量元素到中間層輸出矢量元 素的權值以及中間層輸出矢量元素到輸出層矢量元素的權值； 514、 判斷總誤差函數(shù)值是否小于或等于誤差閾值，若是，則卷積神經(jīng)網(wǎng)絡訓練完成，并 儲存輸出層矢量元素到中間層輸出矢量元素的權值以及中間層輸出矢量元素到輸出層矢 量元素的權值；若否，則返回步驟S11。 所述行人檢測步驟包括如下步驟： 520、 采集待檢測的視頻圖像； 521、 提取多組待測目標矢量，并選擇一組待測目標矢量輸入卷積神經(jīng)網(wǎng)絡，并利用卷 積神經(jīng)網(wǎng)絡對待測目標矢量進行判斷，當待測目標矢量的總誤差函數(shù)值小于或等于誤差閾 值，則為行人圖像，否則，繼續(xù)處理下一組待測目標矢量。
2. 根據(jù)權利要求1所述的一種基于深度卷積網(wǎng)絡的行人檢測方法，其特征在于，所述 卷積神經(jīng)網(wǎng)絡的層數(shù)為三層。
3. 根據(jù)權利要求1所述的一種基于深度卷積網(wǎng)絡的行人檢測方法，其特征在于，所述 總誤差函數(shù)值為累加的中間層的輸出矢量元素與輸出層的實際輸出矢量元素的差的平方 和，記作：
其中，k表示第k-Ι個目標矢量元素，dk表示中間層的輸出矢量的第k個元素，yk表示 輸出層的實際輸出矢量的第k個元素。
4. 根據(jù)權利要求1所述的一種基于深度卷積網(wǎng)絡的行人檢測方法，其特征在于，所述 中間層包括三個級聯(lián)的卷積層、子抽樣層以及激活函數(shù)層，所述卷積層對圖像進行卷積運 算；所述子抽樣層對卷積后的圖像進行抽樣得到矢量元素；所述激活函數(shù)層對抽樣后的矢 量元素進行判斷。
5. -種基于深度卷積網(wǎng)絡的行人檢測裝置，其特征在于，包括卷積神經(jīng)網(wǎng)絡訓練模塊 和行人檢測模塊， 所述卷積神經(jīng)網(wǎng)絡訓練模塊包括依次電連接的圖像選擇模塊、圖像導入模塊、計算模 塊以及判斷模塊；所述行人檢測識別模塊包括電連接的圖像采集模塊以及目標檢測模塊； 所述圖像選擇模塊，用于從圖像庫中選取多組樣本圖像數(shù)據(jù)； 所述圖像導入模塊，用于將一組樣本圖像數(shù)據(jù)送入多層神經(jīng)卷積網(wǎng)絡的輸入層，并給 定輸出層的理想輸出矢量，其中，所述多層神經(jīng)網(wǎng)絡基于神經(jīng)元模型而構建，每層神經(jīng)卷積 網(wǎng)絡包括輸入層、中間層及輸出層； 所述計算模塊，用于計算神經(jīng)卷積網(wǎng)絡的中間層的輸出矢量以及輸出層的實際輸出矢 量后，將中間層的輸出矢量以及輸出層的實際輸出矢量中的元素分別與理想輸出矢量中的 元素比較，得出中間層誤差以及輸出層誤差；以及根據(jù)中間層誤差以及輸出層誤差分別調(diào) 整輸出層矢量元素到中間層輸出矢量元素的權值以及中間層輸出矢量元素到輸出層矢量 元素的權值； 所述判斷模塊，用于判斷總誤差函數(shù)值是否小于或等于誤差閾值，若是，則卷積神經(jīng)網(wǎng) 絡訓練完成，并儲存輸出層矢量元素到中間層輸出矢量元素的權值以及中間層輸出矢量元 素到輸出層矢量元素的權值； 所述圖像采集模塊，用于采集待檢測的視頻圖像； 所述目標檢測模塊，用于提取多組待測目標矢量，并選擇一組待測目標矢量輸入卷積 神經(jīng)網(wǎng)絡，并利用卷積神經(jīng)網(wǎng)絡對待測目標矢量進行判斷，當待測目標矢量的總誤差函數(shù) 值小于或等于誤差閾值，則為行人圖像，否則，繼續(xù)處理下一組待測目標矢量。
【文檔編號】G06K9/66GK104063719SQ201410301823
【公開日】2014年9月24日 申請日期:2014年6月27日 優(yōu)先權日:2014年6月27日
【發(fā)明者】汪永強, 童慶, 劉文昌, 莫永波, 胡祝銀 申請人:深圳市賽為智能股份有限公司