通用物件檢測方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種通用物件檢測方法及系統(tǒng)。方法包括檢測過程，該過程為：對于輸入的待檢測圖像，根據(jù)預設窗口進行遍歷；在遍歷期間，對待檢測圖像進行提取顏色特征、梯度特征及位置尺寸特征，提取位置尺寸特征包括根據(jù)預先獲得的位置概率表確定出待檢測圖像中不同位置上出現(xiàn)目標的概率；將提取出的梯度特征輸入第一SVM進行訓練，得到第一SVM的輸出；將提取出的顏色特征、第一SVM的輸出及確定出的概率輸入到預先訓練得到的第二SVM分類器，輸出目標檢測結(jié)果。本發(fā)明結(jié)合三種特征以及級聯(lián)的SVM分類器進行物件檢測，從而可以不僅僅是關注在某一特定物件的檢測，而且能夠?qū)⒋龣z測圖像中所有可能存在有用信息的區(qū)域(即通用物件)檢測出來。
【專利說明】通用物件檢測方法及系統(tǒng)

【技術領域】
[0001]本發(fā)明涉及視頻監(jiān)控【技術領域】，具體涉及一種通用物件檢測方法與系統(tǒng)。

【背景技術】
[0002]目前視頻監(jiān)控已經(jīng)非常普遍，許多場所都安裝有攝像頭用于監(jiān)視場所周圍的狀況。作為視頻監(jiān)控的基本處理部分，物件檢測是個非常活躍的研究方向?，F(xiàn)有的物件檢測通常針對單一的特定的物件例如行人、車輛或動物等進行檢測，其涉及的物件檢測算法只能檢測一種特定的物件，例如算法只能夠檢測行人，不能將該算法用于檢測車輛，否則檢測結(jié)果通常會出錯。也就是說，現(xiàn)有的物件檢測算法不能在輸入的待檢測圖像中檢測出一般認為是有用信息的物件，即廣義的物件。廣義的物件是指具有封閉邊界的有用物件，又稱通用物件。此外，在物件檢測過程中，常常遇到動態(tài)的背景或者是由于光照導致的背景被誤認為是物件而被框選出來的情況，例如水波紋，而這些通常不是希望檢測的物件，稱之為無定型背景物件，無定型背景與通用物件的形態(tài)有很大的區(qū)別，無定型背景通常不具有封閉邊界。


【發(fā)明內(nèi)容】

[0003]本發(fā)明提供一種適用于對通用物件進行檢測的方法和系統(tǒng)。
[0004]根據(jù)本發(fā)明的第一方面，本發(fā)明提供一種通用物件的檢測方法，包括檢測過程，所述檢測過程包括:對于輸入的待檢測圖像，根據(jù)預設窗口進行遍歷；在遍歷期間，對所述待檢測圖像進行特征提取，包括提取顏色特征、提取梯度特征、以及提取位置尺寸特征，所述提取位置尺寸特征包括根據(jù)預先獲得的位置概率表確定出所述待檢測圖像中不同位置上出現(xiàn)目標的概率；將提取出的梯度特征輸入第一支持向量機進行訓練，得到與梯度特征對應的第一支持向量機的輸出；將提取出的顏色特征、所述第一支持向量機的輸出、以及所述待檢測圖像中不同位置上出現(xiàn)目標的概率輸入到預先訓練得到的第二支持向量機分類器，輸出目標檢測結(jié)果。
[0005]根據(jù)本發(fā)明的第二方面，本發(fā)明提供一種通用物件的檢測系統(tǒng)，包括檢測裝置，所述檢測裝置包括:特征提取模塊，用于對輸入的待檢測圖像，根據(jù)預設窗口進行遍歷，在遍歷期間，對所述待檢測圖像進行特征提取，包括提取顏色特征、提取梯度特征、以及提取位置尺寸特征，所述提取位置尺寸特征包括根據(jù)預先獲得的位置概率表確定出所述待檢測圖像中不同位置上出現(xiàn)目標的概率，還用于將提取出的梯度特征第一支持向量機進行訓練，得到與梯度特征對應的第一支持向量機的輸出；目標檢測模塊，用于將提取出的顏色特征、所述第一支持向量機的輸出、以及所述待檢測圖像中不同位置上出現(xiàn)目標的概率輸入到預先訓練得到的第二支持向量機分類器，輸出目標檢測結(jié)果。
[0006]本發(fā)明的有益效果是:由于含有物件的小塊圖像與其鄰域圖像的顏色一般相差較大，本發(fā)明通過提取的顏色特征來區(qū)分待檢測圖像中是否含有物件，又考慮到梯度圖對形狀和位移的變化不敏感，所以本發(fā)明提取梯度特征并使用SVM對其梯度特征進行訓練以得到較好的梯度信息，本發(fā)明還根據(jù)含有物件的小塊圖像的高寬及其在待檢測圖像中的位置作為特征來計算待檢測圖像中與小塊圖像對應的區(qū)域含有物件的概率，結(jié)合這三種特征送入SVM分類器進行物件檢測，從而，可以不僅僅是關注在某一特定物件的檢測，而且能夠?qū)⒋龣z測圖像中所有可能存在有用信息的區(qū)域(即通用物件)檢測出來。

【專利附圖】

【附圖說明】
[0007]圖1為本發(fā)明一種實施例的通用物件檢測方法的訓練過程的流程示意圖；
[0008]圖2為本發(fā)明一種實施例的通用物件檢測方法的檢測過程的流程示意圖；。

【具體實施方式】
[0009]本發(fā)明根據(jù)通用物件如車、人、牛等都是具有完整的閉合曲線而無定型背景物件如天空、草、路等沒有完整閉合曲線的特點，使用SVM(Support Vector Machine,支持向量機)分類器組合的方式以及計算先驗概率來檢測出通用物件。
[0010]下面通過【具體實施方式】結(jié)合附圖對本發(fā)明作進一步詳細說明。
[0011][實施例1]
[0012]本實施例提供一種通用物件的檢測方法，其將輸入的待檢測圖像送入預先訓練好的SVM分類器進行檢測，由此檢測出待檢測圖像中包含的所有通用物件。該方法包括如圖1所示的訓練過程和如圖2所示的檢測過程，具體說明如下。
[0013]1.訓練過程
[0014]對于輸入的樣本圖像，檢測操作者在其上選擇的目標區(qū)域，例如操作者通過鼠標等輸入設備在樣本圖像中框選出含有物件的區(qū)域，這里將該區(qū)域稱為預設窗口或者稱為子圖，而所輸入的樣本圖像可以稱為主圖。
[0015]由于含有物件的子圖一般與它附近的區(qū)域(稱為鄰域圖)相差較大，通過二者的顏色對比度可以得到子圖與鄰域圖的區(qū)分度，據(jù)此，通過對顏色特征的提取，從而可以確定圖像上某區(qū)域是否物件。本實施例中顏色特征的提取是基于顏色直方圖的巴氏(Bhattacharyya)距離判定方法來進行的。假設Surr (w, thetaCC)為鄰域圖，即以子圖w為中心來擴大預設范圍thetaCC后的圖像且該圖像不包含子圖，顯然，Surr(w, thetaCC)=w*thetaCOthetaCC_w,采用如下公式(I)可以得到顏色特征CC。
[0016]CC (w，thetaCC) = compare (h (w), h (Surr (w, thetaCC))) (I)
[0017]其中，h(w)表示子圖的LAB直方圖(即在LAB顏色空間上的顏色直方圖)，h(Surr (w，thetaCC))表示鄰域圖的LAB直方圖，CC(w, thetaCC)為兩個直方圖即h(w)和h (Surr (w, thetaCC))的對比值，compare (h (w), h (Surr (w, thetaCC)))代表比較方式，實施例中采用的是巴氏距離作為這兩個直方圖的比較方式。
[0018]考慮到顏色特征能夠在物件顏色與背景顏色差別比較大的時候能有較好的表現(xiàn)，而當物件顏色與背景顏色非常接近時，顏色特征的效果會失效。所以本實施例還考慮了梯度特征，這是由于具有有用物件的子圖一般具有封閉的邊界，當子圖縮小時，封閉邊界的變化很少，因此將含物件的子圖縮小到一定大小的時候，其梯度絕對值有很大的相關性。梯度特征具有位置、尺度的不變性，因此，它對物件的位置、偏移都不敏感，而這對于分辨任意的是否含有物件的子圖非常有利。即使用梯度特征可以作為檢測圖像是否含有物件的依據(jù)之一。為了有效的使用這個特征，首先將這個輸入圖像放大或縮小到預設尺寸即進行歸一化處理，例如為8*8的大小，然后計算它們的梯度絕對值NG，采用如下公式⑵?(4)。
[0019]GradX (x,y) = 11 (χ-l, y)-1 (x+1, y) | *2(2)
[0020]GradY (x, y) = I (x, y-1) -1 (x, y+1) | *2(3)
[0021]NG (x, y) = max (GradX (x, y), GradY (x, y)) (4)
[0022]其中，NG(x, y)為坐標位置(x, y)處像素點的梯度值，GradX(x，y)為坐標位置(x, y)處像素點在X方向的梯度值，GradY(x，y)為坐標位置(x，y)處像素點在Y方向的梯度值，I (x-1, y)、I (χ+1, y)、I (x, y-1)和 I (x, y+1)分別表示坐標位置(χ-l, y)、(χ+l, y)、(X，y-1)和(X，y+1)處像素點的灰度值。
[0023]將提取出的梯度特征輸入SVM(為便于說明，將此SVM稱為第一級SVM)進行訓練，得到對應的權重向量V以及偏移量rho，以前述8*8為例，V的尺寸為1*64，梯度特征為64維，假設對于提取的梯度特征為f (64*1)，則第一級SVM的輸出0Ne可以采用公式(5)計算。
[0024]Ong = f*V+rho (5)
[0025]又考慮到雖然這種歸一化梯度特征對形狀的變化與位移的變化并不敏感，然而，對于例如挨在一起的多個物件，這種特征所起的作用并不大，所以本實施例還采用了與位置尺寸相關的位置尺寸特征。具體地，子圖的大小及其在主圖中的位置是不一樣的，但是一些特定大小的窗口以及特定的位置會比其它的窗口大小以及位置更加有可能含有物件，例如一個瘦長的窗口位于主圖的中央含有有用物件的可能性會比一個矩形的窗口位于同樣的位置小，根據(jù)這一特點可以評估窗口中含有物件的可能性，且這一特點并不需要考慮子圖的像素內(nèi)容，只需要考慮子圖的位置以及大小信息，而這些信息在檢測到操作者選擇子圖時就可以記錄下來，即記錄下子圖的高度、寬度以及子圖在主圖中的坐標位置，然后根據(jù)這些信息來確定圖像中含有物件的概率。
[0026]由于主圖的大小不一定，因此首先將對其大小進行歸一化，例如將其放大或縮小到預設尺寸如100*100，根據(jù)之前記錄的子圖的位置尺寸信息確定出子圖在該放大或縮小后的樣本圖像中的位置尺寸信息，這里將確定結(jié)果稱為子圖的縮放位置尺寸信息，然后對構(gòu)建的4D模型W進行核密度估計，這里4D模型W定義為子圖的中心位置(X，y)以及子圖的高度和寬度，也就是說W表示子圖的縮放位置尺寸信息。使用N個含有物件的子圖{W1，W2，...，WN}進行核密度估計。由于每一幅主圖縮放到100*100，因此W的范圍為[0，100]4。實施例中使用高斯模型來進行對子圖進行核密度估計。使用的高斯模型中的平均值為Wi，其可以通過已經(jīng)確定的[0，10]4求取平均值而得到，高斯模型的方差值為thetaLS，該值通常為預先設定的經(jīng)驗值，例如將該值設為2.15。使用下面的公式計算測試窗口 win(即子圖在樣本中遍歷時對應的圖像區(qū)域)為含有物件的窗口概率LS(ff, thetaLS)。., ?4,、 I ▽況1-l-(n^ir,f thetuLS-Hn -U1)f Λ
[_] 1 取"她⑶=廣”(6)
[0028]其中，C表示歸一化常數(shù),它保證了 Σ winewLS(win) =1。
[0029]由于LS與子圖內(nèi)容無關，因此可以將所有可能的窗口概率計算并列入概率表LS中。當輸入某個測試窗口 win時，可以尋找列表中與它最相近的已知窗口概率作為輸出。因此通過查表的方式，LS的計算效率會很高。
[0030]上述的3個特征具有各自的優(yōu)點與缺點，因此使用級聯(lián)的SVM方式(第一級為如前述的對提取梯度特征后進行的SVM計算，第二級為將所有的提取得到的最終輸出值)來進行分類和判斷子圖是否含有物件。這里對第二級SVM進行說明，將根據(jù)公式(I)計算得到的CC值作為第一輸入01，將根據(jù)公式(5)計算得到的值作為第二輸入02，將根據(jù)公式(6)計算得到的值作為第三輸入(顯然該第三輸入為得到的概率表中的所有概率)，把第一輸入01、第二輸入02和第三輸入03作為第二級SVM分類器的輸入，對該SVM進行訓練，從而可以得到訓練好的SVM分類器，該分類器用于后續(xù)的檢測過程。
[0031]2.檢測過程
[0032]該檢測過程類似前述訓練過程，只是對于輸入的圖像以及最后訓練時改為采用已經(jīng)訓練好的SVM分類器進行檢測即可。具體地，該檢測過程包括如下步驟:
[0033]步驟S1:將待檢測圖像代入到公式(I)計算CC的值，然后得到第一輸入；
[0034]步驟S2:根據(jù)公式(2)?(4)計算待檢測圖像的NG特征，以此作為輸入放入訓練好的第一級SVM分類器中，得到第二輸出02 ；
[0035]步驟S3:根據(jù)待檢測圖像在主圖中的位置以及它的大小通過查概率表LS得到第三輸出03 ；
[0036]步驟S4:將{01, 02, 03}作為已訓練好的第二級SVM的輸入，從而檢測出待檢測圖像中是否含有物件以及檢測出物件的位置。
[0037]基于上述通用物件檢測方法的實施例，本發(fā)明還提供了一種通用物件檢測系統(tǒng)的實施例，該通用物件檢測系統(tǒng)包括檢測裝置和訓練裝置。
[0038]訓練裝置包括信息獲取模塊、特征提取模塊和訓練分類模塊。信息獲取模塊用于將檢測到的操作者在輸入的樣本圖像上選擇的目標區(qū)域作為預設窗口，記錄所述預設窗口的位置尺寸信息，所述位置尺寸信息包括所述預設窗口的高度和寬度以及所述預設窗口在所述樣本圖像中的位置；特征提取模塊用于根據(jù)所述預設窗口及其預設鄰域的顏色信息提取顏色特征，還用于對所述預設窗口提取梯度特征，將提取出的梯度特征通過第一支持向量機進行訓練，得到訓練過程中與梯度特征對應的第一支持向量機的輸出，還用于根據(jù)所述預設窗口的位置尺寸信息對所述樣本進行位置概率計算以便得到位置概率表，所述位置概率表包括所述樣本圖像中不同位置及其對應的可能出現(xiàn)目標的概率；訓練分類模塊，用于將提取出的顏色特征、所述訓練過程中與梯度特征對應的第一支持向量機的輸出、以及所述位置概率表輸入第二支持向量機進行訓練，得到第二支持向量機分類器。
[0039]檢測裝置包括特征提取模塊和目標檢測模塊。特征提取模塊，用于對輸入的待檢測圖像，根據(jù)預設窗口進行遍歷，在遍歷期間，對所述待檢測圖像進行特征提取，包括提取顏色特征、提取梯度特征、以及提取位置尺寸特征，所述提取位置尺寸特征包括根據(jù)預先獲得的位置概率表確定出所述待檢測圖像中不同位置上出現(xiàn)目標的概率，還用于將提取出的梯度特征第一支持向量機進行訓練，得到與梯度特征對應的第一支持向量機的輸出；目標檢測模塊，用于將提取出的顏色特征、所述第一支持向量機的輸出、以及所述待檢測圖像中不同位置上出現(xiàn)目標的概率輸入到預先訓練得到的第二支持向量機分類器，輸出目標檢測結(jié)果。
[0040]上述涉及的裝置和模塊的具體實現(xiàn)可參看前述通用物件檢測方法中相關的步驟實現(xiàn)，在此不作重述。
[0041]綜上，本實施例公開的通用物件檢測方法或系統(tǒng)可以用于檢測出圖像中的有用物件，去除前景檢測中錯報物件。該方法或系統(tǒng)根據(jù)待檢測圖片與周圍區(qū)域的顏色直方圖的差異值作為特征之一區(qū)分待檢測圖內(nèi)是否含有物件，使用梯度絕對值圖作為另外一個特征，并使用SVM分類器對其進行訓練，同時還根據(jù)待檢驗的子圖的大小以及在原圖中的位置作為特征計算子圖含有物件的概率，最后綜合這三個特征訓練第二個SVM分類器進行訓練，由此得到后續(xù)檢測過程待用的已訓練好的SVM分類器。
[0042]本領域技術人員可以理解，上述實施方式中各種方法的全部或部分步驟可以通過程序來指令相關硬件完成，該程序可以存儲于一計算機可讀存儲介質(zhì)中，存儲介質(zhì)可以包括:只讀存儲器、隨機存儲器、磁盤或光盤等。
[0043]以上內(nèi)容是結(jié)合具體的實施方式對本發(fā)明所作的進一步詳細說明，不能認定本發(fā)明的具體實施只局限于這些說明。對于本發(fā)明所屬【技術領域】的普通技術人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡單推演或替換。
【權利要求】
1.一種通用物件的檢測方法，其特征在于包括檢測過程，所述檢測過程包括: 對于輸入的待檢測圖像，根據(jù)預設窗口進行遍歷； 在遍歷期間，對所述待檢測圖像進行特征提取，包括提取顏色特征、提取梯度特征、以及提取位置尺寸特征，所述提取位置尺寸特征包括根據(jù)預先獲得的位置概率表確定出所述待檢測圖像中不同位置上出現(xiàn)目標的概率； 將提取出的梯度特征輸入第一支持向量機進行訓練，得到與梯度特征對應的第一支持向量機的輸出；將提取出的顏色特征、所述第一支持向量機的輸出、以及所述待檢測圖像中不同位置上出現(xiàn)目標的概率輸入到預先訓練得到的第二支持向量機分類器，輸出目標檢測結(jié)果。
2.如權利要求1所述的方法，其特征在于，還包括在所述檢測過程執(zhí)行之前的訓練過程，所述訓練過程包括: 將檢測到的操作者在輸入的樣本圖像上選擇的目標區(qū)域作為預設窗口，記錄所述預設窗口的位置尺寸信息，所述位置尺寸信息包括所述預設窗口的高度和寬度以及所述預設窗口在所述樣本圖像中的位置； 根據(jù)所述預設窗口及其預設鄰域的顏色信息提取顏色特征； 對所述預設窗口提取梯度特征，將提取出的梯度特征輸入第一支持向量機進行訓練，得到訓練過程中與梯度特征對應的第一支持向量機的輸出； 根據(jù)所述預設窗口的位置尺寸信息對所述樣本進行位置概率計算以便得到位置概率表，所述位置概率表包括所述樣本圖像中不同位置及其對應的可能出現(xiàn)目標的概率； 將提取出的顏色特征、所述訓練過程中與梯度特征對應的第一支持向量機的輸出、以及所述位置概率表輸入第二支持向量機進行訓練，得到第二支持向量機分類器。
3.如權利要求1或2所述的方法，其特征在于，所述提取顏色特征包括:基于顏色直方圖的巴氏距離判定方法進行計算，計算結(jié)果作為提取出的顏色特征。
4.如權利要求1或2所述的方法，其特征在于，所述提取梯度特征包括:將預設窗口放大或縮小到預設尺寸，對放大或縮小后的預設窗口進行梯度計算，計算公式為:NG(x，y)=max (GradX (X，y)，GradY (X，y)),其中NG (X，y)為坐標位置(x, y)處像素點的梯度值，GradX (x，y)為坐標位置(x, y)處像素點在X方向的梯度值，GradY (x, y)為坐標位置(x, y)處像素點在Y方向的梯度值。
5.如權利要求2所述的方法，其特征在于，所述位置概率計算包括: 將所述樣本圖像放大或縮小到預設尺寸，根據(jù)所述預設窗口的位置尺寸信息，確定出所述預設窗口在放大或縮小后的樣本圖像中的位置尺寸信息； 根據(jù)確定出的位置尺寸信息，按所述預設窗口在所述放大或縮小后的樣本圖像中進行遍歷，并利用高斯模型進行核密度估計，以便得到遍歷過程中與所述預設窗口對應的區(qū)域含有物件的概率。
6.如權利要求2所述的方法，其特征在于，所述核密度估計的計算公式為 rI1-U\r-W,f IhetaLS-HW-Wl) LS (W, /he/aLS) = — > -- e 2
'C^'-'lthetaLS^y 其中，W表示所述確定出的位置尺寸信息，thetaLS表示高斯模型的方差值，Wi表示高斯模型的平均值，N表示所述預設窗口的個數(shù)，C表示歸一化常數(shù)。
7.一種通用物件的檢測系統(tǒng)，其特征在于包括檢測裝置，所述檢測裝置包括: 特征提取模塊，用于對輸入的待檢測圖像，根據(jù)預設窗口進行遍歷，在遍歷期間，對所述待檢測圖像進行特征提取，包括提取顏色特征、提取梯度特征、以及提取位置尺寸特征，所述提取位置尺寸特征包括根據(jù)預先獲得的位置概率表確定出所述待檢測圖像中不同位置上出現(xiàn)目標的概率，還用于將提取出的梯度特征輸入第一支持向量機進行訓練，得到與梯度特征對應的第一支持向量機的輸出； 目標檢測模塊，用于將提取出的顏色特征、所述第一支持向量機的輸出、以及所述待檢測圖像中不同位置上出現(xiàn)目標的概率輸入到預先訓練得到的第二支持向量機分類器，輸出目標檢測結(jié)果。
8.如權利要求7所述的系統(tǒng)，其特征在于，還包括訓練裝置，所述訓練裝置包括: 信息獲取模塊，用于將檢測到的操作者在輸入的樣本圖像上選擇的目標區(qū)域作為預設窗口，記錄所述預設窗口的位置尺寸信息，所述位置尺寸信息包括所述預設窗口的高度和寬度以及所述預設窗口在所述樣本圖像中的位置； 特征提取模塊，用于根據(jù)所述預設窗口及其預設鄰域的顏色信息提取顏色特征，還用于對所述預設窗口提取梯度特征，將提取出的梯度特征輸入第一支持向量機進行訓練，得到訓練過程中與梯度特征對應的第一支持向量機的輸出，還用于根據(jù)所述預設窗口的位置尺寸信息對所述樣本進行位置概率計算以便得到位置概率表，所述位置概率表包括所述樣本圖像中不同位置及其對應的可能出現(xiàn)目標的概率； 訓練分類模塊，用于將提取出的顏色特征、所述訓練過程中與梯度特征對應的第一支持向量機的輸出、以及所述位置概率表輸入第二支持向量機進行訓練，得到第二支持向量機分類器。
9.如權利要求7或8所述的系統(tǒng)，其特征在于， 所述提取顏色特征包括:基于顏色直方圖的巴氏距離判定方法進行計算，計算結(jié)果作為提取出的顏色特征； 所述提取梯度特征包括:將預設窗口放大或縮小到預設尺寸，對放大或縮小后的預設窗口進行梯度計算，計算公式為:NG(x，y) = max (GradX (x，y), GradY (x，y)),其中 NG (x, y)為坐標位置(x，y)處像素點的梯度值，GradX(x, y)為坐標位置(x, y)處像素點在X方向的梯度值，GradY (x, y)為坐標位置(x, y)處像素點在Y方向的梯度值。
10.如權利要求7或8所述的系統(tǒng)，其特征在于，所述位置概率計算包括: 將所述樣本圖像放大或縮小到預設尺寸，根據(jù)所述預設窗口的位置尺寸信息，確定出所述預設窗口在放大或縮小后的樣本圖像中的位置尺寸信息； 根據(jù)確定出的位置尺寸信息，按所述預設窗口在所述放大或縮小后的樣本圖像中進行遍歷，并利用高斯模型進行核密度估計，以便得到遍歷過程中與所述預設窗口對應的區(qū)域含有物件的概率。
【文檔編號】G06K9/46GK104268595SQ201410495298
【公開日】2015年1月7日 申請日期:2014年9月24日 優(yōu)先權日:2014年9月24日
【發(fā)明者】龔敏, 馮廣思, 劉凱 申請人:深圳市華尊科技有限公司