專(zhuān)利名稱(chēng)：一種基于高斯形狀特征的人體檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)視覺(jué)與模式識(shí)別領(lǐng)域，具體涉及一種基于高斯形 狀特征的人體檢測(cè)方法。
背景技術(shù)：
圖像識(shí)別中人體檢測(cè)問(wèn)題是對(duì)象檢測(cè)領(lǐng)域最困難的問(wèn)題之一 ，人體 檢測(cè)的關(guān)鍵是要設(shè)計(jì)合適的圖像特征來(lái)區(qū)別人體和背景，以及設(shè)計(jì)合適
的學(xué)習(xí)方法進(jìn)行分類(lèi)。目前，Haar特征在人臉檢測(cè)中得到了成功應(yīng)用， 很多研究者將它應(yīng)用到人體檢測(cè)上來(lái)，如Oren等利用重疊的Haar特征 訓(xùn)練支持向量機(jī)(Support Vector Machine, SVM)進(jìn)行人體檢測(cè)，見(jiàn)M. Oren， C. Papageorgiou, P. Sinha， E. Osuna， and T. Poggio. Pedestrian detection using wavelet templates. IEEE Conference on Computer Vision and Pattern Recognition, 1997; Viola等將Haar特征擴(kuò)展以描述連續(xù)幀的變化 信息，見(jiàn)P. Viola, M.丄Jones, and D. Snow. Detecting pedestrians using patterns of motion and appearance. International Journal of Computer Vision, 63(2):247-266， November 2007，這種方法的檢測(cè)速度為4幀每秒左右，在 攝像機(jī)靜止且光照緩慢變化的情況下比較簡(jiǎn)單和有效，但是該方法不適 合于運(yùn)動(dòng)攝像機(jī)的場(chǎng)合，由于攝像機(jī)運(yùn)動(dòng)，連續(xù)幾幀的背景發(fā)生了變化， 該方法的誤報(bào)率非常高。另外人的衣著的變化，顏色、紋理等特征都會(huì) 隨著變化，因此，人的身體輪廓形狀是檢測(cè)人體的關(guān)鍵特征。近幾年研 究者們致力于設(shè)計(jì)能夠更加有效地從圖像中提取人體輪廓形狀的特征， 并基于這些特征設(shè)計(jì)人體檢測(cè)算法，如BoWu等提出的Edgelet特征，通 過(guò)對(duì)局部的圖像底層梯度值進(jìn)行變換得到局部的輪廓特征，利用 Adaboost算法從大量的局部特征中選擇一部分最有效的特征構(gòu)成分類(lèi)器，進(jìn)行人體檢測(cè)，見(jiàn)B. Wu and R. Nevatia. Detection and tracking of multiple, partially occluded humans by Bayesian combination of edgelet based part detectors. International Journal of Computer Vision, 75(2》247-266. 2007; Ying Wu等提出了一種基于馬爾科夫隨機(jī)場(chǎng)(Random Markov Field) 的人體檢測(cè)算法，利用隨機(jī)場(chǎng)來(lái)描述人體的輪廓特征，見(jiàn)Y.Wu,T.Yu.A field model for human detection and tracking. IEEE Transaction on Pattern Analysis and Machine Intelligence, 28(5):753-765， 2006; Dalai禾口 Triggs于 2005年提出基于方向梯度直方圖(Histogram of Oriented Gradients, HOG) 特征和支持向量機(jī)的人體檢測(cè)算法具有里程碑意義，見(jiàn)N. Dalai and B. Triggs. Histograms of oriented gradients for human detection. IEEE Conference on Computer Vision and Pattern Recognition, 2006， 該方法使用 直方圖來(lái)描述局部的圖像梯度方向的分布，從而得到圖像局部的邊緣走 向，許多這樣的局部特征組合在一起就描述了人體輪廓的形狀特征。該 方法與以前的算法相比，檢測(cè)率有非常大的提高，但檢測(cè)速度較慢，不 能達(dá)到實(shí)時(shí)檢測(cè)。Cascade結(jié)構(gòu)在人臉檢測(cè)中被實(shí)驗(yàn)證明是一種能夠有效 提高檢測(cè)速度的工具。其主要原理是利用對(duì)象問(wèn)題中的不對(duì)稱(chēng)性(掃描 一張圖片可以得到10000個(gè)左右的檢測(cè)窗口，但是其中只有少量幾個(gè)窗 口是人)，通過(guò)在初期利用少量的特征將大量的檢測(cè)窗口排除，降低在檢 測(cè)時(shí)總的分類(lèi)比較次數(shù)，從而提高檢測(cè)速度。Tuzel等設(shè)計(jì)出協(xié)方差特征， 并在訓(xùn)練人體檢測(cè)器時(shí)對(duì)特征進(jìn)行映射，檢測(cè)率比Dalai和Triggs的方法 好，但速度較慢，見(jiàn)O. Tuzel， F. Porikli and P. Meer. Human detection via classification on Riemannian manifolds. IEEE Conference on Computer Vision and Pattern Recognition, 2007。

發(fā)明內(nèi)容
本發(fā)明提供一種基于高斯形狀特征的人體檢測(cè)方法，解決現(xiàn)有人體檢測(cè)方法檢測(cè)率和檢測(cè)速度遠(yuǎn)未令人滿意的問(wèn)題。
本文所述訓(xùn)練樣本集，由包括人體圖像的正樣本訓(xùn)練集和不包括人
體圖像的負(fù)樣本訓(xùn)練集兩類(lèi)組成；正、負(fù)樣本訓(xùn)練集各包括若干訓(xùn)練樣 本，每個(gè)訓(xùn)練樣本為人為規(guī)定標(biāo)準(zhǔn)尺寸的圖像。
原始圖像集由若干不含人體的圖像組成，每幅圖像尺寸大于上述訓(xùn) 練樣本的標(biāo)準(zhǔn)尺寸；從原始圖像集中抽取圖像時(shí)，每幅抽取的圖像尺寸 為與訓(xùn)練樣本相同的標(biāo)準(zhǔn)尺寸。
本發(fā)明的一種基于高斯形狀特征的人體檢測(cè)方法，包括 一、提取特征步驟，包括以下子步驟
l丄對(duì)訓(xùn)練樣本集中每個(gè)訓(xùn)練樣本I，計(jì)算每個(gè)像素點(diǎn)(x，y)的特征向 「 W
arctan
其中，x、 y為像素點(diǎn)的坐標(biāo)值，I,為對(duì)訓(xùn)練樣本I進(jìn)行[-1 0 l]濾波后像 素點(diǎn)(x,力處的值，Iy為對(duì)訓(xùn)練樣本I進(jìn)行[-1 0 l]T濾波后像素點(diǎn)(;c,力處的 值，^為對(duì)訓(xùn)練樣本I進(jìn)行[-12-l]濾波后像素點(diǎn)(x，力處的值，；為對(duì) 訓(xùn)練樣本I進(jìn)行[-1 2 -l]T濾波后像素點(diǎn)(x,力處的值；
1.2. 從第一個(gè)訓(xùn)練樣本中抽取至少50個(gè)矩形區(qū)域，它們的位置和大 小都是隨機(jī)的；隨后的訓(xùn)練樣本中抽取矩形區(qū)域的數(shù)量、位置和大小均 與第一個(gè)訓(xùn)練樣本相同；
1.3. 提取各訓(xùn)練樣本每個(gè)矩形區(qū)域的高斯形狀特征； 二、構(gòu)建級(jí)聯(lián)檢測(cè)器步驟，包括以下子步驟
2丄對(duì)當(dāng)前訓(xùn)練樣本進(jìn)行學(xué)習(xí)，得到一個(gè)節(jié)點(diǎn)分類(lèi)器；
2.2.將子步驟2.1得到的節(jié)點(diǎn)分類(lèi)器添加為當(dāng)前級(jí)聯(lián)檢測(cè)器的最后一級(jí)；
2.3. 對(duì)當(dāng)前訓(xùn)練樣本作Bootstrap處理使用當(dāng)前級(jí)聯(lián)檢測(cè)器，剔 除負(fù)樣本訓(xùn)練集中被正確分類(lèi)的樣本，再?gòu)脑紙D像集中抽取與被剔除 數(shù)量相等的、且被當(dāng)前級(jí)聯(lián)檢測(cè)器錯(cuò)誤分類(lèi)的圖片，加入當(dāng)前負(fù)樣本訓(xùn) 練集；判斷原始圖像集中圖像數(shù)量是否為0且當(dāng)前負(fù)樣本訓(xùn)練集中樣本 數(shù)量小于初始數(shù)量，是則轉(zhuǎn)步驟三；否則進(jìn)行子步驟2.4;
2.4. 提取高斯形狀特征按照步驟一，提取當(dāng)前訓(xùn)練樣本的高斯形 狀特征，然后轉(zhuǎn)子步驟2.1;
三、檢測(cè)人體步驟從待檢測(cè)圖像中掃描檢測(cè)出人體，包括以下子 步驟
3.1. 將待檢測(cè)圖像進(jìn)行多次不同比例縮放操作得到若干幅尺寸大小 不同的縮放圖像；
3.2. 對(duì)子步驟3.1所得到的每幅縮放圖像，按定步長(zhǎng)抽取與訓(xùn)練樣本 尺寸相同的圖片，使用構(gòu)建的級(jí)聯(lián)檢測(cè)器對(duì)其分類(lèi)，如果抽取的圖片被 分類(lèi)為人體圖片，則計(jì)算該人體圖片在未經(jīng)縮放的待檢測(cè)圖像中的對(duì)應(yīng) 位置和大小信息并保存，否則繼續(xù)按定步長(zhǎng)從縮放圖像中抽取圖片并分 類(lèi)，直至該幅縮放圖像被抽取完畢；
3.3. 根據(jù)子步驟3.2記錄下的每幅縮放圖像所有人體圖片在待檢測(cè) 圖像中的位置和大小信息，確定待檢測(cè)圖像中最終的人體位置以及大小。
所述的人體檢測(cè)方法，其特征在于 -所述提取特征步驟中，提取各訓(xùn)練樣本每個(gè)矩形區(qū)域的高斯形狀特 征的子步驟1.3包括如下過(guò)程
1.3.1.計(jì)算特征向量均值U:計(jì)算矩形區(qū)域的所有像素點(diǎn)的特征向
量均值u，
p';式中，N為矩形區(qū)域內(nèi)像素點(diǎn)的個(gè)數(shù)，《為矩形區(qū)域內(nèi)第i個(gè)像素點(diǎn) 的特征向量；
1.3.2.計(jì)算特征向量協(xié)方差矩陣E:計(jì)算矩形區(qū)域的所有像素點(diǎn)的 特征向量協(xié)方差矩陣E，
1.3.3.構(gòu)建高斯形狀特征S:組合該矩形區(qū)域的特征向量協(xié)方差矩陣 S和特征向量均值U，得到該矩形區(qū)域的高斯形狀特征S:
5* =
0 1
其中，R滿足關(guān)系式2^i ^，并且R為下三角矩陣,
所述的人體檢測(cè)方法，其特征在于
所述構(gòu)建級(jí)聯(lián)檢測(cè)器步驟中，對(duì)當(dāng)前訓(xùn)練樣本進(jìn)行學(xué)習(xí)，得到一個(gè) 節(jié)點(diǎn)分類(lèi)器的子步驟2.1包括如下過(guò)程
2.1.1.對(duì)于所有訓(xùn)練樣本每一個(gè)矩形區(qū)域，構(gòu)造集合 {(S^USjiUSw^)}，其中Si為第i個(gè)訓(xùn)練樣本對(duì)應(yīng)于該矩形區(qū)
域的高斯形狀特征，yi取l表示第i個(gè)訓(xùn)練樣本為含人體的正樣本，否則 2丄2.將每一個(gè)訓(xùn)練樣本權(quán)重Wi、可能為正樣本的概率P(Si)、分類(lèi)
函數(shù)值F(Si)初始化
W/=W，械)=1/2, = 0， i = i N ;
2丄3.計(jì)算每一個(gè)訓(xùn)練樣本權(quán)重Wi ，對(duì)權(quán)重Wi歸一化，然后計(jì)算 集合d,...,Si,...SW的帶權(quán)均值U :
<formula>formula see original document page 12</formula>z'=l
// = argmin/eiD^2(5;，/);
符號(hào)argmin^Z二w^2(S，/)表示從L中找到一個(gè)/使得
Z二w,2(&,/)的值最小，其中l(wèi)為高斯特征Si所處的李群空間，
"(&,/)為&與/之間的距離；^^,/) = 10^&_7); /為l中的任意一
個(gè)元素；
2丄4.將u和Si的距離"(/z,&)映射到向量空間，得到向量VS/: ;=WC^//,*^.)) ， i=i N，
符號(hào)^(^/(//，&))表示將矩陣^>,^)的所有非o元素依次序排 列成為向量；
2丄5.基于權(quán)重Wi ，通過(guò)帶權(quán)最小二乘法擬合出w, — z,.的系數(shù)向
g:
g = (r/,) z ，
w！ 0…0
0…w,…0
0…0 w
其中；=pOS.)(1 —P(&)) ， i=1 N，得到該矩形區(qū)域?qū)?yīng)的弱
—X—柳分類(lèi)器f(X)
<formula>formula see original document page 14</formula>
其中X為待分類(lèi)的高斯形狀特征，l表示正樣本，0表示負(fù)樣本;
2丄6.計(jì)算每個(gè)弱分類(lèi)器對(duì)應(yīng)的二項(xiàng)式似然對(duì)數(shù)R-
<formula>formula see original document page 14</formula>
其中，
1
2丄7.選擇分類(lèi)能力最強(qiáng)的弱分類(lèi)器
根據(jù)過(guò)程2丄6得到所有矩形區(qū)域?qū)?yīng)的弱分類(lèi)器對(duì)應(yīng)的二項(xiàng)式似然 對(duì)數(shù)之后，從中選擇二項(xiàng)式似然對(duì)數(shù)最小的弱分類(lèi)器fm(X)為分類(lèi)能力最 強(qiáng)的弱分類(lèi)器，并保存其對(duì)應(yīng)的矩形區(qū)域和帶權(quán)均值"m，其中m表示已 經(jīng)選擇的能力最強(qiáng)的弱分類(lèi)器的總個(gè)數(shù)；
2丄8.更新分類(lèi)函數(shù)值F(Si)、可能為正樣本的概率P(Si):
卿
=1 N ;
2丄9.判斷是否繼續(xù)選擇弱分類(lèi)器
判斷是否Prp—Pr^T，是則分類(lèi)器訓(xùn)練已達(dá)到要求，不再繼續(xù)選擇
弱分類(lèi)器，轉(zhuǎn)過(guò)程2丄10;否則轉(zhuǎn)過(guò)程2丄3，繼續(xù)選擇新弱分類(lèi)器；P^為正樣本訓(xùn)練集中各樣本對(duì)應(yīng)的第Rp大的P(Sj)值，RP=TPXNP， TP為分類(lèi)器要求達(dá)到的正樣本檢測(cè)率，Np表示正樣本訓(xùn)練集中的樣本總 數(shù)；PRn為負(fù)樣本訓(xùn)練集中各樣本對(duì)應(yīng)的第Rn大的P(Si)值，Rn=FPXNn，
FP為分類(lèi)器要求達(dá)到的負(fù)樣本誤檢率,Nn表示負(fù)樣本訓(xùn)練集的樣本總數(shù);
T二0.01 0.5，為人為設(shè)置的閾值，T值小，則訓(xùn)練量小，但選擇的 弱分類(lèi)器數(shù)量少；T值大，則訓(xùn)練量大，選擇的弱分類(lèi)器數(shù)量多；
2丄10.組合前述過(guò)程選擇的弱分類(lèi)器，得到級(jí)聯(lián)檢測(cè)器的一個(gè)節(jié)點(diǎn) 分類(lèi)器C(Win):
其中，Win表示一標(biāo)準(zhǔn)尺寸待分類(lèi)圖片，厶(J^)為節(jié)點(diǎn)分類(lèi)器中第 m個(gè)弱分類(lèi)器，Xm表示待分類(lèi)圖片Win在第m個(gè)弱分類(lèi)器對(duì)應(yīng)的矩形 區(qū)域上的高斯形狀特征，M為組成節(jié)點(diǎn)分類(lèi)器的弱分類(lèi)器的個(gè)數(shù)，1表 示正樣本，O表示負(fù)樣本。
所述的人伴檢測(cè)方法，其特征在于-
對(duì)當(dāng)前訓(xùn)練樣本進(jìn)行學(xué)習(xí)，得到一個(gè)節(jié)點(diǎn)分類(lèi)器的子步驟2.1中，通 過(guò)下述迭代式求解過(guò)程2.1.3的U值<formula>formula see original document page 15</formula>
A初始值為從集合(Sb..,Si,...SW中隨機(jī)選擇的一個(gè)高斯特征，若滿足llog(A;/)l"， s取10-" l(T9，則停止迭代，最后得到的Ut就是 待求的U值。
本發(fā)明對(duì)當(dāng)前訓(xùn)練樣本進(jìn)行學(xué)習(xí)訓(xùn)練，得到一個(gè)節(jié)點(diǎn)分類(lèi)器的子步 驟中，2丄3、 2丄4、 2丄5等過(guò)程涉及到d的計(jì)算，即高斯形狀特征的距 離度量。由于高斯形狀特征為矩陣表示，而非向量表示，這樣一來(lái)高斯 形狀特征間的距離度量不能簡(jiǎn)單的使用向量間的距離度量方法來(lái)度量， 因此高斯形狀特征的距離度量問(wèn)題便成了一個(gè)迫切需要解決的問(wèn)題。同 樣是矩陣表示的協(xié)方差特征，有人根據(jù)它的正定對(duì)稱(chēng)性，將協(xié)方差特征 間距離的度量轉(zhuǎn)化為黎曼流形(Riemannian Manifolds)下的對(duì)應(yīng)點(diǎn)間距 離的度量，并基于此對(duì)經(jīng)典的Logitboost機(jī)器學(xué)習(xí)方法予以改進(jìn)，以對(duì)協(xié) 方差特征進(jìn)行學(xué)習(xí)訓(xùn)練。本發(fā)明中，解決高斯形狀特征間距離度量問(wèn)題 的思路和協(xié)方差特征間距離度量是相同的，但高斯形狀特征并不具有對(duì) 稱(chēng)正定性，所以黎曼流形空間不適合它，但由高斯形狀特征的定義式不 難證明所有的高斯形狀特征實(shí)際上構(gòu)成了一個(gè)李群空間，這樣一來(lái)高斯 形狀特征距離度量問(wèn)題就完全可以借助成熟的李群理論來(lái)解決。因此給 定兩高斯形狀特征Si和S2， S！和S2的距離d(S,， S。的計(jì)算式如下
本發(fā)明通過(guò)構(gòu)建級(jí)聯(lián)檢測(cè)器步驟，最終得到用于檢測(cè)圖像中人體的 級(jí)聯(lián)檢測(cè)器，該級(jí)聯(lián)檢測(cè)器的每級(jí)是一個(gè)由機(jī)器學(xué)習(xí)方法訓(xùn)練得到的節(jié) 點(diǎn)分類(lèi)器，只有當(dāng)待檢測(cè)窗口 (從待檢測(cè)圖像的若干縮放圖像中抽取出 的標(biāo)準(zhǔn)尺寸大小的圖片)被所有節(jié)點(diǎn)分類(lèi)器分類(lèi)為人體，才被真正視為 人體，若在期間任一級(jí)上被分類(lèi)為非人體，則將直接視為非人體，可見(jiàn) 這樣的級(jí)聯(lián)結(jié)構(gòu)在對(duì)待檢測(cè)窗口進(jìn)行分類(lèi)時(shí)是十分有效率的。該級(jí)聯(lián)檢 測(cè)器中，最初的幾級(jí)節(jié)點(diǎn)分類(lèi)器較為簡(jiǎn)單，通常一級(jí)僅由幾個(gè)弱分類(lèi)器組成，而越靠后的級(jí)，組成節(jié)點(diǎn)分類(lèi)器的弱分類(lèi)器數(shù)目會(huì)越多，節(jié)點(diǎn)分 類(lèi)器會(huì)越復(fù)雜，分類(lèi)性能也會(huì)越強(qiáng)。在對(duì)待檢測(cè)圖像掃描檢測(cè)時(shí)，會(huì)出 現(xiàn)大量的不含人體的檢測(cè)窗口，這些窗口的大部分可以用級(jí)聯(lián)檢測(cè)器靠 前的簡(jiǎn)單的節(jié)點(diǎn)分類(lèi)器將其排除，只是少量的比較難檢測(cè)的窗口才會(huì)動(dòng) 用級(jí)聯(lián)分類(lèi)器中靠后的復(fù)雜的節(jié)點(diǎn)分類(lèi)器，這樣一來(lái)，整個(gè)圖像的掃描 檢測(cè)過(guò)程所需要的時(shí)間就得到降低。因此這樣的級(jí)聯(lián)方式可以在不影響 檢測(cè)率的同時(shí)，極大的減少檢測(cè)時(shí)間，加快人體檢測(cè)速度。
本發(fā)明中，基于協(xié)方差特征構(gòu)建的高斯形狀特征，對(duì)光照、背景等
變化具有較強(qiáng)的魯棒特性，同時(shí)也具有特征維數(shù)低的優(yōu)點(diǎn)；高斯形狀特 征的構(gòu)建加入了區(qū)域的均值特征，使得高斯形狀特征對(duì)人體和背景的區(qū) 分能力得到增強(qiáng)；因而基于高斯形狀特征構(gòu)建級(jí)聯(lián)檢測(cè)器可以大大提高 人體檢測(cè)率。


圖l為本發(fā)明的流程框圖2是本發(fā)明構(gòu)建級(jí)聯(lián)檢測(cè)器步驟中子步驟2.1的流程框圖； 圖3是本發(fā)明的級(jí)聯(lián)檢測(cè)器結(jié)構(gòu)示意圖4是用本發(fā)明的實(shí)施例構(gòu)建得到的級(jí)聯(lián)檢測(cè)器檢測(cè)圖像中的人體 的效果圖5是本發(fā)明的實(shí)施例構(gòu)建得到的級(jí)聯(lián)檢測(cè)器的檢測(cè)性能曲線圖。
具體實(shí)施例方式
下面結(jié)合圖l、圖2和實(shí)施例對(duì)本發(fā)明詳細(xì)說(shuō)明。
本實(shí)施例是在法國(guó)的INRIA人體數(shù)據(jù)集(見(jiàn) http:〃lear.inrialr)es.fr/data)上實(shí)施的，INRIA人體數(shù)據(jù)集包括有2416張 圖像的含人體的正樣本訓(xùn)練集、1218張圖像的不含人體的原始圖像訓(xùn)練集、1126張圖像的含人體的正樣本測(cè)試集以及453張圖像的不含人體的 原始圖像測(cè)試集。
對(duì)INRIA人體數(shù)據(jù)集中正樣本訓(xùn)練集的2416張圖像做裁剪得到 2416張70X134像素的圖像作為正樣本訓(xùn)練集，而從原始圖像訓(xùn)練集的 1218張圖像中抽取出70X 134像素的2416張圖像作為負(fù)樣本訓(xùn)練集。
本實(shí)施例的具體實(shí)施步驟如下
步驟一、提取特征，包括如下子步驟-
l丄對(duì)正負(fù)訓(xùn)練樣本集中的每個(gè)訓(xùn)練樣本，計(jì)算每個(gè)像素點(diǎn)的特征向
量5 _
1.2. 從每個(gè)訓(xùn)練樣本70X134像素的矩形區(qū)域內(nèi)，大小和位置都隨 機(jī)地抽取200個(gè)矩形區(qū)域，各訓(xùn)練樣本抽取的矩形區(qū)域位置和大小均與 第一個(gè)訓(xùn)練樣本相同；
1.3. 對(duì)每個(gè)訓(xùn)練樣本提取對(duì)應(yīng)于200個(gè)矩形區(qū)域的高斯形狀特征； 步驟二、構(gòu)建級(jí)聯(lián)檢測(cè)器，包括如下子步驟
2丄訓(xùn)練節(jié)點(diǎn)分類(lèi)器；對(duì)于所有訓(xùn)練樣本各自抽取出的200個(gè)矩形區(qū) 域中的每個(gè)矩形區(qū)域，依據(jù)過(guò)程2丄1 2丄6得到200個(gè)矩形區(qū)域所對(duì)應(yīng) 的弱分類(lèi)器，然后依據(jù)過(guò)程2丄7在這200個(gè)弱分類(lèi)器中選擇分類(lèi)能力最 強(qiáng)的弱分類(lèi)器；
在本實(shí)施例中，每選擇一個(gè)分類(lèi)能力最強(qiáng)的弱分類(lèi)器后，按照過(guò)程 2丄8更新完可能為正樣本的概率P之后，按照過(guò)程2丄9判斷是否繼續(xù)選 擇弱分類(lèi)器本實(shí)施例中，指定每個(gè)節(jié)點(diǎn)分類(lèi)器的正樣本檢測(cè)率TP要達(dá) 到0.997，負(fù)樣本的誤檢率FP接近0.65，又可知Np=Nn=2416，則過(guò)程2丄9 中的Rp和Rn分別為R^0.997X2416， RP=0.65X2416;找出所有正訓(xùn)練 樣本對(duì)應(yīng)的第&大的P(&)值PRp，找出所有負(fù)訓(xùn)練樣本對(duì)應(yīng)的第^大的樣本的P(S,)值P^，并且設(shè)定丁=0.02，那么當(dāng)PRp—PRn〉0.02時(shí)，則當(dāng)前 選擇的弱分類(lèi)器數(shù)量已達(dá)到要求，按照過(guò)程2丄10組合得到一個(gè)節(jié)點(diǎn)分 類(lèi)器；否則，依據(jù)子步驟2.1繼續(xù)選擇新的弱分類(lèi)器；
2.2. 將子步驟2.1得到的節(jié)點(diǎn)分類(lèi)器加入到當(dāng)前級(jí)聯(lián)檢測(cè)器的最后 一級(jí)；
2.3. 對(duì)當(dāng)前訓(xùn)練樣本作Bootstrap處理使用當(dāng)前級(jí)聯(lián)檢測(cè)器，剔除 負(fù)樣本訓(xùn)練集中被正確分類(lèi)的樣本，然后再?gòu)腎NRIA人體數(shù)據(jù)集中不含 人體的原始圖像訓(xùn)練集中抽取出與被剔除數(shù)量相等的且被當(dāng)前級(jí)聯(lián)檢測(cè) 器錯(cuò)誤分類(lèi)的70X134尺寸的圖片加入到當(dāng)前負(fù)樣本訓(xùn)練集中。在本實(shí) 施例中，每次從不含人體的用于訓(xùn)練的原始圖像集中抽取被當(dāng)前級(jí)聯(lián)人 體檢測(cè)器錯(cuò)誤分類(lèi)的負(fù)樣本時(shí)，都是從中隨機(jī)選擇一張圖片經(jīng)密集縮放 掃描抽取完畢后刪除。判斷INRIA人體數(shù)據(jù)集的原始圖像訓(xùn)練集中的圖 像數(shù)量是否為0且當(dāng)前負(fù)樣本訓(xùn)練集中樣本數(shù)量小于初始數(shù)量2416，是 則轉(zhuǎn)步驟三；否則進(jìn)行子步驟2.4;
2.4. 按照步驟一，提取當(dāng)前訓(xùn)練樣本的高斯形狀特征，然后轉(zhuǎn)子步 驟2.1;
步驟三、檢測(cè)圖像中的人體，包括如下子步驟-
3.1. 將待檢測(cè)的圖像進(jìn)行多次不同比例縮放操作得到若干幅尺寸大 小不同的縮放圖像。本實(shí)施例中，將待檢測(cè)圖像分別作1.2和1.44倍的 放大和縮小，總共得到原圖像在內(nèi)的5幅縮放圖像。
3.2. 對(duì)子步驟3.1所得到的每幅縮放圖像，按定步長(zhǎng)抽取與訓(xùn)練樣 本尺寸相同的圖片，使用構(gòu)建的級(jí)聯(lián)檢測(cè)器對(duì)其分類(lèi)，如果抽取的圖片 被分類(lèi)為人體圖片，則計(jì)算該人體圖片在未經(jīng)縮放的待檢測(cè)圖像中的對(duì) 應(yīng)位置和大小信息并保存，否則繼續(xù)按定步長(zhǎng)從縮放圖像中抽取圖片并 分類(lèi)，直至該幅縮放圖像被抽取完畢；本實(shí)施例中，抽取圖片的橫向和 縱向步長(zhǎng)都為8像素；3.3.根據(jù)子步驟3.2記錄下的每幅縮放圖像所有人體圖片在待檢測(cè) 圖像中的位置和大小信息，確定待檢測(cè)圖像中最終的人體位置以及大小。
圖3所示為本發(fā)明構(gòu)建的級(jí)聯(lián)檢測(cè)器，該級(jí)聯(lián)檢測(cè)器由第一節(jié)點(diǎn)分 類(lèi)器 第K節(jié)點(diǎn)分類(lèi)器級(jí)聯(lián)組成，使用它進(jìn)行人體檢測(cè)時(shí)，只有當(dāng)待檢 測(cè)窗口(從待檢測(cè)圖像的若干縮放圖像中抽取出的標(biāo)準(zhǔn)尺寸大小的圖片) 被所有節(jié)點(diǎn)分類(lèi)器分類(lèi)為人體，才被真正視為人體，若在任一級(jí)節(jié)點(diǎn)分 類(lèi)器上被分類(lèi)為非人體，則將直接視為非人體。該級(jí)聯(lián)檢測(cè)器中，最初 的幾級(jí)節(jié)點(diǎn)分類(lèi)器較為簡(jiǎn)單，通常一級(jí)僅由幾個(gè)弱分類(lèi)器組成，而越靠 后的級(jí)，組成節(jié)點(diǎn)分類(lèi)器的弱分類(lèi)器數(shù)目會(huì)越多，節(jié)點(diǎn)分類(lèi)器會(huì)越復(fù)雜， 分類(lèi)性能也會(huì)越強(qiáng)。
圖4是使用本實(shí)施例構(gòu)建的級(jí)聯(lián)檢測(cè)器檢測(cè)給定圖像中的人體的效 果圖，其中白色矩形框表示檢測(cè)出來(lái)的人體。
在本實(shí)施例中，為了更科學(xué)更直觀的描述構(gòu)建的級(jí)聯(lián)檢測(cè)器的檢測(cè) 性能，我們將選取INRIA人體數(shù)據(jù)集中用于測(cè)試的1126張人體圖片作為 正樣本測(cè)試集，再?gòu)脑紙D像測(cè)試集的453張不含人體的圖片中密集縮 放掃描抽取出3000000張左右的圖片作為負(fù)樣本測(cè)試集，然后使用構(gòu)建 的級(jí)聯(lián)檢測(cè)器對(duì)測(cè)試樣本進(jìn)行分類(lèi)，以得到該級(jí)聯(lián)檢測(cè)器的檢測(cè)性能曲 線。圖5所示的是本實(shí)施例構(gòu)建的級(jí)聯(lián)檢測(cè)器的檢測(cè)性能曲線圖。其中， 橫軸表示誤檢率(false positive per window),它的含義是每檢測(cè)若干個(gè)非 人體窗口，被錯(cuò)誤當(dāng)成為人體的窗口所占的比例，比如坐標(biāo)10-3表示每檢 測(cè)1000個(gè)非人體窗口，只有一個(gè)被當(dāng)成了人體；縱軸表示漏檢率(miss rate)，它的含義是檢測(cè)若干個(gè)人體窗口時(shí)，被錯(cuò)誤當(dāng)成非人體的窗口所占 的比例。誤檢率和漏檢率是評(píng)價(jià)一個(gè)檢測(cè)算法的檢測(cè)能力的重要指標(biāo)，誤檢率和漏檢率越低，檢測(cè)算法的檢測(cè)能力越強(qiáng)。從圖5中可以看出， 本發(fā)明的實(shí)施例構(gòu)建的級(jí)聯(lián)檢測(cè)器在誤檢率達(dá)到10'4的同時(shí)把漏檢率維 持在較低的2.8%左右，檢測(cè)能力比較強(qiáng)。
權(quán)利要求
1.一種基于高斯形狀特征的人體檢測(cè)方法，包括一、提取特征步驟，包括以下子步驟1.1.對(duì)訓(xùn)練樣本集中每個(gè)訓(xùn)練樣本I，計(jì)算每個(gè)像素點(diǎn)(x，y)的特征向量φ(I，x，y)<maths id="math0001" num="0001" ><math><![CDATA[ <mrow><mi>&phi;</mi><mrow> <mo>(</mo> <mi>I</mi> <mo>,</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo></mrow><mo>=</mo><msup> <mrow><mo>[</mo><mi>xy</mi><mo>|</mo><msub> <mi>I</mi> <mi>x</mi></msub><mo>|</mo><mo>|</mo><msub> <mi>I</mi> <mi>y</mi></msub><mo>|</mo><msqrt> <msubsup><mi>I</mi><mi>x</mi><mn>2</mn> </msubsup> <mo>+</mo> <msubsup><mi>I</mi><mi>y</mi><mn>2</mn> </msubsup></msqrt><mo>|</mo><msub> <mi>I</mi> <mi>xx</mi></msub><mo>|</mo><mo>|</mo><msub> <mi>I</mi> <mi>yy</mi></msub><mo>|</mo><mi>arctan</mi><mfrac> <mrow><mo>|</mo><msub> <mi>I</mi> <mi>x</mi></msub><mo>|</mo> </mrow> <mrow><mo>|</mo><msub> <mi>I</mi> <mi>y</mi></msub><mo>|</mo> </mrow></mfrac><mo>]</mo> </mrow> <mi>T</mi></msup> </mrow>]]></math></maths>其中，x、y為像素點(diǎn)的坐標(biāo)值，Ix為對(duì)訓(xùn)練樣本I進(jìn)行[-101]濾波后像素點(diǎn)(x，y)處的值，Iy為對(duì)訓(xùn)練樣本I進(jìn)行[-101]T濾波后像素點(diǎn)(x，y)處的值，Ixx為對(duì)訓(xùn)練樣本I進(jìn)行[-12-1]濾波后像素點(diǎn)(x，y)處的值，Iyy為對(duì)訓(xùn)練樣本I進(jìn)行[-12-1]T濾波后像素點(diǎn)(x，y)處的值；1.2.從第一個(gè)訓(xùn)練樣本中抽取至少50個(gè)矩形區(qū)域，它們的位置和大小都是隨機(jī)的；隨后的訓(xùn)練樣本中抽取矩形區(qū)域的數(shù)量、位置和大小均與第一個(gè)訓(xùn)練樣本相同；1.3.提取各訓(xùn)練樣本每個(gè)矩形區(qū)域的高斯形狀特征；二、構(gòu)建級(jí)聯(lián)檢測(cè)器步驟，包括以下子步驟2.1.對(duì)當(dāng)前訓(xùn)練樣本進(jìn)行學(xué)習(xí)，得到一個(gè)節(jié)點(diǎn)分類(lèi)器；2.2.將子步驟2.1得到的節(jié)點(diǎn)分類(lèi)器添加為當(dāng)前級(jí)聯(lián)檢測(cè)器的最后一級(jí)；2.3.對(duì)當(dāng)前訓(xùn)練樣本作Bootstrap處理使用當(dāng)前級(jí)聯(lián)檢測(cè)器，剔除負(fù)樣本訓(xùn)練集中被正確分類(lèi)的樣本，再?gòu)脑紙D像集中抽取與被剔除數(shù)量相等的、且被當(dāng)前級(jí)聯(lián)檢測(cè)器錯(cuò)誤分類(lèi)的圖片，加入當(dāng)前負(fù)樣本訓(xùn)練集；判斷原始圖像集中圖像數(shù)量是否為0且當(dāng)前負(fù)樣本訓(xùn)練集中樣本數(shù)量小于初始數(shù)量，是則轉(zhuǎn)步驟三；否則進(jìn)行子步驟2.4；2.4.提取高斯形狀特征按照步驟一，提取當(dāng)前訓(xùn)練樣本的高斯形狀特征，然后轉(zhuǎn)子步驟2.1；三、檢測(cè)人體步驟從待檢測(cè)圖像中掃描檢測(cè)出人體，包括以下子步驟3.1.將待檢測(cè)圖像進(jìn)行多次不同比例縮放操作得到若干幅尺寸大小不同的縮放圖像；3.2.對(duì)子步驟3.1所得到的每幅縮放圖像，按定步長(zhǎng)抽取與訓(xùn)練樣本尺寸相同的圖片，使用構(gòu)建的級(jí)聯(lián)檢測(cè)器對(duì)其分類(lèi)，如果抽取的圖片被分類(lèi)為人體圖片，則計(jì)算該人體圖片在未經(jīng)縮放的待檢測(cè)圖像中的對(duì)應(yīng)位置和大小信息并保存，否則繼續(xù)按定步長(zhǎng)從縮放圖像中抽取圖片并分類(lèi)，直至該幅縮放圖像被抽取完畢；3.3.根據(jù)子步驟3.2記錄下的每幅縮放圖像所有人體圖片在待檢測(cè)圖像中的位置和大小信息，確定待檢測(cè)圖像中最終的人體位置以及大小。
2.對(duì)當(dāng)前訓(xùn)練樣本進(jìn)行學(xué)習(xí)，得到一個(gè)節(jié)點(diǎn)分類(lèi)器；2.2. 將子步驟2.1得到的節(jié)點(diǎn)分類(lèi)器添加為當(dāng)前級(jí)聯(lián)檢測(cè)器的最后 一級(jí)；2.3. 對(duì)當(dāng)前訓(xùn)練樣本作Bootstrap處理使用當(dāng)前級(jí)聯(lián)檢測(cè)器，剔 除負(fù)樣本訓(xùn)練集中被正確分類(lèi)的樣本，再?gòu)脑紙D像集中抽取與被剔除 數(shù)量相等的、且被當(dāng)前級(jí)聯(lián)檢測(cè)器錯(cuò)誤分類(lèi)的圖片，加入當(dāng)前負(fù)樣本訓(xùn) 練集；判斷原始圖像集中圖像數(shù)量是否為0且當(dāng)前負(fù)樣本訓(xùn)練集中樣本 數(shù)量小于初始數(shù)量，是則轉(zhuǎn)步驟三；否則進(jìn)行子步驟2.4;2.4.提取高斯形狀特征按照步驟一，提取當(dāng)前訓(xùn)練樣本的高斯形 狀特征，然后轉(zhuǎn)子步驟2.1;三、檢測(cè)人體步驟從待檢測(cè)圖像中掃描檢測(cè)出人體，包括以下子3丄將待檢測(cè)圖像進(jìn)行多次不同比例縮放操作得到若干幅尺寸大小 不同的縮放圖像；
3.2. 對(duì)子步驟3.1所得到的每幅縮放圖像，按定步長(zhǎng)抽取與訓(xùn)練樣本 尺寸相同的圖片，使用構(gòu)建的級(jí)聯(lián)檢測(cè)器對(duì)其分類(lèi)，如果抽取的圖片被 分類(lèi)為人體圖片，則計(jì)算該人體圖片在未經(jīng)縮放的待檢測(cè)圖像中的對(duì)應(yīng) 位置和大小信息并保存，否則繼續(xù)按定步長(zhǎng)從縮放圖像中抽取圖片并分 類(lèi)，直至該幅縮放圖像被抽取完畢；3.3. 根據(jù)子步驟3.2記錄下的每幅縮放圖像所有人體圖片在待檢測(cè) 圖像中的位置和大小信息，確定待檢測(cè)圖像中最終的人體位置以及大小。2.如權(quán)利要求1所述的人體檢測(cè)方法，其特征在于-所述提取特征步驟中，提取各訓(xùn)練樣本每個(gè)矩形區(qū)域的高斯形狀特 征的子步驟1.3包括如下過(guò)程1.3.1. 計(jì)算特征向量均值U:計(jì)算矩形區(qū)域的所有像素點(diǎn)的特征向 量均值U，式中，N為矩形區(qū)域內(nèi)像素點(diǎn)的個(gè)數(shù)，《為矩形區(qū)域內(nèi)第i個(gè)像素點(diǎn) 的特征向量；1.3.2. 計(jì)算特征向量協(xié)方差矩陣E:計(jì)算矩形區(qū)域的所有像素點(diǎn)的 特征向量協(xié)方差矩陣E，2 = ^tw—^W-奵■/V — 1 ;=1(1.3.3.構(gòu)建高斯形狀特征S:組合該矩形區(qū)域的特征向量協(xié)方差矩陣i:和特征向量均值u，得到該矩形區(qū)域的高斯形狀特征S:<formula>formula see original document page 4</formula>其中，R滿足關(guān)系式S-i ^，并且R為下三角矩陣。3.如權(quán)利要求1或2所述的人體檢測(cè)方法，其特征在于 所述構(gòu)建級(jí)聯(lián)檢測(cè)器步驟中，對(duì)當(dāng)前訓(xùn)練樣本進(jìn)行學(xué)習(xí)，得到一個(gè)節(jié)點(diǎn)分類(lèi)器的子步驟2.1包括如下過(guò)程2丄1.對(duì)于所有訓(xùn)練樣本每一個(gè)矩形區(qū)域，構(gòu)造集合 {(Si^USi^US^yN)},其中Si為第i個(gè)訓(xùn)練樣本對(duì)應(yīng)于該矩形區(qū) 域的高斯形狀特征，yi取l表示第i個(gè)訓(xùn)練樣本為含人體的正樣本，否則 yi取0;2丄2.將每一個(gè)訓(xùn)練樣本權(quán)重Wj、可能為正樣本的概率P(Si)、分類(lèi) 函數(shù)值F(Si)初始化<formula>formula see original document page 4</formula>2丄3.計(jì)算每一個(gè)訓(xùn)練樣本權(quán)重Wi ，對(duì)權(quán)重Wi歸一化，然后計(jì)算 集合(Si,...，Si，...SW的帶權(quán)均值H :<formula>formula see original document page 4</formula> 符號(hào)argmin,^Z,C(S，/)表示從l中找到一個(gè)/使得Z二H^2(&,/)的值最小，其中L為高斯特征Si所處的李群空間，"OSy)為&與/之間的距離；"C^,0^OgC^力)；/為L(zhǎng)中的任意一 個(gè)元素；2丄4.將u和Si的距離"(/z,&)映射到向量空間，得到向量W" = VeC(d(/7,&)) ， i=l N，符號(hào)^(^/(//,6;))表示將矩陣^/(//,《)的所有非o元素依次序排列成為向量；2丄5.基于權(quán)重Wi ，通過(guò)帶權(quán)最小二乘法擬合出— z,的系數(shù)向<formula>formula see original document page 5</formula>其中^ = ; os.)(i-； (s.)) ， i=1 N，得到該矩形區(qū)域?qū)?yīng)的弱X—柳分類(lèi)器f(X):<formula>formula see original document page 5</formula>其中X為待分類(lèi)的高斯形狀特征，l表示正樣本，0表示負(fù)樣本;2丄6.計(jì)算每個(gè)弱分類(lèi)器對(duì)應(yīng)的二項(xiàng)式似然對(duì)數(shù)R:R=- Sk iog(m》+(i - iog(i -' =i其中，尸(。 m)+e-，,), 卿=柳+會(huì)卿，2丄7.選擇分類(lèi)能力最強(qiáng)的弱分類(lèi)器-根據(jù)過(guò)程2丄6得到所有矩形區(qū)域?qū)?yīng)的弱分類(lèi)器對(duì)應(yīng)的二項(xiàng)式似然 對(duì)數(shù)之后，從中選擇二項(xiàng)式似然對(duì)數(shù)最小的弱分類(lèi)器fm(X)為分類(lèi)能力最 強(qiáng)的弱分類(lèi)器，并保存其對(duì)應(yīng)的矩形區(qū)域和帶權(quán)均值"m，其中m表示已 經(jīng)選擇的能力最強(qiáng)的弱分類(lèi)器的總個(gè)數(shù)；2丄8.更新分類(lèi)函數(shù)值F(Si)、可能為正樣本的概率P(Si):柳e柳+e—柳=1 N ;2丄9.判斷是否繼續(xù)選擇弱分類(lèi)器判斷是否Prp_Pr >T，是則分類(lèi)器訓(xùn)練已達(dá)到要求，不再繼續(xù)選擇 弱分類(lèi)器，轉(zhuǎn)過(guò)程2丄10;否則轉(zhuǎn)過(guò)程2丄3，繼續(xù)選擇新弱分類(lèi)器；PKp為正樣本訓(xùn)練集中各樣本對(duì)應(yīng)的第Rp大的P(Si)值，RP=TPXNP， TP為分類(lèi)器要求達(dá)到的正樣本檢測(cè)率，Np表示正樣本訓(xùn)練集中的樣本總 數(shù)；PRn為負(fù)樣本訓(xùn)練集中各樣本對(duì)應(yīng)的第Rn大的P(Si)值，Rn=FPXNn， FP為分類(lèi)器要求達(dá)到的負(fù)樣本誤檢率，Nn表示負(fù)樣本訓(xùn)練集的樣本總數(shù);T=0.01 0.5，為人為設(shè)置的閾值，T值小，則訓(xùn)練量小，但選擇的弱分類(lèi)器數(shù)量少；T值大，則訓(xùn)練量大，選擇的弱分類(lèi)器數(shù)量多；2丄10.組合前述過(guò)程選擇的弱分類(lèi)器，得到級(jí)聯(lián)檢測(cè)器的一個(gè)節(jié)點(diǎn) 分類(lèi)器C(Win):其中，Win表示一標(biāo)準(zhǔn)尺寸待分類(lèi)圖片，厶(XJ為節(jié)點(diǎn)分類(lèi)器中第 .m個(gè)弱分類(lèi)器，Xm表示待分類(lèi)圖片Win在第m個(gè)弱分類(lèi)器對(duì)應(yīng)的矩形 區(qū)域上的高斯形狀特征，M為組成節(jié)點(diǎn)分類(lèi)器的弱分類(lèi)器的個(gè)數(shù)，1表 示正樣本，0表示負(fù)樣本。
4.如權(quán)利要求3所述的人體檢測(cè)方法，其特征在于 對(duì)當(dāng)前訓(xùn)練樣本進(jìn)行學(xué)習(xí)，得到一個(gè)節(jié)點(diǎn)分類(lèi)器的子步驟2.1中，通 過(guò)下述迭代式求解過(guò)程2丄3的u值A(chǔ)+i = ，A初始值為從集合^,.. .，Si，.. .SN}中隨機(jī)選擇的一個(gè)高斯特征， 若滿足llog(A/z)l"， e取l(T11 10-9，則停止迭代，最后得到的Ut就是c(,) 二 <待求的u值。
全文摘要
一種基于高斯形狀特征的人體檢測(cè)方法，屬于計(jì)算機(jī)視覺(jué)與模式識(shí)別領(lǐng)域，解決現(xiàn)有檢測(cè)方法檢測(cè)率和檢測(cè)速度較低的問(wèn)題。本發(fā)明包括一、提取特征步驟，提取各訓(xùn)練樣本每個(gè)矩形區(qū)域的高斯形狀特征；二、構(gòu)建級(jí)聯(lián)檢測(cè)器步驟，對(duì)當(dāng)前訓(xùn)練樣本進(jìn)行學(xué)習(xí)，構(gòu)成級(jí)聯(lián)檢測(cè)器；三、檢測(cè)人體步驟使用級(jí)聯(lián)檢測(cè)器對(duì)待檢測(cè)圖像掃描檢測(cè)，確定圖像中人體位置以及大小。本發(fā)明賴以構(gòu)建的高斯形狀特征對(duì)光照、背景等變化具有較強(qiáng)的魯棒特性，同時(shí)特征維數(shù)低；高斯形狀特征的構(gòu)建加入了區(qū)域的均值，對(duì)人體和背景的區(qū)分能力得到增強(qiáng)；因而構(gòu)建的級(jí)聯(lián)檢測(cè)器可以大大提高人體檢測(cè)率，可應(yīng)用于智能監(jiān)控、輔助駕駛以及人機(jī)交互系統(tǒng)。
文檔編號(hào)G06K9/00GK101561867SQ20091006212
公開(kāi)日2009年10月21日 申請(qǐng)日期2009年5月19日 優(yōu)先權(quán)日2009年5月19日
發(fā)明者芳 劉, 張富強(qiáng), 王天江, 龔立宇 申請(qǐng)人:華中科技大學(xué)