專利名稱：基于多特征和深度信息的人體檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)視覺(jué)與模式識(shí)別技術(shù)領(lǐng)域，涉及人體檢測(cè)方法，可用于對(duì)圖像中的人體及其它復(fù)雜目標(biāo)的檢測(cè)。
背景技術(shù)：
人體檢測(cè)在計(jì)算機(jī)視覺(jué)中有許多重要的應(yīng)用，如視頻監(jiān)控、智能汽車及智能交通、機(jī)器人和高級(jí)人機(jī)交互等。然而，由于人體自身姿態(tài)的變化、衣服的多樣性和光照等因素的影響，人體的外觀變化非常大，導(dǎo)致人體檢測(cè)成為一個(gè)非常困難的問(wèn)題。目前，圖像中人體檢測(cè)的方法主要有基于人體模型的方法、基于模板匹配的方法和基于統(tǒng)計(jì)分類的方法?；谌梭w模型的方法，有明確的模型，可以處理遮擋問(wèn)題，并且可以推斷出人體的姿態(tài)。缺點(diǎn)是模型的構(gòu)建比較難，求解也比較復(fù)雜?；谀０迤ヅ涞姆椒ㄓ?jì)算簡(jiǎn)單，缺點(diǎn)是由于人體姿態(tài)的復(fù)雜性，很難構(gòu)造出足夠的模板以處理不同的姿態(tài)。基于統(tǒng)計(jì)分類的方法，首先從訓(xùn)練樣本中提取特征，該特征包括Haar小波特征、形狀描述符特征、Gabor特征、有向梯度直方圖HOG特征，SIFT特征和LBP特征；然后將這些特征輸入到分類器中訓(xùn)練，得到一個(gè)分類器，常見(jiàn)的分類器包括:貝葉斯分類器、支持向量機(jī)SVM和Adaboost。檢測(cè)時(shí)，將每個(gè)滑動(dòng)窗口的特征送到訓(xùn)練好的分類器中，得到一個(gè)輸出值，根據(jù)輸出結(jié)果判斷是否包含人體。這種基于統(tǒng)計(jì)分類方法的優(yōu)點(diǎn)是比較魯棒，缺點(diǎn)是提取的單個(gè)特征只能描述物體的某一種特性，表征能力有限，影響分類器的性能，存在漏檢或者虛景的問(wèn)題。

發(fā)明內(nèi)容
本發(fā)明目的是針對(duì)上述已有技術(shù)的不足，提出一種基于多特征和深度信息的人體檢測(cè)方法，以進(jìn)一步提高人體檢測(cè)的正確率，減少虛景。本發(fā)明的技術(shù)方案通過(guò)如下步驟實(shí)現(xiàn):(I)提取CVC-02數(shù)據(jù)庫(kù)中所有訓(xùn)練樣本圖像的有向梯度直方圖特征H，并計(jì)算該有向梯度直方圖特征H的核矩陣Kh ；(2)提取CVC-02數(shù)據(jù)庫(kù)中所有訓(xùn)練樣本圖像的均勻局部二值模式特征U，并計(jì)算該均勻局部二值模式特征U的核矩陣Ku ；(3)利用多核學(xué)習(xí)MKL算法對(duì)步驟⑴得到的有向梯度直方圖特征H的核矩陣Kh和步驟(2)得到的均勻局部二值模式特征U的核矩陣Ku進(jìn)行分類訓(xùn)練，得到用于檢測(cè)的多核分類器；(4)從CVC-02數(shù)據(jù)庫(kù)中提取出待檢測(cè)的圖像，輸入到步驟(3)得到的多核分類器中，將分類器分?jǐn)?shù)大于O的所有掃描窗口標(biāo)記為初步人體窗口 ；(5)利用景深信息從步驟⑷得到的初步人體窗口中去除分類器分?jǐn)?shù)大于O的背景窗口，得到最終的人體窗口 ；
(6)對(duì)最終的人體窗口進(jìn)行組合，形成最終的人體檢測(cè)結(jié)果。本發(fā)明與現(xiàn)有的技術(shù)相比具有以下優(yōu)點(diǎn):1、由于本發(fā)明提取了基于梯度的有向梯度直方圖特征和表征紋理的均勻局部二值模式特征來(lái)描述人體，使得融合后的特征更具有表征能力。2、由于本發(fā)明是在多核學(xué)習(xí)的框架下融合兩種不同的特征，使得分類器具有更高的正確率。3、由于本發(fā)明中利用景深信息去除背景窗口，使得人體檢測(cè)的虛景率降低。


圖1是本發(fā)明的流程示意圖；圖2是本發(fā)明仿真使用的部分正樣本圖像；圖3是本發(fā)明仿真使用的部分負(fù)樣本圖像；圖4是用本發(fā)明與現(xiàn)有方法得到的人體檢測(cè)結(jié)果比較圖。
具體實(shí)施例方式參照?qǐng)D1，本發(fā)明的具體實(shí)施如下:步驟一，提取CVC-02數(shù)據(jù)庫(kù)中所有訓(xùn)練樣本圖像的有向梯度直方圖特征H，并計(jì)算該有向梯度直方圖特征H的核矩陣KH。(Ia)提取所有訓(xùn)練樣本圖像的有向梯度直方圖特征H ；(Ial)對(duì)第i幅訓(xùn)練樣本圖像進(jìn)行邊緣檢測(cè)，得到圖像中每個(gè)像素的邊緣強(qiáng)度和邊緣方向，其中，ie [1，η]，η為訓(xùn)練樣本數(shù)；(la2)將圖像分成大小為8 X 8互不重疊的格子，將O 180度分成九個(gè)方向通道，將每個(gè)格子內(nèi)的像素對(duì)其所屬的通道投票，投票的權(quán)值為該像素的邊緣強(qiáng)度；(la3)將相鄰的四個(gè)格子組成一個(gè)塊，且每個(gè)塊之間有-的重疊，對(duì)每個(gè)塊進(jìn)行歸一化；(la4)將歸一化后的所有塊串接起來(lái)，構(gòu)成第i幅訓(xùn)練樣本的有向梯度直方圖特征Hi ；(la5)重復(fù)步驟(Ial) -(la4)，提取所有訓(xùn)練樣本圖像的有向梯度直方圖特征H:H = IH1...，H1-，HJ，i e [I, η]，η 為訓(xùn)練樣本數(shù)；(Ib)使用核函數(shù)計(jì)算所有訓(xùn)練樣本圖像的有向梯度直方圖特征H的核矩陣Kh ；常用的核函數(shù)有:線性核函數(shù)，多項(xiàng)式核函數(shù)，徑向基核函數(shù)，Sigmoid核函數(shù)和
高斯核函數(shù)。本發(fā)明中使用多項(xiàng)式核函數(shù):計(jì)算所有訓(xùn)練樣本圖像
的有向梯度直方圖特征H的核矩陣Kh，其中Hp和Hq分別為均勻局部二值模式特征H的第P列向量和第q列向量，P e [l，n]，qe [1，η]，符號(hào)T表示向量的轉(zhuǎn)置，指數(shù)d = 3，第一個(gè)系數(shù)Y = 1，第二個(gè)系數(shù)c = O。步驟二，提取CVC-02數(shù)據(jù)庫(kù)中所有訓(xùn)練樣本圖像的均勻局部二值模式特征U，并計(jì)算該均勻局部二值模式特征U的核矩陣Ku。(2a)提取CVC-02數(shù)據(jù)庫(kù)中所有訓(xùn)練樣本圖像的均勻局部二值模式特征U ；
(2al)將CVC-02數(shù)據(jù)庫(kù)中第j幅訓(xùn)練樣本分割為8 X 8像素大小的塊，j e [I, η]，η為訓(xùn)練樣本數(shù)；(2a2)將每個(gè)塊的左上角的一個(gè)大小為3 X 3像素的區(qū)域作為一個(gè)窗口，向右平移I個(gè)像素或向下平移I個(gè)像素作為一個(gè)新的窗口，由此得到一組窗口 ；(2a3)對(duì)于其中的任意一個(gè)窗口 W，以位于窗口 W中心的像素值g。為閾值，用中心像素值g。與窗口 W中其余的8個(gè)像素值依次作比較，若位于中心的像素值g。大于與它相鄰的像素值，則標(biāo)記為1，否則標(biāo)記為0，這樣得到一組8位的二進(jìn)制碼作為窗口 W的編碼；(2a4)將塊中滿足條件:0與I之間轉(zhuǎn)換次數(shù)小于等于2的二進(jìn)制碼轉(zhuǎn)換成十進(jìn)制數(shù)，作為塊的編碼值；(2a5)將每個(gè)塊中的編碼值進(jìn)行直方圖統(tǒng)計(jì)，并歸一化，得到每個(gè)塊的均勻局部二值模式特征；(2a6)將所有塊的均勻局部二值模式特征級(jí)聯(lián)后，作為第j幅圖像的均勻局部二值模式特征Uj, j e [I, η]，η為訓(xùn)練樣本數(shù)；(2a7)重復(fù)步驟(2al)-(2a6)，提取所有訓(xùn)練樣本圖像的均勻局部二值模式特征U，其中 U= (U1-, Uj-, UJ, j e [1，η]，η 為訓(xùn)練樣本數(shù)；(2b)按照公式:
權(quán)利要求
1.一種基于多特征和深度信息的人體檢測(cè)方法，包括如下步驟: (1)提取CVC-02數(shù)據(jù)庫(kù)中所有訓(xùn)練樣本圖像的有向梯度直方圖特征H，并計(jì)算該有向梯度直方圖特征H的核矩陣Kh ； (2)提取CVC-02數(shù)據(jù)庫(kù)中所有訓(xùn)練樣本圖像的均勻局部二值模式特征U，并計(jì)算該均勻局部二值模式特征U的核矩陣Ku ； (3)利用多核學(xué)習(xí)MKL算法對(duì)步驟(I)得到的有向梯度直方圖特征H的核矩陣Kh和步驟(2)得到的均勻局部二值模式特征U的核矩陣Ku進(jìn)行分類訓(xùn)練，得到用于檢測(cè)的多核分類器； (4)從CVC-02數(shù)據(jù)庫(kù)中提取出待檢測(cè)的圖像，輸入到步驟(3)得到的多核分類器中，將分類器分?jǐn)?shù)大于O的所有掃描窗口標(biāo)記為初步人體窗口 ； (5)利用景深信息從步驟(4)得到的初步人體窗口中去除分類器分?jǐn)?shù)大于O的背景窗口，得到最終的人體窗口 ； (6)對(duì)最終的人體窗口進(jìn)行組合，形成最終的人體檢測(cè)結(jié)果。
2.根據(jù)權(quán)利要求1所述方法，其中步驟(2)中所述的提取CVC-02數(shù)據(jù)庫(kù)中所有訓(xùn)練樣本圖像的均勻局部二值模式特征U，并計(jì)算該均勻局部二值模式特征U的核矩陣Ku,按如下步驟進(jìn)行: (2a)將第j幅訓(xùn)練樣本分割為8X8像素大小的塊，提取每個(gè)塊的均勻局部二值模式特征作為第j幅圖像的均勻局部二值模式特征Uj,其中，Uj = [u!---,ut---,um]T, t e [I, m], m為從第j幅圖像中提取的均勻局部二值模式特征維數(shù)，符號(hào)T表示向量的轉(zhuǎn)置； (2b)按照步驟(2a)提取所有訓(xùn)練樣本圖像的均勻局部二值模式特征U，其中，U ={^…，U,..，UJ，j e [I, η], η為訓(xùn)練樣本數(shù)； (2c)按照公式=Ku =(產(chǎn)計(jì)算得到所有訓(xùn)練樣本圖像的均勻局部二值模式特征U的核矩陣Ku，其中Up和Uq分別為均勻局部二值模式特征U的第P列向量和第q列向量，P e [l，n]，qe [1，η]，符號(hào)T表示向量的轉(zhuǎn)置，指數(shù)d為設(shè)定的正整數(shù)，第一個(gè)系數(shù)Y和第二個(gè)系數(shù)c均為設(shè)定的任意值。
3.根據(jù)權(quán)利要求1所述方法，其中步驟(5)中所述的利用景深信息從步驟(4)得到的初步人體窗口中去除分類器分?jǐn)?shù)大于O的背景窗口，得到最終的人體窗口，按如下步驟進(jìn)行: (5a)將步驟(4)得到的人體窗口對(duì)應(yīng)到相應(yīng)的深度圖像上，深度圖像由CVC-02數(shù)據(jù)庫(kù)提供； (5b)對(duì)每個(gè)窗口的深度圖像進(jìn)行直方圖統(tǒng)計(jì)，找出最大百分比Pm的深度值dm，在深度圖像中找出比深度值Cl111小的所有深度值的最大深度值Clnil,在深度圖像中找出比深度值Clni大的所有深度值的最小深度值Clni2 ； (5c)計(jì)算最大百分比的深度值dm，最大深度值dml及最小深度值dm2所占的百分比和si: Si = Pm+Pml+Pm2， 其中Pnil為最大深度值Clnil在深度圖像中占的百分比，Pm2為最小深度值Clnl2在深度圖像中所占的百分比；(5d)將步驟(5c)得到的百分比和si小于閾值th = 45%的初步人體窗口刪除，保留剩余的初步人體窗口，作為最終的人體窗口。
4.根據(jù)權(quán)利要求1所述方法，其中步驟(6)中所述的對(duì)最終的人體窗口進(jìn)行組合，形成最終的人體檢測(cè)結(jié)果，按如下步驟進(jìn)行: (6a)從最終的人體窗口中，找出分類器分?jǐn)?shù)最高的窗口作為主窗口 ； (6b)將與主窗口重疊大于y的人體窗口和主窗口的邊界進(jìn)行加權(quán)組合，得到加權(quán)組合后的組合窗口； (6c)保留步驟(6b)得到的加權(quán)組合后的組合窗口，將步驟(6b)中參與組合的人體窗口從步驟(6a)中的最終的人體窗口中刪除； (6d)若將步驟(6b)中參與組合的人體窗口從步驟(5d)得到的最終的人體窗口中刪除后，還有人體窗口剩余，則再?gòu)氖Ｓ嗟娜梭w窗口中找出分類器分?jǐn)?shù)最高的人體窗口作為主窗口，并重復(fù)步驟(6b)-(6c)； (6e)在被檢測(cè)人體圖像上標(biāo)出所有加權(quán)組合后的組合窗口，作為被測(cè)圖像最終的人體檢測(cè)結(jié)果，采用矩形框表 示檢測(cè)結(jié)果，被檢測(cè)出的人體處于矩形框內(nèi)。
全文摘要
本發(fā)明提出了一種基于多特征和深度信息的人體檢測(cè)方法，主要解決現(xiàn)有方法檢測(cè)虛景率高的問(wèn)題。其實(shí)現(xiàn)過(guò)程是計(jì)算CVC-02數(shù)據(jù)庫(kù)中訓(xùn)練樣本圖像的有向梯度直方圖特征的核函數(shù)和均勻局部二值模式特征的核函數(shù)；利用多核學(xué)習(xí)MKL算法對(duì)有向梯度直方圖特征的核函數(shù)和均勻局部二值模式特征的核函數(shù)進(jìn)行分類訓(xùn)練，得到用于檢測(cè)的多核分類器；將待檢測(cè)圖像的有向梯度直方圖特征的核函數(shù)和均勻局部二值模式特征的核函數(shù)輸入到多核分類器中，得到各個(gè)掃描窗口的分類器分?jǐn)?shù)；利用景深信息去除分類器分?jǐn)?shù)大于0的背景窗口；對(duì)最終的人體窗口進(jìn)行組合，得到最終的人體檢測(cè)結(jié)果。本發(fā)明具有檢測(cè)正確率高，虛景率低的優(yōu)點(diǎn)，可用于視頻中的行人檢測(cè)。
文檔編號(hào)G06K9/46GK103186776SQ201310116469
公開日2013年7月3日 申請(qǐng)日期2013年4月3日 優(yōu)先權(quán)日2013年4月3日
發(fā)明者韓紅, 焦李成, 顧建銀, 李陽(yáng)陽(yáng), 馬文萍, 馬晶晶, 尚榮華 申請(qǐng)人:西安電子科技大學(xué)