專利名稱：復(fù)雜環(huán)境下多特征融合的節(jié)能型智能識別數(shù)字標(biāo)牌的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人臉或指紋特征識別技術(shù)、圖像或信息融合技術(shù)、視頻處理技術(shù)等，特別涉及Haar-I ike特征以及EOH特征選擇法、模糊聚類方法及人臉檢測領(lǐng)域，尤其是一種復(fù)雜環(huán)境下多特征融合的節(jié)能型智能識別數(shù)字標(biāo)牌。
背景技術(shù)：
數(shù)字標(biāo)牌(Digital Signage)是一種全新的媒體概念，是指在商場、機場及其他人流匯聚的公共場所，通過大屏幕終端顯示設(shè)備，發(fā)布商業(yè)、財經(jīng)或娛樂信息的多媒體專業(yè)視聽系統(tǒng)。作為傳統(tǒng)戶外廣告的替代者，數(shù)字標(biāo)牌所包含的信息量非常大，可以隨時方便地更新，并且能夠聯(lián)網(wǎng)，這都是傳統(tǒng)戶外廣告所無法比擬的。數(shù)字標(biāo)牌不僅可以向公眾發(fā)布多媒體廣告信息、帶來全新的商業(yè)創(chuàng)新價值，而且被認(rèn)為是顯示產(chǎn)業(yè)新成長的動力。智能數(shù)字標(biāo)牌通過技術(shù)(尤其是臉部識別)，能讓廣告商根據(jù)顯示屏前不同的觀眾來發(fā)布廣告。智能數(shù)字標(biāo)牌的國內(nèi)外研究現(xiàn)狀如下2008年2月加拿大Congno Vision公司在美國拉斯維加斯舉行的 "DigitalSignage Expo”上展示了這一新型技術(shù)在顯示屏上配備攝像頭，讀取觀眾的臉部，再利用該公司開發(fā)的專用軟件進行分析。通過該技術(shù)，可識別出觀眾的性別和年齡段。 例如，若識別出觀眾是20多歲的女性，就會顯示適合她的廣告。2010年1月，英特爾在美國零售業(yè)聯(lián)盟展會上展出了一個7英尺6英寸的多用戶、 多觸點的英特爾智能數(shù)字標(biāo)牌概念驗證(POC)系統(tǒng)；同年5月，英特爾與微軟聯(lián)手推出了基于英特爾酷睿處理器和微軟最新版Windows嵌入式操作系統(tǒng)的數(shù)字標(biāo)牌平臺技術(shù)，將支持解決方案提供商更快速地構(gòu)建更加可靠的數(shù)字標(biāo)牌網(wǎng)絡(luò)。在2010年5月舉行的第13屆嵌入系統(tǒng)技術(shù)開發(fā)展上，英特爾日本公司展示了附帶數(shù)字標(biāo)牌的自動售貨機，其內(nèi)置攝像頭模塊可根據(jù)影像來識別有無使用者、使用者的性別和年齡層等等。機器前部配備了帶有觸摸功能的大屏液晶顯示器，可根據(jù)使用者的性別和年齡層顯示推薦商品。與此同時，NEC電子公司也發(fā)布了一種針對數(shù)字標(biāo)牌的觀眾特征識別判定程序，數(shù)字用戶可借助它對頭發(fā)顏色和聽力特征的識別來判定觀眾所屬的年齡階段，其誤差基本不超過10歲。商家可借此針對不同的觀眾來調(diào)整顯示的數(shù)字內(nèi)容。2010年7月，日本11家地鐵公司聯(lián)合推出了“數(shù)字化號牌推廣計劃”，在東京周邊的地鐵站中安裝了 27臺具備人臉識別能力的廣告顯示器，其中安裝有攝像頭和人臉識別軟件，可自動識別經(jīng)過廣告牌的旅客的性別和年齡，并播放相應(yīng)內(nèi)容。項目發(fā)言人介紹，只要旅客從廣告牌前路過、并往屏幕的方向看一秒鐘，這些顯示器便可識別出旅客的性別和大致年齡。2010年6月在第二屆上海國際數(shù)字標(biāo)牌及觸摸查詢技術(shù)展示會上，三星電子大中華區(qū)經(jīng)理隋大鵬指出該公司的數(shù)字標(biāo)牌系統(tǒng)正在融入更多的新技術(shù)，通過臉部跟蹤及識別技術(shù)完成對受眾群人數(shù)、性別、年齡區(qū)間等信息的采集和統(tǒng)計，并可據(jù)此調(diào)整播放策略。 三星應(yīng)用到餐飲行業(yè)的觀眾識別系統(tǒng)解決方案可為不同的受眾群體播放不同的內(nèi)容，以做到智能發(fā)布。在國外數(shù)字標(biāo)牌業(yè)不斷創(chuàng)新的同時，國內(nèi)專家認(rèn)為，國內(nèi)數(shù)字標(biāo)牌產(chǎn)業(yè)主要的差距是技術(shù)國內(nèi)一些新入行的企業(yè)在整體技術(shù)水平上顯著落后于國外市場。隨著全球數(shù)字標(biāo)牌市場的不斷增長，國內(nèi)企業(yè)已經(jīng)意識到，盡管數(shù)字標(biāo)牌市場商機無限，技術(shù)創(chuàng)新才是這個行業(yè)發(fā)展的硬道理。因此，在目前國內(nèi)研究技術(shù)相對較弱的情況下，市場的長足發(fā)展必須有自主創(chuàng)新能力和尋求差異化的技術(shù)實力。另一方面，目前國外的智能數(shù)字標(biāo)牌識別技術(shù)大多依賴于臉部識別，而該技術(shù)在報告觀眾性別及年齡等信息方面精確度僅約80%，離智能數(shù)字標(biāo)牌的實際目標(biāo)還存在一定的差距。雖然目前國際上報道了一些智能標(biāo)牌識別技術(shù)，但是它們大多處于實驗室研發(fā)階段，大多數(shù)依賴于臉部識別，而且考慮的人物對象和環(huán)境也比較單一。然而，事實上數(shù)字標(biāo)牌的應(yīng)用領(lǐng)域是完全開放式的復(fù)雜環(huán)境，服務(wù)對象及環(huán)境都極不確定進入攝像機視野的人群數(shù)量、性別年齡分布、站立或行走姿勢等都是無法約束的，攝像機前的環(huán)境，如車輛穿行、明暗變化、天氣影響等也是無法控制的。這一切都給人體檢測、追蹤、識別帶來困難。此外，現(xiàn)有的一些識別技術(shù)多基于人物的臉部特征，少數(shù)基于頭發(fā)顏色和聽力特征，但是數(shù)字標(biāo)牌應(yīng)用環(huán)境的上述特性使得單一特征的精確檢測幾乎無法實現(xiàn)，因此不可僅僅依賴少數(shù)幾種特征做出決策。此外，綠色環(huán)保也是數(shù)字標(biāo)牌要考慮的問題，但目前產(chǎn)品很少能夠做到。我們希望數(shù)字標(biāo)牌能夠在無人時休眠，以節(jié)能環(huán)保。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是為了克服上述中存在的問題，提供一種復(fù)雜環(huán)境下多特征融合的節(jié)能型智能識別數(shù)字標(biāo)牌，能夠通過對復(fù)雜環(huán)境下的目標(biāo)人群的多種特征的提取與融合，最終實現(xiàn)數(shù)字標(biāo)牌廣告的智能分類、投放決策、和綠色環(huán)保。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是一種復(fù)雜環(huán)境下多特征融合的節(jié)能型智能識別數(shù)字標(biāo)牌，本文是基于視頻的運動人體檢測與跟蹤，攝像頭的場景背景一般變換不大，這給運動人體檢測和跟蹤帶來了很大的便利，同時大大降低了了檢測與跟蹤的復(fù)雜度，在處理視頻檢測運動人體之前，利用視頻圖像中的運動目標(biāo)對其進行運動區(qū)域標(biāo)記， 去除不滿足要求的區(qū)域，訓(xùn)練集通過人體檢測器對篩選出來的運動區(qū)域標(biāo)記進行運動人體檢測得到運動人體實例，前景檢測主要是將視頻圖像分成運動的人體前景區(qū)域，與攝像頭中不動部分的背景區(qū)域。自適應(yīng)背景模型為靜止背景建立背景模型，通過將當(dāng)前圖像幀和背景模型進行比較，確定出變化較大的區(qū)域即認(rèn)為是前景區(qū)域。這種方法的計算速度很快， 可以獲得關(guān)于運動目標(biāo)區(qū)域的完整精確的描述，但對場景中光照條件、大面積運動和噪聲比較敏感，所以在實際應(yīng)用中需采用一定的算法進行背景模型的動態(tài)更新以適應(yīng)環(huán)境的變化，其具體步驟是a.人群特征提取通過對人臉圖像的特征提取、發(fā)型特征提取和步態(tài)特征提?。籦.用分類器進行性別識別和年齡識別所述的分類器包括Fisher線性判別法、動態(tài)聚類算法和支持向量回歸機，采用分類器來對檢測的人體進行性別、年齡分類是人體識別領(lǐng)域中關(guān)于年齡變化研究的主要方法，可以說這樣的年齡估計方法是行之有效的，但是由于單個分類器都有其各自的優(yōu)缺點，因而在同樣情況下不同分類器的識別結(jié)果可能相差非常大，多分類器決策融合是模式發(fā)展的一種趨勢，其目的旨在提高分類的精度，并度量模式的密集程度。Fisher線性判別法作為單分類器來說，其識別性能在不同的數(shù)據(jù)庫上均不錯，但是，利用Fisher線性法在進行降維處理時，還是會丟失一些有用的信息，而這些信息對于后面的步驟可能很重要，這也是該方法的不足之處；動態(tài)聚類算法，C-均值算法是一種常用的基于近鄰法則的無監(jiān)督學(xué)習(xí)方法，首先確定需要的群數(shù)c，選好c個代表點，用這些代表點作為初始類型，再對樣本集H中每個樣本X找出相距最近的代表點，將X歸到這個最近的代表點所在的群中去，這樣，第一次迭代就用近鄰法則將H初步分為c群，下一次迭代就在這個基礎(chǔ)上以上次迭代所得的各群的均值向量作為新的代表點，再次按近鄰法則將H分為c群，直到分群穩(wěn)定為止，C-均值算法的收斂速度比較快，但是其收斂結(jié)果取決于初始聚類中心的選取。支持向量回歸機(Support Vector Regression，簡稱SVR)，支持向量回歸機算法是支持向量機方法在回歸問題上的推廣，通過引入不敏感損失函數(shù)和核函數(shù)，可以很好地應(yīng)用于非線性回歸分析，并且對小樣本集問題具有良好的預(yù)測性能。c.智能廣告投放包括協(xié)同過濾推薦技術(shù)、基于內(nèi)容的推薦技術(shù)、基于人口統(tǒng)計學(xué)的推薦技術(shù)、基于效用的推薦、基于知識的推薦和基于關(guān)聯(lián)規(guī)則的推薦，在這些方法中， 能用在本專利背景下的技術(shù)是基于人口統(tǒng)計學(xué)的推薦技術(shù)，該技術(shù)最常用的人口學(xué)特征變量是年齡、性別和地理位置，有時收入變量也會被使用(如高檔賓館中的顧客)。年齡和性別是由系統(tǒng)識別得到，地理位置由系統(tǒng)終端所在地決定，廣告初始階段通過人工方式進行分類，并標(biāo)注適宜人群屬性(年齡、性別、地理位置和收入等)。若有可能，系統(tǒng)增加觀察量 用戶對某一廣告的觀看時間。利用該時間，得到某類人群對各個廣告的喜愛程度，以便調(diào)整各個廣告的播放策略；d.綠色環(huán)保通過判斷攝像頭有無人體檢測或者麥克風(fēng)有無大于一定閾值的聲音輸入結(jié)果，判斷是否進入休眠省電狀態(tài)。所述的人臉圖像的特征提取包括利用二維Gabor小波進行圖像進行多尺度分析的整體特征提取和采用基于合成的圖像分析技術(shù)來對人臉圖像進行特征提取和建模的局部特征提取，特征提取就是應(yīng)用不同的特征提取方法提取出區(qū)別不同模式問題的顯著特征。在模式識別問題中，由被識別的對象產(chǎn)生一組原始特征向量，這些特征向量可以是測量得到，也可以是通過數(shù)學(xué)公式計算得到；原始特征一般存在于高維空間，可以通過映射變換將其轉(zhuǎn)換到低維特征空間，但其變換過程要符合兩個主要準(zhǔn)則一是特征空間必須保留原高維空間的主要信息，二是特征空間的維數(shù)必須遠(yuǎn)遠(yuǎn)低于原高維空間。整體特征提取是Gabor變換源于窗口傅里葉變換，但因其窗口可仲縮，核函數(shù)頻率及帶寬可調(diào)的特性與小波變換相似，故稱為Gabor小波變換，和傳統(tǒng)的一些變換方法相比Gabor小波變換有著明顯的優(yōu)勢，傳統(tǒng)方法的缺陷是窗口尺寸一經(jīng)確定就無法更改，因此其尺度不能變化，無法實現(xiàn)對信號進行多尺度分析，Gabor小波變換即具有小波變換的多分辨率特性，同時又具有Gabor函數(shù)的局域性和方向性。近年來的研究表明Gabor小波能夠更好的兼顧信號在時域和頻域的分辨率，而且在頻率和方向上對圖像的表示特性與人類視覺系統(tǒng)的相關(guān)特性非常相似，能夠捕捉對應(yīng)于空間和頻率的局部結(jié)構(gòu)信息。與其它濾波方法相比，Gabor小波更適用于圖像的特征提取上，特別是在人臉圖像的應(yīng)用中，二維Gabor 小波是圖像多尺度分析的有力工具，具有很好的方向選擇性和空間局部性，能精確地提取圖像局部區(qū)域內(nèi)多個方向的結(jié)構(gòu)特征，并且對光照和尺度變化不敏感，能容忍圖像一定程度的旋轉(zhuǎn)和變形，具有較高的魯棒性。局部特征提取是臉部特征精確配準(zhǔn)是魯棒實用的人臉識別系統(tǒng)的基本前提，也是提取人臉幾何特征的基本前提，柔性模型(Flexible Models)，是目前解決該問題的主流方法。Kass等人在1987年首先提出了稱為Snake的主動輪廓線模型(Active Contour Model, ACM), Snake是能量極小化的一種模型，內(nèi)力約束它的形狀，外力引導(dǎo)它的行為，圖像力將其拖向顯著的圖像特征。Snake模型的引人之處在于它對范圍廣泛的一系列視覺問題給出了統(tǒng)一的解決方法。隨后，T. F. Cootes等人在1995年又提出了一種基于統(tǒng)計模型的方法—— 主動形狀模型(Active Shaper Model，ASM)，該方法對訓(xùn)練集中大量所描述的形狀實例進行統(tǒng)計，建立起反映目標(biāo)形狀變化規(guī)律的形狀統(tǒng)計模型和反映灰度分布規(guī)律的局部灰度模型，通過循環(huán)迭代，得到理想的匹配結(jié)果，在主動形狀模型基礎(chǔ)之上，T. F. Cootes等人又在 1998年中提出了主動表觀模型(AAM)。AAM方法是對ASM的直接擴展，與ASM相比，AAM同樣采用統(tǒng)計分析的方法建立先驗?zāi)Ｐ?，然后，利用先驗?zāi)Ｐ蛯D像中的人臉進行匹配運算。 其優(yōu)點在于該模型不僅僅包含人臉的形狀信息，而且還包含有人臉的內(nèi)部紋理信息。ASM/ AAM將人臉描述為2D形狀和紋理兩個分離的部分，分別用統(tǒng)計的方法進行建模(PCA)，然后再進一步通過PCA將二者融合起來對人臉進行統(tǒng)計建模。柔性模型具有良好的人臉合成能力，可以采用基于合成的圖像分析技術(shù)來對人臉圖像進行特征提取與建模。柔性模型目前已被廣泛用于人臉特征對準(zhǔn)(FaceAlignment)和識別中，并出現(xiàn)了很多的改進模型，AAM將預(yù)先定義的特征點及樣本影響經(jīng)過統(tǒng)計后，留下較低維度但對于我們很有用的特征信息。 應(yīng)用在人臉圖像上，這類特征包括了人臉的形狀信息以及五官的輪廓變化，或者顏色紋理咨詢，膚色變化等，其基本概念可以如下式子表達:X = X + M*c，其中M是已經(jīng)訓(xùn)練好的統(tǒng)計模型矩陣，可以表示臉部的輪廓變化或紋理變化，c是一個向量。則一個新臉部圖像X等于用平均臉X加上c通過模型M產(chǎn)生的變化量。由控制參數(shù)矢量c控制形狀和紋理的變化， 調(diào)節(jié)c可以得到不同的形狀和臉部紋理，從而合成不同的人臉。目前，性別識別絕大部分是采用人臉識別的，而服裝、發(fā)型、裝飾、聲音、步態(tài)等特征研究的較少，特別是服裝和裝飾更少，就裝飾而言，在網(wǎng)上還未找到相關(guān)的論文。主要原因是這些特征難以檢測和自動提取，比如頭發(fā)，要檢測并提取出來是非常具有挑戰(zhàn)性的，主要是其非剛性形狀，還有就是顏色變化非常大，這比人臉提取難度大得多了。最早進行發(fā)型檢測的是^coob and Davis，他們使用的是簡單的顏色聚類模型方法來檢測頭發(fā)像素， 這種方法限定在控制背景和頭發(fā)顏色變化不是很大的條件下使用，提出的Graph-Cut算法是一種自動提取人臉和發(fā)型的顏色和位置聚類優(yōu)先方法，所述的發(fā)型特征提取的具體步驟(1)從視頻中獲取一幀圖像進行檢測，可以定時獲取圖像或是已經(jīng)檢測到場景中有人物時定時獲取單帖圖像進行處理；( 對獲取一幀后的圖像進行預(yù)處理，此步驟中因為發(fā)型提取與人臉提取不一樣，人臉模型的剛性比較強，人臉的反光度比頭發(fā)低，即人臉對光照的敏感度比頭發(fā)要低；C3)對預(yù)處理后的圖像進行人臉和發(fā)型的分割，此步驟主要是頭發(fā)的柔性比較大，其沒有一個相對固定的形狀，并且對光線的影響很大，無論是光照強度還是光照方向，其方法有簡單的顏色和位置聚類算法、LBP算法、Graph-Cut算法、Loopy Belief Propagation算法和顏色和位置聚類優(yōu)先的Graph-Cut算法等，顏色和位置聚類優(yōu)先的 Graph-Cut算法效果較好；(4)對分割后的圖中提取發(fā)型模型。
作為人臉特征的補充，步態(tài)識別對于非正面人臉特征識別具有重要的意義，如果人臉檢測的是側(cè)面人臉，那么人臉特征將很難獲取，這樣會導(dǎo)致識別的拒絕率提高，所述的步態(tài)特征提取的具體步驟(1)從視頻文件中獲取步態(tài)序列；( 以每個周期為單位計算一個周期內(nèi)的平均能量圖；C3)對每個能量圖取六個點后用線連起來，對其圖像進行分割成七個部分；(4)分別提取每個部分的Gabor特征進行相似度測量，從左至右分別提取的是頭部，手臂(胸)，軀干，大腿，前腿，后腿及腳的特征。所述的性別識別的具體步驟如下(1)提取人體的人臉、膚色、發(fā)型、裝飾等的特征，人臉特征包括整體特征和局部特征；( 通過線性判別方法提取訓(xùn)練檢測到的人體的特征和利用Fisher方法提取訓(xùn)練樣本和目標(biāo)圖像的特征；(3)通過動態(tài)聚類方法對目標(biāo)圖像進行分類并計算單分類器的平均識別率；(4)通過男女訓(xùn)練樣本對支持向量回歸機 (SVR)進行訓(xùn)練得到一組參數(shù)值，利用訓(xùn)練好的SVR對測試樣本進行分類；(5)將各種融合規(guī)則和不同融合規(guī)則的分類精度進行比較。所述的年齡段識別的具體步驟如下(1)提取人體的人臉、膚色、發(fā)型、裝飾等的特征，對人臉，選取鑒別能力較強的左右眼睛、鼻子和嘴巴作為局部區(qū)域，在一定程度上降低計算復(fù)雜度，標(biāo)定特征點分割出人臉的左右眼睛、鼻子和嘴巴區(qū)域；(2)通過線性判別方法提取訓(xùn)練檢測到的人體的特征，利用Fisher方法利用Fisher方法提取訓(xùn)練樣本和目標(biāo)圖像的特征；C3)通過動態(tài)聚類方法對目標(biāo)圖像進行分類并計算單分類器的平均識別率； (4)通過不同年齡段(老、中、青、少等)訓(xùn)練樣本對支持向量回歸機進行訓(xùn)練得到一組參數(shù)值；(5)將各種融合規(guī)則和不同融合規(guī)則的分類精度進行比較，根據(jù)對目標(biāo)圖像的分類迭代增加分類類別，縮小年齡段分類區(qū)間，以提高年齡估計精度。本發(fā)明的復(fù)雜環(huán)境下多特征融合的節(jié)能型智能識別數(shù)字標(biāo)牌的有益效果是基于復(fù)雜環(huán)境下的目標(biāo)人群的多種特征的提取與融合方法，能更加準(zhǔn)確地識別人群所屬年齡段及喜好，并且在無人時候自動進入休眠狀態(tài)，做到綠色節(jié)能環(huán)保，還更加滿足智能數(shù)字標(biāo)牌市場對于高效、高性能和高可靠性解決方案的需求，為數(shù)字內(nèi)容、交互活動、智能信息和生命周期管理提供更好的支持。


下面結(jié)合附圖和實施例對本發(fā)明進一步說明。圖1是本發(fā)明的結(jié)構(gòu)框圖；圖2是基于視頻的人體檢測框圖；圖3是圖1的步態(tài)特征中一個周期內(nèi)的平均能量圖；圖4是圖1的步態(tài)特征中步態(tài)圖像分割圖；圖5是圖1的步態(tài)特征中步態(tài)相似度測量圖；圖6是圖1的步態(tài)特征中步態(tài)特征提取圖；圖7是圖1中性別齡段的結(jié)構(gòu)識別框圖。
具體實施例方式現(xiàn)在結(jié)合附圖對本發(fā)明作進一步詳細(xì)的說明。這些附圖均為簡化的示意圖，僅以示意方式說明本發(fā)明的基本結(jié)構(gòu)，因此其僅顯示與本發(fā)明有關(guān)的構(gòu)成。
如圖1和圖2所示的復(fù)雜環(huán)境下多特征融合的節(jié)能型智能識別數(shù)字標(biāo)牌，利用視頻圖像中的運動目標(biāo)對其運動區(qū)域標(biāo)記，去除不滿足要求的區(qū)域，訓(xùn)練集通過人體檢測器對篩選出來的運動區(qū)域標(biāo)記進行運動人體檢測得到運動人體實例，其具體步驟是步驟一、人群特征提取(1)人臉圖像的特征提取a.整體特征提取Gabor變換源于窗口傅里葉變換，但因其窗口可仲縮，核函數(shù)頻率及帶寬可調(diào)的特性與小波變換相似，故稱為Gabor小波變換，和傳統(tǒng)的一些變換方法相比Gabor小波變換有著明顯的優(yōu)勢，傳統(tǒng)方法的缺陷是窗口尺寸一經(jīng)確定就無法更改，因此其尺度不能變化，無法實現(xiàn)對信號進行多尺度分析，Gabor小波變換即具有小波變換的多分辨率特性，同時又具有Gabor函數(shù)的局域性和方向性，近年來的研究表明Gabor小波能夠更好的兼顧信號在時域和頻域的分辨率，而且在頻率和方向上對圖像的表示特性與人類視覺系統(tǒng)的相關(guān)特性非常相似，能夠捕捉對應(yīng)于空間和頻率的局部結(jié)構(gòu)信息，與其它濾波方法相比，Gabor小波更適用于圖像的特征提取上，特別是在人臉圖像的應(yīng)用中，二維Gabor 小波是圖像多尺度分析的有力工具，具有很好的方向選擇性和空間局部性，能精確地提取圖像局部區(qū)域內(nèi)多個方向的結(jié)構(gòu)特征。并且對光照和尺度變化不敏感，能容忍圖像一定程度的旋轉(zhuǎn)和變形，具有較高的魯棒性；b.局部特征提取臉部特征精確配準(zhǔn)是魯棒實用的人臉識別系統(tǒng)的基本前提，也是提取人臉幾何特征的基本前提。柔性模型(Flexible Models)，是目前解決該問題的主流方法，Kass等人在1987年首先提出了稱為Snake的主動輪廓線模型(Active Contour Model, ACM), Snake是能量極小化的一種模型，內(nèi)力約束它的形狀，外力引導(dǎo)它的行為，圖像力將其拖向顯著的圖像特征，Snake模型的引人之處在于它對范圍廣泛的一系列視覺問題給出了統(tǒng)一的解決方法。隨后，T. F. Cootes等人在1995年又提出了一種基于統(tǒng)計模型的方法——主動形狀模型(Active Shaper Model，ASM)，該方法對訓(xùn)練集中大量所描述的形狀實例進行統(tǒng)計，建立起反映目標(biāo)形狀變化規(guī)律的形狀統(tǒng)計模型和反映灰度分布規(guī)律的局部灰度模型，通過循環(huán)迭代，得到理想的匹配結(jié)果，在主動形狀模型基礎(chǔ)之上，T. F. Cootes等人又在1998年中提出了主動表觀模型(AAM)，AAM方法是對ASM的直接擴展，與ASM相比， AAM同樣采用統(tǒng)計分析的方法建立先驗?zāi)Ｐ停缓?，利用先驗?zāi)Ｐ蛯D像中的人臉進行匹配運算。其優(yōu)點在于該模型不僅僅包含人臉的形狀信息，而且還包含有人臉的內(nèi)部紋理信息， ASM/AAM將人臉描述為2D形狀和紋理兩個分離的部分，分別用統(tǒng)計的方法進行建模(PCA)， 然后再進一步通過PCA將二者融合起來對人臉進行統(tǒng)計建模。柔性模型具有良好的人臉合成能力，可以采用基于合成的圖像分析技術(shù)來對人臉圖像進行特征提取與建模，柔性模型目前已被廣泛用于人臉特征對準(zhǔn)(Face Al ignment)和識別中，并出現(xiàn)了很多的改進模型。AAM將預(yù)先定義的特征點及樣本影響經(jīng)過統(tǒng)計后，留下較低維度但對于我們很有用的特征信息，應(yīng)用在人臉圖像上，這類特征包括了人臉的形狀信息以及五官的輪廓變化， 或者顏色紋理咨詢，膚色變化等等，其基本概念可以用以下表達式表達X = X + M*c其中M是已經(jīng)訓(xùn)練好的統(tǒng)計模型矩陣，可以表示臉部的輪廓變化或紋理變化，c是一個向量。則一個新臉部圖像X等于用平均臉X加上C通過模型M產(chǎn)生的變化量。由控制參數(shù)矢量c控制形狀和紋理的變化，調(diào)節(jié)c可以得到不同的形狀和臉部紋理，從而合成不同的人臉。(2)發(fā)型特征提取a.從視頻中獲取一幀圖像進行檢測，可以定時獲取圖像或是已經(jīng)檢測到場景中有人物時定時獲取單帖圖像進行處理；b對獲取一幀后的圖像進行預(yù)處理，這一步很重要，這一步處理的效果影響后面發(fā)型模型提取的效果，因為發(fā)型提取與人臉提取不一樣，人臉模型的剛性比較強，人臉的反光度比頭發(fā)低，即人臉對光照的敏感度比頭發(fā)要低。所有這一步的處理直接影響后續(xù)發(fā)型提取和識別的效果；c對預(yù)處理后的圖像進行人臉和發(fā)型的分割，這一步是整個過程的難點，主要是頭發(fā)的柔性比較大，其沒有一個相對固定的形狀，并且對光線的影響很大，無論是光照強度還是光照方向。其方法有簡單的顏色和位置聚類算法、LBP算法、Graph-Cut算法、Loopy Belief Propagation算法和顏色和位置聚類優(yōu)先的Graph-Cut算法等，顏色和位置聚類優(yōu)先的Graph-Cut算法效果較好；d對分割后的圖中提取發(fā)型模型。(3)步態(tài)特征提取a.從視頻文件中獲取步態(tài)序列；b.以每個周期為單位計算一個周期內(nèi)的平均能量圖，如圖3所示；c.對每個能量圖取六個點后用線連起來，對其圖像進行分割成七個部分，如圖4 所示；d.分別提取每個部分的Gabor特征進行相似度測量，如圖5所示。如圖6所示，從左至右分別提取的是頭部，手臂(胸)，軀干，大腿，前腿，后腿及腳的特征。步驟二、用分類器進行性別識別和年齡識別，如圖7所示(I)Fisher線性判別法作為單分類器來說，其識別性能在不同的數(shù)據(jù)庫上均不錯， 但是，利用Fisher線性法在進行降維處理時，還是會丟失一些有用的信息，而這些信息對于后面的步驟可能很重要，這也是該方法的不足之處；(2)動態(tài)聚類算法C_均值算法是一種常用的基于近鄰法則的無監(jiān)督學(xué)習(xí)方法。 首先確定需要的群數(shù)c，選好c個代表點，用這些代表點作為初始類型，再對樣本集H中每個樣本X找出相距最近的代表點，將X歸到這個最近的代表點所在的群中去，這樣，第一次迭代就用近鄰法則將H初步分為c群，下一次迭代就在這個基礎(chǔ)上以上次迭代所得的各群的均值向量作為新的代表點，再次按近鄰法則將H分為c群，直到分群穩(wěn)定為止，C-均值算法的收斂速度比較快，但是其收斂結(jié)果取決于初始聚類中心的選取；(3)支持向量回歸機是支持向量機方法在回歸問題上的推廣，通過引入不敏感損失函數(shù)和核函數(shù)，可以很好地應(yīng)用于非線性回歸分析，并且對小樣本集問題具有良好的預(yù)測性能。(4)性別識別a.提取到人體的人臉、膚色、發(fā)型、裝飾等各種特征。人臉特征包括整體和局部特征；b.利用線性判別方法提取訓(xùn)練檢測到的人體的特征，同時利用Fisher方法提取訓(xùn)練樣本和目標(biāo)圖像的特征；c.利用動態(tài)聚類方法對目標(biāo)圖像進行分類，并計算單分類器的平均識別率；d.利用男女訓(xùn)練樣本對SVR進行訓(xùn)練，得到一組參數(shù)值。利用訓(xùn)練好的SVR對測試樣本進行分類；e.利用各種融合規(guī)則進行組合分類，比較不同融合規(guī)則的分類精度。(5)年齡段識別a.提取到人體的人臉、膚色、發(fā)型、裝飾等各種特征，對人臉，選取鑒別能力較強的左右眼睛、鼻子和嘴巴作為局部區(qū)域，在一定程度上降低計算復(fù)雜度。標(biāo)定特征點分割出人臉的左右眼睛、鼻子和嘴巴區(qū)域；b.利用線性判別方法提取訓(xùn)練檢測到的人體的特征，同時利用Fisher方法提取訓(xùn)練樣本和目標(biāo)圖像的特征；c.利用動態(tài)聚類方法對目標(biāo)圖像進行分類，并計算單分類器的平均識別率；d.利用不同年齡段(老、中、青、少等)訓(xùn)練樣本對SVR進行訓(xùn)練，得到一組參數(shù)值。利用訓(xùn)練好的SVR對測試樣本進行分類；e.利用各種融合規(guī)則進行組合分類，比較不同融合規(guī)則的分類精度。根據(jù)對目標(biāo)圖像的分類迭代增加分類類別，縮小年齡段分類區(qū)間，以提高年齡估計精度。步驟三、智能廣告投放廣告初始階段通過人工方式進行分類，并標(biāo)注適宜人群屬性(年齡、性別、地理位置和收入等)，若有可能，系統(tǒng)增加觀察量用戶對某一廣告的觀看時間。利用該時間，得到某類人群對各個廣告的喜愛程度，以便調(diào)整各個廣告的播放策略。步驟四、綠色環(huán)保通過判斷攝像頭有無人體檢測或者麥克風(fēng)有無大于一定閾值的聲音輸入結(jié)果，從而決定是否進入休眠省電狀態(tài)。以上述依據(jù)本發(fā)明的理想實施例為啟示，通過上述的說明內(nèi)容，相關(guān)工作人員完全可以在不偏離本項發(fā)明技術(shù)思想的范圍內(nèi)，進行多樣的變更以及修改。本項發(fā)明的技術(shù)性范圍并不局限于說明書上的內(nèi)容，必須要根據(jù)權(quán)利要求范圍來確定其技術(shù)性范圍。
權(quán)利要求
1.一種復(fù)雜環(huán)境下多特征融合的節(jié)能型智能識別數(shù)字標(biāo)牌，利用視頻圖像中的運動目標(biāo)對其進行運動區(qū)域標(biāo)記，訓(xùn)練集通過人體檢測器對篩選出來的運動區(qū)域標(biāo)記進行運動人體檢測得到運動人體實例，其特征是其具體步驟是a.人群特征提取通過對人臉圖像的特征提取、發(fā)型特征提取和步態(tài)特征提??；b.用分類器進行性別識別和年齡識別所述的分類器包括Fisher線性判別法、動態(tài)聚類算法和支持向量回歸機；c.智能廣告投放包括協(xié)同過濾推薦技術(shù)、基于內(nèi)容的推薦技術(shù)、基于人口統(tǒng)計學(xué)的推薦技術(shù)、基于效用的推薦、基于知識的推薦和基于關(guān)聯(lián)規(guī)則的推薦；d.綠色環(huán)保通過判斷攝像頭有無人體檢測或者麥克風(fēng)有無大于一定閾值的聲音輸入結(jié)果，判斷是否進入休眠省電狀態(tài)。
2.根據(jù)權(quán)利要求1所述的復(fù)雜環(huán)境下多特征融合的節(jié)能型智能識別數(shù)字標(biāo)牌，其特征是所述的人臉圖像的特征提取包括利用二維Gabor小波進行圖像進行多尺度分析的整體特征提取和采用基于合成的圖像分析技術(shù)來對人臉圖像進行特征提取和建模的局部特征提取。
3.根據(jù)權(quán)利要求1所述的復(fù)雜環(huán)境下多特征融合的節(jié)能型智能識別數(shù)字標(biāo)牌，其特征是所述的發(fā)型特征提取的具體步驟(1)從視頻中獲取一幀圖像進行檢測；( 對獲取一幀后的圖像進行預(yù)處理；C3)對預(yù)處理后的圖像進行人臉和發(fā)型的分割；(4)對分割后的圖中提取發(fā)型模型。
4.根據(jù)權(quán)利要求1所述的復(fù)雜環(huán)境下多特征融合的節(jié)能型智能識別數(shù)字標(biāo)牌，其特征是所述的步態(tài)特征提取的具體步驟(1)從視頻文件中獲取步態(tài)序列；( 以每個周期為單位計算一個周期內(nèi)的平均能量圖；C3)對每個能量圖取六個點后用線連起來，對其圖像進行分割成七個部分；(4)分別提取每個部分的Gabor特征進行相似度測量。
5.根據(jù)權(quán)利要求1所述的復(fù)雜環(huán)境下多特征融合的節(jié)能型智能識別數(shù)字標(biāo)牌，其特征是所述的性別識別的具體步驟如下(1)提取人體的人臉、膚色、發(fā)型、裝飾的特征；(2)通過線性判別方法提取訓(xùn)練檢測到的人體的特征和提取訓(xùn)練樣本和目標(biāo)圖像的特征；(3)通過動態(tài)聚類方法對目標(biāo)圖像進行分類并計算單分類器的平均識別率；(4)通過男女訓(xùn)練樣本對支持向量回歸機進行訓(xùn)練得到一組參數(shù)值；(5)將各種融合規(guī)則和不同融合規(guī)則的分類精度進行比較。
6.根據(jù)權(quán)利要求1所述的復(fù)雜環(huán)境下多特征融合的節(jié)能型智能識別數(shù)字標(biāo)牌，其特征是所述的年齡段識別的具體步驟如下(1)提取人體的人臉、膚色、發(fā)型、裝飾的特征；(2) 通過線性判別方法提取訓(xùn)練檢測到的人體的特征，利用Fisher方法提取訓(xùn)練樣本和目標(biāo)圖像的特征；C3)通過動態(tài)聚類方法對目標(biāo)圖像進行分類并計算單分類器的平均識別率； (4)通過不同年齡段訓(xùn)練樣本對支持向量回歸機進行訓(xùn)練得到一組參數(shù)值；( 將各種融合規(guī)則和不同融合規(guī)則的分類精度進行比較。
全文摘要
本發(fā)明涉及復(fù)雜環(huán)境下多特征融合的節(jié)能型智能識別數(shù)字標(biāo)牌，利用視頻圖像中的運動目標(biāo)對其進行運動區(qū)域標(biāo)記，訓(xùn)練集通過人體檢測器對篩選出來的運動區(qū)域標(biāo)記進行運動人體檢測得到運動人體實例，具體步驟是a.人群特征提??；b.用分類器進行性別識別和年齡識別；c.智能廣告投放；d.綠色環(huán)保。本發(fā)明的復(fù)雜環(huán)境下多特征融合的節(jié)能型智能識別數(shù)字標(biāo)牌，能更加準(zhǔn)確地識別人群所屬年齡段及喜好，并且在無人時候自動進入休眠狀態(tài)，做到綠色節(jié)能環(huán)保，還更加滿足智能數(shù)字標(biāo)牌市場對于高效、高性能和高可靠性解決方案的需求，為數(shù)字內(nèi)容、交互活動、智能信息和生命周期管理提供更好的支持。
文檔編號G06K9/66GK102298709SQ20111026478
公開日2011年12月28日 申請日期2011年9月7日 優(yōu)先權(quán)日2011年9月7日
發(fā)明者伍世虔, 劉軍, 吳軍, 張怡, 張紅, 方志軍, 楊勇, 楊壽淵, 楊巨成 申請人:常州藍(lán)城信息科技有限公司, 江西財經(jīng)大學(xué)