專利名稱：基于人臉檢測(cè)與識(shí)別的人物圖片索引方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及互聯(lián)網(wǎng)人物圖片索引技術(shù)領(lǐng)域，具體而言，涉及一種人臉檢測(cè)與識(shí)別的人物圖片索引方法及裝置。
背景技術(shù)：
目前，在Web端進(jìn)行人物圖片檢索逐漸成為普遍需求，伴隨著互聯(lián)網(wǎng)的高速發(fā)展，互聯(lián)網(wǎng)上的信息量也呈幾何級(jí)數(shù)爆炸性增長(zhǎng)，圖片搜索引擎返回的相關(guān)人物的圖像搜索結(jié)果通常有成千上萬(wàn)個(gè)甚至更多，導(dǎo)致通過(guò)關(guān)鍵詞的方式尋找目標(biāo)任務(wù)圖片的效果不甚理
本巨
ο通常，圖片檢索分為基于文本和基于內(nèi)容兩個(gè)不同方向。基于文本的圖像檢索(Text—Based Image Retrieval, TBIR)技術(shù)，早期的基于文本的圖像檢索借用了文本索弓I技術(shù)。文本搜索弓I擎是將網(wǎng)站、網(wǎng)頁(yè)的內(nèi)容索引為一系列關(guān)鍵字，當(dāng)用戶輸入關(guān)鍵字后，系統(tǒng)可以根據(jù)數(shù)據(jù)庫(kù)中的倒排文件將關(guān)鍵字映射為網(wǎng)站或網(wǎng)頁(yè)的地址?；谠撛恚瑢?duì)于圖像文件，一樣可以根據(jù)其內(nèi)容手工將其標(biāo)注為一系列關(guān)鍵字或文本標(biāo)題及一些附加信息，并對(duì)關(guān)鍵字建立索引，再對(duì)圖像進(jìn)行基于關(guān)鍵字的檢索，這樣，圖像檢索就轉(zhuǎn)化為文本檢索的問(wèn)題。目前，多數(shù)商業(yè)Web圖片搜索引擎，主要采用TBIR方法，但是，這種方法很不實(shí)用，一是必須由人工完整地標(biāo)注所有圖像，對(duì)于小圖像集合也許問(wèn)題不大，但隨著圖像數(shù)目的增加，特別是網(wǎng)絡(luò)上的圖像是無(wú)窮無(wú)盡的，這種方法顯然不可行；二是圖像所包含的信息量龐大，一些圖片包含的內(nèi)容遠(yuǎn)非少量文本標(biāo)注所能完整表達(dá)的，不同用戶對(duì)于同一張圖像的看法不及相同，這就導(dǎo)致對(duì)圖像的標(biāo)注沒有一個(gè)統(tǒng)一標(biāo)準(zhǔn)，檢索出的結(jié)果不能很好符合用戶的需求?；趦?nèi)容的圖像檢索技術(shù)(Content-Based Image Retrieval, CBIR)技術(shù)，鑒于上述的基于文本的圖像檢索技術(shù)所存在的弊端，研究人員提出了一種新的基于圖像自身內(nèi)容的圖像檢索技術(shù)。基于內(nèi)容的圖像檢索不需要用戶的參與，而利用圖像自身的特征，將圖像自身的視覺內(nèi)容特征作為其索引，如顏色、紋理、形狀及空間關(guān)系等底層特征來(lái)進(jìn)行檢索，具有較強(qiáng)的客觀性。通常，可以抽取圖像庫(kù)中所有文件的特征，用戶檢索的過(guò)程一般是提供一個(gè)樣例圖像，系統(tǒng)抽取該樣例圖像的特征，然后同數(shù)據(jù)庫(kù)中所有的特征進(jìn)行比較，并將與樣例特征相似的圖像返回給用戶，這個(gè)過(guò)程稱之為基于樣例的圖像檢索。當(dāng)前研究基于內(nèi)容的圖像檢索的難點(diǎn)集中在如何在抽取的底層特征和圖像內(nèi)容所表示的語(yǔ)義特征間建立很好的聯(lián)系，也就是說(shuō)，由于抽取的圖像的底層特征并不能很好地體現(xiàn)圖像真正的語(yǔ)義信息，以至于采取該基于內(nèi)容的圖像檢索技術(shù)所檢索出來(lái)的結(jié)果往往不能令人滿意。

發(fā)明內(nèi)容
為了提高用戶對(duì)圖像檢索結(jié)果的滿意度，本發(fā)明的目的在于提供一種基于人臉檢測(cè)與識(shí)別的人物圖片索引方法及裝置。
為了達(dá)到本發(fā)明的目的，本發(fā)明采用以下技術(shù)方案一種基于人臉檢測(cè)與識(shí)別的人物圖片索引方法，包括獲取用戶輸入的關(guān)鍵詞；在搜索到的圖片集合中，根據(jù)文本相關(guān)性并融合圖片點(diǎn)擊調(diào)權(quán)執(zhí)行第一次排序；依據(jù)第一次排序結(jié)果使用靠前圖片訓(xùn)練與所述關(guān)鍵詞關(guān)聯(lián)的人臉識(shí)別模型，并對(duì)圖片集合進(jìn)行相似度打分；對(duì)新增至圖片數(shù)據(jù)庫(kù)中的與所述關(guān)鍵詞匹配的圖片數(shù)據(jù)執(zhí)行人臉檢測(cè)并分類篩選，獲取人臉圖片；
依據(jù)人臉識(shí)別模型對(duì)所述人臉圖片進(jìn)行相似度評(píng)判，并依據(jù)評(píng)判結(jié)果對(duì)更新后的圖片數(shù)據(jù)庫(kù)執(zhí)行第二次排序。優(yōu)選地，在依據(jù)所述關(guān)鍵詞表示的待檢索語(yǔ)義或圖片點(diǎn)擊調(diào)權(quán)執(zhí)行第一次排序的步驟之后，所述基于人臉檢測(cè)與識(shí)別的人物圖片索引方法還包括獲取圖片集合的前N個(gè)圖片；對(duì)圖片進(jìn)行灰度和尺度歸一化預(yù)處理，利用adaboost迭代算法檢測(cè)人臉，模型采用跨平臺(tái)計(jì)算機(jī)視覺庫(kù)opencv訓(xùn)練的正臉和測(cè)量檢測(cè)模型；采用支持向量機(jī)SVM (Support Vector Machines, SVM)對(duì)裁剪圖片進(jìn)行分類篩選處理，去除非人臉圖片，獲取訓(xùn)練樣本。優(yōu)選地，在一幅圖片經(jīng)正臉檢測(cè)和側(cè)臉檢測(cè)后無(wú)人臉被檢測(cè)到的情況下，將該圖片向左右旋轉(zhuǎn)預(yù)設(shè)角度，之后重新進(jìn)行正臉檢測(cè)和側(cè)臉檢測(cè)。優(yōu)選地,對(duì)訓(xùn)練樣本采用局部二值模式LBP(Local Binary Patterns,局部二值模式)算法提取特征，對(duì)訓(xùn)練樣本的LBP特征數(shù)據(jù)縮放到預(yù)先指定的范圍區(qū)間，利用二分類模型分類篩選人臉圖片作為訓(xùn)練樣本。優(yōu)選地，依據(jù)第一次排序結(jié)果訓(xùn)練出與所述關(guān)鍵詞關(guān)聯(lián)的人臉識(shí)別模型的步驟包括依據(jù)獲取的訓(xùn)練樣本訓(xùn)練人臉識(shí)別模型，其中，所述訓(xùn)練樣本包含了具有平面內(nèi)旋轉(zhuǎn)、水平旋轉(zhuǎn)以及俯仰旋轉(zhuǎn)的多角度人臉圖片。優(yōu)選地，對(duì)新增至圖片數(shù)據(jù)庫(kù)中的與所述關(guān)鍵詞匹配的圖片數(shù)據(jù)執(zhí)行人臉檢測(cè)并分類篩選以獲取人臉圖片的步驟包括對(duì)新增至圖片數(shù)據(jù)庫(kù)中的與所述關(guān)鍵詞匹配的圖片數(shù)據(jù)利用adaboost迭代算法執(zhí)行人臉檢測(cè)；利用支持向量機(jī)SVM對(duì)檢測(cè)圖片執(zhí)行分類篩選，獲取人臉圖片。優(yōu)選地，依據(jù)人臉識(shí)別模型對(duì)所述人臉圖片進(jìn)行相似度評(píng)判并依據(jù)評(píng)判結(jié)果對(duì)更新后的圖片數(shù)據(jù)庫(kù)執(zhí)行第二次排序的方法為依據(jù)人臉識(shí)別模型對(duì)新增至圖片數(shù)據(jù)庫(kù)的人臉圖片進(jìn)行相似度打分，并利用相似度分?jǐn)?shù)對(duì)更新后的圖片數(shù)據(jù)庫(kù)執(zhí)行第二次排序。一種基于人臉檢測(cè)與識(shí)別的人物圖片索引裝置，包括第一獲取單元，用于獲取用戶輸入的關(guān)鍵詞；第一排序單元，用于在搜索到的圖片集合中，根據(jù)文本相關(guān)性并融合圖片點(diǎn)擊調(diào)權(quán)執(zhí)行第一次排序；
訓(xùn)練單元，用于依據(jù)第一次排序結(jié)果使用靠前圖片訓(xùn)練與所述關(guān)鍵詞關(guān)聯(lián)的人臉識(shí)別模型，并對(duì)圖片集合進(jìn)行相似度打分；第二獲取單元，用于對(duì)新增至圖片數(shù)據(jù)庫(kù)中的與所述關(guān)鍵詞匹配的圖片數(shù)據(jù)執(zhí)行人臉檢測(cè)并分類篩選，獲取人臉圖片；第二排序單元，用于依據(jù)人臉識(shí)別模型對(duì)所述人臉圖片進(jìn)行相似度評(píng)判，并依據(jù)評(píng)判結(jié)果對(duì)更新后的圖片數(shù)據(jù)庫(kù)執(zhí)行第二次排序。優(yōu)選地，所述訓(xùn)練單元還用于獲取圖片集合的前N個(gè)圖片，對(duì)圖片進(jìn)行灰度和尺度歸一化預(yù)處理，利用adaboost迭代算法檢測(cè)人臉,模型采用跨平臺(tái)計(jì)算機(jī)視覺庫(kù)opencv訓(xùn)練的正臉和測(cè)量檢測(cè)模型，采用支持向量機(jī)SVM對(duì)裁剪圖片進(jìn)行分類篩選處理，去除非人臉圖片，獲取訓(xùn)練樣本。優(yōu)選地，在一幅圖片經(jīng)正臉檢測(cè)和側(cè)臉檢測(cè)后無(wú)人臉被檢測(cè)到的情況下，所述訓(xùn) 練單元將該圖片向左右旋轉(zhuǎn)預(yù)設(shè)角度，之后重新進(jìn)行正臉檢測(cè)和側(cè)臉檢測(cè)。優(yōu)選地，所述訓(xùn)練單元對(duì)訓(xùn)練樣本采用局部二值模式LBP算法提取特征，對(duì)訓(xùn)練樣本的LBP特征數(shù)據(jù)縮放到預(yù)先指定的范圍區(qū)間，利用二分類模型分類篩選人臉圖片作為訓(xùn)練樣本。優(yōu)選地，所述訓(xùn)練單元依據(jù)獲取的訓(xùn)練樣本訓(xùn)練人臉識(shí)別模型，其中，所述訓(xùn)練樣本包含了具有平面內(nèi)旋轉(zhuǎn)、水平旋轉(zhuǎn)以及俯仰旋轉(zhuǎn)的多角度人臉圖片。優(yōu)選地，第二獲取單元對(duì)新增至圖片數(shù)據(jù)庫(kù)中的與所述關(guān)鍵詞匹配的圖片數(shù)據(jù)執(zhí)行人臉檢測(cè)并分類篩選以獲取人臉圖片的步驟包括對(duì)新增至圖片數(shù)據(jù)庫(kù)中的與所述關(guān)鍵詞匹配的圖片數(shù)據(jù)利用adaboost迭代算法執(zhí)行人臉檢測(cè)；利用支持向量機(jī)SVM對(duì)檢測(cè)圖片執(zhí)行分類篩選，獲取人臉圖片。優(yōu)選地，第二排序單元依據(jù)人臉識(shí)別模型對(duì)所述人臉圖片進(jìn)行相似度評(píng)判，并依據(jù)評(píng)判結(jié)果對(duì)更新后的圖片數(shù)據(jù)庫(kù)執(zhí)行第二次排序的方法為依據(jù)人臉識(shí)別模型對(duì)新增至圖片數(shù)據(jù)庫(kù)的人臉圖片進(jìn)行相似度打分，并利用相似度分?jǐn)?shù)對(duì)更新后的圖片數(shù)據(jù)庫(kù)執(zhí)行第二次排序。通過(guò)上述本發(fā)明的技術(shù)方案可以看出，采用本發(fā)明可以有效改善圖像搜索結(jié)果的匹配相關(guān)性，其能夠避免傳統(tǒng)的單純基于文本的圖片打分政策的弊端，在基于文本的圖像檢索方式基礎(chǔ)之上加入基于圖像內(nèi)容的檢索方式，更能準(zhǔn)確反映圖片的匹配相關(guān)性，提高用戶對(duì)圖像檢索結(jié)果的滿意度。


此處所說(shuō)明的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本發(fā)明的一部分，本發(fā)明的示意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中圖I是本發(fā)明實(shí)施例提供的一種基于人臉檢測(cè)與識(shí)別的人物圖片索引方法流程示意圖；圖2是本發(fā)明實(shí)施例提供的人臉識(shí)別模型訓(xùn)練流程示意圖；圖3是本發(fā)明實(shí)施例提供的人臉識(shí)別流程及檢索結(jié)果重排流程示意圖；圖4是本發(fā)明實(shí)施例提供的一種基于人臉檢測(cè)與識(shí)別的人物圖片索引方法結(jié)構(gòu)示意圖。
具體實(shí)施例方式為了使本發(fā)明所要解決的技術(shù)問(wèn)題、技術(shù)方案及有益效果更加清楚、明白，以下結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。用戶瀏覽圖片的需求與日劇增，通過(guò)輸入關(guān)鍵詞的方式查詢是普遍采用的方式，但是查詢結(jié)果中往往會(huì)摻雜干擾圖片，通過(guò)本發(fā)明能夠優(yōu)化查詢結(jié)果。本發(fā)明的核心思想為對(duì)數(shù)據(jù)庫(kù)圖片首先利用已有索引排序方法處理，得到初步的排序結(jié)果。之后利用人臉識(shí)別對(duì)圖片相似度打分，此過(guò)程的實(shí)現(xiàn)涉及識(shí)別模型的訓(xùn)練和人臉識(shí)別打分兩部份算法。采用本發(fā)明，將基于文本的圖像檢索方式和基于圖像內(nèi)容的圖像檢索方式相結(jié)合，首先利用文本信息等對(duì)圖片數(shù)據(jù)庫(kù)的圖片進(jìn)行第一次排序，接著基于圖片內(nèi)容信息對(duì)第一次排序結(jié)果進(jìn)行重排，從而可以達(dá)到很好的顯示效果。下面結(jié)合附圖和具體實(shí)施方式
對(duì)本專利加以說(shuō)明。如圖I所示，本發(fā)明實(shí)施例提供的一種基于人臉檢測(cè)與識(shí)別的人物圖片索引方法，包括如下步驟S10、獲取用戶輸入的關(guān)鍵詞；S20、在搜索到的圖片集合中，根據(jù)文本相關(guān)性并融合圖片點(diǎn)擊調(diào)權(quán)執(zhí)行第一次排序; S30、依據(jù)第一次排序結(jié)果使用靠前圖片訓(xùn)練與所述關(guān)鍵詞關(guān)聯(lián)的人臉識(shí)別模型，并對(duì)圖片集合進(jìn)行相似度打分；S40、對(duì)新增至圖片數(shù)據(jù)庫(kù)中的與所述關(guān)鍵詞匹配的圖片數(shù)據(jù)執(zhí)行人臉檢測(cè)并分類篩選，獲取人臉圖片；S50、依據(jù)人臉識(shí)別模型對(duì)所述人臉圖片進(jìn)行相似度評(píng)判，并依據(jù)評(píng)判結(jié)果對(duì)更新后的圖片數(shù)據(jù)庫(kù)執(zhí)行第二次排序。優(yōu)選實(shí)施方式下，在依據(jù)所述關(guān)鍵詞表示的待檢索語(yǔ)義或圖片點(diǎn)擊調(diào)權(quán)執(zhí)行第一次排序的步驟S20之后，所述基于人臉檢測(cè)與識(shí)別的人物圖片索引方法還包括S31、獲取圖片集合的前N個(gè)圖片，其中，所述N可由本領(lǐng)域技術(shù)人員依據(jù)具體要求自行設(shè)置；S32、對(duì)圖片進(jìn)行灰度和尺度歸一化預(yù)處理，利用adaboost迭代算法檢測(cè)人臉，模型采用跨平臺(tái)計(jì)算機(jī)視覺庫(kù)opencv訓(xùn)練的正臉和測(cè)量檢測(cè)模型；S33、采用支持向量機(jī)SVM對(duì)裁剪圖片進(jìn)行分類篩選處理，去除非人臉圖片，獲取訓(xùn)練樣本。S34、依據(jù)獲取的訓(xùn)練樣本訓(xùn)練出與所述關(guān)鍵詞關(guān)聯(lián)的人臉識(shí)別模型。具體地，在所述步驟S32中，在一幅圖片經(jīng)正臉檢測(cè)和側(cè)臉檢測(cè)后無(wú)人臉被檢測(cè)到的情況下，將該圖片向左右旋轉(zhuǎn)預(yù)設(shè)角度，之后重新進(jìn)行正臉檢測(cè)和側(cè)臉檢測(cè)。具體地，將訓(xùn)練樣本中的圖片歸一化指定大小后分成3 X 3的窗口，每個(gè)窗口提取uniform模式的LBP特征,采用直方圖統(tǒng)計(jì)LBP特征分布情況,每個(gè)窗口獲得一個(gè)59維的特征向量。
具體地，在所述步驟S33中，對(duì)訓(xùn)練樣本采用局部二值模式LBP算法提取特征，對(duì)訓(xùn)練樣本的LBP特征數(shù)據(jù)縮放到預(yù)先指定的范圍區(qū)間，利用二分類模型(提前訓(xùn)練完成用于區(qū)分人臉與非人臉)過(guò)濾人臉圖片作為訓(xùn)練樣本。。具體地，在所述步驟S34中，依據(jù)獲取的訓(xùn)練樣本訓(xùn)練人臉識(shí)別模型，其中，所述訓(xùn)練樣本包含了具有平面內(nèi)旋轉(zhuǎn)、水平旋轉(zhuǎn)以及俯仰旋轉(zhuǎn)的多角度人臉圖片。優(yōu)選實(shí)施方式下，在所述步驟S40中，對(duì)新增至圖片數(shù)據(jù)庫(kù)中的與所述關(guān)鍵詞匹配的圖片數(shù)據(jù)執(zhí)行人臉檢測(cè)并分類篩選以獲取人臉圖片的步驟包括S401、對(duì)新增至圖片數(shù)據(jù)庫(kù)中的與所述關(guān)鍵詞匹配的圖片數(shù)據(jù)利用adaboost迭代算法執(zhí)行人臉檢測(cè)；S402、利用支持向量機(jī)SVM對(duì)檢測(cè)圖片執(zhí)行分類篩選，獲取人臉圖片。優(yōu)選實(shí)施方式下，在所述步驟S50中，依據(jù)人臉識(shí)別模型對(duì)所述人臉圖片進(jìn)行相 似度評(píng)判并依據(jù)評(píng)判結(jié)果對(duì)更新后的圖片數(shù)據(jù)庫(kù)執(zhí)行第二次排序的方法為依據(jù)人臉識(shí)別模型對(duì)新增至圖片數(shù)據(jù)庫(kù)的人物圖片進(jìn)行相似度打分，并利用相似度分?jǐn)?shù)對(duì)更新后的圖片數(shù)據(jù)庫(kù)執(zhí)行第二次排序。具體地，利用識(shí)別模型對(duì)S402獲取的人臉圖片相似度打分，一幅圖片對(duì)應(yīng)多張人臉圖片時(shí)，分值高的人臉圖片為該圖分值。本發(fā)明實(shí)施例的目的在于提供一種基于人臉檢測(cè)與識(shí)別的人物圖片索引方法，能夠在信息源中自動(dòng)檢索出與特定人臉圖像相同或相似的圖像。為了實(shí)現(xiàn)上述目的，該基于人臉檢測(cè)與識(shí)別的人物圖片索引方法包括訓(xùn)練流程和識(shí)別流程兩個(gè)流程，步驟分別如下一、訓(xùn)練流程，參考圖2，具體包括如下步驟步驟1-1 :基于文本內(nèi)容和點(diǎn)擊調(diào)權(quán)對(duì)圖片庫(kù)圖片排序；步驟1-2 :對(duì)排序靠前的N副(例如1000幅)圖片進(jìn)行人臉檢測(cè)；步驟1-3 :基于支持向量機(jī)SVM對(duì)檢測(cè)到的人臉圖片分類篩選；步驟1-4 :利用篩選后圖片訓(xùn)練識(shí)別模型。二、識(shí)別流程對(duì)有增量的圖片數(shù)據(jù)庫(kù)，在基于文本內(nèi)容排序后利用人臉識(shí)別重新排序，參考圖3，識(shí)別流程對(duì)單張圖片的處理步驟如下步驟2-1 :輸入圖片，并裁剪人臉區(qū)域；步驟2-2 :支持向量機(jī)SVM分類篩選人臉圖片；步驟2-3 :利用識(shí)別模型對(duì)裁剪圖片打分，每幅圖片對(duì)應(yīng)的各裁剪圖片分?jǐn)?shù)中最高分為該圖分?jǐn)?shù)；步驟2-4 :最后利用各張圖片的分?jǐn)?shù)對(duì)查詢結(jié)果進(jìn)行重排。下面，首先介紹識(shí)別模型生成的具體流程。在步驟1-1中，利用時(shí)間戳、標(biāo)簽等信息初步實(shí)現(xiàn)檢索圖片的排序，排序結(jié)果越靠前則越接近用戶查詢目標(biāo)，據(jù)此取排序靠前圖片作為訓(xùn)練庫(kù)圖片來(lái)源。在步驟1-2中，人臉檢測(cè)過(guò)程利用adaboost算法實(shí)現(xiàn)，該算法針對(duì)不同的訓(xùn)練集訓(xùn)練同一個(gè)弱分類器，然后結(jié)合各弱分類器得到一個(gè)強(qiáng)分類器。在人臉檢測(cè)前，首先對(duì)圖片進(jìn)行灰度和尺度歸一化等預(yù)處理，利用opencv訓(xùn)練的正臉和側(cè)臉檢測(cè)模型檢測(cè)人臉。為解決人臉圖片在平面內(nèi)有旋轉(zhuǎn)角度的情況下檢測(cè)效率低的問(wèn)題，通過(guò)旋轉(zhuǎn)原圖后重新檢測(cè)人臉的方式提高人臉檢測(cè)的召回率。一幅圖片在正臉檢測(cè)和側(cè)臉檢測(cè)后無(wú)人臉被檢測(cè)到的情況下，可以將原圖左右旋轉(zhuǎn)30度和60度，重新進(jìn)行正、側(cè)臉檢測(cè)。在本實(shí)施例中，旋轉(zhuǎn)5個(gè)角度是在時(shí)間效率和提升召回率的折中方案。對(duì)人臉?biāo)叫D(zhuǎn)和有俯仰角度的情況沒有考慮。由于網(wǎng)絡(luò)人物圖片受光照、姿態(tài)、年齡變化、妝容等因素影響造成人臉檢測(cè)的準(zhǔn)確率和召回率不高，由此需要執(zhí)行下述步驟1-3進(jìn)一步篩選裁剪圖片。在步驟1-3中，采用支持向量機(jī)SVM方法對(duì)裁剪圖片進(jìn)一步處理，去除非人臉圖片，提升人臉檢測(cè)的準(zhǔn)確率，其中，支持向量機(jī)SVM方法是基于統(tǒng)計(jì)學(xué)習(xí)理論的一種識(shí)別方法，具有較好的分類能力，基本思想是尋找一個(gè)最優(yōu)超平面使分類間隙最大。本發(fā)明實(shí)施例利用支持向量機(jī)SVM實(shí)現(xiàn)人臉圖像與非人臉圖像區(qū)分，對(duì)訓(xùn)練樣本·采用LBP算法提取特征。該算法通過(guò)刻畫每個(gè)像素點(diǎn)與其鄰域內(nèi)其他各點(diǎn)的灰度值的差異來(lái)描述圖像紋理的局部結(jié)構(gòu)特征，在紋理分類上取得了很好的效果。本發(fā)明實(shí)施例中，將圖片歸一化指定大小后分成3X3的窗口，每個(gè)窗口提取uniform模式的LBP特征，直方圖統(tǒng)計(jì)特征分布情況，每個(gè)窗口獲得一個(gè)59維的特征向量。對(duì)樣本特征數(shù)據(jù)縮放到指定范圍區(qū)間，如(_1，I)。在步驟1-4中，利用1-3得到的特征數(shù)據(jù)訓(xùn)練識(shí)別模型，。本發(fā)明實(shí)施例中，人臉識(shí)別采用本征臉?biāo)惴?，即主成分分?PrincipalCompoment Analysis, PCA),其中,PCA是一種基本的多維數(shù)據(jù)描述方法,在盡可能代表原始數(shù)據(jù)的前提下，通過(guò)線性變換將高維空間中的樣本數(shù)據(jù)投影到低維空間中。利用樣本庫(kù)數(shù)據(jù)訓(xùn)練出識(shí)別模型，為相似度打分做準(zhǔn)備。由利用人臉識(shí)別算法對(duì)新增圖片打分，按照分?jǐn)?shù)值對(duì)索引結(jié)果重新排序，具體流程如下。在步驟2-1中，對(duì)一幅輸入圖片同樣利用adaboost算法進(jìn)行人臉檢測(cè)，具體操作同步驟1-2，這里不做重復(fù)贅述；在步驟2-2中，同樣利用支持向量機(jī)對(duì)檢測(cè)圖片分類篩選，操作同步驟1-3，同樣，這里不做重復(fù)贅述；在步驟2-3中，利用訓(xùn)練過(guò)程得到的識(shí)別模型判定新增圖片與關(guān)鍵詞對(duì)應(yīng)目標(biāo)人物的相似度。經(jīng)過(guò)步驟2-2和步驟2-3后得到的每個(gè)人臉圖片，都會(huì)得到一個(gè)與目標(biāo)人物的相似度分值，一幅新增圖片對(duì)應(yīng)的多個(gè)分值中最高分為該圖最終分。。在步驟2-4中，對(duì)初次索引排序的前幾百幅圖片，利用相似度分值重排序。實(shí)驗(yàn)證明本專利方法提高了顯示效果.如圖4所示，本發(fā)明實(shí)施例還提供了一種基于人臉檢測(cè)與識(shí)別的人物圖片索引裝置，包括第一獲取單兀100,用于獲取用戶輸入的關(guān)鍵詞；第一排序單元200，用于在搜索到的圖片集合中，根據(jù)文本相關(guān)性并融合圖片點(diǎn)擊調(diào)權(quán)執(zhí)行第一次排序；訓(xùn)練單元300，用于依據(jù)第一次排序結(jié)果使用靠前圖片訓(xùn)練與所述關(guān)鍵詞關(guān)聯(lián)的人臉識(shí)別模型，并對(duì)圖片集合進(jìn)行相似度打分；
第二獲取單元400，用于對(duì)新增至圖片數(shù)據(jù)庫(kù)中的與所述關(guān)鍵詞匹配的圖片數(shù)據(jù)執(zhí)行人臉檢測(cè)并分類篩選，獲取人臉圖片；第二排序單元500，用于依據(jù)人臉識(shí)別模型對(duì)所述人臉圖片進(jìn)行相似度評(píng)判，并依據(jù)評(píng)判結(jié)果對(duì)更新后的圖片數(shù)據(jù)庫(kù)執(zhí)行第二次排序。具體地，所述訓(xùn)練單元300還用于獲取圖片集合的前N個(gè)圖片，對(duì)圖片進(jìn)行灰度和尺度歸一化預(yù)處理，利用adaboost迭代算法檢測(cè)人臉，模型采用跨平臺(tái)計(jì)算機(jī)視覺庫(kù)opencv訓(xùn)練的正臉和測(cè)量檢測(cè)模型。具體地，在一幅圖片經(jīng)正臉檢測(cè)和側(cè)臉檢測(cè)后無(wú)人臉被檢測(cè)到的情況下，所述訓(xùn)練單元將該圖片向左右旋轉(zhuǎn)預(yù)設(shè)角度，之后重新進(jìn)行正臉檢測(cè)和側(cè)臉檢測(cè)。具體地，所述訓(xùn)練單元300采用支持向量機(jī)SVM對(duì)檢測(cè)到人臉圖片進(jìn)行分類篩選處理，去除非人臉圖片。SVM采用LBP算法提取特征，圖片歸一化到指定大小后分成3X3的 窗口，每個(gè)窗口提取uniform模式的LBP特征,采用直方圖統(tǒng)計(jì)LBP特征分布情況,每個(gè)窗口獲得一個(gè)59維的特征向量。特征數(shù)據(jù)縮放到預(yù)先指定的范圍區(qū)間后，利用二分類模型分類篩選出人臉圖片作為訓(xùn)練樣本。具體地，所述訓(xùn)練單元300依據(jù)獲取的訓(xùn)練樣本訓(xùn)練人臉識(shí)別模型，其中，所述訓(xùn)練樣本包含了具有平面內(nèi)旋轉(zhuǎn)、水平旋轉(zhuǎn)以及俯仰旋轉(zhuǎn)的多角度人臉圖片。具體地，第二獲取單元400對(duì)新增至圖片數(shù)據(jù)庫(kù)中的與所述關(guān)鍵詞匹配的圖片數(shù)據(jù)執(zhí)行人臉檢測(cè)并分類篩選以獲取人臉圖片的步驟包括I)對(duì)新增至圖片數(shù)據(jù)庫(kù)中的與所述關(guān)鍵詞匹配的圖片數(shù)據(jù)利用adaboost迭代算法執(zhí)行人臉檢測(cè)；2)利用支持向量機(jī)SVM對(duì)檢測(cè)圖片執(zhí)行分類篩選，獲取人臉圖片。具體地，第二排序單元500依據(jù)人臉識(shí)別模型對(duì)所述人臉圖片進(jìn)行相似度評(píng)判，并依據(jù)評(píng)判結(jié)果對(duì)更新后的圖片數(shù)據(jù)庫(kù)執(zhí)行第二次排序的方法為依據(jù)人臉識(shí)別模型對(duì)新增至圖片數(shù)據(jù)庫(kù)的人臉圖片進(jìn)行相似度打分，并利用相似度分?jǐn)?shù)對(duì)更新后的圖片數(shù)據(jù)庫(kù)執(zhí)行第二次排序。上述說(shuō)明示出并描述了本發(fā)明的一個(gè)優(yōu)選實(shí)施例，但如前所述，應(yīng)當(dāng)理解本發(fā)明并非局限于本文所披露的形式，不應(yīng)看作是對(duì)其他實(shí)施例的排除，而可用于各種其他組合、修改和環(huán)境，并能夠在本文所述發(fā)明構(gòu)想范圍內(nèi)，通過(guò)上述教導(dǎo)或相關(guān)領(lǐng)域的技術(shù)或知識(shí)進(jìn)行改動(dòng)。而本領(lǐng)域人員所進(jìn)行的改動(dòng)和變化不脫離本發(fā)明的精神和范圍，則都應(yīng)在本發(fā)明所附權(quán)利要求的保護(hù)范圍內(nèi)。
權(quán)利要求
1.一種基于人臉檢測(cè)與識(shí)別的人物圖片索引方法，其特征在于，包括 獲取用戶輸入的關(guān)鍵詞； 在搜索到的圖片集合中，根據(jù)文本相關(guān)性并融合圖片點(diǎn)擊調(diào)權(quán)執(zhí)行第一次排序； 依據(jù)第一次排序結(jié)果使用靠前圖片訓(xùn)練與所述關(guān)鍵詞關(guān)聯(lián)的人臉識(shí)別模型，并對(duì)圖片集合進(jìn)行相似度打分； 對(duì)新增至圖片數(shù)據(jù)庫(kù)中的與所述關(guān)鍵詞匹配的圖片數(shù)據(jù)執(zhí)行人臉檢測(cè)并分類篩選，獲取人臉圖片； 依據(jù)人臉識(shí)別模型對(duì)所述人臉圖片進(jìn)行相似度評(píng)判，并依據(jù)評(píng)判結(jié)果對(duì)更新后的圖片數(shù)據(jù)庫(kù)執(zhí)行第二次排序。
2.如權(quán)利要求I所述的基于人臉檢測(cè)與識(shí)別的人物圖片索引方法，其特征在于，在依據(jù)所述關(guān)鍵詞表示的待檢索語(yǔ)義或圖片點(diǎn)擊調(diào)權(quán)執(zhí)行第一次排序的步驟之后，所述方法還包括 獲取圖片集合的前N個(gè)圖片； 對(duì)圖片進(jìn)行灰度和尺度歸一化預(yù)處理，利用adaboost迭代算法檢測(cè)人臉，模型采用跨平臺(tái)計(jì)算機(jī)視覺庫(kù)opencv訓(xùn)練的正臉和測(cè)量檢測(cè)模型； 采用支持向量機(jī)SVM對(duì)裁剪圖片進(jìn)行分類篩選處理，去除非人臉圖片，獲取訓(xùn)練樣本。
3.如權(quán)利要求2所述的基于人臉檢測(cè)與識(shí)別的人物圖片索引方法，其特征在于，在一幅圖片經(jīng)正臉檢測(cè)和側(cè)臉檢測(cè)后無(wú)人臉被檢測(cè)到的情況下，將該圖片向左右旋轉(zhuǎn)預(yù)設(shè)角度，之后重新進(jìn)行正臉檢測(cè)和側(cè)臉檢測(cè)。
4.如權(quán)利要求3所述的基于人臉檢測(cè)與識(shí)別的人物圖片索引方法，其特征在于，對(duì)訓(xùn)練樣本采用局部二值模式LBP算法提取特征，對(duì)訓(xùn)練樣本的LBP特征數(shù)據(jù)縮放到預(yù)先指定的范圍區(qū)間，利用二分類模型分類篩選人臉圖片作為訓(xùn)練樣本。
5.如權(quán)利要求4所述的基于人臉檢測(cè)與識(shí)別的人物圖片索引方法，其特征在于，依據(jù)第一次排序結(jié)果訓(xùn)練出與所述關(guān)鍵詞關(guān)聯(lián)的人臉識(shí)別模型的步驟包括 依據(jù)獲取的訓(xùn)練樣本訓(xùn)練人臉識(shí)別模型，其中，所述訓(xùn)練樣本包含了具有平面內(nèi)旋轉(zhuǎn)、水平旋轉(zhuǎn)以及俯仰旋轉(zhuǎn)的多角度人臉圖片。
6.如權(quán)利要求I所述的基于人臉檢測(cè)與識(shí)別的人物圖片索引方法，其特征在于，對(duì)新增至圖片數(shù)據(jù)庫(kù)中的與所述關(guān)鍵詞匹配的圖片數(shù)據(jù)執(zhí)行人臉檢測(cè)并分類篩選以獲取人臉圖片的步驟包括 對(duì)新增至圖片數(shù)據(jù)庫(kù)中的與所述關(guān)鍵詞匹配的圖片數(shù)據(jù)利用adaboost迭代算法執(zhí)行人臉檢測(cè)； 利用支持向量機(jī)SVM對(duì)檢測(cè)圖片執(zhí)行分類篩選，獲取人臉圖片。
7.如權(quán)利要求I所述的基于人臉檢測(cè)與識(shí)別的人物圖片索引方法，其特征在于，依據(jù)人臉識(shí)別模型對(duì)所述人臉圖片進(jìn)行相似度評(píng)判并依據(jù)評(píng)判結(jié)果對(duì)更新后的圖片數(shù)據(jù)庫(kù)執(zhí)行第二次排序的方法為 依據(jù)人臉識(shí)別模型對(duì)新增至圖片數(shù)據(jù)庫(kù)的人臉圖片進(jìn)行相似度打分，并利用相似度分?jǐn)?shù)對(duì)更新后的圖片數(shù)據(jù)庫(kù)執(zhí)行第二次排序。
8.一種基于人臉檢測(cè)與識(shí)別的人物圖片索引裝置，其特征在于，包括 第一獲取單元，用于獲取用戶輸入的關(guān)鍵詞；第一排序單元，用于在搜索到的圖片集合中，根據(jù)文本相關(guān)性并融合圖片點(diǎn)擊調(diào)權(quán)執(zhí)行第一次排序； 訓(xùn)練單元，用于依據(jù)第一次排序結(jié)果使用靠前圖片訓(xùn)練與所述關(guān)鍵詞關(guān)聯(lián)的人臉識(shí)別模型，并對(duì)圖片集合進(jìn)行相似度打分； 第二獲取單元，用于對(duì)新增至圖片數(shù)據(jù)庫(kù)中的與所述關(guān)鍵詞匹配的圖片數(shù)據(jù)執(zhí)行人臉檢測(cè)并分類篩選，獲取人臉圖片； 第二排序單元，用于依據(jù)人臉識(shí)別模型對(duì)所述人臉圖片進(jìn)行相似度評(píng)判，并依據(jù)評(píng)判結(jié)果對(duì)更新后的圖片數(shù)據(jù)庫(kù)執(zhí)行第二次排序。
9.如權(quán)利要求8所述的基于人臉檢測(cè)與識(shí)別的人物圖片索引裝置，其特征在于，所述訓(xùn)練單元還用于獲取圖片集合的前N個(gè)圖片，對(duì)圖片進(jìn)行灰度和尺度歸一化預(yù)處理，利用adaboost迭代算法檢測(cè)人臉，模型采用跨平臺(tái)計(jì)算機(jī)視覺庫(kù)opencv訓(xùn)練的正臉和測(cè)量檢測(cè)模型，采用支持向量機(jī)SVM對(duì)裁剪圖片進(jìn)行分類篩選處理，去除非人臉圖片，獲取訓(xùn)練樣本。
10.如權(quán)利要求9所述的基于人臉檢測(cè)與識(shí)別的人物圖片索引裝置，其特征在于，在一幅圖片經(jīng)正臉檢測(cè)和側(cè)臉檢測(cè)后無(wú)人臉被檢測(cè)到的情況下，所述訓(xùn)練單元將該圖片向左右旋轉(zhuǎn)預(yù)設(shè)角度，之后重新進(jìn)行正臉檢測(cè)和側(cè)臉檢測(cè)。
11.如權(quán)利要求10所述的基于人臉檢測(cè)與識(shí)別的人物圖片索引裝置，其特征在于，所述訓(xùn)練單元對(duì)訓(xùn)練樣本采用局部二值模式LBP算法提取特征，對(duì)訓(xùn)練樣本的LBP特征數(shù)據(jù)縮放到預(yù)先指定的范圍區(qū)間，利用二分類模型分類篩選人臉圖片作為訓(xùn)練樣本。
12.如權(quán)利要求11所述的基于人臉檢測(cè)與識(shí)別的人物圖片索引裝置，其特征在于，所述訓(xùn)練單元依據(jù)獲取的訓(xùn)練樣本訓(xùn)練人臉識(shí)別模型，其中，所述訓(xùn)練樣本包含了具有平面內(nèi)旋轉(zhuǎn)、水平旋轉(zhuǎn)以及俯仰旋轉(zhuǎn)的多角度人臉圖片。
13.如權(quán)利要求8所述的基于人臉檢測(cè)與識(shí)別的人物圖片索引裝置，其特征在于，第二獲取單元對(duì)新增至圖片數(shù)據(jù)庫(kù)中的與所述關(guān)鍵詞匹配的圖片數(shù)據(jù)執(zhí)行人臉檢測(cè)并分類篩選以獲取人臉圖片的步驟包括 對(duì)新增至圖片數(shù)據(jù)庫(kù)中的與所述關(guān)鍵詞匹配的圖片數(shù)據(jù)利用adaboost迭代算法執(zhí)行人臉檢測(cè)； 利用支持向量機(jī)SVM對(duì)檢測(cè)圖片執(zhí)行分類篩選，獲取人臉圖片。
14.如權(quán)利要求8所述的基于人臉檢測(cè)與識(shí)別的人物圖片索引裝置，其特征在于，第二排序單元依據(jù)人臉識(shí)別模型對(duì)所述人臉圖片進(jìn)行相似度評(píng)判，并依據(jù)評(píng)判結(jié)果對(duì)更新后的圖片數(shù)據(jù)庫(kù)執(zhí)行第二次排序的方法為 依據(jù)人臉識(shí)別模型對(duì)新增至圖片數(shù)據(jù)庫(kù)的人臉圖片進(jìn)行相似度打分，并利用相似度分?jǐn)?shù)對(duì)更新后的圖片數(shù)據(jù)庫(kù)執(zhí)行第二次排序。
全文摘要
本發(fā)明公開了一種人臉檢測(cè)與識(shí)別的人物圖片索引方法及裝置，所述方法包括獲取用戶輸入的關(guān)鍵詞；在搜索到的圖片集合中，根據(jù)文本相關(guān)性并融合圖片點(diǎn)擊調(diào)權(quán)執(zhí)行第一次排序；依據(jù)第一次排序結(jié)果使用靠前圖片訓(xùn)練與所述關(guān)鍵詞關(guān)聯(lián)的人臉識(shí)別模型，并對(duì)圖片集合進(jìn)行相似度打分；對(duì)新增至圖片數(shù)據(jù)庫(kù)中的與所述關(guān)鍵詞匹配的圖片數(shù)據(jù)執(zhí)行人臉檢測(cè)并分類篩選，獲取人臉圖片；依據(jù)人臉識(shí)別模型對(duì)所述人臉圖片進(jìn)行相似度評(píng)判，并依據(jù)評(píng)判結(jié)果對(duì)更新后的圖片數(shù)據(jù)庫(kù)執(zhí)行第二次排序。采用本發(fā)明可以有效改善圖像搜索結(jié)果的匹配相關(guān)性，其能夠避免傳統(tǒng)的單純基于文本的圖片打分政策的弊端，更能準(zhǔn)確反映圖片的匹配相關(guān)性，提高用戶對(duì)圖像檢索結(jié)果的滿意度。
文檔編號(hào)G06F17/30GK102880729SQ201210433700
公開日2013年1月16日 申請(qǐng)日期2012年11月2日 優(yōu)先權(quán)日2012年11月2日
發(fā)明者劉麗, 陳松, 陳雪峰, 劉佳 申請(qǐng)人:深圳市宜搜科技發(fā)展有限公司