基于超像素的人臉畫像生成方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，特別涉及一種人臉畫像生成方法，可用于公共安 全領(lǐng)域中人臉檢索與識別。
【背景技術(shù)】
[0002] 在公共安全管理中，基于人臉的身份識別是最方便有效的身份認(rèn)證技術(shù)之一。例 如在刑偵破案當(dāng)中，當(dāng)嫌疑犯的照片很難獲取時(shí)，法醫(yī)可以根據(jù)目擊證人的描述繪制出嫌 疑犯的畫像。由于照片和畫像在成像原理上的不同，在形狀和紋理方面都存在很大的差異， 給基于畫像的人臉識別帶來諸多困難。人臉畫像生成技術(shù)是通過圖像處理技術(shù)將警方人臉 數(shù)據(jù)庫中的照片轉(zhuǎn)化為偽畫像，之后可以將嫌疑犯的畫像在偽畫像數(shù)據(jù)庫中進(jìn)行識別，是 提尚基于畫像的人臉識別的有效技術(shù)之一，因此受到廣泛的關(guān)注。
[0003] 目前，根據(jù)對人臉圖像的表示方式不同，人臉畫像生成方法主要分為三類：
[0004] -是基于全局表示的方法，這種方法是將整幅人臉圖像看作一個(gè)向量進(jìn)行人臉畫 像生成。比如X.Tang等人在文獻(xiàn)"X.TangandX.Wang.FaceSketchRecognition.IEEE TransactionsonCircuitsandSystemsforVideoTechnology, 14 (1) : 1-7, 2004" 中提 出了一種基于特征變換的方法，通過將整幅人臉圖像看作一個(gè)向量，將人臉畫像生成過程 看作線性過程，通過主成分分析的方法進(jìn)行畫像生成。該方法存在的不足之處是，將整幅人 臉圖像看作一個(gè)向量進(jìn)行表示，不能有效的刻畫人臉圖像的局部信息，在畫像生成的過程 中存在細(xì)節(jié)的丟失。
[0005] 二是基于獨(dú)立局部塊表示的方法，這種方法首先將人臉圖像劃分為大小相同的矩 形塊，通過局部線性來近似全局非線性。比如Q.Liu等人在文獻(xiàn)"Q.Liu，X.Tang，H.Jin，H. Lu,andS.Ma.ANonlinearApproachforFaceSketchSynthesisandRecognition.In Proc.IEEEInt.ConferenceonComputerVision,pp. 1005-1010, 2005"中提出了一種基于 局部線性嵌入的方法，通過將訓(xùn)練集和測試集中的人臉圖像分塊，對測試照片的每個(gè)圖像 塊在訓(xùn)練集中尋找它的K個(gè)相似的照片近鄰塊，然后利用局部線性嵌入的思想計(jì)算照片近 鄰塊的線性組合權(quán)值，并利用對應(yīng)的K個(gè)畫像近鄰塊和組合權(quán)值得到偽畫像塊并最終融合 成偽畫像。該方法存在的不足之處是，對測試照片的每個(gè)圖像塊單獨(dú)進(jìn)行處理，忽略了人臉 圖像本身的結(jié)構(gòu)信息，在畫像生成的過程中存在人臉結(jié)構(gòu)的丟失。
[0006] 三是基于空間約束局部塊表示的方法，這種方法首先將人臉圖像劃分為大小相同 的矩形塊，然后在考慮相鄰圖像塊之間的約束關(guān)系的基礎(chǔ)上，利用貝葉斯模型進(jìn)行建模， 實(shí)現(xiàn)人臉畫像生成。比如X.Wang等人在文獻(xiàn)"X.WangandX.Tang.FacePhoto-Sketch SynthesisandRecognition.IEEETransactionsonPatternAnalysisandMachineInt elligence. 31(11) =1955-1967, 2009"中提出了一種基于馬爾可夫網(wǎng)絡(luò)模型的方法，通過將 訓(xùn)練集和測試集中的人臉圖像劃分成大小相同、互相重疊的局部塊，利用馬爾可夫網(wǎng)絡(luò)模 型建立人臉照片和人臉畫像之間的關(guān)系模型，通過對模型求解實(shí)現(xiàn)人臉畫像生成。該方法 存在的不足之處是，在將人臉圖像分塊的過程中，將圖像劃分成矩形塊而忽略了人臉圖像 本身的結(jié)構(gòu)特點(diǎn)，生成的偽畫像存在細(xì)節(jié)部位的丟失。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的在于針對上述現(xiàn)有方法的不足，提出一種基于超像素的人臉畫像生 成方法，以提高生成的偽畫像的質(zhì)量，使得生成的偽畫像的細(xì)節(jié)部位更明顯。
[0008] 實(shí)現(xiàn)本發(fā)明目的的技術(shù)方案包括如下步驟：
[0009] (1)從畫像-照片對集中取出L張畫像組成訓(xùn)練畫像樣本集TK，并取出與訓(xùn)練畫 像樣本集1中的畫像一一對應(yīng)的L張照片組成訓(xùn)練照片樣本集TE，將剩余畫像-照片對組 成測試樣本集，從測試樣本集中選取一張測試照片S，2<L<U-1，U為畫像-照片對集中 的畫像-照片對個(gè)數(shù)；
[0010] (2)將測試照片S、訓(xùn)練畫像樣本集TK中的畫像和訓(xùn)練照片樣本集TE中的照片分 別劃分成超像素塊：
[0011] 利用超像素算法將測試照片S劃分為互相不重疊的超像素塊，并將每個(gè)超像素 塊向四周擴(kuò)大d個(gè)像素，得到相互重疊的超像素塊，組成測試照片超像素塊集 ，Si，…，SN}，其中Si為經(jīng)過擴(kuò)大后的第i個(gè)超像素塊，i= 1，2,…，N，N為測試照片超像素 塊的總個(gè)數(shù)；
[0012] 按照測試照片S的劃分結(jié)果對訓(xùn)練畫像樣本集TK中的畫像和訓(xùn)練照片樣本集TE 中的照片進(jìn)行超像素塊劃分，得到訓(xùn)練畫像超像素塊字典DK和訓(xùn)練照片超像素塊字典DE;
[0013] (3)組成待選擇照片超像素塊集和待選擇畫像超像素塊集：
[0014]根據(jù)測試照片超像素塊集以，S2，…，Si，…，SN}，從訓(xùn)練照片超像素塊字典％中 尋找每個(gè)測試照片超像素塊的K個(gè)相似的照片超像素塊，組成待選擇照片超像素塊集 {PpP2，…，Pi，…，PN}，其中Pi為測試照片超像素塊Si的待選擇照片超像素塊集；
[0015] 從訓(xùn)練畫像超像素塊字典DK中選擇與待選擇照片超像素塊集{PP2，…，Pi，… ，PN}中的照片超像素塊--對應(yīng)的畫像超像素塊，組成待選擇畫像超像素塊集{QuQd- ，Qi，…，Qn}，其中Qi為測試照片超像素塊Si的待選擇畫像超像素塊集；
[0016] (4)根據(jù)測試照片超像素塊集{Si，S2，…，Si，…，SN}、待選擇照片超像素塊集 也，P2，…，Pi，…，PN}和待選擇畫像超像素塊集他，Q2，…，Qi，…，QJ，按照下式求解待選擇 畫像超像素塊權(quán)值集{Wi,w2，…，Wi,…，wN}:
[0017]
[0018] 其中Wi表示第i個(gè)待選擇畫像超像素塊權(quán)值，L表示與測試照片超像素塊Si具有 重疊區(qū)域的測試照片超像素塊個(gè)數(shù)，(^表示與測試照片超像素塊S,具有重疊區(qū)域的第j個(gè) 測試照片超像素塊的待選擇畫像超像素塊集，％表示與測試照片超像素塊Si具有重疊區(qū)域 的第j個(gè)測試照片超像素塊的待選擇畫像超像素塊權(quán)值，*t表示對矩陣進(jìn)行轉(zhuǎn)置操作，rt 表示計(jì)算矩陣的2范數(shù)，a為調(diào)節(jié)因子，取值為0.25;
[0019] (5)根據(jù)待選擇畫像超像素塊集他，Q2，…，Qi，…，QJ和待選擇畫像超像素塊權(quán)值 集iwi，％，…，wi，…，wiJ，按照下式得到偽畫像超像素塊集H…，xi，…，:
[0020] Xj=QjWj,i= 1, 2, ???,N
[0021] 其中\(zhòng)為第i個(gè)偽畫像超像素塊；
[0022] (6)將偽畫像超像素塊集氏，X2，…，Xi，…，XN}中的N個(gè)偽畫像超像素塊進(jìn)行組 合，得到與測試照片S對應(yīng)的偽畫像。
[0023] 本發(fā)明由于采用了超像素算法將人臉圖像劃分成超像素塊，分塊過程中利用了人 臉圖像的結(jié)構(gòu)信息，實(shí)現(xiàn)人臉畫像生成，與現(xiàn)有方法相比，由于考慮了人臉圖像本身的結(jié)構(gòu) 信息，使得生成的圖像細(xì)節(jié)部位明顯，克服了現(xiàn)有方法中對人臉圖像分塊時(shí)，將圖像劃分成 矩形塊而忽略結(jié)構(gòu)信息帶來的細(xì)節(jié)不明顯的問題。
[0024] 以下面結(jié)合附圖，對本發(fā)明實(shí)現(xiàn)的步驟作進(jìn)一步的詳細(xì)描述。
【附圖說明】
[0025] 圖1為本發(fā)明基于超像素的人臉畫像生成流程圖；
[0026] 圖2為本發(fā)明與現(xiàn)有的兩種方法在CUHKstudent數(shù)據(jù)庫上生成的偽畫像的對比 結(jié)果圖。
【具體實(shí)施方式】
[0027]參照圖1，本發(fā)明實(shí)現(xiàn)的步驟如下：
[0028] 步驟1，劃分訓(xùn)練畫像樣本集、訓(xùn)練照片樣本集和測試樣本集。
[0029] 從畫像-照片對集中取出L張畫像組成訓(xùn)練畫像樣本集TK，并取出與訓(xùn)練畫像樣 本集1中的畫像一一對應(yīng)的L張照片組成訓(xùn)練照片樣本集TE，將剩余畫像-照片對組成測 試樣本集，從測試樣本集中選取一張測試照片S，2彡L彡U-1，U為畫像-照片對集中的畫 像-照片對個(gè)數(shù)。
[0030] 步驟2,對訓(xùn)練畫像樣本集中的畫像、訓(xùn)練照片樣本集中的照片和測試照片進(jìn)行超 像素塊劃分。
[0031] (2a)將測試照片S劃分為超像素塊：
[0032] 對測試照片S的劃分可采用現(xiàn)有的超像素算法進(jìn)行，超像素算法包括分水嶺方 法、基于Mean-shift的方法和簡單線性迭代聚類法等，本發(fā)明選用但不局限于簡單線性迭 代聚類法，具體步驟如下：
[0033] (2al)在測試照片S上按照均勻網(wǎng)格采樣，初始化H個(gè)聚類中心{A，C2，…，Ch，… ，CH}，其中Ch為第h個(gè)聚類中心，h= 1，2,…，H，對測試照片S上的每個(gè)像素點(diǎn)V設(shè)置類標(biāo) 記1 (v) = -1和距離標(biāo)記d(v) = + 〇°，v= 1，2,…，Ns，Ns為測試照片S上的像素點(diǎn)個(gè)數(shù)；
[0034] (2a2)對第h個(gè)聚類中心Ch，計(jì)算其周圍aXa范圍內(nèi)的第v'個(gè)像素點(diǎn)和聚類中 心Ch的距離d'，其中a為搜索范圍參數(shù)，取值為10,如果距離標(biāo)記d(v' )>d'，則設(shè)置 距離標(biāo)記d(v' )=cT和類標(biāo)記l(v' )=h，否則，距離標(biāo)記d(v')和類標(biāo)記l(v') 保持不變；
[0035] (2a3)重復(fù)步驟（2a2)直至H個(gè)聚類中心{CpQ，…，Ch, ?'QJ的周圍aXa范圍 內(nèi)的所有像素點(diǎn)的距離標(biāo)記和類標(biāo)記都更新一遍，將具有相同類標(biāo)記的像素點(diǎn)看作一類， 重新計(jì)算H個(gè)聚類中心；
[0036] (2a4)重復(fù)步驟（2a2)_(2a3)，直至H個(gè)聚類中心都不再變化，再將具有相同類標(biāo) 記的像素點(diǎn)看作一個(gè)超像素塊，完成對測試照片S的超像素塊劃分；
[0037] (2b)在對測試照片S劃分完成后，將每個(gè)超像素塊向四周擴(kuò)大d個(gè)像素，d取值為 3,得到相互重疊的超像素塊，組成測試照片超像素塊集以，S2，…，Si，…，SN}，其中Si為經(jīng) 過擴(kuò)大后的第i個(gè)超像素塊，i= 1，2,…，N，N為測試照片超像素塊的總個(gè)數(shù)。
[0038] (2c)按照（2b)對測試照片S的劃分結(jié)果對訓(xùn)練畫像樣本集TK中的畫像和訓(xùn)練照 片樣本集TE中的照片進(jìn)行超像素塊劃分，得到訓(xùn)練畫像超像素塊字典DK和訓(xùn)練照片超像素 塊字典De。
[0039] 步驟3,組成待選擇照片超像素塊集和待選擇畫像超像素塊集。
[0040] (3a)根據(jù)測試照片超像素塊集{Si，S2，…，Si，…，SN}，從訓(xùn)練照片超像素塊字典DE中尋找每個(gè)測試照片超像素塊的K個(gè)相似的照片超像素塊，組成待選擇照片超像素塊集 {PpP2，…，Pi，…，PN}，其中Pi為測試照片超像素塊Si的待選擇照片超像素塊集；
[0041] (3b)從訓(xùn)練畫像超像素塊字典DK中選擇與待選擇照片超像素塊集 ，Pi，…，PN}中的照片超像素塊一一對應(yīng)的畫像超像素塊，組成待選擇畫像超像素塊集 {Qi，Q2，…，Qi，…，QN}，其中Qi為測試照片超像素塊si的待選擇畫像超像素塊集。
[0042] 步