專利名稱：人臉檢測中非特征區(qū)域圖像處理的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種圖像處理技術(shù)領(lǐng)域的方法，具體地說是一種人臉檢測中非特 征區(qū)域圖像處理的方法。
背景技術(shù)：
由于數(shù)碼成像技術(shù)的快速發(fā)展，數(shù)碼圖像以及視頻在日常工作和生活中越來越普 及。隨著數(shù)碼影像器材的成像分辨率的提高，圖像以及視頻可以非常清晰地顯示人臉中的 所有細節(jié)信息，甚至包括一些斑點、皺紋等影響美觀的因素。數(shù)碼相片和視頻不僅帶來了拍 攝和保存的方便，還使圖像以及視頻的后期處理和修飾成為可能。人臉美化處理技術(shù)就是 在較完整地保留臉部細節(jié)，例如眉毛等細節(jié)部分、嘴巴的邊緣等信息的前提下較好地去除 掉皮膚上的斑點、皺紋等不理想因素，達到人臉美化的效果。由于其在電視機、數(shù)碼相機、攝 像機、手機、投影儀以及視頻會議等多媒體系統(tǒng)中有廣泛的應(yīng)用，解決該技術(shù)難題的要求顯 得越來越突出。最傳統(tǒng)的方法如Photoshop工具，雖然可以理想地去除臉上的斑點和皺紋以達到 人臉美化的效果，但是需要手工圈定斑點和皺紋區(qū)域，而且實現(xiàn)步驟復(fù)雜。與此同時，越來 越多的研究人員開始專注于該方面的研究，目前已經(jīng)有了一些不錯的成果。例如柯達相機 已經(jīng)使用了相應(yīng)的技術(shù)來自動地處理人臉皮膚，達到美化人臉的效果，但是該系統(tǒng)對圖像 的細節(jié)信息處理模糊的問題比較嚴(yán)重。另一個是Kevin提出的一個被命名為圖像化妝系統(tǒng) 的自動人臉美化系統(tǒng)，該系統(tǒng)的主要目的是模擬Photoshop效果，使得圖像在保留細節(jié)信 息的前提下達到平滑皮膚同時淡化斑點皺紋等不理想信息的效果。但是該系統(tǒng)每次只能對 單個人臉進行處理，而且為了使處理后的圖像看起來自然，還保留了 一些眼角、鼻子和嘴角 等處的皺紋。最著名的例子即為H. Watabe提出的一個可以自動美化人臉圖像的非線性濾 波器系統(tǒng)，該方法可以自動地去除臉部皮膚中的斑點、皺紋等不理想因素，盡可能多地保留 皮膚的細節(jié)信息，使得操作大大簡化，達到了很好的普遍推廣效果，現(xiàn)在已經(jīng)應(yīng)用于多媒體 遠程會議等系統(tǒng)中。但仍然存在一些不足(1)由于直接對整幅圖像進行處理，所以處理時 間較長；(2)對臉部皮膚中大片斑點及較深的皺紋的處理效果不理想。經(jīng)對現(xiàn)有技術(shù)文獻的檢索發(fā)現(xiàn)，美國專利申請?zhí)朥S20090512843 20090730，專 利號:US2010/0026831 Al.發(fā)明名稱=Automatic face and skin beautification using facedetection (基于人臉檢測的自動人臉和皮膚美化)。該技術(shù)首先通過檢測圖像中的 人臉位置得到人臉圖像；接著將該人臉圖像劃分成眼睛、嘴、臉頰等多個子區(qū)域，然后對各 個子區(qū)域的亮度分量分別采用不同的平滑核做局部平滑處理；最后得到一個增強的人臉圖 像。該方法的不足之處在于(1)利用局部亮度平滑和模糊來去除臉上的斑點等會造成圖 像的模糊，降低圖像的質(zhì)量；(2)對臉部特征區(qū)域劃分太過粗糙，如用矩形區(qū)域來表示眼睛 和嘴等子區(qū)域，造成眼角、嘴角等皺紋處理得不徹底。

發(fā)明內(nèi)容
本發(fā)明針對現(xiàn)有技術(shù)的不足和缺陷，提供一種人臉檢測中非特征區(qū)域圖像處理的 方法。它不僅能快速檢測和定位數(shù)碼圖像或視頻中存在的多個人臉位置，并通過提取人臉 輪廓線進一步確定臉部區(qū)域，然后逐個去除人臉圖像中臉部皮膚上的斑點、皺紋，而且能較 好地調(diào)節(jié)皮膚的光滑度，同時可以完整地保留人臉圖像的細節(jié)部分，如眉毛的細節(jié)，以及嘴 唇邊緣紋理，達到自動人臉美化的效果。本發(fā)明是通過以下技術(shù)方案實現(xiàn)的本發(fā)明包括四個步驟(1)首先對人臉檢測定位，然后調(diào)整人臉矩形框隊列，選擇人臉矩形框隊列以待圖 像處理；(2)進一步提取人臉輪廓，在人臉定位的基礎(chǔ)上，利用幾何活動輪廓模型提取人臉 輪廓線，確定臉部區(qū)域。(3)利用二值化圖像處理法分離出臉部區(qū)域內(nèi)的眼睛、鼻子、嘴巴等臉部特征，對 臉部特征進行定位。(4)對臉部非特征區(qū)域在臉部特征定位的基礎(chǔ)上進行圖像處理，去除臉部非特征 區(qū)域皮膚上的斑點、皺紋和瑕疵。步驟(1)中所述的檢測定位是通過人臉分類器檢測人臉區(qū)域，將檢測出的若干人 臉位置保存到人臉矩形框隊列；若未檢出人臉，則進行光線補償，再利用膚色模型重新檢測 人臉區(qū)域，將檢測出的人臉位置保存到人臉矩形框隊列中。調(diào)整檢測出所述的人臉矩形框隊列，以及需要處理的人臉矩形框隊列，考慮到人 臉矩形框覆蓋了大部分的人臉，但是還是有下巴等部分區(qū)域沒有包含進去，所以為了對整 個人臉進行完整地人臉美化處理，需要對人臉矩形框進行上下左右適當(dāng)?shù)臄U展，分別擴展 5%左右比較合適；與此同時，考慮到圖像中存在的人臉如果太小，那么就失去了美化處理 的必要性，因此如果人臉矩形框的面積小于圖像面積的六十四分之一，就將它們從人臉矩 形框隊列中去除不作美化處理。本發(fā)明首先檢測圖像或視頻中存在的若干人臉位置，提高了圖像處理的針對性， 縮小圖像處理的范圍，在節(jié)省處理時間的同時完好地保留了其他背景信息。其中人臉分類 器是采用機器學(xué)習(xí)的方法，在矩形特征的基礎(chǔ)上，對大量的人臉灰度圖進行訓(xùn)練而得到的。 這種人臉檢測圖像處理法的穩(wěn)定性好，與其他的人臉檢測圖像處理法相比速度較快。上述 人臉分類器處理的是正面人臉圖像，對于側(cè)面人臉圖像，可以通過基于YCbCr色彩空間的 膚色模型進行人臉區(qū)域檢測，來避免側(cè)面人臉漏檢的情況。但是膚色特征受光照條件的影 響較大，在膚色判定前對圖像或視頻做光線補償處理，可以有效地降低膚色判定中的漏檢 率?？紤]到圖像中存在的人臉如果太小，那么就失去了圖像處理的必要性。本發(fā)明對于檢 測得到的人臉矩形框隊列進行適當(dāng)?shù)恼{(diào)整，去除太小的矩形框，以最終確定需要圖像處理 的人臉矩形框隊列。本發(fā)明為了精確地定位人臉的位置，在用人臉矩形框定位人臉的基礎(chǔ)上，進一步 提取人臉輪廓線來確定臉部區(qū)域。由于人臉形狀的多樣性和復(fù)雜性，在使用剛性模型提取 輪廓時，遇到了很大的困難，而常規(guī)的邊緣檢測得到的邊緣又不連續(xù)，因此活動輪廓模型在 解決人臉輪廓提取問題上具有很大的優(yōu)勢。
本發(fā)明步驟(2)中所述的采用提取人臉輪廓的方法，首先將人臉形狀的橢圓性約 束作為算子嵌入到幾何活動輪廓模型中，并利用幾何活動輪廓模型提取任意輪廓的優(yōu)勢來 快速抽取出圖像中類似橢圓的目標(biāo)邊緣；然后根據(jù)圖像中人臉的先驗知識，通過對檢測得 到的橢圓目標(biāo)進一步驗證來找到最終的人臉輪廓。本發(fā)明為了在人臉圖像處理的同時盡可能的保留圖像的細節(jié)信息不丟失，需要將 人臉圖像分為特征區(qū)域和非特征區(qū)域。針對該過程對圖像中的特征區(qū)域定位精度要求不是很 高，在臉部區(qū)域內(nèi)利用二值化圖像處理法分離出人臉圖像中的眼睛、鼻子、嘴巴等臉部特征。本發(fā)明采用局部自適應(yīng)二值化分割圖像處理法，這是在許多圖像處理法中所有閾 值分割圖像處理法中效果最好的，而且對于非均勻光線照射的圖像有很好的分割效果。通 過二值化分割，圖像的特征區(qū)域均可以比較粗略地區(qū)分出來，但是由于人臉圖像中的斑點、 皺紋等一些皮膚細節(jié)部分的影響，二值化有時會出現(xiàn)一些額外的小的區(qū)域，可通過設(shè)置閾 值來剔除這些干擾區(qū)域，然后通過腐蝕膨脹圖像處理法基本標(biāo)定出臉部特征區(qū)域，為后續(xù) 的圖像處理奠定了較好的基礎(chǔ)。在臉部特征定位的基礎(chǔ)上，對臉部非特征區(qū)域圖像處理的目標(biāo)是調(diào)整斑點皺紋區(qū) 域的色度值，使其恢復(fù)正常的色度值。在人臉的灰度圖像中，其皮膚的大部分區(qū)域比較平 坦，僅在存在斑點皺紋區(qū)域的灰度值會有突變，這些突變點可以看作脈沖噪聲點，其表現(xiàn)在 時空域中為小幅值中高頻率噪聲。由于非線性濾波器對處理這種噪聲信號有很好的作用， 同時可以保留圖像的細節(jié)不被破壞，所以本發(fā)明用濾波方法來處理該區(qū)域，以達到人臉美 化的目的。在保留圖像的細節(jié)不被破壞的同時，可以很好地去除圖像中的不理想部分，如斑 點、皺紋等，達到很好的美化效果，使得皮膚變得光滑，漂亮。與現(xiàn)有技術(shù)相比，本發(fā)明能夠達到基于人臉檢測和眼部細節(jié)保留的人臉美化的效 果，首先檢測圖像或視頻中存在的若干人臉位置，并通過提取人臉輪廓線進一步確定臉部 區(qū)域，提高了圖像處理的針對性，縮小了處理的范圍，在節(jié)省處理時間的同時完好地保留了 其他背景信息。其次，通過將人臉圖像分為特征區(qū)域和非特征區(qū)域，只對非特征區(qū)域進行處 理，這不僅保留人臉特征區(qū)域圖像的細節(jié)不被破壞，而且圖像處理耗時少。此外，本發(fā)明使 用濾波方法來處理斑點皺紋，取得了很好的美化效果，可以廣泛應(yīng)用于電視機、數(shù)碼相機、 攝像機、手機、投影儀以及其他數(shù)碼影像裝置和設(shè)備。


圖1是本發(fā)明原理示意框圖；圖2是人臉檢測流程示意圖；圖3是人臉矩形框隊列調(diào)整的示意圖；圖4是四個不同方向窗口的示意圖。
具體實施例方式以下結(jié)合附圖對本發(fā)明的實施例作詳細說明以下實施例在以本發(fā)明技術(shù)方案為 前提下進行實施，給出了詳細的實施方式和過程，但本發(fā)明的保護范圍不限于下述的實施 例。實施例
如圖1所示，本實施例包括以下步驟(1)首先對人臉檢測定位，然后調(diào)整人臉矩形框隊列，選擇人臉矩形框隊列以待圖 像處理。(2)進一步提取人臉輪廓，在人臉定位的基礎(chǔ)上，利用幾何活動輪廓模型提取人臉 輪廓線，確定臉部區(qū)域。(3)利用二值化圖像處理法分離出臉部區(qū)域內(nèi)的眼睛、鼻子、嘴巴等臉部特征，對 臉部特征進行定位。(4)對臉部非特征區(qū)域在臉部特征定位的基礎(chǔ)上進行圖像處理，去除臉部非特征 區(qū)域皮膚上的斑點、皺紋和瑕疵。如圖2所示，步驟(1)中所述的檢測定位是通過人臉分類器檢測人臉區(qū)域，并將檢 測出的若干人臉位置保存到人臉矩形框隊列中；若未檢出人臉，則進行光線補償，再利用膚 色模型重新檢測人臉區(qū)域，將檢測出的人臉位置保存到人臉矩形框隊列中。所述的檢測人臉，在檢測前，首先要確認圖像或視頻中的人臉方向，如果人臉橫向 則需要手工或自動實施旋轉(zhuǎn)校正操作，保持人臉處于豎直方向。本實施例在用人臉分類器進行人臉檢測定位之前需要將彩色圖像或視頻轉(zhuǎn)換 成灰度圖像，本實施例采用了由Viola和Jones提出[Viola P. and Jones Μ. ,"Robust real-time objectdetection，”(魯棒的實時對象檢測)，Technical Report 2001/1， Compaq Cambridge Research Lab, 2001. ], Li enhart 和 Maydt 改進得到的人臉檢測圖 像處理法[Lienhart R. and Maydt J. , ‘‘Anextended set of Haar-Iike features for rapid object detection，”(用于快速對象檢測的類哈爾特征擴展集)，Proc. IEEE ICIP， 2002，1 :900-903.]，可以有效地檢測出正面豎直的人臉。該圖像處理法通過機器學(xué)習(xí)的方 法對大量人臉圖像的矩形特征訓(xùn)練，從而得到人臉分類器。矩形特征也被稱為類哈爾特征 (Haar-like feature)，包括邊界特征、線條特征和中心包圍特征3類，共14種。通過事先 對人臉圖像的訓(xùn)練，機器學(xué)習(xí)圖像處理法給出用于判別人臉的這些矩形特征在方形區(qū)域中 的相對位置和閾值，從而構(gòu)成人臉分類器。人臉分類器在圖像或視頻中檢測出圖像中存在 的一個或多個人臉，并將人臉的位置用方框標(biāo)出，同時將檢測出的人臉矩形框位置保存到 人臉矩形框隊列中。如果人臉分類器沒有檢測出人臉，本實施例為了避免側(cè)面人臉的漏檢，通過膚色 模型重新進行人臉檢測?？紤]到膚色等色彩信息經(jīng)常受到光源顏色、圖像采集設(shè)備的色 彩偏差等因素的影響，而在整體上偏離本質(zhì)色彩而向某一方向移動，即常說的色彩偏冷、偏 暖、圖像偏黃、偏藍等等，所以在膚色模型檢測人臉前需要對圖像或視頻進行光線補償。具 體是對RGB空間的三個顏色通道分別做直方圖均衡化。即每個顏色通道中最亮的小部分像 素和最暗的小部分像素的值分別被重新設(shè)定為255和0，而其余像素的值則線性映射至1到 254的區(qū)間內(nèi)。經(jīng)過光線補償后，本實施例采用的膚色模型基于YCbCr顏色空間，Y、Cb和Cr分別 代表色彩的亮度和色度信息。一般的數(shù)碼圖像通常是用RGB顏色空間來表示，在膚色判別 的時候需要轉(zhuǎn)換到Y(jié)CbCr色彩空間進行處理。若將某像素的色彩值分別用R(紅)、G (綠)、 B(藍)表示，則將像素從RGB空間根據(jù)以下公式轉(zhuǎn)換到Y(jié)CbCr空間
6
經(jīng)過大量實驗證明，在YCbCr顏色空間中屬于膚色的范圍是Cb e (77，127)， Cr e (133，173)，可以通過判斷像素點的Cb，Cr值是否在上述范圍內(nèi)來判斷該像素點是否 是膚色，由于膚色的區(qū)域相對很集中，可以用Gauss分布來描述這種分布。本實施例采用訓(xùn) 練的方法來計算得到一個這樣分布的中心，接著本實施例根據(jù)像素離該中心的遠近來計算 該像素的膚色相似度，逐點計算得到原圖的相似度圖，然后采用最小誤差閾值分割得到該 相似度圖的二值化圖，從而將圖像分成膚色區(qū)域和非膚色區(qū)域，最后用投影法來確定人臉 的位置，同時將檢測出的人臉矩形框位置保存到人臉矩形框隊列中。本實施例考慮到人臉矩形框覆蓋了大部分的人臉，但是還是有下巴等部分區(qū)域沒 有包含進去，所以為了對整個人臉進行完整地處理，需要對人臉矩形框進行上下左右適當(dāng) 的擴展。本實施例分別擴展5%左右比較合適。與此同時，考慮到圖像中存在的人臉如果太 小，那么就失去了圖像處理的必要性。因此本實施例定義如果人臉矩形框的面積小于圖像 面積的六十四分之一，本實施例將它們從人臉矩形框隊列中去除不作圖像處理。本實施例 對于檢測得到的人臉矩形框隊列進行適當(dāng)?shù)恼{(diào)整，如圖3所示，去除太小的矩形框，以最終 確定需要圖像處理的人臉矩形框隊列。為了精確地定位人臉的位置，本實施例在人臉矩形框定位人臉的基礎(chǔ)上，進一步 提取人臉輪廓線來確定臉部區(qū)域。由于人臉形狀的多樣性和復(fù)雜性，在使用剛性模型提取 輪廓時，遇到了很大的困難，而常規(guī)的邊緣檢測算子得到的邊緣又不連續(xù)，因此活動輪廓模 型在解決人臉輪廓提取問題上具有很大的優(yōu)勢。針對傳統(tǒng)的snake模型圖像處理法極易 陷入局部極值，本實施例采用一種基于Chan-Vese幾何活動輪廓模型[Chan Τ. F. and Vese L. A. ,"Active contourswithout edges，，，($ _白勺 舌云力f&j )，IEEE Transactions on Image Processing, 2001,10 (2) =266-277.]的人臉輪廓提取方法。為了正確檢測出任意背 景圖像中的人臉，可將橢圓形狀作為曲線變形的約束條件，先找出圖像中類似橢圓的目標(biāo)， 再利用人臉內(nèi)部的特征信息，以進行進一步驗證。由于人臉本質(zhì)上是一個具有一定形變的 橢圓，因此可以將人臉的基本形狀用橢圓曲線(5進行描述 其中，(X(1，y0)為橢圓中心，P為橢圓的縱橫比，一般在0.8 1.5之間?？紤]到 圖像中人臉的大小和位置未知，故需引入尺度因子Y、旋轉(zhuǎn)矩陣R和位移矩陣T，這樣即得 到人臉的形狀曲線族C =沖(5 + Γ。對Chan-Vese提出的幾何活動輪廓模型進行如下改進 將人臉的橢圓形狀作為約束加入到模型中，目的是使模型最好收斂于橢圓目標(biāo)邊緣。設(shè)水 平集函數(shù)P的零水平集曲線為C'，它與人臉的形狀曲線族之間的相似程度可表示為 式中，d2(YRx+T)表示C'上的點到曲線族之間的距離。加入橢圓約束的能量函 數(shù)可表示為
其中，Ems為Chan-Vese提出的幾何活動輪廓模型的能量泛函，即第1項將模型吸 引到圖像的邊緣；第2項使模型被吸引到圖像中的橢圓目標(biāo)。λ >0為兩項的平衡參數(shù)。 當(dāng)模型收斂于橢圓目標(biāo)邊緣時，能量函數(shù)取最小值。這樣就抽取出人臉圖像中類似橢圓的 目標(biāo)邊緣，根據(jù)人臉的先驗知識，然后通過對檢測到的橢圓目標(biāo)進行進一步驗證來找到最 終人臉輪廓，確定臉部區(qū)域。如圖1所示，本實施例為了在人臉圖像處理的同時盡可能的保留圖像的細節(jié)信息 不丟失，需要將人臉圖像分為特征區(qū)域和非特征區(qū)域。針對該過程對圖像中的特征區(qū)域定 位精度要求不是很高，在臉部區(qū)域，對彩色人臉圖像的R、G、B三通道分別應(yīng)用二值化圖像 處理法，可以分離出人臉圖像中的眼睛、鼻子、嘴巴等臉部特征，將人臉劃分為特征部分和 非特征部分，為保護人臉細節(jié)奠定了很好的基礎(chǔ)。在許多圖像處理法中，Niblack圖像處理 法[W. NIBLACK，“An introduction to digital image processing，”(數(shù)字圖像處理導(dǎo) 論)，Prentice-Hall, EnglewoodCliffs, New Jersey, 1986 :115_116.]是一種常被提出來 使用的局部自適應(yīng)二值化分割圖像處理法，是所有閾值分割圖像處理法中效果最好的，而 且對于非均勻光線照射的圖像有很好的分割效果。該圖像處理法是基于灰度圖像的，將原 始圖像劃分成較小的圖像塊，再分別對其選取相應(yīng)的閾值進行分割。其中圖像二值化的閾 值為 其中m(x，y)為區(qū)域圖像的灰度平均值，s(x，y)為區(qū)域圖像的灰度標(biāo)準(zhǔn)差，R為 S (x, y)的可能范圍，是為了標(biāo)準(zhǔn)化灰度值而設(shè)的，由于灰度圖像的像素值范圍為0 255， 所以本實施例取R= 128，k和模板的大小為經(jīng)驗值，取k =-0.03，模板大小為7X7。通過 試驗表明，該二值化圖像處理法在明暗度不同的區(qū)域都可以達到較理想的二值化效果。圖 像的特征區(qū)域均可以比較粗略地區(qū)分出來，但是由于人臉圖像中的斑點皺紋等一些皮膚細 節(jié)部分的影響，二值化時會出現(xiàn)一些額外的小的區(qū)域，本實施例通過使用設(shè)置閾值來剔除 這些干擾區(qū)域。其判斷原則為對每個像素值為1的點使用大小為7X7的模板，統(tǒng)計該模 塊內(nèi)的像素值不為0的點的個數(shù)，經(jīng)過實驗得出，若該點數(shù)小于10則表示該點為干擾點，修 改該點像素值。Niblack 二值化圖像處理法可以分離出圖像的特征信息如眼睛、鼻子、嘴 巴等需要保護的圖像特征區(qū)域，繼而通過腐蝕膨脹圖像處理法之后基本標(biāo)定出特征區(qū)域， 將人臉圖像分為特征區(qū)域和非特征區(qū)域。在人臉的灰度圖像中，其皮膚的大部分區(qū)域比較平坦，僅在存在斑點皺紋區(qū)域灰 度值會有突變，這些突變點可以看作脈沖噪聲點，其表現(xiàn)在時空域中為小幅值中高頻率噪 聲。通過計算NXN區(qū)域內(nèi)的灰度平均值和均方差來進行分析，可以得出，在平滑區(qū)域的各 個像素灰度值與灰度平均值相等或差值相差很小，而在有斑點或皺紋的區(qū)域其灰度值與灰 度平均值之差較大且其差值的平均值遠大于該區(qū)域均方差的值，由于非線性濾波器對處理 這種噪聲信號有很好的作用，同時可以保留圖像的細節(jié)不被破壞。本實施例使用了濾波方 法來處理該區(qū)域，以達到消除人臉上瑕疵的作用。
在臉部特征定位的基礎(chǔ)上，對臉部非特征區(qū)域，美化處理的目標(biāo)是調(diào)整斑點皺紋 區(qū)域的色度值，使其恢復(fù)正常的色度值。針對某些人臉上存在大顆的痣，可以根據(jù)實際需 要，通過鄰域插值的方法去除。令x(m，n)表示圖像在m行η列的灰度值。取變長為L的矩 形窗口，這里L(fēng) = 2Ν+1，N為整數(shù)；然后把該窗口分成四個小窗口，當(dāng)取L = 5時，如圖4所 示。x(m-i，n-j)，-N<i，j彡N表示窗口內(nèi)的像素點，則四個窗口被定義為 其中W1 (m, η)，W2 (m, η)，W3 (m, η)，W4 (m, η)分別表示沿水平，垂直，與水平方向成 45°及135°的一維窗口。令Z1 (m, η)，Z2 (m, η)，Z3 (m, η)，Z4 (m, η)分別表示這四個窗口內(nèi)所有像素點的中值。 即Zk(m, n) =med[x(i，j) e Wk(m, η)] ；k = 1,2,3,4Umin (m，η), Ufflax (m, η)分別表示上式中四個中值的最小和最大值。即Umin (m, n) = min [Z1 (m, η), Z2 (m, η), Z3 (m, η), Z4 (m, η)]Umax (m, η) = max [Z1 (m, η), Z2 (m, η), Z3 (m, η), Z4 (m, η)]那么，這種特殊的濾波器的輸出最終由下式給出y (m, n) = med [Umin (m, η), Umax (m, η), χ (m, η)]上式的四個窗口中，由于中心點像素值均參與操作，這使得各個方向相互關(guān)聯(lián)，降 低了圖像對細節(jié)的保護。為了滿足各個窗口間所含像素點的相互獨立性，本實施例需要把 四個方向的窗口的中心點像素x(m，n)去除，這樣可以得到更好地保留圖像細節(jié)的效果。改 進后的公式表示如下 通過多次試驗，發(fā)現(xiàn)當(dāng)濾波窗口 L太小，則計算量會增加，當(dāng)L太大，則不利于圖像 細節(jié)的保留。因此本實施例取濾波窗口L = 5比較適中。根據(jù)以上的濾波方法，本實施例迭代地處理圖像中保留特征區(qū)域之后的平坦皮膚 部分，可以很好的去除圖像中的不理想部分，如斑點、皺紋等，得到了很好的美化效果，使得 皮膚變得光滑，漂亮。通過多次試驗得出，當(dāng)該迭代次數(shù)為3次左右時可以達到比較好的效 果，5次以上對圖像的細節(jié)損失比較大。
權(quán)利要求
一種人臉檢測中非特征區(qū)域圖像處理的方法，其特征在于，包括四個步驟(1)首先對人臉檢測定位，然后調(diào)整人臉矩形框隊列，選擇人臉矩形框隊列以待圖像處理；(2)進一步提取人臉輪廓，在人臉定位的基礎(chǔ)上，利用幾何活動輪廓模型提取人臉輪廓線，確定臉部區(qū)域；(3)利用二值化圖像處理法分離出臉部區(qū)域內(nèi)的眼睛、鼻子、嘴巴等臉部特征，對臉部特征進行定位；(4)對臉部非特征區(qū)域在臉部特征定位的基礎(chǔ)上進行圖像處理，去除臉部非特征區(qū)域皮膚上的斑點、皺紋和瑕疵。
2.根據(jù)權(quán)利要求1所述的人臉檢測中非特征區(qū)域圖像處理的方法，其特征是，步驟(1) 中所述的檢測定位是通過人臉分類器檢測人臉區(qū)域，將檢測出的若干人臉位置保存到人臉 矩形框隊列；若未檢出人臉，則進行光線補償，再利用膚色模型重新檢測人臉區(qū)域，將檢測 出的人臉位置保存到人臉矩形框隊列。
3.根據(jù)權(quán)利要求1所述的人臉檢測中非特征區(qū)域圖像處理的方法，其特征是，所述的 檢測人臉，在檢測前，首先要確認圖像或視頻中的人臉方向，如果人臉橫向則需要手工或自 動實施旋轉(zhuǎn)校正操作，保持人臉處于豎直方向。
4.根據(jù)權(quán)利要求1所述的人臉檢測中非特征區(qū)域圖像處理的方法，其特征是，調(diào)整檢 測出所述的人臉矩形框隊列，以及需要處理的人臉矩形框隊列，對人臉矩形框進行上下左 右的擴展，分別擴展5%左右；與此同時，如果人臉矩形框的面積小于圖像面積的六十四分 之一，就將它們從人臉矩形框隊列中去除。
5.根據(jù)權(quán)利要求1所述的人臉檢測中非特征區(qū)域圖像處理的方法，其特征是，所述的 人臉分類器是采用機器學(xué)習(xí)的方法，在矩形特征的基礎(chǔ)上，對大量的人臉灰度圖進行訓(xùn)練 而得到的，人臉分類器處理正面人臉圖像，對于側(cè)面人臉圖像，通過基于YCbCr色彩空間的 膚色模型進行人臉區(qū)域檢測，在膚色判定前對圖像或視頻做光線補償。
6.根據(jù)權(quán)利要求1所述的人臉檢測中非特征區(qū)域圖像處理的方法，其特征是，步驟(2) 中所述的提取人臉輪廓的方法，首先將人臉形狀的橢圓性約束作為算子嵌入到幾何活動輪 廓模型中，并利用幾何活動輪廓模型提取任意輪廓的優(yōu)勢來快速抽取出圖像中類似橢圓的 目標(biāo)邊緣；然后根據(jù)圖像中人臉的知識，通過對檢測到的橢圓目標(biāo)進行進一步驗證來找到 最終人臉輪廓。
7.根據(jù)權(quán)利要求1所述的人臉檢測中非特征區(qū)域圖像處理的方法，其特征是，步驟(4) 中所述的非特征區(qū)域進行圖像處理，目標(biāo)是調(diào)整恢復(fù)斑點、皺紋和瑕疵區(qū)域的正常的色度 值，由于在人臉的灰度圖像中，其皮膚的大部分區(qū)域比較平坦，僅在存在斑點皺紋區(qū)域灰度 值會有突變，這些突變點可看作脈沖噪聲點，其表現(xiàn)在時空域中為小幅值中高頻率噪聲，采 用濾波方法來處理該區(qū)域，在保留圖像的細節(jié)不被破壞的同時，去除圖像中的斑點、皺紋和 瑕疵。
全文摘要
一種圖像處理技術(shù)領(lǐng)域人臉檢測中非特征區(qū)域圖像處理的方法。包括四個步驟首先對人臉檢測定位，然后調(diào)整人臉矩形框隊列，選擇人臉矩形框隊列以待圖像處理；進一步提取人臉輪廓，在人臉定位的基礎(chǔ)上，利用幾何活動輪廓模型提取人臉輪廓線，確定臉部區(qū)域；利用二值化圖像處理法分離出臉部區(qū)域內(nèi)的眼睛、鼻子、嘴巴等臉部特征，對臉部特征進行定位；對臉部非特征區(qū)域在臉部特征定位的基礎(chǔ)上進行圖像處理，去除臉部非特征區(qū)域臉部皮膚上的斑點、皺紋和瑕疵。本發(fā)明能快速檢測和定位數(shù)碼圖像或視頻中存在的多個人臉位置，可完整保留人臉圖像的細節(jié)部分，達到了自動人臉美化的效果。
文檔編號G06K9/00GK101916370SQ20101026699
公開日2010年12月15日 申請日期2010年8月31日 優(yōu)先權(quán)日2010年8月31日
發(fā)明者盧芳芳, 趙群飛 申請人:上海交通大學(xué)