專利名稱：取決于圖像的面部檢測方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理方法，特別涉及運動圖像處理系統(tǒng)和圖像通信系統(tǒng)，如VOD(視頻點播)和PVR(個人圖像記錄器)中的取決于圖像的面部檢測方法，其能夠有效地通過皮膚顏色來檢測面部。
另外，在利用PC(個人計算機)攝像機的圖像通信或能夠進(jìn)行圖像傳輸?shù)腎MT2000業(yè)務(wù)中，通常通過檢測面部來僅對面部進(jìn)行高比特率的編碼，所以在基于對象的編碼技術(shù)中使用檢測面部的技術(shù)，在低比特率下維持高的圖像質(zhì)量。
如上所述，因為在各種領(lǐng)域中使用面部檢測技術(shù)，已經(jīng)報導(dǎo)了很多與自動檢測面部相關(guān)的工作。
典型的面部檢測方法是利用皮膚顏色信息。也就是說，這種方法是通過僅把人體顏色的像素指定為面部候選來檢測面部。
但是，在通過各種攝像機在各種場景下得到的人物圖像中，分析一個具有人體顏色的部分的顏色，每個圖像都會顯示出不同的顏色。也就是說，因為隨圖像的不同面部的顯示也大不相同，如果試圖預(yù)先確定人體顏色的范圍，則這個范圍就太寬了，所以圖像中包含人體顏色以外部分的情況會增加。因此，很難使用利用人體顏色范圍的面部檢測方法。原因如下(1)由照明引起的顏色失真人體顏色范圍隨照明而變化。特別地，亮度隨照明顯著地變化，因為亮度對顏色非常敏感。
(2)由攝取圖像的設(shè)備而引起的顏色失真盡管在相同的地方在相同的照明下攝取圖像，顏色還是會由于攝取圖像的設(shè)備而相互不同。例如，在PC攝像機的情況下，由于攝像機的照明引起的失真，白色會顯示為其它的顏色，比如灰色或綠色，而不是純白色。這是因為各個攝像設(shè)備獨特的特性使顏色失真或改變了。
(3)由再生圖像的設(shè)備引起的顏色失真顏色還會由于用于接收圖像并再生圖像的設(shè)備，比如PC的視頻卡的特性而失真。
如此，因為利用皮膚顏色的面部檢測方法具有上述的問題(1)、(2)和(3)，為了解決這些問題，已經(jīng)報導(dǎo)了很多利用皮膚顏色之外信息的面部檢測方法的研究。
在這些方法之一，在根據(jù)人體顏色特性把預(yù)先構(gòu)成的人體面部圖像粗略地分為一些組后，再次根據(jù)角度劃分一些組從而形成各組的人體面部模板。然后，掃描所構(gòu)成的模板，并通過從模板的最小尺寸到模板的最大尺寸調(diào)節(jié)模板尺寸，與圖像的總體部分相匹配。
但是，在這種方法中，因為匹配的數(shù)目太大，盡管尺寸很小，還是存在處理時間太長的問題。因此，盡管精確度比較好，但難以進(jìn)行實時處理。
相應(yīng)的，為了實現(xiàn)上述目標(biāo)，提供了一種取決于圖像的面部檢測方法，包括獲取給定圖像中主要分布的顏色組的步驟；在所獲取的顏色組中指定對應(yīng)于人體顏色的顏色組的步驟；以及劃分由對應(yīng)于人體顏色的顏色組的像素構(gòu)成的部分的步驟。
這里，還可以包括識別面部的步驟。
另外，獲取主要分布的顏色組的步驟包括以下步驟構(gòu)成圖像的顏色直方圖；獲得顏色直方圖中具有最大區(qū)間(bin)值的區(qū)間(bmax)；測量bmax的代表性顏色值和其它各區(qū)間的代表性顏色值之間的相似度；利用測得的相似度低于一個臨界值的區(qū)間和bmax指定主要顏色的顏色范圍；以及指定主要顏色的代表性顏色。
另外，還可以包括檢測對應(yīng)于從顏色直方圖中提取的主要顏色的區(qū)間的步驟，計算其余區(qū)間中的最大區(qū)間的步驟，以及當(dāng)最大區(qū)間大于一個臨界值時另外指定主要顏色組的步驟。
另外，在指定對應(yīng)于所獲得的顏色組中人體顏色部分的顏色組的步驟中，如果所獲得的顏色組的代表性顏色屬于預(yù)定的人體顏色范圍，則把該代表性顏色指定為人體顏色部分的顏色組。
另外，當(dāng)B＞G，G＞100，并且B+15＜R＜B+50時，把預(yù)定的人體顏色范圍判斷為人體顏色，其中顏色坐標(biāo)是RGB，各個坐標(biāo)R、G、B的范圍分別屬于0到255之間，當(dāng)G＞B，B＞100，并且G+15＜R＜G+50時，也判斷為人體顏色，其中顏色坐標(biāo)是RGB，各個坐標(biāo)R、G、B的范圍分別屬于0到255之間。
另外，當(dāng)134＜Cb＜155，91＜Cr＜142，并且60＜Y＜230時，把預(yù)定范圍的人體顏色判斷為人體顏色，其中顏色坐標(biāo)是YCrCb，并可以由24比特表示。
另外，在識別面部的步驟中，把由檢測到的像素構(gòu)成的劃分部分與面部模板進(jìn)行比較，從而確定所劃分的部分是否對應(yīng)于面部。
另外，在識別面部的步驟中，當(dāng)劃分部分的尺寸和長寬比在所期望的范圍內(nèi)滿足某一條件時，把劃分部分判斷為面部。
另外，在識別面部時，把臨界值以下的劃分部分判斷為非面部，并刪除臨界值以下的部分，在刪除臨界值以下的部分時使用開放形態(tài)技術(shù)。
根據(jù)本發(fā)明，在運動圖像處理系統(tǒng)和圖像通信系統(tǒng)，比如VOD(視頻點播)和PVR(個人視頻記錄器)中，通過在分析給定圖像中顏色分布之后適應(yīng)性地指定適合于該給定圖像的人體顏色范圍，并利用皮膚顏色，可以有效地檢測面部。
通常，圖像中顯示的人體顏色范圍根據(jù)攝像條件和攝像設(shè)備而大不相同。但是，在一個圖像幀中構(gòu)成人體的人體顏色像素的顏色分布集中在一個很窄的范圍。這是因為在一個幀中使用的是同樣的照明和同樣的攝像設(shè)備，對于一個幀中的物體，人體顏色顯示在一個特定的范圍內(nèi)。
但是，盡管人體顏色顯示在特定的范圍內(nèi)，因為人體顏色范圍根據(jù)幀而變化，對于一個給定的幀，很難自動判斷怎樣在一個范圍內(nèi)指定顏色坐標(biāo)，以檢測最佳的人體部分顏色。在本發(fā)明中，提供了一種面部檢測方法，通過分析給定圖像幀中的顏色分布，并適應(yīng)性地應(yīng)用一個取決于圖像的人體顏色范圍，從而獲得一個主要顏色組之后，把對應(yīng)于人體顏色的部分的顏色組指定為當(dāng)前給定圖像的人體顏色范圍，從而可以快速有效地檢測面部。


圖1是一個流程圖，顯示了通過根據(jù)本發(fā)明的取決于圖像的面部檢測方法在圖像中檢測面部的過程。
如圖1所示，根據(jù)本發(fā)明的取決于圖像的面部檢測方法包括以下步驟輸入圖像(步驟101)；主要顏色分組(步驟102)；指定人體顏色的顏色組(步驟103)；以及檢測人體顏色的顏色部分，還可以包括識別面部的步驟。
這里，步驟101中的圖像輸入可以是靜止圖像或運動圖像的一個幀。然后，步驟102的主要顏色分組步驟是通過分析步驟101的輸入圖像的顏色分布，自動分析主要顏色組的分布范圍。
以下參照圖2對步驟102的主要顏色分析處理進(jìn)行詳細(xì)說明。
圖2是一個流程圖，顯示了在根據(jù)本發(fā)明的取決于圖像的面部檢測方法中，輸入圖像的主要顏色分組過程。
以下參照圖2解釋輸入圖像的主要顏色分組處理。首先，對于靜止圖像或運動圖像的輸入圖像，把顏色空間轉(zhuǎn)化為HSV，并量化顏色值。然后，對于量化的顏色值，獲得顏色直方圖，通過歸一化處理把顏色分布值歸一化(步驟201)。
然后，對于步驟201中獲得的歸一化顏色直方圖，在顏色直方圖的區(qū)間中檢測最大bmax(步驟202)。這里，判斷檢測到的bmax的比率是否大于預(yù)定的臨界值(τ1)(步驟203)。
作為步驟203的判斷的結(jié)果，如果檢測到的bmax的比率大于預(yù)定的臨界值(τ1)，則把當(dāng)前檢測的區(qū)間的代表性顏色值判斷為輸入圖像的主要顏色，并執(zhí)行利用該主要顏色的顏色分組算法(步驟204之后的處理)。另外，作為步驟203的判斷的結(jié)果，如果檢測的bmax的比率不大于預(yù)定的臨界值(τ1)，則判斷不存在代表性顏色，并結(jié)束主要顏色分組處理。
另一方面，作為步驟203的判斷的結(jié)果，對于比率被判斷為大于臨界值(τ1)的bmax，計算所有顏色直方圖的區(qū)間和當(dāng)前檢測的bmax的代表性顏色之間的相似度(步驟204)。
這里，計算所有顏色直方圖的區(qū)間和bmax的代表性顏色值之間相似度的方法要使用計算各個區(qū)間的代表性顏色值和bmax的代表性顏色值之間的差異的方法。然后，使用構(gòu)成顏色直方圖的各個區(qū)間所表現(xiàn)的顏色范圍中的中間顏色作為各個區(qū)間的代表性顏色值。因此，在量化HSV顏色坐標(biāo)以得到顏色直方圖的過程中先確定代表性顏色值。
然后，通過相似度計算，檢測出所有的代表性顏色值與bmax的代表性顏色值之間差異在預(yù)定臨界值(τ2)以下的區(qū)間。結(jié)果，得到一組顏色值近似于檢測到的bmax的bk，并得到一組{bmax，bk}(步驟205)。
這里，bk是一組顏色值近似于bmax的區(qū)間({bmax，bk}，其中k∈S，S＝{所有Cbmax和代表性顏色值之間差異小于預(yù)定臨界值(τ2)的區(qū)間})。然后，利用這個bmax和一組bk的代表性顏色值生成新的主要顏色(步驟206)。
這里，生成新的主要顏色的方法如下所示Cdom=P(bmax)·V(Cbmax)+Σk∈SP(bk)·V(Cbk)]]>其中bmax顏色直方圖中的最大區(qū)間，bk顏色額直方圖中的第i個區(qū)間，Cbmax最大區(qū)間的代表性顏色值，Cbk顏色直方圖的第i個區(qū)間的代表性顏色值，Cdom新的主要顏色值，V(x)x的向量值，P(x)x的概率，即直方圖的區(qū)間值。
這里，在所得到的新主要顏色中反映了區(qū)間的比率和區(qū)間的代表性顏色。因為反映了區(qū)間的比率，所以可以知道在主要的整個圖像中更多地包含了什么顏色值。這里，把新的主要顏色轉(zhuǎn)換成原始顏色空間，以顯示代表性顏色值(例如R、G、B)。然后，從當(dāng)前圖像中刪除所檢測到的bmax和bk組的區(qū)間后(步驟207)，重復(fù)執(zhí)行步驟202后的步驟，即刪除直方圖中具有最大值的區(qū)間(bmax)。
重復(fù)執(zhí)行這個主要顏色的分組計算，直到具有最大值的bmax的比率低于特定的臨界值(τ1)。在檢測主要顏色的過程中，通過輸入臨界值(τ1)和所需數(shù)目的顏色值，可以控制多個檢測。
通過這些步驟，對輸入圖像進(jìn)行主要顏色分組后，執(zhí)行指定人體顏色的顏色組的步驟，即指定一個主要顏色組中的顏色范圍屬于人體顏色部分的組的步驟(步驟103)。
這里，預(yù)先定義的人體顏色部分使用在統(tǒng)計分析一組人體顏色數(shù)據(jù)后定義的范圍，正如普通技術(shù)中所使用的一樣。這樣，在利用這組預(yù)先提供的人體顏色數(shù)據(jù)而指定寬范圍的人體顏色后，通過把對應(yīng)于主要顏色分組步驟102中得到的顏色組中的人體顏色范圍的顏色組指定為人體顏色組，從而執(zhí)行人體顏色組的指定。這時，新指定的人體顏色的范圍要比常規(guī)的人體顏色范圍窄，從而適合于檢測輸入圖像中的人體顏色部分。
但是，在本發(fā)明的這個實施例中，如下指定RGB顏色坐標(biāo)和YCrCb顏色坐標(biāo)中的人體顏色范圍<RGB顏色坐標(biāo)>
IF(((b＞g)&&(g＞100)&&(r＞b+15)&&(r＜b+50))‖((g＞b)&&(b＞100)&&(r＞g+15)&&(r＜g+50)))THAN SKIN COLOR<YCrCb顏色坐標(biāo)>
IF((Cb＞134&&Cb＜155&&Cr＜91&&Cr＜142)&&Y＞60&&Y＜230)THAN SKIN COLOR然后，可以利用新指定的人體顏色范圍，通過僅檢測人體顏色的像素而檢測皮膚部分(步驟104)。
圖3a-5c顯示了通過這些步驟檢測面部的示例。圖3a-3c顯示了原始輸入圖像，圖4a-4c顯示了通過對圖3a-3c所示輸入圖像進(jìn)行顏色分組處理得到的對應(yīng)于主要顏色組的部分。然后，通過指定圖4a-4c所示主要顏色組中的人體顏色組，圖5a-5c僅顯示了人體顏色的部分。如圖所示，面部可以足夠顯示以適當(dāng)?shù)貏澐譃橹饕伾?br> 另一方面，在根據(jù)人體顏色的顏色組劃分部分的步驟中，由于屬于非面部的部分會一起檢測到，所以還需要一個識別面部的步驟。
識別面部的步驟可以利用常規(guī)的方法來執(zhí)行，比如開放形態(tài)技術(shù)，以刪除檢測到的人體顏色部分中尺寸小于一個臨界值的部分。
圖6a-6d解釋了常規(guī)的開放形態(tài)技術(shù)。
也就是說，如圖6a-6d所示，可以采用開放形態(tài)技術(shù)，利用直徑大于相應(yīng)臨界值的元素，簡單地執(zhí)行刪除尺寸小于特定臨界值的部分的步驟?？梢岳媒o定的元素(參見圖6b)，通過“侵蝕”處理，使一個部分從其邊界縮小該元素的半徑(參照圖6c)，以及通過“擴張”處理，使剩余部分從其邊界擴張該元素的半徑(參照圖6d)，進(jìn)行所述的“開放”。
但是，為了更確切地校驗通過這些處理檢測出的面部，可以另外使用一個面部模板。也就是說，在識別面部的步驟之后，利用面部模板從檢測出來的皮膚部分中檢測面部，從而檢測出面部(步驟105)。
另外，在識別面部的步驟之后，如果滿足所劃分部分的尺寸和長寬比在一個所希望的范圍內(nèi)的條件，則把所劃分的部分判斷為面部。
但是，在皮膚部分主要出現(xiàn)為面部的情況下，比如圖像通信，當(dāng)使用本方法跟蹤面部部分時，省去識別面部的步驟，僅使用人體顏色部分，也可以有效地檢測面部。
如上所述，在根據(jù)本發(fā)明的取決于圖像的面部檢測方法中，在運動圖像處理系統(tǒng)各圖像通信系統(tǒng)，比如VOD(視頻點播)和PVR(個人圖像記錄器)，在分析給定圖像中的顏色分布之后，適應(yīng)性地指定適合于該圖像的人體顏色范圍，利用皮膚顏色，可以有效地檢測面部。
也就是說，在人體顏色部分的基礎(chǔ)上，根據(jù)本發(fā)明的取決于圖像的面部檢測方法具有處理時間短的優(yōu)點，并且通過對于輸入圖像的最優(yōu)人體顏色范圍，可以準(zhǔn)確地檢測人體顏色部分。更具體而言，在皮膚部分主要出現(xiàn)為面部的情況下，比如圖像通信，當(dāng)檢測面部以跟蹤面部位置時，可以有效地劃分面部。
盡管以上出于示例的目的公布了本發(fā)明的優(yōu)選實施例，本領(lǐng)域的技術(shù)人員可以理解，在不脫離所附權(quán)利要求所限定的本發(fā)明范圍和精神的情況下，本發(fā)明可以有各種改進(jìn)、添加和替換。
權(quán)利要求
1.在運動圖像處理系統(tǒng)和圖像通信系統(tǒng)中通過皮膚顏色而能夠有效地檢測面部的面部檢測方法中，一種取決于圖像的面部檢測方法，包括獲取所述圖像中主要分布的顏色組的步驟；在所獲取的顏色組中指定對應(yīng)于人體顏色的顏色組的步驟；劃分由對應(yīng)于人體顏色的顏色組的像素構(gòu)成的部分的步驟；以及將所劃分的部分與面部模板進(jìn)行比較，從而識別面部，以判斷所劃分的部分是否對應(yīng)于面部的步驟。
2.根據(jù)權(quán)利要求1所述的取決于圖像的面部檢測方法，其中所述獲取主要分布的顏色組的步驟包括構(gòu)成所述圖像的顏色直方圖的步驟；獲取所述顏色直方圖中具有最大區(qū)間值的區(qū)間(bmax)的步驟；測量所述bmax的代表性顏色值和其它各個區(qū)間的代表性顏色值之間的相似度的步驟；利用測得的相似度低于一個臨界值的區(qū)間以及bmax來指定主要顏色的顏色范圍的步驟；以及指定所述主要顏色的代表性顏色的步驟。
3.根據(jù)權(quán)利要求2所述的取決于圖像的面部檢測方法，其中還包括從顏色直方圖中檢測對應(yīng)于所提取的主要顏色的區(qū)間的步驟，計算其余區(qū)間中的最大區(qū)間的步驟，以及當(dāng)所述最大區(qū)間大于一個臨界值時另外指定一個主要顏色組的步驟。
4.根據(jù)權(quán)利要求1所述的取決于圖像的面部檢測方法，其中在指定對應(yīng)于所獲取顏色組中人體顏色部分的顏色組的步驟中，如果所獲取的顏色組的代表性顏色屬于預(yù)定的人體顏色范圍，則把所述代表性顏色指定為人體顏色部分的顏色組。
5.根據(jù)權(quán)利要求4所述的取決于圖像的面部檢測方法，其中當(dāng)B＞G，G＞100，并且B+15＜R＜B+50時，其中顏色坐標(biāo)為RGB，各個坐標(biāo)R、G、B的范圍分別屬于0至255之間，把所述預(yù)定的人體顏色范圍判斷為人體顏色。
6.根據(jù)權(quán)利要求4所述的取決于圖像的面部檢測方法，其中當(dāng)G＞B，B＞100，并且G+15＜R＜G+50時，其中顏色坐標(biāo)為RGB，各個坐標(biāo)R、G、B的范圍分別屬于0至255之間，把所述預(yù)定的人體顏色范圍判斷為人體顏色。
7.根據(jù)權(quán)利要求4所述的取決于圖像的面部檢測方法，其中當(dāng)134＜Cb＜155，91＜Cr＜142，并且60＜Y＜230時，其中顏色坐標(biāo)為YCrCb，并且可以由24比特表示，把所述預(yù)定的人體顏色范圍判斷為人體顏色。
8.根據(jù)權(quán)利要求1所述的取決于圖像的面部檢測方法，其中識別面部的步驟是，當(dāng)所劃分部分的尺寸和長寬比滿足處于所希望范圍之內(nèi)的條件時，把所劃分部分判斷為面部。
9.根據(jù)權(quán)利要求1所述的取決于圖像的面部檢測方法，其中識別面部的步驟是把低于一個臨界值的劃分部分判斷為非面部，并刪除低于所述臨界值的部分。
10.根據(jù)權(quán)利要求9所述的取決于圖像的面部檢測方法，其中利用開放形態(tài)技術(shù)執(zhí)行所述刪除低于一個臨界值的部分的步驟。
全文摘要
提供了一種取決于圖像的面部檢測方法，包括獲取給定圖像中主要分布的顏色組的步驟；在所獲取的顏色組中指定對應(yīng)于人體顏色的顏色組的步驟；以及劃分由對應(yīng)于人體顏色的顏色組的像素構(gòu)成的部分的步驟。還可以包括識別面部的步驟。獲取主要分布的顏色組的步驟包括構(gòu)成圖像的顏色直方圖；獲得顏色直方圖中具有最大區(qū)間值的區(qū)間(b
文檔編號G06K9/00GK1411284SQ0214432
公開日2003年4月16日 申請日期2002年10月8日 優(yōu)先權(quán)日2001年10月5日
發(fā)明者李振秀, 柳在信, 金賢俊 申請人:Lg電子株式會社