專利名稱：圖像處理裝置和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于檢測并識別拍攝圖像中包含的面部圖像的圖像處理裝 置和圖像處理方法，并且更具體地涉及用于檢測從輸入圖像中檢測到的面 部圖像的面部部分(諸如眼睛的中心、內(nèi)側(cè)角和外側(cè)角，鼻子，鼻子的底 端和側(cè)面，嘴，嘴的各端、眉毛以及眉毛頭和眉毛尾)的位置的圖像處理 裝置和圖像處理方法。
更具體地，本發(fā)明涉及用于使用采用了統(tǒng)計(jì)學(xué)習(xí)算法(諸如
Adaboost)的檢測器檢測面部圖像的面部部分的位置的圖像處理裝置和圖 像處理方法，并且更具體地涉及用于通過使用較少計(jì)算量和存儲量的面部 檢測來檢測被檢測的面部圖像的面部部分的位置(諸如眼睛)的圖像處理 裝置和圖像處理方法。
背景技術(shù)：
面部識別技術(shù)可廣泛應(yīng)用于人機(jī)接口，諸如不會給用戶增添負(fù)擔(dān)的個 人身份認(rèn)證系統(tǒng)和性別確定系統(tǒng)。近年來，面部識別技術(shù)已經(jīng)被用于數(shù)碼 相機(jī)中針對對象檢測或?qū)ο笞R別的自動化相機(jī)操作中，例如，自動聚焦 (AF)、自動曝光(AE)、自動視角設(shè)定或者自動拍照。
在面部識別系統(tǒng)中，例如，執(zhí)行用于檢測面部圖像的位置并將被檢測 的面部圖像作為被檢測的面部提取出來的面部檢測、用于從被檢測面部中 檢測面部主要部分的面部部分檢測以及用于識別被檢測面部(確定人物) 的面部識別。在面部檢測中，從輸入圖像中檢測面部圖像的尺寸和位置， 并且提取被檢測的面部圖像作為被檢測面部。在面部部分檢測中，從被檢 測面部中檢測面部部分。面部部分包括眼睛的中心、內(nèi)側(cè)角和外側(cè)角，鼻 子，鼻子的底端和側(cè)面，嘴、嘴的各端、眉毛以及眉毛頭和眉毛尾。在基 于被檢測面部部分的被檢測位置執(zhí)行位置調(diào)整和旋轉(zhuǎn)補(bǔ)償之后，在面部識
別中，執(zhí)行被檢測面部的識別(人物的確定)。
已經(jīng)提出了許多僅僅使用圖像信號的濃淡圖案從復(fù)雜圖像場景中檢測
面部的方法。例如，采用諸如Adaboost的統(tǒng)計(jì)學(xué)習(xí)算法的檢測器可用于上
述面部檢測。
Adaboost被Freund等人于1996年提出作為一種理論，其中通過組合 許多"執(zhí)行稍稍優(yōu)于隨機(jī)猜測的弱分類器(也被稱為弱學(xué)習(xí)機(jī))"可以得 到"強(qiáng)分類器"。每個弱分類器可以是諸如哈爾基函數(shù)(Haar basis function)的濾波器并且按照為先前生成的弱分類器所不擅長的分類結(jié)果分 配權(quán)重a的方式而生成。得出每個弱分類器的可信賴度，并且基于所得出 的每個弱分類器的可信賴度，執(zhí)行多數(shù)票決(majority vote)。
這里，可以假定在輸入圖像中包括各種尺寸的面部(參見圖9)。因 此，有必要切割出各種尺寸的搜索窗口，以便確定在每個切割出的搜索窗 口中是否包含面部。
作為處理圖像的分辨率和被檢測面部的尺寸之間的關(guān)系問題的方法， 存在固定圖像的分辨率的方法(即，針對輸入圖像中包含的各種尺寸的面 部而準(zhǔn)備各種面部檢測器的方法)以及固定被檢測面部的尺寸的方法 (即，以不同方式減小輸入圖像的分辨率以利用具有固定的可檢測的面部 尺寸的單個面部檢測器進(jìn)行檢測的方法)。后者比前者更現(xiàn)實(shí)。通常，從 通過變換輸入圖像的比例而得到的每個圖像切割出具有與學(xué)習(xí)樣本相同尺 寸的窗口 (下文中也被稱為"搜索窗口")，以便對不同尺寸的搜索窗口 進(jìn)行搜索。也就是說，因?yàn)檩斎雸D像中包含的面部的尺寸是不能確定的， 所以有必要在每次輸入圖像的分辨率被改變時使面部檢測器對輸入圖像進(jìn) 行掃描。對于通過改變輸入圖像的分辨率得到的每個圖像，只有尺寸接近 圖像檢測器的固定的可檢測的面部尺寸的面部才可以被檢測(參見圖 10)。
然而，例如，由320x240像素構(gòu)成的輸入圖像包括大約5000個尺寸的 搜索窗口，并且弱鑒別器要花費(fèi)很長時間來對所有窗口尺寸執(zhí)行算術(shù)運(yùn) 算。因此，已經(jīng)提出了一些用于提高弱鑒別器的算術(shù)運(yùn)算速度的方法。
例如，公知的是利用矩形特征和稱為積分圖像的圖像快速計(jì)算弱假設(shè)
的方法(參見，例如，美國未審査專利申請公開No. 2002/0102024以及 Paul Viola編寫的"利用具有簡單特征的Boosted Cascade進(jìn)行快速對象檢 觀lj" (Rapid Object Detection using a Boosted Cascade of Simple Features) (CVPR2001))。
此外，公開了一種對象檢測裝置，其中，當(dāng)進(jìn)行多數(shù)票決時，即使在 計(jì)算過程中也利用所得到的計(jì)算結(jié)果將窗口圖像確定為非對象，而不等待 所有弱鑒別器都單獨(dú)輸出計(jì)算結(jié)果，然后取消進(jìn)一步的計(jì)算。在這種對象 檢測裝置中，用于取消計(jì)算的閾值在學(xué)習(xí)會話中被學(xué)習(xí)(參見，例如，日 本未審査專利申請公開No. 2005-157679)。結(jié)果，檢測對象過程中的計(jì)算 量可以明顯減少。

發(fā)明內(nèi)容
一種采用了 Adaboost算法的檢測器可以只利用復(fù)雜圖像場景的圖像信 號的濃淡圖案從該場景中檢測面部。本發(fā)明的發(fā)明人考慮到這種檢測器也 可應(yīng)用于面部部分的檢測。
如果在圖IO中所示的面部檢測方法被用于面部部分檢測，則需要在面 部圖像的分辨率被改變時使具有固定尺寸的面部檢測器對從輸入圖像檢測 到的每個面部圖像進(jìn)行掃描(參見，例如，圖11)。也就是說，由面部圖 像檢測器所檢測到的每個面部圖像的分辨率被改變，并且面部圖像被面部 部分檢測器掃描，以便僅僅具有接近面部部分檢測器的固定尺寸的分辨率 的面部部分被檢測。
然而，在這種面部部分檢測方法中，需要改變從輸入圖像中提取的每 個面部圖像的分辨率，并使面部部分檢測器在面部圖像的分辨率每次被改 變時對所提取的面部圖像進(jìn)行掃描。這導(dǎo)致消耗很大的計(jì)算量和存儲量。
期望提供能夠從檢測自輸入圖像的面部圖像中檢測面部部分(諸如， 眼睛的中心、內(nèi)側(cè)角和外側(cè)角，鼻子，鼻子的底端和側(cè)面，嘴、嘴的各 端、眉毛以及眉毛頭和眉毛尾)的位置的良好圖像處理裝置和良好圖像處 理方法。
還期望提供能夠使用采用了諸如Adaboost的統(tǒng)計(jì)學(xué)習(xí)算法的檢測器從
面部圖像中檢測面部部分的位置的良好圖像處理裝置和良好圖像處理方 法。
還期望提供能夠通過利用較小的計(jì)算量和存儲量的面部檢測來檢測面 部圖像的諸如眼睛的面部部分的位置的良好圖像處理裝置和良好圖像處理 方法。
根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置處理包含面部圖像的圖像。該圖 像處理裝置包括規(guī)格化單元，其被配置用于規(guī)格化包括面部圖像的圖 像，以使面部尺寸變?yōu)轭A(yù)定面部尺寸；檢測區(qū)域設(shè)定單元，其被配置用于 將小于規(guī)格化單元規(guī)格化后的圖像的區(qū)域設(shè)定為檢測面部的面部部分的位 置的檢測區(qū)域；以及檢測單元，其被配置為用于檢測由檢測區(qū)域設(shè)定單元 設(shè)定的檢測區(qū)域中的面部部分的位置。
作為僅僅利用圖像信號的濃淡圖案而從復(fù)雜圖像場景中檢測面部的方
法，已知一種利用采用了諸如Adaboost的統(tǒng)計(jì)學(xué)習(xí)算法的檢測器的方法。 由于假定輸入圖像包括各種尺寸的面部，因此，己知以不同方式改變輸入 圖像的分辨率而使得具有固定的可檢測的面部尺寸的單個檢測器在每次面 部圖像的分辨率被改變時執(zhí)行面部檢測的方法。
用于進(jìn)一步從通過面部檢測所檢測到的面部圖像中檢測面部部分(諸 如眼睛)的位置的處理基本與用于僅僅利用圖像信號的濃淡圖案從復(fù)雜圖 像場景中檢測面部圖像的處理相對應(yīng)。因此，可以考慮一種利用上述諸如 Adaboost的統(tǒng)計(jì)學(xué)習(xí)算法的面部部分檢測方法。
然而，為了解決圖像的分辨率和被檢測面部的尺寸之間的關(guān)系，有必 要以不同方式改變通過面部檢測所得到的面部圖像的分辨率并且使面部部 分檢測器在每次面部圖像的分辨率被改變時執(zhí)行掃描。這導(dǎo)致很大的計(jì)算 量和存儲量。替代地，存在一種準(zhǔn)備多個具有不同尺寸的面部部分檢測器 來替代以不同方式改變面部圖像的分辨率的方法。然而，這種方法不實(shí) 際。
因此，在根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置和圖像處理方法中，利 用通過在面部部分檢測執(zhí)行前執(zhí)行面部檢測可以確定面部的大致尺寸這一 事實(shí)，將通過面部檢測得到的面部圖像放大或者縮小，以使在該面部圖像
中包含的目標(biāo)面部部分的尺寸變成面部部分檢測器可檢測的適當(dāng)尺寸。也 就是說，面部圖像被預(yù)先規(guī)格化，以便使目標(biāo)面部部分的分辨率與面部部 分檢測器的分辨率相同。之后，僅僅利用固定尺寸的面部部分檢測器，從 規(guī)格化后的面部圖像中檢測面部部分。
因此，根據(jù)本發(fā)明的實(shí)施例，面部部分檢測器僅掃描包括面部檢測器 所檢測到的被檢測面部的圖像在內(nèi)的單個規(guī)格化后的面部圖像。即，無須 以不同方式改變每個被檢測面部的分辨率并在每次改變分辨率時執(zhí)行掃 描。因此，可以明顯減少所需的計(jì)算量和存儲量。而且，由于可以減少掃 描操作的數(shù)量，因此可以提高面部部分檢測的速度。
根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置快速地?fù)鞙y目標(biāo)面部部分(諸如 眼睛)的位置。檢測區(qū)域設(shè)定單元將小于規(guī)格化后的面部圖像的區(qū)域設(shè)定 為檢測眼睛的位置的檢測區(qū)域。
所述檢測單元將檢測區(qū)域中包含的至少兩個像素的輝度水平之間的差 定義為弱假設(shè)，并且利用最后假設(shè)來檢測檢測區(qū)域中面部部分的位置，所 述最后假設(shè)是利用通過統(tǒng)計(jì)學(xué)習(xí)預(yù)先得到的弱假設(shè)定義的。
更具體地，在例如由24x24像素構(gòu)成的檢測單元的應(yīng)用區(qū)域中，該檢 測單元設(shè)定多個具有兩個像素的組(例如，僅幾百組)，其中每組的兩個 像素之間存在允許容易提取諸如眼睛的面部部分的特征的輝度水平差，所 述檢測單元計(jì)算所述多個具有兩個像素的組中的每組中的兩個像素之間的 輝度水平差，將計(jì)算結(jié)果定義為針對這兩個像素的弱假設(shè)，并且利用通過 統(tǒng)計(jì)學(xué)習(xí)預(yù)先得到的弱假設(shè)定義最后假設(shè)。被定義的弱假設(shè)組被登記作為 面部部分檢測詞典，其中每個弱假設(shè)是在24x24像素中包含的兩個像素的 輝度水平之間的差。
利用具有與經(jīng)規(guī)格化單元規(guī)格化的面部圖像的分辨率相同的分辨率的 面部圖像，執(zhí)行所述統(tǒng)計(jì)學(xué)習(xí)。
在檢測面部部分時，采用了上述面部部分檢測詞典的檢測器對通過面 部檢測器檢測到的面部圖像進(jìn)行掃描。在每個掃描位置，計(jì)算所述多個具 有兩個像素的組中的每組中包含的兩個像素的輝度水平之間的差。判斷計(jì) 算結(jié)果是否與針對兩個像素的弱假設(shè)匹配?；谠撆袛嘟Y(jié)果確定針對兩個
像素的得分?；卺槍λ卸x了弱假設(shè)的具有兩個像素的組的得分總 和，可以判斷掃描位置是否是目標(biāo)面部部分的位置。
如前面所述，在本發(fā)明中，面部圖像的尺寸被預(yù)先規(guī)格化成預(yù)定尺
寸。因此，僅僅利用具有固定尺寸(例如，24x24像素)的面部部分檢測 器就可以從規(guī)格化后的面部圖像檢測面部部分。由于檢測區(qū)域設(shè)定單元將 小于規(guī)格化后的面部圖像的區(qū)域設(shè)定為用于面部部分的檢測區(qū)域(例如， 當(dāng)檢測左眼時，將小于面部圖像并且其中左眼可能存在的區(qū)域，而非面部 圖像的整個區(qū)域設(shè)定為檢測器的掃描區(qū)域)，可以降低面部部分檢測所需 的計(jì)算量和存儲量。結(jié)果，可以快速地檢測目標(biāo)面部部分的位置。
如果執(zhí)行統(tǒng)計(jì)學(xué)習(xí)而使得目標(biāo)面部部分的得分成為正值，則檢測單元 可以確定所有掃描位置中具有最大正值的一個位置為目標(biāo)面部部分的位 置。
為了計(jì)算每個掃描位置的得分，必須獲得所有定義了弱假設(shè)的具有兩 個像素的組中包含的兩個像素的輝度水平之間的差。當(dāng)存在幾百個弱假設(shè) 時，如果針對面部部分檢測區(qū)域的整個區(qū)域執(zhí)行得分計(jì)算，則需要很大的 計(jì)算量和存儲量。另一方面，在增加弱假設(shè)的數(shù)目的過程中，可以估計(jì)掃 描位置是否有可能為目標(biāo)面部部分的位置。
在此情況中，可以通過統(tǒng)計(jì)學(xué)習(xí)設(shè)定得分極限值，以減少面部部分檢 測器執(zhí)行計(jì)算的弱假設(shè)的數(shù)目，所述得分極限值表示掃描位置不再有任何 可能是目標(biāo)面部部分的位置，并且所述得分極限值與弱假設(shè)的數(shù)目相關(guān) 聯(lián)?？梢曰谂c弱假設(shè)的數(shù)目相關(guān)聯(lián)的最低得分設(shè)定所述極限值，所述與 弱假設(shè)的數(shù)目相關(guān)聯(lián)的最低得分是從所有輸入的學(xué)習(xí)數(shù)據(jù)獲得的。在計(jì)算 某一掃描位置的得分期間，將從某一數(shù)量的弱假設(shè)獲得的得分與相應(yīng)的極 限值相比較。如果得分小于相應(yīng)的極限值，則可以認(rèn)為該掃描位置幾乎不 可能是目標(biāo)面部部分的位置。因此，取消隨后的得分計(jì)算，并返回表示該 掃描位置不是目標(biāo)面部部分位置的結(jié)果。
不要求檢測單元對面部部分檢測區(qū)域(小于整個面部圖像區(qū)域的區(qū) 域)中的所有點(diǎn)(X，Y)進(jìn)行掃描。通過稀疏化要執(zhí)行得分計(jì)算的掃描位 置而執(zhí)行高速掃描，從而可以減少面部部分檢測所需的處理時間。如果在某個掃描位置計(jì)算出高得分，則該掃描位置或者相鄰的掃描位 置為目標(biāo)面部部分的位置的可能性很大。然而，在上述每隔一個點(diǎn)進(jìn)行掃 描的高速掃描中，面部部分檢測的間隔尺寸很粗。
因此，如果在一個掃描位置計(jì)算出高于預(yù)定值的得分，則還在相鄰掃 描點(diǎn)執(zhí)行得分計(jì)算(在缺省情況下不在所述相鄰點(diǎn)執(zhí)行得分計(jì)算)，以便 將具有最大正得分的位置設(shè)定為目標(biāo)面部部分的位置。結(jié)果，可以提高處 理速度，并且保持檢測的準(zhǔn)確性。
目標(biāo)面部部分是左眼和右眼中的一個。規(guī)格化單元基于由檢測單元檢 測出的雙眼的位置對從輸入單元輸入的面部圖像的位置、尺寸和角度進(jìn)行 規(guī)格化，并且使用規(guī)格化結(jié)果用于面部識別或者其它應(yīng)用。
也可以考慮利用關(guān)于除了眼睛以外的面部部分的信息來規(guī)格化面部圖 像的方法。然而，與其它面部部分相比，利用雙眼的位置可以更準(zhǔn)確地規(guī) 格化面部圖像，這是因?yàn)椴煌说淖笥已壑g的距離的差別是很小的。
根據(jù)本發(fā)明的實(shí)施例，提供了一種能夠利用采用了諸如Adaboost的統(tǒng) 計(jì)學(xué)習(xí)算法的檢測器檢測面部圖像的面部部分的位置的良好的圖像處理裝 置和良好的圖像處理方法。
根據(jù)本發(fā)明的實(shí)施例，還提供了一種能夠利用較少計(jì)算量和存儲量檢 測通過面部檢測檢測到的面部圖像的面部部分(諸如眼睛)的良好的圖像 處理裝置和良好的圖像處理方法。
由于根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置預(yù)先將面部圖像的尺寸規(guī)格 化成預(yù)定尺寸，所以其可以僅僅利用具有固定尺寸的面部部分檢測器從規(guī) 格化后的面部圖像中檢測面部部分。此外，由于檢測區(qū)域設(shè)定單元將小于 規(guī)格化后的面部圖像的區(qū)域設(shè)定為對于面部部分的檢測區(qū)域(例如，當(dāng)檢 測左眼時，將小于面部圖像并且其中左眼可能存在的區(qū)域，而非面部圖像 的整個區(qū)域設(shè)定為檢測器的掃描區(qū)域)，因此可以降低面部部分檢測所需 的計(jì)算量和存儲量。結(jié)果，可以快速地檢測面部部分的位置。
根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置，通過統(tǒng)計(jì)學(xué)習(xí)設(shè)定針對弱假設(shè) 的數(shù)目的得分極限值。在某個掃描位置的得分計(jì)算中，當(dāng)從某一數(shù)目的弱 假設(shè)得到的得分小于對應(yīng)的極限值時，取消隨后的得分計(jì)算。結(jié)果，可以
降低得分計(jì)算所需的成本，并且可以提高面部部分檢測的速度。通過稀疏 化要執(zhí)行得分計(jì)算的掃描位置，以及在計(jì)算出高得分的掃描位置附近執(zhí)行 得分計(jì)算而不稀疏化掃描位置，可以顯著減少計(jì)算量以實(shí)現(xiàn)快速面部部分 檢測并可以防止檢測準(zhǔn)確度降低。
從基于下面的本發(fā)明的實(shí)施例和附圖的更詳細(xì)的描述，本發(fā)明的其它 目的、特征和優(yōu)點(diǎn)將會變得很明顯。


圖1是示意性地示出根據(jù)本發(fā)明的實(shí)施例的面部識別系統(tǒng)的整個配置 的示圖2是示出面部圖像規(guī)格化的示圖，面部圖像規(guī)格化被預(yù)先執(zhí)行，以 便利用在面部檢測中可得到大致尺寸的面部的事實(shí)而在進(jìn)行檢測之前使左 右眼的分辨率與眼睛檢測器的分辨率相同；
圖3是示意性地示出規(guī)格化面部圖像和執(zhí)行面部部分檢測的處理的流 程圖4A是示意性地示出在規(guī)格化面部圖像之后由左眼檢測器執(zhí)行的掃 描的示圖4B是示意性地示出使用左眼檢測器對規(guī)格化后的面部圖像進(jìn)行掃 描的示圖5A是示出在由24x24像素構(gòu)成的左眼檢測器中設(shè)定多個具有兩個
像素pixl(t)和pk2(t)的組的示圖，所述兩個像素之間存在使得能夠容易地
提取眼睛特征的輝度水平差；
圖5B是示出用于面部部分檢測的詞典的示例性配置的示圖5C是示出偽程序代碼形式的面部部分檢測器的配置的示圖5D是示出作為面部圖像中預(yù)定面部部分檢測區(qū)域中的兩個像素的
輝度水平之間的差的弱假設(shè)的定義的示圖6A是示出基于從所有的輸入學(xué)習(xí)數(shù)據(jù)中得出的與弱假設(shè)的數(shù)目相
關(guān)聯(lián)的最低得分設(shè)定極限值的示圖6B是示出取消得分低于極限值的弱假設(shè)數(shù)處的得分計(jì)算的示圖； 圖7是示出在面部部分檢測區(qū)域中執(zhí)行的高速掃描的示圖8是示出基于面部圖像的尺寸而執(zhí)行的對被檢測的面部圖像進(jìn)行規(guī) 格化的結(jié)果以及基于眼睛的位置而執(zhí)行的對規(guī)格化后的面部圖像的位置、 尺寸和角度進(jìn)行規(guī)格化的結(jié)果的示圖9是示出包含各種尺寸的面部的輸入圖像；
圖10是示出當(dāng)改變輸入圖像的分辨率時利用面部檢測器對輸入圖像 進(jìn)行掃描的示圖，所述掃描被執(zhí)行用于僅對具有接近面部檢測器的尺寸的 面部進(jìn)行檢測；以及
圖11是示出當(dāng)改變面部圖像的分辨率時利用面部部分檢測器對面部 圖像進(jìn)行掃描的示圖，所述掃描被執(zhí)行用于僅對具有接近面部部分檢測器 的分辨率的面部部分進(jìn)行檢測。
具體實(shí)施例方式
下面將參考附圖更詳細(xì)地描述本發(fā)明的實(shí)施例。
圖1是示意性地示出根據(jù)本發(fā)明的實(shí)施例的面部識別系統(tǒng)的整個配置 的示圖。在該圖中所示的面部識別系統(tǒng)l包括圖像縮小器11、面部檢測器
12、眼睛位置檢測器13、面部識別器14和用于存儲多個圖像的存儲器 (SDRAM) 15。面部檢測器12、眼睛位置檢測器13和面部識別器14中 的每個包括本地存儲器(SDRAM)。例如，由數(shù)碼相機(jī)捕獲的圖像被輸 入面部識別系統(tǒng)1，并且從面部識別系統(tǒng)1輸出指示所捕獲的人的圖像是 否與預(yù)先存儲的圖像相同(是/否)的標(biāo)記。
圖像縮小器11將輸入圖像的水平和垂直尺寸減小到1/2以創(chuàng)建經(jīng)過縮 小的圖像，并且將經(jīng)過縮小的圖像和原始輸入圖像存儲到SDRAM (同步 DRAM) 15中。在圖1所示的示例中，圖像縮小器11創(chuàng)建三種圖像作 為輸入圖像的圖像1，通過將輸入圖像的水平尺寸和垂直尺寸減小到1/2 得到的圖像1/2，以及通過將輸入圖像的水平尺寸和垂直尺寸減小到1/4得 到的圖像1/4，并且將所創(chuàng)建的圖像存儲到SDRAM 15中。
從計(jì)算的準(zhǔn)確性角度來考慮，在創(chuàng)建縮小的圖像時，期望直接從輸入 圖像創(chuàng)建圖像1/2和圖像1/4。然而，從硬件尺寸的角度來考慮，可以使用
重復(fù)執(zhí)行將圖像縮小到其原始圖像的一半的方法，也就是，從輸入圖像 (圖像l)創(chuàng)建圖像1/2，之后從圖像l/2創(chuàng)建圖像1/4。
面部檢測器12從存儲在SDRAM 15中的輸入圖像和所有經(jīng)過縮小的
圖像中的每個當(dāng)中檢測面部，并且獲取所檢測到的面部的尺寸和位置。如 果不考慮處理速度，則通過對圖像的整個區(qū)域執(zhí)行面部檢測可以很容易地 得到面部位置。另一方面，在檢測各種尺寸的面部的情況中，作為處理圖 像的分辨率和被檢測面部的尺寸之間的關(guān)系問題的方法(參見圖9)，可 以考慮以下方法固定圖像的分辨率的方法(即，針對輸入圖像中包含的 各種尺寸的面部而準(zhǔn)備各種面部檢測器的方法)以及固定被檢測面部的尺 寸的方法(即，以不同方式減小輸入圖像的分辨率以利用具有固定的可檢 測的面部尺寸的單個面部檢測器進(jìn)行檢測的方法)。后者比前者更現(xiàn)實(shí)。 因此，正如圖l所示，面部檢測器12檢查在圖像1以及由圖像縮小器創(chuàng)建
的圖像1/2和圖像1/4中的每個中的24x24像素的區(qū)域中是否存在面部。
例如，如果縮小比例的量(諸如1/2和1/4)太小以至于不能準(zhǔn)確執(zhí)行 面部檢測，圖像縮小器11還可利用7/8、 6/8和5/8的各種減小比例創(chuàng)建圖 像7/8、 6/8和5/8，并且面部檢測器12可對每個所創(chuàng)建的圖像執(zhí)行面部檢
為了在面部檢測中執(zhí)行特征提取，可以使用像素差的方法。在此方法 中，從24x24像素中選擇多個具有兩個像素的組，所述兩個像素之間存在 允許容易提取面部特征的輝度水平差，并且在所述多個具有兩個像素的組 的每組中得出兩個像素的輝度水平之間的差。Adaboost算法可用于計(jì)算分 類器。
作為對從面部圖像中識別面部的準(zhǔn)備，眼睛位置檢測器13指定左右眼 的位置，以通過增加由面部檢測器12檢測到的面部圖像的分辨率來規(guī)格 化(normalize)圖像中包含的面部。也就是，眼睛位置檢測器13檢測眼 睛的位置，以基于通過面部檢測檢測到的面部圖像的面部的尺寸和位置， 獲得通過增加面部圖像的分辨率而得到的圖像中所包含的面部的尺寸、位 置和角度。
在本發(fā)明的具體實(shí)施例中，從面部圖像中檢測左右眼作為面部部分。 這是因?yàn)椴煌说淖笥已壑g的距離的差別是很小的。應(yīng)當(dāng)注意，可以檢 測各種面部部分，諸如眼睛的中心、內(nèi)側(cè)角和外側(cè)角，鼻子，鼻子的底端 和側(cè)面，嘴，嘴的各端、眉毛以及眉毛頭和眉毛尾。與面部檢測的情形類似，像素差方法可用于檢測雙眼位置時的特征提
取。類似面部檢測器12，眼睛位置檢測器13在相同的24x24像素的區(qū)域 中執(zhí)行像素差方法。因此，利用與由面部檢測器12使用的相同的硬件， 可以實(shí)現(xiàn)繼續(xù)處理。Adaboost算法可以用于計(jì)算分類器。
在由24x24像素構(gòu)成的檢測器中，選擇多個具有兩個像素的組(例如 僅選擇幾百個具有兩個像素的組)，所述兩個像素之間存在允許容易提取 眼睛特征的輝度水平差。所述多個具有兩個像素的組中的兩個像素之間的 輝度水平差被定義為弱假設(shè)，并且利用預(yù)先通過統(tǒng)計(jì)學(xué)習(xí)得到的弱假設(shè)來 定義最后假設(shè)。這樣，在眼睛檢測器中使用弱假設(shè)組，并將該弱假設(shè)組登 記為面部部分檢測詞典，該組弱假設(shè)中的每個弱假設(shè)是在24x24像素中包 含的兩個像素的輝度水平之間的差。在進(jìn)行檢測時，使由24x24像素構(gòu)成 的像素檢測器對由面部檢測器12檢測到的面部圖像進(jìn)行掃描。在每個掃 描位置，計(jì)算定義弱假設(shè)的兩個像素的輝度水平之間的差。判斷計(jì)算結(jié)果 是否與弱假設(shè)匹配。基于判斷結(jié)果，確定得分。所有所述具有兩個像素的 組的得分總和被定義為最后假設(shè)?；谧詈蠹僭O(shè)，可以判斷掃描位置是否 為眼睛位置。
本發(fā)明的特征在于面部部分(諸如眼睛、嘴或者鼻子)的位置被快速 檢測。稍后具體描述面部部分的檢測，例如，雙眼位置的檢測。
面部識別器14從由眼睛位置檢測器13指定了左右眼位置的面部圖像 中得到面部的尺寸、位置和角度以規(guī)格化由面部檢測器12檢測到的面部 圖像，將經(jīng)過規(guī)格化的面部圖像存儲到60x66像素的SRAM中，并且判斷 經(jīng)過規(guī)格化的面部圖像是否與所登記的圖像相同。
還可以考慮利用關(guān)于雙眼以外的面部部分的位置的信息規(guī)格化面部圖 像的方法。然而，與其它面部部分相比，利用雙眼的位置可以更準(zhǔn)確地規(guī) 格化面部圖像，這是因?yàn)椴煌说淖笥已壑g的距離的差別是很小的。
Gabor濾波可應(yīng)用于由面部識別器14執(zhí)行的面部識別中的特征提取。 已知存在對特定方向具有選擇性的人的視覺細(xì)胞。所述細(xì)胞包括響應(yīng)垂直 線的細(xì)胞和響應(yīng)水平線的細(xì)胞。類似地，Gabor濾波器是由具有方向選擇 性的多個濾波器形成的空間濾波器。Gentleboost被用于在面部識別器14中執(zhí)行的分類器的計(jì)算。獲得利 用Gabor濾波器對經(jīng)過規(guī)格化的面部圖像執(zhí)行處理的結(jié)果與利用Gabor濾 波器對預(yù)先登記的圖像執(zhí)行處理的結(jié)果之間的相似程度。針對所述相似度 執(zhí)行Gentleboost,以判斷面部圖像是否與所登記的圖像匹配。
如前面所述，作為僅僅利用圖像信號的濃淡圖案從復(fù)雜圖像場景中檢 測面部的方法，可以使用采用了諸如Adaboost的統(tǒng)計(jì)學(xué)習(xí)算法的面部檢測 器12。由于假定輸入圖像包括各種尺寸的面部，因此輸入圖像的分辨率被 按照不同方式改變，從而使得具有固定的可檢測的面部尺寸的單個檢測器 在每次面部圖像的分辨率被改變時執(zhí)行面部檢測(參見圖10)。
用于檢測作為面部部分的左右眼的位置的眼睛位置檢測器13使用像素 差方法用于特征提取，并且眼睛位置檢測器13是采用了諸如Adaboost的 統(tǒng)計(jì)學(xué)習(xí)算法的檢測器。
在檢測雙眼的位置時，為了解決圖像的分辨率和被檢測面部的尺寸之 間的關(guān)系，有必要改變通過面部檢測器12所檢測到的面部圖像的分辨率 并且使面部部分檢測器在每次面部圖像的分辨率被改變時執(zhí)行掃描(參見 圖11)。在這種情況中，需要很大的計(jì)算量和存儲量。替代地，可以考慮 一種準(zhǔn)備多個具有不同尺寸的面部部分檢測器來替代上述改變面部圖像的 分辨率的方法。然而，這種方法不實(shí)際。
在本實(shí)施例中，利用在面部檢測器12執(zhí)行面部檢測時可得到面部的大 致尺寸這一事實(shí)，面部圖像被預(yù)先規(guī)格化，以便左右眼的分辨率與眼睛檢 測器的分辨率相同。
更具體地，如果眼睛檢測器的尺寸為24x24像素，則面部圖像被規(guī)格 化以使面部圖像的尺寸為80x80像素。在這種情況中，僅僅利用具有 24x24像素的固定尺寸的單個眼睛檢測器，就可以從規(guī)格化后的80x80像 素的面部圖像中檢測出眼睛的位置。也就是說，如圖2所示，如果從面部 檢測器12輸出的面部圖像很大，則面部圖像被預(yù)先規(guī)格化以使該面部圖 像的分辨率與眼睛檢測器的分辨率相同。另一方面，如果面部圖像很小， 則面部圖像被放大。結(jié)果，不需要對具有多個分辨率的圖像進(jìn)行掃描。這 使得能夠進(jìn)行快速眼睛檢測。
圖3是示意性地示出規(guī)格化面部圖像和檢測作為面部部分的眼睛的處 理的流程圖。
關(guān)于要被處理的圖像中包含的面部的尺寸和位置的信息被從面部檢測 器12輸入(步驟Sl)。在準(zhǔn)備眼睛檢測時，首先，面部圖像被規(guī)格化以
使面部的尺寸變成預(yù)定尺寸(例如，面部的每邊為80像素)(步驟 S2)。
之后，規(guī)格化后的面部圖像中包括眼睛的區(qū)域被設(shè)定作為眼睛檢測區(qū) 域，并且眼睛檢測器在該眼睛檢測區(qū)域中執(zhí)行掃描(步驟S3)。
眼睛檢測器執(zhí)行像素差方法，并且Adaboost算法被用于計(jì)算分類器。 例如，眼睛檢測器的尺寸為24x24像素，而面部圖像的尺寸為80x80像 素。
在24x24像素的區(qū)域中，眼睛檢測器設(shè)定多個具有兩個像素的組(例 如，僅設(shè)定幾百個具有兩個像素的組)，所述兩個像素之間存在允許容易 提取眼睛特征的輝度水平差，眼睛檢測器將所述多個具有兩個像素的組的 每組中的兩個像素的輝度水平的差定義為弱假設(shè)，并且利用通過預(yù)先執(zhí)行 的統(tǒng)計(jì)學(xué)習(xí)得到的弱假設(shè)定義最后假設(shè)。這里，統(tǒng)計(jì)學(xué)習(xí)被執(zhí)行以使眼睛 (目標(biāo)面部部分)的得分成為正值。在眼睛檢測區(qū)域中的每個掃描位置， 在所述多個具有兩個像素的組的每組中計(jì)算定義弱假設(shè)的兩個像素的輝度 水平之間的差。確定計(jì)算結(jié)果是否與弱假設(shè)匹配，以確定得分。如前面所 述的得分總和被存儲作為掃描位置處的得分。
在眼睛檢測器完成對預(yù)定的眼睛檢測區(qū)域的掃描之后，具有最大正得 分的掃描位置被設(shè)定為眼睛位置(步驟S4)。在面部部分檢測器的統(tǒng)計(jì)學(xué) 習(xí)被執(zhí)行以使目標(biāo)面部部分的得分成為正值的情況中，具有最大正得分的 位置可以被考慮作為目標(biāo)面部部分的位置。
正如前面所述，雙眼中一個的位置被檢測。之后，雙眼中另一個的位 置類似地通過執(zhí)行從步驟S3到步驟S4的處理而被檢測(步驟S5)。
在雙眼的位置已經(jīng)被檢測之后，執(zhí)行對面部位置的規(guī)格化(步驟 S6)。在面部位置的規(guī)格化中，執(zhí)行面部的縮放和旋轉(zhuǎn)以使眼睛被調(diào)整到 預(yù)先確定的模型眼睛位置。結(jié)果，面部圖像被得到并且被用于隨后階段中 的應(yīng)用，例如，面部識別應(yīng)用。
圖4是示意性地示出由左眼檢測器執(zhí)行的對規(guī)格化后的面部圖像的掃 描的示圖。
正如圖4所示，假定具有各種分辨率的面部圖像被從面部檢測器12輸 出。在檢測諸如左眼的面部部分時，首先，面部圖像的尺寸被規(guī)格化到預(yù)
先確定的尺寸，例如，80x80像素的尺寸。左眼檢測器掃描規(guī)格化后的面 部圖像。左眼檢測器將至少兩個像素的輝度水平之間的差定義為弱假設(shè)， 并且通過組合許多弱假設(shè)得到最后假設(shè)。
在該示例中，面部圖像的尺寸被規(guī)格化為80x80像素。然而，左眼檢 測器可以不掃描規(guī)格化后的面部圖像的整個區(qū)域。正如圖4B對角陰影化 的區(qū)域所示，左眼有可能存在的區(qū)域被預(yù)先設(shè)定為左眼檢測區(qū)域。此面部 部分檢測區(qū)域是比規(guī)格化后的面部圖像小的固定區(qū)域。
面部圖像的尺寸為80x80像素，而眼睛檢測器的尺寸為24x24像素。 在采用了 Adaboost的左眼檢測器中，執(zhí)行統(tǒng)計(jì)學(xué)習(xí)以在左眼位置得到正得 分。因此，可以認(rèn)為具有最大正得分的位置為目標(biāo)面部部分的位置，所述 具有最大正得分的位置是在左眼檢測器在X和Y方向?qū)ι鲜鲎笱蹤z測區(qū)域 進(jìn)行掃描之后得到的。
左眼檢測器不需要掃描左眼檢測區(qū)域中的所有點(diǎn)(X， Y)。通過適當(dāng) 地稀疏化掃描位置，可以減少檢測所需的處理時間。這將在下面具體描 述。
正如圖1所示，如果在之后的階段中，執(zhí)行用于識別將面部圖像識別 為面部的處理作為應(yīng)用，則進(jìn)行用于面部識別的準(zhǔn)備。在用于面部識別的 準(zhǔn)備中，利用由用作面部部分檢測器的眼睛檢測器執(zhí)行的雙眼檢測結(jié)果， 基于通過面部檢測檢測到的面部圖像中的面部的尺寸和位置，獲得通過增 加面部圖像的分辨率得到的圖像中的面部的尺寸、位置和角度。在本發(fā)明 的具體實(shí)施例中，左右眼被從面部圖像中檢測作為面部部分。這是因?yàn)椴?同人的左右眼之間的距離的差別是很小的。例如，正如前面所述，如果面 部圖像的尺寸被規(guī)格化為80x80像素的尺寸，則每個眼睛的寬度為10到 15像素，同時雙眼之間的大致距離為16像素。
圖5示出左眼檢測器的示例性配置。由24x24像素構(gòu)成的左眼檢測器 執(zhí)行像素差方法，并且使用Adaboost算法執(zhí)行分類器的計(jì)算。
正如圖5A所示，在由24x24像素構(gòu)成的左眼檢測器中，設(shè)定了多個 具有兩個像素pixl(t)和pk2(t)的組，所述兩個像素之間存在允許容易提取 眼睛特征的輝度水平差。針對所述每個具有兩個像素pixl(t)和pix2(t)的
組，定義表示兩個像素的輝度水平之間的差小于閾值e(t)的弱假設(shè)。利用
通過統(tǒng)計(jì)學(xué)習(xí)預(yù)先得到的弱假設(shè)，定義最后假設(shè)。這里，執(zhí)行統(tǒng)計(jì)學(xué)習(xí)以 使左眼的得分成為正值。表示弱假設(shè)的公式如下。
柳<{ f匿= 1 々/5e : = —1
統(tǒng)計(jì)學(xué)習(xí)是利用具有與規(guī)格化后的面部圖像相同分辨率的面部圖像而 執(zhí)行的。
基本上，針對一組兩個像素定義一個弱假設(shè)，所述兩個像素之間存在 允許容易提取眼睛特征的輝度水平差。然而，從各個具有兩個像素的組提
取不同程度的眼睛特征。因此，權(quán)重a(t)被分配給具有兩個像素pkl(t)和 pix2(t)的組。
因此，例如，用于左眼檢測的詞典包含關(guān)于像素pixl(t)和pix2(t)的位
置的多條信息、用于這些像素的輝度水平之間的差的閾值e(t)以及權(quán)重a(t)
(參見圖5B)。此詞典是利用Adaboost準(zhǔn)備的。
在檢測時，計(jì)算兩個像素pixl(t)和pix2(t)的輝度水平之間的差，確定
是否滿足/^1(,)-/^2(0<^(0的假設(shè)，并且當(dāng)假設(shè)為真(true)和假
(false)時，分別返回/^) = 1和叫)=-l的響應(yīng)。
以權(quán)重a(t)乘以弱假設(shè)/^)以得到針對兩個像素pixl(t)和pk2(t)的得
分。針對所有具有兩個像素的的組的得分總和被定義為掃描位置的最后假
設(shè)。正如在下面的公式中所述，如果執(zhí)行統(tǒng)計(jì)學(xué)習(xí)以使眼睛的得分成為正
值，則可以認(rèn)為具有最大正得分的位置是目標(biāo)面部部分的位置，所述具有
最大正得分的位置是在左眼檢測器在X和Y方向?qū)ψ笱蹤z測區(qū)域掃描之后
得到的。
'2>(0 (0^0:眼睛位置
<^>Wa(0<0:非眼睛位置
、f
圖5C以程序代碼形式示出面部部分檢測器的配置。
首先，在掃描位置得分的值被初始化為0。
計(jì)算定義弱假設(shè)的兩個像素pkl(t)和pix2(t)的輝度水平之間的差，以
確定是否滿足/^奶-^2(/)<外)的假設(shè)。如果弱假設(shè)為真，則返回A(,卜1 的響應(yīng)。如果弱假設(shè)為假，則返回/^) = -1的響應(yīng)。通過弱假設(shè)叫)乘以權(quán)
重a(t)得到的值/^)"W作為針對兩個像素pixl(t)和pix2(t)的得分。
的得分被添加到得分上。
針對所有所述具有兩個像素的組中的每個組，上述得分計(jì)算被重復(fù)執(zhí) 行N次。所得到的得分作為掃描位置的得分(N為所有弱假設(shè)的數(shù)目，例 如，幾百個值)。
執(zhí)行統(tǒng)計(jì)學(xué)習(xí)以使眼睛的得分成為正值。因此，如果得分為正值，則 返回表示掃描位置是目標(biāo)面部部分位置的真響應(yīng)。如果得分不是正值，則 返回表示掃描位置不是目標(biāo)面部部分位置的假響應(yīng)。
圖5D示出作為面部圖像中預(yù)定面部部分檢測區(qū)域中兩個像素的輝度 水平之間的差的弱假設(shè)(弱學(xué)習(xí)機(jī)WL)的定義的示圖。在該圖中，示 出了弱假設(shè)數(shù)目為2、 50、 100和500的示例。應(yīng)當(dāng)注意，對面部圖像執(zhí) 行濃淡處理，以防止侵犯肖像權(quán)。
正如圖5B和圖5D所示，面部部分檢測器(例如，左眼檢測器)包括 作為幾百個具有兩個像素的組中的兩個像素的輝度水平之間的差的多個弱 假設(shè)。為了計(jì)算掃描位置的得分，有必要得到所有組的兩個像素的輝度水 平差。如果在所有掃描位置的得分都被計(jì)算，則需要很大的計(jì)算量和存儲
因此，由面部部分檢測器計(jì)算的弱假設(shè)的數(shù)目可以通過統(tǒng)計(jì)學(xué)習(xí)來減 少。在本實(shí)施例中，正如前面所述，執(zhí)行統(tǒng)計(jì)學(xué)習(xí)以使目標(biāo)面部部分的得 分成為正值。在這樣的情況中，在檢測時，如果即使在弱假設(shè)的數(shù)目已經(jīng) 被增加到某個數(shù)目后也不能得到正得分，則通過統(tǒng)計(jì)學(xué)習(xí)得到"極限 值"，"極限值"表示即使繼續(xù)得分計(jì)算也不能執(zhí)行對目標(biāo)面部部分的評 價(jià)或確定。
該極限值可以是基于從所有的輸入學(xué)習(xí)數(shù)據(jù)得到的與弱假設(shè)數(shù)目相關(guān) 聯(lián)的最低得分而設(shè)定的(參見圖6A)。在計(jì)算某個掃描位置的得分期 間，從某一數(shù)目的弱假設(shè)得到的得分被與對應(yīng)的極限值比較。如果得分低于對應(yīng)的極限值(參見圖6B)，則可以認(rèn)為該掃描位置幾乎不可能是目
標(biāo)面部部分的位置。因此，取消隨后的得分計(jì)算，并且返回表示掃描位置 不是目標(biāo)面部部分的位置的結(jié)果。
左眼檢測器不需要對左眼檢測區(qū)域中的所有點(diǎn)(X， Y)進(jìn)行掃描。借 助通過減少要執(zhí)行得分計(jì)算的掃描位置而執(zhí)行的高速掃描，可以減少面部 部分檢測所需的處理時間。
圖7示出在面部部分檢測區(qū)域中執(zhí)行的高速掃描。在該圖中，缺省掃 描位置由向左傾斜的陰影線指示。在所示出的示例中，在水平方向(x方 向)每隔一點(diǎn)設(shè)定缺省掃描位置，并且在垂直方向(y方向)每隔一行設(shè) 定掃描線(每隔一點(diǎn)執(zhí)行掃描的線)。
如果在某個掃描位置計(jì)算出高得分，則該掃描位置或者相鄰的掃描位 置是目標(biāo)面部部分的位置的可能性很大。然而，在上述每隔一點(diǎn)執(zhí)行掃描 的高速掃描中，面部部分檢測的間隔尺寸很粗。
因此，如果在掃描位置計(jì)算出高于預(yù)定值的得分，則還對與該掃描位 置相鄰的掃描位置執(zhí)行得分計(jì)算，以便將具有最高得分的位置設(shè)定為目標(biāo) 面部部分的位置，所述相鄰掃描位置的得分計(jì)算在缺省情況下是不執(zhí)行 的。因此，可以提高處理速度，并可以保持檢測準(zhǔn)確度。
在圖7所示的示例中，計(jì)算出高得分的掃描位置以交叉陰影線表示。 在相鄰位置(由向右傾斜的陰影線指示)，該掃描位置右側(cè)的位置、該掃 描位置底下的位置以及該掃描位置右下方的位置，得分計(jì)算也被執(zhí)行。
通過執(zhí)行圖7所示的高速掃描，利用在對所有掃描位置執(zhí)行得分計(jì)算 的情況中所需的計(jì)算量的四分之一就可以檢測出目標(biāo)面部部分，同時防止 檢測準(zhǔn)確度的降低。
要從面部圖像檢測的面部部分的示例包括左右眼。正如圖1所示，面 部識別系統(tǒng)1設(shè)有作為面部部分檢測器的眼睛位置檢測器13?；谟裳劬?位置檢測器13檢測出的雙眼的位置，由輸入單元輸入的面部圖像的位 置、尺寸和角度被規(guī)格化。規(guī)格化后的面部圖像經(jīng)受由面部識別器14執(zhí) 行的面部識別(前面所描述的)，或者可用于其他利用被檢測面部的應(yīng)用 (未示出)。
圖8示出基于面部圖像的尺寸而執(zhí)行的規(guī)格化被檢測面部圖像的結(jié)
果、以及基于規(guī)格化后的面部圖像中眼睛的位置而執(zhí)行的對規(guī)格化后的面 部圖像的位置、尺寸和角度進(jìn)行規(guī)格化的結(jié)果。從該圖可以理解，通過對 每個面部區(qū)域圖像執(zhí)行眼睛檢測并基于檢測結(jié)果規(guī)格化面部區(qū)域圖像，隨 機(jī)取向的面部可以被準(zhǔn)確地對準(zhǔn)。
可以考慮使用關(guān)于雙眼以外的另一面部部分的位置的信息來規(guī)格化面 部圖像。然而，與其它面部部分比較，使用雙眼的位置可以實(shí)現(xiàn)對面部圖 像的更準(zhǔn)確規(guī)格化，這是因?yàn)椴煌说淖笥已壑g的距離的差別很小。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，依據(jù)設(shè)計(jì)要求和其它因素可以出現(xiàn)各種修 改、組合、子組合和替代，只要它們在所附權(quán)利要求或其等同物的范圍之 內(nèi)。
本發(fā)明包含與2007年7月5日向日本專利局提交的日本專利申請JP 2007-177007有關(guān)的主題，其全部內(nèi)容通過引用而被結(jié)合于此。
權(quán)利要求
1.一種圖像處理裝置，用于處理包含面部圖像的圖像，所述圖像處理裝置包括規(guī)格化裝置，用于規(guī)格化所述包含面部圖像的圖像，以使所述面部的尺寸成為預(yù)定面部尺寸；檢測區(qū)域設(shè)定裝置，用于將小于經(jīng)所述規(guī)格化裝置規(guī)格化的圖像的區(qū)域設(shè)定為檢測區(qū)域，所述檢測區(qū)域是檢測所述面部的面部部分的位置的區(qū)域；以及檢測裝置，用于在由所述檢測區(qū)域設(shè)定裝置設(shè)定的檢測區(qū)域中檢測所述面部部分的位置。
2. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中所述檢測裝置將所述檢 測區(qū)域中包含的至少兩個像素的輝度水平之間的差定義為弱假設(shè)，并且使 用最后假設(shè)檢測所述面部部分的位置，所述最后假設(shè)是利用通過統(tǒng)計(jì)學(xué)習(xí) 預(yù)先得到的弱假設(shè)定義的。
3. 根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，在所述檢測裝置的應(yīng) 用區(qū)域中，所述檢測裝置設(shè)定多個具有至少兩個像素的組，所述至少兩個 像素之間存在允許容易提取面部部分的特征的輝度水平差，所述檢測裝置 計(jì)算所述多個具有至少兩個像素的組的每組中包含的兩個像素的輝度水平 之間的差，并且將計(jì)算結(jié)果定義為用于所述兩個像素的弱假設(shè)。
4. 根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，在所述檢測區(qū)域的應(yīng) 用區(qū)域中的每個掃描位置，所述檢測裝置計(jì)算所述多個具有至少兩個像素 的組的每組中包括的、定義了所述弱假設(shè)的兩個像素的輝度水平之間的 差，判斷計(jì)算結(jié)果是否與所述用于兩個像素的弱假設(shè)匹配，基于判斷結(jié)果 確定用于所述兩個像素的得分，并且基于所有的所述多個具有至少兩個像 素的組的得分總和判斷所述掃描位置是否是所述目標(biāo)面部部分的位置。
5. 根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，執(zhí)行所述統(tǒng)計(jì)學(xué)習(xí)以使目標(biāo)面部部分的得分成為正值，并且 其中，所述檢測裝置將所有掃描位置中具有最高正得分的位置確定為 所述目標(biāo)面部部分的位置。
6. 根據(jù)權(quán)利要求5所述的圖像處理裝置，其中，執(zhí)行所述統(tǒng)計(jì)學(xué)習(xí)以使目標(biāo)面部部分的得分成為正值，并且 其中，所述檢測裝置將所有掃描位置中具有最高正得分的位置確定為 所述目標(biāo)面部部分的位置。
7. 根據(jù)權(quán)利要求6所述的圖像處理裝置，還包括設(shè)定裝置，該設(shè)定裝 置用于基于與弱假設(shè)的數(shù)目相關(guān)聯(lián)的最低得分設(shè)定得分極限值，所述與弱 假設(shè)的數(shù)目相關(guān)聯(lián)的最低得分是從用于所述統(tǒng)計(jì)學(xué)習(xí)的所有學(xué)習(xí)數(shù)據(jù)得到 的，并且其中，在某個掃描位置的得分計(jì)算期間，當(dāng)從某一數(shù)量的弱假設(shè)得到 的得分低于所對應(yīng)的極限值時，所述檢測裝置取消所述得分計(jì)算。
8. 根據(jù)權(quán)利要求7所述的圖像處理裝置，其中，所述檢測裝置返回表 示所述某個掃描位置不是所述目標(biāo)面部部分的位置的結(jié)果。
9. 根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，在所述檢測區(qū)域中， 所述檢測裝置通過稀疏化要執(zhí)行得分計(jì)算的掃描位置來執(zhí)行高速掃描。
10. 根據(jù)權(quán)利要求9所述的圖像處理裝置，其中，所述檢測裝置還在如 下所述的掃描位置執(zhí)行得分計(jì)算，所述掃描位置與計(jì)算出的得分高于預(yù)先 設(shè)定的值的掃描位置相鄰，并且在所述掃描位置的得分計(jì)算在缺省情況下 被取消。
11. 根據(jù)權(quán)利要求1所述的圖像處理裝置， 其中，所述面部部分是左右眼中的每一個，并且其中，所述規(guī)格化裝置基于由所述檢測裝置檢測出的所述左右眼的位 置而執(zhí)行規(guī)格化。
12. —種圖像處理方法，用于處理包含面部圖像的圖像，所述圖像處 理方法包括以下步驟規(guī)格化所述包含面部圖像的圖像，以使所述面部的尺寸成為預(yù)定的面 部尺寸；將小于規(guī)格化后的圖像的區(qū)域設(shè)定為檢測區(qū)域，所述檢測區(qū)域是檢測 所述面部的面部部分的位置的區(qū)域；以及在所述檢測區(qū)域中檢測所述面部部分的位置。
13. —種圖像處理裝置，用于處理包含面部圖像的圖像，所述圖像處 理裝置包括定義裝置，用于設(shè)定多個具有至少兩個像素的組，所述至少兩個像素 包括在檢測所述面部的面部部分的位置的檢測區(qū)域中，所述定義裝置還用 于計(jì)算所述多個具有至少兩個像素的組的每組中包含的兩個像素的輝度水 平之間的差，并且將計(jì)算結(jié)果定義為用于所述兩個像素的弱假設(shè)；以及檢測裝置，用于在所述檢測區(qū)域中的每個掃描位置，計(jì)算所述多個具 有至少兩個像素的組的每組中包含的、定義了所述弱假設(shè)的兩個像素的輝 度水平之間的差，判斷計(jì)算結(jié)果是否與用于所述兩個像素的所述弱假設(shè)匹 配，基于判斷結(jié)果確定用于所述兩個像素的得分，并且基于所有所述多個 具有至少兩個像素的組的得分總和判斷所述掃描位置是否為所述面部部分 的位置。
14. 一種圖像處理方法，用于處理包含面部圖像的圖像，所述圖像處 理方法包括以下步驟設(shè)定多個具有至少兩個像素的組，所述至少兩個像素包括在檢測所述 面部的面部部分的位置的檢測區(qū)域中，計(jì)算所述多個具有至少兩個像素的 組的每組中包含的兩個像素的輝度水平之間的差，并且將計(jì)算結(jié)果定義為 用于所述兩個像素的弱假設(shè)；并且在所述檢測區(qū)域中的每個掃描位置，計(jì)算所述多個具有至少兩個像素 的組的每組中包含的、定義了所述弱假設(shè)的兩個像素的輝度水平之間的 差，判斷計(jì)算結(jié)果是否與用于所述兩個像素的所述弱假設(shè)匹配，基于判斷 結(jié)果確定用于所述兩個像素的得分，并且基于所有所述多個具有至少兩個 像素的組的得分總和判斷所述掃描位置是否為所述面部部分的位置。
15. —種圖像處理裝置，用于處理包含面部圖像的圖像，所述圖像處 理裝置包括規(guī)格化單元，其被配置為規(guī)格化所述包含面部圖像的圖像，以使所述 面部的尺寸成為預(yù)定的面部尺寸；檢測區(qū)域設(shè)定單元，其被配置為將小于由所述規(guī)格化單元規(guī)格化后的圖像的區(qū)域設(shè)定為檢測所述面部的面部部分的位置的檢測區(qū)域；以及檢測單元，其被配置為在由所述檢測區(qū)域設(shè)定單元設(shè)定的所述檢測區(qū)域中檢測所述面部部分的位置。
16. —種圖像處理裝置，用于處理包含面部圖像的圖像，所述圖像處理裝置包括定義單元，其被配置為設(shè)定多個具有至少兩個像素的組，所述至少兩 個像素包括在檢測所述面部的面部部分的位置的檢測區(qū)域中，所述定義單 元還被配置為計(jì)算所述多個具有至少兩個像素的組的每組中包含的兩個像 素的輝度水平之間的差，并且將計(jì)算結(jié)果定義為用于所述兩個像素的弱假 設(shè)；以及檢測單元，其被配置為在所述檢測區(qū)域中的每個掃描位置，計(jì)算所述 多個具有至少兩個像素的組的每組中包含的、定義了所述弱假設(shè)的兩個像 素的輝度水平之間的差，判斷計(jì)算結(jié)果是否與用于所述兩個像素的所述弱 假設(shè)匹配，基于判斷結(jié)果確定用于所述兩個像素的得分，并且基于所有所 述多個具有至少兩個像素的組的得分總和判斷所述掃描位置是否為所述面 部部分的位置。
全文摘要
本發(fā)明公開了用于處理包含面部圖像的圖像的圖像處理裝置和圖像處理方法，所述圖像處理裝置包括規(guī)格化單元，其被配置用于規(guī)格化包括面部圖像的圖像，以使面部尺寸變?yōu)轭A(yù)定面部尺寸；檢測區(qū)域設(shè)定單元，其被配置用于將小于規(guī)格化單元規(guī)格化后的圖像的區(qū)域設(shè)定為檢測面部的面部部分的位置的檢測區(qū)域；以及檢測單元，其被配置用于檢測由檢測區(qū)域設(shè)定單元設(shè)定的檢測區(qū)域中的面部部分的位置。
文檔編號G06K9/00GK101339609SQ20081013056
公開日2009年1月7日 申請日期2008年7月7日 優(yōu)先權(quán)日2007年7月5日
發(fā)明者小川要 申請人:索尼株式會社