專利名稱：對人進行分類的方法和設備的制作方法
技術領域：
本發(fā)明涉及基于人的面部特征對他們進行分類的方法和設備。特 別地但并非排他地，本發(fā)明涉及自動檢測圖像中捕獲的孩子。
背景技術：
在很多不同的情況下，對待孩子通常不同于成人。例如，已經(jīng)關 于許多物品(例如，電視、計算機、多媒體播放器)而引入了父母控 制，使得孩子不會暴露于成人內(nèi)容。此外，某些軟件程序具有可調(diào)整 的用戶界面，從而使得如果實際用戶是孩子，則界面可以被調(diào)整為更 簡單的界面或者適于考慮孩子特有的興趣和偏好。
可以考慮孩子的觀看而調(diào)整公共區(qū)域(例如，商店)顯示的廣告。 由于孩子尤其代表不斷增加的和非常重要的用戶類別，所以向這些潛 在消費者定制環(huán)境智能系統(tǒng)非常重要。
其它應用可以包括對設備(例如氣嚢)進行控制，以考慮孩子的存在。
此外，在存儲領域，希望應用自動編寫照片集合的概要，或自動 編輯家庭視頻。當自動視頻或靜止圖片編輯系統(tǒng)編寫家庭集合的概要 時，在許多情況下希望該概要關注于孩子，因為孩子通常是拍攝視頻 或拍照片的主要原因。
存在許多不同的解決方案用于識別孩子，這總是要求用戶通常通 過輸入密碼或插入令牌(例如，密鑰)向系統(tǒng)識別他們自己(認證)。 更復雜的系統(tǒng)基于生物特征信息(例如，臉、指紋、虹膜識別)執(zhí)行 人的識別。 一旦認出某個人，就可以從用戶簡檔中查找年齡，并且采 取適當?shù)膭幼?例如，授權(quán)查看某些內(nèi)容或使用戶界面適用于用戶的 年齡等)。然而，這種系統(tǒng)非常麻煩而且具有侵入性。
US 5， 781， 650公開了 一種用于自動將人按他們的年齡分類的已知 系統(tǒng)。該系統(tǒng)包括四步驟的過程找出由數(shù)字圖像捕獲的人的面部特征并計算各種面部特征比率，以對人進行分類。
然而，在上述應用中，例如，重要的是，孩子被識別并且不會將 孩子誤分類為成人，從而將孩子暴露于成人內(nèi)容，或者不恰當?shù)丶せ?br> 氣嚢。US 5, 781,650的分類中利用的面部特征比率可能不準確，并且 可能發(fā)生誤分類。這對于某些應用是不可接受的。
用于找出面部特征、計算各種比率以對人分類的其它技術都很復 雜，并且需要增加的處理能力和更高精度的處理。
此外，US 5，781，650使用的技術僅能區(qū)分嬰兒(至3歲)、成人 (從3歲至40歲)和老年人(40歲以上)。通過使用皺紋檢測來對后 一種類別進行檢測。因而，這種方法不能將人分為更精細的類別。

發(fā)明內(nèi)容
因此，期望提供一種簡單系統(tǒng)，其對于以避免任何錯誤分類的自 然非侵入方式對孩子(不僅是嬰兒，還包括近似ll歲的孩子)與成人 進行精確分類是穩(wěn)健的。
根據(jù)本發(fā)明的一方面，通過一種用于對人進行分類的方法來實現(xiàn) 該目的，該方法包含以下步驟確定人的至少一個虹膜的尺寸；確定 所述人的臉的尺寸；以及基于所述確定的所述人的臉的尺寸與所述確 定的所述人的該至少一個虹膜的尺寸的比率對所述人進行分類。
根據(jù)本發(fā)明的另一方面，通過一種用于對人進行分類的設備來實 現(xiàn)該目的，所述設備包括用于確定人的至少一個虹膜的尺寸的裝置； 用于確定所述人的臉的尺寸的裝置；以及用于基于所述確定的所述人 的臉的尺寸與所述確定的所述人的該至少一個虹膜的尺寸的比率對所 述人進行分類的分類器。
新生兒的虹膜大小是固定的，而且不會隨著孩子成長為成人而顯 著改變。然而，孩子頭部的大小卻會改變，直至孩子完全長大。這意 味著，面部尺寸與虹膜尺寸的比率代表了孩子與成人之間區(qū)別的準確 度量。請注意，術語"成人，，在該上下文中指青春期和更大年齡組的 人；從醫(yī)學的或身體的觀點來看已經(jīng)脫離童年的人。
此外，根據(jù)優(yōu)選實施例，通過比較確定的臉的尺寸和確定的虹膜 的尺寸的比率沒有超過預定的閾值可以簡單地實現(xiàn)孩子與成人之間的 區(qū)分。作為使用臉的尺寸和虹膜的尺寸的比率的結(jié)果，幾乎不可能將孩子錯誤分類為成人，這使得該系統(tǒng)更有效。
優(yōu)選地，所述分類還考慮到人的膚色，虹膜顏色，語音音調(diào)和/或 說話的內(nèi)容，以提高所述確定的準確性。
在優(yōu)選實施例中，通過以下方式來確定人的虹膜尺寸定位人的 眼睛所占據(jù)的人的臉部區(qū)域，在所述定位的區(qū)域中迭代地定位所述人 的所述至少一個虹膜的至少一個邊緣部分；估計包括所述至少兩個邊 緣部分的圓；確定所述圓的尺寸(例如，圓的半徑)。
所述人的臉的尺寸可以是所述人的兩眼之間的距離和/或包圍所 述人的臉的區(qū)域的寬度。


為獲得對本發(fā)明更為完整的理解，現(xiàn)結(jié)合附圖參考以下描述，其
中
圖l是根據(jù)本發(fā)明第一實施例的設備的簡單示意框圖； 圖2是根據(jù)本發(fā)明第一實施例的方法的步驟的流程圖； 圖3是根據(jù)本發(fā)明另一實施例的設備的簡單示意框圖； 圖4是根據(jù)本發(fā)明另一實施例的方法的步驟的流程圖；遺跡 圖5至圖7c示出根據(jù)本發(fā)明另一實施例的方法的各個階段的圖示 結(jié)果。
具體實施例方式
將參照圖l和圖2詳細描迷第一實施例。
設備100包括連接至臉部/眼睛檢測器103的輸入的輸入端子101。 臉部/眼睛檢測器103連接到特征分析儀105。特征分析儀105連接到 分類器107。 分類器107的輸出連接到設備100的輸出端子109。 現(xiàn) 將參照附圖2更詳細地描述設備100的操作。
在步驟201中，獲取照片或視頻內(nèi)容，并在設備100的輸入端子 101上輸入。在步驟203，檢測器103檢測根據(jù)輸入內(nèi)容而捕獲的人的 臉部和對應眼睛/虹膜。檢測器103包括商業(yè)可得到的自動檢測臉部和 眼睛的許多已知類型的檢測器之一。
然后在步驟205,由特征分析儀105對檢測到的臉部和虹膜進行分 析。所述分析包括確定臉部和虹膜的尺寸。該分析可以直接基于臉部
7/眼睛檢測器103的輸出?？蛇x地，可以開發(fā)獨立算法，其基于一個或 多個以下特征確定所述尺寸邊緣、膚色、虹膜顏色、眼部特征(瞳 孔、虹膜邊緣等)和臉部特征(嘴、鼻、眼、耳、頭發(fā)等)。
在接下來的步驟(步驟207 )中，確定的臉部尺寸對虹膜尺寸的比 率被計算，并且用于由分類器107相應地對所述內(nèi)容進行分類。在簡 單實施例中，分類器107比較所述比率和預定的閾值。如果所述比率 大于預定的閾值，則臉部被分類為屬于成人，否則屬于孩子。然后， 將結(jié)果輸出在設備100的輸出端子109上。
在可選實施例中，分類器107基于更準確的模式分類方法，例如 神經(jīng)網(wǎng)絡、支持矢量機或貝葉斯分類器。
通過基于附加比率進行分類(例如雙眼之間的距離與確定的虹膜
率;:可以進一步提高所述設備的準確:汰。
膚色分割可以用于進行更精確的臉部大小的測量。在分割之后， 測量臉部的寬度，而不是僅僅依賴于臉部檢測提供的臉部大小的信息。 以下的事實可以用于提高虹膜檢測的準確度人類虹膜的內(nèi)部和
外部邊界具有已知的顏色(白色是角膜緣，而黑色是瞳孔)并且虹膜 本身具有有限的色調(diào)集。
此外，音頻特征(例如，高語音音調(diào))可以與上述提到的比率結(jié) 合使用。此外，可以利用"孩子音頻分類器"，關于孩子的凌亂語言 與正規(guī)說話對其進行訓練，并且其結(jié)果用作附加的特征。
雖然例如如果兩眼都朝著鼻子看，本發(fā)明實施例的設備有可能將 成人錯誤分類為孩子，但是幾乎不可能把孩子錯誤分類為成人。后一 特性對于大多數(shù)應用都需要。如果使用音頻特征，則準確度進一步提 高。
所述方法的準確度受到頭部位置的影響。例如，如果圖片或視頻 沒有顯示人的正面，則兩眼的距離縮小。此問題可以用兩種方法解決 使用專門用于正面臉的臉部檢測器，或者使用多姿勢臉部檢測器，獲 取臉部相對于臉部檢測器的旋轉(zhuǎn)角度，并且使用該信息補償所述旋轉(zhuǎn)。
可選地，可以捕獲多個圖像(例如視頻序列)，可以從該多個圖 像中選擇將人顯示在"最佳，，位置(即正面)的圖像。
將參照圖3至圖7c描述另一實施例。參照圖3，設備300包括輸入端子301。輸入端子301連接至臉部 檢測器303的輸入。臉部檢測器303的輸出連接至眼部區(qū)域濾波器305。 濾波器305的輸出連接至迭代邊緣檢測器307。迭代邊緣檢測器307 的輸出連接至半圓霍夫變換309。半圓霍夫變換309的輸出連接至特征 分析儀311。特征分析儀311還連接到分類器313。分類器313的輸出 連接至輸出端子315。
將參照圖4至圖7c詳細描述該設備的操作。
如參照第一實施例所描述的，在第一步驟401獲取照片/視頻內(nèi)容， 并在設備300的輸入端子301上輸入。在步驟403,使用已知技術，臉 部檢測器303檢測根據(jù)照片或視頻內(nèi)容所捕獲的人的臉部。這被用來 在內(nèi)容中定位臉部。臉部檢測器301的輸出包括環(huán)繞臉部的正方形的 坐標。這被轉(zhuǎn)發(fā)給眼部區(qū)域過濾器305，在眼部區(qū)域過濾器305，通過 從正方形中取出與正方形同等寬度并且高度為正方形I/4的長方形， 對眼部區(qū)域進行定位(步驟405 )。長方形的上邊位于正方形上邊的 1/4高度下方。用圖形在圖5中示出該過程。
為了加速計算，進一步對眼部區(qū)域進行過濾。環(huán)繞兩眼的長方形 被縮小至兩個更小的環(huán)繞每一只眼的長方形。通過移除環(huán)繞眼部的長 方形中心的10%、以及所述長方形的左側(cè)和右側(cè)的15%來完成該操作。 用圖形在圖6中示出該過程。
在接下來的步驟407中，使用已知的"Canny"邊緣檢測器307來 定位虹膜的邊緣。由于某些數(shù)字圖像比其它圖像具有更強的邊緣，因 此以較低的閾值迭代地應用邊緣檢測器，直至已經(jīng)找到指定量的邊緣。 此過程產(chǎn)生足夠的邊緣從而在圖像中找到明顯結(jié)構(gòu)，并且其防止找到 可能不必要地使數(shù)值過程復雜化的過多邊緣。邊緣檢測器的迭代應用 使算法更為健壯。邊緣檢測器307的輸出包括圖7a示出的二進制圖像。
在邊緣檢測器307提供的圖7a的二進制圖像上，由半圓霍夫變換 309執(zhí)行半圓霍夫變換(步驟409 )。霍夫變換是標準算法，用于在圖 像中找出具體結(jié)構(gòu)(線、圓等)，如圖7b所示，圖7b示出了由變換 產(chǎn)生的'霍夫空間，。在優(yōu)選實施例中，應用半圓霍夫變換以找出并 且確定虹膜的尺寸。由于虹膜的頂部和底部常常(部分地)被遮蔽， 因此半圓霍夫變換被修改以更著重于虹膜的左部和右部。實現(xiàn)該目的 的一種方式是僅使用從-45。至45°以及從135°至225°的"垂直，，弧。
在圖7c中示出從二進制圖像到檢測到的虹膜的過程的示例。 分析儀311從檢測到的虹膜確定中心坐標，進而可以容易地確定 半徑(步驟411)，因此提供虹膜的大小。從兩個檢測到的虹膜之間的 距離和/或由臉部檢測器提供的正方形的寬度來確定臉部尺寸?？梢詰?用臉部大小的這兩種度量的線性組合。不是將臉部大小和虹膜半徑的 比率與閾值進行比較，而是可以利用這兩個比率的線性組合
入*臉部大小/虹膜半徑+8*雙眼距離/虹膜半徑> T
其中，A和B是可以使用成人和孩子的示例確定的參數(shù)，并且T是 閾值。標準方法(例如，線性分類器理論或貝葉斯分類理論)可以用 于確定"最佳"A和B參數(shù)。
如上面參考第一實施例描述的，分類器313通過將所述比率和預 定閾值進行比較，來計算確定的臉部尺寸與確定的虹膜尺寸的比率，并 將其用于對人進行分類(步驟413)。如果所述比率高于預定閾值，則 設備300的輸出端子315輸出指示表明該臉部屬于成人，否則屬于孩 子)。如果應用線性組合，則如果兩張臉大小的線性組合除以虹膜半 徑高于某個闊值，則該臉部被分類為屬于成人，否則屬于孩子。
根據(jù)優(yōu)選實施例的系統(tǒng)提供了用于對人進行分類的準確簡單的方 法。在測試中，91%至92%的孩子和76%至93%的成人被正確識別。
本發(fā)明的設備可以用于多種系統(tǒng)中。
孩子常常是數(shù)字照片和家庭視頻的"主題，，。在準備照片幻燈片 放映或編輯家庭視頻時，家長通常愿意關注于孩子并且主要或者僅選 擇存在孩子的內(nèi)容。自動的孩子檢測可以用于自動地以孩子為中心編 制照片幻燈片放映或編輯家庭視頻片段。
用于廣告的商店櫥窗和廣告牌可以配備數(shù)字攝像機來觀察經(jīng)過并 且在看廣告的人。在觀看者中檢測到孩子的情況下可以對廣告進行適 配，以直接針對孩子或孩子的父母。這里，除了虹膜之外，還可以利 用人的身高。可以根據(jù)眼睛的位置校準照相機來獲知人的身高。由于 在圖像中獲知人的身高可能是困難的，因此對于這種應用，可以使用 檢測到的臉部的相對高度孩子通常比成人要矮。
為了防止損壞很小嬰兒的眼睛，不應該用閃光燈對他們拍照。本 發(fā)明的方法可用于當檢測到照相機前面的小嬰兒時禁用數(shù)字照相機的閃光燈?？蛇x地，如果檢測到小嬰兒，則可以在照相機顯示器上顯示 警告消息。
內(nèi)容再現(xiàn)設備可以配備數(shù)字(視頻)照相機，其檢測在觀眾中是 否有孩子。在此情況下，禁用成人特性的某些內(nèi)容或頻道。此外，內(nèi) 容再現(xiàn)設備能自動顯示適合于或者專用于孩子的內(nèi)容。此外，在照相 機固定的情況下，還可以使用高度估計。
此外，本發(fā)明的方法可以用于物理鎖和門，以防止當檢測到孩子 時打開物理鎖和門。鎖或門可以配備實現(xiàn)本發(fā)明的小型數(shù)字照相機和 系統(tǒng)。對于未分類為成人的人拒絕許可打開鎖/門。此外，分類器的閾 值可以改變，然后，隨著孩子長大，可以將鎖/門調(diào)為更嚴格或不那么 嚴格。
許多電子設備的用戶界面可以在孩子使用它們的時候被適配或簡
化。示例是電視機、PC、 DVD播放器和自動根員機。因此，在檢測到孩 子時，適配用戶界面。
專門設置還可以應用于車輛中的孩子。例如，如果檢測到孩子在 其中一個座位上，則氣囊激活順序可以不同。這里可以使用的附加特 征是使用壓力傳感器測量座位上人的重量，以幫助檢測孩子。
在檢測到孩子的情況下，可以自動適配醫(yī)療環(huán)境或設備。
出于安全原因，某些設備可以禁用某些功能。例如，電爐或烹飪 盤可以配備本發(fā)明實施例的系統(tǒng)并且被鎖定，以防被孩子激活。如果 孩子試圖使用汽車和武器，則也可以禁用它們。
餐廳菜單(例如，電子紙張)可以檢測消費者是否是孩子，并適 配它們的內(nèi)容。
檢測數(shù)字視頻中的對象是孩子還是成人對于監(jiān)督應用可能是有用 的，并且連同監(jiān)督系統(tǒng)中的安全視頻一起保存。
本發(fā)明的方法可以用于基于令牌或密碼的現(xiàn)有認證系統(tǒng)中的額外 認證測試。應用的示例是信用卡交易、電話等。
自動檢測數(shù)字圖像中的孩子可以用于自動掃描懷疑隱藏孩子色情 內(nèi)容的大圖像和視頻數(shù)據(jù)庫。
本發(fā)明可以應用于圖像/視頻搜索引擎，以搜索并且檢索包含孩子 的圖像/視頻。
此外，人的虹膜檢測可以用于照相。有時，由于眨眼，人們的眼
ii睛看起來完全或者幾乎閉合。本發(fā)明的虹膜檢測方法可以用于解決此 問題。數(shù)字靜止照相機可以拍多個連續(xù)的照片，然后自動選擇所有對 象的眼睛都展開的照片。
在例如確定孩子的成長、測試酒精或毒品濫用等情況下，虹膜/瞳 孔的大小/比率以及它們在不同刺激下的響應用于檢查反射或意識水 平。本發(fā)明的方法可以應用于需要虹膜和瞳孔測量的醫(yī)療過程。
研究已經(jīng)表明，如果人類(特別是女性)的瞳孔張得很開而且比
一般情況更擴大，則認為他們更有吸引力。Belladonna (美麗女士) 的名字來自于神話故事，意大利女人將Nightshade (龍葵)植物的汁 用于滴眼以便擴大她們的瞳孔從而使她們的眼睛顯得更美麗。本發(fā)明 的方法可以用于確定瞳孔的準確大小并增加數(shù)字肖像的美感。
雖然已經(jīng)在附圖中示出并且在以上描述書中說明了本發(fā)明的優(yōu)選 實施例，但應理解，本發(fā)明并非限于公開的實施例，而是能夠在不脫 離所附權(quán)利要求書闡述的本發(fā)明的范圍的情況下做出多種修改。本發(fā) 明在于每個新穎的特征以及特征的每個組合。權(quán)利要求中的參考標記 不限制它們的保護范圍。動詞"包括，，以及變化形式的使用并不排除 除了在權(quán)利要求中所陳述的元件之外存在其它元件。在元件之前的冠 詞"一"或"一個，，的使用并不排除多個這樣的元件的存在。
本領域技術人員應理解，"裝置"指的是包括在操作中執(zhí)行或被 設計為執(zhí)行特定功能的任何硬件(例如單獨的或集成電路或電子元件) 或軟件(例如程序或部分程序)，無論是單獨的功能還是與其它功能 配合使用，無論是與其它元件隔離還是協(xié)同操作。本發(fā)明可以通過包 括一些獨特元件的硬件以及通過合適地編程的計算機來實現(xiàn)。在列舉 了幾個裝置的設備權(quán)利要求中，這些裝置中的幾個可以由一個相同的 硬件項目來實施，"計算機程序產(chǎn)品"應理解為表示存儲在計算機可 讀介質(zhì)(例如軟盤)上的任何軟件產(chǎn)品，通過網(wǎng)絡(例如互聯(lián)網(wǎng))可下 載的軟件產(chǎn)品，或以任何其它方式可出售的軟件產(chǎn)品。
權(quán)利要求
1.一種用于對人進行分類的方法，所述方法包括以下步驟確定人的至少一個虹膜的尺寸；確定所述人的臉的尺寸；以及基于所述確定的所述人的臉的尺寸與所述確定的所述人的所述至少一個虹膜的尺寸的比率，對所述人進行分類。
2. 如權(quán)利要求l所述的方法，其中，對所述人進行分類的步驟包括將所述人識別為孩子或成人。
3. 如權(quán)利要求2所述的方法，其中，如果所述確定的所述人的臉 的尺寸與所述確定的所述人的所述至少一個虹膜的尺寸的所述比率沒 有超過預定的閾值，則識別為孩子。
4. 如前述權(quán)利要求中的任意一項所述的方法，其中，所述方法進 一步包括確定所述人的膚色、虹膜顏色、語音音調(diào)和說話內(nèi)容中的至少一 項，并且其中，對所述人進行分類的步驟進一步包括基于所述人的確定的膚色、虹膜顏色、語音音調(diào)和說話內(nèi)容中的 至少一項，對所述人進行分類。
5. 如前述權(quán)利要求中的任意一項所述的方法，其中，確定所述人 的至少一個虹膜的尺寸的步驟包括定位所述人的眼睛所占據(jù)的所述人的臉的區(qū)域。
6. 如權(quán)利要求5所述的方法，其中，確定所述人的至少一個虹膜 的尺寸的步驟進一步包括在所述定位區(qū)域中迭代地定位所述人的所述至少一個虹膜的至少 兩個邊緣部分；估計包括所述至少一個邊緣部分的圓；以及確定所述圓的尺寸。
7. 如權(quán)利要求5或6所述的方法，其中，確定所述人的臉的尺寸 的步驟包括確定在所述定位區(qū)域中的所述人的兩眼之間的距離。
8. 如權(quán)利要求5至7中任意一項所述的方法，其中，確定所述人 的臉的尺寸的步驟包括確定包圍所述人的臉的區(qū)域的寬度。
9.如前述權(quán)利要求中的任意一項所述的方法，其中，所述方法進 一步包括捕獲所述人的多個圖像；選擇顯示所述人的兩只眼睛的所述多個圖像中的一個圖像；以及 檢測在所述選擇的圖片中捕獲的人的臉。
10. 如前述權(quán)利要求中的任意一項所述的方法，確定所述人的至 少一個虹膜的尺寸的步驟進一步包括確定所述檢測到的臉的至少一個虹膜的半徑。
11. 一種用于基于人的分類來控制設備的方法，由根據(jù)前述權(quán)利 要求中的任何一項的方法執(zhí)行所述分類。
12. —種計算機程序產(chǎn)品，包括多個程序代碼部分，所述程序代 碼部分用于執(zhí)行如權(quán)利要求1至11中的任何一項所述的方法。
13. —種對人進行分類的設備，該設備包括 用于確定人的至少一個虹膜的尺寸的裝置； 用于確定所述人的臉的尺寸的裝置；以及述至少一個虹膜的尺寸的比率對所述人進行分類的分類器
14.如權(quán)利要求13所述的裝置，進一步包括用于捕獲所述人的 圖像的裝置、以及用于檢測由所述圖像捕獲的所述人的臉的檢測器。
全文摘要
獲取人的照片或視頻內(nèi)容(401)。測量人的至少一個虹膜的尺寸，(例如，虹膜的半徑)(405，411)。測量人的臉的尺寸(例如，臉的寬度)。然后，基于臉的尺寸與虹膜的尺寸的比率，將人分類(413)為成人或孩子。
文檔編號G06K9/00GK101529446SQ200780038995
公開日2009年9月9日 申請日期2007年10月17日 優(yōu)先權(quán)日2006年10月19日
發(fā)明者J·韋達, L·阿格尼霍特里, M·E·坎帕尼拉, M·巴比里, P·希雷斯塔 申請人:皇家飛利浦電子股份有限公司