專利名稱：人臉特征點檢測裝置、特征點檢測裝置的制作方法
技術(shù)領域：
本發(fā)明涉及用于從圖像中檢測對象物的特征點的裝置、方法及程序等中應用的有效技術(shù)。
背景技術(shù)：
作為從圖像中檢測對象物的特征點的技術(shù)，有把人臉作為對象物、檢測人臉的特征點的技術(shù)。以下，對于把人臉作為對象物的情況下的背景技術(shù)進行敘述。
從拍攝了人物的圖像中得到臉的特征點位置，從而可以推測例如該人物的眼睛的睜閉信息、臉姿勢、視線方向、臉的表情等。此外，從這些推測結(jié)果可以更加詳細地了解該人物的狀態(tài)。并且，通過詳細地把握人物的狀態(tài)，可實現(xiàn)人機界面的性能提高，提供新的服務等。這樣，在人機界面的開發(fā)上，正確地了解人臉的特征點位置成為重要的課題。
作為這樣的人機界面的例子，有駕駛員監(jiān)視系統(tǒng)。在該系統(tǒng)中，依次觀察駕駛員眼睛的睜閉、臉姿勢、視線方向等。然后，根據(jù)該觀察結(jié)果判斷駕駛員的疲勞程度等，可以根據(jù)狀況給出恰當?shù)慕ㄗh。
此外，作為另一人機界面的例子，有對動態(tài)圖像攝像機和靜止圖像照相機等的應用。在這些裝置中，通過了解被攝者的臉姿勢，可實現(xiàn)改變拍攝條件等多種多樣的處理。另外，通過詳細地分析眼睛的特征點或嘴的特征點等的圖像，也能夠高精度地進行個人的識別。
作為從圖像得到人臉特征點位置的方法(以下，稱為“特征點檢測方法”)通常采用模板匹配法及其應用。在這些方法中，預先保存各特征點的一般性信息(以下，稱為“特征量”)。然后，通過對從圖像內(nèi)的一部分區(qū)域得到的特征量和所保存的特征量進行比較，判斷是否為應取得的特征點。作為此時使用的特征量的具體例子，有圖像的亮度值向量。此外，作為兩個特征量的比較手段，通常使用歸一化相關(guān)或歐幾里得距離。
作為這樣的技術(shù)的例子，提出了通過分離度濾波器預先減少了搜索點數(shù)之后，通過模式匹配來檢測特征點候選的技術(shù)(參照專利文獻1)。在該技術(shù)中，在檢測出特征點候選之后，應用幾何約束條件，輸出判斷為最像人臉的候選點的組合。
但是在該技術(shù)中，只能檢測基本上朝向正面的、攝影條件較好的人物圖像的特征點。因此，難以從特征點的一部分被遮蔽物擋住的圖像或預先保存的攝影條件(例如照明條件)與特征點取得時有很大不同的圖像中正確地檢測出特征點。
此外，也存在通過得到臉的特征點位置來估計臉姿勢的技術(shù)(參照專利文獻2、3)。在這樣的技術(shù)中，一般采用在取得臉的特征點位置之后，使用其整體配置和特征量來進行估計的方法。例如，預先作為查詢表保存表示眼、口、眉、鼻的特征點的坐標和臉姿勢之間的關(guān)系。然后，根據(jù)該查詢表判斷與從圖像中取得的特征點的坐標對應的臉姿勢，作為估計結(jié)果輸出。另外，也有相應于多個臉的朝向，準備臉整體模板或者臉的特征量的模板，通過與這些模板進行匹配來求出臉姿勢的方法。但是，在這些方法中，能否正確地執(zhí)行臉姿勢的估計也取決于臉的特征點位置的精度。因此，如果不能正確地執(zhí)行臉的特征點位置的取得，就不能正確地進行臉姿勢的估計。
作為解決這樣問題的技術(shù)，有稱為ASM(Active Shape Model，主動形狀模型)的技術(shù)(參照非專利文獻1)。在ASM中，預先對學習用的多個臉圖像取得特征點的位置，生成并保持人臉形狀模型。人臉形狀模型由與各人臉特征點對應的節(jié)點構(gòu)成。此外，關(guān)于人臉形狀模型的具體情況將在具體實施方式
部分中進行說明。
接著，對于利用ASM從圖像中檢測特征點位置的處理進行說明。首先，在作為處理對象的圖像的適當初始位置處配置該人臉形狀模型。接著，在人臉形狀模型的各節(jié)點的周圍進行特征量的取得。對于各個節(jié)點，對所取得的特征量與預先與該節(jié)點對應地保持的特征量進行比較。通過該比較，把各節(jié)點移動到取得與各節(jié)點對應的特征量最接近的特征量的位置(即，判斷為是與各節(jié)點對應的特征點的可能性最高的位置)。在該時刻，人臉形狀模型的各節(jié)點的位置偏離初始位置。在此，把變形后的節(jié)點集合影射到人臉形狀模型上而進行整形。反復執(zhí)行從各節(jié)點周圍的特征量取得起的處理，直到滿足規(guī)定的次數(shù)或者一定的條件(收斂條件)。然后，把各節(jié)點的最終位置判斷為各特征點的位置。
如上所述，在ASM中，在各節(jié)點的位置移動之后，進行向人臉形狀模型的影射。通過該處理，可以檢測出特征點的正確位置，而各節(jié)點的位置關(guān)系仍然保持像臉的形狀。即，在從一般的人臉形狀分析無論如何不可能的位置上偶然存在具有與特征點相似的特征量的部分的情況下，也可以防止把這樣的點誤檢測為特征點。
但是，在以往的ASM中，需要在各節(jié)點中進行周圍的搜索處理(特征量的取得和其比較)。因此，存在需要較多計算時間的缺點。此外，在以往的ASM中，存在魯棒性低的問題。即，在作為處理對象的圖像中臉的朝向與配置在初始位置上的人臉形狀模型中假設的臉的朝向存在較大差異的情況下，存在檢測特征點時失敗的情況較多的問題。
作為用于解決ASM這樣的問題的技術(shù)，有AAM(Active AppearanceModel，主動表觀模型)(參照非專利文獻2)。在AAM中，如下這樣求解人臉特征點的位置。首先，與ASM的情況同樣，對學習用的人臉圖像取得特征點的位置，生成人臉形狀模型。接著，取得各節(jié)點位置的平均值，生成由平均位置的節(jié)點集合構(gòu)成的平均形狀模型。接著，在學習用人臉圖像中生成由各特征點構(gòu)成的多個面片(patch)，將各面片影射到平均形狀模型上，生成自由形狀圖像(shape free image)(該處理稱為“形狀修正處理”)。然后，通過對自由形狀圖像的集合實施主成分分析，生成人臉亮度值模型(自由形狀人臉亮度值模型)。接著，求出將人臉形狀模型從正解位置向各方向微小地移位固定的量時的自由形狀人臉亮度值向量。對于這些集合進行線性回歸計算。由此，可以根據(jù)微小移位的人臉亮度值向量估計向人臉形狀模型的正解點的移動/變形方向以及移動/變形量。在AAM中，預先執(zhí)行以上的處理作為學習處理。
接著，對利用AAM從圖像中檢測出特征點位置的處理進行說明。首先，在作為處理對象的圖像的適當初始位置處配置人臉形狀模型。接著，根據(jù)所配置的人臉形狀模型的節(jié)點位置生成面片，對各面片中的亮度分布進行采樣。然后，通過對所采樣的亮度分布進行影射，來生成自由形狀人臉亮度值模型。
接著，根據(jù)該自由形狀人臉亮度值模型，通過預先求出的回歸式，估計人臉形狀模型的移動/變形量。按照該估計結(jié)果對人臉形狀模型進行移動/變形。反復執(zhí)行以上的處理直到滿足規(guī)定的次數(shù)或者一定的條件(收斂條件)。然后，把各節(jié)點的最終位置判斷為各特征點的位置。
根據(jù)AAM，如上所述，可以檢測出各特征點的位置，而不用進行各節(jié)點周圍的搜索處理。因此，與ASM的情況不同，無需花費時間對各節(jié)點周圍進行搜索處理，可以削減計算時間。此外，通過對形狀模型進行變形而進行搜索，因此與ASM的情況同樣地，可以檢測出特征點的正確位置，而各節(jié)點的位置關(guān)系仍然保持像人臉的形狀。
專利文獻1日本特開平9-251534號公報專利文獻2日本特開2000-97676號公報專利文獻3日本特開2003-141551號公報非專利文獻1A.Lanitis，C.J.Taylor，T.F.Cootes，“AutomaticInterpretation and Coding of Face Images Using Flexible Models”，IEEEPAMI Vol.19，No.7，pp743-756，July 1997非專利文獻2T.F.Cootes，G.J.Edwards and C.J.Taylor，“ActiveAppearance Models”，IEEE PAMI Vol.23，No.6，pp.681-685，2001但是，在AAM中存在以下這樣的問題點。
為了維持通過AAM檢測各特征點的位置的精度，需要在取得各面片的亮度分布時進行均勻且高密度的采樣。因此，該采樣和把亮度分布影射到平均形狀模型上時的計算量變得龐大，需要較多的計算時間。而且，在AAM中，根據(jù)基于正解點周圍的微小移位的線性回歸，來估計人臉形狀模型的移動量和變形量。因此，對于較大的移位不能進行正確的估計，不能得到正確的結(jié)果。
這樣，在以往的使用ASM或AAM的處理中，在搜索處理和通過均勻且高密度的采樣實現(xiàn)的亮度分布形狀修正處理等中需要較多的計算量，因此不能高速地進行特征點的檢測。但是，如上所述，在人機界面等中，把特征點的檢測結(jié)果用作輸入數(shù)據(jù)，因此大多數(shù)情況下要求具有響應性。因此，事實上對高速地進行特征點檢測的需求正在高漲。

發(fā)明內(nèi)容
本發(fā)明的目的在于，解決這些問題，提供可以高速地從人臉圖像中檢測特征點位置的裝置和程序等。
以往，如AAM那樣，一般通過進行形狀修正處理來進行誤差估計(估計向人臉形狀模型中的各節(jié)點的正解點移動的移動方向和移動量)。因此，至今為止沒有研究過省去每當進行誤差估計時的形狀修正處理。但是，研究在以往的AAM中導致計算量增大的原因時，作為原因可以列舉出認為必要的形狀修正處理。因此，本發(fā)明人研究了可以檢測人臉特征點而不進行這樣的形狀修正處理的裝置。
此外，以往為了較高地維持誤差估計的精度，一般在各節(jié)點的周圍實施高密度的采樣。例如，在以往的AAM中，需要在由各節(jié)點構(gòu)成的面片內(nèi)進行均勻且高密度的采樣(具體而言，通常為1萬點以上的采樣)。因此，至今為止，沒有研究過在進行誤差估計時實施低密度的采樣。但是，作為在以往的AAM中導致計算量增大的原因之一，也可以列舉出這樣的均勻且高密度的采樣。因此，本發(fā)明人對于可以檢測人臉特征點而不進行這樣的均勻且高密度采樣的裝置進行了研究。
本發(fā)明人對于這些研究的結(jié)果考慮如下。首先，在以往的AAM中的誤差估計中，在由各節(jié)點構(gòu)成的面片中實施采樣。因此，當像面片這樣作為面來取得采樣結(jié)果時，如果不通過形狀修正處理對伴隨基于誤差估計結(jié)果的節(jié)點移動而產(chǎn)生的形狀變形進行修正，就難以維持處理的精度。然而，在對于各節(jié)點周圍的多個點進行非均勻且低密度的采樣的情況下，即使形狀變形，點也不會變形，并且采樣點密度低，因此難以受到伴隨節(jié)點移動而引起的形狀變形的影響。因此，不特別實施形狀修正處理也可維持處理的精度。根據(jù)這樣的研究結(jié)果，本發(fā)明人提出了以下這樣的人臉特征點檢測裝置。
本發(fā)明的第一方面的人臉特征點檢測裝置具有配置單元、特征量取得單元、存儲單元、誤差估計量取得單元以及估計單元。配置單元對于所輸入的圖像，將與人臉圖像中的多個特征點分別對應的多個節(jié)點配置在預先確定的初始位置處。各節(jié)點分別與作為檢測對象的特征點相對應。此外，初始位置優(yōu)選是假設接近與所輸入的圖像中的各節(jié)點對應的特征點的位置。因此，可以根據(jù)這樣的基準預先確定初始位置。例如，根據(jù)人臉大多被拍攝于畫面中央的經(jīng)驗，可以把畫面中央設為初始位置。
特征量取得單元在由配置單元所配置的各節(jié)點的周圍配置多個采樣點。并且，特征量取得單元取得多個采樣點的特征量作為相應的各節(jié)點的節(jié)點特征量。作為特征量的具體例子，有像素的亮度值、Sobel濾波器特征量、HarrWavelet特征量、GaborWavelet特征量以及復合了這些特征量的值。此外，采樣點的配置可以是非均勻且低密度。
存儲單元存儲預先執(zhí)行的學習結(jié)果。通過對多個學習用圖像進行學習處理來取得該學習結(jié)果。具體而言，預先作為學習結(jié)果取得關(guān)于以下所示的兩個值的相關(guān)關(guān)系的信息。一個值是在多個節(jié)點配置在分別對應的特征點的正確位置上的狀態(tài)下所取得的節(jié)點特征量與在多個節(jié)點配置在偏離了分別對應的特征點的正確位置的位置上的狀態(tài)下所取得的節(jié)點特征量之差。另一個值是各節(jié)點的正確位置與所述偏離位置之差。關(guān)于這樣的兩個值的相關(guān)關(guān)系的信息，例如通過典型相關(guān)分析、線性回歸、多元線性回歸、多元非線性回歸等的分析方法取得。
誤差估計量取得單元根據(jù)存儲在存儲單元中的相關(guān)關(guān)系的信息和特征量取得單元所取得的各節(jié)點的節(jié)點特征量，取得表示當前的各節(jié)點位置和分別與之對應的特征點位置之間的偏差的誤差估計量。
估計單元根據(jù)誤差估計量取得單元所得到的誤差估計量和當前的各節(jié)點的位置，來估計所輸入的圖像中的各特征點的位置。即，人臉特征點檢測單元在估計單元所估計出的各位置處檢測各特征點。
根據(jù)本發(fā)明的第一方面，第一，無需形狀修正處理。換言之，根據(jù)本發(fā)明的第一方面，不實施形狀修正處理。因此，省去了此前花費在形狀修正處理上的較多的處理，可實現(xiàn)處理的高速化。
根據(jù)本發(fā)明的第一方面，第二，無需在各節(jié)點周圍進行搜索處理，也無需在由各節(jié)點構(gòu)成的面片中進行面的高密度采樣。因此，可以削減現(xiàn)有技術(shù)的這種采樣所需的較多的計算量。
由于人臉特征點的檢測處理高速化，從而上述的人機界面可以高速地工作。例如，駕駛員監(jiān)視系統(tǒng)由于其性質(zhì)而要求具有響應性，可以解決以往未能實現(xiàn)的該要求。
本發(fā)明的第一方面可以還具備判定反復處理的結(jié)束的結(jié)束判定單元。結(jié)束判定單元例如可以構(gòu)成為對執(zhí)行反復處理的次數(shù)進行計數(shù)，在達到預定的次數(shù)時判定為結(jié)束。在還具有結(jié)束判定單元的情況下，在得到誤差估計量的情況下，配置單元根據(jù)該誤差估計量移動當前的各節(jié)點的位置。然后，配置單元和誤差估計量取得單元反復執(zhí)行處理，估計單元根據(jù)由結(jié)束判定單元判定為結(jié)束時的誤差估計量和該時刻的各節(jié)點的位置，來估計所輸入的圖像中的各特征點的位置。
根據(jù)這樣構(gòu)成的本發(fā)明的第一方面，根據(jù)基于誤差估計量移動后的各節(jié)點的新的位置，再次求出誤差估計量，反復執(zhí)行該處理。并且，根據(jù)由結(jié)束判定單元判定為該反復處理結(jié)束時的誤差估計量和該時刻的各節(jié)點位置，來估計各特征點的位置。因此，與基于各節(jié)點的初始位置取得一次的誤差估計量來估計各特征點的位置的情況相比，其精度得以提高。
本發(fā)明的第一方面中的結(jié)束判定單元可以構(gòu)成為在誤差估計量取得單元所得到的誤差估計量處于閾值以下時，判定為反復處理結(jié)束。通過這樣構(gòu)成，可以更加正確地檢測各特征點的位置。
本發(fā)明的第一方面可以進一步具備從所輸入的圖像中至少檢測出人的臉或人臉的要素(指包含在臉中的器官或部分，例如眼、鼻、口、額頭等)的位置的人臉檢測單元。在該情況下，配置單元根據(jù)檢測出的人臉或人臉要素的位置，決定各節(jié)點的初始位置。通過這樣構(gòu)成，各節(jié)點的初始位置變?yōu)檫m當?shù)奈恢?，即接近分別對應的特征點的位置。因此，可更加正確地檢測各特征點的位置。
本發(fā)明第一方面的人臉檢測單元可以構(gòu)成為還檢測人臉的朝向。在該情況下，配置單元可以構(gòu)成為具有確定了各節(jié)點的相對位置關(guān)系的節(jié)點模型，在根據(jù)節(jié)點模型把各節(jié)點配置到初始位置上時，根據(jù)由人臉檢測單元檢測出的人臉朝向，對節(jié)點模型進行變形來使用。例如，當由人臉檢測單元檢測出臉的朝向為向左時，配置單元可以對節(jié)點模型的各節(jié)點進行變形以匹配向左的臉。具體而言，配置單元可以例如減小與位于臉的左側(cè)的特征點對應的節(jié)點間向量的水平方向的分量，相反增大與位于臉的右側(cè)的特征點對應的節(jié)點間向量的水平方向的分量。配置單元可以構(gòu)成為，在檢測出其它方向的人臉的情況下，也對各個方向進行上述的變形處理。通過這樣構(gòu)成，與不變形地使用預先準備的節(jié)點模型的情況相比，可以更加準確地檢測各特征點的位置。
本發(fā)明第一方面的人臉檢測單元可以構(gòu)成為還檢測人臉的大小。在該情況下，配置單元可以構(gòu)成為具有確定了各節(jié)點的相對位置關(guān)系的節(jié)點模型，在根據(jù)節(jié)點模型把各節(jié)點配置到初始位置上時，根據(jù)由人臉檢測單元檢測出的臉的大小，對節(jié)點模型進行變形來使用。例如，配置單元可以構(gòu)成為根據(jù)由人臉檢測單元檢測出的臉的大小，放大或縮小節(jié)點模型來進行使用。通過這樣構(gòu)成，與不變形地使用預先準備的節(jié)點模型的情況相比，可以更加準確地檢測各特征點的位置。
本發(fā)明第一方面的人臉檢測單元可以構(gòu)成為還檢測人臉的朝向。在該情況下，配置單元可以構(gòu)成為根據(jù)人臉的朝向具有多個確定了各節(jié)點的相對位置關(guān)系的節(jié)點模型。例如，配置單元可以構(gòu)成為具有與朝右的臉、朝向正面的臉、朝左的臉、朝上的臉、朝下的臉分別對應的節(jié)點模型。此外，存儲單元可以構(gòu)成為存儲與利用學習用圖像而預先得到的各節(jié)點模型對應的相關(guān)關(guān)系的信息，其中該學習用圖像是分別拍攝對應朝向的臉而得到的。此外，配置單元可以構(gòu)成為在根據(jù)節(jié)點模型把各節(jié)點配置到初始位置上時，根據(jù)由人臉檢測單元檢測出的臉的朝向，選擇所使用的節(jié)點模型。并且，誤差估計量取得單元可以構(gòu)成為從存儲單元中讀出與配置單元所選擇的節(jié)點模型對應的相關(guān)關(guān)系的信息并使用。
在這樣構(gòu)成的本發(fā)明的第一方面中，使用特定于人臉檢測單元所檢測出的臉朝向的節(jié)點模型、以及與該節(jié)點模型對應的相關(guān)關(guān)系的信息，進行人臉特征點檢測。因此，與一直使用一個節(jié)點模型的情況相比，可以更加準確地檢測各特征點的位置。
本發(fā)明第一方面的人臉檢測單元可以構(gòu)成為還檢測人臉的大小。在該情況下，配置單元可以構(gòu)成為根據(jù)人臉的大小具有多個確定了各節(jié)點的相對位置關(guān)系的節(jié)點模型。此外，存儲單元可以構(gòu)成為存儲與利用學習用圖像而預先得到的各節(jié)點模型對應的相關(guān)關(guān)系的信息，其中該學習用圖像是分別拍攝對應大小的臉而得到的。此外，配置單元可以構(gòu)成為，在根據(jù)節(jié)點模型把各節(jié)點配置到初始位置上時，根據(jù)由人臉檢測單元檢測出的人臉的大小，選擇所使用的節(jié)點模型。并且，誤差估計量取得單元可以構(gòu)成為從存儲單元中讀出與配置單元所選擇的節(jié)點模型對應的相關(guān)關(guān)系的信息并使用。
在這樣構(gòu)成的本發(fā)明的第一方面中，使用特定于人臉檢測單元所檢測出的人臉大小的節(jié)點模型、以及與該節(jié)點模型對應的相關(guān)關(guān)系的信息，進行人臉特征點檢測。因此，與一直使用一個節(jié)點模型的情況相比，可以更加準確地檢測各特征點的位置。
本發(fā)明第一方面中的特征量取得單元可以構(gòu)成為，按照越接近節(jié)點則越密、越遠離節(jié)點則越稀的方式來配置采樣點。此外，本發(fā)明第一方面中的特征量取得單元可以構(gòu)成為按照Retina結(jié)構(gòu)來進行采樣點的配置。此外，本發(fā)明第一方面的特征量取得單元可以構(gòu)成為存儲多個不同的Retina結(jié)構(gòu)，按照與各節(jié)點對應的Retina結(jié)構(gòu)配置采樣點。
本發(fā)明的第一方面的存儲單元可以構(gòu)成為還預先存儲關(guān)于以下兩者的相關(guān)關(guān)系的信息在學習用圖像中，把多個節(jié)點配置在分別對應的特征點的正確位置處的狀態(tài)下取得的節(jié)點特征量，和表示該圖像中的人臉姿勢的信息。在該情況下，本發(fā)明的第一方面可以構(gòu)成為還具備姿勢估計單元，該姿勢估計單元根據(jù)估計單元所估計的各節(jié)點位置和存儲單元中存儲的關(guān)于人臉姿勢的相關(guān)關(guān)系的信息，來估計在所輸入的圖像中拍攝的人臉的姿勢。
通過這樣構(gòu)成，可以判斷輸入的圖像中所包含的人臉為哪一種姿勢。臉的姿勢可以是例如由臉朝向方向的x軸分量、y軸分量和z軸分量所表示的狀態(tài)。此外，臉的姿勢可以是表示為向右、向左、朝向正面、向上、向下的狀態(tài)。
本發(fā)明的第二方面是使用在主動形狀模型(Active Shape Model)中使用的人臉形狀模型，來進行輸入圖像中的人臉特征點檢測的人臉特征點檢測裝置，具有配置單元、特征量取得單元、存儲單元、誤差估計量取得單元、變更單元以及估計單元。
配置單元對于所輸入的圖像，在初始位置處配置所述人臉形狀模型。
特征量取得單元根據(jù)由配置單元所配置的人臉形狀模型的各節(jié)點位置，按照Retina結(jié)構(gòu)取得多個特征量，取得基于同一節(jié)點位置而取得的多個特征量作為一個節(jié)點特征量。
存儲單元存儲通過典型相關(guān)分析而預先取得的變換向量矩陣作為誤差估計矩陣，其中，該典型相關(guān)分析把以下集合作為輸入在人臉形狀模型配置在正確位置處的情況下對于人臉形狀模型的各節(jié)點得到的節(jié)點特征量的集合與在人臉形狀模型配置在錯誤位置處的情況下對于各節(jié)點得到的節(jié)點特征量的集合之差、以及表示配置在正確位置時和配置在錯誤位置時的各節(jié)點位置之差的向量的集合。
誤差估計量取得單元根據(jù)存儲在存儲單元中的誤差估計矩陣和特征量取得單元所取得的節(jié)點特征量的集合，取得表示人臉形狀模型的各節(jié)點的當前位置和人臉特征點位置之間的偏差的誤差估計量。
變更單元根據(jù)由誤差估計量取得單元所得到的誤差估計量，變更當前的人臉形狀模型的各節(jié)點位置。
此外，估計單元估計通過變更單元變更了位置之后的各節(jié)點位置作為人臉特征點的位置。
根據(jù)這樣構(gòu)成的本發(fā)明的第二方面也可起到與本發(fā)明的第一方面同樣的作用和效果。
本發(fā)明的第三方面是特征點檢測裝置，其具有配置單元、特征量取得單元、存儲單元、誤差估計量取得單元以及估計單元。本發(fā)明第三方面的特征點檢測裝置在作為處理對象的對象物不限于人臉的這一點上，與本發(fā)明第一方面和第二方面的人臉特征點檢測裝置不同。因此，本發(fā)明第三方面的配置單元對于所輸入的圖像，在預先確定的初始位置處配置與預定對象物的圖像中的多個特征點分別對應的多個節(jié)點。
如上所述，這里所指的對象物不限于第一方面和第二方面中示出的人臉。即，對象物只要是可以設定形狀模型的對象物即可。例如，對象物可以是人的整體(全身)、X射線圖像或CT(Computerized Tomography，計算機斷層成像)圖像中的內(nèi)臟器官。換言之，本技術(shù)可以應用于具有較大個人差異的對象物和基本形狀不變地進行變形的對象物。此外，作為其它例子，即使是汽車等的工業(yè)產(chǎn)品這樣不變形的剛體對象物，也可以設定形狀模型，因此可以應用本技術(shù)。
第一至第三方面可以通過信息處理裝置執(zhí)行程序來實現(xiàn)。即，本發(fā)明可以把上述第一至第三方面中的各單元執(zhí)行的處理具體化為用于使信息處理裝置執(zhí)行的程序或者記錄了該程序的記錄介質(zhì)。此外，本發(fā)明可以把上述各單元執(zhí)行的處理具體化為信息處理裝置執(zhí)行的方法。此外，此處所示的信息處理裝置可以是個人計算機、數(shù)字照相機、數(shù)字攝像機、安全防范攝像機、安裝了數(shù)字照相機的移動電話、數(shù)字錄像機、進行圖像處理的服務器(可以是與網(wǎng)絡連接的服務器)、數(shù)字照片打印機以及微型監(jiān)測儀等。
根據(jù)本發(fā)明，在從人臉圖像中檢測臉的特征點位置時，無需形狀修正處理和高密度的采樣。因此，可以更高速地實現(xiàn)特征點的檢測處理。


圖1是表示從人臉圖像提取出的特征點的例子的圖。
圖2是表示Retina結(jié)構(gòu)的例子的圖。
圖3是表示對于人臉形狀模型的某一節(jié)點應用了Retina結(jié)構(gòu)時的采樣點分布例的圖。
圖4是表示偏離配置模型的例子的圖。
圖5是表示學習處理的處理例的流程圖。
圖6是表示人臉特征點檢測裝置的功能模塊示例的圖。
圖7是表示人臉特征點檢測裝置的動作例的流程圖。
圖8是表示姿勢相關(guān)學習的流程示例的流程圖。
圖9是表示人臉特征點檢測裝置的功能模塊示例的圖。
標號說明1人臉特征點檢測裝置；2圖像輸入部；3人臉檢測部；4特征量取得部；5、5a學習結(jié)果存儲部；6誤差估計部；7人臉姿勢估計部具體實施方式
在以下的說明中，人臉圖像是指至少包括人物的臉的一部分或者全部圖像的圖像。因此，人臉圖像可以包括人物整體的圖像，也可以僅包括人物的臉或者上半身的圖像。此外，人臉圖像也可以包括多個人物的圖像。而且，人臉圖像也可以在其背景中包含人物以外的風景(背景也包括作為被攝體而被關(guān)注的物體)或圖案等的任意圖像。
本發(fā)明人對于ASM通過組合基于可變Retina結(jié)構(gòu)的特征量采樣和基于典型相關(guān)分析的誤差估計矩陣學習，而實現(xiàn)了高速的人臉特征點檢測。此外，通過該組合，也可以實現(xiàn)魯棒性高的人臉特征點檢測。以下，對于本發(fā)明人提出的技術(shù)進行說明。
首先，說明人臉特征點檢測所需的學習處理。接著，對于根據(jù)該學習處理的結(jié)果實施本發(fā)明人提出的人臉特征點檢測的人臉特征點檢測裝置1，說明其結(jié)構(gòu)示例和動作示例等。接著，對于人臉特征點檢測裝置1的結(jié)構(gòu)可采用的變形例進行說明。而且，作為本發(fā)明人提出的技術(shù)的應用例，對于估計人臉的姿勢(人臉姿勢)所需的學習處理以及進行人臉姿勢估計的人臉特征點檢測裝置1a進行說明。
首先，對于使人臉特征點檢測裝置1工作所需的學習處理進行說明。該學習處理需要預先實施，以便通過人臉特征點檢測裝置1從人臉圖像中檢測出人臉特征點(以下簡稱為“特征點”)的位置。首先，對于說明本學習處理的流程所需的處理、人臉形狀模型的取得、Retina采樣以及誤差估計矩陣的取得進行說明。之后，對于學習處理的具體的流程示例進行說明。
<人臉形狀模型的取得>
在學習處理中，首先準備多個學習用人臉圖像(以下，在學習處理的說明中稱為“人臉圖像”)，在各圖像中提取特征點。為了提高學習處理的精度，最好由人來實施該處理。圖1是表示從人臉圖像中提取出的特征點的示例的圖。在圖1中，含有斜線的圓的中心位置為特征點。具體而言，可以把雙眼的兩端(內(nèi)側(cè)眼角和外側(cè)眼角)以及中心部分、左右顴骨部分(眼窩部分)、鼻子的頂點、左右嘴角、嘴的中心、鼻的左右端點和左右嘴角的中間點等作為特征點。此外，可以應用上述的非專利文獻1中所述的方法來進行特征點的提取。將各特征點pi的坐標設為pi(xi，yi)。此時，i表示從1至n(n表示特征點的數(shù)量)的值。
接著，如式(1)這樣定義關(guān)于各人臉圖像的特征點配置向量X。關(guān)于某一人臉圖像j的特征點配置向量記為Xj。其中，X的維數(shù)為2n。
(式1)X＝[x1，y1，x2，y2，....xn，yn]T接著，根據(jù)適當?shù)幕鶞?，對所取得的所有特征點配置向量X進行歸一化。此時的歸一化的基準可以由設計者適當決定。以下，對于歸一化的具體例子進行說明。例如，關(guān)于某一人臉圖像j的特征點配置向量Xj，當把點p1～pn的重心坐標設為pG時，可以使用由式(2)定義的Lm，對其大小進行歸一化。具體而言，可以通過將移動后的坐標值除以Lm，來對大小進行歸一化。在此，Lm是在以重心為原點的坐標系中移動了各點pi時的、重心距各點的直線距離的平均值。
(式2)Lm=1nΣi=1n(xi-xG)2+(yi-yG)2]]>此外，對于旋轉(zhuǎn)，例如可以通過對特征點坐標進行旋轉(zhuǎn)變換，以使連結(jié)雙眼中心的直線變?yōu)樗剑瑏磉M行歸一化。以上的處理可以由旋轉(zhuǎn)、放大/縮小的組合來表現(xiàn)，因此歸一化后的特征點配置向量x可以如式(3)這樣表示(相似變換)。
(式3)x＝sRX+tsRscosθ-ssinθssinθscosθt=txty]]>接著，對該歸一化特征點配置向量的集合進行主成分分析。主成分分析例如可以如下這樣進行。首先，按照式(4)所示取得平均向量(通過在x的上部標記水平線來表示平均向量)。此外，在式(4)中，N表示人臉圖像的數(shù)量，即特征點配置向量的數(shù)量。
(式4)x‾=1NΣj=1Nxj]]>然后，如式(5)所示，通過從所有的歸一化特征點配置向量中減去平均向量，取得差分向量x′。關(guān)于圖像j的差分向量表示為xj。
(式5)x′j＝xj-x作為上述的主成分分析的結(jié)果，可以得到2n個固有向量和固有值的組。任意的歸一化特征點配置向量可以通過式(6)所示的公式來表示。
(式6)x＝x+Pb其中，P表示固有向量矩陣，b表示形狀參數(shù)向量。各自的值如式(7)所示。其中，ei表示固有向量。
(式7)P＝[e1，e2，...，e2n]Tb＝[b1，b2，...，b2n]
實際上，通過使用固有值大的前k維為止的值，可以將任意的歸一化特征點配置向量x如式(8)這樣進行近似表示。以下，按照固有值從大到小的順序，將ei稱為第i主成分。
(式8)x＝x+P′b′P′＝[e1，e2，...，ek]Tb′＝[b1，b2，...，bk]此外，在將人臉形狀模型施加(擬合)到實際的人臉圖像上時，對歸一化特征點配置向量x進行相似變換(平移、旋轉(zhuǎn)、放大/縮小)。當設相似變換的參數(shù)為sx、sy、sθ、sscale時，與形狀參數(shù)一同，模型參數(shù)k可以如式(9)這樣表示。
(式9) 在通過該模型參數(shù)k表示的人臉形狀模型與某一人臉圖像上的特征點位置幾乎準確地一致的情況下，把該參數(shù)稱為該人臉圖像中的正解模型參數(shù)。根據(jù)由設計者設定的閾值或基準來判斷是否準確地一致。
<Retina采樣>
接著，對特征量的采樣進行說明。通過對人臉形狀模型組合可變Retina結(jié)構(gòu)來進行特征量的采樣。Retina結(jié)構(gòu)是指在某一要關(guān)注的特征點(節(jié)點)周圍呈放射狀配置采樣點的結(jié)構(gòu)。圖2是表示Retina結(jié)構(gòu)的示例的圖。在圖2中，要關(guān)注的特征點的坐標為原點，位于其它坐標上的各點表示Retina結(jié)構(gòu)中的采樣點。通過實施基于Retina結(jié)構(gòu)的采樣，可以低維且高效地對特征點周圍的信息進行采樣。在本學習處理中，在人臉形狀模型的各節(jié)點(各點p)處實施基于Retina結(jié)構(gòu)的采樣。圖3是表示對于人臉形狀模型的某一個節(jié)點應用了Retina結(jié)構(gòu)時的采樣點的分布示例的圖。在圖3中，包含斜線的圓表示人臉形狀模型的節(jié)點，黑圓點表示Retina結(jié)構(gòu)中的采樣點。
當把第i個采樣點的坐標設為qi(xi，yi)時，Retina結(jié)構(gòu)可以如式(10)這樣表示。
(式10)r=[q1T,q2T,···,qmT]T]]>因此，例如對于某一點p(xp，yp)，通過進行基于Retina結(jié)構(gòu)的采樣而得到的Retina特征量fp可以如式(11)這樣表示。此外，基于Retina結(jié)構(gòu)的采樣是指，按照Retina結(jié)構(gòu)配置采樣點，在所配置的采樣點處實施采樣。
(式11)fp＝[f(p+q1)，...，f(p+qm)]T其中，f(p)表示點p(采樣點p)處的特征量。此外，在Retina結(jié)構(gòu)中的各采樣點處，作為該采樣點的特征量，取得圖像的亮度值、Sobel濾波器特征量、HarrWavelet特征量、GaborWavelet特征量或復合了這些特征量的值。在特征量為多維的情況下，Retina特征量可以如式(12)這樣表示。
(式12)fp=[f1(p+q1(1)),···,fD(p+q1(D)),···,f1(p+qm(1))···,fD(p+qm(D))]T]]>其中，D是特征量的維數(shù)，fd(p)表示點p處的第d維的特征量。此外，qi(d)表示與第d維相對的Retina結(jié)構(gòu)的、第i個采樣坐標。
Retina結(jié)構(gòu)可以與人臉形狀模型的縮放相應地改變其大小。例如，可以與參數(shù)sscale成正比地改變Retina結(jié)構(gòu)的大小。此時，Retina結(jié)構(gòu)r可以如式(13)這樣表示。其中，α是適當?shù)墓潭ㄖ?。此外，Retina結(jié)構(gòu)可以與人臉形狀模型中的其它參數(shù)相應地進行旋轉(zhuǎn)和形狀變化。此外，Retina結(jié)構(gòu)可以設定為因人臉形狀模型的各節(jié)點而形狀(結(jié)構(gòu))各異。
(式13)r=αsscale[q1T,q2T,···,qmT]T]]>在由某一模型參數(shù)確定的人臉形狀模型中，把各節(jié)點的Retina特征量排列為一列而成的向量稱為該人臉形狀模型中的采樣特征量f。采樣特征量f可以如式14這樣表示。在式14中，n表示人臉形狀模型中的節(jié)點的數(shù)量。
(式14)f=[fp1T,fp2T,···,fpnT]T]]>此外，在采樣時，在各節(jié)點處進行歸一化。例如，可以進行縮放變換以使特征量收斂于0至1的范圍內(nèi)，由此進行歸一化。此外，可以通過進行變換以得到一定的均值或方差來進行歸一化。此外，根據(jù)特征量不同，有時不進行歸一化也可。
<誤差估計矩陣的取得>
接著，對本學習處理中執(zhí)行的誤差估計矩陣的取得進行說明。誤差估計矩陣的取得通過使用典型相關(guān)分析(Canonical Correlation Analysis)來實施。典型相關(guān)分析是求兩個維數(shù)不同的變量之間的相關(guān)關(guān)系的方法中的一種。通過典型相關(guān)分析可得到表示當人臉形狀模型的各節(jié)點配置在錯誤位置(與應檢測的特征點不同的位置)上時應向哪個方向進行修正的相關(guān)關(guān)系的學習結(jié)果。
首先，通過在人臉形狀模型的取得部分中說明的處理取得正解模型參數(shù)，通過利用隨機數(shù)等將正解模型參數(shù)散開在一定范圍內(nèi)，生成偏離配置模型。圖4是表示偏離配置模型的示例的圖。在圖4中，包含斜線的圓表示節(jié)點位置。圖4(a)是表示基于某一人臉圖像的正解模型參數(shù)的各節(jié)點位置的圖。圖4(b)是通過對圖4(a)中所示的正解模型(由正解模型參數(shù)表示的人臉形狀模型)進行移位而生成的偏離配置模型的例子。然后，把根據(jù)正解模型而取得的采樣特征量以及偏離配置模型與正解模型之差作為組，取得關(guān)于相關(guān)關(guān)系的學習結(jié)果。以下，說明具體的處理。
首先，如式15所示那樣定義兩組變量向量x和y。x表示針對偏離配置模型的采樣特征量。y表示正解模型參數(shù)(kopt)與偏離配置模型參數(shù)(表示偏離配置模型的參數(shù)kdif)之差。
(式15)x＝[x1，x2....xp]Ty＝[y1，y2....yq]T＝kopt-kdif兩組變量向量預先對于每個維歸一化為均值為0、方差為1。在后述的人臉特征點檢測處理中需要用于歸一化的參數(shù)(各維的均值、方差)。以下，分別設為xave、xvar、yave、yvar，稱為歸一化參數(shù)。
接著，在如式16那樣定義了對于兩個變量的線性變換的情況下，求解使得u、v之間的相關(guān)度為最大的a、b。
(式16)u＝a1x1+...+apxp＝aTxv＝b1y1+...+bqyq＝bTy上述a和b是在考慮x、y的同時分布，如式17這樣定義了其方差協(xié)方差矩陣∑的情況下，作為式18所示的對于求解一般固有值問題時的最大固有值的固有向量而得到。
(式17)Σ=ΣXXΣXYΣYXΣYY]]>(式18)(ΣXYΣYY-1ΣYX-λ2ΣXX)A=0]]>(ΣYXΣXX-1ΣXY-λ2ΣYY)B=0]]>這些之中，先求解維數(shù)低的固有值問題。例如，在求解第1個式子得到的最大固有值為λ1，所對應的固有向量為a1的情況下，向量b1可以利用式19來得到。
(式19)b1=1λ1ΣYY-1ΣYXa1]]>這樣求得的λ1稱為第一典型相關(guān)系數(shù)。此外，由式20表示的u1、v1稱為第一典型變量。
(式20)u1=a1Tx]]>v1=b1Ty]]>以下，如與第二大的固有值對應的第二典型變量、與第三大的固有值對應的第三典型變量這樣，根據(jù)固有值的大小依次求解。此外，在后述的人臉特征點檢測處理中使用的向量為固有值具有一定以上的值(閾值)的第M典型變量為止的向量。此時的閾值可以由設計者適當決定。以下，把第M典型變量為止的變換向量矩陣設為A′、B′，稱為誤差估計矩陣。A′、B′可以如式21那樣表示。
(式21)A′＝[a1，...，aM]B′＝[b1，...，bM]B′一般不為正方矩陣。但是，在人臉特征點檢測處理中需要逆矩陣，因此對B′假想地追加0向量，成為正方矩陣B″。正方矩陣B″可以如式22這樣表示。
(式22)B″＝[b1，...，bM，0，...，0]此外，也可以利用線性回歸、多元線性回歸、多元非線性回歸等的分析方法來求解誤差估計矩陣。但是，通過使用典型相關(guān)分析，可以忽略與較小的固有值對應的變量的影響。因此，可以排除不對誤差估計帶來影響的要素的影響，可以實現(xiàn)更加穩(wěn)定的誤差估計。因此，如果不需要相關(guān)的效果，則可以不使用典型相關(guān)分析而使用上述的其它的分析方法來進行誤差估計矩陣的取得。
<學習處理的流程>
以上，對于本學習處理所需的三個處理，即人臉形狀模型的取得、Retina采樣以及誤差估計矩陣的取得進行了說明。接著，對使用這些處理進行學習處理時的流程進行說明。圖5是表示學習處理的流程示例的流程圖。以下，使用圖5對于學習處理的流程的示例進行說明。此外，以下說明的處理通過安裝了學習處理程序的信息處理裝置來執(zhí)行。該信息處理裝置構(gòu)成為可以從所連接的存儲裝置中讀出學習用人臉圖像和從各人臉圖像中預先提取的各特征點的坐標位置(特征點的正解坐標)。該信息處理裝置不限于上述的從存儲裝置讀出，也可構(gòu)成為經(jīng)由網(wǎng)絡或者通過訪問記錄介質(zhì)等來讀出上述數(shù)據(jù)。
首先，定義變量i，代入1(S01)。接著，在預先取得了特征點的位置的學習用人臉圖像之中，讀入第i個人臉圖像(Img_i)(S02)。在此，因為把1代入了i，因此讀入第1個人臉圖像(Img_1)。接著，讀出人臉圖像Img_i的特征點正解坐標的集合，取得正解模型參數(shù)kopt，生成人臉形狀模型(S03)。接著，根據(jù)正解模型參數(shù)kopt取得偏離配置模型參數(shù)kdif，生成偏離配置模型(S04)。接著，根據(jù)偏離配置模型，執(zhí)行使用了Retina結(jié)構(gòu)的采樣，取得采樣特征量x(S05)。此外，根據(jù)正解模型參數(shù)kopt和偏離配置模型參數(shù)kdif，取得y(S06)。在此，判斷是否對于全部的學習用人臉圖像完成了處理(S07)。例如，可以通過比較i值和表示學習用人臉圖像的數(shù)量的n來進行判斷。在存在未處理的人臉圖像的情況下(S07-“否”)，增加i值(S08)，根據(jù)新的i值執(zhí)行S02起的處理。另一方面，當判斷為對于全部的人臉圖像已完成處理的情況下(S07-“是”)，對關(guān)于各人臉圖像得到的x和y的集合執(zhí)行典型相關(guān)分析(S09)。然后，刪除與比預先確定的閾值小的固定值對應的不需要的相關(guān)矩陣(S10)，最終取得誤差估計矩陣(S11)。
接著，對于人臉特征點檢測裝置1進行說明。人臉特征點檢測裝置1根據(jù)通過上述的學習處理而得到的誤差估計矩陣和歸一化參數(shù)等，從所輸入的人臉圖像中檢測特征點。首先，對于人臉特征點檢測裝置1的裝置結(jié)構(gòu)進行說明。
<裝置結(jié)構(gòu)>
例如，人臉特征點檢測裝置1在硬件上可以構(gòu)成為具有經(jīng)由總線而連接的CPU(中央運算處理裝置)、主存儲裝置(RAM)和輔助存儲裝置等。在該情況下，通過CPU執(zhí)行程序來實現(xiàn)人臉特征點檢測裝置1。此處言及的輔助存儲裝置使用非易失性存儲裝置來構(gòu)成。非易失性存儲裝置是指所謂的ROM(Read-Only Memory，只讀存儲器包括EPROM(Erasable Programmable Read-Only Memory、可擦可編程只讀存儲器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，電可擦可編程只讀存儲器)、Mask ROM等)、FRAM(Ferroelectric RAM，鐵電隨機存取存儲器)和硬盤等。
圖6是表示人臉特征點檢測裝置1的功能模塊示例的圖。人臉特征點檢測裝置1通過把存儲在輔助存儲裝置中的各種程序(OS、應用程序等)加載到主存儲裝置中并通過CPU來執(zhí)行，從而起到包括圖像輸入部2、人臉檢測處理3、特征量取得部4、學習結(jié)果存儲部5以及誤差估計部6等在內(nèi)的裝置的作用。此外，人臉特征點檢測裝置1的全部或者一部分可以構(gòu)成為專用的芯片。接著，對于人臉特征點檢測裝置1包括的各功能部進行說明。
圖像輸入部2起到用于向人臉特征點檢測裝置1輸入人臉圖像數(shù)據(jù)的接口的作用。通過圖像輸入部2向人臉特征點檢測裝置1輸入人臉圖像數(shù)據(jù)?？梢允褂糜糜谙蛉四樚卣鼽c檢測裝置1輸入人臉圖像數(shù)據(jù)的任何現(xiàn)有技術(shù)來構(gòu)成圖像輸入部2。
例如，可以經(jīng)由網(wǎng)絡(例如，局域網(wǎng)或因特網(wǎng))向人臉特征點檢測裝置1輸入人臉圖像數(shù)據(jù)。在該情況下，圖像輸入部2使用網(wǎng)絡接口來構(gòu)成。此外，也可以從數(shù)字照相機、掃描儀、個人計算機、記錄裝置(例如，硬盤驅(qū)動器)等向人臉特征點檢測裝置1輸入人臉圖像數(shù)據(jù)。在該情況下，圖像輸入部2按照將數(shù)字照相機、個人計算機、記錄裝置等與人臉特征點檢測裝置1可數(shù)據(jù)通信地進行連接的標準(例如USB(Universal Serial Bus，通用串行總線)、SCSI(Small Computer SystemInterface，小型計算機系統(tǒng)接口)等的有線連接或bluetooth(藍牙)(注冊商標)等的無線連接的標準)而構(gòu)成。此外，也可以向人臉特征點檢測裝置1輸入記錄在記錄介質(zhì)(例如各種閃存、軟盤(Floppy Disk，注冊商標)、CD(Compact Disk，光盤)或DVD(Digital Versatile Disc，Digital Video Disc數(shù)字通用光盤，數(shù)字視頻光盤))中的人臉圖像數(shù)據(jù)。在該情況下，使用從記錄介質(zhì)讀出數(shù)據(jù)的裝置(例如閃存讀取器、軟盤(注冊商標)驅(qū)動器、CD驅(qū)動器或DVD驅(qū)動器)來構(gòu)成圖像輸入部2。
此外，人臉特征點檢測裝置1可以包含在數(shù)字照相機等的攝像裝置或具有數(shù)字照相機等攝像裝置的各種裝置(例如PDA(Personal DigitalAssistant，個人數(shù)字助理)或移動電話機)的內(nèi)部，所拍攝的圖像可以作為人臉圖像數(shù)據(jù)輸入到人臉特征點檢測裝置1。在該情況下，圖像輸入部2可以使用CCD(Charge-Coupled Devices，電荷耦合器件)或CMOS(Complementary Metal-Oxide Semiconductor，互補金屬氧化物半導體)傳感器等來構(gòu)成，也可以構(gòu)成為用于向人臉檢測裝置4a輸入由CCD或CMOS傳感器等拍攝的人臉圖像數(shù)據(jù)的接口。此外，人臉特征點檢測裝置1可以包含在打印機或顯示器等的圖像輸出裝置的內(nèi)部，可以把作為輸出數(shù)據(jù)輸入給這些圖像輸出裝置的圖像作為人臉圖像數(shù)據(jù)輸入到人臉特征點檢測裝置1中。在該情況下，采用將輸入到這些圖像輸出裝置中的人臉圖像數(shù)據(jù)轉(zhuǎn)換為在人臉特征點檢測裝置1中可處理的數(shù)據(jù)的裝置等來構(gòu)成圖像輸入部2。
此外，圖像輸入部2可以構(gòu)成為可應對上述多個情況。
人臉檢測部3從經(jīng)由圖像輸入部2輸入的人臉圖像中檢測人的臉。人臉檢測部3可以構(gòu)成為例如通過使用了與人臉的整體輪廓相對應的標準模板的模板匹配來檢測人臉。此外，人臉檢測部3可以構(gòu)成為通過基于人臉的構(gòu)成要素(眼、鼻、耳等)的模板匹配來檢測臉。此外，人臉檢測部3可以構(gòu)成為通過色度鍵(chroma key)處理檢測頭部等的頂點，根據(jù)該頂點來檢測出臉。此外，人臉檢測部3可以構(gòu)成為檢測接近皮膚顏色的區(qū)域，檢測出該區(qū)域作為人臉。此外，人臉檢測部3可以構(gòu)成為通過神經(jīng)網(wǎng)絡(neural network)進行基于訓練信號的學習，檢測出像臉的區(qū)域作為人臉。此外，人臉檢測部3的人臉檢測處理也可以通過應用現(xiàn)有的其它任何技術(shù)來實現(xiàn)。
人臉檢測部3確定所檢測出的臉的位置，把該位置傳遞給特征量取得部4。此時，人臉檢測部3可以構(gòu)成為取得臉的朝向或臉的大小，再把該值傳遞給特征量取得部4。
特征量取得部4從人臉檢測部3檢測出的人臉圖像中取得采樣特征量。以下，對于特征量取得部4的具體處理進行說明。
在對人臉檢測部3檢測出的人臉初次取得采樣特征量的情況下，特征量取得部4首先在檢測出的人臉的初始位置處配置由初始參數(shù)kinit定義的人臉形狀模型。該初始位置可以是例如檢測出的人臉的中心與人臉形狀模型的中心一致的位置。此外，在例如通過人臉檢測部3取得了臉矩形(包圍檢測出的臉的矩形)的情況下，初始位置可以是從該臉矩形的某一頂點(例如左上角)到預定的位置配置了人臉形狀模型的預定節(jié)點的位置。如果對檢測出的人臉恰當?shù)嘏渲昧巳四樞螤钅Ｐ?，則初始位置可以由設計者任意定義。
此外，初始參數(shù)kinit是指在由式9表示的模型參數(shù)k中利用初始值表示的模型參數(shù)?？梢詫Τ跏紖?shù)kinit設定適當?shù)闹怠５?，通過對初始參數(shù)kinit設定從一般的人臉圖像中得到的平均值，可以應對各種人臉的朝向和表情變化等。因此，例如，對于相似變換的參數(shù)sx、sy、s0、sscale，可以使用在學習處理時使用的人臉圖像的正解模型參數(shù)的平均值。此外，例如對于形狀參數(shù)b也可以設為0。此外，在利用人臉檢測部3得到了人臉的朝向信息的情況下，可以使用該信息來設定初始參數(shù)。此外，可以把設計者根據(jù)經(jīng)驗得到的其它值設為初始參數(shù)。
接著，特征量取得部4對于由所設定的初始參數(shù)表示的人臉形狀模型，實施基于Retina結(jié)構(gòu)的采樣，取得采樣特征量f。然后，特征量取得部4向誤差估計部6傳遞所得到的采樣特征量f。
另一方面，在第二次以后對由人臉檢測部3檢測出的臉取得采樣特征量時，特征量取得部4對于由誤差估計部6得到的新的模型參數(shù)k(即，正解模型參數(shù)的估計值ki+1)表示的人臉形狀模型，取得采樣特征量f。然后，在該情況下，特征量取得部4也向誤差估計部6傳遞所得到的采樣特征量f。
學習結(jié)果存儲部5使用非易失性存儲裝置來構(gòu)成，存儲通過上述學習處理而得到的學習結(jié)果。具體而言，學習結(jié)果存儲部5存儲誤差估計矩陣、歸一化參數(shù)等。此外，根據(jù)需要，學習結(jié)果存儲部5還可以存儲初始參數(shù)kinit或構(gòu)成初始參數(shù)kinit的值的一部分(例如，在學習處理時使用的人臉圖像的正解模型參數(shù)中的相似變換參數(shù)的平均值等)。
誤差估計部6根據(jù)特征量取得部4所取得的采樣特征量f以及存儲在學習結(jié)果存儲部5中的誤差估計矩陣和歸一化參數(shù)等，來估計誤差量并取得新的模型參數(shù)k。以下，對于誤差估計部6的具體的處理例進行說明。
首先，誤差估計部6使用歸一化參數(shù)(xave，xvar)，對通過特征量取得部4所取得的采樣特征量f進行歸一化，取得用于進行典型相關(guān)分析的向量x。然后，誤差估計部6根據(jù)式23所示的公式計算第一至第M典型變量，從而取得變量u。
(式23)u＝[u1，...，uM]T＝A′Tx接著，誤差估計部6使用式24所示的公式取得歸一化誤差估計量yerr。此外，在式24中，u′是為了與B″成為相同維數(shù)而對u追加0后的向量。
(式24)yerr=B′′T-1u′]]>接著，誤差估計部6對歸一化誤差估計量yerr使用歸一化參數(shù)(yave，yvar)進行復原處理，取得誤差估計量kerr。Kerr是從當前的模型參數(shù)ki到正解模型參數(shù)kopt的誤差估計量。因此，正解模型參數(shù)的估計值ki+1可以通過對當前的模型參數(shù)ki加上誤差估計量kerr來取得。其中，kerr有可能包含誤差。因此，為了進行更加穩(wěn)定的檢測，可以利用式25所示的公式取得正解模型參數(shù)的估計值ki+1。在式25中，σ是適當?shù)墓潭ㄖ?，可以由設計者適當決定。此外，σ可以例如隨i的變化而變化。
(式25)ki+1=ki+kerrσ]]>接著，誤差估計部6進行結(jié)束判定。例如，當i的值超過閾值時，誤差估計部6可以判定為結(jié)束處理。此外，例如式26所示的Δk的值在閾值以下時，誤差估計部6可以判定為結(jié)束處理。此外，誤差估計部6可以根據(jù)所取得的ki+1的值是否在正常范圍內(nèi)來進行結(jié)束判定。例如，在所取得的ki+1的值明顯不是表示人臉圖像中的正解位置的情況下，誤差估計部6可以決定通過輸出錯誤來結(jié)束。此外，在由所取得的ki+1表示的節(jié)點的一部分超出處理對象圖像的情況下，誤差估計部6也可以決定通過輸出錯誤來結(jié)束。
(式26)
Δk＝ki+1-ki在判定為繼續(xù)進行處理的情況下，誤差估計部6向特征量取得部4傳遞所取得的正解模型參數(shù)的估計值ki+1。另一方面，在判定為結(jié)束處理的情況下，誤差估計部6把在該時刻得到的正解模型參數(shù)的估計值ki(或者可以為ki+1)作為最終估計參數(shù)kest輸出。
<動作例>
圖7是表示人臉特征點檢測裝置1的動作例的流程圖。以下，使用圖7對人臉特征點檢測裝置1的動作例進行說明。首先，人臉特征點檢測裝置1經(jīng)由圖像輸入部2讀入作為處理對象的圖像(S12)。接著，人臉檢測部3從作為處理對象的圖像中檢測人臉。接著，特征量取得部4在按照人臉檢測部3的人臉檢測處理結(jié)果得到的初始位置處配置基于初始參數(shù)kinit的人臉形狀模型(S13)。接著，特征量取得部4定義變量i并將1代入。并且，特征量取得部4定義ki并將初始參數(shù)kinit代入(S14)。然后，特征量取得部4按照ki基于Retina結(jié)構(gòu)，取得采樣特征量f(S15)。
接著，誤差估計部6通過使用所取得的采樣特征量f或存儲在學習結(jié)果存儲部5中的誤差估計式等，取得正解模型參數(shù)的估計值ki+1(S16)。接著，誤差估計部6通過對Δk進行平方取絕對值來取得E(S17)。然后，誤差估計部6進行結(jié)束判定。
在結(jié)束判定中，誤差估計部6首先判斷所取得的ki+1的值是否在正常范圍內(nèi)(S18)。當ki+1的值不在正常范圍內(nèi)時(S18-“否”)，誤差估計部6對未圖示的輸出裝置等輸出錯誤(S19)，結(jié)束人臉特征點檢測裝置1的處理。另一方面，當ki+1的值在正常范圍內(nèi)時(S18-“是”)，判斷在S17的處理中取得的E值是否超過閾值(ε)(S20)。當E未超出閾值時(S20-“是”)，誤差估計部6認為處理收斂，輸出kest(S21)，結(jié)束人臉特征點檢測裝置1的處理。
另一方面，當E超出閾值時(S20-“否”)，誤差估計部6向特征量取得部4傳遞ki+1的值。然后，特征量取得部4根據(jù)該ki+1的值生成新的人臉形狀模型(S22)。之后，誤差估計部6增加i的值(S23)。特征量取得部4根據(jù)新的人臉形狀模型來進行采樣特征量f的取得等。即，在該情況下，根據(jù)新的人臉形狀模型重復S15起的處理。
<作用/效果>
在以往的ASM中，需要在人臉形狀模型的各節(jié)點周圍反復進行搜索處理。此外，在以往的AAM中，需要在由各節(jié)點構(gòu)成的面片內(nèi)進行均勻且高密度的采樣，進而對其結(jié)果進行形狀修正處理。具體而言，在以往的AAM中，通常需要1萬點以上的采樣。即，盡管對于人臉特征點的檢測處理要求處理速度和響應性，但在以往的這些技術(shù)中，未能充分實現(xiàn)計算量的削減。
另一方面，在人臉特征點檢測裝置1中，第一，不需要形狀修正處理。而且，在人臉特征點檢測裝置1中，通過基于Retina結(jié)構(gòu)的非均勻且低密度的采樣，進行特征點的檢測處理。具體而言，通常可以通過幾百點左右的采樣進行檢測處理。這樣，根據(jù)人臉特征點檢測裝置1，與以往相比可以大幅削減特征點的檢測所需的計算量。
<變形例>
學習結(jié)果存儲部5可以預先存儲多個表示人臉的狀態(tài)的初始參數(shù)kinit。例如，學習結(jié)果存儲部5可以存儲與朝向側(cè)面的臉或者朝向上方的臉等相對應的初始參數(shù)kinit的值。并且，特征量取得部4可以隨所取得的ki+1的值而改變所使用的人臉形狀模型。具體地說，特征量取得部4可以構(gòu)成為根據(jù)誤差估計部6新取得的ki+1的值，而拋棄該ki+1的值，從學習結(jié)果存儲部5中讀出與所采用的初始參數(shù)kinit不同的另一初始參數(shù)kinit，根據(jù)其值再次執(zhí)行S13起的處理。此外，特征量取得部4例如在反復執(zhí)行人臉特征點的檢測處理時，可以根據(jù)某一時刻得到的kest的值，改變對接下來輸入的人臉圖像實施檢測處理時要使用的初始參數(shù)。在作為處理對象的圖像中包含的臉朝向側(cè)方的情況時等，使用表示朝向側(cè)面的臉的人臉形狀模型的初始參數(shù)kinit進行處理，與使用表示朝向正面的臉的人臉形狀模型的初始參數(shù)kinit進行處理相比，有時可以得到更加高精度的結(jié)果。因此，在這樣的情況下，按照上述的變形例來構(gòu)成是有效的。此外，特征量取得部4可以構(gòu)成為不切換初始參數(shù)kinit，而切換Retina結(jié)構(gòu)或誤差估計矩陣等。
此外，誤差估計部6可以不進行結(jié)束判定，而輸出在該時刻得到的ki+1的值作為kest。
此外，人臉特征點檢測裝置1可以構(gòu)成為不具備人臉檢測部3。在該情況下，特征量取得部4可以構(gòu)成為例如通過把畫面中央設為初始位置來進行處理。此外，人臉檢測部3可以設在人臉特征點檢測裝置1的外部，將人臉圖像連同檢測出的人臉的位置信息輸入到人臉特征點檢測裝置1中。
此外，人臉檢測部3可以構(gòu)成為不檢測人臉而檢測人的眼、口或其它特征點。在該情況下，特征量取得部4可以構(gòu)成為根據(jù)這些特征點的位置決定初始位置。
此外，特征量取得部4可以根據(jù)Retina結(jié)構(gòu)以外的結(jié)構(gòu)進行采樣點的配置。
接著，對用于人臉姿勢估計的學習處理進行說明。人臉姿勢估計是指與特征點位置檢測一起估計包含在處理對象圖像中的人臉的人臉姿勢的處理。人臉姿勢是指臉朝向的方向及其角度等。
<姿勢相關(guān)學習>
在上述的“學習處理”部分中，對于檢測人臉特征點所需的誤差估計矩陣的取得處理進行了說明。在本部分中，對于不以檢測人臉特征點為目的、而以估計人臉圖像中的人物的人臉姿勢為目的的姿勢估計處理所使用的學習處理(姿勢相關(guān)學習)進行說明。
正解模型參數(shù)kopt和人臉圖像的正解人臉姿勢參數(shù)gopt之間存在相關(guān)關(guān)系。并且，也可以利用典型相關(guān)分析，如下這樣求出該關(guān)系。此外，正解人臉姿勢參數(shù)gopt如式27這樣定義。在該情況下，人臉姿勢參數(shù)由臉的x、y、z軸各自的旋轉(zhuǎn)角來表現(xiàn)。人臉姿勢參數(shù)也可以用其它的值來表示。
(式27)gopt＝[θx，θy，θz]T首先，對于多個學習用人臉圖像，把兩組變量向量定義為x＝koptT，y＝gopt。gopt表示正解人臉姿勢的人臉姿勢參數(shù)。預先于各維中將兩組變量向量歸一化為均值0、方差1。之后，與在“學習處理”部分中說明同樣地，通過進行典型相關(guān)分析，得到第L典型變量為止的變換向量對。式28是表示通過該處理得到的變換向量對的公式。L是正整數(shù)，是可以由設計者決定的數(shù)值。此外，此時記錄歸一化參數(shù)。
(式28)(a1pose，b1pose)、...、(aLpose，bLpose)之后，取得第L典型變量為止的變換向量矩陣，設為A′pose、B′pose。以下，把這樣得到的兩個變換向量矩陣稱為姿勢估計矩陣。式29表示這樣得到的A′pose、和使B′pose變?yōu)檎骄仃嚩玫降腂″pose。
(式29) 此外，無需使用模型參數(shù)k中包含的全部值。例如，與縮放相對應的sscale與人臉姿勢無關(guān)，因此預先省略該值，可以簡化計算。
此外，也可以利用線性回歸、多元線性回歸、多元非線性回歸等的分析方法來求解姿勢估計矩陣。
<姿勢相關(guān)學習的流程>
接著，使用流程圖對用于取得姿勢估計矩陣的處理示例進行說明。圖8是表示用于取得姿勢估計矩陣的處理示例，即姿勢相關(guān)學習的處理例的流程圖。此外，以下說明的處理通過安裝了姿勢相關(guān)學習處理程序的信息處理裝置來執(zhí)行。該信息處理裝置構(gòu)成為可以從所連接的存儲裝置中讀出學習用人臉圖像和在各人臉圖像中預先提取的各特征點的坐標位置(特征點的正解坐標)。該信息處理裝置不限于上述的從存儲裝置讀出，也可構(gòu)成為經(jīng)由網(wǎng)絡或者通過訪問記錄介質(zhì)等來讀出上述數(shù)據(jù)。
首先，定義變量i，代入1(S24)。接著，在預先取得了特征點位置的學習用人臉圖像之中，讀入第i個人臉圖像(Img_i)(S25)。在此，因為把1代入了i，因此讀入第1個人臉圖像(Img_1)。接著，讀出人臉圖像Img_i的特征點正解坐標的集合，取得正解模型參數(shù)kopt，生成人臉形狀模型(S26)。接著，取得正解人臉姿勢參數(shù)gopt(S27)，判斷是否對于全部的學習用人臉圖像完成了S25至S27的處理(S28)。例如，可以通過比較i值和表示學習用人臉圖像的數(shù)量的n來進行判斷。在存在未處理的人臉圖像的情況下(S28-“否”)，增加i值(S29)，根據(jù)新的i值執(zhí)行S25起的處理。另一方面，當判斷為對于全部的人臉圖像已完成處理的情況下(S28-“是”)，對關(guān)于各人臉圖像得到的kopt和gopt的集合執(zhí)行典型相關(guān)分析(S30)。然后，刪除與比預先確定的閾值小的固定值對應的不需要的相關(guān)矩陣(S31)，最終取得姿勢估計矩陣(S32)。
圖9是表示人臉特征點檢測裝置1a的功能模塊示例的圖。人臉特征點檢測裝置1a在還進行人臉姿勢估計的這一點上與人臉特征點檢測裝置1不同。為了導出這樣的作用，人臉特征點檢測裝置1a還具有人臉姿勢估計部7。此外，人臉特征點檢測裝置1a具有學習結(jié)果存儲部5a，而取代學習結(jié)果存儲部5。人臉特征點檢測裝置1a具有的其它功能部與人臉特征點檢測裝置1具有的各功能部相同，因此省略說明。
學習結(jié)果存儲部5a與學習結(jié)果存儲部5的不同之處在于，還存儲通過姿勢相關(guān)學習得到的學習結(jié)果。通過姿勢相關(guān)學習而得到的學習結(jié)果是指，例如姿勢估計矩陣和在該學習處理中使用的歸一化參數(shù)。除去以上這一點，學習結(jié)果存儲部5a可以與學習結(jié)果存儲部5同樣地構(gòu)成。
人臉姿勢估計部7從誤差估計部6取得kest，進行人臉姿勢的估計。首先，人臉姿勢估計部7使用在姿勢相關(guān)學習中得到的歸一化參數(shù)，對kest進行歸一化，取得用于典型相關(guān)分析的向量xpose。然后，人臉姿勢估計部7使用由式30表示的算式，計算至第L典型變量為止。
(式30)upose=Apose′Txpose]]>接著，人臉姿勢估計部7使用式31表示的算式，計算歸一化姿勢估計量ypose。其中，在式31中，u′pose是為了與b″pose成為相同維數(shù)而對upose追加零后的向量。
(式31)
ypose=Bpose′′T-1upose′]]>然后，人臉姿勢估計部7對歸一化姿勢估計量ypoe進行歸一化復原處理，取得姿勢估計量gest。在歸一化復原處理中，人臉姿勢估計部7使用在姿勢相關(guān)學習中取得的歸一化參數(shù)。
<作用/效果>
根據(jù)這樣構(gòu)成的人臉特征點檢測裝置1a，可以基于由誤差估計部6所取得的kest，檢測出輸入圖像中的人臉的姿勢。例如，應用于需要檢測駕駛員的臉姿勢的瞌睡檢測裝置等中是有效的。
<變形例>
人臉姿勢估計部7可以構(gòu)成為不使用最終從誤差估計部6得到的kest，而是使用在各i的值時得到的ki的值，對于每個i值來取得姿勢估計量gi。并且，人臉姿勢估計部7可以構(gòu)成為最終使用kest的值來取得姿勢估計量gest。
此外，與人臉特征點檢測裝置1的變形例同樣地，學習結(jié)果存儲部5a可以預先存儲多個表示人臉的狀態(tài)的初始參數(shù)kinit。例如，學習結(jié)果存儲部5a可以存儲與朝向側(cè)面的臉或者朝向上方的臉等相對應的初始參數(shù)kinit的值。并且，特征量取得部4可以隨所取得的ki+1的值而改變所使用的人臉形狀模型。具體地說，特征量取得部4可以構(gòu)成為根據(jù)誤差估計部6新取得的ki+1的值和人臉姿勢估計部7新取得的姿勢估計量gi不同，而拋棄該ki+1的值，從學習結(jié)果存儲部5中讀出與所使用的初始參數(shù)kinit不同的另一初始參數(shù)kinit，根據(jù)其值再次執(zhí)行S13起的處理。此外，特征量取得部4例如在反復執(zhí)行人臉特征點的檢測處理時，可以根據(jù)某一時刻得到的kest的值或gest的值，改變對接下來輸入的人臉圖像實施檢測處理時要使用的初始參數(shù)。在作為處理對象的圖像中包含的臉朝向側(cè)方的情況時等，使用表示朝向側(cè)面的臉的人臉形狀模型的初始參數(shù)kinit進行處理，與使用表示朝向正面的臉的人臉形狀模型的初始參數(shù)kinit進行處理相比，有時可以得到更加高精度的結(jié)果。因此，在這樣的情況下，按照上述的變形例來構(gòu)成是有效的。此外，特征量取得部4可以構(gòu)成為不切換初始參數(shù)kinit，或者除初始參數(shù)kinit之外，還切換Retina結(jié)構(gòu)或誤差估計矩陣等。
權(quán)利要求
1.一種人臉特征點檢測裝置，其特征在于，該人臉特征點檢測裝置具有配置單元，其對于所輸入的圖像，將與人臉圖像中的多個特征點分別對應的多個節(jié)點配置在預先確定的初始位置上；特征量取得單元，其在由所述配置單元配置的各節(jié)點的周圍配置多個采樣點，取得所述多個采樣點處的特征量，作為對應的各節(jié)點的節(jié)點特征量；存儲單元，其預先存儲關(guān)于在學習用圖像中以下兩個值之間的相關(guān)關(guān)系的信息一個值是多個節(jié)點配置在分別對應的特征點正確位置上的狀態(tài)下取得的所述節(jié)點特征量與多個節(jié)點配置在偏離了分別對應的特征點正確位置的位置上的狀態(tài)下取得的所述節(jié)點特征量之差，另一個值是各節(jié)點的所述正確位置和所述偏離位置之差；誤差估計量取得單元，其根據(jù)存儲在所述存儲單元中的所述相關(guān)關(guān)系的信息和由所述特征量取得單元所取得的各節(jié)點的節(jié)點特征量，取得表示當前的各節(jié)點位置與分別對應的特征點位置之間的偏差的誤差估計量；以及估計單元，其根據(jù)由所述誤差估計量取得單元所得到的所述誤差估計量和當前的各節(jié)點位置，來估計所輸入的圖像中的各特征點的位置。
2.根據(jù)權(quán)利要求1所述的人臉特征點檢測裝置，其特征在于，該人臉特征點檢測裝置還具有判定反復處理的結(jié)束的結(jié)束判定單元；在得到了所述誤差估計量的情況下，所述配置單元根據(jù)該誤差估計量，移動當前各節(jié)點的位置；所述配置單元和所述誤差估計量取得單元反復執(zhí)行處理；所述估計單元根據(jù)由所述結(jié)束判定單元判定為結(jié)束時的誤差估計量和該時刻的各節(jié)點的位置，來估計所輸入的圖像中的各特征點的位置。
3.根據(jù)權(quán)利要求2所述的人臉特征點檢測裝置，其特征在于，當所述誤差估計量取得單元所得到的誤差估計量變?yōu)殚撝狄韵聲r，所述結(jié)束判定單元判定為反復處理的結(jié)束。
4.根據(jù)權(quán)利要求1至3中任一項所述的人臉特征點檢測裝置，其特征在于，所述人臉特征點檢測裝置還具有人臉檢測單元，該人臉檢測單元從所述輸入的圖像中至少檢測出人臉或人臉要素的位置；所述配置單元根據(jù)所述檢測出的人臉或人臉要素的位置，來決定所述各節(jié)點的初始位置。
5.根據(jù)權(quán)利要求4所述的人臉特征點檢測裝置，其特征在于，所述人臉檢測單元還檢測人臉的朝向；所述配置單元具有確定了各節(jié)點的相對位置關(guān)系的節(jié)點模型，當根據(jù)所述節(jié)點模型將各節(jié)點配置在所述初始位置處時，所述配置單元根據(jù)由所述人臉檢測單元檢測出的臉的朝向，對所述節(jié)點模型進行變形來使用。
6.根據(jù)權(quán)利要求4所述的人臉特征點檢測裝置，其特征在于，所述人臉檢測單元還檢測人臉的大?。凰雠渲脝卧哂写_定了各節(jié)點的相對位置關(guān)系的節(jié)點模型，當根據(jù)所述節(jié)點模型將各節(jié)點配置在所述初始位置處時，所述配置單元根據(jù)由所述人臉檢測單元檢測出的臉的大小，對所述節(jié)點模型進行變形來使用。
7.根據(jù)權(quán)利要求4所述的人臉特征點檢測裝置，其特征在于，所述人臉檢測單元還檢測人臉的朝向；所述配置單元與臉的朝向相應地具有多個確定了各節(jié)點的相對位置關(guān)系的節(jié)點模型；所述存儲單元存儲與使用拍攝分別對應的朝向的臉所得的所述學習用圖像而預先得到的各節(jié)點模型相對應的所述相關(guān)關(guān)系的信息；當根據(jù)所述節(jié)點模型將各節(jié)點配置在所述初始位置處時，所述配置單元根據(jù)由所述人臉檢測單元檢測出的臉的朝向，選擇要使用的節(jié)點模型；所述誤差估計量取得單元從所述存儲單元中讀出并使用與所述配置單元選擇的節(jié)點模型相對應的所述相關(guān)關(guān)系的信息。
8.根據(jù)權(quán)利要求4所述的人臉特征點檢測裝置，其特征在于，所述人臉檢測單元還檢測人臉的大??；所述配置單元與臉的大小相應地具有多個確定了各節(jié)點的相對位置關(guān)系的節(jié)點模型；所述存儲單元存儲與使用拍攝分別對應的大小的臉所得的所述學習用圖像而預先得到的各節(jié)點模型相對應的所述相關(guān)關(guān)系的信息；當根據(jù)所述節(jié)點模型將各節(jié)點配置在所述初始位置處時，所述配置單元根據(jù)由所述人臉檢測單元檢測出的臉的大小，選擇要使用的節(jié)點模型；所述誤差估計量取得單元從所述存儲單元中讀出并使用與所述配置單元選擇的節(jié)點模型相對應的所述相關(guān)關(guān)系的信息。
9.根據(jù)權(quán)利要求1～8中任一項所述的人臉特征點檢測裝置，其特征在于，所述特征量取得單元將采樣點配置為離節(jié)點越近則越密、離節(jié)點越遠則越疏。
10.根據(jù)權(quán)利要求9所述的人臉特征點檢測裝置，其特征在于，所述特征量取得單元按照Retina結(jié)構(gòu)來進行采樣點的配置。
11.根據(jù)權(quán)利要求10所述的人臉特征點檢測裝置，其特征在于，所述特征量取得單元存儲多個不同的Retina結(jié)構(gòu)，按照與各節(jié)點相應的Retina結(jié)構(gòu)來配置所述采樣點。
12.根據(jù)權(quán)利要求1～11中任一項所述的人臉特征點檢測裝置，其特征在于，所述存儲單元還預先存儲關(guān)于在學習用圖像中、多個節(jié)點配置在分別對應的特征點正確位置上的狀態(tài)下所取得的所述節(jié)點特征量與表示該圖像中的人臉姿勢的信息之間的相關(guān)關(guān)系的信息；所述人臉特征點檢測裝置還具有姿勢估計單元，該姿勢估計單元根據(jù)所述估計單元估計出的各節(jié)點的位置和所述存儲單元中存儲的關(guān)于人臉姿勢的相關(guān)關(guān)系的信息，估計在所述輸入圖像中所拍攝的人臉的姿勢。
13.一種人臉特征點檢測裝置，其使用在主動形狀模型(Active ShapeModel)中使用的人臉形狀模型，進行輸入圖像中的人臉特征點檢測，該人臉特征點檢測裝置具有配置單元，其對于所輸入的圖像，將所述人臉形狀模型配置在初始位置上；特征量取得單元，其根據(jù)由所述配置單元配置的人臉形狀模型的各節(jié)點位置，按照Retina結(jié)構(gòu)取得多個特征量，把基于同一節(jié)點位置所取得的多個特征量作為一個節(jié)點特征量來取得；存儲單元，其存儲通過典型相關(guān)分析而預先取得的變換向量矩陣作為誤差估計矩陣，該典型相關(guān)分析以如下項目作為輸入所述人臉形狀模型配置在正確位置上時對于人臉形狀模型的各節(jié)點得到的節(jié)點特征量的集合與所述人臉形狀模型配置在錯誤位置上時對于各節(jié)點得到的節(jié)點特征量的集合之差、以及表示配置在所述正確位置上時與配置在所述錯誤位置上時各節(jié)點的位置之差的向量的集合；誤差估計量取得單元，其根據(jù)存儲在所述存儲單元中的誤差估計矩陣和由所述特征量取得單元所取得的節(jié)點特征量的集合，來取得表示人臉形狀模型的各節(jié)點的當前位置與臉的特征點位置之間的偏差的誤差估計量；變更單元，其根據(jù)由所述誤差估計量取得單元所得到的所述誤差估計量，來變更當前的人臉形狀模型的各節(jié)點位置；以及估計單元，其將所述變更單元變更了位置后的各節(jié)點位置估計為人臉特征點的位置。
14.一種特征點檢測裝置，該特征點檢測裝置具有配置單元，其對于所輸入的圖像，將與預定的對象物圖像中的多個特征點分別對應的多個節(jié)點配置在預先確定的初始位置上；特征量取得單元，其在由所述配置單元配置的各節(jié)點的周圍配置多個采樣點，取得所述多個采樣點處的特征量，作為對應的各節(jié)點的節(jié)點特征量；存儲單元，其預先存儲關(guān)于在學習用圖像中以下兩個值之間的相關(guān)關(guān)系的信息一個值是多個節(jié)點配置在分別對應的特征點正確位置上的狀態(tài)下取得的所述節(jié)點特征量與多個節(jié)點配置在偏離了分別對應的特征點正確位置的位置上的狀態(tài)下取得的所述節(jié)點特征量之差，另一個值是各節(jié)點的所述正確位置與所述偏離位置之差；誤差估計量取得單元，其根據(jù)存儲在所述存儲單元中的所述相關(guān)關(guān)系的信息和由所述特征量取得單元所取得的各節(jié)點的節(jié)點特征量，取得表示當前的各節(jié)點位置與分別對應的特征點位置之間的偏差的誤差估計量；以及估計單元，其根據(jù)由所述誤差估計量取得單元所得到的所述誤差估計量和當前的各節(jié)點位置，來估計所輸入的圖像中的各特征點的位置。
15.一種人臉特征點檢測方法，其特征在于，該人臉特征點檢測方法包括以下步驟信息處理裝置對于所輸入的圖像，將與人臉圖像中的多個特征點分別對應的多個節(jié)點配置在預先確定的初始位置上的步驟；信息處理裝置在所配置的各節(jié)點的周圍配置多個采樣點的步驟；信息處理裝置取得所述多個采樣點處的特征量，作為對應的各節(jié)點的節(jié)點特征量的步驟；信息處理單元根據(jù)存儲在存儲單元中的相關(guān)關(guān)系的信息和由所述特征量取得單元所取得的各節(jié)點的節(jié)點特征量，取得表示當前的各節(jié)點位置與分別對應的特征點位置之間的偏差的誤差估計量的步驟，其中，存儲單元預先存儲了關(guān)于在學習用圖像中以下兩個值之間的所述相關(guān)關(guān)系的信息一個值是多個節(jié)點配置在分別對應的特征點正確位置上的狀態(tài)下取得的所述節(jié)點特征量與多個節(jié)點配置在偏離了分別對應的特征點正確位置的位置上的狀態(tài)下取得的所述節(jié)點特征量之差，另一個值是各節(jié)點的所述正確位置和所述偏離位置之差；以及信息處理單元根據(jù)所述誤差估計量和當前的各節(jié)點位置，來估計所輸入的圖像中的各特征點的位置的步驟。
16.一種特征點檢測方法，其特征在于，該特征點檢測方法包括以下步驟信息處理裝置對于所輸入的圖像，將與預定對象物圖像中的多個特征點分別對應的多個節(jié)點配置在預先確定的初始位置上的步驟；信息處理裝置在所配置的各節(jié)點的周圍配置多個采樣點的步驟；信息處理裝置取得所述多個采樣點處的特征量，作為對應的各節(jié)點的節(jié)點特征量的步驟；信息處理單元根據(jù)存儲在存儲單元中的相關(guān)關(guān)系的信息和由所述特征量取得單元所取得的各節(jié)點的節(jié)點特征量，取得表示當前的各節(jié)點位置與分別對應的特征點位置之間的偏差的誤差估計量的步驟，其中，存儲單元預先存儲了關(guān)于在學習用圖像中以下兩個值之間的所述相關(guān)關(guān)系的信息一個值是多個節(jié)點配置在分別對應的特征點正確位置上的狀態(tài)下取得的所述節(jié)點特征量與多個節(jié)點配置在偏離了分別對應的特征點正確位置的位置上的狀態(tài)下取得的所述節(jié)點特征量之差，另一個值是各節(jié)點的所述正確位置和所述偏離位置之差；以及信息處理單元根據(jù)所述誤差估計量和當前的各節(jié)點位置，來估計所輸入的圖像中的各特征點的位置的步驟。
17.一種使信息處理裝置執(zhí)行以下步驟的程序?qū)τ谒斎氲膱D像，將與人臉圖像中的多個特征點分別對應的多個節(jié)點配置在預先確定的初始位置上的步驟；在所配置的各節(jié)點的周圍配置多個采樣點的步驟；取得所述多個采樣點處的特征量，作為對應的各節(jié)點的節(jié)點特征量的步驟；根據(jù)存儲在存儲單元中的相關(guān)關(guān)系的信息和由所述特征量取得單元所取得的各節(jié)點的節(jié)點特征量，取得表示當前的各節(jié)點位置與分別對應的特征點位置之間的偏差的誤差估計量的步驟，其中，存儲單元預先存儲了關(guān)于在學習用圖像中以下兩個值之間的所述相關(guān)關(guān)系的信息一個值是多個節(jié)點配置在分別對應的特征點正確位置上的狀態(tài)下取得的所述節(jié)點特征量與多個節(jié)點配置在偏離了分別對應的特征點正確位置的位置上的狀態(tài)下取得的所述節(jié)點特征量之差，另一個值是各節(jié)點的所述正確位置和所述偏離位置之差；以及根據(jù)所述誤差估計量和當前的各節(jié)點位置，來估計所輸入的圖像中的各特征點的位置的步驟。
18.一種使信息處理裝置執(zhí)行以下步驟的程序?qū)τ谒斎氲膱D像，將與預定對象物圖像中的多個特征點分別對應的多個節(jié)點配置在預先確定的初始位置上的步驟；在所配置的各節(jié)點的周圍配置多個采樣點的步驟；取得所述多個采樣點處的特征量，作為對應的各節(jié)點的節(jié)點特征量的步驟；根據(jù)存儲在存儲單元中的相關(guān)關(guān)系的信息和由所述特征量取得單元所取得的各節(jié)點的節(jié)點特征量，取得表示當前的各節(jié)點位置與分別對應的特征點位置之間的偏差的誤差估計量的步驟，其中，存儲單元預先存儲了關(guān)于在學習用圖像中以下兩個值之間的相關(guān)關(guān)系的信息一個值是多個節(jié)點配置在分別對應的特征點正確位置上的狀態(tài)下取得的所述節(jié)點特征量與多個節(jié)點配置在偏離了分別對應的特征點正確位置的位置上的狀態(tài)下取得的所述節(jié)點特征量之差，另一個值是各節(jié)點的所述正確位置和所述偏離位置之差；以及根據(jù)所述誤差估計量和當前的各節(jié)點位置，來估計所輸入的圖像中的各特征點的位置的步驟。
19.一種人臉特征點檢測方法，由信息處理裝置使用在主動形狀模型(Active Shape Model)中使用的人臉形狀模型，進行輸入圖像中的人臉特征點檢測，該方法包括以下步驟信息處理裝置對于所輸入的圖像，將所述人臉形狀模型配置在初始位置上的步驟；信息處理裝置根據(jù)所配置的人臉形狀模型的各節(jié)點位置，按照Retina結(jié)構(gòu)取得多個特征量，把基于同一節(jié)點位置所取得的多個特征量作為一個節(jié)點特征量來取得的步驟；信息處理裝置根據(jù)存儲在存儲單元中的誤差估計矩陣和所取得的節(jié)點特征量的集合，取得表示人臉形狀模型的各節(jié)點的當前位置與臉的特征點位置之間的偏差的誤差估計量的步驟，其中，存儲單元存儲通過典型相關(guān)分析而預先取得的變換向量矩陣作為誤差估計矩陣，該典型相關(guān)分析以如下項目作為輸入所述人臉形狀模型配置在正確位置上時對于人臉形狀模型的各節(jié)點得到的節(jié)點特征量的集合與所述人臉形狀模型配置在錯誤位置上時對于各節(jié)點得到的節(jié)點特征量的集合之差、以及表示配置在所述正確位置上時和配置在所述錯誤位置上時各節(jié)點的位置之差的向量的集合；信息處理裝置根據(jù)所得到的所述誤差估計量，來變更當前的人臉形狀模型的各節(jié)點位置的步驟；以及信息處理裝置將變更了位置后的各節(jié)點位置估計為人臉特征點的位置的步驟。
20.一種人臉特征點檢測程序，其使信息處理裝置使用在主動形狀模型(Active Shape Model)中使用的人臉形狀模型，執(zhí)行輸入圖像中的人臉特征點檢測，其特征在于，該程序使信息處理裝置執(zhí)行以下步驟對于所輸入的圖像，將所述人臉形狀模型配置在初始位置上的步驟；根據(jù)所配置的人臉形狀模型的各節(jié)點位置，按照Retina結(jié)構(gòu)取得多個特征量，把基于同一節(jié)點位置所取得的多個特征量作為一個節(jié)點特征量來取得的步驟；根據(jù)存儲在存儲單元中的誤差估計矩陣和所取得的節(jié)點特征量的集合，取得表示人臉形狀模型的各節(jié)點的當前位置與臉的特征點位置之間的偏差的誤差估計量的步驟，其中，存儲單元存儲通過典型相關(guān)分析而預先取得的變換向量矩陣作為誤差估計矩陣，該典型相關(guān)分析以如下項目作為輸入所述人臉形狀模型配置在正確位置上時對于人臉形狀模型的各節(jié)點得到的節(jié)點特征量的集合與所述人臉形狀模型配置在錯誤位置上時對于各節(jié)點得到的節(jié)點特征量的集合之差、以及表示配置在所述正確位置上時和配置在所述錯誤位置上時各節(jié)點的位置之差的向量的集合；根據(jù)所得到的所述誤差估計量，變更當前的人臉形狀模型的各節(jié)點位置的步驟；以及將變更了位置后的各節(jié)點位置估計為人臉特征點的位置的步驟。
全文摘要
本發(fā)明提供一種人臉特征點檢測裝置、特征點檢測裝置。將多個節(jié)點配置在預先確定的初始位置上，取得各節(jié)點周圍的多個采樣點的特征量，作為對應的各節(jié)點的節(jié)點特征量，根據(jù)相關(guān)關(guān)系的信息和各節(jié)點的節(jié)點特征量，取得表示當前的各節(jié)點位置與分別對應的特征點位置之間的偏差的誤差估計量，其中，所述相關(guān)關(guān)系為學習用圖像中以下兩個值之間的相關(guān)關(guān)系一個值是多個節(jié)點配置在分別對應的特征點的正解位置上的狀態(tài)下與配置在錯誤位置的狀態(tài)下所取得的兩節(jié)點特征量之差，另一個值是正解位置和錯誤位置之差，根據(jù)該誤差估計量和當前的各節(jié)點位置，來估計所輸入的圖像中的各特征點的位置。
文檔編號G06T7/20GK101057257SQ200480044398
公開日2007年10月17日 申請日期2004年11月12日 優(yōu)先權(quán)日2004年11月12日
發(fā)明者木下航一 申請人:歐姆龍株式會社