專利名稱：圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于識別例如人的臉等的規(guī)定對象的圖像處理裝置。
背景技術(shù)：
近年，安全技術(shù)以及大量圖像信息處理的必要性不斷增大，并且開發(fā)了用于根據(jù)使用視頻照相機(jī)等攝像的圖像數(shù)據(jù)中所含的臉圖像來識別個人的各種技術(shù)。作為用于根據(jù)臉圖像而識別個人的技術(shù)，公知的一種方法是，從臉圖像中抽出多個特征點(diǎn)，并使用所登記的多個模板來核對這些特征點(diǎn)(如以下文獻(xiàn)所述“Face Recognition by Elastic BunchGraph Matching”，written by Laurenz Wiskott，Jean-Marc Fellous，Norbert Krouger and Christoph von der Malsburg，Proc.7th Intern.Conf.on Computer Analysis of Image and Patterns 1997)。公知的另一方法是，把表示臉的圖案信息映射到一個為增大個人差異而定義的空間(如以下文獻(xiàn)所述“Eigenfaces for Recognition”，written byMatthew A.Turk and Alex P.Pentland，Journal of CognitiveNeuroscience，vol.3，No.1，pp.71-86，1991)。
上述傳統(tǒng)的個人識別技術(shù)基于以眼、鼻、口等的特征部分的形狀和排列，因此，圖像數(shù)據(jù)有必要具有使它們的形狀和排列清晰易辨的分辨率。具體地說，一般認(rèn)為，分辨率有必要是至少100像素×100像素。然而，并不總是能獲得具有這種高分辨率的臉圖像。
JP-A-H02-311962公開了一種用于通過把臉的三維形狀的差異理解為個人差異(而不是根據(jù)上述特征部分的形狀和排列)來識別個人的技術(shù)。然而，為了利用該技術(shù)，有必要獲得臉的三維信息，因此，該技術(shù)并不總是能應(yīng)用于實(shí)際用途。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述情況而提出的，本發(fā)明的目的是提供能通過使用具有較低分辨率的二維圖像來識別對象的圖像處理裝置。
根據(jù)本發(fā)明的一個方面，提供一種圖像處理裝置，包括計算單元；以及存儲單元，其中，計算單元將通過拍攝一對象而獲得的二維圖像數(shù)據(jù)的多個像素轉(zhuǎn)換為一N維轉(zhuǎn)換值，并且計算多個N維估算特征值，所述多個N維估算特征值是用于以多個N維區(qū)域作為基礎(chǔ)來表達(dá)該N維轉(zhuǎn)換值的多個參數(shù)，其中N是大于2的整數(shù)；存儲單元存儲上述多個N維估算特征值和表示該對象并與這些N維估算特征值相關(guān)聯(lián)的信息；并且計算單元利用識別數(shù)據(jù)庫執(zhí)行識別處理。
根據(jù)本發(fā)明的另一方面，提供一種圖像處理裝置，包括計算單元，配置成可訪問一識別數(shù)據(jù)庫；以及，輸出單元，其中，該識別數(shù)據(jù)庫保存一用于識別各預(yù)備對象的預(yù)備對象識別信息，和用于各個預(yù)備對象的多個N維估算特征值，其中所述多個N維估算特征值是用于以多個N維區(qū)域作為基礎(chǔ)來表達(dá)一N維轉(zhuǎn)換值的多個參數(shù)，該N維轉(zhuǎn)換值是該預(yù)備對象的二維圖像數(shù)據(jù)的多個像素的轉(zhuǎn)換后的值，并且N是大于2的整數(shù)，計算單元將通過拍攝一用于重構(gòu)的目標(biāo)對象而獲得的二維圖像數(shù)據(jù)的多個像素轉(zhuǎn)換為一N維轉(zhuǎn)換值，并且計算多個N維估算特征值，其中所述多個N維估算特征值是用于以多個N維區(qū)域作為基礎(chǔ)來表達(dá)一N維轉(zhuǎn)換值的多個參數(shù)，該N維轉(zhuǎn)換值是該目標(biāo)對象的二維圖像數(shù)據(jù)的多個像素的轉(zhuǎn)換后的值，計算單元將目標(biāo)對象的多個N維估算特征值與預(yù)備對象的多個N維估算特征值進(jìn)行比較，并且，輸出單元輸出比較結(jié)果。
可能的是，計算單元根據(jù)該目標(biāo)對象的拍攝狀態(tài)來修改多個預(yù)備對象的多個N維估算特征值。根據(jù)修改量可以對比較結(jié)果進(jìn)行控制。還可能的是，N維估算特征值是與作為混合分布的一部分的一種分布有關(guān)的值，各所述分布代表各區(qū)域。
根據(jù)本發(fā)明的又一方面，提供一種圖像處理方法，包括(a)載入通過拍攝一對象而獲得的二維圖像數(shù)據(jù)；(b)轉(zhuǎn)換多個多維變量，各多維變量包括各像素的位置坐標(biāo)值和一像素值，這些像素被包含在該二維圖像數(shù)據(jù)內(nèi)；(c)計算針對各像素生成的多個多維變量的似然(likelihood)，在把多維變量描述成混合分布時使用該似然；以及(d)使用該似然執(zhí)行識別處理。
可能的是，混合分布具有多個概率分布作為要素分布(elementaldistribution)，每個概率分布具有單一峰值，并且除以下情況以外都進(jìn)行似然計算，即在峰值位置和像素的位置坐標(biāo)值之間的距離超過一預(yù)定閾值。
并且，可能的是，混合分布具有多個概率分布作為要素分布，每個概率分布具有單一峰值。還可能的是，混合分布是混合高斯分布。
根據(jù)本發(fā)明的再一方面，提供一種產(chǎn)生識別數(shù)據(jù)庫的方法，包括(a)載入包括多個區(qū)域的二維圖像數(shù)據(jù)，該二維圖像數(shù)據(jù)是通過拍攝一對象而獲得的；(b)將通過拍攝一對象而獲得的二維圖像數(shù)據(jù)的多個像素轉(zhuǎn)換為一N維轉(zhuǎn)換值；(c)計算多個N維估算特征值，所述多個N維估算特征值是用于以多個N維區(qū)域作為基礎(chǔ)來表達(dá)該N維轉(zhuǎn)換值的多個參數(shù)，其中N是大于2的整數(shù)；以及(d)存儲所述多個N維估算特征值和表示該對象的信息，作為識別數(shù)據(jù)庫。
根據(jù)本發(fā)明的另一方面，提供一種可由計算機(jī)執(zhí)行的圖像處理方法，其中，將計算機(jī)配置成可訪問一識別數(shù)據(jù)庫，該識別數(shù)據(jù)庫保存一用于識別各預(yù)備對象的預(yù)備對象識別信息，和用于各個預(yù)備對象的多個N維估算特征值，其中所述多個N維估算特征值是用于以多個N維區(qū)域作為基礎(chǔ)來表達(dá)該N維轉(zhuǎn)換值的多個參數(shù)，該N維轉(zhuǎn)換值是該預(yù)備對象的二維圖像數(shù)據(jù)的多個像素的轉(zhuǎn)換后的值，并且N是大于2的整數(shù)，該程序使計算機(jī)執(zhí)行包括以下步驟的過程(a)載入通過對一目標(biāo)對象進(jìn)行拍攝而獲得的二維圖像數(shù)據(jù)；(b)將通過拍攝一對象而獲得的二維圖像數(shù)據(jù)的多個像素轉(zhuǎn)換為一N維轉(zhuǎn)換值；(c)計算多個N維估算特征值，其中所述多個N維估算特征值是用于以多個N維區(qū)域作為基礎(chǔ)來表達(dá)該N維轉(zhuǎn)換值的多個參數(shù)；(d)將目標(biāo)對象的多個N維估算特征值與預(yù)備對象的多個N維估算特征值進(jìn)行比較，以識別該目標(biāo)對象；以及(e)輸出比較結(jié)果。
根據(jù)本發(fā)明的又一方面，提供一種可由計算機(jī)執(zhí)行的程序，其中，計算機(jī)配置成可訪問一識別數(shù)據(jù)庫，該識別數(shù)據(jù)庫保存一用于識別各預(yù)備對象的預(yù)備對象識別信息，和用于各個預(yù)備對象的多個N維估算特征值，其中所述多個N維估算特征值是用于以多個N維區(qū)域作為基礎(chǔ)來表達(dá)該N維轉(zhuǎn)換值的多個參數(shù)，該N維轉(zhuǎn)換值是該預(yù)備對象的二維圖像數(shù)據(jù)的多個像素的轉(zhuǎn)換后的值，并且N是大于2的整數(shù)；該程序使計算機(jī)執(zhí)行包括以下步驟的過程(a)載入一包括一目標(biāo)對象的二維圖像數(shù)據(jù)，該二維圖像數(shù)據(jù)是通過對一目標(biāo)對象進(jìn)行拍攝而獲得的；(b)將通過拍攝一對象而獲得的二維圖像數(shù)據(jù)的多個像素轉(zhuǎn)換為一N維轉(zhuǎn)換值；(c)計算多個N維估算特征值，所述多個N維估算特征值是用于以多個N維區(qū)域作為基礎(chǔ)來表達(dá)該N維轉(zhuǎn)換值的多個參數(shù)；(d)將目標(biāo)對象的多個N維估算特征值與預(yù)備對象的多個N維估算特征值進(jìn)行比較，以識別該目標(biāo)對象；以及(e)輸出比較結(jié)果。
根據(jù)本發(fā)明的再一方面，提供一種可由計算機(jī)執(zhí)行的程序，該程序使計算機(jī)執(zhí)行包括以下步驟的過程(a)載入通過拍攝一對象而獲得的二維圖像數(shù)據(jù)；(b)生成多個多維變量，各多維變量包括各像素的位置坐標(biāo)值和一像素值，這些像素包含在該二維圖像數(shù)據(jù)內(nèi)；以及(c)計算針對各像素生成的多個多維變量的似然，在把多維變量描述成混合分布時使用該似然。


本發(fā)明的這些和其他目的和優(yōu)點(diǎn)將通過以下結(jié)合附圖所作的詳細(xì)說明而變得更加充分明顯，在附圖中圖1是示出根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置的構(gòu)成的方框圖；圖2A至圖2C是示出根據(jù)本發(fā)明的實(shí)施例的圖像處理概要的說明圖；圖3是示出識別數(shù)據(jù)庫的內(nèi)容示例的說明圖；圖4是示出識別數(shù)據(jù)庫的生成處理示例的流程圖；圖5是示出識別處理示例的流程圖；以及圖6是示出識別處理的實(shí)驗(yàn)結(jié)果示例的圖。
具體實(shí)施例方式
將參照附圖對本發(fā)明的實(shí)施例進(jìn)行說明。如圖1所示，根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置由控制部11、存儲器部12、外部接口部13、存儲部14和信息顯示部15構(gòu)成?？刂撇?1根據(jù)存儲在存儲器部12內(nèi)的程序來操作?？刂撇?1執(zhí)行一識別數(shù)據(jù)庫的生成處理，和通過使用由此生成的識別數(shù)據(jù)庫來識別對象的處理。在以下說明中，為簡便起見，假定對象是人的臉，并且將個人識別信息作為識別結(jié)果輸出。以下將對由控制部11執(zhí)行的處理內(nèi)容進(jìn)行詳細(xì)說明。
存儲器部12存儲由控制部11執(zhí)行的程序。存儲器部12還用作工作存儲器，用于存儲在控制部11的處理操作中所生成的各種數(shù)據(jù)。外部接口部13從外部裝置接收圖像數(shù)據(jù)(包含二維排列的像素的二維圖像數(shù)據(jù))作為處理目標(biāo)，并將其輸出到控制部11。存儲部14存儲由控制部11生成的識別數(shù)據(jù)庫。信息顯示部15例如是顯示裝置，用于輸出控制部11的識別處理結(jié)果。
將對由控制部11執(zhí)行的處理內(nèi)容進(jìn)行具體說明。在本實(shí)施例中，將三維估算特征值用作作為識別的基礎(chǔ)的信息，這樣，在生成識別數(shù)據(jù)庫時以及與記錄于識別數(shù)據(jù)庫內(nèi)的模板進(jìn)行比較時，也對三維估算特征值進(jìn)行運(yùn)算。因此，將首先對三維估算特征值的運(yùn)算處理內(nèi)容進(jìn)行說明。
在本實(shí)施例中，根據(jù)從外部接口部13輸入的一個二維圖像數(shù)據(jù)來運(yùn)算三維估算特征值。因此，采用以下方式執(zhí)行運(yùn)算，即把對象表示成分別與對象配位的多個區(qū)域的一組，以確定與各區(qū)域?qū)?yīng)的三維估算特征值。盡管可使用多個函數(shù)來表示這些區(qū)域，然而通過使用指定要素分布和參數(shù)的組合來進(jìn)行描述，可容易地執(zhí)行該運(yùn)算。具體地說，控制部11針對構(gòu)成對象的各像素，生成具有一像素的位置和與該像素的像素值有關(guān)的一值的組合的三維變量，并且計算規(guī)定混合分布的多個參數(shù)(規(guī)定混合分布的這些參數(shù)在將針對各像素生成的一組三維變量描述成具有規(guī)定數(shù)量的參數(shù)的規(guī)定混合分布時使似然達(dá)到最大)，作為三維估算特征值。作為在圖像數(shù)據(jù)中查找對象位置的技術(shù)，可使用JP-A-2003-281541所公開的技術(shù)。
控制部11針對一對象(臉)的一矩形區(qū)域(臉圖像數(shù)據(jù))，通過使用該矩形區(qū)域內(nèi)的一個像素的位置坐標(biāo)值(a，b)和該像素的亮度值I(a，b)來生成一三維變量x(a，b，I(a，b))。可以將該位置坐標(biāo)值定義成矩形區(qū)域的左下部，為(0，0)。
通過使用以m個要素分布的混合分布作為基礎(chǔ)來描述針對各像素而由此生成的三維變量的概率由以下公式(1)和(2)來表示。
p(x;θ)=Σj=1mξjp(x;θj)---(1)]]>p(x;θj)=1(2π)d/2exp[-12(x-μj)TΣj-1(x-μj)]---(2)]]>式中，ξj表示第j個要素分布的混合參數(shù)，θj表示第j個要素分布的參數(shù)。要素分布優(yōu)選的是具有單一峰值的概率分布，具體地說，可以是高斯分布。μj表示第j個要素分布的峰值中心，即分布中心，∑j表示協(xié)方差矩陣。d表示維數(shù)，在本實(shí)施例中d為3。在以下說明中假定，作為基礎(chǔ)的要素分布為高斯分布，因此，該混合分布為混合高斯分布。
因此，與該抽樣有關(guān)的混合分布的多個參數(shù)為混合參數(shù)ξj、高斯分布中心μj以及協(xié)方差矩陣∑j，并且將這些參數(shù)作為三維估算特征值進(jìn)行處理?？梢杂晒腅M算法來定義與規(guī)定的臉圖像數(shù)據(jù)對應(yīng)的這些參數(shù)。
在采用高斯分布的情況下，混合參數(shù)ξj是表示第j個高斯分布的權(quán)重的數(shù)值，協(xié)方差矩陣∑j是表示第j個高斯分布的峰值方向的數(shù)值。因此，通過針對m個要素分布中的各個分布獲得這三個參數(shù)，把該對象表示為m個區(qū)域的一組。
可以任意地設(shè)定構(gòu)成混合分布的各要素分布的初始值，而不限于高斯分布。例如，可能的是，針對一矩形圖像設(shè)定等間距的多個柵格(lattice)，并把這些柵格的中心指定為多個要素分布的初始位置，另選地，在預(yù)期該對象的結(jié)構(gòu)將變得復(fù)雜的一區(qū)域內(nèi)(例如圖像中心附近)將多個要素分布彼此靠近地密集排列。在將要素分布的初始位置等間距排列或者規(guī)則排列的前一情況中，所獲得的優(yōu)點(diǎn)是，可以處理各種對象，但是存在的缺點(diǎn)是，容易發(fā)生使混合參數(shù)ξj在圖像的周緣基本上為零的要素分布，從而使可實(shí)質(zhì)用于識別的特征值的數(shù)量減少。在將要素分布的初始位置不規(guī)則排列的情況下，優(yōu)點(diǎn)和缺點(diǎn)通常交互作用，但由于由此輸入的圖像一般由等間距的像素構(gòu)成，因而存在的缺點(diǎn)是，在將多個要素分布的初始值密集排列的區(qū)域中由這些要素分布所區(qū)分的那些區(qū)域的尺寸(面積)變小，并且其中所包含的像素數(shù)量減少，從而使分布精度下降。因此，優(yōu)選的是，采用以下方式來確定要素分布的初始位置和要素分布數(shù)m，即在與多個要素分布的各區(qū)域相對應(yīng)的一區(qū)域內(nèi)包含至少10個像素。要素分布數(shù)m優(yōu)選的是30或以上，這是因?yàn)樵谝胤植紨?shù)m太小的情況下，不能表示十分復(fù)雜的特征。除非在各區(qū)域內(nèi)所含的上述像素數(shù)得不到確保的情況下，否則沒有要素分布數(shù)m的具體上限。
具體地說，在以下公式(3)中獲得該抽樣符合第J高斯分布的概率q(t)(J|x)=ξJp(x;θJ(t))Σj=1mξjp(x;θj(t))---(3)]]>并且在以下公式(4)中計算全部數(shù)據(jù)的對數(shù)似然(將該處理稱為E步驟)。
Q(θ)=Σi=1nΣj=1mq(t)(j|xi)log{ξjp(xi;θj)}---(4)]]>隨后，在以下公式(5)、(6)和(7)中確定使對數(shù)似然Q最大的混合分布的參數(shù)(將該處理稱為M步驟)。
ξJ(t+1)=1nΣi=1nq(t)(J|xi)---(5)]]>μJ(t+1)=1nξJ(t+1)Σi=1nq(t)(J|xi)xi---(6)]]>ΣJ(t+1)=1nξJ(t+1)Σi=1nq(t)(J|xi)(xi-μJ(t+1))(xi-μJ(t+1))T---(7)]]>通過以規(guī)定次數(shù)重復(fù)上述運(yùn)算可以獲得使對數(shù)似然Q最大的那些參數(shù)。這樣，控制部11輸出與所處理的臉圖像數(shù)據(jù)對應(yīng)的參數(shù)作為三維估算特征值。
具體地說，例如，圖2B示出了在圖2A所示的原始圖像中利用由EM算法所定義的那些參數(shù)求出的高斯分布。圖2B中的多個橢圓形分別與多個高斯分布對應(yīng)。在圖2C示意性地示出與圖2B所示的高斯分布具有最高似然的圖像。在實(shí)際運(yùn)算中，把以多個規(guī)定值或多個隨機(jī)值作為參數(shù)的多個混合分布用作為初始狀態(tài)，并且根據(jù)EM算法來調(diào)整與各混合分布的要素分布(高斯分布)有關(guān)的參數(shù)。
還可能的是，由三維排列的多個平面來替代表示該對象的多個區(qū)域。例如，在要素分布是高斯分布的情況下，與高斯分布有關(guān)的參數(shù)是限定多個平面的值，這些平面近似地表示作為對象的臉。在由多個平面近似表示作為對象的臉的情況下，還可能的是，針對各平面生成四維或更高維的值，并使用這些高維值。
控制部11針對要進(jìn)行核對的各預(yù)備對象生成上述三維估算特征值，并使由此生成的三維估算特征值和對象識別信息(例如，人的姓名)相互關(guān)聯(lián)并作為識別數(shù)據(jù)庫存儲在存儲部14內(nèi)(圖3)。
具體地說，如圖4所示，對要核對的對象圖像進(jìn)行初始化處理(S1)。在初始化處理中，把對象的圖像數(shù)據(jù)縮放至一規(guī)定大小(例如，64×100像素)，并通過采用高斯濾波器對縮放后的圖像數(shù)據(jù)進(jìn)行平滑，然后進(jìn)行直方圖均衡化(histogram equalization)。此處所稱的直方圖均衡化是將像素值再分布為以下方式的一種轉(zhuǎn)換處理，即，使得這些像素值的頻值在各像素值的值域(codomain)內(nèi)彼此大致相等。已知，作為轉(zhuǎn)換處理的結(jié)果，明確了圖像對比度。
然后，控制部11把進(jìn)行了初始化處理的圖像數(shù)據(jù)的像素值轉(zhuǎn)換成具有其位置坐標(biāo)值及亮度值的組合的一多維變量(S2)。然后，控制部11在該對象的圖像數(shù)據(jù)中均勻地設(shè)置初始高斯分布的多個中心位置(例如，7×7＝49)(S3)?？刂撇?1以初始高斯分布的中心位置作為起點(diǎn)，執(zhí)行E步驟的處理(S4)，然后執(zhí)行M步驟的處理(S5)。然后，控制部11對步驟S4和S5是否重復(fù)了必要次數(shù)進(jìn)行調(diào)查(S6)，在重復(fù)了必要次數(shù)的情況下，控制部11生成包含彼此關(guān)聯(lián)的以下兩項(xiàng)數(shù)據(jù)的模板數(shù)據(jù)，即在最后的S5步驟中運(yùn)算的參數(shù)和要核對的對象的識別信息(將其用作參數(shù)運(yùn)算的基礎(chǔ))。然后，控制部11將模板數(shù)據(jù)存儲在存儲部4中(S7)，從而完成處理。一組模板數(shù)據(jù)構(gòu)成識別數(shù)據(jù)庫。
將對控制部11執(zhí)行的識別處理進(jìn)行說明?？刂撇?1將存儲在存儲部14內(nèi)的識別數(shù)據(jù)庫中的各個模板數(shù)據(jù)標(biāo)記為未選擇，并啟動如圖5所示的處理?？刂撇?1對通過外部接口部13輸入的圖像數(shù)據(jù)進(jìn)行處理并從中鑒別臉部(S11)，該圖像數(shù)據(jù)包括用于識別的目標(biāo)對象。例如，可通過在JP-A-2003-281541中公開的方法來進(jìn)行該鑒別。然后，對由此鑒別的臉部的部分圖像數(shù)據(jù)進(jìn)行初始化處理(S12)。此處的初始化處理與生成識別數(shù)據(jù)庫時的初始化處理相同，其中，將臉部的部分圖像數(shù)據(jù)縮放至一規(guī)定尺寸(例如，64×100像素)，并且通過使用高斯濾波器平滑縮放后的圖像數(shù)據(jù)，然后進(jìn)行直方圖均衡化。
然后，控制部11將進(jìn)行了初始化處理的圖像數(shù)據(jù)的像素值轉(zhuǎn)換成具有其位置坐標(biāo)值及亮度值的組合的一多維變量(S13)。然后，將存儲在存儲部14內(nèi)的識別數(shù)據(jù)庫中的標(biāo)記為未選擇的一個模板數(shù)據(jù)選擇作為注目模板數(shù)據(jù)(focused template data)(在該步驟可以將其標(biāo)記為已選擇)，并將在該注目模板數(shù)據(jù)內(nèi)所含的多個參數(shù)設(shè)定為初始值(S14)。
控制部11以上述初始值為起點(diǎn)，執(zhí)行E步驟的處理(S15)，然后執(zhí)行M步驟的處理(S16)。然后，控制部11對于步驟S15和S16是否重復(fù)了必要次數(shù)進(jìn)行調(diào)查(S17)，在未重復(fù)必要次數(shù)的情況下，處理返回到步驟S15繼續(xù)處理。根據(jù)該處理，自動地修改了模板。在以必要次數(shù)重復(fù)這些步驟后，進(jìn)一步執(zhí)行E步驟(S18)。在步驟S17的重復(fù)次數(shù)可以為零(即，不執(zhí)行E步驟和M步驟的處理)，在此情況下，步驟S15、S16和S17的處理并不總是必要的。
控制部11對于作為S18的處理結(jié)果所獲得的對數(shù)似然是否超過一規(guī)定閾值進(jìn)行調(diào)查(S19)。在對數(shù)似然未超過該規(guī)定閾值的情況下，控制部11對于所有模板數(shù)據(jù)是否被標(biāo)記為已選擇進(jìn)行調(diào)查(S20)，在它們被標(biāo)記為已選擇的情況下，控制部11判定為不能識別，并相應(yīng)輸出到信息顯示部15(S21)，以完成處理。
在未將所有模板數(shù)據(jù)都標(biāo)記為已選擇而在步驟S20留有標(biāo)記為未選擇的模板數(shù)據(jù)的情況下，處理返回到步驟S14以繼續(xù)處理。
在步驟S19，在作為S18的處理結(jié)果所獲得的對數(shù)似然超過規(guī)定閾值的情況下，此時，控制部11把注目模板數(shù)據(jù)中所包含的對象識別信息輸出到信息顯示部15(S22)。在執(zhí)行步驟S22的處理后，控制部11可以完成處理，或者另選地，可以返回到步驟S20以繼續(xù)處理，并可以利用對數(shù)似然超過規(guī)定閾值的模板數(shù)據(jù)來顯示對象識別信息的列表。在該情況下，可以在按對數(shù)似然以降序排序后來顯示對象識別信息列表。
在識別處理中，控制部11可以進(jìn)一步獲取模板數(shù)據(jù)和與所鑒別的臉部有關(guān)的信息(與臉的方向、位置、尺寸和表情、作為模板數(shù)據(jù)基礎(chǔ)的對象的成像狀況、以及作為處理目標(biāo)的對象的成像狀況有關(guān)的信息)，并根據(jù)該信息，控制部11可以移動模板數(shù)據(jù)中所包含的高斯分布的中心位置。例如，在坐標(biāo)系中，當(dāng)由此根據(jù)作為處理目標(biāo)的輸入圖像數(shù)據(jù)而鑒別的臉部的中心位置與模板數(shù)據(jù)的臉部的中心位置偏離一偏離長度(Δx，Δy)時，高斯分布的中心位置的坐標(biāo)移動了該偏離長度。對于臉部表情，在冷淡和微笑兩種情況下臉頰的部位會存在差異，并且模板數(shù)據(jù)中位于臉頰的部位的高斯分布的中心位置移動了規(guī)定量。
通過在JP-A-2003-281541中所公開的處理可以獲得與臉的方向、位置和尺寸有關(guān)的信息，或者可以由操作者從附圖中未示出的操作部輸入這些信息。
本實(shí)施例的特征之一是，在對模板數(shù)據(jù)進(jìn)行上述修改時，根據(jù)修改量來控制作為比較結(jié)果的似然。具體地說，在使高斯分布的中心位置從μ0j移動到μj的情況下，通過由以下公式(8)替代公式(4)來定義對數(shù)似然。
Q(θ)=Σi=1nΣj=1mq(t)(j|xi)log{ξjp(xi;θj)}+ηΣi=1nΣj=1mq(t)(j|xi)(μj-μ0j)---(8)]]>與公式(4)相比，公式(8)包括附加項(xiàng)(右側(cè)項(xiàng)的第二項(xiàng)，以下稱為罰項(xiàng)(penalty term))。在公式(8)中，η代表表示罰項(xiàng)強(qiáng)度的系數(shù)，并可通過實(shí)驗(yàn)確定。
在該情況下，由以下公式(9)獲得M步驟處理中的分布的中心位置的參數(shù)。
μJ(t+1)=(1+2ηΣJ)-1{1nξJ(t+1)Σi=1nq(t)(J|xi)xi+2ηΣJμ0J}---(9)]]>在M步驟中移動了高斯分布的中心位置，但其移動量受罰項(xiàng)的限制。
也可以在通過附加該罰項(xiàng)定義對數(shù)似然后，執(zhí)行步驟S15～S17的處理，從而可以限制自動執(zhí)行的模板修改。
識別數(shù)據(jù)庫可以包含與相同對象識別信息有關(guān)的多個模板數(shù)據(jù)。具體地說，針對同一人的臉，生成臉的方向和尺寸不同的多個模板數(shù)據(jù)，并使這些多個模板數(shù)據(jù)與該對象識別信息相關(guān)聯(lián)。在該情況下，與對象的臉的方向和尺寸有關(guān)的信息可以與模板數(shù)據(jù)相關(guān)聯(lián)并被包含在識別數(shù)據(jù)庫內(nèi)。
在以上所述的本實(shí)施例中，在對數(shù)似然的計算中，針對各像素，運(yùn)算來自所有高斯分布的發(fā)生概率(在所有高斯分布中能使用高斯分布進(jìn)行描述的概率)，但在距注目像素的距離超過規(guī)定閾值的部分中，可以將該概率指定為零，以省略運(yùn)算。該距離的閾值可以是高斯分布的協(xié)方差的1.2倍。根據(jù)該過程，可減少計算量，以減輕處理負(fù)荷。
將對根據(jù)本實(shí)施例的圖像處理裝置的操作進(jìn)行說明。在根據(jù)本實(shí)施例的圖像處理裝置中，預(yù)先針對要核對的人的臉圖像計算三維估算特征值，并使三維估算特征值與該人的識別信息相關(guān)聯(lián)并且將其作為識別數(shù)據(jù)庫存儲在存儲部14內(nèi)。
在例如通過視頻成像所連續(xù)獲得的多個圖像數(shù)據(jù)中，鑒別臉部，并通過利用識別數(shù)據(jù)庫內(nèi)所包含的三維估算特征值，取得與該臉部對應(yīng)的對象識別信息。
此外，根據(jù)本實(shí)施例的圖像處理裝置可以應(yīng)用于以下處理，即與使用三維估算特征值的處理并行地執(zhí)行傳統(tǒng)的二維圖案匹配處理，并可以根據(jù)這兩種處理的結(jié)果來獲得最終處理結(jié)果。在該情況下，將通過使用三維估算特征值的處理所獲得的識別結(jié)果和相似性(似然)的組合的列表，與通過傳統(tǒng)處理所獲得的識別結(jié)果和相似性的組合的列表進(jìn)行合成。換句話說，可能的是，針對各識別結(jié)果(對象識別信息)把來自各處理的相似性結(jié)果加權(quán)求和，以計算點(diǎn)數(shù)(point)，并在以點(diǎn)數(shù)的降序進(jìn)行排序后，輸出識別結(jié)果(對象識別信息)。
通過使用上述三維估算特征值，生成登記了1096個人的臉的識別數(shù)據(jù)庫，并隨著臉部的像素數(shù)的改變，執(zhí)行識別處理。結(jié)果在圖6示出。
從圖6所示的結(jié)果可以理解，使用超過100像素×100像素的像素數(shù)(128×200和64×100)，可獲得95％或以上的識別率，并且即使在像素數(shù)低于100像素×100像素(32×50和24×38)的情況下，也能獲得等于95％的識別率。如上所述，根據(jù)本實(shí)施例，即使通過使用具有較低分辨率的二維圖像，也能識別對象。
本發(fā)明的優(yōu)選實(shí)施例的以上說明是為了圖示和說明目而提出。并不旨在窮舉或者將本發(fā)明限制到所公開的確切形式，并且鑒于上述教導(dǎo)可以進(jìn)行各種修改和變形，或者可以通過本發(fā)明的實(shí)施來獲知各種修改和變形。實(shí)施例的選擇和描述是為了對本發(fā)明的原理及其實(shí)際應(yīng)用進(jìn)行說明，以使本領(lǐng)域技術(shù)人員能在各種實(shí)施例中利用本發(fā)明，并設(shè)想出適合于具體用途的各種修改。其意圖是使本發(fā)明的范圍由所附權(quán)利要求及其等效物來限定。
權(quán)利要求
1.一種圖像處理裝置，包括計算單元；以及存儲單元，其中，所述計算單元將通過拍攝一對象而獲得的二維圖像數(shù)據(jù)的多個像素轉(zhuǎn)換為一N維轉(zhuǎn)換值，并且計算多個N維估算特征值，所述多個N維估算特征值是用于以多個N維區(qū)域作為基礎(chǔ)來表達(dá)所述N維轉(zhuǎn)換值的多個參數(shù)，其中N是大于2的整數(shù)，所述存儲單元存儲所述多個N維估算特征值和表示所述對象并與所述多個N維估算特征值相關(guān)聯(lián)的信息，并且所述計算單元利用識別數(shù)據(jù)庫執(zhí)行識別處理。
2.一種圖像處理裝置，包括計算單元，其被配置成可訪問一識別數(shù)據(jù)庫；以及輸出單元，其中，所述識別數(shù)據(jù)庫保存一用于識別各預(yù)備對象的預(yù)備對象識別信息，和用于各個預(yù)備對象的多個N維估算特征值，其中所述多個N維估算特征值是用于以多個N維區(qū)域作為基礎(chǔ)來表達(dá)一N維轉(zhuǎn)換值的多個參數(shù)，所述N維轉(zhuǎn)換值是所述預(yù)備對象的二維圖像數(shù)據(jù)的多個像素的轉(zhuǎn)換后的值，并且N是大于2的整數(shù)，所述計算單元將通過拍攝一用于重構(gòu)的目標(biāo)對象而獲得的二維圖像數(shù)據(jù)的多個像素轉(zhuǎn)換為一N維轉(zhuǎn)換值，并且計算多個N維估算特征值，其中所述多個N維估算特征值是用于以多個N維區(qū)域作為基礎(chǔ)來表達(dá)一N維轉(zhuǎn)換值的多個參數(shù)，所述N維轉(zhuǎn)換值是所述目標(biāo)對象的二維圖像數(shù)據(jù)的多個像素的轉(zhuǎn)換后的值，所述計算單元將所述目標(biāo)對象的多個N維估算特征值與所述預(yù)備對象的多個N維估算特征值進(jìn)行比較；以及輸出單元輸出比較結(jié)果。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述計算單元根據(jù)所述目標(biāo)對象的拍攝狀態(tài)來修改所述預(yù)備對象的多個N維估算特征值。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述N維估算特征值是與作為一混合分布的一部分的一種分布有關(guān)的值，所述各分布代表各區(qū)域。
5.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述N維估算特征值是與作為一混合分布的一部分的一種分布有關(guān)的值，所述各分布代表各區(qū)域。
6.一種圖像處理方法，包括(a)載入通過拍攝一對象而獲得的二維圖像數(shù)據(jù)；(b)轉(zhuǎn)換多個多維變量，各多維變量包括各像素的位置坐標(biāo)值和一像素值，所述多個像素包含在所述二維圖像數(shù)據(jù)內(nèi)；(c)計算針對各像素生成的多個多維變量的似然，在將所述多維變量描述為多個混合分布時使用所述似然；以及(d)利用所述似然執(zhí)行識別處理。
7.根據(jù)權(quán)利要求6所述的圖像處理方法，其中，所述混合分布具有多個概率分布作為要素分布，每個概率分布具有單一峰值，并且所述似然是在除以下情況以外計算的，即所述峰值位置和所述像素的位置坐標(biāo)值之間的距離超過一預(yù)定閾值。
8.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述混合分布具有多個概率分布作為要素分布，每個概率分布具有單一峰值。
9.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中，所述混合分布具有多個概率分布作為要素分布，每個概率分布具有單一峰值。
10.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述混合分布是混合高斯分布。
11.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中，所述混合分布是混合高斯分布。
12.根據(jù)權(quán)利要求6所述的圖像處理方法，其中，所述混合分布是混合高斯分布。
13.一種產(chǎn)生識別數(shù)據(jù)庫的方法，包括(a)載入包括多個區(qū)域的二維圖像數(shù)據(jù)，所述二維圖像數(shù)據(jù)是通過拍攝一對象而獲得的；(b)將通過拍攝一對象而獲得的二維圖像數(shù)據(jù)的多個像素轉(zhuǎn)換為一N維轉(zhuǎn)換值；(c)計算多個N維估算特征值，所述多個N維估算特征值是用于以多個N維區(qū)域作為基礎(chǔ)來表達(dá)所述N維轉(zhuǎn)換值的多個參數(shù)，其中N是大于2的整數(shù)；以及(d)存儲所述多個N維估算特征值和表示所述對象的信息，作為識別數(shù)據(jù)庫。
14.一種可由計算機(jī)執(zhí)行的圖像處理方法，其中，所述計算機(jī)被配置成可訪問一識別數(shù)據(jù)庫，所述識別數(shù)據(jù)庫保存一用于識別各預(yù)備對象的預(yù)備對象識別信息，和用于各個預(yù)備對象的多個N維估算特征值，其中所述多個N維估算特征值是用于以多個N維區(qū)域作為基礎(chǔ)來表達(dá)一N維轉(zhuǎn)換值的多個參數(shù)，所述N維轉(zhuǎn)換值是所述預(yù)備對象的二維圖像數(shù)據(jù)的多個像素的轉(zhuǎn)換后的值，并且N是大于2的整數(shù)，所述程序使所述計算機(jī)執(zhí)行包括以下步驟的過程(a)載入通過對一目標(biāo)對象進(jìn)行拍攝而獲得的二維圖像數(shù)據(jù)；(b)將通過拍攝一對象而獲得的二維圖像數(shù)據(jù)的多個像素轉(zhuǎn)換為一N維轉(zhuǎn)換值；(c)計算多個N維估算特征值，所述多個N維估算特征值是用于以多個N維區(qū)域作為基礎(chǔ)來表達(dá)所述N維轉(zhuǎn)換值的多個參數(shù)；(d)將目標(biāo)對象的多個N維估算特征值與預(yù)備對象的多個N維估算特征值進(jìn)行比較，以識別所述目標(biāo)對象；以及(e)輸出比較結(jié)果。
15.一種可由計算機(jī)執(zhí)行的程序，其中，所述計算機(jī)被配置成可訪問一識別數(shù)據(jù)庫，所述識別數(shù)據(jù)庫保存一用于識別各預(yù)備對象的預(yù)備對象識別信息，和用于各個預(yù)備對象的多個N維估算特征值，其中所述多個N維估算特征值是用于以多個N維區(qū)域作為基礎(chǔ)來表達(dá)一N維轉(zhuǎn)換值的多個參數(shù)，所述N維轉(zhuǎn)換值是所述預(yù)備對象的二維圖像數(shù)據(jù)的多個像素的轉(zhuǎn)換后的值，并且N是大于2的整數(shù)；所述程序使所述計算機(jī)執(zhí)行包括以下步驟的過程(a)載入一包括一目標(biāo)對象的二維圖像數(shù)據(jù)，該二維圖像數(shù)據(jù)是通過對一目標(biāo)對象進(jìn)行拍攝而獲得的；(b)將通過拍攝一對象而獲得的二維圖像數(shù)據(jù)的多個像素轉(zhuǎn)換為一N維轉(zhuǎn)換值；(c)計算多個N維估算特征值，所述多個N維估算特征值是用于以多個N維區(qū)域作為基礎(chǔ)來表達(dá)所述N維轉(zhuǎn)換值的多個參數(shù)；(d)將目標(biāo)對象的多個N維估算特征值與預(yù)備對象的多個N維估算特征值進(jìn)行比較，以識別所述目標(biāo)對象；(e)輸出比較結(jié)果。
16.一種可由計算機(jī)執(zhí)行的程序，所述程序使所述計算機(jī)執(zhí)行包括以下步驟的過程(a)載入通過拍攝一對象而獲得的二維圖像數(shù)據(jù)；(b)生成多個多維變量，各所述多維變量包括各像素的位置坐標(biāo)值和一像素值，所述多個像素包含在所述二維圖像數(shù)據(jù)中；以及(c)計算針對各像素生成的所述多個多維變量的似然，在把所述多維變量描述為混合分布時使用所述似然。
全文摘要
本發(fā)明提供一種能通過使用具有較低分辨率的二維圖像來執(zhí)行對象識別的圖像處理裝置。在該圖像處理裝置中，將通過拍攝規(guī)定對象而獲得的圖像數(shù)據(jù)用作處理目標(biāo)；對于與該對象的一部分有關(guān)的至少一個平面，計算定義該平面的N維估算特征值(N≥3)；使該N維估算特征值和原始對象識別信息相互關(guān)聯(lián)，并將其作為識別數(shù)據(jù)庫存儲在存儲單元內(nèi)；以及把識別數(shù)據(jù)庫應(yīng)用于對象的識別處理。
文檔編號G06K9/46GK1658219SQ20041008115
公開日2005年8月24日 申請日期2004年9月30日 優(yōu)先權(quán)日2004年2月18日
發(fā)明者加藤典司, 福井基文 申請人:富士施樂株式會社