專利名稱：使用半臉圖像的臉部識(shí)別的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，尤其涉及基于臉部特征的識(shí)別系統(tǒng)。
背景技術(shù)：
臉部識(shí)別通常用于保安的用途。在人工安全系統(tǒng)中，使用包含臉部照片的安全證件來(lái)控制對(duì)保密地區(qū)或保密材料的訪問(wèn)權(quán)限。在自動(dòng)和半自動(dòng)系統(tǒng)中，使用臉部識(shí)別軟件來(lái)對(duì)，例如由攝像機(jī)得到的一個(gè)人的當(dāng)前圖象，和存儲(chǔ)的圖象進(jìn)行相似性比較。在傳統(tǒng)系統(tǒng)中，用戶他或她自己來(lái)進(jìn)行識(shí)別，而臉部識(shí)別軟件將要被識(shí)別的人的視頻圖象和一個(gè)或多個(gè)存儲(chǔ)的圖象進(jìn)行比較。
臉部識(shí)別也被用于各種不同的其它應(yīng)用中。于2000年10月10日提交的待決美國(guó)專利申請(qǐng)《DEVICE CONTROL VIA IMAGE-BASEDRECOGNITION》公開了基于用戶的臉部識(shí)別和與所識(shí)別用戶相關(guān)聯(lián)的偏好的用戶裝置的自動(dòng)控制，該美國(guó)專利申請(qǐng)序列號(hào)為09/685683，發(fā)明人為Miroslav Trajkovic、Yong Yan、Antonio Colmenarez和Srinivas Gutta，代理人卷號(hào)為US000269，該申請(qǐng)以引用的方式并入本文。
1999年9月21日授權(quán)給Agraharam等人的美國(guó)專利5956482，《MULTIMEDIA INFORMATION SERVICE ACCESS》，該專利以引用的方式并入本文，該專利提供了一種安全技術(shù)，其中用戶要求獲得信息服務(wù)，系統(tǒng)拍攝用戶的視頻快照，只有當(dāng)快照與授權(quán)用戶相對(duì)應(yīng)時(shí)才授予訪問(wèn)信息服務(wù)的權(quán)利。1998年11月10日授權(quán)給Lobo等人的美國(guó)專利5835616，《FACE DETECTION USING TEMPLATES》，該專利以引用的方式并入本文，該專利提供了一種兩個(gè)步驟的方法，用于在一幅數(shù)字化圖像中自動(dòng)找到人臉，并通過(guò)檢查臉部特征來(lái)確定人臉的存在。Lobo等人的系統(tǒng)特別適合于在照相機(jī)的視野中找到一個(gè)或多個(gè)人臉，即使視野也許不與標(biāo)準(zhǔn)的臉部快照對(duì)應(yīng)。
臉部識(shí)別算法的一個(gè)共同問(wèn)題是不同的光照強(qiáng)度。隨著一個(gè)人從一個(gè)區(qū)域走到另一個(gè)區(qū)域，人臉一般是從不同的方向受到照射的。由于現(xiàn)拍的臉部圖像的光照強(qiáng)度和方向和用于識(shí)別人的參考臉部圖像的光照強(qiáng)度和方向不同，所以系統(tǒng)識(shí)別人的能力降低了。由于在暗黑的圖像中區(qū)分顏色的能力被相當(dāng)大地減少，所以，例如，一個(gè)附有陰影的面頰能被誤認(rèn)為胡須。同樣地，強(qiáng)光能減少通常由于陰影的作用才會(huì)明顯的特征和細(xì)節(jié)。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)目的是提高臉部識(shí)別算法的有效性。本發(fā)明的一個(gè)另一個(gè)目的是減少圖象中由光照強(qiáng)度和方向的變化所引起的變化。
這些目的和其它目的通過(guò)在臉部識(shí)別算法中將左和右半臉的圖象作為獨(dú)立的部分加以處理而實(shí)現(xiàn)的。為了與全臉圖像識(shí)別系統(tǒng)兼容，使用半臉圖像的鏡像來(lái)創(chuàng)建與每個(gè)左和右半臉的圖像對(duì)應(yīng)的全臉圖像。使用傳統(tǒng)的臉部識(shí)別方法，對(duì)每個(gè)創(chuàng)建出的全臉圖像與參考全臉圖象進(jìn)行比較。通過(guò)比較每個(gè)基于左臉的圖象和每個(gè)基于右臉的圖象，系統(tǒng)克服了由方向性的或不一致的光照引起的識(shí)別問(wèn)題?？蛇x擇地，可以基于每個(gè)左和右半臉圖像的特征的混合創(chuàng)建一幅合成的全臉圖像，從而濾除掉了光照的變化。


下面將參照附圖，并且借助實(shí)例，對(duì)本發(fā)明進(jìn)行更加詳細(xì)的解釋說(shuō)明，其中圖1表示按照本發(fā)明的臉部識(shí)別系統(tǒng)的示例框圖。
圖2表示按照本發(fā)明的臉部識(shí)別系統(tǒng)的示例流程圖。
圖3表示在按照本發(fā)明的臉部識(shí)別系統(tǒng)中合成臉部的示例流程圖。
全部附圖中，相同的附圖標(biāo)記表示相似或相應(yīng)的特征或功能。
具體實(shí)施例方式
本發(fā)明是以這樣的觀察為前提而提出的除了異常情況之外，人臉是左右對(duì)稱的。這樣，整個(gè)臉的圖像就包含了冗余信息。換言之，半臉的圖象能被用來(lái)創(chuàng)建全臉的圖象，或，基于對(duì)稱冗余信息的混合，可以使用一幅全臉的圖象的兩個(gè)半邊來(lái)形成合成的全臉圖像。Srinivas Gutta、Miroslav Trajkovic和Vasanth Philomin于2001年9月28日提交的共同待決的美國(guó)專利申請(qǐng)《System and Method ofFace Recognition through 1/2 Faces》(序列號(hào)為09/966436，代理人卷號(hào)為US010471)，公開了一種圖象分類器，它能被訓(xùn)練用于獲知半臉或全臉的圖像，該申請(qǐng)以引用的方式并入本文。
圖1表示按照本發(fā)明的臉部識(shí)別系統(tǒng)100的示例框圖。使用本領(lǐng)域的公知技術(shù)，構(gòu)造了一個(gè)臉部搜尋器110來(lái)識(shí)別圖象中的臉。一般來(lái)說(shuō)，比如，臉部是通過(guò)找到膚色的局部區(qū)域(而深色區(qū)域?qū)?yīng)于眼睛)而識(shí)別出來(lái)的。在120處，對(duì)每張得到定位的臉進(jìn)行處理，以提供兩個(gè)半臉。
在優(yōu)選的實(shí)施例中，圖像中的臉部被“變形”(平移、旋轉(zhuǎn)、和投影)來(lái)形成一幅幾乎是全臉的臉部圖象，而這幅全臉的圖象被分割成兩半來(lái)形成左和右的半臉圖象。假定圖象中的兩只眼是可見的，那么整個(gè)臉部的圖像是通過(guò)這樣的方法來(lái)形成的在圖像中的眼角之間投影一條線，并平移和旋轉(zhuǎn)圖象，從而使該直線水平，并且該直線位于與圖象平面平行的平面上。此后，通過(guò)在眼角之間的直線的中點(diǎn)處平分這個(gè)平面，產(chǎn)生左和右半臉的圖象。將一幅全臉的圖象分成兩個(gè)半臉的圖像的其它技術(shù)對(duì)于本領(lǐng)域的普通技術(shù)是顯然的。類似地，例如，當(dāng)臉部圖象是側(cè)面像時(shí)，提取單個(gè)的半臉的圖象的技術(shù)對(duì)于本領(lǐng)域的普通技術(shù)也是顯然的。
構(gòu)造了一個(gè)臉部合成器130，用于根據(jù)臉部分割器120提供的半臉圖象來(lái)創(chuàng)建一個(gè)或多個(gè)全臉圖象。在優(yōu)選的實(shí)施例中，正如以下將進(jìn)一步討論的，通過(guò)對(duì)半臉圖象和它的鏡像進(jìn)行合成，每個(gè)半臉圖像都可用于創(chuàng)建一幅全臉圖象。除了在異常的環(huán)境下，兩個(gè)相反的半臉圖象之間的區(qū)別通常代表臉部圖象的每一邊的不同的亮度。由于在大多數(shù)環(huán)境下光照是有方向性的，如果半臉圖像不同，通常是因?yàn)槟樀囊贿吺艿搅诉m當(dāng)?shù)墓庹眨硪贿厸]有。因此，兩個(gè)創(chuàng)建出的全臉圖像中可能包括一個(gè)能通過(guò)傳統(tǒng)的臉部比較器140與參考圖像比較的、光照適當(dāng)?shù)娜槇D像。即使半臉圖象光照都不適當(dāng)，通過(guò)創(chuàng)建過(guò)程創(chuàng)建的全臉圖像將是對(duì)稱光照的，因此更有可能與一幅對(duì)稱光照的參考圖像相匹配。
可以采用很多種技術(shù)來(lái)從兩個(gè)創(chuàng)建出的全臉圖象中選擇哪一個(gè)是光照更合適的，并將光照更合適的圖像與參考圖象進(jìn)行比較。然而在優(yōu)選實(shí)施例中，省略了在將兩個(gè)創(chuàng)建出的全臉圖像與參考圖像進(jìn)行比較之前進(jìn)行的選擇處理，因?yàn)閷?duì)兩個(gè)創(chuàng)建出的圖像進(jìn)行互相比較所需要的處理時(shí)間看起來(lái)與將每個(gè)創(chuàng)建出的圖像與參考圖像進(jìn)行比較所需要的處理時(shí)間是相當(dāng)?shù)摹?br> 可以采用很多其它技術(shù)來(lái)從提取出的半臉圖像中創(chuàng)建全臉圖像。例如，在另一個(gè)優(yōu)選的實(shí)施例中，上述的兩幅創(chuàng)建的全臉圖像被合并來(lái)形成另一幅全臉圖像。這一合并可以基于每幅圖像內(nèi)的象素值的簡(jiǎn)單平均，或者它可以基于更復(fù)雜的技術(shù)，比如在傳統(tǒng)圖象處理系統(tǒng)中用來(lái)“變形”圖像的技術(shù)。
臉部比較器140使用了傳統(tǒng)的臉部比較技術(shù)，例如在本發(fā)明的背景技術(shù)中提及的專利文獻(xiàn)所提出的。注意，本發(fā)明對(duì)于傳統(tǒng)的臉部比較系統(tǒng)而言，特別適合于作為一個(gè)獨(dú)立的“附加”處理。方框110-130只為臉部比較器140提供了原始的和創(chuàng)建出的圖像，作為用于與參考臉部圖像進(jìn)行比較的單獨(dú)圖像。
圖2表示按照本發(fā)明的臉部識(shí)別系統(tǒng)的一個(gè)示例流程圖。在210處，接收到現(xiàn)場(chǎng)圖像，在220處，從中可以提取一個(gè)或多個(gè)臉部。沒有表示的是，可以基于多個(gè)圖像畫面，利用本領(lǐng)域的公知技術(shù)對(duì)所提取出來(lái)的臉部圖像進(jìn)行處理和合成，以突出特征，減少噪聲等等。通過(guò)循環(huán)過(guò)程230-280來(lái)處理每幅臉部圖像，從而提供在270處各自與一個(gè)或多個(gè)參考臉部進(jìn)行比較的備選臉部。
在240處，對(duì)每幅全臉圖像進(jìn)行處理來(lái)提取一個(gè)左臉和一個(gè)右臉圖像。如果220的臉部提取處理沒有提供一幅全臉圖像，則處理240執(zhí)行必要的平移和旋轉(zhuǎn)處理來(lái)提供一幅全臉圖像，如上所述。如果左和右臉基本相同，那么基于這些相同的半臉?biāo)鶆?chuàng)建出的新的臉部通常與原始的全臉圖像幾乎相同。為了避免相同的新的臉部的不必要的創(chuàng)建，當(dāng)在250處判定兩個(gè)半臉的圖像幾乎相同時(shí)，則繞過(guò)臉部合成方框260。各種各樣的技術(shù)中的任意一種都可用來(lái)判定半臉圖像之間是否相等。在優(yōu)選的實(shí)施例中，使用了平方和差值測(cè)量來(lái)確定每個(gè)半邊圖像之間差的量級(jí)。
圖3中詳細(xì)表示了示例的臉部合成處理260。通過(guò)循環(huán)過(guò)程310-340處理每幅半臉圖像。在320處，創(chuàng)建出了半臉圖像的鏡像，而且在330處，將這個(gè)鏡像和半臉圖像結(jié)合起來(lái)以產(chǎn)生全臉圖像。注意，如果圖2的提取處理240僅產(chǎn)生一幅半臉圖像，例如當(dāng)臉部圖像是側(cè)面時(shí)，通過(guò)這一鏡象和合成處理320-330，處理260提供至少一幅全臉圖像來(lái)與參考圖像比較。如果圖2的提取處理240提供全部?jī)蓚€(gè)半臉圖像，那么將產(chǎn)生兩個(gè)全臉圖像。根據(jù)需要，如上所述，在350處，基于每個(gè)半臉圖像的選擇特征的合并可以產(chǎn)生其它的全臉圖像。
回到圖2，在270處，將每個(gè)創(chuàng)建的圖像(可選地，將原始圖像)與一個(gè)或多個(gè)參考圖像進(jìn)行比較，來(lái)識(shí)別可能的匹配。因?yàn)槊總€(gè)創(chuàng)建圖像有效地表示了不同光照下相同的臉部，本發(fā)明的處理增加了正確識(shí)別臉部的可能性，即使當(dāng)光照強(qiáng)度和/或方向不均勻或不連貫時(shí)。
上述僅說(shuō)明了本發(fā)明的原理。因此應(yīng)當(dāng)意識(shí)到，本領(lǐng)域的技術(shù)人員能設(shè)計(jì)出包含本發(fā)明原理的不同方案，盡管其沒有在本文明確地描述或表示，但體現(xiàn)了本發(fā)明的原理，因此仍在本發(fā)明的精神和范圍內(nèi)。比如，本發(fā)明給出的是就處理半臉來(lái)形成與參考全臉圖像比較的多種完整的臉部的情況?？蛇x地，可以將參考臉部圖像保存為半臉圖像，而且上述的處理和比較可以對(duì)于半臉參考圖像進(jìn)行，和以上提及的共同待決的美國(guó)專利申請(qǐng)09/966436公開的技術(shù)一致。就是說(shuō)，在這個(gè)可選的實(shí)施例中，每個(gè)半臉圖像或它的鏡像直接與半臉參考圖像比較。另外，基于兩個(gè)半臉圖像特征的合成的半臉能與半臉參考圖像比較。鑒于本文所公開的內(nèi)容，這些和其它系統(tǒng)的設(shè)計(jì)和優(yōu)化特征對(duì)于本領(lǐng)域熟練的技術(shù)人員來(lái)說(shuō)是顯然的，并被包括在后附的權(quán)利要求的范圍內(nèi)。
權(quán)利要求
1.一種臉部識(shí)別系統(tǒng)(100)，包括臉部分割器(120)，該臉部分隔器構(gòu)造用于從臉部圖像中提取一個(gè)或兩個(gè)半臉圖像，和臉部合成器(130)，可操作地與臉部分割器(120)連接，該臉部合成器構(gòu)造用于基于一個(gè)或兩個(gè)半臉圖像中的至少一個(gè)為臉部比較器(140)提供一個(gè)或多個(gè)比較圖像。
2.如權(quán)利要求1所述的臉部識(shí)別系統(tǒng)(100)，還包括臉部搜尋器(110)，可操作地與臉部分割器(120)連接，該臉部搜尋器被構(gòu)造用于從現(xiàn)場(chǎng)圖像中提取臉部圖像。
3.如權(quán)利要求1所述的臉部識(shí)別系統(tǒng)(100)，還包括臉部比較器(140)，該臉部比較器被構(gòu)造用于將一個(gè)或多個(gè)比較圖像與一個(gè)或多個(gè)參考圖像比較。
4.如權(quán)利要求3所述的臉部識(shí)別系統(tǒng)(100)，其中，所述一個(gè)或多個(gè)參考圖像相當(dāng)于半臉參考圖像，和所述臉部比較器(140)被構(gòu)造用于鏡像一個(gè)或多個(gè)參考圖像和一個(gè)或多個(gè)比較圖像中的至少一個(gè)以實(shí)現(xiàn)比較。
5.如權(quán)利要求1所述的臉部識(shí)別系統(tǒng)(100)，其中，臉部分割器(120)還構(gòu)造用于調(diào)整輸入臉部圖像，以將該臉部圖像提供作為全臉圖像，所述全臉圖像與由臉部分隔器(120)用來(lái)提取一個(gè)或兩個(gè)半臉圖像的圖像平面平行。
6.如權(quán)利要求4所述的臉部識(shí)別系統(tǒng)(100)，其中，臉部分割器(120)基于投影在輸入臉部圖像中的眼角之間的一條直線調(diào)整輸入臉部。
7.如權(quán)利要求1所述的臉部識(shí)別系統(tǒng)(100)，其中，臉部合成器(130)通過(guò)將一個(gè)或兩個(gè)半臉圖像的每一個(gè)的鏡象與一個(gè)或多個(gè)半臉圖像的每一個(gè)結(jié)合，創(chuàng)建一個(gè)或多個(gè)比較圖像。
8.如權(quán)利要求1所述的臉部識(shí)別系統(tǒng)(100)，其中，臉部合成器(130)通過(guò)結(jié)合一個(gè)或多個(gè)半臉圖像的每一個(gè)的特征，創(chuàng)建一個(gè)或多個(gè)比較圖像。
9.一種在臉部識(shí)別系統(tǒng)中使用的處理臉部圖像的方法，該方法包括從臉部圖像中提取(220)至少一幅半臉圖像，基于所述至少一幅半臉圖像，為臉部識(shí)別系統(tǒng)提供(260)一個(gè)或多個(gè)比較圖像。
10.如權(quán)利要求9所述的方法，其中臉部識(shí)別系統(tǒng)被構(gòu)造用于比較全臉圖像，和提供(260)一個(gè)或多個(gè)比較圖像包括將所述至少一個(gè)半臉圖像的鏡象與所述至少一個(gè)半臉圖像結(jié)合(330)。
11.如權(quán)利要求9所述的方法，其中所述至少一個(gè)半臉圖像包括左臉圖像和右臉圖像，和提供(260)一個(gè)或多個(gè)比較圖像包括合并(350)每個(gè)左臉和右臉圖像的特征。
12.如權(quán)利要求11所述的方法，其中臉部識(shí)別系統(tǒng)被構(gòu)造用于比較半臉圖像。
13.如權(quán)利要求9所述的方法，還包括對(duì)輸入圖像進(jìn)行平移和旋轉(zhuǎn)，以提供臉部圖像。
14.如權(quán)利要求13所述的方法，其中輸入圖像的平移和旋轉(zhuǎn)是基于投影在輸入圖像中的眼角之間的一條直線進(jìn)行的。
15.一種計(jì)算機(jī)程序，當(dāng)該程序在計(jì)算機(jī)系統(tǒng)上運(yùn)行時(shí)，被設(shè)計(jì)用于使計(jì)算機(jī)系統(tǒng)從臉部圖像中提取(220)至少一個(gè)半臉圖像，和基于所述至少一個(gè)半臉圖像，提供(260)至少一個(gè)比較圖像，用于與一個(gè)或多個(gè)參考圖像進(jìn)行比較。
16.如權(quán)利要求15所述的計(jì)算機(jī)程序，還設(shè)計(jì)用于使計(jì)算機(jī)系統(tǒng)將所述至少一個(gè)比較圖像與一個(gè)或多個(gè)參考圖像進(jìn)行比較(270)。
17.如權(quán)利要求15所述的計(jì)算機(jī)程序，還被設(shè)計(jì)用于使計(jì)算機(jī)系統(tǒng)平移和旋轉(zhuǎn)輸入圖像，以提供臉部圖像。
18.如權(quán)利要求15所述的計(jì)算機(jī)程序，還被設(shè)計(jì)用于使計(jì)算機(jī)系統(tǒng)通過(guò)下述方式提供至少一幅比較圖像創(chuàng)建(320)所述至少一個(gè)半臉圖像的鏡象，和將所述鏡象與所述至少一個(gè)半臉圖像結(jié)合(330)，以形成至少一個(gè)比較圖像。
19.如權(quán)利要求15所述的計(jì)算機(jī)程序，其中所述至少一個(gè)半臉圖像包括左臉圖像和右臉圖像，和所述計(jì)算機(jī)程序還被設(shè)計(jì)用于使計(jì)算機(jī)系統(tǒng)通過(guò)以下方式提供至少一個(gè)比較圖像將左臉和右臉圖像的每一個(gè)的特征合并(350)，以形成至少一個(gè)比較圖像。
全文摘要
在臉部識(shí)別算法中，將左和右半臉圖像作為獨(dú)立的部分加以處理。為了實(shí)現(xiàn)與全臉圖像識(shí)別系統(tǒng)的兼容，半臉圖像的鏡象被用來(lái)創(chuàng)建與每一個(gè)左和右半臉圖像對(duì)應(yīng)的全臉圖像。采用傳統(tǒng)的臉部識(shí)別算法，將每個(gè)創(chuàng)建出的全臉圖像與參考全臉圖像進(jìn)行比較。通過(guò)比較每個(gè)左臉圖像和右臉圖像，系統(tǒng)克服了方向性或不均勻的光照所引起的識(shí)別問(wèn)題?？蛇x地，可以基于每個(gè)左和右半臉圖像的特征的混合來(lái)創(chuàng)建合成的全臉圖像，從而濾除掉光照的變化。
文檔編號(hào)G06K9/00GK1659578SQ03812740
公開日2005年8月24日 申請(qǐng)日期2003年5月19日 優(yōu)先權(quán)日2002年6月3日
發(fā)明者S·古特塔, V·菲洛明, M·特拉科維 申請(qǐng)人:皇家飛利浦電子股份有限公司