人臉特征提取方法、設(shè)備和計(jì)算機(jī)程序產(chǎn)品的制作方法
【專利摘要】本發(fā)明提供了一種用于從視頻圖像序列獲得人臉特征向量的方法，包括：檢測所述視頻序列的多個(gè)圖像幀中的同一人臉圖像；將所檢測的人臉圖像分成具有預(yù)定尺寸的多個(gè)局部小片，其中每個(gè)局部小片都圍繞一個(gè)人臉特征點(diǎn)或者接近一個(gè)人臉特征點(diǎn)；確定所述視頻序列的多個(gè)圖像幀中的同一人臉圖像的各個(gè)局部小片之間的對應(yīng)關(guān)系；以及使用從具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征向量分量形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量。此外，本發(fā)明還提供了一種用于從視頻圖像序列獲得人臉特征向量的設(shè)備和相應(yīng)的計(jì)算機(jī)程序產(chǎn)品。
【專利說明】人臉特征提取方法、設(shè)備和計(jì)算機(jī)程序產(chǎn)品
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明總體上人臉識別，更具體地涉及基于視頻序列的人臉識別。
【背景技術(shù)】
[0002]隨著具有拍照和視頻攝制功能的智能電話和電子設(shè)備的廣泛應(yīng)用，越來越多的照 相機(jī)應(yīng)用程序和基于云計(jì)算的服務(wù)需要基于從照相機(jī)上的視頻片斷或在線實(shí)時(shí)獲取現(xiàn)場 視頻的人臉識別進(jìn)行的面部元數(shù)據(jù)提取。例如，以便將人臉識別用于對電子設(shè)備的訪問操 作的安全性操作。
[0003]但是，直接從視頻中進(jìn)行人臉識別相對于基于靜止圖像的人臉識別也存在的挑 戰(zhàn)，這是因?yàn)樵谝曨l中經(jīng)常會出現(xiàn)幀模糊和低分辨率的情況，在這種情況下，不可避免地造 成出現(xiàn)大的識別誤差的情況。
[0004]就目前為止，基于視頻序列的人臉識別主要有以下三種方式。
[0005]1.圖像層融合(fusion)
[0006]圖像層融合是直接在采集到的原始圖像上進(jìn)行的融合。圖像層融合一般采用集中 式融合體系進(jìn)行融合處理過程。這是低層次的融合，如通過對包含若干像素的模糊圖像進(jìn) 行圖像處理來確認(rèn)目標(biāo)屬性的過程就屬于圖像層融合。
[0007]對于人臉識別來說,具體可以采用圖像超分辨率(superresolution)算法來實(shí)現(xiàn) 對人臉圖像的重建，超分辨率算法是增強(qiáng)圖像或視頻分辨率的技術(shù)，它的目的是要使得輸 出的圖像或視頻的分辨率比任意一幅輸入的圖像或輸入視頻的任意一幀的分辨率都要高。 這里的“提高分辨率”意味著已有內(nèi)容更加清晰或者用戶能看到原來沒有的細(xì)節(jié)。在獲取高 質(zhì)量的圖像或視頻比較困難或者代價(jià)比較昂貴的時(shí)候，使用超分辨率算法是很有必要的。 圖像超分辨率重建的過程可一般可分為三個(gè)步驟進(jìn)行:
[0008](I)預(yù)處理，如去噪，剪切；
[0009](2)配準(zhǔn)，估計(jì)低分辨率序列之間的運(yùn)動矢量，和
[0010](3)重建，融合多幀低分辨率圖像的信息。
[0011]對于圖像的超分辨率重建過程通常需要進(jìn)行三維建模，從而造成繁重的計(jì)算工作量。
[0012]此外，還存在專門針對模糊的原因?qū)D像進(jìn)行去模糊(de-blur)進(jìn)而恢復(fù)圖像的 方法，諸如運(yùn)動模糊的恢復(fù)和散焦的恢復(fù)等。其主要目的就是生成一幅清晰的圖片以便進(jìn) 行識別和判斷等工作。
[0013]但就目前來說，人臉識別的圖像層融合主要用于外觀檢查，并且不是十分靈活，對 環(huán)境(例如噪聲)和失準(zhǔn)等非常敏感。
[0014]2.特征層融合
[0015]特征層融合主要是從視頻圖像的每幀中進(jìn)行人臉局部特征提取，由于同一類樣本 在空間中有一定的分布，因此可以采用圖像組子空間(共有子空間)和流形學(xué)習(xí)進(jìn)行對所 述樣本的特征空間進(jìn)行降維，然后將降維的樣本特征空間與登錄的樣本特征空間進(jìn)行匹配，以進(jìn)行人臉的識別。
[0016]此類方法中，人臉的一個(gè)特征向量中的局部特征都是來自于同一個(gè)幀，其沒有打破幀的約束。
[0017]3.分類器層融合
[0018]所述分類器層融合主要根據(jù)對象的尺度變化，姿態(tài)變化以及圖像特征信息，分別構(gòu)建多尺度目標(biāo)分類器、姿態(tài)判別器，并估計(jì)目標(biāo)識別結(jié)果可信度、相鄰幀姿態(tài)變化的權(quán)重以及目標(biāo)尺度權(quán)重；將每一幀的識別結(jié)果與數(shù)據(jù)庫中的圖像樣本進(jìn)行比較來為每個(gè)幀打分。然后根據(jù)每個(gè)幀的分?jǐn)?shù)進(jìn)行目標(biāo)圖像的融合。但是，分類器層識別主要依賴于基于單個(gè)幀的分類器并且基于每個(gè)幀的分?jǐn)?shù)進(jìn)行判決，因此仍然存在由于特征提取不全面導(dǎo)致的分類不準(zhǔn)確的缺點(diǎn)，而且在復(fù)雜的動態(tài)環(huán)境中，還很少有適合的分類器算法實(shí)現(xiàn)動態(tài)目標(biāo)的識別。
[0019]因此，存在從視頻序列快速、準(zhǔn)確以及穩(wěn)健地識別人臉圖像的需求。

【發(fā)明內(nèi)容】

[0020]本發(fā)明通過提供一種新穎的人臉局部特征提取方法來解決上述問題和其它問題。根據(jù)本發(fā)明，在視頻序列的人臉跟蹤過程中，獲得屬于同一人的一組臉部圖像，并且使用臉部點(diǎn)追蹤技術(shù)獲得臉部圖像的各個(gè)臉部點(diǎn)之間的對應(yīng)關(guān)系。從臉部圖像的各個(gè)臉部點(diǎn)提取人臉局部臉特征向量分量并且基于對人臉圖像的分析將所提取的人臉局部特征向量分量進(jìn)行融合以得到人臉局部特征向量。接著將所得到的人臉局部特征向量組合成描述整個(gè)人臉的人臉全局特征向量以進(jìn)行人臉的識別。
[0021]根據(jù)本發(fā)明的一個(gè)方面，提供一種方法，包括:
[0022]檢測所述視頻序列的多個(gè)圖像幀中的同一人臉圖像；
[0023]將所檢測的人臉圖像分成具有預(yù)定尺寸的多個(gè)局部小片，其中每個(gè)局部小片都圍繞一個(gè)人臉特征點(diǎn)或者接近一個(gè)人臉特征點(diǎn)；
[0024]確定所述視頻序列的多個(gè)圖像幀中的同一人臉圖像的各個(gè)局部小片之間的對應(yīng)關(guān)系；以及
[0025]使用從具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征向量分量形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量。
[0026]根據(jù)本發(fā)明的另一方面，提供一種用于從視頻圖像序列獲得人臉特征向量的設(shè)備，包括:
[0027]人臉檢測器，配置用于檢測所述視頻序列的多個(gè)圖像幀中的同一人臉圖像；
[0028]臉部點(diǎn)定位器，配置用于將所檢測的人臉圖像分成具有預(yù)定尺寸的多個(gè)局部小片，其中每個(gè)局部小片都圍繞一個(gè)人臉特征點(diǎn)或者接近一個(gè)人臉特征點(diǎn)；
[0029]人臉跟蹤器，配置用于確定所述視頻序列的多個(gè)圖像幀中的同一人臉圖像的各個(gè)局部小片之間的對應(yīng)關(guān)系；以及
[0030]人臉局部特征向量生成器，配置用于使用從具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征向量分量形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量。
[0031]根據(jù)本發(fā)明的另一方面，提供一種計(jì)算機(jī)程序產(chǎn)品，包括具有存儲在其中的可執(zhí)行計(jì)算機(jī)可讀程序代碼指令的至少一個(gè)計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀程序代碼指令包括:
[0032]配置用于檢測所述視頻序列的多個(gè)圖像幀中的同一人臉圖像的第一程序代碼指 令；
[0033]配置用于將所檢測的人臉圖像分成具有預(yù)定尺寸的多個(gè)局部小片的第二程序代 碼指令，其中每個(gè)局部小片都圍繞一個(gè)人臉特征點(diǎn)或者接近一個(gè)人臉特征點(diǎn)；
[0034]配置用于確定所述視頻序列的多個(gè)圖像幀中的同一人臉圖像的各個(gè)局部小片之 間的對應(yīng)關(guān)系的第三程序代碼指令；以及
[0035]配置用于使用從具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征向量分 量形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量的第四程序代碼指令。
[0036]根據(jù)本發(fā)明的另一方面，提供一種設(shè)備，包括:
[0037]用于檢測所述視頻序列的多個(gè)圖像幀中的同一人臉圖像的裝置；
[0038]用于將所檢測的人臉圖像分成具有預(yù)定尺寸的多個(gè)局部小片的裝置，其中每個(gè)局 部小片都圍繞一個(gè)人臉特征點(diǎn)或者接近一個(gè)人臉特征點(diǎn)；
[0039]用于確定所述視頻序列的多個(gè)圖像幀中的同一人臉圖像的各個(gè)局部小片之間的 對應(yīng)關(guān)系的裝置；以及
[0040]用于使用從具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征向量分量形 成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量的裝置。
[0041]根據(jù)本發(fā)明，融合的一個(gè)或多個(gè)人臉局部特征向量分量可以來自于不同幀的人臉 局部特征向量分量。而在前述的特征層融合方法中，一個(gè)人臉局部特征向量中的人臉局部 特征向量分量都是來自于同一幀的，其沒有打破幀的約束。
[0042]此外，根據(jù)本發(fā)明，以不同的尺度將所檢測到的人臉區(qū)域依次劃分成具有預(yù)定尺 寸的多個(gè)局部小片，分別從具有相互對應(yīng)關(guān)系的這些局部小片提取人臉局部特征向量分量 并且將其組合在一起形成表示各個(gè)局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量，隨后將 在每個(gè)局部小片尺寸下得到的表示各個(gè)局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量進(jìn) 行組合在以形成描述整個(gè)人臉的人臉全局特征向量以用來進(jìn)行人臉的識別。此外，根據(jù)本 發(fā)明，還可以將在不同尺度下所得到的所有人臉全局特征向量進(jìn)行組合以形成人臉全局特 征向量組以便進(jìn)行人臉識別。通過將在不同尺度下所得到的所有人臉全局特征向量進(jìn)行組 合以形成人臉全局特征向量組，其最終獲得的多個(gè)人臉全局特征向量對于人臉的姿態(tài)偏移 和環(huán)境的影響更為魯棒。
【專利附圖】

【附圖說明】
[0043]因此已經(jīng)對本發(fā)明進(jìn)行了一般性的描述，現(xiàn)在將對附圖進(jìn)行參考，該附圖未必按 比例繪制，并且在附圖中:
[0044]圖1是示出本發(fā)明的基本原理的示意圖；
[0045]圖2是示出了根據(jù)本發(fā)明示例性實(shí)施例的用于生成人臉局部特征向量的方法的 流程圖；
[0046]圖3是示出了根據(jù)本發(fā)明的示例性實(shí)施例的視頻序列的相鄰幀的人臉區(qū)域的各 個(gè)小片之間的對應(yīng)關(guān)系的不意圖；
[0047]圖4是示出了根據(jù)本發(fā)明的示例性實(shí)施例的將人臉區(qū)域分成具有不同尺寸的局部小片的不意圖；
[0048]圖5是示出了根據(jù)本發(fā)明示例性實(shí)施例的配置用于生成人臉局部特征向量的設(shè)備的框圖；以及
[0049]圖6是示出了根據(jù)本發(fā)明示例性實(shí)施例的用于生成人臉局部特征向量的設(shè)備的示意圖。
[0050]在附圖中，相同或?qū)?yīng)的標(biāo)號表示相同或?qū)?yīng)的部分。并且，附圖中示出的組件、部件、元件的數(shù)量僅用于舉例說明，而非限制。
【具體實(shí)施方式】
[0051]參照圖1，其概括性地示出了本發(fā)明的基本原理。從左至右的四幅圖表示一個(gè)視頻序列中的四幀(第i幀到第i+3幀)圖像，從其可以看出同一個(gè)人相對于攝像機(jī)鏡頭從遠(yuǎn)到近的變化。根據(jù)本發(fā)明，首先，針對每一幀圖像進(jìn)行人臉區(qū)域的檢測。隨后，將所檢測的人臉區(qū)域分成具有預(yù)定尺寸的多個(gè)局部小片，如圖1中的每幅人臉區(qū)域上的柵格所示。接著，使用光流法確定多個(gè)人臉區(qū)域的各個(gè)小片之間的對應(yīng)關(guān)系，具體地，這可以通過使用KLT來實(shí)現(xiàn)并且本領(lǐng)域的技術(shù)人員可以例如從Jianbo Shi and Carlo Tomasi的“Good features to track" , Proc.1EEE Comput.Soc.Conf.Comput.Vision and PatternRecogn.，pages 593-600，1994獲知使用KLT來獲得視頻序列的前后幀之間的同一臉部點(diǎn)之間對應(yīng)關(guān)系的方法。參照圖1，從第i幀圖像的人臉區(qū)域的每個(gè)小片提取人臉局部特征向量分量構(gòu)成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量。隨后，依次從后續(xù)的圖像幀中與第i幀圖像的該局部小片具有對應(yīng)的關(guān)系的局部小片提取人臉局部特征向量分量并且對其進(jìn)行評價(jià)(評價(jià)其被遮擋程度等)，以便使用從后續(xù)的圖像幀中與第i幀圖像的該局部小片具有對應(yīng)的關(guān)系的局部小片提取的人臉局部特征向量分量來更新表示此局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量。最后，將得到的人臉局部特征向量組合成描述整個(gè)人臉的人臉全局特征向量，基于模板的臉部識別方法諸如主元分析(PCA) +線性鑒別分析(LDA)來與人臉庫中的人臉特征向量進(jìn)行比較以進(jìn)行人臉的識別。本領(lǐng)域的技術(shù)人員例如可可以從 W.Zhao, R.Chellappa, A.Krishnaswamy, Discriminant Analysis ofPrincipal Components for Face Recognition, Proc.0f the 3rd IEEE InternationalConference on Face and Gesture Recognition,FG; 98,14_16April 1998,Nara,Japan,pp.336-341和A.M.Martinez,A.C.Kak,PCA versus LDA, IEEE Trans, on Pattern Analysisand Machine Intelligence, Vol.23，N0.2,2001, pp.228-233 中獲知上述用于實(shí)現(xiàn)人臉識別的方法。
[0052]圖2示出了根據(jù)本發(fā)明的示例性實(shí)施例的方法的流程圖。應(yīng)該理解，流程圖的每個(gè)塊、步驟或操作，和/或流程圖中的塊、步驟或操作的組合可以由各種裝置實(shí)現(xiàn)。用于實(shí)現(xiàn)流程圖的塊、步驟或操作，和/或流程圖中的塊、步驟或操作的組合的裝置可以包括硬件、固件和/或軟件，該軟件包括一個(gè)或多個(gè)計(jì)算機(jī)程序代碼指令、程序指令、或可執(zhí)行計(jì)算機(jī)可讀程序代碼指令。在一個(gè)示例性實(shí)施例中，一個(gè)或多個(gè)這里所描述的過程可以由程序代碼指令實(shí)現(xiàn)。在這點(diǎn)上，實(shí)現(xiàn)這里描述的過程的程序代碼指令可以由設(shè)備的存儲器設(shè)備存儲或在其上存儲，并且由處理器執(zhí)行。應(yīng)該理解，任何這樣的程序代碼指令可以被加載到計(jì)算機(jī)或其他可編程設(shè)備上以生產(chǎn)機(jī)器，以便在計(jì)算機(jī)上或其他可編程設(shè)備上執(zhí)行的指令創(chuàng)建用于實(shí)現(xiàn)在流程圖的塊、步驟或操作中指定的功能的裝置。這些程序代碼指令也可 以存儲在計(jì)算機(jī)可讀存儲介質(zhì)中，其可以弓丨導(dǎo)計(jì)算機(jī)、處理器或其他可編程設(shè)備以特定方 式工作，以便存儲在計(jì)算機(jī)可讀存儲介質(zhì)中的指令生產(chǎn)制品，該指令包括實(shí)現(xiàn)在流程圖的 塊、步驟或操作中指定的功能的指令裝置。程序代碼指令也可以加載到計(jì)算機(jī)、處理器或其 他可編程設(shè)備上以使得一系列操作步驟得以在計(jì)算機(jī)、處理器或其他可編程設(shè)備上執(zhí)行或 由其執(zhí)行，從而生產(chǎn)計(jì)算機(jī)實(shí)現(xiàn)的過程，以便在計(jì)算機(jī)、處理器或其他可編程設(shè)備上執(zhí)行的 指令提供用于實(shí)現(xiàn)在流程圖的塊、步驟或操作中指定的功能的步驟。
[0053]因而，流程圖的塊、步驟或操作支持用于執(zhí)行指定功能的裝置的組合、用于執(zhí)行指 定功能的步驟的組合以及用于執(zhí)行指定功能的程序代碼指令裝置。還將會理解，流程圖的 一個(gè)或多個(gè)塊、步驟或操作，和流程圖中塊、步驟或操作的組合可以由專用的基于硬件的計(jì) 算機(jī)系統(tǒng)或?qū)Ｓ糜布统绦虼a指令實(shí)現(xiàn)，其中該計(jì)算機(jī)系統(tǒng)執(zhí)行指定功能或步驟。
[0054]參照圖2，在步驟S210處，檢測所述視頻序列的多個(gè)圖像幀中的同一人臉圖像。所 述視頻序列中可能存在多幀具有同一人臉的圖像，當(dāng)然在每幀圖像中還會具有除人臉之外 的其他圖像。為了實(shí)現(xiàn)本發(fā)明的方法，首先需要檢測該多幀圖像中的同一人臉圖像，這可以 利用人檢測器來完成。作為一個(gè)示例，可以通過如下操作來獲得人臉檢測器，在離線訓(xùn)練階 段，收集上百萬個(gè)乃至更多的標(biāo)準(zhǔn)化(例如20X20像素)的人臉圖像數(shù)據(jù)和非人臉圖像數(shù) 據(jù)。基于這些被標(biāo)準(zhǔn)化的訓(xùn)練數(shù)據(jù)，從每個(gè)像素周圍提取一個(gè)或多個(gè)LBP特征，隨后從所有 像素提取的這些特征可以被用來構(gòu)建一個(gè)LBP特征池?；诿總€(gè)LBP特征，使用判決樹構(gòu) 建一個(gè)弱的分類器。通過使用自適應(yīng)提升(AdaBoosting)學(xué)習(xí)策略，在每一次迭代中選擇 最佳的弱分類器。最后就基于許多弱分類器的加權(quán)組合構(gòu)建具有高人臉檢測率和低錯誤警 報(bào)率的強(qiáng)分類器。此最終獲得的強(qiáng)的分類器可以被用作本發(fā)明的人臉檢測器。所述人臉檢 測器可以檢測人臉的大致位置(rough position)、尺度(scale)以及傾斜角(roll angle) 和俯仰角(pitch angle)。
[0055]在步驟S220處，將所檢測的人臉圖像分成具有預(yù)定尺寸的多個(gè)局部小片，其中每 個(gè)局部小片都圍繞一個(gè)人臉特征點(diǎn)或者接近一個(gè)人臉特征點(diǎn)。
[0056]人臉特征點(diǎn)(諸如眼睛中心、眼角和嘴角等等)的位置可以使用臉部點(diǎn)(facial point)定位器來在所檢測的臉部圖像上精確地定位。根據(jù)本發(fā)明的一個(gè)實(shí)施例，采用局部 二值模式(LBP)特征+自適應(yīng)提升(AdaBoosting)分類器來實(shí)現(xiàn)人臉圖像檢測和臉部點(diǎn)定 位。本領(lǐng)域的技術(shù)人員可以例如從 Ojala & Maenpaa(2002)Multiresolution gray-scale and rotation invariant texture classification with Local binary Patterns, IEEE PAMI 24(7):971-987中得到人臉檢測和臉部點(diǎn)定位的方法。臉部點(diǎn)定位器可以通過使用 對應(yīng)的訓(xùn)練樣本以與人臉檢測器相似的方式構(gòu)建。具體地，在每次對人臉區(qū)域進(jìn)行縮放時(shí)， 通過訓(xùn)練的分類器評估具有相同分辨率的訓(xùn)練數(shù)據(jù)的所有子窗口，根據(jù)子窗口的位置和置 信度等將所有積極響應(yīng)融合到一起以輸出最終的人臉檢測結(jié)果，由此實(shí)現(xiàn)對臉部點(diǎn)的定位 過程。
[0057]具體地，S220可以通過以下步驟來實(shí)現(xiàn):在檢測所述視頻序列的多個(gè)圖像幀中的 同一人臉圖像并且完成主要臉部點(diǎn)的定位后，臉部區(qū)域被剪切并且被標(biāo)準(zhǔn)化縮放到預(yù)定的 分辨率，并且此時(shí)可以如圖1和圖4所示的將柵格(在圖1中顯示為5X5柵格，在圖4中 顯示為6 X 6柵格、8 X 8柵格和16 X 16柵格)放置在人臉區(qū)域上，其中每個(gè)柵格區(qū)域(其被稱為一個(gè)局部小片(patch))都圍繞一個(gè)臉部點(diǎn)或者接近一個(gè)臉部點(diǎn)。[0058]接著，在步驟S230，確定所述視頻序列的多個(gè)圖像幀中的同一人臉圖像的各個(gè)局部小片之間的對應(yīng)關(guān)系。
[0059]參照圖3，其示出了視頻序列的相鄰幀的人臉區(qū)域的各個(gè)局部小片之間的對應(yīng)關(guān)系。圖3示出了視頻序列的第i幀圖像和其后的第i+Ι幀圖像，雖然在圖3中只是示出相鄰兩幀圖像，但是本發(fā)明的方法不限于僅兩幀圖像而是可以被應(yīng)用到連續(xù)的多幀圖像上。
[0060]根據(jù)本發(fā)明的實(shí)施例，如上參照圖1所描述的那樣，可以使用諸如光流場的方法獲得前后幀之間的同一臉部點(diǎn)(即，每個(gè)小片)之間對應(yīng)關(guān)系。
[0061]在完成步驟S230的操作后，所述操作進(jìn)入到步驟S240，在此處，使用從具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征向量分量形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量。具體地，這可以通過以下步驟來實(shí)現(xiàn):首先，從不同圖像幀中的具有相互對應(yīng)關(guān)系的各個(gè)小片提取人臉局部特征向量分量。然后，判斷不同圖像幀中的各個(gè)人臉的姿態(tài)，這可以通過提取LBP特征并使用典型相關(guān)分析(Canonical CorrelationAnalysis)回歸來根據(jù)LBP預(yù)測姿態(tài)角來實(shí)現(xiàn)。在判斷了各個(gè)圖像幀中的每個(gè)人臉的姿態(tài)后，使用從各個(gè)小片提取的人臉局部特征向量分量來形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量，這可以通過下式來表示:
[0062]Vp — (Vij p, Vi+1,p，…，Vi+n, p}，
[0063]其中Vp為表示各個(gè)小片P所對應(yīng)的臉部點(diǎn)的人臉局部特征向量，Vi, P表示從第i幀的小片P提取的人臉局部特征向量分量。
[0064]根據(jù)本發(fā)明的一個(gè)實(shí)施例，步驟S240可以具體包括以下步驟:識別所述視頻序列的多個(gè)圖像幀中的同一人臉的不同姿態(tài)；根據(jù)所識別的多個(gè)圖像幀中的同一人臉的不同姿態(tài)，僅從未被遮擋的具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取人臉局部特征向量分量；以及將所述從未被遮擋的具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征向量分量組合以形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量。
[0065]具體地參照圖3，通過對人臉姿態(tài)的判斷，可以確定第i幀圖像中的人臉偏向右側(cè)而第i+Ι幀圖像中的人臉為基本上正向。此時(shí)，可以確定在第i幀圖像中，人臉右側(cè)區(qū)域被遮擋。據(jù)此可以考慮使用從第i+Ι幀圖像的右側(cè)區(qū)域中的相應(yīng)小片提取人臉局部特征向量分量作為表示該小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量的一部分而不從第i幀圖像的右側(cè)區(qū)域中的相應(yīng)小片提取人臉局部特征向量分量，這是因?yàn)榇藭r(shí)第i幀圖像中人臉右側(cè)區(qū)域被遮擋了。具體地，在此處用P^t表示第i幀圖像中的人臉區(qū)域被分成的各個(gè)小片，其中j表示小片所處的行數(shù)(由上至下)，而k表示小片所處的列數(shù)(由左至右)。相應(yīng)地，用P’ P表示第i+幀中的與每個(gè)Pp具有對應(yīng)關(guān)系的各個(gè)小片。例如，對于第i幀圖像中的小片Pu，由于通過對人臉姿態(tài)的判斷可以確定該小片所對應(yīng)的人臉區(qū)域可能被遮擋，因此此時(shí)就從第i+Ι幀圖像的與之有對應(yīng)關(guān)系的小片P’ ia提取人臉局部特征向量分量作為表示此小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量的一部分。類似地，這也適用于那些同樣被遮擋小片P2YP3YP1VP2i2等。雖然在圖3中只是示出了接連的兩幀圖像，但是顯然對于后續(xù)的第i+2、i+3...圖像，如果與Plil具有對應(yīng)關(guān)系的小片P” U1，P”’ u…中的任何一個(gè)被判斷為被遮擋，則不從該小片提取人臉局部特征向量分量。相反，如果判斷出這些小片P\i，P”’u…中的任何一個(gè)沒有被遮擋，則可以從該小片提取人臉局部特征向量分量作為對應(yīng)于該臉部點(diǎn)的特征向量組的一部分。
[0066]根據(jù)本發(fā)明的此實(shí)施例的優(yōu)點(diǎn)在于由于舍棄了從被遮擋的局部小片提取人臉局部特征向量分量的步驟，因此避免了從該被遮擋的局部小片提取的人臉局部特征向量分量對最終形成的人臉局部特征向量帶來過大的背景噪聲而影響人臉識別的準(zhǔn)確性的問題。此外，由于沒有從被遮擋的局部小片提取的人臉局部特征向量分量，因此減小了提取人臉特征局部向量分量的工作量，縮短了人臉局部特征向量提取的時(shí)間。
[0067]根據(jù)本發(fā)明的另一實(shí)施例，步驟S240可以具體包括以下步驟:識別所述視頻序列的多個(gè)圖像幀中的同一人臉的不同姿態(tài)；以及根據(jù)所識別的不同圖像幀中的同一人臉的不同姿態(tài)，將從具有相互對應(yīng)關(guān)系的每一個(gè)局部小片提取的人臉局部特征向量分量加權(quán)組合以形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量。
[0068]具體地還參照圖3，此時(shí)，盡管已經(jīng)判斷出第i幀圖像中的小片Pu所對應(yīng)的人臉區(qū)域被遮擋，但是仍然從該小片提取人臉局部特征向量分量。同樣地，還從第i+1幀圖像的與Pu具有對應(yīng)關(guān)系的小片P’ u提取人臉局部特征向量分量。由于此時(shí)已經(jīng)判斷出第i 幀圖像的小片Pu被遮擋，因此在形成表示該小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量時(shí)考慮為其分配一個(gè)較小的權(quán)重以便其不會給最后形成的人臉局部特征向量帶來過大的背景噪聲分量，而對于從第i+1幀中的小片P’ u，由于已經(jīng)判斷出第i+1幀圖像是基本上正向的，因此可以為其分配一個(gè)相對較大的權(quán)重，因?yàn)槠洳粫o所形成的局部特征向量帶來很大的背景噪聲分量。同樣地，雖然在圖3中只是示出了接連的兩幀圖像，但是顯然對于后續(xù)的第i+2、i+3…圖像，也適用同樣的方法。此時(shí)，可以將得到的人臉局部特征向量表示為
[0069]Vp — Ia1VijP, a2Vi+l,PJ...，anvi+n,p}，
[0070]其中ai,a2,…，曰11表不分別給從每一幀的具有對應(yīng)關(guān)系的小片提取的人臉局部特征向量分量的權(quán)重。
[0071]根據(jù)本發(fā)明的該另一實(shí)施例的優(yōu)點(diǎn)在于通過從具有相互對應(yīng)關(guān)系的每個(gè)局部小片提取人臉局部特征向量分量并且將其加權(quán)組合以形成人臉局部特征向量，所獲得的人臉局部 特征向量相對于僅從未被遮擋的局部小片提取人臉局部特征向量分量而構(gòu)成的人臉局部特征向量包括了更多的人臉局部特征向量分量，這就必然提供了后續(xù)進(jìn)行的人臉識別的準(zhǔn)確性。同時(shí)，通過基于人臉的姿態(tài)為從具有相關(guān)對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征向量分量分配不同的權(quán)重，使得從每個(gè)局部小片所提取的人臉局部特征向量分量在隨后的人臉識別過程中發(fā)揮不同的作用，這在一方面限制從被遮擋的局部小片提取 的人臉局部特征向量分量為形成的人臉局部特征向量帶來過大的背景噪聲的同時(shí)，還在另一方面進(jìn)一步提高了人臉識別的準(zhǔn)確性。
[0072]根據(jù)本發(fā)明的實(shí)施例，還包括改變所述多個(gè)局部小片的尺寸的步驟。具體地，這可以通過改變?nèi)四槄^(qū)域上的柵格的尺寸來實(shí)現(xiàn)，如圖4所示。
[0073]圖4是示出了根據(jù)本發(fā)明的實(shí)施例的將人臉區(qū)域分成具有不同尺寸的局部小片的示意圖。圖4中示出了同一幀圖像，其中。第一幅圖像(從左至右)示出標(biāo)準(zhǔn)的64X64 像素大小的人臉圖像，其是如前所述的通過對圖像中的人臉區(qū)域進(jìn)行檢測和定位后獲得的。第二幅圖顯示將第一副圖的人臉圖像其分成6X6柵格片，第三幅圖顯示將第一副圖的人臉圖像其分成8X8柵格片，并且最后一幅圖顯示將第一副圖的人臉圖像其分成16X 16 柵格片。其中柵格片中的每一片都圍繞一個(gè)臉部點(diǎn)或者接近一個(gè)臉部點(diǎn)。[0074]在修改了所述多個(gè)局部小片的尺寸后，重復(fù)執(zhí)行步驟S230-S240以從具有相互對應(yīng)關(guān)系的各個(gè)改變尺寸的局部小片提取人臉局部特征局部向量分量形成表示該改變尺寸的局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量。
[0075]具體地，參照圖4，基于如第二幅圖像至第四幅圖像所示的對于人臉區(qū)域的不同尺度的劃分，都執(zhí)行參照步驟S230-S240描述的人臉局部特征向量形成過程。隨后將所得到的所有人臉局部特征都組合在一起以形成描述整個(gè)人臉的人臉全局特征向量。然后使用得到的人臉全局特征向量進(jìn)行人臉的識別。
[0076]此實(shí)施例的優(yōu)點(diǎn)在于在具體操作中，例如可以首先將所定位的人臉區(qū)域分成6X6柵格，此時(shí)使用參照步驟S230-S240描述的方法進(jìn)行人臉局部特征向量分量的提取而得到人臉局部特征向量，然后將所得到的人臉局部特征向量組合成人臉全局特征向量并且將該人臉全局特征向量與人臉庫中的人臉特征向量進(jìn)行比較以進(jìn)行人臉識別。如果此時(shí)可以識別出人臉，就可以不必進(jìn)行后續(xù)的繼續(xù)劃分人臉區(qū)域的步驟。這樣就可以節(jié)省計(jì)算資源從而提高識別速度，這是因?yàn)閷⑷四槄^(qū)域分成6 X 6柵格與將人臉區(qū)域分成8 X 8柵格相比，顯然可以減小提取小片所對應(yīng)的人臉局部特征向量分量的工作量。
[0077]雖然將人臉區(qū)域分成較少的柵格片進(jìn)行人臉局部特征向量分量的提取可以提高人臉局部特征向量分量提取的速度，但是這也同樣帶來識別不準(zhǔn)確的問題。這是因?yàn)檩^大的柵格可能對于臉部點(diǎn)的變化是非常敏感的。因此，根據(jù)本發(fā)明，在將人臉區(qū)域分成6X6柵格片以進(jìn)行人臉局部特征向量分量的提取后，進(jìn)一步將人臉區(qū)域分成8 X 8柵格片(第二幅圖像)，成16X 16柵格片(第三幅圖像)…以繼續(xù)進(jìn)行人臉局部特征向量分量的提取而得到相應(yīng)的人臉局部特征向量，然后將針對不同劃分下所分別獲得的人臉局部特征向量組合成描述整個(gè)人臉的人臉全局特征向量。最后，將針對不同劃分所得到的所有人臉全局特征向量組合在一起以形成人臉全局特征向量組以便用于隨后的人臉識別操作。
[0078]實(shí)踐證明，從對人臉區(qū)域的這種不同尺度劃分的小片提取的人臉局部特征向量分量已經(jīng)被證明是對于人臉姿勢和表情變化 是魯棒的(對此的可參見BMVC 2009的“SIFTfeature matching for face recognition，，)。
[0079]根據(jù)本發(fā)明的一個(gè)實(shí)施例，在步驟S240后，還可以包括將所得到的表示每個(gè)局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量進(jìn)行組合以形成人臉全局特征向量的步驟。所得到的人臉全局特征向量由此包括表示所有局部小片所對應(yīng)的所有臉部點(diǎn)的人臉局部特征向量，并且隨后可以使用所得到的該人臉全局特征向量與人臉庫中的人臉特征向量進(jìn)行比較以進(jìn)行人臉的識別。類似地，在改變了每個(gè)局部小片的尺寸之后，還可以將所得到的表示每個(gè)改變尺寸的局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量進(jìn)行組合以形成人臉全局特征向量，由此該所得到的人臉全局特征向量包括表示所有改變尺寸的局部小片所對應(yīng)的所有臉部點(diǎn)的人臉局部特征向量，并且隨后可以使用所得到的該人臉全局特征向量與人臉庫中的人臉特征向量進(jìn)行比較以進(jìn)行人臉的識別。
[0080]根據(jù)本發(fā)明的另一實(shí)施例，還包括將在不同局部小片尺寸下所獲得的人臉全局特征向量進(jìn)行組合以形成人臉全局特征向量組的步驟。通過此步驟所得到的人臉全局特征向量組包括多個(gè)人臉全局特征向量，其中每個(gè)人臉全局特征向量包括表示所有具有一定尺寸的局部小片所對應(yīng)的所有臉部點(diǎn)的人臉局部特征向量。通過此操作得到的人臉全局特征向量組由于包括從具有相互對應(yīng)關(guān)系的不同尺寸的局部小片提取的人臉局部特征向量組合而成的多個(gè)人臉全局特征向量，因此其對于人臉姿勢和表情變化是魯棒的，由此可以在與 人臉庫中的人臉特征向量進(jìn)行比較以進(jìn)行人臉的識別的過程中發(fā)揮更好的效果。
[0081]圖5示出了可以提供相關(guān)性指示的示例性設(shè)備500。根據(jù)本發(fā)明各種示例性實(shí)施 例，設(shè)備500可以實(shí)現(xiàn)為任何類型的有線或無線通信設(shè)備，或作為這些設(shè)備的組件而被包 括，該有線或無線通信設(shè)備諸如移動終端、諸如基站的接入點(diǎn)或上述項(xiàng)的任何組合，其中移 動終端諸如移動電話、便攜式數(shù)碼助理(PDA)、尋呼機(jī)、移動電視、游戲設(shè)備、移動計(jì)算機(jī)、膝 上型計(jì)算機(jī)、照相機(jī)、錄像機(jī)、音頻/視頻播放器、收音機(jī)和/或全球定位系統(tǒng)(GPS)設(shè)備、 諸如基站之類的接入點(diǎn)、或者前述設(shè)備的任意組合等等。此外，設(shè)備500可以配置用于如這 里所描述的那樣實(shí)現(xiàn)本發(fā)明的各種方面:例如包括本發(fā)明的各種示例性方法，其中這些方 法可以借助于硬件或軟件配置的處理器、計(jì)算機(jī)可讀介質(zhì)等來實(shí)現(xiàn)。
[0082]設(shè)備500可以包括處理器505、存儲器設(shè)備510和通信接口 520或與這些組件通 信。在一些實(shí)施例中，設(shè)備500也可以包括用戶接口 515。處理器505可以實(shí)現(xiàn)為各種裝 置，這些裝置例如包括微處理器、協(xié)處理器、控制器、或各種其他處理設(shè)備，包括集成電路， 例如，ASIC(專用集成電路)、FPGA(現(xiàn)場可編程門陣列)或硬件加速器。在示例性實(shí)施例 中，處理器505可以配置用于執(zhí)行存儲在存儲器設(shè)備510中的指令或處理器505可訪問的 指令。處理器505還可以配置用于例如通過控制包括在通信接口 520中的硬件和/或軟件 來促進(jìn)經(jīng)由通信接口 520的通信。
[0083]存儲器設(shè)備510可以是計(jì)算機(jī)可讀存儲介質(zhì)，該存儲介質(zhì)可以包括易失性和/或 非易失性存儲器。例如，存儲器設(shè)備510可以包括隨機(jī)訪問存儲器(RAM)，其包括動態(tài)和/ 或靜態(tài)RAM、片上或片外高速緩存存儲器等。此外，存儲器設(shè)備510可以包括非易失性存儲 器，其可以是嵌入的和/或可移動的，并且例如可以包括只讀存儲器、閃存、磁存儲設(shè)備(例 如，硬盤、軟盤驅(qū)動器、磁帶等)、光盤驅(qū)動器和/或介質(zhì)、非易失性隨機(jī)訪問存儲器(NVRAM) 等。存儲器設(shè)備510可以包括為臨時(shí)存儲數(shù)據(jù)的高速緩存區(qū)域。在這點(diǎn)上，一些或所有的 存儲器設(shè)備510可以包括在處理器505內(nèi)。
[0084]此外，存儲器設(shè)備510可以配置用于存儲信息、數(shù)據(jù)、應(yīng)用、計(jì)算機(jī)可讀程序代碼 指令等，以便使得處理器505和設(shè)備500能夠執(zhí)行根據(jù)本發(fā)明示例性實(shí)施例的各種功能。例 如，存儲器設(shè)備510可以配置用于緩沖用于由處理器505處理的輸入數(shù)據(jù)。另外或作為備 選，存儲器設(shè)備510可以配置用于存儲用于由處理器505執(zhí)行的指令。
[0085]通信接口 520可以是任何以硬件、軟件、或硬件和軟件的組合實(shí)現(xiàn)的任何設(shè)備或 裝置，這些設(shè)備或裝置配置用于接收和/或發(fā)送數(shù)據(jù)來自/去往網(wǎng)絡(luò)和/或與設(shè)備500通 信的任何其他設(shè)備或模塊。在這點(diǎn)上，通信接口 520例如可以包括天線、發(fā)射器、接收器、收 發(fā)器和/或支持硬件，包括用于支持與網(wǎng)絡(luò)525的通信的處理器或軟件，網(wǎng)絡(luò)525可以是任 何類型的有線或無線網(wǎng)絡(luò)。經(jīng)由通信接口 520和網(wǎng)絡(luò)525，設(shè)備500可以與各種其他網(wǎng)絡(luò)實(shí) 體通信。在這點(diǎn)上，網(wǎng)絡(luò)525可以包括接入點(diǎn)。
[0086]通信接口 520可以配置用于提供根據(jù)任何有線或無線通信標(biāo)準(zhǔn)的通信。例如， 通信接口 520可以配置用于根據(jù)以下內(nèi)容的通信:第二代(2G)無線通信協(xié)議IS-136(時(shí) 分多址(TDMA))、GSM(全球移動通信系統(tǒng))、IS-95(碼分多址(CDMA))、第三代(3G)無 線通信協(xié)議、諸如通用移動通信系統(tǒng)(UMTS)、CDMA2000、寬帶CDMA (WCDMA)和時(shí)分同 步CDMA (TD-SCDMA)、3.9代(3.9G)無線通信協(xié)議，諸如演進(jìn)的通用陸地?zé)o線接入網(wǎng)(E-UTRAN)，以及第四代(4G)無線通信協(xié)議、高級國際移動通信(MT-Advanced)協(xié)議、包括LTE-advanced的長期演進(jìn)(LTE)協(xié)議等。此外，通信接口 520可以配置用于提供根據(jù)以下技術(shù)的通信，這些技術(shù)諸如射頻(RF)、紅外(IrDA)或多個(gè)不同無線聯(lián)網(wǎng)絡(luò)技術(shù)中的任意一個(gè)，包括 WLAN 技術(shù)，諸如 IEEE 802.11 (例如，802.1la,802.1lb,802.Hg,802.1ln 等)、無線局域網(wǎng)(WLAN)協(xié)議、諸如IEEE 802.16的全球微波互聯(lián)接入(WiMAX)技術(shù)和/或諸如IEEE 802.15、藍(lán)牙(BT)、超寬帶(UffB)的無線個(gè)域網(wǎng)(WPAN)技術(shù)等。
[0087]用戶接口 515可以與處理器505通信以接收用戶接口 515處的用戶輸入和/或向用戶提供輸出，例如，可聽的、可視的、機(jī)械的或其他輸出指示。用戶接口 515例如可以包括鍵盤、鼠標(biāo)、游戲桿、顯示器(例如，觸摸屏顯示器)、麥克風(fēng)、揚(yáng)聲器、或其他輸入/輸出機(jī)制。在一些示例性實(shí)施例中，諸如當(dāng)設(shè)備500實(shí)現(xiàn)為服務(wù)器時(shí)，用戶接口 515可能有限，或甚至被消除。
[0088]設(shè)備500的人臉檢測器530，臉部點(diǎn)定位器532，人臉跟蹤器534和人臉局部特征向量生成器536可以是以硬件、軟件或硬件和軟件的組合實(shí)現(xiàn)的任何裝置或設(shè)備，諸如實(shí)現(xiàn)軟件指令的處理器505或硬件配置的處理器505，其配置用于執(zhí)行如在此所述的人臉檢測器530，臉部點(diǎn)定位器532，人臉跟蹤器534和人臉局部特征向量生成器536的功能。在示例性實(shí)施例中，處理器505可以包括或控制人臉檢測器530，臉部點(diǎn)定位器532，人臉跟蹤器534和人臉局部特征向量生成器536。在各種示例性實(shí)施例中，人臉檢測器530，臉部點(diǎn)定位器532，人臉跟蹤器534和人臉局部特征向量生成器536可以駐留在不同的設(shè)備上，以便人臉檢測器530，臉部點(diǎn)定位器532，人臉跟蹤器534和人臉局部特征向量生成器536的一些或全部功能可以由第一設(shè)備執(zhí)行，并且人臉檢測器530，臉部點(diǎn)定位器532，人臉跟蹤器534和人臉局部特征向量生成器536的其余功能可以由一個(gè)或多個(gè)其他設(shè)備執(zhí)行。
[0089]設(shè)備500的人臉檢測器530用于檢測視頻序列的多個(gè)圖像幀中的同一人臉圖像。所述視頻序列可以是存儲在存儲器設(shè)備510中的視頻序列，也可以是經(jīng)由用戶接口 515從外部輸入設(shè)備或外部存儲器接收的視頻序列。人臉檢測器530通過參照圖2的步驟S210所述的方式檢測視頻序列的多個(gè)圖像幀中的人臉圖像。
[0090]設(shè)備500的臉部點(diǎn)定位器532用于按照圖2的步驟S220所述的方式將所檢測的人臉圖像分成具有預(yù)定尺寸的多個(gè)局部小片，其中每個(gè)局部小片都圍繞一個(gè)人臉特征點(diǎn)或者接近一個(gè)人臉特征點(diǎn)。具體地，這可以在所檢測的人臉圖像上加?xùn)鸥駚韺?shí)現(xiàn)。
[0091]設(shè)備500的人臉跟蹤器534用于確定所述視頻序列的多個(gè)圖像幀中的同一人臉圖像的各個(gè)局部小片之間的對應(yīng)關(guān)系并且所述設(shè)備500的人臉局部特征向量生成器536用于使用從具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征局部向量分量形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量，如參照圖2的步驟S230所描述的。
[0092]根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述人臉局部特征向量生成器536還配置用于:識別所述視頻序列的多個(gè)圖像幀中的同一人臉的不同姿態(tài)；根據(jù)所識別的多個(gè)圖像幀中的同一人臉的不同姿態(tài)，僅從未被遮擋的具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取人臉局部特征向量分量；以及將所述從未被遮擋的具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征向量分量組合以形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量。
[0093]根據(jù)本發(fā)明的另一實(shí)施例，所述人臉局部特征向量生成器536還配置用于:識別所述視頻序列的多個(gè)圖像幀中的同一人臉的不同姿態(tài)；以及根據(jù)所識別的不同圖像幀中的同一人臉的不同姿態(tài)，將從具有相互對應(yīng)關(guān)系的每一個(gè)局部小片提取的人臉局部特征向量 分量加權(quán)組合以形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量。
[0094]根據(jù)本發(fā)明的實(shí)施例，其中所述臉部點(diǎn)定位器534還配置用于包括改變所述多個(gè) 局部小片的尺寸以獲得表示每個(gè)改變尺寸的局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量。
[0095]根據(jù)本發(fā)明的實(shí)施例，其中所述人臉局部特征向量生成器536還配置用于將所得 到的表示每個(gè)局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量進(jìn)行組合以形成人臉全局特 征向量。
[0096]根據(jù)本發(fā)明的實(shí)施例，其中所述人臉局部特征向量生成器536還配置用于將所得 到的表示每個(gè)改變尺寸的局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量進(jìn)行組合以形成 人臉全局特征向量。
[0097]根據(jù)本發(fā)明的實(shí)施例，其中所述人臉局部特征向量生成器536還配置用于將在不 同局部小片尺寸下所獲得的人臉全局特征向量進(jìn)行組合以形成人臉全局特征向量組。
[0098]根據(jù)本發(fā)明的實(shí)施例，其中所述人臉局部特征向量生成器536還配置用于使用得 到的人臉全局特征向量進(jìn)行人臉的識別。
[0099]根據(jù)本發(fā)明的實(shí)施例，其中所述人臉局部特征向量生成器536還配置用于使用得 到的人臉全局特征向量組進(jìn)行人臉的識別。
[0100]圖6示出了根據(jù)本發(fā)明示例性實(shí)施例的用于生成人臉局部特征向量的設(shè)備600的 示意圖。
[0101]具體地，根據(jù)本發(fā)明的用于生成人臉局部特征向量的設(shè)備包括:用于檢測所述視 頻序列的多個(gè)圖像幀中的同一人臉圖像的裝置610 ;用于將所檢測的人臉圖像分成具有預(yù) 定尺寸的多個(gè)局部小片的裝置620，其中每個(gè)局部小片都圍繞一個(gè)人臉特征點(diǎn)或者接近一 個(gè)人臉特征點(diǎn)；用于確定所述視頻序列的多個(gè)圖像幀中的同一人臉圖像的各個(gè)局部小片之 間的對應(yīng)關(guān)系的裝置630 ;以及用于使用從具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉 局部特征局部向量分量形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量的裝置 640。
[0102]根據(jù)本發(fā)明的一個(gè)實(shí)施例，其中所述用于使用從具有相互對應(yīng)關(guān)系的各個(gè)局部小 片提取的人臉局部特征向量分量形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向 量的裝置640還包括:用于識別所述視頻序列的多個(gè)圖像幀中的同一人臉的不同姿態(tài)的裝 置；用于根據(jù)所識別的多個(gè)圖像幀中的同一人臉的不同姿態(tài)，僅從未被遮擋的具有相互對 應(yīng)關(guān)系的各個(gè)局部小片提取人臉局部特征向量分量的裝置；以及用于將所述從未被遮擋的 具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征向量分量組合以形成表示該局部 小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量的裝置。
[0103]根據(jù)本發(fā)明的另一實(shí)施例，其中所述用于使用從具有相互對應(yīng)關(guān)系的各個(gè)局部小 片提取的人臉局部特征向量分量形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向 量的裝置640還包括:用于識別所述視頻序列的多個(gè)圖像幀中的同一人臉的不同姿態(tài)的裝 置；以及用于根據(jù)所識別的不同圖像幀中的同一人臉的不同姿態(tài)，將從具有相互對應(yīng)關(guān)系 的每一個(gè)局部小片提取的人臉局部特征向量分量加權(quán)組合以形成表示該局部小片所對應(yīng) 的臉部點(diǎn)的人臉局部特征向量的裝置。[0104]根據(jù)本發(fā)明的實(shí)施例，其中將所檢測的人臉圖像分成具有預(yù)定尺寸的多個(gè)局部小 片是通過在所檢測的人臉圖像上加?xùn)鸥駚韺?shí)現(xiàn)的。
[0105]根據(jù)本發(fā)明的實(shí)施例，所述設(shè)備進(jìn)一步包括用于改變所述多個(gè)局部小片的尺寸以 獲得表示每個(gè)改變尺寸的局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量的裝置。
[0106]根據(jù)本發(fā)明的實(shí)施例，所述設(shè)備進(jìn)一步包括用于將所得到的表示每個(gè)局部小片所 對應(yīng)的臉部點(diǎn)的人臉局部特征向量進(jìn)行組合以形成人臉全局特征向量的裝置。
[0107]根據(jù)本發(fā)明的實(shí)施例，所述設(shè)備進(jìn)一步包括用于將所得到的表示每個(gè)改變尺寸的 局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量進(jìn)行組合以形成人臉全局特征向量的裝置。
[0108]根據(jù)本發(fā)明的實(shí)施例，所述設(shè)備進(jìn)一步包括用于將在不同局部小片尺寸下所獲得 的人臉全局特征向量進(jìn)行組合以形成人臉全局特征向量組的裝置。
[0109]根據(jù)本發(fā)明的實(shí)施例，所述設(shè)備進(jìn)一步包括用于使用所得到的人臉全局特征向量 進(jìn)行人臉的識別的裝置。
[0110]根據(jù)本發(fā)明的實(shí)施例，所述設(shè)備進(jìn)一步包括用于使用所得到的人臉全局特征向量 組進(jìn)行人臉的識別的裝置。
[0111]從上述描述和相關(guān)聯(lián)的附圖中呈現(xiàn)的教導(dǎo)中獲益的本發(fā)明相關(guān)領(lǐng)域的技術(shù)人員 將想到記載于此的本發(fā)明的很多修改和其他實(shí)施例。因此，可以理解，本發(fā)明不限于公開的 特定實(shí)施例，并且旨在將修改和其他實(shí)施例包括在所附權(quán)利要求書的范圍內(nèi)。此外，雖然上 述描述和相關(guān)聯(lián)的附圖在元素和/或功能的某些示例性組合環(huán)境中描述了示例性實(shí)施例， 但是應(yīng)該理解，元素和/或功能的不同組合可以由備選實(shí)施例提供而不脫離所附權(quán)利要求 書的范圍。在這點(diǎn)上，例如，除了上文明確描述的那些之外，元素和/或功能的不同組合也 被加以考慮并且可以記載在所附的一些權(quán)利要求中。雖然在此使用了特定的術(shù)語，但是僅 在一般和描述性意義上使用它們并且不為限制的目的使用它們。
【權(quán)利要求】
1.一種方法，包括:檢測所述視頻序列的多個(gè)圖像幀中的同一人臉圖像；將所檢測的人臉圖像分成具有預(yù)定尺寸的多個(gè)局部小片，其中每個(gè)局部小片都圍繞一個(gè)人臉特征點(diǎn)或者接近一個(gè)人臉特征點(diǎn)；確定所述視頻序列的多個(gè)圖像幀中的同一人臉圖像的各個(gè)局部小片之間的對應(yīng)關(guān)系；以及使用從具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征向量分量形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量。
2.如權(quán)利要求1所述的方法，其中使用從具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征向量分量形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量包括:識別所述視頻序列的多個(gè)圖像幀中的同一人臉的不同姿態(tài)；根據(jù)所識別的多個(gè)圖像幀中的同一人臉的不同姿態(tài)，僅從未被遮擋的具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取人臉局部特征向量分量；以及將所述從未被遮擋的具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征向量分量組合以形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量。
3.如權(quán)利要求1所述的方法，其中使用從具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征向量分量形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量包括:識別所述視頻序列的多個(gè)圖像幀中的同一人臉的不同姿態(tài)；以及根據(jù)所識別的不同圖像幀中的同一人臉的不同姿態(tài)，將從具有相互對應(yīng)關(guān)系的每一個(gè)局部小片提取的人臉局部特征向量分量加權(quán)組合以形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量。
4.如權(quán)利要求1-3中的任何一個(gè)所述的方法，其中將所檢測的人臉圖像分成具有預(yù)定尺寸的多個(gè)局部小片是通過在所檢測的人臉圖像上加?xùn)鸥駚韺?shí)現(xiàn)的。
5.如權(quán)利要求1-3中的任何一個(gè)所述的方法，進(jìn)一步包括改變所述多個(gè)局部小片的尺寸以獲得表示每個(gè)改變尺寸的局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量。
6.如權(quán)利要求5所述的方法，進(jìn)一步包括將所得到的表示每個(gè)局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量進(jìn)行組合以形成人臉全局特征向量。
7.如權(quán)利要求6所述的方法，進(jìn)一步包括將所得到的表示每個(gè)改變尺寸的局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量進(jìn)行組合以形成人臉全局特征向量。
8.如權(quán)利要求7所述的方法，進(jìn)一步包括將在不同局部小片尺寸下所獲得的人臉全局特征向量進(jìn)行組合以形成人臉全局特征向量組。
9.如權(quán)利要求6或7所述的方法，進(jìn)一步包括使用所得到的人臉全局特征向量進(jìn)行人臉的識別。
10.如權(quán)利要求8所述的方法，進(jìn)一步包括使用所得到的人臉全局特征向量組進(jìn)行人臉的識別。
11.一種設(shè)備，包括 :人臉檢測器，配置用于檢測所述視頻序列的多個(gè)圖像幀中的同一人臉圖像；臉部點(diǎn)定位器，配置用于將所檢測的人臉圖像分成具有預(yù)定尺寸的多個(gè)局部小片，其中每個(gè)局部小片都圍繞一個(gè)人臉特征點(diǎn)或者接近一個(gè)人臉特征點(diǎn)；人臉跟蹤器，配置用于確定所述視頻序列的多個(gè)圖像幀中的同一人臉圖像的各個(gè)局部小片之間的對應(yīng)關(guān)系；以及 人臉局部特征向量生成器，配置用于使用從具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征向量分量形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量。
12.如權(quán)利要求11所述的設(shè)備，其中所述人臉局部特征向量生成器還配置用于: 識別所述視頻序列的多個(gè)圖像幀中的同一人臉的不同姿態(tài)； 根據(jù)所識別的多個(gè)圖像幀中的同一人臉的不同姿態(tài)，僅從未被遮擋的具有相互對應(yīng)關(guān) 系的各個(gè)局部小片提取人臉局部特征向量分量；以及 將所述從未被遮擋的具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征向量分量組合以形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量。
13.如權(quán)利要求11所述的設(shè)備，其中所述人臉局部特征向量生成器還配置用于: 識別所述視頻序列的多個(gè)圖像幀中的同一人臉的不同姿態(tài)；以及 根據(jù)所識別的不同圖像幀中的同一人臉的不同姿態(tài)，將從具有相互對應(yīng)關(guān)系的每一個(gè)局部小片提取的人臉局部特征向量分量加權(quán)組合以形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量。
14.如權(quán)利要求11-13中的任何一個(gè)所述的設(shè)備，其中將所檢測的人臉圖像分成具有預(yù)定尺寸的多個(gè)局部小片是通過在所檢測的人臉圖像上加?xùn)鸥駚韺?shí)現(xiàn)的。
15.如權(quán)利要求11-13中的任何一個(gè)所述的設(shè)備，其中所述臉部點(diǎn)定位器還配置用于包括改變所述多個(gè)局部小片的尺寸以獲得表示每個(gè)改變尺寸的局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量。
16.如權(quán)利要求15所述的設(shè)備，其中所述人臉局部特征向量生成器還配置用于將所得到的表示每個(gè)局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量進(jìn)行組合以形成人臉全局特征向量。
17.如權(quán)利要求16所述的設(shè)備，其中所述人臉局部特征向量生成器還配置用于將所得到的表示每個(gè)改變尺寸的局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量進(jìn)行組合以形成人臉全局特征向量。
18.如權(quán)利要求17所述的設(shè)備，其中所述人臉局部特征向量生成器還配置用于將在不同局部小片尺寸下所獲得的人臉全局特征向量進(jìn)行組合以形成人臉全局特征向量組。
19.如權(quán)利要求16或17所述的設(shè)備，其中所述人臉局部特征向量生成器還配置用于使用所得到的人臉全局特征向量進(jìn)行人臉的識別。
20.如權(quán)利要求18所述的設(shè)備，其中所述人臉局部特征向量生成器還配置用于使用所得到的人臉全局特征向量組進(jìn)行人臉的識別。
21.一種計(jì)算機(jī)程序產(chǎn)品，包括具有存儲在其中的可執(zhí)行計(jì)算機(jī)可讀程序代碼指令的至少一個(gè)計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀程序代碼指令包括: 配置用于檢測所述視頻序列的多個(gè)圖像幀中的同一人臉圖像的第一程序代碼指令； 配置用于將所檢測的人臉圖像分成具有預(yù)定尺寸的多個(gè)局部小片的第二程序代碼指令，其中每個(gè)局部小片都圍繞一個(gè)人臉特征點(diǎn)或者接近一個(gè)人臉特征點(diǎn)； 配置用于確定所述視頻序列的多個(gè)圖像幀中的同一人臉圖像的各個(gè)局部小片之間的對應(yīng)關(guān)系的第三程序代碼指令；以及配置用于使用從具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征向量分量形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量的第四程序代碼指令。
22.如權(quán)利要求21所述的計(jì)算機(jī)程序產(chǎn)品，其中所述第四程序代碼指令還配置用于:識別所述視頻序列的多個(gè)圖像幀中的同一人臉的不同姿態(tài)；根據(jù)所識別的多個(gè)圖像幀中的同一人臉的不同姿態(tài)，僅從未被遮擋的具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取人臉局部特征向量分量；以及將所述從未被遮擋的具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征向量分量組合以形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量。
23.如權(quán)利要求21所述的計(jì)算機(jī)程序產(chǎn)品，其中所述第四程序代碼指令還配置用于:識別所述視頻序列的多個(gè)圖像幀中的同一人臉的不同姿態(tài)；以及根據(jù)所識別的不同圖像幀中的同一人臉的不同姿態(tài)，將從具有相互對應(yīng)關(guān)系的每一個(gè)局部小片提取的人臉局部特征向量分量加權(quán)組合以形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量。
24.如權(quán)利要求21-23中的任何一個(gè)所述的計(jì)算機(jī)程序產(chǎn)品，其中將所檢測的人臉圖像分成具有預(yù)定尺寸的多個(gè)局部小片是通過在所檢測的人臉圖像上加?xùn)鸥駚韺?shí)現(xiàn)的。
25.如權(quán)利要求21-23中的任何一個(gè)所述的計(jì)算機(jī)程序產(chǎn)品，還包括配置用于改變所述多個(gè)局部小片的尺寸以獲得表示每個(gè)改變尺寸的局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量的程序代碼指令。
26.如權(quán)利要求25所述的計(jì)算機(jī)程序產(chǎn)品，還包括配置用于將所得到的表示每個(gè)局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量進(jìn)行組合以形成人臉全局特征向量的程序代碼指令。
27.如權(quán)利要求26所述的計(jì)算機(jī)程序產(chǎn)品，還包括配置用于將所得到的表示每個(gè)改變尺寸的局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量進(jìn)行組合以形成人臉全局特征向量的`程序代碼指令。
28.如權(quán)利要求27所述的計(jì)算機(jī)程序產(chǎn)品法，還包括配置用于將在不同局部小片尺寸下所獲得的人臉全局特征向量進(jìn)行組合以形成人臉全局特征向量組的程序代碼指令。
29.如權(quán)利要求26或27所述的計(jì)算機(jī)程序產(chǎn)品，還包括配置用于使用所得到的人臉全局特征向量進(jìn)行人臉的識別的程序代碼指令。
30.如權(quán)利要求28所述的計(jì)算機(jī)程序產(chǎn)品，還包括配置用于使用所得到的人臉全局特征向量組進(jìn)行人臉的識別的程序代碼指令。
31.一種設(shè)備，包括:用于檢測所述視頻序列的多個(gè)圖像幀中的同一人臉圖像的裝置；用于將所檢測的人臉圖像分成具有預(yù)定尺寸的多個(gè)局部小片的裝置，其中每個(gè)局部小片都圍繞一個(gè)人臉特征點(diǎn)或者接近一個(gè)人臉特征點(diǎn)；用于確定所述視頻序列的多個(gè)圖像幀中的同一人臉圖像的各個(gè)局部小片之間的對應(yīng)關(guān)系的裝置；以及用于使用從具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征向量分量形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量的裝置。
32.如權(quán)利要求31所述的設(shè)備，其中用于使用從具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征向量分量形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量的裝置還包括: 用于識別所述視頻序列的多個(gè)圖像幀中的同一人臉的不同姿態(tài)的裝置； 用于根據(jù)所識別的多個(gè)圖像幀中的同一人臉的不同姿態(tài)，僅從未被遮擋的具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取人臉局部特征向量分量的裝置；以及 用于將所述從未被遮擋的具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征向量分量組合以形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量的裝置。
33.如權(quán)利要求31所述的設(shè)備，其中用于使用從具有相互對應(yīng)關(guān)系的各個(gè)局部小片提取的人臉局部特征向量分量形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量的裝置還包括: 用于識別所述視頻序列的多個(gè)圖像幀中的同一人臉的不同姿態(tài)的裝置；以及用于根據(jù)所識別的不同圖像幀中的同一人臉的不同姿態(tài)，將從具有相互對應(yīng)關(guān)系的每一個(gè)局部小片提取的人臉局部特征向量分量加權(quán)組合以形成表示該局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量的裝置。
34.如權(quán)利要求31-33中的任何一個(gè)所述的設(shè)備，其中將所檢測的人臉圖像分成具有預(yù)定尺寸的多個(gè)局部小片是通過在所檢測的人臉圖像上加?xùn)鸥駚韺?shí)現(xiàn)的。
35.如權(quán)利要求31-33中的任何一個(gè)所述的設(shè)備,進(jìn)一步包括用于改變所述多個(gè)局部小片的尺寸以獲得表示每個(gè)改變尺寸的局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量的>j-U ρ?α`裝直。
36.如權(quán)利要求35所述的設(shè)備，進(jìn)一步包括用于將所得到的表示每個(gè)局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量進(jìn)行組合以形成人臉全局特征向量的裝置。
37.如權(quán)利要求36所述的設(shè)備，進(jìn)一步包括用于將所得到的表示每個(gè)改變尺寸的局部小片所對應(yīng)的臉部點(diǎn)的人臉局部特征向量進(jìn)行組合以形成人臉全局特征向量的裝置。
38.如權(quán)利要求37所述的設(shè)備，進(jìn)一步包括用于將在不同局部小片尺寸下所獲得的人臉全局特征向量進(jìn)行組合以形成人臉全局特征向量組的裝置。
39.如權(quán)利要求36或37所述的設(shè)備，進(jìn)一步包括用于使用所得到的人臉全部特征向量進(jìn)行人臉的識別的裝置。
40.如權(quán)利要求38所述的設(shè)備，進(jìn)一步包括用于使用所得到的人臉全局特征向量組進(jìn)行人臉的識別的裝置。
【文檔編號】G06K7/00GK103514432SQ201210223706
【公開日】2014年1月15日 申請日期:2012年6月25日 優(yōu)先權(quán)日:2012年6月25日
【發(fā)明者】馬勇, 鄒燕明, 汪孔橋 申請人:諾基亞公司