用于圖像識別的面部印記生成的制作方法
【專利摘要】服務(wù)器確定表示在客戶端設(shè)備處多個(gè)被識別的用戶的多個(gè)面部印記。每個(gè)面部印記包含用來識別在客戶端設(shè)備中捕獲的媒體中檢測出的用戶的面部圖像的、用于給定用戶的多個(gè)參考圖像。基于在客戶端設(shè)備中捕獲的圖像中可能被檢測到的用戶，被傳送到客戶端設(shè)備的面部印記對于客戶端設(shè)備被確定?；谒鼈冊跇?biāo)識在客戶端設(shè)備中捕獲的圖像中可能被檢測到的用戶的識別值，由服務(wù)器選擇具有傳送到客戶端設(shè)備的給定面部印記的參考圖像。
【專利說明】用于圖像識別的面部印記生成
[0001] 相關(guān)申請的交叉引用
[0002] 本申請要求于2011年12月9日提交的美國臨時(shí)申請第61/569, 168號和于2011 年12月9日提交的美國臨時(shí)申請第61/569, 171號的權(quán)益，其通過引用而被整體結(jié)合于此。

【技術(shù)領(lǐng)域】
[0003] 本公開涉及面部圖像比較和面部識別領(lǐng)域。

【背景技術(shù)】
[0004] 當(dāng)用戶選擇從其便攜設(shè)備經(jīng)由網(wǎng)絡(luò)上傳媒體內(nèi)容，例如到網(wǎng)站或另一用戶設(shè)備 時(shí)，用戶時(shí)常執(zhí)行手動(dòng)的面部與對象關(guān)聯(lián)操作，并提供哪些用戶應(yīng)當(dāng)接收或被允許查看媒 體內(nèi)容的選擇。例如，用戶可以通過在線媒體分享服務(wù)器注釋、分類或組織圖像和視頻，來 與其他用戶分享媒體，如果用戶標(biāo)記了它們，則這些可通過媒體可被用于查看的服務(wù)而被 通知。時(shí)常地，然而，用戶沒有時(shí)間或精力來手動(dòng)執(zhí)行這些操作。通過面部和對象識別的自 動(dòng)操作，花在分類、注釋、標(biāo)記等上的用戶時(shí)間可以被減到最少。
[0005] 然而，在移動(dòng)設(shè)備上很難將識別技術(shù)應(yīng)用到諸如視頻和圖像的媒體上。一些難點(diǎn) 涉及測量視頻對象之間差別的計(jì)算復(fù)雜度。在這些視頻對象中的面部和對象經(jīng)常被諸如亮 度、定位以及表情的差異的因素影響。參考圖像的大量語料庫以及用于精確識別結(jié)果所需 的大量的比較使這些難點(diǎn)進(jìn)一步惡化。

【專利附圖】

【附圖說明】
[0006] 公開的實(shí)施例具有優(yōu)勢和特點(diǎn)，優(yōu)勢和特點(diǎn)從詳細(xì)的說明書、所附權(quán)利要求以及 附圖（或圖畫）將更加顯而易見。下面是圖片的簡介。
[0007] 圖（FIG. ) 1圖示出能夠從機(jī)器可讀介質(zhì)中讀取指令并且在處理器（或控制器）中 執(zhí)行它們的示例性機(jī)器的部件的一個(gè)示例性實(shí)施例。
[0008] 圖2是圖示出根據(jù)一個(gè)示例性實(shí)施例的用于產(chǎn)生面部印記的環(huán)境的框圖。
[0009] 圖3是圖示出根據(jù)一個(gè)示例性實(shí)施例的面部印記創(chuàng)建和優(yōu)化的流程圖。
[0010] 圖4A圖示出根據(jù)一個(gè)示例性實(shí)施例的使用從3D模型中的2D捕獲來補(bǔ)充用戶的 面部印記的示例性情況。
[0011] 圖4B圖示出根據(jù)一個(gè)示例性實(shí)施例的用于為2D識別生成2D圖像捕獲的3D圖像 估計(jì)方法。

【具體實(shí)施方式】
[0012] 僅通過說明，附圖（FIGS.)和下述說明書涉及優(yōu)選實(shí)施例。值得注意的是，從下面 的論述中，在此公開的結(jié)構(gòu)和方法的可替換實(shí)施例將會(huì)被很容易的認(rèn)作可行的替代品，其 可以在不偏離所聲明的原則的情況下使用。
[0013] 現(xiàn)將詳細(xì)的參考幾個(gè)實(shí)施例，在附圖中圖示其示例。值得注意的是，只要可行，相 似或相同的附圖標(biāo)記都可用于附圖中，并且可以指示相似或相同的功能。附圖僅為說明之 意描述了公開的系統(tǒng)（或方法）的實(shí)施例。本領(lǐng)域的技術(shù)人員將會(huì)容易的從以下說明書中 認(rèn)識到在不偏離本文描述的原則的情況下可以使用本文說明的結(jié)構(gòu)和方法的替換性實(shí)施 例。
[0014] 為了識別出在諸如圖像和視頻中檢測出的面部圖像，檢測出的面部圖像與多個(gè) 具有已知身份的參考圖像相比較。導(dǎo)致在給定的參考圖像和檢測出的圖像之間最短距離 (即，最高相似度）的比較與預(yù)先確定的閾值進(jìn)行比較。大于閾值的距離拒絕該比較為識別 出檢測的圖像，而小于閾值的距離識別該檢測的圖像為具有參考圖像的身份。為了優(yōu)化在 客戶端設(shè)備的面部圖像識別，優(yōu)選減少用于獲得結(jié)果所需的比較數(shù)目和/或比較的計(jì)算強(qiáng) 度。優(yōu)化這些因素使客戶端設(shè)備能夠減少執(zhí)行識別所需的時(shí)間和/或處理功率，因此在不 降低電池供電設(shè)備的使用性的情況下為用戶提供更快的結(jié)果。
[0015] 在實(shí)施例中，服務(wù)器傳送面部印記集到客戶端設(shè)備，這面部印記集優(yōu)化在客戶端 設(shè)備中執(zhí)行的面部圖像識別。通過減少客戶端設(shè)備在捕獲的媒體中獲得識別結(jié)果所需的比 較數(shù)目，該服務(wù)器可以優(yōu)化在客戶端設(shè)備的面部圖像的識別。該服務(wù)器標(biāo)識具有相關(guān)聯(lián)的 面部印記的用戶的子集，該面部印記很可能出現(xiàn)在由客戶端設(shè)備捕獲/上傳的圖像中。因 此，服務(wù)器將僅關(guān)于用戶的子集的面部印記傳送到客戶端設(shè)備。
[0016] 服務(wù)器可以通過與客戶端設(shè)備相關(guān)聯(lián)的圖像以及客戶端設(shè)備的用戶的分析來標(biāo) 識用戶的子集。具體地，某些實(shí)施例，服務(wù)器可以從指示伴隨著用戶出現(xiàn)的用戶的身份的社 交網(wǎng)絡(luò)服務(wù)以及在由用戶利用客戶端設(shè)備捕獲的圖像中檢索圖像。
[0017] 此外，服務(wù)器可以優(yōu)化用于執(zhí)行用戶識別的參考圖像的選擇。具體地，當(dāng)與用于在 客戶端設(shè)備上執(zhí)行識別的其他參考圖像比較時(shí)，服務(wù)器可以選擇用在基于參考圖像的獨(dú)特 性標(biāo)識用戶的參考圖像。服務(wù)器可以基于與表示客戶端設(shè)備上的其他用戶的其他參考圖像 的距離來表示參考圖像的獨(dú)特性。表示不同人的參考圖像之間的距離越大，更多的參考圖 像可以在距離計(jì)算之前被壓縮或者使用更少的計(jì)算密集型計(jì)算被比較。
[0018] 預(yù)計(jì)隨著處理能力的增強(qiáng)，客戶端設(shè)備可以執(zhí)行上面描述的服務(wù)器的操作。
[0019] 計(jì)算機(jī)器結(jié)構(gòu)
[0020] 圖（圖）1是圖示出能夠從機(jī)器可讀介質(zhì)中讀取指令并且在處理器（或控制器） 中執(zhí)行它們的示例性機(jī)器的部件的框圖。具體地，圖1示出以計(jì)算機(jī)系統(tǒng)100的示例性形 式的機(jī)器的圖示表示，在計(jì)算機(jī)系統(tǒng)100中可以執(zhí)行用于使機(jī)器執(zhí)行任何一個(gè)或多個(gè)本文 描述的方法的指令124(例如，軟件）。在可替換的實(shí)施例中，機(jī)器作為獨(dú)立的設(shè)備操作或者 可以被連接（例如，聯(lián)網(wǎng)）到其他機(jī)器。在聯(lián)網(wǎng)的部署中，機(jī)器可以在服務(wù)器-客戶端設(shè)備 網(wǎng)絡(luò)環(huán)境中以服務(wù)器機(jī)器或客戶端設(shè)備機(jī)器的能力來操作，或者在點(diǎn)對點(diǎn)（或分布式）網(wǎng) 絡(luò)環(huán)境中作為對等機(jī)器來操作。
[0021] 機(jī)器可以是服務(wù)器計(jì)算機(jī)、客戶端設(shè)備計(jì)算機(jī)、個(gè)人計(jì)算機(jī)（PC)、平板PC、機(jī)頂 盒（STB)、個(gè)人數(shù)字助理（PDA)、蜂窩或移動(dòng)電話、智能手機(jī)、互聯(lián)網(wǎng)或網(wǎng)絡(luò)應(yīng)用、可穿戴式 計(jì)算機(jī)、網(wǎng)絡(luò)路由器、交換機(jī)或網(wǎng)橋或者任何能夠執(zhí)行指定要由該機(jī)器采取的動(dòng)作的指令 124(順序或其它）的機(jī)器。此外，盡管只圖示了單個(gè)機(jī)器，但是術(shù)語"機(jī)器"應(yīng)該也被認(rèn)為 包括獨(dú)立地或共同地執(zhí)行指令124以進(jìn)行任何一個(gè)或多個(gè)本文描述的方法的機(jī)器的任何 集合。
[0022] 示例性計(jì)算機(jī)系統(tǒng)100包括一個(gè)或多個(gè)處理器102(例如，中央處理單元（CPU)、圖 形處理單元（GPU)、數(shù)字信號處理器（DSP)、一個(gè)或多個(gè)專用集成電路（ASIC)、一個(gè)或多個(gè) 射頻集成電路（RFIC)或這些的任意組合），主存儲器104,以及靜態(tài)存儲器106,其被配置 為經(jīng)由總線108來彼此通信。計(jì)算機(jī)系統(tǒng)100可以進(jìn)一步包括圖形顯示單元110 (例如，等 離子顯示板（PDP)、有機(jī)發(fā)光二極管（0LED)(包括AM0LED和超AM0LED類型）、液晶顯示器 (LCD)、投影儀或陰極射線管（CRT))。計(jì)算機(jī)系統(tǒng)100還可以包括字母數(shù)字輸入設(shè)備112(例 如，鍵盤）、光標(biāo)控制裝置114 (例如，鼠標(biāo)、軌跡球、控制桿、運(yùn)動(dòng)傳感器或其他指示儀器）、 存儲單元116、信號生成設(shè)備118 (例如，揚(yáng)聲器）以及網(wǎng)絡(luò)接口設(shè)備120,其也被配置為經(jīng) 由總線108來通信。另外，語音分析器或面部特征識別器可以用作輸入設(shè)備代替字母數(shù)字 輸入設(shè)備112。
[0023] 存儲單元116包括機(jī)器可讀介質(zhì)122,在其上存儲體現(xiàn)一個(gè)或多個(gè)本文描述的方 法或功能的指令124 (例如，軟件）。指令124 (例如，軟件）在由計(jì)算機(jī)系統(tǒng)100執(zhí)行它的 過程中，還可以完全的或至少部分的駐留于主存儲器104或處理器102中（例如，在處理器 的緩存存儲器中），該主存儲器104和處理器102也組成機(jī)器可讀介質(zhì)。指令124 (例如，軟 件）可以經(jīng)由網(wǎng)絡(luò)接口設(shè)備120在網(wǎng)絡(luò)126上被發(fā)送或接收。
[0024] 盡管在示例性實(shí)施例中作為單個(gè)媒體示出機(jī)器可讀介質(zhì)122,但是術(shù)語"機(jī)器可讀 介質(zhì)"應(yīng)當(dāng)被認(rèn)為包括能夠存儲非臨時(shí)性數(shù)據(jù)或指令（例如，指令124)的單個(gè)介質(zhì)或多個(gè) 介質(zhì)（例如，集中或分布式數(shù)據(jù)庫，或相關(guān)聯(lián)的緩存和服務(wù)器）。術(shù)語"機(jī)器可讀介質(zhì)"還應(yīng) 該被認(rèn)為包括任何能夠存儲用于由機(jī)器執(zhí)行的并且使機(jī)器執(zhí)行任何一個(gè)或多個(gè)本文描述 的方法的指令（例如，指令124)的介質(zhì)。術(shù)語"機(jī)器可讀介質(zhì)"包括但不限于以固態(tài)存儲 器、光學(xué)媒體以及磁性媒體形式的數(shù)據(jù)儲存庫。
[0025] 用于創(chuàng)建和優(yōu)化面部印記的示例性環(huán)境
[0026] 未知面部圖像的識別經(jīng)常是經(jīng)由將輸入的面部圖像與存儲在數(shù)據(jù)庫中的多個(gè)參 考面部圖像比較來執(zhí)行的。經(jīng)常地，輸入的面部圖像和存儲的參考圖像相互不足夠匹配以 提供快速識別結(jié)果。例如，輸入的面部圖像可以具有偏離參考圖像的任意空間方位、大小、 照明條件、對比度等。此外，存儲于數(shù)據(jù)庫中的圖像的質(zhì)量和方位可能不足夠合適并且其數(shù) 量太大以至于很難提供與輸入圖像的快速實(shí)時(shí)比較，尤其在使用便攜設(shè)備時(shí)。
[0027] 根據(jù)一個(gè)實(shí)施例，通過面部印記服務(wù)器執(zhí)行包含用于標(biāo)識特定人或?qū)ο蟮拿娌繄D 像的參考圖像集的面部印記的創(chuàng)建、處理以及管理。根據(jù)下面詳細(xì)介紹的方法，面部印記服 務(wù)器創(chuàng)建并且優(yōu)化人的面部印記以在使用通過機(jī)器可讀介質(zhì)和/或網(wǎng)絡(luò)訪問的圖像的便 攜設(shè)備處被識別。
[0028] 圖2是圖示出根據(jù)一個(gè)示例性實(shí)施例的用于產(chǎn)生人的面部印記的環(huán)境200的高層 框圖。如圖所示，環(huán)境200包括連接圖像數(shù)據(jù)庫250的網(wǎng)絡(luò)126、面部印記服務(wù)器235以及 客戶端設(shè)備205。為清楚起見，盡管圖2中只示出了一個(gè)面部印記服務(wù)器235、圖像數(shù)據(jù)庫 250和客戶端設(shè)備205,但是實(shí)施例中能夠具有多個(gè)服務(wù)器235、數(shù)據(jù)庫250和/或客戶端 設(shè)備205。服務(wù)器235、數(shù)據(jù)庫250和例如205的客戶端設(shè)備可以體現(xiàn)為如圖1中所述的機(jī) 器。
[0029] 網(wǎng)絡(luò)126表示在客戶端設(shè)備205和服務(wù)器235、250之間的通信路徑。在一個(gè)示例 性實(shí)施例中，網(wǎng)絡(luò)126使用標(biāo)準(zhǔn)的通信技術(shù)和/或協(xié)議并且能夠包括互聯(lián)網(wǎng)。因此，網(wǎng)絡(luò) 126能夠包括使用諸如以太網(wǎng)、802. 11、全球微波接入互操作（WiMAX)、2G/3G/4G移動(dòng)通信 協(xié)議、數(shù)字用戶線路（DSL)、異步傳輸模式（ATM)、無線帶寬、PCI快速高級交換等技術(shù)的鏈 路。同樣地，在網(wǎng)絡(luò)126上使用的網(wǎng)絡(luò)協(xié)議能夠包括多協(xié)議標(biāo)簽交換（MPLS)、傳輸控制協(xié) 議/互聯(lián)網(wǎng)協(xié)議（TCP/IP)、用戶數(shù)據(jù)報(bào)協(xié)議（UDP)、超文本傳輸協(xié)議（HTTP)、簡單郵件傳輸 協(xié)議（SMTP)、文件傳輸協(xié)議（FTP)等。在網(wǎng)絡(luò)126上交換的數(shù)據(jù)能夠使用包括超文本標(biāo)記 語言（HTML)、可擴(kuò)展標(biāo)記語言（XML)、JavaScript、VBScript、FLASH，便攜式文件格式（PDF) 等技術(shù)和/或格式來表示。另外，使用諸如安全套接層（SSL)、傳輸層安全（TLS)、虛擬專用 網(wǎng)（VPNs)、網(wǎng)際協(xié)議安全（IPsec)等傳統(tǒng)加密技術(shù)可以加密所有或某些鏈路。在另一個(gè)實(shí) 施例中，除了上述技術(shù)之外，或者替代上述技術(shù)，網(wǎng)絡(luò)126上的實(shí)體能夠使用定制和/或?qū)?用數(shù)據(jù)通信技術(shù)。
[0030] 圖像數(shù)據(jù)庫250是用于容納圖像255B的計(jì)算機(jī)或其他電子設(shè)備。在圖示的實(shí)施例 中，為清楚起見，圖像數(shù)據(jù)庫250表示單個(gè)實(shí)體，然而，在其他實(shí)施例中，諸如網(wǎng)站以及其他 客戶端設(shè)備205的許多其他資源可以包含可通過網(wǎng)絡(luò)126訪問的圖像數(shù)據(jù)庫250。例如，圖 像數(shù)據(jù)庫250可以容納特定用戶已經(jīng)上傳到社交網(wǎng)絡(luò)的圖像255B。在另一個(gè)示例中，圖像 數(shù)據(jù)庫可以容納客戶端設(shè)備205外部的圖像255B的個(gè)人庫。圖像數(shù)據(jù)庫250將圖像255B 的語料庫提供給面部印記服務(wù)器235和客戶端設(shè)備205用于面部印記的構(gòu)建。
[0031] 存儲于圖像數(shù)據(jù)庫250和客戶端設(shè)備205的圖像255可以包括諸如照片的靜止圖 像或由視頻幀組成的視頻。此外，如本文所提到的圖像，包括靜止照片或從視頻流或視頻文 件中提取的視頻幀的所有或一部分。取決于該資源，可以使用不同的處理方法來隔離在媒 體內(nèi)容中的圖像。
[0032] 客戶端設(shè)備205是由一個(gè)或多個(gè)用戶使用來執(zhí)行用于進(jìn)行各種活動(dòng)的應(yīng)用的計(jì) 算機(jī)或其他電子設(shè)備。例如，客戶端設(shè)備205能夠是臺式機(jī)，筆記本計(jì)算機(jī)，可穿戴式計(jì)算 機(jī)或平板計(jì)算機(jī)，移動(dòng)電話，游戲設(shè)備，數(shù)碼相機(jī)或電視機(jī)頂盒。由客戶端設(shè)備205執(zhí)行的 應(yīng)用可以包括網(wǎng)頁瀏覽器，文字處理軟件，媒體播放器，游戲應(yīng)用，虛擬現(xiàn)實(shí)應(yīng)用以及服務(wù)， 電子制表軟件，圖像處理應(yīng)用，安全軟件等。如上面所看到的那樣，客戶端設(shè)備205可以被 配置為如圖1中闡明的機(jī)器。
[0033] 在圖示的實(shí)施例中，客戶端設(shè)備205包括用于在由客戶端設(shè)備收集的圖像255A中 識別面部的識別模塊210。當(dāng)圖像數(shù)據(jù)呈現(xiàn)給用戶（例如，經(jīng)由數(shù)碼相機(jī)、移動(dòng)電話等的顯 示器）或者作為后期處理特征時(shí)，一旦圖像被捕獲用以標(biāo)識包含在其中的面部，則這些識 別可以被實(shí)時(shí)地執(zhí)行。在一個(gè)示例性實(shí)施例中，識別模塊210檢測圖像中存在的面部。為了 標(biāo)識或識別與檢測到的面部相關(guān)聯(lián)的人或?qū)ο?，檢測到的圖像與已知的參考圖像相比較。 例如，識別模塊210可以計(jì)算在檢測到的面部和給定的參考圖像之間的距離來執(zhí)行比較。 在圖像間產(chǎn)生最小距離（最高相似度）的比較識別出檢測到的面部作為在比較中使用的參 考圖像的面部。然而，如果最小距離大于關(guān)于肯定識別的相似度的閾值，則檢測到的圖像是 未被識別的。
[0034] 取決于實(shí)施例，客戶端設(shè)備205可以包括專用的硬件來加速識別處理。例如，客戶 端設(shè)備205可以包括一個(gè)或多個(gè)用于計(jì)算離散余弦變換（DCT)、動(dòng)態(tài)場、仿射變換、快速傅 立葉變換（FFT)的專用的數(shù)字信號處理（DSP)模塊，例如，如在于2012年12月6日提交的 共同未決的美國申請 No. 13/706, 370 "Motion Aligned Distance Calculations for Image Comparisons (用于圖像比較的運(yùn)動(dòng)對準(zhǔn)距離計(jì)算）"中所述的，其通過引用而被整體結(jié)合 于此，和/或其他圖像歸一化和/或處理功能。在一些實(shí)施例中，上述處理可以在帶有額外 的指令集和/或加速的處理器102中實(shí)現(xiàn)。在其他實(shí)施例中，沒有特別地提供用于執(zhí)行面 部比較的硬件加速。
[0035] 例如，當(dāng)由在客戶端設(shè)備205處的識別模塊210執(zhí)行時(shí)，面部印記服務(wù)器235生成 用于識別的面部印記245。如上所述，服務(wù)器235可以被配置為如圖1闡述的機(jī)器。面部 印記服務(wù)器235通過網(wǎng)絡(luò)126訪問圖像數(shù)據(jù)庫250以檢索圖像255B。面部印記服務(wù)器235 使用檢索到的圖像255B來生成面部印記245,其繼而可以被識別模塊210使用來標(biāo)識在客 戶端設(shè)備205處捕獲的圖像255A中檢測到的面部。在一些實(shí)施例中，面部印記服務(wù)器235 將識別模塊210提供給客戶端設(shè)備205用于使用產(chǎn)生的面部印記245。
[0036] 在一個(gè)示例性實(shí)施例中，面部印記服務(wù)器235從與社交網(wǎng)絡(luò)相關(guān)聯(lián)的圖像數(shù)據(jù)庫 250中檢索圖片255B。該社交網(wǎng)絡(luò)可以包括描述用戶賬號的社交圖以及與社交網(wǎng)絡(luò)中用戶 相關(guān)聯(lián)的圖像255B。時(shí)常地，用戶將他們的社交網(wǎng)絡(luò)用戶賬號與他們的客戶端設(shè)備205進(jìn) 行關(guān)聯(lián)來將捕獲的圖像255A上傳到社交網(wǎng)絡(luò)的圖像數(shù)據(jù)庫250中。面部印記服務(wù)器235 還可以從與一個(gè)或多個(gè)用戶相關(guān)聯(lián)的客戶端設(shè)備，例如205,中檢索圖像255A。社交圖還可 以包括與標(biāo)識社交網(wǎng)絡(luò)中的特定用戶的每個(gè)圖像255B相關(guān)聯(lián)的信息，諸如注釋、標(biāo)簽、分 類等。標(biāo)記的用戶經(jīng)常出現(xiàn)在他們標(biāo)記或上傳的圖像中。
[0037] 為了本發(fā)明的目的，用戶可以是社交網(wǎng)絡(luò)屬性和/或例如205的客戶端設(shè)備與之 相關(guān)聯(lián)的人或?qū)嶓w。例如，實(shí)體可以是現(xiàn)實(shí)的計(jì)算機(jī)合成的影像角色或者其他具有可標(biāo)識 的面部特征集（例如，對于活體對象或類似物，眼睛、鼻子、嘴、輪廓、尺寸等，對于非活體對 象，正面視圖或輪廓，包括頭燈、徽章、柵格等）的非人類（例如，狗或汽車）。
[0038] 一旦面部印記服務(wù)器235訪問一個(gè)或多個(gè)上述資源以獲得用戶（或多個(gè)用戶）的 圖像255或其一部分，面部印記服務(wù)器235分析檢索到的圖像255來確定與特定用戶相關(guān) 聯(lián)的圖像的集合。在此，在人臉的背景下描述各種實(shí)施例，然而，如上面所闡述的，這些方法 可以應(yīng)用于其他具有可識別特征的實(shí)體。
[0039] 在一些實(shí)施例中，通過面部印記服務(wù)器235檢索的圖像255與一個(gè)人或多個(gè)人相 關(guān)聯(lián)。例如，一個(gè)或多個(gè)人可以在圖像255中被標(biāo)記。此外，唯一標(biāo)識符（ID)可以與用于 人的標(biāo)簽的相關(guān)聯(lián)。例如，在社交網(wǎng)站上，用戶通過將其他用戶的唯一 ID(以及因此用戶屬 性）與圖像相關(guān)聯(lián)來"標(biāo)記"他們出現(xiàn)在的圖片中的其他用戶。在其他實(shí)施例中，唯一 ID可 以表示可以在圖像255中標(biāo)記的對象。在其他實(shí)施例中，用戶可以在圖像255中標(biāo)記他們 的"FORD MUSTANG(福特野馬）"來將圖片與關(guān)于汽車的粉絲頁相關(guān)聯(lián)。標(biāo)簽可以具體地指 出（例如，圍繞、框出、畫出輪廓等）在圖像255中被標(biāo)記的對象。在一個(gè)示例性實(shí)施例中， 面部印記服務(wù)器235確定標(biāo)記的圖像255和/或在圖像255中標(biāo)記的區(qū)域是否包含面部。 面部印記服務(wù)器235之后可以將檢測到的面部與由標(biāo)簽指示的唯一 ID相關(guān)聯(lián)。
[0040] 此外，在一些實(shí)施例中面部印記服務(wù)器235可以確定檢測到的面部是否是預(yù)期的 類型以消除誤報(bào)。例如，如果唯一 ID與人相關(guān)聯(lián)，則帶有將同一個(gè)唯一 ID與狗或房子相關(guān) 聯(lián)的標(biāo)簽的圖像將會(huì)被過濾以避免進(jìn)一步處理。同樣地，如果唯一 ID(例如，對于一組）與 具體型號的汽車相關(guān)聯(lián)，則缺少該汽車的樣式或型號特點(diǎn)的被標(biāo)記的區(qū)域會(huì)被過濾。因此， 面部印記服務(wù)器235可以實(shí)現(xiàn)初始過濾，以在額外的處理之前檢測圖像255中所期望的面 部或?qū)ο箢愋突蛘咴趫D像中標(biāo)記的區(qū)域是否存在。
[0041] 一旦從圖像255中確定面部和相關(guān)聯(lián)的唯一 ID，面部圖像可以被局部化并被提取 出來（例如，使用局部化圖像數(shù)據(jù)）用于處理作為面部印記候選以表示唯一 ID，例如，圖像 中的人。在一個(gè)示例性實(shí)施例中，面部印記候選是歸一化的面部圖像。歸一化面部圖像特 征，諸如方位、大小、位置、照明等，允許圖像間一致的比較以確定它們之間的差異和/或相 似之處。在共同未決的美國申請 No. 13/706, 370"Motion Aligned Distance Calculations for Image Comparisons (用于圖像比較的運(yùn)動(dòng)對準(zhǔn)距離計(jì)算）"中所述的特征方位和歸一 化技術(shù)可以與本文所述的實(shí)施例共同使用。
[0042] 在一個(gè)示例性實(shí)施例中，取決于面部的初始方位，可以處理、歸一化和/或格式化 圖像來歸一化面部方位。例如，近似直接看向圖像設(shè)備的面部可以被歸一化為正面方位?？?替換的，大多數(shù)朝向左側(cè)面或右側(cè)面的面部可以分別被歸一化為左輪廓或右輪廓。在一些 實(shí)施例中，在左側(cè)，正面和右側(cè)之間的水平軸上設(shè)置多個(gè)方位位置。此外，可以檢測垂直軸 位置來產(chǎn)生面部向下，直的和向上的額外方位。取決于該實(shí)施例，垂直和水平方位可以被組 合和/或分開或者從一個(gè)或多個(gè)歸一化的組成面部印記245的圖像的最終集合中排除。
[0043] 在面部印記服務(wù)器235從面部圖像中創(chuàng)建一個(gè)或多個(gè)歸一化圖像后，該歸一化圖 像作為用于表示相關(guān)聯(lián)的唯一 ID的面部印記245的面部候選被處理。在一個(gè)示例性實(shí)施 例中，面部候選與已經(jīng)包含在用戶的面部印記245中的參考圖像相比較。在面部候選方位 (例如，水平/垂直偏置）未知的示例中，在具有已知方位的面部印記245中的每個(gè)參考圖 像之間的初始比較可以指示面部候選的方位。例如，如果面部印記245包含正面圖像和一 些側(cè)面圖像，則對于面部候選可以計(jì)算到那些圖像的距離。如果面部候選到正面圖像的距 離比到相鄰側(cè)圖像更短，則可以假設(shè)面部候選表示正面圖像的視圖或朝向正面圖像很近的 視圖?？商鎿Q的，如果歸一化圖像方位已知，則可以僅與具有相同方位的面部印記中的圖像 或在已知方位處的和/或與已知方位相鄰的面部印記中的圖像的子集相比較。
[0044] 在一些實(shí)施例中，面部印記服務(wù)器235將2D圖像轉(zhuǎn)換為3D模型。例如，在一個(gè)示 例性實(shí)施例中，局部化面部圖像被轉(zhuǎn)換為歸一化3D模型。通過旋轉(zhuǎn)3D模型，面部印記服務(wù) 器235可以模擬并且隨后捕獲多個(gè)2D圖像方位。在一些示例中，基于模擬的2D捕獲將會(huì) 被與之比較的方位圖像來模擬3D模型的特定方位。例如，如果每個(gè)面部印記245包括正面 圖像和由正面方位各旋轉(zhuǎn)45度的兩張圖像，則3D模型可以被用來從單個(gè)正面圖像生成旋 轉(zhuǎn)圖像來填充面部印記。例如，響應(yīng)于面部印記集中的圖像的特定方位集和/或最常見的 方位可以確定方位。3D模型的2D圖像捕獲可以作為候選圖像處理。
[0045] 如上所述，面部印記服務(wù)器245計(jì)算候選圖像和現(xiàn)有的面部印記圖像之間的距離。 候選圖像和現(xiàn)有的面部印記圖像之間的距離可以包括用于多種特征而計(jì)算的許多距離，其 可以被加權(quán)并組合以產(chǎn)生單個(gè)組合距離。在共同未決的美國申請No. 13/706,370 "Motion Aligned Distance Calculations for Image Comparisons (用于圖像比較的運(yùn)動(dòng)對準(zhǔn)距離計(jì) 算）"中概述了圖像間一些距離計(jì)算的實(shí)施例，諸如DCT和/或動(dòng)態(tài)場的差異，并且可以與 本文所述的實(shí)施例共同使用。
[0046] 在一個(gè)示例性實(shí)施例中，在候選圖像與面部印記圖像間確定的距離指示了它們的 相似度（例如，圖像的接近度作為距離）。如果給定用戶的候選圖像與來自同一用戶的與之 比較的面部印記圖像基本相同（例如，在閾值距離以下），則它將成為面部印記245中的冗 余信息。也就是說，候選圖像將不會(huì)為具有用于使用面部印記245執(zhí)行識別的值的任何進(jìn) 一步的特征做出貢獻(xiàn)。
[0047] 面部印記服務(wù)器235可以拒絕冗余面部候選以最小化面部印記中的圖像的數(shù)量， 同時(shí)保留對于識別有價(jià)值的數(shù)據(jù)。然而，在一些示例中，如果候選由于基本相同而被拒絕， 則面部印記圖像的存在率可能增加。具有高存在率的面部印記指示用戶的面部頻繁出現(xiàn)在 接收到的具有可識別特征或與面部印記中的該圖像相似的圖像255中。
[0048] 如果候選圖像與面部印記圖像相似，但是不相同（例如，在閾值距離之上），則其 對于面部識別來說是有用的，由于唯一的特征可能當(dāng)前還沒有被面部印記245中的任一圖 像所表現(xiàn)。然而，如果在候選圖像中的那些特征與其他用戶的面部印記245中的許多其他 圖像相似，則候選圖像的識別值下降。
[0049] 面部印記服務(wù)器235可以通過將其與一個(gè)或多個(gè)其他用戶的面部印記245中的圖 像相比較來確定候選圖像的識別值。為此，面部印記服務(wù)器235確定在候選圖像和在其他 用戶的面部印記245中的圖像之間的距離集。如果許多（例如，大于20%閾值）的距離指 示該候選圖像與其他用戶的面部印記245相似，則它的識別值可以被確定為較差。因此，面 部印記服務(wù)器235可以丟棄該候選?？商鎿Q的，如果很少（例如，小于20%)的距離指示該 候選圖像與其他用戶的面部印記245中的那些相似，則它可以被選擇用于該用戶的面部印 記 245。
[0050] 在一些實(shí)施例中，面部印記服務(wù)器235確定并存儲在用戶的面部印記245中的與 在其他用戶的面部印記245使用的每張圖像之間的距離集。面部印記服務(wù)器235選擇一個(gè) 或多個(gè)與候選圖像（例如，在同一方位等）最相似（例如，根據(jù)距離）的用戶的面部印記圖 像。如果為候選圖像計(jì)算的該距離集指示比面部印記245中最相似的圖像更大的識別值， 則面部印記服務(wù)器235將該最相似的圖像替換為該候選圖像來增加面部印記245的識別 值。
[0051] 因此，通過比較距離組，確定對于識別特定用戶的面部來說關(guān)于候選圖像和在面 部印記中的圖像的無用的度量。例如，如果候選圖像和/或面部印記中的圖像與許多對于 其他用戶存儲的面部印記圖像相似，則由于高比率的誤報(bào)其作為用于識別的唯一表示可能 是無用的?？商娲模绻蜻x圖像和/或面部印記中的圖像與其他用戶的面部印記不同， 則其作為用于識別該用戶的唯一表示。
[0052] 在一些實(shí)施例中，面部印記服務(wù)器235確定哪些其他用戶可能出現(xiàn)在由特定用戶 或設(shè)備捕獲/上傳的圖像255中。例如，特定用戶通常可能上傳家庭成員的圖像，如果該圖 像是利用蜂窩或移動(dòng)電話拍攝的，以及特定用戶通常上傳同事的圖像，如果該圖像是利用 數(shù)碼相機(jī)拍攝的?；谠谟捎脩舨东@/上傳的圖像中的之前標(biāo)記或標(biāo)識的用戶的分析，面 部印記服務(wù)器235可以確定一個(gè)或多個(gè)用戶出現(xiàn)在來自特定用戶或設(shè)備的圖像255中的可 能性。可以從存儲設(shè)備之間出現(xiàn)在圖像中的用戶等之間的關(guān)系的數(shù)據(jù)庫中確定可能出現(xiàn)在 與特定用戶或設(shè)備相關(guān)聯(lián)的圖像中的人。
[0053] 在一些實(shí)施例中，用戶之間的聯(lián)系是從對于一個(gè)或多個(gè)用戶檢索的社交圖中推斷 出的。因此，出現(xiàn)在圖像中的社交網(wǎng)絡(luò)用戶可以具有在社交網(wǎng)絡(luò)內(nèi)的相關(guān)聯(lián)的唯一 ID。根 據(jù)一個(gè)或多個(gè)用戶在圖像255中標(biāo)識的共同出現(xiàn)以及導(dǎo)致共同標(biāo)簽、鏈接、地理臨近、簽到 等這樣的先前識別的社會(huì)交往，面部印記服務(wù)器235存儲建立的用戶關(guān)系。
[0054] 通過確定哪些用戶可能出現(xiàn)在圖像中，面部印記服務(wù)器235減少給定用戶的面部 印記需要與之有差別以用于圖像中用戶的肯定識別結(jié)果的其他用戶的面部印記池。因此， 在用戶一般使用來識別用戶收集的圖片的特定池或面部印記網(wǎng)絡(luò)中，但是不在創(chuàng)建的面部 印記的全部范圍內(nèi)，用戶的面部印記能夠是有區(qū)別的。為了通過在面部印記網(wǎng)絡(luò)中的他們 的面部印記來優(yōu)化用戶識別，面部印記服務(wù)器235檢測在網(wǎng)絡(luò)中的兩個(gè)面部印記（或其中 的參考圖像）是否相似。面部印記服務(wù)器235可以重新計(jì)算在網(wǎng)絡(luò)中選擇的面部印記來優(yōu) 化一個(gè)或多個(gè)用戶的識別。
[0055] 此外，在一些實(shí)施例中，隨著不同用戶的面部印記變得更加有區(qū)別，用于肯定識別 所需的計(jì)算分析越少。例如，識別處理可以按照面部圖像和面部印記圖像的兩步比較進(jìn)行。 因此，如果被比較的面部印記圖像彼此足夠不同，則面部圖像的標(biāo)識可以在第一、更少計(jì)算 花費(fèi)處理步驟中進(jìn)行。因此，第二步，盡管更精確，在很多情況下可以最終被避免以減少計(jì) 牲且 昇里。
[0056] 在一些實(shí)施例中，面部印記服務(wù)器235基于圖像（候選或現(xiàn)有）與其他圖像之間 的距離和圖像的存在率確定是包括面部印記候選還是保持面部印記中的現(xiàn)有圖像。在一個(gè) 示例性實(shí)施例中，面部印記中現(xiàn)有圖像的包括是取決于其存在率和與其他圖像的距離兩者 的。記住，存在率指示面部印記中的圖像多久一次被用于肯定標(biāo)識檢測的面部。例如，如果 圖像對于用戶相對來講是唯一的（例如，不與其他用戶接近）但是與面部印記中的其他圖 像相比較沒有展示高的存在率（或者如果是新的候選則具有任意存在），則其可以被存儲， 但是從面部印記中截留，直到達(dá)到相對于面部印記中的其他圖像的閾值存在率。在一些實(shí) 施例中，截留面部候選直到達(dá)到存在的閾值水平降低了面部印記中包括錯(cuò)誤的面部圖像的 可能性。此外，如果候選/模板具有高存在，但是對于用戶來說不唯一，則其可以被包括，但 是為了精確識別需要額外的比較。
[0057] 在一個(gè)示例性實(shí)施例中，面部印記服務(wù)器235使用既唯一又具有存在的參考圖像 來補(bǔ)充用戶的面部印記。不唯一的具有存在的圖像可能提供誤報(bào)識別結(jié)果。相反地，唯一 但是具有很少存在的圖像識別出很少的圖像。這些品質(zhì)的組合定義了面部印記245中的特 殊參考圖像的識別值。面部印記服務(wù)器235可以利用與其他面部印記中的圖像相比較組合 了高存在率和唯一性品質(zhì)的模擬參考圖像補(bǔ)充面部印記245。在示例性實(shí)施例中，面部印 記服務(wù)器235基于其識別值將2D參考圖像轉(zhuǎn)換為3D模型。從3D模型中，面部印記服務(wù)器 235生成2D圖像捕獲（用作面部印記中新的參考圖像）來替換和/或補(bǔ)充面部印記245中 具有較低識別值的參考圖像或者在面部印記中缺少的方位處生成參考圖像。
[0058] 面部印記服務(wù)器235傳送面部印記245到客戶端設(shè)備205,其在客戶端設(shè)備使用該 面部印記來識別對象。在一個(gè)示例性實(shí)施例中，傳送到客戶端設(shè)備205的面部印記對于客 戶端設(shè)備205的用戶或客戶端設(shè)備本身可以是唯一的。例如，傳送的面部印記可以對于可 能出現(xiàn)在用戶的圖像中的面部被優(yōu)化并且進(jìn)一步通過那些客戶端設(shè)備205可能如上述處 理。
[0059] 在另一個(gè)實(shí)施例中，傳送到客戶端設(shè)備205的面部印記可以基于客戶端設(shè)備205 硬件和/或軟件參數(shù)被優(yōu)化。例如，面部印記（例如，過濾較少可能出現(xiàn)在捕獲圖像中的用 戶）的數(shù)量和/或在每個(gè)面部印記中的參考圖像（例如，只包括面部印記中具有相對高存 在率的圖像）的數(shù)量可以針對移動(dòng)設(shè)備客戶端設(shè)備205減少。在一些實(shí)施例中，客戶端設(shè) 備205包括用于一個(gè)或多個(gè)面部識別處理方法的加速。因此，面部印記服務(wù)器235可以過 濾掉與可用于客戶端設(shè)備205的加速技術(shù)不兼容的圖像。例如，基于使用加速的識別處理 確定的距離，如果圖像印記中的參考圖像與許多其他的面部印記相似，則該圖像可以從傳 送的面部印記中被排除。進(jìn)一步的，基于使用加速的識別處理確定的距離，那些與其他圖像 最不同的參考圖像被包括在傳送的面部印記中。在一個(gè)示例性實(shí)施例中，面部印記服務(wù)器 235為被分析來為在傳送到客戶端設(shè)備205的面部印記中的每個(gè)參考圖像確定等級的存在 率、距離、出現(xiàn)可能性和加速距離分配權(quán)重。為了在客戶端設(shè)備205中面部的最佳識別，傳 送的面部印記245包括基于權(quán)重的最高等級圖像。
[0060] 如圖2所示，客戶端設(shè)備205包括能夠與客戶端設(shè)備205上的硬件對接以執(zhí)行 面部局部化、比較和識別的識別模塊210。識別模塊210可以包括帶有用于在客戶端設(shè) 備205中面部處理的計(jì)算機(jī)程序指令的各種其他程序模塊，諸如在共同未決的美國申請 No. 13/706, 370 "Motion Aligned Distance Calculations for Image Comparisons (用于圖 像比較的運(yùn)動(dòng)對準(zhǔn)距離計(jì)算）"中詳細(xì)描述的那些模塊。為了識別在圖像255A中檢測到的 面部，識別模塊210包括優(yōu)化的面部印記模塊215以存儲一個(gè)或多個(gè)優(yōu)化的面部印記用于 標(biāo)識檢測到的面部。面部識別可以在客戶端設(shè)備205中通過計(jì)算檢測到的面部圖像與來自 由面部印記模塊215存儲的面部印記245的參考圖像之間的距離而被執(zhí)行。如前所述，計(jì) 算的距離與閾值相比較以確定檢測到的圖像是否被面部印記245中的參考圖像所識別。進(jìn) 一步的，在一些實(shí)施例中，基于可用在不同客戶端設(shè)備205的加速，特定的處理被忽略或被 強(qiáng)調(diào)。
[0061] 由識別模塊210使用存儲的面部印記執(zhí)行的面部識別可以實(shí)時(shí)或作為后處理的 步驟發(fā)生。在一個(gè)示例性實(shí)施例中，客戶端設(shè)備205分析從諸如CCD或CMOS的圖像傳感器 接收到的實(shí)時(shí)數(shù)據(jù)以檢測面部的出現(xiàn)。一旦面部被檢測出來，則其可以使用本文所述的面 部印記中的參考圖像被局部化、歸一化并且之后被標(biāo)識/識別。進(jìn)一步的，一旦面部被檢測 出來，其可以被實(shí)時(shí)的追蹤并且被標(biāo)明其身份（例如，與用于識別檢測到的面部的面部印 記相關(guān)聯(lián)的身份）或者與從圖像傳感器捕獲的圖片和/或視頻一起被存儲。因此，識別和/ 或局部化可以被用來基于標(biāo)識圖像中檢測到的面部的面部印記來自動(dòng)地標(biāo)記、注釋或分類 圖像，并且指示檢測到的面部的位置/邊界。
[0062] 另外，通過實(shí)時(shí)處理，識別模塊210可以將局部化和/或確認(rèn)信息加入到設(shè)備上的 現(xiàn)場取景顯示器中。在識別模塊210分析圖像傳感器數(shù)據(jù)作為后處理步驟的實(shí)施例中，上 述特征中的任何一個(gè)都可以在存儲的數(shù)據(jù)上被執(zhí)行以局部化、標(biāo)識以及標(biāo)記來自圖像傳感 器的捕獲的數(shù)據(jù)。被處理的和/或未被處理的圖像可以被用作圖像255以改善其中包含的 面部的未來識別。因此，客戶端設(shè)備可以接收新的面部印記和/或更新為存儲的面部印記 用于未來識別。在一個(gè)可能的實(shí)施例中，當(dāng)識別輸入面部圖像的處理返回否定的結(jié)果時(shí)，客 戶端設(shè)備205可以將圖像和任何相關(guān)聯(lián)的數(shù)據(jù)傳輸?shù)矫娌坑∮浄?wù)器235以用于標(biāo)識不在 客戶端設(shè)備處的現(xiàn)有面部印記或者用于從面部圖像中創(chuàng)建新的面部印記。
[0063] 圖3是圖示出根據(jù)一個(gè)示例性實(shí)施例的由面部印記服務(wù)器235執(zhí)行的對于人的面 部印記創(chuàng)建和優(yōu)化的流程圖。其他實(shí)施例能夠以不同的順序執(zhí)行該方法的步驟并且能夠包 括不同的和/或額外的步驟。另外，一些或全部步驟能夠由除了面部印記服務(wù)器235以外 的實(shí)體執(zhí)行。
[0064] 面部印記服務(wù)器235響應(yīng)于確定圖像具有標(biāo)簽而選擇305該圖像，至少一個(gè)標(biāo)簽 指示用戶在圖像中，并且用戶的面部被檢測出來。用戶（例如，人）的面部之后在圖像中被 局部化并且被選擇性地提取。面部印記服務(wù)器235通過歸一化檢測到的面部圖像創(chuàng)建315 人的面部的面部候選。面部候選之后與該人現(xiàn)有的參考面部印記圖像相比較。具有與面部 候選最接近距離的（一個(gè)或多個(gè)）面部印記圖像被確定。
[0065] 面部印記服務(wù)器235通過分析具有最接近的距離的參考面部印記圖像和候選圖 像來優(yōu)化325人的面部印記。如果面部候選被確定為與人的面部印記圖像相同（例如，在 第一閾值距離以下），則對于該面部印記圖像的存在率增加并且該面部候選被丟棄。如果面 部候選被確定為與人的最接近的面部印記圖像不同（例如，在第一閾值距離以上），則該面 部印記服務(wù)器235可以確定在面部候選與其他人的面部印記之間的距離。進(jìn)一步的，面部 印記服務(wù)器235可以確定在最接近的面部印記圖像與其他人的面部印記之間的距離。如果 在面部候選與其他人的面部印記之間的距離大于（例如，作為平均或?qū)τ诰哂信c最接近的 面部印記圖像相接近的距離的子集）一個(gè)或多個(gè)最接近的面部印記，則該面部候選可以被 包括在面部印記中。
[0066] 在一些實(shí)施例中，響應(yīng)于被標(biāo)識為最可能與用戶出現(xiàn)在相同圖像的其他人和/或 那些最可能出現(xiàn)在由用戶捕獲的圖像中的人，面部印記服務(wù)器235還可以優(yōu)化325人的面 部印記。因此，在面部候選/面部印記圖像與其他用戶的面部印記之間的比較可以被限制 于只有可能執(zhí)行識別的那些中。進(jìn)一步的，標(biāo)識為可能隨著用戶出現(xiàn)或在用戶的圖像中出 現(xiàn)的人可以形成關(guān)于用戶的面部印記網(wǎng)絡(luò)。在網(wǎng)絡(luò)中的面部印記間的比較可以發(fā)生在已定 義的間隔中以優(yōu)化在用戶的客戶端設(shè)備205的識別和/或用戶的識別。因此，面部印記網(wǎng) 絡(luò)可以特定于用戶被存儲以最佳識別用戶并且識別在用戶的客戶端設(shè)備205中捕獲的圖 片中的人。進(jìn)一步的，實(shí)施例還可以根據(jù)客戶端設(shè)備205硬件規(guī)范書和/或其他處理技術(shù) 來優(yōu)化面部印記。
[0067] 一旦面部印記和/或集合（例如，對于其他用戶或網(wǎng)絡(luò)的優(yōu)化）被優(yōu)化，面部印記 服務(wù)器235將它們存儲在面部印記數(shù)據(jù)庫中。在一個(gè)示例性實(shí)施例中，最可能隨著用戶出 現(xiàn)或者出現(xiàn)在由用戶/設(shè)備拍攝的圖像中的人的面部印記與表示用戶，以及選擇性表示設(shè) 備的唯一 ID相關(guān)聯(lián)被存儲。面部印記服務(wù)器235隨后可以將優(yōu)化的面部印記與客戶端設(shè) 備205同步345。面部印記服務(wù)器235可以通過網(wǎng)絡(luò)與客戶端設(shè)備205僅增量同步更新的 面部印記或全同步所有面部印記。例如，如果任何更新發(fā)生于用戶的面部印記識別網(wǎng)絡(luò)，則 更新的面部印記數(shù)據(jù)可以被推送到客戶端設(shè)備205以及其他包含過期的面部印記數(shù)據(jù)的 客戶端設(shè)備。
[0068] 圖4A圖示出根據(jù)一個(gè)示例性實(shí)施例的使用從3D模型中的2D圖像捕獲補(bǔ)充用戶 的面部印記的示例性情況。面部印記245可以包括幾個(gè)用于識別面部圖像的參考圖像401。 時(shí)常地，對于標(biāo)識人或?qū)ο髞碚f有用的參考圖像中的面部的方位，可能會(huì)從面部印記245 中缺失。例如，面部印記245包括帶有左輪廓401A，正面視圖401B以及右輪廓401C的參考 圖像。典型地，面部印記245包括幾個(gè)用于識別面部圖像的中間方位。與其等待那些圖像 被收集或要求用戶收集圖像，倒不如面部印記服務(wù)器235可以生成例如正面視圖參考圖像 401B 的 3D 模型 402。
[0069] 利用生成的3D模型402,面部印記服務(wù)器235可以從正面方位旋轉(zhuǎn)模型。因此，在 旋轉(zhuǎn)的期望的角度的2D捕獲403可以被捕獲以補(bǔ)充參考圖像401。例如，如圖所示，在旋轉(zhuǎn) 的左403A以及旋轉(zhuǎn)的右403B方位取得2D捕獲以幫助識別具有在正面視圖401B和輪廓視 圖401A、401C之間方位的面部圖像。典型地，當(dāng)面部印記245包含許多圖像時(shí)，具有距要用 2D捕獲403來補(bǔ)充的缺失方位最近的方位的參考圖像401被選擇以生成3D模型。參考圖 4B更加詳細(xì)的描述用于從3D模型中生成2D圖像捕獲的方法。
[0070] 圖4B圖示出根據(jù)一個(gè)示例性實(shí)施例的用于為2D識別生成2D圖像捕獲的3D圖像 估計(jì)方法。例如，在面部印記中具有高存在率410和/或具有到其他面部印記405中的圖 像大距離值的圖像可以基于它們的識別值415被轉(zhuǎn)換為3D模型。
[0071] 3D模型可以被用來（如之前所述）產(chǎn)生3D圖像的不同方位的2D圖像。因此，具 有最大識別值的圖像可以被用來補(bǔ)充面部印記中的其他圖像。例如，模擬的2D方位可以被 用來填充缺失的方位和/或替換面部印記中的對于識別來說沒有用的參考圖像。
[0072] 在一個(gè)示例中，如果面部印記中的第一圖像具有很高的存在率但是具有到其他面 部印記中的一個(gè)或多個(gè)圖像的低距離值。因此，面部印記中的第二圖像可以被選擇425具 有到其他面部印記更大距離（以及因此更大的識別值）來補(bǔ)充420在使用第一圖像識別中 的比較。
[0073] 對于具有更大距離的第二圖像確定3D模型，并且補(bǔ)充的2D捕獲435在具有高存 在率的圖像的方位被取得。補(bǔ)充的圖像（例如，2D捕獲）可以結(jié)合具有高存在率的圖像在 比較的過程中被使用。
[0074] 例如，與具有高存在率的第一圖像相比較的圖像也可以與補(bǔ)充的圖像相比較。因 此，可以確定并加權(quán)兩個(gè)距離來形成單個(gè)距離和/或與一個(gè)或多個(gè)閾值相比較來確定哪個(gè) 值表示用于準(zhǔn)確距離的比較（例如，用于識別或拒絕）。
[0075] 此外，上述邏輯也可以反過來應(yīng)用。具體地，來自為具有高存在率的圖像創(chuàng)建430 的3D模型的捕獲可以補(bǔ)充435面部印記中具有距其他面部印記中的圖像更大的距離的圖 像。在一些實(shí)施例中，具有高存在率的圖像可以作為在計(jì)算補(bǔ)充的距離之前的初始過濾器。 使用高存在圖像的初始比較/過濾可以包括使用通過大小和/或分辨率下采樣（例如，2X 或4X)的圖像。
[0076] 附加考慮
[0077] 本文某些實(shí)施例被描述為包含邏輯或多個(gè)部件、模塊或機(jī)制，例如，如圖2所圖示 并描述的那樣。模塊可以由軟件模塊（例如，體現(xiàn)在機(jī)器可讀介質(zhì)上或傳輸信號中的代碼） 或者硬件模塊構(gòu)成。硬件模塊是能夠執(zhí)行某些操作并且可以以某種方式被配置或安排的有 形模塊。在示例性實(shí)施例中，一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)（例如，單機(jī)，客戶端設(shè)備或服務(wù)器計(jì) 算機(jī)系統(tǒng)）或計(jì)算機(jī)系統(tǒng)的一個(gè)或多個(gè)硬件模塊（例如，處理器或一組處理器）可以通過 軟件（例如，應(yīng)用或應(yīng)用部分）被配置為操作以執(zhí)行如本文所述的某些操作的硬件模塊。
[0078] 在各種實(shí)施例中，硬件模塊可以被機(jī)械地或電子地實(shí)現(xiàn)。例如，硬件模塊可以包 括被永久配置的專用電路或邏輯（例如，作為特殊用途處理器，諸如現(xiàn)場可編程門陣列 (FPGA)或?qū)Ｓ眉呻娐罚ˋSIC))以執(zhí)行某些操作。硬件模塊還可以包括由軟件臨時(shí)配置執(zhí) 行某些操作的可編程邏輯或電路（例如，包含在通用處理器或其他可編程處理器中）。還需 要理解的是，在專用以及永久配置的電路或在臨時(shí)配置的電路中（例如，由軟件設(shè)置），機(jī) 制上實(shí)施硬件模塊的決定可能是由成本和時(shí)間的考慮驅(qū)動(dòng)的。
[0079] 本文所述的示例性方法的各種操作可以由臨時(shí)配置（例如，由軟件）或永久配置 來執(zhí)行相關(guān)操作的一個(gè)或多個(gè)處理器至少部分地執(zhí)行。無論臨時(shí)或永久配置，這些處理器 可以由操作以執(zhí)行一個(gè)或多個(gè)操作或功能的處理器實(shí)現(xiàn)模塊組成。在一些示例性實(shí)施例 中，本文中所指的模塊可以包含處理器實(shí)現(xiàn)模塊。
[0080] 按照以比特或二進(jìn)制數(shù)字信號存儲在機(jī)器存儲器（例如，計(jì)算機(jī)存儲器104)中的 數(shù)據(jù)上的操作的算法或符號表示來呈現(xiàn)本說明書的一些部分，例如，圖3所描述的處理。這 些算法或符號表示是由那些在數(shù)據(jù)處理領(lǐng)域的普通技術(shù)人員使用以將他們工作的本質(zhì)傳 達(dá)給本領(lǐng)域其他技術(shù)人員的技術(shù)的示例。
[0081] 除非另外特別聲明，否則本文論述使用的諸如"處理"、"計(jì)算"、"計(jì)算"、"確定"、 "呈現(xiàn)"、"顯示"等可以指在一個(gè)或多個(gè)存儲器（例如，易失性存儲器、非易失性存儲器、或其 組合）、寄存器或其他接收、存儲、傳輸或顯示信息的機(jī)器部件中，操縱或變換表示為物理的 (例如，電子的、磁的、或光的）量的數(shù)據(jù)的機(jī)器（例如，計(jì)算機(jī)）的動(dòng)作或處理。
[0082] 如本文所使用的任何"一個(gè)示例性實(shí)施例"或"示例性實(shí)施例"的引用意味著與實(shí) 施例結(jié)合描述的特定元素、特征、結(jié)構(gòu)或特點(diǎn)包括在至少一個(gè)示例性實(shí)施例中。在說明書的 各種地方的短語"在一個(gè)示例性實(shí)施例中"的出現(xiàn)不一定都參考同一個(gè)實(shí)施例。
[〇〇83] 在閱讀本公開后，通過本文公開的原則，本領(lǐng)域技術(shù)人員將理解仍然有額外的可 替代的結(jié)構(gòu)性的以及功能性的設(shè)計(jì)用于面部識別的系統(tǒng)以及處理。因此，盡管圖示并描述 了特定實(shí)施例和應(yīng)用，但是應(yīng)當(dāng)理解的是，公開的實(shí)施例不限于本文公開的精確的構(gòu)造和 部件。在不偏離本公開的范圍的情況下，可以在本文公開的布置、操作以及方法和裝置的細(xì) 節(jié)中做出對本領(lǐng)域技術(shù)人員來說顯而易見的各種修改、改變以及變化。
【權(quán)利要求】
1. 一種用于優(yōu)化給定用戶的面部印記的計(jì)算機(jī)實(shí)現(xiàn)方法，所述面部印記包括用于在客 戶端處設(shè)備執(zhí)行面部識別的多個(gè)參考圖像，所述優(yōu)化包括： 計(jì)算面部候選與在多個(gè)用戶中的所述給定用戶的所述面部印記的所述多個(gè)參考圖像 之間的一個(gè)或多個(gè)距離，所述面部候選被評估以確定對于所述客戶端設(shè)備優(yōu)化的面部印 記； 在所述多個(gè)參考圖像中選擇具有到所述面部候選的一個(gè)或多個(gè)最小距離的參考圖像 集； 計(jì)算所述面部候選與所述多個(gè)用戶中的其他用戶的面部印記中的參考圖像之間的距 離，以及所述參考圖像集與所述多個(gè)用戶中的其他用戶的面部印記中的所述參考圖像之間 的距離； 從所述面部候選以及所述參考圖像集中選擇具有到所述多個(gè)用戶中的其他用戶的面 部印記中的所述參考圖像的一個(gè)或多個(gè)最大距離的、減少的參考圖像集；以及 將所述減少的參考圖像集提供給在所述優(yōu)化的面部印記中的所述客戶端設(shè)備。
2. 根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中，所述面部候選是所述給定用戶的新 的圖像。
3. 根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中，在所述多個(gè)參考圖像中選擇具有到 面部候選的一個(gè)或多個(gè)最小距離的所述參考圖像集包括：基于最接近的參考圖像的方位標(biāo) 識所述候選圖像的近似方位。
4. 根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中，如果到參考圖像的最小距離低于閾 值，則所述面部候選被拒絕，所述閾值指示所述面部候選未提供作為參考圖像的額外的識 別值。
5. 根據(jù)權(quán)利要求4所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中，對于具有所述最小距離的所述參考 圖像的存在率響應(yīng)于所述面部候選的拒絕而增加，所述存在率指示所述參考圖像的所述識 別值。
6. 根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中，計(jì)算所述面部候選與所述多個(gè)用戶 中的其他用戶的面部印記中的參考圖像之間的距離在具有可能被用來在所述客戶端設(shè)備 處捕獲的圖像中執(zhí)行識別的面部印記的用戶的網(wǎng)絡(luò)中被執(zhí)行。
7. 根據(jù)權(quán)利要求6所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中，所述用戶的網(wǎng)絡(luò)從所述用戶的社交 圖以及在所述客戶端設(shè)備處由所述用戶捕獲的圖像中頻繁地被標(biāo)識的用戶的分析被確定。
8. 根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中，具有到所述多個(gè)用戶中的其他用戶 的面部印記中的所述參考圖像的一個(gè)或多個(gè)最大距離的所述減少的參考圖像集減少了提 供誤報(bào)識別結(jié)果的比較的數(shù)目。
9. 根據(jù)權(quán)利要求6所述的計(jì)算機(jī)實(shí)現(xiàn)方法，其中，將所述減少的參考圖像集提供給在 所述優(yōu)化的面部印記中的所述客戶端設(shè)備包括：具有可能被用來在所述客戶端設(shè)備處捕獲 的圖像中執(zhí)行識別的面部印記的用戶的所述網(wǎng)絡(luò)的更新。
10. 根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)方法，進(jìn)一步包括所述減少的參考圖像集的分 析以標(biāo)識所述用戶面部的缺失的方位并且在所述缺失的方位處生成補(bǔ)充的參考圖像，所述 生成包括： 從所述減少的參考圖像集中選擇具有與所述缺失的方位最近的方位的參考圖像； 從所述參考圖像中創(chuàng)建所述用戶的3D面部表示；以及 將3維表示旋轉(zhuǎn)到所述缺失的方位以捕獲2維圖像用于補(bǔ)充所述減少的參考圖像集。
11. 一種用于優(yōu)化給定用戶的面部印記的系統(tǒng)，所述面部印記包括用于在客戶端設(shè)備 處執(zhí)行面部識別的多個(gè)參考圖像，所述系統(tǒng)包括： 面部印記服務(wù)器，所述面部印記服務(wù)器被配置為優(yōu)化在多個(gè)用戶中的所述給定用戶的 所述面部印記，所述優(yōu)化包括以下步驟： 計(jì)算面部候選與在所述多個(gè)用戶中的所述給定用戶的所述面部印記的所述多個(gè)參考 圖像之間的一個(gè)或多個(gè)距離，所述面部候選被評估以確定優(yōu)化的面部印記； 在所述多個(gè)參考圖像中選擇具有到所述面部候選的一個(gè)或多個(gè)最小距離的參考圖像 集； 計(jì)算所述面部候選與所述多個(gè)用戶中的其他用戶的面部印記中的參考圖像之間的距 離，以及所述參考圖像集與所述多個(gè)用戶中的其他用戶的面部印記中的所述參考圖像之間 的距離； 從所述面部候選以及所述參考圖像集中選擇具有到所述多個(gè)用戶中的其他用戶的面 部印記中的所述參考圖像的一個(gè)或多個(gè)最大距離的減少的參考圖像集，對于所述用戶的所 述優(yōu)化的面部印記包括所述減少的參考圖像集；以及 識別模塊，所述識別模塊被配置為接收所述優(yōu)化的面部印記以及用于多個(gè)其他用戶的 所述面部印記，以用于識別在所述客戶端設(shè)備處捕獲的圖像中的一個(gè)或多個(gè)用戶。
12. 根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，所述面部候選是從所述識別模塊接收的所述 給定用戶的新的圖像。
13. 根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，在所述多個(gè)參考圖像中選擇具有到面部候選 的一個(gè)或多個(gè)最小距離的所述參考圖像集包括：基于最接近的參考圖像的方位標(biāo)識所述候 選圖像的近似方位。
14. 根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，如果到參考圖像的最小距離低于閾值，則所述 面部候選被拒絕，所述閾值指示所述面部候選未提供作為參考圖像的額外的識別值。
15. 根據(jù)權(quán)利要求14所述的系統(tǒng)，其中，對于具有所述最小距離的所述參考圖像的存 在率響應(yīng)于所述面部候選的拒絕而增加，所述存在率指示所述參考圖像的所述識別值。
16. 根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，計(jì)算所述面部候選與所述多個(gè)用戶中的其他 用戶的面部印記中的參考圖像之間的距離在具有可能被用來在所述客戶端設(shè)備處捕獲的 圖像中執(zhí)行識別的面部印記的用戶的網(wǎng)絡(luò)中被執(zhí)行。
17. 根據(jù)權(quán)利要求16所述的系統(tǒng)，其中，所述用戶的網(wǎng)絡(luò)從所述用戶的社交圖以及由 所述客戶端設(shè)備的所述用戶捕獲的圖像中頻繁地被標(biāo)識的用戶的分析被確定。
18. 根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，具有到所述多個(gè)用戶中的其他用戶的面部印 記中的所述參考圖像的一個(gè)或多個(gè)最大距離的所述減少的參考圖像集減少了在所述識別 模塊處提供誤報(bào)識別結(jié)果的比較的數(shù)目。
19. 根據(jù)權(quán)利要求16所述的系統(tǒng)，其中，將所述減少的參考圖像集提供給在所述優(yōu)化 的面部印記中的識別模塊包括：具有可能被用來在所述客戶端設(shè)備處捕獲的圖像中執(zhí)行識 別的面部印記的用戶的所述網(wǎng)絡(luò)的更新。
20. 根據(jù)權(quán)利要求1所述的系統(tǒng)，進(jìn)一步包括所述減少的參考圖像集的分析以標(biāo)識所 述用戶面部的缺失的方位并且在所述缺失的方位處生成補(bǔ)充的參考圖像，所述生成包括： 從所述減少的參考圖像集中選擇具有與所述缺失的方位最近的方位的參考圖像； 從所述參考圖像中創(chuàng)建所述用戶的3D面部表示；以及 將3維表示旋轉(zhuǎn)到所述缺失的方位以捕獲2維圖像用于補(bǔ)充所述減少的參考圖像集。
【文檔編號】G06K9/00GK104054091SQ201280060598
【公開日】2014年9月17日 申請日期:2012年12月10日 優(yōu)先權(quán)日:2011年12月9日
【發(fā)明者】伊萬·科夫通, 沃洛季米爾·屈科, 尤里·S·穆薩堅(jiān)科, 邁克爾·杰森·米圖拉, 勞倫特·吉爾 申請人:視德公司