視頻中的增強的臉部識別的制作方法
【專利摘要】可通過確定用于處理的圖像信息的適當(dāng)幀來減少執(zhí)行過程例如圖像識別所需的計算資源。在一些實施方案中，紅外成像可用于確定人何時實質(zhì)上朝著設(shè)備看，使得在那時捕獲的圖像幀對臉部識別可能是足夠的，在其它實施方案中，聲三角測量或運動感測可用于幫助基于指示用于處理的正確幀的多個因素中的任一個來確定丟棄和選擇哪些所捕獲的圖像幀來處理。
【專利說明】視頻中的增強的臉部識別
[0001]背景
因為可用的計算設(shè)備的種類增加以及這些設(shè)備被用于的任務(wù)的種類增加，出現(xiàn)了適應(yīng)用戶與這些設(shè)備通過接口連接的方式的需要。在很多情況中，為了諸如安全或個人化的目的，對計算設(shè)備識別或驗證人的身份是合乎需要的。某些設(shè)備包括可用于捕獲圖像信息的視頻攝像機。分析視頻信息可占用大量處理器時間和消耗大量電力，使得只分析所捕獲的視頻的某些部分相反可能是合乎需要的。然而在很多情況中，用戶將不直接看著攝像機，或?qū)⒂羞\動模糊例如可從用戶或計算設(shè)備(#/身，平板計算機或智能電話)的移動產(chǎn)生。隨機視頻幀的選擇因此可導(dǎo)致附加捕獲和分析，直到適當(dāng)?shù)膸贿x擇，這可導(dǎo)致不必要的延遲和資源利用連同其它問題。
[0002]附圖簡述
將參考附圖描述根據(jù)本公開的各種實施方案，其中:
圖1示出示例性情況，其中計算設(shè)備根據(jù)各種實施方案捕獲包括設(shè)備附近的人的圖像信息以提供輸入；
圖2 (a)和圖2 (b)示出在從所捕獲的視頻饋送任意選擇幀時可捕獲的圖像的實例；圖3 (a)-3 (d)示出示例性情況，其中設(shè)備的至少一個攝像機可捕獲關(guān)于用戶的視頻信息并確定大致的頭部位置，其后，成像方法可用于根據(jù)一個實施方案確定用戶的臉的相對方位；
圖4 (a)和圖4 (b)不出基于如可根據(jù)各種實施方案確定的用戶的不同相對頭部位置的到設(shè)備的兩個麥克風(fēng)的音頻路徑長度中的差異；
圖5示出可根據(jù)各種實施方案使用的用于選擇視頻幀用于臉部識別的示例性過程；
圖6示出可根據(jù)各種實施方案使用的示例性設(shè)備；
圖7示出可在設(shè)備例如在圖6中示出的設(shè)備中利用的一組示例性部件；以及圖8示出其中可實現(xiàn)各種實施方案的環(huán)境的實例。
具體實施方案
[0003]根據(jù)本公開的各種實施方案的系統(tǒng)和方法可克服在向計算設(shè)備提供輸入的常規(guī)方法中經(jīng)受的前述和其它缺陷中的一個或多個。特別是，本文討論的方法使計算設(shè)備能夠從視頻饋送或其它圖像流選擇一個或多個幀或其它圖像部分以用于諸如臉部識別的目的。選擇具有某些方面或特征的幀的能力可增加選定的幀將適合于處理的可能性，這可減少使用視頻饋送獲得期望結(jié)果所需的資源的量。
[0004]在一個實施方案中，使用頭部檢測算法或人臉檢測算法對視頻饋送進行連續(xù)分析。在其它實施方案中，視頻饋送和/或分析可響應(yīng)于特定的動作或事件例如運動檢測器或光傳感器檢測到附近的運動或加速度計檢測到計算設(shè)備的運動而開始。一旦檢測到臉部或頭部，設(shè)備就可利用相對方位確定算法來試圖確定對應(yīng)于所檢測的臉的人是否實質(zhì)上面向攝像機。響應(yīng)于人實質(zhì)上面向攝像機的確定，可選擇視頻的對應(yīng)幀以用于處理，例如以在圖像幀的對應(yīng)于用戶的頭部的部分上執(zhí)行臉部識別。
[0005]在一個實施方案中，至少一個紅外(IR)發(fā)射器或接收器(或收發(fā)器)可從計算設(shè)備發(fā)射IR輻射并檢測從用戶反射的IR輻射。如果用戶至少部分地面向設(shè)備，則所反射的IR可包括對應(yīng)于用戶瞳孔(或用戶眼睛的其它特征)的位置的不同強度的區(qū)域。如在本領(lǐng)域中已知的，人眼與人臉的其余部分不同地反射某些IR波長，使得可使用所反射的IR快速且容易地定位瞳孔。在一些實施方案中，檢測兩個瞳孔可能足以選擇該幀作為用于處理的候選物。在其它實施方案中，設(shè)備可通過在所檢測的圖像信息中分析瞳孔的一個或多個方面來確定用戶是否實質(zhì)上面向設(shè)備。
[0006]在一些實施方案中，其它方法可用于確定用戶是否可能實質(zhì)上面向設(shè)備。例如，具有至少兩個麥克風(fēng)或其它音頻捕獲元件的設(shè)備可使用人所講的音頻的到達(dá)時間中的差異來確定用戶是否可能實質(zhì)上面向設(shè)備。在另一實例中，當(dāng)用戶實質(zhì)上面向設(shè)備時設(shè)備可使用戶能夠?qū)⑤斎雺嚎s到或以其它方式提供到設(shè)備，以便手動地激活圖像分析，例如可用于安全地開啟設(shè)備。又一些其它實施方案可確定當(dāng)用戶正執(zhí)行關(guān)于設(shè)備的某些動作例如在觸摸屏上打字或在界面上移動光標(biāo)時用戶可能面向設(shè)備。只要用戶實質(zhì)上面向設(shè)備，用戶的頭部在圖像的平面中的任何傾斜或旋轉(zhuǎn)(仍然面向設(shè)備)就是可接受的。然而，旋轉(zhuǎn)例如使用戶的頭部向下、向后或向側(cè)面傾斜(其中用戶不再實質(zhì)上面向設(shè)備)可減小臉部識別的準(zhǔn)確度或甚至阻止臉部識別。如果有人考慮三個旋轉(zhuǎn)軸1_7和A其中Z從右延伸到左，_7上下延伸，且Z相對于圖像和/或設(shè)備的平面進進出出地延伸，繞著Z的旋轉(zhuǎn)是可接受的，因為旋轉(zhuǎn)可被移除和/或在圖像中被抵消，但繞著Z或_7的旋轉(zhuǎn)對于圖像識別是成問題的。
[0007]下面關(guān)于各種實施方案中的至少一些描述和建議了很多其它替代和變化。
[0008]圖1示出示例性情況100，其中計算設(shè)備106包括能夠捕獲在設(shè)備周圍的一定范圍的角上的圖像信息的至少一個圖像捕獲元件108。雖然示出便攜式計算設(shè)備(#/身，手機、電子書閱讀器或平板計算機)，應(yīng)理解，根據(jù)本文討論的各種實施方案可使用能夠接收并處理輸入或至少能夠再現(xiàn)和/或顯示視覺內(nèi)容的任何電子設(shè)備。示例性設(shè)備還可包括例如桌上型計算機、筆記本計算機、個人數(shù)字助理、智能電話、視頻游戲控制臺、電視機頂盒和便攜式媒體播放器。
[0009]在這個實例中，在設(shè)備附近有兩個人102、104。對于很多應(yīng)用，為了多個目的中的任一個而確定一個或多個人的身份可能是合乎需要的，例如以提供對設(shè)備上的特征的安全訪問或記錄關(guān)于會議中的人的信息，等等。如果設(shè)備106具有帶有足夠的角捕獲范圍的至少一個攝像機，那么設(shè)備可試圖識別至少部分地包含在圖像信息中的任何人的身份。在設(shè)備(其中單個攝像機在設(shè)備的前面或后面)中，這可包括在設(shè)備的一側(cè)上的單個用戶的圖像信息。對于具有廣角透鏡或多個攝像機的設(shè)備，設(shè)備可同時捕獲關(guān)于在設(shè)備的給定范圍內(nèi)的多個人或物體的信息，并可試圖確定那些人或物體中的每個的身份。
[0010]不同的計算設(shè)備可具有不同類型的圖像捕獲元件。例如，一些設(shè)備可具有能夠在特定的時間點捕獲單個圖像的數(shù)字靜物攝像機、或能夠連續(xù)捕獲圖像信息的數(shù)字視頻攝像機，圖像信息在至少一些實施方案中可被稱為一組幀。對于過程例如相對準(zhǔn)確的圖像識別，被分析的圖像通常必須滿足某個最低標(biāo)準(zhǔn)。這可包括例如足夠的照明，且相反，但也可包括以下因素:如在圖像中面向的人的方向和圖像的聚焦的質(zhì)量。例如，圖2 (a)示出示例性圖像200，其中圖像中的人面向相對于圖像的一定角度，或不是用戶實質(zhì)上面向圖像捕獲元件的方位。當(dāng)例如在沒有先前方位分析的情況下任意地或以其它方式捕獲圖像時，可出現(xiàn)這樣的方位。當(dāng)從視頻流選擇幀時，類似的問題可產(chǎn)生，除非有視頻流的某種處理。分析視頻的每個幀或捕獲大量靜止圖像可能需要相當(dāng)大量的處理，這可能對于通常具有有限的可用資源和電池壽命的便攜式設(shè)備是不合乎需要的。然而，捕獲人在如圖2 (a)中的角度處的圖像可能導(dǎo)致不能使用常規(guī)臉部識別算法準(zhǔn)確地分析的圖像，因為當(dāng)圖像在有限范圍內(nèi)例如離法線加或減二十度被捕獲時，此類算法通常要求用戶實質(zhì)上面向圖像捕獲元件。
[0011]類似地，至少部分地由于圖像202中的運動模糊的量，在圖2 (b)中的圖像可能不對臉部識別過程產(chǎn)生準(zhǔn)確的結(jié)果。模糊可例如從在圖像捕獲期間的用戶的運動或在捕獲圖像時設(shè)備的運動產(chǎn)生。模糊也可由于其它因素例如成像元件的不正確聚焦或與元件相關(guān)的透鏡而出現(xiàn)。也可能存在可防止隨機選擇的圖像能夠通過臉部識別或其它圖像處理算法準(zhǔn)確地處理的多個其它問題中的任一個。
[0012]根據(jù)各種實施方案的系統(tǒng)和方法利用一個或多個附加輸入來試圖確定圖像信息的幀將可能為多種圖像處理算法中的任一個產(chǎn)生足夠的結(jié)果時的時間。可使用需要相對較低功率和/或處理且可在基于多個不同的因素中的任一個適當(dāng)激活的元件或部件來得到附加輸入。
[0013]例如，圖3 Ca)示出示例性情況300，其中人306站在計算設(shè)備302的圖像捕獲元件304的可見范圍308內(nèi)。在一些實施方案中，圖像捕獲元件304可以是能夠至少在特定的時間段內(nèi)捕獲圖像信息的實質(zhì)上連續(xù)的流的視頻捕獲元件。如所討論的，使用臉部識別算法或其它此類過程來處理整個視頻流可能是非常資源密集的。根據(jù)某些實施方案的方法替代地使用較不魯棒的算法，例如利用在隨后的幀中的關(guān)系或監(jiān)測所確定的局部特征的子集的算法，以試圖識別人的頭部或圖像流中的其它這樣的特征的存在。例如，在圖3 (a)中，算法可尋找在指定水平或范圍的確定性內(nèi)匹配人頭的形狀的輪廓或形狀。當(dāng)檢測到這樣的形狀或輪廓時，設(shè)備可在對應(yīng)于人頭的所捕獲的圖像信息中跟蹤相對位置或區(qū)域310。用于檢測和跟蹤形狀或輪廓的方法在本領(lǐng)域中是已知的，且因此將不在本文被詳細(xì)地描述。此夕卜，當(dāng)跟蹤被執(zhí)行且所跟蹤的物品保持在所捕獲的圖像信息中時，確定過程不需要被執(zhí)行。例如，一旦確定人的頭部位置，則可跟蹤該特征，而不必重新確定特征是人的頭部(除非頭部在最少量的時間內(nèi)在圖像之外，等等)。
[0014]在至少一些實施方案中，對人的頭部的檢測可促使至少一個方位確定過程被激活，或至少觸發(fā)活動的方位確定過程的一部分。在一個實例中，計算設(shè)備可具有至少一個紅外(IR)發(fā)射器和接收器或至少一個IR收發(fā)器(例如隨后在圖6中示出的)。如在本領(lǐng)域中已知的，人眼與人頭的其余部分不同地反射IR輻射，使得用戶的眼睛的位置可通過分析所捕獲的IR圖像而快速被檢測到和/或定位。此類信息可用于幫助選擇將被分析來用于臉部識別或其它識別的人的至少一個圖像。例如，圖3 (b)示出實例(其中將有在對應(yīng)于所檢測的頭部位置的區(qū)域中被檢測到的一個瞳孔)例如可對應(yīng)于背離設(shè)備或部分地被阻塞物阻擋的用戶。因此，如果單個瞳孔的檢測被分析，那么其可向設(shè)備指示圖像信息的對應(yīng)的當(dāng)前捕獲的幀將可能不會產(chǎn)生準(zhǔn)確的結(jié)果。因此，當(dāng)結(jié)果將可能更準(zhǔn)確時，設(shè)備可等待一段時間。在至少一些實施方案中，因為用戶將可能只相對于設(shè)備移動得這么快，某些特征在所捕獲的圖像信息中不可見的確定可促使信息的幾個幀或秒在再次試圖定位特征之前被跳過，以便在所述特征將不可能存在時節(jié)省電力和資源。
[0015]在圖3 (C)中，可能有在對應(yīng)于所確定的頭部位置308的所反射IR中檢測到的兩個特征，所述兩個特征可能對應(yīng)于人的兩個瞳孔。在一些實施方案中，在所捕獲的IR中的兩個瞳孔的存在可足以使對應(yīng)的圖像被選擇用于分析。當(dāng)檢測到兩個瞳孔時，用戶可在相當(dāng)大百分比的時間內(nèi)充分面向攝像機，使得設(shè)備或應(yīng)用被配置成當(dāng)兩個瞳孔存在時使用圖像，知道這些圖像的百分比仍將不產(chǎn)生準(zhǔn)確的結(jié)果。在對每個圖像完成的處理的量與附加圖像將需要被捕獲和分析的時間的百分比之間可達(dá)成平衡。
[0016]在一些實施方案中，對應(yīng)于檢測到的頭部位置的僅僅兩個瞳孔狀特征的存在不足以選擇對應(yīng)的圖像幀用于處理。至少一些實施方案也考慮到以下因素:例如在所檢測的頭部位置中的那些特征的相對位置和/或間距。例如，在圖3 (c)中，可看到，在瞳孔特征310之間的中心點實質(zhì)上相對于所檢測的頭部位置308偏離中心。在至少一些實施方案中，瞳孔之間的中心點必須在離頭部區(qū)域的中心點的距離(所確定的頭部區(qū)域308的寬度)的給定百分比內(nèi)，以使圖像被選擇。在圖3 (c)中，中心位置可足夠遠(yuǎn)離頭部區(qū)域的中心，以使圖像不被選擇來用于處理。此外，一些過程可分析瞳孔特征之間的間距320以確定人是否實質(zhì)上朝著圖像捕獲元件看。對于一般人而言，存在一定范圍的瞳孔間距(作為頭部寬度的百分比或分?jǐn)?shù))，其將對應(yīng)于實質(zhì)上面向圖像捕獲元件的人。在圖3 (c)中，在瞳孔特征之間的間距320小于在圖3 (d)中的間距，其中人實質(zhì)上正朝著圖像捕獲元件看。因此，雖然一些實施方案由于兩個檢測到的瞳孔的存在而將選擇對應(yīng)于圖3 (c)的定時的圖像，其它實施方案可能由于至少所述瞳孔足夠偏離中心或具有指示人可能實質(zhì)上不朝著圖像捕獲元件看的間距而不選擇這樣的圖像。
[0017]圖3 Cd)示出示例性情況，其中在至少一些實施方案中可選擇對應(yīng)于時間點的圖像幀。在該實例中，在所確定的頭部區(qū)域308中檢測到對應(yīng)于瞳孔狀特征的兩個特征。在瞳孔310之間的中心點接近頭部區(qū)域的中心，且特征之間的間距在指示用戶面向圖像捕獲設(shè)備的范圍內(nèi)。因此，經(jīng)分析的IR數(shù)據(jù)可促使設(shè)備利用當(dāng)前正被捕獲(假設(shè)以足夠頻繁的捕獲率)或在大約IR分析的時間被捕獲(假設(shè)圖像或視頻信息的至少一些緩沖)的圖像。查看相對于所檢測的頭部區(qū)域的維度可抵消在圖像之間的標(biāo)度的差異，并簡化確定過程。
[0018]在設(shè)備具有多于一個圖像捕獲元件的實施方案中，可使用來自多個攝像機的圖像信息做出確定以確定用戶正面向、最接近哪個攝像機，等等。在其它實施方案中，可利用來自單個圖像捕獲元件的經(jīng)分析的圖像信息以試圖確定用于面部識別的最佳圖像捕獲元件。一旦這樣的確定被做出，所選擇的圖像捕獲元件就可用于執(zhí)行對那個人的臉部識別。也可利用多個攝像機的其它優(yōu)點。例如，如果用戶的頭部位置被跟蹤，則所述跟蹤在例如不同的攝像機視圖中可以是連續(xù)的，使得由于圖像信息由不同的攝像機捕獲而無需執(zhí)行附加檢測或其它這樣的過程。
[0019]在至少一些實施方案中，可在選擇這樣的圖像之前對其它方面進行分析。例如，一些方法也可能也考慮到瞳孔相對于頭部區(qū)域的垂直位置，以確定用戶是否可能在圖像中向上或向下看得太遠(yuǎn)以產(chǎn)生準(zhǔn)確的結(jié)果。在其它實施方案中，可分析瞳孔信息的形狀以確定圖像是否可能聚焦。例如，如果瞳孔不具有在所反射的IR中的定義明確的邊緣，則可能存在可類似地防止所捕獲的圖像信息聚焦的運動或另一問題。類似地，如果瞳孔不具有實質(zhì)上圓形的形狀，則它可指示存在可能防止圖像信息在被分析時產(chǎn)生準(zhǔn)確結(jié)果的移動或另一問題。在一些實施方案中，多個波長可用于確保特征實際上對應(yīng)于人眼，如將在本文稍后更詳細(xì)地討論的。用于確定人眼的形狀或其它參數(shù)的方法可在例如于2010年5月24日提交的且標(biāo)題為“Determining Relative Mot1n as Input”的共同未決的美國專利申請?zhí)?2/786，297中找到，該專利申請通過弓I用的方式并入本文。
[0020]在其它實施方案中，設(shè)備可能不具有IR能力，或可能利用不會消耗大量電力的方法，因為使用IR輻射照亮區(qū)域可能對至少一些設(shè)備而言需要相當(dāng)大的功率。甚至在IR源產(chǎn)生脈動或以其它方式被定時以與所檢測的頭部或頭部位置對應(yīng)的場合，例如在至少一些情況下所需電力的量可多于所期望的量。
[0021]因此，根據(jù)某些實施方案的設(shè)備可利用其它輸入，例如立體聲麥克風(fēng)或多個音頻捕獲元件，以試圖確定人何時實質(zhì)上面向設(shè)備。例如，圖4 (a)示出情況400，其中人402在講話時正面向相對于電子設(shè)備404的角度。如在本領(lǐng)域中已知的，聲音以實質(zhì)上恒定的速度在公共介質(zhì)(例如空氣)中傳播，使得在離音頻源不同距離處的音頻捕獲元件將在不同的時間捕獲相同的音頻。使用方法例如到達(dá)時間確定，在公共音頻信號的到達(dá)之間的時間差可用于確定音頻源的近似的位置或至少方向。如可在圖4 (a)中看到的，當(dāng)人使他或她的頭部相對于設(shè)備傾斜或以其它方式遠(yuǎn)離設(shè)備前面的中心方向410定位時，到音頻捕獲元件408中的一個的路徑長度414將比到電子設(shè)備404的另一音頻捕獲元件的路徑長度412短?？衫缁谥v話或唱歌的人所產(chǎn)生的音頻來做出人可能不在設(shè)備前面或面向設(shè)備的確定，使得對應(yīng)的圖像可能不會產(chǎn)生準(zhǔn)確的處理結(jié)果。
[0022]在圖4(b)中，另一方面，路徑長度412、414實質(zhì)上是相等的，使得由人產(chǎn)生的音頻在實質(zhì)上相同的時間被麥克風(fēng)406、408捕獲，指示用戶可能接近設(shè)備的中心方向410并實質(zhì)上面向設(shè)備。在至少一些實施方案中，這樣的確定可足以促使在實質(zhì)上相同的時間捕獲的圖像被選擇來用于處理。在一些實施方案中，音頻源的確定的方向可與相對于設(shè)備的頭部位置的確定的方向比較。例如，如果人的頭部位于攝像機可視區(qū)域中心偏右側(cè)30度，且所確定的音頻源在約相同的角度處，則設(shè)備可足以確定用戶正面向設(shè)備(雖然從一角度)，使得人可能能夠使用適當(dāng)?shù)乃惴ㄔ趫D像中被識別。在其它實施方案中也可使用各種其它方法。
[0023]圖5示出可用于選擇幀以用于根據(jù)各種實施方案處理的過程500的實例。然而應(yīng)理解，可能有在各種實施方案的范圍內(nèi)以類似或可選的順序或并行地執(zhí)行的附加的附加的、較少的或可選的步驟，除非另有規(guī)定。在本例該實例中，視頻捕獲在設(shè)備502上被激活。如在本文其它地方討論的，所述捕獲可響應(yīng)于某個事件或動作例如檢測運動、音頻或設(shè)備附近的熱識別特征的類型而被手動或自動激活。在本例該實例中，所捕獲的視頻流可被監(jiān)測以使用適當(dāng)?shù)臋z測算法504檢測用戶的頭部或臉部的可能存在。如所討論的，在其它實例中，頭部檢測可響應(yīng)于檢測例如瞳孔或音頻而被觸發(fā)，或在分析僅基于視頻捕獲和例如瞳孔檢測而不需要單獨地確定頭部位置的某些實施方案中可能根本不被使用。
[0024]當(dāng)在所捕獲的視頻中檢測到特征例如人的頭部存在時，可激活方位檢測過程(506)。如所討論的，這可包括觸發(fā)紅外檢測算法、分析所捕獲的音頻或監(jiān)測另一這樣類型的輸入。這樣的過程可試圖確定人何時處于相對于計算設(shè)備的相對方位上，使得人被確定為實質(zhì)上面向設(shè)備的圖像捕獲元件?？山又治鰜碜苑轿粰z測過程的信息，所述信息對應(yīng)于視頻信息510的當(dāng)前幀。對于IR檢測，這可包括確定人的眼睛的一個或多個是否出現(xiàn)在所捕獲的IR圖像中，以及那些眼睛是否滿足任何尺寸、形狀、位置或間距標(biāo)準(zhǔn)。對于音頻分析，這可包括確定人在講話時的相對方向。如果確定用戶實質(zhì)上面向設(shè)備512，則至少在可允許的偏差范圍內(nèi)，視頻的當(dāng)前幀或至少對應(yīng)于方位確定的時間的幀可被選擇來用于處理(516)，例如用于物體識別或臉部識別。如果確定用戶在可接受的偏差內(nèi)實質(zhì)上不面向設(shè)備或在以可接受水平的確定性不可做出確定的情況下，則信息可被丟棄(除非對其它目的是需要的)且設(shè)備可等待分析隨后的幀514，幀514接著可經(jīng)歷過程的類似部分。在一些實施方案中，方位的分析將以某個頻率出現(xiàn)，例如以使IR以不大于最大頻率產(chǎn)生脈動，以便節(jié)省設(shè)備上的電力?？墒褂酶鞣N其它觸發(fā)方法，如根據(jù)本文包含的教導(dǎo)和建議應(yīng)明顯的。
[0025]圖6示出可根據(jù)各種實施方式設(shè)施方式使用的電子計算設(shè)備600的實例。如所討論的，也可使用在各種實施方案的范圍內(nèi)的各種其它類型的電子設(shè)備。這個示例性設(shè)備包括用于向用戶顯示信息的顯示元件612，如本領(lǐng)域中已知的。示例性設(shè)備還包括至少一個運動確定元件608，例如加速度計或陀螺儀元件，其可用于確定設(shè)備的運動，這可幫助使用本文描述的各種方法來預(yù)測所捕獲的圖像的模糊或焦點。設(shè)備還包括用于捕獲關(guān)于設(shè)備的用戶的圖像信息的至少一個圖像捕獲元件。成像元件可包括例如攝像機、電荷耦合器件(CXD)、運動檢測傳感器或輻射傳感器連同很多其它可能性。圖6中的示例性設(shè)備包括用于使用環(huán)境光來捕獲圖像信息的數(shù)字視頻攝像機616，如本領(lǐng)于中已知的。示例性設(shè)備還包括紅外(IR)發(fā)射器602和兩個IR檢測器604、606 (雖然也可使用在各種實施方案的范圍內(nèi)的單個檢測器和兩個發(fā)射器)。IR發(fā)射器602可被配置成發(fā)射IR輻射，且每個檢測器可檢測從用戶(或其它這樣的表面或物體)反射的IR輻射。在這個實例中，通過使檢測器偏移，每個檢測器將檢測以不同角度反射的輻射。
[0026]在圖6所不的實例中，將第一 IR檢測器604定位成實質(zhì)上相鄰于IR發(fā)射器602,使得第一 IR檢測器將能夠捕獲在實質(zhì)上與檢測器的捕獲平面正交的方向上從表面例如查看者的視網(wǎng)膜反射回的紅外輻射。將第二 IR檢測器606定位在遠(yuǎn)離IR發(fā)射器602的一段距離處，使得檢測器將僅檢測以相對于正交方向的一定角度反射的IR輻射。當(dāng)使后向反射器例如用戶的視網(wǎng)膜成像時，第二 IR發(fā)射器將由于IR發(fā)射器而檢測到很少或幾乎沒有反射輻射，因為視網(wǎng)膜將不在第二發(fā)射器的方向上明顯反射(雖然疵點、微?；蜃兓墒挂恍┹椛淦D(zhuǎn))。如在本文稍后討論的，在圖像當(dāng)中的這個差異可用于確定用戶的視網(wǎng)膜的位置(和其它方面)，因為在兩個圖像之間的IR反射中的差異將明顯在瞳孔或其它這樣的特征附近，但圖像的其余部分將實質(zhì)上是類似的。
[0027]在可選的實施方案中，計算設(shè)備利用一對IR發(fā)射器(例如，IR發(fā)光二極管(LED)、IR激光二極管或其它這樣的部件)，以用不使用戶分心(或甚至可檢測到)的方式照亮用戶的臉，其中反射的光由單個IR傳感器捕獲。將LED分開足夠的距離，使得傳感器在該輻射從傳感器附近的LED發(fā)射時將檢測來自瞳孔的反射輻射，且在該輻射從定位成遠(yuǎn)離傳感器的LED發(fā)射時將不檢測反射輻射。傳感器可捕獲使設(shè)備能夠分析反射IR光的用戶特征(例如用戶的瞳孔或牙齒)的IR圖像。算法可試圖計算對應(yīng)于例如在用戶眼睛之間等距位置的三維空間Cr, j, z)中的位置，并且可使用這個位置來跟蹤用戶移動和/或確定頭部運動?？墒褂美脝蝹€IR發(fā)光二極管和一對IR傳感器的類似的方法，如上討論的。因此，設(shè)備可引導(dǎo)來自兩個位置的IR或檢測來自兩個位置的IR，這些位置中的只有一個位置接收來自用戶視網(wǎng)膜的向后反射輻射。其它實施方案可利用用于例如通過要求用戶戴眼鏡來執(zhí)行頭部跟蹤的其它方法，該眼鏡發(fā)射來自點源等的IR輻射。
[0028]在一些實施方案中，當(dāng)使用在兩個方向上的單個波長IR (M#,940nm)時利用單個發(fā)射器和兩個檢測器可能是優(yōu)選的，因為使用單個攝像機可能更便宜，但也要求來自不同方向的圖像在不同的時間被捕獲。在不同的時間捕獲圖像的不利之處是，在此期間的移動可影響甚至對于約30Hz (或15Hz用于兩個攝像機，以得到相同的分辨率)的捕獲頻率的確定。多攝像機系統(tǒng)的優(yōu)點是，圖像可實質(zhì)上同時被捕獲，使得圖像之間的移動被最小化。然而，這樣的方法的潛在不利之處是，由于從兩個不同的觀察點捕獲圖像，在圖像中可能有光學(xué)變化。
[0029]在一個實施方案中，單個檢測器可用于檢測在兩個不同的波長處被反射的輻射。例如，第一 LED可發(fā)射在由視網(wǎng)膜反射的波長(#/身，940nm)處的輻射，而第二 LED可發(fā)射在由人眼的角膜和/或其它部位吸收的波長(#/身，IlOOnm)處的輻射?？芍辽俨糠值鼗诓ㄩL相對于人眼的反射特性而在選定波長范圍內(nèi)選擇特定的波長。例如，實驗指示光具有在約940nm下的小于50%吸收率(對于一般人眼而言)、在約940nm和約1030nm之間的高于50%吸收率、對于在約1040nm與約IlOOnm之間的波長的約50%吸收率以及在1150nm及以上的約100%吸收率。因此，可選擇落在這些范圍的至少一些內(nèi)的發(fā)射器，例如具有明顯小于50%吸收率的第一 IR發(fā)射器和具有明顯大于50%吸收率的第二 IR發(fā)射器。在至少一些實施方案中，特定的波長還可基于可用設(shè)備的波長。例如，可選擇具有相對低的吸收率的在904nm處的可用激光二極管,并可選擇具有相對高的吸收率的在980nm和1064 nm處的可用激光二極管。在一些實施方案中，較高波長二極管的功率輸出可按比例升高到實質(zhì)上與由CMOS傳感器(或其它這樣的檢測器)感知的較低波長二極管的亮度匹配，CMOS傳感器的敏感度可在約IlOOnm的值處降低到幾乎為零，使得在至少一個實施方案中，兩個發(fā)射器具有91nm和970nm的波長。
[0030]使用兩個波長的優(yōu)點是，LED可同時發(fā)射輻射，只要因而產(chǎn)生的圖像能夠被分解，以便提取對應(yīng)于每個波長的圖像信息。在本文其它地方討論了用于分解這樣的圖像的各種方法。然后，可將LED定位于攝像機附近，或者如果所述LED在(至少)兩個感興趣的頻率下操作，那么可以使用攝像機附近的單個LED或發(fā)射器。
[0031]可將發(fā)射器和檢測器以及任何環(huán)境光攝像機或其它圖像捕獲元件定位于設(shè)備上最不可能干擾用戶對設(shè)備的操作的位置中。例如，如果確定普通用戶通過設(shè)備的任一側(cè)的中部且主要在設(shè)備的右側(cè)上或底部上握住設(shè)備，則可將發(fā)射器和檢測器定位于設(shè)備的角處，主要在設(shè)備的左手側(cè)或頂部上。在另一實施方案中，可能有定位于設(shè)備上的附加IR發(fā)射器(未示出)，這些IR發(fā)射器以不同的頻率發(fā)射IR。通過檢測哪些頻率由檢測器接收，設(shè)備可確定關(guān)于用戶注視的方位的特定信息。使用IR光來檢測相對眼位置的進一步的討論可在2010年5月24日提交的且標(biāo)題為“Determining Relative Mot1n as Input”的共同未決的美國專利申請?zhí)?2/786，297中找到，該專利特此通過引用被并入本文。
[0032]在一些實施方案中，用戶參與解釋諸如來自用戶的眼反射的強度的方面的校準(zhǔn)過程以及確定尺寸、校準(zhǔn)方向確定等可能是有用的。如果用戶使用降低反射能力等的眼鏡，這樣的方法也可能是有用的。
[0033]如所討論的，也可為了各種目的而提供其它類型的輸入。例如，設(shè)備可包括在設(shè)備600的至少一部分周圍例如在設(shè)備的后面和/或側(cè)面上的觸摸式和/或壓力敏感元件610。使用這樣的材料，設(shè)備能夠確定用戶是否正主動握住設(shè)備和/或可使用戶能夠通過握住設(shè)備的至少一部分來應(yīng)用輸入。輸入信息可用于使用戶能夠觸發(fā)手動認(rèn)證，例如以執(zhí)行設(shè)備的安全開啟。用戶可實質(zhì)上面向設(shè)備并握住、揮擊或以其它方式向設(shè)備上的區(qū)域提供輸入，此時，設(shè)備可通過該輸入確定用戶可能看著屏幕并可使用最近或隨后捕獲的圖像信息以使用臉部識別或其它這樣的算法進行處理。設(shè)備還可通過使用材料來確定設(shè)備的哪些部分可能被用戶的手覆蓋。在這樣的實施方案中，多個攝像機和/或IR發(fā)射器可定位于設(shè)備上不同的位置處，且基于用戶正握住設(shè)備的地方(欲，哪些IR發(fā)射器被覆蓋與未覆蓋)，系統(tǒng)可確定在捕獲圖像時使用哪個(些)元件。
[0034]圖6中的示例性設(shè)備還包括單獨的檢測元件116，例如運動傳感器、熱識別特征檢測器或光傳感器。這樣的元件可提供輸入，例如是否有足夠的照明用于使圖像被分析，以及在房間中是否可能有人，以用于激活圖像捕獲或方位確定過程的目的。此外，光檢測傳感器可幫助設(shè)備補償在光或亮度上的大調(diào)節(jié)，這可促使用戶的瞳孔放擴大，等等。例如，當(dāng)用戶在黑暗的房間中操作設(shè)備且有人開燈時，用戶的瞳孔的直徑將發(fā)生變化改變。如同上述實例一樣，如果設(shè)備包括可在不同的模式中操作的顯示元件，則設(shè)備也可基于用戶的瞳孔放擴大中的變化來切換模式。為了使設(shè)備正確地解釋設(shè)備與和用戶之間的間距中的變化，光檢測傳感器可使注視跟蹤臨時被禁用擴大，直到用戶的眼睛靜止不動且重新校準(zhǔn)過程被執(zhí)行為止。也可使用在各種實施方案的范圍內(nèi)的補償光變化的各種其它這樣的方法。
[0035]圖6中的示例性設(shè)備600被示為還包括麥克風(fēng)614或其它這樣的音頻捕獲設(shè)備。如圖4 (a)所示的，例如設(shè)備可包括多個音頻捕獲元件，所述音頻捕獲元件其可用于幫助確定在二維或三維中的音頻源的相對方向或位置。在至少一些實施方案中，設(shè)備也可基于由麥克風(fēng)檢測到的聲音來觸發(fā)各種動作。例如，如果設(shè)備檢測到來自人的語音，則設(shè)備可激活視頻捕獲以試圖定位和/或識別講話的人。
[0036]在圖6的示例性配置中，每個成像元件604、606、616在計算設(shè)備的同--般側(cè)上作為顯示元件，使得當(dāng)用戶查看顯示元件中的界面時，成像元件具有可見區(qū)域，根據(jù)該實例，可見區(qū)域包括用戶的臉。雖然在一些實施方案中成像元件相對于設(shè)備是固定的，但是在其它實施方案中，成像元件可操作來例如通過旋轉(zhuǎn)成像元件或?qū)⒐庖龑?dǎo)到成像元件的光學(xué)元件(#/身，透鏡、反射鏡等)來跟蹤用戶的位置。在一些實施方案中，設(shè)備可包括在設(shè)備的側(cè)面、后面或角上或在任何其它這樣的位置上的捕獲元件，所述捕獲元件可捕獲在設(shè)備周圍的任何適當(dāng)方向上的圖像信息。在一些實施方案中，設(shè)備可同時使在設(shè)備周圍的不同位置上的多個人成像并識別這些人，并使用各種元件隨著時間的過去跟蹤那些人。
[0037]圖7示出示例性計算設(shè)備700 (例如關(guān)于圖6描述的設(shè)備)的一組基本部件。雖然在本文的很多實例中描繪了便攜式智能設(shè)備，但是計算設(shè)備可以是能夠接收并處理輸入命令的任何適當(dāng)?shù)脑O(shè)備，例如個人計算機、膝上型計算機、電視機頂盒、蜂窩電話、PDA、電子書閱讀設(shè)備、視頻游戲系統(tǒng)或便攜式媒體播放器及其它設(shè)備。在該實例中，設(shè)備包括處理器702，其用于執(zhí)行可存儲在存儲器設(shè)備或元件704中的指令。如在本領(lǐng)域中已知的，設(shè)備可包括很多類型的存儲器、數(shù)據(jù)存儲器或計算機可讀介質(zhì)，例如用于由處理器702執(zhí)行的程序指令的第一數(shù)據(jù)存儲器、用于圖像或數(shù)據(jù)的單獨存儲器、用于與其它設(shè)備共享信息的可移動存儲器等。設(shè)備通常將包括某種類型的顯示元件706，例如液晶顯示器(IXD)，然而設(shè)備例如便攜式媒體播放器可能經(jīng)由其它裝置(例如通過音頻揚聲器)來傳送信息。如所討論的，在很多實施方案中，設(shè)備將包括至少一個成像元件708，例如能夠使用戶的臉部區(qū)域成像的攝像機、傳感器或檢測器。成像元件可包括任何適當(dāng)?shù)募夹g(shù)，例如CCD成像元件，其具有足夠的分辨率、焦距和可見區(qū)以當(dāng)用戶操作設(shè)備時捕獲用戶的圖像。用于使用具有計算設(shè)備的成像元件捕獲圖像的方法在本領(lǐng)域中是公知的，且將不在本文將進行詳細(xì)地討論。應(yīng)理解，可使用單個圖像、多個圖像、周期性成像、連續(xù)圖像捕獲、圖像流式傳送等來執(zhí)行圖像捕獲。此外，設(shè)備可包括例如當(dāng)從用戶、應(yīng)用或其它設(shè)備接收命令時開始和/或停止圖像捕獲的能力。
[0038]在一些實施方案中，設(shè)備可包括能夠幫助選擇如在本文其它地方討論的適當(dāng)圖像的至少一個方位確定元件710。在一個實例中,所述至少一個方位確定元件是至少一個單軸加速度計或多軸加速度計，其能夠檢測例如設(shè)備的三維位置以及設(shè)備的移動幅度和方向以及振動、震動等因素。用于使用元件(例如加速度計)來確定設(shè)備的方位或移動的方法在本領(lǐng)域中也是已知的，且將不在本文進行詳細(xì)討論。也可使用在各種實施方案的范圍內(nèi)的用于檢測方位和/或移動的其它兀件，其用作方位確定兀件。在一些實施方案中，方位確定兀件可確定設(shè)備何時移動并可能產(chǎn)生模糊的圖像，且可防止IR在此期間產(chǎn)生脈動以便節(jié)省電力，因為至少基于設(shè)備的運動，圖像信息將可能不是有用的。
[0039]設(shè)備可包括能夠從用戶接收常規(guī)輸入的至少一個附加輸入設(shè)備712。這個常規(guī)輸入可包括例如按鈕、觸摸板、與顯示器一起使用的觸敏元件、輪、操縱桿、鍵盤、鼠標(biāo)、小鍵盤或任何其它這樣的設(shè)備或元件，由此用戶可向設(shè)備輸入命令。一些設(shè)備還可包括麥克風(fēng)或接受語音或其它音頻命令的其它音頻捕獲元件。例如，設(shè)備可能根本不包括任何按鈕，但可能僅通過視覺或音頻命令的組合來控制，使得用戶可控制設(shè)備而不必與設(shè)備接觸。如在本文稍后將討論的，也可至少部分地基于用戶的所確定的注視方向或其它此類信息來調(diào)節(jié)或控制這些附加輸入設(shè)備的功能。
[0040]在一些實施方案中，一個或多個圖標(biāo)或其它通知可顯示在設(shè)備上以向用戶指示IR照明是活動的，或圖像識別被執(zhí)行。在一些實施方案中，設(shè)備上的光(濟^/7，LED)可照亮，以便通知用戶臉部識別被激活，以便向用戶發(fā)信號通知用戶應(yīng)看著設(shè)備并保持相對靜止，直到過程可完成為止。也可適當(dāng)使用各種其它通知。
[0041]也可使用在各種實施方案的范圍內(nèi)的多種其它方法。例如，熱成像或另一這樣的方法可用于試圖確定并跟蹤個人用戶的至少一些方面的位置。在很多情況下，成像系統(tǒng)需要足夠小和便宜用于大規(guī)模銷售，使得簡單或常規(guī)成像方法和部件可能是優(yōu)選的。某些現(xiàn)有的攝像機可檢測紅外輻射，但通常利用IR濾波器。利用沒有IR濾波器且可能具有環(huán)境光濾波器的這些攝像機可允許這些相對廉價的設(shè)備用作IR檢測器。
[0042]其它常規(guī)元件可用于降低能夠執(zhí)行本文討論的方法的計算設(shè)備的成本，但可能較不準(zhǔn)確和/或可能需要較大的設(shè)備。例如，圖像可使用分束器(#/身，鍍銀鏡)分開，使得一半反射光被反射到不同的位置(#/身，傳感器的部分)。類似地，各種光學(xué)元件例如光學(xué)干涉儀可用于試圖獲得準(zhǔn)確的距離測量。
[0043]用于這樣的目的的計算設(shè)備可為了在本領(lǐng)域中已知的任何適當(dāng)?shù)哪康脑谌魏芜m當(dāng)?shù)沫h(huán)境中操作或隨后被發(fā)展。此外，本文討論的各種方法可在各種環(huán)境中實現(xiàn)，以用于各種應(yīng)用或用途。分析的部分也可被發(fā)送或卸載到可能具有更多可用資源和/或能力的遠(yuǎn)程設(shè)備。例如，圖8示出用于實現(xiàn)根據(jù)各種實施方案的方面的環(huán)境800的實例。如將認(rèn)識到的，雖然基于網(wǎng)絡(luò)的環(huán)境用于解釋的目的，但是也可適當(dāng)使用不同的環(huán)境，以實現(xiàn)各種實施方案。所示的環(huán)境800包括各種電子客戶端設(shè)備802，其可包括可操作來通過適當(dāng)?shù)木W(wǎng)絡(luò)804發(fā)送和接收請求、消息或信息并將信息傳送回到設(shè)備的用戶的任何適當(dāng)?shù)脑O(shè)備。這樣的客戶端設(shè)備的實例包括個人計算機、手機、手持式消息設(shè)備、膝上型計算機、機頂盒、個人數(shù)字助理、電子書閱讀器等。每個客戶端設(shè)備可能夠運行至少一個運動或方位控制的接口，如本文討論或建議的。在一些情況下，接口的所有功能將在設(shè)備上產(chǎn)生。在其它實施方案中，至少一些功能或內(nèi)容將響應(yīng)于從至少一個網(wǎng)絡(luò)804上接收的指令或信息而產(chǎn)生。
[0044]網(wǎng)絡(luò)804可包括任何適當(dāng)?shù)木W(wǎng)絡(luò)，包括內(nèi)聯(lián)網(wǎng)、互聯(lián)網(wǎng)、蜂窩網(wǎng)絡(luò)、局域網(wǎng)或任何其它這樣的網(wǎng)絡(luò)或其組合。用于這樣的系統(tǒng)的部件可至少部分地取決于網(wǎng)絡(luò)的類型和/或所選擇的環(huán)境。用于經(jīng)由這樣的網(wǎng)絡(luò)進行通信的協(xié)議和部件是公知的，且不在本文進行詳細(xì)討論。通過網(wǎng)絡(luò)進行通信可通過有線或無線連接和其組合來實現(xiàn)。在該實例中，網(wǎng)絡(luò)包括互聯(lián)網(wǎng)，因為環(huán)境包括主要內(nèi)容提供者806和補充內(nèi)容提供者808。每個提供者可包括用于從用戶設(shè)備802接收請求并響應(yīng)于其而提供內(nèi)容的至少一個網(wǎng)絡(luò)服務(wù)器806，然而對于其它網(wǎng)絡(luò)，可使用用于類似目的的替代設(shè)備，如對本領(lǐng)域中的普通技術(shù)人員明顯的。
[0045]在該說明性環(huán)境中的每個內(nèi)容提供者包括至少一個應(yīng)用服務(wù)器812、814、822或與至少一個數(shù)據(jù)存儲816、818、824進行通信的其它這樣的服務(wù)器。應(yīng)理解，可以有若干應(yīng)用服務(wù)器、層和/或其它元件、過程或部件，其可以鏈接在一起或以其它方式被配置，可相互作用以執(zhí)行例如從適當(dāng)?shù)臄?shù)據(jù)存儲獲得數(shù)據(jù)等任務(wù)。如在本文使用的，術(shù)語“數(shù)據(jù)存儲”指能夠存儲、訪問和檢索數(shù)據(jù)的任何設(shè)備或設(shè)備的組合，其可包括在任何標(biāo)準(zhǔn)、分布式或集群環(huán)境中的任何組合和數(shù)量的數(shù)據(jù)服務(wù)器、數(shù)據(jù)庫、數(shù)據(jù)存儲設(shè)備和數(shù)據(jù)存儲介質(zhì)。應(yīng)用服務(wù)器可包括任何適當(dāng)?shù)挠布蛙浖鲇布蛙浖糜诟鶕?jù)需要與數(shù)據(jù)存儲集成以執(zhí)行對客戶端設(shè)備的一個或多個應(yīng)用的方面、處理大部分?jǐn)?shù)據(jù)訪問和應(yīng)用的業(yè)務(wù)邏輯。應(yīng)用服務(wù)器與數(shù)據(jù)存儲協(xié)作來提供訪問控制服務(wù)，并能夠產(chǎn)生將被傳送給用戶的內(nèi)容(例如文本、圖形、音頻和/或視頻)，所述內(nèi)容在該實例中可通過網(wǎng)絡(luò)服務(wù)器以HTML、XML或另一適當(dāng)?shù)慕Y(jié)構(gòu)語言的形式提供給用戶。所有請求和響應(yīng)的處理以及在客戶端設(shè)備802與應(yīng)用服務(wù)器之間的內(nèi)容的輸送可由相應(yīng)的網(wǎng)絡(luò)服務(wù)器處理。應(yīng)理解，網(wǎng)絡(luò)服務(wù)器和應(yīng)用服務(wù)器不是要求的，且僅僅是示例性部件，因為本文討論的結(jié)構(gòu)代碼可在如在本文其它地方討論的任何適當(dāng)?shù)脑O(shè)備或主機機器上執(zhí)行。此外，可以測試自動化框架可被提供為用戶或應(yīng)用可簽署的服務(wù)的方式構(gòu)建環(huán)境。測試自動化框架可被提供為本文討論的各種測試模式中的任一個的實施方式，然而也可使用各種其它實施方式，如在本文討論或提議的。
[0046]每個數(shù)據(jù)存儲可包括若干單獨的數(shù)據(jù)表、數(shù)據(jù)庫或用于存儲與特定的方面有關(guān)的其它數(shù)據(jù)存儲機制和介質(zhì)。例如，所示的頁面數(shù)據(jù)存儲816包括用于存儲對產(chǎn)生網(wǎng)頁有用的頁面數(shù)據(jù)的機制，且用戶信息數(shù)據(jù)存儲818包括對為用戶選擇和/或定制的網(wǎng)頁有用的信息。應(yīng)理解，可能有可能需要存儲在數(shù)據(jù)存儲中的很多其它方面，例如訪問權(quán)限信息，其可適當(dāng)存儲于以上列出的機制的任一個中或數(shù)據(jù)存儲中的附加機制中。每個數(shù)據(jù)存儲可通過與其相關(guān)的邏輯是可操作的，以從相應(yīng)的應(yīng)用服務(wù)器接收指令并響應(yīng)于其而獲得、更新或以其它方式處理數(shù)據(jù)。在一個實例中，用戶可提交對某種類型的內(nèi)容的搜索請求。在這種情況下，數(shù)據(jù)存儲可訪問用戶信息以驗證用戶的身份，并可訪問內(nèi)容信息以獲得關(guān)于所述類型的內(nèi)容的實例的信息。該信息可接著被返回給用戶，例如在用戶能夠經(jīng)由用戶設(shè)備802上的瀏覽器查看的網(wǎng)頁上的結(jié)果列表中的。可在專用頁面或瀏覽器的窗口中查看內(nèi)容的特定實例的信息。
[0047]每個服務(wù)器通常將包括為該服務(wù)器的一般管理和操作提供可執(zhí)行程序指令的操作系統(tǒng)，并通常將包括存儲指令的計算機可讀介質(zhì)，當(dāng)指令由服務(wù)器的處理器執(zhí)行時允許服務(wù)器執(zhí)行其預(yù)期的功能。操作系統(tǒng)的適當(dāng)實施方式和服務(wù)器的一般功能是已知的或可商購的，且容易由本領(lǐng)域的普通技術(shù)人員實現(xiàn)，特別是根據(jù)本文的公開。
[0048]在一個實施方案中，環(huán)境是利用經(jīng)由通信鏈路使用一個或多個計算機網(wǎng)絡(luò)或直接連接而互連的若干計算機系統(tǒng)和部件的分布式計算環(huán)境。然而，本領(lǐng)域中的普通技術(shù)人員將認(rèn)識到，這樣的系統(tǒng)可同樣較好地在具有比圖8所示的更少或更多數(shù)量的部件的系統(tǒng)中操作。因此圖8中的系統(tǒng)800的描述應(yīng)被理解為在本質(zhì)上是說明性的，而不是對本公開的范圍的限制。
[0049]本文討論或建議的各種實施方案可在各種操作環(huán)境中實現(xiàn)，在一些情況下，操作環(huán)境可包括可用于操作多個應(yīng)用中的任一個的一個或多個用戶計算機、計算設(shè)備或處理設(shè)備。用戶或客戶端設(shè)備可包括多個通用個人計算機中的任一個，例如運行標(biāo)準(zhǔn)操作系統(tǒng)的桌上型計算機或膝上型計算機、以及運行移動軟件并能夠支持多種聯(lián)網(wǎng)和信息協(xié)議的蜂窩設(shè)備、無線設(shè)備和手持設(shè)備。這樣的系統(tǒng)也可包括運行各種可商購的操作系統(tǒng)中的任一個的多個工作臺和用于例如發(fā)展和數(shù)據(jù)庫管理等目的的其它已知的應(yīng)用。這些設(shè)備還可包括其它電子設(shè)備，例如虛擬終端、瘦客戶端、游戲系統(tǒng)和能夠經(jīng)由網(wǎng)絡(luò)進行通信的其它設(shè)備。
[0050]大部分實施方案利用本領(lǐng)域技術(shù)人員熟悉的至少一個網(wǎng)絡(luò)，其用于支持使用各種可商購的協(xié)議中的任一種，例如TCP/IP、OS1、FTP、UPnP, NFS、CIFS和AppleTalk的通信。網(wǎng)絡(luò)可例如是局域網(wǎng)、廣域網(wǎng)、虛擬專用網(wǎng)、互聯(lián)網(wǎng)、內(nèi)聯(lián)網(wǎng)、外聯(lián)網(wǎng)、公共交換電話網(wǎng)絡(luò)、紅外網(wǎng)絡(luò)、無線網(wǎng)絡(luò)和其任何組合。
[0051]在利用網(wǎng)絡(luò)服務(wù)器的實施方案中，網(wǎng)絡(luò)服務(wù)器可運行各種服務(wù)器或中層應(yīng)用中的任一種，包括HTTP服務(wù)器、FTP服務(wù)器、CGI服務(wù)器、數(shù)據(jù)服務(wù)器、Java服務(wù)器和商業(yè)應(yīng)用服務(wù)器。服務(wù)器也可以能夠例如通過執(zhí)行一個或多個網(wǎng)絡(luò)應(yīng)用來執(zhí)行來自用戶設(shè)備的響應(yīng)請求中的程序或腳本，網(wǎng)絡(luò)應(yīng)用可被實現(xiàn)為以任何編程語言例如Java?、C、C#或C++或任何腳本語言例如Perl、Python或TCL以及其組合編寫的一個或多個腳本或程序。服務(wù)器還可包括數(shù)據(jù)庫服務(wù)器，包括但不限于可從Oracle'MiCTosoft'Sybase?和IBM?商購的那些數(shù)據(jù)庫服務(wù)器。
[0052]環(huán)境可包括各種數(shù)據(jù)存儲和其它存儲器和存儲介質(zhì)，如上所討論的。這些可存在于各種位置上，例如對一個或多個計算機是本地(和/或存在于一個或多個計算機中)的或遠(yuǎn)離網(wǎng)絡(luò)中的任一個或所有計算機的存儲介質(zhì)上的各種位置中。在一組特定的實施方案中，信息可存在于本領(lǐng)域技術(shù)人員熟悉的存儲區(qū)域網(wǎng)(“SAN”)中。類似地，用于執(zhí)行被歸于計算機、服務(wù)器或其它網(wǎng)絡(luò)設(shè)備的功能的任何必要的文件可適當(dāng)?shù)乇镜睾?或遠(yuǎn)程存儲。在系統(tǒng)包括計算機化設(shè)備的場合，每個這樣的設(shè)備可包括可經(jīng)由總線電耦合的硬件元件，所述元件包括例如至少一個中央處理單元(CPU)、至少一個輸入設(shè)備(例如，鼠標(biāo)、鍵盤、控制器、觸摸屏或小鍵盤)和至少一個輸出設(shè)備(#/身，顯示設(shè)備、打印機或揚聲器)。這樣的系統(tǒng)還可包括一個或多個存儲設(shè)備，例如磁盤驅(qū)動器、光學(xué)存儲設(shè)備和固態(tài)存儲設(shè)備例如隨機存取存儲器(“RAM”)或只讀存儲器(“ROM”)以及可移動介質(zhì)設(shè)備、存儲卡、閃存卡等。
[0053]這樣的設(shè)備還可包括計算機可讀存儲介質(zhì)閱讀器、通信設(shè)備(例如，調(diào)制解調(diào)器、網(wǎng)卡(無線或有線)、紅外通信設(shè)備等)和如上所述的工作存儲器。計算機可讀存儲介質(zhì)閱讀器可連接或被配置成接收計算機可讀存儲介質(zhì)、代表遠(yuǎn)程、本地、固定和/或可移動存儲設(shè)備以及用于臨時和/或更永久地包含、存儲、傳輸和檢索計算機可讀信息的存儲介質(zhì)。系統(tǒng)和各種設(shè)備通常還包括多個軟件應(yīng)用、模塊、服務(wù)或位于至少一個工作存儲設(shè)備內(nèi)的其它元件，包括操作系統(tǒng)和應(yīng)用程序，例如客戶端應(yīng)用或網(wǎng)絡(luò)瀏覽器。應(yīng)認(rèn)識到，可選的實施方案可具有偏離上面描述的實施方案的很多變化。例如，定制的硬件也可被使用和/或特定的元件可在硬件、軟件(包括便攜式軟件例如applet)或這兩者中實現(xiàn)。此外，可使用到其它計算設(shè)備例如網(wǎng)絡(luò)輸入/輸出設(shè)備的連接。
[0054]用于包含代碼或代碼的部分的存儲介質(zhì)和計算機可讀介質(zhì)可包括在本領(lǐng)域中已知或使用的任何適當(dāng)?shù)慕橘|(zhì)，包括在用于信息(例如計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù))的存儲和/或傳輸?shù)娜魏畏椒ɑ蚣夹g(shù)中實現(xiàn)的存儲介質(zhì)和通信介質(zhì)，例如但不限于易失性和非易失性、可移動和不可移動介質(zhì)，包括RAM、R0M、EEPR0M、閃存或其它存儲器技術(shù)、CD-ROM、數(shù)字通用盤(DVD)或其它光學(xué)存儲、盒式磁帶、磁帶、磁盤存儲器或其它磁性存儲設(shè)備或可用于存儲期望信息并可由系統(tǒng)設(shè)備訪問的任何其它介質(zhì)?；诒疚奶峁┑墓_和教導(dǎo)，本領(lǐng)域中的普通技術(shù)人員將認(rèn)識到實現(xiàn)各種實施方案的其它方式和/或方法。
[0055]說明書和附圖因此在說明性而不是限制性的意義上被考慮。然而將明顯，在不偏離如在權(quán)利要求中闡述的本發(fā)明的更寬的精神和范圍的情況下，可對其做出各種修改和改變。
[0056]條款
1.一種選擇視頻幀用于臉部識別的計算機實現(xiàn)的方法，其包括:
在配置有可執(zhí)行指令的一個或多個計算系統(tǒng)的控制下，
在電子設(shè)備上發(fā)起視頻信息的捕獲；
檢測所述視頻信息中的指示人的頭部的至少一個特征；
響應(yīng)于檢測所述至少一個特征，激活所述電子設(shè)備的至少一個紅外(IR)成像機制，其可操作來使用至少一個波長的IR光照亮所述人并檢測從所述人反射的IR光；
檢測在所反射的IR光中對應(yīng)于所述人的瞳孔的特征；
分析檢測到的所述特征以確定所反射的IR光中的所述檢測到的特征的方位、測量或焦點的水平中的至少一個；
當(dāng)所述檢測到的特征的所述方位、測量或焦點的水平中的至少一個滿足規(guī)定的選擇標(biāo)準(zhǔn)時選擇視頻信息的當(dāng)前幀；以及對所選擇的幀執(zhí)行臉部識別。
[0057]2.條款I(lǐng)的計算機實現(xiàn)的方法，其中選擇視頻信息的當(dāng)前幀還基于檢測到的IR反射指示對應(yīng)于人眼的所述檢測到的特征的確定。
[0058]3.條款I(lǐng)的計算機實現(xiàn)的方法，其中所述至少一個IR成像機制可操作來在指定的發(fā)射頻率下發(fā)射IR光的脈沖。
[0059]4.條款I(lǐng)的計算機實現(xiàn)的方法，其包括:
在發(fā)起視頻信息的捕獲之前檢測所述電子設(shè)備附近的運動。
[0060]5.一種選擇視頻幀用于處理的計算機實現(xiàn)的方法，其包括:
在配置有可執(zhí)行指令的一個或多個計算系統(tǒng)的控制下，
獲得使用至少一個圖像捕獲元件捕獲的一系列圖像幀； 在大約獲得所述系列圖像幀的時間執(zhí)行至少一個方位確定過程以確定人在所述系列的圖像幀的至少一部分中的相對方位；
響應(yīng)于經(jīng)由所述至少一個方位確定過程確定在實質(zhì)上對應(yīng)于所選擇的圖像幀的捕獲時間的時間所述人實質(zhì)上面向所述至少一個圖像捕獲元件而從所述系列選擇所述圖像幀中的一個；以及
提供所選擇的幀用于處理。
[0061]6.條款5的計算機實現(xiàn)的方法，其中所述至少一個方位過程包括:
在所述至少一個圖像捕獲元件的捕獲方向上發(fā)射至少一個波長的IR輻射；
檢測所反射的IR輻射；以及
定位在所反射的IR輻射中的對應(yīng)于人眼的一個或多個特征。
[0062]7.條款6的計算機實現(xiàn)的方法，其中所述至少一個方位過程包括:
使用至少兩個音頻捕獲元件捕獲音頻信息；以及
至少確定所述音頻信息的源的方向，
其中選擇所述圖像幀中的一個還至少部分地基于所確定的方向。
[0063]8.條款6的計算機實現(xiàn)的方法，其中所述至少一個方位過程包括:
確定關(guān)于包括所述至少一個捕獲元件的電子設(shè)備的一部分的運動或壓力中的至少一個，所述運動或壓力對應(yīng)于從待識別的人到所述電子設(shè)備的輸入。
[0064]9.條款5的計算機實現(xiàn)的方法，其中選擇所述圖像幀中的一個包括選擇與所述至少一個圖像捕獲元件被確定為相對于被成像的人實質(zhì)上靜止時的時間對應(yīng)的圖像幀。
[0065]10.條款5的計算機實現(xiàn)的方法，其中選擇所述圖像幀中的一個包括選擇與運動傳感器檢測到物體的移動的最大閾值時的時間對應(yīng)的圖像幀，所述物體能夠關(guān)于所述至少一個圖像捕獲元件在所述圖像幀中被捕獲。
[0066]11.條款5的計算機實現(xiàn)的方法，其中所述至少一個圖像捕獲元件被配置成響應(yīng)于檢測到的運動、檢測到的熱識別特征、檢測到的IR反射類型或音頻信息的閾值量中的至少一個來捕獲所述系列圖像。
[0067]12.條款5的計算機實現(xiàn)的方法，其還包括:
在執(zhí)行所述至少一個方位確定過程之前執(zhí)行至少一個頭部檢測過程。
[0068]13.條款12的計算機實現(xiàn)的方法，其中所述至少一個方位確定過程響應(yīng)于定位所述系列圖像中的與人臉的形狀或輪廓匹配的至少一個特征而發(fā)起。
[0069]14.條款5的計算機實現(xiàn)的方法，其中處理包括對所選擇的幀執(zhí)行臉部識別或身份認(rèn)證中的至少一個。
[0070]15.條款5的計算機實現(xiàn)的方法，其中從所述系列選擇所述圖像幀中的一個還至少部分地取決于在所述至少一個方位確定過程中檢測到的所確定模糊量。
[0071]16.條款5的計算機實現(xiàn)的方法，其中所述至少一個方位確定過程包括三維成像、立體成像或多攝像機成像中的至少一個。
[0072]17.條款5的計算機實現(xiàn)的方法，其還包括:
響應(yīng)于認(rèn)證在所選擇的幀中捕獲的用戶的身份而提供對所確定的功能的安全訪問。
[0073]18.一種選擇視頻幀以用于臉部識別的計算機實現(xiàn)的方法，其包括:
在配置有可執(zhí)行指令的一個或多個計算系統(tǒng)的控制下， 檢測電子設(shè)備附近的運動；
響應(yīng)于檢測運動，激活所述電子設(shè)備的至少一個紅外(IR)成像機制，其可操作來使用至少一個波長的IR光照亮IR成像機制的視野內(nèi)的人并檢測從所述人反射回的IR光；
檢測在所反射的IR光中的對應(yīng)于所述人的角膜的特征；
響應(yīng)于檢測所述特征，在所述電子設(shè)備上發(fā)起視頻信息的捕獲；
當(dāng)所述檢測到的特征的方位、測量或焦點的水平中的至少一個滿足規(guī)定的選擇標(biāo)準(zhǔn)時選擇視頻信息的當(dāng)前幀；以及對所選擇的幀執(zhí)行臉部識別。
[0074]19.條款18的計算機實現(xiàn)的方法，其中選擇視頻信息的當(dāng)前幀還基于對所述反射的IR指示所述檢測到的特征對應(yīng)于實際人眼而不是人眼的圖像的確定。
[0075]20.條款18的計算機實現(xiàn)的方法，其中所述至少一個IR成像機制包括與紅外源實質(zhì)上相鄰的第一傳感器和定位成遠(yuǎn)離所述電子設(shè)備上的所述紅外源一段距離的第二傳感器。
[0076]21.一種計算設(shè)備，其包括:
處理器；
至少一個圖像捕獲元件；以及
包括指令的存儲器設(shè)備，所述指令在被所述處理器執(zhí)行時促使所述計算設(shè)備:
獲得使用至少一個圖像捕獲元件捕獲的一系列圖像幀；
大約在獲得所述系列圖像幀的時間執(zhí)行至少一個方位確定過程以確定人在所述系列圖像幀的至少一部分中的相對方位；
響應(yīng)于經(jīng)由所述至少一個方位確定過程確定在實質(zhì)上對應(yīng)于所選擇的圖像幀的捕獲時間的時間所述人實質(zhì)上面向所述計算設(shè)備而從所述系列選擇所述圖像幀中的一個；以及對所選擇的幀執(zhí)行臉部識別。
[0077]22.條款21的計算設(shè)備，其還包括:
至少一個紅外(IR)發(fā)射器；以及
至少一個IR接收器，
其中所述至少一個方位過程包括:
使用至少一個IR發(fā)射器發(fā)射至少一個波長的IR輻射；
使用所述電子設(shè)備的至少一個IR檢測器檢測所反射的IR輻射；以及定位在所反射的IR輻射中的對應(yīng)于人眼的一個或多個特征。
[0078]23.條款21的計算設(shè)備，其還包括:
至少兩個音頻捕獲元件，
其中所述至少一個方位過程包括:
使用至少兩個音頻捕獲元件捕獲音頻信息；以及至少確定所述音頻信息的源的方向，
其中選擇所述圖像幀中的一個還至少部分地基于所確定的方向。
[0079]24.條款21的計算設(shè)備，其還包括:
在所述計算設(shè)備的外殼的至少一部分上的觸敏材料或壓力敏感材料中的至少一個， 其中所述至少一個方位過程包括確定關(guān)于包括所述至少一個捕獲元件的電子設(shè)備的一部分的運動或壓力中的至少一個，所述運動或壓力對應(yīng)于從待識別的人到所述電子設(shè)備的輸入。
[0080]25.條款21的計算設(shè)備，其還包括:
至少一個運動確定元件，
其中從所述系列選擇所述圖像幀中的一個還基于實質(zhì)上靜止的所述計算設(shè)備，如所述至少一個運動確定元件所確定的。
[0081]26.一種存儲指令的非臨時計算機可讀存儲介質(zhì)，所述指令用于選擇圖像幀以用于處理，所述指令在被處理器執(zhí)行時促使所述處理器:
獲得使用至少一個圖像捕獲元件捕獲的一系列圖像幀；
大約在獲得所述系列圖像幀的時間執(zhí)行至少一個方位確定過程以確定人在所述系列圖像幀的至少一部分中的相對方位；
響應(yīng)于經(jīng)由所述至少一個方位確定過程確定在實質(zhì)上對應(yīng)于所選擇的圖像幀的捕獲時間的時間所述人實質(zhì)上面向所述計算設(shè)備而從所述系列選擇所述圖像幀中的一個；以及對所選擇的幀執(zhí)行臉部識別。
[0082]27.條款26的所述存儲指令的非臨時計算機可讀存儲介質(zhì)，所述指令用于選擇圖像幀以用于處理，所述指令在被處理器執(zhí)行時促使所述處理器:
在所述至少一個圖像捕獲元件的捕獲方向上發(fā)射至少一個波長的IR輻射；
檢測所反射的IR輻射；以及
定位在所反射的IR輻射中的對應(yīng)于人眼的一個或多個特征。
【權(quán)利要求】
1.一種選擇圖像幀用于處理的計算機實現(xiàn)的方法，其包括: 在配置有可執(zhí)行指令的一個或多個計算系統(tǒng)的控制下， 獲得使用至少一個圖像捕獲元件捕獲的一系列圖像幀； 在大約獲得所述系列圖像幀的時間執(zhí)行至少一個方位確定過程以確定人在所述系列的圖像幀的至少一部分中的相對方位； 響應(yīng)于經(jīng)由所述至少一個方位確定過程確定在實質(zhì)上對應(yīng)于所選擇的圖像幀的捕獲時間的時間所述人實質(zhì)上面向所述至少一個圖像捕獲元件而從所述系列選擇所述圖像幀中的一個；以及 提供所選擇的幀以用于處理。
2.如權(quán)利要求1所述的計算機實現(xiàn)的方法，其中所述至少一個方位過程包括: 在所述至少一個圖像捕獲元件的捕獲方向上發(fā)射至少一個波長的IR輻射； 檢測所反射的IR輻射；以及 定位在所反射的IR輻射中的對應(yīng)于人眼的一個或多個特征。
3.如權(quán)利要求1所述的計算機實現(xiàn)的方法，其中所述至少一個方位過程包括: 使用至少兩個音頻捕獲元件捕獲音頻信息；以及 至少確定所述音頻信息的源的方向， 其中選擇所述圖像幀中的一個還至少部分地基于所確定的方向。
4.如權(quán)利要求1所述的計算機實現(xiàn)的方法，其中所述至少一個方位過程包括: 確定關(guān)于包括所述至少一個捕獲元件的電子設(shè)備的一部分的運動或壓力中的至少一個，所述運動或壓力對應(yīng)于從待識別的人到所述電子設(shè)備的輸入。
5.如權(quán)利要求1所述的計算機實現(xiàn)的方法，其中選擇所述圖像幀中的一個包括選擇與所述至少一個圖像捕獲元件被確定為相對于被成像的人實質(zhì)上靜止時的時間對應(yīng)的圖像幀。
6.如權(quán)利要求1所述的計算機實現(xiàn)的方法，其中選擇所述圖像幀中的一個包括選擇與運動傳感器檢測到小于物體的移動的最大閾值時的時間對應(yīng)的圖像幀，所述物體能夠關(guān)于所述至少一個圖像捕獲元件在所述圖像幀中被捕獲。
7.如權(quán)利要求1所述的計算機實現(xiàn)的方法，其中所述至少一個圖像捕獲元件被配置成響應(yīng)于檢測到的運動、檢測到的熱識別特征、檢測到的IR反射類型或音頻信息的閾值量中的至少一個來捕獲所述系列圖像。
8.如權(quán)利要求1所述的計算機實現(xiàn)的方法，其中所述至少一個方位確定過程響應(yīng)于定位所述系列圖像中的與人臉的形狀或輪廓匹配的至少一個特征而發(fā)起。
9.如權(quán)利要求1所述的計算機實現(xiàn)的方法，其中處理包括對所選擇的幀執(zhí)行臉部識別或身份認(rèn)證中的至少一個。
10.如權(quán)利要求1所述的計算機實現(xiàn)的方法，其還包括: 響應(yīng)于認(rèn)證在所選擇的幀中捕獲的用戶的身份而提供對所確定的功能的安全訪問。
11.一種計算設(shè)備，其包括: 處理器； 至少一個圖像捕獲元件；以及 包括指令的存儲器設(shè)備，所述指令在被所述處理器執(zhí)行時促使所述計算設(shè)備:獲得使用至少一個圖像捕獲元件捕獲的一系列圖像幀； 約在獲得所述系列圖像幀的時間執(zhí)行至少一個方位確定過程以確定人在所述系列圖像幀的至少一部分中的相對方位； 響應(yīng)于經(jīng)由所述至少一個方位確定過程確定在實質(zhì)上對應(yīng)于所選擇的圖像幀的捕獲時間的時間所述人實質(zhì)上面向所述計算設(shè)備而從所述系列選擇所述圖像幀中的一個；以及對所選擇的幀執(zhí)行臉部識別。
12.如權(quán)利要求11所述的計算設(shè)備，其還包括: 至少一個紅外(IR)發(fā)射器；以及 至少一個IR接收器， 其中所述至少一個方位過程包括: 使用至少一個IR發(fā)射器發(fā)射至少一個波長的IR輻射； 使用所述電子設(shè)備的至少一個IR檢測器檢測所反射的IR輻射；以及 定位在所反射的IR輻射中的對應(yīng)于人眼的一個或多個特征。
13.如權(quán)利要求11所述的計算設(shè)備，其還包括: 至少兩個音頻捕獲元件， 其中所述至少一個方位過程包括: 使用至少兩個音頻捕獲元件捕獲音頻信息；以及 至少確定所述音頻信息的源的方向， 其中選擇所述圖像幀中的一個還至少部分地基于所確定的方向。
14.如權(quán)利要求11所述的計算設(shè)備，其還包括: 在所述計算設(shè)備的外殼的至少一部分上的觸敏材料或壓力敏感材料中的至少一個，其中所述至少一個方位過程包括確定關(guān)于包括所述至少一個捕獲元件的電子設(shè)備的一部分的運動或壓力中的至少一個，所述運動或壓力對應(yīng)于從待識別的人到所述電子設(shè)備的輸入。
15.如權(quán)利要求11所述的計算設(shè)備，其還包括: 至少一個運動確定元件， 其中從所述系列選擇所述圖像幀中的一個還基于實質(zhì)上靜止的所述計算設(shè)備，如所述至少一個運動確定元件所確定的。
【文檔編號】G06K9/00GK104137118SQ201280036173
【公開日】2014年11月5日 申請日期:2012年6月8日 優(yōu)先權(quán)日:2011年6月10日
【發(fā)明者】肯尼斯·M.·卡拉科迪西烏斯, 傅家權(quán), 沃洛季米爾·V.·伊萬琴科, 黃明靜 申請人:亞馬遜技術(shù)公司