提供由車輛的場景相機(jī)捕獲的至少一個圖像的方法和系統(tǒng)的制作方法
【專利說明】
[0001] 本申請是2014年8月27日提交的PCT/EP2014/068165的部分繼續(xù)申請。
技術(shù)領(lǐng)域
[0002] 本公開設(shè)及一種用于提供至少一個真實(shí)對象的至少一個圖像的方法和系統(tǒng)，所述 圖像由安裝在車輛上的多個場景相機(jī)中的至少一個場景相機(jī)捕獲。
【背景技術(shù)】
[0003] 在潛在情況中，一個人可能對真實(shí)環(huán)境中（例如，周圍環(huán)境中）的對象感興趣（通 常稱為"感興趣的對象"）。運(yùn)個人（運(yùn)里也稱為用戶）可能對進(jìn)一步識別出感興趣的對象 感興趣和/或?qū)Υ_定類似對象感興趣。在具體的實(shí)例中，用戶可能想要查明是否可購買到 相同的對象（也稱為物品）和/或類似的對象。用戶可能進(jìn)而希望下單訂購一個或多個對 象（例如，相同或類似的對象）或者可能進(jìn)而希望找到用于親自檢查和購買一個或多個對 象的商店。
[0004] 為此，例如，用戶可W使用相機(jī)來捕獲感興趣的對象的圖像并基于圖像分析來識 別相同或類似的物品。
[0005] US 8, 228, 364 B2公開了一種用于全方位相機(jī)的方法和系統(tǒng)，該全方位相機(jī)可用 來記錄警車周圍發(fā)生的事件。該系統(tǒng)和方法包括全方位相機(jī)和處理由相機(jī)拍攝的圖像的數(shù) 字處理器。由麥克風(fēng)產(chǎn)生的信號的方向確定感興趣的區(qū)域。
[0006] US 6, 580, 373 Bl公開了一種車載圖像記錄系統(tǒng)，通過記錄道路表面和車輛的一 部分的圖像來促進(jìn)安全駕駛車輛。該系統(tǒng)包括安裝在車輛上的一個或多個相機(jī)和記錄由相 機(jī)捕獲的圖像的記錄設(shè)備。在發(fā)生事故的情況下，所記錄的圖像可被用作安全駕駛的證據(jù)。
[0007] US 7, 119,832 Bl公開了一種車內(nèi)視頻系統(tǒng)，其中無線麥克風(fēng)配置有雙向通信能 力。當(dāng)接收到RF激活信號時，無線麥克風(fēng)自動打開，W捕獲伴隨由車載視頻相機(jī)捕獲的圖 像的音頻聲道。安裝在車內(nèi)的無線麥克風(fēng)控制器將RF激活信號發(fā)送到無線麥克風(fēng)。當(dāng)視 頻記錄設(shè)備開始記錄時，無線麥克風(fēng)控制器發(fā)送RF激活信號。
[000引此外，已知一種稱為"ASAP54"的移動電話應(yīng)用程序（所謂的"App")，其允許用戶 在看到真實(shí)的人或雜志上的用戶感興趣的特定裝束或樣式時，拍攝該裝束的照片。通過利 用圖像識別，該應(yīng)用程序可W找出用戶正在觀察的那件衣服和許多類似的時裝。采用運(yùn)種 方式，用戶需要將他/她的移動電話上的相機(jī)聚焦在感興趣的對象上。

【發(fā)明內(nèi)容】

[0009] 期望提供一種便于用戶檢索信息的方法和系統(tǒng)，所述信息是關(guān)于用戶的周圍真實(shí) 環(huán)境中的感興趣區(qū)域并且可WW電子方式存儲和處理便于W后使用。
[0010] 根據(jù)第一方面，公開了一種提供由安裝在車輛上的多個場景相機(jī)中的至少一個場 景相機(jī)捕獲的至少一個真實(shí)對象的至少一個圖像的方法，該方法包括：提供多個場景相機(jī) 中的相應(yīng)場景相機(jī)相對于與車輛相關(guān)的參考坐標(biāo)系的相機(jī)姿態(tài)；提供由信息捕獲設(shè)備捕獲 的與至少一個用戶有關(guān)的用戶注意力數(shù)據(jù)；從用戶注意力數(shù)據(jù)中提供相對于參考坐標(biāo)系的 至少一個注意力方向；根據(jù)至少一個注意力方向和至少一個場景相機(jī)的相應(yīng)相機(jī)姿態(tài)，確 定多個場景相機(jī)中的至少一個場景相機(jī)；W及提供由至少一個場景相機(jī)捕獲的至少一個真 實(shí)對象的至少一個圖像。
[0011] 根據(jù)另一方面，公開了一種用于提供至少一個真實(shí)對象的至少一個圖像的系統(tǒng)， 包括：至少一個處理設(shè)備，所述至少一個處理設(shè)備禪接至安裝在車輛上的多個場景相機(jī)和 信息捕獲設(shè)備，所述信息捕獲設(shè)備被配置成捕獲與至少一個用戶相關(guān)的用戶注意力數(shù)據(jù)。 所述至少一個處理設(shè)備被配置成：提供多個場景相機(jī)中的相應(yīng)場景相機(jī)相對于與車輛相關(guān) 的參考坐標(biāo)系的相機(jī)姿態(tài)；從用戶注意力數(shù)據(jù)中提供相對于參考坐標(biāo)系的至少一個注意力 方向；根據(jù)至少一個注意力方向和至少一個場景相機(jī)的相應(yīng)相機(jī)姿態(tài)，確定多個場景相機(jī) 中的至少一個場景相機(jī)；W及提供由至少一個場景相機(jī)捕獲的至少一個真實(shí)對象的至少一 個圖像。
[0012] 例如，根據(jù)本公開的所述至少一個處理設(shè)備可包括一個或多個處理設(shè)備，諸如一 個或多個微處理器，所述至少一個處理設(shè)備至少部分地被包含在移動設(shè)備（諸如移動電 話、可穿戴式計(jì)算機(jī)、平板計(jì)算機(jī)、移動計(jì)算機(jī)（常被稱為膝上型計(jì)算機(jī)）或頭戴式顯示器 (諸如用于光學(xué)透視式增強(qiáng)現(xiàn)實(shí)應(yīng)用）中、車輛中和/或適于與移動設(shè)備和/或車輛通信的 服務(wù)器計(jì)算機(jī)中。所述至少一個處理設(shè)備可W被包含于運(yùn)些設(shè)備的僅一種中，例如，移動設(shè) 備中或服務(wù)器計(jì)算機(jī)中，或者可W是分布式系統(tǒng)，在該分布式系統(tǒng)中，由處理系統(tǒng)的一個或 多個處理設(shè)備分配和處理一個或多個處理任務(wù)，運(yùn)些處理設(shè)備被分布且彼此通信，例如通 過點(diǎn)對點(diǎn)通信或經(jīng)由網(wǎng)絡(luò)。
[0013] 本文針對該方法所描述的任何步驟、實(shí)施例、方面和實(shí)例可由所述至少一個處理 設(shè)備等同地或類似地實(shí)施，所述至少一個處理設(shè)備被配置成（通過軟件和/或硬件）執(zhí)行 相應(yīng)的步驟、實(shí)施例、方面或?qū)嵗?。任何所使用的處理設(shè)備（諸如一個或多個微處理器）可 W通過軟件和/或硬件被配置為運(yùn)樣，并經(jīng)由通信網(wǎng)絡(luò)（例如經(jīng)由服務(wù)器計(jì)算機(jī)或點(diǎn)對點(diǎn) 通信）與一個或多個相機(jī)、顯示器、傳感器和/或本文所公開的任何其他部件進(jìn)行通信。
[0014] 根據(jù)另一方面，本公開還設(shè)及一種計(jì)算機(jī)程序產(chǎn)品，其包括適于執(zhí)行根據(jù)本發(fā)明 的方法的軟件代碼部分，特別是權(quán)利要求中的任一項(xiàng)所闡述的方法。具體地，軟件代碼部分 被包含在非瞬時性計(jì)算機(jī)可讀介質(zhì)上。軟件代碼部分可W被加載到如本文所描述的一個或 多個處理設(shè)備（諸如微處理器）的存儲器中。任何所使用的處理設(shè)備（諸如一個或多個微 處理器）可W經(jīng)由通信網(wǎng)絡(luò)（例如，經(jīng)由服務(wù)器計(jì)算機(jī)或點(diǎn)對點(diǎn)通信）與如本文所描述的 其他設(shè)備進(jìn)行通信。
【附圖說明】
[0015] 現(xiàn)在將參照附圖描述本發(fā)明的各方面和實(shí)施例，附圖中：
[0016] 圖1示出了根據(jù)本發(fā)明實(shí)施例的方法的流程圖。
[0017] 圖2示出了根據(jù)本發(fā)明實(shí)施例的用于提供由安裝在車輛上的至少一個相機(jī)捕獲 的至少一個真實(shí)對象的至少一個圖像的示例性場景。
[0018] 圖3示出了可W結(jié)合本發(fā)明的各方面使用的一種系統(tǒng)格局的實(shí)施例。
[0019] 圖4示出了根據(jù)本發(fā)明實(shí)施例的另一示例性場景。
[0020] 圖5A、5B示出了根據(jù)本發(fā)明實(shí)施例的進(jìn)一步的示例性場景。
[0021] 圖6示出了根據(jù)本發(fā)明實(shí)施例的另一示例性場景。
[0022] 圖7示出了根據(jù)本發(fā)明的進(jìn)一步實(shí)施例的方法的流程圖。
[0023] 圖8示出了手持移動設(shè)備的用戶的場景，該移動設(shè)備具有前置相機(jī)、后置相機(jī)、W 及用于識別、跟蹤和/或再現(xiàn)感興趣的對象的顯示屏幕。
[0024] 圖9示出了手持移動設(shè)備的用戶的另一場景，該移動設(shè)備具有前置相機(jī)、后置相 機(jī)、W及用于識別、跟蹤和/或再現(xiàn)感興趣的對象的顯示屏幕。
[00巧]圖10示出了根據(jù)本發(fā)明實(shí)施例的方法的流程圖。
[0026] 圖11示出了根據(jù)本發(fā)明另一實(shí)施例的方法的流程圖。
【具體實(shí)施方式】
[0027] 現(xiàn)今，人們經(jīng)常在車輛中花費(fèi)大量時間，例如他們在前往購物、上下班或觀光的路 上。潛在地，當(dāng)車輛沿著其道路行駛時，在車輛的周圍可能存在許多不同的對象（例如，行 人、行人穿著的衣服、廣告海報、真實(shí)商店等）。對于坐在車輛中的人來說，使用例如配備有 相機(jī)的移動設(shè)備（例如，標(biāo)準(zhǔn)相機(jī)或帶有相機(jī)的移動電話）來捕獲車輛周圍環(huán)境中的感興 趣的對象的圖像會很困難且不切實(shí)際。對于正在駕駛車輛的駕駛員來說尤其如此。駕駛員 在駕駛期間不能且不允許手持移動設(shè)備W捕獲圖像。
[0028] 在一個人正在駕車從一個地點(diǎn)到另一個地點(diǎn)的潛在示例性場景中，他或她可能發(fā) 現(xiàn)了感興趣的對象，例如走在車輛旁邊的人行道上的行人所穿著的裙子。發(fā)明人已經(jīng)發(fā)現(xiàn)， 有利的是采用安裝在車輛上的相機(jī)來捕獲含有感興趣的對象的圖像，而不是駕駛員手持相 機(jī)來捕獲圖像。
[0029] 越來越多地，多個相機(jī)被安裝在車輛（諸如汽車）上。發(fā)明人還認(rèn)為，由每一個車 載相機(jī)所捕獲的圖像及其處理會增加對象檢測和/或識別的復(fù)雜性。因此，發(fā)明人發(fā)現(xiàn)，有 利的是確定一個車載相機(jī)的子集（即一個或多個車載相機(jī)）并進(jìn)一步處理或分析僅由所確 定的車載相機(jī)的子集捕獲的圖像。
[0030] 本公開的各方面設(shè)及一種基于正在車輛中的用戶的注意力的方向和/或位置確 定多個車載相機(jī)中的至少一個來捕獲真實(shí)環(huán)境的一部分的至少一個圖像的方法和系統(tǒng)。由 所確定的至少一個相機(jī)捕獲的環(huán)境的至少一個圖像可用來確定真實(shí)環(huán)境的一個或多個物 品（即感興趣的對象）。
[0031] 根據(jù)本發(fā)明，所提供的例如由信息捕獲設(shè)備捕獲的用戶注意力數(shù)據(jù)與用戶相關(guān)。 具體地，用戶注意力數(shù)據(jù)表示用戶的注意力是朝向真實(shí)對象（特別是感興趣的對象）或含 有該真實(shí)對象的真實(shí)環(huán)境的一部分。
[0032] 根據(jù)本發(fā)明的實(shí)施例，如下面更詳細(xì)闡述的，可W查看車輛周圍的感興趣的對象， 并激活一個或多個車輛相機(jī)（例如通過利用聲音、或手勢、或凝視方向）W捕獲感興趣的對 象的圖像（例如，一件衣服），然后確定是否可購買到感興趣的對象或類似物品。
[0033] 圖1示出了根據(jù)本發(fā)明實(shí)施例的方法的流程圖，該方法提供由安裝在車輛上的至 少一個相機(jī)捕獲的至少一個真實(shí)對象的至少一個圖像，還示出了設(shè)及基于根據(jù)至少一個圖 像所確定的感興趣的對象的示例性應(yīng)用的可選步驟。圖2示出了根據(jù)本發(fā)明實(shí)施例的示例 性場景，用于提供由安裝在車輛上的至少一個相機(jī)捕獲的至少一個真實(shí)對象的至少一個圖 像。圖3示出了可W結(jié)合本發(fā)明的各方面使用的一種系統(tǒng)格局的實(shí)施例。
[0034] 在圖2的場景中，車輛（在本實(shí)例中為汽車201)被駕駛通過真實(shí)環(huán)境220。真實(shí)環(huán) 境220包括固定于環(huán)境中的真實(shí)對象，例如加油站221、樹木222、建筑物223、停車標(biāo)記224 和道路227。真實(shí)環(huán)境220還可包括可移動的真實(shí)對象，如人226和人225。汽車201還可 被看作是真實(shí)環(huán)境220的一部分。汽車201配備有安裝在汽車上的多個場景相機(jī)211-214。 駕駛員202正在觀察或面向或指向方向203。
[0035] 圖3示出了用于汽車201的內(nèi)部格局的實(shí)施例。設(shè)置有安裝在汽車201中的兩個 信息捕獲設(shè)備。原則上，有一個就足夠了。在該實(shí)例中，信息捕獲設(shè)備包括相機(jī)，運(yùn)里稱為用 戶相機(jī)205和206。汽車201還可W配備有諸如無線通信設(shè)備（例如WLAN設(shè)備或SIM卡設(shè) 備）的通信設(shè)備207 W及諸如微處理器的處理設(shè)備208。可W通過處理設(shè)備208單獨(dú)地或 與任何其他處理設(shè)備結(jié)合來執(zhí)行本公開中所公開的所有步驟或部分步驟。也可W通過獨(dú)立 于汽車201的遠(yuǎn)程處理設(shè)備，諸如服務(wù)器計(jì)算機(jī)或移動設(shè)備，來執(zhí)行所有步驟或部分步驟。 在當(dāng)前的情形下，汽車201可W通過通信設(shè)備207經(jīng)由線纜或無線地與遠(yuǎn)程處理設(shè)備進(jìn)行 通信。遠(yuǎn)程處理設(shè)備可W是服務(wù)器計(jì)算機(jī)301(例如，工作站）或移動設(shè)備，例如移動電話 302。
[003引根據(jù)圖1的流程圖，步驟101通過信息捕獲設(shè)備（諸如根據(jù)圖3的相機(jī)205、206中 的一個）捕獲關(guān)于用戶（在圖2中，為駕駛員202)的用戶注意力數(shù)據(jù)。用戶注意力數(shù)據(jù)可 W是表示用戶注意力的至少一個方面的任何數(shù)據(jù)。具體地，用戶注意力數(shù)據(jù)表示或編碼與 用戶注意力的至少一個方向、至少一個位置和/或至少一個標(biāo)示空間或區(qū)域相關(guān)的信息。
[0037] 用戶注意力可由凝視（或叮視）來標(biāo)示。從用戶眼睛到眼睛正在觀察的方向可W 表示凝視方向，運(yùn)可被看作是注意力方向。此外，用戶的一只眼睛或兩只眼睛的視場表示凝 視的用戶注意力空間。用戶正在觀察的位置表示用戶注意力的位置。
[0038] 在另一實(shí)例中，用戶注意力還可W由用戶的臉部（例如，臉部或頭部的姿態(tài)）來標(biāo) 示。用戶臉部的姿態(tài)可W表示用戶正在聚焦的位置。至少一個注意力方向可W源自臉部的 姿態(tài)。在一個實(shí)施方式中，所述至少一個注意力方向可W與正面的法線方向相同。
[0039] 在進(jìn)一步的實(shí)例中，用戶注意力可W由手指指向或指示方向、位置和/或區(qū)域的 任何手勢來標(biāo)示。注意力方向可W通過方向軸線來建模。例如，方向軸線可W由2矢量來 表示。此外，注意力方向可W通過視場來建模。例如，用戶的位置可W確定視點(diǎn)，并且用戶 眼睛的視場可W限定注意力方向。在另一實(shí)例中，方向軸線的標(biāo)準(zhǔn)偏差（例如，來自臉部姿 態(tài)估計(jì)的正面方向的估計(jì)誤差）可W確定用于視場的一定角度（例如，垂直或水平范圍）， 運(yùn)可W被認(rèn)為是注意力方向。
[0040] 例如，用戶注意力數(shù)據(jù)包括但不限于W下數(shù)據(jù)中的至少一種：由一個或多個相機(jī) 捕獲的一個或多個圖像、生物電信號（例如，眼電圖）W及機(jī)械信號（例如，手壓）。
[0041] 在一個實(shí)施例中，信息捕獲設(shè)備可包括稱為用戶相機(jī)的相機(jī)設(shè)備。用戶相機(jī)可W 捕獲用戶的至少一部分的至少一個用戶圖像。例如，安裝在汽車201上的相機(jī)205 (即，用 戶相機(jī)）可W捕獲用戶202的正面的圖像（目P，用戶圖像），如圖3中所示。
[0042] 在另一實(shí)施例中，信息捕獲設(shè)備可W是眼睛跟蹤設(shè)備。眼睛跟蹤設(shè)備（也稱為 眼睛跟蹤器）可W測量用戶的一個或兩個眼睛的方向，并且因此可W提供用戶的凝視方 向。存在不同類型的眼睛跟蹤方法，如眼睛附接跟蹤、光學(xué)跟蹤W及電勢測量。眼睛附接 跟蹤可W實(shí)現(xiàn)為具有嵌入式傳感器（如反射鏡或磁場傳感器）的特殊隱形眼鏡。光學(xué) 跟蹤可采用相機(jī)來捕獲眼睛的圖像并根據(jù)圖像來確定眼睛方向，例如Kaminski, Jeremy Yrmeyahu, DotanKnaan 和 AdiShavit 發(fā)表于 Machine Vision and Applications(機(jī) 器視覺和應(yīng)用）21. I (2009) :85-98 上的"Single image face orientation and gaze detection (單一圖像臉部定位和凝視檢測）"（下面稱為"Kaminski等人的文獻(xiàn)"）。電勢 測量設(shè)備可W利用置于眼睛周圍的電極測量電勢。一種稱為眼電描計(jì)術(shù)巧OG)系統(tǒng)的技術(shù) 可W測量電勢（所測量的信號稱為眼電圖）。Bulling等人提出了可佩帶的EOG護(hù)目鏡；例 如參見 Bulling, An化eas, Daniel Roggen 和 GerhardTVdster 發(fā)表于 Journal of Ambient Intelligence and Smart !Environments (環(huán)境智能和智能環(huán)境雜志）1. 2 (2009) :157-171 上的"Wearable EOG goggles: Seamless sensing and context-awareness in everyday enviro皿ents (可佩帶的EOG護(hù)目鏡：日常生活環(huán)境中的無縫感測和背景感知）"。
[0043] 在另一實(shí)施例中，信息捕獲設(shè)備可W是機(jī)械傳感器，如壓力或力傳感器。例如，其 測量由用戶施加的力或壓力。機(jī)械傳感器可W是機(jī)械操縱桿。
[0044] 步驟102提供用戶的相對于與車輛相關(guān)的參考坐標(biāo)系的至少一個注意力方向，其 中所述至少一個注意力方向源自用戶注意力數(shù)據(jù)。例如，用戶202(即，駕駛員）的注意力 方向203可W在與汽車201相關(guān)的參考坐標(biāo)系209中確定或定義。注意力方向203可W指 示用戶202的凝視方向或臉部方向，運(yùn)可W從安裝在汽車201中的相機(jī)205(即，信息捕獲 設(shè)備）所捕獲的用戶202的臉部的圖像（即，用戶注意力數(shù)據(jù)）估計(jì)。
[0045] 在一些實(shí)施方式中，注意力方向信息可包含在所捕獲的用戶注意力數(shù)據(jù)中。例如， 眼睛跟蹤器可W在輸出信號中提供凝視方向。在其他實(shí)施方式中，注意力方向信息可W源 自所捕獲的用戶注意力數(shù)據(jù)（例如，從其估計(jì)）。例如，當(dāng)相機(jī)用于捕獲用戶臉部或眼睛的 一個或多個圖像時，基于如Kaminski等人的文獻(xiàn)或Fanelli, G油riele,化ergen Gall和 Luc Van Gool 發(fā)表于 Computer Vision and Pattern Reco即ition(計(jì)算機(jī)視覺和模式識 別）（CVPR) 2011IE邸 Conference on. I邸E, 2011 上的"Real time head pose estimation with random regression化rests (利用隨機(jī)回歸森林的實(shí)時頭部姿態(tài)估計(jì)）"（下面稱為 "Fanelli等人的文獻(xiàn)）中所公開的計(jì)算機(jī)視覺方法，可能必須根據(jù)相機(jī)圖像來估計(jì)臉部姿 態(tài)或凝視光方向。根據(jù)本發(fā)明，從用戶注意力數(shù)據(jù)提供相對于參考坐標(biāo)系的至少一個注意 力方向的步驟應(yīng)該包括所有運(yùn)些實(shí)施方式和實(shí)施例。
[0046] 可W相對于信息捕獲設(shè)備來確定注意力方向。為了使注意力方向位于與車輛相關(guān) 的參考坐標(biāo)系中，可能需要車輛與信息捕獲設(shè)備之間的設(shè)備空間關(guān)系，例如6D0F(自由度） 剛度變換。然后，可W根據(jù)相對于信息捕獲設(shè)備的注意力方向W及設(shè)備空間關(guān)系來確定相 對于參考坐標(biāo)系的注意力方向。
[0047] 可W根據(jù)校準(zhǔn)程序來確定設(shè)備空間關(guān)系。校準(zhǔn)程序例如是機(jī)械校準(zhǔn)。例如，信息 捕獲設(shè)備（例如，相機(jī)205)可W利用機(jī)械臂W已知姿態(tài)安裝在車輛（例如，汽車201)的參 考坐標(biāo)系中。相機(jī)205也可WW任意姿態(tài)（即，在安裝時刻未知的姿態(tài)）安裝。在運(yùn)種情 況下，相機(jī)205可捕獲汽車201的一部分的圖像。汽車的一部分的圖像可用來基于計(jì)算機(jī) 視覺方法來估計(jì)設(shè)備空間關(guān)系（例如，基于特征的姿態(tài)估計(jì)）。也可W利用另一種跟蹤系統(tǒng) 來確定車輛與信息捕獲設(shè)備之間的設(shè)備空間關(guān)系。該跟蹤系統(tǒng)可W是機(jī)械臂、光學(xué)相機(jī)系 統(tǒng)或磁性跟蹤系統(tǒng)，或者任何運(yùn)動或位置傳感器（例如，重力傳感器、加速計(jì)、GP巧。
[0048] 在一個實(shí)施例中，信息捕獲設(shè)備是一個或多個相機(jī)或包括一個或多個相機(jī)。如圖 3所示，安裝在汽車201內(nèi)的相機(jī)205 (和206)是信息捕獲設(shè)備的一部分。例如，相機(jī)205 和與汽車201相關(guān)的參考坐標(biāo)系209具有已知的設(shè)備空間關(guān)系?？蒞捕獲用戶202臉部的 至少一部分的用戶圖像。
[0049] 可W基于各種計(jì)算機(jī)視覺方法（如Fanelli等人的文獻(xiàn)中所提及的）根據(jù)用戶圖 像來估計(jì)用戶臉部的姿態(tài)。根據(jù)臉部姿態(tài)，可W確定正面的方向作為注意力方向。圖2中 所示的注意力方向203可W表示臉部方向。
[0050] 根據(jù)一個實(shí)施例，多個注意力方向被確定。當(dāng)用戶圖像包含（坐在汽車內(nèi)的多個 用戶的）多個臉部時，可W確定多個臉部姿態(tài)。在另一實(shí)例中，用戶的臉部可W移動，于是 可W確定對于同一臉部的多個臉部方向。在運(yùn)種情況下，可W根據(jù)多個注意力方向來估計(jì) 一個主方向。可W采用不同的數(shù)學(xué)方法來從多個方向中確定主方向。例如，每個方向可具 有相對于公共坐標(biāo)系的角度。主方向可通過一角度確定，該角度可W計(jì)算為與多個方向相 關(guān)的多個角度的平均值、最大值、最小值、中等值或均值。在圖2中，注意力方向203可W是 基于一個用戶估計(jì)的一個方向或基于從一個或多個用戶的一個或多個用戶圖像估計(jì)的多 個注意力（例如，臉部和/或凝視）方向的主方向。
[0051] 還可W從用戶202的臉部的至少一部分的用戶圖像來估計(jì)凝視方向（例如，如 Kaminski等人的文獻(xiàn)中所提及的）。圖中2所示的注意力方向203可表示凝視方向。還可 W由眼睛跟蹤器來估計(jì)用戶202的凝視方向。
[0052] 此外，當(dāng)一個或多個用戶圖像捕獲用戶的手部或臂部的至少一部分時，可W 根據(jù)任何適當(dāng)?shù)幕谝曈X的方法（例如，如de La Gorce, Martin,化Vid J. Fleet和 Nikos Paragios 發(fā)表于 Computer Vision and Image Understanding(計(jì)算機(jī)視覺 和圖像理解）108. I (2007) :52-73 的"Model-Based 3D Hand 化 Se Estimation from Monocular Video (從單眼視頻估計(jì)的基于模型的3D手部姿態(tài)估計(jì)）"或化ol, Ali等人的 "Vision-based hand pose estimation:A review(基于視覺的手部姿態(tài)估計(jì)：綜述）"（下 面稱為"化Ol等人的文獻(xiàn)"）中所提及的）從所述一個或多個用戶圖像中估計(jì)手部姿態(tài)。也 可W如根據(jù)化Ol等人的文獻(xiàn)中所提及的方法來估計(jì)手部姿勢（或通常的手勢）。作為注 意力方向的方向（例如指向方向）可W源自手部姿勢。也可W由一個或多個用戶圖像來計(jì) 算手部指向方向或者通常的手勢。圖2中所示的注意力方向203可表示運(yùn)樣的手部指向方 向。
[0053] 根據(jù)一個實(shí)施例，從同一用戶注意力數(shù)據(jù)（例如，從由相機(jī)捕獲的同一用戶圖像） 估計(jì)用于一個或多個用戶的臉部姿態(tài)、凝視方向和/或手部姿態(tài)?？蒞確定多個方向（例 如，臉部方向、凝視方向和手部方向中的至少兩個）。注意力方向203可W被確定為多個方 向中的一個或基于多個方向所估計(jì)的主方向。
[0054] 在另一實(shí)施例中，當(dāng)用戶圖像由相機(jī)205捕獲時，相機(jī)205具有相對于參考坐