2] 根據(jù)一個(gè)實(shí)施例，考慮安裝在車輛上的至少一個(gè)鏡子來(lái)確定注意力方向。
[0163] 根據(jù)一個(gè)實(shí)施例，該方法還包括：當(dāng)車輛處于第一車輛位置時(shí)捕獲用戶注意力數(shù) 據(jù)；確定處于第一車輛位置的車輛和處于不同于第一車輛位置的第二車輛位置的車輛之間 的空間關(guān)系；W及根據(jù)處于第一車輛位置的車輛和處于第二車輛位置的車輛之間的空間關(guān) 系來(lái)確定場(chǎng)景相機(jī)中的至少一個(gè)。
[0164] 根據(jù)一個(gè)實(shí)施例，該方法還包括：當(dāng)車輛處于第二車輛位置時(shí)捕獲第二用戶注意 力數(shù)據(jù)；從第二用戶注意力數(shù)據(jù)中確定至少一個(gè)第二注意力方向；W及根據(jù)至少一個(gè)注意 力方向、至少一個(gè)第二注意力方向W及處于第一車輛位置的車輛和處于第二車輛位置的車 輛之間的空間關(guān)系，在參考坐標(biāo)系中確定與車輛相關(guān)的位置數(shù)據(jù)。
[0165] 根據(jù)一個(gè)實(shí)施例，至少一個(gè)注意力方向由軸線或視場(chǎng)表示。
[0166] 根據(jù)一個(gè)實(shí)施例，該方法還包括根據(jù)至少一個(gè)圖像來(lái)確定至少一個(gè)感興趣的對(duì) 象，其中所述至少一個(gè)感興趣的對(duì)象被包含在所述至少一個(gè)圖像中或者未包含在所述至少 一個(gè)圖像中。
[0167] 根據(jù)一個(gè)實(shí)施例，該方法還包括：根據(jù)至少一個(gè)圖像來(lái)確定至少一個(gè)感興趣的對(duì) 象；W及生成與至少一個(gè)感興趣的對(duì)象相關(guān)的訂單信息，用于傳送給供應(yīng)商從而購(gòu)買產(chǎn)品。 [016引根據(jù)一個(gè)實(shí)施例，該方法還包括：根據(jù)至少一個(gè)圖像來(lái)確定至少一個(gè)感興趣的對(duì) 象；W及確定車輛在真實(shí)世界中相對(duì)于全局坐標(biāo)系的方位和至少一個(gè)感興趣的對(duì)象相對(duì)于 車輛的位置。
[0169] 本公開還設(shè)及W下各方面和實(shí)施例。運(yùn)些方面和實(shí)施例可W單獨(dú)且獨(dú)立地應(yīng)用或 者與本文所描述的本公開的各方面和實(shí)施例結(jié)合應(yīng)用。
[0170] 根據(jù)一方面，公開了一種確定至少一個(gè)圖像中的至少一個(gè)圖像特征的方法，該方 法包括：提供由至少一個(gè)相機(jī)捕獲的對(duì)象的至少一部分的至少一個(gè)圖像；在至少一個(gè)顯示 屏幕上顯示至少一個(gè)圖像的至少一部分；確定至少一個(gè)圖像中的至少一個(gè)用戶的至少一個(gè) 注意力圖像方位；W及根據(jù)至少一個(gè)注意力圖像方位來(lái)確定至少一個(gè)圖像中的至少一個(gè)感 興趣圖像特征。
[0171] 根據(jù)另一方面，公開了一種確定至少一個(gè)圖像中的至少一個(gè)圖像特征的方法，該 方法包括：提供由至少一個(gè)相機(jī)捕獲的對(duì)象的至少一部分的至少一個(gè)圖像；確定至少一個(gè) 用戶相對(duì)于捕獲至少一個(gè)圖像的至少一個(gè)相機(jī)的至少一個(gè)注意力方向；根據(jù)至少一個(gè)注意 力方向來(lái)確定至少一個(gè)圖像中的至少一個(gè)用戶的至少一個(gè)注意力圖像方位；W及根據(jù)至少 一個(gè)注意力圖像方位來(lái)確定至少一個(gè)圖像中的至少一個(gè)感興趣圖像特征。
[0172] 根據(jù)另一方面，公開了一種用于確定至少一個(gè)圖像中的至少一個(gè)圖像特征的系 統(tǒng)，該系統(tǒng)包括處理系統(tǒng)，該處理系統(tǒng)被配置成提供由至少一個(gè)相機(jī)捕獲的對(duì)象的至少一 部分的至少一個(gè)圖像，W在至少一個(gè)顯示屏幕上顯示至少一個(gè)圖像的至少一部分，確定至 少一個(gè)圖像中的至少一個(gè)用戶的至少一個(gè)注意力圖像方位，W及根據(jù)至少一個(gè)注意力圖像 方位來(lái)確定至少一個(gè)圖像中的至少一個(gè)感興趣圖像特征。
[0173] 根據(jù)另一方面，公開了一種用于確定至少一個(gè)圖像中的至少一個(gè)圖像特征的系 統(tǒng)，該系統(tǒng)包括處理系統(tǒng)，該處理系統(tǒng)被配置成提供由至少一個(gè)相機(jī)捕獲的對(duì)象的至少一 部分的至少一個(gè)圖像，W確定至少一個(gè)用戶的相對(duì)于捕獲至少一個(gè)圖像的至少一個(gè)相機(jī)的 至少一個(gè)注意力方向，根據(jù)至少一個(gè)注意力方向來(lái)確定至少一個(gè)圖像中的至少一個(gè)用戶的 至少一個(gè)注意力圖像方位，W及根據(jù)至少一個(gè)凝視注意力圖像方位來(lái)確定至少一個(gè)圖像中 的至少一個(gè)感興趣圖像特征。
[0174] 具體地，根據(jù)本公開，用戶一只或兩只眼睛的凝視方向是用戶的注意力方向。凝視 屏幕方位是注意力屏幕方位。凝視圖像方位是注意力圖像方位。
[0175] 具體地，根據(jù)本公開，用戶的臉部方向是用戶的注意力方向。臉部方向屏幕方位是 注意力屏幕方位。臉部方向圖像方位是注意力圖像方位。
[0176] 根據(jù)一個(gè)實(shí)施例，臉部方向是正面方向。
[0177] 具體地，根據(jù)本公開，用戶的手部指向方向是用戶的注意力方向。手部指向屏幕方 位是注意力屏幕方位。手部指向圖像方位是注意力圖像方位。
[0178] 為了簡(jiǎn)明，運(yùn)里給出的實(shí)施例是基于凝視方向、凝視屏幕方位、凝視圖像位置作為 用戶的注意力方向、注意力屏幕方位、注意力圖像方位的具體實(shí)例。
[0179] 然而，與凝視方向、凝視屏幕方位、凝視圖像位置相關(guān)的所有實(shí)施例還可應(yīng)用于其 他的用戶注意力方向（例如，臉部方向和手部指向方向）、其他的用戶注意力屏幕方位（例 如，臉部方向屏幕方位和手部指向屏幕方位）和其他的用戶注意力圖像方位（例如，臉部方 向圖像方位和手部指向圖像方位）。
[0180] 具體地，根據(jù)本公開，一個(gè)或多個(gè)圖像中的人眼（特別是用戶的一只或兩只眼睛） 的凝視圖像方位可被檢測(cè)并用來(lái)確定一個(gè)或多個(gè)圖像中的圖像特征。所提取的圖像特征可 用來(lái)檢測(cè)、跟蹤和/或再現(xiàn)一個(gè)或多個(gè)圖像中所捕獲的感興趣的對(duì)象。因此，可去除不相關(guān) 的檢測(cè)到的圖像特征，或者僅檢測(cè)圖像中的感興趣圖像特征，進(jìn)而在計(jì)算機(jī)視覺(jué)方法中使 用。
[0181] 對(duì)于計(jì)算機(jī)視覺(jué)中的多個(gè)應(yīng)用，基于由一個(gè)或多個(gè)相機(jī)捕獲的圖像，根據(jù)本公開 所描述的方法或系統(tǒng)的操作者是人，并且顯示屏幕用來(lái)顯示圖像，使得人可W觀察所捕獲 的圖像并相應(yīng)地移動(dòng)相機(jī)。在運(yùn)樣的實(shí)施例中，圖像中的用戶的人眼的凝視方位可W指示 應(yīng)該被識(shí)別、再現(xiàn)和/或跟蹤的感興趣的對(duì)象。根據(jù)所確定的一個(gè)或多個(gè)凝視方位、或者在 用于識(shí)別、再現(xiàn)和/或跟蹤的計(jì)算機(jī)視覺(jué)方法中任何被識(shí)別的感興趣的對(duì)象，與感興趣的 對(duì)象不相關(guān)的圖像特征可從所提取的圖像特征中去除，或者可W僅提取與感興趣的對(duì)象相 關(guān)的圖像特征。
[0182] 通過(guò)提供計(jì)算機(jī)生成的虛擬信息與真實(shí)對(duì)象的視覺(jué)印象或圖像重疊的可視性，增 強(qiáng)現(xiàn)實(shí)系統(tǒng)可W呈現(xiàn)真實(shí)對(duì)象的增強(qiáng)信息。為此，檢測(cè)或跟蹤真實(shí)對(duì)象，W便檢索或產(chǎn)生相 關(guān)的虛擬信息。例如，通過(guò)利用包括相機(jī)和顯示屏幕的視頻透視設(shè)備，用戶可看到虛擬和真 實(shí)信息的重疊。在運(yùn)種情況下，感興趣的對(duì)象由相機(jī)捕獲在圖像中。虛擬信息和捕獲圖像 的重疊在顯示屏幕上被顯示給用戶。用戶經(jīng)常察看顯示在屏幕上的圖像中所捕獲的感興趣 的對(duì)象，而不會(huì)察看圖像中所捕獲的其他對(duì)象。因此，用戶的凝視信息可用來(lái)確定感興趣的 對(duì)象。
[0183] 用戶還可借助于一種具有半透明玻璃的公知的光學(xué)透視裝置看到虛擬和真實(shí)信 息的重疊。在運(yùn)種情況下，用戶于是透過(guò)半透明玻璃看到真實(shí)環(huán)境中的對(duì)象，混合在半透明 玻璃中的虛擬信息增強(qiáng)了該真實(shí)環(huán)境。至少一個(gè)相機(jī)通常附接到所述光學(xué)透視裝置，W便 通過(guò)利用計(jì)算機(jī)視覺(jué)方法識(shí)別、跟蹤或再現(xiàn)感興趣的對(duì)象。
[0184] 根據(jù)一個(gè)實(shí)施例，該方法還包括確定至少一只眼睛在至少一個(gè)顯示屏幕上的至少 一個(gè)凝視屏幕方位，其中根據(jù)至少一個(gè)凝視屏幕方位來(lái)確定至少一個(gè)凝視圖像方位。
[0185] 例如，其還包括使確定至少一個(gè)凝視屏幕方位的步驟與在至少一個(gè)顯示屏幕上顯 示至少一個(gè)圖像的至少一部分的步驟同步。
[0186] 根據(jù)一個(gè)實(shí)施例，確定至少一個(gè)凝視圖像方位的步驟包括：提供由至少一個(gè)捕獲 設(shè)備（其可W是同一相機(jī)或不同相機(jī)）捕獲的至少一只眼睛的至少一個(gè)第二圖像，所述至 少一個(gè)捕獲設(shè)備與至少一個(gè)顯示屏幕具有已知的空間關(guān)系；W及根據(jù)至少一個(gè)第二圖像來(lái) 確定至少一個(gè)凝視圖像方位。
[0187] 根據(jù)進(jìn)一步的實(shí)施例，至少一個(gè)圖像包括由至少一個(gè)相機(jī)捕獲的多個(gè)圖像，并且 該方法還包括：對(duì)于多個(gè)圖像中的每個(gè)相應(yīng)圖像，在至少一個(gè)顯示屏幕之一上顯示相應(yīng)圖 像的至少一部分；W及確定相應(yīng)圖像中的一個(gè)或多個(gè)凝視圖像方位。該方法進(jìn)而還包括： 在多個(gè)圖像之間確定至少一個(gè)圖像變換；W及根據(jù)至少一個(gè)圖像變換，將所確定的一個(gè)或 多個(gè)凝視圖像方位從多個(gè)圖像中的每個(gè)相應(yīng)圖像變換成多個(gè)圖像中的至少一個(gè)，其中所確 定的至少一個(gè)凝視圖像方位包括變換后的凝視圖像方位。
[018引根據(jù)一個(gè)實(shí)施例，該方法還包括：提供與至少一個(gè)圖像中的至少一部分相關(guān)聯(lián)的 深度信息；W及根據(jù)至少一個(gè)凝視方向和深度信息確定至少一個(gè)凝視圖像方位。
[0189] 根據(jù)一個(gè)實(shí)施例，該方法還包括根據(jù)所確定的至少一個(gè)圖像特征執(zhí)行計(jì)算機(jī)視覺(jué) 算法，其中計(jì)算機(jī)視覺(jué)算法包括基于圖像的識(shí)別、基于圖像的跟蹤、基于圖像的再現(xiàn)W及基 于圖像的分類中的至少一種。
[0190] 根據(jù)一個(gè)實(shí)施例，該方法還包括：使至少一個(gè)感興趣圖像特征與參考圖像特征匹 配；W及根據(jù)匹配來(lái)識(shí)別對(duì)象。
[0191] 根據(jù)進(jìn)一步的實(shí)施例，該方法包括：使至少一個(gè)感興趣圖像特征與參考圖像特征 匹配；W及根據(jù)匹配來(lái)估計(jì)至少一個(gè)相機(jī)相對(duì)于對(duì)象的姿態(tài)，其中參考圖像特征具有3D位 置。
[0192] 根據(jù)一個(gè)實(shí)施例，該方法還包括：提供與至少一個(gè)圖像相關(guān)聯(lián)的深度信息；W及 根據(jù)深度信息來(lái)確定用于至少一個(gè)感興趣圖像特征的3D位置。
[0193] 根據(jù)一個(gè)實(shí)施例，至少一個(gè)圖像是至少一個(gè)第一圖像，并且該方法還包括：提供至 少一個(gè)第二圖像；確定第二圖像中的與至少一個(gè)感興趣圖像特征對(duì)應(yīng)的至少一個(gè)第二圖像 特征；W及根據(jù)至少一個(gè)第二圖像特征和至少一個(gè)感興趣圖像特征的圖像位置，確定用于 至少一個(gè)感興趣圖像特征的3D位置。
[0194] 根據(jù)一個(gè)實(shí)施例，至少一個(gè)凝視圖像方位是至少一個(gè)第一凝視圖像方位，并且確 定至少一個(gè)第二圖像中的至少一個(gè)第二圖像特征的步驟包括：在至少一個(gè)顯示屏幕上顯示 至少一個(gè)第二圖像的至少一部分；確定至少一個(gè)第二圖像中的至少一只眼睛的至少一個(gè)第 二凝視圖像方位；W及根據(jù)至少一個(gè)第二凝視圖像方位來(lái)確定至少一個(gè)第二圖像中的至少 一個(gè)第二圖像特征。
[0195] 根據(jù)另一實(shí)施例，至少一個(gè)凝視方向是至少一個(gè)第一凝視方向，并且至少一個(gè)凝 視圖像方位是至少一個(gè)第一凝視圖像方位，其中確定至少一個(gè)第二圖像中的至少一個(gè)第二 圖像特征的步驟包括：確定至少一只眼睛相對(duì)于至少一個(gè)相機(jī)的至少一個(gè)第二凝視方向， 其中至少一個(gè)相機(jī)捕獲至少一個(gè)第二圖像；根據(jù)至少一個(gè)第二凝視方向來(lái)確定至少一只眼 睛在至少一個(gè)第二圖像中的至少一個(gè)第二凝視圖像方位；W及根據(jù)至少一個(gè)第二凝視圖像 方位來(lái)確定至少一個(gè)第二圖像中的至少一個(gè)第二圖像特征。
[0196] 例如，至少一個(gè)感興趣圖像特征可儲(chǔ)存在處理設(shè)備中。
[0197] 根據(jù)一個(gè)實(shí)施例，對(duì)象是真實(shí)對(duì)象，并且至少一個(gè)相機(jī)是至少一個(gè)真實(shí)相機(jī)。根據(jù) 另一實(shí)施例，對(duì)象是虛擬對(duì)象，并且至少一個(gè)相機(jī)是至少一個(gè)虛擬相機(jī)。
[019引根據(jù)一個(gè)實(shí)施例，確定至少一個(gè)感興趣圖像特征的步驟包括根據(jù)至少一個(gè)凝視圖 像方位來(lái)確定至少一個(gè)圖像中的感興趣圖像區(qū)域，其中根據(jù)感興趣圖像區(qū)域來(lái)確定至少一 個(gè)感興趣圖像特征。至少一個(gè)感興趣圖像特征可包括感興趣圖像區(qū)域的像素信息的至少一 部分的信息或者源自感興趣圖像區(qū)域的像素信息的至少一部分的信息。
[0199] 根據(jù)一個(gè)實(shí)施例，確定感興趣圖像區(qū)域的步驟包括：對(duì)至少一個(gè)圖像執(zhí)行分割W 獲得多個(gè)圖像區(qū)域；W及根據(jù)至少一個(gè)凝視圖像方位和多個(gè)圖像區(qū)域中的至少一個(gè)的位置 來(lái)確定多個(gè)圖像區(qū)域中的至少一個(gè)作為感興趣圖像區(qū)域。
[0200] 例如，確定感興趣圖像區(qū)域的步驟包括：根據(jù)至少一個(gè)凝視圖像方位和至少一個(gè) 圖像的至少一部分的像素信息，對(duì)至少一個(gè)圖像執(zhí)行分割。
[0201] 根據(jù)一個(gè)實(shí)施例，至少一個(gè)凝視圖像方位包含至少兩個(gè)凝視圖像方位，并且確定 感興趣圖像區(qū)域的步驟包括使至少兩個(gè)凝視圖像方位聚類；W及根據(jù)聚類的結(jié)果來(lái)確定圖 像區(qū)域。
[0202] 例如，根據(jù)感興趣圖像區(qū)域確定至少一個(gè)感興趣圖像特征的步驟包括在感興趣圖 像區(qū)域中提取至少一個(gè)感興趣圖像特征。
[0203] 根據(jù)感興趣圖像區(qū)域確定至少一個(gè)感興趣圖像特征的步驟可包括：在至少一個(gè)圖 像中提取多個(gè)圖像特征；W及從所提取的多個(gè)圖像特征中選擇至少一個(gè)感興趣圖像特征， 其中所提取的多個(gè)圖像特征包括對(duì)象的至少一個(gè)圖像特征W及與對(duì)象不相關(guān)的至少一個(gè) 圖像特征。
[0204] 例如，根據(jù)本發(fā)明的處理系統(tǒng)至少部分地被包含在移動(dòng)設(shè)備（諸如移動(dòng)電話、可 穿戴式計(jì)算機(jī)、平板電腦、移動(dòng)計(jì)算機(jī)（常被稱為膝上型計(jì)算機(jī)）或頭戴式顯示器（諸如用 于光學(xué)透視式增強(qiáng)現(xiàn)實(shí)應(yīng)用）和/或適于與移動(dòng)設(shè)備通信的服務(wù)器計(jì)算機(jī)中。該處理系統(tǒng) 可包含于僅一種運(yùn)樣的設(shè)備中，例如，包含于移動(dòng)設(shè)備中或服務(wù)器計(jì)算機(jī)中，或者可W是分 布式系統(tǒng)，在該分布式系統(tǒng)中，由分布的并且彼此通信的一個(gè)或多個(gè)處理設(shè)備來(lái)分配和處 理一個(gè)或多個(gè)處理任務(wù)，例如通過(guò)點(diǎn)對(duì)點(diǎn)通信或經(jīng)由網(wǎng)絡(luò)。
[0205] 根據(jù)一個(gè)實(shí)施例，該系統(tǒng)包括移動(dòng)設(shè)備，該移動(dòng)設(shè)備包括一個(gè)或多個(gè)相機(jī)W及例 如顯示屏幕。
[0206] 運(yùn)里所描述的關(guān)于該方法任何步驟、實(shí)施例、方面和實(shí)例可通過(guò)處理系統(tǒng)等同和 相似地實(shí)現(xiàn)，所述處理系統(tǒng)被配置成（通過(guò)軟件和/或硬件）執(zhí)行相應(yīng)的步驟、實(shí)施例、方 面或?qū)嵗Ｌ幚硐到y(tǒng)內(nèi)所使用的任何處理設(shè)備可被如此配置并且經(jīng)由通信網(wǎng)絡(luò)與一個(gè)或多 個(gè)相機(jī)、顯示器和/或任何其他部件進(jìn)行通信，例如，經(jīng)由服務(wù)器計(jì)算機(jī)或點(diǎn)對(duì)點(diǎn)通信。
[0207] 根據(jù)另一方面，本發(fā)明還設(shè)及一種包括軟件代碼部分的計(jì)算機(jī)程序產(chǎn)品，所述軟 件代碼部分適于執(zhí)行根據(jù)本發(fā)明的方法。具體地，所述軟件代碼部分被包含在永久的計(jì)算 機(jī)可讀介質(zhì)上。所述軟件代碼部分可被加載到本文所描述的一個(gè)或多個(gè)處理設(shè)備（諸如微 處理器）的存儲(chǔ)器中。
[020引如本文所公開的，任何所使用的處理設(shè)備可W經(jīng)由通信網(wǎng)絡(luò)（例如，經(jīng)由服務(wù)器 計(jì)算機(jī)）或點(diǎn)對(duì)點(diǎn)通信進(jìn)行通信。
[0209] 眼睛跟蹤本身是一種沿用已久的技術(shù)，用于檢測(cè)凝視（一個(gè)人正在觀看）的位置 或方向或者眼睛相對(duì)于參考位置（例如頭部）的運(yùn)動(dòng)或位置。許多眼睛跟蹤器系統(tǒng)在商業(yè) 上可獲得，如Tobii技術(shù)制造的系統(tǒng)（例如，見ht化://www. tobii. com)。
[0210] 眼睛跟蹤器系統(tǒng)也可W是能夠捕獲眼睛的圖像的相機(jī)。利用所捕獲的 圖像也能夠執(zhí)行凝視方向，如Blum, Tobias等人發(fā)表于Mixed and Augmented Reality(ISMAR), 20109th IE邸 International Symposium on. IE邸，2010 上的"The effect of out-of-focus blur on visu曰I discomfort when using stereo displ曰ys(使 用立體顯示器時(shí)離焦模糊對(duì)視覺(jué)不適的影響）"（W下稱為Blum等人的文獻(xiàn)）中所提出的。 [02U] 許多應(yīng)用都受益于凝視檢測(cè)。例如，WO 2014/052058 Al公開了通過(guò)使用Tobii目艮 睛跟蹤器在顯示屏幕上根據(jù)估計(jì)的用戶的2D凝視位置獲得3D凝視位置。在其應(yīng)用中，根 據(jù)3D凝視位置，人工離焦模糊將被添加到顯示在屏幕上的圖像。WO 2014/052058 Al還公 開了一種提高可視性的解決方案，而運(yùn)些文獻(xiàn)沒(méi)有提出或促進(jìn)根據(jù)凝視位置處理或分析由 相機(jī)捕獲的真實(shí)環(huán)境的圖像的任何方法。具體地，WO 2014/052058 Al沒(méi)有提出根據(jù)凝視 位置來(lái)檢測(cè)圖像中的圖像特征，然后執(zhí)行計(jì)算機(jī)視覺(jué)方法來(lái)跟蹤、識(shí)別、分類和/或再現(xiàn)包 含在圖像中的真實(shí)對(duì)象。
[0212] Srinivasan等人在參考文獻(xiàn)[16]中開發(fā)了一種基于顯示屏幕上的一只或多只眼 睛的檢測(cè)到的凝視位置W及一只或多只手的手勢(shì)的多模態(tài)觸摸屏仿真器。它們使用相機(jī)來(lái) 捕獲一只或多只眼睛，W便在顯示屏幕上確定凝視位置。
[0213]當(dāng)所設(shè)及的用戶實(shí)施或使用基于包含感興趣的對(duì)象的圖像的計(jì)算機(jī)視覺(jué)產(chǎn)品或 方法時(shí)，運(yùn)些現(xiàn)有技術(shù)參考文獻(xiàn)都沒(méi)有公開用戶凝視位置或方向與感興趣的對(duì)象之間的關(guān) 系，并且沒(méi)有公開在計(jì)算機(jī)視覺(jué)產(chǎn)品或方法中可W采用運(yùn)樣的關(guān)系。
[0214] 圖8示出了用戶806手持移動(dòng)設(shè)備801的場(chǎng)景，該移動(dòng)設(shè)備具有前置相機(jī)803、后 置相機(jī)802 W及顯示屏幕804。通過(guò)利用后置相機(jī)802來(lái)捕獲圖像810, W便識(shí)別、跟蹤和 /或再現(xiàn)放置在桌子807上的塑料兔子808 (在該實(shí)施例中，為感興趣的對(duì)象）。移動(dòng)設(shè)備 801包括一個(gè)或多個(gè)處理設(shè)備809,諸如一個(gè)或多個(gè)微處理器。
[0215] 圖9示出了用戶906手持移動(dòng)設(shè)備901的另一場(chǎng)景，該移動(dòng)設(shè)備具有前置相機(jī) 903、后置相機(jī)902 W及顯示屏幕904,通過(guò)使用后置相機(jī)902,該移動(dòng)設(shè)備正在捕獲圖像 910, W便識(shí)別、跟蹤和/或再現(xiàn)放置在桌子807上的塑料兔子808 (即，感興趣的對(duì)象）。移 動(dòng)設(shè)備901包括一個(gè)或多個(gè)處理設(shè)備909,諸如一個(gè)或多個(gè)微處理器。
[0216] 在圖8和圖9所示的兩個(gè)場(chǎng)景中，用戶806和906可W相同或不同。移動(dòng)設(shè)備801 和901可W相同或不同。前置相機(jī)803和903、后置相機(jī)802和902、W及顯示屏幕804和 904分別可W相同或不同。
[0217] 在一個(gè)應(yīng)用中，可W基于塑料兔子808的至少一部分的一個(gè)圖像（例如，圖像 810)，必須識(shí)別出塑料兔子808, W便檢索或生成與塑料兔子808相關(guān)的數(shù)字信息（諸如其 制造商信息，其CAD模型等）。所生成的數(shù)字信息可W是可視化的并覆蓋在塑料兔子808的 圖像810的頂部上，從而具有可顯示在顯示屏幕（如屏幕804)上的重疊圖像。運(yùn)將產(chǎn)生增 強(qiáng)現(xiàn)實(shí)可視化。
[021引為了識(shí)別塑料兔子808,存儲(chǔ)在數(shù)據(jù)庫(kù)中（例如，包括在移動(dòng)設(shè)備80U901中或包 括在遠(yuǎn)程服務(wù)器計(jì)算機(jī)890中）的參考圖像特征與在圖像810中提取的當(dāng)前圖像特征匹 配。所述當(dāng)前圖像特征可W是圖像特征83U832和833,基于其相應(yīng)的矩形區(qū)域的像素信 息，可通過(guò)使用高級(jí)描述符（如SIFT、SURF等）來(lái)表示當(dāng)前圖像特征。
[0219] 在一個(gè)實(shí)施例中，當(dāng)圖像特征的至少一部分覆蓋或源自感興趣的對(duì)象（例如，塑 料兔子808)的圖像區(qū)域的一部分的像素信息時(shí)，圖像特征與感興趣的對(duì)象相關(guān)且將被認(rèn) 為是感興趣圖像特征。例如，感興趣圖像內(nèi)的高對(duì)比度紋理可被確定為與感興趣的對(duì)象相 關(guān)的圖像特征，和/或感興趣的對(duì)象的邊界（例如，邊緣、角部）可被確定為與感興趣的對(duì) 象相關(guān)的圖像特征。在圖8中，圖像特征831和833與塑料兔子808相關(guān)，而表示桌子807 的角部的圖像特征832與塑料兔子808不相關(guān)。
[0220] 根據(jù)本發(fā)明的一個(gè)實(shí)施例（見圖10)可創(chuàng)建感興趣圖像特征。在該實(shí)施例中，僅 與塑料兔子808相關(guān)的圖像特征可被確定為感興趣圖像特征。在本實(shí)例中，圖像特征831 和833,而不是圖像特征832,將被確定為感興趣圖像特征。根據(jù)真實(shí)場(chǎng)景，與感興趣的對(duì) 象不相關(guān)的圖像特征也可被確定為感興趣圖像特征的一部分。盡管如此，本發(fā)明可從感興 趣圖像特征中明顯地去除與感興趣的對(duì)象不相關(guān)的圖像特征，運(yùn)用于各種計(jì)算機(jī)視覺(jué)方法 中，諸如增強(qiáng)現(xiàn)實(shí)應(yīng)用。
[0221] 此外，通過(guò)從塑料兔子808的其他圖像中提取圖像特征，可生成存儲(chǔ)在數(shù)據(jù)庫(kù)中 的任何參考圖像特征。通過(guò)利用本發(fā)明的一個(gè)實(shí)施例（見圖10)，可W將從其他圖像中提取 的感興趣圖像特征（例如，與塑料兔子808相關(guān)的圖像特征）確定為參考圖像特征。
[0222] 由于僅具有與感興趣的對(duì)象相關(guān)的圖像特征或在參考圖像特征組和/或當(dāng)前圖 像特征組中具有最少量的與感興趣的對(duì)象不相關(guān)的圖像特征，因此可W高精度且低操作時(shí) 間的方式執(zhí)行參考圖像特征組與當(dāng)前圖像特征組之間的匹配。運(yùn)可W提高基于圖像的識(shí) 另IJ、基于圖像的跟蹤和/或基于圖像的再現(xiàn)。
[0223] 此外，在另一跟蹤塑料兔子808的應(yīng)用中，運(yùn)將類似于識(shí)別，圖像810中提取的當(dāng) 前特征與參考特征匹配。根據(jù)與參考特征和匹配結(jié)果相關(guān)聯(lián)的3D位置，可W形成2D-3D對(duì) 應(yīng)關(guān)系?；?D-3D對(duì)應(yīng)關(guān)系，可W確定塑料兔子808相對(duì)于捕獲圖像810的后置相機(jī)802 的姿態(tài)。在沒(méi)有本發(fā)明的情況下，與桌子807相關(guān)的圖像特征（如圖像特征832)可被提取 并與參考特征匹配，然后將產(chǎn)生2D-3D對(duì)應(yīng)關(guān)系用于姿態(tài)估計(jì)。運(yùn)會(huì)把誤差引入跟蹤兔子 808的姿勢(shì)估計(jì)方法中，特別是當(dāng)兔子808相對(duì)于桌子807移動(dòng)時(shí)。
[0224] 在另一應(yīng)用中，可W基于塑料兔子808的至少一部分的至少一個(gè)圖像，必須再現(xiàn) 兔子808。在一個(gè)實(shí)例中，再現(xiàn)過(guò)程可W從在至少一個(gè)圖像中提取的多個(gè)圖像特征（例 如，點(diǎn)特征）生成多個(gè)3D點(diǎn)。然后，3D幾何模型可源自多個(gè)3D點(diǎn)。當(dāng)深度信息可獲取 時(shí)，根據(jù)圖像特征的圖像位置W及與圖像特征相關(guān)聯(lián)的深度信息，可從單一圖像估計(jì)3D 點(diǎn)。在另一實(shí)施方式中，使用至少兩個(gè)圖像，可基于至少兩個(gè)圖像中的兩個(gè)對(duì)應(yīng)的圖像 特征來(lái)估計(jì)3D點(diǎn)，如Davison, An化ew J.等人發(fā)表于化ttern Analysis and Machine Intelligence (樣式分析和機(jī)器智能），IE 邸 Transactions on 29. 6 (2007) :1052-1067 中 的"MonoSLAM:Rea]_-time single camera SLAM."(下面稱為"Dav