用于實現(xiàn)虛擬標記的方法及設備的制作方法
【專利摘要】本發(fā)明描述一種用于實現(xiàn)虛擬標記的方法及設備。所述方法可包含接收第一數(shù)字圖像數(shù)據(jù)及待與所述第一數(shù)字圖像數(shù)據(jù)中的現(xiàn)實世界對象相關聯(lián)的虛擬標記數(shù)據(jù)，其中所述第一數(shù)字圖像數(shù)據(jù)由第一移動裝置捕獲，且所述虛擬標記數(shù)據(jù)包含從所述第一移動裝置的用戶接收的元數(shù)據(jù)。所述方法還可包含從所述第一數(shù)字圖像數(shù)據(jù)產生描述所述現(xiàn)實世界對象的第一數(shù)字簽名，及響應于所述產生，實質上實時地將所述第一數(shù)字簽名插入到數(shù)字圖像的可搜索索引中。所述方法還可包含在標記數(shù)據(jù)庫中存儲所述虛擬標記數(shù)據(jù)及所述虛擬標記數(shù)據(jù)與插入到所述數(shù)字圖像的索引中的所述第一數(shù)字簽名之間的關聯(lián)。
【專利說明】用于實現(xiàn)虛擬標記的方法及設備
【技術領域】
[0001]本發(fā)明的實施例涉及增強數(shù)字圖像及視頻的領域，且更特定來說，涉及實現(xiàn)對現(xiàn)實世界對象的虛擬標記。
【背景技術】
[0002]因特網提供關于人物、地方及事物的大量知識。當用戶想要關于特定人物、地方或事物的詳細信息時，所述用戶利用搜索引擎對大量可用知識進行挑選。移動裝置可用于從任何地方接入因特網并進行搜索。舉例來說，當用戶站立在歷史地標旁邊時，他或她可搜索所述地標的歷史數(shù)據(jù)、與所述地標相關的照片等等。搜索引擎基于詢問通過定位由搜索引擎經由網頁抓取發(fā)現(xiàn)的相關內容來將結果返回給用戶。
[0003]隨著社交網絡的到來，因特網上可用的信息已變得更個人化且在社交上更具有互動性。使用社交網絡，用戶能夠彼此共享聊天會話、彼此評論、共享圖片等等。然而，社交網絡環(huán)境中用戶之間的互動一般限于社交網絡系統(tǒng)的特定創(chuàng)建的網頁界面。

【發(fā)明內容】

[0004]描述一種用于實現(xiàn)虛擬標記的方法及設備。根據(jù)示范性方法，接收第一數(shù)字圖像數(shù)據(jù)及待與所述第一數(shù)字圖像數(shù)據(jù)中的現(xiàn)實世界對象相關聯(lián)的虛擬標記數(shù)據(jù)。在一個實施例中，所述第一數(shù)字圖像數(shù)據(jù)由第一移動裝置捕獲且所述虛擬標記數(shù)據(jù)包含從所述第一移動裝置的用戶接收的元數(shù)據(jù)。在一個實施例中，從第一數(shù)字圖像數(shù)據(jù)產生描述現(xiàn)實世界對象的第一數(shù)字簽名，且響應于提取而實質上實時地將所述第一數(shù)字簽名插入到數(shù)字圖像的可搜索索引中。在一個實施例中，虛擬標記數(shù)據(jù)及所述虛擬標記數(shù)據(jù)與插入到所述數(shù)字圖像索引中的所述第一數(shù)字簽名之間的關聯(lián)存儲在標記數(shù)據(jù)庫中。
[0005]在一個實施例中，所述示范性方法還包含接收從由第二移動裝置捕獲的第二數(shù)字圖像數(shù)據(jù)產生的第二簽名，所述第二數(shù)字圖像數(shù)據(jù)包含一個或一個以上現(xiàn)實世界對象。在一個實施例中，當基于第二數(shù)字簽名的對數(shù)字圖像索引的搜索導致與所述第一數(shù)字簽名的匹配時，將從第一移動裝置的用戶接收且與第一數(shù)字圖像數(shù)據(jù)中的現(xiàn)實世界對象相關聯(lián)的虛擬標記數(shù)據(jù)發(fā)射到第二移動裝置。
【專利附圖】

【附圖說明】
[0006]將從下文給出的詳細描述及從本發(fā)明的各種實施例的附圖更完整地理解本發(fā)明，然而，所述詳細描述及附圖不應理解為將本發(fā)明限于特定實施例，而應理解為僅用于解釋
及理解。
[0007]圖1為用于實現(xiàn)虛擬標記的示范性系統(tǒng)架構的框圖。
[0008]圖2為虛擬標記系統(tǒng)及虛擬標記客戶端的一個實施例的框圖。
[0009]圖3A為用于創(chuàng)建數(shù)字圖像中的現(xiàn)實世界對象的虛擬標記的方法的一個實施例的流程圖。[0010]圖3B為用于觀看與數(shù)字圖像中捕獲的現(xiàn)實世界對象相關聯(lián)的虛擬標記的方法的一個實施例的流程圖。
[0011]圖4為用于編輯待與現(xiàn)實世界對象相關聯(lián)的虛擬標記的方法的一個實施例的流程圖。
[0012]圖5為用于實時地將現(xiàn)實世界對象的圖像插入到數(shù)字圖像索引中的方法的一個實施例的流程圖。
[0013]圖6為用于過濾針對現(xiàn)實世界對象定位的虛擬標記的方法的一個實施例的流程圖。
[0014]圖7為用于連續(xù)地跟蹤數(shù)字圖像中的現(xiàn)實世界對象的方法的一個實施例的流程圖。
[0015]圖8說明呈計算機系統(tǒng)的示范性形式的機器的圖解表示。
[0016]圖9說明用于接收、發(fā)射及顯示虛擬標記的實例系統(tǒng)。
[0017]圖10說明用于接收、發(fā)射及顯示虛擬標記的實例系統(tǒng)的替代視圖。
[0018]圖11說明計算機網絡基礎結構的實例示意圖示。
[0019]圖12說明數(shù)字圖像與虛擬標記一起的實例顯示。
[0020]圖13說明將虛擬標記添加到數(shù)字圖像。
【具體實施方式】
[0021]在以下詳細描述中，闡述許多細節(jié)。然而，受益于本發(fā)明的所屬領域的一般技術人員中的一者將明白，本發(fā)明可在沒有這些特定細節(jié)的情況下實踐。在一些例子中，以框圖形式展示而非詳細展示眾所周知的結構及裝置以避免模糊本發(fā)明。
[0022]根據(jù)對計算機存儲器內的數(shù)據(jù)位的操作的算法及符號表示來呈現(xiàn)以下詳細描述的一些部分。這些算法描述及表示為數(shù)據(jù)處理領域的技術人員用來最有效地向所屬領域的其它技術人員傳達其工作實質的方式。算法在此處且一般地被認為是導致所要結果的一系列首尾一致的步驟。所述步驟為需要對物理量的物理操縱的步驟。通常但不是必然地，這些量呈能夠被存儲、轉移、組合、比較及以其它方式操縱的電或磁信號的形式。已被證明方便的是，有時主要出于共同使用的原因，將這些信號稱為位、值、元件、符號、字符、術語、數(shù)字或類似物。
[0023]然而，應謹記，所有這些術語及類似術語待與適當物理量相關聯(lián)且僅為應用于這些量的便簽。除非如從以下論述明白而以其它方式明確陳述，否則應了解，在整個描述中，利用例如“接收”、“產生”、“插入”、“存儲”、“選擇”、“發(fā)射”、“詢問”、“獲得”、“過濾”或類似術語的術語的描述、論述是指操縱及將表示為計算機系統(tǒng)的寄存器及存儲器內的物理(例如，電子)量的數(shù)據(jù)轉換成類似地表示為計算機系統(tǒng)存儲器或寄存器或其它此信息存儲、發(fā)射或顯示裝置內的物理量的其它數(shù)據(jù)的計算機系統(tǒng)或類似電子計算裝置的動作及過程。
[0024]本發(fā)明還涉及用于執(zhí)行本文中的操作的設備。此設備可出于要求目的而特定構造或其可包括通過存儲在計算機中的計算機程序選擇性地激活或再配置的通用計算機。此計算機程序可存儲在計算機可讀存儲媒體中，例如但不限于任何類型的磁盤(包括軟磁盤、光盤、CD-ROM及磁光盤)、只讀存儲器(ROM)、隨機存取存儲器(RAM)、EPROM、EEPR0M、磁卡或光卡或適于存儲電子指令的任何類型的媒體。[0025]本文中呈現(xiàn)的算法及顯示器不固有地涉及任何特定計算機或其它設備。根據(jù)本文中的教示，各種通用系統(tǒng)可以程序使用，或可證明構造更專門的設備來執(zhí)行所要方法步驟是方便的。將從以下描述明白各種這些系統(tǒng)的所要結構。此外，不參考任何特定編程語言描述本發(fā)明。將明白，各種編程語言可用于實施如本文中描述的本發(fā)明的教示。
[0026]圖1為用于實現(xiàn)虛擬標記的示范性系統(tǒng)架構100的框圖。在一個實施例中，系統(tǒng)100包含多個移動裝置(例如移動裝置110-1到移動裝置110-N)及虛擬標記服務器130。在一個實施例中，移動裝置110可為移動計算裝置，例如移動電話、個人數(shù)字助理、平板計算機、可佩戴式計算裝置等等。虛擬標記服務器130也可為計算裝置，例如服務器計算機、桌上型計算機等等。
[0027]移動裝置110及虛擬標記服務器130可耦合到傳遞用于信息交換的標準協(xié)議中的任一者的網絡102。在一個實施例中，移動裝置110經由無線連接(例如，蜂窩式電話連接、無線保真連接等等)與網絡102耦合。移動裝置110及虛擬標記服務器130可在一個局域網(LAN)上運行且可并入到相同物理或邏輯系統(tǒng)或不同物理或邏輯系統(tǒng)中?；蛘撸苿友b置110及虛擬標記服務器130可駐留在可經由因特網耦合在一起但可通過防火墻、路由器及/或其它網絡裝置分離的不同LAN、廣域網、蜂窩式電話網絡等等上。在又另一配置中，虛擬標記服務器130可駐留在經由共用網絡(例如，因特網)或專用網絡(例如，LAN)耦合到其它裝置的相同服務器或不同服務器上。應注意，可使用各種其它網絡配置，包括(舉例來說)主機式配置、分布式配置、集中式配置等等。
[0028]移動裝置110負責以所述移動裝置的數(shù)碼相機(未展示)捕獲現(xiàn)實世界對象的數(shù)字圖像?，F(xiàn)實世界對象可為人物、地方或事物。在一個實施例中，現(xiàn)實世界對象的數(shù)字圖像可包含靜止照片、數(shù)字視頻、一系列數(shù)字照片、直播視頻饋送等等。在一個實施例中，當移動裝置(例如移動裝置110-1)捕獲數(shù)字圖像時，所述移動裝置的虛擬標記客戶端112可額外地標記所述數(shù)字圖像內的對象。
[0029]在一個實施例中，標記為包含待與所述數(shù)字圖像相關聯(lián)的圖標、圖像、元數(shù)據(jù)(例如，關于對象的用戶供應評論)、網頁鏈接、地理位置等等中的一者或一者以上的用戶創(chuàng)建內容。在一個實施例中，虛擬標記客戶端112向移動裝置110的用戶提供用戶界面以用于編輯標記數(shù)據(jù)。舉例來說，虛擬標記客戶端112可提供字母數(shù)字輸入(其用于使得用戶能夠輸入關于數(shù)字圖像內的現(xiàn)實世界對象的評論)、一組圖標(用戶可選擇將所述圖標顯示在數(shù)字圖像上)、界面(其用于輸入到與現(xiàn)實世界對象相關的網站的網頁鏈接)、嵌入式音頻或視頻片段、文本消息等等。下文更詳細地論述標記及標記的示范性類型。
[0030]在一個實施例中，移動裝置110-1將所捕獲的圖像及相關聯(lián)標記數(shù)據(jù)發(fā)射到虛擬標記服務器130。在一個實施例中，移動裝置110 (例如蜂窩式電話或蜂窩式通信啟用可佩戴式裝置)將數(shù)字圖像及對應標記數(shù)據(jù)發(fā)射到虛擬標記服務器130。
[0031]虛擬標記服務器130負責接收所述數(shù)字圖像及相關聯(lián)標記數(shù)據(jù)。在一個實施例中，接著，當虛擬標記服務器130的虛擬標記系統(tǒng)132接收數(shù)字圖像時，虛擬標記系統(tǒng)132實時地將現(xiàn)實世界對象的圖像編入索引。如下文將更詳細論述，虛擬標記系統(tǒng)132對所述數(shù)字圖像執(zhí)行一個或一個以上圖像辨識過程，以產生用于所述數(shù)字圖像內的現(xiàn)實世界對象的數(shù)字簽名。接著，實時地將此數(shù)字簽名添加到由虛擬標記服務器130維持的可搜索圖像的數(shù)據(jù)庫136中的其它圖像簽名的索引。此外，當虛擬標記系統(tǒng)132將現(xiàn)實世界對象的圖像編入索引時，虛擬標記系統(tǒng)132將對應標記數(shù)據(jù)存儲在標記數(shù)據(jù)庫134中且使標記數(shù)據(jù)與被編入索引的圖像中的現(xiàn)實世界對象相關聯(lián)。虛擬標記系統(tǒng)132可進一步向移動裝置110-1發(fā)送對所述圖像已被成功編入索引的確認，以便通知移動裝置110-1的用戶所述圖像已被成功編入索引且標記數(shù)據(jù)被存儲。雖然虛擬標記系統(tǒng)132已被描述為產生用于圖像中的現(xiàn)實世界對象的數(shù)字簽名，但在一個實施例中，虛擬標記客戶端112可創(chuàng)建數(shù)字簽名且將所述簽名及標記數(shù)據(jù)發(fā)射到服務器130。在又另一實施例中，虛擬標記客戶端112及虛擬標記系統(tǒng)132兩者創(chuàng)建用于現(xiàn)實世界對象的圖像的數(shù)字簽名。
[0032]在一個實施例中，當未在可搜索數(shù)字圖像索引234內發(fā)現(xiàn)現(xiàn)實世界對象時，虛擬標記服務器130的虛擬標記系統(tǒng)132將所述現(xiàn)實世界對象的數(shù)字圖像編入索引。即，當現(xiàn)實世界對象的圖像已被虛擬標記系統(tǒng)132編入索引時，虛擬標記系統(tǒng)132不為所述現(xiàn)實世界對象創(chuàng)建新索引。而是，虛擬標記系統(tǒng)132將標記數(shù)據(jù)添加到標記數(shù)據(jù)庫134且使新標記數(shù)據(jù)與數(shù)字圖像索引234中預先存在的索引條目相關聯(lián)。此外，此標記數(shù)據(jù)可添加到或補充已存儲在標記數(shù)據(jù)庫134中且與所述現(xiàn)實世界對象相關聯(lián)的標記數(shù)據(jù)。
[0033]然而，在一個實施例中，虛擬標記系統(tǒng)132可在可搜索數(shù)字圖像索引234中將同一現(xiàn)實世界對象的不同數(shù)字圖像編入索引。當同一現(xiàn)實世界對象的不同數(shù)字圖像被編入索引時，匹配現(xiàn)實世界對象的新圖像可得到改善，這是因為在可搜索數(shù)字圖像索引234中存在更多用于發(fā)現(xiàn)成功匹配的潛在資源。在一個實施例中，虛擬標記系統(tǒng)132使標記數(shù)據(jù)庫134中的現(xiàn)實世界對象的標記數(shù)據(jù)與所述現(xiàn)實世界對象的被編入索引的圖像中的每一者相關聯(lián)。因此，針對所述現(xiàn)實世界對象的被編入索引的圖像中的任一者的匹配被鏈接到所述現(xiàn)實世界對象的標記數(shù)據(jù)。
[0034]虛擬標記服務器130還負責從其它移動裝置(例如，移動裝置110-N)接收數(shù)字圖像。在一個實施例中，移動裝置IIO-N可能正捕獲待上載到虛擬標記服務器130的圖像、捕獲現(xiàn)實世界對象的視頻(例如，在蜂窩式電話上記錄視頻、以可佩戴式計算裝置捕獲直播視頻等等)。在一個實施例中，虛擬標記系統(tǒng)132計算數(shù)字圖像或視頻內的對象的數(shù)字簽名，且搜索數(shù)字圖像索引136以找到匹配。當虛擬標記系統(tǒng)132定位一匹配時(從而指示一現(xiàn)實世界對象先前已被虛擬標記系統(tǒng)132編入索引)，虛擬標記系統(tǒng)132從標記數(shù)據(jù)庫134獲得與所述現(xiàn)實世界對象相關聯(lián)的標記數(shù)據(jù)。在一個實施例中，虛擬標記系統(tǒng)132將所述標記數(shù)據(jù)提供到移動裝置110-N的虛擬標記客戶端112。
[0035]在一個實施例中，當移動裝置110-N的虛擬標記客戶端112接收到標記數(shù)據(jù)時，虛擬標記客戶端112將所述標記數(shù)據(jù)呈現(xiàn)在于移動裝置110-N上顯示的數(shù)字圖像上。舉例來說，如圖12中說明，虛擬標記客戶端112可呈現(xiàn)電影院海報1206的圖像，其中呈現(xiàn)在電影院海報圖像1206上的拇指朝上圖像1204及拇指朝下圖像1202指示已標記所述圖像的先前用戶喜愛所述電影或討厭所述電影。如本文中論述，標記可包含各種形式的用戶創(chuàng)建內容，例如由其它用戶貼出的評論、由其它用戶選擇的標記圖標、由其它用戶捕獲以與現(xiàn)實世界對象一起顯示的數(shù)字照片或視頻等等。如下文將更詳細論述，存在各種類型的標記以及虛擬標記系統(tǒng)132限制哪些標記顯示在由移動裝置110捕獲的圖像上的方式。
[0036]下文提供說明虛擬標記客戶端112與虛擬標記系統(tǒng)132之間的交互的另一實例。在所述實例中且參考圖13，街頭藝術1302的數(shù)字圖像由移動裝置110-1的用戶捕獲。在此實例中，所述用戶為藝術家且所述數(shù)字圖像為所述藝術家剛剛創(chuàng)作的現(xiàn)實世界的涂鴉。在一個實施例中，虛擬標記客戶端112使得藝術家能夠創(chuàng)建待與街頭藝術1302相關聯(lián)的一個或一個藝術標記1358。所述標記可能包含藝術家的評論1358 “你覺得我的藝術品怎么樣？?？”及/或到藝術家網頁的鏈接。虛擬標記系統(tǒng)132將接收所述數(shù)字圖像及標記數(shù)據(jù)，且產生這件街頭藝術的數(shù)字簽名。因為所述街頭藝術是藝術家片刻之前新創(chuàng)作的，所以虛擬標記系統(tǒng)132將不會在數(shù)字圖像索引136中找到對應條目。接著，虛擬標記系統(tǒng)132實時地將所述數(shù)字簽名添加到數(shù)字圖像索引136，且將對應標記數(shù)據(jù)添加到標記數(shù)據(jù)庫134。因為所述街頭藝術的圖像已被實時地編入索引，所以其它用戶(例如，捕獲街頭藝術的視頻的移動裝置110-N的用戶)可立即在虛擬標記客戶端112處接收到標記數(shù)據(jù)?；蛘?，用戶可接收到標記可用于圖像/視頻幀內的現(xiàn)實世界對象的通知(例如，電話振動、音頻鳴響等等)。接著，虛擬標記客戶端112可將與街頭藝術1302相關聯(lián)的此標記數(shù)據(jù)1356及1358呈現(xiàn)在正由移動裝置110-N捕獲的視頻上，以便提醒移動裝置110-N的用戶現(xiàn)實世界對象的標記數(shù)據(jù)可用。
[0037]圖2為虛擬標記系統(tǒng)及虛擬標記客戶端的一個實施例200的框圖。虛擬標記客戶端212及虛擬標記系統(tǒng)232提供上文在圖1中論述的虛擬標記客戶端112及虛擬標記系統(tǒng)132的額外細節(jié)。
[0038]在一個實施例中，虛擬標記客戶端212可包含圖像捕獲模塊214、標記創(chuàng)建器216、標記模板數(shù)據(jù)庫的數(shù)據(jù)庫218、標記請求器222、標記繪畫器224、連續(xù)對象跟蹤器228、顯示器226及全球定位系統(tǒng)(GPS)模塊220。在一個實施例中，虛擬標記系統(tǒng)232可包含圖像辨識引擎240、標記管理器238、標記數(shù)據(jù)庫234、數(shù)字圖像索引236、實時圖像索引器244。在一個實施例中，虛擬標記客戶端212及虛擬標記系統(tǒng)232通過如上文在圖1中論述的各種網絡及網絡配置彼此通信。
[0039]在虛擬標記客戶端212中，圖像捕獲模塊214負責捕獲現(xiàn)實世界對象的數(shù)字圖像。所述數(shù)字圖像可包含靜止數(shù)字照片、一系列靜止數(shù)字照片、被記錄的視頻、直播視頻饋送等等。在一個實施例中，圖像捕獲模塊214為移動裝置的數(shù)碼相機。
[0040]在一個實施例中，響應于數(shù)字圖像由圖像捕獲模塊214捕獲，標記創(chuàng)建器216使得用戶能夠編輯用于所述數(shù)字圖像內的對象的標記。在一個實施例中，標記創(chuàng)建器216在顯示器226上產生圖形用戶界面，其可包含用于輸入評論、選擇待作為標記而提供的其它數(shù)字圖像、輸入對現(xiàn)實世界對象的評述、輸入網頁鏈接、包括由GPS模塊220捕獲的GPS數(shù)據(jù)等等的用戶界面元素。在一個實施例中，標記創(chuàng)建器214進一步使得用戶能夠為受限觀眾編輯標記。在一個實施例中，標記創(chuàng)建器214使得用戶能夠指定將能夠觀看虛擬標記的一個或一個以上額外用戶。舉例來說，用戶可指定僅社交網絡組中的朋友、僅具有特定組成員資格的成員等等可觀看經編輯的虛擬標記。
[0041]在一個實施例中，標記創(chuàng)建器216可進一步向用戶提供到標記模板數(shù)據(jù)庫218的存取。在一個實施例中，標記模板為預創(chuàng)建標記，例如圖標圖像、預格式化的評論字段、社交網絡貼、網頁鏈接、虛擬貼紙等等。舉例來說，一組標記模板可用于預先創(chuàng)建以用于放置在現(xiàn)實世界對象上方的虛擬貼紙。在上文論述且在圖12中說明的電影院海報的實例中，標記模板218可提供拇指朝上圖標1204及拇指朝下圖標1202以使得用戶能夠以喜歡圖像標記及不喜歡圖像標記迅速標記現(xiàn)實世界對象。在一個實施例中，標記創(chuàng)建器存取虛擬標記系統(tǒng)處的標記模板218。然而， 如由虛線指示，標記模板218可定位在虛擬標記系統(tǒng)232處(未展示)或任何其它遠程系統(tǒng)處，且標記創(chuàng)建器216經由網絡202存取標記模板。
[0042]在一個實施例中且還響應于由圖像捕獲模塊214捕獲數(shù)字圖像，標記請求器222詢問虛擬標記系統(tǒng)232與所述數(shù)字圖像中的現(xiàn)實世界對象相關聯(lián)的任何先前創(chuàng)建標記的存在。在一個實施例中，為輔助檢測虛擬標記以及通知用戶在何處引導圖像捕獲模塊214，GPS模塊220可指示何時標記位于一地理區(qū)域內。在一個實施例中，GPS模塊220可致使運行虛擬標記客戶端212的移動裝置振動、播放音頻等等。此外，GPS模塊220可顯示具有附近的虛擬標記的位置的視覺指示符的虛擬地圖。
[0043]在一個實施例中，標記請求器222將由圖像捕獲模塊214捕獲的數(shù)字圖像(其可包含數(shù)字視頻)發(fā)射到圖像辨識引擎240。圖像辨識引擎240分析所述數(shù)字圖像以產生用于所述數(shù)字圖像內的現(xiàn)實世界對象的一個或一個以上數(shù)字簽名。如下文所論述，在一個實施例中，圖像辨識引擎240根據(jù)數(shù)字圖像的像素計算特征向量，其中特征向量中的值對應于圖像內的相關像素。此特征向量接著變成所述數(shù)字圖像內的現(xiàn)實對象的數(shù)字簽名。
[0044]圖像辨識引擎240利用所述數(shù)字簽名搜索數(shù)字圖像索引236。雖然數(shù)字圖像索引236說明為虛擬標記系統(tǒng)232的組件，但數(shù)字圖像索引236可維持在遠程系統(tǒng)(未展示)處。當圖像辨識引擎240發(fā)現(xiàn)針對所述數(shù)字圖像產生的數(shù)字簽名與數(shù)字圖像索引236內的數(shù)字簽名之間的匹配時，圖像辨識引擎240通知標記管理器238。
[0045]在一個實施例中，標記管理器238利用所述數(shù)字圖像的匹配索引來詢問標記數(shù)據(jù)庫234。在一個實施例中，標記數(shù)據(jù)庫234可存儲先前由用戶創(chuàng)建的待與現(xiàn)實世界對象相關聯(lián)的標記。在一個實施例中，標記數(shù)據(jù)庫234可存儲致使標記管理器238進一步從外部系統(tǒng)獲得標記數(shù)據(jù)的數(shù)據(jù)。舉例來說，標記數(shù)據(jù)庫234可包含標記管理器238用來從遠程源獲得標記數(shù)據(jù)的數(shù)據(jù)，例如社交網絡識別符、密碼、虛擬標記客戶端212的當前GPS位置等等。在所述實例中，標記管理器238接著可利用社交網絡識別符、虛擬組成員資格、當前位置等等來增加或限制哪些標記被返回。舉例來說，標記管理器238可獲得社交網絡數(shù)據(jù)以促進與和社交網絡“朋友”相關聯(lián)的標記數(shù)據(jù)的圖像匹配結果。作為另一實例，可將在地理上與用戶接近的圖像匹配的優(yōu)先級排在其它結果之前。因此，可將基于虛擬標記客戶端212的當前位置的用于特定商店圖像的標記數(shù)據(jù)結果展示在與同一鏈的距離遙遠的商店相關聯(lián)的標記數(shù)據(jù)之前。在一個實施例中，標記管理器238將標記數(shù)據(jù)返回到虛擬標記客戶端212。在一個實施例中，在用戶同意揭示關于虛擬標記服務的用戶權利及條款之后，標記管理器238獲得用于已選擇加入虛擬標記系統(tǒng)的用戶的標記數(shù)據(jù)。
[0046]標記請求器222接收待與由移動裝置捕獲的數(shù)字圖像相關聯(lián)的標記數(shù)據(jù)。標記請求器222向標記繪畫器224提供標記數(shù)據(jù)。在一個實施例中，標記繪畫器224將標記數(shù)據(jù)呈現(xiàn)到當前顯示在顯示器226中的數(shù)字圖像上。因為現(xiàn)實世界對象在數(shù)字圖像內的位置可變化且數(shù)字圖像數(shù)據(jù)可為數(shù)字視頻或直播視頻饋送，所以連續(xù)對象跟蹤器228在數(shù)字圖像內定位現(xiàn)實世界對象。連續(xù)對象跟蹤器228確定現(xiàn)實世界對象在數(shù)字圖像內的一組坐標、邊界框或某其它位置。接著，連續(xù)對象跟蹤器228將此位置數(shù)據(jù)提供到標記繪畫器224，使得標記繪畫器可在顯示器226內的適當位置處將標記數(shù)據(jù)呈現(xiàn)在數(shù)字圖像上。
[0047]返回到虛擬標記系統(tǒng)232接收數(shù)字圖像，當在數(shù)字圖像索引236內不存在用于現(xiàn)實世界對象的數(shù)字簽名的記錄時，圖像辨識引擎240將所述數(shù)字簽名提供到實時圖像索引器244。實時圖像索引器244分析所述數(shù)字簽名且接著在現(xiàn)有數(shù)字圖像索引236內插入所述數(shù)字簽名。因為所述數(shù)字簽名被直接插入到數(shù)字圖像索引236中，所以所述索引變得立即可由其它虛擬標記客戶端(未展示)搜索以找到含有所述現(xiàn)實世界對象的圖像。
[0048]所述數(shù)字簽名(其在先前未被虛擬標記系統(tǒng)232編入索引)的接收還可伴隨通過虛擬標記客戶端212的標記創(chuàng)建器216編輯的一個或一個以上虛擬標記。在一個實施例中，標記管理器238將標記數(shù)據(jù)存儲在標記數(shù)據(jù)庫234中。標記管理器238進一步實時地使所存儲的標記數(shù)據(jù)與被添加到數(shù)字圖像索引236的用于現(xiàn)實世界對象的數(shù)字簽名相關聯(lián)。因此，其它虛擬標記客戶端不需要在現(xiàn)實世界對象的圖像變得可搜索之前等待對數(shù)字圖像索引236的批量更新，且與現(xiàn)實世界對象相關聯(lián)的標記變得可用。
[0049]圖3A為用于創(chuàng)建數(shù)字圖像中的現(xiàn)實世界對象的虛擬標記的方法300的一個實施例的流程圖。方法300由處理邏輯執(zhí)行，所述處理邏輯可包括硬件(電路、專用邏輯等等)、軟件(例如在通用計算機系統(tǒng)或專用機器上運行)、固件或組合。在一個實施例中，方法300由虛擬標記客戶端及虛擬標記系統(tǒng)(例如，虛擬標記客戶端112或212及虛擬標記系統(tǒng)132或232)執(zhí)行。
[0050]參考圖3A，處理邏輯通過捕獲現(xiàn)實世界對象的數(shù)字圖像而開始(處理框302)。在一個實施例中，移動裝置(例如，蜂窩式電話、平板計算機、可佩戴式處理系統(tǒng)等等)以所述移動裝置的相機捕獲數(shù)字圖像。所述數(shù)字圖像可為靜止數(shù)字圖像、視頻、直播視頻饋送等等。在一個實施例中，所述現(xiàn)實世界對象可為任何對象，例如地標(例如，埃菲爾鐵塔)、藝術品、建筑物、公司標志、電影海報、物理位置等等。
[0051]處理邏輯編輯待與所捕獲數(shù)字圖像中的現(xiàn)實世界對象相關聯(lián)的虛擬標記(處理框304)。在一個實施例中，處理邏輯接收用于虛擬標記的用戶創(chuàng)建內容。在一個實施例中，所述用戶創(chuàng)建內容可包含關于現(xiàn)實世界對象的一個或一個以上評論、用戶拍攝的現(xiàn)實世界對象的圖片、視頻、與現(xiàn)實世界對象相關的指令(例如，以關于如何使用咖啡壺的指令標記的咖啡壺的圖片)、對現(xiàn)實世界對象的評述、網頁鏈接、預創(chuàng)建標記或虛擬貼紙的用戶選擇、GPS數(shù)據(jù)等等。下文在圖4中提供對虛擬標記的編輯及對可如本文中論述而利用的各種類型的虛擬標記的更詳細論述。
[0052]處理邏輯將數(shù)字圖像及由移動裝置的用戶編輯的虛擬標記發(fā)射到虛擬標記系統(tǒng)(處理框306)。在一個實施例中，處理邏輯接著將用于現(xiàn)實世界對象的數(shù)字簽名添加到數(shù)字圖像索引(處理框308)。在一個實施例中，虛擬標記客戶端的處理邏輯在移動裝置上計算圖像簽名。在此實施例中，虛擬標記客戶端將圖像簽名而不是對應圖像發(fā)射到虛擬標記系統(tǒng)。數(shù)字簽名(而不是圖像自身)的發(fā)射在被發(fā)射時消耗更少的帶寬，且因此可更快地由虛擬標記系統(tǒng)上載。在一個實施例中，圖像的中間形式(例如低分辨率預覽)也可與數(shù)字簽名一起發(fā)射。在又另一實施例中，虛擬標記客戶端及虛擬標記系統(tǒng)兩者產生用于現(xiàn)實世界對象的數(shù)字簽名。
[0053]在上文論述的任一實施例中，數(shù)字簽名為從現(xiàn)實世界對象的數(shù)字圖像提取的特征向量且提供對現(xiàn)實世界對象的唯一識別。在一個實施例中，處理邏輯實時地將數(shù)字簽名插入到數(shù)字圖像索引中而不等待對數(shù)字圖像索引的批量更新。因為數(shù)字簽名被實時地添加到圖像索引，所以由移動裝置捕獲的現(xiàn)實世界對象變得立即可由其它用戶經由數(shù)字圖像索引搜索。
[0054]處理邏輯將所述標記存儲在標記數(shù)據(jù)庫中(處理框310)。在一個實施例中，當所述標記存儲在標記數(shù)據(jù)庫中時，處理邏輯進一步使標記數(shù)據(jù)庫中的標記與現(xiàn)實世界對象的簽名相關聯(lián)(處理框312)。在一個實施例中，此關聯(lián)使得捕獲現(xiàn)實世界對象的數(shù)字圖像的其它用戶既能夠使現(xiàn)實世界對象定位在數(shù)字圖像索引中又能夠找到與數(shù)字簽名相關聯(lián)的虛擬標記數(shù)據(jù)。如下文在圖3B中論述，其它用戶可在由其移動裝置捕獲的數(shù)字圖像中觀看虛擬標記。
[0055]處理邏輯將現(xiàn)實世界對象被成功編入索引且對應虛擬標記被存儲的確認發(fā)射到移動裝置(處理框314)。在一個實施例中，所述確認將對現(xiàn)實世界對象立即可由其它用戶搜索且其經編輯虛擬標記可由其它用戶觀看的證實提供給用戶。處理邏輯向所述用戶顯示確認(處理框316)。在一個實施例中，所述確認可為標記編輯用戶界面中的彈出消息、電子郵件確認消息、文本確認等等。在另一實施例中，所述確認還可包含非視覺確認，例如音頻確認(例如，蜂鳴聲、鈴聲等等)或物理確認(例如，移動裝置振動)。
[0056]圖3B為用于觀看與數(shù)字圖像中捕獲的現(xiàn)實世界對象相關聯(lián)的虛擬標記的方法350的一個實施例的流程圖。方法350由處理邏輯執(zhí)行，所述處理邏輯可包括硬件(電路、專用邏輯等等)、軟件(例如在通用計算機系統(tǒng)或專用機器上運行)、固件或組合。在一個實施例中，方法400由虛擬標記客戶端及虛擬標記系統(tǒng)(例如，虛擬標記客戶端112或212及虛擬標記系統(tǒng)132或232)執(zhí)行。
[0057]參考圖3B，處理邏輯通過捕獲現(xiàn)實世界對象的數(shù)字圖像而開始(處理框352)。如上文論述，移動裝置(例如蜂窩式電話、平板計算機、可佩戴式處理系統(tǒng)等等)以所述移動裝置的相機捕獲數(shù)字圖像。處理邏輯將所述數(shù)字圖像及針對虛擬標記的相關聯(lián)詢問發(fā)射到虛擬標記系統(tǒng)(處理框354)。在一個實施例中，所述詢問可為用于確定是否存在用于圖像、視頻或視頻饋送中的現(xiàn)實世界對象的虛擬標記的用戶起始詢問。在另一實施例中，所述詢問由處理邏輯自動產生以在未接收到用戶請求的情況下向用戶提供虛擬標記。在此實施例中，將自動向捕獲數(shù)字圖像、視頻或正在觀看直播視頻饋送的用戶呈現(xiàn)標記數(shù)據(jù)或標記數(shù)據(jù)可用的通知，如下文論述。如上文論述，在一個實施例中，虛擬標記客戶端的處理邏輯可計算用于所捕獲的現(xiàn)實世界對象的數(shù)字圖像的圖像簽名。在此實施例中，虛擬標記客戶端將所述圖像簽名而不是對應圖像發(fā)射到虛擬標記系統(tǒng)。
[0058]處理邏輯產生用于數(shù)字圖像內的現(xiàn)實世界對象的數(shù)字簽名(處理框356)。然而，在上文論述的實施例中，處理邏輯從虛擬標記客戶端接收數(shù)字簽名且不需要產生數(shù)字簽名。處理邏輯利用所述數(shù)字簽名來搜索數(shù)字圖像的索引(處理框358)。當在所述索引內不存在用于所述現(xiàn)實世界對象的匹配時，處理邏輯將所述數(shù)字圖像顯示在移動裝置上而不在所述數(shù)字圖像上呈現(xiàn)標記數(shù)據(jù)(處理框360)。然而，當在數(shù)字圖像索引中發(fā)現(xiàn)匹配時，處理邏輯搜索與被編入索引的現(xiàn)實世界對象的圖像相關聯(lián)的虛擬標記數(shù)據(jù)(處理框362)。接著，將用于與現(xiàn)實世界對象相關聯(lián)的一個或一個以上標記的標記數(shù)據(jù)發(fā)射到虛擬標記客戶端(處理框364)。
[0059]處理邏輯將所述標記數(shù)據(jù)呈現(xiàn)在對數(shù)字圖像的顯示上(處理框366)。在一個實施例中，處理邏輯將文本、虛擬貼紙、網頁鏈接、照片、視頻等等呈現(xiàn)在對數(shù)字圖像的顯示上。在一個實施例中，在數(shù)字圖像為視頻或直播視頻饋送的情況下，在所述視頻內跟蹤被標記的現(xiàn)實世界對象?；诟檾?shù)據(jù)，處理邏輯更新標記數(shù)據(jù)在視頻內的呈現(xiàn)位置，使得標記數(shù)據(jù)相對于現(xiàn)實世界對象在視頻內的位置而顯示在視頻的適當位置中。[0060]圖12說明其中虛擬標記呈現(xiàn)在數(shù)字圖像上的對數(shù)字圖像的示范性顯示。在所述示范性顯示中，移動裝置1200已捕獲電影海報1206的數(shù)字圖像。如上文在圖3B中論述，將在數(shù)字圖像索引中搜索所述電影海報的圖像。如果發(fā)現(xiàn)匹配，那么將虛擬標記(例如，虛擬貼紙標記1202及1204)呈現(xiàn)在所述電影海報的數(shù)字圖像上。因此，捕獲所述海報的圖像的用戶可觀看關于所述電影的先前用戶評論、如通過虛擬貼紙標記1202及1204指示的所述電影的用戶印象等等。
[0061]圖4為用于編輯待與現(xiàn)實世界對象相關聯(lián)的虛擬標記的方法400的一個實施例的流程圖。方法400由處理邏輯執(zhí)行，所述處理邏輯可包括硬件(電路、專用邏輯等等)、軟件(例如在通用計算機系統(tǒng)或專用機器上運行)、固件或組合。在一個實施例中，方法400由虛擬標記客戶端(例如，虛擬標記客戶端112或212)執(zhí)行。
[0062]參考圖4，處理邏輯通過起始對待與現(xiàn)實世界對象相關聯(lián)的標記的編輯而開始(處理框402)。在一個實施例中，每當數(shù)字圖像被捕獲時處理邏輯便起始對虛擬標記的編輯。在另一實施例中，響應于編輯虛擬標記的用戶請求而起始對虛擬標記的編輯。接著，處理邏輯產生標記編輯用戶界面(處理框404)。圖13說明用于街頭藝術1302的數(shù)字圖像的示范性標記編輯界面1304。
[0063]處理邏輯接收對預創(chuàng)建標記模板的選擇(處理框406)。在一個實施例中，向正在編輯標記的用戶提供標記模板，使得所述用戶可簡單地選擇模板且將虛擬標記的相關數(shù)據(jù)填入到所述模板中。處理邏輯接收待與所選擇標記相關聯(lián)的字母數(shù)字輸入(如果存在)(處理框408)。在一個實施例中，所述字母數(shù)字輸入可包含關于現(xiàn)實世界對象或地方的評論、指令、信息等等。在一個實施例中，額外形式的用戶輸入可由處理邏輯接收以與所選擇標記相關聯(lián)。舉例來說，可接收口頭輸入，所述口頭輸入可或可不轉錄成用于標記的文本。此外，所述口頭輸入可作為用于標記的音頻文件而接收。
[0064]處理邏輯還接收待與所選擇標記相關聯(lián)的額外數(shù)據(jù)(如果存在)(處理框410)。所述額外數(shù)據(jù)可為網頁鏈接、用戶照片、視頻等等。所述額外數(shù)據(jù)還可包含限制標記對特定用戶的可視性的數(shù)據(jù)。舉例來說，所述額外數(shù)據(jù)可指定僅用戶的社交網絡朋友圈的成員可觀看虛擬標記。
[0065]處理邏輯將所述字母數(shù)字輸入及額外數(shù)據(jù)整合到標記模板中(處理框412)且將經編輯標記發(fā)射到虛擬標記系統(tǒng)(處理框414)。因此，使得用戶能夠以有效且直觀的過程選擇標記模板、輸入相關數(shù)據(jù)及提交標記。如上文論述，圖13說明在移動裝置中顯示1300的街頭藝術1302。用戶可選擇待與街頭藝術1302相關聯(lián)1306的各種標記類型1304。當另一用戶以移動裝置觀看街頭藝術1350時，向其呈現(xiàn)與現(xiàn)實世界藝術對象1302相關聯(lián)的標記(例如，標記1356) ο
[0066]上文論述的標記模板使得虛擬標記編輯能夠以用于對應標記類型的不同模板覆蓋許多不同場景。可由用戶編輯的一種類型的標記為信息標記。任何有趣的對象、藝術品等等可具有“信息標記”。舉例來說，咖啡機可具有帶有“關于如何制作咖啡的信息”的標記，繪畫/藝術品可具有由藝術家提供的信息，其中擁有者獲得繪畫、他們關于繪畫的個人感受等等。此外，用戶可創(chuàng)建關于現(xiàn)實世界對象的維基百科(Wikipedia?)風格的頁面，所述頁面可由其它人經由對現(xiàn)實世界對象的未來虛擬標記來添加。
[0067]用戶還可編輯用于現(xiàn)實世界對象或位置的社交互動標記。在一個實施例中，用戶可在虛擬標記中留下“喜歡”、“登記”、“評論”及其它社交網絡信息。這與谷歌地圖(GoogleMaps?)中的“地方頁面(place page) ”或關于商業(yè)的四方(Foursquare?)頁面有某種類似之處。然而，虛擬標記可針對任何位置或對象起作用。實際上，可針對具有虛擬標記的所有商業(yè)展示來自谷歌地圖(Google Maps?)的所有地方頁面。
[0068]虛擬標記還可用作虛擬公告欄。舉例來說，公告欄標記可表示用于位置、商業(yè)、地方等等的留言板。所述公告欄標記還可類似于用于位置、商業(yè)、地方等等的臉書(Facebook?)墻。所述公告欄標記不限于文本輸入，這是因為可使得各種類型的對象(例如照片、視頻、網頁鏈接等等)在被畫在/呈現(xiàn)在現(xiàn)實世界對象上時可見。
[0069]還可使用照片虛擬標記。舉例來說，現(xiàn)實世界地方或對象的照片可表示所述地方或對象的歷史記錄。貼到現(xiàn)實世界地方的照片還可包含附近發(fā)生的令人激動的事件(包含不尋常事件(例如，集市、游行、火災等等))及通常在這些地方發(fā)現(xiàn)的一些值得紀念的人物(例如，隔壁的嬉皮士、舊金山綠化工)的照片。
[0070]與照片虛擬標記類似，視頻虛擬標記也可與現(xiàn)實世界對象相關聯(lián)。舉例來說，用戶可在一特定地方自己拍電影且可使視頻與所述地方相關聯(lián)。在一個實施例中，所述視頻的最初若干幀展示被標記的對象/地方，且接著所述視頻的剩余幀可過渡到另一視頻(例如，家庭視頻、附近拍攝的視頻、關于所述地方的視頻評論等等)。
[0071]在一個實施例中，虛擬標記還可提供互動性體驗。一個此標記為挑戰(zhàn)虛擬標記。在挑戰(zhàn)虛擬標記施加于現(xiàn)實世界對象的情況下，可向其它用戶發(fā)出在給定地方做愚蠢或給人以深刻印象的事情的挑戰(zhàn)。接著，其它用戶可將他們在所述給定地方完成挑戰(zhàn)的照片或視頻關聯(lián)起來?；蛘?，可將他們的成就添加到虛擬挑戰(zhàn)標記的排行榜。
[0072]另一互動性虛擬標記為尋寶標記。尋寶標記可提供一系列線索以使得用戶能夠找到其它尋寶標記且最終贏得獎勵。尋寶的參與者還可在非尋寶位置留下關于尋寶的標記。
[0073]又另一形式的虛擬標記為優(yōu)惠券或產品標記。在一個實施例中，優(yōu)惠券可用于標記現(xiàn)實世界對象。因此，具有支持虛擬標記客戶端的移動裝置的用戶將能夠接收呈虛擬標記形式的折扣。優(yōu)惠券標記可放置在對象、店面、服務等等之上，且關于所述對象、服務、商店等等的促銷視頻可經由優(yōu)惠券標記顯示。在一個實施例中，接著當用戶購買對象、在商店購物、承包服務等等時，所述優(yōu)惠券標記可對換成現(xiàn)款。此外，在添加GPS數(shù)據(jù)的情況下，可使得優(yōu)惠券標記具有位置專用性。
[0074]標記還可輔助社交網絡。舉例來說，可經由面部辨識將社交網絡標記施加到人。對于給定用戶，可對照社交網絡賬戶檢查數(shù)字圖像或視頻中的經辨識面部且可在所述經辨識面部旁邊呈現(xiàn)社交網絡虛擬標記。在一個實施例中，所述標記可展示他們的最近狀態(tài)、提供到他們近來的照片的鏈接或關于誰是他們的朋友的信息(例如，以實現(xiàn)例如“我發(fā)現(xiàn)你認識ABC，而我也從大學開始認識他們...”等等的對話)。
[0075]此外，虛擬標記還可表示可添加到現(xiàn)實世界場景的虛擬對象。在一個實施例中，可將二維(例如，平面的)虛擬涂鴉添加到現(xiàn)實世界對象或地方。舉例來說，可將虛擬藝術品放置在建筑物的側上、放置在墻上或放置在對象上。虛擬對象還可用于在現(xiàn)實世界對象或地方上為其它用戶留下虛擬消息。舉例來說，與某個人的房子相關聯(lián)的虛擬對象可為畫在所述房子的前門上的內容為“歡迎回家！”的符號。
[0076]在另一實施例中，虛擬對象可為三維對象。舉例來說，可將一束虛擬花放置在心愛的人的桌子上。作為另一實例，可將神話/神秘生物、雕像等等用于標記無聊的地方以便使其更有趣。在此實施例中，當三維虛擬對象與現(xiàn)實世界中的對象或場景相關聯(lián)時，以與其現(xiàn)實世界背景一致的位置及定向將其呈現(xiàn)在移動裝置屏幕上。可使用移動裝置的傳感器或通過對照描述所述場景的參考數(shù)據(jù)(圖像、場景幾何形狀和其它傳感器信息)進行匹配來在移動裝置上估計此位置及定向。
[0077]在又另一實施例中，虛擬對象可為三維動畫對象。舉例來說，三維動畫蛇可保衛(wèi)咖啡機、猴子在冰箱附近溜達、外星人跑過公共廣場、虛擬聚會裝飾物(例如，一個房間中的噴火龍、另一個房間中的巨大雨滴)。
[0078]在上文論述的虛擬對象的實施例中，標記到現(xiàn)實世界對象或地方的虛擬對象幫助以非期望且非熟悉元素擴展熟悉背景。在某一地方附近平移電話或可佩戴計算裝置的相機使得由虛擬對象提供的虛擬現(xiàn)實能夠與現(xiàn)實世界環(huán)境合并。
[0079]在一個實施例中，還可經由虛擬標記實現(xiàn)位置感知照片/視頻共享。在一個實施例中，可使照片或視頻的虛擬標記與特定位置和特定對象相關聯(lián)。在一個實施例中，可與用戶的社交圈或與捕獲所述特定地方或對象的數(shù)字圖像的每一人共享所述照片或視頻。在一個實施例中，虛擬標記系統(tǒng)可提供在附近(例如，在同一城市、城市街區(qū)、同一建筑物、同一房間等等)捕獲的社交網絡朋友的所有照片。如同許多社交網絡線索，所述照片將使得用戶能夠看到他們的朋友做酷或尷尬的事情、處于酷或尷尬的地方中等等。
[0080]在一個實施例中，虛擬標記系統(tǒng)實現(xiàn)對在附近發(fā)生的令人激動的事件的位置感知照片/視頻共享。舉例來說，可向在城市廣場、旅游景點、地標等等捕獲視頻的用戶提供來自具有活躍夜生活的附近的酒吧的照片及/或視頻。在一個實施例中，虛擬標記系統(tǒng)可沿著時間線(例如，從較舊到較新)提供位置感知照片及視頻。
[0081]圖5為用于實時地將現(xiàn)實世界對象的圖像插入到數(shù)字圖像索引中的方法500的一個實施例的流程圖。方法500由處理邏輯執(zhí)行，所述處理邏輯可包括硬件(電路、專用邏輯等等)、軟件(例如在通用計算機系統(tǒng)或專用機器上運行)、固件或組合。在一個實施例中，方法500由虛擬標記系統(tǒng)(例如,虛擬標記系統(tǒng)132或232)執(zhí)行。
[0082]參考圖5，處理邏輯通過產生用于數(shù)字圖像內的一個或一個以上現(xiàn)實世界對象的數(shù)字簽名來開始(處理框502)。如上文論述，數(shù)字圖像、視頻或視頻饋送由移動裝置捕獲。處理邏輯從所述移動裝置接收圖像/視頻數(shù)據(jù)以便將現(xiàn)實世界對象添加到數(shù)字圖像索引。
[0083]處理邏輯從數(shù)字圖像提取現(xiàn)實世界對象的一個或一個以上特征向量(處理框504)。在一個實施例中，數(shù)字簽名由從現(xiàn)實世界對象的數(shù)字圖像提取的一個或一個以上特征向量制成。特征向量基于所述圖像內的興趣點來描述圖像。在一個實施例中，針對特征向量而選擇的興趣點描述現(xiàn)實世界對象，使得可以可靠地在現(xiàn)實世界對象的其它數(shù)字圖像或視頻中再次發(fā)現(xiàn)所述興趣點。舉例來說，與現(xiàn)實世界對象的圖像的連續(xù)色調區(qū)相對，所述興趣點可為角、塊、對比度變化或其它高梯度點。在一個實施例中，這些點用于產生特征向量以描述圖像點附近的像素?，F(xiàn)實世界對象的圖像及因此所述現(xiàn)實世界對象通過一個或一個以上特征向量來表征。
[0084]處理邏輯將一個或一個以上特征向量插入到布置為樹結構的可搜索索引中(處理框506)。在一個實施例中，基于樹結構的索引允許在索引中對特征向量進行最接近相鄰者搜索。在一個實施例中，所述樹為k維(KD)樹。在一個實施例中，響應于從數(shù)字圖像提取特征向量，實時地將特征向量插入到基于樹結構的索引中。與批量索引更新過程相對，處理邏輯實時地將現(xiàn)實世界對象的數(shù)字圖像編入索引。因此，可立即經由索引搜索含有現(xiàn)實世界對象的圖像，使得搜索將返回現(xiàn)實世界對象的匹配結果。
[0085]圖6為用于過濾針對現(xiàn)實世界對象而定位的虛擬標記的方法600的一個實施例的流程圖。方法600由處理邏輯執(zhí)行，所述處理邏輯可包括硬件(電路、專用邏輯等等)、軟件(例如在通用計算機系統(tǒng)或專用機器上運行)、固件或組合。在一個實施例中，方法600由虛擬標記系統(tǒng)(例如,虛擬標記系統(tǒng)132或232)執(zhí)行。
[0086]參考圖6，處理邏輯通過獲得與現(xiàn)實世界對象相關聯(lián)的一個或一個以上標記來開始(處理框602)。根據(jù)本文中的論述，現(xiàn)實世界對象的圖像用于利用圖像辨識及對數(shù)字圖像索引的搜索來匹配先前捕獲的圖像。當發(fā)現(xiàn)匹配時，處理邏輯利用所述匹配來從標記數(shù)據(jù)庫獲得一個或一個以上標記。
[0087]處理邏輯基于一個或一個以上準則將所獲得的標記過濾到數(shù)目減少的標記(處理框604)。如上文論述，存在許多虛擬標記場景及相關聯(lián)的標記類型。舉例來說，大量的照片標記可與受歡迎的相鄰酒吧相關聯(lián)。照片的量可超過正在觀看標記的用戶的承受范圍或標記的數(shù)量之多可致使信息無效。因此，在一個實施例中，處理邏輯應用過濾器以減少返回到用戶的數(shù)據(jù)。舉例來說，僅來自前一天、前一周、前一個月等等的與相鄰酒吧相關聯(lián)的照片標記可初始地呈現(xiàn)給用戶。作為另一實例，僅由用戶在社交網絡系統(tǒng)中的“朋友”創(chuàng)建的照片標記可初始地呈現(xiàn)給用戶。在一個實施例中，一個或一個以上過濾標準可由當前正在獲得虛擬標記的用戶設定、可基于標記的類型設定、可由現(xiàn)實世界對象的原始標記者設定等等。在一個實施例中，過濾標準也可從標記數(shù)據(jù)提取。舉例來說，一組標記可基于一組標記中的明確分級或通過從所述組標記中的文本提取的觀點、分級等等而歸類到簇或束中。接著，將數(shù)目減少的標記發(fā)射到捕獲現(xiàn)實世界對象的圖像的移動裝置(處理框606)。
[0088]處理邏輯接收對與現(xiàn)實世界對象相關聯(lián)的一個或一個以上額外標記的請求(處理框608)。響應于所述請求，處理邏輯將一個或一個以上標記的數(shù)據(jù)發(fā)射到所述移動裝置(處理框610)。在一個實施例中，當用戶想要現(xiàn)實世界對象的更多信息、照片、視頻等等時，處理邏輯將額外標記提供給用戶。這允許用戶決定他或她想要多少關于現(xiàn)實世界對象的虛擬標記信息。
[0089]圖7為用于連續(xù)地跟蹤數(shù)字圖像中的現(xiàn)實世界對象的方法700的一個實施例的流程圖。方法700由處理邏輯執(zhí)行，所述處理邏輯可包括硬件(電路、專用邏輯等等)、軟件(例如在通用計算機系統(tǒng)或專用機器上運行)、固件或組合。在一個實施例中，方法700由虛擬標記客戶端(例如，虛擬標記客戶端112或212)執(zhí)行。
[0090]參考圖7，處理邏輯通過接收與現(xiàn)實世界對象相關聯(lián)的標記數(shù)據(jù)以用于在數(shù)字圖像上顯示來開始(處理框702)。在一個實施例中，移動裝置的相機已捕獲現(xiàn)實世界對象的靜止圖像、已捕獲含有現(xiàn)實世界對象的視頻或正捕獲含有現(xiàn)實世界對象的直播視頻饋送。當所述現(xiàn)實世界對象在數(shù)字圖像索引中匹配時，將相關聯(lián)標記數(shù)據(jù)提供到移動裝置。
[0091]處理邏輯確定現(xiàn)實世界對象在由移動裝置顯示的數(shù)字圖像中的位置(處理框704)。在一個實施例中，處理邏輯定位數(shù)字圖像內的像素、數(shù)字圖像中的現(xiàn)實世界對象周圍的邊界框等等。接著，如下文描述，處理邏輯可利用此定位數(shù)據(jù)在相對于圖像/視頻內的現(xiàn)實世界對象的適當位置處將虛擬標記呈現(xiàn)在靜止數(shù)字圖像或視頻上。[0092]基于所選擇的像素、邊界框等等，處理邏輯跟蹤現(xiàn)實世界對象在圖片或視頻中的位置(處理框706)。處理邏輯將現(xiàn)實世界對象在移動裝置的顯示器中的連續(xù)定位提供到呈現(xiàn)系統(tǒng)(處理框708)。接著，基于現(xiàn)實世界對象在圖像/視頻內的被連續(xù)跟蹤的位置將標記數(shù)據(jù)呈現(xiàn)在由移動裝置顯示的數(shù)字圖像上(處理框710)。在一個實施例中，對視頻內的現(xiàn)實世界對象的連續(xù)跟蹤使得標記數(shù)據(jù)在視頻中的顯示位置能夠相對于現(xiàn)實世界對象在視頻內的位置變化而刷新。因此，所述標記在數(shù)字視頻內相對于對應現(xiàn)實世界對象連續(xù)出現(xiàn)在正確位置中。
[0093]圖8為可與本發(fā)明一起使用的計算機系統(tǒng)的一個實施例。然而，所屬領域的一般技術人員將明白，也可使用各種系統(tǒng)架構的其它替代系統(tǒng)。
[0094]圖8中說明的數(shù)據(jù)處理系統(tǒng)包含用于傳遞信息的總線或其它內部通信構件815，且包含耦合到總線815以用于處理信息的處理器810。所述系統(tǒng)進一步包括耦合到總線815以存儲信息及待由處理器810執(zhí)行的指令的隨機存取存儲器(RAM)或其它易失性存儲裝置850 (稱為存儲器)。主存儲器850還可用于在處理器810執(zhí)行指令期間存儲臨時變量或其它中間信息。所述系統(tǒng)還包括耦合到總線815以存儲用于處理器810的靜態(tài)信息及指令的只讀存儲器(ROM)及/或靜態(tài)存儲裝置820，且包括數(shù)據(jù)存儲裝置825 (例如，磁盤或光盤及其對應磁盤驅動器)。數(shù)據(jù)存儲裝置825耦合到總線815以存儲信息及指令。
[0095]所述系統(tǒng)可進一步耦合到顯示裝置870 (例如，陰極射線管(CRT)或液晶顯示器(IXD))，其通過總線865耦合到總線815以向計算機用戶顯示信息。字母數(shù)字輸入裝置875 (包含字母數(shù)字鍵和其它鍵)也可通過總線865耦合到總線815以向處理器810傳遞信息及命令選擇。額外用戶輸入裝置為光標控制裝置880 (例如，鼠標、軌跡球、尖筆或光標方向鍵)，其通過總線865耦合到總線815以向處理器810傳遞方向信息及命令選擇及用于控制顯示裝置870上的光標移動。
[0096]另一裝置(其可任選地耦合到計算機系統(tǒng)800)為用于經由網絡存取分布式系統(tǒng)的其它節(jié)點的通信裝置890。通信裝置890可包含若干可商用網絡外圍裝置(例如，用于耦合到以太網、令牌環(huán)、因特網或廣域網的裝置)中的任一者。通信裝置890可進一步為零調制解調器連接或提供計算機系統(tǒng)800與外部世界之間的連接性的任何其它機制。注意，圖8中說明的此系統(tǒng)的任何組件或所有組件及相關聯(lián)硬件可用于本發(fā)明的各種實施例中。
[0097]所屬領域的一般技術人員將了解，所述系統(tǒng)的任何配置可根據(jù)特定實施方案而用于各種用途。實施本發(fā)明的控制邏輯或軟件可存儲在主存儲器850、大容量存儲裝置825或處理器810可本地或遠程地存取的其它存儲媒體中。
[0098]所屬領域的一般技術人員將明白，本文中描述的系統(tǒng)、方法及過程可實施為存儲在主存儲器850或只讀存儲器820中且可由處理器810執(zhí)行的軟件。此控制邏輯或軟件也可駐留在包括計算機可讀媒體的一件制品上，所述計算機可讀媒體具有體現(xiàn)在其中的計算機可讀程序代碼且可由大容量存儲裝置825讀取且用于致使處理器810根據(jù)本文中的方法及教示操作。
[0099]本發(fā)明還可以含有上文描述的計算機硬件組件的子集的手持式或便攜式裝置來體現(xiàn)。舉例來說，所述手持式裝置可經配置以僅含有總線815、處理器810及存儲器850及/或825。所述手持式裝置還可經配置以包含用戶可用以從一組可用選項進行選擇的一組按鈕或輸入信令組件。所述手持式裝置還可經配置以包含用于向所述手持式裝置的用戶顯示信息的輸出設備，例如液晶顯示器(LCD)或顯示元件矩陣。常規(guī)方法可用于實施此手持式裝置。鑒于如本文中提供的對本發(fā)明的揭示，所屬領域的一般技術人員將明白本發(fā)明用于此裝置的實施方案。
[0100]本發(fā)明還可以包含上文描述的計算機硬件組件的子集的專用設備體現(xiàn)。舉例來說，所述設備可包含處理器810、數(shù)據(jù)存儲裝置825、總線815及存儲器850，及允許用戶以基本方式與裝置通信的僅最基本通信機制(例如小觸摸屏)。一般來說，裝置越是專用，裝置運行所需的元件就越少。
[0101]圖9說明用于接收、發(fā)射及顯示虛擬標記數(shù)據(jù)的實例系統(tǒng)900。系統(tǒng)900展示為呈可佩戴式計算裝置的形式。雖然圖9將眼鏡902說明為可佩戴式計算裝置的實例，但可額外地或替代地使用其它類型的可佩戴式計算裝置。如圖9中所說明，眼鏡902包括框架元件(包含鏡框904及906及中心框架支撐件908)、透鏡元件910及912及延伸側臂914及916。中心框架支撐件908及延伸側臂914及916經配置以分別經由用戶的鼻子及耳朵將眼鏡902緊固到用戶的面部?？蚣茉?04、906及908及延伸側臂914及916中的每一者可由塑料或金屬的固體結構形成或可由類似材料的中空結構形成，以允許布線及組件互連內部地路由通過眼鏡902。透鏡元件910及912中的每一者可由可合適地顯示經投影圖像或圖形的任何材料形成。透鏡元件910及912中的每一者還可足夠透明以允許用戶透視所述透鏡元件。組合透鏡元件的這兩個特征可促進增強現(xiàn)實或抬頭顯示，其中投影圖像或圖形疊加在現(xiàn)實世界視圖上，如用戶通過透鏡元件所感知。
[0102]延伸側臂914及916各自為分別從框架元件904及906延伸的凸出物，且定位在用戶的耳后以將眼鏡902緊固到所述用戶。延伸側臂914及916可進一步通過圍繞用戶的頭部的后部延伸而將眼鏡902緊固到所述用戶。舉例來說，額外地或替代地，系統(tǒng)100可連接到或固定在頭部安裝頭盔結構內。其它可能性也存在。
[0103]系統(tǒng)900還可包含板上計算系統(tǒng)918、攝像機920、傳感器922及手指可操作觸摸墊924、926。板上計算系統(tǒng)918展示為定位在眼鏡902的延伸側臂914上；然而，板上計算系統(tǒng)918可提供在眼鏡902的其它部分上。舉例來說，板上計算系統(tǒng)918可包含處理器及存儲器。板上計算系統(tǒng)918可經配置以從攝像機920及手指可操作觸摸墊924、926(且可能地從其它傳感裝置、用戶接口或兩者)接收及分析數(shù)據(jù)且產生用于從透鏡元件910及912輸出的圖像。攝像機920展示為定位在眼鏡902的延伸側臂914上；然而，攝像機920可提供在眼鏡902的其它部分上。攝像機920可經配置而以各種分辨率或以不同幀速率捕獲圖像。舉例來說，具有小形狀因數(shù)的許多攝像機(例如在手機或網絡攝像頭中使用的攝像機)可并入到系統(tǒng)900的實例中。雖然圖9說明一個攝像機920，但可使用更多的攝像機，且每一攝像機可經配置以捕獲相同景物或捕獲不同景物。舉例來說，攝像機920可為前向的以捕獲由用戶感知的現(xiàn)實世界景物的至少一部分。接著，由攝像機920捕獲的此前向圖像可用于產生增強現(xiàn)實，其中計算機產生的圖像出現(xiàn)以與由用戶感知的現(xiàn)實世界景物相互作用。
[0104]傳感器922展示為安裝在眼鏡902的延伸側臂916上；然而，傳感器922可提供在眼鏡902的其它部分上。舉例來說，傳感器922可包含陀螺儀或加速度計中的一者或一者以上。其它感測裝置可包含在傳感器922內或其它感測功能可由傳感器922執(zhí)行。手指可操作觸摸墊924、926展示為安裝在眼鏡902的延伸側臂914、916上。用戶可使用手指可操作觸摸墊924、926中的每一者輸入命令。手指可操作觸摸墊924、926可經由電容性感測、電阻感測或表面聲波過程以及其它能力感測手指的位置及移動中的至少一者。手指可操作觸摸墊924、926可能夠感測在平行于所述墊表面或與所述墊表面在同一個平面上的方向上、在與所述墊表面垂直的方向上或在此兩個方向上的手指移動，且也可能夠感測所施加壓力的水平。手指可操作觸摸墊924、926可由一個或一個以上半透明或透明絕緣層及一個或一個以上半透明或透明導電層形成。手指可操作觸摸墊924、926的邊緣可經形成以具有凸起的、鋸齒狀的或粗糙的表面，以在用戶的手指到達手指可操作觸摸墊924、926的邊緣時向用戶提供觸覺反饋。手指可操作觸摸墊924、926中的每一者可獨立操作且可提供不同功倉泛。
[0105]圖10說明圖9的系統(tǒng)900的替代視圖1000。如圖10中所展示，透鏡元件1010及1012可充當顯示元件。眼鏡1002可包含第一投影器1028，其耦合到延伸側臂1016的內表面且經配置以將顯示1030投影到透鏡元件1012的內表面上。
[0106]額外地或替代地，第二投影器1032可耦合到延伸側臂1014的內表面且經配置以將顯示1034投影到透鏡元件1010的內表面上。透鏡元件1010及1012可充當光投影系統(tǒng)中的組合器且可包含反射從投影器1028及1032投影到它們上的光的涂層。
[0107]在一些實施例中，可不使用特殊涂層(例如，當投影器1028及1032為掃描激光裝置時)。在替代實施例中，還可使用其它類型的顯示元件。舉例來說，透鏡元件1010、1012自身可包含:透明或半透明矩陣顯示器(例如，電致發(fā)光顯示器或液晶顯示器)、用于將圖像遞送到用戶的眼睛的一個或一個以上波導，或能夠將焦點對準的近眼式圖像遞送到用戶的其它光學元件?？蓪娘@示器驅動器安置在框架元件1004及1006內以用于驅動此矩陣顯示器。替代地或額外地，激光器或LED源及掃描系統(tǒng)可用于將光柵顯示直接拖動到用戶的眼睛中的一者或一者以上的視網膜上。其它可能性也存在。
[0108]圖11說明計算機網絡基礎結構的實例示意圖。在一個系統(tǒng)1136中，裝置1138使用通信鏈路1140(例如，有線或無線連接)與遠程裝置1142通信。裝置1138可為能接收數(shù)據(jù)且顯示與所述數(shù)據(jù)對應或相關聯(lián)的信息的任何類型的裝置。舉例來說，裝置1138可為抬頭顯示系統(tǒng)，例如參考圖9及10描述的眼鏡1102。因此，裝置1138可包含顯示系統(tǒng)1144，顯示系統(tǒng)1144包括處理器1146及顯示器1148。舉例來說，顯示器1148可為光學透視顯示器、光學環(huán)視顯示器或視頻透視顯示器。處理器1146可從遠程裝置1142接收數(shù)據(jù)且配置所述數(shù)據(jù)以用于在顯示器1148上顯示。舉例來說，處理器1146可為任何類型的處理器，例如微處理器或數(shù)字信號處理器。裝置1138可進一步包含板上數(shù)據(jù)存儲裝置，例如耦合到處理器1146的存儲器1150。舉例來說，存儲器1150可存儲可由處理器1146存取及執(zhí)行的軟件。
[0109]遠程裝置1142可為經配置以將數(shù)據(jù)發(fā)射到裝置1138的任何類型的計算裝置或發(fā)射器，包括膝上型計算機、移動電話等等。遠程裝置1142及裝置1138可含有用于啟用通信鏈路1140的硬件，例如處理器、發(fā)射器、接收器、天線等等。
[0110]在圖11中，通信鏈路1140說明為無線連接；然而，也可使用有線連接。舉例來說，通信鏈路1140可為經由串行總線(例如，通用串行總線)或并行總線的有線鏈路。有線連接還可為專用連接。通信鏈路1140還可為使用例如藍牙(BluetooOr?)無線電技術、IEEE802.11(包含任何IEEE802.11修訂)中描述的通信協(xié)議、蜂窩式技術(例如GSM、CDMA、UMTS、EVDO、WiMAX或LTE)或紫蜂(ZigbcC)技術以及其它能力的無線連接。遠程裝置1142可經由因特網存取且可包括與特定網頁服務(例如，社交網絡、照片共享、地址簿等等)相關聯(lián)的計算集群。
[0111]應理解，以上描述既定為說明性的且不是限制性的。所屬領域的技術人員將在閱讀及理解以上描述之后將明白許多其它實施例。因此，應參考所附權利要求書以及此權利要求書授權的等效物的整個范圍來確定本發(fā)明的范圍。
[0112]已出于解釋目的參考特定實施例描述以上描述。然而，以上說明性論述不既定為窮舉性的或將本發(fā)明限于所揭示的精確形式。鑒于以上教示，許多修改及變型是可能的。選擇且描述所述實施例以最佳地解釋本發(fā)明的原理及其實際應用，以借此使得所屬領域的技術人員能夠最佳地利用本發(fā)明及可適于所預期的特定用途的具有各種修改的各種實施例。
【權利要求】
1.一種計算機實施的方法，其包括: 在服務器計算機系統(tǒng)處接收第一數(shù)字圖像數(shù)據(jù)及待與所述第一數(shù)字圖像數(shù)據(jù)中的現(xiàn)實世界對象相關聯(lián)的虛擬標記數(shù)據(jù)，其中所述第一數(shù)字圖像數(shù)據(jù)由第一移動裝置捕獲，且所述虛擬標記數(shù)據(jù)包含從所述第一移動裝置的用戶接收的元數(shù)據(jù)； 從所述第一數(shù)字圖像數(shù)據(jù)產生描述所述現(xiàn)實世界對象的第一數(shù)字簽名； 響應于所述產生,實質上實時地將所述第一數(shù)字簽名插入到數(shù)字圖像的可搜索索引中； 在標記數(shù)據(jù)庫中存儲所述虛擬標記數(shù)據(jù)及所述虛擬標記數(shù)據(jù)與插入到所述數(shù)字圖像的索引中的所述第一數(shù)字簽名之間的關聯(lián)； 接收從由第二移動裝置捕獲的第二數(shù)字圖像數(shù)據(jù)產生的第二簽名，所述第二數(shù)字圖像數(shù)據(jù)包含一個或一個以上現(xiàn)實世界對象；及 當基于所述第二數(shù)字簽名的對所述數(shù)字圖像的索引的搜索導致與所述第一數(shù)字簽名的匹配時，將從所述第一移動裝置的所述用戶接收且與所述第一數(shù)字圖像數(shù)據(jù)中的所述現(xiàn)實世界對象相關聯(lián)的所述虛擬標記數(shù)據(jù)發(fā)射到所述第二移動裝置。
2.根據(jù)權利要求1所述的計算機實施的方法，其中從所述第一移動裝置的所述用戶接收到的所述虛擬標記數(shù)據(jù)包含由所述用戶從多個不同虛擬貼紙之中選擇的虛擬貼紙，每一虛擬貼紙傳達不同信息， 且所述所選擇的虛擬貼紙待呈現(xiàn)在所述現(xiàn)實世界對象的數(shù)字圖像數(shù)據(jù)上。
3.根據(jù)權利要求1所述的計算機實施的方法，其中產生所述第一數(shù)字簽名及實質上實時地插入所述第一數(shù)字簽名進一步包括: 從所述第一數(shù)字圖像數(shù)據(jù)產生一組特征向量，每一特征向量描述圍繞所述第一數(shù)字圖像數(shù)據(jù)中的所述現(xiàn)實世界對象的興趣點的像素的鄰域；及 當所述第一數(shù)字圖像數(shù)據(jù)的所述組特征向量被提取時，實時地將所述組特征向量插入到多個現(xiàn)實世界對象的特征向量的可搜索k維樹結構中。
4.根據(jù)權利要求1所述的方法，其進一步包括: 響應于在所述標記數(shù)據(jù)庫中存儲所述虛擬標記數(shù)據(jù)，將所述現(xiàn)實世界對象的圖像可搜索的確認發(fā)射到所述第一移動裝置，所述確認進一步指示所述虛擬標記數(shù)據(jù)的存儲是成功的。
5.根據(jù)權利要求1所述的方法，其進一步包括: 響應于所述第二數(shù)字簽名與所述第一數(shù)字簽名匹配的確定，詢問標記數(shù)據(jù)庫以定位與所述現(xiàn)實世界對象相關聯(lián)的額外虛擬標記數(shù)據(jù)； 獲得與所述現(xiàn)實世界對象相關聯(lián)的一個或一個以上額外標記，所述一個或一個以上額外標記中的每一者包含用戶創(chuàng)建內容；及 將所述額外虛擬標記數(shù)據(jù)發(fā)射到所述第二移動裝置。
6.根據(jù)權利要求5所述的方法，其進一步包括: 在發(fā)射所述額外虛擬標記數(shù)據(jù)之前過濾所述所獲得的一個或一個以上額外標記以限制返回到所述移動裝置的虛擬標記的數(shù)目。
7.根據(jù)權利要求5所述的方法，其中執(zhí)行所述過濾以將返回到所述移動裝置的所述虛擬標記限制為由所述移動裝置的所述用戶的社交網絡朋友創(chuàng)建的虛擬標記。
8.根據(jù)權利要求1所述的方法，其中所述虛擬標記數(shù)據(jù)包含與所述現(xiàn)實世界對象相關且由所述第一移動裝置的所述用戶供應的一個或一個以上照片的集合。
9.根據(jù)權利要求1所述的方法，其中所述現(xiàn)實世界對象為消費者產品且所述虛擬標記數(shù)據(jù)包含可在購買所述消費者產品時換成現(xiàn)款的優(yōu)惠券。
10.根據(jù)權利要求1所述的方法，其中所述第一移動裝置為蜂窩式電話且所述第二移動裝置為呈眼鏡形式的用戶可佩戴式計算裝置。
11.根據(jù)權利要求1所述的方法，其中所述第二數(shù)字圖像數(shù)據(jù)為由所述第二移動裝置捕獲的數(shù)字視頻數(shù)據(jù)且所述現(xiàn)實世界對象包含在所述數(shù)字視頻數(shù)據(jù)中。
12.根據(jù)權利要求11所述的方法，其中所述數(shù)字視頻數(shù)據(jù)為由所述第二移動裝置捕獲的直播視頻饋送，且其中將所述虛擬標記數(shù)據(jù)發(fā)射到所述第二移動裝置以使得所述第二移動裝置能夠將所述虛擬標記數(shù)據(jù)呈現(xiàn)在所述直播視頻饋送上。
13.根據(jù)權利要求1所述的方法，其進一步包括: 從所述第一移動裝置接收全球定位系統(tǒng)GPS數(shù)據(jù)； 將所述GPS數(shù)據(jù)與所述虛擬標記數(shù)據(jù)之間的關聯(lián)存儲在所述標記數(shù)據(jù)庫中，所述關聯(lián)指示所述虛擬標記位于的現(xiàn)實世界位置；及 當所述第二移動裝置位于與所述虛擬標記數(shù)據(jù)相關聯(lián)的所述GPS數(shù)據(jù)的預定距離之內時，將一個或一個以上虛擬標記在附近的通知發(fā)送到所述第二移動裝置。
14.一種包含指令的非暫時性計算機可讀存儲媒體，所述指令在由處理器執(zhí)行時致使所述處理器執(zhí)行方法，所述方法包括: 在服務器計算機系統(tǒng)處接收第一數(shù)字圖像數(shù)據(jù)及待與所述第一數(shù)字圖像數(shù)據(jù)中的現(xiàn)實世界對象相關聯(lián)的虛擬標記數(shù)據(jù)，其中所述第一數(shù)字圖像數(shù)據(jù)由第一移動裝置捕獲，且所述虛擬標記數(shù)據(jù)包含從所述第一移動裝置的用戶接收的元數(shù)據(jù)； 從所述第一數(shù)字圖像數(shù)據(jù)產生描述所述現(xiàn)實世界對象的第一數(shù)字簽名； 響應于所述產生,實質上實時地將所述第一數(shù)字簽名插入到數(shù)字圖像的可搜索索引中； 在標記數(shù)據(jù)庫中存儲所述虛擬標記數(shù)據(jù)及所述虛擬標記數(shù)據(jù)與插入到所述數(shù)字圖像的索引中的所述第一數(shù)字簽名之間的關聯(lián)； 接收從由第二移動裝置捕獲的第二數(shù)字圖像數(shù)據(jù)產生的第二簽名，所述第二數(shù)字圖像數(shù)據(jù)包含一個或一個以上現(xiàn)實世界對象；及 當基于所述第二數(shù)字簽名的對所述數(shù)字圖像的索引的搜索導致與所述第一數(shù)字簽名的匹配時，將從所述第一移動裝置的所述用戶接收且與所述第一數(shù)字圖像數(shù)據(jù)中的所述現(xiàn)實世界對象相關聯(lián)的所述虛擬標記數(shù)據(jù)發(fā)射到所述第二移動裝置。
15.根據(jù)權利要求14所述的計算機可讀存儲媒體，其中從所述第一移動裝置的所述用戶接收到的所述虛擬標記數(shù)據(jù)包含由所述用戶從多個不同虛擬貼紙之中選擇的虛擬貼紙，每一虛擬貼紙傳達不同信息，且所述所選擇的虛擬貼紙待呈現(xiàn)在所述現(xiàn)實世界對象的數(shù)字圖像數(shù)據(jù)上。
16.根據(jù)權利要求14所述的計算機可讀存儲媒體，其中產生所述第一數(shù)字簽名及實質上實時地插入所述第一數(shù)字簽名進一步包括: 從所述第一數(shù)字圖像數(shù)據(jù)產生一組特征向量，每一特征向量描述圍繞所述第一數(shù)字圖像數(shù)據(jù)中的所述現(xiàn)實世界對象的興趣點的像素的鄰域；且 當所述第一數(shù)字圖像數(shù)據(jù)的所述組特征向量被提取時，實時地將所述組特征向量插入到多個現(xiàn)實世界對象的特征向量的可搜索k維樹結構中。
17.根據(jù)權利要求14所述的計算機可讀存儲媒體，響應于所述第二數(shù)字簽名與所述第一數(shù)字簽名匹配的確定，詢問標記數(shù)據(jù)庫以定位與所述現(xiàn)實世界對象相關聯(lián)的額外虛擬標記數(shù)據(jù)； 獲得與所述現(xiàn)實世界對象相關聯(lián)的一個或一個以上額外標記，所述一個或一個以上額外標記中的每一者包含用戶創(chuàng)建內容；及 將所述額外虛擬標記數(shù)據(jù)發(fā)射到所述第二移動裝置。
18.根據(jù)權利要求14所述的計算機可讀存儲媒體，其中所述第一移動裝置為蜂窩式電話且所述第二移動裝置為呈眼鏡形式的用戶可佩戴式計算裝置。
19.一種系統(tǒng),其包括: 存儲器 '及 處理器，其與所述存儲器耦合以 接收第一數(shù)字圖像數(shù)據(jù)及待與所述第一數(shù)字圖像數(shù)據(jù)中的現(xiàn)實世界對象相關聯(lián)的虛擬標記數(shù)據(jù)，其中所述第一數(shù)字圖像數(shù)據(jù)由第一移動裝置捕獲，且所述虛擬標記數(shù)據(jù)包含從所述第一移動裝置的用戶接收的元數(shù)據(jù)； 從所述第一數(shù)字圖像數(shù)據(jù)產生描述所述現(xiàn)實世界對象的第一數(shù)字簽名； 響應于所述產生,實質上實時地將所述第一數(shù)字簽名插入到數(shù)字圖像的可搜索索引中； 在標記數(shù)據(jù)庫中存儲所述虛擬標記數(shù)據(jù)及所述虛擬標記數(shù)據(jù)與插入到所述數(shù)字圖像的索引中的所述第一數(shù)字簽名之間的關聯(lián)； 接收從由第二移動裝置捕獲的第二數(shù)字圖像數(shù)據(jù)產生的第二簽名，所述第二數(shù)字圖像數(shù)據(jù)包含一個或一個以上現(xiàn)實世界對象；及 當基于所述第二數(shù)字簽名的對所述數(shù)字圖像的索引的搜索導致與所述第一數(shù)字簽名的匹配時，將從所述第一移動裝置的所述用戶接收且與所述第一數(shù)字圖像數(shù)據(jù)中的所述現(xiàn)實世界對象相關聯(lián)的所述虛擬標記數(shù)據(jù)發(fā)射到所述第二移動裝置。
20.根據(jù)權利要求19所述的系統(tǒng)，其中從所述第一移動裝置的所述用戶接收到的所述虛擬標記數(shù)據(jù)包含由所述用戶從多個不同虛擬貼紙之中選擇的虛擬貼紙，每一虛擬貼紙傳達不同信息，且所述所選擇的虛擬貼紙待呈現(xiàn)在所述現(xiàn)實世界對象的數(shù)字圖像數(shù)據(jù)上。
【文檔編號】G06F17/30GK103620600SQ201280030836
【公開日】2014年3月5日 申請日期:2012年4月26日 優(yōu)先權日:2011年5月13日
【發(fā)明者】約翰·弗林, 德拉戈米爾·安格洛夫, 哈特穆特·內文, 馬克·卡明斯, 詹姆斯·菲爾賓, 拉斐爾·斯普林, 哈特維?！啴? 阿南德·皮萊 申請人:谷歌公司