專(zhuān)利名稱(chēng)：用于將基于代碼的和光學(xué)字符識(shí)別技術(shù)集成到移動(dòng)可視搜索中的方法、設(shè)備和計(jì)算機(jī)程 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的實(shí)施例主要地涉及移動(dòng)可視搜索技術(shù)，并且更具體地涉及用于將一個(gè)或 者多個(gè)基于代碼的標(biāo)記系統(tǒng)以及一個(gè)或者多個(gè)光學(xué)字符識(shí)別(OCR)系統(tǒng)與一個(gè)或者多個(gè) 可視搜索系統(tǒng)組合的方法、設(shè)備、移動(dòng)終端和計(jì)算機(jī)程序產(chǎn)品。
背景技術(shù)：
現(xiàn)代通信時(shí)代已經(jīng)引起有線和無(wú)線網(wǎng)絡(luò)的巨大擴(kuò)張。計(jì)算機(jī)網(wǎng)絡(luò)、電視網(wǎng)絡(luò)和電 話網(wǎng)絡(luò)在提供信息傳送的更多靈活性和即時(shí)性之時(shí)正在經(jīng)歷由消費(fèi)者需求推動(dòng)的前所未 有的技術(shù)擴(kuò)張。 目前和將來(lái)的聯(lián)網(wǎng)技術(shù)繼續(xù)有助于信息傳送的簡(jiǎn)易性和用戶的便利性。其中對(duì)增 加信息傳送的簡(jiǎn)易性和用戶的便利性有需求的一個(gè)領(lǐng)域涉及將各種應(yīng)用或者軟件提供給 電子設(shè)備如移動(dòng)終端的用戶?？梢詮谋镜赜?jì)算機(jī)、網(wǎng)絡(luò)服務(wù)器或者其它網(wǎng)絡(luò)設(shè)備或者從諸 如移動(dòng)電話、移動(dòng)電視、移動(dòng)游戲系統(tǒng)、錄像機(jī)、照相機(jī)等移動(dòng)終端或者甚至從移動(dòng)終端和 網(wǎng)絡(luò)設(shè)備的組合來(lái)執(zhí)行應(yīng)用或者軟件。就這一點(diǎn)而言，已經(jīng)開(kāi)發(fā)并且繼續(xù)開(kāi)發(fā)各種應(yīng)用和 軟件以便向用戶給予在固定或者移動(dòng)環(huán)境中執(zhí)行任務(wù)、通信、自我?jiàn)蕵?lè)、收集和/或分析信 息等這些穩(wěn)健能力。 隨著具有照相機(jī)的移動(dòng)電話的廣泛使用，照相機(jī)應(yīng)用正在變得受移動(dòng)電話用戶歡 迎?；趫D像匹配(識(shí)別)的移動(dòng)應(yīng)用當(dāng)前正在涌現(xiàn)，并且這一涌現(xiàn)的例子是移動(dòng)可視搜 索。目前存在具有各種范圍和應(yīng)用的移動(dòng)可視搜索系統(tǒng)。例如，在一類(lèi)移動(dòng)可視搜索系統(tǒng) 如Point&Find系統(tǒng)(基于Nokia公司最近獲取的PIXT0技術(shù)開(kāi)發(fā)的)中，照相機(jī)電話的用 戶可以將他的/她的照相機(jī)電話指向在用戶的周?chē)鷧^(qū)域中的對(duì)象以經(jīng)由因特網(wǎng)訪問(wèn)向用 戶的照相機(jī)電話提供的與指向的對(duì)象關(guān)聯(lián)的相關(guān)信息。 可以用來(lái)收集和/或分析信息的應(yīng)用的另一例子是條形碼讀取器。盡管使用條形 碼已經(jīng)有約半個(gè)世紀(jì)，但是與條形碼的利用有關(guān)的發(fā)展近來(lái)已經(jīng)隨著新技術(shù)的引入而取得 急劇飛躍。例如，新技術(shù)已經(jīng)實(shí)現(xiàn)開(kāi)發(fā)能夠?qū)?xì)節(jié)越來(lái)越多的產(chǎn)品信息進(jìn)行存儲(chǔ)的條形碼。 已經(jīng)運(yùn)用條形碼以提供通向有關(guān)站點(diǎn)如恥b頁(yè)面的鏈接。例如，已經(jīng)在(用URL)附著到有 形對(duì)象的標(biāo)記中運(yùn)用條形碼(例如考慮如下產(chǎn)品，在該產(chǎn)品上具有條形碼，其中該條形碼 與產(chǎn)品的URL關(guān)聯(lián))。此外，已經(jīng)開(kāi)發(fā)如下條形碼系統(tǒng)，這些系統(tǒng)超出典型一維(1D)條形碼 以提供多個(gè)類(lèi)型的潛在復(fù)雜的二維(2D)條形碼、ShotCode、 Semacode、快速響應(yīng)(QR)碼、 數(shù)據(jù)矩陣碼等。隨著與條形碼用途和類(lèi)型有關(guān)的改變，已經(jīng)開(kāi)發(fā)用于讀取條形碼的新設(shè)備。 盡管有基于代碼的研究和開(kāi)發(fā)已經(jīng)由來(lái)已久這一事實(shí)，但是目前尚未探索將基于代碼的搜 索集成到移動(dòng)可視搜索系統(tǒng)中。 可以用來(lái)收集和/或分析信息的應(yīng)用的另一例子是光學(xué)字符識(shí)別(OCR)系統(tǒng)。0CR 系統(tǒng)能夠?qū)⑹謱?xiě)或者打字文本的圖像翻譯成機(jī)器可編輯文本或者將字符的圖片翻譯成代 表它們的標(biāo)準(zhǔn)編碼方案( 如ASCII或者Unicode)。同時(shí)，光學(xué)字符識(shí)別(OCR)系統(tǒng)目前沒(méi)有與現(xiàn)有1D或者2D可視標(biāo)記系統(tǒng)那樣好地模塊化。然而，OCR系統(tǒng)具有巨大潛力，因?yàn)?文本如今普遍有用并且分布廣泛。就這一點(diǎn)而言，對(duì)打印和部署ID和2D條形碼標(biāo)記的需 要有所減少。OCR系統(tǒng)也可以應(yīng)用于其中1D和2D條形碼可能并不普遍或者存在的例如與 標(biāo)記、商品標(biāo)簽、產(chǎn)品等有關(guān)的許多不同場(chǎng)合和應(yīng)用。此外，其中OCR正在變得有用的另一 應(yīng)用包括語(yǔ)言翻譯。盡管注意到OCR研究和應(yīng)用開(kāi)發(fā)已經(jīng)由來(lái)已久，但是目前尚未探索將 OCR組合到移動(dòng)可視搜索系統(tǒng)中。 假設(shè)移動(dòng)終端設(shè)備中的照相機(jī)的普適性質(zhì)，需要開(kāi)發(fā)如下移動(dòng)搜索系統(tǒng)，該系統(tǒng) 將OCR組合或者集成到可以在具有照相機(jī)的移動(dòng)電話上使用的移動(dòng)可視搜索系統(tǒng)中以便 增強(qiáng)用戶的體驗(yàn)并且實(shí)現(xiàn)信息的更高效傳送。此外，也需要將來(lái)的移動(dòng)可視搜索應(yīng)用能夠 以與諸如ID和2D條形碼、QR碼、Semacode、 Shotcode等專(zhuān)門(mén)設(shè)計(jì)和模塊化的基于代碼的 可視標(biāo)記系統(tǒng)不同的方式擴(kuò)展移動(dòng)搜索能力。盡管期待專(zhuān)門(mén)設(shè)計(jì)和模塊化的可視標(biāo)記系 統(tǒng)可以在將來(lái)維持某一市場(chǎng)份額，但是也可以預(yù)見(jiàn)許多僅利用這樣的基于代碼的系統(tǒng)的應(yīng) 用在未來(lái)將是不足的。假設(shè)通?？梢詫⒒诖a的可視標(biāo)記系統(tǒng)模塊化，那么存在對(duì)將這 樣的基于代碼的標(biāo)記系統(tǒng)與更普通的移動(dòng)可視搜索系統(tǒng)組合的需要，這一組合又將允許蜂 窩運(yùn)營(yíng)商、蜂窩服務(wù)提供商等的市場(chǎng)份額顯著增加以及向用戶提供執(zhí)行任務(wù)、通信、自我?jiàn)?樂(lè)、收集和/或分析信息這些文件能力。 盡管可視搜索系統(tǒng)與現(xiàn)有1D和/或2D標(biāo)記系統(tǒng)以及OCR系統(tǒng)的集成對(duì)于將來(lái)的 移動(dòng)搜索業(yè)務(wù)至關(guān)重要，但是出現(xiàn)與以無(wú)縫方式組合不同算法和功能的方式有關(guān)的困難。 也就是說(shuō)，出現(xiàn)與為了使這些1D和/或2D標(biāo)記系統(tǒng)、0CR系統(tǒng)和可視搜索系統(tǒng)能夠一起恰 當(dāng)操作而應(yīng)當(dāng)應(yīng)用架構(gòu)和系統(tǒng)設(shè)計(jì)的方式有關(guān)的困難。 鑒于前述內(nèi)容，需要?jiǎng)?chuàng)新設(shè)計(jì)以解答和解決前述困難并且指出將OCR以及不同類(lèi) 型的基于代碼的標(biāo)記系統(tǒng)組合和集成到包括標(biāo)記和取回機(jī)制設(shè)計(jì)的移動(dòng)可視搜索系統(tǒng)中 的方式。

發(fā)明內(nèi)容
本發(fā)明示例性實(shí)施例的系統(tǒng)、方法、設(shè)備和計(jì)算機(jī)程序產(chǎn)品涉及如下設(shè)計(jì)，這些設(shè) 計(jì)支持將基于代碼的搜索系統(tǒng)和OCR搜索系統(tǒng)與可視搜索系統(tǒng)組合以形成單個(gè)統(tǒng)一系統(tǒng)。 這些設(shè)計(jì)包括但不限于基于上下文、基于檢測(cè)、基于可視化、基于用戶輸入、基于統(tǒng)計(jì)處理 和基于標(biāo)記的設(shè)計(jì)。 這些設(shè)計(jì)實(shí)現(xiàn)將OCR和基于代碼的功能(例如1D/2D條形碼)集成到單個(gè)統(tǒng)一可 視搜索系統(tǒng)中。本發(fā)明的示例性實(shí)施例允許單個(gè)如下平臺(tái)和用戶接口的益處，該平臺(tái)和用 戶接口將搜索應(yīng)用，即OCR搜索、基于代碼的搜索和基于對(duì)象的可視搜索，集成到單個(gè)搜索 系統(tǒng)中。本發(fā)明的統(tǒng)一可視搜索系統(tǒng)可以例如在將照相機(jī)電話指向文本時(shí)例如提供翻譯或 者百科全書(shū)功能(以及其它服務(wù))，而在通過(guò)典型可視搜索系統(tǒng)將照相機(jī)電話指向?qū)ο?例 如用戶將照相機(jī)模塊如照相機(jī)模塊36指向天空以訪問(wèn)天氣信息、指向飯店外觀以獲取評(píng) 論或者指向汽車(chē)以獲取規(guī)格和銷(xiāo)售商信息)時(shí)使其它信息和服務(wù)可用。當(dāng)指向1D或者2D 碼、OCR數(shù)據(jù)等時(shí)，本發(fā)明示例性實(shí)施例的統(tǒng)一搜索系統(tǒng)可以例如提供在代碼或者OCR數(shù)據(jù) 中嵌入的針對(duì)產(chǎn)品的比較購(gòu)物信息、購(gòu)買(mǎi)力或者內(nèi)容鏈接。 在一個(gè)示例性實(shí)施例中，提供一種用于集成可視搜索、基于代碼的搜索和OCR搜索的設(shè)備和方法。該設(shè)備和方法包括接收媒體內(nèi)容、分析與媒體內(nèi)容關(guān)聯(lián)的數(shù)據(jù)并且選擇 多個(gè)算法之中的第一算法。該設(shè)備和方法還包括執(zhí)行第一算法并且執(zhí)行一個(gè)或者多個(gè)搜索 而且接收與媒體內(nèi)容對(duì)應(yīng)的一個(gè)或者多個(gè)候選。 在另一示例性實(shí)施例中，提供一種用于集成可視搜索、基于代碼的搜索和OCR搜
索的設(shè)備和方法。該設(shè)備和方法包括接收媒體內(nèi)容和元信息、接收一個(gè)或者多個(gè)搜索算法、
執(zhí)行一個(gè)或者多個(gè)搜索算法并且對(duì)媒體內(nèi)容執(zhí)行一個(gè)或者多個(gè)搜索而且收集對(duì)應(yīng)結(jié)果。該
設(shè)備和方法還包括接收結(jié)果并且基于一個(gè)或者多個(gè)因子對(duì)結(jié)果賦予優(yōu)先級(jí)。 在另一示例性實(shí)施例中，提供一種用于集成可視搜索、基于代碼的搜索和OCR搜
索的設(shè)備和方法。該設(shè)備和方法包括接收媒體內(nèi)容和元信息，接收多個(gè)搜索算法，執(zhí)行多
個(gè)搜索算法之中的第一搜索算法，以及，檢測(cè)與媒體內(nèi)容關(guān)聯(lián)的第一類(lèi)型的一個(gè)或者多個(gè)
標(biāo)記。該設(shè)備和方法還包括確定第二類(lèi)型和第三類(lèi)型的一個(gè)或者多個(gè)標(biāo)記是否與媒體內(nèi)容
關(guān)聯(lián)，執(zhí)行多個(gè)搜索算法之中的第二搜索算法并且檢測(cè)與第二類(lèi)型和第三類(lèi)型的一個(gè)或者
多個(gè)標(biāo)記關(guān)聯(lián)的數(shù)據(jù)而且接收一個(gè)或者多個(gè)候選。該設(shè)備和方法還包括將一個(gè)或者多個(gè)候
選中包括與第二類(lèi)型和第三類(lèi)型的一個(gè)或者多個(gè)標(biāo)記對(duì)應(yīng)的數(shù)據(jù)的相應(yīng)候選插入到一個(gè)
或者多個(gè)候選中與第一類(lèi)型的一個(gè)或者多個(gè)標(biāo)記對(duì)應(yīng)的相應(yīng)候選，其中第一類(lèi)型、第二類(lèi)
型和第三類(lèi)型是不同的。


已經(jīng)這樣一般性地描述本發(fā)明，現(xiàn)在參照未必按比例繪制的以下附圖，并且在附 圖中 圖1是根據(jù)本發(fā)明一個(gè)示例性實(shí)施例的移動(dòng)終端的示意框圖； 圖2是根據(jù)本發(fā)明一個(gè)示例性實(shí)施例的無(wú)線通信系統(tǒng)的示意框圖； 圖3是根據(jù)本發(fā)明一個(gè)示例性實(shí)施例的通過(guò)使用位置信息的具有1D/2D圖像標(biāo)記
或者光學(xué)字符識(shí)別(OCR)系統(tǒng)的移動(dòng)可視搜索系統(tǒng)的示意框圖； 圖4是根據(jù)本發(fā)明一個(gè)示例性實(shí)施例的通過(guò)使用上下文信息和規(guī)則來(lái)與1D/2D圖 像標(biāo)記或者OCR系統(tǒng)集成的移動(dòng)可視搜索系統(tǒng)的示意框圖； 圖5是用于利用位置信息來(lái)集成可視搜索、基于代碼的搜索和OCR搜索的搜索模 塊的一個(gè)示例性實(shí)施例的示意框圖； 圖6是利用位置信息將可視搜索、基于代碼的搜索和OCR搜索集成的搜索模塊的 操作方法的流程圖； 圖7是用于利用規(guī)則和元信息將可視搜索與基于代碼的搜索和0CR搜索集成的搜 索模塊的一個(gè)替代示例性實(shí)施例的示意框圖； 圖8是利用規(guī)則和元信息將可視搜索與基于代碼的搜索和0CR搜索集成的搜索模 塊的操作方法的流程圖； 圖9是用于利用圖像檢測(cè)將可視搜索、OCR搜索和基于代碼的搜索集成的搜索模 塊的一個(gè)替代示例性實(shí)施例的示意框圖； 圖10是利用圖像檢測(cè)將可視搜索、0CR搜索和基于代碼的搜索集成的搜索模塊的 操作方法的流程圖； 圖11是用于利用可視化引擎將可視搜索、基于代碼的搜索和0CR搜索集成的搜索模塊的一個(gè)替代示例性實(shí)施例的示意框圖； 圖12是利用可視化引擎將可視搜索、基于代碼的搜索和OCR搜索集成的搜索模塊 的操作方法的流程圖； 圖13是用于利用用戶的輸入來(lái)集成可視搜索、基于代碼的搜索和0CR搜索的搜索 模塊的一個(gè)替代示例性實(shí)施例的示意框圖； 圖14是用于利用用戶的輸入來(lái)集成可視搜索、基于代碼的搜索和0CR搜索的搜索 模塊的操作方法的流程圖； 圖15是利用統(tǒng)計(jì)處理來(lái)集成可視搜索、基于代碼的搜索和OCR搜索的搜索模塊的 一個(gè)替代示例性實(shí)施例的示意框圖； 圖16是利用統(tǒng)計(jì)處理來(lái)集成可視搜索、基于代碼的搜索和OCR搜索的搜索模塊的 操作方法的流程圖； 圖17是用于將基于代碼的標(biāo)記和/或OCR標(biāo)記嵌入到可視搜索結(jié)果中的搜索模 塊的一個(gè)替代示例性實(shí)施例的示意框圖；以及 圖18是用于將基于代碼的標(biāo)記和/或OCR標(biāo)記嵌入到可視搜索結(jié)果中的搜索模 塊的操作方法的流程圖。
具體實(shí)施例方式
現(xiàn)在下文將參照其中示出本發(fā)明的一些、但是并非所有實(shí)施例的附圖更完全地描 述本發(fā)明的實(shí)施例。實(shí)際上，本發(fā)明可以用許多不同形式來(lái)體現(xiàn)而不應(yīng)理解為限于這里闡 述的實(shí)施例；實(shí)際上，提供這些實(shí)施例使得本公開(kāi)內(nèi)容將滿足適用法律要求。同樣標(biāo)號(hào)通篇 指代同樣的單元。 圖1圖示了將從本發(fā)明中受益的移動(dòng)終端10的框圖。然而應(yīng)當(dāng)理解如圖所示和 下文描述的移動(dòng)電話僅舉例說(shuō)明將從本發(fā)明中受益的一類(lèi)移動(dòng)終端、因此不應(yīng)理解為限制
本發(fā)明的范圍。盡管出于舉例目的而圖示了并且下文將描述移動(dòng)終端io的若干實(shí)施例，但
是其它類(lèi)型的移動(dòng)終端如便攜數(shù)字助理(PDA)、尋呼機(jī)、移動(dòng)電視、膝上型計(jì)算機(jī)以及其它 類(lèi)型的語(yǔ)音和文本通信系統(tǒng)可以容易地運(yùn)用本發(fā)明。另外，非移動(dòng)的設(shè)備也可以容易地運(yùn) 用本發(fā)明的實(shí)施例。 此外，盡管本發(fā)明方法的若干實(shí)施例由移動(dòng)終端10執(zhí)行或者使用，但是該方法可 以由非移動(dòng)終端運(yùn)用。另外，將主要結(jié)合移動(dòng)通信應(yīng)用來(lái)描述本發(fā)明的系統(tǒng)和方法。然而 應(yīng)當(dāng)理解可以在移動(dòng)通信業(yè)中和在移動(dòng)通信業(yè)以外結(jié)合各種其它應(yīng)用來(lái)利用本發(fā)明的系 統(tǒng)和方法。 移動(dòng)終端10包括與發(fā)射器14和接收器16可操作通信的天線12。移動(dòng)終端10還 包括分別向發(fā)射器14提供信號(hào)以及從接收器16接收信號(hào)的控制器20或者其它處理單元。 信號(hào)包括根據(jù)適用蜂窩系統(tǒng)空中接口標(biāo)準(zhǔn)的信令信息并且也包括用戶話音和/或由用戶 生成的數(shù)據(jù)。就這一點(diǎn)而言，移動(dòng)終端10能夠按照一個(gè)或者多個(gè)空中接口標(biāo)準(zhǔn)、通信協(xié)議、 調(diào)制類(lèi)型和接入類(lèi)型來(lái)操作。舉例而言，移動(dòng)終端10能夠根據(jù)多個(gè)第一代、第二代和/或 第三代通信協(xié)議等中的任何協(xié)議來(lái)操作。例如，移動(dòng)終端IO能夠根據(jù)第二代(2G)無(wú)線通 信協(xié)議IS-136 (TDMA) 、GSM和IS-95 (CDMA)或者第三代無(wú)線通信協(xié)議寬帶碼分多址(WCDMA) 來(lái)操作。
9
理解到控制器20包括為了實(shí)施移動(dòng)終端10的音頻和邏輯功能而需要的電路。例 如，控制器20可以包括數(shù)字信號(hào)處理器設(shè)備、微處理器設(shè)備以及各種模數(shù)轉(zhuǎn)換器、數(shù)模轉(zhuǎn) 換器和其它支持電路。移動(dòng)終端10的控制和信號(hào)處理功能根據(jù)它們的相對(duì)能力在這些設(shè) 備之間來(lái)分配?？刂破?0因此也可以包括用于在調(diào)制和發(fā)送之前對(duì)消息和數(shù)據(jù)進(jìn)行巻積 編碼和交織的功能?？刂破?0還可以包括內(nèi)部音碼器并且可以包括內(nèi)部數(shù)據(jù)調(diào)制解調(diào)器。 另外，控制器20可以包括用于操作可以存儲(chǔ)于存儲(chǔ)器中的一個(gè)或者多個(gè)軟件程序的功能。 例如，控制器20能夠操作連接程序，常規(guī)Web瀏覽器。連接程序然后可以允許移動(dòng)終端10 例如根據(jù)無(wú)線應(yīng)用協(xié)議(WAP)來(lái)發(fā)送和接收web內(nèi)容，比如基于位置的內(nèi)容。
移動(dòng)終端10也包括用戶接口，該用戶接口包括全部耦合到控制器20的輸出設(shè)備 如常規(guī)耳機(jī)或者揚(yáng)聲器24、振鈴器22、麥克風(fēng)26、顯示器28和用戶輸入接口。允許移動(dòng)終 端IO接收數(shù)據(jù)的用戶輸入接口可以包括允許移動(dòng)終端IO接收數(shù)據(jù)的多個(gè)設(shè)備中的任何設(shè) 備，比如小鍵盤(pán)30、觸摸顯示器(未示出)或者其它輸入設(shè)備。在包括小鍵盤(pán)30的實(shí)施例 中，小鍵盤(pán)30可以包括用于操作移動(dòng)終端10的常規(guī)數(shù)字鍵(0-9)和有關(guān)鍵(#、 *)以及其 它鍵。取而代之，小鍵盤(pán)30可以包括常規(guī)QWERTY小鍵盤(pán)。移動(dòng)終端10還包括用于向?yàn)榱?操作移動(dòng)終端10而需要的各種電路供電以及可選地提供機(jī)械振動(dòng)作為可檢測(cè)的輸出的電 池34，比如振動(dòng)電池組。 在一個(gè)示例實(shí)施例中，移動(dòng)終端10包括與控制器20通信的照相機(jī)模塊36。照相 機(jī)模塊36可以是用于捕獲圖像或者視頻剪輯或者視頻流以供存儲(chǔ)、顯示或者發(fā)送的任何 裝置。例如，照相機(jī)模塊36可以包括能夠根據(jù)視野中的對(duì)象、捕獲的圖像或者來(lái)自記錄的 視頻數(shù)據(jù)的視頻流來(lái)形成數(shù)字圖像文件的數(shù)字照相機(jī)。照相機(jī)模塊36能夠捕獲圖像、讀取 或者檢測(cè)1D和2D條形碼、QR碼、Semacode、 Shotcode、數(shù)據(jù)矩陣碼以及其它基于代碼的數(shù) 據(jù)、0CR數(shù)據(jù)等。這樣，照相機(jī)模塊36包括為了根據(jù)捕獲的圖像或者來(lái)自記錄的視頻數(shù)據(jù)的 視頻流來(lái)創(chuàng)建數(shù)字圖像文件以及讀取基于代碼的數(shù)據(jù)、OCR數(shù)據(jù)等而必需的所有硬件如透 鏡、傳感器、掃描儀或者其它光學(xué)設(shè)備以及軟件。取而代之，照相機(jī)模塊36可以僅包括為了 查看圖像或者視頻流而需要的硬件，而移動(dòng)終端10的存儲(chǔ)器設(shè)備以為了根據(jù)捕獲的圖像 或者來(lái)自記錄的視頻數(shù)據(jù)的視頻流來(lái)創(chuàng)建數(shù)字圖像文件而必需的軟件形式存儲(chǔ)用于由控 制器20執(zhí)行的指令。在一個(gè)示例實(shí)施例中，照相機(jī)模塊36還可以包括輔助控制器20處理 圖像數(shù)據(jù)、視頻流或者基于代碼的數(shù)據(jù)以及OCR數(shù)據(jù)的處理單元如協(xié)同處理器以及用于壓 縮和/或解壓圖像數(shù)據(jù)、視頻流、基于代碼的數(shù)據(jù)、OCR數(shù)據(jù)等的編碼器和/或解碼器。編 碼器和/或解碼器可以根據(jù)JPEG標(biāo)準(zhǔn)格式大牛股來(lái)編碼和/或解碼。除此之外或者和取 而代之，照相機(jī)模塊36可以包括一個(gè)或者多個(gè)視角，如例如第一人照相機(jī)視角和第三人地 圖視角。 移動(dòng)終端10還可以包括與控制器20通信的GPS模塊70。 GPS模塊70可以是用 于對(duì)移動(dòng)終端10的方位進(jìn)行定位的任何裝置。此外，GPS模塊70可以是用于在照相機(jī)模 塊36捕獲或者讀取的圖像中對(duì)興趣點(diǎn)(POI)(如例如商店、書(shū)店、飯店、咖啡店、百貨店、產(chǎn) 品、企業(yè)等，它們可以具有附著到、即標(biāo)記到這些P01的1D、2D條形碼、QR代碼、Semacode、 Shotcode、數(shù)據(jù)矩陣碼(或者其它適當(dāng)?shù)幕诖a的數(shù)據(jù))ORC數(shù)據(jù)等)的方位進(jìn)行定位的 任何裝置。這樣，如這里使用的興趣點(diǎn)可以包括用戶感興趣的任何實(shí)體，比如產(chǎn)品和其它對(duì) 象等。GPS模塊70可以包括用于在圖像中對(duì)移動(dòng)終端或者P01的方位進(jìn)行定位的所有硬件。除此之外或者取而代之，GPS模塊70可以利用移動(dòng)終端10的存儲(chǔ)器設(shè)備以為了確定 移動(dòng)終端的方位或者POI的圖像而必需的軟件形式存儲(chǔ)用于由控制器20執(zhí)行的指令。此 外，GPS模塊70能夠利用控制器20以經(jīng)由發(fā)射器14/接收器16發(fā)送/接收位置信息(比 如移動(dòng)終端10的方位、一個(gè)或者多個(gè)P01的方位和一個(gè)或者多個(gè)基于代碼的標(biāo)記的方位) 以及OCR數(shù)據(jù)標(biāo)記到下文更完全描述的服務(wù)器，比如可視搜索服務(wù)器54和可視搜索數(shù)據(jù)庫(kù) 51。 移動(dòng)終端也包括搜索模塊，比如搜索模塊68、78、88、98、108、118和128。搜索模塊 可以包括能夠在移動(dòng)終端10的照相機(jī)模塊指向興趣點(diǎn)(即用戶感興趣的物理實(shí)體)、基于 代碼的數(shù)據(jù)、OCR數(shù)據(jù)等時(shí)或者在POI、基于代碼的數(shù)據(jù)和OCR數(shù)據(jù)等在照相機(jī)模塊36的視 線中時(shí)或者在P0I、基于代碼的數(shù)據(jù)、0CR數(shù)據(jù)等在圖像中由照相機(jī)模塊捕獲時(shí)接收與P01、 基于代碼的數(shù)據(jù)、OCR數(shù)據(jù)等關(guān)聯(lián)的數(shù)據(jù)的、由控制器20執(zhí)行的硬件和/或軟件中的任何 裝置。搜索模塊能夠與搜索服務(wù)器54交互，并且它負(fù)責(zé)控制照相機(jī)模塊36的功能，比如照 相機(jī)模塊圖像輸入、跟蹤或者感測(cè)圖像運(yùn)動(dòng)、搜索與服務(wù)器通信以便獲得與POI、基于代碼 的數(shù)據(jù)和OCR數(shù)據(jù)等關(guān)聯(lián)的相關(guān)信息以及用于經(jīng)由顯示器28將適當(dāng)結(jié)果顯示給用戶移動(dòng) 終端10的必需用戶接口和機(jī)構(gòu)。在一個(gè)示例替代實(shí)施例中，搜索模塊。68、78、88、98、108、 118和128可以在照相機(jī)模塊36內(nèi)部。 搜索模塊68也使移動(dòng)終端10的用戶能夠從與相應(yīng)POI、基于代碼的數(shù)據(jù)和/或 OCR數(shù)據(jù)等相關(guān)的若干動(dòng)作的列表中(例如菜單或者子菜單中)的一個(gè)或者多個(gè)動(dòng)作中進(jìn) 行選擇。例如，動(dòng)作之一可以包括但不限于搜尋地理區(qū)域內(nèi)的其它相似POI(即候選)。例 如，如果用戶將照相機(jī)模塊指向由HONDA 制造的汽車(chē)(在本例中為POI)，則移動(dòng)終端可以 顯示與諸如例如FORDTM、CHEVROLET 等其它汽車(chē)制造商有關(guān)的候選列表或者菜單。作為另 一例子，如果移動(dòng)終端的用戶將照相機(jī)模塊指向例如與產(chǎn)品有關(guān)的ID或者2D條形碼，則移 動(dòng)終端可以顯示其它相似產(chǎn)品或者包含與這些相似產(chǎn)品有關(guān)的信息的URL的列表。與這些 相似POI有關(guān)的信息可以在存儲(chǔ)器中存儲(chǔ)于用戶簡(jiǎn)檔中。 移動(dòng)終端10還可以包括用戶標(biāo)識(shí)模塊(UM)38。UM 38通常是具有內(nèi)置于其中的 處理器的存儲(chǔ)器設(shè)備。UM 38可以例如包括用戶標(biāo)識(shí)模塊(SIM)、通用集成電路卡(UICC)、 通用用戶標(biāo)識(shí)模塊(UIM)、可移動(dòng)用戶標(biāo)識(shí)模塊(R-UIM)等。UIM 38通常存儲(chǔ)與移動(dòng)用戶 有關(guān)的信元。除了UIM 38之外，移動(dòng)終端10還可以包括易失性存儲(chǔ)器40，比如易失性隨 機(jī)存取存儲(chǔ)器(RAM)，該RAM包括用于臨時(shí)存儲(chǔ)數(shù)據(jù)的高速緩存區(qū)。移動(dòng)終端10也可以包 括可以是嵌入和/或可以是可移動(dòng)的其它非易失性存儲(chǔ)器42。除此之外或者取而代之，非 易失性存儲(chǔ)器42還可以包括比如可從加利福尼亞州森尼維爾市的SanDisk公司或者加利 福尼亞州費(fèi)利蒙市的Lexar Media公司獲得的EEPROM、閃存等。存儲(chǔ)器可以存儲(chǔ)由移動(dòng)終 端IO用來(lái)實(shí)施移動(dòng)終端10的功能的多條信息中的任何信息和數(shù)據(jù)。例如，存儲(chǔ)器可以包 括能夠唯一標(biāo)識(shí)移動(dòng)終端10的標(biāo)識(shí)符，比如國(guó)際移動(dòng)設(shè)備標(biāo)識(shí)(MEI)碼。
現(xiàn)在參照?qǐng)D2，提供對(duì)將從本發(fā)明中受益的一類(lèi)系統(tǒng)的圖示。該系統(tǒng)包括多個(gè)網(wǎng)絡(luò) 設(shè)備。如圖所示，一個(gè)或者多個(gè)移動(dòng)終端10可以各自包括用于向基站點(diǎn)或者基站(BS)44 發(fā)送信號(hào)以及用于從基站點(diǎn)或者基站(BS)44接收信號(hào)的天線12?；?4可以是一個(gè)或者 多個(gè)蜂窩或者移動(dòng)網(wǎng)絡(luò)的部分，其中各網(wǎng)絡(luò)包括為了操作該網(wǎng)絡(luò)而需要的單元，比如移動(dòng) 交換中心(MSC)46。如本領(lǐng)域技術(shù)人員眾所周知，移動(dòng)網(wǎng)絡(luò)也可以稱(chēng)為基站/MSC/互作用功能(BMI)。在操作中，MSC 46能夠在移動(dòng)終端IO進(jìn)行和接收呼叫時(shí)對(duì)去往和來(lái)自移動(dòng)終 端10的呼叫尋路由。MSC 46也可以在移動(dòng)終端IO參與呼叫時(shí)提供通向陸線干線的連接。 此外，MSC 46能夠控制對(duì)去往和來(lái)自移動(dòng)終端10的消息的轉(zhuǎn)發(fā)并且也可以控制對(duì)用于移 動(dòng)終端10的去往和來(lái)自消息中心的消息的轉(zhuǎn)發(fā)。應(yīng)當(dāng)足以雖然在圖2的系統(tǒng)中示出了MSC 46，但是MSC 46僅為示例網(wǎng)絡(luò)設(shè)備，并且本發(fā)明不限于在運(yùn)用MSC的網(wǎng)絡(luò)中使用。
MSC 46可以耦合到數(shù)據(jù)網(wǎng)絡(luò)，比如局域網(wǎng)(LAN)、城域網(wǎng)(MAN)和/或廣域網(wǎng) (WAN)。 MSC 46可以直接耦合到數(shù)據(jù)網(wǎng)絡(luò)。然而在一個(gè)典型實(shí)施例中，MSC 46耦合到GTW 48，并且GTW48耦合到WAN，比如因特網(wǎng)50。比如處理單元(例如個(gè)人計(jì)算機(jī)、服務(wù)器計(jì)算 機(jī)等)這樣的設(shè)備又可以經(jīng)由因特網(wǎng)50耦合到移動(dòng)終端10。例如，如下文說(shuō)明的那樣，處 理單元可以包括與計(jì)算系統(tǒng)52 (圖2中所示計(jì)算系統(tǒng)52)、可視搜索服務(wù)器54 (圖2中所示 可視搜索服務(wù)器54)、可視搜索數(shù)據(jù)庫(kù)51等關(guān)聯(lián)的一個(gè)或者多個(gè)處理單元，如下文說(shuō)明的 那樣。 BS 44也可以耦合到信令GPRS(通用分組無(wú)線電服務(wù))支持節(jié)點(diǎn)(SGSN)56。如 本領(lǐng)域技術(shù)人員所知，SGSN 56通常能夠執(zhí)行與用于分組交換服務(wù)的MSC 46相似的功能。 SGSN 56如同MSC 46那樣可以耦合到數(shù)據(jù)網(wǎng)絡(luò)，比如因特網(wǎng)50。 SGSN 56可以直接耦合到 數(shù)據(jù)網(wǎng)絡(luò)。然而在一個(gè)更典型實(shí)施例中，SGSN 56耦合到分組交換核心網(wǎng)絡(luò)，比如GPRS核心 網(wǎng)絡(luò)58。分組交換核心網(wǎng)絡(luò)然后耦合到另一GTW 48，比如GTW GPRS支持節(jié)點(diǎn)(GGSN)60，并 且GGSN60耦合到因特網(wǎng)50。除了GGSN 60之外，分組交換核心網(wǎng)絡(luò)也可以耦合到GTW 48， GGSN 60也可以耦合到消息接發(fā)中心。就這一點(diǎn)而言，GGSN 60和SGSN 56如同MSC 46那 樣能夠控制對(duì)消息如匪S消息的轉(zhuǎn)發(fā)。GGSN 60和SGSN 56也能夠控制對(duì)用于移動(dòng)終端10 的去往和來(lái)自消息接發(fā)中心的消息的轉(zhuǎn)發(fā)。 此外，通過(guò)將SGSN 56耦合到GPRS核心網(wǎng)絡(luò)58和GGSN 60，設(shè)備如計(jì)算系統(tǒng)52和 /或可視地圖服務(wù)器54可以經(jīng)由因特網(wǎng)50、SGSN 56和GGSN 60耦合到移動(dòng)終端10。就這 一點(diǎn)而言，設(shè)備如計(jì)算系統(tǒng)52和/或可視地圖服務(wù)器54可以跨越SGSN 56、GPRS核心網(wǎng)絡(luò) 58和GGSN 60來(lái)與移動(dòng)終端10通信。通過(guò)將移動(dòng)終端10和其它設(shè)備(例如計(jì)算系統(tǒng)52、 可視地圖服務(wù)器54等)直接或者間接連接到因特網(wǎng)50，移動(dòng)終端10可以比如根據(jù)超文本 傳送協(xié)議(HTTP)與其它設(shè)備通信和相互通信以由此實(shí)現(xiàn)移動(dòng)終端10的各種功能。
雖然這里沒(méi)有示出和描述每個(gè)可能移動(dòng)網(wǎng)絡(luò)的每個(gè)單元，但是應(yīng)當(dāng)理解移動(dòng)終端 IO可以通過(guò)BS 44耦合到多個(gè)不同網(wǎng)絡(luò)中的任何一個(gè)或者多個(gè)網(wǎng)絡(luò)。就這一點(diǎn)而言，一個(gè) 或者多個(gè)網(wǎng)絡(luò)能夠支持根據(jù)多個(gè)第一代(1G)、第二代(2G)、2. 5G、第三代(3G)和/或?qū)?lái) 移動(dòng)通信協(xié)議等中的任何一個(gè)或者多個(gè)移動(dòng)通信協(xié)議的通信。例如，一個(gè)或者多個(gè)網(wǎng)絡(luò)能 夠支持根據(jù)2G無(wú)線通信協(xié)議IS-136 (TDMA) 、GSM和IS-95 (CDMA)的通信。又例如， 一個(gè)或者 多個(gè)網(wǎng)絡(luò)能夠支持根據(jù)2. 5G無(wú)線通信協(xié)議GPRS、增強(qiáng)型數(shù)據(jù)GSM環(huán)境(EDGE)等的通信。又 例如，一個(gè)或者多個(gè)網(wǎng)絡(luò)能夠支持根據(jù)3G無(wú)線通信協(xié)議(比如運(yùn)用寬帶碼分多址(WCDMA) 無(wú)線電接入技術(shù)的通用移動(dòng)電話系統(tǒng)(UMTS)網(wǎng)絡(luò))的通信。如雙?；蛘吒吣Ｊ降囊苿?dòng) 站(例如數(shù)字/模擬或者TDMA/CDMA/模擬電話)應(yīng)當(dāng)?shù)哪菢樱?一些窄帶AMPS (NAMPS)以及 TACS網(wǎng)絡(luò)也可以從本發(fā)明的實(shí)施例中受益。 移動(dòng)終端10還可以耦合到一個(gè)或者多個(gè)無(wú)線接入點(diǎn)(AP)62。AP 62可以包括配置 成根據(jù)如下技術(shù)來(lái)與移動(dòng)終端10通信的接入點(diǎn)，這些技術(shù)如例如是射頻(RF)、藍(lán)牙(BT)、
12Wibree、紅外(IrDA)或者多個(gè)不同無(wú)線聯(lián)網(wǎng)技術(shù)中的任何技術(shù)，這些聯(lián)網(wǎng)技術(shù)包括無(wú)線 LAN(WLAN)技術(shù)如IEEE 802. 11 (例如802. lla、802. llb、802. llg、802. lln等)、WiMAX技 術(shù)如IEEE 802. 16和/或超寬帶(UWB)技術(shù)如IEEE 802. 15等。AP 62可以耦合到因特網(wǎng) 50。如同MSC 46那樣，AP 62可以直接耦合到因特網(wǎng)50。然而在一個(gè)實(shí)施例中，AP 62經(jīng) 由GTW 48間接耦合到因特網(wǎng)50。另外在一個(gè)實(shí)施例中，BS 44可以視為另一AP 62。如將 理解的那樣，通過(guò)將移動(dòng)終端10和計(jì)算系統(tǒng)52、可視搜索服務(wù)器54和/或多個(gè)其它設(shè)備中 的任何設(shè)備直接或者間接連接到因特網(wǎng)50，移動(dòng)終端10可以相互通信、與計(jì)算機(jī)系統(tǒng)52和 /或可視搜索服務(wù)器54以及可視搜索數(shù)據(jù)庫(kù)51等通信以由此實(shí)現(xiàn)移動(dòng)終端10的各種功 能，比如向計(jì)算系統(tǒng)52發(fā)送數(shù)據(jù)、內(nèi)容等和/或從計(jì)算系統(tǒng)52接收內(nèi)容、數(shù)據(jù)等。例如，可 視搜索服務(wù)器處理來(lái)自搜索模塊68的請(qǐng)求并且與可視搜索數(shù)據(jù)庫(kù)51交互以便存儲(chǔ)和取回 可視搜索信息。可視搜索服務(wù)器54可以借助地圖服務(wù)器95提供與一個(gè)或者多個(gè)移動(dòng)終端 10、一個(gè)或者多個(gè)P01或者基于代碼的數(shù)據(jù)、OCR數(shù)據(jù)等的地理區(qū)域、位置或者方位有關(guān)的 地圖數(shù)據(jù)等。此外，可視搜索服務(wù)器54可以將涉及目標(biāo)對(duì)象如P01的各種形式的數(shù)據(jù)提供 給移動(dòng)終端的搜索模塊68。此外，可視搜索服務(wù)器54可以將涉及基于代碼的數(shù)據(jù)、OCR數(shù) 據(jù)等的信息提供給搜索模塊68。例如，如果可視搜索服務(wù)器從移動(dòng)終端的搜索模塊68接收 照相機(jī)模塊檢測(cè)到、讀取到、掃描到或者捕獲到1D、2D條形碼、Semacode、 Shotcode、 QR碼、 數(shù)據(jù)矩陣碼(這里統(tǒng)稱(chēng)為基于代碼的數(shù)據(jù))和/或OCR數(shù)據(jù)(例如文本數(shù)據(jù))這一指示， 則可視搜索服務(wù)器54可以比較接收的基于代碼的數(shù)據(jù)和/或0CR數(shù)據(jù)與興趣點(diǎn)(POI)數(shù) 據(jù)庫(kù)74中存儲(chǔ)的關(guān)聯(lián)數(shù)據(jù)并且例如將針對(duì)一個(gè)或者多個(gè)給定產(chǎn)品的比較購(gòu)物信息、購(gòu)買(mǎi) 力和/或內(nèi)容鏈接如URL或者web頁(yè)面提供給搜索模塊以經(jīng)由顯示器28來(lái)顯示。也就是 說(shuō)，照相機(jī)模塊在其中檢測(cè)、讀取、掃描或者捕獲圖像的基于代碼的數(shù)據(jù)和OCR數(shù)據(jù)包含涉 及比較購(gòu)物信息、購(gòu)買(mǎi)力和/或內(nèi)容鏈接等的信息。當(dāng)移動(dòng)終端接收內(nèi)容鏈接(例如URL) 時(shí)，它可以利用它的web瀏覽器以經(jīng)由顯示器28顯示對(duì)應(yīng)web頁(yè)面。此外，可視搜索服務(wù) 器54可以經(jīng)由地圖服務(wù)器96比較接收的OCR數(shù)據(jù)(如例如在照相機(jī)模塊36檢測(cè)到的街道 符號(hào)上的文本)與關(guān)聯(lián)數(shù)據(jù)(比如在移動(dòng)終端的地理區(qū)域中和/或在街道符號(hào)的地理區(qū)域 中的地圖數(shù)據(jù)和/或方向)應(yīng)當(dāng)指出上述僅為可以與基于代碼的數(shù)據(jù)和/或OCR數(shù)據(jù)關(guān)聯(lián) 的數(shù)據(jù)例子并且就這一點(diǎn)而言任何適當(dāng)數(shù)據(jù)可以與這里描述的基于代碼的數(shù)據(jù)和/或OCR 數(shù)據(jù)關(guān)聯(lián)。 此外，可視搜索服務(wù)器54可以與照相機(jī)模塊36捕獲或者和獲得的圖像或者視頻 剪輯(或者任何適當(dāng)媒體內(nèi)容，包括但不限于文本數(shù)據(jù)、音頻數(shù)據(jù)、圖形動(dòng)畫(huà)、基于代碼的 數(shù)據(jù)、OCR數(shù)據(jù)、圖片、照片等)進(jìn)行比較并且確定這些圖像或者視頻剪輯或者與這些圖像 或者視頻剪輯有關(guān)的信息存儲(chǔ)于可視搜索服務(wù)器54中。另外，可視搜索服務(wù)器54可以借 助POI數(shù)據(jù)庫(kù)服務(wù)器54存儲(chǔ)涉及一個(gè)或者多個(gè)目標(biāo)對(duì)象(比如可以與照相機(jī)模塊36捕獲 或者檢測(cè)的一個(gè)或者多個(gè)圖像或者視頻剪輯(或者其它媒體內(nèi)容)關(guān)聯(lián)的POI)的各類(lèi)信 息。涉及一個(gè)或者多個(gè)POI的信息可以鏈接到一個(gè)或者多個(gè)標(biāo)記，如例如在照相機(jī)模塊36 捕獲、檢測(cè)、掃描或者讀取的物理對(duì)象上的標(biāo)記。涉及一個(gè)或者多個(gè)POI的信息可以發(fā)送到 移動(dòng)終端10以供顯示。另外，可視搜索數(shù)據(jù)庫(kù)51可以存儲(chǔ)用于快速和高效取回的相關(guān)可 視搜索信息，包括但不限于媒體內(nèi)容，該媒體內(nèi)容包括但不限于文本數(shù)據(jù)、音頻數(shù)據(jù)、圖形 動(dòng)畫(huà)、圖片、照片、視頻剪輯、圖像及其關(guān)聯(lián)元信息，如例如恥b鏈接、地理位置數(shù)據(jù)(這里稱(chēng)為地理位置數(shù)據(jù)，包括但不限于各種媒體的諸如web站點(diǎn)等地理標(biāo)識(shí)元數(shù)據(jù)，并且這一數(shù) 據(jù)也可以由維度和精度坐標(biāo)、海拔數(shù)據(jù)和地名構(gòu)成)、上下文信息等。另外，可視搜索數(shù)據(jù) 庫(kù)51可以存儲(chǔ)與一個(gè)或者多個(gè)P0I的地理位置有關(guān)的數(shù)據(jù)并且可以存儲(chǔ)包括但不限于P01 的位置、相對(duì)于P01的產(chǎn)品信息等與各種興趣點(diǎn)有關(guān)的數(shù)據(jù)。可視搜索數(shù)據(jù)庫(kù)51也可以存 儲(chǔ)基于代碼的數(shù)據(jù)、OCR數(shù)據(jù)等以及與基于代碼的數(shù)據(jù)關(guān)聯(lián)的數(shù)據(jù)，OCR數(shù)據(jù)包括但不限于 產(chǎn)品信息、價(jià)格、地圖數(shù)據(jù)、web鏈接等?？梢曀阉鞣?wù)器54可以發(fā)送和接收來(lái)自可視搜索 數(shù)據(jù)庫(kù)51的信息并且經(jīng)由因特網(wǎng)50來(lái)與移動(dòng)終端IO通信。類(lèi)似地，可視搜索數(shù)據(jù)庫(kù)51 可以與可視搜索服務(wù)器54通信并且除此之外或者取而代之還可以經(jīng)由WLAN、藍(lán)牙、Wibree 等的發(fā)送直接地或者經(jīng)由因特網(wǎng)50來(lái)與移動(dòng)終端IO通信?？梢曀阉鬏斎肟刂?接口 98 適于作為用于諸如企業(yè)所有者、產(chǎn)品制造商、公司等用戶的接口以將它們的數(shù)據(jù)插入到可 視搜索數(shù)據(jù)庫(kù)51中。用于控制數(shù)據(jù)插入到可視搜索數(shù)據(jù)庫(kù)中的方式的機(jī)制可以是靈活的， 例如可以基于位置、圖像、時(shí)間等插入新的插入數(shù)據(jù)。用戶可以經(jīng)由可視搜索輸入控制/ 接口 98將涉及一個(gè)或者多個(gè)對(duì)象、POI、產(chǎn)品等的1D條形碼、2D條形碼、QR碼、Semacode、 Shotcode(即基于代碼的數(shù)據(jù))或者OCR數(shù)據(jù)(以及附加信息)插入到可視搜索數(shù)據(jù)庫(kù)51 中。在一個(gè)示例非限制實(shí)施例中，可視搜索輸入控制/接口 98可以位于可視搜索數(shù)據(jù)庫(kù)外 部。如這里使用的那樣，術(shù)語(yǔ)"圖像"、"視頻剪輯"、"數(shù)據(jù)"、"內(nèi)容"、"信息"和相似術(shù)語(yǔ)可以 互換地用來(lái)指代能夠根據(jù)本發(fā)明的實(shí)施例來(lái)發(fā)送、接收和/或存儲(chǔ)的數(shù)據(jù)。因此，對(duì)這樣的 術(shù)語(yǔ)的使用不應(yīng)理解為限制本發(fā)明的精神和范圍。 雖然在圖2中未示出，但是除了跨越因特網(wǎng)50將移動(dòng)終端10耦合到計(jì)算系統(tǒng)52 之外或者取而代之，移動(dòng)終端10和計(jì)算系統(tǒng)52還可以相互耦合并且例如根據(jù)RF、BT、IrDA 或者包括LAN、 WLAN、 WiMAX和/或UWB技術(shù)的多個(gè)不同有線或者無(wú)線通信技術(shù)中的任何通 信技術(shù)來(lái)通信。除此之外或者取而代之，一個(gè)或者多個(gè)計(jì)算系統(tǒng)52還可以包括能夠存儲(chǔ)隨 后可以傳送到移動(dòng)終端10的內(nèi)容的可移動(dòng)存儲(chǔ)器。另外，移動(dòng)終端IO可以耦合到一個(gè)或者 多個(gè)電子設(shè)備，比如打印機(jī)、數(shù)字投影儀和/或其它多媒體捕獲、產(chǎn)生和/或存儲(chǔ)設(shè)備(例 如其它終端)。如同計(jì)算系統(tǒng)52那樣，移動(dòng)終端10可以被配置成根據(jù)如下技術(shù)來(lái)與便攜電 子設(shè)備通信，這些技術(shù)如例如是RF、 BT、 IrDA或者多個(gè)不同有線或者無(wú)線通信技術(shù)中的任 何通信技術(shù)，這些通信技術(shù)包括USB、 LAN、 WLAN、 WiMAX和/或UWB技術(shù)。
參照?qǐng)D3，示出了服務(wù)器94的框圖。如圖3中所示，服務(wù)器94 (這里也稱(chēng)為可視搜 索服務(wù)器54、 POI數(shù)據(jù)庫(kù)74、可視搜索輸入控制/接口 98、可視搜索數(shù)據(jù)庫(kù)51和可視搜索 服務(wù)器54)能夠允許產(chǎn)品制造商、產(chǎn)品廣告商、企業(yè)所有者、服務(wù)提供商、網(wǎng)絡(luò)運(yùn)營(yíng)商等輸 入涉及目標(biāo)對(duì)象如POI的相關(guān)信息(經(jīng)由接口 95)以及與基于代碼的數(shù)據(jù)關(guān)聯(lián)的信息(如 例如web鏈接或者產(chǎn)品信息)和/或與OCR數(shù)據(jù)關(guān)聯(lián)的信息(如例如商品標(biāo)簽、web頁(yè)面、 web連接、黃頁(yè)信息、圖像、視頻、聯(lián)系人信息、地址信息、方位信息如建筑物的停留處、位置 信息、地圖數(shù)據(jù)和用于存儲(chǔ)于存儲(chǔ)器93中的任何其它適當(dāng)數(shù)據(jù))。服務(wù)器94一般包括連接 到存儲(chǔ)器93的處理器96、控制器等以及接口 95和用戶輸入接口 91。處理器也可以連接到 至少一個(gè)接口 95或者用于發(fā)送和/或接收數(shù)據(jù)、內(nèi)容等的其它裝置。存儲(chǔ)器可以包括易失 性和/或非易失性存儲(chǔ)器并且如上所述能夠存儲(chǔ)涉及一個(gè)或者多個(gè)POI、基于代碼的數(shù)據(jù) 以及OCR數(shù)據(jù)的內(nèi)容。存儲(chǔ)器93也可以存儲(chǔ)用于處理器進(jìn)行根據(jù)本發(fā)明的實(shí)施例與服務(wù) 器的操作關(guān)聯(lián)的步驟的軟件應(yīng)用、指令等。就這一點(diǎn)而言，存儲(chǔ)器可以包含用于存儲(chǔ)、上傳
14/下載POI數(shù)據(jù)、基于代碼的數(shù)據(jù)、OCR數(shù)據(jù)以及與POI數(shù)據(jù)、基于代碼的數(shù)據(jù)、0CR數(shù)據(jù)等 關(guān)聯(lián)的數(shù)據(jù)以及用于發(fā)送/接收去往/來(lái)自移動(dòng)終端10和去往/來(lái)自可視搜索數(shù)據(jù)庫(kù)以 及可視搜索服務(wù)器的POI、基于代碼的數(shù)據(jù)、OCR數(shù)據(jù)及其相應(yīng)關(guān)聯(lián)數(shù)據(jù)的軟件指令(由處 理器執(zhí)行)。用戶輸入接口 91可以包括允許用戶輸入數(shù)據(jù)、選擇各種形式的數(shù)據(jù)并且導(dǎo)航 菜單或者子菜單等的任何數(shù)目的設(shè)備。就這一點(diǎn)而言，用戶輸入接口包括但不限于一個(gè)或 者多個(gè)操縱桿、小鍵盤(pán)、一個(gè)或者多個(gè)按鈕、一個(gè)或者多個(gè)軟鍵或者一個(gè)或者多個(gè)其它輸入 設(shè)備。 現(xiàn)在參照?qǐng)D4，提供一種用于集成基于代碼的數(shù)據(jù)、OCR數(shù)據(jù)和可視搜索數(shù)據(jù)的系 統(tǒng)。該系統(tǒng)包括與移動(dòng)終端IO以及可視搜索數(shù)據(jù)庫(kù)51進(jìn)行通信的可視搜索服務(wù)器54?？?視搜索服務(wù)器54可以是能夠存儲(chǔ)地圖服務(wù)器96中的地圖數(shù)據(jù)、位置或者方位信息、P01數(shù) 據(jù)庫(kù)74中的POI數(shù)據(jù)以及圖像或者視頻剪輯或者任何其它數(shù)據(jù)(如例如其它類(lèi)型的媒體 類(lèi)型)的任何設(shè)備或者裝置如硬件或者軟件。此外如上所述，可視搜索服務(wù)器54和P0I數(shù) 據(jù)庫(kù)74也可以存儲(chǔ)基于代碼的數(shù)據(jù)、OCR數(shù)據(jù)等并且也能夠存儲(chǔ)與基于代碼的數(shù)據(jù)和OCR 數(shù)據(jù)關(guān)聯(lián)的數(shù)據(jù)。另外，可視搜索服務(wù)器54可以包括用于實(shí)現(xiàn)或者執(zhí)行包括執(zhí)行軟件指令 在內(nèi)的功能的處理器96(例如參見(jiàn)圖3)。媒體內(nèi)容包括但不限于可以與代表移動(dòng)終端10 的用戶的存儲(chǔ)于可視搜索服務(wù)器的存儲(chǔ)器93中的用戶簡(jiǎn)檔對(duì)應(yīng)的圖像、視頻剪輯、音頻數(shù) 據(jù)、文本數(shù)據(jù)、圖形動(dòng)畫(huà)、照片、圖片、基于代碼的數(shù)據(jù)、OCR數(shù)據(jù)等。照相機(jī)模塊36捕獲、檢 測(cè)、讀取、掃描其圖像(提供給可視搜索服務(wù)器)的對(duì)象可以通過(guò)地圖服務(wù)器96鏈接到與 一個(gè)或者多個(gè)對(duì)象的位置有關(guān)的方位或者地理信息。類(lèi)似地，可視搜索數(shù)據(jù)庫(kù)51可以是能 夠存儲(chǔ)與興趣點(diǎn)、基于代碼的數(shù)據(jù)、OCR數(shù)據(jù)等有關(guān)的信息的任何設(shè)備或者裝置如硬件或者 軟件。可視搜索數(shù)據(jù)庫(kù)51可以包括用于實(shí)現(xiàn)或者執(zhí)行功能或者軟件指令的處理器96 (見(jiàn) 圖3)。媒體內(nèi)容可以對(duì)應(yīng)于代表移動(dòng)終端10的用戶的存儲(chǔ)于存儲(chǔ)器93中的用戶簡(jiǎn)檔。媒 體內(nèi)容可以經(jīng)由可視搜索輸入控制/接口 98加載到可視搜索數(shù)據(jù)庫(kù)51中并且代表用戶如 企業(yè)所有者、產(chǎn)品制造商、廣告商和公司或者代表任何其它適當(dāng)實(shí)體存儲(chǔ)于可視搜索數(shù)據(jù) 庫(kù)中。此外，各種形式的信息可以與P0I信息關(guān)聯(lián)，比如涉及P0I的方位、位置或者地理數(shù) 據(jù)以及例如產(chǎn)品信息(包括但不限于產(chǎn)品標(biāo)識(shí)、價(jià)格、數(shù)量、web鏈接、購(gòu)買(mǎi)力、比較購(gòu)物信 息等)。如上所述，可視搜索廣告商輸入控制/接口 98可以包含于可視搜索數(shù)據(jù)庫(kù)51中或 者可以位于可視搜索數(shù)據(jù)庫(kù)51外部。 現(xiàn)在將參照?qǐng)D5-18描述本發(fā)明的示例性實(shí)施例，例如，其中提供用于將移動(dòng)可視 搜索數(shù)據(jù)與基于代碼的數(shù)據(jù)如例如1D或者2D圖像標(biāo)記/條形碼和/或OCR數(shù)據(jù)集成的搜 索模塊的某些單元。圖5、圖7、圖9、圖11、圖13、圖15和圖17的搜索模塊的一些單元可以 例如運(yùn)用于圖1的移動(dòng)終端10和/或圖4的可視搜索服務(wù)器54上。然而應(yīng)當(dāng)注意圖5、圖 7、圖9、圖11、圖13、圖15和圖17的搜索模塊也可以應(yīng)用于移動(dòng)和固定的各種其它設(shè)備上， 因此本發(fā)明不應(yīng)限于在設(shè)備(如圖1的移動(dòng)終端10或者圖4的可視搜索服務(wù)器)上的應(yīng) 用，盡管下文將在移動(dòng)終端中的應(yīng)用背景中更具體地描述本發(fā)明的一個(gè)示例性實(shí)施例。下 文通過(guò)例子而無(wú)限制性地給出這樣的描述。例如，圖5、圖7、圖9、圖11、圖13、圖15和圖 17的搜索模塊可以運(yùn)用于照相機(jī)、錄像機(jī)等上。另外，圖5、圖7、圖9、圖11、圖13、圖15和 圖17的搜索模塊可以運(yùn)用于移動(dòng)終端10的設(shè)備、部件、單元或者模塊上。也應(yīng)當(dāng)注意盡管 5、圖7、圖9、圖11、圖13、圖15和圖17圖示了搜索模塊的配置例子，但是許多其它配置也可以用來(lái)實(shí)施本發(fā)明。 現(xiàn)在參照?qǐng)D5和圖6，圖示了通過(guò)利用位置信息將可視搜索技術(shù)與基于代碼的搜 索技術(shù)和OCR搜索技術(shù)集成的搜索模塊的一個(gè)示例性實(shí)施例和操作流程圖。搜索模塊68 可以是能夠基于位置在可視搜索、基于代碼的搜索與OCR搜索之間切換的包括硬件和/或 軟件的任何設(shè)備或者裝置。例如，控制器20可以執(zhí)行用于實(shí)現(xiàn)搜索模塊68的功能的軟件 指令，或者搜索模塊68可以具有執(zhí)行用于基于位置在可視搜索、基于代碼的搜索與OCR搜 索之間切換的軟件指令的內(nèi)部協(xié)同處理器。媒體內(nèi)容輸入67可以是能夠從移動(dòng)終端的照 相機(jī)模塊36或者任何其它單元接收媒體內(nèi)容的硬件和/或軟件(由處理器如控制器20執(zhí) 行)的任何設(shè)備或者裝置。 當(dāng)移動(dòng)終端10的照相機(jī)模塊36指向媒體內(nèi)容(包括但不限于一個(gè)或者多個(gè)圖 像、一個(gè)或者多個(gè)視頻剪輯/視頻數(shù)據(jù)、圖形動(dòng)畫(huà)等)、比如檢測(cè)、讀取或者掃描的對(duì)象或者 照相機(jī)模塊36捕獲對(duì)象的圖像、即媒體內(nèi)容(步驟600)時(shí)，搜索模塊68可以經(jīng)由元信息 輸入69確定對(duì)象的位置和/或利用由GPS模塊70提供的移動(dòng)終端10的位置(步驟601) (或者通過(guò)使用如下技術(shù)，這些技術(shù)比如是小區(qū)標(biāo)識(shí)、三角測(cè)量或者用于標(biāo)識(shí)對(duì)象位置的任 何其它適當(dāng)機(jī)制)以確定是否在可視搜索算法61、 0CR算法62或者基于代碼的算法63之 間選擇和/或切換并且隨后執(zhí)行該算法(步驟602和步驟603)。可以通過(guò)能夠分別進(jìn)行可 視搜索、基于代碼的搜索和OCR搜索的硬件和/或軟件的任何裝置實(shí)施和體現(xiàn)可視搜索算 法61、 OCR算法62或者基于代碼的算法。算法切換器65可以是硬件和/或軟件的任何裝 置并且可以用一個(gè)或者多個(gè)規(guī)則來(lái)限定，該規(guī)則用于確定給定的位置是否分配給可視搜索 算法61、0CR算法62或者基于代碼的算法63。例如，如果算法切換器65確定經(jīng)由元信息輸 入69接收的媒體內(nèi)容位置或者代之以移動(dòng)終端10的位置在某個(gè)地區(qū)內(nèi)、例如在加利福尼 亞州奧克蘭市室外，則算法切換器可以基于這一位置(即加利福尼亞州奧克蘭市室外)確 定可視搜索能力分配給這一位置并且啟用搜索模塊的可視搜索算法61。就這一點(diǎn)而言，搜 索模塊68能夠搜索與照相機(jī)模塊指向或者捕獲的圖像關(guān)聯(lián)的信息。例如，如果照相機(jī)模塊 36捕獲圖像或者指向產(chǎn)品，比如由SONYTM制造的立體聲，則這一個(gè)圖像可以經(jīng)由媒體內(nèi)容 輸入67提供給可視搜索服務(wù)器51 ，該服務(wù)器可以標(biāo)識(shí)與立體聲的圖像關(guān)聯(lián)的信息(即可以 在列表中提供的候選)，如例如通向SONY 的web站點(diǎn)的鏈接，該web站點(diǎn)顯示發(fā)送到移動(dòng) 終端的搜索模塊用于在顯示器28上顯示的立體聲、價(jià)格、產(chǎn)品規(guī)格特征等(步驟604)。應(yīng) 當(dāng)指出與存儲(chǔ)于可視搜索服務(wù)器51中的與照相機(jī)模塊36指向和/或捕獲的媒體內(nèi)容(例 如圖像數(shù)據(jù)、視頻數(shù)據(jù))或者POI關(guān)聯(lián)的任何數(shù)據(jù)可以在調(diào)用可視搜索算法61時(shí)提供給移 動(dòng)終端的搜索模塊68并且顯示于顯示器28上?？梢曀阉鞣?wù)器68也可以經(jīng)由POI數(shù)據(jù) 庫(kù)74取回向搜索模塊68提供的信息。 如果算法切換器65確定媒體內(nèi)容67和/或移動(dòng)終端的位置對(duì)應(yīng)于另一地理區(qū) 域，例如加利福尼亞州洛杉磯市，則算法切換器可以確定移動(dòng)終端將例如在位于加利福尼 亞州洛杉磯市的商店(例如書(shū)店、雜貨店、百貨店等)中例如獲取由基于代碼的算法63提 供的基于代碼的搜索。就這一點(diǎn)而言，搜索模塊68能夠在照相機(jī)模塊36指向一個(gè)或者多 個(gè)1D和/或2D標(biāo)記如一個(gè)或者多個(gè)條形碼、Semacode、 Shotcode、 QR碼、數(shù)據(jù)矩陣碼和任 何其它適當(dāng)?shù)幕诖a的數(shù)據(jù)中的任何數(shù)據(jù)時(shí)檢測(cè)、讀取或者掃描該數(shù)據(jù)。當(dāng)照相機(jī)模塊 36指向基于代碼的數(shù)據(jù)如1D和/或2D條形碼并且搜索模塊68檢測(cè)、讀取或者掃描1D和/或2D條形碼時(shí)，與條形碼關(guān)聯(lián)、在條形碼中標(biāo)記或者嵌入的數(shù)據(jù)(比如針對(duì)產(chǎn)品的URL、 價(jià)格、比較購(gòu)物信息等)可以提供給可視搜索服務(wù)器54，該服務(wù)器可以對(duì)這一信息進(jìn)行解 碼以及從存儲(chǔ)器93和/或POI數(shù)據(jù)庫(kù)74取回這一信息并且將這一信息發(fā)送到移動(dòng)終端的 搜索模塊68用于在顯示器28上顯示。應(yīng)當(dāng)指出在基于代碼的數(shù)據(jù)的標(biāo)記或者條形碼中關(guān) 聯(lián)的任何信息可以提供給可視搜索服務(wù)器、由可視搜索服務(wù)器取回并且提供給搜索模塊68 用于在顯示器28上顯示。 作為另一例子，算法切換器65也可以確定媒體內(nèi)容67和/或移動(dòng)終端的位置在 地理區(qū)域或者地區(qū)的特定區(qū)域內(nèi)，例如在給定地理地區(qū)的半徑內(nèi)的方形、球形、矩形或者其 它基于鄰近的形狀內(nèi)。例如，算法切換器65可以確定當(dāng)移動(dòng)終端和/或媒體內(nèi)容的位置 在洛杉磯市區(qū)(與郊外和市郊成對(duì)比)內(nèi)時(shí)，移動(dòng)終端可以例如獲得由0CR算法62提供的 OCR搜索能力；而當(dāng)確定媒體內(nèi)容和/或移動(dòng)終端的位置位于洛杉磯市區(qū)的郊外或者其市 郊區(qū)域中時(shí)，移動(dòng)終端可以例如獲取由基于代碼的算法63提供的基于代碼的搜索。例如， 當(dāng)移動(dòng)終端例如在位于洛杉磯市區(qū)的郊外中的具有基于代碼的數(shù)據(jù)的商店或者其它物理 實(shí)體(例如書(shū)店、雜貨店或者百貨店等)內(nèi)時(shí)，移動(dòng)終端10可以獲得由0CR算法62提供的 基于代碼的搜索能力。另一方面，當(dāng)移動(dòng)終端或者媒體內(nèi)容例如在洛杉磯(與郊外和市郊 成對(duì)比)內(nèi)時(shí)并且當(dāng)照相機(jī)模塊指向?qū)ο笕缋缃值婪?hào)上的文本數(shù)據(jù)時(shí)，搜索模塊使用 OCR來(lái)檢測(cè)、讀取或者掃描街道符號(hào)上(或者任何目標(biāo)對(duì)象)上的文本數(shù)據(jù)，并且這一OCR 信息提供給可視搜索服務(wù)器54，該服務(wù)器可以取回(經(jīng)由地圖服務(wù)器96)關(guān)聯(lián)數(shù)據(jù)，如例如 街道符號(hào)附近的地圖數(shù)據(jù)和/或方向。 此外，算法切換器65可以確定當(dāng)移動(dòng)終端和/或媒體內(nèi)容的位置在除了用戶的 祖國(guó)以外的國(guó)度(例如法國(guó))時(shí)，移動(dòng)終端可以例如獲得由OCR算法提供的OCR搜索能力。 就這一點(diǎn)而言，對(duì)對(duì)象上的文本數(shù)據(jù)(例如法國(guó)街道符號(hào)具有法語(yǔ)書(shū)寫(xiě)的文本)的OCR搜 索可以翻譯成一個(gè)或者多個(gè)語(yǔ)言，如例如英語(yǔ)(或者用戶的祖國(guó)中主流使用的語(yǔ)言(例如 當(dāng)用戶的祖國(guó)為英國(guó)時(shí)為英語(yǔ)))。這一OCR信息(例如法語(yǔ)書(shū)寫(xiě)的文本數(shù)據(jù))提供給可視 搜索服務(wù)器54，該服務(wù)器可以取回關(guān)聯(lián)數(shù)據(jù)，如例如法語(yǔ)文本數(shù)據(jù)到英語(yǔ)的翻譯。就這一點(diǎn) 而言，OCR算法62可以有利于國(guó)外旅行的旅游者。應(yīng)當(dāng)指出上述情形代表一個(gè)例子并且當(dāng) 調(diào)用OCR算法62時(shí)與掃描模塊檢測(cè)、讀取或者掃描的OCR數(shù)據(jù)對(duì)應(yīng)的任何適當(dāng)數(shù)據(jù)可以提 供給可視搜索服務(wù)器54、由可視搜索服務(wù)器54取回和發(fā)送到搜索模塊用于在顯示器28上 顯示。 此外，算法切換器65也可以分配默認(rèn)識(shí)別算法/引擎，該算法/引擎將用于被標(biāo) 識(shí)為在限定地區(qū)以外的位置、即在算法交換器的規(guī)則中沒(méi)有指定的地區(qū)?？梢栽谒阉髂K 的存儲(chǔ)器(未示出)內(nèi)限定地區(qū)。例如，當(dāng)算法切換器經(jīng)由元信息輸入69接收媒體內(nèi)容67 和/或移動(dòng)終端的位置在加利福尼亞州以外(即在限定地區(qū)以外的位置)這一指示時(shí)，算 法切換器65可以確定移動(dòng)終端10例如經(jīng)由可視搜索算法61獲得可視搜索能力。換而言 之，當(dāng)算法切換器確定移動(dòng)終端10或者媒體內(nèi)容67的位置在限定地區(qū)以外時(shí)，算法切換器 可以選擇識(shí)別引擎如可視搜索算法61或者OCR算法62或者基于代碼的算法63作為將由 移動(dòng)終端調(diào)用的默認(rèn)搜索應(yīng)用。 現(xiàn)在參照?qǐng)D7和圖8，提供了用于利用規(guī)則和元信息將可視搜索(例如移動(dòng)可視搜 索)與基于代碼的搜索和OCR搜索集成的搜索模塊的一個(gè)示例性實(shí)施例和操作流程圖。在搜索模塊78中，算法切換器75可以經(jīng)由媒體內(nèi)容輸入從照相機(jī)模塊或者移動(dòng)終端10的任 何其它適當(dāng)設(shè)備接收或者具有媒體內(nèi)容(步驟800)。此外，在搜索模塊78中，算法切換器 65可以由規(guī)則集限定，這些規(guī)則確定將調(diào)用或者啟用哪個(gè)識(shí)別引擎、即可視搜索算法61、 OCR算法62和基于代碼的算法63。就這一點(diǎn)而言，規(guī)則集可以由取得元信息作為輸入的算 法切換器75應(yīng)用。規(guī)則集中的這些規(guī)則可以經(jīng)由元信息輸入49由運(yùn)營(yíng)商如網(wǎng)絡(luò)運(yùn)營(yíng)商輸 入到算法切換器75中或者可以由使用移動(dòng)終端的小鍵盤(pán)30的用戶輸入(步驟801)。另 外，規(guī)則可以但是未必采用邏輯函數(shù)或者軟件指令的形式。如上所述，在算法切換器75中 限定的規(guī)則可以按照由運(yùn)營(yíng)商或者移動(dòng)終端的用戶輸入的元信息來(lái)限定，并且元信息的例 子包括但不限于地理位置、當(dāng)日時(shí)間、季節(jié)、天氣和移動(dòng)終端用戶的特性、產(chǎn)品段或者與現(xiàn) 實(shí)世界屬性或者特征關(guān)聯(lián)的任何其它適當(dāng)數(shù)據(jù)。 基于規(guī)則集中的元信息，算法切換器/規(guī)則引擎75可以計(jì)算如下輸出，該輸出確 定可視搜索算法61、 OCR算法62和基于代碼的算法63之中的哪個(gè)算法應(yīng)當(dāng)由搜索模塊使 用(步驟802)?；谒惴ㄇ袚Q器75的輸出，執(zhí)行對(duì)應(yīng)算法(步驟803)，并且創(chuàng)建與照相機(jī) 模塊36指向或者捕獲的媒體內(nèi)容有關(guān)的候選列表。例如，如果規(guī)則集中的元信息例如由天 氣信息構(gòu)成，則算法切換器65可以確定應(yīng)當(dāng)應(yīng)用移動(dòng)可視搜索算法61。這樣，當(dāng)移動(dòng)終端 的用戶將照相機(jī)例如指向天空時(shí)，與天空的信息(例如天空的圖像)關(guān)聯(lián)的信息提供給服 務(wù)器如可視搜索服務(wù)器，54，該服務(wù)器確定是否有數(shù)據(jù)匹配于與天空關(guān)聯(lián)的信息，而如果是 這樣，則可視搜索服務(wù)器54向搜索模塊68提供將在顯示器26上顯示的候選列表(步驟 805;見(jiàn)下文對(duì)可選步驟804的討論)。這些候選可以包括針對(duì)用戶周?chē)鷧^(qū)域的天氣有關(guān)信 息，如例如通向THE WEATHER CHANNEL web站點(diǎn)的URL或者通向ACCWEATHER web站點(diǎn)的 URL。規(guī)則集中的元信息可以鏈接到可視搜索算法61、 OCR算法62和基于代碼的算法中的 至少一個(gè)算法。作為另一例子，如果元信息由規(guī)則集中的地理位置數(shù)據(jù)構(gòu)成，則運(yùn)營(yíng)商或者 移動(dòng)終端的用戶可以將這一地理位置數(shù)據(jù)鏈接到基于代碼的搜索算法。這樣，當(dāng)移動(dòng)終端 和/或媒體內(nèi)容67的位置例如由GPS模塊70確定并且提供給算法切換器75 (見(jiàn)圖1)時(shí)， 算法切換器75可以確定應(yīng)用可視搜索算法61、 OCR算法62或者基于代碼的算法63之一。 在本例中假設(shè)算法切換器75應(yīng)用基于代碼的算法63。這樣，如果位置信息例如標(biāo)識(shí)超市， 則規(guī)則可以指定當(dāng)?shù)乩砦恢脭?shù)據(jù)涉及超市時(shí)算法切換器可以啟用基于代碼的算法65，該算 法允許移動(dòng)終端10的照相機(jī)模塊36檢測(cè)、讀取或者掃描ID和2D條形碼等并且從可視搜 索服務(wù)器54取回關(guān)聯(lián)數(shù)據(jù)，比如價(jià)格信息、URL、比較購(gòu)物信息和其它適當(dāng)信息。
如果規(guī)則集中的元信息例如由產(chǎn)品段構(gòu)成，則這一元信息可以鏈接到OCR算法 62(或者可視搜索算法或者基于代碼的算法)。就這一點(diǎn)而言，當(dāng)用戶將照相機(jī)模塊指向 產(chǎn)品如汽車(chē)(或者與用戶有關(guān)的任何其它產(chǎn)品(例如POI))時(shí)，算法切換器65可以確定應(yīng) 當(dāng)調(diào)用OCR算法62。這樣，搜索模塊68可以檢測(cè)、讀取或者掃描所指向的汽車(chē)的型號(hào)和/ 或機(jī)型并且由可視搜索服務(wù)器54提供候選列表。例如，候選可以由汽車(chē)銷(xiāo)商、由H0NDA 、 FORD 等制造的型號(hào)或者機(jī)型構(gòu)成。 應(yīng)當(dāng)指出在執(zhí)行基于代碼的算法63 (如例如ID和2D圖像標(biāo)記算法)或者OCR算 法62的情形中，可以生成與照相機(jī)模塊36指向的和/或照相機(jī)模塊檢測(cè)、讀取或者掃描 的媒體內(nèi)容67對(duì)應(yīng)的一個(gè)或者多個(gè)候選。例如，當(dāng)調(diào)用基于代碼的算法并且照相機(jī)模塊 36指向條形碼或者捕獲條形碼的圖像時(shí)，與條形碼關(guān)聯(lián)的對(duì)應(yīng)數(shù)據(jù)可以發(fā)送到可視搜索服
18務(wù)器，該服務(wù)器可以向搜索模塊提供單個(gè)候選，如例如與條形碼附著于其中的產(chǎn)品有關(guān)的 URL，或者可視搜索輻射器可以提供諸如價(jià)格信息等單個(gè)候選。然而，根據(jù)本發(fā)明的示例實(shí) 施例，當(dāng)執(zhí)行OCR算法或者基于代碼的算法時(shí)，可以在照相機(jī)模塊指向或者檢測(cè)、掃描或者 讀取OCR數(shù)據(jù)或者基于代碼的數(shù)據(jù)的圖像時(shí)生成多個(gè)候選。例如，1D/2D條形碼可以標(biāo)記有 價(jià)格信息、序列號(hào)、URL、與涉及目標(biāo)產(chǎn)品(即用照相機(jī)模塊指向的產(chǎn)品)與運(yùn)送產(chǎn)品的附近 商店關(guān)聯(lián)的信息等，并且當(dāng)這一信息由搜索模塊發(fā)送到可視搜索服務(wù)器時(shí)，可視搜索服務(wù) 器或者移動(dòng)終端的算法切換器可以確定用于經(jīng)由顯示器28顯示的相關(guān)或者關(guān)聯(lián)數(shù)據(jù)。
基于在算法切換器65中限定的規(guī)則集，算法切換器65也可以基于移動(dòng)終端或者 媒體內(nèi)容67 (例如照相機(jī)模塊36指向的目標(biāo)對(duì)象或者捕獲的對(duì)象圖像)來(lái)確定應(yīng)用哪個(gè) 算法。也就是說(shuō)，可以限定算法切換器65中的規(guī)則集使得在一個(gè)位置選擇給定的搜索算法 (例如可視搜索算法、OCR算法或者基于代碼的算法之一)而在另一位置選擇不同的搜索算 法。例如，可以限定算法切換器65的規(guī)則使得在書(shū)店(即給定的位置)中將選擇基于代碼 的算法使得照相機(jī)模塊能夠指向1D/2D條形碼等(例如書(shū)籍上)而在例如書(shū)店以外的另一 位置(即不同位置)在算法切換器中限定的規(guī)則可以調(diào)用和啟用可視搜索算法61，由此使 照相機(jī)模塊能夠指向目標(biāo)對(duì)象(即POI)或者捕獲目標(biāo)對(duì)象的圖像并且將涉及目標(biāo)對(duì)象的 信息發(fā)送到可視搜索服務(wù)器，該服務(wù)器可以將對(duì)應(yīng)信息提供給移動(dòng)終端的搜索模塊。就這 一點(diǎn)而言，搜索模塊能夠在各種搜索算法之間、即在可視搜索算法61、0CR算法62與基于代 碼的算法63之間切換。 在上文討論的示例性實(shí)施例中，在算法切換器75中輸入和實(shí)施的元信息可以是 可視搜索系統(tǒng)中可用的元信息子集。例如，盡管元信息可以包括地理位置、當(dāng)日時(shí)間、季節(jié)、 天氣、移動(dòng)終端用戶的特性、產(chǎn)品段等，但是算法切換器可以僅例如基于地理位置和產(chǎn)品 段、即可視搜索系統(tǒng)上可用的元信息子集。算法切換器75能夠連接或者訪問(wèn)移動(dòng)終端上或 者一個(gè)或者多個(gè)服務(wù)器或者數(shù)據(jù)庫(kù)(如例如可視搜索服務(wù)器54和可視搜索服務(wù)器51)上 的規(guī)則集?？梢栽谝苿?dòng)終端的存儲(chǔ)器中維護(hù)并且從可視搜索服務(wù)器或者可視搜索數(shù)據(jù)庫(kù)51 空中更新規(guī)則。 在一個(gè)替代示例性實(shí)施例中，提供可選第二遍可視搜索算法64。這一示例實(shí)施例 解決其中已經(jīng)通過(guò)基于代碼的圖像標(biāo)記(例如1D/2D圖像標(biāo)記或者條形碼)或OCR數(shù)據(jù)生 成一個(gè)或者多個(gè)候選的情形。就這一點(diǎn)而言，可以在算法切換器75啟用第二遍可視搜索算 法64時(shí)檢測(cè)、讀取或者掃描附加標(biāo)記。第二遍可視搜索算法64可以可選地與任何其它算 法如可視搜索算法、OCR算法62和基于代碼的算法63并行運(yùn)行、在該其它算法之前或者之 后運(yùn)行。作為第二遍可視搜索算法64的應(yīng)用例子，考慮其中照相機(jī)模塊指向產(chǎn)品(例如媒 體內(nèi)容)可攜式攝像機(jī)或者捕獲該產(chǎn)品的圖像的情形。可以限定在算法切換器75中限定 的規(guī)則使得產(chǎn)品信息調(diào)用基于代碼的算法63，該算法實(shí)現(xiàn)搜索模塊78的基于代碼的搜索， 由此使照相機(jī)模塊能夠檢測(cè)、讀取或者掃描一個(gè)或者多個(gè)條形碼(比如可攜式攝像機(jī)上的 條形碼)從而使移動(dòng)終端能夠?qū)⑴c條形碼有關(guān)的信息發(fā)送到可視搜索服務(wù)器54。可視搜索 服務(wù)器可以向移動(dòng)終端發(fā)送候選，比如與具有涉及可攜式攝像機(jī)的信息的web頁(yè)面有關(guān)的 URL。此外，可以限定算法切換器75中的規(guī)則使得在運(yùn)行基于代碼的算法63之后第二遍可 視搜索算法64由算法切換器75啟用(或者代之以在基于代碼的算法63之前或者與基于 代碼的算法63并行運(yùn)行第二通信可視搜索算法64)，該切換器允許搜索模塊78利用一個(gè)或
19者多個(gè)可視搜索能力(步驟804)。就這一點(diǎn)而言，可視搜索服務(wù)器54可以使用與可攜式攝 像機(jī)的檢測(cè)或者捕獲圖像有關(guān)的信息以發(fā)現(xiàn)它的POI數(shù)據(jù)庫(kù)74中的對(duì)應(yīng)或者有關(guān)信息并 且可以向搜索模塊發(fā)送涉及可攜式攝像機(jī)(例如媒體內(nèi)容67)的一個(gè)或者多個(gè)其它候選用 于在顯示器28上顯示(步驟805)。例如，可視搜索服務(wù)器54可以向搜索模塊發(fā)送與銷(xiāo)售 可攜式攝像機(jī)的附近商店有關(guān)的候選列表、涉及可攜式攝像機(jī)的價(jià)格信息、可攜式攝像機(jī) 的規(guī)格等。 如上所述，第二遍可視搜索服務(wù)器64在基于代碼的算法或者OCR算法提供單個(gè)候 選時(shí)提供獲得附加候選并且由此獲得涉及目標(biāo)對(duì)象(即POI)的附加信息的方式。應(yīng)當(dāng)指 出以基于代碼的算法63或者OCR算法62為基礎(chǔ)獲得的候選結(jié)果在運(yùn)用時(shí)可以具有較基于 第二遍可視搜索算法64獲得的一個(gè)或者多個(gè)候選而言的優(yōu)先級(jí)。這樣，搜索模塊68可以 在第一候選列表(具有最高優(yōu)先級(jí))中顯示從基于代碼的算法63或者0CR算法獲得的一 個(gè)或者多個(gè)候選而在第二候選列表(具有低于第一候選列表的優(yōu)先級(jí))中顯示作為第二遍 可視搜索算法64的結(jié)果而獲得的一個(gè)或者多個(gè)候選。取而代之，基于第二遍可視搜索算法 64獲得的結(jié)果或者一個(gè)或者多個(gè)候選可以與以基于代碼的算法63或者OCR算法62為基礎(chǔ) 獲得的結(jié)果或者一個(gè)或者多個(gè)候選組合以形成然后可以由搜索模塊輸出到顯示器28的單 個(gè)候選列表，該顯示器可以按任何限定順序或者優(yōu)先級(jí)在單個(gè)列表中顯示所有候選。例如， 可以用比從第二遍可視搜索算法64獲得的候選更高的優(yōu)先級(jí)(在單個(gè)候選列表中)顯示 從基于代碼的算法63或者OCR算法62獲得的候選或者相反。 現(xiàn)在參照?qǐng)D9和圖IO，提供用于利用圖像檢測(cè)將可視搜索(例如移動(dòng)可視搜索) 與基于代碼的搜索和OCR搜索集成的搜索模塊的另一示例性實(shí)施例和操作流程圖。在這一 示例性實(shí)施例中，搜索模塊88包括媒體內(nèi)容輸入67、檢測(cè)器85、可視搜索算法61、0CR算法 62和基于代碼的算法63。媒體內(nèi)容輸入67可以是能夠從移動(dòng)終端10的照相機(jī)模塊36、 GPS模塊或者任何其它適當(dāng)單元接收媒體內(nèi)容以及從可視搜索服務(wù)器54或者任何其它服 務(wù)器或者數(shù)據(jù)庫(kù)接收媒體內(nèi)容的硬件和/或軟件的任何設(shè)備或者裝置?？梢曀阉魉惴?1、 0CR算法62和基于代碼的算法63可以實(shí)施于分別能夠進(jìn)行可視搜索、0CR搜索和基于代碼 的搜索的硬件和/或軟件(由處理器如例如控制器20執(zhí)行)的任何設(shè)備或者裝置中并且 由該設(shè)備或者裝置體現(xiàn)。檢測(cè)器85可以是能夠確定照相機(jī)模塊36指向的或者照相機(jī)模塊 36將其作為圖像來(lái)捕獲的媒體內(nèi)容類(lèi)型(例如圖像數(shù)據(jù)和/或視頻數(shù)據(jù))的硬件和/或 軟件(由處理器如控制器20執(zhí)行)的任何設(shè)備或者裝置。具體而言，檢測(cè)器85能夠確定 媒體內(nèi)容是否由基于代碼的數(shù)據(jù)和/或OCR數(shù)據(jù)等構(gòu)成。檢測(cè)器能夠檢測(cè)、讀取或者掃描 媒體內(nèi)容并且例如基于計(jì)算來(lái)確定媒體內(nèi)容是基于代碼的標(biāo)記(條形碼)和/或0CR數(shù)據(jù) (例如文本)(步驟900)。此外，即使當(dāng)檢測(cè)器85尚未完全讀取媒體內(nèi)容(例如具有條形 碼或者1D/2D標(biāo)記的圖像)中的數(shù)據(jù)時(shí)，檢測(cè)器仍然能夠確定媒體內(nèi)容是否由基于代碼的 數(shù)據(jù)和/或OCR數(shù)據(jù)構(gòu)成。就這一點(diǎn)而言，檢測(cè)器85能夠評(píng)估照相機(jī)模塊指向的媒體內(nèi)容 或者照相機(jī)模塊捕獲的圖像并且基于對(duì)媒體內(nèi)容的檢測(cè)來(lái)確定(或者估計(jì))媒體內(nèi)容是否 (例如圖像)是否看似基于代碼的數(shù)據(jù)和/或文本。在其中檢測(cè)器85確定媒體內(nèi)容看似媒 體內(nèi)容由文本數(shù)據(jù)構(gòu)成的情形中，檢測(cè)器85能夠以與上文討論的方式相似的方式調(diào)用OCR 算法62，該算法使搜索模塊88能夠進(jìn)行OCR搜索并且從可視搜索服務(wù)器54接收候選列表 (步驟901)。此外，如上所述，檢測(cè)器85能夠確定(或者估計(jì))媒體內(nèi)容是否看似基于代碼的數(shù)據(jù)，例如檢測(cè)器可以確定媒體內(nèi)容具有表明一個(gè)或者多個(gè)1D/2D條形碼的一個(gè)或者 多個(gè)條形(而不讀取媒體內(nèi)容，例如圖像中的條形碼)并且以與上文討論的方式相似的方 式啟用基于代碼的搜索算法63使得搜索模塊88能夠進(jìn)行基于代碼的搜索并且從可視搜索 服務(wù)器接收候選列表(步驟902)。如果檢測(cè)器確定媒體內(nèi)容67沒(méi)有看似基于代碼的數(shù)據(jù) (例如條形碼)或者沒(méi)有看似OCR數(shù)據(jù)(例如文本)，則檢測(cè)器85以與如上文討論的方式 相似的方式調(diào)用可視搜索算法61，該算法使搜索模塊88進(jìn)行可視搜索并且從可視搜索服 務(wù)器54接收候選列表(步驟903)。 檢測(cè)器85進(jìn)行的基于代碼的數(shù)據(jù)檢測(cè)可以基于圖像編碼系統(tǒng)(例如一個(gè)或者多 個(gè)1D/2D圖像編碼系統(tǒng))的性質(zhì)、即設(shè)計(jì)這些系統(tǒng)(例如一個(gè)或者多個(gè)1D/2D圖像編碼系 統(tǒng))中的各系統(tǒng)用于可靠識(shí)別。檢測(cè)器85可以將標(biāo)記(例如條形碼)位置用于信息從標(biāo) 記圖像中的可靠提取。即使在其中有大量定向、照明變化和隨機(jī)噪聲的情形中仍然可以對(duì) 多數(shù)標(biāo)記圖像準(zhǔn)確地定位。例如， 一個(gè)或者多個(gè)QR碼具有用于可靠定位和對(duì)準(zhǔn)的三個(gè)錨定 記號(hào)。檢測(cè)器85能夠在媒體內(nèi)容(例如圖像/視頻)中對(duì)這些錨定記號(hào)進(jìn)行定位并且基 于錨定標(biāo)記的位置來(lái)確定媒體內(nèi)容對(duì)應(yīng)于基于代碼的數(shù)據(jù)，比如基于代碼的標(biāo)記或者條形 碼。 一旦檢測(cè)器85檢測(cè)到簽名錨定記號(hào)，檢測(cè)器將調(diào)用基于代碼的算法63，該算法能夠確 定、驗(yàn)證或者確認(rèn)媒體內(nèi)容確實(shí)是諸如標(biāo)記或者條形碼等基于代碼的數(shù)據(jù)。搜索模塊可以 將基于代碼的數(shù)據(jù)(和/或與基于代碼的數(shù)據(jù)關(guān)聯(lián)的數(shù)據(jù))發(fā)送到可視搜索服務(wù)器54，該 服務(wù)器匹配對(duì)應(yīng)數(shù)據(jù)(例如價(jià)格信息、產(chǎn)品的URL、產(chǎn)品規(guī)格等)與基于代碼的數(shù)據(jù)并且將 這一對(duì)應(yīng)數(shù)據(jù)發(fā)送到搜索模塊88以便移動(dòng)終端10的顯示器28上顯示。參照對(duì)OCR數(shù)據(jù) 等檢測(cè)，檢測(cè)算法85能夠基于對(duì)媒體內(nèi)容(例如圖像和/或視頻數(shù)據(jù))的高頻空間區(qū)域的 評(píng)估和提取來(lái)確定媒體內(nèi)容對(duì)應(yīng)于OCR數(shù)據(jù)。例如可以通過(guò)將紋理濾波器應(yīng)用于圖像區(qū)域 并且基于來(lái)自各區(qū)域的響應(yīng)對(duì)區(qū)域進(jìn)行分類(lèi)以發(fā)現(xiàn)包含文本和字符的高頻區(qū)域來(lái)完成對(duì) 高頻空間區(qū)域的提取。0CR算法62能夠確認(rèn)或者驗(yàn)證媒體內(nèi)容由文本數(shù)據(jù)構(gòu)成。
搜索模塊能夠通過(guò)使用搜索模塊88的檢測(cè)器85在可視搜索算法61、0CR算法62 與基于代碼的算法63之間迅速和高效地切換。例如，當(dāng)照相機(jī)模塊指向看似基于代碼的數(shù) 據(jù)的對(duì)象(即媒體內(nèi)容)或者捕獲該對(duì)象的圖像時(shí)，檢測(cè)器可以調(diào)用基于代碼的算法63，而 當(dāng)時(shí)照相機(jī)模塊隨后指向或者捕獲看似文本(例如書(shū)籍或者街道符號(hào)上的文本)的另一對(duì) 象(即媒體內(nèi)容)的圖像時(shí)，檢測(cè)器85能夠從基于代碼的算法63切換到0CR算法62。就 這一點(diǎn)而言，搜索模塊88不必同時(shí)運(yùn)行或者執(zhí)行算法61、62和63，這高效地利用處理速度 (例如控制器20的處理速度)并且節(jié)約移動(dòng)終端10上的存儲(chǔ)器空間。
現(xiàn)在參照?qǐng)D11和圖12，圖示了使用可視化技術(shù)將可視搜索(例如移動(dòng)可視搜索) 與基于代碼的數(shù)據(jù)(例如1D/2D圖像標(biāo)記或者條形碼)和OCR數(shù)據(jù)集成的搜索模塊的一個(gè) 示例性實(shí)施例和涉及該搜索模塊的操作的流程圖。圖11的搜索模塊可以適應(yīng)其中同時(shí)在 對(duì)象(即POI)上使用多類(lèi)標(biāo)記的情形。例如，盡管0R碼和2D標(biāo)記(例如條形碼)可以存 在于相同對(duì)象上，但是這一對(duì)象也可以包含可視搜索編輯(即與目標(biāo)對(duì)象如P0I關(guān)聯(lián)的任 何數(shù)據(jù)，例如飯店、咖啡店等的URL)以便提供可能在QR碼或者2D標(biāo)記中沒(méi)有包括的附加 信息。搜索模塊98能夠使可視化引擎能夠允許來(lái)自基于代碼的數(shù)據(jù)(即例如上述QR碼和 2D標(biāo)記)、OCR數(shù)據(jù)和可視搜索數(shù)據(jù)(即例如上述可視搜索標(biāo)記)的信息都顯示于移動(dòng)終 端的顯示器28上。
搜索模塊98包括媒體內(nèi)容輸入67和元信息輸入81、可視搜索算法83、可視引擎 87、檢測(cè)到的0CR/基于代碼的輸出89、在可視搜索數(shù)據(jù)中嵌入的0CR/基于代碼的數(shù)據(jù)輸出 101以及以上下文為基礎(chǔ)的0CR/基于代碼的數(shù)據(jù)輸出103。媒體內(nèi)容輸入67可以是能夠接 收(和輸出)來(lái)自移動(dòng)終端的照相機(jī)模塊36、GPS模塊70或者任何其它單元的媒體內(nèi)容以 及從可視搜索服務(wù)器54或者任何其它服務(wù)器或者數(shù)據(jù)庫(kù)發(fā)送的媒體內(nèi)容的硬件和/或軟 件(由處理器如控制器20執(zhí)行)的任何裝置或者設(shè)備。媒體信息輸入81可以是能夠接收 (或者輸出)元信息(可以由移動(dòng)設(shè)備10的用戶經(jīng)由小鍵盤(pán)30輸入或者從服務(wù)器或者數(shù) 據(jù)庫(kù)如例如虛擬搜索服務(wù)器54接收該元信息)和可以由GPS模塊70提供或者從服務(wù)器或 者數(shù)據(jù)庫(kù)如可視搜索服務(wù)器54接收的位置信息的硬件和/或軟件(由處理器如控制器20 執(zhí)行)的任何設(shè)備或者裝置。另外，可視搜索算法可以由能夠進(jìn)行可視搜索如移動(dòng)可視搜 索的硬件和/或軟件(由處理器如控制器20執(zhí)行)的任何設(shè)備或者裝置實(shí)施和體現(xiàn)?？?視化引擎87可以是能夠從媒體內(nèi)容輸入、元信息輸入和可視搜索算法接收輸入的硬件和/ 或軟件(由處理器如控制器20執(zhí)行)的硬件和/或軟件(由處理器如控制器20或者位于 可視化引擎內(nèi)部的協(xié)同處理器執(zhí)行)的任何設(shè)備或者裝置?？梢暬?7也能夠利用來(lái) 自媒體內(nèi)容輸入、元信息輸入和可視搜索算法的接收輸入以控制向檢測(cè)到的OCR/基于代 碼的輸出89、在可視搜索數(shù)據(jù)中嵌入的0CR/基于代碼的數(shù)據(jù)輸出101以及以上下文為基 礎(chǔ)的OCR/基于代碼的數(shù)據(jù)輸出103輸出的數(shù)據(jù)。檢測(cè)到的OCR/基于代碼的輸出89可以 是能夠從可視化引擎87接收可以發(fā)送到服務(wù)器如可視搜索服務(wù)器54的檢測(cè)到的OCR數(shù)據(jù) 和/或基于代碼的數(shù)據(jù)的硬件和軟件(由處理器如控制器20執(zhí)行)的任何設(shè)備或者裝置。 此外，在可視化搜索數(shù)據(jù)中嵌入的OCR/基于代碼的數(shù)據(jù)輸出IOI可以是能夠從可視化引擎 87接收可以發(fā)送到服務(wù)器如可視搜索服務(wù)器54的在可視搜索數(shù)據(jù)中嵌入的OCR數(shù)據(jù)和/ 或基于代碼的數(shù)據(jù)的硬件和軟件(由處理器如例如控制器20執(zhí)行)的任何設(shè)備或者裝置。 另外，以上下文為基礎(chǔ)的OCR/基于代碼的數(shù)據(jù)輸出103可以是能夠從可視化引擎87接收 可以發(fā)送到服務(wù)器如可視搜索服務(wù)器54的以上下文(或者元信息)為基礎(chǔ)的OCR數(shù)據(jù)和 /或基于代碼的數(shù)據(jù)的硬件和軟件(由處理器如控制器20執(zhí)行)的任何設(shè)備或者裝置。
關(guān)于搜索模塊98，當(dāng)照相機(jī)模塊36指向媒體內(nèi)容(例如涉及目標(biāo)對(duì)象即POI的圖 像或者視頻)時(shí)或者當(dāng)捕獲圖像可以與元信息(包括但不限于涉及地理位置、時(shí)間、天氣、 溫度、季節(jié)、產(chǎn)品、客戶段和任何其它相關(guān)信息的數(shù)據(jù))提供給可視化引擎并行地經(jīng)由媒體 內(nèi)容輸入將媒體內(nèi)容提供給可視化引擎時(shí)(步驟1100)。也與媒體內(nèi)容和元信息輸入到可 視化引擎87并行可以將可視搜索算法83輸入到可視化引擎87 (步驟1101)?？梢暬?87可以使用可視搜索引擎83以基于媒體內(nèi)容和元信息來(lái)實(shí)現(xiàn)可視搜索?？梢暬嬉材?夠分別存儲(chǔ)OCR算法62和基于代碼的算法63并且執(zhí)行這些算法以執(zhí)行OCR搜索和基于代 碼的搜索。 如上所述，照相機(jī)模塊指向或者捕獲的媒體內(nèi)容可以包含多類(lèi)標(biāo)記，例如基于代 碼的標(biāo)記、OCR標(biāo)記和可視標(biāo)記?？紤]如下情形，其中媒體內(nèi)容是產(chǎn)品(可視搜索數(shù)據(jù))如 膝上型計(jì)算機(jī)的圖像，并且在圖像中包括與膝上型計(jì)算機(jī)的名稱(chēng)、它的制造商等有關(guān)的文 本數(shù)據(jù)(OCR數(shù)據(jù))以及與膝上型計(jì)算機(jī)有關(guān)的條形碼信息(基于代碼的數(shù)據(jù))。產(chǎn)品的 圖像可以標(biāo)記有、即關(guān)聯(lián)于涉及在本例中為膝上型計(jì)算機(jī)的產(chǎn)品的信息。例如，膝上型計(jì)算 機(jī)的圖像可以鏈接或者標(biāo)記到具有關(guān)于膝上型計(jì)算機(jī)的相關(guān)信息的URL。就這一點(diǎn)而言，
22當(dāng)用戶將照相機(jī)模塊指向膝上型計(jì)算機(jī)或者捕獲膝上型計(jì)算機(jī)的圖像時(shí)，可視搜索服務(wù)器 52例如可以向移動(dòng)終端提供URL。此外，膝上型計(jì)算機(jī)上的文本可以標(biāo)記有信息使得當(dāng)照 相機(jī)模塊指向膝上型計(jì)算機(jī)時(shí)移動(dòng)終端通過(guò)可視搜索服務(wù)器54接收關(guān)聯(lián)信息，如例如膝 上型計(jì)算機(jī)的制造商的URL。類(lèi)似地，膝上型計(jì)算機(jī)上的條形碼可以標(biāo)記有與膝上型計(jì)算機(jī) 關(guān)聯(lián)的諸如等產(chǎn)品信息、價(jià)格等信息，這樣可視搜索服務(wù)器54例如可以向移動(dòng)終端提供這 一產(chǎn)品和價(jià)格信息。移動(dòng)終端的用戶經(jīng)由存儲(chǔ)于移動(dòng)終端10的存儲(chǔ)器中的簡(jiǎn)檔或者網(wǎng)絡(luò) 運(yùn)營(yíng)商(例如蜂窩通信提供商)可以分配元信息，從而基于元信息(即上下文信息)來(lái)調(diào) 用和進(jìn)行可視搜索算法83。此外，當(dāng)可視化引擎87確定可視搜索結(jié)果沒(méi)有包括基于代碼 的數(shù)據(jù)和/或基于OCR的數(shù)據(jù)時(shí)，可視化引擎87能夠基于元信息來(lái)激活存儲(chǔ)于其中的OCR 算法62和/或基于代碼的算法63。在上例中，可以將元信息分配為位置，如例如商店的位 置，在該情況下將調(diào)用可視搜索算法以在商店內(nèi)實(shí)現(xiàn)可視搜索能力。就這一點(diǎn)而言，可以限 定和分配用于調(diào)用可視搜索算法的任何適當(dāng)元信息。例如，可以基于關(guān)聯(lián)或者連接的元信 息(比如當(dāng)日時(shí)間、天氣、地理位置、溫度、產(chǎn)品、客戶段和任何其它信息)來(lái)調(diào)用通過(guò)使用 可視搜索算法來(lái)實(shí)現(xiàn)的可視搜索能力。此外，當(dāng)可視化引擎87在可視搜索算法83生成的 可視搜索結(jié)果中沒(méi)有檢測(cè)到任何OCR和/或基于代碼的數(shù)據(jù)時(shí)，可以將元信息例如分配為 位置信息(例如商店的位置)，在該情況下可視化引擎87將接通和執(zhí)行0CR算法和/或基 于代碼的算法以基于元信息進(jìn)行OCR搜索和基于代碼的搜索(即在本例中在該位置)。
在其中可視化引擎87評(píng)估元信息并且調(diào)用可視搜索算法以基于元信息對(duì)媒體內(nèi) 容(例如圖像)進(jìn)行可視搜索的情形中，可視化引擎可以檢測(cè)對(duì)象中的多個(gè)標(biāo)記組合和類(lèi) 型(步驟1102)。例如，如果可視化引擎87檢測(cè)到對(duì)象(上例中的膝上型計(jì)算機(jī))的0CR 標(biāo)記數(shù)據(jù)(例如文本)和基于代碼的標(biāo)記數(shù)據(jù)(條形碼)，則可視化引擎可以將這一檢測(cè)到 的0CR數(shù)據(jù)(例如膝上型計(jì)算機(jī)的制造商的文本)和基于代碼的數(shù)據(jù)(例如膝上型計(jì)算機(jī) 上的條形碼)輸出到檢測(cè)的0CR/基于代碼的輸出89，該輸出能夠?qū)⑦@一信息發(fā)送到服務(wù) 器，比如可視搜索服務(wù)器54，該服務(wù)器可以匹配關(guān)聯(lián)數(shù)據(jù)與OCR標(biāo)記數(shù)據(jù)和基于代碼的標(biāo) 記數(shù)據(jù)，并且這一關(guān)聯(lián)數(shù)據(jù)(即候選人列表)(例如OCR標(biāo)記數(shù)據(jù)的制造商的URL和基于代 碼的標(biāo)記數(shù)據(jù)的價(jià)格信息)可以提供給移動(dòng)終端用于在顯示器28上顯示(步驟1103)。
此外，用戶可以例如利用可視搜索數(shù)據(jù)庫(kù)51以鏈接與對(duì)象(例如POI)關(guān)聯(lián)的一 個(gè)或者多個(gè)標(biāo)記。如上所述，可視搜索輸入控制器98允許用戶將涉及一個(gè)或者多個(gè)對(duì)象、 P0I、產(chǎn)品等的OCR數(shù)據(jù)和基于代碼的數(shù)據(jù)(例如1D條形碼、2D條形碼、QR碼、Semacode、 Shotcode等)插入和存儲(chǔ)到可視搜索數(shù)據(jù)51中(見(jiàn)圖3和圖4)。例如，用戶(例如企業(yè)所 有者)可以利用用戶輸入接口 91的按鈕或者鍵等以鏈接與對(duì)象(例如膝上型計(jì)算機(jī))關(guān) 聯(lián)的OCR標(biāo)記(例如基于文本的標(biāo)記，如例如與對(duì)象(例如膝上型計(jì)算機(jī))關(guān)聯(lián)的URL的 文本)和基于代碼的標(biāo)記(例如與膝上型計(jì)算機(jī)的價(jià)格信息對(duì)應(yīng)的條形碼)。 一個(gè)或者多 個(gè)OCR標(biāo)記和一個(gè)或者多個(gè)基于代碼的標(biāo)記可以附著到也可以包含一個(gè)或者多個(gè)可視標(biāo) 記(即與涉及對(duì)象的可視搜索關(guān)聯(lián)的標(biāo)記)的對(duì)象(例如膝上型計(jì)算機(jī))。
另外，用戶可以使用用戶輸入接口 91的按鈕或者鍵等來(lái)創(chuàng)建與對(duì)象(例如膝上型 計(jì)算機(jī))關(guān)聯(lián)的一個(gè)或者多個(gè)可視標(biāo)記。例如，用戶可以通過(guò)使用用戶輸入接口 91的按鈕 或者鍵等通過(guò)將一個(gè)或者多個(gè)對(duì)象或者對(duì)象的圖像與關(guān)聯(lián)信息鏈接或者關(guān)聯(lián)來(lái)創(chuàng)建可視 標(biāo)記(例如當(dāng)對(duì)象或者對(duì)象的圖像是膝上型計(jì)算機(jī)時(shí)，關(guān)聯(lián)信息例如可以是涉及競(jìng)爭(zhēng)者膝上型計(jì)算機(jī)的一個(gè)或者多個(gè)URL)。這樣，當(dāng)移動(dòng)終端10的照相機(jī)模塊36指向?qū)ο?例如膝上型計(jì)算機(jī))或者捕獲該對(duì)象的圖像時(shí)，移動(dòng)終端IO可以取回關(guān)聯(lián)于或者鏈接到對(duì)象的信息。OCR標(biāo)記和基于代碼的標(biāo)記可以附著到也鏈接至一個(gè)或者多個(gè)可視標(biāo)記(即與對(duì)象的可視搜索關(guān)聯(lián)的標(biāo)記)的對(duì)象(例如膝上型計(jì)算機(jī))。就這一點(diǎn)而言，OCR標(biāo)記和基于代碼的標(biāo)記可以嵌入于可視搜索結(jié)果中。例如，當(dāng)可視化引擎87接收可視搜索算法83并且對(duì)對(duì)象進(jìn)行可視搜索時(shí)，( 一旦照相機(jī)模塊36指向?qū)ο蠡蛘卟东@對(duì)象的圖像)，可視化引擎87可以接收與對(duì)象關(guān)聯(lián)的數(shù)據(jù)，如例如可以具有一個(gè)或者多個(gè)OCR標(biāo)記和一個(gè)或者多個(gè)基于代碼的標(biāo)記的對(duì)象的一個(gè)或者多個(gè)圖像，并且對(duì)象本身可以鏈接到可視標(biāo)記。以這一方式， 一個(gè)或者多個(gè)OCR標(biāo)記(例如與膝上型計(jì)算機(jī)的URL有關(guān)的文本數(shù)據(jù))和一個(gè)或者多個(gè)基于代碼的標(biāo)記(例如與膝上型計(jì)算機(jī)的價(jià)格信息有關(guān)的條形碼)嵌入于可視搜索結(jié)果(例如對(duì)象如例如膝上型計(jì)算機(jī)的一個(gè)或者多個(gè)圖像)中。 可視化引擎87能夠?qū)⒖梢曀阉鹘Y(jié)果(例如膝上型計(jì)算機(jī)的一個(gè)或者多個(gè)圖像)中嵌入的這一個(gè)或者多個(gè)OCR標(biāo)記和基于代碼的數(shù)據(jù)發(fā)送到在可視搜索數(shù)據(jù)中嵌入的OCR/基于代碼的數(shù)據(jù)輸出101 (步驟1104)。在可視搜索數(shù)據(jù)中嵌入的OCR/基于代碼的數(shù)據(jù)輸出101可以將與一個(gè)或者多個(gè)0CR標(biāo)記、一個(gè)或者多個(gè)基于代碼的標(biāo)記和一個(gè)或者多個(gè)可視標(biāo)記關(guān)聯(lián)的數(shù)據(jù)發(fā)送到服務(wù)器，比如可視搜索服務(wù)器54，該服務(wù)器可以匹配關(guān)聯(lián)數(shù)據(jù)與OCR標(biāo)記數(shù)據(jù)(例如涉及膝上型計(jì)算機(jī)的URL的文本)、基于代碼的數(shù)據(jù)(例如膝上型計(jì)算機(jī)的價(jià)格信息)和可視搜索標(biāo)記數(shù)據(jù)(例如競(jìng)爭(zhēng)者膝上型計(jì)算機(jī)的web頁(yè)面)，并且這一關(guān)聯(lián)數(shù)據(jù)可以提供給移動(dòng)終端用于在顯示器28上顯示(步驟1105)。就這一點(diǎn)而言，OCR數(shù)據(jù)、基于代碼的數(shù)據(jù)和可視搜索數(shù)據(jù)可以并行顯示于顯示器28上。例如，可以在列中顯示與OCR標(biāo)記數(shù)據(jù)(例如涉及膝上型計(jì)算機(jī)的URL)關(guān)聯(lián)的信息，而可以在不同的列中顯示與基于代碼的數(shù)據(jù)(與膝上型計(jì)算機(jī)關(guān)聯(lián)的價(jià)格信息)關(guān)聯(lián)的信息，并且另外可以在不同的列中顯示與可視標(biāo)記數(shù)據(jù)(例如競(jìng)爭(zhēng)者膝上型計(jì)算機(jī)的恥b頁(yè)面)關(guān)聯(lián)的信息。
可選地，如果可視化引擎87在作為執(zhí)行可視搜索算法的結(jié)果而生成的可視搜索結(jié)果中沒(méi)有檢測(cè)到任何標(biāo)記數(shù)據(jù)，則移動(dòng)終端10的用戶可以選擇將用于搜索候選的占位符(步驟1106)。就這一點(diǎn)而言，如果可視化引擎87檢測(cè)到在可視搜索數(shù)據(jù)(例如一個(gè)或者多個(gè)對(duì)象的一個(gè)或者多個(gè)圖像)中有OCR數(shù)據(jù)(例如文本數(shù)據(jù))，則移動(dòng)終端10的用戶經(jīng)由小鍵盤(pán)30可以選擇0CR數(shù)據(jù)(例如文本數(shù)據(jù))作為可視化引擎87可以向在可視搜索數(shù)據(jù)中嵌入的OCR/基于代碼的數(shù)據(jù)輸出101發(fā)送的占位符。取而代之，網(wǎng)絡(luò)運(yùn)營(yíng)商(例如蜂窩通信提供商)可以包括可視化引擎87中的設(shè)置，該引擎自動(dòng)選擇將用作占位符的與產(chǎn)品的描述關(guān)聯(lián)的關(guān)鍵字。例如，如果可視化引擎87在可視搜索結(jié)果中檢測(cè)到書(shū)籍上的文本，例如書(shū)籍的標(biāo)題HarryPotter和Order of The PhoenixTM，用戶(或者可視化引擎87)可以選擇這一文本作為將向在可視搜索數(shù)據(jù)中嵌入的OCR/基于代碼的數(shù)據(jù)輸出101發(fā)送的占位符。在可視搜索數(shù)據(jù)中嵌入的OCR/基于代碼的數(shù)據(jù)輸出101能夠?qū)⒄嘉环?在本例中為書(shū)籍的文本(HarryPotter和Order of The Phoenix ))發(fā)送到服務(wù)器，如例如可視搜索服務(wù)器54，該服務(wù)器確定和標(biāo)識(shí)是否有與可視搜索服務(wù)器中存儲(chǔ)的文本關(guān)聯(lián)的數(shù)據(jù)以及是否有關(guān)聯(lián)數(shù)據(jù)、即候選列表(例如涉及與Harry Potter和Order of The Phoenix 書(shū)籍關(guān)聯(lián)的電影的web站點(diǎn)和/或銷(xiāo)售Harry Potter和Order of The Phoenix "書(shū)籍的書(shū)店的web站點(diǎn)等)?？梢曀阉鞣?wù)器54將這一數(shù)據(jù)(例如這些web站點(diǎn))發(fā)送到移動(dòng)終端10用于在顯示器28上顯示(步驟1107)。 除此之外或者取而代之，如果可視化引擎78在可視搜索結(jié)果中沒(méi)有檢測(cè)到任何標(biāo)記數(shù)據(jù)，如例如0CR標(biāo)記數(shù)據(jù)和/或基于代碼的標(biāo)記數(shù)據(jù)，然而可視化引擎87可以基于元信息(即上下文信息)來(lái)激活和接通存儲(chǔ)于其中的OCR和基于代碼的算法。如果可視化引擎87接收通過(guò)執(zhí)行與一個(gè)或者多個(gè)對(duì)象的一個(gè)或者多個(gè)圖像有關(guān)的可視搜索算法83來(lái)生成的搜索結(jié)果并且可視化引擎87基于分配的元信息來(lái)確定在搜索結(jié)果(即一個(gè)或者多個(gè)圖像)中沒(méi)有0CR和/或基于代碼的標(biāo)記數(shù)據(jù)，然而可視化引擎可以接通0CR和基于代碼的搜索算法并且進(jìn)行OCR和基于代碼的搜索(步驟1108)。 例如，當(dāng)將元信息分配為商店(例如)的位置時(shí)，可視化引擎87可以在GPS模塊70將經(jīng)由原信息輸入81將表明移動(dòng)終端10在商店內(nèi)的位置信息發(fā)送到可視化引擎87時(shí)激活和執(zhí)行OCR和基于代碼的算法并且執(zhí)行OCR和基于代碼的搜索。就這一點(diǎn)而言，可視化引擎在照相機(jī)模塊36指向具有0CR數(shù)據(jù)和/或基于代碼的數(shù)據(jù)的一個(gè)或者多個(gè)對(duì)象或者拍攝該對(duì)象的圖像時(shí)檢測(cè)基于代碼的數(shù)據(jù)(例如包含涉及產(chǎn)品(例如膝上型計(jì)算機(jī))的價(jià)格信息的條形碼)和基于OCR的數(shù)據(jù)(例如文本數(shù)據(jù)，如例如涉及產(chǎn)品(例如膝上型計(jì)算機(jī))的URL)(應(yīng)當(dāng)指出可以將元信息分配為包括但不限于時(shí)間、天氣、地理位置、位置、溫度、產(chǎn)品或者任何其它適當(dāng)信息在內(nèi)的任何適當(dāng)元信息)。這樣，位置是元信息的一個(gè)例子。例如在上例中，可以將元信息分配為比如在上午7點(diǎn)與上午10點(diǎn)之間的當(dāng)日時(shí)間，并且當(dāng)處理器如控制器20經(jīng)由元信息輸入81向可視化引擎87發(fā)送在上午7點(diǎn)到上午10點(diǎn)這幾個(gè)小時(shí)內(nèi)的當(dāng)前時(shí)間時(shí)，可視化引擎可以調(diào)用0CR/基于代碼的數(shù)據(jù)算法。)可視化引擎87能夠?qū)CR和基于代碼的數(shù)據(jù)發(fā)送到以上下文為基礎(chǔ)的OCR/基于代碼的數(shù)據(jù)輸出103 (步驟1109)。以上下文為基礎(chǔ)的OCR/基于代碼的數(shù)據(jù)輸出103可以將0CR和基于代碼的數(shù)據(jù)發(fā)送到服務(wù)器，比如可視搜索服務(wù)器54，該服務(wù)器能夠匹配與OCR數(shù)據(jù)(例如膝上型計(jì)算機(jī)的制造商的URL)和基于代碼的標(biāo)記數(shù)據(jù)(例如涉及膝上型計(jì)算機(jī)的(在條形碼中嵌入)的價(jià)格信息)關(guān)聯(lián)的數(shù)據(jù)，并且這一關(guān)聯(lián)數(shù)據(jù)(即候選列表)可以提供給移動(dòng)終端用于在顯示器28上顯示(步驟1110)。 鑒于前述內(nèi)容，搜索模塊98允許移動(dòng)終端10同時(shí)(并行)顯示與不同類(lèi)型的標(biāo)記有關(guān)的數(shù)據(jù)組合，這與示出來(lái)自從單個(gè)類(lèi)型的一個(gè)或者多個(gè)標(biāo)記(例如基于代碼)的結(jié)果或者候選或者在涉及不同類(lèi)型的標(biāo)記的結(jié)果或者候選之間切換相反。
現(xiàn)在參照?qǐng)D13和圖14，圖示了用于利用用戶的輸入將可視搜索(例如移動(dòng)可視搜索)與基于代碼的搜索和OCR搜索集成的搜索模塊的一個(gè)示例性實(shí)施例。搜索模塊108能夠使用移動(dòng)終端的用戶的輸入以在可視搜索算法111、0CR算法113與基于代碼的算法115之間選擇和/或切換。媒體內(nèi)容輸入67可以是能夠從移動(dòng)終端的照相機(jī)模塊36或者任何其它單元以及從服務(wù)器如可視搜索服務(wù)器54接收媒體內(nèi)容的硬件和/或軟件(由處理器如控制器20執(zhí)行)的任何設(shè)備或者裝置。鍵輸入109可以是能夠使用戶將數(shù)據(jù)輸入到移動(dòng)終端中的硬件和/或軟件的任何設(shè)備或者裝置。鍵輸入可以由在顯示器等上呈現(xiàn)的一個(gè)或者多個(gè)菜單或者一個(gè)或者多個(gè)子菜單、小鍵盤(pán)、在顯示器28上的觸屏等構(gòu)成。在一個(gè)示例性實(shí)施例中，鍵輸入可以是小鍵盤(pán)30。用戶輸入107可以是能夠向移動(dòng)終端的算法切換器105輸出與限定的輸入有關(guān)的數(shù)據(jù)的硬件和/或軟件的任何設(shè)備或者裝置。算法切換器105可以利用一個(gè)或者多個(gè)限定的輸入以在可視搜索算法11或者OCR算法113或者基于
25代碼的算法115之間切換和/或選擇該算法。例如，一個(gè)或者多個(gè)限定的輸入可以鏈接到或者關(guān)聯(lián)于可視搜索算法111或者0CR算法113或者基于代碼的算法115中的一個(gè)或者多個(gè)算法。這樣，當(dāng)算法切換器105接收一個(gè)或者多個(gè)限定的輸入時(shí)，該一個(gè)或者多個(gè)限定的輸入可以觸發(fā)算法切換器105在可視搜索算法111或者0CR算法113或者基于代碼的算法115之間切換和/或選擇這些算法之中的對(duì)應(yīng)搜索算法。 在一個(gè)示例性實(shí)施例中，可以在移動(dòng)終端的用戶可選擇的并且在顯示器28上示出的一個(gè)或者多個(gè)菜單和/或子菜單中訪問(wèn)用戶輸入107。 一個(gè)或者多個(gè)限定的輸入包括但不限于移動(dòng)終端的用戶的手勢(shì)(如這里指代的那樣，手勢(shì)可以是用身體的部分進(jìn)行的或者結(jié)合口頭交流來(lái)使用的非口頭交流)、語(yǔ)音、觸摸等。算法切換器105可以是能夠從媒體內(nèi)容輸入67、鍵輸入109和用戶輸入107接收數(shù)據(jù)以及在搜索算法如可視搜索算法111、OCR算法113與基于代碼的算法115之間選擇和/或切換的硬件和/或軟件(由處理器如控制器20執(zhí)行)的任何設(shè)備或者裝置。算法切換器105具有話音識(shí)別能力?？梢曀阉魉惴?11、 OCR算法113與基于代碼的算法115可以各自是能夠分別進(jìn)行可視搜索、OCR搜索和基于代碼的搜索的硬件和/或軟件(由處理器如控制器20執(zhí)行)的任何設(shè)備或者裝置。
在搜索模塊108中，網(wǎng)絡(luò)運(yùn)營(yíng)商或者蜂窩提供商可以例如用限定的輸入來(lái)預(yù)先配置移動(dòng)終端的用戶輸入107。除此之外或者和取而代之，移動(dòng)終端的用戶可以確定和分配用戶輸入17的輸入。就這一點(diǎn)而言，用戶可以利用用戶輸入107的小鍵盤(pán)30或者觸摸顯示器以分配用戶輸入107的如上所述可以在一個(gè)或者多個(gè)菜單和/或子菜單中選擇的并且可以由算法切換器105用來(lái)在可視搜索算法111或者OCR算法113或者基于代碼的算法115之間切換和/或選擇該算法的輸入(例如用戶的手勢(shì)、語(yǔ)音、觸摸等)。
可選地，取代了使用用戶輸入107，為了選擇使算法切換器105能夠選擇搜索算法111、113和115之一的限定輸入，用戶可以利用鍵輸入109。就這一點(diǎn)而言，用戶可以使用小鍵盤(pán)30來(lái)利用如下觸屏上的選項(xiàng)(例如菜單/子菜單選項(xiàng))和/或類(lèi)型標(biāo)準(zhǔn)，他/她想要使用該選項(xiàng)或者類(lèi)型標(biāo)準(zhǔn)以使算法切換器105能夠在可視搜索算法111、OCR算法113與基于代碼的算法115之間切換和/或選擇。觸屏選項(xiàng)和鍵入的標(biāo)準(zhǔn)可以充當(dāng)命令或者可以由規(guī)則構(gòu)成，該規(guī)則指示算法在搜索算法111U13與115之間切換和/或選擇這些算法之 現(xiàn)在將出于示例目的而提供可以利用搜索模塊108的方式例子。然而應(yīng)當(dāng)注意，不脫離本發(fā)明的精神和范圍，搜索模塊的各種其它實(shí)施和應(yīng)用是可能的?？紤]如下情形，其中移動(dòng)終端10的用戶將照相機(jī)模塊36指向?qū)ο?即媒體內(nèi)容)或者捕獲對(duì)象的圖像。與照相機(jī)模塊36指向的和在圖像中捕獲的對(duì)象有關(guān)的數(shù)據(jù)可以由媒體內(nèi)容輸入來(lái)接收并且提供給算法切換器105 (步驟1400)。用戶可以經(jīng)由用戶輸入107選擇限定的輸入(步驟1401)。例如，用戶可以選擇語(yǔ)音輸入(見(jiàn)上文討論)。就這一點(diǎn)而言，通過(guò)說(shuō)話可以運(yùn)用用戶的語(yǔ)音以通知算法切換器105在搜索算法111、 113與115之間切換和/或選擇這些算法之一 (步驟1402)(可選地，移動(dòng)終端的用戶可以利用鍵輸入109以限定用于讓算法切換器在可視搜索算法、OCR算法與基于代碼的算法之間選擇和/或切換的標(biāo)準(zhǔn)或者命令(步驟1403))(見(jiàn)下文討論)。如果用戶例如在購(gòu)物中心中，則用戶可以說(shuō)出"在購(gòu)物中心中使用基于代碼的搜索"，這通知算法切換器105選擇基于代碼的算法115。算法切換器對(duì)基于代碼的算法115的選擇使搜索模塊能夠在購(gòu)物中心中對(duì)照相機(jī)模塊指向的或者在圖像中捕
26獲的對(duì)象以及其它對(duì)象進(jìn)行基于代碼的搜索。就這一點(diǎn)而言，基于代碼的算法使搜索模塊能夠檢測(cè)、讀取或者掃描對(duì)象(例如產(chǎn)品)上的基于代碼的數(shù)據(jù)，比如標(biāo)記(例如條形碼)。與標(biāo)記關(guān)聯(lián)的數(shù)據(jù)可以從搜索模塊發(fā)送到可視搜索服務(wù)器，該服務(wù)器發(fā)現(xiàn)與標(biāo)記關(guān)聯(lián)的匹配數(shù)據(jù)并且將這一數(shù)據(jù)、即一個(gè)或者多個(gè)候選(例如價(jià)格信息、包含涉及產(chǎn)品的信息的恥b頁(yè)面等)發(fā)送到搜索模塊108用于在顯示器28上顯示(步驟1404)。以相似方式，用戶也可以使用他的/她的語(yǔ)音以通知算法切換器105選擇0CR算法113或者可視搜索算法111。例如，用戶可以說(shuō)出"在駕駛之時(shí)進(jìn)行OCR搜索"而將照相機(jī)模塊指向街道符號(hào)(或者例如"在圖書(shū)館中之時(shí)進(jìn)行0CR搜索")，這通知算法切換器105選擇OCR算法并且使搜索模塊108能夠進(jìn)行OCR搜索。就這一點(diǎn)而言，街道符號(hào)上的文本可以由搜索模塊檢測(cè)、讀取或者掃描，并且與文本關(guān)聯(lián)的數(shù)據(jù)可以提供給可視搜索服務(wù)器54，該服務(wù)器可以將對(duì)應(yīng)數(shù)據(jù)、即一個(gè)或者多個(gè)候選(即與街道符號(hào)上的城市名或者圖書(shū)館中的書(shū)名有關(guān)的地圖數(shù)據(jù))發(fā)送到搜索模塊用于在顯示器28上顯示。此外，用戶可以說(shuō)出(例如)"在沿街道步行之時(shí)進(jìn)行可視搜索"，這指示算法切換器105選擇可視搜索算法111，該算法使搜索模塊108能夠進(jìn)行可視搜索，比如移動(dòng)可視搜索。這樣，搜索模塊能夠沿著街道捕獲對(duì)象的圖像(例如汽車(chē)的圖像)并且將與對(duì)象關(guān)聯(lián)的或者在對(duì)象上標(biāo)記的數(shù)據(jù)提供給可視搜索服務(wù)器54，該服務(wù)器發(fā)現(xiàn)匹配關(guān)聯(lián)數(shù)據(jù)(如果有的話)并且將這一關(guān)聯(lián)數(shù)據(jù)、即一個(gè)或者多個(gè)候選(例如通向本地經(jīng)銷(xiāo)商的web鏈接等)發(fā)送到搜索模塊用于在顯示器28上顯示。
算法切換器105可以運(yùn)用話音識(shí)別技術(shù)來(lái)標(biāo)識(shí)用戶講出的關(guān)鍵字以選擇適當(dāng)搜索算法Hl、113和115。在一種替代示例實(shí)施例中，這些關(guān)鍵字包括但不限于"代碼"、"OCR"和"可視"。如果多類(lèi)標(biāo)記(例如基于代碼的標(biāo)記(例如條形碼)、OCR標(biāo)記、可視標(biāo)記)在媒體內(nèi)容如對(duì)象上或者鏈接到該媒體內(nèi)容，則搜索模塊108可以用來(lái)取回涉及各標(biāo)記的信息。例如，用戶可以利用用戶輸入107的輸入如語(yǔ)音輸入并且說(shuō)出"進(jìn)行基于代碼的搜索并且進(jìn)行OCR搜索以及可視搜索"，這指示算法切換器選擇執(zhí)行(并行或者依次)各搜索算法111、 113和115，這使搜索模塊能夠?qū)哂卸囝?lèi)標(biāo)記的單個(gè)對(duì)象進(jìn)行可視搜索、0CR搜索和基于代碼的搜索。 另外，用戶可以選擇用來(lái)指示算法切換器105在可視搜索算法111、 0CR算法113與基于代碼的算法115之間切換和/或選擇和運(yùn)行這些算法的用戶輸入107的手勢(shì)輸入。例如，可以將手勢(shì)限定為在持有移動(dòng)終端之時(shí)抬起用戶的手部(或者任何其它適當(dāng)手勢(shì)，比如在持有移動(dòng)終端之時(shí)揮手(示意問(wèn)好))。該手勢(shì)(即在本例中抬起持有移動(dòng)終端的手部)可以鏈接到或者關(guān)聯(lián)于可視搜索、OCR和基于代碼的算法Hl、113和115中的一個(gè)或者多個(gè)算法。例如，抬手手勢(shì)可以鏈接到可視搜索算法lll。就這一點(diǎn)而言，算法切換器105經(jīng)由媒體內(nèi)容輸入67接收媒體內(nèi)容(例如書(shū)店的圖像)，并且當(dāng)用戶抬起他的/她的手部(例如超過(guò)頭部)時(shí)，算法切換器從用戶輸入107接收用于選擇和運(yùn)行或者執(zhí)行可視搜索算法的指令。這使搜索模塊調(diào)用可視搜索算法，該算法對(duì)書(shū)店進(jìn)行可視搜索并且將與書(shū)店關(guān)聯(lián)的數(shù)據(jù)(例如書(shū)店的名稱(chēng))發(fā)送到服務(wù)器，比如可視搜索服務(wù)器54，該服務(wù)器匹配與商店關(guān)聯(lián)的數(shù)據(jù)(例如商店的電話號(hào)碼和/或web頁(yè)面)(如果有的話)并且將這一關(guān)聯(lián)數(shù)據(jù)、即一個(gè)或者多個(gè)候選提供給搜索模塊用于在顯示器28上顯示。用戶的手勢(shì)可以由移動(dòng)終端的運(yùn)動(dòng)傳感器(未示出)檢測(cè)。 取而代之，如上所述，移動(dòng)終端10的用戶可以利用鍵輸入109以指示算法切換器105選擇搜索算法111、113和115。就這一點(diǎn)而言，考慮如下情形，其中用戶將照相機(jī)模塊指向書(shū)店中的書(shū)籍或者捕獲書(shū)店的圖像(即媒體內(nèi)容)。涉及書(shū)籍的數(shù)據(jù)可以經(jīng)由媒體內(nèi)容輸入67提供給算法切換器105，并且用戶可以利用小鍵盤(pán)30以鍵入"在書(shū)店中使用OCR搜索"(或者用戶可以選擇觸摸顯示器上的菜單中的選項(xiàng)以如例如在書(shū)店中使用OCR搜索)。鍵入的指令"在書(shū)店中使用OCR搜索"經(jīng)由鍵輸入109提供給算法切換器105，并且算法切換器使用這一指令以選擇和運(yùn)行或者執(zhí)行OCR算法113。這使搜索模塊能夠運(yùn)行OCR算法并且接收可以提供給可視搜索服務(wù)器54的涉及書(shū)籍的OCR數(shù)據(jù)(書(shū)籍的封面上的文本)，該服務(wù)器54發(fā)現(xiàn)對(duì)應(yīng)的匹配信息(如果有的話)并且將這一匹配信息提供給搜索模塊用于在顯示器28上顯示。 現(xiàn)在參照?qǐng)D15和圖16，提供一種用于使用統(tǒng)計(jì)處理來(lái)集成可視搜索與基于代碼的搜索和OCR搜索的搜索模塊的一個(gè)示例性實(shí)施例和操作流程圖。搜索模塊118包括媒體內(nèi)容輸入67、元信息輸入、0CR/基于代碼的算法119、可視搜索算法121、集成器123、準(zhǔn)確性分析器125、簡(jiǎn)潔/抽象水平分析器127、觀眾分析器129、統(tǒng)計(jì)集成分析器131和輸出133。OCR/基于代碼的算法119可以實(shí)施于能夠進(jìn)行OCR搜索和基于代碼的搜索的硬件和/或軟件(由處理器如例如控制器20執(zhí)行)的任何設(shè)備或者裝置中并且由該設(shè)備或者裝置體現(xiàn)?？梢曀阉魉惴?21可以實(shí)施于能夠進(jìn)行可視搜索如移動(dòng)可視搜索的硬件和/或軟件(由處理器如例如控制器20執(zhí)行)的任何設(shè)備和/或裝置中并且由該設(shè)備和/或裝置體現(xiàn)?？梢圆⑿谢蛘咭来芜\(yùn)行或者執(zhí)行OCR/基于代碼的算法119和可視搜索算法121。集成器123可以是能夠經(jīng)由媒體內(nèi)容輸入67接收媒體內(nèi)容、經(jīng)由元信息輸入49接收元信息并且執(zhí)行OCR/基于代碼的算法和可視搜索算法以提供OCR和基于代碼的搜索結(jié)果以及可視搜索結(jié)果的硬件和/或軟件(由處理器如例如控制器20執(zhí)行)的任何設(shè)備和/或裝置。集成器123接收的數(shù)據(jù)可以存儲(chǔ)于存儲(chǔ)器(未示出)中并且輸出到準(zhǔn)確性分析器125、簡(jiǎn)潔/抽象分析器127和觀眾分析器129。 準(zhǔn)確性分析器125可以是能夠接收和分析從OCR/基于代碼的算法119和可視搜索算法121生成的OCR搜索結(jié)果、基于代碼的搜索結(jié)果和可視搜索結(jié)果的硬件和/或軟件(由處理器如例如控制器20執(zhí)行)的任何設(shè)備和/或裝置。準(zhǔn)確性分析器125能夠?qū)?zhǔn)確性數(shù)據(jù)傳送到統(tǒng)計(jì)集成分析器131。簡(jiǎn)潔/抽象分析器127可以是能夠接收和分析從OCR/基于代碼的算法119和可視搜索算法121生成的OCR搜索結(jié)果、基于代碼的搜索結(jié)果和可視搜索結(jié)果所產(chǎn)生的數(shù)據(jù)的簡(jiǎn)潔和抽象水平的硬件和/或軟件(由處理器如例如控制器20執(zhí)行)的任何設(shè)備和/或裝置。簡(jiǎn)潔/抽象分析器能夠?qū)⑺姆治鰯?shù)據(jù)傳送到統(tǒng)計(jì)集成分析器131。觀眾分析器127可以是能夠接收、分析和確定從OCR/基于代碼的算法119和可視搜索算法121生成的OCR搜索結(jié)果、基于代碼的搜索結(jié)果和可視搜索結(jié)果的既定觀眾的硬件和/或軟件(由處理器如例如控制器20執(zhí)行)的任何設(shè)備和/或裝置。觀眾分析器129也能夠?qū)⑴c各OCR和基于代碼的搜索結(jié)果的既定觀眾有關(guān)的數(shù)據(jù)以及可視搜索結(jié)果傳送到統(tǒng)計(jì)集成器分析器131。 統(tǒng)計(jì)集成分析器131可以是能夠從準(zhǔn)確性分析器125、簡(jiǎn)潔/抽象分析器127和觀眾分析器129接收數(shù)據(jù)和結(jié)果的硬件和/或軟件(由處理器如例如控制器20執(zhí)行)的任何設(shè)備和/或裝置。統(tǒng)計(jì)集成分析器131能夠檢查從準(zhǔn)確性分析器、簡(jiǎn)潔/抽象分析器和觀眾分析器發(fā)送的數(shù)據(jù)并且確定從分別由OCR/基于代碼的算法119和可視搜索算法121
28提供的OCR搜索、基于代碼的搜索和可視搜索生成的各結(jié)果的統(tǒng)計(jì)準(zhǔn)確性。統(tǒng)計(jì)集成分析 器131能夠使用準(zhǔn)確性分析器結(jié)果、簡(jiǎn)潔/抽象分析器結(jié)構(gòu)和觀眾分析器結(jié)果以將一個(gè)或 者多個(gè)加權(quán)因子(例如與預(yù)定值相乘)應(yīng)用于各OCR和基于代碼的搜索結(jié)果以及可視搜索 結(jié)果。就這一點(diǎn)而言，統(tǒng)計(jì)集成分析器131能夠確定和分配準(zhǔn)確性百分比給各OCR和基于 代碼的搜索結(jié)果以及可視搜索結(jié)果。例如，如果統(tǒng)計(jì)集成分析器131確定0CR結(jié)果在準(zhǔn)確 性0%到15%的范圍內(nèi)，則統(tǒng)計(jì)集成分析器131可以將相應(yīng)百分比與值0. l(或者任何其它 值)相乘，而如果統(tǒng)計(jì)集成分析器131確定基于代碼的搜索結(jié)果在準(zhǔn)確性16%到30%的范 圍內(nèi)，則統(tǒng)計(jì)集成分析器131可以將相應(yīng)百分比與0. 5(或者任何其它值)相乘。
此外，如果統(tǒng)計(jì)集成分析器131例如確定可視搜索結(jié)果在準(zhǔn)確性31 %到45%的范 圍內(nèi)，則統(tǒng)計(jì)集成分析器131可以將相應(yīng)百分比與值1(或者任何其它值)相乘。統(tǒng)計(jì)集成 分析器131也能夠丟棄沒(méi)有在預(yù)定準(zhǔn)確性范圍內(nèi)的結(jié)果(應(yīng)當(dāng)指出如果結(jié)果沒(méi)有非常不準(zhǔn) 確(例如將基于代碼的搜索結(jié)果驗(yàn)證為不正確)則通常沒(méi)有丟棄它們)。通常將準(zhǔn)確性較 低的結(jié)果處理成具有低優(yōu)先級(jí))。統(tǒng)計(jì)集成分析器131還能夠?qū)?lái)自各OCR搜索、基于代碼 的搜索和可視搜索的結(jié)果賦予優(yōu)先級(jí)或者排序。例如，如果統(tǒng)計(jì)集成分析器131確定來(lái)自 OCR搜索的結(jié)果比來(lái)自基于代碼的搜索的結(jié)果(后者這些結(jié)果比來(lái)自可視搜索的結(jié)果更準(zhǔn) 確)更準(zhǔn)確，則統(tǒng)計(jì)集成分析器131可以生成如下列表，該列表首先包括OCR結(jié)果(例如最 高優(yōu)先級(jí)和較高準(zhǔn)確性百分比)、繼而是基于代碼的結(jié)果(例如第二最高優(yōu)先級(jí)以及第二 最高準(zhǔn)確性百分比)并且隨后繼而(即在列表的末尾)是可視搜索結(jié)果(例如最低優(yōu)先級(jí) 以及最低準(zhǔn)確性百分比)。 另外，統(tǒng)計(jì)集成分析器131可以確定分別由OCR/基于代碼的搜索算法119和可視 搜索算法121生成的OCR搜索結(jié)果、基于代碼的搜索結(jié)果和可視搜索結(jié)果之中的哪些搜索 結(jié)果傳送到輸出133。該確定可以基于滿足或者超過(guò)預(yù)定準(zhǔn)確性水平的搜索結(jié)果。輸出133 可以是能夠接收由統(tǒng)計(jì)集成分析器131提供的搜索結(jié)果(例如與媒體內(nèi)容如書(shū)籍的圖像關(guān) 聯(lián)的數(shù)據(jù))并且用于將與這些結(jié)果關(guān)聯(lián)的數(shù)據(jù)(例如書(shū)籍上的文本數(shù)據(jù))發(fā)送到服務(wù)器如 可視搜索服務(wù)器54的硬件和/或軟件的任何設(shè)備或者裝置，該服務(wù)器54確定在服務(wù)器54 的存儲(chǔ)器中是否有與搜索結(jié)果關(guān)聯(lián)的匹配結(jié)數(shù)據(jù)而如果有的話則將匹配數(shù)據(jù)(即候選，如 例如銷(xiāo)售書(shū)籍的恥b頁(yè)面)發(fā)送到搜索模塊118用于在顯示器28上顯示。
現(xiàn)在將出于示例目的而提供搜索模塊118可以操作的方式例子。例如，搜索模塊 118可以在各種其它情形中操作而不脫離本發(fā)明的精神和范圍。考慮如下情形，其中用戶 將照相機(jī)模塊36指向?qū)ο?例如等離子體電視)或者捕獲該對(duì)象的(例如媒體內(nèi)容的) 圖像或者視頻剪輯。涉及對(duì)象的信息可以由照相機(jī)模塊經(jīng)由媒體內(nèi)容輸入67提供給集成 器123并且存儲(chǔ)于存儲(chǔ)器(未示出)中。此外，諸如與媒體內(nèi)容的性質(zhì)(例如時(shí)間戳、所有 者等)、移動(dòng)終端的地理特性(例如當(dāng)前位置或者海拔)、環(huán)境特性(例如當(dāng)前天氣或者時(shí) 間)、用戶的個(gè)人特性(例如母語(yǔ)或者職業(yè))、用戶的聯(lián)機(jī)行為的特性有關(guān)的信息等元信息 可以例如在移動(dòng)終端的存儲(chǔ)器如存儲(chǔ)器40中存儲(chǔ)于用戶簡(jiǎn)檔中或者由服務(wù)器如可視搜索 服務(wù)器54提供給移動(dòng)終端。元信息可以經(jīng)由元信息輸入49輸入到集成器并且存儲(chǔ)于存儲(chǔ) 器(未示出)中(步驟1600)。這一元信息可以鏈接到或者關(guān)聯(lián)于OCR/基于代碼的搜索算 法119和/或可視搜索算法121。例如，元信息如當(dāng)日時(shí)間可以鏈接到或者關(guān)聯(lián)于可視搜索 算法121，該算法可以使集成器123使用接收的可視搜索算法121在指定的當(dāng)日時(shí)間期間基于對(duì)象、即等離子體電視實(shí)現(xiàn)可視搜索能力(例如檢測(cè)、掃描或者讀取附著或者鏈接到等 離子體電視的可視標(biāo)記)。此外，元信息可以例如關(guān)聯(lián)或者鏈接到OCR算法119，該算法使 集成器123能夠接收和調(diào)用基于OCR的算法119以在移動(dòng)終端在預(yù)先限定的位置如法國(guó)巴 黎時(shí)對(duì)對(duì)象、即等離子體電視執(zhí)行或者進(jìn)行OCR搜索(例如檢測(cè)、讀取或者掃描等離子體電 視上例如涉及制造商的文本)(步驟1601)。另外，元信息如例如位置可以關(guān)聯(lián)或者鏈接到 基于代碼的算法119，并且當(dāng)基于代碼的算法119由集成器123接收時(shí)，集成器123可以執(zhí) 行基于代碼的算法119以在移動(dòng)終端10的用戶在以基于代碼的數(shù)據(jù)為主導(dǎo)的位置(例如 商店，比如書(shū)店、雜貨店、百貨店等)時(shí)對(duì)等離子體電視進(jìn)行基于代碼的搜索(例如檢測(cè)條 形碼)。應(yīng)當(dāng)注意可以并行執(zhí)行或者運(yùn)行OCR/基于代碼的算法119和可視搜索算法121。
集成器123能夠存儲(chǔ)OCR搜索結(jié)果、基于代碼的搜索結(jié)果和可視搜索結(jié)果并且 將這些各種搜索結(jié)果輸出到各準(zhǔn)確性分析器125、簡(jiǎn)潔/抽象分析器127和觀眾分析器 129 (步驟1602)。準(zhǔn)確性分析器125可以確定OCR搜索結(jié)果的準(zhǔn)確性或者可靠性(例如等 離子體電視上的文本的準(zhǔn)確性)、基于代碼的搜索結(jié)果的準(zhǔn)確性或者可靠性(例如等離子 體電視上的檢測(cè)到的條形碼的準(zhǔn)確性)和可視搜索結(jié)果的準(zhǔn)確性或者可靠性(例如鏈接到 或者附著到等離子體電視的可視標(biāo)記的準(zhǔn)確性，這一可視標(biāo)記可以例如包含與等離子體電 視的恥b頁(yè)面關(guān)聯(lián)的數(shù)據(jù))。準(zhǔn)確性分析器125可以根據(jù)最高到最低準(zhǔn)確性或者可靠性將 分析的結(jié)果排序或者賦予優(yōu)先級(jí)(步驟1603)。就這一點(diǎn)而言，可以將OCR搜索結(jié)果比基于 代碼的搜索結(jié)果排序更高(即例如如果OCR結(jié)果具有最高準(zhǔn)確性)，后者這些結(jié)果可以比可 視搜索結(jié)果排序更高(即如果基于代碼的搜索結(jié)果比可視搜索結(jié)果更準(zhǔn)確)。這一準(zhǔn)確性 數(shù)據(jù)如排序和/或一個(gè)或者多個(gè)優(yōu)先級(jí)可以由準(zhǔn)確性分析器提供給統(tǒng)計(jì)集成分析器131。
另外，簡(jiǎn)潔/抽象分析器127可以分析從集成器123接收的OCR搜索結(jié)果、基于代 碼的搜索結(jié)果和可視搜索結(jié)果并且基于簡(jiǎn)潔和抽象因子等將這些結(jié)果排序或者賦予優(yōu)先 級(jí)(步驟1604)(應(yīng)當(dāng)指出由于一些抽象因子更適合于不同觀眾而應(yīng)用不同抽象因子。例 如，在某一領(lǐng)域中有專(zhuān)長(zhǎng)的個(gè)人可以優(yōu)選處于更高抽象水平的描述，從而對(duì)搜索結(jié)果中的 數(shù)據(jù)的簡(jiǎn)潔描述足夠了，而在某一領(lǐng)域中經(jīng)驗(yàn)較少的認(rèn)識(shí)可能需要對(duì)搜索結(jié)果中的數(shù)據(jù)的 更具體說(shuō)明。在一個(gè)替代示例實(shí)施例中，具有高抽象水平的數(shù)據(jù)(即對(duì)搜索結(jié)果中的數(shù)據(jù) 的簡(jiǎn)潔描述)可以比具有更低抽象水平的數(shù)據(jù)(即對(duì)搜索結(jié)果中的數(shù)據(jù)的更具體描述)排 序更高或者更優(yōu)先)，并且連接可以附著到具有高抽象水平的搜索結(jié)果，從而更具體信息可 以與向統(tǒng)計(jì)抽象分析器131提供的搜索結(jié)果關(guān)聯(lián)(見(jiàn)下文討論)。例如，如果OCR搜索結(jié)果 由100個(gè)文本字符構(gòu)成，則可視搜索結(jié)果例如由具有涉及地圖或者街道符號(hào)的數(shù)據(jù)的圖像 構(gòu)成，而基于代碼的搜索結(jié)果由ID條形碼構(gòu)成，簡(jiǎn)潔/抽象分析器127可以確定基于代碼 的搜索結(jié)果(即條形碼)由更少數(shù)據(jù)(即搜索結(jié)果之中的最簡(jiǎn)潔形式(即最高抽象水平) 的數(shù)據(jù))構(gòu)成。此外，簡(jiǎn)潔/抽象分析器127可以確定可視搜索結(jié)果(例如地圖數(shù)據(jù)或者街 道符號(hào)的數(shù)據(jù))可以由比基于代碼的搜索結(jié)果更多的數(shù)據(jù)但是比OCR搜索結(jié)果(例如100 個(gè)文本字符)更少的數(shù)據(jù)組成。就這一點(diǎn)而言，簡(jiǎn)潔/抽象分析器127可以確定虛擬搜索 結(jié)果由搜索結(jié)果之中的第二最簡(jiǎn)潔形式(即第二最高抽象水平)的數(shù)據(jù)構(gòu)成并且OCR搜索 結(jié)果由搜索結(jié)果之中的第三最簡(jiǎn)潔形式(即第三最高抽象水平)的數(shù)據(jù)構(gòu)成。這樣，簡(jiǎn)潔 /抽象分析器127能夠?yàn)檫@些搜索結(jié)果賦予優(yōu)先級(jí)或者排序。例如，簡(jiǎn)潔/抽象分析器127 可以(例如在列表中)將基于代碼的搜索結(jié)果排序和/或安排優(yōu)先級(jí)為第一(即最高優(yōu)先
30級(jí)或者排序)、繼而是可視搜索結(jié)果(即第二最高優(yōu)先級(jí)或者排序)并且隨后是OCR搜索結(jié) 果(即最低優(yōu)先級(jí)或者排序)。這些排序和/或優(yōu)先級(jí)以及由簡(jiǎn)潔/抽象分析器127生成 的任何其它排序和/或優(yōu)先級(jí)可以提供給統(tǒng)計(jì)集成分析器131，該分析器可以利用這些排 序和/或優(yōu)先級(jí)以規(guī)定或者確定與搜索結(jié)果關(guān)聯(lián)的數(shù)據(jù)將提供給輸出133并且發(fā)送到可視 搜索服務(wù)器54的順序，該服務(wù)器可以匹配關(guān)聯(lián)數(shù)據(jù)(如果有的話)(即候選，如例如價(jià)格信 息、產(chǎn)品信息、地圖、方向、web頁(yè)面、黃頁(yè)數(shù)據(jù)或者任何其它適當(dāng)數(shù)據(jù))與搜索結(jié)果并且將 這一關(guān)聯(lián)數(shù)據(jù)發(fā)送到搜索模塊118用于以確定的順序在顯示器28上顯示候選。例如，價(jià)格 信息繼而是產(chǎn)品信息等。 此外，觀眾分析器129能夠確定各0CR搜索結(jié)果、基于代碼的搜索結(jié)果和可視搜索 結(jié)果的既定觀眾。在其中對(duì)象由等離子體電視構(gòu)成的上例中，觀眾分析器129可以確定既 定觀眾是移動(dòng)終端10的用戶。取而代之，例如觀眾分析器可以確定既定觀眾是用戶的朋友 等。例如，在其中觀眾分析器129確定0CR搜索結(jié)果的既定觀眾是用戶的實(shí)例中，統(tǒng)計(jì)集成 分析器131可以向0CR搜索結(jié)果分配比既定用于用戶的朋友(或者任何其它既定觀眾)的 可視搜索結(jié)果和/或既定用于用戶的朋友(或者任何其它既定觀眾)的基于代碼的搜索結(jié) 果更高的優(yōu)先級(jí)或者排序(步驟1605)。觀眾分析器可以將既定觀眾信息的排序和/或優(yōu) 先級(jí)發(fā)送到統(tǒng)計(jì)集成分析器131。 統(tǒng)計(jì)集成分析器131能夠接收來(lái)自準(zhǔn)確性分析器125的準(zhǔn)確性結(jié)果、由簡(jiǎn)潔/抽 象分析器127生成的排序和/或優(yōu)先級(jí)以及與來(lái)自觀眾分析器129的搜索結(jié)果的既定觀眾 有關(guān)的排序和/或優(yōu)先級(jí)(步驟1606)。 統(tǒng)計(jì)集成分析器131能夠確定從準(zhǔn)確性分析器125、簡(jiǎn)潔/抽象分析器127和觀眾 分析器129接收的所有數(shù)據(jù)的總體準(zhǔn)確性以及評(píng)估與各搜索結(jié)果對(duì)應(yīng)的數(shù)據(jù)重要性，并且 在這一基礎(chǔ)上，統(tǒng)計(jì)集成分析器能夠?qū)⒖梢曀阉鹘Y(jié)果、基于代碼的搜索結(jié)果和OCR搜索結(jié) 果重新賦予優(yōu)先級(jí)和/或重新排序。例如可以使用與對(duì)應(yīng)于一個(gè)或者多個(gè)搜索結(jié)果的數(shù)值 指示符(例如50)相乘的加權(quán)因子如預(yù)定值(2)來(lái)向最準(zhǔn)確和最重要的搜索結(jié)果分配最高 排序或者最高百分比優(yōu)先級(jí)值(例如100% )。另一方面，可以例如使用與對(duì)應(yīng)于一個(gè)或者 多個(gè)搜索結(jié)果的數(shù)值指示符(例如25)相乘的加權(quán)因子如預(yù)定值(2)來(lái)向準(zhǔn)確性較低和重 要性較低的搜索結(jié)果分配較低排序(優(yōu)先級(jí))或者較低百分比優(yōu)先級(jí)值(例如50% )。應(yīng) 當(dāng)注意可以在用戶將照相機(jī)模塊指向目標(biāo)對(duì)象(即POI)時(shí)實(shí)時(shí)調(diào)節(jié)這些加權(quán)因子。假設(shè) 不同搜索結(jié)果的性質(zhì)如準(zhǔn)確性和簡(jiǎn)潔性在用戶將移動(dòng)終端指向?qū)ο髸r(shí)隨時(shí)間而改變，則相 應(yīng)地實(shí)時(shí)調(diào)節(jié)加權(quán)。統(tǒng)計(jì)集成分析器131可以將這些重新賦予優(yōu)先級(jí)和/或重新排序的搜 索結(jié)果提供給輸出133，該輸出將搜索結(jié)果發(fā)送到可視搜索服務(wù)器54?？梢曀阉鞣?wù)器54 確定是否有例如存儲(chǔ)于POI數(shù)據(jù)庫(kù)74中的與搜索結(jié)果匹配的關(guān)聯(lián)數(shù)據(jù)，并且這一匹配數(shù)據(jù) (即候選)(如果有的話)發(fā)送到搜索模塊118用于以與重新賦予優(yōu)先級(jí)和/或重新排序的 搜索結(jié)果對(duì)應(yīng)的順序在顯示器28上顯示。 現(xiàn)在參照?qǐng)D17和圖18，提供用于將基于代碼的標(biāo)記和/或OCR標(biāo)記添加和/或 嵌入到可視搜索結(jié)果中的搜索模塊的一個(gè)示例性實(shí)施例和操作流程圖。搜索模塊128包括 媒體內(nèi)容輸入67、元信息輸入、可視搜索算法121、0CR/基于代碼的算法119、標(biāo)記控制單元 135、嵌入式設(shè)備143、嵌入式設(shè)備145、嵌入式設(shè)備147以及可選地包括碼/串查找和翻譯 單元141。在一個(gè)示例性實(shí)施例中，碼/串查找和翻譯單元可以包括存儲(chǔ)于查找表中的諸如文本字符等數(shù)據(jù)。 標(biāo)記控制單元135可以是能夠經(jīng)由媒體內(nèi)容輸入67 (例如從照相機(jī)模塊36)接收 媒體內(nèi)容(例如對(duì)象的圖像、與物理對(duì)象有關(guān)的事件視頻、對(duì)象的數(shù)字照片、圖形動(dòng)畫(huà)、音 頻(比如在物理對(duì)象附近的事件期間播放的音樂(lè)記錄)等)、經(jīng)由元信息輸入49接收元信 息、接收可視搜索算法121和OCR/基于代碼的算法119的硬件和/或軟件(由處理器如控 制器20或者位于標(biāo)記控制單元的協(xié)同處理器執(zhí)行)的任何設(shè)備或者裝置。如上所述，元信 息可以包括但不限于地理位置數(shù)據(jù)、當(dāng)日時(shí)間、季節(jié)、天氣和移動(dòng)終端用戶的特性、產(chǎn)品段 或者與現(xiàn)實(shí)世界屬性或者特征關(guān)聯(lián)的任何其它適當(dāng)數(shù)據(jù)。這一元信息可以在用戶的移動(dòng)終 端10上被預(yù)先配置、由可視搜索服務(wù)器54提供給移動(dòng)終端10和/或由使用小鍵盤(pán)30的 移動(dòng)終端10的用戶輸入。標(biāo)記控制單元35能夠執(zhí)行可視搜索算法121和OCR/基于代碼 的算法119。各元信息可以關(guān)聯(lián)于或者鏈接到可視搜索算法121或者0CR/基于代碼的算法 119。就這一點(diǎn)而言，標(biāo)記控制單元135可以利用用于確定執(zhí)行可視搜索算法121或者OCR/ 基于代碼的算法119之中的哪個(gè)算法的元信息。例如，元信息如天氣可以關(guān)聯(lián)或者鏈接到 可視搜索算法，這樣標(biāo)記控制單元135可以例如在用戶將照相機(jī)模塊指向天空或者捕獲天 空的圖像時(shí)執(zhí)行可視搜索算法。元信息如商店的位置可以鏈接到基于代碼的算法119，從而 標(biāo)記控制單元將例如在用戶將照相機(jī)模塊指向產(chǎn)品上的條形碼時(shí)執(zhí)行基于代碼的搜索。元 信息如圖書(shū)館的位置可以鏈接到0CR算法119，從而標(biāo)記控制單元135將例如在用戶將照 相機(jī)模塊執(zhí)行書(shū)籍時(shí)執(zhí)行基于OCR的搜索。碼/串查找和翻譯單元141可以是能夠修改、 替換或者翻譯由OCR/基于代碼的算法119生成的OCR數(shù)據(jù)(例如文本數(shù)據(jù))和基于代碼 的數(shù)據(jù)(例如條形碼)的硬件和/或軟件(由處理器如控制器20或者位于碼/串查找和 翻譯單元141內(nèi)部的協(xié)同處理器執(zhí)行)的任何設(shè)備或者裝置。例如，碼/串查找和翻譯單 元141能夠?qū)CR/基于代碼的算法119標(biāo)識(shí)的文本翻譯成一個(gè)或者多個(gè)語(yǔ)言(例如將文 本翻譯成法語(yǔ)或者英語(yǔ))以及例如將基于代碼的數(shù)據(jù)如條形碼轉(zhuǎn)換成其它形式的數(shù)據(jù)(例 如將手提包上的條形碼翻譯成它的制造商，例如PRADA )。 現(xiàn)在將參照例子描述搜索模塊128。應(yīng)當(dāng)指出其中搜索模塊可以操作的若干例子 情形適用并且僅出于示例目的而提供本例。假設(shè)元信息由關(guān)聯(lián)于或者鏈接到可視搜索算法 121的產(chǎn)品信息構(gòu)成。就這一點(diǎn)而言，當(dāng)移動(dòng)終端的用戶例如將照相機(jī)模塊36指向產(chǎn)品如 可攜式攝像機(jī)時(shí)，標(biāo)記控制單元135可以接收與可攜式攝像機(jī)(例如媒體內(nèi)容)關(guān)聯(lián)的數(shù) 據(jù)并且接收和調(diào)用算法如例如可視搜索算法121以便對(duì)可攜式攝像機(jī)進(jìn)行可視搜索(步驟 1800)。例如，標(biāo)記控制單元135可以接收與照相機(jī)模塊36捕獲的可攜式攝像機(jī)的圖像有 關(guān)的數(shù)據(jù)。與可攜式攝像機(jī)的圖像有關(guān)的數(shù)據(jù)可以包括在可攜式攝像機(jī)的圖像中嵌入的一 個(gè)或者多個(gè)標(biāo)記，例如可視標(biāo)記(即與可視搜索關(guān)聯(lián)的標(biāo)記)，該標(biāo)記與涉及可攜式攝像機(jī) 的信息(例如可以經(jīng)由服務(wù)器如可視搜索服務(wù)器54訪問(wèn)的提供可攜式攝像機(jī)的產(chǎn)品特征 信息的恥b頁(yè)面)關(guān)聯(lián)(步驟1801)。標(biāo)記控制單元135也可以檢測(cè)到可攜式攝像機(jī)的圖 像包括條形碼(即基于代碼的標(biāo)記)和文本數(shù)據(jù)(即0CR數(shù)據(jù))，比如可攜式攝像機(jī)的制造 商名稱(chēng)的文本(步驟1802)。基于上述檢測(cè)，標(biāo)記控制單元135可以調(diào)用基于代碼的算法 119以也對(duì)可攜式攝像機(jī)進(jìn)行基于代碼的搜索(標(biāo)記控制單元135也可以調(diào)用0CR算法119 以對(duì)可攜式攝像機(jī)進(jìn)行OCR搜索(見(jiàn)下文討論))(步驟1803)(可選地，碼/串查找和翻譯 單元可以用數(shù)據(jù)如例如字符串替換、修改或者翻譯基于代碼的數(shù)據(jù)和文本數(shù)據(jù)(見(jiàn)下文討
32論)(步驟1805))。這樣，標(biāo)記控制單元135可以確定將在可視搜索結(jié)果中包括涉及檢測(cè)到 的條形碼的信息并且指示嵌入式設(shè)備143請(qǐng)求可視搜索結(jié)果包括或者嵌入涉及條形碼的 信息(取而代之，標(biāo)記控制單元135可以確定將在可視搜索結(jié)果中包括涉及檢測(cè)到的文本 數(shù)據(jù)的信息并且通知嵌入式設(shè)備145請(qǐng)求可視搜索結(jié)果包括或者嵌入涉及文本數(shù)據(jù)的信 息(見(jiàn)下文討論))(步驟1805)。嵌入式設(shè)備143接收這一指令并且將對(duì)如下數(shù)據(jù)的請(qǐng)求 發(fā)送到可視搜索服務(wù)器54，該數(shù)據(jù)與可攜式攝像機(jī)的可視標(biāo)記關(guān)聯(lián)，比如涉及可攜式攝像 機(jī)的恥b頁(yè)面(即候選)，該web頁(yè)面具有涉及條形碼的嵌入于其中的信息(例如可攜式攝 像機(jī)的價(jià)格信息)(取而代之，嵌入式設(shè)備145接收這一指令并且將對(duì)如下數(shù)據(jù)的請(qǐng)求發(fā)送 到可視搜索服務(wù)器54，該數(shù)據(jù)與可攜式攝像機(jī)的可視標(biāo)記關(guān)聯(lián)，比如涉及可攜式攝像機(jī)的 web頁(yè)面(即候選)，該web頁(yè)面具有涉及文本數(shù)據(jù)的嵌入于其中的信息(例如可攜式攝像 機(jī)的制造商名稱(chēng))(見(jiàn)下文討論))?？梢曀阉鞣?wù)器54確定是否有與可視標(biāo)記匹配或者關(guān) 聯(lián)的數(shù)據(jù)(存儲(chǔ)于存儲(chǔ)器如POI數(shù)據(jù)庫(kù)74中)如web頁(yè)面并且將具有價(jià)格信息(即嵌入 于條形碼中的信息)(或者具有制造商的名稱(chēng))的這一 web頁(yè)面提供給搜索模塊128的嵌 入式設(shè)備143(或者嵌入式設(shè)備145)用于在顯示器128上顯示。就這一點(diǎn)而言，嵌入式設(shè) 備143能夠通知顯示器28以示出web頁(yè)面及其關(guān)聯(lián)元信息，該web頁(yè)面具有可攜式攝像機(jī) 的嵌入于恥b頁(yè)面中的價(jià)格信息(取而代之，嵌入式設(shè)備145能夠通知顯示器28示出web 頁(yè)面，該web頁(yè)面具有嵌入于web頁(yè)面中的可攜式攝像機(jī)制造商名稱(chēng)(見(jiàn)下文討論))(步 驟1806)。 嵌入設(shè)備143能夠在它的存儲(chǔ)器(未示出)中保存涉及條形碼的信息(即基于代 碼的標(biāo)記數(shù)據(jù))(嵌入式設(shè)備145也能夠在它的存儲(chǔ)器(未示出)中保存涉及制造商的名 稱(chēng)的信息(即OCR標(biāo)記數(shù)據(jù))(見(jiàn)下文))。這樣，只要用戶隨后將照相機(jī)模塊指向可攜式 攝像機(jī)，將在可視搜索服務(wù)器54向搜索模塊128提供的用于在顯示器28上顯示的web頁(yè) 面中包括涉及可攜式攝像機(jī)的價(jià)格信息(或者制造商的名稱(chēng))。涉及恥b站點(diǎn)的價(jià)格信息 (或者文本，比如制造商的名稱(chēng))可以連同恥b頁(yè)面一起永久提供、即每當(dāng)指向照相機(jī)模塊 時(shí)或者直至在嵌入式設(shè)備143(或者嵌入式設(shè)備145)的存儲(chǔ)器中改變或者刪除設(shè)置(見(jiàn)下 文討論)(步驟1807)。 由于標(biāo)記控制單元135也檢測(cè)到可攜式攝像機(jī)的圖像包括文本數(shù)據(jù)(即0CR數(shù) 據(jù))，比如可攜式攝像機(jī)的制造商名稱(chēng)的文本，所以標(biāo)記控制單元135可以調(diào)用0CR算法 119以也對(duì)可攜式攝像機(jī)進(jìn)行OCR搜索。就這一點(diǎn)而言，標(biāo)記控制單元135可以確定將在可 視搜索結(jié)果中包括涉及檢測(cè)到的文本(0CR數(shù)據(jù))的信息并且通知嵌入式設(shè)備145請(qǐng)求可 視搜索結(jié)果包括或者嵌入涉及文本數(shù)據(jù)的信息，在本例中為在可視搜索結(jié)果中包括或者嵌 入可攜式攝像機(jī)制造商名稱(chēng)。嵌入式設(shè)備144接收這一指令并且將對(duì)如下數(shù)據(jù)的請(qǐng)求發(fā)送 到可視搜索服務(wù)器54，該數(shù)據(jù)與可攜式攝像機(jī)的可視標(biāo)記關(guān)聯(lián)，比如涉及可攜式攝像機(jī)的 web頁(yè)面(即候選)，該web頁(yè)面具有涉及檢測(cè)到的文本的嵌入于其中的信息(例如制造商 的名稱(chēng))?？梢曀阉鞣?wù)器54確定是否有與可視標(biāo)記匹配或者關(guān)聯(lián)的數(shù)據(jù)(存儲(chǔ)于存儲(chǔ) 器如POI數(shù)據(jù)庫(kù)中)如web頁(yè)面并且將具有可攜式攝像機(jī)的制造商名稱(chēng)的這一 web頁(yè)面提 供給搜索模塊128的嵌入式設(shè)備145用于在顯示器28上顯示。就這一點(diǎn)而言，嵌入式設(shè)備 145能夠指示顯示器28示出web頁(yè)面及其關(guān)聯(lián)元信息，該web頁(yè)面中嵌入有可攜式攝像機(jī) 的制造商名稱(chēng)。
嵌入式設(shè)備145能夠在它的存儲(chǔ)器(未示出)中保存涉及條形碼的信息(即基于 代碼的標(biāo)記數(shù)據(jù))。這樣，只要用戶隨后將照相機(jī)模塊指向可攜式攝像機(jī)，可以在可視搜索 服務(wù)器54向搜索模塊128提供的用于在顯示器28上顯示的web頁(yè)面中包括可攜式攝像機(jī) 的制造商名稱(chēng)。涉及web站點(diǎn)的價(jià)格信息可以連同web頁(yè)面一起永久提供、即每當(dāng)指向照 相機(jī)模塊時(shí)或者直至在嵌入式設(shè)備145的存儲(chǔ)器中改變或者刪除設(shè)置。
另外，標(biāo)記控制單元135可以檢測(cè)可攜式攝像機(jī)的圖像中的附加文本數(shù)據(jù)(OCR數(shù) 據(jù))。就這一點(diǎn)而言，標(biāo)記控制單元135可以例如利用由OCR算法119生成的OCR搜索結(jié)果 以識(shí)別文本數(shù)據(jù)對(duì)應(yīng)于可攜式攝像機(jī)的零件號(hào)/序列號(hào)。標(biāo)記控制單元135可以確定應(yīng)當(dāng) 在可攜式攝像機(jī)的可視搜索結(jié)果中包括涉及檢測(cè)到的文本的信息(例如零件號(hào)/序列號(hào)) 并且通知嵌入式設(shè)備146請(qǐng)求可視搜索結(jié)果包括或者嵌入涉及文本數(shù)據(jù)的信息，在本例中 在可視搜索結(jié)果包括或者嵌入可攜式攝像機(jī)的零件號(hào)/序列號(hào)。嵌入式設(shè)備147接收這一 指令并且將對(duì)如下數(shù)據(jù)的請(qǐng)求發(fā)送到可視搜索服務(wù)器54，該數(shù)據(jù)與可攜式攝像機(jī)的可視標(biāo) 記關(guān)聯(lián)，比如涉及可攜式攝像機(jī)的web頁(yè)面(即候選)，該web頁(yè)面具有涉及檢測(cè)到的文本 的嵌入于其中的信息(例如零件號(hào)/序列號(hào))?？梢曀阉鞣?wù)器54確定是否有與可攜式攝 像機(jī)的可視標(biāo)記匹配或者關(guān)聯(lián)的數(shù)據(jù)(存儲(chǔ)于存儲(chǔ)器如POI數(shù)據(jù)庫(kù)74中)如web頁(yè)面并 且將具有可攜式攝像機(jī)的零件號(hào)/序列號(hào)的這一 web頁(yè)面提供給搜索模塊128用于在顯示 器28上顯示。就這一點(diǎn)而言，搜索模塊128能夠指示顯示器28示出具有可攜式攝像機(jī)的 零件號(hào)/序列號(hào)的web頁(yè)面。 可以實(shí)時(shí)動(dòng)態(tài)地替換或者更新向嵌入式設(shè)備147提供的在可視搜索結(jié)果(例如可 攜式攝像機(jī)的圖像)中標(biāo)識(shí)的一個(gè)或者多個(gè)標(biāo)記(例如文本數(shù)據(jù)或者OCR數(shù)據(jù)和基于代碼 的標(biāo)記，例如條形碼)，如例如可攜式攝像機(jī)的零件號(hào)/序列號(hào)。例如，如果移動(dòng)終端的用戶 在可攜式攝像機(jī)的零件號(hào)/序列號(hào)已經(jīng)改變時(shí)在后續(xù)時(shí)機(jī)(例如在以后日期)將照相機(jī)模 塊指向可攜式攝像機(jī)，則嵌入式設(shè)備147將請(qǐng)求可視搜索服務(wù)器54向它提供與可攜式攝像 機(jī)的新零件號(hào)/序列號(hào)關(guān)聯(lián)的數(shù)據(jù)，并且新零件號(hào)/序列號(hào)在由搜索模塊128的嵌入式設(shè) 備147接收時(shí)提供給顯示器28，該顯示器示出可視搜索結(jié)果(即上例中的web頁(yè)面)中嵌 入的新零件號(hào)/序列號(hào)及其關(guān)聯(lián)元信息。 嵌入式設(shè)備147能夠?qū)崟r(shí)動(dòng)態(tài)地替換或者更新標(biāo)記，比如OCR標(biāo)記或者基于代碼 的標(biāo)記，因?yàn)樵谇度胧皆O(shè)備147標(biāo)識(shí)可視搜索結(jié)果(例如可攜式攝像機(jī)的圖像)中的文本 和基于代碼的數(shù)據(jù)之后嵌入式設(shè)備147沒(méi)有保存和取回在OCR/基于代碼的算法119由標(biāo) 記控制單元135執(zhí)行時(shí)起初檢測(cè)到的標(biāo)記(步驟1808)。實(shí)際上，當(dāng)照相機(jī)模塊隨后指向可 攜式攝像機(jī)或者捕獲可攜式攝像機(jī)的圖像時(shí)，嵌入式設(shè)備147訪問(wèn)可視搜索服務(wù)器以便獲 得與標(biāo)記關(guān)聯(lián)的新和/或更新信息。 在一個(gè)替代示例性實(shí)施例中，碼/串查找和翻譯單元141可以由標(biāo)記控制單元135 訪問(wèn)并且用來(lái)以存儲(chǔ)于碼/串查找和翻譯單元141中的對(duì)應(yīng)數(shù)據(jù)串(例如文本串)修改、 替換和/或翻譯0CR數(shù)據(jù)(例如文本數(shù)據(jù))和基于代碼的數(shù)據(jù)。例如在上例中，如果標(biāo)記 控制單元135檢測(cè)到非英語(yǔ)語(yǔ)言的制造商名稱(chēng)的(在可攜式攝像機(jī)的圖像中的)文本(例 如西班牙語(yǔ)文本)(即媒體內(nèi)容)，則標(biāo)記控制單元135能夠執(zhí)行OCR/基于代碼的算法119 并且從碼/串查找和翻譯單元141取回?cái)?shù)據(jù)以將制造商名稱(chēng)的非英語(yǔ)語(yǔ)言(例如西班牙 語(yǔ))文本翻譯成制造商名稱(chēng)的英語(yǔ)形式。就這一點(diǎn)而言，碼/串查找和翻譯單元141能夠用英語(yǔ)版本對(duì)應(yīng)內(nèi)容的文本串替換非英語(yǔ)語(yǔ)言的文本串(或者通過(guò)執(zhí)行OCR/基于代碼的 算法來(lái)標(biāo)識(shí)的任何其它文本串)。此外，如果標(biāo)記控制單元135在可攜式攝像機(jī)的圖像中檢 測(cè)到條形碼(如在上例中那樣)，則標(biāo)記控制單元135能夠執(zhí)行OCR/基于代碼的算法119 并且從碼/串查找和翻譯單元141取回?cái)?shù)據(jù)，該碼/串查找和翻譯單元可以用存儲(chǔ)于碼/ 串查找和翻譯單元141中的一個(gè)或者多個(gè)其它串(如例如可攜式攝像機(jī)的制造商(例如 S0NYTM))替換條形碼數(shù)據(jù)。存儲(chǔ)于碼/串查找和翻譯單元141中的數(shù)據(jù)(例如文本串)可 以鏈接到或者關(guān)聯(lián)于OCR數(shù)據(jù)和基于代碼的數(shù)據(jù)，并且這一鏈接或者關(guān)聯(lián)可以適于作為如 下觸發(fā)器，該觸發(fā)器也能夠與讓標(biāo)記控制單元135修改、替換或者翻譯作為執(zhí)行OCR/基于 代碼的算法141的結(jié)果而標(biāo)識(shí)的數(shù)據(jù)。 應(yīng)當(dāng)指出存儲(chǔ)于碼/串查找和翻譯單元141中的替換串可以涉及將識(shí)別的字(作 為執(zhí)行OCR/基于代碼的算法的結(jié)果來(lái)標(biāo)識(shí))翻譯成另一語(yǔ)言(如上所述)和/或基于識(shí) 別的字(作為執(zhí)行OCR/基于代碼的算法的結(jié)果來(lái)標(biāo)識(shí))來(lái)查找的內(nèi)容和/或任何其它有 關(guān)信息。例如，涉及動(dòng)詞變化、語(yǔ)法、定義、辭典內(nèi)容、百科全書(shū)內(nèi)容等的數(shù)據(jù)可以存儲(chǔ)于碼 /串查找和翻譯單元141中并且可以時(shí)域作為用于替換標(biāo)識(shí)的0CR數(shù)據(jù)和/或基于代碼的 數(shù)據(jù)的一個(gè)或者多個(gè)串。 一個(gè)或者多個(gè)串也可以包括但不限于碼/串查找翻譯單元141可 以基于對(duì)OCR數(shù)據(jù)和/或基于代碼的數(shù)據(jù)(例如條形碼)的標(biāo)識(shí)來(lái)標(biāo)識(shí)的產(chǎn)品名稱(chēng)、產(chǎn)品 信息、商標(biāo)、型號(hào)/機(jī)型、制造商和/或任何其它關(guān)聯(lián)屬性。 移動(dòng)終端10的用戶也可以使用搜索模塊128來(lái)創(chuàng)建鏈接到物理對(duì)象的一個(gè)或者 多個(gè)標(biāo)記，如例如基于代碼的標(biāo)記、OCR標(biāo)記和可視標(biāo)記。例如，用戶可以將照相機(jī)模塊指 向?qū)ο笕缋鐣?shū)籍或者捕獲該對(duì)象的圖像(即媒體內(nèi)容)。書(shū)籍的圖像可以經(jīng)由媒體內(nèi)容 輸入67提供給標(biāo)記控制單元135。移動(dòng)終端10的用戶可以使用小鍵盤(pán)30來(lái)鍵入涉及書(shū)籍 的元信息，比如價(jià)格信息、標(biāo)題、作者的姓名、其中可以購(gòu)書(shū)的web頁(yè)面或者任何其它適當(dāng) 元信息并且例如將這一信息鏈接或者關(guān)聯(lián)(即標(biāo)記)到向標(biāo)記控制單元135提供的0CR搜 索(或者代之以基于代碼的搜索或者可視搜索)。標(biāo)記控制單元135可以代表用戶存儲(chǔ)這 一信息(例如在用戶簡(jiǎn)檔中)或者經(jīng)由輸入/輸出線147將這一信息傳送到可視搜索服務(wù) 器54和/或可視搜索數(shù)據(jù)庫(kù)51。當(dāng)照相機(jī)模塊指向關(guān)聯(lián)媒體內(nèi)容即例如書(shū)籍或者捕獲該 媒體內(nèi)容的圖像時(shí)，通過(guò)將這一標(biāo)記信息傳送到可視搜索服務(wù)器54和可視搜索數(shù)據(jù)庫(kù)51， 可以向移動(dòng)終端的一個(gè)或者多個(gè)用戶提供與標(biāo)記關(guān)聯(lián)的信息。 這樣，如果標(biāo)記控制單元135隨后接收媒體內(nèi)容并且通過(guò)執(zhí)行OCR/基于代碼的算 法119(或者可視搜索算法121)來(lái)執(zhí)行0CR搜索(或者基于代碼的搜索或者可視搜索)并 且確定與書(shū)籍關(guān)聯(lián)的數(shù)據(jù)在OCR搜索結(jié)果(或者基于代碼的搜索結(jié)果或者可視搜索結(jié)果) 內(nèi)，則標(biāo)記控制單元135可以向顯示器28提供待示出的候選(例如書(shū)籍的名稱(chēng)、其中可以 購(gòu)書(shū)的web頁(yè)面(例如BORDERS 的web站點(diǎn)、價(jià)格信息或者任何其它適當(dāng)信息))列表。 取而代之，當(dāng)媒體內(nèi)容(即書(shū)籍)與在可視搜索服務(wù)器54和/或可視搜索數(shù)據(jù)庫(kù)51存儲(chǔ) 的關(guān)聯(lián)數(shù)據(jù)匹配時(shí)，移動(dòng)終端10的用戶和/或其它移動(dòng)終端10的用戶可以從可視搜索服 務(wù)器54和/或可視搜索數(shù)據(jù)庫(kù)51接收候選(經(jīng)由輸入/輸出線147)。
除此之外或者取而代之，還應(yīng)當(dāng)指出移動(dòng)終端的用戶可以利用0CR算法119(和/ 或可視搜索算法121)以生成0CR標(biāo)記。例如，移動(dòng)終端的用戶可以將他的/她的照相機(jī)模 塊指向?qū)ο?例如書(shū)籍)或者捕獲該對(duì)象的經(jīng)由媒體內(nèi)容輸入67提供給標(biāo)記控制單元135的圖像。識(shí)別到對(duì)象(即書(shū)籍)的圖像在它的封面上具有文本數(shù)據(jù)，標(biāo)記控制單元135可 以執(zhí)行0CR算法119，并且標(biāo)記控制單元135可以根據(jù)在書(shū)籍的封面上的文本數(shù)據(jù)中標(biāo)識(shí)的 它的標(biāo)題來(lái)標(biāo)注(即標(biāo)記)書(shū)籍(此外，標(biāo)記控制單元134可以標(biāo)記書(shū)籍的封面上的檢測(cè) 到的文本以適于作為可以用來(lái)經(jīng)由移動(dòng)終端10的web瀏覽器聯(lián)機(jī)搜索內(nèi)容的關(guān)鍵字)。標(biāo) 記控制單元135可以代表用戶存儲(chǔ)這一數(shù)據(jù)(即書(shū)籍的標(biāo)題)或者將這一信息傳送到可視 搜索服務(wù)器54和/或可視搜索數(shù)據(jù)庫(kù)51，從而當(dāng)一個(gè)或者多個(gè)移動(dòng)終端的照相機(jī)模塊36 指向書(shū)籍或者捕獲書(shū)籍的圖像時(shí)，服務(wù)器54和/或數(shù)據(jù)庫(kù)51可以將這一數(shù)據(jù)(即書(shū)籍的 標(biāo)題)提供給一個(gè)或者多個(gè)移動(dòng)終端的用戶。這節(jié)省移動(dòng)終端的用戶為了通過(guò)使用小鍵盤(pán) 30等而人工輸入元信息以便生成標(biāo)記而需要的時(shí)間和精力。例如，當(dāng)用戶將照相機(jī)模塊指 向產(chǎn)品并且在產(chǎn)品上有已經(jīng)包含涉及產(chǎn)品的信息的基于代碼的標(biāo)記時(shí)，這一信息也可以用 來(lái)生成標(biāo)記而無(wú)需用戶人工輸入數(shù)據(jù)。 當(dāng)執(zhí)行可視搜索算法121時(shí)，移動(dòng)終端10的用戶可以生成附加標(biāo)記。例如，如果 照相機(jī)模塊36指向?qū)ο?，如例如商店中的谷?lèi)食品盒，則涉及這一對(duì)象的信息可以經(jīng)由媒 體內(nèi)容輸入67提供給標(biāo)記控制單元135。標(biāo)記控制單元135可以執(zhí)行可視搜索算法21，從 而搜索模塊128對(duì)谷類(lèi)食品盒進(jìn)行可視搜索?？梢曀阉魉惴梢陨煽梢暯Y(jié)果，比如谷類(lèi) 食品盒的例如圖像或者視頻剪輯，并且在這一圖像或者視頻剪輯中可以包括向標(biāo)記控制單 元提供的諸如價(jià)格信息、谷類(lèi)食品盒上的URL、產(chǎn)品名稱(chēng)(例如Cheerios )、制造商的名稱(chēng) 等其它數(shù)據(jù)?？梢曀阉鹘Y(jié)果中的這一數(shù)據(jù)如價(jià)格信息可以標(biāo)記或者鏈接到可以代表用戶存 儲(chǔ)于標(biāo)記控制單元中的谷類(lèi)食品盒圖像或者視頻剪輯，從而當(dāng)移動(dòng)終端的用戶隨后將他的 照相機(jī)模塊指向谷類(lèi)食品盒或者捕獲谷類(lèi)食品盒的媒體內(nèi)容(圖像/視頻剪輯)時(shí)，向顯 示器28提供信息(例如價(jià)格信息、URL等)。此外，這一信息可以傳送到可以在用戶將照相 機(jī)模塊指向谷類(lèi)食品盒和/或捕獲谷類(lèi)食品盒的媒體內(nèi)容(圖像/視頻剪輯)時(shí)向一個(gè)或 者多個(gè)移動(dòng)終端10的用戶提供該信息的可視搜索服務(wù)器54和/或可視搜索數(shù)據(jù)庫(kù)51。同 樣，這節(jié)省移動(dòng)終端的用戶為了通過(guò)使用小鍵盤(pán)30等人工輸入元信息以便創(chuàng)建標(biāo)記而需 要的時(shí)間和精力。 如上所述，當(dāng)移動(dòng)終端10的用戶從可視對(duì)象取回內(nèi)容時(shí)可以使用由標(biāo)記控制單 元135生成的標(biāo)記。此外，鑒于前述內(nèi)容，應(yīng)當(dāng)指出用戶可以通過(guò)使用搜索模塊28從可視 對(duì)象獲得嵌入式基于代碼的標(biāo)記、獲得向可視對(duì)象添加的OCR內(nèi)容、基于位置和關(guān)鍵字(例 如來(lái)自O(shè)CR數(shù)據(jù)獲得內(nèi)容并且通過(guò)使用基于關(guān)鍵字的過(guò)濾來(lái)消除多個(gè)選擇。例如，當(dāng)搜索 涉及書(shū)籍的信息時(shí)，來(lái)自O(shè)CR搜索的輸入可以包含可以如下信息如作者姓名和書(shū)籍標(biāo)題， 該信息可以用作為用于濾除無(wú)關(guān)信息的關(guān)鍵字。 本發(fā)明的示例性實(shí)施例有助于以向移動(dòng)設(shè)備的用戶提供更佳用戶體驗(yàn)的統(tǒng)一和 集成方式利用OCR搜索、基于代碼的搜索和移動(dòng)可視搜索。 應(yīng)當(dāng)理解可以通過(guò)各種裝置如硬件、固件和/或包括一個(gè)或者多個(gè)計(jì)算機(jī)程序指 令的軟件來(lái)實(shí)施圖6、圖8、圖10、圖12、圖14、圖16和圖18中所示流程圖的各塊或者步驟 以及流程圖中的塊的組合。例如，上述一個(gè)或者多個(gè)過(guò)程可以由計(jì)算機(jī)程序指令體現(xiàn)。就 這一點(diǎn)而言，體現(xiàn)上述過(guò)程的計(jì)算機(jī)程序指令可以由移動(dòng)終端的存儲(chǔ)器設(shè)備存儲(chǔ)并且由移 動(dòng)終端中的內(nèi)置處理器執(zhí)行。如將認(rèn)識(shí)到的那樣，任何這樣的計(jì)算機(jī)程序指令可以加載到 計(jì)算機(jī)或者其它可編程裝置(即硬件)上以產(chǎn)生機(jī)器，從而指令在計(jì)算機(jī)或者其它可編程
36裝置(例如硬件)上執(zhí)行以便實(shí)施在一個(gè)或者多個(gè)流程圖塊或者步驟中指定的功能。這些 計(jì)算機(jī)程序指令也可以存儲(chǔ)于計(jì)算機(jī)可讀存儲(chǔ)器中，該存儲(chǔ)器可以指引計(jì)算機(jī)或者其它可 編程裝置以特定方式工作，從而存儲(chǔ)于計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生制造產(chǎn)品，該產(chǎn)品 包括實(shí)施在一個(gè)或者多個(gè)流程圖塊或者步驟中指定的功能的指令裝置。計(jì)算機(jī)程序指令也 可以加載到計(jì)算機(jī)或者其它可編程裝置上以造成在計(jì)算機(jī)或者其它可編程裝置上進(jìn)行一 連串操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)施的過(guò)程，從而在計(jì)算機(jī)或者其它可編程裝置上執(zhí)行的指令 提供用于實(shí)施在系統(tǒng)中實(shí)現(xiàn)的指令的步驟。 可以用多種方式實(shí)現(xiàn)上述功能。例如，用于實(shí)現(xiàn)各上述功能的任何適當(dāng)裝置可以 用來(lái)實(shí)現(xiàn)本發(fā)明。在一個(gè)實(shí)施例中，本發(fā)明的所有或者部分要素一般在計(jì)算機(jī)程序產(chǎn)品的 控制之下操作。用于實(shí)現(xiàn)本發(fā)明實(shí)施例方法的計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)可讀存儲(chǔ)介質(zhì) (比如非易失性存儲(chǔ)介質(zhì))和在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中體現(xiàn)的計(jì)算機(jī)可讀程序碼部分(比 如一連串計(jì)算機(jī)指令)。 從前文描述和關(guān)聯(lián)附圖中呈現(xiàn)的教導(dǎo)中受益的在本發(fā)明涉及的領(lǐng)域中的技術(shù)人 員將想到這里闡述的本發(fā)明的許多修改和其它實(shí)施例。因此將理解本發(fā)明并不限于公開(kāi)的 具體實(shí)施例并且將在所附權(quán)利要求書(shū)的范圍內(nèi)包括修改和其它實(shí)施例。雖然這里運(yùn)用具體 術(shù)語(yǔ)，但是在通用和描述的意義上而不是出于限制目的來(lái)使用它們。
權(quán)利要求
一種方法，包括接收媒體內(nèi)容；分析與所述媒體內(nèi)容關(guān)聯(lián)的數(shù)據(jù)；選擇多個(gè)算法之中的第一算法；執(zhí)行所述第一算法并且根據(jù)所述第一算法執(zhí)行一個(gè)或者多個(gè)搜索；以及基于所述一個(gè)或者多個(gè)搜索來(lái)接收與所述媒體內(nèi)容對(duì)應(yīng)的一個(gè)或者多個(gè)候選。
2. 根據(jù)權(quán)利要求1所述的方法，其中接收還包括接收元信息，并且分析還包括分析元信息。
3. 根據(jù)權(quán)利要求2所述的方法，其中所述媒體內(nèi)容包括現(xiàn)實(shí)世界中的一個(gè)或者多個(gè)對(duì) 象，并且所述元信息包括所述媒體內(nèi)容的特性、與終端關(guān)聯(lián)的環(huán)境特性、與所述終端關(guān)聯(lián)的 地理特性以及與所述終端的用戶關(guān)聯(lián)的個(gè)人特性中的至少一個(gè)。
4. 根據(jù)權(quán)利要求2所述的方法，其中所述元信息包括終端的位置或者所述媒體內(nèi)容的 位置中的至少一個(gè)。
5. 根據(jù)權(quán)利要求4所述的方法，其中選擇所述第一算法是基于所述位置。
6. 根據(jù)權(quán)利要求1所述的方法，其中所述媒體內(nèi)容包括圖像、視頻數(shù)據(jù)、圖形動(dòng)畫(huà)、數(shù) 字照片和音頻數(shù)據(jù)中的至少一個(gè)。
7. 根據(jù)權(quán)利要求1所述的方法，其中所述多個(gè)算法包括基于代碼的搜索算法、光學(xué)字 符識(shí)別(OCR)搜索算法和可視搜索算法。
8. 根據(jù)權(quán)利要求2所述的方法，其中所述元信息包括限定用于在所述多個(gè)算法之中選 擇所述第一算法的標(biāo)準(zhǔn)的一個(gè)或者多個(gè)規(guī)則。
9. 根據(jù)權(quán)利要求1所述的方法，還包括在接收一個(gè)或者多個(gè)候選之前執(zhí)行所述多個(gè)算 法之中的第二算法。
10. 根據(jù)權(quán)利要求7所述的方法，還包括在接收媒體內(nèi)容之前，確定所述媒體內(nèi)容是否 包括涉及基于代碼的數(shù)據(jù)的屬性，并且如果包括，則所述第一算法包括用于搜索與所述媒 體內(nèi)容關(guān)聯(lián)的基于代碼的數(shù)據(jù)的所述基于代碼的搜索算法。
11. 根據(jù)權(quán)利要求7所述的方法，還包括在接收所述媒體內(nèi)容之前確定所述媒體內(nèi)容 是否包括涉及OCR數(shù)據(jù)的屬性，并且如果包括，則所述第一算法包括用于搜索與所述媒體 內(nèi)容關(guān)聯(lián)的0CR數(shù)據(jù)的所述0CR搜索算法。
12. 根據(jù)權(quán)利要求7所述的方法，還包括在接收媒體內(nèi)容之前確定所述媒體內(nèi)容是否 包括涉及基于代碼的數(shù)據(jù)的屬性；確定所述媒體內(nèi)容是否包括涉及0CR數(shù)據(jù)的屬性；以及當(dāng)所述媒體內(nèi)容沒(méi)有包括涉及基于代碼的數(shù)據(jù)或者OCR數(shù)據(jù)的屬性時(shí)，判決所述第一 算法包括搜索所述媒體內(nèi)容的可視屬性的所述可視搜索算法。
13. 根據(jù)權(quán)利要求1所述的方法，還包括在分析數(shù)據(jù)之前接收與終端用戶的屬性關(guān)聯(lián) 的一個(gè)或者多個(gè)限定輸入，所述一個(gè)或者多個(gè)限定輸入包括用于選擇所述第一算法的規(guī) 則。
14. 根據(jù)權(quán)利要求13所述的方法，其中所述一個(gè)或者多個(gè)限定輸入包括用戶的語(yǔ)音、 所述用戶的手勢(shì)、所述用戶的觸摸和由所述用戶生成的輸入數(shù)據(jù)中的至少一個(gè)。
15. 根據(jù)權(quán)利要求2所述的方法，其中所述第一算法包括可視搜索算法并且還包括確定所述一個(gè)或者多個(gè)搜索是否標(biāo)識(shí)與所述媒體內(nèi)容關(guān)聯(lián)的多個(gè)標(biāo)記； 確定所述多個(gè)標(biāo)記是否包括光學(xué)字符識(shí)別(OCR)標(biāo)記、基于代碼的標(biāo)記或者可視標(biāo) 記，并且如果是則顯示所述一個(gè)或者多個(gè)候選，其中所述一個(gè)或者多個(gè)候選包括與所述0CR標(biāo)記關(guān)聯(lián) 的數(shù)據(jù)、與所述基于代碼的標(biāo)記關(guān)聯(lián)的數(shù)據(jù)或者與可視標(biāo)記關(guān)聯(lián)的數(shù)據(jù)。
16. 根據(jù)權(quán)利要求3所述的方法，其中所述一個(gè)或者多個(gè)候選中的各候選鏈接到所述 一個(gè)或者多個(gè)對(duì)象、所述終端和所述用戶并且對(duì)應(yīng)于所需信息項(xiàng)。
17. —種方法，包括 接收媒體內(nèi)容和元信息；執(zhí)行一個(gè)或者多個(gè)搜索算法并且利用所述相應(yīng)搜索算法對(duì)所述媒體內(nèi)容執(zhí)行一個(gè)或 者多個(gè)搜索而且收集對(duì)應(yīng)結(jié)果；以及基于一個(gè)或者多個(gè)因子對(duì)所述結(jié)果賦予優(yōu)先級(jí)。
18. 根據(jù)權(quán)利要求17所述的方法，還包括 接收所述賦予優(yōu)先級(jí)的結(jié)果； 確定所述賦予優(yōu)先級(jí)的結(jié)果的準(zhǔn)確性； 對(duì)所述賦予優(yōu)先級(jí)的結(jié)果重新賦予優(yōu)先級(jí)； 將值分配給各所述重新賦予優(yōu)先級(jí)的結(jié)果；以及顯示與一個(gè)或者多個(gè)所述重新賦予優(yōu)先級(jí)的結(jié)果關(guān)聯(lián)的一個(gè)或者多個(gè)候選。
19. 根據(jù)權(quán)利要求18所述的方法，還包括以與所述重新賦予優(yōu)先級(jí)的結(jié)果中的數(shù)據(jù)對(duì)應(yīng)的順序布置所述一個(gè)或者多個(gè)候選中的各候選。
20. 根據(jù)權(quán)利要求18所述的方法，其中所述一個(gè)或者多個(gè)因子包括準(zhǔn)確性數(shù)據(jù)、簡(jiǎn)潔 和抽象數(shù)據(jù)以及與所述媒體內(nèi)容關(guān)聯(lián)的既定觀眾數(shù)據(jù)中的至少一個(gè)。
21. —種方法，包括 接收媒體內(nèi)容和元信息；執(zhí)行多個(gè)搜索算法之中的第一搜索算法并且檢測(cè)與所述媒體內(nèi)容關(guān)聯(lián)的第一類(lèi)型的 一個(gè)或者多個(gè)標(biāo)記；確定第二類(lèi)型和第三類(lèi)型的一個(gè)或者多個(gè)標(biāo)記是否與所述媒體內(nèi)容關(guān)聯(lián)；執(zhí)行所述多個(gè)搜索算法之中的第二搜索算法并且檢測(cè)與所述第二類(lèi)型和所述第三類(lèi) 型的一個(gè)或者多個(gè)標(biāo)記關(guān)聯(lián)的數(shù)據(jù)；接收一個(gè)或者多個(gè)候選；以及將所述一個(gè)或者多個(gè)候選中包括與所述第二類(lèi)型和所述第三類(lèi)型的一個(gè)或者多個(gè)標(biāo) 記對(duì)應(yīng)的數(shù)據(jù)的相應(yīng)候選插入到所述一個(gè)或者多個(gè)候選中與所述第一類(lèi)型的一個(gè)或者多 個(gè)標(biāo)記對(duì)應(yīng)的相應(yīng)候選中，其中所述第一類(lèi)型、第二類(lèi)型和第三類(lèi)型是不同的。
22. 根據(jù)權(quán)利要求21所述的方法，其中所述第一搜索算法對(duì)應(yīng)于可視搜索算法，所述 第二算法對(duì)應(yīng)于光學(xué)字符識(shí)別(OCR)搜索算法和基于代碼的算法，并且其中所述第一類(lèi) 型、第二類(lèi)型和第三類(lèi)型的所述一個(gè)或者多個(gè)標(biāo)記分別包括可視標(biāo)記、OCR標(biāo)記和基于代碼 的標(biāo)記。
23. —種包括處理單元的設(shè)備，所述處理單元配置成 接收媒體內(nèi)容；分析與所述媒體內(nèi)容關(guān)聯(lián)的數(shù)據(jù)；選擇多個(gè)算法之中的第一算法；執(zhí)行所述第一算法并且根據(jù)所述第一算法執(zhí)行一個(gè)或者多個(gè)搜索；以及 基于所述一個(gè)或者多個(gè)搜索來(lái)接收與所述媒體內(nèi)容對(duì)應(yīng)的一個(gè)或者多個(gè)候選。
24. 根據(jù)權(quán)利要求23所述的設(shè)備，其中所述處理單元還被配置成接收元信息并且分析 所述元信息。
25. 根據(jù)權(quán)利要求23所述的設(shè)備，其中所述媒體內(nèi)容包括現(xiàn)實(shí)世界中的一個(gè)或者多個(gè) 對(duì)象，并且所述元信息包括所述媒體內(nèi)容的特性、與所述設(shè)備關(guān)聯(lián)的環(huán)境特性、與所述終端 關(guān)聯(lián)的地理特性以及與所述設(shè)備的用戶關(guān)聯(lián)的個(gè)人特性中的至少一個(gè)。
26. 根據(jù)權(quán)利要求23所述的設(shè)備，其中所述元信息包括所述設(shè)備的位置或者所述媒體 內(nèi)容的位置中的至少一個(gè)。
27. 根據(jù)權(quán)利要求26所述的設(shè)備，其中所述選擇所述第一算法是基于所述位置。
28. 根據(jù)權(quán)利要求23所述的設(shè)備，其中所述多個(gè)算法包括基于代碼的搜索算法、光學(xué) 字符識(shí)別(OCR)搜索算法和可視搜索算法。
29. 根據(jù)權(quán)利要求24所述的設(shè)備，其中所述元信息包括限定用于選擇所述第一算法的 標(biāo)準(zhǔn)的一個(gè)或者多個(gè)規(guī)則。
30. 根據(jù)權(quán)利要求23所述的設(shè)備，其中所述處理單元還被配置成確定所述媒體內(nèi)容是 否包括涉及基于代碼的數(shù)據(jù)的屬性，并且如果包括，則所述第一算法包括搜索與所述媒體 內(nèi)容關(guān)聯(lián)的基于代碼的數(shù)據(jù)的所述基于代碼的搜索算法。
31. 根據(jù)權(quán)利要求28所述的設(shè)備，其中所述處理單元還被配置成確定所述媒體內(nèi)容是 否包括涉及OCR數(shù)據(jù)的屬性，并且如果包括，則所述第一算法包括搜索與所述媒體內(nèi)容關(guān) 聯(lián)的OCR數(shù)據(jù)的所述OCR搜索算法。
32. 根據(jù)權(quán)利要求27所述的設(shè)備，其中所述處理單元還被配置成確定所述媒體內(nèi)容 是否包括涉及基于代碼的數(shù)據(jù)的屬性；確定所述媒體內(nèi)容是否包括涉及OCR數(shù)據(jù)的屬性；以及當(dāng)所述媒體內(nèi)容沒(méi)有包括涉及基于代碼的數(shù)據(jù)或者OCR數(shù)據(jù)的屬性時(shí)判決所述第一 算法包括搜索所述媒體內(nèi)容的可視屬性的所述可視搜索算法。
33. 根據(jù)權(quán)利要求23所述的設(shè)備，其中所述處理單元還被配置成接收與設(shè)備用戶的屬 性關(guān)聯(lián)的一個(gè)或者多個(gè)限定輸入，所述一個(gè)或者多個(gè)限定輸入包括用于選擇所述第一算法 的規(guī)則。
34. —種包括處理單元的設(shè)備，所述處理單元被配置成 接收媒體內(nèi)容和元信息；執(zhí)行一個(gè)或者多個(gè)搜索算法并且利用所述相應(yīng)搜索算法對(duì)所述媒體內(nèi)容執(zhí)行一個(gè)或 者多個(gè)搜索而且收集對(duì)應(yīng)結(jié)果；以及基于一個(gè)或者多個(gè)因子對(duì)所述結(jié)果賦予優(yōu)先級(jí)。
35. 根據(jù)權(quán)利要求34所述的設(shè)備，包括處理單元，所述處理單元被配置成 接收所述賦予優(yōu)先級(jí)的結(jié)果； 確定所述賦予優(yōu)先級(jí)的結(jié)果的準(zhǔn)確性； 將所述賦予優(yōu)先級(jí)的結(jié)果重新賦予優(yōu)先級(jí)；將值分配給各所述重新賦予優(yōu)先級(jí)的結(jié)果；以及顯示與一個(gè)或者多個(gè)所述重新賦予優(yōu)先級(jí)的結(jié)果關(guān)聯(lián)的一個(gè)或者多個(gè)候選。
36. —種包括處理單元的設(shè)備，所述處理單元被配置成 接收媒體內(nèi)容和元信息；執(zhí)行多個(gè)搜索算法之中的第一搜索算法并且檢測(cè)與所述媒體內(nèi)容關(guān)聯(lián)的第一類(lèi)型的 一個(gè)或者多個(gè)標(biāo)記；確定第二類(lèi)型和第三類(lèi)型的一個(gè)或者多個(gè)標(biāo)記是否與所述媒體內(nèi)容關(guān)聯(lián)；執(zhí)行所述多個(gè)搜索算法之中的第二搜索算法并且檢測(cè)與所述第二類(lèi)型和所述第三類(lèi) 型的一個(gè)或者多個(gè)標(biāo)記關(guān)聯(lián)的數(shù)據(jù)；接收一個(gè)或者多個(gè)候選；以及將所述一個(gè)或者多個(gè)候選中包括與所述第二類(lèi)型和所述第三類(lèi)型的一個(gè)或者多個(gè)標(biāo) 記對(duì)應(yīng)的數(shù)據(jù)的相應(yīng)候選插入到所述一個(gè)或者多個(gè)候選中與所述第一類(lèi)型的一個(gè)或者多 個(gè)標(biāo)記對(duì)應(yīng)的相應(yīng)候選中，其中所述第一類(lèi)型、第二類(lèi)型和第三類(lèi)型是不同的。
37. —種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括至少一個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所 述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)具有存儲(chǔ)于其中的計(jì)算機(jī)可讀程序碼部分，所述計(jì)算機(jī)程序碼部分 包括第一可執(zhí)行部分，用于接收媒體內(nèi)容； 第二可執(zhí)行部分，用于分析與所述媒體內(nèi)容關(guān)聯(lián)的數(shù)據(jù)； 第三可執(zhí)行部分，用于選擇多個(gè)算法之中的第一算法；第四可執(zhí)行部分，用于執(zhí)行所述第一算法并且根據(jù)所述第一算法執(zhí)行一個(gè)或者多個(gè)搜 索；以及第五可執(zhí)行部分，用于基于所述一個(gè)或者多個(gè)搜索來(lái)接收與所述媒體內(nèi)容對(duì)應(yīng)的一個(gè) 或者多個(gè)候選。
全文摘要
提供一種用于在基于代碼的搜索、光學(xué)字符識(shí)別(OCR)搜索與可視搜索之間切換的設(shè)備。該設(shè)備包括用于從設(shè)備的照相機(jī)或者其它單元接收媒體內(nèi)容并且將這一媒體內(nèi)容傳送到切換器的媒體內(nèi)容輸入。此外，該設(shè)備包括能夠從設(shè)備的單元接收元信息并且將元信息傳送到切換器的元信息輸入。切換器能夠利用接收的媒體內(nèi)容和元信息以在可視搜索算法、OCR算法與基于代碼的算法之間選擇和/或切換。
文檔編號(hào)G06F17/30GK101743541SQ200880018794
公開(kāi)日2010年6月16日 申請(qǐng)日期2008年3月10日 優(yōu)先權(quán)日2007年4月24日
發(fā)明者C·P·斯克羅特, 高江 申請(qǐng)人:諾基亞公司