本發(fā)明的實施方式涉及增強(qiáng)現(xiàn)實技術(shù)領(lǐng)域，更具體地，本發(fā)明的實施方式涉及一種增強(qiáng)現(xiàn)實顯示方法和裝置。

背景技術(shù)：

本部分旨在為權(quán)利要求書中陳述的本發(fā)明的實施方式提供背景或上下文。此處的描述不因為包括在本部分中就承認(rèn)是現(xiàn)有技術(shù)。

物理設(shè)備的內(nèi)部結(jié)構(gòu)有助于用戶了解物理設(shè)備的結(jié)構(gòu)組成和物理設(shè)備的工作原理。例如，展示抽油煙機(jī)的內(nèi)部離心式風(fēng)機(jī)或者展示灶臺的燃?xì)膺M(jìn)入進(jìn)氣管并被脈沖點(diǎn)火器點(diǎn)燃的過程等等。但是，實際應(yīng)用中，這樣的展示往往由于實際展示環(huán)境的限制(例如，家電賣場不方便拆卸油煙機(jī)以向顧客展示風(fēng)機(jī))，或難以可視(例如灶臺的燃?xì)獠豢梢?或規(guī)則限制(如家電賣場不允許出現(xiàn)明火，所以無法展示燃?xì)庠畹幕鹧?而采用多媒體的方式或者道具輔助的方式進(jìn)行展示。

常見的多媒體方式為透視圖、視頻動畫、根據(jù)物理設(shè)備的結(jié)構(gòu)設(shè)計制作展示視頻或抽象技術(shù)的過程原理、利用疊加儀投射靜態(tài)圖像或動畫到物體表面(如圖1所示)、三維可交互動畫等。常見的道具輔助展示方式包括LED燈箱(如圖2所示)，可見消耗物(例如氣體)的輔助產(chǎn)生工具(如圖3所示)。

技術(shù)實現(xiàn)要素：

上述的各種展示方式中，透視圖為單一角度展示，用戶無法看到設(shè)備內(nèi)部結(jié)構(gòu)的全貌，而視頻動畫為線型故事描述結(jié)構(gòu)，用戶只能被動觀看到視頻動畫中顯示的內(nèi)容，而不能按照自己意愿選擇觀看，疊加儀投射靜態(tài)圖像或動畫到物體表面同樣為單一角度，無法看到全貌，三維交互動畫可以在圖像顯示器上通過輸入設(shè)備進(jìn)行交互，但是此三維動畫脫離了真實環(huán)境，影響了用戶體驗；而道具輔助展示方式一方面需要輔助的道具，另一方面部分道具輔助展示方式也無法展示全部的角度。

為此，非常需要一種改進(jìn)的設(shè)備內(nèi)部結(jié)構(gòu)顯示方法，以在真實環(huán)境中從不同角度全方位展示設(shè)備內(nèi)部結(jié)構(gòu)或者設(shè)備的工作原理。

在本上下文中，本發(fā)明的實施方式期望提供一種增強(qiáng)現(xiàn)實顯示方法和裝置。

在本發(fā)明實施方式的第一方面中，提供了一種增強(qiáng)現(xiàn)實AR顯示方法，包括：

通過圖像采集單元對當(dāng)前場景中的物理設(shè)備進(jìn)行圖像采集，并且在相應(yīng)于所述圖像采集單元的顯示屏上呈現(xiàn)采集到的實時圖像；

將對應(yīng)于所述物理設(shè)備的三維顯示信息疊加在所述實時圖像的相應(yīng)位置處進(jìn)行顯示，所述三維顯示信息包括對應(yīng)于所述物理設(shè)備內(nèi)部結(jié)構(gòu)的三維顯示信息和/或用于模擬所述物理設(shè)備工作過程的三維顯示信息。

在本發(fā)明實施方式的第二方面中，提供了一種增強(qiáng)現(xiàn)實AR顯示裝置，包括：

圖像采集單元，用于通過圖像采集單元對當(dāng)前場景中的物理設(shè)備進(jìn)行圖像采集，并且在相應(yīng)于所述圖像采集單元的顯示屏上呈現(xiàn)采集到的實時圖像；

顯示單元，用于將對應(yīng)于所述物理設(shè)備的三維顯示信息疊加在所述實時圖像的相應(yīng)位置處進(jìn)行顯示，所述三維顯示信息包括對應(yīng)于所述物理設(shè)備內(nèi)部結(jié)構(gòu)的三維顯示信息和/或用于模擬所述物理設(shè)備工作過程的三維顯示信息。

在本發(fā)明實施方式的第三方面中，提供了一種增強(qiáng)現(xiàn)實AR顯示裝置，例如，可以包括存儲器和處理器，其中，處理器可以用于讀取存儲器中的程序，執(zhí)行下列過程：通過圖像采集單元對當(dāng)前場景中的物理設(shè)備進(jìn)行圖像采集，并且在相應(yīng)于所述圖像采集單元的顯示屏上呈現(xiàn)采集到的實時圖像；將對應(yīng)于所述物理設(shè)備的三維顯示信息疊加在所述實時圖像的相應(yīng)位置處進(jìn)行顯示，所述三維顯示信息包括對應(yīng)于所述物理設(shè)備內(nèi)部結(jié)構(gòu)的三維顯示信息和/或用于模擬所述物理設(shè)備工作過程的三維顯示信息。

在本發(fā)明實施方式的第四方面中，提供了一種程序產(chǎn)品，其包括程序代碼，當(dāng)所述程序產(chǎn)品運(yùn)行時，所述程序代碼用于執(zhí)行以下過程：通過圖像采集單元對當(dāng)前場景中的物理設(shè)備進(jìn)行圖像采集，并且在相應(yīng)于所述圖像采集單元的顯示屏上呈現(xiàn)采集到的實時圖像；將對應(yīng)于所述物理設(shè)備的三維顯示信息疊加在所述實時圖像的相應(yīng)位置處進(jìn)行顯示，所述三維顯示信息包括對應(yīng)于所述物理設(shè)備內(nèi)部結(jié)構(gòu)的三維顯示信息和/或用于模擬所述物理設(shè)備工作過程的三維顯示信息。

根據(jù)本發(fā)明實施方式的增強(qiáng)現(xiàn)實AR顯示方法和裝置，通過在實時采集的物理設(shè)備圖像上疊加用于展示該物理設(shè)備的內(nèi)部結(jié)構(gòu)和/或模擬所述物理設(shè)備工作過程的三維顯示信息，由于保留用戶實際所處的環(huán)境作為用戶的主要感知和交互環(huán)境，增加了展示的真實感，而且由于用戶可以根據(jù)實際需要從任意角度對物理設(shè)備進(jìn)行圖像采集，因此，可以全方位的看到物理設(shè)備的內(nèi)部結(jié)構(gòu)和/或工作過程，另外，本發(fā)明提供的物理設(shè)備內(nèi)部結(jié)構(gòu)和/或工作過程顯示方法無需任何道具輔助，且不受環(huán)境限制，從而為用戶帶來了更好的體驗。

附圖說明

通過參考附圖閱讀下文的詳細(xì)描述，本發(fā)明示例性實施方式的上述以及其他目的、特征和優(yōu)點(diǎn)將變得易于理解。在附圖中，以示例性而非限制性的方式示出了本發(fā)明的若干實施方式，其中：

圖1為現(xiàn)有技術(shù)中，利用疊加儀投射靜態(tài)圖像或動畫到物體表面的示意圖；

圖2為現(xiàn)有技術(shù)中，LED燈箱進(jìn)行輔助展示示意圖；

圖3為現(xiàn)有技術(shù)中，可見消耗物(例如氣體)的輔助產(chǎn)生工具示意圖；

圖4示意性地示出了根據(jù)本發(fā)明實施方式的應(yīng)用場景示意圖；

圖5示意性地示出了根據(jù)本發(fā)明實施方式的增強(qiáng)現(xiàn)實顯示方法實施流程示意圖；

圖6a示意性地示出了根據(jù)本發(fā)明實施方式的對物理設(shè)備對應(yīng)的三維顯示信息進(jìn)行顯示的實施流程示意圖；

圖6b示意性地示出了根據(jù)本發(fā)明實施方式的在真實的燃?xì)庠钌巷@示火焰的效果示意圖；

圖7示意性地示出了根據(jù)本發(fā)明另一實施例的增強(qiáng)現(xiàn)實顯示裝置的結(jié)構(gòu)示意圖；

圖8示意性地示出了根據(jù)本發(fā)明又一實施例的增強(qiáng)現(xiàn)實顯示裝置的結(jié)構(gòu)示意圖；

圖9示意性地示出了根據(jù)本發(fā)明再一實施例的增強(qiáng)現(xiàn)實顯示裝置的程序產(chǎn)品示意圖；

在附圖中，相同或?qū)?yīng)的標(biāo)號表示相同或?qū)?yīng)的部分。

具體實施方式

下面將參考若干示例性實施方式來描述本發(fā)明的原理和精神。應(yīng)當(dāng)理解，給出這些實施方式僅僅是為了使本領(lǐng)域技術(shù)人員能夠更好地理解進(jìn)而實現(xiàn)本發(fā)明，而并非以任何方式限制本發(fā)明的范圍。相反，提供這些實施方式是為了使本公開更加透徹和完整，并且能夠?qū)⒈竟_的范圍完整地傳達(dá)給本領(lǐng)域的技術(shù)人員。

本領(lǐng)域技術(shù)人員知道，本發(fā)明的實施方式可以實現(xiàn)為一種系統(tǒng)、裝置、設(shè)備、方法或計算機(jī)程序產(chǎn)品。因此，本公開可以具體實現(xiàn)為以下形式，即：完全的硬件、完全的軟件(包括固件、駐留軟件、微代碼等)，或者硬件和軟件結(jié)合的形式。

根據(jù)本發(fā)明的實施方式，提出了一種增強(qiáng)現(xiàn)實AR顯示方法和裝置。

在本文中，附圖中的任何元素數(shù)量均用于示例而非限制，以及任何命名都僅用于區(qū)分，而不具有任何限制含義。

下面參考本發(fā)明的若干代表性實施方式，詳細(xì)闡釋本發(fā)明的原理和精神。

發(fā)明概述

本發(fā)明人發(fā)現(xiàn)，現(xiàn)有的對于物理設(shè)備內(nèi)部結(jié)構(gòu)和/或工作過程等展示方法中，要么只能從單一角度進(jìn)行展示，無法滿足用戶需求，要么需要道具輔助，增加了展示難度，影響了用戶體驗。

有鑒于此，本發(fā)明提供了一種基于增強(qiáng)現(xiàn)實(AR，Augmented Reality)的顯示方法，通過對真實環(huán)境中的物理設(shè)備進(jìn)行采集得到包含該物理設(shè)備的圖像，并在該圖像的相應(yīng)位置上疊加用于模擬該物理設(shè)備工作過程或者用于展示該物理設(shè)備內(nèi)部結(jié)構(gòu)的三維顯示信息，保留用戶所處真實環(huán)境作為實際展示環(huán)境，增加了展示的真實感，而且用戶可以選擇任意角度獲取物理設(shè)備圖像，從而可以全方位的對物理設(shè)備及其內(nèi)部結(jié)構(gòu)和/或工作過程進(jìn)行展示，提高了用戶體驗。

在介紹了本發(fā)明的基本原理之后，下面具體介紹本發(fā)明的各種非限制性實施方式。

應(yīng)用場景總覽

首先參考圖4，其為本發(fā)明實施例提供的增強(qiáng)現(xiàn)實(AR)方法的應(yīng)用場景示意圖。用戶40通過移動終端41對真實環(huán)境中的物理設(shè)備進(jìn)行圖像采集，例如，用戶40打開移動終端41中安裝的AR顯示客戶端，選擇需要顯示的物理設(shè)備，調(diào)用移動終端41的攝像頭對真實環(huán)境中的物理設(shè)備進(jìn)行圖像采集，在移動終端41的顯示屏幕上實時顯示采集得到的實時圖像，AR顯示客戶端實時計算攝像頭對物理設(shè)備進(jìn)行圖像采集的實時姿態(tài)信息，并利用計算得到的實時姿態(tài)信息和攝像頭的圖像采集參數(shù)對預(yù)先存儲的、該物理設(shè)備對應(yīng)的三維素材信息進(jìn)行成像處理得到對應(yīng)的三維顯示信息，將得到的三維顯示信息疊加在屏幕顯示的物理設(shè)備圖像上。

需要說明的是，具體實施時，需要預(yù)先采集不同種類以及不同型號的物理設(shè)備的三維結(jié)構(gòu)、內(nèi)部結(jié)構(gòu)以及模擬該物理設(shè)備工作過程等相關(guān)的三維素材信息預(yù)置在AR顯示客戶端中。

本發(fā)明實施例中，可以通過任一方式獲得物理設(shè)備的三維結(jié)構(gòu)、內(nèi)部結(jié)構(gòu)以及模擬該物理設(shè)備工作過程等相關(guān)的三維素材信息，比如：

接收用戶或物理設(shè)備廠商提供的物理設(shè)備及其內(nèi)部結(jié)構(gòu)的三維信息。

這種實施方式下，通?？梢杂晌锢碓O(shè)備生產(chǎn)商直接提供物理設(shè)備及其內(nèi)部結(jié)構(gòu)的三維結(jié)構(gòu)圖，根據(jù)獲得的三維結(jié)構(gòu)圖直接獲取相應(yīng)物理設(shè)備及其內(nèi)部結(jié)構(gòu)的三維信息。

而對于用于模擬物理設(shè)備工作過程的三維素材信息可以由物理設(shè)備生產(chǎn)廠商提供，也可以根據(jù)物理設(shè)備工作原理進(jìn)行預(yù)先設(shè)計得到。

上述獲得的三維素材信息可以預(yù)置在AR顯示客戶端中。這樣，用戶在對真實環(huán)境中的物理設(shè)備進(jìn)行圖像采集之前，需要選擇當(dāng)前展示的物理設(shè)備種類及型號，例如，AR顯示客戶端可以在一級菜單中顯示物理設(shè)備種類，在二級菜單種顯示物理設(shè)備品牌，在三級菜單中顯示物理設(shè)備的型號等，以便于用戶選擇。

對于攝像頭的實時姿態(tài)的確定，例如可以使用基于位置識別的方案，比如SLAM(Simultaneous localization and mapping)算法，通過初始化得到初始相機(jī)相對物理設(shè)備姿態(tài)，并在攝像頭移動過程中，進(jìn)行地圖構(gòu)建，插入新的關(guān)鍵幀與標(biāo)記特征點(diǎn)，并根據(jù)物理設(shè)備在地圖中的位置進(jìn)行實時跟蹤，從而得到攝像頭的實時姿態(tài)，這里是SLAM算法是常見的現(xiàn)有技術(shù)，不再贅述。

示例性方法

下面結(jié)合圖4的應(yīng)用場景，參考圖5和圖6a、圖6b來描述根據(jù)本發(fā)明示例性實施方式的AR顯示方法。需要注意的是，上述應(yīng)用場景僅是為了便于理解本發(fā)明的精神和原理而示出，本發(fā)明的實施方式在此方面不受任何限制。相反，本發(fā)明的實施方式可以應(yīng)用于適用的任何場景。

如圖5所示，其為本發(fā)明實施例提供的AR顯示方法實施流程示意圖，包括以下步驟：

S51、通過圖像采集單元對當(dāng)前場景中的物理設(shè)備進(jìn)行圖像采集，并且在相應(yīng)于圖像采集單元的顯示屏上呈現(xiàn)采集到的實時圖像。

本步驟中，用戶需要展示或者觀看物理設(shè)備內(nèi)部結(jié)構(gòu)和/或模擬物理設(shè)備工作過程時，打開AR顯示客戶端，確定用戶選擇了物理設(shè)備種類及型號后，AR顯示客戶端調(diào)用移動終端的圖像采集單元，例如，該圖像采集單元可以為攝像頭，對當(dāng)前場景中的物理設(shè)備進(jìn)行拍攝，并在移動終端的顯示屏幕上呈現(xiàn)拍攝得到的物理設(shè)備圖像。

S52、將對應(yīng)于所述物理設(shè)備的三維顯示信息疊加在實時圖像的相應(yīng)位置處進(jìn)行顯示。

其中，所述物理設(shè)備的三維顯示信息包括對應(yīng)于所述物理設(shè)備內(nèi)部結(jié)構(gòu)的三維顯示信息和/或用于模擬所述物理設(shè)備工作過程的三維顯示信息。

需要說明的是，本發(fā)明實施例中涉及的物理設(shè)備內(nèi)部結(jié)構(gòu)為用戶在使用物理設(shè)備時對用戶不可見的物理設(shè)備內(nèi)部結(jié)構(gòu)，而非柜式物理設(shè)備，例如冰箱等的內(nèi)部存儲空間，該存儲空間在柜門被打開后對于用戶來說是可見的。而本發(fā)明實施例涉及的物理設(shè)備內(nèi)部結(jié)構(gòu)可以為設(shè)備的結(jié)構(gòu)組成，例如，油煙機(jī)內(nèi)部的風(fēng)機(jī)系統(tǒng)結(jié)構(gòu)、控制系統(tǒng)結(jié)構(gòu)、濾油裝置結(jié)構(gòu)等，冰箱的制冷系統(tǒng)結(jié)構(gòu)、控制系統(tǒng)結(jié)構(gòu)等，其中，冰箱的制冷系統(tǒng)可以包括壓縮機(jī)、冷凝器、蒸發(fā)器和毛細(xì)管節(jié)流器等，根據(jù)本發(fā)明實施例中展示的物理設(shè)備內(nèi)部結(jié)構(gòu)，可以向用戶展示各個器件之間的連接關(guān)系。

根據(jù)本發(fā)明實施例，還可以將用于模擬物理設(shè)備的工作過程的三維顯示信息疊加在實時采集的物理設(shè)備圖像上進(jìn)行顯示，以幫助用戶了解物理設(shè)備的工作過程。其中，物理設(shè)備工作過程為物理設(shè)備內(nèi)部結(jié)構(gòu)中的工作過程，在實際應(yīng)用中對用戶來說不可見的，用于模擬物理設(shè)備工作過程的三維顯示信息包括用于模擬所述物理設(shè)備工作過程中的相關(guān)固體、氣體和/或液體的形態(tài)、位置和/或顏色變化的動態(tài)顯示信息。

上文中用于模擬所述物理設(shè)備工作過程中的相關(guān)固體、氣體和/或液體的形態(tài)、位置和/或顏色變化的動態(tài)顯示信息，例如，在真實的物理燃?xì)庠钆_上演示燃?xì)馔ㄟ^灶臺內(nèi)部管道導(dǎo)入灶體空氣噴射口并被點(diǎn)燃呈現(xiàn)虛擬火焰的過程，或者在真實物理燃?xì)庠钆_上疊加虛擬煎鍋和牛排以展現(xiàn)煎牛排的場景效果；或者在真實的油煙機(jī)上演示油煙機(jī)清洗的過程等。

具體實施時，步驟S52可以按照圖6a所示的流程實施：

S521、根據(jù)圖像采集單元采集的實時圖像確定所述圖像采集單元相對所述物理設(shè)備的實時姿態(tài)信息。

步驟S521中，除了使用上述的SLAM算法確定圖像采集單元的實時姿態(tài)信息以外，還可以利用其他方式實時確定圖像采集單元的實時姿態(tài)信息，例如基于2D(二維)匹配的方法和基于3D(三維)匹配的方法，其中，基于2D匹配的方法可以在物理設(shè)備上粘貼特定標(biāo)識(例如家電設(shè)備的3C標(biāo)志或者品牌標(biāo)識等)，通過該特定標(biāo)識相對于物理設(shè)備的位置、以及圖像采集單元相對于特定標(biāo)識的的位置和朝向，在圖像采集單元確定圖像采集單元的實時位置和實時朝向?；?D匹配的方法中，可以通過物理設(shè)備的視覺特征點(diǎn)或邊緣信息，并基于物理設(shè)備的3D信息通過三維識別方法確定圖像采集單元的實時位置和實時朝向等。

S522、根據(jù)圖像采集單元的圖像采集參數(shù)和實時姿態(tài)信息、以及預(yù)先存儲的對應(yīng)于所述物理設(shè)備的三維素材信息，獲得對應(yīng)于所述物理設(shè)備和當(dāng)前的實時姿態(tài)的三維顯示信息，并將所述三維顯示信息疊加在所述實時圖像的相應(yīng)位置處進(jìn)行顯示。

步驟S522中，利用步驟S521中確定出的圖像采集單元相對于物理設(shè)備的實時姿態(tài)信息、預(yù)先存儲的三維素材信息(包括描述物理設(shè)備內(nèi)部結(jié)構(gòu)的三維素材信息和/或用于模擬物理設(shè)備的工作過程的三維素材信息)，獲得對應(yīng)于物理設(shè)備和當(dāng)前的實時姿態(tài)的三維顯示信息。

其中，根據(jù)三維素材信息、圖像采集單元的實時姿態(tài)以及圖像采集單元的圖像采集參數(shù)，利用透視成像原理(投影方程)可以得到三維素材信息的三維顯示信息，具體流程如下：對三維素材信息中的每一個頂點(diǎn)(X,Y,Z)，根據(jù)圖像采集單元的實時姿態(tài)以及圖像采集參數(shù)得到的投影矩陣P，通過投影方程計算在成像平面上的像素成像位置(x,y)，對該像素繪制該頂點(diǎn)的色彩信息，針對三維素材信息中包含的所有頂點(diǎn)重復(fù)均按照上述過程進(jìn)行處理則可得到該三維素材的三維顯示信息，其中，圖像采集單元的圖像采集參數(shù)可以包括圖像采集單元的內(nèi)參矩陣等。根據(jù)計算得到的像素成像位置，將三維顯示信息疊加到移動終端屏幕顯示的物理設(shè)備圖像上的相應(yīng)位置處。如圖6b所示，其為在真實的燃?xì)庠钌巷@示火焰的效果示意圖。

具體實施時，為了增強(qiáng)顯示效果，還可以對移動終端顯示屏幕所呈現(xiàn)的物理設(shè)備的實時圖像的外表面進(jìn)行透明處理。

需要說明的是，本發(fā)明實施例中涉及的移動終端可以為常見的手機(jī)、平板電腦等，也可以為可穿戴式終端，例如增強(qiáng)現(xiàn)實(AR)眼鏡等。

本發(fā)明實施例提供的AR顯示方法，預(yù)先采集物理設(shè)備的三維結(jié)構(gòu)、內(nèi)部結(jié)構(gòu)及模擬其工作過程等三維素材信息并存儲，當(dāng)需要展示物理設(shè)備的內(nèi)部結(jié)構(gòu)或者工作過程中，利用移動終端的攝像頭對真實環(huán)境中的物理設(shè)備進(jìn)行圖像采集，并在移動終端的顯示屏上顯示采集得到的實時圖像，根據(jù)采集得到的實時圖像確定攝像頭的實時姿態(tài)，并利用圖像采集單元的圖像采集參數(shù)和得到的實時姿態(tài)以及三維素材信息獲得對應(yīng)的三維顯示信息，將獲得的三維顯示信息疊加在顯示屏幕實時顯示的物理設(shè)備圖像的相應(yīng)位置上進(jìn)行顯示。上述顯示過程中，保留了用戶所在真實環(huán)境，增加了顯示的真實感，同時，由于用戶可以從任意角度針對物理設(shè)備進(jìn)行圖像采集，從而從不同角度進(jìn)行展示，提高了用戶體驗。

示例性設(shè)備

在介紹了本發(fā)明示例性實施方式的方法之后，接下來，參考圖7對本發(fā)明示例性實施方式的增強(qiáng)現(xiàn)實顯示裝置進(jìn)行說明。

如圖7所示，其為本發(fā)明實施例提供的增強(qiáng)現(xiàn)實顯示裝置的結(jié)構(gòu)示意圖，可以包括：

圖像采集單元71，用于通過圖像采集單元對當(dāng)前場景中的物理設(shè)備進(jìn)行圖像采集，并且在相應(yīng)于所述圖像采集單元的顯示屏上呈現(xiàn)采集到的實時圖像；

顯示單元72，用于將對應(yīng)于所述物理設(shè)備的三維顯示信息疊加在所述實時圖像的相應(yīng)位置處進(jìn)行顯示，所述三維顯示信息包括對應(yīng)于所述物理設(shè)備內(nèi)部結(jié)構(gòu)的三維顯示信息和/或用于模擬所述物理設(shè)備工作過程的三維顯示信息。

其中，所述物理設(shè)備內(nèi)部結(jié)構(gòu)為用戶在使用所述物理設(shè)備時對所述用戶不可見的物理設(shè)備內(nèi)部結(jié)構(gòu)。所述物理設(shè)備工作過程為所述物理設(shè)備內(nèi)部結(jié)構(gòu)中的工作過程。所述用于模擬所述物理設(shè)備工作過程的三維顯示信息包括用于模擬所述物理設(shè)備工作過程中的相關(guān)固體、氣體和/或液體的形態(tài)、位置和/或顏色變化的動態(tài)顯示信息。

可選地，本發(fā)明實施例提供的增強(qiáng)現(xiàn)實顯示裝置，還可以包括：

處理單元73，用于對所述顯示單元所呈現(xiàn)的所述物理設(shè)備的實時圖像的外表面進(jìn)行透明處理。

較佳地，所述顯示單元72，包括：

確定子單元721，用于根據(jù)所述實時圖像確定所述圖像采集單元相對所述物理設(shè)備的實時姿態(tài)信息；

獲得子單元722，用于根據(jù)所述圖像采集單元的圖像采集參數(shù)和實時姿態(tài)信息、以及預(yù)先存儲的對應(yīng)于所述物理設(shè)備的三維素材信息，獲得對應(yīng)于所述物理設(shè)備和當(dāng)前的實時姿態(tài)的三維顯示信息；

顯示子單元723，用于將所述三維顯示信息疊加在所述實時圖像的相應(yīng)位置處進(jìn)行顯示。

在介紹了本發(fā)明提供的增強(qiáng)現(xiàn)實顯示方法和裝置之后，接下來，介紹根據(jù)本發(fā)明的另一示例性實施方式的增強(qiáng)現(xiàn)實顯示裝置。

所屬技術(shù)領(lǐng)域的技術(shù)人員能夠理解，本發(fā)明的各個方面可以實現(xiàn)為系統(tǒng)、方法或程序產(chǎn)品。因此，本發(fā)明的各個方面可以具體實現(xiàn)為以下形式，即：完全的硬件實施方式、完全的軟件實施方式(包括固件、微代碼等)，或硬件和軟件方面結(jié)合的實施方式，這里可以統(tǒng)稱為“電路”、“模塊”或“系統(tǒng)”。

在一些可能的實施方式中，根據(jù)本發(fā)明的增強(qiáng)現(xiàn)實顯示裝置可以包括至少一個處理單元、以及至少一個存儲單元。其中，所述存儲單元存儲有程序代碼，當(dāng)所述程序代碼被所述處理單元執(zhí)行時，使得所述處理單元執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本發(fā)明各種示例性實施方式的消息提示方法中的各種步驟。例如，所述處理單元可以執(zhí)行如圖5中所示的步驟S51，通過圖像采集單元對當(dāng)前場景中的物理設(shè)備進(jìn)行圖像采集，并且在相應(yīng)于圖像采集單元的顯示屏上呈現(xiàn)采集到的實時圖像，步驟S52，將對應(yīng)于所述物理設(shè)備的三維顯示信息疊加在實時圖像的相應(yīng)位置處進(jìn)行顯示。

應(yīng)當(dāng)注意，盡管在上文詳細(xì)描述中提及了裝置的若干單元或子單元，但是這種劃分僅僅是示例性的并非強(qiáng)制性的。實際上，根據(jù)本發(fā)明的實施方式，上文描述的兩個或更多單元的特征和功能可以在一個單元中具體化。反之，上文描述的一個單元的特征和功能可以進(jìn)一步劃分為由多個單元來具體化。

此外，盡管在附圖中以特定順序描述了本發(fā)明方法的操作，但是，這并非要求或者暗示必須按照該特定順序來執(zhí)行這些操作，或是必須執(zhí)行全部所示的操作才能實現(xiàn)期望的結(jié)果。附加地或備選地，可以省略某些步驟，將多個步驟合并為一個步驟執(zhí)行，和/或?qū)⒁粋€步驟分解為多個步驟執(zhí)行。

下面參照圖8來描述根據(jù)本發(fā)明的這種實施方式的增強(qiáng)現(xiàn)實顯示裝置80。圖8所示的用于增強(qiáng)現(xiàn)實顯示裝置僅僅是一個示例，不應(yīng)對本發(fā)明實施例的功能和使用范圍帶來任何限制。

如圖8所示，增強(qiáng)現(xiàn)實顯示裝置80可以以通用計算設(shè)備的形式表現(xiàn)。增強(qiáng)現(xiàn)實顯示裝置80的組件可以包括但不限于：上述至少一個處理單元81、上述至少一個存儲單元82、連接不同系統(tǒng)組件(包括存儲單元82和處理單元81)的總線83。

總線83表示幾類總線結(jié)構(gòu)中的一種或多種，包括存儲器總線或者存儲器控制器、外圍總線、處理器或者使用多種總線結(jié)構(gòu)中的任意總線結(jié)構(gòu)的局域總線。

存儲單元82可以包括易失性存儲器形式的可讀介質(zhì)，例如隨機(jī)存取存儲器(RAM)821和/或高速緩存存儲器822，還可以進(jìn)一步包括只讀存儲器(ROM)823。

存儲單元82還可以包括具有一組(至少一個)程序模塊824的程序/實用工具825，這樣的程序模塊824包括但不限于：操作系統(tǒng)、一個或者多個應(yīng)用程序、其它程序模塊以及程序數(shù)據(jù)，這些示例中的每一個或某種組合中可能包括網(wǎng)絡(luò)環(huán)境的實現(xiàn)。

增強(qiáng)現(xiàn)實顯示裝置80也可以與一個或多個外部設(shè)備84(例如鍵盤、指向設(shè)備等)通信，還可與一個或者多個使得用戶能與增強(qiáng)現(xiàn)實顯示裝置80交互的設(shè)備通信，和/或與使得該增強(qiáng)現(xiàn)實顯示裝置80能與一個或多個其它計算設(shè)備進(jìn)行通信的任何設(shè)備(例如路由器、調(diào)制解調(diào)器等等)通信。這種通信可以通過輸入/輸出(I/O)接口85進(jìn)行。并且，增強(qiáng)現(xiàn)實顯示裝置80還可以通過網(wǎng)絡(luò)適配器86與一個或者多個網(wǎng)絡(luò)(例如局域網(wǎng)(LAN)，廣域網(wǎng)(WAN)和/或公共網(wǎng)絡(luò)，例如因特網(wǎng))通信。如圖所示，網(wǎng)絡(luò)適配器86通過總線83與用于增強(qiáng)現(xiàn)實顯示裝置80的其它模塊通信。應(yīng)當(dāng)理解，盡管圖中未示出，可以結(jié)合增強(qiáng)現(xiàn)實顯示裝置80使用其它硬件和/或軟件模塊，包括但不限于：微代碼、設(shè)備驅(qū)動器、冗余處理單元、外部磁盤驅(qū)動陣列、RAID系統(tǒng)、磁帶驅(qū)動器以及數(shù)據(jù)備份存儲系統(tǒng)等。

示例性程序產(chǎn)品

在一些可能的實施方式中，本發(fā)明提供的增強(qiáng)現(xiàn)實顯示方法的各個方面還可以實現(xiàn)為一種程序產(chǎn)品的形式，其包括程序代碼，當(dāng)所述程序產(chǎn)品在終端設(shè)備上運(yùn)行時，所述程序代碼用于使所述終端設(shè)備執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本發(fā)明各種示例性實施方式的增強(qiáng)現(xiàn)實顯示方法中的步驟，例如，所述終端設(shè)備可以執(zhí)行如圖5中所示的步驟S51，通過圖像采集單元對當(dāng)前場景中的物理設(shè)備進(jìn)行圖像采集，并且在相應(yīng)于圖像采集單元的顯示屏上呈現(xiàn)采集到的實時圖像，步驟S52，將對應(yīng)于所述物理設(shè)備的三維顯示信息疊加在實時圖像的相應(yīng)位置處進(jìn)行顯示。

所述程序產(chǎn)品可以采用一個或多個可讀介質(zhì)的任意組合。可讀介質(zhì)可以是可讀信號介質(zhì)或者可讀存儲介質(zhì)。可讀存儲介質(zhì)例如可以是——但不限于——電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件，或者任意以上的組合。可讀存儲介質(zhì)的更具體的例子(非窮舉的列表)包括：具有一個或多個導(dǎo)線的電連接、便攜式盤、硬盤、隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、可擦式可編程只讀存儲器(EPROM或閃存)、光纖、便攜式緊湊盤只讀存儲器(CD-ROM)、光存儲器件、磁存儲器件、或者上述的任意合適的組合。

如圖9所示，描述了根據(jù)本發(fā)明的實施方式的用于增強(qiáng)現(xiàn)實顯示的程序產(chǎn)品90，其可以采用便攜式緊湊盤只讀存儲器(CD-ROM)并包括程序代碼，并可以在終端設(shè)備上運(yùn)行。然而，本發(fā)明的程序產(chǎn)品不限于此，在本文件中，可讀存儲介質(zhì)可以是任何包含或存儲程序的有形介質(zhì)，該程序可以被指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用。

可讀信號介質(zhì)可以包括在基帶中或者作為載波一部分傳播的數(shù)據(jù)信號，其中承載了可讀程序代碼。這種傳播的數(shù)據(jù)信號可以采用多種形式，包括——但不限于——電磁信號、光信號或上述的任意合適的組合?？勺x信號介質(zhì)還可以是可讀存儲介質(zhì)以外的任何可讀介質(zhì)，該可讀介質(zhì)可以發(fā)送、傳播或者傳輸用于由指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序。

可讀介質(zhì)上包含的程序代碼可以用任何適當(dāng)?shù)慕橘|(zhì)傳輸，包括——但不限于——無線、有線、光纜、RF等等，或者上述的任意合適的組合。

可以以一種或多種程序設(shè)計語言的任意組合來編寫用于執(zhí)行本發(fā)明操作的程序代碼，所述程序設(shè)計語言包括面向?qū)ο蟮某绦蛟O(shè)計語言—諸如Java、C++等，還包括常規(guī)的過程式程序設(shè)計語言—諸如“C”語言或類似的程序設(shè)計語言。程序代碼可以完全地在用戶計算設(shè)備上執(zhí)行、部分地在用戶設(shè)備上執(zhí)行、作為一個獨(dú)立的軟件包執(zhí)行、部分在用戶計算設(shè)備上部分在遠(yuǎn)程計算設(shè)備上執(zhí)行、或者完全在遠(yuǎn)程計算設(shè)備或服務(wù)器上執(zhí)行。在涉及遠(yuǎn)程計算設(shè)備的情形中，遠(yuǎn)程計算設(shè)備可以通過任意種類的網(wǎng)絡(luò)——包括局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)—連接到用戶計算設(shè)備，或者，可以連接到外部計算設(shè)備(例如利用因特網(wǎng)服務(wù)提供商來通過因特網(wǎng)連接)。

此外，盡管在附圖中以特定順序描述了本發(fā)明方法的操作，但是，這并非要求或者暗示必須按照該特定順序來執(zhí)行這些操作，或是必須執(zhí)行全部所示的操作才能實現(xiàn)期望的結(jié)果。附加地或備選地，可以省略某些步驟，將多個步驟合并為一個步驟執(zhí)行，和/或?qū)⒁粋€步驟分解為多個步驟執(zhí)行。

雖然已經(jīng)參考若干具體實施方式描述了本發(fā)明的精神和原理，但是應(yīng)該理解，本發(fā)明并不限于所公開的具體實施方式，對各方面的劃分也不意味著這些方面中的特征不能組合以進(jìn)行受益，這種劃分僅是為了表述的方便。本發(fā)明旨在涵蓋所附權(quán)利要求的精神和范圍內(nèi)所包括的各種修改和等同布置。