針對視頻透視擴增現(xiàn)實將3d空間信息轉變?yōu)槠聊粚市畔⒌闹谱鞣椒?br> 【專利摘要】本發(fā)明提供用以將移動裝置的擴增現(xiàn)實AR視圖中檢測到的3D空間信息轉變?yōu)樗鲆苿友b置上的屏幕對準信息的方法、設備和系統(tǒng)。在至少一個實施方案中，一種方法包含：確定與所關注對象相關聯(lián)的擴增信息，包含模型視圖(M1)矩陣和投影(P1)矩陣；使用所述M1和P1矩陣在所述所關注對象的視頻圖像的頂部上顯示所述擴增信息；產(chǎn)生第二模型視圖(M2)矩陣和第二投影(P2)矩陣，使得所述矩陣M2和P2表示所述擴增信息的屏幕對準最終位置；以及使用所述M2和P2矩陣顯示所述擴增信息。
【專利說明】針對視頻透視擴增現(xiàn)實將3D空間信息轉變?yōu)槠聊粚市畔?br>
【技術領域】
[0001]本文揭示的標的物涉及電子裝置，且更特定來說涉及在移動電子裝置的擴增現(xiàn)實(AR)環(huán)境中使用和/或與所述擴增現(xiàn)實(AR)環(huán)境一起使用的方法、設備和系統(tǒng)。

【背景技術】
[0002]移動計算裝置(移動裝置)向用戶提供經(jīng)由無線通信系統(tǒng)對多種信息的存取。作為一實例，能夠與無線蜂窩式網(wǎng)絡和/或無線局域網(wǎng)(例如，W1-Fi或WiMAX) —起使用的移動裝置向用戶提供對因特網(wǎng)的大量信息資源的存取。移動裝置還可使用戶能夠探索提供與計算機產(chǎn)生的圖形內(nèi)容合并或由其擴增的目標對象的實時視圖的擴增現(xiàn)實環(huán)境。舉例來說，駐留在移動裝置上的機載相機可結合圖形顯示器使用以為用戶呈現(xiàn)關于在移動裝置的相機視圖中俘獲的所關注目標的補充信息。此補充信息可形成上覆于在移動裝置的相機視圖中俘獲的真實世界對象上的信息層。此功能性通常稱為擴增現(xiàn)實(AR)視圖模式。在AR視圖中，在相機視圖中俘獲的對象可經(jīng)轉變以與顯示屏對準以允許用戶更容易存取信息層。
[0003]在傳統(tǒng)應用中，裝置可具有AR模式視圖，且AR信息可呈現(xiàn)為觸發(fā)經(jīng)擴增內(nèi)容的目標項目上的擴增。然而，在此類應用中，AR信息通常過于詳細以致當移動裝置在AR模式中時用戶不能與之交互。在其它應用中，當檢測到目標對象時，經(jīng)擴增內(nèi)容在非AR模式(例如，屏幕空間)中立即呈現(xiàn)。在此應用中，通常難以確定哪一目標對象與經(jīng)擴增內(nèi)容相關聯(lián)。


【發(fā)明內(nèi)容】

[0004]本文揭示關于將擴增現(xiàn)實(AR)視圖中檢測到的3D空間信息轉變?yōu)橐苿友b置上的屏幕對準信息的實施方案。在至少一個實施方案中，提供一種方法，其包含基于移動裝置俘獲的目標對象的圖像確定擴增現(xiàn)實對象，檢索與目標對象相關聯(lián)的彳目息，在視頻圖像的頂部上顯示擴增信息，且擴增信息從AR視圖轉變到屏幕對準位置。
[0005]根據(jù)本發(fā)明的一種顯示擴增信息的方法的實例包含:確定與所關注對象相關聯(lián)的擴增信息，包含模型視圖(Ml)矩陣和投影(Pl)矩陣；使用Ml和Pl矩陣在所關注對象的視頻圖像的頂部上顯示擴增信息；產(chǎn)生第二模型視圖(M2)矩陣和第二投影(P2)矩陣，使得矩陣M2和P2表示擴增信息的屏幕對準最終位置；以及使用M2和P2矩陣顯示擴增信息。
[0006]此方法的實施方案可包含以下特征中的一或多者。確定至少一個轉變矩陣Mx和至少一個轉變矩陣Px，使得Mx為內(nèi)插(Ml、M2)且Px為內(nèi)插(P1、P2)，以及使用Mx和Px矩陣顯示擴增信息。內(nèi)插(Ml、M2)和內(nèi)插(P1、P2)可為線性內(nèi)插。內(nèi)插(Ml、M2)和內(nèi)插(P1、P2)可由例如加速度、減速度和曲線等函數(shù)確定。擴增信息可對應于所關注對象的視頻補丁。擴增信息可對應于所關注對象的擴增。擴增信息可對應于所關注對象的視頻補丁與擴增的α混合融合。與所關注對象相關聯(lián)的應用可在非擴增視圖模式中顯示。
[0007]根據(jù)本發(fā)明的一種用于顯示擴增信息的方法的實例包含:在移動裝置上顯示所關注對象；確定與所關注對象相關聯(lián)的擴增信息，包含模型視圖(Ml)矩陣和投影(Pl)矩陣；使用Ml和Pl矩陣在所關注對象的圖像的頂部上顯示擴增信息；計算第二模型視圖(M2)矩陣和第二投影(P2)矩陣，使得M2和P2矩陣表示擴增信息的所要最終位置；估計用于轉變的幀的數(shù)目；針對轉變的每一幀確定轉變矩陣Mx和轉變矩陣Px ;使用Mx和Px矩陣顯示每一幀中的擴增信息；使用M2和P2矩陣顯示最終幀；以及執(zhí)行與所關注對象相關聯(lián)的應用。
[0008]此方法的實施方案可包含以下特征中的一或多者。確定轉變矩陣Mx和Px可分別基于Ml與M2以及Pl與P2之間的內(nèi)插。所述內(nèi)插可為線性的、加速度、減速度和/或曲線。
[0009]根據(jù)本發(fā)明的一種用于顯示擴增信息的設備的實例包含移動裝置，所述移動裝置具有:圖形顯示器，其經(jīng)配置以顯示所關注對象；處理器，其以指令編程以:確定與所關注對象相關聯(lián)的擴增信息，使得所述擴增信息包含模型視圖(Ml)矩陣和投影(Pl)矩陣；使用Ml和Pl矩陣在所關注對象的視頻圖像的頂部上顯示擴增信息；產(chǎn)生第二模型視圖(M2)矩陣和第二投影(P2)矩陣，使得矩陣M2和P2表示擴增信息的屏幕對準最終位置；確定至少一個轉變矩陣Mx和至少一個轉變矩陣Px，使得Mx為內(nèi)插(Ml、M2)且Px為內(nèi)插(P1、P2)；且使用矩陣Mx和Px顯示擴增信息。
[0010]此設備的實施方案可包含以下特征中的一或多者。與所關注對象相關聯(lián)的應用可在使用矩陣M2和P2顯示擴增信息之后執(zhí)行?？墒褂美缇€性內(nèi)插、加速度、減速度和曲線等內(nèi)插方法確定轉變矩陣Mx和/或Px。可顯示對應于所關注對象的視頻補丁的擴增信息?？娠@示對應于所關注對象的擴增的擴增信息?？娠@示對應于所關注對象的視頻補丁與擴增的α混合融合的擴增信息。

【專利附圖】

【附圖說明】
[0011]參看以下圖式描述非限制性和非詳盡方面，圖式中除非另外指定否則貫穿各圖相同參考數(shù)字指代相同零件。
[0012]圖1是根據(jù)一個實施方案的實例網(wǎng)絡環(huán)境的示意框圖。
[0013]圖2是根據(jù)一個實施方案的實例移動裝置的示意框圖。
[0014]圖3是擴增對象從AR視圖模式到屏幕對準視圖的轉變的示范性說明。
[0015]圖4是擴增的從AR視圖模式到屏幕對準視圖的轉變的自上而下說明。
[0016]圖5是視頻補丁從AR視圖模式到屏幕對準視圖的轉變的示范性說明。
[0017]圖6是視頻補丁的從AR視圖模式到屏幕對準視圖的轉變的自上而下說明。
[0018]圖7是利用不同媒體表示的對象從AR視圖模式到屏幕對準模式的雙轉變的示范性說明。
[0019]圖8是擴增從3D空間到屏幕對準空間的轉變的過程圖。

【具體實施方式】
[0020]在移動計算上下文中揭示關于擴增現(xiàn)實環(huán)境的實施方案。可經(jīng)由移動裝置存取的擴增現(xiàn)實創(chuàng)作工具使移動裝置用戶能夠界定擴增現(xiàn)實環(huán)境，且在擴增現(xiàn)實環(huán)境內(nèi)部署例如包含照片或其它圖形元素等圖像、視頻、動畫、文本和音頻等媒體內(nèi)容。由特定移動裝置用戶部署的媒體內(nèi)容可由經(jīng)由其相應移動裝置探索擴增現(xiàn)實環(huán)境的其他移動裝置用戶存取。
[0021]例如雜志廣告、公告牌、文檔和其它真實世界2D和3D對象等目標對象在移動裝置的AR視圖模式中俘獲。可例如通過應用對象辨識技術確定擴增現(xiàn)實信息以獲得目標對象的電子表示。此電子表示可包括從目標對象的AR視圖獲得的多個(關鍵)點及其相關聯(lián)描述符。支持擴增現(xiàn)實環(huán)境的信息層可由移動裝置用戶通過應用可附接到所提取目標對象的此類電子表示的一或多個呈現(xiàn)區(qū)和/或激活區(qū)而界定。
[0022]媒體內(nèi)容項目的呈現(xiàn)區(qū)可由用戶出于界定媒體內(nèi)容項目呈現(xiàn)在擴增現(xiàn)實環(huán)境內(nèi)的位置(例如，定位和/或定向)的目的而部署到所述擴增現(xiàn)實環(huán)境。媒體內(nèi)容項目的激活區(qū)可由用戶出于界定響應于用戶輸入和/或所估計移動裝置定位和/或定向可如何和/或何時啟用和/或起始媒體內(nèi)容項目在相關聯(lián)呈現(xiàn)區(qū)處的呈現(xiàn)的目的而部署在擴增現(xiàn)實環(huán)境內(nèi)。激活區(qū)可從用戶接收輸入示意動作以從擴增現(xiàn)實環(huán)境轉變到非擴增現(xiàn)實視圖(即，應用)。擴增現(xiàn)實環(huán)境到非擴增視圖的轉變可包含所關注對象和/或對應的AR對象和/或與所關注對象或AR對象相關聯(lián)的視頻補丁的大小、形狀和定向的變換。
[0023]圖1是根據(jù)一個實施方案的實例網(wǎng)絡環(huán)境100的示意框圖。網(wǎng)絡環(huán)境100可包含任何數(shù)目的移動裝置，例如移動裝置120和130。移動裝置120和130可以無線方式經(jīng)由網(wǎng)絡140與服務器系統(tǒng)110通信。移動裝置120和130可包括任何適宜的移動計算平臺，包含蜂窩式電話、智能電話、個人數(shù)字助理、低工作循環(huán)通信裝置、膝上型計算機、便攜式媒體播放器裝置、個人導航裝置，以及包括數(shù)碼相機的便攜式電子裝置(僅舉幾例)。網(wǎng)絡環(huán)境100可進一步包含非移動計算平臺，例如可經(jīng)由網(wǎng)絡140與服務器系統(tǒng)110通信的計算平臺122。在至少一些實施方案中，移動裝置可適于通過例如借助有線或無線通信(在不利用網(wǎng)絡140的情況下)與計算平臺122對接而通信。
[0024]網(wǎng)絡140可包括廣域網(wǎng)(例如，因特網(wǎng))、局域網(wǎng)(例如，內(nèi)聯(lián)網(wǎng))和/或個域網(wǎng)的一或多者。舉例來說，移動裝置120和130可以無線方式經(jīng)由任何適宜的通信協(xié)議與服務器系統(tǒng)110通信，所述通信協(xié)議包含蜂窩式通信協(xié)議(例如，CDMA、GSM或WCDMA)和/或無線局域網(wǎng)(WLAN)協(xié)議(例如，Wifi或WiMAX)。因此，在此類實施方案中，網(wǎng)絡140可包含一或多個無線收發(fā)器。網(wǎng)絡140的無線收發(fā)器也可由移動裝置120和130利用以獲得用于估計移動裝置位置的定位信息。
[0025]在一些實施方案中，移動裝置可利用基于三邊測量的方法來估計地理位置。舉例來說，可使用包含CDMA中的先進前向鏈路三邊測量(AFLT)或GSM中的先進觀測時間差(EOTD)或WCDMA中的觀測到達時間差(OTDOA)的技術，所述OTDOA在移動裝置處測量從若干裝備有發(fā)射器的基站的每一者發(fā)射的無線信號的相對到達之間。作為另一實例，移動裝置可通過獲得媒體存取控制(MAC)地址或與無線收發(fā)器相關聯(lián)的其它適宜的識別符且使MAC地址或識別符與所述無線收發(fā)器的已知地理位置相關而估計其位置。
[0026]移動裝置120和130可進一步從定位系統(tǒng)150獲得無線定位信號以估計移動裝置位置。舉例來說，定位系統(tǒng)150可包括衛(wèi)星定位系統(tǒng)(SPS)和/或基于陸地的定位系統(tǒng)。衛(wèi)星定位系統(tǒng)可包含例如全球定位系統(tǒng)(GPS)、GaliIeo、GLONASS、NAVSTAR、GNSS、使用來自這些系統(tǒng)的組合的衛(wèi)星的系統(tǒng)，或將來開發(fā)的任何SPS。如本文使用，SPS也將理解為包含偽衛(wèi)星系統(tǒng)。然而，應理解，此處提供的特定定位技術僅為實例定位技術，且所主張的標的物在此方面不受限制。
[0027]服務器系統(tǒng)110可包括一或多個服務器和/或其它適宜的計算平臺。因此，服務器系統(tǒng)110可包含存儲媒體112，其上存儲有數(shù)據(jù)庫114和指令116。服務器系統(tǒng)110可包含用于執(zhí)行指令116和/或用于促進在數(shù)據(jù)庫114處存儲和檢索數(shù)據(jù)的例如實例處理器118等一或多個處理器。服務器系統(tǒng)110可進一步包含通信接口 160，其用于促進與網(wǎng)絡140的客戶端(包含移動裝置120和130，以及計算平臺122)的通信。
[0028]為促進對所揭示的實施方案的理解，指令116可有時依據(jù)用于執(zhí)行特定操作的一或多個模塊來描述。作為一個實例，指令116可包含特征提取模塊162以提取移動裝置的AR視圖模式中俘獲的目標對象的特征。作為另一實例，指令116可包含內(nèi)容管理模塊164以管理擴增現(xiàn)實環(huán)境內(nèi)媒體內(nèi)容的部署。內(nèi)容管理模塊164可包含若干工具以使用戶(例如，人類用戶)能夠例如經(jīng)由移動裝置(例如，移動裝置120)或其它適宜的計算平臺(例如，計算平臺122)與內(nèi)容管理模塊交互。在至少一些實施方案中，內(nèi)容管理模塊164可包含內(nèi)容部署工具166以使用戶能夠在擴增現(xiàn)實環(huán)境內(nèi)部署媒體內(nèi)容，以及權利管理工具170以使用戶能夠管理其他用戶對已由所述用戶部署的媒體內(nèi)容的存取權。此類工具可由用戶經(jīng)由移動裝置的輸入或輸出裝置或其它適宜的計算平臺存取。舉例來說，移動裝置的圖形顯示器處呈現(xiàn)的圖形用戶接口(⑶I)可使用戶能夠通過使用工具166和工具170的一或多者界定包括一或多個媒體內(nèi)容項目的擴增現(xiàn)實環(huán)境。
[0029]數(shù)據(jù)庫114可包含多種數(shù)據(jù)，包含例如實例相關聯(lián)項目176等一或多個相關聯(lián)項目。相關聯(lián)項目176可包含例如至少一個媒體內(nèi)容項目178和其它相關聯(lián)數(shù)據(jù)元素，包含(例如):呈現(xiàn)區(qū)定義180、激活區(qū)定義182、元數(shù)據(jù)186，以及所提取特征定義174。數(shù)據(jù)庫114可進一步包含特征庫192，其具有例如實例預先存在的電子表示194等真實世界二維和三維特征的一或多個預先存在的電子表示。
[0030]呈現(xiàn)區(qū)定義180可界定相對于目標對象的所提取特征的位置(例如，如所提取特征定義174所表示)，其中媒體內(nèi)容(例如，媒體內(nèi)容項目178)可在擴增現(xiàn)實環(huán)境內(nèi)呈現(xiàn)。呈現(xiàn)區(qū)定義180可由用戶經(jīng)由內(nèi)容部署工具166界定。
[0031]激活區(qū)定義182可界定響應于用戶輸入和/或移動裝置的所估計定位和/或定向可如何和/或何時啟用和/或起始媒體內(nèi)容在呈現(xiàn)區(qū)(例如，如呈現(xiàn)區(qū)定義180所界定)處的呈現(xiàn)。激活區(qū)定義182可由用戶經(jīng)由內(nèi)容部署工具166界定。舉例來說，用戶可利用內(nèi)容部署工具166來產(chǎn)生界定相關聯(lián)媒體內(nèi)容項目(例如，媒體內(nèi)容項目178)的激活區(qū)的激活區(qū)定義182。
[0032]元數(shù)據(jù)186可包含權利定義188，其界定用戶存取例如相關聯(lián)媒體內(nèi)容項目178等經(jīng)部署媒體內(nèi)容項目的權利。在一些實施方案中，用戶可使用權利管理工具170產(chǎn)生針對相關聯(lián)媒體內(nèi)容項目178的權利定義188。作為非限制性實例，用戶可拒絕選定用戶存取特定媒體內(nèi)容項目，或用戶可準予選定用戶存取擴增現(xiàn)實環(huán)境內(nèi)的特定媒體內(nèi)容項目的權利。
[0033]元數(shù)據(jù)186可進一步包含與媒體內(nèi)容項目178相關聯(lián)的裝置狀態(tài)數(shù)據(jù)190。裝置狀態(tài)數(shù)據(jù)190可指示例如當移動裝置正俘獲相關聯(lián)媒體內(nèi)容項目時移動裝置的定位和/或定向。在一些實施方案中，移動裝置的位置可表示為相對于參考基面測得的一或多個緯度、經(jīng)度和/或高度值。類似地，移動裝置的定向可由相對于參考基面測得的一或多個橫搖、俯仰和/或偏航值表示。相對于此類定向值的參考基面可界定為例如移動裝置的相機的視線的軸。此類裝置狀態(tài)數(shù)據(jù)可基于在移動裝置處獲得的一或多個定位信號和/或慣性傳感器測量值，如將參看圖2更詳細描述。
[0034]圖2是根據(jù)一個實施方案的實例移動裝置200的示意框圖。針對至少一些實施方案，移動裝置200可充當圖1的移動裝置120和130的非限制性實例。因此，移動裝置200可包含通信接口 228以促進(例如)與例如圖1的服務器系統(tǒng)110、移動裝置120、130和/或計算平臺122等其它計算平臺的通信。因此，通信接口 228可實現(xiàn)與包含實例網(wǎng)絡140的通信網(wǎng)絡的無線通信。移動裝置200可進一步包含接收器230以(例如)從例如實例定位系統(tǒng)150等定位系統(tǒng)接收定位信號。
[0035]移動裝置200可包含輸入裝置218以接收用戶輸入。輸入裝置218可(例如)包含例如一或多個實體按鈕、鍵盤、控制器、麥克風、指向裝置和/或觸敏表面。移動裝置200可包含輸出裝置221以向用戶呈現(xiàn)信息。作為一個實例，輸出裝置221可包含圖形顯示器222以呈現(xiàn)圖形用戶接口 224。一般來說，圖形顯示器222可包括能夠接收用戶輸入的觸敏圖形顯示器(例如，觸摸屏)。觸敏圖形顯示器可(例如)利用任何適宜的感測技術來檢測顯示表面處或附近的用戶輸入，包含電容感測、電阻感測和/或光學感測技術。在此類觸敏實施方案中，圖形顯示器222可充當用于接收用戶輸入的輸入裝置和用于呈現(xiàn)圖形內(nèi)容的輸出裝置兩者。在一些實施方案中，輸出裝置221可進一步包含用于呈現(xiàn)音頻內(nèi)容的音頻揚聲器226。
[0036]在至少一些實施方案中，圖形用戶接口(⑶I) 224可在圖形顯示器222處呈現(xiàn)。⑶I224可包括經(jīng)由相機220獲得的相機視圖234和信息層236的一或多者。信息層236可包括例如經(jīng)再現(xiàn)媒體內(nèi)容項目238等一或多個經(jīng)再現(xiàn)媒體內(nèi)容項目，以及例如圖形控制元素240等一或多個圖形控制元素。作為非限制性實例，經(jīng)再現(xiàn)媒體內(nèi)容項目238可對應于例如圖像、視頻、動畫，以及其它適宜的圖形內(nèi)容或其部分等媒體內(nèi)容項目178的再現(xiàn)狀態(tài)。圖形內(nèi)容元素240可包含用于使用戶能夠提供用于控制移動裝置的功能性的用戶輸入的一或多個圖形元素。
[0037]移動裝置200可包含一或多個慣性傳感器232以獲得移動裝置的機載慣性傳感器測量值。在至少一些實施方案中，慣性傳感器232可包括一或多個加速度計、陀螺儀或其它適宜的裝置用于測量移動裝置的慣性狀態(tài)。在一些實施方案中，移動裝置的慣性狀態(tài)可由慣性傳感器232沿著笛卡爾和/或極坐標系中的多個軸測量以提供移動裝置的定位和/或定向的指示。
[0038]將了解，從慣性傳感器232獲得的慣性傳感器測量值可經(jīng)處理(例如，隨時間積分)以獲得移動裝置定位和/或定向的此類估計值。如先前描述，移動裝置的定位可表示為一或多個緯度、經(jīng)度和/或高度值，且移動裝置的定向可由相對于參考基面測得的一或多個橫搖、俯仰和/或偏航值表示。移動裝置200可包含相機220以獲得相機視圖234，所述相機視圖234可在圖形顯示器222處呈現(xiàn)。在一些實施方案中，相機220可包括數(shù)碼相機，其具有若干光學元件，包含用于聚焦光的一或多個透鏡和/或用于將光轉換為表示圖像和/或視頻數(shù)據(jù)的數(shù)字信號的一或多個光感測元件。作為非限制性實例，光感測元件可包括光學拾取、電荷耦合裝置和/或光電裝置，用于將光轉換為數(shù)字信號。從相機的一或多個光感測元件獲得的數(shù)字信號可經(jīng)處理和/或在圖形顯示器222處作為相機視圖234再現(xiàn)。此夕卜，在一些實施方案中，經(jīng)由相機220獲得的相機視圖可作為圖像和/或視頻內(nèi)容存儲在存儲媒體處。舉例來說，從相機220獲得的數(shù)字信號可作為.jpeg、.mpeg或其它適宜的格式編碼和存儲在存儲媒體210處。表示相機視圖的此類數(shù)字信號可發(fā)射到其它計算平臺以供存儲和/或處理。舉例來說，在移動裝置處獲得的相機視圖可經(jīng)由通信網(wǎng)絡或通過與另一計算平臺對接而發(fā)射到服務器系統(tǒng)或其它適宜的計算平臺。
[0039]移動裝置200可進一步包含上面存儲有數(shù)據(jù)庫212和指令214的存儲媒體210。移動裝置200可包含用于執(zhí)行指令214和/或促進數(shù)據(jù)庫212處的數(shù)據(jù)的存儲和檢索的例如實例處理器216等一或多個處理器。數(shù)據(jù)庫212可包含多種數(shù)據(jù)，包含先前參考圖1的數(shù)據(jù)庫114描述的一些或所有數(shù)據(jù)元素。舉例來說，數(shù)據(jù)庫212可在移動裝置200本地保持相關聯(lián)內(nèi)容項目176和特征庫192以及其它數(shù)據(jù)的一或多者。將了解，此數(shù)據(jù)還可遠程保持在例如服務器系統(tǒng)(例如，圖1的服務器系統(tǒng)110)處，在服務器系統(tǒng)處其可由移動裝置經(jīng)由無線網(wǎng)絡存取。
[0040]指令214可類似地包含圖1的指令116的先前描述的模塊和/或工具的一或多者。舉例來說，指令214可包含移動裝置200本地處保持的先前描述的特征提取模塊162和內(nèi)容管理模塊164。指令214可進一步包含再現(xiàn)模塊254以促進圖形顯示器222處⑶I 224的再現(xiàn)和/或呈現(xiàn)。指令可進一步包含裝置狀態(tài)模塊256，用于處理經(jīng)由接收器230獲得的定位信號和/或經(jīng)由慣性傳感器232獲得的慣性傳感器測量值。舉例來說，裝置狀態(tài)模塊256可適于至少部分基于此類定位信號和/或慣性傳感器測量值估計移動裝置200的定位和/或定向。移動裝置200的所估計定位和/或定向可存儲在數(shù)據(jù)庫212處，例如如先前參考裝置狀態(tài)數(shù)據(jù)190所描述。在至少一些實施方案中，裝置狀態(tài)模塊256可適于響應于移動裝置處的媒體內(nèi)容項目的俘獲而獲得移動裝置的裝置狀態(tài)數(shù)據(jù)。舉例來說，移動裝置200處經(jīng)由相機220俘獲的圖像可致使裝置狀態(tài)模塊256估計圖像被俘獲的時間或該時間附近移動裝置的定位和/或定向。裝置狀態(tài)模塊256可進一步適于將裝置狀態(tài)數(shù)據(jù)與例如數(shù)據(jù)庫212或數(shù)據(jù)庫114處的所述媒體內(nèi)容數(shù)項目(例如，作為元數(shù)據(jù))相關聯(lián)。
[0041]此外，在至少一些實施方案中，表示經(jīng)由相機220獲得的AR視圖的數(shù)字信號可被俘獲作為靜態(tài)圖像或動態(tài)視頻。此類數(shù)字信號可由特征提取模塊162處理以獲得AR視圖內(nèi)俘獲的真實世界特征的電子表示(例如，模型)。真實世界特征的此類電子表示可存儲在數(shù)據(jù)庫212和/或數(shù)據(jù)庫114處作為所提取特征定義174，其中其可(例如)與例如媒體內(nèi)容項目178等一或多個媒體內(nèi)容項目相關聯(lián)。
[0042]將了解，圖2的實例移動裝置200的至少一些元件可在其它移動或非移動計算平臺(例如，圖1的計算平臺122)中存在以使此類計算平臺能夠執(zhí)行本文描述的操作、過程和方法的一或多者。舉例來說，圖1的計算平臺122可包括例如包含指令214和/或數(shù)據(jù)庫212的存儲媒體210等存儲媒體、例如處理器216等一或多個處理器、一或多個輸入和輸出裝置，以及例如通信接口 228等通信接口。
[0043]參看圖3，展示擴增對象從AR視圖模式到屏幕對準視圖的轉變的示范性說明300。圖像302、304、306、308、310、312的序列說明經(jīng)由示范性移動裝置200的顯示屏222向用戶301呈現(xiàn)的顯示和功能性。在第一圖像302中，用戶301左手中正固持移動裝置200。移動裝置200的相機導向所關注對象320 (例如，目標)，且所關注對象的圖像322在屏幕222上顯示。在一實施例中，移動裝置200經(jīng)配置以經(jīng)由所存儲指令214(即，特征提取模塊162)辨識圖像322。所關注對象圖像322由AR系統(tǒng)辨識，且與圖像322相關聯(lián)的擴增信息可(例如，從移動裝置200或從服務器系統(tǒng)110)檢索。舉例來說，擴增信息可為3D模型以擴增所關注對象320的大小和形狀。在一實施例中，此信息可包含用于擴增的模型視圖(Ml)和投影(PD矩陣。
[0044]在下一圖像304中，所關注對象的圖像322基于擴增信息變換到擴增對象324a。在此實例中，擴增324a是“歡迎光臨我們的網(wǎng)站”公告牌。擴增324a的尺寸和定向可與所關注對象的圖像322對準。舉例來說，擴增324a與所關注對象320相關聯(lián)且使用矩陣Ml和Pl在視頻圖像322的頂部上顯示。
[0045]移動裝置200可接收例如屏幕點擊、屏幕滑動、語音命令或搖晃等用戶輸入，且可產(chǎn)生矩陣M2和P2的新的集合?？墒褂闷渌录?例如，系統(tǒng)或用戶激活的)來產(chǎn)生所述矩陣M2和P2的新的集合。這些新矩陣可描述擴增324b的最終屏幕對準所要位置。舉例來說，參看接下來的圖像306、308，擴增324c在3D空間中旋轉以呈現(xiàn)為垂直于檢視屏幕222。所述事件觸發(fā)M1-M2與P1-P2矩陣之間的轉變。如后續(xù)圖像308、310、312中所描繪，擴增324c繼續(xù)從3D位置到一或多個中間轉變324d直到最終屏幕對準位置324e的轉變。最終屏幕對準位置324e的全屏外觀僅是示范性的，且不是限制。最終屏幕對準位置可小于全屏(例如，如例如324d中描繪)。最終圖像312展示移動裝置200在非AR模式中操作，其中最終屏幕對準位置324e的圖像可為例如網(wǎng)絡瀏覽器等交互式應用(即，顯示與“歡迎光臨我們的網(wǎng)站”網(wǎng)站相關聯(lián)的頁)。其它非AR模式應用也可在轉變結束時使用(例如，電話、繪圖、游戲、文字處理等……)。
[0046]作為一實例且非限制，所述轉變可利用內(nèi)插方法執(zhí)行。舉例來說，在每個幀上，可計算M1-M2與P1-P2之間的內(nèi)插。一般來說，針對幀X的轉變矩陣界定為Mx =內(nèi)插(Ml、M2)以及Px =內(nèi)插(P1、P2)。完成內(nèi)插所需的幀數(shù)目依據(jù)實施方案而定。內(nèi)插方法(即，內(nèi)插(1、i))也可根據(jù)實施方案變化。舉例來說，所述內(nèi)插可為線性的、加速度、減速度或曲線。擴增的初始位置由Ml和Pl矩陣界定。還可使用其它內(nèi)插函數(shù)。每個幀上的后續(xù)位置由Mx、Px轉變矩陣給出。擴增的最終位置由M2和P2矩陣界定。
[0047]在一實施例中，可使用其它坐標系以及動態(tài)開始和結束點。所述轉變可利用使用所關注對象320作為參考的坐標系。矩陣Ml和M2可相對于所關注對象320的初始位置界定。Ml和Pl矩陣可隨時間(例如，由于跟蹤改變)而改變。M2和P2矩陣也可隨時間改變。矩陣Mx和Px可分別通過內(nèi)插M1-M2和P1-P2的當前值來計算。
[0048]參看圖4，進一步參看圖3，展示擴增的從AR視圖模式到屏幕對準視圖的轉變的自上而下說明400。說明400通常稱為檢視平截頭體且包含前部401、視頻背景402、擴增的初始位置(例如，3D對象)404、運動的轉變路徑406，以及擴增的所要最終位置408。一般來說，說明400中的梯形體積是描述可顯示的最近和最遠事物(例如，分別為前部401和視頻背景402)的概念工具。在一實施例中，擴增的初始位置404可表示所關注對象322的初始大小、相對位置和定向，以及接著對應的擴增324a。作為一實例，在觸發(fā)事件(例如，點擊、滑動，或其它系統(tǒng)激活的觸發(fā))之后，擴增324a沿著轉變運動路徑406變換到擴增的所要最終位置408。轉變運動路徑406也可為彎曲的。舉例來說，變換路徑可基于移動裝置200和所關注對象320的相對位置調整或重新計算。變換路徑還可基于移動裝置200中的慣性傳感器232調整。因此，轉變運動路徑306可隨著所關注對象320和對應擴增324a跨越顯示器222移動(例如，當用戶平移移動裝置時)補償。在一實施例中，當擴增到達擴增的所要最終位置408時，移動裝置在非AR模式中顯示與所關注對象320相關聯(lián)的信息。
[0049]參看圖5，進一步參看圖3，展示視頻補丁從AR視圖模式到屏幕對準視圖的轉變的示范性說明500。在第一圖像502中，用戶301將移動裝置200的相機指向所關注對象320。所關注對象的視頻圖像322在屏幕222上顯示。在一實施例中，移動裝置200包含AR視圖模式且經(jīng)配置以經(jīng)由所存儲指令214(即，特征提取模塊162)辨識圖像322。所關注對象圖像322由AR系統(tǒng)辨識，且與圖像322相關聯(lián)的擴增信息可(例如，從移動裝置200或從服務器系統(tǒng)110)檢索。擴增信息可界定例如所關注對象320的大小和形狀，且可包含表示所關注對象320的虛擬對象的模型視圖(Ml)和投影(Pl)矩陣。在下一圖像504中，顯示所關注對象320的視頻補丁 322b (例如，與圖像304中說明的擴增324a相比)。
[0050]參看下一圖像506，在觸發(fā)事件(B卩，用戶輸入、系統(tǒng)觸發(fā))之后，可產(chǎn)生矩陣M2和P2的新的集合。這些新矩陣可描述所關注對象的最終屏幕對準所要位置。補丁 322a可表示所關注對象320的視頻圖像。在一實施例中，補丁 322a可為從視頻圖像322導出的一種類型的擴增。可觸發(fā)M1-M2與P1-P2之間的轉變。參看后續(xù)圖像508、510、512，可確定從原始視頻補丁的位置322b ( S卩，所關注對象320的)到視頻補丁的屏幕對準位置322e的轉變。舉例來說，在每個幀上，可計算M1-M2與P1-P2之間的內(nèi)插。針對幀X的矩陣可界定為Mx=內(nèi)插(Ml、M2)以及Px=內(nèi)插(P1、P2)。完成內(nèi)插所花費的幀的數(shù)目可依據(jù)實施方案而定。內(nèi)插方法(即，內(nèi)插(1、i))可變化。作為實例而非限制，所述內(nèi)插可為線性的、力口速度、減速度或曲線。視頻補丁的初始位置322a可由Ml和Pl矩陣界定。每個幀上的后續(xù)位置可由Mx、Px轉變矩陣給出。視頻補丁的最終位置322e可由M2和P2矩陣界定。M2和P2矩陣不限于全屏模式(S卩，其可表示屏幕區(qū)域的較小部分)。在一實施例中，變換可分解為多個步驟。舉例來說，變換可以Ml和M2的旋轉信息開始，隨后是縮放和平移。在一實例中，M1-M2和P1-P2的內(nèi)插可以循序次序而非同時執(zhí)行。在另一實例中，模型視圖和投影矩陣可分別組合為單一矩陣SI = M1*P1和S2 = M2*P2，從所述單一矩陣發(fā)生內(nèi)插Sx =內(nèi)插(S1、S2)。
[0051]參看圖6，進一步參看圖5，展示視頻補丁的從AR視圖模式到屏幕對準視圖的轉變的自上而下說明600。說明600包含檢視平截頭體，其具有前部601、視頻背景602、擴增的初始位置604、視頻背景上的擴增的投影604a ( S卩，視頻補丁)、轉變運動路徑606、視頻補丁的所要最終位置608、用于計算擴增的視頻補丁的投影線610，以及觀測者612。在此實例中，擴增604不在屏幕222上再現(xiàn)，而是用于確定視頻補丁 604a。即，視頻補丁 604a是初始擴增604到視頻背景上的投影。接著基于視頻補丁 604a確定轉變。視頻補丁 604a沿著轉變運動路徑606變換到視頻補丁的所要最終位置608。如先前描述，轉變運動路徑可為彎曲的(例如，基于所關注對象320與相機220或移動裝置200內(nèi)的其它傳感器232之間的相對位置)。
[0052]參看圖7，進一步參看圖3和5，展示對象從AR視圖模式到屏幕對準模式的雙轉變的示范性說明700。在第一圖像702中，用戶301將移動裝置200的相機220指向所關注對象320。所關注對象的視頻圖像322在屏幕222上顯示。在一實施例中，移動裝置200包含AR視圖模式且經(jīng)配置以經(jīng)由所存儲指令214(即，特征提取模塊162)辨識圖像322。所關注對象圖像322由AR系統(tǒng)辨識，且與圖像322相關聯(lián)的擴增信息可(例如，從移動裝置200或從服務器系統(tǒng)110)檢索。在下一圖像704中，顯示所關注對象320的視頻補丁 322a。在下一圖像706中，位置信息與媒體表示之間的轉變開始?？墒褂檬录?即，用戶點擊、滑動、搖晃或其它系統(tǒng)事件)來起始轉變。在一實例中，第一媒體表示可為視頻補丁 322a，且第二媒體呈現(xiàn)可為所關注對象的擴增(例如，“歡迎光臨我們的網(wǎng)站”公告牌擴增324a)。媒體表示的位置和定向可同延。舉例來說，轉變對象722a可包含在屏幕222上具有變化的不透明因數(shù)的媒體表示(例如，一個媒體表示的不透明性可遞增，而另一媒體表示的不透明性遞減)。
[0053]在后續(xù)圖像708、710中，轉變對象772a的大小和定向可根據(jù)轉變路徑變化(例如，線性內(nèi)插、加速度、減速度或曲線)，且媒體表示的不透明性可基于與媒體相關聯(lián)的圖像參數(shù)(例如，顏色方案、對比度、亮度)。從原始視頻補丁 322a的3D位置到屏幕對準位置724的轉變可以多種方式計算。舉例來說，在每個幀上，可計算兩個位置之間的內(nèi)插。還可計算第一媒體表示與第二表示之間的轉變。完成轉變所需的幀數(shù)目可依據(jù)實施方案而定。空間和媒體轉變方法也可根據(jù)實施方案變化。在一實例中，轉變可為α混合。即，表示的初始形式為視頻補丁，且表示的最終形式為“歡迎光臨我們的網(wǎng)站”公告牌。開始與結束轉變之間的幀提供兩個媒體的α混合融合。
[0054]在轉變結束時，如圖像712中所見，向用戶呈現(xiàn)應用的屏幕對準位置724中的非AR視圖。
[0055]在一實施例中，擴增和視頻補丁信息可當用戶已完成其交互(例如，通過按壓關閉(X)按鈕)時通過在擴增仍為全屏的同時接通相機從而重獲所關注對象320且執(zhí)行相反轉變而從非AR視圖模式轉變回到相機坐標空間中。如果所關注對象320不再處于視圖中，那么擴增可執(zhí)行預先存儲的轉變(例如，收縮，同時向后平移到水平位置，繼續(xù)收縮直到其消失為止)，或執(zhí)行到新AR視圖的折衷轉變(例如，收縮，同時平移到AR模式中新辨識平面的角，接著繼續(xù)收縮直到其消失為止)?？蓤?zhí)行其它相反轉變。
[0056]在操作中，參看圖8，進一步參看圖3-7，用于使用移動裝置200將擴增從3D空間平移到屏幕對準空間的過程800包含所展示的階段。然而，過程800僅為示范性的且不具有限制性。過程800可例如通過添加、移除或重新布置階段而更改。
[0057]在階段802處，所關注對象可在移動裝置200上顯示。舉例來說，用戶301可將移動裝置200的相機220導向所關注對象320。移動裝置可經(jīng)配置以在AR視圖模式中操作。一般來說，所關注對象320為真實世界對象，例如公告牌、指示牌、雜志廣告或可檢視的其它對象。在一實施例中，所關注對象未視覺上檢測到而是經(jīng)由移動裝置200上的其它傳感器接收。舉例來說，與實體位置相關聯(lián)的擴增信息可經(jīng)由無線網(wǎng)絡提供到移動裝置。因此，在此實例中，實體位置是所關注對象，且擴增信息可在不感測視覺目標的情況下顯示。
[0058]在階段804處，移動裝置200可確定包含與所關注對象相關聯(lián)的模型視圖(Ml)和投影(PD矩陣的擴增信息。在一實施例中，用于確定擴增信息的算法包含對所關注對象執(zhí)行特征辨識，以及接收待使用的擴增信息。擴增信息可存儲在本地(例如，在數(shù)據(jù)庫212內(nèi))，或可從遠程服務器110接收。擴增信息可為擴增對象(例如，“歡迎光臨我們的網(wǎng)站”公告牌)，或所關注對象的視頻補丁，或兩者的組合。擴增信息可界定例如所關注對象的大小和形狀，且可包含表示所關注對象的虛擬對象的Ml和Pl矩陣。在階段806處，擴增信息可在所關注對象的圖像上方使用Ml和Pl矩陣顯示。舉例來說，參看圖3的前兩個圖像302、304，如果擴增信息是擴增對象，那么擴增對象可以類似于所關注對象的圖像的大小和定向的大小和定向在顯示屏上出現(xiàn)。
[0059]在階段808處，移動裝置200可計算矩陣M2和P2的新的集合，其描述擴增信息的最終屏幕對準所要位置。舉例來說，矩陣M2和P2可基于擴增信息的視覺維度和圖形顯示器222的可用顯示區(qū)域或分辨率。可使用例如移動裝置的定向等其它因素來確定所要屏幕對準。在階段810處，可估計用于從M1-M2和P1-P2的轉變的幀的數(shù)目。最簡單估計值可為兩個幀，但可使用較高數(shù)目的幀。舉例來說，幀的數(shù)目可基于移動裝置200的處理能力、擴增信息的復雜性，以及圖形顯示器222的分辨率。在一實施例中，待使用的幀的數(shù)目與擴增信息一起提供，或為固定值。待使用的幀的數(shù)目還可在轉變期間基于所關注對象320與移動裝置的相對位置來調整。舉例來說，如果用戶在起始轉變之后平移相機，那么所述過程可包含隨著轉變跟蹤所關注對象的相對運動而增加幀數(shù)目的步驟。
[0060]在階段812處，移動裝置200確定針對轉變的每一幀的矩陣Mx和Px。轉變中的幀數(shù)目不需要為固定數(shù)字，因為每一后續(xù)轉變矩陣Mx和Px可為從先前矩陣的內(nèi)插。可在確定后續(xù)矩陣Mx和Px之前顯示轉變的幀。轉變運動路徑M1-M2、P1-P2可基于處理器能力、擴增信息的復雜性、移動裝置運動和可影響解決方案的效率的其它變量而優(yōu)化。在階段814處，基于幀的所計算Mx和Px矩陣針對所述幀顯示擴增信息。因此，從用戶的視角來看，擴增信息的大小、形狀和/或定向將隨著每一新的幀轉變到所要位置直到在階段816處顯示最終幀為止。
[0061 ] 在階段818處，可執(zhí)行非AR應用。一般來說，非AR應用與所關注對象320相關聯(lián)。作為一實例而非限制，所關注對象320可為雜志廣告，且非AR應用可為顯示廣告商的主頁的網(wǎng)絡瀏覽器?？墒褂闷渌P注對象與應用組合。
[0062]本文描述的通信和數(shù)據(jù)存取技術可結合例如無線廣域網(wǎng)(WffAN)、無線局域網(wǎng)(WLAN)、無線個域網(wǎng)(WPAN)等各種無線通信網(wǎng)絡實施。術語“網(wǎng)絡”和“系統(tǒng)”通?？苫Q使用。WffAN可為碼分多址(CDMA)網(wǎng)絡、時分多址(TDMA)網(wǎng)絡、頻分多址(FDMA)網(wǎng)絡、正交頻分多址(OFDMA)網(wǎng)絡、單載波頻分多址(SC-FDMA)網(wǎng)絡等。CDMA網(wǎng)絡可實施例如cdma2000、寬帶CDMA(W-CDMA)等一或多種無線電接入(RAT)技術。Cdma2000包含IS-95、IS-2000和IS-856標準。TDMA網(wǎng)絡可實施全球移動通信系統(tǒng)(GSM)、數(shù)字高級移動電話系統(tǒng)(D-AMPS)或某一其它RAT。GSM和W-CDMA描述于來自名為“第三代合作伙伴計劃”(3GPP)的協(xié)會的文獻中。Cdma2000描述于來自名為“第三代合作伙伴計劃2”(3GPP2)的協(xié)會的文獻中。3GPP和3GPP2文獻是公開可獲得的。WLAN可為IEEE 802.1lx網(wǎng)絡，且WPAN可為藍牙網(wǎng)絡、IEEE802.15x，或某一其它類型的網(wǎng)絡。所述技術還可結合WWAN、WLAN和/或WPAN的任何組合實施。
[0063]本文描述的方法可依據(jù)特定應用以不同方式且利用不同配置實施。舉例來說，此類方法可實施在硬件、固件和/或其組合(連同軟件)中。舉例來說，在硬件實施方案中，可在一或多個專用集成電路(ASIC)、數(shù)字信號處理器(DSP)、數(shù)字信號處理裝置(DSro)、可編程邏輯裝置(PLD)、現(xiàn)場可編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器、電子裝置、經(jīng)設計以執(zhí)行本文中所描述的功能的其它裝置單元和/或其組合內(nèi)實施處理單元。
[0064]本文描述的存儲媒體可包括初級、次級和/或三級存儲媒體。初級存儲媒體可例如包含例如隨機存取存儲器和/或只讀存儲器等存儲器。次級存儲媒體可包含例如磁性或固態(tài)硬盤驅動器等大容量存儲裝置。三級存儲媒體可包含可裝卸式存儲媒體，例如磁盤或光盤、磁帶、固態(tài)存儲裝置等。在某些實施方案中，存儲媒體或其部分可操作地接收或已其它方式可配置以耦合到計算平臺的其它組件(例如，處理器)。
[0065]在至少一些實施方案中，本文描述的存儲媒體的一或多個部分可存儲表示如存儲媒體的特定狀態(tài)表達的數(shù)據(jù)和/或信息的信號。舉例來說，表示數(shù)據(jù)和/或信息的電子信號可通過影響或改變存儲媒體(例如，存儲器)的一部分的狀態(tài)以將數(shù)據(jù)和/或信息表示為二進制信息(例如，I和O)而“存儲”在存儲媒體的此類部分中。如此，在特定實施方案中，用以存儲表示數(shù)據(jù)和/或信息的信號的存儲媒體的所述部分的此狀態(tài)改變組成存儲媒體到不同狀態(tài)或事物的變換。
[0066]在先前詳細描述中，已陳述許多特定細節(jié)以提供對所主張的標的物的徹底理解。然而，所屬領域的技術人員將理解，可在沒有這些特定細節(jié)的情況下實踐所主張的標的物。在其它例子中，未描述一般技術人員將已知的方法和設備以免混淆所主張的標的物。
[0067]先前詳細描述的一些部分已依據(jù)對存儲在特定設備或專用計算裝置或平臺的存儲器內(nèi)的二進制數(shù)字電子信號的運算的算法或符號表示而呈現(xiàn)。在此特定說明書的上下文中，術語特定設備等包含通用計算機，其一旦編程就依據(jù)來自程序軟件的指令執(zhí)行特定功能。算法描述或符號表示是信號處理或相關【技術領域】的一般技術人員用來向所屬領域的其他技術人員傳達其工作實質的技術的實例。算法在此處且通常視為產(chǎn)生所要結果的運算或類似信號處理的自相容序列。在此上下文中，操作或處理涉及對物理量的物理操縱。通常(盡管并非必須)，此些量可采取能夠作為表示信息的電子信號存儲、傳遞、組合、比較或以其它方式操縱的電或磁信號的形式。主要出于常見用途的原因，將此類信號稱為位、數(shù)據(jù)、值、元素、符號、字符、項目、數(shù)字、標號、信息等有時已證明是方便的。然而，應理解，所有這些或類似術語將與適當物理量相關聯(lián)且僅是方便的標簽。
[0068]除非另外特別陳述，否則如從以下論述顯而易見，應了解，貫穿本說明書中利用例如“處理”、“計算”、“估算”、“識別”、“確定”、“建立”、“獲得”等術語的論述指代例如專用計算機或類似專用電子計算裝置等特定設備的動作或過程。因此，在本說明書的上下文中，專用計算機或類似專用電子計算裝置能夠操縱或變換信號(通常所表示的計算機可讀存儲媒體)，例如專用計算機或類似專用電子計算裝置的存儲器、寄存器或其它信息存儲裝置、發(fā)射裝置或顯示裝置內(nèi)的物理電子或磁性量。在此特定專利申請案的上下文中，術語“特定設備”可包含通用計算機，其一旦經(jīng)由計算機可讀指令編程就依據(jù)來自程序軟件的指令執(zhí)行特定功能。
[0069]貫穿本說明書中對“一個實例”、“一實例”、“特定實例”或“示范性實施方案”的參考意味著，結合特征和/或實例描述的特定特征、結構或特性可包含在所主張的標的物的至少一個特征和/或實例中。因此，貫穿本說明書中各處短語“在一個實例中”、“一實例”、“在特定實例中”或“在示范性實施方案中”或其它類似短語的出現(xiàn)不一定全部指代相同特征、實例和/或限制。此外，可在一或多個實例和/或特征中組合特定特征、結構或特性。
[0070]雖然已說明和描述了目前被視為實例特征的內(nèi)容，但所屬領域的技術人員將理解，在不脫離所主張的標的物的情況下，可作出各種其它修改且可用等效內(nèi)容取代。另外，在不脫離本文中所描述的中心概念的情況下，可作出許多修改以使一特定情形適合所主張的標的物的教示。因此，希望所主張的標的物不限于所揭示的特定實例，而是希望此所主張的標的物還可包含落在所附權利要求書范圍內(nèi)的所有方面及其等效物。
【權利要求】
1.一種方法，其包括: 確定與所關注對象相關聯(lián)的擴增信息，包含模型視圖(Ml)矩陣和投影(Pl)矩陣； 使用所述Ml和Pl矩陣在所述所關注對象的視頻圖像的頂部上顯示所述擴增信息；產(chǎn)生第二模型視圖(M2)矩陣和第二投影(P2)矩陣，其中所述矩陣M2和P2表示所述擴增信息的屏幕對準最終位置；以及 使用所述M2和P2矩陣顯示所述擴增信息。
2.根據(jù)權利要求1所述的方法，其包括: 確定至少一個轉變矩陣Mx和至少一個轉變矩陣Px，其中Mx為內(nèi)插(Ml、M2)且Px為內(nèi)插(P1、P2);以及 使用所述矩陣Mx和Px顯示所述擴增信息。
3.根據(jù)權利要求2所述的方法，其中所述內(nèi)插(M1、M2)和所述內(nèi)插(P1、P2)為線性內(nèi)插。
4.根據(jù)權利要求2所述的方法，其中基于由加速度、減速度和曲線組成的函數(shù)的群組確定所述內(nèi)插(Ml、M2)和所述內(nèi)插(P1、P2)。
5.根據(jù)權利要求1所述的方法，其中所述擴增信息對應于所述所關注對象的視頻補丁。
6.根據(jù)權利要求1所述的方法，其中所述擴增信息對應于所述所關注對象的擴增。
7.根據(jù)權利要求1所述的方法，其中所述擴增信息對應于所述所關注對象的視頻補丁與擴增的α混合融合。
8.根據(jù)權利要求1所述的方法，其包括在非擴增視圖模式中顯示與所述所關注對象相關聯(lián)的應用。
9.一種方法，其包括: 在移動裝置上顯示所關注對象； 確定與所述所關注對象相關聯(lián)的擴增信息，包含模型視圖(Ml)矩陣和投影(Pl)矩陣； 使用所述Ml和Pl矩陣在所述所關注對象的圖像的頂部上顯示所述擴增信息； 計算第二模型視圖(M2)矩陣和第二投影(Ρ2)矩陣，其中所述M2和Ρ2矩陣表示所述擴增信息的所要最終位置； 估計用于轉變的幀的數(shù)目； 針對所述轉變的每一幀確定轉變矩陣Mx和轉變矩陣Px ； 使用所述Mx和Px矩陣顯示每一幀中的所述擴增信息； 使用所述M2和Ρ2矩陣顯示最終幀；以及 執(zhí)行與所述所關注對象相關聯(lián)的應用。
10.根據(jù)權利要求9所述的方法，其中確定所述轉變矩陣Mx和Px分別基于Ml與M2以及Pl與Ρ2之間的內(nèi)插。
11.根據(jù)權利要求10所述的方法，其中所述內(nèi)插選自由線性、加速度、減速度和曲線組成的方法的群組。
12.—種設備,其包括: 移動裝置，其包括: 圖形顯示器，其經(jīng)配置以顯示所關注對象；以及 處理器，其以指令編程以: 確定與所述所關注對象相關聯(lián)的擴增信息，其中所述擴增信息包含模型視圖(Ml)矩陣和投影(PD矩陣； 使用所述Ml和Pl矩陣在所述所關注對象的視頻圖像的頂部上顯示所述擴增信息；產(chǎn)生第二模型視圖(M2)矩陣和第二投影(P2)矩陣，其中所述矩陣M2和P2表示所述擴增信息的屏幕對準最終位置； 確定至少一個轉變矩陣Mx和至少一個轉變矩陣Px，其中Mx為內(nèi)插(Ml、M2)且Px為內(nèi)插(P1、P2);且 使用所述矩陣Mx和Px顯示所述擴增信息。
13.根據(jù)權利要求12所述的設備，其中所述處理器進一步以指令編程以在使用所述矩陣M2和P2顯示所述擴增信息之后執(zhí)行與所述所關注對象相關聯(lián)的應用。
14.根據(jù)權利要求12所述的設備，其中所述處理器進一步以指令編程以使用選自由線性內(nèi)插、加速度、減速度和曲線組成的群組的內(nèi)插方法確定所述至少一個轉變矩陣Mx。
15.根據(jù)權利要求12所述的設備，其中所述處理器進一步以指令編程以使用選自由線性內(nèi)插、加速度、減速度和曲線組成的群組的內(nèi)插方法確定所述至少一個轉變矩陣Px。
16.根據(jù)權利要求12所述的設備，其中所述處理器進一步以指令編程以顯示對應于所述所關注對象的視頻補丁的擴增信息。
17.根據(jù)權利要求12所述的設備，其中所述處理器進一步以指令編程以顯示對應于所述所關注對象的擴增的擴增信息。
18.根據(jù)權利要求12所述的設備，其中所述處理器進一步以指令編程以顯示對應于所述所關注對象的視頻補丁與擴增的α混合融合的擴增信息。
19.一種計算機可讀存儲媒體，其上存儲有用于將空間對準信息轉變?yōu)槠聊粚市畔⒌挠嬎銠C可讀指令，包括經(jīng)配置以致使至少一個處理器進行以下操作的指令: 在移動裝置上顯示所關注對象； 確定與所述所關注對象相關聯(lián)的擴增信息，包含模型視圖(Ml)矩陣和投影(Pl)矩陣； 使用所述Ml和Pl矩陣在所述所關注對象的圖像的頂部上顯示所述擴增信息； 計算第二模型視圖(M2)矩陣和第二投影(Ρ2)矩陣，其中所述M2和Ρ2矩陣表示所述擴增信息的所要最終位置； 估計用于轉變的幀的數(shù)目； 針對所述轉變的每一幀確定轉變矩陣Mx和轉變矩陣Px ； 使用所述Mx和Px矩陣顯示每一幀中的所述擴增信息； 使用所述M2和Ρ2矩陣顯示最終幀；以及 執(zhí)行與所述所關注對象相關聯(lián)的應用。
20.根據(jù)權利要求19所述的計算機可讀存儲媒體，其包括經(jīng)配置以致使至少一個處理器分別基于Ml與M2以及Pl與Ρ2之間的內(nèi)插確定所述轉變矩陣Mx和Px的指令。
21.根據(jù)權利要求20所述的計算機可讀存儲媒體，其包括經(jīng)配置以致使至少一個處理器利用線性內(nèi)插方法來確定所述轉變矩陣Mx和Px的指令。
22.根據(jù)權利要求19所述的計算機可讀存儲媒體，其包括經(jīng)配置以致使至少一個處理器顯示對應于所述所關注對象的視頻補丁的擴增信息的指令。
23.根據(jù)權利要求19所述的計算機可讀存儲媒體，其包括經(jīng)配置以致使至少一個處理器顯示對應于所述所關注對象的視頻補丁與擴增的α混合融合的擴增信息的指令。
【文檔編號】G06T19/00GK104380346SQ201380031874
【公開日】2015年2月25日 申請日期:2013年5月24日 優(yōu)先權日:2012年6月26日
【發(fā)明者】S·A·莉澤恩比, E·金, P·O·尼爾森, G·V·賴特, E·門德斯·門德斯, M·蓋爾沃茨 申請人:高通股份有限公司