處理視覺數(shù)據(jù)的設(shè)備和方法以及相關(guān)的計算機(jī)程序產(chǎn)品的制作方法
【技術(shù)領(lǐng)域】
[0001] 本公開設(shè)及數(shù)據(jù)處理的領(lǐng)域。更具體地，本公開設(shè)及針對參照W用戶為中屯、的坐 標(biāo)系統(tǒng)的空間中的位置來處理視覺數(shù)據(jù)。
【背景技術(shù)】
[0002] 隨著信息技術(shù)的快速發(fā)展，電子視覺顯示設(shè)備在全球得W廣泛應(yīng)用。根據(jù)觀察的 模式，可W將顯示設(shè)備劃分成兩個類別：直接觀看顯示器和投影顯示器。手持設(shè)備、智能電 話和平板可W被視為直接觀看顯示設(shè)備，因為在它們的屏幕上可W直接觀看視覺內(nèi)容。自 然，投影儀屬于投影顯示設(shè)備，因為視覺內(nèi)容被投影到外部屏幕。諸如將視覺內(nèi)容直接投影 到用戶的視網(wǎng)膜上的視頻眼鏡運樣的一些頭戴式顯示設(shè)備(HMD)也可W被視為投影顯示設(shè) 備。
[0003] 如今，在顯示設(shè)備上呈現(xiàn)視覺內(nèi)容的基本方式是從設(shè)備的視點對視覺內(nèi)容提供參 考。換言之，由設(shè)備顯示的視覺內(nèi)容與用戶的位置無關(guān)。
[0004] 對于手持設(shè)備，雖然用戶可W向左或向右擦去(wipe)所顯示的內(nèi)容，但是參考系 統(tǒng)仍然是設(shè)備本身。參考不是設(shè)備的情況是照片或視頻獲取物，或者一些基于增強(qiáng)現(xiàn)實標(biāo) 簽的應(yīng)用，其中數(shù)據(jù)位置與被拍攝的環(huán)境相關(guān)聯(lián)。在適當(dāng)?shù)奈恢锰幊钟性O(shè)備可W使數(shù)據(jù)看 起來與環(huán)境一致(所顯示的數(shù)據(jù)的方向具有與用戶所看到的環(huán)境中的方向相關(guān)聯(lián)）。運通常 被稱為增強(qiáng)現(xiàn)實。
[000引對于HMD,視頻可W被投影到用戶的視網(wǎng)膜上，使得其看起來在觀看者前面的給定 距離處。設(shè)備的光學(xué)參數(shù)將投影畫面，使得適應(yīng)性調(diào)節(jié)和可能的會聚對于觀看者很舒服。增 強(qiáng)現(xiàn)實技術(shù)可W將數(shù)據(jù)與W用戶為中屯、的空間中的方向相關(guān)聯(lián)(例如，獨眼或立體觀看）。
[0006] 然而，針對手持設(shè)備或HMD的增強(qiáng)現(xiàn)實技術(shù)僅可W顯示具有"增強(qiáng)"元素的物質(zhì)的、 真實世界環(huán)境的實況視圖。主要的視覺內(nèi)容受限于直接由相機(jī)捕捉的真實世界環(huán)境。換言 之，手持設(shè)備或HMD只可W被動地顯示由其相機(jī)捕捉的物質(zhì)環(huán)境的視圖，并且在該物質(zhì)環(huán)境 上添加內(nèi)容。
[0007] 需要所顯示的數(shù)據(jù)表示用戶的感知系統(tǒng)的設(shè)備和方法。

【發(fā)明內(nèi)容】

[0008] 本公開克服現(xiàn)有技術(shù)的限制。
[0009] 更具體地，本公開設(shè)及一種對終端顯示視覺數(shù)據(jù)的視覺數(shù)據(jù)處理設(shè)備。根據(jù)本公 開，所述設(shè)備包含：
[0010] -被配置為獲取所述終端相對于所述終端的用戶上的參考點的Ξ維位置的模塊；
[0011] -被配置為與所述終端的Ξ維位置相關(guān)地、根據(jù)可用視覺數(shù)據(jù)的集合來確定從所 述參考點的視點要顯示的視覺數(shù)據(jù)的子集的模塊；
[0012] -被配置為修改所述要顯示的視覺數(shù)據(jù)的子集、交付所修改的視覺數(shù)據(jù)的模塊；
[0013] -被配置為在所述終端的顯示模塊上顯示所修改的視覺數(shù)據(jù)的模塊。
[0014] 因此，本公開提供一種可W使用基礎(chǔ)視覺數(shù)據(jù)、考慮與用戶的位置相比較的設(shè)備 的位置、對用戶計算或生成W自我為中屯、的視覺數(shù)據(jù)。
[0015] 因此，視覺數(shù)據(jù)的顯示與用戶的視野無關(guān)。運樣的技術(shù)不需要跟蹤用戶的視野。
[0016] 根據(jù)本公開，所述參考點在所述用戶的軀干上。
[0017] 因此能夠通過恒定的參考點來確定設(shè)備的位置。
[0018] 根據(jù)本公開，所述終端的Ξ維位置包含所述終端和所述參考點之間的距離W及從 所述參考點到所述終端的方向。
[0019] 根據(jù)本公開，所述可用視覺數(shù)據(jù)的集合包含W下元素中的至少一個：
[0020] -操作系統(tǒng)的桌面；
[0021] -應(yīng)用的圖標(biāo)；
[0022] -應(yīng)用的用戶界面；
[002引-視頻內(nèi)容。
[0024] 與增強(qiáng)現(xiàn)實不同，該設(shè)備考慮設(shè)備的位置來顯示應(yīng)用的數(shù)據(jù)等。所示出的數(shù)據(jù)不 表示關(guān)于捕捉模塊的設(shè)備所感知的，但是其表示一種虛擬環(huán)境的一部分。
[0025] 根據(jù)本公開，所述用于確定要顯示在Ξ維空間的視覺數(shù)據(jù)的子集的模塊包含：
[0026] -被配置為獲取表示至少一個幾何變換的數(shù)據(jù)的模塊；
[0027] -被配置為對所述要顯示的視覺數(shù)據(jù)的子集應(yīng)用所述至少一個幾何變換的模塊。
[0028] 根據(jù)本公開，所述至少一個幾何變換包含一個3D空間旋轉(zhuǎn)和一個3D平移。
[0029] 因此，視覺數(shù)據(jù)的計算可W基于運兩個簡單的變換，并且計算是快速的。
[0030] 根據(jù)本公開，被配置為獲取Ξ維位置的模塊包含位置傳感器。
[0031] 根據(jù)本公開，所述位置傳感器根據(jù)安放在用戶上的所述參考點上的至少一個項目 來測量所述Ξ維位置。
[0032] 因此，當(dāng)參考點是軀干時，項目可W例如是項鏈。項鏈可W是將其位置發(fā)送給設(shè)備 的數(shù)字項鏈或者簡單的金屬項鏈(然后，設(shè)備通過檢測該項鏈來測量其位置）。
[0033] 根據(jù)本公開，所述終端是手持設(shè)備或頭戴式設(shè)備(HMD)。
[0034] 本公開還設(shè)及一種用于處理要在終端的復(fù)原模塊上恢復(fù)的視覺數(shù)據(jù)的方法。根據(jù) 本公開，所述方法包含：
[0035] -獲取所述終端相對于所述終端的用戶上的參考點的Ξ維位置；
[0036] -與所述終端的Ξ維位置相關(guān)地、根據(jù)可用視覺數(shù)據(jù)的集合來確定從所述參考點 的視點要顯示的Ξ維視覺數(shù)據(jù)的子集；
[0037] -修改所述要顯示的Ξ維視覺數(shù)據(jù)的子集，交付所修改的視覺數(shù)據(jù)；
[0038] -在所述終端的顯示模塊上顯示所修改的視覺數(shù)據(jù)。
[0039] 根據(jù)本公開，所述參考點在所述用戶的軀干上。
[0040] 根據(jù)本公開，所述可用視覺數(shù)據(jù)的集合包含W下元素中的至少一個：
[0041] -操作系統(tǒng)的桌面；
[0042] -應(yīng)用的圖標(biāo)；
[0043] -應(yīng)用的用戶界面；
[0044] -視頻內(nèi)容。
[004引根據(jù)本公開，所述確定步驟包含：
[0046] -獲取表示至少一個幾何變換的數(shù)據(jù)；
[0047] -對所述要顯示的視覺數(shù)據(jù)的子集應(yīng)用所述至少一個幾何變換。
[0048] 根據(jù)本公開，所述至少一個幾何變換包含一個3D空間旋轉(zhuǎn)和一個3D平移。
[0049] 另外，本公開將顯示設(shè)備的有限視野擴(kuò)展到用戶的可能的視野，并且提供所呈現(xiàn) 的內(nèi)容與設(shè)備無關(guān)而是與用戶有關(guān)的觀看/交互范式。更精確地，所顯示的內(nèi)容表示在其自 己的W自我為中屯、的坐標(biāo)系統(tǒng)中的用戶的空間的感知。
[0050] 相應(yīng)地，本原理還提供一種可W由計算機(jī)或數(shù)據(jù)處理器執(zhí)行的程序，該程序包括 用于控制如上所述的方法的步驟的執(zhí)行的指令。
[0051] 該程序可W使用任何編程語言，并且可源代碼、目標(biāo)代碼或者源代碼與目標(biāo) 代碼之間的中間代碼的形式，諸如部分編譯的形式，或者W任何其他所期望的形式。
[0052] 本原理還提供可由數(shù)據(jù)處理器讀取并且包含上述程序的指令的介質(zhì)。
[0053] 信息載體可W是能夠存儲程序的任何實體或設(shè)備。例如，介質(zhì)可W包含存儲介質(zhì)， 諸如ROM,例如CD ROM或微電子電路，或者磁記錄介質(zhì)，諸如盤(軟盤)或硬驅(qū)動。
[0054] 另一方面，信息載體可W是可傳送的載波，諸如可W經(jīng)由電纜或光纜通過無線電 或其他方式傳輸?shù)碾娦盘柣蚬庑盘?。特別地，根據(jù)本原理的程序可W在諸如因特網(wǎng)運樣的 網(wǎng)絡(luò)上下載。
[0055] 替代地，信息載體可W是合并有程序的集成電路，該電路適合于執(zhí)行或被用于執(zhí) 行所述處理。
[0056] 根據(jù)一個實施例，本原理使用軟件和/或硬件來實現(xiàn)。在本上下文中，術(shù)語"模塊" 在本文獻(xiàn)中可W對應(yīng)于軟件組件W及硬件組件或者硬件和軟件組件的集合。
[0057] 軟件組件是一個或多個計算機(jī)程序、程序的一個或多個子程序，或者更一般地，能 夠根據(jù)針對模塊在下面所描述的那樣實現(xiàn)功能或功能集合的程序或軟件的任何元件。運樣 的軟件組件由物理實體(TV、投影儀、終端、服務(wù)器、網(wǎng)關(guān)、路由器等）的處理器執(zhí)行，并且能 夠訪問物理實體的硬件資源(存儲器、存儲介質(zhì)、總線通信、電子卡1/0,用戶接口等）。
[0058] 類似地，硬件組件是可W根據(jù)針對模塊在下面所描述的那樣實現(xiàn)功能或功能集合 的硬件(或硬件）的任何組件。其可W是用于執(zhí)行處理器的與可編程的硬件或軟件集成的組 件，例如集成電路、智能卡、存儲卡、用于執(zhí)行固件的電子卡等。
[0059] 上述系統(tǒng)的每個組件提供其自己的軟件模塊。針對根據(jù)本原理的實現(xiàn)方式，W上 描述的各種實施例可W組合到一起。
【附圖說明】
[0060] 下面結(jié)合附圖，作為示例，描述所提出的方法，而不限制由權(quán)利要求書所定義的保 護(hù)范圍。附圖中：
[0061] -圖1例示設(shè)備的主要功能模塊；
[0062]-圖2例示坐標(biāo)系統(tǒng)的定義；
[0063] -圖3例示定位位置傳感器的示例；
[0064] -圖4例示W(wǎng)軀干坐標(biāo)系統(tǒng)中的點C為中屯、的W自我為中屯、的內(nèi)容球(egocentric content sphere);
[006引-圖5例示W(wǎng)點C為中屯、的球坐標(biāo)；
[0066] -圖6例示視覺數(shù)據(jù)處理方法的主要步驟；
[0067] -圖7例示根據(jù)本公開的視覺數(shù)據(jù)處理設(shè)備的實施例。
【具體實施方式】 [006引 1.原理
[0069] 在自然生活中，用戶習(xí)慣于使對象或屏幕在他們周圍，并且如果在給定時刻，他們 看不到它們，則他們知道如果他們修改它們的位置/姿勢，則他們可W看到運些對象(例如， 電視機(jī)或墻上的時鐘）。他們的空間的感知是主動的，得自于過去和現(xiàn)有的視覺和