一種虛擬現(xiàn)實(shí)成像系統(tǒng)的制作方法
【專利摘要】本發(fā)明具體涉及一種虛擬現(xiàn)實(shí)成像系統(tǒng)，該系統(tǒng)包括虛擬現(xiàn)實(shí)頭戴裝置、智能手機(jī)、個(gè)人電腦，及設(shè)置在智能手機(jī)中的客戶端和設(shè)置在個(gè)人電腦中的服務(wù)端，其中，智能手機(jī)內(nèi)設(shè)置有與客戶端連接的眼球掃描儀、加速度傳感器和陀螺儀；客戶端預(yù)判用戶的眼球在當(dāng)前時(shí)刻起的第一預(yù)設(shè)時(shí)段內(nèi)的運(yùn)動狀態(tài)信息并發(fā)送給服務(wù)端；服務(wù)端根據(jù)預(yù)判的用戶眼球的運(yùn)動狀態(tài)信息，進(jìn)行三維圖像的渲染，并將渲染后的圖像壓縮和編碼為流媒體數(shù)據(jù)流后存儲到傳輸隊(duì)列中；客戶端對所述流媒體數(shù)據(jù)流進(jìn)行解碼和解壓縮，并輸出給所述智能手機(jī)的顯示屏。通過本發(fā)明的技術(shù)方案，能解決現(xiàn)有技術(shù)中虛擬現(xiàn)實(shí)圖像傳輸延遲及圖像失真的問題。
【專利說明】
一種虛擬現(xiàn)實(shí)成像系統(tǒng)
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及流媒體技術(shù)領(lǐng)域，具體涉及一種虛擬現(xiàn)實(shí)成像系統(tǒng)。
【背景技術(shù)】
[0002]虛擬現(xiàn)實(shí)(Virtual Reality，VR)技術(shù)是一種可以創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)仿真系統(tǒng)，它利用計(jì)算機(jī)生成一種模擬環(huán)境，是一種多源信息融合的交互式的三維動態(tài)視景和實(shí)體行為的系統(tǒng)仿真，使用戶沉浸到該模擬環(huán)境中。
[0003]目前，VR頭顯和VR眼鏡是虛擬現(xiàn)實(shí)技術(shù)的主要應(yīng)用。
[0004]VR頭顯:通過有線的頭戴式顯示器和個(gè)人電腦的組合方式實(shí)現(xiàn)虛擬現(xiàn)實(shí)，例如:Oculus Rift，PS4Morpheus0
[0005]VR頭顯通過USB(Universal Serial Bus，通用串行總線)和HDMI(HighDefinit1nMultimedia Interface，高清晰度多媒體接口)線連接電腦。用戶戴上VR頭顯后，VR頭顯通過USB將用戶的頭部運(yùn)動狀態(tài)信息傳遞給個(gè)人電腦。個(gè)人電腦中運(yùn)行的游戲程序在接收信息后，通過CPU和GPU的運(yùn)算產(chǎn)生具有沉浸感覺的影像，并通過HDMI視頻線輸出到VR頭顯。
[0006]其缺點(diǎn)是由于存在著USB線、HDMI線和電源線的連接，在游戲場景中玩家的身體移動距離和范圍受到限制，便捷性和體驗(yàn)性降低，在VR游戲中，如果用戶有較大幅度的運(yùn)動，容易造成VR頭顯和電腦之間的連接線接觸不良，信號中斷，甚至使VR頭顯設(shè)備遭到損傷。
[0007]VR眼鏡:將游戲APP安裝在手機(jī)端，用戶戴上VR眼鏡后，通過手機(jī)獲取用戶頭部運(yùn)動信息，并用手機(jī)的CPU和GPU上完成計(jì)算和渲染，例如= SamSung Gear VR,GoogleCardboard。其缺點(diǎn)是受到手機(jī)性能的影響，無法實(shí)現(xiàn)具有復(fù)雜場景和計(jì)算的游戲，圖像質(zhì)量較差。
[0008]現(xiàn)有技術(shù)中的無線虛擬現(xiàn)實(shí)成像系統(tǒng)是基于以下兩個(gè)原理實(shí)現(xiàn)的:
[0009]1、同屏顯示技術(shù)。將某臺個(gè)人電腦屏幕上顯示的內(nèi)容，通過網(wǎng)絡(luò)在其他設(shè)備上顯示的技術(shù)。該技術(shù)通過定時(shí)截取屏幕上顯示的內(nèi)容，作為視頻的一幀圖像，通過流媒體技術(shù)在網(wǎng)絡(luò)上進(jìn)行傳輸，在其他設(shè)備上使用流媒體技術(shù)進(jìn)行播放，從而實(shí)現(xiàn)了同屏顯示。通過該技術(shù)，可以將個(gè)人電腦上顯示的圖像通過無線網(wǎng)絡(luò)，在手機(jī)屏幕上顯示。
[0010]2、2D-3D轉(zhuǎn)換技術(shù)。是一種在二維(2D)影像的基礎(chǔ)上制作三維(3D)影像時(shí)采用的技術(shù)。當(dāng)人眼在觀看一幅平面彩色立體圖片的時(shí)候，可以根據(jù)圖片上的內(nèi)容判斷其中物體、人物之間的距離關(guān)系，而這種判斷通常十分準(zhǔn)確，這說明平面圖像中盡管不存在能用人的雙眼視差異等生理立體視覺識別的深度信息，卻存在著其它的深度暗示，如運(yùn)動視差、聚焦/散焦、線性透視、大氣散射、陰影、遮擋、相對高度以及相對大小等，這些暗示信息是人類對自然景物長期觀察而得到的一種立體視覺記憶和立體視覺經(jīng)驗(yàn)，依靠這種視覺記憶和經(jīng)驗(yàn)，觀察者能夠從平面圖像中準(zhǔn)確地提取出物體間的相對位置和相對深度，人眼的這種立體視覺被稱為心理立體視覺。根據(jù)人眼的這種特性，可以將平面圖像中的深度信息提取出來，再結(jié)合原始左視圖合成出右視圖，這樣，合成出的右視圖與原來的左視圖存在視差，將兩幅視圖合成后通過3D顯示設(shè)備即可得到具有3D效果的立體圖。通過該技術(shù)，結(jié)合同屏顯示技術(shù)，將截取的圖像進(jìn)行2D-3D的轉(zhuǎn)換后，可以在手機(jī)端呈現(xiàn)出具有3D效果的影像。
[0011]現(xiàn)有技術(shù)中的無線虛擬現(xiàn)實(shí)成像系統(tǒng)具有以下缺點(diǎn):
[0012]1、視頻是按照固定的幀率進(jìn)行播放的。比如:60幀/秒或者30幀/秒，但對VR體驗(yàn)來說，60幀/秒是最低標(biāo)準(zhǔn)，當(dāng)現(xiàn)實(shí)頻率小于60幀/秒會造成用戶暈眩感。由于采用固定頻率播放關(guān)系，當(dāng)頭部快速移動時(shí)，會造成拖影延遲。
[0013]2、同屏技術(shù)由于采用截取屏幕的方式，是在圖像渲染并顯示出來后才進(jìn)行截取和傳輸，所以有延遲高，幀數(shù)低的問題。另外，當(dāng)手機(jī)分辨率高于屏幕分辨率時(shí)會造成圖像質(zhì)量下降。
[0014]3、VR眼鏡看到的是個(gè)人電腦屏幕顯示的2D內(nèi)容通過2D-3D轉(zhuǎn)換技術(shù)輸出的3D場景影像。從個(gè)人電腦屏幕輸出的2D圖像中提取出來的深度信息，與原有場景會有一些差異，導(dǎo)致轉(zhuǎn)換后的3D場景會造成眼部的不適感。

【發(fā)明內(nèi)容】

[0015]有鑒于此，本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種虛擬現(xiàn)實(shí)成像系統(tǒng)，解決現(xiàn)有技術(shù)中虛擬現(xiàn)實(shí)圖像傳輸延遲及圖像失真的問題。
[0016]為實(shí)現(xiàn)以上目的，本發(fā)明采用如下技術(shù)方案:
[0017]—種虛擬現(xiàn)實(shí)成像系統(tǒng)，包括虛擬現(xiàn)實(shí)頭戴裝置、智能手機(jī)和個(gè)人電腦，還包括:設(shè)置在智能手機(jī)中的客戶端和設(shè)置在個(gè)人電腦中的服務(wù)端，其中，
[0018]所述智能手機(jī)的顯示屏設(shè)置在所述虛擬現(xiàn)實(shí)頭戴裝置的目鏡后，所述智能手機(jī)和所述個(gè)人電腦無線連接;所述智能手機(jī)內(nèi)設(shè)置有加速度傳感器和陀螺儀，所述加速度傳感器和陀螺儀分別與所述客戶端連接；
[0019]所述客戶端，用于根據(jù)所述加速度傳感器和陀螺儀獲取的用戶頭部的運(yùn)動狀態(tài)信息，預(yù)判用戶的眼球在當(dāng)前時(shí)刻起的第一預(yù)設(shè)時(shí)段內(nèi)的運(yùn)動狀態(tài)信息，并將預(yù)判的用戶眼球的運(yùn)動狀態(tài)信息發(fā)送給所述服務(wù)端；
[0020]所述服務(wù)端，用于根據(jù)所述客戶端預(yù)判的用戶眼球的運(yùn)動狀態(tài)信息，進(jìn)行三維圖像的渲染，并將渲染后的圖像壓縮和編碼為流媒體數(shù)據(jù)流后，將所述流媒體數(shù)據(jù)流存儲到傳輸隊(duì)列中；
[0021]所述客戶端，還用于從所述傳輸隊(duì)列中獲取最新的流媒體數(shù)據(jù)流后，對所述流媒體數(shù)據(jù)流進(jìn)行解碼和解壓縮，并輸出給所述智能手機(jī)的顯示屏。
[0022]優(yōu)選地，所述客戶端每隔第二預(yù)設(shè)時(shí)段將預(yù)判的用戶眼球的運(yùn)動狀態(tài)信息發(fā)送給所述服務(wù)器端，其中所述第二預(yù)設(shè)時(shí)段小于第一預(yù)設(shè)時(shí)段；
[0023]所述服務(wù)端創(chuàng)建多個(gè)服務(wù)進(jìn)程，所述多個(gè)服務(wù)進(jìn)程用來按時(shí)間順序接收所述客戶端預(yù)判的用戶眼球的運(yùn)動狀態(tài)信息。
[0024]優(yōu)選地，所述服務(wù)端使用個(gè)人電腦的GPU將渲染后的圖像壓縮和編碼為流媒體數(shù)據(jù)流;所述客戶端使用智能手機(jī)的GHJ對接收到的流媒體數(shù)據(jù)流進(jìn)行解碼和解壓縮。
[0025]優(yōu)選地，所述個(gè)人電腦的GPU為Inte I集成顯卡或Nvidia顯卡。
[0026]本發(fā)明采用以上技術(shù)方案，至少具備以下有益效果:
[0027]1、由于個(gè)人電腦具有復(fù)雜圖像計(jì)算處理的能力，將三維圖像的渲染在個(gè)人電腦中實(shí)現(xiàn)，同時(shí)，利用無線傳輸技術(shù)，將渲染后的圖像信息傳輸?shù)街悄苁謾C(jī)上顯示，解決了現(xiàn)有技術(shù)中，由于受智能手機(jī)性能的限制，不能支撐復(fù)雜場景游戲運(yùn)行的問題。
[0028]2、由于智能手機(jī)和個(gè)人電腦是無線連接，解決了現(xiàn)有技術(shù)中用戶體驗(yàn)受虛擬現(xiàn)實(shí)頭戴裝置各種連接線影響的問題，增強(qiáng)了用戶體驗(yàn)。
[0029]3、另外，本發(fā)明提供的這種虛擬現(xiàn)實(shí)成像系統(tǒng)，客戶端會根據(jù)手機(jī)內(nèi)置的加速度傳感器和陀螺儀的輸出信號，對眼球在當(dāng)前時(shí)刻起的第一預(yù)設(shè)時(shí)段內(nèi)的運(yùn)動狀態(tài)信息做個(gè)預(yù)判，并將預(yù)判結(jié)果發(fā)給個(gè)人電腦的服務(wù)端，個(gè)人電腦的服務(wù)端能提前將未來預(yù)設(shè)時(shí)段內(nèi)的圖像渲染出來，且個(gè)人電腦的服務(wù)端將渲染后的圖像壓縮和編碼為流媒體數(shù)據(jù)流后直接輸出給智能手機(jī)的客戶端，相比現(xiàn)有技術(shù)，增加了眼球運(yùn)動狀態(tài)的預(yù)判過程，減少了圖像截取的過程，因此本發(fā)明提供的這種虛擬現(xiàn)實(shí)成像系統(tǒng)能減少虛擬現(xiàn)實(shí)圖像的傳輸延遲。另外由于智能手機(jī)中的客戶端提取的是虛擬現(xiàn)實(shí)圖像原始的流媒體數(shù)據(jù)流，而不是虛擬現(xiàn)實(shí)圖像2D圖像截屏后的流媒體數(shù)據(jù)流，因此相比現(xiàn)有技術(shù)，能更加真實(shí)地還原虛擬現(xiàn)實(shí)圖像的3D場景。
【附圖說明】
[0030]圖1為本發(fā)明一實(shí)施例提供的一種虛擬現(xiàn)實(shí)成像系統(tǒng)的示意框圖。
【具體實(shí)施方式】
[0031]下面通過附圖和實(shí)施例，對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。
[0032]參見圖1，本實(shí)施例提供的一種虛擬現(xiàn)實(shí)成像系統(tǒng)100，包括虛擬現(xiàn)實(shí)頭戴裝置101、智能手機(jī)102和個(gè)人電腦103，還包括:
[0033]設(shè)置在智能手機(jī)102中的客戶端1020和設(shè)置在個(gè)人電腦103中的服務(wù)端1030，其中，
[0034]所述智能手機(jī)102的顯示屏設(shè)置在所述虛擬現(xiàn)實(shí)頭戴裝置101的目鏡后，所述智能手機(jī)102和所述個(gè)人電腦103無線連接;所述智能手機(jī)102內(nèi)設(shè)置有加速度傳感器1021和陀螺儀1022，所述加速度傳感器1021和陀螺儀1022分別與所述客戶端1020連接；
[0035]所述客戶端1020，用于根據(jù)所述加速度傳感器1021和陀螺儀1022獲取的用戶頭部的運(yùn)動狀態(tài)信息，預(yù)判用戶的眼球在當(dāng)前時(shí)刻起的第一預(yù)設(shè)時(shí)段內(nèi)的運(yùn)動狀態(tài)信息，并將預(yù)判的用戶眼球的運(yùn)動狀態(tài)信息發(fā)送給所述服務(wù)端1030;
[0036]所述服務(wù)端1030，用于根據(jù)所述客戶端1020預(yù)判的用戶眼球的運(yùn)動狀態(tài)信息，進(jìn)行三維圖像的渲染，并將渲染后的圖像壓縮和編碼為流媒體數(shù)據(jù)流后，將所述流媒體數(shù)據(jù)流存儲到傳輸隊(duì)列中；
[0037]所述客戶端1020，還用于從所述傳輸隊(duì)列中獲取最新的流媒體數(shù)據(jù)流后，對所述流媒體數(shù)據(jù)流進(jìn)行解碼和解壓縮，并輸出給所述智能手機(jī)102的顯示屏。
[0038]需要說明的是，所述預(yù)設(shè)時(shí)段可以根據(jù)實(shí)際需要進(jìn)行設(shè)置，例如設(shè)為10?30ms。
[0039]由上述技術(shù)方案可知，本發(fā)明提供的這種虛擬現(xiàn)實(shí)成像系統(tǒng)，由于個(gè)人電腦具有復(fù)雜圖像計(jì)算處理的能力，將三維圖像的渲染在個(gè)人電腦中實(shí)現(xiàn)，同時(shí)，利用無線傳輸技術(shù)，將渲染后的圖像信息傳輸?shù)街悄苁謾C(jī)上顯示，解決了現(xiàn)有技術(shù)中，由于受智能手機(jī)性能的限制，不能支撐復(fù)雜場景游戲運(yùn)行的問題。
[0040]由于智能手機(jī)和個(gè)人電腦是無線連接，解決了現(xiàn)有技術(shù)中用戶體驗(yàn)受虛擬現(xiàn)實(shí)頭戴裝置各種連接線影響的問題，增強(qiáng)了用戶體驗(yàn)。
[0041]另外，本發(fā)明提供的這種虛擬現(xiàn)實(shí)成像系統(tǒng)，客戶端會根據(jù)手機(jī)內(nèi)置的加速度傳感器和陀螺儀的輸出信號，對眼球在當(dāng)前時(shí)刻起的第一預(yù)設(shè)時(shí)段內(nèi)的運(yùn)動狀態(tài)信息做個(gè)預(yù)判，并將預(yù)判結(jié)果發(fā)給個(gè)人電腦的服務(wù)端，個(gè)人電腦的服務(wù)端能提前將未來預(yù)設(shè)時(shí)段內(nèi)的圖像渲染出來，且個(gè)人電腦的服務(wù)端將渲染后的圖像壓縮和編碼為流媒體數(shù)據(jù)流后直接輸出給智能手機(jī)的客戶端，相比現(xiàn)有技術(shù)，增加了眼球運(yùn)動狀態(tài)的預(yù)判過程，減少了圖像截取的過程，因此本發(fā)明提供的這種虛擬現(xiàn)實(shí)成像系統(tǒng)能減少虛擬現(xiàn)實(shí)圖像的傳輸延遲。另外由于智能手機(jī)中的客戶端提取的是虛擬現(xiàn)實(shí)圖像原始的流媒體數(shù)據(jù)流，而不是虛擬現(xiàn)實(shí)圖像2D圖像截屏后的流媒體數(shù)據(jù)流，因此相比現(xiàn)有技術(shù)，能更加真實(shí)地還原虛擬現(xiàn)實(shí)圖像的3D場景。
[0042]優(yōu)選地，所述客戶端1020每隔第二預(yù)設(shè)時(shí)段將預(yù)判的用戶眼球的運(yùn)動狀態(tài)信息發(fā)送給所述服務(wù)器端1030，其中所述第二預(yù)設(shè)時(shí)段小于第一預(yù)設(shè)時(shí)段；
[0043]所述服務(wù)端1030創(chuàng)建多個(gè)服務(wù)進(jìn)程，所述多個(gè)服務(wù)進(jìn)程用來按時(shí)間順序接收所述客戶端1020預(yù)判的用戶眼球的運(yùn)動狀態(tài)信息。
[0044]其中，所述第二預(yù)設(shè)時(shí)段可以設(shè)為5?10ms。
[0045]優(yōu)選地，所述服務(wù)端1030使用個(gè)人電腦的GPU將渲染后的圖像壓縮和編碼為流媒體數(shù)據(jù)流;所述客戶端1020使用智能手機(jī)的GPU對接收到的流媒體數(shù)據(jù)流進(jìn)行解碼和解壓縮。
[0046]優(yōu)選地，所述個(gè)人電腦的GPU為Inte I集成顯卡或Nvidia顯卡。
[0047]以上所述的【具體實(shí)施方式】，對本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的【具體實(shí)施方式】而已，并不用于限定本發(fā)明的保護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種虛擬現(xiàn)實(shí)成像系統(tǒng)，包括虛擬現(xiàn)實(shí)頭戴裝置、智能手機(jī)和個(gè)人電腦，其特征在于，還包括:設(shè)置在智能手機(jī)中的客戶端和設(shè)置在個(gè)人電腦中的服務(wù)端，其中， 所述智能手機(jī)的顯示屏設(shè)置在所述虛擬現(xiàn)實(shí)頭戴裝置的目鏡后，所述智能手機(jī)和所述個(gè)人電腦無線連接;所述智能手機(jī)內(nèi)設(shè)置有分別與所述客戶端連接的加速度傳感器和陀螺儀； 所述客戶端，用于根據(jù)所述加速度傳感器和陀螺儀獲取的用戶頭部的運(yùn)動狀態(tài)信息，預(yù)判用戶的眼球在當(dāng)前時(shí)刻起的第一預(yù)設(shè)時(shí)段內(nèi)的運(yùn)動狀態(tài)信息，并將預(yù)判的用戶眼球的運(yùn)動狀態(tài)信息發(fā)送給所述服務(wù)端； 所述服務(wù)端，用于根據(jù)所述客戶端預(yù)判的用戶眼球的運(yùn)動狀態(tài)信息，進(jìn)行三維圖像的渲染，并將渲染后的圖像壓縮和編碼為流媒體數(shù)據(jù)流后，將所述流媒體數(shù)據(jù)流存儲到傳輸隊(duì)列中； 所述客戶端，還用于從所述傳輸隊(duì)列中獲取最新的流媒體數(shù)據(jù)流后，對所述流媒體數(shù)據(jù)流進(jìn)行解碼和解壓縮，并輸出給所述智能手機(jī)的顯示屏。2.根據(jù)權(quán)利要求1所述的虛擬現(xiàn)實(shí)成像系統(tǒng)，其特征在于，所述客戶端每隔第二預(yù)設(shè)時(shí)段將預(yù)判的用戶眼球的運(yùn)動狀態(tài)信息發(fā)送給所述服務(wù)器端，其中所述第二預(yù)設(shè)時(shí)段小于第一預(yù)設(shè)時(shí)段； 所述服務(wù)端創(chuàng)建多個(gè)服務(wù)進(jìn)程，所述多個(gè)服務(wù)進(jìn)程用來按時(shí)間順序接收所述客戶端預(yù)判的用戶眼球的運(yùn)動狀態(tài)信息。3.根據(jù)權(quán)利要求1所述的虛擬現(xiàn)實(shí)成像系統(tǒng)，其特征在于，所述服務(wù)端使用個(gè)人電腦的GPU將渲染后的圖像壓縮和編碼為流媒體數(shù)據(jù)流;所述客戶端使用智能手機(jī)的GPU對接收到的流媒體數(shù)據(jù)流進(jìn)行解碼和解壓縮。4.根據(jù)權(quán)利要求3所述的虛擬現(xiàn)實(shí)成像系統(tǒng)，其特征在于，所述個(gè)人電腦的GPU為Intel集成顯卡或Nvidia顯卡。
【文檔編號】G06T19/00GK105869215SQ201610183517
【公開日】2016年8月17日
【申請日】2016年3月28日
【發(fā)明人】陳琪禕
【申請人】上海米影信息科技有限公司