本實用新型涉及裸眼3D顯示技術(shù)，具體涉及一種裸眼3D虛擬現(xiàn)實展示系統(tǒng)。
背景技術(shù)：
：人類生活在一個立體的世界中，利用立體視覺機制來感知這個立體世界。為了表達(dá)這個世界，人們已提出并發(fā)展了很多方式，其中圖像是最直觀的表達(dá)方式。然而，目前大多數(shù)顯示設(shè)備只能實現(xiàn)2D(二維)顯示，可表達(dá)出場景的內(nèi)容卻忽略了深度信息，因此人們只能通過平時生活中所累積的經(jīng)驗以及2D圖像中的陰影等信息去判斷物體間的前后位置關(guān)系。在信息化、數(shù)字化的時代，隨著社會的發(fā)展，2D顯示逐漸不能滿足人類的需求，3D顯示已成為研究人員新的研究目標(biāo)，并成為顯示領(lǐng)域中新的發(fā)展趨勢。隨著人們對3D顯示的研究不斷深入，已提出各種技術(shù)實現(xiàn)了多種3D顯示方式。其中，多視點光柵式裸眼3D顯示器可讓多名觀看者在較大觀看視角內(nèi)同時觀看到立體圖像，且無需任何助視設(shè)備幫助便能感受到震撼的視覺體驗，因而備受人們關(guān)注。虛擬現(xiàn)實(VirtualReality，VR)是以計算機技術(shù)為核心，結(jié)合相關(guān)科學(xué)技術(shù)，生成與一定范圍真實環(huán)境在視、聽、觸感等方面高度近似的數(shù)字化環(huán)境，用戶借助必要的裝備與數(shù)字化環(huán)境中的對象進(jìn)行交互作用、相互影響，可以產(chǎn)生親臨對應(yīng)自然環(huán)境的感受和體驗。虛擬現(xiàn)實是人類在探索自然過程中創(chuàng)造形成的一種用于認(rèn)識自然、模擬自然，進(jìn)而更好地適應(yīng)和利用自然的科學(xué)方法和技術(shù)。隨著社會生產(chǎn)力和科學(xué)技術(shù)的不斷發(fā)展，各行各業(yè)對VR技術(shù)的研究日益重視，VR技術(shù)也取得了巨大進(jìn)展，并逐步成為一個新的科學(xué)
技術(shù)領(lǐng)域：
。但是，虛擬現(xiàn)實技術(shù)目前僅供單人進(jìn)行沉浸式體驗，而在其旁邊的觀看者因為只能看到游戲者帶著VR頭盔在做各種各樣的動作，而看不到VR顯示屏上的內(nèi)容，導(dǎo)致無法分享和理解游戲者正在經(jīng)歷的沉浸式感受。雖然旁觀者可以通過監(jiān)視器看到VR頭盔中的單眼畫面即第一視角畫面，但是因為缺乏雙目畫面帶來的沉浸式三維立體效果，并且旁觀者只能被動地接受因游戲者頭部快速移動所造成的圖像快速變化，導(dǎo)致旁觀者不僅不能分享到游戲者所經(jīng)歷的震撼，也會因為快速變換的圖像而產(chǎn)生視覺疲勞。技術(shù)實現(xiàn)要素：針對以上現(xiàn)有技術(shù)中存在的問題，本實用新型提出了一種裸眼3D虛擬現(xiàn)實展示系統(tǒng)。本實用新型的裸眼3D虛擬現(xiàn)實展示系統(tǒng)包括：VR傳感單元、多目相機定位采集單元、三維渲染單元、VR顯示單元、圖像合成單元、裸眼3D顯示單元和綠幕空間；其中，VR傳感單元、多目相機定位采集單元、VR顯示單元和游戲者均位于綠幕空間內(nèi)；VR傳感單元連接至三維渲染單元；三維渲染單元分別連接至VR顯示單元和圖像合成單元；多目相機定位采集單元連接至圖像合成單元；圖像合成單元連接至裸眼3D顯示單元；裸眼3D虛擬現(xiàn)實展示系統(tǒng)分為游戲者部分和旁觀者部分；游戲者部分包括VR傳感單元、三維渲染單元和VR顯示單元，VR顯示單元成像在游戲者的雙眼前；旁觀者部分包括多目相機定位采集單元、圖像合成單元和裸眼3D顯示單元，旁觀者位于裸眼3D顯示單元前。在游戲者部分中，VR傳感單元采集游戲者在真實空間中的運動信息，并將運動信息傳輸至三維渲染單元，觸發(fā)或控制三維渲染單元中的三維虛擬場景，獲得渲染圖像；渲染圖像傳輸至VR顯示單元，輸送給游戲者的左右眼，從而游戲者產(chǎn)生沉浸式的虛擬現(xiàn)實體驗；在旁觀者部分中，多目相機定位采集單元中的立體相機陣列拍攝位于綠幕空間的游戲者，采集不同角度的多張帶有綠幕背景的游戲者圖像，發(fā)送至圖像合成單元；圖像合成單元將游戲者圖像中的綠幕背景進(jìn)行綠幕剔除，然后將綠幕摳像后的游戲者圖像和渲染圖像進(jìn)行疊加，形成多張視差圖像，并將多張視差圖進(jìn)行視差圖像合成，傳輸至裸眼3D顯示單元；裸眼3D顯示單元進(jìn)行裸眼3D顯示；旁觀者通過裸眼3D顯示單元的顯示，實現(xiàn)第三視角的觀察體驗。綠幕空間是指由綠幕搭建的一個長方體的內(nèi)部空間，長方體內(nèi)的每一個面均由綠幕覆蓋，VR傳感單元、游戲者和多目相機定位采集單元布置在長方體內(nèi)，長方體的側(cè)面設(shè)置有人員進(jìn)出口。VR傳感單元進(jìn)行游戲者與裸眼3D虛擬現(xiàn)實展示系統(tǒng)的人機交互，進(jìn)行游戲者與虛擬場景之間的感知傳遞，包括真實感觸/力覺感知、三維空間方位跟蹤、交互行為等信息。其中，采用三維空間跟蹤定位技術(shù)，通過跟蹤定位器來捕捉的游戲者的運動信息，使游戲者具有可以自由移動的交互空間，增加游戲者交互操作的靈活性，運動信息包括游戲者的頭部位置和角度，以及肢體信息。跟蹤定位技術(shù)可分為有源跟蹤定位技術(shù)和無源跟蹤定位技術(shù)。其中，有源跟蹤定位技術(shù)的跟蹤定位器具有發(fā)射器和接收器，能夠通過發(fā)射和接收信號之間的物理聯(lián)系確定游戲者的運動信息。無源跟蹤定位技術(shù)的跟蹤定位器不具有主動信號源，僅通過接收器測量接收信號的變化，確定被跟蹤對象的位置和姿態(tài)。跟蹤定位技術(shù)采用有激光定位技術(shù)、光學(xué)定位技術(shù)、紅外主動式光學(xué)技術(shù)和可見光主動式光學(xué)技術(shù)中的一種。VR傳感單元將采集到的游戲者的運動信息傳輸至三維渲染單元。多目相機定位采集單元包括立體相機陣列、空間定位追蹤系統(tǒng)和數(shù)據(jù)采集單元，立體相機陣列連接至數(shù)據(jù)采集單元，數(shù)據(jù)采集單元采集立體相機陣列的數(shù)據(jù)，再將獲得數(shù)據(jù)傳輸至三維渲染單元；空間定位追蹤系統(tǒng)定位和追蹤立體相機陣列在空間中的6個自由度，包括位置信息和方向信息。立體相機陣列包括多目相機，從不同角度拍攝位于綠幕空間中的游戲者，從而獲取到不同視角的帶有綠幕背景的游戲者圖像。多目相機的硬件和軟件參數(shù)均保持一致，硬件參數(shù)主要包括采集芯片(如CCD、CMOS)、相機電路和鏡頭的規(guī)格參數(shù)等，軟件參數(shù)包括分辨率、曝光時間、白平衡、顏色校正、圖像裁剪區(qū)域和Bayer(貝葉耳)轉(zhuǎn)換類型等，這些參數(shù)均需保持一致，這樣才能在裸眼3D顯示單元上實現(xiàn)較好的合成效果。其中，多目相機以會聚式結(jié)構(gòu)排布，各相機的光心位于同一水平線上，光軸位于同一平面內(nèi)，并且相鄰的相機的間距相等，各相機的光軸相交于位于立體相機陣列前的一點，稱之為會聚點。若采用偶數(shù)個相機，則會聚點位于中間兩個相機的光心連線的中垂線上；若采用奇數(shù)個相機，則會聚點位于中間的相機的光軸上。根據(jù)裸眼3D顯示單元的規(guī)格尺寸以及雙目融合能力，計算相鄰相機的間距和會聚點的位置，保證拍攝到的游戲者在裸眼3D顯示單元上的視差量是在人眼的融合范圍之內(nèi)，并且保證當(dāng)虛擬相機的設(shè)置與立體相機陣列一致時，拍攝到的虛擬場景的視差量也同樣在人眼的融合范圍之內(nèi)。為了降低整體系統(tǒng)的運行耗時，提高系統(tǒng)幀率，本實用新型中的數(shù)據(jù)采集單元采用多線程相機采集方案，即通過調(diào)用多核CPU來并行采集相機的數(shù)據(jù)，再將獲得的數(shù)據(jù)送往三維渲染單元，從而在很大程度上提高了系統(tǒng)運行幀率?？臻g定位追蹤系統(tǒng)定位和追蹤立體相機陣列在空間中的6個自由度的姿態(tài)，包括位置信息和方向信息?？臻g定位追蹤系統(tǒng)采用的跟蹤定位技術(shù)實現(xiàn)方法也與VR傳感單元中提到的跟蹤定位技術(shù)一樣，采用激光定位技術(shù)、光學(xué)定位技術(shù)、紅外主動式光學(xué)技術(shù)和可見光主動式光學(xué)技術(shù)中的一種。通常，為了避免兩套定位系統(tǒng)之間的信號干擾，提高各自定位的準(zhǔn)確性和魯棒性，常采用兩套不同的跟蹤定位技術(shù)分別用來對不同的物體進(jìn)行定位。三維渲染單元中，存儲了三維數(shù)字化的虛擬場景和預(yù)設(shè)規(guī)則路徑。VR傳感單元采集的游戲者的運動信息，觸發(fā)虛擬場景，獲得渲染圖像。渲染圖像分別傳輸至VR顯示單元和圖像合成單元。VR顯示單元通常包括VR顯示屏和兩組成像透鏡，來自三維渲染單元的雙目圖像分別傳輸至VR顯示屏的左右屏幕，VR顯示屏上的左右屏幕分別通過一組成像透鏡成像在游戲者的左右眼前方，將具有雙目視差的圖像輸分別送給左右眼，根據(jù)大腦的融合能力，在游戲者的大腦中形成虛擬場景的立體視覺。圖像合成單元將立體相機陣列采集的帶有綠幕背景的游戲者圖像進(jìn)行綠幕剔除后，將綠幕摳像后的游戲者圖像與相對應(yīng)的渲染圖像進(jìn)行疊加，形成多張視差圖像，最后將多張視差圖像進(jìn)行視差圖像合成，送往裸眼3D顯示單元。圖像合成單元根據(jù)裸眼3D顯示單元的物理結(jié)構(gòu)及3D實現(xiàn)原理，將多張視差圖像按照裸眼3D顯示單元的物理特性進(jìn)行圖像重新排布，下面給出了2D顯示屏的每個子像素位置對應(yīng)的應(yīng)取哪副視差圖像的關(guān)系公式：其中，Q表示每個子像素與視差圖像的映射值，k和l為子像素的圖像坐標(biāo)，以左上角為零點；α為光柵相對于豎直方向的夾角，X為一個光柵水平周期所占的子像素個數(shù)，K為視點數(shù)，即相機的數(shù)量，koff為2D顯示屏左上角距離下一個光柵周期左邊界的子像素個數(shù)，mod()為取余函數(shù)。通過上面的公式，便可以將三維渲染單元生成的多張視差圖像進(jìn)行立體合成，最后將合成結(jié)果送到裸眼3D顯示單元上顯示。裸眼3D顯示單元包括2D顯示屏和光柵。裸眼3D顯示單元將不同視差圖像的光線在空間中進(jìn)行分開，并使其在最佳觀看距離處進(jìn)行會聚，來實現(xiàn)不同視差圖像的空間分離，當(dāng)旁觀者的左右眼分別看到不同視差圖像時，根據(jù)大腦的融合作用，便會在大腦中形成立體視覺。光柵為狹縫光柵或者為柱鏡光柵。本實用新型的優(yōu)點：本實用新型采用VR傳感單元采集游戲者的運動信息，對三維渲染單元發(fā)布觸發(fā)或操控指令，觸發(fā)或控制三維渲染單元的三維虛擬場景，三維渲染單元渲染雙目圖像，發(fā)送至VR顯示單元，使得游戲者產(chǎn)生沉浸式的虛擬現(xiàn)實體驗；同時采用立體相機陣列，并結(jié)合綠幕摳像技術(shù)將游戲者本身放到數(shù)字化的虛擬場景里，最后將游戲者和虛擬場景以裸眼3D顯示的方式呈現(xiàn)出來，讓旁觀者不用借助任何輔助設(shè)備，便能夠以第三視角的方式來觀察游戲者正在經(jīng)歷的場景，并能看到游戲者本身已經(jīng)融入在虛擬場景中，從而可以很容易地理解游戲者做各種動作的原因，進(jìn)而能與游戲者一同感受體驗VR的樂趣；不僅如此，旁觀者還可以人為的調(diào)整第三視角的觀看位置和角度，改變虛擬場景中虛擬相機的位置和方位，從而根據(jù)自己的興趣觀看虛擬場景中發(fā)生的情況，也可以對整個虛擬場景進(jìn)行全方位觀察和分析。附圖說明圖1為本實用新型的裸眼3D虛擬現(xiàn)實展示系統(tǒng)的結(jié)構(gòu)框圖；圖2為本實用新型的裸眼3D虛擬現(xiàn)實展示系統(tǒng)的立體相機陣列的一個實施例的俯視圖；圖3為本實用新型的裸眼3D虛擬現(xiàn)實展示系統(tǒng)的結(jié)構(gòu)示意圖。具體實施方式下面結(jié)合附圖，通過具體實施例，進(jìn)一步闡述本實用新型。如圖1和圖3所示，本實用新型的裸眼3D虛擬現(xiàn)實展示系統(tǒng)包括：VR傳感單元1、多目相機定位采集單元2、三維渲染單元3、VR顯示單元4、圖像合成單元7、裸眼3D顯示單元5、和綠幕空間6；其中，VR傳感單元1、多目相機定位采集單元2、VR顯示單元4和游戲者P均位于綠幕空間6內(nèi)；VR傳感單元1連接至三維渲染單元3；三維渲染單元3分別連接至VR顯示單元4和圖像合成單元5；多目相機定位采集單元2連接至圖像合成單元7，圖像合成單元7連接至裸眼3D顯示單元5。VR顯示單元4將具有雙目視差的圖像成像在游戲者P的雙眼前。旁觀者L通過裸眼3D顯示單元5的顯示，實現(xiàn)第三視角的觀察體驗。1.VR傳感單元本實施例中，VR傳感單元采用HTCVIVE的VR設(shè)備，VIVE的三維空間跟蹤定位技術(shù)，稱之為Lighthouse室內(nèi)定位技術(shù)，屬于激光掃描定位技術(shù)，靠激光和光敏傳感器來確定運動物體的位置。兩個激光發(fā)射器被安置在對角，形成大小可調(diào)的長方形區(qū)域，最大追蹤位置為4.5×4.5m。激光束由發(fā)射器里面的兩排固定LED燈發(fā)出，每秒6次。每個激光發(fā)射器內(nèi)有兩個掃描單元，分別在水平和垂直方向輪流對綠幕空間發(fā)射激光掃描定位空間。采用激光掃描定位技術(shù)，在游戲者頭部和手持的手柄上安裝多個光敏感傳感器，在綠幕空間內(nèi)設(shè)置多個激光發(fā)射器，激光發(fā)射器內(nèi)的掃描單元輪流對對綠幕空間發(fā)射激光掃描綠幕空間，光敏感傳感器接受激光，并傳輸至計算單元，計算單元區(qū)分頭部與手柄的不同的光敏感傳感器，并分別計算接收激光的時間，來分別確定頭部和手柄的位置信息。游戲者的頭部佩戴頭顯，并且手持手柄，頭顯和手柄上有超過70個光敏傳感器。通過計算接收激光的時間來計算傳感器位置相對于激光發(fā)射器的準(zhǔn)確位置，通過多個光敏傳感器可以探測出頭顯的位置及方向。這里需要說明一下，HTCVive采用的激光定位技術(shù)，定位過程中光敏傳感器的ID會隨著它接收到的數(shù)據(jù)同時傳給計算單元的，也就是說計算單元是可以直接區(qū)分不同的光敏傳感器，從而根據(jù)每個光敏傳感器所固定在頭顯和手柄上的位置以及其他信息一起最終構(gòu)建頭顯及手柄的三維模型，從而得到游戲者的運動信息。2.多目相機定位采集單元立體相機陣列采用多目工業(yè)相機。立體相機陣列中的工業(yè)相機和鏡頭的規(guī)格分別如下所示：表1相機規(guī)格參數(shù)表表2鏡頭規(guī)格參數(shù)表立體相機陣列如圖2所示。根據(jù)裸眼3D顯示單元的規(guī)格尺寸以及雙目融合能力，計算相鄰相機的間距為3.57cm，會聚距離Z0為2m，最近物體距離ZA為1.5m，CMOS實際使用像素點數(shù)為1920×1080，那么相機在豎直方向上的視場角約為42°。根據(jù)本實施例中2D顯示的視點數(shù)為8，因此選用8目工業(yè)相機組成立體相機陣列，并將其安裝在一套肩扛式攝像機支架上，便于移動拍攝。本實施例中，對立體相機陣列的空間定位采用紅外影像追蹤技術(shù)，通過在綠幕空間上方架設(shè)空間定位追蹤系統(tǒng)對立體相機陣列上的標(biāo)記點進(jìn)行捕捉，實時得出立體相機陣列的位姿，位姿包括空間位置和角度。3.三維渲染單元三維渲染單元負(fù)責(zé)根據(jù)VIVE采集到的運動信息來控制三維虛擬場景進(jìn)行觸發(fā)響應(yīng)，獲得虛擬場景的渲染圖像，將每幀的數(shù)據(jù)分別保存到各自的渲染紋理中。圖像合成單元將虛擬場景的渲染圖像與綠幕摳像的游戲者圖像進(jìn)行疊加，形成八張視差圖像，并進(jìn)行視差圖像合成，最后將送往裸眼3D顯示單元。4.VR顯示單元VR顯示單元為設(shè)置在頭顯上的顯示設(shè)備，其單眼分辨率可達(dá)1200×1080，刷新率為90FPS，兩組透鏡分貝采用菲涅爾鏡片，可視角度約為100°～110°。5.裸眼3D顯示單元2D顯示屏為P3的LED三拼一顯示屏，分辨率為1920×1080，尺寸為5.76m×3.24m，最佳觀看距離為10m；光柵采用狹縫光柵，視點數(shù)為8。光柵的傾斜角度的正切值為1/3，一個光柵周期所覆蓋的子像素為8。那么根據(jù)公式(1)可以計算出子像素與視點的映射關(guān)系矩陣如下所示：表3子像素與視點映射矩陣(部分)123456781234567881234567812345677812345678123456678123456781234556781234567812344567812345678123將疊加后形成的8張視差圖像，根據(jù)圖(1)的映射關(guān)系，進(jìn)行灰度值拾取，合成為一張1920×1080的圖像送顯至2D顯示屏上，根據(jù)狹縫光柵的遮擋作用，可以將8張視差圖像在空間中進(jìn)行分離，當(dāng)旁觀者左右眼看到其中的兩張視差圖像(如第1張和第2張)時，并能在大腦中形成立體視覺。最后需要注意的是，公布實施例的目的在于幫助進(jìn)一步理解本實用新型，但是本領(lǐng)域的技術(shù)人員可以理解：在不脫離本實用新型及所附的權(quán)利要求的精神和范圍內(nèi)，各種替換和修改都是可能的。因此，本實用新型不應(yīng)局限于實施例所公開的內(nèi)容，本實用新型要求保護(hù)的范圍以權(quán)利要求書界定的范圍為準(zhǔn)。當(dāng)前第1頁1 2 3