本發(fā)明涉及影像處理技術領域，特別涉及一種基于cave系統(tǒng)的多窗口智能內容渲染優(yōu)化方法，以及一種基于cave系統(tǒng)的多窗口智能內容投影方法。

背景技術：

cave投影系統(tǒng)是一種大型的vr系統(tǒng)(比如vr-platformcave)，具有高度的沉浸感、良好的交互手段，可以融合視覺、觸覺、聲音等，并且可以跟蹤頭部的6個自由度的運動。cave沉浸式虛擬現(xiàn)實顯示系統(tǒng)的原理比較復雜，它是以計算機圖形學為基礎，把高分辨率的立體投影顯示技術、多通道視景同步技術、三維計算機圖形技術、音響技術、傳感器技術等完美地融合在一起，從而產生一個被三維立體投影畫面包圍的供多人使用的完全沉浸式的虛擬環(huán)境。目前，復雜場景的實時高分辨率多窗口內容渲染主要應用于cave系統(tǒng)。cave是一種大型的虛擬現(xiàn)實系統(tǒng)，具有高度的沉浸感、良好的交互手段，其中cave投影系統(tǒng)是由3個面以上(含3面)硬質背投影墻組成的高度沉浸的虛擬演示環(huán)境，圍繞著觀察者具有多個圖像畫面的虛擬現(xiàn)實系統(tǒng)，多個投影面組成一個虛擬空間。常見cave系統(tǒng)投影空間為標準立方體結構，這4個獨立的投影通道最終形成空間連續(xù)的投影畫面。

現(xiàn)有技術中，常見的cave系統(tǒng)中需要渲染全部場景，不能根據(jù)用戶需求進行個性化選擇，造成了數(shù)據(jù)資源的浪費，計算機處理效率的低下；另外，全部場景渲染會增加不必要的計算資源開銷，甚至在面向大規(guī)模復雜場景時會在一定程度上影響用戶觀察的連貫性；在展示復雜場景時，展示的場景內容之間存在著遮擋現(xiàn)象，用戶在觀測時需要自己進行辨別，耗費大量的人力物力。

技術實現(xiàn)要素：

本發(fā)明技術方案所解決的技術問題是，如何針對cave系統(tǒng)中的用戶提供個性化的渲染選擇。

為了解決上述技術問題，本發(fā)明技術方案提供了一種基于cave系統(tǒng)的多窗口智能內容渲染優(yōu)化方法，所述cave系統(tǒng)包括：視覺平臺，所述視覺平臺包括多個視覺平面，包括：

獲取用戶相對于各視覺平面的第一視覺坐標信息；

基于所述第一視覺坐標信息生成用戶相對于各視覺平面的投影通道；

根據(jù)歷史或用戶即時輸入的視覺偏好信息選擇投影通道中的投影物體；

基于投影通道中的投影物體渲染管線并讀取投影結果。

可選的，所述多窗口智能內容渲染優(yōu)化方法，還包括：

獲取用戶相對于所述視覺平臺的第二視覺坐標信息；

基于所述第二視覺坐標信息確定各視覺平面的分辨率；

所述基于投影通道中的投影物體渲染管線并讀取投影結果包括：

基于投影通道中的投影物體進行圖元裝配以產生待渲染物體；

根據(jù)各投影通道對應視覺平面的分辨率與待渲染物體產生渲染結果。

可選的，所述第一視覺坐標信息包括：用戶視點至各視覺平面的近裁剪面距離及遠裁剪面距離。

可選的，基于如下算式獲取用戶相對于視覺平面f的投影通道sf：

其中，n為用戶視點至視覺平面f近裁剪面的距離，f為用戶視點至視覺平面f遠裁剪面的距離，right、left、top、bottom分別表示該視覺平面f四邊邊長的長度，f為大于1的自然數(shù)。

可選的，所述視覺偏好信息包括：投影物體標記信息，所述標記至少包括以下信息中的一種：

感興趣投影物體的第一標記信息；

不感興趣投影物體的第二標記信息。

可選的，所述根據(jù)歷史或用戶即時輸入的視覺偏好信息選擇投影通道中的投影物體至少包括以下步驟中的一種步驟：

根據(jù)用戶歷史輸入的視覺偏好信息選擇投影通道中的投影物體以形成待渲染物體；

根據(jù)用戶歷史輸入的視覺偏好信息剔除投影通道中的投影物體以形成渲染物體；

根據(jù)用戶即時輸入的視覺偏好信息選擇投影通道中的投影物體以形成待渲染物體；

根據(jù)用戶即時輸入的視覺偏好信息剔除投影通道中的投影物體以形成渲染物體。

可選的，所述第二視覺坐標信息包括：用戶相對于所述視覺平臺的坐標信息及用戶視線方向信息。

可選的，基于所述第二視覺坐標信息確定各視覺平面的分辨率包括：

以所述用戶相對于所述視覺平臺的坐標信息為球心，根據(jù)所述用戶視線方向信息確定用戶視線所在球面的中心，將球面中心所在方向繞所述球心順時候轉動角度j1度及逆時針轉動角度j2度的球面范圍內的視覺平面設定為焦點區(qū)，將球面中心所在方向繞所述球心順時候轉動角度j3度及逆時針轉動角度j4度的球面范圍內的視覺平面設定為誘導視野區(qū)，將其余視覺平面設定為視野盲區(qū)；

將所述焦點區(qū)的分辨率設為a，誘導視野區(qū)的分辨率設為b，視野盲區(qū)的分辨率設為c，其中，j1<j3，j2<j4，a>b>c。

可選的，j1＝j3，取50～70；j2＝j4，取90～110。

可選的，所述基于投影通道中的投影物體渲染管線并讀取投影結果包括：

基于投影通道中的投影物體進行圖元裝配以產生待渲染物體；

根據(jù)系統(tǒng)分辨率及所述待渲染物體產生渲染結果。

為了解決上述技術問題，本發(fā)明技術方案提供了一種基于cave系統(tǒng)的多窗口智能內容投影方法，所述cave系統(tǒng)包括：數(shù)據(jù)主機及投影陣列，所述投影陣列包括多個投影設備，包括：

基于如上所述的多窗口智能內容渲染優(yōu)化方法產生渲染結果；

所述數(shù)據(jù)主機將所述渲染結果傳輸至所述投影設備；

所述投影設備產生投影圖像至對應視覺平面。

本發(fā)明技術方案的有益效果至少包括：

本發(fā)明技術方案實現(xiàn)了根據(jù)用戶偏好信息對cave系統(tǒng)中需要渲染全部場景進行選擇，為用戶提供個性化的場景渲染；不但如此在本發(fā)明技術方案的優(yōu)選實例中，還根據(jù)用戶視野范圍，對系統(tǒng)視覺平面進行分類，以提供不同視覺平面不同的分辨率以進行渲染，從而節(jié)省了計算機數(shù)據(jù)處理的資源，并提高了處理速度；在面向大規(guī)模復雜場景時，本發(fā)明技術方案通過選擇用戶偏好的物體進行選擇，還會在一定程度上提高用戶觀察的連貫性；在展示復雜場景時，展示的場景內容之間存在著遮擋現(xiàn)象，用戶在觀測時需要自己進行辨別，通過本發(fā)明技術方案的偏好渲染及分辨率實時調整渲染，可根據(jù)用戶視覺坐標信息不斷生成用戶所需的渲染圖像進行投放，節(jié)省了大量的人力物力及設備資源，也提高了用戶體驗度。

在本發(fā)明技術方案的優(yōu)選實例中，可根據(jù)用戶視野設定視覺平面的投放分辨率。在觀測過程中，觀測參數(shù)可隨時更改，渲染畫面可以實時做出改變，給出用戶所期望的高分辨畫面的渲染結果。

在本發(fā)明技術方案的優(yōu)選實例中，還根據(jù)用戶視野范圍劃分焦點區(qū)、誘導視野區(qū)及視野盲區(qū)，根據(jù)上述用戶視野范圍的特定，將處于焦點區(qū)的視覺平面設為高分辨率，將處于誘導視野區(qū)的視覺平面設為中分辨率，將處于視野盲區(qū)的視覺平面設為低分辨率，不影響用戶體驗的同時，節(jié)約運算資源。本發(fā)明技術方案可以隨用戶的視線朝向，改變系統(tǒng)中不同視覺平面投放分辨率的等級，在不影響用戶體驗的情況下，節(jié)約運算資源，保證多平面的實時高分辨率，同時視覺平面還可以設定不同的觀測參數(shù)，在復雜場景中著重展示用戶需要觀測的物體。

附圖說明

通過閱讀參照以下附圖對非限制性實施例所作的詳細描述，本發(fā)明的其他特征、目的和優(yōu)點將會變得更明顯：

圖1為本發(fā)明技術方案所涉cave系統(tǒng)結構示意圖；

圖2為本發(fā)明技術方案所涉一種基于cave系統(tǒng)的多窗口智能內容渲染優(yōu)化方法的流程示意圖；

圖3為本發(fā)明技術方案所涉另一種基于cave系統(tǒng)的多窗口智能內容渲染優(yōu)化方法的流程示意圖；

圖4為本發(fā)明技術方案所涉基于所述第二視覺坐標信息確定各視覺平面的分辨率的其一示意圖；

圖5為本發(fā)明技術方案所涉基于所述第二視覺坐標信息確定各視覺平面的分辨率的其二示意圖；

圖6為本發(fā)明技術方案所涉基于所述第二視覺坐標信息確定各視覺平面的分辨率的其三示意圖；

圖7為本發(fā)明技術方案所涉基于cave系統(tǒng)的多窗口智能內容渲染優(yōu)化方法的應用流程示意圖；

圖8為本發(fā)明技術方案所涉渲染過程中渲染管線流程示意圖。

具體實施方式

為了更好的使本發(fā)明的技術方案清晰的表示出來，下面結合附圖對本發(fā)明作進一步說明。

如圖1所示，cave系統(tǒng)包括投影陣列及視覺平臺，其中，投影陣列包括多臺投影儀(6～10)，視覺平臺包括多個視覺平面(1～5)，視覺平面即投影屏幕。在一種cave系統(tǒng)的實例中，投影陣列包括5臺投影儀，5臺投影儀呈五邊形布置，視覺平面包括四臺橫向視覺投影屏幕(1～4)及一個底面視覺投影屏幕(5)，5臺投影儀分別投射至視覺平面的5個平面上，5臺投影儀分別與數(shù)據(jù)主機連接以形成投射圖像，使用時，用戶(11)站立于底面視覺投影屏幕(5)上，本發(fā)明所指用戶視線一般僅針對橫向視覺投影屏幕(1～4)。當然，上述視覺平面及投影儀的擺放位置及數(shù)量可以是任意的，本發(fā)明并不對上述視覺平面及投影儀的擺放位置及數(shù)量做限制。

現(xiàn)有技術中用戶基于cave系統(tǒng)在觀測過程無法實現(xiàn)個性化觀測，計算機對全部場景進行渲染，造成計算機資源浪費，本發(fā)明技術方案通過用戶觀測位置，可針對用戶不同的觀測喜好，實時更改觀測參數(shù)，對每塊屏幕投影通道內的物體，根據(jù)放置前的標記進行區(qū)分，對不同類別的物體添加對應的裁剪遮罩。在渲染前對非偏好物體進行剔除，將剔除后的內容按對應屏幕的分辨率等級進行渲染，從而實現(xiàn)了渲染優(yōu)化。

具體的，結合圖2，本發(fā)明技術方案提供了一種基于cave系統(tǒng)的多窗口智能內容渲染優(yōu)化方法，包括如下步驟：

步驟s100，獲取用戶相對于各視覺平面的第一視覺坐標信息；

步驟s101，基于所述第一視覺坐標信息生成用戶相對于各視覺平面的投影通道；

步驟s102,根據(jù)歷史或用戶即時輸入的視覺偏好信息選擇投影通道中的投影物體；

步驟s103，基于投影通道中的投影物體渲染管線并讀取投影結果。

根據(jù)步驟s100，所述第一視覺坐標信息包括：用戶視點至各視覺平面的近裁剪面距離及遠裁剪面距離。所述用戶視點一般可以直接采集用戶所在視覺平臺所在空間的位置信息，上述位置信息可以根據(jù)cave系統(tǒng)中設定的坐標系來確定。所述視覺平面在本實施例中可以包括橫向視覺平面的屏幕，也可以是底面視覺平面的屏幕。所述近裁剪面距離即用戶視點平面到各視覺平面最近的平面距離，所述遠裁剪面距離即用戶視點平面到各視覺平面最遠的平面距離，所述用戶視點平面為用戶視點所在位置所在面與用戶視線方向垂直的平面。

根據(jù)步驟s101，所生成的用戶相對于各視覺平面的投影通道針對各個視覺平面而言，投影通道即數(shù)據(jù)主機再根據(jù)用戶所在位置產生的投影空間，上述投影空間由投影儀投影至視覺平面的投影圖像的空間構成，投影通道中定義了投影儀投影至視覺平面的圖像空間，具體的，在投影過程中，基于如下算式獲取用戶相對于視覺平面f的投影通道sf：

其中，n為用戶視點至視覺平面f近裁剪面的距離，f為用戶視點至視覺平面f遠裁剪面的距離，right、left、top、bottom分別表示該視覺平面f四邊邊長的長度，f為大于1的自然數(shù)。

本實施例通過用戶第一時間坐標信息的變換可實現(xiàn)實時投影通道的變換，有利于用戶體現(xiàn)，提高投影效果，并節(jié)省信息處理成本。

根據(jù)步驟s102，所述視覺偏好信息包括：投影物體標記信息，所述標記至少包括以下信息中的一種：

感興趣投影物體的第一標記信息；

不感興趣投影物體的第二標記信息。

針對本發(fā)明技術方案，投影通道設置好后，用戶還可以根據(jù)自身的視覺偏好形成歷史記錄的感興趣投影物體或不感興趣投影物體，還可以實時輸入感興趣投影物體或不感興趣投影物體，在使用投影通道渲染投影物體時，系統(tǒng)對投影通道中的投影物體進行標記，所述根據(jù)歷史或用戶即時輸入的視覺偏好信息選擇投影通道中的投影物體至少包括以下步驟中的一種步驟：

根據(jù)用戶歷史輸入的視覺偏好信息選擇投影通道中的投影物體以形成待渲染物體；

根據(jù)用戶歷史輸入的視覺偏好信息剔除投影通道中的投影物體以形成渲染物體；

根據(jù)用戶即時輸入的視覺偏好信息選擇投影通道中的投影物體以形成待渲染物體；

根據(jù)用戶即時輸入的視覺偏好信息剔除投影通道中的投影物體以形成渲染物體。

上述投影物體的剔除或選擇都是根據(jù)取消標記或添加標記形成的。

根據(jù)步驟s103，所述基于投影通道中的投影物體渲染管線并讀取投影結果包括：

基于投影通道中的投影物體進行圖元裝配以產生待渲染物體；

根據(jù)系統(tǒng)分辨率及所述待渲染物體產生渲染結果。

本實施例中，所述進行圖元裝配的投影物體為投影通道中被標記的物體，所述系統(tǒng)分辨率為系統(tǒng)預定的投影圖像分辨率。

在本實施例的一則實例中，采用用戶偏好信息來確定投影通道中投射的投影物體，用戶可以選擇觀察的投影物體，例如，如圖1所示的場景中擺放了若干家具，用戶(11)可以在前后左右四塊屏幕(1～4)中看見家具，但是在下面的屏幕(用戶所站立的位置的下方)(5)不希望看見家具，這會影響觀察體驗；用戶可以實時在底面屏幕(5)所對應的投影通道中選擇剔除上述家具物體，投影通道則取消了上述家具物體的標記；在實例中，用戶也可以控制一部分系統(tǒng)觀察場景的選項，例如改變整個場景的比例，或者單獨改變將一個窗口移動到一個物體附近進行觀察。

不限于上述實施例，傳統(tǒng)的多窗口渲染方法，需要對每塊屏幕分別進行渲染，在非用戶視野中心位置的屏幕和視野外的屏幕，占用了大量的運算資源，但這并不能提升用戶的觀測體驗。為了提升多窗口高分辨率渲染的效能，同時突出用戶的觀測重點本發(fā)明技術方案在上述實施例的基礎上還提供了一種可根據(jù)用戶視野范圍進行智能優(yōu)化的渲染方法。在本實施例中，其技術方案根據(jù)用戶坐標位置和視線朝向角度，計算出用戶的視線區(qū)域，根據(jù)水平角度，將360°的水平空間分為3個區(qū)域，以視線方向為中心，左右各50°～70°(以60°為佳)定義為焦點區(qū)域，該區(qū)域內人眼辨識度最高，形成立體視覺，在該區(qū)域內人眼才能夠聚焦，使用最高分辨率的投影圖像至視覺平面(即投影屏幕)，能提升視覺臨場感；以視線方向為中心，左右各90°～110°(以100°為佳)定義為焦點區(qū)域，該區(qū)域內人眼辨識度最高，形成立部分為誘導視野區(qū)，辨識度相對較低，采用次一級分辨率，補足視野，同時使用戶視角轉動過程中，屏幕景象變換平緩；超過上述部分的區(qū)域為視野盲區(qū)，用戶不能觀察到該區(qū)域，對于位于該區(qū)域的投影屏幕，采用最低的分辨率級別，不影響用戶體驗的同時，節(jié)約運算資源。具體的，針對視覺平臺中的多個視覺平面，數(shù)據(jù)主機通過傳入的用戶位置信息和視線朝向，確定用戶的視覺范圍，依此將場景中的屏幕分為3種分辨率級別：焦點區(qū)、誘導視野區(qū)(即日常所說的“余光”)、盲區(qū)，分別對應a,b,c三種不同的分辨率，其中分辨率a>b>c。

上述用戶視野的設定與劃分，可使得用戶在觀測過程中，觀測參數(shù)及投影分辨率可隨用戶所在位置及視線方向隨時更改，渲染畫面可以實時做出改變，給出用戶所期望的高分辨畫面的渲染結果。

具體的，結合圖3，一種基于cave系統(tǒng)的多窗口智能內容渲染優(yōu)化方法，包括如下步驟：

步驟s200，獲取用戶相對于各視覺平面的第一視覺坐標信息；

步驟s201，基于所述第一視覺坐標信息生成用戶相對于各視覺平面的投影通道；

步驟s202,根據(jù)歷史或用戶即時輸入的視覺偏好信息選擇投影通道中的投影物體；

步驟s203，獲取用戶相對于所述視覺平臺的第二視覺坐標信息；

步驟s204，基于所述第二視覺坐標信息確定各視覺平面的分辨率；

步驟s205，基于投影通道中的投影物體進行圖元裝配以產生待渲染物體；

步驟s206根據(jù)各投影通道對應視覺平面的分辨率與待渲染物體產生渲染結果。

在上述步驟中，步驟s203、s204與步驟s200～s202之間不存在先后執(zhí)行的關系。步驟s200～s202的具體執(zhí)行過程可參考上文，此處不再贅述。

根據(jù)步驟s203，所述第二視覺坐標信息包括：用戶相對于所述視覺平臺的坐標信息及用戶視線方向信息。所述用戶相對于所述視覺平臺的坐標信息可以參考上述用戶視點位置信息，即直接采集用戶所在視覺平臺所在空間的位置信息，上述位置信息可以根據(jù)cave系統(tǒng)中設定的坐標系來確定。所述用戶視線方向信息可以以上述用戶視點位置信息為起點，指向用戶視線方向所形成的向量。

根據(jù)步驟s204，基于所述第二視覺坐標信息確定各視覺平面的分辨率包括：

結合圖4，以所述用戶相對于所述視覺平臺的坐標信息為球心，并根據(jù)所述用戶視線方向信息確定用戶視線所在球面的中心，將球面中心所在方向繞所述球心順時候轉動角度j1度及逆時針轉動角度j2度的球面范圍內的視覺平面設定為焦點區(qū)，將球面中心所在方向繞所述球心順時候轉動角度j3度及逆時針轉動角度j4度的球面范圍內的視覺平面設定為誘導視野區(qū)，將其余視覺平面設定為視野盲區(qū)；

將所述焦點區(qū)的分辨率設為a，誘導視野區(qū)的分辨率設為b，視野盲區(qū)的分辨率設為c，其中，j1<j3，j2<j4，a>b>c。

j1、j3、j2、j4的數(shù)值可以根據(jù)需要進行設置，其中，在優(yōu)選的實例中，j1＝j3，取50～70；j2＝j4，取90～110。更為優(yōu)選的，j1＝j3＝60，j2＝j4＝100。

在j1＝j3＝60，j2＝j4＝100的情況下，焦點區(qū)(focusfield)及誘導視野區(qū)(unfocusfield)的空間劃分示意圖如圖5所示，圖6則示意了此種情況下視野盲區(qū)(unsightedfield)及以用戶坐標信息為球心的視野球體(opticalball)的分區(qū)情況。

應用例

本實施例提供一種基于cave系統(tǒng)的多窗口智能內容渲染優(yōu)化方法的應用流程，結合圖7，包括如下步驟：

獲取用戶位置坐標、頭部朝向；

計算用戶位置坐標為球心、形成包容所示視覺平臺所在空間的球體，并基于用戶頭部朝向對該球體視野區(qū)域進行分類；

系統(tǒng)場景布置和窗口擺放；

根據(jù)用戶位置坐標生成投影通道；

根據(jù)用戶偏好設置對各投影通道中的物體進行剔除；

基于投影通道中的物體渲染圖像。

具體的，將5塊屏幕按需求設置并放置在搭建好的場景中，在這個場景中，物體分為兩種，第一類物體包括墻壁，天花板，地板，這些物體始終是可見的，但是可以改變其紋理，第二類物體是場景中的內容物體，例如桌椅，沙發(fā)等物體，其中可以通過改變觀測參數(shù)的方式，選擇在某些屏幕中忽略某些物體進行觀察。

對每塊屏幕，分別從用戶坐標位置生成一個獨立的投影通道，根據(jù)用戶視線朝向，確定每塊屏幕的分辨率級別，以視線方向為中心，焦點區(qū)水平角度為120°，誘導視野區(qū)水平角度為200°，其余為視野盲區(qū)，在視野中心的投影屏幕設置其分辨率為a、在視野邊緣的投影屏幕設置其分辨率為b、在視野盲區(qū)的投影屏幕設置其分辨率為c，投影通道投影的過程按本發(fā)明技術方案的上述投影通道的公式sf建立。

根據(jù)用戶的選擇將每個投影通道中的物體根據(jù)屏幕偏好進行標記，將不選擇觀察的物體在渲染前進行剔除，系統(tǒng)對應每個屏幕分別使用一個列表標記該屏幕的可見物體的編號。為了提高渲染的效率，我們將列表用于圖形學的渲染管線的圖元裝配階段，在這一階段，列表中標記為不可見物體將不會被組裝成對于的三角形，線段和點，這樣達到了提出不可見物體的目的，具體的渲染管線過程如圖8所示。

將剔除處理后的內容，根據(jù)屏幕分辨率等級，投影到對應屏幕上。動態(tài)設置屏幕偏好，屏幕渲染內容實時產生變化。

隨用戶位置、視線移動，實時改變屏幕分辨率，不影響用戶體驗的前提下，節(jié)約運算資源。在這里，我們設置屏幕分辨率的方法如下：5個屏幕分別為1～5，其中用戶實現(xiàn)的中心為3屏幕，2、4屏幕分別在誘導視野區(qū)，而1屏幕在盲區(qū)，5屏幕為用戶腳下的屏幕，這里我們在渲染的最后階段，從紋理中讀取渲染結果時，分別取出三種不同分辨率的圖像，其分辨率分別為a，b，c，其分辨率由高到低設置。

基于本發(fā)明技術方案的上述內容，本實施例還提供了一種基于cave系統(tǒng)的多窗口智能內容投影方法，包括如下步驟：

基于所述多窗口智能內容渲染優(yōu)化方法產生渲染結果；

所述數(shù)據(jù)主機將所述渲染結果傳輸至所述投影設備；

所述投影設備產生投影圖像至對應視覺平面。

以上對本發(fā)明的具體實施例進行了描述。需要理解的是，本發(fā)明并不局限于上述特定實施方式，本領域技術人員可以在權利要求的范圍內做出各種變形或修改，這并不影響本發(fā)明的實質內容。