專利名稱：基于增強虛擬現(xiàn)實與異型屏的實時人機互動方法及系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及一種虛擬現(xiàn)實的實時人機互動方法及系統(tǒng)，特別是一種增強虛擬現(xiàn)實與異型 屏的實時人機互動技術方法及系統(tǒng)。
背景技術：
增強現(xiàn)實技術(AR—-Augmented Reality)系統(tǒng)就是把VR放在真實的環(huán)境中去檢查。從 目前發(fā)展趨勢來看，這種與實際環(huán)境相結合的虛擬體驗方式是虛擬現(xiàn)實技術發(fā)展最有效的實 施技術之一。國外在AR技術研究和應用上還是領先的，并在技術上擁有多項知識產權和技術 標準。美國、歐洲和日本等國家目前在AR的關鍵技術獲得了許多突破，并在關鍵設備上也具 備了設計和制造能力，且獲得了預期的效果。如2000年英國牛津大學的Simon等人研究基于 共面自然特征點的跟蹤方法并應用于建筑設計，將新建筑物或建筑裝飾物的三維模型與實景 的錄像融合在一起，通過這種方式可以對新建筑物和周圍的環(huán)境是否和諧提供了直觀的和重 要的判據(jù)。英國Fraunhofer學院還開發(fā)了適用于城市規(guī)劃的AR系統(tǒng)，使得建筑設計人員能 夠在現(xiàn)場預視方案的效果。日本在2005年愛知世博會上，日立企業(yè)館就應用了一套AR系統(tǒng) 來演示人與自然、人與動物的親密關系。在國內，AR技術還處于起步階段。如北方交通大學 信息科學研究所提出了基于分布式增強現(xiàn)實系統(tǒng)中計算機視覺與虛擬現(xiàn)實系統(tǒng)集成的算法。 西安交通大學周建龍等基于仿射投影變換的理論提出了一種增強現(xiàn)實系統(tǒng)的三維匹配方法。 上海大學于2001年上半年開始啟動基于PC平臺的AR系統(tǒng)的研究，設計了基于PC平臺的AR 系統(tǒng)的結構，實現(xiàn)了適合AR系統(tǒng)的、簡便的、自動的、高精度和魯棒的攝像頭定標方法。
所謂異型屏技術就是把投影投在非平面的異型造型屏幕上，這樣的屏幕可以使模型和場 景，將結合特殊的圖形處理技術，利用多投影機拼接和圖像合成控制技術，在一個異型的屏 幕上變幻各種場景的變化，從而造成一種多視角、多屏幕顯示的環(huán)境由于利用多個小屏幕組 成一個大屏幕，控制軟件就要保證各個屏幕播放的內容是同步的，這就要求控制端有可靠的 同步播放技術。當前的同步技術可以分為兩種 一種是利用一個統(tǒng)一硬件時鐘作為各個單元 的同步時鐘，這種方法實現(xiàn)的同步效果好，而且速度快。但需要另外的硬件設備，造價比較 高。另外一種方法就是利用軟件控制同步。使用多線程技術，異歩反饋技術都可以實現(xiàn)同歩 的效果。本發(fā)明采用的就是軟件控制同步的方法。要實現(xiàn)大型場景異型屏投影無縫拼接，光 有垂直和水平方向的梯形矯正是不夠的，因此對畫面的變形矯正技術就是多屏幕無縫拼接的 關鍵技術之一。本課題采用軟件的方法，用計算機對圖像進行變形矯正處理，并不依賴于具 體的投影儀?；谧烂娴男∫?guī)模AR應用已取得很大進展，但尚沒有與大劇場式多投影系統(tǒng)應用的示例 支持多投影源的虛擬網(wǎng)絡投影系統(tǒng)及方法，AR專利方面，專利200710304245. 3，提出了一種 視頻增強現(xiàn)實輔助操作的焊接防護頭盔，用于機械加工制造方面。專利200710303603. 9,提 出了一種基于多個固是定攝像機的增強現(xiàn)實飛行模擬器，用于飛行訓練模擬。專利 200680029773.6，提出了一種用于終端用戶編程的增強現(xiàn)實眼鏡的系統(tǒng)、設備和方法。專利 200610101229. X，提出了一種實現(xiàn)三維增強現(xiàn)實的方法及系統(tǒng)，捕獲真實環(huán)境中二維可視編 碼標志物的視頻幀；進行增強現(xiàn)實處理，合成視頻幀。但敞沒有在展覽展示方面的應用。在 多投影系統(tǒng)方面，專利(申請?zhí)?00710064616.5)將連接計算機的普通顯示設備虛擬成可 供網(wǎng)絡使用的投影設備，從而通過網(wǎng)絡，方便了來自多個投影源的投影內容在相同屏幕上的 同時顯示或者切換顯示。但僅使用了按鈕等方式作為人機交互方式，用戶幾乎無沉浸感可言， 對于多投影系統(tǒng)的優(yōu)點亦不能很好的利用。專利(申請?zhí)?00710071105.6)基于轉臺的 多投影大屏拼接方法，公開了一種基于轉臺的多投影大屏拼接方法，能夠完成幾何校正和幾 何對齊，同時還能夠進行重疊區(qū)的定位，為亮度一致化做準備。但是對于與多投影圖像內容 進行交互以及可能引起的問題沒有考慮。
目前AR技術的研究主要在應用系統(tǒng)中進行研究，并結合其它技術一起構建一種新的研究 應用。把增強虛擬現(xiàn)實技術與異型屏技術集成在一起還未見諸報道。目前在展覽展示上的研 究成果和應用還很少。根據(jù)調研和査找資料，把增強虛擬現(xiàn)實技術和異型屏技術有機地集成 在一起，在展示上應用更是沒有先例。

發(fā)明內容
鑒于以上所述現(xiàn)有技術的存在的問題和不足，本發(fā)明的目的在于提供一種基于增強虛擬 現(xiàn)實的實時人機互動技術方法及系統(tǒng)，利用AR技術與多投影系統(tǒng)交互。能夠通過網(wǎng)絡控制 AR設備、多投影系統(tǒng)的工作，完成多用戶、AR與多投影系統(tǒng)的協(xié)同交互工作，使用戶獲得深 入的沉浸感。
為達到上述目的，本發(fā)明采用下述技術構思
根據(jù)人機工程學的原理，利用計算機視覺、網(wǎng)絡通信技術與多投影互動技術將攝像頭與 跟蹤設備提供的傳感器信息進行融合，并進行動作識別與響應，利用網(wǎng)絡同步機制等完成多 用戶的協(xié)同交互工作。系統(tǒng)運行初期，先進行初始化工作，完成攝像頭的標定和定位用戶的 起始視點，讀入可變換的異型拼接的多媒體圖像與真實實物融合為一體化的場景模型。系統(tǒng) 運行時，跟蹤系統(tǒng)通過對視頻信息和磁力傳感器的信息計算出視點的位置和方向，圖形數(shù)據(jù) 管理系統(tǒng)對應視點的變化對場景模型進行變換和渲染，其中計算任務自動分配到各個計算結
5點上。合成顯示系統(tǒng)將虛擬場景的畫面和真實場景的畫面合成并生成立體圖像對，將立體圖 像對中的畫面分別傳送到頭盔上的左右屏幕上，用戶就能感受到具有沉浸感的虛實結合的世 界。在運行過程中，系統(tǒng)還能接受用戶的交互動作，變化交互目標物(虛擬的物體)的各種 屬性，如形狀、位置、顏色和運動速度等，讓用戶體驗更多主題內容在現(xiàn)實中無法感受的奇 妙變幻和對未來的某種暢想。
本發(fā)明采用以下技術方案實現(xiàn)
一種基于增強虛擬現(xiàn)實的實時人機互動方法、其特征在于操作步驟如下
1. 一種基于增強虛擬現(xiàn)實與異型屏的實時人機互動方法、其特征在于操作步驟如下
1) 對要交互的虛擬物體進行建模；對統(tǒng)計平均的人手模型進行建模；
2) 由N臺攝像頭對人手進行視頻采集，獲得原始圖像；
3) 在計算機內進行處理，步驟為
① 實現(xiàn)實時光透式增強顯示的方法對拍攝的人手原始圖像，經過分割處理后，進行三 維重構，轉換到與虛擬物體相同的坐標系，進行碰撞檢測。先利用包圍盒方法進行粗步檢測， 如果有碰撞存在，再進行精確檢測，利用人工免疫系統(tǒng)方法進行精確檢測，實現(xiàn)快速虛實碰 撞檢測。對碰撞后的虛擬模型進行變形處理，進行注冊后顯示在光透式頭盔顯示器上。
② 實時虛實抓握、拋物動作檢測與實時拋物動畫生成算法對拍攝的原始圖像，經過膚 色統(tǒng)計進行圖像分割，對分割后的圖像進行骨骼化處理，利用預建好的抓握分類模型進行篩 選，確定動作類型。在抓握成功的基礎上，利用幀的差分算法來計算加速度和方向變量值等 系數(shù)進行拋物動作檢測判斷，如果大于試驗統(tǒng)計平均值，則為拋物成功。在拋物成功后實時 生成相應的拋物動畫。
③ 實時多屏交互方法對生成的實時拋物動畫進行跨屏處理，對于從一個投影屏幕飛出 到另一投影屏幕的情況進行圖像融合。利用網(wǎng)絡平臺實現(xiàn)分布式預處理。
一種用于上述基于增強虛擬現(xiàn)實與異型屏的實時人機互動方法用的系統(tǒng)，包括實現(xiàn)實時 光透式增強顯示的系統(tǒng)(4)、實時虛實抓握、拋物動作檢測與實時拋物動畫生成算法及系統(tǒng)(5) 實時多異型屏交互系統(tǒng)(6)，系統(tǒng)之間使用網(wǎng)絡交換機連接，系統(tǒng)如圖2所示。其特征在于
1) 實時光透式增強顯示的系統(tǒng)(4)，由兩套獨立的系統(tǒng)組成。每套由一個OLED光透式頭 盔顯示器加兩個的攝像頭和處理PC構成；每套設備利用一臺處理PC完成增強光透顯示方法
的處理。
2) 實時虛實抓握、拋物動作檢測與實時拋物動畫生成系統(tǒng)(5)為視覺和磁力設備融合的 多傳感器系統(tǒng)，由磁力跟蹤設備與(4)的設備構成。系統(tǒng)(5)在(4)的基礎上增加了磁力設備，進行信息融合實現(xiàn)虛實抓握、拋物動作處理。
3)實時多異型屏交互系統(tǒng)(6)在系統(tǒng)(5)的基礎上，增加了 5臺PC和8臺投影機實現(xiàn) 多屏交互。每兩臺投影機由一臺渲染PC控制，另由一臺PC作為時序和腳本控制與音響處理。 系統(tǒng)(4) (5) (6)之間的PC通信由局域網(wǎng)交換機完成。本發(fā)明提供的方法是一種實時增強 現(xiàn)實顯示、實時人機交互動作識別及多投影交互的方法。
下面對發(fā)明的技術方案作較詳細說明實現(xiàn)實時光透式增強顯示的系統(tǒng)，包括采用膚色 統(tǒng)計的方法分割人手圖像，利用3DSMAX建好人手的平均模型，轉換到與虛擬物體相同的坐標 系，進行實時人手的三維重構，先利用包圍盒方法進行粗步檢測，如果有碰撞存在，再進行 精確檢測，利用人工免疫系統(tǒng)方法進行精確檢測(詳見具體實施方式
部分說明)。
精確確定碰撞集后，按照程度不同響應虛擬物體，使其做表面紋理變形，具體方式是預 置好64個可能的變形動畫，根據(jù)碰撞情況的不同進行調用播放響應動畫。同時虛化3D手的 模型，使其不出現(xiàn)在HMD的顯示屏中，利用均值插值使響應動畫按幀序展現(xiàn)在HMD的顯示屏 中。
實時人機交互動作識別系統(tǒng)，包括利用實現(xiàn)實時光透式增強顯示的系統(tǒng)分割好的圖像， 對動態(tài)圖像進行幀的差分計算，骨骼化后再計算其包含的運動特征，包括:手指彎曲度，掌心 角度，與預存的數(shù)據(jù)庫進行索引比較，以確定動作成功率。計算加速度和方向變量值等系數(shù) 進行拋物動作檢測判斷。如果大于試驗統(tǒng)計平均值，則為拋物成功。
其中，捕捉真實手的動作而確定虛擬手的位姿需要磁力跟蹤和數(shù)據(jù)手套的協(xié)同工作。首 先磁力跟蹤接收器放在手腕處，得到手腕在世界坐標系下的位置和歐拉角，進而得到該處的 齊次變換矩陣。之后，根據(jù)DH算法，在各關節(jié)處建立局部坐標系，推出從i坐標系中坐標變 換到i-l坐標系坐標的變換矩陣，通過矩陣連乘，得到手各關節(jié)和指尖在世界坐標系中的坐 標。
實時多異型屏交互系統(tǒng)，包括對圖像要展示的內容進行內容劃分，展示背景在固定的投 影屏上，對交互內容進行腳本控制處理，利用多臺PC進行分布式渲染，對拼接部分進行預處 理，使跨屏動畫融合按時序渲染。
利用多個小屏幕組成一個大屏幕，控制軟件保證各個屏幕播放的內容是同步的，控制端 有可靠的同步播放技術。利用軟件控制同步。使用多線程技術，異步反饋技術都可以實現(xiàn)同 步的效果。異步反饋技術就是利用控制端實時的收集播放端反饋的信息來控制它們的同步播 放?？刂贫酥恍枰袛嗖シ哦朔答伝貋淼牟シ艩顟B(tài)是否一致，根據(jù)播放端一致的情況決定是 否發(fā)出控制指令。由于有了播放端的反饋信息，就可以保證在局域網(wǎng)環(huán)境下保持同步。對畫面的變形矯正技術本課題采用軟件的方法，用計算機對圖像進行變形矯正處理，并不依賴于 具體的投影儀。系統(tǒng)采用的實時變形矯正技術，為非線性失真校正，可以對投射到球幕或環(huán) 幕這樣的異型屏投影屏幕上的圖像進行矯正。
使多個不同投影儀的投影畫面無縫拼接在一起，消除邊緣亮帶或陰影，使整個投影屏幕 達到一體化的全景效果。目前一些常見的拼接方法有無融合硬拼、簡單重疊、邊緣融合。 本課題將采用的方法是第三種邊緣融合。采用圖像拼接邊緣融合技術，消除邊緣陰影，使 整屏達到一體化立體全景效果。與簡單重疊方法相比，左投影光機的右邊重疊部分的亮度線 性衰減，右投影光機的左邊重疊部分的亮度線性增加。在顯示效果上表現(xiàn)為整幅畫面亮度完 全一致。
本發(fā)明與現(xiàn)有技術相比較，具有如下顯而易見的突出特點和顯著優(yōu)點本發(fā)明采用上述 的虛擬融合再虛化的實時增強現(xiàn)實顯示、實時人機交互動作識別及多投影交互融合的方法， 從而具有實時AR交互顯示、實時性強、通用和經濟實用的優(yōu)點。
通訊模塊是保證整個系統(tǒng)同步運行的基礎，基于局域網(wǎng)的實時通信協(xié)議主要包括多機同 歩信息、硬件控制命令信息、傳感器信息、渲染命令信息等.
通信模塊被調用時首先檢査自己是否被初始化，在初始化中，通信模塊收集子模塊的信 息來靈活地決定發(fā)送接收緩沖區(qū)的大小。若該模塊所包含的socket尚未與其對應的遠端 socket連接，則嘗試連接。若己連接，則通過檢査socketmap容器決定工作模式 (Server/Client),并申請緩沖區(qū)，建立通信線程，執(zhí)行通信主體，以服務器先發(fā)送，客戶 端接收后發(fā)送，服務器最后接收為一次通信流程，然后通過等待渲染主線程的事件進行多線 程同步。
網(wǎng)絡模塊的時序如圖所示，在采用阻塞模式并使用事件同步機制的情況下，該時序保證
了在渲染場景時每一幀只發(fā)送一組數(shù)據(jù)，不僅協(xié)調了各機器渲染速度差異帶來的發(fā)送接收不
一致的現(xiàn)象，而且能使得網(wǎng)絡流量控制為最小。


圖1為本發(fā)明方法在計算機內進行處理的程序框圖。
圖2為本發(fā)明一個實施例的系統(tǒng)結構框圖。
圖3為圖1示例的詳細流程圖。
圖4為投影交互系統(tǒng)結構圖。
圖5傳感器融合結構圖。
圖6 AR增強顯示渲染平臺模塊圖
具體實施例方式
本發(fā)明的一個優(yōu)選實施例是參照圖1本基于增強虛擬現(xiàn)實與異型屏的實時人機互動方 法的操作步驟如下-
1實現(xiàn)實時光透式增強顯示對拍攝的人手原始圖像，經過分割處理后，進行三維重構， 轉換到與虛擬物體相同的坐標系，進行碰撞檢測；先利用包圍盒方法進行粗步檢測，如果有 碰撞存在，再進行精確檢測，利用人工免疫系統(tǒng)方法進行精確檢測，實現(xiàn)快速虛實碰撞檢測； 對碰撞后的虛擬模型進行變形處理，進行注冊后顯示在光透式頭盔顯示器上；
2實時虛實抓握、拋物動作檢測與實時拋物動畫生成計算對拍攝的原始圖像，經過膚色 統(tǒng)計進行圖像分割，對分割后的圖像進行骨骼化處理，利用預建好的抓握分類模型進行篩選， 確定動作類型；在抓握成功的基礎上，利用幀的差分算法來計算加速度和方向變量值等系數(shù) 進行拋物動作檢測判斷，如果大于試驗統(tǒng)計平均值，則為拋物成功；在拋物成功后實時生成 相應的拋物動畫；
3實時多屏交互對生成的實時拋物動畫進行跨屏處理，對于從一個投影屏幕飛出到另一 投影屏幕的情況進行圖像融合；利用網(wǎng)絡平臺實現(xiàn)分布式預處理。
參見圖2，基于增強虛擬現(xiàn)實與異型屏的實時人機互動方法用的系統(tǒng)，包括實現(xiàn)實時光透 式增強顯示的系統(tǒng)(4)、實時虛實抓握、拋物動作檢測與實時拋物動畫生成算法及系統(tǒng)(5)實 時多異型屏交互系統(tǒng)(6)，系統(tǒng)之間使用網(wǎng)絡交換機利用網(wǎng)線連接，其特征在于-實時光透式增強顯示的系統(tǒng)(4〉，由兩套獨立的系統(tǒng)組成；每套由一個OLED光透式頭盔顯示 器加兩個的攝像頭和處理PC構成；每套設備利用一臺處理PC完成增強光透顯示方法的處理； 實時虛實抓握、拋物動作檢測與實時拋物動畫生成系統(tǒng)(5)為視覺和磁力設備融合的多傳感器 系統(tǒng)，由磁力跟蹤設備與實時光透式增強顯示的系統(tǒng)(4)構成；在實時光透式增強顯示的系 統(tǒng)(4)的基礎上增加了磁力設備，進行信息融合實現(xiàn)虛實抓握、拋物動作處理 實時多異型屏交互系統(tǒng)(6)在實時虛實抓握、拋物動作檢測與實時拋物動畫生成系統(tǒng)(5)的基 礎上，增加了5臺PC和8臺投影機實現(xiàn)多屏交互；每兩臺投影機由一臺渲染PC控制，另由 一臺PC作為時序和腳本控制與音響處理；實時光透式增強顯示的系統(tǒng)(4)、實時虛實抓握、 拋物動作檢測與實時拋物動畫生成系統(tǒng)(5)和實時多異型屏交互系統(tǒng)(6)之間的PC通信由局 域網(wǎng)交換機完成。
其中免疫虛實碰撞檢測的過程如下(a)抗原識別，待求解問題的數(shù)據(jù)輸入。(b)初始 抗體產生，激活記憶細胞產生初始抗體。(c)抗體度量，計算親合度和濃度。(d)濃度選擇。 (e)記憶細胞產生，將與抗原有最高親合度的抗體全為記憶細胞保留在記憶細胞庫中。由于記
9憶細胞的數(shù)目比較有限，將產生的與抗原具有更高親合度的抗體將替換親合度的較低的抗 體。(f)抗體產生的促進和抑制，對與抗原有較高親合度的抗體進行促進，對濃度較高的抗 體進行抑制。該步驟對于保持抗體群體的多樣性，避免過早收斂從而實現(xiàn)全局優(yōu)化有著重要 的作用。利用遺傳算法的選擇、交叉和變異算子產生新的抗體。在以上步驟中，步驟c至步 驟f要迭代運行，直到滿足終止條件(收斂判據(jù))為止。
對碰撞后的虛擬模型進行變形處理，進行注冊后顯示在光透式頭盔顯示器上。磁力跟蹤 處理模塊主要處理完成原始的跟蹤信息的采集與平滑傳感器信息融合模塊完成計算機視覺 與磁力跟蹤處理模塊信息的融合與選擇。如圖4所示，對每個用戶安裝一套傳感器設備，包 括N/2個攝像頭，2個6D0F磁力跟蹤設備， 一個光透式HMD， 一臺融合處理PC。實時人機交 互動作識別與實時拋物動畫生成算法及系統(tǒng)2的動作處理模塊利用分割好的圖像，對動態(tài)圖 像進行幀的差分計算，骨骼化后再計算其包含的運動特征，包括:手指彎曲度，掌心角度，與 預存的數(shù)據(jù)庫進行索引比較，以確定動作成功率。計算加速度和方向變量值等系數(shù)進行拋物 動作檢測判斷。如果大于試驗統(tǒng)計平均值，則為拋物成功。交互渲染控制，多用戶交互同步 控制完成系統(tǒng)多用戶腳本控制功能，確保異型屏與多用戶交互的時序正確實現(xiàn)。實時多異型 屏交互系統(tǒng)3的多投影機控制完成投影機圖像融合與亮度調整功能；CG通信平臺完成AR系 統(tǒng)與異型屏系統(tǒng)的通信功能，采用幀通信控制時序。
實時人機交互動作識別與實時拋物動畫生成算法及系統(tǒng)5與實時多異型屏交互系統(tǒng)6的
交互過程參照圖3所示7.交互開始時序到達；8.設備自檢通過；9.針對具體用戶的設備校 正程序，完成定制的高度與靈敏度10.調用提示程序,針對9的校正進行微調；11.交互過程開 始的第一次同步，設置同步標志；12.調用渲染物體模型進入內存；設置物體類型標志；13. 動作檢測循環(huán)；14.動態(tài)生成提示信息；15.抓握識別系統(tǒng)范圍；16.粘合姿態(tài)顯示與跟蹤；174. 進入拋物運動準備階段；18.對多用戶進度進行同步控制；19.多投影異型屏系統(tǒng)響應；20. 拋物識別系統(tǒng)范圍；21.HMD注冊與融合；22.投影系統(tǒng)注冊與融合；23. HMD與多投影同步控 制；24.多虛擬物體循環(huán)；25.同步控制結束；26.投影系統(tǒng)交互響應顯示；27.同步結束過程。
參照圖4，投影系統(tǒng)的結構是要求有3%的邊緣重合的。投影機l， 2是用來完成實時人 機交互動作識別系統(tǒng)的虛擬場景展示的。投影機2是完成到大屏的過渡場景展示的。投影機 5， 6為主屏投影機。投影機的同步由交互控制系統(tǒng)完成。用戶的可視窗口大小為4X1.5M。
參照圖5，圖5描述的是AR增強顯示系統(tǒng)的安裝位置。多個攝像頭根據(jù)需要分別安裝在 用戶的左右兩側。用戶使用高度固定的吧椅來約定用戶的使用位置。
參照圖6，本發(fā)明AR渲染平臺結構首先通過外部設備采集數(shù)據(jù)，包括數(shù)據(jù)手套和磁力跟蹤，對這些數(shù)據(jù)進行必要的處理，包括磁力跟蹤數(shù)據(jù)的濾波，插值及在此基礎上的坐標變化， 物理模擬，運動捕捉，碰撞檢測等。然后是對場景的渲染，依次是相機，景物，光照，動畫 提示等。最后是網(wǎng)絡通信線程，它與渲染主線程并行。
權利要求
1.一種基于增強虛擬現(xiàn)實與異型屏的實時人機互動方法、其特征在于操作步驟如下A.對要交互的虛擬物體進行建模；對統(tǒng)計平均的人手模型進行建模；B.由N臺攝像頭對人手進行視頻采集，獲得原始圖像；C.在計算機內進行處理，步驟為a.實現(xiàn)實時光透式增強顯示對拍攝的人手原始圖像，經過分割處理后，進行三維重構，轉換到與虛擬物體相同的坐標系，進行碰撞檢測；先利用包圍盒方法進行粗步檢測，如果有碰撞存在，再進行精確檢測，利用人工免疫系統(tǒng)方法進行精確檢測，實現(xiàn)快速虛實碰撞檢測；對碰撞后的虛擬模型進行變形處理，進行注冊后顯示在光透式頭盔顯示器上；b.實時虛實抓握、拋物動作檢測與實時拋物動畫生成計算對拍攝的原始圖像，經過膚色統(tǒng)計進行圖像分割，對分割后的圖像進行骨骼化處理，利用預建好的抓握分類模型進行篩選，確定動作類型；在抓握成功的基礎上，利用幀的差分算法來計算加速度和方向變量值等系數(shù)進行拋物動作檢測判斷，如果大于試驗統(tǒng)計平均值，則為拋物成功；在拋物成功后實時生成相應的拋物動畫；c.實時多屏交互對生成的實時拋物動畫進行跨屏處理，對于從一個投影屏幕飛出到另一投影屏幕的情況進行圖像融合；利用網(wǎng)絡平臺實現(xiàn)分布式預處理。
2. —種用于根據(jù)權利要求1所述基于增強虛擬現(xiàn)實與異型屏的實時人機互動方法的系統(tǒng)， 包括實現(xiàn)實時光透式增強顯示的系統(tǒng)(4)、實時虛實抓握、拋物動作檢測與實時拋物動畫 生成算法及系統(tǒng)(5)實時多異型屏交互系統(tǒng)(6)，系統(tǒng)之間使用網(wǎng)絡交換機利用網(wǎng)線連接，其特征在于1) 實時光透式增強顯示的系統(tǒng)(4)，由兩套獨立的系統(tǒng)組成；每套由一個OLED光透式頭盔顯示器加兩個的攝像頭和處理PC構成；每套設備利用一臺處理PC完成增強光透顯示方法的處理；2) 實時虛實抓握、拋物動作檢測與實時拋物動畫生成系統(tǒng)(5)為視覺和磁力設備融合 的多傳感器系統(tǒng)，由磁力跟蹤設備與實時光透式增強顯示的系統(tǒng)(4)構成；在實 時光透式增強顯示的系統(tǒng)(4)的基礎上增加了磁力設備，進行信息融合實現(xiàn)虛實 抓握、拋物動作處理；3) 實時多異型屏交互系統(tǒng)(6)在實時虛實抓握、拋物動作檢測與實時拋物動畫生成系 統(tǒng)(5)的基礎上，增加了5臺PC和8臺投影機實現(xiàn)多屏交互；每兩臺投影機由一臺渲染PC控制，另由一臺PC作為時序和腳本控制與音響處理；實時光透式增強顯示的系統(tǒng)(4)、實時虛實抓握、拋物動作檢測與實時拋物動畫生成系統(tǒng)(5)和實 時多異型屏交互系統(tǒng)(6)之間的PC通信由局域網(wǎng)交換機完成。
全文摘要
本發(fā)明提供了一種基于增強虛擬現(xiàn)實與異型屏的實時人機互動方法及系統(tǒng)。本方法的操作步驟為1)對要交互的虛擬物體進行建模，對統(tǒng)計平均的人手模型進行建模；2)由N臺攝像頭對人手進行視頻采集，獲得原始圖像；3)在計算機內進行處理。本系統(tǒng)包括實現(xiàn)實時光透式增強顯示的系統(tǒng)、實時虛實抓握、拋物動作檢測與實時拋物動畫生成算法及系統(tǒng)、以及實時多異型屏交互系統(tǒng)。在大型異型屏場景中做各種虛實變換，在立體眼鏡中嵌入表現(xiàn)互動內容的三維動畫或者三維圖像，加之視音頻設備、燈光控制設備等展示將構建一整套大型的特殊效果。
文檔編號G06F3/01GK101539804SQ200910047360
公開日2009年9月23日 申請日期2009年3月11日 優(yōu)先權日2009年3月11日
發(fā)明者俞曉明, 燕 劉, 姚爭為, 李啟明, 俊 胡, 許永順, 譚志鵬, 鄒一波, 濤 陸, 陸意駿, 偉 陳, 明 陳, 陳一民, 黃詩華 申請人:上海大學