一種數(shù)字化虛實交互系統(tǒng)及方法
【專利摘要】本發(fā)明公開了一種數(shù)字化虛實交互系統(tǒng)及方法，該系統(tǒng)硬件包括手勢采集設備、處理設備以及顯示設備。該方法包含如下步驟：（1）跟蹤捕捉攝像機采集到的用戶指尖的運動軌跡；（2）在顯示器上實時繪制軌跡曲線，或用觸摸屏顯示并記錄用戶指尖留下的軌跡；（3）提取運動軌跡形成的輪廓，檢測其形狀并賦予文字語義；（4）搭建三維模型庫，通過語義管理圖形庫中的三維模型；（5）根據(jù)用戶手繪軌跡的語義檢索三維模型庫，加載對應的三維模型并顯示三維虛擬環(huán)境；（6）用戶與三維模型及虛擬環(huán)境動態(tài)交互，實現(xiàn)數(shù)字化的虛實交互功能。本發(fā)明將適用于數(shù)字娛樂、虛擬設計、虛實互動、虛擬教學等多種應用領域。
【專利說明】一種數(shù)字化虛實交互系統(tǒng)及方法
【技術領域】
[0001]本發(fā)明涉及一種數(shù)字化虛實交互系統(tǒng)及方法，屬于計算機圖形圖像處理及虛擬現(xiàn)實研究領域。
【背景技術】
[0002]虛實交互是目前人機交互領域的重要發(fā)展方向，基于虛實結合技術，為用戶提供一個充滿想象力但又具真實感的環(huán)境，使用戶經(jīng)歷前所未有的體驗，也可完成協(xié)同設計、訓練、教學等目標功能。使用攝像機采集用戶真實的信息(包括手勢信息等)，將其與三維虛擬世界相結合，構建虛實混合環(huán)境，是一種很自然的虛實交互方法，但是如何能夠通過用戶隨機的即興發(fā)揮，生成用戶心中想要的三維場景并與之交互，目前還沒有成熟的技術。
[0003]在藝術創(chuàng)作領域，手繪草圖是一種常用的用戶表達方式，也是藝術家重要的思維方式和創(chuàng)意創(chuàng)造過程，是一種通過畫面誘導獲取創(chuàng)意的技術。手繪草圖的數(shù)字化目前國內(nèi)外也都有研究，通過對手繪草圖的分析和識別來轉(zhuǎn)換為數(shù)字化產(chǎn)品，再應用于教學、藝術/服裝/建筑設計等多個領域。但是這種處理也僅限于從二維到二維的過程，龔健等在文獻“龔健，費廣正，石民勇，曹瑋，基于手繪草圖輪廓檢索的簡筆繪圖系統(tǒng)，2008系統(tǒng)仿真技術及其應用學術會議論文集，pp.761-764”中利用基于手繪草圖輪廓的圖像檢索技術實現(xiàn)了用于二維圖像繪制的簡筆繪圖系統(tǒng)，用戶利用檢索出來的圖像可做進一步的編輯，既能保證繪圖的基本質(zhì)量，又提高了繪圖的效率。CMU的Wing Ho Leung 等在文獻 “Wing Ho Leung, Tsuhan Chen, Hierarchical Matching forRetrieval of Hand-Drawn Sketches, International Conference on Multimedia andExpo-Volume2, 2003, pp.29-32”中提出了手繪草圖的層次化匹配檢索方法，通過對用戶手繪的逐個筆畫進行匹配并考慮其空間關系來進行檢索，減少了計算量，但仍然屬于二維處理的過程。
[0004]本發(fā)明旨在將用戶手繪草圖即用戶實時繪制過程與圖像檢索和識別、三維環(huán)境渲染、用戶交互集成在一起，實現(xiàn)中國傳統(tǒng)文化中家喻戶曉的“神筆馬良”的故事效果，用戶在操作平臺徒手操作，即可看到相應的三維模型在虛擬環(huán)境中自然出現(xiàn)(當然也包括二維圖像的編輯與交互)，并可與用戶交互運動。本發(fā)明主要涉及的技術包括用戶手繪軌跡的跟蹤、二維圖像形狀檢索、語義識別及三維模型加載、虛實交互等。本發(fā)明中采集到的用戶手勢輸入痕跡可形成二維圖像，利用其形狀特征即可進行語義的檢索與識別，通過圖形庫中加載對應的三維模型，即可渲染虛擬環(huán)境，實現(xiàn)沉浸式虛實交互功能。

【發(fā)明內(nèi)容】

[0005]本發(fā)明解決的技術問題是:通過采集用戶指尖的運動軌跡，進行二維或三維虛實交互。二維交互功能包括:將手勢軌跡轉(zhuǎn)換為圖像形狀，檢索圖像庫中具有該形狀的圖像并顯示，用戶可通過手勢動作對圖像進行縮放、旋轉(zhuǎn)、編輯等操作；三維交互功能包括:通過用戶手繪軌跡形成的圖像識別出其語義，再根據(jù)語義檢索圖形庫中的三維模型，繪制相應的虛擬環(huán)境，用戶可通過手勢動作與虛擬環(huán)境交互。
[0006]本發(fā)明的技術解決方案為研究并實現(xiàn)數(shù)字化虛實交互系統(tǒng)及方法，其中系統(tǒng)硬件包括手勢采集設備(攝像機或觸摸屏)、處理設備(主機)以及顯示設備(顯示器或觸摸屏)。采用的方法包含如下步驟:(I)跟蹤捕捉攝像機采集到的用戶指尖的運動軌跡；(2 )在顯示器上實時繪制軌跡曲線，或用觸摸屏顯示并記錄用戶指尖留下的軌跡；(3)提取運動軌跡形成的輪廓，檢測其形狀并賦予文字語義；(4)搭建三維模型庫，通過語義管理圖形庫中的三維模型；(5)根據(jù)用戶手繪軌跡的語義檢索三維模型庫，加載對應的三維模型并顯示三維虛擬環(huán)境；(6)用戶與三維模型及虛擬環(huán)境動態(tài)交互，實現(xiàn)數(shù)字化的虛實交互功能。
【專利附圖】

【附圖說明】
[0007]圖1是數(shù)字化虛實交互系統(tǒng)結構示意圖；
[0008]圖2是系統(tǒng)流程圖；
[0009]圖3是用戶指尖運動軌跡繪制流程圖。
【具體實施方式】
[0010]以下，參照附圖，對本發(fā)明的具體狀態(tài)作說明，但是本發(fā)明不限于圖示例。
[0011]如圖1所示，數(shù)字化虛實交互系統(tǒng)由手勢采集設備(攝像機或觸摸屏)、處理設備(主機)以及顯示設備(顯示器或觸摸屏)組成。如果采用攝像機進行圖像采集，則使用顯示器進行顯示，要求攝像機采集的幀速不小于15fps，否則延遲會比較大，影響用戶進行虛實交互的效果。
[0012]如果使用觸摸屏，則可以同時捕捉并顯示(通過記錄點擊位置)用戶的指尖運動軌跡，主機負責進行核心處理工作。
[0013]如圖2所示，數(shù)字化虛實交互方法包括以下步驟:
[0014](I)跟蹤捕捉攝像機采集到的用戶指尖的運動軌跡；
[0015](2)在顯示器上實時繪制軌跡曲線，或用觸摸屏顯示并記錄用戶指尖留下的軌跡，實現(xiàn)用戶手繪草圖的實時繪制功能；
[0016](3)提取運動軌跡形成的輪廓，檢測其形狀并賦予文字語義；
[0017](4)搭建三維模型庫，通過語義管理圖形庫中的三維模型；
[0018](5)根據(jù)用戶手繪軌跡的語義檢索三維模型庫，加載對應的三維模型并顯示三維虛擬環(huán)境；
[0019](6)用戶與三維模型及虛擬環(huán)境動態(tài)交互，實現(xiàn)數(shù)字化的虛實交互功能。
[0020]如圖3所示，上述步驟(2)中在顯示器上實時繪制軌跡曲線的流程如下:①攝像機采集當前幀；②判斷當前幀數(shù)，設置前20幀的判斷是為了得到穩(wěn)定的背景圖像，以保證后續(xù)處理的準確性，20幀之后，用戶開始操作；③用當前幀圖像與背景圖像作差，得到前景圖；④將前景圖轉(zhuǎn)換為二值圖，以便能更清楚地計算用戶當前的指尖位置；⑤用OpenCV開源庫中cvPoint函數(shù)顯示當前指尖位置的坐標點；⑥通過曲線擬合連接上一幀與當前幀的位置點，并且存儲用戶連續(xù)畫下的每個指尖點的信息，每一幀都顯示至今為止畫出的軌跡線，即可清楚地顯示用戶指尖的運動軌跡。曲線擬合可以用OpenCV中的cvLine函數(shù)連接兩個相鄰坐標點來實現(xiàn)。[0021]上述步驟(2)中在觸摸屏上記錄用戶指尖軌跡的方法為:用戶每次在觸摸屏上用指尖觸碰一個位置，就在該位置上繪制對應的點，通過曲線擬合將上一幀與當前幀的位置點連接起來，形成運動軌跡。
[0022]數(shù)字化虛實交互方法步驟(3)是提取運動軌跡形成的輪廓并識別，為進行此步驟，需要做一項離線數(shù)據(jù)準備工作，即建立二維形狀圖像庫，該圖像庫包含了基本形狀(如圓形、方形、三角形、菱形等)、日常生活常用形狀(如杯子、桌、椅、樹、氣球等)及復雜形狀(如飛機、輪船、房子等)至少十種以上、100張以上的二維形狀圖像，以便于匹配當前用戶手繪草圖的形狀。在圖像庫建立的基礎上，數(shù)字化虛實交互方法步驟(3)提取運動軌跡形成的輪廓并識別的步驟為:
[0023]①使用OpenCV中的輪廓提取函數(shù)cvFindContours提取用戶指尖運動軌跡形成的輪廓；
[0024]②對得到的輪廓contours,計算其歸一化的傅里葉描述子,過程如下:
[0025]Stepl.設輪廓曲線由逆時針排列的N個序列點組成，分別記為
P0 (x0, y0), Pl (Xl, Υι)......Pn-1 (x(N-1).Y(N-1))，根據(jù)下式計算這N個點的離散傅里葉變換系數(shù)
z(k)作為傅里葉描述子:
【權利要求】
1.一種數(shù)字化虛實交互系統(tǒng)，該系統(tǒng)包括:手勢采集設備、處理設備以及顯示設備，如果用攝像機進行圖像采集，則使用顯示器進行顯示，否則使用觸摸屏同時捕捉并顯示用戶的指尖運動軌跡，處理設備負責進行核心處理工作。
2.一種數(shù)字化虛實交互方法，其特征在于包括以下步驟: (1)跟蹤捕捉攝像機采集到的用戶指尖的運動軌跡； (2)在顯示器上實時繪制軌跡曲線，或用觸摸屏顯示并記錄用戶指尖留下的軌跡； (3)提取運動軌跡形成的輪廓并識別其形狀，賦予文字語義； (4)搭建三維模型庫，通過語義管理圖形庫中的三維模型； (5)根據(jù)用戶手繪軌跡的語義檢索三維模型庫，加載對應的三維模型并顯示三維虛擬環(huán)境； (6)用戶與三維模型及虛擬環(huán)境動態(tài)交互，實現(xiàn)數(shù)字化的虛實交互功能。
3.根據(jù)權利要求2所述的數(shù)字化虛實交互方法，其特征在于所述步驟(2)中在顯示器上實時繪制軌跡曲線的方法為: (2.1)通過背景差方法，從攝像機采集到的當前幀圖像中計算用戶指尖此時畫出的位置點信息； (2.2)通過曲線擬合連接上一幀與當前幀的位置點，并且存儲用戶連續(xù)畫下的每個指尖點的信息，每一幀都顯示至今為止畫出的軌跡線，即可清楚地顯示用戶指尖的運動軌跡。
4.根據(jù)權利要求2所述的數(shù)字化虛實交互方法，其特征在于所述步驟(2)中在觸摸屏上記錄用戶指尖軌跡的方法為:用戶每次在觸摸屏上用指尖觸碰一個位置，就在該位置上繪制對應的點，通過曲線擬合將上一幀與當前幀的位置點連接起來，形成運動軌跡。
5.根據(jù)權利要求2所述的數(shù)字化虛實交互方法，其特征在于所述步驟(3)中提取運動軌跡形成的輪廓并識別其形狀，賦予文字語義的步驟包含一個離線的數(shù)據(jù)準備工作，即建立二維形狀圖像庫，包括基本形狀和多種復雜形狀的二維圖像。
6.根據(jù)權利要求2所述的數(shù)字化虛實交互方法，其特征在于所述步驟(3)中提取運動軌跡形成的輪廓并識別其形狀，賦予文字語義的步驟為: (3.1)使用OpenCV中的輪廓提取函數(shù)cvFindContours提取運動軌跡形成的輪廓； (3.2)對得到的輪廓contours,計算其歸一化的傅里葉描述子,公式如下:
7.根據(jù)權利要求2所述的數(shù)字化虛實交互方法，其特征在于所述步驟(4)中搭建三維模型庫的步驟為: (4.1)根據(jù)文字語義為數(shù)據(jù)庫的主鍵，來組織數(shù)據(jù)庫的條目內(nèi)容；(4.2)所存儲的三維模型都具有在統(tǒng)一的世界坐標系下的三維坐標，便于導入系統(tǒng)中； (4.3)所存儲的模型導入系統(tǒng)之后，能在系統(tǒng)驅(qū)動下與用戶交互，形成一個具有沉浸感的虛實交互系統(tǒng)。
8.根據(jù)權利要求2所述的數(shù)字化虛實交互方法，其特征在于所述步驟(5)中根據(jù)用戶手繪軌跡的語義檢索三維模型庫，加載對應的三維模型并顯示三維虛擬環(huán)境的方法為: (5.1)根據(jù)用戶手繪軌跡的文字語義，檢索三維模型庫的主鍵； (5.2)使用OpenGL將對應的三維模型導入到系統(tǒng)中； (5.3)根據(jù)導入的三維模 型，系統(tǒng)選擇對應的虛擬環(huán)境并渲染出來。
【文檔編號】G06T15/02GK103823554SQ201410012952
【公開日】2014年5月28日 申請日期:2014年1月12日 優(yōu)先權日:2014年1月12日
【發(fā)明者】張淑軍 申請人:青島科技大學