專利名稱：一種基于增強(qiáng)現(xiàn)實(shí)的嵌入式教學(xué)模型及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于增強(qiáng)現(xiàn)實(shí)的嵌入式教學(xué)模型，以及利用該模型進(jìn)行教學(xué)輔助的方法，屬于增強(qiáng)現(xiàn)實(shí)技術(shù)領(lǐng)域。
背景技術(shù)：
隨著計(jì)算機(jī)圖形圖像技術(shù)和空間定位技術(shù)的發(fā)展，人們?cè)絹碓蕉嗟貙⒃鰪?qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用在各個(gè)領(lǐng)域。在教學(xué)方面，相比于傳統(tǒng)方式，可以采用增強(qiáng)現(xiàn)實(shí)技術(shù)使教學(xué)內(nèi)容更真實(shí)生動(dòng)，提高教學(xué)效果。在平面印刷品上疊加三維虛擬模型和動(dòng)畫，再通過顯示設(shè)備呈現(xiàn)，以獨(dú)特的教學(xué)體驗(yàn)吸引學(xué)生深入了解教學(xué)內(nèi)容。
在課堂上展現(xiàn)一定的虛擬場(chǎng)景，使得原本單調(diào)的課堂變得豐富多彩，將那些復(fù)雜而抽象的概念以形象生動(dòng)的方式進(jìn)行說明，從而充分地調(diào)動(dòng)學(xué)生的積極性，有效地改善師生之間的互動(dòng)，并有利于學(xué)生對(duì)知識(shí)的把握和吸收，增強(qiáng)課堂學(xué)習(xí)效果，提高學(xué)習(xí)效率。但是目前的虛擬場(chǎng)景應(yīng)用起來不是很方便、靈活，教學(xué)體驗(yàn)效果不佳。

發(fā)明內(nèi)容
發(fā)明目的針對(duì)現(xiàn)有技術(shù)中存在的問題，本發(fā)明提供一種基于增強(qiáng)現(xiàn)實(shí)的嵌入式教學(xué)模型及其方法。本發(fā)明提供一種靈活的輔助教學(xué)的解決方案，通過攝像機(jī)來拍攝不含展品的展示場(chǎng)景，其中由教師手持一種具有標(biāo)定功能的參照物，然后利用增強(qiáng)現(xiàn)實(shí)手段，在參照物上疊加與教學(xué)內(nèi)容有關(guān)的虛擬模型，添加相應(yīng)的動(dòng)畫，從而完成生動(dòng)、自然的教學(xué)。本發(fā)明的方案，不僅可以方便地更換虛擬模型，而且也可以控制動(dòng)畫的播放時(shí)間和速度，滿足各類教學(xué)需求。同時(shí)該方案可以推廣到商品發(fā)布、模擬訓(xùn)練等場(chǎng)景中，有廣泛的應(yīng)用空間和推廣價(jià)值。本發(fā)明針對(duì)嵌入式平臺(tái)做了大量的優(yōu)化工作，保證了系統(tǒng)運(yùn)行的實(shí)時(shí)性和流暢度，增強(qiáng)了教學(xué)體驗(yàn)。技術(shù)方案一種基于增強(qiáng)現(xiàn)實(shí)的嵌入式教學(xué)模型，包括嵌入式開發(fā)板、標(biāo)記卡、攝像機(jī)和投影儀；所述嵌入式開發(fā)板分別與攝像機(jī)和投影儀連接；將虛擬三維模型疊加在所述標(biāo)記卡上；所述攝像機(jī)用于拍攝包括標(biāo)記卡的真實(shí)場(chǎng)景，并將視頻傳給嵌入式開發(fā)板；所述嵌入式開發(fā)板接收到攝像機(jī)傳來的視頻后，識(shí)別標(biāo)記卡的位置，利用增強(qiáng)現(xiàn)實(shí)技術(shù)，對(duì)虛擬三維模型進(jìn)行疊加，并將合成影像傳給投影儀，投影儀將合成影像輸出到投影屏幕上顯不O所述嵌入式開發(fā)板，是一個(gè)基于X86架構(gòu)的嵌入式開發(fā)板,其中內(nèi)嵌一個(gè)X86架構(gòu)的處理器和一個(gè)FPGA，兩者通過PCI-E總線相連；嵌入式開發(fā)板通過AV接口與攝像機(jī)連接，通過VGA接口與投影儀連接；AV接口與FPGA之間，有模數(shù)轉(zhuǎn)換芯片和視頻解碼芯片，嵌入式開發(fā)板通過AV接口來接收攝像機(jī)發(fā)來的模擬視頻信號(hào)，并轉(zhuǎn)換為數(shù)字視頻信號(hào)傳遞給FPGA，由FPGA做白平衡、濾波降噪處理后，再傳遞給處理器進(jìn)行處理；處理器識(shí)別標(biāo)記卡的位置和坐標(biāo)角度，將虛擬三維模型疊加在標(biāo)記卡位置處，提供模型平移、旋轉(zhuǎn)、放縮、更換、動(dòng)畫控制等功能，并實(shí)時(shí)輸出合成圖像。所述標(biāo)記卡是一種起到標(biāo)記作用的物體，是一個(gè)由黑白兩色構(gòu)成的圖案所繪制的圖形標(biāo)記卡；所述嵌入式開發(fā)板通過標(biāo)定標(biāo)記卡的位置和角度，將虛擬模型疊加在標(biāo)記卡上。教師通過手持標(biāo)記卡，或?qū)?biāo)記卡固定在三腳架上，由攝像機(jī)進(jìn)行拍攝，并通過教學(xué)系統(tǒng)，將教學(xué)用的虛擬三維模型疊加在標(biāo)記卡上。除了用于教學(xué)，還可應(yīng)用到其他場(chǎng)景，如產(chǎn)品介紹等。一種基于增強(qiáng)現(xiàn)實(shí)的嵌入式教學(xué)模型的方法，包括如下步驟
首先，將標(biāo)記卡固定在合適的位置，初始化攝像機(jī)的相應(yīng)參數(shù)，以便從攝像機(jī)獲取正確的拍攝幀圖像；
然后，當(dāng)通過攝像機(jī)獲取幀圖像后，對(duì)幀圖像做白平衡、濾波降噪處理，從幀圖像中尋找事先規(guī)定的標(biāo)記卡位置，以及標(biāo)記卡相對(duì)于攝像機(jī)拍攝的角度；
當(dāng)找到標(biāo)記卡位置之后，計(jì)算攝像機(jī)相對(duì)于探測(cè)到的標(biāo)識(shí)的投影變換矩陣，將攝像機(jī)拍攝位置的坐標(biāo)系轉(zhuǎn)換為標(biāo)記卡所在位置的坐標(biāo)系，從而在探測(cè)到的標(biāo)記卡上疊加虛擬三維模型；
最后，將疊加虛擬三維模型提供模型平移、旋轉(zhuǎn)、放縮、更換、動(dòng)畫控制后，通過投影儀輸出疊加后的虛擬三維模型。本發(fā)明最大限度的發(fā)揮了嵌入式開發(fā)板的特性，在Windows Embedded Standard7系統(tǒng)上，采用ARToolkit增強(qiáng)現(xiàn)實(shí)庫(kù)，實(shí)現(xiàn)將電腦虛擬的三維模型疊加到真實(shí)世界畫面中的功能，即在一定距離內(nèi)，拍攝真實(shí)世界畫面，并識(shí)別畫面中的標(biāo)記卡，從而將虛擬三維模型疊加到標(biāo)記卡所示的位置上，最后實(shí)時(shí)輸出經(jīng)過疊加合成的圖像。所疊加的三維模型，是隨著標(biāo)記卡的移動(dòng)而移動(dòng)，看起來就好像黏在標(biāo)記卡上面一樣，標(biāo)記卡角度的變化，也會(huì)改變?nèi)S模型的角度。本發(fā)明采用上述技術(shù)方案，具有以下有益效果嵌入式開發(fā)板的物理尺寸很小，具有良好的便攜性，并且在保證良好性能的前提下，具有較低的功耗和成本，和較好的實(shí)時(shí)性。模型實(shí)現(xiàn)設(shè)備簡(jiǎn)單、普遍，可跨平臺(tái)，可移植性和二次開發(fā)性均良好。除了在教學(xué)上提供強(qiáng)大的輔助功能外，本發(fā)明還可以擴(kuò)展到其他應(yīng)用場(chǎng)景，如產(chǎn)品展示、會(huì)議演示等，應(yīng)用十分廣泛。


圖I為本發(fā)明實(shí)施例的原理 圖2為本發(fā)明實(shí)施例的Intel EPCM-505C嵌入式開發(fā)板結(jié)構(gòu) 圖3為本發(fā)明實(shí)施例的工作流程圖。
具體實(shí)施例方式下面結(jié)合具體實(shí)施例，進(jìn)一步闡明本發(fā)明，應(yīng)理解這些實(shí)施例僅用于說明本發(fā)明而不用于限制本發(fā)明的范圍，在閱讀了本發(fā)明之后，本領(lǐng)域技術(shù)人員對(duì)本發(fā)明的各種等價(jià)形式的修改均落于本申請(qǐng)所附權(quán)利要求所限定的范圍。如圖I所示，基于增強(qiáng)現(xiàn)實(shí)的嵌入式教學(xué)模型，包括嵌入式開發(fā)板3、標(biāo)記卡I、攝像機(jī)2和投影儀4。如圖2所示，嵌入式開發(fā)板3是一個(gè)Intel EPCM-505C嵌入式開發(fā)板，嵌入式開發(fā)板3核心部分左側(cè)是Intel Atom處理器，型號(hào)為E645C，頻率I. 0GHz，單核心雙線程。核心部分右側(cè)是一顆Altera Arria II的FPGA，其具體的型號(hào)為EP2AGXE6XX。這顆FPGA與Intel Atom處理器通過PCI-E總線相連，從而進(jìn)行通信。嵌入式開發(fā)板3外圍是一些對(duì)外接口，如USB接口、VGA接口、AV接口等。嵌入式開發(fā)板3通過AV接口與攝像機(jī)2連接，通過VGA接口與投影儀4連接；AV接口與FPGA之間，有模數(shù)轉(zhuǎn)換芯片和視頻解碼芯片，嵌入式開發(fā)板3通過AV接口來接收攝像機(jī)2發(fā)來的模擬視頻信號(hào)，并轉(zhuǎn)換為數(shù)字視頻信號(hào)傳遞給FPGA，由FPGA做白平衡、亮度調(diào)整和濾波降噪處理后，再傳遞給處理器進(jìn)行處理；處理器識(shí)別標(biāo)記卡I的位置和坐標(biāo)角度，將虛擬三維模型疊加在標(biāo)記卡I位置處，提供模型平移、旋轉(zhuǎn)、放縮、更換、動(dòng)畫控制等功能，并實(shí)時(shí)輸出合成圖像給投影儀4。投影儀4將合成影像輸出到投影屏幕5上顯示。
其中標(biāo)記卡I是一種起到標(biāo)記作用的物體，是一個(gè)由黑白兩色構(gòu)成的圖案所繪制的圖形標(biāo)記卡；嵌入式開發(fā)板3通過標(biāo)定標(biāo)記卡I的位置和角度，將虛擬模型疊加在標(biāo)記卡I上。教師通過手持標(biāo)記卡1，或?qū)?biāo)記卡I固定在三腳架上，由攝像機(jī)2進(jìn)行拍攝，并通過教學(xué)系統(tǒng)，將教學(xué)用的虛擬三維模型疊加在標(biāo)記卡I上。除了用于教學(xué)，還可應(yīng)用到其他場(chǎng)景，如產(chǎn)品介紹等。如圖3所示，基于增強(qiáng)現(xiàn)實(shí)的嵌入式教學(xué)模型的方法，包括如下步驟
首先，將標(biāo)記卡I固定在合適的位置，初始化攝像機(jī)2的相應(yīng)參數(shù)，以便從攝像機(jī)2獲取正確的拍攝幀圖像；
然后，當(dāng)通過攝像機(jī)2獲取幀圖像后，對(duì)幀圖像做白平衡、濾波降噪處理，從幀圖像中尋找事先規(guī)定的標(biāo)記卡I位置，以及標(biāo)記卡I相對(duì)于攝像機(jī)2拍攝的角度；
當(dāng)找到標(biāo)記卡I位置之后，計(jì)算攝像機(jī)2相對(duì)于探測(cè)到的標(biāo)記卡I標(biāo)識(shí)的投影變換矩陣，將攝像機(jī)2拍攝位置的坐標(biāo)系轉(zhuǎn)換為標(biāo)記卡I所在位置的坐標(biāo)系，從而在探測(cè)到的標(biāo)記卡I上疊加虛擬三維模型；
最后，將疊加虛擬三維模型提供模型平移、旋轉(zhuǎn)、放縮、更換、動(dòng)畫控制后，通過投影儀4輸出疊加后的虛擬三維模型。直到幀圖像獲取完，關(guān)閉攝像機(jī)2，釋放嵌入式開發(fā)板3的內(nèi)存，結(jié)束工作。在工作過程中涉及到兩個(gè)最主要的坐標(biāo)系。一個(gè)是攝像機(jī)2坐標(biāo)系，是攝像機(jī)2所拍攝的視頻，以攝像機(jī)2為參考系的坐標(biāo)系；另一個(gè)是標(biāo)記卡I坐標(biāo)系,是以標(biāo)記卡I作為參考系的坐標(biāo)系。最終的三維模型是需要疊加在標(biāo)記卡I上面，模型會(huì)隨著標(biāo)記卡I的移動(dòng)而移動(dòng)，所以計(jì)算的坐標(biāo)轉(zhuǎn)換矩陣，是將攝像機(jī)2坐標(biāo)系轉(zhuǎn)換為標(biāo)記卡I坐標(biāo)系的轉(zhuǎn)換矩陣。
權(quán)利要求
1.一種基于增強(qiáng)現(xiàn)實(shí)的嵌入式教學(xué)模型，其特征在于包括嵌入式開發(fā)板、標(biāo)記卡、攝像機(jī)和投影儀；所述嵌入式開發(fā)板分別與攝像機(jī)和投影儀連接；將虛擬三維模型疊加在所述標(biāo)記卡上；所述攝像機(jī)用于拍攝包括標(biāo)記卡的真實(shí)場(chǎng)景，并將視頻傳給嵌入式開發(fā)板；所述嵌入式開發(fā)板接收到攝像機(jī)傳來的視頻后，識(shí)別標(biāo)記卡的位置，利用增強(qiáng)現(xiàn)實(shí)技術(shù)，對(duì)虛擬三維模型進(jìn)行疊加，并將合成影像傳給投影儀，投影儀將合成影像輸出到投影屏幕上顯不O
2.如權(quán)利要求I所述的基于增強(qiáng)現(xiàn)實(shí)的嵌入式教學(xué)模型，其特征在于所述嵌入式開發(fā)板，是一個(gè)基于X86架構(gòu)的嵌入式開發(fā)板，其中內(nèi)嵌一個(gè)X86架構(gòu)的處理器和一個(gè)FPGA，兩者通過PCI-E總線相連；嵌入式開發(fā)板通過AV接口與攝像機(jī)連接，通過VGA接口與投影儀連接；AV接口與FPGA之間，有模數(shù)轉(zhuǎn)換芯片和視頻解碼芯片，嵌入式開發(fā)板通過AV接口來接收攝像機(jī)發(fā)來的模擬視頻信號(hào)，并轉(zhuǎn)換為數(shù)字視頻信號(hào)傳遞給FPGA，由FPGA做白平衡、濾波降噪處理后，再傳遞給處理器進(jìn)行處理；處理器識(shí)別標(biāo)記卡的位置和坐標(biāo)角度，將虛擬三維模型疊加在標(biāo)記卡位置處，提供模型平移、旋轉(zhuǎn)、放縮、更換、動(dòng)畫控制功能，并實(shí)時(shí)輸出合成圖像。
3.如權(quán)利要求I所述的基于增強(qiáng)現(xiàn)實(shí)的嵌入式教學(xué)模型，其特征在于所述標(biāo)記卡是一種起到標(biāo)記作用的物體，是一個(gè)由黑白兩色構(gòu)成的圖案所繪制的圖形標(biāo)記卡；所述嵌入式開發(fā)板通過標(biāo)定標(biāo)記卡的位置和角度，將虛擬模型疊加在標(biāo)記卡上。
4.一種基于增強(qiáng)現(xiàn)實(shí)的嵌入式教學(xué)模型的方法，其特征在于，包括如下步驟 首先，將標(biāo)記卡固定在合適的位置，初始化攝像機(jī)的相應(yīng)參數(shù)，以便從攝像機(jī)獲取正確的拍攝幀圖像； 然后，當(dāng)通過攝像機(jī)獲取幀圖像后，對(duì)幀圖像做白平衡、濾波降噪處理，從幀圖像中尋找事先規(guī)定的標(biāo)記卡位置，以及標(biāo)記卡相對(duì)于攝像機(jī)拍攝的角度； 當(dāng)找到標(biāo)記卡位置之后，計(jì)算攝像機(jī)相對(duì)于探測(cè)到的標(biāo)識(shí)的投影變換矩陣，將攝像機(jī)拍攝位置的坐標(biāo)系轉(zhuǎn)換為標(biāo)記卡所在位置的坐標(biāo)系，從而在探測(cè)到的標(biāo)記卡上疊加虛擬三維模型； 最后，將疊加虛擬三維模型提供模型平移、旋轉(zhuǎn)、放縮、更換、動(dòng)畫控制后，通過投影儀輸出疊加后的虛擬三維模型。
全文摘要
本發(fā)明公開一種基于增強(qiáng)現(xiàn)實(shí)的嵌入式教學(xué)模型及其方法，模型包括嵌入式開發(fā)板、標(biāo)記卡、攝像機(jī)和投影儀；方法通過攝像機(jī)來拍攝真實(shí)的場(chǎng)景，教師手持具有標(biāo)定功能的參照物，然后利用增強(qiáng)現(xiàn)實(shí)手段，在參照物上疊加與教學(xué)內(nèi)容有關(guān)的虛擬模型，對(duì)模型進(jìn)行相應(yīng)的操作，如，放大、縮小、添加文字說明等，從而完成生動(dòng)、自然的教學(xué)。本發(fā)明的方案，不僅可以方便地更換虛擬模型，而且也可以控制動(dòng)態(tài)模型的播放時(shí)間和速度，滿足各類教學(xué)需求。同時(shí)該方案可以推廣到商品發(fā)布、模擬訓(xùn)練等場(chǎng)景中，有廣泛的應(yīng)用空間和推廣價(jià)值。
文檔編號(hào)G09B23/18GK102945637SQ20121049971
公開日2013年2月27日 申請(qǐng)日期2012年11月29日 優(yōu)先權(quán)日2012年11月29日
發(fā)明者張雪潔, 劉子源, 伏潛, 黃鑫, 周文歡 申請(qǐng)人:河海大學(xué)