專利名稱：：基于時(shí)空搜索數(shù)據(jù)處理的光學(xué)運(yùn)動(dòng)捕捉數(shù)據(jù)處理方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及光學(xué)人體運(yùn)動(dòng)捕捉散亂數(shù)據(jù)處理，特別是對(duì)于單由運(yùn)動(dòng)數(shù)據(jù)的形狀匹配處理或單由時(shí)間軸上的數(shù)據(jù)跟蹤處理所造成的失配和誤差累積問(wèn)題的技術(shù)和方法。
背景技術(shù)：
：隨著虛擬產(chǎn)業(yè)的飛速發(fā)展，運(yùn)動(dòng)捕捉己R趨成熟，已經(jīng)成為目前廣泛使用的能夠真實(shí)地再現(xiàn)人體運(yùn)動(dòng)細(xì)節(jié)的方法。該方法在電影制作、虛擬現(xiàn)實(shí)、運(yùn)動(dòng)醫(yī)學(xué)、機(jī)器人控制、游戲制作等方面有著廣泛的應(yīng)用前景。人體運(yùn)動(dòng)捕捉可以分為電磁式運(yùn)動(dòng)捕捉、機(jī)電式運(yùn)動(dòng)捕捉和光學(xué)運(yùn)動(dòng)捕捉。光學(xué)運(yùn)動(dòng)捕獲是較為精確的一種，在人體關(guān)節(jié)點(diǎn)涂抹一種特殊的反光材料作為標(biāo)記點(diǎn)，利用多個(gè)攝像機(jī)從不同角度拍攝，然后利用軟件分析圖像上標(biāo)記點(diǎn)的圖像坐標(biāo)，利用計(jì)算機(jī)視覺(jué)原理進(jìn)行三維重建，得出標(biāo)記點(diǎn)的運(yùn)動(dòng)數(shù)據(jù)。光學(xué)運(yùn)動(dòng)捕捉系統(tǒng)的關(guān)鍵技術(shù)主要有三方面攝像機(jī)標(biāo)定、標(biāo)記點(diǎn)跟蹤和三維重建技術(shù)。利用光學(xué)運(yùn)動(dòng)捕捉的數(shù)據(jù)有以下三個(gè)特點(diǎn)1采集到的信息僅有Marker點(diǎn)的三維坐標(biāo)信息，數(shù)據(jù)以散亂無(wú)序的形式存在；2由于標(biāo)記點(diǎn)被道具、四肢、軀干或者其他標(biāo)記點(diǎn)遮擋，存在缺失點(diǎn)數(shù)據(jù)；3由于攝像延遲會(huì)出現(xiàn)噪聲點(diǎn)。因此數(shù)據(jù)后續(xù)處理運(yùn)算復(fù)雜度較大，如何剔除噪聲點(diǎn)彌補(bǔ)缺失點(diǎn)對(duì)運(yùn)動(dòng)數(shù)據(jù)進(jìn)行有序標(biāo)定并滿足實(shí)時(shí)性要求是光學(xué)運(yùn)動(dòng)散亂數(shù)據(jù)處理的核心內(nèi)容。本發(fā)明提出一種基于時(shí)空搜索數(shù)據(jù)處理和基于剛體的補(bǔ)點(diǎn)方法，有效地解決了單由運(yùn)動(dòng)數(shù)據(jù)的形狀匹配處理或單由時(shí)間軸上的數(shù)據(jù)跟蹤處理所造成的失配和誤差累積問(wèn)題。本方法有效地利用了散亂數(shù)據(jù)各點(diǎn)、各幀之間的關(guān)聯(lián)信息，單幀數(shù)據(jù)處理耗時(shí)滿足運(yùn)動(dòng)捕捉的實(shí)時(shí)性要求，并且在處理過(guò)程中無(wú)需手工干預(yù)自動(dòng)完成。
發(fā)明內(nèi)容本發(fā)明的目的在于提出了一種用于被動(dòng)式光學(xué)人體運(yùn)動(dòng)捕捉數(shù)據(jù)方法，該方法通過(guò)利用運(yùn)動(dòng)數(shù)據(jù)的前后幀之間在時(shí)間軸上成平滑線性約束關(guān)系和各幀數(shù)據(jù)在空間位置上遵循一定的拓?fù)浼s束關(guān)系。有效地對(duì)三維運(yùn)動(dòng)數(shù)據(jù)進(jìn)行了預(yù)測(cè)和跟蹤，并對(duì)噪聲數(shù)據(jù)進(jìn)行去噪處理，對(duì)缺失運(yùn)動(dòng)數(shù)據(jù)提出基于剛體的補(bǔ)點(diǎn)算法，進(jìn)行合理的補(bǔ)缺。以此來(lái)提高運(yùn)動(dòng)數(shù)據(jù)處理的效率和精度。該方法在處理過(guò)程中無(wú)需人工干預(yù)，并能滿足實(shí)時(shí)性要求。本發(fā)明的技術(shù)方案是基于時(shí)空搜索數(shù)據(jù)處理的光學(xué)運(yùn)動(dòng)捕捉數(shù)據(jù)處理方法，包括如下歩驟1)建立人體幾何模型和確立人體標(biāo)記點(diǎn)擺放方式，導(dǎo)入人體模型和參數(shù)；2)建立人體生理結(jié)構(gòu)分塊模型。導(dǎo)入人體生理結(jié)構(gòu)分塊模型參數(shù)；3)建立具有人體運(yùn)動(dòng)學(xué)約束的樹(shù)形人體結(jié)構(gòu)骨架模型；4)利用當(dāng)前幀的前幾幀一匹配剛體結(jié)合二次Lagrange插值函數(shù)和人體運(yùn)動(dòng)學(xué)原理，預(yù)測(cè)當(dāng)前剛體大致空間位置；5)建立一種改進(jìn)的剛體匹配模型。處理在運(yùn)動(dòng)過(guò)程中，當(dāng)肌肉和皮膚發(fā)生比較大的變化和捕獲數(shù)據(jù)滯后而導(dǎo)致的剛性結(jié)構(gòu)被破壞問(wèn)題，改進(jìn)的剛體匹配模型能夠合理地還原數(shù)據(jù)到模版結(jié)構(gòu)，達(dá)到數(shù)據(jù)的精確跟蹤匹配，調(diào)用改進(jìn)剛體匹配方法進(jìn)行剛體匹配；6)建立基于剛體的補(bǔ)點(diǎn)算法模型。在以上歩驟的約束下進(jìn)行運(yùn)動(dòng)數(shù)據(jù)的跟蹤匹配處理，檢査是否成功匹配，對(duì)未成功匹配的數(shù)據(jù)調(diào)用基于剛體的補(bǔ)點(diǎn)算法進(jìn)行補(bǔ)點(diǎn)處理；7)對(duì)每幀跟蹤匹配后的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行結(jié)構(gòu)校驗(yàn)，得到最終的標(biāo)定數(shù)據(jù)；8)將成功標(biāo)定的運(yùn)動(dòng)數(shù)據(jù)按照讀入的格式寫(xiě)入數(shù)據(jù)文件。所述的歩驟4)中利用二次Lagrange插值多項(xiàng)式原理進(jìn)行范圍預(yù)測(cè)方法為處理方法自頂向下，首先查詢根節(jié)點(diǎn)，然后由根節(jié)點(diǎn)預(yù)測(cè)子節(jié)點(diǎn)范圍，在此范圍內(nèi)進(jìn)行形狀匹配查詢?cè)撟庸?jié)點(diǎn)，類推直到所有節(jié)點(diǎn)遍歷完結(jié)束。所述的歩驟5)中還原不同模塊數(shù)據(jù)點(diǎn)的剛體結(jié)構(gòu)的方法是手部由空間四邊形ABCD構(gòu)成，但在運(yùn)動(dòng)過(guò)程中，由于手指的彎曲會(huì)導(dǎo)致空間四邊形ABCD發(fā)生形變，表現(xiàn)在幾何上就是由三角形ABC和三角形CBD之間二面角的變化，匹配手部的方法是把手部、肩部和腳部看成一個(gè)固定的剛體四邊形。具體包括以下技術(shù)環(huán)節(jié)-l.數(shù)據(jù)采集本專利所述方法針對(duì)被動(dòng)式光學(xué)運(yùn)動(dòng)捕捉系統(tǒng)，數(shù)據(jù)采集設(shè)備為大連東銳軟件有限公司自主研發(fā)的DVMC-8820運(yùn)動(dòng)捕捉系統(tǒng)，數(shù)據(jù)采集現(xiàn)場(chǎng)環(huán)繞布置32臺(tái)攝像機(jī)，采集頻率為60幀/秒。表演者為專業(yè)舞蹈演員，演員身體關(guān)鍵部位和關(guān)節(jié)處放置Marker點(diǎn)，在攝像機(jī)可見(jiàn)范圍內(nèi)作出一系列具有代表性的表演動(dòng)作。該人體模型為16剛體:頭部、上軀干、下軀干、骨盆、左上臂、左前臂、左手、左大腿、左小腿、左腳、右上臂、右前臂、右手、右大腿、右小腿、右腳，由三十二個(gè)標(biāo)記點(diǎn)描繪，基本上表達(dá)了人體的運(yùn)動(dòng)變化，其Marker點(diǎn)標(biāo)記方式如圖1。2.建立具有人體運(yùn)動(dòng)學(xué)約束的樹(shù)形人體結(jié)構(gòu)骨架模型人體運(yùn)動(dòng)系統(tǒng)由骨、骨連接和骨骼肌通過(guò)運(yùn)動(dòng)關(guān)節(jié)組成，運(yùn)動(dòng)中各骨骼的長(zhǎng)度和形狀是不變的，身體各部分通過(guò)關(guān)節(jié)聯(lián)系在一起在神經(jīng)系統(tǒng)的調(diào)節(jié)和其他系統(tǒng)的配合下相互驅(qū)動(dòng)形成運(yùn)動(dòng)。由人體運(yùn)動(dòng)力學(xué)原理可知在運(yùn)動(dòng)中各關(guān)節(jié)點(diǎn)的自山度是不同的并且子節(jié)點(diǎn)受動(dòng)于父節(jié)點(diǎn)，由此我們?cè)谶M(jìn)行跟蹤時(shí)可以利用人體運(yùn)動(dòng)學(xué)原理進(jìn)行約束跟蹤。形結(jié)構(gòu)體骨架模型如圖3所示。結(jié)合本釆集的數(shù)據(jù)特征，規(guī)定腰關(guān)節(jié)點(diǎn)坐標(biāo)為標(biāo)記點(diǎn)19、20、21、22四點(diǎn)平均點(diǎn)，胸關(guān)節(jié)坐標(biāo)點(diǎn)為標(biāo)記點(diǎn)5、6、7、8四點(diǎn)的平均點(diǎn)，左、右膝關(guān)節(jié)點(diǎn)坐標(biāo)分別為標(biāo)記點(diǎn)28、23的坐標(biāo)，頸肩關(guān)節(jié)點(diǎn)坐標(biāo)為標(biāo)記點(diǎn)5、9、8、14四點(diǎn)的平均點(diǎn)，左、右踝關(guān)節(jié)點(diǎn)坐標(biāo)分別為標(biāo)記點(diǎn)29、30、31、32，24、25、26、27的坐標(biāo)平均點(diǎn)，左、右肘關(guān)節(jié)點(diǎn)坐標(biāo)分別為標(biāo)記點(diǎn)15、16、17、18，10、11、12、13的坐標(biāo)平均點(diǎn)，頭關(guān)節(jié)點(diǎn)坐標(biāo)為標(biāo)記點(diǎn)l、2、3、4四點(diǎn)的平均點(diǎn)。根節(jié)點(diǎn)為腰關(guān)節(jié)點(diǎn)p,根節(jié)點(diǎn)具有平動(dòng)和轉(zhuǎn)動(dòng)，其他局部節(jié)點(diǎn)繞其父節(jié)點(diǎn)轉(zhuǎn)動(dòng)。'3.利用二次Lagrange插值多項(xiàng)式原理進(jìn)行范圍預(yù)測(cè)處理方法自頂向下，旨先查詢根節(jié)點(diǎn)，然后山根節(jié)點(diǎn)預(yù)測(cè)子節(jié)點(diǎn)范圍，在此范圍內(nèi)進(jìn)行形狀匹配査詢?cè)撟庸?jié)點(diǎn)，類推直到所有節(jié)點(diǎn)遍歷完結(jié)束。例如當(dāng)預(yù)測(cè)胸關(guān)節(jié)的坐標(biāo)范圍時(shí)，利用已求得的腰關(guān)節(jié)位置，在腰關(guān)節(jié)的局部坐標(biāo)系下，根據(jù)胸關(guān)節(jié)相對(duì)于腰關(guān)節(jié)的相對(duì)局部坐標(biāo)求出胸關(guān)節(jié)的全局坐標(biāo):預(yù)測(cè)當(dāng)前幀數(shù)據(jù)位置時(shí)，要用到前三幀巳匹配的數(shù)據(jù)信息。提出利用二次Lagrangt'插值多項(xiàng)式的方法預(yù)測(cè)每一剛體的大致位置，從而縮小搜索空間，有利于隨后的剛體匹配。令Pi(Ai,T')，i=0，l，2,3.Ai代表三維點(diǎn)(Xi,y',Zi)，L代表點(diǎn)A,所在的時(shí)間幀。利用前三幀已處理數(shù)據(jù)Pi、p2、w運(yùn)用二次Lagrange插值多項(xiàng)式預(yù)測(cè)出當(dāng)前點(diǎn)的坐標(biāo)。Lagrange插值多項(xiàng)式的基函數(shù)為U(X)=(X-X!)(X-X》/(Xo-Xi)(x-x2)lw(X)=(X-Xn)(X-X》/(X廠Xo)(Xi-X》U(X)=(X_X0)(X-)0/(XfX0)(x廠x》二次Lagrange插值多項(xiàng)式為L(zhǎng)(x)=T。*L。(x)+T,*L,(x)十T2*L2(x)4.改進(jìn)的剛體匹配人體骨骼結(jié)構(gòu)為相對(duì)剛性鉸鏈結(jié)構(gòu)，標(biāo)記點(diǎn)是帖在個(gè)關(guān)節(jié)點(diǎn)上的，理想狀態(tài)下標(biāo)記點(diǎn)的三維信息也應(yīng)該滿足剛體結(jié)構(gòu)，我們可以運(yùn)用剛體相對(duì)位置的拓?fù)浣Y(jié)構(gòu)如直線、三角形、四邊形和四面體來(lái)進(jìn)行剛體匹配。但在運(yùn)動(dòng)過(guò)程中，當(dāng)肌肉和皮膚發(fā)生比較大的變化和捕獲數(shù)據(jù)滯后時(shí)會(huì)破壞數(shù)據(jù)點(diǎn)的剛體結(jié)構(gòu)。因此如何還原數(shù)據(jù)點(diǎn)的剛體結(jié)構(gòu)是剛體匹配的重點(diǎn)難點(diǎn)問(wèn)題。根據(jù)一般人體剛性結(jié)構(gòu)和實(shí)際需求把人體拆分為以下幾部分，如圖4所示。山圖分析，人體剛體結(jié)構(gòu)一般有兩種幾何圖形三角形和四邊形。顯然四邊形要比三角行包含的信息多，而在空間中任意三點(diǎn)都能構(gòu)成一個(gè)三角形，當(dāng)人體運(yùn)動(dòng)出現(xiàn)一些較復(fù)雜的動(dòng)作時(shí)，如蹲、抱頭、觸摸等Marker點(diǎn)會(huì)相互交織，這樣以來(lái)僅用三角形信息進(jìn)行匹配很容易出現(xiàn)誤配現(xiàn)象，一旦誤配會(huì)導(dǎo)致其它的形狀難以匹配和動(dòng)作的變形，基于這個(gè)問(wèn)題本專利提出合并骨架的思想，把人體骨架分為幾部分，使這些骨架盡可能滿足四邊形形狀或能合理地轉(zhuǎn)化成四邊形形狀，然后進(jìn)行分模塊近似剛體匹配。根據(jù)人體結(jié)構(gòu)和標(biāo)識(shí)點(diǎn)的帖位，把人體分為頭部、肩部、胸部、腰部、手部、大腿部和腳部七大模塊。由圖4分析，頭部、腰部和胸部已經(jīng)很近似剛體四邊形，在實(shí)驗(yàn)中對(duì)這兩部分的數(shù)據(jù)跟蹤也十分容易實(shí)現(xiàn)，主要的問(wèn)題是其它四個(gè)模塊，由于這四個(gè)模塊是運(yùn)動(dòng)特征的主要表現(xiàn)者，在運(yùn)動(dòng)過(guò)程中會(huì)出現(xiàn)局部變形，因此我們對(duì)這四模塊進(jìn)行特殊話處理。4.1手部手可有空間四邊形ABCD構(gòu)成，但在運(yùn)動(dòng)過(guò)程中，山于手指的彎曲會(huì)導(dǎo)致^問(wèn)四邊形ABCI)發(fā)生形變，表現(xiàn)在幾何上就是由三角形ABC和三角形CBD之間二面角的變化，而線段AB、AC、CD、BD的L《度不會(huì)發(fā)生大的變化。如圖5，匹配手部的方法是把手部看成一個(gè)固定的剛體四邊形，從圖5看很顯然豐部不是剛性的，假如我們以CB為軸，讓D點(diǎn)繞軸旋轉(zhuǎn)直到使D點(diǎn)在有ABC三點(diǎn)確定的面上且在三角形ABC外部。那么圖5中的2、3經(jīng)過(guò)旋轉(zhuǎn)后會(huì)變?yōu)閳D5中的1一樣的形狀。進(jìn)行手部模塊匹配時(shí)的約束條件是求出模版手(圖4中1)情況下，線段AB、AC、CB、CD、BD、AD的長(zhǎng)度，在散亂的運(yùn)動(dòng)數(shù)據(jù)中找到這樣的四個(gè)點(diǎn)A,、B,、C,、D,,求點(diǎn)D,通過(guò)上面的方法旋轉(zhuǎn)得到的點(diǎn)Dn，使得A,B產(chǎn)AB、A,C,=AC、dB尸CB、CA二CD、B,D^BD、A,Du=AD。根據(jù)具體情況可設(shè)置一定的誤差范圍進(jìn)行約束協(xié)調(diào)。4.2肩部對(duì)于肩部的情況可以用同樣的方法，見(jiàn)圖6，圖6.l表示兩手臂伸直且垂直于胸部狀態(tài)，6.2表示兩手臂都下垂?fàn)顟B(tài)，6.3表示兩手臂都高舉狀態(tài)，6.4表示有一手臂高舉狀態(tài)。4.3腳部對(duì)于腳部的情況亦可用此方法，但考慮到腳部的結(jié)構(gòu)還是相對(duì)穩(wěn)定的，很少出現(xiàn)和其他部位交叉的現(xiàn)象，對(duì)其影響最大的是兩只腳之間的相互交叉現(xiàn)象。當(dāng)標(biāo)號(hào)24和29的位置相近時(shí)，有可能把29跟蹤為24，造成了誤配，基于這種考慮我們做一個(gè)簡(jiǎn)化的處理，如圖7:6在面BCD上求點(diǎn)A的射影點(diǎn)A,,那么有A,BCD組成的四邊形可近似地看為剛體進(jìn)行形狀匹配，實(shí)驗(yàn)結(jié)果顯示此方法效率高匹配效果好。4.4大腿部在腰部得到匹配后，大腿部和其組成一個(gè)剛體三角形結(jié)構(gòu)，進(jìn)行二角形匹配。5.基于剛體的補(bǔ)點(diǎn)算法在進(jìn)行形狀匹配時(shí)，如果剛體中有缺失點(diǎn)，會(huì)導(dǎo)致此剛體得不到匹配，有可能連帶其他未缺失數(shù)據(jù)也得不到匹配，從而降低匹配率并影響下一幀此剛體的匹配。本專利提出的基于剛體的補(bǔ)點(diǎn)算法要求剛體中不能缺點(diǎn)太多，例如腰部的四個(gè)點(diǎn)，只有在缺-點(diǎn)的情況下才能得到匹配補(bǔ)點(diǎn)。以腰部剛體為例，具體方法如下歩驟l:腰部在缺少一個(gè)點(diǎn)的時(shí)候，仍然是一個(gè)剛體結(jié)構(gòu)，是一個(gè)三角形結(jié)構(gòu)，設(shè)P,、p2、p3、P4分別對(duì)應(yīng)腰部的四個(gè)點(diǎn)標(biāo)號(hào)19，20，21，22。那么在有三個(gè)點(diǎn)的情況下會(huì)產(chǎn)生四種三角形情況P,P必，P必P"P2P必，plP^。我們首先在散亂數(shù)據(jù)中找到滿足這四個(gè)中的一個(gè)，如果未找到說(shuō)明缺點(diǎn)多于一個(gè)，算法結(jié)束。如果找到，例如找到的是p,p必三點(diǎn)，轉(zhuǎn)到歩驟二進(jìn)行P4的補(bǔ)點(diǎn)。歩驟2:用已經(jīng)選好的模版數(shù)據(jù)，組成腰部剛體的四個(gè)點(diǎn)分別是Xl，&，X:,，&分別對(duì)應(yīng)腰部的四個(gè)點(diǎn)標(biāo)號(hào)19，20，21，22。在歩驟一中找到的三點(diǎn)是p,p必，把點(diǎn)&平移到點(diǎn)A的矩陣是A,，則經(jīng)過(guò)A,的旋轉(zhuǎn)后&，x2，X:1，x,變?yōu)閤u，x21，x31，x其中^與pr重合；把點(diǎn)X2,平移至(J點(diǎn)P2的矩陣是A2，貝慢過(guò)Az的旋轉(zhuǎn)后變?yōu)閄2"X'32，X/12，其中Xb與P2重合；設(shè)把點(diǎn)X32平移到點(diǎn)p3的矩陣是A:i，則經(jīng)過(guò)A3的旋轉(zhuǎn)后x32，^變?yōu)閤33，X，其中x.i:1與P3重合。步驟3:經(jīng)過(guò)三歩平移旋轉(zhuǎn)后當(dāng)前幀剛體和模版幀剛體重合，顯然點(diǎn)^就是我們所要求的點(diǎn)p.,,從而精確無(wú)誤地補(bǔ)上所缺點(diǎn)。對(duì)于其它部位剛體補(bǔ)點(diǎn)方法雷同不再詳述。6.基于時(shí)空搜索數(shù)據(jù)處理的運(yùn)動(dòng)數(shù)據(jù)預(yù)測(cè)與跟蹤算法在進(jìn)行剛性匹配或是進(jìn)行基于人體運(yùn)動(dòng)學(xué)原理的標(biāo)記點(diǎn)跟蹤時(shí)，會(huì)出現(xiàn)以下問(wèn)題由于沒(méi)有其它約束條件的約束，在進(jìn)行匹配時(shí)為了取得匹配成功會(huì)加大誤差系數(shù)，而且誤差系數(shù)一旦設(shè)定對(duì)于自動(dòng)匹配的程序來(lái)說(shuō)將不再改變，從而導(dǎo)致可能會(huì)有多個(gè)匹配結(jié)果由于遮擋等原因，會(huì)出現(xiàn)缺點(diǎn)現(xiàn)象，如何合理的補(bǔ)點(diǎn)成為問(wèn)題?；谀K特征統(tǒng)計(jì)算法，會(huì)在提高精度和利用已匹配的統(tǒng)計(jì)結(jié)果分段擬合出曲線方程，利用曲線方程進(jìn)行缺點(diǎn)插值將很合理。模塊分段歸納統(tǒng)訃算法另一個(gè)優(yōu)勢(shì)在于，歸納結(jié)果是按照分模塊進(jìn)行，我們?cè)谶M(jìn)行運(yùn)動(dòng)數(shù)據(jù)預(yù)測(cè)與跟蹤時(shí)可以根據(jù)模塊在時(shí)間軸上的變化幅度設(shè)定匹配優(yōu)先度，幅度小者先匹配原則。當(dāng)然每幀匹配后要進(jìn)行結(jié)構(gòu)校驗(yàn)。詳細(xì)步驟歩驟1:手動(dòng)處理前三幀數(shù)據(jù)，作為模版數(shù)據(jù)。歩驟2:數(shù)據(jù)預(yù)處理，針對(duì)噪聲數(shù)據(jù)如幻點(diǎn)(由于攝像機(jī)的延遲導(dǎo)致的一個(gè)關(guān)節(jié)點(diǎn)記錄多于一個(gè)數(shù)據(jù)的情況)，利用幻點(diǎn)之間距離近的特點(diǎn)進(jìn)行去噪處理。歩驟3:建立人體樹(shù)狀模型數(shù)據(jù)結(jié)構(gòu)樹(shù)節(jié)點(diǎn)類，遞歸初始化樹(shù)形結(jié)構(gòu)。歩驟4:利用當(dāng)前幀的前幾幀一匹配剛體結(jié)合二次Lagrange插值函數(shù)和人體運(yùn)動(dòng)學(xué)原理，預(yù)測(cè)當(dāng)前剛體大致空間位置。歩驟5:在歩驟4中預(yù)測(cè)的范圍內(nèi)，結(jié)合4節(jié)提到的一種改進(jìn)剛體匹配方法進(jìn)行剛體匹配，并根據(jù)運(yùn)動(dòng)學(xué)原理進(jìn)行結(jié)構(gòu)效驗(yàn)。如匹配成功，把匹配的節(jié)點(diǎn)數(shù)據(jù)從散亂數(shù)據(jù)中刪除，以不影響其它剛體的匹配。如匹配不成功轉(zhuǎn)向步驟6.歩驟6:對(duì)未匹配的剛體，認(rèn)為缺點(diǎn)所導(dǎo)致，調(diào)用基于剛體的補(bǔ)點(diǎn)算法進(jìn)行補(bǔ)點(diǎn)操作，完成匹配。本發(fā)明與現(xiàn)有技術(shù)相比具有以下優(yōu)點(diǎn)1、本發(fā)明提出的時(shí)空搜索數(shù)據(jù)處理算法，更加合理有效地利用了三維數(shù)據(jù)點(diǎn)之間的信息。有效地解決了單由剛體匹配所導(dǎo)致的誤配現(xiàn)象和單由前后幀之間的關(guān)系進(jìn)行跟蹤所導(dǎo)致的誤差累積現(xiàn)象。2、提出的基于剛體的補(bǔ)點(diǎn)算法不僅精確地彌補(bǔ)缺失點(diǎn)，而且大大地提高了匹配效率，使得數(shù)據(jù)自動(dòng)處理，無(wú)需人工調(diào)整，滿足實(shí)時(shí)性要求。圖1本發(fā)明算法流程圖。圖2標(biāo)記點(diǎn)擺放方法。圖3樹(shù)形人體骨架結(jié)構(gòu)。圖4人體拆分結(jié)構(gòu)圖。圖5手部狀態(tài)圖。圖6肩部狀態(tài)圖。圖7腳部狀態(tài)圖。圖8系統(tǒng)實(shí)現(xiàn)結(jié)果，上圖是散亂數(shù)據(jù)下圖對(duì)應(yīng)處理數(shù)據(jù)。具體實(shí)施方式下面通過(guò)具體的實(shí)施方式對(duì)本發(fā)明的方法做進(jìn)一歩說(shuō)明。在一個(gè)實(shí)施例中，本發(fā)明的基于模塊分段線性模型的人體運(yùn)動(dòng)光學(xué)捕捉數(shù)據(jù)處理是在一臺(tái)CPU主頻為2.8GHz，內(nèi)存為1G的計(jì)算機(jī)上實(shí)現(xiàn)，該計(jì)算機(jī)采用WindowsXP操作系統(tǒng)。實(shí)例選取一組體操運(yùn)動(dòng)進(jìn)行驗(yàn)證，運(yùn)動(dòng)人體標(biāo)記點(diǎn)的貼點(diǎn)方式如圖2所示，標(biāo)記點(diǎn)個(gè)數(shù)為32，采樣頻率60fps。具體實(shí)施歩驟為步驟l:采集原始數(shù)據(jù)。原始數(shù)據(jù)存儲(chǔ)格式如下<table>tableseeoriginaldocumentpage9</column></row><table>其中FRAMEn表示為第n幀數(shù)據(jù)MKm表示第m個(gè)特征標(biāo)記點(diǎn)，隨后的二個(gè)數(shù)分別表示其x，y，z坐標(biāo)，單位cm。歩驟2:載入運(yùn)動(dòng)數(shù)據(jù)。歩驟3:數(shù)據(jù)載入后，建立樹(shù)形人體骨架結(jié)構(gòu)模型，完成運(yùn)動(dòng)數(shù)據(jù)世界坐標(biāo)和局部坐標(biāo)的轉(zhuǎn)化。歩驟4:建立人體分塊模型。拓?fù)浣Y(jié)構(gòu)上相近和在生理結(jié)構(gòu)上相關(guān)的原則，把人體骨架拆分為七大模塊。并導(dǎo)入模板參數(shù)。歩驟5:數(shù)據(jù)預(yù)處理。針對(duì)噪聲數(shù)據(jù)如幻點(diǎn)(由于攝像機(jī)的延遲導(dǎo)致的一個(gè)關(guān)節(jié)點(diǎn)記錄多于一個(gè)數(shù)據(jù)的情況)，利用幻點(diǎn)之間距離近的特點(diǎn)進(jìn)行去噪處理。歩驟6:利用當(dāng)甜幀的前幾幀一匹配剛體結(jié)合二次Lagrange插值函數(shù)和人體運(yùn)動(dòng)學(xué)原理，預(yù)測(cè)當(dāng)前剛體大致空間位置。歩驟7:調(diào)用改進(jìn)剛體匹配方法進(jìn)行剛體匹配。歩驟8:在歩驟6-7的約束下進(jìn)行運(yùn)動(dòng)數(shù)據(jù)的跟蹤匹配處理，檢査是否成功匹配，對(duì)未成功匹配的數(shù)據(jù)調(diào)用基于剛體的補(bǔ)點(diǎn)算法進(jìn)行補(bǔ)點(diǎn)處理。歩驟9:進(jìn)行結(jié)構(gòu)校驗(yàn)，檢查左右肢休是否顛倒，人體整體結(jié)構(gòu)是否合理等。歩驟10:通過(guò)步驟6-9，循環(huán)處理所有幀數(shù)據(jù)。步驟ll:處理后的運(yùn)動(dòng)數(shù)據(jù)輸出，以文件形式輸出，數(shù)據(jù)格式為FRAME1MK1-70.92348991.03391063.557194MK2-92.35507452.46938488.6305617MK3-89.3190698-34.495746847.3119536MK4-80.64942066.52913311.8305233MK5-73.263437818.942426687.9340281MK6-84.90558882.99731946.607917MK7-85.07220768.7370353138.5120934FRAME2其中FRAMEn表示為第n幀數(shù)據(jù)，具體幀數(shù)和原始數(shù)據(jù)一樣。MKm表示第m個(gè)特征標(biāo)記點(diǎn)，隨后的三個(gè)數(shù)分別表示其x，y，z坐標(biāo)，單位irai。在本專利中數(shù)據(jù)處理后m的最大值固定為32，與原始數(shù)據(jù)對(duì)比對(duì)應(yīng)值不變，變化的是原始數(shù)據(jù)中每幀數(shù)據(jù)可能不為32個(gè)。且標(biāo)記點(diǎn)順序與模板中標(biāo)記點(diǎn)順序一致。本專利選取一些有代表性的運(yùn)動(dòng)來(lái)驗(yàn)證所提方法的有效性，把運(yùn)動(dòng)按動(dòng)作幅度和在運(yùn)動(dòng)過(guò)程中肢體之間的遮擋情況進(jìn)行分類，并統(tǒng)計(jì)不同運(yùn)動(dòng)的單幀耗時(shí)情況。處理結(jié)果顯示準(zhǔn)確處理率根據(jù)動(dòng)作復(fù)雜度不同分布在70%-100%之間。對(duì)于一般交叉較少且運(yùn)動(dòng)幅度不大的常規(guī)數(shù)據(jù)，例如慢走、慢跑、踢腿等運(yùn)動(dòng)成功匹配率能達(dá)到90%以上；對(duì)于有部分交叉(標(biāo)記點(diǎn)受到遮擋)或者運(yùn)動(dòng)幅度變化較快的運(yùn)動(dòng)，例如跳遠(yuǎn)運(yùn)動(dòng)、上樓梯運(yùn)動(dòng)、跳繩運(yùn)動(dòng)等成功匹10配率能達(dá)到85%左右；對(duì)于運(yùn)動(dòng)中肢體遮擋較多特別是連續(xù)遮擋時(shí)或者運(yùn)動(dòng)幅度變化尖銳時(shí)，例如投擲運(yùn)動(dòng)和俯臥撐運(yùn)動(dòng)成功匹配率保持在70%以上。由于運(yùn)動(dòng)數(shù)據(jù)處理的應(yīng)用需要，數(shù)據(jù)處理效率要滿足實(shí)時(shí)性要求，該算法經(jīng)過(guò)優(yōu)化后自動(dòng)遞歸處理，無(wú)需手動(dòng)調(diào)整參數(shù)高效合理充分地運(yùn)用數(shù)據(jù)信息，數(shù)據(jù)處理算法效率高，經(jīng)測(cè)試，對(duì)于以每秒60幀采集的散亂數(shù)據(jù)，單幀數(shù)據(jù)處理過(guò)程耗時(shí)t<l/60s，每幀處理耗時(shí)相近，處理效率能夠滿足實(shí)時(shí)性要求。具體數(shù)據(jù)匹配率及單幀耗時(shí)如表一所示。圖8為系統(tǒng)進(jìn)行數(shù)據(jù)處理效果的界面截圖，分別顯示了散亂數(shù)據(jù)和對(duì)應(yīng)的處理結(jié)果。表一各組運(yùn)動(dòng)數(shù)據(jù)實(shí)驗(yàn)結(jié)果<table>tableseeoriginaldocumentpage11</column></row><table>權(quán)利要求1、基于時(shí)空搜索數(shù)據(jù)處理的光學(xué)運(yùn)動(dòng)捕捉數(shù)據(jù)處理方法，其特征在于，包括如下步驟1)建立人體幾何模型和確立人體標(biāo)記點(diǎn)擺放方式，導(dǎo)入人體模型和參數(shù)；2)建立人體生理結(jié)構(gòu)分塊模型。導(dǎo)入人體生理結(jié)構(gòu)分塊模型參數(shù)；3)建立具有人體運(yùn)動(dòng)學(xué)約束的樹(shù)形人體結(jié)構(gòu)骨架模型；4)利用當(dāng)前幀的前幾幀一匹配剛體結(jié)合二次Lagrange插值函數(shù)和人體運(yùn)動(dòng)學(xué)原理，預(yù)測(cè)當(dāng)前剛體大致空間位置；5)建立一種改進(jìn)的剛體匹配模型。處理在運(yùn)動(dòng)過(guò)程中，當(dāng)肌肉和皮膚發(fā)生比較大的變化和捕獲數(shù)據(jù)滯后而導(dǎo)致的剛性結(jié)構(gòu)被破壞問(wèn)題，改進(jìn)的剛體匹配模型能夠合理地還原數(shù)據(jù)到模版結(jié)構(gòu)，達(dá)到數(shù)據(jù)的精確跟蹤匹配，調(diào)用改進(jìn)剛體匹配方法進(jìn)行剛體匹配；6)建立基于剛體的補(bǔ)點(diǎn)算法模型。在以上步驟的約束下進(jìn)行運(yùn)動(dòng)數(shù)據(jù)的跟蹤匹配處理，檢查是否成功匹配，對(duì)未成功匹配的數(shù)據(jù)調(diào)用基于剛體的補(bǔ)點(diǎn)算法進(jìn)行補(bǔ)點(diǎn)處理；7)對(duì)每幀跟蹤匹配后的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行結(jié)構(gòu)校驗(yàn)，得到最終的標(biāo)定數(shù)據(jù)；8)將成功標(biāo)定的運(yùn)動(dòng)數(shù)據(jù)按照讀入的格式寫(xiě)入數(shù)據(jù)文件。2、根據(jù)權(quán)利要求書(shū)l所述的基于時(shí)空搜索數(shù)據(jù)處理的光學(xué)運(yùn)動(dòng)捕捉數(shù)據(jù)處理方法，其特征在于，所述的步驟4)中利用二次Lagrange插值多項(xiàng)式原理進(jìn)行范圍預(yù)測(cè)方法為處理方法自頂向下，首先査詢根節(jié)點(diǎn)，然后由根節(jié)點(diǎn)預(yù)測(cè)子節(jié)點(diǎn)范圍，在此范圍內(nèi)進(jìn)行形狀匹配查詢?cè)撟庸?jié)點(diǎn)，類推直到所有節(jié)點(diǎn)遍歷完結(jié)束。3、根據(jù)權(quán)利要求書(shū)l所述的基于時(shí)空搜索數(shù)據(jù)處理的光學(xué)運(yùn)動(dòng)捕捉數(shù)據(jù)處理方法，其特征在于，所述的步驟5)中還原不同模塊數(shù)據(jù)點(diǎn)的剛體結(jié)構(gòu)的方法是手部由空間四邊形ABCD構(gòu)成，但在運(yùn)動(dòng)過(guò)程屮，由于手指的彎曲會(huì)導(dǎo)致空間四邊形ABCD發(fā)生形變，表現(xiàn)在幾何上就是由三角形ABC和三角形CBD之l'aj二面角的變化，匹配手部的方法是把手部、肩部和腳部看成一個(gè)固定的剛體四邊形。全文摘要本發(fā)明公開(kāi)了基于時(shí)空搜索數(shù)據(jù)處理的光學(xué)運(yùn)動(dòng)捕捉數(shù)據(jù)處理方法。該方法基于光學(xué)人體運(yùn)動(dòng)捕捉散亂數(shù)據(jù)的時(shí)空信息，提出了時(shí)空搜索數(shù)據(jù)處理算法。由于光學(xué)運(yùn)動(dòng)數(shù)據(jù)采集頻率高，運(yùn)動(dòng)數(shù)據(jù)的前后幀之間在時(shí)間軸上成平滑線性關(guān)系，人體骨架關(guān)系的約束使得各幀數(shù)據(jù)在空間位置上遵循一定的拓?fù)潢P(guān)系。時(shí)空搜索數(shù)據(jù)處理算法合理地利用了運(yùn)動(dòng)數(shù)據(jù)時(shí)間軸上的線性關(guān)系和空間位置上的拓?fù)潢P(guān)系作為約束條件，有效地對(duì)三維運(yùn)動(dòng)數(shù)據(jù)進(jìn)行了預(yù)測(cè)和跟蹤，并對(duì)噪聲數(shù)據(jù)進(jìn)行去噪處理，對(duì)缺失運(yùn)動(dòng)數(shù)據(jù)提出基于剛體的補(bǔ)點(diǎn)算法，進(jìn)行合理的補(bǔ)缺。本發(fā)明的有益效果是，在處理過(guò)程中無(wú)需人工干預(yù)，并能滿足實(shí)時(shí)性要求。提高了匹配效率。文檔編號(hào)G06T17/00GK101533527SQ20091001122公開(kāi)日2009年9月16日申請(qǐng)日期2009年4月18日優(yōu)先權(quán)日2009年4月18日發(fā)明者升吳,強(qiáng)張,魏小鵬申請(qǐng)人:大連大學(xué)