專利名稱:一種基于單目視頻的計算機輔助步態(tài)分析方法
技術領域:
本發(fā)明屬于醫(yī)學圖像的計算機分析技術的應用領域,具體涉及一種基于單目視頻的計算機輔助步態(tài)分析方法。
背景技術:
隨著物質水平的不斷提高,生活節(jié)奏加快,腦血管患病率近年提高,雖然因臨床診斷新技術的運用和搶救成功率的不斷提高,腦血管病急性期死亡率大幅下降,但一般情況下,隨著發(fā)病時間的延長,中風患者力量和運動功能恢復的希望會逐漸減小,生存質量受嚴重影響,據統(tǒng)計,國內70%以上的腦血管病患者存在后遺癥,給患者帶來精神、肉體上的極大痛苦,給家庭、社會帶來極大負擔。
實踐證明,中風患者經過及時有效的康復治療后可以生活自理,甚至恢復工作能力。由此可見,康復治療是改善中風患者的生存質量,延長患者生命的有效方法。目前康復治療中,康復醫(yī)師通過人工觀察病人肢體宏觀運動來診斷病人運動功能情況,評估康復進程。
隨著現代計算機技術和圖形圖像技術的發(fā)展,使計算機輔助人體步態(tài)分析的實現成為可能。將計算機輔助人體步態(tài)分析運用到運動功能障礙病人步態(tài)的自動分析中,可以提供給康復醫(yī)師病人一系列客觀的運動參數,康復醫(yī)師根據參數準確地評估病人康復情況,并給予更有效的康復治療方案。
人體步態(tài)分析就是利用普通攝像機得到的人體運動視頻,并對抽取的視頻序列圖像進行分析處理,自動提取表征人體步行特征的視覺線索,從而獲得一系列運動參數如膝關節(jié)和踝關節(jié)運動的高度,速度,加速度等。目前用于人體步態(tài)參數獲取的目標識別方法有基于模型和基于標記點兩種。前者不需限制實驗背景,但是不能進行精確的跟蹤,后者可以準確地識別和跟蹤活動關節(jié)的空間位置及其運動軌跡。所以,一個典型的人體步態(tài)檢測系統(tǒng)是在受試者需要分析的關節(jié)部位貼上標記點,并用一個或多個靜態(tài)的攝像機實時攝取人體運動目標,這樣就可以將人體運動信息的檢測轉化為圖像序列上的標記點的記錄與分析。較早運用這種加入標記方法的研究如Rashid等人將一些小亮斑置于人體的各關節(jié),在攝像機獲得人體運動的圖像序列后由小亮斑的位置得到人體運動的骨架型模型,然后通過這種模型跟蹤分析人體的運動(具體參見R.F.Rashid.″Twards a system for theinterpretation of moving light displays,″IEEE Trans.PAMI,12(6)574-581(1980).)。
利用單目攝像機進行人體步態(tài)分析,實現起來簡單方便并且節(jié)約成本,但是有噪聲、陰影及下肢運動數據自遮擋現象的存在,所以如何獲取清晰的人體運動圖像并精確地進行標記點的識別與跟蹤是實現單目視頻中人體步態(tài)分析的關鍵。
發(fā)明內容
本發(fā)明的目的在于提供一種基于單目視頻的計算機輔助步態(tài)分析方法,該方法有效解決了在單目視頻中由運動過程的自遮擋現象而引起的數據獲取不連續(xù)的問題,提高了運動參數計算的準確性。
本發(fā)明提供的一種基于單目視頻的計算機輔助步態(tài)分析方法,其步驟為(1)在被測者的腿部關節(jié)處分別加入關節(jié)標記點和關節(jié)附加標記物,標記點和標記物用顏色和/或形狀加以區(qū)分,利用單目攝像機攝取被測者在步道上行走的視頻圖像;(2)在視頻序列圖像中識別出關節(jié)標記及附加標記物;(3)根據步驟(2)識別出的標記,按照下述步驟獲取圖像中對應關節(jié)位置(3.1)若被測者運動狀態(tài)未出現自遮擋現象,關節(jié)標記點均可被識別出來,從而獲取左、右腿關節(jié)在設定坐標系中位置;
(3.2)若被測者運動狀態(tài)出現自遮擋現象,根據識別出的附加標記物在設定坐標系中的位置及標記物與關節(jié)的相對關系計算得到被遮擋關節(jié)在設定坐標系中位置;根據識別出的關節(jié)標記點獲取未被遮擋關節(jié)在設定坐標系中位置;(4)順序連接視頻序列圖像中獲取的相應關節(jié)的位置,獲取各關節(jié)運動的軌跡曲線;(5)根據軌跡曲線計算得到關節(jié)的運動參數,通過各關節(jié)的運動參數的不同組合,評估被測者的步態(tài)功能。
本發(fā)明方法通過在被測者關節(jié)上加入關節(jié)標記點和附加標記物的方法實時跟蹤被測者步態(tài)獲取運動參數,解決在單目視頻中由運動過程的自遮擋現象而引起的數據獲取不連續(xù)的問題。本發(fā)明根據單目視頻序列圖像中標記的識別與跟蹤,有效的獲取關節(jié)的運動狀態(tài),從而得到一系列的運動參數。它首先利用單目攝像機實時攝取被測者行走過程圖像,再對這一系列的視頻序列圖像進行簡單的圖像處理,識別出關節(jié)標記點或附加標記物,如果圖像中可以識別出關節(jié)標記點,則根據關節(jié)標記點狀態(tài)獲取被測者關節(jié)的運動狀態(tài);如果圖像中由于自遮擋問題而未能識別出關節(jié)標記點,則根據可識別的附加標記物及標記物與關節(jié)的相對關系獲取被測者關節(jié)的運動狀態(tài)。然后根據順序視頻序列圖像中被測者關節(jié)的運動狀態(tài)計算得到一系列的運動參數??傊?,本發(fā)明方法通過關節(jié)標記點和附加標記物的引入,在一定程度上克服了在單目視頻圖像中由運動過程的自遮擋問題而引起的運動跟蹤不準確的不足。
圖1為本發(fā)明方法的流程圖;圖2為本發(fā)明實施例關節(jié)標記點未被遮擋時關節(jié)位置示意圖;圖3為本發(fā)明實施例關節(jié)標記點被遮擋時關節(jié)位置示意圖。
圖4為本發(fā)明實施例根據附加標記物位置及標記物與關節(jié)相對關系計算被遮擋的關節(jié)標記點位置示意圖
具體實施例方式
下面以被測者膝、踝關節(jié)運動參數計算為例對本發(fā)明作進一步詳細的說明,本發(fā)明方法適用于具有任何運動功能障礙病人的關節(jié)運動參數的計算。
如圖1所示,本發(fā)明的步驟為(1)在被測者的膝、踝關節(jié)處(矢狀面外側)分別加入膝、踝關節(jié)標記點和附加標記物,并攝取被測者在規(guī)定步道上行走的視頻圖像。具體說明該步驟(1.1)如圖2所示,在被測者的左膝關節(jié)處粘貼一個紅色三角形標記點A,踝關節(jié)處粘貼一個紅色正方形標記點B,右膝關節(jié)處粘貼一個黑色三角形標記點C,踝關節(jié)處粘貼一個黑色正方形標記點D。
(1.2)如圖2所示,在被測者左腿(距攝像機較遠的腿,本實施例中為左腿)膝、踝關節(jié)處加入附加標記物。一根長度為m的黃色輕質棍棒L一端被固定在被測者左腿踝關節(jié)B處,另一端固定一個藍色圓形標記點E。一根長度為n的綠色輕質棍棒t一端固定在被測者左腿膝關節(jié)A處,另一端在E處活動連接,以保證t長度不變,但t與L的夾角可以變化。m,n大小適當選取,使得附加標記物不防礙被測者行走,E不會接觸地面,并且如圖3所示,當A或者B被遮擋時,E不會被遮擋。本實施例中取m=50cm,n=30cm。
(1.3)使被測者在規(guī)定步道上行走,利用一個普通單目攝像機攝取被測者(加入膝關節(jié)標記點和附加標記物)在規(guī)定步道上行走的視頻圖像。
(2)由于膝關節(jié)標記點A為紅色三角形、B為紅色正方形,踝關節(jié)標記點C為黑色三角形、D為黑色正方形,附加標記物L為黃色輕質棍棒、E為藍色圓形、t為綠色輕質棍棒,所以在視頻序列圖像中運用簡單的RGB閾值分割及形狀分析即可識別出關節(jié)標記點A、B、C、D及附加標記物L、E、t。
(3)根據(2)中自動識別出的標記,獲取圖像中膝、踝關節(jié)位置。
其步驟為(3.1)如圖2所示被測者運動狀態(tài),被測者運動過程中未出現關節(jié)自遮擋現象,左、右膝關節(jié)標記點A、C和左、右踝關節(jié)標記點B、D均可被識別出來,從而獲取左、右膝關節(jié)和左、右踝關節(jié)在設定坐標系中位置。
(3.2)如圖3所示被測者運動狀態(tài),被測者運動過程中出現關節(jié)自遮擋現象,其左腿膝關節(jié)標識A或左腿踝關節(jié)B被右腿遮擋,但左腿附加標記物L、E、t可以被識別出來,根據附加標記物L、E、t在設定坐標系中的位置及標記物與關節(jié)的相對關系計算得到左腿膝、踝關節(jié)的位置,具體說明在(3.3)中敘述。右膝關節(jié)標記點C和右踝關節(jié)標記點D不存在遮擋現象,可以被識別出來,從而獲取右膝、踝關節(jié)在設定坐標系中位置。
(3.3)根據步驟(3.2)識別出附加標記物L、E、t在設定坐標系中的位置及標記物與關節(jié)的相對關系計算得到左膝、踝關節(jié)的位置,如圖4所示在設定坐標系下,根據已識別出L與t的方向,可以得到附加標記物t與x軸(水平坐標軸)的夾角為θ1,附加標記物L與x軸(水平坐標軸)的夾角為θ2,附加標記物E的位置坐標為(a,b),附加標記物E到左踝關節(jié)標記點B的距離為m,附加標記物E到左膝關節(jié)標記點A的距離為n,根據以上已知可以得到左膝關節(jié)標記點A在設定坐標系下的位置坐標為(a+ncosθ1,b+nsinθ1),左踝關節(jié)標記點B在設定坐標系下的位置坐標為(a+mcosθ2,b-msinθ2),根據左膝關節(jié)標記點A和左踝關節(jié)標記點B的位置即可獲取左膝、踝關節(jié)在設定坐標系中位置。
(4)順序連接視頻序列圖像中獲取的左、右膝、踝關節(jié)的位置,得到左、右膝、踝關節(jié)運動的軌跡曲線,根據軌跡曲線計算出左、右膝、踝關節(jié)一系列運動參數,如左、右膝關節(jié)運動的高度,速度,加速度等。根據左、右膝、踝關節(jié)運動參數的不同組合,可以客觀定量的評估人的步態(tài)功能。
上述實施例中膝關節(jié)標記點A為紅色三角形、B為紅色正方形,踝關節(jié)標記點C為黑色三角形、D為黑色正方形,附加標記物L為黃色輕質棍棒、E為藍色圓形、t為綠色輕質棍棒。本發(fā)明可以將關節(jié)標記點和附加標記物用不同顏色及不同形狀進行組合標識,可以有多種標識形式,只需通過顏色和/或形狀可將不同關節(jié)標記點和附加標記物進行區(qū)分即可。
本發(fā)明也可以采用更簡單的方式,只對被測者膝關節(jié)或踝關節(jié)標記點或關節(jié)標記物進行跟蹤,獲得被測者的運動參數。
本發(fā)明通過單目視頻序列圖像中標記的識別與跟蹤,獲取關節(jié)的運動狀態(tài),從而計算得到關節(jié)的一系列運動參數。此方法在一定程度上克服了單目視頻圖像中由運動過程的自遮擋問題而引起的運動跟蹤不準確的不足,提高了運動參數計算的準確性。本發(fā)明的實現并不局限于上述實例所公開的范圍,可以采用不同于上述實例的方式實現上述技術方案。
權利要求
1.一種基于單目視頻的計算機輔助步態(tài)分析方法,其步驟包括(1)在被測者的腿部關節(jié)處分別加入關節(jié)標記點和關節(jié)附加標記物,標記點和標記物用顏色和/或形狀加以區(qū)分,利用單目攝像機攝取被測者在步道上行走的視頻圖像;(2)在視頻序列圖像中識別出關節(jié)標記及附加標記物;(3)根據步驟(2)識別出的標記,按照下述步驟獲取圖像中對應關節(jié)位置(3.1)若被測者運動狀態(tài)未出現自遮擋現象,關節(jié)標記點均可被識別出來,從而獲取左、右腿關節(jié)在設定坐標系中位置;(3.2)若被測者運動狀態(tài)出現自遮擋現象,根據識別出的附加標記物在設定坐標系中的位置及標記物與關節(jié)的相對關系計算得到被遮擋關節(jié)在設定坐標系中位置;根據識別出的關節(jié)標記點獲取未被遮擋關節(jié)在設定坐標系中位置;(4)順序連接視頻序列圖像中獲取的相應關節(jié)的位置,獲取各關節(jié)運動的軌跡曲線;(5)根據軌跡曲線計算得到關節(jié)的運動參數,通過各關節(jié)的運動參數的不同組合,評估被測者的步態(tài)功能。
全文摘要
本發(fā)明公開了一種基于單目視頻的計算機輔助步態(tài)分析方法。本發(fā)明通過在關節(jié)處加入附加標記物有效解決運動過程中的自遮擋問題。先利用單目攝像機實時攝取被測者行走過程圖像。再對圖像進行處理,識別出關節(jié)標記點或附加標記物,如果可以識別出關節(jié)標記點,則根據關節(jié)標記點狀態(tài)獲取被測者關節(jié)的運動狀態(tài);否則,根據可識別的附加標記物及標記物與關節(jié)的相對關系獲取被測者關節(jié)的運動狀態(tài)。然后根據被測者關節(jié)的運動狀態(tài)計算得到一系列的運動參數。本發(fā)明能在一定程度上克服單目視頻圖像中由運動過程的自遮擋問題而引起的運動跟蹤不準確的不足,提高了運動參數計算的準確性,更客觀有效地輔助康復醫(yī)師調整和實施康復治療方案。
文檔編號G06T7/00GK1969748SQ20061012518
公開日2007年5月30日 申請日期2006年11月29日 優(yōu)先權日2006年11月29日
發(fā)明者宋恩民, 姜孌, 金人超 申請人:華中科技大學