專利名稱：用于選擇所呈現(xiàn)圖形的觀看配置的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于確定例如一個(gè)人的所呈現(xiàn)圖形的觀看配置的方法和系統(tǒng)，期 望得到該人的姿態(tài)分析或其移動(dòng)(movement)分析。具體地，本發(fā)明涉及一種用于自動(dòng)選擇從康復(fù)治療后的人(所謂的康復(fù)病人)產(chǎn) 生的所呈現(xiàn)圖像的更合適的較多觀看配置中的一個(gè)以用于向治療專家或?qū)祻?fù)病人給出 視覺反饋的方法。
背景技術(shù)：
中風(fēng)是工業(yè)化國家中永久殘疾的最突出的原因。中風(fēng)幸存者遭受的最突出的殘疾 之一是上肢半面癱瘓?？祻?fù)練習(xí)被證實(shí)在恢復(fù)運(yùn)動(dòng)(motor)控制方面是高效的，只要該訓(xùn) 練是劇烈的并且病人在治療中受到指導(dǎo)。用于無人監(jiān)督的家庭中風(fēng)康復(fù)的技術(shù)方案需要使用合適的反饋機(jī)構(gòu)以確保恰當(dāng) 的練習(xí)。健康人以及中風(fēng)受害者中的運(yùn)動(dòng)技能獲取由所謂的“擴(kuò)充的”或“外部的”反饋來 推動(dòng)。這種類型的反饋與內(nèi)部反饋形成對照，在內(nèi)部反饋中人的移動(dòng)使用他自己的感受，例 如視覺或本體感受。外部反饋可以例如通過教練口頭地給出。這種外部反饋例如從體育運(yùn)動(dòng)(sport) 教學(xué)情形(例如在教一個(gè)人如何進(jìn)行高爾夫球擊球時(shí))或從理療醫(yī)生(例如在中風(fēng)受害者 學(xué)會(huì)再次伸向目標(biāo)的情況下)已知。特別地在體育運(yùn)動(dòng)中的運(yùn)動(dòng)技能獲取方面的另一種流行的方法是視頻分析，如 US2003/0054327中所描述，其中學(xué)習(xí)者和/或監(jiān)督者觀看已經(jīng)執(zhí)行了規(guī)定的動(dòng)作之后的學(xué)習(xí)者。因?yàn)橐曨l分析僅僅捕獲單個(gè)移動(dòng)平面，所以慣性傳感器系統(tǒng)正變得日益流行。慣性傳感器捕獲線性加速度、角速度和磁場并且可以用于它們所附接到的所有肢 體3維運(yùn)動(dòng)的捕獲。該運(yùn)動(dòng)數(shù)據(jù)以所呈現(xiàn)的、動(dòng)畫圖形(所謂的化身(avatar))的形式顯示給學(xué)習(xí)者。 當(dāng)與學(xué)習(xí)者一起回看(review)化身運(yùn)動(dòng)時(shí)，教練向?qū)W習(xí)者提供提示以將他們的注意力引 向運(yùn)動(dòng)執(zhí)行中的錯(cuò)誤。配備有慣性傳感器的無人監(jiān)督家庭中風(fēng)康復(fù)能夠跟蹤病人在3D空間中的移動(dòng)。 所得的數(shù)據(jù)提供了呈現(xiàn)模擬病人移動(dòng)的化身的基礎(chǔ)。病人和/或治療專家二者都可以觀察 該化身以分析病人的移動(dòng)。由于該傳感器系統(tǒng)提供3D數(shù)據(jù)，所以該系統(tǒng)使得回看者能夠通 過旋轉(zhuǎn)屏幕上的化身從不同角度觀察該移動(dòng)?，F(xiàn)有的外部反饋系統(tǒng)存在的問題在于，觀看配置(即旋轉(zhuǎn)、傾斜、縮放和最終的其 他參數(shù))仍然由病人或治療專家確定，或者在體育運(yùn)動(dòng)教學(xué)情形的情況中由受訓(xùn)者或教練 確定。使用慣性傳感器的家庭中風(fēng)康復(fù)系統(tǒng)的當(dāng)前研究原型從預(yù)選的角度示出所記錄的移動(dòng)。該觀看點(diǎn)被預(yù)選以實(shí)現(xiàn)對所記錄移動(dòng)的“最佳”評估。然而，3維記錄的數(shù)據(jù)允許觀看者從不同角度觀看移動(dòng)。一種已知的系統(tǒng)允許觀看 者在觀看該記錄的同時(shí)旋轉(zhuǎn)化身或放大圖形，如圖1和2所示。然而，在該已知系統(tǒng)中，觀 看者仍然需要知道最佳觀察點(diǎn)，或在其他系統(tǒng)中觀看者被限于可以按需要選擇的某些預(yù)定 的觀看設(shè)置。因此，觀看者不得不選擇用于回看所記錄的數(shù)據(jù)的最優(yōu)配置。
由于病人通常缺乏專業(yè)知識(shí)并且加之在認(rèn)知上受到損傷，所以他們一般不能選擇 最優(yōu)的觀看配置。最優(yōu)觀看配置輔助病人分析他們自己的移動(dòng)并識(shí)別錯(cuò)誤的移動(dòng)模式。對于治療專家，選擇最優(yōu)觀看配置可能需要對練習(xí)進(jìn)行反復(fù)觀察。因此，從以移動(dòng) 的問題元素為目標(biāo)的觀看設(shè)置開始將提高治療專家的回看過程的效率。這還示出與例如由視頻攝像機(jī)提交的2D記錄相比測量3D運(yùn)動(dòng)數(shù)據(jù)的益處。該3D 數(shù)據(jù)允許觀看者“漫游”病人的虛擬表示并集中在感興趣的區(qū)域上。現(xiàn)有系統(tǒng)允許用戶僅僅以90度為步長手動(dòng)地選擇觀看方向。本發(fā)明描述了一種用于確定康復(fù)病人的所呈現(xiàn)圖形的觀看配置的方法，目的是在 該所呈現(xiàn)圖形上提交合適的視圖。發(fā)明目的本發(fā)明的一個(gè)目的是提供一種用于以自動(dòng)方式確定康復(fù)病人的所呈現(xiàn)圖形的觀 看配置的方法。本發(fā)明的目的還在于提供一種用于執(zhí)行這種方法的合適的系統(tǒng)。

發(fā)明內(nèi)容
上述目的是通過提供一種方法實(shí)現(xiàn)的，該方法用于確定康復(fù)病人或體育運(yùn)動(dòng)受訓(xùn) 者的所呈現(xiàn)圖形的觀看配置，目的在于在所呈現(xiàn)圖形上提交合適的視圖，該方法包括步驟 在康復(fù)病人或體育運(yùn)動(dòng)受訓(xùn)者的一個(gè)或多個(gè)身體部分的3D空間中捕獲運(yùn)動(dòng)數(shù)據(jù)并且將它 們提供到計(jì)算機(jī)；并且進(jìn)一步包括步驟在該計(jì)算機(jī)上執(zhí)行對所捕獲運(yùn)動(dòng)數(shù)據(jù)與運(yùn)動(dòng)數(shù)據(jù) 參考列表的偏離的測量和/或?qū)χ鬟\(yùn)動(dòng)方向的測量；并且基于上面測量的結(jié)果，確定觀看 配置。對于康復(fù)病人或體育運(yùn)動(dòng)受訓(xùn)者極其有利的是，給出反饋?zhàn)鳛樽詣?dòng)選擇的觀看配 置，而不需要任何來自病人的輸入。可選地，首先基于測量選擇感興趣的區(qū)域，并且基于該感興趣區(qū)域，隨后自動(dòng)選擇 觀看配置。


現(xiàn)在將參照示出了多個(gè)非限制性實(shí)施例的附圖來闡述本發(fā)明，并且在附圖中圖1和2表示所呈現(xiàn)圖形的兩個(gè)觀看配置；圖3示意性表示根據(jù)本發(fā)明的優(yōu)選方法；圖4-6表示作為時(shí)間的函數(shù)而展示的運(yùn)動(dòng)參數(shù)的實(shí)例。
具體實(shí)施例方式在一個(gè)實(shí)施例中，本發(fā)明由計(jì)算機(jī)系統(tǒng)組成，該計(jì)算機(jī)系統(tǒng)具有附接到該系統(tǒng)的屏幕。此外，3個(gè)慣性傳感器無線地連接到該計(jì)算機(jī)系統(tǒng)。這三個(gè)傳感器附接到病人的患側(cè)的上臂和下臂以及軀干。這些傳感器在3D空間中提交這些體節(jié)的取向，在病人執(zhí)行練習(xí)的 同時(shí)，所述數(shù)據(jù)存儲(chǔ)在計(jì)算機(jī)系統(tǒng)上。基于所存儲(chǔ)的數(shù)據(jù)，觀察者(即病人或治療專家)使用裝備有屏幕的計(jì)算機(jī)系統(tǒng) 回看該數(shù)據(jù)。該計(jì)算機(jī)系統(tǒng)上的程序通過在屏幕上顯示所呈現(xiàn)的、動(dòng)畫的圖形(通常被稱 為化身)使得觀看者能夠回看所記錄的數(shù)據(jù)。該圖形在3D虛擬環(huán)境中出現(xiàn)。因此，可以從 不同視角(perspective)觀看它。為了改變該觀看配置，例如可以使用動(dòng)畫的所呈現(xiàn)空間 旁邊的專用按鈕或鼠標(biāo)。圖3中所描繪的方法描述了如何在3D姿態(tài)數(shù)據(jù)的回看期間自動(dòng)調(diào)整觀看配置。用 于觀察所述化身的觀看配置可以根據(jù)在練習(xí)執(zhí)行期間記錄的數(shù)據(jù)調(diào)整存儲(chǔ)在練習(xí)執(zhí)行期 間從傳感器接收的數(shù)據(jù)。為了回看該練習(xí)，觀看者選擇合適的數(shù)據(jù)，該系統(tǒng)裝載該數(shù)據(jù)并開 始處理它。接下來，從該數(shù)據(jù)中導(dǎo)出運(yùn)動(dòng)參數(shù)。規(guī)范的運(yùn)動(dòng)參數(shù)從治療專家的語言來說是角 度，例如在矢狀面中的肩彎曲。比較病人的數(shù)據(jù)與一些參考數(shù)據(jù)，例如從先前記錄的集合中 生成的模板。該比較包括如從傳感器接收的原始傳感器數(shù)據(jù)和/或從該原始傳感器數(shù)據(jù)導(dǎo) 出的運(yùn)動(dòng)參數(shù)。參考數(shù)據(jù)的運(yùn)動(dòng)參數(shù)或者可以在線計(jì)算或者可以預(yù)先計(jì)算并且因此存儲(chǔ)在 練習(xí)參考的數(shù)據(jù)庫中。在比較參考數(shù)據(jù)與練習(xí)記錄的各種選項(xiàng)中，接下來將概述其中一個(gè)。使用動(dòng)態(tài)時(shí) 間彎曲，將參考數(shù)據(jù)和記錄的數(shù)據(jù)相對于時(shí)間刻度對準(zhǔn)。然后，計(jì)算所述不同的運(yùn)動(dòng)參數(shù)， 這些參數(shù)已經(jīng)被識(shí)別為在對于每個(gè)運(yùn)動(dòng)參數(shù)(例如，測量和參考的數(shù)據(jù)點(diǎn)之間的歐幾里得 距離或這些數(shù)據(jù)點(diǎn)的平均值的距離)的所評估的比較(即在某個(gè)長度(例如1/2秒)的時(shí) 間窗中)方面是相關(guān)的?；谠摫容^，識(shí)別感興趣的區(qū)域。一個(gè)獲得感興趣區(qū)域的可能性是識(shí)別運(yùn)動(dòng)參數(shù)， 其中比較值指示與由參考給出的“常態(tài)”的最大偏離在某個(gè)時(shí)間點(diǎn)t，選擇與其他運(yùn)動(dòng)參 數(shù)相比在t附近的某個(gè)時(shí)間窗中包含最大累積偏離的運(yùn)動(dòng)參數(shù)。圖4-6表示右肩移動(dòng)的參考和測量數(shù)據(jù)的一些曲線。水平軸表示時(shí)間軸，同時(shí)在 圖4中垂直軸表示矢狀面中的角度，在圖5中垂直軸表示正平面中的角度，以及在圖6中垂 直軸表示水平面中的角度。這些平面是治療專家們公知的。最相關(guān)的運(yùn)動(dòng)參數(shù)(在這種情況下為平面中的彎曲角度)隨時(shí)間變化，在該實(shí)例 中從矢狀面移動(dòng)到正平面、到水平面、到正平面以及回到水平面。一旦已知針對某個(gè)時(shí)間跨度的最相關(guān)的運(yùn)動(dòng)參數(shù)，則所述觀看配置適于在該運(yùn)動(dòng) 參數(shù)上實(shí)現(xiàn)“最好的”視圖，即虛擬3D空間的旋轉(zhuǎn)、傾斜、縮放等被調(diào)整為將最優(yōu)視圖提交 到感興趣的區(qū)域上。通過使用預(yù)定義的映射表可以完成對被給予某個(gè)選定運(yùn)動(dòng)參數(shù)或選定運(yùn)動(dòng)參數(shù) 集的最優(yōu)觀看配置的確定。為了提供這種映射表，假定練習(xí)的執(zhí)行偏離某個(gè)參考，則本領(lǐng)域?qū)I(yè)人員(特別 是治療專家)可以洞察感興趣的區(qū)域。據(jù)此，可以提供將所識(shí)別的運(yùn)動(dòng)參數(shù)轉(zhuǎn)化為最優(yōu)觀 看配置的所述表。在另一個(gè)實(shí)施例中，盡管沒有表示出，取代與某個(gè)參考的偏離，主移動(dòng)方向確定觀看配置。例如，如果病人大多數(shù)情況下將她的手臂移動(dòng)到所述側(cè)，則所述化身以正面視圖示 出，因?yàn)檫@傳輸了大部分的移動(dòng)信息?？梢允褂盟俣仁噶康暮筒⑹褂迷摵褪噶康姆较蛲瓿?對主移動(dòng)方向的識(shí)別。也可以使用投影。對于基于速度或投影查找主方向，甚至不需要參考模式，這將使參考數(shù)據(jù)庫作廢。在另一個(gè)實(shí)施例中，參考模式實(shí)際上是病人的某些練習(xí)的平均化記錄，這將尊重 (honor)她的缺陷，在康復(fù)期間可能由治療專家支持。
在第四實(shí)施例中，對運(yùn)動(dòng)參數(shù)的識(shí)別不限于單個(gè)運(yùn)動(dòng)參數(shù)，而是運(yùn)動(dòng)參數(shù)的集合。 因此考慮多個(gè)運(yùn)動(dòng)參數(shù)，如果總計(jì)4個(gè)運(yùn)動(dòng)參數(shù)被認(rèn)為是相關(guān)的，但頭一個(gè)候選者保持獨(dú) 立而其他3個(gè)運(yùn)動(dòng)參數(shù)是相關(guān)的，則這3個(gè)運(yùn)動(dòng)參數(shù)可以被選擇為相關(guān)的運(yùn)動(dòng)參數(shù)。在第五實(shí)施例中，對最相關(guān)的運(yùn)動(dòng)參數(shù)的識(shí)別不限于小的時(shí)間窗，而是考慮上下 文。例如，如果矢狀面多半被認(rèn)為是相關(guān)的，并且在短片段內(nèi)，前平面被識(shí)別，該上下文可以 用于堅(jiān)持一種觀看配置，其允許在矢狀面中對移動(dòng)進(jìn)行最優(yōu)分析。這使化身的顯示平滑并 防止圖形上視圖中太多的變化。在第六實(shí)施例中，多個(gè)化身可以用于在該化身上提交最優(yōu)視圖。由于所識(shí)別的運(yùn) 動(dòng)參數(shù)，兩個(gè)或更多重放病人的移動(dòng)并從不同視角示出的化身提供比單個(gè)化身更多的對感 興趣區(qū)域的洞察?；淼淖顑?yōu)數(shù)量可以取決于所識(shí)別的運(yùn)動(dòng)參數(shù)。
權(quán)利要求
一種用于確定康復(fù)病人或體育運(yùn)動(dòng)受訓(xùn)者的所呈現(xiàn)圖形的觀看配置的方法，目的在于在所呈現(xiàn)圖形上提交合適的視圖，其特征在于該方法包括步驟-在康復(fù)病人或體育運(yùn)動(dòng)受訓(xùn)者的一個(gè)或多個(gè)身體部分的3D空間中捕獲運(yùn)動(dòng)數(shù)據(jù)并且將該數(shù)據(jù)提供給計(jì)算機(jī)；-在該計(jì)算機(jī)上執(zhí)行對所捕獲運(yùn)動(dòng)數(shù)據(jù)與運(yùn)動(dòng)數(shù)據(jù)參考列表的偏離的測量和/或?qū)χ鬟\(yùn)動(dòng)方向的測量；基于上述測量的結(jié)果，確定觀看配置。
2.根據(jù)權(quán)利要求1的方法，其特征在于該方法在時(shí)間幀內(nèi)執(zhí)行。
3.根據(jù)權(quán)利要求2的方法，其特征在于在某個(gè)時(shí)間幀內(nèi)確定觀看配置考慮在前的和另 外的時(shí)間幀期間的所述測量，目的是提供穩(wěn)定的或互補(bǔ)的觀看配置。
4.根據(jù)前述權(quán)利要求中任一項(xiàng)的方法，其特征在于在所述3D空間中捕獲康復(fù)病人或 體育運(yùn)動(dòng)受訓(xùn)者的運(yùn)動(dòng)數(shù)據(jù)是通過提供有線地或無線地連接到計(jì)算機(jī)的慣性傳感器執(zhí)行 的。
5.根據(jù)前述權(quán)利要求中任一項(xiàng)的方法，其特征在于在所述3D空間中捕獲康復(fù)病人或 體育運(yùn)動(dòng)受訓(xùn)者的運(yùn)動(dòng)數(shù)據(jù)是借助于立體攝像機(jī)系統(tǒng)執(zhí)行的。
6.根據(jù)前述權(quán)利要求中任一項(xiàng)的方法，其特征在于所述運(yùn)動(dòng)參數(shù)從所捕獲的運(yùn)動(dòng)數(shù)據(jù) 導(dǎo)出，這可以允許治療專家或教練更容易地解釋所捕獲的數(shù)據(jù)。
7.根據(jù)前述權(quán)利要求中任一項(xiàng)的方法，其特征在于對所捕獲運(yùn)動(dòng)數(shù)據(jù)與運(yùn)動(dòng)數(shù)據(jù)參考 列表的偏離的測量包括步驟例如通過從理想地執(zhí)行的練習(xí)中捕獲相同的運(yùn)動(dòng)數(shù)據(jù)或通過 計(jì)算先前捕獲的運(yùn)動(dòng)數(shù)據(jù)的平均值來提供參考值；以及計(jì)算參考值與所捕獲值之間距離的 測量。
8.根據(jù)權(quán)利要求7的方法，其特征在所述距離的測量是歐幾里得距離。
9.根據(jù)前述權(quán)利要求中任一項(xiàng)的方法，其特征在于使用速度矢量的和并使用該和矢量 的方向確定所述主運(yùn)動(dòng)方向。
10.根據(jù)權(quán)利要求1或9的方法，其特征在于使用速度矢量的投影確定所述主運(yùn)動(dòng)方向。
11.根據(jù)前述權(quán)利要求中任一項(xiàng)的方法，其特征在于在所提及的測量之后以及基于該 測量選擇感興趣的區(qū)域。
12.根據(jù)權(quán)利要求11的方法，其特征在于所選的感興趣區(qū)域基于限定了任意感興趣區(qū) 域與觀看配置的參數(shù)之間的關(guān)系的映射表來直接確定所述觀看配置。
13.根據(jù)權(quán)利要求11或12的方法，其特征在于所選的感興趣區(qū)域包括所捕獲的運(yùn)動(dòng)數(shù) 據(jù)，該運(yùn)動(dòng)數(shù)據(jù)至少在某種程度上以絕對項(xiàng)或相對項(xiàng)偏離所述參考。
14.根據(jù)權(quán)利要求11的方法，其特征在于所選的感興趣區(qū)域示出了最好的主運(yùn)動(dòng)方向。
15.根據(jù)權(quán)利要求14的方法，其特征在于所述觀看配置使得垂直于在其中測量主運(yùn)動(dòng) 方向的平面提供視圖。
16.根據(jù)權(quán)利要求1的方法，其特征在于同時(shí)表示不止一個(gè)觀看配置。
17.一種用于執(zhí)行根據(jù)權(quán)利要求1的方法的系統(tǒng)，其特征在于它包括-用于在康復(fù)病人或體育運(yùn)動(dòng)受訓(xùn)者的一個(gè)或多個(gè)身體部分的3D空間中捕獲運(yùn)動(dòng)數(shù)據(jù)的裝置和其上可以提供并處理所捕獲數(shù)據(jù)的計(jì)算機(jī)； _該計(jì)算機(jī)上的程序，其用于執(zhí)行對所捕獲運(yùn)動(dòng)數(shù)據(jù)與運(yùn)動(dòng)數(shù)據(jù)參考列表的偏離的測量和/或?qū)χ鬟\(yùn)動(dòng)方向的測量；基于上述測量的結(jié)果確定所述觀看配置； “用于根據(jù)所選的觀看配置顯示所呈現(xiàn)圖形的可視化裝置。
18.根據(jù)權(quán)利要求17的系統(tǒng)，其特征在于用于捕獲運(yùn)動(dòng)數(shù)據(jù)的裝置是有線地或無線地 連接到計(jì)算機(jī)的慣性傳感器。
19.根據(jù)權(quán)利要求17的系統(tǒng)，其特征在于用于捕獲運(yùn)動(dòng)數(shù)據(jù)的裝置包括立體攝像機(jī)系統(tǒng)。
全文摘要
一種用于確定康復(fù)病人或體育運(yùn)動(dòng)受訓(xùn)者的所呈現(xiàn)圖形的觀看配置的方法，目的在于在所呈現(xiàn)圖形上提交合適的視圖，該方法包括步驟捕獲康復(fù)病人或體育運(yùn)動(dòng)受訓(xùn)者的一個(gè)或多個(gè)身體部分的3D空間中的運(yùn)動(dòng)數(shù)據(jù)并將它們提供給計(jì)算機(jī)；且進(jìn)一步包括步驟在計(jì)算機(jī)上執(zhí)行對所捕獲運(yùn)動(dòng)數(shù)據(jù)與運(yùn)動(dòng)數(shù)據(jù)參考列表的偏離的測量和/或?qū)χ鬟\(yùn)動(dòng)方向的測量；以及基于上述測量結(jié)果，確定觀看配置。
文檔編號(hào)G06T15/20GK101836237SQ200880113392
公開日2010年9月15日 申請日期2008年10月21日 優(yōu)先權(quán)日2007年10月26日
發(fā)明者A·A·A·蒂默曼斯, G·蘭弗曼, J·特夫魯格特, P·K·賽尼, R·D·威爾曼, S·溫特 申請人:皇家飛利浦電子股份有限公司