專利名稱：使用多個傳感器空間的免提的基于手勢的接口的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于人機接口的基于手勢的通信。
背景技術(shù)：
已經(jīng)提出了基于手勢的人機接口系統(tǒng)。例如，Park等人的美國專利No. 7， 259， 756 描述了一種系統(tǒng)，用于傳感和估計用戶的運動，其用作用于選擇信息的計算機接口。按照 Park等人的專利，附在手指和手或其他身體部位上的"運動單元"的運動可以被傳感、解譯 和篩選，并且結(jié)果用作輸入給計算機的信息。Park等人所構(gòu)想的傳感器包括基于圖像的傳 感器以及基于巨磁電阻GMR的傳感器，其遠離這些運動單元，并且不由用戶攜帶。使用成像 傳感器，有關(guān)手勢的信息可能很容易被物體所阻擋，因為成像傳感器(照相機)固定在環(huán)境 中或者位于距離用戶的特定位置處，而不是由用戶攜帶。因此，要檢測的手勢必須限制在傳 感器視場中的小型安置區(qū)域內(nèi)。 除了上面提到的可視傳感器存在的問題之外，GMR技術(shù)遭受含有磁性材料(諸如
內(nèi)部鐵結(jié)構(gòu)材料)的建筑材料所引起的干擾。因此，GMR在多數(shù)建筑物和環(huán)境中不可行。 Park等人還提到可以使用測量加速度和角速度的變化的微電子機械系統(tǒng)(MEMS)
慣性傳感器，但是未進行討論。其沒有教導(dǎo)有關(guān)如何從MEMS傳感器取回數(shù)據(jù)。 基于手勢的輸入設(shè)備的另一普遍問題涉及計算機可以如何區(qū)分具有不同含義的
各種手勢，以及如何辨認(rèn)給定手勢的動作變化范圍，在該變化范圍內(nèi)表示相同的意思。例如
在Goldberg的美國專利No. 5， 596， 656中描述了這樣的概念，提供包含具有幾何規(guī)范的符
號集合的字母表，其中這些符號在圖形上"很好區(qū)別"，因此可由計算機區(qū)分。 因此，希望提供一種用于基于手勢的導(dǎo)航的系統(tǒng)和工具，其不太容易受環(huán)境運動
的干擾和約束，并且能夠支持對復(fù)雜手勢的可靠解譯。

發(fā)明內(nèi)容
—種用于解譯手勢的系統(tǒng)，包括至少一個，并且優(yōu)選地包括不止一個小型傳感器， 諸如微電子機械傳感器MEMS，傳感器包括適合于附在人體的位置(諸如手指或手)上的底 座。信號累積單元連接到傳感器，其或者附在傳感器上，或者具有適合于附在人體的另一位 置上的底座。信號累積單元包括用于對來自一個或多個傳感器的數(shù)據(jù)進行打包以產(chǎn)生打包 數(shù)據(jù)的邏輯，該數(shù)據(jù)包括多個空間中的數(shù)據(jù)以及來自多個傳感器的有關(guān)在一個或多個傳感 器處傳感的手勢的數(shù)據(jù)。信號累積單元還包括用于與主計算機通信的通信端口，打包數(shù)據(jù) 通過該通信端口被發(fā)送到主計算機。主計算機包括與信號累積單元處的處理協(xié)作的資源， 該資源對傳感器產(chǎn)生的數(shù)據(jù)進行解譯并且生成結(jié)果輸入信號。該輸入信號繼而由主機使 用適當(dāng)?shù)挠嬎銠C生成的消息被遞送到目標(biāo)系統(tǒng)。典型的目標(biāo)系統(tǒng)包括此類程序，諸如商務(wù)
呈現(xiàn)軟件、字處理軟件、軟件管理家用照明和空調(diào)、軟件管理視聽設(shè)備、軟件管理機器人，等等。 所使用的每個MEMS可以產(chǎn)生一個或多個空間中的數(shù)據(jù)，其中一個空間包括在時間上采樣的至少兩個維度，包括線性空間中的平移的位移、速度和加速度以及角度空間中的旋轉(zhuǎn)的位移、速度和加速度。多空間分析使用來自裝配在不同位置的多個傳感器的多個空間的手勢數(shù)據(jù)，和/或來自裝配在單個位置的一個或多個傳感器的多個空間的手勢數(shù)據(jù)，這種多空間分析的使用為手勢分析顯著改善了識別系統(tǒng)的能力，支持解譯復(fù)雜的手勢。多空間分析支持對復(fù)雜符號語言的機器解譯，在其中任何一個空間中的圖形分割可能不夠用。例如，預(yù)期使用多空間分析、基于來自手勢人的手指上的MEMS的輸入，可以翻譯復(fù)雜的符號語言，諸如美式手語ASL、國際手語、使用手語字母的手指拼寫，等等。而且，使用多空間分析、利用自學(xué)習(xí)過程，可以開發(fā)專用手勢字典。 描述了主機計算機系統(tǒng)，其包括用于與用戶上的信號累積單元進行通信的接口，以及用于解譯多個空間中的數(shù)據(jù)的資源。除了數(shù)據(jù)處理硬件之外，資源包括手勢規(guī)范數(shù)據(jù)庫以及用于將輸入數(shù)據(jù)與數(shù)據(jù)庫中的規(guī)范進行比較的程序，其中手勢規(guī)范數(shù)據(jù)庫包括多個空間中的一個或多個手勢規(guī)范。而且，主機中的資源包括用于組成含有對手勢數(shù)據(jù)的解譯結(jié)果的消息以及將消息發(fā)送到目標(biāo)的通信資源，數(shù)據(jù)在目標(biāo)處用作輸入命令或數(shù)據(jù)。
在以下的附圖具體實施方式
以及權(quán)利要求中提供本發(fā)明的其他方面和優(yōu)勢。


圖1是基于手勢的人機接口的簡化框圖； 圖2-圖16示出了可以被解譯以用于利用此處描述的微傳感器創(chuàng)建和檢測手勢的動作傳感"空間"； 圖17是用于此處所描述的人機接口系統(tǒng)的微傳感器信號累積單元的框圖； 圖18是用于此處所描述的人機接口系統(tǒng)的主計算機的框圖；以及 圖19A和圖19B提供了示出用于此處所描述的人機接口系統(tǒng)的操作方法的流程圖。
具體實施例方式
圖1是基于在環(huán)境9中做的手勢的人機接口的簡化框圖。主機器IO(諸如個人計算機)或具有圖形用戶接口或顯示器的其他設(shè)備與附在人體上(使得使用者不必握著或抓著傳感器)的"hold-free(免提)"傳感器系統(tǒng)進行通信。在優(yōu)選實現(xiàn)中，傳感器包括非常小的MEMS傳感器11-18，其通過有線或無線地鏈接到信號累積單元18，信號累積單元18將來自傳感器的數(shù)據(jù)進行打包，并且使用無線電通信鏈路(例如藍牙)或使用紅外通信鏈路將打包數(shù)據(jù)傳輸給主機器。某些實施方式在需要時也可以使用有線連接。
如圖所示，各個傳感器13-17附在手上五個手指的每一個上，優(yōu)選地在拇指的第二關(guān)節(jié)和手指的第三關(guān)節(jié)后部。在有些系統(tǒng)中，可以在兩個手上都使用傳感器。而且，傳感器單元可以如圖所示地附在身體19上，例如包括在襯衫口袋12中或在耳用配件11上。傳感器11-17和累積單元18包括相應(yīng)的底座，其適合于附在人體或衣服(諸如手套或襯衫)的各位置處。在有些實施方式中，信號累積單元可以附在其中一個傳感器上，而不需要單獨的底座。而且，在有些實施方式中，每個傳感器附在單獨的信號累積單元上，所述信號累積單元與主機進行通信或者與另一信號累積單元進行通信，該另一信號累積單元繼而與主機或目標(biāo)系統(tǒng)進行通信。
在利用多個傳感器單元的系統(tǒng)中，提供較少維度的傳感，諸如對于每個傳感器有三個線性維度可能足夠。對于利用單個傳感器單元或較少傳感器單元的系統(tǒng)而言，可能希望每個單元包括一個或多個傳感器以傳感多達6個自由度。 由于傳感器和支持電路的尺寸非常小且重量輕，所以傳感器單元可以直接或間接地附在人體上的多個位置處，包括手、肘、胳膊、身體、腹部、脖子、頭、腳、膝蓋、腳趾等等。傳感器單元可以使用彈性環(huán)或帶、夾子、腕帶、膠帶、膠或帶子附在手指上?？蛇x地，傳感器單元可以包含在衣服內(nèi)，諸如手套、襪子、帽子、襯衫或鞋子中。傳感器單元可以裝配在戒指、手表、眼鏡、耳環(huán)、其他耳用配件和項鏈等上。 典型的傳感器單元包括慣性傳感器和陀螺儀，其能夠傳感多達6個運動度，包括x-，y-和z-軸上的平移以及x-，y-和z-軸上的旋轉(zhuǎn)。運動可以通過在針對平移和旋轉(zhuǎn)兩者的位移、速度和加速度空間中分解傳感器數(shù)據(jù)來進行解譯。特定的基于手勢的系統(tǒng)可以利用一個或多個傳感器空間，包括針對裝配在不同位置處的多個傳感器的每一個傳感器的一個傳感器空間，或者針對裝配在單個位置處的一個或多個傳感器的多個傳感器空間。多數(shù)傳感器可以傳感多個軸和運動類型，其可以提供重要信息以用于構(gòu)成基于手勢的語言，以及用于區(qū)分不同手勢。此外，單個傳感器可以提供線性的和角度的加速度空間、速度空間和位移空間中的輸入信息，給出了在現(xiàn)有的基于視覺的系統(tǒng)中實際無法獲得的豐富的輸入數(shù)據(jù)。 出于描述目的，微電子機械傳感器MEMS是構(gòu)成單元的任意一類傳感器，其中所述單元小巧輕便，可以附在手指尖上而不會干擾手指尖在系統(tǒng)所用手勢的形成期間的正常運動，并且其可以定義為第一級封裝的裸片級組件，包括壓力傳感器、加速度計、陀螺儀、麥克風(fēng)等。通常MEMS包括與環(huán)境交互的元件，其寬度或長度在1毫米的量級，并且可以與諸如模數(shù)轉(zhuǎn)換器、信號處理器和通信端口之類的支持電路封裝在一起。 適合于此處所描述的基于手勢的系統(tǒng)的典型MEMS包括雙軸加速度計。對于給定
應(yīng)用，兩個這種加速度計傳感器可以裝配在單個位置以傳感多個三維線加速度。用于此處
所描述的基于手勢的系統(tǒng)的其他典型MEMS包括陀螺儀，其包括壓電振動陀螺儀。 主機器10和信號累積單元18包括數(shù)據(jù)處理資源，其提供對接收自傳感器的手勢
數(shù)據(jù)的解譯。在有些實施方式中，信號累積單元18執(zhí)行比其他實施方式中更多的解譯處
理，使得主機器10基于信號累積單元18處的補充處理而執(zhí)行不同的解譯處理量。所解譯
的手勢數(shù)據(jù)由主機處理以產(chǎn)生特定信號。 主機器10確定作為所解譯的手勢數(shù)據(jù)的結(jié)果的特定信號，確定該特定信號的目標(biāo)，以及將得到的信號發(fā)給目標(biāo)。目標(biāo)可以包括在主機器10上運行或在用戶環(huán)境中操作的其他系統(tǒng)上運行的計算機程序，用戶正通過手勢語言與它進行交互。因此，手勢數(shù)據(jù)從用戶遞送到主機再到環(huán)境，并且用于控制環(huán)境中的設(shè)備，包括將手勢語言轉(zhuǎn)換為控制視聽設(shè)備的信號，將手勢語言轉(zhuǎn)換為語音或其他音頻信號，將手勢語言轉(zhuǎn)換為經(jīng)由互聯(lián)網(wǎng)或其他通信協(xié)議發(fā)送到遠程系統(tǒng)的消息，諸如此類。 主機器10還包括充當(dāng)用戶的反饋提供者的資源。這得到用戶提供手勢信號給主機器，主機器解譯信號并且產(chǎn)生響應(yīng)的交互環(huán)路。用戶繼而可以在交互式系統(tǒng)中發(fā)出新手勢信號，等等。典型的交換式系統(tǒng)包括視頻游戲等，其中用戶使用手勢向游戲提供輸入。
主機器10可以包括映射數(shù)據(jù)庫，其包括要用于通信的手勢規(guī)范，以及手勢到特定信號的映射。手勢規(guī)范可以采取上述多個空間中唯一的標(biāo)印的形式。主機器10可以包括提供交互式學(xué)習(xí)過程的計算機程序，通過該計算機程序向用戶呈現(xiàn)特定手勢的規(guī)范，繼而用戶做手勢以嘗試匹配所呈現(xiàn)的規(guī)范。這提供了學(xué)習(xí)循環(huán)，在此循環(huán)中，計算機使得用戶能夠?qū)W習(xí)用于與計算機系統(tǒng)進行交互的手勢庫。 主機器10可以包括交互式程序，用戶通過該程序來定義要使用的手勢規(guī)范。在此模式中，用戶用信號通知主機器10，其將定義期望解譯為特定信號的手勢。用戶繼而做出定義手勢的動作，主機將其接收并存儲。主機對手勢數(shù)據(jù)進行處理，手勢數(shù)據(jù)例如包括多個手勢實例的手勢數(shù)據(jù)，從而產(chǎn)生多個空間中該手勢的標(biāo)印并且存儲該標(biāo)印。用戶繼而重復(fù)定義手勢的動作，主機嘗試將得到的手勢數(shù)據(jù)與標(biāo)印進行匹配。此過程可以一直重復(fù)，直到完成自我學(xué)習(xí)。 主機器10還可以充當(dāng)居間器，其中第一用戶使用手勢庫發(fā)出信號，主機解譯該手勢數(shù)據(jù)，并且通過直接消息、通過用戶所共享的環(huán)境的附加或者其他方式將手勢數(shù)據(jù)遞送到其他用戶的組或第二用戶，諸如視頻游戲中的一個或多個對手。其他用戶能夠提供響應(yīng)，該響應(yīng)也是使用手勢庫中信號的信號。 主機器10可以包括環(huán)境9的映射，并且利用環(huán)境映射以及手勢字典來產(chǎn)生特定信號。例如，包括指向環(huán)境中的特定項的手勢可以解譯為期望影響位于所指示方向的設(shè)備的信號。因此，可以生成指示用戶正在指著房間中的特定燈的手勢數(shù)據(jù)，并且第二手勢可以產(chǎn)生指示是否增大或減小此燈的亮度的手勢數(shù)據(jù)。 在此所描述的系統(tǒng)可以使用描述傳感器在空間中的運動的傳感器來實現(xiàn)，包括提供涉及多達6個自由度的手勢數(shù)據(jù)，包括由加速度計提供的線性空間中的3個平移自由度以及由陀螺儀提供的角度空間中的3個旋轉(zhuǎn)自由度。理論上還有可能使用針對所有6個自由度的加速度計或者使用針對所有6個自由度的陀螺儀來描述物體的空間位移。使用針對多達6個自由度的傳感函數(shù)所提供的多個空間，可以使得系統(tǒng)能夠快速可靠地區(qū)分不同的復(fù)雜手勢。可以通過線性空間和角度空間中的位移、速度、加速度來對傳感器貫穿給定手勢的運動期間產(chǎn)生的手勢數(shù)據(jù)進行分析?？缭蕉鄠€空間的這種分析為每個手勢提供了標(biāo)印，其可以用于定義使得該手勢能夠區(qū)別于其他手勢的規(guī)范，以及用于識別特定手勢以轉(zhuǎn)換為期望的信號。 在典型的系統(tǒng)中，MEMS加速度計用于提供線加速度空間中的手勢數(shù)據(jù)，MEMS陀螺儀可以用于提供角速度空間中的手勢數(shù)據(jù)。給定手勢在線加速度空間中和角速度空間中的標(biāo)印可以用于識別特定手勢。將要使用的傳感器、傳感器數(shù)量以及要分析的空間數(shù)量的選擇取決于具體應(yīng)用，并且影響給定手勢字典的成本、響應(yīng)時間和傳感器選擇的可行性。
圖2-圖16示出了可以如何在各種空間中解譯給定動作以從單個傳感器提供豐富的輸入信息以進行手勢解譯。當(dāng)多個傳感器裝配在人體的選定位置上時，慣性傳感器可以用來檢測復(fù)雜動作，其使用在多個空間中采集的數(shù)據(jù)的組合。有些基于MEMS的傳感器適合于加速度空間中的測量。不過，數(shù)據(jù)很容易解譯用于所示出的其他空間。而且，使用不止一個多維傳感器，或者一個多維傳感器與一個固定位置或單維傳感器的組合，可以基于在這些不同空間采集的數(shù)據(jù)來檢測基于手勢的語言，其中使用有關(guān)相對運動或相對位移的信息來解譯數(shù)據(jù)。圖2-圖6示出了針對相對復(fù)雜的動作在位移空間、線速度空間、線加速度空間、角速度空間和角加速度空間中的標(biāo)印。圖7-圖11示出了針對基于勻速線性運動的間隔的手勢在位移空間、線速度空間、線加速度空間、角速度空間和角加速度空間中的標(biāo)印。圖12-圖16示出了針對基于勻速角運動的間隔的手勢在位移空間、線速度空間、線加速度空間、角速度空間和角加速度空間中的標(biāo)印。這些附圖中示出的全部或部分?jǐn)?shù)據(jù)可以用作區(qū)分特定手勢或手勢的分解動作的標(biāo)印。 例如，如果用戶利用手指裝配式傳感器在空間中旋轉(zhuǎn)手指，其在時域上具有恒定
的角速度，則該運動在角速度空間中將表現(xiàn)為固定的點。該運動還會在角加速度空間中表
現(xiàn)為位于(O，O，O)處的固定點，例如，其在時域上具有為零的角加速度。 對于另一示例，用戶利用手指裝配式傳感器在空間中畫一條直線，其在時域上具
有恒定的線速度，則該運動在線速度空間中將表現(xiàn)為固定的點。該運動還會在線加速度空
間中表現(xiàn)為位于(O，O，O)處的固定點，例如，其在時域上具有為零的線加速度。 簡單手勢在此處稱為分解動作的組合，可以用于形成更復(fù)雜的手勢?？梢詫σ?br> 用的手勢進行設(shè)計，使得在數(shù)據(jù)處理系統(tǒng)中可以將其相互區(qū)分，其中使用系統(tǒng)檢測到的一
個或多個空間中的圖形分割來識別手勢。特定手勢或分解動作的標(biāo)印可以包括來自兩個或
更多傳感器的手勢數(shù)據(jù)，從而用于標(biāo)印的多個空間包括來自第一傳感器的線位移空間和
來自第二傳感器的線位移空間；來自第一傳感器的角位移空間和來自第二傳感器的線位移
空間；來自第一傳感器的角加速度空間和來自第二傳感器的線位移空間；等等。例如，復(fù)雜
手勢的標(biāo)印可以包含來自一只手上拇指和其余四個手指的每一個的傳感器的空間數(shù)據(jù)?？?br> 以使用各種各樣的配置來產(chǎn)生多個空間中的唯一標(biāo)印。 圖17是基于MEMS傳感器的手勢傳感系統(tǒng)的框圖。手勢傳感系統(tǒng)包括一組MEMS傳感器單元30-33 (優(yōu)選地包括多個傳感器單元)，其耦合到多通道模數(shù)轉(zhuǎn)換電路34。 MEMS傳感器單元30-33可以包括慣性傳感器，諸如加速度計和陀螺儀。轉(zhuǎn)換電路34耦合到總線，微控制器單元MCU 35在總線上協(xié)調(diào)執(zhí)行系統(tǒng)固件之間的多個單元的行為，以及協(xié)調(diào)用于手勢導(dǎo)航的應(yīng)用邏輯的處理。在所示示例中，總線上的其他單元包括看門狗定時器36 ;比較器邏輯37，其用于將指示手勢或包括一系列分解動作的手勢的分解動作的數(shù)據(jù)輸入序列與所存儲的數(shù)據(jù)序列進行比較，其中所存儲的數(shù)據(jù)序列指明已記憶手勢的分解動作的唯一標(biāo)志；SRAM 38工作存儲器，例如用于在做手勢時存儲手勢的位移、速度和加速度數(shù)據(jù)；嵌入式閃存39，用于存儲分解動作數(shù)據(jù)庫和應(yīng)用程序，以支持自學(xué)和校正；除了微控制器單元所提供的邏輯之外的任何必要的應(yīng)用邏輯40，其作為膠連邏輯或高速邏輯進行操作以支持手勢解譯和導(dǎo)航處理；R0M存儲器41，用于存儲指令或其他控制數(shù)據(jù)；以及輸出設(shè)備42，用于與主計算機通信?？撮T狗定時器36可操作用于設(shè)置對用于解譯手勢的處理的時間限制，排除無效命令或從其恢復(fù)。輸出設(shè)備42可以是模擬或數(shù)字通道，諸如藍牙模塊、紅外模塊、WIFI模塊或能夠傳送手勢輸入數(shù)據(jù)的其他無線或有線鏈接。圖7中示出的部件可以裝配在身體上的信號累積單元上(例如圖1中單元18)，或者根據(jù)需要分布在裝配在身體上的單元與主機系統(tǒng)之間。 盡管未示出，但是手勢傳感系統(tǒng)可以包括電池或電池組。而且，可以使用諸如通常在RF ID技術(shù)中用于射頻功率遞送的功率耦合器。 圖18是安排為用于此處所描述的基于手勢的通信系統(tǒng)的主計算機的數(shù)據(jù)處理系統(tǒng)100的簡化框圖。系統(tǒng)IOO包括一個或多個中央處理單元IIO，其安排用于執(zhí)行存儲在程序存儲器101中的計算機程序、訪問數(shù)據(jù)存儲器102、訪問諸如磁盤驅(qū)動之類的大規(guī)模存儲器106以及控制通信端口 103、標(biāo)準(zhǔn)用戶輸入設(shè)備104和顯示器105，其中通信端口 103包括用于與圖1所示的信號累積單元10通信的端口。使用圖18所表示的主計算機的手勢語言系統(tǒng)包括單個工作站、計算機網(wǎng)絡(luò)以及包括由軟件控制的器械、機器人等的專用機器。
對于示例性系統(tǒng)，手勢分析過程所利用的數(shù)據(jù)處理資源包括實現(xiàn)為存儲在存儲器101中的計算機程序的邏輯?？蛇x地，邏輯可以使用本地或分布式機器上的計算機程序來實現(xiàn)，并且可以部分地使用專用硬件或其他數(shù)據(jù)處理資源來實現(xiàn)。典型的手勢分析系統(tǒng)中的邏輯包括用于解譯手勢數(shù)據(jù)以及用于遞送攜帶解譯所得到的信號的消息的資源，和用于手勢語言學(xué)習(xí)和自學(xué)習(xí)過程的資源。 數(shù)據(jù)存儲器102通常用于存儲機器可讀手勢字典，其包含有多個空間中的手勢定義，用于結(jié)合手勢數(shù)據(jù)來解譯手勢的環(huán)境映射以及其它數(shù)據(jù)密集型庫。大規(guī)模存儲器例如用于存儲多個手勢字典以及其它大規(guī)模數(shù)據(jù)資源。 圖19A和圖19B提供了示出可由傳感器處的處理器、信號累積單元中的處理器、主計算機中的處理器或系統(tǒng)可用于指定目的的處理器執(zhí)行各個步驟的系統(tǒng)的簡化操作順序的流程圖。流程圖開始于MEMS和信號累積單元的上電或初始化(50)。如果系統(tǒng)成功上電，(也即，沒有系統(tǒng)中斷)(51)，則可選地執(zhí)行校正或自學(xué)習(xí)過程(52)。如果系統(tǒng)沒有成功上電，則邏輯將進入"等待重置"模式(53)。在校正/自學(xué)習(xí)過程期間，接受來自傳感器的輸入(54)，對其進行篩選和解譯。此過程可以使用計算機圖形用戶界面進行引導(dǎo)，其中指示用戶做出特定手勢或分解動作，將所采集的作為這種手勢的結(jié)果的輸入數(shù)據(jù)與對應(yīng)于這種手勢或分解動作的預(yù)期數(shù)據(jù)進行比較?？梢韵蛴脩籼峁┓答佉愿倪M手勢或分解動作以便更好地與預(yù)期數(shù)據(jù)相匹配，或者可以修改預(yù)期數(shù)據(jù)以匹配用戶所使用的動作。而且，用戶可以使用交互邏輯來指定要解譯為特定命令的特定手勢。此外，此步驟可以用來建立針對左手使用和右手使用的系統(tǒng)。作為校正/自學(xué)習(xí)過程的結(jié)果或者與其相結(jié)合，創(chuàng)建或更新手勢或分解動作數(shù)據(jù)庫(56)，參照此數(shù)據(jù)庫可以測試操作期間的輸入以檢測特定輸入命令或語
曰o 在確定完成校正/自學(xué)習(xí)過程之后(55)，系統(tǒng)轉(zhuǎn)移到等待手勢輸入的預(yù)備模式(57)。在預(yù)備模式期間，采集來自傳感器的輸入(58)，對其進行篩選和分析以確定是否接收到有效的手勢輸入信號(59)。輸入信號可以使用機械信號或音頻信號來描述，或者識別為特定手勢命令的結(jié)果，等等。輸入數(shù)據(jù)可以進一步被格式化以用于解譯沿著上述各個線性軸和角度軸的位移、速度和加速度(60)。得到的數(shù)據(jù)繼而與手勢或分解動作數(shù)據(jù)庫中的信息進行比較(61)。如果發(fā)現(xiàn)匹配(62)，則該輸出被遞送到主計算機(64)以作為在系統(tǒng)輸出(66)處的手勢語言/指令命令。有關(guān)手勢或分解動作的解譯的反饋也提供給手勢或分解動作數(shù)據(jù)庫56。如果手勢或分解動作不與數(shù)據(jù)庫中的任何條目匹配，則可以對其進行分析以確定最相似的手勢或分解動作(63)。該分析的結(jié)果可以用作學(xué)習(xí)工具以向用戶提供反饋，從而提高使用手勢導(dǎo)航系統(tǒng)的技能，或者可以用于按照概率方式來選擇該動作最可能期望的手勢。 在手勢或分解動作已經(jīng)被解譯和遞送到主機系統(tǒng)之后，例如針對包含一系列分解動作的手勢，主機系統(tǒng)可以應(yīng)用進一步處理以識別期望的輸入信號，或者在手勢完全在信號累積單元中識別的情況中，向執(zhí)行該信號所指示的命令的目標(biāo)處理發(fā)送消息，或者對該信號所指示的數(shù)據(jù)適當(dāng)?shù)剡M行處理。
10
系統(tǒng)還為用戶提供了選擇所解譯的命令或使用來自另一源的輸入覆蓋手勢命令的功能(65)。此選擇/覆蓋工具65可以用于模糊手勢，例如通過允許選擇框63中所確定的"最相似手勢"之一，用作針對表示對主機系統(tǒng)有重要影響的命令的手勢的確認(rèn)信號，并且用作第二層解譯。該選擇/覆蓋可以使用響應(yīng)于可聽到的"進行(go)"或"不進行(nogo)"命令的語音解譯器來實現(xiàn)，或者使用其他輸入系統(tǒng)，諸如鍵盤或觸摸板來實現(xiàn)。
MEMS傳感器單元超輕便并且非常小，從而它們附在人體部位上可以是非常無干擾的。這種技術(shù)使得手勢傳感有可能結(jié)合使用附在身體上的小型輕便型傳感器的"免提"技術(shù)，從而操作者不需要抓著運動單元或棍棒來提供手勢輸入。其允許直觀的、交互式、象人一樣的自然方式來向機器發(fā)出消息和命令。而且，通過傳感線性空間和角度空間的位移、速度和加速度，可以利用精細的手勢。系統(tǒng)能夠?qū)W習(xí)用戶定義的手勢以定制用戶語言和命令。
此處描述的基于手勢的系統(tǒng)能夠利用復(fù)雜的命令集合，并且能夠應(yīng)用于解譯人類符號語言。傳感和破譯復(fù)雜手勢的能力具有多種應(yīng)用，包括針對家庭、辦公室和顧客信息處理功能的應(yīng)用。手勢傳感技術(shù)可以用作呈現(xiàn)控制工具，允許說話者使用所傳感的手勢來導(dǎo)航所顯示的圖像，諸如使得圖像放大、滾動圖像、移動到下一頁，諸如此類。
手勢傳感技術(shù)可以解譯不止一個參與者的手勢。例如，計算機游戲中的對手可以使用此處所描述的手勢傳感技術(shù)來交互。 提供了解譯基于手勢的輸入的能力，其可在現(xiàn)有技術(shù)中還無法使用的多處使用。例如，基于手勢的輸入信號可以應(yīng)用于汽車安全。例如，在開車時可以將傳感器戴在手上或附在方向盤上，并且可以用于檢測方向盤的轉(zhuǎn)動或者駕駛員做出的基于另一只手的動作。與檢測道路上的活動(例如前方停止的車輛)的諸如圖像識別、雷達或超聲波之類的傳感器相結(jié)合，如果系統(tǒng)沒有檢測到轉(zhuǎn)動方向盤以避開障礙物，則可以發(fā)出警報。而且，手勢傳感技術(shù)可以由醫(yī)院的病人使用以便與其房間外的醫(yī)院人員聯(lián)系，或者在他們說話能力受損時使用。此處所描述的手勢傳感技術(shù)還可以在惡劣環(huán)境中使用，包括工業(yè)場景、海底場景、消防，等等。 盡管參考上述優(yōu)選實施方式和示例描述了本發(fā)明，但是應(yīng)當(dāng)理解這些示例旨在于示意性意義而不是限制意義。本領(lǐng)域技術(shù)人員很容易構(gòu)想出變形和組合，這些變形和組合在本發(fā)明的精神范圍內(nèi)。
權(quán)利要求
一種用于解譯手勢的系統(tǒng)，包括傳感器，包括適合于附在人體位置上的底座；連接到所述傳感器的信號累積單元，所述信號累積單元包括用于對關(guān)于在所述傳感器處傳感的手勢的數(shù)據(jù)進行打包以產(chǎn)生打包數(shù)據(jù)的邏輯；以及用于與主計算機通信的通信鏈路，所述打包數(shù)據(jù)通過所述通信鏈路被發(fā)送到所述主計算機。
2. 根據(jù)權(quán)利要求1所述的系統(tǒng)，包括連接到所述信號累積單元的多個傳感器，其包括 適合于附在人體位置上的底座。
3. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述信號累積單元將來自所述傳感器的數(shù)據(jù)從模 擬形式轉(zhuǎn)換為數(shù)字形式，以及組裝數(shù)字手勢數(shù)據(jù)的包，所述打包數(shù)據(jù)包括所述包。
4. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述通信鏈路包括無線電通信信道。
5. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述信號累積單元包括存儲分解動作數(shù)據(jù)庫的存 儲器，以及用于將來自所述傳感器的數(shù)據(jù)與所述分解動作數(shù)據(jù)庫中的數(shù)據(jù)進行比較以產(chǎn)生 解譯數(shù)據(jù)的邏輯，并且所述打包數(shù)據(jù)包括所述解譯數(shù)據(jù)。
6. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述信號累積單元接收到的所述手勢數(shù)據(jù)包括多 個空間中的數(shù)據(jù)，并且所述信號累積單元包括存儲分解動作數(shù)據(jù)庫的存儲器，以及用于將 來自所述傳感器的所述多個空間中的數(shù)據(jù)與所述分解動作數(shù)據(jù)庫中的數(shù)據(jù)進行比較以產(chǎn) 生解譯數(shù)據(jù)的邏輯，其中所述分解動作數(shù)據(jù)庫包括定義在多個空間中至少一個分解動作的 規(guī)范，并且所述打包數(shù)據(jù)包括所述解譯數(shù)據(jù)。
7. 根據(jù)權(quán)利要求1所述的系統(tǒng)，包括所述主計算機，所述主計算機包括用于解譯所述 打包數(shù)據(jù)以識別結(jié)果信號以及用于將所述結(jié)果信號發(fā)送給目標(biāo)的資源。
8. 根據(jù)權(quán)利要求1所述的系統(tǒng)，包括所述主計算機，所述主計算機包括環(huán)境的機器可 讀映射，以及用于使用所述機器可讀映射來解譯所述打包數(shù)據(jù)以識別結(jié)果信號以及用于將 所述結(jié)果信號發(fā)送給目標(biāo)的資源。
9. 一種用于解譯手勢的系統(tǒng)，包括多個微電子機械傳感器MEMS，包括適合于附在人體的相應(yīng)位置上的底座； 連接到所述傳感器的信號累積單元，其與所述多個微電子機械傳感器中的一個裝配在 一起，或者可選地包括適合于附在人體的另一位置上的底座，所述信號累積單元包括用于 對關(guān)于在所述多個傳感器處傳感的手勢的數(shù)據(jù)進行打包以產(chǎn)生打包數(shù)據(jù)的邏輯；以及用于與主計算機通信的通信鏈路，所述打包數(shù)據(jù)通過所述通信鏈路被發(fā)送到所述主計 算機。
10. 根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述信號累積單元根據(jù)位移、速度和加速度中的 多個對來自所述傳感器的數(shù)據(jù)進行處理。
11. 根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述傳感器產(chǎn)生指示線位移、線速度、線加速度、角位移、角速度、角加速度中的多個的數(shù)據(jù)。
12. 根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述通信鏈路包括無線電通信信道。
13. 根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述信號累積單元包括存儲分解動作數(shù)據(jù)庫的 存儲器，以及用于將來自所述傳感器的數(shù)據(jù)與所述分解動作數(shù)據(jù)庫中的數(shù)據(jù)進行比較以產(chǎn) 生解譯數(shù)據(jù)的邏輯。
14. 根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述信號累積單元接收到的所述手勢數(shù)據(jù)包括 多個空間中的數(shù)據(jù)，并且所述信號累積單元包括存儲分解動作數(shù)據(jù)庫的存儲器，以及用于 將來自所述傳感器的所述多個空間中的數(shù)據(jù)與所述分解動作數(shù)據(jù)庫中的數(shù)據(jù)進行比較以 產(chǎn)生解譯數(shù)據(jù)的邏輯，其中所述分解動作數(shù)據(jù)庫包括定義在多個空間中至少一個分解動作 的規(guī)范，并且所述打包數(shù)據(jù)包括所述解譯數(shù)據(jù)。
15. 根據(jù)權(quán)利要求9所述的系統(tǒng)，包括所述主計算機，所述主計算機包括用于解譯所述 打包數(shù)據(jù)以識別結(jié)果信號以及用于將所述結(jié)果信號發(fā)送給目標(biāo)的資源。
16. 根據(jù)權(quán)利要求9所述的系統(tǒng)，包括所述主計算機，所述主計算機包括環(huán)境的機器可 讀映射，以及用于使用所述機器可讀映射來解譯所述打包數(shù)據(jù)以識別結(jié)果信號以及用于將 所述結(jié)果信號發(fā)送給目標(biāo)的資源。
17. 根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述信號累積單元包括存儲分解動作數(shù)據(jù)庫的 存儲器，以及用于將來自所述傳感器的數(shù)據(jù)與所述分解動作數(shù)據(jù)庫中的數(shù)據(jù)進行比較以產(chǎn) 生解譯數(shù)據(jù)的邏輯；并且所述系統(tǒng)包括所述主計算機，所述主計算機包括用于對所述解譯 數(shù)據(jù)進行處理以識別結(jié)果信號以及用于將所述結(jié)果信號發(fā)送給目標(biāo)的資源，其中所述處理 包括將分解動作序列與手勢字典中的條目進行匹配以識別結(jié)果信號，所述字典包括基于分 解動作的相應(yīng)序列的手勢規(guī)范。
18. —種用于使用手勢來生成計算機可讀信號的方法，包括使用裝配在人體的一個或多個位置處的傳感器來傳感所述一個或多個位置上的一個 或多個傳感器的動作，以產(chǎn)生多個空間中的手勢數(shù)據(jù)，所述多個空間選自線位移空間、線速 度空間、線加速度空間、角位移空間、角速度空間和角加速度空間；將所述手勢數(shù)據(jù)與機器可讀手勢規(guī)范字典中的條目進行匹配以識別信號，所述字典將 字典中的條目映射到目標(biāo)處理的信號集合，其中所述條目包括在一個或多個所述位置處的 在多個空間中的動作規(guī)范，所述多個空間選自線位移空間、線速度空間、線加速度空間、角 位移空間、角速度空間和角加速度空間；以及將所述信號發(fā)送給目標(biāo)處理。
19. 根據(jù)權(quán)利要求18所述的方法，其中所述一個或多個位置包括手的多個手指上的位置。
20. 根據(jù)權(quán)利要求18所述的方法，其中所述一個或多個位置包括多個手的手指上的位置。
21. 根據(jù)權(quán)利要求18所述的方法，其中所述一個或多個位置包括人體的多個手指上超 過第三關(guān)節(jié)的位置。
22. 根據(jù)權(quán)利要求18所述的方法，其中所述一個或多個位置包括人體的多個手指上超 過第三關(guān)節(jié)的位置以及人體的拇指上超過第二關(guān)節(jié)的位置。
23. 根據(jù)權(quán)利要求18所述的方法，包括將所述手勢數(shù)據(jù)發(fā)送給人體上的處理器，以及 在所述處理器中將所述手勢數(shù)據(jù)打包，通過無線通信鏈路將所述打包的手勢數(shù)據(jù)從人體上 的所述處理器轉(zhuǎn)發(fā)到主計算機。
24. 根據(jù)權(quán)利要求18所述的方法，包括將所述手勢數(shù)據(jù)從所述一個或多個傳感器發(fā)送 到裝配在人體上的處理器，將所述手勢數(shù)據(jù)轉(zhuǎn)換為數(shù)字形式，對數(shù)字手勢數(shù)據(jù)進行處理以 識別分解動作集合中的分解動作；以及其中在所述匹配中使用的手勢數(shù)據(jù)包括所述識別的分解動作。
25.根據(jù)權(quán)利要求18所述的方法，包括使用所述字典以及環(huán)境的機器可讀映射對所述 手勢數(shù)據(jù)進行分析以識別所述信號。
全文摘要
一種用于解譯手勢的系統(tǒng)，包括至少一個并且優(yōu)選地包括不止一個微電子機械傳感器，其包括適合于附在人體的第一位置(諸如手指或手)上的底座。信號累積單元連接到傳感器，并且具有適合于附在例如人體的第二位置上的底座。信號累積單元包括用于對在一個或多個傳感器處傳感的在多個空間的有關(guān)手勢的數(shù)據(jù)進行打包和/或解譯以產(chǎn)生解譯數(shù)據(jù)的邏輯。信號累積單元還包括用于與主計算機通信的通信端口，解譯數(shù)據(jù)通過該通信端口被發(fā)送到主計算機。
文檔編號G06F3/01GK101751126SQ20091025822
公開日2010年6月23日 申請日期2009年12月17日 優(yōu)先權(quán)日2008年12月17日
發(fā)明者吳中明, 孫駿恭 申請人:孫駿恭;吳中明