專利名稱：徒手人機界面操作系統(tǒng)及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種徒手人機界面操作系統(tǒng)及其方法，特別涉及一種利用使用者的手臂及手掌影像來操作具有深度參數(shù)的對象的人機界面操作技術(shù)。
背景技術(shù)：
使用者對可視化人機界面的操作要求越來越高，希望能更簡化操作流程，讓界面操作更直覺化。目前，人機界面的操作機制大多為鍵盤操作、鼠標(biāo)操作、觸控操作以及遙控器操作等四種機制。鍵盤操作適合于輸入文字，但是在瀏覽網(wǎng)頁上效果不佳；鼠標(biāo)操作或遙控器操作雖然可提供不錯的便利性，但是使用者必須依賴一外部裝置來進行操作，尚有改進的空間。而觸控操作則限制使用者必須在手指可觸碰屏幕的范圍內(nèi)來操作人機界面。因此，如何提供使用者一可兼顧操作空間自由性以及徒手操作的人機界面系統(tǒng)，是一項亟待解決的問題。

發(fā)明內(nèi)容
有鑒于上述現(xiàn)有技術(shù)的問題，本發(fā)明的目的在于提供一種徒手人機界面操作系統(tǒng)及其方法，以提高界面操作的便利性。為了實現(xiàn)本發(fā)明的目的，提出一種徒手人機界面操作系統(tǒng)，包含一顯示單元、一資料處理單元、若干個影像擷取單元、一影像分析單元、一坐標(biāo)計算單元及一手勢辨識單元。 資料處理單元產(chǎn)生一具有若干個對象的人機界面，每一對象具有一深度參數(shù)，資料處理單元控制顯示單元顯示人機界面。若干個影像擷取單元擷取若干張手部影像，每一若干個影像擷取單元具有若干個內(nèi)部參數(shù)及若干個外部參數(shù)。影像分析單元系分析若干張手部影像以取得若干個手臂影像及若干個手掌影像。坐標(biāo)計算單元根據(jù)每一若干個影像擷取單元的若干個內(nèi)部參數(shù)及若干個外部參數(shù)，以及若干個手臂影像，計算若干個手臂坐標(biāo)點、若干個手臂坐標(biāo)點所形成的一手臂延伸線以及一手臂移動量。手勢辨識單元根據(jù)若干個手掌影像辨識出一手勢。其中，資料處理單元根據(jù)手臂延伸線、手臂移動量以及若干個對象的深度參數(shù)，從若干個對象中決定一所選對象，并決定一對應(yīng)手勢之指令，對所選對象執(zhí)行指令。其中，當(dāng)手勢辨識單元辨識此手勢為一指向手勢時，資料處理單元執(zhí)行選擇若干個對象之其一的動作。其中，當(dāng)手勢辨識單元辨識此手勢為一抓取(Grab)手勢時，資料處理單元設(shè)定所選對象為一被抓取狀態(tài)(Grabbed)，并根據(jù)手臂移動量移動所選對象。其中，當(dāng)手勢辨識單元系辨識此手勢為一釋放(release)手勢時，資料處理單元解除所選對象的被抓取狀態(tài)。其中，資料處理單元根據(jù)若干個手臂坐標(biāo)點計算一手臂長度，再根據(jù)手臂長度與手臂移動量的比例計算相對應(yīng)的一對象顯示深度，再根據(jù)對象顯示深度決定所選對象。其中，所選對象明顯顯示(highlight)于人機界面。為了實現(xiàn)本發(fā)明的目的，再提出一種徒手人機界面操作方法，適用于一具有若干個對象的人機界面，每一若干個對象具有一深度參數(shù)，徒手人機界面操作方法包含下列步驟。使用若干個影像擷取單元擷取若干張手部影像，每一若干個影像擷取單元具有若干個內(nèi)部參數(shù)及若干個外部參數(shù)；分析若干張手部影像以取得若干個手臂影像及若干個手掌影像；根據(jù)每一若干個影像擷取單元的若干個內(nèi)部參數(shù)及若干個外部參數(shù)，以及若干個手臂影像，計算若干個手臂坐標(biāo)點、一由若干個手臂坐標(biāo)點所形成的手臂延伸線以及一手臂移動量；根據(jù)手臂延伸線、手臂移動量以及若干個對象的深度參數(shù)，選擇若干個對象中的一個作為一所選對象；根據(jù)若干個手掌影像辨識出一手勢；對所選對象執(zhí)行此手勢所相對應(yīng)的一指令。其中，當(dāng)此手勢被辨識為一指向手勢時，執(zhí)行選擇若干個對象的其中一個動作。其中，當(dāng)此手勢被辨識為一抓取(Grab)手勢時，設(shè)定所選對象為一被抓取狀態(tài) (Grabbed)，并根據(jù)手臂移動量移動所選對象。其中，當(dāng)此手勢被辨識為一釋放(release)手勢時，解除所選對象的被抓取狀態(tài)。其中，更根據(jù)若干個手臂坐標(biāo)點計算一手臂長度，再根據(jù)手臂長度與手臂移動量的比例計算相對應(yīng)的一對象顯示深度，并根據(jù)對象顯示深度決定所選對象。其中，所選對象明顯顯示(highlight)于人機界面。


圖1是本發(fā)明的徒手人機界面操作系統(tǒng)的實施方塊圖；圖2是本發(fā)明的徒手人機界面操作系統(tǒng)的實施示意圖；圖3是本發(fā)明的人機界面顯示于顯示單元的虛擬側(cè)視圖；圖4是本發(fā)明的徒手人機界面操作方法的第一實施流程圖；圖5是本發(fā)明的徒手人機界面操作方法的第二實施流程圖。主要組件符號說明11 顯示單元12 資料處理單元121 人機界面131 第一影像擷取單元132 第二影像擷取單元1311、1321 內(nèi)部參數(shù)1312、1322 外部參數(shù)133、134:手部影像14 影像分析單元1411、1412 手臂影像1421、1422 手掌影像15 坐標(biāo)計算單元151 手臂坐標(biāo)點152 手臂延伸線153 手臂移動量16 手勢辨識單元
5
161 手勢17 儲存單元181 第一對象182:第二對象191、192:深度參數(shù)193 指令20 手掌21 手臂41 46 步驟流程501 515 步驟流程
具體實施例方式請參閱圖1，其是本發(fā)明的徒手人機界面操作系統(tǒng)的實施方塊圖。在圖1中，徒手人機界面操作系統(tǒng)包含一顯示單元11、一資料處理單元12、第一影像擷取單元131、第二影像擷取單元132、一影像分析單元14、一坐標(biāo)計算單元15、一手勢辨識單元16及一儲存單元 17。人機界面121的相關(guān)程序儲存于儲存單元17中，其至少包含第一對象181及第二對象 182。資料處理單元12從儲存單元17讀取人機界面121的相關(guān)程序并執(zhí)行，以產(chǎn)生人機界面121的顯示數(shù)據(jù)，并控制顯示單元11顯示人機界面121。而可視化顯示的人機界面121 具有第一對象181及第二對象182，其分別具有一深度參數(shù)191及一深度參數(shù)192。深度參數(shù)191及深度參數(shù)192用以標(biāo)示第一對象181及第二對象182之間的顯示關(guān)系。之后，請參閱圖2及圖3，圖2所示是本發(fā)明的徒手人機界面操作系統(tǒng)的實施示意圖，而圖3是人機界面121顯示于顯示單元11的虛擬側(cè)視圖。當(dāng)深度參數(shù)192大于深度參數(shù)191時，如圖2 所示，在人機界面121中第一對象181顯示覆蓋于第二對象182，而在顯示單元11的坐標(biāo)系統(tǒng)中第一對象181及第二對象182的位置關(guān)系如圖3所示。第一影像擷取單元131及第二影像擷取單元132分別擷取使用者的手部影像133 及手部影像134。由于使用者大多在顯示單元11前進行界面操作，所以優(yōu)選的將第一影像擷取單元131及第二影像擷取單元132配置在顯示單元11附近，以便于擷取使用者的手部影像。當(dāng)?shù)谝挥跋駭X取單元131及第二影像擷取單元132設(shè)置完成后，需進行校正，以決定其擷取的影像內(nèi)容的像素位置與顯示單元11的坐標(biāo)系統(tǒng)之間的轉(zhuǎn)換關(guān)系。經(jīng)過校正后，第一影像擷取單元131具有若干個內(nèi)部參數(shù)1311及若干個外部參數(shù)1312，而第二影像擷取單元132具有若干個內(nèi)部參數(shù)1321及若干個外部參數(shù)1322。其中，上述內(nèi)部參數(shù)優(yōu)選為影像擷取單元的物理參數(shù)，例如焦距或影像尺寸；而外部參數(shù)優(yōu)選為影像擷取單元與顯示單元 11之間的坐標(biāo)系統(tǒng)轉(zhuǎn)換矩陣。如圖3所示，為了讓使用者可以徒手操作人機界面121，優(yōu)選的手部影像133及手部影像134的影像內(nèi)容包含使用者的手掌20以及手臂21的影像。影像分析單元14分析手部影像133以取得手臂影像1411及手掌影像1421，以及分析手部影像134以取得手臂影像1412及手掌影像1422。由于第一影像擷取單元131及第二影像擷取單元132已經(jīng)過校正，所以坐標(biāo)計算單元15可根據(jù)內(nèi)部參數(shù)1311、1321及若干個外部參數(shù)1312、1322，以及手臂影像1411、1412，計算出若干個手臂坐標(biāo)點151，如圖3所示。實施上，坐標(biāo)計算單元15是先判斷手臂影像1411、1412中共有的手臂特征，再利用三角定位法計算出若干個手臂坐標(biāo)點151。坐標(biāo)計算單元15是計算若干個手臂坐標(biāo)點151所形成的一手臂延伸線152。資料處理單元12根據(jù)第一對象181及第二對象182的尺寸、深度參數(shù)191及深度參數(shù)192，可判斷手臂延伸線152是否有穿透第一對象181或第二對象182。儲存單元17儲存若干個指令193，每一指令193對應(yīng)一預(yù)設(shè)手勢。手勢辨識單元 16根據(jù)若干個手掌影像1421、1422辨識出一手勢161。資料處理單元12判斷手勢161是否符合任一指令192對應(yīng)的預(yù)設(shè)手勢，若有，則資料處理單元12便執(zhí)行手勢161所對應(yīng)的指令。其中，優(yōu)選的指令193包含一選擇指令、一抓取指令及一釋放指令，其分別對應(yīng)一指向手勢、一抓取手勢及一釋放手勢。當(dāng)手勢辨識單元16辨識手勢161為一指向手勢時，表示使用者欲選擇第一對象181或第二對象182，則資料處理單元12將與手臂延伸線152相交的對象視為一所選對象。例如在圖3中，第二對象182為該所選對象。若手臂延伸線152與若干個對象相交，則資料處理單元12根據(jù)若干個手臂坐標(biāo)點151計算出一手臂移動量153， 再根據(jù)手臂移動量153以及該相交對象的深度參數(shù)，從該相交對象中決定其中一個為所選對象。例如手臂移動量153說明了手臂21往顯示單元11的方向移動，則資料處理單元12 則決定具有較大深度參數(shù)的對象為此所選對象。在實施上，資料處理單元12優(yōu)選為根據(jù)若干個手臂坐標(biāo)點151計算一手臂長度，再根據(jù)此手臂長度與手臂移動量153之比例來計算一對應(yīng)于手臂移動量153的對象顯示深度，再根據(jù)對象顯示深度決定此所選對象。如此可解決不同使用者的手臂差異的影響。所選對象較佳的是明顯顯示(highlight)于人機界面 121。當(dāng)一所選對象已決定，接著手勢辨識單元16辨識手勢161為一抓取手勢時，則資料處理單元12設(shè)定此所選對象為一被抓取狀態(tài)(Grabbed)，并根據(jù)手臂移動量153移動此所選對象。當(dāng)所選對象為被抓取狀態(tài)，接著手勢辨識單元161辨識出手勢161為一釋放 (release)手勢時，則資料處理單元12解除所選對象的被抓取狀態(tài)。如此，使用者可透過手臂、手掌以及三種手勢執(zhí)行對對象的移動操作。此外，除了上述操作外，使用者也可設(shè)定其手勢的對應(yīng)指令；例如當(dāng)所選對象為被抓取狀態(tài)時，使用者亦可擺出一開啟手勢來執(zhí)行對象；或是一刪除手勢來刪除對象。請參閱圖4，其是本發(fā)明的徒手人機界面操作方法的第一實施流程圖。圖中，此實施例適用于一具有若干個對象的人機界面，每一若干個對象具有一深度參數(shù)。人機界面顯示于一顯示單元上。徒手人機界面操作方法包含下列步驟。在步驟41，使用若干個影像擷取單元擷取若干張手部影像，每一若干個影像擷取單元具有若干個內(nèi)部參數(shù)及若干個外部參數(shù)。其中，內(nèi)部參數(shù)及外部參數(shù)為影像擷取單元經(jīng)過校正后所產(chǎn)生的參數(shù)，其用以表示擷取影像內(nèi)容的像素位置與顯示單元的坐標(biāo)系統(tǒng)之間的轉(zhuǎn)換關(guān)系。在步驟42，分析若干張手部影像以取得若干個手臂影像及若干個手掌影像。在步驟43，根據(jù)每一影像擷取單元的若干個內(nèi)部參數(shù)及若干個外部參數(shù)，以及若干個手臂影像，計算若干個手臂坐標(biāo)點、一由若干個手臂坐標(biāo)點所形成的手臂延伸線以及一手臂移動量。在步驟44，根據(jù)手臂延伸線、手臂移動量以及若干個對象的深度參數(shù)，選擇若干個對象的其中一個作為一所選對象。在步驟45，根據(jù)若干個手掌影像辨識出一手勢。在步驟 46，對所選對象執(zhí)行此手勢所相對應(yīng)的一指令。例如，指向手勢對應(yīng)一選擇指令，以選擇對象；抓取手勢對應(yīng)一抓取指令，將一所選對象設(shè)定為被抓取狀態(tài)；釋放手勢系對應(yīng)一釋放指令，用以解除所選對象的被抓取狀態(tài)。請參閱圖5，其是本發(fā)明的徒手人機界面操作方法的第二實施流程圖。在步驟 501，對設(shè)置于顯示單元左上角及右上角的兩個影像擷取單元進行校正，以取得兩個影像擷取單元的內(nèi)部參數(shù)及外部參數(shù)。在步驟502，使用兩個影像擷取單元擷取手部影像，且所擷取的手部影像的內(nèi)容包含使用者的手臂及手掌。在步驟503，從所擷取的手部影像中分析出手掌影像，并辨識出此手掌影像所代表的手勢。在步驟504，判斷此手勢是否為一指向手勢。若是，則執(zhí)行步驟505;否則執(zhí)行步驟502。在步驟505，使用兩個影像擷取單元擷取手部影像。在步驟506，從所擷取的手部影像中分析出手臂影像，并計算出若干個手臂坐標(biāo)點以及若干個手臂坐標(biāo)點所形成的手臂延伸線。在步驟507，并計算手臂延伸線與人機界面顯示的對象的相交點，如圖3所示，并將一與射線相交的對象作為一所選對象。若與射線相交的對象有若干個，則根據(jù)手臂移動量來選擇。在步驟508，從所擷取的手部影像中分析出手掌影像，并辨識出此手掌影像所代表的手勢。在步驟509，判斷此手勢是否為一抓取手勢。若是，執(zhí)行步驟510;否則執(zhí)行步驟 505。在步驟510，將所選對象設(shè)定為被抓取狀態(tài)。在步驟511，使用兩個影像擷取單元擷取手部影像，并從所擷取的手部影像中分析出手臂影像，并計算出若干個手臂坐標(biāo)點，并根據(jù)若干個手臂坐標(biāo)點計算出一手臂移動量。在步驟512，根據(jù)手臂移動量移動選對象。在步驟513，從所擷取的影像內(nèi)容中分析出手掌影像，并辨識出此手掌影像所代表的手勢。在步驟514，判斷此手勢是否為一釋放手勢，若是，則在步驟515解除所選對象的被抓取狀態(tài)，并接續(xù)執(zhí)行步驟502。若此手勢非一釋放手勢，則執(zhí)行步驟511。其中，上述顯示單元優(yōu)選為一二維影像顯示器或一三維影像顯示器。影像擷取單元優(yōu)選為一電荷耦合組件、互補式金屬-氧化層-半導(dǎo)體組件(Complementary Metal-Oxide-Semiconductor, CMOS)或一視訊攝影機。以上所述僅為舉例性，而非為限制性者。任何未脫離本發(fā)明的精神與范疇，而對其進行的等效修改或變更，均應(yīng)包含于后附的申請專利范圍中。盡管本發(fā)明的內(nèi)容已經(jīng)通過上述優(yōu)選實施例作了詳細介紹，但應(yīng)當(dāng)認識到上述的描述不應(yīng)被認為是對本發(fā)明的限制。在本領(lǐng)域技術(shù)人員閱讀了上述內(nèi)容后，對于本發(fā)明的多種修改和替代都將是顯而易見的。因此，本發(fā)明的保護范圍應(yīng)由所附的權(quán)利要求來限定。
權(quán)利要求
1.一種徒手人機界面操作系統(tǒng)，其特征在于，包含一顯示單元；一資料處理單元，其產(chǎn)生具有若干個對象的一人機界面，每一所述若干個對象具有一深度參數(shù)，所述資料處理單元控制所述顯示單元顯示所述人機界面；若干個影像擷取單元，其擷取若干張手部影像，每一所述若干個影像擷取單元具有若干個內(nèi)部參數(shù)及若干個外部參數(shù)；一影像分析單元，其分析所述若干張手部影像以取得若干個手臂影像及若干個手掌影像；一坐標(biāo)計算單元，其根據(jù)每一所述若干個影像擷取單元之所述若干個內(nèi)部參數(shù)及所述若干個外部參數(shù)，以及所述若干個手臂影像，計算若干個手臂坐標(biāo)點、所述若干個手臂坐標(biāo)點所形成的一手臂延伸線以及一手臂移動量；以及一手勢辨識單元，其根據(jù)所述若干個手掌影像辨識出一手勢； 其中，所述資料處理單元根據(jù)所述手臂延伸線、所述手臂移動量以及所述若干個對象的所述深度參數(shù)，從所述若干個對象中決定一所選對象，并決定對應(yīng)所述手勢的一個指令， 對所述所選對象執(zhí)行所述指令。
2.如權(quán)利要求1所述的徒手人機界面操作系統(tǒng)，其特征在于，當(dāng)所述手勢辨識單元系辨識所述手勢為一指向手勢時，所述資料處理單元執(zhí)行選擇所述若干個對象的其中一個動作。
3.如權(quán)利要求1所述的徒手人機界面操作系統(tǒng)，其特征在于，當(dāng)所述手勢辨識單元辨識所述手勢為一抓取手勢時，所述資料處理單元設(shè)定所述所選對象為一被抓取狀態(tài)，并根據(jù)所述手臂移動量移動所述所選對象。
4.如權(quán)利要求3所述的徒手人機界面操作系統(tǒng)，其特征在于，當(dāng)所述手勢辨識單元辨識所述手勢為一釋放手勢時，所述資料處理單元解除所述所選對象的所述被抓取狀態(tài)。
5.如權(quán)利要求1所述的徒手人機界面操作系統(tǒng)，其特征在于，所述資料處理單元根據(jù)所述若干個手臂坐標(biāo)點計算一手臂長度，再根據(jù)所述手臂長度與所述手臂移動量的比例計算相對應(yīng)的一對象顯示深度，再根據(jù)所述對象顯示深度決定所述所選對象。
6.如權(quán)利要求1所述的徒手人機界面操作系統(tǒng)，其特征在于，所述所選對象明顯顯示于所述人機界面。
7.一種徒手人機界面操作方法，其特征在于，適用于具有若干個對象的一人機界面，每一所述若干個對象具有一深度參數(shù)，所述徒手人機界面操作方法包含下列步驟使用若干個影像擷取單元擷取若干張手部影像，每一所述若干個影像擷取單元具有若干個內(nèi)部參數(shù)及若干個外部參數(shù)；分析所述若干張手部影像以取得若干個手臂影像及若干個手掌影像； 根據(jù)每一所述若干個影像擷取單元的所述若干個內(nèi)部參數(shù)及所述若干個外部參數(shù)，以及所述若干個手臂影像，計算若干個手臂坐標(biāo)點、所述若干個手臂坐標(biāo)點所形成的一手臂延伸線以及一手臂移動量；根據(jù)所述手臂延伸線、所述手臂移動量以及所述若干個對象的所述深度參數(shù)，選擇所述若干個對象中的一個作為一所選對象；根據(jù)所述若干個手掌影像辨識出一手勢；以及對所述所選對象執(zhí)行所述手勢所相對應(yīng)的一指令。
8.如權(quán)利要求7所述的徒手人機界面操作方法，其特征在于，更包含當(dāng)所述手勢被辨識為一指向手勢時，執(zhí)行選擇所述若干個對象的其中一個動作。
9.如權(quán)利要求7所述的徒手人機界面操作方法，其特征在于，更包含當(dāng)所述手勢被辨識為一抓取手勢時，設(shè)定所述所選對象為一被抓取狀態(tài)，并根據(jù)所述手臂移動量移動所述所選對象。
10.如權(quán)利要求9所述的徒手人機界面操作方法，其特征在于，更包含 當(dāng)所述手勢被辨識為一釋放手勢時，解除所述所選對象的所述被抓取狀態(tài)。
11.如權(quán)利要求7所述的徒手人機界面操作方法，其特征在于，更包含根據(jù)所述若干個手臂坐標(biāo)點計算一手臂長度，再根據(jù)所述手臂長度與所述手臂移動量的比例計算相對應(yīng)的一對象顯示深度；以及根據(jù)所述對象顯示深度決定所述所選對象。
12.如權(quán)利要求7所述的徒手人機界面操作方法，其特征在于，所述所選對象明顯顯示于所述人機界面。
全文摘要
本發(fā)明涉及一種徒手人機界面操作系統(tǒng)及其方法。此系統(tǒng)以影像處理的方式分析出使用者的手臂影像以及手掌影像，再根據(jù)攝影機的校正參數(shù)計算出手臂的坐標(biāo)，由此供使用者以手臂來選擇人機界面中的對象。接著，此系統(tǒng)根據(jù)手掌影像辨識出一手勢，接著根據(jù)此手勢決定一相對應(yīng)的指令，再對所選對象執(zhí)行此指令。此手勢可包含指向手勢、抓取手勢及一釋放手勢。
文檔編號G06F3/048GK102270037SQ20101022718
公開日2011年12月7日 申請日期2010年6月29日 優(yōu)先權(quán)日2010年6月4日
發(fā)明者王靜煒, 羅仲成 申請人:宏碁股份有限公司