識別多點觸摸操作的信息處理裝置及其控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種能夠識別多點觸摸(mult1-touch)操作的技術(shù)。
【背景技術(shù)】
[0002]在允許用戶經(jīng)由觸摸面板輸入指令的用戶界面(UI)中，通常使用多點觸摸操作，該操作是多個觸摸位置相互協(xié)作而執(zhí)行輸入的操作。在系統(tǒng)被配置為使多個用戶能同時執(zhí)行操作的情況下，需要區(qū)分檢測到的多個觸摸位置是被有意執(zhí)行多點觸摸操作的單個用戶輸入的還是被多個用戶無意地輸入的。
[0003]如日本JP特開第2014-16795號公報中所討論的，基于參照接觸觸摸面板的各個手指的面積尺寸和形狀而能夠估計的各個手指的方向，來區(qū)分單個用戶的輸入或是多個用戶的輸入是可行的。
[0004]作為最近可使用的技術(shù)，傳統(tǒng)上已知從利用可見光照相機、紅外線照相機或范圍圖像傳感器所拍攝的圖像中提取出包括特定物體(例如用戶的手)的區(qū)域，并基于特定物體的運動和位置來識別已作為用戶界面(UI)操作而被輸入的手勢。這種系統(tǒng)被配置為通過測量手指的三維位置而獲取從手指到觸摸目標表面(例如墻或桌子)的距離，并基于所獲取的距離值而確定存在觸摸。
[0005]即使是在上述觸摸系統(tǒng)中，仍期望用戶能夠輸入多點觸摸操作。然而，如日本JP特開第2014-16795號公報中所討論的，從任意墻或桌子中獲取關(guān)于手指接觸表面的信息是不可行的。此外，在系統(tǒng)的尺寸足夠大并使多個用戶能同時執(zhí)行操作的情況下，各個用戶能夠從多個角度靈活地操作系統(tǒng)。因此，即使在觸摸面板之外的部分能檢測到手指的方向，但如果用戶的位置鄰近，則由于多個用戶的手指之間在方向角度上沒有太大差別，因此仍然很難獲得準確的識別結(jié)果。

【發(fā)明內(nèi)容】

[0006]根據(jù)本發(fā)明的一方面，信息處理裝置包括:圖像獲取單元，用于獲取關(guān)于操作表面上的空間的圖像的信息；確定單元，用于基于所述圖像獲取單元獲取的關(guān)于所述圖像的所述信息，確定要用于操作輸入的多個物體中的各個進入到所述空間中的位置；以及關(guān)聯(lián)單元，用于基于針對所述多個物體的各個所確定的位置、從所述多個物體中確定協(xié)同輸入一個指令的多個物體的組合，并用于將所組合的多個物體彼此關(guān)聯(lián)。
[0007]根據(jù)以下參照附圖對示例性實施例的詳細描述，本發(fā)明的其他特征將變得清楚。
【附圖說明】
[0008]圖1A例示了配設(shè)有信息處理裝置的桌面界面的外觀，所述信息處理裝置安裝在所述桌面界面上，圖1B例示了操作環(huán)境的示例。
[0009]圖2A、圖2B及圖2C是分別例示信息處理裝置的硬件結(jié)構(gòu)和功能結(jié)構(gòu)的框圖。
[0010]圖3是例示能夠由信息處理裝置執(zhí)行的觸摸操作識別處理的示例性流程的流程圖。
[0011]圖4A和圖4B是各自例示能夠由信息處理裝置執(zhí)行的單個用戶手關(guān)聯(lián)處理的示例性流程的流程圖。
[0012]圖5是例示能夠由信息處理裝置執(zhí)行的圖像比較處理的示例性流程的流程圖。
[0013]圖6是例示能夠由信息處理裝置執(zhí)行的顏色信息比較處理的示例性流程的流程圖。
[0014]圖7A、圖7B及圖7C例示了桌面界面的操作環(huán)境的示例。
[0015]圖8是例示能夠由信息處理裝置執(zhí)行的關(guān)聯(lián)指令檢測處理的示例性流程的流程圖。
[0016]圖9例示了關(guān)聯(lián)指令的輸入示例。
【具體實施方式】
[0017]以下將參照附圖詳細描述根據(jù)本發(fā)明的示例性實施例的信息處理。示例性實施例中描述的結(jié)構(gòu)僅是示例。本發(fā)明的范圍并不限于所例示的結(jié)構(gòu)。
[0018]在根據(jù)第一示例性實施例的信息處理中，手進入到用戶所執(zhí)行的手勢操作或觸摸操作能被識別的空間中的在入口處的用戶的手的位置被檢測為入口位置，并存儲該入口位置。如果在該空間中存在多個被檢測的手，則基于入口位置間的位置關(guān)系區(qū)分所檢測的手是單個用戶的手還是多個用戶的不相關(guān)的手。然后，如果多個手能被估計為是單個用戶的兩只手，則信息處理使它們相互關(guān)聯(lián)，并識別由相關(guān)聯(lián)的手執(zhí)行的一個協(xié)同操作。由相關(guān)聯(lián)的手執(zhí)行的協(xié)同操作包括例如用于基于多個觸摸位置而輸入命令的多點觸摸操作和用于基于多個手的組合運動而輸入命令的手勢操作。
[0019]圖1A例示了配設(shè)有根據(jù)本示例性實施例的信息處理裝置100的桌面界面系統(tǒng)的外觀的示例。此外，圖1A例示了能被用來定義位置信息的坐標軸。操作表面101是桌面界面的桌部。各個用戶能夠通過觸摸操作表面101執(zhí)行觸摸操作。在本示例性實施例中，范圍圖像傳感器102被安裝在操作表面101的上方以便俯視操作表面。范圍圖像傳感器102拍攝的范圍圖像的像素值反映從范圍圖像傳感器102到操作表面101的距離。所拍攝的范圍圖像能被作為輸入圖像而輸入到信息處理裝置100中。信息處理裝置100能夠通過分析輸入圖像而獲取用戶的手的三維位置，并能識別用戶執(zhí)行的操作。本示例性實施例中使用的傳感器能夠參照紅外線的反射圖案(pattern)(或反射時間)來獲取距離信息。此外，在本示例性實施例中，還以從上方俯視操作表面101的方式來安裝可見光照相機103。信息處理裝置100能夠控制可見光照相機103，以起到能夠拍攝放置在操作表面101上的物體的圖像的文檔照相機的作用。信息處理裝置100能夠基于可見光照相機103獲得的可見光圖像和范圍圖像傳感器102獲得的范圍圖像檢測操作表面101上的空間中的攝像目標物體，并能夠識別所檢測到的物體。例如，攝像目標物體包括用戶的各只手、文檔(例如紙張介質(zhì)或書)及其他三維物體。然而，根據(jù)圖1A中例示的系統(tǒng)，存在于桌子外面的用戶的頭部沒有被包括在范圍圖像傳感器102和可見光照相機103的每個的視角中。此外，如果可采用任何其他結(jié)構(gòu)來從上方拍攝操作表面101的圖像，則不需要將范圍圖像傳感器102和可見光照相機103安置在較高的位置處。例如，采用能夠基于鏡子反射的光來拍攝圖像的結(jié)構(gòu)是有用的。
[0020]投影儀104能夠?qū)D像投射在操作表面101的上表面上。在本系統(tǒng)中，用戶對所投射圖像中包括的項目105執(zhí)行觸摸操作或手勢操作。在本示例性實施例中，對用戶的手的檢測和對操作的識別中要使用的圖像是范圍圖像。此外，從可見光圖像中檢測肉色區(qū)域?qū)τ趶膱D像中檢測人手是有用的。在本示例性實施例中，使用范圍圖像的優(yōu)勢在于:即使是在用戶的手的顏色由于投影儀104投射的光的影響而改變時，系統(tǒng)受到的影響也較小。此夕卜，不使用投影儀104，而是由能夠充當本系統(tǒng)的顯示裝置的液晶顯示設(shè)備來構(gòu)成操作表面101是可行的。
[0021]在本示例性實施例中，為了獲得位置信息，如圖1A中所示，在位于操作表面101上的三維空間中定義X、y和z軸。更具體地，原點設(shè)置在點107上。x-y平面與桌子的上表面平行。z軸的正向從桌子的上表面向上延伸。本示例性實施例中的z軸方向與世界坐標系中的高度方向相對應。然而，本示例性實施例可應用于其他操作系統(tǒng)，在該其他操作系統(tǒng)中，操作表面101由白板、墻表面或其他任何非水平的表面構(gòu)成。
[0022]圖1B是例示從上方看時的操作表面101的狀態(tài)的視圖。圖1B中例示的界線109內(nèi)的范圍對應于范圍圖像傳感器102或可見光照相機103的視角。在下文中，圍繞該范圍的界線109被稱為“圖像邊界”。在所例示的例子中，手106a和手106b是第一用戶的兩只手，而手106c是另一個用戶B的一只手。如上文所述，在本示例性實施例中，多個用戶能夠同時輸入操作指令。在本示例性實施例中，系統(tǒng)能夠基于對每只手的檢測而確定指定的位置。指定的位置可以由用戶想要通過手指示的估計位置的坐標值來表示。在本示例性實施例中，系統(tǒng)確定的指定的位置是能被估計為指尖的位置。更具體地，系統(tǒng)從范圍圖像中提取出存在被攝像的手的區(qū)域(下文中簡稱為“手區(qū)域”)，并獲得包含在手區(qū)域中且位置離圖像邊界109最遠的像素(即指定的位置)的坐標值。例如，系統(tǒng)將離圖像邊界109最遠的點108確定為手106a的指定的位置。此外，本示例性實施例中定義的手入口位置是在最初檢測到手區(qū)域的幀中、手區(qū)域與圖像邊界109相交的交叉部位的中心。更具體地，入口位置是在用戶開始操作后手第一次進入到視角中的位置。如果可能獲得關(guān)于在用戶開始操作之后手第一次出現(xiàn)的位置的信息，則系統(tǒng)不需要從第一幀(在該第一幀中手區(qū)域的提取變?yōu)榭尚?中確定入口位置，并能夠從跟隨第一幀后的圖像中確定入口位置。點110是手106a的入口位置。在本示例性實施例中，當檢測到多個手時，系統(tǒng)基于各入口位置間的位置關(guān)系而確定所檢測到的手是一個用戶的一雙手還是多個用戶的不相關(guān)的手。
[0023]圖2A例示了包括根據(jù)本示例性實施例的信息處理裝置100的桌面界面的硬件結(jié)構(gòu)。中央處理單元(CPU) 200能夠執(zhí)行信息處理裝置100的控制程序以對各種類型的處理執(zhí)行計算和邏輯確定，并能夠控制與系統(tǒng)總線204連接的各個構(gòu)成元件。只讀存儲器(ROM) 201是程序存儲器，能夠存儲要由CPU 200執(zhí)行的、與控制相關(guān)且包括各種類型的處理過程的程序。隨機存取存儲器(RAM) 202可用作CPU 200的工作區(qū)域、錯誤處理過程中的數(shù)據(jù)保存區(qū)域或者控制程序加載區(qū)域。存儲設(shè)備203是用于根據(jù)本示例性實施例存儲數(shù)據(jù)和程序的硬盤驅(qū)動器或附裝的外部存儲設(shè)備。存儲設(shè)備203存儲能被信息處理裝置100使用的各種數(shù)據(jù)。
[0024]在本示例性實施例中，可見光照相機103、范圍圖像傳感器102以及投影儀104中的每個是經(jīng)由輸入/輸出接口與信息處理裝置100連接的外部設(shè)備。各個外部設(shè)備能夠與信息處理裝置100協(xié)作來構(gòu)成信息處理系統(tǒng)。然而，可見光照相機103、范圍圖像傳感器102以及投影儀104能夠與信息處理裝置100 —體化。
[0025]圖2B是例示根據(jù)本示例性實施例的信息處理裝置100的功能結(jié)構(gòu)的示例的框圖。信息處理裝置100包括圖像獲取單元210、入口位置確定單元211、關(guān)聯(lián)單元212、指定的位置檢測單元213、觸摸確定單元214、識別單元215以及輸出控制單元216。為了實現(xiàn)上述功能單元，CPU 200能夠?qū)⒊绦驈腞OM 201加載到RAM 202中，并根據(jù)以下描述的各個流程圖執(zhí)行處理。此外，例如，不使得CPU 200執(zhí)行軟件處理，而采用硬件結(jié)構(gòu)可能是有用的。在此情況下，硬件結(jié)構(gòu)能夠包括與各功能單元的處理對應的計算單元和電路。
[0026]圖像獲取單元21