專利名稱：一種面向觸控設(shè)備的多通道精確目標(biāo)定位方法
技術(shù)領(lǐng)域：
本發(fā)明屬于人機(jī)交互領(lǐng)域，具體涉及一種面向觸控設(shè)備的多通道精確目標(biāo)定位方法。
背景技術(shù)：
在觸控設(shè)備上，一些任務(wù)往往需要用戶先定位到目標(biāo)對象之后進(jìn)行后續(xù)操作。例如，文本編輯操作中，往往需要先將光標(biāo)定位到目標(biāo)位置，然后再進(jìn)行插入、刪除等操作；地圖的瀏覽過程中，需要先定位到目標(biāo)位置進(jìn)行放大后查看；在多個小對象中對單個對象的操作，需要先選擇出目標(biāo)對象。然而，由于手指與觸控屏的接觸面積較大(參考文獻(xiàn)Fat finger worries:How older and younger users physically interact with PDAs. In Proc. INTERACT 2005，沈7_觀0.)，往往不能精確地選擇或定位到目標(biāo)對象。因此，為用戶提供有效、精確的目標(biāo)定位技術(shù)變得尤為重要。高精度的觸摸屏交互技術(shù)被廣泛研究。Vogel和Baudisch (參考文獻(xiàn)Shift: A technique for operating pen-based interfaces using touch. In Proc. CHI 2007, 657-666.)利用光標(biāo)偏移技術(shù)來解決觸控交互中手指輸入較大的問題。Olwal等(參考文獻(xiàn)Rubbing and tapping for precise and rapid selection on touch-screen displays. In Proc. CHI 2008，295—304.)、Roudaut 等(參考文獻(xiàn)TapTap and MagStick Improving one-handed target acquisition on small touch-screens.In Proc. AVI 2008，146-153.)、Yang 等(參考文獻(xiàn)TouchCuts and TouchZoom :Enhanced target selection for touch displays using finger proximity sensing. In Proc. CHI 2011， 2585-2594.)禾口Kaser 等(參考文獻(xiàn)FingerGlass :Efficient multiscale interaction on multitouch screens. In Proc. CHI 2011，1343-1352.)利用放縮技術(shù)來支持精確的交互。Yatani 等(參考文獻(xiàn)Escape :A target selection technique using visually-cued gestures. In Proc. CHI 2008，觀5_四4.)釆用具有視覺提示的手勢來加快選擇目標(biāo)對象時的速度。Benko 等(參考文獻(xiàn)Precise selection techniques for multi-touch screens. In Proc. CHI 2006，1263-1272.)和 Olwal 等(參考文獻(xiàn)Rubbing and tapping for precise and rapid selection on touch-screen displays. In Proc. CHI 2008， 295-304.)使用雙手指選擇來幫助精確定位。Albinsson和Zhai (參考文獻(xiàn)High precision touch screen interaction. In Proc· CHI2003，105-112·)設(shè)計了一些交互工具來支持精石角的交互。Froehlich 等(參考文獻(xiàn)Barrier pointing :using physical edges to assist target acquisition on mobile device touch screens. In Proc. ASSETS 2007，19-26.)則利用移動設(shè)備的物理邊框來輔助目標(biāo)的獲取。盡管這些技術(shù)支持觸控設(shè)備上更加精確的交互，在一次觸摸點擊操作后，它們往往需要額外的調(diào)整操作。多個輸入通道可以提供互補的和冗余的信息，可被用于設(shè)計新的交互技術(shù)。例如，Hinckley 禾口 Song (參考文獻(xiàn)Sensor Synaesthesia :Touch in Motion, and Motion in Touch. In Proc. CHI 2011，801-810.)將結(jié)合多點觸摸和運動感知的優(yōu)勢，支持更豐富
3的角蟲摸交互。Wigdor 禾P Balakrishman (參考文獻(xiàn)TiltText :using tilt for text input to mobile phones. In Proc. UIST 2003，81-90.)設(shè)計了 TiltiText,支持用戶在按鍵的同時傾斜手機(jī)以輸入目標(biāo)字符。Jiang等(參考文獻(xiàn)Multimodal Chinese text entry with speech and keypad on mobile devices. In Proc. IUI 2008，341-344.)結(jié)合語音和鍵盤輸入，支持移動設(shè)備上更加高效的中文文本輸入。這些方法在提供更豐富的交互技術(shù)和提高效率等方面非常有用，但它們并不是為精確目標(biāo)定位問題而設(shè)計，不能被簡單得應(yīng)用于該問題的解決中。

發(fā)明內(nèi)容
本發(fā)明的目的在于利用多通道輸入，提供一種觸控設(shè)備上的目標(biāo)定位方法，從而提高觸控輸入目標(biāo)定位的準(zhǔn)確性。該方法融合了觸控輸入和語音輸入非精確的觸控輸入提供目標(biāo)對象的一系列可能位置，語音輸入用于確定目標(biāo)的精確位置；通過對觸控輸入和語音輸入進(jìn)行多通道融合而定位到最終的目標(biāo)對象，如圖1所示。具體來說，本發(fā)明采用的技術(shù)方案如下—種面向觸控設(shè)備的多通道精確目標(biāo)定位方法，其步驟包括1)采集觸控設(shè)備上的觸控輸入和語音輸入，得到觸控輸入對應(yīng)的目標(biāo)候選集合和語音輸入對應(yīng)的目標(biāo)候選集合；2)通過多通道融合算法計算所述目標(biāo)候選的可信度，將可信度最高的目標(biāo)候選的位置確定為最終的定位位置。進(jìn)一步地，所述觸控設(shè)備需要既支持觸控輸入，也支持語音輸入。可以是觸控手機(jī)，如iPh0ne、G00gle Phone等，可以是各類觸控平板電腦，如iPad、樂Pad等，也可以是觸控桌面等。本發(fā)明的目標(biāo)定位方法不受限于用于定位的形式，如光標(biāo)、小按鈕等。進(jìn)一步地，所述觸控輸入指向目標(biāo)對象的位置，觸控輸入的采集可以基于現(xiàn)有觸控操作系統(tǒng)(如Android，iOS，Windows Phone等)提供的接口獲得。獲得的信息包括系統(tǒng)計算得到的當(dāng)前觸控點的位置、觸控區(qū)域的面積等。手指觸摸覆蓋區(qū)域包含了可能的目標(biāo)位置，它們組成目標(biāo)對象候選集合。每個目標(biāo)候選的可信度與該目標(biāo)位置與系統(tǒng)檢測到的觸控點的距離的大小成反比，距離觸控點越近的目標(biāo)候選的可信度越大。在符合該原則的基礎(chǔ)上，候選集合和可信度的具體定義可以由開發(fā)者定義。例如，在光標(biāo)定位時，可由系統(tǒng)檢測到的光標(biāo)位置獲得周邊的光標(biāo)位置，組成光標(biāo)位置候選集合，光標(biāo)位置的可信度隨著距離系統(tǒng)得到的光標(biāo)位置的變大而降低。進(jìn)一步地，所述語音輸入的內(nèi)容為目標(biāo)對象相關(guān)的語音。例如，語音輸入可以是目標(biāo)對象的名稱或者其它相關(guān)屬性。與觸控輸入時間上最鄰近的語音輸入為當(dāng)前觸控輸入對應(yīng)的語音輸入。語音輸入可以由語音識別引擎識別得到一些識別結(jié)果的候選以及它們的可信度。語音識別引擎可以是現(xiàn)有觸控操作系統(tǒng)提供的語音識別引擎(如Google的Speech API)，也可以是第三方的語音識別引擎(如iSpeech等)。進(jìn)一步地，所述多通道融合算法的計算公式為P(Ci) = a*p(Ci|T) + (l-a)*p(Ci|S) (1)其中，T為觸控輸入對應(yīng)的目標(biāo)候選集合；S為語音輸入對應(yīng)的目標(biāo)候選集合；Ci 是T中的第i個候選；P (Ci I T)是觸控輸入情況下目標(biāo)位置Ci的可信度；P (Ci I S)是語音輸入情況下目標(biāo)位置Ci的可信度；P(Ci)是Ci作為最終目標(biāo)對象的可信度溝和(Ι-a)是觸控輸入和語音輸入在決定目標(biāo)對象時所占的比重，可以依據(jù)不同類型的用戶進(jìn)行調(diào)整。根據(jù)公式(1)計算得到的可信度最高的目標(biāo)候選的位置即為最終的定位位置，如圖2所示。與現(xiàn)有技術(shù)相比，本發(fā)明具有的優(yōu)點和積極效果如下1)本發(fā)明支持更加精確的目標(biāo)定位，從而可以提高觸控設(shè)備上目標(biāo)定位的效率。2)本發(fā)明采用觸控和語音兩種自然的輸入通道，因而可以支持自然的交互。3)本發(fā)明采用語音輸入和觸控輸入，由于大部分觸控設(shè)備支持語音輸入，該技術(shù)可以方便地被觸控設(shè)備所采用。


圖1為本發(fā)明面向觸控設(shè)備的多通道精確目標(biāo)定位方法的示意圖。圖2為本發(fā)明觸控輸入和語音輸入的多通道融合算法的示意圖。圖3為本發(fā)明實施例的文本編輯中光標(biāo)定位方法的示意圖。圖4為本發(fā)明實施例中采用光標(biāo)進(jìn)行定位的實例(定位到“touchscreen”中的字符‘h’與‘S’之間)的示意圖，其中(a)觸摸目標(biāo)位置并用語音說出目標(biāo)位置后面的第一個字符‘S’ ； (b)手指覆蓋的較大的區(qū)域；(c)可能的光標(biāo)位置；(d)通過語音輸入確定精確的光標(biāo)位置。
具體實施例方式為使本發(fā)明的目的、特征和優(yōu)點能更明顯易懂，下文通過具體實施例，并結(jié)合附圖，做詳細(xì)的說明。目前移動設(shè)備上基于觸控的交互目前非常常見，在這些設(shè)備上用戶常常使用短信、郵件、記事本等應(yīng)用。在這些應(yīng)用中，光標(biāo)常常被用于指定文本輸入和編輯任務(wù)執(zhí)行的具體位置。由于移動設(shè)備上的文本較小而用于觸控交互的手指則相對較大，手指的觸摸區(qū)域可能覆蓋在不同行和列的多個字符，這使得將光標(biāo)定位于目標(biāo)位置的效率變得低下并且易于出錯。此外，觸摸屏上的字符往往較小并且互相鄰近，將光標(biāo)定位于兩個鄰近的窄字符 (如“ij”)之間變得尤為困難。本發(fā)明方法為該問題提供了一種解決方法。本實施例支持用戶在觸控手機(jī)上進(jìn)行更加有效、精確的光標(biāo)定位操作；具體實施在GoogleNexus S手機(jī)上，其屏幕大小為4. 0寸，分辨率為480X800，操作系統(tǒng)為Android圖3給出該實施方式的示意圖。在定位光標(biāo)時，用戶在觸摸屏幕的目標(biāo)光標(biāo)位置的同時用語音說出目標(biāo)光標(biāo)位置后面的字符。此實施例中，語音輸入的內(nèi)容設(shè)定為目標(biāo)光標(biāo)位置后面的第一個字符，但本發(fā)明并不限于此，其它設(shè)定(如目標(biāo)光標(biāo)位置前面的字符等)具有類似的效果。Android系統(tǒng)采集得到手指觸摸屏幕的光標(biāo)位置，取得該光標(biāo)周圍 (上、下、左、右)的字符，組成光標(biāo)位置的候選集合；基于Google Speech API的語音識別引擎得到語音輸入的字符候選集。通過融合觸控輸入的候選集合和語音候選集(P(ci)的計算公式中a的值設(shè)定為0.幻，得到手指觸控光標(biāo)候選集合中每個光標(biāo)位置的可信度。可信度最高的光標(biāo)位置為最終的光標(biāo)位置。圖4給出上述實施例中對光標(biāo)進(jìn)行定位的一個實例。當(dāng)用戶試圖定位光標(biāo)到“touchscreen”中‘h’和‘S’之間時，用戶用手指點擊該光標(biāo)位置，并且同時用語音說出 ‘S’ (圖4a)。用戶的手指覆蓋了多個字符(圖4b和圖如)。此時，Android系統(tǒng)根據(jù)用戶手指的觸控輸入得到的光標(biāo)位置位于“touchscreen”中的‘C’和‘h’之間，與用戶的意圖并不相同。通過利用語音輸入并進(jìn)行多通道融合，可以將光標(biāo)正確地定位到‘h’與‘S’之間(圖4d)。針對圖4中的實例，下面進(jìn)一步介紹其多通道融合算法。觸控輸入生成了 12個候選的光標(biāo)位置，光標(biāo)可以位于 ‘h’、‘c’、‘s’、‘U’、‘c’、‘’、‘d’、‘1’、‘e’、‘e’、‘e’、‘e，之前，它們依據(jù)可信度由高到低排序。該可信度隨著候選光標(biāo)位置與系統(tǒng)得到的光標(biāo)位置的距離的變大而降低。通過語音識別引擎識別得到語音識別結(jié)果的候選‘s’、‘f’和‘a(chǎn)’，并按可信度由高到低排列。語音輸入的可信度一種方式是由語音識別引擎直接提供；另外一種方式是由技術(shù)開發(fā)人員根據(jù)語音識別引擎返回的識別候選結(jié)果的順序定義可信度，需要滿足如下原則在候選結(jié)果序列中越靠前的識別候選的可信度越高。然后經(jīng)過融合算法，即采用公式(1)，可計算得到按照可信度由高到低排序的觸控輸入的光標(biāo)位置為‘s’、‘h’、 ‘c’、‘u’、‘c’、‘’、‘d’、‘l’、‘e’、‘e’、‘e’、‘e’。因此，具有最高可信的光標(biāo)位置為字符‘S’ 前，它將作為最終的光標(biāo)位置，即用戶期望的光標(biāo)位置。在上述實施例中，應(yīng)用公式(1)時，a和(Ι-a)是觸控輸入和語音輸入在決定目標(biāo)對象時所占的比重，可以依據(jù)不同類型的用戶進(jìn)行調(diào)整。當(dāng)用戶的語音輸入比較不規(guī)范或者環(huán)境噪音較大時，語音識別正確率降低，可以將a的值設(shè)定得大一些，這樣定位方法對觸控輸入的依賴就大一些；反之，當(dāng)語音輸入規(guī)范且環(huán)境安靜時，可以調(diào)高語音輸入在定位中的作用，即將a的值設(shè)定的小一些。本實施例中對觸控輸入和語音輸入同等考慮，將a設(shè)為 0. 5。以上通過實施例對本發(fā)明所述的面向觸控設(shè)備的多通道精確目標(biāo)定位的方法進(jìn)行了詳細(xì)的說明，但本發(fā)明的具體實現(xiàn)形式并不局限于此。本領(lǐng)域的一般技術(shù)人員，可以在不背離本發(fā)明所述方法的精神和原則的情況下對其進(jìn)行各種顯而易見的變化與修改。本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求書所述為準(zhǔn)。
權(quán)利要求
1.一種面向觸控設(shè)備的多通道精確目標(biāo)定位方法，其步驟包括1)采集觸控設(shè)備上的觸控輸入和語音輸入，得到所述觸控輸入對應(yīng)的目標(biāo)候選集合和所述語音輸入對應(yīng)的目標(biāo)候選集合；2)通過多通道融合算法計算所述目標(biāo)候選的可信度，將可信度最高的目標(biāo)候選的位置確定為最終的定位位置；所述多通道融合算法的計算公式為P(Ci) = a*p(Ci|T) + (l-a)*p(Ci|S)其中，T為觸控輸入對應(yīng)的目標(biāo)候選集合，S為語音輸入對應(yīng)的目標(biāo)候選集合，ci是T 中的第i個候選，P (Ci |T)是觸控輸入情況下目標(biāo)位置ci的可信度，P(Cib)是語音輸入情況下目標(biāo)位置ci的可信度，ρ (ci)是ci作為最終目標(biāo)對象的可信度，a和(Ι-a)是觸控輸入和語音輸入在決定目標(biāo)對象時所占的比重。
2.如權(quán)利要求1所述的方法，其特征在于，所述觸控設(shè)備是支持觸控輸入和語音輸入的觸控手機(jī)、觸控平板電腦或觸控桌面。
3.如權(quán)利要求2所述的方法，其特征在于，所述觸控設(shè)備采用光標(biāo)或小按鈕進(jìn)行所述定位。
4.如權(quán)利要求2所述的方法，其特征在于，所述觸控輸入基于觸控操作系統(tǒng)提供的接口獲得，所述觸控操作系統(tǒng)包括Android、iOS和Windows Phone0
5.如權(quán)利要求4所述的方法，其特征在于，通過所述觸控輸入獲得的信息包括觸控點的位置、觸控區(qū)域的面積。
6.如權(quán)利要求1所述的方法，其特征在于，所述觸控輸入對應(yīng)的目標(biāo)候選集合中每個目標(biāo)候選的可信度與該目標(biāo)位置與系統(tǒng)檢測到的觸控點的距離的大小成反比。
7.如權(quán)利要求1所述的方法，其特征在于，所述語音輸入的內(nèi)容與目標(biāo)對象相關(guān)。
8.如權(quán)利要求7所述的方法，其特征在于，所述語音輸入的內(nèi)容為目標(biāo)對象的名稱。
9.如權(quán)利要求1所述的方法，其特征在于，通過語音識別引擎識別所述語音輸入并得到所述語音輸入的可信度。
10.如權(quán)利要求9所述的方法，其特征在于，所述語音識別引擎是現(xiàn)有觸控操作系統(tǒng)提供的語音識別引擎，包括Google的Speech API ；或是第三方的語音識別引擎，包括 iSpeecho
全文摘要
本發(fā)明屬于人機(jī)交互領(lǐng)域，具體涉及一種面向觸控設(shè)備的多通道精確目標(biāo)定位方法。本發(fā)明利用觸控輸入和語音輸入進(jìn)行目標(biāo)定位，觸控輸入提供可能的目標(biāo)對象候選集合，語音輸入同樣提供可能的目標(biāo)對象候選集合，通過多通道融合算法定位到精確的目標(biāo)對象。本發(fā)明支持觸控和語音兩種自然的輸入通道和自然的交互方式；可以進(jìn)行更加精確的目標(biāo)定位，提高觸控設(shè)備上目標(biāo)定位相關(guān)任務(wù)的效率。
文檔編號G06F3/01GK102426483SQ20111044516
公開日2012年4月25日 申請日期2011年12月27日 優(yōu)先權(quán)日2011年12月27日
發(fā)明者姜映映, 王宏安, 田豐 申請人:中國科學(xué)院軟件研究所