針對不利使用條件調(diào)整移動用戶界面的制作方法
【專利摘要】針對不利使用條件調(diào)整移動用戶界面包括檢測移動裝置的不合需要的運動,及根據(jù)不合需要的運動對移動裝置用戶界面進行調(diào)整,其中調(diào)整包括至少下述之一:放大移動裝置的圖形元素,提供移動裝置上的圖像的數(shù)字穩(wěn)定,對關鍵操作提供另外的警告和用戶輸入選項,使用修改的手勢識別算法,及調(diào)節(jié)對打字和繪圖的系統(tǒng)響應。不合需要的運動可以是瞬間或持續(xù)運動。所進行的調(diào)整可根據(jù)不合需要的運動是瞬間運動還是持續(xù)運動而變化。不合需要的瞬間運動可以是顛簸、猛沖和/或急轉(zhuǎn)彎。不合需要的持續(xù)運動可包括鐵路振動、飛機振動、和/或船只縱搖。不合需要的運動可通過強度分類為低、中和高強度。
【專利說明】針對不利使用條件調(diào)整移動用戶界面
[0001] 相關申請交叉引用
[0002] 本申請要求2012年3月7日申請的、題為"METHOD FOR OPTIMIZING USER INTERFACE ON MOBILE DEVICES TO ADAPT TO UNFAVORABLE USAGE CONDITIONS" 的美國臨 時申請61/607, 820的優(yōu)先權,其通過引用組合于此。
【技術領域】
[0003] 本申請涉及移動裝置上的人-機交互作用領域及前述裝置上可視及其它信息的 呈現(xiàn)領域。
【背景技術】
[0004] 在2012年,約1億人已在其日常生活中使用具有多點觸摸屏的平板裝置,如Apple 的 iPacUAmazon 的 Kindle Fire 或 Samsung 的 Galaxy Tab。根據(jù)市場預測,到 2015 年,隨 著包括數(shù)據(jù)編輯的生產(chǎn)力應用加速增長,平板使用將快速增長到約五億。
[0005] 作為真正的移動裝置,平板由許多用戶在上班的路上用于閱讀和娛樂。它們的輕 巧、強力處理器、具有足夠大小的高質(zhì)量屏幕(通常7-11英寸,但一些廠商正開發(fā)具有5英 寸屏幕的"大號智能電話")、多種特色的無縫因特網(wǎng)連接、及成千上萬的有用應用程序使這 些裝置成為非常想得到的日?;锇椤?br>
[0006] 然而,火車、汽車、飛機和輪船乘客、某些工業(yè)設置、及其它不利情形下的使用條件 可能實質(zhì)上不同于舒適辦公室或家庭環(huán)境的條件。裝置可能遭受隨機出現(xiàn)的墜下、顛簸、猛 沖、傾斜、抖動及其它干擾。用戶不想要及不受其控制的裝置運動可能影響與裝置及應用程 序的交互作用,從而導致一系列不合需要的后果。例子包括按壓觸控裝置上的錯誤動作按 鈕及可能在編輯期間因前述錯位點擊而導致數(shù)據(jù)損失、虛擬鍵盤上的錯誤錄入、筆激活的 觸屏應用中手繪圖及手寫文本的變形、錯誤識別多點觸摸手勢等。根據(jù)在不利使用條件下 移動裝置暴露于其的干擾的頻率和振幅,屏幕甚至可能看上去模糊或太不穩(wěn)定以至不能查 看,這進而可能促使用戶較長時間段中斷其裝置上的屏幕編輯甚或所顯示信息的查看。
[0007] 因而,對于移動生產(chǎn)力應用程序及對于實現(xiàn)令人滿意的移動使用體驗,建立新一 代用戶界面(UI)是有用的,其通過減少移動裝置的不受控運動的有害后果而提高在路上 及在其它不利使用條件下的生產(chǎn)力。
【發(fā)明內(nèi)容】
[0008] 根據(jù)在此所述的系統(tǒng),針對不利使用條件調(diào)整移動用戶界面包括檢測移動裝置的 不合需要的運動,及根據(jù)不合需要的運動對移動裝置用戶界面進行調(diào)整,其中調(diào)整包括至 少下述之一:放大移動裝置的圖形元素,提供移動裝置上的圖像的數(shù)字穩(wěn)定,對關鍵操作提 供另外的警告和用戶輸入選項,使用修改的手勢識別算法,及調(diào)節(jié)對打字和繪圖的系統(tǒng)響 應。不合需要的運動可以是瞬間或持續(xù)運動。所進行的調(diào)整可根據(jù)不合需要的運動是瞬間 運動還是持續(xù)運動而變化。不合需要的瞬間運動可以是顛簸、猛沖和/或急轉(zhuǎn)彎。不合需 要的持續(xù)運動可包括鐵路振動、飛機振動、和/或船只縱搖。不合需要的運動可通過強度 分類為低、中和高強度。調(diào)節(jié)對打字和繪圖的系統(tǒng)響應可根據(jù)不合需要的運動的強度變化。 響應于不合需要的運動的強度為高,阻止打字和繪畫輸入。響應于不合需要的運動的強度 為中,可在不合需要的運動消除后執(zhí)行拼寫檢查和線平滑驗證。響應于拼寫檢查和/或線 平滑驗證檢測到多個錯誤,可廢除用戶變化。響應于不合需要的運動的強度為低,系統(tǒng)可拒 絕不滿足最低持續(xù)時間和/或壓力水平標準的用戶觸摸。響應于檢測到不合需要的運動, 多點觸摸手勢識別的參數(shù)可進行調(diào)節(jié)以對不合需要的運動負責。不合需要的運動可基于來 自加速計和陀螺儀中的至少一個的輸入使用移動裝置軌跡的光譜分析、重力加速、定向和/ 或旋轉(zhuǎn)參數(shù)進行檢測。調(diào)整可僅響應于移動裝置設置在旅行模式時進行。移動裝置可由用 戶手動設置成旅行模式,或通過移動裝置和網(wǎng)絡的交互作用半自動地設置成旅行模式。針 對不利使用條件調(diào)整移動用戶界面還可包括使用移動裝置用戶的慣常行經(jīng)路線增強干擾 的檢測。增強檢測可包括分析沿慣常路線的干擾或可包括使用戶標記慣常路線圖以指明干 擾區(qū)域。
[0009] 進一步根據(jù)在此所述的系統(tǒng),提供在非短暫計算機可讀介質(zhì)中的計算機軟件針對 不利使用條件調(diào)整移動用戶界面。該軟件包括檢測移動裝置的不合需要的運動的可執(zhí)行代 碼,及根據(jù)不合需要的運動對移動裝置用戶界面進行調(diào)整的可執(zhí)行代碼,其中調(diào)整包括至 少下述之一:放大移動裝置的圖形元素,提供移動裝置上的圖像的數(shù)字穩(wěn)定,對關鍵操作提 供另外的警告和用戶輸入選項,使用修改的手勢識別算法,及調(diào)節(jié)對打字和繪圖的系統(tǒng)響 應。不合需要的運動可以是瞬間或持續(xù)運動。所進行的調(diào)整可根據(jù)不合需要的運動是瞬間 運動還是持續(xù)運動而變化。不合需要的瞬間運動可以是顛簸、猛沖和/或急轉(zhuǎn)彎。不合需要 的持續(xù)運動可包括鐵路振動、飛機振動、和/或船只縱搖。不合需要的運動可通過強度分類 為低、中和高強度。調(diào)節(jié)對打字和繪圖的系統(tǒng)響應可根據(jù)不合需要的運動的強度變化。響應 于不合需要的運動的強度為高,打字和繪畫輸入可被阻止。響應于不合需要的運動的強度 為中,可在不合需要的運動消除后執(zhí)行拼寫檢查和線平滑驗證。響應于拼寫檢查和/或線 平滑驗證檢測到多個錯誤,可廢除用戶變化。響應于不合需要的運動的強度為低,系統(tǒng)可拒 絕不滿足最低持續(xù)時間和/或壓力水平標準的用戶觸摸。響應于檢測到不合需要的運動, 多點觸摸手勢識別的參數(shù)可進行調(diào)節(jié)以對不合需要的運動負責。不合需要的運動可基于來 自加速計和陀螺儀中的至少一個的輸入使用移動裝置軌跡的光譜分析、重力加速、定向和/ 或旋轉(zhuǎn)參數(shù)進行檢測。調(diào)整可僅響應于移動裝置設置在旅行模式時進行。移動裝置可由用 戶手動設置成旅行模式,或通過移動裝置和網(wǎng)絡的交互作用半自動地設置成旅行模式。該 計算機軟件還可包括使用移動裝置用戶的慣常行經(jīng)路線增強干擾的檢測的可執(zhí)行代碼。增 強檢測可包括分析沿慣常路線的干擾或可包括使用戶標記慣常路線圖以指明干擾區(qū)域。
[0010] 減少移動裝置的不受控運動的有害后果包括識別移動裝置的運動并改變Π 元 素、應用程序及操作系統(tǒng)行為以有助于用戶與軟件應用程序交互作用并在不受控運動引起 不想要的效果之后部分消除不想要的效果。本發(fā)明系統(tǒng)的目標在于通過使在路上及在其它 不利條件下能舒適、連續(xù)的工作而增加用戶生產(chǎn)力,不利條件指可能中斷裝置使用而等待 下一平穩(wěn)搭乘時間段或使用條件的其它改善的條件;或者用戶可能因反復"顛簸"、"猛沖" 和"傾斜"而生氣并完全停止使用生產(chǎn)力應用程序。
[0011] 用于識別不想要的運動的技術眾所周知并包括基于加速計和/或陀螺儀運動檢 測而在笛卡爾和/或角坐標系統(tǒng)中對裝置軌跡進行光譜分析。這應用于搖動、振動、抖動、 搖晃(加速度變化)、顛簸、猛沖或傾斜檢測計算等。檢測到的干擾可通過持續(xù)時間歸類為 單個(瞬間或短期,如顛簸、猛沖、傾斜或急轉(zhuǎn)彎)和持續(xù)(如鐵路或飛機振動或船只縱搖) 干擾;在歸類時也可包括其它類型的持續(xù)時間。干擾可通過強度歸類為低、中和高強度運 動;更細的強度分級標準也是可能的。
[0012] 在這里描述的系統(tǒng)的實施例中,前述檢測技術及Π 的相應動態(tài)變化在移動裝置 的專用旅行模式(類似于移動電話上的旅行/飛行模式)下應用。旅行模式可由用戶手動 啟用或通過用戶裝置與車輛或船上存在的無線或其它網(wǎng)絡交互作用而半自動地啟用。限制 永久性運動跟蹤及超前的旅行模式UI行為可保持電池壽命并避免對不同類型的用戶控制 的裝置運動進行不合理的反應,例如用戶帶著平板在辦公室或家中走動或者用戶玩需要裝 置運動的視頻游戲。
[0013] 在這里描述的系統(tǒng)的另一實施例中,不想要的裝置運動的檢測可通過針對慣常路 線定制檢測而增強,如家和辦公室之間乘火車或汽車的日常行程(例如合伙使用汽車時的 乘客)。在該情形下,沿反復路線的裝置運動可首先進行記錄然后分析典型的干擾,例如當 火車沿該路線急轉(zhuǎn)彎時或者在沿該路線的站點附近加速/減速時。路線障礙圖或路線簡圖 可由系統(tǒng)建立并呈現(xiàn)給用戶,從而使用戶能在隨后的行程期間標記繼而識別突出的干擾, 并通知移動裝置響應于沿該路線的特定不想要的條件改變UI元素或行為。
[0014] 一旦已檢測到移動裝置的不利運動,根據(jù)該運動的特性、強度和持續(xù)時間及根據(jù) 伴隨干擾或干擾之后的用戶活動,系統(tǒng)可改變UI外觀和行為。在不同實施例中,前述變化 可包括下述任何或所有動作中的一個或多個。
[0015] 當用戶在遭受永久性干擾的移動裝置上的應用程序中進行關鍵操作時,如保存或 刪除內(nèi)容,系統(tǒng)可顯示在有利使用條件下不需要的、另外的警告消息。該消息可要求用戶另 外確認想要的操作。
[0016] 當檢測到持續(xù)性干擾時,系統(tǒng)可顯示放大的應用程序圖標、按鈕、菜單標題及其它 交互性UI元素,以有助于用戶使用手指或筆觸、操縱桿、觸控板式鼠標或其它可用輸入接 口進行按壓、點擊及其它操作。
[0017] 當影響移動裝置的持續(xù)性干擾包括振動、搖動或抖動時,這些干擾可使用戶清楚 地看見裝置屏幕內(nèi)容的能力受損,因為查看距離和角度可能快速變化。根據(jù)干擾的頻譜和 振幅,屏幕可能模糊、跳動或展現(xiàn)其它不合需要的效果。在該情形下,系統(tǒng)可調(diào)用屏幕圖像 的實時數(shù)字穩(wěn)定,其通過將屏幕的幾像素寬的外框占用為像素緩沖區(qū)、根據(jù)傳感器數(shù)據(jù)重 新計算實時屏幕外觀、及刷新屏幕使得屏幕對用戶表現(xiàn)為靜止圖像而進行。
[0018] 無論何時檢測到具有多點觸摸屏的移動裝置的不想要的運動,均可對手勢識別的 參數(shù)進行改變,其通常由系統(tǒng)軟件和/或軟件驅(qū)動器進行。例如,當用戶進行雙手指輕敲手 勢時,裝置振動或搖動,屏幕可能在手指輕敲后剛離開屏幕時朝向輕敲手指跳動從而可能 再次接觸手指,進而導致不合需要的二次雙手指輕敲效果。在正常條件下,前述輕敲將被手 勢識別系統(tǒng)軟件解釋為雙手指雙次輕敲,這并非用戶想要的,及在許多情形下這將執(zhí)行不 同于響應于單次雙手指輕敲的功能,因而可能導致錯誤。為避免這樣的問題,系統(tǒng)可使用于 接受該輕敲及雙次輕敲手勢的參數(shù)區(qū)變窄,從而要求手指和觸敏屏之間出現(xiàn)更加截然不同 和可靠的交互作用,以將手勢歸類為單次或雙次輕敲。對應地,拒絕區(qū)可能變寬,即系統(tǒng)不 進行手勢選擇和不執(zhí)行動作而等待重復及更準確的手勢的參數(shù)區(qū)可擴展。類似動作可應用 于在裝置出現(xiàn)不想要的運動時系統(tǒng)可能混淆的任意一對類似手勢;例子包括單手指輕敲對 單手指雙次輕敲、雙手指收聚對旋轉(zhuǎn)等。
[0019] 正像在不利使用條件下針對輸入手勢改變響應一樣,系統(tǒng)可能加嚴屏幕觸摸鍵盤 的文本輸入要求。由于搖動、振動或抖動裝置可導致手指滑動及偶爾觸摸錯誤的鍵,在持 續(xù)性干擾情形下的輸入模式可能要求更可靠的鍵觸摸,具有更高的壓力水平及更長的觸摸 間隔,以考慮該輸入有效。另外,系統(tǒng)可使用其它手段提高不利使用條件下的文本輸入準確 度。在一實施例中,系統(tǒng)記錄在搖動、搖晃或其它不合需要的運動條件下輸入的文本輸入部 分并對這些文本部分自動應用拼寫檢查;如果錯誤數(shù)量明顯超出該用戶的常規(guī)錯誤率,該 部分被自動放棄(取消)并需要特殊的用戶指令重做該部分。在另一實施例中,每當干擾 強度超出某一水平時,系統(tǒng)另外完全阻止鍵盤輸入;因而,每當汽車顛簸或傾斜、碰見粗糙 表面或進行急轉(zhuǎn)彎時,系統(tǒng)將阻止非駕駛員汽車乘客的文本輸入。
[0020] 在這里描述的系統(tǒng)的實施例中,與針對文本輸入提供的類似的控制可用于其它類 型的輸入。輸入的部分可記錄在臨時緩沖器內(nèi),檢查其一致性,如果輸入滿足一致性標準則 將其添加到主輸入流內(nèi)。在一實施例中,系統(tǒng)可檢查徒手畫及手寫文本輸入的線平滑并取 消具有表明筆或繪畫手指滑動的過度抖動或快速射擊段的線。
【專利附圖】
【附圖說明】
[0021] 在此所述的系統(tǒng)的實施例現(xiàn)在將結(jié)合附圖進行更詳細地說明,附圖簡要說明如 下。
[0022] 圖1A和1B示意性地示出了根據(jù)在此所述的系統(tǒng)的實施例的在不利使用條件下自 動放大應用程序圖標和按鈕。
[0023] 圖2示出了根據(jù)在此所述的系統(tǒng)的實施例的在不利使用條件下對進行的關鍵操 作顯示另外的警告。
[0024] 圖3示意性地示出了根據(jù)在此所述的系統(tǒng)的實施例的在屏幕遭受導致模糊或阻 止用戶清楚地看見屏幕內(nèi)容的其它效果的抖動或其它不利使用條件時進行的數(shù)字穩(wěn)定。
[0025] 圖4A-4B示出了根據(jù)在此所述的系統(tǒng)的實施例的在無妨礙條件下及在持續(xù)性干 擾條件下手勢識別模式之間的差別。
[0026] 圖5A-5D為描述與在此所述的系統(tǒng)的不同實施例相關聯(lián)的處理的系統(tǒng)流程圖。
[0027] 圖 4A-4B 上的手勢圖標已由 Gestureworks 設計,參見 http: //gestureworks. com。
【具體實施方式】
[0028] 在此描述的系統(tǒng)提供多種不同的、針對不利使用條件調(diào)整移動裝置上的用戶界面 和使用體驗的技術,不利使用條件通常歸類為持續(xù)性或單個干擾,如通過裝置傳感器如加 速計和陀螺儀檢測的搖動、抖動、搖晃、振動、顛簸、傾斜、猛沖及其它不想要的裝置運動。一 旦來自傳感器的輸入信號已被分析及已檢測到干擾類型和強度,系統(tǒng)可修改Π的不同方 面及部分交互作用參數(shù)和行為,并向用戶呈現(xiàn)有助于使不想要的效果最小化的更新。
[0029] 圖1A-1B提供了響應于檢測到與不利使用條件相關聯(lián)的持續(xù)性干擾,裝置桌面上 放大的應用程序圖標及裝置軟件中放大的動作按鈕的多種不同類型的示意性圖示。圖1A 示出了屏幕圖標的大小可根據(jù)不利使用條件的強度改變的實施例。在正常(相對靜止)無 妨礙條件下,裝置屏幕110以常規(guī)大小顯示應用程序圖標120,用戶可方便地用手指130輕 敲屏幕圖標。一旦檢測到干擾140,其分析和歸類為持續(xù)性干擾,用戶明顯更難輕敲屏幕圖 標。因而,如本說明書別處所述,系統(tǒng)顯示更大的圖標圖像150,并使用戶通過用手指輕敲圖 標圖像150或使用其它輸入接口選擇圖標圖像150而較容易調(diào)用安裝的應用程序。在一些 實施例中,線性圖標大小可翻倍(正方形大小,四倍)以有助于應用程序運行。當然,其它 大小的增加也可能。
[0030] 圖1B示出了應用程序動作按鈕可響應于持續(xù)性干擾放大的實施例。應用程序窗 口 160包括正常顯示大小的應用程序圖標170。一旦檢測到干擾180并歸類為持續(xù)性干擾, 應用程序按鈕190可按更大的大小重畫以有助于觸摸屏上的手指操作及使用其他輸入接 口選擇按鈕190。放大系數(shù)取決于干擾強度、工具條設計、工具條中自由空間的可用性、相關 聯(lián)的操作的重要性等。在圖1B所示的例子中,負責保存或刪除筆記的關鍵操作的動作按鈕 的線性大小在不利條件下已增加50%,而編輯工具條中的格式化按鈕的大?。捶顷P鍵操 作)增加40%。當然,其它大小的增加也可能。
[0031] 圖2為系統(tǒng)實施例的示意性圖示200,其中除放大應用程序按鈕之外,當進行應用 程序中的關鍵操作及檢測到單個干擾時,還可顯示另外的警告。應用程序窗口 210具有用 戶按壓即取消筆記中的內(nèi)容捕獲的取消按鈕220。在具有強單個干擾的不利使用條件下,如 顛簸、傾斜或猛沖,當用戶的手指相當靠近屏幕表面時,因不合需要的裝置運動而可能意外 輕敲。由于內(nèi)容捕獲過程的取消可導致數(shù)據(jù)損失,系統(tǒng)發(fā)出要求用戶確認意圖的警告220。 在圖2所示的實施例中,可邀請用戶通過再次輕敲取消按鈕220而確認操作。如果在某一 短時間段內(nèi)按鈕220保持未被輕敲,警告消息從屏幕消失及第一次輕敲被視為錯誤。
[0032] 圖3為系統(tǒng)實施例的示意性圖示300,其中提供屏幕圖像的數(shù)字穩(wěn)定。當不利使用 條件310影響裝置時,由系統(tǒng)或應用程序軟件繪圖的桌面或應用程序圖像320可能顯得模 糊或抖動,因為屏幕330和用戶眼睛350之間的距離和查看角度340快速變化。為消除表 觀缺陷,可使用傳統(tǒng)數(shù)字穩(wěn)定:外像素緩沖框360添加到屏幕圖像上,及根據(jù)運動和角度傳 感器的測量結(jié)果實時刷新屏幕330,使得移位和角度變化由緩沖框吸收,框內(nèi)刷新屏幕后的 圖像370看上去穩(wěn)定,即產(chǎn)生眼睛350以固定角度和距離390查看屏幕330的印象。在用 戶有意移動和轉(zhuǎn)動裝置的情形下,角度和距離可連同屏幕視圖一起變化,角度和距離不由 系統(tǒng)和像素緩沖框補償,因為系統(tǒng)基于傳感器測量結(jié)果及其分析可在持續(xù)性干擾和單個運 動之間區(qū)分。
[0033] 圖4A-4B組合為比較示意性圖示400,其示出了在正常(相對靜止)條件下及在 不利使用條件下的多點觸摸手勢識別的差別。在圖4A中,手勢識別圖通過在兩個多點觸摸 手勢之間區(qū)分進行例示:雙手指單次輕敲410和雙手指雙次輕敲420。在正常(相對靜止) 使用條件下,在從觸摸事件的輸入流提取參數(shù)之后,第一手勢備選方案430和第二手勢備 選方案440在以時間坐標為特征的空間中的接受區(qū)域重疊相當窄的區(qū)域450。區(qū)域450表 示無把握的區(qū)域,即系統(tǒng)不選擇勝者并放棄該手勢(響應于輸入不做任何響應)的拒絕區(qū)。
[0034] 圖4B示出了在不利使用條件460下雙手指單次輕敲和雙手指雙次輕敲的系統(tǒng)處 理。在以時間坐標為特征的空間中,接受區(qū)域470、480被系統(tǒng)收縮,用于拒絕的無把握參數(shù) 區(qū)490大于用于正常條件的區(qū)域450。較大的區(qū)域490說明不想要的裝置運動干擾手勢的 正確解釋的情形,如本說明書別處所述。
[0035] 參考圖5A,流程圖500示出了結(jié)合檢測干擾和用戶活動及定制Π 以減少不利使用 條件的影響所執(zhí)行的處理。處理開始于步驟501,系統(tǒng)從裝置的傳感器接收數(shù)據(jù)以檢測干 擾。在步驟501之后,處理進行到測試步驟502,確定是否存在持續(xù)性干擾。如果否,則處理 進行到測試步驟506。否則,處理進行到步驟503,響應于確認的持續(xù)性干擾和根據(jù)裝置桌 面上或裝置上的運行軟件應用程序內(nèi)的用戶動作放大Π 元素,如本說明書別處所述。在步 驟503之后,處理進行到步驟504,像素緩沖框添加到屏幕上,及桌面圖像被數(shù)字穩(wěn)定,如本 說明書別處所述。在步驟504之后,處理進行到步驟505,用于在不同對的類似多點觸摸手 勢之間進行區(qū)分的、以時間坐標為特征的空間中的接受和拒絕區(qū)域由系統(tǒng)改變。
[0036] 在步驟505之后,處理進行到測試步驟506,確定是否檢測到單個干擾如汽車顛簸 或傾斜、飛機由于渦流而猛沖、或火車急轉(zhuǎn)彎。應注意,測試步驟506還從測試步驟502到 達,如上所述,如果不存在持續(xù)性干擾。如果存在單個干擾,處理進行到步驟507,檢測當前 用戶活動。在步驟507之后,處理進行到步驟508,根據(jù)檢測到的用戶活動處理檢測到的單 個干擾。在步驟508進行的處理在本說明書別處詳細描述。在步驟508之后,處理進行到 測試步驟509,確定是否必須繼續(xù)跟蹤不利使用條件和用戶活動。應注意,測試步驟509還 從步驟506到達,如上所述,如果未檢測到單個干擾。如果繼續(xù)跟蹤,控制返回到開始步驟 501,如上所述。如果不繼續(xù)跟蹤(例如用戶已推出移動裝置上的旅行模式),則處理結(jié)束。
[0037] 參考圖5B,流程圖510提供根據(jù)用戶活動在步驟508處理單個干擾的更詳細的描 述。用戶活動包括點擊應用程序圖標或按鈕、多點觸摸手勢、或在支持手寫輸入的應用程序 中在觸摸屏上畫/寫。處理開始于測試步驟512,確定用戶是否點擊應用程序圖標或按鈕。 如果是,則處理進行到測試步驟514,確定用戶是否正執(zhí)行關鍵Π 操作(例如通過將當前操 作與預先確定的關鍵操作列表進行比較)。如果是,則處理進行到步驟516,系統(tǒng)顯示另外 的警告,使得如果按鈕或圖標點擊為因裝置搖動、顛簸、傾斜、猛沖或其它干擾引起的不想 要的動作,用戶有機會取消或忽略不必要的操作,如本說明書別處所述(參見圖2)。如果在 測試步驟514確定用戶未執(zhí)行關鍵操作,則處理進行到步驟518以繼續(xù)用戶操作。應注意, 步驟518還跟隨步驟516。在步驟518之后,處理結(jié)束。
[0038] 如果在測試步驟512確定用戶未點擊圖標或按鈕,則控制從測試步驟512轉(zhuǎn)到測 試步驟522,確定用戶是否正進行多點觸摸手勢。如果是,則處理進行到測試步驟524,確定 該手勢(目前為止通過系統(tǒng)軟件的初步手勢識別而識別)是否在預先確定的易出錯的手勢 列表中(即可能因不利使用條件下裝置的不想要的運動而導致系統(tǒng)誤識別)。如果否,則控 制轉(zhuǎn)到步驟526,系統(tǒng)使用常規(guī)(正常條件)手勢識別算法和參數(shù)。如果該手勢在易出錯 手勢列表中,則處理進行到步驟528,修改的手勢識別算法和參數(shù)用于更費力的需要以使手 勢得以可靠地識別,如本說明書別處所述(參見圖4B)。在步驟526、528任一之后,處理結(jié) 束。
[0039] 如果在測試步驟522確定用戶未進行多點觸摸手勢,則控制從測試步驟522轉(zhuǎn)到 測試步驟532,確定用戶是否正畫或?qū)憽H绻?,則處理結(jié)束。否則,控制從測試步驟532轉(zhuǎn) 到步驟534,系統(tǒng)進行畫/寫處理,如本說明書別處更詳細描述的。在步驟534之后,處理結(jié) 束。
[0040] 參考圖5C,流程圖540提供在步驟534進行的處理的更詳細的描述,如上所述,其 與處理屏幕觸摸鍵盤上的打字或裝置上運行的適當應用程序中的繪畫/手寫有關。處理開 始于測試步驟542,測量干擾強度并將其歸類為低、中或高。在低強度干擾情形下,如在移動 的車中具有〇. 〇5g到0. lg的峰值加速度的顛簸或傾斜,處理進行到步驟544,對打字、寫或 畫的系統(tǒng)響應加嚴,例如通過系統(tǒng)忽略不滿足最小壓力和/或接觸時間要求的鍵觸摸。在 步驟544之后,處理進行到步驟546,用戶在加嚴的系統(tǒng)響應下繼續(xù)打字、寫或畫。
[0041] 在步驟546之后,處理進行到測試步驟548,確定干擾條件/狀態(tài)是否結(jié)束。這例 如可通過向與結(jié)合圖5A的步驟501使用的類似的干擾跟蹤系統(tǒng)發(fā)送查詢或從其接收信號 而實現(xiàn)。如果干擾持續(xù),處理回到步驟523,繼續(xù)在加嚴系統(tǒng)響應下的打字、寫或畫。如果 干擾狀態(tài)/條件結(jié)束,則處理進行到步驟552,重置系統(tǒng)以提供對打字、寫或畫的正常響應。 在步驟552之后,處理結(jié)束。
[0042] 在中等干擾強度的情形下,例如在移動的車中具有0. lg到0. 2g的峰值加速度,處 理從測試步驟542進行到步驟554,其與步驟544類似,加嚴對打字、寫或畫的系統(tǒng)響應,需 要另外的壓力,及總的來說,減慢對觸摸的處理以在該模式下成功確認。在步驟554之后, 處理進行到步驟556,用戶在加嚴系統(tǒng)響應下繼續(xù)打字、寫或畫,及系統(tǒng)記錄打字文本、手寫 或繪畫的片斷以用于隨后驗證。在步驟556之后,處理進行到測試步驟558,確定干擾條件 /狀態(tài)是否結(jié)束。如果否,則處理返回到步驟556,用戶在加嚴條件下繼續(xù)當前活動。如果 干擾結(jié)束,處理進行到步驟562,驗證記錄是數(shù)據(jù)及執(zhí)行對應的動作。在不同實施例中,驗證 可包括打字文本的拼寫檢查及比較錯誤率和該用戶的平均錯誤率;分析手劃線的平滑,不 存在抖動或"射擊線"(寫器具滑動的指示)等。在步驟562進行的處理在本說明書別處更 詳細地描述。在步驟562之后,處理結(jié)束。
[0043] 在步驟542檢測到強、高強度干擾的情形下,例如在移動的車中具有高于0. 2g的 加速度的顛簸或傾斜,處理進行到步驟564,系統(tǒng)完全(及臨時)阻止任何屏幕觸摸鍵盤上 的打字及裝置上運行的所有或部分應用程序中的寫和/或畫。在步驟564之后,處理進行到 測試步驟566,驗證干擾是否結(jié)束。如果否,則處理進行到步驟568,用戶繼續(xù)當前操作(不 包括被阻止的活動)。在步驟568之后,處理返回到步驟566,確定干擾條件/狀態(tài)是否已 終止。如果在測試步驟536確定干擾結(jié)束,則處理進行到步驟572,所有先前阻止的活動如 打字、寫和畫解鎖。在步驟572之后,處理結(jié)束。
[0044] 參考圖流程圖580更詳細地示出了在步驟562進行的處理,如上所述,其中進 行記錄數(shù)據(jù)的驗證。流程圖580關于結(jié)合圖5C所述的干擾后情形。處理開始于步驟582, 執(zhí)行拼寫檢查(在打字情形下)或平滑檢查(在畫情形下)。在步驟582之后為步驟584, 決定用戶的打字、畫或?qū)懯欠裨诳山邮艿膮?shù)內(nèi)或是否已受不想要的裝置運動影響(即打 字文本具有過分的拼寫檢查錯誤率或手寫/手畫線展現(xiàn)強抖動或手寫器具滑動記號)。如 果數(shù)據(jù)可接受,則處理進行到步驟588,將系統(tǒng)響應重置為標準值。如果數(shù)據(jù)被干擾顯著影 響,處理進行到步驟586,系統(tǒng)刪除(取消)受影響的文本段、手寫字或繪畫。在步驟586之 后,處理進行到步驟588,如上所述。在步驟588之后,處理結(jié)束。
[0045] 在此所述的多個不同實施例可按在此所述的系統(tǒng)的適當組合彼此組合。另外,在 某些情形下,只要適當,流程圖和/或描述的流水處理的步驟順序可修改。隨后,在屏幕布 局中描述的屏幕元素及區(qū)域可不同于在此提出的實例。另外,在此所述的系統(tǒng)的多個不同 方面可使用軟件、硬件、軟件和硬件的組合和/或具有所述功件并執(zhí)行所述功能的其它計 算機實施的模塊或裝置進行實施。移動裝置可以是平板電腦或移動電話,盡管其它裝置也 可能。應注意,除移動裝置之外,在此所述的系統(tǒng)還可與臺式電腦、膝上型電腦、和/或任何 其它計算裝置一起使用。
[0046] 在此所述的系統(tǒng)的軟件實施可包括保存在計算機可讀介質(zhì)中并由一個或多個處 理器執(zhí)行的可執(zhí)行代碼。計算機可讀介質(zhì)可以是非短暫介質(zhì)并包括計算機硬盤驅(qū)動器、 ROM、RAM、閃存、便攜計算機存儲介質(zhì)如CD-ROM、DVD-ROM、閃盤驅(qū)動器、SD卡、和/或例如具 有通用串行總線(USB)接口的其它驅(qū)動器,和/或任何其它適當?shù)挠行位蚍嵌虝河嬎銠C可 讀介質(zhì)或可執(zhí)行代碼可保存于其上并由處理器執(zhí)行的計算機存儲器。在此所述的系統(tǒng)可結(jié) 合任何適當?shù)牟僮飨到y(tǒng)使用。
[0047] 對于本領域技術人員,基于在此公開的發(fā)明的說明或?qū)嵤景l(fā)明的其它實施方 式將顯而易見。說明和例子僅視為示例,本發(fā)明的真實范圍和精神由權利要求指明。
【權利要求】
1. 針對不利使用條件調(diào)整移動用戶界面的方法,包括: 檢測所述移動裝置的不合需要的運動;及 根據(jù)所述不合需要的運動對移動裝置用戶界面進行調(diào)整,其中所述調(diào)整包括至少下述 之一:放大移動裝置的圖形元素,提供移動裝置上的圖像的數(shù)字穩(wěn)定,對關鍵操作提供另外 的警告和用戶輸入選項,使用修改的手勢識別算法,及調(diào)節(jié)對打字和繪圖的系統(tǒng)響應。
2. 根據(jù)權利要求1所述的方法,其中不合需要的運動為下述之一:瞬間或持續(xù)運動。
3. 根據(jù)權利要求2所述的方法,其中所進行的調(diào)整根據(jù)不合需要的運動是瞬間運動還 是持續(xù)運動而變化。
4. 根據(jù)權利要求2所述的方法,其中不合需要的瞬間運動至少包括下述之一:顛簸、猛 沖和急轉(zhuǎn)彎。
5. 根據(jù)權利要求2所述的方法,其中不合需要的持續(xù)運動至少包括下述之一:鐵路振 動、飛機振動、和船只縱搖。
6. 根據(jù)權利要求1所述的方法,其中不合需要的運動通過強度分類為低、中和高強度。
7. 根據(jù)權利要求6所述的方法,其中調(diào)節(jié)對打字和繪圖的系統(tǒng)響應根據(jù)不合需要的運 動的強度變化。
8. 根據(jù)權利要求7所述的方法,其中響應于不合需要的運動的強度為高,阻止打字和 繪畫輸入。
9. 根據(jù)權利要求7所述的方法,其中響應于不合需要的運動的強度為中,在不合需要 的運動消除后執(zhí)行拼寫檢查和線平滑驗證。
10. 根據(jù)權利要求9所述的方法,其中響應于拼寫檢查和線平滑驗證中的至少一個檢 測到多個錯誤,廢除用戶變化。
11. 根據(jù)權利要求7所述的方法,其中響應于不合需要的運動的強度為低,系統(tǒng)拒絕不 滿足持續(xù)時間和壓力水平中的至少一個的最低標準的用戶觸摸。
12. 根據(jù)權利要求1所述的方法,其中響應于檢測到不合需要的運動,調(diào)節(jié)多點觸摸手 勢識別的參數(shù)以說明不合需要的運動。
13. 根據(jù)權利要求1所述的方法,其中不合需要的運動基于來自加速計和陀螺儀中的 至少一個的輸入使用移動裝置軌跡的光譜分析、重力加速、定向和旋轉(zhuǎn)參數(shù)進行檢測。
14. 根據(jù)權利要求1所述的方法,其中調(diào)整僅響應于移動裝置設置在旅行模式時進行。
15. 根據(jù)權利要求14所述的方法,其中移動裝置由用戶手動設置成旅行模式。
16. 根據(jù)權利要求14所述的方法,其中移動裝置通過其和網(wǎng)絡的交互作用半自動地設 置成旅行模式。
17. 根據(jù)權利要求1所述的方法,還包括: 使用移動裝置用戶的慣常行經(jīng)路線增強干擾的檢測。
18. 根據(jù)權利要求17所述的方法,其中增強檢測包括分析沿慣常路線的干擾。
19. 根據(jù)權利要求17所述的方法,其中增強檢測包括使用戶標記慣常路線圖以指明干 擾區(qū)域。
20. 提供在非短暫計算機可讀介質(zhì)中的計算機軟件,其針對不利使用條件調(diào)整移動用 戶界面,所述軟件包括: 檢測移動裝置的不合需要的運動的可執(zhí)行代碼;及 根據(jù)不合需要的運動對移動裝置用戶界面進行調(diào)整的可執(zhí)行代碼,其中所述調(diào)整包括 至少下述之一:放大移動裝置的圖形元素,提供移動裝置上的圖像的數(shù)字穩(wěn)定,對關鍵操作 提供另外的警告和用戶輸入選項,使用修改的手勢識別算法,及調(diào)節(jié)對打字和繪圖的系統(tǒng) 響應。
21. 根據(jù)權利要求20所述的計算機軟件,其中不合需要的運動為下述之一:瞬間或持 續(xù)運動。
22. 根據(jù)權利要求21所述的計算機軟件,其中所進行的調(diào)整根據(jù)不合需要的運動是瞬 間運動還是持續(xù)運動而變化。
23. 根據(jù)權利要求21所述的計算機軟件,其中不合需要的瞬間運動至少包括下述之 一:顛簸、猛沖和急轉(zhuǎn)彎。
24. 根據(jù)權利要求21所述的計算機軟件,其中不合需要的持續(xù)運動至少包括下述之 一:鐵路振動、飛機振動、和船只縱搖。
25. 根據(jù)權利要求20所述的計算機軟件,其中不合需要的運動通過強度分類為低、中 和高強度。
26. 根據(jù)權利要求25所述的計算機軟件,其中調(diào)節(jié)對打字和繪圖的系統(tǒng)響應根據(jù)不合 需要的運動的強度變化。
27. 根據(jù)權利要求26所述的計算機軟件,其中響應于不合需要的運動的強度為高,阻 止打字和繪畫輸入。
28. 根據(jù)權利要求26所述的計算機軟件,其中響應于不合需要的運動的強度為中,在 不合需要的運動消除后執(zhí)行拼寫檢查和線平滑驗證。
29. 根據(jù)權利要求28所述的計算機軟件,其中響應于拼寫檢查和線平滑驗證中的至少 一個檢測到多個錯誤,廢除用戶變化。
30. 根據(jù)權利要求26所述的計算機軟件,其中響應于不合需要的運動的強度為低,系 統(tǒng)拒絕不滿足持續(xù)時間和壓力水平中的至少一個的最低標準的用戶觸摸。
31. 根據(jù)權利要求20所述的計算機軟件,其中響應于檢測到不合需要的運動,調(diào)節(jié)多 點觸摸手勢識別的參數(shù)以說明不合需要的運動。
32. 根據(jù)權利要求20所述的計算機軟件,其中不合需要的運動基于來自加速計和陀螺 儀中的至少一個的輸入使用移動裝置軌跡的光譜分析、重力加速、定向和旋轉(zhuǎn)參數(shù)進行檢 測。
33. 根據(jù)權利要求20所述的計算機軟件,其中調(diào)整僅響應于移動裝置設置在旅行模式 時進行。
34. 根據(jù)權利要求20所述的計算機軟件,其中移動裝置由用戶手動設置成旅行模式。
35. 根據(jù)權利要求20所述的計算機軟件,其中移動裝置通過其和網(wǎng)絡的交互作用半自 動地設置成旅行模式。
36. 根據(jù)權利要求20所述的計算機軟件,還包括: 使用移動裝置用戶的慣常行經(jīng)路線增強干擾的檢測的可執(zhí)行代碼。
37. 根據(jù)權利要求36所述的計算機軟件,其中增強檢測包括分析沿慣常路線的干擾。
38. 根據(jù)權利要求36所述的計算機軟件,其中增強檢測包括使用戶標記慣常路線圖以 指明干擾區(qū)域。
【文檔編號】G06F3/01GK104160362SQ201380013366
【公開日】2014年11月19日 申請日期:2013年2月21日 優(yōu)先權日:2012年3月7日
【發(fā)明者】P·李賓 申請人:印象筆記公司