專利名稱：基于草圖的交互與計算機數(shù)據(jù)分析的集成的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于草圖的交互，尤其是基于草圖的交互與計算機數(shù)據(jù)分析的集成。
背景技術(shù)：
信息可視化系統(tǒng)聚焦于鼠標、鍵盤和臺式顯示器的常見技術(shù)設(shè)置。僅為單獨桌面工作提供可視化支持的該實踐忽略信息工作的其他探索階段，諸如(在紙或白板上)初歩草繪以得出分析數(shù)據(jù)的想法和方法。在信息工作者間使用紙和白板是無處不在的。想法、問題和計劃通常是在非正式的地點最初得出的。然而，如果信息工作包括大量的數(shù)據(jù)，那么不久就必須利用某些工具(例如，電子表格)中的計算能力。 盡管其熟悉程度以及固有的益處，但傳統(tǒng)的白板在根本上受到其被動本質(zhì)的限 制。所示的全部內(nèi)容必須被直接地繪制。例如，如果采用圖表和圖來示出數(shù)據(jù)，則必須手動繪制每個數(shù)據(jù)項。因此，白板上的數(shù)據(jù)圖表往往是相對簡單的，因為即使對于準確性不重要的情形，逐個繪制很多個數(shù)據(jù)點也是乏味的。白板上的數(shù)據(jù)豐富的問題求解或者是非常乏味的，或者導(dǎo)致使用部分的或僅是指示的圖表和圖。另外，草繪數(shù)據(jù)準確性是具有挑戰(zhàn)性的，并且繪圖的質(zhì)量受到存儲器的限制；在任何真實的程度上僅有大致的趨勢可從回憶中繪制。手繪圖表也受到限制，因為針對數(shù)據(jù)的有用函數(shù)是不容易估算的?？赡芎茈y帶有任何準確性地估算標準偏差、基數(shù)和甚至是算木平均數(shù)，但它們在數(shù)據(jù)分析的初始步驟中是必要的工具。換言之，在人們想什么和在白板上繪制什么與人們?nèi)绾卧谟嬎銠C中操縱數(shù)據(jù)之間存在巨大的差距。

發(fā)明內(nèi)容
下面提供了簡化的發(fā)明內(nèi)容，以便提供對此處所描述的ー些新穎實施例的基本理解。本概述不是廣泛的概覽，并且它不g在標識關(guān)鍵/重要元素或描繪本發(fā)明的范圍。其唯一目的是以簡化形式呈現(xiàn)ー些概念，作為稍后呈現(xiàn)的更具體實施例的序言。所公開的體系結(jié)構(gòu)對自由形式的基于草圖的交互的益處與至少支持制圖的計算機輔助數(shù)據(jù)分析和處理進行集成。用戶可以簡單地向交互式組件(例如，白板)應(yīng)用草繪的標記(也稱為筆劃)，并且隨后一個或多個筆劃被處理以表明圖形表示(例如，圖表、箭頭)，隨后直接、単獨或與所應(yīng)用的筆劃相結(jié)合地生成和呈現(xiàn)該圖形表示以供經(jīng)由交互式組件來查看。所生成的圖形表示不需要由計算系統(tǒng)來美化，但是與用戶所應(yīng)用的基于手的筆劃相同或相似。作為響應(yīng)，該體系結(jié)構(gòu)可在從用戶數(shù)據(jù)填充的圖表上標出各項。通過在所得的的圖上繪制(應(yīng)用ー個或多個筆劃)，用戶與用戶自己的數(shù)據(jù)交互，動態(tài)地改變所得的可視化，導(dǎo)致更流暢且不太具有侵入性的體驗。因此，用戶可以輕松地通過使用諸如散點圖表和條形圖等圖形表示來可視地探査數(shù)據(jù)。另外，分析通過對用戶數(shù)據(jù)應(yīng)用函數(shù)來輕松地實現(xiàn)。基于草圖的交互可用于(例如，通過繪制符號來)改變圖表類型，(例如，通過應(yīng)用函數(shù)來)變換數(shù)據(jù)，(例如，通過在圖例項上繪制刪除線來)過濾數(shù)據(jù)等。另外，體系結(jié)構(gòu)從用戶繪制的筆劃來推斷用戶所想要的可視化，諸如圖的軸、標記的詞
レロ寸O通過將更多的數(shù)量分析和數(shù)據(jù)探查作為目標，這些原理使例如非專家的用戶能夠快速地在其可視化中探査數(shù)據(jù)。為了實現(xiàn)上述及相關(guān)目的，本文結(jié)合下面的描述和附圖來描述某些說明性方面。這些方面指示了可以實踐本文所公開的原理的各種方式，并且所有方面及其等效方面旨在落入所要求保護的主題的范圍內(nèi)。結(jié)合附圖閱讀下面的詳細描述，其它優(yōu)點和新穎特征將變得顯而易見。


圖I示出根據(jù)所公開的體系結(jié)構(gòu)的計算機實現(xiàn)的交互式系統(tǒng)。圖2示出了根據(jù)所公開的體系結(jié)構(gòu)的基于草圖的交互式基于計算機的數(shù)據(jù)分析系統(tǒng)的更詳細的實施例。圖3示出了手動筆劃形式的對可視化表面的基于草圖的自由形式的輸入，該筆劃表示圖表的圖形表示的軸及其標記。圖4示出了用戶對數(shù)據(jù)點最大值的按照年份的選擇。圖5示出了基于所建議的用戶自由形式的輸入而自動地創(chuàng)建的條形圖。圖6示出了對顏色和形狀的使用。圖7示出了根據(jù)所公開的體系結(jié)構(gòu)的計算機實現(xiàn)的方法。圖8示出圖7的方法的其他方面。圖9示出了根據(jù)所公開的體系結(jié)構(gòu)的計算系統(tǒng)的框圖，該計算系統(tǒng)執(zhí)行與計算機輔助的數(shù)據(jù)分析的基于草圖的交互。
具體實施例方式所公開的體系結(jié)構(gòu)對紙張或白板的非正式草繪方法與計算機的計算能力進行組合以提供計算機輔助的數(shù)據(jù)可視化的數(shù)據(jù)探索能力。手繪外觀可被保留，并且可替換地或與其組合地，繪圖可被處理成更加精煉的結(jié)果。筆劃可作為矢量實體來處理以成為完全可識別的且實用的。還支持自動完成功能。體系結(jié)構(gòu)支持草繪可視化的多種方式。此外，提供可替換的交互方法。例如，為了指定圖表的軸，用戶可以繪制軸并經(jīng)由手寫的軸標記來指定該軸，繪制軸并經(jīng)由放置(帶有每個軸的數(shù)據(jù)點值的)一或兩個數(shù)據(jù)點來指定該軸，和/或繪制軸并經(jīng)由放置和標記帶有值的刻度線來指定該軸。還可提供定制的數(shù)據(jù)視圖，因此，用戶可在其開始繪圖過程之前預(yù)覽數(shù)據(jù)。體系結(jié)構(gòu)還可以按照非侵入式的方式從可用的數(shù)據(jù)中提供建議和推薦。另外，可在適當處提供手勢和可視化自動完成功能。該體系結(jié)構(gòu)支持基于草圖的方法，以便用戶執(zhí)行數(shù)據(jù)探索中常見的ー組動作。示例包括調(diào)整每個軸的范圍/尺度，應(yīng)用函數(shù)(例如，平均、標準差、最小、最大、計數(shù)等)而不必重新繪制可視化，排序/重新排序，過濾等。另外，該體系結(jié)構(gòu)提供指定諸如顏色和形狀等可視變量的方式，并且提供不同視圖和不同的圖表類型(或可視化)之間的無縫切換。
該體系結(jié)構(gòu)還可提供増量式地訪問數(shù)據(jù)的方式，而不是示出整個數(shù)據(jù)集。因此，用戶可以以感興趣的數(shù)據(jù)的子集來開始并且增量式地請求更多的數(shù)據(jù)。該體系結(jié)構(gòu)還可通過無縫地執(zhí)行諸如跟蹤歷史、分叉(fork)探索和示出 用于比較的多個可視化等外圍任務(wù)來輔助工作流?？稍诓僮魃蠀f(xié)調(diào)識別。被鏈接的和可重用的API提供對輸入模態(tài)的范圍和手勢、筆劃、手部姿態(tài)以及所生成的符號字符的無縫處理。當例如使用圖表時，用戶可應(yīng)用諸如線段、弧形(也稱為筆劃-體系結(jié)構(gòu)的基本對象)等簡單的草繪標記來表明要查看的圖表。作為響應(yīng)，該體系結(jié)構(gòu)可在從用戶數(shù)據(jù)填充的圖表上標出并呈現(xiàn)各項。通過與圖表進ー步交互(例如，繪圖)，用戶可以與數(shù)據(jù)交互，并在進行中(on-the-fly)改變所得的可視化，由此導(dǎo)致更流暢且不太具有侵入性的體驗。在一個實現(xiàn)中，產(chǎn)生數(shù)字白板，該數(shù)字白板仿真?zhèn)鹘y(tǒng)的白板，但允許多個不相交的想法(例如，草圖)并發(fā)地出現(xiàn)在板載。因此，單個用戶可與例如ー個或多個圖表/圖交互，或者多個用戶可與ー個或多個圖表/圖協(xié)作式地交互。如果需要，另ー個示例實現(xiàn)可利用用于單獨的數(shù)據(jù)探索或甚至多個用戶交互的平板PC。與采用模式概念的傳統(tǒng)系統(tǒng)相反，所公開的體系結(jié)構(gòu)允許全部應(yīng)用獨立地且并發(fā)地解釋筆劃。該體系結(jié)構(gòu)觀察(識別)用戶筆劃并且使用該知識來提供服務(wù)。在一個實現(xiàn)中，該體系結(jié)構(gòu)是嚴格的筆劃驅(qū)動的，因為不存在或存在屏幕上(例如，屏幕外部周圍)所采用的最小的菜單欄。然而，這不應(yīng)被解釋為在任何方式上是限制性的，因為可以采用其他合適的用戶輸入技木。例如，觀察(接收并識別)諸如用戶輸入的圖的軸、或詞語、或字母等所繪的筆劃，并且由此來推斷用戶所想要的可視化以完成圖形表示(例如，圖表)。雖然此處主要用用戶輸入作為基于筆劃來描述，但應(yīng)當理解的是可以単獨地或與諸如經(jīng)由菜單和基于觸摸的交互等相結(jié)合地采用便于用戶交互的其他輸入模態(tài)。該體系結(jié)構(gòu)向用戶提供與計算機輔助分析結(jié)合操作的(例如，基于草圖、基于筆、基于觸摸等)用戶輸入界面來可視地探索用戶數(shù)據(jù)。一旦接收到用戶輸入，該體系結(jié)構(gòu)識別并且計算機生成與輸入相關(guān)聯(lián)的圖形對象。例如，如果輸入是(例如，使用標記筆)作為標記被應(yīng)用到白板表面的ー個或多個用戶筆劃(例如，帶有箭頭的線段)，則隨后可以識別該ー個或多個筆劃并將其作為是箭頭的圖形對象來呈現(xiàn)。該箭頭圖形對象可隨后以整理版本被呈現(xiàn)在用戶所應(yīng)用的筆劃附近，或者作為用戶所應(yīng)用的筆劃的被捕捉的呈現(xiàn)(圖像)。該體系結(jié)構(gòu)鼓勵通過用戶輸入的協(xié)作式數(shù)據(jù)探索，用戶輸入包括用戶向可視化界面(還被稱為數(shù)字交互式組件)草繪或引入筆劃。草繪的線段和手寫的文本可被輕松地擦除或修改。另外，該體系結(jié)構(gòu)鼓勵用戶從不同的角度來探索數(shù)據(jù)并由此發(fā)現(xiàn)新的見解。因此，可在視圖中維持用戶所繪的筆劃以便鼓勵擦除和修改。協(xié)作得到促進，使得多個用戶可應(yīng)用筆劃，該筆劃隨后被動態(tài)地處理以呈現(xiàn)相關(guān)聯(lián)的圖形對象并接著在接受檢查下對用戶數(shù)據(jù)操作。在諸如基于筆的交互式顯示器等大型繪圖表面的上下文中，使用多個活動筆來支持協(xié)作，其中筆提供了與基于筆的交互式可視化表面交互的工具。由于人們已經(jīng)在討論和演示上下文中使用了白板，因此所公開的數(shù)據(jù)探索交互式體系結(jié)構(gòu)增強了用戶熟悉的自然協(xié)作式環(huán)境。所公開的體系結(jié)構(gòu)提供了直接的操縱(交互)，不僅將創(chuàng)建新圖表和修改現(xiàn)有圖表的成本(例如，實踐)最小化，還加速了初學(xué)用戶的學(xué)習(xí)曲線。使用電子表格的現(xiàn)有技術(shù)例如需要多個步驟來配置圖表參數(shù)，包括選擇合適的菜單項和執(zhí)行多個選擇。相反，所公開的體系結(jié)構(gòu)啟用了直接的用戶交互而沒有復(fù)雜的菜單導(dǎo)航，并且仿真一般與例如在白板上草繪圖表相關(guān)聯(lián)的活動。體系結(jié)構(gòu)界面的自由形式的本質(zhì)使用戶能夠按需詳細或粗略地繪制可被構(gòu)想的一切。用戶可將圖表可視化以表達所預(yù)期的趨勢以及呈現(xiàn)在數(shù)據(jù)中觀察到的現(xiàn)有趨勢?？焖俨堇L允許用戶單獨地或協(xié)作式地來快速且簡單地嘗試不同的選項，發(fā)現(xiàn)相關(guān)和離群值，并且過濾和匯總數(shù)據(jù)?，F(xiàn)在參考附圖，附圖中通篇使用相似的附圖標記表示相似的元件。在下面的描述中，為了進行說明，闡述了很多具體細節(jié)以便提供對本發(fā)明的全面理解。然而，顯而易見，可以在沒有這些具體細節(jié)的情況下實施各新穎實施例。在其它情況下，以框圖形式示出了公知的結(jié)構(gòu)和設(shè)備以便于描述它們。本發(fā)明將涵蓋落入所要求保護的主題的精神和范圍內(nèi)的所有修改、等效方案和替換方案。圖I示出根據(jù)所公開的體系結(jié)構(gòu)的呈現(xiàn)系統(tǒng)100。系統(tǒng)100包括接收用戶交互104并將該用戶交互104作為筆劃來處理的數(shù)字交互式組件102。應(yīng)當理解，筆劃可以是如上所 述很多不同類型的輸入模態(tài)的結(jié)果。計算組件106 (例如，與交互式組件102分開的基于計算機的組件)將用戶交互104 (例如，筆劃)解釋為與圖形表示108 (例如，箭頭、圖表、圖例等)相關(guān)，并且可選地，基于筆劃對用戶數(shù)據(jù)110執(zhí)行操作以便創(chuàng)建用戶數(shù)據(jù)110和圖形表示108的整體圖形視圖112，該圖形視圖112可以與所應(yīng)用的筆劃組合。計算組件106還可管理(例如，檢索和生成)如此處所描述的注釋。用戶數(shù)據(jù)110被示為圖形表示108以便簡單地傳達質(zhì)量和/或數(shù)量信息用戶數(shù)據(jù)110可由圖形表示108來表征，該圖形表示108可以是ー組圖形對象。在替換的實現(xiàn)中，經(jīng)由界面組件102単獨地或與圖形表示108組合地通過其原始或表格形式來呈現(xiàn)觀察中的某些或全部用戶數(shù)據(jù)在所公開的體系結(jié)構(gòu)的構(gòu)想范圍內(nèi)。計算組件106可提供包括ー個或多個圖形對象(例如，圖表的軸、刻度線等)的圖形表示108。例如，用戶輸入是意圖成為箭頭的原始筆劃(例如，使用標記筆在白板表面上用手草繪)吋，計算組件106可以捕捉該輸入并呈現(xiàn)相同的筆劃作為圖形視圖112中的圖形對象。因此，可在板表面上原始筆劃的附近以其粗略(捕捉為不直的、不對稱的等)形式呈現(xiàn)由用戶手動地創(chuàng)建的原始筆劃?；蛘撸脊P劃可由計算組件106作為“經(jīng)整理的”(例如，直的、各點対稱的等)箭頭對象來呈現(xiàn)，計算組件106檢索預(yù)定和被存儲的箭頭對象，該對象被訪問井隨后在圖形視圖112中被呈現(xiàn)。在任一情形中，所得的圖形視圖112可以僅包括原始筆劃、僅包括粗略筆劃、僅包括經(jīng)整理的筆劃、或其任意組合。演示組件114從計算組件106接收呈現(xiàn)信息，并在圖形視圖112中將該呈現(xiàn)信息呈現(xiàn)為包括筆劃(粗略的或經(jīng)整理的)、標記、列表和交互地或以其他方式與數(shù)字交互式組件102相關(guān)聯(lián)的其他圖形對象。換言之，圖形視圖112可由投影儀投影到可以是數(shù)字白板的界面組件102上，該投影儀是演示組件114。交互式組件102是例如基于筆的顯示器或基于觸摸的顯示器吋，演示組件114可以是計算組件106的一部分或顯示器的一部分，使得可經(jīng)由基于筆或基于觸摸的顯示器的顯示能力來呈現(xiàn)圖形視圖112。
計算組件106可包括數(shù)據(jù)分析和處理組件116，該數(shù)據(jù)分析和處理組件116可以通過數(shù)據(jù)組件118訪問用戶數(shù)據(jù)110。數(shù)據(jù)組件118可以是服務(wù)器上的數(shù)據(jù)庫、分布式數(shù)據(jù)庫、本地客戶機上的文件、存儲器內(nèi)的數(shù)據(jù)等，該數(shù)據(jù)組件118經(jīng)由ー個或多個圖形表示120 (例如，圖形表示108)使用戶數(shù)據(jù)110(例如，數(shù)據(jù)集)可用于操縱和交互。在另ー實現(xiàn)中，數(shù)據(jù)組件118可以是云計算基礎(chǔ)結(jié)構(gòu)的一部分。圖形對象是用于數(shù)字地呈現(xiàn)或顯示圖表軸、軸上的刻度線、文本、尺寸、所捕捉的用戶筆劃、框、線段等的對象。圖形對象可基于ー個或多個用戶交互104來改變和/或更新。相反，用戶數(shù)據(jù)110是用戶期望檢查的數(shù)據(jù)(例如，銷售數(shù)據(jù)、財務(wù)數(shù)據(jù))。關(guān)于用戶交互，如果用戶交互104·是要改變諸如圖表等圖形表示的I軸上的尺度，則數(shù)據(jù)分析和處理組件116根據(jù)用戶應(yīng)用到軸上的筆劃來調(diào)整軸的縮放。另外，數(shù)據(jù)分析和處理組件116根據(jù)新的用戶交互104在用戶的檢查下處理數(shù)據(jù)集(用戶數(shù)據(jù)110)。注意，圖形對象可以與應(yīng)用(例如，圖表程序、操作系統(tǒng))相關(guān)聯(lián)，該應(yīng)用提供執(zhí)行圖形和圖表生成和操縱、以及提供添加用于處理和呈現(xiàn)新的圖形表示的新選項的擴展能力的能力。如前所述，數(shù)字交互式組件102 (例如，主動或被動可視化表面)可以是例如數(shù)字白板、交互式顯示器表面、觸摸表面、基于筆的表面、或簡單的用戶使用鼠標或其他指針驅(qū)動的用戶輸入設(shè)備經(jīng)由其交互的計算機監(jiān)視器，并且包括適當?shù)能浖?例如，演示、操作系統(tǒng)、圖表/圖形等)以輔助特定的數(shù)字交互式組件102來識別并處理用戶交互。數(shù)據(jù)分析和處理組件116 (例如，計算機子組件)響應(yīng)于用戶交互104通過應(yīng)用數(shù)據(jù)分析功能(例如，包括執(zhí)行、刪除、過濾、數(shù)學(xué)運算、縮放等的操作)來對用戶數(shù)據(jù)110執(zhí)行數(shù)據(jù)分析。例如，如果用戶應(yīng)用筆劃到隨后被系統(tǒng)100推斷來建立軸的縮放的圖表的y軸，則系統(tǒng)100自動地應(yīng)用y軸的其余刻度線。數(shù)據(jù)分析和處理組件116隨后在接受檢查(用戶數(shù)據(jù)HO)下自動地對數(shù)據(jù)集執(zhí)行數(shù)據(jù)分析以適于圖表(圖形表示108)。演示組件114(例如，投影儀系統(tǒng)、顯示器表面、觸摸表面、基于筆的表面等)呈現(xiàn)與被操作所改變的圖形表示108相關(guān)聯(lián)的ー個或多個圖形對象。在一個實現(xiàn)中，捕捉用戶交互104并從是白板的數(shù)字交互式組件102對其進行解釋，并且隨后一旦被處理(例如，推斷)以確定打算繪圖的用戶，則所得的圖形對象隨后被(視頻或相機系統(tǒng))投影到白板上以供用戶和其他查看者進行可視化，并且根據(jù)所需的尺寸和格式來表征用戶數(shù)據(jù)110。在另ー示例中，捕捉用戶交互104并從是基于觸摸的表面或顯示器的數(shù)字交互式組件102對其進行解釋，并且隨后一旦被處理(例如，推斷)以確定打算繪圖的用戶，則所得的圖形對象隨后經(jīng)由基于觸摸的設(shè)備(顯示器)來呈現(xiàn)以供用戶和(本地和/或遠程的)其他查看者進行可視化，并且根據(jù)所需的尺寸和格式來表征用戶數(shù)據(jù)110。注意，圖形表不108僅是可被米用和利用的很多圖形表不120之一。例如，圖形表示108可以是條形圖、散點圖表、極坐標圖等。另外，表示的數(shù)量和類型以及相關(guān)聯(lián)的筆劃可以是可擴展的以添加新筆劃和對應(yīng)的表示以供使用。系統(tǒng)100提供圖形表不108的自動完成以及基于對圖形表不108的用戶交互104的自動完成的能力。換言之，用戶交互104可表明圖形表示108，圖形表示108可以是箭頭、圖表的軸、條形等。注意，在基于觸摸的界面中，用戶交互104可包括可與例如手部姿態(tài)相組合的單個觸摸或多個觸摸手勢。
計算組件106可包括從用戶交互收集器124接收ー個或多個交互(例如，筆劃)的識別組件122，該識別組件122可以是接收用戶所應(yīng)用(輸入)的用戶交互104的組件。識別組件122識別交互并且生成便于對交互所表明的圖形識別108的演示的結(jié)果。識別組件122采用ー個或多個識別器，該識別器為諸如箭頭、圖表等圖形表示120處理用戶交互104。另外，識 別組件122處理與圖形表示120 (內(nèi)部地)相關(guān)聯(lián)的注釋126。注釋是與交互(例如，筆劃)相關(guān)聯(lián)的被動數(shù)據(jù)收集。用戶不與注釋交互。注釋執(zhí)行其底層數(shù)據(jù)的基本變換(例如，箭頭注釋可檢索該箭頭注釋所指向的“対象”)。用戶交互104首先穿過識別組件122的識別器，該識別器進而可修改注釋126。在重繪事件期間，呈現(xiàn)組件128的呈現(xiàn)器閱讀該信息并對其進行顯示。呈現(xiàn)組件128包括用于呈現(xiàn)注釋126中的數(shù)據(jù)的不同的呈現(xiàn)器。呈現(xiàn)組件128可包括用于不同圖形表示類型(例如，圖表、箭頭、條形、圖例、標記菜單等)的不同的呈現(xiàn)器。雖然被描繪為計算組件106的一部分，但識別組件122和呈現(xiàn)組件128可在其外部來實現(xiàn)。例如，呈現(xiàn)組件128可以是演示組件114的一部分。用戶交互104可包括很多不同類型的交互(例如，筆劃)，使得被處理時，將對應(yīng)的用戶數(shù)據(jù)110作為(圖形表示120的)新的或被更新的圖形表示的一部分來呈現(xiàn)。識別組件122結(jié)合圖形表示108來添加(注釋126的)注釋。交互式組件102允許用戶直接地應(yīng)用用戶交互104到可視化界面(例如，顯示器表面、白板等)。筆劃可以是自由形式的筆劃，該筆劃由用戶(例如，標記筆、數(shù)字筆、觸摸等)(基于草繪)輸入并由識別組件122來識別用于完成圖形表示108。該自動完成特征同樣也應(yīng)用于此處描述的其他用戶輸入模態(tài)，諸如用于基于觸摸的輸入、基于筆的輸入等?；诓堇L的交互可基于符號來改變圖形表示108，通過應(yīng)用函數(shù)來變換用戶數(shù)據(jù)110，并且通過移除考慮中的圖例項(例如，通過在圖例項上應(yīng)用刪除線筆劃)來過濾用戶數(shù)據(jù)110。用戶交互104可包括多個輸入筆劃，該輸入筆劃被處理以對圖形表示108和相關(guān)聯(lián)的用戶數(shù)據(jù)110進行操作或者生成以不同的視覺方式來表征用戶數(shù)據(jù)110的新的圖形表
/Jn ο數(shù)字交互式組件102、數(shù)據(jù)分析和處理組件116、識別組件122、呈現(xiàn)組件128和演示組件114便于接收、處理和呈現(xiàn)多個并發(fā)的用戶交互、多個并發(fā)的用戶交互要檢索的相關(guān)聯(lián)且已表明的注釋、以及對應(yīng)的圖形表示。用戶交互104可被解釋為基于符號來改變圖形表示108，通過應(yīng)用函數(shù)來變換用戶數(shù)據(jù)110，并且通過刪除考慮中的菜單項(使用如用戶交互104的刪除線筆劃)來過濾用戶數(shù)據(jù)110。用戶交互104可以是用戶向數(shù)字交互式組件(例如，基于觸摸的表面、基于筆的表面等)直接應(yīng)用的自由形式的筆劃。用戶交互104可包括(來自單個用戶或多個用戶的)多個交互，該多個交互包括第二筆劃，該第二筆劃在被處理時將用戶數(shù)據(jù)110作為新的圖形視圖的一部分來呈現(xiàn)，該新的圖形視圖由筆劃和第二筆劃的組合來表明。用戶交互104可包括來自多個用戶的多個筆劃，該多個筆劃被并發(fā)地處理以對圖形視圖112和相關(guān)聯(lián)的用戶數(shù)據(jù)110操作或者生成用戶數(shù)據(jù)110的新的圖形視圖。演示組件112響應(yīng)于用戶交互104實時地將用戶數(shù)據(jù)投影到數(shù)字交互式組件102上，該用戶數(shù)據(jù)由圖形表示108和菜單項來表征。圖2示出了根據(jù)所公開的體系結(jié)構(gòu)的示例性基于草圖的交互式基于計算機的數(shù)據(jù)分析系統(tǒng)200的更詳細的實施例。應(yīng)當理解，這僅是一個示例實施例。替換的實施例可包括不同類型的識別器202、不同類型的注釋126、和圖表/圖組件204(例如，軸、點、條形等)。可以以帶有(作為識別組件122的一部分的)識別器202集合的“黑板”系統(tǒng)的形式來構(gòu)造和應(yīng)用系統(tǒng)200，該識別器集合在操作期間向系統(tǒng)添加信息。識別器202 (直接地或間接地)監(jiān)視特定類型的一個或多個傳入筆劃(例如，刪除筆劃)并基于筆劃結(jié)構(gòu)來添加注釋126。(呈現(xiàn)組件128的)呈現(xiàn)器204向屏幕或交互式表面(例如，白板)呈現(xiàn)注釋中的數(shù)據(jù)?？蓪⑿畔⒆鳛樽⑨?26來提供，注釋126隨后與(例如，基于筆的)筆劃集合相關(guān)聯(lián)。將筆劃添加到板(可視化表面、組件或界面)時，識別相關(guān)的特征(例如，箭頭)并且添加適當?shù)淖⑨?。同樣，擦?從考慮中移除)筆劃時，系統(tǒng)200刪除相關(guān)的注釋并且確保系統(tǒng)200的狀態(tài)與擦除一致。識別器202可包括，僅舉數(shù)例，圖表識別器、箭頭識別器、條形識別器、圖例識別器、和標記菜單識別器。圖表注釋126包括但不限于形狀圖例、標記菜單、顏色圖例、函數(shù)菜單、軸菜單、軸箭頭等。所呈現(xiàn)的圖表(圖形表示108)可包括諸如軸、刻度線、圖例、點、條形、一個或多個標記菜單、箭頭等圖形對象的集合。在一個實現(xiàn)中，可將識別器202的注冊表與對和識別器相關(guān)聯(lián)的模式的正式描述一同維護。或者，每個識別器可任意地實現(xiàn)其自身的模式，并且因此，不存在所利用的全局描述儲存庫。識別器202 “監(jiān)聽”對系統(tǒng)的更新，更新是(用戶所繪的)新筆劃還是(其他識別器添加的)新注釋。當筆劃被添加到板上時，全部正在監(jiān)聽的識別器得到通知，使得每個識別器可依此檢查該筆劃是否與識別器正在尋找的類型的項相匹配。單個筆劃可以觸發(fā)若干個筆劃識別器202，并且可被全部識別器202成功地匹配。因此，筆劃還可具有多個重疊的注釋126。例如，筆劃可被解釋為箭頭以及字母“t”。在這些解釋并存的情形中，單獨留下有歧義的解釋。當一個解釋排除了其他解釋時，更高級的識別器可移除發(fā)生沖突的注釋(例如，將任何文本注釋從作為軸被識別的箭頭剝離)。一旦更新發(fā)生，則由識別器202來適當?shù)匦薷淖⑨?26以確保每個注釋的底層含義與板上的筆劃相匹配。識別器202可以維護筆劃的若干不同注釋126，包括但不限于以下。另外，以下僅是可實現(xiàn)筆劃的某些示例。箭頭用戶可通過繪制軸的兩個箭頭(每個單獨地輸入)來開始繪圖過程。在一種設(shè)計中，出于性能原因，可采用單筆劃箭頭。箭頭注釋126由箭頭識別器來維護，該箭頭 識別器“監(jiān)聽”(或觀察)形狀像箭頭的原始筆劃。圖表一旦識別出作為軸的兩個(幾乎)交叉的箭頭，系統(tǒng)就創(chuàng)建該圖表的圖表注釋。在該結(jié)構(gòu)內(nèi)存儲的是圖表的語義信息，包括用戶加載的后端數(shù)據(jù)集、軸上的X和y軸刻度線的邏輯放置、以及哪列被加載到哪個軸。圖表注釋由僅監(jiān)聽交叉箭頭的特定識別器來創(chuàng)建，但是一旦被實例化，它則由其自己的監(jiān)聽軸刻度(原始筆劃)和軸標記(文本菜單/圖例注釋)更新的圖表識別器來管理。用戶向系統(tǒng)添加筆劃時，按需在內(nèi)部對筆劃進行注釋，并且結(jié)果向上級聯(lián)為涵蓋圖表注釋。通過獨立地處理多個圖表注釋，允許用戶繪制將適合屏幕(可視化表面或界面組件)的任何數(shù)量的圖表。軸圖例與每個圖表注釋一起創(chuàng)建的有兩個圖例注釋，顏色軸和形狀軸各一個。這些數(shù)據(jù)結(jié)構(gòu)保存關(guān)于(通過標記菜單注釋)為該軸選擇哪個數(shù)據(jù)列以及應(yīng)用到該列數(shù)據(jù)的過濾器的數(shù)據(jù)。圖例識別器保持這些注釋是最新的，該圖例識別器監(jiān)聽勾掉從列所填充的值的原始筆劃、以及對標記菜單注釋的修改哪個數(shù)據(jù)列被選擇用于該軸的改變。標記菜單標記菜單注釋可具有兩種形式。第一和最簡單的形式定義文本輸入的區(qū)域。用戶在區(qū)域中書寫時，相關(guān)聯(lián)的標記菜單識別器監(jiān)視所得的文本注釋(例如，從查詢返回到庫)，并且在可能的選項間選擇第一個部分匹配。例如，給定作為選項的列名稱(例如，“Country(國家)'“Population(人口)”、“Year(年份)”)的列表,筆劃集合一被注釋為“C”、“C0”、“C0U”等，標記菜單就將其選擇設(shè)置為“Country”。第二種類型的標記菜單在文本輸入?yún)^(qū)域下面顯示可用的選項列表。用戶隨后可以圈出該用戶期望選擇的選項。有了這種類型的標記菜單，菜單識別器還監(jiān)聽圈出選項的原始筆劃。一旦選項被圈出，識別器通過設(shè)置其選擇來更新注釋。第三種類型可包括其他兩種的組合，使得在用戶書寫文本時，系統(tǒng)示出與所輸入的文本相匹配(即，包括所輸入的文本)的列名稱的列表。條形當用戶在可視化表面或界面上繪制條形筆劃時，監(jiān)聽條形的識別器創(chuàng)建條形注釋。圖表識別器隨后檢查在該注釋中定義的條形是否與X軸交叉(相交)，并且若相交 存在則改變其對條形圖表的圖表注釋。雖然識別器202更新和管理注釋的底層數(shù)據(jù)，但呈現(xiàn)器204具有向用戶顯示在注釋126中定義的狀態(tài)的任務(wù)。每個注釋/識別器定義相交的方法，其細節(jié)通過改變板的外貌來傳遞給用戶。呈現(xiàn)可被限制為向板添加圖(而不移除或整理用戶筆劃)，以便鼓勵用戶通過先前的筆劃來修改圖表。所呈現(xiàn)的圖表在用戶繪制的軸和刻度線上覆蓋直線，并在板上正確的位置處繪制著色的點/符號/條形。它隨后調(diào)用標記菜單和圖例呈現(xiàn)器以便打印文本，該文本來自在圖表的文本輸入?yún)^(qū)域中手寫的經(jīng)識別的結(jié)果。識別器202可以與特定的注釋126以及呈現(xiàn)器204相關(guān)聯(lián)。例如，圖表識別器206可具有圖表注釋208和(例如呈現(xiàn)軸、刻度、圖例、點和條形的)圖表呈現(xiàn)器210。類似地，條形識別器212可具有相同的圖表注釋208和圖表呈現(xiàn)器210。箭頭識別器214可具有x/Y軸箭頭注釋216和箭頭呈現(xiàn)器218。圖例識別器220可具有形狀圖例注釋222和顏色圖例注釋224。標記菜單識別器226可具有形狀圖例標記菜單注釋228、顏色圖例標記菜單注釋230、函數(shù)菜單注釋232、和x/y軸菜單注釋234，以及標記菜單呈現(xiàn)器236。如所示的，這些僅是可采用的可能的識別器、注釋和呈現(xiàn)器中的一些。換言之，公開了包括數(shù)字交互式組件、識別組件、呈現(xiàn)組件、數(shù)據(jù)分析和處理組件、和演示組件的交互式系統(tǒng)，數(shù)字交互式組件將用戶交互作為直接向其應(yīng)用的筆劃來接收，識別組件識別筆劃并管理與筆劃集合相關(guān)聯(lián)的注釋，呈現(xiàn)組件呈現(xiàn)在注釋中定義的狀態(tài)，數(shù)據(jù)分析和處理組件對基于圖形表示的用戶數(shù)據(jù)執(zhí)行操作以便創(chuàng)建用戶數(shù)據(jù)的圖形視圖，演示組件呈現(xiàn)與筆劃和數(shù)字交互式組件相關(guān)聯(lián)的用戶數(shù)據(jù)的視圖。演示組件可響應(yīng)于用戶交互，實時地將圖形視圖和基于圖形表示的用戶數(shù)據(jù)的特征投影到數(shù)字交互式組件上。用戶交互可以是自由形式的筆劃，該筆劃表明圖表、圖、箭頭、圖例、菜單、縮放、過濾、著色、數(shù)據(jù)變換、或擦除中的至少一個。解釋并識別用戶交互以啟用對用戶數(shù)據(jù)的分析。處理用戶交互以啟用對基于符號或手勢的圖形表示的改變、經(jīng)由函數(shù)對用戶數(shù)據(jù)的變換、以及對用戶數(shù)據(jù)的過濾等。用戶交互可包括多個基于草圖的筆劃，該筆劃被應(yīng)用到數(shù)字交互式組件并被并發(fā)地識別以創(chuàng)建對應(yīng)的、所表明的圖形表示。圖3-5是根據(jù)所公開的體系結(jié)構(gòu)的用戶交互的各個階段以及圖形表示的系統(tǒng)/方法動作的一系列示例圖示。圖3示出了手動筆劃形式的對交互式表面300的基于草圖的自由形式的輸入，該筆劃表示圖表302的圖形表示的軸。最初，用戶劃出(草繪)垂直筆劃304和相交的水平筆劃306 (或相反)，其交集被圖表識別器識別為圖表302的x-y軸。注意，對相交的輸入筆劃的使用僅是表明圖表或圖的一種技術(shù)。例如，另一種技術(shù)可以是向箭頭應(yīng)用刻度線。可以按需使用其它方法。響應(yīng)于圖表識別器確定筆劃(304和306 )被表明是圖表302的軸，圖表識別器自動地繪制機器生成的軸(308和310，以偏移的方式示出用于查看)?；蛘撸缜八?，可以捕捉并呈現(xiàn)粗略的用戶創(chuàng)建的筆劃。一旦用戶粗略地劃出垂直筆劃304和水平筆劃306，系統(tǒng)就在手繪筆劃(304和306)周圍自動地覆蓋X、Y、顏色和形狀的輸入?yún)^(qū)域(未示出)。用戶隨后選擇以按照國家來分析數(shù)據(jù)，并且感知“國家或地區(qū)”是表面300左側(cè)的各列列表312中的選項。因此，用戶在水平軸310附近的標記區(qū)域314(可被標記為“X-軸”)中劃出字母“C”。當用戶抬起輸入設(shè)備(例如，光筆)并選擇列表312的“國家或地區(qū)”作為軸標記的最佳選擇時，系統(tǒng)將該筆劃作為文本來識別。經(jīng)標記的刻度線隨后也可出現(xiàn)(被應(yīng)用)在用于該列中數(shù)據(jù)值的子集的機器生成的X-軸310上。如果用戶隨后想要y_軸308上的產(chǎn)值，則用戶在標記輸入?yún)^(qū)域316 (例如，被標記為“Y-軸”)中劃出字母“R”(用于“值(Rate)”)。系統(tǒng)隨后將y_軸308標記為“值”并向y-軸308添加經(jīng)標記的刻度(例如，值I、值2等)，跨“值”列中的值的范圍均勻地間隔。一旦填充了 X-和I-軸，系統(tǒng)隨后就按照每列中的值繪制與每行相對應(yīng)的點(例如，因此將劃出國家I的行，國家I具有值I的值)。如果用戶現(xiàn)在期望查看每個國家的最大值，則用戶可經(jīng)由函數(shù)菜單318對每個國家的數(shù)據(jù)應(yīng)用最大值函數(shù)。例如，用戶發(fā)現(xiàn)函數(shù)菜單318并在函數(shù)菜單項“最大”周圍繪制圓形筆劃以選擇最大值函數(shù)。作為響應(yīng)，系統(tǒng)隨后將通過單點來呈現(xiàn)每個國家(未示出)。注意，用戶可以手動地書寫詞語“函數(shù)”，或在交互式表面300上繪制手勢以指定函數(shù)，這隨后被識別并被解釋以便帶來由計算組件所呈現(xiàn)的交互式函數(shù)菜單。類似地，用戶可以手動地書寫詞語“顏色”，或在交互式表面300上繪制用于顏色的手勢，這隨后被識別并被解釋以便帶來由計算組件所呈現(xiàn)的交互式顏色菜單。圖4示出了用戶對數(shù)據(jù)點平均值的按照年份的選擇。在此，將內(nèi)部注釋作為包括顏色、形狀、函數(shù)等的標記菜單向用戶展示。函數(shù)標記菜單展開以展示各種類型的函數(shù)，諸如平均值(AVERAGE)、最大值(MAX)、最小值(MIN)、標準差(STDDEV)、和求和(SUM)。也可以采用其它函數(shù)。如果用戶現(xiàn)在希望看到每個國家的平均值，那么用戶可以擦除圍繞“MAX”的選擇筆劃，而相反地，在函數(shù)菜單上草繪入字母“A”。系統(tǒng)立刻將文本識別為指示對選擇“AVERAGE”的選擇，并且隨后提取每個國家的數(shù)據(jù)點向下直到該國全部值的平均值。另外，用戶隨后可更改圖表302以查看每年的值。因此，用戶在擦除用于指定國家或地區(qū)的字母“C”之后開始在X-軸區(qū)域中草繪多個字母“year”，系統(tǒng)識別該草圖并將x軸維度從國家改變?yōu)槟攴?。系統(tǒng)自動地重新處理用戶數(shù)據(jù)以滿足圖表軸維度和等級。
用戶可以選擇以條形圖的形式來查看數(shù)據(jù)。例如，用戶可以劃出與X-軸相交的部分矩形500( “條形”的一般形狀)，擦除圖4中構(gòu)成每個點的小圓圈并用條形來代替。圖5示出了基于所建議的用戶自由形式的輸入而自動地創(chuàng)建的條形圖。注意，即使存在多個y-軸值時，用戶也可切換到條形圖。在傳統(tǒng)工具中切換圖表的樣式通常需要遍歷菜單和窗口的集合。相反，并且根據(jù)所公開的體系結(jié)構(gòu)，數(shù)據(jù)適當?shù)馗淖兤浔硎荆虼嗽试S用戶保持聚焦在數(shù)據(jù)上，而不是相交方法。圖6示出了對顏色和形狀的使用。用戶可以檢查在圖4右列上列出的列名稱的列表，并選擇在標記有“顏色？ ”的文本輸入框中書寫“C”。該文本被識別為“國家或地區(qū)”，如圖6的表面300所指示的，在標記(國家或地區(qū))下面填充該數(shù)據(jù)列(“國家1”、“國家2”等)中的唯一值，每個值被列出在顏色框(顏色C1、C2、C3等)附近。同時，根據(jù)“國家或地區(qū)”列中的該行的值對(與數(shù)據(jù)集中一行相對應(yīng)的)每個點進行著色(例如，國家I是顏色1，國家2是顏色2等)。再次參考圖4，用戶通過在標記了“形狀？ ”的標記區(qū)域中劃出字母“S”來繼續(xù)時， 在標記下面填充圖6 “源級I”列中的唯一值(例如，“警察”和“公共健康”)，每個位于與該值的符號相對應(yīng)的小字形(例如，符號SI和符號S2)附近，并且散點圖表中的各點保留來自前一操作的它們的顏色，但是根據(jù)形狀圖例軸來改變形狀。—般而言，根據(jù)圖6,用戶輸入垂直筆劃304和相交的水平筆劃306。系統(tǒng)自動地將相交識別為表明圖表302的軸。另外，對于軸維度，將諸如對垂直筆劃304的值的“R”等自由形式的輸入識別為文本，并且系統(tǒng)在垂直筆劃304 (或軸308)附近自動地插入“值”。類似地，在水平筆劃306 (或軸310)附近插入拼寫“年”的自由形式的筆劃，該筆劃被文本識別器解釋(識別)為年份，并且因此在沿著水平筆劃306的可視化表面300中呈現(xiàn)術(shù)語年份。用戶想要探查對若干不同國家在20世紀90年代和21世紀前10年的年間的產(chǎn)值進行制圖的數(shù)據(jù)集時，用戶通過選擇以將用戶數(shù)據(jù)集加載到工具(所公開的體系結(jié)構(gòu))中來開始。一旦加載了數(shù)據(jù)集，用戶隨后就可以在可視化表面300(例如，基于筆的平板)上 繪制筆劃(304和306)，并且系統(tǒng)自動地檢索和呈現(xiàn)與圖表302相關(guān)的注釋以供用戶交互。一旦用戶粗略地劃出垂直軸等級(也被稱為刻度線或刻度)和水平等級，系統(tǒng)就自動地在手繪軸的周圍覆蓋X、Y、顏色(Cl =顏色I)和形狀(形狀SI = X，并且形狀S2 = Λ )的輸入?yún)^(qū)域。由于界面適合用戶筆劃(304和306)，因此用戶可以輕松地繪制多個小圖表、單個大圖表、或用戶所期望的圖表的任意組合。(在傳統(tǒng)工具中，一次查看多個圖表是低效率的，因為交互包括在屏.中打開和排列窗口。)傳統(tǒng)的工具需要人們改變從繪圖以指定列到軸的映射的模式，要么通過菜單和窗口的集合，要么通過從列表中拖出列值。所公開的體系結(jié)構(gòu)的在軸標記中書寫的方法提供了修改最終圖的直接手段，并且不需要關(guān)于特定的菜單選項的任何專門知識。體系結(jié)構(gòu)還便于縮放和過濾。為了查看某些經(jīng)接近地聚類的點中的差別，用戶可選擇重新縮放I-軸，使得將較低的值在圖上示出得較高。這可以通過跨I-軸草繪較小的水平刻度線來實現(xiàn)，最初用該軸上該點處的當前值以及提示文本輸入的框來標記。用戶隨后可在刻度的文本框中寫下尺寸值，并且軸的值重新縮放，使得尺寸從零跨越到手寫的(尺寸值的)刻度，其余的值通過橫跨其余垂直軸的最大值來形成尺寸值。過濾可對軸進行重新縮放。用戶可以替換地通過顏色圖例中的文本“國家2”來繪制短線段。一旦文本被勾掉，該文本變?yōu)椴煌念伾?例如，紅色)以指示該值現(xiàn)在被過濾掉，并且圖表上不再繪制將“國家2”作為其“國家或地區(qū)”的點。用戶可以每次一個或用更長的垂直筆劃來繼續(xù)勾掉國家標記，直到其中僅剩余用戶感興趣的點。y_軸尺寸適合零到國家I的最大值的范圍，用戶可以清晰地看到兩個值之間的差別。為了提供適當?shù)膱D表修改，用戶可以按需擦除筆劃。用戶可以例如輕擊表面300的“擦除”按鈕、或按下筆上的筒狀按鈕以便進入擦除模式。在該模式中時，屏幕可被配置為轉(zhuǎn)變?yōu)椴煌念伾韵蛴脩舯硎驹撃Ｊ?，并且移除圖表302中考慮的用戶用筆勾掉的任何筆劃。抬起筆就退出了擦除模式。
在交互式過程中的任一點處，系統(tǒng)可以存儲用戶輸入的當前狀態(tài)以及所呈現(xiàn)的圖形視圖。這可以手動地初始化或被配置為自動地執(zhí)行。因此，用戶可在稍后時間檢索已存儲的圖形視圖以供進一步的用戶交互。此處所包括的是表示用于執(zhí)行所披露的體系結(jié)構(gòu)的新穎方面的示例性方法的一組流程圖。盡管出于解釋簡明的目的，此處例如以流圖表或流程圖形式示出的一個或多個方法被示出并描述為一系列動作，但是可以理解和明白，各方法不受動作的次序的限制，因為根據(jù)本發(fā)明，某些動作可以按不同的次序和/或與此處所示并描述的其它動作同時發(fā)生。例如，本領(lǐng)域技術(shù)人員將會明白并理解，方法可被替換地表示為一系列相互關(guān)聯(lián)的狀態(tài)或事件，諸如以狀態(tài)圖的形式。此外，并非在一方法中示出的所有動作都是新穎實現(xiàn)所必需的。圖7示出了根據(jù)所公開的體系結(jié)構(gòu)的計算機實現(xiàn)的方法。在700，將自由形式的筆劃接收到筆劃輸入界面中。輸入可以是被應(yīng)用到數(shù)字白板或例如觸摸屏等的手動輸入的用戶筆劃。在702，筆劃被識別為與圖形表示相關(guān)。筆劃(通過一個或多個識別器)被識別并被映射到諸如圖、圖表、箭頭等圖形表示。在704，管理與圖形表示相關(guān)聯(lián)的注釋。在706，將圖形表示應(yīng)用到用戶數(shù)據(jù)以創(chuàng)建用戶數(shù)據(jù)的圖形視圖。在708，將圖形視圖和交互式菜單作為圖形視圖的一部分來呈現(xiàn)?？梢越?jīng)由交互式組件(例如，計算機顯示器)將演示投影到白板等。在710，接收并處理帶有圖形視圖的新的用戶交互。換言之，如果用戶改變了圖的軸上的尺寸或維度，則自動地重新計算數(shù)據(jù)以適合該圖。在712，根據(jù)新的用戶交互來變換用戶數(shù)據(jù)。例如，將用戶數(shù)據(jù)從條形圖變換成餅圖，或基于條形圖的一部分的詳細視圖等來變換用戶數(shù)據(jù)。圖8示出圖7的方法的更多方面。應(yīng)注意，這一流程表明每一個框可代表一個步驟，其可單獨或者與其他框結(jié)合，作為圖7所示的流程圖所表示的方法的額外方面。在800，在筆劃被應(yīng)用到數(shù)字交互式組件時對其進行識別，將圖表作為筆劃所表明的圖形表示來呈現(xiàn)，呈現(xiàn)列表，并且與圖表相關(guān)地呈現(xiàn)交互式標記項。在802，通過多個識別器自動地處理筆劃，解決識別器的發(fā)生沖突的筆劃解釋，并且管理適于筆劃的注釋。在804，基于對應(yīng)的新筆劃來切換新樣式的圖形表示。在806，基于縮放筆劃來縮放用戶數(shù)據(jù)，并且基于過濾筆劃來對用戶數(shù)據(jù)進行過濾。在808，基于與新的用戶交互相關(guān)聯(lián)的數(shù)據(jù)函數(shù)來變換用戶數(shù)據(jù)。
如在本申請中所使用的，術(shù)語“組件”和“系統(tǒng)”旨在表示計算機相關(guān)的實體，其可以是硬件、軟件和有形硬件的組合、軟件、或者執(zhí)行中的軟件。例如，組件可以是，但不限于，諸如處理器、芯片存儲器、大容量存儲設(shè)備(例如，光驅(qū)、固態(tài)驅(qū)動器、和/或磁存儲介質(zhì)驅(qū)動器)、以及計算機等有形組件，以及諸如運行在處理器上的進程、對象、可執(zhí)行碼、數(shù)據(jù)結(jié)構(gòu)(儲存于易失性或非易失性儲存介質(zhì))、模塊、執(zhí)行的線程和/或程序等軟件組件。作為說明，在服務(wù)器上運行的應(yīng)用和服務(wù)器兩者都可以是組件。一個或多個組件可以駐留在進程和/或執(zhí)行的線程內(nèi)，且組件可以位于一臺計算機上和/或分布在兩臺或更多的計算機之間。詞語“示例性”在此處可用于表示用作示例、實例或說明。在此被描述為“示例性”的任何方面或設(shè)計并不一定要被解釋為相比其它方面或設(shè)計更優(yōu)選或有利?，F(xiàn)在參考圖9，存在根據(jù)所公開的體系結(jié)構(gòu)的計算系統(tǒng)900的框圖，該計算系統(tǒng)執(zhí)行與計算機輔助的數(shù)據(jù)分析的基于草圖的交互。為了提供用于其各方面的附加上下文 ，圖9及以下討論旨在提供對其中可實現(xiàn)各方面的合適的計算系統(tǒng)900的簡要概括描述。盡管以上描述是在可在一個或多個計算機上運行的計算機可執(zhí)行指令的一般上下文中進行的，但是本領(lǐng)域的技術(shù)人員將認識到，新穎實施例也可結(jié)合其它程序模塊和/或作為硬件和軟件的組合來實現(xiàn)。用于實現(xiàn)各方面的計算系統(tǒng)900包括計算機902，其具有處理單元904、諸如系統(tǒng)存儲器906等的計算機可讀存儲、以及系統(tǒng)總線908。處理單元904可以是各種市場上可購得的處理器中的任一種，諸如單處理器、多處理器、單核單元以及多核單元。此外，本領(lǐng)域的技術(shù)人員可以理解，新穎方法可用其它計算機系統(tǒng)配置來實施，包括小型機、大型計算機、以及個人計算機(例如、臺式、膝上型等)、手持式計算設(shè)備、基于微處理器的或可編程消費電子產(chǎn)品等，其每一個都可在操作上耦合到一個或多個相關(guān)聯(lián)的設(shè)備。系統(tǒng)存儲器906可包括計算機可讀存儲(物理存儲介質(zhì))，如易失性(VOL)存儲器910 (例如，隨機存取存儲器(RAM))和非易失性存儲器(NON-VOL)912 (如ROM、EPROM、EEPROM等)?；据斎?輸出系統(tǒng)(BIOS)可被存儲在非易失性存儲器912中，并且包括諸如在啟動期間便于在計算機902內(nèi)的組件之間傳遞數(shù)據(jù)和信號的基本例程。易失性存儲器910還可包括諸如靜態(tài)RAM等高速RAM來用于高速緩存數(shù)據(jù)。系統(tǒng)總線908提供了用于包括，但不限于系統(tǒng)存儲器906的系統(tǒng)組件到處理單元904的接口。系統(tǒng)總線908可以是若干種總線結(jié)構(gòu)中的任一種，這些總線結(jié)構(gòu)還可使用各類市場上可購得的總線體系結(jié)構(gòu)中的任一種互連到存儲器總線(帶有或沒有存儲器控制器)以及外圍總線(例如，PCI、PCIe、AGP、LPC等)。計算機902還包括機器可讀存儲子系統(tǒng)914以及用于將存儲子系統(tǒng)914接口到系統(tǒng)總線908和其他所需計算機組件的存儲接口 916。存儲子系統(tǒng)914 (物理存儲介質(zhì))可包括例如硬盤驅(qū)動器(HDD)、磁軟盤驅(qū)動器(FDD)和/或光盤存儲驅(qū)動器(例如，⑶-ROM驅(qū)動器、DVD驅(qū)動器)中的一種或多種。存儲接口 916可包括諸如，例如EIDE、ATA、SATA和IEEE1394等接口技術(shù)。一個或多個程序和數(shù)據(jù)可被存儲在存儲器子系統(tǒng)906、機器可讀和可移動存儲器子系統(tǒng)918 (例如，閃存驅(qū)動器形狀因子技術(shù))和/或存儲子系統(tǒng)914 (例如，光、磁、固態(tài))中，這些程序和數(shù)據(jù)包括操作系統(tǒng)920、一個或多個應(yīng)用程序922、其他程序模塊924以及程序數(shù)據(jù)926。
操作系統(tǒng)920、一個或多個應(yīng)用程序922、其他程序模塊924以及程序數(shù)據(jù)926可包括例如圖I的系統(tǒng)100的實體和組件、圖2的系統(tǒng)200的實體和組件、圖3-6的圖示的實體和組件、以及圖7和圖8的流程圖所表示的方法。一般而言，程序包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、方法、數(shù)據(jù)結(jié)構(gòu)、其它軟件組件等等。操作系統(tǒng)920、應(yīng)用程序922、模塊924和/或數(shù)據(jù)926的全部或部分也可被高速緩存在諸如易失性存儲器910等的存儲器中。應(yīng)該明白，所披露的體系結(jié)構(gòu)可以用各種市場上可購得的操作系統(tǒng)或操作系統(tǒng)的組合(例如，作為虛擬機)來實施。存儲子系統(tǒng)914和存儲器子系統(tǒng)(906和918)用作用于數(shù)據(jù)、數(shù)據(jù)結(jié)構(gòu)、計算機可執(zhí)行指令等的易失性和非易失性存儲的計算機可讀介質(zhì)。這些指令當由計算機或其他機器執(zhí)行時，可使得計算機或其他機器執(zhí)行方法的一個或多個動作。執(zhí)行動作的指令可被存儲在一個介質(zhì)上，或者可跨多個介質(zhì)存儲，使得指令共同出現(xiàn)在一個或多個計算機可讀存儲介質(zhì)上，而不管所有指令是否都在同一介質(zhì)上。
計算機可讀介質(zhì)可以是可由計算機902訪問的任何可用介質(zhì)，且包括可移動和不可移動的易失性和非易失性、內(nèi)部和/或外部介質(zhì)。對于計算機902，介質(zhì)以任意適當?shù)臄?shù)字格式容納數(shù)據(jù)的存儲。本領(lǐng)域的技術(shù)人員應(yīng)當理解，可使用其他類型的計算機可讀介質(zhì)，如zip驅(qū)動器、磁帶、閃存卡、閃存驅(qū)動器、磁帶盒等來存儲用于執(zhí)行所披露的體系結(jié)構(gòu)的新穎方法的計算機可執(zhí)行指令。用戶可以使用諸如鍵盤和鼠標等外部用戶輸入設(shè)備928來與計算機902、程序和數(shù)據(jù)交互。其它外部用戶輸入設(shè)備928可包括話筒、IR(紅外)遠程遙控器、操縱桿、游戲手柄、照相機識別系統(tǒng)、指示筆、觸摸屏、手勢系統(tǒng)(例如，眼移動、頭移動等)和/或類似物。在計算機902是例如便攜式計算機的情況下，用戶可以使用諸如觸摸墊、話筒、鍵盤等板載用戶輸入設(shè)備930來與計算機902、程序和數(shù)據(jù)交互。這些和其它輸入設(shè)備通過輸入/輸出(I/O)設(shè)備接口 932經(jīng)由系統(tǒng)總線904連接到處理單元908，但也可通過其它接口連接，如并行端口、IEEE 1394串行端口、游戲端口、USB端口、IR接口、短程無線(例如藍牙)和其它個人區(qū)域網(wǎng)絡(luò)(PAN)技術(shù)等。I/O設(shè)備接口 932也便于輸出外圍設(shè)備934的使用，如打印機、音頻設(shè)備、攝像設(shè)備等，如聲卡和/或板載音頻處理能力。一個或多個圖形接口 936 (通常也稱為圖形處理單元(GPU))提供在計算機902和外部顯示器938 (例如，IXD、等離子)和/或板載顯示器940 (例如，對于便攜式計算機)之間的圖形和視頻信號。圖形接口 936也可作為計算機系統(tǒng)板的一部分來制造。計算機902可以使用經(jīng)由有線/無線通信子系統(tǒng)942到一個或多個網(wǎng)絡(luò)和/或其他計算機的邏輯連接在聯(lián)網(wǎng)環(huán)境(例如，基于IP的)中操作。其他計算機可包括工作站、服務(wù)器、路由器、個人計算機、基于微處理器的娛樂設(shè)備、對等設(shè)備或其他常見的網(wǎng)絡(luò)節(jié)點，并且通常包括以上相對于計算機902描述的許多或所有元件。邏輯連接可包括到局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、熱點等的有線/無線連接。LAN和WAN聯(lián)網(wǎng)環(huán)境常見于辦公室和公司，并且方便了諸如內(nèi)聯(lián)網(wǎng)等企業(yè)范圍計算機網(wǎng)絡(luò)，所有這些都可連接到例如因特網(wǎng)等全球通信網(wǎng)絡(luò)。當在聯(lián)網(wǎng)環(huán)境中使用時，計算機902經(jīng)由有線/無線通信子系統(tǒng)942 (例如，網(wǎng)絡(luò)接口適配器、板載收發(fā)機子系統(tǒng)等)連接到網(wǎng)絡(luò)來與有線/無線網(wǎng)絡(luò)、有線/無線打印機、有線/無線輸入設(shè)備944等通信。計算機902可包括用于通過網(wǎng)絡(luò)建立通信的調(diào)制解調(diào)器或其他裝置。在聯(lián)網(wǎng)環(huán)境中，相對于計算機902，程序和數(shù)據(jù)可被存儲在遠程存儲器/存儲設(shè)備中，如與分布式系統(tǒng)相關(guān)聯(lián)。應(yīng)該理解，所示網(wǎng)絡(luò)連接是示例性的，并且可以使用在計算機之間建立通信鏈路的其他手段。計算機902可用于使用諸如IEEE 802. xx標準家族等無線電技術(shù)來與有線/無線設(shè)備或?qū)嶓w通信，例如在操作上安置在與例如打印機、掃描儀、臺式和/或便攜式計算機、個人數(shù)字助理(PDA)、通信衛(wèi)星、任何一件與無線可檢測標簽相關(guān)聯(lián)的設(shè)備或位置(例如，電話亭、報亭、休息室)以及電話的無線通信(例如，IEEE 802. 11空中調(diào)制技術(shù))中的無線設(shè)備。這至少包括用于熱點的Wi-Fi (即無線保真)、WiMax和藍牙 無線技術(shù)。由此，通信可以是如對于常規(guī)網(wǎng)絡(luò)那樣的預(yù)定義結(jié)構(gòu)，或者僅僅是至少兩個設(shè)備之間的自組織(adhoc)通信。Wi-Fi網(wǎng)絡(luò)使用稱為IEEE 802. llx(a、b、g等等)的無線電技術(shù)來提供安全、可靠、快速的無線連接。Wi-Fi網(wǎng)絡(luò)可用于將計算機彼此連接、連接到因特網(wǎng)以及連接到有線網(wǎng)絡(luò)(使用IEEE 802. 3相關(guān)的介質(zhì)和功能)。上面描述的包括所披露的體系結(jié)構(gòu)的各示例。當然，描述每一個可以想到的組件和/或方法的組合是不可能的，但本領(lǐng)域內(nèi)的普通技術(shù)人員應(yīng)該認識到，許多其它組合和 排列都是可能的。因此，該新穎體系結(jié)構(gòu)旨在涵蓋所有這些落入所附權(quán)利要求書的精神和范圍內(nèi)的更改、修改和變化。此外，就在詳細描述或權(quán)利要求書中使用術(shù)語“包括”而言，這一術(shù)語旨在以與術(shù)語“包含”在被用作權(quán)利要求書中的過渡詞時所解釋的相似的方式為包含性的。
權(quán)利要求
1.一種交互式系統(tǒng)(100),包括 數(shù)字交互式組件(102)，接收用戶交互； 計算組件(106)，將所述用戶交互解釋為與圖形表示相關(guān)，管理與所述圖形表示相關(guān)聯(lián)的注釋，并且可選地，基于所述用戶交互對用戶數(shù)據(jù)執(zhí)行操作以便創(chuàng)建所述用戶數(shù)據(jù)的圖形視圖； 演示組件(114)，呈現(xiàn)與所述用戶交互和所述數(shù)字交互式組件相關(guān)聯(lián)的所述圖形視圖；以及 處理器，其執(zhí)行與所述數(shù)字交互式組件、所述計算組件、或所述演示組件中的至少ー個相關(guān)聯(lián)的計算機可執(zhí)行指令。
2.如權(quán)利要求I所述的系統(tǒng)，其特征在于，還包括識別組件和呈現(xiàn)組件，所述識別組件包括一個或多個識別器，所述識別器處理所述用戶交互以便與圖形表示相關(guān)聯(lián)，所述呈現(xiàn)組件包括呈現(xiàn)在所述注釋中定義的狀態(tài)的ー個或多個呈現(xiàn)器。
3.如權(quán)利要求I所述的系統(tǒng)，其特征在于，所述數(shù)字交互式組件和所述計算組件便于要呈現(xiàn)的多個并發(fā)的用戶交互以及對應(yīng)的圖形表示。
4.如權(quán)利要求I所述的系統(tǒng)，其特征在于，所述用戶交互被解釋為基于符號或手勢來改變所述圖形表示，通過應(yīng)用函數(shù)來變換用戶數(shù)據(jù)，以及通過移除考慮中的菜單項來過濾所述用戶數(shù)據(jù)。
5.如權(quán)利要求I所述的系統(tǒng)，其特征在于，所述用戶交互是直接應(yīng)用到所述數(shù)字交互式組件的自由形式的筆劃，并且所述演示組件響應(yīng)于所述用戶交互將所述圖形表示實時地投影到所述數(shù)字交互式組件上，帶有原始筆劃的詳細圖形視圖是可存儲的且可檢索的以供以后的用戶交互。
6.一種計算機實現(xiàn)的方法，包括以下動作 將自由形式的筆劃接收到筆劃輸入界面中(700)； 將所述筆劃識別為與圖形表示相關(guān)(702)； 管理與所述圖形表示相關(guān)聯(lián)的注釋(704)； 將所述圖形表示應(yīng)用到用戶數(shù)據(jù)以創(chuàng)建所述用戶數(shù)據(jù)的圖形視圖(706)； 呈現(xiàn)所述圖形視圖和作為所述圖形視圖一部分的交互式菜單(708)； 用所述圖形視圖來處理新的用戶交互(710)； 根據(jù)所述新的用戶交互來變換所述用戶數(shù)據(jù)(712);以及 利用執(zhí)行存儲于存儲器中的指令的處理器來執(zhí)行接收、識別、管理、應(yīng)用、呈現(xiàn)、處理或變換中的至少ー個動作。
7.如權(quán)利要求6所述的方法，其特征在于，還包括在所述筆劃被應(yīng)用到數(shù)字交互式組件時對其進行識別，并且呈現(xiàn)作為所述筆劃所表明的圖形表示的圖表、列表、以及與所述圖表相關(guān)的交互式標記項。
8.如權(quán)利要求6所述的方法，其特征在于，還包括通過多個識別器自動地處理所述筆劃，解決所述識別器的發(fā)生沖突的筆劃解釋，以及管理適于所述筆劃的注釋。
9.如權(quán)利要求6所述的方法，其特征在干，還包括基于對應(yīng)的新筆劃來切換到新樣式的圖形表示。
10.如權(quán)利要求6所述的方法，其特征在于，還包括基于縮放筆劃來縮放所述用戶數(shù)據(jù)，基于過濾筆劃來過濾所述用戶數(shù)據(jù)，以及基干與新的用戶交互相關(guān)聯(lián)的數(shù)據(jù)函數(shù)來變 換所述用戶數(shù)據(jù)。
全文摘要
本發(fā)明涉及基于草圖的交互與計算機數(shù)據(jù)分析的集成。公開了將諸如自由形式的草圖等自然用戶交互的益處與計算機輔助制圖相集成的體系結(jié)構(gòu)。該體系結(jié)構(gòu)將利用多種模態(tài)(例如，草圖、多點觸摸等)的自然用戶交互與計算機支持的數(shù)據(jù)分析進行集成，該數(shù)據(jù)分析允許用戶通過使用簡單筆劃繪圖來探查數(shù)據(jù)。自然用戶交互可用于通過繪制符號來改變圖表類型，通過應(yīng)用函數(shù)來變換數(shù)據(jù)，通過在圖例上繪制刪除線來過濾數(shù)據(jù)等。另外，體系結(jié)構(gòu)從用戶繪制的筆劃來推斷用戶所想要的可視化，諸如圖的軸、標記的詞語等。在適當時，體系結(jié)構(gòu)自動地完成可視化。
文檔編號G06F3/048GK102707875SQ20121005744
公開日2012年10月3日 申請日期2012年3月6日 優(yōu)先權(quán)日2011年3月7日
發(fā)明者B·李, J·布朗尼, N·里奇, S·卡彭代爾, T·舍伍德 申請人:微軟公司