專利名稱：用來把用戶筆跡和用戶可寫單元相關(guān)聯(lián)的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的實(shí)施例涉及交互式設(shè)備的領(lǐng)域。更準(zhǔn)確地說，本發(fā)明的實(shí)施例涉及筆式交互式設(shè)備。
背景技術(shù)：
諸如光學(xué)閱讀器或者光筆的設(shè)備通常發(fā)出光，該光從表面發(fā)射到一個(gè)探測(cè)器或者影像器上。當(dāng)該設(shè)備相對(duì)于該表面移動(dòng)(或者相反)時(shí)，獲取連續(xù)的圖像。通過分析這些圖像，可以跟蹤該光學(xué)設(shè)備在該表面上的相對(duì)移動(dòng)。
一種類型的光筆與一張其上打印有非常小的點(diǎn)的紙一起使用。這些點(diǎn)以一種大約0.3毫米(0.01英寸)的額定間隔的模式打印在該紙上。在該紙上任何區(qū)域上的點(diǎn)的模式相對(duì)于該區(qū)域都是唯一的。該光筆以每秒大約100次或者更多次數(shù)來主要獲取該表面的快照。通過解釋在每個(gè)快照中獲取的點(diǎn)位，該光筆可以準(zhǔn)確地判斷其在該紙上的相對(duì)位置。
那些利用有關(guān)光筆相對(duì)于表面的位置的信息的應(yīng)用已經(jīng)被發(fā)明或者正在被發(fā)明。一種帶有藍(lán)牙或者其它無線能力的光筆可以被連接到其它設(shè)備上并被用來發(fā)送電子郵件(E-mail)或者傳真。
內(nèi)置計(jì)算機(jī)系統(tǒng)不斷增強(qiáng)的能力和它們能夠?qū)崿F(xiàn)功能的復(fù)雜程度已經(jīng)產(chǎn)生了一種需求以用來更直觀和更加用戶友好地使用這些能力。一種典型的現(xiàn)有技術(shù)的光筆將通過用戶操作該光筆的一個(gè)或者多個(gè)按鈕/開關(guān)或者控件來激活一個(gè)或者多個(gè)軟件程序、例行程序、內(nèi)置設(shè)備或者類似東西來實(shí)現(xiàn)它的預(yù)定功能。該光筆可以包括一個(gè)計(jì)算機(jī)系統(tǒng)或者與其進(jìn)行通信。通過這些控件的動(dòng)作，該筆設(shè)備執(zhí)行它的預(yù)定功能。通過該筆本身所提供的有限數(shù)量的開關(guān)、按鈕等和配置，或者通過任何遠(yuǎn)程連接到其上面的計(jì)算機(jī)系統(tǒng)設(shè)備來使用能力不斷增強(qiáng)的光筆的性能不是一個(gè)滿意的安排。
一種現(xiàn)有技術(shù)的解決方法使用光筆來識(shí)別一個(gè)用于定義的命令，并使用該命令來調(diào)用該筆的某個(gè)功能(例如PCT申請(qǐng)WO/01/48590 A1)。例如，用戶的筆跡可以被識(shí)別(例如實(shí)時(shí)地)并被解釋為該光筆的一個(gè)命令。這種方案的缺陷在于這樣的實(shí)事，即交互和該筆功能的控制需要實(shí)時(shí)地識(shí)別用戶筆跡(例如當(dāng)用戶在紙上寫下該命令時(shí))。這種方案不是一個(gè)滿意的方案，因?yàn)榕c一個(gè)光筆更復(fù)雜功能的交互需要用戶重復(fù)地寫下一個(gè)或者更多命來來使用該筆所提供的不同選擇、選項(xiàng)、或者功能。另外，筆跡識(shí)別要求計(jì)算地精確，并且可能消耗大量的能力資源。還有，識(shí)別僅可用于已知的字符，不能用于圖形、圖像，或者其它未被識(shí)別的符號(hào)。

發(fā)明內(nèi)容
因此，對(duì)于交互式設(shè)備，需要提供一種有效的用戶接口以用來把用戶筆跡與用戶可寫單元相關(guān)聯(lián)。對(duì)于交互式設(shè)備，還需要能夠滿足上述需要并能音頻提示該用戶來繪制所述的用戶可寫單元。對(duì)于交互式設(shè)備，還需要能夠滿足上述地需要并且部要求處理和識(shí)別該用戶的筆跡。
這里說明本發(fā)明的多個(gè)實(shí)施例，一種用于把用戶筆跡與用戶可寫單元相關(guān)聯(lián)的方法。音頻提示用戶在表面上繪制一個(gè)用戶可寫單元。該用戶可寫單元包括，但又不局限于，一個(gè)字符串、一個(gè)單詞、一個(gè)符號(hào)、一個(gè)圖形單元、一個(gè)圖形、或者其它用戶繪制項(xiàng)目。在一個(gè)實(shí)施例中，音頻提示用戶在該表面的特定區(qū)域內(nèi)繪制該用戶可寫單元。
在該表面探測(cè)用戶筆跡。僅僅探測(cè)到用戶筆跡上存在時(shí)，并不處理和識(shí)別該用戶筆跡。在一個(gè)實(shí)施例中，當(dāng)正在響應(yīng)該音頻提示時(shí)，一個(gè)用戶筆跡被判定，從而確定該用戶筆跡是否是緊跟著該音頻提示后的第一用戶筆跡。記錄該用戶筆記在該表面上的位置。該位置與所述的用戶可寫單元相關(guān)聯(lián)。在一個(gè)實(shí)施例中，為了響應(yīng)與該用戶筆跡的交互，執(zhí)行一個(gè)與該用戶可寫單元相關(guān)聯(lián)的動(dòng)作。
在一個(gè)實(shí)施例中，在該表面上識(shí)別一個(gè)與一個(gè)輸入功能相關(guān)聯(lián)的第二用戶筆跡。在一個(gè)實(shí)施例中，該第二用戶筆跡是一個(gè)檢查標(biāo)記。在一個(gè)實(shí)施例中，為了響應(yīng)探測(cè)與該第二用戶筆跡的交互，執(zhí)行一個(gè)與該用戶可寫單元相關(guān)聯(lián)的輸入函數(shù)。
在另一個(gè)實(shí)施例中，本發(fā)明提供一種交互式設(shè)備，其包括一個(gè)總線，一個(gè)處理器、一個(gè)存儲(chǔ)單元、一個(gè)音頻輸出設(shè)備、一個(gè)筆跡單元和一個(gè)光學(xué)探測(cè)器，該設(shè)備可用來實(shí)現(xiàn)所述的用于把用戶筆跡與用戶可寫單元相關(guān)聯(lián)的方法。在另一個(gè)實(shí)施例中，本法發(fā)明提供一種計(jì)算機(jī)可用媒體，其包含內(nèi)置其中的計(jì)算機(jī)可讀程序代碼，該程序代碼用來使計(jì)算機(jī)系統(tǒng)執(zhí)行所述的用于把用戶筆跡與用戶可寫單元相關(guān)聯(lián)的方法。
一般來說，本作品講述一種用來把用戶筆跡和用戶可寫單元相關(guān)聯(lián)的方法和設(shè)備。該方法包括音頻提示用戶在一個(gè)表面上繪制一個(gè)用戶可寫單元。在該表面探測(cè)該用戶筆跡。記錄該用戶筆跡在該表面上的位置。該位置與所述的用戶可寫單元相關(guān)聯(lián)。


附圖被包括在本說明書中并作為其中的一部分，闡明了本發(fā)明的實(shí)施例，并且結(jié)合本說明書，用來解釋本發(fā)明的基本原理圖1示出一個(gè)根據(jù)本發(fā)明一個(gè)實(shí)施例的交互式設(shè)備。
圖2A和2B示出根據(jù)本發(fā)明實(shí)施例在一張紙上的示意性用戶已寫可選項(xiàng)目。
圖3示出一張示意性的紙，根據(jù)本發(fā)明的實(shí)施例其上有一定模式的標(biāo)記。
圖4示出一個(gè)在根據(jù)本發(fā)明的實(shí)施例的示意性紙上的一定模式的標(biāo)記的放大圖。
圖5示出一個(gè)根據(jù)本發(fā)明的一個(gè)實(shí)施例用來方便與用戶繪制的可選項(xiàng)目交互的處理的步驟的流程圖。
圖6是一個(gè)其上能夠?qū)崿F(xiàn)本發(fā)明實(shí)施例的另一種設(shè)備的框圖。
圖7是一個(gè)其上能夠?qū)崿F(xiàn)本發(fā)明實(shí)施例的另一種設(shè)備的框圖。
圖8示出一個(gè)根據(jù)本發(fā)明一個(gè)實(shí)施例的設(shè)備用戶交互處理的步驟的流程圖。
圖9示出一個(gè)根據(jù)本發(fā)明一個(gè)實(shí)施例的分級(jí)設(shè)備用戶交互處理的步驟的流程圖。
圖10示出一個(gè)根據(jù)本發(fā)明一個(gè)實(shí)施例的菜單項(xiàng)目樹型目錄。
圖11A示出一個(gè)根據(jù)本發(fā)明一個(gè)實(shí)施例的菜單項(xiàng)目音頻提示處理。
圖11B示出一個(gè)根據(jù)本發(fā)明一個(gè)實(shí)施例的菜單項(xiàng)目選擇處理。
圖11C示出一個(gè)根據(jù)本發(fā)明一個(gè)實(shí)施例的子菜單項(xiàng)目選擇處理。
圖12示出根據(jù)本發(fā)明一個(gè)實(shí)施例在表面上多個(gè)不同類型的圖形項(xiàng)目圖標(biāo)。
圖13A和13B示出根據(jù)本發(fā)明一個(gè)實(shí)施例用來把用戶筆跡與用戶可寫單元相關(guān)聯(lián)的處理的流程圖。
圖14示出根據(jù)本發(fā)明的一個(gè)實(shí)施例其上具有多個(gè)已寫用戶筆跡的表面。
具體實(shí)施例現(xiàn)在將對(duì)本發(fā)明的多個(gè)實(shí)施例作出詳細(xì)的說明，一種交互式設(shè)備允許用戶生成并與在一個(gè)表面寫下的可選項(xiàng)目進(jìn)行交互，這樣的例子在附圖中示出。當(dāng)結(jié)合這些實(shí)施例描述本發(fā)明時(shí)，應(yīng)當(dāng)知道它們并不是表明僅僅把本發(fā)明局限于這些實(shí)施例。相反，本發(fā)明意味著覆蓋可選擇的方案、變化和等價(jià)物，它們可包括在由后面權(quán)利要求書所定義地本發(fā)明的精神和范圍之內(nèi)。另外，在下面對(duì)本發(fā)明地詳細(xì)描述中，將闡釋眾多的特定細(xì)節(jié)從而提供一個(gè)對(duì)本發(fā)明的全面理解。然而，本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)知道無需這些細(xì)節(jié)就可以實(shí)施本發(fā)明。在其它情況下，由于不可能搞混本發(fā)明的方面，沒有詳細(xì)描述公知的方法、過程、組件、和電路。
下面詳細(xì)說明書的某些部分以在數(shù)據(jù)位上的操作的術(shù)語過程、步驟、邏輯塊、處理和其它象征性表示提出，這些數(shù)據(jù)位可以在計(jì)算機(jī)內(nèi)存中被執(zhí)行。這些說明和表示是由數(shù)據(jù)處理領(lǐng)域熟練的技術(shù)人員向本領(lǐng)域其它熟練技術(shù)人員更有效地傳達(dá)它們工作實(shí)質(zhì)的方式。這里的過程、計(jì)算機(jī)執(zhí)行步驟、邏輯塊、處理等等通常被表示為步驟或指令的有機(jī)序列，它們能夠產(chǎn)生所要的結(jié)果。這些步驟需要物理操作和物理量。通常，盡管不是必要，這些量以電或磁信號(hào)的形式，它們能夠被包存、傳輸、合并、比較，并且另外能在計(jì)算機(jī)系統(tǒng)中被操作。主要因?yàn)楣灿梅ǖ脑颍呀?jīng)證實(shí)有時(shí)把這些信號(hào)稱為比特、值、單元、符號(hào)、字符、術(shù)語、數(shù)字，或者類似稱謂是方便的。
然而應(yīng)當(dāng)知道，所有這些和類似術(shù)語將與適當(dāng)?shù)奈锢砹坑嘘P(guān)并僅僅是應(yīng)用于這些量的方便標(biāo)簽。除非特別說明，否則如從下面說明中很清楚的那樣，應(yīng)當(dāng)知道貫穿本發(fā)明，利用術(shù)語“提示”或“探測(cè)”或“記錄”或“相關(guān)聯(lián)”或“處理”或“執(zhí)行”或“識(shí)別”或者類似表示的說明是指一個(gè)電子系統(tǒng)(例如圖1中的交互式設(shè)備100)或者類似計(jì)算設(shè)備的動(dòng)作或者處理，它們操作和把表示在電子設(shè)備的寄存器和存儲(chǔ)器中的物理(電子)量的數(shù)據(jù)轉(zhuǎn)換為同樣表示在電子設(shè)備存儲(chǔ)器或者寄存器或者其它這樣的信息存儲(chǔ)器、傳輸或者顯示設(shè)備中的其它數(shù)據(jù)。
本發(fā)明的實(shí)施例本發(fā)明的多個(gè)實(shí)施例，用來把用戶筆跡與用戶可寫單元相結(jié)合的方法和系統(tǒng)在這里被描述。在一個(gè)實(shí)施例中，在一個(gè)交互式設(shè)備中實(shí)現(xiàn)所述的實(shí)施例，該設(shè)備允許用戶在生成已寫在一個(gè)表面上的可選項(xiàng)目并與之進(jìn)行交互。本發(fā)明給用戶提供一種接口，它用任何可寫表面，諸如一張紙，來替換一個(gè)電子顯示器。用戶可以在該表面生成筆跡項(xiàng)目，這些項(xiàng)目執(zhí)行有關(guān)的功能和/或表示用戶已寫數(shù)據(jù)，例如單詞、字符、數(shù)字、符號(hào)等等。在該交互式設(shè)備的整個(gè)運(yùn)行期間，用戶筆跡持久地停留在該表面上，從而允許用戶執(zhí)行與不同用戶筆跡相關(guān)的動(dòng)作。在一個(gè)實(shí)施例中，為了響應(yīng)音頻提示用戶在該表面上繪制用戶可寫單元，無需確認(rèn)一個(gè)用戶筆跡是所述的可寫單元就探測(cè)該用戶筆跡。記錄用戶筆跡在該表面上的位置，并且該位置與所述的用戶可寫單元相關(guān)聯(lián)。這種“提示-信任”功能使得該交互式設(shè)備可以把用戶筆跡與所提示的用戶可寫單元相關(guān)聯(lián)，而無需執(zhí)行對(duì)該用戶筆跡的識(shí)別操作。
圖1示出一個(gè)根據(jù)本發(fā)明一個(gè)實(shí)施例的交互式設(shè)備100。交互式設(shè)備100在外殼130里面包括處理器112，存儲(chǔ)單元114，音頻輸出設(shè)備116，書寫單元118和光學(xué)探測(cè)器120。在一個(gè)實(shí)施例中，處理器112，存儲(chǔ)單元114，音頻輸出設(shè)備116和光學(xué)探測(cè)器120通過總線122通信地連接在一起。
在一個(gè)實(shí)施例中，外殼130被做成指示筆或者書寫裝置(例如筆的形狀)的形狀。用戶可以如同握住指示筆一樣的方式握住該交互式設(shè)備100。書寫單元118位于外殼130的一端，使得用戶可以把書寫單元118與一個(gè)可寫表面相接觸(未示出)。書寫單元118可以包括一支鋼筆、鉛筆、標(biāo)記器、蠟筆，或者其它任何標(biāo)記材料。應(yīng)當(dāng)知道，書寫單元118還可以包括一個(gè)非標(biāo)記端。在使用期間，用戶可以握住交互式設(shè)備100并如同一個(gè)書寫裝置在一個(gè)諸如紙的表面書寫的發(fā)式來使用它。
書寫單元118可被用來在該表面上生成用戶已寫可選項(xiàng)目?！坝脩粢褜懣蛇x項(xiàng)目”可以包括由用戶生成的任何標(biāo)記。如果在表面(例如一張紙)生成一個(gè)標(biāo)記，該用戶已寫可選項(xiàng)目可以是一個(gè)打印單元。用戶已寫可選項(xiàng)目包括，但又不局限于諸如字母和/或數(shù)字、字符、單詞、圖形、線條等等的符號(hào)、標(biāo)記。它們?cè)谛螤钌峡梢允且?guī)則的也可以是不規(guī)則的，并通常使用該指示筆來生成。
交互式設(shè)備100允許用戶生成用戶已寫可選項(xiàng)目，它表示由該交互式設(shè)備所提供的不同功能。在一個(gè)實(shí)施例中，該用戶已寫可選項(xiàng)目包括一個(gè)可由處理器112執(zhí)行的應(yīng)用程序(例如一個(gè)計(jì)算器應(yīng)用程序或者一個(gè)詞典應(yīng)用程序)的符號(hào)表示。在另一個(gè)實(shí)施例中，該用戶已寫可選項(xiàng)目可包括一個(gè)導(dǎo)航項(xiàng)目(例如一個(gè)菜單)，一個(gè)可由所述處理器執(zhí)行的應(yīng)用程序的菜單項(xiàng)目、一個(gè)程序選項(xiàng)選擇器、或者一個(gè)數(shù)據(jù)的實(shí)例(例如一個(gè)單詞)。
在某些實(shí)施例中，該用戶已寫可選項(xiàng)目可包括一個(gè)帶有線條的字母或者數(shù)字，該線條圍繞所述的字母或數(shù)字。圍繞該字母或數(shù)字的線條可以是圓、橢圓、長(zhǎng)方形、多邊形等等。這種用戶已寫可選項(xiàng)目看起來好像是可以由用戶選擇的“按鈕”，而不是普通的字母和數(shù)字。通過生成這種類型的用戶已寫可選項(xiàng)目，用戶可以把諸如功能圖標(biāo)的用戶已寫可選項(xiàng)目與普通的字母和數(shù)字相區(qū)別。另外，通過生成這種類型的用戶已寫可選項(xiàng)目，交互式設(shè)備100也可以更好的把功能性的或者菜單項(xiàng)目類型的用戶已寫可選項(xiàng)目與非功能性的或非菜單項(xiàng)目類型的用戶已寫項(xiàng)目相區(qū)別。例如，用戶可以生成一個(gè)用戶已寫可選項(xiàng)目來生成一個(gè)交互式“菜單”圖標(biāo)，該用戶已寫可選項(xiàng)目是一個(gè)由一個(gè)圓包圍的字母M。該交互式設(shè)備可以被編程為當(dāng)把其中帶有字母“M”的重疊的圓或長(zhǎng)方形從單詞的字母“M”區(qū)別出來的時(shí)候，把其識(shí)別為一個(gè)功能性的用戶已寫可選項(xiàng)目。用來識(shí)別這種功能性的用戶已寫可選項(xiàng)目和把它們從其它非功能性的用戶已寫項(xiàng)目區(qū)別出來的計(jì)算機(jī)碼位于交互式設(shè)備100的存儲(chǔ)單元114中。
圖2A和2B示出根據(jù)本發(fā)明實(shí)施例在一張紙上的示意性用戶已寫可選項(xiàng)目。參照?qǐng)D2A，用戶已寫可選項(xiàng)目206是一個(gè)帶有圓204的字母“M”202，該圓圍繞著字母“M”202。用交互式設(shè)備的書寫單元(例如圖1的書寫單元118)把用戶已寫可選項(xiàng)目206繪制在紙200上。
在一個(gè)實(shí)施例中，用戶已寫可選項(xiàng)目206表示該交互式設(shè)備的菜單功能。為了指示對(duì)特定菜單項(xiàng)目、目錄，或者子目錄的選擇，用戶可以生成其它的用戶已寫可選項(xiàng)目或者向交互式設(shè)備100做出示意。例如，如果用戶想要向下進(jìn)入該菜單的子目錄，該用戶可以在紙200上繪制一個(gè)檢查標(biāo)記210來指示已經(jīng)做出一個(gè)選擇。在繪制該檢查標(biāo)記后，在每個(gè)隨后的選擇或者在紙200上交互式設(shè)備100的“點(diǎn)擊”接近用戶已寫可選項(xiàng)目206后，與用戶已寫可選項(xiàng)目相關(guān)的菜單項(xiàng)目可由音頻輸出設(shè)備116音頻地給出。與檢查標(biāo)記210的交互接著選擇音頻地給出的最后選項(xiàng)。例如，在用戶聽到讀出單詞“計(jì)算器”后，接著選擇“計(jì)算器”功能來把交互式設(shè)備100地運(yùn)行模式變換為計(jì)算器功能。
圖2B示出一個(gè)用戶如何在紙200的空白部分生成一個(gè)紙計(jì)算器。在本例中，在用戶已經(jīng)如上所述選擇該“計(jì)算器”功能后，交互式設(shè)備100音頻提示用戶寫下數(shù)字0-9和操作符+、-、×、/、和＝。例如，可以提示用戶生成包括有數(shù)字和用戶諸如加、減、乘、除和等于的數(shù)學(xué)操作的用戶已寫可選項(xiàng)目。它們被牢固地繪制在該表面上。交互式設(shè)備100識(shí)別所生成的圖形單元的位置并識(shí)別所生成的實(shí)際用戶已寫可選項(xiàng)目。接著用戶可以選擇至少兩個(gè)用戶已寫可選項(xiàng)目來接收與選擇這些至少兩個(gè)圖形單元相關(guān)的音頻輸出。例如，用戶可以選擇圖形單元序列“4”“+”“7”“＝”來聽到該交互式設(shè)備100讀出結(jié)果“11”。
由于交互式設(shè)備100已經(jīng)把該用戶已寫可選項(xiàng)目的位置保存在存儲(chǔ)單元114中，所以在隨后的時(shí)間可以重復(fù)使用由用戶已寫可選項(xiàng)目206表示的菜單和由用戶已寫可選項(xiàng)目220表示的紙計(jì)算器。另外，筆與用戶已寫可選項(xiàng)目220的交互可以自動(dòng)地調(diào)用計(jì)算器功能。
圖2B還包括數(shù)據(jù)230。在圖2B所示的例子中，數(shù)據(jù)230是單詞“CAT”。應(yīng)當(dāng)知道，數(shù)據(jù)230可以是任何可以由交互式設(shè)備100上運(yùn)行的程序使用的信息(例如字母數(shù)字符號(hào)、圖形、制圖、標(biāo)記等等)。當(dāng)寫下該字符串時(shí)，CAT被自動(dòng)地識(shí)別為單詞cat。它在該表面上的位置也被記錄。交互式設(shè)備100與該字符串的交互自動(dòng)地調(diào)用所識(shí)別的單詞CAT。
光學(xué)探測(cè)器120在該筆型交互式設(shè)備100的一端。光學(xué)探測(cè)器120可用來探測(cè)該表面的信息。例如，光學(xué)探測(cè)器120可包括一個(gè)電荷耦合裝置(CCD)。在一個(gè)實(shí)施例中，交互式設(shè)備還包括一個(gè)光學(xué)發(fā)射器，其用來照亮由光學(xué)探測(cè)器120所探測(cè)的一部分表面。由光學(xué)探測(cè)器120探測(cè)的信息被傳送到處理器112上。
處理器112可以包括任何適當(dāng)?shù)碾娐穪韺?shí)現(xiàn)該交互式設(shè)備100的功能。處理器112能識(shí)別該用戶已寫可選項(xiàng)目并能識(shí)別這些用戶已寫可選項(xiàng)目地位置從而使得交互式設(shè)備100能執(zhí)行多種操作。在這些實(shí)施例中，存儲(chǔ)單元114可以包括用來把任何由用戶生成的用戶已寫可選項(xiàng)目與它們?cè)谠摫砻嫔系奈恢孟嚓P(guān)聯(lián)的計(jì)算機(jī)代碼。
存儲(chǔ)單元114包括用來實(shí)現(xiàn)該交互式設(shè)備100的任何功能的計(jì)算機(jī)代碼。在一個(gè)實(shí)施例中，其中被保存在存儲(chǔ)單元114中并在處理器112上被執(zhí)行的計(jì)算機(jī)代碼對(duì)用戶已寫可選項(xiàng)目的用戶選擇作出響應(yīng)并能夠執(zhí)行與該用戶已寫可選項(xiàng)目相關(guān)聯(lián)的功能來響應(yīng)該選擇。在另一個(gè)實(shí)施例中，保存在存儲(chǔ)單元114中并在處理器112上被執(zhí)行的計(jì)算機(jī)代碼能夠指導(dǎo)音頻輸出設(shè)備116音頻給出一列可能的用戶已寫可選項(xiàng)目，其中的處理器112能夠探測(cè)到用戶已經(jīng)寫下多個(gè)用戶已寫可選項(xiàng)目，并且其中的處理器112響應(yīng)從這些多個(gè)用戶已寫可選項(xiàng)目選擇一個(gè)或者多個(gè)用戶已寫可選項(xiàng)目，從而能夠執(zhí)行與每個(gè)所選擇的用戶已寫可選項(xiàng)目相關(guān)的不同功能。
在一個(gè)實(shí)施例中，處理器112能夠自動(dòng)地識(shí)別一個(gè)用戶已寫可選項(xiàng)目來響應(yīng)一個(gè)選擇，該選擇使用符號(hào)識(shí)別或者字符識(shí)別。在另一個(gè)實(shí)施例中，當(dāng)用戶已寫可選項(xiàng)目被寫下時(shí)，處理器112能夠自動(dòng)地記錄該用戶已寫可選項(xiàng)目在該表面上的位置。為了響應(yīng)用戶選擇，處理器112能夠根據(jù)探測(cè)到的該用戶已寫可選項(xiàng)目在該表面上的位置自動(dòng)地識(shí)別該用戶已寫可選項(xiàng)目。
在一個(gè)實(shí)施例中，本發(fā)明提供一種交互式設(shè)備100的操作系統(tǒng)。該操作系統(tǒng)能夠探測(cè)用戶已寫可選項(xiàng)目在表面上的位置，把該用戶已寫可選項(xiàng)目與一個(gè)功能相關(guān)聯(lián)，并為了響應(yīng)用戶與該用戶已寫可選項(xiàng)目的交互，執(zhí)行相關(guān)的功能。
在另一個(gè)實(shí)施例中，存儲(chǔ)單元114可包括用來識(shí)別印刷字符的計(jì)算機(jī)代碼，用來識(shí)別用戶筆跡并解釋該用戶筆跡的計(jì)算機(jī)代碼(例如筆跡字符識(shí)別軟件)，用來把在項(xiàng)目中的位置與各個(gè)印刷單元相關(guān)聯(lián)的計(jì)算機(jī)代碼，用來把文本轉(zhuǎn)換為聲音的計(jì)算機(jī)代碼(例如把文本轉(zhuǎn)換為聲音引擎)，用來讀出菜單項(xiàng)目的計(jì)算機(jī)代碼，用來執(zhí)行語言翻譯的計(jì)算機(jī)代碼(例如英語-外國(guó)語詞典)，等等。用來把文本轉(zhuǎn)換為聲音的軟件可以從很多不同供應(yīng)商那里商業(yè)地獲取。
存儲(chǔ)單元114還可以包括用于音頻和視頻輸出的代碼。例如，用于聲效的代碼，用于讀出單詞的代碼，用于培訓(xùn)計(jì)劃和指令的代碼，用于詢問的代碼等等都可以保存在存儲(chǔ)單元114中。用于諸如這些音頻輸出的代碼可以保存在非易失性存儲(chǔ)器中(例如以永久或者半永久方式從而使得即使該交互式設(shè)備被關(guān)掉時(shí)數(shù)據(jù)也能保持)，而不是保存在該項(xiàng)目本身上。用于在本申請(qǐng)中描述的這些和其它功能的程序代碼可以包括在存儲(chǔ)單元114中，并可以使用任何適當(dāng)?shù)木幊陶Z言來生成，這些編程語言包括C，C++等等。
存儲(chǔ)單元114可以是諸如ROM或閃存的可移動(dòng)的存儲(chǔ)單元。在其它實(shí)施例中，存儲(chǔ)單元114可包括一個(gè)或者多個(gè)存觸單元(例如RAM，ROM，EEPROM等等)。存儲(chǔ)單元114可包括任何適當(dāng)?shù)拇诺?、電子的、電磁的、光的或電光的?shù)據(jù)存儲(chǔ)設(shè)備。例如，在存儲(chǔ)單元114中可以是一個(gè)或者多個(gè)半導(dǎo)體設(shè)備。
音頻輸出設(shè)備116可包括一個(gè)揚(yáng)聲器或者連接到一個(gè)耳機(jī)或者戴在頭上的耳機(jī)上的音頻插孔(例如耳機(jī)或帶在頭上的收話機(jī)插孔)。在一個(gè)實(shí)施例中，音頻輸出設(shè)備116能夠音頻給出一列可能的用戶已寫可選項(xiàng)目。音頻輸出設(shè)備116能夠音頻給出信息來響應(yīng)對(duì)一個(gè)用戶已寫可選項(xiàng)目的用戶選擇。
應(yīng)當(dāng)知道，交互式設(shè)備100還能購識(shí)別和執(zhí)行與在該表面上預(yù)印刷可選項(xiàng)目有關(guān)的功能。在一個(gè)實(shí)施例中，為了響應(yīng)在該表面上的預(yù)印刷可選項(xiàng)目的用戶選擇，處理器112能夠執(zhí)行與一個(gè)預(yù)印刷可選項(xiàng)目相關(guān)的功能來響應(yīng)用戶對(duì)該預(yù)印刷可選項(xiàng)目的選擇。在一個(gè)實(shí)施例中，處理器112能夠使用符號(hào)識(shí)別自動(dòng)地識(shí)別一個(gè)預(yù)印刷可選項(xiàng)目。在另一個(gè)實(shí)施例中，處理器112能夠根據(jù)探測(cè)到的該預(yù)印刷可選項(xiàng)目在該表面上的位置來自動(dòng)地識(shí)別該預(yù)印刷可選項(xiàng)目。另外，在另一個(gè)實(shí)施例中，處理器112能夠該表面上的特定邊界范圍自動(dòng)地識(shí)別一個(gè)應(yīng)用程序，從而使不同的邊界范圍預(yù)不同的應(yīng)用程序相關(guān)聯(lián)。
在某些實(shí)施例中，該表面可以是一張帶有或者不帶有預(yù)印刷可選項(xiàng)目的紙。圖3示出一張紙15，根據(jù)本發(fā)明的實(shí)施例其上帶有一定模式的標(biāo)記。在圖3的實(shí)施例中，紙15的表面帶有以光學(xué)可讀位置代碼17形式出現(xiàn)的編碼模式，該位置代碼包括一定模式的標(biāo)記18。為了清楚期間，圖3中的標(biāo)記18通常被放大。實(shí)際上，人類視覺系統(tǒng)不能容易地分辨該標(biāo)記18，其在紙15的表面看起來是暗灰色的。在一個(gè)實(shí)施例中，標(biāo)記18具體表現(xiàn)為點(diǎn)狀；然而，本發(fā)明并不局限于此。
圖4示出一個(gè)圖3中的位置代碼17的放大部分19。諸如交互式設(shè)備100(圖1)的交互式設(shè)備被定位來記錄位置代碼17的區(qū)域的圖像。在一個(gè)實(shí)施例中，光學(xué)設(shè)備以光柵的形式把標(biāo)記18與一個(gè)參考系統(tǒng)相匹配，該光柵有在光柵點(diǎn)22相互交叉的光柵線21。例如，標(biāo)記23與光柵點(diǎn)24相關(guān)。對(duì)于在圖像/光柵中的標(biāo)記，判定一個(gè)標(biāo)記相對(duì)于與該標(biāo)記有關(guān)的光柵點(diǎn)的偏移量。使用這些偏移量，把圖像/光柵中的模式與參考系統(tǒng)中的模式相比較。在參考系統(tǒng)中的每個(gè)模式與在表面70上的特定位置有關(guān)。因此，通過把圖像/光柵中的模式與參考系統(tǒng)中的模式相比較，可以判定該模式在該表面70上的位置，并從而可以判定光學(xué)設(shè)備相對(duì)于該表面的位置。
在一個(gè)實(shí)施例中，紙15上標(biāo)記的模式基本上是不可見的代碼。這些代碼對(duì)于用戶的眼睛是“基本上不可見的”并對(duì)應(yīng)于可選項(xiàng)目在該頁上的絕對(duì)或者相對(duì)位置?；旧喜豢梢姷摹边€包括那些用戶眼睛完全不可見或者稍微不可見的代碼。例如，如果那些用戶的眼睛稍微不可見的點(diǎn)代碼被印刷在整張紙的表面，當(dāng)在適當(dāng)?shù)挠^察距離觀察該表面時(shí)，該表面看起來有點(diǎn)稍微的灰暗陰影。在某些情況下，當(dāng)用戶用交互式設(shè)備100掃描這些代碼后，在交互系統(tǒng)100中的音頻輸出設(shè)備產(chǎn)生唯一的音頻輸出(其與象蜂鳴聲一樣不能區(qū)別的音頻輸出相區(qū)別)，該音頻輸出對(duì)應(yīng)于與該代碼有關(guān)的用戶已寫可選項(xiàng)目。
在一個(gè)實(shí)施例中，該基本不可見代碼被具體表示為點(diǎn)模式。讀取可見或者“潛在”印刷點(diǎn)模式的技術(shù)已經(jīng)存在并能商業(yè)地獲得。這些印刷點(diǎn)模式對(duì)于用戶的眼睛來說基本上是不可見的，以使在該點(diǎn)模式提供的代碼在通常的使用下是不能由用戶的眼睛探測(cè)到的(不象普通的條形碼)。該點(diǎn)模式可以被具體標(biāo)示為例如小的或大的點(diǎn)的特定組合，其可能表示象二進(jìn)制中的1和0。該點(diǎn)模式可以用模式打印，該墨水區(qū)別于哪些被用來打印印刷單元的墨水，使得交互式設(shè)備100能夠準(zhǔn)確地讀出該點(diǎn)模式。
一個(gè)瑞典公司，Anoto，使用一種利用一種算法來生成一種模式的技術(shù)，其能夠使得非常大的唯一數(shù)據(jù)空間來在一大組文檔上進(jìn)行非沖突使用。這種模式，如果全部印刷，將覆蓋70萬億8.5″×11″大小頁，其任何頁上帶有任何2cm平方的唯一識(shí)別?？梢詮腁noto商業(yè)地獲得帶有這種特定點(diǎn)模式的紙。下面的專利或者專利申請(qǐng)被分配給Anoto，它描述了這種背景技術(shù)并且在這里所有的目的在于它們的全部被作為參考結(jié)合進(jìn)來美國(guó)專利號(hào)6,502,756，申請(qǐng)日為2002年6月26日的美國(guó)專利號(hào)10/179,996，WO01/95559，WO01/71473，WO01/75723，WO01/26032，WO01/75780，WO01/01670，WO01/75773，WO01/71475，WO00/73983，和WO01/16691。
在某些實(shí)施例中，該點(diǎn)模式可以獨(dú)立于其它類型的數(shù)據(jù)，諸如那些表示用于數(shù)據(jù)塊、音頻數(shù)據(jù)、和/或錯(cuò)誤探測(cè)數(shù)據(jù)的標(biāo)記的數(shù)據(jù)。如上所述，交互式設(shè)備100中的處理器112可以使用一個(gè)查找表來判定指示筆的位置，并能根據(jù)該位置信息獲取和播放音頻。這是有利的。例如，與其上印刷有用于標(biāo)記、音頻、和錯(cuò)誤探測(cè)的數(shù)據(jù)的紙相比較，本發(fā)明的實(shí)施例需要很少的點(diǎn)，由于用于標(biāo)記、音頻、和錯(cuò)誤探測(cè)的數(shù)據(jù)不需要被印刷在該紙上。通過在一張紙上省略例如音頻，可以在該紙上提供更多的交互空間，由于實(shí)際的音頻數(shù)據(jù)不需要在該張紙上占用空間。另外，由于在本發(fā)明的實(shí)施例中，用于音頻的計(jì)算機(jī)代碼被保存在交互式設(shè)備100中，所以生成的音頻將不可能被例如在該張紙上的皺紋或者破縫破壞或者改變。
應(yīng)當(dāng)知道，盡管這里特別地描述了點(diǎn)模式代碼，但是其它類型的基本不可見代碼可以用于本發(fā)明的其它實(shí)施例。例如，可以使用紅外條碼，只要這種條碼在項(xiàng)目中被安排成陣列的形式。示意性的，一張紙可以包括一個(gè)100×100陣列的基本不可見條碼，在該張紙上的每個(gè)代碼與一個(gè)不同的X-Y位置相關(guān)。在該陣列中該條碼的相對(duì)或者絕對(duì)位置可以被保存在交互式設(shè)備100的存儲(chǔ)單元114中。
如所述的那樣，在某些實(shí)施例中，基本不可視代碼可以直接或者間接地與紙上多個(gè)位置和/或任何可選項(xiàng)目相關(guān)。在某些實(shí)施例中，基本不可視代碼可以直接地與紙上(或者其它表面上)多個(gè)位置相關(guān)。在這些實(shí)施例中，紙上的不同位置可以由代碼本身提供。例如，在第一位置的第一代碼可以包括表示紙上第一位置的空間坐標(biāo)(例如特定的X-Y位置)的代碼，而在第二位置的第二代碼可以包括表示紙上第二位置空間坐標(biāo)(例如特定的X-Y位置)的代碼。
不同的用戶已寫可選項(xiàng)目可以位于紙上的不同位置。這些用戶已寫可選項(xiàng)目可以由代碼組成。例如，第一用戶已寫可選項(xiàng)目可以有與第一代碼相一致的第一位置組成。第二用戶已寫可選項(xiàng)目可以有與第二代碼相一致的第二位置組成。當(dāng)用戶組成該第一用戶已寫可選項(xiàng)目時(shí)，該掃描裝置識(shí)別所組成的第一印刷單元并完全同時(shí)地掃描該第一代碼，該第一代碼與所組成的第一用戶已寫可選項(xiàng)目相關(guān)聯(lián)。交互式設(shè)備100中的處理器112可以判定該第一位置的特定空間坐標(biāo)并能夠把該第一用戶已寫可選項(xiàng)目與該空間坐標(biāo)相關(guān)聯(lián)。
當(dāng)用戶組成該第二用戶已寫可選項(xiàng)目時(shí)，該掃描裝置識(shí)別所組成的第二用戶已寫可選項(xiàng)目并完全同時(shí)地掃描該第二代碼。處理器112可以判定該第二位置的空間坐標(biāo)并能夠把該第二用戶已寫可選項(xiàng)目與該空間坐標(biāo)相關(guān)聯(lián)。接著用戶可以充分地選擇使用交互式設(shè)備100的第一和第二用戶已寫可選項(xiàng)目，并且交互式設(shè)備100可以執(zhí)行額外的操作。例如，通過使用該方法，用戶可以在紙的空白部分生成一個(gè)用戶定義的接口或者功能性設(shè)備。
交互式設(shè)備100還可以包括一種機(jī)制，它能把相對(duì)或者絕對(duì)位置映射到在存儲(chǔ)單元114中所組成的用戶已寫可選項(xiàng)目上或者使其相互關(guān)聯(lián)。這種機(jī)制可以是一個(gè)查找表，它把在項(xiàng)目中與特定用戶已寫可選項(xiàng)目與一個(gè)項(xiàng)目中特定位置相關(guān)聯(lián)。該查找表可以被保存在存儲(chǔ)單元114中。處理器112可以使用該查找表來在特定的位置識(shí)別用戶已寫可選項(xiàng)目，從而使得處理器112可以執(zhí)行隨后的操作。
帶有基本不可視代碼的表面可以是任何適當(dāng)?shù)男问健＠?，該表面可以是單張紙、記事本、填充紙、便條紙、布告、菜單、不干膠標(biāo)簽、標(biāo)簽、產(chǎn)品包裝、盒子、交易卡、磁條(例如冰箱磁條)、白板、桌面等等。另外，表面可以包括任何材料，包括但又不局限于紙質(zhì)的、木質(zhì)的、金屬的、塑料的等等?？梢允褂萌魏芜@些或者其它類型的表面，其帶有或者不帶有預(yù)印刷可選項(xiàng)目。如果該表面是一張紙，該紙可以具有任何適當(dāng)大小并且可以由任何材料組成。例如，該表面可以是紙質(zhì)的，或者可以使一個(gè)塑料膠片。在某些實(shí)施例中，該表面可以具有三維的項(xiàng)目，帶有三維的表面。該三維表面可以包括一個(gè)人體、動(dòng)物(例如恐龍)、車輛、字符或者其它形狀的模型。
在某些實(shí)施例中，該表面是一張紙，并且該紙可以是獨(dú)立于預(yù)印刷可選項(xiàng)目，諸如印刷的字母或者數(shù)字(在用戶生成用戶已寫可選項(xiàng)目之前在該紙上做出的標(biāo)記)。在其它實(shí)施例中，預(yù)印刷可選項(xiàng)目可以位于該紙上(例如在用戶在紙上生成用戶已寫可選項(xiàng)目之前)。預(yù)印刷打印單元可以包括數(shù)字、圖標(biāo)、字母、圓、單詞、符號(hào)、線條等等。例如，本發(fā)明的實(shí)施例可以利用諸如預(yù)印刷的訂貨單或者投票單的預(yù)印刷單子。
交互式設(shè)備100可以是任何適當(dāng)形式，在一個(gè)實(shí)施例中，交互式設(shè)備100是一個(gè)掃描裝置，它的形狀如同一個(gè)指示筆。在一個(gè)實(shí)施例中，交互式設(shè)備100是一個(gè)超小型的。該指示筆包括一個(gè)可以由塑料或者金屬組成的外殼。在指示筆的外殼上可以有把手區(qū)域。
圖5示出一個(gè)根據(jù)本發(fā)明的一個(gè)實(shí)施例用來方便與用戶繪制的可選項(xiàng)目交互的處理500的步驟的流程圖。處理500描述一個(gè)用戶交互處理的基本運(yùn)行步驟，該處理由根據(jù)本發(fā)明的一個(gè)實(shí)施例的交互式設(shè)備(例如交互式設(shè)備100)執(zhí)行，它以用戶已寫可選項(xiàng)目、圖形單元、筆跡、標(biāo)記等等的形式解釋用戶輸入，并向該用戶提供所要求的功能。
在步驟510，其中執(zhí)行設(shè)備100的功能的計(jì)算機(jī)在一個(gè)可寫表面探測(cè)一個(gè)用戶已寫可選項(xiàng)目。在步驟512，識(shí)別該用戶已寫可選項(xiàng)目和該用戶已寫可選項(xiàng)目的功能。該功能例如可以是一個(gè)菜單功能，該菜單闡明一個(gè)對(duì)應(yīng)于用戶隨后動(dòng)作的預(yù)定功能列表(例如菜單選項(xiàng))。在步驟514，探測(cè)與用戶繪制可選項(xiàng)目的交互。該交互可以包括寫下該用戶可選項(xiàng)目，用該交互式設(shè)備預(yù)該用戶已寫可選項(xiàng)目進(jìn)行交互(例如選擇該用戶已寫可選項(xiàng)目)，或者與一個(gè)相關(guān)的用戶已寫可選項(xiàng)目(例如圖2B的檢查標(biāo)記)進(jìn)行交互。該功能永久地與該用戶已寫可選項(xiàng)目相關(guān)聯(lián)，從而可以通過隨后對(duì)該圖形單元圖標(biāo)的交互(例如選擇)來隨后獲取該功能(例如在后來的某個(gè)時(shí)間)。例如，在一個(gè)菜單功能的情況下，用戶在某個(gè)后來地時(shí)間可以通過簡(jiǎn)單地啟動(dòng)該菜單單元圖標(biāo)(例如選擇它)來隨后獲取所列出的菜單選項(xiàng)。
以這種方式，本發(fā)明的實(shí)施例實(shí)現(xiàn)一個(gè)用戶交互裝置，它使用一支筆和一張紙狀類型接口來操縱交互式設(shè)備(例如圖1的交互式設(shè)備100)的功能。如同由用戶已寫可選項(xiàng)目實(shí)現(xiàn)的用戶接口提供一種能與多個(gè)在交互式設(shè)備100中執(zhí)行的軟件程序進(jìn)行交互的方法。如上所述，輸入到交互式設(shè)備100的輸入包括用戶動(dòng)作，諸如用戶生成一個(gè)用戶已寫可選項(xiàng)目或者用戶與一個(gè)用戶已寫或者預(yù)印刷可選項(xiàng)目進(jìn)行交互。從該筆的輸出是音頻輸出，并且該用戶接口裝置進(jìn)而允許該用戶與該筆的應(yīng)用程序和功能進(jìn)行對(duì)話。換句話說，該用戶接口允許該用戶生成一個(gè)可相互識(shí)別的項(xiàng)目，諸如在表面上的用戶已寫可選項(xiàng)目，它允許該用戶和筆相互之間進(jìn)行交互。如上所述，該可相互識(shí)別的項(xiàng)目通常是符號(hào)或者標(biāo)記或者圖標(biāo)，它們由該用戶繪制在一個(gè)諸如一張紙的表面上。
本發(fā)明的其它實(shí)施例圖6是一個(gè)筆設(shè)備150的框圖，其上能夠?qū)崿F(xiàn)本發(fā)明的其它實(shí)施例。通常，筆設(shè)備150可被稱作光學(xué)設(shè)備，更準(zhǔn)確地說，被稱作光學(xué)閱讀器、光筆或者數(shù)字筆。該設(shè)備可以包含一個(gè)計(jì)算機(jī)系統(tǒng)并且其上常駐有操作系統(tǒng)。應(yīng)用程序也可以位于其中。
在圖6的實(shí)施例中，筆設(shè)備150在外殼62里面包括一個(gè)處理器32。在一個(gè)實(shí)施例中，外殼62具有筆或者其它書寫或標(biāo)記文具或裝置的形狀。處理器32能夠用來處理信息和指令，它們被用來實(shí)現(xiàn)筆設(shè)備150的功能，這將在下面描述。
在本實(shí)施例中，筆設(shè)備150可包括一個(gè)音頻輸出設(shè)備36和一個(gè)顯示設(shè)備40，它們連接到處理器32上。在其它實(shí)施例中，該視頻輸出設(shè)備和/或顯示設(shè)備可以與筆設(shè)備150在物理上分開，但是通過有線或者無線連接與筆設(shè)備150進(jìn)行通信。對(duì)于無線通信，筆設(shè)備150可包括一個(gè)收發(fā)器或者發(fā)報(bào)機(jī)(圖6中未示出)。視頻輸出設(shè)備36可包括一個(gè)揚(yáng)聲器或者音頻插孔(例如用于耳機(jī)或者戴在頭上的收話器的)。顯示設(shè)備40可以是一個(gè)液晶顯示器(LCD)或者其它適當(dāng)類型的顯示器。
在圖6的實(shí)施例中，筆設(shè)備150可包括輸入按鈕38，其連接到處理器32上并用來啟動(dòng)或者控制筆設(shè)備150。例如，輸入按鈕允許用戶向筆設(shè)備150輸入信息和命令或者開啟或關(guān)閉筆設(shè)備150。筆設(shè)備150還可以包括一個(gè)諸如滇池的電源34。
筆設(shè)備150還可以包括一個(gè)光源或者光學(xué)發(fā)射器44和一個(gè)光傳感器或者光學(xué)探測(cè)器42，它們連接到處理器32上。光學(xué)發(fā)射器44可以例如是一個(gè)發(fā)光二極管(LED)，而光學(xué)探測(cè)器42例如可以是一個(gè)電荷耦合裝置(CCD)或者互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)成相陣列。光學(xué)發(fā)射器44照亮表面70或者其上的一部分。從表面70反射的光在光學(xué)探測(cè)器42上被接收并被記錄。
表面70可以是一張紙，盡管本發(fā)明并不局限于此。例如，表面70可以是一個(gè)LCD(液晶顯示器)顯示器、CRT(陰極射線管)、觸摸屏、或者其它相似類型的活動(dòng)電子表面(例如膝上型電腦或者臺(tái)式PC的顯示器)。同樣，表面70可以是一個(gè)包含電子墨水的表面，或者是一個(gè)包含可重復(fù)調(diào)整形狀的紙。
在一個(gè)實(shí)施例中，標(biāo)記模式被印刷在表面70上。具有光學(xué)發(fā)射器44和光學(xué)探測(cè)器42的筆設(shè)備150的一端對(duì)著表面70放置或者接近表面。當(dāng)筆設(shè)備150相對(duì)于該表面70移動(dòng)時(shí)，光學(xué)發(fā)射器44和光學(xué)探測(cè)器讀出并記錄該標(biāo)記模式。如上面詳細(xì)討論的那樣，在一個(gè)實(shí)施例中，表面70上的標(biāo)記被用來判定筆設(shè)備150相對(duì)于該表面的位置(參見圖3合4)。在另一個(gè)實(shí)施例中，表面70上的標(biāo)記被用來編碼信息(參見圖8和9)。表面70上獲取的圖像可以由筆設(shè)備150分析(處理)，從而解碼該標(biāo)記并恢復(fù)所編碼的信息。
有關(guān)用來編碼信息表面標(biāo)記以及由電子設(shè)備讀取/記錄著中標(biāo)記的額外說明可以在下面的專利或者專利申請(qǐng)中找到，這些專利被分配給Anoto，并且在這里它們整體內(nèi)容作為參考被結(jié)合進(jìn)來美國(guó)專利號(hào)6,502,756，于2002年6月26日提交的美國(guó)專利申請(qǐng)101179,966，WO01/95559，WO01/75723，WO01/26032，WO01/75780，WO01/01670，WO01/75773，WO01/71475，WO10/73983，和WO01/116691。
圖6的筆設(shè)備150還包括一個(gè)存儲(chǔ)單元48，其連接到處理器32上。在一個(gè)實(shí)施例中，存儲(chǔ)單元48是一個(gè)可移動(dòng)的存儲(chǔ)單元，包括如一個(gè)存儲(chǔ)盒或者存儲(chǔ)卡。在另一個(gè)實(shí)施例中，存儲(chǔ)單元48包括隨機(jī)訪問(易失性的)存儲(chǔ)器(RAM)和只讀存儲(chǔ)器(非易失性的)存儲(chǔ)器(ROM)，其用來保存用于處理器32的信息和指令。
在圖6的實(shí)施例中，筆設(shè)備150包括一個(gè)書寫單元52，其位于與光學(xué)探測(cè)器42和光學(xué)發(fā)射器44相同的筆設(shè)備150的一端。書寫單元52例如可以是鋼筆、鉛筆、標(biāo)記器或者類似東西，并且可以是或者不是可回收的。在某些應(yīng)用中，不需要書寫單元52。在其它應(yīng)用中，用戶可以使用該書寫單元在表面70上做出標(biāo)記(例如圖形單元或者用戶已寫可選項(xiàng)目)，包括諸如字母、單詞、數(shù)字、數(shù)學(xué)符號(hào)和類似東西的字符。筆設(shè)備150可以掃描(成像)這些標(biāo)記并根據(jù)它們?cè)诒砻?0上的位置來解釋它們。參照上面對(duì)圖3和4的描述可以使用印刷在表面70上的模式標(biāo)記來判定該用戶生成標(biāo)記的位置。在一個(gè)實(shí)施例中，筆設(shè)備150可以使用光學(xué)字符識(shí)別(OCR)技術(shù)來解釋該用戶生成際記，這項(xiàng)技術(shù)識(shí)別手寫字符。
如上所述，表面70可以是適合書寫的任何表面，諸如例如一張紙、盡管可以使用包含有非紙的其它材料的表面。另外，表面70可以是也可以不是平的。例如，表面70可以具體化為一個(gè)球面。另外，表面70可以大于或者小于傳統(tǒng)的一張紙(例如8.5×11英寸)。
圖7是一個(gè)其上能夠?qū)崿F(xiàn)本發(fā)明實(shí)施例的另一種設(shè)備250的框圖。設(shè)備250包括處理器32，電源34，音頻輸出設(shè)備36，輸入按鈕38，存儲(chǔ)單元48，光學(xué)探測(cè)器42，光學(xué)發(fā)射器44和書寫單元52，這些在前面已經(jīng)描述。然而，在圖7的實(shí)施例中，光學(xué)探測(cè)器42，光學(xué)發(fā)射器44和書寫單元52包括在外殼62中的光學(xué)設(shè)備251中，而處理器32，電源34，音頻輸出設(shè)備36，輸入按鈕38和存儲(chǔ)單元48被包括在外殼74中的平臺(tái)202中。在本實(shí)施例中，光學(xué)設(shè)備251通過電纜與平臺(tái)252相連，然而也可以使用無線連接取代它。在圖7中示出的單元連同上面所述的其它單元可以在光學(xué)設(shè)備251和平臺(tái)252之間進(jìn)行分配。
參照?qǐng)D6，表面70上的4個(gè)位置或者區(qū)域由字母A、B、C和D(這些字母并沒有印刷在表面70上，但是在這里用來表示表面70上的位置)示出。表面70上可以有更多的區(qū)域。與表面70上每個(gè)區(qū)域相關(guān)的是一個(gè)唯一的標(biāo)記模式。表面70上的這些區(qū)域可以重疊，因?yàn)槟承?biāo)記可以在重疊的區(qū)域進(jìn)行共享，在一個(gè)區(qū)域的標(biāo)記模式對(duì)于那個(gè)區(qū)域仍然是唯一的。
在圖6的例子中，通過使用筆設(shè)備150(更準(zhǔn)確的說，使用書寫單元52)，用戶可以在表面70的位置A處生成一個(gè)字符，其例如包括一個(gè)劃圈的字母“M”(一般來說，用戶可以在表面70的任何位置生成該字符)。為了響應(yīng)來自筆設(shè)備150的提示(例如音頻提示)，用戶可以生成這樣一個(gè)字符。當(dāng)用戶生成該字符時(shí)，筆設(shè)備150記錄標(biāo)記模式，其唯一地表示該字符被生成的位置。筆設(shè)備150把該標(biāo)記模式與剛生成的字符相關(guān)聯(lián)。當(dāng)筆設(shè)備150隨后位于劃圈的字母“M”上時(shí)，筆設(shè)備150識(shí)別與其相關(guān)聯(lián)的標(biāo)記模式并識(shí)別與該劃圈的字母“M”相關(guān)聯(lián)的位置。事實(shí)上，筆設(shè)備150通過使用該字符所處的位置的標(biāo)記模式來識(shí)別該字符，而不是通過識(shí)別該字符本身。
在一個(gè)實(shí)施例中，上述的字符包括“圖形單元”，它們與筆設(shè)備150的一個(gè)或者多個(gè)命令相關(guān)聯(lián)。應(yīng)當(dāng)指出的是，為了區(qū)別于與筆設(shè)備150的功能或者應(yīng)用無關(guān)的其它書寫字符、標(biāo)記等等，這種圖形單元在下文被稱為“圖形單元圖標(biāo)”，其與包括命令的筆設(shè)備150可實(shí)現(xiàn)的功能相關(guān)并被用來獲得這些功能。在剛剛描述的例子中，用戶可以生成(寫下)一個(gè)標(biāo)識(shí)特定命令的圖形單元圖標(biāo)，并可以通過簡(jiǎn)單地把筆設(shè)備150置于該圖形單元圖標(biāo)(例如手寫的字符)上來重復(fù)地調(diào)用該命令。在一個(gè)實(shí)施例中，該書寫指令被置于該圖形字符上。換句話說，每次用戶通過筆設(shè)備150調(diào)用一個(gè)命令時(shí)，其不必要寫下對(duì)應(yīng)該命令的字符；相反，用戶可以一次寫下對(duì)應(yīng)于一個(gè)命令的圖形單元圖標(biāo)并使用相同的已寫圖形單元圖標(biāo)來重復(fù)地調(diào)用該命令。這個(gè)屬性被稱為“持久性”并在下面進(jìn)行更詳細(xì)的描述。對(duì)于不是由用戶寫下而是預(yù)印刷在該表面上，并仍可由筆設(shè)備150選擇的圖形單元圖標(biāo)來說也是正確的。
在一個(gè)實(shí)施例中，該圖形單元圖標(biāo)可以包括一個(gè)帶有線條的字母或數(shù)字，該線條圍繞著該字母和數(shù)字。這個(gè)圍繞著該字母和數(shù)字的線條可以是圓、橢圓、長(zhǎng)方形、多邊形等等。這種圖形單元圖標(biāo)看起來好像可由用戶選擇的“按鈕”，而不是普通的字母和數(shù)字。通過生成這種類型的圖形單元圖標(biāo)，用戶可以在視覺上把諸如功能圖標(biāo)的圖形單元圖標(biāo)從普通的字母和數(shù)字區(qū)別出來，筆設(shè)備150把這些普通的字母和數(shù)字當(dāng)作是數(shù)據(jù)。另外，通過生成這種類型的圖形單元圖標(biāo)，筆設(shè)備還可以更好地把功能性的或者菜單項(xiàng)目類型的圖形單元從非功能性的或者非菜單項(xiàng)目類型的圖形單元中區(qū)別出來。例如，用戶可以生成一個(gè)由圓圍繞的字母“M”的圖形單元圖標(biāo)來生成一個(gè)交互式“菜單”圖形單元圖標(biāo)。
筆設(shè)備150可以被編程來當(dāng)區(qū)別于單詞中的字母“M”時(shí)，把其中帶有字母“M”的重疊的圓或者長(zhǎng)方形識(shí)別為功能性圖形單元。該圖形單元圖標(biāo)還可以在其附近，即某個(gè)距離內(nèi)(例如1英寸，1.5英寸等等)，包含一個(gè)小的“檢查標(biāo)記”符號(hào)。該檢查標(biāo)記將與該圖形單元圖標(biāo)相關(guān)聯(lián)。用于識(shí)別這種功能性圖形單元并把它們區(qū)別于非功能性圖形單元的計(jì)算機(jī)代碼可以位于筆設(shè)備的存儲(chǔ)單元中。處理器可以識(shí)別該圖形單元圖標(biāo)并能識(shí)別這些圖形單元圖標(biāo)的位置，從而使得筆設(shè)備150可以執(zhí)行多種功能，操作，和與其相關(guān)的東西。在這些實(shí)施例中，存儲(chǔ)單元可以包含有用來把任何由用戶生成的圖形單元與它們?cè)谠摫砻嫔系奈恢孟嚓P(guān)聯(lián)的計(jì)算機(jī)代碼。筆設(shè)備150可以識(shí)別“下觸”或“下?lián)簟被蛘胖糜谠摫砻?例如當(dāng)用戶開始書寫時(shí))并能識(shí)別“上沖”或者從該表面抬起(例如當(dāng)用戶完成書寫時(shí))。這種下?lián)艉蜕蠜_可以被筆設(shè)備例如解釋為有關(guān)何時(shí)某種功能被調(diào)用以及那種特定的功能被調(diào)用的指示器(例如觸發(fā)OCR處理)。更準(zhǔn)確地說，根據(jù)應(yīng)用程序(例如選擇一個(gè)圖形單元圖標(biāo)、字符串等等)，其后緊跟上沖的下?lián)?例如筆設(shè)備在表面上的選擇)可能與某種特定動(dòng)作有關(guān)。
應(yīng)當(dāng)指出的是，該普通術(shù)語“圖形單元圖標(biāo)”可以包括由用戶生成的任何適當(dāng)標(biāo)記(例如一個(gè)用戶已寫可選項(xiàng)目)，并可區(qū)別于這樣的一個(gè)圖形單元圖標(biāo)，該圖標(biāo)是指那些被用來獲取該設(shè)備一個(gè)或者多個(gè)功能的功能性圖形單元圖標(biāo)。
如上所述，應(yīng)當(dāng)指出的是，圖形單元圖標(biāo)可以由筆設(shè)備150生成(例如由用戶繪制)，或者可以預(yù)先存在(例如在一張紙上的印刷單元)。實(shí)例性的圖形單元包括，但又不局限于諸如字母和/或數(shù)字、字符、單詞、圖形、線條等等的標(biāo)記。它們?cè)谛螤钌峡梢允且?guī)則的也可以是不規(guī)則的。通常使用筆設(shè)備150來生成用戶已寫/生成圖形單元。另外，圖形單元圖標(biāo)通常，但又不總是，在字符(例如字母“M”)結(jié)合有環(huán)繞線(例如圓)，從而對(duì)于用戶和筆設(shè)備150來說給了它們更深程度的特殊性。例如，在一個(gè)實(shí)施例中，在字符周圍結(jié)束一個(gè)圓后的上沖能特定地向筆設(shè)備150指示該用戶剛剛生成一個(gè)圖形單元圖標(biāo)。
圖8示出一個(gè)根據(jù)本發(fā)明一個(gè)實(shí)施例的計(jì)算機(jī)執(zhí)行處理550的步驟的流程圖。處理550描述一個(gè)用戶交互處理的基本運(yùn)行步驟，該處理由根據(jù)本發(fā)明的一個(gè)實(shí)施例的交互式設(shè)備(例如交互式設(shè)備100)執(zhí)行，它以圖形單元、筆跡、標(biāo)記等等的形式解釋用戶輸入，并向該用戶提供所要求的功能。
處理550從步驟551開始，其中筆設(shè)備150的計(jì)算機(jī)執(zhí)行功能識(shí)別一個(gè)已生成的圖形單元圖標(biāo)(例如由用戶生成)。可選擇地，該圖形單元圖標(biāo)被預(yù)先印刷在表面上并且筆設(shè)備已經(jīng)知道它的位置。在步驟551，如果用戶正在第一次書寫該圖形單元，筆設(shè)備150正使用光學(xué)傳感器和處理器來根據(jù)筆跡執(zhí)行OCR(光學(xué)字符識(shí)別)，從而識(shí)別該用戶已寫圖形單元。接著它在該表面上唯一的位置被記錄。在一個(gè)實(shí)施例中，在步驟552，一旦識(shí)別出來后，與該圖形單元圖標(biāo)相關(guān)的功能被獲取。該功能例如可以是一個(gè)菜單功能，它能闡明(音頻給出)一個(gè)用于用戶后續(xù)動(dòng)作的預(yù)定功能列表(例如菜單選項(xiàng)或者子菜單選項(xiàng))。在步驟553，提供根據(jù)該功能的音頻輸出。音頻輸出例如可以是闡明在選項(xiàng)列表中用戶是哪個(gè)特定選項(xiàng)。在步驟554，該功能永久地與該圖形單元圖標(biāo)相關(guān)聯(lián)，從而允許由該圖形單元圖標(biāo)的隨后動(dòng)作(例如用筆設(shè)備進(jìn)行選擇)隨后(例如后來的某個(gè)時(shí)間)獲取該功能。例如，在菜單功能的情況下，在隨后的時(shí)間，用戶可以通過簡(jiǎn)單地作用于該圖形單元圖標(biāo)(例如選擇它)來隨后獲取所列的菜單選項(xiàng)。
應(yīng)當(dāng)知道，多個(gè)不同的圖形單元可以存在于該表面上并且隨時(shí)可存在，其中的選擇可以提供由筆設(shè)備150執(zhí)行的不同功能，例如調(diào)用程序，調(diào)用子菜單選項(xiàng)等等。
應(yīng)當(dāng)指出的是，除了音頻輸出外，取而代之的或者另外的，筆設(shè)備150的輸出可以是視頻輸出(例如通過顯示器，指示器發(fā)光等等)。該視頻輸出和/或音頻輸出可以直接來自筆設(shè)備150，或者可以來自連接到筆設(shè)備150上的其它設(shè)備(例如個(gè)人電腦、揚(yáng)聲器、LCD顯示器等等)。
以這種方式，本發(fā)明的實(shí)施例實(shí)現(xiàn)一個(gè)用戶接口裝置，它用來控制一個(gè)計(jì)算機(jī)系統(tǒng)的功能，特別是基于例如包括筆設(shè)備150的計(jì)算機(jī)系統(tǒng)的筆。這個(gè)由圖形單元圖標(biāo)實(shí)現(xiàn)的用戶接口提供一種與多個(gè)軟件程序進(jìn)行交互的方法，這些程序在筆設(shè)備150中被執(zhí)行。如上所述，來自筆設(shè)備150的輸出可包括音頻輸出，并且因此該用戶接口裝置允許用戶與筆設(shè)備150的應(yīng)用程序和功能執(zhí)行一個(gè)“對(duì)話”。換句話說，該用戶接口使得用戶生成諸如圖形單元圖標(biāo)的相互識(shí)別的項(xiàng)目，這使得用戶和筆設(shè)備150相互進(jìn)行交互。如上所述，該相互識(shí)別項(xiàng)目通常是用戶在一個(gè)表面上，通常是一張紙上，繪制的符號(hào)或者標(biāo)記或者圖標(biāo)。
不同的圖形單元圖標(biāo)具有不同的含義和與用戶交互的不同方式。通常，對(duì)于給定的圖形單元圖標(biāo)，該交互的方式將調(diào)用筆設(shè)備的不同的計(jì)算機(jī)執(zhí)行功能。為了示意性的目的。在上面菜單例子的情況下，菜單功能允許用戶通過與該圖形單元有關(guān)的一列功能來重述(通過一列功能在菜單圖形單元圖標(biāo)上選擇的次數(shù)來重述)。當(dāng)作出選擇時(shí)，來自筆設(shè)備的音頻可以闡明該功能或者模式。用戶可以通過進(jìn)一步的交互接著選擇所闡明的功能或者模式中的一個(gè)(例如繪制或者選擇一個(gè)在前繪制的與該圖形單元圖標(biāo)相關(guān)的檢查標(biāo)記圖形單元)。一旦作出選擇后，用戶接著就可以獲得該特定所選功能的功能和選項(xiàng)以及子菜單?？蛇x擇地，如果一個(gè)音頻給出的子菜單本身是一個(gè)菜單圖形圖標(biāo)，它可以由用戶選擇，在該表面上繪制它的表示并選擇它。
圖9示出一個(gè)根據(jù)本發(fā)明一個(gè)實(shí)施例的處理650的計(jì)算機(jī)執(zhí)行步驟的流程圖。處理650描述一個(gè)用戶接口處理的基本運(yùn)行步驟，該步驟用來獲得(例如控制)根據(jù)本發(fā)明的一個(gè)實(shí)施里的交互式設(shè)備(例如筆設(shè)備150)的多個(gè)嵌套、分級(jí)功能。參考圖11A、11B和11C來描述處理650。
處理650從步驟651開始，其中筆設(shè)備150的計(jì)算機(jī)執(zhí)行功能識(shí)別已生成的圖形單元圖標(biāo)，在圖11A中示為菜單圖標(biāo)“M”。如同步驟551，圖形單元圖標(biāo)可以由用戶書寫或者預(yù)先印刷在嘎表面上。在一種情況下，該圖形單元圖標(biāo)能夠提供進(jìn)一步的圖形單元圖標(biāo)(例如分級(jí)排列的)的一列選項(xiàng)，它們與其相互關(guān)聯(lián)并且它們本身可以提供進(jìn)一步的選項(xiàng)。在步驟652，并如圖11A所示，一旦識(shí)別出來，就獲得與該圖形單元圖標(biāo)相關(guān)的功能的第一等級(jí)菜單。在本例子中，一旦識(shí)別出來，步驟651的菜單圖標(biāo)“M”使得一列子選項(xiàng)(例如系統(tǒng)“S”，游戲“G”，參考“R”，和工具“T”)被音頻給出(例如通過音頻提示)，如圖11A所示，一次一個(gè)選項(xiàng)。為了響應(yīng)筆設(shè)備(例如筆設(shè)備151)在步驟651對(duì)該菜單圖標(biāo)的隨后選擇，這些選項(xiàng)被給出。
在步驟653，并如圖11B所示，通過啟動(dòng)該菜單圖形單元圖標(biāo)的適當(dāng)數(shù)字和啟動(dòng)相關(guān)的檢查標(biāo)記870來選擇所闡明的功能中的一個(gè)，在本例中是參考圖形單元圖標(biāo)“R”。在步驟654，所啟動(dòng)的功能可以提示生成一個(gè)用于該功能第二等級(jí)菜單的第二圖形單元圖標(biāo)。用戶可接著在該表面上繪制該第二圖形單元圖標(biāo)，在本例中是參考圖標(biāo)“R”。如圖11C所示，其中的選擇將引起一個(gè)第二列子菜單項(xiàng)目來以上述的方式(例如辭典“TH”，字典“D”，和幫助“H”)被音頻給出(例如通過音頻提示)。接著在步驟655，通過啟動(dòng)的適當(dāng)數(shù)字來啟動(dòng)該所闡明的第二圖形單元圖標(biāo)的功能中的一個(gè)，從而選擇該第二等級(jí)功能中的一個(gè)。
以這種方式，一個(gè)菜單可以調(diào)用多個(gè)子菜單，這些子菜單本身還可以具有進(jìn)一步的子菜單。因此，可以分級(jí)地安排圖形單元圖標(biāo)的不同級(jí)別。通常，表示功能菜單的頂級(jí)圖形單元圖標(biāo)被稱為組圖形單元圖標(biāo)。應(yīng)用圖形單元圖標(biāo)是第二級(jí)圖形單元圖標(biāo)，其通常表示配置選項(xiàng)的菜單或者為特定應(yīng)用設(shè)置的應(yīng)用。例如，應(yīng)用圖形單元圖標(biāo)可以被認(rèn)為是組圖形單元圖標(biāo)的特殊情況。通常，一個(gè)應(yīng)用圖形單元圖標(biāo)具有一個(gè)專門應(yīng)用，其與其有關(guān)的缺省動(dòng)作有關(guān)。
以這種方式，用戶接著可以從該列菜單項(xiàng)目中選擇一個(gè)菜單項(xiàng)目。該菜單項(xiàng)目可以包括目錄名稱、子目錄名稱、應(yīng)用程序名稱、或者特定數(shù)組的名稱。目錄或者子目錄名稱的例子包括，但又不局限于“工具”(例如在多種不同環(huán)境中可用的交互式有用功能)、“參考”(例如諸如字典的參考資料)、“游戲”(例如不同的游戲)等等。特定應(yīng)用(或子目錄)名稱的例子可以包括“計(jì)算器”、“拼寫檢查器”、和“翻譯器”。數(shù)組地特定例子可包括一組外國(guó)單詞以及它們的定義，一個(gè)電話列表、一個(gè)日歷、一個(gè)將作事情列表等等。菜單項(xiàng)目的其它例子在下面的圖10示出。
特定的音頻指令可以提供給不同的菜單項(xiàng)目。例如，在用戶選擇了“計(jì)算器”菜單項(xiàng)目后，筆設(shè)備可提示用戶在紙的表面繪制數(shù)字0-9，和操作符+、-、×、/和＝并接著選擇數(shù)字來執(zhí)行數(shù)學(xué)計(jì)算。在另一個(gè)例子中，在用戶選擇了“翻譯”菜單選項(xiàng)后，筆設(shè)備提示用戶寫下第二語言的名稱并用圓圈住。用戶作完這些后，筆設(shè)備進(jìn)一步地提示用戶用英語寫下一個(gè)單詞，并接著選擇所圈住的第二語言來聽取被翻譯成第二語言的所寫下的單詞。作完這些后，筆設(shè)備中的音頻輸出設(shè)備可用第二語言讀出該單詞。
圖10示出一個(gè)根據(jù)本發(fā)明一個(gè)實(shí)施例的菜單項(xiàng)目樹型目錄，其包括表示每種選項(xiàng)的圖形單元圖標(biāo)。該菜單項(xiàng)目屬型目錄可以包含從菜單圖形單元圖標(biāo)開始的音頻菜單。從圖10的項(xiàng)部開始，第一音頻子菜單是一個(gè)工具T子目錄。在工具T子目錄下，是一個(gè)翻譯器TR子目錄，一個(gè)計(jì)算器C子目錄、一個(gè)拼寫檢查器SC子目錄、一個(gè)個(gè)人助理PA子目錄、一個(gè)報(bào)警時(shí)鐘AL子目錄和一個(gè)輔導(dǎo)TU功能。在翻譯器TR子目錄下，是西班牙語SP、法語FR和德語GE翻譯器功能。在個(gè)人助理PA子目錄下，是計(jì)算器C、電話列表FL、和將做事情列表TD功能或者子目錄。在參考R字母錄下，是辭典TH功能、字典D子目錄和幫助H功能。在字典D字母錄下，是英語E功能、西班牙語SF功能、和法語FR功能。在游戲G子目錄下，可以是諸如文字?jǐn)嚭蚖S、古怪的馬鈴薯FP，和亂畫D0的游戲。其它游戲還可以在本發(fā)明的其它實(shí)施例中提供。在系統(tǒng)S子目錄下，可以是安全SE功能和個(gè)人化P功能。
下面給出有關(guān)上述的目錄、子目錄和功能的細(xì)節(jié)。如菜單項(xiàng)目數(shù)型目錄所示的那樣，通過聽取讀出的不同菜單項(xiàng)目并接著選擇所要的菜單項(xiàng)目，用戶可以進(jìn)行或者向下進(jìn)入任何所要路徑。對(duì)所要菜單項(xiàng)目的隨后選擇可以任何適當(dāng)?shù)姆绞疆a(chǎn)生。例如，在某些實(shí)施例中，用戶可以通過在已生成的圖形單元上“下觸”(例如下?lián)?來使筆設(shè)備滾向該音頻菜單。該“下觸”可由筆設(shè)備中的電路通過適當(dāng)?shù)臋C(jī)制來識(shí)別作為一個(gè)“啟動(dòng)”。例如，筆設(shè)備可以被編程來識(shí)別與它向下移動(dòng)到所選擇的圖形單元有關(guān)的圖形變化。
在另一個(gè)實(shí)施例中，可以在筆設(shè)備中提供一個(gè)壓力敏感開關(guān)，從而當(dāng)筆設(shè)備的一端向紙施加壓力時(shí)，啟動(dòng)壓力開關(guān)。這通知筆設(shè)備滾動(dòng)到音頻彩電。例如，在用筆設(shè)備選擇了用圓圈住的字母“M”后(從而啟動(dòng)筆設(shè)備中的壓力開關(guān))，筆設(shè)備中的音頻輸出設(shè)備可以讀出“工具”并不再讀出其它內(nèi)容。用戶可以第二次選擇用圓圈住的字母“M”來使得音頻輸出設(shè)備讀出菜單項(xiàng)目“參考”。這個(gè)操作可以如要求的一樣讀出很多次從而滾動(dòng)到音頻菜單。為了選擇特定的菜單，用戶可以在紙上生成一個(gè)與眾不同的標(biāo)記或者向掃描設(shè)備提供一個(gè)特殊的標(biāo)記。例如，用戶可以在聽到單詞“工具”來選擇子目錄“工具”后，在圓圈住的字母“M”附近繪制一個(gè)“檢查標(biāo)記”(或者其它圖形單元)。使用這種方法，用戶可以到達(dá)菜單項(xiàng)目樹中想要的目錄、子目錄或者功能。生成不同的圖形單元或者不同標(biāo)記可以被用來使得筆設(shè)備向上滾動(dòng)?？蛇x擇地，可以在筆設(shè)備中提供按鈕或者其它啟動(dòng)器來把筆設(shè)備滾動(dòng)到菜單。一旦選擇了“工具”后，它將如上所述地運(yùn)行，僅涉及它的子目錄。
在其它實(shí)施例中，在生成菜單圖形單元圖標(biāo)(例如帶圓的字母“M”)后，用戶可以選擇該菜單圖形單元圖標(biāo)。在掃描設(shè)備種的軟件把用圓圈住的字母“M”識(shí)別為菜單符號(hào)并使該掃描設(shè)備在隨后和隔開的時(shí)間段讀出菜單項(xiàng)目“工具”、“參考”、“游戲”和“系統(tǒng)”，而無需用戶進(jìn)一步地接進(jìn)它?？梢韵蛴脩籼峁┮纛l指令。例如，筆設(shè)備可以讀出“選擇工具目錄，請(qǐng)寫下字母T并用圓圈住它”。為了選擇該菜單項(xiàng)目，用戶可以生成一個(gè)字母“T”并用圓圈住它。這向筆設(shè)備表明用戶已經(jīng)選擇了“工具”子目錄。接著，筆設(shè)備把“工具”目錄下的菜單項(xiàng)目讀給用戶。因此，通過在紙上生成一個(gè)表示目錄、子目錄或者功能的圖形單元并與其進(jìn)行交互可以直接地到達(dá)菜單項(xiàng)目樹中的特定目錄、子目錄或者功能?？蛇x擇地，如果菜單項(xiàng)目已經(jīng)處于該表面上，用戶可以在任何時(shí)候與其進(jìn)行交互從而來選擇它的功能。
應(yīng)當(dāng)指出的是，在圖10中示出的圖形單元圖標(biāo)的目錄、子目錄、選項(xiàng)菜單等等中的項(xiàng)目的順序可以由用戶改變。例如，用戶可以使用某個(gè)應(yīng)用程序并用它來改變這個(gè)順序，其中一個(gè)或者多個(gè)目錄、子目錄等的項(xiàng)目可以音頻獲得。同樣，用戶可以改變與在給定的目錄/子目錄等中的一個(gè)或者多個(gè)項(xiàng)目相關(guān)的音頻輸出。例如，用戶可以記錄下它自己聲音來用于一個(gè)項(xiàng)目，使用一個(gè)預(yù)記錄的歌曲(例如MP3等)，或者類似東西，并且用戶根據(jù)項(xiàng)目音頻給出輸出。另外應(yīng)當(dāng)指出的是，用于一個(gè)或者多個(gè)目錄、子目錄等的其它項(xiàng)目例如可以被添加由筆設(shè)備提供的增加軟件/或固件升級(jí)版本(例如根據(jù)功能上載新的軟件)。
應(yīng)當(dāng)指出的是，圖形單元圖標(biāo)的多個(gè)實(shí)例(例如多個(gè)菜單圖標(biāo))的各個(gè)狀態(tài)可永久地與每個(gè)特定實(shí)例相關(guān)聯(lián)。例如在兩個(gè)或者多個(gè)圖形單元圖標(biāo)存在于一個(gè)普通表面上的情況下(例如由用戶生成的、預(yù)印刷的，或者類似的)，可已對(duì)每個(gè)圖標(biāo)記住它們的狀態(tài)或者它們?cè)谒鼈冞x項(xiàng)的目錄中地特定位置。例如，如果第一菜單圖標(biāo)目前是選項(xiàng)3(例如“游戲”)，而第二菜單圖標(biāo)目前是選項(xiàng)1(例如“工具”)，用戶可以離開并使用其它應(yīng)用程序執(zhí)行其它任務(wù)(例如計(jì)算器、字典等)，并可以在后來的某個(gè)時(shí)間返回到第一或者第二菜單圖標(biāo)，它們將正確的保持它們最后的狀態(tài)(例如“游戲”對(duì)應(yīng)第一菜單圖標(biāo)，“工具”對(duì)應(yīng)第二菜單圖標(biāo))。
同樣應(yīng)當(dāng)指出的是，一個(gè)圖形單元圖標(biāo)的多個(gè)實(shí)例(例如多個(gè)菜單圖標(biāo))的各個(gè)狀態(tài)可以在多個(gè)實(shí)例中被調(diào)整并永久地與每個(gè)特定實(shí)例相關(guān)聯(lián)。用調(diào)整后的狀態(tài)，其中兩個(gè)或者多個(gè)圖形單元圖標(biāo)存在于一個(gè)普通表面上(例如由用戶生成的、預(yù)印刷的，或者類似的)，可針對(duì)每個(gè)圖標(biāo)記住它們的狀態(tài)，但是可以調(diào)整該狀態(tài)從而使得該選項(xiàng)橫越每個(gè)實(shí)例。例如，如果第一菜單圖標(biāo)目前是選項(xiàng)2(例如“系統(tǒng)”)，第二菜單圖標(biāo)將使它的狀態(tài)得到調(diào)整從而使它是選項(xiàng)3(例如“工具”)。用戶可以執(zhí)行其它中間任務(wù)并在隨后的某個(gè)時(shí)間返回到第一或者第二菜單圖標(biāo)，它們將正確的保持它們最后的狀態(tài)(例如“系統(tǒng)”對(duì)應(yīng)第一菜單圖標(biāo)，“工具”對(duì)應(yīng)第二菜單圖標(biāo))。
圖12示出一個(gè)表面910，根據(jù)本發(fā)明一個(gè)實(shí)施例它具有多個(gè)已寫在其上的不同類型的圖形單元圖標(biāo)。圖12示出了一個(gè)組圖形單元圖標(biāo)(例如菜單圖標(biāo)“M”和游戲圖標(biāo)“G”)和一個(gè)應(yīng)用圖標(biāo)(例如計(jì)算器圖標(biāo)“C”)的例子。圖形單元圖標(biāo)可以由用戶寫在這張紙910上或者預(yù)印刷在它上面。如上所述，足圖形單元圖標(biāo)通常音頻提示一列選項(xiàng)。例如，如在圖10種討論的那樣，用筆設(shè)備150在位置901處重復(fù)地選擇可以進(jìn)入菜單目錄地選項(xiàng)(例如系統(tǒng)、游戲、參考、和工具)。例如，在菜單圖標(biāo)上選擇兩次將使筆設(shè)備150音頻給出“系統(tǒng)”并接著音頻給出“游戲”來表明選擇了游戲子目錄。接著通過接觸位置902可以啟動(dòng)游戲子目錄并且可以通過音頻來讓用戶確認(rèn)該啟動(dòng)。
接著，筆設(shè)備150音頻提示用戶生成(例如繪制)一個(gè)如圖12所示的游戲圖形單元圖標(biāo)。如在圖10中討論的那樣，接著用筆設(shè)備150在位置903處選擇游戲圖標(biāo)使筆設(shè)備150進(jìn)入游戲子目錄的選項(xiàng)(例如文字爬行、惡臭的馬鈴薯，和亂畫)。接著可以通過在位置904出的選擇(例如與游戲有關(guān)的檢查標(biāo)記)來選擇一個(gè)游戲子目錄項(xiàng)目，或者可選擇地，當(dāng)那里還沒有檢查標(biāo)記時(shí)繪制該檢查標(biāo)記。
仍參照?qǐng)D12，在計(jì)算器圖標(biāo)“C”處的接觸啟動(dòng)計(jì)算器功能。以這種方式，計(jì)算器圖標(biāo)不給出一列菜單項(xiàng)目或者子目錄項(xiàng)目，而是直接啟動(dòng)應(yīng)用程序本身，在該情況下是計(jì)算器應(yīng)用程序。一旦調(diào)用計(jì)算器應(yīng)用程序，筆設(shè)備150確認(rèn)該啟動(dòng)(例如通過給出音頻提示)并音頻提示用戶通過一系列的動(dòng)作來準(zhǔn)備使用該計(jì)算器(例如通過指示用戶在表面上繪制數(shù)字0-9和操作符+、-、×、/和＝并接著選擇數(shù)字來執(zhí)行數(shù)學(xué)計(jì)算)。
在上面的例子中，應(yīng)當(dāng)重要指出的是，當(dāng)它第一次由用戶寫下時(shí)，OCR(光學(xué)字符識(shí)別)處理需要在標(biāo)記、單個(gè)字符(例如字母“M”)、或者字符串(例如一個(gè)單詞)上僅僅執(zhí)行一次。如上所述，筆設(shè)備150具有這樣的功能，該功能可以通過讓筆設(shè)備讀取在表面910上編碼的數(shù)據(jù)來判定圖形單元在表面910上的位置。這使得筆設(shè)備150能記住特定字符、特定符號(hào)、特定字符串等的位置。從而該筆設(shè)備150可以通過在表面上該特定單詞的相同位置來識(shí)別隨后對(duì)特定單詞的選擇(例如當(dāng)用戶后來把筆設(shè)備150放在特定單詞上)。根據(jù)用戶隨后對(duì)該單詞的選擇，調(diào)用前面所執(zhí)行的OCR處理的結(jié)果，例如這些結(jié)果由一個(gè)啟動(dòng)應(yīng)用程序(例如辭典)使用。因此，保存OCR處理(例如在單詞、字符、數(shù)字等上)的結(jié)果的能力和在隨后的時(shí)間由一個(gè)或者多個(gè)應(yīng)用程序隨后調(diào)用這些結(jié)果的能力，極大的提高了由根據(jù)本發(fā)明的實(shí)施例實(shí)現(xiàn)的用戶接口的敏感度和性能。源敏感OCR處理僅僅需要被筆設(shè)備150的計(jì)算機(jī)系統(tǒng)資源執(zhí)行一次。
圖12還示出一個(gè)用戶書寫單詞906(例如字符串)，它是通過使用筆設(shè)備150的“提示-信任”功能生成的。在本發(fā)明的實(shí)施例中，應(yīng)當(dāng)指出的是，某些單詞、字符串、標(biāo)記、符號(hào)、或者其它圖形單元根本不需要使用OCR處理。例如，為了響應(yīng)來自筆設(shè)備150的音頻提示，用戶可以生成特定的單詞、圖形單元等，其中筆設(shè)備提示用戶寫下該特定的單詞(例如“總統(tǒng)”)并接著把所寫下的單詞的位置連同相互關(guān)系(例如來自提示)保存下來。以上述的方式通過該位置來識(shí)別對(duì)所生成的單詞隨后選擇。例如，筆設(shè)備指示用戶寫下單詞“總統(tǒng)”，并且筆設(shè)備150會(huì)把隨后對(duì)該單詞地選擇看作是，換句話說信任為，實(shí)際上的單詞“總統(tǒng)”，該單詞是用戶為了響應(yīng)該提示而寫下的單詞。根據(jù)著中應(yīng)用，可以提示用戶在該單詞下劃線，在該單詞周圍放一個(gè)框或者其它和一些區(qū)別標(biāo)記/圖形單元。
圖13A和13B示出一個(gè)計(jì)算機(jī)執(zhí)行處理1300的流程圖，它用來根據(jù)本發(fā)明一個(gè)實(shí)施例把用戶筆跡與用戶可寫單元相關(guān)聯(lián)。在一個(gè)實(shí)施例中，處理1300描述了該處理的基本操作步驟，它用來根據(jù)本發(fā)明一個(gè)實(shí)施例把用戶筆跡和由設(shè)備(例如圖1的交互式設(shè)備)執(zhí)行的用戶可寫單元相關(guān)聯(lián)。盡管在處理1300公開了特定的步驟，但是這些步驟僅是示意性的。即，本發(fā)明的實(shí)施例可以很好地執(zhí)行其它步驟或者在圖13A和13B中所述的步驟的變化步驟。
在處理1300的步驟1310，音頻提示用戶在表面上繪制一個(gè)用戶可寫單元。在一個(gè)實(shí)施例中，圖1中的處理器112指導(dǎo)音頻輸出設(shè)備116音頻給出音頻提示。應(yīng)當(dāng)知道，可以連同特定應(yīng)用程序給出音頻提示。例如，在計(jì)算器功能中，用戶可被提示繪制數(shù)字“1”。在另一個(gè)例子中，在教學(xué)應(yīng)用程序中，用戶可被提示繪制多種圖形，諸如標(biāo)記，小木屋、和大禮帽。應(yīng)當(dāng)知道，用戶可寫單元可以包括，但又不局限于一個(gè)字符串、單詞、符號(hào)、圖形單元、圖像、或者其它用戶繪制項(xiàng)目。
在一個(gè)實(shí)施例中，音頻提示用戶在表面的特定區(qū)域繪制用戶可寫單元。例如，可以提示用戶在接近一張紙(例如表面)的上端繪制單詞“北”并在接近一張紙(例如表面)的下端繪制單詞“南”。
在一個(gè)實(shí)施例中，當(dāng)用戶完成用戶筆跡的書寫時(shí)，交互式設(shè)備100例如通過把靜止(例如用戶不再書寫)識(shí)別為數(shù)據(jù)輸入結(jié)束事件來識(shí)別出用戶已經(jīng)完成書寫的事實(shí)。通過這種方式，一個(gè)“中止”機(jī)制可以被用來識(shí)別數(shù)據(jù)輸入的結(jié)束。其它終端事件可能是用戶完成在一個(gè)字母或者多個(gè)字母周圍劃的圓。其它終端事件的例子在共同美國(guó)專利申請(qǐng)中描述，該美國(guó)專利申請(qǐng)的律所標(biāo)簽號(hào)為L(zhǎng)EAP-P0320，是由James Marggraff等人于2005年2月12日提出的，它的美國(guó)申請(qǐng)?zhí)枮?1/035,003，名稱為“終端事件”，在這里它的整個(gè)內(nèi)容被包括進(jìn)來。
在步驟1320，在該表面上識(shí)別用戶筆跡。在一個(gè)實(shí)施例中，使用圖1中的光學(xué)探測(cè)器120和處理器112來探測(cè)用戶筆跡。應(yīng)當(dāng)知道，僅探測(cè)到出現(xiàn)用戶筆跡時(shí)，不處理或者識(shí)別該用戶筆跡。換句話說，沒有確認(rèn)該用戶筆跡是用戶可寫單元。特別地，不對(duì)用戶筆跡執(zhí)行OCR操作。在一個(gè)實(shí)施例中，如果用戶筆跡是緊跟著音頻提示后的第一筆跡，當(dāng)正在響應(yīng)該音頻提示時(shí)判定該用戶筆跡。
在步驟1330，記錄用戶筆跡在表面上的位置。在一個(gè)實(shí)施例中，如上面連同圖3和4所述，該表面具有編碼模式，它具有包括標(biāo)記模式的光學(xué)可讀位置代碼的形式。使用該光學(xué)可讀位置代碼，光學(xué)探測(cè)器(例如圖1中的光學(xué)探測(cè)器120)能夠讀取并記錄該用戶筆跡的位置。
在步驟1340，把該位置與用戶可寫單元相關(guān)聯(lián)。換句話說，如提示該用戶可寫單元的功能與在所記錄的位置的用戶筆跡相關(guān)聯(lián)，而無需確認(rèn)該用戶筆跡實(shí)際上是用戶可寫單元。例如，提示寫下詞“北方”的用戶可能實(shí)際上寫下字“北”。用戶筆跡，例如字“北”，與該用戶可寫單元，例如“北方”，相關(guān)聯(lián)。特別地，交互式設(shè)備(例如圖1的交互式設(shè)備100)不對(duì)用戶筆跡執(zhí)行任何識(shí)別。事實(shí)上，提示用戶繪制一個(gè)特定項(xiàng)目并且該交互式設(shè)備相信已經(jīng)寫下該特定的項(xiàng)目，不管實(shí)際上寫下的是什么。用戶筆跡的位置與所提示的用戶可寫單元相關(guān)聯(lián)。從而，根據(jù)與該用戶可寫單元的交互執(zhí)行與用戶筆跡的交互。
圖14示出根據(jù)本發(fā)明的一個(gè)實(shí)施例其上具有多個(gè)已寫用戶筆跡的表面。例如，提示用戶繪制一個(gè)母牛。用戶繪制該用戶筆跡1410來響應(yīng)該提示。交互式設(shè)備把用戶筆跡1410的位置與一個(gè)母牛相關(guān)聯(lián)。交互式設(shè)備不驗(yàn)證該用戶筆跡實(shí)際上是母牛。
參照?qǐng)D13A，在步驟1350，在一個(gè)實(shí)施例中，為了響應(yīng)探測(cè)到與用戶筆跡的交互，執(zhí)行與該用戶可讀單元相關(guān)聯(lián)的動(dòng)作。在一個(gè)實(shí)施例中，交互包括在該位置與該用戶筆跡相聯(lián)系的書寫單元。例如，當(dāng)多個(gè)用戶筆跡與計(jì)算器的數(shù)字和操作符相關(guān)聯(lián)時(shí)，用戶和與附加功能有關(guān)的用戶筆跡之間的交互將執(zhí)行附加的功能。在另一個(gè)例子中，應(yīng)用程序可以提示用戶一個(gè)問題，諸如“羅盤的上指針指示的是那個(gè)方向”？用戶和與用戶可寫單元“北方”有關(guān)的用戶筆跡之間的交互將執(zhí)行一個(gè)提示來表明用戶已經(jīng)選擇了正確的響應(yīng)。同樣，用戶和與其它用戶筆跡之間的交互將執(zhí)行一個(gè)提示來表明用戶已經(jīng)選擇了錯(cuò)誤的響應(yīng)。另外，用戶和表示不同用戶可寫單元的不同錯(cuò)誤用戶筆跡之間的交互可執(zhí)行來自交互式設(shè)備不同的提示。例如，用戶和與用戶可寫單元“南方”有關(guān)的用戶筆跡之間的交互將執(zhí)行一個(gè)提示，諸如“你接近答案了，但試試相反的方向”，而用戶和與有關(guān)狗的用戶可寫單元有關(guān)的用戶筆跡之間的交互將執(zhí)行一個(gè)提示，諸如“那根本不是一個(gè)方向，重試”。
再次參照?qǐng)D14，用戶筆跡1410到1440包括在動(dòng)物認(rèn)識(shí)應(yīng)用程序中。例如，將用動(dòng)物的聲音提示一個(gè)和用戶筆跡1410到1440進(jìn)行交互的用戶。與用戶筆跡1410進(jìn)行交互的用戶將音頻獲得聲音“哞哞”。同樣，為了響應(yīng)與各個(gè)用戶筆跡地交互，可以獲得與用戶筆跡1420(例如綿羊)、用戶筆跡(例如豬)和用戶筆跡(例如鳥)相關(guān)的動(dòng)物聲音。
參考圖13B，在步驟1360，在一個(gè)實(shí)施例中，在表面識(shí)別一個(gè)與輸入功能有關(guān)的第二用戶筆跡。在一個(gè)實(shí)施例中，第二用戶筆跡是一個(gè)檢查標(biāo)記。該輸入功能為應(yīng)用程序是供額外的功能，該應(yīng)用程序中已經(jīng)繪制了用戶筆跡。在一個(gè)實(shí)施例中，當(dāng)用戶筆跡被選擇時(shí)(例如與其交互)，交互式設(shè)備執(zhí)行一個(gè)動(dòng)作，并且當(dāng)有關(guān)的第二用戶筆跡被選擇時(shí)可執(zhí)行一個(gè)輸入類型的功能。例如，輸入類型功能可以指示接收數(shù)據(jù)、選擇數(shù)據(jù)、或者選擇命令。
在步驟1370，在一個(gè)實(shí)施例中，為了響應(yīng)探測(cè)到的與第二用戶筆跡之間的交互，執(zhí)行與該用戶可寫單元相關(guān)的輸入功能。如上在步驟1360所述，輸入功能為應(yīng)用程序提供額外的功能。
圖14示出與動(dòng)物認(rèn)識(shí)應(yīng)用程序有關(guān)的用戶筆跡1410到1440。檢查標(biāo)記為該動(dòng)物認(rèn)識(shí)應(yīng)用程序提供輸入類型的功能。例如，用戶可以選擇(例如與其交互)用戶筆跡1420和用戶筆跡1440，并接著選擇檢查標(biāo)記1450。這些用戶交互可使交互設(shè)備音頻給出與用戶筆跡1420有關(guān)的綿羊叫聲和與用戶筆跡1440有關(guān)的鳥的鳴叫。該輸入功能允許用戶選擇一組用戶筆跡并提供與所選擇的用戶筆跡有關(guān)的信息(例如動(dòng)物的聲音)。
以這種方式，本發(fā)明實(shí)施例的提示-信任特征使得生成的圖形單元具有意義，這些意義可以在用戶和筆設(shè)備150之間相互理解。重要的是，應(yīng)當(dāng)知道，在單詞“總統(tǒng)”上沒有進(jìn)行OCR處理。使用“提示-信任”功能生成的圖形單元可以與其它應(yīng)用程序、選項(xiàng)、菜單、功能等相關(guān)聯(lián)，通過對(duì)該提示-信任圖形單元的選擇(例如通過選擇)能夠調(diào)用上述任何功能。消除了對(duì)OCR處理的要求降低了筆設(shè)備150上的計(jì)算命令，從而提高了用戶接口的敏感度。
盡管已經(jīng)在使用表面的上下文中描述了本發(fā)明的實(shí)施例，其中為了確定被設(shè)備的位置用標(biāo)記對(duì)該表面進(jìn)行編碼，但是應(yīng)當(dāng)知道，本發(fā)明的實(shí)施例可用于這樣的筆設(shè)備，該筆設(shè)備使用不要求對(duì)表面進(jìn)行編碼的其它方式來確定位置。例如，在一個(gè)實(shí)施例中，筆設(shè)備可以包括一個(gè)或者多個(gè)位置定位裝置，諸如例如運(yùn)動(dòng)傳感器、陀螺儀等等，并可以配置為準(zhǔn)確地保存在給定表面(例如一張紙)的準(zhǔn)確位置。例如可以通過連續(xù)地感觸該表面(例如一張長(zhǎng)方形的紙)的相對(duì)角來保存該表面的準(zhǔn)確位置。接著通過把所保存的表面的準(zhǔn)確位置與它的定位判定裝置的結(jié)果相比較，筆設(shè)備可以識(shí)別由用戶寫下的圖形單元在該表面上的位置。
以上描述了本發(fā)明多個(gè)實(shí)施例，用于把用戶筆跡與用戶可寫單元相關(guān)聯(lián)的方法。盡管已經(jīng)用特定實(shí)施例描述本發(fā)明，但是應(yīng)當(dāng)知道本發(fā)明不應(yīng)被解釋為局限于這些實(shí)施例，而應(yīng)該根據(jù)下面的權(quán)利要求書進(jìn)行解釋。
權(quán)利要求
1.一種用來把一個(gè)用戶筆跡與一個(gè)用戶可寫單元相關(guān)聯(lián)的方法，所述的方法包括音頻提示用戶在一個(gè)表面上繪制一個(gè)用戶可寫單元；在所述的表面上探測(cè)一個(gè)用戶筆跡；記錄所述的用戶筆跡在所述的表面上的位置；把所述的位置與所述的用戶可寫單元相關(guān)聯(lián)。
2.如權(quán)利要求1所述的方法，其中所述的在所述的表面探測(cè)所述的用戶筆跡被執(zhí)行而不處理所述的用戶筆跡。
3.如權(quán)利要求1所述的方法，還包括為了響應(yīng)探測(cè)與所述的用戶筆跡的交互，其中所述的交互包括一個(gè)書寫單元在所述的位置接觸所述的用戶筆跡，執(zhí)行與所述用戶可寫單元相關(guān)聯(lián)的動(dòng)作。
4.如權(quán)利要求1所述的方法，還包括在所述的表面上識(shí)別與一個(gè)輸入功能相關(guān)的一個(gè)第二用戶筆跡；和為了響應(yīng)探測(cè)與所述的第二用戶筆跡的交互，執(zhí)行與所述用戶可寫單元相關(guān)聯(lián)的輸入功能。
5.如權(quán)利要求4所述的方法，其中所述的第二用戶筆跡包括一個(gè)檢查標(biāo)記。
6.如權(quán)利要求1所述的方法，其中所述的音頻提示所述的用戶在所述的表面上繪制所述的用戶可寫單元包括音頻提示所述的用戶在所述的表面的特定區(qū)域上繪制所述的用戶可寫單元。
7.如權(quán)利要求1所述的方法，其中所述的用戶可寫單元是一個(gè)字符串。
8.如權(quán)利要求1所述的方法，其中所述的用戶可寫單元是一個(gè)單詞。
9.如權(quán)利要求1所述的方法，其中所述的用戶可寫單元是一個(gè)符號(hào)。
10.如權(quán)利要求1所述的方法，其中所述的用戶可寫單元是一個(gè)圖形單元。
11.一種計(jì)算機(jī)可用媒體，其中包括有計(jì)算機(jī)可讀程序代碼，該程序代碼用來使一個(gè)計(jì)算機(jī)系統(tǒng)執(zhí)行一種方法，這種方法用來把一個(gè)用戶筆跡與一個(gè)用戶可寫單元相關(guān)聯(lián)，所述的方法包括音頻提示用戶在一個(gè)表面上繪制一個(gè)用戶可寫單元；在所述的表面上探測(cè)一個(gè)用戶筆跡；記錄所述的用戶筆跡在所述的表面上的位置；把所述的位置與所述的用戶可寫單元相關(guān)聯(lián)。
12.如權(quán)利要求11所述的計(jì)算機(jī)可用媒體，其中所述的在所述的表面探測(cè)所述的用戶筆跡被執(zhí)行而不處理所述的用戶筆跡。
13.如權(quán)利要求11所述的計(jì)算機(jī)可用媒體，其中所述的方法還包括為了響應(yīng)探測(cè)與所述的用戶筆跡的交互，其中所述的交互包括一個(gè)書寫單元在所述的位置接觸所述的用戶筆跡，執(zhí)行與所述用戶可寫單元相關(guān)聯(lián)的動(dòng)作。
14.如權(quán)利要求11所述的計(jì)算機(jī)可用媒體，其中所述的方法還包括在所述的表面上識(shí)別與一個(gè)輸入功能相關(guān)的一個(gè)第二用戶筆跡；和為了響應(yīng)探測(cè)與所述的第二用戶筆跡的交互，執(zhí)行與所述用戶可寫單元相關(guān)聯(lián)的輸入功能。
15.如權(quán)利要求14所述的計(jì)算機(jī)可用媒體，其中所述的第二用戶筆跡包括一個(gè)檢查標(biāo)記。
16.如權(quán)利要求11所述的計(jì)算機(jī)可用媒體，其中所述的音頻提示所述的用戶在所述的表面上繪制所述的用戶可寫單元包括音頻提示所述的用戶在所述的表面的特定區(qū)域上繪制所述的用戶可寫單元。
17.如權(quán)利要求11所述的計(jì)算機(jī)可用媒體，其中所述的用戶可寫單元是一個(gè)字符串。
18.如權(quán)利要求11所述的計(jì)算機(jī)可用媒體，其中所述的用戶可寫單元是一個(gè)單詞。
19.如權(quán)利要求11所述的計(jì)算機(jī)可用媒體，其中所述的用戶可寫單元是一個(gè)符號(hào)。
20.如權(quán)利要求11所述的計(jì)算機(jī)可用媒體，其中所述的用戶可寫單元是一個(gè)圖形單元。
21.一種交互式設(shè)備，包括一個(gè)總線；一個(gè)音頻輸出單元，其連接到所述的總線上；一個(gè)用戶書寫單元，用來允許用戶在一個(gè)可寫表面進(jìn)行書寫；一個(gè)光學(xué)探測(cè)器，其連接到所述的總線上，用來探測(cè)所述的用戶書寫單元相對(duì)于所述的可寫表面的位置；一個(gè)處理器，其連接到所述的總線上；一個(gè)存儲(chǔ)單元，其連接到所述的總線上，所述的存儲(chǔ)單元保存有這樣的指令，當(dāng)它們被執(zhí)行時(shí)可使所述的處理器實(shí)現(xiàn)這樣的方法，該方法用來把一個(gè)用戶筆跡與一個(gè)用戶可寫單元相關(guān)聯(lián)，所述的方法包括音頻提示用戶在一個(gè)表面上繪制一個(gè)用戶可寫單元；在所述的表面上探測(cè)一個(gè)用戶筆跡；記錄所述的用戶筆跡在所述的表面上的位置；把所述的位置與所述的用戶可寫單元相關(guān)聯(lián)。
22.如權(quán)利要求21所述的交互式設(shè)備，其中所述的在所述的表面探測(cè)所述的用戶筆跡被執(zhí)行而不處理所述的用戶筆跡。
23.如權(quán)利要求21所述的交互式設(shè)備，其中所述的方法還包括為了響應(yīng)探測(cè)與所述的用戶筆跡的交互，其中所述的交互包括一個(gè)書寫單元在所述的位置接觸所述的用戶筆跡，執(zhí)行與所述用戶可寫單元相關(guān)聯(lián)的動(dòng)作。
24.如權(quán)利要求21所述的交互式設(shè)備，其中所述的方法還包括在所述的表面上識(shí)別與一個(gè)輸入功能相關(guān)的一個(gè)第二用戶筆跡；和為了響應(yīng)探測(cè)與所述的第二用戶筆跡的交互，執(zhí)行與所述用戶可寫單元相關(guān)聯(lián)的輸入功能。
25.如權(quán)利要求24所述的交互式設(shè)備，其中所述的第二用戶筆跡包括一個(gè)檢查標(biāo)記。
26.如權(quán)利要求21所述的交互式設(shè)備，其中所述的音頻提示所述的用戶在所述的表面上繪制所述的用戶可寫單元包括音頻提示所述的用戶在所述的表面的特定區(qū)域上繪制所述的用戶可寫單元。
27.如權(quán)利要求21所述的交互式設(shè)備，其中所述的用戶可寫單元是一個(gè)字符串。
28.如權(quán)利要求21所述的交互式設(shè)備，其中所述的用戶可寫單元是一個(gè)單詞。
29.如權(quán)利要求21所述的交互式設(shè)備，其中所述的用戶可寫單元是一個(gè)符號(hào)。
30.如權(quán)利要求21所述的交互式設(shè)備，其中所述的用戶可寫單元是一個(gè)圖形單元。
31.一種用來把一個(gè)用戶筆跡與一個(gè)用戶可寫單元相關(guān)聯(lián)的方法，所述的方法包括音頻提示用戶在一個(gè)表面上繪制一個(gè)用戶可寫單元；為了響應(yīng)所述的音頻提示，探測(cè)在所述的表面是否已經(jīng)存在一個(gè)用戶筆跡，無需確認(rèn)碩鼠的用戶筆跡就是所述的用戶可寫單元；記錄所述的用戶筆跡在所述的表面上的位置；把所述的位置與所述的用戶可寫單元相關(guān)聯(lián)；為了響應(yīng)探測(cè)與所述的用戶筆跡的交互，其中所述的交互包括一個(gè)書寫單元在所述的位置接觸所述的用戶筆跡，執(zhí)行與所述用戶可寫單元相關(guān)聯(lián)的動(dòng)作。
32.根據(jù)權(quán)利要求31所述的方法，還包括在所述的表面上識(shí)別與一個(gè)輸入功能相關(guān)的一個(gè)第二用戶筆跡；和為了響應(yīng)探測(cè)與所述的第二用戶筆跡的交互，執(zhí)行與所述用戶可寫單元相關(guān)聯(lián)的輸入功能。
33.根據(jù)權(quán)利要求31所述的方法，還包括其中所述的音頻提示所述的用戶在所述的表面上繪制所述的用戶可寫單元包括音頻提示所述的用戶在所述的表面的特定區(qū)域上繪制所述的用戶可寫單元。
全文摘要
一種用來把一個(gè)用戶筆跡與一個(gè)用戶可寫單元相關(guān)聯(lián)的方法和設(shè)備。所述的方法包括音頻提示用戶在一個(gè)表面上繪制一個(gè)用戶可寫單元。在所述的表面上探測(cè)一個(gè)用戶筆跡。記錄所述的用戶筆跡在所述的表面上的位置。把所述的位置與所述的用戶可寫單元相關(guān)聯(lián)。
文檔編號(hào)G06F3/041GK1862471SQ20061006703
公開日2006年11月15日 申請(qǐng)日期2006年3月31日 優(yōu)先權(quán)日2005年11月1日
發(fā)明者詹姆斯·馬格拉夫 申請(qǐng)人:跳蛙企業(yè)股份有限公司