專利名稱：自動校準(zhǔn)的觸摸系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及觸摸系統(tǒng)，并且特別涉及自動校準(zhǔn)的觸摸系統(tǒng)以及自動校準(zhǔn)觸摸系統(tǒng)的方法。
背景技術(shù)：
觸摸系統(tǒng)是本領(lǐng)域所熟知的，通常包括具有觸摸表面的觸摸屏，使用觸控筆(pointer)在該觸摸表面進行接觸。檢測觸控筆與觸摸表面的接觸，并用來產(chǎn)生相應(yīng)的輸出觸控筆位置數(shù)據(jù)，該數(shù)據(jù)表示觸摸表面中進行觸控筆接觸的區(qū)域?；旧嫌袃深惪捎玫挠|摸系統(tǒng)，并且可以大略地分成“主動”觸摸系統(tǒng)和“被動”觸摸系統(tǒng)。
主動觸摸系統(tǒng)使得用戶可通過利用特殊的觸控筆來接觸觸摸表面，從而產(chǎn)生觸控筆位置數(shù)據(jù)，該觸控筆通常需要某種形式的自帶電源，典型地是電池。該特殊的觸控筆發(fā)出諸如紅外光、可見光、超聲頻率、電磁頻率等用來觸發(fā)觸摸表面的信號。
被動觸摸系統(tǒng)使得用戶可使用被動觸控筆接觸觸摸表面來產(chǎn)生觸控筆位置數(shù)據(jù)，并且不需要為觸發(fā)觸摸表面而使用特殊觸控筆。被動觸控筆可以是手指、某種材料的柱體、或任何其他可用于在觸摸表面上接觸感興趣的某個預(yù)定區(qū)域的合適的物體。由于在被動觸摸系統(tǒng)中不需要特殊的主動觸控筆，用戶就不必關(guān)心電池的電平和/或觸控筆的損壞、失竊或一時找不到觸控筆等問題。
國際PCT申請?zhí)朠CT/CA01/00980、提交日2001年7月5日、國際公開號WO 02/0331
公開日2002年1月10日、轉(zhuǎn)讓給本發(fā)明受讓人的國際申請中公開了一種基于照相機的觸摸系統(tǒng)，包括觸摸屏，該觸摸屏包含有觸摸表面，在其上呈現(xiàn)計算機生成的圖像。方形的邊框或框架圍繞該觸摸表面并在其角落支持數(shù)碼照相機。該數(shù)碼照相機具有覆蓋觸摸表面以及沿著觸摸表面觀察的重疊的視野。數(shù)碼照相機獲取不同位置的圖像并產(chǎn)生圖像數(shù)據(jù)。由照相機獲取的圖像數(shù)據(jù)再由數(shù)字信號處理器來處理以確定在所拍攝的圖像數(shù)據(jù)中是否存在觸控筆。當(dāng)確定在所拍攝的圖像數(shù)據(jù)中存在觸控筆，數(shù)字信號處理器把觸控筆特征數(shù)據(jù)傳送到主控制器，主控制器處理該觸控筆特征數(shù)據(jù)以利用三角測量(triangulation)來確定該觸控筆相對于觸摸表面的位置。該觸控筆位置數(shù)據(jù)被傳送到執(zhí)行一個或多個應(yīng)用程序的計算機。該計算機使用該觸控筆位置數(shù)據(jù)來更新在觸摸表面上呈現(xiàn)的計算機生成的圖像。在觸摸表面上觸控筆接觸可以被記錄成文字或圖畫，或用于控制由計算機執(zhí)行的應(yīng)用程序的執(zhí)行。
在這種被動式基于照相機的觸摸系統(tǒng)中，并且事實上在所有觸摸系統(tǒng)中，產(chǎn)生用于在觸摸表面上顯示的圖像的機制與提供觸摸能力的機制是相區(qū)分并且分離的。這樣，觸摸屏的坐標(biāo)系就與圖像生成器的坐標(biāo)系不同。為了使觸摸系統(tǒng)維持所期望的高分辨率，觸摸系統(tǒng)的坐標(biāo)系必須正確映射到圖像生成器的坐標(biāo)系。這種坐標(biāo)系映射通常通過需要人工干預(yù)的校準(zhǔn)過程來執(zhí)行。
例如，授予Martin并轉(zhuǎn)讓給本發(fā)明的受讓人SMART技術(shù)公司的美國專利5,448,263公開了一種被動觸摸系統(tǒng)，其耦合到執(zhí)行校準(zhǔn)例程的計算機，該校準(zhǔn)例程把該觸摸屏的坐標(biāo)系映射到計算機顯示的坐標(biāo)系。在校準(zhǔn)例程執(zhí)行期間，把已知計算機顯示坐標(biāo)系上的參考標(biāo)記顯示在觸摸屏的觸摸表面上，并提示用戶用觸控筆來觸摸該參考標(biāo)記。響應(yīng)該觸控筆接觸，觸摸屏輸出觸控筆位置數(shù)據(jù)，該數(shù)據(jù)表示在觸摸表面上進行觸控筆接觸的特定位置。由觸摸屏輸出的觸控筆位置數(shù)據(jù)被傳送到計算機。由于該參考標(biāo)記的顯示坐標(biāo)是已知的，計算機可以利用由觸摸屏輸出的該觸控筆位置數(shù)據(jù)把計算機顯示坐標(biāo)系映射到觸摸屏坐標(biāo)系。
盡管這種校準(zhǔn)例程可使計算機顯示坐標(biāo)系映射到觸摸屏坐標(biāo)系，但執(zhí)行這種校準(zhǔn)例程很不方便和麻煩，在使用獨立的投影儀把計算機生成的圖像投影到觸摸表面的觸摸系統(tǒng)中尤其如此。在這樣的觸摸系統(tǒng)中，如果投影儀和觸摸屏相互之間稍稍移位，用戶就必須中斷所做的事情并啟動校準(zhǔn)例程以便重新把計算機顯示坐標(biāo)系映射到觸摸屏坐標(biāo)系。因此可以理解，很希望改進觸摸系統(tǒng)中計算機顯示坐標(biāo)系到觸摸屏坐標(biāo)系的校準(zhǔn)處理。
本發(fā)明的一個目的是提供一種新穎的自動校準(zhǔn)觸摸系統(tǒng)和自動校準(zhǔn)觸摸系統(tǒng)的方法。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個方面，提供一種把觸摸屏坐標(biāo)系自動映射到顯示坐標(biāo)系的方法，該方法用在具有觸摸屏的觸摸系統(tǒng)中，該觸摸屏具有觸摸表面，在該觸摸表面上顯示圖像，所述方法包括步驟在所述被顯示圖像中包括至少一個參考標(biāo)記，該至少一個參考標(biāo)記的位置在所述顯示坐標(biāo)系中是已知的；獲取包括所述被顯示圖像的所述觸摸表面的圖像；確定所述獲取的圖像中的所述至少一個參考標(biāo)記相對于所述觸摸屏坐標(biāo)系的位置；以及利用所述確定的位置和該至少一個參考標(biāo)記在所述顯示坐標(biāo)系中的位置，把所述觸摸屏坐標(biāo)系自動映射到所述顯示坐標(biāo)系。
在優(yōu)選的實施例中，所述至少一個參考標(biāo)記是固有的計算機操作系統(tǒng)顯示圖元，例如圖標(biāo)或工具條部分。在該優(yōu)選的實施例中，還優(yōu)選所顯示的圖像包括多個參考標(biāo)記，每個參考標(biāo)記在所述顯示坐標(biāo)系中的位置是已知的。
根據(jù)本發(fā)明的另一方面，提供一種觸摸系統(tǒng)，包括
具有觸摸表面的觸摸屏，在該觸摸表面上顯示圖像；至少一個照相機，獲取包括所述被顯示圖像的所述觸摸表面的圖像；觸控筆接觸數(shù)據(jù)生成器，響應(yīng)觸控筆與所述觸摸表面的接觸生成觸控筆位置數(shù)據(jù)，所述觸控筆位置數(shù)據(jù)表示在所述觸摸表面上進行觸控筆接觸的所述觸控筆的位置；以及處理器，與所述至少一個照相機和所述觸控筆接觸數(shù)據(jù)生成器通信，所述處理器使用所述被顯示圖像中的已知點來自動校準(zhǔn)所述觸摸系統(tǒng)的坐標(biāo)系，并使用校準(zhǔn)的觸控筆位置數(shù)據(jù)來更新圖像數(shù)據(jù)，該圖像數(shù)據(jù)用于在所述觸摸表面上呈現(xiàn)所顯示圖像。
根據(jù)本發(fā)明的又另一個方面，提供一種更新圖像數(shù)據(jù)的方法，該圖像數(shù)據(jù)用于響應(yīng)觸控筆在觸摸表面上的接觸在所述觸摸表面上呈現(xiàn)被顯示圖像，所述方法包括步驟把圖像顯示在所述觸摸表面；獲取包括所述被顯示圖像的所述觸摸表面的圖像；響應(yīng)觸控筆與所述觸摸表面的接觸生成觸控筆接觸數(shù)據(jù)；利用所述被顯示圖像中的已知圖元和所述觸摸系統(tǒng)的坐標(biāo)系自動映射觸摸表面和顯示坐標(biāo)系；以及利用已經(jīng)使用所述映射校準(zhǔn)過的觸控筆接觸數(shù)據(jù)來更新用于在所述觸摸表面上呈現(xiàn)該被顯示圖像的圖像數(shù)據(jù)。
本發(fā)明提供了有益的效果，因可以根據(jù)拍攝的圖像數(shù)據(jù)來確定已知點在所顯示的圖像中和在已知的觸摸屏坐標(biāo)系中之間的偏離，因此可把圖像坐標(biāo)系自動且實時地映射到觸摸屏坐標(biāo)系，而不需要用戶干預(yù)。


將參考附圖詳細說明本發(fā)明的實施例，其中圖1是根據(jù)本發(fā)明的基于照相機的觸摸系統(tǒng)的側(cè)視圖；
圖2是圖1的基于照相機的觸摸系統(tǒng)的觸摸屏構(gòu)成部件的前視圖；圖3是根據(jù)本發(fā)明的基于照相機的觸摸系統(tǒng)的另外實施例的示意圖；圖4是圖3的基于照相機的觸摸系統(tǒng)的觸摸屏構(gòu)成部件的透視圖；圖5是圖3的觸摸系統(tǒng)的側(cè)視圖；圖6是根據(jù)本發(fā)明的觸摸系統(tǒng)的又另外實施例的側(cè)視圖；圖7是圖6的觸摸系統(tǒng)的觸摸屏構(gòu)成部件的前視圖。
具體實施例方式
本發(fā)明一般涉及觸摸系統(tǒng)及方法，所述系統(tǒng)及方法使用所獲取的觸摸表面的圖像通過把觸摸屏坐標(biāo)系映射到顯示坐標(biāo)系來自動校準(zhǔn)該觸摸系統(tǒng)，該觸摸表面上呈現(xiàn)了具有至少一個已知參考標(biāo)記的圖像。這樣，當(dāng)在觸摸屏的觸摸表面上進行觸控筆接觸時就可以實時地校準(zhǔn)觸摸系統(tǒng)，因此維持高分辨率并避免了執(zhí)行需要人工干預(yù)的校準(zhǔn)例程的需求。本發(fā)明基本上可適用于對觸摸表面的顯示圖像做校準(zhǔn)的任何應(yīng)用，例如，電子白板、觸摸液晶顯示(LCD)屏、個人數(shù)字助理(PDA)以及便攜觸摸系統(tǒng)。下面說明本發(fā)明的優(yōu)選實施例。
參見圖1和圖2，其中示出了根據(jù)本發(fā)明的基于照相機的觸摸系統(tǒng)，并一般地用參考標(biāo)號50來標(biāo)記。可以看到，觸摸系統(tǒng)50包括具有觸摸表面60的觸摸屏52，觸摸表面60上呈現(xiàn)了計算機生成的圖像。該實施例中的觸摸表面60是平面直角的材料片，以邊沿62為邊界。沿著觸摸表面60的底邊沿形成觸控筆托架64，用來保持用于接觸觸摸表面60的觸控筆。一對照相機66與觸摸表面60相關(guān)聯(lián)。在該特定實施例中的照相機66位于觸摸表面60的兩個相鄰相對的上角并被定向使得它們的視野大致沿觸摸表面60的平面觀察。照相機66具有重疊的視野(FOV)，在圖中由虛線68示出，其覆蓋整個觸摸表面60。
優(yōu)選地，照相機66是數(shù)碼照相機，包括二維CMOS圖像傳感器和相關(guān)聯(lián)的鏡頭組件。因可選擇任意的像素行，可配置CMOS圖像傳感器為20×640像素子陣列，使得可對其操作，按高幀率(如超過每秒200幀)拍攝圖像。
照相機66在它們的視野范圍內(nèi)獲取觸摸表面60的圖像，以確定在所獲取的圖像中是否有觸控筆。如果在所獲取的圖像中有觸控筆，再進一步處理該圖像數(shù)據(jù)以確定該觸控筆在觸摸表面60上接觸或浮動的特征。然后由照相機66產(chǎn)生包括觸控筆特征、狀態(tài)和/或診斷信息的各觸控筆信息包(PIPs)，并連同原始圖像數(shù)據(jù)一起傳送到基于數(shù)字信號處理器(DPS)的主控制器54，其用途將在這里說明。主控制器54處理由照相機66產(chǎn)生的各PIP，以利用三角測量來確定觸控筆相對于觸摸表面60的位置，并產(chǎn)生相應(yīng)的觸控筆位置數(shù)據(jù)。
主控制器54把所生成的觸控筆位置數(shù)據(jù)輸出到計算機56。計算機56執(zhí)行一個或多個應(yīng)用程序并輸出計算機生成的圖像數(shù)據(jù)，投影儀58使用該數(shù)據(jù)以便在觸摸表面60上呈現(xiàn)計算機生成的圖像。觸摸屏52、主控制器54、計算機56和投影儀58形成閉環(huán)，這樣，在觸摸表面60上的觸控筆接觸可被記錄成文字或圖畫，或用于控制由計算機56執(zhí)行的應(yīng)用程序的執(zhí)行。還更新由計算機56輸出的計算機生成圖像數(shù)據(jù)，以反映觸控筆的活動。
照相機66獲取圖像數(shù)據(jù)、以及由該照相機、主控制器54和計算機56來處理該數(shù)據(jù)的方式的細節(jié)在下述國際申請中說明申請?zhí)朠CT/CA01/00980，申請日2001年7月5日，公開號WO 02/03316，
公開日2002年1月10日，轉(zhuǎn)讓給SMART技術(shù)公司。其內(nèi)容通過引用并入此處，作為參考。這樣，在這里不再討論這些細節(jié)。
為了校準(zhǔn)觸摸系統(tǒng)50，觸摸系統(tǒng)50執(zhí)行自動校準(zhǔn)過程，當(dāng)通過照相機66獲取圖像并進行處理后，把計算機顯示坐標(biāo)系映射到觸摸屏坐標(biāo)系。該自動校準(zhǔn)過程基于這樣的原理，計算機顯示坐標(biāo)系是已知的，并且為了校準(zhǔn)觸摸系統(tǒng)50，只需要確定觸摸屏52上參考標(biāo)記的位置，這樣，可以把所確定的參考標(biāo)記的位置映射到已知的計算機顯示坐標(biāo)系。
圖2示出了在觸摸屏52和觸摸表面60上顯示的計算機生成的圖像70?？梢钥吹?，計算機生成的圖像70包括用來把計算機顯示坐標(biāo)系映射到觸摸屏坐標(biāo)系的參考標(biāo)記72。在該特定實施例中，參考標(biāo)記72包括呈現(xiàn)在計算機生成圖像70的右上角和右下角的十字以及呈現(xiàn)在計算機生成圖像70的左上角和左下角的計算機操作系統(tǒng)顯示圖元。在該例子中，計算機操作系統(tǒng)顯示圖元包括Windows工具條的一部分，即“開始”按鈕和“我的電腦”圖標(biāo)。該十字由計算機56執(zhí)行的軟件生成并插入到計算機生成的圖像數(shù)據(jù)中。
為了識別計算機生成的圖像中的參考標(biāo)記，計算機56存儲參考標(biāo)記圖像的模式庫或數(shù)據(jù)庫，用于全面解釋可能的參考標(biāo)記平移和旋轉(zhuǎn)。利用小波壓縮來存儲參考標(biāo)記圖像，使得可進行高速存取和處理。模式庫的小波圖像壓縮存儲和檢索是本領(lǐng)域公知的技術(shù)，可參見JamesS.Walter的《A Primer on Wavelets and their Scientific Application》，P89-92，Chapma&Hall/CRC出版，1999。
如前所述，當(dāng)通過照相機66獲取觸摸表面60的圖像以及計算機生成的圖像70，該照相機處理該圖像數(shù)據(jù)以確定其中是否存在觸控筆。如果在該圖像數(shù)據(jù)中存在觸控筆，由照相機66生成觸控筆特征數(shù)據(jù)，并連同原始圖像數(shù)據(jù)一起傳送到主控制器54。主控制器54處理該觸控筆特征數(shù)據(jù)以確定觸控筆相對于觸摸屏坐標(biāo)系的位置，并把觸控筆位置數(shù)據(jù)連同原始圖像數(shù)據(jù)輸出到計算機56。
響應(yīng)該原始圖像數(shù)據(jù)，計算機56執(zhí)行自動校準(zhǔn)。在該處理期間，計算機56訪問模式庫，并利用模式識別把原始圖像數(shù)據(jù)與所存儲的參考標(biāo)記圖像進行比較，以便識別所拍攝圖像中的參考標(biāo)記72。一旦識別出參考標(biāo)記，計算機56利用三角測量來計算參考標(biāo)記72在觸摸屏52上的位置，從而確定參考標(biāo)記72在觸摸屏坐標(biāo)系中的位置。由于參考標(biāo)記72在計算機顯示坐標(biāo)系中的位置是已知的，所計算的參考標(biāo)記在觸摸屏坐標(biāo)系中的位置可映射到已知的計算機顯示坐標(biāo)系。
為了便于參照，考慮下面的例子。已知在計算機顯示坐標(biāo)系中參考標(biāo)記的中心位于位置(Xcdcs，Ycdcs)。當(dāng)顯示該參考標(biāo)記，并通過照相機66獲取拍攝的圖像，經(jīng)計算的參考標(biāo)記在觸摸表面60上的位置在位置(Xts，Yts)。因此，當(dāng)觸控筆在位置(Xts，Yts)接觸觸摸屏52，觸控筆的觸摸位置對應(yīng)到計算機顯示坐標(biāo)系位置(Xcdcs，Ycdcs)。
通過對若干參考標(biāo)記72執(zhí)行這種自動校準(zhǔn)過程，整個觸摸屏52可以精確映射到計算機顯示坐標(biāo)系。
當(dāng)已知參考標(biāo)記72在計算機顯示坐標(biāo)系中的坐標(biāo)，并且計算了參考標(biāo)記的觸摸屏坐標(biāo)，計算機56就自動把觸摸屏坐標(biāo)系映射到計算機顯示坐標(biāo)系。當(dāng)觸摸屏坐標(biāo)系映射到計算機顯示坐標(biāo)系，就可以實時校準(zhǔn)由主控制器54傳送到計算機56的觸控筆位置數(shù)據(jù)。如前所述，經(jīng)校準(zhǔn)的觸控筆位置數(shù)據(jù)可以被記錄成文字或圖畫，或用于控制由計算機56執(zhí)行的應(yīng)用程序的執(zhí)行。
盡管所述的觸摸系統(tǒng)50使用三角測量來處理照相機圖像數(shù)據(jù)以確定所拍攝圖像中參考標(biāo)記72相對于觸摸屏坐標(biāo)系的位置，本領(lǐng)域的普通技術(shù)人員能夠理解，也可以使用其他的方法來確定所拍攝圖像中參考標(biāo)記72的位置。例如，體視學(xué)(stereology)是用于測量圖像平面中距離的常用圖像處理技術(shù)，可在本觸摸系統(tǒng)中用于計算所拍攝圖像中參考標(biāo)記72相對于觸摸屏坐標(biāo)系的位置。
應(yīng)該理解，當(dāng)照相機66拍攝了圖像，根據(jù)包含在觸摸表面60所呈現(xiàn)圖像中的參考標(biāo)記72，觸摸屏坐標(biāo)系和計算機顯示坐標(biāo)系就自動地映射。這就提供了觸摸系統(tǒng)的實時自動校準(zhǔn)，并避免了人工校準(zhǔn)。
參見圖3至圖5，其中示出了根據(jù)本發(fā)明的觸摸系統(tǒng)的替換實施例，并一般地用參考標(biāo)號150來標(biāo)記。在該實施例中，為了清晰，相同的參考標(biāo)號通過加“100”來表示相同的部件?；谡障鄼C的觸摸系統(tǒng)150非常類似于前面引用的已轉(zhuǎn)讓給本發(fā)明的受讓人SMART技術(shù)公司的國際申請WO 02/03316。
可以看到，觸摸系統(tǒng)150包括耦合到基于DSP的主控制器154的觸摸屏152。主控制器154也耦合到計算機156。計算機156執(zhí)行一個或多個應(yīng)用程序并提供輸出到投影儀158的計算機生成圖像。投影儀158把計算機生成圖像呈現(xiàn)在觸摸屏152的表面160上。觸摸屏152、主控制器154、計算機156以及投影儀158形成閉環(huán)，這樣，觸摸屏152上的觸控筆接觸可以被記錄成文字或圖畫，或用于控制由計算機156執(zhí)行的應(yīng)用程序的執(zhí)行。
與前面的實施例不同，觸摸表面160由邊框或框架來鑲邊，如2003年1月30日提交的、已轉(zhuǎn)讓給本發(fā)明的受讓人SMART技術(shù)公司的美國專利申請(申請?zhí)栁粗?所公開的。在邊框162的每個角上提供基于DPS的數(shù)碼照相機166。安裝每個數(shù)碼照相機166使其視野覆蓋整個觸摸表面160，并大致經(jīng)過整個觸摸表面160觀察。
高分辨率照相機170位于觸摸表面160前面的投影儀158之上并獲取包括觸摸表面160和邊框162的觸摸屏152的圖像。由照相機170獲取的圖像數(shù)據(jù)傳送到計算機156并用于把觸摸屏坐標(biāo)系自動映射到計算機顯示坐標(biāo)系，從而如將所述的那樣校準(zhǔn)觸摸系統(tǒng)152。
對于觸摸系統(tǒng)150中有關(guān)數(shù)碼照相機166獲取圖像以確定所獲取圖像中是否有觸控筆的操作，觸摸系統(tǒng)150的該操作與國際PCT申請公開號WO 02/03316相同，因此不在這里進一步討論。
關(guān)于校準(zhǔn)觸摸屏坐標(biāo)系和計算機顯示坐標(biāo)系，不是如第一個實施例那樣使用原始照相機圖像數(shù)據(jù)利用三角測量來計算參考標(biāo)記在觸摸表面上所位置，在本實施例中，測量在原始照相機像素中的邊框162相對邊之間的距離，然后再轉(zhuǎn)換成實際的距離。由于邊框是觸摸系統(tǒng)150的一部分，邊框在觸摸屏坐標(biāo)系中的坐標(biāo)是已知的。這使得可以在原始照相機像素中測量所顯示的標(biāo)記和邊框162之間的距離。這樣，當(dāng)觸控筆接近觸摸表面160并被拍攝在由數(shù)碼照相機166所拍攝的圖像中，觸控筆位置與邊框162之間的距離可以立刻由計算機156來計算，因觸摸屏坐標(biāo)和觸控筆坐標(biāo)是已知的。利用這種信息，由于所建立的原始照相機像素和實際距離之間的關(guān)系，可以計算觸摸表面160上任何顯示的標(biāo)記與邊框162之間的偏離。
例如，當(dāng)照相機170拍攝了觸摸屏的圖像并把該圖像數(shù)據(jù)傳送到計算機156，該計算機確定邊框左下角位于像素(X1rb，Y1rb)，并且邊框右下角位于像素(X2rb，Y2rb)。已知邊框的角之間的距離是50英寸。照相機170還看到中心在(X3ts，Y3ts)的顯示標(biāo)記。計算機156已知像素(X1rb，Y1rb)和(X2rb，Y2rb)的觸摸屏坐標(biāo)，因它們是邊框位置。這樣，計算機156就可以通過把邊框角位置的原始照相機像素坐標(biāo)映射到邊框角位置的觸摸屏坐標(biāo)來計算所顯示標(biāo)記的觸摸屏坐標(biāo)。這樣就可以計算出所顯示標(biāo)記的觸摸屏坐標(biāo)。
如果使用低分辨率的照相機170，可以使用變焦鏡頭來觀察觸摸屏的部分，使得可以測量邊框162和顯示的標(biāo)記之間的偏離?？商鎿Q地，可使用一對照相機和體視學(xué)技術(shù)來測量距離。
參見圖6和圖7，其中示出了根據(jù)本發(fā)明的觸摸系統(tǒng)的又另外實施例，由參考標(biāo)號250來標(biāo)記。在該特定例子中的觸摸系統(tǒng)250類似于授予Martin并已轉(zhuǎn)讓給本發(fā)明的受讓人SMART技術(shù)公司的美國專利5,448,263號。觸摸系統(tǒng)250包括位于顯示表面之上的主動覆層(active overlay)。在該例中主動覆層是由邊框262鑲邊的、具有觸摸表面260的模擬電阻式觸摸敏感屏252，觸摸表面260上呈現(xiàn)計算機生成圖像。沿觸摸表面260的下邊沿提供觸控筆托架264，用來保持用于接觸觸摸表面160的觸控筆。
當(dāng)在觸摸表面260進行觸控筆接觸，該觸摸敏感屏252產(chǎn)生表示觸控筆在觸摸表面接觸位置的觸控筆位置數(shù)據(jù)輸出。由觸摸敏感屏252輸出的觸控筆位置數(shù)據(jù)被傳送到計算機256。計算機256執(zhí)行一個或多個應(yīng)用程序，并輸出計算機生成的圖像數(shù)據(jù)，投影儀258使用該圖像數(shù)據(jù)以便在觸摸表面260呈現(xiàn)計算機生成的圖像。類似于前面的實施例，在觸摸表面顯示的計算機生成圖像270包括參考標(biāo)記272，如圖7所示。觸摸屏252、計算機256和投影儀258形成閉環(huán)，這樣觸控筆與觸摸表面260的接觸被記錄成文字或圖畫，或用于控制由計算機256執(zhí)行的應(yīng)用程序的執(zhí)行。還更新由計算機256輸出的計算機生成圖像數(shù)據(jù)，以反映觸控筆的活動。
高分辨率照相機266在投影儀258之上位于觸摸表面260的前面，并獲取包括觸摸表面260和邊框262的觸摸屏252的圖像。由照相機266獲取的圖像數(shù)據(jù)被傳送到計算機262，并用于把觸摸屏252的坐標(biāo)系自動映射到計算機坐標(biāo)系，從而校準(zhǔn)觸摸系統(tǒng)250。
在校準(zhǔn)期間，當(dāng)計算機256接收由觸摸屏252響應(yīng)在觸摸表面260上的觸控筆接觸而輸出的觸控筆位置數(shù)據(jù)，計算機256從照相機266獲取圖像。如同在第一個實施例，計算機256把所獲取的照相機圖像與模式庫中的參考標(biāo)記圖像做比較，以確定所獲取照相機圖像中參考標(biāo)記的位置。然后計算機256按照前述的方式計算參考標(biāo)記272和邊框262之間的距離。
當(dāng)已知參考標(biāo)記在計算機顯示坐標(biāo)系中的坐標(biāo)，并且計算了參考標(biāo)記272相對于邊框262的偏離，并因此計算了相對于已知的觸摸屏坐標(biāo)系的偏離，計算機256就自動把觸摸屏坐標(biāo)系映射到計算機顯示坐標(biāo)系。當(dāng)觸摸屏坐標(biāo)系映射到計算機顯示坐標(biāo)系，由觸摸屏252傳送到計算機256觸控筆位置數(shù)據(jù)在其處理之前被校準(zhǔn)，并用于更新計算機生成的圖像數(shù)據(jù)。
盡管這里按照前投影系統(tǒng)的方式示出了觸摸系統(tǒng)250，本領(lǐng)域普通技術(shù)人員能夠理解，該觸摸系統(tǒng)也可以是后投影類型的。不論觸摸系統(tǒng)是前投影類型還是后投影類型，計算機生成的圖像既可以直接投影到觸摸表面，或經(jīng)由一個或多個反射器間接投影到觸摸表面。
為了提高分辨率，照相機266可以結(jié)合使用變焦或遠距鏡頭，以提高拍攝圖像的清晰度，并因此提供參考標(biāo)記272與邊框262之間偏離的更精確計算。當(dāng)把觸摸屏坐標(biāo)系映射到計算機顯示坐標(biāo)系時，這當(dāng)然提供更高的分辨率。
盡管在計算機生成圖像中示出的參考標(biāo)記位于計算機生成圖像的四個角上，本領(lǐng)域的普通技術(shù)人員能夠理解參考標(biāo)記也可以位于計算機生成圖像范圍內(nèi)的替換位置上。也可以使用多一些或少一些的參考標(biāo)記。另外，盡管示出的參考標(biāo)記既包括軟件產(chǎn)生的參考標(biāo)記也包括固有的計算機操作系統(tǒng)顯示圖元，使用其中一種類型的參考標(biāo)記也時合適的。
本領(lǐng)域的普通技術(shù)人員能夠理解，觸控筆位置數(shù)據(jù)和/或圖像數(shù)據(jù)的處理可以由耦合到觸摸屏的獨立計算機來執(zhí)行，或由集成到觸摸屏的處理單元來執(zhí)行。
盡管已經(jīng)說明了本發(fā)明的優(yōu)選實施例，本領(lǐng)域的普通技術(shù)人員能夠理解，在不脫離權(quán)利要求書所定義的本發(fā)明的精神和范圍的前提下，可以做改變和修改。
權(quán)利要求
1.一種把觸摸屏坐標(biāo)系自動映射到顯示坐標(biāo)系的方法，該方法用于具有觸摸屏的觸摸系統(tǒng)，該觸摸屏具有觸摸表面，圖像被顯示在該觸摸表面上，所述方法包括步驟在所述被顯示圖像中包括至少一個參考標(biāo)記，該至少一個參考標(biāo)記在所述顯示坐標(biāo)系中的位置是已知的；獲取包括所述被顯示圖像的所述觸摸表面的圖像；確定所述獲取的圖像中的所述至少一個參考標(biāo)記相對于所述觸摸屏坐標(biāo)系的位置；以及利用所述確定的位置和該至少一個參考標(biāo)記在所述顯示坐標(biāo)系中的位置，把所述觸摸屏坐標(biāo)系自動映射到所述顯示坐標(biāo)系。
2.如權(quán)利要求1所述的方法，其中，所述至少一個參考標(biāo)記是固有的計算機操作系統(tǒng)顯示圖元。
3.如權(quán)利要求2所述的方法，其中，所述固有的計算機操作系統(tǒng)顯示圖元是圖標(biāo)或工具條部分。
4.如權(quán)利要求1所述的方法，其中，所述被顯示圖像包括多個參考標(biāo)記，每個參考標(biāo)記在所述顯示坐標(biāo)系中的位置是已知的。
5.如權(quán)利要求4所述的方法，其中，至少一個所述參考標(biāo)記是固有計算機操作系統(tǒng)顯示圖元。
6.如權(quán)利要求4所述的方法，其中，參考標(biāo)記包含在所述被顯示圖像的每個角的鄰近處。
7.如權(quán)利要求4所述的方法，其中，所述參考標(biāo)記在所述觸摸屏坐標(biāo)系中的位置通過三角測量來確定。
8.如權(quán)利要求7所述的方法，其中，通過把圖像數(shù)據(jù)與參考標(biāo)記庫做比較來識別所述獲取的圖像中的參考標(biāo)記。
9.如權(quán)利要求1所述的方法，其中，通過三角測量來確定所述至少一個參考標(biāo)記在所述觸摸屏坐標(biāo)系中的位置。
10.如權(quán)利要求9所述的方法，其中，通過把圖像數(shù)據(jù)與參考標(biāo)記庫做比較來識別所述獲取的圖像中的至少一個參考標(biāo)記。
11.如權(quán)利要求4所述的方法，其中，通過計算所述觸摸表面的已知邊沿和原始照相機像素中所述參考標(biāo)記之間的距離來確定所述參考標(biāo)記在所述觸摸屏坐標(biāo)系中的位置。
12.一種觸摸系統(tǒng)，包括具有觸摸表面的觸摸屏，圖像被顯示在該觸摸表面上；至少一個照相機，獲取包括所述被顯示圖像的所述觸摸表面的圖像；觸控筆接觸數(shù)據(jù)生成器，響應(yīng)觸控筆與所述觸摸表面的接觸生成觸控筆位置數(shù)據(jù)，所述觸控筆位置數(shù)據(jù)表示在所述觸摸表面上進行觸控筆接觸的所述觸控筆的位置；以及處理器，與所述至少一個照相機和所述觸控筆接觸數(shù)據(jù)生成器通信，所述處理器使用所述被顯示圖像中的已知點來自動校準(zhǔn)所述觸摸系統(tǒng)的坐標(biāo)系，并使用校準(zhǔn)的觸控筆位置數(shù)據(jù)來更新圖像數(shù)據(jù)，該圖像數(shù)據(jù)用于在所述觸摸表面上呈現(xiàn)所顯示圖像。
13.根據(jù)權(quán)利要求12所述的觸摸系統(tǒng)，其中，所述已知點包括包含在所述被顯示圖像中的參考標(biāo)記。
14.根據(jù)權(quán)利要求13所述的觸摸系統(tǒng)，其中，至少一個所述參考標(biāo)記是固有計算機操作系統(tǒng)顯示圖元。
15.根據(jù)權(quán)利要求14所述的觸摸系統(tǒng)，其中，所述固有計算機操作系統(tǒng)顯示圖元是圖標(biāo)或工具條部分。
16.根據(jù)權(quán)利要求13所述的觸摸系統(tǒng)，其中，所述處理器利用三角測量來計算所述參考標(biāo)記的位置以確定參考標(biāo)記在觸摸屏坐標(biāo)系中的位置，并使用所計算的位置把該觸摸屏坐標(biāo)系映射到顯示坐標(biāo)系，在更新所述圖像數(shù)據(jù)之前利用所述映射校準(zhǔn)觸控筆位置數(shù)據(jù)。
17.根據(jù)權(quán)利要求16所述的觸摸系統(tǒng)，其中，所述處理器把所獲取的所述觸摸表面的圖像與存儲的參考標(biāo)記數(shù)據(jù)進行比較，以定位所述獲取的圖像中的參考標(biāo)記。
18.根據(jù)權(quán)利要求17所述的觸摸系統(tǒng)，其中，所述觸摸表面和所述觸控筆接觸數(shù)據(jù)生成器形成主動觸摸敏感屏部分，其響應(yīng)在所述觸摸表面上的觸控筆接觸生成觸控筆位置數(shù)據(jù)。
19.根據(jù)權(quán)利要求18所述的觸摸系統(tǒng)，還包括投影儀，其從所述處理器接收所述圖像數(shù)據(jù)，并把所述圖像投影到所述觸摸表面。
20.根據(jù)權(quán)利要求19所述的觸摸系統(tǒng)，其中，所述至少一個照相機臨近所述投影儀安放。
21.根據(jù)權(quán)利要求20所述的觸摸系統(tǒng)，其中，至少一個所述參考標(biāo)記是固有計算機操作系統(tǒng)顯示圖元。
22.根據(jù)權(quán)利要求21所述的觸摸系統(tǒng)，其中，所述固有計算機操作系統(tǒng)顯示圖元是圖標(biāo)或工具條部分。
23.根據(jù)權(quán)利要求17所述的觸摸系統(tǒng)，包括至少一對照相機，其具有覆蓋所述觸摸表面的重疊視野，所述至少一對照相機從不同位置獲取所述觸摸表面的圖像并產(chǎn)生圖像數(shù)據(jù)，所述觸控筆接觸生成器處理由所述至少一對照相機生成的圖像數(shù)據(jù)，使得當(dāng)在所述至少一對照相機所獲取的圖像中拍攝了所述觸控筆時，確定所述觸控筆相對于所述觸摸表面的位置，并生成所述觸控筆的位置數(shù)據(jù)。
24.根據(jù)權(quán)利要求23所述的觸摸系統(tǒng)，還包括投影儀，其從所述處理器接收所述圖像數(shù)據(jù)，并把所述被顯示圖像投影到所述觸摸表面。
25.根據(jù)權(quán)利要求24所述的觸摸系統(tǒng)，其中，至少一個所述參考標(biāo)記是固有計算機操作系統(tǒng)顯示圖元。
26.根據(jù)權(quán)利要求25所述的觸摸系統(tǒng)，其中，所述固有計算機操作系統(tǒng)顯示圖元是圖標(biāo)或工具條部分。
27.根據(jù)權(quán)利要求13所述的觸摸系統(tǒng)，其中，所述處理器計算所述觸摸表面的已知邊沿與原始照相機像素中所述參考標(biāo)記之間的距離，以確定各參考標(biāo)記在觸摸屏坐標(biāo)系中的位置。
28.根據(jù)權(quán)利要求27所述的觸摸系統(tǒng)，還包括投影儀，從所述處理器接收所述圖像數(shù)據(jù)，并把所述被顯示圖像投影到所述觸摸表面。
29.根據(jù)權(quán)利要求28所述的觸摸系統(tǒng)，其中，至少一個所述參考標(biāo)記是固有計算機操作系統(tǒng)顯示圖元。
30.根據(jù)權(quán)利要求29所述的觸摸系統(tǒng)，其中，所述固有計算機操作系統(tǒng)顯示圖元是圖標(biāo)或工具條部分。
31.一種更新圖像數(shù)據(jù)的方法，該圖像數(shù)據(jù)用于響應(yīng)觸控筆在觸摸表面上的接觸在所述觸摸表面上呈現(xiàn)被顯示圖像，所述方法包括步驟把圖像顯示在所述觸摸表面；獲取包括所述被顯示圖像的所述觸摸表面的圖像；響應(yīng)觸控筆與所述觸摸表面的接觸，生成觸控筆接觸數(shù)據(jù)；利用所述被顯示圖像中的已知圖元和所述觸摸系統(tǒng)的坐標(biāo)系自動映射觸摸表面和顯示坐標(biāo)系；以及利用已經(jīng)使用所述映射校準(zhǔn)過的觸控筆接觸數(shù)據(jù)來更新用于在所述觸摸表面上呈現(xiàn)該被顯示圖像的圖像數(shù)據(jù)。
32.如權(quán)利要求31所述的方法，其中，在所述顯示期間，已知的參考標(biāo)記包含在所述被顯示圖像中。
全文摘要
一種包括觸摸表面(60，160，260)的觸摸系統(tǒng)(10，150，250)，在觸摸表面上顯示圖像，并且至少一個照相機(66，170，266)獲取觸摸表面的圖像。觸控筆接觸數(shù)據(jù)生成器響應(yīng)觸控筆與觸摸表面的接觸，生成觸控筆位置數(shù)據(jù)。觸控筆位置數(shù)據(jù)表示觸控筆在觸摸表面進行觸控筆接觸的位置。處理器(56，156，256)與至少一個照相機和觸控筆接觸數(shù)據(jù)生成器通信。處理器利用所顯示圖像中已知的點來自動校準(zhǔn)觸摸系統(tǒng)的坐標(biāo)系，并利用經(jīng)校準(zhǔn)的觸控筆位置數(shù)據(jù)來更新用于在觸摸表面上呈現(xiàn)所顯示圖像的圖像數(shù)據(jù)。在一個實施例中，觸摸系統(tǒng)包括主動觸摸敏感屏(252)。在另外的實施例中，當(dāng)在由一對具有重疊視野的照相機(66)拍攝的圖像中獲得觸控筆時，觸控筆接觸數(shù)據(jù)生成器使用由該一對照相機生成的圖像數(shù)據(jù)來產(chǎn)生觸控筆位置數(shù)據(jù)。
文檔編號G06F3/00GK1784649SQ200480012362
公開日2006年6月7日 申請日期2004年4月6日 優(yōu)先權(quán)日2003年4月8日
發(fā)明者杰拉爾德·D·莫里森 申請人:智能技術(shù)公司