專利名稱：用于檢測(cè)多點(diǎn)觸控設(shè)備上任意數(shù)量觸摸的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于檢測(cè)多點(diǎn)觸控設(shè)備上任意數(shù)量觸摸的方法。該方法還可以允許跟蹤檢測(cè)到的觸摸以及手勢(shì)識(shí)別。
背景技術(shù)：
盡管示意性實(shí)施方式涉及使用電容傳感設(shè)備，本發(fā)明可以基于任何觸摸傳感技術(shù)被實(shí)施。所述電容傳感設(shè)備包括:-包括第一行數(shù)的傳感電容器和第二列數(shù)的傳感電容器的陣列；-用于生成輸入信號(hào)以及用于以行掃描率將所述輸入信號(hào)編址到每一個(gè)行的裝置；-第二數(shù)量的電路。在優(yōu)選的實(shí)施方式中，該電路包括:-低通濾波器；-包括輸入電容器的相關(guān)雙米樣器；-采樣保持器；-模數(shù)轉(zhuǎn)換器；低通濾波器包括輸入電容器和串聯(lián)電阻。換句話說(shuō)，電路在一個(gè)區(qū)塊中集成了低通濾波器和相關(guān)雙采樣器。多點(diǎn)觸控設(shè)備是能夠同時(shí)檢測(cè)例如手指的一些對(duì)象接觸或靠近的裝置。已知的多點(diǎn)觸控設(shè)備的示例基于電容傳感器并且可以被用于各種設(shè)備，例如但不限于電容觸摸板、電容觸控面板、電容觸摸屏或投影電容顯示器?；陔娙莸挠|摸設(shè)備通常由電容器陣列形成。如果具有良好介電性能的對(duì)象，例如手指，靠近設(shè)備，那么放在下面的電容器的電容會(huì)改變。整個(gè)陣列可以由電容傳感集成電路(CSIC)以中速讀取，典型地是100-1000fps。所述電路的數(shù)字輸出是灰度圖像序列，其中像素對(duì)應(yīng)于數(shù)字化電容值。本發(fā)明涉及用于處理該圖像序列的方法，從而計(jì)算任意數(shù)量觸摸的位置并且通過(guò)圖像序列對(duì)它們進(jìn)行跟蹤。該方法還允許手勢(shì)識(shí)別。通常使用如圖1例示的多點(diǎn)觸控方法，從而處理連接到電容觸控面板200的CSIC的數(shù)字輸出。多點(diǎn)觸控方法例如包括以下步驟:校準(zhǔn)加圖像預(yù)處理1000、圖像分割加分析2000，以及跟蹤3000。另選的是，通過(guò)使用區(qū)塊匹配/KLT (Kanade-Lucas-Tomasi)跟蹤或其他類似的已知技術(shù)，將圖像分割加分析2000與跟蹤3000結(jié)合到一個(gè)步驟中。但是，這樣的方法需要非常干凈的輸入圖像，即具有良好分辨率的低噪輸入圖像。如圖1所示方法的輸出可以被傳輸?shù)街鳈C(jī)5000，例如通過(guò)USB連接。存在對(duì)允許魯棒性且快速的多點(diǎn)觸控檢測(cè)/跟蹤的改進(jìn)方法的需要，包括不受手指/軌跡的數(shù)量限制并且允許精確位置確定、適合針對(duì)觸摸檢測(cè)的硬件實(shí)施需要低的總處理要求的應(yīng)用的方法。美國(guó)專利US5543591 (新思國(guó)際(Synaptics))描述了用于檢測(cè)在觸摸-傳感器板上的觸摸的方法，其中，通過(guò)估計(jì)在觸摸-傳感器陣列的單獨(dú)傳感線上測(cè)量的電容的加權(quán)平均數(shù)在水平(X)和垂直(y)方向上計(jì)算(幾何中心計(jì)算)觸摸的位置。該方法不允許真實(shí)的多點(diǎn)觸控檢測(cè)，因?yàn)楫?dāng)多個(gè)手指出現(xiàn)時(shí)，其不是魯棒性的。該方法包括僅針對(duì)特定的簡(jiǎn)單手勢(shì)，例如單擊，即上下運(yùn)動(dòng)，雙擊和其他類似手勢(shì)，而跟蹤單一被檢測(cè)的觸摸。跟蹤和手勢(shì)識(shí)別是緊密結(jié)合的，但是它們涉及不易被擴(kuò)展的非常具體的實(shí)施。美國(guó)專利US5825352 (羅技科技(Logitech))描述了用于檢測(cè)在一個(gè)或多個(gè)很好對(duì)齊的手指和觸摸板之間的操作耦合的方法。在噪音抑制以及校準(zhǔn)階段之后，掃描空間手指輪廓并且提取所輸入的X-輪廓和y_輪廓。在兩個(gè)手指的情況下，例如索引和媒介，表示手指輪廓中的第一手指的第一最大值，之后是表示手指間的空間的最小值，再接著是表示第二手指的另一個(gè)最大值。由于手指必須是對(duì)齊的，為了避免人工制品，閾值可以被應(yīng)用到兩個(gè)最大值之間的距離。通過(guò)計(jì)算單一的質(zhì)心值，該值定義為兩個(gè)最大值的中點(diǎn)，來(lái)確定觸摸位置。所述方法對(duì)噪音不是魯棒性的。此外，位置確定不是非常準(zhǔn)確并且如果觸摸沒(méi)有很好地對(duì)齊就不進(jìn)行多點(diǎn)觸控檢測(cè)。此外，當(dāng)多于三個(gè)手指同時(shí)出現(xiàn)在觸摸板上時(shí)，該方法失靈。該文件公開(kāi)了與手勢(shì)識(shí)別緊密結(jié)合的多點(diǎn)觸控跟蹤器，其中，最左邊或最右邊的觸摸被用作指針，并且其余的觸摸(如果存在)被用于簡(jiǎn)單手勢(shì)識(shí)別。美國(guó)專利US7663607 (蘋果公司(Apple))描述了用于多點(diǎn)觸控檢測(cè)的方法，其中，通過(guò)濾波整個(gè)輸入圖像并且然后基于它們的邊界找到觸摸區(qū)域來(lái)執(zhí)行觸摸位置確定:計(jì)算表示輸入圖像的拓?fù)浣Y(jié)構(gòu)的梯度數(shù)據(jù)，并且基于梯度數(shù)據(jù)計(jì)算觸摸區(qū)域邊界(該邊界計(jì)算的輸出是二進(jìn)制拓?fù)鋱D像，即在邊界包含I在其余各處包含O的圖像)，然后，通過(guò)使用分水嶺算法，從邊界數(shù)據(jù)確定觸摸區(qū)域(該分水嶺轉(zhuǎn)化的輸出是區(qū)域的圖像，即，除了在閉合邊界內(nèi)部在其余各處包含O的圖像，即觸摸區(qū)域)。通過(guò)利用與每一個(gè)觸摸區(qū)域相關(guān)聯(lián)的數(shù)據(jù)進(jìn)行質(zhì)心計(jì)算來(lái)完成觸摸位置確定。與已知方案相比，所述方法需要很高的處理要求，由于這個(gè)原因其不適合手/定位筆的書寫/繪畫應(yīng)用。此外，由于該方法被設(shè)計(jì)用于不超過(guò)10個(gè)手指，其受限于觸摸和/或使用設(shè)備的人的數(shù)量。國(guó)際專利W02009/007704 (愛(ài)特梅爾公司/QRG 有限公司(Atmel/QRG Limited))描述了多點(diǎn)觸控檢測(cè)方法，其中，在具有最大電容信號(hào)值的傳感元件確定之后，定義圍繞該元件的區(qū)域。通過(guò)在每一個(gè)后續(xù)步驟中排除出現(xiàn)在先前定義的區(qū)域中的信號(hào)，該方法反復(fù)迭代所述兩個(gè)步驟。所述方法使用相鄰按鍵抑制的修改實(shí)施方式。此外，與已知方案相比，所述方法需要很高的處理要求。另外，該方法不準(zhǔn)確，并且需要在相鄰信號(hào)值之間的插入用于更準(zhǔn)確地確定在每一個(gè)區(qū)域中的觸摸位置。觸摸跟蹤是基于在兩個(gè)不同時(shí)間確定的觸摸位置之間的所有可能路徑的路徑長(zhǎng)度的計(jì)算。然后找到針對(duì)每一個(gè)組合的總距離，并且具有最低距離值的組合表示針對(duì)被考慮的對(duì)象的最小跟蹤距離，并且因此表示跟蹤這些對(duì)象的最可能組合。跟蹤步驟需要大量計(jì)算，特別是出現(xiàn)大量對(duì)象時(shí)。此外，該方法的跟蹤部分不準(zhǔn)確。美國(guó)專利US2008/0087477 (三星電子(Samsung))描述了多點(diǎn)觸控方法，該方法包括基于具有超過(guò)閾值的信號(hào)強(qiáng)度的傳感通道的數(shù)量，檢測(cè)是否傳感到了單點(diǎn)觸控或多點(diǎn)觸控的步驟。如果傳感通道的數(shù)量超過(guò)第二閾值(例如3)，控制器確定操作是基于多點(diǎn)觸控傳感。該方法不準(zhǔn)確，并且當(dāng)出現(xiàn)誤檢測(cè)時(shí)不是魯棒性的。沒(méi)有提到跟蹤。美國(guó)專利US7656394(蘋果公司(Apple))描述了多點(diǎn)觸控跟蹤方法，其中通過(guò)使用高級(jí)但是消耗計(jì)算量的數(shù)字信號(hào)處理(DSP)步驟可靠地跟蹤大量的參數(shù)，例如16個(gè)參數(shù)，例如觸摸區(qū)域的省略裝配，模糊模式識(shí)別以及針對(duì)手和手指識(shí)別的指定問(wèn)題。換句話說(shuō)，相比已知方案，該方法對(duì)處理和內(nèi)存要求非常高。手勢(shì)識(shí)別基于運(yùn)動(dòng)參數(shù)分析和位掩碼的組合。但是它不靈活，并且大部分被跟蹤參數(shù)對(duì)手勢(shì)識(shí)別沒(méi)有用。此外，針對(duì)超過(guò)兩只手或超過(guò)一個(gè)人該方法不能正確地工作。國(guó)際專利W02009/108334 (紐約大學(xué)(New York University))描述了具有表面和用于檢測(cè)表面壓力并且向處理器產(chǎn)生對(duì)應(yīng)于表面壓力的信號(hào)的傳感器陣列的傳感器板。為了使用傳感器板，使用者必須將其插入計(jì)算機(jī)上的USB接口。正電壓同時(shí)施加到傳感器陣列的每一行并且同時(shí)讀取傳感器陣列的每一列上的電壓值。壓力檢測(cè)不是電容性的。當(dāng)硬件從傳感器板掃描模擬值時(shí)，它取回被轉(zhuǎn)化成壓力的電壓值的2D陣列。計(jì)算校準(zhǔn)值的額外2D陣列，并且被消去成第一 2D陣列從而用于確定哪個(gè)點(diǎn)是觸摸點(diǎn)或接觸點(diǎn)。針對(duì)所有的接觸點(diǎn)，找出壓力最大的點(diǎn)或種子點(diǎn)。在找出種子點(diǎn)之后，找到圍繞每一個(gè)種子點(diǎn)的所有連接范圍并且針對(duì)每一個(gè)部分計(jì)算中心和方差。跟蹤連接部分的步驟之后是濾波步驟。該文件沒(méi)有提到分割步驟、區(qū)域識(shí)別，也沒(méi)有提到使用子區(qū)域。歐洲專利EP2077490 (蘋果公司(Apple))描述了用于有選擇地拒絕在觸摸傳感器板的邊緣區(qū)域中的觸摸接觸的方法。但是在邊緣區(qū)域中的接觸超出閾值距離或閾值速度移動(dòng)時(shí)，其可以被識(shí)別為手勢(shì)的一部分。該識(shí)別還允許在邊緣區(qū)域內(nèi)執(zhí)行跟蹤操作。基于手指或拇指的識(shí)別，可以修改邊緣區(qū)域的尺寸。因此，需要魯棒性地、精確地并且獨(dú)立于手指對(duì)齊地檢測(cè)多點(diǎn)觸控設(shè)備上任意數(shù)量觸摸的方法。還需要用于檢測(cè)不受待被檢測(cè)的觸摸數(shù)量限制的任意數(shù)量觸摸的并且還適于手/定位筆的書寫/繪畫應(yīng)用的方法。還需要與已知方案相比使用低的總處理要求來(lái)檢測(cè)和跟蹤任意數(shù)量觸摸的方法。還需要用于跟蹤不限于被跟蹤觸摸的數(shù)量的任意數(shù)量觸摸的并且適于多于一人或多于兩只手使用的方法。還需要用于跟蹤允許靈活手勢(shì)識(shí)別的任意數(shù)量觸摸的方法，即具有任意數(shù)量手指的任何類型手勢(shì)識(shí)別。

發(fā)明內(nèi)容
根據(jù)本發(fā)明，這些目的通過(guò)根據(jù)權(quán)利要求1的用于檢測(cè)多點(diǎn)觸控設(shè)備上任意數(shù)量觸摸的方法、根據(jù)權(quán)利要求26的非暫時(shí)的有形計(jì)算機(jī)可讀介質(zhì)和根據(jù)權(quán)利要求27的多點(diǎn)觸控裝置實(shí)現(xiàn)。與現(xiàn)有技術(shù)相比，本文公開(kāi)的方法的優(yōu)點(diǎn)具體地包括具有“真實(shí)的”多點(diǎn)觸控檢測(cè)而沒(méi)有關(guān)于觸摸數(shù)量的限制，并且與已知方案相比需要低的總處理要求。有利地，根據(jù)本發(fā)明的方法可以允許手/定位筆的書寫/繪畫應(yīng)用。本方法可以允許魯棒性的多點(diǎn)觸控跟蹤而沒(méi)有關(guān)于跟蹤觸摸數(shù)量的限制，并且還適于被多于一個(gè)人使用。有利地，根據(jù)本發(fā)明的方法可以允許靈活手勢(shì)識(shí)別，因?yàn)槠淠軌蜃R(shí)別任何類型手指的任何類型手勢(shì)。
當(dāng)與其它現(xiàn)有技術(shù)方法相比，根據(jù)本發(fā)明的方法是快速的:觸摸檢測(cè)的速度對(duì)觸摸的數(shù)量的依賴可以忽略。此外，本方法在輸入數(shù)據(jù)的質(zhì)量方面是魯棒性的:有利地，本文公開(kāi)的方法很好地處理低質(zhì)量的輸入數(shù)據(jù)，即具有高噪音電平和低分辨率的輸入數(shù)據(jù)。


借助于示例實(shí)施方式的說(shuō)明和例示的附圖，將更好地理解本發(fā)明。其中:圖1例示性地示出了多點(diǎn)觸控方法的主要步驟的視圖。圖2示出了根據(jù)本發(fā)明的一個(gè)實(shí)施方式的方法的簡(jiǎn)化流程圖。圖3A示出了在3X3子區(qū)域原則下局部最大值測(cè)試的示例。圖3B示出了被找出的局部最大值和最大值的其它類型。圖4示出了利用在非重疊窗口上的真實(shí)平均數(shù)的時(shí)域?yàn)V波的示例。圖5例示了根據(jù)本發(fā)明的一個(gè)實(shí)施方式的方法的第一灰度圖像濾波步驟的一個(gè)實(shí)施方式。圖6例示了根據(jù)本發(fā)明的一個(gè)實(shí)施方式的方法的第二灰度圖像濾波步驟的一個(gè)實(shí)施方式。圖7A至7C示出了根據(jù)本發(fā)明的一個(gè)實(shí)施方式的方法的在二進(jìn)制圖像濾波步驟中需要的3X3方形像素結(jié)構(gòu)元素的基本二進(jìn)制形態(tài)操作的一個(gè)實(shí)施方式。圖8示出了通過(guò)使用具有4個(gè)不同2X2方形像素結(jié)構(gòu)元素的形態(tài)濾波的二進(jìn)制圖像濾波步驟的一個(gè)實(shí)施方式。圖9示出了根據(jù)本發(fā)明的一個(gè)實(shí)施方式的方法的跟蹤步驟的流程圖。圖1OA至IOC示出了根據(jù)本發(fā)明的一個(gè)實(shí)施方式具有線性和賦值問(wèn)題(LinearSum Assignment Problem) (LSAP)和軟電子門不例(soft-gating illustration)的多點(diǎn)觸控跟蹤的一個(gè)示例。圖11示出了根據(jù)本發(fā)明的一個(gè)實(shí)施方式通過(guò)針對(duì)大位移使用預(yù)計(jì)觸摸位置而改變門距離和賦值的示例。圖12例示了包含根據(jù)本發(fā)明一個(gè)實(shí)施方式的跟蹤部分的主要步驟的簡(jiǎn)化流程圖。圖13例示了包含根據(jù)本發(fā)明的一個(gè)實(shí)施方式的手勢(shì)識(shí)別的主要步驟的流程圖。
具體實(shí)施例方式圖2示出了根據(jù)本發(fā)明的一個(gè)優(yōu)選實(shí)施方式的方法的流程圖。由多點(diǎn)觸控設(shè)備的電容傳感集成電路(CSIC)輸出的圖像，例如16位圖像，被用作第一校準(zhǔn)加預(yù)處理區(qū)塊1000的輸入圖像7000。該輸入圖像沒(méi)有被標(biāo)注，即，不包含負(fù)像素值。第一區(qū)塊1000后接著是分割加分析區(qū)塊2000，再后接著是跟蹤區(qū)塊3000。針對(duì)輸入圖像序列的每一個(gè)幀處理這些區(qū)塊。在上下文中的名詞“區(qū)塊”表示用于提供功能的功能單元。區(qū)塊可以用硬件部件和/或軟件部件實(shí)現(xiàn)。在上下文中的表述“圖像”指示多點(diǎn)觸控設(shè)備的狀態(tài)的二維表示，該二進(jìn)制或多值表示在所述設(shè)備的每一個(gè)傳感電容器中的電荷。圖像不是必須被顯示或旨在被顯示的。
跟蹤區(qū)塊3000的輸出包括N矢量，每一個(gè)矢量是(N，ID, x，y，z)的形式，其中-N是在一個(gè)時(shí)間出現(xiàn)在多點(diǎn)觸控設(shè)備上的觸摸的數(shù)量；-1D是識(shí)別特定觸摸的編號(hào)；-X和Y是對(duì)應(yīng)于ID的觸摸的觸摸位置的平面坐標(biāo)；-Z是觸摸強(qiáng)度，即，與由于對(duì)象出現(xiàn)在多點(diǎn)觸控設(shè)備上或靠近多點(diǎn)觸控設(shè)備造成的電場(chǎng)改變成比例的值。換句話說(shuō)，觸摸強(qiáng)度z與對(duì)象到設(shè)備的距離以及對(duì)象的等效介電常數(shù)或?qū)щ娐食杀壤Ｓ糜讷@取零觸摸基準(zhǔn)圖像或基線或基準(zhǔn)圖像的初始校準(zhǔn)1020，與平均消去1040一起，也就是減去具有所述基準(zhǔn)圖像的輸入圖像7000，允許提取能夠很好定位觸摸的微分和被標(biāo)記圖像。被標(biāo)注圖像可以包含正負(fù)像素值。即使零觸摸基準(zhǔn)原始圖像如在理想情況中是“非一致的”，即，盡管在多點(diǎn)觸控設(shè)備上沒(méi)有對(duì)象，基準(zhǔn)圖像包含不同的灰度值，步驟1020和1040還允許很好地同樣檢測(cè)觸摸。三個(gè)濾波區(qū)塊1010、1030、1050可以被用于清理高度損壞的圖像:-時(shí)域?yàn)V波1010主要是基于非遞歸、快速平均從而濾除主要由系統(tǒng)和環(huán)境噪聲構(gòu)成的白噪聲。-第一灰度圖像濾波塊1030濾除主要由手指在多點(diǎn)觸控設(shè)備上引起的耦合造成的尖銳噪音，例如，1-像素噪音。其還包括用于恢復(fù)真實(shí)觸摸的單調(diào)性的校平器。-第二灰度圖像濾波塊1050可以濾除例如由顯示器或環(huán)境/系統(tǒng)50Hz噪音造成的強(qiáng)擾動(dòng)。在處理輸入圖像7000的這些步驟之后，獲得了用作分割加分析區(qū)塊2000的輸入的被處理圖像8000。區(qū)塊2000的第一步驟是用常數(shù)閾值執(zhí)行的圖像分割2010從而將被處理圖像8000分成前景，即觸摸+殘留噪聲，和背景。然后在被處理圖像中識(shí)別一個(gè)或多個(gè)區(qū)域。在一個(gè)優(yōu)選實(shí)施方式中，區(qū)域是對(duì)應(yīng)于一個(gè)觸摸的像素的連接組，例如都具有大于預(yù)定閾值的值的連接像素的一個(gè)組。在術(shù)語(yǔ)“連接像素”中“連接”的意思涉及N-連接鄰近或相鄰像素的概念，其中N是偶數(shù)。在一個(gè)優(yōu)選實(shí)施方式中，N=4。在這種情況下，如果N/2，例如2，鄰近或相鄰像素在相同的行-或在相同的列-并且如果它們具有大于預(yù)定閾值的值，它們屬于相同的區(qū)域，即它們是N-連接，例如4-連接。二進(jìn)制圖像濾波2020濾除二進(jìn)制噪音，例如松散的或沒(méi)有意義的區(qū)域。執(zhí)行區(qū)域標(biāo)注2030來(lái)獲得在該濾波后保留的被識(shí)別區(qū)域的坐標(biāo)。然后針對(duì)范圍、方形形狀和局部最大值的數(shù)量，在步驟2040分析被標(biāo)注區(qū)域。在上下文中的術(shù)語(yǔ)“方形形狀”表示區(qū)域方形的程度。其通過(guò)用給定寬度(width,)和高度(height,)的矩形圍繞任何形狀的區(qū)域并且通過(guò)計(jì)算如下定義的方形形狀因子被估計(jì)。Min (widthE, heightE) /Max (widthE, heightE)在上下文中的術(shù)語(yǔ)“一個(gè)像素尺寸的局部最大值”表示最大值，即,其觸摸強(qiáng)度z具有最大值的一個(gè)像素。因?yàn)槭窃趨^(qū)域內(nèi)的子區(qū)域中被估計(jì)的，所以這個(gè)最大值是“局部的”。在一個(gè)實(shí)施方式中，該子區(qū)域是NXN像素的尺寸，其中N是奇數(shù)。在一個(gè)優(yōu)選實(shí)施方式中，N=3。局部最大值的數(shù)字確定的主要問(wèn)題是其不必強(qiáng)制為單一像素，而可以在多于一個(gè)像素上分布。尋找任意尺寸的局部最大值將消耗計(jì)算量并且通常意味著計(jì)算梯度圖像(空間導(dǎo)數(shù))和許多清理并使用導(dǎo)數(shù)圖像的處理步驟。根據(jù)本發(fā)明的方法有利地將局部最大值的搜索限制到一個(gè)像素尺寸的局部最大值，使得很容易并且不消耗計(jì)算量地將它們找出。該方法基于所述限制允許非常重要的處理能力降低而沒(méi)有顯著降低觸摸檢測(cè)可靠性的發(fā)現(xiàn)。實(shí)際上，本發(fā)明改進(jìn)的方法減少了正誤識(shí)檢測(cè)的數(shù)量，并且沒(méi)有顯著增加未檢測(cè)觸摸的數(shù)量。這部分地由于下面事實(shí)，即，具有大于一個(gè)像素的局部最大值的子區(qū)域通常只是臨時(shí)的并且通常在一些幀之后被具有一個(gè)像素尺寸的局部最大值的子區(qū)域替換。在局部最大值檢索之前執(zhí)行所有濾波步驟1010、1030、1050、2020保證，在多點(diǎn)觸控設(shè)備上的手指對(duì)應(yīng)于一個(gè)像素尺寸的局部最大值具有很高概率。然后，根據(jù)本發(fā)明的方法不需要導(dǎo)數(shù)，不需要導(dǎo)數(shù)后處理，并且因此如果與現(xiàn)有技術(shù)的其它方法相比需要非常低的處理要求。圖3A示出了包括兩個(gè)區(qū)域A和B的被分割圖像SI的一個(gè)示例。每一個(gè)區(qū)域包括像素，每一個(gè)像素具有不是O并且與觸摸強(qiáng)度z成比例的值。子區(qū)域SR集中在每一個(gè)區(qū)域上的每一個(gè)像素上。在圖3A的示例中，由虛線表示的該子區(qū)域是3X3像素尺寸。如果在子區(qū)域內(nèi)的其它8個(gè)像素具有小于受驗(yàn)像素值的值，在子區(qū)域SR中心的像素，即受驗(yàn)像素，是局部最大值。在圖3A的示例中，區(qū)域B的像素P受驗(yàn)。由于在子區(qū)域SR內(nèi)的其它8個(gè)像素之間存在具有大于像素P的值I的值9的兩個(gè)像素，P不是一個(gè)像素尺寸的局部最大值。區(qū)域B的具有值9的兩個(gè)像素中的每一個(gè)，由于同樣的原因不是局部最大值，因?yàn)樵谧訁^(qū)域內(nèi)的其它8個(gè)像素之間，存在具有與受驗(yàn)像素的值相同的值9的像素，其中，子區(qū)域集中在這些兩個(gè)像素中的每個(gè)像素中。由于不包含一個(gè)像素尺寸的局部最大值，區(qū)域B被丟棄。但是圖3A的示例示出了在區(qū)域B內(nèi)的不尋常像素的布置，因?yàn)槠浜币?jiàn)地具有兩個(gè)具有相同的和高值的相鄰像素。區(qū)域B數(shù)學(xué)上具有值9的兩個(gè)像素是兩個(gè)像素尺寸的局部最大值。它們還是針對(duì)區(qū)域B的區(qū)域最大值RM，因?yàn)樗鼈兙哂性趨^(qū)域B內(nèi)的最大值，以及全局最大值GM，因?yàn)樗鼈兙哂斜环指顖D像SI的所有像素的最大值。在圖3B中例示了不同類型的最大值。根據(jù)圖3B，在區(qū)域A中存在一個(gè)像素尺寸的三個(gè)局部最大值LM: —個(gè)像素尺寸的兩個(gè)局部最大值具有值6，和一個(gè)像素尺寸的局部最大值具有值7，其也是針對(duì)區(qū)域A的區(qū)域最大值RM。根據(jù)本發(fā)明的方法，基于找到的一個(gè)像素尺寸的局部最大值確定觸摸位置。正如討論的，如果區(qū)域不包含一個(gè)像素尺寸的至少一個(gè)局部最大值，則整個(gè)區(qū)域被丟棄。如果區(qū)域包含一個(gè)像素尺寸的一個(gè)局部最大值，通過(guò)使用區(qū)域的所有像素計(jì)算該區(qū)域的幾何中心確定觸摸位置。如果存在多于一個(gè)像素尺寸的一個(gè)局部最大值，對(duì)于幾何中心計(jì)算，只考慮集中在每個(gè)局部最大值上的子區(qū)域內(nèi)的9個(gè)像素。根據(jù)預(yù)定的條件，基于它們的面積、它們的方形形狀因子和/或，如已經(jīng)提及的，在區(qū)域內(nèi)找出的局部最大值的數(shù)量，一些區(qū)域被丟棄。例如大區(qū)域，遠(yuǎn)不是方形的區(qū)域或具有許多局部最大值的區(qū)域很可能是假觸摸并因此被拒絕。如果一個(gè)區(qū)域非常大或如果存在幾個(gè)大區(qū)域，很可能在多點(diǎn)觸控設(shè)備存在一個(gè)大的對(duì)象，例如手、耳朵等。在這種情況下，根據(jù)本發(fā)明的方法停止。還可能基于在區(qū)域內(nèi)局部最大值的位置(我們期待它們或多或少在中心)、基于在圖像內(nèi)的區(qū)域的位置(一些區(qū)域更可能入選，其它區(qū)域可能被禁止或臨時(shí)禁止)、基于先前或之后的圖像(大部分觸摸持續(xù)至少一些幀)等丟棄一些區(qū)域。還可能基于多個(gè)條件和考慮因子，計(jì)算區(qū)域是假觸摸并且應(yīng)該被丟棄的概率。如果方法繼續(xù)，根據(jù)一些公知的公式，在步驟2050計(jì)算每一個(gè)有效區(qū)域的幾何中心。在這些步驟之后，確定觸摸位置9000。然后所有有效觸摸被提交至具有已經(jīng)被跟蹤(標(biāo)注)觸摸的線性賦值3010。前饋成功標(biāo)注的觸摸至軌跡濾波3030并且然后輸出。軌跡濾波由簡(jiǎn)單的、短的低通濾波器執(zhí)行。前饋未賦值的觸摸至具有被跟蹤(但是未標(biāo)注)觸摸的線性賦值3020。未標(biāo)注觸摸如果在一些幀期間沒(méi)有被成功賦值，它們很可能是正誤識(shí)，且因此被消除。但是，如果未標(biāo)注觸摸針對(duì)多幀被成功賦值,它很可能是真實(shí)的觸摸并因此也被標(biāo)注。最后，如果需要可以執(zhí)行再校準(zhǔn)。需要進(jìn)行動(dòng)態(tài)再校準(zhǔn)的主要原因是由于殘留在多點(diǎn)觸控設(shè)備上的油脂、汗?jié)⒒蛞后w(雨水)并且可能由于環(huán)境電子場(chǎng)改變。本方法輸出的ID在從第一手指接觸直到相同的手指釋放的運(yùn)動(dòng)期間必須是常數(shù)。關(guān)于相對(duì)于多點(diǎn)觸控設(shè)備的現(xiàn)實(shí)觸摸位置，坐標(biāo)X和坐標(biāo)I必須盡可能準(zhǔn)確。整個(gè)方法可以在硬件、固件或軟件或它們的組合中實(shí)施。取決于并且包括二進(jìn)制圖像濾波(1010至2010)的區(qū)塊適合于部分地取決于完全并行(圖像)處理。即使如將要討論的在區(qū)塊3000中計(jì)算的大成本矩陣，小于I毫秒的計(jì)算時(shí)間是可能的。如果在多點(diǎn)觸控設(shè)備上沒(méi)有觸摸或不存在大的對(duì)象，所述方法結(jié)束并且由此減少計(jì)算活動(dòng)。此外，取決于情況和應(yīng)用，所述方法每秒循環(huán)的數(shù)量可以被動(dòng)態(tài)地減少到最小值:在空閑模式中能夠確保最大延遲要求的最低頻率，針對(duì)軟鍵盤應(yīng)用(電話撥號(hào)、打字、菜單選擇等)的低頻率(10-25HZ)、用于指點(diǎn)(光標(biāo))和多點(diǎn)觸控應(yīng)用的平均頻率(25-50HZ)以及用于手/定位筆的書寫/繪畫應(yīng)用的高頻率(50-200HZ)。在時(shí)域?yàn)V波1010的過(guò)程中，輸入圖像7000的每一個(gè)像素信號(hào)的演變及時(shí)地被濾波，從而抑制高頻內(nèi)容，即具有高于100-200HZ頻率的內(nèi)容。但是也能夠獲得平穩(wěn)信號(hào)(例如50Hz)的特定濾波。時(shí)域?yàn)V波1010可以用在數(shù)字濾波技術(shù)和數(shù)字濾波設(shè)計(jì)領(lǐng)域(有限脈沖響應(yīng)和無(wú)限脈沖響應(yīng)濾波器)中已知的各種方式實(shí)現(xiàn)。圖4示出了具有針對(duì)多輸入幀的真實(shí)平均數(shù)而沒(méi)有重疊窗口的非運(yùn)行和非遞歸時(shí)域?yàn)V波的一個(gè)示例。與通過(guò)低通濾波裝置獲得的近似平均數(shù)相比，關(guān)于窗口的所述平均數(shù)是真實(shí)的平均數(shù)，因?yàn)樗怯盟阈g(shù)平均公式計(jì)算的。參考1011表示預(yù)定長(zhǎng)度的信號(hào)，在這種情況下，N=1024，并且參考1012表示尺寸W=16的重疊窗口的真實(shí)平均數(shù)。所述尺寸對(duì)應(yīng)于信號(hào)1012的水平部分的長(zhǎng)度。初始校準(zhǔn)1020與時(shí)域?yàn)V波1010類似地執(zhí)行從而獲取基準(zhǔn)圖像IMf。因此，應(yīng)該在多點(diǎn)觸控設(shè)備上沒(méi)有任何剩余對(duì)象的情況下執(zhí)行校準(zhǔn)。計(jì)算大量幀的真實(shí)平均數(shù)用于獲取基準(zhǔn)圖像Iref，該基準(zhǔn)圖像然后存儲(chǔ)在基準(zhǔn)圖像緩沖器中。如果校準(zhǔn)需要不時(shí)地重復(fù)，被存儲(chǔ)的基準(zhǔn)圖像可以通過(guò)利用強(qiáng)權(quán)數(shù)α對(duì)舊的基準(zhǔn)圖像Id—。1(1進(jìn)行加權(quán)平均獲得的新的時(shí)域?yàn)V波基準(zhǔn)圖像Im更新。該更新方法也是時(shí)域?yàn)V波。所述更新的(時(shí)域?yàn)V波的)基準(zhǔn)圖像是
a Iref old+ (1-α ) Iref new 其中，0〈〈α〈I。如果，在初始校準(zhǔn)步驟1020，不能保證在多點(diǎn)觸控設(shè)備上沒(méi)有導(dǎo)電對(duì)象，一些啟發(fā)式方法可以被用于確定基準(zhǔn)圖像是否足夠“均勻”或足夠“稀疏”。如果不是，可以重復(fù)校準(zhǔn)直到達(dá)到期望的均勻或稀疏。還可以組合的一些可能的啟發(fā)式方法是:-計(jì)算基準(zhǔn)圖像的標(biāo)準(zhǔn)偏差和平均幅度。一旦它“足夠小”，很可能在多點(diǎn)觸控設(shè)備上沒(méi)有運(yùn)動(dòng)。“足夠小”的意思用實(shí)驗(yàn)方法確定。-計(jì)算全變差范數(shù)，即基準(zhǔn)圖像的空間導(dǎo)數(shù)的LI范數(shù)。如果它“足夠小”，圖像是均勻的。同樣，“足夠小”的意思用實(shí)驗(yàn)方法確定。提出的第二個(gè)啟發(fā)式方法更快并且更可靠，但是，考慮到輸入圖像7000的粗分辨率，當(dāng)離散空間導(dǎo)數(shù)時(shí)必須小心謹(jǐn)慎。關(guān)于時(shí)域?yàn)V波1010和校準(zhǔn)1020，處理時(shí)域?yàn)V波圖像從而獲得在多點(diǎn)觸控設(shè)備上的真實(shí)觸摸的真實(shí)χ-y平面坐標(biāo)關(guān)于每個(gè)幀的好判斷。針對(duì)多點(diǎn)觸控檢測(cè)的主要困難在于，在多點(diǎn)觸控設(shè)備上的真實(shí)觸摸的數(shù)量不是事先施加的或已知的。因此，輸入圖像7000必須被處理從而可靠地獲得區(qū)域，即對(duì)應(yīng)于不同觸摸中的每一個(gè)的像素的連接組。通過(guò)多個(gè)手指接觸的傳感電容器間的具有未完全已知耦合模式的耦合導(dǎo)致在輸入圖像上的以下效果中的一種:-多點(diǎn)觸控設(shè)備的一側(cè)(底面)，其導(dǎo)致與真實(shí)觸摸強(qiáng)度和面積相同的“幽靈觸摸(ghost touches)，，。-在多點(diǎn)觸控設(shè)備的另一側(cè)(頂面)，幽靈觸摸(ghosttouches)也很明顯,但是強(qiáng)度較弱符號(hào)相反。即使與頂面相比，底面具有一些優(yōu)點(diǎn)，一般來(lái)說(shuō)也使用頂面。針對(duì)已經(jīng)裝配的多點(diǎn)觸控設(shè)備，例如已經(jīng)裝入一個(gè)框架，很難輕擊屏幕，因?yàn)檫@需要拆開(kāi)整個(gè)設(shè)備，輕擊它并且再重新組裝。在這些情況下，通常使用頂面。在可能決定使用哪個(gè)面的情況下，底面允許獲取大的信號(hào)噪音比。底面的優(yōu)點(diǎn)在于可以顯著減少圖像濾波，但是存在需要用合適的算法解決的幽靈問(wèn)題。由于一些其他噪音源，相反符號(hào)的小峰值可以變成真實(shí)的噪音峰值，所述小峰值通過(guò)使用中(列)濾波器，例如1X3像素中濾波器，被第一灰度圖像濾波1030濾波。因?yàn)橹袨V波是非線性的，其不可分離，即沒(méi)有引入實(shí)質(zhì)信息喪失或失真，不能執(zhí)行關(guān)于行的第二次運(yùn)行。另選的是，采用2X2像素中濾波器，但是總地來(lái)說(shuō)，因?yàn)椴淮嬖跒V波中心，避免了具有偶數(shù)像素掩碼的非二進(jìn)制圖像濾波。如果使用3X3像素中濾波器，考慮到輸入圖像的粗糙，很可能刪除大部分真實(shí)的觸摸。如果仍然需要對(duì)行增加第二次運(yùn)行，其可以如圖5所示執(zhí)行。第一灰度圖像濾波1030的輸入圖像1031被發(fā)送到1X3像素中濾波器1032和3X I像素中濾波器1033，兩個(gè)濾波器并聯(lián)工作。然后通過(guò)平均兩個(gè)濾波器1032和1033的輸出計(jì)算濾波圖像1035。換句話說(shuō)，第一灰度圖像濾波器1030有利地包括校平器1034，即用于恢復(fù)真實(shí)觸摸的單調(diào)性的低通平均器。然后，濾波圖像1035是平均消去區(qū)塊1040或基準(zhǔn)圖像消去區(qū)塊的輸入。執(zhí)行該消去用于獲取只包含觸摸(和殘留噪音)的圖像。當(dāng)使用在頂面的多點(diǎn)觸控設(shè)備時(shí)，真實(shí)的觸摸一般導(dǎo)致比基線或零觸摸基準(zhǔn)圖像更低的灰度值。因此，在區(qū)塊1040，根據(jù)以下公式從基準(zhǔn)圖像IMf減去第一灰度濾波區(qū)塊1030的輸出1035Ifilteral l:I sub_Iref_If iltered_ IIsub是標(biāo)注圖像，其具有主要為正的真實(shí)觸摸以及主要為負(fù)的幽靈觸摸。噪音既有正振幅也有負(fù)振幅并且可能導(dǎo)致圍繞不完全濾波幽靈的正誤識(shí)。為了減少出現(xiàn)正誤識(shí)，標(biāo)注圖像Isub被發(fā)送到第二灰度濾波區(qū)塊1050并且用掩碼濾波，例如如下的3 X 3像素加權(quán)平均法: Ifiltered 2=H*Isub其中，H是方陣，例如:
權(quán)利要求
1.關(guān)于從多點(diǎn)觸控設(shè)備傳送的輸入圖像(7000)檢測(cè)任意數(shù)量的觸摸的方法，所述方法包括以下步驟: -處理(1010-1050)所述輸入圖像(7000)并且獲取被處理圖像(8000)； -通過(guò)所述被處理圖像(8000)的閾值轉(zhuǎn)換并且獲取被分割圖像的分割(2010)； -識(shí)別所述被分割圖像的區(qū)域(2030)； -找出局部最大值，每一個(gè)局部最大值是一個(gè)像素尺寸并且屬于每一個(gè)區(qū)域內(nèi)的一個(gè)子區(qū)域； -基于所述局部最大值確定至少一個(gè)觸摸位置(9000)。
2.按權(quán)利要求1所述的方法，其中，所述子區(qū)域的尺寸是NXN像素，其中N是奇數(shù)。
3.按權(quán)利要求2所述的方法，其中，N等于3。
4.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述找出步驟包括多個(gè)迭代，其中在每一個(gè)迭代: -定義所述子區(qū)域，所述子區(qū)域集中在區(qū)域的一個(gè)像素，所述像素在每一次迭代被改變； -檢驗(yàn)在所述子區(qū)域內(nèi)的像素而非所述子區(qū)域中心的像素是否具有小于在所述子區(qū)域中心的所述像素值的值； -如果上述步驟被證實(shí)，將 在所述子區(qū)域中心的所述像素識(shí)別為一個(gè)像素尺寸的局部最大值。
5.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述區(qū)域是一組相連像素。
6.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述處理步驟包括濾波(1010，1030，1050，2020)所述輸入圖像(7000)。
7.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，包括根據(jù)預(yù)定的條件丟棄一些區(qū)域。
8.按權(quán)利要求7所述的方法，其中，所述預(yù)定的條件基于范圍、所述區(qū)域的方形形狀因子和/或在每一個(gè)區(qū)域中查找的一個(gè)像素尺寸的局部最大值的數(shù)量。
9.按權(quán)利要求7至8中任一項(xiàng)所述的方法，其中，所述確定至少一個(gè)觸摸位置的步驟包括計(jì)算(2050)在所述丟棄之后保留的每一個(gè)區(qū)域的幾何中心。
10.按權(quán)利要求9所述的方法，其中，如果所述區(qū)域包含一個(gè)像素尺寸的一個(gè)局部最大值，所述計(jì)算步驟考慮到區(qū)域的所有所述像素。
11.按權(quán)利要求9所述的方法，其中，如果所述區(qū)域包含多于一個(gè)像素尺寸的一個(gè)局部最大值，所述計(jì)算步驟只考慮集中在區(qū)域的每個(gè)局部最大值的子區(qū)域內(nèi)的所述像素。
12.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，包括用于獲取基準(zhǔn)圖像(Iref)的校準(zhǔn)步驟(1020)。
13.按權(quán)利要求12所述的方法，包括消去具有所述基準(zhǔn)圖像(Iref)的輸入圖像，獲取標(biāo)注圖像并且查找假觸摸。
14.按權(quán)利要求6至13中任一項(xiàng)所述的方法，其中，所述濾波包括第一灰度圖像濾波(1030)。
15.按權(quán)利要求14所述的方法，其中，所述第一灰度圖像濾波(1030)包括校平器。
16.按權(quán)利要求6至15中任一項(xiàng)所述的方法，其中，所述濾波還包括所述輸入圖像(7000)的時(shí)域?yàn)V波(1010)。
17.按權(quán)利要求6至16中任一項(xiàng)所述的方法，其中，所述濾波還包括第一灰度圖像濾波(1030)。
18.按權(quán)利要求6至17中任一項(xiàng)所述的方法，其中，所述濾波還包括二進(jìn)制圖像濾波(2020)。
19.按權(quán)利要求18所述的方法，其中，所述二進(jìn)制圖像濾波包括二進(jìn)制形態(tài)濾波器(2023)。
20.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述識(shí)別區(qū)域(2030)包括區(qū)域標(biāo)注以及所述區(qū)域(2040)的分析。
21.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，還包括以下步驟: -基于所述觸摸位置(3009)創(chuàng)建軌跡； -針對(duì)每一個(gè)軌跡，賦值識(shí)別每一個(gè)被賦值或未被賦值的軌跡的狀態(tài)位(FIFO)； -解決每一個(gè)標(biāo)注軌跡(3010)的線性賦值問(wèn)題； -解決每一個(gè)未標(biāo)注軌跡的線性賦值問(wèn)題并且更新所述標(biāo)注軌跡(3020，3023，3024)； -濾波所述更新的標(biāo)注軌跡(3030 )。
22.按權(quán)利要求21所述的方法，其中，針對(duì)每一個(gè)所述觸摸位置創(chuàng)建軌跡的步驟包括計(jì)算距離矩陣(C，3018)。
23.按權(quán)利要求22所述的方法，其中，針對(duì)每一個(gè)所述觸摸位置創(chuàng)建軌跡的步驟包括考慮以下參數(shù)計(jì)算似然矩陣: -位置； -速率模塊； -方向改變； -強(qiáng)度改變。
24.按權(quán)利要求23所述的方法，包括基于所述濾波(3030)更新(3031)所述參數(shù)。
25.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，還包括: -用于檢測(cè)手勢(shì)或簡(jiǎn)單手勢(shì)(4001)的初步分析； -如果沒(méi)有檢測(cè)到手勢(shì)(4003)，則輸出相對(duì)運(yùn)動(dòng)矢量的坐標(biāo)； -如果檢測(cè)簡(jiǎn)單到手勢(shì)(4005)，則輸出簡(jiǎn)單手勢(shì)信號(hào)； -如果存在手勢(shì)并且不是簡(jiǎn)單手勢(shì)(4006、4007、4009)，與參考手勢(shì)(4008)進(jìn)行對(duì)比。
26.一種具有處理器可執(zhí)行指令的非暫時(shí)的有形計(jì)算機(jī)可讀介質(zhì)，當(dāng)所述指令被執(zhí)行時(shí)，其用于執(zhí)行權(quán)利要求1至25中任一項(xiàng)所述的方法。
27.一種用于多點(diǎn)觸控設(shè)備的多點(diǎn)觸控裝置，所述裝置包括: -用于處理由多點(diǎn)觸控設(shè)備輸出的輸入圖像(7000 )并且用于獲取被處理圖像(8000 )的處理裝置； -用于所述被處理圖像(8000)的閾值轉(zhuǎn)換并且獲取被分割圖像的分割(2010)裝置； -用于識(shí)別所述被分割圖像的區(qū)域(2030)的識(shí)別裝置； -一個(gè)像素尺寸的局部最大值的計(jì)算裝置； -基于所述局部最大值，用于確定一個(gè)或多個(gè)觸摸位置(9000)的確定裝置。
全文摘要
一種用于從多點(diǎn)觸控設(shè)備的輸入圖像檢測(cè)任意數(shù)量的觸摸的方法，該方法包括以下步驟-處理所述輸入圖像并且獲取被處理圖像；-通過(guò)所述被處理圖像(8000)的閾值轉(zhuǎn)換并且獲取被分割圖像的分割；-確認(rèn)被分割圖像的區(qū)域；-找出局部最大值，每一個(gè)局部最大值是在每一個(gè)區(qū)域內(nèi)的子區(qū)域上的一個(gè)像素尺寸；-基于所述局部最大值確定至少一個(gè)觸摸位置。
文檔編號(hào)G06F3/041GK103098012SQ201180044305
公開(kāi)日2013年5月8日 申請(qǐng)日期2011年3月11日 優(yōu)先權(quán)日2010年9月15日
發(fā)明者安德烈亞斯·威索, 弗朗索瓦·瓦登, 諾曼·查帕特 申請(qǐng)人:高端硅公司