用于檢測第一對象與第二對象之間的觸摸的方法和設(shè)備的制造方法
【專利摘要】本公開涉及一種用于檢測第一對象的至少部分與第二對象的至少部分之間的觸摸的方法和設(shè)備，其中該第一對象的至少部分相比于第二對象的至少部分具有不同的溫度，該方法包括：提供第二對象的一部分的至少一個熱圖像；在至少一個熱圖像的至少部分中確定用于指示特定溫度值或溫度范圍或者特定溫度變化值或溫度變化范圍的圖案；以及使用所確定的圖案以用于檢測第一對象的至少部分與第二對象的至少部分之間的觸摸。
【專利說明】用于檢測第一對象與第二對象之間的觸摸的方法和設(shè)備
[0001]本公開涉及用于檢測第一對象的至少部分與第二對象的至少部分之間的觸摸的方法和設(shè)備，其中第一對象的至少部分相比于第二對象的至少部分具有不同的溫度。本公開還涉及包括適于執(zhí)行此類方法的軟件代碼段的計算機程序產(chǎn)品。
[0002]人與(真實)對象進行交互的一種自然方式是用其手來觸摸對象。例如，在當(dāng)前的增強現(xiàn)實(AR)應(yīng)用中，與真實對象和虛擬對象的交互通常涉及用戶的手與顯示真實對象的圖像的屏幕，而不是與真實對象直接交互。允許檢測和定位其表面上的觸摸的此類屏幕通常被稱為觸摸屏，并且如今是例如智能電話和平板電腦的常見部件。當(dāng)前的趨勢是AR的顯示器越來越小，和/或其更靠近用戶眼睛的視網(wǎng)膜。這例如對于頭戴式顯示器就是如此，并且使得對觸摸屏的使用很困難或者甚至不可行。
[0003]這種情況下的一種可能的解決方案是使用基于遮擋的交互方法，諸如參考文獻 [4,5]中所述的。在這些方法中，如果真實對象的某區(qū)域被遮擋而不在相機的視角內(nèi)，則觸發(fā)交互事件。需注意，相機相對于真實對象的姿態(tài)(即位置和取向)需要是已知的，以便能夠識別此類遮擋。該姿態(tài)可脫機確定一次或者在工作時間期間持續(xù)確定，這允許真實對象和/ 或相機發(fā)生運動。此類基于遮擋的交互例如是名為“虛擬按鈕”的Vuforia SDK的一部分?；谡趽醯奶摂M按鈕具有以下缺點:其不能辨別對象(例如指尖)實際是否觸摸虛擬按鈕或者其是否僅僅遮擋虛擬按鈕，并且其不能辨別遮擋(或觸摸)是手指(指尖)有意進行的還是由其他對象(例如袖邊)無意導(dǎo)致的。
[0004]存在以下常見的方法來檢測人體的至少部分與對象之間的觸摸。最常見的方法是為對象或人體(例如指尖)物理地配備能夠感測觸摸的傳感器。這可以是從簡單的機械開關(guān)到觸摸板或觸摸屏的任意機構(gòu)。其例如也可基于在觸摸真實對象時被施加到身體的電壓并且使電路閉合。這類方法的限制在于其需要對對象或人體進行修改。
[0005]如果身體部位(例如手)相對于對象的姿態(tài)是已知的，則也能檢測到觸摸。存在旨在跟蹤手指或手的姿態(tài)的許多方法。這些方法可基于用于感測可見光和/或深度的一個或多個相機，例如使用渡越時間相機或者基于紅外結(jié)構(gòu)化光的主動立體相機。還存在方法來為用戶的手配備傳感器例如慣性傳感器以感測手的姿態(tài)。所有這些方法的限制在于所確定的手或手指的姿態(tài)精確度太低，從而不能可靠地判定手指是否觸摸到真實對象或者其是否僅僅非?？拷鎸崒ο?例如與對象相距2mm)。
[0006]參考文獻[4,5]中所描述的其他方法(諸如上面提到的Vuforia SDK中的虛擬按鈕)并非用于檢測觸摸，而是用于檢測遮擋，從而導(dǎo)致許多限制。虛擬按鈕需要具有允許穩(wěn)健地識別出按鈕是否被遮擋的某個尺寸。例如將一張A4紙細(xì)分成每個尺寸為ImmX 1mm的 297 X 210個虛擬按鈕的網(wǎng)格將是不可行的。這將虛擬按鈕的應(yīng)用限于不要求精確的連續(xù)位置輸入而只是要求離散按鈕觸發(fā)的任務(wù)。此外，這些虛擬按鈕需要具有與手指的視覺外觀不同的視覺外觀，使得可識別遮擋。由于這些方法檢測遮擋而非觸摸，因此導(dǎo)致另一嚴(yán)重限制，這將在下文中以數(shù)字鍵為例進行討論。利用虛擬按鈕不可能觸發(fā)數(shù)字鍵上的一系列相鄰按鈕中的一個按鈕(例如數(shù)字5)，而在之前不觸發(fā)任何其他按鈕，這是因為不可能在不遮擋任何周圍按鈕的情況下觸及按鈕數(shù)字5。這便對虛擬按鈕的布局提出了嚴(yán)苛的約束。此夕卜，在觸摸或遮擋數(shù)字鍵上的按鈕數(shù)字5時，手還將同時遮擋其他按鈕。在參考文獻[5]中，作者提出了通過在多個按鈕被遮擋的情況下只考慮左上角的按鈕來解決這個問題，但這是非常探試性且不可靠的方法。
[0007]在參考文獻[6]中描述了氣息跟蹤用戶接口系統(tǒng)和方法，其中其實施方案涉及用于控制計算機系統(tǒng)的用戶接口，并且更具體地涉及跟蹤用戶呼吸的氣息以向計算機程序提供控制輸入的用戶接口。該氣息跟蹤是基于熱紅外成像來實現(xiàn)的。
[0008]在參考文獻[7]中描述了一種使用熱成像的用戶接口系統(tǒng)和方法。其描述了一種用戶接口，該用戶接口基于利用一個或多個熱成像相機獲得一個或多個對象的一個或多個熱紅外圖像、分析熱紅外圖像、從熱紅外圖像中識別對象的特征、并將所述特征用作計算機程序中的控制輸入。該對象是用戶并且該特征是生命信號。
[0009]參考文獻[8]公開了一種被動式紅外感測用戶接口以及使用該被動式紅外感測用戶接口的設(shè)備。設(shè)備包括用于用戶接口的被動式紅外傳感器。當(dāng)用戶將其手指放置在該紅外傳感器上方時，該傳感器生成用于指示用戶手指在傳感器上方的時間、位置、或移動的數(shù)字信號。用戶手指不需要觸摸或按壓紅外傳感器，但其可用于非觸摸式用戶接口。
[0010]本發(fā)明的一個目的是提供可在不使用觸摸屏的情況下實施并且不提供上述缺陷的一種用于檢測第一對象和第二對象之間的觸摸的方法和設(shè)備。
[0011]根據(jù)一個方面，提供了一種檢測第一對象的至少部分與第二對象的至少部分之間的觸摸的方法，其中第一對象的至少部分相比于第二對象的至少部分具有不同的溫度，該方法包括以下步驟:提供第二對象的一部分的至少一個熱圖像;在至少一個熱圖像的至少部分中確定用于指示特定溫度值或溫度范圍或者特定溫度變化值或溫度變化范圍的圖案；以及使用所確定的圖案以用于檢測第一對象的至少部分與第二對象的至少部分之間的觸摸。
[0012]更具體地，通過確定圖案，檢測從第一對象或第二對象中的一者轉(zhuǎn)移到第一對象或第二對象中的相應(yīng)另一者的熱能。有利地，以這種方式檢測在第一對象或第二對象中的一者被相應(yīng)的另一對象(例如人體，諸如手指)觸摸之后其表面所發(fā)射的熱能(諸如熱輻射)，而不是如現(xiàn)有技術(shù)中那樣試圖檢測對象(即身體或手指)本身。
[0013]例如，第一對象是人體的至少部分。第二對象原則上可為真實環(huán)境中的任何對象。
[0014]利用本發(fā)明，人體的至少部分與至少一個對象之間的至少一個觸摸可通過檢測由表面的發(fā)生至少一個觸摸的那些部分處的至少一個所捕獲的對象發(fā)射的紅外范圍中的輻射而被確定。為了捕獲熱圖像，可使用熱相機諸如紅外熱成像相機。
[0015]本發(fā)明例如支持增強現(xiàn)實(AR)領(lǐng)域中以及涉及人機接口(特別是有形用戶接口)的其他領(lǐng)域中的許多有用的應(yīng)用。
[0016]有利地，利用本發(fā)明可準(zhǔn)確地確定真實對象的表面是否實際被觸摸還是僅僅被遮擋(或者被接近但未觸摸)。這可區(qū)分(有意進行的)人體導(dǎo)致的觸摸或遮擋與(可能無意發(fā)生的)其他任何東西的觸摸或遮擋。能夠精確地對觸摸進行定位并且能夠在觸摸事件發(fā)生之后(即，即使在觸摸時不存在任何相機、計算機或其他任何東西)對觸摸事件進行識別。
[0017]根據(jù)一個實施方案，第二對象的至少部分和第二對象的一部分可重疊或可不重疊。第二對象的觸摸部分或被觸摸部分可能在至少一個熱圖像中未被捕獲，因為其可能被第一對象遮擋(如例如下文更詳細(xì)描述的圖3中所示的)。因此，術(shù)語“第二對象的至少部分”代表第二對象的觸摸部分或被觸摸部分，并且術(shù)語“第二對象的一部分”代表第二對象的被成像部分。例如，第二對象的至少部分可位于薄對象的正面上，而第二對象的一部分位于該薄對象的背面上。這在下文也將更詳細(xì)地變得顯而易見。
[0018]根據(jù)一個實施方案，該方法還包括在熱圖像中確定所檢測到的觸摸的位置、尺寸、取向、方向、軌跡、或形狀。
[0019]根據(jù)另一實施方案，該方法還包括將所檢測到的觸摸作為輸入提供給機器接口程序，其中所檢測到的觸摸改變機器接口程序中的狀態(tài)。例如，機器接口程序是可例如在移動設(shè)備(諸如智能電話、平板電腦、可穿戴計算機、或頭戴式設(shè)備)中使用的人機接口的一部分。
[0020]根據(jù)一個實施方案，確定圖案包括確定在至少一個熱圖像中的不同位置處測量的溫度之間的一個或多個差異。
[0021]根據(jù)另一實施方案，確定圖案包括計算熱圖像中的溫度相對于位置的一階導(dǎo)數(shù)或二階導(dǎo)數(shù)。
[0022]例如，確定圖案包括計算熱圖像中的溫度相對于時間的一階導(dǎo)數(shù)或二階導(dǎo)數(shù)。
[0023]根據(jù)一個實施方案，確定圖案包括確定用于指示第一對象和第二對象的相應(yīng)溫度的至少兩個溫度區(qū)間之間的溫度分布。
[0024]例如，該方法還包括確定區(qū)間中的第一區(qū)間是否顯示出溫度的第一次升高，之后是否顯示出比第一次升高更急劇的第二次升高，并且確定區(qū)間中的第二區(qū)間是否顯示出溫度的第一次降低，之后是否顯示出比第一次降低較不急劇的第二次降低。
[0025]該方法可進一步包括計算至少一個熱圖像中的溫度的柱狀圖并使用該柱狀圖作為基礎(chǔ)來限定第一區(qū)間和第二區(qū)間中的至少一者以及被確定用于檢測觸摸的所述第一區(qū)間和第二區(qū)間之間的區(qū)間。
[0026]該方法還可包括使用溫度計獲得對空氣或環(huán)境的溫度的測量作為基礎(chǔ)來限定第一區(qū)間和第二區(qū)間中的至少一者以及被確定用于檢測觸摸的所述第一區(qū)間和第二區(qū)間之間的區(qū)間。
[0027]該方法還可包括(例如從服務(wù)器、數(shù)據(jù)庫、或分布式網(wǎng)絡(luò)服務(wù))獲得關(guān)于當(dāng)前天氣情況的信息作為基礎(chǔ)來限定第一區(qū)間和第二區(qū)間中的至少一者以及被確定用于檢測觸摸的所述第一區(qū)間和第二區(qū)間之間的區(qū)間。
[0028]根據(jù)一個實施方案，確定圖案包括確定至少一個熱圖像中的至少一個樣本線的溫度分布，該至少一個樣本線可在熱圖像內(nèi)具有任意取向。
[0029]根據(jù)另一實施方案，確定圖案包括確定熱圖像中的滿足對其尺寸和/或平均溫度的一個或多個約束的群集(諸如團塊)。
[0030]根據(jù)一個實施方案，該方法包括提供包括第二對象的一部分的至少兩個熱圖像的熱圖像序列。
[0031]例如，確定圖案包括確定所至少兩個熱圖像之間的溫度變化以及確定所述變化是否高于所限定的第一閾值和/或低于所限定的第二閾值。
[0032]根據(jù)另一實施方案，確定圖案包括確定至少兩個熱圖像之間的溫度的導(dǎo)數(shù)以及確定該導(dǎo)數(shù)是否高于所限定的第一閾值和/或低于所限定的第二閾值。
[0033]根據(jù)一個實施方案，確定圖案包括確定至少兩個熱圖像之間的第一溫度變化和至少兩個熱圖像之間的第二溫度變化，并使用第一變化和第二變化以及第一變化和第二變化的導(dǎo)數(shù)來檢測觸摸。
[0034]根據(jù)一個實施方案，該方法還包括由可見光相機和提供所述至少一個熱圖像的熱相機來對第二對象的一部分成像;提供可見光相機與熱相機之間的第一空間變換;提供可見光相機與第二對象的被成像部分之間的第二空間變換;將第一空間變換和第二空間變換聯(lián)結(jié)，從而得到第二對象的被成像部分的坐標(biāo)系與熱相機的坐標(biāo)系之間的第三空間變換； 以及基于第三空間變換來確定熱相機在第二對象的被成像部分的坐標(biāo)系中的位置和取向。
[0035]例如，該方法還可包括確定觸摸在至少一個熱圖像中的位置，其中通過將源自被變換到第二對象的被成像部分坐標(biāo)系的熱相機的原點的并且指向所檢測到的觸摸在熱相機的像平面上的位置的射線與第二對象的被成像部分的模型相交來確定觸摸在第二對象的被成像部分的坐標(biāo)系中的位置，其中該相交被用于觸發(fā)位置處的觸摸事件。
[0036]有利地，該方法被應(yīng)用作為增強現(xiàn)實應(yīng)用中的人機接口的一部分。例如，檢測觸摸包括檢測用戶的部位在虛擬信息被顯示給用戶的位置處觸摸第二對象的至少一部分，其中在檢測到觸摸時，該虛擬信息被操控。
[0037]該方法可在使用視頻穿透設(shè)置、光學(xué)穿透設(shè)置、或投影AR設(shè)置的應(yīng)用內(nèi)被使用。特別地，該方法與不包括觸摸屏界面的硬件設(shè)置一起使用。
[0038]根據(jù)另一方面，公開了一種用于檢測第一對象的至少部分與第二對象的至少部分之間的觸摸的設(shè)備，其中第一對象的至少部分相比于第二對象的至少部分具有不同的溫度，該設(shè)備包括適于接收第二對象的一部分的至少一個熱圖像的圖像信息的處理設(shè)備，該處理設(shè)備被配置為在至少一個熱圖像的至少部分中確定用于指示特定溫度值或溫度范圍或者特定溫度變化值或溫度變化范圍的圖案，并且該處理設(shè)備被配置為使用所確定的圖案以用于檢測第一對象的至少部分與第二對象的至少部分之間的觸摸。[〇〇39]根據(jù)一個實施方案，該處理設(shè)備與用于提供至少一個熱圖像的熱相機進行通信， 其中該處理設(shè)備和所熱相機中的至少一者在頭戴式顯示器或投影儀中被實施，或者與該頭戴式顯示器或投影儀相關(guān)聯(lián)，以用于執(zhí)行基于投影儀的增強現(xiàn)實。
[0040]本文針對方法所描述的所有實施方案和示例同樣可由被(軟件和/或硬件)配置為執(zhí)行相應(yīng)步驟的處理設(shè)備來實施。所使用的任何處理設(shè)備可經(jīng)由通信網(wǎng)絡(luò)(例如經(jīng)由服務(wù)器計算機或點到點通信)與熱相機和/或其他部件(諸如可見光相機)或與服務(wù)器計算機進行通信。
[0041]例如，處理設(shè)備(可以是部件或分布式系統(tǒng))至少部分地被包括在與熱相機相關(guān)聯(lián)的移動設(shè)備中，和/或被包括在適于與熱相機進行遠(yuǎn)程通信的計算機設(shè)備(諸如適于與熱相機或與熱相機關(guān)聯(lián)的移動設(shè)備進行通信的服務(wù)器計算機)中。根據(jù)本發(fā)明的系統(tǒng)可被包括在這些設(shè)備中的僅一個設(shè)備中或者可以是分布式系統(tǒng)，在該分布式系統(tǒng)中，一個或多個處理任務(wù)是分布式的并且由例如通過點對點通信或經(jīng)由網(wǎng)絡(luò)彼此通信的一個或多個部件進行處理。
[0042]根據(jù)另一方面，本發(fā)明還涉及包括軟件代碼段的計算機程序產(chǎn)品，該軟件代碼段適于執(zhí)行根據(jù)本發(fā)明所述的方法。具體地，該軟件代碼段被包含在非暫態(tài)計算機可讀介質(zhì)上。該軟件代碼段可被加載到本文所述的一個或多個處理設(shè)備的存儲器中。任何所使用的處理設(shè)備可經(jīng)由通信網(wǎng)絡(luò)例如經(jīng)由本文所述的服務(wù)器計算機或點到點通信進行通信。
[0043]現(xiàn)將相對于附圖來描述本發(fā)明的各個方面和實施方案，其中:
[0044]圖1示出了根據(jù)本發(fā)明的實施方案的方法的流程圖，
[0045]圖2示出了可結(jié)合本發(fā)明使用的被映射到灰度以供可視化的熱圖像的示例，
[0046]圖3示出了用于基于利用紅外熱成像技術(shù)感測的從一個對象轉(zhuǎn)移到另一對象的熱能來確定這兩個對象之間的觸摸的本發(fā)明的另一實施方案，
[0047]圖4示出了與圖2所示類似但已被離散化且以等值線來顯示的熱圖像，
[0048]圖5示出了根據(jù)本發(fā)明的實施方案的紅外熱圖像序列，
[0049]圖6示出了本發(fā)明的示例性實施方案，其中真實對象由可見光相機和紅外熱相機成像，
[0050]圖7示出了可用作增強現(xiàn)實應(yīng)用中的人機接口的本發(fā)明的實施方案，
[0051]圖8示出了根據(jù)本發(fā)明的實施方案的紅外熱圖像序列，其中第一對象在觸摸期間在第二對象的表面上方移動，
[0052]圖9示出了本發(fā)明上下文中的兩個示例性硬件設(shè)置。
[0053]雖然下文參考某些部件描述了各種實施方案，但在實施這些實施方案中的任何實施方案時，也可使用本文所述或?qū)Ρ绢I(lǐng)域技術(shù)人員顯而易見的部件的任何其他配置。
[0054]在下文中，描述了實施方案和示例性場景，它們不得被理解為限制本發(fā)明。
[0055]在一個示例性情景中，人體的至少部分與對象之間的觸摸導(dǎo)致熱能從人體的至少部分轉(zhuǎn)移到對象。該熱能然后導(dǎo)致發(fā)射紅外范圍的輻射。這可使用紅外熱成像相機進行感測并且可用作人機接口，尤其是用于檢測觸摸并因此觸發(fā)觸摸事件。
[0056]圖1示出了根據(jù)本發(fā)明的實施方案的方法的流程圖。在第一步驟101中，提供對象或環(huán)境的至少一個熱圖像(例如紅外熱圖像)。在第二步驟102中，如果存在，來源于人體的至少部分與對象或環(huán)境之間的至少一個觸摸的輻射被自動檢測到。如果可檢測到來源于至少一個觸摸的輻射(步驟103)，則觸發(fā)至少一個觸摸事件(步驟104)。否則，方法退出(步驟105)。
[0057]本發(fā)明能夠區(qū)分多種情形。本發(fā)明得這個實施方案的一般性假設(shè)是真實對象具有與人體溫度不同的溫度，人體溫度通常在36.5°C左右。只有在人體的部位(例如指尖)實際觸摸真實對象的情況下，才將在它們觸摸的區(qū)域處將足夠的熱能轉(zhuǎn)移到真實對象，使得利用熱成像相機能夠清楚地測量由對象在紅外范圍中發(fā)射的所導(dǎo)致的輻射。任選地，本發(fā)明可被實施為使得只有在觸摸真實對象的實體具有與36.5°C類似的溫度的情況下才將檢測到觸摸。熱成像相機可以低成本獲得，并且當(dāng)前以及在不久的將來隨處可見，例如參見[I]。
[0058]圖2示出了可結(jié)合本發(fā)明使用的熱圖像的一個示例。具體地，圖2通過熱圖像示出手。手可與背景清楚地區(qū)分開，因為其具有更高的溫度。當(dāng)指尖觸摸表面202時，指尖將熱能傳遞到該表面。一旦指尖移走，這在熱相機圖像上作為表面上的溫?zé)嶂讣y(斑點204)而變得可見。圖2示出了映射到灰度以供可視化的熱圖像201。在這個示例中，場景(表面)202具有比手203低的溫度。還可看見相對于其余場景溫度更高的斑點204，這指示手不久前觸摸該場景的位置。條208顯示從單位為攝氏度的溫度向灰度的映射，以用于更好的理解。通過檢測此類溫?zé)岬闹讣y，可識別出不久前發(fā)生了手與表面之間的觸摸。此外，該觸摸的位置可在熱成像相機的圖像中被準(zhǔn)確地確定。通過檢測在觸摸附近被傳遞到表面的熱來在觸摸發(fā)生時確定觸摸也是可能的，參見圖3。
[0059]如上所述，紅外熱成像圖像允許檢測用戶在任意的未修改的真實對象上的觸摸， 該真實對象然后可用作(有形)用戶交互設(shè)備。除了熱成像相機之外，本方法的一個示例性應(yīng)用將使用可視光相機，從而支持增強現(xiàn)實體驗，如圖6和圖7所示。
[0060]例如，用戶將真實對象握在手中，這在可視光相機圖像中被定位。在這個對象上存在虛擬按鈕，該虛擬按鈕在這個示例中作為灰色區(qū)域被打印到真實對象上。同一場景的熱圖像顯示出由人體的部位(指尖)觸摸對象所導(dǎo)致的溫?zé)岬闹讣y。觸摸的位置可在熱相機圖像中被定位。因為可視光相機相對于熱相機被校準(zhǔn)并且相對于可視光相機該真實對象的形狀、位置和取向是已知的，所以觸摸的位置可被變換到真實對象的坐標(biāo)系。
[0061]可執(zhí)行相對于該觸摸事件的3D位置的任何所需的動作，諸如觸發(fā)在觸摸的位置處位于真實對象上的虛擬按鈕。觸摸事件然后可影響增強現(xiàn)實應(yīng)用，該增強現(xiàn)實應(yīng)用顯示空間對準(zhǔn)地疊置在可見光相機的實時圖像反饋上的虛擬內(nèi)容。在所述示例中，觸摸將改變按鈕的可視化，并且還改變剛性附接到真實對象并代表虛擬顯示的虛擬對象的狀態(tài)。
[0062]本發(fā)明可在除了改變相機或真實對象的位置和取向之外的還需要交互的任何增強現(xiàn)實應(yīng)用中使用。如果應(yīng)用需要選擇真實對象的表面上的一個或多個位置，則這特別有用。其可用于視頻穿透設(shè)置、光學(xué)穿透設(shè)置、或投影AR設(shè)置。本發(fā)明適用于手持式AR應(yīng)用，但對于不包括觸摸屏界面的硬件設(shè)置(諸如頭戴式顯示器或基于投影儀的AR)這是特別令人關(guān)注的。其可在許多不同應(yīng)用中使用，例如基于跟蹤印刷材料諸如雜志或書本來直接點擊廣告或圖像以例如啟動視頻的所有應(yīng)用。其還可在維護應(yīng)用中使用，其中工人通過簡單地用其手指觸摸汽車上油漆工作的缺陷來對其進行標(biāo)記，以供隨后進行檢驗。本發(fā)明實現(xiàn)了非常直觀且有形的人機交互方式，而不需要修改進行交互的真實對象，也不需要將硬件附接到用戶的手上。
[0063]根據(jù)本發(fā)明的實施方案存在不同的方法來確定對象由于與溫度不同的對象的觸摸(即直接接觸)而具有的熱能。
[0064]使得能夠在這兩個對象仍然彼此觸摸的同時檢測觸摸的一種方法是基于根據(jù)熱相機圖像測量得到的熱分布梯度。不進行觸摸的具有不同溫度的兩個對象之間的轉(zhuǎn)變是突變的并且因此具有很強的梯度，而這兩個對象之間的觸摸(即物理接觸)附近的轉(zhuǎn)變變得更平滑，從而得到更大區(qū)域中的不那么強的梯度。這結(jié)合圖3進一步解釋。
[0065]可在接觸發(fā)生之后應(yīng)用的用于確定具有不同溫度的兩個對象的觸摸的另一種方法是定位熱圖像中的滿足關(guān)于其尺寸和平均溫度的某些約束的群集或團塊。例如，如果這兩個對象的溫度大致已知，則方法可定位其溫度對應(yīng)于具有給定容差的兩個已知溫度的平均值的群集或團塊。被認(rèn)為來源于觸摸的群集或團塊的尺寸例如可限于一個固定的像素范圍(例如，半徑應(yīng)至少為5個像素且不多于50個像素)。對于在熱圖像中考慮的群集或團塊的尺寸的約束還可源于熱圖像中的或者捕獲這兩個對象中的一個對象的至少部分的第二相機的圖像中的對象中的一個對象的尺寸。這在圖4中進一步解釋。
[0066]根據(jù)實施方案的方法可確定意外地具有局部溫度變化的對象上的觸摸，其可被識別為上文所述的熱圖像中的團塊，但實際上并非由觸摸引起。一種區(qū)分觸摸與某溫度的靜態(tài)團塊的方法是隨著時間推移測量點的溫度的多個樣本，如下文中將描述的那樣。
[0067]用于確定具有不同溫度的兩個對象的觸摸的第三種方法是基于這些對象中的至少一個對象的至少部分的至少兩個熱圖像。這個方法的假設(shè)是大多數(shù)對象如果不與溫度明顯不同的其他對象接觸只會非常緩慢地改變溫度。在假定靜態(tài)熱相機的情況下，單個像素將代表環(huán)境中的點的溫度。以例如0.5秒為間隔取三個樣本，如果環(huán)境在這個時間期間沒有改變，則所測得的溫度將非常相似。如果有溫度與該場景的溫度不同的對象移動通過該場景，則這三個樣本可能具有非常不同的溫度，因為它們實際上并非測量的是場景中單個點的溫度，而相反在這些樣本中的至少一個樣本中，它們測量的是移動對象的溫度。非?？斓臏囟茸兓ǔＪ怯捎诒痪哂胁煌瑴囟鹊膶ο笳趽酢Ｈ绻煌瑴囟鹊膬蓚€對象觸摸，則它們觸摸的區(qū)域?qū)⒏淖兤錅囟龋缓缶徛貢匣氐接|摸之前的初始溫度。因此，對于與環(huán)境中的不久前發(fā)生了觸摸的點對應(yīng)的像素，表現(xiàn)出溫度的緩慢但能夠清楚測量到的降低或升高。平滑的溫度變化可指示不久前在被采樣位置處發(fā)生了兩個對象之間的觸摸。上述相同的概念也可適用于移動相機(例如在相機與這兩個對象中的一個對象之間存在移動)。在這種情況下，可能需要跟蹤方法來確定相機相對于這兩個對象中的一個對象的運動或者確定相機與這兩個對象中的一個對象之間的空間關(guān)系。這允許即使在相機或?qū)ο蟀l(fā)生移動的情況下也能在不同時間點處對對象上的同一點的溫度進行采樣。
[0068]例如，小于1°C或I °C/s的任何溫度變化可被歸類為是靜態(tài)的，大于8°C或8°C/s的任何溫度變化可被歸類為是由于遮擋導(dǎo)致的，并且介于這兩個值之間的任何溫度變化可被歸類為可能是由于觸摸導(dǎo)致的。如果為每個像素或為對象上的多個樣本執(zhí)行歸類，則可找到被歸類為可能是由于觸摸導(dǎo)致的樣本的空間群集(或團塊)。如果這些群集滿足某些約束(例如關(guān)于其最小尺寸或平均溫度的約束)，則認(rèn)為檢測到觸摸。
[0069 ]根據(jù)溫度變化(即溫度改變)確定觸摸的任何實施方案可使用至少一個溫度差(例如:TC)或至少一個溫度導(dǎo)數(shù)(例如3°C/s)。該至少一個溫度差可以是熱圖像坐標(biāo)系中的不同位置處的或?qū)ο?例如第二對象)的坐標(biāo)系中的不同位置處的溫度之間的差異。該至少一個溫度差可以是對于(熱圖像坐標(biāo)系中或?qū)ο笞鴺?biāo)系中)相同或不同位置在不同時間測量的溫度之間的差異。
[0070]該至少一個溫度導(dǎo)數(shù)可以是溫度相對于時間的一階導(dǎo)數(shù)(例如3°C/s)或相對于熱圖像中的位置的一階導(dǎo)數(shù)(例如3°C/像素)或相對于對象坐標(biāo)系中的位置的一階導(dǎo)數(shù)(例如3°C/mm)。類似地，可使用二階導(dǎo)數(shù)或任何更高階導(dǎo)數(shù)?？筛鶕?jù)至少一個溫度差來確定相對于任何維度(例如時間、位置)的任意階的溫度導(dǎo)數(shù)。可能還需要時間差或位置差來確定溫度導(dǎo)數(shù)。
[0071]在根據(jù)溫度或溫度變化(變化可以是針對區(qū)域上的溫度分布，或者變化也可以是針對一位置或區(qū)域隨時間推移的溫度)確定觸摸(可能性)的過程中使用的閾值、標(biāo)度或其他參數(shù)可例如得自代表熱圖像中溫度分布的柱狀圖、關(guān)于場景或?qū)ο?的至少部分)及其溫度的預(yù)先了解、場景或?qū)ο蟮闹辽俨糠值臒釋?dǎo)率、利用(電子)溫度計測得的空氣溫度、關(guān)于當(dāng)前天氣情況的信息，或者可例如借助于用作確定場景或?qū)ο蟮奶匦?諸如熱導(dǎo)率)的基礎(chǔ)的光譜儀來得到。給定示例性觸摸，這些參數(shù)也可以監(jiān)督方式獲知。
[0072]需注意，在非靜態(tài)相機和/或非靜態(tài)場景或?qū)ο蟮那闆r下，存在多種方法來跟蹤對象相對于相機的位置和取向。這些跟蹤方法可基于由熱圖像獲得的信息，其可使用利用熱相機或者對對象的至少部分成像的第二相機捕獲的信息，或者其可基于任何其他機械、電磁、聲學(xué)、或光學(xué)跟蹤系統(tǒng)。這使得即使在相機或?qū)ο蟀l(fā)生移動的情況下也可在不同時間點對對象上的同一點的溫度進行采樣。
[0073]—般來講，將溫度樣本歸類為指示發(fā)生觸摸的點可基于所測得的溫度、或者所測得的溫度相對于時間的一階導(dǎo)數(shù)、或者溫度相對于時間的二階導(dǎo)數(shù)。其還可基于溫度相對于相機坐標(biāo)系或?qū)ο笞鴺?biāo)系中的位置的一階導(dǎo)數(shù)或二階導(dǎo)數(shù)?；谙惹皽y量的任意組合的歸類也是本發(fā)明的一個優(yōu)選實施方案。局部歸類結(jié)構(gòu)(例如按每個像素)的結(jié)果例如借助于中值濾波、均值濾波、擴張、侵蝕、或聚類可被進一步處理。
[0074]在下文中將參考圖3至圖5中的圖示來闡述本發(fā)明及其實施方案。
[0075]圖3示出了本發(fā)明的另一實施方案的用于基于利用紅外熱成像技術(shù)感測的從一個對象轉(zhuǎn)移到另一對象的熱能來確定這兩個對象之間的觸摸。以等值線示出了包括低溫的第二對象302和更高溫度的第一對象303(例如手)的熱成像圖像301 (左圖)。這個圖像的行304 的溫度被繪制在溫度分布曲線305中。該行開始于大約20度的溫度(樣本306)，這是第二對象的溫度。然后，在向第一對象303轉(zhuǎn)變時，溫度陡然升高到第一對象的溫度，在這個示例中第一對象具有大約36度的溫度(樣本307)。當(dāng)該行再次對第二對象302進行采樣時，溫度快速地降低回到第二對象的原始溫度(樣本308)。這個溫度分布曲線指示這兩個對象并未直觸摸碰，即它們并未彼此觸摸。
[0076]右邊的熱圖像311同樣示出了具有不同溫度的第二對象312和第一對象313。等值線可視化進一步示出了溫度在這兩個對象的溫度之間的區(qū)域314。在溫度分布曲線316中觀察沿行315的溫度，第一樣本317對應(yīng)于第一對象及其溫度。區(qū)間318顯示溫度的平滑升高， 然后陡然升高進入與第二對象及其溫度對應(yīng)的區(qū)間319。在陡然的溫度降低之后，區(qū)間320 顯示出溫度平滑地降低到第一對象的溫度，第一對象在區(qū)間321中被采樣。這個溫度分布 (尤其是在區(qū)間318和320中的溫度分布)指示由于第一對象和第二對象之間的直觸摸碰(即觸摸)而導(dǎo)致的這兩者之間的熱能傳遞。
[0077]根據(jù)圖3的實施方案能夠在觸摸實際正在發(fā)生時檢測觸摸，例如通過分別檢測區(qū)域314和區(qū)間318-320來進行檢測。
[0078]在根據(jù)圖3的實施方案中，第二對象的觸摸第一對象的至少部分和第二對象的在至少一個熱圖像中可見的一部分不重疊。因為手指(即第一對象)在這種情況下遮擋第二對象的觸摸第一對象的至少部分，所以紅外熱圖像不對該部分成像。相反，在這種情況下對觸摸的確定基于確定第二對象的另一部分(特別是至少一個熱圖像中的與第一對象的至少部分相鄰的被成像區(qū)域(特別是至少一個熱圖像中的第一對象的至少部分周圍的被成像區(qū)域，例如與第一對象的觸摸第二對象的至少部分相鄰的區(qū)域，在這里是指尖周圍的區(qū)域)) 和第一對象(例如手指)的一部分的至少一個熱圖像中的圖案。
[0079]此外，在根據(jù)圖3的實施方案中，第二對象的觸摸第一對象的至少部分可(部分地) 在捕獲至少一個熱圖像的(紅外)熱相機的視野之外。
[0080]本發(fā)明的實施方案可使用熱圖像中的至少一個樣本線的溫度分布來確定觸摸。如 304和315那樣，樣本線不必是圖像行，而是可具有任意取向。它們可在圖像中隨機采樣，它們可均勻分布采樣，或者它可使用指尖跟蹤結(jié)果作為輸入并選擇采樣線使其與指尖相交并且正交于手指方向。
[0081]還可能的是基于熱圖像使用監(jiān)督式機器學(xué)習(xí)技術(shù)諸如決策樹、集成、裝袋、提升、 隨機森林、k-NN、線性回歸、樸素貝葉斯、神經(jīng)網(wǎng)絡(luò)、邏輯回歸、感知器、或支持向量機(SVM) 來確定觸摸，其中利用顯示觸摸的熱圖像和其中沒有任何兩個不同溫度的對象彼此觸摸的熱圖像對這些監(jiān)督式機器學(xué)習(xí)技術(shù)進行訓(xùn)練。
[0082]圖4示出了已被離散化并利用等值線(也被稱為輪廓線)顯示的熱圖像401。還示出了在熱圖像中存在的溫度的柱狀圖402。在等值線可視化中并且在柱狀圖的水平軸線處標(biāo)示的所有兩位數(shù)是指單位為攝氏度(°C)的溫度。在熱圖像401中，所標(biāo)記的溫度是指在圖像的某個區(qū)域中的平均離散溫度。圖1像中的線表示不同溫度之間的邊界。熱圖像捕獲人手403(例如作為第一對象)、來源于手指與環(huán)境之間的觸摸的溫?zé)岚唿c404、和環(huán)境410(例如作為第二對象)。環(huán)境在這個示例中具有19攝氏度至21攝氏度的溫度，而手具有36攝氏度的溫度。柱狀圖402顯示熱圖像中常發(fā)生的溫度范圍的兩個峰，其中第一個峰405對應(yīng)于環(huán)境，并且第二個峰406對應(yīng)于手即人體。
[0083]從這單個熱圖像識別并定位觸摸的一種可能的方法將要使用這個柱狀圖作為基礎(chǔ)來限定與環(huán)境(例如第二對象)410的溫度對應(yīng)的溫度區(qū)間407、與人手(例如第一對象)403的溫度對應(yīng)的區(qū)間409、和應(yīng)當(dāng)包括觸摸溫度的這兩者之間的區(qū)間408。然后可例如借助于團塊檢測例如使用高斯拉普通拉斯(LoG)、高斯差(DoG)、海森行列式(DoH)、或最大穩(wěn)定極值區(qū)域(MSER)在熱圖像中只考慮溫度落入觸摸區(qū)間408中并且具有合理尺寸的團塊來檢測實際觸摸。所預(yù)期的團塊尺寸可取決于從熱圖像確定的指尖的尺寸、手指的尺寸、或手的尺寸。與下面在圖5中所述的實施方案不同，這個實施方案可以是基于單個熱圖像而不是熱圖像序列。此外，這個實施方案評估溫度的絕對值，而不是如其他實施方案中那樣評估溫度變化、梯度或?qū)?shù)。
[0084]所檢測到的觸摸的位置可通過在熱圖像401中定位在柱狀圖402中通過團塊檢測確定為在觸摸區(qū)間408中的溫度或溫度范圍來進行確定。在本示例中，通過在圖像401中搜索溫度為27°C的群集來定位溫?zé)岚唿c404將是可能的，因為團塊是在柱狀圖402的區(qū)間408中在溫度27°C檢測到的。
[0085]在根據(jù)圖4的實施方案中，第二對象的觸摸第一對象的至少部分與第二對象的在至少一個熱圖像中可見的一部分重疊。圖案確定基于“第二對象的至少部分”的觸摸第一對象的至少部分的溫度。
[0086]圖5示出了紅外熱圖像501-505的序列，其中小于或等于環(huán)境溫度的溫度被顯示為黑色，并且大于環(huán)境溫度的溫度被顯示為白色。在整個這個序列中，手在環(huán)境前面移動(圖像501，502)直到到達觸摸位置(圖像503)，然后再次移走(圖像504，505)，從而在手觸摸環(huán)境的位置處留下白色斑點。在圖像501-505中有三個區(qū)域，被標(biāo)記和標(biāo)示為區(qū)域A、區(qū)域B和區(qū)域C。圖506示出了在圖像501-505的序列期間區(qū)域A的溫度曲線，圖507示出了區(qū)域B的相應(yīng)溫度曲線，并且圖508示出了區(qū)域C的相應(yīng)溫度曲線。這些圖包括以比圖像501-505所示更高的采樣率的溫度。與相應(yīng)圖像501-505對應(yīng)的樣本利用叉字形記號來指示。
[0087]在區(qū)域A(圖506)中，溫度在整個序列中始終為低，因為這個區(qū)域只捕獲環(huán)境。在區(qū)域B(圖507)中，一旦捕獲手而非環(huán)境，我們便觀察到溫度的陡然降低509。類似地，一旦手離開區(qū)域B并且該區(qū)域再次捕獲環(huán)境，我們便在該區(qū)域中觀察到溫度的急劇降低510。區(qū)域C對應(yīng)于熱圖像的發(fā)生手與環(huán)境之間的觸摸的區(qū)域。同樣，在圖508的開始處，在捕獲環(huán)境期間，溫度低并且一旦手進入該區(qū)域我們便觀察到急劇降低511。當(dāng)其離開區(qū)域C時，我們觀察到溫度的小的急劇降低512，接著是在環(huán)境緩慢地發(fā)射出其在觸摸期間從手收集的熱能期間溫度的緩慢降低513。區(qū)域C的溫度曲線(尤其是降低512和降低513)是觸摸事件的特性，并且可用于將觸摸事件與遮擋(如區(qū)域B中)以及環(huán)境(如區(qū)域A中)區(qū)分開。由此，可在熱圖像序列中識別和定位手(作為人體部位的示例以及第一對象的示例)與作為環(huán)境部分的第二對象之間的觸摸，并且熱圖像序列在這個實施方案中包括至少兩個熱圖像。
[0088]例如，可使用所確定的至少兩個熱圖像之間的溫度變化值來確定觸摸。溫度變化值是在兩個不同熱圖像(例如圖像503和504)處在區(qū)域C處測得的所述至少兩個溫度之間的差(例如3°C或_3°C)。如果這個值低于所限定的第一閾值和/或高于第二閾值，則確定有觸摸，否則確定沒有觸摸。
[0089]又如，可使用至少兩個熱圖像之間的溫度導(dǎo)數(shù)來確定觸摸。溫度導(dǎo)數(shù)可以是溫度相對于時間的一階導(dǎo)數(shù)。在不同時間處捕獲圖像501-505。溫度相對于時間的一階導(dǎo)數(shù)(例如6°C/s或_6°C/s)可根據(jù)兩個不同熱圖像的溫度變化值(例如3°C或_3°C)以及這兩個不同熱圖像的捕獲時間差(例如〇.5s)來確定。類似地，溫度導(dǎo)數(shù)可以是溫度相對于時間的二階或任意更高階的導(dǎo)數(shù)。如果導(dǎo)數(shù)低于所限定的第一閾值和/或高于第二閾值，則確定有觸摸，否則確定沒有觸摸。
[0090]根據(jù)一個實施方案，可計算多于一個變化。例如，可計算圖像503和504之間的第一變化以及圖像504和505之間的第二變化。第一變化和第二變化的值和導(dǎo)數(shù)可一起用于確定觸摸。在一個實施方案中，如果第一變化和第二變化的值類似(例如低于閾值)，則確定有觸摸。類似地，可使用第一變化和第二變化的導(dǎo)數(shù)。[〇〇91]在捕獲所示的熱圖像501-505之間的時刻可能不存在任何被捕獲的熱圖像或者被測得的溫度。在捕獲熱圖像501-505之間的時刻可能也存在一個或多個被捕獲的熱圖像或者被測得的溫度。
[0092]在根據(jù)圖5的實施方案中，第二對象的觸摸第一對象的至少部分與第二對象的在至少一個熱圖像中的可見的一部分重疊。圖案確定基于“第二對象的至少部分”的觸摸第一對象的至少部分的溫度。
[0093]圖6示出了本發(fā)明的示例性實施方案，其中真實對象601(在這個示例中是汽車)被可見光相機602和紅外熱相機603成像。在這個實施方案中，可檢測觸摸的3D位置。由這些相機所捕獲的各個圖像被圖示為子視圖，其中視圖604是由可視光相機602捕獲的圖像，并且視圖605顯示由紅外熱相機603捕獲的圖像。在這個配置中，假定這兩個相機602,603之間的空間6自由度(DoF)變換607(即平移和取向)是已知的?？苫诳梢姽庀鄼C602捕獲的圖像 604和真實對象的模型606來確定可見光相機602與對象601之間的空間6D〇F變換608。將變換607和608聯(lián)結(jié)，從而得到對象601的坐標(biāo)系與紅外熱相機603的坐標(biāo)系之間的變換?？紤]到這個聯(lián)結(jié)的變換，紅外熱相機603的位置和取向可在真實對象的坐標(biāo)系中進行表述。設(shè)置還可包括處理設(shè)備612,該處理設(shè)備例如在用戶穿戴或握持的移動設(shè)備、服務(wù)器計算機中或者在本文所述的任何相機中實施，或者其為分布式系統(tǒng)。其以有線或無線方式與相機602和 603進行通信。在沒有可見光相機的配置中，其可只與熱相機進行通信。其可通過硬件和/或軟件被配置為執(zhí)行本文所述的一個或多個任務(wù)。[〇〇94]可應(yīng)用一種方法來在由紅外熱相機603捕獲的圖像605中識別和定位觸摸609。該觸摸在對象坐標(biāo)系中的位置例如可通過將來源于變換到對象的坐標(biāo)系的紅外熱相機603的原點且指向觸摸609在像平面上的位置(也在對象坐標(biāo)系中表述)的射線610與對象模型(例如606)相交來確定。該交點611最后可用于觸發(fā)該位置處的觸摸事件。該觸摸事件然后例如可導(dǎo)致該3D位置被添加到包含汽車上的多個缺陷位置的數(shù)據(jù)庫(S卩，用戶觸摸汽車上的多個缺陷位置，使得在這個示例中，觸摸611(以及紅外熱圖像中的609)定位缺陷位置)。
[0095]在另一實施方案中，相機602是可附加地感測可見光的深度感測相機，例如渡越時間相機、被動立體相機、或基于紅外結(jié)構(gòu)化光的主動立體相機。在這種情況下，與所捕獲的圖像604相關(guān)聯(lián)的深度信息可用于基于真實對象的模型606來確定相機602與真實對象601之間的變換608。此外，深度信息(例如被表示為3D點云或3D三角網(wǎng)格)可用作在工作時間期間獲取的對象的模型606。在這種情況下，變換608將是任意的。在這個配置中，可在沒有任何對象先驗?zāi)Ｐ偷那闆r下在對象的坐標(biāo)系中確定觸摸的3D位置。因此，這個實施方案可處理任何事先未知的對象或環(huán)境。如果深度感測相機與可見光相機602之間的變換是已知的或者已被校準(zhǔn)，則深度感測相機也可以是與可見光相機物理分開的另一個相機。
[0096]圖7示出了本發(fā)明的方面可如何用作增強現(xiàn)實應(yīng)用中的人機接口的示例。應(yīng)當(dāng)指出的是，可使用本文所述的用于確定觸摸的任何方法，諸如參考圖3-6所述的那些方法。按被布置在不同列中的四個不同時間點(tl、t2、t3、t4)來顯示場景。對于每個時間點，由可見光相機捕獲的圖像被顯示在第一行中。第二行顯示利用紅外熱相機捕獲的對應(yīng)圖像，并且最后一行顯示增強現(xiàn)實(AR)視圖。AR視圖可例如借助于視頻穿透設(shè)置使用包括可見光相機、紅外熱相機、和顯示器的移動設(shè)備或頭戴式顯示器來實現(xiàn)。此外，其可基于光學(xué)穿透設(shè)置或投影AR設(shè)置。需注意，在這個示例中，假定可見光相機和紅外熱相機的圖像對齊，這例如可借助于分束器來實現(xiàn)。在這種情況下，圖6中的變換607將是恒等變換。
[0097]在第一時間點tl處，在相機圖像711中可看到有對象位于手的手掌中。紅外熱圖像721中的相同場景顯示手是溫?zé)岬?白色)，而圖像的其余部分是冷的(黑色)。在AR視圖731中，可見光相機圖像與虛擬信息一起被顯示，該虛擬信息與對象在空間上對準(zhǔn)疊置。在這種情況下，虛擬信息包括看起來如同打印到真實對象上的用于按鈕的標(biāo)簽以及頂部上的屏幕的用于顯示哪些按鈕被觸發(fā)的標(biāo)簽。通過在可見光相機圖像中執(zhí)行可視對象跟蹤來實現(xiàn)虛擬內(nèi)容與可見光相機圖像的空間對準(zhǔn)。
[0098]在第二時間點t2處，手指觸摸真實對象。在可見光相機捕獲的圖像712與紅外熱圖像722兩者中都不清楚手指實際是否觸摸對象。增強現(xiàn)實視圖732顯示與731中相同的虛擬信息，同樣與真實對象在空間上對準(zhǔn)，該真實對象在tl和t2之間移動并且被手部分遮擋。
[0099]在第三時間點t3處，手指從真實對象移走，這在可見光相機圖像713和紅外熱圖像723兩者中清楚可見。然而，紅外熱圖像723還顯示出對象上的溫?zé)岚唿c，這指示手指實際觸摸了對象。該觸摸根據(jù)本發(fā)明的實施方案(使用本文所述的任何方法)來被識別和定位，并且然后用于操控與真實對象相關(guān)的虛擬信息。在這個示例中，按下的虛擬按鈕(數(shù)字5)在AR視圖733中高亮顯示，并且頂部的虛擬顯示器也根據(jù)觸摸事件改變其狀態(tài)(現(xiàn)在顯示“285”，而不是前一AR視圖732中的“28” )。
[0100]在某個后來的時間點t4處，對象仍然被握持在手中(可見光相機圖像714)，但溫?zé)岚唿c從紅外熱圖像724中消失。增強現(xiàn)實視圖734顯示與再次發(fā)生移動的對象空間對準(zhǔn)的虛擬信息。虛擬按鈕(數(shù)字5)不再被高亮顯示，因為在t3處觸發(fā)的觸摸事件過期。然而，頂部的虛擬顯示器的狀態(tài)仍然受到該觸摸事件的影響，因為其顯示數(shù)字“285”，而不是tl和t2的“28”。
[0101]需注意，在該示例中，虛擬信息被手正確遮擋。這可使用熱鍵(參考文獻[2])來實現(xiàn)，該熱鍵使用紅外熱圖像來將人的前景與環(huán)境背景分開。還需注意，雖然在這個示例中， 真實對象位于手中，但其也可位于環(huán)境中的某個位置例如位于桌上。在使用手持式設(shè)備諸如智能電話或平板PC時，后一種配置將會是更理想的。
[0102]圖8示出了根據(jù)本發(fā)明的實施方案的二值化紅外熱圖像(801-808)的序列，其中第一對象在觸摸期間在第二對象的表面上方移動，在圖像801中，指尖觸摸第二對象(被顯示為黑色背景)，然后在仍然觸摸第二對象的同時開始在圖像802-805中移動。在紅外熱圖像 806中，手指從第二對象放釋放并移走。觸摸809在圖像中是明顯的，因為其具有與第二對象不同的溫度。在這個示例中，觸摸具有略長的區(qū)域，而不是如前面的示例中那樣是近似圓形。[〇1〇3]該實施方案將邊界框810適配到所檢測到的觸摸(區(qū)域)，并且可將其提供給人機接口。另一實施方案可擬合函數(shù)(811)來對觸摸的軌跡建模。其例如可被參數(shù)化為一組點、 一組具有所估計的時間戳的點、貝塞爾曲線、樣條、多項式函數(shù)、或任何其他函數(shù)。這可基于在觸摸發(fā)生之后或者在觸摸發(fā)生的同時所捕獲的單個熱圖像來完成。
[0104]另一個實施方案還可分析觸摸區(qū)域的不同部分之間的溫度的差異或變化來確定觸摸的方向，例如將其確定為觸摸區(qū)域中的占支配地位的溫度梯度方向。
[0105]如果用戶在對象的第一點處觸摸表面，然后在對象的表面上方將手指移動到第二點，之后將手指從對象上移走，則觸摸區(qū)域?qū)ǖ谝稽c周圍的區(qū)域、第二點周圍的區(qū)域、 以及這兩個點之間的手指在表面上方移動的區(qū)域，參見809。在觸摸區(qū)域內(nèi)，可能存在不同的溫度(例如在樣本820-826處)。假設(shè)被觸摸對象最初具有恒定溫度，第一點820 (觸摸在那里開始)處的溫度低于第二點826(觸摸在那里結(jié)束)的溫度。中間的點(821-825)應(yīng)當(dāng)表現(xiàn)出溫度的單調(diào)升高。
[0106]圖9示出能結(jié)合本發(fā)明使用的兩個示例性硬件設(shè)置。本文所述的方法可在配備有熱成像相機902的手持式設(shè)備901(的部件)上執(zhí)行，并且本文所述的設(shè)備可以是配備有熱成像相機902的手持式設(shè)備901諸如智能電話或平板電腦(的部件)。該設(shè)備還可包括至少一個可見光相機903、紅外相機904、和/或紅外或可見光投影儀905。根據(jù)另一個實施方案，本文所述的方法可在具有至少一個顯示器907和熱相機908的頭戴式(或可穿戴)計算機906(的部件)上執(zhí)行，并且本文所述的設(shè)備可以是具有至少一個顯示器907和熱相機908的頭戴式 (或可穿戴)計算機906(的部件)。該設(shè)備還可包括至少一個可見光相機909、紅外相機910、 和/或紅外或可見光投影儀911。[〇1〇7]應(yīng)用本文所述的方法和設(shè)備以用于檢測每次發(fā)生的多于一次觸摸也是可能的。
[0108]上述實施方案可提供觸摸在紅外熱相機圖像的坐標(biāo)系中的位置(即點)。它們還可提供圖像中的與被觸摸表面對應(yīng)的區(qū)域。如果該區(qū)域不是(近似)圓形的，則本發(fā)明還可確定觸摸的一個或多個取向，例如將其確定為具有觸摸區(qū)域的最大延伸范圍的取向。另一個實施方案確定觸摸的軌跡。另外的實施方案還確定觸摸的方向，即按什么順序觸摸軌跡上的點。
[0109]本發(fā)明的實施方案確定的一個或多個觸摸及其軌跡可用于支持(多點)觸摸手勢， 諸如滑動、捏合、捏合縮放、縮小、放大、旋轉(zhuǎn)、扭曲旋轉(zhuǎn)、樞軸旋轉(zhuǎn)、滾動、拖拽、輕拂、兩指輕擊、和兩指滾動。
[0110]可應(yīng)用不同D手段來避免檢測到某些區(qū)域中的觸摸。在圖7的示例中，位于虛擬按鈕中的一個虛擬按鈕處的僅一個觸摸是相關(guān)的。因此，可提供掩模來將對象的表面分成應(yīng)當(dāng)檢測觸摸的部分和不應(yīng)當(dāng)檢測觸摸或者觸摸在檢測到之后應(yīng)當(dāng)被忽略的部分。一種可能的具體實施將為在處理紅外熱圖像之前在考慮到圖6中的變換608和607的情況下將這個掩模提供到紅外熱圖像中。
[0111]觸摸應(yīng)當(dāng)始終位于真實對象的表面上，這需要真實對象的表面的模型。在可見光相機能夠測量深度的一個實施方案中或者如果存在另一深度感測相機，這可用于確定觸摸的3D位置。與對象的表面模型的距離高于閾值的任何所檢測到的觸摸不位于模型表面上， 并且因此可被丟棄。
[0112]如果溫度明顯不同于人體的溫度，則由并非人體的至少部分的對象(例如袖邊)產(chǎn)生的無意觸摸被上文所述的實施方案隱含地忽略。另一實施方案通過在紅外熱相機圖像序列和/或可見光相機圖像中檢測到手而明確地確保所檢測到的觸摸是由于人手的至少部分的觸摸導(dǎo)致的。觸摸然后根據(jù)手檢測僅可能在手先前已出現(xiàn)過的那些區(qū)域(在對象或相機的坐標(biāo)系中)中被檢測。另一個實施方案進一步檢測指尖在紅外熱相機圖像序列和/或可見光相機圖像中的位置，然后根據(jù)指尖檢測來將觸摸檢測限制到指尖先前已出現(xiàn)過的那些區(qū)域中(在對象或相機的坐標(biāo)系中)。
[0113]另一個實施方案將溫度曾經(jīng)比人體溫度高的量超過閾值的所有區(qū)域排除在觸摸檢測之外。此類溫度可能是由于電子設(shè)備或者咖啡杯導(dǎo)致的。
[0114]雖然本文參考某些部件或設(shè)備描述了各種實施方案，但在實現(xiàn)這些實施方案中的任何實施方案時，也可使用本文所述或?qū)Ρ绢I(lǐng)域技術(shù)人員顯而易見的部件或設(shè)備的任何其他配置。本文所述的任何設(shè)備或部件可以是或者可包括用于執(zhí)行本文所述的全部或一些任務(wù)的相應(yīng)處理設(shè)備(未明確示出)諸如微處理器。一個或多個處理任務(wù)可由例如通過相應(yīng)的點到點通信或經(jīng)由網(wǎng)絡(luò)(例如經(jīng)由服務(wù)器計算機)彼此進行通信的部件或其處理設(shè)備中的一者或多者來進行處理。
[0115]參考文獻:
[0116][1]FLIR ONE, Personal thermal imaging device for your iPhone5and iPhone5s,www.flir.com/flirone
[0117][2]http://nae-lab.0rg/project/thermo-key/Thermo key
[0118][4]W0 2013/016104
[0119][5]0cclus1n based Interact1n Methods for Tangible Augmented RealityEnvironments，Gun A.Lee , Mark Bi11inghurst，Gerard Jounghyun Kim,VRCAI' 04Proceedings of the 2004ACM SIGGRAPH internat1nal conference on Virtual Realitycontinuum and itsapplicat1ns in industry，第419-426頁，2004年
[0120][6]W0 2012/039836
[0121][7]W0 2012/040114
[0122][8]US 2011/0050643 A1
【主權(quán)項】
1.一種檢測第一對象的至少部分與第二對象的至少部分之間的觸摸的方法，其中所述 第一對象的所述至少部分相比于所述第二對象的所述至少部分具有不同的溫度，所述方法 包括以下步驟:-提供所述第二對象的一部分的至少一個熱圖像，-在所述至少一個熱圖像的至少部分中確定用于指示特定溫度值或溫度范圍或者特定 溫度變化值或溫度變化范圍的圖案，以及-使用所確定的圖案以用于檢測所述第一對象的所述至少部分與所述第二對象的所述 至少部分之間的觸摸。2.根據(jù)權(quán)利要求1所述的方法，其中所述第二對象的所述至少部分和所述第二對象的所述一部分重疊或者不重疊。3.根據(jù)權(quán)利要求1或2所述的方法，其中所述第一對象是人體的至少部分。4.根據(jù)權(quán)利要求1至3中任一項所述的方法，還包括確定所檢測到的觸摸在所述熱圖像 中的位置、尺寸、取向、方向、軌跡、或形狀。5.根據(jù)權(quán)利要求1至4中任一項所述的方法，還將所檢測到的觸摸作為輸入提供給機器 接口程序，其中所檢測到的觸摸改變所述機器接口程序中的狀態(tài)。6.根據(jù)權(quán)利要求1至5中任一項所述的方法，其中確定所述圖案包括確定在所述至少一 個熱圖像中的不同位置處測量的溫度之間的一個或多個差異。7.根據(jù)權(quán)利要求1至6中任一項所述的方法，其中確定所述圖案包括計算所述熱圖像中 的溫度相對于位置的一階導(dǎo)數(shù)或二階導(dǎo)數(shù)。8.根據(jù)權(quán)利要求1至7中任一項所述的方法，其中確定所述圖案包括計算所述熱圖像中 的溫度相對于時間的一階導(dǎo)數(shù)或二階導(dǎo)數(shù)。9.根據(jù)權(quán)利要求1至8中任一項所述的方法，其中確定所述圖案包括確定用于指示所述 第一對象和所述第二對象的相應(yīng)溫度的至少兩個溫度區(qū)間之間的溫度分布。10.根據(jù)權(quán)利要求9所述的方法，還包括確定所述區(qū)間中的第一區(qū)間是否顯示出溫度的 第一次升高，之后是否顯示出比所述第一次升高更急劇的第二次升高，并且確定所述區(qū)間 中的第二區(qū)間是否顯示出溫度的第一次降低，之后是否顯示出比所述第一次降低較不急劇 的第二次降低。11.根據(jù)權(quán)利要求9或10所述的方法，還包括計算所述至少一個熱圖像中的溫度的柱狀 圖并使用所述柱狀圖作為基礎(chǔ)來限定所述第一區(qū)間和所述第二區(qū)間中的至少一者以及被 確定用于檢測觸摸的所述第一區(qū)間和所述第二區(qū)間之間的區(qū)間。12.根據(jù)權(quán)利要求1至11中任一項所述的方法，其中確定所述圖案包括確定所述至少一 個熱圖像中的至少一個樣本線的溫度分布，所述至少一個樣本線可在所述熱圖像內(nèi)具有任 意取向。13.根據(jù)權(quán)利要求1至12中任一項所述的方法，其中確定所述圖案包括確定所述熱圖像 中的滿足對其尺寸和/或平均溫度的一個或多個約束的群集。14.根據(jù)權(quán)利要求1至13中任一項所述的方法，包括提供包括所述第二對象的一部分的 至少兩個熱圖像的熱圖像序列。15.根據(jù)權(quán)利要求14所述的方法，其中確定所述圖案包括確定所述至少兩個熱圖像之 間的溫度變化以及確定所述變化是否高于所限定的閾值。16.根據(jù)權(quán)利要求14或15所述的方法，其中確定所述圖案包括確定所述至少兩個熱圖像之間的溫度的導(dǎo)數(shù)以及確定所述導(dǎo)數(shù)是否高于所限定的閾值。17.根據(jù)權(quán)利要求14至16中任一項所述的方法，其中確定所述圖案包括確定所述至少兩個熱圖像之間的第一溫度變化和所述至少兩個熱圖像之間的第二溫度變化，并使用所述第一變化和所述第二變化以及所述第一變化和所述第二變化的導(dǎo)數(shù)以用于檢測觸摸。18.根據(jù)權(quán)利要求1至17中任一項所述的方法，還包括 -由可見光相機和提供所述至少一個熱圖像的熱相機來對所述第二對象的所述一部分成像， -提供所述可見光相機與所述熱相機之間的第一空間變換 -提供所述可見光相機與所述第二對象的所述被成像部分之間的第二空間變換， -將所述第一空間變換和所述第二空間變換聯(lián)結(jié)，從而得到所述第二對象的所述被成像部分的坐標(biāo)系與所述熱相機的坐標(biāo)系之間的第三空間變換， -基于所述第三空間變換來確定所述熱相機在所述第二對象的所述被成像部分的所述坐標(biāo)系中的位置和取向。19.根據(jù)權(quán)利要求18所述的方法，還包括確定觸摸在所述至少一個熱圖像中的位置，其中通過將源自被變換到所述第二對象的所述被成像部分的所述坐標(biāo)系的所述熱相機的原點的并且指向所檢測到的觸摸在所述熱相機的像平面上的所述位置的射線與所述第二對象的所述被成像部分的模型相交來確定所述觸摸在所述第二對象的所述被成像部分的所述坐標(biāo)系中的所述位置，其中所述相交被用于觸發(fā)所述位置處的觸摸事件。20.根據(jù)權(quán)利要求1至19中任一項所述的方法，其中所述方法被應(yīng)用在增強現(xiàn)實應(yīng)用中的人機接口內(nèi)。21.根據(jù)權(quán)利要求20所述的方法，其中檢測觸摸包括檢測用戶的部位在虛擬信息被顯示給所述用戶的位置處觸摸所述第二對象的至少一部分，其中在檢測到所述觸摸時，所述虛擬信息被操控。22.根據(jù)權(quán)利要求1至21中任一項所述的方法，其中所述方法在使用視頻穿透設(shè)置、光學(xué)穿透設(shè)置、或投影AR設(shè)置的應(yīng)用內(nèi)被使用。23.根據(jù)權(quán)利要求1至22中任一項所述的方法，其中所述方法與不包括觸摸屏界面的硬件設(shè)置一起使用。24.—種包括軟件代碼段的計算機程序產(chǎn)品，所述軟件代碼段適于執(zhí)行根據(jù)權(quán)利要求1至23中任一項所述的方法。25.—種用于檢測第一對象的至少部分與第二對象的至少部分之間的觸摸的設(shè)備，其中所述第一對象的所述至少部分相比于所述第二對象的所述至少部分具有不同的溫度，所述設(shè)備包括: -適于接收所述第二對象的一部分的至少一個熱圖像的圖像信息的處理設(shè)備， -所述處理設(shè)備被配置為在所述至少一個熱圖像的至少部分中確定用于指示特定溫度值或溫度范圍或者特定溫度變化值或溫度變化范圍的圖案，并且 -所述處理設(shè)備被配置為使用所確定的圖案以用于檢測所述第一對象的所述至少部分與所述第二對象的所述至少部分之間的觸摸。26.根據(jù)權(quán)利要求25所述的設(shè)備，其中所述處理設(shè)備與用于提供所述至少一個熱圖像的熱相機進行通信，其中所述處理設(shè)備和所述熱相機中的至少一者在頭戴式顯示器、手持 式設(shè)備、或投影儀中被實施或者與所述頭戴式顯示器、所述手持式設(shè)備、或所述投影儀相關(guān) 聯(lián)，以用于執(zhí)行基于投影儀的增強現(xiàn)實。
【文檔編號】G06F3/01GK105992988SQ201480075688
【公開日】2016年10月5日
【申請日】2014年2月17日
【發(fā)明人】D·庫爾茨
【申請人】Metaio有限公司