本申請(qǐng)是2014年10月2日提交的名稱為“Non-Line-of-Sight Radar-Based Gesture Recognition”的美國(guó)專利申請(qǐng)NO.62/059,099的非臨時(shí)案,并且依據(jù)35U.S.C.§119(e)要求其優(yōu)先權(quán),其公開內(nèi)容通過(guò)引用全文并入本文。
背景技術(shù):
由于住宅、汽車和辦公室中的智能設(shè)備激增,無(wú)縫地且憑直覺地控制這些設(shè)備的需求變得越來(lái)越重要。例如,用戶期望從其恰好所處的任何位置迅速且容易地控制其媒體播放器、電視機(jī)及氣候設(shè)備。然而,現(xiàn)行的用于控制智能設(shè)備的技術(shù)無(wú)法提供無(wú)縫且憑直覺的控制,而是依賴于觸摸屏、手持式遙控裝置和笨拙的音頻接口。
提供這一背景技術(shù)說(shuō)明是用于一般性地呈現(xiàn)本公開的背景。除非在本文另有說(shuō)明,這一部分所描述的材料不被明確地或隱含地承認(rèn)為本公開內(nèi)容或所附權(quán)利要求的現(xiàn)有技術(shù)。
技術(shù)實(shí)現(xiàn)要素:
本申請(qǐng)描述用于非視距的基于雷達(dá)的姿勢(shì)識(shí)別的技術(shù)和設(shè)備。通過(guò)使用本文描述的技術(shù)和設(shè)備,用戶可以通過(guò)空中姿勢(shì)控制其設(shè)備,即使在這些姿勢(shì)不在其設(shè)備傳感器的視距以內(nèi)時(shí)也可以。因此,該技術(shù)使得用戶能夠在期望進(jìn)行控制但傳統(tǒng)技術(shù)不支持有效控制的許多情況下控制其設(shè)備,例如當(dāng)用戶受到恒溫器的姿勢(shì)傳感器的遮擋時(shí)降低房間內(nèi)的溫度,當(dāng)用戶與媒體播放器處于不同房間時(shí)調(diào)低媒體播放器的音量,或當(dāng)用戶的姿勢(shì)被椅子、沙發(fā)或其它障礙物遮擋時(shí)暫停電視節(jié)目。
提供本發(fā)明內(nèi)容用以介紹涉及非視距的基于雷達(dá)的姿勢(shì)識(shí)別的簡(jiǎn)化構(gòu)思,其在以下的詳細(xì)說(shuō)明中進(jìn)一步描述。這一發(fā)明內(nèi)容不旨在確定要求保護(hù)的主題的必要技術(shù)特征,也不旨在用于確定要求保護(hù)的主題的范圍。
附圖說(shuō)明
通過(guò)參考以下附圖描述用于非視距的基于雷達(dá)的姿勢(shì)識(shí)別的技術(shù)和設(shè)備的實(shí)施例。貫穿各附圖,使用相同的附圖標(biāo)記指示相同的特征和部件:
圖1示出在其中實(shí)現(xiàn)非視距的基于雷達(dá)的姿勢(shì)識(shí)別的一個(gè)示例性環(huán)境,其包括通過(guò)使用直射雷達(dá)場(chǎng)和反射雷達(dá)場(chǎng)。
圖2更詳細(xì)地示出圖1中的智能設(shè)備。
圖3示出示例性的透射雷達(dá)場(chǎng)。
圖4示出利用反射雷達(dá)場(chǎng)實(shí)現(xiàn)非視距的基于雷達(dá)的姿勢(shì)識(shí)別的示例性方法。
圖5示出圖1中的房間,其包括不具有至雷達(dá)系統(tǒng)的視距的體積,以及通過(guò)其在這些體積內(nèi)提供反射雷達(dá)場(chǎng)的傳輸路徑。
圖6示出一示例性方法,其實(shí)現(xiàn)非視距的基于雷達(dá)的姿勢(shì)識(shí)別,其效果為控制不具有至用戶的視距的智能設(shè)備,或與其通信。
圖7示出具有多個(gè)雷達(dá)系統(tǒng)的住宅的地板,該多個(gè)雷達(dá)系統(tǒng)中的某些不具有對(duì)在住宅中的用戶的視距。
圖8示出一示例性設(shè)備,其實(shí)施非視距的基于雷達(dá)的姿勢(shì)識(shí)別,或者可以在其中實(shí)現(xiàn)能夠使用該姿勢(shì)識(shí)別的技術(shù)。
具體實(shí)施方式
概述
本申請(qǐng)描述能夠?qū)崿F(xiàn)非視距的基于雷達(dá)的姿勢(shì)識(shí)別的技術(shù)和設(shè)備。這些技術(shù)和設(shè)備能夠在姿勢(shì)不是在智能設(shè)備的傳感器的視距以內(nèi)做出時(shí),通過(guò)識(shí)別這些姿勢(shì)而實(shí)現(xiàn)對(duì)智能設(shè)備的更大程度的控制。
例如,考慮用戶在其住宅內(nèi)具有多個(gè)智能設(shè)備的情況。假定為了控制這些設(shè)備,他具有多個(gè)手持式遙控裝置;一個(gè)控制器用于一個(gè)設(shè)備。由于所需的遙控裝置的數(shù)量,控制這些各種的智能設(shè)備是不切實(shí)際的。另外,即使用戶具有能夠控制多個(gè)智能設(shè)備的一個(gè)遙控裝置,當(dāng)他不處于所有這些各種設(shè)備的視距以內(nèi)的任何時(shí)候,仍然不能控制所有多個(gè)智能設(shè)備。并且,即使在用戶一次處于多個(gè)設(shè)備的視距以內(nèi)的不常見的情況中,用戶仍需要攜帶一遙控裝置在身邊。
考慮控制智能設(shè)備的其它傳統(tǒng)方式,例如音頻接口和視距攝像機(jī)。音頻接口通常無(wú)法理解用戶的意圖,并且需要用戶中斷他或她正在進(jìn)行的談話。視距攝像機(jī)盡管允許用戶在某些情況下不攜帶遙控裝置,但是需要視距,并且無(wú)法提供穩(wěn)定和一致的姿勢(shì)識(shí)別。這些僅是不能提供無(wú)縫和憑直覺地控制多個(gè)示例性控制器中的三種控制器。
對(duì)比之下,考慮一種情況,在該情況中,用戶站在她的廚房中,并且期望暫停位于她的臥室中的電視機(jī),關(guān)閉她的微波爐,因?yàn)樗耐聿蜔徇^(guò)了,以及調(diào)高她的房間中的熱度。假定用戶的手被一些懸掛的盆或鍋而相對(duì)于微波爐被阻擋,并且,她的恒溫器和電視機(jī)位于其它房間內(nèi)。本文所述的技術(shù)使她能夠控制所有這三個(gè)設(shè)備,盡管兩個(gè)在其它房間中,且第三個(gè)被各種物體阻擋。這些設(shè)備均不具有相對(duì)于她的視距、但是她可以做出姿勢(shì)來(lái)無(wú)縫地并且憑直覺地控制這三個(gè)不同設(shè)備中的每一個(gè)以及任一個(gè)。
這只是可以進(jìn)行非視距的基于雷達(dá)的姿勢(shì)識(shí)別的一種方式。本申請(qǐng)現(xiàn)致力于一示例性環(huán)境,然后,描述非視距的姿勢(shì)識(shí)別系統(tǒng)、示例性方法以及示例性計(jì)算系統(tǒng)。
示例性環(huán)境
圖1是在其中可以執(zhí)行實(shí)現(xiàn)非視距的基于雷達(dá)的姿勢(shì)識(shí)別的技術(shù)的一示例環(huán)境100的圖示。環(huán)境100包括房間102、智能設(shè)備104以及用戶106。房間102包括障礙物108、墻壁110、地板112(示出為方形)和天花板114(在俯視圖中透明,以圓圈示出),其在下文詳細(xì)描述。房間102示出除了一個(gè)具有透射雷達(dá)場(chǎng)而另一個(gè)具有反射雷達(dá)場(chǎng)(如下文描述)之外相同的兩個(gè)圖示(102-1和102-2)。
智能設(shè)備104包括非視距姿勢(shì)識(shí)別系統(tǒng)116(NLOS系統(tǒng)116),其提供直射雷達(dá)場(chǎng)118。直射雷達(dá)場(chǎng)118不具有對(duì)房間102的某些部分(此處是體積120)的視距。由于作為障礙物108之一的沙發(fā)108-1,第一體積120-1不具有對(duì)NLOS系統(tǒng)116的視距。由于作為另一個(gè)障礙物108的花盆108-2,第二體積120-2不具有對(duì)NLOS系統(tǒng)116的視距。
NLOS識(shí)別系統(tǒng)116還能夠提供反射雷達(dá)場(chǎng)122,能夠識(shí)別在直射視距不可獲得的部分或全部體積120內(nèi)的姿勢(shì)。這一反射雷達(dá)場(chǎng)122通過(guò)雷達(dá)傳輸線124、通過(guò)在本文其它地方提供的對(duì)傳輸線的另外描述而示出。雖然雷達(dá)場(chǎng)118和122二者可以一起被使用,但是為了觀察清楚,二者分別示出。
雖然未在圖1中示出,NLOS系統(tǒng)116還可以提供透射雷達(dá)場(chǎng)。這一雷達(dá)場(chǎng)被構(gòu)造為穿透各種材料,例如木材、棉花、尼龍或皮革,但是從人體組織反射,從而進(jìn)一步地能夠識(shí)別部分或全部不在視距中的、或以其它方式相對(duì)于NLOS系統(tǒng)116被阻擋的姿勢(shì)。
更詳細(xì)地,考慮圖2,其示出智能設(shè)備104。智能設(shè)備104包括一個(gè)或多個(gè)計(jì)算機(jī)處理器202以及計(jì)算機(jī)可讀介質(zhì)204(例如記憶介質(zhì)和存儲(chǔ)介質(zhì))。實(shí)施為在計(jì)算機(jī)可讀介質(zhì)204上的計(jì)算機(jī)可讀指令的應(yīng)用和/或操作系統(tǒng)(未示出)可以由處理器202執(zhí)行,以提供本文所述的某些功能。計(jì)算機(jī)可讀介質(zhì)204還包括場(chǎng)管理器206(在下文示出)。
智能設(shè)備104還包括網(wǎng)絡(luò)接口208,用于通過(guò)有線網(wǎng)絡(luò)、無(wú)線網(wǎng)絡(luò)或光網(wǎng)絡(luò)通信數(shù)據(jù)。作為舉例而非限制,網(wǎng)絡(luò)接口208可以通過(guò)局域網(wǎng)絡(luò)(LAN)、無(wú)線局域網(wǎng)絡(luò)(WLAN)、個(gè)人域網(wǎng)絡(luò)(PAN)、廣域網(wǎng)絡(luò)(WAN)、內(nèi)聯(lián)網(wǎng)、互聯(lián)網(wǎng)、對(duì)等網(wǎng)絡(luò)、點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò)、網(wǎng)狀網(wǎng)絡(luò)等通信數(shù)據(jù)。智能設(shè)備104還可以包括顯示器210,盡管其不是必需的。
智能設(shè)備104還包括或具有如上文所述的NLOS系統(tǒng)116的接入,其被配置為提供雷達(dá)場(chǎng),通過(guò)該雷達(dá)場(chǎng)感測(cè)姿勢(shì)。為了實(shí)現(xiàn)這點(diǎn),NLOS系統(tǒng)116包括微波無(wú)線電元件212、天線元件214和信號(hào)處理器216。通常,微波無(wú)線電元件212被配置為提供具有上文所述的直射雷達(dá)場(chǎng)和反射雷達(dá)場(chǎng)的雷達(dá)場(chǎng),還可以包括透射雷達(dá)場(chǎng)。盡管本文所示的示例通常顯示每個(gè)設(shè)備具有一個(gè)NLOS系統(tǒng)116,但是可以使用多個(gè),從而增加對(duì)體積(例如房間102)的覆蓋,以及增加姿勢(shì)識(shí)別的數(shù)量、復(fù)雜度、精確度、分辨率以及魯棒性。
微波無(wú)線電元件212可以配置為發(fā)射一組或多組連續(xù)的調(diào)制輻射、超帶寬輻射或亞毫米頻率輻射。在某些情況下,微波無(wú)線電元件212配置為形成輻射束,所述輻射束輔助天線元件214和信號(hào)處理器216確定哪一束被中斷,并且因此確定在雷達(dá)場(chǎng)內(nèi)的(例如通過(guò)手)的交互的位置。更具體地,微波無(wú)線電元件212可以配置為發(fā)射在1GHz至300GHz、以及57GHz至63GHz范圍內(nèi)的微波輻射,以提供雷達(dá)場(chǎng)。該范圍影響天線元件214的感測(cè)交互的能力,例如以大約2至大約25毫米的分辨率追蹤兩個(gè)或更多個(gè)目標(biāo)的位置。微波無(wú)線電元件212連同NLOS系統(tǒng)116的其它實(shí)體一起,可以被配置為具有相對(duì)快速的更新速率,其可以輔助交互的分辨率。通過(guò)選擇特定的頻率,NLOS系統(tǒng)116可以操作,以提供直射雷達(dá)場(chǎng),以從視距姿勢(shì)反射,所反射的雷達(dá)場(chǎng)首先從某個(gè)物體或多個(gè)物體上反射,隨后從非視距姿勢(shì)上反射;和/或提供透射雷達(dá)場(chǎng),以在從人體組織反射時(shí)穿透衣物以及類似材料。
天線元件214被構(gòu)造為接收雷達(dá)場(chǎng)的反射、或感測(cè)在雷達(dá)場(chǎng)中的交互,并且信號(hào)處理器216被構(gòu)造為處理雷達(dá)場(chǎng)中反射或感測(cè)的交互,其足以提供可用于確定來(lái)自感測(cè)的交互的姿勢(shì)的姿勢(shì)數(shù)據(jù)。天線元件214可以包括一個(gè)或多個(gè)傳感器,例如輻射傳感器陣列,陣列中的傳感器的數(shù)量基于期望的分辨率以及雷達(dá)場(chǎng)是否是直射、反射還是透射的。替換地或另外地,天線元件214可以包括一個(gè)或多個(gè)天線,例如天線陣列,其直接地或以其它方式與相應(yīng)的輻射傳感器和/或信號(hào)處理器216耦合。
另外,天線元件214或信號(hào)處理器216可以配置為區(qū)別雷達(dá)場(chǎng)中的交互來(lái)自直射、透過(guò)材料、或被反射之后的雷達(dá)傳輸。因此,具有NLOS系統(tǒng)116的媒體播放器可以區(qū)別直接反射自用戶手部的雷達(dá)波與首先從天花板(例如涂漆的、石膏砌墻的天花板)反射并隨后從用戶的手部反射出的雷達(dá)波。
由微波無(wú)線電元件212提供的雷達(dá)場(chǎng)可以包括一個(gè)或多個(gè)三維(3D)體積、平面或表面(例如施加在用戶手部上的表面)。在這些情況的每一個(gè)中,天線元件214被配置為感測(cè)一個(gè)或多個(gè)目標(biāo)(例如雙手,一只或兩只手的手指等)的交互,并且,信號(hào)處理器216被配置為處理感測(cè)到的交互,其足以提供可用于在三個(gè)維度上確定姿勢(shì)的姿勢(shì)數(shù)據(jù)。
通過(guò)提供的雷達(dá)場(chǎng),例如圖1中的直射雷達(dá)場(chǎng)118和反射雷達(dá)場(chǎng)124,用戶可以通過(guò)中斷該場(chǎng)的設(shè)備(例如觸針)或手部來(lái)執(zhí)行復(fù)雜的或簡(jiǎn)單的姿勢(shì)。示例性姿勢(shì)包括可通過(guò)現(xiàn)有的觸摸傳感顯示器使用的姿勢(shì),例如掃掠、二指夾緊和打開、點(diǎn)擊等。其它可用姿勢(shì)是復(fù)雜或簡(jiǎn)單但是三維的姿勢(shì),示例包括各種手語(yǔ)姿勢(shì),例如美國(guó)手語(yǔ)(ASL)以及世界各地手語(yǔ)中的姿勢(shì)。這些中的一些包括上下拳,其在ASL中意思是“是”;伸開的食指和中指移動(dòng)接觸伸開的拇指,其意思是“否”;平手上移動(dòng)一步,其意思是“前進(jìn)”;平坦和成角度的手上下移動(dòng),其意思是“下午”;緊握的手指和打開的拇指運(yùn)動(dòng)至打開的手指和打開的拇指,其意思是“出租車”;食指沿著基本垂直的方向向上運(yùn)動(dòng),其意思是“向上”,等。這些僅是可以映射至特定的設(shè)備和應(yīng)用的多種姿勢(shì)中的少數(shù)一些,例如,通過(guò)非視距姿勢(shì),“前進(jìn)”姿勢(shì)用于跳過(guò)正在被媒體播放器播放的另一首音樂(lè)。
如上文所述,NLOS 116可以提供透射雷達(dá)場(chǎng),其能夠穿透某些物體和材料,并且隨后從人體組織反射。這在圖3中示出,其顯示手302,透射雷達(dá)場(chǎng)304接觸手302的表面306。這一透射雷達(dá)場(chǎng)304透過(guò)椅子308,以隨后從表面306反射,并返回在NLOS系統(tǒng)116的天線元件214處被接收。微波無(wú)線電元件212(未示出)提供透射雷達(dá)場(chǎng)304,同時(shí),天線元件214被配置為接收由手302的表面306的交互導(dǎo)致的反射,該反射透過(guò)并隨后穿過(guò)椅子308反射回,在天線元件處,信號(hào)處理器216配置為處理接收的反射,其足以提供用于確定姿勢(shì)的姿勢(shì)數(shù)據(jù)。
姿勢(shì)可以與各種智能設(shè)備關(guān)聯(lián),例如除智能設(shè)備104之外的設(shè)備。為了實(shí)現(xiàn)這點(diǎn),姿勢(shì)可以映射至預(yù)先配置的控制姿勢(shì),其與用于與這些設(shè)備中的任意設(shè)備關(guān)聯(lián)的應(yīng)用的控制輸入相關(guān)聯(lián)。因此,姿勢(shì)可以被設(shè)置以基于姿勢(shì)本身控制應(yīng)用和/或設(shè)備,而不是首先選擇意圖控制哪個(gè)設(shè)備或應(yīng)用。例如,多種復(fù)雜和獨(dú)特的姿勢(shì)可以由NLOS系統(tǒng)116識(shí)別,由此允許精確的和/或單一姿勢(shì)的控制,甚至用于多種應(yīng)用。將這些姿勢(shì)映射至各種不同的設(shè)備和應(yīng)用允許在明確選擇或未明確選擇(通常通過(guò)姿勢(shì))意圖控制哪個(gè)設(shè)備的情況下控制。
智能設(shè)備104通過(guò)各種非限制性示例設(shè)備示出:智能手機(jī)104-1、冰箱104-2、微波爐104-3、膝上型電腦104-4、平板電腦104-5和電視104-6,然而,還可以使用其它設(shè)備,例如氣候控制設(shè)備(例如恒溫器或天花板風(fēng)扇)、可穿戴設(shè)備、臺(tái)式電腦、上網(wǎng)本、電子書、相機(jī)、車輛系統(tǒng)等。
NLOS系統(tǒng)116還包括收發(fā)器218,其配置為將姿勢(shì)數(shù)據(jù)傳輸至遠(yuǎn)程設(shè)備,例如在NLOS系統(tǒng)116未與智能設(shè)備104集成的情況下。姿勢(shì)數(shù)據(jù)可以設(shè)置為可用于接收設(shè)備足以通過(guò)姿勢(shì)數(shù)據(jù)識(shí)別姿勢(shì)的格式。
NLOS系統(tǒng)116可以包括一個(gè)或多個(gè)系統(tǒng)處理器220和系統(tǒng)介質(zhì)222(例如一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì))。系統(tǒng)介質(zhì)222包括系統(tǒng)管理器224,其可以執(zhí)行各種操作,包括基于來(lái)自信號(hào)處理器216的姿勢(shì)數(shù)據(jù)確定姿勢(shì),將所確定的姿勢(shì)映射至預(yù)先配置的控制姿勢(shì),該控制姿勢(shì)與用于與遠(yuǎn)程智能設(shè)備關(guān)聯(lián)的應(yīng)用的控制輸入相關(guān)聯(lián),以及致使收發(fā)器218發(fā)送控制輸入至遠(yuǎn)程智能設(shè)備,從而能夠執(zhí)行對(duì)該應(yīng)用或設(shè)備的控制。這僅是可以通過(guò)NLOS系統(tǒng)116實(shí)現(xiàn)上述控制的方式中的一個(gè)。還應(yīng)注意,當(dāng)NLOS系統(tǒng)116示出為與智能設(shè)備104集成時(shí),其可以替代地是設(shè)備的部分,該設(shè)備具有很少或不具有計(jì)算能力,并且仍然允許姿勢(shì)數(shù)據(jù)被識(shí)別和/或映射至控制輸入。作為下文的方法400和600的一部分而更詳細(xì)地提供NLOS系統(tǒng)116、系統(tǒng)管理器224和場(chǎng)管理器206的操作。
下文更詳細(xì)地描述這些和其它能力和配置,以及圖1-3的實(shí)體動(dòng)作和交互的方式。這些實(shí)體可以進(jìn)一步分開、組合等。圖1的環(huán)境100和圖2和圖3的詳細(xì)圖示示出了多種能夠使用所描述的技術(shù)的一些可能的環(huán)境和設(shè)備。
示例性方法
圖4和圖6示出了方法400和600。方法400實(shí)現(xiàn)使用反射雷達(dá)場(chǎng)的非視距的基于雷達(dá)的姿勢(shì)識(shí)別,并且可以與方法600分開執(zhí)行或整合為整體執(zhí)行或作為方法600的部分。方法600實(shí)現(xiàn)非視距的基于雷達(dá)的姿勢(shì)識(shí)別,其中,對(duì)于一個(gè)雷達(dá)系統(tǒng)不存在直射視距,但是通過(guò)另一雷達(dá)系統(tǒng)識(shí)別姿勢(shì),并且隨后通過(guò)直射或非直射雷達(dá)場(chǎng)傳遞至另一雷達(dá)系統(tǒng)。
這些方法以被執(zhí)行的操作(或動(dòng)作的)的組示出,但是不必限制為在此所示的操作的組合或順序。另外,任意一個(gè)或多個(gè)操作可以重復(fù)、組合、重組或鏈接,以提供大量的額外方法和/或替代方法。在以下討論的部分中,可以參考圖1的環(huán)境100,以及在圖2、3、5和7中詳細(xì)示出的實(shí)體和示例,對(duì)這些的參考僅用于示例。該技術(shù)并不限制于由在一個(gè)設(shè)備上操作的一個(gè)實(shí)體或多個(gè)實(shí)體執(zhí)行。
在402處,確定其中不存在至雷達(dá)系統(tǒng)的視距的房間的體積。該技術(shù)可以通過(guò)各種方式確定這一體積,例如通過(guò)追蹤運(yùn)動(dòng)的實(shí)體、相機(jī)、返回(例如反射)的雷達(dá)傳輸?shù)取?/p>
例如,場(chǎng)管理器206可以通過(guò)雷達(dá)傳輸追蹤人或動(dòng)物在房間中的運(yùn)動(dòng)。在人或動(dòng)物的部分的運(yùn)動(dòng)期間,如果場(chǎng)管理器206接收不到來(lái)自該人和動(dòng)物的反射,則場(chǎng)管理器206可以基于人或動(dòng)物投射的路徑或人或動(dòng)物的不再可追蹤的部分(例如走到沙發(fā)后面的人的腿部)來(lái)確定房間內(nèi)直射視距不可用的體積。
場(chǎng)管理器206還可以或替代地使用相機(jī)或其它利用雷達(dá)或其它方式的圖像傳感器。場(chǎng)管理器206使用相機(jī)采集圖像,以提供從NLOS系統(tǒng)116的視角的房間的圖像。場(chǎng)管理器206隨后接收或確定(例如通過(guò)聲吶或雷達(dá)反射)房間的尺寸(例如4米寬、7米深、3米高)。通過(guò)房間的圖像和這些尺寸,可以確定未被成像但是存在的地板、墻壁、天花板區(qū)域。通過(guò)這一數(shù)據(jù),場(chǎng)管理器206可以隨后確定其中不存在至NLOS系統(tǒng)116的視距的房間的體積。
另外,場(chǎng)管理器206可以基于這些障礙物確定非視距體積。因此,在提供直射雷達(dá)場(chǎng)以接收來(lái)自房間中物體的反射時(shí),場(chǎng)管理器206假定障礙物背后的區(qū)域可能是在其中做出可能姿勢(shì)的體積,在任何情況下,很可能是房間的一部分并且不具有視距。作為這一確定的部分,障礙物是除地板、墻壁、房間的天花板之外的物體。某些物體反射雷達(dá),某些是雷達(dá)可以穿透的物體。因?yàn)檫@點(diǎn),由雷達(dá)場(chǎng)穿透的物體的部分可以降低所述體積的尺寸。
在404處,一組傳輸路徑足以致使在所述體積的至少一部分內(nèi)提供反射雷達(dá)場(chǎng),所述體積通過(guò)提供從雷達(dá)系統(tǒng)到房間中的雷達(dá)傳輸而確定。如上文部分地所述,確定視距不可用的體積可以包括雷達(dá)反射,其中,某些傳輸路徑是已知的。然而在許多情況下,所述體積已知,但是導(dǎo)致反射雷達(dá)場(chǎng)的傳輸路徑不是已知的。
為了確定這些傳輸路徑,場(chǎng)管理器206可以反復(fù)地提供雷達(dá)傳輸,并且接受來(lái)自所提供的雷達(dá)傳輸?shù)姆瓷?。這些雷達(dá)傳輸中的某些可以穿過(guò)所確定的體積,因此不是必需的。然而,其它一些雷達(dá)傳輸穿過(guò)所確定的體積中的一個(gè)體積,并且隨后與該體積關(guān)聯(lián)。在另一情況中,人或動(dòng)物穿過(guò)所確定的體積,并且,雷達(dá)傳輸反復(fù)地提供,并且在從人或動(dòng)物反射時(shí)關(guān)聯(lián)至所述體積。在這一操作中,可以使用各種類型和頻率的雷達(dá)傳輸,包括窄束傳輸和反射。
作為示例,考慮圖5,其示出圖1的房間102,其包括智能設(shè)備104、用戶106、障礙物108、墻110、地板112、天花板114、NLOS系統(tǒng)116、體積120-1和120-2。兩個(gè)傳輸路徑被示出,墻壁和物體反射路徑502,以及天花板和地板路徑504。這些僅示出能夠提供反射雷達(dá)場(chǎng)122的多個(gè)不同的傳輸路徑中的兩個(gè)(如圖1所示,并且在圖5中為了清楚而省略)。
墻壁和物體反射路徑502包括八個(gè)部分,每個(gè)部分從物體或墻壁反射或來(lái)自于反射。因此,路徑502從NLOS系統(tǒng)116行進(jìn)至墻壁110中的一個(gè)、隨后又從另一墻壁110反射、隨后從沙發(fā)108-1的背后反射、返回至另一墻壁110、至沙發(fā)108-1、至另一墻壁110、隨后從花盆108-2反射,并且隨后返回至NLOS系統(tǒng)116。某些傳輸路徑不導(dǎo)致反射返回,因此可以被摒棄,而另一些僅在具有NLOS系統(tǒng)116的視距的體積內(nèi)通過(guò),因此也可以被摒棄。路徑504從NLOS系統(tǒng)116行進(jìn)至天花板114(示出在圓圈處反射),隨后至墻壁110中的一個(gè),從地板112反射(示出在方形處反射),從天花板114反射,并且隨后返回至NLOS系統(tǒng)116。這兩個(gè)路徑502、504僅提供了兩個(gè)示例性傳輸路徑,借此,NLOS系統(tǒng)116和場(chǎng)管理器206可以提供在NLOS系統(tǒng)116的視距不可用的體積中的反射雷達(dá)場(chǎng)(例如圖1的122)。如上所述,這一反射雷達(dá)場(chǎng)使得在所有或某些體積120內(nèi)做出的姿勢(shì)被拒絕。
在406處,在房間的一個(gè)或多個(gè)體積內(nèi)提供雷達(dá)場(chǎng),該雷達(dá)場(chǎng)至少包括反射雷達(dá)場(chǎng)。在某些情況下,雷達(dá)場(chǎng)還包括本文所述的直射雷達(dá)場(chǎng)或透射雷達(dá)場(chǎng)。通過(guò)如此操作,可以提供可用于識(shí)別姿勢(shì)的雷達(dá)場(chǎng)以用于不具有自雷達(dá)場(chǎng)系統(tǒng)的直射視距的姿勢(shì)。
在408處,在房間內(nèi)的雷達(dá)場(chǎng)內(nèi)做出的姿勢(shì)交互的反射被接收。這一反射能夠采集關(guān)于姿勢(shì)交互的數(shù)據(jù),該數(shù)據(jù)隨后被用于確定正在被做出的姿勢(shì)。這一反射可以在如上所述的反射、直射或透射雷達(dá)場(chǎng)內(nèi)。
在410處,基于與該姿勢(shì)交互的反射相關(guān)聯(lián)的采集的數(shù)據(jù)確定姿勢(shì)。所確定的姿勢(shì)可以是如上所述的多種姿勢(shì)中的一個(gè),包括直接映射至設(shè)備或應(yīng)用和控制命令的姿勢(shì),例如將電視機(jī)靜音。
在412處,所確定的姿勢(shì)被提供至設(shè)備或應(yīng)用,效果為控制該設(shè)備或應(yīng)用。作為該提供的一部分,場(chǎng)管理器206可以確定將該控制發(fā)送至哪一設(shè)備或應(yīng)用,例如通過(guò)分析至各個(gè)設(shè)備和應(yīng)用的姿勢(shì)映射圖。
圖6示出方法600,其使得非視距的基于雷達(dá)的姿勢(shì)識(shí)別能夠有效地控制不具有至用戶的視距的智能設(shè)備,或與其通信。
在602處,提供雷達(dá)場(chǎng),例如具有一個(gè)或多個(gè)直射、反射、或透射雷達(dá)場(chǎng)的場(chǎng),如上文所述。這一雷達(dá)場(chǎng)可以由雷達(dá)系統(tǒng)提供,其具有或不具有至做出姿勢(shì)的用戶的視距。
在604處,來(lái)自該雷達(dá)場(chǎng)內(nèi)的交互的反射由雷達(dá)系統(tǒng)感測(cè)。這一雷達(dá)系統(tǒng)被假定為具有視距,或能夠?qū)Σ痪哂幸暰噙M(jìn)行補(bǔ)償,效果為接收來(lái)自用戶的反射。然而,另一智能設(shè)備,其可以具有或不具有雷達(dá)系統(tǒng),其不具有至用戶的視距,并且不能補(bǔ)償。因此,這兩種設(shè)備可以不具有至用戶的視距,但是這些設(shè)備中的一個(gè)能夠感測(cè)反射,例如通過(guò)透射或反射雷達(dá)場(chǎng)。
作為示例,考慮圖7,其示出房屋的地板702。這一房屋包括四個(gè)房間704,包括媒體室704-1、鋼琴室704-2、起居室704-3、以及廚房/餐廳704-4。如所示,存在五個(gè)雷達(dá)系統(tǒng)706,媒體播放器708的雷達(dá)系統(tǒng)706-1、恒溫器710的雷達(dá)系統(tǒng)706-2、電視712的雷達(dá)系統(tǒng)706-3、烤箱714的雷達(dá)系統(tǒng)706-4、以及微波爐716的雷達(dá)系統(tǒng)706-5。圖7示出了多種情況,其中,該技術(shù)支持姿勢(shì)識(shí)別,而無(wú)需至一意圖被控制的智能設(shè)備的視距,例如當(dāng)用戶708在廚房704-4中時(shí)想要控制電視712時(shí)。為了實(shí)現(xiàn)這點(diǎn),場(chǎng)管理器206在不與用戶718處于同一房間中的雷達(dá)系統(tǒng)706中的一個(gè)的NLOS系統(tǒng)116處接收來(lái)自用戶718的反射。
作為一具體示例,假定用戶718處于廚房/餐廳704-4中,并且想要通過(guò)控制恒溫器710降低室內(nèi)熱度,恒溫器710位于鋼琴室704-2中。為此,用戶718做出姿勢(shì)以降低熱度,同時(shí)站在廚房/餐廳704-4中,其在操作604處,在烤箱714的雷達(dá)系統(tǒng)706-4中操作的NLOS系統(tǒng)116接收姿勢(shì)。通過(guò)在NLOS系統(tǒng)116的天線處接收用戶718在雷達(dá)場(chǎng)720內(nèi)的反射而接收姿勢(shì)。
在606處,基于所接收到的反射識(shí)別姿勢(shì)。這可以在與雷達(dá)系統(tǒng)關(guān)聯(lián)的智能設(shè)備處執(zhí)行,在該雷達(dá)系統(tǒng)處接收反射,或者用于該反射的姿勢(shì)數(shù)據(jù)可以在意圖被控制的智能設(shè)備處被接收。因此,場(chǎng)管理器206或系統(tǒng)管理器224可以接收反射,并將用于反射的姿勢(shì)數(shù)據(jù)傳輸至另一智能設(shè)備,例如至房屋或辦公室中的其它所有雷達(dá)系統(tǒng)和/或設(shè)備。在這一情況中,基于從姿勢(shì)數(shù)據(jù)所確定的姿勢(shì),智能設(shè)備可以確定該控制是否意圖用于它們,例如已經(jīng)接收了在先的姿勢(shì),其選擇控制這一設(shè)備,或接收與該智能設(shè)備相關(guān)聯(lián)的姿勢(shì)。
在608處,姿勢(shì)被確定與非視距智能設(shè)備關(guān)聯(lián)或不關(guān)聯(lián)。通常,場(chǎng)管理器206可以通過(guò)將該姿勢(shì)映射至預(yù)先配置的姿勢(shì)而確定姿勢(shì)與非視距智能設(shè)備關(guān)聯(lián),以建立與該非視距設(shè)備的通信。在某些情況中,這一預(yù)先配置的姿勢(shì)建立與非視距智能設(shè)備的通信,效果為使得在智能設(shè)備處確定的將來(lái)的姿勢(shì)能夠控制該非視距智能設(shè)備。在某些情況下,場(chǎng)管理器206可以通過(guò)將該姿勢(shì)映射至一特定姿勢(shì)而確定該姿勢(shì)與非視距智能設(shè)備關(guān)聯(lián)。這一特定姿勢(shì)可以具有一組特定姿勢(shì),其特定地映射至某一集合的智能設(shè)備組中的每一組,例如圖7中的地板702上的智能設(shè)備。
繼續(xù)參考圖7的示例,假定在烤箱714的雷達(dá)系統(tǒng)706-4的NLOS系統(tǒng)116處操作的場(chǎng)管理器206識(shí)別由用戶718做出的姿勢(shì)。這一姿勢(shì)可以隨后被確定為指示恒溫器710的控制,在其之后,基于指示意圖控制恒溫器710的在先姿勢(shì),另一姿勢(shì)被識(shí)別并隨后被確定與恒溫器710關(guān)聯(lián)。例如,假定一特定的復(fù)雜姿勢(shì),其具有上下運(yùn)動(dòng)的合攏的手部和展開的拇指,該姿勢(shì)與恒溫器710關(guān)聯(lián)。第二姿勢(shì),在此假定為非特定幅度的順時(shí)針和逆時(shí)針運(yùn)動(dòng)的杯形手姿勢(shì),其分別指示調(diào)高或調(diào)低某物。因?yàn)樵谥甘疽鈭D控制恒溫器710的第一姿勢(shì)之后這一第二姿勢(shì)被立即接收,隨后通過(guò)重復(fù)方法600的步驟并隨后傳遞(在操作610處)至恒溫器710,效果為調(diào)高或調(diào)低熱度。圖6的虛線箭頭顯示這一重復(fù)。
類似地,如果第一姿勢(shì)與媒體播放器708的控制關(guān)聯(lián),指示調(diào)高或調(diào)低的第二姿勢(shì)將會(huì)替代地調(diào)高或調(diào)低媒體播放器708的音量,所有都不具有意圖的智能設(shè)備的視距。
在610處,姿勢(shì)傳遞至非視距智能設(shè)備。因此,姿勢(shì)可以從一個(gè)智能設(shè)備傳遞至另一智能設(shè)備,效果為使得該姿勢(shì)能夠控制該非視距智能設(shè)備或建立與該非視距智能設(shè)備的通信。
前述的討論描述涉及非視距的基于雷達(dá)的姿勢(shì)識(shí)別的方法。這些方法的各方面可以在硬件(例如固定的邏輯電路)、固件、軟件、人為操作、或其組合中而實(shí)現(xiàn)。這些技術(shù)可以在圖1-3、5、7、8中示出的實(shí)體的一個(gè)或多個(gè)中實(shí)施(計(jì)算系統(tǒng)800參考以下的圖8描述),其可以被進(jìn)一步分開、組合等。因此,這些視圖示出能夠使用所描述的技術(shù)的各種可能的系統(tǒng)或設(shè)備中的某些。這些視圖的實(shí)體通常代表軟件、固件、硬件、整個(gè)設(shè)備或網(wǎng)絡(luò)、或其組合。
示例性計(jì)算系統(tǒng)
圖8示出示例性計(jì)算系統(tǒng)800的各種部件,其可以實(shí)現(xiàn)為參考之前圖1-7所述的任意類型的客戶端、服務(wù)器和/或智能設(shè)備,以實(shí)現(xiàn)非視距基于雷達(dá)的姿勢(shì)識(shí)別。在實(shí)施例中,計(jì)算系統(tǒng)800可以實(shí)現(xiàn)為有線和/或無(wú)線的可穿戴設(shè)備、片上系統(tǒng)(SoC)中的一個(gè)或組合,和/或?qū)崿F(xiàn)為另一類型的設(shè)備或其部分。計(jì)算系統(tǒng)800還可以與用戶(例如個(gè)人)和/或操作該設(shè)備的實(shí)體關(guān)聯(lián),例如描述邏輯設(shè)備的設(shè)備,其包括用戶、軟件、固件和/或設(shè)備的組合。
計(jì)算系統(tǒng)800包括通信設(shè)備802,其允許設(shè)備數(shù)據(jù)804(例如接收的數(shù)據(jù)、正在被接收的數(shù)據(jù)、被預(yù)定用于廣播的數(shù)據(jù)、數(shù)據(jù)的數(shù)據(jù)包等)的有線和/或無(wú)線的通信。設(shè)備數(shù)據(jù)804或其它設(shè)備內(nèi)容可包括設(shè)備的配置設(shè)定、存儲(chǔ)在設(shè)備上的媒體內(nèi)容和/或與設(shè)備的用戶關(guān)聯(lián)的信息。存儲(chǔ)在計(jì)算系統(tǒng)800上的媒體內(nèi)容可以包括任意類型的音頻、視頻和/或圖像數(shù)據(jù)。計(jì)算系統(tǒng)800包括一個(gè)或多個(gè)數(shù)據(jù)輸入806,經(jīng)由該輸入,任意類型的數(shù)據(jù)、媒體內(nèi)容、和/或輸入可以被接收,例如人類語(yǔ)言、與雷達(dá)場(chǎng)的交互、用戶可選擇的輸入(明確的或不明確的)、信息、音樂(lè)、電視媒體內(nèi)容、錄制的視頻內(nèi)容、以及從任意內(nèi)容和/或數(shù)據(jù)源接收的任意其它類型的音頻、視頻和/或圖形數(shù)據(jù)。
計(jì)算系統(tǒng)800還包括通信接口808,其可以實(shí)現(xiàn)為串行和/或并行接口、無(wú)線接口、任意類型的網(wǎng)路接口、調(diào)制解調(diào)器中的任意一個(gè)或多個(gè),以及實(shí)現(xiàn)為任意其它類型的通信接口。通信接口808提供計(jì)算系統(tǒng)800和通信網(wǎng)絡(luò)之間的連接和/或通信鏈路,其它電子設(shè)備、計(jì)算設(shè)備和通信設(shè)備通過(guò)該通信接口與計(jì)算系統(tǒng)800通信數(shù)據(jù)。
計(jì)算系統(tǒng)800包括一個(gè)或多個(gè)處理器810(例如,任何微型處理器、控制器等),其處理各種計(jì)算機(jī)可執(zhí)行的指令以控制計(jì)算系統(tǒng)800的操作,并且實(shí)現(xiàn)用于非視距的基于雷達(dá)的姿勢(shì)識(shí)別的技術(shù),或在其中可以實(shí)施該技術(shù)。替代地或另外地,計(jì)算系統(tǒng)800可以通過(guò)硬件、固件、或固定邏輯電路中的一個(gè)或組合實(shí)現(xiàn),所述固定邏輯電路實(shí)現(xiàn)為連接在812處一般性示出的處理和控制電路。盡管未示出,但是計(jì)算系統(tǒng)800可以包括系統(tǒng)總線或數(shù)據(jù)傳輸系統(tǒng),其聯(lián)接設(shè)備內(nèi)的各種部件。系統(tǒng)總線可以包括不同總線結(jié)構(gòu)的任一種或組合,例如存儲(chǔ)器總線或存儲(chǔ)器控制器、外圍總線、通用串行總線、和/或處理器或局域總線,其使用各種總線架構(gòu)中的任意類型。
計(jì)算系統(tǒng)800還包括計(jì)算機(jī)可讀介質(zhì)814,例如一個(gè)或多個(gè)存儲(chǔ)器設(shè)備,其允許永久性的和/或非暫時(shí)性的數(shù)據(jù)存儲(chǔ)(即與僅僅是信號(hào)傳輸相反),其示例包括隨機(jī)訪問(wèn)存儲(chǔ)器(RAM)、非易失性存儲(chǔ)器(例如只讀存儲(chǔ)器(ROM)、閃存、EPROM,EEPROM等中的任意一個(gè)或多個(gè))以及磁盤存儲(chǔ)設(shè)備。磁盤存儲(chǔ)設(shè)備可以實(shí)現(xiàn)為任意類型的磁學(xué)或光學(xué)存儲(chǔ)設(shè)備,例如硬盤驅(qū)動(dòng)器、可錄制和/或可重寫的光盤(CD)、任意類型的數(shù)據(jù)多樣化數(shù)位光碟(DVD)等。計(jì)算系統(tǒng)800還可以包括質(zhì)量存儲(chǔ)介質(zhì)設(shè)備816。
計(jì)算機(jī)可讀介質(zhì)814提供數(shù)據(jù)存儲(chǔ)機(jī)制,以存儲(chǔ)設(shè)備數(shù)據(jù)804,以及各種設(shè)備應(yīng)用818以及任意其它類型的信息和/或與計(jì)算系統(tǒng)800的操作方面相關(guān)的數(shù)據(jù)。例如,操作系統(tǒng)820可以通過(guò)計(jì)算機(jī)可讀介質(zhì)814保持為計(jì)算機(jī)應(yīng)用,并且在處理器810上執(zhí)行。設(shè)備應(yīng)用818可以包括設(shè)備管理器,例如任意形式的控制應(yīng)用、軟件應(yīng)用、信號(hào)處理和控制模塊、在特定設(shè)備本地的代碼、用于特定設(shè)備的硬件抽象層等。
設(shè)備應(yīng)用818還包括任意的系統(tǒng)部件、引擎、或管理器,以實(shí)現(xiàn)非視距的基于雷達(dá)的姿勢(shì)識(shí)別。在這一示例中,設(shè)備應(yīng)用818包括場(chǎng)管理器206和系統(tǒng)管理器224。
結(jié)論
盡管已經(jīng)具體于特征和/或方法的文字而描述了使用非視距的基于雷達(dá)的姿勢(shì)識(shí)別的技術(shù)和實(shí)現(xiàn)非視距的基于雷達(dá)的姿勢(shì)識(shí)別的設(shè)備的實(shí)施例,但是將理解,所附權(quán)利要求書的主題不必需地限制至所描述的具體特征或方法。而是,具體的特征和方法作為實(shí)現(xiàn)非視距的基于雷達(dá)的姿勢(shì)識(shí)別的示例性實(shí)施例而公開。