本發(fā)明涉及控制領(lǐng)域，尤其涉及一種終端設(shè)備控制方法和裝置。

背景技術(shù)：

目前，在智能家居領(lǐng)域，對(duì)終端設(shè)備(如：空調(diào)、電視、風(fēng)扇、電燈、窗簾等)的控制，盡管已經(jīng)超越了傳統(tǒng)的遙控器和按鈕控制時(shí)代，但利用無(wú)線(xiàn)藍(lán)牙、wifi和移動(dòng)互聯(lián)網(wǎng)技術(shù)的手機(jī)app控制技術(shù)依然停留在需要用戶(hù)進(jìn)行點(diǎn)擊操作的階段，并且功能越多，操作步驟越復(fù)雜，導(dǎo)致了很用戶(hù)不會(huì)操作，例如不知道怎么對(duì)智能電視切換頻道，不會(huì)用app操作家里的空調(diào)。

現(xiàn)有的技術(shù)，不論是人手動(dòng)控制、遙控器控制還是手機(jī)app控制終端設(shè)備，都是需要人的參與，終端設(shè)備被動(dòng)接受控制指令。更為重要的是，終端設(shè)備不能夠主動(dòng)識(shí)別用戶(hù)的行為，并自動(dòng)下發(fā)指令。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的主要目的在于克服上述現(xiàn)有技術(shù)的缺陷，提供一種終端設(shè)備控制方法和裝置，以解決現(xiàn)有技術(shù)中終端設(shè)備被動(dòng)接受控制指令，不能夠主動(dòng)識(shí)別用戶(hù)的行為的問(wèn)題。

本發(fā)明一方面提供了一種終端設(shè)備控制方法，包括：通過(guò)所述終端設(shè)備連接的拍攝設(shè)備捕獲用戶(hù)行為信息；識(shí)別捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令；根據(jù)識(shí)別出的終端設(shè)備控制指令控制所述終端設(shè)備。

可選地，識(shí)別捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令，包括；對(duì)捕獲到的用戶(hù)行為信息進(jìn)行識(shí)別，以轉(zhuǎn)換成相應(yīng)的行為含義信息；

將轉(zhuǎn)換成的行為含義信息進(jìn)行終端設(shè)備控制指令匹配，以獲取所述用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。

可選地，識(shí)別捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令，還包括：若所述終端設(shè)備設(shè)置為使用用戶(hù)自定義行為信息進(jìn)行終端設(shè)備控制指令匹配，則根據(jù)預(yù)先設(shè)置的用戶(hù)自定義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系，獲取與所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。

可選地，所述用戶(hù)自定義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系通過(guò)如下方式進(jìn)行預(yù)先設(shè)置：在任意終端設(shè)備控制指令的自定義行為信息設(shè)置模式下，采集用戶(hù)自定義行為信息，并保存采集到的用戶(hù)自定義信息與所述終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系。

可選地，對(duì)捕獲到的用戶(hù)行為信息進(jìn)行識(shí)別，以轉(zhuǎn)換成相應(yīng)的行為含義信息，包括：基于預(yù)先建立的行為信息識(shí)別模型對(duì)捕獲到的用戶(hù)行為信息進(jìn)行識(shí)別，以獲取所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的行為含義信息；其中，所述用戶(hù)行為信息包括用戶(hù)行為圖像和/或用戶(hù)行為視頻；所述行為信息識(shí)別模型包括圖像識(shí)別模型和/或動(dòng)作識(shí)別模型。

可選地，對(duì)轉(zhuǎn)換成的行為含義信息進(jìn)行終端設(shè)備控制指令匹配，以獲取所述用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令，包括：在預(yù)先保存的語(yǔ)義信息中查找與所述行為含義信息匹配的語(yǔ)義信息；根據(jù)預(yù)先配置的語(yǔ)義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系，查找與所述行為含義信息匹配的語(yǔ)義信息所對(duì)應(yīng)的終端設(shè)備控制指令，以作為所述用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令；其中，所述預(yù)先配置的語(yǔ)義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系中每個(gè)終端設(shè)備控制指令對(duì)應(yīng)至少一個(gè)語(yǔ)義信息。

可選地，在預(yù)先保存的語(yǔ)義信息中查找與所述行為含義信息匹配的語(yǔ)義信息，包括：在預(yù)先保存的語(yǔ)義信息中查找與所述行為含義信息的相似度達(dá)到預(yù)定閾值的語(yǔ)義信息，作為候選語(yǔ)義信息；將所述候選語(yǔ)義信息中與所述行為含義信息的相似度最高的語(yǔ)義信息作為與所述行為含義信息匹配的語(yǔ)義信息。

可選地，所述方法還包括：保存所述捕獲到的用戶(hù)行為信息與所述識(shí)別出的終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系，作為針對(duì)所述終端設(shè)備的終端設(shè)備控制指令的行為信息訓(xùn)練樣本，以用于建立對(duì)用戶(hù)行為信息進(jìn)行識(shí)別的行為信息識(shí)別模型。

可選地，所述方法還包括：采集多個(gè)用戶(hù)觸發(fā)所述終端設(shè)備的終端設(shè)備控制指令之前的用戶(hù)行為信息，作為針對(duì)所述終端設(shè)備的終端設(shè)備控制指令的行為信息訓(xùn)練樣本，以用于建立對(duì)用戶(hù)行為信息進(jìn)行識(shí)別的行為信息識(shí)別模型。

可選地，識(shí)別捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令，包括；將捕獲到的用戶(hù)行為信息上傳到服務(wù)器，由服務(wù)器識(shí)別所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令；接收所述服務(wù)器返回的所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。

可選地，識(shí)別捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令，包括：識(shí)別所述捕獲到的用戶(hù)行為信息中的用戶(hù)，以獲取所述用戶(hù)對(duì)應(yīng)行為信息識(shí)別模型；基于所述用戶(hù)對(duì)應(yīng)的行為信息識(shí)別模型對(duì)所述捕獲到的用戶(hù)行為信息進(jìn)行識(shí)別，以轉(zhuǎn)換成相應(yīng)的行為含義信息；對(duì)轉(zhuǎn)換成的行為含義信息進(jìn)行終端設(shè)備控制指令匹配，以獲取所述用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。

可選地，所述用戶(hù)對(duì)應(yīng)的行為信息識(shí)別模型通過(guò)如下方式建立：采集所述用戶(hù)觸發(fā)所述終端設(shè)備的終端設(shè)備控制指令之前的行為信息，作為所述用戶(hù)的行為信息訓(xùn)練樣本；基于所述用戶(hù)的行為信息訓(xùn)練樣本進(jìn)行模型訓(xùn)練，建立用于對(duì)所述用戶(hù)的用戶(hù)行為信息進(jìn)行識(shí)別的行為信息識(shí)別模型。

可選地，根據(jù)識(shí)別出的終端設(shè)備控制指令控制所述終端設(shè)備，包括：通過(guò)語(yǔ)音信息提示用戶(hù)是否執(zhí)行所述識(shí)別出的終端設(shè)備控制指令；若用戶(hù)確定執(zhí)行所述識(shí)別出的終端設(shè)備控制指令，則根據(jù)所述識(shí)別出的終端設(shè)備控制指令控制所述終端設(shè)備。

可選地，所述拍攝設(shè)備為3d拍攝設(shè)備。

可選地，所述終端設(shè)備包括空調(diào)、洗衣機(jī)、冰箱、電視機(jī)、電風(fēng)扇、窗簾、電燈。

本發(fā)明另一方面提供了一種終端設(shè)備控制裝置，包括：捕獲單元，用于通過(guò)所述終端設(shè)備連接的拍攝設(shè)備捕獲用戶(hù)行為信息；識(shí)別單元，用于識(shí)別捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令；控制單元，用于根據(jù)識(shí)別出的終端設(shè)備控制指令控制所述終端設(shè)備。

可選地，所述識(shí)別單元包括；轉(zhuǎn)換單元，用于對(duì)捕獲到的用戶(hù)行為信息進(jìn)行識(shí)別，以轉(zhuǎn)換成相應(yīng)的行為含義信息；匹配單元，用于將轉(zhuǎn)換成的行為含義信息進(jìn)行終端設(shè)備控制指令匹配，以獲取所述用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。

可選地，所述識(shí)別單元進(jìn)一步用于：若所述終端設(shè)備設(shè)置為使用用戶(hù)自定義行為信息進(jìn)行終端設(shè)備控制指令匹配，則根據(jù)預(yù)先設(shè)置的用戶(hù)自定義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系，獲取與所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。

可選地，所述用戶(hù)自定義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系通過(guò)如下方式進(jìn)行預(yù)先設(shè)置：在任意終端設(shè)備控制指令的自定義行為信息設(shè)置模式下，采集用戶(hù)自定義行為信息；保存采集到的用戶(hù)自定義信息與所述終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系。

可選地，所述轉(zhuǎn)換單元進(jìn)一步用于：基于預(yù)先建立的行為信息識(shí)別模型對(duì)捕獲到的用戶(hù)行為信息進(jìn)行識(shí)別，以獲取所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的行為含義信息；其中，所述用戶(hù)行為信息包括用戶(hù)行為圖像和/或用戶(hù)行為視頻；所述行為信息識(shí)別模型包括圖像識(shí)別模型和/或動(dòng)作識(shí)別模型。

可選地，所述匹配單元包括：第一查找子單元，用于在預(yù)先保存的語(yǔ)義信息中查找與所述行為含義信息匹配的語(yǔ)義信息；第二查找子單元，用于根據(jù)預(yù)先配置的語(yǔ)義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系，查找與所述行為含義信息匹配的語(yǔ)義信息所對(duì)應(yīng)的終端設(shè)備控制指令，以作為所述用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令；其中，所述預(yù)先配置的語(yǔ)義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系中每個(gè)終端設(shè)備控制指令對(duì)應(yīng)至少一個(gè)語(yǔ)義信息。

可選地，所述第一查找子單元進(jìn)一步用于：在預(yù)先保存的語(yǔ)義信息中查找與所述行為含義信息的相似度達(dá)到預(yù)定閾值的語(yǔ)義信息，作為候選語(yǔ)義信息；將所述候選語(yǔ)義信息中與所述行為含義信息的相似度最高的語(yǔ)義信息作為與所述行為含義信息匹配的語(yǔ)義信息。

可選地，所述裝置還包括：保存單元，用于保存所述捕獲到的用戶(hù)行為信息與所述識(shí)別出的所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系，作為針對(duì)所述終端設(shè)備的終端設(shè)備控制指令的行為信息訓(xùn)練樣本，以用于建立對(duì)用戶(hù)行為信息進(jìn)行識(shí)別的行為信息識(shí)別模型。

可選地，所述裝置還包括：采集單元，用于采集多個(gè)用戶(hù)觸發(fā)所述終端設(shè)備的終端設(shè)備控制指令之前的用戶(hù)行為信息，作為針對(duì)所述終端設(shè)備的終端設(shè)備控制指令的行為信息訓(xùn)練樣本，以用于建立對(duì)用戶(hù)行為信息進(jìn)行識(shí)別的行為信息識(shí)別模型。

可選地，所述識(shí)別單元進(jìn)一步用于：將捕獲到的用戶(hù)行為信息上傳到服務(wù)器，由服務(wù)器識(shí)別所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令；接收所述服務(wù)器返回的所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。

可選地，所述識(shí)別單元，包括：用戶(hù)識(shí)別單元，用于識(shí)別所述捕獲到的用戶(hù)行為信息中的用戶(hù)，以獲取所述用戶(hù)對(duì)應(yīng)行為信息識(shí)別模型；信息識(shí)別單元，用于基于所述用戶(hù)對(duì)應(yīng)的行為信息模型對(duì)所述捕獲到的用戶(hù)行為信息進(jìn)行識(shí)別，以轉(zhuǎn)換成相應(yīng)的行為含義信息；指令匹配單元，用于對(duì)轉(zhuǎn)換成的行為含義信息進(jìn)行終端設(shè)備控制指令匹配，以獲取所述用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。

可選地，所述用戶(hù)對(duì)應(yīng)的行為信息識(shí)別模型通過(guò)如下方式建立：采集所述用戶(hù)觸發(fā)所述終端設(shè)備的終端設(shè)備控制指令之前的行為信息，作為所述用戶(hù)的行為信息訓(xùn)練樣本；基于所述用戶(hù)的行為信息訓(xùn)練樣本進(jìn)行模型訓(xùn)練，建立用于對(duì)所述用戶(hù)的用戶(hù)行為信息進(jìn)行識(shí)別的行為信息識(shí)別模型。

可選地，所述控制單元進(jìn)一步用于：通過(guò)語(yǔ)音信息提示用戶(hù)是否執(zhí)行所述識(shí)別出的終端設(shè)備控制指令；若用戶(hù)確定執(zhí)行所述識(shí)別出的終端設(shè)備控制指令，則根據(jù)所述識(shí)別出的終端設(shè)備控制指令控制所述終端設(shè)備。

可選地，所述拍攝設(shè)備為3d拍攝設(shè)備。

可選地，所述終端設(shè)備包括空調(diào)、洗衣機(jī)、冰箱、電視機(jī)、電風(fēng)扇、窗簾、電燈。

根據(jù)本發(fā)明的技術(shù)方案，通過(guò)所述終端設(shè)備連接的拍攝設(shè)備捕獲用戶(hù)行為信息，并識(shí)別捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令，以根據(jù)識(shí)別出的終端設(shè)備控制指令控制所述終端設(shè)備，實(shí)現(xiàn)了根據(jù)識(shí)別用戶(hù)行為自動(dòng)執(zhí)行相應(yīng)的終端設(shè)備控制指令；并且本發(fā)明能夠?qū)崿F(xiàn)針對(duì)特定用戶(hù)個(gè)人對(duì)終端設(shè)備做出的相關(guān)行為進(jìn)行采集和分析訓(xùn)練，建立針對(duì)該特定用戶(hù)的行為信息識(shí)別模型，以針對(duì)特定用戶(hù)的行為實(shí)現(xiàn)終端設(shè)備的自動(dòng)控制；本發(fā)明還能針對(duì)不同用戶(hù)做出的行為均可以進(jìn)行識(shí)別，從而實(shí)現(xiàn)根據(jù)用戶(hù)行為洞悉用戶(hù)的行為意圖和動(dòng)機(jī)，進(jìn)行終端設(shè)備的自動(dòng)控制。

附圖說(shuō)明

此處所說(shuō)明的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本發(fā)明的一部分，本發(fā)明的示意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中：

圖1是本發(fā)明提供的終端設(shè)備控制方法的一實(shí)施例的方法示意圖；

圖2是根據(jù)本發(fā)明一具體實(shí)施方式的識(shí)別捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令的步驟的具體流程圖；

圖3是根據(jù)本發(fā)明再一具體實(shí)施方式的識(shí)別捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令的步驟的具體流程圖；

圖4是本發(fā)明提供的終端設(shè)備控制方法的一具體實(shí)施例的流程示意圖；

圖5是本發(fā)明提供的終端設(shè)備控制裝置的一實(shí)施例的結(jié)構(gòu)示意圖；

圖6是根據(jù)本發(fā)明一具體實(shí)施方式的識(shí)別單元的結(jié)構(gòu)框圖；

圖7是根據(jù)本發(fā)明再一具體實(shí)施方式的識(shí)別單元的結(jié)構(gòu)框圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明具體實(shí)施例及相應(yīng)的附圖對(duì)本發(fā)明技術(shù)方案進(jìn)行清楚、完整地描述。顯然，所描述的實(shí)施例僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

需要說(shuō)明的是，本發(fā)明的說(shuō)明書(shū)和權(quán)利要求書(shū)及上述附圖中的術(shù)語(yǔ)“第一”、“第二”等是用于區(qū)別類(lèi)似的對(duì)象，而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換，以便這里描述的本發(fā)明的實(shí)施例能夠以除了在這里圖示或描述的那些以外的順序?qū)嵤?。此外，術(shù)語(yǔ)“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟或單元的過(guò)程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元，而是可包括沒(méi)有清楚地列出的或?qū)τ谶@些過(guò)程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。

圖1是本發(fā)明提供的終端設(shè)備控制方法的一實(shí)施例的方法示意圖。

如圖1所示，根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述終端設(shè)備控制方法至少包括步驟s110、步驟s120和步驟s130。

步驟s110，通過(guò)所述終端設(shè)備連接的拍攝設(shè)備捕獲用戶(hù)行為信息。

所述終端設(shè)備具體可以為空調(diào)、洗衣機(jī)、冰箱、電視機(jī)、電風(fēng)扇、窗簾、電燈等。所述終端設(shè)備連接的拍攝設(shè)備具體可以為照相機(jī)、3d攝像機(jī)等；所述拍攝設(shè)備捕獲的用戶(hù)行為信息具體可以包括用戶(hù)行為圖像和/或用戶(hù)行為視頻。

步驟s120，識(shí)別捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。

圖2是根據(jù)本發(fā)明一具體實(shí)施方式的識(shí)別捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令的步驟的具體流程圖，如圖2所示，在一種具體實(shí)施方式中，所述步驟s120具體包括步驟s121和步驟s122。

步驟s121，對(duì)捕獲到的用戶(hù)行為信息進(jìn)行識(shí)別，以轉(zhuǎn)換成相應(yīng)的行為含義信息。

在一種具體實(shí)施方式中，基于預(yù)先建立的行為信息識(shí)別模型對(duì)捕獲到的用戶(hù)行為信息進(jìn)行識(shí)別，以獲取所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的行為含義信息。其中，所述用戶(hù)行為信息包括用戶(hù)行為圖像和/或用戶(hù)行為視頻；所述行為信息識(shí)別模型包括圖像識(shí)別模型和/或動(dòng)作識(shí)別模型。當(dāng)所述捕獲到的用戶(hù)行為信息為用戶(hù)行為圖像時(shí)，根據(jù)預(yù)先建立的圖像識(shí)別模型對(duì)捕獲到的用戶(hù)行為圖像進(jìn)行圖像識(shí)別，以獲取所述用戶(hù)行為圖像對(duì)應(yīng)的行為含義信息；和/或，當(dāng)所述捕獲到的用戶(hù)行為信息為用戶(hù)行為視頻時(shí)，根據(jù)預(yù)先建立的動(dòng)作識(shí)別模型對(duì)捕獲到的用戶(hù)行為視頻進(jìn)行動(dòng)作識(shí)別，以獲取所述用戶(hù)行為視頻對(duì)應(yīng)的行為含義信息。其中，將進(jìn)行圖像識(shí)別后識(shí)別出的所述用戶(hù)行為圖像的語(yǔ)義信息，作為所述用戶(hù)行為圖像的行為含義信息，和/或，將進(jìn)行動(dòng)作識(shí)別后識(shí)別出的所述用戶(hù)行為視頻的語(yǔ)義信息，作為所述用戶(hù)行為視頻的行為含義信息。例如，識(shí)別出用戶(hù)行為圖像中的ok手勢(shì)為“好的”的意思，則將“好的”作為用戶(hù)行為圖像的行為含義信息。

步驟s122，對(duì)轉(zhuǎn)換成的行為含義信息進(jìn)行終端設(shè)備控制指令匹配，以獲取所述用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。

具體地，在預(yù)先保存的語(yǔ)義信息中查找與所述行為含義信息匹配的語(yǔ)義信息；根據(jù)預(yù)先配置的語(yǔ)義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系，查找與所述行為含義信息匹配的語(yǔ)義信息所對(duì)應(yīng)的終端設(shè)備控制指令，以作為所述用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。

更具體而言，在預(yù)先保存的語(yǔ)義信息中查找與所述行為含義信息的相似度達(dá)到預(yù)定閾值的語(yǔ)義信息，作為候選語(yǔ)義信息；將所述候選語(yǔ)義信息中與所述行為含義信息的相似度最高的語(yǔ)義信息作為與所述行為含義信息匹配的語(yǔ)義信息；再?gòu)念A(yù)先配置的語(yǔ)義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系中查找與所述行為含義信息匹配的語(yǔ)義信息所對(duì)應(yīng)的終端設(shè)備控制指令，以作為所述用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。其中，所述預(yù)先配置的語(yǔ)義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系中每個(gè)終端設(shè)備控制指令對(duì)應(yīng)至少一個(gè)語(yǔ)義信息，也就是說(shuō)，每個(gè)終端設(shè)備控制指令可以對(duì)應(yīng)多個(gè)語(yǔ)義信息。例如，“是”、“好的”、“ok”、“同意”等語(yǔ)義信息含義相似或相同，它們可以均對(duì)應(yīng)同一個(gè)終端設(shè)備控制指令。

在另一種具體實(shí)施方式中，步驟s120還包括：若所述終端設(shè)備設(shè)置為使用用戶(hù)自定義行為信息進(jìn)行終端設(shè)備控制指令匹配，則根據(jù)預(yù)先設(shè)置的用戶(hù)自定義行為信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系，獲取與所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。

具體地，在對(duì)所述捕獲到的用戶(hù)行為信息進(jìn)行識(shí)別之前，先判斷所述終端設(shè)備是否設(shè)置為使用用戶(hù)自定義行為信息進(jìn)行終端設(shè)備控制指令匹配，若是，則根據(jù)預(yù)先設(shè)置的用戶(hù)自定義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系，獲取與所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。

首先，在所述預(yù)先設(shè)置的用戶(hù)自定義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系中查找與所述捕獲到的用戶(hù)行為信息匹配的用戶(hù)自定義行為信息；具體地，將所述捕獲到的用戶(hù)行為信息分別與每一個(gè)用戶(hù)行為信息進(jìn)行特征匹配；將與所述捕獲到的用戶(hù)行為信息的匹配度超過(guò)預(yù)定閾值的用戶(hù)自定義行為信息作為與所述捕獲到的用戶(hù)行為信息匹配的用戶(hù)自定義行為信息；然后，根據(jù)所述對(duì)應(yīng)關(guān)系查找與所述捕獲到的用戶(hù)行為信息匹配的用戶(hù)自定義行為信息對(duì)應(yīng)的終端設(shè)備控制指令，以作為所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。所述預(yù)先設(shè)置的用戶(hù)自定義行為信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系可以保存在服務(wù)器端。

所述用戶(hù)自定義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系通過(guò)如下方式進(jìn)行預(yù)先設(shè)置：在任意終端設(shè)備控制指令的自定義行為信息設(shè)置模式下，采集用戶(hù)自定義行為信息，并保存采集到的用戶(hù)自定義行為信息與所述終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系。

例如，在開(kāi)機(jī)指令的自定義行為信息設(shè)置模式下，通過(guò)所述終端設(shè)備連接的拍攝設(shè)備采集用戶(hù)行為圖像和/或用戶(hù)行為視頻，并保存采集到的用戶(hù)行為圖像和/或用戶(hù)行為視頻與開(kāi)機(jī)指令的對(duì)應(yīng)關(guān)系。其中，可通過(guò)語(yǔ)音提示的方式提示用戶(hù)設(shè)置終端設(shè)備控制指令對(duì)應(yīng)的用戶(hù)自定義行為信息，例如，在設(shè)置開(kāi)機(jī)指令對(duì)應(yīng)的用戶(hù)自定義行為信息時(shí)，語(yǔ)音提示用戶(hù)“請(qǐng)做出一個(gè)動(dòng)作用來(lái)開(kāi)機(jī)”，并通過(guò)攝像設(shè)備采集用戶(hù)做出的動(dòng)作的圖像和/或視頻。

在上述具體實(shí)施方式中，若所述終端設(shè)備未設(shè)置為使用用戶(hù)自定義行為信息進(jìn)行終端設(shè)備控制指令匹配，或者，根據(jù)預(yù)先設(shè)置的用戶(hù)自定義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系，未能獲取到與所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令，則執(zhí)行步驟s121和步驟s122。

在又一種具體實(shí)施方式中，所述步驟s120具體包括：將捕獲到的用戶(hù)行為信息上傳到服務(wù)器，由服務(wù)器識(shí)別所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令；接收所述服務(wù)器返回的所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。

其中，所述服務(wù)器識(shí)別所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令具體包括：對(duì)捕獲到的用戶(hù)行為信息進(jìn)行識(shí)別，以轉(zhuǎn)換成相應(yīng)的行為含義信息；對(duì)轉(zhuǎn)換成的行為含義信息進(jìn)行終端設(shè)備控制指令匹配，以獲取所述用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。所述服務(wù)器識(shí)別所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令的具體步驟與前述具體實(shí)施方式中的步驟s121和步驟s122基本一致，可參考前述具體實(shí)施方式中對(duì)步驟s121和步驟s122的描述。

圖3是根據(jù)本發(fā)明再一具體實(shí)施方式的識(shí)別捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令的步驟的具體流程圖；如圖3所示，根據(jù)本發(fā)明的再一種具體實(shí)施方式中，步驟s120包括步驟s123、步驟s124和步驟s125。

步驟s123，識(shí)別所述捕獲到的用戶(hù)行為信息中的用戶(hù)，以獲取所述用戶(hù)對(duì)應(yīng)行為信息識(shí)別模型。

具體而言，可通過(guò)人臉識(shí)別來(lái)識(shí)別所述捕獲到的用戶(hù)行為信息中的行為用戶(hù)，再獲取識(shí)別出的行為用戶(hù)對(duì)應(yīng)的行為信息識(shí)別模型。

步驟s124，基于所述用戶(hù)對(duì)應(yīng)的行為信息識(shí)別模型對(duì)所述捕獲到的用戶(hù)行為信息進(jìn)行識(shí)別，以轉(zhuǎn)換成相應(yīng)的行為含義信息。

所述用戶(hù)行為信息包括用戶(hù)行為圖像和/或用戶(hù)行為視頻；所述行為信息識(shí)別模型包括圖像識(shí)別模型和/或動(dòng)作識(shí)別模型。所述用戶(hù)對(duì)應(yīng)的行為信息識(shí)別模型通過(guò)如下方式建立：采集所述用戶(hù)觸發(fā)所述終端設(shè)備的終端設(shè)備控制指令之前的行為信息，作為所述用戶(hù)的行為信息訓(xùn)練樣本；基于所述用戶(hù)的行為信息訓(xùn)練樣本進(jìn)行模型訓(xùn)練，建立用于對(duì)所述用戶(hù)的用戶(hù)行為信息進(jìn)行識(shí)別的行為信息識(shí)別模型。例如，該用戶(hù)每次坐在電視機(jī)前方，并拿起電視機(jī)遙控器時(shí)，就會(huì)用遙控器打開(kāi)電視機(jī)，若通過(guò)電視機(jī)連接的拍攝設(shè)備采集到多次用戶(hù)進(jìn)行上述行為后打開(kāi)了電視機(jī)，則建立的該用戶(hù)的行為識(shí)別模型中就會(huì)將用戶(hù)打開(kāi)電視機(jī)之前進(jìn)行的上述行為識(shí)別為“打開(kāi)電視機(jī)”，則捕獲到該用戶(hù)再次進(jìn)行上述行為后通過(guò)該用戶(hù)對(duì)應(yīng)的行為信息識(shí)別模型進(jìn)行識(shí)別，可識(shí)別出該用戶(hù)的上述行為的含義為打開(kāi)電視機(jī)。

步驟s125，對(duì)轉(zhuǎn)換成的行為含義信息進(jìn)行終端設(shè)備控制指令匹配，以獲取所述用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。

具體地，在預(yù)先保存的語(yǔ)義信息中查找與所述行為含義信息匹配的語(yǔ)義信息；根據(jù)預(yù)先配置的語(yǔ)義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系，查找與所述行為含義信息匹配的語(yǔ)義信息所對(duì)應(yīng)的終端設(shè)備控制指令，以作為所述用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。其中，所述預(yù)先配置的語(yǔ)義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系中每個(gè)終端設(shè)備控制指令對(duì)應(yīng)至少一個(gè)語(yǔ)義信息。例如，捕獲到將用戶(hù)坐在電視機(jī)前方并拿起電視機(jī)遙控器的行為視頻，并通過(guò)識(shí)別轉(zhuǎn)換為“打開(kāi)電視機(jī)”的行為含義信息，并查找到“打開(kāi)電視機(jī)”對(duì)應(yīng)電視機(jī)的“開(kāi)機(jī)”指令，則將電視機(jī)的“開(kāi)機(jī)”指令作為捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。

由于不同用戶(hù)在進(jìn)行對(duì)終端設(shè)備的某項(xiàng)操作時(shí)的行為可能會(huì)不同，通過(guò)上述步驟s123～步驟s125能夠?qū)崿F(xiàn)針對(duì)特定用戶(hù)個(gè)人對(duì)終端設(shè)備做出的相關(guān)行為進(jìn)行采集和分析訓(xùn)練，建立針對(duì)該特定用戶(hù)的行為信息識(shí)別模型，以針對(duì)特定用戶(hù)的行為實(shí)現(xiàn)終端設(shè)備的自動(dòng)控制。

步驟s130，根據(jù)識(shí)別出的終端設(shè)備控制指令控制所述終端設(shè)備。

在一種具體實(shí)施方式中，直接控制所述終端設(shè)備執(zhí)行所述終端設(shè)備控制指令。例如。識(shí)別出的終端設(shè)備控制指令為開(kāi)機(jī)，則控制所述終端設(shè)備開(kāi)機(jī)。

在另一種具體實(shí)施方式中，通過(guò)語(yǔ)音信息提示用戶(hù)是否執(zhí)行所述識(shí)別出的終端設(shè)備控制指令；若用戶(hù)確定執(zhí)行所述識(shí)別出的終端設(shè)備控制指令，則根據(jù)所述識(shí)別出的終端設(shè)備控制指令控制所述終端設(shè)備。

具體地，當(dāng)識(shí)別出捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令時(shí)，發(fā)出語(yǔ)音信息以提示用戶(hù)是否執(zhí)行該終端設(shè)備控制指令，根據(jù)接收到的用戶(hù)語(yǔ)音命令確定是否執(zhí)行該識(shí)別出的終端控制指令，若用戶(hù)確定執(zhí)行，則根據(jù)該識(shí)別出的終端設(shè)備控制指令控制所述終端設(shè)備。其中，通過(guò)對(duì)用戶(hù)發(fā)出的語(yǔ)音命令進(jìn)行語(yǔ)音識(shí)別，確定是否執(zhí)行該識(shí)別出的終端控制指令。例如，向用戶(hù)發(fā)出語(yǔ)音提示“請(qǐng)問(wèn)現(xiàn)在為您開(kāi)啟空調(diào)嗎？”若接收到用戶(hù)的語(yǔ)音命令為“是”，則控制空調(diào)開(kāi)啟。

基于上述實(shí)施例，該方法還包括：保存所述捕獲到的用戶(hù)行為信息與識(shí)別出的終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系，作為針對(duì)所述終端設(shè)備的終端設(shè)備控制指令的行為信息訓(xùn)練樣本，以用于建立對(duì)用戶(hù)行為信息進(jìn)行識(shí)別的行為信息識(shí)別模型。

具體地，每次通過(guò)對(duì)捕獲到的用戶(hù)行為信息進(jìn)行識(shí)別得到對(duì)應(yīng)的終端設(shè)備控制指令，并根據(jù)識(shí)別出的終端設(shè)備控制指令控制所述終端設(shè)備后，就將該用戶(hù)行為信息和得到的對(duì)應(yīng)的終端設(shè)備控制指令作為行為信息訓(xùn)練樣本進(jìn)行保存，用于建立行為信息識(shí)別模型。

基于上述任意實(shí)施例，該方法還包括：采集多個(gè)用戶(hù)觸發(fā)所述終端設(shè)備的終端設(shè)備控制指令之前的用戶(hù)行為信息，作為針對(duì)所述終端設(shè)備的終端設(shè)備控制指令的行為信息訓(xùn)練樣本，以用于建立對(duì)用戶(hù)行為信息進(jìn)行識(shí)別的行為信息識(shí)別模型。

例如，大多數(shù)的用戶(hù)每次坐在電視機(jī)前方，并拿起電視機(jī)遙控器時(shí)，就會(huì)用遙控器打開(kāi)電視機(jī)，若通過(guò)電視機(jī)連接的拍攝設(shè)備采集到多個(gè)用戶(hù)進(jìn)行上述行為后打開(kāi)了電視機(jī)，則建立的行為識(shí)別模型中就會(huì)將用戶(hù)打開(kāi)電視機(jī)之前進(jìn)行的上述行為識(shí)別為“打開(kāi)電視機(jī)”。

通過(guò)對(duì)多個(gè)用戶(hù)對(duì)終端設(shè)備做出的相關(guān)行為進(jìn)行采集和分析訓(xùn)練，建立針對(duì)終端設(shè)備控制指令地用戶(hù)行為信息進(jìn)行識(shí)別的行為信息識(shí)別模型，提高了行為信息識(shí)別的可靠性，從而針對(duì)不同用戶(hù)做出的行為均可以進(jìn)行識(shí)別，從而實(shí)現(xiàn)根據(jù)用戶(hù)行為洞悉用戶(hù)的行為意圖和動(dòng)機(jī)，用以進(jìn)行終端設(shè)備的自動(dòng)控制。

圖4是本發(fā)明提供的終端設(shè)備控制方法的一具體實(shí)施例的流程示意圖，以下結(jié)合圖4對(duì)該終端設(shè)備控制方法的具體實(shí)施例進(jìn)行描述。

步驟s201，通過(guò)終端設(shè)備連接的拍攝設(shè)備捕獲用戶(hù)行為信息。

步驟s202，判斷所述終端設(shè)備是否設(shè)置了使用用戶(hù)自定義行為信息進(jìn)行終端設(shè)備控制指令匹配，若是，則執(zhí)行步驟s203，若否，則執(zhí)行步驟s205。

步驟s203，若所述終端設(shè)備設(shè)置了使用自定義行為信息進(jìn)行終端設(shè)備控制指令匹配，則根據(jù)預(yù)設(shè)的用戶(hù)自定義行為信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系，獲取對(duì)應(yīng)的終端設(shè)備控制指令。

步驟s204，確定是否獲取到對(duì)應(yīng)的終端設(shè)備控制指令，若是，則執(zhí)行步驟s207，若否，則執(zhí)行步驟s205。

步驟s205，對(duì)捕獲到的用戶(hù)行為信息進(jìn)行識(shí)別，以轉(zhuǎn)換成相應(yīng)的行為含義信息。

步驟s206，對(duì)轉(zhuǎn)換成的行為含義信息進(jìn)行終端設(shè)備控制指令匹配，以獲取對(duì)應(yīng)的終端設(shè)備控制指令。

步驟s207，語(yǔ)音提示用戶(hù)是否執(zhí)行識(shí)別出的終端設(shè)備控制指令，若是，則執(zhí)行步驟s208，若否，則放棄對(duì)終端設(shè)備進(jìn)行控制，并返回步驟s201。

步驟s208，根據(jù)識(shí)別出的終端設(shè)備控制指令控制所述終端設(shè)備。

步驟s209，保存捕獲到的用戶(hù)行為信息與識(shí)別出的終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系作為行為信息訓(xùn)練樣本，流程結(jié)束。

圖5是本發(fā)明提供的終端設(shè)備控制裝置的一實(shí)施例的結(jié)構(gòu)示意圖。如圖5所示，終端設(shè)備控制裝置100包括：捕獲單元110、識(shí)別單元120和控制單元130。

捕獲單元110用于通過(guò)所述終端設(shè)備連接的拍攝設(shè)備捕獲用戶(hù)行為信息；識(shí)別單元120用于識(shí)別捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令；控制單元130用于根據(jù)識(shí)別出的終端設(shè)備控制指令控制所述終端設(shè)備。

所述終端設(shè)備具體可以為空調(diào)、洗衣機(jī)、冰箱、電視機(jī)、電風(fēng)扇、窗簾、電燈等。所述終端設(shè)備連接的拍攝設(shè)備具體可以為照相機(jī)、3d攝像機(jī)等；所述拍攝設(shè)備捕獲的用戶(hù)行為信息具體可以包括用戶(hù)行為圖像和/或用戶(hù)行為視頻。

圖6是根據(jù)本發(fā)明一具體實(shí)施方式的識(shí)別單元的結(jié)構(gòu)框圖。如圖6所示，在一種具體實(shí)施方式中，所述識(shí)別單元120包括轉(zhuǎn)換單元121和匹配單元122。

轉(zhuǎn)換單元121用于對(duì)捕獲到的用戶(hù)行為信息進(jìn)行識(shí)別，以轉(zhuǎn)換成相應(yīng)的行為含義信息；匹配單元122用于將轉(zhuǎn)換成的行為含義信息進(jìn)行終端設(shè)備控制指令匹配，以獲取所述用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。

具體地，所述轉(zhuǎn)換單元121基于預(yù)先建立的行為信息識(shí)別模型對(duì)捕獲到的用戶(hù)行為信息進(jìn)行識(shí)別，以獲取所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的行為含義信息。其中，所述用戶(hù)行為信息包括用戶(hù)行為圖像和/或用戶(hù)行為視頻；所述行為信息識(shí)別模型包括圖像識(shí)別模型和/或動(dòng)作識(shí)別模型。

當(dāng)所述捕獲到的用戶(hù)行為信息為用戶(hù)行為圖像時(shí)，轉(zhuǎn)換單元121根據(jù)預(yù)先建立的圖像識(shí)別模型對(duì)捕獲到的用戶(hù)行為圖像進(jìn)行圖像識(shí)別，以獲取所述用戶(hù)行為圖像對(duì)應(yīng)的行為含義信息；和/或，當(dāng)所述捕獲到的用戶(hù)行為信息為用戶(hù)行為視頻時(shí)，轉(zhuǎn)換單元121根據(jù)預(yù)先建立的動(dòng)作識(shí)別模型對(duì)捕獲到的用戶(hù)行為視頻進(jìn)行動(dòng)作識(shí)別，以獲取所述用戶(hù)行為視頻對(duì)應(yīng)的行為含義信息。其中，轉(zhuǎn)換單元121將進(jìn)行圖像識(shí)別后識(shí)別出的所述用戶(hù)行為圖像的語(yǔ)義信息，作為所述用戶(hù)行為圖像的行為含義信息，和/或，將進(jìn)行動(dòng)作識(shí)別后識(shí)別出的所述用戶(hù)行為視頻的語(yǔ)義信息，作為所述用戶(hù)行為視頻的行為含義信息。例如，轉(zhuǎn)換單元121識(shí)別出用戶(hù)行為圖像中的ok手勢(shì)為“好的”的意思，則將“好的”作為用戶(hù)行為圖像的行為含義信息。

所述匹配單元122包括：第一查找子單元和第二查找子單元。

第一查找子單元，用于在預(yù)先保存的語(yǔ)義信息中查找與所述行為含義信息匹配的語(yǔ)義信息；第二查找子單元，用于根據(jù)預(yù)先配置的語(yǔ)義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系，查找與所述行為含義信息匹配的語(yǔ)義信息所對(duì)應(yīng)的終端設(shè)備控制指令，以作為所述用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令；其中，所述預(yù)先配置的語(yǔ)義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系中每個(gè)終端設(shè)備控制指令對(duì)應(yīng)至少一個(gè)語(yǔ)義信息。

所述第一查找子單元進(jìn)一步用于：在預(yù)先保存的語(yǔ)義信息中查找與所述行為含義信息的相似度達(dá)到預(yù)定閾值的語(yǔ)義信息，作為候選語(yǔ)義信息；將所述候選語(yǔ)義信息中與所述行為含義信息的相似度最高的語(yǔ)義信息作為與所述行為含義信息匹配的語(yǔ)義信息。

具體而言，第一查找子單元在預(yù)先保存的語(yǔ)義信息中查找與所述行為含義信息的相似度達(dá)到預(yù)定閾值的語(yǔ)義信息，作為候選語(yǔ)義信息；將所述候選語(yǔ)義信息中與所述行為含義信息的相似度最高的語(yǔ)義信息作為與所述行為含義信息匹配的語(yǔ)義信息；第二查找子單元從預(yù)先配置的語(yǔ)義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系中查找與所述行為含義信息匹配的語(yǔ)義信息所對(duì)應(yīng)的終端設(shè)備控制指令，以作為所述用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。其中，所述預(yù)先配置的語(yǔ)義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系中每個(gè)終端設(shè)備控制指令對(duì)應(yīng)至少一個(gè)語(yǔ)義信息，也就是說(shuō)，每個(gè)終端設(shè)備控制指令可以對(duì)應(yīng)多個(gè)語(yǔ)義信息。例如，“是”、“好的”、“ok”、“同意”等語(yǔ)義信息含義相似或相同，它們可以均對(duì)應(yīng)同一個(gè)終端設(shè)備控制指令。

在另一種具體實(shí)施方式中，所述識(shí)別單元120進(jìn)一步用于：若所述終端設(shè)備設(shè)置為使用用戶(hù)自定義行為信息進(jìn)行終端設(shè)備控制指令匹配，則根據(jù)預(yù)先設(shè)置的用戶(hù)自定義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系，獲取與所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。

首先，識(shí)別單元120在所述預(yù)先設(shè)置的用戶(hù)自定義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系中查找與所述捕獲到的用戶(hù)行為信息匹配的用戶(hù)自定義行為信息。具體地，識(shí)別單元120將所述捕獲到的用戶(hù)行為信息分別與每一個(gè)用戶(hù)行為信息進(jìn)行特征匹配；將與所述捕獲到的用戶(hù)行為信息的匹配度超過(guò)預(yù)定閾值的用戶(hù)自定義行為信息作為與所述捕獲到的用戶(hù)行為信息匹配的用戶(hù)自定義行為信息；然后，識(shí)別單元120根據(jù)所述對(duì)應(yīng)關(guān)系查找與所述捕獲到的用戶(hù)行為信息匹配的用戶(hù)自定義行為信息對(duì)應(yīng)的終端設(shè)備控制指令，以作為所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。所述預(yù)先設(shè)置的用戶(hù)自定義行為信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系可以保存在服務(wù)器端。

其中，所述用戶(hù)自定義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系通過(guò)如下方式進(jìn)行預(yù)先設(shè)置：在任意終端設(shè)備控制指令的自定義行為信息設(shè)置模式下，采集用戶(hù)自定義行為信息；保存采集到的用戶(hù)自定義信息與所述終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系。

例如，在開(kāi)機(jī)指令的自定義行為信息設(shè)置模式下，通過(guò)所述終端設(shè)備連接的拍攝設(shè)備采集用戶(hù)行為圖像和/或用戶(hù)行為視頻，并保存采集到的用戶(hù)行為圖像和/或用戶(hù)行為視頻與開(kāi)機(jī)指令的對(duì)應(yīng)關(guān)系。其中，可通過(guò)語(yǔ)音提示的方式提示用戶(hù)設(shè)置終端設(shè)備控制指令對(duì)應(yīng)的用戶(hù)自定義行為信息，例如，在設(shè)置開(kāi)機(jī)指令對(duì)應(yīng)的用戶(hù)自定義行為信息時(shí)，語(yǔ)音提示用戶(hù)“請(qǐng)做出一個(gè)動(dòng)作用來(lái)開(kāi)機(jī)”，并通過(guò)攝像設(shè)備采集用戶(hù)做出的動(dòng)作的圖像和/或視頻。

在又一種具體實(shí)施方式中，所述識(shí)別單元120進(jìn)一步用于：將捕獲到的用戶(hù)行為信息上傳到服務(wù)器，由服務(wù)器識(shí)別所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令；接收所述服務(wù)器返回的所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。

所述服務(wù)器識(shí)別所述捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令，具體包括：對(duì)捕獲到的用戶(hù)行為信息進(jìn)行識(shí)別，以轉(zhuǎn)換成相應(yīng)的行為含義信息；對(duì)轉(zhuǎn)換成的行為含義信息進(jìn)行終端設(shè)備控制指令匹配，以獲取所述用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。

圖7是根據(jù)本發(fā)明再一具體實(shí)施方式的識(shí)別單元的結(jié)構(gòu)框圖。如圖7所示，根據(jù)本發(fā)明的再一種具體實(shí)施方式，所述識(shí)別單元120包括：用戶(hù)識(shí)別單元123、信息識(shí)別單元124和指令匹配單元125。

用戶(hù)識(shí)別單元123用于識(shí)別所述捕獲到的用戶(hù)行為信息中的用戶(hù)，以獲取所述用戶(hù)對(duì)應(yīng)行為信息識(shí)別模型；信息識(shí)別單元124用于基于所述用戶(hù)對(duì)應(yīng)的行為信息模型對(duì)所述捕獲到的用戶(hù)行為信息進(jìn)行識(shí)別，以轉(zhuǎn)換成相應(yīng)的行為含義信息；指令匹配單元125用于對(duì)轉(zhuǎn)換成的行為含義信息進(jìn)行終端設(shè)備控制指令匹配，以獲取所述用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。

其中，用戶(hù)識(shí)別單元123可通過(guò)人臉識(shí)別來(lái)識(shí)別所述捕獲到的用戶(hù)行為信息中的行為用戶(hù)，再獲取識(shí)別出的行為用戶(hù)對(duì)應(yīng)的行為信息識(shí)別模型。所述用戶(hù)行為信息包括用戶(hù)行為圖像和/或用戶(hù)行為視頻；所述行為信息識(shí)別模型包括圖像識(shí)別模型和/或動(dòng)作識(shí)別模型。所述用戶(hù)對(duì)應(yīng)的行為信息識(shí)別模型通過(guò)如下方式建立：采集所述用戶(hù)觸發(fā)所述終端設(shè)備的終端設(shè)備控制指令之前的行為信息，作為所述用戶(hù)的行為信息訓(xùn)練樣本；基于所述用戶(hù)的行為信息訓(xùn)練樣本進(jìn)行模型訓(xùn)練，建立用于對(duì)所述用戶(hù)的用戶(hù)行為信息進(jìn)行識(shí)別的行為信息識(shí)別模型。例如，該用戶(hù)每次坐在電視機(jī)前方，并拿起電視機(jī)遙控器時(shí)，就會(huì)用遙控器打開(kāi)電視機(jī)，若通過(guò)電視機(jī)連接的拍攝設(shè)備采集到多次用戶(hù)進(jìn)行上述行為后打開(kāi)了電視機(jī)，則建立的該用戶(hù)的行為識(shí)別模型中就會(huì)將用戶(hù)打開(kāi)電視機(jī)之前進(jìn)行的上述行為識(shí)別為“打開(kāi)電視機(jī)”，則捕獲到該用戶(hù)再次進(jìn)行上述行為后，信息識(shí)別單元124通過(guò)該用戶(hù)對(duì)應(yīng)的行為信息識(shí)別模型對(duì)該用戶(hù)的行為進(jìn)行識(shí)別，可識(shí)別出該用戶(hù)的上述行為的含義為打開(kāi)電視機(jī)。

指令匹配單元125在預(yù)先保存的語(yǔ)義信息中查找與所述行為含義信息匹配的語(yǔ)義信息；根據(jù)預(yù)先配置的語(yǔ)義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系，查找與所述行為含義信息匹配的語(yǔ)義信息所對(duì)應(yīng)的終端設(shè)備控制指令，以作為所述用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。其中，所述預(yù)先配置的語(yǔ)義信息與終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系中每個(gè)終端設(shè)備控制指令對(duì)應(yīng)至少一個(gè)語(yǔ)義信息。例如，捕獲到將用戶(hù)坐在電視機(jī)前方并拿起電視機(jī)遙控器的行為視頻，并通過(guò)識(shí)別轉(zhuǎn)換為“打開(kāi)電視機(jī)”的行為含義信息，并查找到“打開(kāi)電視機(jī)”對(duì)應(yīng)電視機(jī)的“開(kāi)機(jī)”指令，則將電視機(jī)的“開(kāi)機(jī)”指令作為捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令。

所述控制單元130根據(jù)識(shí)別出的終端設(shè)備控制指令控制所述終端設(shè)備。在一種具體實(shí)施方式中，所述控制單元130直接控制所述終端設(shè)備執(zhí)行所述終端設(shè)備控制指令。例如。識(shí)別出的終端設(shè)備控制指令為開(kāi)機(jī)，則控制所述終端設(shè)備開(kāi)機(jī)。在另一種具體實(shí)施方式中，所述控制單元130通過(guò)語(yǔ)音信息提示用戶(hù)是否執(zhí)行所述識(shí)別出的終端設(shè)備控制指令；若用戶(hù)確定執(zhí)行所述識(shí)別出的終端設(shè)備控制指令，則根據(jù)所述識(shí)別出的終端設(shè)備控制指令控制所述終端設(shè)備。

進(jìn)一步地，基于上述實(shí)施例，所述裝置還包括：保存單元，用于保存所述捕獲到的用戶(hù)行為信息與識(shí)別出的終端設(shè)備控制指令的對(duì)應(yīng)關(guān)系，作為針對(duì)所述終端設(shè)備的終端設(shè)備控制指令的行為信息訓(xùn)練樣本，以用于建立對(duì)用戶(hù)行為信息進(jìn)行識(shí)別的行為信息識(shí)別模型。

具體地，每次通過(guò)對(duì)捕獲到的用戶(hù)行為信息進(jìn)行識(shí)別得到對(duì)應(yīng)的終端設(shè)備控制指令，并根據(jù)識(shí)別出的終端設(shè)備控制指令控制所述終端設(shè)備后，所述保存單元就將該用戶(hù)行為信息和得到的對(duì)應(yīng)的終端設(shè)備控制指令作為行為信息訓(xùn)練樣本進(jìn)行保存，用于建立行為信息識(shí)別模型。

進(jìn)一步地，基于上述任意實(shí)施例，所述裝置還包括：采集單元，用于采集多個(gè)用戶(hù)觸發(fā)所述終端設(shè)備的終端設(shè)備控制指令之前的用戶(hù)行為信息，作為針對(duì)所述終端設(shè)備的終端設(shè)備控制指令的行為信息訓(xùn)練樣本，以用于建立對(duì)用戶(hù)行為信息進(jìn)行識(shí)別的行為信息識(shí)別模型。

例如，大多數(shù)的用戶(hù)每次坐在電視機(jī)前方，并拿起電視機(jī)遙控器時(shí)，就會(huì)用遙控器打開(kāi)電視機(jī)，若通過(guò)電視機(jī)連接的拍攝設(shè)備采集到多個(gè)用戶(hù)進(jìn)行上述行為后打開(kāi)了電視機(jī)，則建立的行為識(shí)別模型中就會(huì)將用戶(hù)打開(kāi)電視機(jī)之前進(jìn)行的上述行為識(shí)別為“打開(kāi)電視機(jī)”。

據(jù)此，本發(fā)明提供的方案通過(guò)所述終端設(shè)備連接的拍攝設(shè)備捕獲用戶(hù)行為信息，并識(shí)別捕獲到的用戶(hù)行為信息對(duì)應(yīng)的終端設(shè)備控制指令，以根據(jù)識(shí)別出的終端設(shè)備控制指令控制所述終端設(shè)備，實(shí)現(xiàn)了根據(jù)識(shí)別用戶(hù)行為自動(dòng)執(zhí)行相應(yīng)的終端設(shè)備控制指令；并且本發(fā)明能夠?qū)崿F(xiàn)針對(duì)特定用戶(hù)個(gè)人對(duì)終端設(shè)備做出的相關(guān)行為進(jìn)行采集和分析訓(xùn)練，建立針對(duì)該特定用戶(hù)的行為信息識(shí)別模型，以針對(duì)特定用戶(hù)的行為實(shí)現(xiàn)終端設(shè)備的自動(dòng)控制；本發(fā)明還能針對(duì)不同用戶(hù)做出的行為均可以進(jìn)行識(shí)別，從而實(shí)現(xiàn)根據(jù)用戶(hù)行為洞悉用戶(hù)的行為意圖和動(dòng)機(jī)，進(jìn)行終端設(shè)備的自動(dòng)控制。

本文中所描述的功能可在硬件、由處理器執(zhí)行的軟件、固件或其任何組合中實(shí)施。如果在由處理器執(zhí)行的軟件中實(shí)施，那么可將功能作為一或多個(gè)指令或代碼存儲(chǔ)于計(jì)算機(jī)可讀媒體上或經(jīng)由計(jì)算機(jī)可讀媒體予以傳輸。其它實(shí)例及實(shí)施方案在本發(fā)明及所附權(quán)利要求書(shū)的范圍及精神內(nèi)。舉例來(lái)說(shuō)，歸因于軟件的性質(zhì)，上文所描述的功能可使用由處理器、硬件、固件、硬連線(xiàn)或這些中的任何者的組合執(zhí)行的軟件實(shí)施。此外，各功能單元可以集成在一個(gè)處理單元中，也可以是各個(gè)單元單獨(dú)物理存在，也可以?xún)蓚€(gè)或兩個(gè)以上單元集成在一個(gè)單元中。

在本申請(qǐng)所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的技術(shù)內(nèi)容，可通過(guò)其它的方式實(shí)現(xiàn)。其中，以上所描述的裝置實(shí)施例僅僅是示意性的，例如所述單元的劃分，可以為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過(guò)一些接口，單元或模塊的間接耦合或通信連接，可以是電性或其它的形式。

所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的，作為控制裝置的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。

所述集成的單元如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷(xiāo)售或使用時(shí)，可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可為個(gè)人計(jì)算機(jī)、服務(wù)器或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括：u盤(pán)、只讀存儲(chǔ)器(rom，read-onlymemory)、隨機(jī)存取存儲(chǔ)器(ram，randomaccessmemory)、移動(dòng)硬盤(pán)、磁碟或者光盤(pán)等各種可以存儲(chǔ)程序代碼的介質(zhì)。

以上所述僅為本發(fā)明的實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的權(quán)利要求范圍之內(nèi)。