用于實(shí)現(xiàn)多模態(tài)交互的數(shù)據(jù)處理方法及多模態(tài)交互系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種用于實(shí)現(xiàn)多模態(tài)交互的數(shù)據(jù)處理方法及多模態(tài)交互系統(tǒng)，該方法包括接收多模態(tài)輸入數(shù)據(jù)，并對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行預(yù)處理；利用情感引擎、思維引擎及自學(xué)習(xí)引擎分別對(duì)預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析；基于分析得到的結(jié)果進(jìn)行綜合決策以獲取決策數(shù)據(jù)；根據(jù)所述決策數(shù)據(jù)輸出多模態(tài)的交互結(jié)果。該方法提升了機(jī)器人系統(tǒng)的智能性，且使機(jī)器人系統(tǒng)更具成長(zhǎng)性與人性化，極大地改善了人機(jī)交互體驗(yàn)。
【專利說明】
用于實(shí)現(xiàn)多模態(tài)交互的數(shù)據(jù)處理方法及多模態(tài)交互系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及智能機(jī)器人領(lǐng)域，尤其涉及一種用于實(shí)現(xiàn)多模態(tài)交互的數(shù)據(jù)處理方法及多模態(tài)交互系統(tǒng)。
【背景技術(shù)】
[0002]隨著機(jī)器人技術(shù)的發(fā)展，智能機(jī)器人產(chǎn)品已經(jīng)越來越多地深入到人們生活的各個(gè)方面。機(jī)器人不只用來幫助使用者高效地完成指定的工作，更被要求設(shè)計(jì)為能夠與使用者進(jìn)行語(yǔ)言、動(dòng)作以及情感等多模態(tài)交互的伙伴。
[0003]現(xiàn)有機(jī)器人交互系統(tǒng)一般非常呆板，智能性非常弱，甚至可能不具備智能性。這類機(jī)器人系統(tǒng)通常只能根據(jù)預(yù)先設(shè)置的指令完成動(dòng)作，在與使用者進(jìn)行交互時(shí)，機(jī)器人依靠系統(tǒng)自帶的交互組件觸發(fā)指令，交互模式單一，或者不能進(jìn)行多模態(tài)交互。同時(shí)，這類機(jī)器人系統(tǒng)不能通過與使用者的交互過程來獲取新的知識(shí)，不能依靠自身獲得成長(zhǎng)且缺乏人性化。
[0004]綜上，亟需一種能夠讓機(jī)器人在交互過程中更具智能性、成長(zhǎng)性以及更具人性化的處理方法以解決上述問題。

【發(fā)明內(nèi)容】

[0005]本發(fā)明所要解決的技術(shù)問題之一是需要提供一種能夠讓機(jī)器人在交互過程中更具智能性、成長(zhǎng)性以及更具人性化的處理方法。
[0006]為了解決上述技術(shù)問題，本申請(qǐng)的實(shí)施例首先提供了一種用于實(shí)現(xiàn)多模態(tài)交互的數(shù)據(jù)處理方法，包括接收多模態(tài)輸入數(shù)據(jù)，并對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行預(yù)處理;利用情感引擎、思維引擎及自學(xué)習(xí)引擎分別對(duì)預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析;基于分析得到的結(jié)果進(jìn)行綜合決策以獲取決策數(shù)據(jù);根據(jù)所述決策數(shù)據(jù)輸出多模態(tài)的交互結(jié)果。
[0007]優(yōu)選地，情感引擎、思維引擎及自學(xué)習(xí)引擎布置于遠(yuǎn)程服務(wù)器上，在利用情感引擎、思維引擎及自學(xué)習(xí)引擎分別對(duì)預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析之前還包括:利用本地?cái)?shù)據(jù)處理器對(duì)預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析;若本地?cái)?shù)據(jù)處理器輸出能夠用于輸出的分析結(jié)果，則根據(jù)所述分析結(jié)果輸出多模態(tài)的交互結(jié)果;若本地?cái)?shù)據(jù)處理器未輸出能夠用于輸出的分析結(jié)果，則將預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)發(fā)送至遠(yuǎn)程服務(wù)器。
[0008]優(yōu)選地，在利用情感引擎、思維引擎及自學(xué)習(xí)引擎分別對(duì)預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析時(shí):所述情感引擎基于所述多模態(tài)輸入數(shù)據(jù)分別計(jì)算出交互雙方的情感狀態(tài)，并根據(jù)所述交互雙方的情感狀態(tài)分析得到第一分析結(jié)果;所述思維引擎基于所述多模態(tài)輸入數(shù)據(jù)模擬多種思維方式，并根據(jù)所述多種思維方式的運(yùn)算結(jié)果分析得到第二分析結(jié)果;所述自學(xué)習(xí)引擎利用根據(jù)多種經(jīng)驗(yàn)數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘得到的交互方信息對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析得到第三分析結(jié)果。
[0009]優(yōu)選地，所述多模態(tài)輸入數(shù)據(jù)包括語(yǔ)音、文字、圖像及其他傳感器感知的信息；所述交互結(jié)果包括語(yǔ)音、文字、圖像、動(dòng)作和表情中的一種或幾種的組合。
[0010]優(yōu)選地，在對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行預(yù)處理的步驟中包括:分別對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行識(shí)別與轉(zhuǎn)化;對(duì)所述轉(zhuǎn)化后的數(shù)據(jù)進(jìn)行預(yù)分析。
[0011]本申請(qǐng)的實(shí)施例還提供了一種多模態(tài)交互系統(tǒng)，包括接收及預(yù)處理模塊，其接收多模態(tài)輸入數(shù)據(jù)，并對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行預(yù)處理;分析模塊，其利用情感引擎、思維引擎及自學(xué)習(xí)引擎分別對(duì)預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析;決策模塊，其基于分析得到的結(jié)果進(jìn)行綜合決策以獲取決策數(shù)據(jù);輸出模塊，其根據(jù)所述決策數(shù)據(jù)輸出多模態(tài)的交互結(jié)果。
[0012]優(yōu)選地，所述情感引擎、思維引擎及自學(xué)習(xí)引擎布置于遠(yuǎn)程服務(wù)器上，所述分析模塊在利用情感引擎、思維引擎及自學(xué)習(xí)引擎分別對(duì)預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析之前，利用本地?cái)?shù)據(jù)處理器對(duì)預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析，若本地?cái)?shù)據(jù)處理器輸出能夠用于輸出的分析結(jié)果，則根據(jù)所述分析結(jié)果輸出多模態(tài)的交互結(jié)果;若本地?cái)?shù)據(jù)處理器未輸出能夠用于輸出的分析結(jié)果，則將預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)發(fā)送至遠(yuǎn)程服務(wù)器。
[0013]優(yōu)選地，所述分析模塊在利用情感引擎、思維引擎及自學(xué)習(xí)引擎分別對(duì)預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析時(shí):所述情感引擎基于所述多模態(tài)輸入數(shù)據(jù)分別計(jì)算出交互雙方的情感狀態(tài)，并根據(jù)所述交互雙方的情感狀態(tài)分析得到第一分析結(jié)果;所述思維引擎基于所述多模態(tài)輸入數(shù)據(jù)模擬多種思維方式，并根據(jù)所述多種思維方式的運(yùn)算結(jié)果分析得到第二分析結(jié)果;所述自學(xué)習(xí)引擎利用根據(jù)多種經(jīng)驗(yàn)數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘得到的交互方信息對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析得到第三分析結(jié)果。
[0014]優(yōu)選地，所述接收及預(yù)處理模塊接收的多模態(tài)輸入數(shù)據(jù)包括語(yǔ)音、文字、圖像及其他傳感器感知的信息;所述輸出模塊輸出的交互結(jié)果包括語(yǔ)音、文字、圖像、動(dòng)作和表情中的一種或幾種的組合。
[0015]優(yōu)選地，所述接收及預(yù)處理模塊在對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行預(yù)處理時(shí)，分別對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行識(shí)別與轉(zhuǎn)化，并對(duì)所述轉(zhuǎn)化后的數(shù)據(jù)進(jìn)行預(yù)分析。
[0016]與現(xiàn)有技術(shù)相比，上述方案中的一個(gè)或多個(gè)實(shí)施例可以具有如下優(yōu)點(diǎn)或有益效果:
[0017]通過布置情感引擎、思維引擎以及自學(xué)習(xí)引擎對(duì)人機(jī)交互過程中的多模態(tài)輸入指令進(jìn)行分析，提升了機(jī)器人系統(tǒng)的智能性，且使機(jī)器人系統(tǒng)更具成長(zhǎng)性與人性化，極大地改善了人機(jī)交互體驗(yàn)。
[0018]本發(fā)明的其他優(yōu)點(diǎn)、目標(biāo)，和特征在某種程度上將在隨后的說明書中進(jìn)行闡述，并且在某種程度上，基于對(duì)下文的考察研究對(duì)本領(lǐng)域技術(shù)人員而言將是顯而易見的，或者可以從本發(fā)明的實(shí)踐中得到教導(dǎo)。本發(fā)明的目標(biāo)和其他優(yōu)點(diǎn)可以通過下面的說明書，權(quán)利要求書，以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。
【附圖說明】
[0019]附圖用來提供對(duì)本申請(qǐng)的技術(shù)方案或現(xiàn)有技術(shù)的進(jìn)一步理解，并且構(gòu)成說明書的一部分。其中，表達(dá)本申請(qǐng)實(shí)施例的附圖與本申請(qǐng)的實(shí)施例一起用于解釋本申請(qǐng)的技術(shù)方案，但并不構(gòu)成對(duì)本申請(qǐng)技術(shù)方案的限制。
[0020]圖1為根據(jù)本發(fā)明一實(shí)施例的用于實(shí)現(xiàn)多模態(tài)交互的數(shù)據(jù)處理方法的流程示意圖；
[0021 ]圖2為根據(jù)本發(fā)明一實(shí)施例的對(duì)多模態(tài)輸入數(shù)據(jù)的分析流程示意圖；
[0022]圖3為根據(jù)本發(fā)明一實(shí)施例的多模態(tài)交互系統(tǒng)基于遠(yuǎn)程服務(wù)器提供服務(wù)的示意圖；
[0023]圖4為根據(jù)本發(fā)明另一實(shí)施例的多模態(tài)交互系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0024]以下將結(jié)合附圖及實(shí)施例來詳細(xì)說明本發(fā)明的實(shí)施方式，借此對(duì)本發(fā)明如何應(yīng)用技術(shù)手段來解決技術(shù)問題，并達(dá)成相應(yīng)技術(shù)效果的實(shí)現(xiàn)過程能充分理解并據(jù)以實(shí)施。本申請(qǐng)實(shí)施例以及實(shí)施例中的各個(gè)特征，在不相沖突前提下可以相互結(jié)合，所形成的技術(shù)方案均在本發(fā)明的保護(hù)范圍之內(nèi)。
[0025]情緒、情感、思維是人類在日常交互過程中表現(xiàn)出的行為，使機(jī)器人在與使用者的交互過程中更具智能化，就是使機(jī)器人能夠模擬人與人之間的交互行為，既能夠準(zhǔn)確地識(shí)別出使用者的情感與思維表達(dá)，同時(shí)也能以一定的情感與思維行為向使用者傳達(dá)出信息。本發(fā)明實(shí)施例中提出一種基于建立的多個(gè)智能搜索引擎對(duì)人機(jī)交互過程中的多模態(tài)輸入數(shù)據(jù)進(jìn)行處理的方法，同時(shí)輸出多模態(tài)的信息表達(dá)，下面結(jié)合附圖詳細(xì)說明。
[0026]圖1為根據(jù)本發(fā)明實(shí)施例的用于實(shí)現(xiàn)多模態(tài)交互的數(shù)據(jù)處理方法的流程示意圖，如圖所示，該方法包括:
[0027]步驟S110、接收多模態(tài)輸入數(shù)據(jù)，并對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行預(yù)處理。
[0028]步驟S120、利用情感引擎、思維引擎及自學(xué)習(xí)引擎分別對(duì)預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析。
[0029]步驟S130、基于分析得到的結(jié)果進(jìn)行綜合決策以獲取決策數(shù)據(jù)。
[0030]步驟S140、根據(jù)所述決策數(shù)據(jù)輸出多模態(tài)的交互結(jié)果。
[0031 ]情緒是人類的一種復(fù)合狀態(tài)，既包含來自外界的體驗(yàn)又包含源自人自身的生理反應(yīng)，還包含行為，涉及情感和思維的交互過程是一個(gè)識(shí)別、理解直至表達(dá)的過程，接收交互過程中的各種多模態(tài)信息是全面準(zhǔn)確地理解使用者意圖的前提。在人與人之間的日常交互中，某種信息的傳達(dá)往往不是通過一種方式實(shí)現(xiàn)的，如果僅從一種輸入信息中去理解往往會(huì)得到片面或是錯(cuò)誤的結(jié)果。舉例而言，使用者在表達(dá)不理解不明白的時(shí)候，其臉部會(huì)表示出疑惑的表情，例如皺眉，同時(shí)可能伴隨著搖頭，還可能通過語(yǔ)言表達(dá)出“不明白”的含義。如果僅是從其中一種輸入信息來推測(cè)使用者的意圖，往往比較困難且不準(zhǔn)確。例如僅從搖頭這個(gè)動(dòng)作輸入來看，也有可能表達(dá)的是“不贊成、不同意”的意思，因此接收交互過程中的各種多模態(tài)輸入數(shù)據(jù)就顯得非常重要。
[0032]對(duì)于機(jī)器人系統(tǒng)來說，其能夠接收的多模態(tài)信息包括，利用音頻傳感器接收語(yǔ)音，利用視頻傳感器接收?qǐng)D像，利用鍵盤、觸摸屏等輸入終端接收文字等，還可以采用已經(jīng)在工業(yè)應(yīng)用中普遍使用的各種傳感器來感知環(huán)境中的信息，例如利用觸覺傳感器感知來自外界的觸摸，利用氣體傳感器感知環(huán)境中的氣體成分，利用溫度傳感器感知環(huán)境的溫度，利用濕度傳感器感知環(huán)境的濕度，利用距離傳感器感知環(huán)境中的障礙物等等。在本實(shí)施例中，對(duì)機(jī)器人系統(tǒng)所采用的傳感檢測(cè)手段不做限定，并將機(jī)器人系統(tǒng)根據(jù)自身的傳感器所獲取的與環(huán)境相關(guān)的檢測(cè)數(shù)據(jù)存儲(chǔ)為環(huán)境數(shù)據(jù)。
[0033]經(jīng)由傳感器接收的多模態(tài)輸入數(shù)據(jù)首先會(huì)進(jìn)入預(yù)處理系統(tǒng)，進(jìn)行相關(guān)的預(yù)處理。預(yù)處理系統(tǒng)首先分別對(duì)接收到的多模態(tài)輸入數(shù)據(jù)進(jìn)行識(shí)別與轉(zhuǎn)化。舉例而言，對(duì)于語(yǔ)音輸入，可以采用自動(dòng)語(yǔ)音識(shí)別技術(shù)(Automatic Speech Recognit1n，ASR)將語(yǔ)音輸入識(shí)別并轉(zhuǎn)換為文本類數(shù)據(jù)。
[0034]對(duì)于圖像信息，基于圖像處理技術(shù)，可以從中提取到交互者的外貌及形體等信息，通過對(duì)人臉的識(shí)別可以得到表情信息，通過對(duì)交互者動(dòng)態(tài)影像的識(shí)別可以得到肢體動(dòng)作信息。對(duì)于由其他傳感器得到的檢測(cè)輸入，根據(jù)輸入的電信號(hào)直接轉(zhuǎn)換為環(huán)境數(shù)據(jù)。在得到上述轉(zhuǎn)換數(shù)據(jù)后，預(yù)處理系統(tǒng)還會(huì)對(duì)這些數(shù)據(jù)進(jìn)行簡(jiǎn)單的預(yù)分析，例如糾錯(cuò)、分詞、NER、句法分析等。上述識(shí)別、轉(zhuǎn)換以及預(yù)分析方法均可參考現(xiàn)有技術(shù)實(shí)施，不再贅述。
[0035]現(xiàn)有技術(shù)中一般采用單一的情感分析模型對(duì)上述多模態(tài)信息進(jìn)行理解和提取，進(jìn)而推斷使用者的意圖，這時(shí)情感分析模型的準(zhǔn)確性就顯得至關(guān)重要，也因此導(dǎo)致前期開發(fā)周期長(zhǎng)，且開發(fā)成本巨大。在本實(shí)施例中，通過設(shè)置多個(gè)智能引擎，分別對(duì)預(yù)處理后的多模態(tài)輸入數(shù)據(jù)進(jìn)行分析，在一定程度上降低了分析模型的復(fù)雜度，同時(shí)能夠減少前期的成本投入。具體的分析流程如圖2所示，主要包括三個(gè)智能搜索引擎，即情感引擎、思維引擎以及自學(xué)習(xí)引擎。
[0036]本實(shí)施例的情感引擎主要用來對(duì)多模態(tài)輸入數(shù)據(jù)進(jìn)行相關(guān)的情緒識(shí)別。情感引擎首先會(huì)基于多模態(tài)輸入數(shù)據(jù)分別計(jì)算出交互雙方的情感狀態(tài)，然后根據(jù)交互雙方的情感狀態(tài)分析得到交互的結(jié)果。情感引擎可以結(jié)合上下文和歷史交互情況，還可以同時(shí)結(jié)合經(jīng)由其他傳感器獲取的環(huán)境數(shù)據(jù)以及交互方的身份特征數(shù)據(jù)計(jì)算出當(dāng)前使用者和機(jī)器人各自的情感狀態(tài)，并基于使用者的情感狀態(tài)分析其多模態(tài)行為輸入的真實(shí)意圖。這里所說的情感狀態(tài)包括但不限于喜悅、悲傷、憤怒、失望、驚訝等，本實(shí)施例的情感引擎能夠識(shí)別多達(dá)25種人類情感。在情感引擎的數(shù)據(jù)庫(kù)中存儲(chǔ)有近500種情感言語(yǔ)聲音表達(dá)方式，對(duì)應(yīng)88套肢體動(dòng)作和125種面部表情，通過言語(yǔ)聲音、肢體動(dòng)作以及面部表情的相互組合，幾乎能夠覆蓋絕大部分的人類常見的情感。
[0037]本實(shí)施例的思維引擎主要用來對(duì)多模態(tài)輸入數(shù)據(jù)進(jìn)行相關(guān)的思維模式分析。人類的思維方式可以包括歸納、推理、對(duì)比等。當(dāng)人運(yùn)用其思維能力處理事務(wù)時(shí)，有可能使用上述任一種思維方式，或是結(jié)合多種思維方式，這也是造成交互結(jié)果千差萬別的重要原因。在本實(shí)施例中，綜合利用多種思維方式對(duì)多模態(tài)輸入數(shù)據(jù)進(jìn)行分析。在本實(shí)施例的思維引擎數(shù)據(jù)庫(kù)中，集成了 26種人類的宏觀思維模式以及10400種人類微觀思維模式，從上述宏觀思維模式和微觀思維模式中選擇一種或多種的思維模式基于多模態(tài)輸入數(shù)據(jù)進(jìn)行運(yùn)算。具體選擇哪種思維模式，可以通過對(duì)使用者的身份特征數(shù)據(jù)進(jìn)行分析，以獲取其經(jīng)常使用的思維方式進(jìn)行抽取。
[0038]需要注意的是，情感引擎所使用的環(huán)境數(shù)據(jù)從暫存環(huán)境數(shù)據(jù)的存儲(chǔ)單元獲取，情感引擎與思維引擎所使用的身份特征數(shù)據(jù)從自學(xué)習(xí)引擎數(shù)據(jù)庫(kù)獲取。
[0039]本實(shí)施例的自學(xué)習(xí)引擎主要是使機(jī)器人具有自我學(xué)習(xí)和自我進(jìn)化的能力，即依靠機(jī)器人自身來更新擴(kuò)充數(shù)據(jù)庫(kù)。在本實(shí)施例中，自學(xué)習(xí)引擎既可以通過互聯(lián)網(wǎng)獲取知識(shí)，也可以向使用者學(xué)習(xí)知識(shí)。
[0040]具體的，本實(shí)施例的情感引擎、思維引擎以及自學(xué)習(xí)引擎均布置于與機(jī)器人本體相距一定距離的遠(yuǎn)程服務(wù)器上，一方面，情感引擎、思維引擎以及自學(xué)習(xí)引擎能夠通過服務(wù)器與互聯(lián)網(wǎng)進(jìn)行連接，進(jìn)而與其他人工智能系統(tǒng)進(jìn)行知識(shí)共享來獲取海量數(shù)據(jù)。另一方面，通過各請(qǐng)求服務(wù)的用戶端來與使用者進(jìn)行交互，從交互過程中獲取新知識(shí)，并根據(jù)獲取的新知識(shí)實(shí)時(shí)更新擴(kuò)充數(shù)據(jù)庫(kù)。舉例而言，本實(shí)施例中的自學(xué)習(xí)引擎能夠從與使用者的對(duì)話中獲取新的知識(shí)，根據(jù)新的知識(shí)對(duì)數(shù)據(jù)庫(kù)進(jìn)行更新以提高人機(jī)對(duì)話的準(zhǔn)確度。
[0041 ]進(jìn)一步地，本實(shí)施例的自學(xué)習(xí)引擎還能基于自身的數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)挖掘，可以主動(dòng)地創(chuàng)造出新的知識(shí)來更新自身的數(shù)據(jù)庫(kù)，也就是說，自學(xué)習(xí)引擎不僅能夠從外部學(xué)習(xí)和更新數(shù)據(jù)庫(kù)，還能夠從內(nèi)部學(xué)習(xí)和更新數(shù)據(jù)庫(kù)。
[0042]更進(jìn)一步地，本實(shí)施例的自學(xué)習(xí)引擎還能通過交互不斷挖掘出交互方的相關(guān)特征，諸如用戶行為習(xí)慣、用戶喜惡、用戶屬性等，將這些知識(shí)存儲(chǔ)為使用者的身份特征數(shù)據(jù)，從而能對(duì)使用者更加了解，提升人機(jī)交互的滿意度。
[0043]本實(shí)施例的三大智能搜索引擎基于云計(jì)算提供服務(wù)，實(shí)現(xiàn)了數(shù)據(jù)共享及高可擴(kuò)展性，極大地提升了機(jī)器人系統(tǒng)的智能性。測(cè)試數(shù)據(jù)表明，自然語(yǔ)言處理和語(yǔ)義理解準(zhǔn)確率能夠達(dá)到94.7%。
[0044]還需要注意的是，對(duì)于簡(jiǎn)單形式的多模態(tài)輸入指令，例如單一模態(tài)的輸入數(shù)據(jù)，或是簡(jiǎn)單的組合形式的多模態(tài)輸入數(shù)據(jù)，機(jī)器人系統(tǒng)會(huì)優(yōu)先選擇使用位于機(jī)器人本地的數(shù)據(jù)處理器對(duì)多模態(tài)輸入指令進(jìn)行分析。如果本地?cái)?shù)據(jù)處理器可以輸出有效的分析結(jié)果，即機(jī)器人能夠識(shí)別并提供與分析結(jié)果對(duì)應(yīng)的輸出指令的，因此可以直接根據(jù)分析結(jié)果，確定機(jī)器人的多模態(tài)交互行為。
[0045]如果接收到的組合形式的多模態(tài)指令比較復(fù)雜，那么本地處理器基于本地的數(shù)據(jù)庫(kù)可能無法得出有效的分析結(jié)果，即機(jī)器人在本地?cái)?shù)據(jù)庫(kù)中查詢不到對(duì)應(yīng)的輸出指令，那么機(jī)器人系統(tǒng)就要通過網(wǎng)絡(luò)向遠(yuǎn)程服務(wù)器請(qǐng)求提供服務(wù)，將經(jīng)過預(yù)處理系統(tǒng)預(yù)處理后的多模態(tài)輸入數(shù)據(jù)發(fā)送至遠(yuǎn)程服務(wù)器，由遠(yuǎn)程服務(wù)器上的情感引擎、思維引擎和自學(xué)習(xí)引擎進(jìn)行處理。
[0046]如圖3所示，在機(jī)器人本地的機(jī)器人殼體內(nèi)部設(shè)置有本地處理器31及本地?cái)?shù)據(jù)庫(kù)32，對(duì)于接收到的多模態(tài)輸入指令，先由本地處理器31進(jìn)行處理，包括對(duì)多模態(tài)輸入數(shù)據(jù)的預(yù)處理以及分析。若本地處理器31無法得出有效的分析結(jié)果，則基于如圖所示的無線網(wǎng)絡(luò)30將預(yù)處理后的多模態(tài)輸入數(shù)據(jù)發(fā)送至遠(yuǎn)程服務(wù)器33，在遠(yuǎn)程服務(wù)器33上布置有情感引擎、思維引擎和自學(xué)習(xí)引擎，利用情感引擎、思維引擎和自學(xué)習(xí)引擎對(duì)數(shù)據(jù)進(jìn)行處理。
[0047]從圖2還可以看出，在本實(shí)施例中，情感引擎、思維引擎和自學(xué)習(xí)引擎可并行運(yùn)行。然而，在實(shí)際的運(yùn)轉(zhuǎn)過程中，情感引擎、思維引擎和自學(xué)習(xí)引擎根據(jù)實(shí)際分析需求進(jìn)行配合。進(jìn)一步地，在利用自學(xué)習(xí)引擎對(duì)多模態(tài)輸入數(shù)據(jù)進(jìn)行處理的時(shí)候，直接從自學(xué)習(xí)引擎數(shù)據(jù)庫(kù)中讀取通過學(xué)習(xí)獲得的最新的數(shù)據(jù)庫(kù)信息。這種同時(shí)對(duì)多模態(tài)輸入數(shù)據(jù)并行地進(jìn)行處理的分析方法既有利于簡(jiǎn)化分析模型，還能保證對(duì)多模態(tài)輸入數(shù)據(jù)的分析處理的速度，實(shí)時(shí)性好。
[0048]進(jìn)一步如圖2所示，在利用情感引擎、思維引擎以及自學(xué)習(xí)引擎分別獲得的分析結(jié)果后，基于分析得到的結(jié)果進(jìn)行綜合決策以獲取決策數(shù)據(jù)。綜合決策的目的確定與多模態(tài)輸入最接近的使用者的意圖，舉例而言，一種最簡(jiǎn)單的綜合決策方法就是統(tǒng)計(jì)出情感引擎、思維引擎以及自學(xué)習(xí)引擎的分析結(jié)果中的共有的部分，并以這些共有的部分作為最終的決策數(shù)據(jù)。當(dāng)然，為了獲得更加可靠的決策分析結(jié)果，也可以通過建立適當(dāng)?shù)臎Q策模型進(jìn)行綜合決策分析。本實(shí)施例中對(duì)綜合決策所采用的具體的分析方式不做限定。
[0049]在決策分析的過程中，可以同時(shí)輸入暫存的環(huán)境數(shù)據(jù)以及與使用者有關(guān)的身份特征數(shù)據(jù)，還可以引入時(shí)間數(shù)據(jù)等信息，上述輔助的輸入數(shù)據(jù)有利于增加綜合決策的準(zhǔn)確性。
[0050]最后，決策數(shù)據(jù)從遠(yuǎn)程服務(wù)器端傳回至本地機(jī)器人端，機(jī)器人系統(tǒng)根據(jù)決策數(shù)據(jù)輸出多模態(tài)的交互結(jié)果。在本實(shí)施例中，為了能夠更好地回應(yīng)使用者的意圖，提高人機(jī)交互體驗(yàn)，交互結(jié)果也以多模態(tài)的形式輸出，其中交互結(jié)果可以為語(yǔ)音、文字、圖像、動(dòng)作以及表情中一種或幾種，機(jī)器人系統(tǒng)通過語(yǔ)音生成裝置合成語(yǔ)音輸出，通過屏幕輸出文字、圖像信息以及表情，通過電機(jī)驅(qū)動(dòng)機(jī)器人來完成肢體動(dòng)作，對(duì)于配備有仿生人臉的機(jī)器人系統(tǒng)還可以利用仿生人臉生成表情輸出。
[0051]需要說明的是，思維引擎在輸出與多模態(tài)輸入數(shù)據(jù)相對(duì)應(yīng)的分析結(jié)果的同時(shí)，還會(huì)基于推理、發(fā)散等思維模式輸出推薦結(jié)果。推薦結(jié)果與決策數(shù)據(jù)決定的交互結(jié)果一起以多模態(tài)的形式輸出。舉例而言，機(jī)器人用興奮的語(yǔ)氣說出，你也聽到這條新聞了嗎?我還知道另外一條關(guān)聯(lián)的新聞，跟你分享一下吧。就是思維引擎基于使用者已經(jīng)得知第一條新聞的情況下做出的另外一條關(guān)聯(lián)的新聞的推薦結(jié)果。
[0052]現(xiàn)有機(jī)器人的情感技術(shù)不僅需要整合大量的信息，更需要借助高階的人工智能演算法進(jìn)行識(shí)別，而本實(shí)施例的多模態(tài)輸入數(shù)據(jù)的處理方法在簡(jiǎn)化分析模型的同時(shí)有利于提高機(jī)器人的智能性。利用多模態(tài)輸出交互結(jié)果，提高了人機(jī)交互體驗(yàn)，使機(jī)器人更具人性化。
[0053]此外，本實(shí)施例的自學(xué)習(xí)引擎通過從互聯(lián)網(wǎng)獲取知識(shí)、向用戶學(xué)習(xí)知識(shí)以及基于自身的數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)挖掘主動(dòng)創(chuàng)造知識(shí)，能夠?qū)θ齻€(gè)智能引擎數(shù)據(jù)庫(kù)進(jìn)行實(shí)時(shí)更新擴(kuò)展，使機(jī)器人系統(tǒng)更具成長(zhǎng)性。另外，數(shù)據(jù)庫(kù)更新不占用向用戶提供服務(wù)的時(shí)間，不會(huì)影響系統(tǒng)的實(shí)時(shí)響應(yīng)。
[0054]圖4為根據(jù)本發(fā)明另一實(shí)施例的多模態(tài)交互系統(tǒng)的結(jié)構(gòu)示意圖，如圖所示，該系統(tǒng)包括:
[0055]接收及預(yù)處理模塊41，其接收多模態(tài)輸入數(shù)據(jù)，并對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行預(yù)處理。
[0056]分析模塊42，其利用情感引擎、思維引擎及自學(xué)習(xí)引擎分別對(duì)預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析。
[0057]決策模塊43，其基于分析得到的結(jié)果進(jìn)行綜合決策以獲取決策數(shù)據(jù)。
[0058]輸出模塊44，其根據(jù)所述決策數(shù)據(jù)輸出多模態(tài)的交互結(jié)果。
[0059]該多模態(tài)交互系統(tǒng)的功能可參見前一實(shí)施例，不再贅述。
[0060]雖然本發(fā)明所揭露的實(shí)施方式如上，但所述的內(nèi)容只是為了便于理解本發(fā)明而采用的實(shí)施方式，并非用以限定本發(fā)明。任何本發(fā)明所屬技術(shù)領(lǐng)域內(nèi)的技術(shù)人員，在不脫離本發(fā)明所揭露的精神和范圍的前提下，可以在實(shí)施的形式上及細(xì)節(jié)上作任何的修改與變化，但本發(fā)明的專利保護(hù)范圍，仍須以所附的權(quán)利要求書所界定的范圍為準(zhǔn)。
【主權(quán)項(xiàng)】
1.一種用于實(shí)現(xiàn)多模態(tài)交互的數(shù)據(jù)處理方法，包括: 接收多模態(tài)輸入數(shù)據(jù)，并對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行預(yù)處理； 利用情感引擎、思維引擎及自學(xué)習(xí)引擎分別對(duì)預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析； 基于分析得到的結(jié)果進(jìn)行綜合決策以獲取決策數(shù)據(jù)； 根據(jù)所述決策數(shù)據(jù)輸出多模態(tài)的交互結(jié)果。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述情感引擎、思維引擎及自學(xué)習(xí)引擎布置于遠(yuǎn)程服務(wù)器上，在利用情感引擎、思維引擎及自學(xué)習(xí)引擎分別對(duì)預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析之前還包括: 利用本地?cái)?shù)據(jù)處理器對(duì)預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析； 若本地?cái)?shù)據(jù)處理器輸出能夠用于輸出的分析結(jié)果，則根據(jù)所述分析結(jié)果輸出多模態(tài)的交互結(jié)果； 若本地?cái)?shù)據(jù)處理器未輸出能夠用于輸出的分析結(jié)果，則將預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)發(fā)送至遠(yuǎn)程服務(wù)器。3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，在利用情感引擎、思維引擎及自學(xué)習(xí)引擎分別對(duì)預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析時(shí): 所述情感引擎基于所述多模態(tài)輸入數(shù)據(jù)分別計(jì)算出交互雙方的情感狀態(tài)，并根據(jù)所述交互雙方的情感狀態(tài)分析得到第一分析結(jié)果； 所述思維引擎基于所述多模態(tài)輸入數(shù)據(jù)模擬多種思維方式，并根據(jù)所述多種思維方式的運(yùn)算結(jié)果分析得到第二分析結(jié)果； 所述自學(xué)習(xí)引擎利用根據(jù)多種經(jīng)驗(yàn)數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘得到的交互方信息對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析得到第三分析結(jié)果。4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，其特征在于，所述多模態(tài)輸入數(shù)據(jù)包括語(yǔ)音、文字、圖像及其他傳感器感知的信息;所述交互結(jié)果包括語(yǔ)音、文字、圖像、動(dòng)作和表情中的一種或幾種的組合。5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行預(yù)處理的步驟中包括: 分別對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行識(shí)別與轉(zhuǎn)化； 對(duì)所述轉(zhuǎn)化后的數(shù)據(jù)進(jìn)行預(yù)分析。6.—種多模態(tài)交互系統(tǒng)，包括: 接收及預(yù)處理模塊，其接收多模態(tài)輸入數(shù)據(jù)，并對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行預(yù)處理； 分析模塊，其利用情感引擎、思維引擎及自學(xué)習(xí)引擎分別對(duì)預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析； 決策模塊，其基于分析得到的結(jié)果進(jìn)行綜合決策以獲取決策數(shù)據(jù)； 輸出模塊，其根據(jù)所述決策數(shù)據(jù)輸出多模態(tài)的交互結(jié)果。7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述情感引擎、思維引擎及自學(xué)習(xí)引擎布置于遠(yuǎn)程服務(wù)器上，所述分析模塊在利用情感引擎、思維引擎及自學(xué)習(xí)引擎分別對(duì)預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析之前，利用本地?cái)?shù)據(jù)處理器對(duì)預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析， 若本地?cái)?shù)據(jù)處理器輸出能夠用于輸出的分析結(jié)果，則根據(jù)所述分析結(jié)果輸出多模態(tài)的交互結(jié)果； 若本地?cái)?shù)據(jù)處理器未輸出能夠用于輸出的分析結(jié)果，則將預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)發(fā)送至遠(yuǎn)程服務(wù)器。8.根據(jù)權(quán)利要求6或7所述的系統(tǒng)，其特征在于，所述分析模塊在利用情感引擎、思維引擎及自學(xué)習(xí)引擎分別對(duì)預(yù)處理后的所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析時(shí): 所述情感引擎基于所述多模態(tài)輸入數(shù)據(jù)分別計(jì)算出交互雙方的情感狀態(tài)，并根據(jù)所述交互雙方的情感狀態(tài)分析得到第一分析結(jié)果； 所述思維引擎基于所述多模態(tài)輸入數(shù)據(jù)模擬多種思維方式，并根據(jù)所述多種思維方式的運(yùn)算結(jié)果分析得到第二分析結(jié)果； 所述自學(xué)習(xí)引擎利用根據(jù)多種經(jīng)驗(yàn)數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘得到的交互方信息對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行分析得到第三分析結(jié)果。9.根據(jù)權(quán)利要求6至8中任一項(xiàng)所述的系統(tǒng)，其特征在于，所述接收及預(yù)處理模塊接收的多模態(tài)輸入數(shù)據(jù)包括語(yǔ)音、文字、圖像及其他傳感器感知的信息;所述輸出模塊輸出的交互結(jié)果包括語(yǔ)音、文字、圖像、動(dòng)作和表情中的一種或幾種的組合。10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，所述接收及預(yù)處理模塊在對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行預(yù)處理時(shí)，分別對(duì)所述多模態(tài)輸入數(shù)據(jù)進(jìn)行識(shí)別與轉(zhuǎn)化，并對(duì)所述轉(zhuǎn)化后的數(shù)據(jù)進(jìn)行預(yù)分析。
【文檔編號(hào)】G06F3/01GK105843381SQ201610157000
【公開日】2016年8月10日
【申請(qǐng)日】2016年3月18日
【發(fā)明人】韋克禮
【申請(qǐng)人】北京光年無限科技有限公司