專利名稱：用于在對話系統(tǒng)中從用戶話語產(chǎn)生自然語言短語的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明的實(shí)施例總體上涉及對話系統(tǒng)，更具體地涉及在對話系統(tǒng)中產(chǎn)生用于系統(tǒng)響應(yīng)的短語。
背景技術(shù)：
對話系統(tǒng)是計(jì)算機(jī)系統(tǒng)，其被設(shè)計(jì)來在輸入信道和輸出信道上使用連貫的結(jié)構(gòu)和文本、語音、圖形或其他交流模式來與人交談。使用語音的對話系統(tǒng)被稱為口語對話系統(tǒng)， 并且一般表示最自然類型的人機(jī)界面。隨著越來越依賴于電子設(shè)備，口語對話系統(tǒng)越來越多地被實(shí)現(xiàn)在許多不同的機(jī)器中。響應(yīng)產(chǎn)生是在開發(fā)傳統(tǒng)對話系統(tǒng)中的重要組成。最終用戶經(jīng)常基于他們從系統(tǒng)聽到的響應(yīng)的質(zhì)量來判定對話系統(tǒng)的質(zhì)量。這涉及格萊斯合作原則，格萊斯合作原則描述了人們?nèi)绾伪舜私换?，并且假定交談貢獻(xiàn)在適當(dāng)?shù)臅r(shí)間根據(jù)需要來作出，并且用于推進(jìn)交談的目的。系統(tǒng)質(zhì)量的一個(gè)方面是避免模糊或所答非所問(non-responsive)的表達(dá)，優(yōu)選的是使用用戶熟悉的短語。系統(tǒng)開發(fā)者和研究者已經(jīng)越來越關(guān)注響應(yīng)產(chǎn)生問題，響應(yīng)產(chǎn)生問題不僅涉及響應(yīng)產(chǎn)生內(nèi)容，而且涉及內(nèi)容呈現(xiàn)。響應(yīng)產(chǎn)生系統(tǒng)使用訓(xùn)練模型來產(chǎn)生對用戶輸入的適當(dāng)響應(yīng)。這樣的訓(xùn)練模型的質(zhì)量依賴于訓(xùn)練數(shù)據(jù)的語料庫。已知的訓(xùn)練系統(tǒng)一般使用從一個(gè)或多個(gè)真人收集的數(shù)據(jù)。通常，這些系統(tǒng)未使用來自實(shí)際用戶本身的數(shù)據(jù)。因此，這樣的訓(xùn)練數(shù)據(jù)不一定適合于實(shí)際用戶，并且可能不產(chǎn)生用戶總是甚至最熟悉的響應(yīng)。在本領(lǐng)域中當(dāng)前已知的一種混合手段使用具有規(guī)則適配的基于案例的推理。它使用注解的語料庫作為其知識源，并將語法規(guī)則用于新語句的構(gòu)造。在該語料庫中，每一個(gè)語句與被稱為kmGraph的語義表示和被稱為ReaTree的實(shí)現(xiàn)樹(realization tree)相關(guān)聯(lián)。kmGraph描述了與它相關(guān)聯(lián)的語句中的實(shí)體之間的語義關(guān)系。ReaTree對應(yīng)于相關(guān)聯(lián)的語句的句法詞匯表示，該句法詞匯表示用作語句實(shí)現(xiàn)的基礎(chǔ)。文本產(chǎn)生要經(jīng)過3個(gè)階段獲取，在該階段中，在內(nèi)容規(guī)劃者給出kmGraph的情況下，從注解的語料庫獲取具有類似kmGraph的語句；適配，在該階段中，一個(gè)或多個(gè)適配操作符被應(yīng)用到對應(yīng)的ReaTree， 以對當(dāng)前輸入的^mGraph進(jìn)行必要調(diào)整；以及線性化，在該階段中，適配后的ReaTree被發(fā)送到線性化模塊，以產(chǎn)生滿足所有的語法協(xié)議要求的語句。另外，在產(chǎn)生語句后調(diào)用學(xué)習(xí)階段，在該階段中，kmGraph、其對應(yīng)的適配后的ReaTree和所產(chǎn)生的語句被首先存儲在臨時(shí)案例儲存庫中，然后在被包含到主語料庫內(nèi)以供重新使用之前被手動(dòng)驗(yàn)證。這種手段不直接地處理從用戶側(cè)對語句的使用來進(jìn)行系統(tǒng)響應(yīng)。此外，在獲取步驟期間，僅主題通過使用替代、刪除和插入而被調(diào)整來用于計(jì)算相似度。不在語音行為方面進(jìn)行任何操作。因此，在用戶的kmGraph和系統(tǒng)響應(yīng)的kmGraph之間的相似度通常很低。其他手段可以提供在用戶和系統(tǒng)響應(yīng)之間提高的對齊，但是這樣的系統(tǒng)(諸如使用詞袋或二元詞袋手段來計(jì)算在系統(tǒng)響應(yīng)候選和其對應(yīng)的用戶話語之間的距離的那些系統(tǒng))通過基于規(guī)則的產(chǎn)生系統(tǒng)和手寫規(guī)則來超額地產(chǎn)生系統(tǒng)響應(yīng)候選。這樣的系統(tǒng)不從用戶話語直接地或自動(dòng)地識別提供更好的對齊和更自然的措辭的承載約束的短語。其他已知系統(tǒng)使用壓縮森林(packed forest)來提供用于產(chǎn)生的統(tǒng)計(jì)手段，以結(jié)構(gòu)化地表示許多實(shí)例。在這樣的系統(tǒng)中，統(tǒng)計(jì)語言模型用于在給定語義輸入的情況下對替代品分級。然而，這些手段不處理對齊問題?？傊?，所有目前的手段(包括試圖對用戶數(shù)據(jù)直接建模的那些手段)未充分地解決在用戶話語和系統(tǒng)響應(yīng)之間的不一致的問題。因此，所需要的是一種對話系統(tǒng)響應(yīng)產(chǎn)生器，其有效地使用實(shí)際用戶輸入，以便產(chǎn)生對于用戶最有意義的響應(yīng)。


在附圖的圖中通過示例而不是限制地方式說明了本發(fā)明的實(shí)施例，在附圖中，相似的附圖標(biāo)記指示類似的元件，并且其中圖1是根據(jù)一個(gè)實(shí)施例的、包含使用用戶輸入的響應(yīng)產(chǎn)生系統(tǒng)的口語對話系統(tǒng)的框圖。圖2是在一個(gè)實(shí)施例下的、使用用戶輸入的口語對話系統(tǒng)的響應(yīng)產(chǎn)生器的框圖。圖3是圖示在一個(gè)實(shí)施例下的、用于使用實(shí)際用戶輸入來在對話系統(tǒng)中產(chǎn)生響應(yīng)的整體方法的流程圖。圖4是圖示在一個(gè)實(shí)施例下的、在短語模型的構(gòu)造或訓(xùn)練中的主要功能步驟的流程圖。圖5是圖示在一個(gè)實(shí)施例下的、在語句產(chǎn)生處理的主要功能步驟的流程圖。
具體實(shí)施例方式描述了使用基于語料庫的手段來基于給定數(shù)量的語義約束-值對而產(chǎn)生響應(yīng)的對話系統(tǒng)的實(shí)施例。除了來自諸如WOZ數(shù)據(jù)收集的來源的任何可用數(shù)據(jù)之外，系統(tǒng)還充分利用來自用戶輸入的數(shù)據(jù)來與模板產(chǎn)生器組合地產(chǎn)生對話系統(tǒng)響應(yīng)。系統(tǒng)主要使用包含約束值的表達(dá)，以便基于在實(shí)際對話系統(tǒng)中執(zhí)行的更頻繁的任務(wù)來實(shí)現(xiàn)效率，但是也可以以類似的方式來考慮對話的具有修辭或篇章(discourse)方面的表達(dá)，即，使用這樣的信息來標(biāo)記數(shù)據(jù)，并且執(zhí)行訓(xùn)練處理。這種系統(tǒng)的益處包括較高質(zhì)量的用戶對齊的響應(yīng)、較寬的覆蓋范圍、較快的響應(yīng)時(shí)間和較短的開發(fā)周期。在下面的描述中，引入了許多具體細(xì)節(jié)，以透徹理解并且使得能夠描述對話系統(tǒng)響應(yīng)產(chǎn)生系統(tǒng)和方法的實(shí)施例。然而，本領(lǐng)域內(nèi)的技術(shù)人員將認(rèn)識到，可以在沒有所述具體細(xì)節(jié)的一個(gè)或多個(gè)或具有其他部件、系統(tǒng)等的情況下實(shí)踐這些實(shí)施例。在其他實(shí)例中，未示出或未詳細(xì)描述公知的結(jié)構(gòu)或操作，以免模糊所公開的實(shí)施例的方面。在通常的人機(jī)對話系統(tǒng)中，來自用戶的話語和來自系統(tǒng)的響應(yīng)經(jīng)常彼此不同。然而，通常，可以共享來自用戶和系統(tǒng)的某些短語，特別是表達(dá)專用對話系統(tǒng)的約束的短語。 實(shí)施例涉及對話系統(tǒng)響應(yīng)產(chǎn)生器，其從用戶話語提取短語和短語模式，基于該提取來產(chǎn)生新的模式，構(gòu)造響應(yīng)表達(dá)，并且基于一個(gè)或多個(gè)評估度量來選擇最佳的表達(dá)候選。在一個(gè)或多個(gè)實(shí)施例下的對話系統(tǒng)響應(yīng)產(chǎn)生器可以被包含到對口語對話系統(tǒng)的開發(fā)中，該口語對話系統(tǒng)支持各種功能和應(yīng)用，以在執(zhí)行諸如駕駛或操作機(jī)器的其他認(rèn)知要求或主要任務(wù)的同時(shí)允許用戶與設(shè)備交互并接收服務(wù)。這樣的對話系統(tǒng)可以將商業(yè)可獲得的或?qū)Ｓ玫牟考糜谡Z言應(yīng)用。圖1是根據(jù)一個(gè)實(shí)施例的、包含使用用戶輸入的響應(yīng)產(chǎn)生系統(tǒng)的口語對話系統(tǒng)的框圖。為了本描述的目的，在處理設(shè)備上執(zhí)行的任何處理也可以被稱為模塊或部件，并且可以是在相應(yīng)的設(shè)備計(jì)算機(jī)上本地執(zhí)行的單獨(dú)程序，或者它們可以是在一個(gè)或多個(gè)設(shè)備上運(yùn)行的分布式客戶應(yīng)用的部分。系統(tǒng)100的核心部件包括口語理解(SLU)模塊104，其具有用于不良輸入的多個(gè)理解策略；信息狀態(tài)更新或其他種類的對話管理器(DM) 106，其處理多個(gè)對話線程和混合主導(dǎo)；知識管理器(KM) 110，其控制對于基于本體的領(lǐng)域知識的訪問；以及內(nèi)容優(yōu)化器112，其連接對話管理器和知識管理器，用于解決來自用戶的請求的含糊性、調(diào)節(jié)要向用戶呈現(xiàn)的信息量以及向用戶提供建議。在一個(gè)實(shí)施例中，口語用戶輸入101產(chǎn)生由語音識別單元102接收的聲波。語音識別單元102可以包括用于提供諸如動(dòng)態(tài)語法和基于分類的η元語法的功能的部件。在用戶輸入101是基于文本而不是基于聲音的情況下，繞過語音識別單元102，并且直接地向口語理解單元104提供模仿的用戶輸入。響應(yīng)產(chǎn)生器108提供系統(tǒng)100的輸出。響應(yīng)產(chǎn)生器108基于用戶輸入來產(chǎn)生音頻和/或文本輸出。這樣的輸出可以是對于查詢的回答、對于澄清或其他信息的請求、用戶輸入的重復(fù)或任何其他適當(dāng)?shù)捻憫?yīng)。響應(yīng)產(chǎn)生器在產(chǎn)生響應(yīng)時(shí)使用領(lǐng)域信息。因此，向用戶說出相同內(nèi)容的不同措辭經(jīng)常產(chǎn)生很不同的結(jié)果。在一個(gè)實(shí)施例中，對話管理器系統(tǒng)100包括子系統(tǒng)，該子系統(tǒng)實(shí)現(xiàn)基于實(shí)際用戶輸入的訓(xùn)練方法，以便幫助響應(yīng)產(chǎn)生器108為用戶產(chǎn)生正確的響應(yīng)。這樣的響應(yīng)使用用戶本身已經(jīng)使用過并因此是用戶熟悉的措辭。對話系統(tǒng)的響應(yīng)產(chǎn)生器實(shí)現(xiàn)了兩個(gè)主要功能階段訓(xùn)練階段，在該階段中，構(gòu)造使用實(shí)際用戶輸入的短語模型以供響應(yīng)產(chǎn)生器使用；以及響應(yīng)產(chǎn)生階段，在該階段中，對話系統(tǒng)輸出被產(chǎn)生并輸出到用戶。對話系統(tǒng)因此基于實(shí)際用戶話語來構(gòu)造短語模型。圖2是在一個(gè)實(shí)施例下的、使用用戶輸入的口語對話系統(tǒng)的響應(yīng)產(chǎn)生器的框圖。如圖2中所示，短語模型204在訓(xùn)練階段期間根據(jù)實(shí)際用戶輸入202來構(gòu)造，并且在響應(yīng)產(chǎn)生階段期間被響應(yīng)產(chǎn)生器208用來產(chǎn)生響應(yīng)210。在一個(gè)實(shí)施例中，對于訓(xùn)練階段，口語理解單元從用戶接收口語輸入202。該輸入可以是產(chǎn)生對話系統(tǒng)可識別的聲音信號的任何形式的言語交流。在一個(gè)實(shí)施例中，訓(xùn)練階段產(chǎn)生語義級的短語模型。對于該實(shí)施例，圖1的系統(tǒng) 100使用語義幀的序列來作為比較的基礎(chǔ)。通常，幀是命名的一組結(jié)構(gòu)化間隙(Slot)，其中，間隙表示相關(guān)的信息段，并且是領(lǐng)域相關(guān)的選擇。幀可以用于描述來自用戶的語義含義(諸如語音行為、動(dòng)作)和/或語義約束。其也可以被系統(tǒng)用作內(nèi)部表示，以在諸如SLU 104、DM 106和KM 110的不同的系統(tǒng)模塊之間進(jìn)行傳送。在某些情況下，每一個(gè)間隙具有相關(guān)聯(lián)的上下文無關(guān)語法，該上下文無關(guān)語法指定了與該間隙相匹配的詞串模式。通常， 間隙結(jié)構(gòu)由間隙名稱(slotjame)和對應(yīng)的值或作為其值的另一個(gè)幀(sl0t_ValUe)構(gòu)成。 例如，用戶輸入可以是向系統(tǒng)請求定位飯館的請求，諸如〃 I would like lunch in Palo Alto."。該請求具有多個(gè)約束，諸如時(shí)間、動(dòng)作和位置。該話語的間隙結(jié)構(gòu)可以如下位置PaloAlto時(shí)間午餐時(shí)間動(dòng)作找到飯館語音行為請求/命令
在一個(gè)實(shí)施例中，通過使用從各個(gè)可能來源收集的用戶話語來得出用于產(chǎn)生系統(tǒng)響應(yīng)的短語模型204，該各個(gè)可能來源諸如是用戶與系統(tǒng)的先前交互或W0Z(0Z向?qū)? (Wizard of Oz)實(shí)驗(yàn)以及由其他數(shù)據(jù)集提供的任何信息。WOZ實(shí)驗(yàn)是實(shí)驗(yàn)評估機(jī)制，其對操作明顯全功能系統(tǒng)的用戶進(jìn)行觀察，并且通過模仿功能效果的隱藏向?qū)硌a(bǔ)充丟失的服務(wù)。通過下述方式來完成短語模型構(gòu)造任務(wù)從用戶話語提取短語和短語模式，基于所提取內(nèi)容來產(chǎn)生新的模式，以及基于不同的評估度量來選擇最佳候選。該問題與其中需要確定標(biāo)識實(shí)體的屬性的產(chǎn)生指稱表達(dá)不同。在圖2的系統(tǒng)中，諸如在圖1中所示的對話系統(tǒng)的先前級已經(jīng)決定了需要言語表達(dá)的屬性，并且在系統(tǒng)產(chǎn)生回合中需要針對這些屬性的短語的正確詞匯化。所述方法從用戶輸入選擇系統(tǒng)意欲的通常表達(dá)，并且還通過使用來自現(xiàn)有類似表達(dá)和限定規(guī)則的部分來構(gòu)造針對未預(yù)見情況的新響應(yīng)。短語級默認(rèn)規(guī)則覆蓋還沒有觀察到針對約束集的短語的情況，而語句級默認(rèn)規(guī)則將用于正確的響應(yīng)的短語結(jié)合在一起。所述方法適用于多個(gè)人機(jī)對話系統(tǒng)，在這些人機(jī)對話系統(tǒng)中，來自用戶的話語和來自系統(tǒng)的響應(yīng)通常不同，但是來自用戶和系統(tǒng)回合的一些短語可以被共享。這對于基于幀或基于規(guī)劃的領(lǐng)域相關(guān)對話系統(tǒng)而言尤其真實(shí)。例如，如果有人要求具有特定特征/屬性的實(shí)體，則系統(tǒng)在隨后的回合中需要表達(dá)具有相同或不同屬性的實(shí)體。圖3是圖示在一個(gè)實(shí)施例下的、用于使用實(shí)際用戶輸入來在對話系統(tǒng)中產(chǎn)生響應(yīng)的整體方法的流程圖。這種方法依賴于以下事實(shí)針對給定約束的良好表達(dá)可假定為大多數(shù)時(shí)候已經(jīng)存在于與用戶的先前交談中或收集的數(shù)據(jù)中。該數(shù)據(jù)用于避免產(chǎn)生不良的表達(dá)，并且減輕由數(shù)據(jù)稀疏引起的問題。對于在圖3中所示的方法，系統(tǒng)使用來自用戶本身的當(dāng)前或過去話語來形成對于用戶查詢或?qū)τ谙到y(tǒng)的輸入的適當(dāng)響應(yīng)。在框302中，從該用戶輸入提取和一般化表達(dá)。該輸入可以在離線模式或在線模式下獲得，如在框304中所確定的。對于離線模式，收集來自限定的當(dāng)前或過去交談的任何集合的所有用戶話語，框306 ； 而對于在線模式，僅收集來自當(dāng)前交談的用戶話語，框308。在離線模式和在線模式二者中， 使用約束標(biāo)識符來確定在每一個(gè)用戶話語中表達(dá)了哪些約束，框310。所提取的短語用于形成如何將約束詞匯化的用戶示例池，框312。當(dāng)約束被替換為其語義分類名稱時(shí)，所提取的短語可以被一般化為短語模式。例如，通過用CuisineType來替換〃 Chinese"，原始短語〃 some Chinese food"可以被一般化為短語模式〃 some CuisineType food"。系統(tǒng)構(gòu)造響應(yīng)數(shù)據(jù)庫，該響應(yīng)數(shù)據(jù)庫包括原始短語節(jié)點(diǎn)、一般短語模式和節(jié)點(diǎn)操作的結(jié)果。如在框314中所示，在給定一組約束和值對的情況下，系統(tǒng)然后從所提取和一般化的模式構(gòu)造約束表達(dá)。在交談期間，當(dāng)一組填充的約束被發(fā)送到響應(yīng)產(chǎn)生器時(shí)，它將從數(shù)據(jù)庫選擇最佳地匹配給定約束的一個(gè)或多個(gè)短語。因此，如在框316中所示，系統(tǒng)從一組候選模式選擇最佳表達(dá)以從響應(yīng)產(chǎn)生器輸出。在給定一組約束和值對的情況下從所提取和一般化的模式構(gòu)造約束表達(dá)的任務(wù)通常依賴于存在多少可能的候選模式，并且依賴于某些限定的選擇準(zhǔn)則和后退(back-off)策略。當(dāng)在原始語料庫中已經(jīng)觀察到約束和值的組合 (可能具有在特定閾值之上的計(jì)數(shù))時(shí)，產(chǎn)生模塊可以使用該模式。當(dāng)先前已經(jīng)觀察到約束模式但是具有不同值時(shí)，將執(zhí)行一般化步驟。在該情況下，系統(tǒng)試圖找到與輸入盡可能重疊的模式，并且可以放松約束，直到找到這樣的重疊。當(dāng)先前沒有觀察到約束組合時(shí)，系統(tǒng)試圖使用通過構(gòu)造現(xiàn)有或已產(chǎn)生的模式而創(chuàng)建的模式。該構(gòu)造可以使用具有一個(gè)或多個(gè)約束的任何現(xiàn)有實(shí)例。它也可以分解這些模式以從原始表達(dá)創(chuàng)建較小的單元。當(dāng)較小單元可用時(shí)，給定的約束值對被分簇為子集?？梢詮乃占臄?shù)據(jù)學(xué)習(xí)分簇操作，例如，在分簇處理期間考慮語句中僅包含給定約束的組塊(chunk)?？梢酝ㄟ^諸如以概率作為效用函數(shù)的動(dòng)態(tài)搜索算法的搜索算法來實(shí)現(xiàn)將給定的一組約束值對最優(yōu)地分簇或分段為子集?？梢愿鶕?jù)語言模型來對所提出的模式進(jìn)行分級，以保證與用戶話語的校準(zhǔn)或系統(tǒng)輸出的可變性。圖3的一般性方法包括兩個(gè)主要處理要素訓(xùn)練階段和響應(yīng)產(chǎn)生階段。圖4是圖示在短語模型204的構(gòu)造或訓(xùn)練中的功能步驟的流程圖400。在框402中，系統(tǒng)執(zhí)行約束識別處理，其中，它從具有約束的用戶話語202識別短語表達(dá)。一般化框404通過分解處理來一般化在框402中識別的示例。系統(tǒng)然后創(chuàng)建默認(rèn)值，框406，其中系統(tǒng)針對每一個(gè)語義間隙或間隙子集創(chuàng)建一個(gè)或多個(gè)默認(rèn)短語表達(dá)。約束標(biāo)識符的呈現(xiàn)是合理的假設(shè)，因?yàn)橄到y(tǒng)應(yīng)當(dāng)僅產(chǎn)生它在內(nèi)部理解的信息。在大多數(shù)可工作的對話系統(tǒng)中，口語理解模塊將提供該功能。約束標(biāo)識符的準(zhǔn)確度通常很高， 這允許我們使用其輸出來提取包含約束的短語。可以在啟動(dòng)系統(tǒng)之前(離線模式)或在交談?wù)诎l(fā)生的同時(shí)(在線模式)，構(gòu)造或訓(xùn)練短語模型204。前一種情況可以作為默認(rèn)模型，而后一種情況可以用于現(xiàn)場適配。這兩種訓(xùn)練在圖2中被圖示為離線模式205和在線模式203。在離線模式205中，收集可用于訓(xùn)練的所有用戶話語。然后可以使用兩種不同的手段來進(jìn)一步處理這些話語。第一種是基于分析樹的手段，第二種是基于分塊的手段。在基于分析樹的手段中，來自用戶的所有話語在結(jié)構(gòu)上被注解為分析樹?？梢宰R別最低級短語節(jié)點(diǎn)，該最低級短語節(jié)點(diǎn)包含用戶約束或?qū)τ谙到y(tǒng)響應(yīng)可能有用的短語。自動(dòng)文本分塊手段旨在確定在給定語句中的非重疊短語結(jié)構(gòu)(組塊)。組塊是將幾個(gè)連續(xù)詞分組在一起的句法結(jié)構(gòu)(例如，短語)。存在兩個(gè)一般性短語分塊任務(wù)，包括文本分塊(淺層分析)， 其找到在文本中執(zhí)行句法結(jié)構(gòu)的部分分析的組塊；以及名詞短語分塊，其識別非遞歸名詞短語的初始部分。用戶約束的示例是在示例話語‘‘I want to have some Chinese food tonight “(我今晚要吃一些中國餐)中的詞〃 Chinese ‘‘和‘‘tonight ‘‘，其中，〃 Chinese"(中國)指示烹飪類型，并且〃 tonight"(今晚)指示時(shí)間。包含烹飪約束的最低短語節(jié)點(diǎn)是名詞短語"some Chinese food"，并且包含時(shí)間約束的最低短語節(jié)點(diǎn)是詞"tonight"。短語節(jié)點(diǎn)可以包含一個(gè)或多個(gè)約束。對于包含多個(gè)約束的短語節(jié)點(diǎn)，使用一般性指南來決定應(yīng)當(dāng)提取哪些節(jié)點(diǎn)。這樣的指南的示例可以包括聲明約束短語節(jié)點(diǎn)必須在同一非S短語節(jié)點(diǎn)下的規(guī)則和其他類似的規(guī)則。在一些情況下，使用關(guān)系從句來表達(dá)約束,例如〃 a restaurant that serves Chinese food"，并且因此將提取該節(jié)點(diǎn)。 在口語理解單元使用注解的分析樹來訓(xùn)練深層分析模型的情況下，在此將相同的注解的分析樹用于在約束識別階段中的短語提取。在基于分塊的手段中，可以將淺層分析器用于口語理解。在該情況下，用戶話語被 POS (詞性)標(biāo)注器標(biāo)注、被分塊或甚至使用深層結(jié)構(gòu)分析器進(jìn)行分析。將分塊器結(jié)果與通過約束標(biāo)識符找到的約束進(jìn)行組合，可以提取包含用戶約束的短語節(jié)點(diǎn)。對于在決定內(nèi)容后在對話系統(tǒng)中產(chǎn)生響應(yīng)，不必完全地分析用戶話語。這是因?yàn)橛脩舯磉_(dá)中與系統(tǒng)響應(yīng)相關(guān)的約束主要位于用戶話語中的短語或較為簡單的從句中?？梢砸韵喈?dāng)直接的方式來對這樣的話語建模° 例如，在用戶話語"I want a nearby restaurant that serves Chinese food"(我需要提供中國餐的近處的飯館)中的短語〃 a nearby restaurant"(近處的飯館)是具有距離約束的簡單短語。對于分析樹和分塊這兩種方法，提取的短語形成詞匯化的約束的實(shí)例池。在一個(gè)實(shí)施例中，這些實(shí)例然后被收集和存儲在數(shù)據(jù)庫中以由圖4的剩余處理框使用。在圖4的一般化框404中，實(shí)例被進(jìn)一步一般化為短語模式或模板。通過將約束替換為它們的語義分類名稱來實(shí)現(xiàn)這一點(diǎn)。例如，通過將在原始短語"some Chinese food" 中的〃 Chinese"替換為CuisineType來產(chǎn)生一般化的短語模式"some CuisineType food"。在實(shí)例池中的表達(dá)也可以通過一些節(jié)點(diǎn)操作來分解和重新組合以產(chǎn)生新的模式/ 短語組合。該組合可以由基于規(guī)則的手段來指導(dǎo)。被稱為分解的另一種形式的一般化也可以被使用。通常，分解僅適用于當(dāng)在單個(gè)語句中有多個(gè)約束時(shí)。例如，“I want to go to an expensive Chinese restaurant in Palo Alto"具有三個(gè)約束。這些約束是 priceLevel = 〃 expensive"、CuisineType ="Chinese"和cityName = 〃 Palo Alto"。從該語句，可以獲得幾種不同的表達(dá)，諸如〃 an expensive restaurant “ , “ a Chinese restaurant “ , " a restaurant in Palo Alto"，〃 a Chinese restaurant in Palo Alto"等。在池中的短語或節(jié)點(diǎn)實(shí)例也可以通過某些節(jié)點(diǎn)操作基于它們的詞性、句法類別或概率建模而重新構(gòu)造以產(chǎn)生新的模式 /短語組合。可以通過X-bar理論、元規(guī)則或類似的方法來指導(dǎo)該組合。不總是下述情況通過收集的數(shù)據(jù)或通過任何基于規(guī)則的手段來覆蓋每種語義約束或約束子集。未被一般化404處理或約束識別402處理覆蓋的任何約束通過在圖4的默認(rèn)值創(chuàng)建框406中創(chuàng)建的默認(rèn)值來處理。在該框中，在下述情況下對于每一個(gè)語義約束設(shè)計(jì)默認(rèn)表達(dá)如果它們還沒有存在于數(shù)據(jù)庫中。通常，因?yàn)檎Z義約束的有限數(shù)量，這種努力相對很小。根據(jù)系統(tǒng)約束和資源(例如，存儲器和處理時(shí)間)，該階段可以被擴(kuò)展到多約束組合的情況。上面的描述覆蓋通過離線過程205來產(chǎn)生針對所有語義約束的短語模型的處理。 以這種方式，系統(tǒng)可以構(gòu)造響應(yīng)數(shù)據(jù)庫，該數(shù)據(jù)庫包括原始短語節(jié)點(diǎn)、一般短語模式是和節(jié)點(diǎn)操作的結(jié)果。在交談期間，當(dāng)一組填充的約束被從對話管理器發(fā)送到響應(yīng)產(chǎn)生器時(shí)，它將從數(shù)據(jù)庫中選擇匹配給定約束的一個(gè)或多個(gè)短語。在在線模式203中，在用戶和對話系統(tǒng)之間的交談期間產(chǎn)生短語模型。系統(tǒng)維持交談的歷史(包括來自先前回合的經(jīng)處理的言語)，并且在當(dāng)前回合中使用從用戶言語所理解的內(nèi)容。如果在口語理解模塊中使用深層分析手段，則可以恢復(fù)完全分析。在該情況下，可以使用在離線過程中描述的類似過程來提取約束短語。在此對于在線模式的主要差別是系統(tǒng)可能必須依賴于約束短語的信任分?jǐn)?shù)，以查看它們是否可用。計(jì)算完全分析樹的所有層級的信任分?jǐn)?shù)一般是可能的。在對話系統(tǒng)中使用淺層理解手段的情況下，諸如在基于分塊的手段中，系統(tǒng)將所提取的短語用于短語產(chǎn)生。在該情況下，還需要針對更可靠的短語使用信任分?jǐn)?shù)。在用戶和系統(tǒng)之間的正常交談交互期間，在當(dāng)前回合中的響應(yīng)通常以來自用戶的最近言語為目標(biāo)。因此，在響應(yīng)中涉及的約束應(yīng)當(dāng)主要在最近的回合或先前的回合中被覆蓋。在對于某些約束不可獲得表達(dá)的情況下，系統(tǒng)可以使用在離線模式期間建立的響應(yīng)。在離線模式中的最簡單的情況是默認(rèn)表達(dá)。通過下面的示例對話來說明這一點(diǎn)用戶1 want a five star restaurant that serves Chinese food.系統(tǒng):I did not find any five star restaurants that serve Chinese food, but I found 20 four star restaurants that serve Chinese food.在該示例中，可以通過使用用戶輸入來構(gòu)造第一短語("any five star restaurants that serves Chinese food"),可以通過在RatingLevel 約束上的一般化來產(chǎn)生第二表達(dá)(〃 four star restaurants that serve Chinese food")。一旦使用離線205處理或在線203處理產(chǎn)生了適當(dāng)?shù)亩陶Z模型，則選擇適當(dāng)?shù)囊粋€(gè)或多個(gè)短語。在通常的交談期間，對于給定的一組約束，可能存在多個(gè)短語候選。在該情況下，使用選擇準(zhǔn)則和后退策略來選擇對于給定的一組約束的最佳短語。選擇最佳短語的一種方法是使用基于示例的手段。在這種方法中，當(dāng)一組約束和值在數(shù)據(jù)庫或模型中具有匹配(可能具有超過特定閾值的計(jì)數(shù))時(shí)，響應(yīng)產(chǎn)生器可以使用相關(guān)聯(lián)的短語來構(gòu)造響應(yīng)語句。當(dāng)給定的約束集已在以前被觀察到但是具有不同的值時(shí)，可以使用一般化的模式。系統(tǒng)被配置來找到與輸入最重疊的模式。例如，如果兩個(gè)給定的約束是CuisineType =Indian 和RatingLevel :5star，并且還未曾在語料庫中觀察到過該組合，則系統(tǒng)將試圖通過使用一般模式來放松每一個(gè)約束，所述一般模式諸如a CuisineType restaurant with five star rating 或 an Indian restaurant with RatingLevel rating 等。此夕卜，也將使用放松所有約束的一般模式，諸如 CuisineType restaurant with RatingLevel rating 禾口 a RatingLevel restaurant that serves CuisineType food等。在最后一禾中f青況下，當(dāng)約束集之前還沒有本身或在較大的表達(dá)中被觀察到時(shí)，系統(tǒng)試圖使用通過組合現(xiàn)有模式而創(chuàng)建的模式?？梢愿鶕?jù)語言模型來對所提出的模式進(jìn)行分級，以保證與用戶言語的一致或系統(tǒng)輸出的可變性。訓(xùn)練語料庫和外部來源可以用于得到該語言模型。在某些實(shí)例中，不同約束的詞匯化可能依賴于特定約束和該約束的值。例如，使用介詞短語來實(shí)現(xiàn)位置約束，例如，用〃 a restaurant in Lincoln"取代〃 a Lincoln restaurant “，即使后者對于大多數(shù)約束而言為良好模式。類似地，根據(jù)約束的值，經(jīng)常優(yōu)選不同的模式。例如，如果CuisineType是"Barbeque"，則系統(tǒng)應(yīng)當(dāng)選擇與針對 CuisineType是〃 Chinese"的實(shí)現(xiàn)不同的實(shí)現(xiàn)。在該情況下，響應(yīng)"a restaurant that serves Chinese food" : 良子白勺口向!^,{ 口向IS" a restaurant that serves Barbeque food"不是很流利的形式。一旦已經(jīng)選擇了適當(dāng)?shù)囊粋€(gè)或多個(gè)短語，則響應(yīng)產(chǎn)生器使用所選擇的短語來構(gòu)造響應(yīng)語句。通常，當(dāng)通過對話管理器給出一組約束、動(dòng)作和語音行為時(shí)，表面產(chǎn)生器需要生產(chǎn)一個(gè)或多個(gè)語句來傳達(dá)所意欲的消息。如果需要不止一個(gè)語句，則使用一個(gè)額外步驟來基于觀察到的數(shù)據(jù)將一組約束劃分為期望的子集。在一個(gè)實(shí)施例中，該處理被分為兩個(gè)階段訓(xùn)練階段和應(yīng)用階段。在訓(xùn)練階段期間，在簡單情況下，通過下述三元組來索引每一個(gè)語句其語音行為、動(dòng)作和約束集。當(dāng)語句是具有不止一個(gè)語音行為或主動(dòng)作的并列語句時(shí)，其通過多個(gè)三元組來索引。該語句進(jìn)一步被劃分為具有實(shí)例化的變量的從句。這將擴(kuò)展響應(yīng)產(chǎn)生的覆蓋范圍。
類似于短語模型構(gòu)造，執(zhí)行一般化步驟來獲得作為后退模型的語句模板。這將使能下述可能性在語句模板中的不同單元可能來自不同的來源(短語或語句)。在下述情況下手動(dòng)創(chuàng)建針對所有具有語音行為、動(dòng)作和單個(gè)約束集的三元組的語句如果從用戶側(cè)或WOZ側(cè)還沒有在訓(xùn)練數(shù)據(jù)中觀察到這些語句。同樣，這些語句通過三元組來索引。在訓(xùn)練階段后，使用應(yīng)用階段來完成語句產(chǎn)生。圖5是圖示在一個(gè)實(shí)施例下的、在語句產(chǎn)生處理中的主要功能步驟的流程圖。在框502中，如果給定的三元組還沒有在數(shù)據(jù)中被觀察到(在模型中被索引)，則在該三元組中的約束集被劃分為更小的子集，每一個(gè)子集在該模型中。用于最佳劃分的準(zhǔn)則包括最小數(shù)量的子集、對這些子集的優(yōu)選排序以與現(xiàn)有模型相匹配。在劃分步驟502后，返回三元組的序列?？?04是產(chǎn)生步驟，其中，對于在語句中從第一個(gè)到最后一個(gè)的每一個(gè)三元組，系統(tǒng)基于訓(xùn)練模型來產(chǎn)生對應(yīng)的語句。所述產(chǎn)生步驟之后是冗余減小步驟506。在該步驟中，系統(tǒng)對所產(chǎn)生的語句從第一個(gè)到最后一個(gè)進(jìn)行處理，并且如果在當(dāng)前語句中使用的名詞短語也用在之前語句中，并且它們指代同一實(shí)體，則當(dāng)前的名詞短語被具有相同數(shù)、人稱和性別的代詞替換，通常，在一個(gè)語句中可以替換不超過一個(gè)具有相同數(shù)、人稱和性別的名詞短語，以避免任何可能的混淆。因?yàn)橥辉颍黄谕谡Z句中或在言語中具有超過兩個(gè)代詞。如果共享同一語音行為和動(dòng)作的兩個(gè)連續(xù)語句中僅一個(gè)變量不同，則這兩個(gè)語句也可以被減少為單個(gè)語句。如上所述的實(shí)施例主要使用包含約束的表達(dá)，以便基于在實(shí)際對話系統(tǒng)中執(zhí)行的更頻繁的任務(wù)來實(shí)現(xiàn)效率。然而，也可以考慮其他表達(dá)方案。例如，如上所述，也可以通過響應(yīng)產(chǎn)生器系統(tǒng)來處理對話的具有修辭或篇章方面的表達(dá)。在該情況下，短語的一個(gè)或多個(gè)特定成分可以用適當(dāng)?shù)男畔順?biāo)識和標(biāo)記，該適當(dāng)?shù)男畔㈥P(guān)于它是什么類型的成分或方面(諸如修辭或篇章)。這些成分然后以與(如圖4中所示的)約束-值處理類似的方法進(jìn)行訓(xùn)練處理，使得可以形成默認(rèn)值。以這種方式，用戶提供的語音方面可以用于向由對話系統(tǒng)提供的響應(yīng)通知可以在響應(yīng)產(chǎn)生器模塊中使用這些方面。使用用戶輸入的響應(yīng)產(chǎn)生器表示了系統(tǒng)化的方式，用于從用戶言語提取短語和短語模式，以及一般化這些模式以在產(chǎn)生對話系統(tǒng)響應(yīng)時(shí)構(gòu)造語句。這樣的系統(tǒng)一般提供了更自然和對齊的響應(yīng)，這減輕了施加給用戶的總的認(rèn)知負(fù)擔(dān)，特別是當(dāng)他們在執(zhí)行諸如駕駛的主要任務(wù)時(shí)。這種手段也可以節(jié)省在開發(fā)和設(shè)計(jì)系統(tǒng)響應(yīng)時(shí)的大量精力，因?yàn)椴灰罅硗獾臄?shù)據(jù)注解或規(guī)則開發(fā)。本文描述的實(shí)施例包括一種用于響應(yīng)于在當(dāng)前交談會話中的用戶輸入而在對話系統(tǒng)中產(chǎn)生響應(yīng)的方法，包括從在所述用戶和所述對話系統(tǒng)之間的一個(gè)或多個(gè)交談會話或其他離線來源收集原始用戶短語數(shù)據(jù)；從所述用戶輸入提取一個(gè)或多個(gè)約束，其中每一個(gè)約束包括約束-值對；將所提取的約束一般化為短語模式，以產(chǎn)生一般短語模式；構(gòu)造由所述原始短語數(shù)據(jù)和所述一般短語模式構(gòu)成的響應(yīng)數(shù)據(jù)庫；根據(jù)所述用戶輸入向響應(yīng)產(chǎn)生器部件發(fā)送一組填充的約束；以及從所述響應(yīng)數(shù)據(jù)庫選擇與所述一組填充的約束最佳匹配的至少一個(gè)短語。一個(gè)實(shí)施例的所述一個(gè)或多個(gè)交談會話包括當(dāng)前會話，所述當(dāng)前會話包括所述用戶輸入。一個(gè)實(shí)施例的所述方法包括使用基于分塊的手段來提取由所述用戶使用的在約束規(guī)范中的短語。一個(gè)實(shí)施例的所述方法包括使用從所述響應(yīng)數(shù)據(jù)庫獲取的值來更新所提取的短語。一個(gè)實(shí)施例的所述一個(gè)或多個(gè)交談會話包括至少一個(gè)先前會話，所述至少一個(gè)先前會話不包括所述當(dāng)前會話的用戶輸入。一個(gè)實(shí)施例的所述方法包括使用基于分析樹的手段或基于分塊的手段之一來提取由所述用戶使用的在約束規(guī)范中的短語，并且形成如何詞匯化在所述用戶輸入中的約束的示例池。一個(gè)實(shí)施例的所述方法包括通過將約束替換為對應(yīng)的語義分類名稱，將所述約束一般化為短語模式。一個(gè)實(shí)施例的所述基于分析樹的手段在結(jié)構(gòu)上將所有用戶言語注解為分析樹。一個(gè)實(shí)施例的所述基于分塊的手段使用詞性標(biāo)注器來標(biāo)注所有用戶言語，并且通過淺層分析器或深層結(jié)構(gòu)分析器之一來進(jìn)行分析?！獋€(gè)實(shí)施例的所述方法包括確定所述填充的約束的約束和值對是否存在于所述響應(yīng)數(shù)據(jù)庫中。一個(gè)實(shí)施例的所述方法包括如果所述填充的約束的約束和值對存在于所述響應(yīng)數(shù)據(jù)庫中，則配置所述響應(yīng)產(chǎn)生器以使用在所述響應(yīng)數(shù)據(jù)庫中的對應(yīng)短語。一個(gè)實(shí)施例的所述方法包括確定所述填充的約束的約束和值對是否存在于所述響應(yīng)數(shù)據(jù)庫中。一個(gè)實(shí)施例的所述方法包括如果約束的值在所述數(shù)據(jù)庫的填充約束和所述用戶輸入中的約束的值之間有不同，則配置所述響應(yīng)產(chǎn)生器以使用所述響應(yīng)數(shù)據(jù)庫中與所述填充的約束的所述用戶輸入的約束和值對重疊度盡可能高的對應(yīng)短語。—個(gè)實(shí)施例的所述方法包括確定所述填充的約束的約束和值對是否存在于所述響應(yīng)數(shù)據(jù)庫中。一個(gè)實(shí)施例的所述方法包括如果所述填充的約束的約束和值對不存在于所述響應(yīng)數(shù)據(jù)庫中，則根據(jù)現(xiàn)有或已產(chǎn)生的模式創(chuàng)建約束模式。一個(gè)實(shí)施例的所述用戶輸入包括交談會話中的單個(gè)回合，所述交談會話由所述用戶和所述對話系統(tǒng)之間的多個(gè)對話回合構(gòu)成。本文所描述的實(shí)施例包括一種用于響應(yīng)于在用戶和對話系統(tǒng)之間的當(dāng)前交談會話的一個(gè)或多個(gè)回合期間的用戶輸入而在所述對話系統(tǒng)中產(chǎn)生短語的方法，包括從在所述用戶和所述對話系統(tǒng)之間的一個(gè)或多個(gè)交談會話收集用戶數(shù)據(jù)語料庫；基于所述用戶數(shù)據(jù)語料庫來構(gòu)造短語模型，其中，所述短語模型包括由約束-值對構(gòu)成的約束集；響應(yīng)于在所述用戶輸入內(nèi)的約束而從所述用戶數(shù)據(jù)語料庫中選擇最佳約束集；以及產(chǎn)生包含所述最佳約束集的語句以從響應(yīng)產(chǎn)生器輸出。在一個(gè)實(shí)施例中的構(gòu)造短語模型包括從具有約束的用戶言語中識別短語表達(dá)。 在一個(gè)實(shí)施例中的構(gòu)造短語模型包括通過分解處理來一般化所識別的約束。在一個(gè)實(shí)施例中的構(gòu)造短語模型包括創(chuàng)建針對每一個(gè)約束集的一個(gè)或多個(gè)默認(rèn)短語表達(dá)。在一個(gè)實(shí)施例中的選擇最佳約束集包括確定所述填充的約束的約束和值對是否存在于響應(yīng)數(shù)據(jù)庫中。在一個(gè)實(shí)施例中的選擇最佳約束集包括如果所述填充的約束的約束和值對存在于所述響應(yīng)數(shù)據(jù)庫中，則配置所述響應(yīng)產(chǎn)生器以使用在所述響應(yīng)數(shù)據(jù)庫中的對應(yīng)短語。在一個(gè)實(shí)施例中的選擇最佳約束集包括如果約束的值在所述數(shù)據(jù)庫的填充約束和所述用戶輸入中的約束的值之間有不同，則配置所述響應(yīng)產(chǎn)生器以使用在所述響應(yīng)數(shù)據(jù)庫中與所述填充的約束的所述用戶輸入的約束和值對重疊度盡可能高的對應(yīng)短語。在一個(gè)實(shí)施例中的選擇最佳約束集包括如果所述填充的約束的約束和值對不存在于所述響應(yīng)數(shù)據(jù)庫中，則根據(jù)現(xiàn)有或已產(chǎn)生的模式創(chuàng)建約束模式。一個(gè)實(shí)施例的所述用戶輸入包括一個(gè)或多個(gè)語句，每一個(gè)語句由三元組構(gòu)成，所述三元組包括語音行為、動(dòng)作和約束集，并且其中，產(chǎn)生語句以從響應(yīng)產(chǎn)生器輸出還包括 將所述用戶輸入的每一個(gè)語句索引為對應(yīng)的三元組；如果所述三元組不存在于所述語料庫中，則將所述三元組的約束集劃分為多個(gè)較小的子集；根據(jù)所述劃分步驟產(chǎn)生三元組的序列；基于限定的訓(xùn)練模型來產(chǎn)生針對所述三元組的序列中的每一個(gè)三元組的對應(yīng)語句；以及減小在所產(chǎn)生的對應(yīng)語句中的冗余。一個(gè)實(shí)施例的減小冗余包括確定在當(dāng)前語句中使用的名詞短語是否也用在先前語句中并且指代相同實(shí)體。一個(gè)實(shí)施例的減小冗余包括如果所述名詞短語在所述先前語句中被使用，則將當(dāng)前的所述名詞短語替換為具有相同數(shù)、人稱和性別的代詞。—個(gè)實(shí)施例的來自一個(gè)或多個(gè)交談會話的所述用戶數(shù)據(jù)語料庫包括當(dāng)前會話，所述當(dāng)前會話包括所述用戶輸入?！獋€(gè)實(shí)施例的所述方法包括使用基于分塊的手段來提取由所述用戶使用的在約束規(guī)范中的短語。一個(gè)實(shí)施例的所述方法包括使用從所述響應(yīng)數(shù)據(jù)庫獲取的值來更新所提取的短語。一個(gè)實(shí)施例的來自一個(gè)或多個(gè)交談會話的所述用戶數(shù)據(jù)語料庫包括至少一個(gè)先前會話，所述至少一個(gè)先前會話不包括所述當(dāng)前會話的用戶輸入?！獋€(gè)實(shí)施例的所述方法包括使用基于分析樹的手段或基于分塊的手段之一來提取由所述用戶使用的在約束規(guī)范中的短語，并且形成如何詞匯化在所述用戶輸入中的約束的示例池。一個(gè)實(shí)施例的所述方法包括通過將約束替換為對應(yīng)的語義分類名稱，將所述約束一般化為短語模式。一個(gè)實(shí)施例的所述基于分析樹的手段在結(jié)構(gòu)上將所有用戶言語注解為分析樹。一個(gè)實(shí)施例的所述基于分塊的手段使用詞性標(biāo)注器來標(biāo)注所有用戶言語，并且通過淺層分析器或深層結(jié)構(gòu)分析器之一來進(jìn)行分析。本文所描述的響應(yīng)產(chǎn)生處理的方面可以被實(shí)現(xiàn)為被編程到各種電路中的任何一種中的功能，所述電路包括可編程邏輯器件(“PLD”)，諸如現(xiàn)場可編程門陣列(“FPGA”)、 可編程陣列邏輯(“PAL”)設(shè)備、電可編程邏輯與存儲器設(shè)備和基于標(biāo)準(zhǔn)單元(standard cell-based)的設(shè)備以及專用集成電路。用于實(shí)現(xiàn)各方面的一些其他可能包括具有存儲器(諸如EEPR0M)的微控制器、嵌入式微處理器、固件、軟件等。此外，該內(nèi)容服務(wù)方法的方面可以被體現(xiàn)在具有基于軟件的電路仿真的微處理器、分立的邏輯(依序的或組合的)、定制設(shè)備、模糊(神經(jīng))邏輯、量子設(shè)備和上述設(shè)備類型的任何一些的混合中?？梢砸愿鞣N部件類型來提供基礎(chǔ)設(shè)備技術(shù)，例如，金屬氧化物半導(dǎo)體場效應(yīng)晶體管(“M0SFET”)技術(shù)(如互補(bǔ)金屬氧化物半導(dǎo)體(“CMOS”))、雙極技術(shù)(如射極耦合邏輯(“ECL”))、聚合物技術(shù) (例如，硅共軛聚合物和金屬共軛聚合物金屬結(jié)構(gòu))、混合的模擬與數(shù)字技術(shù)等。也應(yīng)當(dāng)注意，本文公開的各種功能可以使用硬件、固件的任何數(shù)量的組合來描述， 和/或可以根據(jù)它們的行為、寄存器傳送、邏輯部件和/或其他特性被描述為在各種機(jī)器可讀或計(jì)算機(jī)可讀介質(zhì)中體現(xiàn)的數(shù)據(jù)和/或指令。其中可以體現(xiàn)這樣的格式化數(shù)據(jù)和/或指令的計(jì)算機(jī)可讀介質(zhì)包括但是不限于各種形式的非易失性存儲介質(zhì)(例如，光、磁或半導(dǎo)體存儲介質(zhì))，和可以用于通過無線、光或有線信號傳送介質(zhì)或其任何組合來傳送這樣的格式化數(shù)據(jù)和/或指令的載波。通過載波傳送這樣的格式化數(shù)據(jù)和/或指令的示例包括但是不限于經(jīng)由一個(gè)或多個(gè)數(shù)據(jù)傳送協(xié)議(例如，HTTP、FTP和SMTP等)在因特網(wǎng)和/或其他計(jì)算機(jī)網(wǎng)絡(luò)上進(jìn)行的傳送(上傳、下載、電子郵件等)。除非上下文清楚地要求，否則在整個(gè)說明書和權(quán)利要求中，詞“包括”、“包含”等應(yīng)當(dāng)以包含的含義來解釋，而非以排他或窮盡的含義來解釋；即，在“包括但是不限于”的意義上來解釋。使用單數(shù)或復(fù)數(shù)的詞也分別包括復(fù)數(shù)或單數(shù)。另外，詞“在此”、“以下”、“上面”、 “下面”和類似含義的詞指的是本申請整體，而不是指本申請的任何特定部分。當(dāng)關(guān)于兩個(gè)或更多項(xiàng)目的列表使用詞“或”時(shí)，該詞覆蓋該詞的所有以下解釋列表中的任何一個(gè)項(xiàng)目、 列表中的全部項(xiàng)目和列表中的項(xiàng)目的任何組合。上文對所說明的響應(yīng)產(chǎn)生處理的實(shí)施例的描述不意欲是窮盡性的或?qū)⑦@些實(shí)施例限制到所公開的精確形式或指令。雖然為了說明的目的而在此描述了在計(jì)算設(shè)備中的處理示例的特定實(shí)施例，但是本領(lǐng)域內(nèi)的技術(shù)人員將認(rèn)識到，在所公開的方法和結(jié)構(gòu)的范圍內(nèi)能夠進(jìn)行各種等同修改。上文所描述的各個(gè)實(shí)施例的元件和操作可以被組合以提供另外的實(shí)施例?？梢愿鶕?jù)上面的詳細(xì)描述來對于響應(yīng)產(chǎn)生處理進(jìn)行這些和其他改變。一般而言，在所附權(quán)利要求中，所使用的術(shù)語不應(yīng)當(dāng)被解釋為將所公開的方法限于在說明書和權(quán)利要求中公開的特定實(shí)施例，而是應(yīng)當(dāng)被解釋為包括在權(quán)利要求下進(jìn)行的所有操作或處理。因此，所公開的結(jié)構(gòu)和方法不受本公開的限制，相反，所闡述的方法的范圍由權(quán)利要求來整體確定。雖然以特定權(quán)利要求形式給出了所公開的系統(tǒng)和方法的某些方面，但是發(fā)明人設(shè)想了任何數(shù)量的權(quán)利要求形式中的方法的各個(gè)方面。例如，雖然僅一個(gè)方面可以被闡述為體現(xiàn)在機(jī)器可讀介質(zhì)中，但是其他方面同樣可以被體現(xiàn)在機(jī)器可讀介質(zhì)中。因此，發(fā)明人保留在提交本申請后增加另外的權(quán)利要求的權(quán)利，以為其他方面尋求這樣的另外的權(quán)利要求形式。
權(quán)利要求
1.一種用于響應(yīng)于在當(dāng)前交談會話中的用戶輸入而在對話系統(tǒng)中產(chǎn)生響應(yīng)的方法，包括從在所述用戶和所述對話系統(tǒng)之間的一個(gè)或多個(gè)交談會話或其他離線來源收集原始用戶短語數(shù)據(jù)；從所述用戶輸入提取一個(gè)或多個(gè)約束，其中每一個(gè)約束包括約束-值對； 將所提取的約束一般化為短語模式，以產(chǎn)生一般短語模式； 構(gòu)造由所述原始短語數(shù)據(jù)和所述一般短語模式構(gòu)成的響應(yīng)數(shù)據(jù)庫； 根據(jù)所述用戶輸入向響應(yīng)產(chǎn)生器部件發(fā)送一組填充的約束；以及從所述響應(yīng)數(shù)據(jù)庫選擇與所述一組填充的約束最佳匹配的至少一個(gè)短語。
2.如權(quán)利要求1所述的方法，其中，所述一個(gè)或多個(gè)交談會話包括當(dāng)前會話，所述當(dāng)前會話包括所述用戶輸入。
3.如權(quán)利要求2所述的方法，包括使用基于分塊的手段來提取由所述用戶使用的在約束規(guī)范中的短語；以及使用從所述響應(yīng)數(shù)據(jù)庫獲取的值來更新所提取的短語。
4.如權(quán)利要求1所述的方法，其中，所述一個(gè)或多個(gè)交談會話包括至少一個(gè)先前會話， 所述至少一個(gè)先前會話不包括所述當(dāng)前會話的用戶輸入。
5.如權(quán)利要求4所述的方法，包括使用基于分析樹的手段或基于分塊的手段之一來提取由所述用戶使用的在約束規(guī)范中的短語，并且形成如何詞匯化在所述用戶輸入中的約束的示例池；以及通過將約束替換為對應(yīng)的語義分類名稱，將所述約束一般化為短語模式。
6.如權(quán)利要求5所述的方法，其中，所述基于分析樹的手段在結(jié)構(gòu)上將所有用戶言語注解為分析樹。
7.如權(quán)利要求5所述的方法，其中，所述基于分塊的手段使用詞性標(biāo)注器來標(biāo)注所有用戶言語，并且通過淺層分析器或深層結(jié)構(gòu)分析器之一來進(jìn)行分析。
8.如權(quán)利要求1所述的方法，包括確定所述填充的約束的約束和值對是否存在于所述響應(yīng)數(shù)據(jù)庫中；以及如果所述填充的約束的約束和值對存在于所述響應(yīng)數(shù)據(jù)庫中，則配置所述響應(yīng)產(chǎn)生器以使用在所述響應(yīng)數(shù)據(jù)庫中的對應(yīng)短語。
9.如權(quán)利要求1所述的方法，包括確定所述填充的約束的約束和值對是否存在于所述響應(yīng)數(shù)據(jù)庫中；以及如果約束的值在所述數(shù)據(jù)庫的填充約束和所述用戶輸入中的約束的值之間有不同，則配置所述響應(yīng)產(chǎn)生器以使用所述響應(yīng)數(shù)據(jù)庫中與所述填充的約束的所述用戶輸入的約束和值對重疊度盡可能高的對應(yīng)短語。
10.如權(quán)利要求1所述的方法，包括確定所述填充的約束的約束和值對是否存在于所述響應(yīng)數(shù)據(jù)庫中；以及如果所述填充的約束的約束和值對不存在于所述響應(yīng)數(shù)據(jù)庫中，則根據(jù)現(xiàn)有或已產(chǎn)生的模式創(chuàng)建約束模式。
11.如權(quán)利要求1所述的方法，其中，所述用戶輸入包括交談會話中的單個(gè)回合，所述交談會話由所述用戶和所述對話系統(tǒng)之間的多個(gè)對話回合構(gòu)成。
12.一種用于響應(yīng)于在用戶和對話系統(tǒng)之間的當(dāng)前交談會話的一個(gè)或多個(gè)回合期間的用戶輸入而在所述對話系統(tǒng)中產(chǎn)生短語的方法，包括從在所述用戶和所述對話系統(tǒng)之間的一個(gè)或多個(gè)交談會話收集用戶數(shù)據(jù)語料庫； 基于所述用戶數(shù)據(jù)語料庫來構(gòu)造短語模型，其中，所述短語模型包括由約束-值對構(gòu)成的約束集；響應(yīng)于在所述用戶輸入內(nèi)的約束而從所述用戶數(shù)據(jù)語料庫中選擇最佳約束集；以及產(chǎn)生包含所述最佳約束集的語句以從響應(yīng)產(chǎn)生器輸出。
13.如權(quán)利要求12所述的方法，其中，構(gòu)造短語模型的步驟包括 從具有約束的用戶言語中識別短語表達(dá)；通過分解處理來一般化所識別的約束；以及創(chuàng)建針對每一個(gè)約束集的一個(gè)或多個(gè)默認(rèn)短語表達(dá)。
14.如權(quán)利要求12所述的方法，其中，選擇最佳約束集的步驟包括 確定填充的約束的約束和值對是否存在于響應(yīng)數(shù)據(jù)庫中；如果所述填充的約束的約束和值對存在于所述響應(yīng)數(shù)據(jù)庫中，則配置所述響應(yīng)產(chǎn)生器以使用在所述響應(yīng)數(shù)據(jù)庫中的對應(yīng)短語；如果約束的值在所述數(shù)據(jù)庫的填充約束和所述用戶輸入中的約束的值之間有不同，則配置所述響應(yīng)產(chǎn)生器以使用在所述響應(yīng)數(shù)據(jù)庫中與所述填充的約束的所述用戶輸入的約束和值對重疊度盡可能高的對應(yīng)短語；以及如果所述填充的約束的約束和值對不存在于所述響應(yīng)數(shù)據(jù)庫中，則根據(jù)現(xiàn)有或已產(chǎn)生的模式創(chuàng)建約束模式。
15.如權(quán)利要求12所述的方法，其中，所述用戶輸入包括一個(gè)或多個(gè)語句，每一個(gè)語句由三元組構(gòu)成，所述三元組包括語音行為、動(dòng)作和約束集，并且其中，產(chǎn)生語句以從響應(yīng)產(chǎn)生器輸出包括將所述用戶輸入的每一個(gè)語句索引為對應(yīng)的三元組；如果所述三元組不存在于所述語料庫中，則將所述三元組的約束集劃分為多個(gè)較小的子集；根據(jù)所述劃分步驟產(chǎn)生三元組的序列；基于限定的訓(xùn)練模型來產(chǎn)生針對所述三元組的序列中的每一個(gè)三元組的對應(yīng)語句；以及減小在所產(chǎn)生的對應(yīng)語句中的冗余。
16.如權(quán)利要求15所述的方法，其中，減小冗余包括確定在當(dāng)前語句中使用的名詞短語是否也用在先前語句中并且指代相同實(shí)體；以及如果所述名詞短語在所述先前語句中被使用，則將當(dāng)前的所述名詞短語替換為具有相同數(shù)、人稱和性別的代詞。
17.如權(quán)利要求12所述的方法，其中，來自一個(gè)或多個(gè)交談會話的所述用戶數(shù)據(jù)語料庫包括當(dāng)前會話，所述當(dāng)前會話包括所述用戶輸入。
18.如權(quán)利要求1所述的方法，包括使用基于分塊的手段來提取由所述用戶使用的在約束規(guī)范中的短語；以及使用從所述響應(yīng)數(shù)據(jù)庫獲取的值來更新所提取的短語。
19.如權(quán)利要求12所述的方法，其中，來自一個(gè)或多個(gè)交談會話的所述用戶數(shù)據(jù)語料庫包括至少一個(gè)先前會話，所述至少一個(gè)先前會話不包括所述當(dāng)前會話的用戶輸入。
20.如權(quán)利要求19所述的方法，包括使用基于分析樹的手段或基于分塊的手段之一來提取由所述用戶使用的在約束規(guī)范中的短語，并且形成如何詞匯化在所述用戶輸入中的約束的示例池；以及通過將約束替換為對應(yīng)的語義分類名稱，將所述約束一般化為短語模式。
21.如權(quán)利要求20所述的方法，其中，所述基于分析樹的手段在結(jié)構(gòu)上將所有用戶言語注解為分析樹。
22.如權(quán)利要求20所述的方法，其中，所述基于分塊的手段使用詞性標(biāo)注器來標(biāo)注所有用戶言語，并且通過淺層分析器或深層結(jié)構(gòu)分析器之一來進(jìn)行分析。
全文摘要
描述了使用基于語料庫的手段來基于給定數(shù)量的語義約束-值對而產(chǎn)生響應(yīng)的對話系統(tǒng)的實(shí)施例。該系統(tǒng)充分利用來自用戶輸入的數(shù)據(jù)來與模板產(chǎn)生器組合地產(chǎn)生對話系統(tǒng)響應(yīng)。該系統(tǒng)主要使用約束值，以便基于在實(shí)際對話系統(tǒng)中執(zhí)行的更頻繁的任務(wù)來實(shí)現(xiàn)效率，但是也可以以類似的方式包括對話的修辭或篇章方面，即，使用這樣的信息來標(biāo)記數(shù)據(jù)，并且執(zhí)行訓(xùn)練處理。這種系統(tǒng)的益處包括較高質(zhì)量的用戶對齊的響應(yīng)、較寬的覆蓋范圍、較快的響應(yīng)時(shí)間和較短的開發(fā)周期。
文檔編號G06F17/27GK102165518SQ200980137642
公開日2011年8月24日 申請日期2009年7月10日 優(yōu)先權(quán)日2008年8月27日
發(fā)明者J·曹, J·胡, L·斯托亞, Z·馮, 翁富良 申請人:羅伯特·博世有限公司