專利名稱：用于多重模態(tài)話音和Web服務的方法和裝置的制作方法
技術領域：
本發(fā)明涉及一種用于多重模態(tài)話音和Web服務的方法和裝置。
技術背景隨著設備越來越小，除了鍵盤和記錄筆之外的交互模式成為了必需。 特別地，像蜂窩電話和PDA這樣的小巧的手持設備提供很多功能并且含有 足夠的處理能力來應對各種任務。如今以及將來的設備將極大地獲益于對 多重模態(tài)訪問方法的使用。多信道訪問是由多種方法或信道(例如，電話、膝上型計算機或PDA) 來訪問企業(yè)數據和應用的能力。例如，用戶在辦公室或在家時可以使用因 特網瀏覽器來訪問他或者她在Web上的銀行賬戶余額，并且在路上時可以 使用話音識別以及文本到語音轉換通過非智能電話(dumb phone)來訪問 相同的信息。相比之下，多重模態(tài)訪問是在相同的交互或會話中組合多種模式或信 道的能力。輸入的方法包括語音識別、鍵盤、觸摸屏和記錄筆。取決于形 勢和設備，輸入模式的組合將使得對小巧設備的使用更加容易。例如，在 PDA上的Web瀏覽器中，你可以通過敲打或者通過提供話音輸入來選擇 項目。類似地，你可以使用話音或記錄筆將信息輸入到字段。利用多重模 態(tài)技術，既可以顯示又可以說出設備上的信息。使用XHTML+Voice (可擴M文本置標語言+話音)的多重才莫態(tài)應用 為現今基于VoiceXML (話音可擴展置標語言)的話音應用以及基于 XHTML的可視應用提供了向可以服務于這兩種環(huán)境以及多重模態(tài)環(huán)境的 單個應用的自然的轉移途徑。通過建立兩種信道， 一種用于圖形用戶接口 以及另 一種用于話音，多重才莫態(tài)應用集成了話音接口和圖形用戶接口交互。
在書寫XHTML+Voice (X+V) Profile 1.2的同時，于2004年3月16日 在www.voicexml.org上對其進行了發(fā)布。在具有遠程話音處理的多重模態(tài)瀏覽器的已知實現中，在客戶機與話 音服務器之間建立話音信道，并且分配該信道以便在X+V會話內的話音交 互的持續(xù)時間傳送話音數據。在該話音交互之后，斷開該話音信道，并且繼續(xù)x+v會話。對于x+v會話內的每個單獨的交互，必須建立新的話音 信道，因為這避免了在x+v會話處于空閑時消耗服務器上寶貴的話音資源。為每個話音交互建立和關閉話音信道存在這樣的缺點，即，由于使用現有協(xié)議(SIP和RTP)來開啟和關閉話音信道所花費的時間，增加了每 個話音交互的響應時間。所增加的時延是設備與服務器之間可用的網絡帶 寬的直接函數。這導致在窄帶網絡(例如，慢速因特網連接)上和慢速無 線網絡上的問題。例如，pre-3G無線網絡上的網絡帶寬受限。發(fā)明內容根據本發(fā)明的第一方面，提供了 一種用于控制從音頻接口到音頻處理 器的音頻連接的方法，其包括為音頻數據建立與所述音頻處理器的處理 器鏈路；響應于音頻接口會話的建立，在所述接口會話中為音頻數據建立 與所述音頻接口的接口鏈路；響應于指示在所述接口會活內音頻交互的開 始的信號，將所述處理器鏈路和所述接口鏈路連接在一起，由此，音頻數 據可以在所述音頻接口會話與所述音頻處理器之間流動；響應于指示所述 音頻交互的結束的信號，斷開所述處理器鏈路和所述接口鏈路；以及響應 于所述接口M的結束，拆除所述接口鏈路。虛擬化在每輪^il上(on a per turn basis )使用的IVR端口同時保留 虛擬化單元與設備之間的固定連接，這無疑是新穎的。在窄帶網絡上使用 SIP協(xié)議建立RTP信道占用了不適當的容量，因為在握手時需要標識M 號和IVR端口號。此外，SIP呼叫用于新的呼叫，并且在建立RTP信道 之前需要分配資源(VoiceXML瀏覽器、語音引擎等)。新的連接協(xié)議使
用單個信號觸發(fā)來獲得相同的連接一 由于在現有會話信道上發(fā)送了該信 號，因此無需會活號。無需端口號、會話或者話音引擎資源分配，因為已經分配了端口 。所需要的唯一的分配是可用的且被配置的RTP信道。此外， 所述新的連接協(xié)議使用現有信號來觸發(fā)虛擬電路，因此根本不存在建立開 銷。創(chuàng)建可連接并且可斷開的音頻信道(虛擬電路)的優(yōu)勢在于1)當同 時的虛擬電路的數目少于或者等于可用的物理IVR端口時，系統(tǒng)實質上并 未向交互的響應時間附加時延；2)在客戶機以及在IVR上無需代碼改變； 3)當虛擬電路的數目超過可用的物理IVR端口的數目時，系統(tǒng)性能適度 下降；以及4)由于設備與交換機之間的永久話音電路，任何的用戶音頻 輸入均在所述交換機中被獲取，并且一旦虛擬電路變得可用，該音頻輸入 就可以在稍后被回放給所述IVR。對虛擬話音信道與中間控制器的連接和斷開給予控制，使得所id^戶 機和服務器均能夠觸發(fā)連接和斷開。所述音頻處理器可以是具有用于語音識別和/或文本到語音轉換的任 選的話音服務器的交互式話音響應系統(tǒng)。所述音頻接口可以是具有用于多重模態(tài)操作的話音功能性的 VoiceXML瀏覽器或XML瀏覽器。所述方法進一步包括如果連接所述接口鏈路與所述處理器鏈路存在 延遲，則緩沖所述音頻數據。所述建立與所述音頻處理器的處理器鏈路的步驟包括^_用SIP協(xié)議 協(xié)商RTP連接。觸發(fā)音頻交互的開始的信號是指示多重模態(tài)對話的開始的預先存在的 信號。觸發(fā)音頻交互的結束的信號是指示多重模態(tài)對話中字段的同步的預先 存在的信號。


現將參照附圖，僅借助于例子來描述本發(fā)明的實施例，在附圖中 圖1是本發(fā)明的多重模態(tài)服務器和n個客戶機的代表；以及 圖2是本發(fā)明的多重模態(tài)系統(tǒng)中的一個客戶機與多重模態(tài)服務器之間 的時序圖。
具體實施方式
優(yōu)選實施例的系統(tǒng)包括通過網絡11連接至多重模態(tài)服務器12的多個 客戶機10.1到10.n。每個客戶機10包括XHTML瀏覽器14;交互管理 器16;以及音頻硬件18。服務器12包括X+V文檔數據庫20; XHTML+Voice (X+V)過濾器22; VoiceXML (VXML )瀏覽器24;交 互式話音響應系統(tǒng)(IVR) 26;話音引擎28;以及交換機30。網絡11支持XHTML (X)信道32; CTRL (控制)信道34; SIP (會話起始協(xié)議)信道36;以及RTP (實時協(xié)議)信道38。 X信道32傳 送用于X+V交互的XHTML應用。在優(yōu)選的實施例中，CTRL信道34傳 送用于同步對應的XHTML和VXML字段的同步信號。X+V定義了在 XHTML表單和VXML表單中對應字段的概念。當多重才莫態(tài)交互可以發(fā)生 的時候，發(fā)送同步數據事件信號，并且在交互之后發(fā)送同步數據信號，以 便將一個XML字段與對應的XML字段同步。RTP信道38傳送用于音頻 的數據。SIP信道36用于建立RTP信道。CTRL、 RTP和SIP信道并不 直接地而是通過交換機30將客戶機10連接至VXML瀏覽器24/IVR 26。 交換機30消擬艮少的資源，并且因此可以支持大量的并行客戶機10，大 于可用的IVR容量。關于一個客戶機10和一個RTP信道38描述了優(yōu)選的實施例，但是當 存在的客戶機多于存在的話音信道時，本發(fā)明的優(yōu)勢變得顯而易見?？蛻魴CXHTML瀏覽器14解釋通過X信道32所接收到的XHTML 文檔。XHTML瀏覽器14是已知的XHTML瀏覽器，其具有附加的功能 性以便與VXML瀏覽器進行交互以及與音頻硬件進行交互。通過在CTRL (控制)信道34和SIP (M起始協(xié)議)信道36上發(fā) 送和接收控制信息，交互管理器16控制XHTML瀏覽器14與VXML瀏 覽器24之間的交互。XHTML瀏覽器14與VXML瀏覽器24之間的交互 的重要方面在于，正好在話音交互之前從交互管理器16發(fā)送的同步事件信 號，以及在話音交互之后發(fā)送的同步數據信號。同步事件信號觸發(fā)VXML 瀏覽器24中的話音對話。同步數據信號在話音交互之后同步對應的字段數 據。在交互管理器16的控制下，由音頻石更件在RTP (實時協(xié)議)信道38 上發(fā)送和接收音頻內容。X+V文檔數據庫20存儲X+V文檔，并且按照請求將其發(fā)送至X+V 過濾器22。按照來自XHTML瀏覽器14的請求，X+V過濾器22從X+V文檔數 椐庫20獲得X+V文檔。將X+V文檔過濾成XHTML組成部分和VXML 組成部分。將XHTML組成部分發(fā)送至XHTML瀏覽器14，并且將VXML 組成部分發(fā)送至VXML瀏覽器24。 XHTML組成部分含有話音處理器， 以便顯示對應的X和V字段以及標記XHTML中需要與VXML瀏覽器交 互的部分。VXML瀏覽器24是常規(guī)的VXML瀏覽器。VXML瀏覽器接收使用 X+V會話的X+V文檔的VXML組成部分來進行話音交互的請求。VXML 瀏覽器管理該X+V會話內的話音交互。對各個話音功能的處理被傳遞給 IVR。盡管在優(yōu)選的實施例中，VXML瀏覽器24和X+V過濾器被示于服務 器12中，然而其還可以在客戶機10上實現。IVR 26處理話音交互。響應于來自所瀏覽的VXML文檔部分的請求 以及作為所瀏覽的VXML文檔部分的輸入而被接收的雙音多頻信號 (DTMF),可以播放預先記錄的提示。IVR 26還與話音引擎28連接。 IVR 26通過交換機30連接至SIP信道36和RTP信道38。話音引擎28為IVR 26進行語音識別輸入和文本到語音轉換輸出。交換機30包括多路復用器40和緩沖器42。多路復用器40將(其自 身與大概數千個移動設備客戶機之間的)大量客戶機話音鏈漆t(yī)一與(其自身與IVR之間的)少量IVR話音鏈路之一相連。當交換機30在控制信 道(CTRL)上截獲同步事件信號時，其將對應的客戶機話音鏈路與IVR 話音鏈路相連，以便在客戶機與IVR端口之間創(chuàng)建虛擬話音電路。一旦創(chuàng)建了虛擬話音電路，同步事件信號便被傳遞給VXML瀏覽器 24，用于話音交互的處理。VXML瀏覽器24可以更新VXML字段，并且 然后指示IVR 26播放提示以及在虛擬電路上獲得話音輸入。虛擬電路僅維 持單個話音交互的持續(xù)時間("話輪(conversational turn )")，并且由 同步數據信號來告知交互的結束。當觸發(fā)同步數據信號時，交換機30斷開 虛擬電路。另一客戶設備然后可以在斷開后立刻重用該虛擬鏈路的話音資 源。出于可擴縮性，可以通過高速網絡將交換機連接至IVR。在優(yōu)選的實施例中，在X+V會話期間的第一話音交互處開啟RTP信 道38?？蛇x地，交換機可以被配置以在X+V會話的開始處，于第一話音 交互之前開啟RTP會話。對于預先開啟的RTP信道，交換機30與IVR 26 之間的話音信道保持連接。這意味著，當需要建立新的虛擬電路時，其變 成在交換機內建立路由的一種簡單情況，而無需發(fā)生與IVR的額外的物理 呼叫建立。實際上，這意味著向系統(tǒng)的響應性附加了可忽略的時延。在所有物理IVR端口均在使用的情況下(即，太多的設備正在同時試 圖進行話音交互)，交換機30可以將音頻存儲在緩沖器42中。當稍后IVR 端口變?yōu)榭捎脮r，建立虛擬電路并且將所緩沖的音頻重放給IVR，這樣就 完成了交互(例如，留下話音消息)。當然，如果這經常發(fā)生，那么其意 味著系統(tǒng)被100%地利用，并且需要額外的IVR端口。為了說明本實施例的方法，現參照例子以及圖2的事件圖來描述兩個 典型的話音交互的事件。使用手持PDA，用戶"沖浪"至航班信息網站以查找航班到達的預計 時間。GUI (用戶圖形接口 )顯示具有兩個字段的查詢表單航班號和航 班曰期。用戶關注第一字段，并且音頻提示被播放"請輸入航班號"。用 戶使用其PDA上的鍵盤輸入航班號(參照下文的"Web同步"描述了該 交互)。用戶然后關注下一字段，并且聽到音頻提示"請輸入日期"。這 次，用戶使用音頻硬件，對著麥克風說"今天"。話音數據被處理，并且 該天的日期被自動插入到日期字段。在下文的"話音同步"事件序列中描 述了該交互。在該例中，填寫了兩個字段，并且航班信息站點以文本形式 或話音形式或者二者來返回預計的到達時間。起初，客戶機10請求50建立話音信道38以及在SIP信道36上發(fā)送 一次性SIP請求給IVR 26以建立話音信道38。然而，在交換機30與客戶 機之間建立了 52 —個客戶機鏈路，并且在交換機與服務器之間建立了 54 至少一個服務器鏈路，而不是從客戶機20到服務器的話音信道38?？蛻?機鏈路和服務器鏈路形成了可連接的話音電路，其可以由交換機連接并且 然后斷開。服務器鏈路的數目受限于IVR上的端口數，并JL^戶機鏈路的 數目受限于交換機30的實現。在圖2中，Web同步交互56示出了在這樣的交互中的事件，即在該 交互中，在客戶機XHTML瀏覽器中，XHTML字段被引起關注并且與對 應的VXML字段同步。由于XHTML字段具有對應的VXML字段，因此 將同步事件信號從客戶機發(fā)送58至服務器。由交換機截獲同步事件，該交 換機在向X+V服務器上的VXML瀏覽器轉發(fā)同步事件之前首先連接60 話音電路。當VXML瀏覽器接收到同步事件時，其找到對應的VXML組 件，并且運行62該組件作為話音交互。在該例中，話音交互在新連接的話 音信道上發(fā)送64話音提示?？蛻魴C接收話音提示，并且使用音頻硬件來播 放66該話音提示。然而，在該例中，用戶選擇使用XHTML接口輸入響 應來響應話音提示，因此，不存在即時VXML響應。用戶使用圖形接口向 XHTML字段中輸入數據。XHTML字段具有對應的VXML字段并且同 步尾隨其后。交互管理器在CTRL信道上向X+V服務器發(fā)送68同步數據 信號-這是包括所輸入的XHTML數據的同步數據信號。交換機在向 VXML瀏覽器轉發(fā)以便向VXML字段輸入之前截獲同步數據信號。由于 CTRL信號是同步數據信號，因此交換機獲知斷開70虛擬話音電路。 VXML瀏覽器同步72 VXML數據，并且結束74話音交互。
圖2中的話音同步交互76示出了在這樣的交互中的事件，即在該交互 中，數據被輸入到服務器VXML瀏覽器中的VXML字段，并且與客戶機 瀏覽器中對應的XHTML字段同步。當具有對應的VXML字段的XHTML 字段在圖形接口中被引起關注時，將同步事件信號從交互管理器經由交換 機發(fā)送78至服務器。由交換機截獲同步事件，該交換機將客戶機鏈路連接 80至IVR鏈路以形成話音電路。將同步事件轉發(fā)至X+V服務器上的 VXML瀏覽器。當VXML瀏覽器接收到該同步事件時，其運行82對應的 VXML交互。在該例中，話音交互通過新連接的話音信道發(fā)送84話音提 示?？蛻魴C接收話音提示，并且使用音頻硬件播放86該話音提示。在該例 中，用戶通過向音頻硬件說出應答(例如，"今天")來響應該話音提示。 通過由交換機所創(chuàng)建的虛擬話音電路將話音數據發(fā)送88至IVR。 IVR向 話音引擎發(fā)送話音數據用于識別90，并且將作為結果的文本數據輸入到 VXML字段。VXML字段具有對應的XHTML字段，并且沿CTRL信道 將同步數據信號發(fā)送92至交互管理器。在將同步數據信號轉發(fā)至交互管理 器之后，交換機斷開94話音電路?？蛻魴C結束96交互。X+V服務器處理 字段中的數據并且輸出結果。只有在客戶設備即將要被切斷的時候，才發(fā)送97話音拆除信號。響應 于該信號，交換機拆除98客戶機鏈路，并且服務器拆除99 IVR鏈路。總而言之，實施例基于能夠定位話音服務器，臨時對其進行分配， 向其發(fā)送你所說的"今天的683航班應何時到達？"的音頻，將你所說的 內容的結果返回到瀏覽器中，以及對話音服務器解除分配以l更供與其瀏覽 器交談的下一人使用。話音信道和IVR端口最初由使用常規(guī)音頻協(xié)議的 IVR和交換機建立。話音信道最初并未連接至客戶機。交換機在不必與IVR 連續(xù)通信的情況下處理IVR話音信道的分配和解除分配。用戶(通常通過 按PTT按鈕)向客戶設備指示他希望在X+V會話期間發(fā)起話音交互。這 轉換為在CTRL信道上對同步XHTML和VXML表單的請求，實施例將 其用作VXML瀏覽器執(zhí)行話輪的觸發(fā)器。多路復用器截獲該控制命令，并 且連接設備與現有的開放但獨立的(unattached)話音端口之間的虛擬話
音電路。無需建立RTP信道即可連接虛擬電路。然后，將CTRL信號轉 發(fā)至交互管理器，從而使得會話能夠發(fā)生。在會話結束時，斷開虛擬電路。
權利要求
1.一種用于控制從音頻接口到音頻處理器的音頻連接的方法，其包括為音頻數據建立與所述音頻處理器的處理器鏈路；響應于音頻接口會話的建立，在所述接口會話中為音頻數據建立與所述音頻接口的接口鏈路；響應于指示在所述接口會話內音頻交互的開始的信號，將所述處理器鏈路和所述接口鏈路連接在一起，由此，音頻數據可以在所述音頻接口會話與所述音頻處理器之間流動；響應于指示所述音頻交互的結束的信號，斷開所述處理器鏈路和所述接口鏈路；以及響應于所述接口會話的結束，拆除所述接口鏈路。
2. 根據權利要求l的方法，其中，所述音頻處理器是具有用于語音識 別和/或文本到語音轉換的任選的話音服務器的交互式話音響應系統(tǒng)。
3. 根據權利要求1或2的方法，其中，所述音頻接口是具有用于多重 模態(tài)操作的話音功能性的XML瀏覽器。
4. 根據權利要求1、 2或3的方法，其進一步包括如果連接所述接 口鏈路與所述處理器鏈路存在延遲，則緩沖所述音頻數據。
5. 根據權利要求1至4中任何一項的方法，其中，所述建立與所述音 頻處理器的處理器鏈路的步驟包括使用SIP協(xié)議協(xié)商RTP連接。
6. 根據權利要求1至5中任何一項的方法，其中，觸發(fā)音頻交互的開 始的信號是指示多重模態(tài)對話的開始的預先存在的信號。
7. 根據權利要求1至6中任何一項的方法，其中，觸發(fā)音頻交互的結 束的信號是指示多重模態(tài)對話中字段的同步的預先存在的信號。
8. —種用于控制從音頻接口到音頻處理器的音頻連接的交換機，其包括這樣的裝置，其用于為音頻數據建立與所述音頻處理器的處理器鏈路;這樣的裝置，其用于響應于音頻接口會話的建立，在所述接口會活中為音頻數據建立與所述音頻接口的接口鏈路；這樣的裝置，其用于響應于指示在所述接口會活內音頻交互的開始的 信號，將所述處理器鏈路和所述接口鏈路連接在一起，由此，音頻數據可 以在所述音頻接口會話與所述音頻處理器之間流動；這樣的裝置，其用于響應于指示所述音頻交互的結束的信號，斷開所 述處理器鏈路和所述接口鏈路；以及這樣的裝置，其用于響應于所述接口會話的結束，拆除所述接口鏈路。
9. 一種多重模態(tài)Web服務器，其包括XHTML和話音文檔數據庫；XHTML和話音過濾器；VoiceXML瀏覽器；交互式話音響應服務器；話音服務器；以及用于控制從客戶機音頻接口到所述交互式話音響應服務器的音頻連接 的交換機，所述交換機包括這樣的裝置，其用于為音頻數據建立與所述交互式話音響應服務 器的交互式話音響應服務器鏈路；這樣的裝置，其用于響應于客戶機音頻接口會話的建立，在所述 接口會話中為音頻數據建立與所述客戶機音頻接口的客戶機接口鏈路；這樣的裝置，其用于響應于指示在所ii^戶機接口會話內音頻交 互的開始的信號，將所述交互式話音響應服務器鏈路和所^j:戶機接口鏈 路連接在一起，由此，音頻數據可以在所述客戶機音頻接口會話與所述交 互式話音響應服務器之間流動；這樣的裝置，其用于響應于指示所述客戶機音頻交互的結束的信 號，斷開所述交互式話音響應服務器鏈路和所ii^戶機接口鏈路；以及這樣的裝置，其用于響應于所^戶機接口會話的結束，拆除所 錄戶機接口鏈路。
10. —種用于控制從音頻接口到音頻處理器的音頻連接的計算機程序產品，所述計算機程序產品包括以計算機可讀格式存儲的計算機指令， 當在計算機上加載和執(zhí)行所述計算機指令時，其用于使所述計算機實現以下步驟為音頻數據建立與所述音頻處理器的處理器鏈路；響應于音頻接口會話的建立，在所述接口會話中為音頻數據建立與所 述音頻接口的接口鏈路；響應于指示在所述接口 M內音頻交互的開始的信號，將所述處理器 鏈路和所述接口鏈路連接在一起，由此，音頻數據可以在所述音頻接口會 話與所述音頻處理器之間流動；響應于指示所述音頻交互的結束的信號，斷開所述處理器鏈路和所述 接口鏈路；以及響應于所述接口會話的結束，拆除所述接口鏈路。
全文摘要
本發(fā)明基于能夠定位話音服務器，臨時對其進行分配，向其發(fā)送你所說的“683航班應何時到達？”的音頻，將你所說的內容的結果返回到瀏覽器中，以及對所述話音服務器解除分配以便供與其瀏覽器交談的下一人使用。話音信道和交互式話音響應服務器(IVR)端口最初由使用常規(guī)音頻協(xié)議的IVR和交換機建立。該話音信道最初并未連接至客戶機。所述交換機在不必與IVR進行更多通信的情況下處理IVR話音信道的分配和解除分配。用戶(通常通過按PTT按鈕)向客戶設備指示他希望在X+V會話期間發(fā)起話音交互。這轉換為在控制(CTRL)信道上對同步XHTML和VXML表單的請求，實施例將其用作VXML瀏覽器執(zhí)行話輪的觸發(fā)器。多路復用器截獲該控制命令并且連接設備與現有的開放但獨立的話音端口之間的虛擬話音電路。無需建立RTP信道即可連接虛擬電路。然后，將CTRL信號轉發(fā)至交互管理器，從而使得會話能夠發(fā)生。在該會話結束時斷開該虛擬電路。
文檔編號H04M7/00GK101156197SQ200680010948
公開日2008年4月2日 申請日期2006年4月6日 優(yōu)先權日2005年4月8日
發(fā)明者C·W·小克羅斯, L·R·威爾遜, R·J·鮑沃特, Y-L·王 申請人:國際商業(yè)機器公司