專(zhuān)利名稱(chēng)：至可視語(yǔ)音系統(tǒng)的文字和加入面部情緒的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及文字至可視語(yǔ)音系統(tǒng)，更具體來(lái)說(shuō)，涉及一種利用情緒圖標(biāo)(emoticons)在面部圖像中生成情緒的系統(tǒng)和方法。
背景技術(shù)：
隨著因特網(wǎng)和其他聯(lián)網(wǎng)環(huán)境的出現(xiàn)，遠(yuǎn)程地點(diǎn)的用戶(hù)能夠用諸如電子郵件和在線(xiàn)聊天(例如聊天室)等各種方式互相通信。在線(xiàn)聊天在許多情況下特別有用，因?yàn)樵诰€(xiàn)聊天允許用戶(hù)在一個(gè)公用的消息窗口中通過(guò)互相來(lái)回輸入文字消息而在網(wǎng)絡(luò)上實(shí)時(shí)地進(jìn)行通信。為了實(shí)現(xiàn)在線(xiàn)聊天討論更加個(gè)性化，經(jīng)常在消息中輸入“情緒圖標(biāo)”，用來(lái)推斷情緒和/或面部表情。常用的情緒圖標(biāo)的例子包括-)，表示微笑的面部；-(，表示眨眼；-o，表示震驚；-<，表示悲傷(附錄中列舉了更詳盡的情緒圖標(biāo)列表)。不幸的是，盡管情緒圖標(biāo)有廣泛的使用，在線(xiàn)聊天還是趨向非個(gè)人化的，要求用戶(hù)人工地閱讀和解釋每個(gè)消息。
隨著高速計(jì)算和寬帶系統(tǒng)的出現(xiàn)，網(wǎng)絡(luò)上要出現(xiàn)更先進(jìn)的通信方式。這要的一個(gè)例子包括視聽(tīng)語(yǔ)音合成系統(tǒng)，該系統(tǒng)要做的是聲音和面部動(dòng)畫(huà)(facial animation)的自動(dòng)生成。典型的系統(tǒng)提供計(jì)算機(jī)生成的具有能被控制的面貌特征(例如嘴唇)的面部圖像。面部圖像通常包含一個(gè)基于網(wǎng)絡(luò)模型(mesh model)的面部對(duì)象，面部對(duì)象隨著說(shuō)話(huà)而動(dòng)作，給人以面部對(duì)象在說(shuō)話(huà)的印象。采用這種技術(shù)的應(yīng)用的范圍，從用于聽(tīng)力障礙者的工具到口語(yǔ)和多模式的基于代理的用戶(hù)界面。
視聽(tīng)語(yǔ)音合成系統(tǒng)的一個(gè)主要優(yōu)點(diǎn)是，觀(guān)看動(dòng)畫(huà)面部圖像能大大地提高對(duì)自然語(yǔ)音和合成語(yǔ)音的理解，在聲學(xué)條件惡化的情況下尤其如此。此外，由于面部圖像是計(jì)算機(jī)生成的，有可能控制面部表情來(lái)表達(dá)情緒，這至少能強(qiáng)化語(yǔ)音，支持對(duì)話(huà)情境中的交互。
“文字至可視語(yǔ)音”系統(tǒng)用鍵盤(pán)之類(lèi)來(lái)輸入文字，然后把文字轉(zhuǎn)換成口語(yǔ)消息，在將口語(yǔ)消息與動(dòng)畫(huà)面部圖像一起廣播。文字至可視語(yǔ)音系統(tǒng)的其中一個(gè)局限是，因?yàn)橄⒌淖髡咧皇呛?jiǎn)單地在鍵入文字，所以輸出(即動(dòng)畫(huà)面部和口語(yǔ)消息)缺少情緒和面部表情。所以，文字至可視語(yǔ)音系統(tǒng)提供的人與人之間的通信的形式稍微缺乏生氣。

發(fā)明內(nèi)容
所以，需要提供一種先進(jìn)的在線(xiàn)系統(tǒng)，其中能容易地將情緒溶入到對(duì)話(huà)中。
本發(fā)明通過(guò)提供一種可視語(yǔ)音系統(tǒng)來(lái)解決上述問(wèn)題，該系統(tǒng)中，可以通過(guò)輸入情緒圖標(biāo)串來(lái)生成在動(dòng)畫(huà)面部上表達(dá)的情緒。本發(fā)明的第一個(gè)方面是提供一種可視語(yǔ)音系統(tǒng)，該可視語(yǔ)音系統(tǒng)包含用于接收包括字串和情緒圖標(biāo)串的文字?jǐn)?shù)據(jù)的數(shù)據(jù)輸入系統(tǒng)；以及用于生成能再現(xiàn)對(duì)應(yīng)于所接收字串和所接收情緒圖標(biāo)串的面部動(dòng)作的可顯示動(dòng)畫(huà)面部圖像的文字至動(dòng)畫(huà)系統(tǒng)。
本發(fā)明的第二個(gè)方面是提供一種存儲(chǔ)在可讀介質(zhì)上的程序產(chǎn)品，該程序產(chǎn)品在被執(zhí)行時(shí)提供一種可視語(yǔ)音系統(tǒng)，該可視語(yǔ)音系統(tǒng)包含用于接收包括字串和情緒圖標(biāo)串的文字?jǐn)?shù)據(jù)的數(shù)據(jù)輸入系統(tǒng)；以及用于生成能再現(xiàn)對(duì)應(yīng)于所接收字串和所接收情緒圖標(biāo)串的面部動(dòng)作的可顯示動(dòng)畫(huà)面部圖像的文字至動(dòng)畫(huà)系統(tǒng)。
本發(fā)明的第三個(gè)方面是提供一種具有可視語(yǔ)音功能的在線(xiàn)聊天系統(tǒng)，該在線(xiàn)聊天系統(tǒng)包含(1)第一連網(wǎng)客戶(hù)機(jī)，具有(a)用于接收包括字串和情緒圖標(biāo)串的文字?jǐn)?shù)據(jù)的第一數(shù)據(jù)輸入系統(tǒng)和(b)用于向網(wǎng)絡(luò)發(fā)送文字?jǐn)?shù)據(jù)的數(shù)據(jù)輸出系統(tǒng)；(2)第二連網(wǎng)客戶(hù)機(jī)，具有(a)用于從網(wǎng)絡(luò)接收文字?jǐn)?shù)據(jù)的第二數(shù)據(jù)輸入系統(tǒng)和(b)用于生成能再現(xiàn)對(duì)應(yīng)于所接收字串和所接收情緒圖標(biāo)串的面部動(dòng)作的可顯示動(dòng)畫(huà)面部圖像的文字至動(dòng)畫(huà)系統(tǒng)。
本發(fā)明的第四個(gè)方面是提供一種在具有可顯示動(dòng)畫(huà)面部圖像的系統(tǒng)上表現(xiàn)可視語(yǔ)音的方法，包含以下步驟向鍵盤(pán)輸入文字?jǐn)?shù)據(jù)，該文字?jǐn)?shù)據(jù)包括字串和情緒圖標(biāo)串；將字串轉(zhuǎn)換成音頻語(yǔ)音；將字串轉(zhuǎn)換成可顯示動(dòng)畫(huà)面部圖像上的嘴部動(dòng)作，使得嘴部動(dòng)作對(duì)應(yīng)于音頻語(yǔ)音；將情緒圖標(biāo)串轉(zhuǎn)換成可顯示動(dòng)畫(huà)面部圖像上的面部動(dòng)作，使得面部動(dòng)作對(duì)應(yīng)于與所輸入的情緒圖標(biāo)串相關(guān)聯(lián)的表達(dá)情緒；以及與音頻語(yǔ)音的廣播一起顯示動(dòng)畫(huà)面部圖像。
本發(fā)明的第五個(gè)方面是提供一種可視語(yǔ)音系統(tǒng)，該系統(tǒng)包含一個(gè)用于接收包括至少一個(gè)情緒圖標(biāo)串的文字?jǐn)?shù)據(jù)-其中該至少一個(gè)情緒圖標(biāo)串與預(yù)定的面部表情相關(guān)連-的數(shù)據(jù)輸入系統(tǒng)；一個(gè)用于生成能模仿對(duì)應(yīng)于該預(yù)定的面部表情的可顯示動(dòng)畫(huà)面部圖像的文字至動(dòng)畫(huà)系統(tǒng)。
以下將結(jié)合附圖來(lái)說(shuō)明本發(fā)明的示例性最佳實(shí)施例，附圖中相同的標(biāo)記代表相同的部件。


圖1表示按照本發(fā)明最佳實(shí)施例的可視語(yǔ)音系統(tǒng)的框圖；圖2表示本發(fā)明的示例性動(dòng)畫(huà)面部圖像。
具體實(shí)施例方式
現(xiàn)在參看圖1，圖中表示了一個(gè)可視語(yǔ)音系統(tǒng)10。在所示實(shí)施例中，可視語(yǔ)音系統(tǒng)10包含第一客戶(hù)機(jī)系統(tǒng)12和第二客戶(hù)機(jī)系統(tǒng)42，它們通過(guò)網(wǎng)絡(luò)40互相通信。應(yīng)當(dāng)明白，盡管圖中顯示這個(gè)實(shí)施例是在多客戶(hù)機(jī)系統(tǒng)上實(shí)現(xiàn)的，本發(fā)明也能在一個(gè)可能是也可能不是與網(wǎng)絡(luò)相連的計(jì)算機(jī)系統(tǒng)上實(shí)現(xiàn)。然而，如圖1中所示的多客戶(hù)機(jī)系統(tǒng)在在線(xiàn)聊天應(yīng)用中特別有用，在這種應(yīng)用中，位于第一客戶(hù)機(jī)系統(tǒng)12的用戶(hù)與位于第二客戶(hù)機(jī)系統(tǒng)42的用戶(hù)通信。
每個(gè)客戶(hù)機(jī)系統(tǒng)(例如客戶(hù)機(jī)系統(tǒng)12)都可以由任何類(lèi)型的、含有或能訪(fǎng)問(wèn)諸如存儲(chǔ)器、處理器、輸入/輸出等部件的計(jì)算機(jī)系統(tǒng)來(lái)實(shí)現(xiàn)。計(jì)算機(jī)部件可以在一個(gè)單一的物理位置，或者可以分布在各種形式的多個(gè)物理系統(tǒng)(例如一個(gè)客戶(hù)集合服務(wù)器)上。因此，客戶(hù)即系統(tǒng)12可以由一個(gè)能執(zhí)行計(jì)算機(jī)程序的獨(dú)立的個(gè)人電腦、能訪(fǎng)問(wèn)可通過(guò)服務(wù)器獲得的應(yīng)用的瀏覽器程序、與服務(wù)器通信的啞終端等組成。
在每個(gè)客戶(hù)機(jī)系統(tǒng)(或每個(gè)客戶(hù)機(jī)系統(tǒng)可訪(fǎng)問(wèn)的客戶(hù)機(jī)系統(tǒng))上存儲(chǔ)著包括I/O系統(tǒng)20和文字至語(yǔ)音視頻系統(tǒng)30的可執(zhí)行過(guò)程。I/O系統(tǒng)20和文字至語(yǔ)音視頻系統(tǒng)30可以以能在處理單元上執(zhí)行的軟件程序的形式實(shí)現(xiàn)。每個(gè)客戶(hù)機(jī)系統(tǒng)也包括(1)輸入系統(tǒng)14，諸如鍵盤(pán)、鼠標(biāo)、手持式設(shè)備、手機(jī)、語(yǔ)音識(shí)別系統(tǒng)等等，用于輸入文字?jǐn)?shù)據(jù)；和(2)視聽(tīng)輸出系統(tǒng)，例如由CRT顯示器16和音頻揚(yáng)聲器18組成。
可視語(yǔ)音系統(tǒng)10的示例性操作如下所述。在客戶(hù)機(jī)系統(tǒng)12與42之間的在線(xiàn)聊天應(yīng)用中，位于客戶(hù)機(jī)系統(tǒng)12的第一用戶(hù)可通過(guò)輸入系統(tǒng)14輸入文字?jǐn)?shù)據(jù)，對(duì)應(yīng)的動(dòng)畫(huà)面部圖像和伴隨的音頻語(yǔ)音將被生成并出現(xiàn)在客戶(hù)機(jī)系統(tǒng)42的顯示器46和揚(yáng)聲器48上。類(lèi)似地，位于客戶(hù)機(jī)系統(tǒng)42的第二用戶(hù)可作出響應(yīng)，通過(guò)輸入系統(tǒng)44輸入文字?jǐn)?shù)據(jù)，第二對(duì)應(yīng)動(dòng)畫(huà)面部圖像和伴隨的音頻語(yǔ)音將被生成并出現(xiàn)在客戶(hù)機(jī)系統(tǒng)12的顯示器16和揚(yáng)聲器18上。這樣，輸入文字?jǐn)?shù)據(jù)被轉(zhuǎn)換成由模仿語(yǔ)音的移動(dòng)動(dòng)畫(huà)面部圖像組成的遠(yuǎn)程視聽(tīng)廣播。因此，用戶(hù)不是僅僅接收文字消息，而是接收含有該消息的視頻語(yǔ)音廣播。
不過(guò)，為了使系統(tǒng)更強(qiáng)健，發(fā)送消息的用戶(hù)不能只輸入字詞，還要輸入情緒圖標(biāo)串，情緒圖標(biāo)串將導(dǎo)致顯示包含面部表情和情緒的動(dòng)畫(huà)圖像。(就本說(shuō)明書(shū)而言，術(shù)語(yǔ)“面部表情”和“情緒”可以交換使用，可以包括任何非語(yǔ)言的面部動(dòng)作)。例如，如果位于客戶(hù)機(jī)系統(tǒng)12的用戶(hù)要隨輸入的字串表示高興或快樂(lè)，用戶(hù)也可以鍵入一個(gè)適當(dāng)?shù)那榫w串，即微笑-)。在顯示器46上生成的動(dòng)畫(huà)圖像于是就會(huì)在說(shuō)出在第一客戶(hù)機(jī)系統(tǒng)上被輸入的詞語(yǔ)的同時(shí)微笑。其它情緒可包括眨眼、悲傷、譏笑、驚訝等等。
附錄中提供了一個(gè)較詳盡的情緒圖標(biāo)的列表，這些情緒圖標(biāo)經(jīng)常在聊天室、電子郵件以及其它形式的在線(xiàn)通信中被用來(lái)表示情緒之類(lèi)。這些情緒以及未在列表中列舉的其它情緒，每個(gè)都可以有一個(gè)相關(guān)聯(lián)的、能被包括在可顯示的動(dòng)畫(huà)面部圖像中的面部響應(yīng)。面部表情和/或情緒響應(yīng)可以在任何口語(yǔ)字詞之后或之前出現(xiàn)，最好溶入(morphinto)所說(shuō)出的詞語(yǔ)，與所說(shuō)出的詞語(yǔ)一起，為每個(gè)消息提供平滑的過(guò)渡。
圖2和3表示兩例具有不同情緒或面部表情的可顯示動(dòng)畫(huà)面部圖像。圖2中的客體被表現(xiàn)得具有中性的面部表情(沒(méi)有輸入的情緒圖標(biāo))，而圖3表現(xiàn)的客體具有生氣的面部表情(由于生氣情緒圖標(biāo)串><的緣故)。盡管圖2和3中沒(méi)有示出，應(yīng)當(dāng)明白，動(dòng)畫(huà)面部圖像可以隨著情緒的顯示而溶入(morph)談話(huà)。
圖2和3的動(dòng)畫(huà)面部圖像可包含按基于三角形網(wǎng)眼的三維對(duì)象塑造的面部幾何?？梢园褕D像或光度數(shù)據(jù)或者不把圖像或光度數(shù)據(jù)層疊在該幾何上以獲得面部圖像。為了實(shí)現(xiàn)模擬表情或情緒的面部動(dòng)作，可以將面部圖像按一個(gè)被劃分成多個(gè)行動(dòng)單元(action unit)的對(duì)象來(lái)進(jìn)行處理，這些單元諸如是眉毛、眼睛、嘴等等。對(duì)應(yīng)于每個(gè)情緒，可以按照預(yù)定的組合和程度來(lái)模擬一個(gè)或多個(gè)行動(dòng)單元。
現(xiàn)在返回到圖1，進(jìn)一步詳細(xì)地說(shuō)明可視語(yǔ)音系統(tǒng)10的操作。首先，通過(guò)輸入系統(tǒng)將文字?jǐn)?shù)據(jù)輸入第一客戶(hù)機(jī)系統(tǒng)12。注意到文字?jǐn)?shù)據(jù)可以既包含字串又包含情緒圖標(biāo)串。數(shù)據(jù)被I/O系統(tǒng)20的數(shù)據(jù)輸入系統(tǒng)26接收。此時(shí)，可以對(duì)文字?jǐn)?shù)據(jù)進(jìn)行處理，用于在客戶(hù)機(jī)系統(tǒng)12的顯示器16上顯示(即在本地顯示)，和/或傳送到客戶(hù)機(jī)系統(tǒng)42用于遠(yuǎn)程顯示。例如，在在線(xiàn)聊天的情況下，文字?jǐn)?shù)據(jù)要被通過(guò)網(wǎng)絡(luò)40傳送到客戶(hù)機(jī)系統(tǒng)42，在此被處理后作為視聽(tīng)語(yǔ)音輸出?？蛻?hù)機(jī)系統(tǒng)12可以用數(shù)據(jù)輸出系統(tǒng)28來(lái)發(fā)送數(shù)據(jù)，數(shù)據(jù)輸出系統(tǒng)把數(shù)據(jù)輸出到網(wǎng)絡(luò)40?？蛻?hù)機(jī)系統(tǒng)42然后用數(shù)據(jù)輸入系統(tǒng)27來(lái)輸入數(shù)據(jù)。然后可以將輸入的文字?jǐn)?shù)據(jù)傳送到文字至語(yǔ)音視頻系統(tǒng)31作處理。
文字至語(yǔ)音視頻系統(tǒng)31有兩個(gè)主要功能第一，將文字?jǐn)?shù)據(jù)轉(zhuǎn)換成語(yǔ)音；第二，將文字?jǐn)?shù)據(jù)轉(zhuǎn)換成對(duì)應(yīng)于可顯示面部動(dòng)作的行動(dòng)單元。文字?jǐn)?shù)據(jù)至語(yǔ)音的轉(zhuǎn)換由文字至音頻系統(tǒng)33處理。用于將文字轉(zhuǎn)換至語(yǔ)音的系統(tǒng)是現(xiàn)有技術(shù)中已知的。將文字?jǐn)?shù)據(jù)轉(zhuǎn)換成面部動(dòng)作的過(guò)程由文字至動(dòng)畫(huà)系統(tǒng)35處理。文字至動(dòng)畫(huà)系統(tǒng)35有兩個(gè)部件，字串處理器37和情緒圖標(biāo)串處理器39。字串處理器37主要負(fù)責(zé)與將以口語(yǔ)的形式廣播的字串相關(guān)聯(lián)的嘴部動(dòng)作。相應(yīng)地，字串處理器37主要控制由可顯示面部圖像中的嘴組成的面部行動(dòng)單元。
情緒圖標(biāo)串處理器39負(fù)責(zé)處理所接收的情緒圖標(biāo)串并將它們轉(zhuǎn)換成對(duì)應(yīng)的面部表情。相應(yīng)地，情緒圖標(biāo)串處理器39負(fù)責(zé)控制所有的面部行動(dòng)單元，以獲得適當(dāng)?shù)拿娌宽憫?yīng)。應(yīng)當(dāng)明白，可以用面部動(dòng)作的任何類(lèi)型、組合和程度來(lái)產(chǎn)生需要的表情。
文字至動(dòng)畫(huà)系統(tǒng)35就這樣產(chǎn)生一個(gè)完整的動(dòng)畫(huà)面部圖像，圖像中既有表示語(yǔ)音的嘴部動(dòng)作又有各種代表表情的面部動(dòng)作。與動(dòng)畫(huà)面部圖像相隨的是與字串相關(guān)聯(lián)的語(yǔ)音?？梢杂蔑@示驅(qū)動(dòng)器23和音頻驅(qū)動(dòng)器25來(lái)在顯示器46和揚(yáng)聲器48上生成音頻和可視信息。
可見(jiàn)，每個(gè)客戶(hù)機(jī)系統(tǒng)可以包含基本上相同的、用于通信和生成可視語(yǔ)音的軟件。因此，當(dāng)客戶(hù)機(jī)系統(tǒng)42將響應(yīng)信息傳送回客戶(hù)機(jī)系統(tǒng)12時(shí)，在客戶(hù)機(jī)系統(tǒng)12上由I/O系統(tǒng)20和文字至語(yǔ)音視頻系統(tǒng)30執(zhí)行與如上所述的相同的處理步驟。
應(yīng)該明白，本文所述的系統(tǒng)、功能、機(jī)構(gòu)和模塊可以以硬件、軟件或硬件與軟件的組合的形式實(shí)現(xiàn)。它們可以由任何類(lèi)型的計(jì)算機(jī)系統(tǒng)或其它適合執(zhí)行本文所述方法的裝置實(shí)現(xiàn)。硬件與軟件的一種典型的組合可以是帶有計(jì)算機(jī)程序的通用計(jì)算機(jī)系統(tǒng)，計(jì)算機(jī)程序被加載并執(zhí)行時(shí)，控制計(jì)算機(jī)系統(tǒng)執(zhí)行本文所述的方法?；蛘撸部梢圆捎煤袌?zhí)行本發(fā)明的一個(gè)或多個(gè)功能任務(wù)的專(zhuān)用硬件的專(zhuān)用計(jì)算機(jī)。本發(fā)明也可以被內(nèi)嵌在一種計(jì)算機(jī)產(chǎn)品中，該計(jì)算機(jī)產(chǎn)品包含便于實(shí)現(xiàn)本文所述方法和功能的所有特征功能，并且在被裝載到計(jì)算機(jī)系統(tǒng)中時(shí)，能夠執(zhí)行這些方法和功能。在本發(fā)明的上下文中，計(jì)算機(jī)程序、軟件程序、計(jì)算機(jī)產(chǎn)品或軟件的意思是指任何語(yǔ)言、代碼或符號(hào)編寫(xiě)的指令集合的表達(dá)，用于使具有信息處理功能的系統(tǒng)直接地或在下述一個(gè)或兩個(gè)步驟之后執(zhí)行特定功能(a)轉(zhuǎn)換到另一種語(yǔ)言、代碼或符號(hào)；和/或(b)在不同物質(zhì)形式中復(fù)制。
以上為解釋和說(shuō)明的目的敘述了本發(fā)明的最佳實(shí)施例。這些實(shí)施例不是窮盡性的，也不是要把本法明限制于所述的具體形式；鑒于以上教導(dǎo)，顯然可能有許多修改和變體。這些修改和變體對(duì)所屬領(lǐng)域的熟練人員來(lái)說(shuō)是顯而易見(jiàn)的，應(yīng)包含在如權(quán)利要求所界定的本發(fā)明的范圍內(nèi)。附錄#-o吃驚％-(迷惑％-)茫然無(wú)助>>-<<狂怒>->眨眼惡魔>-<狂怒>)小惡魔>->非常淘氣的惡魔<-<生氣>-<發(fā)瘋>-(惱怒>-)淘氣的惡魔>＝^P討厭<>魔鬼表情<->魔鬼表情<-(傻瓜<-)天真地問(wèn)啞巴問(wèn)題(Innocently asking dumb question)(&生氣(-&生氣(-(面無(wú)笑容(-)微笑(-*吻(-\傷心*吻^^^笑8)睜大眼睛/戴著眼鏡8-)睜大眼睛/戴著眼鏡8-o吃驚8-O震驚8-P討厭8-[煩惱；過(guò)度緊張8-]發(fā)出叫聲8-|目瞪口呆(難過(guò))微笑[無(wú)聊，難過(guò)|無(wú)聊，難過(guò)()高談闊論，滔滔不絕，喊叫*吻**回吻，(哭->幸福的微笑或譏笑-><噘起嘴吻-<傷心-(皺眉-)標(biāo)準(zhǔn)的微笑-*吻-假笑-/做鬼臉-6筋疲力盡-9舔嘴唇-？舔嘴唇，或半開(kāi)玩笑的-@尖叫的-C驚訝的-c很不快樂(lè)的-D笑-d~煙鬼-e失望-f伸出舌頭-I沉思的，或公平的-i鬼臉或半笑-j單方面的笑-k迷惑-1單方面的笑-0張嘴，驚訝-o驚訝的眼神或呵欠-Q伸出舌頭-Q~吸煙-r伸出舌頭-s什么？！-t面無(wú)笑容-V喊叫-X我的嘴唇被堵住或吻-x吻，或我的嘴唇被堵住-Y在旁邊評(píng)論-[不笑的笨蛋；批評(píng)-\′|抽鼻涕-]微笑的笨蛋或挖苦-{)帶絡(luò)腮胡子的微笑-{)}帶絡(luò)腮胡子和小胡子的微笑-{}吹吻(blowing a kiss)-|無(wú)所謂、無(wú)聊或討厭-||很生氣-}淘氣的笑.(哭C驚訝e失望P伸出舌頭；)使眼色；-)媚眼^^^格格地笑`-)揚(yáng)眉|-<>噘起嘴吻|-D大笑0呵欠|I睡著|^o打鼾}-)歪斜的微笑}[生氣的、失敗的~-(瘋狂的
權(quán)利要求
1.一種可視語(yǔ)音系統(tǒng)，其中該可視語(yǔ)音系統(tǒng)包含數(shù)據(jù)輸入系統(tǒng)，用于接收包括字串和情緒圖標(biāo)串的文字?jǐn)?shù)據(jù)；文字至動(dòng)畫(huà)系統(tǒng)，用于生成能再現(xiàn)對(duì)應(yīng)于所接收字串和所接收情緒圖標(biāo)串的面部動(dòng)作的可顯示動(dòng)畫(huà)面部圖像。
2.如權(quán)利要求1的可視語(yǔ)音系統(tǒng)，還包含用于鍵入文字?jǐn)?shù)據(jù)的鍵盤(pán)。
3.如權(quán)利要求1的可視語(yǔ)音系統(tǒng)，還包含能生成對(duì)應(yīng)于所接收字串的音頻語(yǔ)音廣播的文字至音頻系統(tǒng)。
4.如權(quán)利要求3的可視語(yǔ)音系統(tǒng)，還包含用于將可顯示動(dòng)畫(huà)面部圖像與音頻語(yǔ)音廣播一起顯示的音視接口。
5.如權(quán)利要求1的可視語(yǔ)音系統(tǒng)，其中，文字至動(dòng)畫(huà)系統(tǒng)將每個(gè)情緒圖標(biāo)串與一個(gè)被表達(dá)情緒相關(guān)聯(lián)，并且其中被表達(dá)情緒被用至少一個(gè)面部動(dòng)作再現(xiàn)于動(dòng)畫(huà)面部圖像上。
6.如權(quán)利要求5的可視語(yǔ)音系統(tǒng)，其中，文字至動(dòng)畫(huà)系統(tǒng)將每個(gè)字詞串與一個(gè)口語(yǔ)字詞相關(guān)聯(lián)，并且其中口語(yǔ)字詞被用至少一個(gè)嘴部動(dòng)作再現(xiàn)于動(dòng)畫(huà)面部圖像上。
7.如權(quán)利要求6的可視語(yǔ)音系統(tǒng)，其中，該至少一個(gè)面部動(dòng)作與該至少一個(gè)嘴部動(dòng)作融合。
8.如權(quán)利要求1的可視語(yǔ)音系統(tǒng)，進(jìn)一步包含用于通過(guò)網(wǎng)絡(luò)接收和發(fā)送數(shù)據(jù)的輸入/輸出系統(tǒng)。
9.一種存儲(chǔ)在可讀介質(zhì)上的程序產(chǎn)品，該程序產(chǎn)品在被執(zhí)行時(shí)提供一種可視語(yǔ)音系統(tǒng)，包含數(shù)據(jù)輸入系統(tǒng)，用于接收包括字串和情緒圖標(biāo)串的文字?jǐn)?shù)據(jù)；和文字至動(dòng)畫(huà)系統(tǒng)，用于生成能再現(xiàn)對(duì)應(yīng)于所接收字串和所接收情緒圖標(biāo)串的面部動(dòng)作的可顯示動(dòng)畫(huà)面部圖像。
10.如權(quán)利要求9的程序產(chǎn)品，其中，輸入情緒圖標(biāo)串被用被表達(dá)情緒再現(xiàn)于動(dòng)畫(huà)面部圖像上。
11.如權(quán)利要求10的程序產(chǎn)品，其中，輸入字詞串被用嘴部動(dòng)作再現(xiàn)于動(dòng)畫(huà)面部圖像上。
12.如權(quán)利要求11的程序產(chǎn)品，其中，被表達(dá)情緒與嘴部動(dòng)作融合。
13.一種具有可視語(yǔ)音功能的在線(xiàn)聊天系統(tǒng)，包含第一連網(wǎng)客戶(hù)機(jī)，具有用于接收包括字串和情緒圖標(biāo)串的文字?jǐn)?shù)據(jù)的第一數(shù)據(jù)輸入系統(tǒng)；和用于向網(wǎng)絡(luò)發(fā)送文字?jǐn)?shù)據(jù)的數(shù)據(jù)輸出系統(tǒng)；第二連網(wǎng)客戶(hù)機(jī)，具有用于從網(wǎng)絡(luò)接收文字?jǐn)?shù)據(jù)的第二數(shù)據(jù)輸入系統(tǒng)；和用于生成能再現(xiàn)對(duì)應(yīng)于所接收字串和所接收情緒圖標(biāo)串的面部動(dòng)作的可顯示動(dòng)畫(huà)面部圖像的文字至動(dòng)畫(huà)系統(tǒng)。
14.如權(quán)利要求13的在線(xiàn)聊天系統(tǒng)，其中，每個(gè)情緒圖標(biāo)串以被表達(dá)情緒的形式再現(xiàn)于動(dòng)畫(huà)面部圖像上。
15.如權(quán)利要求14的在線(xiàn)聊天系統(tǒng)，其中，每個(gè)字詞串被用嘴部動(dòng)作再現(xiàn)于動(dòng)畫(huà)面部圖像上。
16.如權(quán)利要求15的在線(xiàn)聊天系統(tǒng)，其中，被表達(dá)情緒與嘴部動(dòng)作融合。
17.一種在具有可顯示動(dòng)畫(huà)面部圖像的系統(tǒng)上表現(xiàn)可視語(yǔ)音的方法，包含以下步驟向鍵盤(pán)輸入文字?jǐn)?shù)據(jù)，其中該文字?jǐn)?shù)據(jù)包括字串和情緒圖標(biāo)串；將字串轉(zhuǎn)換成音頻語(yǔ)音；將字串轉(zhuǎn)換成可顯示動(dòng)畫(huà)面部圖像上的嘴部動(dòng)作，使得嘴部動(dòng)作對(duì)應(yīng)于音頻語(yǔ)音；將情緒圖標(biāo)串轉(zhuǎn)換成可顯示動(dòng)畫(huà)面部圖像上的面部動(dòng)作，使得面部動(dòng)作對(duì)應(yīng)于與所輸入的情緒圖標(biāo)串相關(guān)聯(lián)的表達(dá)情緒；與音頻語(yǔ)音的廣播一起顯示動(dòng)畫(huà)面部圖像。
18.如權(quán)利要求17的方法，其中，嘴部動(dòng)作和面部動(dòng)作被融合在一起。
19.如權(quán)利要求17的方法，其中，動(dòng)畫(huà)面部圖像與音頻語(yǔ)音的廣播一起顯示是通過(guò)網(wǎng)絡(luò)遠(yuǎn)程地進(jìn)行的。
20.一種可視語(yǔ)音系統(tǒng)，包含一個(gè)用于接收包括至少一個(gè)情緒圖標(biāo)串的文字?jǐn)?shù)據(jù)的數(shù)據(jù)輸入系統(tǒng)，其中該至少一個(gè)情緒圖標(biāo)串與預(yù)定的面部表情相關(guān)連；和一個(gè)用于生成能模仿對(duì)應(yīng)于該預(yù)定的面部表情的可顯示動(dòng)畫(huà)面部圖像的文字至動(dòng)畫(huà)系統(tǒng)。
全文摘要
用于將情緒圖標(biāo)轉(zhuǎn)換成可顯示動(dòng)畫(huà)面部圖像上的面部表情的可視語(yǔ)音系統(tǒng)。該系統(tǒng)包含(1)一個(gè)用于接收包括至少一個(gè)情緒圖標(biāo)串的文字?jǐn)?shù)據(jù)的數(shù)據(jù)輸入系統(tǒng)，其中該至少一個(gè)情緒圖標(biāo)串與預(yù)定的面部表情相關(guān)連；和(2)一個(gè)用于生成能模仿對(duì)應(yīng)于該預(yù)定的面部表情的可顯示動(dòng)畫(huà)面部圖像的文字至動(dòng)畫(huà)系統(tǒng)。系統(tǒng)最好是通過(guò)網(wǎng)絡(luò)遠(yuǎn)程地實(shí)現(xiàn)的，例如在在線(xiàn)聊天環(huán)境中實(shí)現(xiàn)。
文檔編號(hào)G10L13/00GK1460232SQ02800938
公開(kāi)日2003年12月3日 申請(qǐng)日期2002年3月19日 優(yōu)先權(quán)日2001年3月29日
發(fā)明者K·S·查拉帕利 申請(qǐng)人:皇家菲利浦電子有限公司