用于使用交互式化身進(jìn)行通信的系統(tǒng)和方法
【專利摘要】一種用于將參與用戶的實(shí)際活動(dòng)圖像替換為動(dòng)畫化身的視頻通信系統(tǒng)。方法包括選擇化身；發(fā)起通信；捕捉圖像；檢測(cè)圖像中的面部；從面部確定面部特點(diǎn)，包括分別指示用戶凝視和眨眼的方向的用戶的眼睛運(yùn)動(dòng)和眼瞼運(yùn)動(dòng)；將面貌轉(zhuǎn)換成化身參數(shù)；以及傳送化身選擇或化身參數(shù)至少之一。
【專利說明】用于使用交互式化身進(jìn)行通信的系統(tǒng)和方法
[0001]相關(guān)申請(qǐng)的交叉引用
本申請(qǐng)要求2011年12月29日提交的PCT專利申請(qǐng)序列號(hào)PCT/CN2011/084902的優(yōu)先權(quán)，該申請(qǐng)的全部公開內(nèi)容通過引用結(jié)合于本文中。
【技術(shù)領(lǐng)域】
[0002]本公開內(nèi)容涉及視頻通信和交互，并且更具體地說，涉及用于使用交互式化身進(jìn)行通信的系統(tǒng)和方法。
【背景技術(shù)】
[0003]運(yùn)動(dòng)裝置中可用的越來越多種類的功能性使得用戶除簡(jiǎn)單的呼叫外還希望經(jīng)視頻進(jìn)行通信。例如，用戶可發(fā)起“視頻呼叫”、“視頻會(huì)議”等，其中，裝置中的照相機(jī)和麥克風(fēng)將用戶的音頻和實(shí)時(shí)視頻傳送到一個(gè)或更多個(gè)接收者，如其它運(yùn)動(dòng)裝置、臺(tái)式計(jì)算機(jī)、視頻會(huì)議系統(tǒng)等。實(shí)時(shí)視頻的通信可涉及傳送大量的數(shù)據(jù)(例如，取決于照相機(jī)的技術(shù)、用于處理實(shí)時(shí)圖像信息的特定視頻編解碼器等)。給定現(xiàn)有2G/3G無線技術(shù)的帶寬限制和新興4G無線技術(shù)的還有限的可用性，進(jìn)行同時(shí)視頻呼叫的許多裝置用戶的提議對(duì)現(xiàn)有無線通信基礎(chǔ)設(shè)施中的帶寬造成了很大負(fù)擔(dān)，這可不利地影響視頻呼叫的質(zhì)量。
【專利附圖】

【附圖說明】
[0004]隨著以下【具體實(shí)施方式】繼續(xù)進(jìn)行，并參照附圖時(shí)，要求保護(hù)的主題的各種實(shí)施例的特征和優(yōu)點(diǎn)將變得顯而易見，附圖中類似的標(biāo)號(hào)示出類似部分，并且其中:
圖1A示出與本公開內(nèi)容的各種實(shí)施例一致的示例裝置到裝置系統(tǒng)；
圖1B示出與本公開內(nèi)容的各種實(shí)施例一致的示例虛擬空間系統(tǒng)；
圖2示出與本公開內(nèi)容的各種實(shí)施例一致的示例裝置；
圖3示出與本公開內(nèi)容的各種實(shí)施例一致的示例面部檢測(cè)模塊；
圖4示出根據(jù)本公開內(nèi)容的至少一個(gè)實(shí)施例的示例系統(tǒng)實(shí)現(xiàn)；以及 圖5是根據(jù)本公開內(nèi)容的至少一個(gè)實(shí)施例的示例操作的流程圖。
[0005]雖然以下【具體實(shí)施方式】將參照說明性實(shí)施例繼續(xù)，但其許多備選、修改和變化將對(duì)本領(lǐng)域技術(shù)人員顯而易見。
【具體實(shí)施方式】
[0006]通過概述，本公開內(nèi)容一般指向用于使用交互式化身進(jìn)行通信和交互的系統(tǒng)和方法。與本公開內(nèi)容一致的系統(tǒng)和方法一般提供在活動(dòng)通信期間用戶眼睛的檢測(cè)和/或跟蹤，包括用戶眼睛的特點(diǎn)的檢測(cè)，包括但不限于眼球運(yùn)動(dòng)、凝視方向和/或用戶眼睛的焦點(diǎn)、眨眼等。系統(tǒng)和方法還配置成至少部分地基于在活動(dòng)通信期間實(shí)時(shí)或近實(shí)時(shí)檢測(cè)到的用戶眼睛的特點(diǎn)來提供化身動(dòng)畫。[0007]在一個(gè)實(shí)施例中，在耦合到照相機(jī)的裝置中激活應(yīng)用。應(yīng)用可配置成允許用戶選擇化身以顯示在遠(yuǎn)程裝置上、在虛擬空間中等。然后，裝置可配置成發(fā)起與至少一個(gè)其它裝置、虛擬空間等的通信。例如，可通過2G、3G、4G蜂窩連接建立通信。備選地，可經(jīng)WiFi連接通過因特網(wǎng)建立通信。在通信建立后，照相機(jī)可配置成開始捕捉圖像。然后在捕捉的圖像上執(zhí)行面部檢測(cè)，并且確定面部特點(diǎn)。然后，將包括用戶的眼睛運(yùn)動(dòng)和/或眼瞼的運(yùn)動(dòng)的檢測(cè)到的面/頭部運(yùn)動(dòng)和/或面貌的更改轉(zhuǎn)換成可用于在至少一個(gè)其它裝置上，在虛擬空間內(nèi)等以動(dòng)畫表現(xiàn)化身的參數(shù)。然后，傳送化身選擇或化身參數(shù)至少之一。在一個(gè)實(shí)施例中，接收遠(yuǎn)程化身選擇或遠(yuǎn)程化身參數(shù)至少之一。遠(yuǎn)程化身選擇可促使裝置顯示化身，而遠(yuǎn)程化身參數(shù)可促使裝置以動(dòng)畫表現(xiàn)顯示的化身。音頻通信經(jīng)已知方法伴隨著化身動(dòng)畫。
[0008]圖1A示出與本公開內(nèi)容的各種實(shí)施例一致的裝置到裝置系統(tǒng)100。系統(tǒng)100—般可包括經(jīng)網(wǎng)絡(luò)122進(jìn)行通信的裝置102和112。裝置102包括至少照相機(jī)104、麥克風(fēng)106和顯示器108。裝置112包括至少照相機(jī)114、麥克風(fēng)116和顯示器118。網(wǎng)絡(luò)122包括至少一個(gè)服務(wù)器124。
[0009]裝置102和112可包括能夠進(jìn)行有線和/或無線通信的各種硬件平臺(tái)。例如，裝置102和112可包括但不限于視頻會(huì)議系統(tǒng)、臺(tái)式計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、智能電話(例如，iPhones?、基于Android?的電話、Blackberries?、基于Symbian?的電話、基于Palm?的電話等)、蜂窩手持機(jī)等。
[0010]照相機(jī)104和114包括用于捕捉表示包括一個(gè)或更多個(gè)人的環(huán)境的數(shù)字圖像的任何裝置，并且可具有適當(dāng)?shù)姆直媛视糜谌绫疚闹兴龅沫h(huán)境中的一個(gè)或更多個(gè)人的面部分析。例如，照相機(jī)104和114可包括靜止照相機(jī)(例如，配置成捕捉靜止照片的照相機(jī))或視頻照相機(jī)(例如，配置成捕捉包括多個(gè)幀的運(yùn)動(dòng)圖像的照相機(jī))。照相機(jī)104和114可配置成使用在可見光譜中的光線操作或者通過不限于紅外光譜、紫外光譜等電磁光譜的其它部分操作。照相機(jī)104和114可分別包含在裝置102和112內(nèi)，或者可以是配置成經(jīng)有線或無線通信與裝置102和112進(jìn)行通信的單獨(dú)裝置。照相機(jī)104和114的具體示例可包括如可與計(jì)算機(jī)、視頻監(jiān)視器等相關(guān)聯(lián)的有線(例如，通用串行總線(USB)、以太網(wǎng)、火線等)或無線(例如，WiF1、藍(lán)牙等)web照相機(jī)、運(yùn)動(dòng)裝置照相機(jī)(例如，集成在例如前面討論的示例裝置中的蜂窩電話或智能電話照相機(jī))、集成膝上型計(jì)算機(jī)照相機(jī)、集成平板計(jì)算機(jī)照相機(jī)(例如，iPad?、Galaxy Tab?及諸如此類)等。
[0011]裝置102和112可還包括麥克風(fēng)106和116。麥克風(fēng)106和116包括配置成感測(cè)聲音的任何裝置。麥克風(fēng)106和116可分別集成在裝置102和112內(nèi)，或者可經(jīng)諸如在關(guān)于照相機(jī)104和114的上面示例中所述的有線或無線通信而與裝置102、112進(jìn)行交互。顯示器108和118包括配置成顯示文本、靜止圖像、運(yùn)動(dòng)圖像(例如，視頻)、用戶接口、圖形等的任何裝置。顯示器108和118可分別集成在裝置102和112內(nèi)，或者可經(jīng)諸如在關(guān)于照相機(jī)104和114的上面示例中所述的有線或無線通信而與裝置進(jìn)行交互。
[0012]在一個(gè)實(shí)施例中，顯示器108和118分別配置成顯示化身110和120。如本文中引用的，化身定義為二維(2D)或三維(3D)的用戶的圖形表示。化身不必像用戶的外貌，并且因此，雖然化身能夠是逼真表示，但它也能夠采用圖畫、卡通、素描等形式。如圖所示，裝置102可顯示表示裝置112的用戶(例如，遠(yuǎn)程用戶)的化身110，并且同樣地，裝置112可顯示表示裝置102的用戶的化身120。因此，用戶可查看其它用戶的表示而不必交換一般涉及采用活動(dòng)圖像的裝置到裝置通信的大量信息。
[0013]網(wǎng)絡(luò)122可包括各種第二代(2G)、第三代(3G)、第四代(4G)基于蜂窩的數(shù)據(jù)通信技術(shù)、W1-Fi無線數(shù)據(jù)通信技術(shù)等。網(wǎng)絡(luò)122包括配置成在使用這些技術(shù)時(shí)建立和保持通信連接的至少一個(gè)服務(wù)器124。例如，服務(wù)器124可配置成支持因特網(wǎng)有關(guān)的通信協(xié)議，比如用于修改和終止雙方(單播)和多方(多播)會(huì)話的會(huì)話發(fā)起協(xié)議(SIP)，用于呈現(xiàn)允許在字節(jié)流連接頂部建立協(xié)議的框架的交互式連接建立協(xié)議(ICE)、用于允許通過NAT操作的應(yīng)用發(fā)現(xiàn)其它NAT的存在、為應(yīng)用的用戶數(shù)據(jù)報(bào)協(xié)議(UDP)連接分配以連接到遠(yuǎn)程主機(jī)的IP地址和端口的網(wǎng)絡(luò)接入轉(zhuǎn)換器或NAT會(huì)話的遍歷實(shí)用程序協(xié)議(STUN)、用于允許在NAT或防火墻后的元素通過傳送控制協(xié)議(TCP)或UDP連接接收數(shù)據(jù)的使用NAT周圍中繼遍歷(TURN)等。
[0014]圖1B示出與本公開內(nèi)容的各種實(shí)施例一致的虛擬空間系統(tǒng)126。系統(tǒng)126可包括裝置102、112和服務(wù)器124。裝置102、112和服務(wù)器124可繼續(xù)以類似于圖1A所示方式進(jìn)行通信，但用戶交互可在虛擬空間128中而不是以裝置到裝置格式進(jìn)行。在本文中引用時(shí)，虛擬空間可定義為物理位置的數(shù)字模擬。例如，虛擬空間128可類似比如城市、道路、人行道、野外、森林、島嶼等外部位置或比如辦公室、房屋、學(xué)校、商場(chǎng)、商店等內(nèi)部位置。
[0015]由化身表示的用戶可顯得如在現(xiàn)實(shí)世界中一樣與虛擬空間128進(jìn)行交互。虛擬空間128可存在于耦合到因特網(wǎng)的一個(gè)或更多個(gè)服務(wù)器上，并且可由第三方維護(hù)。虛擬空間的示例包括虛擬辦公室、虛擬會(huì)議室、如Second Life?的虛擬世界、如World of War craft?的大型多人在線角色扮演游戲(MMORPG)、如The Sims Online?的大型多人在線現(xiàn)實(shí)生活游戲(MMORLG)。在系統(tǒng)126中，虛擬空間128可包含對(duì)應(yīng)于不同用戶的多個(gè)化身。顯示器108和118可顯示封裝(例如，更小)版本的虛擬空間(VS) 128，而不是顯示化身。例如，顯示器108可顯示對(duì)應(yīng)于裝置102的用戶的化身在虛擬空間128中“看到”的內(nèi)容的透視圖。類似地，顯示器118可顯示對(duì)應(yīng)于裝置112的用戶的化身在虛擬空間128中“看到”的內(nèi)容的透視圖?；碓谔摂M空間128中可能看到的內(nèi)容的示例可包括但不限于虛擬結(jié)構(gòu)(例如，建筑物)、虛擬車輛、虛擬對(duì)象、虛擬動(dòng)物、其它化身等等。
[0016]圖2示出根據(jù)本公開內(nèi)容的各種實(shí)施例的示例裝置102。雖然只描述裝置102，但裝置112 (例如，遠(yuǎn)程裝置)可包括配置成提供相同或類似功能的資源。如前面所述，裝置102示為包括照相機(jī)104、麥克風(fēng)106和顯示器108。照相機(jī)104和麥克風(fēng)106可提供輸入到照相機(jī)和音頻框架模塊200。照相機(jī)和音頻框架模塊200可包括通常良好定義的并且可操作以控制至少照相機(jī)104和麥克風(fēng)106的定制、專有、已知和/或以后開發(fā)的音頻和視頻處理代碼(或指令集)。例如，照相機(jī)和音頻框架模塊200可包括照相機(jī)104和麥克風(fēng)106以記錄圖像和/或聲音，可處理圖像和/或聲音，可促使圖像和/或聲音再現(xiàn)等。取決于裝置102，并且更具體地說，在裝置102中運(yùn)行的操作系統(tǒng)(OS)，照相機(jī)和音頻框架模塊200可不同。不例操作系統(tǒng)包括 iOS?、Android?、Blackberry? OS、Symbian?、Palm? OS 等。揚(yáng)聲器202可接收來自照相機(jī)和音頻框架模塊200的音頻信息，并且可配置成再現(xiàn)本地聲音(例如，提供用戶話音的音頻反饋)和遠(yuǎn)程聲音(例如，參與虛擬位置中電話、視頻呼叫或交互的其它方的聲音)。
[0017]裝置102可還包括配置成識(shí)別和跟蹤照相機(jī)104提供的圖像內(nèi)的頭部、面部和/或面部區(qū)域，并且確定用戶的一個(gè)或更多個(gè)面部特點(diǎn)(即，面部特點(diǎn)206)的面部檢測(cè)模塊204。例如，面部檢測(cè)模塊204可包括通常良好定義的并且可操作以接收標(biāo)準(zhǔn)格式圖像(例如但不限于RGB彩色圖像)并且至少在一定程度上識(shí)別圖像中的面部的定制、專有、已知和/或以后開發(fā)的面部檢測(cè)代碼代碼(或指令集)、硬件和/或固件。
[0018]面部檢測(cè)模塊204也可配置成通過一系列圖像(例如，每秒24幀的視頻幀)跟蹤檢測(cè)到的面部，并且基于檢測(cè)到的面部確定頭部位置?？捎擅娌繖z測(cè)模塊204采用的已知跟蹤系統(tǒng)可包括粒子濾波、均值移位、Kalman濾波等，它們每個(gè)可利用邊緣分析、平方差和分析、特征點(diǎn)分析、直方圖分析、膚色分析等。
[0019]面部檢測(cè)模塊204也可包括通常良好定義的并且可操作以接收標(biāo)準(zhǔn)格式圖像(例如但不限于RGB彩色圖像)并且至少在一定程度上識(shí)別圖像中的一個(gè)或更多個(gè)面部特點(diǎn)的定制、專有、已知和/或以后開發(fā)的面部特點(diǎn)代碼(或指令集)。此類已知面部特點(diǎn)系統(tǒng)包括但不限于可在公共開放源計(jì)算機(jī)視覺(OpenCV?)包中找到的由科羅拉多州立大學(xué)開發(fā)的CSU面部識(shí)別評(píng)估系統(tǒng)、標(biāo)準(zhǔn)Viola-Jones增強(qiáng)級(jí)聯(lián)(boosting cascade)框架。
[0020]如本文中更詳細(xì)討論的，面部特點(diǎn)206可包括面部的特征，包括但不限于諸如眼、眉毛、鼻子、嘴等面部標(biāo)志物的位置和/或形狀及眼睛和/或眼瞼的運(yùn)動(dòng)。在一個(gè)實(shí)施例中，化身動(dòng)畫可基于感測(cè)的面部動(dòng)作(例如，面部特點(diǎn)206的更改)?；砻娌可系膶?duì)應(yīng)特征點(diǎn)可跟隨或模仿現(xiàn)實(shí)人臉的運(yùn)動(dòng)，這稱為“表情克隆”或“行為驅(qū)動(dòng)的面部動(dòng)畫”。
[0021]面部檢測(cè)模塊204也可配置成識(shí)別與檢測(cè)到的特征相關(guān)聯(lián)的表情(例如，識(shí)別以前檢測(cè)到的面部是否為高興，傷心，微笑，皺眉，驚訝，激動(dòng)等)。因此，面部檢測(cè)模塊204可還包括通常良好定義的并且可操作以檢測(cè)和/或識(shí)別面部中的表情的定制、專有、已知和/或以后開發(fā)的面部表情檢測(cè)和/或識(shí)別代碼(或指令集)。例如，面部檢測(cè)模塊204可確定面部特征(例如，眼、嘴、臉頰、牙齒等)的大小和/或位置，并且可將這些面部特征和包括具有對(duì)應(yīng)面部特征分類(例如,微笑,皺眉,激活,傷心等)的多個(gè)樣本面部特征的面部特征數(shù)據(jù)庫進(jìn)行比較。
[0022]裝置102可還包括配置成允許裝置102的用戶選擇在遠(yuǎn)程裝置上顯示的化身的化身選擇模塊208。化身選擇模塊208可包括通常良好定義的并且可操作以向用戶顯示不同化身使得用戶可選擇化身之一的定制、專有、已知和/或以后開發(fā)的用戶接口構(gòu)建代碼(或指令集)。
[0023]在一個(gè)實(shí)施例中，在裝置102中可預(yù)定義一個(gè)或更多個(gè)化身。預(yù)定義的化身允許所有裝置具有相同化身，并且在交互期間僅化身的選擇(例如，預(yù)定義化身的識(shí)別)需要傳遞到遠(yuǎn)程裝置或虛擬空間，這降低了需要交換的信息量。化身在建立通信之前選擇，但也可在活動(dòng)通信的過程期間更改。因此，可能可在通信期間的任何點(diǎn)發(fā)送或接收化身選擇，以及接收裝置可能根據(jù)收到的化身選擇更改顯示的化身。
[0024]裝置102可還包括配置成生成用于以動(dòng)畫表現(xiàn)化身的參數(shù)的化身控制模塊210。在本文中引用時(shí)，動(dòng)畫可定義為改變圖像/模型的外觀。單個(gè)動(dòng)畫可更改2D靜止圖像的外觀，或者多個(gè)動(dòng)畫可連續(xù)出現(xiàn)以模擬圖像中的運(yùn)動(dòng)(例如，轉(zhuǎn)頭，點(diǎn)頭，交談，皺眉，微笑，大笑，眨眼，遞眼色等)。用于3D模型的動(dòng)畫的示例包括使3D線框模型變形，應(yīng)用紋理映射，以及為渲染重新計(jì)算模型頂點(diǎn)法線。包括面部特征的檢測(cè)到的面部和/或面部特點(diǎn)206的位置更改可轉(zhuǎn)換成促使化身的特征類似于用戶面部的特征。
[0025]在一個(gè)實(shí)施例中，檢測(cè)到的面部的一般表情可轉(zhuǎn)換成促使化身展示相同表情的一個(gè)或更多個(gè)參數(shù)。也可夸大化身的表情以強(qiáng)調(diào)表情。在化身參數(shù)通?？蓱?yīng)用到所有預(yù)定義化身時(shí)，可不需要選擇的化身的知識(shí)。然而，在一個(gè)實(shí)施例中，化身參數(shù)可對(duì)選擇的化身是特定的，并且因此，如果選擇另一化身，則化身參數(shù)可改變。例如，人化身可要求與動(dòng)物化身、卡通化身等不同的參數(shù)設(shè)置(例如，不同化身特征可改變)以演示如高興，傷心，生氣，驚訝等情緒。
[0026]化身控制模塊210可包括通常良好定義的并且可操作以生成參數(shù)以便基于面部檢測(cè)模塊204檢測(cè)到的面/頭部位置和/或面部特點(diǎn)206以動(dòng)畫表現(xiàn)化身選擇模塊208選擇的化身的定制、專有、已知和/或以后開發(fā)的圖形處理代碼(或指令集)。對(duì)于基于面部特征的動(dòng)畫方法，2D化身動(dòng)畫可例如通過圖像扭曲(image warping)或圖像漸變(imagemorphing)進(jìn)行，而3D化身動(dòng)畫可通過自由形式變形(FFD)或者通過利用在頭部的3D模型中定義的動(dòng)畫結(jié)構(gòu)進(jìn)行。Oddcast是可用于2D化身動(dòng)畫的軟件資源的示例，而FaceGen是可用于3D化身動(dòng)畫的軟件資源的示例。
[0027]另外，在系統(tǒng)100中，化身控制模塊210可接收可用于顯示和以動(dòng)畫表現(xiàn)對(duì)應(yīng)于在遠(yuǎn)程裝置的用戶的化身的遠(yuǎn)程化身選擇和遠(yuǎn)程化身參數(shù)?；砜刂颇K210可促使顯示模塊212以在顯示器108上顯示化身110。顯示模塊212可包括通常良好定義的并且可操作以根據(jù)示例裝置到裝置實(shí)施例在顯示器108上顯示和以動(dòng)畫表現(xiàn)化身的定制、專有、已知和/或以后開發(fā)的圖形處理代碼(或指令集)。
[0028]例如，化身控制模塊210可接收遠(yuǎn)程化身選擇，并且可解釋遠(yuǎn)程化身選擇以對(duì)應(yīng)于預(yù)確定的化身。顯示模塊212然后可在顯示器108上顯示化身110。另外，在化身控制模塊210中收到的遠(yuǎn)程化身參數(shù)可被解釋，并且命令可提供到顯示模塊212以動(dòng)畫表現(xiàn)化身110。
[0029]在一個(gè)實(shí)施例中，不止兩個(gè)用戶可參與視頻呼叫。在不止兩個(gè)用戶在視頻呼叫中交互時(shí)，可將顯示器108劃分或分段以允許同時(shí)顯示對(duì)應(yīng)于遠(yuǎn)程用戶的不止一個(gè)化身。備選地，在系統(tǒng)126中，化身控制模塊210可接收促使顯示模塊212顯示對(duì)應(yīng)于裝置102的用戶的化身在虛擬空間128 “看到”的內(nèi)容(例如，從化身的視覺角度)的信息。例如，顯示器108可顯示在虛擬空間128中表示的建筑物、對(duì)象、動(dòng)物、其它化身等。在一個(gè)實(shí)施例中，化身控制模塊210可配置成促使顯示模塊212顯示“反饋”化身214。反饋化身214表示選擇的化身如何呈現(xiàn)在遠(yuǎn)程裝置上、在虛擬空間中等。具體而言，反饋化身214顯現(xiàn)為用戶選擇的化身，并且可使用化身控制模塊210生成的相同參數(shù)以動(dòng)畫表現(xiàn)。這樣，用戶可確認(rèn)遠(yuǎn)程用戶在其交互期間看到的內(nèi)容。
[0030]裝置102可還包括配置成傳送和接收用于選擇化身、顯示化身、以動(dòng)畫表現(xiàn)化身、顯示虛擬位置透視圖等的信息的通信模塊216。通信模塊216可包括通常良好定義的并且可操作以傳送化身選擇、化身參數(shù)，并且接收遠(yuǎn)程化身選擇和遠(yuǎn)程化身參數(shù)的定制、專有、已知和/或以后開發(fā)的通信處理代碼(或指令集)。通信模塊216也可傳送和接收對(duì)應(yīng)于基于化身的交互的音頻信息。通信模塊216可如前面所述經(jīng)網(wǎng)絡(luò)122傳送和接收上述信息。
[0031]裝置102可還包括配置成執(zhí)行與裝置102和其中包括的一個(gè)或更多個(gè)模塊相關(guān)聯(lián)的操作的一個(gè)或更多個(gè)處理器218。
[0032]圖3示出與本公開內(nèi)容的各種實(shí)施例一致的示例面部檢測(cè)模塊204a。面部檢測(cè)模塊204a可配置成經(jīng)照相機(jī)104和音頻框架模塊200接收來自照相機(jī)的一個(gè)或更多個(gè)圖像，并且至少在一定程度上識(shí)別圖像中的面部(或可選地多個(gè)面部)。面部檢測(cè)模塊204a也可配置成在一定程度上識(shí)別和確定圖像中的一個(gè)或更多個(gè)面部特點(diǎn)206。如本文中所述，面部特點(diǎn)206可基于由面部檢測(cè)模塊204a識(shí)別的一個(gè)或更多個(gè)面部參數(shù)生成。面部特點(diǎn)206可包括面部的特征，包括但不限于諸如眼、眉毛、鼻子、嘴等面部標(biāo)志物的位置和/或形狀及嘴、眼睛和/或眼瞼的運(yùn)動(dòng)。
[0033]在所示實(shí)施例中，面部檢測(cè)模塊204a可包括面部檢測(cè)/跟蹤模塊300、面部規(guī)范化模塊302、標(biāo)志物檢測(cè)模塊304、面型模塊306、面部姿勢(shì)模塊308、面部表情檢測(cè)模塊310、眼睛檢測(cè)/跟蹤模塊312及眼分類模塊314。面部檢測(cè)/跟蹤模塊300可包括通常良好定義的并且可操作以至少在一定程度上檢測(cè)和識(shí)別從照相機(jī)104收到的靜止圖像或視頻流中人臉的大小和位置的定制、專有、已知和/或以后開發(fā)的面部跟蹤代碼(或指令集)。此類已知面部檢測(cè)/跟蹤系統(tǒng)例如包括發(fā)布為Paul Viola和Michael Jones,使用簡(jiǎn)單特征的增強(qiáng)級(jí)聯(lián)的快速對(duì)象檢測(cè)(Rapid Object Detection using a Boosted Cascade of SimpleFeatures), Accepted Conference on Computer Vision and Pattern Recognition, 2001 的Viola和Jones的技術(shù)。這些技術(shù)通過在圖像上詳盡掃描窗口，使用自適應(yīng)級(jí)聯(lián)(AdaptiveBoosting (AdaBoost))分類器的級(jí)聯(lián)來檢測(cè)面部。面部檢測(cè)/跟蹤模塊300也可跨多個(gè)圖像跟蹤面部或面部區(qū)域。
[0034]面部規(guī)范化模塊302可包括通常良好定義的并且可操作以規(guī)范化圖像中識(shí)別的面部的定制、專有、已知和/或以后開發(fā)的面部規(guī)范化代碼(或指令集)。例如，面部規(guī)范化模塊302可配置成旋轉(zhuǎn)圖像以對(duì)齊眼睛(如果眼睛的坐標(biāo)已知)，裁切圖像到通常對(duì)應(yīng)于面部的大小的更小尺寸，縮放圖像以使眼睛之間的距離恒定，應(yīng)用掩碼以零化不在包含典型面部的橢圓形中的像素，直方圖均衡化圖像以平滑用于非屏蔽像素的灰度值的分布和/或規(guī)范化圖像，以便非屏蔽像素具有均值O和標(biāo)準(zhǔn)偏差I(lǐng)。
[0035]標(biāo)志物檢測(cè)模塊304可包括通常良好定義的并且可操作以至少在一定程度上檢測(cè)和識(shí)別圖像中面部的各種面部特征的定制、專有、已知和/或以后開發(fā)的標(biāo)志物檢測(cè)代碼(或指令集)。標(biāo)志物檢測(cè)中隱含的是至少在一定程度上已經(jīng)檢測(cè)到面部?？蛇x地，一定程度的定位可(例如，由面部規(guī)范化模塊302)已經(jīng)執(zhí)行以識(shí)別/聚焦在其中可能能夠找到標(biāo)志物的圖像的地帶/區(qū)域。例如，標(biāo)志物檢測(cè)模塊304可基于啟發(fā)式分析，并且可配置成識(shí)別和/或分析眼睛(和/或眼角)、鼻子(例如，鼻尖)、下巴(例如，下巴尖)、頰骨和下頜的相對(duì)位置、大小和/或形狀。使用基于Viola-Jones的分類器，也可檢測(cè)到眼角和嘴角。
[0036]面型模塊306可包括通常良好定義的并且可操作以基于圖像中識(shí)別的面部標(biāo)志物識(shí)別和/或生成面型的定制、專有、已知和/或以后開發(fā)的面型代碼(或指令集)。如可領(lǐng)會(huì)的，面型模塊306可視為面部檢測(cè)/跟蹤模塊300的一部分。
[0037]面部姿勢(shì)模塊308可包括通常良好定義的并且可操作以至少在一定程度上檢測(cè)和識(shí)別圖像中面部的姿勢(shì)的定制、專有、已知和/或以后開發(fā)的面部朝向檢測(cè)代碼(或指令集)。例如，面部姿勢(shì)模塊308可配置成相對(duì)于裝置102的顯示器108建立圖像中面部的姿勢(shì)。更具體地說，面部姿勢(shì)模塊308可配置成確定用戶的面部是否朝向裝置102的顯示器108,由此指示用戶是否在觀察顯示器108上顯示的內(nèi)容。
[0038]面部表情檢測(cè)模塊310可包括通常良好定義的并且可操作以檢測(cè)和/或識(shí)別圖像中用戶的面部表情的定制、專有、已知和/或以后開發(fā)的面部表情檢測(cè)和/或識(shí)別代碼(或指令集)。例如，面部表情檢測(cè)模塊310可確定面部特征(例如，眼、嘴、臉頰、牙齒等)的大小和/或位置，并且將面部特征和包括具有對(duì)應(yīng)面部特征分類的多個(gè)樣本面部特征的面部特征數(shù)據(jù)庫進(jìn)行比較。
[0039]眼睛檢測(cè)/跟蹤模塊312可包括通常良好定義的并且可操作以至少在一定程度上檢測(cè)和識(shí)別圖像中用戶的眼睛運(yùn)動(dòng)和/或眼睛凝視或焦點(diǎn)的定制、專有、已知和/或以后開發(fā)的眼睛跟蹤代碼(或指令集)。類似于面部姿勢(shì)模塊308，眼睛檢測(cè)/跟蹤模塊312可配置成相對(duì)于裝置102的顯示器108建立用戶眼睛對(duì)準(zhǔn)的方向。眼睛檢測(cè)/跟蹤模塊312可還配置成確立用戶的眨眼。
[0040]如圖所示，眼睛檢測(cè)/跟蹤模塊312可包括配置成確定用戶眼睛(單個(gè)和/或兩個(gè))是睜開還是閉上和用戶眼睛相對(duì)于顯示器108的運(yùn)動(dòng)的眼睛分類模塊314。具體而言，眼睛分類模塊314配置成接收一個(gè)或更多個(gè)規(guī)范化圖像(由規(guī)范化模塊302規(guī)范化的圖像)。規(guī)范化圖像可包括但不限于用于對(duì)齊眼睛的旋轉(zhuǎn)(如果眼睛的坐標(biāo)已知)，圖像的裁切，具體而言參照眼角位置的眼睛的裁切，縮放圖像以使眼睛之間的距離恒定，直方圖均衡化圖像以平滑用于非屏蔽像素的灰度值的分布和/或規(guī)范化圖像，以便非屏蔽像素具有均值O和單位標(biāo)準(zhǔn)偏差。
[0041]在接收一個(gè)或更多個(gè)規(guī)范化圖像時(shí)，眼睛分類模塊314可配置成相對(duì)于顯示器108單獨(dú)識(shí)別眼睛睜開/閉上和/或眼睛運(yùn)動(dòng)(例如，向左/向右看，向上/向下看，往對(duì)角看等)，并且因此在活動(dòng)視頻通信和/或交互期間實(shí)時(shí)或近實(shí)時(shí)確定用戶眼睛的狀態(tài)。眼睛分類模塊314可包括通常良好定義的并且可操作以至少在一定程度上檢測(cè)和識(shí)別圖像中用戶的眼睛運(yùn)動(dòng)和/或眼瞼運(yùn)動(dòng)的定制、專有、已知和/或以后開發(fā)的眼睛跟蹤代碼(或指令集)。在一個(gè)實(shí)施例中，眼睛分類模塊314可使用基于統(tǒng)計(jì)的分析以便識(shí)別用戶眼睛的狀態(tài)(睜開/閉上，運(yùn)動(dòng)等)，包括但不限于線性判別分析(LDA)、人工神經(jīng)網(wǎng)絡(luò)(ANN)和/或支持向量機(jī)(SVM)。在分析期間，眼睛分類模塊314可還利用眼睛狀態(tài)數(shù)據(jù)庫，該數(shù)據(jù)庫可包括具有對(duì)應(yīng)眼睛特征分類的多個(gè)樣本眼睛特征。
[0042]如前面所述,化身動(dòng)畫可基于感測(cè)的面部動(dòng)作(例如,用戶的面部特點(diǎn)206的更改，包括眼睛運(yùn)動(dòng)和/或眼瞼運(yùn)動(dòng))?；淼拿娌可蠈?duì)應(yīng)特征點(diǎn)可跟隨或模仿現(xiàn)實(shí)人臉的運(yùn)動(dòng)，這稱為“表情克隆”或“行為驅(qū)動(dòng)的面部動(dòng)畫”。相應(yīng)地，可通過任何已知方法在活動(dòng)視頻通信和/或交互期間在化身模型中以動(dòng)畫表現(xiàn)眼睛睜開/閉上和眼睛運(yùn)動(dòng)。
[0043]例如，在接收來自裝置102的化身選擇和化身參數(shù)時(shí)，遠(yuǎn)程裝置112的化身控制模塊可配置成基于面部特點(diǎn)206，控制(例如，以動(dòng)畫表現(xiàn))化身，包括用戶的眼睛運(yùn)動(dòng)和/或眼瞼運(yùn)動(dòng)。這可包括規(guī)范化和重新映射用戶的面部到化身的面部，復(fù)制面部特點(diǎn)206的任何更改，并且驅(qū)動(dòng)化身執(zhí)行相同面部特點(diǎn)和/或表情更改。對(duì)于基于面部特征的動(dòng)畫方法，2D化身動(dòng)畫可例如通過圖像扭曲(image warping)或圖像漸變(image morphing)進(jìn)行，而3D化身動(dòng)畫可通過自由形式變形(FFD)或者通過利用在頭部的3D模型中定義的動(dòng)畫結(jié)構(gòu)進(jìn)行。Oddcast是可用于2D化身動(dòng)畫的軟件資源的示例,而FaceGen是可用于3D化身生成和動(dòng)畫的軟件資源的示例。
[0044]圖4示出根據(jù)至少一個(gè)實(shí)施例的示例系統(tǒng)實(shí)現(xiàn)。裝置102’配置成經(jīng)WiFi連接400(例如，工作中)以無線方式進(jìn)行通信，服務(wù)器124’配置成經(jīng)因特網(wǎng)402協(xié)商在裝置102’與112’之間的連接，以及設(shè)備112’配置成經(jīng)另一 WiFi連接404 (例如，在家中)以無線方式進(jìn)行通信。在一個(gè)實(shí)施例中，在設(shè)備102’中激活裝置到裝置基于化身的視頻呼叫應(yīng)用。在化身選擇后，應(yīng)用可允許選擇至少一個(gè)遠(yuǎn)程裝置(例如，裝置112’)。然后，應(yīng)用可促使裝置102’發(fā)起與裝置112’的通信。通過裝置102’經(jīng)企業(yè)接入點(diǎn)(AP) 406傳送連接建立請(qǐng)求到裝置112’，可發(fā)起通信。企業(yè)AP 406可以是在商業(yè)環(huán)境中可使用的AP，并且因此可比家庭AP 414支持更高數(shù)據(jù)吞吐量和更多并發(fā)的無線客戶端。企業(yè)AP 406可接收來自裝置102’的無線信號(hào)，并且可繼續(xù)經(jīng)網(wǎng)關(guān)408通過各種商業(yè)網(wǎng)絡(luò)傳送連接建立請(qǐng)求。然后，連接建立請(qǐng)求可通過防火墻410，防火墻410可配置成控制流入和流出WiFi網(wǎng)絡(luò)400的信息。
[0045]然后，可由服務(wù)器124’處理裝置102’的連接建立請(qǐng)求。服務(wù)器124’可配置用于注冊(cè)IP地址，對(duì)目的地地址和NAT遍歷進(jìn)行鑒權(quán)以便可將連接建立請(qǐng)求引導(dǎo)到因特網(wǎng)402上正確的目的地。例如，服務(wù)器124’可從收到的來自裝置102’的連接建立請(qǐng)求中的信息解析預(yù)期目的地(例如，遠(yuǎn)程裝置112’)，并且可相應(yīng)地將信號(hào)路由通過正確的NAT、端口并且到該目的地IP地址。取決于網(wǎng)絡(luò)配置，這些操作可只在連接建立期間必須執(zhí)行。
[0046]在一些情況下，在視頻呼叫期間可重復(fù)操作以便提供通知到NAT以保持連接活著。在連接已建立后，媒體和信號(hào)路徑412可將視頻(例如，化身選擇和/或化身參數(shù))和音頻信息引導(dǎo)運(yùn)送到家庭AP 414。裝置112’然后可接收連接建立請(qǐng)求，并且可配置成確定是否接受請(qǐng)求。確定是否接受請(qǐng)求例如可包括向裝置112’的用戶呈現(xiàn)視覺敘述，詢問關(guān)于是否接受來自裝置102’的連接請(qǐng)求。如果裝置112’的用戶接受連接(例如，接受視頻呼叫)，則可建立連接。照相機(jī)104’和114’然后可配置成開始分別捕捉裝置102’和112’的相應(yīng)用戶的圖像以便用于以動(dòng)畫表現(xiàn)每個(gè)用戶選擇的化身。然后，麥克風(fēng)106’和116’可配置成開始記錄來自每個(gè)用戶的音頻。在裝置102’與112’之間的信息交換開始時(shí)，顯示器108’和118’可顯示并且以動(dòng)畫表現(xiàn)對(duì)應(yīng)于裝置102’和112’的用戶的化身。
[0047]圖5是根據(jù)至少一個(gè)實(shí)施例的示例操作的流程圖。在操作502中，可在裝置中激活應(yīng)用(例如，基于化身的話音呼叫應(yīng)用)。應(yīng)用的激活之后可以是化身的選擇。化身的選擇可包括由應(yīng)用呈現(xiàn)的接口，接口允許用戶選擇預(yù)定義的化身。在化身選擇后，可在操作504中配置通信。通信配置包括用于參與視頻呼叫的至少一個(gè)遠(yuǎn)程裝置或虛擬空間的標(biāo)識(shí)。例如，用戶可從應(yīng)用內(nèi)存儲(chǔ)的，與裝置中另一系統(tǒng)關(guān)聯(lián)存儲(chǔ)的(例如，智能電話、蜂窩電話中的聯(lián)系人列表)、諸如在因特網(wǎng)上遠(yuǎn)程存儲(chǔ)(例如，在如Facebook、Linkedln、Yahoo、Google+、MSN等社交媒體網(wǎng)站中)的遠(yuǎn)程用戶/裝置的列表中選擇。備選地，用戶可選擇在如SecondLife的虛擬空間上網(wǎng)。
[0048]在操作506中，可在裝置與至少一個(gè)遠(yuǎn)程裝置或虛擬空間之間發(fā)起通信。例如，可將連接建立請(qǐng)求傳送到遠(yuǎn)程裝置或虛擬空間。為了本文的解釋，假設(shè)遠(yuǎn)程裝置或虛擬空間接受連接建立請(qǐng)求。然后，在操作508中，裝置中的照相機(jī)開始捕捉圖像。圖像可以是靜止圖像或直播視頻(例如，按順序捕捉的多個(gè)圖像)。在操作510中，圖像分析可從圖像中面部/頭部的檢測(cè)/跟蹤開始而發(fā)生。然后，可分析檢測(cè)到的面部以便檢測(cè)面部特點(diǎn)(例如，面部標(biāo)志物、面部表情等)。在操作512中，將檢測(cè)到的面部/頭部位置和/或面部特點(diǎn)轉(zhuǎn)換成化身參數(shù)。化身參數(shù)用于在遠(yuǎn)程裝置上或者在虛擬空間中以動(dòng)畫表現(xiàn)選擇的化身。在操作514中，可傳送化身選擇或化身參數(shù)至少之一。
[0049]在操作516中，可顯示并且以動(dòng)畫表現(xiàn)化身。在裝置到裝置通信的實(shí)例(例如，系統(tǒng)100)中，可從遠(yuǎn)程裝置接收遠(yuǎn)程化身選擇或遠(yuǎn)程化身參數(shù)至少之一。然后，對(duì)應(yīng)于遠(yuǎn)程用戶的化身可基于收到的遠(yuǎn)程化身選擇顯示，并且可基于收到的遠(yuǎn)程化身參數(shù)以動(dòng)畫表現(xiàn)。在虛擬位置交互的實(shí)例(例如，系統(tǒng)126)中，可接收允許裝置顯示對(duì)應(yīng)于裝置用戶的化身看到的內(nèi)容的信息。然后，在操作518中可確定當(dāng)前通信是否完成。如果在操作518中確定通信未完成，則操作508-516可重復(fù)以便繼續(xù)基于用戶的面部的分析、在遠(yuǎn)程設(shè)備上顯示并且以動(dòng)畫表現(xiàn)化身。否則，在操作520中，可終止通信。如果不要進(jìn)行另外的視頻呼叫，則也可終止視頻呼叫應(yīng)用。
[0050]雖然圖5示出根據(jù)一實(shí)施例的各種操作，但要理解的是，對(duì)于其它實(shí)施例，圖5所示所有操作并非是必需的。實(shí)際上，本文中完全考慮了在本公開內(nèi)容的其它實(shí)施例中，圖5所示操作和/或本文中描述的其它操作可采用附圖中的任一個(gè)中未明確示出的方式組合，但仍與本公開內(nèi)容完全一致。因此，指向在一個(gè)圖形中未確切示出的特征和/或操作的權(quán)利要求被認(rèn)為是在本公開內(nèi)容的范圍和內(nèi)容內(nèi)。
[0051]與本公開內(nèi)容一致的系統(tǒng)提供在活動(dòng)通信期間用戶眼睛的檢測(cè)和/或跟蹤，包括用戶眼睛的特點(diǎn)的檢測(cè)，包括但不限于用戶眼睛的眼球運(yùn)動(dòng)、凝視方向和/或焦點(diǎn)、眨眼等。系統(tǒng)使用基于統(tǒng)計(jì)的方案確定用戶眼睛的狀態(tài)(例如，睜開/閉合的眼睛和/或眼睛凝視的方向)。系統(tǒng)還配置成至少部分基于在活動(dòng)通信和交互期間實(shí)時(shí)或近實(shí)時(shí)檢測(cè)到的用戶眼睛的特點(diǎn)來提供化身動(dòng)畫。用戶眼睛的動(dòng)畫可增強(qiáng)在用戶之間的交互，這是因?yàn)槿说难劬桶ㄟ\(yùn)動(dòng)與表情的與它們相關(guān)聯(lián)的特點(diǎn)可在活動(dòng)通信期間傳達(dá)豐富的信息，如用戶的興趣、情緒等。
[0052]與本公開內(nèi)容一致的系統(tǒng)提供了優(yōu)點(diǎn)。例如，基于統(tǒng)計(jì)的方法的使用允許通過增大樣本收集和分類器重新培訓(xùn)來改進(jìn)眼睛分析和分類的執(zhí)行。另外，與例如模板匹配方法和/或基于幾何形狀的方法的眼睛分析的其它已知方法相比，與本公開內(nèi)容一致的系統(tǒng)通常在使用前不要求校準(zhǔn)，系統(tǒng)也不要求特殊硬件，如紅外照明或近景照相機(jī)。另外，與本公開內(nèi)容一致的系統(tǒng)不要求新用戶進(jìn)行學(xué)習(xí)過程。
[0053]各種特征、方面和實(shí)施例已在本文中描述。如本領(lǐng)域技術(shù)人員將理解的，特征、方面和實(shí)施例易于相互組合及變化和修改。因此，本公開內(nèi)容應(yīng)視為涵蓋此類組合、變化和修改。因此，本發(fā)明的廣度和范圍不應(yīng)受任何上述示范實(shí)施例所限制，而是只應(yīng)根據(jù)隨附的權(quán)利要求及其等同物定義。
[0054]在本文中任何實(shí)施例中使用時(shí)，術(shù)語“模塊”可指配置成執(zhí)行任何上面提及的操作的軟件、固件和/或電路。軟件可實(shí)施為記錄在非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體上的軟件包、代碼、指令、指令集和/或數(shù)據(jù)。固件可實(shí)施為在存儲(chǔ)器裝置中硬編碼(例如，非易失性)的代碼、指令或指令集和/或數(shù)據(jù)?！半娐贰痹诒疚娜魏螌?shí)施例中使用時(shí)可例如單獨(dú)或以任何組合包括硬連線電路、諸如包括一個(gè)或更多個(gè)單獨(dú)指令處理核的計(jì)算機(jī)處理器等可編程電路、狀態(tài)機(jī)電路和/或存儲(chǔ)可編程電路執(zhí)行的指令的固件。模塊可共同或單獨(dú)實(shí)施為形成更大系統(tǒng)的一部分的電路，例如，集成電路(1C)、片上系統(tǒng)(SOC)、臺(tái)式計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、服務(wù)器、智能電話等。
[0055]本文中所述任何操作可在包括一個(gè)或多個(gè)存儲(chǔ)媒體的系統(tǒng)中實(shí)現(xiàn)，存儲(chǔ)媒體上單獨(dú)或以組合存儲(chǔ)有在由一個(gè)或多個(gè)處理器執(zhí)行時(shí)執(zhí)行方法的指令。此處，處理器例如可包括服務(wù)器CPU、運(yùn)動(dòng)裝置CPU和/或其它可編程電路。因此，預(yù)期本文中所述操作可跨諸如在不止一個(gè)不同物理位置的處理結(jié)構(gòu)的多個(gè)物理裝置分布。存儲(chǔ)媒體可包括任何類型的有形媒體，例如任何類型的磁盤，包括硬盤、軟盤、光盤、壓縮盤只讀存儲(chǔ)器(CD-ROM)、可重寫壓縮盤(⑶-RW)及磁光盤、半導(dǎo)體裝置諸如只讀存儲(chǔ)器(ROM)、諸如動(dòng)態(tài)和靜態(tài)RAM的隨機(jī)存取存儲(chǔ)器(RAM)、可擦除編程只讀存儲(chǔ)器(EPROM)、電擦除可編程只讀存儲(chǔ)器(EEEPR0M)、閃存、固態(tài)磁盤(SSD)、磁卡或光卡或適用于存儲(chǔ)電子指令的任意類型的媒體。其它實(shí)施例可實(shí)現(xiàn)為由可編程控制裝置執(zhí)行的軟件模塊。存儲(chǔ)媒體可以是非暫時(shí)性的。
[0056]本文中已采用的術(shù)語和表述用作描述的語言而不是限制，并且在此類術(shù)語和表述中，無意排除所示和所述的特征(或其部分)的任何等效物，以及可認(rèn)識(shí)到各種修改在權(quán)利要求的范圍內(nèi)是可能的。相應(yīng)地，權(quán)利要求旨在包括所有此類等效物。各種特征、方面和實(shí)施例已在本文中描述。如本領(lǐng)域技術(shù)人員將理解的，特征、方面和實(shí)施例易于相互組合及變化和修改。因此,本公開內(nèi)容應(yīng)視為涵蓋此類組合、變化和修改。
[0057]如本文中所述，各種實(shí)施例可使用硬件元素、軟件元素或其任何組合實(shí)現(xiàn)。硬件元素的示例可包括處理器、微處理器、電路、電路元素(例如，晶體管、電阻器、電容器、電感器等等)、集成電路、專用集成電路(ASIC)、可編程邏輯器件(PLD)，、數(shù)字信號(hào)處理器(DSP)、現(xiàn)場(chǎng)可編程門陣列(FPGA)、邏輯門、寄存器、半導(dǎo)體裝置、芯片、微芯片、芯片集等等。
[0058]此說明書通篇對(duì)“一個(gè)實(shí)施例”或“一實(shí)施例”的引用指結(jié)合該實(shí)施例描述的特定特征、結(jié)構(gòu)或特性包括在至少一個(gè)實(shí)施例中。因此，在此說明書通篇各個(gè)位置出現(xiàn)的“在一個(gè)實(shí)施例中”或“在一實(shí)施例中”短語不一定全部指相同的實(shí)施例。此外，特定的特征、結(jié)構(gòu)或特性可在一個(gè)或多個(gè)實(shí)施例中以任何適合的方式組合。
[0059]根據(jù)一方面，提供了一種用于在第一用戶裝置與遠(yuǎn)程用戶裝置之間的交互式化身通信的系統(tǒng)。系統(tǒng)包括配置成捕捉圖像的相機(jī)、配置成發(fā)起和建立通信，并且在所述第一與所述第二用戶裝置之間傳送和接收信息的通信模塊。系統(tǒng)還包括一個(gè)或更多個(gè)存儲(chǔ)媒體，存儲(chǔ)媒體上單獨(dú)或以組合存儲(chǔ)有在由一個(gè)或更多個(gè)處理器執(zhí)行時(shí)，產(chǎn)生一個(gè)或更多個(gè)操作的指令。操作包括選擇化身；發(fā)起通信；捕捉圖像；檢測(cè)圖像中的面部；以及從面部確定面部特點(diǎn)，面部特點(diǎn)包括眼睛運(yùn)動(dòng)和眼瞼運(yùn)動(dòng)至少之一；將面部特點(diǎn)轉(zhuǎn)換成化身參數(shù)；傳送化身選擇和化身參數(shù)至少之一。
[0060]另一示例系統(tǒng)包括前面所述組件，并且從面部確定面部特點(diǎn)包括確定面部中的面部表情。
[0061]另一示例系統(tǒng)包括前面所述組件，并且化身選擇和化身參數(shù)用于在遠(yuǎn)程裝置上生成化身，化身基于面部特點(diǎn)。
[0062]另一示例系統(tǒng)包括前面所述組件，并且化身選擇和化身參數(shù)用于在虛擬空間中生成化身，化身基于面部特點(diǎn)。
[0063]另一示例系統(tǒng)包括前面所述組件和指令，指令在由一個(gè)或更多個(gè)處理器執(zhí)行時(shí)產(chǎn)生以下另外的接收遠(yuǎn)程化身選擇或遠(yuǎn)程化身參數(shù)至少之一的操作。
[0064]另一示例系統(tǒng)包括前面所述組件，并且還包括顯示器、指令，指令在由一個(gè)或更多個(gè)處理器執(zhí)行時(shí)產(chǎn)生以下另外的基于遠(yuǎn)程化身選擇顯示化身的操作。
[0065]另一示例系統(tǒng)包括前面所述組件和指令，指令在由一個(gè)或更多個(gè)處理器執(zhí)行時(shí)產(chǎn)生以下另外的基于遠(yuǎn)程化身參數(shù)以動(dòng)畫表現(xiàn)顯示的化身的操作。
[0066]根據(jù)一方面，提供了一種用于在第一用戶裝置與遠(yuǎn)程用戶裝置之間交互式化身通信的設(shè)備。設(shè)備包括配置成在第一用戶裝置與遠(yuǎn)程用戶裝置之間發(fā)起并建立通信，并且在第一用戶裝置與遠(yuǎn)程用戶裝置之間傳送和接收信息的通信模塊。設(shè)備還包括配置成允許用戶選擇化身以便在通信期間使用的化身選擇模塊。設(shè)備還包括配置成檢測(cè)用戶的圖像中的面部區(qū)域，并且檢測(cè)和識(shí)別面部的一個(gè)或更多個(gè)面部特點(diǎn)的面部檢測(cè)模塊。面部特點(diǎn)包括用戶的眼睛運(yùn)動(dòng)和眼瞼運(yùn)動(dòng)。設(shè)備還包括配置成將面部特點(diǎn)轉(zhuǎn)換成化身參數(shù)的化身控制模塊。通信模塊配置成傳送化身選擇和化身參數(shù)至少之一。
[0067]另一示例設(shè)備包括前面所述組件，并且還包括配置成檢測(cè)和識(shí)別相對(duì)于顯示器用戶的眼睛運(yùn)動(dòng)和用戶的眼瞼運(yùn)動(dòng)至少之一的眼睛檢測(cè)/跟蹤模塊。
[0068]另一示例設(shè)備包括前面所述組件，并且眼睛檢測(cè)/跟蹤模塊包括配置成確定用戶眼睛的凝視方向和用戶眼睛眨眼至少之一的眼睛分類模塊。
[0069]另一示例設(shè)備包括前面所述組件，并且化身選擇和化身參數(shù)用于在遠(yuǎn)程裝置上生成化身，化身基于面部特點(diǎn)。
[0070]另一示例設(shè)備包括前面所述組件，并且通信模塊配置成接收遠(yuǎn)程化身選擇和遠(yuǎn)程化身參數(shù)至少之一。
[0071]另一示例設(shè)備包括前面所述組件，并且還包括配置成基于遠(yuǎn)程化身選擇來顯示化身的顯不器。
[0072]另一示例設(shè)備包括前面所述組件，并且化身控制模塊配置成基于遠(yuǎn)程化身參數(shù)以動(dòng)畫表現(xiàn)顯示的化身。
[0073]根據(jù)另一方面，提供了一種用于交互式化身通信的方法。方法包括選擇化身；發(fā)起通信；捕捉圖像；檢測(cè)圖像中的面部；以及從面部確定面部特點(diǎn)，面部特點(diǎn)包括眼睛運(yùn)動(dòng)和眼瞼運(yùn)動(dòng)至少之一；將面部特點(diǎn)轉(zhuǎn)換成化身參數(shù)；傳送化身選擇和化身參數(shù)至少之一。
[0074]另一示例方法包括前面所述操作，并且從面部確定面部特點(diǎn)包括確定面部中的面部表情。
[0075]另一示例方法包括前面所述操作，并且化身選擇和化身參數(shù)用于在遠(yuǎn)程裝置上生成化身，化身基于面部特點(diǎn)。
[0076]另一示例方法包括前面所述操作，并且化身選擇和化身參數(shù)用于在虛擬空間中生成化身，化身基于面部特點(diǎn)。
[0077]另一示例方法包括前面所述操作，并且還包括接收遠(yuǎn)程化身選擇或遠(yuǎn)程化身參數(shù)至少之一。
[0078]另一示例方法包括前面所述操作，并且還包括基于遠(yuǎn)程化身選擇在顯示器上顯示化身。
[0079]另一示例方法包括前面所述操作，并且還包括基于遠(yuǎn)程化身參數(shù)以動(dòng)畫表現(xiàn)顯示的化身。
[0080]根據(jù)另一方面，提供了至少一種上面存儲(chǔ)有指令的計(jì)算機(jī)可訪問媒體。在由一個(gè)或更多個(gè)處理器執(zhí)行時(shí)，指令可促使計(jì)算機(jī)系統(tǒng)執(zhí)行用于交互式化身通信的操作。操作包括選擇化身；發(fā)起通信；捕捉圖像；檢測(cè)圖像中的面部；以及從面部確定面部特點(diǎn)，面部特點(diǎn)包括眼睛運(yùn)動(dòng)和眼瞼運(yùn)動(dòng)至少之一；將面部特點(diǎn)轉(zhuǎn)換成化身參數(shù)；傳送化身選擇和化身參數(shù)至少之一。
[0081]另一示例計(jì)算機(jī)可訪問媒體包括前面所述操作，并且從面部確定面部特點(diǎn)包括確定面部中的面部表情。[0082]另一示例計(jì)算機(jī)可訪問媒體包括前面所述操作，并且化身選擇和化身參數(shù)用于在遠(yuǎn)程裝置上生成化身，化身基于面部特點(diǎn)。
[0083]另一示例計(jì)算機(jī)可訪問媒體包括前面所述操作，并且化身選擇和化身參數(shù)用于在虛擬空間中生成化身，化身基于面部特點(diǎn)。
[0084]另一示例計(jì)算機(jī)可訪問媒體包括前面所述操作，并且還包括接收遠(yuǎn)程化身選擇或遠(yuǎn)程化身參數(shù)至少之一。
[0085]另一示例計(jì)算機(jī)可訪問媒體包括前面所述操作，并且還包括基于遠(yuǎn)程化身選擇在顯示器上顯示化身。
[0086]另一示例計(jì)算機(jī)可訪問媒體包括前面所述操作，并且還包括基于遠(yuǎn)程化身參數(shù)以動(dòng)畫表現(xiàn)顯示的化身。
[0087]本文中已采用的術(shù)語和表述用作描述而不是限制的語言，并且在此類術(shù)語和表述的使用中，無意排除所示和所述的特征(或其部分)的任何等效物，以及認(rèn)識(shí)到各種修改在權(quán)利要求的范圍內(nèi)是可能的。相應(yīng)地，權(quán)利要求旨在包括所有此類等效物。
【權(quán)利要求】
1.一種用于在第一用戶裝置與遠(yuǎn)程用戶裝置之間的交互式化身通信的系統(tǒng)，所述系統(tǒng)包括: 照相機(jī)，配置成捕捉圖像； 通信模塊，配置成在所述第一用戶裝置與所述遠(yuǎn)程用戶裝置之間發(fā)起并建立通信，并且在所述第一用戶裝置與所述遠(yuǎn)程用戶裝置之間傳送和接收信息；以及 一個(gè)或更多個(gè)存儲(chǔ)媒體，所述存儲(chǔ)媒體上單獨(dú)或以組合存儲(chǔ)指令，所述指令在由一個(gè)或更多個(gè)處理器執(zhí)行時(shí)導(dǎo)致以下操作，包括: 選擇化身； 發(fā)起通信； 捕捉圖像； 檢測(cè)所述圖像中的面部； 從所述面部確定面部特點(diǎn)，所述面部特點(diǎn)包括眼睛運(yùn)動(dòng)和眼瞼運(yùn)動(dòng)至少之一； 將所述面部特點(diǎn)轉(zhuǎn)換成化身參數(shù)；以及 傳送所述化身選擇和化身參數(shù)至少之一。
2.如權(quán)利要求1所述的系統(tǒng)，其中從所述面部確定面部特點(diǎn)包括確定所述面部中的面部表情。
3.如權(quán)利要求1所述的系統(tǒng)，其中所述化身選擇和化身參數(shù)用于在遠(yuǎn)程裝置上生成化身，所述化身基于所述面部特點(diǎn)。
4.如權(quán)利要求1所述的系統(tǒng)，其中所述化身選擇和化身參數(shù)用于在虛擬空間中生成化身，所述化身基于所述面部特點(diǎn)。
5.如權(quán)利要求1所述的系統(tǒng)，其中所述指令在由一個(gè)或更多個(gè)處理器執(zhí)行時(shí)導(dǎo)致以下另外的操作: 接收遠(yuǎn)程化身選擇和遠(yuǎn)程化身參數(shù)至少之一。
6.如權(quán)利要求5所述的系統(tǒng)，還包括顯示器，其中所述指令在由一個(gè)或更多個(gè)處理器執(zhí)行時(shí)導(dǎo)致以下另外的操作: 基于所述遠(yuǎn)程化身選擇顯示化身。
7.如權(quán)利要求6所述的系統(tǒng)，其中所述指令在由一個(gè)或更多個(gè)處理器執(zhí)行時(shí)導(dǎo)致以下另外的操作: 基于所述遠(yuǎn)程化身選擇以動(dòng)畫表現(xiàn)所述顯示的化身。
8.一種用于在第一用戶裝置與遠(yuǎn)程用戶裝置之間的交互式化身通信的設(shè)備，所述設(shè)備包括: 通信模塊，配置成在所述第一用戶裝置與所述遠(yuǎn)程用戶裝置之間發(fā)起和建立通信； 化身選擇模塊，配置成允許用戶選擇化身以便在所述通信期間使用； 面部檢測(cè)模塊，配置成檢測(cè)所述用戶的圖像中的面部區(qū)域，并且檢測(cè)和識(shí)別所述面部的一個(gè)或更多個(gè)面部特點(diǎn)，所述面部特點(diǎn)包括所述用戶的眼睛運(yùn)動(dòng)和眼瞼運(yùn)動(dòng)至少之一；以及 化身控制模塊，配置成將所述面部特點(diǎn)轉(zhuǎn)換成化身參數(shù)； 其中所述通信模塊配置成傳送所述化身選擇和化身參數(shù)至少之一。
9.如權(quán)利要求8所述的設(shè)備，還包括配置成檢測(cè)和識(shí)別相對(duì)于顯示器所述用戶的眼睛運(yùn)動(dòng)和所述用戶的眼瞼運(yùn)動(dòng)至少之一的眼睛檢測(cè)/跟蹤模塊。
10.如權(quán)利要求9所述的設(shè)備，其中所述眼睛檢測(cè)/跟蹤模塊包括配置成確定所述用戶眼睛的凝視方向和所述用戶眼睛的眨眼至少之一的眼分類模塊。
11.如權(quán)利要求8所述的設(shè)備，其中所述化身選擇和化身參數(shù)用于在所述遠(yuǎn)程裝置上生成化身，所述化身基于所述面部特點(diǎn)。
12.如權(quán)利要求8所述的設(shè)備，其中所述通信模塊配置成接收遠(yuǎn)程化身選擇和遠(yuǎn)程化身參數(shù)至少之一。
13.如權(quán)利要求12所述的設(shè)備，還包括配置成基于所述遠(yuǎn)程化身選擇來顯示化身的顯示器。
14.如權(quán)利要求13所述的設(shè)備，其中所述化身控制模塊配置成基于所述遠(yuǎn)程化身參數(shù)以動(dòng)畫表現(xiàn)所述顯示的化身。
15.一種用于交互式化身通信的方法，所述方法包括: 選擇化身； 發(fā)起通信； 捕捉圖像； 檢測(cè)所述圖像中的面部； 從所述面部確定面部特點(diǎn)，所述面部特點(diǎn)包括眼睛運(yùn)動(dòng)和眼瞼運(yùn)動(dòng)至少之一； 將所述面部特點(diǎn)轉(zhuǎn)換成化身參數(shù)；以及 傳送所述化身選擇或化身參數(shù)至少之一。
16.如權(quán)利要求15所述的方法，其中從所述面部確定面部特點(diǎn)包括確定所述面部中的面部表情。
17.如權(quán)利要求15所述的方法，其中所述化身選擇和化身參數(shù)用于在遠(yuǎn)程裝置上生成化身，所述化身基于所述面部特點(diǎn)。
18.如權(quán)利要求15所述的方法，其中所述化身選擇和化身參數(shù)用于在虛擬空間中生成化身，所述化身基于所述面部特點(diǎn)。
19.如權(quán)利要求15所述的方法，還包括接收遠(yuǎn)程化身選擇和遠(yuǎn)程化身參數(shù)至少之一。
20.如權(quán)利要求19所述的方法，還包括基于所述遠(yuǎn)程化身選擇來顯示化身。
21.如權(quán)利要求20所述的方法，還包括基于所述遠(yuǎn)程化身參數(shù)以動(dòng)畫表現(xiàn)所述顯示的化身。
22.至少一種存儲(chǔ)指令的計(jì)算機(jī)可接入媒體，所述指令在由機(jī)器執(zhí)行時(shí)，促使所述機(jī)器執(zhí)行如權(quán)利要求15到21任一項(xiàng)所述的方法。
【文檔編號(hào)】H04N21/44GK104011738SQ201280064807
【公開日】2014年8月27日 申請(qǐng)日期:2012年4月9日 優(yōu)先權(quán)日:2011年12月29日
【發(fā)明者】杜楊洲, 李文龍, X.童, W.胡, Y.張 申請(qǐng)人:英特爾公司