專(zhuān)利名稱(chēng)：為計(jì)算機(jī)圖形動(dòng)畫(huà)制作跟蹤面部肌肉和眼睛運(yùn)動(dòng)的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及三維圖形和動(dòng)畫(huà)，更具體地說(shuō)，涉及不使用攝像機(jī)而能夠捕捉表演者的面部和眼睛運(yùn)動(dòng)以在制作計(jì)算機(jī)圖形動(dòng)畫(huà)中使用的運(yùn)動(dòng)跟蹤系統(tǒng)。
背景技術(shù)：
使用運(yùn)動(dòng)捕捉系統(tǒng)捕捉真實(shí)對(duì)象的運(yùn)動(dòng)，并將其映射到計(jì)算機(jī)生成的對(duì)象上。此類(lèi)系統(tǒng)常常應(yīng)用于運(yùn)動(dòng)圖片和視頻游戲的制作中以創(chuàng)建用作創(chuàng)建計(jì)算機(jī)圖形(CG)動(dòng)畫(huà)的源數(shù)據(jù)的人的數(shù)字表示。在典型的系統(tǒng)中，表演者穿戴具有附著在不同位置的標(biāo)記器(例如具有附著于身體和肢體的小反應(yīng)式標(biāo)記器)的套裝，并且數(shù)字?jǐn)z像機(jī)在照射這些標(biāo)記器時(shí)從不同角度記錄表演者的移動(dòng)。系統(tǒng)然后分析圖像以確定表演者套裝上的標(biāo)記器在每個(gè)幀中的位置(例如作為空間坐標(biāo))和方向。通過(guò)跟蹤標(biāo)記器的位置，系統(tǒng)創(chuàng)建不同時(shí)間上標(biāo)記器的空間表示，并構(gòu)建運(yùn)動(dòng)中的表演者的數(shù)字表示。然后將該運(yùn)動(dòng)應(yīng)用于數(shù)字模型，然后對(duì)其施加紋理和渲染以制作演員和/或表演的完成CG表示。這種技術(shù)已被特殊效果公司用于在許多流行電影中制作令人難以置信的逼真動(dòng)畫(huà)。
運(yùn)動(dòng)捕捉系統(tǒng)還用于跟蹤演員的面部特征的運(yùn)動(dòng)以創(chuàng)建演員的面部運(yùn)動(dòng)和表情(例如大笑、哭、微笑等)的表示。與身體運(yùn)動(dòng)捕捉一樣，將標(biāo)記器附著于演員的面部，并且攝像機(jī)記錄演員的表情。因?yàn)檩^之身體移動(dòng)中所涉及的更大肌肉，面部移動(dòng)涉及相對(duì)較小的肌肉，所以面部標(biāo)記器通常遠(yuǎn)小于對(duì)應(yīng)的身體標(biāo)記器，并且攝像機(jī)通常比常常用于身體運(yùn)動(dòng)捕捉的攝像機(jī)具有更高分辯率。通常將攝像機(jī)與演員的物理移動(dòng)共平面對(duì)齊，同時(shí)限定保持?jǐn)z像機(jī)聚焦于演員的面部上?？梢詫⒚娌窟\(yùn)動(dòng)捕捉系統(tǒng)集成在頭盔或物理附著于演員的其他裝備中，以便統(tǒng)一地照射面部標(biāo)記器并將攝像機(jī)與面部之間的相對(duì)移動(dòng)的程度將至最小。
運(yùn)動(dòng)捕捉系統(tǒng)相對(duì)于傳統(tǒng)動(dòng)畫(huà)技術(shù)(例如關(guān)鍵幀處理)的優(yōu)點(diǎn)在于能夠?qū)崿F(xiàn)實(shí)時(shí)可視化。制作團(tuán)隊(duì)可以實(shí)時(shí)地或接近實(shí)時(shí)地復(fù)查表演者的運(yùn)動(dòng)的空間表示，從而使演員能夠改變物理表現(xiàn)以便捕捉最優(yōu)數(shù)據(jù)。而且，運(yùn)動(dòng)捕捉系統(tǒng)檢測(cè)使用其他動(dòng)畫(huà)技術(shù)無(wú)法容易再現(xiàn)的物理移動(dòng)的細(xì)微差異，由此獲得更精確地反映自然移動(dòng)的數(shù)據(jù)。作為結(jié)果，利用采用運(yùn)動(dòng)捕捉系統(tǒng)收集的源材料創(chuàng)建的動(dòng)畫(huà)將展現(xiàn)出更生動(dòng)的外觀。
盡管運(yùn)動(dòng)捕捉系統(tǒng)有這些優(yōu)點(diǎn)，常規(guī)運(yùn)動(dòng)捕捉系統(tǒng)的缺點(diǎn)是它們無(wú)法捕捉眼睛運(yùn)動(dòng)。因?yàn)闃?biāo)記器無(wú)法貼附于表演者的眼睛，所以運(yùn)動(dòng)捕捉攝像機(jī)檢測(cè)不到眼睛移動(dòng)。然后必須在后續(xù)CG動(dòng)畫(huà)過(guò)程中添加此眼睛移動(dòng)。除了使得動(dòng)畫(huà)過(guò)程更麻煩外，所產(chǎn)生的動(dòng)畫(huà)產(chǎn)品欠缺逼真性，因?yàn)樗鼰o(wú)法包括表演期間產(chǎn)生的細(xì)微眼睛移動(dòng)。
依賴(lài)于攝像機(jī)的常規(guī)運(yùn)動(dòng)捕捉系統(tǒng)的另一個(gè)缺點(diǎn)在于，因與例如道具或其他演員的其他對(duì)象的干擾而可能遮擋表演者的運(yùn)動(dòng)數(shù)據(jù)。確切地說(shuō)，如果身體或面部標(biāo)記器的一部分被阻擋在數(shù)字?jǐn)z像機(jī)的視場(chǎng)外，則收集不到有關(guān)該身體或面部部分的數(shù)據(jù)。這導(dǎo)致運(yùn)動(dòng)數(shù)據(jù)中的遮擋或空洞。雖然可以在稍后后期制作期間使用常規(guī)計(jì)算機(jī)圖形技術(shù)填補(bǔ)遮擋，但是填補(bǔ)數(shù)據(jù)欠缺實(shí)際運(yùn)動(dòng)數(shù)據(jù)的質(zhì)量，從而導(dǎo)致可被觀眾識(shí)別出的動(dòng)畫(huà)缺陷。為了避免此問(wèn)題，常規(guī)運(yùn)動(dòng)捕捉系統(tǒng)限制了可以一次性捕捉的對(duì)象的數(shù)量，例如限于一個(gè)表演者。這還往往使運(yùn)動(dòng)數(shù)據(jù)看上去不夠逼真，因?yàn)楸硌菡叩谋硌莸馁|(zhì)量常常取決于與其他演員和對(duì)象的互動(dòng)。而且，難以將這些分離的表演以看上去自然的方式組合在一起。
在娛樂(lè)業(yè)界之外，有許多其他情況，期望捕捉或跟蹤面部肌肉和/或眼睛移動(dòng)，而不會(huì)有對(duì)光學(xué)攝像機(jī)的依賴(lài)。例如，自動(dòng)語(yǔ)音識(shí)別設(shè)備、門(mén)禁系統(tǒng)、用于個(gè)人簡(jiǎn)檔和/或醫(yī)療/牙醫(yī)篩選系統(tǒng)的電子存儲(chǔ)和檢索系統(tǒng)均可以利用此類(lèi)分析技術(shù)。利用面部特征分析的語(yǔ)音識(shí)別系統(tǒng)可以在難以單獨(dú)使用聲音語(yǔ)音識(shí)別的噪聲環(huán)境(例如軍用飛機(jī)上或工廠里)中得以廣泛的應(yīng)用。這些潛在應(yīng)用的每個(gè)環(huán)境目前欠缺用于精確地將個(gè)人面部特征轉(zhuǎn)換成有用的電子數(shù)據(jù)的有效部件。在此人相對(duì)于檢測(cè)設(shè)備不斷改變面部朝向的情況中尤其存在問(wèn)題。
因此，期望提供一種克服現(xiàn)有技術(shù)的這些和其他缺點(diǎn)的運(yùn)動(dòng)跟蹤系統(tǒng)。更確切地，期望提供一種能夠如實(shí)地捕捉表演者的細(xì)微面部和眼睛運(yùn)動(dòng)而不使用攝像機(jī)的運(yùn)動(dòng)跟蹤系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明通過(guò)提供能夠如實(shí)地捕捉細(xì)微面部和眼睛運(yùn)動(dòng)的運(yùn)動(dòng)跟蹤系統(tǒng)來(lái)克服現(xiàn)有技術(shù)的缺點(diǎn)。本發(fā)明使用表面肌電圖(EMG)檢測(cè)方法來(lái)檢測(cè)肌肉移動(dòng)，使用眼電圖(EOG)檢測(cè)方法來(lái)檢測(cè)眼睛移動(dòng)。使用對(duì)應(yīng)于所檢測(cè)到的肌肉和眼睛移動(dòng)的信號(hào)控制動(dòng)畫(huà)人物來(lái)呈現(xiàn)表演者執(zhí)行的相同移動(dòng)。
更具體地說(shuō)，運(yùn)動(dòng)跟蹤動(dòng)畫(huà)制作系統(tǒng)的實(shí)施例包括多個(gè)肌電圖(EMG)電極對(duì)，這些多個(gè)肌電圖(EMG)電極對(duì)適于貼附于表演者皮膚表面與各個(gè)肌肉對(duì)應(yīng)的多個(gè)位置處；以及在操作上耦合到這些多個(gè)EMG電極對(duì)的處理器。該處理器包括編程指令，這些編程指令執(zhí)行從多個(gè)EMG電極對(duì)獲取EMG數(shù)據(jù)的功能。EMG數(shù)據(jù)包括與表演期間表演者的肌肉移動(dòng)對(duì)應(yīng)的電信號(hào)。編程指令還包括處理EMG數(shù)據(jù)以提供肌肉移動(dòng)的數(shù)字模型，并將該數(shù)字模型映射到動(dòng)畫(huà)人物上。作為結(jié)果，動(dòng)畫(huà)人物將呈現(xiàn)與表演者相同的肌肉移動(dòng)。
在本發(fā)明的實(shí)施例中，多個(gè)眼電圖(EOG)電極對(duì)適于貼附于表演者皮膚表面與表演者眼睛相鄰的位置處。處理器在操作上耦合到多個(gè)EOG電極對(duì)，并且還包括編程指令，這些編程指令執(zhí)行從多個(gè)EOG電極對(duì)獲取EOG數(shù)據(jù)的功能。EOG數(shù)據(jù)包括與表演期間表演者的眼睛移動(dòng)對(duì)應(yīng)的電信號(hào)。編程指令還提供EOG數(shù)據(jù)的處理，并將所處理的EOG數(shù)據(jù)映射到動(dòng)畫(huà)人物上。這樣使動(dòng)畫(huà)人物呈現(xiàn)與表演者相同的眼睛移動(dòng)。
通過(guò)下文對(duì)優(yōu)選實(shí)施例的詳細(xì)描述，將使本領(lǐng)域技術(shù)人員能夠更全面地理解能夠捕捉表演者的面部和眼睛運(yùn)動(dòng)以在計(jì)算機(jī)圖形動(dòng)畫(huà)制作中使用的運(yùn)動(dòng)跟蹤系統(tǒng)，以及實(shí)現(xiàn)本發(fā)明的附加優(yōu)點(diǎn)和目的。下文將參考所附頁(yè)的附圖，下面首先將簡(jiǎn)要描述這些附圖。


圖1是圖示根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)跟蹤系統(tǒng)的框圖；圖2是包括示范電極放置位置的人面部肌肉結(jié)構(gòu)的前視圖；圖3是根據(jù)本發(fā)明實(shí)施例用于使用肌電圖(EMG)信號(hào)制作動(dòng)畫(huà)幀的方法；圖4是用于處理EMG信號(hào)的方法；圖5是用于處理校準(zhǔn)姿態(tài)的方法；圖6是示出角膜與眼底之間存在的電壓勢(shì)(voltage potential)的人眼的側(cè)視圖；
圖7A和圖7B是示出與眼睛移動(dòng)對(duì)應(yīng)的電場(chǎng)測(cè)量的示意圖；圖8是貼附有面部肌肉和眼睛電位電極的表演者的照片；以及圖9說(shuō)明使用從圖8的表演者獲得的面部肌肉和眼睛移動(dòng)數(shù)據(jù)渲染的動(dòng)畫(huà)人物。
具體實(shí)施例方式
如下文進(jìn)一步描述的，本發(fā)明滿(mǎn)足能夠在不使用攝像機(jī)的情況下如實(shí)地捕捉表演者的細(xì)微面部和眼睛運(yùn)動(dòng)的運(yùn)動(dòng)跟蹤系統(tǒng)的要求。在下文詳細(xì)描述中，相似的元件編號(hào)用于描述一個(gè)或多個(gè)附圖中圖示的相似元件。
首先參考圖1，框示根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)跟蹤系統(tǒng)100。運(yùn)動(dòng)跟蹤系統(tǒng)100包括運(yùn)動(dòng)跟蹤處理器108，該運(yùn)動(dòng)跟蹤處理器108設(shè)為通過(guò)適合的電極接口112與多個(gè)面部肌肉電極對(duì)和多個(gè)眼睛運(yùn)動(dòng)電極對(duì)通信。運(yùn)動(dòng)跟蹤處理器108還可以包括可編程計(jì)算機(jī)，該可編程計(jì)算機(jī)具有設(shè)為能夠存儲(chǔ)關(guān)聯(lián)的數(shù)據(jù)文件的數(shù)據(jù)存儲(chǔ)裝置106。如本領(lǐng)域公知的，可以使用網(wǎng)絡(luò)將一個(gè)或多個(gè)計(jì)算機(jī)工作站耦合到運(yùn)動(dòng)跟蹤處理器108以使多個(gè)圖形設(shè)計(jì)人員能夠在創(chuàng)建計(jì)算機(jī)圖形動(dòng)畫(huà)的過(guò)程中使用存儲(chǔ)的數(shù)據(jù)文件。運(yùn)動(dòng)跟蹤處理器108還可以包括例如商業(yè)軟件包提供的計(jì)算機(jī)圖形動(dòng)畫(huà)制作系統(tǒng)，該計(jì)算機(jī)圖形動(dòng)畫(huà)制作系統(tǒng)能夠創(chuàng)建用于娛樂(lè)業(yè)的3D圖形和動(dòng)畫(huà)，例如Alias|WavefrontTM銷(xiāo)售的Maya軟件產(chǎn)品線(xiàn)或其他類(lèi)似產(chǎn)品。應(yīng)該理解計(jì)算機(jī)圖形動(dòng)畫(huà)制作系統(tǒng)可以包括與運(yùn)動(dòng)跟蹤處理器108完全分離的計(jì)算機(jī)硬件和軟件系統(tǒng)，或者，可以作為共有硬件和軟件系統(tǒng)的一部分與運(yùn)動(dòng)跟蹤處理器108集成(例如“插件”)。
肌肉電極對(duì)包括電極1201、1221到120N、122N，它們通過(guò)各自電導(dǎo)體1161、1181到116N、118N耦合到電極接口112。還將接地電極126通過(guò)電導(dǎo)體124耦合到電極接口112。在本發(fā)明的優(yōu)選實(shí)施例中，肌肉電極對(duì)包括表面肌電圖(EMG)電極，這些表面肌電圖(EMG)電極測(cè)量在肌肉彎曲時(shí)發(fā)生的沿肌肉表面?zhèn)鞑サ某龢O波所導(dǎo)致的電壓差。表面電極檢測(cè)到的信號(hào)通常在5mV的范圍內(nèi)。應(yīng)該將這些電極與電脈沖的期望的方向?qū)R(或與應(yīng)該排除的脈沖垂直地對(duì)齊)。
眼睛運(yùn)動(dòng)電極對(duì)包括電極1361、1381和1362、1382，它們通過(guò)各自電導(dǎo)體1321、1341和1322、1342耦合到電極接口112。接地電極144也通過(guò)電導(dǎo)體142耦合到電極接口112。在優(yōu)選實(shí)施例中，通過(guò)從眼睛獲取并測(cè)量眼電圖(EOG)來(lái)檢測(cè)眼睛運(yùn)動(dòng)。
圖2示出具有用于EMG電極對(duì)的示范指定面部肌肉位置的面部肌肉系統(tǒng)的人解剖模型200。使用EMG電極對(duì)從每個(gè)相應(yīng)肌肉組捕捉數(shù)據(jù)。例如，電極對(duì)位置1L對(duì)應(yīng)于負(fù)責(zé)抬起左內(nèi)側(cè)眉的肌肉，電極對(duì)位置2L對(duì)應(yīng)于負(fù)責(zé)抬起左外側(cè)眉的肌肉，電極對(duì)位置3對(duì)應(yīng)于負(fù)責(zé)放低眉的肌肉，等等。通過(guò)常規(guī)方式(例如使用化妝用的膠水)將電極對(duì)貼附于表演者皮膚表面指定的位置。應(yīng)該認(rèn)識(shí)到表演者的對(duì)應(yīng)肌肉的移動(dòng)將產(chǎn)生通過(guò)對(duì)應(yīng)電極檢測(cè)到的關(guān)聯(lián)的電信號(hào)。因?yàn)槊總€(gè)人的肌肉有細(xì)微不同，所以可能需要某個(gè)量的試驗(yàn)來(lái)精確地查找和定位每個(gè)表演者的電極以實(shí)現(xiàn)最有數(shù)據(jù)收集。
如醫(yī)學(xué)領(lǐng)域中公知的，上部面部肌肉負(fù)責(zé)改變眼眉、前額和上下眼瞼的外觀。臉上部的額部肌肉等張力地(isotonically)向頭蓋骨上的靜態(tài)插入點(diǎn)收縮，從而使表面組織(即皮膚)能夠與肌肉的方向垂直地隆起和起皺。下部面部肌肉由多個(gè)不同組構(gòu)成，包括沿著朝向顴骨與嘴唇成一定角度的方向收縮的顴大肌、自然地成圓形或橢圓形且繞眼睛拉伸的眼輪匝肌、繞嘴部拉伸的口輪匝肌、朝向耳部水平地收縮的頰肌以及控制多種其他動(dòng)作的其他肌肉。嘴部的肌肉具有尤其復(fù)雜的肌肉互動(dòng)。口輪匝肌是不附著于骨骼的括約肌。三塊主肌肉，即提上臉肌(M.Levator)、提上唇肌(Labii Superioris)和鼻翼肌從上方結(jié)合，同時(shí)額肌在嘴部的主節(jié)點(diǎn)處結(jié)合并水平地收縮。降眉肌(M.Depressor)、降口角肌(Anguli Oris)、降下唇肌(M.Depressor Labii Inferioris)和頦肌(Mentalis)均斜向且垂直地收縮。面部表情由這些上部和下部面部肌肉的復(fù)雜和組合移動(dòng)來(lái)形成。
圖2還示出EOG電極對(duì)的示范指定位置。與眼睛相鄰的電極對(duì)位置E01和E02適于檢測(cè)與眼睛左/右移動(dòng)關(guān)聯(lián)的信號(hào)。一只眼睛下方和上方的電極對(duì)位置E03和E04適于檢測(cè)與眼睛上/下移動(dòng)關(guān)聯(lián)的信號(hào)。接地電極位置GD位于前額上。注意接地電極可以貼附在身體上不會(huì)干擾面部肌肉的應(yīng)用和動(dòng)作的任何位置，例如頸部、肩部、肘部等。前額表示接地電極的方便位置，是因?yàn)樗咏谄渌姌O而不會(huì)干擾面部肌肉動(dòng)作。注意第二接地電極對(duì)于EMG電極是必不可少的，該第二接地電極可以位于與EOG接地電極相同的區(qū)域。因?yàn)榕紭O表示表演者的雙眼將平行移動(dòng)，所以只需從其中一只眼睛收集上/下運(yùn)動(dòng)。與EMG電極一樣，EOG電極通過(guò)常規(guī)方式(例如使用化妝用的膠水)貼附于表演者皮膚表面指定的位置。
簡(jiǎn)要參考圖6，示出人眼600的側(cè)視截面圖。角膜602位于眼睛的前表面，并提供透射從物體反射的光線(xiàn)的表面。角膜602、晶狀體604和玻璃體612將光線(xiàn)偏向、折射和聚焦。眼底608提供眼睛的內(nèi)凹，該內(nèi)凹包括視網(wǎng)膜606。晶狀體602將物體的圖像聚焦到視網(wǎng)膜606上，視網(wǎng)膜將光線(xiàn)轉(zhuǎn)換成經(jīng)視覺(jué)神經(jīng)610傳送到大腦的電脈沖。如本領(lǐng)域中公知的，角膜602與眼底608之間存在電壓勢(shì)。該電壓勢(shì)由發(fā)出可測(cè)量電場(chǎng)使得該電場(chǎng)的變化與眼睛的移動(dòng)相關(guān)的偶極組成。
圖7A和圖7B圖示電極對(duì)1361、1381包圍的兩個(gè)偶極。這兩個(gè)偶極對(duì)應(yīng)于表演者的眼睛600L、600R的每一個(gè)。如圖7A所示，當(dāng)偶極(即眼睛)朝向前方時(shí)，電極1361、1381之間測(cè)量的電場(chǎng)是空的。在圖7B中，偶極朝向右邊，由此感生電極1361、1381之間的正電場(chǎng)。電極1361、1381之間相對(duì)于接地的電場(chǎng)變化提供了眼睛的適合位置信息。相對(duì)于眼睛在與標(biāo)稱(chēng)前方大約±20°的范圍內(nèi)移動(dòng)，該電場(chǎng)變化保持相當(dāng)線(xiàn)性。
現(xiàn)在返回到圖1，運(yùn)動(dòng)跟蹤處理器108提供對(duì)EMG和EOG電極檢測(cè)到的信號(hào)的信號(hào)處理和放大。相對(duì)于EMG電極，信號(hào)處理可以包括對(duì)接收到的信號(hào)的整流。因?yàn)樵夹盘?hào)是雙相的，所以其平均值為零。整流使電流僅為單向，因此將跨過(guò)零軸的信號(hào)的負(fù)內(nèi)容“翻轉(zhuǎn)”，從而使整個(gè)信號(hào)為正。從EOG電極接收到的信號(hào)的相位分量對(duì)于確定眼睛的方向是至關(guān)重要的，所以對(duì)于這些信號(hào)不會(huì)不執(zhí)行整流。信號(hào)處理還可以包括對(duì)接收到的信號(hào)的濾波和線(xiàn)性包絡(luò)檢測(cè)。EMG信號(hào)實(shí)際是許多信號(hào)以及一些噪聲的混合。這些電壓還在不同速率或頻率上升和下降，從而形成頻譜。運(yùn)動(dòng)跟蹤處理器108可以將混合信號(hào)濾波，以消除例如運(yùn)動(dòng)偽差(movement artifact)的電噪聲。大多數(shù)EMG存在于頻率范圍20與200Hz之間。運(yùn)動(dòng)偽差具有小于10Hz的頻率，噪聲具有高于期望的EMG范圍的頻率范圍。因此，可以將信號(hào)通過(guò)帶通濾波器來(lái)消除運(yùn)動(dòng)偽差和噪聲。電接口112和/或運(yùn)動(dòng)跟蹤處理器108還可以將接收到的信號(hào)放大以將它們提升到適于信號(hào)處理的電平。在本發(fā)明的實(shí)施例中，電接口可以由RunTechnologies公司制造的Myopac來(lái)提供。
圖3圖示根據(jù)本發(fā)明實(shí)施例的臉部跟蹤方法的示范實(shí)現(xiàn)。該方法最初包括在步驟302獲取EMG信號(hào)，其中包括將電極置于面部的特定部位，如上文論述的。例如，可以將電極置于所選的面部肌肉組上。由此，當(dāng)表演者作出面部表情時(shí)，所涉及的面部肌肉根據(jù)面部肌肉的移動(dòng)產(chǎn)生肌肉動(dòng)作電壓勢(shì)。在步驟304處理所獲取的EMG信號(hào)，以產(chǎn)生表現(xiàn)較好的信號(hào)。EMG信號(hào)處理包括處理面部表情的每個(gè)幀的多個(gè)EMG通道。然后在步驟306生成定義n維“表情空間”的一組校準(zhǔn)表情或姿態(tài)?？梢酝ㄟ^(guò)創(chuàng)建表示校準(zhǔn)姿態(tài)和EMG通道值的矩陣積的矩陣來(lái)以數(shù)學(xué)方式表示校準(zhǔn)表情或姿態(tài)。為了產(chǎn)生每個(gè)校準(zhǔn)表情，表演者使某些隔離的肌肉組動(dòng)作以便校準(zhǔn)收集到的數(shù)據(jù)。例如，表演者使眼眉向上移動(dòng)，并測(cè)量來(lái)自關(guān)聯(lián)的EMG電極的信號(hào)?？梢詫⑿?zhǔn)系數(shù)應(yīng)用于檢測(cè)到的信號(hào)，以便實(shí)現(xiàn)數(shù)字模型的對(duì)應(yīng)移動(dòng)。還可以稍微移動(dòng)EMG電極的位置，以便檢測(cè)更強(qiáng)信號(hào)或避免與相鄰EMG傳感器的串?dāng)_。然后對(duì)每個(gè)其他肌肉組重復(fù)相似的過(guò)程。
在步驟308，將來(lái)自后續(xù)表演的EMG信號(hào)與校準(zhǔn)表情擬合以生成每個(gè)表情分量的加權(quán)系數(shù)。加權(quán)系數(shù)(x)通過(guò)解表達(dá)式F(x)＝B求x來(lái)生成，其中F是在步驟306生成的那組校準(zhǔn)表情，B是在步驟304處理的每個(gè)幀的多個(gè)EMG通道。在步驟310，對(duì)于每個(gè)面部表情分量，生成面部的模擬3D計(jì)算機(jī)圖形模型。3D計(jì)算機(jī)圖形模型表示使用不同組參數(shù)的相同面部表情。例如，可以使用幾何坐標(biāo)作為參數(shù)來(lái)表示面部表情。又如，可以使用肌肉強(qiáng)度作為參數(shù)來(lái)表示面部表情。當(dāng)在步驟312將加權(quán)分量與3D計(jì)算機(jī)圖形模型組合時(shí)，結(jié)果是與最初表演的面部表情幾何圖形匹配的面部表情幾何圖形。面部表情的最終幾何圖形表示為配置有一組參數(shù)和加權(quán)分量的3D計(jì)算機(jī)圖形模型的和，并在步驟314將其渲染成動(dòng)畫(huà)幀。
圖4是更詳細(xì)圖示如上文步驟304描述的用于處理EMG信號(hào)的電路的框圖。在步驟402，獲取EMG信號(hào)，例如基本如上文描述的使用置于面部肌肉上的電極。通過(guò)A/D轉(zhuǎn)換器404將獲得的模擬EMG信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)。高通濾波器406將EMG信號(hào)濾波，并且整流器408將EMG信號(hào)整流。然后由噪聲消減電路410從整流的EMG信號(hào)中減去噪聲。由積分器412對(duì)噪聲消減后的信號(hào)求積分，并由低通濾波器414對(duì)其執(zhí)行低通濾波。最后，由處理器416處理EMG通道值。
圖5是更詳細(xì)圖示如上文步驟306描述的用于生成校準(zhǔn)表情的過(guò)程的流程圖。步驟502執(zhí)行校準(zhǔn)姿態(tài)的EMG信號(hào)的獲取。在步驟504處理所獲取的EMG信號(hào)。然后在步驟506生成定義n維“表情空間”的一組校準(zhǔn)表情或姿態(tài)。如上所述，通過(guò)創(chuàng)建表示校準(zhǔn)姿態(tài)和EMG通道值的矩陣積的矩陣來(lái)以數(shù)學(xué)方式表示校準(zhǔn)表情或姿態(tài)。
現(xiàn)在參考圖8，其中示出在其面部上貼附有多個(gè)EMG和EOG電極的實(shí)際表演者。利用貼附在表演者面部的電極，表演者可以執(zhí)行期望的表演。由電極接口112接收并處理來(lái)自電極的電信號(hào)，并傳送到運(yùn)動(dòng)跟蹤處理器108以進(jìn)行存儲(chǔ)并處理成動(dòng)畫(huà)，如圖9所示。
可以將電極導(dǎo)體束捆綁在一起以便于表演者容易移動(dòng)。電極接口112可以將多種信號(hào)復(fù)用到單個(gè)導(dǎo)體上以傳送到運(yùn)動(dòng)跟蹤處理器108?？梢酝ㄟ^(guò)電導(dǎo)體或光纖導(dǎo)體將電極接口112捆縛到運(yùn)動(dòng)跟蹤處理器108，或可以利用無(wú)線(xiàn)連接進(jìn)一步增強(qiáng)表演者移動(dòng)的自由度?；蛘?，電極接口112可以包括存儲(chǔ)裝置，例如硬盤(pán)或閃速存儲(chǔ)器模塊，這使表演數(shù)據(jù)能夠存儲(chǔ)在本地，然后在后來(lái)將其下載到運(yùn)動(dòng)跟蹤處理器108。在本發(fā)明的實(shí)施例中，電極接口112可以被攜帶于表演者的背后，其中電極導(dǎo)體束引導(dǎo)到表演者頭部的后面，沿著脊椎向下到電極接口112。在另一個(gè)備選方式中，電極接口112可以被攜帶在表演者所戴的帽子中，這使頭部和頸部更容易移動(dòng)而不會(huì)受到電極導(dǎo)體束的干擾。應(yīng)該認(rèn)識(shí)到可以將電極和導(dǎo)體集成到與表演者面部吻合地形成的柔性面罩。
運(yùn)動(dòng)跟蹤處理器將使用公知的技術(shù)產(chǎn)生動(dòng)畫(huà)人物的數(shù)字模型。數(shù)字模型可以基于從多個(gè)不同角度拍攝演員的多個(gè)數(shù)字?jǐn)z影，并將它們組合在一起以產(chǎn)生三維(3D)圖像文件或數(shù)字模型。如上所述，用于產(chǎn)生3D圖像文件的軟件工具都是本領(lǐng)域中公知道。例如，可以從多個(gè)樣條曲面生成3D面部結(jié)構(gòu)，每個(gè)樣條曲面定義面部結(jié)構(gòu)的表面的一部分。樣條曲面由各個(gè)線(xiàn)段形成，這些線(xiàn)段通稱(chēng)為“線(xiàn)框”。該面部結(jié)構(gòu)表示位于皮膚表面下的子面部(sub-facie)結(jié)構(gòu)。作為后續(xù)動(dòng)畫(huà)過(guò)程的一部分，將具有期望紋理和色彩的外部表面組織應(yīng)用于該子面部結(jié)構(gòu)以產(chǎn)生動(dòng)畫(huà)人物。應(yīng)該理解，面部結(jié)構(gòu)的形狀將控制動(dòng)畫(huà)人物形成的面部表情。
一旦創(chuàng)建數(shù)字模型，則虛擬面部肌肉結(jié)構(gòu)覆蓋在該面部結(jié)構(gòu)的數(shù)字模型上。人面部肌肉結(jié)構(gòu)在醫(yī)學(xué)文獻(xiàn)中得以很好的注釋?zhuān)梢匀菀椎貙⒏鱾€(gè)肌肉的位置和相互連接映射到數(shù)字模型。在數(shù)字模型中通過(guò)壓縮所選的肌肉矢量或肌肉矢量組以實(shí)現(xiàn)多個(gè)對(duì)應(yīng)矢量的重新定位并由此對(duì)數(shù)字模型的表面重新塑形來(lái)實(shí)現(xiàn)肌肉致動(dòng)。然后將從表演者捕捉到面部和眼睛運(yùn)動(dòng)數(shù)據(jù)映射到數(shù)字模型的相應(yīng)肌肉矢量。作為結(jié)果，動(dòng)畫(huà)數(shù)字模型將呈現(xiàn)與捕捉到的表演相同的面部和眼睛移動(dòng)。應(yīng)該認(rèn)識(shí)到可以將表演者的動(dòng)作和表情映射到任何其他類(lèi)型的動(dòng)畫(huà)面部，例如兒童、動(dòng)物或不同的長(zhǎng)相的成人面部。
如上文提到的，前述的運(yùn)動(dòng)跟蹤系統(tǒng)將能夠?qū)崿F(xiàn)面部肌肉和眼睛運(yùn)動(dòng)的緊密協(xié)調(diào)。例如，將眨眼檢測(cè)為眼睛周?chē)募∪獾腅MG數(shù)據(jù)的尖峰。當(dāng)檢測(cè)到尖峰時(shí)，動(dòng)畫(huà)處理可以插入眨眼以與數(shù)據(jù)對(duì)應(yīng)。這將大大增加所產(chǎn)生的動(dòng)畫(huà)的逼真程度。上述運(yùn)動(dòng)跟蹤系統(tǒng)具有優(yōu)于傳統(tǒng)面部運(yùn)動(dòng)跟蹤系統(tǒng)的優(yōu)勢(shì)，因?yàn)楸景l(fā)明的實(shí)施無(wú)需攝像機(jī)或大量運(yùn)動(dòng)捕捉。這意味著及時(shí)要跟蹤的面部的鏡頭被遮擋，實(shí)施仍將進(jìn)行。而且，本發(fā)明的實(shí)施自動(dòng)將運(yùn)動(dòng)捕捉參數(shù)化成肌肉活動(dòng)，而與最終幾何圖形無(wú)關(guān)，由此幫助面部運(yùn)動(dòng)捕捉到重新定位。
雖然前述內(nèi)容僅僅解決面部肌肉移動(dòng)的捕捉，但是應(yīng)該認(rèn)識(shí)到相同的技術(shù)將能夠捕捉身體肌肉移動(dòng)?？梢圆捎门c上述面部肌肉相同的方式將電極對(duì)貼附到多個(gè)不同身體肌肉組。相似地，可以將與身體吻合地形成的套裝中設(shè)有EMG電極，以改進(jìn)將電極貼附到表演者的身體的容易性和精確性。這種形式的身體肌肉捕捉可以是對(duì)使用光學(xué)系統(tǒng)的常規(guī)運(yùn)動(dòng)捕捉的進(jìn)一步增強(qiáng)，因?yàn)槌私雍宵c(diǎn)旋轉(zhuǎn)外還可以捕捉肌肉柔韌度。這樣得到更生動(dòng)的人物移動(dòng)的動(dòng)畫(huà)。
應(yīng)該理解上述的眼睛運(yùn)動(dòng)過(guò)程還可以與使用光學(xué)數(shù)據(jù)或捕捉運(yùn)動(dòng)的常規(guī)運(yùn)動(dòng)捕捉系統(tǒng)一起使用。然后可以按上文描述的相同方式將眼睛運(yùn)動(dòng)與光學(xué)方式捕捉到的身體和/或面部運(yùn)動(dòng)同步。而且，結(jié)合常規(guī)光學(xué)運(yùn)動(dòng)捕捉系統(tǒng)使用的EMG數(shù)據(jù)捕捉系統(tǒng)提供有關(guān)表演的增強(qiáng)數(shù)據(jù)，并且可以在光學(xué)數(shù)據(jù)因表演期間的光學(xué)干擾而被遮擋時(shí)使用。
由此描述了能夠在不使用攝像機(jī)的情況下捕捉表演者的面部和眼睛運(yùn)動(dòng)的系統(tǒng)和方法的優(yōu)選實(shí)施例，對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)應(yīng)該顯見(jiàn)到實(shí)現(xiàn)了本發(fā)明的某些優(yōu)點(diǎn)。還應(yīng)該認(rèn)識(shí)到在本發(fā)明的范圍和精神內(nèi)可以實(shí)施多種修改、適配和備選實(shí)施例。本發(fā)明進(jìn)一步由所附權(quán)利要求限定。
權(quán)利要求
1.一種運(yùn)動(dòng)跟蹤動(dòng)畫(huà)制作系統(tǒng)，包括多個(gè)肌電圖(EMG)電極對(duì)，適于貼附于表演者皮膚表面與各個(gè)肌肉對(duì)應(yīng)的多個(gè)位置處；在操作上耦合到所述多個(gè)EMG電極對(duì)的處理器，所述處理器包括用于執(zhí)行如下功能的編程指令從所述多個(gè)EMG電極對(duì)獲取EMG數(shù)據(jù)，所述EMG數(shù)據(jù)包括與表演期間表演者的肌肉移動(dòng)對(duì)應(yīng)的電信號(hào)；處理所述EMG數(shù)據(jù)以提供肌肉移動(dòng)的數(shù)字模型；將所述數(shù)字模型映射到動(dòng)畫(huà)人物上，其中所述動(dòng)畫(huà)人物將呈現(xiàn)與表演者相同的肌肉移動(dòng)。
2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述處理功能還包括部分基于所處理的EMG數(shù)據(jù)生成一組校準(zhǔn)姿態(tài)。
3.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述獲取功能還包括對(duì)所述電信號(hào)整流和/或?yàn)V波。
4.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述處理器還包括計(jì)算機(jī)圖形動(dòng)畫(huà)制作處理器。
5.如權(quán)利要求1所述的系統(tǒng)，還包括耦合到所述多個(gè)EMG電極的電極接口，所述電極接口提供混合信號(hào)到所述處理器。
6.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述電極接口適于攜帶在表演者的身體上。
7.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述電極接口適于攜帶在表演者的身體上。
8.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述電極接口具有與所述處理器的無(wú)線(xiàn)連接。
9.如權(quán)利要求1所述的系統(tǒng)，還包括多個(gè)眼電圖(EOG)電極對(duì)，適于貼附于表演者皮膚表面與表演者眼睛相鄰的位置處，所述處理器在操作上耦合到所述多個(gè)EOG電極對(duì)并包括執(zhí)行如下功能的編程指令從所述多個(gè)EOG電極對(duì)獲取EOG數(shù)據(jù)，所述EOG數(shù)據(jù)包括與表演期間表演者的眼睛移動(dòng)對(duì)應(yīng)的電信號(hào)；處理所述EOG數(shù)據(jù)；以及將所處理的EOG數(shù)據(jù)映射到動(dòng)畫(huà)人物上，其中所述動(dòng)畫(huà)人物將呈現(xiàn)與表演者相同的眼睛移動(dòng)。
10.如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述EOG電極檢測(cè)眼睛移動(dòng)所產(chǎn)生的電場(chǎng)變化。
11.一種使用運(yùn)動(dòng)跟蹤制作動(dòng)畫(huà)的方法，包括將多個(gè)肌電圖(EMG)電極對(duì)貼附于表演者皮膚表面與各個(gè)肌肉對(duì)應(yīng)的多個(gè)位置處；從所述多個(gè)EMG電極對(duì)獲取EMG數(shù)據(jù)，所述EMG數(shù)據(jù)包括與表演期間表演者的肌肉移動(dòng)對(duì)應(yīng)的電信號(hào)；處理所述EMG數(shù)據(jù)以提供肌肉移動(dòng)的數(shù)字模型；將所述數(shù)字模型映射到動(dòng)畫(huà)人物上，其中所述動(dòng)畫(huà)人物將呈現(xiàn)與表演者相同的肌肉移動(dòng)。
12.如權(quán)利要求11所述的方法，其特征在于，所述處理步驟還包括部分基于所處理的EMG數(shù)據(jù)生成一組校準(zhǔn)姿態(tài)。
13.如權(quán)利要求11所述的方法，其特征在于，所述獲取步驟還包括對(duì)所述電信號(hào)整流和/或?yàn)V波。
14.如權(quán)利要求11所述的方法，還包括將在操作上耦合到所述多個(gè)EMG電極的電極接口攜帶在表演者的身體上。
15.如權(quán)利要求11所述的方法， 還包括將多個(gè)眼電圖(EOG)電極貼附于表演者的所述皮膚表面與表演者眼睛相鄰的位置處。
16.如權(quán)利要求15所述的方法，還包括從所述多個(gè)EOG電極對(duì)獲取EOG數(shù)據(jù)，所述EOG數(shù)據(jù)包括與表演期間表演者的眼睛移動(dòng)對(duì)應(yīng)的電信號(hào)，處理所述EOG數(shù)據(jù)，并將所處理的EOG數(shù)據(jù)映射到動(dòng)畫(huà)人物，其中所述動(dòng)畫(huà)人物將呈現(xiàn)與表演者相同的眼睛移動(dòng)。
全文摘要
一種使用動(dòng)作跟蹤來(lái)捕獲精細(xì)面部和眼部動(dòng)作的動(dòng)畫(huà)制作系統(tǒng)。該系統(tǒng)使用表面肌電圖(EMG)檢測(cè)方法來(lái)檢測(cè)面部肌肉移動(dòng)(圖2，項(xiàng)1－26)并使用眼電圖(EOG)檢測(cè)方法來(lái)檢測(cè)眼睛移動(dòng)(圖2，項(xiàng)E01－E04)。對(duì)應(yīng)于所檢測(cè)到的肌肉和眼睛移動(dòng)的信號(hào)用于控制動(dòng)畫(huà)人物來(lái)呈現(xiàn)表演者執(zhí)行的相同移動(dòng)。運(yùn)動(dòng)跟蹤電極附著于表演者臉部與各肌肉對(duì)應(yīng)的多個(gè)位置處，并且處理器在操作上耦合到多個(gè)EMG和EOG電極對(duì)。處理電極數(shù)據(jù)以提供肌肉移動(dòng)的數(shù)字模型，隨后從數(shù)字模型映射到動(dòng)畫(huà)人物上。作為結(jié)果，動(dòng)畫(huà)人物將呈現(xiàn)與表演者相同的肌肉和眼睛移動(dòng)。
文檔編號(hào)G06T15/70GK101069214SQ200580040721
公開(kāi)日2007年11月7日 申請(qǐng)日期2005年9月29日 優(yōu)先權(quán)日2004年10月1日
發(fā)明者M·薩加, R·斯科特 申請(qǐng)人:索尼電影娛樂(lè)公司, 索尼株式會(huì)社