專利名稱：用來捕捉面部和身體動作的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及三維圖形和動畫，并且更具體地說，涉及動作捕捉系 統(tǒng)，該系統(tǒng)在能夠包含多個行動者的容積(volume)里面能夠同時(shí) 捕捉面部和身體動作。
背景技術(shù)：
動作捕捉系統(tǒng)被用來捕捉實(shí)物的運(yùn)動并且將它映射到計(jì)算機(jī)產(chǎn) 生的物體上。在運(yùn)動畫面和視頻游戲的制作中經(jīng)常使用這樣的系統(tǒng) 來生成人的數(shù)字表示，該人的數(shù)字表示被用作產(chǎn)生計(jì)算機(jī)圖形(CG) 動畫的源數(shù)據(jù)。在典型系統(tǒng)中，行動者穿著具有附著在各個位置的 標(biāo)志(例如具有附著到身體和四肢的反射標(biāo)志)的衣服，并且數(shù)字 攝像機(jī)在照亮這些標(biāo)志的同時(shí)從不同的角度記錄行動者的運(yùn)動。然 后該系統(tǒng)分析這些圖像以確定在每一幀中行動者的衣服上的標(biāo)志的 位置(例如按空間坐標(biāo))和方向。通過跟蹤這些標(biāo)志的位置，該系 統(tǒng)創(chuàng)建這些標(biāo)志隨時(shí)間的空間表示并且建立運(yùn)動中的行動者的數(shù)字 表示。然后，該運(yùn)動可以應(yīng)用于數(shù)字模型，其然后可以被構(gòu)造和再 現(xiàn)以制作行動者和/或行為的完整的CG表示。該技術(shù)已經(jīng)被特技效 果公司用來在許多流行電影中制作非常逼真的動畫。
動作捕捉系統(tǒng)也被用來跟蹤行動者的面部特征的動作以產(chǎn)生行 動者的面部動作和表情(例如笑、哭、微笑等)的表示。與身體動 作捕捉一樣，標(biāo)志被附著到行動者的面部上并且攝像機(jī)記錄行動者 的表情。因?yàn)榕c身體運(yùn)動所涉及的較大的肌肉相比面部運(yùn)動涉及相 對小的肌肉，因此面部標(biāo)志一般比相應(yīng)的身體標(biāo)志小得多，并且這 些攝像機(jī)一般具有比通常用來捕捉身體運(yùn)動的攝像機(jī)高的分辨率。
這些攝像機(jī)一般與行動者的身體移動在共同的平面內(nèi)排成直線，所 述行動者的身體移動被限制以使這些攝像機(jī)聚焦在行動者的面部 上。面部動作捕捉系統(tǒng)可以被并入物理地附著到行動者的頭盔或其 他工具中以便均勻地照射面部標(biāo)志并且使攝像機(jī)和面部之間的相對
運(yùn)動程度最小化。為此，通常在分開的步驟中捕捉面部動作和身體 動作。然后結(jié)合捕捉的面部動作數(shù)據(jù)和稍后捕捉的身體動作數(shù)據(jù)作 為隨后的動畫過程的一部分。
動作捕捉系統(tǒng)優(yōu)于傳統(tǒng)的動畫技術(shù)例如關(guān)鍵幀(keyframing )的 優(yōu)點(diǎn)是能夠?qū)崟r(shí)可視化。制作團(tuán)隊(duì)可以實(shí)時(shí)或接近實(shí)時(shí)地回顧行動 者的動作的空間表示，使行動者能夠改變身體行為以便捕捉最優(yōu)的 數(shù)據(jù)。此外，動作捕捉系統(tǒng)檢測身體移動的精妙細(xì)微的差別，其不 容易利用其他的動畫技術(shù)來再現(xiàn)，由此產(chǎn)生更精確地反映自然運(yùn)動 的數(shù)據(jù)。因此，利用使用動作捕捉系統(tǒng)收集的源材料產(chǎn)生的動畫將 呈現(xiàn)更逼真的景象。
雖然動作捕捉系統(tǒng)有這些優(yōu)點(diǎn)，但是分開捕捉面部和身體動作經(jīng) 常會導(dǎo)致并不真實(shí)地逼真的動畫。面部動作和身體動作不可避免地 相關(guān)聯(lián)，使得面部表情經(jīng)常被相應(yīng)的身體動作增強(qiáng)。例如，行動者 可以利用某種身體動作(即身體語言)來交流感情和強(qiáng)調(diào)相應(yīng)的面 部表情，例如在興奮地談話時(shí)利用手臂擺動或在生氣時(shí)卑肩。當(dāng)分 開地捕捉動作時(shí)會失去面部動作和身體動作之間的這種聯(lián)系，并且 難以使這些分開捕捉的動作吻合在一起。當(dāng)面部動作和身體動作被 結(jié)合時(shí)，最后所得的動畫經(jīng)常會看起來明顯不正常。因?yàn)閯幼鞑蹲?的目的是能夠形成格外逼真的動畫，因此面部和身體動作的分離說 明了常規(guī)動作捕捉系統(tǒng)的重大缺陷。
常規(guī)動作捕捉系統(tǒng)的另一缺點(diǎn)是行動者的動作數(shù)據(jù)有可能被其 他對象例如道具或其他行動者的干擾所遮蔽。特別地，如果身體或 面部標(biāo)志的一部分從數(shù)字?jǐn)z像機(jī)的視場被遮住，則涉及該身體或面 部部分的數(shù)據(jù)就不會被收集。這導(dǎo)致動作數(shù)據(jù)中的遮掩或缺陷。雖 然稍后在后期制作過程中可以利用常規(guī)的計(jì)算機(jī)制圖技術(shù)填補(bǔ)該遮 掩，但是該填補(bǔ)數(shù)據(jù)缺少實(shí)際動作數(shù)據(jù)的質(zhì)量，導(dǎo)致能夠被觀看的 觀眾識別的動畫缺陷。為避免該問題，常規(guī)動作捕捉系統(tǒng)限制一次 能夠捕捉的對象的數(shù)目例如為單個行動者。這也易于使動作數(shù)據(jù)看
起來不那么逼真，因?yàn)樾袆诱叩男袨橘|(zhì)量經(jīng)常取決于與其他行動者 和對象的相互作用。此外，難以以看起來自然的方式將這些獨(dú)立的 行為結(jié)合在一起。
常規(guī)的動作捕捉系統(tǒng)的另一缺點(diǎn)是聲音不能和動作捕捉同時(shí)被 記錄。在動畫制作中，通常首先記錄聲道，然后對人物進(jìn)行動畫制 作以與聲道相匹配。在面部動作捕捉期間，行動者會與記錄的聲道 同步地說話。這不可避免地導(dǎo)致動作數(shù)據(jù)的視覺質(zhì)量的進(jìn)一步降 低，因?yàn)閷τ谛袆诱邅碚f難以完美地將面部動作與聲道同步。而且， 身體動作經(jīng)常會影響發(fā)表演講的方式，并且身體和面部動作的分開
捕捉增加了與聲道同步以產(chǎn)生有內(nèi)聚性的最終產(chǎn)品的難度。
因此，將期望提供一種克服現(xiàn)有技術(shù)的這些和其他缺點(diǎn)的動作捕 捉系統(tǒng)。更具體地說，將期望提供一種動作捕捉系統(tǒng)，其能夠在能 夠包含多個行動者的容積內(nèi)同時(shí)捕捉身體和面部動作。還將期望提 供一種動作捕捉系統(tǒng)，其能夠與身體和面部動作捕捉同時(shí)地記錄聲 音。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的教導(dǎo)，提供一種動作捕捉系統(tǒng)和方法，其能夠在包 含多個行動者的容積內(nèi)同時(shí)捕捉面部和身體動作。該動作捕捉系統(tǒng) 還能夠與身體和面部動作捕捉同時(shí)地記錄聲音。
更具體地說，用來捕捉動作的系統(tǒng)和方法包括適合包含至少一個
行動者的動作捕捉容積(volume)，該至少一個行動者具有限定多 個身體點(diǎn)的身體標(biāo)志和限定多個面部點(diǎn)的面部標(biāo)志。該動作捕捉容 積可以具有任何期望的幾何形狀，例如橢圓形、圓形、矩形、多邊 形等。多個動作攝像機(jī)圍繞該動作捕捉容積的外圍設(shè)置。這些動作 攝像機(jī)這樣設(shè)置以便當(dāng)在動作捕捉容積內(nèi)運(yùn)動時(shí)行動者的所有橫向 暴露的表面基本上一直在該多個動作攝像機(jī)中的至少一個的視場以 內(nèi)。動作捕捉處理器耦接到該多個動作攝像機(jī)以產(chǎn)生反映行動者的 合成的身體和面部動作的數(shù)字模型。至少一個傳聲器可以被定向以 從該動作捕捉容積中拾取聲音。
在本發(fā)明的實(shí)施例中，動作捕捉容積進(jìn)一步包括被細(xì)分成多個部 分的矩形區(qū)域。該多個動作攝像機(jī)進(jìn)一步包括朝向該多個部分中的相應(yīng)部分定向的第一子組攝像機(jī)。該多個動作攝像機(jī)可以進(jìn)一步包 括朝向該多個部分中的相應(yīng)部分定向的第二子組攝像機(jī)，所述第二 子組攝像機(jī)在空間上與所述第一子組攝像機(jī)分開。第一子組攝像機(jī) 相對于第二子組攝像機(jī)被定向以便它們的相應(yīng)視場基本重疊。第一 和第二子組攝像機(jī)均可以進(jìn)一步包括至少三個攝像機(jī)。該多個動作 攝像機(jī)可以進(jìn)一步包括第三子組攝像機(jī)，所述第三子組攝像機(jī)分別 設(shè)置在動作捕捉容積的各角處并且通常朝向動作捕捉容積的中心被 定向。
通過考慮以下優(yōu)選實(shí)施例的詳細(xì)描述，本領(lǐng)域技術(shù)人員將更完整 地理解用來捕捉身體和面部動作的系統(tǒng)和方法，以及其另外的優(yōu)點(diǎn) 和目的的實(shí)現(xiàn)。將參考附圖頁，這些附圖首先將被簡要地描述。


圖1是示出根據(jù)本發(fā)明的實(shí)施例的動作捕捉系統(tǒng)的方塊圖2是具有多個動作捕捉攝像機(jī)的動作捕捉容積的頂視圖，該多 個動作捕捉攝像機(jī)圍繞該動作捕捉容積的外圍設(shè)置；
圖3是具有多個動作捕捉攝像機(jī)的動作捕捉容積的側(cè)視圖，該多 個動作捕捉攝像機(jī)圍繞該動作捕捉容積的外圍設(shè)置；
圖4是示出面部動作攝像機(jī)相對于動作捕捉容積的象限的示例 性設(shè)置的動作捕捉容積的頂視圖5是示出面部動作攝像機(jī)相對于動作捕捉容積的各角的示例 性設(shè)置的動作捕捉容積的頂視圖6是示出反映在動作捕捉容積中的兩個行動者的動作捕捉數(shù) 據(jù)的動作捕捉容積的透視圖7示出反映在動作捕捉容積中的兩個行動者并且顯示該數(shù)據(jù) 的遮掩區(qū)的動作捕捉數(shù)據(jù)；
圖8示出如圖7中的動作捕捉數(shù)據(jù)，其中該兩個行動者中的一個 凈皮遮掩區(qū)遮蔽；
圖9是示出在該動作捕捉系統(tǒng)中利用的動作捕捉攝像機(jī)的替換 實(shí)施例的方塊圖10是示出根據(jù)本發(fā)明的另一實(shí)施例的動作捕捉系統(tǒng)的方塊
圖11是放大的動作捕捉容積的頂視圖，該動作捕捉容積限定多
個行為區(qū)域；以及
圖12A - 12C是圖11的放大的動作捕捉容積的頂視圖，示出了動 作捕捉攝像機(jī)的示例性設(shè)置。
具體實(shí)施例方式
正如以下將進(jìn)一步描述的，本發(fā)明滿足了對這樣的動作捕捉系統(tǒng) 的需要該動作捕捉系統(tǒng)能夠在能夠包含多個行動者的容積內(nèi)同時(shí) 捕捉身體和面部動作。另外，本發(fā)明還滿足了對這樣的動作捕捉系 統(tǒng)的需要該動作捕捉系統(tǒng)能夠與身體和面部動作捕捉同時(shí)地記錄 聲音。在以下的詳細(xì)描述中，類似的元件數(shù)字被用來描述在一個或 多個圖中示出的類似元件。
首先參考圖1，方塊圖示出了根據(jù)本發(fā)明的實(shí)施例的動作捕捉系 統(tǒng)10。該動作捕捉系統(tǒng)10包括適合與多個面部動作攝像機(jī)14! - 14n 以及多個身體動作攝像機(jī)16!-16N通信的動作捕捉處理器12。動作 捕捉處理器12可以進(jìn)一步包括具有適于能夠存儲相關(guān)數(shù)據(jù)文件的數(shù) 據(jù)存儲器件20的可編程計(jì)算機(jī)?？梢岳镁W(wǎng)絡(luò)將一個或多個計(jì)算機(jī) 工作站18! - 18N耦接到動作捕捉處理器12以使多個圖形設(shè)計(jì)師能夠 在制作計(jì)算機(jī)圖形動畫的過程中利用存儲的數(shù)據(jù)文件工作。相對于
動作捕捉容積(在下面被描述)設(shè)置面部動作攝像機(jī)11- 14n和身體 動作攝像機(jī)16,- 16 以捕捉在動作捕捉容積內(nèi)進(jìn)行的一個或多個行 動者的組合動作。
每個行動者的面部和身體用標(biāo)志來標(biāo)記，在行動者在動作捕捉容
積內(nèi)行動期間利用面部動作攝像機(jī)14!- 14N和身體動作攝像機(jī)16!-
16N檢測這些標(biāo)志。這些標(biāo)志可以是反射的或被照亮的元件。特別地， 可以利用設(shè)置在包括頭、腿、臂、和軀體的各個身體位置的多個反 射標(biāo)志標(biāo)記每個行動者的身體。行動者可以穿著由非反射材料形成 的、附著了這些標(biāo)志的連體緊身衣。還將用多個標(biāo)志標(biāo)記行動者的 面部。面部標(biāo)志通常比身體標(biāo)志小，并且使用的面部標(biāo)志數(shù)目比身 體標(biāo)志更多。為了捕捉具有足夠分辨率的面部動作，預(yù)期利用很多 個面部標(biāo)志(例如100以上)。在一個示例性的實(shí)施方式中，將152 個小的面部標(biāo)志和64個較大的身體標(biāo)志貼到行動者上。身體標(biāo)志可
以具有5到9毫米的寬度或直徑，而面部標(biāo)志可以具有2到4毫米 的寬度或直徑。
為了確保面部標(biāo)志的位置的一致性，可以由每個行動者的面部形 成面具，其在與期望的標(biāo)志位置相對應(yīng)的適當(dāng)位置處具有鉆孔。該 面具可以被放置在行動者的面部上，并且孔位置用合適的筆直接標(biāo) 記在面部上。然后可以將面部標(biāo)志施加到在標(biāo)記的位置處的行動者 的面部上?？梢岳脩騽”硌蓊I(lǐng)域已知的適當(dāng)材料例如化妝膠將面 部標(biāo)志貼到行動者的面部上。這樣，即使每天都施加和去除這些標(biāo) 志，延續(xù)一段長時(shí)間(例如數(shù)月)的動作捕捉作品也能獲得行動者 的相當(dāng)一致的動作數(shù)據(jù)。
動作捕捉處理器12處理從面部動作攝像機(jī)14i — l屯和身體動作 攝像機(jī)16,- 16N接收的二維圖像以產(chǎn)生所捕捉動作的三維數(shù)字表 示。特別地，動作捕捉處理器12從每個攝像機(jī)接收二維數(shù)據(jù)并且以 多個數(shù)據(jù)文件的形式將該數(shù)據(jù)保存到數(shù)據(jù)存儲器件20中作為圖像捕 捉過程的一部分。隨后，作為圖像處理過程的一部分，二維數(shù)據(jù)文 件被分解成單組三維坐標(biāo)，所述單組三維坐標(biāo)以表示各個標(biāo)志的運(yùn) 動的軌跡文件的形式被鏈接在一起。該圖像處理過程利用來自一個 或多個攝像機(jī)的圖像確定每個標(biāo)志的位置。例如，由于在動作捕捉 容積內(nèi)行動者的面部特征或身體部分的遮掩，標(biāo)志可能僅能被這些 攝像機(jī)的子集看得見。在那種情況下，圖像處理利用來自對該標(biāo)志 具有自由視野的其他攝像機(jī)的圖像來確定該標(biāo)志在空間中的位置。
通過使用來自多個攝像機(jī)的圖像確定標(biāo)志的位置，圖像處理過程 從多個角度評估圖像信息并且利用三角測量方法來確定空間位置。 然后對軌跡文件進(jìn)行動力學(xué)計(jì)算以產(chǎn)生反映與行動者的行為相對應(yīng) 的身體和面部動作的數(shù)字表示。利用隨著時(shí)間過去的空間信息，這 些計(jì)算確定每個標(biāo)志在其移動通過空間時(shí)的進(jìn)展?？梢岳煤线m的 數(shù)據(jù)管理過程控制將與整個過程相關(guān)的很多個文件存儲到數(shù)據(jù)存儲 器件20/從數(shù)據(jù)存儲器件20重新獲得與整個過程相關(guān)的很多個文 件。動作捕捉處理器12和工作站18!- 18x可以利用商業(yè)軟件包來執(zhí) 4亍這些和其它數(shù)據(jù)處理功負(fù)b，例如可以從Vicon Motion Systems或 者M(jìn)otion Analysis Corp獲得商業(yè)軟件包。
動作捕捉系統(tǒng)10除了動作以外還進(jìn)一步包括記錄聲音的能力。
可以圍繞動作捕捉容積設(shè)置多個傳聲器24!- 24n以在行動者行動期 間拾取聲音(例如口頭對話)。動作捕捉處理器12可以直接或通過 音頻接口 22耦接到傳聲器24, 24N。傳聲器24「 24n可以被固定在 適當(dāng)?shù)奈恢茫蛘呖梢栽诘鯒U上移動以跟隨動作，或者可以被行動 者攜帶并且與動作捕捉處理器12或音頻接口 22進(jìn)行無線通信。動 作捕捉處理器12將接收記錄的聲音以及時(shí)間軌跡或其他能夠與動作 數(shù)據(jù)同步的數(shù)據(jù)并以數(shù)字文件的形式將其存儲在數(shù)據(jù)存儲器件20 上。
圖2和3示出被多個動作捕捉攝像機(jī)圍繞的示例性動作捕捉容積 30。動作捕捉容積30包括外圍邊緣32。動作捕捉容積30被示為由 網(wǎng)格線細(xì)分的矩形區(qū)域。應(yīng)當(dāng)理解，動作捕捉容積30實(shí)際上包括具 有為動作捕捉容積限定底面的柵格的三維空間。將在該底面上的三
維空間內(nèi)捕捉動作。在本發(fā)明的優(yōu)選實(shí)施例中，動作捕捉容積30包 括大約10英尺x IO英尺的底面面積，且在該底面上具有大約6英 尺的高度。也可以有利地利用其他尺寸和形狀的動作捕捉容積來滿 足制作的特殊需要，例如橢圓形、圓形、矩形、多邊形等。
圖2示出具有多個以通常為圓形的圖案圍繞外圍邊緣32設(shè)置的 動作捕捉攝像機(jī)的動作捕捉容積30的頂視圖。各個攝像機(jī)被利用圖 形表示為具有代表攝像機(jī)的鏡頭方向的銳角的三角形，因此，應(yīng)當(dāng) 理解，該多個攝像機(jī)從多個不同的方向指向動作捕捉容積30。更具 體地說，該多個動作捕捉攝像機(jī)進(jìn)一步包括多個身體動作攝像機(jī) —168和多個面部動作攝像機(jī)1屯-14n。鑒于圖2中的很多個面部動 作攝像機(jī)，應(yīng)當(dāng)理解，多個面部動作攝像機(jī)沒有被標(biāo)記。在本發(fā)明 的該實(shí)施例中，面部動作攝像機(jī)比身體動作攝像機(jī)多得多。在動作 捕捉容積30的每側(cè)大致設(shè)置2個身體動作攝像機(jī)16! — 168，并且在 動作捕捉容積30的每側(cè)大致設(shè)置12個面部動作攝像機(jī)14! — 1"。除 了選擇面部動作攝像機(jī)的聚焦透鏡以提供比身體動作攝像機(jī)的視場 窄的視場以外，面部動作攝像機(jī)14! - l"與身體動作攝像機(jī)16「 16n 基本相同。
圖3示出具有該多個動作捕捉攝像機(jī)的動作捕捉容積30的側(cè)視 圖，該多個動作捕捉攝像機(jī)在該動作捕捉容積的底面之上被設(shè)置成 大致三層。下層包括多個面部動作攝像機(jī)11-14",在動作捕捉容
積30的每側(cè)設(shè)置大致8個面部動作攝像機(jī)。在本發(fā)明的實(shí)施例中， 下層面部動作攝像機(jī)14! - 1 432中的每一個稍稍向上瞄準(zhǔn)以便不包括 大致與包含在視場內(nèi)的動作捕捉容積30相對的攝像機(jī)。動作捕捉攝 像機(jī)通常包括用來照亮動作捕捉容積30的光源(例如發(fā)光二極管陣 列)。期望不使動作捕捉攝像機(jī)"看見"另一動作捕捉攝像機(jī)的光 源，因?yàn)樵摴庠磳幼鞑蹲綌z像機(jī)表現(xiàn)為亮反射，其將覆沒來自反 射標(biāo)志的數(shù)據(jù)。中間層包括多個身體動作攝像機(jī)163 - 167，在動作捕 捉容積30的每側(cè)設(shè)置大致2個身體動作攝像機(jī)。如上所討論的，身 體動作攝像機(jī)具有比面部動作攝像機(jī)寬的視場，能夠使每個攝像機(jī) 在它的相應(yīng)視場內(nèi)包括更大量的動作捕捉容積30。
上層包括多個面部動作攝像機(jī)(例如14"-14")，在動作捕捉容 積30的每側(cè)設(shè)置大致5個面部動作攝像機(jī)。在本發(fā)明的實(shí)施例中， 上層面部動作攝像機(jī)14"-1452中的每一個稍稍向下瞄準(zhǔn)以便不包括 大致與包含在視場內(nèi)的動作捕捉容積30相對的攝像機(jī)。在圖2的左 手側(cè)示出，在中間層中還包括多個聚焦在動作捕捉容積30的前邊緣 的面部動作攝像機(jī)(例如14"-146。)。因?yàn)樾袆诱叩男袨橥ǔ鎸?動作捕捉容積30的前邊緣，所以在該區(qū)域中增加該多個攝像機(jī)以減 少因遮掩而丟失的數(shù)據(jù)的量。另外，在中間層中包括多個聚焦在動 作捕捉容積30的角落的面部動作攝像機(jī)(例如14"-14")。這些攝 像機(jī)也用來減少因遮掩而丟失的數(shù)據(jù)的量。
在本發(fā)明的該優(yōu)選實(shí)施例中，身體和面部動作攝像機(jī)從多個不同 的角度記錄被標(biāo)記的行動者的圖像以便行動者的基本全部的側(cè)表面 一直暴露于至少一個攝像機(jī)。更具體地說，優(yōu)選這種攝像機(jī)設(shè)置使 得行動者的基本全部的側(cè)表面一直暴露于至少三個攝像機(jī)。通過在 多個高度處放置攝像機(jī)，可以在行動者在動作捕捉場30內(nèi)移動時(shí)為 不規(guī)則表面作模型。本動作捕捉系統(tǒng)10由此同時(shí)記錄行動者的身體 運(yùn)動和面部運(yùn)動(即表情)。如上所討論的，還可以與動作捕捉同 時(shí)地進(jìn)行聲音記錄。
圖4是示出面部動作攝像機(jī)的示例性設(shè)置的動作捕捉容積30的 頂視圖。動作捕捉容積30在圖形上被分成標(biāo)記為a、 b、 c和d的象 限。面部動作攝像機(jī)被分組成群36、 38，每個攝像機(jī)群表示多個攝 像機(jī)。例如， 一個這樣的攝像機(jī)群可以包括兩個位于下層中的面部
動作攝像機(jī)和一個位于上層中的面部動作攝像機(jī)。還可以有利地利
用群內(nèi)的其他攝像機(jī)設(shè)置。這兩個攝像機(jī)群36、 38被物理地設(shè)置成 彼此相鄰，但是彼此水平上偏離了可辨別的距離。這兩個攝像機(jī)群 36、 38均以大約45。C的角度聚焦在象限d的前邊緣。第一攝像機(jī)群 36具有從部分地進(jìn)入象限c的前邊緣延伸到象限d的前邊緣的右端 的視場。第二攝像機(jī)群38具有從象限d的前邊緣的左端延伸到部分 地進(jìn)入象限d的右邊緣的視場。因此，第一和第二攝像機(jī)群36、 38 的相應(yīng)視場基本上在象限d的前邊緣的長度上重疊。象限a、 b、 c 和d的其他外邊緣(與外圍邊緣32 —致)的每一個包括類似的攝像 機(jī)設(shè)置。
圖5是示出面部動作攝像機(jī)的另一示例性設(shè)置的動作捕捉容積 30的頂視圖。如同在圖4中，動作捕捉容積30在圖形上被分成象限 a、 b、 c和d。面部動作攝像機(jī)被分組成群42、 44,且每個攝像機(jī)群 表示多個攝像機(jī)。如同在圖4的實(shí)施例中，這些群可以包括位于不 同高度的一個或多個攝像機(jī)。在該設(shè)置中，攝像機(jī)群42、 44位于動 作捕捉容積30的角落處，面向動作捕捉容積中。這些角落攝像機(jī)群 42、 44將記錄例如由于遮掩而沒有被其他攝像機(jī)拾取的行動者的圖 像。其他相似的攝像機(jī)群也可以位于動作捕捉容積30的其他角落 處。
相對于動作捕捉容積30具有多種攝像機(jī)高度和角度用以增加從 動作捕捉容積中的行動者捕捉到的可用數(shù)據(jù)并且減小數(shù)據(jù)遮掩的可 能性。它也允許在動作捕捉容積30內(nèi)同時(shí)捕捉多個行動者的動作。 此外，攝像機(jī)的大數(shù)量和多樣性能夠使動作捕捉容積30比現(xiàn)有技術(shù) 的動作捕捉容積大得多，由此能夠使動作捕捉容積內(nèi)的動作范圍更 大并且因此能夠使行為更復(fù)雜。應(yīng)當(dāng)理解，也可以有利地利用身體 和面部動作攝像機(jī)的多種替換設(shè)置。例如，可以利用更多或更少數(shù) 目的分開的層，并且在單層內(nèi)的每個攝像機(jī)的實(shí)際高度可以改變。
在本發(fā)明的優(yōu)選實(shí)施例的前面描述中，身體和面部動作攝像機(jī)保 持固定在原地。這樣，動作捕捉處理器12具有固定的參考點(diǎn)，身體 和面部標(biāo)志的移動可以相對于該參考點(diǎn)來測量。這種設(shè)置的缺點(diǎn)是 它限制了動作捕捉容積30的尺寸。如果期望捕捉需要更大的空間容 積的行為的動作(例如，其中人物在更大的距離上跑動的場景)，
則該行為必須被分成多個段，這些段被分別進(jìn)行動作捕捉。在本發(fā) 明的替換實(shí)施例中， 一部分?jǐn)z像機(jī)保持固定而其他攝像機(jī)將跟隨動 作移動。這些可移動的攝像機(jī)都可以利用計(jì)算機(jī)控制的伺服電動機(jī)
移動或者可以由人攝影師手動移動。動作捕捉處理器12將跟蹤這些 攝像機(jī)的移動，并且在所捕捉的數(shù)據(jù)的隨后處理中除去該移動以產(chǎn) 生反映與行動者的行為相對應(yīng)的身體和面部動作的三維數(shù)字表示。
圖6是示出反映動作捕捉容積內(nèi)的兩個行動者52、 54的動作捕 捉數(shù)據(jù)的動作捕捉容積30的透視圖。圖6的圖反映了該動作捕捉數(shù) 據(jù)怎樣被以上參考圖1描述的工作站18的操作者觀看。與圖2和3 (上面的)類似，圖6進(jìn)一步示出多個面部動作攝像機(jī)，包括位于 下層中的攝像機(jī)14!-M"、位于上層中的攝像機(jī)14"-14"、以及位于 動作捕捉容積30的角落中的攝像機(jī)14"、 14"。這兩個行動者52、 54呈現(xiàn)為與它們的身體和面部上的反射標(biāo)志相對應(yīng)的大量的點(diǎn)。如 上所示和所討論的，位于行動者的面部上的標(biāo)志比位于它們的身體 上的標(biāo)志多得多。行動者的身體和面部的運(yùn)動被動作捕捉系統(tǒng)10跟 蹤，基本上如上所述。
現(xiàn)在參考圖7和8，動作捕捉數(shù)據(jù)被示為它將被工作站18的操 作者所看見的那樣。如同在圖6中，動作捕捉數(shù)據(jù)反映兩個行動者 52、 54，其中高濃度的點(diǎn)反映行動者的面部并且其他點(diǎn)反映身體點(diǎn)。 動作捕捉數(shù)據(jù)進(jìn)一步包括三個被示為橢圓形狀的遮掩區(qū)62、 64、 66。 遮掩區(qū)62、 64、 66表示這樣的地方，其中由于來自攝像機(jī)之一的光 落在其他攝像機(jī)的視場內(nèi)而沒有捕捉到可靠的動作數(shù)據(jù)。該光覆沒 了來自反射標(biāo)志的發(fā)光，并且被動作捕捉處理器12理解為身體或面 部標(biāo)志。由動作捕捉處理器12執(zhí)行的圖像處理過程產(chǎn)生虛擬掩蔽， 其通過限定圖7和8中示出的遮掩區(qū)62、 64、 66濾掉攝像機(jī)發(fā)光。 制作公司可能會試圖控制行動者的行為以在身體上避免被遮掩區(qū)遮 蔽的運(yùn)動。然而，不可避免地會發(fā)生一些數(shù)據(jù)捕捉丟失，如圖8中 所示，其中行動者54的面部由于身體移動進(jìn)入遮掩區(qū)64而幾乎完 全4皮遮蔽。
圖9示出減少了遮掩問題的動作捕捉系統(tǒng)的實(shí)施例。特別地，圖 9示出被物理地設(shè)置成跨越動作捕捉容積(未示出)彼此相對的攝像 機(jī)84和74。攝像機(jī)84、 74包括適于照亮攝像機(jī)的視場的相應(yīng)光源
88、 78。攝像機(jī)84、 74進(jìn)一步被提供有設(shè)置在攝像機(jī)鏡頭前面的偏 振濾光器86、 76。正如由以下描述變得清楚的，偏振濾光器86、 76 相對于彼此異相地設(shè)置(即被旋轉(zhuǎn))。光源88發(fā)射被偏振濾光器86 偏振的光。該偏振光到達(dá)攝像機(jī)74的偏振濾光器76，但不是穿過到 達(dá)攝像機(jī)74，該偏振光被偏振濾光器76反射掉或吸收。結(jié)果，攝像 機(jī)84將不會"看見"攝像機(jī)74的發(fā)光，由此避免了遮掩區(qū)的形成并 且消除了對虛擬掩蔽的需要。
雖然前面的描述涉及使用貼到身體和面部上的物理標(biāo)志的光學(xué) 感測來跟蹤動作，但是本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，也可以有利地使 用跟蹤動作的替換方法。例如，代替貼標(biāo)志，可以利用行動者的身 體特征(例如鼻子或眼睛的形狀)作為跟蹤動作的自然標(biāo)志。這種
i的任務(wù)。另外，可以;吏用除了光之外的替換介質(zhì)來檢測相應(yīng)的標(biāo)
志。例如，這些標(biāo)志可以包括超聲或電磁發(fā)射器，其被設(shè)置在動作 捕捉容積周圍的相應(yīng)的接收器所檢測。在這點(diǎn)上，應(yīng)當(dāng)理解，上述 攝像機(jī)僅僅是光學(xué)傳感器并且可以有利地利用其他類型的傳感器。
現(xiàn)在參考圖10,方塊圖示出了根據(jù)本發(fā)明的替換實(shí)施例的動作 捕捉系統(tǒng)100。動作捕捉系統(tǒng)100已經(jīng)大大增加了超過上述前面實(shí)施 例的數(shù)據(jù)容量，并且適于捕捉與擴(kuò)大的動作捕捉容積相關(guān)的更大量 的數(shù)據(jù)。動作捕捉系統(tǒng)100包括三個被充當(dāng)收集數(shù)據(jù)的儲存庫的主 服務(wù)器110系在一起的分開的網(wǎng)絡(luò)。這些網(wǎng)絡(luò)包括數(shù)據(jù)網(wǎng)120、藝術(shù) 家網(wǎng)(artist network) 130、以及重構(gòu)再現(xiàn)網(wǎng)140。主服務(wù)器110 為動作捕捉系統(tǒng)100提供中央控制和數(shù)據(jù)存儲。數(shù)據(jù)網(wǎng)120將在行 動期間捕捉到的二維(2D)數(shù)據(jù)傳送到主服務(wù)器110。藝術(shù)家網(wǎng)130 和重構(gòu)再現(xiàn)網(wǎng)140隨后可以從主服務(wù)器110存取這些相同的2D數(shù)據(jù) 文件。主服務(wù)器110可以進(jìn)一步包括適于存儲大容量數(shù)據(jù)的存儲器 112系統(tǒng)。
數(shù)據(jù)網(wǎng)120提供與動作捕捉攝像機(jī)的接口并且提供捕捉的動作 數(shù)據(jù)的初始數(shù)據(jù)處理，其然后被提供到主服務(wù)器110以存儲在存儲 器112中。更具體地說，數(shù)據(jù)網(wǎng)120被耦接到多個動作捕捉攝像機(jī) 122!-122n，其被相對于動作捕捉容積設(shè)置(在下面被描述)以捕捉 在該動作捕捉容積內(nèi)進(jìn)行的一個或多個行動者的組合動作。數(shù)據(jù)網(wǎng)120也可以直接或通過合適的音頻接口 124耦接到多個傳聲器126! - 126N以捕捉與該行為相關(guān)的聲音(例如對話)。多個用戶工作站 128中的一個可以耦接到數(shù)據(jù)網(wǎng)120以提供對數(shù)據(jù)網(wǎng)的功能的操作、 控制和監(jiān)控。在本發(fā)明的實(shí)施例中，數(shù)據(jù)網(wǎng)120可以由例如可從Vicon Motion Systems或Motion Analysis Corp得到的多個動作捕捉數(shù)據(jù) 處理工作站連同用來將捕捉的數(shù)據(jù)整理成2D文件的多個從處理工作 站一起來提供。
藝術(shù)家網(wǎng)130利用合適的工作站132「 132N為多個數(shù)據(jù)檢驗(yàn)者和 動畫繪制者提供高速基礎(chǔ)結(jié)構(gòu)。數(shù)據(jù)檢驗(yàn)者從主服務(wù)器110得到2D 數(shù)據(jù)文件以驗(yàn)證該數(shù)據(jù)的可接受性。例如，數(shù)據(jù)檢驗(yàn)者可以再檢查 該數(shù)據(jù)以驗(yàn)證該行為的關(guān)鍵方面被捕捉了 。如果該行為的重要方面 沒有被捕捉，例如如果該數(shù)據(jù)的一部分被遮掩，則可以根據(jù)需要重 復(fù)該行為直到所捕捉的數(shù)據(jù)被視為可接受的為止。為了便于與行動 者和/或場景指導(dǎo)者聯(lián)系，數(shù)據(jù)檢驗(yàn)者和相關(guān)的工作站132「 132n可 以被設(shè)置成物理地接近動作捕捉容積。
重構(gòu)再現(xiàn)網(wǎng)140提供高速數(shù)據(jù)處理計(jì)算機(jī)，其適于執(zhí)行2D數(shù)據(jù) 文件的自動重構(gòu)并且將2D數(shù)據(jù)文件再現(xiàn)為被主服務(wù)器110存儲的三 維(3D)動畫文件。多個用戶工作站142「 142N中的一個可以耦接到 重構(gòu)再現(xiàn)網(wǎng)140以提供對數(shù)據(jù)網(wǎng)的功能的操作、控制和監(jiān)控。訪問 藝術(shù)家網(wǎng)130的動畫繪制者也將在最后的計(jì)算機(jī)圖形動畫的制作過 程中得到所述3D動畫文件。
圖11示出示例性的動作捕捉容積150的頂視圖。如同在前述的 實(shí)施例中，動作捕捉容積150通常是被網(wǎng)格線細(xì)分的矩形區(qū)域。在 該實(shí)施例中，動作捕捉容積150旨在表示明顯更大的空間，并且能 被進(jìn)一步細(xì)分為四個部分或象限(A、 B、 C、 D)。每個部分具有與 上述的動作捕捉容積30的尺寸大致相等的尺寸，因此該動作捕捉容 積150具有的表面面積是前面實(shí)施例的表面面積的四倍。額外的部 分E中心在該空間內(nèi)并且與其他部分的每一個部分重疊。這些網(wǎng)格 線進(jìn)一步包括沿垂直軸的數(shù)字坐標(biāo)(1-5)和沿水平軸的字母坐標(biāo) (A-E)。這樣，在動作捕捉容積上的特定位置可以由其字母坐標(biāo) 來限定，例如區(qū)域4A。這種指定允許依照關(guān)于在哪里進(jìn)行他們的行 為和/或在哪里放置道具給行動者提供方向來管理動作捕捉容積150。為方便行動者和/或場景指導(dǎo)者，可以將網(wǎng)格線和字母坐標(biāo)物 理地標(biāo)記在動作捕捉容積150的底面上。應(yīng)當(dāng)理解，這些網(wǎng)格線和 字母坐標(biāo)將不被包含在2D數(shù)據(jù)文件中。
在本發(fā)明的優(yōu)選實(shí)施例中，部分A-E中的每一個具有尺寸為10 英尺xlO英尺的正方形，其總面積為400方英尺，即比前面實(shí)施例的 動作捕捉容積大大約四倍。應(yīng)當(dāng)理解，也可以有利地使用其他形狀 和尺寸的動作捕捉容積150。
現(xiàn)在參考圖12A-12C，相對于動作捕捉容積150周圍的外圍區(qū) 域示出動作捕捉攝像機(jī)122, 122^的示例性設(shè)置。該外圍區(qū)域提供腳 手架放置以支撐攝像機(jī)、照明設(shè)備、以及其他設(shè)備，并且被示為區(qū) 域152!- 152"動作捕捉攝像機(jī)122t - 122N通常以多種攝像機(jī)高度和 角度均勻地設(shè)置在圍繞動作捕捉容積150的區(qū)域152, 1524中的每 一個中。此外，動作捕捉攝像機(jī)122, 122N均被定向成聚焦在動作捕 捉容積150的各個所述部分上，而不是聚焦在整個動作捕捉容積上。 在本發(fā)明的示例性實(shí)施例中，總共有兩百個動作捕捉攝像機(jī)，并且 40個單獨(dú)攝像機(jī)的組專用于動作捕捉容積150的5個部分A - E中的
每一個。
更具體地說，可以由距離動作捕捉容積的距離和離動作捕捉容積 150的底面的高度來限定動作捕捉攝像機(jī)122, 122w的設(shè)置。圖12A 示出第一組動作捕捉攝像機(jī)122!- 1228。的設(shè)置，其被定向成距離動 作捕捉容積150最遠(yuǎn)并且處在通常最低的高度。參考示例性區(qū)域152! (其他區(qū)域基本上與其相同)，存在3行攝像機(jī)，第一行172在距 離底面最高的高度處(例如6英尺)相對于動作捕捉容積150呈放 射狀向外設(shè)置，第二行174在稍稍較低的高度處(例如4英尺)， 以及第三高度176相對于第一和第二行呈放射狀向內(nèi)設(shè)置并且處于 最低的高度處(例如1英尺)。在示例性實(shí)施例中，在該第一組中 總共有80個動作捕捉攝像機(jī)。
圖12B示出第二組動作捕捉攝像機(jī)122"- 122n。的設(shè)置，其被定 向成比第一組更靠近動作捕捉容積150并且處于比第一組的高度更 高的高度。參考示例性區(qū)域152!(其他區(qū)域基本上與其相同)，存 在3行攝像機(jī)，第一行182在距離底面最高的高度處(例如14英尺) 相對于動作捕捉容積呈放射狀向外設(shè)置，第二行184在稍稍較低的
高度處(例如ll英尺)，以及第三行186相對于第一和第二行呈放 射狀向內(nèi)設(shè)置并且處于最低的高度處(例如9英尺)。在示例性實(shí) 施例中，在該第二組中總共有80個動作捕捉攝像機(jī)。
圖12C示出笫三組動作捕捉攝像機(jī)122161 - 1222。。的設(shè)置，其被 定向成比第二組更靠近動作捕捉容積150并且處于比第二組的高度 更高的高度。參考示例性區(qū)域152i (其他區(qū)域基本上與其相同)， 存在3行攝像機(jī)，第一行192在距離底面最高的高度處(例如21英 尺)相對于動作捕捉容積呈放射狀向外設(shè)置，第二行194在稍稍較 低的高度處(例如18英尺)，以及第三高度196在更低的高度處(例 如17英尺)相對于第一和第二行呈放射狀向內(nèi)設(shè)置。在示例性實(shí)施 例中，在該第二組中總共有40個動作捕捉攝像機(jī)。應(yīng)當(dāng)理解，還可 以有利地利用其他設(shè)置的動作捕捉攝像機(jī)和不同數(shù)目的動作捕捉攝 像機(jī)。
動作捕捉攝像機(jī)以類似于以上參考圖4描述的方式聚焦在動作 捕捉容積150的相應(yīng)部分上。對于動作捕捉容積150的部分A-E中 的每一個而言，四側(cè)中的每一側(cè)的動作捕捉攝像機(jī)將聚焦于該部分 上。借助實(shí)例，離動作捕捉容積最遠(yuǎn)的第一組的攝像機(jī)可以聚焦在 離其最近的動作捕捉容積的部分上。相反，離動作捕捉容積最近的 第三組的攝像機(jī)可以聚焦在離其最遠(yuǎn)的動作捕捉容積的部分上。所 述側(cè)之一的一端的攝像機(jī)可以聚焦在另一端的部分上。在更具體的 實(shí)例中，動作捕捉容積150的部分A可以被某些來自外圍區(qū)域152i 的第一行182和第三行186的低高度的攝像機(jī)、來自外圍區(qū)域1524 的第一行182和第三行186的低高度的攝像機(jī)、來自外圍區(qū)域1523 的第二行184和第三行186的中間高度的攝像機(jī)、來自外圍區(qū)域1522 的第二行184和第三行186的中間高度的攝像機(jī)的組合所覆蓋。圖 12A和12B進(jìn)一步揭示了在用來捕捉中心部分E內(nèi)的動作的外圍區(qū)域 的中心中的更大濃度的動作攝像機(jī)。
通過提供多種角度和高度，利用聚焦在動作捕捉容積150的所述 部分上的多個攝像機(jī)，更有可能捕捉整個行為同時(shí)使不期望的遮掩 事件減至最少?？紤]到在該設(shè)置中使用的很多個攝像機(jī)，有利的是， 在每一個攝像機(jī)的周圍放置光屏蔽以限制來自位于動作捕捉容積對
面的另 一 攝像機(jī)的外部光的探測。在本發(fā)明的該示例性實(shí)施例中，
相同的攝像機(jī)被用來同時(shí)捕捉面部和身體動作，因此不需要分開的 身體和面部動作攝像機(jī)。為了區(qū)別面部和身體動作，可以在行動者 上使用不同尺寸的標(biāo)志，并且為了確保產(chǎn)生較大的動作捕捉容積的
數(shù)據(jù)捕捉，通常全部都使用較大的標(biāo)志。例如，可以對身體使用9 毫米的標(biāo)志并且對面部使用6毫米的標(biāo)志。
已經(jīng)這樣描述了用來捕捉身體和面部動作的系統(tǒng)和方法的優(yōu)選 實(shí)施例，對本領(lǐng)域技術(shù)人員來說顯而易見的是，本發(fā)明的特定優(yōu)點(diǎn) 已經(jīng)實(shí)現(xiàn)了。還應(yīng)當(dāng)理解，在本發(fā)明的范圍和精神內(nèi)，可以進(jìn)行多 種修改、改編及其替換實(shí)施例。本發(fā)明由以下權(quán)利要求進(jìn)一步限定。
權(quán)利要求
1. 一種用來捕捉動作的系統(tǒng)，包括:適合包含至少一個行動者的動作捕捉容積，該至少一個行動者具有限定多個身體點(diǎn)的身體標(biāo)志和限定多個面部點(diǎn)的面部標(biāo)志；圍繞所述動作捕捉容積的所述外圍設(shè)置的多個動作攝像機(jī)，所述動作攝像機(jī)這樣設(shè)置使得當(dāng)在所述動作捕捉容積內(nèi)運(yùn)動時(shí)所述至少一個行動者的所有橫向暴露的表面基本上一直在所述多個面部動作攝像機(jī)中的至少一個的視場內(nèi)；以及動作捕捉數(shù)據(jù)處理系統(tǒng)，其耦接到所述多個動作攝像機(jī)以產(chǎn)生反映所述至少一個行動者的身體和面部動作的數(shù)字表示。
2. 如權(quán)利要求l的用來捕捉動作的系統(tǒng)，其中所述動作捕捉容 積進(jìn)一步包括被細(xì)分為多個部分的矩形區(qū)。
3. 如權(quán)利要求l的用來捕捉動作的系統(tǒng)，其中所述多個動作攝 像機(jī)包括第一組攝像機(jī)，該第一組攝像機(jī)被定向成在第一高度處距 離所述動作捕捉容積最遠(yuǎn)。
4. 如權(quán)利要求3的用來捕捉動作的系統(tǒng)，其中所述多個動作攝像機(jī)包括第二組攝像機(jī)，該第二組攝像機(jī)被定向成比所述第 一組攝 像機(jī)距離所述動作捕捉容積更近并且處于比所述第一高度高的第二高度。
5. 如權(quán)利要求4的用來捕捉動作的系統(tǒng)，其中所述多個動作攝 像機(jī)包括第三組攝像機(jī)，該第三組攝像機(jī)被定向成比所述第二組攝 像機(jī)距離所述動作捕捉容積更近并且處于比所述第二高度高的第三 高度。
6. 如權(quán)利要求2的用來捕捉動作的系統(tǒng)，其中所迷多個部分的 每一個包括大約10英尺xl0英尺的面積。
7. 如權(quán)利要求2的用來捕捉動作的系統(tǒng)，其中所述動作攝像機(jī) 中的至少四十個聚焦在所述多個部分的每一個上。
8. 如權(quán)利要求1的用來捕捉動作的系統(tǒng)，其中所述動作捕捉容 積進(jìn)一步包括大約400方英尺的面積。
9. 如權(quán)利要求1的用來捕捉動作的系統(tǒng)，其中所述動作捕捉數(shù) 據(jù)處理系統(tǒng)進(jìn)一步包括數(shù)據(jù)網(wǎng)，該數(shù)據(jù)網(wǎng)耦接到所述多個動作攝像 機(jī)并且適于根據(jù)從所述多個動作攝像機(jī)接收的信號產(chǎn)生二維(2D)數(shù)據(jù)文件。
10. 如權(quán)利要求9的用來捕捉動作的系統(tǒng)，其中所述動作捕捉數(shù) 據(jù)處理系統(tǒng)進(jìn)一步包括主服務(wù)器，該主服務(wù)器耦接到所述數(shù)據(jù)網(wǎng)并 且適于存儲所述2D數(shù)據(jù)文件。
11. 如權(quán)利要求10的用來捕捉動作的系統(tǒng)，其中所述動作捕捉 數(shù)據(jù)處理系統(tǒng)進(jìn)一步包括耦接到所述主服務(wù)器的重構(gòu)再現(xiàn)網(wǎng)，該重 構(gòu)再現(xiàn)網(wǎng)用來執(zhí)行所述2D數(shù)據(jù)文件的自動重構(gòu)并且產(chǎn)生隨后被所述 主服務(wù)器存儲的三維(3D)動畫文件。
12. 如權(quán)利要求10的用來捕捉動作的系統(tǒng)，其中所述動作捕捉 數(shù)據(jù)處理系統(tǒng)進(jìn)一步包括耦接到所述主服務(wù)器的藝術(shù)家網(wǎng)，該藝術(shù) 家網(wǎng)用來檢查所述2D數(shù)據(jù)文件以驗(yàn)證精確的數(shù)據(jù)捕捉。
13. —種用來捕捉動作的方法，包括限定動作捕捉容積，該動作捕捉容積適合包含至少一個行動者， 該至少一個行動者具有限定多個身體點(diǎn)的身體標(biāo)志和限定多個面部 點(diǎn)的面部標(biāo)志；圍繞所述動作捕捉容積的外圍設(shè)置多個動作攝像機(jī)，所述動作攝 像機(jī)均這樣設(shè)置使得當(dāng)在所述動作捕捉容積內(nèi)運(yùn)動時(shí)所述至少一個行動者的所有橫向暴露的表面基本上一直在所述多個動作攝像機(jī)中 的至少一個的所述視場內(nèi)；以及處理來自所述多個動作攝像機(jī)的數(shù)據(jù)以產(chǎn)生反映所述至少一個行動者的組合的身體和面部動作的數(shù)字表示。
14. 如權(quán)利要求13的方法，其中所述限定步驟進(jìn)一步包括將所 述動作捕捉容積限定為被細(xì)分成多個部分的矩形區(qū)。
15. 如權(quán)利要求14的方法，其中所述設(shè)置步驟包括將所述多個 動作攝像機(jī)的第一組定向在第一高度處距離所述動作捕捉容積最遠(yuǎn) 的所述動作捕捉容積的外圍區(qū)域中。
16. 如權(quán)利要求15的方法，其中所述設(shè)置步驟包括將所述多個 動作攝像機(jī)的第二組定向在比所述第一組攝像機(jī)離所述動作捕捉容 積更近的所述外圍區(qū)域中并且處于比所述第一高度更高的第二高 度。
17. 如權(quán)利要求16的方法，其中所述設(shè)置步驟包括將所述多個 動作攝像機(jī)的第三組定向在比所述第二組攝像機(jī)離所述動作捕捉容積更近的所述外圍區(qū)域中并且處于比所述第二高度更高的第三高 度。
18. 如權(quán)利要求13的方法，其中所述處理步驟進(jìn)一步包括根據(jù) 從所述多個動作攝像機(jī)接收的信號產(chǎn)生二維(2D)數(shù)據(jù)文件。
19. 如權(quán)利要求18的方法，其中所述處理步驟進(jìn)一步包括在中 央數(shù)據(jù)存儲裝置中存儲所述2D數(shù)據(jù)文件。
20. 如權(quán)利要求18的方法，其中所述處理步驟進(jìn)一步包括執(zhí)行 所述2D數(shù)據(jù)文件的自動重構(gòu)并且由其產(chǎn)生三維(3D)動畫文件。
21. 如權(quán)利要求18的方法，其中所述處理步驟進(jìn)一步包括驗(yàn)證 所述2D數(shù)據(jù)文件的精確性。
22. 如權(quán)利要求13的方法，進(jìn)一步包括從所述動作捕捉容積內(nèi) 記錄聲音。
全文摘要
一種用來捕捉動作的系統(tǒng)和方法包括適合包含至少一個行動者的動作捕捉容積，該至少一個行動者具有限定多個身體點(diǎn)的身體標(biāo)志和限定多個面部點(diǎn)的面部標(biāo)志。多個動作攝像機(jī)圍繞該動作捕捉容積的外圍設(shè)置。這些動作攝像機(jī)這樣設(shè)置使得當(dāng)在動作捕捉容積內(nèi)運(yùn)動時(shí)行動者的所有橫向暴露的表面基本上一直在該多個動作攝像機(jī)中的至少一個的視場內(nèi)。動作捕捉處理器耦接到該多個動作攝像機(jī)以產(chǎn)生反映行動者的組合的身體和面部動作的數(shù)字模型。至少一個傳聲器可以被定向成從該動作捕捉容積拾取聲音。
文檔編號G06T15/70GK101379530SQ200580047644
公開日2009年3月4日 申請日期2005年11月30日 優(yōu)先權(quán)日2004年12月3日
發(fā)明者D·戈登 申請人:索尼株式會社;索尼電影娛樂公司