基于特征點(diǎn)的人臉表情合成方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于特征點(diǎn)的人臉表情合成方法，屬于圖像處理技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 傳統(tǒng)的人機(jī)交互方式是基于鼠標(biāo)和鍵盤，隨著計(jì)算機(jī)圖形學(xué)及計(jì)算機(jī)硬件技術(shù)的 發(fā)展，真實(shí)感人臉動(dòng)畫(huà)技術(shù)為人機(jī)交互提供了更為方便的接口。在娛樂(lè)領(lǐng)域中，真實(shí)感的虛 擬人已經(jīng)越來(lái)越多地被應(yīng)用到各種影視作品中。在教育領(lǐng)域，由于虛擬人臉可以產(chǎn)生各種 逼真的人臉表情，更容易集中學(xué)生的注意力。虛擬人臉同樣可以在客戶關(guān)系管理中發(fā)揮作 用。此外，人臉動(dòng)畫(huà)技術(shù)還可以應(yīng)用到醫(yī)療、新聞廣播、廣告以及心理學(xué)等領(lǐng)域。在計(jì)算機(jī) 動(dòng)畫(huà)研究領(lǐng)域中，人臉表情動(dòng)畫(huà)一直是一個(gè)極具挑戰(zhàn)性的問(wèn)題，越來(lái)越多的學(xué)者和研究人 員也不斷的提出各種人臉建模方案和表情動(dòng)畫(huà)方法。因此，人臉動(dòng)畫(huà)技術(shù)的提高，對(duì)于推動(dòng) 計(jì)算機(jī)動(dòng)畫(huà)領(lǐng)域的發(fā)展及其相關(guān)應(yīng)用領(lǐng)域的技術(shù)革新具有重要意義。
[0003] 1972年，Parke提出了一個(gè)人臉動(dòng)畫(huà)的解決方案，此后出現(xiàn)了各種人臉動(dòng)畫(huà)技術(shù)。 形狀融合方法是一種常見(jiàn)的人臉表情動(dòng)畫(huà)技術(shù)，它通過(guò)對(duì)精心挑選的人臉形狀進(jìn)行插值獲 得各種面部表情。一些商業(yè)上使用的三維動(dòng)畫(huà)軟件也為形狀融合動(dòng)畫(huà)方法提供了特定的工 具箱。形狀融合方法有兩個(gè)關(guān)鍵點(diǎn)，一個(gè)是融合形狀的構(gòu)建，另一個(gè)是相應(yīng)權(quán)重的計(jì)算，后 者對(duì)于最終的動(dòng)畫(huà)效果有著直接的影響。融合形狀的構(gòu)建主要是從一系列的表情形狀中挑 選一些關(guān)鍵表情，需要解決兩個(gè)方面的工作，一個(gè)是關(guān)鍵表情的選取問(wèn)題，挑選的關(guān)鍵表情 必須能夠覆蓋整個(gè)表情空間，另一個(gè)問(wèn)題是選取方式，也就是在選取這些關(guān)鍵表情時(shí)盡可 能的自動(dòng)化，而不需要過(guò)多的手工干預(yù)。然而，當(dāng)前很多的動(dòng)畫(huà)解決方案中，關(guān)鍵表情的選 取依然費(fèi)時(shí)、費(fèi)力，甚至對(duì)于專業(yè)的動(dòng)畫(huà)人員也需要花費(fèi)時(shí)間去熟悉不同系統(tǒng)的操作。對(duì)于 融合權(quán)重的計(jì)算，一些處理辦法是將原模型的融合權(quán)重直接應(yīng)用到了目標(biāo)模型。這樣，勢(shì)必 要求原始模型和目標(biāo)模型的形態(tài)之間不能有太大的差異，否則目標(biāo)模型產(chǎn)生的表情可能會(huì) 失真。形狀融合方法的最主要問(wèn)題在于用線性融合形狀方法合成高度非線性的人臉表情。
[0004] 此外，幾何變形方法在人臉表情動(dòng)畫(huà)中使用的也比較多，根據(jù)所建立的模型差異， 主要有兩類方法。一類是基于人臉物理結(jié)構(gòu)的方法，是通過(guò)預(yù)先設(shè)計(jì)的面部肌肉或者皮膚 組織模仿人臉產(chǎn)生表情時(shí)相應(yīng)組織的動(dòng)作。其中，模擬肌肉運(yùn)動(dòng)的方法關(guān)鍵在于肌肉參數(shù) 的求解。然而由于人臉的生理結(jié)構(gòu)極其復(fù)雜，精確的肌肉參數(shù)求解并不是一件容易的事情。 也有研究人員建立了彈性人臉皮膚模型，通過(guò)皮膚點(diǎn)的受力分析研究其位移的變化，但是 也存在彈性皮膚參數(shù)的求解難度。另一類是基于特征點(diǎn)的方法，是根據(jù)人臉網(wǎng)格中特征點(diǎn) 和周圍頂點(diǎn)的關(guān)系，通過(guò)特征點(diǎn)的運(yùn)動(dòng)估計(jì)所有頂點(diǎn)的運(yùn)動(dòng)情況。線性殼模型是一種常見(jiàn) 的基于特征點(diǎn)的動(dòng)畫(huà)方法，它是通過(guò)偏微分方程的離散化求解頂點(diǎn)的位移。但是，由于線性 殼模型的計(jì)算量較大，在實(shí)時(shí)動(dòng)畫(huà)的效率方面并不占優(yōu)勢(shì)。
[0005] 在形狀融合插值方法中，為了得到關(guān)鍵形狀，常用主成分分析法將人臉?lè)指畛刹?同的區(qū)域。然而，這種區(qū)域分割的方法在人臉動(dòng)畫(huà)中會(huì)破壞不同區(qū)域之間運(yùn)動(dòng)的關(guān)聯(lián)性。因 此，本發(fā)明提出了一種混合人臉變形方法，可以自適應(yīng)地將人臉劃分成不同的區(qū)域，根據(jù)不 同的捕捉序列，人臉區(qū)域的劃分也會(huì)有差異。首先，通過(guò)一個(gè)鄰近加權(quán)策略對(duì)整個(gè)面部進(jìn)行 區(qū)域劃分，并且求解人臉模型上頂點(diǎn)的局部變形。假定人臉網(wǎng)格上頂點(diǎn)的局部運(yùn)動(dòng)情況主 要受到其鄰近特征點(diǎn)運(yùn)動(dòng)的影響，這樣，只要獲得了每個(gè)鄰近特征點(diǎn)對(duì)頂點(diǎn)運(yùn)動(dòng)的影響權(quán) 重，頂點(diǎn)的運(yùn)動(dòng)情況即可求出。在求解特征點(diǎn)對(duì)頂點(diǎn)的影響權(quán)重時(shí)，需要計(jì)算頂點(diǎn)和特征點(diǎn) 之間的距離信息。由于人臉是一個(gè)具有開(kāi)放區(qū)域的曲面結(jié)構(gòu)，很多涉及求解人臉面部上兩 點(diǎn)間距離的問(wèn)題都近似成求解連接兩個(gè)頂點(diǎn)的邊的長(zhǎng)度，這種近似方法沒(méi)有充分考慮人臉 網(wǎng)格的特殊結(jié)構(gòu)。本發(fā)明采用精確的測(cè)地距求解人臉面部上兩個(gè)頂點(diǎn)之間的距離。而且， 求解特征點(diǎn)權(quán)重時(shí)，使用了更加符合肌肉運(yùn)動(dòng)機(jī)理的余弦函數(shù)。然后，為了使動(dòng)畫(huà)過(guò)程中人 臉網(wǎng)格更加光順，使用基于徑向基函數(shù)的插值方法來(lái)實(shí)現(xiàn)全局變形。最終的表情動(dòng)畫(huà)是通 過(guò)將全局變形和局部變形融合在一起得到的。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明針對(duì)以上問(wèn)題的提出，而研制基于混合變形策略的人臉動(dòng)畫(huà)合成方法，該 方法通過(guò)基于鄰近特征點(diǎn)加權(quán)的局部變形方法，解決人臉動(dòng)畫(huà)過(guò)程中的區(qū)域分割問(wèn)題，通 過(guò)全局變形策略解決人臉網(wǎng)格的光順問(wèn)題，從而有效避免了動(dòng)畫(huà)過(guò)程中的失真情況，并且 該方法相對(duì)簡(jiǎn)單，計(jì)算量較小，可以有效地保證動(dòng)畫(huà)的效率。
[0007] 本發(fā)明采取的技術(shù)方案是：本發(fā)明包括如下幾步驟，
[0008] 第一步：表情空間的轉(zhuǎn)換。
[0009] 第二步：基于鄰近特征點(diǎn)加權(quán)的局部變形策略，其有以下幾個(gè)步驟。
[0010] 步驟1 :確定頂點(diǎn)的鄰近區(qū)域。
[0011] 步驟2 :基于鄰近特征點(diǎn)的加權(quán)方法。
[0012] 步驟3:局部變形的計(jì)算。
[0013] 第三步：基于徑向基函數(shù)的全局變形策略。
[0014] 第四步：局部變形與全局變形的混合。
[0015] 第五步：重復(fù)第二步到第四步，即可求出所有幀中目標(biāo)人臉模型上每個(gè)頂點(diǎn)的位 置，實(shí)時(shí)更新每個(gè)頂點(diǎn)的空間坐標(biāo)位置，這樣就可產(chǎn)生人臉表情動(dòng)畫(huà)。
[0016] 本發(fā)明原理：對(duì)于人臉表情空間轉(zhuǎn)換過(guò)程，使用基于測(cè)地距的RBFs方法，建立首 幀運(yùn)動(dòng)捕捉數(shù)據(jù)標(biāo)記點(diǎn)和目標(biāo)人臉模型標(biāo)記點(diǎn)之間的運(yùn)動(dòng)關(guān)聯(lián)，并將這種運(yùn)動(dòng)關(guān)聯(lián)運(yùn)用到 其他幀的捕捉數(shù)據(jù)，從而得到目標(biāo)人臉模型所有幀的標(biāo)記點(diǎn)運(yùn)動(dòng)情況。對(duì)于人臉表情合成 過(guò)程，使用一個(gè)混合人臉變形策略，根據(jù)鄰近特征點(diǎn)加權(quán)求出頂點(diǎn)的局部位移，使用徑向基 函數(shù)插值求出頂點(diǎn)的全局位移，將全局位移和局部位移進(jìn)行融合即形成頂點(diǎn)的位移，實(shí)時(shí) 更新每一幀中頂點(diǎn)的位置可實(shí)現(xiàn)對(duì)整個(gè)人臉網(wǎng)格的變形。
[0017] 本發(fā)明與現(xiàn)有技術(shù)相比具有以下優(yōu)點(diǎn)：
[0018] 1.基于鄰近特征點(diǎn)加權(quán)的方法求解頂點(diǎn)的局部位移，使用測(cè)地距充分考慮了人臉 的生理結(jié)構(gòu)，求解人臉網(wǎng)格上兩個(gè)頂點(diǎn)之間的距離更加精確。使用余弦函數(shù)計(jì)算特征點(diǎn)權(quán) 重的方式，更加符合人臉表情運(yùn)動(dòng)的機(jī)理。
[0019] 2.采用將局部變形和全局變形結(jié)合起來(lái)的混合變形策略，既充分利用了局部特征 點(diǎn)蘊(yùn)藏的豐富運(yùn)動(dòng)信息，考慮到了人臉表情運(yùn)動(dòng)的區(qū)域性問(wèn)題，又從全局角度對(duì)網(wǎng)格進(jìn)行 平滑，防止不同運(yùn)動(dòng)區(qū)域之間的出現(xiàn)運(yùn)動(dòng)不連續(xù)的情況。
[0020] 由于采用了上述技術(shù)方案，本發(fā)明提供的基于混合變形策略的人臉表情動(dòng)畫(huà)方 法，通過(guò)同時(shí)考慮局部變形和全局變形，可快速的生成真實(shí)感的人臉表情動(dòng)畫(huà)，計(jì)算量相對(duì) 較小，可滿足實(shí)時(shí)動(dòng)畫(huà)的需求，利用運(yùn)動(dòng)捕捉數(shù)據(jù)也節(jié)約了動(dòng)畫(huà)制作的成本。
【附圖說(shuō)明】
[0021] 圖1本發(fā)明算法流程圖。
[0022] 圖2標(biāo)記點(diǎn)的設(shè)定方式示意圖。
[0023] 圖3基于鄰近特征點(diǎn)的加權(quán)方法示意圖。
[0024] 圖4本發(fā)明實(shí)現(xiàn)結(jié)果示意圖。
【具體實(shí)施方式】
[0025] 圖1所示為本發(fā)明的算法流程圖，其具體包括以下步驟：
[0026] 第一步：表情空間的轉(zhuǎn)換
[0027] 建立首幀運(yùn)動(dòng)捕捉數(shù)據(jù)與目標(biāo)人臉模型標(biāo)記點(diǎn)之間的映射關(guān)系，映射關(guān)系可以表 示如下：
[0028]
【主權(quán)項(xiàng)】
1. 一種基于特征點(diǎn)的人臉表情合成方法，其特征在于：包括如下步驟： 第一步