本發(fā)明屬于計(jì)算機(jī)圖形學(xué)領(lǐng)域，尤其涉及一種交互式三維人臉表情動(dòng)畫編輯方法、系統(tǒng)及擴(kuò)展方法。

背景技術(shù)：

近年來，三維人臉表情動(dòng)畫已被廣泛應(yīng)用于各個(gè)領(lǐng)域，如動(dòng)漫、游戲和電影中虛擬角色的表情生成；遠(yuǎn)程網(wǎng)絡(luò)會(huì)議、虛擬現(xiàn)實(shí)中的虛擬人物表情動(dòng)畫；醫(yī)學(xué)美容、人臉識(shí)別中的表情模擬；輔助教育中的虛擬教師、娛樂節(jié)目中的虛擬主持人和虛擬偶像的表情模擬等。

隨著三維人臉表情動(dòng)畫的廣泛應(yīng)用，如何給用戶提供一個(gè)簡(jiǎn)單便捷的交互式編輯工具，并使其編輯生成的表情動(dòng)畫真實(shí)自然成為了學(xué)術(shù)界和工業(yè)界普遍關(guān)注的研究熱點(diǎn)和難點(diǎn)問題。理想的交互式表情編輯工具必須具備兩個(gè)要素：1)操作的直觀性和便捷性。用戶只需簡(jiǎn)單地控制人臉模型上的一些元素(如點(diǎn)、直線、曲線等)的位置和形狀即可實(shí)現(xiàn)對(duì)表情的編輯，這個(gè)交互過程是直觀可見的、且新表情的生成結(jié)果是實(shí)時(shí)顯示的。2)表情合成的高真實(shí)感。要保證用戶通過簡(jiǎn)單的交互編輯后生成的表情動(dòng)畫是真實(shí)自然、令人信服的。然而，要實(shí)現(xiàn)這樣的交互式表情編輯工具是具有挑戰(zhàn)性的，原因在于：1)用戶編輯的人臉模型往往具有幾千甚至幾萬個(gè)頂點(diǎn)，而用戶交互控制的模型頂點(diǎn)數(shù)和曲線數(shù)只有幾個(gè)最多十幾個(gè)，利用如此低維的控制元素來控制高維模型的變形會(huì)導(dǎo)致欠約束問題，從而使得生成的表情不自然甚至錯(cuò)誤。2)由于缺乏經(jīng)驗(yàn)或?qū)I(yè)水平不高，某些用戶對(duì)人臉模型控制元素的交互編輯可能是不合適的甚至是錯(cuò)誤的，這種不合適或錯(cuò)誤的輸入往往直接導(dǎo)致生成的表情不自然甚至是怪異的，從而無法達(dá)到用戶預(yù)期的編輯效果。

目前關(guān)于交互式表情編輯的相關(guān)研究取得了較大進(jìn)展，但仍存在著很多不足。形狀融合變形是目前用于表情動(dòng)畫編輯的主流思路，它將人臉模型表示為若干個(gè)已知的拓?fù)湟恢碌娜四樉W(wǎng)格模型(稱為關(guān)鍵模型)的加權(quán)組合，通過修改關(guān)鍵模型的形狀或調(diào)整各關(guān)鍵模型的融合權(quán)值可生成新的表情。這里，關(guān)鍵模型可以由動(dòng)畫師手工制作，也可以利用動(dòng)態(tài)三維數(shù)據(jù)獲取技術(shù)直接獲取不同模樣、不同表情的人臉網(wǎng)格樣本作為關(guān)鍵模型。在估算融合權(quán)重時(shí)，早期的方法往往直接利用用戶選中的模型控制點(diǎn)作為約束優(yōu)化求解，這會(huì)導(dǎo)致欠約束問題進(jìn)而難以生成真實(shí)自然的表情。后來的很多方法引入了主成分分析來避免欠約束的問題。主成分分析有效降低了關(guān)鍵模型空間的維度，但它運(yùn)算花銷大，且缺乏物理含義和語義信息，從而會(huì)導(dǎo)致不自然表情的產(chǎn)生。因此，引入主成分分析的表情編輯方法通常會(huì)采用對(duì)模型進(jìn)行區(qū)域分割的方式以保證更好的表情編輯效果。近來，越來越多的表情編輯方法引入了區(qū)域分割的思想。它們通過將人臉模型分成多個(gè)區(qū)域，并分區(qū)域?qū)σ延械年P(guān)鍵形狀進(jìn)行插值來產(chǎn)生新的表情。這些方法雖然克服了主成分分析的缺陷，但由于模型上的區(qū)域都是事先分割好的，與用戶選擇的控制元素?zé)o關(guān)，這種硬性的區(qū)域分割在一定程度上破環(huán)了人臉各部分之間的自然相關(guān)性，各區(qū)域變形的簡(jiǎn)單融合又使得人臉模型不同部位之間的運(yùn)動(dòng)相互獨(dú)立、缺乏聯(lián)系，因此很多情況下會(huì)導(dǎo)致不自然表情的產(chǎn)生。最新的一些方法開始探索對(duì)表情序列進(jìn)行編輯，即，將用戶對(duì)單幀網(wǎng)格模型的編輯效果在整個(gè)表情網(wǎng)格序列中進(jìn)行傳播，以產(chǎn)生連續(xù)漸變的表情動(dòng)畫效果。但這些方法都需要大量的離線處理和運(yùn)算。

綜上，如何為用戶提供直觀、簡(jiǎn)便的交互編輯方式，以及如何生成既符合用戶要求、又真實(shí)自然的表情依然是三維人臉表情編輯研究中亟待解決的關(guān)鍵問題和難點(diǎn)問題。該問題的解決將進(jìn)一步推動(dòng)表情編輯技術(shù)在計(jì)算機(jī)動(dòng)畫、影視特效、虛擬現(xiàn)實(shí)、輔助教育等諸多領(lǐng)域的推廣和應(yīng)用。

技術(shù)實(shí)現(xiàn)要素：

為了解決現(xiàn)有技術(shù)中人臉表情動(dòng)畫編輯方法都需要大量的離線處理和運(yùn)算的缺點(diǎn)，本發(fā)明的第一目的是提供一種交互式三維人臉表情動(dòng)畫編輯方法。該方法計(jì)算簡(jiǎn)單且能夠保證各動(dòng)態(tài)區(qū)域的變形既符合用戶要求、又準(zhǔn)確自然。

本發(fā)明的一種交互式三維人臉表情動(dòng)畫編輯方法，包括：

步驟1：將用戶自由指定且移動(dòng)至期望位置的人臉模型的二維控制點(diǎn)象素映射到三維空間，得到人臉模型上對(duì)應(yīng)的三維控制點(diǎn)；

步驟2：建立由于用戶的編輯操作引起的三維控制點(diǎn)變形的形變模型；

步驟3：分別計(jì)算人臉模型上每一個(gè)頂點(diǎn)與三維控制點(diǎn)之間的相關(guān)性系數(shù)；

步驟4：依據(jù)相關(guān)性系數(shù)將人臉模型劃分成不同的動(dòng)態(tài)區(qū)域，每個(gè)動(dòng)態(tài)區(qū)域包含一個(gè)三維控制點(diǎn)；

步驟5：構(gòu)建三維控制點(diǎn)的貢獻(xiàn)圖，貢獻(xiàn)圖的節(jié)點(diǎn)與人臉模型的頂點(diǎn)一一對(duì)應(yīng)，且節(jié)點(diǎn)內(nèi)存儲(chǔ)相應(yīng)人臉模型的頂點(diǎn)與三維控制點(diǎn)之間的相關(guān)性系數(shù)；其中，貢獻(xiàn)圖反映三維控制點(diǎn)變形對(duì)人臉模型的其他頂點(diǎn)運(yùn)動(dòng)的影響程度；

步驟6：依據(jù)貢獻(xiàn)圖以及形變模型對(duì)動(dòng)態(tài)區(qū)域進(jìn)行變形融合，最終得到人臉模型的整體變形，即人臉模型上的新表情。

本發(fā)明根據(jù)相關(guān)性系數(shù)為每個(gè)控制點(diǎn)建立一張貢獻(xiàn)圖。其中，貢獻(xiàn)圖的數(shù)據(jù)存儲(chǔ)方式為圖結(jié)構(gòu)、表格結(jié)構(gòu)、數(shù)組結(jié)構(gòu)或其他數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)形式。在進(jìn)行動(dòng)態(tài)區(qū)域變形的融合時(shí)，依據(jù)貢獻(xiàn)圖每個(gè)區(qū)域內(nèi)的變形對(duì)整個(gè)人臉模型變形的貢獻(xiàn)將隨著該區(qū)域的擴(kuò)散而逐漸減弱。與傳統(tǒng)方法中將各個(gè)區(qū)域的變形簡(jiǎn)單相加平均的方式，該思路更符合人類臉部運(yùn)動(dòng)的規(guī)律，可生成更加真實(shí)自然的表情。

進(jìn)一步的，在所述步驟1中，利用光線跟蹤算法將二維控制點(diǎn)象素映射到三維空間，得到人臉模型上對(duì)應(yīng)的三維控制點(diǎn)。本發(fā)明的該方法利用光線跟蹤能夠準(zhǔn)確得到與二維控制點(diǎn)象素對(duì)應(yīng)的三維點(diǎn)。

進(jìn)一步的，在所述步驟2中，形變模型為關(guān)鍵模型序列的線性組合，也就是各個(gè)關(guān)鍵模型與相應(yīng)權(quán)重系數(shù)相乘后的累加和；所述關(guān)鍵模型序列為已知的一系列表情變化網(wǎng)格模型。

本發(fā)明對(duì)動(dòng)態(tài)區(qū)域變形進(jìn)行建模時(shí)，區(qū)域內(nèi)的變形由用戶對(duì)控制點(diǎn)的操作和已有的關(guān)鍵模型數(shù)據(jù)共同約束決定。這里的關(guān)鍵模型序列可以是利用三維數(shù)據(jù)獲取技術(shù)得到的真人的一系列表情網(wǎng)格模型，也可以是對(duì)人臉模型人工編輯得到的一系列表情變化網(wǎng)格模型，這些模型的表情都是真實(shí)自然的。

進(jìn)一步的，關(guān)鍵模型的權(quán)重系數(shù)由兩項(xiàng)約束項(xiàng)構(gòu)成的目標(biāo)函數(shù)求解得到，其中，第一項(xiàng)約束項(xiàng)用來衡量利用關(guān)鍵模型序列的線性組合表示的三維控制點(diǎn)新位置映射到二維屏幕上后與用戶指定的二維控制點(diǎn)象素新位置的接近程度；第二項(xiàng)約束項(xiàng)用以衡量每幀關(guān)鍵模型與用戶移動(dòng)二維控制點(diǎn)象素所期望產(chǎn)生的新表情之間的相似程度，越相似，表明該幀關(guān)鍵模型對(duì)三維控制點(diǎn)最終變形的貢獻(xiàn)應(yīng)該越大，則該幀關(guān)鍵模型的權(quán)值越大。

本發(fā)明提出了估算各關(guān)鍵模型的融合權(quán)值的目標(biāo)函數(shù)，該目標(biāo)函數(shù)既考慮對(duì)用戶輸入的控制點(diǎn)約束條件的滿足，又考慮各關(guān)鍵模型與用戶期望編輯生成的表情之間的相似程度，越相似，其權(quán)值越大，從而保證各動(dòng)態(tài)區(qū)域的變形既符合用戶要求、又準(zhǔn)確自然。

進(jìn)一步的，在所述步驟3中，利用頂點(diǎn)的相關(guān)性準(zhǔn)則分別計(jì)算人臉模型上每一個(gè)頂點(diǎn)與三維控制點(diǎn)之間的相關(guān)性系數(shù)；其中，相關(guān)性準(zhǔn)則由三項(xiàng)疊加而成，第一項(xiàng)用來衡量頂點(diǎn)與三維控制點(diǎn)之間的空間距離；第二項(xiàng)用來衡量頂點(diǎn)與三維控制點(diǎn)沿著關(guān)鍵模型序列運(yùn)動(dòng)時(shí)方向的相似性；第三項(xiàng)用來衡量頂點(diǎn)與三維控制點(diǎn)沿著關(guān)鍵模型序列運(yùn)動(dòng)時(shí)速率的接近性。

本發(fā)明提出頂點(diǎn)的相關(guān)性準(zhǔn)則來計(jì)算貢獻(xiàn)圖，該準(zhǔn)則即考慮頂點(diǎn)之間的空間鄰近性、又考慮頂點(diǎn)在整個(gè)關(guān)鍵模型序列上的運(yùn)動(dòng)一致性，因此可真實(shí)準(zhǔn)確地反映頂點(diǎn)之間的時(shí)空關(guān)系和相互影響，從而保證合理準(zhǔn)確地將各個(gè)動(dòng)態(tài)區(qū)域的變形傳播到整個(gè)人臉模型上，得到最終的真實(shí)自然的新表情。

進(jìn)一步的，在所述步驟6中，依據(jù)貢獻(xiàn)圖進(jìn)行動(dòng)態(tài)區(qū)域變形的融合，每個(gè)動(dòng)態(tài)區(qū)域內(nèi)的變形對(duì)整個(gè)人臉模型變形的影響將隨著該動(dòng)態(tài)區(qū)域的擴(kuò)散而逐漸減弱。與傳統(tǒng)方法中將各個(gè)區(qū)域的變形簡(jiǎn)單相加取平均的方式，該思路更符合人類臉部運(yùn)動(dòng)的規(guī)律，可生成更加真實(shí)自然的表情。

本發(fā)明的第二目的是提供一種交互式三維人臉表情動(dòng)畫編輯系統(tǒng)。

本發(fā)明的一種交互式三維人臉表情動(dòng)畫編輯系統(tǒng)，包括：

控制點(diǎn)映射模塊，其用于將用戶自由指定且移動(dòng)至期望位置的人臉模型的二維控制點(diǎn)象素映射到三維空間，得到人臉模型上對(duì)應(yīng)的三維控制點(diǎn)；

形變模型建立模塊，其用于建立由于用戶的編輯操作引起的三維控制點(diǎn)變形的形變模型；

相關(guān)性系數(shù)計(jì)算模塊，其用于分別計(jì)算人臉模型上每一個(gè)頂點(diǎn)與三維控制點(diǎn)之間的相關(guān)性系數(shù)；

動(dòng)態(tài)區(qū)域劃分模塊，其用于依據(jù)相關(guān)性系數(shù)將人臉模型劃分成不同的動(dòng)態(tài)區(qū)域，每個(gè)動(dòng)態(tài)區(qū)域包含一個(gè)三維控制點(diǎn)；

貢獻(xiàn)圖建立模塊，其用于構(gòu)建三維控制點(diǎn)的貢獻(xiàn)圖，貢獻(xiàn)圖的節(jié)點(diǎn)與人臉模型的頂點(diǎn)一一對(duì)應(yīng)，且節(jié)點(diǎn)內(nèi)存儲(chǔ)相應(yīng)人臉模型的頂點(diǎn)與三維控制點(diǎn)之間的相關(guān)性系數(shù)；其中，貢獻(xiàn)圖反映三維控制點(diǎn)變形對(duì)人臉模型的其他頂點(diǎn)運(yùn)動(dòng)的影響程度；

變形融合模塊，其用于依據(jù)貢獻(xiàn)圖以及形變模型對(duì)動(dòng)態(tài)區(qū)域進(jìn)行變形融合，最終得到人臉模型的整體變形，即人臉模型上的新表情。

本發(fā)明根據(jù)相關(guān)性系數(shù)為每個(gè)控制點(diǎn)建立一張貢獻(xiàn)圖。其中，貢獻(xiàn)圖的數(shù)據(jù)存儲(chǔ)方式為圖結(jié)構(gòu)、表格結(jié)構(gòu)、數(shù)組結(jié)構(gòu)或其他數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)形式。在進(jìn)行動(dòng)態(tài)區(qū)域變形的融合時(shí)，依據(jù)貢獻(xiàn)圖每個(gè)區(qū)域內(nèi)的變形對(duì)整個(gè)人臉模型變形的貢獻(xiàn)將隨著該區(qū)域的擴(kuò)散而逐漸減弱。與傳統(tǒng)方法中將各個(gè)區(qū)域的變形簡(jiǎn)單相加平均的方式，該思路更符合人類臉部運(yùn)動(dòng)的規(guī)律，可生成更加真實(shí)自然的表情。

進(jìn)一步的，在所述控制點(diǎn)映射模塊中，利用光線跟蹤算法將二維控制點(diǎn)象素映射到三維空間，得到人臉模型上對(duì)應(yīng)的三維控制點(diǎn)。本發(fā)明的該方法利用光線跟蹤能夠準(zhǔn)確得到與二維控制點(diǎn)象素對(duì)應(yīng)的三維點(diǎn)。

進(jìn)一步的，在形變模型建立模塊中，形變模型為關(guān)鍵模型序列的線性組合，也就是各個(gè)關(guān)鍵模型與相應(yīng)權(quán)重系數(shù)相乘后的累加和；所述關(guān)鍵模型序列為已知的一系列表情變化網(wǎng)格模型。

本發(fā)明對(duì)動(dòng)態(tài)區(qū)域變形進(jìn)行建模時(shí)，區(qū)域內(nèi)的變形由用戶對(duì)控制點(diǎn)的操作和已有的關(guān)鍵模型數(shù)據(jù)共同約束決定。這里的關(guān)鍵模型序列可以是利用三維數(shù)據(jù)獲取技術(shù)得到的真人的一系列表情網(wǎng)格模型，也可以是對(duì)人臉模型人工編輯得到的一系列表情變化網(wǎng)格模型，這些模型的表情都是真實(shí)自然的。

進(jìn)一步的，關(guān)鍵模型的權(quán)重系數(shù)由兩項(xiàng)約束項(xiàng)構(gòu)成的目標(biāo)函數(shù)求解得到，其中，第一項(xiàng)約束項(xiàng)用來衡量利用關(guān)鍵模型序列的線性組合表示的三維控制點(diǎn)新位置映射到二維屏幕上后與用戶指定的二維控制點(diǎn)象素新位置的接近程度；第二項(xiàng)約束項(xiàng)用以衡量每幀關(guān)鍵模型與用戶移動(dòng)二維控制點(diǎn)象素所期望產(chǎn)生的新表情之間的相似程度，越相似，表明該幀關(guān)鍵模型對(duì)三維控制點(diǎn)最終變形的貢獻(xiàn)應(yīng)該越大，則該幀關(guān)鍵模型的權(quán)值越大。

本發(fā)明提出了估算各關(guān)鍵模型的融合權(quán)值的目標(biāo)函數(shù)，該目標(biāo)函數(shù)既考慮對(duì)用戶輸入的控制點(diǎn)約束條件的滿足，又考慮各關(guān)鍵模型與用戶期望編輯生成的表情之間的相似程度，越相似，其權(quán)值越大，從而保證各動(dòng)態(tài)區(qū)域的變形既符合用戶要求、又準(zhǔn)確自然。

進(jìn)一步的，在所述相關(guān)性系數(shù)計(jì)算模塊中，利用頂點(diǎn)的相關(guān)性準(zhǔn)則分別計(jì)算人臉模型上每一個(gè)頂點(diǎn)與三維控制點(diǎn)之間的相關(guān)性系數(shù)；其中，相關(guān)性準(zhǔn)則由三項(xiàng)疊加而成，第一項(xiàng)用來衡量頂點(diǎn)與三維控制點(diǎn)之間的空間距離；第二項(xiàng)用來衡量頂點(diǎn)與三維控制點(diǎn)沿著關(guān)鍵模型序列運(yùn)動(dòng)時(shí)方向的相似性；第三項(xiàng)用來衡量頂點(diǎn)與三維控制點(diǎn)沿著關(guān)鍵模型序列運(yùn)動(dòng)時(shí)速率的接近性。

本發(fā)明提出頂點(diǎn)的相關(guān)性準(zhǔn)則來計(jì)算貢獻(xiàn)圖，該準(zhǔn)則即考慮頂點(diǎn)之間的空間鄰近性、又考慮頂點(diǎn)在整個(gè)關(guān)鍵模型序列上的運(yùn)動(dòng)一致性，因此可真實(shí)準(zhǔn)確地反映頂點(diǎn)之間的時(shí)空關(guān)系和相互影響，從而保證合理準(zhǔn)確地將各個(gè)動(dòng)態(tài)區(qū)域的變形傳播到整個(gè)人臉模型上，得到最終的真實(shí)自然的新表情。

本發(fā)明依據(jù)貢獻(xiàn)圖進(jìn)行動(dòng)態(tài)區(qū)域變形的融合，每個(gè)動(dòng)態(tài)區(qū)域內(nèi)的變形對(duì)整個(gè)人臉模型變形的影響將隨著該動(dòng)態(tài)區(qū)域的擴(kuò)散而逐漸減弱。與傳統(tǒng)方法中將各個(gè)區(qū)域的變形簡(jiǎn)單相加取平均的方式，該思路更符合人類臉部運(yùn)動(dòng)的規(guī)律，可生成更加真實(shí)自然的表情。

本發(fā)明還提供了另一種交互式三維人臉表情動(dòng)畫編輯系統(tǒng)。

本發(fā)明的一種交互式三維人臉表情動(dòng)畫編輯系統(tǒng)，包括服務(wù)器和客戶端；所述服務(wù)器，其被配置為：

將用戶自由指定且移動(dòng)至期望位置的人臉模型的二維控制點(diǎn)象素映射到三維空間，得到人臉模型上對(duì)應(yīng)的三維控制點(diǎn)；

建立由于用戶的編輯操作引起的三維控制點(diǎn)變形的形變模型；

分別計(jì)算人臉模型上每一個(gè)頂點(diǎn)與三維控制點(diǎn)之間的相關(guān)性系數(shù)；

依據(jù)相關(guān)性系數(shù)將人臉模型劃分成不同的動(dòng)態(tài)區(qū)域，每個(gè)動(dòng)態(tài)區(qū)域包含一個(gè)三維控制點(diǎn)；

構(gòu)建三維控制點(diǎn)的貢獻(xiàn)圖，貢獻(xiàn)圖的節(jié)點(diǎn)與人臉模型的頂點(diǎn)一一對(duì)應(yīng)，且節(jié)點(diǎn)內(nèi)存儲(chǔ)相應(yīng)人臉模型的頂點(diǎn)與三維控制點(diǎn)之間的相關(guān)性系數(shù)；其中，貢獻(xiàn)圖反映三維控制點(diǎn)變形對(duì)人臉模型的其他頂點(diǎn)運(yùn)動(dòng)的影響程度；

依據(jù)貢獻(xiàn)圖以及形變模型對(duì)動(dòng)態(tài)區(qū)域進(jìn)行變形融合，最終得到新表情的人臉模型并輸出；

客戶端，其被配置為接收用戶的編輯輸入以及顯示輸出的人臉模型的新表情。

本發(fā)明根據(jù)相關(guān)性系數(shù)為每個(gè)控制點(diǎn)建立一張貢獻(xiàn)圖。其中，貢獻(xiàn)圖的數(shù)據(jù)存儲(chǔ)方式為圖結(jié)構(gòu)、表格結(jié)構(gòu)、數(shù)組結(jié)構(gòu)或其他數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)形式。在進(jìn)行動(dòng)態(tài)區(qū)域變形的融合時(shí)，依據(jù)貢獻(xiàn)圖每個(gè)區(qū)域內(nèi)的變形對(duì)整個(gè)人臉模型變形的貢獻(xiàn)將隨著該區(qū)域的擴(kuò)散而逐漸減弱。與傳統(tǒng)方法中將各個(gè)區(qū)域的變形簡(jiǎn)單相加平均的方式，該思路更符合人類臉部運(yùn)動(dòng)的規(guī)律，可生成更加真實(shí)自然的表情。

本發(fā)明的第三目的是提供一種交互式三維人臉表情動(dòng)畫編輯的擴(kuò)展方法。

本發(fā)明的該交互式三維人臉表情動(dòng)畫編輯的擴(kuò)展方法，包括：

將無對(duì)應(yīng)關(guān)鍵模型序列的人臉模型標(biāo)記為目標(biāo)模型，將有對(duì)應(yīng)關(guān)鍵模型序列的人臉模型標(biāo)記為模板模型；

將在目標(biāo)模型上指定的編輯約束條件映射到模板模型上；

然后，利用上述所述的交互式三維人臉表情動(dòng)畫編輯方法生成人臉模型上的新表情；

將具有新表情的人臉模型作為新的模板模型，最后，利用表情克隆方法將新的模板模型上的表情傳遞到新的目標(biāo)模型上，從而實(shí)現(xiàn)三維人臉表情動(dòng)畫編輯的擴(kuò)展。

本發(fā)明的有益效果為：

(1)本發(fā)明根據(jù)用戶指定的控制點(diǎn)對(duì)模型進(jìn)行實(shí)時(shí)的動(dòng)態(tài)區(qū)域劃分，每個(gè)控制點(diǎn)確定一個(gè)動(dòng)態(tài)區(qū)域，并對(duì)每個(gè)動(dòng)態(tài)區(qū)域的變形分別建模，然后將所有動(dòng)態(tài)區(qū)域的變形進(jìn)行融合得到最終的新表情。其中，對(duì)動(dòng)態(tài)區(qū)域變形進(jìn)行建模時(shí)，區(qū)域內(nèi)的變形由用戶對(duì)控制點(diǎn)的操作和已有的關(guān)鍵模型數(shù)據(jù)共同約束決定。并提出了估算各關(guān)鍵模型的融合權(quán)值的目標(biāo)函數(shù)，該目標(biāo)函數(shù)既考慮對(duì)用戶輸入的控制點(diǎn)約束條件的滿足，又考慮各關(guān)鍵模型與用戶期望編輯生成的表情之間的相似程度，越相似，其權(quán)值越大，從而保證各動(dòng)態(tài)區(qū)域的變形既符合用戶要求、又準(zhǔn)確自然。

(2)本發(fā)明在進(jìn)行動(dòng)態(tài)區(qū)域融合時(shí)，提出為每個(gè)控制點(diǎn)定義一個(gè)貢獻(xiàn)圖的概念，依據(jù)貢獻(xiàn)圖每個(gè)區(qū)域內(nèi)的變形對(duì)整個(gè)人臉模型變形的貢獻(xiàn)將隨著該區(qū)域的擴(kuò)散而逐漸減弱。并提出頂點(diǎn)的相關(guān)性準(zhǔn)則來計(jì)算貢獻(xiàn)圖，該準(zhǔn)則即考慮頂點(diǎn)之間的空間鄰近性、又考慮頂點(diǎn)在整個(gè)關(guān)鍵模型序列上的運(yùn)動(dòng)一致性，因此可真實(shí)準(zhǔn)確地反映頂點(diǎn)之間的時(shí)空關(guān)系和相互影響，從而保證合理準(zhǔn)確地將各個(gè)動(dòng)態(tài)區(qū)域的變形傳播到整個(gè)人臉模型上，得到最終的真實(shí)自然的新表情。

(3)本發(fā)明采用與表情克隆相結(jié)合的思路對(duì)方法進(jìn)行了擴(kuò)展，擴(kuò)展后的方法可在無需增大已有關(guān)鍵模型數(shù)據(jù)庫規(guī)模的情況下，支持用戶對(duì)任意模樣和拓?fù)浣Y(jié)構(gòu)的人臉模型進(jìn)行交互編輯，并生成真實(shí)自然的表情。整個(gè)方法允許用戶對(duì)任意形狀和拓?fù)浣Y(jié)構(gòu)的模型進(jìn)行交互編輯，交互方式直觀、簡(jiǎn)捷、交互結(jié)果實(shí)時(shí)可見。并且方法在生成新表情時(shí)，不僅滿足了用戶輸入的編輯約束條件、而且充分利用了關(guān)鍵模型自身已有的自然表情信息和模型間的時(shí)空連續(xù)性來保證表情生成的真實(shí)感，因此本發(fā)明方法可編輯生成既符合用戶需求、又真實(shí)自然的表情動(dòng)畫。

附圖說明

圖1是本發(fā)明的一種交互式三維人臉表情動(dòng)畫編輯方法流程圖；

圖2是相關(guān)性準(zhǔn)則計(jì)算示意圖；

圖3是本發(fā)明的該方法擴(kuò)展的基本思路流程圖；

圖4(a)是該方法擴(kuò)展后的交互編輯生成表情動(dòng)畫的第一組效果圖；

圖4(b)是該方法擴(kuò)展后的交互編輯生成表情動(dòng)畫的第二組效果圖；

圖4(c)是該方法擴(kuò)展后的交互編輯生成表情動(dòng)畫的第三組效果圖；

圖4(d)是該方法擴(kuò)展后的交互編輯生成表情動(dòng)畫的第四組效果圖；

圖5是本發(fā)明的一種交互式三維人臉表情動(dòng)畫編輯系統(tǒng)結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。

圖1是本發(fā)明的一種交互式三維人臉表情動(dòng)畫編輯方法流程圖。如圖所示的交互式三維人臉表情動(dòng)畫編輯方法，該方法在服務(wù)器內(nèi)完成，具體包括：

步驟1：將用戶自由指定且移動(dòng)至期望位置的人臉模型的二維控制點(diǎn)象素映射到三維空間，得到人臉模型上對(duì)應(yīng)的三維控制點(diǎn)。

具體地，為給用戶提供直觀便捷的交互方式，本發(fā)明允許用戶在二維屏幕上任意選擇人臉模型上的點(diǎn)作為二維控制點(diǎn)，并通過拖動(dòng)二維控制點(diǎn)來控制模型的表情變化。用戶指定的這些二維控制點(diǎn)及其位置變化信息將作為編輯約束條件用于后續(xù)步驟中人臉模型變形的求解。

假設(shè)用戶在二維屏幕選定L個(gè)二維控制點(diǎn)象素{s_l|l＝1,2,...,L}，并指定這些二維控制點(diǎn)象素移動(dòng)到的新位置為{p_l|l＝1,2,...,L}，本發(fā)明利用光線跟蹤算法將這些選定的二維象素點(diǎn)映射到人臉模型所在的三維空間，得到與這L個(gè)二維象素點(diǎn)對(duì)應(yīng)的模型頂點(diǎn)作為三維控制點(diǎn)。二維象素點(diǎn)和三維空間點(diǎn)之間的映射關(guān)系如公式(1)所示

其中，p為二維象素點(diǎn)，q為三維空間點(diǎn)，為相機(jī)旋轉(zhuǎn)矩陣的行向量，t_i為相機(jī)平移向量的元素，f是相機(jī)的焦距，s_w和s_h分別為二維屏幕的寬和高。

利用公式(1)可將二維象素點(diǎn)表示為三維空間點(diǎn)的非線性函數(shù)，表達(dá)式如下

步驟2：建立由于用戶的編輯操作引起的三維控制點(diǎn)變形的形變模型。

在具體實(shí)施過程中，用戶對(duì)控制點(diǎn)的編輯操作會(huì)帶動(dòng)模型的變形，對(duì)每一個(gè)控制點(diǎn)所引起的變形，將其表示為已知關(guān)鍵模型的線性組合，并求出各關(guān)鍵模型的權(quán)重系數(shù)。這里的關(guān)鍵模型序列可以是利用三維數(shù)據(jù)獲取技術(shù)得到的真人的一系列表情網(wǎng)格模型，也可以是對(duì)人臉模型人工編輯得到的一系列表情變化網(wǎng)格模型，這些模型的表情都是真實(shí)自然的。設(shè)關(guān)鍵模型序列共有M幀，每幀具有N個(gè)頂點(diǎn)，其中，第m幀記為T_m＝{v_i,m},i＝1,...,N，這里{v_i,m}為頂點(diǎn)集合。不失一般性，可將關(guān)鍵模型序列的第一幀T₁提供給用戶作為交互編輯的模型，稱為中性模型。設(shè){v_l|l＝1,...,L}是經(jīng)光線跟蹤得到的與用戶指定的二維象素點(diǎn)對(duì)應(yīng)的中性模型上的三維控制點(diǎn)，假設(shè)這些控制點(diǎn)經(jīng)過用戶編輯后移動(dòng)到的新位置為{q_l|l＝1,...,L}。

則對(duì)每個(gè)v_l，其變形表示為已知關(guān)鍵模型的線性組合形式如下

q_l＝w₁v_l,1+w₂v_l,2+...+w_Mv_l,M (3)

其中，w_m為待求的關(guān)鍵模型T_m的權(quán)值，m＝1,...,M。

估算權(quán)值w_m,m＝1,...,M的目標(biāo)函數(shù)由兩項(xiàng)約束項(xiàng)構(gòu)成。其中，第一項(xiàng)約束項(xiàng)用來衡量利用關(guān)鍵模型的線性組合表示的控制點(diǎn)v_l的新位置與用戶指定的新位置q_l的接近程度，顯然，越接近越好。該約束項(xiàng)用以保證對(duì)用戶編輯約束條件的滿足。具體表示形式為

其中，W＝[w₁w₂...w_M]^T，||·||為歐幾里得距離。

第二項(xiàng)約束項(xiàng)用以衡量每幀關(guān)鍵模型與用戶移動(dòng)控制點(diǎn)所期望產(chǎn)生的新表情之間的相似程度，顯然，越相似，表明該幀關(guān)鍵模型對(duì)控制點(diǎn)最終變形的貢獻(xiàn)應(yīng)該越大，則該幀的權(quán)值越大。具體表示形式為

則目標(biāo)函數(shù)表示為

E(W)＝θ₁E₁(W)+θ₂E₂(W) (4)

其中，θ₁和θ₂為調(diào)和系數(shù)。

目標(biāo)函數(shù)(4)中的控制點(diǎn)是在三維空間中定義的，而本發(fā)明允許用戶在二維屏幕上操作控制點(diǎn)象素，因此結(jié)合公式(2)，將公式(4)映射成二維空間中的目標(biāo)函數(shù)，設(shè)用戶將選定的控制點(diǎn)象素移動(dòng)到的新位置為{p_l|l＝1,2,...,L}，則公式(4)轉(zhuǎn)化為如下目標(biāo)函數(shù)

對(duì)每一個(gè)三維控制點(diǎn)v_l，通過優(yōu)化目標(biāo)函數(shù)(5)得到一組用于表示v_l變形的關(guān)鍵模型的權(quán)值，記為W_l，然后由公式(3)即可得到v_l的形變模型。由公式(3)和目標(biāo)函數(shù)(5)可見，本發(fā)明在對(duì)每個(gè)控制點(diǎn)的變形進(jìn)行建模時(shí)，既盡可能地滿足了用戶指定的編輯要求，又充分利用了已知的關(guān)鍵模型序列信息。由于關(guān)鍵模型的表情都是正確自然的，對(duì)這些關(guān)鍵模型數(shù)據(jù)的利用不僅能夠有效地保證新表情的真實(shí)自然，而且提供了很好的對(duì)用戶錯(cuò)誤輸入的容錯(cuò)能力，避免了傳統(tǒng)方法中僅考慮用戶編輯要求而用戶的輸入又不恰當(dāng)時(shí)所導(dǎo)致的不自然甚至錯(cuò)誤表情的問題。

本發(fā)明與傳統(tǒng)表情編輯方法相比：在用戶的編輯操作不恰當(dāng)，明顯對(duì)表情變化的引導(dǎo)是錯(cuò)誤的情況下，傳統(tǒng)方法僅考慮對(duì)用戶編輯條件的滿足，所以產(chǎn)生了特別怪異的、真實(shí)人類無法做出的表情。而本發(fā)明除了考慮用戶的編輯要求，還會(huì)利用已有關(guān)鍵模型序列來約束中性模型的變形，所以最終產(chǎn)生的新表情雖然跟用戶的編輯要求有一定誤差，但卻是真實(shí)自然的。可見，本發(fā)明方法具有較好的容錯(cuò)能力和更高的真實(shí)感。

步驟3：分別計(jì)算人臉模型上每一個(gè)頂點(diǎn)與三維控制點(diǎn)之間的相關(guān)性系數(shù)。

在具體實(shí)施過程中，根據(jù)用戶指定的控制點(diǎn)，本發(fā)明自動(dòng)、實(shí)時(shí)地將中性模型分割成多個(gè)動(dòng)態(tài)區(qū)域，每個(gè)動(dòng)態(tài)區(qū)域包含一個(gè)三維控制點(diǎn)，不同的動(dòng)態(tài)區(qū)域之間允許重合。這種自適應(yīng)的、動(dòng)態(tài)的區(qū)域劃分可有效避免傳統(tǒng)方法中的過約束或欠約束問題。進(jìn)行動(dòng)態(tài)區(qū)域的變形融合時(shí)，本發(fā)明拋棄傳統(tǒng)方法中將各個(gè)區(qū)域的變形簡(jiǎn)單相加平均的方式，而是采用更合理的將區(qū)域變形對(duì)整個(gè)中性模型變形的貢獻(xiàn)隨區(qū)域的擴(kuò)散而逐漸減弱的思路，即，每個(gè)區(qū)域內(nèi)的三維控制點(diǎn)所引起的變形對(duì)整個(gè)模型變形的帶動(dòng)效果會(huì)隨著其在模型上的傳播而減弱。該思路更符合人類臉部運(yùn)動(dòng)的規(guī)律，可生成更加真實(shí)自然的表情。為衡量這種貢獻(xiàn)，本發(fā)明為每個(gè)三維控制點(diǎn)定義了一個(gè)貢獻(xiàn)圖，該貢獻(xiàn)圖反映了控制點(diǎn)的變形對(duì)整個(gè)中性模型最終變形效果的影響程度的大小，貢獻(xiàn)值越大，影響程度越強(qiáng)。

本發(fā)明利用頂點(diǎn)與三維控制點(diǎn)之間的相關(guān)性來計(jì)算三維控制點(diǎn)的貢獻(xiàn)圖，顯然，頂點(diǎn)與控制點(diǎn)的相關(guān)性越高，其運(yùn)動(dòng)受到該控制點(diǎn)變形的影響就越大。與傳統(tǒng)方法中衡量?jī)蓚€(gè)頂點(diǎn)間的相關(guān)性時(shí)僅考慮物理距離不同，本發(fā)明中三維頂點(diǎn)的相關(guān)性準(zhǔn)則不僅考慮到中性模型上頂點(diǎn)與三維控制點(diǎn)之間的空間鄰近性，還考慮到頂點(diǎn)與三維控制點(diǎn)沿著時(shí)間軸在關(guān)鍵模型序列上運(yùn)動(dòng)的一致性。相關(guān)性準(zhǔn)則的具體表示形式如下

其中，

其中，v_i,1和v_l分別為中性模型T₁上的頂點(diǎn)和控制點(diǎn)，為v_i,1和v_l在第m幀關(guān)鍵模型T_m上的相關(guān)性值。

如附圖2所示，相關(guān)性準(zhǔn)則中的第一項(xiàng)用來衡量頂點(diǎn)v_i,1與三維控制點(diǎn)v_l之間的空間距離，距離越小，說明相關(guān)性越高。第二項(xiàng)用來衡量頂點(diǎn)v_i,1與三維控制點(diǎn)v_l沿著關(guān)鍵模型序列運(yùn)動(dòng)時(shí)方向的相似性，運(yùn)動(dòng)方向越接近，說明相關(guān)性越高。第三項(xiàng)用來衡量頂點(diǎn)v_i,1與三維控制點(diǎn)v_l沿著關(guān)鍵模型序列運(yùn)動(dòng)時(shí)速率的接近性，運(yùn)動(dòng)速率越相近，說明相關(guān)性越高。和直觀地反映了頂點(diǎn)與控制點(diǎn)在關(guān)鍵模型序列上運(yùn)動(dòng)時(shí)的時(shí)空一致性。和的取值范圍均為[0,1]。

利用公式(6)計(jì)算得到頂點(diǎn)v_i,1與三維控制點(diǎn)v_l相對(duì)于每一幀關(guān)鍵模型的相關(guān)性值后，對(duì)所有值取平均，如公式(7)所示，即得到v_i,1相對(duì)于v_l的最終的相關(guān)性系數(shù)。

與傳統(tǒng)方法中衡量?jī)蓚€(gè)頂點(diǎn)間的相關(guān)性時(shí)僅考慮物理距離不同，本發(fā)明中頂點(diǎn)的相關(guān)性準(zhǔn)則不僅考慮到中性模型上頂點(diǎn)與三維控制點(diǎn)之間的空間鄰近性，還考慮到頂點(diǎn)與三維控制點(diǎn)沿著時(shí)間軸在關(guān)鍵模型序列上運(yùn)動(dòng)的一致性。

在另一實(shí)施例中，除了利用上述頂點(diǎn)的相關(guān)性準(zhǔn)則分別計(jì)算人臉模型上每一個(gè)頂點(diǎn)與三維控制點(diǎn)之間的相關(guān)性系數(shù)之外，還可以采用其他相關(guān)性準(zhǔn)則來計(jì)算人臉模型上每一個(gè)頂點(diǎn)與三維控制點(diǎn)之間的相關(guān)性系數(shù)，比如：

相關(guān)性準(zhǔn)則只考慮頂點(diǎn)與三維控制點(diǎn)之間的空間距離、頂點(diǎn)與三維控制點(diǎn)沿著關(guān)鍵模型序列運(yùn)動(dòng)時(shí)方向的相似性或頂點(diǎn)與三維控制點(diǎn)沿著關(guān)鍵模型序列運(yùn)動(dòng)時(shí)速率的接近性任一項(xiàng)參數(shù)；

或者，相關(guān)性準(zhǔn)則考慮上述三項(xiàng)參數(shù)中任意兩項(xiàng)參數(shù)的組合。

步驟4：依據(jù)相關(guān)性系數(shù)將人臉模型劃分成不同的動(dòng)態(tài)區(qū)域，每個(gè)動(dòng)態(tài)區(qū)域包含一個(gè)三維控制點(diǎn)。

具體地，利用相關(guān)性公式(7)獲得模型上每個(gè)頂點(diǎn)與各個(gè)三維控制點(diǎn)的相關(guān)性系數(shù)后，依據(jù)這些相關(guān)性系數(shù)將模型自動(dòng)劃分成L個(gè)動(dòng)態(tài)區(qū)域，每個(gè)區(qū)域包含一個(gè)控制點(diǎn)。這些區(qū)域允許部分重合，因?yàn)橥粋€(gè)頂點(diǎn)跟多個(gè)控制點(diǎn)具有相關(guān)性，受多個(gè)控制點(diǎn)變形的影響是合理的。

本發(fā)明根據(jù)用戶指定的控制點(diǎn)數(shù)目和位置自動(dòng)實(shí)時(shí)地進(jìn)行動(dòng)態(tài)區(qū)域劃分，并根據(jù)各區(qū)域變形對(duì)整個(gè)模型變形的貢獻(xiàn)將它們加權(quán)融合生成新表情的方式，可有效克服傳統(tǒng)方法中硬性分區(qū)帶來的表情不自然、尤其是無法生成不對(duì)稱表情的缺陷。

步驟5：構(gòu)建三維控制點(diǎn)的貢獻(xiàn)圖，貢獻(xiàn)圖的節(jié)點(diǎn)與人臉模型的頂點(diǎn)一一對(duì)應(yīng)，且節(jié)點(diǎn)內(nèi)存儲(chǔ)相應(yīng)人臉模型的頂點(diǎn)與三維控制點(diǎn)之間的相關(guān)性系數(shù)；其中，貢獻(xiàn)圖反映三維控制點(diǎn)變形對(duì)人臉模型的其他頂點(diǎn)運(yùn)動(dòng)的影響程度。

在模型的變形過程中，模型上的頂點(diǎn)受其所在區(qū)域內(nèi)三維控制點(diǎn)的驅(qū)動(dòng)而產(chǎn)生變形，但對(duì)于同一區(qū)域內(nèi)的不同頂點(diǎn)，其受到三維控制點(diǎn)的影響是不同的。顯然，三維控制點(diǎn)與頂點(diǎn)的相關(guān)性越高，三維控制點(diǎn)對(duì)頂點(diǎn)的影響應(yīng)該越大，即對(duì)頂點(diǎn)變形所起的作用越大。因此，本發(fā)明根據(jù)公式(7)計(jì)算出的三維控制點(diǎn)與各個(gè)頂點(diǎn)的相關(guān)性系數(shù)，為每個(gè)三維控制點(diǎn)建立了一張貢獻(xiàn)圖。貢獻(xiàn)圖中的貢獻(xiàn)值就是相關(guān)性系數(shù)，反映了三維控制點(diǎn)變形對(duì)其他頂點(diǎn)運(yùn)動(dòng)的影響程度。

本發(fā)明根據(jù)相關(guān)性系數(shù)為每個(gè)控制點(diǎn)建立一張貢獻(xiàn)圖。其中，貢獻(xiàn)圖的數(shù)據(jù)存儲(chǔ)方式為圖結(jié)構(gòu)、表格結(jié)構(gòu)、數(shù)組結(jié)構(gòu)或其他數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)形式。在進(jìn)行動(dòng)態(tài)區(qū)域變形的融合時(shí)，依據(jù)貢獻(xiàn)圖每個(gè)區(qū)域內(nèi)的變形對(duì)整個(gè)人臉模型變形的貢獻(xiàn)將隨著該區(qū)域的擴(kuò)散而逐漸減弱。與傳統(tǒng)方法中將各個(gè)區(qū)域的變形簡(jiǎn)單相加平均的方式，該思路更符合人類臉部運(yùn)動(dòng)的規(guī)律，可生成更加真實(shí)自然的表情。

步驟6：依據(jù)貢獻(xiàn)圖以及形變模型對(duì)動(dòng)態(tài)區(qū)域進(jìn)行變形融合，最終得到人臉模型的整體變形，即人臉模型上的新表情。

融合各個(gè)動(dòng)態(tài)區(qū)域的變形時(shí)，對(duì)于中性模型上的每一個(gè)頂點(diǎn)v_i,1,i＝1,...,N，由于其可能處于多個(gè)動(dòng)態(tài)區(qū)域中，所以其最終的變形應(yīng)該受到多個(gè)區(qū)域控制點(diǎn)的影響，且它與哪個(gè)控制點(diǎn)的相關(guān)性高，受該控制點(diǎn)引發(fā)變形的影響就越大，即，與該控制點(diǎn)相關(guān)的各幀關(guān)鍵模型的線性組合權(quán)值對(duì)它的變形所起的作用就越大。由此，得到頂點(diǎn)v_i,1的變形表達(dá)式如下

其中，q_i.1是頂點(diǎn)v_i,1經(jīng)過變形運(yùn)動(dòng)后到達(dá)的新位置，該位置用于形成中性模型上最終的新表情。W_l＝[w_l,1w_l,2...w_l,M]^T是對(duì)每一個(gè)控制點(diǎn)v_l，利用目標(biāo)函數(shù)(5)得到的一組用于表示v_l變形的關(guān)鍵模型的權(quán)值。W_i,1是用于表示頂點(diǎn)v_i,1變形的各關(guān)鍵幀的最終權(quán)值，顯然該最終權(quán)值的確定既考慮了各個(gè)控制點(diǎn)自身變形相關(guān)的權(quán)值，又考慮了各個(gè)控制點(diǎn)對(duì)頂點(diǎn)v_i,1變形的貢獻(xiàn)。B_i,l(v_i,1,v_l)是對(duì)頂點(diǎn)v_i,1與所有控制點(diǎn)的相關(guān)性系數(shù)進(jìn)行歸一化后的結(jié)果，以保證其取值范圍仍為[0,1]。

由公式(5)、(7)和(8)可見，人臉模型上每一個(gè)頂點(diǎn)的變形均表示為所有已知關(guān)鍵模型的線性組合，且估算各關(guān)鍵模型的權(quán)值時(shí)不僅滿足了用戶輸入的編輯約束條件、而且充分利用了關(guān)鍵模型自身已有的自然表情信息和模型間的時(shí)空連續(xù)性來保證表情生成的真實(shí)感，因此本發(fā)明方法可編輯生成既符合用戶需求、又真實(shí)自然的表情動(dòng)畫。另外，方法中根據(jù)用戶指定的控制點(diǎn)數(shù)目和位置自動(dòng)實(shí)時(shí)地進(jìn)行動(dòng)態(tài)區(qū)域劃分，并根據(jù)各區(qū)域變形對(duì)整個(gè)模型變形的貢獻(xiàn)將它們加權(quán)融合生成新表情的方式，可有效克服傳統(tǒng)方法中硬性分區(qū)帶來的表情不自然、尤其是無法生成不對(duì)稱表情的缺陷。

本發(fā)明與傳統(tǒng)的基于主成分分析的表情編輯方法相比：傳統(tǒng)方法產(chǎn)生的新表情不自然，甚至有扭曲現(xiàn)象。這是由于傳統(tǒng)方法事先將人臉硬性分割成固定的區(qū)域(如，眼睛區(qū)域、鼻子區(qū)域、嘴部區(qū)域等)，這使得用戶選定的控制點(diǎn)位于同一區(qū)域時(shí)無法分別對(duì)其進(jìn)行控制，且傳統(tǒng)方法在各個(gè)區(qū)域獨(dú)立地進(jìn)行主成分分析獲取最相似的模型變形，這既割裂了區(qū)域之間運(yùn)動(dòng)的相關(guān)性，又在關(guān)鍵模型都是對(duì)稱表情的情況下無法融合成不對(duì)稱的表情，所以最終產(chǎn)生的表情是不自然甚至錯(cuò)誤的。本發(fā)明產(chǎn)生的新表情自然且符合用戶的編輯要求。這是由于本發(fā)明是根據(jù)用戶選定的控制點(diǎn)來實(shí)時(shí)、自動(dòng)地對(duì)模型進(jìn)行動(dòng)態(tài)區(qū)域分割，每個(gè)區(qū)域包含一個(gè)控制點(diǎn)，這使得對(duì)每個(gè)控制點(diǎn)可以按照用戶的需求分別進(jìn)行控制，并建立形變模型。另外，本發(fā)明對(duì)各個(gè)區(qū)域進(jìn)行融合時(shí)，是根據(jù)貢獻(xiàn)圖計(jì)算每個(gè)區(qū)域?qū)φ麄€(gè)模型最終變形效果的影響，因此產(chǎn)生的表情更合理，且在關(guān)鍵模型都是對(duì)稱表情的情況下也能融合出不對(duì)稱的表情?？梢姡景l(fā)明相比傳統(tǒng)的方法，不僅表情更加真實(shí)自然，而且可以生成不對(duì)稱的表情。

本發(fā)明的該方法還可以作出如下擴(kuò)展：

本發(fā)明的該方法將人臉模型的變形表示為已知關(guān)鍵模型的加權(quán)組合，這要求用戶使用的人臉模型與已知的關(guān)鍵模型必須是拓?fù)湟恢碌耐粋€(gè)人物的模型，這也是幾乎所有基于形狀融合思路的表情編輯方法的基本要求。而實(shí)際應(yīng)用中，用戶交互編輯的人臉模型是多種多樣，千變?nèi)f化的，必然存在著已知關(guān)鍵模型序列庫中沒有的人臉模型。傳統(tǒng)方法處理這種問題的方式往往是增大人臉數(shù)據(jù)庫，帶來的弊端一是導(dǎo)致數(shù)據(jù)庫過于龐大，二是新關(guān)鍵模型序列的獲取需要花費(fèi)技術(shù)人員較多的精力和時(shí)間，這些都影響了方法的實(shí)用性。

為克服傳統(tǒng)方法的弊端，進(jìn)一步提高本發(fā)明方法的實(shí)用性，本發(fā)明提出與表情克隆相結(jié)合的思路對(duì)方法進(jìn)行了擴(kuò)展，擴(kuò)展后的方法可在無需增大數(shù)據(jù)庫規(guī)模的情況下，支持用戶對(duì)任意模樣和拓?fù)浣Y(jié)構(gòu)的人臉模型進(jìn)行交互編輯，并生成真實(shí)自然的表情。

方法擴(kuò)展的基本思路是：對(duì)那些在已有數(shù)據(jù)庫中無對(duì)應(yīng)關(guān)鍵模型序列的人臉模型(稱為目標(biāo)模型)，將用戶在目標(biāo)模型上指定的編輯約束條件映射到一個(gè)在數(shù)據(jù)庫中有對(duì)應(yīng)關(guān)鍵模型序列的人臉模型上(稱為模板模型)；然后利用本發(fā)明前述步驟控制模板模型的變形生成新表情；最后利用表情克隆方法將模板模型上的新表情傳遞到目標(biāo)模型上，從而得到目標(biāo)模型的新表情。

方法擴(kuò)展的具體步驟如下：

(1)建立模板模型和目標(biāo)模型之間的點(diǎn)對(duì)應(yīng)關(guān)系

首先利用啟發(fā)式原則自動(dòng)搜索模板模型和目標(biāo)模型上的特征點(diǎn)并建立特征點(diǎn)之間的對(duì)應(yīng)關(guān)系，在此基礎(chǔ)上再利用徑向基函數(shù)建立起模型之間稠密的點(diǎn)對(duì)應(yīng)關(guān)系，即，對(duì)模板模型上的每一個(gè)點(diǎn)v_i，在目標(biāo)網(wǎng)格都有一個(gè)與之距離最近的對(duì)應(yīng)點(diǎn)v′_i，反之亦然。

(2)用戶編輯約束條件的傳遞

本發(fā)明用模型上控制點(diǎn)的位移向量，即，用戶選定的控制點(diǎn)的原始位置與用戶為控制點(diǎn)指定的新位置之間的位移，來表示用戶編輯約束條件。由于模板模型和目標(biāo)模型表示的人臉的幾何結(jié)構(gòu)和比例等可能會(huì)相差較大，因此將目標(biāo)模型上的控制點(diǎn)位移向量映射到模板模型上時(shí)需要對(duì)其進(jìn)行方向和模長(zhǎng)的調(diào)整，以適應(yīng)模型臉部結(jié)構(gòu)的變化。其中，對(duì)位移向量進(jìn)行旋轉(zhuǎn)以保證其映射到模板模型上后相對(duì)于所在的局部網(wǎng)格曲面的方向保持不變，對(duì)位移向量依據(jù)模板模型上其所在局部曲面的面積進(jìn)行模長(zhǎng)的放縮以保證其適應(yīng)模板模型的臉部比例。

如附圖3所示，假設(shè)用戶在二維屏幕上選定目標(biāo)模型上的控制點(diǎn)象素為s_l，為其指定的新位置為p_l，利用光線跟蹤得到s_l對(duì)應(yīng)的目標(biāo)模型上的三維控制點(diǎn)v′_l，設(shè)其在產(chǎn)生新表情的過程中移動(dòng)到的新位置為q′_l，顯然，q′_l在當(dāng)前視角下應(yīng)該恰好投影到二維屏幕上用戶指定的目標(biāo)位置p_l。利用步驟(1)中建立的模型之間的點(diǎn)對(duì)應(yīng)關(guān)系，很容易得到v′_l在模板模型上的對(duì)應(yīng)點(diǎn)v_l，該點(diǎn)即為模板模型的控制點(diǎn)，將v′_l的位移向量傳遞給v_l，并假設(shè)v_l移動(dòng)到的待求的新位置為q_l。

(3)新表情的生成和傳遞

對(duì)模板模型上的控制點(diǎn)v_l，利用步驟(2)中傳遞到模板模型上的用戶編輯條件，以及與模板模型對(duì)應(yīng)的已知關(guān)鍵模型序列求解出它的變形。假設(shè)已利用公式(4)估算出各個(gè)關(guān)鍵模型的權(quán)值，并利用公式(3)線性組合各個(gè)關(guān)鍵模型得到了控制點(diǎn)v_l的新位置q_l，則接下來要將控制點(diǎn)v_l的變形傳遞給目標(biāo)模型上的對(duì)應(yīng)控制點(diǎn)v′_l。傳遞時(shí)，本發(fā)明用控制點(diǎn)的位移向量來表示其變形，且在傳遞位移向量時(shí)依然需要調(diào)整其方向和模長(zhǎng)以適應(yīng)模型之間在結(jié)構(gòu)和比例上的差異。具體地，如附圖3所示，假設(shè)控制點(diǎn)v_l的位移向量為傳遞過程中經(jīng)過旋轉(zhuǎn)R_l和平移S_l后，即得到目標(biāo)模型上對(duì)應(yīng)控制點(diǎn)v′_l的位移向量，而控制點(diǎn)v′_l的位移向量又可以表示成基于此，將公式(5)修改成如下目標(biāo)函數(shù)

其中，R_l是3×3的旋轉(zhuǎn)矩陣，用于調(diào)整位移向量的方向。S_l是3×3的放縮矩陣，用于調(diào)整位移向量的模長(zhǎng)。

利用目標(biāo)函數(shù)(9)，可對(duì)模板模型上的每一個(gè)控制點(diǎn)v_l，計(jì)算出表示其變形的各關(guān)鍵模型的線性組合權(quán)值。然后利用公式(6)、(7)和(8)可得到模板模型上每一個(gè)頂點(diǎn)的新位置進(jìn)而生成模板模型上的新表情。最后，將模板模型上每個(gè)頂點(diǎn)的位移向量傳遞給目標(biāo)模型上的對(duì)應(yīng)點(diǎn)(傳遞時(shí)仍需調(diào)整方向和模長(zhǎng))，得到各對(duì)應(yīng)點(diǎn)的位移，據(jù)此移動(dòng)各對(duì)應(yīng)點(diǎn)即可得到目標(biāo)模型上的新表情。

附圖4(a)-(d)展示了利用擴(kuò)展后的方法對(duì)在數(shù)據(jù)庫中沒有對(duì)應(yīng)關(guān)鍵模型序列的人臉模型進(jìn)行交互編輯生成表情動(dòng)畫的效果圖。圖4(a)-(d)共給出四組示例。每一組中，左上角是目標(biāo)模型以及用戶給定的編輯條件，該目標(biāo)模型在數(shù)據(jù)庫中沒有對(duì)應(yīng)的關(guān)鍵模型序列；左下角是模板模型以及從目標(biāo)模型映射到它上面的用戶編輯條件，該模板模型在數(shù)據(jù)庫中有對(duì)應(yīng)的關(guān)鍵模型序列；右下角是利用本發(fā)明方法在模板模型上生成的新表情；右上角是利用表情傳遞在目標(biāo)模型上生成的新表情?？梢?，新表情既符合用戶的編輯要求，又真實(shí)自然。

本發(fā)明與表情克隆相結(jié)合的思路對(duì)方法進(jìn)行了擴(kuò)展，擴(kuò)展后的方法可在無需增大已有關(guān)鍵模型數(shù)據(jù)庫規(guī)模的情況下，支持用戶對(duì)任意模樣和拓?fù)浣Y(jié)構(gòu)的人臉模型進(jìn)行交互編輯，并生成真實(shí)自然的表情。

整個(gè)方法允許用戶對(duì)任意形狀和拓?fù)浣Y(jié)構(gòu)的模型進(jìn)行交互編輯，交互方式直觀、簡(jiǎn)捷、交互結(jié)果實(shí)時(shí)可見。并且方法在生成新表情時(shí)，不僅滿足了用戶輸入的編輯約束條件、而且充分利用了關(guān)鍵模型自身已有的自然表情信息和模型間的時(shí)空連續(xù)性來保證表情生成的真實(shí)感，因此本發(fā)明方法可編輯生成既符合用戶需求、又真實(shí)自然的表情動(dòng)畫。

圖5是本發(fā)明的一種交互式三維人臉表情動(dòng)畫編輯系統(tǒng)結(jié)構(gòu)示意圖。如圖所示的本發(fā)明的一種交互式三維人臉表情動(dòng)畫編輯系統(tǒng)，包括：

(1)控制點(diǎn)映射模塊，其用于將用戶自由指定且移動(dòng)至期望位置的人臉模型的二維控制點(diǎn)象素映射到三維空間，得到人臉模型上對(duì)應(yīng)的三維控制點(diǎn)。

其中，在所述控制點(diǎn)映射模塊中，利用光線跟蹤算法將二維控制點(diǎn)象素映射到三維空間，得到人臉模型上對(duì)應(yīng)的三維控制點(diǎn)。光線跟蹤能夠得到與二維控制點(diǎn)象素準(zhǔn)確對(duì)應(yīng)的三維點(diǎn)。

(2)形變模型建立模塊，其用于建立由于用戶的編輯操作引起的三維控制點(diǎn)變形的形變模型。

在形變模型建立模塊中，形變模型為關(guān)鍵模型序列的線性組合，也就是各個(gè)關(guān)鍵模型與相應(yīng)權(quán)重系數(shù)相乘后的累加和；所述關(guān)鍵模型序列為已知的一系列表情變化網(wǎng)格模型。本發(fā)明對(duì)動(dòng)態(tài)區(qū)域變形進(jìn)行建模時(shí)，區(qū)域內(nèi)的變形由用戶對(duì)控制點(diǎn)的操作和已有的關(guān)鍵模型數(shù)據(jù)共同約束決定。這里的關(guān)鍵模型序列可以是利用三維數(shù)據(jù)獲取技術(shù)得到的真人的一系列表情網(wǎng)格模型，也可以是對(duì)人臉模型人工編輯得到的一系列表情變化網(wǎng)格模型，這些模型的表情都是真實(shí)自然的。

關(guān)鍵模型的權(quán)重系數(shù)由兩項(xiàng)約束項(xiàng)構(gòu)成的目標(biāo)函數(shù)求解得到，其中，第一項(xiàng)約束項(xiàng)用來衡量利用關(guān)鍵模型序列的線性組合表示的三維控制點(diǎn)新位置映射到二維屏幕上后與用戶指定的二維控制點(diǎn)象素新位置的接近程度；第二項(xiàng)約束項(xiàng)用以衡量每幀關(guān)鍵模型與用戶移動(dòng)二維控制點(diǎn)象素所期望產(chǎn)生的新表情之間的相似程度，越相似，表明該幀關(guān)鍵模型對(duì)三維控制點(diǎn)最終變形的貢獻(xiàn)應(yīng)該越大，則該幀的權(quán)值越大。

本發(fā)明提出了估算各關(guān)鍵模型的融合權(quán)值的目標(biāo)函數(shù)，該目標(biāo)函數(shù)既考慮對(duì)用戶輸入的控制點(diǎn)約束條件的滿足，又考慮各關(guān)鍵模型與用戶期望編輯生成的表情之間的相似程度，越相似，其權(quán)值越大，從而保證各動(dòng)態(tài)區(qū)域的變形既符合用戶要求、又準(zhǔn)確自然。

(3)相關(guān)性系數(shù)計(jì)算模塊，其用于分別計(jì)算人臉模型上每一個(gè)頂點(diǎn)與三維控制點(diǎn)之間的相關(guān)性系數(shù)。

在所述相關(guān)性系數(shù)計(jì)算模塊中，利用頂點(diǎn)的相關(guān)性準(zhǔn)則分別計(jì)算人臉模型上每一個(gè)頂點(diǎn)與三維控制點(diǎn)之間的相關(guān)性系數(shù)；其中，相關(guān)性準(zhǔn)則由三項(xiàng)疊加而成，第一項(xiàng)用來衡量頂點(diǎn)與三維控制點(diǎn)之間的空間距離；第二項(xiàng)用來衡量頂點(diǎn)與三維控制點(diǎn)沿著關(guān)鍵模型序列運(yùn)動(dòng)時(shí)方向的相似性；第三項(xiàng)用來衡量頂點(diǎn)與三維控制點(diǎn)沿著關(guān)鍵模型序列運(yùn)動(dòng)時(shí)速率的接近性。

本發(fā)明提出頂點(diǎn)的相關(guān)性準(zhǔn)則來計(jì)算貢獻(xiàn)圖，該準(zhǔn)則即考慮頂點(diǎn)之間的空間鄰近性、又考慮頂點(diǎn)在整個(gè)關(guān)鍵模型序列上的運(yùn)動(dòng)一致性，因此可真實(shí)準(zhǔn)確地反映頂點(diǎn)之間的時(shí)空關(guān)系和相互影響，從而保證合理準(zhǔn)確地將各個(gè)動(dòng)態(tài)區(qū)域的變形傳播到整個(gè)人臉模型上，得到最終的真實(shí)自然的新表情。

(4)動(dòng)態(tài)區(qū)域劃分模塊，其用于依據(jù)相關(guān)性系數(shù)將人臉模型劃分成不同的動(dòng)態(tài)區(qū)域，每個(gè)動(dòng)態(tài)區(qū)域包含一個(gè)三維控制點(diǎn)。

(5)貢獻(xiàn)圖建立模塊，其用于構(gòu)建三維控制點(diǎn)的貢獻(xiàn)圖，貢獻(xiàn)圖的節(jié)點(diǎn)與人臉模型的頂點(diǎn)一一對(duì)應(yīng)，且節(jié)點(diǎn)內(nèi)存儲(chǔ)相應(yīng)人臉模型的頂點(diǎn)與三維控制點(diǎn)之間的相關(guān)性系數(shù)；其中，貢獻(xiàn)圖反映三維控制點(diǎn)變形對(duì)人臉模型的其他頂點(diǎn)運(yùn)動(dòng)的影響程度。

(6)變形融合模塊，其用于依據(jù)貢獻(xiàn)圖以及形變模型對(duì)動(dòng)態(tài)區(qū)域進(jìn)行變形融合，最終得到新表情的人臉模型并輸出。

本發(fā)明根據(jù)相關(guān)性系數(shù)為每個(gè)控制點(diǎn)建立一張貢獻(xiàn)圖。其中，貢獻(xiàn)圖的數(shù)據(jù)存儲(chǔ)方式為圖結(jié)構(gòu)、表格結(jié)構(gòu)、數(shù)組結(jié)構(gòu)或其他數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)形式。在進(jìn)行動(dòng)態(tài)區(qū)域變形的融合時(shí)，依據(jù)貢獻(xiàn)圖每個(gè)區(qū)域內(nèi)的變形對(duì)整個(gè)人臉模型變形的貢獻(xiàn)將隨著該區(qū)域的擴(kuò)散而逐漸減弱。與傳統(tǒng)方法中將各個(gè)區(qū)域的變形簡(jiǎn)單相加平均的方式，該思路更符合人類臉部運(yùn)動(dòng)的規(guī)律，可生成更加真實(shí)自然的表情。

本發(fā)明的另一種交互式三維人臉表情動(dòng)畫編輯系統(tǒng)，包括服務(wù)器和客戶端。

其中，客戶端為與服務(wù)器相互通信的客戶端，包括移動(dòng)終端，比如手機(jī)或Ipad。

所述服務(wù)器，其被配置為：

將用戶自由指定且移動(dòng)至期望位置的人臉模型的二維控制點(diǎn)象素映射到三維空間，得到人臉模型上對(duì)應(yīng)的三維控制點(diǎn)；

建立由于用戶的編輯操作引起的三維控制點(diǎn)變形的形變模型；

分別計(jì)算人臉模型上每一個(gè)頂點(diǎn)與三維控制點(diǎn)之間的相關(guān)性系數(shù)；

依據(jù)相關(guān)性系數(shù)將人臉模型劃分成不同的動(dòng)態(tài)區(qū)域，每個(gè)動(dòng)態(tài)區(qū)域包含一個(gè)三維控制點(diǎn)；

構(gòu)建三維控制點(diǎn)的貢獻(xiàn)圖，貢獻(xiàn)圖的節(jié)點(diǎn)與人臉模型的頂點(diǎn)一一對(duì)應(yīng)，且節(jié)點(diǎn)內(nèi)存儲(chǔ)相應(yīng)人臉模型的頂點(diǎn)與三維控制點(diǎn)之間的相關(guān)性系數(shù)；其中，貢獻(xiàn)圖反映三維控制點(diǎn)變形對(duì)人臉模型的其他頂點(diǎn)運(yùn)動(dòng)的影響程度；

依據(jù)貢獻(xiàn)圖以及形變模型對(duì)動(dòng)態(tài)區(qū)域進(jìn)行變形融合，最終得到新表情的人臉模型并輸出；

客戶端，其被配置為接收用戶的編輯輸入以及顯示輸出的人臉模型的新表情。

本發(fā)明根據(jù)相關(guān)性系數(shù)為每個(gè)控制點(diǎn)建立一張貢獻(xiàn)圖。其中，貢獻(xiàn)圖的數(shù)據(jù)存儲(chǔ)方式為圖結(jié)構(gòu)、表格結(jié)構(gòu)、數(shù)組結(jié)構(gòu)或其他數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)形式。在進(jìn)行動(dòng)態(tài)區(qū)域變形的融合時(shí)，依據(jù)貢獻(xiàn)圖每個(gè)區(qū)域內(nèi)的變形對(duì)整個(gè)人臉模型變形的貢獻(xiàn)將隨著該區(qū)域的擴(kuò)散而逐漸減弱。與傳統(tǒng)方法中將各個(gè)區(qū)域的變形簡(jiǎn)單相加平均的方式，該思路更符合人類臉部運(yùn)動(dòng)的規(guī)律，可生成更加真實(shí)自然的表情。

本發(fā)明根據(jù)用戶指定的控制點(diǎn)對(duì)模型進(jìn)行實(shí)時(shí)的動(dòng)態(tài)區(qū)域劃分，每個(gè)控制點(diǎn)確定一個(gè)動(dòng)態(tài)區(qū)域，并對(duì)每個(gè)動(dòng)態(tài)區(qū)域的變形分別建模，然后將所有動(dòng)態(tài)區(qū)域的變形進(jìn)行融合得到最終的新表情。其中，對(duì)動(dòng)態(tài)區(qū)域變形進(jìn)行建模時(shí)，區(qū)域內(nèi)的變形由用戶對(duì)控制點(diǎn)的操作和已有的關(guān)鍵模型數(shù)據(jù)共同約束決定。并提出了估算各關(guān)鍵模型的融合權(quán)值的目標(biāo)函數(shù)，該目標(biāo)函數(shù)既考慮對(duì)用戶輸入的控制點(diǎn)約束條件的滿足，又考慮各關(guān)鍵模型與用戶期望編輯生成的表情之間的相似程度，越相似，其權(quán)值越大，從而保證各動(dòng)態(tài)區(qū)域的變形既符合用戶要求、又準(zhǔn)確自然。

本發(fā)明在進(jìn)行動(dòng)態(tài)區(qū)域融合時(shí)，提出為每個(gè)控制點(diǎn)定義一個(gè)貢獻(xiàn)圖的概念，依據(jù)貢獻(xiàn)圖每個(gè)區(qū)域內(nèi)的變形對(duì)整個(gè)人臉模型變形的貢獻(xiàn)將隨著該區(qū)域的擴(kuò)散而逐漸減弱。并提出頂點(diǎn)的相關(guān)性準(zhǔn)則來計(jì)算貢獻(xiàn)圖，該準(zhǔn)則即考慮頂點(diǎn)之間的空間鄰近性、又考慮頂點(diǎn)在整個(gè)關(guān)鍵模型序列上的運(yùn)動(dòng)一致性，因此可真實(shí)準(zhǔn)確地反映頂點(diǎn)之間的時(shí)空關(guān)系和相互影響，從而保證合理準(zhǔn)確地將各個(gè)動(dòng)態(tài)區(qū)域的變形傳播到整個(gè)人臉模型上，得到最終的真實(shí)自然的新表情。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用硬件實(shí)施例、軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器和光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，是可以通過計(jì)算機(jī)程序來指令相關(guān)的硬件來完成，所述的程序可存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，可包括如上述各方法的實(shí)施例的流程。其中，所述的存儲(chǔ)介質(zhì)可為磁碟、光盤、只讀存儲(chǔ)記憶體(Read-Only Memory，ROM)或隨機(jī)存儲(chǔ)記憶體(Random AccessMemory，RAM)等。

上述雖然結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式進(jìn)行了描述，但并非對(duì)本發(fā)明保護(hù)范圍的限制，所屬領(lǐng)域技術(shù)人員應(yīng)該明白，在本發(fā)明的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動(dòng)即可做出的各種修改或變形仍在本發(fā)明的保護(hù)范圍以內(nèi)。