專利名稱：人臉動(dòng)畫快速生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種圖像處理技術(shù)領(lǐng)域的方法，具體是一種人臉動(dòng)畫快速生成方法。
背景技術(shù)：
計(jì)算機(jī)人臉動(dòng)畫是一種重要的人機(jī)交互方式，被廣泛應(yīng)用于虛擬現(xiàn)實(shí)、影視娛樂、 輔助教學(xué)等領(lǐng)域。三維人臉動(dòng)畫拉近了人與計(jì)算機(jī)的距離，但三維人臉重建依然是計(jì)算機(jī) 領(lǐng)域的研究難點(diǎn)。豐富的三維信息依賴于復(fù)雜的計(jì)算，而簡單易行的二維人臉動(dòng)畫提供的 信息基本能滿足人們的視覺需求。參數(shù)控制和數(shù)據(jù)驅(qū)動(dòng)是人臉動(dòng)畫的兩大主要實(shí)現(xiàn)方法。經(jīng)過對現(xiàn)有技術(shù)的檢索發(fā)現(xiàn)，基于數(shù)據(jù)驅(qū)動(dòng)的方法(如Noh，J. Y.，Neumann, U. (2000) Talking Faces (說話的臉)· Proceedings of IEEE International Conference on Multimedia andExpo(II)2000，30July_2August NY, USA,2000, pp 627-630)產(chǎn)生 的動(dòng)畫真實(shí)感較強(qiáng)，但需要提供包含豐富人臉動(dòng)畫信息的圖像庫，計(jì)算復(fù)雜度高且難以 更換動(dòng)畫角色，如基于像素的圖像形變(Tony Ezzat and Tomaso Poggio，MikeTalk :A Talking Facial Display Based on MorphingVisemes (邁克說話基于視素融合的人臉動(dòng) _)· Appears in Proceedings of the ComputerAnimation Conference, Philadelphia, Pennsylvania, June, 1998)；參數(shù)控制方法簡單易行，但合成的動(dòng)畫往往人造痕跡明顯，如 網(wǎng)格人臉動(dòng)文獻(xiàn)(ffoei-Luen Perng ；Yungkang Wu ；MingOuhyoung, Image Talk :a real time synthetic talking head using one single image with Chinesetext—to—speech capability (圖像說話具有中文文本語音轉(zhuǎn)換功能的基于單幅圖像的說話頭像實(shí)時(shí)合成 方法)，Sixth Pacific Conference on Computer Graphics and Applications，1998， P140-148)中的網(wǎng)格人臉動(dòng)畫，使用一個(gè)自定義的較稠密二維網(wǎng)格模型來表示人臉，通過人 臉動(dòng)畫參數(shù)驅(qū)動(dòng)結(jié)點(diǎn)以實(shí)現(xiàn)動(dòng)畫。以上方法中的網(wǎng)格模型都是針對特定人臉生成的較稠密網(wǎng)格模型，網(wǎng)格模型與人 臉的準(zhǔn)確匹配需要大量的手工交互操作。同時(shí)，控制稠密網(wǎng)格模型生成人臉動(dòng)畫的復(fù)雜度 較高。因此其實(shí)時(shí)性及逼真度都不夠。

發(fā)明內(nèi)容
本發(fā)明針對現(xiàn)有技術(shù)存在的上述不足，提供一種人臉動(dòng)畫快速生成方法，能快速 實(shí)現(xiàn)動(dòng)畫角色的更換，生成生動(dòng)、自然的人臉動(dòng)畫。本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明首先使用改進(jìn)的主動(dòng)形狀模型算法檢 測出原始人臉圖片中用于網(wǎng)格模型人臉匹配的若干個(gè)特征點(diǎn)的坐標(biāo)；然后根據(jù)特征點(diǎn)信息 完成網(wǎng)格模型與照片人臉的快速匹配，并對匹配后的網(wǎng)格模型的嘴區(qū)域進(jìn)行細(xì)化處理，最 后用人臉動(dòng)畫參數(shù)描述人臉基本口型及表情變化并以此參數(shù)流驅(qū)動(dòng)網(wǎng)格模型，同時(shí)用基于 薄板樣條插值的網(wǎng)格形變方法變形細(xì)化后的網(wǎng)格模型生成動(dòng)畫。所述的使用改進(jìn)的主動(dòng)形狀模型算法檢測出原始人臉圖片中用于網(wǎng)格模型人臉匹配的若干個(gè)特征點(diǎn)的坐標(biāo)是指首先使用適應(yīng)性機(jī)器學(xué)習(xí)人臉檢測(Adaboost)方法檢 測原始人臉圖片中人臉定位瞳孔中心的位置，并用瞳孔中心的位置初始化主動(dòng)形狀模型 (ASM)，通過匹配迭代檢測出眼眉、眼睛、鼻子、嘴和人臉外輪廓邊界上的點(diǎn)；然后使用基于 膚色模型的嘴唇檢測方法檢測嘴唇的外輪廓線，并用此檢測結(jié)果替換ASM模板檢測中的結(jié) 果先將原始人臉圖片進(jìn)行色彩空間轉(zhuǎn)換并進(jìn)行二值化處理，并搜索出嘴唇外輪廓上的特 征點(diǎn)的坐標(biāo)。所述的色彩空間轉(zhuǎn)換是指<formula>formula see original document page 5</formula>(1)通過上式將輸入圖像轉(zhuǎn)換成能區(qū)分嘴唇區(qū)域和膚色區(qū)域的灰度圖像，并通過式 (2)、(3)定義的變換來突出嘴唇區(qū)域，以準(zhǔn)確提取特征點(diǎn)<formula>formula see original document page 5</formula>(2)<formula>formula see original document page 5</formula>其中，<formula>formula see original document page 5</formula>(3)其中Ι是原圖的灰度信息，α = 0.75, β = 0. 25。所述的快速匹配是指使用CANDIDE網(wǎng)格模型表征人臉，根據(jù)特征點(diǎn)的坐標(biāo)計(jì)算 出CANDIDE網(wǎng)格模型的對應(yīng)結(jié)點(diǎn)變換到特征點(diǎn)的坐標(biāo)的仿射變換參數(shù)，再將仿射變換參數(shù) 應(yīng)用到其他CANDIDE網(wǎng)格模型的結(jié)點(diǎn)，實(shí)現(xiàn)將網(wǎng)格模型變形到原始人臉圖片。所述的CANDIDE網(wǎng)格模型是指通過三角片結(jié)構(gòu)定義11個(gè)人臉形狀單元來描述人 臉形狀，其中的人臉形狀單元是指人臉部各個(gè)器官的輪廓線的拐點(diǎn)和端點(diǎn)以及中心位置。所述的細(xì)化處理是指使用循環(huán)細(xì)化的網(wǎng)格剖分方法，將CANDIDE網(wǎng)格模型的三 角片結(jié)構(gòu)剖分替換為四個(gè)內(nèi)嵌的小三角片，從而將每個(gè)面細(xì)分為四個(gè)面，對于CANDIDE網(wǎng) 格模型的各個(gè)結(jié)點(diǎn)使用相鄰點(diǎn)的位置信息進(jìn)行位置更新。所述的人臉動(dòng)畫參數(shù)單元包含MNSO、MW0, ENSO, ESO和RISDO五個(gè)單元以描述人 臉基本組件之間的相對距離，其中MNS0為嘴巴中點(diǎn)到鼻子底部的距離，MWO為嘴巴兩端的 距離，ENSO為鼻子頂部至底部的距離，ESO為兩個(gè)瞳孔之間的距離，RISDO為左眼頂部至底 部的距離。所述的用基于薄板樣條插值的網(wǎng)格形變方法變形細(xì)化后的網(wǎng)格模型是指使用原 始網(wǎng)格模型嘴區(qū)域的網(wǎng)格結(jié)點(diǎn)作為薄板樣條插值變形的控制點(diǎn)，控制點(diǎn)變形前后的位置信 息從動(dòng)畫驅(qū)動(dòng)源人臉動(dòng)畫參數(shù)單元中獲得，根據(jù)控制點(diǎn)動(dòng)畫前后的位置變化計(jì)算出網(wǎng)格模 型上其他點(diǎn)的新的位置。所述的生成動(dòng)畫是指首先繪制原始人臉圖片作為背景，然后根據(jù)網(wǎng)格模型結(jié)點(diǎn) 動(dòng)畫前后的位置信息，計(jì)算出網(wǎng)格模型每個(gè)三角片面在動(dòng)畫前后的仿射變換參數(shù)，然后利 用OPENGL里的UV紋理貼圖，將原始圖片上對應(yīng)的三角片區(qū)域通過仿射變換到新位置，從而 獲得具有動(dòng)畫效果及原始人臉圖片作為紋理的網(wǎng)格模型。本方法具有實(shí)時(shí)性好、動(dòng)畫效果逼真等優(yōu)勢。本方法使用簡易的CANDIDE網(wǎng)格模 型描述人臉，該網(wǎng)格模型利用少量的人臉特征點(diǎn)信息就能與任意人臉快速匹配，從而實(shí)現(xiàn) 了動(dòng)畫角色的快速更換而無需手動(dòng)調(diào)整網(wǎng)格模型；對簡易的CANDIDE網(wǎng)格模型的局部優(yōu)化 提高了網(wǎng)格的描述力同時(shí)也不增加網(wǎng)格模型與人臉的匹配難度；用基于TPS的網(wǎng)格形變方法變形優(yōu)化后的網(wǎng)格模型讓動(dòng)畫效果更加生動(dòng)、自然，且局部的形變也不影響動(dòng)畫生成的實(shí)時(shí)性。


圖1為實(shí)施例人臉特征點(diǎn)示意圖。圖2為實(shí)施例網(wǎng)格模型與照片人臉匹配結(jié)果示意圖。圖3為實(shí)施例網(wǎng)格模型優(yōu)化結(jié)果示意圖。圖4為實(shí)施例中的人臉動(dòng)畫參數(shù)單元示意圖。圖5為實(shí)施例人臉表情及口型動(dòng)畫示意圖。
具體實(shí)施例方式下面對本發(fā)明的實(shí)施例作詳細(xì)說明，本實(shí)施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行 實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施 例。本實(shí)施例包括如下步驟1.人臉特征點(diǎn)檢測本實(shí)施例用34個(gè)人臉特征點(diǎn)描述人臉結(jié)構(gòu)特征，特征點(diǎn)的定義如圖1所示。對于 一張人臉正面照片，首先使用適應(yīng)性機(jī)器學(xué)習(xí)人臉檢測(Adaboost)方法檢測原始人臉圖 片中人臉定位瞳孔中心的位置，并用瞳孔中心的位置初始化主動(dòng)形狀模型(ASM)，通過匹配 迭代檢測出眼眉、眼睛、鼻子、嘴和人臉外輪廓邊界上的點(diǎn)；然后使用基于膚色模型的嘴唇 檢測方法檢測嘴唇的外輪廓線，并用此檢測結(jié)果替換ASM模板檢測中的結(jié)果先將原始人 臉圖片進(jìn)行色彩空間轉(zhuǎn)換并進(jìn)行二值化處理，并搜索出嘴唇外輪廓上的特征點(diǎn)的坐標(biāo)。所述的色彩空間轉(zhuǎn)換是指C = O. 2R-0. 6G+0. 4B(1)通過上式將輸入圖像轉(zhuǎn)換成能區(qū)分嘴唇區(qū)域和膚色區(qū)域的灰度圖像，并通過式 (2)、(3)定義的變換來突出嘴唇區(qū)域，以準(zhǔn)確提取特征點(diǎn)Cworm = C—》(2)
maxminQisi = C 2_ + 々|其中，α +β = 1(3)其中Ι是原圖的灰度信息，α = 0.75, β = 0· 25。然后，根據(jù)變換后圖像灰度值的分布特性自動(dòng)選擇閾值并對圖像進(jìn)行二值化。最后，根據(jù)嘴唇區(qū)域的分布特性，從二值圖像中搜索出嘴唇外輪廓上的特征點(diǎn)。最終得到34個(gè)特征點(diǎn)的圖像坐標(biāo)=F = (xi; Y1, x2, y2，· · ·，x34, y34)T。2.網(wǎng)格模型與照片人臉快速匹配本實(shí)施例使用基于網(wǎng)格變形的方法生成人臉動(dòng)畫，使用CANDIDE網(wǎng)格模型表征人 臉，根據(jù)特征點(diǎn)的坐標(biāo)計(jì)算出CANDIDE網(wǎng)格模型的對應(yīng)結(jié)點(diǎn)變換到特征點(diǎn)的坐標(biāo)的仿射變 換參數(shù)，再將仿射變換參數(shù)應(yīng)用到其他CANDIDE網(wǎng)格模型的結(jié)點(diǎn)，實(shí)現(xiàn)將網(wǎng)格模型變形到 原始人臉圖片。
所述的CANDIDE網(wǎng)格模型是指通過三角片結(jié)構(gòu)定義11個(gè)人臉形狀單元來描述人 臉形狀，其中的人臉形狀單元是指人臉部各個(gè)器官的輪廓線的拐點(diǎn)和端點(diǎn)以及中心位置。本實(shí)施例對網(wǎng)格模型定義的11個(gè)人臉形狀單元進(jìn)行簡化，選擇在形狀描述中起關(guān)鍵作用的結(jié)點(diǎn)構(gòu)成新的形狀單元。用最少的結(jié)點(diǎn)描述網(wǎng)格模型形狀，通過數(shù)據(jù)最優(yōu)化擬 合全局參數(shù)實(shí)現(xiàn)匹配，從而加快網(wǎng)格模型照片匹配過程。對于一張正面人臉照片，根據(jù)1中 提取的特征點(diǎn)信息，計(jì)算出網(wǎng)格模型對應(yīng)結(jié)點(diǎn)變換到特征點(diǎn)位置的仿射變換參數(shù)，再將該 參數(shù)應(yīng)用到所有網(wǎng)格模型結(jié)點(diǎn)即可將網(wǎng)格模型變形到照片人臉形狀。用向量玄來表示該二維網(wǎng)格模型，玄由網(wǎng)格模型113個(gè)頂點(diǎn)的坐標(biāo)構(gòu)成 (g =(巧J1J2J2, ...,U), = 113)。對于正面人臉，本實(shí)施例用線性變換描述網(wǎng)格模型的變 形匹配過程<formula>formula see original document page 7</formula>(4)其中，t和s分別是平移及縮放矩陣，S、A分別是網(wǎng)格模型定義的形狀和運(yùn)動(dòng)單元 向量，ο、α分別是形狀和運(yùn)動(dòng)參數(shù)，g是新的網(wǎng)格模型數(shù)據(jù)。S由網(wǎng)格模型定義的11個(gè)人 臉形狀單元構(gòu)成，其中包含眼睛的寬和高、嘴和眉毛的位置等等。線性組合這11個(gè)形狀單 元就能描述一些基本的人臉。式(4)的矩陣形式如下G = MX(5)式(5)的展開式如式(6)
<formula>formula see original document page 7</formula>
網(wǎng)格模型匹配過程即為求解11個(gè)形狀參數(shù)(ο ρ . . ο n)和3個(gè)仿射變換參數(shù)(S、 tx、ty)。1中定義的34個(gè)特征點(diǎn)給出了人臉基本形狀單元的信息，通過最小二乘擬合獲得 全局參數(shù)X Gf = MfX(7)其中，Gf、Mf分別是特征點(diǎn)所在行對應(yīng)的G、M的子矩陣。通過最優(yōu)化| |Gf_MfX| |2 獲得全局參數(shù)X X= (Mf' Mf^1Mf' Gf(8)將擬合參數(shù)X代入公式(5)即可獲得新的網(wǎng)格模型數(shù)據(jù)G，網(wǎng)格模型匹配結(jié)果如圖 2(b)所示。3.網(wǎng)格模型的局部細(xì)化完成原始CANDIDE網(wǎng)格模型與照片的匹配后，從網(wǎng)格模型上分離出嘴區(qū)域作優(yōu)化 處理，并將嘴唇區(qū)域分割為上下兩部分分別細(xì)化處理，如圖3(a)所示。使用循環(huán)細(xì)化的網(wǎng) 格剖分方法，將CANDIDE網(wǎng)格模型的三角片結(jié)構(gòu)剖分替換為四個(gè)內(nèi)嵌的小三角片，從而將 每個(gè)面細(xì)分為四個(gè)面，對于CANDIDE網(wǎng)格模型的各個(gè)結(jié)點(diǎn)使用相鄰點(diǎn)的位置信息進(jìn)行位置更新。本實(shí)施例使用的修正方法如下<formula>formula see original document page 8</formula>其中，η是該頂點(diǎn)的相鄰點(diǎn)的數(shù)目，b是相鄰點(diǎn)對待修正點(diǎn)的影響因子，newp是待 修正點(diǎn)的新位置，oldp是待修正點(diǎn)的原始位置，Ai是其第i個(gè)相鄰點(diǎn)的位置。本實(shí)施例采用邊緣檢測與曲線擬合相結(jié)合的方法，修正與下顎邊緣相對應(yīng)的網(wǎng)格 結(jié)點(diǎn)的位置。用原始網(wǎng)格模型下顎上的五個(gè)結(jié)點(diǎn)擬合二次曲線逼近下顎邊緣，并以此約束 人臉下顎邊緣檢測的有效范圍來獲取網(wǎng)格模型結(jié)點(diǎn)的準(zhǔn)確位置。細(xì)化兩次后的網(wǎng)格密度已能實(shí)現(xiàn)嘴唇區(qū)域的平滑變形如圖3(c)所示。新增的網(wǎng) 格結(jié)點(diǎn)提供了豐富的紋理及結(jié)構(gòu)信息，從而使得動(dòng)畫效果更真實(shí)。4.制作漢語基本音素的靜態(tài)視位庫本實(shí)施例通過拍攝漢語基本音素的視頻，并從中抽取靜態(tài)視位圖像與無表情、動(dòng) 作的圖像比較，計(jì)算出該音素對應(yīng)的各種FAP的值。通過拍攝人臉基本表情的圖像，與無表 情的圖像比較，計(jì)算出該表情對應(yīng)的各種FAP的值。如圖4所示，所述的人臉動(dòng)畫參數(shù)單元包含MNSO、MWO、ENSO、ESO和RISDO五個(gè)單 元以描述人臉基本組件之間的相對距離，其中=MNSO為嘴巴中點(diǎn)到鼻子底部的距離，MWO為 嘴巴兩端的距離，ENSO為鼻子頂部至底部的距離，ESO為兩個(gè)瞳孔之間的距離，RISDO為左 眼頂部至底部的距離。單位化后的FAP參數(shù)用于不同結(jié)構(gòu)的網(wǎng)格模型時(shí)，再用該網(wǎng)格模型 的FAPU參數(shù)量化，就能得到該網(wǎng)格模型對應(yīng)的FAP值，從而產(chǎn)生同樣的動(dòng)作效果。5.網(wǎng)格模型變形本實(shí)施例使用FAP參數(shù)流驅(qū)動(dòng)優(yōu)化后的CANDIDE網(wǎng)格模型產(chǎn)生動(dòng)畫。首先根據(jù)各 FAP參數(shù)計(jì)算出和該FAP關(guān)聯(lián)的原網(wǎng)格模型結(jié)點(diǎn)的新位置新結(jié)點(diǎn)=原結(jié)點(diǎn)+FAP中定義的 結(jié)點(diǎn)的位移量。對細(xì)化后的嘴區(qū)域，本實(shí)施例使用基于薄板樣條插值(TPS)的變形方法驅(qū)動(dòng)優(yōu)化 后的網(wǎng)格產(chǎn)生動(dòng)畫使用原始網(wǎng)格模型嘴區(qū)域的網(wǎng)格結(jié)點(diǎn)作為薄板樣條插值變形的控制 點(diǎn)，控制點(diǎn)變形后的位置信息從動(dòng)畫驅(qū)動(dòng)源人臉動(dòng)畫參數(shù)中獲得，根據(jù)控制點(diǎn)動(dòng)畫前后的 位置變化計(jì)算出網(wǎng)格模型上其他點(diǎn)的新的位置。TPS利用一對控制點(diǎn)集的映射關(guān)系及整個(gè)平面與控制點(diǎn)的位置關(guān)系來變形整個(gè)區(qū) 域平面，從而保持點(diǎn)之間的拓?fù)浣Y(jié)構(gòu)不變及整個(gè)平面的平滑形變。使用原始網(wǎng)格模型嘴區(qū) 域的η各網(wǎng)格結(jié)點(diǎn)作為TPS變形的控制點(diǎn)，計(jì)算出優(yōu)化后的嘴區(qū)所有點(diǎn)的新位置，這η個(gè)點(diǎn) 變形后的新位置信息= 1，...，n)，TPS首先根據(jù)動(dòng)畫前后η個(gè)控制點(diǎn)的位置信息計(jì)算 出這η個(gè)點(diǎn)前后之間的映射關(guān)系
<formula>formula see original document page 8</formula>(11)U^i = 1, ... ,η)為控制點(diǎn)原位置，V^i = 1, ... ,η)為控制點(diǎn)新位置然后根據(jù)其它點(diǎn)與控制點(diǎn)間的結(jié)構(gòu)關(guān)系，將該映射應(yīng)用到整個(gè)嘴區(qū)域上，計(jì)算出 所有點(diǎn)的新位置
F(U) = c + AU + ffTS (U) (12)其中，c、A、W是控制點(diǎn)變形前后的映射參數(shù)，S描述了點(diǎn)與所有控制點(diǎn)之間的位置關(guān)系。S(U) = (O(U-U1), σ (U-U2)，...，o(u_un))T，其中 σ (r) = r (13)6.輸出變形結(jié)果本實(shí)施例利用網(wǎng)格模型的三角片結(jié)構(gòu)及SGI的OPENGL標(biāo)準(zhǔn)庫快速實(shí)現(xiàn)真實(shí)的紋理映射，變形后的人臉網(wǎng)格模型加上真實(shí)的紋理即是逼真的動(dòng)畫人臉。首先繪制原始圖像 作為背景，在此背景上繪制網(wǎng)格模型。根據(jù)網(wǎng)格模型結(jié)點(diǎn)動(dòng)畫前后的位置信息，計(jì)算出網(wǎng)格 模型每個(gè)三角片面在動(dòng)畫前后的仿射變換參數(shù)，然后利用OPENGL里的UV紋理貼圖，將原始 圖片上對應(yīng)的三角片區(qū)域通過仿射變換到新位置，從而獲得具有真實(shí)紋理的網(wǎng)格模型。圖 5是本實(shí)施例生成的人臉動(dòng)畫，其中包含基本表情及漢語基本音素的口型變化。與現(xiàn)有技術(shù)相比，本方法具有實(shí)時(shí)性好、動(dòng)畫效果逼真等優(yōu)勢。本方法使用簡易 的CANDIDE網(wǎng)格模型描述人臉，該網(wǎng)格模型利用少量的人臉特征點(diǎn)信息就能與任意人臉快 速匹配，從而實(shí)現(xiàn)了動(dòng)畫角色的快速更換而無需手動(dòng)調(diào)整網(wǎng)格模型；對簡易的CANDIDE網(wǎng) 格模型的局部優(yōu)化提高了網(wǎng)格的描述力同時(shí)也不增加網(wǎng)格模型與人臉的匹配難度；用基于 TPS的網(wǎng)格形變方法變形優(yōu)化后的網(wǎng)格模型讓動(dòng)畫效果更加生動(dòng)、自然，且局部的形變也不 影響動(dòng)畫生成的實(shí)時(shí)性。
權(quán)利要求
一種人臉動(dòng)畫快速生成方法，其特征在于，首先使用改進(jìn)的主動(dòng)形狀模型算法檢測出原始人臉圖片中用于網(wǎng)格模型人臉匹配的若干個(gè)特征點(diǎn)的坐標(biāo)；然后根據(jù)特征點(diǎn)信息完成網(wǎng)格模型與照片人臉的快速匹配，并對匹配后的網(wǎng)格模型的嘴區(qū)域進(jìn)行細(xì)化處理，最后用人臉動(dòng)畫參數(shù)描述人臉基本口型及表情變化并以此參數(shù)流驅(qū)動(dòng)網(wǎng)格模型，同時(shí)用基于薄板樣條插值的網(wǎng)格形變方法變形細(xì)化后的網(wǎng)格模型生成動(dòng)畫。
2.根據(jù)權(quán)利要求1所述的人臉動(dòng)畫快速生成方法，其特征是，所述的使用改進(jìn)的主動(dòng) 形狀模型算法檢測出原始人臉圖片中用于網(wǎng)格模型人臉匹配的若干個(gè)特征點(diǎn)的坐標(biāo)是指 首先使用適應(yīng)性機(jī)器學(xué)習(xí)人臉檢測方法檢測原始人臉圖片中人臉定位瞳孔中心的位置，并 用瞳孔中心的位置初始化主動(dòng)形狀模型通過匹配迭代檢測出眼眉、眼睛、鼻子、嘴和人臉外 輪廓邊界上的點(diǎn)；然后使用基于膚色模型的嘴唇檢測方法檢測嘴唇的外輪廓線，并用此檢 測結(jié)果替換主動(dòng)形狀模型的模板檢測中的結(jié)果先將原始人臉圖片進(jìn)行色彩空間轉(zhuǎn)換并進(jìn) 行二值化處理，并搜索出嘴唇外輪廓上的特征點(diǎn)的坐標(biāo)。
3.根據(jù)權(quán)利要求2所述的人臉動(dòng)畫快速生成方法，其特征是，所述的色彩空間轉(zhuǎn)換是指C = O. 2R-0. 6G+0. 4B (1)通過上式將輸入圖像轉(zhuǎn)換成能區(qū)分嘴唇區(qū)域和膚色區(qū)域的灰度圖像，并通過式(2)、 (3)定義的變換來突出嘴唇區(qū)域，以準(zhǔn)確提取特征點(diǎn) C-C<formula>formula see original document page 2</formula>(3)其中1是原圖的灰度信息，α = 0. 75，β = 0. 25。
4.根據(jù)權(quán)利要求1所述的人臉動(dòng)畫快速生成方法，其特征是，所述的快速匹配是指使 用CANDIDE網(wǎng)格模型表征人臉，根據(jù)特征點(diǎn)的坐標(biāo)計(jì)算出CANDIDE網(wǎng)格模型的對應(yīng)結(jié)點(diǎn)變 換到特征點(diǎn)的坐標(biāo)的仿射變換參數(shù)，再將仿射變換參數(shù)應(yīng)用到其他CANDIDE網(wǎng)格模型的結(jié) 點(diǎn)，實(shí)現(xiàn)將網(wǎng)格模型變形到原始人臉圖片。
5.根據(jù)權(quán)利要求4所述的人臉動(dòng)畫快速生成方法，其特征是，所述的CANDIDE網(wǎng)格模型 是指通過三角片結(jié)構(gòu)定義11個(gè)人臉形狀單元來描述人臉形狀，其中的人臉形狀單元是指 人臉部各個(gè)器官的輪廓線的拐點(diǎn)和端點(diǎn)以及中心位置。
6.根據(jù)權(quán)利要求1所述的人臉動(dòng)畫快速生成方法，其特征是，所述的細(xì)化處理是指使 用循環(huán)細(xì)化的網(wǎng)格剖分方法，將CANDIDE網(wǎng)格模型的三角片結(jié)構(gòu)剖分替換為四個(gè)內(nèi)嵌的小 三角片，從而將每個(gè)面細(xì)分為四個(gè)面，對于CANDIDE網(wǎng)格模型的各個(gè)結(jié)點(diǎn)使用相鄰點(diǎn)的位 置信息進(jìn)行位置更新。
7.根據(jù)權(quán)利要求1所述的人臉動(dòng)畫快速生成方法，其特征是，所述的人臉動(dòng)畫參數(shù)單 元包含MNSO、MWO、ENSO、ESO和RISDO五個(gè)單元以描述人臉基本組件之間的相對距離，其中 MNSO為嘴巴中點(diǎn)到鼻子底部的距離，MWO為嘴巴兩端的距離，ENSO為鼻子頂部至底部的距 離，ESO為兩個(gè)瞳孔之間的距離，RISDO為左眼頂部至底部的距離。
8.根據(jù)權(quán)利要求1所述的人臉動(dòng)畫快速生成方法，其特征是，所述的用基于薄板樣條 插值的網(wǎng)格形變方法變形細(xì)化后的網(wǎng)格模型是指使用原始網(wǎng)格模型嘴區(qū)域的網(wǎng)格結(jié)點(diǎn)作為薄板樣條插值變形的控制點(diǎn)，控制點(diǎn)變形后的位置信息從動(dòng)畫驅(qū)動(dòng)源人臉動(dòng)畫參數(shù)中獲 得，根據(jù)控制點(diǎn)動(dòng)畫前后的位置變化計(jì)算出網(wǎng)格模型上其他點(diǎn)的新的位置。
9.根據(jù)權(quán)利要求1所述的人臉動(dòng)畫快速生成方法，其特征是，所述的生成動(dòng)畫是指首 先繪制原始人臉圖片作為背景，然后根據(jù)網(wǎng)格模型結(jié)點(diǎn)動(dòng)畫前后的位置信息，計(jì)算出網(wǎng)格 模型每個(gè)三角片面在動(dòng)畫前后的仿射變換參數(shù)，然后利用OPENGL里的UV紋理貼圖，將原始 圖片上對應(yīng)的三角片區(qū)域通過仿射變換到新位置，從而獲得具有動(dòng)畫效果及原始人臉圖片 作為紋理的網(wǎng)格模型。
全文摘要
一種圖像處理技術(shù)領(lǐng)域的人臉動(dòng)畫快速生成方法，首先使用改進(jìn)的主動(dòng)形狀模型算法檢測出原始人臉圖片中用于網(wǎng)格模型人臉匹配的若干個(gè)特征點(diǎn)的坐標(biāo)；然后根據(jù)特征點(diǎn)信息完成網(wǎng)格模型與照片人臉的快速匹配，并對匹配后的網(wǎng)格模型的嘴區(qū)域進(jìn)行細(xì)化處理，最后用人臉動(dòng)畫參數(shù)描述人臉基本口型及表情變化并以此參數(shù)流驅(qū)動(dòng)網(wǎng)格模型，同時(shí)用基于薄板樣條插值的網(wǎng)格形變方法變形細(xì)化后的網(wǎng)格模型生成動(dòng)畫。本發(fā)明能快速實(shí)現(xiàn)動(dòng)畫角色的更換，生成生動(dòng)、自然的人臉動(dòng)畫。
文檔編號(hào)G06T7/00GK101826217SQ20101016601
公開日2010年9月8日 申請日期2010年5月7日 優(yōu)先權(quán)日2010年5月7日
發(fā)明者姚莉秀, 李鵑, 楊杰, 葛美玲 申請人:上海交通大學(xué)