三維人臉網格模型處理方法和設備的制造方法
【技術領域】
[0001] 本發(fā)明屬于圖像圖形處理技術領域，具體是涉及一種H維人臉網格模型處理方法 和設備。
【背景技術】
[0002] 人臉的面部表情是一種微妙的形體語言，是傳遞情感信息的重要手段，在在諸如 人臉表情動畫制作、照片處理等應用中，經常會涉及到將一副圖片上的人臉表情轉移到另 一幅與其不同表情的人臉圖片上，比如某人照了一張相片，但是對該相片上的表情不太滿 意，此時他可W將W前的某張相片上的滿意的表情經過一定圖像處理技術轉移到當前的相 片上。
[0003] 隨著H維建模與獲取技術的發(fā)展，H維模型相比于二維圖像而言，能夠提供更多 細節(jié)信息，因此，在人臉表情轉移的處理過程中，一般需要對初始的目標二維人臉圖像和參 考二維人臉圖像分別進行相應H維人臉網格模型的建模，進而基于相應的H維人臉網格模 型進行圖像扭曲、融合等處理，W最終實現(xiàn)人臉表情轉移的目的。因此，建立的H維人臉網 格模型與對應二維人臉圖像的匹配程度對人臉表情處理的效果具有重要影響。
[0004] 現(xiàn)有的H維人臉網格模型的建立多是基于人臉表情數(shù)據(jù)庫的。即通過對人臉表情 數(shù)據(jù)庫中存儲的H維人臉表情模型進行整體變形，W與初始的二維人臉圖像上標記的人臉 表情特征點相匹配。但是，該種整體變形的方式建立的H維人臉網格模型往往與對應的二 維人臉圖像具有較低的匹配度。

【發(fā)明內容】

[0005] 針對現(xiàn)有技術中存在的問題，本發(fā)明提供一種H維人臉網格模型處理方法和設 備，用W克服現(xiàn)有技術中基于人臉表情數(shù)據(jù)庫進行整體變形導致建立的H維人臉網格模型 與對應的二維人臉圖像的匹配度較低的缺陷。
[0006] 本發(fā)明第一方面提供了一種H維人臉網格模型處理方法，包括：
[0007] 獲取與原始二維人臉圖像對應的原始H維人臉網格模型，所述原始H維人臉網格 模型中包括與所述原始二維人臉圖像的第一表情特征點對應的第二表情特征點；
[0008] 根據(jù)公式（1)計算所述原始H維人臉網格模型的相機參數(shù)矩陣：
[0009]
(1)
[0010] 其中，P為所述相機參數(shù)矩陣，Xi為所述原始H維人臉網格模型上的第i個第二表 情特征點，Xi為與所述第二表情特征點Xi對應的所述原始二維人臉圖像上的第i個第一表 情特征點，N為第一表情特征點和第二表情特征點的個數(shù)；
[0011] 根據(jù)計算得到的所述相機參數(shù)矩陣將所述原始H維人臉網格模型上的第二表情 特征點映射到所述原始二維人臉圖像上，W判斷所述第二表情特征點與所述第一表情特征 點的匹配程度，并根據(jù)判斷結果對所述原始H維人臉網格模型進行調整。
[0012] 在第一方面的第一種可能的實現(xiàn)方式中，所述根據(jù)計算得到的所述相機參數(shù)矩陣 將所述原始H維人臉網格模型上的第二表情特征點映射到所述原始二維人臉圖像上，W判 斷所述第二表情特征點與所述第一表情特征點的匹配程度，并根據(jù)判斷結果對所述待處理 模型進行調整，包括：
[0013] 根據(jù)公式（2)計算所述第二表情特征點與所述第一表情特征點的匹配誤差：
[0014]
(2)
[001引其中，Err為所述匹配誤差，Wi為第i對特征點Xi和Xi的權重系數(shù)；
[0016] 判斷所述匹配誤差是否大于等于預設闊值；
[0017] 若大于等于，則對所述原始H維人臉網格模型進行調整，W使調整后的H維人臉 網格模型上的第二表情特征點與所述第一表情特征點的匹配誤差小于所述預設闊值。
[0018] 根據(jù)第一方面的第一種可能的實現(xiàn)方式，在第一方面的第二種可能的實現(xiàn)方式 中，所述對所述原始H維人臉網格模型進行調整，包括：
[0019] 計算第二表情特征點Xi到所述原始H維人臉網格模型上各網格頂點Xj.的測地線 距離，其中，i不等于j;
[0020] 固定所述原始H維人臉網格模型上的第二表情特征點Xi的Z坐標，采用第一預設 算法改變所述第二表情特征點Xi的X，y坐標，得到與所述第二表情特征點Xi對應的第H表 情特征點X/;
[0021] W所述測地線距離為約束，采用第二預設算法確定與所述第H表情特征點X/對 應的各網格頂點X/;
[0022] 根據(jù)所述第H表情特征點X/和與所述第H表情特征點X/對應的各網格頂點X/ 調整所述原始H維人臉網格模型。
[0023] 根據(jù)第一方面、第一方面的第一種或第二種可能的實現(xiàn)方式，在第一方面的第H 種可能的實現(xiàn)方式中，所述原始二維人臉圖像包括目標二維人臉圖像和參考二維人臉圖 像；
[0024] 所述獲取與原始二維人臉圖像對應的原始H維人臉網格模型，包括：
[0025] 提取所述目標二維人臉圖像的人臉表情特征點和所述參考二維人臉圖像的人臉 表情特征點，所述人臉表情特征點包括臉部輪廓特征點和第一表情特征點；
[0026] 根據(jù)所述目標二維人臉圖像的臉部輪廓特征點和所述參考二維人臉圖像的臉部 輪廓特征點確定近正面人臉圖像，所述近正面人臉圖像為所述目標二維人臉圖像或所述參 考二維人臉圖像；
[0027] 根據(jù)所述近正面人臉圖像的臉部輪廓特征點和第一表情特征點，對從中性人臉庫 中確定的目標中性人臉模型進行變形，得到與所述正面人臉圖像對應的中性人臉模型；
[0028] 根據(jù)所述近正面人臉圖像的中性人臉模型分別對預設表情庫中包含的各預設表 情模型進行變形，得到與所述正面人臉圖像對應的各表情模型；
[0029] 根據(jù)所述目標二維人臉圖像的第一表情特征點確定所述各表情模型的第一權重 系數(shù)，并根據(jù)所述參考二維人臉圖像的第一表情特征點確定所述各表情模型的第二權重系 數(shù)；
[0030] 根據(jù)所述第一權重系數(shù)合并所述各表情模型，W得到與所述目標二維人臉圖像對 應的H維人臉網格模型，并根據(jù)所述第二權重系數(shù)合并所述各表情模型，W得到與所述參 考二維人臉圖像對應的H維人臉網格模型。
[0031] 根據(jù)第一方面的第H種可能的實現(xiàn)方式，在第一方面的第四種可能的實現(xiàn)方式 中，所述預設表情庫包括通用blendshape模型。
[0032] 根據(jù)第一方面的第H種或第四種可能的實現(xiàn)方式，在第一方面的第五種可能的實 現(xiàn)方式中，所述根據(jù)所述目標二維人臉圖像的臉部輪廓特征點和所述參考二維人臉圖像的 臉部輪廓特征點確定近正面人臉圖像，包括：
[0033] 根據(jù)所述目標二維人臉圖像的臉部輪廓特征點計算所述目標二維人臉圖像的臉 部輪廓曲率，W及根據(jù)所述參考二維人臉圖像的臉部輪廓特征點計算所述參考二維人臉圖 像的臉部輪廓曲率；
[0034] 確定所述臉部輪廓曲率小的圖像為近正面人臉圖像。
[0035] 根據(jù)第一方面的第H種、第四種或第五種可能的實現(xiàn)方式，在第一方面的第六種 可能的實現(xiàn)方式中，所述根據(jù)判斷結果對所述原始H維人臉網格模型進行調整之后，還包 括：
[0036] 根據(jù)與所述目標二維人臉圖像對應的H維人臉網格模型對所述目標二維人臉圖 像進行變形，并根據(jù)與所述參考二維人臉圖像對應的H維人臉網格模型對所述參考二維人 臉圖像進行變形；
[0037] 將變形后的目標二維人臉圖像和參考二維人臉圖像進行合并，W將所述參考二維 人臉圖像上的表情轉移到所述目標二維人臉圖像上。
[0038] 本發(fā)明第二方面提供了一種H維人臉網格模型處理設備，包括：
[0039] 獲取模塊，用于獲取與原始二維人臉圖像對應的原始H維人臉網格模型，所述原 始H維人臉網格模型中包括與所述原始二維人臉圖像的第一表情特征點對應的第二表情 特征點；
[0040] 計算模塊，根據(jù)公式（1)計算所述原始H維人臉網格模型的相機參數(shù)矩陣：
[0041]
(1)
[0042] 其中，P為所述相機參數(shù)矩陣，Xi為所述原始H維人臉網格模型上的第i個第二表 情特征點，Xi為與所述第二表情特征點Xi對應的所述原始二維人臉圖像上的第i個第一表 情特征點，N為第一表情特征點和第二表情特征點的個數(shù)；
[0043] 判斷模塊，用于根據(jù)計算得到的所述相機參數(shù)矩陣將所述原始H維人臉網格模型 上的第二表情特征點映射到所述原始二維人臉圖像上，W判斷所述第二表情特征點與所述 第一表情特征點的匹配程度，并根據(jù)判斷結果對所述原始H維人臉網格模型進行調整。
[0044] 在第二方面的第一種可能的實現(xiàn)方式中，所述判斷模塊，包括：
[0045] 計算單元，用于根據(jù)公式（2)計算所述第二表情特征點與所述第一表情特征點的 匹配誤差：
[0046] (2)
[0047] 其中，Err為所述匹配誤差，Wi為第i對特征點Xi和Xi的權重系數(shù)；
[0048] 判斷單元，用于判斷所述匹配誤差是否大于等于預設闊值；
[0049] 調整單元，用于若大于等于，則對所述原始H維人臉網格模型進行調整，W使調整 后的H維人臉網格模型上的第二表情特征點與所述第一表情特征點的匹配誤差小于所述 預設闊值。
[0050] 根據(jù)第二方面的第一種可能的實現(xiàn)方式，在第二方面的第二種可能的實現(xiàn)方式 中，所述調整單元，包括：
[0051] 計算子單元，用于計算第二表情特征點Xi到所述原始H維人臉網格模型上各網格 頂點Xj.的測地線距離，其中，i不等于j;
[0052] 第一調整子單元，用于固定所述原始H維人臉網格模型上的第二表情特征點Xi的 Z坐標，采用第一預設算法改變所述第二表情特征點Xi的X，y坐標，得到與所述第二表情特 征點Xi對應的第H表情特征點X/ ;
[0053] 確定子單元，用于W所述測地線距離為約束，采用第二預設算法確定與所述第H 表情特征點X/對應的各網格頂點X/ ;
[0054] 第二調整子單元，用于根據(jù)所述第H表情特征點X/和與所述第H表情特征點X/ 對應的各網格頂點X/調整所述原始H維人臉網格模型。
[0055] 根據(jù)第二方面、第二方面的第一種或第二種可能的實現(xiàn)方式，在第二方面的第H 種可能的實現(xiàn)方式中，所述原始二維人臉圖像包括目標二維人臉圖像和參考二維人臉圖 像；
[0056] 所述獲取模塊，包括：
[0057] 提取單元，用于提取所述目標二維人臉圖像的人臉表情特征點和所述參考二維人 臉圖像的人臉表情特征點，所述人臉表情特征點包括臉部輪廓特征點和第一表情特征