本發(fā)明涉及一種利用cbct掃描數(shù)據(jù)生成高質(zhì)量三維人臉模型的方法，具體涉及一種基于擴(kuò)散模型的三維人臉生成方法。

背景技術(shù)：

1、三維人臉生成涉及從不同的數(shù)據(jù)源生成精確的三維人臉模型，這一技術(shù)的關(guān)鍵挑戰(zhàn)在于如何準(zhǔn)確捕捉面部的復(fù)雜細(xì)節(jié)以及如何在不同的數(shù)據(jù)來源和模態(tài)之間建立有效的映射。為了解決這一問題，學(xué)者們提出了三維可變形模型，通過一組參數(shù)化的三維人臉基礎(chǔ)模型，允許對個(gè)體面部的詳細(xì)特征進(jìn)行微調(diào)和編輯。近年來，三維可變模型已被廣泛應(yīng)用于從單張圖像或者多張圖像中恢復(fù)三維人臉的任務(wù)，但從cbct掃描生成三維人臉的研究非常有限。然而，cbct技術(shù)在捕捉軟組織細(xì)節(jié)和避免偽影方面存在局限，尤其是在患者移動或特定掃描姿勢下的圖像質(zhì)量受損問題。為了提高cbct技術(shù)的應(yīng)用效果，學(xué)者們探索了多種改進(jìn)方法。例如，通過軟件算法優(yōu)化來減少偽影，以及結(jié)合其他成像技術(shù)如磁共振成像來增強(qiáng)軟組織的可視化。此外，隨著三維數(shù)字成像技術(shù)的發(fā)展，三維攝影和立體測繪學(xué)成為了解決cbct在軟組織成像方面缺陷的補(bǔ)充手段。這些方法通過提供精細(xì)的三維面部掃描，幫助醫(yī)生更全面地理解患者的顏面結(jié)構(gòu)，尤其在復(fù)雜的牙面和軟組織變化方面展現(xiàn)了獨(dú)特的優(yōu)勢。因此，研究由cbct數(shù)據(jù)生成高精度的三維人臉的方法具有重要意義。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明公開了一種基于擴(kuò)散模型的三維人臉生成方法，具體包括以下步驟：

2、步驟1：選擇并使用一組高分辨率的三維人臉掃描作為基準(zhǔn)數(shù)據(jù)集，這些數(shù)據(jù)包括詳細(xì)的面部網(wǎng)格和紋理信息，

3、步驟2：應(yīng)用3dmm對高分辨率掃描進(jìn)行重拓?fù)涮幚?，生成具有統(tǒng)一拓?fù)浣Y(jié)構(gòu)的模型，便于后續(xù)處理和分析，

4、步驟3：對于每個(gè)重拓?fù)浜蟮哪Ｐ?，從相關(guān)的紋理圖片中提取uv紋理映射，創(chuàng)建高質(zhì)量的紋理圖，

5、步驟4：結(jié)合重拓?fù)浜蟮哪Ｐ秃拖鄳?yīng)的uv紋理映射，形成完整的三維人臉數(shù)據(jù)集，用于訓(xùn)練和驗(yàn)證合成模塊和紋理生成網(wǎng)絡(luò)，

6、步驟5：通過預(yù)訓(xùn)練的cbct編碼器解析輸入的cbct掃描數(shù)據(jù)以生成隱空間向量，

7、步驟6：將步驟1得到的隱空間向量輸入到擴(kuò)散模型來預(yù)測三維人臉形狀，以提高生成模型的精度和真實(shí)感，

8、步驟7：應(yīng)用stylegan2網(wǎng)絡(luò)生成與預(yù)測的三維形狀對應(yīng)的紋理，進(jìn)一步提升模型的細(xì)節(jié)和逼真度，

9、步驟8：整合形狀和紋理數(shù)據(jù)，生成最終的高質(zhì)量三維人臉模型。

10、其中，步驟2中的3dmm重拓?fù)涮幚碓敿?xì)描述如下：首先，采用自動化的面部對齊技術(shù)在材質(zhì)圖片th上標(biāo)定出二維關(guān)鍵點(diǎn)，然后將這些二維關(guān)鍵點(diǎn)映射到對應(yīng)的三維掃描模型sh上，形成一組三維關(guān)鍵點(diǎn)接著，使用一種高保真的模板形狀stemp，該模板具備20481個(gè)頂點(diǎn)和40832個(gè)三角形，并定義有預(yù)設(shè)的關(guān)鍵點(diǎn)和面部區(qū)域掩碼。通過非剛性迭代最近點(diǎn)(icp)技術(shù)，將stemp形狀調(diào)整以適應(yīng)sh的面部結(jié)構(gòu)，確保模板的關(guān)鍵點(diǎn)盡可能接近于sh上實(shí)際檢測到的關(guān)鍵點(diǎn)此過程中，整體網(wǎng)格變形包含平滑項(xiàng)和地標(biāo)損失項(xiàng)，用于優(yōu)化形狀匹配和減少變形誤差。最后，對調(diào)整后的模板形狀stemp進(jìn)行精細(xì)后處理，移除由原始掃描中的噪聲引起的任何尖銳或不規(guī)則特征，使用基于拉普拉斯編輯的方法優(yōu)化網(wǎng)格質(zhì)量，從而得到具有一致拓?fù)浜驮鰪?qiáng)的視覺質(zhì)量的低分辨率基準(zhǔn)網(wǎng)格sl。這一步驟確保重拓?fù)浜蟮哪Ｐ驮诓煌瑐€(gè)體之間保持結(jié)構(gòu)一致性和高度的可操作性，為后續(xù)的三維人臉生成提供堅(jiān)實(shí)的基礎(chǔ)。

11、其中，步驟3中的uv紋理映射過程詳細(xì)描述如下：使用先進(jìn)的圖像處理技術(shù)，從高分辨率的材質(zhì)圖片中提取紋理信息，這一過程依賴于對重拓?fù)浜蟮娜S模型sl的形狀和姿態(tài)參數(shù)的精確擬合。本方法專注于反照率和照明的優(yōu)化，通過這種專注，能夠更精確地調(diào)整紋理以匹配模型的特定特征，如面部輪廓和特征細(xì)節(jié)。在進(jìn)行了紋理優(yōu)化和超分辨率處理之后，生成的uv紋理圖具有更高的細(xì)節(jié)和真實(shí)感，確保了生成的三維人臉模型紋理的連續(xù)性和無縫匹配，顯著提高了模型在視覺上的質(zhì)量和逼真度。

12、其中，步驟4中所述的整合操作，操作具體為：將整個(gè)三維人臉數(shù)據(jù)集按照8：1：1隨機(jī)分割為訓(xùn)練集、驗(yàn)證集和測試集，并與每個(gè)三維人臉實(shí)體的cbct掃描數(shù)據(jù)一一對應(yīng)。

13、其中，步驟6中的擴(kuò)散模型采用條件生成的方法，具體如下：

14、使用主成分分析從訓(xùn)練集中的3d多邊形網(wǎng)格模型生成3dmm模型。具體來說，給定m個(gè)面部網(wǎng)格模型，每個(gè)模型包含n個(gè)頂點(diǎn)，構(gòu)建一個(gè)m×n的張量來表示訓(xùn)練集中所有這些頂點(diǎn)。使用tucker分解將m×n的張量分解成一個(gè)小的pca基礎(chǔ)矩陣b和一個(gè)表示面部身份的m′維因子。給定任意的3dmm參數(shù)s，可以生成表示3d面部形狀的一組新頂點(diǎn)v：

15、v＝b×s?(1)

16、通過這種方式，大規(guī)模的3d面部形狀數(shù)據(jù)被映射到一個(gè)m′維的參數(shù)空間中，稱為s空間。設(shè)置m＝327,m′＝300,n＝20481。

17、形狀生產(chǎn)網(wǎng)絡(luò)是基于去噪擴(kuò)散概率模型訓(xùn)練的，利用cbct嵌入作為條件指導(dǎo)三維人臉合成的去噪過程。此過程中使用的具體公式如下：

18、

19、其中，θ表示形狀生產(chǎn)網(wǎng)絡(luò)中的參數(shù)，ds是輸入形狀的條件代碼，xt是經(jīng)過噪聲添加過程t步之后的x0，是預(yù)測的三維人臉參數(shù)，將被擬合到真實(shí)值x0上。在擴(kuò)散模型的去噪過程中，高斯噪聲會從添加了噪聲的三維人臉中連續(xù)移除，并且模型參數(shù)基于形狀相關(guān)代碼來更新以預(yù)測三維人臉。前向過程涉及噪聲添加過程，其中高斯噪聲通過t步被添加到真實(shí)值上，每一步由步驟編碼器編碼。最后，所有元素被送入解碼器以預(yù)測三維人臉參數(shù)。

20、在正向加噪過程之后，進(jìn)行逆向過程，從逆向推導(dǎo)出因此，事先需要知道條件分布函數(shù)訓(xùn)練目標(biāo)被定義為學(xué)習(xí)預(yù)測添加到輸入x0的噪聲∈。然而，模型學(xué)習(xí)預(yù)測實(shí)際的三維人臉而不是數(shù)據(jù)中的噪聲水平，因?yàn)榻Y(jié)果也依賴于輸入的cbct，通過選擇這種方法，模型能夠在推理過程的最初去噪步驟就預(yù)測出可接受的結(jié)果，從而實(shí)現(xiàn)更快的采樣。

21、使用以下兩種類型的損失來訓(xùn)練形狀生成網(wǎng)絡(luò)：加權(quán)l(xiāng)1損失和區(qū)域特定三元組損失。通過一個(gè)可微的3dmm映射模塊，預(yù)測的3dmm參數(shù)可以轉(zhuǎn)化為頂點(diǎn)的3d位置。由于直接對所有頂點(diǎn)應(yīng)用l1損失會導(dǎo)致整體上的平均結(jié)果，因此使用加權(quán)掩碼來計(jì)算不同區(qū)域的損失。加權(quán)l(xiāng)1損失函數(shù)的公式為：

22、

23、其中，vi代表第i個(gè)區(qū)域的頂點(diǎn)，而αi代表相應(yīng)的權(quán)重。整個(gè)頭部網(wǎng)格模型分為四個(gè)區(qū)域：(1)68個(gè)面部標(biāo)志點(diǎn)；(2)鼻子和嘴巴；(3)前額和臉頰；(4)帶耳朵的頭部后側(cè)。這些區(qū)域的權(quán)重被設(shè)定為16:4:3:0。為了增強(qiáng)生成的3d形狀的多樣性，使用了區(qū)域特定三元組損失來訓(xùn)練模型。其背后的關(guān)鍵思想是使預(yù)測和正例之間的差異變小，而預(yù)測和負(fù)例之間的差異變大，通過計(jì)算平均歐幾里得距離并為不同區(qū)域應(yīng)用權(quán)重來測量差異。具體來說，應(yīng)用四個(gè)區(qū)域掩碼，在每次訓(xùn)練迭代中，隨機(jī)選擇一個(gè)區(qū)域的正負(fù)樣本對，并計(jì)算區(qū)域特定三元組損失，公式如下：

24、

25、其中，是預(yù)測的第i個(gè)區(qū)域的頂點(diǎn)，vi是對應(yīng)的真實(shí)頂點(diǎn)，而是它的對立樣本。mi和λi分別代表相應(yīng)區(qū)域的間隔和權(quán)重。

26、其中，步驟7中的stylegan2網(wǎng)絡(luò)經(jīng)過特別訓(xùn)練調(diào)整，用于適應(yīng)從三維形狀信息到高分辨率紋理映射的生成。此過程利用stylegan2作為骨干網(wǎng)絡(luò)，該網(wǎng)絡(luò)采用生成對抗網(wǎng)絡(luò)架構(gòu)，以處理和生成高質(zhì)量的uv紋理映射。在這個(gè)應(yīng)用中，stylegan2接受一個(gè)由cbct數(shù)據(jù)生成的隱空間表示作為條件輸入，以及隨機(jī)生成的潛在代碼。這些輸入映射到所謂的w空間，該空間能夠解耦并獨(dú)立控制不同的面部特征，允許更精細(xì)的紋理細(xì)節(jié)生成。

27、在訓(xùn)練階段，網(wǎng)絡(luò)使用從3dmm生成的三角形網(wǎng)格提取的uv紋理映射作為目標(biāo)圖像。這些紋理映射細(xì)節(jié)豐富，為生成的三維模型提供真實(shí)的皮膚紋理和顏色。通過這種方法，stylegan2學(xué)習(xí)如何從提供的條件代碼中重建和生成與原始紋理質(zhì)量匹配的2d圖像紋理。損失函數(shù)和超參數(shù)的設(shè)置保持與標(biāo)準(zhǔn)stylegan2相同，確保網(wǎng)絡(luò)能夠在學(xué)習(xí)過程中有效優(yōu)化，生成視覺上令人滿意的結(jié)果。

28、在2d圖像生成中，使用單一條件代碼控制整個(gè)生成過程往往是困難的。因此，引入了一種風(fēng)格增強(qiáng)器，來提高條件代碼對材質(zhì)渲染的影響力。

29、具體來說，風(fēng)格增強(qiáng)器在第i個(gè)上采樣塊首先通過交叉模態(tài)注意力機(jī)制將輸入圖像特征fi與條件特征相融合：

30、

31、其中

32、

33、這里，是指cbct編碼器的最后一個(gè)隱藏狀態(tài)，f′i用于預(yù)測風(fēng)格碼的偏移量δwi，表示為w′i＝w+δwi，并用于調(diào)節(jié)當(dāng)前的上采樣塊：

34、w′i＝w+δwi＝w+mlp(conv1×1(f′i))??(7)

35、通過配備風(fēng)格增強(qiáng)器，模型能夠更好地將cbct信息嵌入到渲染過程中，同時(shí)保持圖像質(zhì)量。

36、本發(fā)明提出了一種基于擴(kuò)散模型的三維人臉生成方法。該方法首先利用高分辨率的三維人臉掃描數(shù)據(jù)建立基準(zhǔn)數(shù)據(jù)集，包括面部網(wǎng)格和紋理信息。通過3dmm技術(shù)進(jìn)行重拓?fù)涮幚?，生成具有統(tǒng)一拓?fù)浣Y(jié)構(gòu)的模型，以便于后續(xù)處理和分析。隨后，對每個(gè)模型應(yīng)用uv紋理映射，創(chuàng)造高質(zhì)量的紋理圖，與重拓?fù)浜蟮哪Ｐ驼?，形成完整的三維人臉數(shù)據(jù)集。利用預(yù)訓(xùn)練的cbct編碼器解析輸入的cbct掃描數(shù)據(jù)生成隱空間向量，并通過擴(kuò)散模型對三維人臉形狀進(jìn)行預(yù)測，提高生成模型的精度和真實(shí)感。此外，應(yīng)用stylegan2網(wǎng)絡(luò)生成對應(yīng)的紋理，進(jìn)一步提升模型的細(xì)節(jié)和逼真度，且提出一種風(fēng)格增強(qiáng)器的創(chuàng)新模塊，以確保cbct對三維人臉生成的影響。最終整合形狀和紋理數(shù)據(jù)，生成高質(zhì)量的三維人臉模型。本發(fā)明的核心在于直接從cbct數(shù)據(jù)到三維人臉參數(shù)的跨模態(tài)映射，顯著提高了生成速度和逼真度，適用于醫(yī)學(xué)成像和其他領(lǐng)域，為臨床提供有效的診斷和治療工具?？梢詭椭R床醫(yī)生識別和定位畸形的來源及其嚴(yán)重程度，避免了患者的召回，并減少了預(yù)約時(shí)間，使治療模擬和治療前后比較更加容易，從而使臨床醫(yī)生能夠評估正畸或手術(shù)治療后的面部變化。