本公開(kāi)涉及計(jì)算機(jī)，尤其涉及虛擬數(shù)字人、增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)、混合現(xiàn)實(shí)、擴(kuò)展現(xiàn)實(shí)等，具體涉及一種自動(dòng)化處理數(shù)字人資產(chǎn)的方案。

背景技術(shù)：

1、數(shù)字人資產(chǎn)的口型綁定和渲染是一項(xiàng)繁瑣而復(fù)雜的任務(wù)，每一個(gè)環(huán)節(jié)都需要專業(yè)人員投入大量的時(shí)間和精力。建模師需要精細(xì)地塑造數(shù)字人的面部結(jié)構(gòu)，確?？谛妥兓淖匀缓驼鎸?shí)；技術(shù)美術(shù)師則需要對(duì)模型進(jìn)行細(xì)致的調(diào)整和優(yōu)化，確保其在渲染過(guò)程中的表現(xiàn)達(dá)到預(yù)期；而unity工程師則需要將數(shù)字人資產(chǎn)與驅(qū)動(dòng)程序進(jìn)行精確的對(duì)接，實(shí)現(xiàn)口型與語(yǔ)音的同步。在這種情況下，如何低成本、高效率地完成數(shù)字人資產(chǎn)和數(shù)字人驅(qū)動(dòng)程序的對(duì)接，成為了業(yè)界亟待解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本公開(kāi)提供了一種自動(dòng)化處理數(shù)字人資產(chǎn)的方案。

2、根據(jù)本公開(kāi)的內(nèi)容，提供的一種自動(dòng)化處理數(shù)字人資產(chǎn)的方案，包括：數(shù)字人資產(chǎn)的結(jié)構(gòu)識(shí)別。

3、根據(jù)數(shù)字人文件結(jié)構(gòu)中的命名，在程序中完成正則匹配，識(shí)別數(shù)字人的結(jié)構(gòu)文件。其中包括數(shù)字人資產(chǎn)的網(wǎng)格結(jié)構(gòu)、面部blendshape(混合形狀,下文簡(jiǎn)稱“bs”)結(jié)構(gòu)。

4、數(shù)字人資產(chǎn)的自動(dòng)渲染shader(著色器)匹配。

5、在圖形渲染中，數(shù)字人的不同部位需要適配不同的shader(著色器)，例如皮膚結(jié)構(gòu)需要適配sss(次表面散射)shader，頭發(fā)結(jié)構(gòu)需要適配雙面透明shader等。本公開(kāi)在數(shù)字人資產(chǎn)的網(wǎng)格結(jié)構(gòu)識(shí)別后，自動(dòng)適配通用的各類shader為數(shù)字人資產(chǎn)提供正確的渲染表現(xiàn)。

6、數(shù)字人資產(chǎn)的口型匹配。

7、在數(shù)字人口型的領(lǐng)域中，通常是由動(dòng)畫(huà)師或者建模師為數(shù)字人資產(chǎn)制作口型的bs，提供給程序調(diào)用。本公開(kāi)在數(shù)字人資產(chǎn)的面部bs識(shí)別后,通過(guò)識(shí)別嘴唇的關(guān)鍵bs鍵值，自動(dòng)為數(shù)字人資產(chǎn)匹配驅(qū)動(dòng)程序可識(shí)別的標(biāo)準(zhǔn)口型數(shù)據(jù)。

技術(shù)特征：

1.一種自動(dòng)化處理數(shù)字人資產(chǎn)的方案，其特征在于，包括以下步驟：

技術(shù)總結(jié)
本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別是虛擬數(shù)字人、增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)、混合現(xiàn)實(shí)、擴(kuò)展現(xiàn)實(shí)等技術(shù)領(lǐng)域，提供了一種自動(dòng)化處理數(shù)字人資產(chǎn)的方案。該方法包括數(shù)字人資產(chǎn)的結(jié)構(gòu)識(shí)別、自動(dòng)渲染Shader匹配和口型匹配。結(jié)構(gòu)識(shí)別通過(guò)正則匹配識(shí)別數(shù)字人的結(jié)構(gòu)文件，包括網(wǎng)格結(jié)構(gòu)和面部BlendShape結(jié)構(gòu)。自動(dòng)渲染Shader匹配根據(jù)數(shù)字人資產(chǎn)的不同部位適配不同的Shader，例如皮膚結(jié)構(gòu)適配SSS?Shader，頭發(fā)結(jié)構(gòu)適配雙面透明Shader等。口型匹配通過(guò)識(shí)別嘴唇的關(guān)鍵BlendShape鍵值，自動(dòng)為數(shù)字人資產(chǎn)匹配驅(qū)動(dòng)程序可識(shí)別的標(biāo)準(zhǔn)口型數(shù)據(jù)。

技術(shù)研發(fā)人員：曹磊,唐韜,湯佳珍,黃瀟,熊辛,李嘉鵬
受保護(hù)的技術(shù)使用者：江西果康信息科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19