本發(fā)明涉及虛擬現(xiàn)實(shí)，尤其涉及一種3d模型自動(dòng)風(fēng)格轉(zhuǎn)換方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、隨著3d游戲的發(fā)展，各種不同風(fēng)格的游戲逐漸涌現(xiàn)。游戲開發(fā)者希望在不同風(fēng)格的游戲之間輕松地轉(zhuǎn)換和遷移游戲?qū)嶓w，如角色、道具和物品。然而，傳統(tǒng)的風(fēng)格轉(zhuǎn)換方法通常是根據(jù)所要轉(zhuǎn)換的風(fēng)格人為手動(dòng)新建模型，耗時(shí)耗力。

2、因此，有必要提出一種3d模型自動(dòng)風(fēng)格轉(zhuǎn)換方法、裝置、設(shè)備及介質(zhì)以解決上述問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種3d模型自動(dòng)風(fēng)格轉(zhuǎn)換方法、裝置、設(shè)備及介質(zhì)，用以改善現(xiàn)有的人為手動(dòng)風(fēng)格轉(zhuǎn)換方法耗時(shí)耗力的問題。

2、第一方面，本申請(qǐng)?zhí)峁┝艘环N3d模型自動(dòng)風(fēng)格轉(zhuǎn)換方法，該方法包括：根據(jù)參考游戲模型和待轉(zhuǎn)換游戲模型的uv貼圖，構(gòu)建參考游戲模型的參考紋理訓(xùn)練集，將所述參考紋理訓(xùn)練集劃分成多個(gè)不同區(qū)域，將不同區(qū)域填充不同顏色的色塊；將所述參考紋理訓(xùn)練集應(yīng)用到參考游戲模型的uv坐標(biāo)以生成參考游戲的3d模型，將參考游戲的3d模型生成參考匹配訓(xùn)練集，其中，參考匹配訓(xùn)練集為不同視角的2d參考圖片；針對(duì)每個(gè)所述區(qū)域的色塊，預(yù)生成待轉(zhuǎn)換游戲模型的目標(biāo)紋理訓(xùn)練集，將所述目標(biāo)紋理訓(xùn)練集應(yīng)用到待轉(zhuǎn)換游戲模型的uv坐標(biāo)以生成待轉(zhuǎn)換游戲的3d模型，將待轉(zhuǎn)換游戲的3d模型生成目標(biāo)匹配訓(xùn)練集，其中，目標(biāo)匹配訓(xùn)練集為和2d參考圖片一一對(duì)應(yīng)的2d目標(biāo)圖片；縮小所述參考紋理訓(xùn)練集劃分區(qū)域的面積，并重復(fù)執(zhí)行上述步驟直到獲得所需風(fēng)格的目標(biāo)紋理訓(xùn)練集。

3、本發(fā)明提供的方法的有益效果在于：構(gòu)建參考游戲模型的參考紋理訓(xùn)練集，對(duì)參考紋理訓(xùn)練集進(jìn)行劃分和顏色填充以得填充有不同色塊的多個(gè)區(qū)域，根據(jù)所述參考紋理訓(xùn)練集、參考游戲模型的uv坐標(biāo)生成參考匹配訓(xùn)練集，根據(jù)每個(gè)所述區(qū)域的色塊，預(yù)生成目標(biāo)紋理訓(xùn)練集，根據(jù)所述目標(biāo)紋理訓(xùn)練集、待轉(zhuǎn)換游戲模型的uv坐標(biāo)生成目標(biāo)匹配訓(xùn)練集，通過縮小所述參考紋理訓(xùn)練集劃分區(qū)域的面積以增加區(qū)域數(shù)量，并重復(fù)執(zhí)行上述步驟，以使目標(biāo)紋理訓(xùn)練集中2d目標(biāo)圖片與參考匹配訓(xùn)練集中2d參考圖片更加相似，從而獲取了所需風(fēng)格的目標(biāo)紋理訓(xùn)練集，本發(fā)明自動(dòng)風(fēng)格轉(zhuǎn)換算法，無需人為手動(dòng)新建模型，即可實(shí)現(xiàn)3d游戲?qū)嶓w在不同游戲風(fēng)格之間的無縫遷移。

4、在一種可能的實(shí)施例中，將待轉(zhuǎn)換游戲的3d模型生成目標(biāo)匹配訓(xùn)練集之后，還包括：

5、將參考匹配訓(xùn)練集、目標(biāo)匹配訓(xùn)練集輸入到深度學(xué)習(xí)多層神經(jīng)網(wǎng)絡(luò)中，得到優(yōu)化后的目標(biāo)紋理訓(xùn)練集。

6、在一種可能的實(shí)施例中，得到優(yōu)化后的目標(biāo)紋理訓(xùn)練集之后，還包括：

7、利用損失函數(shù)衡量參考匹配訓(xùn)練集、目標(biāo)匹配訓(xùn)練集之間的相似性，根據(jù)相似性的衡量結(jié)果，利用優(yōu)化器優(yōu)化所述深度學(xué)習(xí)多層神經(jīng)網(wǎng)絡(luò)的權(quán)重，以最小化損失函數(shù)。

8、在一種可能的實(shí)施例中，將參考匹配訓(xùn)練集、目標(biāo)匹配訓(xùn)練集輸入到深度學(xué)習(xí)多層神經(jīng)網(wǎng)絡(luò)中之前，還包括：

9、建立深度學(xué)習(xí)多層神經(jīng)網(wǎng)絡(luò)，其中，所述深度學(xué)習(xí)多層神經(jīng)網(wǎng)絡(luò)可為包含深度卷積神經(jīng)網(wǎng)絡(luò)且包括多個(gè)卷積層、激活層、池化層以及全連接層；或，所述多層神經(jīng)網(wǎng)絡(luò)為transformer神經(jīng)網(wǎng)絡(luò)且包括多個(gè)注意力層；

10、使用訓(xùn)練集對(duì)所述深度學(xué)習(xí)多層神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，在訓(xùn)練過程中通過調(diào)整超參數(shù)以提高所述深度學(xué)習(xí)多層神經(jīng)網(wǎng)絡(luò)的性能，并在驗(yàn)證集上驗(yàn)證所述深度學(xué)習(xí)多層神經(jīng)網(wǎng)絡(luò)的性能，所述超參數(shù)包括但不限于學(xué)習(xí)率、批量大小和網(wǎng)絡(luò)層數(shù)。

11、在一種可能的實(shí)施例中，在訓(xùn)練所述深度學(xué)習(xí)多層神經(jīng)網(wǎng)絡(luò)的過程中，每次訓(xùn)練迭代時(shí)根據(jù)損失函數(shù)更新所述深度學(xué)習(xí)多層神經(jīng)網(wǎng)絡(luò)的權(quán)重。

12、第二方面，本申請(qǐng)還提了一種3d模型自動(dòng)風(fēng)格轉(zhuǎn)換裝置，該裝置包括執(zhí)行上述第一方面的任意一種可能的設(shè)計(jì)的方法的模塊/單元。這些模塊/單元可以通過硬件實(shí)現(xiàn)，也可以通過硬件執(zhí)行相應(yīng)的軟件實(shí)現(xiàn)。

13、第三方面，本申請(qǐng)實(shí)施例提供了一種電子設(shè)備，包括處理器和存儲(chǔ)器。其中，存儲(chǔ)器用于存儲(chǔ)一個(gè)或多個(gè)計(jì)算機(jī)程序；當(dāng)存儲(chǔ)器存儲(chǔ)的一個(gè)或多個(gè)計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，使得該電子設(shè)備能夠?qū)崿F(xiàn)上述第一方面的任意一種可能的設(shè)計(jì)的方法。

14、第四方面，本申請(qǐng)實(shí)施例中還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括計(jì)算機(jī)程序，當(dāng)計(jì)算機(jī)程序在電子設(shè)備上運(yùn)行時(shí)，使得電子設(shè)備執(zhí)行上述第一方面的任意一種可能的設(shè)計(jì)的方法。

15、第五方面，本申請(qǐng)實(shí)施例還提供了一種包含計(jì)算機(jī)程序產(chǎn)品，當(dāng)所述計(jì)算機(jī)程序產(chǎn)品在電子設(shè)備上運(yùn)行時(shí)，使得所述電子設(shè)備執(zhí)行上述任一方面的任意一種可能的設(shè)計(jì)的方法。

16、關(guān)于上述第二方面至第五方面的有益效果可以參見上述第一方面中的描述。

技術(shù)特征：

1.一種3d模型自動(dòng)風(fēng)格轉(zhuǎn)換方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，將待轉(zhuǎn)換游戲的3d模型生成目標(biāo)匹配訓(xùn)練集之后，還包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，得到優(yōu)化后的目標(biāo)紋理訓(xùn)練集之后，還包括：

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，將參考匹配訓(xùn)練集、目標(biāo)匹配訓(xùn)練集輸入到深度學(xué)習(xí)多層神經(jīng)網(wǎng)絡(luò)中之前，還包括：

5.一種3d模型自動(dòng)風(fēng)格轉(zhuǎn)換裝置，其特征在于，所述裝置包括：

6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，還包括：

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，還包括：

8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，還包括：

9.一種電子設(shè)備，其特征在于，包括：處理器及存儲(chǔ)器，所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序；所述處理器用于執(zhí)行所述存儲(chǔ)器存儲(chǔ)的計(jì)算機(jī)程序，以使所述電子設(shè)備執(zhí)行權(quán)利要求1至4中任一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至4中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本發(fā)明提供了一種3D模型自動(dòng)風(fēng)格轉(zhuǎn)換方法、裝置、設(shè)備及介質(zhì)，包括：根據(jù)參考游戲模型的UV貼圖，構(gòu)建參考游戲模型的參考紋理訓(xùn)練集，將參考紋理訓(xùn)練集劃分成多個(gè)不同區(qū)域，將不同區(qū)域填充不同顏色的色塊；將參考紋理訓(xùn)練集應(yīng)用到參考游戲模型的UV坐標(biāo)以生成參考游戲的3D模型，將參考游戲的3D模型生成參考匹配訓(xùn)練集；針對(duì)每個(gè)區(qū)域的色塊，預(yù)生成待轉(zhuǎn)換游戲模型的目標(biāo)紋理訓(xùn)練集，將目標(biāo)紋理訓(xùn)練集應(yīng)用到待轉(zhuǎn)換游戲模型的UV坐標(biāo)以生成待轉(zhuǎn)換游戲的3D模型，將待轉(zhuǎn)換游戲的3D模型生成目標(biāo)匹配訓(xùn)練集；縮小參考紋理訓(xùn)練集劃分區(qū)域的面積，并重復(fù)執(zhí)行上述步驟直到獲得所需風(fēng)格的目標(biāo)紋理訓(xùn)練集。本發(fā)明無需手動(dòng)建型，可實(shí)現(xiàn)自動(dòng)風(fēng)格轉(zhuǎn)換算法。

技術(shù)研發(fā)人員：胡凝
受保護(hù)的技術(shù)使用者：上海桐識(shí)信息科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/12