本技術涉及計算機，具體而言，涉及一種圖像的風格化模型訓練方法、裝置和計算機設備。

背景技術：

1、隨著計算機技術的發(fā)展，相關技術人員開發(fā)出了可以轉換圖像風格的算法，具體可以將真實的人物圖像轉換成動漫風格、手繪風格等不同風格的圖像。

2、相關技術中，一般需要基于生成對抗網絡(generative?adversarial?network,簡稱gan)來建立風格化模型以實現(xiàn)對圖像的風格化轉換。而gan中包括一個生成模型和判別模型。具體地，可以先利用成千上萬份的訓練數(shù)據(jù)對預設的pix2pixgan進行訓練，并且該訓練數(shù)據(jù)一般都是配對數(shù)據(jù)，以得到一個質量較高的生成模型。然后再將生成模型生成的風格化圖像輸入判別模型，以實現(xiàn)對生成模型和判別模型的交替優(yōu)化訓練，最終可以得到一個能夠輸出質量較高的風格化圖像的模型。

3、然而，由于相關技術的方案需要使用大量的配對數(shù)據(jù)來訓練生成模型，那么就需要花費大量時間和人力收集該訓練數(shù)據(jù)。而若該訓練數(shù)據(jù)的數(shù)量較少或質量較差，就會造成訓練得到的模型性能較差的問題。因此，這種方案存在無法兼顧訓練模型的效率和模型性能的問題。

技術實現(xiàn)思路

1、本技術的目的在于提供一種圖像的風格化模型訓練方法、裝置和計算機設備，可以達到提升訓練模型的效率和訓練得到的模型的性能的效果。

2、本技術的實施例是這樣實現(xiàn)的：

3、本技術實施例的第一方面，提供一種圖像的風格化模型訓練方法，所述方法包括：

4、基于多個第一樣本圖像對第一初始風格化模型進行訓練，得到第一目標風格化模型，并通過所述第一目標風格化模型對多個第二樣本圖像進行隨機風格化處理，得到多個第一風格化數(shù)據(jù)；各所述第一樣本圖像中包括風格化人臉，各所述第二樣本圖像中包括真實人臉圖像，各所述第一風格化數(shù)據(jù)包括風格化圖像以及風格標簽，各所述第一風格化數(shù)據(jù)的數(shù)量大于各所述第一樣本圖像的數(shù)量；

5、基于預設風格標簽、所述第二樣本圖像以及所述第一風格化數(shù)據(jù)中的風格化圖像對第二初始風格化模型進行訓練，得到第二目標風格化模型，所述預設風格標簽為各所述第一風格化數(shù)據(jù)中的風格標簽；

6、通過所述第二目標風格化模型對多個第三樣本圖像進行風格化處理以得到多個配對數(shù)據(jù)，各所述配對數(shù)據(jù)包括：真實人臉圖像以及對應的預設風格的風格化圖像；

7、基于各所述配對數(shù)據(jù)對第三初始風格化模型進行訓練，得到第三目標風格化模型。

8、可選地，所述基于預設風格標簽、所述第二樣本圖像以及所述第一風格化數(shù)據(jù)中的風格化圖像對第二初始風格化模型進行訓練，得到第二目標風格化模型，包括：

9、由所述第二初始風格化模型基于所述預設風格標簽、所述第二樣本圖像輸出第一生成結果，并根據(jù)所述第二樣本圖像、所述第一生成結果以及所述第一風格化數(shù)據(jù)中的風格化人臉確定第一損失信息；

10、根據(jù)所述第一損失信息對所述第二初始風格化模型進行迭代優(yōu)化，直至滿足第一預設條件，并將滿足所述第一預設條件時的第二初始風格化模型作為所述第二目標風格化模型。

11、可選地，所述根據(jù)所述第二樣本圖像、所述第一生成結果以及所述第一風格化數(shù)據(jù)中的風格化人臉確定第一損失信息，包括：

12、基于vgg模型(visual?geometry?group，簡稱vgg)提取所述第一生成結果的特征信息和所述第二樣本圖像中的真實人臉圖像的特征信息，并基于所述第一生成結果的特征信息、所述第二樣本圖像中的真實人臉圖像的特征信息確定內容損失值；

13、分別將所述第一生成結果和所述第一風格化數(shù)據(jù)中的風格化人臉轉換為第一灰度圖和第二灰度圖，并基于所述vgg模型提取所述第一灰度圖的特征信息和所述第二灰度圖的特征信息；

14、基于所述第一灰度圖的特征信息和所述第二灰度圖的特征信息確定紋理損失值；

15、基于各所述第二樣本圖像中的真實人臉圖像、各所述第一風格化數(shù)據(jù)中的風格化人臉、所述第二初始風格化模型中的生成器和鑒別器確定第一生成對抗損失值；

16、根據(jù)所述內容損失值、所述紋理損失值和所述第一生成對抗損失值確定所述第一損失信息。

17、可選地，所述通過所述第二目標風格化模型對多個第三樣本圖像進行風格化處理以得到多個配對數(shù)據(jù)，包括：

18、將各所述第三樣本圖像輸入所述第二目標風格化模型，得到所述第二目標風格化模型輸出的目標風格化數(shù)據(jù)；

19、基于各所述第三樣本圖像與對應的所述目標風格化數(shù)據(jù)之間的映射關系，得到各所述配對數(shù)據(jù)。

20、可選地，所述基于各所述配對數(shù)據(jù)對第三初始風格化模型進行訓練，得到第三目標風格化模型，包括：

21、由所述第三初始風格化模型根據(jù)所述配對數(shù)據(jù)輸出第二生成結果，并根據(jù)所述第二生成結果確定第二損失信息；

22、根據(jù)所述第二損失信息對所述第三初始風格化模型進行迭代優(yōu)化，直至滿足第二預設條件，并將滿足所述第二預設條件時的第三初始風格化模型作為所述第三目標風格化模型。

23、可選地，所述根據(jù)所述第二生成結果確定第二損失信息，包括：

24、根據(jù)所述第二生成結果和所述配對數(shù)據(jù)中的目標風格化數(shù)據(jù)確定重構損失值；

25、根據(jù)各所述目標風格化數(shù)據(jù)的特征信息、各所述第二生成結果的特征信息和預設的特征參數(shù)確定第一感知損失值；

26、基于各所述第三樣本圖像、各所述第二生成結果、各所述目標風格化數(shù)據(jù)、所述第三初始風格化模型中的生成器和鑒別器確定第二生成對抗損失值；

27、根據(jù)所述重構損失值、所述第一感知損失值和所述第二生成對抗損失值確定第二損失信息。

28、可選地，所述基于多個第一樣本圖像對第一初始風格化模型進行訓練，得到第一目標風格化模型，包括：

29、對各所述第一樣本圖像進行預處理操作，并將預處理后的第一樣本圖像作為得到各第一樣本圖像，所述預處理操作包括如下至少一項：人臉對齊處理、歸一化處理；

30、由所述第一初始風格化模型基于各所述第一樣本圖像輸出各第三生成結果；

31、基于隨機隱向量、各所述第一樣本圖像、所述第一初始風格化模型中的生成器和鑒別器確定第三生成對抗損失值；

32、根據(jù)各所述第一樣本圖像的特征信息、各所述第三生成結果的特征信息和預設的特征參數(shù)確定第二感知損失值；

33、根據(jù)所述第三生成對抗損失值和所述第二感知損失值確定第三損失信息；

34、根據(jù)所述第三損失信息對所述第一初始風格化模型進行迭代優(yōu)化，直至滿足第三預設條件，并將滿足所述第三預設條件時的第一初始風格化模型作為所述第一目標風格化模型。

35、本技術實施例的第二方面，提供了一種圖像的風格化模型訓練裝置，所述裝置包括：

36、第一執(zhí)行模塊，用于基于多個第一樣本圖像對第一初始風格化模型進行訓練，得到第一目標風格化模型，并通過所述第一目標風格化模型對多個第二樣本圖像進行隨機風格化處理，得到多個第一風格化數(shù)據(jù)；各所述第一樣本圖像中包括風格化人臉，各所述第二樣本圖像中包括真實人臉圖像，各所述第一風格化數(shù)據(jù)包括風格化圖像以及風格標簽，各所述第一風格化數(shù)據(jù)的數(shù)量大于各所述第一樣本圖像的數(shù)量；

37、第二執(zhí)行模塊，用于基于預設風格標簽、各所述第二樣本圖像以及所述第一風格化數(shù)據(jù)中的風格化圖像對第二初始風格化模型進行訓練，得到第二目標風格化模型，所述預設風格標簽為各所述第一風格化數(shù)據(jù)中的風格標簽；

38、所述第二執(zhí)行模塊，還用于通過所述第二目標風格化模型對多個第三樣本圖像進行風格化處理以得到多個配對數(shù)據(jù)，各所述配對數(shù)據(jù)包括：真實人臉圖像以及對應的預設風格的風格化圖像；

39、第三執(zhí)行模塊，用于基于各所述配對數(shù)據(jù)對第三初始風格化模型進行訓練，得到第三目標風格化模型。

40、本技術實施例的第三方面，提供了一種計算機設備，所述計算機設備包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述計算機程序被所述處理器執(zhí)行時實現(xiàn)上述第一方面所述的圖像的風格化模型訓練方法。

41、本技術實施例的第四方面，提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述第一方面所述的圖像的風格化模型訓練方法。

42、本技術實施例的有益效果包括：

43、本技術實施例提供的一種圖像的風格化模型訓練方法，通過基于多個第一樣本圖像對第一初始風格化模型進行訓練，得到第一目標風格化模型，并通過該第一目標風格化模型對多個第二樣本圖像進行隨機風格化處理，得到多個第一風格化數(shù)據(jù)。這樣可以基于少量的第一樣本圖像訓練得到第一目標風格化模型，然后由第一目標風格化模型對大量的第二樣本圖像進行隨機風格化處理即可得到大量的第一風格化數(shù)據(jù)。

44、基于預設風格標簽、各第二樣本圖像以及該第一風格化數(shù)據(jù)中的風格化圖像對第二初始風格化模型進行訓練，得到第二目標風格化模型。由于該預設風格標簽可以指示該第二初始風格化模型學習的風格類型，這樣可以提升該第二目標風格化模型能夠對圖像進行特定風格類型的風格化處理的性能。并且，無需使用大量的配對數(shù)據(jù)對該第二目標風格化模型進行訓練，可以提升訓練該第二目標風格化模型的效率。

45、通過該第二目標風格化模型對多個第三樣本圖像進行風格化處理以得到多個配對數(shù)據(jù)。由于各配對數(shù)據(jù)的數(shù)量等于或大于各第三樣本圖像的數(shù)量，且該第二目標風格化模型輸出的風格化圖像的質量較高。這樣，就可以得到大量的、高質量的配對數(shù)據(jù)以進行后續(xù)處理。

46、基于各配對數(shù)據(jù)對第三初始風格化模型進行訓練，得到第三目標風格化模型。由于各配對數(shù)據(jù)是通過訓練好的該第二目標風格化模型對各第三樣本圖像進行風格化處理而生成的大量數(shù)據(jù)，這樣，就無需花費大量時間和人力搜集大量的配對數(shù)據(jù)。且各配對數(shù)據(jù)中的預設風格的風格化圖像的質量較高，各配對數(shù)據(jù)中的真實人臉圖像是ffhq和/或celeba中的高清人臉圖像，因此可以確保各配對數(shù)據(jù)的質量較高。

47、也即，本技術實施例提供的圖像的風格化模型訓練方法可以在提升訓練模型的效率的同時，確保訓練得到的模型的性能。

48、如此，可以提升訓練模型的效率和訓練得到的模型的性能。