本發(fā)明涉及圖像處理，尤其涉及一種于條件生成對(duì)抗網(wǎng)絡(luò)的漫畫圖像上色方法。

背景技術(shù)：

1、在漫畫制作過(guò)程中，通常包括概念構(gòu)思、分鏡頭設(shè)計(jì)、鉛筆草稿、線稿繪制、上色和陰影、背景繪制、字體和對(duì)話框、印刷和發(fā)行等八個(gè)主要步驟，通過(guò)上述方法能夠較為完整的完成漫畫的制作。

2、目前，這八個(gè)步驟大多依賴于純手工制作，既耗時(shí)又費(fèi)力，正是因?yàn)檫@種工作的具有時(shí)間和人力密集的性質(zhì)，所以直到現(xiàn)在市面上很多的漫畫產(chǎn)品也只有封面或者前幾頁(yè)才是彩色畫面，并借此來(lái)吸引買家的注意力，這導(dǎo)致時(shí)間和人力成本上的消耗較高。

3、在人工智能的許多領(lǐng)域，深度網(wǎng)絡(luò)已經(jīng)取得了遠(yuǎn)遠(yuǎn)超過(guò)傳統(tǒng)方法的表現(xiàn)，包括語(yǔ)音、自然語(yǔ)言、視覺(jué)、游戲等領(lǐng)域。因此，有必要提供一種以深度學(xué)習(xí)網(wǎng)絡(luò)為基礎(chǔ)的漫畫圖像上色方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種于條件生成對(duì)抗網(wǎng)絡(luò)的漫畫圖像上色方法，解決了現(xiàn)有的漫畫制作方法人力成本高、漫畫制作效率低的技術(shù)問(wèn)題。

2、根據(jù)本發(fā)明的第一方面，提供一種基于條件生成對(duì)抗網(wǎng)絡(luò)的漫畫圖像上色方法，包括以下步驟：

3、獲取漫畫線稿和彩稿數(shù)據(jù)對(duì)以及高動(dòng)態(tài)范圍成像圖像數(shù)據(jù)，并構(gòu)建訓(xùn)練集和測(cè)試集；

4、構(gòu)建上色模型和陰影添加模型，采用所述訓(xùn)練集對(duì)所述上色模型和所述陰影添加模型進(jìn)行訓(xùn)練，并采用所述測(cè)試集對(duì)所述上色模型和所述陰影添加模型進(jìn)行評(píng)估；

5、重新獲取線稿圖像，輸入到訓(xùn)練后的所述上色模型和所述陰影添加模型中進(jìn)行處理，得到最終圖像。

6、如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述訓(xùn)練集和所述測(cè)試集包括pix2pix數(shù)據(jù)集和switchlight數(shù)據(jù)集；

7、所述pix2pix數(shù)據(jù)集包括多個(gè)線稿圖和彩圖數(shù)據(jù)對(duì)；

8、所述switchlight數(shù)據(jù)集包括逐光照明數(shù)據(jù)集以及高動(dòng)態(tài)范圍成像數(shù)據(jù)集。

9、如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述高動(dòng)態(tài)范圍成像數(shù)據(jù)集的獲取過(guò)程為：

10、采用光場(chǎng)設(shè)備構(gòu)建逐光照明數(shù)據(jù)集；

11、獲取原始的高動(dòng)態(tài)范圍成像圖像，將所述原始的高動(dòng)態(tài)范圍成像圖像與phong反射模型結(jié)合，進(jìn)行卷積處理，從而生成卷積高動(dòng)態(tài)范圍成像圖像，得到高動(dòng)態(tài)范圍成像數(shù)據(jù)集。

12、如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述將所述原始的高動(dòng)態(tài)范圍成像圖像與phong反射模型結(jié)合的過(guò)程為：利用phong反射波瓣作為查詢，并將所述原始高動(dòng)態(tài)范圍成像圖集作為鍵和值，通過(guò)交叉注意力機(jī)制將所述原始高動(dòng)態(tài)范圍成像圖集信息整合到phong反射波瓣表示中，完成原始高動(dòng)態(tài)范圍成像圖像與phong反射模型結(jié)合。

13、如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，

14、所述上色模型包括生成器和判別器，所述生成器用于生成彩色圖像，所述判別器用于生成圖像和真實(shí)圖像；

15、所述生成器為u-net架構(gòu)，包括編碼器和解碼器，通過(guò)所述編碼器減少輸入圖像的空間尺寸，增加特征圖深度，通過(guò)所述解碼器恢復(fù)圖像空間尺寸；所述編碼器和所述解碼器采用跳躍連接；

16、所述判別器采用patchgan架構(gòu)，包括依次連接的卷積層、激活函數(shù)以及輸出層。

17、如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述判別器的輸出為二維矩陣；

18、所述二維矩陣的每個(gè)元素為對(duì)應(yīng)圖像小塊的真實(shí)性。

19、如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述陰影添加模型采用unet架構(gòu)，包括依次連接的逆渲染網(wǎng)絡(luò)及重新渲染網(wǎng)絡(luò)；

20、所述逆渲染網(wǎng)絡(luò)包括卷積層和反卷積層，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，并通過(guò)反卷積層恢復(fù)圖像空間尺寸；

21、所述重新渲染網(wǎng)絡(luò)包括卷積層和反卷積層，通過(guò)卷積層和反卷積層重新渲染圖像。

22、如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述陰影添加模型的處理過(guò)程為：

23、將所述訓(xùn)練集圖像輸入到所述逆渲染網(wǎng)絡(luò)中進(jìn)行分解處理，得到圖像固有屬性以及目標(biāo)光照條件信息；

24、將所述圖像固有屬性以及光照條件信息輸入到所述重新渲染網(wǎng)絡(luò)進(jìn)行處理，得到目標(biāo)光照條件下渲染圖像。

25、如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述重新獲取線稿圖像，輸入到訓(xùn)練后的模型進(jìn)行處理，得到最終圖像的過(guò)程為：

26、重新獲取線稿圖像，將所述線稿圖像輸入到所述上色模型中進(jìn)行上色處理，得到高質(zhì)量彩色圖像；將所述高質(zhì)量彩色圖像輸入到所述陰影添加模型中，生成帶有陰影效果的圖像，得到最終圖像。

27、如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述上色模型的損失函數(shù)包括gan損失函數(shù)、l1損失函數(shù)；

28、所述陰影添加模型的損失函數(shù)包括重建損失函數(shù)、感知損失函數(shù)、對(duì)抗損失函數(shù)以及鏡面反射損失函數(shù)。

29、本發(fā)明公開(kāi)了以下技術(shù)效果：

30、本發(fā)明針對(duì)漫畫制作過(guò)程中的上色和陰影環(huán)節(jié)進(jìn)行技術(shù)改進(jìn)，通過(guò)引入先進(jìn)的人工智能技術(shù)，使ai能夠代替人工完成線稿到彩稿這部分工作，從而提高制作效率并確保質(zhì)量一致性；通過(guò)對(duì)手繪圖像的上色模式及陰影模式進(jìn)行學(xué)習(xí)，使用學(xué)習(xí)獲得的模型即可對(duì)輸入的手繪圖像進(jìn)行自動(dòng)上色處理，不僅無(wú)需人工干預(yù)，還能夠保持較好的視覺(jué)效果。

31、應(yīng)當(dāng)理解，
技術(shù)實(shí)現(xiàn)要素：
部分中所描述的內(nèi)容并非旨在限定本發(fā)明的實(shí)施例的關(guān)鍵或重要特征，亦非用于限制本發(fā)明的范圍。本發(fā)明的其它特征將通過(guò)以下的描述變得容易理解。

技術(shù)特征：

1.一種基于條件生成對(duì)抗網(wǎng)絡(luò)的漫畫圖像上色方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于條件生成對(duì)抗網(wǎng)絡(luò)的漫畫圖像上色方法，其特征在于，所述訓(xùn)練集和所述測(cè)試集包括pix2pix數(shù)據(jù)集和switchlight數(shù)據(jù)集；

3.根據(jù)權(quán)利要求2所述的基于條件生成對(duì)抗網(wǎng)絡(luò)的漫畫圖像上色方法，其特征在于，所述高動(dòng)態(tài)范圍成像數(shù)據(jù)集的獲取過(guò)程為：

4.根據(jù)權(quán)利要求3所述的基于條件生成對(duì)抗網(wǎng)絡(luò)的漫畫圖像上色方法，其特征在于，所述將所述原始的高動(dòng)態(tài)范圍成像圖像與phong反射模型結(jié)合的過(guò)程為：利用phong反射波瓣作為查詢，并將所述原始高動(dòng)態(tài)范圍成像圖集作為鍵和值，通過(guò)交叉注意力機(jī)制將所述高動(dòng)態(tài)范圍成像圖集信息整合到phong反射波瓣表示中，完成原始高動(dòng)態(tài)范圍成像圖像與phong反射模型結(jié)合。

5.根據(jù)權(quán)利要求1所述的基于條件生成對(duì)抗網(wǎng)絡(luò)的漫畫圖像上色方法，其特征在于，

6.根據(jù)權(quán)利要求5所述的基于條件生成對(duì)抗網(wǎng)絡(luò)的漫畫圖像上色方法，其特征在于，所述判別器的輸出為二維矩陣；所述二維矩陣的每個(gè)元素為對(duì)應(yīng)圖像小塊的真實(shí)性。

7.根據(jù)權(quán)利要求1所述的基于條件生成對(duì)抗網(wǎng)絡(luò)的漫畫圖像上色方法，其特征在于，所述陰影添加模型采用unet模型架構(gòu)，包括依次連接的逆渲染網(wǎng)絡(luò)及重新渲染網(wǎng)絡(luò)；

8.根據(jù)權(quán)利要求7所述的基于條件生成對(duì)抗網(wǎng)絡(luò)的漫畫圖像上色方法，其特征在于，所述陰影添加模型的處理過(guò)程為：

9.根據(jù)權(quán)利要求1所述的基于條件生成對(duì)抗網(wǎng)絡(luò)的漫畫圖像上色方法，其特征在于，所述重新獲取線稿圖像，輸入到訓(xùn)練后的模型進(jìn)行處理，得到最終圖像的過(guò)程為：

10.根據(jù)權(quán)利要求1所述的基于條件生成對(duì)抗網(wǎng)絡(luò)的漫畫圖像上色方法，其特征在于，所述上色模型的損失函數(shù)包括gan損失函數(shù)、l1損失函數(shù)；

技術(shù)總結(jié)
本發(fā)明的實(shí)施例提供一種基于條件生成對(duì)抗網(wǎng)絡(luò)的漫畫圖像上色方法。應(yīng)用于圖像處理技術(shù)領(lǐng)域，包括：獲取漫畫線稿和彩稿數(shù)據(jù)對(duì)以及高動(dòng)態(tài)范圍成像圖像數(shù)據(jù)，并構(gòu)建訓(xùn)練集和測(cè)試集；構(gòu)建上色模型和陰影添加模型，采用所述訓(xùn)練集對(duì)所述上色模型和所述陰影添加模型進(jìn)行訓(xùn)練，并采用所述測(cè)試集對(duì)所述上色模型和所述陰影添加模型進(jìn)行評(píng)估；重新獲取線稿圖像，輸入到訓(xùn)練后的所述上色模型和所述陰影添加模型中進(jìn)行處理，得到最終圖像。以此方式，本發(fā)明能夠使用學(xué)習(xí)獲得的模型對(duì)輸入的手繪圖像進(jìn)行自動(dòng)上色處理，不僅無(wú)需人工干預(yù)且保持較好的視覺(jué)效果。

技術(shù)研發(fā)人員：苗奘,周志鵬,吳旻升,寧帥臣,陳藝創(chuàng)
受保護(hù)的技術(shù)使用者：杭州水母智能科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/10