本發(fā)明屬于圖像處理，特別涉及一種基于多尺度特征提取和邊緣引導(dǎo)的漸進(jìn)式壁畫修復(fù)方法。

背景技術(shù)：

1、古代壁畫受自然和人文環(huán)境，以及壁畫制作材料和工藝內(nèi)在因素的作用，不可避免的產(chǎn)生了各種病害，影響了壁畫的保護(hù)與傳承。因此，及時(shí)修復(fù)已發(fā)現(xiàn)的受損壁畫對(duì)于最大程度地保留其經(jīng)濟(jì)和文化價(jià)值至關(guān)重要。

2、當(dāng)前，可用于壁畫修復(fù)相關(guān)技術(shù)主要分為三類：基于像素?cái)U(kuò)散的修復(fù)算法、基于樣本匹配填充的修復(fù)算法以及基于深度學(xué)習(xí)的算法。前兩類是傳統(tǒng)修復(fù)算法，相關(guān)的研究已經(jīng)相對(duì)成熟，改進(jìn)較為困難，并且生成的圖像質(zhì)量遠(yuǎn)不如深度學(xué)習(xí)算法。而基于深度學(xué)習(xí)的壁畫修復(fù)算法的主流算法又分成卷積神經(jīng)網(wǎng)絡(luò)和生成對(duì)抗生成網(wǎng)絡(luò)。

3、卷積神經(jīng)網(wǎng)絡(luò)(cnn)的核心優(yōu)勢(shì)在于其對(duì)區(qū)域的感知以及權(quán)重的共享，利用卷積層和池化層來獲取圖像的特征，同時(shí)借助全連接層執(zhí)行分類或者回歸等操作。隨著深度學(xué)習(xí)的逐步發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)展現(xiàn)出了強(qiáng)大的性能，并且已經(jīng)應(yīng)用到圖像修復(fù)任務(wù)當(dāng)中，其中包括gl、pconv等方法。它們能夠自動(dòng)學(xué)習(xí)圖像中的特征表示，通過反向傳播算法和大量的訓(xùn)練數(shù)據(jù)，cnn可以學(xué)習(xí)到適合修復(fù)任務(wù)的特征表示，從而更好地恢復(fù)圖像的細(xì)節(jié)和結(jié)構(gòu)。但是，一方面，基于cnn的網(wǎng)絡(luò)通常需要大量的訓(xùn)練數(shù)據(jù)才能獲得良好的性能，對(duì)于壁畫修復(fù)任務(wù)來說，獲取大規(guī)模的壁畫圖像數(shù)據(jù)會(huì)很困難，這樣就會(huì)導(dǎo)致對(duì)壁畫圖像進(jìn)行修復(fù)時(shí)，生成的圖像質(zhì)量偏低；另一方面，基于cnn的方法隨著網(wǎng)絡(luò)層數(shù)的加深，可能會(huì)產(chǎn)生梯度消失的問題，致使深層網(wǎng)絡(luò)的淺層參數(shù)幾乎無法更新，因此無法捕捉細(xì)節(jié)和局部特征，導(dǎo)致生成的壁畫圖像存在語(yǔ)義不連貫和模糊偽影現(xiàn)象。

4、生成對(duì)抗網(wǎng)絡(luò)(gan)在最近幾年中在圖像修復(fù)領(lǐng)域有著不俗的表現(xiàn)，基于gan的圖像修復(fù)算法也層出不窮。通過生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)的對(duì)抗訓(xùn)練，gan可以學(xué)習(xí)到圖像的分布，并生成具有細(xì)節(jié)和結(jié)構(gòu)的修復(fù)圖像。這使得gan在圖像修復(fù)任務(wù)中能夠產(chǎn)生更真實(shí)、自然的結(jié)果。但是，基于生成對(duì)抗網(wǎng)絡(luò)的方法無法對(duì)結(jié)構(gòu)的顯著特征進(jìn)行提取。且由于壁畫相較于其他自然圖像具有更復(fù)雜的結(jié)構(gòu)和紋理，因此用于壁畫修復(fù)的gan模型很少，究其原因在于gan的模型架構(gòu)主要關(guān)注圖像的整體分布和紋理，對(duì)于更高級(jí)的結(jié)構(gòu)特征無法進(jìn)行提取，并且gan沒有顯示約束或先驗(yàn)知識(shí)來指導(dǎo)對(duì)圖像結(jié)構(gòu)特征的提取，對(duì)于壁畫這一類結(jié)構(gòu)特征復(fù)雜的圖像來說，捕獲相對(duì)困難。由于缺乏對(duì)顯著結(jié)構(gòu)特征的提取，生成的圖像存在邊緣結(jié)構(gòu)不完整現(xiàn)象，影響修復(fù)結(jié)果的清晰度。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)中存在的缺陷，提供了一種基于多尺度特征提取和邊緣引導(dǎo)的漸進(jìn)式壁畫修復(fù)方法。

2、本發(fā)明提供了一種基于多尺度特征提取和邊緣引導(dǎo)的漸進(jìn)式壁畫修復(fù)方法，包括以下步驟：

3、s1、建立生成對(duì)抗網(wǎng)絡(luò)模型：

4、所述生成對(duì)抗網(wǎng)絡(luò)模型包括粗網(wǎng)絡(luò)、細(xì)網(wǎng)絡(luò)和全局細(xì)化網(wǎng)絡(luò)；

5、所述粗網(wǎng)絡(luò)用于對(duì)壁畫圖像進(jìn)行粗略恢復(fù)，得到粗略修復(fù)圖像；

6、所述細(xì)網(wǎng)絡(luò)用于對(duì)所述粗略修復(fù)圖像進(jìn)行邊緣特征提取，并對(duì)提取結(jié)果利用壁畫圖像的邊緣顯著圖進(jìn)行邊緣強(qiáng)化引導(dǎo)，得到局部細(xì)化修復(fù)圖像；

7、所述全局細(xì)化網(wǎng)絡(luò)對(duì)所述局部細(xì)化修復(fù)圖像進(jìn)行多尺度特征提取，以捕獲更多全局特征；

8、s2、利用所述生成對(duì)抗網(wǎng)絡(luò)模型進(jìn)行壁畫修復(fù)。

9、進(jìn)一步的方案為，所述粗網(wǎng)絡(luò)包括第一下采樣模塊和第一上采樣模塊，所述第一下采樣模塊和所述第一上采樣模塊跳躍連接將壁畫圖像信息從編碼器傳遞到解碼器。

10、進(jìn)一步的方案為，所述細(xì)網(wǎng)絡(luò)包括依次設(shè)置的邊緣引導(dǎo)模塊以及第二下采樣模塊、殘差塊和第二上采樣模塊；

11、所述邊緣引導(dǎo)模塊包括laplace邊緣檢測(cè)算子和邊緣顯著圖，用于對(duì)粗略修復(fù)圖像的邊緣結(jié)構(gòu)信息進(jìn)行提取，獲得邊緣圖；并利用所述邊緣顯著圖對(duì)所述邊緣圖進(jìn)行邊緣強(qiáng)化引導(dǎo)，得到局部細(xì)化修復(fù)圖像；

12、所述邊緣顯著圖通過對(duì)壁畫圖像經(jīng)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行處理得到。

13、進(jìn)一步的方案為，所述全局細(xì)化網(wǎng)絡(luò)采用粗網(wǎng)絡(luò)的網(wǎng)絡(luò)架構(gòu)，并引入了自注意力機(jī)制與多尺度特征提取模塊，通過擴(kuò)大神經(jīng)元捕獲信息的范圍以捕獲更多全局信息

14、進(jìn)一步的方案為，所述多尺度特征提取模塊包含反折疊與折疊操作，包括并行的五個(gè)卷積層，包含兩個(gè)1*1的卷積和三個(gè)擴(kuò)張率不同的擴(kuò)張卷積，三個(gè)所述擴(kuò)張卷積的擴(kuò)張率分別為2、4、6。

15、進(jìn)一步的方案為，所述s3.2中，細(xì)網(wǎng)絡(luò)輸入第一修復(fù)結(jié)果和隨機(jī)掩膜后，在下采樣之前對(duì)第一修復(fù)結(jié)果通過邊緣引導(dǎo)模塊進(jìn)行邊緣顯著結(jié)構(gòu)的提取，得到邊緣引導(dǎo)圖，將邊緣引導(dǎo)圖進(jìn)行批歸一化處理后與第一修復(fù)結(jié)果進(jìn)行逐元素相加，經(jīng)過兩個(gè)上采樣模塊，四個(gè)殘差塊和兩個(gè)下采樣模塊得到細(xì)網(wǎng)絡(luò)的第二修復(fù)結(jié)果。

16、進(jìn)一步的方案為，所述邊緣引導(dǎo)模塊獲取邊緣引導(dǎo)圖ffused_image的過程為：

17、將第一修復(fù)結(jié)果通過laplace邊緣檢測(cè)算子進(jìn)行邊緣檢測(cè)提取，得到邊緣圖fege_image；

18、同時(shí)通過類激活映射技術(shù)觀察卷積層的權(quán)重，將最后一個(gè)卷積層的特征圖與分類層的權(quán)重進(jìn)行線性組合，生成顯著圖，計(jì)算過程表示為：

19、

20、其中wk表示為第k張?zhí)卣鲌D的權(quán)重，ak表示為第k張?zhí)卣鲌D；

21、通過resnet-50的最后一層卷積層輸出的特征圖生成顯著圖fsaliency_image；

22、所述邊緣引導(dǎo)圖是由邊緣檢測(cè)圖fedge_map與顯著圖fsaliency_image進(jìn)行逐像素的加權(quán)融合，其計(jì)算過程表示為：

23、ffused_image＝α×fedge_map+(1-α)fsaliency_map

24、其中α為權(quán)重系數(shù)，取值為α＝0.5。

25、進(jìn)一步的方案為，所述s3.3中，將第二修復(fù)結(jié)果和隨機(jī)掩膜作為全局細(xì)化網(wǎng)絡(luò)的輸入并通過八個(gè)下采樣模塊并在下采樣模塊最后一層利用多尺度特征提取模塊捕捉不同尺度的特征信息，得到特征圖，對(duì)特征圖進(jìn)行上采樣，并在解碼器前端添加了三個(gè)自注意力模塊，通過擴(kuò)大神經(jīng)元捕獲信息范圍來捕獲更多的全局信息。

26、進(jìn)一步的方案為，步驟s3.5中，所述多尺度特征提取模塊輸出特征圖的過程為：

27、將第二修復(fù)結(jié)果通過一個(gè)卷積核大小為3×3的卷積提取輸入特征的淺層低級(jí)特征f0，表示為：

28、f0＝conv3×3(fin_feature)

29、將得到的特征圖f0經(jīng)過反折疊操作展開成一個(gè)高維特征矩陣，并通過5個(gè)并行的卷積層，其中這5個(gè)并行的卷積層分別表示為：

30、f1＝conv1×1(f0)

31、f2＝dconv3×3(f0,dilation＝2)

32、f3＝dconv3×3(f0,dilation＝4)

33、f4＝dconv3×3(f0,dilation＝6)

34、f5＝conv1×1(f0)

35、f6＝conv1×1(concat(f1,f2f3,f4,f5))

36、其中，fin_feature為輸入的第二修復(fù)結(jié)果，dconv3×3(·)代表不同擴(kuò)張率的擴(kuò)張卷積，dilation代表擴(kuò)張率，f1,f5表示普通卷積的輸出特征，f2,f3,f4代表第1、2、3個(gè)擴(kuò)張卷積的輸出特征，f6表示將并行卷積層輸出的特征圖進(jìn)行拼接后得到的特征圖。

37、進(jìn)一步的方案為，所述s1還包括，對(duì)建立的所述生成對(duì)抗網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。

38、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：

39、(1)本發(fā)明利用邊緣引導(dǎo)模塊的優(yōu)勢(shì)，通過加權(quán)融合顯著圖與邊緣檢測(cè)圖，能更好獲取圖像的顯著結(jié)構(gòu)特征，使生成圖像的邊緣結(jié)構(gòu)更加連貫并且符合語(yǔ)義一致性。

40、(2)本發(fā)明引入多尺度特征提取模塊，采用并行的五組卷積，包含普通卷積和不同擴(kuò)張率的擴(kuò)張卷積，對(duì)圖像不同尺度的特征進(jìn)行捕捉，通過對(duì)多尺度信息的利用恢復(fù)缺失生成圖像的細(xì)節(jié)并改善圖像的整體質(zhì)量。