本發(fā)明屬于人工智能圖像處理，具體涉及一種圖像合成系統(tǒng)。

背景技術(shù)：

1、在現(xiàn)有技術(shù)中，圖像合成需要考慮被加入的前景圖像和背景圖像之間的風(fēng)格差異，因此需要再圖像合成前對(duì)前景圖像和合成部分進(jìn)行風(fēng)格遷移，從而確保合成后前景圖像和背景圖像風(fēng)格一致，或具有平滑的過渡，從而達(dá)到較好的合成效果。但是現(xiàn)有技術(shù)中雖然已經(jīng)采用了一些手段實(shí)現(xiàn)了背景風(fēng)格被遷移到前景圖像中，但是背景風(fēng)格中如果存在基于圖像上各部分邊緣的線條和相應(yīng)線條的風(fēng)格化效果，例如一些強(qiáng)調(diào)線條效果的繪畫圖像、特殊的字體圖像或在物體交界處或凹凸結(jié)構(gòu)邊界處存在特殊光影效果的圖像，由于邊緣處的風(fēng)格可能和背景圖像其他部分有較大的風(fēng)格差異，現(xiàn)有技術(shù)在對(duì)背景圖像進(jìn)行整體風(fēng)格遷移時(shí)，容易在這些邊緣部分造成風(fēng)格扭曲或者是非邊緣線條部分的風(fēng)格特征對(duì)邊緣線條部分造成侵蝕。如果模型過于專注于邊緣部分的風(fēng)格，則可能導(dǎo)致前景部分與背景部分之間的輪廓部分由于邊緣線條的風(fēng)格和背景圖像對(duì)應(yīng)部分風(fēng)格變化較大，且缺乏過渡，導(dǎo)致前景圖像在合成后圖像中相對(duì)背景部分較為突兀。而且對(duì)于前景圖像本身不具有明顯風(fēng)格的邊緣線條，甚至邊緣本身不夠清晰明顯的情況下，這種模型不能直接對(duì)前景圖像進(jìn)行風(fēng)格轉(zhuǎn)化，否則容易造成轉(zhuǎn)化后邊緣線條扭曲，風(fēng)格遷移錯(cuò)誤的情況。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種圖像合成系統(tǒng)，用于解決現(xiàn)有技術(shù)難以將邊緣不夠清晰明顯的圖像合并到邊緣處具有獨(dú)特風(fēng)格的邊緣線條的同時(shí)保證風(fēng)格統(tǒng)一的合并效果，特別是難以兼顧前景背景兩者圖像的邊緣線條清楚且風(fēng)格一致和二者間合并后效果不突兀的技術(shù)問題。

2、所述的一種圖像合成系統(tǒng)，包括：邊緣強(qiáng)化線條提取模塊，用于對(duì)前景圖像和背景圖像進(jìn)行處理，在對(duì)輸入邊緣強(qiáng)化線條提取模塊的圖像進(jìn)行邊緣檢測(cè)和增強(qiáng)后，基于邊緣特征進(jìn)行邊緣線條的提取，獲得對(duì)應(yīng)的線條圖像；背景圖像被邊緣強(qiáng)化線條提取模塊處理后得到的線條圖像為背景邊緣特征圖像，前景圖像被邊緣強(qiáng)化線條提取模塊處理后得到的線條圖像為前景邊緣特征圖像。

3、邊緣風(fēng)格提取模塊用于從背景邊緣特征圖像中提取邊緣風(fēng)格特征。

4、背景風(fēng)格提取模塊用于從背景圖像中提取背景風(fēng)格特征。

5、圖像變形控制模塊用于根據(jù)外界輸入圖像變形控制信息對(duì)前景圖像和前景邊緣特征圖像進(jìn)行變形處理從而得到對(duì)應(yīng)的前景變形特征圖像和邊緣變形特征圖像。

6、邊緣風(fēng)格遷移模塊用于根據(jù)邊緣風(fēng)格特征對(duì)邊緣變形特征圖像進(jìn)行風(fēng)格遷移，得到風(fēng)格遷移邊緣特征。

7、邊緣蒙板生成模塊用于根據(jù)風(fēng)格遷移邊緣特征生成對(duì)應(yīng)的邊緣蒙板。

8、背景風(fēng)格遷移模塊用于根據(jù)背景風(fēng)格特征對(duì)前景變形特征圖像進(jìn)行風(fēng)格遷移，得到風(fēng)格遷移前景特征。

9、邊緣蒙板生成模塊用于根據(jù)風(fēng)格遷移前景特征生成對(duì)應(yīng)的前景蒙板。

10、前景圖像融合模塊基于邊緣蒙板，將風(fēng)格遷移前景特征和風(fēng)格遷移邊緣特征融合形成前景融合圖像。

11、目標(biāo)圖像融合模塊則基于前景蒙板將前景融合圖像和背景圖像融合得到目標(biāo)融合圖像，目標(biāo)融合圖像即為本圖像合成系統(tǒng)的輸出結(jié)果。

12、優(yōu)選的，邊緣強(qiáng)化線條提取模塊包括邊緣檢測(cè)模塊和線條提取模塊，輸入邊緣強(qiáng)化線條提取模塊的原始圖像先經(jīng)過邊緣檢測(cè)模塊進(jìn)行邊緣檢測(cè)，再將原始圖像和邊緣檢測(cè)結(jié)果輸入線條提取模塊，線條提取模塊利用邊緣檢測(cè)結(jié)果增強(qiáng)原始圖像的邊緣特征，再基于邊緣特征進(jìn)行與邊緣特征軌跡一致的邊緣線條的提取。

13、優(yōu)選的，輸入邊緣檢測(cè)模塊的原始圖像為p0，通過編碼器提取相應(yīng)的多尺度特征pi(i=1,2,3…,n)，n為編碼器層數(shù)，所有多尺度特征都通過接收域塊處理，其中最小尺度的多尺度特征pn在被接收域塊優(yōu)化后得到對(duì)應(yīng)的最小尺度的多尺度優(yōu)化特征fn，即fn=rfb(pn)，?rfb表示通過接收域塊進(jìn)行處理，對(duì)于其他尺度的pi(i=1,2,3…,n-1)，則要結(jié)合下一層（更小尺度）的多尺度優(yōu)化特征fi+1生成對(duì)應(yīng)的多尺度優(yōu)化特征fi(i=1,2,3…,n-1)，具體表達(dá)式如下：

14、fi=conv(rfb(pi)??up(fi+1))，

15、其中，conv表示核大小為1×1的卷積操作，rfb表示通過接收域塊進(jìn)行處理，?表示連接操作，up表示通過雙線性插值進(jìn)行的上采樣操作。

16、然后計(jì)算多尺度邊緣特征f'i(i=1,2,3…,n)，當(dāng)i=n時(shí)，最小尺度的多尺度邊緣特征f'n就采用最小尺度的多尺度優(yōu)化特征fn，f'n=fn；而i≠n時(shí)，通過將多尺度優(yōu)化特征fi(i=1,2,3…,n-1)和下一層的多尺度邊緣特征f'i+1這兩種特征輸入邊緣選擇模塊處理，從而得到對(duì)應(yīng)尺度的多尺度邊緣特征f'i(i=1,2,3…,n-1)。

17、優(yōu)選的，邊緣選擇模塊使用門控機(jī)制自適應(yīng)地選擇多尺度優(yōu)化特征fi和多尺度邊緣特征f'i+1：首先求得多尺度優(yōu)化特征fi和多尺度邊緣特征f'i+1逐元素相加得到的增強(qiáng)特征xi，然后對(duì)增強(qiáng)特征xi先進(jìn)行全局平均池化操作，再通過含有relu函數(shù)和批歸一化操作的全連接層進(jìn)行處理，由此得到邊緣選擇指標(biāo)b；利用邊緣選擇指標(biāo)b對(duì)兩種特征的選擇權(quán)重矩陣進(jìn)行計(jì)算，計(jì)算式如下：

18、，，

19、其中，wi和wi+1分別是多尺度優(yōu)化特征fi和多尺度邊緣特征f'i+1的選擇權(quán)重矩陣，b是邊緣選擇指標(biāo)，ai和ai+1是分別對(duì)應(yīng)多尺度優(yōu)化特征fi和多尺度邊緣特征f'i+1的可調(diào)節(jié)參數(shù)。得到選擇權(quán)重矩陣wi和wi+1后就能對(duì)多尺度優(yōu)化特征fi和多尺度邊緣特征f'i+1進(jìn)行選擇得到對(duì)應(yīng)的多尺度邊緣特征f'i，計(jì)算式為：f'i=wi⊙fi⊕wi+1⊙f'i+1。

20、優(yōu)選的，在提取多尺度邊緣特征的同時(shí)通過全局特征提取器提取全局特征f0，將全局特征f0與各個(gè)尺度的多尺度邊緣特征f'i融合后通過卷積核1×1的卷積操作生成邊緣檢測(cè)結(jié)果fe，表達(dá)式為：fe=?conv(w0f0⊕w'1f'1⊕w'2f'2⊕…⊕w'nf'n)，其中w'i表示對(duì)應(yīng)各個(gè)尺度的多尺度邊緣特征f'i的權(quán)重，i=1,2,3…,n，w0表示對(duì)應(yīng)全局特征f0的權(quán)重；之后將邊緣檢測(cè)結(jié)果fe輸出。

21、優(yōu)選的，在線條提取模塊中，先將邊緣檢測(cè)結(jié)果fe和原始圖像p0逐元素相加得到包含邊緣檢測(cè)結(jié)果的邊緣增強(qiáng)圖pes之后再對(duì)邊緣增強(qiáng)圖pes根據(jù)增強(qiáng)后的邊緣特征進(jìn)行像素分類從而提取相應(yīng)的線條圖像pout；線條提取模塊針對(duì)增強(qiáng)的邊緣特征進(jìn)行采樣，并沿邊緣特征逐像素分析，通過分析邊緣特征周圍區(qū)域內(nèi)像素點(diǎn)和邊緣特征上采樣點(diǎn)之間的顏色向量距離，從而判斷對(duì)應(yīng)像素點(diǎn)是否屬于邊緣特征所在線條，顏色向量距離的計(jì)算式為：dc=mini‖c－ci‖，其中，mini表示指向當(dāng)前找到的最小值元素在圖像中的位置，dc表示顏色向量距離，c表示所分析像素點(diǎn)的顏色，ci則表示由采樣點(diǎn)所得的若干代表性顏色中的第i個(gè)顏色值；通過設(shè)定顏色向量距離的閾值判斷對(duì)應(yīng)像素點(diǎn)是否屬于邊緣特征所在線條，由此提取出線條圖像pout。

22、優(yōu)選的，由外界輸入圖像變形控制信息到圖像變形控制模塊，圖像變形控制模塊分別對(duì)前景圖像if和前景邊緣特征圖像ffel進(jìn)行處理，從而得到對(duì)應(yīng)的前景變形特征圖像ffd和邊緣變形特征圖像fed。

23、優(yōu)選的，邊緣風(fēng)格特征fes包括背景邊緣特征圖像fbel中線條圖像的紋理信息、寬度信息和線條圖像相對(duì)邊緣特征的位置信息；將邊緣風(fēng)格特征fes和邊緣變形特征圖像fed輸入到邊緣風(fēng)格遷移模塊，邊緣風(fēng)格遷移模塊先從邊緣變形特征圖像中識(shí)別出邊緣特征，在基于邊緣風(fēng)格特征fes中的紋理信息、寬度信息和位置信息進(jìn)行風(fēng)格遷移，得到風(fēng)格遷移邊緣特征fste；由邊緣蒙板生成模塊基于風(fēng)格遷移邊緣特征fste生成相應(yīng)的邊緣蒙板me；邊緣蒙板me、風(fēng)格遷移前景特征fstf和風(fēng)格遷移邊緣特征fste輸入前景圖像融合模塊，融合得到前景融合圖像iff，表達(dá)式為：iff=me⊙fstf⊕fste。

24、優(yōu)選的，將背景風(fēng)格特征fbs和前景變形特征圖像ffd輸入到前景風(fēng)格遷移模塊，風(fēng)格遷移得到風(fēng)格遷移前景特征fstf；然后由前景蒙板生成模塊基于風(fēng)格遷移前景特征fstf生成相應(yīng)的前景蒙板mf；再將前景融合圖像iff、前景蒙板mf和背景圖像ib輸入目標(biāo)圖像融合模塊，融合得到目標(biāo)融合圖像io，表達(dá)式為：io=mf⊙ib⊙iff⊕iff。

25、本發(fā)明具有以下優(yōu)點(diǎn)：本方案先通過邊緣強(qiáng)化線條提取模塊對(duì)圖像中的邊緣進(jìn)行檢測(cè)增強(qiáng)再基于增強(qiáng)的邊緣特征檢測(cè)分割出背景圖像中的邊緣線條的線條圖像，這樣保證了對(duì)線條圖像的準(zhǔn)確分割，并且既能用于具有邊緣部分具有線條風(fēng)格的邊緣線條的檢測(cè)，也能用于相應(yīng)邊緣線條的邊緣特征的檢測(cè)提取。而在提取前景邊緣特征圖像和背景邊緣特征圖像后，先是分別提取背景圖像中邊緣線條部分的邊緣風(fēng)格特征，從而能對(duì)前景圖像中的邊緣特征進(jìn)行針對(duì)性的風(fēng)格遷移，而且能夠單獨(dú)在變形控制信息作用下對(duì)已提取的邊緣特征進(jìn)行變形，避免變形對(duì)前景圖像中的邊緣部分造成扭曲影響之后的邊緣特征提取效果。而后通過針對(duì)性的邊緣蒙板生成實(shí)現(xiàn)對(duì)前景圖像中對(duì)風(fēng)格遷移后前景圖像中邊緣線條的區(qū)域標(biāo)記遮蓋，進(jìn)而實(shí)現(xiàn)前景圖像和風(fēng)格遷移后的邊緣特征的融合，由于邊緣線條的區(qū)域在融合前已被邊蒙板遮蓋因此不會(huì)出現(xiàn)背景圖像對(duì)邊緣線條侵蝕的現(xiàn)象。而后又通過未融合風(fēng)格遷移邊緣特征的前景圖像生成前景蒙板，這樣基于前景蒙板對(duì)背景圖像相關(guān)位置區(qū)域進(jìn)行遮蓋，并將前景融合圖像與被遮蓋的背景圖像進(jìn)行融合，如此前景圖像與背景圖像間不相互影響，但前景圖像輪廓處的邊緣線條則會(huì)與背景圖像間融合過渡，從而復(fù)合背景圖像中邊緣線條與背景風(fēng)格間的過渡效果。如此克服了現(xiàn)有技術(shù)存在的相應(yīng)問題，保證了兼顧邊緣線條風(fēng)格與背景圖像中線條風(fēng)格一致和前景圖像與背景圖像融合自然的要求。