本公開涉及圖像處理領(lǐng)域，特別涉及一種實(shí)現(xiàn)人臉圖像融合的方法及裝置。

背景技術(shù)：

人臉融合技術(shù)是圖像處理領(lǐng)域的一個(gè)重要應(yīng)用。目前的人臉圖像融合技術(shù)通過三角剖分技術(shù)，即將源圖像和目標(biāo)圖像剖分成多個(gè)三角形，計(jì)算源圖像的剖分出的三角形和目標(biāo)圖像剖分出的三角形的仿射變換，根據(jù)仿射變換將源圖像的剖分出的三角形映射到目標(biāo)圖像剖分出的三角形上，從而形成源圖像和目標(biāo)圖像融合而成的人臉融合圖像。

但在上述人臉融合技術(shù)中，會出現(xiàn)在三角剖分映射時(shí)，不同三角形的仿射變換都是不一樣的情況，導(dǎo)致在人臉融合過程中，在三角形剖分映射后會導(dǎo)致圖像紋理出現(xiàn)變形的技術(shù)問題。

技術(shù)實(shí)現(xiàn)要素：

為了解決相關(guān)技術(shù)中存在的在三角形剖分映射后會導(dǎo)致圖像紋理出現(xiàn)變形的問題，本公開提供了一種實(shí)現(xiàn)人臉圖像融合的方法及裝置。

一種實(shí)現(xiàn)人臉圖像融合的方法，所述方法包括：

獲取待融合的源人臉圖像和目標(biāo)人臉圖像并檢測，識別出所述源人臉圖像和所述目標(biāo)人臉圖像的特征標(biāo)記后，匹配所述源人臉圖像所述目標(biāo)人臉圖像的特征標(biāo)記；

計(jì)算所述源人臉圖像的特征標(biāo)記到所述目標(biāo)人臉圖像的特征標(biāo)記的仿射變換；

根據(jù)所述仿射變換，融合所述源人臉圖像和所述目標(biāo)人臉圖像，形成人臉融合圖像。

一種實(shí)現(xiàn)人臉圖像融合的裝置，所述裝置包括：

特征標(biāo)記模塊，用于獲取待融合的源人臉圖像和目標(biāo)人臉圖像并檢測，識別出所述源人臉圖像和所述目標(biāo)人臉圖像的特征標(biāo)記后，匹配所述源人臉圖像所述目標(biāo)人臉圖像的特征標(biāo)記；

計(jì)算模塊，用于計(jì)算所述源人臉圖像的特征標(biāo)記到所述目標(biāo)人臉圖像的特征標(biāo)記的仿射變換；

人臉融合模塊，用于根據(jù)所述仿射變換，融合所述源人臉圖像和所述目標(biāo)人臉圖像，形成人臉融合圖像。

本公開的實(shí)施例提供的技術(shù)方案可以包括以下有益效果：

獲取待融合的源人臉圖像和目標(biāo)人臉圖像并檢測，識別出源人臉圖像和目標(biāo)人臉圖像的特征標(biāo)記后，匹配源人臉圖像目標(biāo)人臉圖像的特征標(biāo)記；計(jì)算源人臉圖像的特征標(biāo)記到目標(biāo)人臉圖像的特征標(biāo)記的仿射變換；根據(jù)仿射變換，融合源人臉圖像和目標(biāo)人臉圖像，形成人臉融合圖像。由上述方法可知，通過計(jì)算源人臉圖像的特征標(biāo)記到目標(biāo)人臉圖像的特征標(biāo)記的仿射變換，并根據(jù)仿射變換融合源人臉圖像和目標(biāo)人臉圖像，形成人臉融合圖像，從而替代了利用三角剖分映射，形成人臉融合圖像的技術(shù)方法，解決了在三角形剖分映射后會導(dǎo)致圖像紋理出現(xiàn)變形的問題。

應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性的，并不能限制本公開。

附圖說明

此處的附圖被并入說明書中并構(gòu)成本說明書的一部分，示出了符合本發(fā)明的實(shí)施例，并于說明書一起用于解釋本發(fā)明的原理。

圖1是根據(jù)一示例性實(shí)施例示出的一種實(shí)現(xiàn)人臉圖像融合的方法的流程圖；

圖2是圖1對應(yīng)實(shí)施例的獲取待融合的源人臉圖像和目標(biāo)人臉圖像并檢測，識別出源人臉圖像和目標(biāo)人臉圖像的特征標(biāo)記后，匹配源人臉圖像目標(biāo)人臉圖像的特征標(biāo)記在一個(gè)實(shí)施例的流程圖；

圖3是圖1對應(yīng)實(shí)施例的根據(jù)仿射變換，融合源人臉圖像和目標(biāo)人臉圖像，形成人臉融合圖像在一個(gè)實(shí)施例的流程圖；

圖4是根據(jù)一示例性實(shí)施例示出的一種實(shí)現(xiàn)人臉圖像融合的裝置框圖；

圖5是圖4對應(yīng)實(shí)施例的特征標(biāo)記模塊在一個(gè)實(shí)施例的框圖；

圖6是圖4對應(yīng)實(shí)施例的人臉融合模塊在一個(gè)實(shí)施例的框圖。

具體實(shí)施方式

這里將詳細(xì)地對示例性實(shí)施例執(zhí)行說明，其示例表示在附圖中。下面的描述涉及附圖時(shí)，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實(shí)施例中所描述的實(shí)施方式并不代表與本發(fā)明相一致的所有實(shí)施方式。相反，它們僅是與如所附權(quán)利要求書中所詳述的、本發(fā)明的一些方面相一致的裝置和方法的例子。

圖1是根據(jù)一示例性實(shí)施例示出的一種實(shí)現(xiàn)人臉圖像融合的方法的流程圖。如圖1所示，該實(shí)現(xiàn)人臉融合的方法可以包括以下步驟。

在步驟110中，獲取待融合的源人臉圖像和目標(biāo)人臉圖像并檢測，識別出源人臉圖像和目標(biāo)人臉圖像的特征標(biāo)記后，匹配源人臉圖像目標(biāo)人臉圖像的特征標(biāo)記。

其中，源人臉圖像為進(jìn)行人臉圖像融合的原始人臉圖像。目標(biāo)人臉圖像為實(shí)現(xiàn)人臉圖像融合的模板人臉圖像。通過在目標(biāo)人臉圖像的基礎(chǔ)上，融合源人臉圖像，從而實(shí)現(xiàn)源人臉圖像和目標(biāo)人臉圖像的融合。

對含有源人臉圖像和目標(biāo)人臉圖像的圖像畫面進(jìn)行檢測，當(dāng)檢測到其中的人臉圖像時(shí)，即分別作為獲取的源人臉圖像和目標(biāo)人臉圖像。當(dāng)沒檢測到其中的人臉圖像時(shí)，則繼續(xù)進(jìn)行檢測，直到獲取源人臉圖像和目標(biāo)人臉圖像為止。

源人臉圖像和目標(biāo)人臉圖像的特征標(biāo)記為能表示源人臉圖像和目標(biāo)人臉圖像人臉面部特征的識別標(biāo)記。通過識別出的源人臉圖像和目標(biāo)人臉圖像的特征標(biāo)記，實(shí)現(xiàn)融合源人臉圖像和目標(biāo)人臉圖像的人臉融合功能。

在一個(gè)實(shí)施例的具體實(shí)現(xiàn)中，對源人臉圖像和目標(biāo)人臉圖像進(jìn)行檢測通過第三方庫，例如dlib庫進(jìn)行實(shí)現(xiàn)。

通過對源人臉圖像和目標(biāo)人臉圖像進(jìn)行檢測，識別出源人臉圖像和目標(biāo)人臉圖像的面部特征標(biāo)記，并記錄下特征標(biāo)記的坐標(biāo)，從而得到獲取源人臉圖像和目標(biāo)人臉圖像的特征標(biāo)記。

源人臉圖像的特征標(biāo)記和目標(biāo)人臉圖像的特征標(biāo)記存在著某一特征的不匹配。例如色彩平衡性不匹配，人臉圖像的格式不匹配等。需要對源人臉圖像的特征標(biāo)記和目標(biāo)人臉圖像的特征標(biāo)記進(jìn)行匹配，使源人臉圖像的特征標(biāo)記和目標(biāo)人臉圖像的特征標(biāo)記一致，從而能夠根據(jù)源人臉圖像的特征標(biāo)記和目標(biāo)人臉圖像的特征標(biāo)記進(jìn)行人臉圖像融合。

在步驟130中，計(jì)算源人臉圖像的特征標(biāo)記到目標(biāo)人臉圖像的特征標(biāo)記的仿射變換。

其中，仿射變換為兩個(gè)向量空間之間的一個(gè)仿射變換或者仿射映射，由一個(gè)非奇異的線性變換接上一個(gè)平移變換組成。

根據(jù)獲得的特征標(biāo)記，將源人臉圖像的特征標(biāo)記對目標(biāo)圖像的特征標(biāo)記進(jìn)行映射，計(jì)算出源人臉圖像的特征標(biāo)記到目標(biāo)人臉圖像的特征標(biāo)記的仿射變換。從而根據(jù)源人臉圖像的特征標(biāo)記到目標(biāo)人臉圖像的特征標(biāo)記的仿射變換的結(jié)果，實(shí)現(xiàn)人臉圖像的融合。

在步驟150中，根據(jù)仿射變換，融合源人臉圖像和目標(biāo)人臉圖像，形成人臉融合圖像。

其中，人臉融合圖像為得到的融合源人臉圖像和目標(biāo)人臉圖像的圖像。該人臉融合圖像為將目標(biāo)人臉圖像的特征標(biāo)記替換為源人臉圖像的特征標(biāo)記形成的人臉圖像。

根據(jù)得到的仿射變換的結(jié)果，通過將源人臉圖像的特征標(biāo)記和目標(biāo)人臉圖像的特征標(biāo)記進(jìn)行融合，實(shí)現(xiàn)源人臉圖像和目標(biāo)人臉圖像，從而生成人臉融合圖像。

此實(shí)施例通過計(jì)算源人臉圖像的特征標(biāo)記到目標(biāo)人臉圖像的特征標(biāo)記的仿射變換，并根據(jù)仿射變換融合源人臉圖像和目標(biāo)人臉圖像，形成人臉融合圖像解決了在三角形剖分映射后會導(dǎo)致圖像紋理出現(xiàn)變形的問題。

圖2是根據(jù)一示例性實(shí)施例示出的對步驟110的細(xì)節(jié)進(jìn)行描述。如圖2所示，該步驟110可包括以下步驟。

在步驟111中，檢測獲取到的源人臉圖像和目標(biāo)人臉圖像，記錄源人臉圖像和目標(biāo)人臉圖像的面部特征坐標(biāo)，面部特征坐標(biāo)進(jìn)一步作為識別出的源人臉圖像和目標(biāo)人臉圖像的特征標(biāo)記。

其中，面部特征坐標(biāo)為人臉圖像上表示人臉特征的圖像點(diǎn)的坐標(biāo)。該面部特征坐標(biāo)的用于表示人臉圖像的面部特征的位置，從而得到源人臉圖像和目標(biāo)人臉圖像的特征標(biāo)記。

通過第三方庫，例如dlib庫，實(shí)現(xiàn)檢測人臉圖像，實(shí)現(xiàn)人臉識別功能。通過第三方庫的人臉識別功能，檢測源人臉圖像和目標(biāo)人臉圖像，識別到源人臉圖像和目標(biāo)人臉圖像的面部特征坐標(biāo)。

獲得的源人臉圖像和目標(biāo)人臉圖像的面部特征坐標(biāo)作為識別出的源人臉圖像和目標(biāo)人臉圖像的特征標(biāo)記。

在步驟113中，分割出源人臉圖像的特征標(biāo)記。

其中，源人臉圖像的特征標(biāo)記作為與目標(biāo)人臉圖像融合得到人臉融合圖像的圖像，需要從源人臉圖像上分割下來，從而便于與目標(biāo)人臉圖像的特征標(biāo)記相匹配，實(shí)現(xiàn)融合得到人臉融合圖像的過程。

在步驟115中，調(diào)整分割出的源人臉圖像的特征標(biāo)記的色彩平衡，使源人臉圖像的特征標(biāo)記與目標(biāo)人臉圖像的特征標(biāo)記相匹配。

其中，源人臉圖像的特征標(biāo)記與目標(biāo)人臉圖像的特征標(biāo)記的色彩平衡不一樣會導(dǎo)致融合形成的人臉融合圖像色彩不統(tǒng)一，影響人臉融合的效果。

將分割出的源人臉圖像的特征標(biāo)記的色彩平衡調(diào)整到與目標(biāo)人臉圖像的特征標(biāo)記相同，使分割出來的源人臉圖像的特征標(biāo)記與目標(biāo)人臉圖像的特征標(biāo)記相匹配，從而保證融合形成的人臉融合圖像色彩統(tǒng)一。

此實(shí)施例實(shí)現(xiàn)了識別源人臉圖像和目標(biāo)人臉圖像的特征標(biāo)記，并使源人臉圖像的特征標(biāo)記和目標(biāo)人臉圖像的特征標(biāo)記相匹配。

在一個(gè)示例性實(shí)施例中，圖1對應(yīng)實(shí)施例的計(jì)算源人臉圖像的特征標(biāo)記到目標(biāo)人臉圖像的特征標(biāo)記的仿射變換步驟包括：

根據(jù)特征標(biāo)記中的面部特征坐標(biāo)形成的矩陣，計(jì)算源人臉圖像的特征標(biāo)記到目標(biāo)人臉圖像的特征標(biāo)記的仿射變換。

其中，特征標(biāo)記中包含著人臉圖像的面部特征坐標(biāo)。根據(jù)特征標(biāo)記中的面部特征坐標(biāo)構(gòu)成的矩陣中，計(jì)算出源人臉圖像的特征標(biāo)記到目標(biāo)人臉圖像的特征標(biāo)記的變化過程，即為得到的源人臉圖像的特征標(biāo)記到目標(biāo)人臉圖像的特征標(biāo)記的仿射變換。

根據(jù)得到的仿射變換的結(jié)果，得到出源人臉圖像的特征標(biāo)記到目標(biāo)人臉圖像的特征標(biāo)記的對應(yīng)關(guān)系，從而根據(jù)仿射變換實(shí)現(xiàn)人臉圖像的融合。

此實(shí)施例實(shí)現(xiàn)了計(jì)算源人臉圖像的特征標(biāo)記到目標(biāo)人臉圖像的特征標(biāo)記的仿射變換。

圖3是根據(jù)一示例性實(shí)施例示出的對步驟150的細(xì)節(jié)描述。如圖3所示，該步驟150可以包括以下步驟。

在步驟151中，根據(jù)仿射變換，計(jì)算出源人臉圖像的特征標(biāo)記映射到目標(biāo)人臉圖像的特征標(biāo)記上的映射坐標(biāo)。

其中，將源人臉圖像的特征標(biāo)記映射到目標(biāo)圖像的特征標(biāo)記上的實(shí)現(xiàn)公式如下。

其中，ti，j表示映射到目標(biāo)圖像的特征標(biāo)記后形成的人臉融合圖像上的映射坐標(biāo)，si,j表示源人臉圖像上的特征標(biāo)記的面部特征坐標(biāo)，n表示特征標(biāo)記個(gè)數(shù)，k表示第k個(gè)特征標(biāo)記，ak表示第k個(gè)源人臉圖像的特征標(biāo)記到目標(biāo)人臉圖像的特征標(biāo)記的仿射變換形成的矩陣。

ck由函數(shù)ck＝f(dk)決定，該函數(shù)需要滿足兩個(gè)條件：

①

②

其中，dk表示si,j和第k個(gè)源人臉圖像特征標(biāo)記之間的距離。函數(shù)ck的作用為提供從si,j到ti,j變換時(shí)的精細(xì)調(diào)整系數(shù)。條件①所指定的條件是讓各個(gè)特征標(biāo)記點(diǎn)對目標(biāo)人臉圖像上的映射點(diǎn)的影響因素總和為100％。條件②所指定的條件是讓距離目標(biāo)人臉圖像上的映射點(diǎn)最近的特征標(biāo)記點(diǎn)具有最大的影響因子。

在步驟153中，根據(jù)映射坐標(biāo)，通過將源人臉圖像的特征標(biāo)記映射到目標(biāo)人臉圖像的特征標(biāo)記，融合源人臉圖像和目標(biāo)人臉圖像，形成人臉融合圖像。

其中，根據(jù)獲取的映射坐標(biāo)，將源人臉圖像的特征標(biāo)記映射到目標(biāo)圖像的特征標(biāo)記上，形成獲得的人臉融合圖像，從而實(shí)現(xiàn)源人臉圖像和目標(biāo)人臉圖像的融合。

該將源人臉圖像的特征標(biāo)記映射到目標(biāo)圖像的特征標(biāo)記上的步驟，通過計(jì)算映射到目標(biāo)圖像的特征標(biāo)記后形成的人臉融合圖像上的映射坐標(biāo)，實(shí)現(xiàn)了通過特征標(biāo)記的映射，實(shí)現(xiàn)人臉圖像融合的過程，從而替代了原有的三角剖分映射技術(shù)。由于不使用三角剖分映射技術(shù)，也解決了由于三角剖分映射技術(shù)導(dǎo)致圖像紋理出現(xiàn)變形的技術(shù)問題。

上述方法對映射坐標(biāo)的計(jì)算量要大于三角剖分映射技術(shù)，但現(xiàn)如今，隨著操作系統(tǒng)的升級等原因，使得系統(tǒng)的計(jì)算性能得以增強(qiáng)，從而使得在不影響人臉融合性能的情況下，實(shí)現(xiàn)人臉融合的功能。

此實(shí)施例實(shí)現(xiàn)了融合源人臉圖像和目標(biāo)人臉圖像，形成人臉融合圖像的過程。

在一個(gè)示例性實(shí)施例中，圖1對應(yīng)實(shí)施例的根據(jù)仿射變換，融合源人臉圖像和目標(biāo)人臉圖像，形成人臉融合圖像步驟之后，該實(shí)現(xiàn)人臉圖像融合的方法還包括：

對人臉融合圖像的臉部邊緣進(jìn)行邊緣融合處理。

其中，邊緣融合用于使人臉融合圖像中源人臉圖像和目標(biāo)人臉圖像接合的地方更自然，不產(chǎn)生突破，即增強(qiáng)人臉圖像融合的效果。

邊緣融合處理通過在源人臉圖像和目標(biāo)人臉圖像接合的邊緣處進(jìn)行線性疊加，在遠(yuǎn)離自身人臉圖像的方向線性衰減淡出，從而減少合成痕跡，使人臉融合圖像更自然，人臉圖像融合的效果更好。

此實(shí)施例通過對人臉融合圖像的臉部邊緣進(jìn)行邊緣融合處理，增強(qiáng)了人臉圖像融合的效果。

圖4是是根據(jù)一示例性實(shí)施例示出的一種實(shí)現(xiàn)人臉圖像融合的裝置框圖。該裝置執(zhí)行圖1任一所示的實(shí)現(xiàn)人臉圖像融合的方法的全部或者部分步驟。如圖4所示，該裝置包括但不限于：特征標(biāo)記模塊210，計(jì)算模塊230和人臉融合模塊250。

特征標(biāo)記模塊210用于獲取待融合的源人臉圖像和目標(biāo)人臉圖像并檢測，識別出源人臉圖像和目標(biāo)人臉圖像的特征標(biāo)記后，匹配源人臉圖像目標(biāo)人臉圖像的特征標(biāo)記；

計(jì)算模塊230用于計(jì)算源人臉圖像的特征標(biāo)記到目標(biāo)人臉圖像的特征標(biāo)記的仿射變換；

人臉融合模塊250用于根據(jù)仿射變換，融合源人臉圖像和目標(biāo)人臉圖像，形成人臉融合圖像。

圖5是圖4對應(yīng)實(shí)施例的特征標(biāo)記模塊在一個(gè)實(shí)施例的框圖。如圖5所示，該特征標(biāo)記模塊210包括但不限于：檢測單元211，分割單元213和色彩調(diào)整單元215。

檢測單元211用于檢測獲取到的源人臉圖像和目標(biāo)人臉圖像，記錄源人臉圖像和目標(biāo)人臉圖像的面部特征坐標(biāo)，面部特征坐標(biāo)進(jìn)一步作為識別出的源人臉圖像和目標(biāo)人臉圖像的特征標(biāo)記；

分割單元213用于分割出源人臉圖像的特征標(biāo)記；

色彩調(diào)整單元215用于調(diào)整分割出的源人臉圖像的特征標(biāo)記的色彩平衡，使源人臉圖像的特征標(biāo)記與目標(biāo)人臉圖像的特征標(biāo)記相匹配。

在一個(gè)示例性實(shí)施例中，圖4對應(yīng)實(shí)施例的計(jì)算模塊包括但不限于：

仿射變換計(jì)算單元，用于根據(jù)特征標(biāo)記中的面部特征坐標(biāo)形成的矩陣，計(jì)算源人臉圖像的特征標(biāo)記到目標(biāo)人臉圖像的特征標(biāo)記的仿射變換。

圖6是圖4對應(yīng)實(shí)施例的人臉融合模塊在一個(gè)實(shí)施例的框圖。如圖6所示，該人臉融合模塊250包括但不限于：坐標(biāo)計(jì)算單元251和映射單元253。

坐標(biāo)計(jì)算單元251用于根據(jù)仿射變換，計(jì)算出源人臉圖像的特征標(biāo)記映射到目標(biāo)人臉圖像的特征標(biāo)記上的映射坐標(biāo)；

映射單元253用于根據(jù)映射坐標(biāo)，通過將源人臉圖像的特征標(biāo)記映射到目標(biāo)人臉圖像的特征標(biāo)記，融合源人臉圖像和目標(biāo)人臉圖像，形成人臉融合圖像。

在一個(gè)示例性實(shí)施例中，該實(shí)現(xiàn)人臉圖像融合的裝置還可以包括但不限于：

邊緣融合處理模塊，用于對人臉融合圖像的臉部邊緣進(jìn)行邊緣融合處理。

上述裝置中各個(gè)模塊的功能和作用的實(shí)現(xiàn)過程詳見上述實(shí)現(xiàn)人臉圖像融合的方法中對應(yīng)步驟的實(shí)現(xiàn)過程，在此不再贅述。

應(yīng)當(dāng)理解的是，本發(fā)明并不局限于上面已經(jīng)描述并在附圖中示出的精確結(jié)構(gòu)，并且可以在不脫離其范圍執(zhí)行各種修改和改變。本發(fā)明的范圍僅由所附的權(quán)利要求來限制。