專(zhuān)利名稱(chēng)：一種圖像特效的自動(dòng)生成方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種圖像特效的自動(dòng)生成方法及裝置。
背景技術(shù)：
多媒體技術(shù)高度發(fā)達(dá)的今天，人們可以通過(guò)攝像頭、數(shù)碼相機(jī)、數(shù)碼攝像機(jī)等獲取圖像以及視頻。但是，現(xiàn)有的圖像采集設(shè)備僅具有圖像采集功能，而簡(jiǎn)單的圖像采集功能已經(jīng)無(wú)法完全滿足人們?nèi)找嬖鲩L(zhǎng)的娛樂(lè)需求。
現(xiàn)有的處理軟件在人的手工操作下，可以對(duì)采集到的圖像進(jìn)行變換處理，得到一些趣味效果，比如將圖像上的人臉進(jìn)行夸張?zhí)幚?，或者將圖像上的人臉替換為其他人的臉或者動(dòng)物臉等等。但是，這些操作都需要大量的手工操作，無(wú)法實(shí)時(shí)地自動(dòng)進(jìn)行。在處理大量圖像，或者視頻聊天等需要對(duì)圖像進(jìn)行實(shí)時(shí)處理的情況下，無(wú)法自動(dòng)為采集到的圖像添加趣味效果。
綜上所述，現(xiàn)有技術(shù)無(wú)法自動(dòng)生成圖像特效。

發(fā)明內(nèi)容
本發(fā)明提供一種圖像特效的自動(dòng)生成方法及裝置，用以解決現(xiàn)有技術(shù)中存在無(wú)法自動(dòng)生成圖像特效的問(wèn)題。
本發(fā)明方法，預(yù)先確定輸入圖像的至少兩個(gè)特征點(diǎn)，設(shè)置替換圖像以及該替換圖像的有效像素，并標(biāo)定與所述輸入圖像的特征點(diǎn)相對(duì)應(yīng)的所述替換圖像的特征點(diǎn)的位置，該方法包括A.對(duì)輸入圖像進(jìn)行特征點(diǎn)定位，確定所述輸入圖像的特征點(diǎn)的位置；B.根據(jù)所述輸入圖像的特征點(diǎn)位置和所述替換圖像的特征點(diǎn)位置，通過(guò)仿射變換確定所述替換圖像像素和所述輸入圖像像素的對(duì)應(yīng)關(guān)系；C.根據(jù)所述對(duì)應(yīng)關(guān)系，利用所述替換圖像的有效像素點(diǎn)的色彩值替換對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值。
所述預(yù)先設(shè)置替換圖像的步驟包括從待選圖像中分離出需要的圖像，將該圖像作為前景圖像，并為所述前景圖像設(shè)置色彩單一、均勻且與所述前景圖像色彩不同的背景圖像，將所述前景圖像和所述背景圖像構(gòu)成所述替換圖像。
所述預(yù)先設(shè)置替換圖像的有效像素的步驟包括對(duì)所述替換圖像的所有像素，將色彩值與所述背景圖像的色彩值不相同的像素設(shè)置為有效像素。
步驟C包括根據(jù)所述對(duì)應(yīng)關(guān)系，計(jì)算與所述輸入圖像的像素點(diǎn)相對(duì)應(yīng)的所述替換圖像的像素點(diǎn)的坐標(biāo)，并根據(jù)該點(diǎn)坐標(biāo)判斷該點(diǎn)像素是否為所述預(yù)先設(shè)置的有效像素，如果是，則利用該點(diǎn)的色彩值替換與該點(diǎn)對(duì)應(yīng)的所述輸入圖像的像素點(diǎn)的色彩值。
步驟C包括確定所述替換圖像的有效像素所在的最小外接矩形范圍，并根據(jù)所述對(duì)應(yīng)關(guān)系，利用所述最小外接矩形范圍內(nèi)的有效像素點(diǎn)的色彩值替換對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值。
步驟C包括根據(jù)所述對(duì)應(yīng)關(guān)系，將所述替換圖像變換到所述輸入圖像的坐標(biāo)空間，并利用所述變換后的替換圖像的有效像素點(diǎn)的色彩值替換對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值。
步驟C之后還包括確定所述替換圖像的有效像素和無(wú)效像素之間的相鄰區(qū)域；將與所述相鄰區(qū)域中的每個(gè)點(diǎn)相對(duì)應(yīng)的所述輸入圖像的像素點(diǎn)的色彩值和所述替換圖像上的有效像素的色彩值進(jìn)行加權(quán)平均；將所述加權(quán)平均后的每個(gè)點(diǎn)的色彩值作為與所述相鄰區(qū)域內(nèi)的像素點(diǎn)對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值。
步驟C之后還包括根據(jù)與所述替換圖像對(duì)應(yīng)的所述輸入圖像上的區(qū)域的整體亮度，對(duì)所述替換圖像的整體亮度進(jìn)行調(diào)整。
本發(fā)明裝置包括存儲(chǔ)單元，用于存儲(chǔ)預(yù)先確定的輸入圖像的至少兩個(gè)特征點(diǎn)，并存儲(chǔ)預(yù)先設(shè)置的替換圖像、該替換圖像的有效像素以及預(yù)先標(biāo)定的與所述輸入圖像的特征點(diǎn)相對(duì)應(yīng)的所述替換圖像的特征點(diǎn)的位置；定位單元，用于對(duì)輸入圖像進(jìn)行特征點(diǎn)定位，確定所述輸入圖像的特征點(diǎn)的位置；對(duì)應(yīng)關(guān)系單元，用于根據(jù)所述輸入圖像的特征點(diǎn)位置和所述替換圖像的特征點(diǎn)位置，通過(guò)仿射變換確定所述替換圖像像素和所述輸入圖像像素的對(duì)應(yīng)關(guān)系；圖像特效實(shí)現(xiàn)單元，用于根據(jù)所述對(duì)應(yīng)關(guān)系，利用所述替換圖像的有效像素點(diǎn)的色彩值替換對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值。
該裝置還包括設(shè)置單元，用于從待選圖像中分離出需要的圖像，將該圖像作為前景圖像，并為所述前景圖像設(shè)置色彩單一、均勻且與所述前景圖像色彩不同的背景圖像，將所述前景圖像和所述背景圖像構(gòu)成所述替換圖像。
所述設(shè)置單元，還用于對(duì)所述替換圖像的所有像素，將色彩值與所述背景圖像的色彩值不相同的像素設(shè)置為有效像素。
所述圖像特效實(shí)現(xiàn)單元包括計(jì)算單元，用于根據(jù)所述對(duì)應(yīng)關(guān)系，計(jì)算與所述輸入圖像的像素點(diǎn)相對(duì)應(yīng)的所述替換圖像的像素點(diǎn)的坐標(biāo)；
判斷單元，用于根據(jù)該點(diǎn)坐標(biāo)判斷該點(diǎn)像素是否為所述預(yù)先設(shè)置的有效像素，如果是，則利用該點(diǎn)的色彩值替換與該點(diǎn)對(duì)應(yīng)的所述輸入圖像的像素點(diǎn)的色彩值。
所述圖像特效實(shí)現(xiàn)單元包括確定范圍單元，用于確定所述替換圖像的有效像素所在的最小外接矩形范圍；實(shí)現(xiàn)單元，用于根據(jù)所述對(duì)應(yīng)關(guān)系，利用所述最小外接矩形范圍內(nèi)的有效像素點(diǎn)的色彩值替換對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值。
所述圖像特效實(shí)現(xiàn)單元包括變換單元，用于根據(jù)所述對(duì)應(yīng)關(guān)系，將所述替換圖像變換到所述輸入圖像的坐標(biāo)空間；替換單元，用于利用所述變換后的替換圖像的有效像素點(diǎn)的色彩值替換對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值。
該裝置還包括色彩調(diào)整單元，用于確定所述替換圖像的有效像素和無(wú)效像素之間的相鄰區(qū)域，將與所述相鄰區(qū)域中的每個(gè)點(diǎn)相對(duì)應(yīng)的所述輸入圖像的像素點(diǎn)的色彩值和所述替換圖像上的有效像素的色彩值進(jìn)行加權(quán)平均，并將所述加權(quán)平均后的每個(gè)點(diǎn)的色彩值作為與所述相鄰區(qū)域內(nèi)的像素點(diǎn)對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值。
該裝置還包括亮度調(diào)整單元，用于根據(jù)與所述替換圖像對(duì)應(yīng)的所述輸入圖像上的區(qū)域的整體亮度，對(duì)所述替換圖像的整體亮度進(jìn)行調(diào)整。
本發(fā)明通過(guò)預(yù)先確定輸入圖像的至少兩個(gè)特征點(diǎn)，設(shè)置替換圖像以及該替換圖像的有效像素，并標(biāo)定與所述輸入圖像的特征點(diǎn)相對(duì)應(yīng)的所述替換圖像的特征點(diǎn)的位置；對(duì)所述輸入圖像進(jìn)行特征點(diǎn)定位，確定所述輸入圖像的特征點(diǎn)的位置，根據(jù)所述輸入圖像的特征點(diǎn)位置和所述替換圖像的特征點(diǎn)位置，通過(guò)仿射變換確定所述替換圖像像素和所述輸入圖像像素的對(duì)應(yīng)關(guān)系，根據(jù)所述對(duì)應(yīng)關(guān)系，利用所述替換圖像的有效像素點(diǎn)的色彩值替換對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值，實(shí)現(xiàn)圖像特效。避免了現(xiàn)有技術(shù)無(wú)法自動(dòng)生成圖像特效的問(wèn)題，滿足了用戶(hù)更多的娛樂(lè)需求，并且節(jié)省了人力，提高了圖像特效的生成效率。


圖1為本發(fā)明裝置實(shí)施例的結(jié)構(gòu)示意圖；圖2-A為本發(fā)明裝置實(shí)施例中替換圖像的色彩矩陣圖像示意圖，圖2-B為本發(fā)明裝置實(shí)施例中替換圖像的掩模矩陣圖像示意圖；圖3-A和圖3-B分別為本發(fā)明裝置實(shí)施例中圖像特效實(shí)現(xiàn)單元的另外兩種結(jié)構(gòu)示意圖；圖4-A為本發(fā)明裝置實(shí)施例中輸入圖像示意圖，圖4-B為本發(fā)明裝置實(shí)施例中給所述輸入圖像添加特效后的圖像示意圖；圖5為本發(fā)明方法實(shí)施例的流程示意圖；圖6為本發(fā)明方法實(shí)施例的流程示意圖。
具體實(shí)施例方式
本發(fā)明通過(guò)預(yù)先確定輸入圖像的至少兩個(gè)特征點(diǎn)，設(shè)置替換圖像以及該替換圖像的有效像素，并標(biāo)定與所述輸入圖像的特征點(diǎn)相對(duì)應(yīng)的所述替換圖像的特征點(diǎn)的位置，在此基礎(chǔ)上的實(shí)際應(yīng)用中，對(duì)所述輸入圖像進(jìn)行特征點(diǎn)定位，確定所述輸入圖像的特征點(diǎn)的位置；根據(jù)所述輸入圖像的特征點(diǎn)位置和所述替換圖像的特征點(diǎn)位置，通過(guò)仿射變換確定所述替換圖像像素和所述輸入圖像像素的對(duì)應(yīng)關(guān)系；根據(jù)所述對(duì)應(yīng)關(guān)系，利用所述替換圖像的有效像素點(diǎn)的色彩值替換對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值，從而，將替換圖像添加到輸入圖像上，實(shí)現(xiàn)圖像特效。避免了現(xiàn)有技術(shù)無(wú)法自動(dòng)生成圖像特效的問(wèn)題，滿足了用戶(hù)更多的娛樂(lè)需求，并且節(jié)省了人力，提高了圖像特效的生成效率。
本發(fā)明實(shí)施例旨在提供一種能自動(dòng)為圖像(包括視頻圖像)添加需要的趣味效果，實(shí)現(xiàn)完全自動(dòng)地對(duì)輸入圖像添加特效，不需要人的手工干預(yù)。所得到的趣味效果依賴(lài)于替換圖像的外觀和形狀，例如，如果替換圖像包括一副眼鏡，則達(dá)到的趣味效果為在輸入的人臉圖像上自動(dòng)佩戴所述替換圖像上的眼鏡，如果替換圖像包括一副明星臉，則達(dá)到的趣味效果為將輸入圖像中的人臉替換為替換圖像上的明星臉，另外，還可以根據(jù)用戶(hù)需要為輸入圖像中的人自動(dòng)佩戴帽子、自動(dòng)佩戴面具以及自動(dòng)將人臉替換為各種動(dòng)物臉等多種不同的趣味效果。
下面結(jié)合附圖分別說(shuō)明本發(fā)明提供的實(shí)施例是如何實(shí)現(xiàn)的。
參見(jiàn)圖1，本發(fā)明裝置實(shí)施例包括設(shè)置單元11、存儲(chǔ)單元12、定位單元13、對(duì)應(yīng)關(guān)系單元14、圖像特效實(shí)現(xiàn)單元15、色彩調(diào)整單元16和亮度調(diào)整單元17；其中，所述圖像特效實(shí)現(xiàn)單元15包括計(jì)算單元151和判斷單元152；所述設(shè)置單元11，用于從待選圖像中分離出需要的圖像，將該圖像作為前景圖像，并為所述前景圖像設(shè)置色彩單一、均勻且與所述前景圖像色彩不同的背景圖像，將所述前景圖像和所述背景圖像構(gòu)成所述替換圖像；還用于對(duì)所述替換圖像的所有像素，將色彩值與所述背景圖像的色彩值不相同的像素設(shè)置為有效像素；該設(shè)置單元11，還可以用于預(yù)先確定輸入圖像的至少兩個(gè)特征點(diǎn)(如選擇人的雙眼和/或嘴巴作為特征點(diǎn))，并標(biāo)定與所述輸入圖像的特征點(diǎn)相對(duì)應(yīng)的所述替換圖像的特征點(diǎn)的位置；所述存儲(chǔ)單元12，用于存儲(chǔ)所述預(yù)先確定的輸入圖像的至少兩個(gè)特征點(diǎn)，并存儲(chǔ)預(yù)先設(shè)置的替換圖像、該替換圖像的有效像素以及預(yù)先標(biāo)定的與所述輸入圖像的特征點(diǎn)相對(duì)應(yīng)的所述替換圖像的特征點(diǎn)的位置。
在計(jì)算機(jī)中，圖像一般采用一個(gè)二維矩陣來(lái)表示，但是，需要的替換圖像外邊緣往往不是一個(gè)完整的矩形，而且，替換圖像內(nèi)部可能會(huì)有鏤空部分。
參見(jiàn)圖2-A和圖2-B，本實(shí)施例以眼鏡替換圖像為例，替換圖像為矩形圖像，該圖像中的眼鏡為需要替換到輸入圖像中的部分，該部分像素稱(chēng)為有效像素，而其他區(qū)域是不需要的部分，不會(huì)被替換到輸入圖像上去，該部分像素稱(chēng)為無(wú)效像素。
本實(shí)施例替換圖像采用了一個(gè)二維矩形圖像數(shù)據(jù)和一個(gè)同樣大小的二值掩模矩形圖像數(shù)據(jù)表示，其中，所述二維矩形圖像數(shù)據(jù)稱(chēng)為色彩矩陣，包含矩形上的有效像素和無(wú)效像素的色彩值，如圖2-A所示，為所述色彩矩陣圖像示意圖，圖2-A中所示的眼鏡框即為所述的前景圖像，該眼鏡框可以設(shè)置為紅色；圖2-A中除了眼鏡框以外的部分即為所述的背景圖像，該圖像可以設(shè)置為灰色。所述二值掩模矩形圖像數(shù)據(jù)稱(chēng)為掩模矩陣，該矩陣由1和0組成，用以表示所述替換圖像的有效像素和無(wú)效像素，其中，用1表示有效像素，用0表示無(wú)效像素，如圖2-B所示，為所述掩模矩陣圖像示意圖，由于圖2-A中的眼鏡框是需要被添加到輸入圖像的人臉上的，所以圖2-B中所示的眼鏡框部分為有效像素(白色部分)；圖2-B中除了眼鏡框的部分為無(wú)效像素(黑色部分)。
所述替換圖像的色彩矩陣可以采用圖像處理軟件或者手動(dòng)編寫(xiě)程序來(lái)獲取。如采用強(qiáng)大的圖像處理軟件(Photoshop)獲取，該軟件可以采用簡(jiǎn)單的操作就可以將需要的圖像(如眼鏡)從背景中分離出來(lái)，作為前景圖像。然后將該前景圖像放在一個(gè)背景圖像上，背景圖像的色彩為單一、均勻且是所述前景圖像中不存在的顏色，并記錄背景圖像的色彩值。那么由所述前景圖像和所述背景圖像構(gòu)成的二維矩形圖像為所述替換圖像，該圖像數(shù)據(jù)為所述色彩矩陣。
對(duì)色彩矩陣中的所有像素，如果該像素的色彩值和所述記錄的背景圖像的色彩值相同，則設(shè)定為0，即無(wú)效像素，否則，設(shè)定為1，即有效像素。則，由0和1組成的二值掩模矩形圖像數(shù)據(jù)為與所述色彩矩陣對(duì)應(yīng)的掩模矩陣。
所述定位單元13，用于對(duì)輸入圖像進(jìn)行特征點(diǎn)定位，確定所述輸入圖像的特征點(diǎn)的位置；所述對(duì)應(yīng)關(guān)系單元14，用于根據(jù)所述輸入圖像的特征點(diǎn)位置和所述替換圖像的特征點(diǎn)位置，通過(guò)仿射變換確定所述替換圖像像素和所述輸入圖像像素的對(duì)應(yīng)關(guān)系；所述圖像特效實(shí)現(xiàn)單元15，用于根據(jù)所述對(duì)應(yīng)關(guān)系，利用所述替換圖像的有效像素點(diǎn)的色彩值替換對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值。
本實(shí)施例中采用仿射變換來(lái)確定所述替換圖像和所述輸入圖像像素之間的對(duì)應(yīng)關(guān)系，首先介紹一下仿射變換模型和仿射變換系數(shù)的求取方法。
本實(shí)施例采用包含放縮尺度(s)，旋轉(zhuǎn)角度(θ)，水平平移(tx)，垂直平移(ty)四個(gè)自由度的仿射變換模型，假設(shè)輸入圖像上的某點(diǎn)為(x，y)，經(jīng)過(guò)仿射變換到替換圖像上一點(diǎn)(x′，y′)，點(diǎn)(x，y)與點(diǎn)(x′，y′)互為對(duì)應(yīng)點(diǎn)，則有下式x'y'=scosθ-ssinθssinθscosθ·xy+txty=c-dtxdcty·xy1---(1)]]>其中，c＝scosθ，d＝ssinθ，當(dāng)輸入圖像上存在兩個(gè)點(diǎn)(x1，y1)和(x2，y2)分別與替換圖像上的兩個(gè)點(diǎn)(x1′，y1′)和(x2′，y2′)相對(duì)應(yīng)時(shí)，根據(jù)式(1)可有x1-y110y1x101x2-y210y2x201cdtxty=x1'y1'x2'y2'---(2)]]>記M＝(c d txty)T，B＝(x1′ y1′ x2′ y2′)T，A=x1-y110y1x101x2-y210y2x201,]]>則當(dāng)x1≠x2或者y1≠y2時(shí)，A必然為可逆矩陣。
則有下式M＝A-1B(3)
由于本實(shí)施例采用的仿射變換模型具有四個(gè)參數(shù)，因而至少需要四個(gè)方程才可以確定所述仿射變換模型的四個(gè)參數(shù)。
在本實(shí)施例中，為了實(shí)現(xiàn)將眼鏡帶在輸入圖像的人臉上，所以選擇輸入圖像最佳的特征點(diǎn)為左眼和右眼，即采用左眼(xl，yl)和右眼(xr，yr)作為選用的臉部特征點(diǎn)，則利用自動(dòng)定位到的所述輸入圖像的左眼和右眼，以及對(duì)應(yīng)的預(yù)先標(biāo)定的所述替換圖像的特征點(diǎn)(x1′，y1′)和(x2′，y2′)，共可建立四個(gè)方程，可以求取四個(gè)仿射變換參數(shù)，從而得到所述替換圖像和所述輸入圖像的對(duì)應(yīng)關(guān)系。
在不同的應(yīng)用中，需要選定不同的臉部特征點(diǎn)。特征點(diǎn)的選擇原則為首先，輸入圖像的特征點(diǎn)數(shù)目至少為兩個(gè)，相應(yīng)的替換圖像的特征點(diǎn)數(shù)目也至少為兩個(gè)，這樣才能保證求得仿射變換的四個(gè)參數(shù)。當(dāng)輸入圖像的特征點(diǎn)的數(shù)目大于2時(shí)，得到的方程數(shù)目大于變量的數(shù)目(4)，此時(shí)，可以采用最小二乘方法求解。其次，應(yīng)該選取如左眼、右眼或嘴巴等比較容易被自動(dòng)定位的臉部特征點(diǎn)，這樣自動(dòng)定位算法能得到較好的定位結(jié)果，從而得到更好的處理效果。最后，替換圖像的特征點(diǎn)應(yīng)該處于替換圖像的重要位置，從而當(dāng)利用通過(guò)輸入圖像特征點(diǎn)和替換圖像的特征點(diǎn)得到的仿射變換模型進(jìn)行圖像替換后，得到的圖像特效具有更好的效果。
如選定左眼和右眼為特征點(diǎn)，在替換圖像的色彩矩陣上標(biāo)定左眼和右眼對(duì)應(yīng)的位置，作為替換圖像的特征點(diǎn)。
得到了替換圖像的色彩矩陣、掩模矩陣和標(biāo)定的特征點(diǎn)位置后，對(duì)于一個(gè)趣味圖像特效，這些數(shù)據(jù)只需要預(yù)先設(shè)置一次，在實(shí)際應(yīng)用時(shí)，這些數(shù)據(jù)將會(huì)被自動(dòng)添加到輸入圖像或者視頻上，得到預(yù)先設(shè)定的趣味效果。
所述定位單元13，通過(guò)圖像采集設(shè)備采集到包含人臉的圖像，自動(dòng)采用眼睛定位算法確定左眼和右眼(即預(yù)先選擇的兩個(gè)特征點(diǎn))的位置；所述對(duì)應(yīng)關(guān)系單元14，根據(jù)式(3)，以及自動(dòng)定位到的左眼和右眼的位置確定矩陣A的值，根據(jù)預(yù)先標(biāo)定的替換圖像上雙眼位置確定矩陣B，計(jì)算從所述輸入圖像坐標(biāo)到所述替換圖像坐標(biāo)的仿射變換參數(shù)，從而確定所述輸入圖像像素和所述替換圖像像素的對(duì)應(yīng)關(guān)系；所述圖像特效實(shí)現(xiàn)單元15，對(duì)于輸入圖像上的點(diǎn)，根據(jù)求得的仿射變換參數(shù)，求其在替換圖像上的對(duì)應(yīng)點(diǎn)的坐標(biāo)，并根據(jù)該對(duì)應(yīng)點(diǎn)的掩模矩陣值確定該點(diǎn)的色彩值是否需要被替換，如果該對(duì)應(yīng)點(diǎn)的掩模矩陣值為真(1)，則需要將所述輸入圖像該點(diǎn)的像素色彩值替換為所述替換圖像上所述對(duì)應(yīng)點(diǎn)的色彩矩陣的色彩值，否則，所述輸入圖像該點(diǎn)的像素色彩值保持不變。
其中，所述計(jì)算單元151，用于根據(jù)所述對(duì)應(yīng)關(guān)系，計(jì)算與所述輸入圖像的像素點(diǎn)相對(duì)應(yīng)的所述替換圖像的像素點(diǎn)的坐標(biāo)；所述判斷單元152，用于根據(jù)該點(diǎn)坐標(biāo)判斷該點(diǎn)像素是否為所述預(yù)先設(shè)置的有效像素，如果是，則利用該點(diǎn)的色彩值替換與該點(diǎn)對(duì)應(yīng)的所述輸入圖像的像素點(diǎn)的色彩值。
為了優(yōu)化本實(shí)施例中的圖像特效實(shí)現(xiàn)單元，減少運(yùn)算量以及提高圖像處理效果，下面介紹所述圖像特效實(shí)現(xiàn)單元的另外兩種結(jié)構(gòu)；為了減少運(yùn)算，可以首先確定替換圖像的有效像素所在的最小外接矩形范圍，在處理過(guò)程中，只對(duì)最小外接矩形內(nèi)部的像素進(jìn)行處理，從而避免了對(duì)最小外接矩形外無(wú)效像素的處理，加快了處理速度；因此，參見(jiàn)圖3-A，較佳地，所述圖像特效實(shí)現(xiàn)單元還可以包括確定范圍單元，用于確定所述替換圖像的有效像素所在的最小外接矩形范圍；實(shí)現(xiàn)單元，用于根據(jù)所述對(duì)應(yīng)關(guān)系，利用所述最小外接矩形范圍內(nèi)的有效像素點(diǎn)的色彩值替換對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值，實(shí)現(xiàn)圖像特效。
仿射變換放縮尺度s大于1或小于1時(shí)，輸入圖像中的相鄰點(diǎn)在替換圖像中的對(duì)應(yīng)點(diǎn)之間距離會(huì)比較大或比較小，這樣就會(huì)造成變換后的輸入圖像存在明顯的階變，圖像質(zhì)量變差。為了避免這樣的問(wèn)題，可以采用圖像整體放縮旋轉(zhuǎn)的方式來(lái)獲取變換圖像。
獲得放縮尺度、旋轉(zhuǎn)角度及平移坐標(biāo)仿射變換參數(shù)后，首先根據(jù)該參數(shù)，將替換圖像的色彩矩陣和掩模矩陣分別經(jīng)過(guò)旋轉(zhuǎn)、放縮和變換后，將替換圖像變換到輸入圖像坐標(biāo)空間，并用輸入圖像坐標(biāo)空間的色彩矩陣和掩模矩陣表示，此時(shí)，只要將輸入圖像空間的掩模矩陣中有效像素的色彩值替換為色彩矩陣中對(duì)應(yīng)的色彩值，便完成了圖像替換。其中，在圖像的放縮和旋轉(zhuǎn)過(guò)程中，采用諸如雙線性差值等放縮算法，避免最近鄰方法引起的誤差，得到的圖像便不再存在鋸齒和階變等問(wèn)題。
因此，參見(jiàn)圖3-B，較佳地，所述圖像特效實(shí)現(xiàn)單元還可以包括變換單元，用于根據(jù)所述對(duì)應(yīng)關(guān)系，將所述替換圖像變換到所述輸入圖像的坐標(biāo)空間；替換單元，用于利用所述變換后的替換圖像的有效像素點(diǎn)的色彩值替換對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值。
所述色彩調(diào)整單元16，用于確定所述替換圖像的有效像素和無(wú)效像素之間的相鄰區(qū)域，將與所述相鄰區(qū)域中的每個(gè)點(diǎn)相對(duì)應(yīng)的所述輸入圖像的像素點(diǎn)的色彩值和所述替換圖像上的有效像素的色彩值進(jìn)行加權(quán)平均，并將所述加權(quán)平均后的每個(gè)點(diǎn)的色彩值作為與所述相鄰區(qū)域內(nèi)的像素點(diǎn)對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值。
所述亮度調(diào)整單元17，用于根據(jù)與所述替換圖像對(duì)應(yīng)的所述輸入圖像上的區(qū)域的整體亮度，對(duì)所述替換圖像的整體亮度進(jìn)行調(diào)整。
將替換圖像的有效像素替換輸入圖像的對(duì)應(yīng)像素后，有效像素對(duì)應(yīng)點(diǎn)為替換圖像，而無(wú)效像素對(duì)應(yīng)點(diǎn)為輸入圖像，如果輸入圖像的整體亮度和色彩與替換圖像相差較大，則得到的圖像特效的效果有些不真實(shí)。為了改善圖像特效的效果，采用在替換圖像的有效像素和無(wú)效像素的邊緣區(qū)域采用alpha-blending的方法，對(duì)邊緣區(qū)域中的每個(gè)點(diǎn)，都采用輸入圖像色彩值和替換模板色彩值加權(quán)的方式替換輸入圖像的對(duì)應(yīng)點(diǎn)。距離有效像素點(diǎn)越近，替換圖像的色彩權(quán)值越大，距離有效像素越遠(yuǎn)，替換圖像的色彩權(quán)值越小，這樣可以使得圖像特效得到更加平滑自然的效果。
另外，根據(jù)輸入圖像對(duì)應(yīng)替換圖像區(qū)域的整體亮度，對(duì)替換圖像整體亮度進(jìn)行調(diào)整，從而得到更自然的圖像特效。
綜上，參見(jiàn)圖4-A為本發(fā)明裝置實(shí)施例中所述輸入圖像的示意圖，圖4-B為通過(guò)本發(fā)明裝置實(shí)施例實(shí)現(xiàn)的為所述輸入圖像添加圖像特效后的示意圖。
同理，采用本發(fā)明方案可以實(shí)現(xiàn)的圖像特效包括但不限于換臉，特征點(diǎn)選雙眼，或者雙眼加嘴巴；換臉內(nèi)容包含換為明星臉，換為動(dòng)物臉，換為卡通臉；添加帽子，特征點(diǎn)選擇雙眼；添加面具，特征點(diǎn)選擇雙眼；添加胡子，特征點(diǎn)選擇雙眼和嘴巴；添加口罩，特征點(diǎn)選擇雙眼和嘴巴。
參見(jiàn)圖5，本發(fā)明方法實(shí)施例，預(yù)先確定輸入圖像的至少兩個(gè)特征點(diǎn)，設(shè)置替換圖像以及該替換圖像的有效像素，并標(biāo)定與所述輸入圖像的特征點(diǎn)相對(duì)應(yīng)的所述替換圖像的特征點(diǎn)的位置，該方法包括S501、對(duì)輸入圖像進(jìn)行特征點(diǎn)定位，確定所述輸入圖像的特征點(diǎn)的位置；S502、根據(jù)所述輸入圖像的特征點(diǎn)位置和所述替換圖像的特征點(diǎn)位置，通過(guò)仿射變換確定所述替換圖像像素和所述輸入圖像像素的對(duì)應(yīng)關(guān)系；S503、根據(jù)所述對(duì)應(yīng)關(guān)系，利用所述替換圖像的有效像素點(diǎn)的色彩值替換對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值。
參見(jiàn)圖6，本發(fā)明方法實(shí)施例包括S601、預(yù)先確定輸入圖像的特征點(diǎn)，設(shè)置替換圖像以及該替換圖像的有效像素，并標(biāo)定該替換圖像的特征點(diǎn)的位置；所述輸入圖像的特征點(diǎn)至少包括兩個(gè)；所述替換圖像的特征點(diǎn)與所述輸入圖像的特征點(diǎn)相對(duì)應(yīng)；
其中，所述預(yù)先設(shè)置替換圖像的步驟包括從待選圖像中分離出需要的圖像，將該圖像作為前景圖像，并為所述前景圖像設(shè)置色彩單一、均勻且與所述前景圖像色彩不同的背景圖像，將所述前景圖像和所述背景圖像構(gòu)成所述替換圖像。
所述預(yù)先設(shè)置替換圖像的有效像素的步驟包括對(duì)于所述替換圖像的所有像素，將色彩值與所述背景圖像的色彩值不相同的像素設(shè)置為有效像素。
S602、對(duì)輸入圖像進(jìn)行特征點(diǎn)定位，確定所述輸入圖像的特征點(diǎn)的位置；S603、根據(jù)所述替換圖像的特征點(diǎn)位置以及所述輸入圖像的特征點(diǎn)位置，通過(guò)仿射變換，確定所述替換圖像像素和所述輸入圖像像素的對(duì)應(yīng)關(guān)系；S604、根據(jù)所述對(duì)應(yīng)關(guān)系，利用所述替換圖像的有效像素點(diǎn)的色彩值替換對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值；較佳地，步驟S604包括根據(jù)所述對(duì)應(yīng)關(guān)系，計(jì)算與所述輸入圖像的像素點(diǎn)相對(duì)應(yīng)的所述替換圖像的像素點(diǎn)的坐標(biāo)，并根據(jù)該點(diǎn)坐標(biāo)判斷該點(diǎn)像素是否為所述預(yù)先設(shè)置的有效像素，如果是，則利用該點(diǎn)的色彩值替換與該點(diǎn)對(duì)應(yīng)的所述輸入圖像的像素點(diǎn)的色彩值。
較佳地，步驟S604包括確定所述替換圖像的有效像素所在的最小外接矩形范圍，并根據(jù)所述對(duì)應(yīng)關(guān)系，利用所述最小外接矩形范圍內(nèi)的有效像素點(diǎn)的色彩值替換對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值，實(shí)現(xiàn)圖像特效。
較佳地，步驟S604包括根據(jù)所述對(duì)應(yīng)關(guān)系，將所述替換圖像變換到所述輸入圖像的坐標(biāo)空間，并利用所述變換后的替換圖像的有效像素點(diǎn)的色彩值替換對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值，實(shí)現(xiàn)圖像特效。
S605、確定所述替換圖像的有效像素和無(wú)效像素之間的相鄰區(qū)域；S606、將與所述相鄰區(qū)域中的每個(gè)點(diǎn)相對(duì)應(yīng)的所述輸入圖像的像素點(diǎn)的色彩值和所述替換圖像上的有效像素的色彩值進(jìn)行加權(quán)平均；S607、將所述加權(quán)平均后的每個(gè)點(diǎn)的色彩值作為與所述相鄰區(qū)域內(nèi)的像素點(diǎn)對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值；S608、根據(jù)與所述替換圖像對(duì)應(yīng)的所述輸入圖像上的區(qū)域的整體亮度，對(duì)所述替換圖像的整體亮度進(jìn)行調(diào)整。
綜上，本發(fā)明提供了一種能夠自動(dòng)為圖像或者視頻添加需要的趣味效果的技術(shù)方案，預(yù)先確定輸入圖像的至少兩個(gè)特征點(diǎn)，設(shè)置替換圖像以及該替換圖像的有效像素，并標(biāo)定與所述輸入圖像的特征點(diǎn)相對(duì)應(yīng)的所述替換圖像的特征點(diǎn)的位置，在實(shí)際應(yīng)用時(shí)，首先，對(duì)輸入圖像中的特征點(diǎn)進(jìn)行定位，并計(jì)算所述替換圖像像素和所述輸入圖像像素的對(duì)應(yīng)關(guān)系，然后，根據(jù)所述對(duì)應(yīng)關(guān)系，用替換圖像上的像素色彩值替換輸入圖像上的對(duì)應(yīng)點(diǎn)的色彩值，從而，將替換圖像添加到輸入圖像上，實(shí)現(xiàn)圖像特效，為用戶(hù)提供需要的趣味圖像效果。
因此，通過(guò)本發(fā)明提供的技術(shù)方案，可以實(shí)現(xiàn)完全自動(dòng)地對(duì)輸入圖像添加特效，不需要人的手工干預(yù)。本發(fā)明具有極大的可擴(kuò)展性，可以自動(dòng)提供用戶(hù)期待的趣味效果，滿足了用戶(hù)更多的娛樂(lè)需求，并且節(jié)省了人力，提高了圖像特效的生成效率。
顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。
權(quán)利要求
1.一種圖像特效的自動(dòng)生成方法，其特征在于，預(yù)先確定輸入圖像的至少兩個(gè)特征點(diǎn)，設(shè)置替換圖像以及該替換圖像的有效像素，并標(biāo)定與所述輸入圖像的特征點(diǎn)相對(duì)應(yīng)的所述替換圖像的特征點(diǎn)的位置，該方法包括A.對(duì)輸入圖像進(jìn)行特征點(diǎn)定位，確定所述輸入圖像的特征點(diǎn)的位置；B.根據(jù)所述輸入圖像的特征點(diǎn)位置和所述替換圖像的特征點(diǎn)位置，通過(guò)仿射變換確定所述替換圖像像素和所述輸入圖像像素的對(duì)應(yīng)關(guān)系；C.根據(jù)所述對(duì)應(yīng)關(guān)系，利用所述替換圖像的有效像素點(diǎn)的色彩值替換對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值。
2.如權(quán)利要求1所述的方法，其特征在于，所述預(yù)先設(shè)置替換圖像的步驟包括從待選圖像中分離出需要的圖像，將該圖像作為前景圖像，并為所述前景圖像設(shè)置色彩單一、均勻且與所述前景圖像色彩不同的背景圖像，將所述前景圖像和所述背景圖像構(gòu)成所述替換圖像。
3.如權(quán)利要求2所述的方法，其特征在于，所述預(yù)先設(shè)置替換圖像的有效像素的步驟包括對(duì)所述替換圖像的所有像素，將色彩值與所述背景圖像的色彩值不相同的像素設(shè)置為有效像素。
4.如權(quán)利要求1所述的方法，其特征在于，步驟C包括根據(jù)所述對(duì)應(yīng)關(guān)系，計(jì)算與所述輸入圖像的像素點(diǎn)相對(duì)應(yīng)的所述替換圖像的像素點(diǎn)的坐標(biāo)，并根據(jù)該點(diǎn)坐標(biāo)判斷該點(diǎn)像素是否為所述預(yù)先設(shè)置的有效像素，如果是，則利用該點(diǎn)的色彩值替換與該點(diǎn)對(duì)應(yīng)的所述輸入圖像的像素點(diǎn)的色彩值。
5.如權(quán)利要求1所述的方法，其特征在于，步驟C包括確定所述替換圖像的有效像素所在的最小外接矩形范圍，并根據(jù)所述對(duì)應(yīng)關(guān)系，利用所述最小外接矩形范圍內(nèi)的有效像素點(diǎn)的色彩值替換對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值。
6.如權(quán)利要求1所述的方法，其特征在于，步驟C包括根據(jù)所述對(duì)應(yīng)關(guān)系，將所述替換圖像變換到所述輸入圖像的坐標(biāo)空間，并利用所述變換后的替換圖像的有效像素點(diǎn)的色彩值替換對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值。
7.如權(quán)利要求1所述的方法，其特征在于，步驟C之后還包括確定所述替換圖像的有效像素和無(wú)效像素之間的相鄰區(qū)域；將與所述相鄰區(qū)域中的每個(gè)點(diǎn)相對(duì)應(yīng)的所述輸入圖像的像素點(diǎn)的色彩值和所述替換圖像上的有效像素的色彩值進(jìn)行加權(quán)平均；將所述加權(quán)平均后的每個(gè)點(diǎn)的色彩值作為與所述相鄰區(qū)域內(nèi)的像素點(diǎn)對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值。
8.如權(quán)利要求1所述的方法，其特征在于，步驟C之后還包括根據(jù)與所述替換圖像對(duì)應(yīng)的所述輸入圖像上的區(qū)域的整體亮度，對(duì)所述替換圖像的整體亮度進(jìn)行調(diào)整。
9.一種圖像特效的自動(dòng)生成裝置，其特征在于，該裝置包括存儲(chǔ)單元，用于存儲(chǔ)預(yù)先確定的輸入圖像的至少兩個(gè)特征點(diǎn)，并存儲(chǔ)預(yù)先設(shè)置的替換圖像、該替換圖像的有效像素以及預(yù)先標(biāo)定的與所述輸入圖像的特征點(diǎn)相對(duì)應(yīng)的所述替換圖像的特征點(diǎn)的位置；定位單元，用于對(duì)輸入圖像進(jìn)行特征點(diǎn)定位，確定所述輸入圖像的特征點(diǎn)的位置；對(duì)應(yīng)關(guān)系單元，用于根據(jù)所述輸入圖像的特征點(diǎn)位置和所述替換圖像的特征點(diǎn)位置，通過(guò)仿射變換確定所述替換圖像像素和所述輸入圖像像素的對(duì)應(yīng)關(guān)系；圖像特效實(shí)現(xiàn)單元，用于根據(jù)所述對(duì)應(yīng)關(guān)系，利用所述替換圖像的有效像素點(diǎn)的色彩值替換對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值。
10.如權(quán)利要求9所述的裝置，其特征在于，該裝置還包括設(shè)置單元，用于從待選圖像中分離出需要的圖像，將該圖像作為前景圖像，并為所述前景圖像設(shè)置色彩單一、均勻且與所述前景圖像色彩不同的背景圖像，將所述前景圖像和所述背景圖像構(gòu)成所述替換圖像。
11.如權(quán)利要求10所述的裝置，其特征在于，所述設(shè)置單元，還用于對(duì)所述替換圖像的所有像素，將色彩值與所述背景圖像的色彩值不相同的像素設(shè)置為有效像素。
12.如權(quán)利要求9所述的裝置，其特征在于，所述圖像特效實(shí)現(xiàn)單元包括計(jì)算單元，用于根據(jù)所述對(duì)應(yīng)關(guān)系，計(jì)算與所述輸入圖像的像素點(diǎn)相對(duì)應(yīng)的所述替換圖像的像素點(diǎn)的坐標(biāo)；判斷單元，用于根據(jù)該點(diǎn)坐標(biāo)判斷該點(diǎn)像素是否為所述預(yù)先設(shè)置的有效像素，如果是，則利用該點(diǎn)的色彩值替換與該點(diǎn)對(duì)應(yīng)的所述輸入圖像的像素點(diǎn)的色彩值。
13.如權(quán)利要求9所述的裝置，其特征在于，所述圖像特效實(shí)現(xiàn)單元包括確定范圍單元，用于確定所述替換圖像的有效像素所在的最小外接矩形范圍；實(shí)現(xiàn)單元，用于根據(jù)所述對(duì)應(yīng)關(guān)系，利用所述最小外接矩形范圍內(nèi)的有效像素點(diǎn)的色彩值替換對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值。
14.如權(quán)利要求9所述的裝置，其特征在于，所述圖像特效實(shí)現(xiàn)單元包括變換單元，用于根據(jù)所述對(duì)應(yīng)關(guān)系，將所述替換圖像變換到所述輸入圖像的坐標(biāo)空間；替換單元，用于利用所述變換后的替換圖像的有效像素點(diǎn)的色彩值替換對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值。
15.如權(quán)利要求9所述的裝置，其特征在于，該裝置還包括色彩調(diào)整單元，用于確定所述替換圖像的有效像素和無(wú)效像素之間的相鄰區(qū)域，將與所述相鄰區(qū)域中的每個(gè)點(diǎn)相對(duì)應(yīng)的所述輸入圖像的像素點(diǎn)的色彩值和所述替換圖像上的有效像素的色彩值進(jìn)行加權(quán)平均，并將所述加權(quán)平均后的每個(gè)點(diǎn)的色彩值作為與所述相鄰區(qū)域內(nèi)的像素點(diǎn)對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值。
16.如權(quán)利要求9所述的裝置，其特征在于，該裝置還包括亮度調(diào)整單元，用于根據(jù)與所述替換圖像對(duì)應(yīng)的所述輸入圖像上的區(qū)域的整體亮度，對(duì)所述替換圖像的整體亮度進(jìn)行調(diào)整。
全文摘要
本發(fā)明提供一種圖像特效的自動(dòng)生成方法及裝置，用以解決現(xiàn)有技術(shù)中存在無(wú)法自動(dòng)生成圖像特效的問(wèn)題。本發(fā)明方法，預(yù)先確定輸入圖像的至少兩個(gè)特征點(diǎn)，設(shè)置替換圖像、該替換圖像的有效像素，并標(biāo)定與所述輸入圖像的特征點(diǎn)相對(duì)應(yīng)的所述替換圖像的特征點(diǎn)的位置，該方法包括A.對(duì)輸入圖像進(jìn)行特征點(diǎn)定位，確定所述輸入圖像的特征點(diǎn)的位置；B.根據(jù)所述輸入圖像的特征點(diǎn)位置和所述替換圖像的特征點(diǎn)位置，通過(guò)仿射變換確定所述替換圖像像素和所述輸入圖像像素的對(duì)應(yīng)關(guān)系；C.根據(jù)所述對(duì)應(yīng)關(guān)系，利用所述替換圖像的有效像素點(diǎn)的色彩值替換對(duì)應(yīng)的所述輸入圖像上的像素點(diǎn)的色彩值。本發(fā)明還公開(kāi)了一種圖像特效的自動(dòng)生成裝置。
文檔編號(hào)H04N5/262GK101072289SQ20071011880
公開(kāi)日2007年11月14日 申請(qǐng)日期2007年6月11日 優(yōu)先權(quán)日2007年6月11日
發(fā)明者鄧亞峰 申請(qǐng)人:北京中星微電子有限公司