全景圖像的生成方法和裝置的制造方法
【專利摘要】本發(fā)明提供一種全景圖像的生成方法和裝置，通過(guò)獲取變形圖像和基準(zhǔn)圖像的重疊區(qū)域的第一類邊緣種子點(diǎn)和第二類邊緣種子點(diǎn)，以第二類邊緣種子點(diǎn)所形成的圖像的上邊緣上任選一個(gè)像素點(diǎn)作為待選縫合線的起點(diǎn)，以第一類邊緣種子點(diǎn)所形成的圖像的下邊緣上任選一個(gè)像素點(diǎn)作為待選縫合線的終點(diǎn)，每條待選縫合線從起點(diǎn)開(kāi)始連續(xù)的穿過(guò)重疊區(qū)域到終點(diǎn)，遍歷所有可能的待選縫合線，確定待選縫合線中權(quán)值最小的待選縫合線作為最優(yōu)縫合線，所確定的最優(yōu)縫合線更加合理，從而，可以減小人物變形、拼接錯(cuò)位、拼接痕跡明顯等問(wèn)題，提高生成的全景圖像的效果。
【專利說(shuō)明】
全景圖像的生成方法和裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明實(shí)施例涉及圖像處理技術(shù)，尤其涉及一種全景圖像的生成方法和裝置。
【背景技術(shù)】
[0002]隨著科學(xué)技術(shù)的飛速發(fā)展，電子設(shè)備的功能也越來(lái)越多，例如:手機(jī)上的相機(jī)可以提供全景拍照功能。
[0003]人們外出旅游時(shí)，遇到風(fēng)景優(yōu)美的山川、草原、湖泊、花海或者宏偉壯觀的建筑物、廣場(chǎng)之類的大場(chǎng)景，相機(jī)或者手機(jī)的鏡頭往往不足以將完整的場(chǎng)景拍攝下來(lái)，此時(shí)，運(yùn)用全景技術(shù)將拍攝的多張窄視角的圖像拼接生成一張全景圖像?，F(xiàn)有技術(shù)中，利用開(kāi)放源代碼計(jì)算機(jī)視覺(jué)類庫(kù)“Opencv”中拼接模塊對(duì)拍攝的不同視角的圖像進(jìn)行拼接時(shí)，采用圖像配準(zhǔn)方法(加速穩(wěn)健特征(Speeded Up Robust Features，簡(jiǎn)稱:SURF)或尺度不變特征變換(Scale-1nvariant feature transform，簡(jiǎn)稱:SIFT))和融合方法。
[0004]然而，采用現(xiàn)有技術(shù)中的方法生成的全景圖像，容易出現(xiàn)人物變形，拼接錯(cuò)位、拼接痕跡明顯等現(xiàn)象，生成的全景圖像效果不佳。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實(shí)施例提供一種全景圖像的生成方法和裝置，以減小人物變形、拼接錯(cuò)位、拼接痕跡明顯等問(wèn)題，提高生成的全景圖像的效果。
[0006]本發(fā)明實(shí)施例第一方面提供一種全景圖像的生成方法，包括:
[0007]獲取變形圖像和基準(zhǔn)圖像的重疊區(qū)域，其中，變形圖形是將待配準(zhǔn)圖像根據(jù)單應(yīng)性矩陣幾何變形后得到的；
[0008]獲取到變形圖像和基準(zhǔn)圖像的重疊區(qū)域之后，獲取重疊區(qū)域的邊緣種子點(diǎn)，其中，邊緣種子點(diǎn)包括第一類邊緣種子點(diǎn)和第二類邊緣種子點(diǎn)，其中，第一類邊緣種子點(diǎn)的一側(cè)的像素點(diǎn)屬于重疊區(qū)域，另一側(cè)的像素點(diǎn)屬于所述基準(zhǔn)圖像，第二類邊緣種子點(diǎn)的一側(cè)的像素點(diǎn)屬于重疊區(qū)域，另一側(cè)的像素點(diǎn)屬于變形圖像；
[0009]以第二類邊緣種子點(diǎn)所形成的圖像的上邊緣上任選一個(gè)像素點(diǎn)作為待選縫合線的起點(diǎn)，以第一類邊緣種子點(diǎn)所形成的圖像的下邊緣上任選一個(gè)像素點(diǎn)作為待選縫合線的終點(diǎn)，每條待選縫合線從起點(diǎn)開(kāi)始連續(xù)的穿過(guò)重疊區(qū)域到終點(diǎn)，遍歷所有可能的待選縫合線，確定待選縫合線中權(quán)值最小的待選縫合線作為最優(yōu)縫合線，每條待選縫合線的權(quán)值為所述待選縫合線所切割M條邊的權(quán)值的和，每條邊連接兩個(gè)相鄰的像素點(diǎn)，所述N為大于等于2的整數(shù)，所述M為大于等于2的整數(shù)；
[0010]根據(jù)所述最優(yōu)縫合線，生成全景圖像。
[0011]在一種可能的設(shè)計(jì)中，所述確定最優(yōu)縫合線之前，還包括:
[0012]獲取所述重疊區(qū)域相鄰的兩個(gè)像素點(diǎn)之間的邊的初始權(quán)值，其中，所述初始權(quán)值為:
[0013]max(|rl-rl，|，|gl-gl，|，|bl-bl，|)+max(|r2~r2，|，|g2_g2，|，|b2~b2，|)
[0014]其中，(rl，gl，bl)和(rr，gl’，br)為所述相鄰的兩個(gè)像素點(diǎn)中的一個(gè)像素點(diǎn)分別在所述變形圖像和所述基準(zhǔn)圖像中的紅綠藍(lán)1?8值，&2^2々2)和(^’^2’々2’)為所述相鄰的兩個(gè)像素點(diǎn)中另一個(gè)像素點(diǎn)分別在所述變形圖像和所述基準(zhǔn)圖像中的RGB值；
[0015]采用logistic函數(shù)對(duì)所述初始權(quán)值進(jìn)行放大，得到每個(gè)初始權(quán)值對(duì)應(yīng)的權(quán)值。
[0016]在一種可能的設(shè)計(jì)中，還包括:
[0017]獲取所述重疊區(qū)域的人臉?lè)N子點(diǎn)，所述人臉?lè)N子點(diǎn)用于標(biāo)記所述重疊區(qū)域內(nèi)人臉區(qū)域的像素點(diǎn)的來(lái)源，所述來(lái)源為所述變形圖像或所述基準(zhǔn)圖像；
[0018]其中，所述每條待選縫合線從所述起點(diǎn)開(kāi)始連續(xù)的穿過(guò)所述重疊區(qū)域的非種子點(diǎn)之間的邊到所述終點(diǎn)，所述非種子點(diǎn)為所述重疊區(qū)域中除所述第一類邊緣種子點(diǎn)、所述第二類邊緣種子點(diǎn)和所述人臉?lè)N子點(diǎn)之外的像素點(diǎn)。
[0019]在一種可能的設(shè)計(jì)中，所述獲取變形圖像和基準(zhǔn)圖像的重疊區(qū)域，包括:
[0020]獲取待配準(zhǔn)圖像或基準(zhǔn)圖像的人物區(qū)域的像素點(diǎn)；
[0021 ]獲取所述待配準(zhǔn)圖像和所述基準(zhǔn)圖像中除所述人物區(qū)域的像素點(diǎn)之外的特征點(diǎn)；
[0022]對(duì)所述特征點(diǎn)進(jìn)行匹配，獲得R組匹配特征點(diǎn)對(duì)，其中，所述R為大于等于預(yù)設(shè)閾值的整數(shù)；
[0023]根據(jù)所述R組匹配特征點(diǎn)對(duì)，估計(jì)所述待配準(zhǔn)圖像幾何變形的單應(yīng)性矩陣；
[0024]根據(jù)所述單應(yīng)性矩陣獲取所述待配準(zhǔn)圖像對(duì)應(yīng)的變形圖像；
[0025]根據(jù)所述單應(yīng)性矩陣獲取所述變形圖像和所述基準(zhǔn)圖像的重疊區(qū)域。
[0026]在一種可能的設(shè)計(jì)中，所述根據(jù)所述單應(yīng)性矩陣獲取所述變形圖像和所述基準(zhǔn)圖像的重疊區(qū)域之后，還包括:
[0027]以所述重疊區(qū)域中所述基準(zhǔn)圖像的像素點(diǎn)作為樣本點(diǎn)，估計(jì)所述變形圖像相對(duì)于所述基準(zhǔn)圖像的曝光差異函數(shù)；
[0028]根據(jù)所述曝光差異函數(shù)對(duì)所述變形圖像進(jìn)行亮度調(diào)整。
[0029]在一種可能的設(shè)計(jì)中，所述獲取待配準(zhǔn)圖像或基準(zhǔn)圖像的人物區(qū)域的像素點(diǎn)之前，還包括:
[0030]通過(guò)采樣的方式縮小所述待配準(zhǔn)圖像和所述基準(zhǔn)圖像的尺寸，通過(guò)縮小待配準(zhǔn)圖像和基準(zhǔn)圖像的尺寸，可以提尚計(jì)算效率。
[0031 ]所述根據(jù)所述最優(yōu)縫合線，生成全景圖像，包括:
[0032]采用所述單應(yīng)性矩陣、所述曝光差異函數(shù)和所述最優(yōu)縫合線對(duì)所述待配準(zhǔn)圖像的原始圖像和所述基準(zhǔn)圖像的原始圖像進(jìn)行處理，生成全景圖像。
[0033]在一種可能的設(shè)計(jì)中，所述預(yù)設(shè)閾值為16。
[0034]本發(fā)明實(shí)施例第二方面提供一種全景圖像的生成裝置，包括:
[0035]配準(zhǔn)模塊，用于獲取變形圖像和基準(zhǔn)圖像的重疊區(qū)域；
[0036]融合模塊，用于所述重疊區(qū)域的第一類邊緣種子點(diǎn)和第二類邊緣種子點(diǎn)，其中，所述第一類邊緣種子點(diǎn)的一側(cè)的像素點(diǎn)屬于所述重疊區(qū)域，另一側(cè)的像素點(diǎn)屬于所述基準(zhǔn)圖像，所述第二類邊緣種子點(diǎn)的一側(cè)的像素點(diǎn)屬于所述重疊區(qū)域，另一側(cè)的像素點(diǎn)屬于所述變形圖像；
[0037]所述融合模塊還用于確定最優(yōu)縫合線，所述最優(yōu)縫合線為N條待選縫合線中權(quán)值最小的待選縫合線，其中，每條待選縫合線的起點(diǎn)為從所述第二類邊緣種子點(diǎn)所形成的圖形的上邊緣上任選的一個(gè)像素點(diǎn)，每條待選縫合線的終點(diǎn)為從所述第一類邊緣種子點(diǎn)所形成的圖形的下邊緣上任選的一個(gè)像素點(diǎn)，所述每條待選縫合線從所述起點(diǎn)開(kāi)始連續(xù)的穿過(guò)所述重疊區(qū)域到所述終點(diǎn)，每條待選縫合線的權(quán)值為所述待選縫合線所切割M條邊的權(quán)值的和，每條邊連接兩個(gè)相鄰的像素點(diǎn)，所述N為大于等于2的整數(shù)，所述M為大于等于2的整數(shù)；
[0038]所述融合模塊還用于根據(jù)所述最優(yōu)縫合線，生成全景圖像。
[0039]在一種可能的設(shè)計(jì)中，所述融合模塊還用于獲取所述重疊區(qū)域相鄰的兩個(gè)像素點(diǎn)之間的邊的初始權(quán)值，其中，所述初始權(quán)值為:
[0040]max(|rl-rl，|，|gl-gl，|，|bl-bl，|)+max(|r2~r2，|，|g2_g2，|，|b2~b2，|)
[0041]其中，(rl，gl，bl)和(rr，gl’，br)為所述相鄰的兩個(gè)像素點(diǎn)中的一個(gè)像素點(diǎn)分別在所述變形圖像和所述基準(zhǔn)圖像中的紅綠藍(lán)1?8值，&2^2々2)和(^’^2’々2’)為所述相鄰的兩個(gè)像素點(diǎn)中另一個(gè)像素點(diǎn)分別在所述變形圖像和所述基準(zhǔn)圖像中的RGB值；
[0042]所述融合模塊還用于采用logistic函數(shù)對(duì)所述初始權(quán)值進(jìn)行放大，得到每個(gè)初始權(quán)值對(duì)應(yīng)的權(quán)值。
[0043]在一種可能的設(shè)計(jì)中，所述融合模塊還用于獲取所述重疊區(qū)域的人臉?lè)N子點(diǎn)，所述人臉?lè)N子點(diǎn)用于標(biāo)記所述重疊區(qū)域內(nèi)人臉區(qū)域的像素點(diǎn)的來(lái)源，所述來(lái)源為所述變形圖像或所述基準(zhǔn)圖像；
[0044]其中，所述每條待選縫合線從所述起點(diǎn)開(kāi)始連續(xù)的穿過(guò)所述重疊區(qū)域的非種子點(diǎn)之間的邊到所述終點(diǎn)，所述非種子點(diǎn)為所述重疊區(qū)域中除所述第一類邊緣種子點(diǎn)、所述第二類邊緣種子點(diǎn)和所述人臉?lè)N子點(diǎn)之外的像素點(diǎn)。
[0045]在一種可能的設(shè)計(jì)中，所述配準(zhǔn)模塊具體用于獲取待配準(zhǔn)圖像或基準(zhǔn)圖像的人物區(qū)域的像素點(diǎn)；獲取所述待配準(zhǔn)圖像和所述基準(zhǔn)圖像中除所述人物區(qū)域的像素點(diǎn)之外的特征點(diǎn)；對(duì)所述特征點(diǎn)進(jìn)行匹配，獲得R組匹配特征點(diǎn)對(duì)，其中，所述R為大于等于預(yù)設(shè)閾值的整數(shù);根據(jù)所述R組匹配特征點(diǎn)對(duì)，估計(jì)所述待配準(zhǔn)圖像幾何變形的單應(yīng)性矩陣;根據(jù)所述單應(yīng)性矩陣獲取所述待配準(zhǔn)圖像對(duì)應(yīng)的變形圖像;根據(jù)所述單應(yīng)性矩陣獲取所述變形圖像和所述基準(zhǔn)圖像的重疊區(qū)域。
[0046]在一種可能的設(shè)計(jì)中，所述配準(zhǔn)模塊還用于以所述重疊區(qū)域中所述基準(zhǔn)圖像的像素點(diǎn)作為樣本點(diǎn)，估計(jì)所述變形圖像相對(duì)于所述基準(zhǔn)圖像的曝光差異函數(shù);根據(jù)所述曝光差異函數(shù)對(duì)所述變形圖像進(jìn)行亮度調(diào)整。
[0047]在一種可能的設(shè)計(jì)中，還包括:
[0048]前處理模塊，用于通過(guò)采樣的方式縮小所述待配準(zhǔn)圖像和所述基準(zhǔn)圖像的尺寸。
[0049]所述融合模塊具體用于采用所述單應(yīng)性矩陣、所述曝光差異函數(shù)和所述最優(yōu)縫合線對(duì)所述待配準(zhǔn)圖像的原始圖像和所述基準(zhǔn)圖像的原始圖像進(jìn)行處理，生成全景圖像。
[0050]在一種可能的設(shè)計(jì)中，所述預(yù)設(shè)閾值為16。
[0051]本發(fā)明實(shí)施例第三方面提供一種全景圖像的生成裝置，包括:
[0052]通信接口、存儲(chǔ)器、處理器、通信總線和攝像頭，其中，所述通信接口、所述存儲(chǔ)器和所述處理器和所述攝像頭通過(guò)所述通信總線通信；
[0053]所述攝像頭用于獲取基準(zhǔn)圖像和待配準(zhǔn)圖像；
[0054]所述存儲(chǔ)器用于存放程序，所述處理器用于執(zhí)行所述存儲(chǔ)器存儲(chǔ)的程序;所述程序用于執(zhí)行以下步驟:
[0055]獲取變形圖像和基準(zhǔn)圖像的重疊區(qū)域；
[0056]獲取所述重疊區(qū)域的第一類邊緣種子點(diǎn)和第二類邊緣種子點(diǎn)，其中，所述第一類邊緣種子點(diǎn)的一側(cè)的像素點(diǎn)屬于所述重疊區(qū)域，另一側(cè)的像素點(diǎn)屬于所述基準(zhǔn)圖像，所述第二類邊緣種子點(diǎn)的一側(cè)的像素點(diǎn)屬于所述重疊區(qū)域，另一側(cè)的像素點(diǎn)屬于所述變形圖像；
[0057]確定最優(yōu)縫合線，所述最優(yōu)縫合線為N條待選縫合線中權(quán)值最小的待選縫合線，其中，每條待選縫合線的起點(diǎn)為從所述第二類邊緣種子點(diǎn)所形成的圖形的上邊緣上任選的一個(gè)像素點(diǎn)，每條待選縫合線的終點(diǎn)為從所述第一類邊緣種子點(diǎn)所形成的圖形的下邊緣上任選的一個(gè)像素點(diǎn)，所述每條待選縫合線從所述起點(diǎn)開(kāi)始連續(xù)的穿過(guò)所述重疊區(qū)域到所述終點(diǎn)，每條待選縫合線的權(quán)值為所述待選縫合線所切割M條邊的權(quán)值的和，每條邊連接兩個(gè)相鄰的像素點(diǎn)，所述N為大于等于2的整數(shù)，所述M為大于等于2的整數(shù)；
[0058]根據(jù)所述最優(yōu)縫合線，生成全景圖像。
[0059]本發(fā)明提供的全景圖像的生成方法和裝置，通過(guò)獲取變形圖像和基準(zhǔn)圖像的重疊區(qū)域的第一類邊緣種子點(diǎn)和第二類邊緣種子點(diǎn)，以第二類邊緣種子點(diǎn)所形成的圖像的上邊緣上任選一個(gè)像素點(diǎn)作為待選縫合線的起點(diǎn)，以第一類邊緣種子點(diǎn)所形成的圖像的下邊緣上任選一個(gè)像素點(diǎn)作為待選縫合線的終點(diǎn)，每條待選縫合線從起點(diǎn)開(kāi)始連續(xù)的穿過(guò)重疊區(qū)域到終點(diǎn)，遍歷所有可能的待選縫合線，確定待選縫合線中權(quán)值最小的待選縫合線作為最優(yōu)縫合線，由于每條待選縫合線的起點(diǎn)和終點(diǎn)不固定，起點(diǎn)可以是第二類邊緣種子點(diǎn)所形成的圖像的上邊緣上任意一個(gè)像素點(diǎn)，終點(diǎn)可以是第一類邊緣種子點(diǎn)所形成的圖像的下邊緣上任意一個(gè)像素點(diǎn)，因此，最優(yōu)縫合線的選擇更加靈活，從而，所確定的最優(yōu)縫合線更加合理，從而，可以減小人物變形、拼接錯(cuò)位、拼接痕跡明顯等問(wèn)題，提高生成的全景圖像的效果O
【附圖說(shuō)明】
[0060]為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0061 ]圖1為本發(fā)明實(shí)施例電子設(shè)備的硬件結(jié)構(gòu)示意圖；
[0062]圖2為本發(fā)明實(shí)施例預(yù)處理過(guò)程的流程示意圖；
[0063]圖3為本發(fā)明實(shí)施例配準(zhǔn)處理的流程示意圖；
[0064]圖4a為本發(fā)明實(shí)施例檢測(cè)人臉區(qū)域的示意圖；
[0065]圖4b為本發(fā)明實(shí)施例識(shí)別人物區(qū)域的示意圖；
[0066]圖5為本發(fā)明實(shí)施例特征點(diǎn)匹配的效果一示意圖；
[0067]圖6是對(duì)圖5中的特征點(diǎn)對(duì)進(jìn)行甄別并剔除后的效果示意圖；
[0068]圖7為本發(fā)明實(shí)施例的變形圖像和基準(zhǔn)圖像示意圖；
[0069]圖8為本發(fā)明全景圖像的生成方法實(shí)施例的流程示意圖；
[0070]圖9為本發(fā)明實(shí)施例種子點(diǎn)標(biāo)記的示意圖；[0071 ]圖10為本發(fā)明實(shí)施例的logistic函數(shù)的示意圖；
[0072]圖11為本發(fā)明實(shí)施例生成的全景圖像的效果示意圖；
[0073]圖12為本發(fā)明全景圖像的生成裝置實(shí)施例的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0074]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0075]本發(fā)明的說(shuō)明書(shū)和權(quán)利要求書(shū)及上述附圖中的術(shù)語(yǔ)“第一”、“第二”、“第三”“第四”等(如果存在)是用于區(qū)別類似的對(duì)象，而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換，以便這里描述的本發(fā)明的實(shí)施例例如能夠以除了在這里圖示或描述的那些以外的順序?qū)嵤?。此外，術(shù)語(yǔ)“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟或單元的過(guò)程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元，而是可包括沒(méi)有清楚地列出的或?qū)τ谶@些過(guò)程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。
[0076]本發(fā)明實(shí)施例的技術(shù)方案可應(yīng)用于電子設(shè)備，例如:手機(jī)、平板、相機(jī)或其他帶有攝像頭的電子設(shè)備等，對(duì)此本發(fā)明不作限制，本發(fā)明實(shí)施例的電子設(shè)備的硬件結(jié)構(gòu)如圖1所示，圖1為本發(fā)明實(shí)施例電子設(shè)備的硬件結(jié)構(gòu)示意圖，本實(shí)施例的電子設(shè)備中包含主板，主板上安裝有通信接口 101、存儲(chǔ)器102、處理器103、通信總線104和攝像頭105，其中，通信接口 101、存儲(chǔ)器102、處理器103和攝像頭105通過(guò)通信總線104進(jìn)行通信，通過(guò)攝像頭獲取生成全景圖像所需的原始照片，包括:基準(zhǔn)圖像和待配準(zhǔn)圖像，通過(guò)處理器對(duì)基準(zhǔn)圖像和待配準(zhǔn)圖像進(jìn)行處理，通過(guò)存儲(chǔ)器存儲(chǔ)基準(zhǔn)圖像和待配準(zhǔn)圖像以及處理器處理過(guò)程中產(chǎn)生的中間過(guò)程的圖像以及得到的一些處理數(shù)據(jù)等。
[0077]本發(fā)明通過(guò)獲取變形圖像和基準(zhǔn)圖像的重疊區(qū)域的第一類邊緣種子點(diǎn)和第二類邊緣種子點(diǎn)，以第二類邊緣種子點(diǎn)所形成的圖像的上邊緣上任選一個(gè)像素點(diǎn)作為待選縫合線的起點(diǎn)，以第一類邊緣種子點(diǎn)所形成的圖像的下邊緣上任選一個(gè)像素點(diǎn)作為待選縫合線的終點(diǎn)，每條待選縫合線從起點(diǎn)開(kāi)始連續(xù)的穿過(guò)重疊區(qū)域到終點(diǎn)，遍歷所有可能的待選縫合線，確定待選縫合線中權(quán)值最小的待選縫合線作為最優(yōu)縫合線，由于每條待選縫合線的起點(diǎn)和終點(diǎn)不固定，起點(diǎn)可以是第二類邊緣種子點(diǎn)所形成的圖像的上邊緣上任意一個(gè)像素點(diǎn)，終點(diǎn)可以是第一類邊緣種子點(diǎn)所形成的圖像的下邊緣上任意一個(gè)像素點(diǎn)，因此，最優(yōu)縫合線的選擇更加靈活，從而，所確定的最優(yōu)縫合線更加合理，從而，可以減小人物變形、拼接錯(cuò)位、拼接痕跡明顯等問(wèn)題，提高生成的全景圖像的效果。
[0078]下面以具體地實(shí)施例對(duì)本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)說(shuō)明。下面這幾個(gè)具體的實(shí)施例可以相互結(jié)合，對(duì)于相同或相似的概念或過(guò)程可能在某些實(shí)施例不再贅述。
[0079]當(dāng)用戶需要拍攝全景圖像時(shí)，通常會(huì)通過(guò)攝像頭獲取到S張從不同角度拍攝的原始照片，其中，S為大于等于2的整數(shù)，本發(fā)明下述各實(shí)施例以S = 3為例進(jìn)行描述，S取其他值時(shí)，其生成全景圖像的方法類似，本發(fā)明將不再贅述。
[0080]通過(guò)攝像頭獲取到3張圖像之后，可進(jìn)行如下預(yù)處理:基準(zhǔn)標(biāo)注和尺寸調(diào)整，如圖2所示，圖2為本發(fā)明實(shí)施例預(yù)處理過(guò)程的流程示意圖:
[0081]其中，基準(zhǔn)標(biāo)注:根據(jù)拍攝的順序，將居中的圖像標(biāo)注為基準(zhǔn)圖像，其他兩張圖像作為待配準(zhǔn)圖像，待配準(zhǔn)圖像以基準(zhǔn)圖像為基準(zhǔn)進(jìn)行配準(zhǔn)。
[0082]尺寸調(diào)整:尺寸調(diào)整為可選步驟，通過(guò)采樣的方式縮小待配準(zhǔn)圖像和基準(zhǔn)圖像的尺寸，以降低計(jì)算量，提高生成全景圖像的效率。
[0083]如果進(jìn)行尺寸調(diào)整，預(yù)處理過(guò)程輸出尺寸調(diào)整后的兩張待配準(zhǔn)圖像和基準(zhǔn)圖像；如果未進(jìn)行尺寸調(diào)整，預(yù)處理過(guò)程輸出原始尺寸的兩張待配準(zhǔn)圖像和基準(zhǔn)圖像。
[0084]本發(fā)明下述各實(shí)施例以預(yù)處理過(guò)程進(jìn)行了尺寸調(diào)整為例進(jìn)行描述。
[0085]通過(guò)圖2的預(yù)處理流程確定基準(zhǔn)圖像和待配準(zhǔn)圖像之后，可進(jìn)行配準(zhǔn)處理，圖像配準(zhǔn)是對(duì)共享部分場(chǎng)景的兩張圖像建立某種幾何對(duì)應(yīng)關(guān)系，并對(duì)待配準(zhǔn)圖像進(jìn)行相應(yīng)的幾何變形，使變形后的待配準(zhǔn)圖像與基準(zhǔn)圖像之間的公共部分對(duì)準(zhǔn)。圖像配準(zhǔn)包括:基于像素點(diǎn)的配準(zhǔn)和基于特征點(diǎn)的配準(zhǔn)，其中，基于特征點(diǎn)的配準(zhǔn)對(duì)于視角差異很大、對(duì)比度或內(nèi)容變化很大的圖像配準(zhǔn)問(wèn)題具有很高的魯棒性。本發(fā)明以基于特征點(diǎn)配準(zhǔn)為例進(jìn)行描述，配準(zhǔn)處理的流程示意圖如圖3所示，通過(guò)配準(zhǔn)處理之后，得到待配準(zhǔn)圖像進(jìn)行幾何變形的單應(yīng)性矩陣，使得根據(jù)單應(yīng)性矩陣幾何變形后的待配準(zhǔn)圖像與基準(zhǔn)圖像在重疊區(qū)域內(nèi)達(dá)到景物區(qū)域的配準(zhǔn);將每張待配準(zhǔn)圖像采用相同的方法與基準(zhǔn)圖像進(jìn)行配準(zhǔn)，具體如圖3所示:
[0086]S301:輸入待配準(zhǔn)圖像和基準(zhǔn)圖像。
[0087]其中，待配準(zhǔn)圖像和基準(zhǔn)圖像為圖2中預(yù)處理流程標(biāo)記的結(jié)果。
[0088]S302:獲取待配準(zhǔn)圖像或基準(zhǔn)圖像的人物區(qū)域的像素點(diǎn)。
[0089]人物區(qū)域識(shí)別的一種可能的實(shí)現(xiàn)方式如下:
[0090]通過(guò)人臉檢測(cè)技術(shù)檢測(cè)待配準(zhǔn)圖像或基準(zhǔn)圖像的人臉區(qū)域，只要識(shí)別其中一幅圖像即可。如圖4a所示，圖4a為本發(fā)明實(shí)施例檢測(cè)人臉區(qū)域的示意圖；
[0091]根據(jù)返回的人臉區(qū)域坐標(biāo)估計(jì)人物的其他區(qū)域的位置，首先，將圖4a中作圖中的矩形框區(qū)域的寬度左右各縮小I/16，高度上下各擴(kuò)大I/8，以獲得人臉區(qū)域更精確的識(shí)別，其中，寬度和高度的調(diào)整值為經(jīng)驗(yàn)值，也可以是其他數(shù)值，本發(fā)明對(duì)此不作限制，只要最終能夠識(shí)別到完整的人臉區(qū)域即可;然后，選擇肩膀區(qū)域左上角的橫坐標(biāo)為人臉區(qū)域左上角橫坐標(biāo)向左平移原人臉寬度的3/4，肩膀區(qū)域左上角縱坐標(biāo)向下平移原人臉高度的1.25倍，肩膀區(qū)域的寬度對(duì)稱選取，即肩膀區(qū)域的總寬度為原人臉區(qū)域?qū)挾鹊?.5倍，肩膀區(qū)域的高度延伸到圖像的下邊緣，識(shí)別結(jié)果如圖4b所示，圖4b通過(guò)遮擋的方式標(biāo)記識(shí)別到的人物區(qū)域，圖4b為本發(fā)明實(shí)施例識(shí)別人物區(qū)域的示意圖，也可以不通過(guò)遮擋的方式標(biāo)記識(shí)別到的人物區(qū)域，例如，通過(guò)勾勒輪廓等，只要能夠區(qū)別出人物區(qū)域和景物區(qū)域即可，對(duì)此，本發(fā)明不作限制。
[0092]S303:獲取待配準(zhǔn)圖像和基準(zhǔn)圖像中除人物區(qū)域的像素點(diǎn)之外的特征點(diǎn)。
[0093]分別檢測(cè)待配準(zhǔn)圖像和基準(zhǔn)圖像的特征點(diǎn)，在檢測(cè)特征點(diǎn)時(shí)，剔除識(shí)別到的人物區(qū)域的像素點(diǎn)。
[0094]S304:對(duì)特征點(diǎn)進(jìn)行匹配，獲得R組匹配特征點(diǎn)對(duì)。
[0095]特征點(diǎn)的匹配是將相同的特征點(diǎn)進(jìn)行配對(duì)，如圖5所示，圖5為本發(fā)明實(shí)施例特征點(diǎn)匹配的效果一示意圖；其中，連線的兩個(gè)點(diǎn)表示得到的匹配特征點(diǎn)對(duì)。
[0096]可選地，得到的匹配特征點(diǎn)對(duì)可能存在錯(cuò)誤匹配的特征點(diǎn)對(duì)或者無(wú)效的匹配特征點(diǎn)對(duì)(如人物區(qū)域的特征點(diǎn)對(duì))，則需要采取一些方法(例如:RANSAC)將錯(cuò)誤匹配的特征點(diǎn)對(duì)或無(wú)效的匹配特征點(diǎn)對(duì)甄別并剔除，如圖6所示，圖6是對(duì)圖5中的特征點(diǎn)對(duì)進(jìn)行甄別并剔除后的效果不意圖。
[0097]其中，R為大于等于預(yù)設(shè)閾值的整數(shù)。預(yù)設(shè)閾值因所采用的方法不同，大小不同，采用隨機(jī)抽樣一致(RANdom SAmple Consensus，簡(jiǎn)稱:RANSAC)算法時(shí)，預(yù)設(shè)閾值通常取16 ；即最終的匹配特征點(diǎn)對(duì)大于等于16對(duì)。
[0098]當(dāng)最終獲得的匹配特征點(diǎn)對(duì)個(gè)數(shù)小于預(yù)設(shè)閾值時(shí)，則需要增加一些人物區(qū)域的匹配特征點(diǎn)對(duì)，使得有足夠的匹配特征點(diǎn)對(duì)。
[0099]S305:根據(jù)R組匹配特征點(diǎn)對(duì)，估計(jì)待配準(zhǔn)圖像幾何變形的單應(yīng)性矩陣。
[0100]S306:根據(jù)單應(yīng)性矩陣獲取待配準(zhǔn)圖像對(duì)應(yīng)的變形圖像。
[0101]其中，變形圖像和基準(zhǔn)圖像在重疊區(qū)域內(nèi)，達(dá)到景物區(qū)域的配準(zhǔn)，如圖7所示，圖7為本發(fā)明實(shí)施例的變形圖像和基準(zhǔn)圖像示意圖，其中，左圖為變形圖像，右圖為基準(zhǔn)圖像。
[0102]S307:根據(jù)單應(yīng)性矩陣獲取變形圖像和基準(zhǔn)圖像的重疊區(qū)域。
[0103]S308:以重疊區(qū)域中基準(zhǔn)圖像的像素點(diǎn)作為樣本點(diǎn)，估計(jì)變形圖像相對(duì)于基準(zhǔn)圖像的曝光差異函數(shù)。
[0104]S309:根據(jù)曝光差異函數(shù)對(duì)變形圖像進(jìn)行亮度調(diào)整。
[0105]在上述實(shí)施例中，通過(guò)識(shí)別人物區(qū)域，分離人物區(qū)域和景物區(qū)域，對(duì)景物區(qū)域進(jìn)行配準(zhǔn)，從而，使景物區(qū)域能夠達(dá)到更精確的配準(zhǔn)。并根據(jù)單應(yīng)性矩陣獲取變形圖像和基準(zhǔn)圖像的重疊區(qū)域，以重疊區(qū)域中基準(zhǔn)圖像的像素點(diǎn)作為樣本點(diǎn)，估計(jì)變形圖像相對(duì)于基準(zhǔn)圖像的曝光差異函數(shù)，根據(jù)曝光差異函數(shù)對(duì)變形圖像進(jìn)行亮度調(diào)整。
[0106]圖8為本發(fā)明全景圖像的生成方法實(shí)施例的流程示意圖，本實(shí)施例的方法如下:
[0107]S801:獲取變形圖像和基準(zhǔn)圖像的重疊區(qū)域。
[0108]變形圖形是將待配準(zhǔn)圖像根據(jù)單應(yīng)性矩陣幾何變形后得到的。
[0109]根據(jù)單應(yīng)性矩陣即可獲取到變形圖像和基準(zhǔn)圖像的重疊區(qū)域。
[0110]S802:獲取重疊區(qū)域的第一類邊緣種子點(diǎn)和第二類邊緣種子點(diǎn)。
[0111]其中，第一類邊緣種子點(diǎn)的一側(cè)的像素點(diǎn)屬于所述重疊區(qū)域，另一側(cè)的像素點(diǎn)屬于所述基準(zhǔn)圖像，所述第二類邊緣種子點(diǎn)的一側(cè)的像素點(diǎn)屬于所述重疊區(qū)域，另一側(cè)的像素點(diǎn)屬于所述變形圖像。如圖9所示，其中，901上的點(diǎn)為第一類邊緣種子點(diǎn)，902上的點(diǎn)為第二類邊緣種子點(diǎn)。
[0112]S803:確定最優(yōu)縫合線。
[0113]將第一類邊緣種子點(diǎn)和第二類邊緣種子點(diǎn)的端權(quán)值(terminal weight)、非種子點(diǎn)的之間的邊權(quán)值(edge weight)代入圖割算法，得到變形圖像和基準(zhǔn)圖像在重疊區(qū)域內(nèi)的所有像素點(diǎn)的二值標(biāo)簽。
[0114]標(biāo)簽為O的像素點(diǎn)和第一類邊緣種子點(diǎn)取自基準(zhǔn)圖像；
[0115]標(biāo)簽為I的像素點(diǎn)和第二類邊緣種子點(diǎn)取自變形圖像。
[0116]所述最優(yōu)縫合線為N條待選縫合線中權(quán)值最小的待選縫合線，其中，每條待選縫合線的起點(diǎn)為從所述第二類邊緣種子點(diǎn)所形成的圖形的上邊緣上任選的一個(gè)像素點(diǎn)，每條待選縫合線的終點(diǎn)為從所述第一類邊緣種子點(diǎn)所形成的圖形的下邊緣上任選的一個(gè)像素點(diǎn)，所述每條待選縫合線從所述起點(diǎn)開(kāi)始連續(xù)的穿過(guò)所述重疊區(qū)域到所述終點(diǎn)，每條待選縫合線的權(quán)值為所述待選縫合線所切割M條邊的權(quán)值的和，每條邊連接兩個(gè)相鄰的像素點(diǎn)，所述N為大于等于2的整數(shù)，所述M為大于等于2的整數(shù)。
[0117]即:以第二類邊緣種子點(diǎn)所形成的圖像的上邊緣上任選一個(gè)像素點(diǎn)作為待選縫合線的起點(diǎn)，以第一類邊緣種子點(diǎn)所形成的圖像的下邊緣上任選一個(gè)像素點(diǎn)作為待選縫合線的終點(diǎn)，每條待選縫合線從起點(diǎn)開(kāi)始連續(xù)的穿過(guò)重疊區(qū)域到終點(diǎn)，遍歷所有可能的待選縫合線，確定待選縫合線中權(quán)值最小的待選縫合線作為最優(yōu)縫合線，每條待選縫合線的權(quán)值為所述待選縫合線所切割M條邊的權(quán)值的和，每條邊連接兩個(gè)相鄰的像素點(diǎn)。
[0118]S804:根據(jù)最優(yōu)縫合線，生成全景圖像。
[0119]若在預(yù)處理模塊中通過(guò)采樣的方式縮小待配準(zhǔn)圖像和基準(zhǔn)圖像的尺寸，則需要將通過(guò)上述步驟得到的單應(yīng)性矩陣、曝光差異函數(shù)和最優(yōu)縫合線對(duì)所述待配準(zhǔn)圖像的原始圖像和所述基準(zhǔn)圖像的原始圖像進(jìn)行處理;對(duì)處理后的圖像應(yīng)用柱面投影，減輕物體的畸變，計(jì)算柱面投影圖像的最大內(nèi)接矩陣，裁剪后生成全景圖像。
[0120]本實(shí)施例，通過(guò)獲取變形圖像和基準(zhǔn)圖像的重疊區(qū)域的第一類邊緣種子點(diǎn)和第二類邊緣種子點(diǎn)，以第二類邊緣種子點(diǎn)所形成的圖像的上邊緣上任選一個(gè)像素點(diǎn)作為待選縫合線的起點(diǎn)，以第一類邊緣種子點(diǎn)所形成的圖像的下邊緣上任選一個(gè)像素點(diǎn)作為待選縫合線的終點(diǎn)，每條待選縫合線從起點(diǎn)開(kāi)始連續(xù)的穿過(guò)重疊區(qū)域到終點(diǎn)，遍歷所有可能的待選縫合線，確定待選縫合線中權(quán)值最小的待選縫合線作為最優(yōu)縫合線，由于每條待選縫合線的起點(diǎn)和終點(diǎn)不固定，起點(diǎn)可以是第二類邊緣種子點(diǎn)所形成的圖像的上邊緣上任意一個(gè)像素點(diǎn)，終點(diǎn)可以是第一類邊緣種子點(diǎn)所形成的圖像的下邊緣上任意一個(gè)像素點(diǎn)，因此，最優(yōu)縫合線的選擇更加靈活，從而，所確定的最優(yōu)縫合線更加合理，從而，可以減小人物變形、拼接錯(cuò)位、拼接痕跡明顯等問(wèn)題，提高生成的全景圖像的效果。
[0121 ]在上述實(shí)施例中，可選地，在確定最優(yōu)縫合線之前，還可以包括:
[0122]獲取重疊區(qū)域的人臉?lè)N子點(diǎn)，人臉?lè)N子點(diǎn)用于標(biāo)記重疊區(qū)域內(nèi)人臉區(qū)域的像素點(diǎn)的來(lái)源，來(lái)源為變形圖形或者基準(zhǔn)圖像;人臉?lè)N子點(diǎn)包括第一類人臉?lè)N子點(diǎn)和第二類人臉?lè)N子點(diǎn)，具體地標(biāo)記方法如下:
[0123]1、如果重疊區(qū)域中，某完整人臉區(qū)域來(lái)自基準(zhǔn)圖像，則標(biāo)記為第一類人臉?lè)N子點(diǎn)；
2、如果重疊區(qū)域中，某不完整人臉區(qū)域來(lái)自基準(zhǔn)圖像，則標(biāo)記為第二類人臉?lè)N子點(diǎn)；3、如果重疊區(qū)域中，某完整人臉區(qū)域來(lái)自變形圖像，且與重疊區(qū)域中來(lái)自基準(zhǔn)圖像的任一完整人臉區(qū)域不相交，則標(biāo)記為第二類人臉?lè)N子點(diǎn);4、如果重疊區(qū)域中，某完整人臉區(qū)域來(lái)自變形圖像，且與重疊區(qū)域中來(lái)自基準(zhǔn)圖像的另一完整人臉區(qū)域相交，則標(biāo)記為第一類人臉?lè)N子點(diǎn);5、如果重疊區(qū)域中，某不完整人臉區(qū)域來(lái)自基準(zhǔn)圖像，則標(biāo)記為第一類人臉?lè)N子點(diǎn)。
[0124]獲取所述重疊區(qū)域相鄰的兩個(gè)像素點(diǎn)之間的邊的初始權(quán)值，重疊區(qū)域相鄰的兩個(gè)像素點(diǎn)是指重疊區(qū)域內(nèi)的非種子點(diǎn)，所述非種子點(diǎn)是指除第一類邊緣種子點(diǎn)、第二類邊緣種子點(diǎn)和人臉?lè)N子點(diǎn)之外的像素點(diǎn)，其中，所述初始權(quán)值為:
[0125]max(|rl-rl，|，|gl-gl，|，|bl-bl，|)+max(|r2~r2，|，|g2_g2，|，|b2~b2，|)
[0126]其中，(rl，gl，bl)和(rr，gl’，br)為所述相鄰的兩個(gè)像素點(diǎn)中的一個(gè)像素點(diǎn)分別在所述變形圖像和所述基準(zhǔn)圖像中的紅綠藍(lán)1?8值，&2^2々2)和(^’^2’々2’)為所述相鄰的兩個(gè)像素點(diǎn)中另一個(gè)像素點(diǎn)分別在所述變形圖像和所述基準(zhǔn)圖像中的RGB值；
[0127]采用1gist i c函數(shù)對(duì)所述初始權(quán)值進(jìn)行放大，得到每個(gè)初始權(quán)值對(duì)應(yīng)的權(quán)值。1gistic函數(shù)如圖10所示，圖10為本發(fā)明實(shí)施例的logistic函數(shù)的示意圖，通過(guò)該函數(shù)對(duì)初始權(quán)重值進(jìn)行放大，初始權(quán)重值越小，放大倍數(shù)越接近于I，初始權(quán)重值越大，放大倍數(shù)越接近于1000，放大倍數(shù)隨初始權(quán)重增長(zhǎng)的速度先塊后慢，通常，明顯沒(méi)有配準(zhǔn)的變放大倍數(shù)都接近于1000。
[0128]相應(yīng)地，確定最優(yōu)縫合線時(shí)，獲取將第一類邊緣種子點(diǎn)、第二類邊緣種子點(diǎn)、第一類人臉?lè)N子點(diǎn)和第二類人臉?lè)N子點(diǎn)的端權(quán)值(terminal weight)、非種子點(diǎn)的之間的邊權(quán)值(edge weight)代入圖割算法，得到變形圖像和基準(zhǔn)圖像在重疊區(qū)域內(nèi)的所有像素點(diǎn)的二值標(biāo)簽。
[0129]標(biāo)簽為O的像素點(diǎn)和第一類邊緣種子點(diǎn)、取自基準(zhǔn)圖像；
[0130]標(biāo)簽為I的像素點(diǎn)和第二類邊緣種子點(diǎn)取自變形圖像。
[0131]根據(jù)單應(yīng)性矩陣、曝光差異函數(shù)和最優(yōu)縫合線，生成全景圖像，全景圖像的效果如圖11所示。
[0132]本實(shí)施例，通過(guò)對(duì)初始權(quán)重值放大可以避免局部權(quán)重值過(guò)大的問(wèn)題，可以有效避開(kāi)人臉區(qū)域等無(wú)法精確配準(zhǔn)的圖像區(qū)域，可以提高生成的全景圖像的效果。
[0133]圖12為本發(fā)明全景圖像的生成裝置實(shí)施例的結(jié)構(gòu)示意圖，本實(shí)施例的裝置包括配準(zhǔn)模塊1201和融合模塊1202，其中，配準(zhǔn)模塊1201用于獲取變形圖像和基準(zhǔn)圖像的重疊區(qū)域;融合模塊1202用于重疊區(qū)域的第一類邊緣種子點(diǎn)和第二類邊緣種子點(diǎn)，其中，第一類邊緣種子點(diǎn)的一側(cè)的像素點(diǎn)屬于重疊區(qū)域，另一側(cè)的像素點(diǎn)屬于基準(zhǔn)圖像，第二類邊緣種子點(diǎn)的一側(cè)的像素點(diǎn)屬于重疊區(qū)域，另一側(cè)的像素點(diǎn)屬于變形圖像;融合模塊1202還用于確定最優(yōu)縫合線，最優(yōu)縫合線為N條待選縫合線中權(quán)值最小的待選縫合線，其中，每條待選縫合線的起點(diǎn)為從第二類邊緣種子點(diǎn)所形成的圖形的上邊緣上任選的一個(gè)像素點(diǎn)，每條待選縫合線的終點(diǎn)為從第一類邊緣種子點(diǎn)所形成的圖形的下邊緣上任選的一個(gè)像素點(diǎn)，每條待選縫合線從起點(diǎn)開(kāi)始連續(xù)的穿過(guò)重疊區(qū)域到終點(diǎn)，每條待選縫合線的權(quán)值為待選縫合線所切割M條邊的權(quán)值的和，每條邊連接兩個(gè)相鄰的像素點(diǎn)，N為大于等于2的整數(shù)，M為大于等于2的整數(shù);融合模塊1202還用于根據(jù)最優(yōu)縫合線，生成全景圖像。
[0134]在上述實(shí)施例中，融合模塊1202還用于獲取重疊區(qū)域相鄰的兩個(gè)像素點(diǎn)之間的邊的初始權(quán)值，其中，初始權(quán)值為:
[0135]max(|rl-rl，|，|gl-gl，|，|bl-bl，|)+max(|r2~r2，|，|g2_g2，|，|b2~b2，|)
[0136]其中，(rl，gl，bl)和(rr，gl’，br)為相鄰的兩個(gè)像素點(diǎn)中的一個(gè)像素點(diǎn)分別在變形圖像和基準(zhǔn)圖像中的紅綠藍(lán)10值，&2^2々2)和&2’^2’瓜’)為相鄰的兩個(gè)像素點(diǎn)中另一個(gè)像素點(diǎn)分別在變形圖像和基準(zhǔn)圖像中的RGB值；
[0137]融合模塊1202還用于采用logistic函數(shù)對(duì)初始權(quán)值進(jìn)行放大，得到每個(gè)初始權(quán)值對(duì)應(yīng)的權(quán)值。
[0138]在上述實(shí)施例中，融合模塊1202還用于獲取重疊區(qū)域的人臉?lè)N子點(diǎn)，人臉?lè)N子點(diǎn)用于標(biāo)記重疊區(qū)域內(nèi)人臉區(qū)域的像素點(diǎn)的來(lái)源，來(lái)源為變形圖像或基準(zhǔn)圖像；
[0139]其中，每條待選縫合線從起點(diǎn)開(kāi)始連續(xù)的穿過(guò)重疊區(qū)域的非種子點(diǎn)之間的邊到終點(diǎn)，非種子點(diǎn)為重疊區(qū)域中除第一類邊緣種子點(diǎn)、第二類邊緣種子點(diǎn)和人臉?lè)N子點(diǎn)之外的像素點(diǎn)。
[0140]在上述實(shí)施例中，配準(zhǔn)模塊1201具體用于獲取待配準(zhǔn)圖像或基準(zhǔn)圖像的人物區(qū)域的像素點(diǎn)；獲取待配準(zhǔn)圖像和基準(zhǔn)圖像中除人物區(qū)域的像素點(diǎn)之外的特征點(diǎn)；對(duì)特征點(diǎn)進(jìn)行匹配，獲得R組匹配特征點(diǎn)對(duì)，其中，R為大于等于預(yù)設(shè)閾值的整數(shù);根據(jù)R組匹配特征點(diǎn)對(duì)，估計(jì)待配準(zhǔn)圖像幾何變形的單應(yīng)性矩陣;根據(jù)單應(yīng)性矩陣獲取待配準(zhǔn)圖像對(duì)應(yīng)的變形圖像;根據(jù)單應(yīng)性矩陣獲取變形圖像和基準(zhǔn)圖像的重疊區(qū)域。
[0141]在上述實(shí)施例中，配準(zhǔn)模塊1201還用于以重疊區(qū)域中基準(zhǔn)圖像的像素點(diǎn)作為樣本點(diǎn)，估計(jì)變形圖像相對(duì)于基準(zhǔn)圖像的曝光差異函數(shù);根據(jù)曝光差異函數(shù)對(duì)變形圖像進(jìn)行亮度調(diào)整。
[0142]上述實(shí)施例的裝置可用于執(zhí)行圖8所示方法實(shí)施例的技術(shù)方案，其實(shí)現(xiàn)原理和技術(shù)效果類似，此處不再贅述。
[0143]本發(fā)明還提供一種全景圖像的生成裝置，如圖1所示，包括:
[0144]通信接口 101、存儲(chǔ)器102、處理器103、通信總線104和攝像頭105，其中，通信接口101、存儲(chǔ)器102和處理器103和攝像頭105通過(guò)通信總線104通信；
[0145]攝像頭105用于獲取基準(zhǔn)圖像和待配準(zhǔn)圖像；
[0146]存儲(chǔ)器102用于存放程序，處理器103用于執(zhí)行存儲(chǔ)器102存儲(chǔ)的程序;程序用于執(zhí)行以下步驟:
[0147]獲取變形圖像和基準(zhǔn)圖像的重疊區(qū)域；
[0148]獲取重疊區(qū)域的第一類邊緣種子點(diǎn)和第二類邊緣種子點(diǎn)，其中，第一類邊緣種子點(diǎn)的一側(cè)的像素點(diǎn)屬于重疊區(qū)域，另一側(cè)的像素點(diǎn)屬于基準(zhǔn)圖像，第二類邊緣種子點(diǎn)的一側(cè)的像素點(diǎn)屬于重疊區(qū)域，另一側(cè)的像素點(diǎn)屬于變形圖像；
[0149]確定最優(yōu)縫合線，最優(yōu)縫合線為N條待選縫合線中權(quán)值最小的待選縫合線，其中，每條待選縫合線的起點(diǎn)為從第二類邊緣種子點(diǎn)所形成的圖形的上邊緣上任選的一個(gè)像素點(diǎn)，每條待選縫合線的終點(diǎn)為從第一類邊緣種子點(diǎn)所形成的圖形的下邊緣上任選的一個(gè)像素點(diǎn)，每條待選縫合線從起點(diǎn)開(kāi)始連續(xù)的穿過(guò)重疊區(qū)域到終點(diǎn)，每條待選縫合線的權(quán)值為待選縫合線所切割M條邊的權(quán)值的和，每條邊連接兩個(gè)相鄰的像素點(diǎn)，N為大于等于2的整數(shù)，M為大于等于2的整數(shù)；
[0150]根據(jù)最優(yōu)縫合線，生成全景圖像。
[0151]上述實(shí)施例的裝置可用于執(zhí)行圖8所示方法實(shí)施例的技術(shù)方案，其實(shí)現(xiàn)原理和技術(shù)效果類似，此處不再贅述。
[0152]本領(lǐng)域普通技術(shù)人員可以理解:實(shí)現(xiàn)上述各方法實(shí)施例的全部或部分步驟可以通過(guò)程序指令相關(guān)的硬件來(lái)完成。前述的程序可以存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。該程序在執(zhí)行時(shí)，執(zhí)行包括上述各方法實(shí)施例的步驟;而前述的存儲(chǔ)介質(zhì)包括:R0M、RAM、磁碟或者光盤(pán)等各種可以存儲(chǔ)程序代碼的介質(zhì)。
[0153]最后應(yīng)說(shuō)明的是:以上各實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案，而非對(duì)其限制;盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分或者全部技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的范圍。
【主權(quán)項(xiàng)】
1.一種全景圖像的生成方法，其特征在于，包括: 獲取變形圖像和基準(zhǔn)圖像的重疊區(qū)域； 獲取所述重疊區(qū)域的第一類邊緣種子點(diǎn)和第二類邊緣種子點(diǎn)，其中，所述第一類邊緣種子點(diǎn)的一側(cè)的像素點(diǎn)屬于所述重疊區(qū)域，另一側(cè)的像素點(diǎn)屬于所述基準(zhǔn)圖像，所述第二類邊緣種子點(diǎn)的一側(cè)的像素點(diǎn)屬于所述重疊區(qū)域，另一側(cè)的像素點(diǎn)屬于所述變形圖像； 確定最優(yōu)縫合線，所述最優(yōu)縫合線為N條待選縫合線中權(quán)值最小的待選縫合線，其中，每條待選縫合線的起點(diǎn)為從所述第二類邊緣種子點(diǎn)所形成的圖形的上邊緣上任選的一個(gè)像素點(diǎn)，每條待選縫合線的終點(diǎn)為從所述第一類邊緣種子點(diǎn)所形成的圖形的下邊緣上任選的一個(gè)像素點(diǎn)，所述每條待選縫合線從所述起點(diǎn)開(kāi)始連續(xù)的穿過(guò)所述重疊區(qū)域到所述終點(diǎn)，每條待選縫合線的權(quán)值為所述待選縫合線所切割M條邊的權(quán)值的和，每條邊連接兩個(gè)相鄰的像素點(diǎn)，所述N為大于等于2的整數(shù)，所述M為大于等于2的整數(shù)； 根據(jù)所述最優(yōu)縫合線，生成全景圖像。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定最優(yōu)縫合線之前，還包括: 獲取所述重疊區(qū)域相鄰的兩個(gè)像素點(diǎn)之間的邊的初始權(quán)值，其中，所述初始權(quán)值為: max(Irl-rl，|，|gl-gl，|，|bl-bl，|)+max(|r2-r2，|，|g2_g2，|，|b2~b2，|) 其中，&1^1，131)和(^’^1’，131’)為所述相鄰的兩個(gè)像素點(diǎn)中的一個(gè)像素點(diǎn)分別在所述變形圖像和所述基準(zhǔn)圖像中的紅綠藍(lán)1?8值，&2^2々2)和(^’^2’々2’)為所述相鄰的兩個(gè)像素點(diǎn)中另一個(gè)像素點(diǎn)分別在所述變形圖像和所述基準(zhǔn)圖像中的RGB值； 采用logistic函數(shù)對(duì)所述初始權(quán)值進(jìn)行放大，得到每個(gè)初始權(quán)值對(duì)應(yīng)的權(quán)值。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，還包括: 獲取所述重疊區(qū)域的人臉?lè)N子點(diǎn)，所述人臉?lè)N子點(diǎn)用于標(biāo)記所述重疊區(qū)域內(nèi)人臉區(qū)域的像素點(diǎn)的來(lái)源，所述來(lái)源為所述變形圖像或所述基準(zhǔn)圖像； 其中，所述每條待選縫合線從所述起點(diǎn)開(kāi)始連續(xù)的穿過(guò)所述重疊區(qū)域的非種子點(diǎn)之間的邊到所述終點(diǎn)，所述非種子點(diǎn)為所述重疊區(qū)域中除所述第一類邊緣種子點(diǎn)、所述第二類邊緣種子點(diǎn)和所述人臉?lè)N子點(diǎn)之外的像素點(diǎn)。4.根據(jù)權(quán)利要求1?3任一項(xiàng)所述的方法，其特征在于，所述獲取變形圖像和基準(zhǔn)圖像的重疊區(qū)域，包括: 獲取待配準(zhǔn)圖像或基準(zhǔn)圖像的人物區(qū)域的像素點(diǎn)； 獲取所述待配準(zhǔn)圖像和所述基準(zhǔn)圖像中除所述人物區(qū)域的像素點(diǎn)之外的特征點(diǎn)； 對(duì)所述特征點(diǎn)進(jìn)行匹配，獲得R組匹配特征點(diǎn)對(duì)，其中，所述R為大于等于預(yù)設(shè)閾值的整數(shù)； 根據(jù)所述R組匹配特征點(diǎn)對(duì)，估計(jì)所述待配準(zhǔn)圖像幾何變形的單應(yīng)性矩陣； 根據(jù)所述單應(yīng)性矩陣獲取所述待配準(zhǔn)圖像對(duì)應(yīng)的變形圖像； 根據(jù)所述單應(yīng)性矩陣獲取所述變形圖像和所述基準(zhǔn)圖像的重疊區(qū)域。5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述單應(yīng)性矩陣獲取所述變形圖像和所述基準(zhǔn)圖像的重疊區(qū)域之后，還包括: 以所述重疊區(qū)域中所述基準(zhǔn)圖像的像素點(diǎn)作為樣本點(diǎn)，估計(jì)所述變形圖像相對(duì)于所述基準(zhǔn)圖像的曝光差異函數(shù)； 根據(jù)所述曝光差異函數(shù)對(duì)所述變形圖像進(jìn)行亮度調(diào)整。6.一種全景圖像的生成裝置，其特征在于，包括: 配準(zhǔn)模塊，用于獲取變形圖像和基準(zhǔn)圖像的重疊區(qū)域； 融合模塊，用于所述重疊區(qū)域的第一類邊緣種子點(diǎn)和第二類邊緣種子點(diǎn)，其中，所述第一類邊緣種子點(diǎn)的一側(cè)的像素點(diǎn)屬于所述重疊區(qū)域，另一側(cè)的像素點(diǎn)屬于所述基準(zhǔn)圖像，所述第二類邊緣種子點(diǎn)的一側(cè)的像素點(diǎn)屬于所述重疊區(qū)域，另一側(cè)的像素點(diǎn)屬于所述變形圖像； 所述融合模塊還用于確定最優(yōu)縫合線，所述最優(yōu)縫合線為N條待選縫合線中權(quán)值最小的待選縫合線，其中，每條待選縫合線的起點(diǎn)為從所述第二類邊緣種子點(diǎn)所形成的圖形的上邊緣上任選的一個(gè)像素點(diǎn)，每條待選縫合線的終點(diǎn)為從所述第一類邊緣種子點(diǎn)所形成的圖形的下邊緣上任選的一個(gè)像素點(diǎn)，所述每條待選縫合線從所述起點(diǎn)開(kāi)始連續(xù)的穿過(guò)所述重疊區(qū)域到所述終點(diǎn)，每條待選縫合線的權(quán)值為所述待選縫合線所切割M條邊的權(quán)值的和，每條邊連接兩個(gè)相鄰的像素點(diǎn)，所述N為大于等于2的整數(shù)，所述M為大于等于2的整數(shù)； 所述融合模塊還用于根據(jù)所述最優(yōu)縫合線，生成全景圖像。7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述融合模塊還用于獲取所述重疊區(qū)域相鄰的兩個(gè)像素點(diǎn)之間的邊的初始權(quán)值，其中，所述初始權(quán)值為: max(Irl-rl，|，|gl-gl，|，|bl-bl，|)+max(|r2-r2，|，|g2_g2，|，|b2~b2，|) 其中，&1^1，131)和(^’^1’，131’)為所述相鄰的兩個(gè)像素點(diǎn)中的一個(gè)像素點(diǎn)分別在所述變形圖像和所述基準(zhǔn)圖像中的紅綠藍(lán)1?8值，&2^2々2)和(^’^2’々2’)為所述相鄰的兩個(gè)像素點(diǎn)中另一個(gè)像素點(diǎn)分別在所述變形圖像和所述基準(zhǔn)圖像中的RGB值； 所述融合模塊還用于采用logistic函數(shù)對(duì)所述初始權(quán)值進(jìn)行放大，得到每個(gè)初始權(quán)值對(duì)應(yīng)的權(quán)值。8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述融合模塊還用于獲取所述重疊區(qū)域的人臉?lè)N子點(diǎn)，所述人臉?lè)N子點(diǎn)用于標(biāo)記所述重疊區(qū)域內(nèi)人臉區(qū)域的像素點(diǎn)的來(lái)源，所述來(lái)源為所述變形圖像或所述基準(zhǔn)圖像； 其中，所述每條待選縫合線從所述起點(diǎn)開(kāi)始連續(xù)的穿過(guò)所述重疊區(qū)域的非種子點(diǎn)之間的邊到所述終點(diǎn)，所述非種子點(diǎn)為所述重疊區(qū)域中除所述第一類邊緣種子點(diǎn)、所述第二類邊緣種子點(diǎn)和所述人臉?lè)N子點(diǎn)之外的像素點(diǎn)。9.根據(jù)權(quán)利要求6?8任一項(xiàng)所述的裝置，其特征在于，所述配準(zhǔn)模塊具體用于獲取待配準(zhǔn)圖像或基準(zhǔn)圖像的人物區(qū)域的像素點(diǎn);獲取所述待配準(zhǔn)圖像和所述基準(zhǔn)圖像中除所述人物區(qū)域的像素點(diǎn)之外的特征點(diǎn);對(duì)所述特征點(diǎn)進(jìn)行匹配，獲得R組匹配特征點(diǎn)對(duì)，其中，所述R為大于等于預(yù)設(shè)閾值的整數(shù);根據(jù)所述R組匹配特征點(diǎn)對(duì)，估計(jì)所述待配準(zhǔn)圖像幾何變形的單應(yīng)性矩陣;根據(jù)所述單應(yīng)性矩陣獲取所述待配準(zhǔn)圖像對(duì)應(yīng)的變形圖像;根據(jù)所述單應(yīng)性矩陣獲取所述變形圖像和所述基準(zhǔn)圖像的重疊區(qū)域。10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述配準(zhǔn)模塊還用于以所述重疊區(qū)域中所述基準(zhǔn)圖像的像素點(diǎn)作為樣本點(diǎn)，估計(jì)所述變形圖像相對(duì)于所述基準(zhǔn)圖像的曝光差異函數(shù);根據(jù)所述曝光差異函數(shù)對(duì)所述變形圖像進(jìn)行亮度調(diào)整。11.一種全景圖像的生成裝置，其特征在于，包括: 通信接口、存儲(chǔ)器、處理器、通信總線和攝像頭，其中，所述通信接口、所述存儲(chǔ)器和所述處理器和所述攝像頭通過(guò)所述通信總線通信； 所述攝像頭用于獲取基準(zhǔn)圖像和待配準(zhǔn)圖像； 所述存儲(chǔ)器用于存放程序，所述處理器用于執(zhí)行所述存儲(chǔ)器存儲(chǔ)的程序;所述程序用于執(zhí)行以下步驟: 獲取變形圖像和基準(zhǔn)圖像的重疊區(qū)域； 獲取所述重疊區(qū)域的第一類邊緣種子點(diǎn)和第二類邊緣種子點(diǎn)，其中，所述第一類邊緣種子點(diǎn)的一側(cè)的像素點(diǎn)屬于所述重疊區(qū)域，另一側(cè)的像素點(diǎn)屬于所述基準(zhǔn)圖像，所述第二類邊緣種子點(diǎn)的一側(cè)的像素點(diǎn)屬于所述重疊區(qū)域，另一側(cè)的像素點(diǎn)屬于所述變形圖像； 確定最優(yōu)縫合線，所述最優(yōu)縫合線為N條待選縫合線中權(quán)值最小的待選縫合線，其中，每條待選縫合線的起點(diǎn)為從所述第二類邊緣種子點(diǎn)所形成的圖形的上邊緣上任選的一個(gè)像素點(diǎn)，每條待選縫合線的終點(diǎn)為從所述第一類邊緣種子點(diǎn)所形成的圖形的下邊緣上任選的一個(gè)像素點(diǎn)，所述每條待選縫合線從所述起點(diǎn)開(kāi)始連續(xù)的穿過(guò)所述重疊區(qū)域到所述終點(diǎn)，每條待選縫合線的權(quán)值為所述待選縫合線所切割M條邊的權(quán)值的和，每條邊連接兩個(gè)相鄰的像素點(diǎn)，所述N為大于等于2的整數(shù)，所述M為大于等于2的整數(shù)； 根據(jù)所述最優(yōu)縫合線，生成全景圖像。
【文檔編號(hào)】G06T3/40GK105869113SQ201610179612
【公開(kāi)日】2016年8月17日
【申請(qǐng)日】2016年3月25日
【發(fā)明人】張帆, 張一帆, 李楠, 孔玲軍
【申請(qǐng)人】華為技術(shù)有限公司