專利名稱：圖像拼接處理方法及裝置的制作方法
技術(shù)領(lǐng)域：
本申請涉及圖像處理技術(shù)領(lǐng)域，特別是涉及一種圖像拼接處理方法及裝置。
背景技術(shù)：
隨著互聯(lián)網(wǎng)的進步與發(fā)展，電子地圖成為了與人們生活息息相關(guān)的互聯(lián)網(wǎng)應(yīng)用，人們的日常生活以及出門旅行等都逐漸離不開電子地圖。但是傳統(tǒng)的二維電子地圖，由于抽象的符號化表示和精度不夠等原因，只能有限的表示道路和建筑物等信息。對于許多用戶來說，二維電子地圖使用起來比較晦澀，不能滿足人們對于地圖更精確、更詳細、更好用的地圖的需求，全景地圖應(yīng)運而生。全景地圖作為一種新興電子地圖服務(wù)，逐漸成為互聯(lián)網(wǎng)地圖廠商爭奪的熱點。目前大部分的全景地圖都需要先將圖像采集設(shè)備所采集的圖像進行拼接形成全景圖像。常用的拼接方法都是從集中采集的圖像中，挑選出一個場景點，利用該場景點對應(yīng)多幅圖像的圖像特征進行圖像配準、圖像融合等步驟，最終得到全景圖像。但是，上述方法存在如下問題:在每個場景點采集圖像時，圖像采集設(shè)備(例如相機)的姿態(tài)關(guān)系并不是完全不動的，特別是多個圖像采集設(shè)備同時采集時，即使有很小的誤差也會導(dǎo)致圖像在融合階段出現(xiàn)拼接縫隙，請參照圖1，圖1為采用上述拼接方法所獲得的一幅全景圖，從圖上可以看出明顯的拼接縫隙。

發(fā)明內(nèi)容
本申請的目的在于，克服現(xiàn)有技術(shù)采用單一場景點對應(yīng)圖像的圖像特征進行圖像拼接所帶來的容易出現(xiàn)拼接縫隙的問題，而提供一種新的圖像拼接處理方法及裝置。本申請實施例中的一種圖像拼接處理方法，包括:獲取多個場景點對應(yīng)的圖像，每個場景點對應(yīng)的圖像中包括參考圖像以及待拼接圖像，所述參考圖像與所述待拼接圖像由取景方向不同的圖像采集設(shè)備所采集，且所述參考圖像與所述待拼接圖像具有重疊區(qū)域；分別提取每個場景點對應(yīng)的參考圖像與待拼接圖像之間的匹配興趣點；利用多個場景點對應(yīng)的匹配興趣點估計所述取景方向不同的圖像采集設(shè)備之間的旋轉(zhuǎn)矩陣以及偏移矩陣；根據(jù)所述旋轉(zhuǎn)矩陣以及偏移矩陣分別對每個場景點對應(yīng)的圖像進行拼接。本申請實施例中的一種圖像拼接處理裝置，包括:圖像獲取模塊、匹配興趣點提取模塊、矩陣計算模塊、圖像拼接模塊。圖像獲取模塊用于獲取多個場景點對應(yīng)的圖像，每個場景點對應(yīng)的圖像中包括參考圖像以及待拼接圖像，所述參考圖像與所述待拼接圖像由取景方向不同的圖像采集設(shè)備所采集，且所述參考圖像與所述待拼接圖像具有重疊區(qū)域。匹配興趣點提取模塊用于分別提取每個場景點對應(yīng)的參考圖像與待拼接圖像之間的匹配興趣點。矩陣計算模塊用于利用多個場景點對應(yīng)的匹配興趣點估計所述取景方向不同的圖像采集設(shè)備之間的旋轉(zhuǎn)矩陣以及偏移矩陣。圖像拼接模塊用于根據(jù)所述旋轉(zhuǎn)矩陣以及偏移矩陣分別對每個場景點對應(yīng)的圖像進行拼接。相對于現(xiàn)有技術(shù)，本申請實施例所提出的圖像拼接處理方法及裝置利用多個場景點對應(yīng)的圖像的匹配興趣點估計圖像采集設(shè)備之間的旋轉(zhuǎn)矩陣以及偏移矩陣，然后根據(jù)所估計出的旋轉(zhuǎn)矩陣以及偏移矩陣再分別對每個場景點對應(yīng)的圖像進行拼接，這樣可以減少因取景方向不同的圖像采集設(shè)備之間的成像面不同所帶來的視差影響以及因圖像采集設(shè)備在不同的場景點取景時姿態(tài)關(guān)系發(fā)生變化所帶來的設(shè)備抖動的影響，使這些影響所帶來的誤差分散的更加平均，可以改善圖像的拼接質(zhì)量，使得圖像的拼接縫隙更小甚至可以達到無縫拼接。上述說明僅是本申請技術(shù)方案的概述，為了能夠更清楚了解本申請的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本申請的上述和其他目的、特征和優(yōu)點能夠更明顯易懂，以下特舉較佳實施例，并配合附圖，詳細說明如下。


圖1為采用現(xiàn)有技術(shù)的拼接方法所獲得的一幅全景圖。圖2為本發(fā)明第一實施例中提供的圖像拼接方法的流程示意圖。圖3為采用本發(fā)明第一實施例中提供的圖像拼接方法所獲得的一幅全景圖。圖4為本發(fā)明第二實施例中提供的圖像拼接方法的流程示意圖。圖5為本發(fā)明第三實施例中提供的圖像拼接裝置的結(jié)構(gòu)示意圖。圖6為本發(fā)明第四實施例中提供的圖像拼接裝置的結(jié)構(gòu)示意圖。
具體實施例方式為更進一步闡述本申請為達成預(yù)定發(fā)明目的所采取的技術(shù)手段及功效，以下結(jié)合附圖及較佳實施例，對依據(jù)本申請?zhí)岢龅膱D像拼接處理方法及裝置其具體實施方式
、方法、步驟、結(jié)構(gòu)、特征及其功效，詳細說明如下。有關(guān)本申請的前述及其他技術(shù)內(nèi)容、特點及功效，在以下配合參考圖式的較佳實施例的詳細說明中將可清楚呈現(xiàn)。通過具體實施方式
的說明，當(dāng)可對本申請為達成預(yù)定目的所采取的技術(shù)手段及功效得以更加深入且具體的了解，然而所附圖式僅是提供參考與說明之用，并非用來對本申請加以限制。本申請?zhí)岢鲆环N圖像拼接處理方法及裝置，可以用于電子全景地圖等全景圖像的應(yīng)用中，但是并不局限于此，也可以用于例如虛擬旅游等虛擬現(xiàn)實的其他應(yīng)用中。下面將結(jié)合具體的實施例對本申請做進一步的說明。第一實施例圖2為本申請第一實施例中的圖像拼接處理方法的流程示意圖。如圖2所示，本實施例中的圖像拼接處理方法包括:步驟Sll:獲取多個場景點對應(yīng)的圖像，每個場景點對應(yīng)的圖像中包括參考圖像以及待拼接圖像，所述參考圖像與所述待拼接圖像由取景方向不同的圖像采集設(shè)備所采集，且所述參考圖像與所述待拼接圖像具有重疊區(qū)域。于本申請的實施例中，同一場景點對應(yīng)的圖像來源于取景方向不同的圖像采集設(shè)備(包括相機、圖像傳感器等)在同一拍攝點對同一場景的所采集的圖像。拍攝點指的是圖像的拍攝位置，也就是攜帶有GPS模塊的圖像采集設(shè)備在采集圖像時所記錄下來的采集設(shè)備的地理位置信息。根據(jù)實際的需求，圖像采集系統(tǒng)，例如街景采集車等，可以每間隔一定距離采集一次，也就是每間隔一定距離更換一次拍攝點。圖像采集設(shè)備例如可以為多個相機，將該多個相機的鏡頭朝向不同方向即可實現(xiàn)不同取景方向的圖像采集。例如，可以是多個設(shè)置于同一水平面上的相機以及至少一個設(shè)置于豎直方向的相機。設(shè)置于同一水平面上的多個相機的光軸可以近似重合于同一圓弧的圓心處且鏡頭朝向不同，設(shè)置于豎直方向的至少一個相機的鏡頭朝向天空。優(yōu)選的，相機的鏡頭可以為廣角鏡頭，例如魚眼鏡頭。由取景方向不同的圖像采集設(shè)備所采集的多幅圖像之間具有一個共同的特點，就是取景方向相鄰的圖像采集設(shè)備(相鄰的相機)所采集的兩幅圖像(以下簡稱相鄰圖像)之間至少有一部分是重疊的，也就是具有重疊區(qū)域。優(yōu)選的，相鄰圖像之間重疊比例達到50%。相機的數(shù)量越多所采集到的圖像的數(shù)量也越多，可以定義每兩幅相鄰圖像中的一幅圖像為參考圖像，而另一幅圖像為待拼接圖像，也可以根據(jù)不同的拼接策略進行定義，例如可以定義一幅參考圖像，多幅待拼接圖像等，本申請的實施方式并不以此為限。步驟S12:分別提取每個場景點對應(yīng)的參考圖像與待拼接圖像之間的匹配興趣點。興趣點(interest point)可以是一幅圖像中灰度在水平和垂直方向都有顯著變化的特殊點，例如角點，也可以是圖像中具有復(fù)雜紋理特征的特殊點。興趣點是圖像的底層特征，具有計算量小、信息含量高的特點。興趣點的提取可以采用基于灰度圖像的興趣點檢測法、基于二值圖像的興趣點檢測法、或基于模板和基于模板梯度組合等方法。以興趣點為角點為例，具體的，可以采用suSAN角點檢測算法、Morave角點檢測算法、和Harris角點檢測等算法對參考圖像與待拼接圖像分別進行興趣點提取的處理。當(dāng)然，本領(lǐng)域的技術(shù)人員也可以采用其他的興趣點提取方法，本申請的實施方式并不以此為限。提取出每個場景點對應(yīng)的參考圖像以及待拼接圖像之間的匹配興趣點，也就是建立參考圖像與帶拼接圖像中興趣點的相互關(guān)聯(lián)，從而確立匹配興趣點，即參考圖像與待拼接圖像中關(guān)聯(lián)最大的興趣點。步驟S13:利用多個場景點對應(yīng)的匹配興趣點估計所述取景方向不同的圖像采集設(shè)備之間的旋轉(zhuǎn)矩陣以及偏移矩陣。圖像采集過程中，圖像的狀態(tài)由圖像采集設(shè)備的姿態(tài)所決定，一般來說，圖像采集設(shè)備的姿態(tài)包括:平移、俯仰、滾轉(zhuǎn)、偏航。每個圖像采集設(shè)備在三維空間中都有六個自由度，這六個自由度中包括可實現(xiàn)平移的X、Y、Z三個自由度。圖像采集設(shè)備在三維空間中還可以進行三個角度的旋轉(zhuǎn)，偏航指的是圖像采集設(shè)備圍繞Y軸進行的旋轉(zhuǎn)，俯仰指的是圖像采集設(shè)備圍繞X軸進行的旋轉(zhuǎn)，滾轉(zhuǎn)指的是圖像采集設(shè)備圍繞Z軸進行的旋轉(zhuǎn)。圖像采集設(shè)備的姿態(tài)不同，必然導(dǎo)致各自所采集的圖像之間存在空間上的很大差異，尤其是相互之間有重疊部分的兩幅圖像。利用所述多個場景點對應(yīng)的圖像的匹配興趣點可以估計出在不同取景方向的圖像采集設(shè)備之間的俯仰、滾轉(zhuǎn)、偏航的旋轉(zhuǎn)矩陣，以及平移矩陣，也就是對圖像采集設(shè)備的外參進行估計。具體的估計方法例如可以采用Levenberg-Marquardt算法對所述多個場景點對應(yīng)的圖像的匹配興趣點進行計算，得到不同取景方向的圖像采集設(shè)備之間的俯仰、滾轉(zhuǎn)、偏航的旋轉(zhuǎn)矩陣，以及平移矩陣。步驟S14:根據(jù)所述旋轉(zhuǎn)矩陣以及偏移矩陣分別對每個場景點對應(yīng)的圖像進行拼接。相對于現(xiàn)有技術(shù)，本實施例所提出的圖像拼接處理方法利用多個場景點對應(yīng)的圖像的匹配興趣點估計圖像采集設(shè)備之間的旋轉(zhuǎn)矩陣以及偏移矩陣，然后根據(jù)所估計出的旋轉(zhuǎn)矩陣以及偏移矩陣再分別對每個場景點對應(yīng)的圖像進行拼接，這樣可以減少因取景方向不同的圖像采集設(shè)備之間的成像面不同所帶來的視差影響以及因圖像采集設(shè)備在不同的場景點取景時姿態(tài)關(guān)系發(fā)生變化所帶來的設(shè)備抖動的影響，使這些影響所帶來的誤差分散的更加平均，可以改善圖像的拼接質(zhì)量，使得圖像的拼接縫隙更小甚至可以達到無縫拼接(請參照圖3)。第二實施例圖4為本申請第二實施例中的圖像拼接處理方法的流程示意圖。如圖4所示，本實施例中的圖像拼接處理方法包括:步驟S21:獲取多個場景點對應(yīng)的圖像，每個場景點對應(yīng)的圖像中包括參考圖像以及待拼接圖像，所述參考圖像與所述待拼接圖像由取景方向不同的圖像采集設(shè)備所采集，且所述參考圖像與所述待拼接圖像具有重疊區(qū)域。此步驟與第一實施例中的對應(yīng)步驟相同，這里不再贅述。步驟S22:分別提取每個場景點對應(yīng)的參考圖像與待拼接圖像之間的匹配興趣點。于本實施例中，步驟S22進一步可以包括:步驟S221:對每個場景點對應(yīng)的參考圖像以及待拼接圖像進行預(yù)處理。圖像的預(yù)處理可以包括但不限于數(shù)字圖像處理的基本操作(如直方圖處理、或平滑濾波等)或?qū)D像進行某種變換(如傅里葉變化、Gabor變換、或小波變換)等。步驟S222:提取經(jīng)過預(yù)處理的參考圖像以及待拼接圖像的興趣點。步驟S223:提取每個興趣點對應(yīng)的圖像特征。興趣點對應(yīng)的圖像特征可以但并不限于為HOG (Histograms of OrientedGradients,梯度方向直方圖)特征或LBP(Local Binary Pattern,局部二值模式)等特征。興趣點對應(yīng)的圖像特征的提取范圍可以包括興趣點以及興趣點周圍一定范圍內(nèi)的圖像像素。步驟S224:通過比對經(jīng)過預(yù)處理的參考圖像的興趣點與待拼接圖像的興趣點對應(yīng)的圖像特征之間的距離，提取出每個場景點對應(yīng)的參考圖像與待拼接圖像之間的匹配興趣點。由于圖像區(qū)域特征的相似性，或者無明顯特征等原因會產(chǎn)生誤匹配。優(yōu)選的，可以利用興趣點對應(yīng)的圖像特征之間的距離進行比對，留下參考圖像與待拼接圖像中彼此對應(yīng)的興趣點，也就是匹配興趣點。所謂的距離，是興趣點與興趣點對應(yīng)的圖像特征之間的距離。圖像特征之間的距離可以但不局限于匹配興趣點特征向量的歐式距離。如果P1、Pj為參考圖像中的興趣點，Q1、Qj為待拼接圖像中的興趣點，{P1-Qi}和{Pj_Qj}是兩對正確的匹配興趣點，那么Pi和Pj對應(yīng)的圖像特征之間的距離O (Pi, Pj)應(yīng)當(dāng)相似于Qi和Qj對應(yīng)的圖像特征之間的距離0(Qi，Qj)，因此，可以通過興趣點與興趣點對應(yīng)的圖像特征之間的距離進行比對剔除誤匹配點對。步驟S23:利用多個場景點對應(yīng)的匹配興趣點估計所述取景方向不同的圖像采集設(shè)備之間的旋轉(zhuǎn)矩陣以及偏移矩陣。此步驟與第一實施例中的對應(yīng)步驟相同，這里不再贅述。步驟S24:根據(jù)所述旋轉(zhuǎn)矩陣以及偏移矩陣分別對每個場景點對應(yīng)的圖像進行拼接。于本實施例中，步驟S24可以進一步包括以下步驟:步驟S241:根據(jù)所述旋轉(zhuǎn)矩陣以及偏移矩陣將每個場景點對應(yīng)的參考圖像以及待拼接圖像進行重映射。所謂重映射，就是根據(jù)所述旋轉(zhuǎn)矩陣以及偏移矩陣將待拼接圖像轉(zhuǎn)換到參考圖像的坐標系，完成統(tǒng)一坐標變換。進一步的，還可以在將每個場景點對應(yīng)的參考圖像以及待拼接圖像進行重映射前，對取景方向不同的圖像采集設(shè)備的內(nèi)參進行標定，利用圖像采集設(shè)備的內(nèi)參對參考圖像以及待拼接圖像進行校正，然后再將校正過的參考圖像以及待拼接圖像根據(jù)取景方向不同的圖像采集設(shè)備之間的旋轉(zhuǎn)矩陣以及偏移矩陣(也就是圖像采集設(shè)備的外參)進行重映射，這樣可以消除由圖像采集設(shè)備的內(nèi)參所造成的誤差，進一步提高圖像拼接的質(zhì)量。圖像采集設(shè)備的內(nèi)參包括圖像采集設(shè)備中的鏡頭的光學(xué)畸變以及鏡頭的焦距。光學(xué)畸變一般可分為徑向畸變和切向畸變兩類。徑向畸變就是集合光學(xué)中的畸變像差，主要是由于鏡頭的徑向曲率不同而造成的，有桶形畸變和枕型畸變兩種。切向畸變通常被認為是由于鏡頭透鏡組的光學(xué)中心不共線引起的，包括有各種生成誤差和裝配誤差等。另外也有離心畸變和薄棱畸變等。一般認為，在圖像采集過程當(dāng)中，徑向畸變是導(dǎo)致圖像畸變的主要因素。在標定量測時，在硬件系統(tǒng)確定的條件下可以利用標定光學(xué)畸變，也就是尋找畸變參數(shù)，然后根據(jù)畸變參數(shù)校正圖像來消除光學(xué)畸變對圖像的影響。尋找畸變參數(shù)可通過棋盤圖像的方式手動或自動描點進行擬合，也可通過不斷調(diào)整參數(shù)找到最佳的消除視頻圖像的畸變的參數(shù)等方式，本申請實施方式并不以此為限。步驟S242:將每個場景點對應(yīng)的經(jīng)過重映射的待拼接圖像與參考圖像進行融合。圖像融合就是將經(jīng)過重映射后的參考圖像與待拼接圖像根據(jù)對應(yīng)關(guān)系合并為一幅圖像。一般情況下，由于圖像采集設(shè)備在采集圖像時的采集時間、采集角度和光照強度等差異，容易使參考圖像與待拼接圖像之間的重疊區(qū)域出現(xiàn)明暗強度(亮度)的差異，可以采用例如Szeliski加權(quán)平均法等算法對圖像進行融合。當(dāng)然，本領(lǐng)域的技術(shù)人員也可以采用其他的算法(例如不同頻率的融合等)對圖像進行融合，本申請實施方式并不以此為限。可以理解，在進行圖像融合之前還可以包括曝光調(diào)整、圖像最優(yōu)拼縫尋找等步驟，本申請具體實施方式
并不以此為限。相對于現(xiàn)有技術(shù)，本實施例所提出的圖像拼接處理方法利用多個場景點對應(yīng)的圖像的匹配興趣點估計圖像采集設(shè)備之間的旋轉(zhuǎn)矩陣以及偏移矩陣，然后根據(jù)所估計出的旋轉(zhuǎn)矩陣以及偏移矩陣再分別對每個場景點對應(yīng)的圖像進行拼接，這樣可以減少因取景方向不同的圖像采集設(shè)備之間的成像面不同所帶來的視差影響以及因圖像采集設(shè)備在不同的場景點取景時姿態(tài)關(guān)系發(fā)生變化所帶來的設(shè)備抖動的影響，使這些影響所帶來的誤差分散的更加平均，可以改善圖像的拼接質(zhì)量，使得圖像的拼接縫隙更小甚至可以達到無縫拼接。第三實施例圖5為本申請第三實施例中的圖像拼接處理裝置的結(jié)構(gòu)示意圖。如圖5所示，本實施例中的圖像拼接處理裝置30可以實現(xiàn)本申請第一實施例中的圖像拼接處理方法，圖像拼接處理裝置30具體可以包括:圖像獲取模塊31、匹配興趣點提取模塊32、矩陣計算模塊33以及圖像拼接模塊34。圖像獲取模塊31用于獲取多個場景點對應(yīng)的圖像，每個場景點對應(yīng)的圖像中包括參考圖像以及待拼接圖像，所述參考圖像與所述待拼接圖像由取景方向不同的圖像采集設(shè)備所采集，且所述參考圖像與所述待拼接圖像具有重疊區(qū)域。匹配興趣點提取模塊32用于分別提取每個場景點對應(yīng)的參考圖像與待拼接圖像之間的匹配興趣點。矩陣計算模塊33用于利用多個場景點對應(yīng)的匹配興趣點估計所述取景方向不同的圖像采集設(shè)備之間的旋轉(zhuǎn)矩陣以及偏移矩陣。圖像拼接模塊34用于根據(jù)所述旋轉(zhuǎn)矩陣以及偏移矩陣分別對每個場景點對應(yīng)的圖像進行拼接。相對于現(xiàn)有技術(shù)，本實施例所提出的圖像拼接處理裝置利用多個場景點對應(yīng)的圖像的匹配興趣點估計圖像采集設(shè)備之間的旋轉(zhuǎn)矩陣以及偏移矩陣，然后根據(jù)所估計出的旋轉(zhuǎn)矩陣以及偏移矩陣再分別對每個場景點對應(yīng)的圖像進行拼接，這樣可以減少因取景方向不同的圖像采集設(shè)備之間的成像面不同所帶來的視差影響以及因圖像采集設(shè)備在不同的場景點取景時姿態(tài)關(guān)系發(fā)生變化所帶來的設(shè)備抖動的影響，使這些影響所帶來的誤差分散的更加平均，可以改善圖像的拼接質(zhì)量，使得圖像的拼接縫隙更小甚至可以達到無縫拼接。第四實施例圖6為本申請第四實施例中的圖像拼接處理裝置的結(jié)構(gòu)示意圖。如圖6所示，本實施例中的圖像拼接處理裝置40可以實現(xiàn)本申請第一實施例中的圖像拼接處理方法，圖像拼接處理裝置40具體可以包括:圖像獲取模塊41、匹配興趣點提取模塊42、矩陣計算模塊43以及圖像拼接模塊44。圖像獲取模塊41用于獲取多個場景點對應(yīng)的圖像，每個場景點對應(yīng)的圖像中包括參考圖像以及待拼接圖像，所述參考圖像與所述待拼接圖像由取景方向不同的圖像采集設(shè)備所采集，且所述參考圖像與所述待拼接圖像具有重疊區(qū)域。匹配興趣點提取模塊42用于分別提取每個場景點對應(yīng)的參考圖像與待拼接圖像之間的匹配興趣點。矩陣計算模塊43用于利用多個場景點對應(yīng)的匹配興趣點估計所述取景方向不同的圖像采集設(shè)備之間的旋轉(zhuǎn)矩陣以及偏移矩陣。圖像拼接模塊44用于根據(jù)所述旋轉(zhuǎn)矩陣以及偏移矩陣分別對每個場景點對應(yīng)的圖像進行拼接。進一步的，于本實施例中，所述匹配興趣點提取模塊42還可以包括:預(yù)處理單元421，用于對每個場景點對應(yīng)的參考圖像以及待拼接圖像進行預(yù)處理；興趣點提取單元422，用于提取經(jīng)過預(yù)處理的參考圖像以及待拼接圖像的興趣點；圖像特征提取單元423，用于提取每個興趣點對應(yīng)的圖像特征；以及匹配興趣點提取單元424，用于通過比對經(jīng)過預(yù)處理的參考圖像的興趣點與待拼接圖像的興趣點對應(yīng)的圖像特征之間的距離，提取出每個場景點對應(yīng)的參考圖像與待拼接圖像之間的匹配興趣點。每個興趣點對應(yīng)的圖像特征可以為HOG特征或LBP特征等，本申請的具體實施方式
并不以此為限。優(yōu)選的,所述矩陣計算模塊43采用Levenberg-Marquardt算法利用多個場景點對應(yīng)的匹配興趣點對所述取景方向不同的圖像采集設(shè)備之間的旋轉(zhuǎn)矩陣以及偏移矩陣進行估計。
進一步的，所述圖像拼接模塊44可以包括:重映射單元441，用于根據(jù)所述旋轉(zhuǎn)矩陣以及偏移矩陣將每個場景點對應(yīng)的參考圖像以及待拼接圖像進行重映射；以及融合單元442，用于將每個場景點對應(yīng)的經(jīng)過重映射的待拼接圖像與參考圖像進行融合。相對于現(xiàn)有技術(shù)，本實施例所提出的圖像拼接處理裝置利用多個場景點對應(yīng)的圖像的匹配興趣點估計圖像采集設(shè)備之間的旋轉(zhuǎn)矩陣以及偏移矩陣，然后根據(jù)所估計出的旋轉(zhuǎn)矩陣以及偏移矩陣再分別對每個場景點對應(yīng)的圖像進行拼接，這樣可以減少因取景方向不同的圖像采集設(shè)備之間的成像面不同所帶來的視差影響以及因圖像采集設(shè)備在不同的場景點取景時姿態(tài)關(guān)系發(fā)生變化所帶來的設(shè)備抖動的影響，使這些影響所帶來的誤差分散的更加平均，可以改善圖像的拼接質(zhì)量，使得圖像的拼接縫隙更小甚至可以達到無縫拼接。需要說明的是，本說明書中的各個實施例均采用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似的部分互相參見即可。對于裝置類實施例而言，由于其與方法實施例基本相似，所以描述的比較簡單，相關(guān)之處參見方法實施例的部分說明即可。需要說明的是，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者裝置中還存在另 外的相同要素。本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述實施例的全部或部分步驟可以通過硬件來完成，也可以通過程序來指令相關(guān)的硬件完成，所述的程序可以存儲于一種計算機可讀存儲介質(zhì)中，上述提到的存儲介質(zhì)可以是只讀存儲器，磁盤或光盤等。以上所述，僅是本申請的較佳實施例而已，并非對本申請作任何形式上的限制，雖然本申請已以較佳實施例揭露如上，然而并非用以限定本申請，任何熟悉本專業(yè)的技術(shù)人員，在不脫離本申請技術(shù)方案范圍內(nèi)，當(dāng)可利用上述揭示的技術(shù)內(nèi)容做出些許更動或修飾為等同變化的等效實施例，但凡是未脫離本申請技術(shù)方案內(nèi)容，依據(jù)本申請的技術(shù)實質(zhì)對以上實施例所作的任何簡單修改、等同變化與修飾，均仍屬于本申請技術(shù)方案的范圍內(nèi)。
權(quán)利要求
1.一種圖像拼接處理方法，其特征在于，所述方法包括: 獲取多個場景點對應(yīng)的圖像，每個場景點對應(yīng)的圖像中包括參考圖像以及待拼接圖像，所述參考圖像與所述待拼接圖像由取景方向不同的圖像采集設(shè)備所采集，且所述參考圖像與所述待拼接圖像具有重疊區(qū)域； 分別提取每個場景點對應(yīng)的參考圖像與待拼接圖像之間的匹配興趣點； 利用多個場景點對應(yīng)的匹配興趣點估計所述取景方向不同的圖像采集設(shè)備之間的旋轉(zhuǎn)矩陣以及偏移矩陣；以及 根據(jù)所述旋轉(zhuǎn)矩陣以及偏移矩陣分別對每個場景點對應(yīng)的圖像進行拼接。
2.如權(quán)利要求1所述的圖像拼接處理方法，其特征在于:所述分別提取每個場景點對應(yīng)的參考圖像與待拼接圖像之間的匹配興趣點的步驟包括: 對每個場景點對應(yīng)的參考圖像以及待拼接圖像進行預(yù)處理； 提取經(jīng)過預(yù)處理的參考圖像以及待拼接圖像的興趣點； 提取每個興趣點對應(yīng)的圖像特征；以及 通過比對經(jīng)過預(yù)處理的參考圖像的興趣點與待拼接圖像的興趣點對應(yīng)的圖像特征之間的距離，提取出每個場景點對應(yīng)的參考圖像與待拼接圖像之間的匹配興趣點。
3.如權(quán)利要求2所述的圖像拼接處理方法，其特征在于:每個興趣點對應(yīng)的圖像特征包括HOG特征或LBP特征。
4.如權(quán)利要求1所述的圖像拼接處理方法，其特征在于:采用Levenberg-Marquardt算法利用多個場景點對應(yīng)的匹配興趣`點對所述取景方向不同的圖像采集設(shè)備之間的旋轉(zhuǎn)矩陣以及偏移矩陣進行估計。
5.如權(quán)利要求1所述的圖像拼接處理方法，其特征在于:所述根據(jù)所述旋轉(zhuǎn)矩陣以及偏移矩陣分別對每個場景點對應(yīng)的圖像進行拼接的步驟，包括: 根據(jù)所述旋轉(zhuǎn)矩陣以及偏移矩陣將每個場景點對應(yīng)的參考圖像以及待拼接圖像進行重映射；以及 將每個場景點對應(yīng)的經(jīng)過重映射的待拼接圖像與參考圖像進行融合。
6.一種圖像拼接處理裝置，其特征在于，所述裝置包括: 圖像獲取模塊，用于獲取多個場景點對應(yīng)的圖像，每個場景點對應(yīng)的圖像中包括參考圖像以及待拼接圖像，所述參考圖像與所述待拼接圖像由取景方向不同的圖像采集設(shè)備所采集，且所述參考圖像與所述待拼接圖像具有重疊區(qū)域； 匹配興趣點提取模塊，用于分別提取每個場景點對應(yīng)的參考圖像與待拼接圖像之間的匹配興趣點； 矩陣計算模塊，用于利用多個場景點對應(yīng)的匹配興趣點估計所述取景方向不同的圖像采集設(shè)備之間的旋轉(zhuǎn)矩陣以及偏移矩陣；以及 圖像拼接模塊，用于根據(jù)所述旋轉(zhuǎn)矩陣以及偏移矩陣分別對每個場景點對應(yīng)的圖像進行拼接。
7.如權(quán)利要求6所述的圖像拼接處理裝置，其特征在于:所述匹配興趣點提取模塊，包括: 預(yù)處理單元，用于對每個場景點對應(yīng)的參考圖像以及待拼接圖像進行預(yù)處理； 興趣點提取單元，用于提取經(jīng)過預(yù)處理的參考圖像以及待拼接圖像的興趣點；圖像特征提取單元，用于提取每個興趣點對應(yīng)的圖像特征；以及匹配興趣點提取單元，用于通過比對經(jīng)過預(yù)處理的參考圖像的興趣點與待拼接圖像的興趣點對應(yīng)的圖像特征之間的距離，提取出每個場景點對應(yīng)的參考圖像與待拼接圖像之間的匹配興趣點。
8.如權(quán)利要求7所述的圖像拼接處理裝置，其特征在于:每個興趣點對應(yīng)的圖像特征包括HOG特征或LBP特征。
9.如權(quán)利要求6所述的圖像拼接處理裝置，其特征在于:所述矩陣計算模塊采用Levenberg-Marquardt算法利用多個場景點對應(yīng)的匹配興趣點對所述取景方向不同的圖像采集設(shè)備之間的旋轉(zhuǎn)矩陣以及偏移矩陣進行估計。
10.如權(quán)利要求6所述的圖像拼接處理裝置，其特征在于:所述圖像拼接模塊，包括: 重映射單元，用于根據(jù)所述旋轉(zhuǎn)矩陣以及偏移矩陣將每個場景點對應(yīng)的參考圖像以及待拼接圖像進行重映射；以及 融合單元，用 于將每個場景點對應(yīng)的經(jīng)過重映射的待拼接圖像與參考圖像進行融合。
全文摘要
本申請?zhí)峁┮环N圖像拼接處理方法及裝置，所述方法包括獲取多個場景點對應(yīng)的圖像，每個場景點對應(yīng)的圖像中包括參考圖像以及待拼接圖像，參考圖像與待拼接圖像由取景方向不同的圖像采集設(shè)備所采集，且參考圖像與待拼接圖像具有重疊區(qū)域；分別提取每個場景點對應(yīng)的參考圖像與待拼接圖像之間的匹配興趣點；利用多個場景點對應(yīng)的匹配興趣點估計取景方向不同的圖像采集設(shè)備之間的旋轉(zhuǎn)矩陣以及偏移矩陣；根據(jù)旋轉(zhuǎn)矩陣以及偏移矩陣分別對每個場景點對應(yīng)的圖像進行拼接。本申請利用多個場景點對應(yīng)的圖像的匹配興趣點估計圖像采集設(shè)備的外參對每個場景點對應(yīng)的圖像進行拼接，減少了因圖像采集設(shè)備所帶來的誤差分散的更加平均，改善了圖像的拼接質(zhì)量。
文檔編號G06T3/40GK103150715SQ20131007925
公開日2013年6月12日 申請日期2013年3月13日 優(yōu)先權(quán)日2013年3月13日
發(fā)明者桂天宜 申請人:騰訊科技(深圳)有限公司