專利名稱：圖像拼接方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種圖像拼接方法及裝置。
背景技術(shù)：
通過反/折射系統(tǒng)、魚眼透鏡等硬件設(shè)備能夠直接建立無縫廣角圖像，但由 于這些硬件設(shè)備是在有限的成像面上捕獲盡可能多的信息，導(dǎo)致了建立的無縫 廣角圖像產(chǎn)生嚴(yán)重失真。
通過將數(shù)字成像設(shè)備可以拍攝到數(shù)字格式的圖像，將多幅數(shù)字圖像拼接可 以獲取一幅視場寬度較大的數(shù)字全景圖像，并且最終得到的數(shù)字全景圖像失真
較小。目前應(yīng)用較多的圖像拼接技術(shù)包括如下幾種
第一、在一個固定觀測點拍攝多幅觀察方向不同的圖像，然后計算出不同 圖像之間的點到點的映射關(guān)系，這一映射關(guān)系稱為對應(yīng)變換(Homography),主 要表現(xiàn)為平移、旋轉(zhuǎn)、仿射以及投影等形式；接下來將所有的圖像按照對應(yīng)變 換關(guān)系投影到統(tǒng) 一 的坐標(biāo)系下并拼接形成 一 個視場寬度較大的圖像，或者形成 一個360°視野的圖像；最后采用平滑函數(shù)消除在圖像拼接時在重疊區(qū)域上出現(xiàn) 的縫隙。
這種圖像拼接方法通常被用于互聯(lián)網(wǎng)上的虛擬漫游，登入網(wǎng)站的游客可以 瀏覽真實世界中景物的全景影像。但由于該拼接方法只有在固定觀測點拍攝到 的圖像才有意義，這就要求必須在同一個靜止位置拍攝得到所有圖像，否則， 在拼接出來的圖像會由于視差產(chǎn)生的重影，使得拼接處出現(xiàn)不自然的過渡。而 實際運用時，很難做到在同一個靜止位置拍攝，即攝像機繞光心旋轉(zhuǎn)拍攝使 得拍攝到的多幅圖像其光心重合。第二、在獲取到多幅視點不同的圖像后，先以視點之間某些連續(xù)中間點作 為視點重新構(gòu)建圖像，然后找出原來獲取的圖像以及重構(gòu)的圖像中重疊的區(qū)域， 再根據(jù)重疊區(qū)域進(jìn)行圖像拼接。
以中間點作為視點重構(gòu)圖像的方法能夠減少兩個視點視差對拼接圖像造成 的重影。但是，如果原始圖像的視差過大，為了減少拼接圖像的重影，需要生 成過多中間點圖像，導(dǎo)致運算量過大。對于兩個以上視點圖像進(jìn)行拼接，也將 產(chǎn)生過多中間點圖像，導(dǎo)致圖像拼接耗費過多時間。
第三、通過標(biāo)定攝像機的方法獲取攝像機的焦距、主點坐標(biāo)、畸變因子以 及旋轉(zhuǎn)角度和位置等參數(shù)，以便對攝像機拍攝的圖像進(jìn)行映射關(guān)系的計算。
以上第三種方法中，需要對攝像機進(jìn)行標(biāo)定，而標(biāo)定是計算機領(lǐng)域較難的 課題。同時，為了在進(jìn)行視差補償時不用考慮背景的視差，該方法還需要將拍 攝圖像的背景設(shè)置成單一背景。

發(fā)明內(nèi)容
本發(fā)明的實施例提供一種圖像拼接方法及裝置，在不需要對應(yīng)用場景進(jìn)行 嚴(yán)格限制的情況下，減少拼接后的圖像中的重影。
為達(dá)到上述目的，本發(fā)明的實施例采用如下技術(shù)方案 一種圖像拼接方法，包括
獲取兩幅圖像，所述兩幅圖像之間存在重疊區(qū)域；
查找所述兩幅圖像的重疊區(qū)域；
獲取所述重疊區(qū)域的深度根據(jù)所述深度圖將所述兩幅圖像拼接成一幅圖像。
一種圖像拼接裝置，包括
第一獲取單元，用于獲取兩幅圖像，所述兩幅圖像之間存在重疊區(qū)域；查找單元，用于查找所述兩幅圖像的重疊區(qū)域； 第二獲取單元，用于獲取所述重疊區(qū)域的深度圖； 拼接單元，用于根據(jù)所述深度圖將所述兩幅圖像拼接成一幅圖像。 本發(fā)明實施例提供的圖像拼接方法及裝置，在對兩幅圖像進(jìn)行拼接時，先 找到兩者的重疊區(qū)域，然后獲取重疊區(qū)域的深度圖，由于深度圖能夠精確反映 各個像素點距離攝像機的距離。如果拍攝圖像的背景不是單一背景，圖像中的 信息由于距離攝像機的遠(yuǎn)近不同造成視差不同，使得圖像中的像素位于不同的 層次，由于本實施例可以通過深度圖進(jìn)行精確計算出各個層次的視差，使得進(jìn) 行圖像拼接時能夠?qū)χ丿B區(qū)域的像素進(jìn)行精確處理，以減少拼接后圖像中的重 影。所以，本實施例提供的圖像拼接方法及裝置能夠在不需要對應(yīng)用場景進(jìn)行 嚴(yán)格限制的情況下，減少拼接后的圖像中的重影。
同時，由于本實施例中只利用了兩幅圖像，以及重疊區(qū)域的深度圖進(jìn)行拼 接處理，不需要重新計算中間視點的圖像，能夠節(jié)約大量的運算。


圖1為本發(fā)明實施例1中圖像拼接方法的流程圖； 圖2為本發(fā)明實施例1中圖像拼接裝置的結(jié)構(gòu)示意圖； 圖3為本發(fā)明實施例2中圖像拼接方法的流程圖； 圖4為本發(fā)明實施例2中深度和視差的幾何關(guān)系圖； 圖5為本發(fā)明實施例2中圖係Jf接裝置的結(jié)構(gòu)示意圖； 圖6為本發(fā)明實施例2中第二獲取單元的結(jié)構(gòu)示意圖； 圖7為本發(fā)明實施例3中圖像拼接方法的流程圖； 圖8為本發(fā)明實施例3中圖像拼接裝置的結(jié)構(gòu)示意圖。
具體實施方式
下面結(jié)合附圖對本發(fā)明實施例圖像拼接方法及裝置進(jìn)行詳細(xì)描述。
實施例1:
如圖1所示，本實施例4是供一種圖^f象拼接方法，該方法包括如下步驟
101、 獲取兩幅圖像，這兩幅圖像可以是實時地通過攝像機拍攝得到，也可 以從已經(jīng)拍攝好的圖像庫中提取。
102、 如果這兩幅圖像是可以拼接到一起的，那么這兩幅圖像的景物之間應(yīng) 該存在相同的部分，本步驟就是查找所述兩幅圖像的重疊區(qū)域。
在查找重疊區(qū)域可以采用如下方法SIFT ( Scale-Invariant Features: 尺度不變的特征)特征點檢測方法、Harris特征點檢測方法、Susan特征點檢 測方法、立體圖像匹配方法、或者其他特征點;險測方法等。在某些情況下還可 以采用手動選取特征點的方法得到重疊區(qū)域。
其中，SIFT特征點檢測方法是目前較優(yōu)秀的一種特征點檢測方法，滿足仿 射不變，故而本實施例中采用SIFT特征點;險測方法來查找重疊區(qū)域。
103、 為了能夠精確拼接圖像，本實施例需要得到重疊區(qū)域的立體信息，故 而在本步驟中需要獲取所述重疊區(qū)域的深度圖以表征重疊區(qū)域的立體信息。
104、 根據(jù)所述深度圖將所述兩幅圖像拼接成一幅圖像，使得拼接后的圖像 在重疊區(qū)域內(nèi)部會出現(xiàn)重影。
如圖2所示，本實施例還提供一種圖像拼接裝置，該裝置包括第一獲取 單元21、查找單元22、第二獲取單元23和拼接單元24。
其中，第一獲取單元21用于獲取兩幅圖像，如果所述兩幅圖像是實時地通 過攝像機拍攝得到，那么該第一獲取單元21就是一對攝像機，如果所述兩幅圖 像是從已經(jīng)拍攝好的圖像庫中提取，那么該第一獲取單元21就是輸入接口。所 述查找單元22用于查找所述兩幅圖像的重疊區(qū)域，該查找單元可以采用上述步驟102中介紹的工作原理；所述第二獲取單元23用于獲取查找單元查找到的重 疊區(qū)域的深度圖；所述拼接單元24用于根據(jù)所述深度圖將所述兩幅圖像拼接成 一幅圖像。
采用本實施例的圖像拼接方法及裝置后，如果拍攝圖像的背景不是單一背 景，使得圖像中的像素位的層次較多，由于本實施例可以通過深度圖進(jìn)行精確 計算出各個層次的視差，使得進(jìn)行圖像拼接時能夠?qū)χ丿B區(qū)域的像素進(jìn)行精確 處理，以減少拼接后圖像中的重影。
實施例2:
如圖3所示，本實施例提供一種圖傳4并接方法，該方法包括如下步驟
301、 通過兩臺攝像機分別拍攝兩幅圖像，在這兩幅圖像的景物之間存在重 疊的部分。
302、 查找所述兩幅圖像之間的重疊區(qū)域，在實際應(yīng)用時，可以采用如下方 法查找兩幅圖4象之間的重疊區(qū)i或SIFT ( Scale-Invariant Features:尺度不 變的特征)特征點檢測方法、Harris特征點檢測方法、Susan特征點檢測方法、 立體圖^f象匹配方法、或者其他特征點;險測方法等。在某些情況下還可以采用手 動選取特征點的方法得到重疊區(qū)域。
303、 通過深度攝像機直接獲取所述重疊區(qū)域的深度圖，該深度攝像機通過 物理方法直接測量到景物距離深度攝像機的距離，如向景物發(fā)射電^F茲波、紅 外線等，根據(jù)景物反射電磁波或紅外線所需的時間確定景物距離深度攝像機的 距離。這就相當(dāng)于本實施例中需要通過步驟301中提到的兩個普通攝像機獲取 圖像，還需要通過該深度攝像機獲取深度圖。
以上為其中一種獲取重疊區(qū)域深度圖的方法，在實際應(yīng)用時，可以根據(jù)場 景的不同選擇其他獲取深度圖的方法，例如通過計算兩幅圖像中的視差來確定深度圖。
其中視差表示由于兩個攝像機之間存在距離，并且景物點距離攝像機(深 度)不能無窮遠(yuǎn)，使得同一個景物點在兩個攝像機中成像位置不同。
一般，深
度越大，視差越?。簧疃仍叫?，視差越大。
如圖4所示，視差^和深度、的關(guān)系推導(dǎo)過程如下
其中A-A為視差，D表示攝像機的焦距，^攝像機之間的距離，當(dāng)深度 較小時，則視差P和深度、的關(guān)系可以等效為P*, 。
所以，可以通過圖像匹配的方法計算出視差后，再通過視差計算出深度圖。 本實施例中，可以采用的方法包括如下兩種
第一、直接計算所述兩幅圖像重疊區(qū)域內(nèi)對應(yīng)像素之間的視差，并根據(jù)視 差計算重疊區(qū)域的深度圖。
第二、在兩個3見點重新獲取所述重疊區(qū)域內(nèi)的兩幅圖{象，計算重新獲取的 兩幅圖像中對應(yīng)像素之間的視差，并根據(jù)視差計算重疊區(qū)域內(nèi)的深度圖。
上述第一種方法不需要單獨獲取圖像用來計算;f見差，能夠節(jié)約部分?jǐn)z像機， 采用第二種方法需要再設(shè)置一個雙目攝像機。
獲取到重疊區(qū)域的深度圖后，就可以進(jìn)行圖像拼接了，下面步驟具體介紹 圖像拼接過程。
304、 計算所述兩幅圖像之間的單應(yīng)性矩陣，所述兩幅圖像上的像素點均在 所述單應(yīng)性矩陣內(nèi)存在對應(yīng)的矩陣元素。
305、 由于每幅圖像中的像素點均和單應(yīng)性矩陣中的矩陣元素對應(yīng)，可以將
p = x丑1將第一幅圖像按照其像素點與單應(yīng)性矩陣的矩陣元素的對應(yīng)關(guān)系映射到目標(biāo)坐 標(biāo)系中。
一般情況這種映射就相當(dāng)于將第一幅圖像中的全部像素點完整地映射到目 標(biāo)坐標(biāo)系，所以，所述目標(biāo)坐標(biāo)系可以就是所述第一幅圖像的坐標(biāo)系，這樣就 不用對第 一 幅圖像進(jìn)行復(fù)雜的映射操作，只需要完整保留第 一 幅圖像就可以完 成本步驟中的映射功能。
306、 由步驟304中的介紹可知，視差"和深度^的關(guān)系為 ~ D D 表示攝像機的焦距，^攝像機之間的距離。所以，可以根據(jù)深度圖中深度值分
別計算重疊區(qū)域內(nèi)兩幅圖像上每對對應(yīng)像素之間的視差。
307、 判斷計算出的視差是否超出預(yù)定的視差范圍，如果超出預(yù)定的視差范 圍，執(zhí)行步驟309;否則執(zhí)行步驟308。考慮到拼接圖像的精度要求， 一般情況 下，這個預(yù)定的視差范圍最好是0個像素到1個像素。
308、 舍棄第二幅圖像的像素點，并執(zhí)行步驟310。
309、 將第二幅圖像的像素點映射到目標(biāo)坐標(biāo)系中第一幅圖像對應(yīng)像素點的 坐標(biāo)上，即計算所述兩幅圖像中對應(yīng)像素點的加權(quán)平均色度值和加權(quán)平均亮 度值，并將該加權(quán)平均色度值和加權(quán)平均亮度值分別作為目標(biāo)坐標(biāo)系中第一幅 圖像對應(yīng)像素點的色度值和亮度值，然后執(zhí)行步驟310。
310、 判斷所述重疊區(qū)域的像素是否處理完畢，如果處理完畢執(zhí)行步驟311; 否則執(zhí)行步驟306。
311、 將第二幅圖像中在重疊區(qū)域以外的像素按照其與單應(yīng)性矩陣的對應(yīng)關(guān) 系映射到目標(biāo)坐標(biāo)系中，這一步的操作就相當(dāng)于將非重疊區(qū)域的像素直接映射 到目標(biāo)坐標(biāo)系中，本實施例的目標(biāo)坐標(biāo)系為第一幅圖^f象的坐標(biāo)系。
對應(yīng)于上述圖像拼接方法，本實施例還提供一種圖像拼接裝置，如圖5所示，該裝置包括第一獲取單元51、查找單元52、第二獲取單元53以及拼接 單元54。
其中，第一獲取單元51用于獲取兩幅圖像，本實施例兩幅圖像是實時地通 過攝像機拍攝得到，所以，所述第一獲取單元51就是一對普通的攝像機；所述 查找單元52用于查找所述兩幅圖像的重疊區(qū)域。
通過對重疊區(qū)域的拼接就可以完成圖像的拼接，為了減少重疊區(qū)域的拼接 時產(chǎn)生的重影，首先需要獲取重疊區(qū)域的深度圖，本實施例中第二獲取單元53 用于獲取所述重疊區(qū)域的深度圖。第二獲取單元53包括如下實現(xiàn)方式
第 一 、將第二獲取單元5 3直接取為深度攝像機，。
第二、所述第二獲取單元53包括計算模塊531，該計算模塊531用于計算 所述兩幅圖像重疊區(qū)域內(nèi)對應(yīng)像素之間的視差，并根據(jù)視差計算重疊區(qū)域的深
度圖，其中，視差P和深度、的關(guān)系為P 5 ，D表示攝像機的焦距，^攝 像機之間的距離。
第三、如圖6所示，所述第二獲取單元包括獲取^模塊61和計算模塊62。 其中，獲取模塊61用于在兩個視點重新獲取所述重疊區(qū)域內(nèi)的兩幅圖像， 相當(dāng)于一個雙目攝像機；計算模塊62用于計算重新獲取的兩幅圖像中對應(yīng)像素
之間的視差，并根據(jù)視差計算重疊區(qū)域內(nèi)的深度圖，其中，視差戶和深度Zp的關(guān)
X丑
系為P D、， D表示攝像機的焦距，^攝像機之間的距離。
得到上述的深度圖后，拼接單元54根據(jù)所述深度圖將所述兩幅圖像拼接成 一幅圖像。其中拼接單元54包括第一計算模塊541、映射模塊542和第二計算 模塊543。
第一計算模塊541用于計算所述兩幅圖像之間的單應(yīng)性矩陣，所述兩幅圖向上的像素點在該單應(yīng)性矩陣內(nèi)均有對應(yīng)的矩陣元素，并且如果這兩幅圖^^中 像素點對應(yīng)于景物中的同 一點，則這兩個像素點對應(yīng)于單應(yīng)性矩陣中的同 一個
矩陣元素。映射模塊542用于將第一幅圖像按照其與單應(yīng)性矩陣的對應(yīng)關(guān)系映 射到目標(biāo)坐標(biāo)系中；第二計算模塊543用于根據(jù)所述深度圖計算所述重疊區(qū)域 內(nèi)兩幅圖像上對應(yīng)像素之間的視差。當(dāng)視差在預(yù)定視差范圍內(nèi)時，所述映射模 塊542直接舍棄第二幅圖像的像素點；當(dāng)視差超出預(yù)定視差范圍時，所述映射 模塊542將第二幅圖像的像素點映射到目標(biāo)坐標(biāo)系中第一幅圖像對應(yīng)像素點的 坐標(biāo)上，即計算所述兩幅圖像中對應(yīng)像素點的加權(quán)平均色度值和加權(quán)平均亮 度值，并將所述加權(quán)平均色度值和加權(quán)平均亮度值分別作為目標(biāo)坐標(biāo)系中第一 幅圖像對應(yīng)像素點的色度值和亮度值?？紤]到拼接圖像的精度要求， 一般情況 下，這個預(yù)定的視差范圍最好是0個像素到1個像素。在完成重疊區(qū)域的映射 后，本實施例中的映射模塊542還需要將第二幅圖像中在重疊區(qū)域以外的像素 按照其與單應(yīng)性矩陣的對應(yīng)關(guān)系映射到目標(biāo)坐標(biāo)系中，使得拼接后的圖像是一
個完整的圖像，不會丟失原有數(shù)據(jù)。
采用本實施例的圖像拼接方法及裝置后，如果拍攝圖^f象的背景不是單一背 景，使得圖像中的像素位的層次較多，由于本實施例可以通過深度圖進(jìn)行精確 計算出各個層次的視差，使得進(jìn)行圖像拼接時能夠?qū)χ丿B區(qū)域的像素進(jìn)行精確 處理，以減少拼接后圖像中的重影。并且本實施例中沒有采用對攝像機進(jìn)行標(biāo) 定的技術(shù)，P條低了本實施例應(yīng)用時的難度。
并且由于本實施例不需要計算大量的中間視點圖像，相對于采用中間視點 進(jìn)行圖像拼接的方法而言，本實施例能夠節(jié)約更多的計算資源。采用中間-脫點 圖像拼接的方法，在兩個視點觀察同一個物體時，由于其中一個視點能夠看到， 而另一個視點不能看到，在生成中間點圖像時就可能會產(chǎn)生遮擋或者空洞，需要準(zhǔn)確計算遮擋關(guān)系，并進(jìn)行空洞填充。而本實施例采用深度圖表示圖像的立 體信息，使得在拼接后的圖像中能夠直接通過深度信息來確定遮擋關(guān)系，而且 沒有空洞的產(chǎn)生。
本實施例在應(yīng)用時，直接采用的時兩個攝像機同時拍攝的圖像，而這種情 況沒有限制攝像機的光心要在同一點，所以，本實施例允許攝像機在在拍攝圖 像時其光心位于不同的點。
實施例3:
如圖7所示，本實施例提供一種圖像拼接方法，該方法包括如下步驟
701、 通過兩臺攝像機分別拍攝兩幅圖像，在這兩幅圖像的景物之間存在重 疊的部分。
702、 查找所述兩幅圖像之間的重疊區(qū)域，在實際應(yīng)用時，可以采用如下方 法查找兩幅圖《象之間的重疊區(qū)i或SIFT ( Scale-Invariant Features:尺度不 變的特征)特征點4僉測方法、Harris特征點4企測方法、Susan特征點檢測方法、 立體圖像匹配方法、或者其他特征點檢測方法等。在某些情況下還可以采用手 動選取特征點的方法得到重疊區(qū)域。
703、 通過深度攝像機直接獲取所述重疊區(qū)域的深度圖，該深度攝像機通過 物理方法直接測量到景物距離深度攝像機的距離，如向景物發(fā)射電磁波、紅 外線等，根據(jù)景物反射電磁波或紅外線所需的時間確定景物距離深度攝像機的 距離。這就相當(dāng)于本實施例中需要通過步驟701中提到的兩個普通攝像機獲取 圖像，還需要通過該深度攝像機獲取深度圖。
以上為其中一種獲取重疊區(qū)域深度圖的方法，在實際應(yīng)用時，可以根據(jù)場 景的不同選擇其他獲取深度圖的方法，例如通過計算兩幅圖像中的視差來確定 深度圖。704、 根據(jù)所述深度圖生成所述兩幅圖像視點之間連續(xù)的中間虛擬視點圖
像。具體為根據(jù)以下公式計算虛擬視點圖像與已知圖像之間的視差 d=A101' -A202, =f * (C01-C02) /Z=f ，0 /Z。
其中，d為虛擬視點圖像與已知視圖之間的視差，f為攝#4幾的焦距，~。為 虛擬視點之間的距離，Z為圖像的深度。
結(jié)合上述計算處的視差和已知圖像可以生成中間虛擬視點圖像，具體公式
為
、=" ~ + &，其中，^為已知圖像上像素點的橫坐標(biāo)，、為已知圖像上
的像素點在中間虛擬視點圖像上對應(yīng)的橫坐標(biāo)，B為兩個原攝像點之間的距離，
&。為中間虛擬視點與其中一個原攝像點之間的距離。
705、 將所述兩幅圖像和中間虛擬視點圖像拼接成一幅圖像，可以將所有的
圖像按照視點的順序排列，然后依次兩兩圖像之間進(jìn)行拼接。
對應(yīng)于上述圖像拼接方法，本實施例還提供一種圖像拼接裝置，如圖8所 示，該裝置包括第一獲取單元81、查找單元82、第二獲取單元83以及拼接 單元84。
其中，第一獲取單元81用于獲取兩幅圖像，本實施例兩幅圖像是實時地通 過攝像機拍攝得到，所以，所述第一獲取單元81就是一對普通的攝像機；所述 查找單元82用于查找所述兩幅圖像的重疊區(qū)域。所述第二獲取單元83為深度 攝像機，用于獲取所述重疊區(qū)域的深度圖。
所述拼接單元84包括生成模塊841和拼接模塊842。
所述生成模塊841用于根據(jù)所述深度圖生成所述兩幅圖像視點之間連續(xù)的 中間虛擬視點圖像；具體為根據(jù)以下公式計算中間虛擬視點圖像與已知圖像之 間的視差d=A10r -A202' =f * (C01-C02) /Z=f * ^。 /Z。其中，d為虛擬視點圖像與已知視圖之間的視差，f為攝像機的焦距，&。為 虛擬視點之間的距離，Z為圖像的深度。
結(jié)合上述計算處的視差和已知圖像可以生成中間虛擬視點圖像，具體公式
為
、=^/*^ + ; :。，其中，A為已知圖像上像素點的橫坐標(biāo)，、為已知圖像上
的像素點在中間虛擬視點圖像上對應(yīng)的橫坐標(biāo)，B為兩個原攝像點之間的距離，
^。為中間虛擬視點與其中一個原攝像點之間的距離。
所述拼接模塊842用于將所述兩幅圖像和中間虛擬視點圖像拼接成一幅圖
像。拼接模塊842將所有的圖像按照視點的順序排列，然后依次兩兩圖像之間
進(jìn)行拼接。
本實施例中采用的拼接方法和實現(xiàn)相應(yīng)功能的裝置采用通過深度圖直接計 算中間虛擬視點的圖像，然后將中間虛擬視點圖像和原始的兩幅圖像拼接成一 幅圖像。由于是采用深度圖直接計算中間虛擬視點圖像，相對于現(xiàn)有技術(shù)中通 過兩幅圖像來計算中間虛擬視點圖像而言，本實施例的計算更加快捷。
本發(fā)明實施例將兩個從不同視點分別獲取到兩幅圖4象，計算出重疊區(qū)域的 深度圖，從而利用深度圖進(jìn)行拼接，使得拼接圖像的應(yīng)用范圍不再局限于同一 視點獲取的圖像。當(dāng)然，在同一視點獲取的兩幅圖像，如果兩者具有重疊區(qū)域， 也是可以采用本發(fā)明實施例進(jìn)行拼接的。
上述實施例只是采用了兩幅圖像進(jìn)行說明，在具體進(jìn)行多幅圖像的拼接時， 需要先將兩幅圖像拼接完成，然后將拼接后的圖像和第三幅圖像按照上述方法 進(jìn)行拼接， 一次類推，即可得到多幅圖像拼接成的寬廣視角圖像。
本實施例涉及的方法和裝置可以用在多場景的視頻會議、獲取寬廣視角圖 像或視頻的技術(shù)中。以上所述，僅為本發(fā)明的具體實施方式
，但本發(fā)明的保護范圍并不局限于 此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到 的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍 應(yīng)所述以權(quán)利要求的保護范圍為準(zhǔn)。
權(quán)利要求
1、一種圖像拼接方法，其特征在于，包括獲取兩幅圖像，所述兩幅圖像之間存在重疊區(qū)域；查找所述兩幅圖像的重疊區(qū)域；獲取所述重疊區(qū)域的深度圖；根據(jù)所述深度圖將所述兩幅圖像拼接成一幅圖像。
2、 根據(jù)權(quán)利要求1所述的圖像拼接方法，其特征在于，獲取所述重疊區(qū)域 的深度圖包括利用深度攝像機直接獲取所述重疊區(qū)域的深度圖；或者 計算所述兩幅圖像重疊區(qū)域內(nèi)對應(yīng)像素之間的視差，并根據(jù)所述視差計算重疊區(qū)域的深度圖；或者在兩個視點重新獲取所述重疊區(qū)域內(nèi)的兩幅圖像，計算重新獲取的兩幅圖像中對應(yīng)像素之間的視差，并根據(jù)視差計算重疊區(qū)域內(nèi)的深度圖。
3、 根據(jù)權(quán)利要求l所述的圖像拼接方法，其特征在于，根據(jù)所述深度圖將 所述兩幅圖像拼接成一幅圖像包括計算所述兩幅圖像之間的單應(yīng)性矩陣；將第一幅圖像按照其與單應(yīng)性矩陣的對應(yīng)關(guān)系映射到目標(biāo)坐標(biāo)系中； 根據(jù)所述深度圖計算所述重疊區(qū)域內(nèi)兩幅圖像上對應(yīng)像素之間的視差； 若視差在預(yù)定視差范圍內(nèi)，則舍棄第二幅圖像的像素點； 若視差超出預(yù)定視差范圍，則將所述第二幅圖像在所述重疊區(qū)域內(nèi)的像素 點映射到目標(biāo)坐標(biāo)系中第一幅圖像的對應(yīng)像素點的坐標(biāo)上；將第二幅圖像中在重疊區(qū)域以外的像素按照其與單應(yīng)性矩陣的對應(yīng)關(guān)系映射到目標(biāo)坐標(biāo)系中。
4、 根據(jù)權(quán)利要求3所述的圖像拼接方法，其特征在于，所述目標(biāo)坐標(biāo)系為所述第 一幅圖像的坐標(biāo)系。
5、 根據(jù)權(quán)利要求3所述的圖像拼接方法，其特征在于，將所述第二幅圖像 在所述重疊區(qū)域內(nèi)的像素點映射到目標(biāo)坐標(biāo)系中第一幅圖像的對應(yīng)像素點的坐 標(biāo)上為計算所述兩幅圖像中對應(yīng)像素點的加權(quán)平均色度值和加權(quán)平均亮度值， 并將該加權(quán)平均色度值和加權(quán)平均亮度值分別作為目標(biāo)坐標(biāo)系中第一幅圖像對 應(yīng)像素點的色度值和亮度值。
6、 根據(jù)權(quán)利要求1所述的圖像拼接方法，其特征在于，根據(jù)所述深度圖將 所述兩幅圖像拼接成一幅圖像包括根據(jù)所述深度圖生成所述兩幅圖4I^見點之間連續(xù)的中間虛擬視點圖像； 將所述兩幅圖像和中間虛擬視點圖像拼接成一幅圖像。
7、 一種圖像拼接裝置，其特征在于，包括第一獲取單元，用于獲取兩幅圖像，所述兩幅圖像之間存在重疊區(qū)域；查找單元，用于查找所述兩幅圖像的重疊區(qū)域；第二獲取單元，用于獲取所述重疊區(qū)域的深度圖；拼接單元，用于根據(jù)所述深度圖將所述兩幅圖像拼接成一幅圖像。
8、 根據(jù)權(quán)利要求7所述的圖像拼接裝置，其特征在于，所述第二獲取單元 為深度攝像機。
9、 根據(jù)權(quán)利要求7所述的圖像拼接裝置，其特征在于，所述第二獲取單元 包括計算模塊，用于計算所述兩幅圖像重疊區(qū)域內(nèi)對應(yīng)像素之間的視差，并根 據(jù)所述視差計算重疊區(qū)域的深度圖。
10、 根據(jù)權(quán)利要求7所述的圖像拼接裝置，其特征在于，所述第二獲取單 元包括獲取模塊，用于在兩個視點重新獲取所述重疊區(qū)域內(nèi)的兩幅圖像； 計算模塊，用于計算重新獲取的兩幅圖像中對應(yīng)像素之間的視差，并根據(jù) 視差計算重疊區(qū)域內(nèi)的深度圖。
11、 根據(jù)權(quán)利要求7所述的圖像拼接裝置，其特征在于，所述拼接單元包括第一計算模塊，用于計算所述兩幅圖像之間的單應(yīng)性矩陣； 映射模塊，用于將第一幅圖像按照其與單應(yīng)性矩陣的對應(yīng)關(guān)系映射到目標(biāo) 坐標(biāo)系中；第二計算模塊，用于根據(jù)所述深度圖計算所述重疊區(qū)域內(nèi)兩幅圖像上對應(yīng) 像素之間的視差；所述映射模塊還用于當(dāng)視差超出預(yù)定視差范圍時，將所述第二幅圖像在所 述重疊區(qū)域內(nèi)的像素點映射到目標(biāo)坐標(biāo)系中第 一幅圖像的對應(yīng)像素點的坐標(biāo) 上；所述映射模塊還用于將第二幅圖像中在重疊區(qū)域以外的像素按照其與單應(yīng) 性矩陣的對應(yīng)關(guān)系映射到目標(biāo)坐標(biāo)系中。
12、 根據(jù)權(quán)利要求11所述的圖像拼接裝置，其特征在于，所述映射模塊用 于當(dāng)視差超出預(yù)定視差范圍時，計算所述兩幅圖像中對應(yīng)像素點的加權(quán)平均色 度值和加權(quán)平均亮度值，并將所述加權(quán)平均色度值和加權(quán)平均亮度值分別作為 目標(biāo)坐標(biāo)系中第 一幅圖像對應(yīng)像素點的色度值和亮度值。
13、 根據(jù)權(quán)利要求7所述的圖像拼接裝置，其特征在于，所述拼接單元包括生成模塊，用于根據(jù)所述深度圖生成所述兩幅圖像視點之間連續(xù)的中間虛 擬視點圖像；拼接模塊，用于將所述兩幅圖像和中間虛擬視點圖像拼接成一幅圖像。
全文摘要
本發(fā)明公開了一種圖像拼接方法及裝置，涉及圖像處理技術(shù)，解決了現(xiàn)有技術(shù)中圖像拼接重影問題較嚴(yán)重的問題。本發(fā)明實施例查找兩幅圖像之間的重疊區(qū)域，然后獲取重疊區(qū)域的深度圖，并通過深度圖將兩幅圖像拼接到一起，在拼接過程，可以通過深度圖了解到圖像的立體信息，以便減少重影問題。本實施例主要用在各種多場景的視頻會議、制作寬廣視角圖片或視頻中。
文檔編號G06T7/00GK101673395SQ20081021218
公開日2010年3月17日 申請日期2008年9月10日 優(yōu)先權(quán)日2008年9月10日
發(fā)明者源 劉, 凱 李 申請人:深圳華為通信技術(shù)有限公司