本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種全景視頻拼接方法及裝置。

背景技術(shù)：

隨著視頻監(jiān)控技術(shù)、農(nóng)業(yè)信息化技術(shù)的發(fā)展，視頻監(jiān)控技術(shù)逐漸在農(nóng)業(yè)信息化方面得到了應用。一般的視頻監(jiān)控技術(shù)多采用一個固定的攝像頭對單個場景進行監(jiān)控，對于比較大的區(qū)域如羊場等，就需要20個以上的攝像頭才能覆蓋整個視場范圍，而多攝像機監(jiān)控需要各個攝像機的視場范圍具有一定的重疊區(qū)域，這就需要一種視頻拼接技術(shù)，將多個攝像機采集的分辨率有限的視頻通過計算機技術(shù)進行拼接后形成一個高分辨率大視場視頻。而視頻是由幀圖像構(gòu)成的，所以視頻拼接歸根結(jié)底還是圖像的拼接。視頻拼接工作也是通過將視頻分解為幀圖像，對相應的幀圖像進行圖像融合，再將拼接后的幀圖像壓縮為視頻完成的。

普通的視頻拼接算法只能適應小場景或者運動對象不是太多的情況，無法解決大場景(即比較大的區(qū)域)、大量運動對象的全景視頻流暢播放的問題。

鑒于此，如何對全景視頻進行拼接，以實現(xiàn)大場景、大量運動對象的全景視頻的流暢播放成為目前需要解決的技術(shù)問題。

技術(shù)實現(xiàn)要素：

為解決上述的技術(shù)問題，本發(fā)明提供一種全景視頻拼接方法及裝置，可以對全景視頻進行拼接，實現(xiàn)大場景、大量運動對象的全景視頻的流暢播放。

第一方面，本發(fā)明提供一種全景視頻拼接方法，包括：

獲取目標區(qū)域內(nèi)相鄰兩個視頻傳感器采集的兩個視頻單幀圖像；

提取所述兩個視頻單幀圖像的重疊區(qū)域；

在所述重疊區(qū)域選取預設數(shù)量對種子點；

將所述兩個視頻單幀圖像的坐標由屏幕坐標轉(zhuǎn)換為柱面坐標；

基于轉(zhuǎn)換后的柱面坐標，根據(jù)選取的種子點，提取所述兩個視頻單幀圖像的特征點；

將所述兩個視頻單幀圖像的所有特征點進行匹配，進而將所述兩個視頻單幀圖像進行匹配；

將所述目標區(qū)域內(nèi)所有相鄰兩個視頻傳感器采集的兩個視頻單幀圖像進行匹配，獲取所述目標區(qū)域的單幀全景圖像。

可選地，所述在所述重疊區(qū)域選取預設數(shù)量對種子點，包括：

將所述重疊區(qū)域劃分為預設數(shù)量個子區(qū)域，每一子區(qū)域選取一對種子點。

可選地，所述每一子區(qū)域選取一對種子點，包括：

通過第一公式計算每一子區(qū)域的最大方差來得到每一子區(qū)域的一對種子點q_i；

其中，所述第一公式為：

$q_i=\arg {\max }_k\[{\mathrm{\σ}}_{k,i}^2\],0\≤i\≤3$

其中，為第i塊子區(qū)域第k塊的方差，是通過第二公式計算得到的，k為正整數(shù)，所述第二公式為：

${\mathrm{\σ}}_{k,i}^2=\underset{g}{\overset{G_{MAX}}{\Σ}}{g}^2\·h_g-M_{k,i}^2$

其中，為第i塊子區(qū)域第k塊的平均值，g為灰度值，h_g表示灰度值g的直方圖，G_MAX表示最大灰度值。

可選地，所述將所述兩個視頻單幀圖像的坐標由屏幕坐標轉(zhuǎn)換為柱面坐標，包括：

通過第三公式，將所述兩個視頻單幀圖像的坐標由屏幕坐標(x,y)轉(zhuǎn)換為柱面坐標(θ,v)；

其中，所述第三公式為：

$\mathrm{\θ}={\tan }^{-1}(x/f),v=y/\sqrt{x^2+f^2}$

其中，f為視頻傳感器的焦距。

可選地，所述基于轉(zhuǎn)換后的柱面坐標，根據(jù)選取的種子點，提取所述兩個視頻單幀圖像的特征點，包括：

基于轉(zhuǎn)換后的柱面坐標，通過第四公式匹配圖像塊d_x，d_y的種子點，獲得所述兩個視頻單幀圖像的特征點E(d_x,d_y)；

其中，所述第四公式為：

$E(d_x,d_y)=\underset{(i,j)\∈B}{\Σ}|I(x+i,y+j,k)-I(x+i+d_x,y+j+d_y,k+1)|\·w_{i,j}$

其中，d_x，d_y為圖像塊的位移；I(x+i,y+j,k)為第k幅圖像的坐標為(x+i,y+j)像素的灰度值，I(x+i+d_x,y+j+d_y,k+1)為第k+1幅圖像的坐標為(x+i+d_x,y+j+d_y)像素的灰度值；w_i,j是通過第五公式計算得到的，所述第五公式為：

w_i,j＝d_i,j/D

其中，D為所有像素至圖像塊中心的最大距離；d_i,j為坐標為(i,j)的像素距離圖像塊中心的距離，是通過第六公式計算得到的，所述第六公式為：

$d_{i,j}=\sqrt{i^2+j^2}.$

可選地，所述將所述兩個視頻單幀圖像的所有特征點進行匹配，包括：

通過第七公式，分別計算所述兩個視頻單幀圖像中第一幅圖像的每一個特征點與所述兩個視頻單幀圖像中第二幅圖像的各個特征點的預設大小鄰域的像素值差的平方和SSD；

選取最小的SSD，所述最小的SSD所對應的所述第二幅圖像的特征點與所述最小的SSD所對應的所述第一幅圖像的特征點相匹配；

其中，所述第七公式為：

$SSD=\underset{x,y\∈w}{\Σ}{\[I_1(x,y)-I_2(x,y)\]}^2$

其中，w為鄰域的預設大小，I₁為所述兩個視頻單幀圖像中第一幅圖像的特征點的預設大小鄰域內(nèi)像素的灰度值，I₂為所述兩個視頻單幀圖像中第二幅圖像的特征點的預設大小鄰域內(nèi)像素的灰度值。

第二方面，本發(fā)明提供一種全景視頻拼接裝置，包括：

獲取模塊，用于獲取目標區(qū)域內(nèi)相鄰兩個視頻傳感器采集的兩個視頻單幀圖像；

第一提取模塊，用于提取所述兩個視頻單幀圖像的重疊區(qū)域；

選取模塊，用于在所述重疊區(qū)域選取預設數(shù)量對種子點；

轉(zhuǎn)換模塊，用于將所述兩個視頻單幀圖像的坐標由屏幕坐標轉(zhuǎn)換為柱面坐標；

第二提取模塊，用于基于轉(zhuǎn)換后的柱面坐標，根據(jù)選取的種子點，提取所述兩個視頻單幀圖像的特征點；

第一匹配模塊，用于將所述兩個視頻單幀圖像的所有特征點進行匹配，進而將所述兩個視頻單幀圖像進行匹配；

第二匹配模塊，用于將所述目標區(qū)域內(nèi)所有相鄰兩個視頻傳感器采集的兩個視頻單幀圖像進行匹配，獲取所述目標區(qū)域的單幀全景圖像。

可選地，所述選取模塊，具體用于

將所述重疊區(qū)域劃分為預設數(shù)量個子區(qū)域，每一子區(qū)域選取一對種子點。

可選地，所述選取模塊，具體用于

將所述重疊區(qū)域劃分為預設數(shù)量個子區(qū)域，通過第一公式計算每一子區(qū)域的最大方差來得到每一子區(qū)域的一對種子點q_i；

其中，所述第一公式為：

$q_i=\arg {\max }_k\[{\mathrm{\σ}}_{k,i}^2\],0\≤i\≤3$

其中，為第i塊子區(qū)域第k塊的方差，是通過第二公式計算得到的，k為正整數(shù)，所述第二公式為：

${\mathrm{\σ}}_{k,i}^2=\underset{g}{\overset{G_{MAX}}{\Σ}}{g}^2\·h_g-M_{k,i}^2$

其中，為第i塊子區(qū)域第k塊的平均值，g為灰度值，h_g表示灰度值g的直方圖，G_MAX表示最大灰度值。

可選地，所述轉(zhuǎn)換模塊，具體用于

通過第三公式，將所述兩個視頻單幀圖像的坐標由屏幕坐標(x,y)轉(zhuǎn)換為柱面坐標(θ,v)；

其中，所述第三公式為：

$\mathrm{\θ}={\tan }^{-1}(x/f),v=y/\sqrt{x^2+f^2}$

其中，f為視頻傳感器的焦距；

和/或，

所述第二提取模塊，具體用于

基于轉(zhuǎn)換后的柱面坐標，通過第四公式匹配圖像塊d_x，d_y的種子點，獲得所述兩個視頻單幀圖像的特征點E(d_x,d_y)；

其中，所述第四公式為：

$E(d_x,d_y)=\underset{(i,j)\∈B}{\Σ}|I(x+i,y+j,k)-I(x+i+d_x,y+j+d_y,k+1)|\·w_{i,j}$

其中，d_x，d_y為圖像塊的位移；I(x+i,y+j,k)為第k幅圖像的坐標為(x+i,y+j)像素的灰度值，I(x+i+d_x,y+j+d_y,k+1)為第k+1幅圖像的坐標為(x+i+d_x,y+j+d_y)像素的灰度值；w_i,j是通過第五公式計算得到的，所述第五公式為：

w_i,j＝d_i,j/D

其中，D為所有像素至圖像塊中心的最大距離；d_i,j為坐標為(i,j)的像素距離圖像塊中心的距離，是通過第六公式計算得到的，所述第六公式為：

$d_{i,j}=\sqrt{i^2+j^2};$

和/或，

所述第一匹配模塊，具體用于

通過第七公式，分別計算所述兩個視頻單幀圖像中第一幅圖像的每一個特征點與所述兩個視頻單幀圖像中第二幅圖像的各個特征點的預設大小鄰域的像素值差的平方和SSD；

選取最小的SSD，所述最小的SSD所對應的所述第二幅圖像的特征點與所述最小的SSD所對應的所述第一幅圖像的特征點相匹配，進而將所述兩個視頻單幀圖像進行匹配；

其中，所述第七公式為：

$SSD=\underset{x,y\∈w}{\Σ}{\[I_1(x,y)-I_2(x,y)\]}^2$

其中，w為鄰域的預設大小，I₁為所述兩個視頻單幀圖像中第一幅圖像的特征點的預設大小鄰域內(nèi)像素的灰度值，I₂為所述兩個視頻單幀圖像中第二幅圖像的特征點的預設大小鄰域內(nèi)像素的灰度值。

由上述技術(shù)方案可知，本發(fā)明的全景視頻拼接方法及裝置，通過獲取目標區(qū)域內(nèi)相鄰兩個視頻傳感器采集的兩個視頻單幀圖像，提取重疊區(qū)域，在重疊區(qū)域選取預設數(shù)量對種子點，將兩個視頻單幀圖像的坐標由屏幕坐標轉(zhuǎn)換為柱面坐標，基于轉(zhuǎn)換后的柱面坐標，根據(jù)選取的種子點提取兩個視頻單幀圖像的特征點，將兩個視頻單幀圖像的所有特征點進行匹配，進而將兩個視頻單幀圖像進行匹配，將目標區(qū)域內(nèi)所有相鄰兩個視頻傳感器采集的兩個視頻單幀圖像進行匹配，獲取目標區(qū)域的單幀全景圖像，可以對全景視頻進行拼接，實現(xiàn)大場景、大量運動對象的全景視頻的流暢播放，高效可行，能夠得到很好的拼接效果。

附圖說明

圖1為本發(fā)明一實施例提供的全景視頻拼接方法的流程示意圖；

圖2為本發(fā)明一實施例提供的全景視頻拼接裝置的結(jié)構(gòu)示意圖。

具體實施方式

為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整的描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他的實施例，都屬于本發(fā)明保護的范圍。

應說明的是，本發(fā)明實施例中全景視頻拼接是指將多幅在不同時刻、從不同視角或者由不同攝像頭獲得的視頻圖像經(jīng)過預處理、對齊然后無縫地融合在一起，從而得到一幅大視場、高分辨率圖像的處理過程，該圖像被稱為全景圖；種子點是指兩幅基準圖像重疊區(qū)域的最高的紋理像素點；圖像的特征點是指圖像中具有明顯特征的并能把圖像中的物體標識出的點。

圖1示出了本發(fā)明一實施例提供的全景視頻拼接方法的流程示意圖，如圖1所示，本實施例的全景視頻拼接方法如下所述。

101、獲取目標區(qū)域內(nèi)相鄰兩個視頻傳感器采集的兩個視頻單幀圖像。

在具體應用中，所述視頻傳感器可以優(yōu)選為攝像頭。

102、提取所述兩個視頻單幀圖像的重疊區(qū)域。

103、在所述重疊區(qū)域選取預設數(shù)量對種子點。

在具體應用中，所述步驟103可以將所述重疊區(qū)域劃分為預設數(shù)量個子區(qū)域，每一子區(qū)域選取一對種子點。

舉例來說，所述預設數(shù)量可以為4、或8、或16等，本實施例并不對其進行限制，也可以為其他數(shù)量。

進一步地，所述每一子區(qū)域選取一對種子點，可以包括：

通過第一公式計算每一子區(qū)域的最大方差來得到每一子區(qū)域的一對種子點q_i；

其中，所述第一公式為：

$q_i=\arg {\max }_k\[{\mathrm{\σ}}_{k,i}^2\],0\≤i\≤3---\left(1\right)$

其中，為第i塊子區(qū)域第k塊的方差，是通過第二公式計算得到的，k為正整數(shù)，所述第二公式為：

${\mathrm{\σ}}_{k,i}^2=\underset{g}{\overset{G_{MAX}}{\Σ}}{g}^2\·h_g-M_{k,i}^2---\left(2\right)$

其中，為第i塊子區(qū)域第k塊的平均值，g為灰度值，h_g表示灰度值g的直方圖，G_MAX表示最大灰度值。

104、將所述兩個視頻單幀圖像的坐標由屏幕坐標轉(zhuǎn)換為柱面坐標。

可以理解的是，通過將所述兩個視頻單幀圖像的坐標由屏幕坐標轉(zhuǎn)換為柱面坐標，可以使目標區(qū)域內(nèi)相鄰兩個視頻傳感器所采集的兩個視頻單幀圖像投影在同一柱面上。

在具體應用中，所述步驟104可以具體包括：

通過第三公式，將所述兩個視頻單幀圖像的坐標由屏幕坐標(x,y)轉(zhuǎn)換為柱面坐標(θ,v)；

其中，所述第三公式為：

$\mathrm{\θ}={\tan }^{-1}(x/f),v=y/\sqrt{x^2+f^2}---\left(3\right)$

其中，f為視頻傳感器的焦距。

具體地，所述第三公式的推導過程包括：

世界坐標P(X,Y,Z)轉(zhuǎn)換為柱坐標(θ,v)的方程式如下：

其中θ表示視頻傳感器的搖頭角度，v表示視頻傳感器的掃描線；

由于視頻傳感器采集的圖像坐標是屏幕坐標(x,y)，假設焦距為f，

根據(jù)視頻傳感器的對應的方程式x＝f·X/Z,y＝f·Y/Z

將以上兩個方程組聯(lián)合求解，可以得到屏幕坐標轉(zhuǎn)換為柱坐標的轉(zhuǎn)換公式為：

$\mathrm{\θ}={\tan }^{-1}(x/f),v=y/\sqrt{x^2+f^2}.$

105、基于轉(zhuǎn)換后的柱面坐標，根據(jù)選取的種子點，提取所述兩個視頻單幀圖像的特征點。

可以理解的是，圖像的特征點是圖像中具有明顯特征的并能把圖像中的物體標識出的點。通過提取特征點，然后用特征點來標識圖像中的對象，可以減少圖像的存儲量，在視頻拼接這種每秒多幀的圖像中尤為有用。特征點的特點是它們不會隨著圖像的旋轉(zhuǎn)、縮放、投影等操作而改變的，所以通過提取多幅視頻圖像中的特征點，并找出對應的特征點可以實現(xiàn)多幅圖像配準，形成全景圖像。

在具體應用中，所述步驟105可以具體包括：

基于轉(zhuǎn)換后的柱面坐標，通過第四公式匹配圖像塊d_x，d_y的種子點，獲得所述兩個視頻單幀圖像的特征點E(d_x,d_y)；

其中，所述第四公式為：

$E(d_x,d_y)=\underset{(i,j)\∈B}{\Σ}|I(x+i,y+j,k)-I(x+i+d_x,y+j+d_y,k+1)|\·w_{i,j}---\left(4\right)$

其中，d_x，d_y為圖像塊的位移；I(x+i,y+j,k)為第k幅圖像的坐標為(x+i,y+j)像素的灰度值，I(x+i+d_x,y+j+d_y,k+1)為第k+1幅圖像的坐標為(x+i+d_x,y+j+d_y)像素的灰度值；w_i,j是通過第五公式計算得到的，所述第五公式為：

w_i,j＝d_i,j/D (5)

其中，D為所有像素至圖像塊中心的最大距離；d_i,j為坐標為(i,j)的像素距離圖像塊中心的距離，是通過第六公式計算得到的，所述第六公式為：

$d_{i,j}=\sqrt{i^2+j^2}---\left(6\right)$

可以理解的是，基于轉(zhuǎn)換后的柱面坐標，通過第四公式匹配圖像塊d_x，d_y的種子點，獲得所述兩個視頻單幀圖像的特征點E(d_x,d_y)的算法是帶權(quán)的塊匹配算法，這里考慮了視頻傳感器旋轉(zhuǎn)而產(chǎn)生的圖像扭曲。

106、將所述兩個視頻單幀圖像的所有特征點進行匹配，進而將所述兩個視頻單幀圖像進行匹配。

在具體應用中，所述步驟106中的“將所述兩個視頻單幀圖像的所有特征點進行匹配”，可以具體包括：

通過第七公式，分別計算所述兩個視頻單幀圖像中第一幅圖像的每一個特征點與所述兩個視頻單幀圖像中第二幅圖像的各個特征點的預設大小鄰域的像素值差的平方和SSD；

選取最小的SSD，所述最小的SSD所對應的所述第二幅圖像的特征點與所述最小的SSD所對應的所述第一幅圖像的特征點相匹配；

其中，所述第七公式為：

$SSD=\underset{x,y\∈w}{\Σ}{\[I_1(x,y)-I_2(x,y)\]}^2---\left(7\right)$

其中，w為鄰域的預設大小，I₁為所述兩個視頻單幀圖像中第一幅圖像的特征點的預設大小鄰域內(nèi)像素的灰度值，I₂為所述兩個視頻單幀圖像中第二幅圖像的特征點的預設大小鄰域內(nèi)像素的灰度值。

可以理解的是，上述是以圖像的每一個特征點為中心，將其w大小的鄰域窗口的像素值作為該特征點的描述符，通過第七公式，分別計算所述兩個視頻單幀圖像中第一幅圖像的每一個特征點與所述兩個視頻單幀圖像中第二幅圖像的各個特征點的預設大小鄰域的像素值差的平方和SSD，選取最小的SSD，所述最小的SSD所對應的所述第二幅圖像的特征點與所述最小的SSD所對應的所述第一幅圖像的特征點相匹配。該方法直接利用圖像的灰度信息值，是進行特征點圖像匹配的一種高效可行的方法。

107、將所述目標區(qū)域內(nèi)所有相鄰兩個視頻傳感器采集的兩個視頻單幀圖像進行匹配，獲取所述目標區(qū)域的單幀全景圖像。

應說明的是，本實施例的全景視頻拼接方法，可以應用于羊場等區(qū)域范圍比較大、運動對象比較多的場景。以羊場為例，羊場的羊圈至少有30多個，總面積能達到3000平米以上，羊只眾多，利用本實施例的全景視頻拼接方法可以將一棟羊場內(nèi)部的30多個攝像頭采集的視頻拼接成覆蓋整棟羊舍的大分辨率全景視頻。

本實施例的全景視頻拼接方法，通過獲取目標區(qū)域內(nèi)相鄰兩個視頻傳感器采集的兩個視頻單幀圖像，提取重疊區(qū)域，在重疊區(qū)域選取預設數(shù)量對種子點，將兩個視頻單幀圖像的坐標由屏幕坐標轉(zhuǎn)換為柱面坐標，基于轉(zhuǎn)換后的柱面坐標，根據(jù)選取的種子點提取兩個視頻單幀圖像的特征點，將兩個視頻單幀圖像的所有特征點進行匹配，進而將兩個視頻單幀圖像進行匹配，將目標區(qū)域內(nèi)所有相鄰兩個視頻傳感器采集的兩個視頻單幀圖像進行匹配，獲取目標區(qū)域的大分辨率單幀全景圖像，可以對全景視頻進行拼接，實現(xiàn)大場景、大量運動對象的全景視頻的流暢播放，高效可行，能夠得到很好的拼接效果。

圖2示出了本發(fā)明一實施例提供的全景視頻拼接裝置的結(jié)構(gòu)示意圖，如圖2所示，本實施例的全景視頻拼接裝置，包括：獲取模塊21、第一提取模塊22、選取模塊23、轉(zhuǎn)換模塊24、第二提取模塊25、第一匹配模塊26和第二匹配模塊27；其中：

獲取模塊21用于獲取目標區(qū)域內(nèi)相鄰兩個視頻傳感器采集的兩個視頻單幀圖像；

第一提取模塊22用于提取所述兩個視頻單幀圖像的重疊區(qū)域；

選取模塊23用于在所述重疊區(qū)域選取預設數(shù)量對種子點；

轉(zhuǎn)換模塊24用于將所述兩個視頻單幀圖像的坐標由屏幕坐標轉(zhuǎn)換為柱面坐標；

第二提取模塊25用于基于轉(zhuǎn)換后的柱面坐標，根據(jù)選取的種子點，提取所述兩個視頻單幀圖像的特征點；

第一匹配模塊26用于將所述兩個視頻單幀圖像的所有特征點進行匹配，進而將所述兩個視頻單幀圖像進行匹配；

第二匹配模塊27用于將所述目標區(qū)域內(nèi)所有相鄰兩個視頻傳感器采集的兩個視頻單幀圖像進行匹配，獲取所述目標區(qū)域的單幀全景圖像。

在具體應用中，所述選取模塊23，可具體用于

將所述重疊區(qū)域劃分為預設數(shù)量個子區(qū)域，每一子區(qū)域選取一對種子點。

舉例來說，所述預設數(shù)量可以為4、或8、或16等，本實施例并不對其進行限制，也可以為其他數(shù)量。

進一步地，所述選取模塊23，可具體用于

將所述重疊區(qū)域劃分為預設數(shù)量個子區(qū)域，通過第一公式計算每一子區(qū)域的最大方差來得到每一子區(qū)域的一對種子點q_i；

其中，所述第一公式為：

$q_i=\arg {\max }_k\[{\mathrm{\σ}}_{k,i}^2\],0\≤i\≤3---\left(1\right)$

其中，為第i塊子區(qū)域第k塊的方差，是通過第二公式計算得到的，k為正整數(shù)，所述第二公式為：

${\mathrm{\σ}}_{k,i}^2=\underset{g}{\overset{G_{MAX}}{\Σ}}{g}^2\·h_g-M_{k,i}^2---\left(2\right)$

其中，為第i塊子區(qū)域第k塊的平均值，g為灰度值，h_g表示灰度值g的直方圖，G_MAX表示最大灰度值。

在具體應用中，所述轉(zhuǎn)換模塊24，可具體用于

通過第三公式，將所述兩個視頻單幀圖像的坐標由屏幕坐標(x,y)轉(zhuǎn)換為柱面坐標(θ,v)；

其中，所述第三公式為：

$\mathrm{\θ}={\tan }^{-1}(x/f),v=y/\sqrt{x^2+f^2}---\left(3\right)$

其中，f為視頻傳感器的焦距。

在具體應用中，所述第二提取模塊25，可具體用于

基于轉(zhuǎn)換后的柱面坐標，通過第四公式匹配圖像塊d_x，d_y的種子點，獲得所述兩個視頻單幀圖像的特征點E(d_x,d_y)；

其中，所述第四公式為：

$E(d_x,d_y)=\underset{(i,j)\∈B}{\Σ}|I(x+i,y+j,k)-I(x+i+d_x,y+j+d_y,k+1)|\·w_{i,j}---\left(4\right)$

其中，d_x，d_y為圖像塊的位移；I(x+i,y+j,k)為第k幅圖像的坐標為(x+i,y+j)像素的灰度值，I(x+i+d_x,y+j+d_y,k+1)為第k+1幅圖像的坐標為(x+i+d_x,y+j+d_y)像素的灰度值；w_i,j是通過第五公式計算得到的，所述第五公式為：

w_i,j＝d_i,j/D (5)

其中，D為所有像素至圖像塊中心的最大距離；d_i,j為坐標為(i,j)的像素距離圖像塊中心的距離，是通過第六公式計算得到的，所述第六公式為：

$d_{i,j}=\sqrt{i^2+j^2}---\left(6\right)$

在具體應用中，所述第一匹配模塊26，可具體用于

通過第七公式，分別計算所述兩個視頻單幀圖像中第一幅圖像的每一個特征點與所述兩個視頻單幀圖像中第二幅圖像的各個特征點的預設大小鄰域的像素值差的平方和SSD；

選取最小的SSD，所述最小的SSD所對應的所述第二幅圖像的特征點與所述最小的SSD所對應的所述第一幅圖像的特征點相匹配，進而將所述兩個視頻單幀圖像進行匹配；

其中，所述第七公式為：

$SSD=\underset{x,y\∈w}{\Σ}{\[I_1(x,y)-I_2(x,y)\]}^2---\left(7\right)$

其中，w為鄰域的預設大小，I₁為所述兩個視頻單幀圖像中第一幅圖像的特征點的預設大小鄰域內(nèi)像素的灰度值，I₂為所述兩個視頻單幀圖像中第二幅圖像的特征點的預設大小鄰域內(nèi)像素的灰度值。

本實施例的全景視頻拼接裝置，可以應用于羊場等區(qū)域范圍比較大、運動對象比較多的場景，通過獲取模塊獲取目標區(qū)域內(nèi)相鄰兩個視頻傳感器采集的兩個視頻單幀圖像，第一提取模塊提取所述兩個視頻單幀圖像的重疊區(qū)域，選取模塊在所述重疊區(qū)域選取預設數(shù)量對種子點，轉(zhuǎn)換模塊將所述兩個視頻單幀圖像的坐標由屏幕坐標轉(zhuǎn)換為柱面坐標，第二提取模塊基于轉(zhuǎn)換后的柱面坐標，根據(jù)選取的種子點，提取所述兩個視頻單幀圖像的特征點，第一匹配模塊將所述兩個視頻單幀圖像的所有特征點進行匹配，進而將所述兩個視頻單幀圖像進行匹配，第二匹配模塊將所述目標區(qū)域內(nèi)所有相鄰兩個視頻傳感器采集的兩個視頻單幀圖像進行匹配，獲取所述目標區(qū)域的大分辨率單幀全景圖像，可以對全景視頻進行拼接，實現(xiàn)大場景、大量運動對象的全景視頻的流暢播放，高效可行，能夠得到很好的拼接效果。

本實施例的全景視頻拼接裝置，可以用于執(zhí)行前述圖1所示方法實施例的技術(shù)方案，其實現(xiàn)原理和技術(shù)效果類似，此處不再贅述。

本領(lǐng)域內(nèi)的技術(shù)人員應明白，本申請的實施例可提供為方法、系統(tǒng)、或計算機程序產(chǎn)品。因此，本申請可采用完全硬件實施例、完全軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且，本申請可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(zhì)(包括但不限于磁盤存儲器、CD-ROM、光學存儲器等)上實施的計算機程序產(chǎn)品的形式。

本申請是參照根據(jù)本申請實施例的方法、設備(系統(tǒng))、和計算機程序產(chǎn)品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設備的處理器以產(chǎn)生一個機器，使得通過計算機或其他可編程數(shù)據(jù)處理設備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些計算機程序指令也可存儲在能引導計算機或其他可編程數(shù)據(jù)處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設備上，使得在計算機或其他可編程設備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理，從而在計算機或其他可編程設備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

需要說明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。術(shù)語“上”、“下”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對本發(fā)明的限制。除非另有明確的規(guī)定和限定，術(shù)語“安裝”、“相連”、“連接”應做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內(nèi)部的連通。對于本領(lǐng)域的普通技術(shù)人員而言，可以根據(jù)具體情況理解上述術(shù)語在本發(fā)明中的具體含義。

本發(fā)明的說明書中，說明了大量具體細節(jié)。然而能夠理解的是，本發(fā)明的實施例可以在沒有這些具體細節(jié)的情況下實踐。在一些實例中，并未詳細示出公知的方法、結(jié)構(gòu)和技術(shù)，以便不模糊對本說明書的理解。類似地，應當理解，為了精簡本發(fā)明公開并幫助理解各個發(fā)明方面中的一個或多個，在上面對本發(fā)明的示例性實施例的描述中，本發(fā)明的各個特征有時被一起分組到單個實施例、圖、或者對其的描述中。然而，并不應將該公開的方法解釋呈反映如下意圖：即所要求保護的本發(fā)明要求比在每個權(quán)利要求中所明確記載的特征更多的特征。更確切地說，如權(quán)利要求書所反映的那樣，發(fā)明方面在于少于前面公開的單個實施例的所有特征。因此，遵循具體實施方式的權(quán)利要求書由此明確地并入該具體實施方式，其中每個權(quán)利要求本身都作為本發(fā)明的單獨實施例。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。本發(fā)明并不局限于任何單一的方面，也不局限于任何單一的實施例，也不局限于這些方面和/或?qū)嵤├娜我饨M合和/或置換。而且，可以單獨使用本發(fā)明的每個方面和/或?qū)嵤├蛘吲c一個或更多其他方面和/或其實施例結(jié)合使用。

最后應說明的是：以上各實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述各實施例對本發(fā)明進行了詳細的說明，本領(lǐng)域的普通技術(shù)人員應當理解：其依然可以對前述各實施例所記載的技術(shù)方案進行修改，或者對其中部分或者全部技術(shù)特征進行等同替換；而這些修改或者替換，并不使相應技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的范圍，其均應涵蓋在本發(fā)明的權(quán)利要求和說明書的范圍當中。