本發(fā)明涉及安防監(jiān)控技術(shù)領(lǐng)域，尤其涉及到在線實(shí)時(shí)視頻監(jiān)控技術(shù)，具體為一種三維全景視頻監(jiān)控裝置及其視頻圖像處理方法。

背景技術(shù)：

視頻監(jiān)控是安防領(lǐng)域的重要組成部分，近年來，隨著圖像處理技術(shù)和視頻傳輸技術(shù)的發(fā)展，視頻監(jiān)控技術(shù)也得到了很大的發(fā)展。但是，現(xiàn)有的視頻監(jiān)控產(chǎn)品大多是監(jiān)控點(diǎn)采用單臺(tái)攝像頭，若干監(jiān)控點(diǎn)采集不同視角的監(jiān)控區(qū)域場(chǎng)景，并將監(jiān)控畫面通過有線或無線方式傳輸至監(jiān)控室，多個(gè)獨(dú)立監(jiān)控窗口實(shí)現(xiàn)監(jiān)控。由于單臺(tái)攝像頭的監(jiān)控視角有限，對(duì)于大場(chǎng)景監(jiān)控場(chǎng)所，監(jiān)控人員需要監(jiān)測(cè)多個(gè)窗口，往往不能及時(shí)發(fā)現(xiàn)監(jiān)控中的異常，另外由于目前單臺(tái)攝像頭在監(jiān)控室中顯示的監(jiān)控畫面相互獨(dú)立，缺乏關(guān)聯(lián)性，同時(shí)，傳統(tǒng)的監(jiān)控設(shè)備為二維視頻監(jiān)控模式，監(jiān)控場(chǎng)景畫面不直觀，監(jiān)控效率較低下。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)的不足，提出了一種基于視頻拼接技術(shù)的三維全景視頻監(jiān)控裝置及其視頻圖像處理方法，可以實(shí)現(xiàn)在同一屏幕內(nèi)大范圍三維全景視頻監(jiān)控，且監(jiān)控畫面連續(xù)，方便監(jiān)控人員及時(shí)發(fā)現(xiàn)監(jiān)控區(qū)域的異常。

本發(fā)明第一方面提出的三維全景視頻監(jiān)控裝置，包括監(jiān)控前端和監(jiān)控室端,所述監(jiān)控室端包括互相連接服務(wù)器和監(jiān)控顯示屏,所述監(jiān)控前端包括分布在監(jiān)控區(qū)域內(nèi)多處并與所述服務(wù)器信號(hào)連接的監(jiān)控探頭，所述多個(gè)監(jiān)控探頭均設(shè)置有括嵌入式處理器及分別與嵌入式處理器連接的用于對(duì)監(jiān)控區(qū)域的視頻圖像采集的視頻采集模塊、對(duì)所采集的視頻圖像進(jìn)行視頻處理的視頻處理模塊、對(duì)探頭位置進(jìn)行定位的GPS模塊、將所述視頻圖像信息和探頭位置信息與所述監(jiān)控室端通信連接的第一通信模塊；所述監(jiān)控室端的服務(wù)器包括用于安裝操作系統(tǒng)的中心處理器模塊以及分別與所述中心處理器模塊連接的用于與第一通信模塊連接的第二通信模塊、用于人工交互的輸入設(shè)備、用于對(duì)視頻圖像拼接處理的圖像處理模塊、用于存儲(chǔ)視頻圖像的存儲(chǔ)模塊和用于顯示視頻的顯示模塊；其特征在于監(jiān)控區(qū)域內(nèi)多個(gè)所述視頻采集模塊采集的圖像畫面連續(xù)且所采集的圖像至少有部分重合，所述圖像處理模塊中設(shè)有GPU圖形處理器，所述GPU圖形處理器用于對(duì)多個(gè)監(jiān)控探頭形成的多路視頻圖像進(jìn)行拼接后生成連續(xù)監(jiān)控畫面的全景視頻，中心處理器模塊根據(jù)全景視頻信息及探頭位置信息進(jìn)行立體三維建模后輸出大場(chǎng)景的三維全景視頻。

本發(fā)明方案中，多個(gè)所述視頻采集模塊采集的圖像畫面連續(xù)且所采集的圖像至少有部分重合，從而使得GPU圖形處理器能在對(duì)圖像拼接時(shí)將圖像的重合部分融合后拼接成連續(xù)的視頻圖像，而不會(huì)出現(xiàn)重復(fù)疊景和斷續(xù)景，視頻圖像效果連續(xù)清晰，易于監(jiān)控每一個(gè)時(shí)段的情況；而中心處理器模塊根據(jù)全景視頻信息及探頭位置信息進(jìn)行立體三維建模后輸出大場(chǎng)景的三維全景視頻，再通過顯示模塊在一個(gè)顯示窗口就可以顯示所有監(jiān)控探頭采集的多路視頻圖像，提升了各路視頻的關(guān)聯(lián)性，形成三維直觀的監(jiān)控畫面，方便監(jiān)控，提升監(jiān)控效率。

進(jìn)一步的，所述三維全景視頻監(jiān)控裝置還包括與所述第二通信模塊通信連接并獲取三維全景視頻的移動(dòng)監(jiān)控終端，所述移動(dòng)監(jiān)控終端至少包括一個(gè)智能監(jiān)控移動(dòng)終端。可以實(shí)現(xiàn)遠(yuǎn)距離多方同時(shí)監(jiān)控。

進(jìn)一步的，所述智能監(jiān)控移動(dòng)終端為筆記本電腦或平板電腦或智能手機(jī)中的一種。由于這些移動(dòng)終端均為嵌入式設(shè)備，其內(nèi)安裝有監(jiān)控系統(tǒng)應(yīng)用軟件，通過第二通信模塊與中心處理器模塊無線連接，即可以調(diào)取存儲(chǔ)模塊中的過往監(jiān)控視頻，也可以可調(diào)取觀看實(shí)時(shí)三維全景監(jiān)控視頻，通過這些移動(dòng)終端可顯示整體監(jiān)控畫面，也可顯示某個(gè)監(jiān)控小畫面，并放大該監(jiān)控小畫面。

進(jìn)一步的，所述輸入設(shè)備至少包括鍵盤、鼠標(biāo)和觸摸屏中的一種。用于對(duì)服務(wù)器的人機(jī)界面交互，可通過輸入設(shè)備選取某個(gè)監(jiān)控小畫面的顯示，并以不同角度進(jìn)行縮放。

進(jìn)一步的，所述視頻采集模塊包括攝像頭驅(qū)動(dòng)電路和攝像頭組，攝像頭組為單臺(tái)或多臺(tái)攝像頭的組合。

本發(fā)明另一方面還提供三維全景視頻監(jiān)控裝置的視頻圖像處理方法，包括以下步驟：

S1 ：視頻幀圖像預(yù)處理

對(duì)視頻圖像進(jìn)行預(yù)處理，噪聲消除，對(duì)產(chǎn)生幾何畸變的圖像的校正，同時(shí)，融入直方圖均衡化圖像增強(qiáng)算法，對(duì)清晰度較低的圖像實(shí)現(xiàn)圖像增強(qiáng)；

S2: 視頻幀圖像配準(zhǔn)

使用幀圖像配準(zhǔn)算法，完成圖像特征點(diǎn)檢測(cè)、特征描述和特征匹配，使圖像間互相重疊部分對(duì)準(zhǔn)，將待拼接圖像轉(zhuǎn)換到參考圖像的坐標(biāo)系，構(gòu)成完整的圖像；

S3：視頻幀圖像融合

使用幀圖像融合算法對(duì)拼接重疊區(qū)域進(jìn)行融合，使顏色逐漸過渡，保證拼合邊界平滑過渡，消除拼接線，生成平滑無縫的全景視頻圖像。

通過本法方拼接的視頻圖像連續(xù)性好，清晰度高，方便監(jiān)控人員及時(shí)發(fā)現(xiàn)監(jiān)控區(qū)域的異常，提高監(jiān)控效率。

進(jìn)一步的，所述幀圖像融合算法采用加權(quán)平滑法。加權(quán)平滑法對(duì)拼接重疊區(qū)域進(jìn)行融合，使顏色逐漸過渡，保證拼合邊界平滑過渡，消除拼接線，生成平滑無縫的全景視頻圖像。

與現(xiàn)有技術(shù)相比，本發(fā)明的基于視頻拼接技術(shù)的三維全景視頻監(jiān)控裝置及其視頻圖像處理方法具有的優(yōu)點(diǎn)為：監(jiān)控畫面連續(xù)，大范圍三維全景監(jiān)控效果，監(jiān)控更加方便、直觀；另外監(jiān)控人員可攜帶智能監(jiān)控移動(dòng)終端進(jìn)行對(duì)監(jiān)控點(diǎn)的監(jiān)控，無需守候在監(jiān)控室內(nèi)，更加方便監(jiān)控人員的行動(dòng)，如遇到突發(fā)事故時(shí)，監(jiān)控人員可邊監(jiān)控事故現(xiàn)場(chǎng)畫面，邊向事故地點(diǎn)行動(dòng)。

附圖說明

本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中：

圖1是本發(fā)明三維全景視頻監(jiān)控裝置的整體結(jié)構(gòu)方框圖；

圖2是圖1中監(jiān)控探頭的攝像頭組結(jié)構(gòu)方框圖；

圖3是圖1中監(jiān)控室端服務(wù)器結(jié)構(gòu)方框圖；

圖4是本發(fā)明三維全景視頻監(jiān)控裝置的攝像頭組合結(jié)構(gòu)示意圖；

圖5是本發(fā)明的三維全景視頻監(jiān)控裝置的視頻圖像處理方法流程圖。

具體實(shí)施方式

為了能夠更清楚地理解本發(fā)明的上述目的、特征和優(yōu)點(diǎn)，下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)描述。需要說明的是，在不沖突的情況下，本申請(qǐng)的實(shí)施例及實(shí)施例中的特征可以相互組合。

在下面的描述中闡述了很多具體細(xì)節(jié)以便于充分理解本發(fā)明，但是，本發(fā)明還可以采用其他不同于在此描述的方式來實(shí)施，因此，本發(fā)明的保護(hù)范圍并不受下面公開的具體實(shí)施例的限制。

下面參照?qǐng)D1至5對(duì)本發(fā)明實(shí)施例作進(jìn)一步的描述。

如圖1所示，一種全景視頻監(jiān)控裝置包括監(jiān)控前端和監(jiān)控室端,監(jiān)控室端包括互相連接服務(wù)器和監(jiān)控顯示屏,監(jiān)控前端包括分布在監(jiān)控區(qū)域內(nèi)多處并與服務(wù)器信號(hào)連接的監(jiān)控探頭，如監(jiān)控探頭1、監(jiān)控探頭2、監(jiān)控探頭3……、監(jiān)控探頭n，監(jiān)控探頭可以根據(jù)監(jiān)控區(qū)域范圍的需要進(jìn)行調(diào)整數(shù)量和位置，這n個(gè)監(jiān)控探頭與服務(wù)器通過有線或無線通信連接，以將監(jiān)控探頭采集到的圖像信息傳遞至服務(wù)器；如圖2所示，監(jiān)控探頭均設(shè)置有括嵌入式處理器及分別與嵌入式處理器連接的用于對(duì)監(jiān)控區(qū)域的視頻圖像采集的視頻采集模塊、對(duì)所采集的視頻圖像進(jìn)行視頻處理的視頻處理模塊、對(duì)探頭位置進(jìn)行定位的GPS模塊、將視頻圖像信息和探頭位置信息與監(jiān)控室端通信連接的第一通信模塊；如圖4所示，監(jiān)控室端的服務(wù)器包括用于安裝操作系統(tǒng)的中心處理器模塊以及分別與中心處理器模塊連接的用于與第一通信模塊連接的第二通信模塊、用于人工交互的輸入設(shè)備、用于對(duì)視頻圖像拼接處理的圖像處理模塊、用于存儲(chǔ)視頻圖像的存儲(chǔ)模塊和用于顯示視頻的顯示模塊；其中，監(jiān)控區(qū)域內(nèi)的多個(gè)視頻采集模塊采集的圖像畫面連續(xù)且所采集的圖像至少有部分重合，圖像處理模塊中設(shè)有GPU圖形處理器， GPU圖形處理器用于對(duì)多個(gè)監(jiān)控探頭形成的多路視頻圖像進(jìn)行拼接后生成連續(xù)監(jiān)控畫面的全景視頻，中心處理器模塊根據(jù)全景視頻信息及探頭位置信息進(jìn)行立體三維建模輸出大場(chǎng)景的三維全景視頻。

多個(gè)所述視頻采集模塊采集的圖像畫面連續(xù)且所采集的圖像至少有部分重合，從而使得GPU圖形處理器能在對(duì)圖像拼接時(shí)將圖像的重合部分融合后拼接成連續(xù)的視頻圖像，而不會(huì)出現(xiàn)重復(fù)疊景和斷續(xù)景，視頻圖像效果連續(xù)清晰，易于監(jiān)控每一個(gè)時(shí)段的情況；中心處理器模塊根據(jù)全景視頻信息及探頭位置信息進(jìn)行立體三維建模后輸出大場(chǎng)景的三維全景視頻，再通過顯示模塊在一個(gè)顯示屏窗口就可以顯示所有監(jiān)控探頭采集的多路視頻圖像，提升了各路視頻的關(guān)聯(lián)性，形成三維直觀的監(jiān)控畫面，方便監(jiān)控，提升監(jiān)控效率。

一個(gè)具體實(shí)施例中，如圖1所示，三維全景視頻監(jiān)控裝置還包括多個(gè)移動(dòng)監(jiān)控終端，如移動(dòng)監(jiān)控終端1、移動(dòng)監(jiān)控終端2、移動(dòng)監(jiān)控終端3……如移動(dòng)監(jiān)控終端n，這些移動(dòng)監(jiān)控終端均與第二通信模塊通信連接從而從服務(wù)器獲取三維全景視頻，移動(dòng)監(jiān)控終端至少包括一個(gè)智能監(jiān)控移動(dòng)終端，這樣就可以實(shí)現(xiàn)遠(yuǎn)距離多方同時(shí)監(jiān)控，方便遠(yuǎn)方人員及時(shí)掌握監(jiān)控區(qū)域第一手現(xiàn)場(chǎng)信息。

作為實(shí)施例的具體選項(xiàng)，智能監(jiān)控移動(dòng)終端為筆記本電腦或平板電腦或智能手機(jī)中的一種。由于這些移動(dòng)終端均為嵌入式設(shè)備，其內(nèi)安裝有監(jiān)控系統(tǒng)應(yīng)用軟件，通過第二通信模塊與中心處理器模塊無線連接，即可以調(diào)取存儲(chǔ)模塊中的過往監(jiān)控視頻，也可以可調(diào)取觀看實(shí)時(shí)三維全景監(jiān)控視頻，通過這些移動(dòng)終端可顯示整體監(jiān)控畫面，也可顯示某個(gè)監(jiān)控小畫面，并放大該監(jiān)控小畫面。

作為實(shí)施例的具體選項(xiàng)，所述輸入設(shè)備至少包括鍵盤、鼠標(biāo)和觸摸屏中的一種。用于對(duì)服務(wù)器的人機(jī)界面交互，可通過輸入設(shè)備選取某個(gè)監(jiān)控小畫面的顯示，并以不同角度進(jìn)行縮放。

一個(gè)具體實(shí)施例的改進(jìn)方案，視頻采集模塊包括攝像頭驅(qū)動(dòng)電路和攝像頭組，攝像頭組為單臺(tái)或多臺(tái)攝像頭的組合，如圖4所示，圖中a之f分別表示攝像頭組分別由1臺(tái)攝像頭、2臺(tái)攝像頭、3臺(tái)攝像頭、4臺(tái)攝像頭、5臺(tái)攝像頭、6臺(tái)攝像頭組成，其中箭頭方向?yàn)閿z像頭鏡頭中心線方向，多臺(tái)攝像頭從不同方向獲取不同監(jiān)控區(qū)域的視頻圖像，攝像頭個(gè)數(shù)可根據(jù)實(shí)際所需監(jiān)控視角決定，監(jiān)控區(qū)域攝像頭同時(shí)采集多路監(jiān)控視頻。

如圖5所示，上述三維全景視頻監(jiān)控裝置的視頻圖像處理方法，包括以下步驟：

S1：視頻幀圖像預(yù)處理

對(duì)視頻圖像進(jìn)行預(yù)處理，噪聲消除，對(duì)產(chǎn)生幾何畸變的圖像的校正，同時(shí)，融入直方圖均衡化圖像增強(qiáng)算法，對(duì)清晰度較低的圖像實(shí)現(xiàn)圖像增強(qiáng);

S2: 視頻幀圖像配準(zhǔn)

使用幀圖像配準(zhǔn)算法，完成圖像特征點(diǎn)檢測(cè)、特征描述和特征匹配，使圖像間互相重疊部分對(duì)準(zhǔn)，將待拼接圖像轉(zhuǎn)換到參考圖像的坐標(biāo)系，構(gòu)成完整的圖像；其中圖像處理領(lǐng)域可采用的配準(zhǔn)方法有基于Harris角點(diǎn)檢測(cè)的圖像配準(zhǔn)算法、基于ORB算法等，可根據(jù)圖像的類型如像素、特征來選擇配準(zhǔn)方法;

S3：視頻幀圖像融合

使用幀圖像融合算法對(duì)拼接重疊區(qū)域進(jìn)行融合，融合算法有加權(quán)平滑法、漸入漸出方法等，本實(shí)施例采用加權(quán)平滑法對(duì)拼接重疊區(qū)域進(jìn)行融合，使顏色逐漸過渡，保證拼合邊界平滑過渡，消除拼接線，生成平滑無縫的全景視頻圖像。

與現(xiàn)有技術(shù)相比，本發(fā)明的基于視頻拼接技術(shù)的三維全景視頻監(jiān)控裝置及其視頻圖像處理方法具有的優(yōu)點(diǎn)為：監(jiān)控畫面連續(xù)，大范圍三維全景監(jiān)控效果，監(jiān)控更加方便、直觀；另外監(jiān)控人員可攜帶智能監(jiān)控移動(dòng)終端進(jìn)行對(duì)監(jiān)控點(diǎn)的監(jiān)控，無需守候在監(jiān)控室內(nèi)，更加方便監(jiān)控人員的行動(dòng)，如遇到突發(fā)事故時(shí)，監(jiān)控人員可邊監(jiān)控事故現(xiàn)場(chǎng)畫面，邊向事故地點(diǎn)行動(dòng)。

與現(xiàn)有技術(shù)相比，本實(shí)施例采用基于視頻拼接技術(shù)的三維全景視頻監(jiān)控裝置及其視頻圖像處理方法具有的優(yōu)點(diǎn)為：監(jiān)控畫面連續(xù)，大范圍三維全景監(jiān)控效果，監(jiān)控更加方便、直觀；另外監(jiān)控人員可攜帶智能監(jiān)控移動(dòng)終端進(jìn)行對(duì)監(jiān)控點(diǎn)的監(jiān)控，無需守候在監(jiān)控室內(nèi)，更加方便監(jiān)控人員的行動(dòng)，如遇到突發(fā)事故時(shí)，監(jiān)控人員可邊監(jiān)控事故現(xiàn)場(chǎng)畫面，邊向事故地點(diǎn)行動(dòng)。

以上僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的創(chuàng)造性精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。