本發(fā)明實施例涉及圖像處理技術領域，尤其涉及一種視頻顯示系統(tǒng)。

背景技術：

基于紅外線視頻采集的“透視眼”系統(tǒng)是一套可應用到密閉空間或者視線不開闊的空間，用于對所述密閉空間或者視線不開闊的空間之外的場景進行實時監(jiān)測的系統(tǒng)，是集光學、微電子、精密機械以及信號處理等技術為一體的一種全新現(xiàn)代顯示技術，能夠實現(xiàn)視頻的實時采集、實時呈現(xiàn)，并且達到增強視頻的目的，在安保、軍事反恐以及深海探測等領域具有廣闊的應用前景，例如：應用到坦克、裝甲車或者運鈔車中。

目前，基于紅外線視頻采集的“透視眼”系統(tǒng)還沒有形成完善的體系，同時也存在著許多問題需要改進。

技術實現(xiàn)要素：

本發(fā)明實施例提供了一種視頻顯示系統(tǒng)，以實現(xiàn)對系統(tǒng)周圍場景進行360°全景視頻采集，并對采集到的視頻進行360°實時顯示。

本發(fā)明實施例提供了一種視頻顯示系統(tǒng)，該系統(tǒng)包括：

視頻實時采集模塊，與數(shù)據(jù)傳輸模塊相連，用于對系統(tǒng)周圍的場景視頻進行360°實時采集，并將采集到的視頻數(shù)據(jù)發(fā)送給數(shù)據(jù)傳輸模塊；

數(shù)據(jù)傳輸模塊，與視頻信息融合模塊相連，用于將所述視頻實時采集模塊發(fā)送過來的視頻數(shù)據(jù)傳輸給視頻信息融合模塊；

視頻信息融合模塊，與實時顯示模塊相連，用于對數(shù)據(jù)傳輸模塊發(fā)送過來的視頻數(shù)據(jù)進行圖像拼接融合，以得到平滑的完整視頻圖像，并將得到的所述平滑的完整視頻圖像發(fā)送給所述實時顯示模塊；

實時顯示模塊，用于對所述平滑的完整視頻圖像進行實時顯示。

進一步地，所述系統(tǒng)還包括：信息處理模塊，分別與所述視頻信息融合模塊和所述實時顯示模塊相連，用于識別所述平滑的完整視頻圖像中的設定信息，并對所述設定信息進行標記后發(fā)送給所述實時顯示模塊進行顯示。

進一步地，所述系統(tǒng)還包括：音頻模塊，用于對所述系統(tǒng)的操作人員的聲音信號進行采集，并將所述聲音信號發(fā)送給指揮中心或者其它的系統(tǒng)操作人員，同時接收所述指揮中心或者其它的系統(tǒng)操作人員發(fā)送過來的音頻信息，實現(xiàn)與所述指揮中心或者其它的系統(tǒng)操作人員進行通話。

進一步地，所述系統(tǒng)還包括：定位模塊，用于對所述系統(tǒng)的位置信息進行定位，并將所述位置信息發(fā)送給指揮中心或者其它的系統(tǒng)操作人員。

進一步地，所述系統(tǒng)還包括：預警模塊，用于根據(jù)指揮中心發(fā)布的信息給所述系統(tǒng)操作人員發(fā)出預警信息。

進一步地，所述系統(tǒng)還包括：健康評估模塊，用于根據(jù)所述系統(tǒng)的操作人員的動作信息、眼動信息以及聲音信息對所述系統(tǒng)的操作人員的健康狀態(tài)進行評估。

進一步地，所述系統(tǒng)還包括：姿態(tài)采集模塊，與所述實時顯示模塊相連，用于采集操作所述系統(tǒng)的操作人員的頭部姿態(tài)信息，并將所述頭部姿態(tài)信息發(fā)送給所述實時顯示模塊；

對應地，所述實時顯示模塊還用于根據(jù)所述操作人員的頭部姿態(tài)信息對所述平滑的完整視頻圖像中特定的部分視頻圖像進行顯示，以滿足所述操作人員的需求。

進一步地，所述數(shù)據(jù)傳輸模塊采用的數(shù)據(jù)傳輸協(xié)議包括：MUDP傳輸協(xié)議和低延遲頻碼率控制算法。

進一步地，所述視頻信息融合模塊包括：

圖像預處理單元，與所述數(shù)據(jù)傳輸模塊相連，用于對所述數(shù)據(jù)傳輸模塊發(fā)送過來的視頻數(shù)據(jù)進行幾何畸形校正和噪聲點抑制；

圖像配準單元，與所述圖像預處理單元相連，用于根據(jù)參考圖像對進行幾何畸形校正和噪聲點抑制后的視頻數(shù)據(jù)進行提取，對提取的視頻數(shù)據(jù)完成視頻圖像間的匹配對齊；

圖像融合單元，分別與所述圖像配準單元和所述實時顯示模塊相連，用于對匹配對齊的視頻圖像進行縫合，并對縫合的邊界進行平滑處理，得到平滑的完整視頻圖像，并將所述平滑的完整視頻圖像發(fā)送給所述實時顯示模塊。

本發(fā)明實施例提供的一種視頻顯示系統(tǒng)，通過視頻實時采集模塊對系統(tǒng)周圍的場景視頻進行360°實時采集，并將采集到的視頻數(shù)據(jù)發(fā)送給數(shù)據(jù)傳輸模塊，通過數(shù)據(jù)傳輸模塊將所述視頻數(shù)據(jù)傳輸給視頻信息融合模塊進行圖像拼接融合，并將拼接融合后的平滑視頻圖像發(fā)送給實時顯示模塊進行實時顯示，實現(xiàn)了對系統(tǒng)周圍場景進行360°全景視頻采集，并對采集到的視頻進行360°實時顯示。

附圖說明

圖1是本發(fā)明實施例一提供的一種視頻顯示系統(tǒng)的結構示意圖；

圖2是本發(fā)明實施例一提供的視頻顯示系統(tǒng)的應用示意圖；

圖3是本發(fā)明實施例一提供的視頻實時采集模塊在載具(即密閉空間)周圍的布置形式示意圖；

圖4是本發(fā)明實施例一提供的圖像拼接融合算法的處理過程示意圖；

圖5是本發(fā)明實施例一提供的圖像融合的過程示意圖；

圖6本發(fā)明實施例一提供的高清晰度的液晶顯示屏幕示意圖；

圖7是本發(fā)明實施例二提供的一種視頻顯示系統(tǒng)的結構示意圖；

圖8是本發(fā)明實施例三提供的一種視頻顯示系統(tǒng)的結構示意圖；

圖9是本發(fā)明實施例三提供的頭部運動傳感器感應運動情況的示意圖；

圖10是本發(fā)明實施例三提供的視頻顯示系統(tǒng)的機械結構示意圖；

圖11是本發(fā)明實施例四提供的一種視頻顯示系統(tǒng)的結構示意圖。

具體實施方式

下面結合附圖和實施例對本發(fā)明作進一步的詳細說明?？梢岳斫獾氖?，此處所描述的具體實施例僅僅用于解釋本發(fā)明，而非對本發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關的部分而非全部結構。

在更加詳細地討論示例性實施例之前應當提到的是，一些示例性實施例被描述成作為流程圖描繪的處理或方法。雖然流程圖將各項步驟描述成順序的處理，但是其中的許多步驟可以被并行地、并發(fā)地或者同時實施。此外，各項步驟的順序可以被重新安排。當其步驟完成時所述處理可以被終止，但是還可以具有未包括在附圖中的附加步驟。所述處理可以對應于方法、函數(shù)、規(guī)程、子例程、子程序等等。

實施例一

圖1為本發(fā)明實施例一提供的一種視頻顯示系統(tǒng)的結構示意圖，該系統(tǒng)可應用于密閉空間中，用來對密閉空間周圍的場景視頻進行實時采集并實時顯示，典型地，所述密閉空間可以是坦克、裝甲車或者運鈔車等。該系統(tǒng)可通過硬件和軟件的方式實現(xiàn)。該系統(tǒng)具體包括如下：

視頻實時采集模塊110，與數(shù)據(jù)傳輸模塊120相連，用于對系統(tǒng)周圍的場景視頻進行360°實時采集，并將采集到的視頻數(shù)據(jù)發(fā)送給數(shù)據(jù)傳輸模塊120；

數(shù)據(jù)傳輸模塊120，與視頻信息融合模塊130相連，用于將視頻實時采集模塊110發(fā)送過來的視頻數(shù)據(jù)傳輸給視頻信息融合模塊130；

視頻信息融合模塊130，與實時顯示模塊140相連，用于對數(shù)據(jù)傳輸模塊120發(fā)送過來的視頻數(shù)據(jù)進行圖像拼接融合，以得到平滑的完整視頻圖像，并將得到的所述平滑的完整視頻圖像發(fā)送給實時顯示模塊140；

實時顯示模塊140，用于對所述平滑的完整視頻圖像進行實時顯示。

具體地，本實施例提供的視頻顯示系統(tǒng)可以是一種頭戴式視頻顯示系統(tǒng)，能夠為應用該系統(tǒng)的操作人員提供跟隨操作人員頭部運動的、實時的360°無縫拼接的視頻信號，從而達到在不可視狀態(tài)下，為操作人員實時提供周邊環(huán)境的視頻的目的。例如，在軍用條件下，配合戰(zhàn)場指揮系統(tǒng)的應用，本系統(tǒng)能夠為操作人員提供全方位的環(huán)境顯示功能，全面提高車載作戰(zhàn)效率，最大限度地保證特殊環(huán)境下操作人員的安全，降低人員受傷的可能性。在特殊的民用條件下，本系統(tǒng)能夠為密閉的空間內(nèi)部的操作人員(例如：運鈔車、押運車、深海探測設備等)提供周圍場景實時、高清的視頻圖像，從而實現(xiàn)保證人員安全、確保設備安全的目的。具體可以參見圖2所示的視頻顯示系統(tǒng)的應用示意圖。

相應地，視頻實時采集模塊110設置在載具(即密閉空間)的外部，以實現(xiàn)對載具周圍環(huán)境進行視頻采集；進一步地，視頻實時采集模塊110可以由4～6個高清紅外線攝像機組成(該高清紅外線攝像機為一種90°*90°的高清攝像機)，用于捕獲載具周圍環(huán)境的360°實時全景視頻圖像，多個紅外線攝像機的共同配合，能夠捕獲載具周圍環(huán)境的360°全景紅外線視頻圖像；高清紅外線攝像機能夠被動感知物體所發(fā)射的紅外線信息，能夠在不被被觀測物體察覺的情況下，接收被觀測物體發(fā)射的紅外線信息，并且根據(jù)不同溫度下的紅外線信息形成視頻信息。具體可以參見圖3所示的視頻實時采集模塊在載具(即密閉空間)周圍的布置形式示意圖。高清紅外線攝像機均勻分布到載具的周圍，通過視頻采集范圍的重疊，來保證能夠得到360°的全景視頻信息。

數(shù)據(jù)傳輸模塊120具體可以由數(shù)據(jù)發(fā)送裝置、數(shù)據(jù)傳輸協(xié)議組成，其中，數(shù)據(jù)發(fā)送裝置與視頻實時采集模塊110中的高清紅外線攝像機設置在一起，當高清紅外線攝像機獲得視頻信號后，數(shù)據(jù)發(fā)送裝置根據(jù)數(shù)據(jù)傳輸協(xié)議，將獲得的視頻信號轉換成數(shù)據(jù)傳輸信號，并且發(fā)送給視頻信息融合模塊130。

為了能夠快速地發(fā)送視頻數(shù)據(jù)，最大限度地減少視頻數(shù)據(jù)延時情況，數(shù)據(jù)發(fā)送裝置采用增強的多路復用輸入輸出接口Epoll(改進后大批量處理文件的傳輸方式)，加快數(shù)據(jù)傳輸速率。相較于傳統(tǒng)的輸入輸出接口Select(通過窮舉的方式傳輸文件)，多路復用輸入輸出接口Epoll具備如下優(yōu)點：提高程序在大量并發(fā)連接中只有少量活躍的情況下的系統(tǒng)CPU(Central Processing Unite，中央處理器)的利用率；使用mmap加速內(nèi)核與用戶空間的消息傳遞；獲取事件的時候，無須遍歷整個被偵聽的描述符集，只要遍歷那些被內(nèi)核輸入輸出事件異步喚醒的、而加入準備隊列的描述符集合。

示例性地，數(shù)據(jù)傳輸協(xié)議由基于UDP的可靠傳輸協(xié)議MUDP和低延遲視頻碼率控制算法組成，能夠確保數(shù)據(jù)傳輸模塊120以最快速度進行視頻數(shù)據(jù)的發(fā)送。

基于UDP的可靠傳輸協(xié)議MUDP有如下特點：MUDP基于UDP，完全在UDP協(xié)議實現(xiàn)；MUDP增加了擁塞控制和數(shù)據(jù)可靠性控制機制；可支持可靠數(shù)據(jù)流傳輸和部分可靠的數(shù)據(jù)報傳輸；支持高速數(shù)據(jù)傳輸；發(fā)送端根據(jù)流量控制和速率控制來發(fā)送(和重傳)應用程式數(shù)據(jù)；接收端接收數(shù)據(jù)包和控制包，并根據(jù)接收到的包發(fā)送控制包。

低延遲視頻碼率控制算法：

1)跳幀算法：

W＝max(W_prev+B_prev-R/F+B_i^RT)

W為當前幀的緩存器的比特數(shù)；

W_prev為前一幀的緩存器的比特數(shù)；

B_prev為編碼前幀所用的比特數(shù)；

R為目標碼率；

F為目標幀率；

B_i^RT)為當前幀與前幀的時間間隔內(nèi)重傳(RT)的比特數(shù)。

當W大于緩存器大小W_prev的80％時，則編碼器將跳過下一幀。

2)幀層碼率控制算法：

在視頻數(shù)據(jù)傳輸中采用IPPP形式的圖像組結構。即第1幀為I幀，其余為P幀。幀分配采用如下三步：a、計算當前幀的初始目標比特數(shù)；b、計算目標緩存大小；c、采用PID緩存控制算法，計算當前P幀的目標比特率。

3)宏塊層碼率控制算法：

為了優(yōu)化分配比特數(shù)，采用Lagrange方法來優(yōu)化失真度。

視頻信息融合模塊130由一個視頻融合終端、多個信號分配器和多個信號放大器組成，能夠實現(xiàn)將采集到的視頻數(shù)據(jù)進行拼接、融合成一個360°的視頻信息，然后分解成多個視頻輸出信號，發(fā)送給實時顯示模塊140進行顯示，根據(jù)實際需求可以將融合后的視頻信息擴展至15～20個視頻輸出信號，采用這種方式進行視頻分配是為了最大限度地減小視頻信號的延遲，保證操作人員看到視頻信號的實時性。

在視頻信息融合模塊130中最關鍵的技術是圖像拼接融合算法，具體地，可以參見圖4所示的圖像拼接融合算法的處理過程示意圖。

示例性地，視頻信息融合模塊130可以包括：

圖像預處理單元，與數(shù)據(jù)傳輸模塊120相連，用于對所述數(shù)據(jù)傳輸模塊發(fā)送過來的視頻數(shù)據(jù)進行幾何畸形校正和噪聲點抑制；

圖像配準單元，與所述圖像預處理單元相連，用于根據(jù)參考圖像對進行幾何畸形校正和噪聲點抑制后的視頻數(shù)據(jù)進行提取，對提取的視頻數(shù)據(jù)完成視頻圖像間的匹配對齊；圖像配準采用了特征點匹配算法，該算法的主要優(yōu)點是圖像的特征信息得到了利用，能夠有的放矢，不是在盲目的搜索。特征點匹配算法的基本過程是以像素點的四個主要方向上最小灰度方差表示該像素點與鄰近像素點的灰度變化情況，即像素點的興趣值，然后在圖像的局部選擇具有最大的興趣值得點(灰度變化明顯得點)作為特征點。

圖像融合單元，分別與所述圖像配準單元和實時顯示模塊140相連，用于對匹配對齊的視頻圖像進行縫合，并對縫合的邊界進行平滑處理，得到平滑的完整視頻圖像，并將所述平滑的完整視頻圖像發(fā)送給所述實時顯示模塊。圖像融合的基本規(guī)則：將圖像中每個像素均看作區(qū)域或邊緣的一部分，并用區(qū)域和邊界等圖像信息來指導融合選取。圖像融合的方法：將N幅待融合的圖象的每一幅分解成M幅子圖象，然后在每一級上對來自N幅待融合圖象的M幅子圖象進行融合，得到該級的融合圖象，在得到所有M級的融合圖象后，實施逆變換得到融合結果。具體可以參見圖5所示的圖像融合的過程示意圖。由于在成像過程中受到各種變形因素的影響(攝像機位置、光照、攝像機類型等)，所以的得到的各幅圖像間存在著相對的差異(分辨率、色彩空間、亮度、幾何位置等)，在進行圖像拼接融合之前，需要調整這些影響因素，最大限度地降低這些相對差異對于圖像拼接融合效果的影響，提高圖像拼接融合的質量。

在所述頭戴式視頻顯示系統(tǒng)中，實時顯示模塊140可以設置在操作人員的眼睛正前方，以方便操作人員觀看；可以由圓弧形狀的液晶顯示屏幕構成，用于顯示操作人員頭部面對位置的外部信息，顯示屏幕與操作人員眼部的相對位置、顯示畫面的亮度以及對比度等可以進行調整，保證顯示屏幕更符合操作人員的視力要求，為操作人員提供高品質的視頻圖像；具體可以參見圖6所示的高清晰度的液晶顯示屏幕示意圖，圓弧形的屏幕能夠為操作人員提供100～120度左右的視場范圍，能夠保證操作人員的觀察范圍，進而使得操作人員能夠及時獲取足夠的視頻信息。

本實施例提供的一種視頻顯示系統(tǒng)，通過視頻實時采集模塊對系統(tǒng)周圍的場景視頻進行360°實時采集，并將采集到的視頻數(shù)據(jù)發(fā)送給數(shù)據(jù)傳輸模塊，通過數(shù)據(jù)傳輸模塊將所述視頻數(shù)據(jù)傳輸給視頻信息融合模塊進行圖像拼接融合，并將拼接融合后的平滑視頻圖像發(fā)送給實時顯示模塊進行實時顯示，實現(xiàn)了對系統(tǒng)周圍場景進行360°全景視頻采集，并對采集到的視頻進行360°實時顯示。

實施例二

圖7為本發(fā)明實施例二提供的一種視頻顯示系統(tǒng)的結構示意圖，在實施例一的基礎上，本實施例增加了“信息處理模塊”，這樣優(yōu)化的好處是可以實現(xiàn)將系統(tǒng)周圍有特殊意義的目標視頻信息進行區(qū)別顯示，例如將敵方的坦克與我方的坦克分別用不同的顏色進行標記顯示，以方便操作人員區(qū)分敵我信息。具體參見圖7所示，該系統(tǒng)具體包括如下：

視頻實時采集模塊110，與數(shù)據(jù)傳輸模塊120相連，用于對系統(tǒng)周圍的場景視頻進行360°實時采集，并將采集到的視頻數(shù)據(jù)發(fā)送給數(shù)據(jù)傳輸模塊120；

數(shù)據(jù)傳輸模塊120，與視頻信息融合模塊130相連，用于將視頻實時采集模塊110發(fā)送過來的視頻數(shù)據(jù)傳輸給視頻信息融合模塊130；

視頻信息融合模塊130，與實時顯示模塊140相連，用于對數(shù)據(jù)傳輸模塊120發(fā)送過來的視頻數(shù)據(jù)進行圖像拼接融合，以得到平滑的完整視頻圖像，并將得到的所述平滑的完整視頻圖像發(fā)送給實時顯示模塊140；

實時顯示模塊140，用于對所述平滑的完整視頻圖像進行實時顯示；

信息處理模塊150，分別與視頻信息融合模塊130和實時顯示模塊140相連，用于識別所述平滑的完整視頻圖像中的設定信息，并對所述設定信息進行標記后發(fā)送給所述實時顯示模塊進行顯示。

例如，所述平滑的完整視頻圖像中包括敵方信息和我方信息，為了方便操作人員及時辨認敵我，可以在對所述敵方信息和我方信息分別進行識別和標記，然后在實時顯示模塊進行區(qū)別顯示。

具體的，信息處理模塊150可以由穩(wěn)態(tài)電源、信息處理終端組成，用于快速處理各種數(shù)據(jù)信息，并且發(fā)送給實時顯示模塊140等執(zhí)行單元。其中，穩(wěn)態(tài)電源為信息處理模塊150提供電源，保證系統(tǒng)的正常工作；信息處理終端是用來接收、處理所有信息的中樞，能夠快速處理大量的交流數(shù)據(jù)，保證快速實現(xiàn)信息的轉換和數(shù)據(jù)發(fā)布。穩(wěn)態(tài)電源為整個系統(tǒng)提供動力，由于整個系統(tǒng)可能在高速移動、存在較大沖擊震動的環(huán)境中使用，所以電源需要做到“耐沖擊、震動，輸出穩(wěn)定”的要求。電源在安裝形式上采用了能夠削弱沖擊震動的“減震器”安裝形式，電源輸出形式也采用的螺栓鎖扣連接形式，防止由于沖擊、震動造成的連接處脫落的現(xiàn)象。信息處理終端采用高速的、服務器級的處理器，來保證運算的穩(wěn)定高效，配備大容量的內(nèi)存和企業(yè)級的高速硬盤，來保證信息處理處于一個較高的運算速度，并且，在信息處理終端上設置了多個外接接口，為擴展模塊的添加預留了空間。

本實施例提供的一種視頻顯示系統(tǒng)，通過視頻實時采集模塊對系統(tǒng)周圍的場景視頻進行360°實時采集，并將采集到的視頻數(shù)據(jù)發(fā)送給數(shù)據(jù)傳輸模塊，通過數(shù)據(jù)傳輸模塊將所述視頻數(shù)據(jù)傳輸給視頻信息融合模塊進行圖像拼接融合，并將拼接融合后的平滑視頻圖像發(fā)送給信息處理模塊對所述平滑的完整視頻圖像中的設定信息進行識別，并對所述設定信息進行標記后發(fā)送給所述實時顯示模塊進行顯示，實現(xiàn)了對系統(tǒng)周圍場景進行360°全景視頻采集，并對采集到的視頻進行360°實時顯示，并且實現(xiàn)了將系統(tǒng)周圍有特殊意義的目標視頻信息進行分別顯示，方便操作人員及時辨認。

實施例三

圖8為本發(fā)明實施例三提供的一種視頻顯示系統(tǒng)的結構示意圖，在上述實施例的基礎上，本實施例增加了“姿態(tài)采集模塊”，這樣優(yōu)化的好處是實現(xiàn)了更精準地顯示當前操作人員真正想看到的視頻圖像。具體參見圖8所示，該系統(tǒng)具體如下：

視頻實時采集模塊110，與數(shù)據(jù)傳輸模塊120相連，用于對系統(tǒng)周圍的場景視頻進行360°實時采集，并將采集到的視頻數(shù)據(jù)發(fā)送給數(shù)據(jù)傳輸模塊120；

數(shù)據(jù)傳輸模塊120，與視頻信息融合模塊130相連，用于將視頻實時采集模塊110發(fā)送過來的視頻數(shù)據(jù)傳輸給視頻信息融合模塊130；

視頻信息融合模塊130，與實時顯示模塊140相連，用于對數(shù)據(jù)傳輸模塊120發(fā)送過來的視頻數(shù)據(jù)進行圖像拼接融合，以得到平滑的完整視頻圖像，并將得到的所述平滑的完整視頻圖像發(fā)送給實時顯示模塊140；

實時顯示模塊140，用于對所述平滑的完整視頻圖像進行實時顯示；

信息處理模塊150，分別與視頻信息融合模塊130和實時顯示模塊140相連，用于識別所述平滑的完整視頻圖像中的設定信息，并對所述設定信息進行標記后發(fā)送給所述實時顯示模塊進行顯示。

姿態(tài)采集模塊160，與實時顯示模塊140相連，用于采集操作所述系統(tǒng)的操作人員的頭部姿態(tài)信息，并將所述頭部姿態(tài)信息發(fā)送給實時顯示模塊140；

對應地，實時顯示模塊140還用于根據(jù)所述操作人員的頭部姿態(tài)信息對所述平滑的完整視頻圖像中特定的部分視頻圖像進行顯示，以滿足所述操作人員的需求。

具體地，姿態(tài)采集模塊160可以由眼動儀、頭部運動傳感器組成，用于實時采集操作人員的運動狀態(tài)，其中，眼動儀捕捉操作人員的眼睛動作，將眼睛動作生成對應的眼動信號；頭部運動傳感器負責感應操作人員的頭部運動，將頭部運行生成對應的頭部運動信號；眼動信息和頭部運動信息傳遞給實時顯示模塊140。實時顯示模塊140根據(jù)預設的匹配條件，做出響應的交互動作；例如：操作人員通過眼睛動作發(fā)出對目標進行自動跟蹤、鎖定；或者根據(jù)頭部運動信號確定操作人員的觀察范圍，則實時顯示模塊140只顯示確定的所述操作人員的觀察范圍內(nèi)的視頻圖像。進一步地，實時顯示模塊140可以包括：視頻整合裝置和顯示裝置，所述視頻整合裝置安裝在操作人員的頭部位置，由一臺微型信息處理器構成，用來實現(xiàn)特殊信息的加載等處理工作，例如接收姿態(tài)采集模塊提供的信息，并根據(jù)所述信息整合出要顯示的視頻信息發(fā)送給顯示裝置進行顯示。

眼動儀由一臺微型攝像機和相關動作分析軟件組成，微型攝像機安裝在操作人員眼部正前方偏上的位置，用于捕捉操作人員的眼部動作、眼瞼的眨動頻次、眼瞼覆蓋區(qū)域、瞳孔對焦狀態(tài)等信息。捕捉到的視頻信息直接傳遞到相關動作分析軟件，根據(jù)瞳孔位置、眼瞼運動情況瞳孔對焦面積等信息，得到準確的眼部運動信號。頭部運動傳感器安裝在操作人員頭部位置，通過霍爾傳感器感應操作人員的頭部運動角度和位移，從而得到操作人員的頭部運動信號。具體地參見圖9所示頭部運動傳感器感應運動情況的示意圖。

具體的視頻顯示系統(tǒng)的機械結構示意圖可以參見圖10所示，在該系統(tǒng)中，以高清紅外線攝像機作為視頻實時采集模塊110，布置在封閉空間外部，具體布局形式以能夠采集到周圍360°環(huán)繞視頻為目的；數(shù)據(jù)傳輸模塊120與視頻實時采集模塊110布置在一起，方便實時、快速、準確地傳遞采集到的視頻信號；姿態(tài)采集模塊160與操作人員佩戴的頭盔安裝170在一起，為了能夠方便地采集操作人員的頭部姿態(tài)；實時顯示模塊140安裝在操作人員的眼睛正前方，方便操作人員隨時觀察；視頻信息融合模塊130、信息處理模塊150安裝在封閉空間內(nèi)部，能夠保證信息處理的快速、安全、高效運行。當系統(tǒng)未被操作人員開啟時，該系統(tǒng)處于一種休眠狀態(tài)，整個系統(tǒng)處于無輻射、低功耗的非工作模式，因此不會對操作人員的身體健康帶來影響。當操作人員開啟系統(tǒng)時，進行初始化設定以后，系統(tǒng)自動連接視頻實時采集模塊，自動整理、拼接視頻信息，并且顯示在實時顯示模塊140上。

本實施例提供的一種視頻顯示系統(tǒng)，在上述實施例的技術方案的基礎上，增加了“姿態(tài)采集模塊”，實現(xiàn)了對操作人員的眼部動作和頭部動作進行采集，并根據(jù)操作人員的眼部動作和頭部動作對要顯示的視頻圖像進行整理，以顯示操作人員想看到的視頻圖像，使得該系統(tǒng)更加個性化，智能化，從而幫助操作人員在密封條件下，大幅提高環(huán)境態(tài)勢的感知能力，進而輔助操作人員對目標進行跟蹤與鎖定。

實施例四

圖11為本發(fā)明實施例四提供的一種視頻顯示系統(tǒng)的結構示意圖，在上述實施例的基礎上，本實施例增加了一系列擴展模塊，這樣優(yōu)化的好處是進一步豐富了該視頻顯示系統(tǒng)的功能，使之成為一套更加完善的系統(tǒng)，具體參見圖11所示，該系統(tǒng)具體如下：

視頻實時采集模塊110，與數(shù)據(jù)傳輸模塊120相連，用于對系統(tǒng)周圍的場景視頻進行360°實時采集，并將采集到的視頻數(shù)據(jù)發(fā)送給數(shù)據(jù)傳輸模塊120；

數(shù)據(jù)傳輸模塊120，與視頻信息融合模塊130相連，用于將視頻實時采集模塊110發(fā)送過來的視頻數(shù)據(jù)傳輸給視頻信息融合模塊130；

視頻信息融合模塊130，與實時顯示模塊140相連，用于對數(shù)據(jù)傳輸模塊120發(fā)送過來的視頻數(shù)據(jù)進行圖像拼接融合，以得到平滑的完整視頻圖像，并將得到的所述平滑的完整視頻圖像發(fā)送給實時顯示模塊140；

實時顯示模塊140，用于對所述平滑的完整視頻圖像進行實時顯示；

信息處理模塊150，分別與視頻信息融合模塊130和實時顯示模塊140相連，用于識別所述平滑的完整視頻圖像中的設定信息，并對所述設定信息進行標記后發(fā)送給所述實時顯示模塊進行顯示。

姿態(tài)采集模塊160，與實時顯示模塊140相連，用于采集操作所述系統(tǒng)的操作人員的頭部姿態(tài)信息，并將所述頭部姿態(tài)信息發(fā)送給實時顯示模塊140；

對應地，實時顯示模塊140還用于根據(jù)所述操作人員的頭部姿態(tài)信息對所述平滑的完整視頻圖像中特定的部分視頻圖像進行顯示，以滿足所述操作人員的需求。

進一步地，所述系統(tǒng)還包括：音頻模塊180，用于對所述系統(tǒng)的操作人員的聲音信號進行采集，并將所述聲音信號發(fā)送給指揮中心或者其它的系統(tǒng)操作人員，同時接收所述指揮中心或者其它的系統(tǒng)操作人員發(fā)送過來的音頻信息，實現(xiàn)與所述指揮中心或者其它的系統(tǒng)操作人員進行通話。具體的，音頻模塊180可以由高清麥克風、耳機、音頻傳輸系統(tǒng)組成，用于采集、發(fā)送操作人員的聲音信號，實現(xiàn)與指揮中心進行遠程通話，接收指揮中心發(fā)送的戰(zhàn)斗指令或者報警信息。例如：操作人員可以通過音頻模塊180向指揮中心發(fā)出請求指令或報告戰(zhàn)場情況等；或者不同載具內(nèi)的操作人員也可以通過音頻模塊180進行實時通話。

進一步地，所述系統(tǒng)還包括：定位模塊190，用于對所述系統(tǒng)的位置信息進行定位，并將所述位置信息發(fā)送給指揮中心或者其它的系統(tǒng)操作人員，以實現(xiàn)位置共享。具體的，定位模塊190由慣性導航單元、無線數(shù)據(jù)傳輸單元組成，用于發(fā)送載具的位置、姿態(tài)信息，保證整個作戰(zhàn)指揮系統(tǒng)第一時間掌握載具的具體情況。慣性導航單元能實時監(jiān)測當前載具移動位移距離、方向角、所在高度以及傾角等各種重要參數(shù)，同時，各種參數(shù)可以通過無線數(shù)據(jù)傳輸單元發(fā)送到指揮中心，保證指揮中心能夠實時掌握載具的具體狀態(tài)。

進一步地，所述系統(tǒng)還包括：預警模塊200，用于根據(jù)指揮中心發(fā)布的信息給所述系統(tǒng)操作人員發(fā)出預警信息，以為操作人員提供準確的防護、處理建議，最大限度地增加載具內(nèi)操作人員的存活率。

進一步地，所述系統(tǒng)還包括：健康評估模塊210，用于根據(jù)所述系統(tǒng)的操作人員的動作信息、眼動信息以及聲音信息對所述系統(tǒng)的操作人員的健康狀態(tài)進行評估。具體的，健康評估模塊210可以由動作分析部分、眼動分析部分、音頻分析部分組成，主要用來評估操作人員的健康狀態(tài)，保證操作人員的人身安全。其中，動作分析部分主要通過載具內(nèi)布置的攝像頭來監(jiān)視、評估載具內(nèi)操作人員的異常動作和動作持續(xù)時間，進而對操作人員的健康狀況做出評價；眼動分析部分主要是通過眼動儀提供的，根據(jù)操作人員的眼部運動情況對操作人員的疲勞、健康狀況做出綜合的評價；音頻分析部分主要通過采集到的音頻信號，通過關鍵字符的拾取和檢測，得到操作人員自我評估的健康狀態(tài)。例如，健康評估模塊210能夠為戰(zhàn)備指揮中心提供第一手的操作人員資料，保證人員能夠形成足夠的戰(zhàn)斗力，為負傷人員提供精準的醫(yī)療救護等。

進一步地，所述系統(tǒng)還可以包括：數(shù)據(jù)共享模塊，用于不同系統(tǒng)間的通訊，保證不同載具之間的操作人員之間可以進行信息共享和信息交換。

本實施例提供的一種視頻顯示系統(tǒng)，在上述實施例的技術方案的基礎上，增加了擴展模塊，進一步豐富了該視頻顯示系統(tǒng)的功能，使之成為一套更加完善的系統(tǒng)，使該顯示系統(tǒng)不僅具有實時通訊功能、實時對講功能以及精確定位功能，而且還能夠提高操作人員對瞬息萬變的環(huán)境態(tài)勢的感知能力，進而輔助操作人員對目標進行跟蹤與鎖定而實施精確打擊。

本發(fā)明實施例所稱的操作人員包括，但不限于，在軍隊作戰(zhàn)或執(zhí)行戰(zhàn)備任務中使用該系統(tǒng)的作戰(zhàn)指揮員、通訊員和士兵、炮兵等軍人，本實施例僅以軍隊戰(zhàn)時或執(zhí)行任務時中的操作人員為例進行了詳細闡述。

本領域技術人員可以理解實現(xiàn)上述實施例方法中的全部或部分步驟是可以通過程序來指令相關的硬件來完成，該程序存儲在一個存儲介質中，包括若干指令用以使得一個設備(可以是單片機，芯片等)或處理器(processor)執(zhí)行本申請各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括：U盤、移動硬盤、只讀存儲器(ROM，Read-Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質。

注意，上述僅為本發(fā)明的較佳實施例及所運用技術原理。本領域技術人員會理解，本發(fā)明不限于這里所述的特定實施例，對本領域技術人員來說能夠進行各種明顯的變化、重新調整和替代而不會脫離本發(fā)明的保護范圍。因此，雖然通過以上實施例對本發(fā)明進行了較為詳細的說明，但是本發(fā)明不僅僅限于以上實施例，在不脫離本發(fā)明構思的情況下，還可以包括更多其他等效實施例，而本發(fā)明的范圍由所附的權利要求范圍決定。