本發(fā)明具體涉及一種伴飛光電跟蹤測量吊艙高清壓縮與存儲裝置,屬于飛行器光電吊艙圖像處理
技術領域:
。
背景技術:
:光電伴飛測量吊艙主要通過伴飛方式對飛有目標進行遠程跟蹤測量、受地球曲率半徑的限制,地面測控站在一定距離之外便無法接收到無人機光電吊艙獲取的圖像信息,為此,需要設計專門的視頻存儲和回放系統(tǒng),論文“機載光電吊艙嵌入式大容量視頻存儲和回放系統(tǒng)的設計”,《光學與光電技術》2009年第6期,30-32頁,提供了一種視頻存儲和回放系統(tǒng),其存儲可靠,回放圖像清晰,滿足了無人機影像存儲和回放的要求但是,隨著實踐中對遠程跟蹤測量的要求的提高,對圖像數據的處理、存儲和卸載方式,以及在視頻中疊加同步信息等方面都提出了更高的要求,現有的存儲和回放系統(tǒng)已經不能滿足這些要求。技術實現要素:因此,針對現有技術的上述不足,本發(fā)明目的旨在提供一種伴飛光電跟蹤測量吊艙高清壓縮與存儲裝置,用于伴飛光電跟蹤測量吊艙中,在伴飛過程中對全高清圖像1920×1080P數據進行H.264壓縮,圖像壓縮編碼以及同步GPS信息、飛行姿態(tài)信息等存儲在固態(tài)SATA硬盤中;飛行完成后在地面通過千兆以太網口快速卸載,播放錄制視頻,并在視頻中疊加時間和位置信息。裝置中包含的技術:貝爾濾波,Cameralink相機控制和自動曝光控制,高清圖像H.264壓縮實現,SATA硬盤存儲和讀取操作,千兆以太網設計。具體的,裝置包括FPGA模塊、DSP芯片,所述高清壓縮與存儲裝置還包括CameraLink芯片組、緩沖DPRAM、DDRII芯片、SATA硬盤、H.264編解碼芯片、Flash芯片、以太網芯片、網絡變壓器,所述FPGA模塊分別連接DSP芯片、CameraLink芯片組、緩沖DPRAM、SATA硬盤IO驅動、H.264編解碼芯片、Flash芯片,所述DSP芯片分別連接DDRII芯片、以太網芯片,所述以太網芯片連接網絡變壓器。進一步的,所述FPGA模塊為VC5VSX50T-1FF1136L,所述DSP為TMS320C6455GTZ。其中,所述CameraLink芯片組包括圖像接收通訊芯片DS90CR288A、圖像發(fā)送通訊芯片DS90CR287、控制通訊芯片DS90LV047、及控制通訊芯片DS90LV048,所述CameraLink芯片組用于連接相機及下傳,所述相機為彩色高清攝像機,所述彩色高清攝像機向CameraLink芯片組輸入貝爾格式數據,所述緩沖DPRAM為IDT70V9289L12PRF,所述DDRII芯片為MT47H128M16HG,所述H.264編解碼芯片為MB86H46芯片,所述Flash芯片為K9F8G08U0M,所述以太網芯片為ET1011C,所述網絡變壓器為TG1G-E001NY。進一步的,所述高清壓縮與存儲裝置還包括光隔芯片,所述光隔芯片連接FPGA模塊。其中,所述光隔芯片為HCPL5231,所述光隔芯片還連接RS422芯片MAX390ESA。進一步的,所述高清壓縮與存儲裝置還包括與FPGA模塊連接的RS422芯片:MAX3077EESA。本發(fā)明的有益效果在于:相比于現有技術的裝置,本發(fā)明提供的伴飛光電跟蹤測量吊艙高清壓縮與存儲裝置,具有以下優(yōu)點:(1)能實時采集高清攝像機輸出的1920×1080p@30fps、8位bayer格式圖像數據;(2)能實時壓縮bayer格式圖像數據1920×1080p@30fps,壓縮標準:H.264。(3)能實時存儲壓縮后高清彩色圖像數據,存儲時長不小于120分鐘;(4)能實時輸出bayer格式圖像的LVDS信號(延時不大于10us,接口為Cameralink)。(5)利用相機光圈和電子快門實現相機場景照度自適應功能。(6)具備兩種曝光控制模式:1、自動曝光模式;2、手動曝光模式。(7)具備兩種數據卸載方式:1、直接更換電子盤(存儲板);2、通過預留數據接口(千兆以太網)快速卸載。(8)能以文件形式記錄包括圖像數據、拍攝時間、鏡頭焦距、目標距離、高度、姿態(tài)信息等數據(要求能夠分時分段存儲圖像文件);在地面回放圖像視頻時,疊加上述信息;事后處理時要求按時標將所有信息對準。(9)自檢功能:能夠接收上位機自檢指令,自檢完成將各部件狀態(tài)返回上位機。(10)圖像記錄介質采用SATA接口固態(tài)電子盤,數據持續(xù)讀出速度不低于60MB/s。(11)壓縮視頻輸出碼率具備在線指令可調功能,碼率:2Mbps~30Mbps。(12)提供地面站應用軟件,具備壓縮數據下載,視頻數據播放等功能。附圖說明圖1是本發(fā)明高清壓縮與存儲裝置的系統(tǒng)框架圖。圖2是本發(fā)明高清壓縮與存儲裝置的系統(tǒng)工作原理示意圖。圖3是ET1011C芯片接口電路圖。圖4是HFJ11-ET1011C內部結構圖。圖5是K9F8G08U0M寫操作時序圖。圖6為K9F8G08U0M讀操作時序圖。圖7是H.264解碼器框圖。圖8是地面站軟件流程圖。圖9是裝置可靠性框圖。具體實施方式下面結合附圖對本發(fā)明的具體實施方式進行說明:本發(fā)明的高清壓縮與存儲裝置的系統(tǒng)框架圖如圖1所示,輸入端要求為高清攝像機(彩色)分辨率:1920×1080P幀頻:30fps接口:CameraLink貝爾格式數據,主要工作模塊如下:1)FPGA為VC5VSX50T-1FF1136I,工業(yè)級,有480個IO,4752kbit的塊RAM,8164個邏輯單元。2)DSP為TMS320C6455GTZ,工業(yè)級,主頻1GHz,2MB內存,豐富的接口(DDRII、千兆以太網、EMIF等);3)H.264編解碼芯片:富士通公司的MB86H46芯片,支持標清、高清等視頻以及AC-3音頻壓縮解壓縮;4)MACPHY芯片:ET1011C,工業(yè)級,支持RGMII,GMII,MII,RTBIandTBI模式,支持10Base-TX,100Base-TX,and1000Base-TX協(xié)議;5)網絡變壓器:TG1G-E001NY,工業(yè)級;6)CameraLink芯片組:圖像通訊芯片DS90CR288A(接收)、DS90CR287(發(fā)送)系列,控制通訊芯片DS90LV047和DS90LV048;7)緩沖:IDT70V9289L12PRF,容量1M比特。8)Flash芯片:K9F8G08U0M,1Gx8BitNANDFlashMemory;9)DDRII芯片:MT47H128M16HG,1Gb容量,讀寫速度大于533MHz;10)光隔芯片:HCPL5231,軍品級;11)RS422芯片:MAX3077EESA,最大速率為16Mbps,工業(yè)級;MAX490ESA,最大速率為2Mbps,工業(yè)級。高清壓縮與存儲裝置的系統(tǒng)工作原理如圖2所示:系統(tǒng)流程分為三種模式:1)準備模式:板卡第一次操作時,DSP查找Flash的壞塊,然后讀取MB86H46壓縮固件文件,通過FPGA寫入到Flash中。2)壓縮模式:高清視頻通過CameraLink接頭傳輸至FPGA中;在FPGA中將貝爾格式轉化為YUV4:2:0格式;將數據編碼成高清SMPTE274M格式(需要緩沖),輸送到H.264編碼芯片MB86H46:壓縮編碼、同步信息、飛行姿態(tài)信息等通過DSP、FPGA存儲到SATA固態(tài)硬盤中。壓縮控制、電路板的工作狀態(tài)及故障通過RS422與上級系統(tǒng)通訊。同時下傳CameraLink數據、控制相機的光圈大小和曝光時間。3)網絡模式:存儲在SATA硬盤中的壓縮編碼、同步信息、飛行姿態(tài)信息等經過FPGA、DSP通過千兆以太網傳送至上位機。上位機進行數據解析、圖像解壓縮和疊加圖像字符等工作。壓縮編碼控制、電路板的工作狀態(tài)及故障通過RS422與上級系統(tǒng)通訊。其中,H.264編碼芯片MB86H46需要800Mb的固件,存儲在Flash中;配置MB86H46時,FPGA讀取固件內容。為了接插頭方便插拔和安裝,需用J30J系列接插件。(1)CameraLink標準中接頭有26針,接收端選用J30J-25ZKWP7-J,與其相配的是J30J-25TJL,定義如表1所示:表1發(fā)送端選用J30J-25TJWP7-J,與其相配的是J30J-25ZKL,定義如表2所示:表2線纜編號信號名稱類型說明1NCNCNC14GROUNDground地2-X0LVDS-OUTCameraLink發(fā)送0-15+X0LVDS-OUTCameraLink發(fā)送0+3-X1LVDS-OUTCameraLink發(fā)送1-16+X1LVDS-OUTCameraLink發(fā)送1+4-X2LVDS-OUTCameraLink發(fā)送2-17+X2LVDS-OUTCameraLink發(fā)送2+5-XCLKLVDS-OUTCameraLink發(fā)送時鐘-18+XCLKLVDS-OUTCameraLink發(fā)送時鐘+6-X3LVDS-OUTCameraLink發(fā)送3-19+X3LVDS-OUTCameraLink發(fā)送3+7+SerTCLVDS-IN串行數據接收+20-SerTCLVDS-IN串行數據接收-8-SerTFGLVDS-OUT串行數據發(fā)送-21+SerTFGLVDS-OUT串行數據發(fā)送+9-CC1LVDS-IN自定義輸入22+CC1LVDS-IN自定義輸入10+CC2LVDS-IN自定義輸入23-CC2LVDS-IN自定義輸入11NCNCNC24NCNCNC12NCNCNC25NCNCNC13GROUNDground地(2)千兆以太網接頭有8針,選用J30J-9ZKWP7-J,與其相配的是J30J-9TJL,定義如表3所示:表3線纜編號信號名稱說明1MAC_RX0+接收0+2MAC_RX0-接收0-3MAC_RX1+接收1+4MAC_RX1-接收1-5MAC_TX0+發(fā)送0+6MAC_TX0-發(fā)送0-7MAC_TX1+發(fā)送1+8MAC_TX1-發(fā)送1-9NCNC(3)RS422通訊需要三路(一路用作同步和反饋,一路用作控制相機光圈,一路備用)選用J30J-15ZKWP7-J,與其相配的是J30J-15TJL,定義如表4所示:表4線纜編號信號名稱說明1RS422_RX0+第一路接收+2RS422_RX0-第一路接收-3RS422_TX0+第一路發(fā)送+4RS422_TX0-第一路發(fā)送-5RS422_GND通訊地6RS422_RX1+預留接收+7RS422_RX1-預留接收-8RS422_TX1+預留發(fā)送+9RS422_TX1-預留發(fā)送-10RS422_GND通訊地11RS422_RX2+相機接收+12RS422_RX2-相機接收-13RS422_TX2+相機發(fā)送+14RS422_TX2-相機發(fā)送-15RS422_GND通訊地(4)同步信號為隔離的RS422信號,選用J30J-9TJWP7-J,與其相配的是J30J-9ZKL,定義如表5所示:表5線纜編號信號名稱說明1SYNC+同步+2SYNC-同步-345SYNC_GND同步地6SYNC_GND同步地7SYNC_POWER同步電源(5V)8SYNC_POWER同步電源(5V)9(5)SATA硬盤接口選用SATA7+15的標準接口。(6)電源接頭選用兩針PCB線路板接線端子。MB86H46芯片Fujitsu成功生產出世界第一塊H.264壓縮編碼芯片MB86H51,該芯片可以實時處理1920×1080(60i/50i)的動態(tài)影像,支持256MB的FCRAM,耗電率僅有750mW。2009年富士通又推出了MB86H45/MB86H55/MB86H46/MB86H56,在原來MB86H51基礎上支持更多的視頻模式。采用90nm工藝生產的MB86H46工作頻率為186MHz,可以對1920×1080(60p/50p/30p/24p)、1920×1080(60i/50i)、1440×1080(60i/50i)、1280×720(60p/50p)、720×480(60i)、720×576(50i)等不同解析度輸出,最大流碼率30Mbps。音頻方面,除了可以識別DolbyDigital、DTS等傳統(tǒng)5.1聲道外,也支持LinearPCM、MPEG-2AAC、MPEG-1AudioLayer2等無損壓縮環(huán)繞立體聲。MB86H46特點為:1)單封裝LSI芯片內嵌一個512MbFCRAM;2)視頻:H.264/AVCHighProfileLevel4.03)音頻:DolbyDigital(AC-3)ConsumerEncoder/Decoder*3,LinearPCM,MPEG-2AAC(LCprofile),MPEG-1AudioLayer2;4)工作頻率:186MHz;5)電源供應:邏輯電壓1.2V,IO電壓1.8V、2.7V~3.6V;FCRAM:1.75V~1.95V。千兆以太網TMS320C6455是一款面向高端用戶的高性能、定點數字信號處理器,最高工作頻率為1.2GHz。片內除了高性能的C64x+數字信號處理器內核外,還集成了豐富的外設資源,如用于片級互聯的RapidlO接口、千兆以太網控制器、PCI接口、DDR2接口、64位的EMIF接口、I2C接口、McBSP接口、UTOPIA接口、JTAG仿真器接口等。利用TMS320C6455片內的千兆以太網接口模塊EMAC/MDIO,結合片外的PHY芯片ET1011C以及簡單的外圍電路,擴展了系統(tǒng)的以太網網絡通信接口,實現系統(tǒng)的網絡化。EMAC模塊是DSP處理器內核與片外的網絡物理層數據傳輸的接口,負責以太網數據的接收和發(fā)送。它實現了IEEE802.3標準的以太網MAC層協(xié)議功能;將從上層協(xié)議棧傳遞來的數據打包成符合IEEE802.3標準的以太網數據包,并從收到的以太網數據包中剝離出載荷數據,提供給上層協(xié)議棧進行分析和處理。此外,EMAC模塊提供了MII、RMII、GMII和RGMII接口,能夠與符合IEEE802.3標準的片外PHY芯片無縫連接。MDIO模塊負責管理與EMAC相連的所有PHY芯片,包括對PHY芯片進行枚舉、配置和器件狀態(tài)檢測等。在TMS320C6455芯片中,EMAC/MDIO模塊的配置、運行等操作都是通過控制其內部寄存器組來實現的。此外,EMAC模塊內部有兩塊8K大小的緩沖區(qū),分別用來存放待發(fā)送和接收以太網數據包的描述信息,如數據包長度,存放位置等。這些寄存器和緩存區(qū)經由片內的外設總線映射到DSP系統(tǒng)存儲區(qū)的固定地址空間里。因此,借助于這些數據包描述信息和片內直接存儲器存取DMA控制器,EMAC/MDIO可以在不中斷CPU的情況下直接訪問存儲區(qū)的數據,相對獨立的工作?;赥MS320C6455片內EMAC/MDIO模塊、片外PHY芯片:ET1011C芯片及其外圍電路的接口設計,可以快速地實現OSI模型中數據鏈路層和物理層的功能。ET1011C芯片是千兆以太網物理層自適應收發(fā)器,支持IEEE802.3標準,提供RGMII,GMII,MII,RTBI和TBI接口,工業(yè)級,能夠與TMS320C645中的EMAC/MDIO模塊無縫連接,支持10/100/1000Mb/s全雙工數據傳輸。接口電路如圖3所示。主要接口信號包括時鐘、控制和監(jiān)測信號與數據總線,分別描述如下:MTCLK:發(fā)送時鐘。系統(tǒng)工作在10Mb/s時為2.5MHz;系統(tǒng)工作在100Mb/s時為25MHz;系統(tǒng)工作在1000Mb/s時為125MHz。MTXD[7-0]:發(fā)送數據總線。只有在使能信號MTXEN有效時,數據總線上的數據才有效。MTXEN:發(fā)送使能信號。GMTCLK:參考時鐘,頻率為125MHz。MRCLK:接收時鐘。系統(tǒng)工作在10Mb/s時為2.5MHz;系統(tǒng)工作在100Mb/s時為25MHz;系統(tǒng)工作在1000Mb/s時為125MHz。MRXD[7-0]:接收數據總線。只有在使能信號MRXDV有效時,數據總線上的數據才有效。MRXDV:接收使能信號。MDXER:接收報錯信號。MDCLK:管理時鐘數據。該時鐘信號由DSP片上的MDIO模塊來實現的。該時鐘的頻率是由MDIO控制寄存器中的CLKDIV位來控制的。MDIO:管理數據線。以向PHY寫入或讀出數據幀的形式對PHY進行配置。符合IEEE802.3協(xié)議標準。該數據幀由一個幀頭、讀寫指示、PHY地址、寄存器地址、數據等幾部分組成。網絡變壓器HFJ11-ET1011C是ETC公司的一款網絡變壓器,內部結構如圖4所示。具有的特點:溫度范圍:-40to+85℃隔離電壓:1,500VrmsOCL(100KHz,0.1Vrms,8mA):350uHminCMR(0.1-100MHz):-40dB(典型值)InsertionLoss(0.1-100MHz):-1.1dBMaxCrosstalk(0.1-100MHz):-[33-20log(F/100Mhz)]dB(典型值)。CameraLink芯片組CameraLink標準規(guī)范了數字攝像機和圖像采集卡之間的接口,采用了統(tǒng)一的物理接插件和線纜定義。只要是符合CameraLink標準的攝像機和圖像卡就可以物理上互聯。CameraLink標準中包含Base,Medium,Full三個規(guī)范,但都使用統(tǒng)一的線纜和接插件。CameraLinkBase使用4個數據通道,Medium使用了8個數據通道,Full使用12個數據通道。CameraLink標準支持的最高數據傳輸率可達680MB/s。CameraLink標準中還提供了一個雙向的串行通訊連接。圖像卡和攝像機可以通過它進行通信,用戶可以通過從圖像卡發(fā)送相應的控制指令來完成攝像機的硬件參數設置和更改,方便用戶以直接編程的方式控制攝像機。CameraLink規(guī)范建議使用NationalSemiconductor公司的28bitChannelLink芯片。CameraLink圖像接收芯片采用DS90CR288A,發(fā)送芯片DS90CR287。差分控制芯片選用DS90LV047和DS90LV048。DS90CR28x系列芯片:DS90CR287/288A主要特征如下:支持時鐘頻率最高可達77MHz;傳輸帶寬最高可達269.5MB/S(2.125Gbps);LVDS電壓擺幅只有290mV;時鐘上升沿鎖存數據;工作電壓3.3V;輸出高電平電壓為3.3V,低電平電壓為0.1V。DS90LV047和DS90LV048主要特征如下:CameraLink標準中專用通訊控制芯片,分別包括4對收發(fā)差分信號,實現異步通訊。Flash存儲K9F8G08U0M容量為8G,它8192個頁(page)組成,其中每頁的容量大小為2048bytes。而每64頁組成一個塊(block)。K9F8G08U0M的基本讀寫單位為頁,基本的擦除單位為一塊,這就表明一位一位的讀寫或擦除操作是被禁止的。K9F8G08U0M尋址通過8個復用的IO管腳,它可以極大的減少管腳數量,而且能夠保持系統(tǒng)板級的連續(xù)性:即當系統(tǒng)需擴大容量時,只需更換芯片。而電路板不需修改。命令,地址,數據都是通過這8個IO端口傳輸。當CE有效時,在WE的下降沿,IO上的數據被鎖存到FLASH中去。除了增強的結構和接口外,它還具有copy-back功能,即:在不需要外部存儲器緩存的情況下,copy-back程序可以把數據從flash的一頁轉移到另外的一頁。通過命令即可調用copy-back程序。Flash在出廠時都含有一定數量的壞塊,壞塊包含特定的信息。而且這些信息是可擦除的,因此對于任何一塊flash,要確保在進行擦除以前先要確定壞塊的位置。K9F8G08U0M寫操作時序圖如圖5所示:其中onebytewritetime:twc(min)=25ns,FLASH讀寫的單位為頁(一頁包含2048byte),其中一頁時間(典型值)為tprog=200us,所以最終FLASH的寫速度為8.15MHz。K9F8G08U0M讀操作時序圖如圖6所示:其中onebytereadtime:twc(min)=25ns,FLASH讀寫的單位為頁(一頁包含2048byte),其中一頁時間(最大值)為tprog=20us,所以最終FLASH的最小讀速度為28.9MHz。裝置中關鍵技術及其原理如下:高清視頻高清視頻,就是指支持1080i、720P和1080P的視頻標準。視頻的清晰度,是以水平掃描線數作為計量的。現在的大屏幕視頻,一般都支持1080i和720P,而一些俗稱的“全高清”(FullHD),則是指支持1080P輸出的視頻。目前的高清視頻數字信號,最高支持720P。另外,同時支持HDVideo、HDCP、HDMI、Dolby四項指標的顯卡,可稱為FullHD顯卡。高清分辨率常見分辨率:720p、1080i、1080p、a1080、a720、816p前三個是用于標識高清視頻分辨率的關鍵指標。其中,數字后跟隨的i和p分別是Interlacescan(隔行掃描)和Progressivescan(逐行掃描)的縮寫,而數字反映的是高清視頻的垂直分辨率。像720p就是指1280×720逐行掃描,1080i就是1920×1080隔行掃描,這是一種將信號源的水平分辨率按照約定俗成的方法進行縮略的命名規(guī)則。達到720p以上的分辨率,是高清信號源的準入門檻,720p標準也被稱為HD標準,而1080i/1080p被稱為FullHD(全高清)標準。部分視頻的分辨率為a720和a1080,是采用了變形技術以獲得更高的畫質。a1080一般包括1440×1080和1280×1080兩種規(guī)格,縱向分辨率都達到了1080p的標準,通過播放時的橫向擴展,實現接近FullHD的清晰度。a720一般采用960×720的規(guī)格,也有更低到852×720的。而816p并不是一種標準的分辨率,它是在做重編碼的時候,為了有效的利用,縮減容量,利用AVS軟件將上下黑邊裁掉。如1920×1080分辨率的電影比例為1.78∶1,實際內容則為2.35∶1的寬銀幕,在去除黑邊后則為1980×816。也可以采用變形技術將橫向像素減少到1440,最后成了1440×816。高清多媒體接口高清多媒體接口(HDMI)已經成為高清電視(HDTV)和眾多的為HDTV提供內容的多媒體源設備之間的標準接口。并且隨著高清時代的來臨,國內外一線顯示器品牌中,將高清多媒體接口(HDMI)應用到了最新的產品當中。隨著新系統(tǒng)中采用HDMI1.3標準,利用更豐富的高分辨率視頻數據來實現更明快清晰的圖像成為可能。HDMI規(guī)范包括用于生動逼真的彩色的深彩色增強功能,還有許多其他方面的改進,包括更好的唇同步,支持無損的HD音頻格式,“xvYCC”擴展色域,以及一個新興的小型連接器。深彩色系統(tǒng)將提供更逼真生動的電視體驗,支持10-、12-、16比特的色深(RGB或YCbCr),能夠提供更生動的彩色圖像,消除了目前高對比度顯示的帶狀干擾。深彩色通過提供更好的最暗黑和最亮白之間的灰影(shadesofgrey),改進了增強型對比度顯示的質量,從而產生更平滑的彩色圖像。新規(guī)范還支持“xvYCC”彩色標準,從而大大擴展了目前的HDTV標準中的色域,導致更精準的彩色再現,并能顯示人眼睛可以看到的任何色彩。高清視頻編碼視頻編碼:H.264、VC-1、MPEG-2、X264。目前,在BD和HDDVD上得到廣泛應用的高清視頻編碼格式主要有H.264、VC-1和MPEG-2這三種,從壓縮率和對硬件性能要求來排序的話,H.264>VC-1>MPEG-2,而畫質表現并不絕對,總體來說VC-1比較不錯。H.264是由ITU-T(國際電信聯盟)和ISO/IECMPEG共同開發(fā)的,通常也被稱為AVC?,F在還有一種叫X264的格式,其實是H.264的變種,它提供了免費、開源的編碼器,常見于HDre和HDRip格式。簡單地說,H.264就是一個標準,而X264是執(zhí)行這個標準的一個具體產品。VC-1是由微軟主導的一個編碼格式,在硬件性能需求和視頻體積上做到了較好的平衡,而MPEG-2由于技術基礎較為成熟,在早期高清領域的應用范圍也很廣。高清封裝格式封裝格式:TS、AVI、MKV、WMV通常將以上這四個術語理解成高清視頻文件的擴展名,但更準確地說,這應該是高清視頻最常見的四種封裝格式。從理論上說,封裝格式與視頻的編碼格式以及音頻格式不存在必然的聯系?,F在,TS格式已經成為了網上應用最廣泛的封裝格式,一些比較高端的音頻技術,如DTS-HD,只能以TS的格式封裝起來。至于AVI,是我們最為熟悉的一種封裝格式,但屬于較為落后的規(guī)格,對新興視頻編碼的兼容性較差。MKV和WMV也比較豐富,但總體來說還是不如TS格式。高清數字采樣SMPTE274M標準規(guī)定了高清視頻1920x1080數字規(guī)范。其中,1920x1080/30/P,有效尺寸為:1920x1080,幀頻30Hz,逐行掃描,采樣頻率74.25MHz,一行采樣數目為2200,一幀有1125行。貝爾濾波為了獲得數碼相機拍攝的照片,一般需要三個圖像傳感器分別獲取紅、綠和藍色三基色信息,為了節(jié)約成本,單傳感器成像技術使用價格低廉的工具來獲取圖像景色,即只用一個傳感器,然后將傳感器得到的圖像通過彩色過濾鏡陣列CFA(ColorFilterAlTay),例如貝爾模板過濾,最后將貝爾格式的圖像通過插值恢復成全彩圖像。這種方法廣泛的應用于消費電子產品中14司,例如數碼相機和攝像機,手機上的成像設備和個人數字設備助理(PDA)等等。不管對于哪種類型的圖像傳感器,CFA彩色濾鏡陣列技術,是產生彩色圖像的關鍵技術之一。彩色圖像的產生,主要基于色度學的格拉斯曼等基本定律,通過圖像傳感器的感光元件獲得基本的可以混合產生任意顏色的參照色刺激(原色光)。圖像傳感器通常采用的CFA結構是類似蜂窩狀的(美國又稱為馬賽克技術)濾色板,其下附有感光元件,借此判定入射的光線是RGB三原色的哪一種。最常用的陣列結構是貝爾(Bayer)模扳,在這種陣列結構中綠色的采樣頻率是紅(藍)色的兩倍,更加符合人眼對彩色的敏感性。原色RGB貝爾模板主要特征為間隔的方式放置紅、綠、藍色的濾鏡,且綠色濾鏡的數量為紅色(或藍色)的兩倍,因為人眼對綠色光波要比紅藍兩色敏感,所以這樣的數量分配使得人眼所見的圖像亮度適宜,更接近真實色彩。從理論上講,貝爾圖像傳感器與人眼的視覺特性較為接近[23];而從制造工藝上講,貝爾模板圖像傳感器的成本較低,技術成熟。貝爾模板在水平、垂直、對角方向以2倍(綠色以一倍)降采樣,從而使得頻域內亮度和色差能最佳地分離開來。當然,物體空間頻率增加時,可能導致亮色頻譜混疊的區(qū)域隨之增加。這就是貝爾圖像傳感器被廣泛應用的主要原因。前面已經提到由于物理結構的限制,CCD彩色圖像傳感器在一個像素上只能采集RGB顏色的一個分量,并且是通過使用彩色濾波陣列CFA來實現的。為了重構全彩圖像,必須要估計出另外兩種丟失的顏色分量值,這種方法通常稱為彩色插值(ColoInterpolation)方法或者彩色去馬賽克(ColorDemosaicing)處理。H.264技術H.264,同時也是MPEG-4第十部分,是由ITU-T視頻編碼專家組(VCEG)和ISO/IEC動態(tài)圖像專家組(MPEG)聯合組成的聯合視頻組(JVT,JointVideoTeam)提出的高度壓縮數字視頻編解碼器標準。H.264/MPEG-4AVC(H.264)是1995年自MPEG-2視頻壓縮標準發(fā)布以后的最新、最有前途的視頻壓縮標準。通過該標準,在同等圖象質量下的壓縮效率比以前的標準提高了2倍以上,因此,H.264被普遍認為是最有影響力的行業(yè)標準。H.264是在MPEG-4技術的基礎之上建立起來的,其編解碼流程主要包括5個部分:幀間和幀內預測(Estimation)、變換(Transform)和反變換、量化(Quantization)和反量化、環(huán)路濾波(LoopFilter)、熵編碼(EntropyCoding)。H.264標準的主要目標是:與其它現有的視頻編碼標準相比,在相同的帶寬下提供更加優(yōu)秀的圖象質量。H.264標準的關鍵技術:A.幀內預測編碼在對一給定宏塊編碼時,首先可以根據周圍的宏塊預測(典型的是根據左上角的宏塊,因為此宏塊已經被編碼處理),然后對預測值與實際值的差值進行編碼,這樣,相對于直接對該幀編碼而言,可以大大減小碼率。B.幀間預測編碼H.264靈活地添加了更多的功能,除了支持P幀、B幀外,H.264還支持一種新的流間傳送幀——SP幀。(1)不同大小和形狀的宏塊分割(2)高精度的亞像素運動補償(3)多幀預測(4)去塊濾波器C.整數變換在變換方面,整數DCT變換引起的量化誤差影響并不大。此外,整數DCT變換還具有減少運算量和復雜度,有利于向定點DSP移植的優(yōu)點。D.量化H.264中可選32種不同的量化步長,這與H.263中有31個量化步長很相似,但是在H.264中,步長是以12.5%的復合率遞進的,而不是一個固定常數。E.熵編碼視頻編碼處理的最后一步就是熵編碼,在H.264中采用了兩種不同的熵編碼方法:通用可變長編碼(UVLC)和基于文本的自適應二進制算術編碼(CABAC)。H.264與以前的國際標準如H.263和MPEG-4相比,最大的優(yōu)勢體現在以下四個方面:A.將每個視頻幀分離成由像素組成的塊,因此視頻幀的編碼處理的過程可以達到塊的級別。B.采用空間冗余的方法,對視頻幀的一些原始塊進行空間預測、轉換、優(yōu)化和熵編碼(可變長編碼)。C.對連續(xù)幀的不同塊采用臨時存放的方法,這樣,只需對連續(xù)幀中有改變的部分進行編碼。該算法采用運動預測和運動補償來完成。對某些特定的塊,在一個或多個已經進行了編碼的幀執(zhí)行搜索來決定塊的運動向量,并由此在后面的編碼和解碼中預測主塊。D.采用剩余空間冗余技術,對視頻幀里的殘留塊進行編碼。例如:對于源塊和相應預測塊的不同,再次采用轉換、優(yōu)化和熵編碼。H.264最大的優(yōu)勢是具有很高的數據壓縮比率,在同等圖像質量的條件下,H.264的壓縮比是MPEG-2的2倍以上,是MPEG-4的1.5~2倍。舉個例子,原始文件的大小如果為88GB,采用MPEG-2壓縮標準壓縮后變成3.5GB,壓縮比為25∶1,而采用H.264壓縮標準壓縮后變?yōu)?79MB,從88GB到879MB,H.264的壓縮比達到驚人的102∶1。和MPEG-2和MPEG-4ASP等壓縮技術相比,H.264壓縮技術將大大節(jié)省用戶的下載時間和數據流量收費。尤其值得一提的是,H.264在具有高壓縮比的同時還擁有高質量流暢的圖像,正因為如此,經過H.264壓縮的視頻數據,在網絡傳輸過程中所需要的帶寬更少,也更加經濟。自動曝光控制數碼相機曝光量的大小,取決于照射到感光器件CCD、CMOS上光線的強弱及停留時間,因此我們可以通過調節(jié)光圈來調整感光器件接受到外界的照度,通過調節(jié)快門速度來控制光線在感光器件上停留的時間。而曝光量也最終決定了照片的明暗情況,對于同一場景,曝光量大則照片變亮,曝光量小則照片趨于變暗。在不同的環(huán)境下,場景有不同的特點,事實上并不存在完全適用于任何場景下的自動曝光方法。對于不同的應用,根據該應用的特點可以找出相對適用的自動曝光方法。如果數碼相機的相當感光度已知,則曝光值就是關于光亮度值的函數,并且每一個亮度值對應于且只對應于一個合適的曝光值。如果預先設定參照亮度值,并給出與該參照亮度值相對應的曝光值,這樣就可以控制數碼相機的曝光。這就需要在數碼相機內部設置與參照亮度相對應的曝光值查詢表格。拍攝時由數碼相機的測光系統(tǒng)測得被攝景物的亮度值,在曝光值查詢表格中找到與之對應的曝光值,根據該曝光值控制曝光時間可以實現自動曝光。常用的的自動曝光系統(tǒng)將整幅圖像的亮度均值與預先設定的參考值比較來進行曝光控制。當圖像中主要拍攝對象與背景襯比度較低時,圖像能夠得到較好的重現。然而當主要拍攝對象與背景反差過大時,由于目前大多數消費類相機和攝像機產品中CCD/CMOS動態(tài)范圍較窄,圖像中高亮度區(qū)域產生過飽和,低亮度區(qū)域顯得黑暗,從而導致圖像中主要拍攝對象的過曝或欠曝。這種情況的特例就是背光和正面強光場景。在這兩種場景中,圖像的平均亮度由背景亮度決定,所以基于圖像普通均值的曝光控制將導致圖像主要拍攝對象的非正常曝光。設計硬件可實現的鏡頭光圈和曝光時間控制方法?;驹瓌t:將整幅圖像平均灰度值保持在128范圍附近(整個灰度范圍為0~255)。預備:設定32個不同的曝光檔位對應不同的曝光時間,并統(tǒng)計若干個大小光圈對應的每個檔位的圖像平均灰度變化量。操作:(1)根據預備知識設定初始曝光時間,統(tǒng)計一幀圖像的平均灰度Y。當Y在110~150范圍內,不調整曝光時間。當Y低于上述范圍,根據預備知識選擇更高的曝光檔位。當Y高于上述范圍,選擇更低的曝光檔位。(2)只出現欠曝光情況,統(tǒng)計欠曝光像元數目。如果欠曝光像元數目超過閾值N1,則提高平均灰度對應的曝光檔位,克服欠曝光情況。(3)只出現過曝光情況,統(tǒng)計過曝光像元數目。如果過曝光像元數目超過閾值N2,則降低平均灰度對應的曝光檔位,克服過曝光情況。(4)同時出現欠曝光、過曝光情況,反映了相機CCD/CMOS動態(tài)范圍較窄,曝光時間選取只保證平均灰度的128范圍附近。圖像會出項欠曝光、過曝光情況。(5)當在曝光時間超出32個曝光檔位,仍出現欠曝光或者過曝光情況時,根據統(tǒng)計信息調整光圈大小至合適范圍。SATA接口設計固態(tài)硬盤(SolidStateDisk)是一種新型的硬盤存儲設備,與傳統(tǒng)的磁記錄硬盤相比,具有數據傳輸率高、能耗低、抗震性好等優(yōu)點,在高端存儲應用中市場潛力巨大。由于固態(tài)硬盤采用的是半導體存儲介質,不再含有機械部件,其數據讀寫速度得以顯著提升。采用串行高級技術附件協(xié)議(SerialAdvancedTechnologyAttachmet,SATA)的接口標準,將使固態(tài)硬盤的接口速度在ATA協(xié)議的基礎上大幅提升。隨著數據傳輸速率的提升,并行ATA傳輸技術的各種問題如信號扭曲和串擾、設備尋址能力有限等都已成為提高協(xié)議數據傳輸效率的主要障礙,因此讓數據進行串行傳輸成為一種選擇。在2001年8月,Seagate公司在IDFFall2001大會上宣布SerialATA1.0標準,SerialATA規(guī)范正式確立,協(xié)議規(guī)定數據傳輸率理論值為150MB/s,大大高于并行ATA協(xié)議。隨著SATAII及SATAIII協(xié)議標準陸續(xù)制定,其接口數據傳輸速率可提高到300MB/s甚至600MB/s。在進行串行數據傳輸時,SATA接口只有7根針腳線:4根差分信號線和3根地線,它們的主要作用分別是數據發(fā)送和接收功能,接地,其中兩對數據線,一對輸入一對輸出,數據采用共模差分信號進行傳輸。SATA供電用15針腳線,分別提供12V、5V電源和地。這樣的結構也能夠降低數據傳輸的功耗,提高數據傳統(tǒng)過程的穩(wěn)定性。SerialATA由于使數據進行串行傳輸,在性能上與并行ATA相比有很多優(yōu)勢:減少SATA接口的針腳數量,易于空間布線;采用差分信號傳輸數據,利用自身物理特性有效排除數據信號之間傳輸干擾問題;采用點對點總線拓補結構,使用CRC數據校驗機制,數據傳輸更加快速,準確;傳輸速度上更具優(yōu)勢,SerialATA1.0版本的數據傳輸率已經達到150MB/S,比并行ATA最高數據傳輸率要高,并且擴展性能良好,后續(xù)版本協(xié)議數據傳輸率還將大大提升。SATA協(xié)議規(guī)范的體系結構為典型的層次結構,協(xié)議主要分為4層:物理層,鏈路層,傳輸層和應用層。當主機端SATA接口的命令寄存器被修改時,既說明接口得到了一個新讀寫操作指令,應用層會分析得到的硬盤操作命令并根據協(xié)議進行相應的解析,解析成對應的傳輸請求,最后根據數據傳輸請求要求傳輸層進行數據的傳輸操作。傳輸層接受到應用層的數據傳輸操作請求后,便將SATA接口中相關寄存器的內容按照協(xié)議規(guī)定的格式封裝為一個幀信息結構包FIS(FrameInformationStructures),按照協(xié)議規(guī)定的各種數據傳輸控制流程,將命令幀信息包及數據信息幀依次傳遞給鏈路層。鏈路層主要負責控制幀的傳輸過程。鏈路層為每一個禎定義了數據幀起始原語(SOF)和數據幀結束原語(EOF),接收方通過辨別它們來判斷一個禎的邊界。鏈路層給禎信息封裝上SOF和EOF原語,以及CRC校驗和數據后,再將待發(fā)送的數據進行擾碼,擾碼完畢后再進行8b/10b編碼,最后由物理層發(fā)送。物理層接收到鏈路層處理過的數據后,將這些數據利用差分信號線發(fā)送出去,并通過特有的帶外信號(OOB)來檢查總線上是否掛載設備。SATAIP核XILINXFPGAGTP實現SATA物理層;VHDL描述可綜合邏輯實現SATA傳輸層和鏈路層;SATAGen(1.5Gbps)速率接口硬盤;Cache模式的用戶接口,簡單的控制流程。單個SATA控制器所需要的Virtex5LXT系列的FPGA的主要資源如表6所示:表6FPGA資源名稱資源消耗數(個)寄存器Register約1400查找表LUT約1200存儲器BlockRAM4高速收發(fā)器GTP1SATAIP核的基本設計思路是:屏蔽復雜的SATA協(xié)議,讓用戶像讀寫FPGA內部RAM一樣簡單地讀寫硬盤。SATA協(xié)議的物理層由GTP實現,在FPGA外部通過一對高速串行信號線與硬盤連接,在FPGA內部GTP提供并行接口數據和一系列的控制及狀態(tài)接口。用戶邏輯與硬盤之間的數據交換通過FPGA內部的一個雙口存儲器(DPRAM)實現,這塊存儲器的一側端口由SATA控制器讀寫,另一側端口由用戶控制讀寫。DPRAM的數據位寬為32位,SATA控制器最大可以支持128KB的DPRAM,即提供15位地址控制線。DPRAM是按扇區(qū)(512字節(jié))為單位來管理的。壓縮碼流和其它信息壓縮碼流和其它信息分開存儲。在壓縮碼流每幀(P幀或者I幀)前加入32位的圖像編號信息。同步信息幀頻比圖像幀頻快。在同步信息每幀前加入當前圖像幀的圖像編號,同時再加入8位的同步信號編號。在上位機讀取SATA硬盤時,將兩部分文件分別讀出;找出相同圖像編號的壓縮碼流和同步信息,將對應一幀的同步信息疊加在解壓縮圖像上。地面站軟件設計H.264沒有明確規(guī)定一個編解碼器如何實現,只規(guī)定了編碼后視頻比特流的句法及該比特流的解碼方法,兼顧了實現的靈活性和編解碼器的互通性。H.264編解碼器的功能框圖如圖7示。地面站軟件功能包括:網絡建立聯系、通過網絡接收所選壓縮與同步數據并保存、H.264解碼和疊加同步數據并顯示。在上位機讀取SATA硬盤時,將兩部分文件分別讀出;找出相同圖像編號的壓縮碼流和同步信息,將對應一幀的同步信息疊加在解壓縮圖像上。軟件流程圖如圖8所示:通過用應力分析法對高清壓縮裝置系統(tǒng)進行預計,本發(fā)明的失效率<100010-6/h,MTBF>2000h。以上所述是本發(fā)明的優(yōu)選實施方式,應當指出,對于本
技術領域:
的普通技術人員來說,在不脫離本發(fā)明所述原理的前提下,還可以作出若干改進和潤飾,這些改進和潤飾也應視為本發(fā)明的保護范圍。當前第1頁1 2 3