專利名稱：機載平顯記錄視頻信息的動態(tài)提取方法
技術(shù)領(lǐng)域：
本發(fā)明屬于機載平顯記錄視頻信息化系統(tǒng)，具體涉及一種機載平顯記錄視頻信息 的動態(tài)提取通用方法。
背景技術(shù)：
目前，我軍現(xiàn)役的主戰(zhàn)機種都裝有平顯視頻記錄系統(tǒng)，平顯記錄視頻是由機載視 頻記錄系統(tǒng)拍攝的飛機前方外景疊加在平顯(HUD-Head Up Display)畫面上的組合畫面視 頻。所謂平顯記錄視頻信息化是指應(yīng)用機器視覺(Machine Vision)技術(shù)從平顯記錄視頻 中提取出組成平顯畫面的諸多元素隨時間變化的序列。其主要作用是記錄飛機在飛行作戰(zhàn) 過程中的飛機姿態(tài)、飛行高度、目標(biāo)截獲和攻擊效果等視頻信息。平顯視頻記錄系統(tǒng)與飛參系統(tǒng)相比的優(yōu)勢是雖然沒有飛參系統(tǒng)的采集通道和 采集數(shù)據(jù)多，但各種狀態(tài)下顯示畫面可以直觀地反映飛行作戰(zhàn)和訓(xùn)練的效果；雖然有些參 數(shù)如法向過載，在飛參系統(tǒng)中也記錄了，但它們來源于不同的傳感器；可以記錄飛參系統(tǒng) 不能記錄的重要信息，如無線電高度、地速、偏流角、風(fēng)速、風(fēng)向、場壓、無線電高度、真空速、 武器瞄準(zhǔn)過程中的光環(huán)、目標(biāo)捕捉、截獲、攻擊信息等；飛參數(shù)據(jù)采集后必須送到飛參室通 過專用軟件判讀顯示，而平顯記錄視頻可以在每個飛行架次后立即利用地面回放系統(tǒng)進(jìn)行 播放，便于作戰(zhàn)訓(xùn)練人員和飛行員對每一個架次飛行效果進(jìn)行直觀、即時、定性的分析和評 判。對于評估戰(zhàn)訓(xùn)飛行效果、提高飛行質(zhì)量、改善飛機維修保障等具有重要的軍事意義。因 此，西方國家如美國、英國都比較早地在軍機上裝載了平顯記錄視頻設(shè)備，并逐步建立了各 自的飛機視頻記錄系統(tǒng)。但是，在平顯視頻記錄系統(tǒng)的實際使用中存在兩個突出問題一是不同機型的平 顯視頻記錄系統(tǒng)以及地面回放系統(tǒng)的接口標(biāo)準(zhǔn)不統(tǒng)一，視頻記錄格式和存儲介質(zhì)也不同， 無法用主流媒體播放器播放，給部隊的使用、維修帶來了很大困難；二是平顯記錄視頻為模 擬影像信息，難以標(biāo)識、定位和檢索，且畫面中包涵很多無用的視景如云、地貌等信息，占用 很大存儲空間，給信息存檔和調(diào)用帶來困難。為此，開展平顯記錄視頻的信息化處理，濾掉 無用信息，提取無線電高度、地速、偏流角、風(fēng)速、風(fēng)向、場壓、無線電高度、真空速、武器瞄準(zhǔn) 過程中的光環(huán)、目標(biāo)捕捉、截獲、攻擊等信息，實現(xiàn)主戰(zhàn)機型的平顯記錄視頻信息標(biāo)準(zhǔn)化應(yīng) 用和數(shù)字化存儲、調(diào)用，是部隊的迫切需要。

發(fā)明內(nèi)容
為了解決現(xiàn)有技術(shù)領(lǐng)域存在的上述問題，本發(fā)明的目的在于，提供一種機載平顯 記錄視頻信息的動態(tài)提取方法，在前期對RGB視頻幀提取綠色成分，并經(jīng)過局部閾值背景 過濾，得到平顯畫面OCR 二值圖像巾貞，該方法研究的問題是對OCR 二值圖像幀中顯示位置相 對固定的參數(shù)進(jìn)行信息動態(tài)提取。平顯畫面OCR字符集是平顯畫面字符圖像識別的主要依據(jù)，是由構(gòu)成平顯畫面的 基本圖像元素樣本組成的集合。通過計算OCR視頻幀上顯示參數(shù)區(qū)域圖像與平顯畫面OCR字符集中字符圖像樣本的相似度，其中相似度最大的字符選為該區(qū)域圖像識別的結(jié)果。因 此，平顯畫面OCR字符集的質(zhì)量是平顯記錄視頻信息化的關(guān)鍵。由于OCR字符集是平顯記錄視頻信息化的基礎(chǔ)。因此，為提高樣本的質(zhì)量，應(yīng)盡可 能選擇噪聲較小的識別幀作為OCR樣本對象。在經(jīng)過平顯記錄視頻的原始幀一綠色成分幀 —OCR幀的一系列處理過程中，選擇的OCR樣本還不能直接作為標(biāo)準(zhǔn)樣本，還需要再進(jìn)行優(yōu) 化處理，通過對OCR字符樣本的標(biāo)準(zhǔn)化處理，可提高OCR字符的識別率。本發(fā)明提供的機載平顯記錄視頻信息的動態(tài)提取方法，對OCR 二值圖像幀中，位 置相對固定的參數(shù)進(jìn)行信息提取。包括以下步驟(一 )構(gòu)建標(biāo)準(zhǔn)化的OCR字符集樣本，選取噪聲較小的OCR幀，對其進(jìn)行優(yōu)化編輯 處理，然后保存為OCR字符集樣本；1、選取噪聲較小的OCR幀，點擊編輯菜單項，選定字符顯 示區(qū)域，并添加到OCR字符集副本；2、在OCR字符集的瀏覽狀態(tài)下，點擊任意字符，出現(xiàn)選 擇框，則編輯區(qū)域顯示所選中的字符，并處于編輯狀態(tài)下，可對選中的字符進(jìn)行優(yōu)化編輯處 理，左擊可使相應(yīng)的點設(shè)置為黑色，右擊可使相應(yīng)點設(shè)置為白色；3、把編輯完成的OCR字符 集副本，保存為OCR字符集樣本。( 二 )構(gòu)建平顯畫面信息模板，首先選定參數(shù)字符串顯示區(qū)域的大致區(qū)域，然后自 動計算恰好包含參數(shù)字符串的矩形參數(shù)，最終以XML文件形式保存；其過程為首先顯示識 別幀，在信息模板菜單中選擇對應(yīng)的參數(shù)選項，在識別幀上人工選定大致包含參數(shù)的顯示 區(qū)域，通過軟件算法計算并顯示出恰好包含參數(shù)的最小顯示區(qū)域，并將此參數(shù)顯示區(qū)域?qū)?性保存到信息模板文件，然后把設(shè)定完成的矩形參數(shù)以XML文件形式保存，完成信息模板 的構(gòu)建，便于信息化調(diào)用。平顯畫面中位置固定的參數(shù)字符串主要有法向過載、馬赫數(shù)、真空速、裝訂氣壓、 風(fēng)速、風(fēng)向、裝訂高度、指示空速刻度帶的數(shù)字顯示框、高度刻度帶的數(shù)字顯示框等。其特 征是位置相對固定，格式保持不變。在信息模板中，主要保存參數(shù)字符串的顯示區(qū)域一 矩形參數(shù)，矩形參數(shù)由四個要素確定參數(shù)區(qū)域左上角頂點坐標(biāo)(Left，Top)、參數(shù)區(qū)域?qū)?Width、參數(shù)區(qū)域高 Height,即 Rect (Top, Left, Height, Width)，XML是可擴展的置標(biāo)語言(extensible Markup Language)的縮寫，是W3C組織于 1998年2月發(fā)布的標(biāo)準(zhǔn)。W3C組織制定XML標(biāo)準(zhǔn)的初衷是，定義一種互聯(lián)網(wǎng)上交換數(shù)據(jù)的 標(biāo)準(zhǔn)。XML以其良好的語義及清晰的結(jié)構(gòu)受到人們的推崇，是網(wǎng)絡(luò)間進(jìn)行數(shù)據(jù)交換的理想格 式，各種不同的系統(tǒng)之間可以采用XML作為交流媒介。XML不但簡單易讀，而且可以標(biāo)注各 種文字、圖像甚至二進(jìn)制文件。在XML中數(shù)據(jù)搜索可以簡單高效地進(jìn)行。(三)參數(shù)信息的提取，首先根據(jù)平顯畫面信息模板，讀取矩形框參數(shù)，對各個參 數(shù)顯示區(qū)域進(jìn)行粗劃分，然后參照標(biāo)準(zhǔn)化的OCR字符集樣本，完成矩形框的橫向細(xì)劃分，并 識別參數(shù)顯示區(qū)域中的每個字符圖像，依據(jù)參數(shù)顯示格式，自動轉(zhuǎn)換為相應(yīng)的參數(shù)數(shù)值，最 后把讀取的參數(shù)數(shù)值存儲為序列文件，便于檢索等應(yīng)用。位置固定的參數(shù)信息提取分為兩步，第一步根據(jù)平顯畫面參數(shù)信息模板，完成位 置固定參數(shù)顯示區(qū)域的粗劃分；經(jīng)反復(fù)實驗發(fā)現(xiàn)，如果直接對大粒度劃分區(qū)域進(jìn)行整體 OCR識別，難以獲得滿意的識別效果。這是由于OCR字符集的基本元素為字符圖像樣本，而 大粒度劃分區(qū)域是由多個字符的圖像水平排列組成的，很難準(zhǔn)確獲得各字符對應(yīng)的正確位 置。為此必須對大粒度劃分進(jìn)行第二步的水平細(xì)劃分，即對參數(shù)顯示區(qū)域的橫向精細(xì)劃分，
4在完成參數(shù)字符串區(qū)域圖像的單個字符圖像顯示區(qū)域的細(xì)劃分后，再逐一對單個字符圖像 進(jìn)行識別，最后根據(jù)參數(shù)的顯示格式組合成相應(yīng)的參數(shù)字符串，并最終轉(zhuǎn)換成相應(yīng)的數(shù)值。 最后把讀取的參數(shù)數(shù)值存儲為序列文件，便于檢索等應(yīng)用。本發(fā)明提供的機載平顯記錄視頻信息的動態(tài)提取方法，其有益效果在于，1、系統(tǒng) 地提出了平顯記錄視頻信息提取的理論和實現(xiàn)方法，綜合運用了機器視覺原理首次提出了 平顯記錄視頻信息提取的理論，運用機器視覺技術(shù)和自動化技術(shù)實現(xiàn)平顯記錄視頻信息化 系統(tǒng)。2、開發(fā)了內(nèi)嵌式OCR字符集編輯系統(tǒng)，實現(xiàn)了 OCR字符樣本的標(biāo)準(zhǔn)化，消除背景和視 頻幀轉(zhuǎn)換過程帶來的噪聲影響，有效提高了參數(shù)字符的識別率；同時解決了機器視覺助手 (Ni Vision Assistant)作為獨立的應(yīng)用程序無法融入到應(yīng)用軟件系統(tǒng)的難題。3、通過選 取并保存不同參數(shù)的顯示區(qū)域信息，自動構(gòu)建了平顯畫面信息模板，為參數(shù)識別提供大粒 度的區(qū)域劃分。4、研究開發(fā)了二次區(qū)域分割算法，通過對參數(shù)顯示區(qū)域的橫向精細(xì)劃分，有 效實現(xiàn)了單個字符的顯示區(qū)域的自動分割，并根據(jù)參數(shù)顯示格式和自動識別的結(jié)果產(chǎn)生畫 面信息。


圖1是本發(fā)明一個實施例的構(gòu)建OCR字符集樣本的流程示意圖；圖2是本發(fā)明實施例的OCR字符集編輯菜單示意圖；圖3是本發(fā)明實施例的OCR字符集的瀏覽狀態(tài)示意圖；圖4是本發(fā)明實施例的OCR字符集的選擇狀態(tài)示意圖；圖5是本發(fā)明實施例的OCR字符集單個字符的編輯狀態(tài)示意圖；圖6是本發(fā)明實施例的信息模板菜單示意圖；圖7是本發(fā)明實施例的信息模板參數(shù)屬性設(shè)置流程示意圖；圖8是本發(fā)明實施例的參數(shù)顯示區(qū)域的粗劃分原理示意圖；圖9是本發(fā)明實施例的參數(shù)顯示區(qū)域的橫向精細(xì)劃分原理示意10是本發(fā)明實施例的一幀OCR 二值圖像幀示意圖。
具體實施例方式下面參照附圖，結(jié)合一個實施例，對本發(fā)明提供的機載平顯記錄視頻信息的動態(tài) 提取方法進(jìn)行詳細(xì)的說明。實施例參照圖1-圖10，以某機型戰(zhàn)機的機載平顯記錄視頻信息系統(tǒng)為例，本實施例的機 載平顯記錄視頻信息的動態(tài)提取方法，對OCR 二值圖像幀中，如圖10所示，對位置相對固定 的參數(shù)進(jìn)行信息提取。包括以下步驟(一)構(gòu)建標(biāo)準(zhǔn)化的OCR字符集樣本，如圖1所示， 其過程為1、選取噪聲較小的OCR幀，點擊編輯菜單項，選定字符顯示區(qū)域，并添加到OCR字 符集副本，OCR字符集樣本的編輯菜單如圖2所示；2、如圖3-圖5所示，在OCR字符集的瀏 覽狀態(tài)下，點擊任意字符，如點擊字符6，出現(xiàn)選擇框，則編輯區(qū)域顯示所選中的字符，并處 于編輯狀態(tài)下，對選中的字符進(jìn)行優(yōu)化編輯處理，左擊可使相應(yīng)的點設(shè)置為黑色，右擊可使 相應(yīng)點設(shè)置為白色；3、把編輯完成的OCR字符集副本，保存為OCR字符集樣本。還可以把已 保存的OCR字符集樣本，添加為OCR字符集副本，進(jìn)行顯示，再進(jìn)行優(yōu)化編輯。
< xml version=" 1.0" encoding="gb2312" > <平顯畫面信息模板型號="****”>
<法向過載 TOP="52" LEFT=" 120" HEIGHT=" 18" WIDTH="60"/> <馬赫數(shù) TOP="77" LEFT=" 120" HEIGHT=" 18" WIDTH="60"/> 〈真空速 TOP="98" LEFT="92" HEIGHT="28" WIDTH="92"/> 〈風(fēng)速 TOP="67" LEFT="474" HEIGHT="29" WIDTH="56"/> <風(fēng)向 TOP="65" LEFT="532" HEIGHT="29" WIDTH="56"/> 〈裝訂高度 TOP="94" LEFT="493" HEIGHT="24" WIDTH="65"> <裝訂氣壓 TOP="" LEFT="" HEIGHT="" WIDTH=""/> <空速刻度帶 ΤΟΡ="20Γ LEFT=" 106" HEIGHT="20" WIDTH="59"/> <高度刻度帶 TOP="" LEFT="" HEIGHT="" WIDTH=""/> 〈航向刻度帶 BASE="337.0" TOP="4" HEIGHT="20" WIDTH=""/〉 <姿態(tài)線 TOP="" LEFT="" HEIGHT="" WIDTH=""/〉 <水平基準(zhǔn) TOP="210.5"/> </平顯畫面信息模板>表1某機型戰(zhàn)機的平顯畫面信息模板參數(shù)( 二)平顯畫面信息模板的構(gòu)建，信息模板菜單如圖6所示，在信息模板中，主要 保存參數(shù)字符串的顯示區(qū)域，如圖8所示矩形參數(shù)Rect (Top，Left, Height, Width)，其編 輯構(gòu)建過程如圖7所示，首先顯示識別幀，在信息模板菜單中選擇對應(yīng)的參數(shù)選項，在識別 幀上人工選定包含參數(shù)的顯示區(qū)域，軟件通過算法計算并顯示出恰好包含參數(shù)的最小顯示 區(qū)域，并將此參數(shù)屬性保存到信息模板文件。如果信息模板已包含了該參數(shù)屬性，則彈出提 示對話框，可進(jìn)行覆蓋或退出操作；如果信息模板不包含該參數(shù)屬性，則自動添加到信息模 板。矩形參數(shù)設(shè)定完成，最終以XML文件形式保存，便于跨平臺調(diào)用。本實施例的平顯 畫面信息模板各參數(shù)如表1所示。(三)參數(shù)信息的提取，首先根據(jù)平顯畫面信息模板，讀取矩形框參數(shù)，對各個參 數(shù)顯示區(qū)域進(jìn)行粗劃分，讀取矩形框參數(shù)，然后參照標(biāo)準(zhǔn)化的OCR字符集樣本，完成矩形框 的橫向細(xì)劃分，并識別參數(shù)顯示區(qū)域中的每個字符，依據(jù)參數(shù)顯示格式，自動轉(zhuǎn)換為相應(yīng)的 參數(shù)數(shù)值，最后把讀取的參數(shù)數(shù)值存儲為序列文件，便于檢索等應(yīng)用。如圖8、圖9所示，對法向過載參數(shù)信息提取分為兩步，第一步根據(jù)參數(shù)信息模 板，完成位置固定參數(shù)顯示區(qū)域的粗劃分，法向過載參數(shù)矩形框RectOOP=" 52" LEFT ="120〃 HEIGHT=" 18〃 WIDTH = " 60〃 )，矩形框顯示[0+0.9| ；然后對大粒度劃分再
進(jìn)行第二步的水平細(xì)劃分，即對參數(shù)顯示區(qū)域的橫向精細(xì)劃分，在完成參數(shù)字符串區(qū)域圖 像的單個字符圖像顯示區(qū)域的細(xì)劃分后，再逐一對單個字符圖像G+0. 9進(jìn)行識別，最后根 據(jù)參數(shù)的顯示格式組合成相應(yīng)的參數(shù)字符串，并最終轉(zhuǎn)換成相應(yīng)的數(shù)值。最后把讀取的參 數(shù)存儲為序列文件，便于檢索等應(yīng)用。平顯記錄視頻信息化主要應(yīng)用在機載記錄視頻的快速檢索、合成顯示、壓縮存儲、 飛行過程三維顯示、攻擊過程效果分析、訓(xùn)練效果評估、機載設(shè)備性能分析等方面。通過分 析平顯記錄視頻信息化影響因素，可以識別平顯視頻記錄系統(tǒng)和地面處理系統(tǒng)標(biāo)準(zhǔn)化模塊化設(shè)計的薄弱環(huán)節(jié)。
權(quán)利要求
一種機載平顯記錄視頻信息的動態(tài)提取方法，在前期對RGB視頻幀提取綠色成分，并經(jīng)過局部閾值背景過濾，得到平顯畫面OCR二值圖像幀，對OCR二值圖像幀中，位置相對固定的顯示參數(shù)進(jìn)行信息提取，包括以下步驟(一)構(gòu)建標(biāo)準(zhǔn)化的OCR字符集樣本，選取噪聲較小的OCR幀，對其進(jìn)行優(yōu)化編輯處理，然后保存為OCR字符集樣本；(二)構(gòu)建平顯畫面信息模板，首先選定參數(shù)字符串顯示區(qū)域的大致區(qū)域，然后自動計算恰好包含參數(shù)字符串的矩形參數(shù)，最終以XML文件形式保存；(三)參數(shù)信息的提取，首先根據(jù)平顯畫面信息模板，讀取矩形框參數(shù)，對各個參數(shù)顯示區(qū)域進(jìn)行粗劃分，讀取矩形框參數(shù)，然后參照標(biāo)準(zhǔn)化的OCR字符集樣本，完成矩形框的橫向細(xì)劃分，并識別參數(shù)顯示區(qū)域中的每個字符圖像，依據(jù)參數(shù)顯示格式，自動轉(zhuǎn)換為相應(yīng)的參數(shù)數(shù)值，最后把讀取的參數(shù)數(shù)值存儲為序列文件，便于檢索等應(yīng)用。
2.根據(jù)權(quán)利要求1所述的機載平顯記錄視頻信息的動態(tài)提取方法，其特征在于步驟(一)構(gòu)建標(biāo)準(zhǔn)化的OCR字符集樣本，其過程為1、選取噪聲較小的OCR幀，點擊編輯菜單 項，選定字符顯示區(qū)域，并添加到OCR字符集副本；2、在OCR字符集的瀏覽狀態(tài)下，點擊任意 字符，出現(xiàn)選擇框，則編輯區(qū)域顯示所選中的字符，并處于編輯狀態(tài)下，可對選中的字符進(jìn) 行優(yōu)化編輯處理，左擊可使相應(yīng)的點設(shè)置為黑色，右擊可使相應(yīng)點設(shè)置為白色；3、把編輯完 成的OCR字符集副本，保存為OCR字符集樣本。
3.根據(jù)權(quán)利要求1所述的機載平顯記錄視頻信息的動態(tài)提取方法，其特征在于步驟(二)構(gòu)建平顯畫面信息模板，其過程為首先顯示識別幀，在信息模板菜單中選擇對應(yīng)的 參數(shù)選項，在識別幀上人工選定大致包含參數(shù)的顯示區(qū)域，通過軟件算法計算并顯示出恰 好包含參數(shù)的最小顯示區(qū)域，并將此參數(shù)顯示區(qū)域?qū)傩员４娴叫畔⒛０逦募?，然后把設(shè)定 完成的矩形參數(shù)以XML文件形式保存，完成信息模板的構(gòu)建，便于信息化調(diào)用。
全文摘要
本發(fā)明公開了一種在經(jīng)過前期對RGB視頻幀提取綠色成分，并經(jīng)過局部閾值背景過濾，得到平顯畫面OCR二值圖像幀，對OCR二值圖像幀中，位置相對固定的參數(shù)進(jìn)行信息提取，包括以下步驟(一)構(gòu)建標(biāo)準(zhǔn)化的OCR字符集樣本，選取噪聲較小的OCR幀，對其進(jìn)行優(yōu)化編輯處理，然后保存為OCR字符集樣本；(二)構(gòu)建平顯畫面信息模板，對參數(shù)字符串的顯示區(qū)域即矩形參數(shù)進(jìn)行設(shè)定，矩形參數(shù)設(shè)定完成，最終以XML文件形式保存；(三)參數(shù)信息的提取，首先根據(jù)平顯畫面信息模板，對各個參數(shù)顯示區(qū)域進(jìn)行粗劃分，讀取矩形框中的參數(shù)，然后參照標(biāo)準(zhǔn)化的OCR字符集樣本，讀取參數(shù)中的每個字符，最后把讀取的參數(shù)存儲為序列文件，便于檢索等應(yīng)用。
文檔編號G06K9/20GK101964057SQ20101024170
公開日2011年2月2日 申請日期2010年7月28日 優(yōu)先權(quán)日2010年7月28日
發(fā)明者吳衛(wèi)玲, 徐偉勤, 楊建新, 江軍, 王春雷, 王維江, 程江濤, 葛銀茂, 陳遵銀, 韓兆福 申請人:中國人民解放軍海軍航空工程學(xué)院青島分院