一種無人機偵察視頻信息提取與分層編目方法
【專利摘要】本發(fā)明公開一種無人機偵察視頻內(nèi)容編目提取方法，屬于視頻檢索【技術(shù)領(lǐng)域】。首先對無人機偵察視頻提取關(guān)鍵幀與拼接視頻全景圖，實現(xiàn)對視頻主要內(nèi)容的提取，然后根據(jù)提取的圖像及視頻本身的輔助數(shù)據(jù)進行分層的，可基于應(yīng)用拓展的編目。本發(fā)明可用于無人機偵察視頻的檢索，可實現(xiàn)基于視頻內(nèi)容的、高效的、全方位的檢索。
【專利說明】一種無人機偵察視頻信息提取與分層編目方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于視頻檢索【技術(shù)領(lǐng)域】，具體涉及一種無人機偵察視頻信息提取與分層編目方法。
【背景技術(shù)】
[0002]現(xiàn)有的基于遙感圖像數(shù)據(jù)的編目標(biāo)準(zhǔn)，有美國聯(lián)邦地理數(shù)據(jù)委員會曾制定一系列美國國家地理空間數(shù)據(jù)標(biāo)準(zhǔn)，包括數(shù)字地理空間元數(shù)據(jù)內(nèi)容標(biāo)準(zhǔn)、遙感條帶數(shù)據(jù)內(nèi)容標(biāo)準(zhǔn)、數(shù)字地理空間元數(shù)據(jù)內(nèi)容標(biāo)準(zhǔn)——遙感元數(shù)據(jù)擴展等，其目的是方便數(shù)據(jù)生產(chǎn)商與數(shù)據(jù)用戶之間實現(xiàn)數(shù)據(jù)共享，從而支持國家空間數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)。國內(nèi)也曾制定航天遙感數(shù)據(jù)編目檢索方法，包含對衛(wèi)星分類、傳感器分類、日期分類、覆蓋范圍分類及應(yīng)用領(lǐng)域分類的編目。
[0003]以上提及的編目標(biāo)準(zhǔn)是面向遙感數(shù)據(jù)的普遍特性，且主要針對遙感數(shù)據(jù)的文本元數(shù)據(jù)，不能滿足無人機偵察視頻基于內(nèi)容的應(yīng)用需求。無人機偵察視頻是遙感視頻中的一類，是無人機偵察任務(wù)時獲取的基礎(chǔ)數(shù)據(jù)，同時也是諸多科研的重要情報來源。由于無人機成像載荷種類多、偵察范圍廣，使得無人機偵察視頻數(shù)據(jù)量大，內(nèi)容豐富。并且無人機偵察視頻除去自身視頻信息外，視頻成像時期的測控數(shù)據(jù)及其他相關(guān)輔助數(shù)據(jù)對于后期情報提取、數(shù)據(jù)同步的工作有重要作用。鑒于以上，時間維與空間二維組合的無人機偵察視頻相異于傳統(tǒng)的一維數(shù)據(jù)，因此傳統(tǒng)的數(shù)據(jù)編目方式難以支持無人機偵察視頻的內(nèi)容應(yīng)用管理與檢索。
[0004]無人機偵察視頻的編目需與視頻內(nèi)容緊密結(jié)合?；谝曨l內(nèi)容的應(yīng)用技術(shù)主要有關(guān)鍵幀提取與視頻拼接。提取視頻關(guān)鍵幀可形成高度概括視頻的視頻摘要，這些關(guān)鍵幀保留了原始視頻的主要內(nèi)容而省略大量細節(jié)，在無人機偵察視頻的應(yīng)用上，提取關(guān)鍵幀可以在無需觀看整個視頻的情況下一覽無人機偵察任務(wù)所飛行的主要路線的主要偵察情報，減少視頻檢索的時間。視頻序列的全景圖拼接圖，實現(xiàn)視頻到圖像的全局映射，提聞檢索的效率。
[0005]但是至今，以上提及的文本元數(shù)據(jù)編目與基于視頻內(nèi)容的技術(shù)尚未形成系統(tǒng)的結(jié)合。在無人機偵察視頻的檢索應(yīng)用中，將元數(shù)據(jù)與視頻內(nèi)容結(jié)合作為分類依據(jù)、索引條目會提高檢索的效率，更符合用戶的應(yīng)用習(xí)慣，從而增加無人機偵察視頻的有效利用率。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的是為了提高無人機偵察視頻檢索的效率與用戶交互性，系統(tǒng)友好性，通過針對無人機視頻的關(guān)鍵內(nèi)容提取及與相關(guān)輔助信息元數(shù)據(jù)的編目設(shè)計，實現(xiàn)減少Ih息幾余的基于視頻內(nèi)容的聞效視頻檢索。
[0007]本發(fā)明方法在基于內(nèi)容視頻分析、處理和檢索技術(shù)的基礎(chǔ)上，結(jié)合無人機的遙感測控的數(shù)據(jù)信息與任務(wù)應(yīng)用，自動提取無人機偵察視頻的視頻結(jié)構(gòu)、時空信息、視覺內(nèi)容信息及對視頻內(nèi)容的理解信息等特征作為索引，輔以傳統(tǒng)的基于文本的視頻檢索方式，能夠滿足無人機偵察視頻編目的自動化和人機交互需求，提高檢索效率。
[0008]本發(fā)明提供一種用于無人機偵察視頻信息提取與分層編目方法，具體步驟如下:
[0009]第一步，提取無人機偵察視頻關(guān)鍵幀與拼接無人機偵察視頻；
[0010]提取的關(guān)鍵幀內(nèi)容主要包括場景轉(zhuǎn)換的關(guān)鍵轉(zhuǎn)折幀及其相關(guān)輔助信息，所拼接的視頻拼接圖主要為場景轉(zhuǎn)換后可以進行拼接的全景圖。
[0011]第二步，無人機偵察視頻內(nèi)容分層編目設(shè)計，編目對象包括:根據(jù)第一步中所提取的關(guān)鍵幀圖像、視頻拼接圖以及無人機偵察視頻原數(shù)據(jù)和相關(guān)的輔助數(shù)據(jù)。
[0012]編目設(shè)計分為3層，分別為無人機偵察視頻通用信息層、無人機偵察視頻測控信息層和無人機偵察視頻內(nèi)容信息層，編目可根據(jù)應(yīng)用需求向下拓展。
[0013]本發(fā)明方法的優(yōu)點和積極效果在于:
[0014](I)提取的無人機偵察視頻的關(guān)鍵圖像幀與拼接圖可以有效概括該視頻的內(nèi)容；
[0015](2)設(shè)計的視頻內(nèi)容與視頻相關(guān)輔助數(shù)據(jù)的結(jié)合可以全方位的表示視頻；
[0016](3)利用視頻、圖像內(nèi)容、測控信息及相關(guān)輔助信息的聯(lián)合編目可實現(xiàn)對無人機偵察視頻基于內(nèi)容的、全方位、可拓展的高效檢索。
[0017]因此，使用本發(fā)明方法能提高視頻檢索效率，實現(xiàn)無人機偵察視頻內(nèi)容的基于內(nèi)容的、全方位的高效檢索。
【專利附圖】

【附圖說明】
[0018]圖1是本發(fā)明無人機偵察視頻信息提取與分層編目方法的整體步驟圖；
[0019]圖2是本發(fā)明步驟一中所設(shè)計提取及拼接流程圖；
[0020]圖3是本發(fā)明步驟二中所設(shè)計的編目系統(tǒng)整體圖；
【具體實施方式】
[0021 ] 下面結(jié)合附圖，對本發(fā)明的具體實施方法進行詳細說明。
[0022]本發(fā)明的無人機偵察視頻信息提取與分層編目方法，整體流程圖如圖1所示，包括以下幾個步驟:
[0023]第一步，提取無人機偵察視頻關(guān)鍵幀與拼接無人機偵察視頻。
[0024]該步驟包括從無人機偵察視頻數(shù)據(jù)中提取視頻幀，并對所提取的視頻幀進行判斷是否能進行拼接或者為關(guān)鍵幀。
[0025]提取的關(guān)鍵幀內(nèi)容主要包括場景轉(zhuǎn)換的關(guān)鍵轉(zhuǎn)折幀及其相關(guān)輔助信息，所拼接的視頻拼接圖主要為場景轉(zhuǎn)換后可以進行拼接的全景圖:
[0026]第一步的步驟流程如圖2所示，
[0027]步驟1.1，提取視頻幀，若提取成功則進行到步驟1.2，若提取失敗，則表示該視頻已提取完畢，視頻提取工作結(jié)束；
[0028]步驟1.2，對提取成功的視頻幀進行判斷，若為該視頻的第一幀，則先設(shè)定為初始全景拼接圖10，并回到步驟1.1，進行下一視頻幀提??；若不為視頻的第一幀，則對該視頻幀圖像提取特征點，并與全景圖進行特征點匹配與圖像拼接；
[0029]步驟1.3，若步驟1.2中全景圖拼接成功，則以新拼接的全景圖更新替換原有的全景圖，并回到步驟1.1;若拼接失敗，則將所提取的視頻幀設(shè)定為關(guān)鍵幀，并輸出之前已完成拼接的全景圖。
[0030]第二步，無人機偵察視頻內(nèi)容分層編目設(shè)計。
[0031]編目對象包括:根據(jù)第一步中所提取的關(guān)鍵幀圖像、視頻拼接圖以及無人機偵察視頻原數(shù)據(jù)和相關(guān)的輔助數(shù)據(jù)。
[0032]編目設(shè)計分為3層，分別為無人機偵察視頻通用信息層、無人機偵察視頻測控信息層和無人機偵察視頻內(nèi)容信息層，編目可根據(jù)應(yīng)用向下拓展。
[0033]如圖3所示，為無人機偵察視頻的內(nèi)容編目整體系統(tǒng)，下面對編目的三個方面進行具體說明:
[0034]步驟2.1,無人機偵察視頻通用信息層編目設(shè)計。
[0035]無人機偵察視頻的通用信息層是指視頻的一般屬性，用于表達該視頻最基本的性質(zhì)，如表1所示，包括如視頻的名字、大小、時長、拍攝時間、存儲時間、格式類型等，可從視頻本身讀取。本層編目可實現(xiàn)對無人機偵察視頻針對名字、拍攝與存儲時間的視頻一般屬性檢索。
[0036]表1無人機偵察視頻通用信息層編目表
【權(quán)利要求】
1.無人機偵察視頻信息提取與分層編目方法，包括以下幾個步驟: 第一步，提取無人機偵察視頻關(guān)鍵幀與拼接無人機偵察視頻； 具體包括: 步驟1.1，提取視頻幀，若提取成功則進行到步驟1.2，若提取失敗，則表示該視頻已提取完畢，視頻提取工作結(jié)束； 步驟1.2，對提取成功的視頻幀進行判斷，若為該視頻的第一幀，則先設(shè)定為初始全景拼接圖10，并回到步驟1.1，進行下一視頻幀提取；若不為視頻的第一幀，則對該視頻幀圖像提取特征點，并與全景圖進行特征點匹配與圖像拼接； 步驟1.3，若步驟1.2中全景圖拼接成功，則以新拼接的全景圖更新替換原有的全景圖，并回到步驟1.1 ;若拼接失敗，則將所提取的視頻幀設(shè)定為關(guān)鍵幀，并輸出之前已完成拼接的全景圖； 第二步，無人機偵察視頻內(nèi)容分層編目設(shè)計； 具體包括: 步驟2.1，無人機偵察視頻通用信息層編目設(shè)計； 無人機偵察視頻的通用信息層編目包括視頻編號、視頻名字、大小、格式、視頻時長、拍攝時間、存儲時間、存儲路徑、圖像寬度、圖像高度、幀速率、數(shù)據(jù)速率，上述數(shù)據(jù)通過無人機偵察視頻獲取，設(shè)定編目字符類型，形成無人機偵察視頻通用信息層編目表； 步驟2.2，無人機偵察視頻測控信息層編目設(shè)計； 無人機偵察視頻測控信息層編目向下分為兩層，包括無人機測控信息編目、外部環(huán)境測控信息編目，無人機測控信息編目包括偵察任務(wù)、無人機型號、任務(wù)載荷、最低飛行高度、最高飛行高度、GPS軌跡，上述數(shù)據(jù)通過無人機偵察視頻的輔助數(shù)據(jù)中獲取，設(shè)定編目字符類型，形成無人機測控信息編目表；外部環(huán)境測控信息編目包括溫度、可見度、空氣顆粒分布、濕度，上述數(shù)據(jù)通過無人機的傳感器獲取，設(shè)定編目字符類型，形成外部環(huán)境測控信息編目表； 步驟2.3，無人機偵察視頻內(nèi)容信息層編目設(shè)計； 無人機偵察視頻內(nèi)容信息層編目包括地域信息編目、拼接圖編目、關(guān)鍵幀編目， 地域信息編目包括地域類型，設(shè)定編目字符類型，形成地域信息編目表； 拼接圖編目包括圖像編號、圖像名稱、圖像大小、圖像格式、圖像寬度、圖像高度、圖像類型、創(chuàng)建時間、飛行高度、飛機經(jīng)度、飛機緯度，設(shè)定編目字符類型，形成拼接圖編目表；關(guān)鍵幀編目包括圖像編號、圖像名稱、圖像大小、圖像格式、圖像寬度、圖像高度、創(chuàng)建時間、圖像關(guān)聯(lián)視頻時間、圖像類型、平臺方位角、平臺俯仰角、飛機經(jīng)度、飛機緯度、飛機橫滾角、飛機真航向、飛機俯仰角，設(shè)定編目字符類型，形成關(guān)鍵幀編目表； 將上述無人機偵察視頻通用信息層、無人機偵察視頻測控信息層、無人機偵察視頻內(nèi)容信息層中的編目表存入無人機偵察視頻檢索系統(tǒng)。
2.根據(jù)權(quán)利要求1所述的無人 機偵察視頻信息提取與分層編目方法，所述的無人機偵察視頻通用信息層編目表如下所示: 表1無人機偵察視頻通用信息層編目表
3.根據(jù)權(quán)利要求1所述的無人機偵察視頻信息提取與分層編目方法，所述的無人機測控信息編目表如下所示: 表2無人機偵察視頻測控信息層一無人機測控信息編目表
4.根據(jù)權(quán)利要求1所述的無人機偵察視頻信息提取與分層編目方法，所述的外部環(huán)境測控信息編目表如下所示: 表3無人機偵察視頻測控信息層一外部環(huán)境測控信息編目表
5.根據(jù)權(quán)利要求1所述的無人機偵察視頻信息提取與分層編目方法，所述的地域信息編目表如下所示: 表4無人機偵察視頻內(nèi)容信息層一地域信息編目表
6.根據(jù)權(quán)利要求1所述的無人機偵察視頻信息提取與分層編目方法，所述的拼接圖編目表如下所示: 表5無人機偵察視頻內(nèi)容信息層——拼接圖編目表
7.根據(jù)權(quán)利要求1所述的無人機偵察視頻信息提取與分層編目方法，所述的外部環(huán)境測控信息編目表如下所示: 表6無人機偵察視頻內(nèi)容信息層一關(guān)鍵幀編目表
【文檔編號】G06F17/30GK103870598SQ201410130895
【公開日】2014年6月18日 申請日期:2014年4月2日 優(yōu)先權(quán)日:2014年4月2日
【發(fā)明者】丁文銳, 黎盈婷, 向錦武, 李紅光, 劉碩 申請人:北京航空航天大學(xué)