一種多節(jié)點(diǎn)視頻重組方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻數(shù)據(jù)處理領(lǐng)域，尤其涉及一種多節(jié)點(diǎn)視頻重組方法和系統(tǒng)。
【背景技術(shù)】
[0002] 所謂觀察記錄系統(tǒng)，由兩個部分組成：觀察部分和記錄部分。觀察為細(xì)察事物的現(xiàn) 象、動向，它的中心工作在于獲取感興趣目標(biāo)盡可能多的信息。記錄是將觀察到的事實(shí)、證 據(jù)、實(shí)踐操作的過程，以及產(chǎn)生的想法和問題，用文字、圖畫等形式記下來。視頻觀察記錄系 統(tǒng)是把視頻作為一種觀察方式來采集信息，在保證充分的視頻采集和結(jié)構(gòu)化的視頻處理和 存儲后，為研宄人員對觀察對象進(jìn)行詳細(xì)準(zhǔn)確的分析和認(rèn)知提供數(shù)據(jù)。
[0003] 在社會日益發(fā)展的今天，人類自身發(fā)展是社會發(fā)展的終極目標(biāo)，觀察記錄就是為 了更好理解個人心理意念和行為活動的關(guān)聯(lián)，從而通過調(diào)節(jié)及時排除身心問題促進(jìn)人更好 地發(fā)展。在一個對目標(biāo)行為的觀察記錄系統(tǒng)中，觀察者希望在觀測時間內(nèi)始終能看到目標(biāo) 的正面行為表情。由于被觀察目標(biāo)處在運(yùn)動的狀態(tài)，單個觀察源（攝像機(jī)）的結(jié)構(gòu)布局不 能保證始終獲得目標(biāo)正面的行為表情。可以通過增加觀察源來保證觀察對象的正面始終處 在一定角度范圍內(nèi)，即通過布置多個觀察源來充分采集觀察者的表情或行為信息，提高觀 察記錄的全面性。由于多個觀察源拍攝的時段是一致的，因此每個視頻文件中都可能包含 部分目標(biāo)的正面信息，當(dāng)用戶需要觀察拍攝時段內(nèi)目標(biāo)所有的正面信息時，需要查看每段 視頻數(shù)據(jù)，非常不便，因此有必要對多觀察源下得到的視頻做有效處理。
[0004] 目前國內(nèi)外沒有對觀察記錄系統(tǒng)做相應(yīng)的研宄，視頻數(shù)據(jù)處理的主要目的集中在 對人員監(jiān)控和異常分析報警方面，通常采用圖像增強(qiáng)、檢索壓縮、智能分析、摘要統(tǒng)計等方 法對監(jiān)控對象進(jìn)行行為分析、快速識別；在人臉檢測識別方面雖然出現(xiàn)了一些多角度人臉 識別方法，或者通過人臉識別進(jìn)行視頻檢測，檢測視頻中人物的出現(xiàn)等方法，但均是僅僅為 了獲取人臉正面信息，而沒有實(shí)現(xiàn)對多方數(shù)據(jù)進(jìn)行重組、獲得以目標(biāo)正面信息為拍攝對象 的連續(xù)視頻記錄的功能。此外，單個視頻觀察數(shù)據(jù)可能在數(shù)據(jù)采集上不全面、不完整，而多 個視頻數(shù)據(jù)之間又沒有必然的融合，不能給使用者時空上的整體感。

【發(fā)明內(nèi)容】

[0005] 針對現(xiàn)有技術(shù)中的上述不足之處，本發(fā)明提供了一種多節(jié)點(diǎn)視頻重組方法，能夠 獲取被觀察目標(biāo)正面信息的連續(xù)視頻。
[0006] 除此以外，本發(fā)明還提供一種多節(jié)點(diǎn)視頻重組系統(tǒng)，該系統(tǒng)能夠充分采集被觀察 目標(biāo)視頻信息，并對其重組以獲取被觀察目標(biāo)正面信息的連續(xù)視頻，視頻信息被保存后可 以應(yīng)用戶的要求以被觀察目標(biāo)為對象來查閱視頻信息資料。
[0007] 本發(fā)明的目的：以某空間中的N個人作為研宄對象，采用多個攝像頭拍攝其在該 空間內(nèi)的某個時段的多個視頻，通過人臉識別，找到每個視頻當(dāng)中包含第I個（I = 1，……， N)目標(biāo)正面信息的視頻幀圖，再進(jìn)行視頻重組，即將這些幀圖按照時間排序，獲得第I個（I =1，……，N)目標(biāo)在該空間該時段內(nèi)正面信息的連續(xù)視頻。
[0008] 為達(dá)到上述目的，本發(fā)明采用了下列技術(shù)方案：
[0009] 第一步：對于觀察記錄中擁有的m個觀察源、n個被觀察目標(biāo)，m和n均為正整數(shù)， 建立n+1個結(jié)果集合，即n個被觀察目標(biāo)檢測結(jié)果&，R 2…，Rn和一個未識別人員集合R n+1; 把從m個觀察源獲得的m個視頻段用\表示，其中i = 1，2,…，m，并保證每個視頻段開始 和結(jié)束的時刻是相同的；將m個視頻段i = 1，2,…，m分別分解為幀圖，并保存到對應(yīng)的 幀圖集合A。i = 1，2,…，m中，其中Ai= {f i;1，fi>2，…，U，fi，k是幀圖，i是第一下標(biāo)，k 是第二下標(biāo)，k = 1，2,…，max，max是正整數(shù)；
[0010] 第二步：從Vi，i = 1，2,…，m，中任選一個視頻段Vkk作為參考數(shù)據(jù)，其中 1^￡{1，2，~，!11}，其對應(yīng)的幀圖集合為六 1;1;，41;=化1;1;,1，匕,2，一，匕,_};
[0011] 第三步：對幀圖集合Akk中的幀圖做背景減除和幀差，去除冗余信息得到關(guān)鍵幀集 合Mkk，其中
【主權(quán)項(xiàng)】
1. 一種多節(jié)點(diǎn)視頻重組方法，其特征在于，包括如下步驟： 第一步：對于觀察記錄中擁有的m個觀察源、n個被觀察目標(biāo)，m和n均為正整數(shù)，建立n+1個結(jié)果集合，即n個被觀察目標(biāo)檢測結(jié)果R。…，R。和一個未識別人員集合Rw;把從 m個觀察源獲得的m個視頻段用Vi表示，其中i= 1，2,…，m，并保證每個視頻段開始和結(jié) 束的時刻是相同的；將m個視頻段V。i= 1，2,…，m分別分解為帖圖，并保存到對應(yīng)的帖圖 集合A。i= 1，2,…，m中，其中Ai= {f…fi，2,…，，fi，k是帖圖，i是第一下標(biāo)，k是 第二下標(biāo)，k= 1, 2,…，max,max是正整數(shù)； 第二步：從V。i= 1，2,…，m，中任選一個視頻段Vkk作為參考數(shù)據(jù)，其中化e山2,… ,m}，其對應(yīng)的帖圖集合為Akk，Akk-{fkk,。fkk，2,…，fkk，ma]J; 第=步；對帖圖集合Akk中的帖圖做背景減除和帖差，去除冗余信息得到關(guān)鍵帖集合 Mkk，其中={尼如，1，/化如.2,…，尤如4a- 'f叱J是關(guān)鍵帖，其中j=keyl,key2,… ，keym，keyl,key2,…，keym是正整數(shù)，keyl^key2 ^ …^keym，且keym^max， !A巧.'l，崎.，2，???，沁.v/H'}Q{l，2，???，max'}，然后在其它帖圖集合Ai，i=l，2，…，m，i聲l^k中分 別挑選出第一下標(biāo)為i、第二下標(biāo)為j的帖圖，其中j=keyl,key2,…，keym，放到對應(yīng)的關(guān) 鍵帖集合Mi中，M,'二{/;如.1，乂山?！瑏V如w}E4，i= 1，2,…，m，i聲化； 第四步對Mkk中的帖圖fkk，j，j=keyl,key2,…，keym，按時間順序進(jìn)行人臉檢測和人 臉的角度估計，如果帖圖包含被觀察目標(biāo)正面人臉信息，則在該幅帖圖上生成人臉框圖，然 后執(zhí)行第六步，如果帖圖不包含被觀察目標(biāo)正面人臉信息，則執(zhí)行第五步； 第五步：根據(jù)人臉角度估計的結(jié)果和攝像機(jī)布置的拓?fù)浣Y(jié)構(gòu)，對第四步中不包含被觀 察目標(biāo)正面人臉信息的帖圖進(jìn)行分析，分析出與該帖圖具有相同第二下標(biāo)的、包含被觀察 目標(biāo)正面人臉信息的帖圖在某關(guān)鍵帖集合Mi中，iG(1，2,…，m}，i聲kk，然后對Mi中該 幅帖圖再做人臉檢測，如果該帖圖包含被觀察目標(biāo)正面人臉信息，在該帖圖上生成人臉框 圖，然后執(zhí)行第六步，如果該帖圖不包含被觀察目標(biāo)正面人臉信息，則按照i從小到大的順 序依次對其它關(guān)鍵帖集合Mi中的、與第四步中不包含被觀察目標(biāo)正面人臉信息的帖圖具有 相同第二下標(biāo)的帖圖進(jìn)行人臉檢測，如果檢測到某帖圖包含被觀察目標(biāo)正面人臉信息，在 該帖圖上生成人臉框圖，然后執(zhí)行第六步，如果檢測完所有的關(guān)鍵帖集合Mi，仍找不到包含 被觀察目標(biāo)正面人臉信息的帖圖，則舍棄掉第四步中不包含被觀察目標(biāo)正面人臉信息的帖 圖，然后執(zhí)行第八步； 第六步：對人臉框圖歸一化處理，提取人臉特征； 第走步；將人臉框圖和觀察對象人臉庫進(jìn)行人臉特征匹配，把包含人臉框圖的該帖分 到對應(yīng)的結(jié)果集合Rs中，其中S= 1，2,…，n+1 ; 第八步；循環(huán)第四至第走步驟，直到帖圖片處理結(jié)束。
2. 根據(jù)權(quán)利要求1所述的一種多節(jié)點(diǎn)視頻重組方法，其特征在于，所述的視頻段Vkk選 用正對觀察對象時間最長的攝像機(jī)記錄的視頻。
3. -種多節(jié)點(diǎn)視頻重組系統(tǒng)，其特征在于，所述多節(jié)點(diǎn)視頻重組系統(tǒng)包括視頻采集模 塊、視頻重組模塊和視頻再現(xiàn)模塊； 所述視頻采集模塊利用圖像傳感器自動采集信息，圖像傳感器之間采用有線或者無線 方式和視頻數(shù)據(jù)處理中屯、相連接，視頻各個節(jié)點(diǎn)之間有著共同的系統(tǒng)時間； 所述視頻重組模塊對視頻采集模塊獲得的視頻進(jìn)行處理，獲取被觀察目標(biāo)正面信息的 連續(xù)視頻，并將該視頻保存到數(shù)據(jù)庫中； 所述視頻再現(xiàn)模塊從數(shù)據(jù)庫中查詢出已經(jīng)保存的數(shù)據(jù)記錄，并將結(jié)果顯示在查詢界 面，查詢請求由客戶端發(fā)起并由數(shù)據(jù)庫的服務(wù)器接收、處理，之后將執(zhí)行的結(jié)果返回給客戶 玉山 乂而。
【專利摘要】本發(fā)明提供了一種多節(jié)點(diǎn)視頻重組方法，能夠獲取被觀察目標(biāo)正面信息的連續(xù)視頻。除此以外，本發(fā)明還提供一種多節(jié)點(diǎn)視頻重組系統(tǒng)，該系統(tǒng)包含視頻采集模塊、視頻重組模塊和視頻重現(xiàn)模塊。該系統(tǒng)能夠充分采集被觀察目標(biāo)視頻信息，并對其重組以獲取被觀察目標(biāo)正面信息的連續(xù)視頻，視頻信息被保存后可以應(yīng)用戶的要求以被觀察目標(biāo)為對象來查閱視頻信息資料。用于觀察記錄的多節(jié)點(diǎn)視頻重組方法和系統(tǒng)通過采集多個觀察源下的視頻數(shù)據(jù)并對其進(jìn)行重組處理，獲得被觀察目標(biāo)正面信息的連續(xù)視頻，方便用戶快速、全面瀏覽到觀察目標(biāo)的全部正面信息，與現(xiàn)有技術(shù)相比，具有獲取觀察目標(biāo)正面信息的全面性、連續(xù)性的優(yōu)點(diǎn)。
【IPC分類】G06F17-30, H04N7-18
【公開號】CN104850607
【申請?zhí)枴緾N201510229786
【發(fā)明人】謝成鋼, 武曉康, 魯琴, 杜列波, 楊淵博, 唐曙, 孫備
【申請人】中國人民解放軍國防科學(xué)技術(shù)大學(xué)
【公開日】2015年8月19日
【申請日】2015年5月7日