專利名稱：保留時序性的數據重組方法及視頻結構化系統(tǒng)的制作方法
保留時序性的數據重組方法及視頻結構化系統(tǒng)
技術領域：
本發(fā)明涉及數據處理，特別涉及一種數據重組的方法。
背景技術：
在傳統(tǒng)視頻監(jiān)控領域，如果要查找某一事件、對象或人物，一般需要手動對錄像進行回溯并觀看海量的視頻內容，從中找查目標事件、對象或人物。查找的時間往往跟錄像的時間長度相等，例如要從3小時的視頻中找出某一對象，那么監(jiān)控人員必然需要花同樣3小時的時間觀看這段錄像來找出目標對象，即使通過快轉來觀看錄像，能夠壓縮的時間也有限(通常4倍已經是極限)，而且這樣容易造成漏看的情況，特別是運動速度較快或較小的對象。在數據處理領域，很多時候先對原始數據進行重組可以更好地儲存和表達數據內容，也能夠節(jié)省后續(xù)處理的計算量和時間。其中最常用的方法就是排序算法(sortingalgorithm),通過以某一指標當作基準,按遞增或遞減方式對數據進行重組。排序算法眾多，其中包括氣泡法、插入法、合并法等，但是排序算法主要產生單一輸出序列，并不適用于多輸出序列的情況。如果需要產生多輸出序列，則需要采用另外的方法，其中一種比較常用的方法是能量最小化(energy minimization):根據期望的排序目標設定限制條件以及定義成本函數(cost function)，通過最小化成本函數獲得問題的最佳解。以視頻摘要應用為例，需要將原始視頻中的對象抽取出來，經過重新排序并緊密地合成到新的摘要視頻。在這個過程中，可以將能量最小化問題中的成本函數轉化為馬爾可夫網絡(Markov Random Field),通過迭代圖切(Iterative Graph Cuts)或半定規(guī)劃法(Semi-Definite Programming)等方法獲得最佳的排序結果。然而，這樣的方法存在三個主要的缺點首先是運算量或運算時間會隨著對象數目的增加呈指數上升，導致不同內容的視頻在處理時間上可能出現很大的差異，這種特性并不適合實際環(huán)境的應用。其次是能量最小化是一個全域最佳化(globaloptimization)的方法,必須在重組前得知所有對象的信息，無法一邊輸入對象信息一邊進行排序；所謂全域，需要事先對所有的內容進行計算，然后才能進行排序，在這種方法中，如果要將A、B兩段時間上有先后關系的視頻重新排序，歸檔到同一摘要視頻中，就需要先對A和B進行計算，把計算結果綜合到一起，再進行排序。因此若要應用在實時系統(tǒng)，則必須強制將視頻流切割成一個個獨立的時間段，再對每個時間段內的對象獨立進行排序。然而這樣的處理方式會導致不同時間段的對象無法合成到同一視頻摘要，因此并不適用于實時系統(tǒng)。第三是采用能量最小化所得到的重組結果跟原始數據之間并沒有時間上的相關性，換言之重組后的結果并不保有原始數據的時序性，而是隨機的，亦即輸入與輸出之間沒有時序關聯性，這增加了應用在實時系統(tǒng)上的困難度；例如在視頻摘要的應用上，采用能量最小化的方法會導致白天的對象合成到黑夜背景中，而黑夜的對象則合成到白天背景的情況出現。
發(fā)明內容本發(fā)明的主要目的是首先，提供能保留時序性的數據重組方法；其次，提供一種應用該數據重組方法的視頻結構化系統(tǒng)。為此，本發(fā)明提出了一種保留時序性的數據重組方法，包括如下過程數據提取步驟從原始數據中分別提取涉及各個對象的數據；第一群組數據合并步驟按照原始的時序性將涉及第一群組中各個對象的數據進行排序合并，形成保留原數據時序性的第一群組重組數據。上述的數據重組方法，其中的實施例中，還包括第二群組數據合并步驟將第二
群組的各個對象的被提取數據，按照該群組內對象的時序性合并到所述第一群組重組數據中，形成多群組重組數據。上述的數據重組方法，其中的實施例中，還包括背景合成過程將所述重組數據合成到背景數據中，或將所述重組數據和背景數據合并。上述的數據重組方法，其中的實施例中，還包括實現對象連接的步驟通過對對象進行群組劃分，實現包括第一群組和第二群組的劃分、各群組內各個對象之間的關聯。上述的數據重組方法，其中的實施例中，還包括預設密度參數的過程預設一密度參數，用于限定數據合并過程中同一時刻容許的最少對象個數；當判斷到所述第一群組重組數據集中涉及的對象個數小于所述密度參數時，執(zhí)行所述第二群組數據合并步驟。上述的數據重組方法，其中的實施例中，于所述數據提取過程中，被提取的同一群組各個對象的數據之間保留于原始數據中的相對時序性，或對被提取的同一群組各個對象的數據標注于原始數據中的相對時序性。上述的數據重組方法，其中的實施例中，于所述實現對象連接的過程中，按照具有時間和空間相連性和相關性的原則把各對象歸納為不同的群組。上述的數據重組方法，其中的實施例中，所述數據合并過程中，如果當前時刻的對象個數大于或等于密度參數，則表示當前時刻已重組完畢，停止當前時刻的數據合并，或跳到下一個時刻進行數據合并；如果當前時刻的對象個數小于密度參數，則將最接近當前時刻的另一群組的被提取數據移動到當前時刻，直至當前時刻的對象個數大于或等于密度參數為止。上述的數據重組方法，其中的實施例中，在對象個數滿足密度參數的要求時，不同群組對象的數據排序由同一時刻開始。同時，本發(fā)明提出了一種視頻結構化系統(tǒng)，采用上述的數據重組方法，形成視頻摘要或視頻壓縮文件。本發(fā)明相對于現有技術，具有以下的優(yōu)點本發(fā)明的算法復雜度低，耗費的計算資源少，處理時間與輸入數據個數呈線性正相關，因此非常容易在軟件或硬件上實現。由于本發(fā)明中各個群組數據的輸入與輸出結果具有FIFO(先入先出，First In First Out)的特性，因此重組后的數據一定程度上維持了輸入的時序性，適合應用在實時系統(tǒng)上。本發(fā)明應用于視頻監(jiān)控系統(tǒng)中形成的視頻摘要或視頻壓縮文件，由于內容只涉及關注的對象，視頻時間長度短，因此大幅降低了存儲空間，同時大幅縮減了監(jiān)控人員在進行視頻回溯時花費的時間，從而提高了工作效率。
進一步的實施例中，本發(fā)明通過密度參數控制重組密度，就可以控制算法的重組過程；而且該參數實際代表了重組后同一時刻可容許的最小對象個數，密度參數越大，時間壓縮效果越好；通過控制重組的密度參數，可以達到將數據分散或壓縮的目的；在實際操作上非常直觀明了，避免了類似其它算法因為要進行多參數調節(jié)而出現復雜的參數調整問題。

圖I是本發(fā)明實施例一的數據重組方法的基本框架圖；圖2是本發(fā)明實施例一的數據重組的排序示意圖；圖3是本發(fā)明實施例二的數據重組方法的基本流程示意圖；圖4是本發(fā)明實施例二的數據重組的合并排序示意圖；圖5是本發(fā)明實施例三的數據重組的合并排序示意圖，
具體實施方式下面通過具體的實施例并結合附圖對本發(fā)明作進一步詳細的描述。實施例一請結合圖I、圖2所示，本例以視頻流的重組為例，說明重組方法。實現對象連接對于某段視頻流中出現的各個對象，按照具有時間和空間相連性和相關性的原則把各對象歸納為不同的群組。群組的具體歸納方法，可以根據不同的重點、不同的關注對象或對數據重組的不同需要而有所不同。由于群組的具體歸納方法只是針對時間和空間的關聯性進行計算，所以可以保證同時出現在甲視頻和乙視頻中的兩個關聯對象被分類到相同的群組。例如某段視頻中的第一對象A人物和第二對象B車輛同時出現在了視頻場景相鄰的位置，則判定第一對象A人物和第二對象B事物屬于同一群組對象；而C人物是從D車輛出來的，則可以將C人物和D車輛歸屬于同一群組；或者E人物從一車輛出來，而F人物從另一車輛出來后，將一物品交給了 E人物，則可以將E人物和F人物歸屬于同一群組。如圖3所示，假設該段視頻共有17個時刻，6個對象被分為三個群組，AB屬于第一群組，⑶屬于第二群組，EF屬于第三群組。6個對象出現的時刻分別用不同網格表示出來。其中A對象在視頻中出現時間段為第1-8時刻，B對象的出現時間段為第3-8時刻；C對象和D對象在視頻中出現時間段為第6-10時刻出對象在視頻中出現時間段為第12-17時刻，F對象在視頻中出現時間段為第13-17時刻。數據提取對視頻流中有關A人物的數據進行提取，數據的時序性在提取的過程中獲?。粚σ曨l流中有關B車輛的數據進行提取，數據的時序性也是在提取的過程中獲?。患丛诒惶崛〉拿總€數據中都具有時間標志，該時間標志保證該數據在原始數據或重組數據中的時序性。第一群組數據合并排序方式,對有關群組中的第一對象A人物的數據根據其時序性進行排序，再對有關群組中的第二對象B車輛的數據進行排序，再把對有關B車輛的數據的排序結果合并歸檔到有關A人物的數據中。這樣，在同一時間軸上，有關A人物和B車輛的視頻被重新組合，形成保留原數據時序性的第一群組重組數據。
背景合成重新組合形成的有關A人物和B車輛的重組數據(視頻)，再按時序合成到背景數據(背景畫面)上，形成一個視頻摘要。背景數據的生成同樣按照時序性進行抽取，當背景發(fā)生變換，例如從白天進入黑夜，一個群組中各相關對象的數據排序合并完成，一個視頻摘要生成。新的群組匹配相應的新的背景，或者針對新的背景重新生成一個新的群組來適應。視頻摘要不但保留了原始視頻中的A和B 二個對象的信息、時序性，而且由于二者在時間和空間上具有關聯性，摘要視頻上不會出現背景的錯亂等現象；而且視頻僅涉及需要關注的A和B 二個對象，時間長度有限，因此大大縮減了監(jiān)控人員在進行視頻回溯時花費的時間，從而提高了工作效率。由于有關A人物的數據和有關B車輛的數據的時序性是由對象的時間這一固有的特性決定的，在對對象的提取過程中已經獲取；同樣的，數據合并的有效性是由對象的關聯性決定，這個關系在對象提取的過程中也已經得到，所以不需要額外的參數來控制。實施例二本例中，在實施例一的基礎上，如果用戶希望能在同一時刻接收更多的事物，關注更多的群組或對象，則可以預設重組的密度參數，用于限定重組時同一時刻容許的最小對象個數。設置密度參數的目的是提供給用戶一個靈活的選擇，如果用戶能在同一時刻接收更多的事物，則可以將密度參數設置大一些，如果用戶在同一時刻能接收比較少的事物，則應該將密度參數設置得小一些。請參考圖3和圖4所示，設密度參數為2，第一時刻選擇本時刻的第一群組，由于B晚于A兩個時刻出現，所以A出現，B不出現；由于密度參數為2，則選擇出現時刻最近的第二群組的對象，由于對象C和D的原始時序是同時出現的，為了保證C和D的關聯性，C和D都合并到第一群組重組數據中，形成多群組重組數據。多群組重組數據中，第一時刻出現三個對象，分別是A⑶。第三時刻由于第一群組的A持續(xù)出現，因此與A同一群組的B在這個時刻出現，所以第三時刻出現四個對象，分別是ABCD。第六時刻⑶同時完成，因此只剩下AB，并且滿足密度參數為2，所以EF對象不合并進來。第九時刻AB播放完成，選擇群組丙，所以只有F對象，第十時刻EF —起出現?？梢姡瑢Φ谝蝗航M數據進行合并的過程中，按照密度參數，如果當前時刻的對象個數大于或等于密度參數，則表示當前單位時間已重組完畢，可跳到下一個單位時間進行重組。如果當前單位時間的數據個數少于密度參數，則將被提取的數據中未進行重排且最接近當前單位時間內時序的一組群組數據(包含有群組內對象的視頻)移動到當前單位時間，直至當前單位時間的數據個數大于或等于密度參數為止，才進行下一個單位時間的重組。實施例三請參考圖5所示，假設密度參數為3，第一時刻選擇本時刻的第一群組，由于B晚于A兩個時刻出現，所以A出現，B不出現；由于密度參數為3，則選擇最近的第二群組，C和D的原始時序是同時出現，為了保證C和D的關聯性，C和D都出現，且對象個數滿足大于或等于密度參數3，所以EF不在此時刻排序。
第六時刻由于⑶完成，只剩下AB在排序，對象數為2，小于密度參數3，所以選擇丙群組，所以第六時刻排序結果是ABF。本例中的重組方法，可廣泛應用于視頻結構化(摘要)系統(tǒng)、視頻監(jiān)控系統(tǒng)、數據壓縮系統(tǒng)(包括音頻、視頻、圖片和文字等)，從實施例二和實施例三的重組結果可以看出，第一,群組內部的各個對象保持了相關性、時序性；其相對時序性(即同一群組對象之間的時間順序)在重新排列后不會被破壞；第二，密度參數越大，時間壓縮效果越好；通過控制重組的密度參數，可以達到將數據分散或壓縮的目的。實施例四上述實施例中數據重組方法的全部或部分步驟可以通過程序來指令相關硬件完成，通過與硬件的匹配，本例形成視頻監(jiān)控系統(tǒng)中的一種視頻結構化系統(tǒng)，該視頻結構化系統(tǒng)通過上述數據重組方法重組視頻摘要或進行視頻壓縮，這些經重組或壓縮的視頻數據，針對用戶所關注的對象建立，時間長度往往只有原來的百分之幾甚至更短，因此大大縮減
了存儲空間，同時監(jiān)控人員進行視頻回溯的時間也大幅縮減，從而提高了工作效率。實施例五本例是一計算機可讀存儲介質，該存儲介質可以包括只讀存儲器、隨機存儲器、磁盤或光盤等。該計算機可讀存儲介質中，存儲有程序，該程序通過被相關硬件加載運行，可實現上述實施例中數據重組方法的全部或部分步驟。以上內容是結合具體的優(yōu)選實施方式對本發(fā)明所作的進一步詳細說明，不能認定本發(fā)明的具體實施只局限于這些說明。對于本發(fā)明所屬技術領域的普通技術人員來說，在不脫離本發(fā)明構思的前提下，還可以做出若干簡單推演或替換，都應當視為屬于本發(fā)明的保護范圍。
權利要求
1.一種保留時序性的數據重組方法，包括如下過程 數據提取步驟從原始數據中分別提取涉及各個對象的數據； 第一群組數據合并步驟按照原始的時序性將涉及第一群組中各個對象的數據進行排序合并，形成保留原始時序性的第一群組重組數據。
2.如權利要求I所述的數據重組方法，其特征是還包括第二群組數據合并步驟將第二群組的各個對象的被提取數據，按照該群組內對象的時序性合并到所述第一群組重組數據中，形成多群組重組數據。
3.如權利要求2所述的數據重組方法，其特征是還包括背景合成過程將所述重組數據合成到背景數據中，或將所述重組數據和背景數據合并。
4.如權利要求1-3中任一項所述的數據重組方法，其特征是還包括實現對象連接的步驟通過對對象進行群組劃分，實現包括第一群組和第二群組的劃分、各群組內各個對象之間的關聯。
5.如權利要求1-3中任一項所述的數據重組方法，其特征是還包括預設密度參數的過程預設一密度參數，用于限定數據合并過程中同一時刻容許的最少對象個數；當判斷到所述第一群組重組數據集中涉及的對象個數小于所述密度參數時，執(zhí)行所述第二群組數據合并步驟。
6.如權利要求1-3中任一項所述的數據重組方法，其特征是于所述數據提取過程中，被提取的同一群組各個對象的數據之間保留于原始數據中的相對時序性，或對被提取的同一群組各個對象的數據標注于原始數據中的相對時序性。
7.如權利要求4所述的數據重組方法，其特征是于所述實現對象連接的過程中，按照具有時間和空間相連性和相關性的原則把各對象歸納為不同的群組。
8.如權利要求5所述的數據重組方法，其特征是所述數據合并過程中，如果當前時刻的對象個數大于或等于密度參數，則表示當前時刻已重組完畢，停止當前時刻的數據合并，或跳到下一個時刻進行數據合并； 如果當前時刻的對象個數小于密度參數，則將最接近當前時刻的另一群組的被提取數據移動到當前時刻，直至當前時刻的對象個數大于或等于密度參數為止。
9.如權利要求8所述的數據重組方法，其特征是在對象個數滿足密度參數的要求時，不同群組對象的數據排序由同一時刻開始。
10.一種視頻結構化系統(tǒng)，采用如權利要求1-9中任意項所述的數據重組方法，形成視頻摘要或視頻壓縮文件。
全文摘要
本發(fā)明公開了一種保留時序性的數據重組方法及視頻結構化系統(tǒng)，數據重組方法包括數據提取過程從原始數據中分別提取涉及同一群組中各個對象的數據；數據合并過程按照時序性將涉及同一群組中各個對象的數據進行排序合并，形成保留原始時序性的重組數據。本發(fā)明的算法復雜度低，耗費的計算資源少，處理時間與輸入數據個數呈線性正相關，因此非常容易在軟件或硬件上實現。由于本發(fā)明中群組數據的輸入與輸出結果具有FIFO的特性，因此重組后的數據一定程度上維持了輸入的時序性，適合應用在實時系統(tǒng)上。
文檔編號G06F17/30GK102855307SQ20121029926
公開日2013年1月2日 申請日期2012年8月22日 優(yōu)先權日2012年8月22日
發(fā)明者施欣欣, 余倬, 王蒙 申請人:深圳市華尊科技有限公司