一種視頻濃縮方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種視頻濃縮方法和系統(tǒng)，屬于視頻處理【技術(shù)領(lǐng)域】。該方法包括：對視頻幀進行背景建模分析，分割出每幀的前景目標和背景圖像，提取每個目標的運動目標軌跡，并存儲目標序列和背景圖像，對運動目標軌跡的目標順序進行優(yōu)化排序，生成新幀號序列并存儲，根據(jù)像素融合算法，將前景目標和背景圖像進行無縫融合，讀取存儲的新幀號序列和背景圖像，生成壓縮視頻。采用本發(fā)明實施例，縮短了濃縮視頻長度，并盡可能保留了視頻中的運動物體信息，能有效防止多目標之間的碰撞，具有較好視覺效果。
【專利說明】一種視頻濃縮方法和系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻處理【技術(shù)領(lǐng)域】，尤其涉及一種視頻濃縮方法和系統(tǒng)。
【背景技術(shù)】
[0002]近年來，智慧城市、平安城市高速發(fā)展，數(shù)以萬計的監(jiān)控攝像頭被安裝在公園、體育場館、大型廣場、學校、醫(yī)院、商業(yè)街、住宅小區(qū)等公眾活動和聚集的場所，多媒體、交通視頻和安防視頻數(shù)據(jù)成爆炸式增長，對這些視頻的管理和分析相當?shù)睦щy。傳統(tǒng)原始的瀏覽方式往往需要花費大量的人力、時間，已遠遠不能滿足人們對視頻信息訪問和查詢的需求。迫切需要一種快速便捷，且具有良好的視覺效果的視頻瀏覽查閱方法和系統(tǒng)，因此，視頻濃縮技術(shù)應運而生。
[0003]多目標運動軌跡優(yōu)化和融合是視頻濃縮的兩個關(guān)鍵算法，其中多目標運動軌跡優(yōu)化要保證在濃縮視頻中運動目標的變化過程，同時要防止目標之間的相互碰撞和遮擋，此類優(yōu)化過程現(xiàn)有常用模擬退火、粒子群、圖分割等算法求解，此類算法存在復雜度高、實現(xiàn)困難、效率低下等特點，在生產(chǎn)系統(tǒng)中不易使用。融合方法使得最終得到的濃縮視頻中每幀圖像中的目標與背景、目標與目標之間沒有視覺上可感知的邊緣，其中常用的泊松圖像融合算法的泊松方程求解困難，性能低下，無法實時快速處理。

【發(fā)明內(nèi)容】

[0004]有鑒于此，本發(fā)明要解決的技術(shù)問題是提供一種視頻濃縮方法和系統(tǒng)，以克服現(xiàn)有技術(shù)中計算消耗資源多，效率低，無法達到實時處理的缺陷。
[0005]本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案如下:
[0006]根據(jù)本發(fā)明的一個方面，提供的一種視頻濃縮方法包括:
[0007]運動目標檢測和提取:對視頻幀進行背景建模分析，分割出每幀的前景目標和背景圖像，提取每個目標的運動目標軌跡，并存儲目標序列和背景圖像；
[0008]運動目標軌跡組合優(yōu)化:對運動目標軌跡的目標順序進行優(yōu)化排序，生成新幀號序列并存儲；
[0009]目標與背景融合:根據(jù)像素融合算法，將前景目標和背景圖像進行無縫融合；
[0010]濃縮視頻生成:讀取存儲的新幀號序列和背景圖像，生成壓縮視頻。
[0011]優(yōu)選的，方法之前還包括視頻獲取:獲取待處理視頻，對不同編碼的視頻進行解碼，將每幀解碼為RGB顏色數(shù)據(jù)。
[0012]優(yōu)選的，運動目標軌跡組合優(yōu)化進一步包括:
[0013]根據(jù)目標在視頻中出現(xiàn)的時間順序?qū)δ繕诉M行排序；
[0014]生成第一個運動目標的軌跡幀號序列；
[0015]循環(huán)生成下一個運動目標的軌跡幀號序列，直到完成所有目標的運動軌跡生成幀號序列；
[0016]將所有目標的運動軌跡序列存儲到數(shù)據(jù)庫中。[0017]優(yōu)選的，生成下一個運動目標的軌跡幀號序列進一步包括:如果當前幀包含的目標個數(shù)超過給定的目標個數(shù)閾值，則當前目標的初始幀后移，否則計算當前目標的目標序列和當前幀出現(xiàn)的其他目標的目標序列的交叉面積之和，如果交叉面積之和超過給定的交叉面積閾值，則當前目標的初始幀后移。
[0018]優(yōu)選的，計算當前目標的目標序列和初始幀出現(xiàn)的其他目標的目標序列的交叉面積之和進一步包括:
[0019]計算每一幀內(nèi)交叉面積:從初始幀位置開始計算與其他目標序列的交叉面積，每一幀內(nèi)交叉面積是包含該目標的矩形框與其他目標的矩形框交叉面積之和；
[0020]計算總的交叉面積之和:包含當前目標的所有幀的交叉面積之和。
[0021]優(yōu)選的，目標與背景融合進一步包括:
[0022]對目標圖像進行預處理，獲取邊界點坐標和權(quán)重；
[0023]根據(jù)調(diào)諧坐標計算其插值權(quán)重；
[0024]計算背景圖像和目標圖像對應邊界點的差異像素值；
[0025]計算采樣集合點的平均差值；
[0026]融合采樣點和非采樣點的圖像。
[0027]優(yōu)選的，目標序列包括:目標ID，目標在原視頻幀中的幀號、左邊界、右邊界、下邊界和上邊界。
[0028]根據(jù)本發(fā)明的另一個方面，提供的一種視頻濃縮系統(tǒng)包括:
[0029]運動目標檢測和提取模塊:對視頻幀進行背景建模分析，分割出每幀的前景目標和背景圖像，提取每個目標的運動目標軌跡，并存儲目標序列和背景圖像；
[0030]運動目標軌跡組合優(yōu)化模塊:對運動目標軌跡的目標順序進行優(yōu)化排序，生成新幀號序列并存儲；
[0031]目標與背景融合模塊:根據(jù)像素融合算法，將前景目標和背景圖像進行無縫融合；
[0032]濃縮視頻生成模塊:讀取存儲的新幀號序列和背景圖像，生成壓縮視頻。
[0033]優(yōu)選的，運動目標軌跡組合優(yōu)化模塊具體用于:根據(jù)目標在視頻中出現(xiàn)的時間順序?qū)δ繕诉M行排序；生成第一個運動目標的軌跡幀號序列；循環(huán)生成下一個運動目標的軌跡幀號序列，直到完成所有目標的運動軌跡生成幀號序列；將所有目標的運動軌跡序列存儲到數(shù)據(jù)庫中。
[0034]優(yōu)選的，目標與背景融合模塊具體用于:對目標圖像進行預處理，獲取邊界點坐標和權(quán)重；根據(jù)調(diào)諧坐標計算其插值權(quán)重；計算背景圖像和目標圖像對應邊界點的差異像素值；計算采樣集合點的平均差值；融合采樣點和非采樣點的圖像。
[0035]本發(fā)明實施例的方法和系統(tǒng)，通過目標軌跡之間的遮擋面積避免目標之間的碰撞，同時根據(jù)目標的結(jié)束幀位置盡量滿足目標間的時間一致性；通過采樣降低算法復雜度，同時盡可能保留目標信息。因而，縮短了濃縮視頻長度，并盡可能保留了視頻中的運動物體信息，有防止了多目標之間的碰撞，具有較好視覺效果。
【專利附圖】

【附圖說明】
[0036]圖1為本發(fā)明實施例提供的一種視頻濃縮方法流程圖。[0037]圖2為本發(fā)明優(yōu)選實施例提供的一種運動目標軌跡組合優(yōu)化方法流程圖。
[0038]圖3是本發(fā)明的目標運動軌跡之間的交叉面積計算示例。
[0039]圖4為本發(fā)明優(yōu)選實施例提供的一種目標與背景融合模塊方法流程圖。
[0040]圖5是本發(fā)明的一幅目標圖像的內(nèi)部區(qū)域和外層區(qū)域劃分示例圖。
[0041]圖6為本發(fā)明實施例提供的一種視頻濃縮系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實施方式】
[0042]為了使本發(fā)明所要解決的技術(shù)問題、技術(shù)方案及有益效果更加清楚、明白，以下結(jié)合附圖和實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0043]實施例一
[0044]如圖1所示為本發(fā)明實施例提供的一種視頻濃縮方法流程圖，該方法包括:
[0045]S102、運動目標檢測和提取:對視頻幀進行背景建模分析，分割出每幀的前景目標和背景圖像，提取每個目標的運動目標軌跡，并存儲目標序列和背景圖像。
[0046]具體來說，本步驟S102進一步包括:
[0047]( I)輸入待濃縮的視頻。
[0048]具體來說，本步驟中獲取待處理視頻，對不同編碼的視頻進行解碼，將每幀解碼為RGB顏色數(shù)據(jù)。
[0049](2)對視頻進行背景更新、目標檢測、目標跟蹤。
[0050]具體地，背景更新采用混合高斯模型。該模型具體為:混合高斯模型使用K (一般為3到5個)個高斯模型來表征圖像中各個像素點的特征，在新一幀圖像獲得后更新混合高斯模型，用當前圖像中的每個像素點與混合高斯模型匹配，如果匹配成功則判定該點為背景點，否則為前景點；經(jīng)過多幀學習可生成背景圖像，前景即為運動目標，同時完成了背景建模和運動目標的分割。
[0051]目標檢測和分割使用幀差法得到精確目標圖像。當完成背景建模后，使用當前幀減去背景圖像，得到一個差分掩圖，對該差分掩圖進行二值化，并使用中值濾波過濾噪聲點，得到清晰的目標圖像輪廓，提取目標在該幀的位置信息即左邊界、右邊界、下邊界、上邊界。不斷更新背景圖像，完成運動目標檢測，并分離出每一幀運動目標，如果目標之間的距離小于一個預定閾值，則將目標合并為一個目標。所述預定閾值是根據(jù)經(jīng)驗來設定。
[0052]目標跟蹤使用移動平均法，初始時，如果相鄰幀的目標的中心位置之間的距離小于給定的閾值，則判定為一個目標，如果目標序列長度大于2時，則計算所有目標序列后K( 一般取2到10)個目標的平均中心位置，如果當前幀某目標的中心位置與平均位置之間的距離小于設定閾值，將距離最小者判定為同一個目標，否則是一個新目標。
[0053](3)將上述得到目標序列和背景圖像分別存儲在數(shù)據(jù)庫中。其中，目標序列包括每個目標在原視頻幀中的幀號、左邊界、右邊界、下邊界、上邊界，每個目標和背景圖像都有各自唯一的ID號，分別將它們存儲在數(shù)據(jù)庫中。
[0054]S104、運動目標軌跡組合優(yōu)化:根據(jù)當前幀的目標個數(shù)和當前目標的目標序列與當前幀出現(xiàn)的其他目標的目標序列的交叉面積之和，對運動目標軌跡的目標順序進行優(yōu)化排序，生成新幀號序列并存儲。[0055]S106、目標與背景融合:根據(jù)像素融合算法，將前景目標和背景圖像進行無縫融
口 ο
[0056]S108、濃縮視頻生成:讀取存儲的新幀號序列和背景圖像，生成壓縮視頻。
[0057]具體來說，從數(shù)據(jù)庫讀取背景圖像、目標運動序列及生成的新幀號，將背景和目標融合為一幀圖像，最終生成濃縮視頻。
[0058]本發(fā)明實施例的方法，通過目標軌跡之間的遮擋面積避免目標之間的碰撞，同時根據(jù)目標的結(jié)束幀位置盡量滿足目標間的時間一致性；通過采樣降低算法復雜度，同時盡可能保留目標信息。因而，縮短了濃縮視頻長度，并盡可能保留了視頻中的運動物體信息，有防止了多目標之間的碰撞，具有較好視覺效果。通過自動地從海量視頻中提取有用的目標和事件，來實現(xiàn)視頻濃縮，節(jié)省了觀看視頻所需要的人力，減小存儲空間，從而極大地方便監(jiān)控視頻的瀏覽和存儲，可用于公園、體育場館、大型廣場、學校、醫(yī)院、商業(yè)街、住宅小區(qū)等公眾活動和聚集的場所監(jiān)控視頻數(shù)據(jù)。
[0059]如圖2所示為本發(fā)明優(yōu)選實施例提供的一種運動目標軌跡組合優(yōu)化方法流程圖，該方法包括:
[0060]S202、根據(jù)目標在視頻中出現(xiàn)的時間順序?qū)δ繕诉M行排序。
[0061]具體來說，最早出現(xiàn)的目標排在最前面，每個目標的運動軌跡對應一個運動目標序列，每個運動目標序列有一個對應的ID，目標總數(shù)為ObjNum ；
[0062]S204、生成第一個運動目標的軌跡幀號序列。
[0063]具體來說，該序列第一幀幀號記為StartFrame = O)則幀號序列為:
[0064]{StartFrame, StartFrame+1,......, StartFrame+Ob jLength}
[0065]其中ObjLength為目標運動軌跡的長度；
[0066]S206、生成下一個運動目標的軌跡幀號序列。
[0067]具體來說，此目標運動的軌跡幀號序列記為:
[0068]CurTrace = {obj” obj2,......, objobjLength}
[0069]其中，每個O Wi = [RightE d ge, LeftEdge, Bottom, To p ], RightEdge,LeftEdge, Bottom, ToP分別表示目標在原始視頻中的左邊界、右邊界、下邊界、上邊界,其中i=l,......, ObjLength,計算初始巾貞號S tartFrame過程如下:
[0070](a)獲取初始幀所有目標的ID及各目標中對應的結(jié)束幀號，將初始幀更新為這些結(jié)束幀號的最小值，此處可以保證視頻濃縮的時間一致性；
[0071](b)獲取初始幀所有目標的ID和目標個數(shù)；
[0072](C)如果初始幀所包含的目標個數(shù)大于預設的目標個數(shù)閾值，則更新初始幀號StartFame:
[0073]StartFme = StartFrame+Interval
[0074]其中，目標個數(shù)閾值表示每幀出現(xiàn)的最大目標個數(shù)閾值，其取值范圍為[5，25，作為一種優(yōu)選的方案，取值為15個。Interval為跳巾貞數(shù),通常Interval=5,可取1_30之間的數(shù)；然后返回步驟(b)。
[0075]如果當前幀的目標個數(shù)小于預設的目標個數(shù)閾值，則轉(zhuǎn)至于步驟(d)。
[0076](d)獲取初始幀所包括所有目標的運動序列，計算CurTrace與所有的Tracei交叉面積之和，如果交叉面積之和大于交叉面積閾值，則繼續(xù)執(zhí)行步驟山否則轉(zhuǎn)至步驟e。[0077]具體來說,該巾貞包含的目標個數(shù)為η,運動序列的起始巾貞的位置是StartFame中貞，記為:
[0078]Tracei — {objstartFrame，objstartFrame+1，......，objend}
[0079]計算CurTrace與所有的Tracei交叉面積之和CrossArea,其中i = I，......，η ；
[0080]作為一種優(yōu)選的方案，CrossAreaThreshold = 30000 像素點，目標之間的交叉面積閾值，此值越小，目標之間相互沖撞的部分越少；C r ο s s AreaThre sho I d 范圍[0,30000]。
[0081]其中，圖3是交叉面積計算的示例，其中C u r T a c e是當前目標序列，TraceU Trace2、Trace3是已經(jīng)生成新巾貞號的三個目標序列，計算每一巾貞內(nèi)交叉面積:CurTrace從StartFrame位置開始計算與其他目標序列的交叉面積:每一巾貞內(nèi)交叉面積是由包含該目標的矩形框與其他目標的矩形框交叉面積之和；
[0082]計算總的交叉面積之和:總的交叉面積之和是包含該目標的所有幀的交叉面積之和。
[0083]CurTrace 與 Tracel 的交叉面積 crossl 為 CurTrace{objl, obj2, obj3, obj4,obj5}與相對應的Tracel {obj4, obj5, obj6, obj7, obj8}的5個矩形框交叉面積之和；
[0084]CurTrace 與 Trace3 的交叉面積 cross3 為 CurTrace{objl, obj2, obj3, obj4,obj5, obj6}與相對應的 Trace3{bj7, obj8, obj9, objlO, objll, objl2}的 6 個矩形框交叉面積之和；
[0085]CurTrace在Trace2最后一巾貞后面，二者無交叉；所以CurTrace在初始巾貞號StartFrame位置與其他目標序列的交叉面積之和為:
[0086]Cros sArea = c ros s 1 + cros s 3
[0087]如果CrossArea > C rossAreaThresold:
[0088]StartFrame = SrartFram+Interval
[0089](e)生成CurTrace的巾貞號序列:
[0090]CurTrace = {StartFrame, StartFrame+1,......, StartFrame+0b jLength
[0091]其中，ObjLength是 CurTrace 的長度；
[0092]S208、判斷是否完成所有目標的運動軌跡生成幀號序列，如果是，執(zhí)行步驟S210，否則返回步驟S206 ；
[0093]S210、將所有目標的運動軌跡序列存儲到數(shù)據(jù)庫中。
[0094]通過本發(fā)明實施例，實現(xiàn)了一種高效的多目標運動軌跡優(yōu)化的防碰撞方法，通過目標軌跡之間的遮擋面積避免目標之間的碰撞，同時根據(jù)目標的結(jié)束幀位置盡量滿足目標間的時間一致性，通過目標個數(shù)和交叉面積兩個參數(shù)控制濃縮，具有較好的視覺體驗。
[0095]如圖4所示為本發(fā)明優(yōu)選實施例提供的一種目標與背景融合模塊方法流程圖，該方法包括:
[0096]具體來說，融合算法是將一個目標圖像融合到同等大小的背景圖像中，包括以下步驟:
[0097]S302、對目標圖像進行預處理，獲取邊界點坐標和權(quán)重。
[0098]具體來說，本步驟進一步包括:
[0099](a)等距采樣目標圖像的邊界點坐標ΘΡ。[0100]具體來說，等距采樣按順時針方向每間隔12點采樣一個點，間隔點數(shù)值越大，效果越差，通常可取2-20之間的數(shù)。
[0101](b)提取目標圖像的像素點坐標P。
[0102]具體來說，將圖像分為兩部分:內(nèi)部區(qū)域和外層區(qū)域，圖5為目標圖像的內(nèi)部區(qū)域和外層區(qū)域劃分示例，對于外層區(qū)域保留所有點的坐標PMtCT，對于內(nèi)部區(qū)域采樣取樣的方法提取坐標Pinto，取樣方法是:從內(nèi)部區(qū)域的左上角開始，給定一個的值Ptl = -50，如果IP(i7 j)-P0 > thresh,則保留點P(i, j)的坐標,更新P。= P(i, j)，其中thresh是給定的閾值，一般取5~25之間的數(shù)，P(i，j)是內(nèi)部區(qū)域一個點的第一通道的像素值。所有參與計算的點坐標集合的P= [Pexte^PinteJ ;剩余像素點的坐標記為P;
[0103](C)諧調(diào)坐標(Mean-Value Coordinates)。
[0104]具體來說,對任意坐標X e P和邊界點Θ P，X的諧調(diào)坐標計算方法是:
【權(quán)利要求】
1.一種視頻濃縮方法，其特征在于，該方法包括: 運動目標檢測和提取:對視頻幀進行背景建模分析，分割出每幀的前景目標和背景圖像，提取每個目標的運動目標軌跡，并存儲目標序列和背景圖像； 運動目標軌跡組合優(yōu)化:對所述運動目標軌跡的目標順序進行優(yōu)化排序，生成新幀號序列并存儲； 目標與背景融合:根據(jù)像素融合算法，將前景目標和背景圖像進行無縫融合； 濃縮視頻生成:讀取存儲的新幀號序列和背景圖像，生成壓縮視頻。
2.根據(jù)權(quán)利要求1所述的視頻濃縮方法，其特征在于，所述方法之前還包括視頻獲取:獲取待處理視頻，對不同編碼的視頻進行解碼，將每幀解碼為RGB顏色數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的視頻濃縮方法，其特征在于，所述運動目標軌跡組合優(yōu)化進一步包括: 根據(jù)目標在視頻中出現(xiàn)的時間順序?qū)δ繕诉M行排序； 生成第一個運動目標的軌跡幀號序列； 循環(huán)生成下一個運動目標的軌跡幀號序列，直到完成所有目標的運動軌跡生成幀號序列； 將所有目標的運動軌跡序列存儲到數(shù)據(jù)庫中。
4.根據(jù)權(quán)利要求3所述的視頻濃縮方法，其特征在于，所述生成下一個運動目標的軌跡幀號序列進一步包括:如果當前`幀包含的目標個數(shù)超過給定的目標個數(shù)閾值，則當前目標的初始幀后移，否則計算當前目標的目標序列和當前幀出現(xiàn)的其他目標的目標序列的交叉面積之和，如果交叉面積之和超過給定的交叉面積閾值，則當前目標的初始幀后移。
5.根據(jù)權(quán)利要求4所述的視頻濃縮方法，其特征在于，所述計算當前目標的目標序列和初始幀出現(xiàn)的其他目標的目標序列的交叉面積之和進一步包括: 計算每一幀內(nèi)交叉面積:從初始幀位置開始計算與其他目標序列的交叉面積，每一幀內(nèi)交叉面積是包含該目標的矩形框與其他目標的矩形框交叉面積之和； 計算總的交叉面積之和:包含當前目標的所有幀的交叉面積之和。
6.根據(jù)權(quán)利要求4所述的視頻濃縮方法，其特征在于，所述目標與背景融合進一步包括: 對目標圖像進行預處理，獲取邊界點坐標和權(quán)重； 根據(jù)調(diào)諧坐標計算其插值權(quán)重； 計算背景圖像和目標圖像對應邊界點的差異像素值； 計算采樣集合點的平均差值； 融合采樣點和非采樣點的圖像。
7.根據(jù)權(quán)利要求1-6任意一項權(quán)利要求所述的視頻濃縮方法，其特征在于，所述目標序列包括:目標ID，目標在原視頻幀中的幀號、左邊界、右邊界、下邊界和上邊界。
8.一種視頻濃縮系統(tǒng)，其特征在于，該系統(tǒng)包括: 運動目標檢測和提取模塊:對視頻幀進行背景建模分析，分割出每幀的前景目標和背景圖像，提取每個目標的運動目標軌跡，并存儲目標序列和背景圖像； 運動目標軌跡組合優(yōu)化模塊:對所述運動目標軌跡的目標順序進行優(yōu)化排序，生成新幀號序列并存儲；目標與背景融合模塊:根據(jù)像素融合算法，將前景目標和背景圖像進行無縫融合； 濃縮視頻生成模塊:讀取存儲的新幀號序列和背景圖像，生成壓縮視頻。
9.根據(jù)權(quán)利要求8所述的視頻濃縮系統(tǒng)，其特征在于，所述運動目標軌跡組合優(yōu)化模塊具體用于:根據(jù)目標在視頻中出現(xiàn)的時間順序?qū)δ繕诉M行排序；生成第一個運動目標的軌跡幀號序列；循環(huán)生成下一個運動目標的軌跡幀號序列，直到完成所有目標的運動軌跡生成幀號序列；將所有目標的運動軌跡序列存儲到數(shù)據(jù)庫中。
10.根據(jù)權(quán)利要求8所述的視頻濃縮系統(tǒng)，其特征在于，所述目標與背景融合模塊具體用于:對目標圖像進行預處理，獲取邊界點坐標和權(quán)重；根據(jù)調(diào)諧坐標計算其插值權(quán)重；計算背景圖像和目標圖像對應邊界點的差異像素值；計算采樣集合點的平均差值；融合采樣點和非采樣點的圖像。`
【文檔編號】H04N7/18GK103686095SQ201410001188
【公開日】2014年3月26日 申請日期:2014年1月2日 優(yōu)先權(quán)日:2014年1月2日
【發(fā)明者】秦興德, 唐偉, 吳金勇, 王軍, 刁德峰 申請人:中安消技術(shù)有限公司