一種基于流式計算的大規(guī)模監(jiān)控視頻流匯聚方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機處理技術(shù)領(lǐng)域，具體是一種基于流式計算的大規(guī)模監(jiān)控視頻流匯聚方法。
【背景技術(shù)】
[0002]大規(guī)模視頻源的“匯聚”，即從視頻源接收視頻流數(shù)據(jù)，是并行處理的先行步驟。這過程需要解決兩個重要的問題。第一，與外界視頻源的交互，確保大規(guī)模的流式數(shù)據(jù)能夠被穩(wěn)定地導(dǎo)入到分析系統(tǒng);第二，保存位置的選擇，確保流式數(shù)據(jù)的保存位置能夠滿足構(gòu)建一個良好的分布式集合。一個良好的分布式集合能夠給并行處理減少很多不必要的數(shù)據(jù)傳輸。
[0003]然而集群中視頻流的接收位置是隨機的，很有可能視頻流集中到少數(shù)機器中啟動。要對視頻進行實時的處理，必須要進行大量的網(wǎng)絡(luò)傳輸，這違背了大數(shù)據(jù)處理的本地性，所以實現(xiàn)一個能夠根據(jù)視頻信息以及物理資源信息計算出視頻流的最佳啟動位置的方法，對于視頻流的實時計算具有重要意義。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于提供一種基于流式計算的大規(guī)模監(jiān)控視頻流匯聚方法，通過對數(shù)據(jù)流的位置層面進行負載均衡，能夠最有效的提高數(shù)據(jù)基于本地性的計算。
[0005]為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案:
一種基于流式計算的大規(guī)模監(jiān)控視頻流匯聚方法，通過獲取視頻流相關(guān)信息(重要程度、視頻復(fù)雜度)以及計算節(jié)點的計算資源信息，然后對視頻流的啟動位置進行分配，將不同的視頻流分配到適當?shù)奈恢?，從而提高了作業(yè)的速度以及節(jié)點的資源使用率;該方法包含以下步驟:
步驟一:獲取所有攝像頭的信息，然后按照重要程度、所需CPU資源、IP地址進行排序，最終形成以遞減順序排序的一個監(jiān)控視頻流分析鏈；
步驟二:獲取Worker的信息，然后按CPU計算能力、IP地址進行排序，最終形成以遞減順序排序的一個計算資源鏈；
步驟三:從視頻流分析鏈中取出一條記錄，然后遍歷計算資源鏈表，選取合適標識的Worker計算容器作為接收器駐留位置；
步驟四:然后對選取的Worker進行計算資源能力估算，看是否滿足需求，如果不夠則將不能計算的數(shù)據(jù)給相鄰的Worker，如果系統(tǒng)沒有計算資源，那么采用丟幀策略或者告知用戶需要添加計算資源。
[0006]作為本發(fā)明進一步的方案:所述的步驟一中，攝像頭的信息即為視頻信息，其包括IP地址、重要程度、視頻清晰度、幀率、分析應(yīng)用類型、流處理窗口時間、數(shù)據(jù)塊數(shù)目、CPU要求等信息;視頻信息的描述=(IP地址，重要程度，視頻清晰度，幀率，分析應(yīng)用類型，流處理窗口時間，數(shù)據(jù)塊數(shù)目，CPU要求)，其中， IP地址用來標識攝像頭的位置信息；
重要程度主要分關(guān)鍵、重要和一般三個等級，重要程度主要用來決定在計算能力不夠的情況下丟掉哪些數(shù)據(jù)；
視頻清晰度主要包括1080p、720p、Dl等分辨率格式，并且不同的分辨率在相同的CPU中所需要的計算資源不一樣；
幀率表示該路監(jiān)控視頻流每秒的幀數(shù)，用來估計流處理窗口時間內(nèi)產(chǎn)生多少數(shù)據(jù)量； 分析應(yīng)用類型用來標識計算算法的類型，因為不同的算法所需要的計算能力不一樣； 流處理時間窗口用來表示數(shù)據(jù)流積累多長時間被處理，這對實時性計算的延遲影響較大；
數(shù)據(jù)塊數(shù)目表示在流處理時間窗口內(nèi)平均產(chǎn)生的數(shù)據(jù)塊數(shù)目，是由位置選擇決策器計算出來的，被用來評估CPU的要求；
CHJ要求由位置選擇決策器計算產(chǎn)生，CPU要求=等價數(shù)據(jù)塊數(shù)/流處理窗口時間。
[0007]作為本發(fā)明進一步的方案:所述的CPU要求由位置選擇決策器計算產(chǎn)生，具體計算步驟為:
1)位置選擇決策器根據(jù)視頻流描述的輸入信息，獲取每路視頻流的視頻清晰度和分析應(yīng)用類型；
2)將得到的信息與基準計算時間表的相應(yīng)字段匹配，得到基準計算時間；
3)根據(jù)得到的基準計算時間計算倍率因子；
4)將數(shù)據(jù)塊數(shù)目乘以倍率因子得到等價數(shù)據(jù)塊數(shù)目信息，并填充CPU要求字段。
[0008]作為本發(fā)明進一步的方案:所述的步驟3)中，設(shè)定720p的清晰度的倍率因子為1，將某一清晰度的基準計算時間除以720p的清晰度的基準計算時間，得到的比值即為該清晰度的倍率因子。
[0009]作為本發(fā)明進一步的方案:所述的步驟二中，Worker的信息包括單核CPU處理能力、核數(shù)、WorkerlD、IP地址、內(nèi)存;處理能力表示處理器的性能，與CPU的類型和頻率有關(guān)，采用具體的分析應(yīng)用類型所需要的處理時間來表示；核數(shù)表示該Worker擁有的核個數(shù)；WorkerlD表示該Worker的身份識別；IP地址表示該Worker所在的物理主機地址；內(nèi)存表示該Worker持有的內(nèi)存容量。
[00?0]作為本發(fā)明進一步的方案:一個Worker的總的處理能力表示為:Worker的總處理能力=處理能力X核數(shù)。
[0011]作為本發(fā)明進一步的方案:所述的步驟三中，從視頻流分析鏈中取出一條記錄然后遍歷計算資源鏈表，選取合適標識的Worker計算容器作為接收器駐留位置，具體步驟為:在區(qū)域Worker內(nèi)位置，位置選擇決策器將依據(jù)各自Worker的計算能力合理地將數(shù)據(jù)塊分散開;具體根據(jù)Worker的計算能力來確認每一輪Worker認領(lǐng)的數(shù)據(jù)塊數(shù)目d#CPU資源量化后，針對計算資源位置和數(shù)據(jù)接收器及數(shù)據(jù)塊存儲位置的匹配關(guān)系，提出一種基于最佳適應(yīng)算法的數(shù)據(jù)流存儲位置選擇策略，該策略總是把既能滿足要求，又是最小的計算資源核浪費的Worker分配給相應(yīng)的某路監(jiān)控視頻流;該策略的計算步驟如下:
(1)將等待分析的監(jiān)控視頻流源逐個分組排序，第一排序順序為重要程度，第二排序順序為CPU要求，第三排序順序為IP地址，最終形成以遞減順序排序的一個監(jiān)控視頻流分析鏈； (2)將Worker資源也逐個分組排序，第一排序順序為處理能力，第二排序順序為IP地址，最終形成以遞減順序排序的一個計算資源鏈；
(3)初始化接收器下一位置索引為0，記為lndexnext=0，該索引表示接收器可以在下一輪分配中所駐留的Worker;初始化Worker的總數(shù)Totalworker=計算資源鏈表的長度；
(4)從監(jiān)控視頻流分析鏈取出一條記錄，遍歷計算資源鏈表，選取Indexnext標識的Worker計算容器作為接收器駐留位置，并初始化為該路監(jiān)控視頻流分配資源時經(jīng)過的Worker的個數(shù)，記為Step=0 ；
(5)判斷該Worker處理能力是否滿足視頻監(jiān)控流的分析要求；
(6)準備處理該Worker，更新Step的值，Step=Step+l；
(7)若該Worker滿足要求，則記錄該Worker可以在流處理窗口時間內(nèi)接受該路監(jiān)控視頻流幾份數(shù)據(jù)塊，更新Indexnext值，即 Indexnext=( Indexnext+Step)%Totalworker，并更新該Worker剩余的可用資源;如果Worker剩余資源為0，則標記該Worker已經(jīng)沒有可用的分配資源，回到步驟(4);否則跳到步驟(8);
(8)若該Worker不滿足要求，則記錄該Worker可以在流處理窗口時間內(nèi)接受該路監(jiān)控視頻流幾份數(shù)據(jù)塊，計算還需要為該路監(jiān)控流分配的資源數(shù)，標記該Worker已經(jīng)沒有可用的分配資源，并繼續(xù)從計算資源鏈表頭部開始取出第一個可用于分配的Worker，返回到步驟(5)。
[0012]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是:
在解決與外界視頻源的交互問題上，面臨的問題是如何將大規(guī)模的視頻監(jiān)控源導(dǎo)入到分析系統(tǒng)。本發(fā)明利用“分而治之”的思想，采用“多點匯聚”的視頻監(jiān)控源導(dǎo)入模式達到“螞蟻搬大米”的效果，并為每一個視頻源的數(shù)據(jù)導(dǎo)入工作建立一個視頻接收器。它負責將視頻源導(dǎo)入到分析系統(tǒng)并