專利名稱：基于智能圖像識別的視頻處理方法及系統(tǒng)的制作方法
技術(shù)領域：
本發(fā)明涉及智能視頻監(jiān)控應用技術(shù)領域，尤其涉及一種基于智能圖像識別的視頻處理方法及系統(tǒng)。
背景技術(shù)：
隨著視頻監(jiān)控技術(shù)的發(fā)展，視頻監(jiān)控技術(shù)已經(jīng)在各個領域得到了廣泛的應用，隨之產(chǎn)生了海量的視頻資源。對于這些監(jiān)控視頻資源來說，以往的多數(shù)監(jiān)控平臺仍然采用人工處理的方式進行處理，而這種人工處理的方式對人力物力的浪費較大，難以在商用化產(chǎn)品形成規(guī)模應用。目前智能監(jiān)控技術(shù)已成為視頻監(jiān)控的重要發(fā)展方向，在智能監(jiān)控的實現(xiàn)模式下，通過在監(jiān)控平臺上部署只能應用模塊來實現(xiàn)一定的圖像智能分析能力，使視頻監(jiān)控自動化智能化，從而克服人工處理方式的種種缺陷。但目前的智能監(jiān)控方案中尚存在以下問題:目前在監(jiān)控平臺上集中的部署了圖像智能處理能力以及數(shù)據(jù)存儲能力，這種方式雖然給管理上帶來了便利，但對于監(jiān)管人員來說，如果希望對智能處理后的視頻內(nèi)容進行瀏覽，則只能通過向平臺獲取數(shù)據(jù)的方式，因此往往會因為網(wǎng)絡、終端等因素而受到一定的制約，可能問題如下:1、包括智能應用數(shù)據(jù)的視頻信息只能通過平臺才能獲取，而如果在較長時間內(nèi)未及時去平臺調(diào)取信息，則可能平臺已經(jīng)清除該部分記錄；2、在獲取視頻內(nèi)容時，監(jiān)管人員可能直接從前端獲取相應的錄像視頻來進行回放和檢查，但由于前端不具備智能分析功能，因此無法展示出智能內(nèi)容，給監(jiān)管人員帶來不便。

發(fā)明內(nèi)容
本發(fā)明的目的是提出一種基于智能圖像識別的視頻處理方法及系統(tǒng)，能夠使用戶從前端單元方便地獲取帶有智能信息的視頻信息。為實現(xiàn)上述目的，本發(fā)明提供了一種基于智能圖像識別的視頻處理方法，包括:監(jiān)控平臺向智能圖像識別單元輸入前端單元錄制或?qū)崟r采集的視頻信息；所述智能圖像識別單元按照預設的監(jiān)控規(guī)則對所述視頻信息進行圖像分析和監(jiān)控對象的識別，形成識別結(jié)果；所述智能圖像識別單元將所述識別結(jié)果發(fā)送給智能圖像管理服務器；所述智能圖像管理服務器將所述識別結(jié)果返回給所述監(jiān)控平臺；所述監(jiān)控平臺將所述識別結(jié)果發(fā)送給所述前端單元，以便所述前端單元將所述識別結(jié)果以附加的智能信息的方式疊加在所述視頻信息對應的視頻畫面中，并重新編碼后存儲。進一步的，所述智能圖像識別單元按照預設的監(jiān)控規(guī)則對所述視頻信息進行圖像分析和監(jiān)控對象的識別的操作具體為:
所述智能圖像識別單元對所述視頻信息進行圖像分析，形成相應的圖像語義描述；所述智能圖像識別單元根據(jù)所述圖像語義描述，按照預設的監(jiān)控規(guī)則來識別出監(jiān)控對象的相關(guān)信息。進一步的，在所述監(jiān)控平臺向智能圖像識別單元輸入前端單元錄制或?qū)崟r采集的視頻信息之后，還包括:所述智能圖像識別單元將所述視頻信息中的物體移動情況的原始統(tǒng)計信息發(fā)送給所述智能圖像管理服務器；所述智能圖像管理服務器將所述原始統(tǒng)計信息返回給所述監(jiān)控平臺；所述監(jiān)控平臺將所述原始統(tǒng)計信息發(fā)送給所述前端單元，以便所述前端單元將所述原始統(tǒng)計信息以附加的智能信息的方式疊加在所述視頻信息對應的視頻畫面中，并重新編碼后存儲。進一步的,還包括:所述前端單元接收由客戶端單元發(fā)出的視頻請求,將存儲的包含智能信息的視頻信息經(jīng)由所述監(jiān)控平臺轉(zhuǎn)發(fā)給所述客戶端單元。為實現(xiàn)上述目的，本發(fā)明還提供了一種基于智能圖像識別的視頻處理系統(tǒng)，包括監(jiān)控平臺、智能圖像識別單元、前端單元和智能圖像管理服務器，其中，監(jiān)控平臺，用于向所述智能圖像識別單元輸入所述前端單元錄制或?qū)崟r采集的視頻信息，以及在接收到識別結(jié)果時，將所述識別結(jié)果發(fā)送給所述前端單元；智能圖像識別單元，用于按照預設的監(jiān)控規(guī)則對所述視頻信息進行圖像分析和監(jiān)控對象的識別，形成識別結(jié)果，并且將所述識別結(jié)果發(fā)送給所述智能圖像管理服務器；智能圖像管理服務器，用于將所述識別結(jié)果返回給所述監(jiān)控平臺；前端單元，用于將所述識別結(jié)果以附加的智能信息的方式疊加在所述視頻信息對應的視頻畫面中，并重新編碼后存儲。進一步的，所述智能圖像識別單元具體包括:智能圖像分析單元，用于對所述視頻信息進行圖像分析，形成相應的圖像語義描述；監(jiān)控對象識別單元，用于根據(jù)所述圖像語義描述，按照預設的監(jiān)控規(guī)則來識別出監(jiān)控對象的相關(guān)信息；第一發(fā)送單元，用于將所述識別結(jié)果發(fā)送給所述智能圖像管理服務器。進一步的，所述智能圖像識別單元還包括:物體移動統(tǒng)計單元，用于對所述視頻信息中的物體移動情況進行統(tǒng)計，得到原始統(tǒng)計信息；第二發(fā)送單元，用于將所述原始統(tǒng)計信息返回給所述監(jiān)控平臺。進一步的,所述前端單元具體包括:疊加編碼單元，用于將所述識別結(jié)果和/或原始統(tǒng)計信息以附加的智能信息的方式疊加在所述視頻信息對應的視頻畫面中，并重新編碼；視頻保存單元，用于存儲所述重新編碼后的視頻信息。進一步的,所述前端單元還包括:視頻請求響應單元，用于接收由客戶端單元發(fā)出的視頻請求，將存儲的包含智能信息的視頻信息經(jīng)由所述監(jiān)控平臺轉(zhuǎn)發(fā)給所述客戶端單元?；谏鲜黾夹g(shù)方案，本發(fā)明將智能圖像識別單元的智能處理能力和前端單元結(jié)合起來，將智能圖像識別單元分析和識別得到的識別結(jié)果提供給前端單元，由前端單元進行這些智能信息的視頻疊加處理和保存，進而使用戶從前端單元可以方便地獲取帶有智能信息的視頻信息。


此處所說明的附圖用來提供對本發(fā)明的進一步理解，構(gòu)成本申請的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當限定。在附圖中:圖1為本發(fā)明基于智能圖像識別的視頻處理方法實施例的一種應用場景的網(wǎng)絡架構(gòu)圖。圖2為本發(fā)明基于智能圖像識別的視頻處理方法的一實施例的流程示意圖。圖3為本發(fā)明基于智能圖像識別的視頻處理方法的另一實施例的信令流程示意圖。圖4為本發(fā)明基于智能圖像識別的視頻處理系統(tǒng)的一實施例的結(jié)構(gòu)示意圖。圖5為本發(fā)明基于智能圖像識別的視頻處理系統(tǒng)的另一實施例中智能圖像識別單元的具體結(jié)構(gòu)示意圖。圖6為本發(fā)明基于智能圖像識別的視頻處理系統(tǒng)的又一實施例中前端單元的具體結(jié)構(gòu)示意圖。
具體實施例方式下面通過附圖和實施例，對本發(fā)明的技術(shù)方案做進一步的詳細描述。如圖1所示，為本發(fā)明基于智能圖像識別的視頻處理方法實施例的一種應用場景的網(wǎng)絡架構(gòu)圖。在該應用場景中，中心管理服務器I (Central Management Server,簡稱CMS)分別與智能圖像管理服務器2 (Intelligent Video Management,簡稱IVM)、智能圖像識別單兀 3 (Intelligent Video Unit,簡稱 IVU)、視頻轉(zhuǎn)分發(fā)單兀 7 (Video Transfer andDistribute Unit,簡稱 VTDU)、網(wǎng)絡錄像單兀 6 (Network Recode Unit,簡稱 NRU)、客戶端單元4(Client Unit,簡稱⑶)和前端單元5 (Peripheral Unit,簡稱PU)相連,其他連接關(guān)系參見圖1。監(jiān)控平臺可由CMS UVTDU 7和NRU 6等構(gòu)成，但并不限于圖中所示的幾種設備，允許減少設備或增加新的設備。圖1對本發(fā)明的視頻處理方法的可能的應用場景進行了介紹，但本領域的技術(shù)人員可以理解，除了圖1中給出的應用場景之外，也允許其他可能的應用場景及相應的網(wǎng)絡架構(gòu)。如圖2所示，為本發(fā)明基于智能圖像識別的視頻處理方法的一實施例的具體流程示意圖。在本實施例中，基于智能圖像識別的視頻處理流程包括以下步驟:步驟101、監(jiān)控平臺向IVU輸入PU錄制或?qū)崟r采集的視頻信息；步驟102、IVU按照預設的監(jiān)控規(guī)則對視頻信息進行圖像分析和監(jiān)控對象的識別，形成識別結(jié)果；步驟103、IVU將識別結(jié)果發(fā)送給IVM，IVM將識別結(jié)果返回給監(jiān)控平臺；
步驟104、監(jiān)控平臺將識別結(jié)果發(fā)送給PU，以便PU將識別結(jié)果以附加的智能信息的方式疊加在視頻信息對應的視頻畫面中，并重新編碼后存儲。在本實施例中，監(jiān)控平臺可能直接向IVU發(fā)起視頻分析請求,也可以是應PU的請求來向IVU發(fā)起視頻分析請求，具體的視頻分析請求中可以包括PU已錄制的視頻信息或PU實時采集的視頻信息，或者這些視頻信息的地址信息等。IVU可以根據(jù)預設的監(jiān)控規(guī)則對所述視頻信息進行圖像分析和監(jiān)控對象的識別，監(jiān)控規(guī)則可由用戶通過⑶來設定，例如希望對上午8點到11點的A地點經(jīng)過的某類型車輛進行分析。IVU可以先對視頻信息進行圖像分析，形成相應的圖像語義描述，例如類型為大型客車，車牌為京XXXXX等，根據(jù)得到的圖像語義描述，按照預設的監(jiān)控規(guī)則來識別出監(jiān)控對象的相關(guān)信息。IVU將識別出的識別結(jié)果發(fā)送給IVM，經(jīng)由IVM將識別結(jié)果返回給監(jiān)控平臺。該識另Ij結(jié)果作為智能信息，再由監(jiān)控平臺發(fā)送給對應的PU，該就可以將該識別結(jié)果以附加的智能信息的方式疊加在視頻信息對應的視頻畫面中，通過重新編碼保存，從而在PU中形成了帶有智能信息的視頻信息。從形式上智能信息以類似字幕的方式與視頻畫面同步出現(xiàn)，方便用戶瀏覽。當用戶利用CU發(fā)出視頻請求時，可以根據(jù)接收到的該視頻請求將存儲的包含智能信息的視頻信息經(jīng)由監(jiān)控平臺轉(zhuǎn)發(fā)給CU，并利用CU自身的呈現(xiàn)功能將帶有智能信息的視頻信息呈現(xiàn)出來，這就極大的方便了用戶的查閱過程。在監(jiān)控平臺向IVU輸入視頻信息之后，IVU還可以將視頻信息中的物體移動情況的原始統(tǒng)計信息(例如道路口的人流、車流的流量、流速等信息)發(fā)送給IVM。IVM可以將該原始統(tǒng)計信息返回監(jiān)控平臺，監(jiān)控平臺將原始統(tǒng)計信息發(fā)送給PU，可以將這些原始統(tǒng)計信息以附加的智能信息的方式疊加在視頻信息對應的視頻畫面中，并重新編碼后存儲。進一步的，PU可以將得到的原始統(tǒng)計信息以及識別結(jié)果均以附加的智能信息的方式疊加在視頻信息對應的視頻畫面中，從而使視頻畫面信息量更大，滿足使用者的查證需求。如圖3所示，為本發(fā)明基于智能圖像識別的視頻處理方法的另一實施例的信令流程示意圖。在本實施例中，視頻處理流程包括:步驟201、⑶通過監(jiān)控平臺設置需要某個的視頻疊加某類智能信息的條件，例如某個PU在某個時間段的大型車輛在該所在路口的通過情況等。步驟202、監(jiān)控平臺向IVU發(fā)出智能分析請求，并將該PU錄制或?qū)崟r采集的視頻信息提供給IVUo步驟203、IVU按照預設的監(jiān)控規(guī)則對所述視頻信息進行圖像分析和監(jiān)控對象的識別，形成識別結(jié)果，也可以對視頻信息中的物體移動情況進行統(tǒng)計，得到原始統(tǒng)計信息。步驟204、IVU經(jīng)由IVM將識別結(jié)果(也可以是原始統(tǒng)計信息)發(fā)送給監(jiān)控平臺。步驟205、監(jiān)控平臺將識別結(jié)果(也可以是原始統(tǒng)計信息)發(fā)送給TO。步驟206、PU將識別結(jié)果(也可以是原始統(tǒng)計信息)以附加的智能信息的方式疊加在所述視頻信息對應的視頻畫面中，并重新編碼后存儲。步驟207、⑶可以經(jīng)由監(jiān)控平臺向PU發(fā)出視頻請求，PU將存儲的包含智能信息的視頻信息經(jīng)由監(jiān)控平臺轉(zhuǎn)發(fā)給⑶。本領域普通技術(shù)人員可以理解:實現(xiàn)上述方法實施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成，前述的程序可以存儲于一計算機可讀取存儲介質(zhì)中，該程序在執(zhí)行時，執(zhí)行包括上述方法實施例的步驟；而前述的存儲介質(zhì)包括:ROM、RAM、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。如圖4所示，為本發(fā)明基于智能圖像識別的視頻處理系統(tǒng)的一實施例的結(jié)構(gòu)示意圖。在本實施例中，基于智能圖像識別的視頻處理系統(tǒng)包括監(jiān)控平臺8、IVU 3,PU 5和IVM
2。其中監(jiān)控平臺8可以向IVU 3輸入PU 5錄制或?qū)崟r采集的視頻信息，以及在接收到識別結(jié)果時，將所述識別結(jié)果發(fā)送給PU 5。監(jiān)控平臺8的具體結(jié)構(gòu)也可以參照圖1所示的由CMS 1、VTDU 7和NRU 6等構(gòu)成的結(jié)構(gòu)。IVU 3負責按照預設的監(jiān)控規(guī)則對所述視頻信息進行圖像分析和監(jiān)控對象的識另IJ，形成識別結(jié)果，并且將所述識別結(jié)果發(fā)送給IVM 2。IVM 2負責將識別結(jié)果返回給監(jiān)控平臺8。PU 5負責將所述識別結(jié)果以附加的智能信息的方式疊加在所述視頻信息對應的視頻畫面中，并重新編碼后存儲。本實施例將IVU的智能處理能力和I3U結(jié)合起來，將IVU分析和識別得到的識別結(jié)果提供給PU，由進行這些智能信息的視頻疊加處理和保存，進而使用戶從PU可以方便地獲取帶有智能信息的視頻信息如圖5所示，為本發(fā)明基于智能圖像識別的視頻處理系統(tǒng)的另一實施例中智能圖像識別單元的具體結(jié)構(gòu)示意圖。在本實施例中，IVU具體包括:智能圖像分析單元31、監(jiān)控對象識別單元32和第一發(fā)送單元33。其中，智能圖像分析單元31負責對所述視頻信息進行圖像分析，形成相應的圖像語義描述。監(jiān)控對象識別單元32負責根據(jù)所述圖像語義描述，按照預設的監(jiān)控規(guī)則來識別出監(jiān)控對象的相關(guān)信息。第一發(fā)送單元33負責將所述識別結(jié)果發(fā)送給IVM。在另一個實施例中，IVU還可以進一步包括:物體移動統(tǒng)計單元和第二發(fā)送單元，其中物體移動統(tǒng)計單元負責對所述視頻信息中的物體移動情況進行統(tǒng)計，得到原始統(tǒng)計信息。第二發(fā)送單元負責將原始統(tǒng)計信息返回給所述監(jiān)控平臺。如圖6所示，為本發(fā)明基于智能圖像識別的視頻處理系統(tǒng)的又一實施例中前端單元的具體結(jié)構(gòu)示意圖。在本實施例中，PU 5具體包括:疊加編碼單元51和視頻保存單元52，其中疊加編碼單元51負責將所述識別結(jié)果和/或原始統(tǒng)計信息以附加的智能信息的方式疊加在所述視頻信息對應的視頻畫面中，并重新編碼。視頻保存單元52負責存儲所述重新編碼后的視頻信息。在另一個實施例中，PU還可以進一步包括:視頻請求響應單元，用于接收由⑶發(fā)出的視頻請求，將存儲的包含智能信息的視頻信息經(jīng)由監(jiān)控平臺轉(zhuǎn)發(fā)給CU。最后應當說明的是:以上實施例僅用以說明本發(fā)明的技術(shù)方案而非對其限制；盡管參照較佳實施例對本發(fā)明進行了詳細的說明，所屬領域的普通技術(shù)人員應當理解:依然可以對本發(fā)明的具體實施方式
進行修改或者對部分技術(shù)特征進行等同替換；而不脫離本發(fā)明技術(shù)方案的精神，其均應涵蓋在本發(fā)明請求保護的技術(shù)方案范圍當中。
權(quán)利要求
1.一種基于智能圖像識別的視頻處理方法，包括: 監(jiān)控平臺向智能圖像識別單元輸入前端單元錄制或?qū)崟r采集的視頻信息； 所述智能圖像識別單元按照預設的監(jiān)控規(guī)則對所述視頻信息進行圖像分析和監(jiān)控對象的識別，形成識別結(jié)果； 所述智能圖像識別單元將所述識別結(jié)果發(fā)送給智能圖像管理服務器； 所述智能圖像管理服務器將所述識別結(jié)果返回給所述監(jiān)控平臺； 所述監(jiān)控平臺將所述識別結(jié)果發(fā)送給所述前端單元，以便所述前端單元將所述識別結(jié)果以附加的智能信息的方式疊加在所述視頻信息對應的視頻畫面中，并重新編碼后存儲。
2.根據(jù)權(quán)利要求1所述的方法，其中所述智能圖像識別單元按照預設的監(jiān)控規(guī)則對所述視頻信息進行圖像分析和監(jiān)控對象的識別的操作具體為: 所述智能圖像識別單元對所述視頻信息進行圖像分析，形成相應的圖像語義描述；所述智能圖像識別單元根據(jù)所述圖像語義描述，按照預設的監(jiān)控規(guī)則來識別出監(jiān)控對象的相關(guān)彳目息。
3.根據(jù)權(quán)利要求2所述的方法，其中在所述監(jiān)控平臺向智能圖像識別單元輸入前端單元錄制或?qū)崟r采集的視頻信息之后，還包括: 所述智能圖像識別單元將所述視頻信息中的物體移動情況的原始統(tǒng)計信息發(fā)送給所述智能圖像管理服務器； 所述智能圖像管理服務器將所述原始統(tǒng)計信息返回給所述監(jiān)控平臺； 所述監(jiān)控平臺將所述原始統(tǒng)計信息發(fā)送給所述前端單元，以便所述前端單元將所述原始統(tǒng)計信息以附加的智能信息的方式疊加在所述視頻信息對應的視頻畫面中，并重新編碼后存儲。
4.根據(jù)權(quán)利要求1 3任一所述的方法，其中還包括: 所述前端單元接收由客戶端單元發(fā)出的視頻請求，將存儲的包含智能信息的視頻信息經(jīng)由所述監(jiān)控平臺轉(zhuǎn)發(fā)給所述客戶端單元。
5.一種基于智能圖像識別的視頻處理系統(tǒng)，包括監(jiān)控平臺、智能圖像識別單元、前端單元和智能圖像管理服務器，其中， 監(jiān)控平臺，用于向所述智能圖像識別單元輸入所述前端單元錄制或?qū)崟r采集的視頻信息，以及在接收到識別結(jié)果時，將所述識別結(jié)果發(fā)送給所述前端單元； 智能圖像識別單元，用于按照預設的監(jiān)控規(guī)則對所述視頻信息進行圖像分析和監(jiān)控對象的識別，形成識別結(jié)果，并且將所述識別結(jié)果發(fā)送給所述智能圖像管理服務器； 智能圖像管理服務器，用于將所述識別結(jié)果返回給所述監(jiān)控平臺； 前端單元，用于將所述識別結(jié)果以附加的智能信息的方式疊加在所述視頻信息對應的視頻畫面中，并重新編碼后存儲。
6.根據(jù)權(quán)利要求5所述的系統(tǒng)，其中所述智能圖像識別單元具體包括: 智能圖像分析單元，用于對所述視頻信息進行圖像分析，形成相應的圖像語義描述；監(jiān)控對象識別單元，用于根據(jù)所述圖像語義描述，按照預設的監(jiān)控規(guī)則來識別出監(jiān)控對象的相關(guān)信息； 第一發(fā)送單元，用于將所述識別結(jié)果發(fā)送給所述智能圖像管理服務器。
7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其中所述智能圖像識別單元還包括:物體移動統(tǒng)計單元，用于對所述視頻信息中的物體移動情況進行統(tǒng)計，得到原始統(tǒng)計信息； 第二發(fā)送單元，用于將所述原始統(tǒng)計信息返回給所述監(jiān)控平臺。
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中所述前端單元具體包括: 疊加編碼單元，用于將所述識別結(jié)果和/或原始統(tǒng)計信息以附加的智能信息的方式疊加在所述視頻信息對應的視頻畫面中，并重新編碼； 視頻保存單元，用于存儲所述重新編碼后的視頻信息。
9.根據(jù)權(quán)利要求5-8任一所述的系統(tǒng)，其中所述前端單元還包括: 視頻請求響應單元，用于接收由客戶端單元發(fā)出的視頻請求，將存儲的包含智能信息的視頻信息經(jīng)由所述監(jiān)控平臺轉(zhuǎn) 發(fā)給所述客戶端單元。
全文摘要
本發(fā)明涉及一種基于智能圖像識別的視頻處理方法，包括監(jiān)控平臺向IVU輸入PU錄制或?qū)崟r采集的視頻信息；IVU按照預設的監(jiān)控規(guī)則對視頻信息進行圖像分析和監(jiān)控對象的識別，形成識別結(jié)果；IVU將識別結(jié)果發(fā)送給IVM；IVM將識別結(jié)果返回給監(jiān)控平臺；監(jiān)控平臺將識別結(jié)果發(fā)送給PU，以便PU將識別結(jié)果以附加的智能信息的方式疊加在視頻信息對應的視頻畫面中，并重新編碼后存儲。本發(fā)明涉及一種基于智能圖像識別的視頻處理系統(tǒng)。本發(fā)明將IVU的智能處理能力和PU結(jié)合起來，將IVU分析和識別得到的識別結(jié)果提供給PU，由PU進行這些智能信息的視頻疊加處理和保存，進而使用戶從PU可以方便地獲取帶有智能信息的視頻信息。
文檔編號G06T7/00GK103167265SQ20111041407
公開日2013年6月19日 申請日期2011年12月13日 優(yōu)先權(quán)日2011年12月13日
發(fā)明者崔瑞琳, 曹寧 申請人:中國電信股份有限公司