迭代視頻圖片檢索方法與裝置的制造方法
【技術領域】
[0001]本發(fā)明涉及一種迭代視頻圖片檢索方法與裝置，更具體而言，涉及一種大規(guī)模視頻監(jiān)控系統(tǒng)中的迭代視頻圖片檢索方法與裝置。
【背景技術】
[0002]視頻監(jiān)控系統(tǒng)在社會安防方面得到了廣泛的應用。在各個城市，每年均有數(shù)十萬攝像頭被部署。中國現(xiàn)有的城市大規(guī)模監(jiān)控系統(tǒng)當中，大量監(jiān)控設備已經(jīng)有所部署，包括攝像頭、編解碼設備、數(shù)字視頻錄像機、存儲和回放系統(tǒng)等等。其中，相當一部分的攝像頭均符合720P或者1080P高清標準。每天在視頻監(jiān)控系統(tǒng)運行的過程中，會產(chǎn)生大量的視頻數(shù)據(jù)，同時視頻監(jiān)控系統(tǒng)的運營要求將這些視頻數(shù)據(jù)保留3個月到I年不等的時間。這些積累的視頻數(shù)據(jù)，不僅占用非常大的存儲空間和網(wǎng)絡帶寬，而且對于視頻內(nèi)容并沒有有效的分析和組織。當需要在海量視頻內(nèi)容中查找所需的目標物體的時候(如人臉，車，不明行李等等)，需要操作人員花費大量的時間，進行人工觀看排查。這樣做不僅會耗費大量的人力和時間，也會使查找的精度降低很多。更重要的是，在公共安全領域，案件發(fā)生后的線索追查時間非常寶貴，如果可以利用信息技術顯著提高視頻監(jiān)控內(nèi)容的排查速度，這對于公民安全和社會穩(wěn)定都具有非常重要的意義。
[0003]近些年來，一些大規(guī)模的視頻分析和檢索系統(tǒng)逐漸被采納使用。此類系統(tǒng)對視頻內(nèi)容進行實時或者在線的分析，并將分析后得到的對應敏感特征(比如說人臉、車輛等)的描述(一般為特征向量)存儲在數(shù)據(jù)庫當中。當用戶需要針對某個敏感特征進行排查的時候，可以將敏感特征輸入到數(shù)據(jù)庫當中，進行比對排查，從而可以快速定位這些敏感特征或者目標物體在海量視頻內(nèi)容里出現(xiàn)的情況。這樣做，一方面可以大大提高海量視頻內(nèi)容中查找目標物體所需的時間，節(jié)省了人力和物力；另一方面，可以避免由于人員疲勞而帶來的查找精度降低的情況。在基于內(nèi)容的視頻檢索的過程中，一般將目標物體的特征描述向量與海量視頻內(nèi)容所對應的特征數(shù)據(jù)中的特征向量進行比對，計算特征向量之間的相似度(一般是特征向量之間的差別)，最后將檢索的結果集按照相似度由高到低(特征向量的差別由小到大)的順序展現(xiàn)給用戶終端。
[0004]在小規(guī)模視頻監(jiān)控應用系統(tǒng)中，以上的方法已經(jīng)可以支持高速高精度的視頻檢索。然而，在大規(guī)模視頻監(jiān)控應用系統(tǒng)中，簡單采用這樣的檢索方法會造成檢索精度的降低。主要原因是大量的視頻內(nèi)容中，同樣的目標物體或者敏感特征在不同的攝像頭、不同地點、不同時間出現(xiàn)時，展現(xiàn)出的特征向量有些許差別。由于光照、角度、環(huán)境等多方面的影響，其他非該目標物體的特征向量可能會展現(xiàn)更好的相似度。同時，目標物體可能在某個時間和地點集中長時出現(xiàn)，這樣可能在單次檢索中集中展現(xiàn)在用戶界面上，而該目標物體在其他時間和地點的出現(xiàn)情況沒有得到有效展現(xiàn)。因此，需要針對大規(guī)模視頻監(jiān)控場景，對視頻檢索進行優(yōu)化和提升。
[0005]之前的一些工作已經(jīng)涉及到這方面的內(nèi)容。
[0006]在專利文獻I中描述了一種大規(guī)模視頻檢索的架構設計。在這套架構中，重點強調(diào)如何使用并行計算來加速檢索的流程，然而如何解決大規(guī)模視頻監(jiān)控系統(tǒng)中的視頻檢索精度的問題，沒有有效的手段。
[0007]在專利文獻2中描述了一種利用文本標注和基于內(nèi)容的特征進行視頻檢索的方法。這種方法簡單地使用文本標注和對比結合基于內(nèi)容的視頻檢索在一起，提高檢索精度。但是，在大規(guī)模視頻監(jiān)控系統(tǒng)中，全面的文本標注是不可能完成的事情。同時，相當多的目標物體和敏感特征無法用文本來表征。
[0008]在專利文獻3中提出了一種多資源的視頻元數(shù)據(jù)檢索及相關的業(yè)務框架。在這里，更多的提及如何使用多種標注信息來進行視頻檢索的業(yè)務和方法，并沒有提及如何來提升基于內(nèi)容的視頻檢索的精度。在大規(guī)模視頻監(jiān)控系統(tǒng)中，這種方法無法保證高精度的檢索結果。
[0009]在專利文獻4中提出了一種支持視頻內(nèi)容檢索的設備。在該設備中，可以將視頻和音頻的內(nèi)容進行混合檢索，從而提高精度。但是，如何在大規(guī)模視頻監(jiān)控系統(tǒng)中，僅適用視頻內(nèi)容的檢索來提高精度并沒有有效手段。
[0010]現(xiàn)有技術文獻
[0011]專利文獻
[0012]專利文獻1:美國專利US 2014/0164406 Al
[0013]專利文獻2:專利 WO 2014/082288
[0014]專利文獻3:美國專利US 2013/0326573 Al
[0015]專利文獻4:美國專利US 2014/0188834

【發(fā)明內(nèi)容】

[0016]本發(fā)明鑒于上述問題而研發(fā)，目的在于提出一種迭代視頻圖片檢索方法與裝置，可以在大規(guī)模視頻監(jiān)控系統(tǒng)中，有效排除相關的干擾，提升檢索的精度。
[0017]本發(fā)明的一個方面涉及一種迭代視頻圖片檢索方法，其特征在于，通過多次迭代來得到檢索結果，包括:迭代策略設定步驟，設定迭代深度、每層迭代的檢索線索數(shù)目；檢索線索輸入步驟，根據(jù)由所述迭代策略設定步驟設定的所述檢索線索數(shù)目，從用戶側(cè)輸入進行首次檢索用的用于描述目標物體的特征的特征向量，作為檢索線索集；檢索步驟，記錄檢索起點，并將檢索線索集中的各個檢索線索的特征向量發(fā)送給檢索服務器進行檢索；輸出步驟，從所述檢索服務器接收檢索結果的特征向量集，并將其輸出到用戶側(cè)；迭代深度判斷步驟，判斷當前檢索步驟是否已經(jīng)達到了由所述迭代策略設定步驟所設定的迭代深度；中間結果確定步驟，在所述迭代深度判斷步驟中判斷為未達到所設定的迭代深度的情況下，根據(jù)由所述迭代策略設定步驟設定的所述檢索線索數(shù)目，查詢迭代記錄庫，選擇確定下一步迭代檢索用的檢索線索集，執(zhí)行所述檢索步驟；迭代記錄庫更新步驟，在所述迭代深度判斷步驟中判斷為已經(jīng)達到了所設定的迭代深度的情況下，在用戶完成檢索結果的標注后記錄到迭代記錄庫；迭代進度判斷步驟，判斷各步迭代的檢索步驟中是否已經(jīng)完成檢索線索集中的所有檢索線索的檢索；檢索線索更新步驟，在由所述迭代進度判斷步驟判斷為未完成檢索線索集中的所有檢索線索的檢索的情況下，將檢索樹上最近的一個未完成的檢索線索，作為下次迭代檢索的檢索線索，執(zhí)行所述檢索步驟；以及結束步驟，在由所述迭代進度判斷步驟判斷為完成了檢索線索集中的所有檢索線索的檢索的情況下，結束迭代視頻圖片檢索處理。
[0018]另外，在本發(fā)明中優(yōu)選:在所述中間結果確定步驟中，在查詢迭代記錄庫從而選擇確定了下一步迭代檢索用的檢索線索集之后，將所選擇的下一步迭代檢索用的檢索線索集輸出到用戶側(cè)，并且利用用戶選擇的下一步迭代檢索用的檢索線索集，執(zhí)行所述檢索步驟。
[0019]另外，在本發(fā)明中優(yōu)選:對于檢索線索集中的檢索線索，按照先序、中序或者后序的順序在迭代樹上的下一個檢索線索開始執(zhí)行所述檢索步驟。
[0020]另外，在本發(fā)明中優(yōu)選:將目標物體的特征向量與海量視頻內(nèi)容所對應的特征數(shù)據(jù)中的特征向量進行比對，計算特征向量之間的相似度，將檢索結果的特征向量集按照相似度由高到低的順序展現(xiàn)在用戶側(cè)。
[0021]另外，在本發(fā)明中優(yōu)選:在所述中間結果確定步驟中，由用戶來選擇確定下一步迭代檢索用的檢索線索集，或者根據(jù)迭代記錄庫的參考信息來自動選擇確定下一步迭代檢索用的檢索線索集。
[0022]另外，在本發(fā)明中優(yōu)選:所述參考信息，通過復用本次檢索之前的檢索中基于用戶的評價信息建立的各個目標向量之間的關系來確定。
[0023]另外，在本發(fā)明中優(yōu)選:所述參考信息，通過利用大數(shù)據(jù)分析工具得到不同環(huán)境下目標向量之間的參考歷史反饋向量來確定。
[0024]本發(fā)明的另一方面涉及一種迭代視頻圖片檢索裝置，其特征在于，通過多次迭代來得到檢索結果，包括:迭代策略設定單元，設定迭代深度、每層迭代的檢索線索數(shù)目；檢索線索輸入單元，根據(jù)由所述迭代策略設定單元設定的所述檢索線索數(shù)目，從用戶側(cè)輸入進行首次檢索用的用于描述目標物體的特征的特征向量，作為檢索線索集；檢索單元，記錄檢索起點，并將檢索線索集中的各個檢索線索的特征向量發(fā)送給檢索服務器進行檢索；輸出單元，從所述檢索服務器接收檢索結果的特征向量集，并將其輸出到用戶側(cè)；迭代深度判斷單元，判斷當前檢索單元是否已經(jīng)達到了由所述迭代策略設定單元所設定的迭代深度；中間結果確定單元，在所述迭代深度判斷單元中判斷為未達到所設定的迭代深度的情況下，根據(jù)由所述迭代策略設定單元設定的所述檢索線索數(shù)目，查詢迭代記錄庫，選擇確定下一步迭代檢索用的檢索線索集，調(diào)用所述檢索單元；迭代記錄庫更新單元，在所述迭代深度判斷單元中判斷為已經(jīng)達到了所設定的迭代深度的情況下，在用戶完成檢索結果的