一種基于語(yǔ)義內(nèi)容多層表示的重復(fù)視頻檢測(cè)方法與裝置制造方法
【專利摘要】本發(fā)明涉及一種基于語(yǔ)義內(nèi)容多層表示的重復(fù)視頻檢測(cè)方法，包括以下步驟：根據(jù)索引視頻的信息建立特征數(shù)據(jù)庫(kù)；將待查詢的查詢視頻進(jìn)行鏡頭檢測(cè)；對(duì)每個(gè)查詢視頻片段提取關(guān)鍵幀；對(duì)每個(gè)查詢關(guān)鍵幀利用特征提取算法進(jìn)行處理；將每個(gè)查詢高維特征向量分別進(jìn)行哈希處理；將每個(gè)查詢特征標(biāo)簽與對(duì)應(yīng)的查詢高維特征向量標(biāo)識(shí)、查詢關(guān)鍵幀標(biāo)識(shí)、查詢視頻片段標(biāo)識(shí)和查詢視頻標(biāo)識(shí)進(jìn)行關(guān)聯(lián)，在特征數(shù)據(jù)庫(kù)中檢索特征標(biāo)簽；對(duì)檢索得到的每組相似特征標(biāo)簽進(jìn)行特征過(guò)濾；對(duì)每個(gè)備選特征向量集合中的特征向量進(jìn)行相似度匹配，得到重復(fù)視頻檢測(cè)結(jié)果。本發(fā)明能夠避免造成性能瓶頸的高維特征向量的距離計(jì)算，在保證檢測(cè)準(zhǔn)確率的同時(shí)，有效的提高重復(fù)視頻檢測(cè)的處理速度。
【專利說(shuō)明】—種基于語(yǔ)義內(nèi)容多層表示的重復(fù)視頻檢測(cè)方法與裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種視頻檢測(cè)方法，特別涉及一種基于語(yǔ)義內(nèi)容多層表示的重復(fù)視頻檢測(cè)方法及裝置。
【背景技術(shù)】
[0002]隨著網(wǎng)絡(luò)數(shù)字視頻應(yīng)用的迅速發(fā)展，為了保護(hù)和管理視頻內(nèi)容，大規(guī)模重復(fù)視頻檢測(cè)成為研究關(guān)注的問(wèn)題。重復(fù)視頻檢測(cè)方法主要分為兩大類:數(shù)字水印和基于內(nèi)容的重復(fù)檢測(cè)。數(shù)字水印方法將隱藏的數(shù)據(jù)信息(即水印)嵌入到圖像和視頻中進(jìn)行檢測(cè)。而基于內(nèi)容的方法釆用視頻內(nèi)容分析算法，生成視頻簽名或者關(guān)鍵幀特征進(jìn)行檢索，具有較高的處理效率和準(zhǔn)確性。大多數(shù)研究關(guān)注基于內(nèi)容的重復(fù)視頻檢索。
[0003]現(xiàn)有方法的通用處理過(guò)程可以分為如下三個(gè)步驟:
[0004]首先，視頻通過(guò)鏡頭分割算法生成視頻片段，每個(gè)視頻片段提取一或多個(gè)關(guān)鍵幀；
[0005]然后，對(duì)每一個(gè)視頻關(guān)鍵幀采用特征提取算法生成一組高維特征向量；
[0006]最后，用特征向量的時(shí)間和空間匹配算法定義視頻的相似度用來(lái)進(jìn)行檢測(cè)。
[0007]首先是鏡頭分割和關(guān)鍵幀提取算法。鏡頭分割又稱為鏡頭邊緣檢測(cè)(ShotBoundary Detection)。鏡頭是攝像機(jī)從開始到停止兩個(gè)操作之間的一系列視頻巾貞序列，現(xiàn)有的鏡頭分割算法一般分為兩類:第一類是基于閾值的方法當(dāng)兩幀之間的相似度低于預(yù)先定義的閾值時(shí)，即判定為邊緣。閾值可以是全局的，自適應(yīng)的或者全局自適應(yīng)結(jié)合的。第二類是基于統(tǒng)計(jì)學(xué)習(xí)的方法，其中包括督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)兩類方法，監(jiān)督學(xué)習(xí)分類的算法比如SVM，Adaboost和其他模型的方法，非監(jiān)督學(xué)習(xí)的算法主要是聚類算法，比如K-means, fuzzy K_means。關(guān)鍵巾貞提取算法從用一個(gè)鏡頭中提取出最能代表鏡頭內(nèi)容的幀作為關(guān)鍵幀，關(guān)注的特征包括顏色，邊緣，形狀，MPEG-7動(dòng)作描述符等。主要包括兩大類:幀序列比較的方法和全局比較的方法。
[0008]在經(jīng)過(guò)鏡頭分割和關(guān)鍵巾貞提取的預(yù)處理之后，索引和檢索的基本對(duì)象是關(guān)鍵中貞的特征表示，即圖像的特征表示，可以分為兩類:全局特征和局部特征，分別對(duì)應(yīng)于不同的視頻內(nèi)容表示算法和相似性度量的選取。Yeh等人提出一種全局的關(guān)鍵幀級(jí)別的16維分區(qū)描述符和一種對(duì)應(yīng)的序列匹配算法。Chiu等人整合了全局和局部特征描述符并采用min-hashing和時(shí)空匹配來(lái)檢測(cè)重復(fù)視頻。Shang等人提出一種二進(jìn)制全局時(shí)空特征并使用基于倒排文件的方法進(jìn)行索引和快速檢測(cè)。Pan等人提出一種釆用DCT分析的時(shí)空聯(lián)合特征，并基于該特征設(shè)計(jì)了視頻拷貝檢測(cè)框架。Wu等人進(jìn)一步考慮局部關(guān)鍵點(diǎn)的運(yùn)動(dòng)，抽象出一種軌跡行為特征，并釆用馬爾可夫鏈模型進(jìn)行表示和匹配。Liu等人提出了一種結(jié)合局部SIFT特征和局部敏感哈希(LSH)算法以及隨機(jī)抽樣一致性(RANSAC)算法的重復(fù)視頻檢測(cè)框架。Avrithis等人將局部特征表示成視覺(jué)單詞并利用類似RANSAC匹配算法進(jìn)行檢測(cè)。
[0009]SURF是近年來(lái)提出的用于表示數(shù)字圖像的基于近似Hessian的檢測(cè)器，已經(jīng)被實(shí)驗(yàn)證明在計(jì)算效率方面優(yōu)于其他局部特征表示方法，如SIFT，PCA-SIFT等。本發(fā)明利用SURF的特征對(duì)索引進(jìn)行相應(yīng)優(yōu)化:利用特征向量計(jì)算的中間結(jié)果Laplacian的符號(hào)，即Hessian矩陣跡來(lái)劃分哈希索引生成的桶空間，并且利用興趣點(diǎn)的位置來(lái)進(jìn)行特征向量的過(guò)濾。
[0010]局部敏感哈希LSH算法是一種在高維空間進(jìn)行近似最近鄰查找的有效算法。LSH哈希函數(shù)族具有如下性質(zhì):距離相近的對(duì)象相比距離較遠(yuǎn)的對(duì)象有較高的概率碰撞。不同的LSH函數(shù)族對(duì)應(yīng)不同的距離度量。
[0011]基于局部特征的方法相比基于全局特征的方法具有更好的魯棒性，特別是應(yīng)對(duì)顏色調(diào)整，裁剪，添加字幕，轉(zhuǎn)碼等經(jīng)過(guò)變換的視頻，但同時(shí)要付出更高的計(jì)算代價(jià)。
[0012]基于局部特征的方法，在基本的LSH算法的檢索過(guò)程中，一個(gè)查詢點(diǎn)經(jīng)過(guò)哈希到幾個(gè)不同的哈希表的對(duì)應(yīng)桶中，然后計(jì)算桶內(nèi)所有點(diǎn)與查詢點(diǎn)的距離取出距離最近的若干特征向量作為檢索結(jié)果。我們認(rèn)為，檢索過(guò)程中的高維特征向量(比如:64維SURF描述符)的歐式距離計(jì)算需要消耗大量時(shí)間作為代價(jià)，是現(xiàn)有基于LSH算法的性能瓶頸所在。由于網(wǎng)絡(luò)的應(yīng)用場(chǎng)景對(duì)實(shí)時(shí)性要求較高，同時(shí)，基于多層內(nèi)容分析的重復(fù)視頻檢測(cè)需要處理海量的高維特征向量，所以，處理速度比“局部準(zhǔn)確性”更重要。另外，相比于僅使用一個(gè)整合的高維向量來(lái)描述一個(gè)關(guān)鍵幀的基于全局特征的算法，基于局部特征的算法將每一個(gè)關(guān)鍵幀表示為幾百個(gè)高維向量。因此，如何有效的過(guò)濾削減特征向量備選集和降低計(jì)算負(fù)載是關(guān)注的重點(diǎn)問(wèn)題。

【發(fā)明內(nèi)容】

[0013]本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種通過(guò)自適應(yīng)局部敏感哈希ADLSH對(duì)視頻幀的SURF特征向量進(jìn)行索引和檢索、通過(guò)參數(shù)學(xué)習(xí)有效的估計(jì)每個(gè)桶內(nèi)的平均特征向量數(shù)的基于語(yǔ)義內(nèi)容多層表示的重復(fù)視頻檢測(cè)方法及裝置。
[0014]本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案如下:一種基于語(yǔ)義內(nèi)容多層表示的重復(fù)視頻檢測(cè)方法，包括以下步驟:
[0015]步驟1:根據(jù)索引視頻的信息建立特征數(shù)據(jù)庫(kù)；
[0016]步驟2:將待查詢的查詢視頻進(jìn)行鏡頭檢測(cè)，得到多個(gè)查詢視頻片段；所述查詢視頻設(shè)置有查詢視頻標(biāo)識(shí)，每個(gè)查詢視頻片段分別設(shè)置有查詢視頻片段標(biāo)識(shí)；
[0017]步驟3:對(duì)每個(gè)查詢視頻片段提取關(guān)鍵幀，得到多個(gè)查詢關(guān)鍵幀，每個(gè)查詢關(guān)鍵幀分別設(shè)置有查詢關(guān)鍵幀標(biāo)識(shí)；
[0018]步驟4:對(duì)每個(gè)查詢關(guān)鍵幀利用特征提取算法進(jìn)行處理，得到一組查詢高維特征向量，每個(gè)查詢高維特征向量均設(shè)置有查詢高維特征向量標(biāo)識(shí)；
[0019]步驟5:將每個(gè)查詢高維特征向量分別進(jìn)行哈希處理，得到一組查詢特征標(biāo)簽；
[0020]步驟6:將每個(gè)查詢特征標(biāo)簽與對(duì)應(yīng)的查詢高維特征向量標(biāo)識(shí)、查詢關(guān)鍵幀標(biāo)識(shí)、查詢視頻片段標(biāo)識(shí)和查詢視頻標(biāo)識(shí)進(jìn)行關(guān)聯(lián)，并將上述標(biāo)識(shí)作為每個(gè)查詢特征標(biāo)簽的關(guān)聯(lián)項(xiàng)，在特征數(shù)據(jù)庫(kù)中檢索查詢特征標(biāo)簽及其關(guān)聯(lián)項(xiàng)，得到多組相似特征標(biāo)簽；
[0021]步驟7:根據(jù)每組特征標(biāo)簽的位置信息，對(duì)檢索得到的每組相似特征標(biāo)簽進(jìn)行特征過(guò)濾，得到包含有多個(gè)特征向量的備選特征向量集合；
[0022]步驟8:根據(jù)查詢關(guān)鍵幀標(biāo)識(shí)和查詢視頻片段標(biāo)識(shí)，對(duì)每個(gè)備選特征向量集合中的特征向量進(jìn)行相似度匹配，得到重復(fù)視頻檢測(cè)結(jié)果。
[0023]本發(fā)明的有益效果是:本發(fā)明對(duì)基于語(yǔ)義內(nèi)容多層表示的重復(fù)視頻檢測(cè)進(jìn)行研究，采用SURF描述符作為局部特征，設(shè)計(jì)一種新的基于LSH的索引結(jié)構(gòu)，該索引結(jié)合了 SURF描述符的內(nèi)在特征，通過(guò)參數(shù)學(xué)習(xí)和自適應(yīng)設(shè)置來(lái)減少檢索時(shí)的計(jì)算消耗，同時(shí)保持了檢索的可擴(kuò)展性和魯棒性。對(duì)檢索得到的特征向量集合采用一種簡(jiǎn)單有效的過(guò)濾算法和兩層匹配算法，進(jìn)一步削減備選特征向量集合的數(shù)量并生成整個(gè)視頻的相關(guān)分?jǐn)?shù)，通過(guò)設(shè)置相關(guān)分?jǐn)?shù)閾值進(jìn)行重復(fù)視頻檢測(cè)；
[0024]該算法通過(guò)自適應(yīng)局部敏感哈希ADLSH對(duì)視頻幀的SURF特征向量進(jìn)行索引和檢索，通過(guò)參數(shù)學(xué)習(xí)有效的估計(jì)每個(gè)桶內(nèi)的平均特征向量數(shù)，從而避免了造成性能瓶頸的高維特征向量的距離計(jì)算，然后，經(jīng)過(guò)特征過(guò)濾和兩層匹配完成特征向量到關(guān)鍵幀和視頻的多層匹配，得到相關(guān)分?jǐn)?shù)作為檢測(cè)結(jié)果，該算法能夠在保證檢測(cè)準(zhǔn)確率的同時(shí)，有效的提高重復(fù)視頻檢測(cè)的處理速度，優(yōu)于目前基于局部敏感哈希LSH的其他算法。
[0025]在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。
[0026]進(jìn)一步，所述步驟I具體包括以下步驟:
[0027]步驟1.1:將索引視頻進(jìn)行鏡頭檢測(cè)，得到多個(gè)視頻片段，每個(gè)視頻片段分別設(shè)置有視頻片段標(biāo)識(shí)，所述索引視頻設(shè)置有索引視頻標(biāo)識(shí)；
[0028]步驟1.2:對(duì)每個(gè)視頻片段提取關(guān)鍵幀，得到多個(gè)關(guān)鍵幀，每個(gè)關(guān)鍵幀分別設(shè)置有關(guān)鍵幀標(biāo)識(shí)；
[0029]步驟1.3:對(duì)每個(gè)關(guān)鍵幀利用特征提取算法進(jìn)行處理，得到一組高維特征向量，每個(gè)高維特征向量均設(shè)置有高維特征向量標(biāo)識(shí)；
[0030]步驟1.4:將每個(gè)高維特征向量分別進(jìn)行哈希處理，得到一組特征標(biāo)簽；
[0031]步驟1.5:將每個(gè)特征標(biāo)簽與對(duì)應(yīng)的高維特征向量標(biāo)識(shí)、關(guān)鍵幀標(biāo)識(shí)、視頻片段標(biāo)識(shí)和索引視頻標(biāo)識(shí)進(jìn)行關(guān)聯(lián)，將關(guān)聯(lián)后的所有特征標(biāo)簽存入特征數(shù)據(jù)庫(kù)中。
[0032]進(jìn)一步，所述步驟5具體包括以下步驟:
[0033]步驟5.1:將每個(gè)查詢高維特征向量利用如下符號(hào)函數(shù)表示:
[0034]
【權(quán)利要求】
1.一種基于語(yǔ)義內(nèi)容多層表示的重復(fù)視頻檢測(cè)方法，其特征在于，包括以下步驟: 步驟1:根據(jù)索引視頻的信息建立特征數(shù)據(jù)庫(kù)； 步驟2:將待查詢的查詢視頻進(jìn)行鏡頭檢測(cè)，得到多個(gè)查詢視頻片段；所述查詢視頻設(shè)置有查詢視頻標(biāo)識(shí)，每個(gè)查詢視頻片段分別設(shè)置有查詢視頻片段標(biāo)識(shí)； 步驟3:對(duì)每個(gè)查詢視頻片段提取關(guān)鍵幀，得到多個(gè)查詢關(guān)鍵幀，每個(gè)查詢關(guān)鍵幀分別設(shè)置有查詢關(guān)鍵幀標(biāo)識(shí)； 步驟4:對(duì)每個(gè)查詢關(guān)鍵幀利用特征提取算法進(jìn)行處理，得到一組查詢高維特征向量，每個(gè)查詢高維特征向量均設(shè)置有查詢高維特征向量標(biāo)識(shí)； 步驟5:將每個(gè)查詢高維特征向量分別進(jìn)行哈希處理，得到一組查詢特征標(biāo)簽； 步驟6:將每個(gè)查詢特征標(biāo)簽與對(duì)應(yīng)的查詢高維特征向量標(biāo)識(shí)、查詢關(guān)鍵幀標(biāo)識(shí)、查詢視頻片段標(biāo)識(shí)和查詢視頻標(biāo)識(shí)進(jìn)行關(guān)聯(lián)，并將上述標(biāo)識(shí)作為每個(gè)查詢特征標(biāo)簽的關(guān)聯(lián)項(xiàng)，在特征數(shù)據(jù)庫(kù)中檢索查詢特征標(biāo)簽及其關(guān)聯(lián)項(xiàng)，得到多組相似特征標(biāo)簽； 步驟7:根據(jù)每組特征標(biāo)簽的位置信息，對(duì)檢索得到的每組相似特征標(biāo)簽進(jìn)行特征過(guò)濾，得到包含有多個(gè)特征向量的備選特征向量集合； 步驟8:根據(jù)查詢關(guān)鍵幀標(biāo)識(shí)和查詢視頻片段標(biāo)識(shí)，對(duì)每個(gè)備選特征向量集合中的特征向量進(jìn)行相似度匹配，得到重復(fù)視頻檢測(cè)結(jié)果。
2.根據(jù)權(quán)利要求1所述的基于語(yǔ)義內(nèi)容多層表示的重復(fù)視頻檢測(cè)方法，其特征在于，所述步驟I具體包括以下步驟:
步驟1.1:將索引視頻進(jìn)行鏡頭檢測(cè)，得到多個(gè)視頻片段，每個(gè)視頻片段分別設(shè)置有視頻片段標(biāo)識(shí)，所述索引視頻設(shè)置有索引視頻標(biāo)識(shí)； 步驟1.2:對(duì)每個(gè)視頻片段提取關(guān)鍵幀，得到多個(gè)關(guān)鍵幀，每個(gè)關(guān)鍵幀分別設(shè)置有關(guān)鍵幀標(biāo)識(shí)； 步驟1.3:對(duì)每個(gè)關(guān)鍵幀利用特征提取算法進(jìn)行處理，得到一組高維特征向量，每個(gè)高維特征向量均設(shè)置有高維特征向量標(biāo)識(shí)； 步驟1.4:將每個(gè)高維特征向量分別進(jìn)行哈希處理，得到一組特征標(biāo)簽； 步驟1.5:將每個(gè)特征標(biāo)簽與對(duì)應(yīng)的高維特征向量標(biāo)識(shí)、關(guān)鍵幀標(biāo)識(shí)、視頻片段標(biāo)識(shí)和索引視頻標(biāo)識(shí)進(jìn)行關(guān)聯(lián)，將關(guān)聯(lián)后的所有特征標(biāo)簽存入特征數(shù)據(jù)庫(kù)中。
3.根據(jù)權(quán)利要求1或2所述的基于語(yǔ)義內(nèi)容多層表示的重復(fù)視頻檢測(cè)方法，其特征在于，所述步驟5具體包括以下步驟: 步驟5.1:將每個(gè)查詢高維特征向量利用如下符號(hào)函數(shù)表示:
4.根據(jù)權(quán)利要求1所述的基于語(yǔ)義內(nèi)容多層表示的重復(fù)視頻檢測(cè)方法，其特征在于，所述步驟7具體包括以下步驟: 步驟7.1:在提取查詢關(guān)鍵幀的過(guò)程中，存儲(chǔ)中間結(jié)果作為每個(gè)特征點(diǎn)的位置信息；步驟7.2:將經(jīng)過(guò)哈希處理得到的每個(gè)查詢特征標(biāo)簽作為一個(gè)特征點(diǎn)，根據(jù)每個(gè)特征點(diǎn)的位置信息計(jì)算每?jī)蓚€(gè)特征點(diǎn)在二維空間里的相對(duì)距離； 步驟7.3:根據(jù)查詢關(guān)鍵幀標(biāo)識(shí)進(jìn)行分類統(tǒng)計(jì)，得到在兩個(gè)對(duì)應(yīng)關(guān)鍵幀圖像中所有特征點(diǎn)相對(duì)距離的平均值和標(biāo)準(zhǔn)差； 步驟7.4將相對(duì)距離超過(guò)平均值并且遠(yuǎn)大于標(biāo)準(zhǔn)差的特征點(diǎn)作為噪聲點(diǎn)去除。
5.根據(jù)權(quán)利要求1所述的基于語(yǔ)義內(nèi)容多層表示的重復(fù)視頻檢測(cè)方法，其特征在于，所述步驟8具體包括以下步驟: 步驟8.1:根據(jù)查詢關(guān)鍵幀標(biāo)識(shí)將每個(gè)備選特征向量集合中的每個(gè)查詢特征向量進(jìn)行再一次哈希處理，利用線性遍歷查找與查詢關(guān)鍵幀的匹配關(guān)鍵幀:匹配關(guān)鍵幀的數(shù)量超過(guò)預(yù)定閾值的關(guān)鍵幀為匹配關(guān)鍵幀; 步驟8.2:對(duì)于查詢視頻片段標(biāo)識(shí)的每個(gè)關(guān)鍵幀，與匹配關(guān)鍵幀/,的相似度為:
6.一種基于語(yǔ)義內(nèi)容多層表示的重復(fù)視頻檢測(cè)裝置，其特征在于:包括建立模塊(1)，鏡頭檢測(cè)模塊(2)，關(guān)鍵幀提取模塊(3)，特征提取模塊(4)，哈希處理模塊(5)，關(guān)聯(lián)模塊(6)，特征過(guò)濾模塊(7)和相似度匹配模塊(8)； 所述建立模塊(1)，用于根據(jù)索引視頻的信息建立特征數(shù)據(jù)庫(kù)； 所述鏡頭檢測(cè)模塊(2)，用于將待查詢的查詢視頻進(jìn)行鏡頭檢測(cè)，得到多個(gè)查詢視頻片段，每個(gè)查詢視頻片段分別設(shè)置有查詢視頻片段標(biāo)識(shí)，所述查詢視頻設(shè)置有查詢視頻標(biāo)識(shí)； 所述關(guān)鍵幀提取模塊(3)，用于對(duì)每個(gè)查詢視頻片段提取關(guān)鍵幀，得到多個(gè)查詢關(guān)鍵幀，每個(gè)查詢關(guān)鍵幀分別設(shè)置有查詢關(guān)鍵幀標(biāo)識(shí)； 所述特征提取模塊(4)，用于對(duì)每個(gè)查詢關(guān)鍵幀利用特征提取算法進(jìn)行處理，得到一組查詢高維特征向量，每個(gè)查詢高維特征向量均設(shè)置有查詢高維特征向量標(biāo)識(shí)； 所述哈希處理模塊(5)，用于將每個(gè)查詢高維特征向量分別進(jìn)行哈希處理，得到一組查詢特征標(biāo)簽； 所述關(guān)聯(lián)模塊(6)，用于將每個(gè)查詢特征標(biāo)簽與對(duì)應(yīng)的查詢高維特征向量標(biāo)識(shí)、查詢關(guān)鍵幀標(biāo)識(shí)、查詢視頻片段標(biāo)識(shí)和查詢視頻標(biāo)識(shí)進(jìn)行關(guān)聯(lián)，并將上述標(biāo)識(shí)作為每個(gè)查詢特征標(biāo)簽的關(guān)聯(lián)項(xiàng)，在特征數(shù)據(jù)庫(kù)中檢索查詢特征標(biāo)簽及其關(guān)聯(lián)項(xiàng)，得到多組相似特征標(biāo)簽；所述特征過(guò)濾模塊(7)，用于根據(jù)每組特征標(biāo)簽的位置信息，對(duì)檢索得到的每組相似特征標(biāo)簽進(jìn)行特征過(guò)濾，得到包含有多個(gè)特征向量的備選特征向量集合； 所述相似度匹配模塊(8)，用于根據(jù)查詢關(guān)鍵幀標(biāo)識(shí)和查詢視頻片段標(biāo)識(shí)，對(duì)每個(gè)備選特征向量集合中的特征向量進(jìn)行相似度匹配，得到重復(fù)視頻檢測(cè)結(jié)果。
7.根據(jù)權(quán)利要求6所述的基于語(yǔ)義內(nèi)容多層表示的重復(fù)視頻檢測(cè)方法，其特征在于:所述建立模塊(I)進(jìn)一步包括檢測(cè)子模塊(1-1 )，關(guān)鍵幀提取子模塊(1-2)，特征提取子模塊(1-3)，哈希子模塊(1-4)和關(guān)聯(lián)子模塊(1-5)； 所述檢測(cè)子模塊(1-1)，用于將索引視頻進(jìn)行鏡頭檢測(cè)，得到多個(gè)視頻片段，每個(gè)視頻片段分別設(shè)置有視頻片段標(biāo)識(shí)，所述索引視頻設(shè)置有索引視頻標(biāo)識(shí)； 所述關(guān)鍵幀提取子模塊(1-2)，用于對(duì)每個(gè)視頻片段提取關(guān)鍵幀，得到多個(gè)關(guān)鍵幀，每個(gè)關(guān)鍵幀分別設(shè)置有關(guān)鍵幀標(biāo)識(shí)； 所述特征提取子模塊(1-3)，用于該對(duì)每個(gè)關(guān)鍵幀利用特征提取算法進(jìn)行處理，得到一組高維特征向量，每個(gè)高維特征向量均設(shè)置有高維特征向量標(biāo)識(shí)； 所述哈希子模塊(1-4)，用于將每個(gè)高維特征向量分別進(jìn)行哈希處理，得到一組特征標(biāo)簽; 所述關(guān)聯(lián)子模塊(1-5)，用于將每個(gè)特征標(biāo)簽與對(duì)應(yīng)的高維特征向量標(biāo)識(shí)、關(guān)鍵幀標(biāo)識(shí)、視頻片段標(biāo)識(shí)和索引視頻標(biāo)識(shí)進(jìn)行關(guān)聯(lián)，將關(guān)聯(lián)后的所有特征標(biāo)簽存入特征數(shù)據(jù)庫(kù)中。
8.根據(jù)權(quán)利要求6或7所述的基于語(yǔ)義內(nèi)容多層表示的重復(fù)視頻檢測(cè)裝置，其特征在于:所述哈希處理模塊(5)進(jìn)一步包括高維向量子模塊(5-1)，哈希函數(shù)子模塊(5-2)，映射子模塊(5-3)，抽取子模塊(5-4)，多次哈希子模塊(5-5)和多次關(guān)聯(lián)子模塊(5-6); 所述高維向量子模塊(5-1)，用于將每個(gè)查詢高維特征向量利用如下符號(hào)函數(shù)表示:
9.根據(jù)權(quán)利要求6所述的基于語(yǔ)義內(nèi)容多層表示的重復(fù)視頻檢測(cè)裝置，其特征在于:所述特征過(guò)濾模塊(7)進(jìn)一步包括中間存儲(chǔ)子模塊(7-1)，計(jì)算距離子模塊(7-2)，分類統(tǒng)計(jì)子模塊(7-3)和去除子模塊(7-4)； 所述中間存儲(chǔ)子模塊(7-1)，用于在提取查詢關(guān)鍵幀的過(guò)程中，存儲(chǔ)中間結(jié)果作為每個(gè)特征點(diǎn)的位置信息； 所述計(jì)算距離子模塊(7-2)，用于將經(jīng)過(guò)哈希處理得到的每個(gè)查詢特征標(biāo)簽作為一個(gè)特征點(diǎn)，根據(jù)每個(gè)特征點(diǎn)的位置信息計(jì)算每?jī)蓚€(gè)特征點(diǎn)在二維空間里的相對(duì)距離；所述分類統(tǒng)計(jì)子模塊(7-3)，用于根據(jù)查詢關(guān)鍵幀標(biāo)識(shí)進(jìn)行分類統(tǒng)計(jì)，得到在兩個(gè)對(duì)應(yīng)關(guān)鍵幀圖像中所有特征點(diǎn)相對(duì)距離的平均值和標(biāo)準(zhǔn)差； 所述去除子模塊(7-4)，用于將相對(duì)距離超過(guò)平均值并且遠(yuǎn)大于標(biāo)準(zhǔn)差的特征點(diǎn)作為噪聲點(diǎn)去除。
10.根據(jù)權(quán)利要求6所述的基于語(yǔ)義內(nèi)容多層表示的重復(fù)視頻檢測(cè)裝置，其特征在于:所述相似度匹配模塊(8)進(jìn)一步包括遍歷子模塊(8-1 )，相似度子模塊(8-2)和相關(guān)子模塊(8-3)； 所述遍歷子模塊(8-1)，用于根據(jù)查詢關(guān)鍵幀標(biāo)識(shí)將每個(gè)備選特征向量集合中的每個(gè)查詢特征向量進(jìn)行再一次哈希處理，利用線性遍歷查找與查詢關(guān)鍵幀的匹配關(guān)鍵幀:匹配關(guān)鍵幀的數(shù)量超過(guò)預(yù)定閾值的關(guān)鍵幀為匹配關(guān)鍵幀； 所述相似度子模塊(8-2)，用于對(duì)于查詢視頻片段標(biāo)識(shí)的每個(gè)關(guān)鍵幀_/7，與匹配關(guān)鍵幀//的相似度為:
【文檔編號(hào)】G06K9/46GK103617233SQ201310611187
【公開日】2014年3月5日 申請(qǐng)日期:2013年11月26日 優(yōu)先權(quán)日:2013年11月26日
【發(fā)明者】劉大偉, 徐偉 申請(qǐng)人:煙臺(tái)中科網(wǎng)絡(luò)技術(shù)研究所