基于比特向量的多媒體信息檢索方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于比特向量的多媒體信息檢索方法和系統(tǒng)，所述方法包括：提取當(dāng)前多媒體信息的特征數(shù)據(jù)后，得到當(dāng)前多媒體信息的n維的高維特征向量；將n維的高維特征向量通過投影矩陣變換后得到m維的中間向量；將m維的閾值向量的各元素分別與中間向量的相應(yīng)元素進(jìn)行比較，根據(jù)比較結(jié)果對中間向量進(jìn)行二值化，得到當(dāng)前多媒體信息的m維的比特向量；其中，m小于n；根據(jù)得到的比特向量，在多媒體特征數(shù)據(jù)庫中查找出與該比特向量相似的比特向量，將查找出的比特向量所對應(yīng)的多媒體信息作為檢索結(jié)果輸出。該方法保證了原有向量識(shí)別能力，將多媒體信息的高維特征向量映射為低維的比特向量后，使得基于比特向量的檢索效率更高、檢索消耗更小。
【專利說明】基于比特向量的多媒體信息檢索方法和系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，尤其涉及一種基于比特向量的多媒體信息檢索方法和系統(tǒng)。
【背景技術(shù)】
[0002]近年來，隨著多媒體技術(shù)和計(jì)算機(jī)技術(shù)的飛速發(fā)展、大規(guī)模的多媒體信息越來越多地出現(xiàn)在眾多的研究和應(yīng)用領(lǐng)域。為了使這些龐雜的數(shù)據(jù)中所包含的信息能夠得到有效地訪問和利用，傳統(tǒng)的基于文本的檢索技術(shù)已經(jīng)無法滿足用戶日益增長的需求，基于內(nèi)容的檢索技術(shù)便應(yīng)運(yùn)而生。
[0003]基于內(nèi)容的檢索方法需要先提取出多媒體的特征數(shù)據(jù)建立特征數(shù)據(jù)庫，然后將對多媒體信息的檢索轉(zhuǎn)換為對特征數(shù)據(jù)的近鄰檢索。對于大規(guī)模多媒體信息而言，其特征數(shù)據(jù)也是大規(guī)模的。這就需要有與特征數(shù)據(jù)相對應(yīng)的合適的索引方法來組織特征數(shù)據(jù)，加快檢索的速度。
[0004]然而，多媒體信息的特征數(shù)據(jù)往往是高維的向量數(shù)據(jù)(簡稱高維特征向量)，傳統(tǒng)的適應(yīng)于低維數(shù)據(jù)的索引機(jī)制難以適應(yīng)于基于內(nèi)容檢索的要求，這也就是通常所說的高維數(shù)據(jù)的索引維數(shù)災(zāi)難現(xiàn)象。也就是說，基于高維特征向量實(shí)現(xiàn)多媒體信息的檢索將耗費(fèi)巨大的檢索資源、消耗很大，效率低下。
[0005]為解決上述問題，現(xiàn)有技術(shù)的方法，如相似敏感哈希(Similarity SensitiveHash, SSH)、局部敏感哈希(Locality Sensitive Hash, LSH)方法,通過將高維特征向量映射為低維的比特向量，從而利用基于比特向量的相似度量方法和高效索引方法來加快高維特征向量的檢索速度，從而提高多媒體信息的檢索效率。然而，現(xiàn)有技術(shù)的方法易造成相似的高維特征向量(即同類的高維特征向量)被映射為不相似的比特向量，不相似的高維特征向量(即非同類的高維特征向量)被映射為相似的比特向量，導(dǎo)致進(jìn)行多媒體信息檢索時(shí)，多媒體信息的高維特征向量映射為比特向量后，具有較大的錯(cuò)誤匹配率，使得原有向量的識(shí)別能力下降。
[0006]因此，有必要提供一種基于比特向量的多媒體信息檢索方法，在保證原有向量識(shí)別能力的情況下，將多媒體信息的高維特征向量映射為低維的比特向量，以使得基于比特向量的多媒體信息的檢索效率相比于基于高維特征向量的多媒體信息的檢索效率更高，減小檢索消耗，并降低基于比特向量的多媒體信息的檢索的錯(cuò)誤匹配率。

【發(fā)明內(nèi)容】

[0007]針對上述現(xiàn)有技術(shù)存在的缺陷，本發(fā)明提供了一種基于比特向量的多媒體信息檢索方法和系統(tǒng)，用以在保證原有向量識(shí)別能力的情況下，將多媒體信息的高維特征向量映射為低維的比特向量后，使得基于比特向量的檢索效率更高、檢索消耗更小。
[0008]根據(jù)本發(fā)明的一個(gè)方面，提供了一種基于比特向量的多媒體信息檢索方法，包括:[0009]提取當(dāng)前多媒體信息的特征數(shù)據(jù)后，得到所述當(dāng)前多媒體信息的η維的高維特征向量，記為 XCx1, χ2,..., χη)；
[0010]將高維特征向量X(Xl，χ2,..., χη)通過投影矩陣P變換后得到m維的中間向量
W (W1, W2, , wm)；
[0011]將m維的閾值向量的各元素分別與所述中間向量的相應(yīng)元素進(jìn)行比較，根據(jù)比較結(jié)果對所述中間向量進(jìn)行二值化，得到所述當(dāng)前多媒體信息的m維的比特向量；其中，m小于η ；
[0012]根據(jù)得到的比特向量，在多媒體特征數(shù)據(jù)庫中查找出與該比特向量相似的比特向量，將查找出的比特向量所對應(yīng)的多媒體信息作為檢索結(jié)果輸出；
[0013]其中，所述投影矩陣P為mXn的矩陣，并滿足以下條件:對于資料庫中存儲(chǔ)的各已分類的多媒體信息的高維特征向量，其中同類的高維特征向量經(jīng)過P變換后的向量間距離期望值，與不同類的高維特征向量經(jīng)過P變換后的向量間距離期望值的差值最??；
[0014]所述閾值向量滿足以下條件:對于所述資料庫中存儲(chǔ)的各多媒體信息的高維特征向量，其中同類的高維特征向量經(jīng)過P變換、并經(jīng)過所述閾值向量比較、二值化后的向量間距離期望值，與不同類的高維特征向量經(jīng)過P變換、并經(jīng)過所述閾值向量比較、二值化后的向量間距離期望值的差值最小。
[0015]較佳地，在所述提取當(dāng)前多媒體信息的特征數(shù)據(jù)之前，還包括:
[0016]通過所述資料庫中存儲(chǔ)的多媒體信息訓(xùn)練出所述投影矩陣P:
[0017]對于所述資料庫中存儲(chǔ)的多媒體信息，將其中任意一對同類的多媒體信息的高維特征向量作為一個(gè)集合元素，存儲(chǔ)到同類樣本集合中；并
[0018]將其中任意一對不同類的多媒體信息的高維特征向量作為一個(gè)集合元素，存儲(chǔ)到非同類樣本集合中；
[0019]構(gòu)建出使得如下公式I中￡最小的投影矩陣P:
[0020]
【權(quán)利要求】
1.一種基于比特向量的多媒體信息檢索方法，其特征在于，包括: 提取當(dāng)前多媒體信息的特征數(shù)據(jù)后，得到所述當(dāng)前多媒體信息的η維的高維特征向里，記為 X (X” 叉2，...，Xn); 將高維特征向量X（X1，X2，...Xn）通過投影矩陣P變換后得到m維的中間向量W (W1, W2, , wm)； 將m維的閾值向量的各元素分別與所述中間向量的相應(yīng)元素進(jìn)行比較，根據(jù)比較結(jié)果對所述中間向量進(jìn)行二值化，得到所述當(dāng)前多媒體信息的m維的比特向量；其中，m小于η ; 根據(jù)得到的比特向量，在多媒體特征數(shù)據(jù)庫中查找出與該比特向量相似的比特向量，將查找出的比特向量所對應(yīng)的多媒體信息作為檢索結(jié)果輸出； 其中，所述投影矩陣P為mXη的矩陣，并滿足以下條件:對于資料庫中存儲(chǔ)的各已分類的多媒體信息的高維特征向量，其中同類的高維特征向量經(jīng)過P變換后的向量間距離期望值，與不同類的高維特征向量經(jīng)過P變換后的向量間距離期望值的差值最?。? 所述閾值向量滿足以下條件:對于所述資料庫中存儲(chǔ)的各多媒體信息的高維特征向量，其中同類的高維特征向量經(jīng)過P變換、并經(jīng)過所述閾值向量比較、二值化后的向量間距離期望值，與不同類的高維特征向量經(jīng)過P變換、并經(jīng)過所述閾值向量比較、二值化后的向量間距離期望值的差值最小。
2.如權(quán)利要求1所述的方法，其特征在于，在所述提取當(dāng)前多媒體信息的特征數(shù)據(jù)之前，還包括: 通過所述資料庫中存儲(chǔ)的多媒體信息訓(xùn)練出所述投影矩陣P: 對于所述資料庫中存儲(chǔ)的多媒體信息，將其中任意一對同類的多媒體信息的高維特征向量作為一個(gè)集合元素，存儲(chǔ)到同類樣本集合中；并 將其中任意一對不同類的多媒體信息的高維特征向量作為一個(gè)集合元素，存儲(chǔ)到非同類樣本集合中； 構(gòu)建出使得如下公式I中i最小的投影矩陣P:
3.如權(quán)利要求2所述的方法，其特征在于，所述構(gòu)建出使得如下公式I中I最小的投影矩陣P，具體包括: 求取矩陣Σ。的m個(gè)最小的η維矩陣特征向量；其中，
4.如權(quán)利要求2所述的方法，其特征在于，在所述通過所述資料庫中存儲(chǔ)的多媒體信息訓(xùn)練出所述投影矩陣P后，還包括: 計(jì)算出使得如下公式4中L最小的m維向量，記為U(Ul，U2,, uffl)，并作為所述閾值向量:
L=E {sign (PX+U) Tsign (PX' +U) R} - a E {sign (PX+U) Tsign (PX，+U) Q}(公式 4) 其中，E{sign(PX+U)Tsign(PX’+U) Q}表示所述Q中同類的高維特征向量經(jīng)過P變換、并經(jīng)過所述閾值向量比較確定正負(fù)符號后，得到的符號向量之間的距離的均值；E {sign (PX+U)Tsign (PX' +U) R}表示所述R中不同類的高維特征向量經(jīng)過P變換、并經(jīng)過所述閾值向量比較確定正負(fù)符號后，得到的符號向量之間的距離的均值。
5.如權(quán)利要求2所述的方法，其特征在于，在所述通過所述資料庫中存儲(chǔ)的多媒體信息訓(xùn)練出所述投影矩陣P后，還包括: 計(jì)算出使得如下公式4中L最小的m維向量，記為U (U1, U2,, Uffl):
6.如權(quán)利要求4或5所述的方法，其特征在于，所述計(jì)算出使得如下L最小的m維向量，具體包括: 求取使得如下表達(dá)式7最小的Ui值；其中，i為I?m的自然數(shù)；
7.一種基于比特向量的多媒體信息檢索系統(tǒng)，其特征在于，包括:比特向量轉(zhuǎn)換模塊，用于提取當(dāng)前多媒體信息的特征數(shù)據(jù)后，得到所述當(dāng)前多媒體信息的η維的高維特征向量,記為XU1, X2,, χη);將高維特征向量XU1, χ2,, χη)通過投影矩陣P變換后得到m維的中間向量W(Wl，w2，...,Wffl)后，將m維的閾值向量的各元素分別與所述中間向量的相應(yīng)元素進(jìn)行比較，根據(jù)比較結(jié)果對所述中間向量進(jìn)行二值化，得到所述當(dāng)前多媒體信息的m維的比特向量；其中，m小于η ； 檢索模塊，用于根據(jù)所述比特向量轉(zhuǎn)換模塊得到的當(dāng)前多媒體信息的比特向量，在多媒體特征數(shù)據(jù)庫中查找出與該比特向量相似的比特向量，將查找出的比特向量所對應(yīng)的多媒體信息作為檢索結(jié)果輸出； 其中，所述投影矩陣P為mX η的矩陣，并滿足以下條件:對于資料庫中存儲(chǔ)的各已分類的多媒體信息的高維特征向量，其中同類的高維特征向量經(jīng)過P變換后的向量間距離期望值，與不同類的高維特征向量經(jīng)過P變換后的向量間距離期望值的差值最??； 所述閾值向量滿足以下條件:對于所述資料庫中存儲(chǔ)的各多媒體信息的高維特征向量，其中同類的高維特征向量經(jīng)過P變換、并經(jīng)過所述閾值向量比較、二值化后的向量間距離期望值，與不同類的高維特征向量經(jīng)過P變換、并經(jīng)過所述閾值向量比較、二值化后的向量間距離期望值的差值最小。
8.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述比特向量轉(zhuǎn)換模塊具體包括: 高維特征向量確定單元，用于提取當(dāng)前多媒體信息的特征數(shù)據(jù)后，得到所述當(dāng)前多媒體信息的η維的高維特征向量,記為XU1, X2,..., χη)； 中間向量計(jì)算單元，用于將所述高維特征向量確定單元得到的高維特征向量X (X1, X2,..., χη)通過投影矩陣P變換后得到m維的中間向量W(W1, W2,, wm)； 閾值比較單元，用于將m維的閾`值向量的各元素分別與所述中間向量計(jì)算單元得到的中間向量的相應(yīng)元素進(jìn)行比較，根據(jù)比較結(jié)果對所述中間向量進(jìn)行二值化，得到所述當(dāng)前多媒體信息的m維的比特向量；其中，m小于η。
9.如權(quán)利要求8所述的系統(tǒng)，其特征在于，還包括: 投影矩陣構(gòu)建模塊，用于通過所述資料庫中存儲(chǔ)的多媒體信息訓(xùn)練出所述投影矩陣P:對于所述資料庫中存儲(chǔ)的多媒體信息，將其中任意一對同類的多媒體信息的高維特征向量作為一個(gè)集合元素，存儲(chǔ)到同類樣本集合中；并將其中任意一對不同類的多媒體信息的高維特征向量作為一個(gè)集合元素，存儲(chǔ)到非同類樣本集合中；構(gòu)建出使得如下公式I中￡最小的投影矩陣P: L = αΕ{||ΡΧ-PX'f \Q}-E{\\PX-FZf \R}(公式 I) 其中，Q為所述同類樣本集合；R為所述非同類樣本集合；e{| Ipx-px' I I2IqI表示所述Q中同類的高維特征向量經(jīng)過P變換后的向量間距離期望值；E{| IPX-PX' I I2Iri表示所述R中不同類的高維特征向量經(jīng)過P變換后的向量間距離期望值；α為設(shè)定的權(quán)值； 第一閾值向量確定模塊，用于計(jì)算出使得如下公式4中L最小的m維向量，記為U (U1, U2,, um),并作為所述閾值向量:
L=E {sign (PX+U) Tsign (PX' +U) R} - a E {sign (PX+U) Tsign (PX' +U) Q}(公式 4) 其中，E{sign(PX+U)Tsign(PX’+U) Q}表示所述Q中同類的高維特征向量經(jīng)過P變換、并經(jīng)過所述閾值向量比較確定正負(fù)符號后，得到的符號向量之間的距離的均值；E{sign(PX+U)Tsign(PX’ +U) R}表示所述R中不同類的高維特征向量經(jīng)過P變換、并經(jīng)過所述閾值向量比較確定正負(fù)符號后，得到的符號向量之間的距離的均值。
10.如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述第一閾值向量確定模塊具體包括:最小值計(jì)算單元，用于求取使得如下表達(dá)式7最小的Ui值；其中，i為I-m的自然數(shù)；E {sign ((PiVui) (PiY+Ui)) R} - a E {sign ((PiVui)T (Pi1X' +Ui)) Q}(表達(dá)式 7)其中，PiT為所述投影矩陣P的第i行向量叫為U(Ul，U2,, uffl)的第i個(gè)元素；向量組成單元，用于將所述最小值計(jì)算單元得到的U1-Um組成所述m維向量U (u1； U2,, um),作為所述閾值向量。
11.如權(quán)利要求8所述的系統(tǒng)，其特征在于，還包括: 投影矩陣構(gòu)建模塊，用于通過所述資料庫中存儲(chǔ)的多媒體信息訓(xùn)練出所述投影矩陣P:對于所述資料庫中存儲(chǔ)的多媒體信息，將其中任意一對同類的多媒體信息的高維特征向量作為一個(gè)集合元素，存儲(chǔ)到同類樣本集合中；并將其中任意一對不同類的多媒體信息的高維特征向量作為一個(gè)集合元素，存儲(chǔ)到非同類樣本集合中；構(gòu)建出使得如下公式I中￡最小的投影矩陣P:
12.如權(quán)利要求11所述的系統(tǒng)，其特征在于，所述第二閾值向量確定模塊具體包括:最小值計(jì)算單元，用于求取使得如下表達(dá)式7最小的Ui值；其中，i為I-m的自然數(shù)；E {sign ((PiVui) (PiY+Ui)) R} - a E {sign ((PiVui)T (Pi1X' +Ui)) Q}(表達(dá)式 7)其中，PiT為所述投影矩陣P的第i行向量叫為U(Ul，U2,, uffl)的第i個(gè)元素；向量優(yōu)化單元，用于對IKUyU2,..., um)的元素Ui進(jìn)行優(yōu)化:對于所述閾值向量U的元素Ui,利用如下公式5和公式6，求取使得FN(Ui) + a XFP(Ui)最小的Ui值，作為優(yōu)化后的Ui值；
FN(Ui) =Pr (min {z, z，} ≤ Ui or ≤max {ζ, ζ'} <Uj | Q) (公式 5)
FP (Ui) =Pr (min {ζ, ζ'} <Uj≤ max {ζ, ζ，} R)(公式 6 ) 所述公式5中，(min{z, ζ’ } ≤ Ui or ≤max{z, z，KuiIQ)中的z和z，表示所述Q中任意一個(gè)集合元素中的一對同類的高維特征向量X和X’分別經(jīng)過所述投影矩陣P變換后得到的向量的第i個(gè)元素，Pr (min {z, z’} ≤ Ui or≤max {ζ, ζ’}〈七| Q)表示對于所述Q中的集合元素，Ui滿足如下條件:min{z, z’} ≥ Ui or ≤ max{z, z，Kui的概率； 所述公式6中,(min{z, z，} <Uj ( max{z, ζ，} | R)中的ζ和ζ，表示所述R中任意一個(gè)集合元素中的一對同類的高維特征向量X和X’分別經(jīng)過所述投影矩陣P變換后得到的向量的第i個(gè)元素，Pr (min {ζ, z’ Kui ( max{z, ζ’} |R)表示對于所述R中的集合元素，Ui滿足如下條件:min{z, z’} ≥ Ui or ≤ max{z, z，Kui 的概率； 向量組成單元，用于將所述向量優(yōu)化單元優(yōu)化后的U1?Um組成所述閾值向量。
13.如權(quán)利要求7-12任一所述的系統(tǒng)，其特征在于，所述投影矩陣構(gòu)建模塊具體包括: 最小矩陣特征向量計(jì)算單元，用于求取矩陣Σ,的m個(gè)最小的η維矩陣特征向量；其中，
【文檔編號】G06F17/30GK103440292SQ201310359716
【公開日】2013年12月11日 申請日期:2013年8月16日 優(yōu)先權(quán)日:2013年8月16日
【發(fā)明者】劉潔 申請人:新浪網(wǎng)技術(shù)(中國)有限公司