專利名稱：一種用于圖像或視頻搜索重排序的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及面向多媒體信息檢索領(lǐng)域，特別涉及一種用于圖像或視頻搜索重排序的方法。
背景技術(shù)：
隨著信息技術(shù)的快速發(fā)展，圖像和視頻等多媒體數(shù)據(jù)大量涌現(xiàn)，成為人們獲取信息的重要途徑之一。如何從海量的數(shù)據(jù)中快速準(zhǔn)確的獲取用戶所需的信息是一項(xiàng)具有挑戰(zhàn)性的工作。圖像或視頻搜索重排序是根據(jù)初始的基于文本搜索結(jié)果結(jié)合其它的可利用的輔助信息訓(xùn)練排序模型，利用新的排序模型對檢索結(jié)果重新排序的過程，其目的是為了改善檢索的準(zhǔn)確性以提高用戶體驗(yàn)和滿意度。多媒體檢索相關(guān)領(lǐng)域數(shù)據(jù)中存在著大量排序信息。排序信息是指排序?qū)W習(xí)中的訓(xùn)練數(shù)據(jù)集合所提供的可用于學(xué)習(xí)排序模型的監(jiān)督信息，包括數(shù)據(jù)的相關(guān)性等級信息、數(shù)據(jù)的優(yōu)先級關(guān)系信息以及建立其之上的關(guān)系對、關(guān)系序列等信息。利用標(biāo)注信息進(jìn)行圖像或視頻的重排序是目前主要的方法，標(biāo)注信息可以通過人工標(biāo)注、相關(guān)反饋、偽相關(guān)反饋、隱相關(guān)反饋等途徑獲取。在多媒體信息檢索領(lǐng)域中，相關(guān)性等級信息廣泛應(yīng)用于信息檢索中的模型訓(xùn)練中。在大多數(shù)情況下，根據(jù)與查詢的相關(guān)性的高低手動(dòng)地或自動(dòng)地對每個(gè)文檔進(jìn)行不同等級的標(biāo)注，例如“非常相關(guān)”、“一般相關(guān)”和“不相關(guān)”等，這些描述樣本與查詢相關(guān)程度的度量叫做樣本的相關(guān)性等級信息。排序?qū)W習(xí)正是基于這種特殊標(biāo)注的新的研究領(lǐng)域，然而，排序?qū)W習(xí)僅僅是利用機(jī)器學(xué)習(xí)的方法學(xué)習(xí)更有效的排序模型，其側(cè)重點(diǎn)在于學(xué)習(xí)的過程，并沒有考慮到特征維數(shù)約簡的問題。到目前為止，很少有工作把相關(guān)性等級信息用到維數(shù)約減過程中。樣本的相關(guān)性等級信息不同于傳統(tǒng)的類標(biāo)號信息，前者是在信息檢索中用來衡量文檔與查詢之間的相關(guān)程度的度量，后者指的是機(jī)器學(xué)習(xí)與模式識別領(lǐng)域中一類事物的所 共同具有的屬性。例如在傳統(tǒng)的模式分類任務(wù)中，同一類的事物會(huì)具有共同的特征，不同類的事物具有不同的特征。然而，在排序應(yīng)用中，由于樣本按照與查詢相關(guān)的程度分為不同的相關(guān)性等級，這樣即使不同相關(guān)性等級的樣本之間，也可能由于都與查詢相關(guān)而存在不同程度的相關(guān)性，此外具有相同的相關(guān)性等級樣本之間，由于相關(guān)性等級的不同也會(huì)具有不同程度的相關(guān)性或者不具有相關(guān)性。因此相關(guān)性等級信息并不能直接作為樣本的類別標(biāo)號信息對樣本進(jìn)行處理?；诖耍鶕?jù)任意兩個(gè)樣本之間有無相關(guān)性，引入了相關(guān)圖與不相關(guān)圖的概念來表不兩個(gè)樣本之間的關(guān)系。發(fā)明人在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)現(xiàn)現(xiàn)有技術(shù)中存在以下不足現(xiàn)有技術(shù)中的圖像或視頻搜索重排序方法通常對所提取出來的高維特征向量不進(jìn)行維數(shù)約減處理或者進(jìn)行無監(jiān)督的維數(shù)約簡或者將圖像或視頻的相關(guān)性等級信息簡單的作為類別標(biāo)號信息進(jìn)行維數(shù)約簡，然而，由于這些數(shù)據(jù)通常具有高維特性，直接對它們進(jìn)行分析和處理會(huì)導(dǎo)致如下重要問題1)計(jì)算復(fù)雜度高；2)存儲(chǔ)代價(jià)高昂；3)維數(shù)災(zāi)難。這成為嚴(yán)重制約多媒體內(nèi)容分析和檢索領(lǐng)域的關(guān)鍵問題。此外，在圖像或視頻搜索重排序中圖像或視頻的類別標(biāo)號并不能充分準(zhǔn)確地描述圖像與圖像之間，或視頻與視頻之間的關(guān)系，因此直接將圖像或視頻的相關(guān)性等級信息作為類別標(biāo)號信息對數(shù)據(jù)進(jìn)行維數(shù)約簡，使得訓(xùn)練出來的排序模型不夠精確，檢索精度較低，無法滿足實(shí)際應(yīng)用中的需要。

發(fā)明內(nèi)容
本發(fā)明提供了一種用于圖像或視頻搜索重排序的方法，本發(fā)明提高了檢索的精度，滿足了實(shí)際應(yīng)用中的多種需要，詳見下文描述一種用于圖像或視頻搜索重排序的方法，所述方法包括以下步驟
(I)對圖像樣本集合X按照與查詢主題相關(guān)性的程度劃分為三個(gè)等級A、B和C，且A > B > C ；(2)對任意的標(biāo)注圖像樣本組成的樣本對(Xi, Xj)，初始化相關(guān)圖的權(quán)重矩陣to"StXt的零矩陣，根據(jù)相關(guān)組合確定Oi/和的權(quán)重，構(gòu)建相關(guān)圖；(3)對所述任意的標(biāo)注圖像樣本組成的樣本對(Xi, Xj)，初始化不相關(guān)圖的權(quán)重矩陣COu為tXt的零矩陣，根據(jù)不相關(guān)組合確定COi/和的權(quán)重，構(gòu)建不相關(guān)圖；(4)初始化全局圖的權(quán)重矩陣CO為n X n的零矩陣，通過k近鄰圖構(gòu)建全局圖；(5)通過所述相關(guān)圖獲取相關(guān)散度&，所述不相關(guān)圖獲取不相關(guān)散度Su，所述全局圖獲取全局散度St ；(6)通過所述相關(guān)散度Sr、所述不相關(guān)散度Su和所述全局散度St構(gòu)建目標(biāo)函數(shù)，獲取所述圖像樣本的新特征向量；(7)將標(biāo)注圖像樣本的新特征向量作為訓(xùn)練集輸入到訓(xùn)練模型中，獲取訓(xùn)練后排序模型；(8)通過所述訓(xùn)練后排序模型對圖像樣本進(jìn)行排序，輸出排序結(jié)果。在所述對圖像樣本集合X按照與查詢主題相關(guān)性的程度劃分為三個(gè)等級A、B和C的步驟之前，所述方法還包括在搜索引擎中輸入查詢關(guān)鍵詞，獲取基于文本的搜索結(jié)果，從搜索結(jié)果中提取視覺特征組成所述圖像樣本集合X。所述對任意的標(biāo)注圖像樣本組成的樣本對(Xi, Xj)，初始化相關(guān)圖的權(quán)重矩陣OlrStXt的零矩陣，根據(jù)相關(guān)組合確定Oi/和的權(quán)重，構(gòu)建相關(guān)圖具體為I)當(dāng)(Xi，Xj)為AA或BB組合時(shí)，標(biāo)注圖像樣本之間的權(quán)重為％/= /=1 ；2)當(dāng)(Xi，Xj)為AB組合時(shí)，標(biāo)注圖像樣本之間的權(quán)重為％/= /吋(0〈伏1)；3)當(dāng)(Xi，Xj)為BC組合時(shí)，標(biāo)注圖像樣本之間的相似度為h，令；其中，Co J和Co /為權(quán)重矩陣Cor中的任意元素，AA、BB、AB和BC為相關(guān)組合。所述對所述任意的標(biāo)注圖像樣本組成的樣本對(Xi，Xj)，初始化不相關(guān)圖的權(quán)重矩陣為tXt的零矩陣，根據(jù)不相關(guān)組合確定Coi/和的權(quán)重，構(gòu)建不相關(guān)圖具體為I)當(dāng)(Xi，Xj)為AC組合時(shí)，標(biāo)注圖像樣本之間的權(quán)重為；2)當(dāng)(Xi，Xj)為CC組合時(shí)，標(biāo)注圖像樣本之間的權(quán)重為；其中，Coi/和為權(quán)重矩陣中的任意元素；AC和CC為不相關(guān)性組合。所述初始化全局圖的權(quán)重矩陣《為nXn的零矩陣,通過k近鄰圖構(gòu)建全局圖具體為I)建立圖像樣本的k近鄰圖；2)如果圖像樣本Xi是圖像樣本Xj的k近鄰或者圖像樣本Xj是圖像樣本Xi的k近鄰，則計(jì)算圖像樣本Xi與圖像樣本&之間的相似度S，對權(quán)重矩陣O賦值并令COu = Wji=S ;其中，COij和COji為權(quán)重矩陣CO中的任意元素。
權(quán)利要求
1.一種用于圖像或視頻搜索重排序的方法，其特征在于，所述方法包括以下步驟 (1)對圖像樣本集合X按照與查詢主題相關(guān)性的程度劃分為三個(gè)等級A、B和C，且A>B > C ； (2)對任意的標(biāo)注圖像樣本組成的樣本對(Xi，Xj)，初始化相關(guān)圖的權(quán)重矩陣V為tXt的零矩陣，根據(jù)相關(guān)組合確定Coi/和的權(quán)重，構(gòu)建相關(guān)圖； (3)對所述任意的標(biāo)注圖像樣本組成的樣本對(Xi，Xj)，初始化不相關(guān)圖的權(quán)重矩陣 uStXt的零矩陣，根據(jù)不相關(guān)組合確定COi/和的權(quán)重，構(gòu)建不相關(guān)圖； (4)初始化全局圖的權(quán)重矩陣《SnXn的零矩陣，通過k近鄰圖構(gòu)建全局圖； (5)通過所述相關(guān)圖獲取相關(guān)散度&，所述不相關(guān)圖獲取不相關(guān)散度Su，所述全局圖獲取全局散度St ； (6)通過所述相關(guān)散度&、所述不相關(guān)散度Su和所述全局散度St構(gòu)建目標(biāo)函數(shù)，獲取所述圖像樣本的新特征向量； (7)將標(biāo)注圖像樣本的新特征向量作為訓(xùn)練集輸入到訓(xùn)練模型中，獲取訓(xùn)練后排序模型； (8)通過所述訓(xùn)練后排序模型對圖像樣本進(jìn)行排序，輸出排序結(jié)果。
2.根據(jù)權(quán)利要求I所述的一種用于圖像或視頻搜索重排序的方法，其特征在于，在所述對圖像樣本集合X按照與查詢主題相關(guān)性的程度劃分為三個(gè)等級A、B和C的步驟之前，所述方法還包括 在搜索引擎中輸入查詢關(guān)鍵詞，獲取基于文本的搜索結(jié)果，從搜索結(jié)果中提取視覺特征組成所述圖像樣本集合X。
3.根據(jù)權(quán)利要求2所述的一種用于圖像或視頻搜索重排序的方法，其特征在于，所述對任意的標(biāo)注圖像樣本組成的樣本對(Xi，\)，初始化相關(guān)圖的權(quán)重矩陣Qlr為tXt的零矩陣，根據(jù)相關(guān)組合確定Oi/和的權(quán)重，構(gòu)建相關(guān)圖具體為 1)當(dāng)(Xi,Xj)為AA或BB組合時(shí),標(biāo)注圖像樣本之間的權(quán)重為； 2)當(dāng)(Xi,Xj)為AB組合時(shí)，標(biāo)注圖像樣本之間的權(quán)重為0^/= /=丨(0〈丨〈1)； 3)當(dāng)(Xi，Xj)為BC組合時(shí)，標(biāo)注圖像樣本之間的相似度為h，令％/= /=}!； 其中，Coi/和為權(quán)重矩陣《 ^中的任意元素，AA、BB、AB和BC為相關(guān)組合。
4.根據(jù)權(quán)利要求3所述的一種用于圖像或視頻搜索重排序的方法，其特征在于，所述對所述任意的標(biāo)注圖像樣本組成的樣本對(Xi，\)，初始化不相關(guān)圖的權(quán)重矩陣《uStXt的零矩陣，根據(jù)不相關(guān)組合確定和的權(quán)重，構(gòu)建不相關(guān)圖具體為 1)當(dāng)(Xi，Xj)為AC組合時(shí)，標(biāo)注圖像樣本之間的權(quán)重為WijU=OjiU=I; 2)當(dāng)(Xi，Xj)為CC組合時(shí)，標(biāo)注圖像樣本之間的權(quán)重為WijU=OjiU=I; 其中，Coi/和為權(quán)重矩陣中的任意元素；AC和CC為不相關(guān)性組合。
5.根據(jù)權(quán)利要求4所述的一種用于圖像或視頻搜索重排序的方法，其特征在于，所述初始化全局圖的權(quán)重矩陣《 SnXn的零矩陣，通過k近鄰圖構(gòu)建全局圖具體為 1)建立圖像樣本的k近鄰圖；2)如果圖像樣本Xi是圖像樣本Xj的k近鄰或者圖像樣本Xj是圖像樣本Xi的k近鄰，則計(jì)算圖像樣本Xi與圖像樣本Xj之間的相似度S,對權(quán)重矩陣CO賦值并令Wij=Wji=S ;其中，(0〃和為權(quán)重矩陣CO中的任意元素。
6.根據(jù)權(quán)利要求5所述的一種用于圖像或視頻搜索重排序的方法，其特征在于，
7.根據(jù)權(quán)利要求6所述的一種用于圖像或視頻搜索重排序的方法，其特征在于，所述目標(biāo)函數(shù)具體為
全文摘要
本發(fā)明公開了一種用于圖像或視頻搜索重排序的方法，涉及面向多媒體信息檢索領(lǐng)域，對圖像樣本集合按照與查詢主題相關(guān)性的程度劃分為三個(gè)等級A、B和C；構(gòu)建相關(guān)圖、不相關(guān)圖和全局圖；獲取相關(guān)散度，不相關(guān)散度和全局散度；通過相關(guān)散度、不相關(guān)散度和全局散度構(gòu)建目標(biāo)函數(shù)，獲取圖像樣本的新特征向量；將標(biāo)注圖像樣本的新特征向量作為訓(xùn)練集輸入到訓(xùn)練模型中，獲取訓(xùn)練后排序模型；通過訓(xùn)練后排序模型對圖像樣本進(jìn)行排序，輸出排序結(jié)果。本發(fā)明設(shè)計(jì)了一種適用于多媒體檢索中與排序相關(guān)領(lǐng)域的維數(shù)約減方法，使之在有限的監(jiān)督信息的前提下，充分地利用數(shù)據(jù)的特有性質(zhì)，能夠有效地利用少量的標(biāo)注提高排序性能，提高了搜索精度。
文檔編號G06F17/30GK102750347SQ20121018848
公開日2012年10月24日 申請日期2012年6月8日 優(yōu)先權(quán)日2012年6月8日
發(fā)明者井佩光, 冀中, 蘇育挺 申請人:天津大學(xué)