專利名稱：一種用于網(wǎng)絡(luò)搜索的無標注圖片的排序方法
技術(shù)領(lǐng)域：
本發(fā)明屬于網(wǎng)絡(luò)搜索排序技術(shù)領(lǐng)域，具體涉及一種用于網(wǎng)絡(luò)搜索的無標注圖片的排序方法。
背景技術(shù)：
早在20世紀70年代，各國的科研人員就開始研究如何有效的管理圖像數(shù)據(jù)，當時采用的技術(shù)主要是基于文本的圖像檢索技術(shù)(TBIR)，是指利用手工輸入文本的方式為圖像輸入一系列的關(guān)鍵字，然后將圖像的存儲路徑和圖像關(guān)鍵字之間建立聯(lián)系，圖像檢索實際上變成了文本檢索，這種方法簡單易行，用傳統(tǒng)的關(guān)系數(shù)據(jù)庫就可以實現(xiàn)，但也存在一些缺點，如手工輸入關(guān)鍵字的工作量過大，標識海量圖像數(shù)據(jù)的關(guān)鍵字是不切實際的，而且手工標識不可避免地會帶有個人的主觀性和不確定性，畢竟不同的人對于同一幅圖像的理解可能是不相同的。在本世紀初，網(wǎng)頁信息自動采集和標引作為搜索引擎的重要部分，得到了深入的研究，Google、Yahoo等搜索引擎紛紛推出采用TB^技術(shù)的圖片搜索功能。顯然這種自動標引所采集的圖像標識是很粗糙的，準確性不高，有時甚至是不準確的，會檢索出很多無關(guān)的圖片出來；同時，對于很多符合用戶搜索信息的無文本標注的圖片，搜索引擎是無法對這些圖片進行準確的排序顯示。為了克服基于文本的圖像檢索技術(shù)的局限性，20世紀90年代以來，基于內(nèi)容的圖像檢索技術(shù)(CBIR)得到了極大的發(fā)展。CB^技術(shù)主要是指在圖像處理的基礎(chǔ)上，利用圖像的顏色、形狀、紋理、輪廓以及對象的空間關(guān)系等基本視覺特征進行檢索。與TB^F同的是它利用了圖像本身包含的客觀的視覺特征，能通過計算機自動實現(xiàn)對圖像特征的提取和存儲等，提高了圖像處理速度，有利于實現(xiàn)圖像索引和檢索的自動化實現(xiàn)。目前，已有很多成型的基于CBIR技術(shù)的系統(tǒng)運行，如MTT的Wioto Book和UIUC大學的MARS等。但在實際應用中，用戶通常事先對所需求的圖像只有一些關(guān)于圖像的主觀描述， 用戶需要的是圖像含義的查詢，而不是顏色、紋理、形狀等特征。這些圖像的含義就是圖像的高層語義特征，它包含了人對圖像內(nèi)容的理解。因此，CB^技術(shù)只適用于小環(huán)境下如科研領(lǐng)域數(shù)據(jù)庫的搜索，而并不適用于實際大環(huán)境下如互聯(lián)網(wǎng)的搜索等。

發(fā)明內(nèi)容
針對現(xiàn)有技術(shù)所存在的上述技術(shù)缺陷，本發(fā)明提供了一種用于網(wǎng)絡(luò)搜索的無標注圖片的排序方法，實現(xiàn)了根據(jù)查詢信息對無標注圖片的準確排序，使得用戶可以對無標注圖片進行搜索獲取，且搜索效果好?！N用于網(wǎng)絡(luò)搜索的無標注圖片的排序方法，包括如下步驟(1)根據(jù)給定的查詢信息利用網(wǎng)絡(luò)搜索引擎進行圖片搜索，從搜索結(jié)果中收集排序前M張圖片作為參考圖片；(2)計算出每張參考圖片與查詢信息的相關(guān)度；
(3)計算出參考圖片間的相似度；(4)根據(jù)參考圖片間的相似度，修正每張參考圖片與查詢信息的相關(guān)度，得到每張參考圖片與查詢信息的修正后的相關(guān)度；(5)根據(jù)每張參考圖片與查詢信息的修正后的相關(guān)度，對所述的查詢信息對應的所有無標注圖片進行排序。所述的步驟⑵中，計算每張參考圖片與查詢信息的相關(guān)度的過程如下a.根據(jù)所述的查詢信息利用網(wǎng)絡(luò)搜索引擎進行網(wǎng)頁搜索，從搜索結(jié)果中收集排序前N個網(wǎng)頁作為參考網(wǎng)頁，并記為D1 Dn ；b.對于在N個參考網(wǎng)頁D1 Dn出現(xiàn)過的任一個詞記為w，根據(jù)以下公式統(tǒng)計w 在N個參考網(wǎng)頁D1 Dn中的總出現(xiàn)頻率t (w)，進而計算w的TF-IDF (詞頻逆文頻)系數(shù)
ot(W)；t (w) = Y1A^y2Ai2+. ··+yN/mN(1)ot(w) = t (w)ln (l+N/nw)(2)其中nw為N個參考網(wǎng)頁D1 Dn中含有詞w的網(wǎng)頁個數(shù)…為w在參考網(wǎng)頁Di中的出現(xiàn)次數(shù)，Hii為參考網(wǎng)頁Di中的總詞數(shù)，i = 1，2，...，N;c.對于M張參考圖片G1 (iM中的任一張參考圖片(^.，記參考圖片對應的圖片網(wǎng)頁為GDj ；對于在M個圖片網(wǎng)頁GD1 GDm出現(xiàn)過的任一個詞記為gw，根據(jù)以下公式統(tǒng)計gw 在M個圖片網(wǎng)頁⑶i GDm中的總出現(xiàn)頻率tg(gw)，進而計算gw的TF-IDF系數(shù)otg(gw)；tg(gw) = lg, Jmg^jg Jmg^2+. . . +yg,M/mgjM(3)otg (gw) = tg(gw)ln(l+M/ng,gw)(4)其中ng, m為M個圖片網(wǎng)頁OT1 GDm中含有詞gw的網(wǎng)頁個數(shù)；yg, i為gw在圖片網(wǎng)頁⑶」中的出現(xiàn)次數(shù)，my為圖片網(wǎng)頁⑶」中的總詞數(shù)，j = 1，2，. . .，M ；d.對于N個參考網(wǎng)頁D1 Dn中出現(xiàn)過的任一個詞w與M個圖片網(wǎng)頁⑶工 GDm 中出現(xiàn)過的任一個詞gw，通過語義相關(guān)度量算法，計算彼此之間的語義相關(guān)度，進而得到語義相關(guān)度矩陣T!KQ)，每個語義相關(guān)度值對應為語義相關(guān)度矩陣TH(Q)中的每個元素值，語義相關(guān)度矩陣TH(Q)為U(Q) XV(Q)維矩陣，U(Q)為N個參考網(wǎng)頁D1 Dn中詞的總個數(shù)， V(Q)為M個圖片網(wǎng)頁GD1 GDm中詞的總個數(shù)，Q為查詢信息；e.根據(jù)語義相關(guān)度矩陣TH(Q)，通過公式r(G」，Q) = OT(Q) XTH(Q) XOTg(Q)計算出每張參考圖片與查詢信息Q之間的相關(guān)度r叫，Q)；其中0Τ0 ) = [Ot(W1),...， Ot(Wu(Q))J, OTg(Q) = [ (otjgw》，...，otg(gwv(Q)) ] ο所述的步驟(3)中，計算參考圖片間的相似度的過程如下a.對于M張參考圖片G1 中的任一張參考圖片(^.，通過視覺特征提取算法，提取出中的各個局部視覺特征；其中，每個局部視覺特征ν均為一個二元組v = (C, Des)， C為ν在圖片(ij中覆蓋的圓形區(qū)域，Des為該圓形區(qū)域的特征向量且為一個128維的向量；b.統(tǒng)計G1 &中每一個不同局部視覺特征的出現(xiàn)次數(shù)，僅保留其中出現(xiàn)次數(shù)大于第一閾值的局部視覺特征，第一閾值通常為5 20 ；其中，如果兩個局部視覺特征各自的特征向量之間的歐式距離小于0. 01，則將其視為兩個相同的局部視覺特征；c.對于保留下來的局部視覺特征，判斷局部視覺特征兩兩之間的連通性設(shè)任意兩個保留下來的局部視覺特征分別為vi = (Ci, Desi)和vj = (Cj, Des j)，如果vi與ν j位于同一圖片中且Ci與Cj相交或者存在另一個保留下的局部視覺特征vk = (Ck, Desk) 與vi和vj均位于同一圖片中且Ck與Ci和Cj都相交，則vi與vj連通，否則不連通；d.對于保留下的局部視覺特征，根據(jù)連通性統(tǒng)計連通分支，將每個連通分支記為一個視覺特征簇；與其他局部視覺特征均不連通的單個局部視覺特征，也記為一個視覺特征簇；e.統(tǒng)計G1 &中每一個不同視覺特征簇的出現(xiàn)次數(shù)，僅保留其中出現(xiàn)次數(shù)大于第二閾值的視覺特征簇，第二閾值通常為5 20 ；其中，如果兩個視覺特征簇含有完全一樣的局部視覺特征，則將其視為兩個相同的視覺特征簇；f.對于G1 &中的任意兩張參考圖片‘Gp根據(jù)以下公式計算出它們之間的相似度 S(GpGj)；
權(quán)利要求
1.一種用于網(wǎng)絡(luò)搜索的無標注圖片的排序方法，包括如下步驟(1)根據(jù)給定的查詢信息利用網(wǎng)絡(luò)搜索引擎進行圖片搜索，從搜索結(jié)果中收集排序前 M張圖片作為參考圖片；(2)計算出每張參考圖片與查詢信息的相關(guān)度；(3)計算出參考圖片間的相似度；(4)根據(jù)參考圖片間的相似度，修正每張參考圖片與查詢信息的相關(guān)度，得到每張參考圖片與查詢信息的修正后的相關(guān)度；(5)根據(jù)每張參考圖片與查詢信息的修正后的相關(guān)度，對所述的查詢信息對應的所有無標注圖片進行排序。
2.根據(jù)權(quán)利要求1所述的用于網(wǎng)絡(luò)搜索的無標注圖片的排序方法，其特征在于所述的步驟O)中，計算每張參考圖片與查詢信息的相關(guān)度的過程如下a.根據(jù)所述的查詢信息利用網(wǎng)絡(luò)搜索引擎進行網(wǎng)頁搜索，從搜索結(jié)果中收集排序前N 個網(wǎng)頁作為參考網(wǎng)頁；b.對于在N個參考網(wǎng)頁中出現(xiàn)過的任一個詞記為w，根據(jù)以下公式統(tǒng)計w在N個參考網(wǎng)頁中的總出現(xiàn)頻率，進而計算w的TF-IDF系數(shù)；t(w) = Y1Ai^y2Ai2+. . . +yN/mN(1)ot(w) = t (w)ln (l+N/nw)(2)其中nw為N個參考網(wǎng)頁D1 Dn中含有詞w的網(wǎng)頁個數(shù)；Yi為w在參考網(wǎng)頁Di中的出現(xiàn)次數(shù)，Hii為參考網(wǎng)頁Di中的總詞數(shù)，t(w)為w在N個參考網(wǎng)頁中的總出現(xiàn)頻率，Ot(W) 為 w 的TF-IDF 系數(shù)，i = 1，2，···，N;c.對于在M個圖片網(wǎng)頁出現(xiàn)過的任一個詞記為gw，所述的圖片網(wǎng)頁為參考圖片所對應的網(wǎng)頁，根據(jù)以下公式統(tǒng)計gw在M個圖片網(wǎng)頁中的總出現(xiàn)頻率，進而計算gw的TF-IDF系數(shù)；tg (gw) = yg,i/mg,i+yg,2/mg,2+· · · +yg,i/mg,M ⑶Otg (gw) = tg(gw) In (l+M/ng, gw)(4)其中 , gw為M個圖片網(wǎng)頁GD1 GDm中含有詞gw的網(wǎng)頁個數(shù)；yg, i為gw在圖片網(wǎng)頁 ⑶」中的出現(xiàn)次數(shù)，Higli為圖片網(wǎng)頁⑶」中的總詞數(shù)，tg(gw)為gw在M個圖片網(wǎng)頁中的總出現(xiàn)頻率，Otg (gw)為 gw 的 TF-IDF 系數(shù)，j = 1，2，· · ·，M ；d.對于N個參考網(wǎng)頁中出現(xiàn)過的任一個詞w與M個圖片網(wǎng)頁中出現(xiàn)過的任一個詞gw， 通過語義相關(guān)度量算法，計算彼此之間的語義相關(guān)度，進而得到語義相關(guān)度矩陣；e.根據(jù)語義相關(guān)度矩陣，通過公式r(Gj, Q) = OT(Q) XTH(Q) XOTe⑴)，計算出每張參考圖片與查詢信息之間的相關(guān)度；其中=OT(Q) = [Ot(W1), ···，ot(wu(Q))], OTg(Q)= [(otg(gWl)，...，otg(gwv(Q))]，TH(Q)為語義相關(guān)度矩陣，r (Gj, Q)為任一張參考圖片與查詢信息之間的相關(guān)度為N個參考網(wǎng)頁中詞的總個數(shù)，V(Q)為M個圖片網(wǎng)頁中詞的總個數(shù)。
3.根據(jù)權(quán)利要求1所述的用于網(wǎng)絡(luò)搜索的無標注圖片的排序方法，其特征在于所述的步驟(3)中，計算參考圖片間的相似度的過程如下a.對于M張參考圖片中的任一張參考圖片，通過視覺特征提取算法，提取出任一張參考圖片中的各個局部視覺特征；b.統(tǒng)計M張參考圖片中每一個不同局部視覺特征的出現(xiàn)次數(shù)，僅保留其中出現(xiàn)次數(shù)大于第一閾值的局部視覺特征；c.對于保留下來的局部視覺特征，判斷局部視覺特征兩兩之間的連通性；d.對于保留下的局部視覺特征，根據(jù)連通性統(tǒng)計連通分支，將每個連通分支記為一個視覺特征簇；與其他局部視覺特征均不連通的單個局部視覺特征，也記為一個視覺特征簇；e.統(tǒng)計M張參考圖片中每一個不同視覺特征簇的出現(xiàn)次數(shù)，僅保留其中出現(xiàn)次數(shù)大于第二閾值的視覺特征簇；f.對于M張參考圖片中的任意兩張參考圖片，根據(jù)以下公式計算出它們之間的相似度；
4.根據(jù)權(quán)利要求1所述的用于網(wǎng)絡(luò)搜索的無標注圖片的排序方法，其特征在于所述的步驟中，修正每張參考圖片與查詢信息的相關(guān)度的過程如下a.根據(jù)參考圖片間的相似度，構(gòu)建相似度矩陣；b.根據(jù)以下公式修正每張參考圖片與查詢信息的相關(guān)度；
5.根據(jù)權(quán)利要求1所述的用于網(wǎng)絡(luò)搜索的無標注圖片的排序方法，其特征在于所述的步驟(5)中，對查詢信息對應的所有無標注圖片進行排序的過程如下a.對于M張參考圖片中任一不同視覺特征簇，根據(jù)以下公式計算其相對于任一張參考圖片的TF-IDF系數(shù)；otvp (Gj, vp) = (1+1η(^,νρ))1η(1+Μ/πινρ)(7)其中νρ為任一不同視覺特征簇，t」,vp為vp在參考圖片中出現(xiàn)的次數(shù)，Hlvp為M張參考圖片中含有vp的圖片個數(shù)，otvp(Gj, vp)為vp相對于的TF-IDF系數(shù)；b.對于M張參考圖片中任一不同視覺特征簇，根據(jù)以下公式計算其與查詢信息的相關(guān)度；
全文摘要
本發(fā)明公開了一種用于網(wǎng)絡(luò)搜索的無標注圖片的排序方法，包括(1)根據(jù)查詢信息收集若干張參考圖片；(2)計算每張參考圖片與查詢信息的相關(guān)度；(3)計算參考圖片間的相似度；(4)根據(jù)相似度修正相關(guān)度；(5)根據(jù)修正后的相關(guān)度對無標注圖片進行排序。本發(fā)明利用人工智能相關(guān)技術(shù)，通過查詢信息同時挖掘網(wǎng)頁搜索和圖像搜索結(jié)果，并根據(jù)參考圖片之間的相似度，來估計無標注圖片與查詢信息之間的相關(guān)度進而對無標注圖片進行準確排序，使得用戶可以對無標注圖片進行搜索獲取，且搜索效果好。
文檔編號G06F17/30GK102368266SQ201110322609
公開日2012年3月7日 申請日期2011年10月21日 優(yōu)先權(quán)日2011年10月21日
發(fā)明者劉智滿, 徐頌華, 江浩 申請人:浙江大學