專利名稱：：海量跨媒體索引方法
技術領域：
：本發(fā)明涉及數(shù)據(jù)庫與多媒體領域，尤其涉及一種海量跨媒體索引方法。
背景技術：
：隨著Internet和多媒體技術的不斷發(fā)展，特別是近幾年來，Internet上多媒體信息的爆炸性增長，基于內容的海量多媒體檢索和索引[1]已成為一個熱門的研究領域.在這些海量的多媒體信息當中，不同模態(tài)媒體對象之間往往存在某種語義相關性，如圖1所示，“老虎”的圖片對應“老虎”的音頻和視頻等.傳統(tǒng)的多媒體檢索都是針對單一模態(tài)媒體對象，如基于內容的圖像[4]、音頻[5]和視頻[6]檢索等.較少有文獻系統(tǒng)地研究基于多模態(tài)多媒體信息的交叉檢索，即通過一種模態(tài)的媒體對象檢索出另外一種或幾種基于相同語義的不同模態(tài)的媒體對象.早在1976年，麥格克就已經(jīng)揭示了人腦對外界信息的認知需要跨越和綜合不同的感官信息，以形成整體性的理解[2]。同時認知神經(jīng)心理學方面的研究也進一步驗證了人腦的認知過程呈現(xiàn)出跨媒體的特性[3]，即對來自視覺、聽覺等不同感官的信息相互刺激、共同作用而產生認知結果。我們將這類檢索稱之為跨媒體檢索[7][8]，它作為一種新興的多媒體檢索方式正越來越受到國內外學術界的關注.跨媒體也可以看作一種由各種基于相同語義媒體對象構成的復雜媒體類型，顯然對它提取的特征是高維的。而高維相似性檢索是一種CPU密集性的運算。如何利用索引技術來加快海量跨媒體檢索是一個很重要的課題。自從90年代早期以來，基于內容的多媒體檢索已經(jīng)成為一個非?；钴S的研究領域。其中最有代表性是基于內容的圖像檢索(CBIR)，如QBICm，VirageM，Ph0t0b00k[1°]和MARS[11]等.基于內容的視頻分析與檢索系統(tǒng)包括CMU的Informedia。然而這些檢索系統(tǒng)都只是針對單一模態(tài)的媒體對象檢索。隨著互聯(lián)網(wǎng)及多媒體技術的飛速發(fā)展，互聯(lián)網(wǎng)中的許多不同模態(tài)的媒體對象呈現(xiàn)相同的語義特性，因此需要設計一種支持多模態(tài)檢索的方法，實現(xiàn)從一種模態(tài)的媒體對象檢索出另一種模態(tài)的媒體對象的功能。文獻[13]針對圖片的視覺和語義特征，提出了一種混合的索引方式，將兩種模態(tài)的特征信息采用同一個索引進行表示，但其適用性非常有限，不支持多種模態(tài)媒體對象的索引表達。高維索引技術經(jīng)歷了20多年的研究[7]，采用的技術主要分為三類第一類是基于數(shù)據(jù)和空間分片的樹形索引，如R_tree[8]及其變種[9，10]等。但是這些樹形索引方法只適合維數(shù)較低的情況，隨著維數(shù)的增加，其索引的性能往往劣于順序檢索，并且維數(shù)一旦增加，其查詢覆蓋區(qū)域增長很快，導致查詢速度的急劇下降，產生“維數(shù)災難"；第二類是采用近似的方法來表示原始向量，如VA-file[ll]和IQ-tree[12]等。該類方法的基本思想是通過對高維點數(shù)據(jù)進行壓縮和近似存儲來加速順序查找速度。然而數(shù)據(jù)壓縮和量化帶來的信息丟失使得其首次過濾后的查詢精度并不令人滿意。同時盡管減少了磁盤的IO次數(shù)，但由于需要對位串解碼同時計算對查詢點距離的上界和下界，導致很高的CPU運算代價；最后一類是通過將高維數(shù)據(jù)轉化為一維數(shù)據(jù)來進行高維查詢，包括NB-Tree[13]和!Distance[14]等。NB-Tree通過計算高維空間的每個點與原點0(0，0...0)的尺度距離，將高維數(shù)據(jù)點映射到一維空間，然后將這些距離值用B+樹建立索引，從而將高維查詢轉變?yōu)橐痪S空間的范圍查詢。盡管它能夠快速得到結果，但是由于它不能有效的縮減查詢空間，特別是當維數(shù)很高時，范圍查詢效率急劇惡化。NB-Tree是一種基于單參考點的方法，!Distance是基于多參考點的方法，通過引入多參考點并結合聚類的方法有效地縮減了高維數(shù)據(jù)空間的搜索范圍，提高了查詢精度，然而其查詢效率很大程度上取決于參考點的選取并且依賴數(shù)據(jù)聚類和分片。同時由于iDistance在對高維數(shù)據(jù)映射到一維距離時不可避免存在信息丟失，導致查詢精度不是非常理想。最壞的情況下，查詢空間幾乎會覆蓋整個高維空間。1ZhuangYue-Ting,PanYun-He,WuFei，Web-basedMultimediaAnalysisandRetrieval.TsinghuaPress.2002.8.2H.McGurk,J.MacDonald.HearingLipsandSeeingVoices.Nature,1976.264746-7483A.Calvert.Cross-ModalProcessingintheHumanBrain:InsightsfromFunctionalNeuronImagingStudies，CerebralCortex,11(12):1120_1123，2001.4MFlicker，HarpreetSawhney,WayneNiblack，JonathanAshley.QuerybyimageandvideocontentTheQBICSystem,IEEEComputer，19955ZhaoXueyaniZhuangYuetingiLiuJunwei，etal.Audioretrievalwithfastrelevancefeedbackbasedontheconstrainedfuzzyclusteringandstoredindextable.InProc.ofPCM'02.2002.237-244.6VideoRetrievalwiththeInformediaDigitalVideoLibrarySystemHauptmann，A.，Thornton,S·，Qi，Y·，Papernick，N.，Ng,Τ.D.，Jin,R.，Houghton,R.，ProceedingsoftheTenthTextRetrievalConference(TREC'01)，Gaithersburg，Maryland,November13-16，20017FeiWu，HongZhang，YuetingZhuang，LearningSemanticCorrelationsforCrossMediaRetrieval,InProc.ICIP20068FeiWu,YiYang，YuetingZhuang,andYunhePan,UnderstandingMultimediaDocumentSemanticsforCross-MediaRetrieval,InProc.PCM2005,993-100429VirageInc.，www.viraRe.com，200510APentland，R.W.PicardandS.Sclarof.PhotobookContent-basedmanipulationofimagedatabases.Int.J.ComputerVision，1996，18(3)，233-25411SharadMehrotra，YongRui，KaushikChakrabarti，MichaelOrtega，andThomasS.Huang,“MultimediaAnalysisandRetrievalSystem“，inProc.ofthe3rdInt.WorkshoponMultimediaInformationSystems，Como，Italy，September25—27，1997.12J.Yang，Q.LiandY.Zhuang,“OCTOPUS:AggressiveSearchofMulti-ModalityDataUsingMultifacetedKnowledgeBase"，Proc.IlthInt'1Conf.onWorldWideWeb，Hawaii，USA，May200213HengTaoShen，XiaofangZhouandBinCui.”IndexingandIntegratingMultipleFeaturesforWWWimages".WorldWideWeb(WWW),9(3):343_364，2006.614ChristianBohm,StefanBerchtold,DanielKeimSearchinginHigh-dimensionalSpaces:IndexStructuresforImprovingthePerformanceofMultimediaDatabases,ACMComputingSurveys33(3),2001.15A.Guttman,R-tree:Adynamicindexstructureforspatialsearching,InProc.oftheACMSIGMODInt.Conf.onManagementofData,1984,pp.47-54.16R.Weber,H.Schek,andS.Blott.Aquantitativeanalysisandperformancestudyforsimilarity-searchmethodsinhigh-dimensionalspaces.InProc.24thInt.Conf.onVeryLargeDataBases,1998,pp.194-205.17H.V.Jagadish,B.C.Ooi,K.L.Tan,C.Yu,R.Zhang:iDistance:AnAdaptiveB+-treeBasedIndexingMethodforNearestNeighborSearch.ACMTransactionsonDataBaseSystems，30，2，364-397，June2005.18T.Zhang,R.RamakrishnanandM.Livny.BIRCH:Anefficientdataclusteringmethodforverylargedatabases.InProc.ACMSIGMOD'96,103-114,1996.19WuYi,ZhuangY-T,PanY-H.RelevanceFeedbackforVideoRetrieval.JournalofComputerResearchandDevelopment.2001,38(5):546_551.20D.Cai,X.F.He,J-R.Wen,andW.-Y.Ma.BlockLevelLinkAnalysis,InSIGIR,Sheffield,UnitedKingdom,July2004.
發(fā)明內容本發(fā)明目的是為了提高海量跨媒體查詢的性能，提供一種海量跨媒體索引方法。海量跨媒體索引方法的步驟如下1)通過對網(wǎng)頁的鏈接分析，建立交叉關聯(lián)圖；2)在交叉關聯(lián)圖基礎上，對跨媒體索引鍵值進行統(tǒng)一表達，并建立索引CIndex；3)進行基于CIndex的跨媒體檢索，返回查詢結果。所述的通過對網(wǎng)頁的鏈接分析，建立交叉關聯(lián)圖的步驟為輸入ei」初始的媒體對象Xi和Xj的權重輸出CRG交叉關聯(lián)圖；1.VXeQ5V^GeQieij=0；/^initialization*/2.foranytwomediaobjectsXi,XjeΩdo3.ifXi和Χ」屬于同一個網(wǎng)頁then4.ejj—eiJ+l；5.elseifXi和Xj屬于被同一個網(wǎng)頁所指向或指向同一個網(wǎng)頁then6.ejj—e^.+l；7.elseifXj被Xi所屬的網(wǎng)頁所指向then8.ejj—e^.+l；9.endif10.endfor11.returnCRG。所述的在交叉關聯(lián)圖基礎上，對跨媒體索引鍵值進行統(tǒng)一表達，并建立索引CIndex的步驟為實現(xiàn)從圖片到音頻的跨媒體檢索，對應圖片Ii的索引鍵值表示為key(Ii)=^KcKli,Oj),θ>+c(Ii,Ak)/MAX(1)其中(KIpOj)表示Ii與質心Oj的相似距離，C(IpAk)表示Ii與々，的相關度，〈，Θ>表示將取到小數(shù)點后第θ位，β為線性放大常數(shù)使得<dop，θ>為整數(shù)，常數(shù)MAX使C(IpAk)歸一化，這樣相似距離Cldi,Op與相關度C(IpAk)所對應值域不重疊；圖像數(shù)據(jù)預先通過聚類得到T個類，不同類中的圖片對象用一個索引鍵值來表示，將式⑴的鍵值改為式⑵形式key(Ii)=α*CID+β*<d(Ii,O1.)，θ>+c(I”Ak)/MAX⑵其中CID表示Ii對應的類的編號，α為線性擴展常數(shù).式(2)的索引鍵值實現(xiàn)圖片到音頻跨媒體檢索的鍵值統(tǒng)一表達，式(3)實現(xiàn)從圖像到視頻的跨媒體索引鍵值表達key(Ii)=α*CID+β*<d(Ii,O1.)，θ>+c(I”Vw)/MAX⑶將式(2)和式(3)對應的索引鍵值表達成--個統(tǒng)-展系數(shù)S_A和S_V，圖像對象Ii的統(tǒng)一跨媒體索引表示為S—ν+ο^ω+β*^^,O』XQYc^li’Vv·)/ΜΑkey(Ii)=MX的索引鍵值，分別加上兩個擴⑷HAXkey(Ai)--key(Vi)=MX\ΑΧ同理，對音頻和視頻來說，其對應統(tǒng)一跨媒體索引鍵值可以分別表示為S—I+a*CID+p*d(A,Oj’1kYmaS_V+a*CJD+/3*d(4,0)J+c^’KS—I+aCID+β*(d^’Oj)β)+cM,厶ΥΜΑχS_A+α*ΟΙ+β*{d(Vt’Oj),Q)+c(Vi’▲)/ΜΑχ式(4)、(5)和(6)分別為圖片、音頻和視頻的跨媒體索引鍵值表達，彼此相互獨立，分別對應3個獨立的索引；用一個統(tǒng)一的索引來存儲和表示，得到式(7)所示的跨媒體檢索的統(tǒng)一索引鍵值表達(5)(6)key(Xi)--SCALEJ+key(Ii),ifXi=IiSCALE—A+key(Ai),ifXi=AiSCALE=V+key(Vi),ifXi=Vi(7)其中Xi表示某一種模態(tài)的媒體對象，如Xi可以是一張圖片，也可以是一段音頻例子或一段視頻例子；SCALE_I、SCALE_A*SCALE_V分別為擴展系數(shù)，用于線形擴大不同媒體對象的索引鍵值范圍，使其值域互不重疊。頻對象*/3ρα■/直*/根據(jù)式(7)，建立索引Cindex步驟為輸入Ω媒體對象庫，CRG交叉關聯(lián)圖輸出:bt=CIndex1.initialize；2.foreachmediaobjectXieΩdolocatetheXiinCRG/*初始化*/AXi可以表示圖片也可以是音頻或視定位媒體對象Xi在交叉關聯(lián)圖中的位84.getthemediaobjectssemanticallyrelatedtoXi；/*通過G，得到與Xi相關的媒體對象*/5.bt—InsertBtree(key(Xi))；/*按照公式(7)得到索引鍵值并將其插ΛB+樹*/6.endfor7.returnbt。所述的進行基于CIndex的跨媒體檢索，返回查詢結果的步驟為輸入查詢例子Xq，查詢半徑r/*Xq可以是圖片、音頻或視頻*/輸出查詢結果S1.S—Φ；/*初始化*/2.fori=1tonumdo/*num表示需要訪問num次CIndex索弓|*/3.forj=1toTdo/*T表示總的聚類個數(shù)*/4.ifΘ(0j,CRj)dosenotintersects(Xq,r)then5.nextloop；6.else7.Sl—Search(Xq,r,j)；8.S—SUSl;9.ifΘ(0j,CRj)containsΘ(Xq,r)thenendloop；10.endif11.endfor12.endfor13.ifuserisnotsatisfiedwithSthen14.returnS;/氺返侯)(寸I氺/15.else16.Getuser'sfeedbackandupdateSandCRG；Search(Xq,r,j)17.left—SCALE_X+S_X+αXCID+βX(d(Xq,Oj)-r)/MCD；18.right—SCALE_X+S_X+αXCID+βXCR/MCD；19.S—BRSearch[left,right,j]；/*S中包括與Xq語義相關的不同模態(tài)的媒體對象*/20.foreachmediaobjectXieS21.ifd(Xq,Xi)>rthenS—S-Xi；/*將Xi從候選對象集S中刪除去的同時，與其相關的其它模態(tài)的媒體對象也隨之刪除*/22.endfor23.returnS；/*返回候選對象*八本發(fā)明實現(xiàn)了不同媒體對象之間的交叉檢索。能夠在保證較高查詢精度的前提下，顯著提高海量跨媒體查詢效率。圖1是海量跨媒體查詢的流程框圖；圖2是本發(fā)明的交叉關聯(lián)圖；圖3是本發(fā)明的CIndex索引結構；圖4是本發(fā)明的媒體對象聚類；圖5是本發(fā)明的高維圖片特征空間包含的內嵌子空間；圖6是本發(fā)明的基于鄰接表的交叉關聯(lián)圖表示；圖7是本發(fā)明的實施例1的檢索示意圖；圖8是本發(fā)明的實施例2的檢索示意圖。具體實施例方式海量跨媒體索引方法的步驟如下1)通過對網(wǎng)頁的鏈接分析，建立交叉關聯(lián)圖；2)在交叉關聯(lián)圖基礎上，對跨媒體索引鍵值進行統(tǒng)一表達，并建立索引CIndex；3)進行基于CIndex的跨媒體檢索，返回查詢結果。所述的通過對網(wǎng)頁的鏈接分析，建立交叉關聯(lián)圖的步驟為輸入ei」初始的媒體對象Xi和Xj的權重輸出CRG交叉關聯(lián)圖；1.VXiεΩ,VJOeQ:eu=0；/^initialization*/2.foranytwomediaobjectsX1,XjeΩdo3.ifXi和Xj屬于同一個網(wǎng)頁then4.eiJ^eiJ+l；5.elseifXi和Xj屬于被同一個網(wǎng)頁所指向或指向同一個網(wǎng)頁then6.ejj^e^.+l；7.elseifXj被Xi所屬的網(wǎng)頁所指向then8.ejj^e^.+l；9.endif10.endfor11.returnCRG。如圖2所示，交叉關聯(lián)圖模型描述了媒體對象之間潛在的語義聯(lián)系。在圖2中，當兩種媒體對象為同模態(tài)時，它們之間的關聯(lián)稱為相似度(Similarity)，實線表示；當兩種媒體對象為不同模態(tài)時，它們之間的關聯(lián)稱為相關度(Correlation)，用虛線表示。所述的在交叉關聯(lián)圖基礎上，對跨媒體索引鍵值進行統(tǒng)一表達，并建立索引CIndex的步驟為為了支持跨媒體檢索，之前已經(jīng)通過鏈接分析的方法得到不同模態(tài)媒體間的交叉關聯(lián)圖。如圖6所示，以圖片為例，其對應的交叉關聯(lián)圖可以表示成鄰接表結構。例如，ID為21的圖片，與其語義相關的對應音頻對象為3、9、18和26，對應的視頻對象為7和39。需要說明的是，每個ID下面的數(shù)字表示對應的兩種模態(tài)媒體對象之間的相關度。假設圖5表示圖片所對應的高維特征空間。對于ID為21的圖片對象來說，圖5(a)中紅色虛線圓包含了與該圖片語義相關的音頻對象，圖5(b)中藍色虛線圓包含了與該圖10片相關的視頻對象。因此，圖像高維特征空間中的每個數(shù)據(jù)點(即圖片對象)都存在2個內嵌子空間。同時，又由于該內嵌子空間中的媒體對象都是語義相關的，可以稱為“內嵌相關子空1、司(EmbeddedCorrelationSubspace,ECS)”。實現(xiàn)從圖片到音頻的跨媒體檢索，對應圖片Ii的索引鍵值表示為key(Ii)=^Kd(IijOj),θ>+c(Ii,Ak)/MAX(1)其中(KIyOj)表示Ii與質心Oj的相似距離，c(Ii,Ak)表示Ii與Ak的相關度，〈，θ>表示將取到小數(shù)點后第θ位，β為線性放大常數(shù)使得<d(Ii,op，θ>為整數(shù)，常數(shù)MAX使C(IpAk)歸一化，這樣相似距離Cldi,Op與相關度C(IpAk)所對應值域不重疊；圖像數(shù)據(jù)預先通過聚類得到T個類，不同類中的圖片對象用一個索引鍵值來表示，將式⑴的鍵值改為式⑵形式key(Ii)=α*CID+β*<d(Ii,O1)，θ>+c(I”Ak)/MAX⑵其中CID表示Ii對應的類的編號，α為線性擴展常數(shù).式(2)的索引鍵值實現(xiàn)圖片到音頻跨媒體檢索的鍵值統(tǒng)一表達，式(3)實現(xiàn)從圖像到視頻的跨媒體索引鍵值表達key(Ii)=α*CID+β*<d(Ii,O1)，θ>+c(Ii,Vw)/MAX⑶將式⑵和式(3)對應的索引鍵值表達成--個統(tǒng)-的索引鍵值，分別加上兩個擴展系數(shù)S_A和S_V，圖像對象Ii的統(tǒng)一跨媒體索引表示為S_A+a*CID+fi*(d(l,Oj)/ΜΑ8_ν+α*α+β*{(1，Oj’K)/ΜΑkey(Ii)=4ΑΧ\UX同理，對音頻和視頻來說，其對應統(tǒng)一跨媒體索引鍵值可以分別表示為key(A)=Ξ_Ι+α*0ω+β*(4,Oj)+^'1^YmaS_V+a*CID+fi*d(4,Oj)+c(為’(4)(5)key(Vi)=(6)8_Ι+α*α+β*{(ν,0^β)+α(ν"Ι^/ΜΑχ式(4)、(5)和(6)分別為圖片、音頻和視頻的跨媒體索引鍵值表達，彼此相互獨立，分別對應3個獨立的索引；用一個統(tǒng)一的索引來存儲和表示，得到式(7)所示的跨媒體檢索的統(tǒng)一索引鍵值表達key(Xi)-SCALEJ+key(Ii),ifXi=IiSCALE_A+key(Ai),ifXi=AiSCALE—V+key(Vi),ifXi=Vi(7)其中Xi表示某一種模態(tài)的媒體對象，如Xi可以是一張圖片，也可以是一段音頻例子或一段視頻例子；SCALE_I、SCALE_A*SCALE_V分別為擴展系數(shù)，用于線形擴大不同媒體對象的索引鍵值范圍，使其值域互不重疊。根據(jù)式(7)，建立索引Cindex步驟為輸入Ω媒體對象庫，CRG交叉關聯(lián)圖輸出:bt=CIndex1.initialize；/*初始化*/2.foreachmediaobjectXieΩdoAXi可以表示圖片也可以是音頻或視頻對象*/3.locatetheXiinCRG；/*定位媒體對象Xi在交叉關聯(lián)圖中的位置*/4.getthemediaobjectssemanticallyrelatedtoXi；/*通過G，得到與Xi相關的媒體對象*/5.bt—InsertBtree(key(Xi))；/*按照公式(7)得到索引鍵值并將其插入B+樹*/6.endfor7.returnbt。由于圖3中的CIndex索引包含了3種模態(tài)的媒體類型，因此該索引可以看作由3部分構成，每一部分分別是由與圖像、音頻或視頻對象語義相關的其它2種不同模態(tài)的媒體對象的組合得到。需要注意的是，它的每個葉節(jié)點存儲兩種媒體對象的ID。算法2表示跨媒體索引創(chuàng)建。以圖片為例，假設預先已經(jīng)得到交叉關聯(lián)圖(CRG)并且對高維圖像數(shù)據(jù)進行了聚類，對于每個類中的圖片，通過交叉關聯(lián)圖尋找與其相關的其它模態(tài)的媒體對象(第3-4行)。然后，根據(jù)式(15)得到對應媒體對象的索引鍵值并將其插入B+樹(第5行)。所述的進行基于CIndex的跨媒體檢索，CIndex索引能夠支持各種媒體對象的跨媒體檢索。也就是說，用戶的輸入可以是圖片、音頻或視頻。以圖片為例，當用戶提交一張圖片例子時，通過交叉關聯(lián)圖(CRG)尋找與其相關的其它模態(tài)的媒體對象。然后通過過濾得到的對象，再通過求精來得到。查詢處理的步驟為0158]輸入:查詢例子\，查詢半徑r/*Xq可以是圖片、音頻或視頻*0159]輸出查詢結果S0160]1.S-Φ；/*初始化*/0161]2.fori=1tonumdo/氺num表示需要訪問numCIndex索弓丨0162]3.forj=1toTdo/*T表示總的聚類個數(shù)*/0163]4.ifΘ(0j,CRj)dosenotintersectsΘ(Xq,r)then0164]5.nextloop；0165]6.else0166]7.Sl“一Search(Xi,r,j)；0167]8.S-SUSl；0168]9.ifΘ(0j,CRj)containsΘ(Xq,r)thenendloop0169]10.endif0170]11.endfor0171]12.endfor0172]13.ifuserisnotsatisfiedwithSthen0173]14.returnS；/*返回候選對象0174]15.else0175]16.Getuser’sfeedbackandupdateSandCRG；0176]Search(X,r,j)17.left—SCALE_X+S_X+αXCID+βX(d(Xq,Oj)-r)/MCD；18.right—SCALE_X+S_X+αXCID+βXCR/MCD；19.S—BRSearch[left,right,j]；/*S中包括與Xq語義相關的不同模態(tài)的媒體對象*/20.foreachmediaobjectXieS21.ifd(Xq,Xi)>rthenS—S-Xi；/*將Xi從候選對象集S中刪除去的同時，與其相關的其它模態(tài)的媒體對象也隨之刪除*/22.endfor23.returnS；/*返回候選對象*八需要說明的是，查詢對象Xq中的X既可以是圖片I、音頻A也可以是視頻V。另外，函數(shù)SearchO返回的媒體對象已經(jīng)包括了與提交媒體對象不同模態(tài)的媒體對象，從而實現(xiàn)了跨媒體檢索.在該函數(shù)中，根據(jù)例子對象Xq的不同，SCALE_X可以是SCALE_I、SCALE,A或SCALE_V。實施例1如附圖7所示，當用戶提交一個“貓”的圖片，通過基于CIndex索引的交叉關聯(lián)圖(CRG)尋找與其相關的其它模態(tài)(音頻和視頻等)的媒體對象，過濾不相關媒體對象，再對得到的候選媒體對象通過求精來得到與“貓”相關的結果媒體對象。實施例2:類似地，如附圖8所示，當用戶提交一個“老虎”的視頻，通過基于CIndex索引的交叉關聯(lián)圖(CRG)尋找與其相關的其它模態(tài)(音頻和視頻等)的媒體對象，過濾不相關媒體對象，再對得到的候選媒體對象通過求精來得到與“老虎”相關的不同媒體對象。權利要求一種海量跨媒體索引方法，其特征在于它的步驟如下1)通過對網(wǎng)頁的鏈接分析，建立交叉關聯(lián)圖；2)在交叉關聯(lián)圖基礎上，對跨媒體索引鍵值進行統(tǒng)一表達，并建立索引CIndex；3)進行基于CIndex的跨媒體檢索，返回查詢結果。2.根據(jù)權利要求1所述的一種海量跨媒體索引方法，其特征在于所述的通過對網(wǎng)頁的鏈接分析，建立交叉關聯(lián)圖的步驟為輸入eu初始的媒體對象Xi和Xj的權重輸出CRG交叉關聯(lián)圖；1.VXieΩ,V^eΩe^·=0；/^initialization2.foranytwomediaobjectsX1,XjeΩdo3.ifXi和Xj屬于同一個網(wǎng)頁then4.eiJ-eij+1；5.elseifXi和Xj屬于被同一個網(wǎng)頁所指向或指向同一個網(wǎng)頁then6.ejj—eij+1；7.elseifXj被Xi所屬的網(wǎng)頁所指向then8·ejj—eij+1；9.endif10.endfor11.returnCRG03.根據(jù)權利要求1所述的一種海量跨媒體索引方法，其特征在于所述的在交叉關聯(lián)圖基礎上，對跨媒體索引鍵值進行統(tǒng)一表達，并建立索引CIndex的步驟為實現(xiàn)從圖片到音頻的跨媒體檢索，對應圖片Ii的索引鍵值表示為key(Ii)=^KcKIi,Oj),θ>+c(Ii,Ak)/MAX(1)其中(KIpOj)表示Ii與質心Oj的相似距離，c(Ii,Ak)表示Ii與Ak的相關度，〈，θ>表示將取到小數(shù)點后第Θ位，β為線性放大常數(shù)使得〈da”ορ，θ>為整數(shù)，常數(shù)MAX使C(Ii，Ak)歸一化，這樣相似距離Cldi,Oj)與相關度Cdi,Ak)所對應值域不重疊；圖像數(shù)據(jù)預先通過聚類得到T個類，不同類中的圖片對象用一個索引鍵值來表示，將式⑴的鍵值改為式⑵形式key(Ii)=α*CID+β*<d(Ii,Oj),θ>+c(Ii,Ak)/MAX(2)其中CID表示Ii對應的類的編號，α為線性擴展常數(shù).式(2)的索引鍵值實現(xiàn)圖片到音頻跨媒體檢索的鍵值統(tǒng)一表達，式(3)實現(xiàn)從圖像到視頻的跨媒體索引鍵值表達key(Ii)=a^CID+^Kddi,Oj),θ>+c(Ii;Vw)/MAX(3)將式(2)和式(3)對應的索引鍵值表達成一個統(tǒng)一的索引鍵值，分別加上兩個擴展系數(shù)S_A和S_V,圖像對象Ii的統(tǒng)一跨媒體索引表示為全文摘要本發(fā)明公開了一種海量跨媒體索引方法。它的步驟如下1)通過對網(wǎng)頁的鏈接分析，建立交叉關聯(lián)圖；2)在交叉關聯(lián)圖基礎上，對跨媒體索引鍵值進行統(tǒng)一表達，并建立索引CIndex；3)進行基于CIndex的跨媒體檢索，返回查詢結果。本發(fā)明實現(xiàn)跨媒體的索引和檢索。它能在保證較高查詢精度的前提下，獲得較好的查詢性能。在實施本方法的過程中，首先對網(wǎng)頁進行鏈接分析，生成一個交叉關聯(lián)圖，并對該圖建立跨媒體索引CIndex。當用戶提交一個查詢媒體對象后，系統(tǒng)根據(jù)要求檢索出與該例子相似的不同模態(tài)的媒體對象，然后用戶可以根據(jù)相關反饋選擇與該查詢對象相關的候選對象，使系統(tǒng)根據(jù)用戶的反饋信息動態(tài)調整交叉關聯(lián)圖，排除不相關的媒體對象，保持較高的查詢精度。文檔編號G06F17/30GK101984424SQ20101052023公開日2011年3月9日申請日期2010年10月26日優(yōu)先權日2010年10月26日發(fā)明者厲小軍,莊毅,袁成祥申請人:浙江工商大學