科技文獻檢索方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種基于限定詞的中文科技文獻檢索方法，該方法首先計算檢索詞條的特征向量與數(shù)據(jù)集中每個科技文獻名稱的特征向量的語義相關(guān)度；接著基于“的”字，對該檢索詞條劃界，找出前綴與所述檢索詞條的前綴相同的各個科技文獻名稱，并修正其對應(yīng)的語義相關(guān)度，最后取其名稱對應(yīng)的語義相關(guān)度高的前若干個科技文獻作為檢索結(jié)果。該方法考慮了檢索詞與科技文獻標(biāo)題的語義相關(guān)性，并且結(jié)合了中文語法中詞匯間的關(guān)聯(lián)性，提高了對于中文科技文獻的檢索效率。
【專利說明】科技文獻檢索方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及信息檢索和數(shù)據(jù)挖掘領(lǐng)域，尤其涉及對科技文獻的檢索方法。

【背景技術(shù)】
[0002]隨著信息技術(shù)和計算機的發(fā)展，各類電子文檔的數(shù)量以空前的速度增長，電子文檔正逐步取代傳統(tǒng)的紙質(zhì)出版物。電子文獻檢索已經(jīng)成為獲取信息的有效途徑。
[0003]現(xiàn)有的電子文獻檢索方法通常是基于統(tǒng)計詞頻的方式來實現(xiàn)的。當(dāng)輸入檢索的關(guān)鍵詞時，依據(jù)所統(tǒng)計的關(guān)鍵詞在電子文件中出現(xiàn)的頻率來對檢索結(jié)果進行排序。這類方法都是機械式地進行統(tǒng)計和匹配，而忽視了詞本身在語義上的實際意義和詞與詞之間在語義上的關(guān)聯(lián)性，而且也沒有結(jié)合各種語言的語言習(xí)慣，檢索效果并不理想。特別是對于科技類文獻，一些領(lǐng)域通用的理論和方法術(shù)語出現(xiàn)的頻率很高，但這些詞頻高的術(shù)語并不能很好地表征文獻的特點，因而采用統(tǒng)計詞頻的方式對科技文獻的檢索效率并不高。


【發(fā)明內(nèi)容】

[0004]因此，本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的缺陷，提供一種新的科技文獻檢索方法及系統(tǒng)。
[0005]本發(fā)明的目的是通過以下技術(shù)方案實現(xiàn)的:
[0006]—方面，本發(fā)明提供了一種科技文獻檢索方法，包括:
[0007]步驟I)基于科技文獻名稱的特征向量空間，將接收到的檢索詞條表示為特征向量的形式，并計算該檢索詞條的特征向量與數(shù)據(jù)集中每個科技文獻名稱的特征向量之間的語義相關(guān)度；
[0008]步驟2)取其名稱對應(yīng)的語義相關(guān)度高的前若干個科技文獻作為檢索結(jié)果；
[0009]其中，所述科技文獻名稱的特征向量空間是通過下列操作得到的:
[0010]a)提取用于檢索的數(shù)據(jù)集中所有科技文獻名稱來構(gòu)成訓(xùn)練集；
[0011]b)對訓(xùn)練集中每個科技文獻名稱進行分詞，統(tǒng)計每個詞在訓(xùn)練集中出現(xiàn)的次數(shù)并計算每個詞的詞頻與逆向文檔頻率；其中，每個詞的詞頻等于該詞在訓(xùn)練集中出現(xiàn)的次數(shù)除以所有詞在訓(xùn)練集中出現(xiàn)的次數(shù)之和；所述每個詞的逆向文檔頻率為:
[0012]

【權(quán)利要求】
1.一種科技文獻檢索方法，所述方法包括: 步驟I)基于科技文獻名稱的特征向量空間，將接收到的檢索詞條表示為特征向量的形式，并計算該檢索詞條的特征向量與數(shù)據(jù)集中每個科技文獻名稱的特征向量之間的語義相關(guān)度； 步驟2)取其名稱對應(yīng)的語義相關(guān)度高的前若干個科技文獻作為檢索結(jié)果； 其中，所述科技文獻名稱的特征向量空間是通過下列操作得到的: a)提取用于檢索的數(shù)據(jù)集中所有科技文獻名稱來構(gòu)成訓(xùn)練集； b)對訓(xùn)練集中每個科技文獻名稱進行分詞，統(tǒng)計每個詞在訓(xùn)練集中出現(xiàn)的次數(shù)并計算每個詞的詞頻與逆向文檔頻率；其中，每個詞的詞頻等于該詞在訓(xùn)練集中出現(xiàn)的次數(shù)除以所有詞在訓(xùn)練集中出現(xiàn)的次數(shù)之和；所述每個詞的逆向文檔頻率為:該訓(xùn)練集屮的科技文獻名稱_總數(shù)丨1gi+調(diào)練集中包含該詞的科技文獻名稱的數(shù)g C)取其詞頻與逆向文檔頻率的乘積大的前若干個詞作為特征詞來構(gòu)成所述科技文獻名稱的特征向量空間。
2.根據(jù)權(quán)利要求1所述的方法，所述步驟I)還包括: 如果所述檢索詞條中包含中文字“的”，則對于其前綴與所述檢索詞條的前綴相同的各個科技文獻名稱，將其對應(yīng)的語義相關(guān)度與相關(guān)度修正值相加；其中，所述前綴為檢索詞條和/或科技文獻名稱中處于中文字“的”之前的部分，所述相關(guān)度修正值為一個在O與I之間的實數(shù)。
3.根據(jù)權(quán)利要求2所述的方法，所述相關(guān)度修正值是通過下面的公式計算的:
_ Or Iη
(X = jP ' — Ig —
n r 其中，α表示相關(guān)度修正值，r表示訓(xùn)練集中其前綴與所述檢索詞條的前綴相同的各個科技文獻名稱的數(shù)目，η表示所述訓(xùn)練集中科技文獻名稱的總數(shù)目，β為相關(guān)度影響因子，其取值在O到I之間。
4.根據(jù)權(quán)利要求2或3所述的方法，還包括將用于檢索的數(shù)據(jù)集中所有的科技文獻分為多個指定的類別；以及在所述步驟I)還包括: 按照下列公式計算檢索詞條的前綴對于每個類別的類別相關(guān)度修正系數(shù):對于第i個類別的類別相關(guān)度修正系數(shù)Wi為: %，其中t表示檢索詞條的前綴，m丨表示前綴t在屬于第i個類別的所
m Mi有科技文獻的名稱中出現(xiàn)的總次數(shù)，m表示屬于第i個類的科技文獻的數(shù)目，nt表示前綴t在數(shù)據(jù)集的所有科技文獻的名稱中出現(xiàn)的總次數(shù)，α代表所述相關(guān)度修正值；以及 對于每個類別內(nèi)包含的每個科技文獻的名稱對應(yīng)的語義相關(guān)度都加上相應(yīng)的類別相關(guān)度修正系數(shù)。
5.根據(jù)權(quán)利要求1所述的方法，在所述步驟I)中所述語義相關(guān)度為所述檢索詞條的特征向量與每個科技文獻名稱的特征向量之間的余弦距離、歐式距離或杰卡德距離。
6.—種科技文獻檢索系統(tǒng),所述系統(tǒng)包括:語義相關(guān)度計算模塊，用于基于科技文獻名稱的特征向量空間，將接收到的檢索詞條表示為特征向量的形式，并計算該檢索詞條的特征向量與數(shù)據(jù)集中每個科技文獻名稱的特征向量之間的語義相關(guān)度； 輸出模塊，取其名稱對應(yīng)的語義相關(guān)度高的前若干個科技文獻作為檢索結(jié)果； 其中，所述科技文獻名稱的特征向量空間是通過下列操作得到的: a)提取用于檢索的數(shù)據(jù)集中所有科技文獻名稱來構(gòu)成訓(xùn)練集； b)對訓(xùn)練集中每個科技文獻名稱進行分詞，統(tǒng)計每個詞在訓(xùn)練集中出現(xiàn)的次數(shù)并計算每個詞的詞頻與逆向文檔頻率；其中，每個詞的詞頻等于該詞在訓(xùn)練集中出現(xiàn)的次數(shù)除以所有詞在訓(xùn)練集中出現(xiàn)的次數(shù)之和；所述每個詞的逆向文檔頻率為:
c)取其詞頻與逆向文檔頻率的乘積大的前若干個詞作為特征詞來構(gòu)成所述科技文獻名稱的特征向量空間。
7.根據(jù)權(quán)利要求6所述的系統(tǒng)，所述語義相關(guān)度計算模塊還包括相關(guān)度調(diào)整模塊，用于如果所述檢索詞條中包含中文字“的”，則對于其前綴與所述檢索詞條的前綴相同的各個科技文獻名稱，將其對應(yīng)的語義相關(guān)度與相關(guān)度修正值相加；其中，所述前綴為檢索詞條和/或科技文獻名稱中處于中文字“的”之前的部分，所述相關(guān)度修正值為一個在O與I之間的實數(shù)。
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，所述相關(guān)度修正值是通過下面的公式計算的:
其中，α表示相關(guān)度修正值，r表示訓(xùn)練集中其前綴與所述檢索詞條的前綴相同的各個科技文獻名稱的數(shù)目，η表示所述訓(xùn)練集中科技文獻名稱的總數(shù)目，β為相關(guān)度影響因子，其取值在O到I之間。
9.根據(jù)權(quán)利要求7或8所述的系統(tǒng)，其中用于檢索的數(shù)據(jù)集中所有的科技文獻被分為多個指定的類別；以及所述相關(guān)度調(diào)整模塊還用于: 按照下列公式計算檢索詞條的前綴對于每個類別的類別相關(guān)度修正系數(shù):對于第i個類別的類別相關(guān)度修正系數(shù)Wi為:
其中t表示檢索詞條的前綴,mti表示前綴t在屬于第i個類別的所有科技文獻的名稱中出現(xiàn)的總次數(shù)，m表示屬于第i個類的科技文獻的數(shù)目，nt表示前綴t在數(shù)據(jù)集的所有科技文獻的名稱中出現(xiàn)的總次數(shù)，α代表所述相關(guān)度修正值；以及 對于每個類別內(nèi)包含的每個科技文獻的名稱對應(yīng)的語義相關(guān)度都加上相應(yīng)的類別相關(guān)度修正系數(shù)。
10.根據(jù)權(quán)利要求6所述的系統(tǒng)，其中，所述語義相關(guān)度為所述檢索詞條的特征向量與每個科技文獻名稱的特征向量之間的余弦距離、歐式距離或杰卡德距離。
【文檔編號】G06F17/30GK104166712SQ201410398279
【公開日】2014年11月26日 申請日期:2014年8月13日 優(yōu)先權(quán)日:2014年8月13日
【發(fā)明者】郭曉利, 曲朝陽, 潘峰, 婁建樓, 孫慧宇 申請人:東北電力大學(xué)