專利名稱：面向?qū)＠I(lǐng)域的文檔檢索方法
技術(shù)領(lǐng)域：
本發(fā)明涉及 一 種資料檢索方法，特別是 一種面向?qū)＠I(lǐng)域的文檔檢索方法。
背景技術(shù)：
科學(xué)技術(shù)的迅速發(fā)展，記錄科技成果的文獻(xiàn)大量增長(zhǎng)，專利作為知識(shí)產(chǎn)權(quán)保護(hù)最重要的手段之一越來越被重視。專利文本記載最新穎的發(fā)明創(chuàng)造所涉及的技術(shù)方案，然而記載科技成果的文獻(xiàn)，除了專利，還有其它非專利文本，例如科研論文、技術(shù)報(bào)告等。專利與非專利之間存在一定的關(guān)系，例如，對(duì)科研論文與專利關(guān)系的研究，可以預(yù)測(cè)技術(shù)發(fā)展趨向。對(duì)專利文獻(xiàn)和非專利的科研文獻(xiàn)的研究，可以了解各個(gè)領(lǐng)域最新的技術(shù)，從而
避免重復(fù)開發(fā)，避免侵權(quán)，甚至可以分析整個(gè)技術(shù)行業(yè)的發(fā)展；可以分析
竟?fàn)幷叩募夹g(shù)研發(fā)狀況以及策略；可以實(shí)現(xiàn)對(duì)專利的無效性檢索。對(duì)專利文獻(xiàn)和非專利文獻(xiàn)的檢索是專利研究領(lǐng)域較新的課題。
專利文本中通常會(huì)有引用相關(guān)的專利或者是科研論文，單純利用專利與科研論文的引用關(guān)系研究非專利文獻(xiàn)與專利文本之間的關(guān)系，非常有限。而且，專利數(shù)據(jù)庫(kù)中的專利文檔有幾百萬之多，單純釆用人工方式的專利搡作是一項(xiàng)費(fèi)時(shí)費(fèi)力的工作。如何從龐大的專利數(shù)據(jù)庫(kù)中檢索到相關(guān)專利并獲取有用的專利信息是專利研究的 一 個(gè)難題。
目前的專利檢索和分類方法有兩種， 一種是基于專利數(shù)據(jù)庫(kù)對(duì)已經(jīng)分類的專利檢索，另一種基于自然語(yǔ)言處理技術(shù)的檢索方法。
早期專利檢索方法大多數(shù)基于專利數(shù)據(jù)庫(kù)的方法，例如公開號(hào)為CN
1996290A專利，主要利用了專利結(jié)構(gòu)化的文本信息，抽取專利引證關(guān)系，構(gòu)建專利關(guān)聯(lián)圖。然后根據(jù)一定的專利查詢條件，例如申請(qǐng)?zhí)枴＠?hào)、申請(qǐng)?jiān)黄凇⒐嬖黄?、發(fā)明人、專利權(quán)人等，在專利關(guān)聯(lián)圖中檢索專利并將檢索到的專利。這種方法依賴于專利本身固定的結(jié)構(gòu)化文本，不夠智能化，沒有對(duì)專利內(nèi)容進(jìn)行分析。
基于自然語(yǔ)言處理的方法，是指釆用自然語(yǔ)言處理技術(shù)對(duì)專利文本內(nèi)容分析，從專利的標(biāo)題、摘要、說明書、權(quán)利說明書等文本中，獲取表征專利的有用特征，對(duì)特征賦予權(quán)重信息，檢索相關(guān)專利文本，例如文章SomeIssues in the Automatic Classification of U.S. Patents (該文作者是Leah S.Larkey,文章是AAAI-98文本分類學(xué)習(xí)研討會(huì)上的特邀報(bào)告)，介紹了釆用自然語(yǔ)言處理技術(shù)進(jìn)行專利分類的方法。文章POSTECH at NTCIR-5Patent Retrieval: Smoothing Experiments in a Language Modeling Approach toPatent Retrieval (i亥文1^乍者是In-Su Kang, Seung-Hoon Na, Jun-Ki Kim,Jong-Hyeok Lee, 文章發(fā)表在Proceedings of NTCIR-5 Workshop Meeting,December 6-9, 2005, Tokyo, Japan )，釆用自然語(yǔ)言處理技術(shù)實(shí)現(xiàn)備利檢索。
但是現(xiàn)有的方法僅局限于關(guān)鍵詞檢索，并且只針對(duì)專利文本之間的檢索，沒有考慮非專利文本與專利文本、非專利文本與專利類別之間的關(guān)系，不能實(shí)現(xiàn)非專利文本和專利文本的智能化全文檢索。
針對(duì)現(xiàn)有技術(shù)中面向?qū)＠I(lǐng)域的文檔檢索沒有考慮非專利文本與專利文本、非專利文本與專利類別之間的關(guān)系，不能實(shí)現(xiàn)非專利文本和專利文本的智能化全文檢索的不足之處，本發(fā)明要解決的技術(shù)問題是提供一種專利檢索的方法，能夠?qū)崿F(xiàn)專利文本的特征向量表示，計(jì)算非專利文本與相關(guān)的專利文本相似度，檢索到最相關(guān)的專利文本。
為解決上述技術(shù)問題，本發(fā)明釆用的技術(shù)方案基于自然語(yǔ)言處理技術(shù)的專利檢索方法，包括以下步驟
對(duì)查詢文本和專利文本進(jìn)行預(yù)處理；
檢索與查詢文本相關(guān)的專利文本，釆用多種不同相似度計(jì)算的方法得到不同相似度的值，組合不同相似度的值，重新計(jì)算相似度，按新的相似度的值對(duì)專利文本排序；
釆用多種不同的決策方法，將專利文本的相似度排序映射成為專利類別相關(guān)性的不同排序；對(duì)多個(gè)不同專利類別相關(guān)性排序結(jié)果進(jìn)行整合，重新排序得到新的專利類別相關(guān)性排序；
從新的專利類別相關(guān)性排序中，選擇與查詢文本最相關(guān)的專利類別。
所述對(duì)文本的處理方法包括對(duì)文本的預(yù)處理，得到特征詞的候選，統(tǒng)計(jì)特征詞數(shù)據(jù)信息，采用特征選取的方法選取特征，將文本轉(zhuǎn)化為向量表示形式，具體為去掉專利文本中不是專利文本的標(biāo)簽，抽取專利文本信息，獲得專利號(hào)、專利IPC類別標(biāo)記、專利名稱、說明書摘要、權(quán)利要求書、說明書；對(duì)英文文本保留全部大寫單詞；去掉含有數(shù)字的單詞；去掉禁用詞；對(duì)英文文本進(jìn)行詞型還原處理，得到特征候選詞表；對(duì)特征候選詞表進(jìn)行統(tǒng)計(jì)，得到詞頻、文檔頻度、詞的類別頻度信息；從特征候選詞中選取特征詞表，計(jì)算特征詞表中每個(gè)特征詞的特征權(quán)重，根據(jù)特征詞及其特征權(quán)重將專利文本和查詢文本轉(zhuǎn)化為可計(jì)算的向量。
所述多種不同相似度的計(jì)算方法得到查詢文本與專利文本的相似度值，基于Log-linear模型整合上述多種不同的相似度值，計(jì)算公式如下
其中，S(A，A)是查詢文本A和專利文本A釆用不同相似度計(jì)算方法得到的相似度值作為特征組成的向量，^是釆用不同相似度計(jì)算方法得到的相

發(fā)明內(nèi)容
exp(0-S(Z),,Z)2))
|>p("(A,4))似度值的權(quán)重向量，w是與查詢文本相關(guān)的專利文本總數(shù)，4表示第k個(gè)相
關(guān)的專利文本向量。
所述多種不同的決策方法，包括專利類別權(quán)重的相似度加和方法、專利文本相似度排序位置權(quán)重的相似度加和方法以及專利文本相似度加和方法，其中專利類別權(quán)重的相似度加和計(jì)算公式如下
其中，^是懲罰因子常數(shù)，A表示專利文本相似度排序結(jié)果中的候選的專利文本個(gè)數(shù)，c,是指候選專利文本i所屬的專利類別按照相似度排序得到的位置，、vc。,、是查詢文本與專利文本《的相似度值，F是指類別文本頻
度的倒數(shù)，其中C、是指類別^下的文本數(shù)，^總的文本數(shù)，w(x)為査詢文本與專利類別X的相關(guān)性的值，T^(x,/)判斷專利文本di是否屬于專利類別X。
所述專利文本相似度排序位置權(quán)重的相似度加和計(jì)算公式如下
所述對(duì)多個(gè)不同專利類別相關(guān)性排序結(jié)果進(jìn)行整合，是釆用多種不同相似度值以及多種不同類別決策的方法組合后的專利類別相關(guān)性排序結(jié)果，做為專利類別位置的特征，基于Rank-SVM模型對(duì)多個(gè)專利類別相關(guān)性排序結(jié)，的祖A
所4對(duì)多個(gè)不同專利類別相關(guān)性排序結(jié)果進(jìn)行整合，是釆用按照多個(gè)不同專利類別相關(guān)性結(jié)果中，類別出現(xiàn)的位置值加和，計(jì)算得到新的專利類別相關(guān)性的值。
本發(fā)明具有以下有益效果及優(yōu)點(diǎn)
1.本發(fā)明方法釆用了自然語(yǔ)言處理的技術(shù)，利用多種相似度計(jì)算的方法作為最終權(quán)衡查詢文本與專利文本的相關(guān)程度，充分利用特征多角度的信息。最后，考慮了多個(gè)系統(tǒng)組合，達(dá)到彼此的互補(bǔ)的目的，提高系統(tǒng)性能。


圖l為本發(fā)明方法流程圖；圖2為文本預(yù)處理流程圖3為查詢文本與專利文本相似度計(jì)算流程圖；圖4為查詢文本與專利類別相關(guān)性計(jì)算流程具體實(shí)施例方式
下面結(jié)合是實(shí)施例和附圖進(jìn)一步闡明本發(fā)明所述的方法如圖1所示， 一種面向?qū)＠I(lǐng)域的文檔檢索方法，包括以下步驟對(duì)査詢文本和專利文本進(jìn)行預(yù)處理；檢索與查詢文本相關(guān)的專利文本，采用多種不同相似度計(jì)算的方法得到不同相似度的值，組合不同相似度的值，重新計(jì)算相似度，按新的相似度的值對(duì)專利文本排序；釆用多種不同的決策方法，將專利文本的相似度排序映射成為專利類別相關(guān)性的不同排序，對(duì)多個(gè)不同專利類別相關(guān)性排序結(jié)果進(jìn)行整合，重新排序得到新的專利類別相關(guān)性排序；從新的專利類別相關(guān)性排序中，選擇與查詢文本最相關(guān)的專利類別。
如圖2所示，所述對(duì)查詢文本和專利文本進(jìn)行預(yù)處理包括以下步驟
a) 去掉專利文本中不是專利文本的標(biāo)簽，抽取專利文本信息，獲得專利
號(hào)、專利IPC類別標(biāo)記、專利名稱、說明書摘要、權(quán)利要求書以及說明書；
去掉獲得的專利文本信息中單詞內(nèi)部非字母或者非漢字符號(hào)，例如，-，、，,'、'
('、')，等；對(duì)英文文本保留全部大寫單詞；去掉含有數(shù)字的單詞；去掉
禁用詞，例如英文專利中的，"claim"、 "said"等，中文專利中的，"步驟"、"特征"等以及介詞、副詞、冠詞等；對(duì)英文文本進(jìn)行詞型還原處理，得到特征候選詞表；
b) 對(duì)特征候選詞表進(jìn)行統(tǒng)計(jì)，得到詞頻、文檔頻度、詞的類別頻度信息；
c) 從特征候選詞中選取特征詞表，計(jì)算特征詞表中每個(gè)特征詞的特征權(quán)重，根據(jù)特征詞及其特征權(quán)重將專利文本和查詢文本轉(zhuǎn)化為可計(jì)算的向量。
d) 以專利的特征詞作為索引詞，為專利文檔以及專利文本向量構(gòu)建倒排索引文檔存儲(chǔ)。
如圖3所示，多種不同相似度的計(jì)算方法包括以下步驟在專利文本庫(kù)中找到與查詢文本有共現(xiàn)特征詞的專利文本，構(gòu)成相關(guān)的專利文本集合。
計(jì)算相關(guān)專利文本集合中的相關(guān)專利與查詢文本的相似度，本實(shí)施例中釆用了多種相似度計(jì)算的方法，其中有向量余弦方法、BM25方法、SMART方法，具體計(jì)算如下
1. 向量余弦的計(jì)算方法
用向量空間模型表示查詢文本A和專利文本A,兩個(gè)向量的余弦計(jì)算
公式
2. BM25計(jì)算方法BM25有很多變種，本實(shí)施例中BM25計(jì)算方法公式如下
'=1化,力x(1-"卜^)
其中"表示查詢文本A的特征詞個(gè)數(shù)；， A)是特征詞在專利文本A
中出現(xiàn)的次數(shù)；lAl表示專利文本A的文本長(zhǎng)度；"vg^是與查詢文本相關(guān)
的專利文本集合中文本的平均長(zhǎng)度；、和6是自由參數(shù)，本實(shí)施例中，^'取值為2.0, ^取值為0.75; /Di^,)是文檔頻度的倒數(shù)，是檢索詞/,的權(quán)重，計(jì)
算公式如下
二log^, C"("+ 0.5
-其中W是整個(gè)數(shù)據(jù)集上的文檔總數(shù)，《,)是指包含檢索詞/,的文檔數(shù)。3. SMART計(jì)算方法SMART算法計(jì)算公式如下
查詢文本:量A中每維特征的權(quán)重Wj釆用下式計(jì)算
7V + 1
=(l + log(〖/,))xlog~^~
專利文本向量A中每維特征的權(quán)重Wi采用下式計(jì)算
l + log( ) os i 0.2 "〖,
其中r表示查詢文本A與專利文本&的共同出現(xiàn)的特征詞集合；《是文本向量中第i個(gè)特征詞的詞頻；w為全部專利文本集合中文本個(gè)數(shù)，m是指出現(xiàn)第i個(gè)特征的專利文本個(gè)數(shù)；m#是特征詞在相關(guān)專利文本集合中文檔的平均詞頻；"http://是專利文本向量4中的特征詞個(gè)數(shù)；-w是全部專利文
本集合中每個(gè)文檔的平均特征詞數(shù)。
分別用三種方法計(jì)算得到不同的查詢文本和專利文本的相似度值。對(duì)經(jīng)過上述各計(jì)算方法得到的不同的相似度值進(jìn)行歸一化處理，得到0
到1之間的相似度值。
對(duì)歸 一 化后不同的相似度值分別取對(duì)數(shù)。
將取對(duì)數(shù)之后的不同相似度值作為L(zhǎng)og-linear模型的特征，計(jì)算公式如
下其中，S(A ， A)是查詢文本A和專利文本A采用不同相似度計(jì)算方法得
到的相似度值作為特征組成的向量，3是釆用不同相似度計(jì)算方法得到的相似度值的權(quán)重向量，"是與查詢文本相關(guān)的專利文本總數(shù)，4表示第k個(gè)相
關(guān)的專利文本向量。
如圖4所示，釆用多種不同的專利類別決策的方法對(duì)不同的專利文本相似度排序結(jié)果，計(jì)算查詢文本與專利類別之間的相關(guān)性排序。本實(shí)施例中，釆用的專利類別決策的方法有相似度加和的方法、專利文本相似度
位置權(quán)重加和方法以及專利類別權(quán)重加和方法，其計(jì)算方法如下1.相似度加和的方法，計(jì)算如公式如下
其中x表示IPC的類別，k表示專利文本相似度排序結(jié)果中的候選的專
利文本個(gè)數(shù)，"'。, 代表第i個(gè)候選專利文本的相似度值。r。fe(x,/)判斷專利文本di是否屬于專利類別X。
2.專利類別權(quán)重加和方法，計(jì)算公式如下
其中，A,是懲罰因子常數(shù)，A表示專利文本相似度排序結(jié)果中的候選的專利文本個(gè)數(shù)，c,是指候選專利文本i所屬的專利類別按照相似度排序得到的位置，腳,、是查詢文本與專利文本《的相似度值，化F是指類別文本頻
度的倒數(shù)，其中Q是指類別x下的文本數(shù)，w為總的文本數(shù)，似^(x)為査詢文本與專利類別x的相關(guān)性的值。 /e(x,0判斷專利文本di是否屬于專利類別x。
3.專利文本相似度位置權(quán)重加和方法，計(jì)算公式如下
其中，/t,是一個(gè)懲罰因子常數(shù)，/c表示專利文本相似度排序結(jié)果中的候選的專利文本個(gè)數(shù)，^w ,是查詢文本與專利文本",的相似度值。rofe(x，/)判 斷專利文本di是否屬于專利類別X。
對(duì)多個(gè)不同的專利類別相關(guān)性排序結(jié)果1 ~ 3進(jìn)行組合，對(duì)類別排序結(jié)
果重新排序。組合方式有多種，在本實(shí)施例中采用的組合方法有如下兩種
將多種不同相似度值以及多種不同類別決策的方法組合后的專利類別
相關(guān)性排序結(jié)果，做為專利類別位置的特征，基于Rank-SVM模型對(duì)多個(gè) 專利類別相關(guān)性排序結(jié)果的組合。
采用按照多個(gè)不同專利類別相關(guān)性結(jié)果中，類別出現(xiàn)的位置值加和， 計(jì)算得到新的專利類別相關(guān)性的值。
通過上述步驟得到查詢文本與專利文本的相似度值，根據(jù)該相似度值 進(jìn)行排序，選擇與查詢文本的最相關(guān)的專利類別。
本發(fā)明所述的方法并不局限于集體實(shí)施方法中所述的實(shí)施例，本領(lǐng)域 技術(shù)人員根據(jù)本發(fā)明的就似乎方案得出其他的實(shí)施方式，同樣屬于本發(fā)明 的技術(shù)創(chuàng)新范圍
權(quán)利要求
1.一種面向?qū)＠I(lǐng)域的文檔檢索方法，包括以下步驟對(duì)查詢文本和專利文本進(jìn)行預(yù)處理；檢索與查詢文本相關(guān)的專利文本，采用多種不同相似度計(jì)算的方法得到不同相似度的值，組合不同相似度的值，重新計(jì)算相似度，按新的相似度的值對(duì)專利文本排序；采用多種不同的決策方法，將專利文本的相似度排序映射成為專利類別相關(guān)性的不同排序；對(duì)多個(gè)不同專利類別相關(guān)性排序結(jié)果進(jìn)行整合，重新排序得到新的專利類別相關(guān)性排序；從新的專利類別相關(guān)性排序中，選擇與查詢文本最相關(guān)的專利類別。
2. 如權(quán)利要求1所述的一種面向?qū)＠I(lǐng)域的文檔檢索方法，其特征在 于對(duì)文本的處理方法包括對(duì)文本的預(yù)處理，得到特征詞的候選，統(tǒng)計(jì)特 征詞數(shù)據(jù)信息，釆用特征選取的方法選取特征，將文本轉(zhuǎn)化為向量表示形 式，具體為去掉專利文本中不是專利文本的標(biāo)簽，抽取專利文本信息，獲得專利 號(hào)、專利IPC類別標(biāo)記、專利名稱、說明書摘要、權(quán)利要求書、說明書； 對(duì)英文文本保留全部大寫單詞；去掉含有數(shù)字的單詞；去掉禁用詞；對(duì)英 文文本進(jìn)行詞型還原處理，得到特征候選詞表；對(duì)特征候選詞表進(jìn)行統(tǒng)計(jì)，得到詞頻、文檔頻度、詞的類別頻度信息； 從特征候選詞中選取特征詞表，計(jì)算特征詞表中每個(gè)特征詞的特征權(quán) 重，根據(jù)特征詞及其特征權(quán)重將專利文本和查詢文本轉(zhuǎn)化為可計(jì)算的向量。
3. 如權(quán)利要求l所述的一種面向?qū)＠I(lǐng)域的文檔檢索方法，其特征在 于所述多種不同相似度的計(jì)算方法得到查詢文本與專利文本的相似度值，基于Log-linear模型整合上述多種不同的相似度值，計(jì)算公式如下其中，S(A,A)是査詢文本A和專利文本A采用不同相似度計(jì)算方法得到的相似度值作為特征組成的向量，^是釆用不同相似度計(jì)算方法得到的相 似度值的權(quán)重向量，n是與查詢文本相關(guān)的專利文本總數(shù)，4表示第k個(gè)相關(guān)的專利文本向量。
4.如權(quán)利要求1所述一種面向?qū)＠I(lǐng)域的文檔檢索方法，其特征在于 所述多種不同的決策方法，包括專利類別權(quán)重的相似度加和方法、專利文 本相似度排序位置權(quán)重的相似度加和方法以及專利文本相似度加和方法， 其中專利類別權(quán)重的相似度加和計(jì)算公式如下' =1 ',r'z7 ， , A' + 0.5 /CF = log(-)C; +0.5,,、fl，專利文本di屬于專利類別xlo，否則其中，々,.是懲罰因子常數(shù)，/t表示專利文本相似度排序結(jié)果中的候選的專利文本個(gè)數(shù)，c,是指候選專利文本i所屬的專利類別按照相似度排序得到 的位置，腳 ,是查詢文本與專利文本《的相似度值，F是指類別文本頻度的倒數(shù)，其中q是指類別^下的文本數(shù)，w總的文本數(shù)，"^w為查詢文本與專利類別x的相關(guān)性的值，m/e(x,/)判斷專利文本di是否屬于專利類
5. 如權(quán)利要求4所述一種面向?qū)＠I(lǐng)域的文檔檢索方法，其特征在于 所述專利文本相似度排序位置權(quán)重的相似度加和計(jì)算公式如下,scwe(x) = x scw4 x ra/e(x， /),.、fl，專利文本di屬于專利類別xlo，否則
6. 如權(quán)利要求1所述一種面向?qū)＠I(lǐng)域的文檔檢索方法，其特征在于 所述對(duì)多個(gè)不同專利類別相關(guān)性排序結(jié)果進(jìn)行整合，是釆用多種不同相似 度值以及多種不同類別決策的方法組合后的專利類別相關(guān)性排序結(jié)果，做 為專利類別位置的特征，基于Rank-SVM模型對(duì)多個(gè)專利類別相關(guān)性排序 結(jié)果的組合。
7. 如權(quán)利要求1所述一種面向?qū)＠I(lǐng)域的文檔檢索方法，其特征在于 所述對(duì)多個(gè)不同專利類別相關(guān)性排序結(jié)果進(jìn)行整合，是釆用按照多個(gè)不同 專利類別相關(guān)性結(jié)果中，類別出現(xiàn)的位置值加和，計(jì)算得到新的專利類別 相關(guān)性的值。
全文摘要
本發(fā)明涉及一種面向?qū)＠I(lǐng)域的文檔檢索方法包括以下步驟對(duì)查詢文本和專利文本進(jìn)行預(yù)處理；檢索與查詢文本相關(guān)的專利文本，采用多種不同相似度計(jì)算的方法得到不同相似度的值，組合不同相似度的值，重新計(jì)算相似度，按新的相似度的值對(duì)專利文本排序；采用多種不同的決策方法，將專利文本的相似度排序映射成為專利類別相關(guān)性的不同排序；對(duì)多個(gè)不同專利類別相關(guān)性排序結(jié)果進(jìn)行整合，重新排序得到新的專利類別相關(guān)性排序；從新的專利類別相關(guān)性排序中，選擇與查詢文本最相關(guān)的專利類別。本發(fā)明利用多種相似度計(jì)算的方法作為最終權(quán)衡查詢文本與專利文本的相關(guān)程度，利用特征多角度的信息，考慮多個(gè)系統(tǒng)組合，達(dá)到彼此的互補(bǔ)的目的，提高系統(tǒng)性能。
文檔編號(hào)G06F17/30GK101625680SQ200810012248
公開日2010年1月13日 申請(qǐng)日期2008年7月9日 優(yōu)先權(quán)日2008年7月9日
發(fā)明者宋國(guó)龍, 曹菲菲, 朱靖波, 李天寧, 王會(huì)珍, 桐 肖 申請(qǐng)人:東北大學(xué)