專利名稱：章節(jié)內容分層方法和裝置、文章內容分層方法和裝置的制作方法
技術領域：
本發(fā)明涉及ー種文章內容分層方法和裝置，尤其涉及根據章節(jié)、文章內容的結構信息，進行章節(jié)、文章內容分層方法和裝置。
背景技術：
近年來，隨著信息技術的發(fā)展使收集、存儲信息的能力得到迅速增長。數據管理技術的進步促進了商業(yè)和政府事務的信息化，產生了大量的數據信息，特別是隨著互聯網技術的發(fā)展，互聯網上的信息更是按指數速度增長，并且其中大部分信息的格式為軟件文件。為了管理這些數據，大型數據庫正被廣泛地應用于商業(yè)和科學工程等領域。然而，雖然數據庫技術的進步使信息的收集和存儲變得越來越容易，但是數據規(guī)模的爆炸性增長，已遠遠超出了人們的接受能力。隨著數據庫和計算機網絡的廣泛應用，數據庫中存儲的數據量急劇増大。在數量龐大的數據的背后隱藏著許多重要的信息，人們希望能夠對其進行更高層次的分析，以便更好地利用這些數據。但傳統(tǒng)的數據分析方法，很難對這些數據進行深層次的處理，也無法發(fā)現數據中存在的內在關系和隱含的信息。這樣，造成在以指數形式增長的數據與人們從中能夠獲取的有效信息之間形成巨大的反差，導致了“數據爆炸但知識貧乏”的現象，如何讓人們從龐大的信息中快速獲取有效的信息成為當務之急。在這種情況下，專利申請CN1669029A公開了ー種自文件集合中自動搜尋概念層次結構的方法及裝置，該申請?zhí)峁┝拴`種方法來對文件中的概念進行自動分層。雖然上述方法涉及到知識分類的方法，但是由于該專利申請僅利用詞匯頻率分布的相似度來進行分層、聚類并以此進行概念抽取，并沒有考慮文檔自身具有的結構特點，另外上述專利申請僅考慮了通過多種文檔進行概念抽取的方法，并沒有根據文檔自身的結構，因而難以對文檔信息進行有效管理。

發(fā)明內容
本發(fā)明是鑒于上述問題而提出的，其目的在于提供一種根據文章內容的結構信息，進行文章內容分層的方法及裝置。本發(fā)明的章節(jié)內容分層方法，包括抽取所述章節(jié)所包含的標題中的多個詞匯的第I抽取步驟；將所抽取的標題中的所述詞匯選定為核心詞的選定步驟；利用規(guī)定了詞匯隸屬關系的隸屬關系表，對所選定的核心詞進行分層處理，將屬于上位的核心詞作為第I階層核心詞而屬于下位的核心詞作為第2階層核心詞形成第I區(qū)域分層結構的第I區(qū)域設置步驟；對已分層核心詞以外的核心詞進行分層處理，基于所述核心詞在所述章節(jié)中的出現頻率，利用規(guī)定了詞匯并列關系的并列關系表，將出現頻率高的核心詞作為第I階層核心詞而出現頻率低的核心詞作為第2階層核心詞形成第2區(qū)域分層結構的第2區(qū)域設置步驟；抽取所述標題以外的語句中的多個詞匯的第2抽取步驟；將所抽取的多個詞匯選定為選定詞，基于所述選定詞在文章中的出現頻率進行排列的第I排列步驟；和按照出現頻率高低的順序，根據關聯詞表找出與所述第I區(qū)域分層結構和所述第2區(qū)域分層結構中的第2階層核心詞最相關聯的選定詞并將其確定為關聯詞，將包含該關聯詞的語句作為第3階層置干與其有關聯關系的所述第2階層核心詞之下，形成子樹歸并圖的第I分層步驟。本發(fā)明的文章內容分層方法，對于得到的子樹歸并圖，根據關聯詞表，找出同一階層中的核心詞的關聯性，通過相關聯的所述核心詞的上位關聯詞，將不同的子樹歸并圖連接起來生成樹歸并圖。本發(fā)明的章節(jié)內容分層裝置，包括第I抽取裝置，抽取所述章節(jié)所包含的標題中的多個詞匯；選定裝置，將所抽取的標題中的所述詞匯選定為核心詞;第I區(qū)域設置裝置，利用規(guī)定了詞匯隸屬關系的隸屬關系表，對所述標題中所選定的核心詞進行分層處理，將屬于上位的核心詞作為第I階層核心詞而屬于下位的核心詞作為第2階層核心詞來形成第I區(qū)域分層結構；第2區(qū)域設置裝置，對已分層核心詞以外的核心詞進行分層處理，基于所述核心詞在所述章節(jié)中的出現頻率，利用規(guī)定了詞匯并列關系的并列關系表，將出現頻率高的核心詞作為第I階層核心詞，而出現頻率低的核心詞作為第2階層核心詞形成第2區(qū)域分層結構；第2抽取裝置，抽取所述標題以外的語句中的多個詞匯;第I排列裝置，選定所抽取的多個詞匯為選定詞，基于所述選定詞在文章中的出現頻率進行排列；和第I分層裝置，按照出現頻率高低的順序，根據關聯詞表找出與第2階層的核心詞最相關聯的選定詞并將其確定為關聯詞，將包含該關聯詞的語句作為第3階層置干與其有關聯關系的所述第2階層的所述核心詞之下，形成子樹歸并圖。本發(fā)明的文章內容分層裝置，還包括連接裝置，對于依據本發(fā)明的章節(jié)內容分層得到的子樹歸并圖，根據關聯表同一階層中核心詞的關聯性，將不同子樹歸并圖連接起來，生成樹歸并圖。本發(fā)明在根據章節(jié)自身的結構信息(如文檔中存在的各級標題蘊含的信息)的基礎上，利用了詞匯的重要度(即詞匯在文檔中出現的頻率)，這樣，通過章節(jié)內容分層，能夠更加有效地反映章節(jié)中的結構層次關系，并且節(jié)省了處理時間。另外，本發(fā)明還通過對文章的各章節(jié)以及不同文章間分層處理，能夠進行跨文檔內容的合并，因而對文檔內容能夠進行有效的管理且大大地提高了處理速度。


圖1是表示本發(fā)明的章節(jié)內容分層裝置的結構示意圖。圖2是說明圖1的章節(jié)內容分層裝置的操作的流程圖。圖3A和圖3B是表不實施例1的隸屬關系和并列關系的不意圖。圖4是表示實施例1的章節(jié)內容分層結構的示意子樹歸并圖。圖5A和圖5B是表示不同的章節(jié)內容分層結構的示意子樹歸并圖，圖5C是表示連接不同的章節(jié)內容分層結構的示意樹歸并圖。圖6A和圖6B是表不不同的章節(jié)內容分層結構的不意子樹歸并圖，圖6C是表不合并不同的章節(jié)內容分層結構的示意樹歸并圖。
具體實施例方式下面，基于附圖對本發(fā)明的實施方式進行說明。
圖1是本發(fā)明裝置的結構示意圖。在圖1的章節(jié)內容分層裝置中，語料庫101存放有多種文檔，第I數據處理部102對語料庫101的數據進行分析處理而得到關聯詞表等數據，將經處理的例如關聯詞表數據存放到數據存儲部103中，數據存儲部103還存儲有高頻詞表、隸屬關系詞匯表、并列關系詞匯表等中間處理數據等。輸入單元104用來接收用戶輸入的各類文檔，其中，文檔的輸入形式不限，可手動輸入、也可以直接從已有文獻庫中輸入。第2數據處理部105對輸入文章根據其結構特點和利用存儲在數據存儲部103中的關聯詞表等進行分析處理。然后將經分析而得到的結果樹歸并圖由顯示單元104顯示。顯示單元104作為輸出単元，用來向用戶輸出最終處理信息。在此，第I數據處理部102可以采用現有的同義詞詞典等進行處理而預先得到關聯詞表。高頻詞表是根據例如《現代漢語詞頻統(tǒng)計語料庫》等中的詞頻信息而得到。出現頻率表根據后述的選定詞在章節(jié)中出現頻率進行排列而生成。圖2說明圖1的章節(jié)內容分層裝置的分析處理方式與過程。從輸入単元104得到輸入標題和語句(步驟S201)，并對輸入的標題和語句進行分詞處理，即按照標題和語句的語法結構將標題和語句分割為多個詞匯，接著，利用高頻詞表刪除經分詞處理的詞匯中的虛詞，例如“的”、“和”這樣的高頻詞，將刪除了標題和語句中的高頻詞后的詞匯確定為選定詞(步驟S202)，根據選定詞在文章中的出現頻率生成出現頻率表，并將在步驟S202得到的結果存儲在數據存儲部103中。通過采用現有的分析文章的格式(樣式)的方法，判斷章節(jié)是否為帶有標題的章節(jié)，針對不帶有標題的章節(jié)的處理方式在后面進行說明。以下說明帶有標題的章節(jié)的處理過程。首先，將在步驟S202中選定的標題中的選定詞確定為核心詞，提取標題中的核心詞(步驟S203)。接著，判斷標題中的核心詞是屬于隸屬關系還是并列關系(步驟S204)。通過利用隸屬關系詞匯表或并列關系詞匯表來判斷核心詞是隸屬關系還是并列關系。在此，隸屬關系表包括具有各種隸屬關系的詞匯，而并列關系表包括具有并列關系的詞匯，隸屬關系表和并列關系表均預先生成并存儲在上述數據存儲部103中。如果判斷為標題中的核心詞間存在隸屬關系(步驟S207)，則根據該隸屬關系直接將屬于上位的核心詞作為第I階層而將屬于下位的核心詞作為第2階層進行分層，從而形成具有隸屬關系的第I區(qū)域分層結構(步驟S208)。接著，對于標題中的其他核心詞進行進ー步分析，如果其他核心詞間存在并列關系(步驟S206)，則根據這些其他核心詞出現在文檔中的頻率，利用步驟S202生成的出現頻率表，將出現頻率高的該核心詞作為第I階層，而將剰余的另ー個核心詞作為第2階層。即，屬于并列關系的核心詞根據在文檔中出現的頻率來進行歸類。將出現頻率高的核心詞作為第I階層而頻率低的另ー核心詞作為第2階層進行分層，從而形成具有并列關系的第2區(qū)域分層結構(步驟S208)。然后，對標題以外的章節(jié)進行處理，即提取標題以外的語句的選定詞(步驟S205)，基于這些詞匯在文章中的出現頻率進行排列，按照出現頻率高低的順序，利用步驟S202生成的出現頻率表和存儲在第I數據存儲部的關聯詞表，找出與第2階層的詞匯最相關聯的詞匯(步驟S209)，將包含該詞匯的語句作為第3階層置干與其有相關關系的所述第2階層之下(步驟S210)，從而形成子樹歸并圖。通過以上分析，可以得到帶有標題的章節(jié)的多個子樹歸并圖。對于不同的帶有標題的章節(jié)，通過相同的處理，可以得到各自章節(jié)的多個子樹歸并圖。對于不帶標題的章節(jié)，也根據步驟S202生成的出現頻率表的方式，對不帶標題的語句進行分詞，刪除高頻詞，再將刪除了高頻詞并選定為選定詞的詞匯按照在文檔中出現頻率高低的順序進行排列，利用關聯詞表，對經排列的選定詞與不同章節(jié)的所有子樹歸并圖的第2階層核心詞間進行關聯性判斷，當判斷為該選定詞與第2階層的某個核心詞最相關聯時，將包含該選定詞的語句置于該第2階層核心詞之下，形成結構階層圖。通過多次反復循環(huán)處理，可以得到包括帶標題章節(jié)和不帶標題章節(jié)的文章的內容結構階層圖，即，可以得到文章內容的樹歸并圖。(實施例1)以下通過ー個簡單的實施例說明本發(fā)明分析過程。例如，在文檔中存在以下章節(jié)，即帶有標題的段落。
ID3算法的優(yōu)點的分析與考察(I) ID3算法的假設空間包含所有的決策樹，捜索空間是完整的假設空間。因為每個有限離散值函數可以被表示為某個決策樹，所以它避免了假設空間可能不包含目標函數的風險。(2) ID3算法在捜索的每ー步都使用當前的所有訓練樣本，以信息増益的標準為基礎決定怎樣簡化當前的假設。使用信息增益這ー統(tǒng)計屬性的一個優(yōu)點是大大降低了對個別訓練樣本錯誤的敏感性，因此，通過修改算法可以很容易地擴展到處理含有噪聲的訓練樣本。(3) ID3算法采用自頂向下的捜索策略，捜索全部空間的一部分，確保所作的測試次數較少，分類速度較快。算法的計算時間與樣本例子個數、特征個數、結點個數三者之積呈線性關系。...(10)以上，分析和考察了 ID3算法的優(yōu)點。根據圖2，首先在輸入單元104輸入上述章節(jié)的語句和標題，根據“ID3算法的優(yōu)點的分析與考察”是黑體、且下方包含(I) (10)序號，可以確定“ID3算法的優(yōu)點的分析與考察”是章節(jié)中的標題，同時確定(I) (2)... (10)序號中的內容為章節(jié)的段落。在步驟S202進行了以下處理對標題“ID3算法的優(yōu)點的分析與考察”進行分詞，得到“ ID3算法/的/優(yōu)點/分析/與/考察”，由干“的”和“與”為高頻詞表中存在的高頻詞，所以將高頻詞表中“的”和“與”刪除，在此，僅說明了標題中選定詞的選定過程，而對于語句中選定詞的選定也進行同樣處理，在此不作詳細地說明。選定的結果，保留核心詞“ID3算法”、“優(yōu)點”、“分析”和“考察”。在步驟S202中得到核心詞(步驟S203)后，判斷核心詞“ID3算法”與“優(yōu)點”、“分析”與“考察”之間的關系(步驟S204)。根據隸屬關系詞匯表判斷“ID3算法”與“優(yōu)點”為隸屬關系(步驟S207)，故將屬于隸屬關系中的上位的“ID3算法”作為第I階層核心詞，而將下位的“優(yōu)點”作為第2階層核心詞形成第I區(qū)域分層結構(步驟S208)，建立子樹歸并圖(參見圖3A)。接著，對于核心詞“分析”與“考察”，根據隸屬關聯詞表可以判斷不屬于隸屬關系，在判斷為不屬于隸屬關系的情況下，根據并列關聯詞表判斷核心詞“分析”與“考察”為并列關系(步驟S206)。根據核心詞“分析”與“考察”在段落(I) (10)中的出現頻率，經統(tǒng)計，可以知道核心詞“分析”共計出現8次，而核心詞“考察”共計出現3次，由于核心詞“分祈”的出現頻率比核心詞“考察”高，故將“分析”作為第I階層核心詞，并且與上述第I區(qū)域中的第I階層核心詞并列，而將“考察”作為第2階層核心詞形成第2區(qū)域分層結構(步驟S208)，建立章節(jié)內容結構的子樹歸并圖(參見圖3B)。另外，上述隸屬關系表和并列關系表均為預先生成的且已知的表，關聯性表可以是根據同義詞詞典而生成的。在對標題進行分析處理后，對標題下面的帶有(I) (2)... (10)序號的段落進行分析處理，對提取的段落選定詞，首先根據在步驟S202中生成的出現頻率表，按照出現頻率高低的順序進行排序，再利用關聯詞表，找出按出現頻率高低的排列的與上述第2階層的中核心詞的最相關的選定詞，一旦找到這樣的選定詞，則將包含該選定詞的語句作為第3階層置于第2階層核心詞之下，形成文章內容的結構階層圖。針對(I) (2)... (10)序號的段落，提取段落中的選定詞(步驟S205)，按照出現頻率高低的排列，根據關聯詞表判斷關聯關系。即，分析出現頻率表中的選定詞與第2階層核心詞的“優(yōu)點”、“缺點”、“參考文獻”和“考察”的關系。例如，從關聯詞表中找到選定詞“避免”與第2階層核心詞“優(yōu)點”最相關聯(步驟S209)，故在段落中找到包含關聯詞“避免”的語句，將包含與第2階層核心詞“優(yōu)點”最相關聯的該關聯詞“避免”的語句，即“因為每個有限離散值函數可以被表示為某個決策樹，所以它避免了假設空間可能不包含目標函數的風險?！弊鳛榈?階層置于第2階層之下(步驟S210)。這樣便可以得到如圖4所示的樹歸并圖。與上述過程相同，可以對其他章節(jié)的標題如“ID3算法的缺點”和“ID3算法所用的參考文獻”等進行同樣的處理，由于“缺點”、“參考文獻”與“ D3算法”屬于隸屬關系，故將下位的“缺點”、“參考文獻”作為第2階層核心詞建立子樹歸并圖。(實施例2)在實施例1中，通過舉例對章節(jié)內容分層處理進行了簡單的說明，利用該方法可以針對ー篇文章中的不同章節(jié)進行分析而得到多個子樹歸并圖，如圖5A和5B所示。對于不同的子樹歸并圖，可以根據關聯詞表判斷同一階層中詞匯的關聯性，如果存在關聯，則通過它們的相應的關聯詞匯將不同子樹歸并圖連接起來，生成更高階層的樹歸并圖(參見圖5c)。例如，從關聯詞表可知，根據核心詞“C4. 5算法”和“ ID3算法”與“決策樹”存在關聯，故通過上位相關詞“決策樹”將核心詞“C4. 5算法”和“ID3算法”列在上位相關詞“決策樹”，形成如圖5c所示的結構階層圖。另外，對于不同的子樹歸并圖，圖6A存在結點為核心詞“ID3算法”，圖6B也存在結點為核心詞“ID3算法”。當兩個節(jié)點為相同時，可以對兩個子樹歸并圖進行合并，生成一個更完整的樹歸并圖，如圖6c所示，將兩個子樹歸并圖的共同的節(jié)點“ ID3算法”作為新樹歸并圖的節(jié)點。
(實施例3)對于不帶標題的章節(jié)，通過以下實施方式形成樹歸并圖。首先，對于通過輸入單元輸入的不帶標題的章節(jié)的每一個語句，在判斷章節(jié)沒有標題時，將輸入的語句進行分詞，按各詞匯在章節(jié)中的出現頻率根據出現頻率高低進行排列，再根據關聯詞表找出與多個子樹歸并圖的第2階層最相關聯的詞匯，將包含找出的與第2階層最相關聯的詞匯的語句置于該第2階層之下作為第3階層，形成結構階層圖。同樣，也可以將不同章節(jié)的樹歸并圖進行合并來形成文章信息歸并圖。以上對本發(fā)明的實施例進行了說明，本發(fā)明不限定于上述實施方式(實施例)，能夠基于本領域的技術人員的知識進行各種設計變更等變形，已施加這種變形的實施方式(實施例)也包括在本發(fā)明的范圍內。
權利要求
1.一種章節(jié)內容分層方法，其特征在于，包括抽取所述章節(jié)所包含的標題中的多個詞匯的第I抽取步驟；將所抽取的標題中的所述詞匯選定為核心詞的選定步驟；利用規(guī)定了詞匯隸屬關系的隸屬關系表，對所選定的核心詞進行分層處理，將屬于上位的核心詞作為第I階層核心詞而屬于下位的核心詞作為第2階層核心詞形成第I區(qū)域分層結構的第I區(qū)域設置步驟；對已分層核心詞以外的核心詞進行分層處理，基于所述核心詞在所述章節(jié)中的出現頻率，利用規(guī)定了詞匯并列關系的并列關系表，將出現頻率高的核心詞作為第I階層核心詞而出現頻率低的核心詞作為第2階層核心詞形成第2區(qū)域分層結構的第2區(qū)域設置步驟；抽取所述標題以外的語句中的多個詞匯的第2抽取步驟；將所抽取的多個詞匯選定為選定詞，基于所述選定詞在文章中的出現頻率進行排列的第I排列步驟；和按照出現頻率高低的順序，根據關聯詞表找出與所述第I區(qū)域分層結構和所述第2區(qū)域分層結構中的第2階層核心詞最相關聯的選定詞并將其確定為關聯詞，將包含該關聯詞的語句作為第3階層置于與其有關聯關系的所述第2階層核心詞之下，形成子樹歸并圖的第I分層步驟。
2.如權利要求1所述的方法，其特征在于在所述第I抽取步驟和第2抽取步驟中，所述抽取是按照所述標題和/或語句的語法結構將所述標題和/或語句分割為多個詞匯的處理。
3.如權利要求1所述的方法，其特征在于在所述選定步驟和排列步驟中，所述選定是通過刪除所述詞匯中的虛詞而得到所述核心詞和/或選定詞的處理。
4.如權利要求1 3中任一項所述的方法，其特征在于所述關聯詞表基于語料庫生成。
5.一種文章內容分層方法，所述文章包括帶標題的章節(jié)和不帶標題的章節(jié)，其特征在于對于權利要求1 4任一項所述的方法得到的子樹歸并圖，根據關聯詞表，找出同一階層中的核心詞的關聯性，通過相關聯的所述核心詞的上位關聯詞，將不同的子樹歸并圖連接起來生成樹歸并圖。
6.如權利要求5所述的方法，其特征在于，包括針對不帶標題的章節(jié)，抽取所述章節(jié)的語句中的多個詞匯，將抽取的詞匯選定為選定詞，基于所述選定詞在所述文章中的出現頻率進行排列的第2排列步驟，按照出現頻率高低的順序，找出與第2階層核心詞最相關聯的選定詞并將其確定為關聯詞，將包含該關聯詞的語句作為第3階層置于與其有關聯關系的所述第2階層核心詞之下的第2分層步驟。
7.—種章節(jié)內容分層裝置，其特征在于，包括第I抽取裝置，抽取所述章節(jié)所包含的標題中的多個詞匯；選定裝置，將所抽取的標題中的所述詞匯選定為核心詞；第I區(qū)域設置裝置，利用規(guī)定了詞匯隸屬關系的隸屬關系表，對所述標題中所選定的核心詞進行分層處理，將屬于上位的核心詞作為第I階層核心詞而屬于下位的核心詞作為第2階層核心詞來形成第I區(qū)域分層結構；第2區(qū)域設置裝置，對已分層核心詞以外的核心詞進行分層處理，基于所述核心詞在所述章節(jié)中的出現頻率，利用規(guī)定了詞匯并列關系的并列關系表，將出現頻率高的核心詞作為第I階層核心詞，而出現頻率低的核心詞作為第2階層核心詞形成第2區(qū)域分層結構；第2抽取裝置，抽取所述標題以外的語句中的多個詞匯；第I排列裝置，選定所抽取的多個詞匯為選定詞，基于所述選定詞在文章中的出現頻率進行排列；和第I分層裝置，按照出現頻率高低的順序，根據關聯詞表找出與第2階層的核心詞最相關聯的選定詞并將其確定為關聯詞，將包含該關聯詞的語句作為第3階層置于與其有關聯關系的所述第2階層的所述核心詞之下，形成子樹歸并圖。
8.一種文章內容分層裝置，所述文章包括帶標題的章節(jié)和不帶標題的章節(jié)，其特征在于，包括還包括連接裝置，對于根據權利要求7所述裝置得到的子樹歸并圖，找出同一階層中的核心詞的關聯性，通過相關聯的所述核心詞的上位關聯詞，將不同的子樹歸并圖連接起來生成樹歸并圖。
9.如權利要求8所述的裝置，其特征在于還包括第2排列裝置，針對不帶標題的章節(jié)，抽取所述章節(jié)的語句中的多個詞匯，將所抽取的詞匯選定為選定詞，基于所述選定詞在章節(jié)中的出現頻率進行排列；和第2分層裝置，按照所述出現頻率高低的順序，找出與第2階層核心詞最相關聯的選定詞并將其確定為關聯詞，將包含該關聯詞的語句作為第3階層置于與其有關聯關系的所述第2階層核心詞之下。
全文摘要
本發(fā)明提供一種章節(jié)內容分層方法和裝置以及文章內容分層方法和裝置。本發(fā)明在充分考慮文章本身的結構信息(如文檔中存在的各級標題蘊含的信息)的基礎上，利用選定詞在文章中的出現頻率，形成分層結構，將文章的內容分層。這樣，能夠有效地反映文章內容的結構層級關系。本發(fā)明還通過對不同章節(jié)、不同文章的內容進行結構處理，能夠對跨文檔內容進行有效的合并，從而實現跨文檔間信息的有效管理，以便用戶能夠快速地獲取所需的信息。
文檔編號G06F17/27GK103034656SQ20111030368
公開日2013年4月10日 申請日期2011年9月29日 優(yōu)先權日2011年9月29日
發(fā)明者劉宏建, 周泉, 鄧攀, 小林義行 申請人:日立(中國)研究開發(fā)有限公司