一種基于模糊層次分析的主數(shù)據(jù)歸集方法
【專(zhuān)利摘要】一種基于模糊層次分析的主數(shù)據(jù)歸集方法，屬于冶金行業(yè)信息化【技術(shù)領(lǐng)域】。企業(yè)主數(shù)據(jù)具有元數(shù)據(jù)多樣復(fù)雜、數(shù)據(jù)來(lái)源層級(jí)較多收集困難、數(shù)據(jù)頻繁變化率高、系統(tǒng)更新不及時(shí)等特性。本發(fā)明針對(duì)行業(yè)特點(diǎn)，在模糊層次法的基礎(chǔ)上，采用數(shù)據(jù)分層級(jí)處理、規(guī)則權(quán)重分配、多關(guān)鍵字模糊匹配的方法，然后通過(guò)對(duì)有限指令集的動(dòng)態(tài)組裝來(lái)實(shí)現(xiàn)組件化，最后結(jié)合規(guī)格再校驗(yàn)，動(dòng)態(tài)解析方式實(shí)現(xiàn)數(shù)據(jù)收集方面的一次收集、較少維護(hù)、動(dòng)態(tài)邏輯更新的數(shù)據(jù)歸集技術(shù)，讓用戶(hù)不用再抱怨數(shù)據(jù)收集中的諸多問(wèn)題，并且數(shù)據(jù)后期維護(hù)簡(jiǎn)單、快捷，能不斷提高效率與快速響應(yīng)用戶(hù)需求的服務(wù)能力。
【專(zhuān)利說(shuō)明】一種基于模糊層次分析的主數(shù)據(jù)歸集方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于冶金行業(yè)信息化【技術(shù)領(lǐng)域】，涉及一種基于模糊層次分析的主數(shù)據(jù)歸集 技術(shù)。

【背景技術(shù)】
[0002]本發(fā)明公開(kāi)了一種基于模糊層次分析的主數(shù)據(jù)歸集技術(shù)。企業(yè)主數(shù)據(jù)具有元數(shù)據(jù) 多樣復(fù)雜、數(shù)據(jù)來(lái)源層級(jí)較多收集困難、數(shù)據(jù)頻繁變化率高、系統(tǒng)更新不及時(shí)等特性，傳統(tǒng) 企業(yè)主數(shù)據(jù)收集基本靠人工收集，對(duì)數(shù)據(jù)質(zhì)量要求很高，出錯(cuò)率較大，重復(fù)性工作較多。業(yè) 界雖然有部分成型的數(shù)據(jù)收集軟件，如SAP mdm, Oracle EBS等，雖然可以做到數(shù)據(jù)一致性、 完整性，但收集的數(shù)據(jù)僅限于內(nèi)部系統(tǒng)，且內(nèi)部邏輯不強(qiáng)，一次變動(dòng)需調(diào)整的數(shù)據(jù)量大，且 耗時(shí)較長(zhǎng)，面臨后續(xù)數(shù)據(jù)維護(hù)工作繁重的問(wèn)題。本發(fā)明另辟蹊徑，針對(duì)行業(yè)特點(diǎn)，在模糊層 次法的基礎(chǔ)上，采用數(shù)據(jù)分層級(jí)處理、規(guī)則權(quán)重分配、多關(guān)鍵字模糊匹配的方法，然后通過(guò) 對(duì)有限指令集的動(dòng)態(tài)組裝來(lái)實(shí)現(xiàn)組件化，最后結(jié)合規(guī)格再校驗(yàn)，動(dòng)態(tài)解析方式實(shí)現(xiàn)數(shù)據(jù)收 集方面的一次收集、較少維護(hù)、動(dòng)態(tài)邏輯更新的數(shù)據(jù)歸集技術(shù)，讓用戶(hù)不用再抱怨數(shù)據(jù)收集 中的諸多問(wèn)題，并且數(shù)據(jù)后期維護(hù)簡(jiǎn)單、快捷，能不斷提高效率與快速響應(yīng)用戶(hù)需求的服務(wù) 能力。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明重點(diǎn)應(yīng)用模糊層次分析理論，通過(guò)歸集整理出主數(shù)據(jù)的基本構(gòu)成單元，即 元數(shù)據(jù)，對(duì)其進(jìn)行屬性定義和編排，對(duì)全數(shù)據(jù)建立索引，抽取典型屬性值的關(guān)鍵字，對(duì)元數(shù) 據(jù)原始文件進(jìn)行語(yǔ)義分析，進(jìn)而分詞處理，結(jié)合索引，模糊匹配。從傳統(tǒng)的單純?nèi)斯な占⑷?工校對(duì)轉(zhuǎn)變?yōu)榛A(chǔ)數(shù)據(jù)人工收集、深層次動(dòng)態(tài)匹配，參考面多，避免重復(fù)工作、容錯(cuò)率低，可 信度高，數(shù)據(jù)后期維護(hù)簡(jiǎn)單、快捷。
[0004] 為達(dá)到上述目的，一種基于模糊層次分析的主數(shù)據(jù)歸集技術(shù)，采用先層次劃分、再 關(guān)鍵字抽取形成規(guī)則、而后模糊匹配的策略。該技術(shù)包括以下幾個(gè)關(guān)鍵組成部分：
[0005] (1)元數(shù)據(jù)定義：企業(yè)數(shù)據(jù)進(jìn)行分級(jí)分層，層級(jí)定義需嚴(yán)謹(jǐn)、可擴(kuò)展化、期間引進(jìn) 有意義的賦值編碼唯一定義一條元數(shù)據(jù)，編碼本身有特殊意義，即為層級(jí)劃分對(duì)應(yīng)的規(guī)則。
[0006] (2)屬性值定義：針對(duì)需要分析處理的數(shù)據(jù)，定義其屬性值，這里以代表冶金行業(yè) 生產(chǎn)設(shè)備的技術(shù)參數(shù)為屬性，清晰定義、避免重復(fù)、分類(lèi)五個(gè)屬性值。
[0007] (3)規(guī)則抽?。簩?duì)于排序好的屬性值，按照語(yǔ)義分析，做一步拆解加工，稱(chēng)為分詞， 對(duì)特殊符號(hào)進(jìn)行剔除，形成傳統(tǒng)意義上的關(guān)鍵字，結(jié)合排序規(guī)則，關(guān)鍵字再去重，去重之前 進(jìn)行權(quán)重分配，這里采用的是構(gòu)造判斷矩陣法，按照屬性值前5個(gè)，通過(guò)成對(duì)比較法，列出 矩陣，即為兩個(gè)5X5矩陣做乘法運(yùn)算，應(yīng)用幾何平均法（根法） ：
[0008] 計(jì)算判斷矩陣A各行各個(gè)元素 mi的乘積；
[0009] 計(jì)算mi的η次方根；
[0010] 對(duì)向量進(jìn)行歸一化處理；
[0011] 該向量即為所求權(quán)重。
[0012] (4)索引建立：對(duì)目標(biāo)匹配數(shù)據(jù)進(jìn)行全數(shù)據(jù)索引，此索引隨著目標(biāo)數(shù)據(jù)的增減實(shí) 時(shí)變動(dòng)其索引文件，索引存儲(chǔ)在服務(wù)器文件中。
[0013] (5)語(yǔ)模糊匹配：針對(duì)抽取的規(guī)則和關(guān)鍵字，將元數(shù)據(jù)和目標(biāo)數(shù)據(jù)進(jìn)行模糊匹配， 其規(guī)則是優(yōu)先權(quán)重、再次關(guān)鍵字、再次關(guān)鍵字?jǐn)?shù)量，最終依照用戶(hù)業(yè)務(wù)要求，選取元數(shù)據(jù)與N 個(gè)目標(biāo)值進(jìn)行匹配，系統(tǒng)自動(dòng)記錄匹配關(guān)系，關(guān)系一旦建立，期初一步人工校驗(yàn)，作為主數(shù) 據(jù)存儲(chǔ)起來(lái)，之后元數(shù)據(jù)、或者目標(biāo)數(shù)據(jù)發(fā)生變化，不需要人工維護(hù)，系統(tǒng)自動(dòng)將原來(lái)的匹 配關(guān)系重置，優(yōu)化重組。
[0014] 其中，所述采用層次分析法的構(gòu)造矩陣來(lái)確定屬性權(quán)重，是一種數(shù)學(xué)理論，這里簡(jiǎn) 述：比較第i個(gè)元素與第j個(gè)元
[0015] 素相對(duì)上一層某個(gè)因素的重要性時(shí)，使用數(shù)量化的相對(duì)權(quán)重aij來(lái)描述。設(shè)共有η 個(gè)元素參與比較，則
[0016] A = (ajnXn稱(chēng)為成對(duì)比較矩陣。構(gòu)成成對(duì)比較矩陣是層次分析法的數(shù)量依據(jù)， 針對(duì)具體問(wèn)題由各個(gè)領(lǐng)域的經(jīng)驗(yàn)豐富、判斷力強(qiáng)的專(zhuān)家給出。
[0017] 另外，該技術(shù)封裝了表達(dá)式可引用的通用方法lucene進(jìn)行目標(biāo)數(shù)據(jù)的分詞索引 建立方法以供調(diào)用，其特點(diǎn)為：
[0018] (1)索引文件格式獨(dú)立于應(yīng)用平臺(tái)。Lucene定義了一套以8位字節(jié)為基礎(chǔ)的索引 文件格式，使得兼容系統(tǒng)或者不同平臺(tái)的應(yīng)用能夠共享建立的索引文件。
[0019] (2)在傳統(tǒng)全文檢索引擎的倒排索引的基礎(chǔ)上，實(shí)現(xiàn)了分塊索引，能夠針對(duì)新的文 件建立小文件索引，提升索引速度。然后通過(guò)與原有索引的合并，達(dá)到優(yōu)化的目的。
[0020] (3)優(yōu)秀的面向?qū)ο蟮南到y(tǒng)架構(gòu)，使得對(duì)于Lucene擴(kuò)展的學(xué)習(xí)難度降低，方便擴(kuò) 充新功能。
[0021] (4)設(shè)計(jì)了獨(dú)立于語(yǔ)言和文件格式的文本分析接口，索引器通過(guò)接受Token流完 成索引文件的創(chuàng)立，用戶(hù)擴(kuò)展新的語(yǔ)言和文件格式，只需要實(shí)現(xiàn)文本分析的接口。
[0022] (5)已經(jīng)默認(rèn)實(shí)現(xiàn)了一套強(qiáng)大的查詢(xún)引擎，用戶(hù)無(wú)需自己編寫(xiě)代碼即使系統(tǒng) 可獲得強(qiáng)大的查詢(xún)能力，Lucene的查詢(xún)實(shí)現(xiàn)中默認(rèn)實(shí)現(xiàn)了布爾操作、模糊查詢(xún)（Fuzzy Search[ll])、分組查詢(xún)等等。
[0023] 主數(shù)據(jù)歸集方法的具體步驟如下：（以下步驟為增加的內(nèi)容）
[0024]步驟一、針對(duì)工廠設(shè)備進(jìn)行分層分級(jí)定義，依照功能位置作為劃分依據(jù)，進(jìn)行層次 化組成單元拆分，拆分的數(shù)據(jù)為元數(shù)據(jù)，元數(shù)據(jù)的字段包括：元數(shù)據(jù)唯一編碼ls_sid、設(shè)備 名稱(chēng)1 s_name、設(shè)備類(lèi)型1 s_sblx、技術(shù)參數(shù)j sdx lx、設(shè)備編碼1 s_code、父編碼p_code，規(guī)格 型號(hào) specification、圖號(hào) png_num。
[0025]步驟二、針對(duì)每一層級(jí)每類(lèi)設(shè)備進(jìn)行技術(shù)參數(shù)屬性的設(shè)置，按照機(jī)械、液壓、電氣、 自動(dòng)化設(shè)備進(jìn)行分類(lèi)匯總的，針對(duì)每一類(lèi)細(xì)分子類(lèi)，直到子類(lèi)可表述清楚設(shè)備的工藝技術(shù) 參數(shù)，屬性值至少為5個(gè)沒(méi)有上限限制；子類(lèi)可根據(jù)各類(lèi)設(shè)備說(shuō)明書(shū)技術(shù)參數(shù)信息為依 據(jù)，技術(shù)參數(shù)字段依據(jù)不同設(shè)備類(lèi)型，分類(lèi)不同，具體字段至少包括：技術(shù)參數(shù)屬性唯一編 碼jsdxlx_sid，技術(shù)對(duì)象編碼cs_code，參數(shù)名稱(chēng)cs_name，參數(shù)類(lèi)別cs_lx，父級(jí)編碼cs_ code_p，屬性編碼sx_code，屬性名稱(chēng)sx_name ( -個(gè)參數(shù)對(duì)象添加多個(gè)屬性值例如技術(shù)參 數(shù)為：ACA10自動(dòng)化類(lèi)變頻器，屬性值為ACA1001名稱(chēng)，ACA1002規(guī)格型號(hào)，ACA1003生產(chǎn)廠 家，ACA1004出廠編號(hào)，ACA1005圖位號(hào)，這些具體的值是由設(shè)備收集模版導(dǎo)入到系統(tǒng)里）
[0026] 按照一類(lèi)自動(dòng)化設(shè)備為例，對(duì)其屬性按照排序選定前5個(gè)屬性值，每個(gè)設(shè)備的每 個(gè)屬性值按重要程度進(jìn)行成對(duì)比較，比較程度按1-9數(shù)理標(biāo)度確定，得出每類(lèi)設(shè)備的5個(gè)屬 性值的權(quán)重；
[0027] 所述的標(biāo)度從1-9,表示兩個(gè)屬性值前者比后者的重要程度，數(shù)值越大，重要程度 越強(qiáng)；倒數(shù)為若屬性值i與屬性值j的重要性之比為％，那么屬性值j與屬性值i重要性 之比為

【權(quán)利要求】
1. 一種基于模糊層次分析的主數(shù)據(jù)歸集方法，其特征在于： 步驟一、針對(duì)工廠設(shè)備進(jìn)行分層分級(jí)定義，依照功能位置作為劃分依據(jù)，進(jìn)行層次化組 成單元拆分，拆分的數(shù)據(jù)為元數(shù)據(jù)，元數(shù)據(jù)的字段包括：元數(shù)據(jù)唯一編碼、設(shè)備名稱(chēng)、設(shè)備類(lèi) 型、技術(shù)參數(shù)、設(shè)備編碼、父編碼，規(guī)格型號(hào)、圖號(hào)； 步驟二、針對(duì)每一層級(jí)每類(lèi)設(shè)備進(jìn)行技術(shù)參數(shù)屬性的設(shè)置，按照機(jī)械、液壓、電氣、自動(dòng) 化設(shè)備進(jìn)行分類(lèi)匯總的，針對(duì)每一類(lèi)細(xì)分子類(lèi)，直到子類(lèi)可表述清楚設(shè)備的工藝技術(shù)參數(shù)， 技術(shù)參數(shù)屬性值至少為5個(gè)沒(méi)有上限限制；技術(shù)參數(shù)字段至少包括：技術(shù)參數(shù)屬性唯一編 碼、技術(shù)對(duì)象編碼、參數(shù)名稱(chēng)、參數(shù)類(lèi)別、父級(jí)編碼、屬性編碼、屬性名稱(chēng)； 對(duì)技術(shù)參數(shù)屬性按照排序選定前5個(gè)屬性值，每個(gè)設(shè)備的每個(gè)屬性值按重要程度進(jìn)行 成對(duì)比較，比較程度按1-9數(shù)理標(biāo)度確定，得出每類(lèi)設(shè)備的5個(gè)屬性值的權(quán)重； 構(gòu)造出各層次中的所有判斷矩陣并求得其最大特征向量的近似解；中間層A1-An各屬 性值對(duì)目標(biāo)層Z構(gòu)成比較判斷矩陣：
n為技術(shù)參數(shù)屬性值的數(shù)量，給出成對(duì)比較判斷矩陣A中的標(biāo)度數(shù)值，根據(jù)標(biāo)度數(shù)值 的大小順序，得出屬性值排序規(guī)則，并將屬性值排序規(guī)則保存到數(shù)據(jù)庫(kù)表中；表的結(jié)構(gòu)為： 設(shè)備編碼、技術(shù)參數(shù)、屬性值排序規(guī)則值，得出排序最重要的前5個(gè)屬性值排序規(guī)則值； 步驟三、建立物料數(shù)據(jù)庫(kù)，其結(jié)構(gòu)字段為：物料唯一編碼、物料描述、規(guī)格型號(hào)、供應(yīng)商、 單價(jià)、數(shù)量、庫(kù)存地、合同號(hào)；針對(duì)所有物料唯一編碼對(duì)應(yīng)的物料描述和規(guī)格型號(hào)做出按照 漢語(yǔ)分詞的全表Iucene索引，索引文件存儲(chǔ)在應(yīng)用服務(wù)器端； 步驟四、通過(guò)抽象出的排序規(guī)則值與索引文件中關(guān)鍵字進(jìn)行匹配，得出匹配度=兩者 匹配相同字符數(shù)/排序規(guī)則值字符數(shù)*100%，按照匹配度排序，對(duì)于匹配度大于等于50% 的，將匹配度排序第一個(gè)的物料數(shù)據(jù)作為主標(biāo)識(shí)，取前5個(gè)保存模糊匹配記錄；若匹配度均 小于50%，則判定為無(wú)模糊匹配目標(biāo)。
2. 如權(quán)利要求1所述的基于模糊層次分析的主數(shù)據(jù)歸集方法，其特征在于：所述的標(biāo) 度從1-9,表示兩個(gè)屬性值前者比后者的重要程度，數(shù)值越大，重要程度越強(qiáng)；倒數(shù)為若屬 性值i與屬性值j的重要性之比為a#那么屬性值j與屬性值i重要性之比戈
【文檔編號(hào)】G06F17/30GK104268247SQ201410522687
【公開(kāi)日】2015年1月7日 申請(qǐng)日期:2014年9月30日 優(yōu)先權(quán)日:2014年9月30日
【發(fā)明者】李明陽(yáng), 屈樂(lè)圃, 米巖, 辛鵬飛, 張金, 靳銳, 張國(guó)棟 申請(qǐng)人:北京首鋼自動(dòng)化信息技術(shù)有限公司