一種數(shù)據(jù)解析方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)分析技術(shù)領(lǐng)域，具體涉及一種數(shù)據(jù)解析方法及系統(tǒng)。
【背景技術(shù)】
[0002]隨著通信技術(shù)的不斷發(fā)展，“數(shù)據(jù)”作為信息的載體越來(lái)越凸顯出它的重要性。由于行業(yè)要求、技術(shù)特點(diǎn)、性能需求、多方合作、接口定義等等各方面的因素，“數(shù)據(jù)”也被賦予了不同的結(jié)構(gòu)特征以滿足不同的需要。
[0003]當(dāng)系統(tǒng)出現(xiàn)問(wèn)題時(shí)，一般采用的是人工對(duì)問(wèn)題產(chǎn)生期間的通信數(shù)據(jù)進(jìn)行解析，以便分析問(wèn)題產(chǎn)生的原因并提供解決問(wèn)題的基本思路。由于數(shù)據(jù)的多樣性和復(fù)雜性以及數(shù)據(jù)量的龐大，使得人工處理的成本在不斷上升的同時(shí)，效率卻不斷下降。
[0004]目前對(duì)數(shù)據(jù)的解析沒(méi)有一套通用簡(jiǎn)單的方法，當(dāng)需要對(duì)數(shù)據(jù)進(jìn)行解析時(shí)，主要通過(guò)落地保存的數(shù)據(jù)文件或者利用網(wǎng)絡(luò)抓包工具抓取的網(wǎng)絡(luò)格式的數(shù)據(jù)人工進(jìn)行解析，這樣的處理方法存在以下缺陷:
[0005]1、解析門檻高。
[0006]數(shù)據(jù)結(jié)構(gòu)面向的是接口開(kāi)發(fā)人員，而現(xiàn)場(chǎng)的工程人員大部分對(duì)于開(kāi)發(fā)不了解，更不用說(shuō)數(shù)據(jù)結(jié)構(gòu)的定義了，基本上處理方式是把現(xiàn)場(chǎng)現(xiàn)象描述連同現(xiàn)場(chǎng)數(shù)據(jù)一同交由開(kāi)發(fā)人員分析。
[0007]2、解析難度大。
[0008]在由現(xiàn)場(chǎng)的工程人員向開(kāi)發(fā)人員轉(zhuǎn)述現(xiàn)場(chǎng)情況的過(guò)程中，極有可能由于工作經(jīng)驗(yàn)和表述能力的不同，對(duì)真實(shí)情況產(chǎn)生一定的誤差，這也加重了開(kāi)發(fā)人員分析問(wèn)題的難度。
[0009]開(kāi)發(fā)人員拿到待解析的數(shù)據(jù)時(shí)，需要根據(jù)數(shù)據(jù)接口結(jié)構(gòu)的定義人工的逐一核對(duì)解析，此過(guò)程很有可能出現(xiàn)人工的錯(cuò)誤可能，一旦出現(xiàn)這種情況，將增大解析的難度甚至誤導(dǎo)問(wèn)題分析。
[0010]3、解析成本高。
[0011]人工解析多種結(jié)構(gòu)的數(shù)據(jù)，耗時(shí)、費(fèi)力，對(duì)于特殊的行業(yè)，緊急情況發(fā)生時(shí)，解析數(shù)據(jù)，定位、解決問(wèn)題的時(shí)間要求很苛刻，對(duì)于維護(hù)支持方的壓力是巨大。
[0012]雖然有的開(kāi)發(fā)方針對(duì)自己的數(shù)據(jù)特點(diǎn)開(kāi)發(fā)了一些解析工具，但在信息化的時(shí)代，多方協(xié)作，做種數(shù)據(jù)結(jié)構(gòu)并存，這些工具應(yīng)用的局限性很大。而且根據(jù)實(shí)際需要數(shù)據(jù)結(jié)構(gòu)的變更調(diào)整也是時(shí)常發(fā)生，對(duì)于這些解析工具的維護(hù)成本將是一筆不小的開(kāi)支，而且工具的跟進(jìn)需要開(kāi)發(fā)人員修改代碼以適應(yīng)新的結(jié)構(gòu)要求也必然導(dǎo)致工具跟進(jìn)不及時(shí)，此時(shí)就只能回歸到人工解析的方法了。

【發(fā)明內(nèi)容】

[0013]針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明提供了一種數(shù)據(jù)解析方法及系統(tǒng)，該方法能快速、有效的解析數(shù)據(jù)，從而輕松、高效的定位并解決問(wèn)題。
[0014]本發(fā)明提出了一種數(shù)據(jù)解析方法，包括:
[0015]獲取待解析數(shù)據(jù)；
[0016]對(duì)所述待解析數(shù)據(jù)進(jìn)行分析，獲取所述待解析數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)；
[0017]根據(jù)所述數(shù)據(jù)結(jié)構(gòu)從配置文件存儲(chǔ)庫(kù)中獲取與所述數(shù)據(jù)結(jié)構(gòu)對(duì)應(yīng)的配置文件，所述配置文件存儲(chǔ)庫(kù)中存有數(shù)據(jù)結(jié)構(gòu)和配置文件的對(duì)應(yīng)關(guān)系；
[0018]根據(jù)所述配置文件對(duì)所述待解析數(shù)據(jù)進(jìn)行解析，獲取數(shù)據(jù)解析結(jié)果。
[0019]可選的，所述獲取待解析數(shù)據(jù)包括:
[0020]獲取可導(dǎo)入落地保存的數(shù)據(jù)文件作為待解析數(shù)據(jù)；
[0021]或者，
[0022]讀取網(wǎng)絡(luò)抓取的數(shù)據(jù)以及日志中記錄的文本數(shù)據(jù)作為待解析數(shù)據(jù)。
[0023]可選的，在根據(jù)所述數(shù)據(jù)結(jié)構(gòu)在配置文件存儲(chǔ)庫(kù)中讀取與所述數(shù)據(jù)結(jié)構(gòu)對(duì)應(yīng)的配置文件之前，還包括:
[0024]根據(jù)所述數(shù)據(jù)結(jié)構(gòu)，對(duì)所述數(shù)據(jù)結(jié)構(gòu)對(duì)應(yīng)的待解析數(shù)據(jù)設(shè)置配置文件；
[0025]對(duì)所述配置文件進(jìn)行加密處理并存入所述配置文件庫(kù)中；
[0026]其中，配置文件中存有用于解析數(shù)據(jù)的處理邏輯。
[0027]可選的，在獲取數(shù)據(jù)解析結(jié)果之后，還包括:
[0028]展示與待解析數(shù)據(jù)對(duì)應(yīng)的配置文件中的處理邏輯、待解析數(shù)據(jù)以及解析數(shù)據(jù)結(jié)果O
[0029]可選的，還包括:
[0030]根據(jù)所述配置文件中的處理邏輯，對(duì)解析結(jié)果進(jìn)行校驗(yàn)，判斷所述解析結(jié)果是否符合處理邏輯，若不符合，則展示解析錯(cuò)誤的原因。
[0031]本發(fā)明還提出了一種數(shù)據(jù)解析系統(tǒng)，包括:
[0032]第一獲取模塊，用于獲取待解析數(shù)據(jù)；
[0033]數(shù)據(jù)分析模塊，用于對(duì)所述待解析數(shù)據(jù)進(jìn)行分析，獲取所述待解析數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)；
[0034]第二獲取模塊，用于根據(jù)所述數(shù)據(jù)結(jié)構(gòu)從配置文件存儲(chǔ)庫(kù)中獲取與所述數(shù)據(jù)結(jié)構(gòu)對(duì)應(yīng)的配置文件，所述配置文件存儲(chǔ)庫(kù)中存有數(shù)據(jù)結(jié)構(gòu)和配置文件的對(duì)應(yīng)關(guān)系；
[0035]數(shù)據(jù)解析模塊，用于根據(jù)所述配置文件對(duì)所述待解析數(shù)據(jù)進(jìn)行解析，獲取數(shù)據(jù)解析結(jié)果。
[0036]可選的，所述第一獲取模塊還用于:
[0037]獲取可導(dǎo)入落地保存的數(shù)據(jù)文件作為待解析數(shù)據(jù)；
[0038]或者，
[0039]讀取網(wǎng)絡(luò)抓取的數(shù)據(jù)以及日志中記錄的文本數(shù)據(jù)作為待解析數(shù)據(jù)。
[0040]可選的，還包括:
[0041 ]數(shù)據(jù)配置模塊，用于在根據(jù)所述數(shù)據(jù)結(jié)構(gòu)在配置文件存儲(chǔ)庫(kù)中讀取與所述數(shù)據(jù)結(jié)構(gòu)對(duì)應(yīng)的配置文件之前，根據(jù)所述數(shù)據(jù)結(jié)構(gòu)，對(duì)所述數(shù)據(jù)結(jié)構(gòu)對(duì)應(yīng)的待解析數(shù)據(jù)設(shè)置配置文件；
[0042]對(duì)所述配置文件進(jìn)行加密處理并存入所述配置文件庫(kù)中；
[0043]其中，配置文件中存有用于解析數(shù)據(jù)的處理邏輯。
[0044]可選的，還包括:
[0045]數(shù)據(jù)展示模塊，用于在獲取數(shù)據(jù)解析結(jié)果之后，展示與待解析數(shù)據(jù)對(duì)應(yīng)的配置文件中的處理邏輯、待解析數(shù)據(jù)以及解析數(shù)據(jù)結(jié)果。
[0046]可選的，還包括:
[0047]數(shù)據(jù)校驗(yàn)?zāi)K，用于根據(jù)所述配置文件中的處理邏輯，對(duì)解析結(jié)果進(jìn)行校驗(yàn)，判斷所述解析結(jié)果是否符合處理邏輯，若不符合，則展示解析錯(cuò)誤的原因。
[0048]由上述技術(shù)方案可知，本發(fā)明提出的一種數(shù)據(jù)解析方法通過(guò)將用于解析處理的配置文件預(yù)存入配置文件庫(kù)中，并通過(guò)數(shù)據(jù)結(jié)構(gòu)來(lái)獲取與待解析數(shù)據(jù)對(duì)應(yīng)的配置文件，以達(dá)到通過(guò)工具將待解析數(shù)據(jù)解析出來(lái)的目的，而無(wú)需將待解析數(shù)據(jù)發(fā)送給開(kāi)發(fā)人員來(lái)進(jìn)行人工解析，具有提高解析效率和精度、降低解析成本的優(yōu)點(diǎn)。
【附圖說(shuō)明】
[0049]通過(guò)參考附圖會(huì)更加清楚的理解本發(fā)明的特征和優(yōu)點(diǎn)，附圖是示意性的而不應(yīng)理解為對(duì)本發(fā)明進(jìn)行任何限制，在附圖中:
[0050]圖1示出了本發(fā)明一實(shí)施例提出的一種數(shù)據(jù)解析方法的流程示意圖；
[0051]圖2示出了本發(fā)明另一實(shí)施例提出的一種數(shù)據(jù)解析方法的流程示意圖；
[0052]圖3示出了本發(fā)明一實(shí)施例提出的一種數(shù)據(jù)解析方法的工作原理圖；
[0053]圖4示出了本發(fā)明一實(shí)施例提出的一種數(shù)據(jù)解析系統(tǒng)的結(jié)構(gòu)示意圖；
[0054]圖5示出了本發(fā)明另一實(shí)施例提出的一種數(shù)據(jù)解析系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0055]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)的前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0056]圖1為本發(fā)明一實(shí)施例提出的一種數(shù)據(jù)解析方法的流程示意圖，參照?qǐng)D1，一種數(shù)據(jù)解析方法包括:
[0057]101、獲取待解析數(shù)據(jù)；
[0058]可理解的是，獲取的待解析數(shù)據(jù)的類型與行業(yè)有關(guān)，例如，報(bào)文等;獲取的待解析數(shù)據(jù)的方式也有多種，例如，直接導(dǎo)入，從網(wǎng)絡(luò)或者數(shù)據(jù)庫(kù)中抓取。
[0059]102、對(duì)所述待解析數(shù)據(jù)進(jìn)行分析，獲取所述待解析數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)；
[0060]需要說(shuō)明的是，對(duì)待解析數(shù)據(jù)的分析可以采用列表法、作圖法