本申請涉及計(jì)算機(jī)應(yīng)用
技術(shù)領(lǐng)域：
，尤其涉及一種鏈路數(shù)據(jù)校驗(yàn)方法及裝置。
背景技術(shù)：
：一個(gè)復(fù)雜的計(jì)算機(jī)系統(tǒng)往往由多個(gè)功能子模塊組成，這些子模塊之間存在復(fù)雜的調(diào)用關(guān)系，這些復(fù)雜的調(diào)用關(guān)系構(gòu)成了調(diào)用鏈路，調(diào)用鏈路上任何一個(gè)環(huán)節(jié)的數(shù)據(jù)質(zhì)量出現(xiàn)問題都有可能導(dǎo)致整個(gè)系統(tǒng)的故障，因此有必要對調(diào)用鏈路上的數(shù)據(jù)質(zhì)量進(jìn)行校驗(yàn)?，F(xiàn)有的調(diào)用鏈路數(shù)據(jù)校驗(yàn)方案主要包括兩種：第一種方案是針對每個(gè)子模塊分別開發(fā)數(shù)據(jù)校驗(yàn)規(guī)則，并將數(shù)據(jù)校驗(yàn)規(guī)則的實(shí)現(xiàn)代碼嵌入到各個(gè)子模塊的實(shí)現(xiàn)代碼中，當(dāng)某個(gè)子模塊的數(shù)據(jù)質(zhì)量出現(xiàn)問題時(shí)，可以實(shí)時(shí)將報(bào)警信息寫入日志文件或者發(fā)送給監(jiān)控平臺，這種方案的問題在于校驗(yàn)規(guī)則分散于各個(gè)子模塊中，不便于集中管理，而且對業(yè)務(wù)代碼的侵入性太強(qiáng)，當(dāng)校驗(yàn)規(guī)則發(fā)生變化時(shí)，需要對整個(gè)系統(tǒng)的業(yè)務(wù)代碼都進(jìn)行更新，從而會(huì)對正常業(yè)務(wù)造成影響。另一種方案是將調(diào)用鏈路上的調(diào)用數(shù)據(jù)(包括每個(gè)子模塊的入口參數(shù)和出口參數(shù))集中寫入校驗(yàn)數(shù)據(jù)庫，并且定期利用校驗(yàn)規(guī)則對校驗(yàn)數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行校驗(yàn)，與前一種方案相比，該方案實(shí)現(xiàn)了校驗(yàn)功能與系統(tǒng)基本業(yè)務(wù)功能的解耦，可以對校驗(yàn)規(guī)則進(jìn)行集中管理，而且校驗(yàn)規(guī)則的變化不會(huì)對正常業(yè)務(wù)造成影響，但是校驗(yàn)的實(shí)時(shí)性相對較差，鏈路數(shù)據(jù)出現(xiàn)了異常后，需要延遲一段時(shí)間后才能被檢測到。此外，上述方案存在的一個(gè)共同問題在于：無論用哪種方案實(shí)現(xiàn)數(shù)據(jù)校驗(yàn)，其校驗(yàn)規(guī)則都需要以人工方式進(jìn)行編寫，由于校驗(yàn)規(guī)則直接受到業(yè)務(wù)影響，因 此當(dāng)實(shí)際業(yè)務(wù)頻繁變化時(shí)，對校驗(yàn)規(guī)則的更新維護(hù)需要投入大量的人力和時(shí)間開銷，整體處理效率也難以保證。技術(shù)實(shí)現(xiàn)要素：針對上述技術(shù)問題，本申請?zhí)峁┮环N鏈路數(shù)據(jù)校驗(yàn)方法及裝置，技術(shù)方案如下：一種鏈路數(shù)據(jù)校驗(yàn)方法，該方法包括：獲得目標(biāo)調(diào)用鏈路上的樣本數(shù)據(jù)集，所述樣本數(shù)據(jù)集的每條數(shù)據(jù)包含一次調(diào)用過程中各個(gè)模塊的輸入數(shù)據(jù)及輸出數(shù)據(jù)；利用fp-growth算法查找所述樣本數(shù)據(jù)集中的頻繁模式；根據(jù)所查找到的頻繁模式生成校驗(yàn)規(guī)則；利用生成的校驗(yàn)規(guī)則對所述目標(biāo)調(diào)用鏈路上的數(shù)據(jù)進(jìn)行校驗(yàn)。一種鏈路數(shù)據(jù)校驗(yàn)裝置，該裝置包括：數(shù)據(jù)獲得模塊，用于獲得目標(biāo)調(diào)用鏈路上的樣本數(shù)據(jù)集，所述樣本數(shù)據(jù)集的每條數(shù)據(jù)包含一次調(diào)用過程中各個(gè)模塊的輸入數(shù)據(jù)及輸出數(shù)據(jù)；頻繁模式查找模塊，用于利用fp-growth算法查找所述樣本數(shù)據(jù)集中的頻繁模式；規(guī)則生成模塊，用于根據(jù)所查找到的頻繁模式生成校驗(yàn)規(guī)則；校驗(yàn)執(zhí)行模塊，用于利用生成的校驗(yàn)規(guī)則對所述目標(biāo)調(diào)用鏈路上的數(shù)據(jù)進(jìn)行校驗(yàn)。與現(xiàn)有技術(shù)方案相比，本申請所提供的技術(shù)方案至少具有以下優(yōu)勢：首先，實(shí)現(xiàn)了數(shù)據(jù)校驗(yàn)功能與系統(tǒng)基本業(yè)務(wù)功能的解耦，校驗(yàn)規(guī)則的變化不會(huì)對正常業(yè)務(wù)造成影響，可以對校驗(yàn)規(guī)則進(jìn)行集中管理，而且校驗(yàn)規(guī)則的變化不會(huì)對正常業(yè)務(wù)造成影響；其次，規(guī)則生成之后可以立刻部署并生效，并且實(shí)時(shí)對鏈路數(shù)據(jù)進(jìn)行校驗(yàn)；最后，本申請方案利用關(guān)聯(lián)規(guī)則挖掘算法，自動(dòng)生成校驗(yàn)規(guī)則，相對于人工編寫校驗(yàn)規(guī)則的方式而言，規(guī)則生成的效率及投入開銷都有明顯的改善。應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本申請。此外，本申請中的任一實(shí)施例并不需要達(dá)到上述的全部效果。附圖說明為了更清楚地說明本申請實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請中記載的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，還可以根據(jù)這些附圖獲得其他的附圖。圖1是本申請的系統(tǒng)架構(gòu)示意圖；圖2是本申請的鏈路數(shù)據(jù)校驗(yàn)規(guī)則生成方法的流程示意圖；圖3是本申請實(shí)施例的調(diào)用關(guān)系模型示意圖；圖4是本申請實(shí)施例的fp-tree示意圖；圖5是本申請的鏈路數(shù)據(jù)校驗(yàn)裝置的結(jié)構(gòu)示意圖。具體實(shí)施方式為了使本領(lǐng)域技術(shù)人員更好地理解本申請中的技術(shù)方案，下面將結(jié)合本申請實(shí)施例中的附圖，對本申請實(shí)施例中的技術(shù)方案進(jìn)行詳細(xì)地描述，顯然，所描述的實(shí)施例僅僅是本申請一部分實(shí)施例，而不是全部的實(shí)施例?；诒旧暾堉械膶?shí)施例，本領(lǐng)域普通技術(shù)人員所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬于本申請保護(hù)的范圍。圖1所示為本申請方案的整體架構(gòu)示意圖，其中“應(yīng)用系統(tǒng)”為數(shù)據(jù)校驗(yàn)的目標(biāo)系統(tǒng)，該系統(tǒng)中包含多個(gè)模塊并且形成調(diào)用鏈路?！皵?shù)據(jù)校驗(yàn)平臺”主要包括三部分：調(diào)用關(guān)系模型引擎：作用是根據(jù)應(yīng)用系統(tǒng)模塊間的實(shí)際調(diào)用關(guān)系，生成調(diào)用關(guān)系模型，并將該模型提供給規(guī)則生成引擎。根據(jù)實(shí)際的應(yīng)用需求，一個(gè)物理系統(tǒng)可能對應(yīng)多種邏輯調(diào)用關(guān)系模型，這種情況下，可以允許用戶自定義選 擇需要針對哪種調(diào)用關(guān)系模型生成數(shù)據(jù)校驗(yàn)規(guī)則。規(guī)則生成引擎：作用是根據(jù)調(diào)用關(guān)系模型以及規(guī)則挖掘算法自動(dòng)生成數(shù)據(jù)校驗(yàn)規(guī)則。規(guī)則執(zhí)行引擎：作用是執(zhí)行規(guī)則生成引擎所生成的數(shù)據(jù)校驗(yàn)規(guī)則，如果發(fā)現(xiàn)數(shù)據(jù)異常則做相應(yīng)的處理，例如對異常數(shù)據(jù)進(jìn)行記錄、報(bào)警等等。另外，數(shù)據(jù)校驗(yàn)平臺利用數(shù)據(jù)攔截技術(shù)獲取應(yīng)用各個(gè)模塊的輸入數(shù)據(jù)及輸出數(shù)據(jù)，獲取的數(shù)據(jù)可以存入緩存中，在不同階段，所獲取到的數(shù)據(jù)具有不同的作用：在規(guī)則生成階段：通過數(shù)據(jù)攔截技術(shù)獲取應(yīng)用系統(tǒng)正常運(yùn)行時(shí)各個(gè)模塊的輸入/輸出數(shù)據(jù)以形成訓(xùn)練樣本，然后由規(guī)則生成引擎對訓(xùn)練樣本利用規(guī)則挖掘算法，自動(dòng)生成校驗(yàn)規(guī)則。這里所說的“系統(tǒng)正常運(yùn)行”可以通過多種手段保證，例如在系統(tǒng)初始化時(shí)、網(wǎng)絡(luò)暢通時(shí)獲取數(shù)據(jù)形成訓(xùn)練樣本、等等，本申請對如何在規(guī)則生成階段保證系統(tǒng)正常運(yùn)行并不進(jìn)行限定。在規(guī)則執(zhí)行階段：通過數(shù)據(jù)攔截技術(shù)獲取實(shí)時(shí)獲取系統(tǒng)在執(zhí)行業(yè)務(wù)功能時(shí)各個(gè)模塊的輸入/輸出數(shù)據(jù)，由規(guī)則執(zhí)行引擎利用校驗(yàn)規(guī)則對實(shí)時(shí)獲取到的數(shù)據(jù)進(jìn)行校驗(yàn)并得到校驗(yàn)結(jié)果?？梢?，本申請所提供的方案，無論是在規(guī)則生成階段還是在規(guī)則執(zhí)行階段，都不會(huì)影響到業(yè)務(wù)系統(tǒng)的正常運(yùn)行，而且校驗(yàn)規(guī)則集中在數(shù)據(jù)校驗(yàn)平臺中，便于對規(guī)則進(jìn)行集中管理。另外，規(guī)則生成引擎生成規(guī)則后，規(guī)則執(zhí)行引擎可以立刻執(zhí)行這些規(guī)則，實(shí)現(xiàn)對鏈路數(shù)據(jù)的實(shí)時(shí)校驗(yàn)，以便及時(shí)發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題。當(dāng)然，本申請方案的一個(gè)重要特點(diǎn)還在于利用關(guān)聯(lián)規(guī)則挖掘算法自動(dòng)生成校驗(yàn)規(guī)則，以改善校驗(yàn)規(guī)則生成的效率及投入開銷。下面將對本申請的校驗(yàn)規(guī)則生成方法做進(jìn)一步的詳細(xì)說明。圖2所示，為本申請?zhí)峁┑男ｒ?yàn)規(guī)則生成方法的流程圖，該方法可以包括以下步驟：s101，獲得目標(biāo)調(diào)用鏈路上的樣本數(shù)據(jù)集；s102，利用fp-growth算法查找所述樣本數(shù)據(jù)集中的頻繁模式；s103，根據(jù)所查找到的頻繁模式生成校驗(yàn)規(guī)則。fp-growth算法(frequentpattern-growth)使用了一種緊縮的數(shù)據(jù)結(jié)構(gòu)來存儲(chǔ)查找頻繁項(xiàng)集所需要的全部信息，其將提供頻繁項(xiàng)集的數(shù)據(jù)庫壓縮到一棵頻繁模式樹(fp-tree)，但仍保留項(xiàng)集關(guān)聯(lián)信息。fp-growth算法的輸入包括兩部分：事務(wù)數(shù)據(jù)庫以及最小支持度數(shù)閾值minsup；輸出為頻繁模式的完全集。結(jié)合本申請方案，事務(wù)數(shù)據(jù)庫對應(yīng)前述的樣本數(shù)據(jù)集，樣本數(shù)據(jù)集中包括多條數(shù)據(jù)，其中每條數(shù)據(jù)對應(yīng)一次鏈路調(diào)用過程，每條數(shù)據(jù)包含一次調(diào)用過程中，調(diào)用鏈路上各個(gè)模塊的輸入數(shù)據(jù)及輸出數(shù)據(jù)；最小支持度數(shù)閾值minsup則可以根據(jù)實(shí)際需求進(jìn)行設(shè)定。為了簡化問題描述，需要假設(shè)樣本數(shù)據(jù)集中的數(shù)值(對應(yīng)于調(diào)用關(guān)系模型中的出參和入?yún)?都是二元的(1或0)。對于非二元形式的數(shù)值可以通過離散化和/或二元化算法進(jìn)行處理，使其轉(zhuǎn)換為二元形式，具體的二元化算法本申請并不需要進(jìn)行限定。對于一條校驗(yàn)規(guī)則而言，其基本的形式為：前提條件(precondition)→結(jié)論(result)例如，對于模塊b而言，假設(shè)當(dāng)其輸入數(shù)據(jù)值為1時(shí)，輸出數(shù)據(jù)值必為1，則對應(yīng)的推導(dǎo)規(guī)則可以表示為：(b_in＝＝1)→(b_out＝＝1)進(jìn)一步將上述規(guī)則簡化表示為：b_in→b_out當(dāng)存在復(fù)合條件時(shí)，可以表示為更復(fù)雜的推導(dǎo)規(guī)則，例如以下規(guī)則：(b_in∩c_in)→b_out表示當(dāng)模塊b和模塊c的輸入數(shù)據(jù)均為1時(shí)，則模塊b的輸出數(shù)據(jù)必為1。下面將結(jié)合一個(gè)具體的實(shí)例，對本申請的校驗(yàn)規(guī)則生成方法進(jìn)行說明，假設(shè)目標(biāo)系統(tǒng)的調(diào)用關(guān)系模型如圖3所示。根據(jù)s101，利用數(shù)據(jù)攔截技術(shù)獲得在系統(tǒng)正常運(yùn)行狀態(tài)下各個(gè)模塊的輸入數(shù)據(jù)及輸出數(shù)據(jù)，形成數(shù)據(jù)樣本集。假設(shè)選取了8次鏈路調(diào)用過程中的各模塊輸入/輸出數(shù)據(jù)，經(jīng)過規(guī)范處理(離散化及二元化)后，生成包含數(shù)據(jù)樣本集如 表1所示，該數(shù)據(jù)樣本集將作為事務(wù)數(shù)據(jù)庫輸入fp-growth算法。tidb_inb_outc_inc_outd_ind_out10100002001110311110141110015100001610000171100018111001出現(xiàn)頻次：654216表1對事務(wù)數(shù)據(jù)庫中的全部事務(wù)進(jìn)行掃描，對每個(gè)單項(xiàng)數(shù)據(jù)的有效(取值為1)的出現(xiàn)頻次(支持度數(shù))進(jìn)行統(tǒng)計(jì)，然后對每條樣本數(shù)據(jù)中的各項(xiàng)數(shù)據(jù)分別按照支持度數(shù)輸入進(jìn)行排序、并刪除頻次小于minsup的單項(xiàng)數(shù)值，僅保留頻繁項(xiàng)集。在本實(shí)施例中，將最小支持度數(shù)閾值minsup設(shè)置為4。則將出現(xiàn)頻次小于4的c_out和d_in刪除，將剩余的數(shù)據(jù)按照出現(xiàn)頻次重新排序后，得到的頻繁項(xiàng)集如表2所示：tid排序后的頻繁項(xiàng)集1b_out2c_in3b_in，d_out，b_out，c_in4b_in，d_out，b_out，c_in5b_in，d_out6b_in，d_out7b_in，d_out，b_out8b_in，d_out，b_out，c_in表2根據(jù)所得到的頻繁項(xiàng)集，構(gòu)建fp-tree如圖4所示，根據(jù)minsup＝4從fp-tree中刪除支持度數(shù)小于4的頻繁模式(frequentpattern)，得到頻繁模式如下：(冒號后面的數(shù)字表示該頻繁模式的支持度數(shù))以b_in結(jié)尾的頻繁模式：(b_in:6)以d_out結(jié)尾的頻繁模式：(b_in，d_out:6)以b_out結(jié)尾的頻繁模式：(b_in，d_out，b_out:4)根據(jù)前面的說明可知，校驗(yàn)規(guī)則具體形式為：前提條件→結(jié)論，而“前提條件”對應(yīng)的都是模塊的輸入、“結(jié)論”對應(yīng)的都是模塊的輸出，因此，在本申請的一種優(yōu)選實(shí)施方式中，可以只查找出口參數(shù)為結(jié)尾的頻繁模式，從而提升頻繁模式的發(fā)現(xiàn)效率。結(jié)合本實(shí)施例，在上述確定得到的頻繁模式中，以出口參數(shù)為結(jié)尾的頻繁模式包括以下兩條：1、(b_in，d_out:6)，對應(yīng)的校驗(yàn)規(guī)則為：b_in→d_out。2、(b_in，d_out，b_out:4)，對應(yīng)的校驗(yàn)規(guī)則為：b_in→d_out∩b_out。另外，結(jié)合數(shù)據(jù)校驗(yàn)的應(yīng)用場景，為避免校驗(yàn)規(guī)則產(chǎn)生誤報(bào)，可以僅保留置信度為100％的校驗(yàn)規(guī)則。當(dāng)然，根據(jù)實(shí)際情況，該標(biāo)準(zhǔn)可以適當(dāng)放寬，本申請并不對其進(jìn)行限定。對于規(guī)則(x→y)，其置信度定義為：其中c表示置信度、表示x在事務(wù)中出現(xiàn)的頻次、表示x和y同時(shí)出現(xiàn)在事務(wù)中的頻次。那么，對于上述得到的兩條規(guī)則：b_in→d_out和b_in→d_out∩b_out，置信度計(jì)算結(jié)果如下：那么，最終保留的結(jié)果為以出口參數(shù)為結(jié)尾、且置信度為100％的校驗(yàn)規(guī)則為：b_in→d_out該規(guī)則表示：當(dāng)模塊b的輸入數(shù)據(jù)為1時(shí)，則模塊d的輸出數(shù)據(jù)必為1。至此，自動(dòng)生成校驗(yàn)規(guī)則完畢，將所生成的規(guī)則實(shí)際部署之后，就可以對調(diào)用鏈路上的數(shù)據(jù)進(jìn)行實(shí)時(shí)校驗(yàn)。相應(yīng)于上述方法實(shí)施例，本申請還提供一種鏈路數(shù)據(jù)校驗(yàn)裝置，參見圖5所示，該裝置可以包括：數(shù)據(jù)獲得模塊110，用于獲得目標(biāo)調(diào)用鏈路上的樣本數(shù)據(jù)集，樣本數(shù)據(jù)集的每條數(shù)據(jù)包含一次調(diào)用過程中各個(gè)模塊的輸入數(shù)據(jù)及輸出數(shù)據(jù)；頻繁模式查找模塊120，用于利用fp-growth算法查找樣本數(shù)據(jù)集中的頻繁模式；規(guī)則生成模塊130，用于根據(jù)所查找到的頻繁模式生成校驗(yàn)規(guī)則；校驗(yàn)執(zhí)行模塊140，用于利用生成的校驗(yàn)規(guī)則對目標(biāo)調(diào)用鏈路上的數(shù)據(jù)進(jìn)行校驗(yàn)。在本申請的一種具體實(shí)施方式中，頻繁模式查找模塊120可以具體用于：對每條樣本數(shù)據(jù)中的各項(xiàng)數(shù)據(jù)分別按照支持度數(shù)進(jìn)行排序、并根據(jù)預(yù)設(shè)的最小支持度數(shù)閾值minsup得到頻繁項(xiàng)集；根據(jù)所得到的頻繁項(xiàng)集，構(gòu)建fp-tree；根據(jù)minsup從fp-tree中確定頻繁模式。在本申請的一種具體實(shí)施方式中，頻繁模式查找模塊120可以具體用于：利用fp-growth算法，查找樣本數(shù)據(jù)集中以出口參數(shù)為結(jié)尾的頻繁模式。在本申請的一種具體實(shí)施方式中，規(guī)則生成模塊130可以具體用于：根據(jù)所查找到的頻繁模式生成校驗(yàn)規(guī)則，且僅保留置信度為100％的校驗(yàn)規(guī)則。在本申請的一種具體實(shí)施方式中，數(shù)據(jù)獲得模塊110還可以用于：在樣本數(shù)據(jù)集中的數(shù)值不為二元形式的情況下，對樣本數(shù)據(jù)集中的數(shù)值進(jìn)行二元化處理。通過以上的實(shí)施方式的描述可知，本領(lǐng)域的技術(shù)人員可以清楚地了解到本申請可借助軟件加必需的通用硬件平臺的方式來實(shí)現(xiàn)。基于這樣的理解，本申請的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品可以存儲(chǔ)在存儲(chǔ)介質(zhì)中，如rom/ram、磁碟、光盤等，包括若干指令用以使得一臺計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本申請各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。本說明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，各個(gè)實(shí)施例之間相同相似的部分互相參見即可，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處。尤其，對于裝置實(shí)施例而言，由于其基本相似于方法實(shí)施例，所以描述得比較簡單，相關(guān)之處參見方法實(shí)施例的部分說明即可。以上所描述的裝置實(shí)施例僅僅是示意性的，其中所述作為分離部件說明的模塊可以是或者也可以不是物理上分開的，在實(shí)施本申請方案時(shí)可以把各模塊的功能在同一個(gè)或多個(gè)軟件和/或硬件中實(shí)現(xiàn)。也可以根據(jù)實(shí)際的需要選擇其中的部分或者全部模塊來實(shí)現(xiàn)本實(shí)施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性勞動(dòng)的情況下，即可以理解并實(shí)施。以上所述僅是本申請的具體實(shí)施方式，應(yīng)當(dāng)指出，對于本
技術(shù)領(lǐng)域：
的普通技術(shù)人員來說，在不脫離本申請?jiān)淼那疤嵯拢€可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本申請的保護(hù)范圍。當(dāng)前第1頁12