本發(fā)明涉及人工智能,具體涉及一種基于大數(shù)據(jù)挖掘技術(shù)的數(shù)據(jù)合規(guī)交易系統(tǒng)、方法、電子設(shè)備及存儲介質(zhì)。
背景技術(shù):
1、數(shù)據(jù)分類分級是根據(jù)數(shù)據(jù)資產(chǎn)的自然屬性,結(jié)合國家、行業(yè)標準,制定適合數(shù)據(jù)的分類分級標準,并根據(jù)分類分級標準對客戶數(shù)據(jù)進行分類分級,確定數(shù)據(jù)資產(chǎn)的安全級別。
2、當前基本都是在數(shù)據(jù)匯聚在業(yè)務(wù)中臺后再進行數(shù)據(jù)分類分級的處理,存在數(shù)據(jù)分類分級不準確和安全管控不嚴謹?shù)那闆r;且當前基于國家工業(yè)互聯(lián)網(wǎng)的標識解析體系的標識數(shù)據(jù)開放權(quán)限管理功能是要么對外全部開放,要么是全部不開放,無法實現(xiàn)數(shù)據(jù)合規(guī)交易;
3、因此,目前亟需一種能夠基于準確的數(shù)據(jù)分類分級級別實現(xiàn)基于大數(shù)據(jù)挖掘技術(shù)的數(shù)據(jù)合規(guī)交易方法。
技術(shù)實現(xiàn)思路
1、本發(fā)明實施例的目的在于提供一種基于大數(shù)據(jù)挖掘技術(shù)的數(shù)據(jù)合規(guī)交易系統(tǒng)、方法、電子設(shè)備及存儲介質(zhì),用以解決現(xiàn)有技術(shù)中無法獲取準確的數(shù)據(jù)分類分級級別,并通過準確的數(shù)據(jù)分類分級級別實現(xiàn)基于大數(shù)據(jù)挖掘技術(shù)的數(shù)據(jù)合規(guī)交易問題。
2、為實現(xiàn)上述目的,本發(fā)明實施例提供一種基于大數(shù)據(jù)挖掘技術(shù)的數(shù)據(jù)合規(guī)交易方法,所述基于大數(shù)據(jù)挖掘技術(shù)的數(shù)據(jù)合規(guī)交易方法具體包括:
3、獲取開發(fā)環(huán)境中前端頁面a1中的組件b1、組件b1操作對接的后端數(shù)據(jù)接口或數(shù)據(jù)交互調(diào)用信息請求c1,基于數(shù)據(jù)交互調(diào)用信息請求c1獲取服務(wù)器日志數(shù)據(jù),其中,所述組件b1的數(shù)量為一個或多個,所述數(shù)據(jù)交互調(diào)用信息請求c1的數(shù)量為一個或多個;
4、基于所述服務(wù)器日志數(shù)據(jù)獲取操作功能項,并獲取所述操作功能項在不同請求條件下對應(yīng)的數(shù)據(jù)集、數(shù)據(jù)表、數(shù)據(jù)字段及數(shù)據(jù)處理規(guī)則;
5、獲取后端觸發(fā)任務(wù)和觸發(fā)機制所調(diào)用的數(shù)據(jù)集、數(shù)據(jù)表、數(shù)據(jù)字段及數(shù)據(jù)處理規(guī)則;
6、對所有數(shù)據(jù)表和所有數(shù)據(jù)字段進行數(shù)據(jù)預(yù)處理,得到預(yù)處理數(shù)據(jù);
7、構(gòu)建數(shù)據(jù)分類分級模型,將所述預(yù)處理數(shù)據(jù)輸入至所述數(shù)據(jù)分類分級模型進行訓(xùn)練,得到最優(yōu)數(shù)據(jù)分類分級模型;
8、構(gòu)建數(shù)據(jù)分類分級關(guān)鍵詞庫,其中,所述數(shù)據(jù)分類分級關(guān)鍵詞庫包括數(shù)據(jù)表的分類分級級別和數(shù)據(jù)字段的分類分級級別;
9、判斷所述待分類分級數(shù)據(jù)是否存在于所述數(shù)據(jù)分類分級關(guān)鍵詞庫中,當所述待分類分級數(shù)據(jù)存在于所述數(shù)據(jù)分類分級關(guān)鍵詞庫中時,匹配獲得所述待分類分級數(shù)據(jù)的分類分級級別;
10、當所述待分類分級數(shù)據(jù)不存在于所述數(shù)據(jù)分類分級關(guān)鍵詞庫中時,將待分類分級數(shù)據(jù)輸入至所述最優(yōu)數(shù)據(jù)分類分級模型,得到所述待分類分級數(shù)據(jù)對應(yīng)的分類分級級別;
11、構(gòu)建聯(lián)盟鏈體系,其中,所述聯(lián)盟鏈體系上的角色包括數(shù)據(jù)供應(yīng)商、各數(shù)據(jù)交易所和數(shù)據(jù)采購商;
12、響應(yīng)于數(shù)據(jù)流通規(guī)則設(shè)置請求,設(shè)置數(shù)據(jù)流通規(guī)則,其中,所述數(shù)據(jù)流通規(guī)則包括每個數(shù)據(jù)采購商對應(yīng)的分類分級級別;
13、響應(yīng)于交易請求,判斷待交易數(shù)據(jù)是否符合數(shù)據(jù)采購商對應(yīng)的分類分級級別,若是,完成交易。
14、在上述技術(shù)方案的基礎(chǔ)上,本發(fā)明還可以做如下改進:
15、進一步地,所述對所有數(shù)據(jù)表和所有數(shù)據(jù)字段進行數(shù)據(jù)預(yù)處理,得到預(yù)處理數(shù)據(jù),包括:
16、當所述待分類分級數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)時,對所述待分類分級進行提取,得到所述待分類分級對應(yīng)的字段數(shù)據(jù)、對應(yīng)的數(shù)據(jù)表和實體關(guān)系、以及各數(shù)據(jù)表對應(yīng)的屬性特征。
17、進一步地,所述構(gòu)建數(shù)據(jù)分類分級模型,將所述預(yù)處理數(shù)據(jù)輸入至所述數(shù)據(jù)分類分級模型進行訓(xùn)練,得到最優(yōu)數(shù)據(jù)分類分級模型,包括:
18、預(yù)先設(shè)定數(shù)據(jù)表之間的關(guān)聯(lián)性指標對應(yīng)的閾值范圍和數(shù)據(jù)字段之間數(shù)據(jù)的關(guān)聯(lián)性指標對應(yīng)的閾值范圍。
19、進一步地,所述構(gòu)建數(shù)據(jù)分類分級模型,將所述預(yù)處理數(shù)據(jù)輸入至所述數(shù)據(jù)分類分級模型進行訓(xùn)練,得到最優(yōu)數(shù)據(jù)分類分級模型,還包括:
20、將待分類分級數(shù)據(jù)輸入至所述最優(yōu)數(shù)據(jù)分類分級模型,提取相應(yīng)的關(guān)鍵指標數(shù)據(jù),基于所述關(guān)鍵指標數(shù)據(jù)匹配對應(yīng)數(shù)據(jù)字段,數(shù)據(jù)表和實體關(guān)系、以及各數(shù)據(jù)表對應(yīng)的屬性特征;
21、獲取數(shù)據(jù)表之間的關(guān)聯(lián)性指標和數(shù)據(jù)字段之間數(shù)據(jù)的關(guān)聯(lián)性指標,判斷所述關(guān)聯(lián)性指標是否超出閾值范圍,當所述關(guān)聯(lián)性指標超出閾值范圍時,則不符合當前模型,重復(fù)上述操作,直至所述關(guān)聯(lián)性指標符合閾值范圍;
22、當所述關(guān)聯(lián)性指標符合閾值范圍時,生成所述待分類分級數(shù)據(jù)對應(yīng)的分類分級級別。
23、進一步地,所述構(gòu)建聯(lián)盟鏈體系,包括:
24、響應(yīng)于數(shù)據(jù)供應(yīng)商的入駐請求,確定數(shù)據(jù)供應(yīng)商申請合規(guī)登記的數(shù)據(jù)產(chǎn)品,獲取所述數(shù)據(jù)產(chǎn)品對應(yīng)的數(shù)據(jù)表和數(shù)據(jù)字段的分類分級標識數(shù)據(jù),將所述分類分級標識數(shù)據(jù)權(quán)限自動開放給相應(yīng)的數(shù)據(jù)交易所。
25、進一步地,所述構(gòu)建聯(lián)盟鏈體系,還包括:
26、構(gòu)建數(shù)據(jù)識別模型,通過所述數(shù)據(jù)識別模型識別數(shù)據(jù)供應(yīng)商當前接口數(shù)據(jù)對應(yīng)的分類分級級別,其中,所述分類分級級別包括公共數(shù)據(jù)、個人信息、核心數(shù)據(jù)、重要數(shù)據(jù)和關(guān)鍵信息基礎(chǔ)設(shè)施。
27、進一步地,所述構(gòu)建聯(lián)盟鏈體系,還包括:
28、構(gòu)建企業(yè)資質(zhì)分析模型,當數(shù)據(jù)采購商入駐數(shù)據(jù)交易所時,通過所述企業(yè)資質(zhì)分析模型分析所述數(shù)據(jù)采購商對應(yīng)的分類分級級別;
29、響應(yīng)于交易請求,為數(shù)據(jù)采購商提供符合所述數(shù)據(jù)采購商對應(yīng)的分類分級級別的接口數(shù)據(jù)。
30、一種基于大數(shù)據(jù)挖掘技術(shù)的數(shù)據(jù)合規(guī)交易系統(tǒng),包括:
31、獲取模塊,用于獲取開發(fā)環(huán)境中前端頁面a1中的組件b1、組件b1操作對接的后端數(shù)據(jù)接口或數(shù)據(jù)交互調(diào)用信息請求c1,基于數(shù)據(jù)交互調(diào)用信息請求c1獲取服務(wù)器日志數(shù)據(jù),其中,所述組件b1的數(shù)量為一個或多個,所述數(shù)據(jù)交互調(diào)用信息請求c1的數(shù)量為一個或多個;
32、基于所述服務(wù)器日志數(shù)據(jù)獲取操作功能項,并獲取所述操作功能項在不同請求條件下對應(yīng)的數(shù)據(jù)集、數(shù)據(jù)表、數(shù)據(jù)字段及數(shù)據(jù)處理規(guī)則;
33、獲取后端觸發(fā)任務(wù)和觸發(fā)機制所調(diào)用的數(shù)據(jù)集、數(shù)據(jù)表、數(shù)據(jù)字段及數(shù)據(jù)處理規(guī)則;
34、預(yù)處理模塊,用于對所有數(shù)據(jù)表和所有數(shù)據(jù)字段進行數(shù)據(jù)預(yù)處理,得到預(yù)處理數(shù)據(jù);
35、構(gòu)建模塊,用于構(gòu)建數(shù)據(jù)分類分級模型,將所述預(yù)處理數(shù)據(jù)輸入至所述數(shù)據(jù)分類分級模型進行訓(xùn)練,得到最優(yōu)數(shù)據(jù)分類分級模型;
36、構(gòu)建數(shù)據(jù)分類分級關(guān)鍵詞庫,其中,所述數(shù)據(jù)分類分級關(guān)鍵詞庫包括數(shù)據(jù)表的分類分級級別和數(shù)據(jù)字段的分類分級級別;
37、分類分級模塊,用于判斷所述待分類分級數(shù)據(jù)是否存在于所述數(shù)據(jù)分類分級關(guān)鍵詞庫中,當所述待分類分級數(shù)據(jù)存在于所述數(shù)據(jù)分類分級關(guān)鍵詞庫中時,匹配獲得所述待分類分級數(shù)據(jù)的分類分級級別;
38、當所述待分類分級數(shù)據(jù)不存在于所述數(shù)據(jù)分類分級關(guān)鍵詞庫中時,將待分類分級數(shù)據(jù)輸入至所述最優(yōu)數(shù)據(jù)分類分級模型,得到所述待分類分級數(shù)據(jù)對應(yīng)的分類分級級別;
39、數(shù)據(jù)流通模塊,用于構(gòu)建聯(lián)盟鏈體系,其中,所述聯(lián)盟鏈體系上的角色包括數(shù)據(jù)供應(yīng)商、各數(shù)據(jù)交易所和數(shù)據(jù)采購商;
40、響應(yīng)于數(shù)據(jù)流通規(guī)則設(shè)置請求,設(shè)置數(shù)據(jù)流通規(guī)則,其中,所述數(shù)據(jù)流通規(guī)則包括每個數(shù)據(jù)采購商對應(yīng)的分類分級級別;
41、響應(yīng)于交易請求,判斷待交易數(shù)據(jù)是否符合數(shù)據(jù)采購商對應(yīng)的分類分級級別,若是,完成交易。
42、一種電子設(shè)備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,所述處理器執(zhí)行所述計算機程序時實現(xiàn)如所述方法的步驟。
43、一種非暫態(tài)計算機可讀存儲介質(zhì),其上存儲有計算機程序,所述計算機程序被處理器執(zhí)行時實現(xiàn)所述方法的步驟。
44、本發(fā)明實施例具有如下優(yōu)點:
45、本發(fā)明中基于大數(shù)據(jù)挖掘技術(shù)的數(shù)據(jù)合規(guī)交易方法,基于所述服務(wù)器日志數(shù)據(jù)獲取操作功能項,并獲取所述操作功能項在不同請求條件下對應(yīng)的數(shù)據(jù)集、數(shù)據(jù)表、數(shù)據(jù)字段及數(shù)據(jù)處理規(guī)則;獲取后端觸發(fā)任務(wù)和觸發(fā)機制所調(diào)用的數(shù)據(jù)集、數(shù)據(jù)表、數(shù)據(jù)字段及數(shù)據(jù)處理規(guī)則;構(gòu)建數(shù)據(jù)分類分級關(guān)鍵詞庫,其中,所述數(shù)據(jù)分類分級關(guān)鍵詞庫包括數(shù)據(jù)表的分類分級級別和數(shù)據(jù)字段的分類分級級別;判斷所述待分類分級數(shù)據(jù)是否存在于所述數(shù)據(jù)分類分級關(guān)鍵詞庫中,當所述待分類分級數(shù)據(jù)存在于所述數(shù)據(jù)分類分級關(guān)鍵詞庫中時,匹配獲得所述待分類分級數(shù)據(jù)的分類分級級別;當所述待分類分級數(shù)據(jù)不存在于所述數(shù)據(jù)分類分級關(guān)鍵詞庫中時,將待分類分級數(shù)據(jù)輸入至所述最優(yōu)數(shù)據(jù)分類分級模型,得到所述待分類分級數(shù)據(jù)對應(yīng)的分類分級級別;構(gòu)建聯(lián)盟鏈體系,其中,所述聯(lián)盟鏈體系上的角色包括數(shù)據(jù)供應(yīng)商、各數(shù)據(jù)交易所和數(shù)據(jù)采購商;響應(yīng)于數(shù)據(jù)流通規(guī)則設(shè)置請求,設(shè)置數(shù)據(jù)流通規(guī)則,其中,所述數(shù)據(jù)流通規(guī)則包括每個數(shù)據(jù)采購商對應(yīng)的分類分級級別;響應(yīng)于交易請求,判斷待交易數(shù)據(jù)是否符合數(shù)據(jù)采購商對應(yīng)的分類分級級別,若是,完成交易;解決了現(xiàn)有技術(shù)中無法獲取準確的數(shù)據(jù)分類分級級別,并通過準確的數(shù)據(jù)分類分級級別實現(xiàn)基于大數(shù)據(jù)挖掘技術(shù)的數(shù)據(jù)合規(guī)交易問題。