本發(fā)明涉及計(jì)算機(jī)技術(shù)與信息安全的交叉技術(shù)領(lǐng)域，具體地說，本發(fā)明涉及一種用于大數(shù)據(jù)的脫敏系統(tǒng)及脫敏方法。

背景技術(shù)：

大數(shù)據(jù)時(shí)代的互聯(lián)網(wǎng)安全形勢也逐漸發(fā)生變化，信息安全上升到了國家戰(zhàn)略高度。中華人民共和國國民經(jīng)濟(jì)和社會(huì)發(fā)展第十三個(gè)五年規(guī)劃綱要中提出：“實(shí)施國家大數(shù)據(jù)戰(zhàn)略，推進(jìn)數(shù)據(jù)資源開放共享”。但是數(shù)據(jù)資源包含了大量的敏感和重要信息，且目前敏感及隱私數(shù)據(jù)保護(hù)的法律規(guī)范尚不完善，一旦敏感信息泄露或遭到非法利用，會(huì)給個(gè)人甚至是國家?guī)頍o法彌補(bǔ)的損失。通過對(duì)敏感、重要數(shù)據(jù)進(jìn)行脫敏處理，保障數(shù)據(jù)資源最大程度的開放共享同時(shí)，防止數(shù)據(jù)資源的泄露顯得尤為重要。加之，政府對(duì)所擁有的數(shù)據(jù)具有監(jiān)管的權(quán)利和義務(wù)，對(duì)敏感、重要數(shù)據(jù)的流向、脫敏情況進(jìn)行監(jiān)測，可以輔助政府的數(shù)據(jù)管理部門進(jìn)行數(shù)據(jù)溯源與安全審計(jì)。因此，數(shù)據(jù)脫敏亦是保證數(shù)據(jù)資源安全、問責(zé)的重要手段。

現(xiàn)有技術(shù)下，為了保障數(shù)據(jù)使用過程中的安全，一般采用數(shù)據(jù)脫敏的方法，對(duì)敏感數(shù)據(jù)進(jìn)行脫敏，但是已有的方法都是針對(duì)數(shù)據(jù)庫進(jìn)行脫敏，具體的過程如下：

1、基于規(guī)則的方式識(shí)別數(shù)據(jù)庫中的敏感數(shù)據(jù)和敏感字段；

2、采用遮擋、替換、隨機(jī)變換、加密的方式對(duì)敏感數(shù)據(jù)進(jìn)行脫敏；

3、記錄數(shù)據(jù)脫敏的日志，以供用戶查詢脫敏任務(wù)的執(zhí)行情況。

隨著數(shù)據(jù)隱私保護(hù)越來越重要，政府和企業(yè)都采用了數(shù)據(jù)庫脫敏的方式來保障數(shù)據(jù)的安全，但是仍然存在以下問題：

1、數(shù)據(jù)資源有結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)類型，目前，大多數(shù)據(jù)研究都只針對(duì)結(jié)構(gòu)化的數(shù)據(jù)庫數(shù)據(jù)，如何對(duì)圖片、文件和多媒體(視頻、音頻)進(jìn)行敏感數(shù)據(jù)脫敏仍然處于探索階段，沒有成熟的方法和流程。

2、已有的敏感數(shù)據(jù)識(shí)別大都是基于規(guī)則發(fā)現(xiàn)和人工定義的方法，基于規(guī)則發(fā)現(xiàn)的方法可以有效識(shí)別符合規(guī)則定義的敏感數(shù)據(jù)，但是會(huì)遺漏掉大量無規(guī)則的敏感數(shù)據(jù)，降低敏感數(shù)據(jù)識(shí)別的準(zhǔn)確率；另一方面基于人工定義的方式在數(shù)據(jù)量比較大的情況下，會(huì)增加用戶的負(fù)擔(dān)，降低系統(tǒng)的可用性與易用性。

3、現(xiàn)有的數(shù)據(jù)脫敏僅僅考慮了單個(gè)節(jié)點(diǎn)敏感數(shù)據(jù)的識(shí)別，忽略了多級(jí)部門的敏感數(shù)據(jù)脫敏及監(jiān)管的問題。

4、數(shù)據(jù)擁有者和政府如何對(duì)數(shù)據(jù)脫敏的過程進(jìn)行監(jiān)控，分析脫敏日志，實(shí)時(shí)審計(jì)，監(jiān)測異常行為，及時(shí)防止敏感數(shù)據(jù)泄露，是大部分?jǐn)?shù)據(jù)脫敏系統(tǒng)并未考慮的問題，卻是亟待解決的問題。

因此，大數(shù)據(jù)領(lǐng)域亟需一種安全、高效的大數(shù)據(jù)脫敏方法，既可以實(shí)現(xiàn)各種數(shù)據(jù)類型的敏感數(shù)據(jù)精準(zhǔn)識(shí)別與數(shù)據(jù)脫敏，保障數(shù)據(jù)的可用性，又可以保證數(shù)據(jù)脫敏性能的同時(shí)，實(shí)現(xiàn)敏感數(shù)據(jù)的多級(jí)安全管理。

技術(shù)實(shí)現(xiàn)要素：

為了解決現(xiàn)有技術(shù)下存在的問題，達(dá)到上述目的，本發(fā)明提供一種用于大數(shù)據(jù)的脫敏系統(tǒng)及脫敏方法。

本發(fā)明的一種用于大數(shù)據(jù)的脫敏系統(tǒng)，包括管理脫敏數(shù)據(jù)類型的數(shù)據(jù)庫類型管理模塊、為脫敏系統(tǒng)構(gòu)建角色并對(duì)角色進(jìn)行功能授權(quán)和管理的系統(tǒng)管理模塊、為脫敏系統(tǒng)提供數(shù)據(jù)源管理的數(shù)據(jù)源管理模塊、自動(dòng)發(fā)現(xiàn)數(shù)據(jù)源中的敏感數(shù)據(jù)并交由用戶調(diào)整與確認(rèn)的敏感數(shù)據(jù)發(fā)現(xiàn)模塊、對(duì)所述大數(shù)據(jù)脫敏系統(tǒng)的脫敏任務(wù)進(jìn)行配置和管理的脫敏任務(wù)管理模塊、管理和定義敏感數(shù)據(jù)并進(jìn)行脫敏算法和脫敏策略管理的脫敏配置管理模塊、實(shí)現(xiàn)多級(jí)脫敏設(shè)備的狀態(tài)監(jiān)控和策略下發(fā)以及數(shù)據(jù)同步的多級(jí)管理模塊、對(duì)采集的脫敏日志數(shù)據(jù)進(jìn)行實(shí)時(shí)分析保障脫敏系統(tǒng)安全的大數(shù)據(jù)脫敏分析模、通過對(duì)敏感數(shù)據(jù)進(jìn)行特征分析來進(jìn)行敏感數(shù)據(jù)分類的敏感數(shù)據(jù)分類模塊。

其中，所述數(shù)據(jù)庫類型管理模塊包括通過智能發(fā)現(xiàn)數(shù)據(jù)庫中的敏感字段及敏感數(shù)據(jù)，并采用數(shù)據(jù)脫敏算法對(duì)敏感字段和數(shù)據(jù)進(jìn)行脫敏且支持動(dòng)態(tài)脫敏和靜態(tài)脫敏的數(shù)據(jù)庫脫敏模塊；還包括通過解析文件內(nèi)容，采用敏感數(shù)據(jù)識(shí)別算法自動(dòng)發(fā)現(xiàn)文件中的敏感數(shù)據(jù)，采用數(shù)據(jù)脫敏算法對(duì)敏感數(shù)據(jù)進(jìn)行脫敏，支持文件的動(dòng)態(tài)脫敏和靜態(tài)拖慢的文件脫敏模塊；所述數(shù)據(jù)庫類型管理模塊還包括通過分析圖片、音頻、視頻等多媒體信息，智能發(fā)現(xiàn)多媒體信息中的敏感數(shù)據(jù)，并采用相應(yīng)的數(shù)據(jù)脫敏算法進(jìn)行脫敏，支持多媒體動(dòng)態(tài)脫敏和靜態(tài)脫敏的多媒體脫敏模塊。

所述系統(tǒng)管理模塊包括為大數(shù)據(jù)脫敏系統(tǒng)構(gòu)建角色、對(duì)角色進(jìn)行功能授權(quán)并為系統(tǒng)給用戶分配角色保證系統(tǒng)使用安全的角色管理模塊，所述角色管理模塊創(chuàng)建脫敏系統(tǒng)的角色，并按照功能為角色分配權(quán)限；所述系統(tǒng)管理模塊還包括創(chuàng)建脫敏系統(tǒng)的操作用戶和接收用戶，并為系統(tǒng)的操作用戶分配角色的用戶管理模塊。

所述數(shù)據(jù)源管理模塊包括注冊并管理數(shù)據(jù)脫敏的數(shù)據(jù)源來源的源地址管理模塊、獲取數(shù)據(jù)源的元數(shù)據(jù)結(jié)構(gòu)并詳細(xì)描述數(shù)據(jù)源的元數(shù)據(jù)信息的元數(shù)據(jù)管理模塊、注冊靜態(tài)數(shù)據(jù)脫敏任務(wù)的目標(biāo)數(shù)據(jù)地址并進(jìn)行管理的目標(biāo)地址管理模塊，其中，數(shù)據(jù)源來源可以是數(shù)據(jù)庫、文件或多媒體(視頻、音頻、圖像)。

所述敏感數(shù)據(jù)發(fā)現(xiàn)模塊包括由用戶設(shè)定需要脫敏的敏感數(shù)據(jù)類型和該類型脫敏所對(duì)應(yīng)的敏感算法，系統(tǒng)自動(dòng)識(shí)別現(xiàn)有數(shù)據(jù)源中所設(shè)定的敏感類型下的敏感數(shù)據(jù)并交由用戶確認(rèn)和調(diào)整的敏感類型智能發(fā)現(xiàn)模塊；所述敏感數(shù)據(jù)發(fā)現(xiàn)模塊還包括由用戶預(yù)先定義數(shù)據(jù)源中的敏感數(shù)據(jù)和脫敏算法，系統(tǒng)自動(dòng)獲取預(yù)定義的敏感數(shù)據(jù)及算法來實(shí)現(xiàn)敏感數(shù)據(jù)的發(fā)現(xiàn)的敏感數(shù)據(jù)自定義模塊；所述敏感數(shù)據(jù)發(fā)現(xiàn)模塊還包括系統(tǒng)自動(dòng)發(fā)現(xiàn)數(shù)據(jù)源中的敏感數(shù)據(jù)并結(jié)合用戶預(yù)定義的敏感數(shù)據(jù)為用戶自動(dòng)發(fā)現(xiàn)敏感數(shù)據(jù)的智能敏感數(shù)據(jù)發(fā)現(xiàn)模塊。

所述脫敏任務(wù)管理模塊包括完成靜態(tài)脫敏任務(wù)配置的靜態(tài)脫敏任務(wù)模塊、完成動(dòng)態(tài)脫敏任務(wù)配置的動(dòng)態(tài)脫敏任務(wù)模塊以及在脫敏任務(wù)配置完成并執(zhí)行后實(shí)施監(jiān)控所有脫敏任務(wù)狀態(tài)的脫敏任務(wù)監(jiān)控模塊。

所述脫敏配置管理模塊包括用于管理敏感數(shù)據(jù)類別且可對(duì)敏感數(shù)據(jù)類別進(jìn)行添加、修改，并上傳敏感類型的訓(xùn)練數(shù)據(jù)的敏感類別管理模塊；所述脫敏配置管理模塊還包括為脫敏系統(tǒng)定義敏感數(shù)據(jù)并配置敏感數(shù)據(jù)的脫敏法則的自定義敏感數(shù)據(jù)管理模塊；所述脫敏配置管理模塊還包括依據(jù)實(shí)際需求設(shè)定敏感類型的特征、配置脫敏算法的參數(shù)并構(gòu)建算法實(shí)例的脫敏算法管理模塊；另外，所述脫敏配置管理模塊還包括將敏感數(shù)據(jù)與對(duì)應(yīng)的算法保存為脫敏策略并可對(duì)脫敏策略進(jìn)行查看與復(fù)用的脫敏策略管理模塊。

所述多級(jí)管理模塊包括實(shí)時(shí)獲取多級(jí)脫敏設(shè)備的數(shù)據(jù)信息，通過網(wǎng)絡(luò)拓?fù)鋱D展示設(shè)備的邏輯結(jié)構(gòu)、每個(gè)設(shè)備的狀態(tài)、設(shè)備的歸屬信息的設(shè)備態(tài)勢管理模塊；所述多級(jí)管理模塊還包括將頂層策略下發(fā)至各個(gè)子設(shè)備，實(shí)現(xiàn)策略的手動(dòng)下發(fā)與自動(dòng)下發(fā)的多級(jí)策略管理模塊；所述多級(jí)管理模塊還包括將設(shè)備分為主體和從體，實(shí)現(xiàn)主體設(shè)備與從體設(shè)備之間的通信與認(rèn)證的設(shè)備通信與認(rèn)證模塊；所述多級(jí)管理模塊還包括當(dāng)上級(jí)設(shè)備中已下發(fā)的策略被修改時(shí)，及時(shí)同步至各個(gè)下級(jí)設(shè)備并在下級(jí)設(shè)備的策略修改時(shí)，及時(shí)同步至上級(jí)處的設(shè)備間數(shù)據(jù)同步模塊。

所述大數(shù)據(jù)脫敏分析模塊包括收集系統(tǒng)中用戶操作日志、系統(tǒng)日志，存入數(shù)據(jù)脫敏日志庫中的日志收集模塊；所述大數(shù)據(jù)脫敏分析模塊還包括對(duì)脫敏日志進(jìn)行全文檢索，并對(duì)檢索結(jié)果進(jìn)行多維度統(tǒng)計(jì)的日志查詢與統(tǒng)計(jì)模塊；所述大數(shù)據(jù)脫敏分析模塊還包括展示數(shù)據(jù)脫敏設(shè)備中的敏感數(shù)據(jù)的數(shù)據(jù)流向的數(shù)據(jù)溯源模塊；所述大數(shù)據(jù)脫敏分析模塊還包括對(duì)數(shù)據(jù)脫敏的日志進(jìn)行實(shí)時(shí)分析，及時(shí)發(fā)現(xiàn)各種安全威脅和異常行為進(jìn)行告警，及時(shí)阻止危險(xiǎn)的安全審計(jì)與告警模塊。

本發(fā)明的一種用于大數(shù)據(jù)的脫敏方法，使用用于大數(shù)據(jù)的脫敏系統(tǒng)來實(shí)現(xiàn)，包括如下步驟：

s1、通過所述用于大數(shù)據(jù)的脫敏系統(tǒng)獲取用戶賬號(hào)及權(quán)限；

s2、使用所述步驟s1中的用戶賬號(hào)進(jìn)入所述用于大數(shù)據(jù)的脫敏系統(tǒng)；

s3、在所述用于大數(shù)據(jù)的脫敏系統(tǒng)中對(duì)需要進(jìn)行脫敏的數(shù)據(jù)進(jìn)行源數(shù)據(jù)注冊；

s4、在所述用于大數(shù)據(jù)的脫敏系統(tǒng)中進(jìn)行數(shù)據(jù)目標(biāo)地址注冊；

s5、選擇敏感數(shù)據(jù)發(fā)現(xiàn)的模式，并依據(jù)選擇的敏感數(shù)據(jù)發(fā)現(xiàn)模式進(jìn)行敏感數(shù)據(jù)發(fā)現(xiàn)；

s6、針對(duì)所述步驟s5中敏感數(shù)據(jù)發(fā)現(xiàn)的結(jié)果，進(jìn)行脫敏任務(wù)配置和監(jiān)控；

s7、按照所述步驟s6中的脫敏任務(wù)配置，對(duì)數(shù)據(jù)進(jìn)行脫敏處理；

s8、完成對(duì)敏感數(shù)據(jù)的脫敏處理，退出脫敏系統(tǒng)。

其中，所述對(duì)需要進(jìn)行托您的數(shù)據(jù)進(jìn)行源數(shù)據(jù)注冊包括如下步驟：

y1、向所述用于大數(shù)據(jù)的脫敏系統(tǒng)中添加源數(shù)據(jù)，并對(duì)源數(shù)據(jù)的詳細(xì)信息進(jìn)行描述；

y2、將描述的源數(shù)據(jù)信息提交給所述用于大數(shù)據(jù)的脫敏系統(tǒng)，向所述脫敏系統(tǒng)注冊源數(shù)據(jù)；

y3、所述用于大數(shù)據(jù)的脫敏系統(tǒng)通過源數(shù)據(jù)的信息驗(yàn)證源數(shù)據(jù)連接是否正常，驗(yàn)證是否成功，若是，則源數(shù)據(jù)連接成功，轉(zhuǎn)步驟y5；若否，則轉(zhuǎn)步驟y4；

y4、源數(shù)據(jù)注冊失敗，退出系統(tǒng)；

y5、源數(shù)據(jù)驗(yàn)證成功；

y6、獲取源數(shù)據(jù)的元數(shù)據(jù)結(jié)構(gòu)；

y7、對(duì)源數(shù)據(jù)的元數(shù)據(jù)進(jìn)行詳細(xì)的語義描述；

y8、源數(shù)據(jù)注冊成功。

所述在用于大數(shù)據(jù)的脫敏系統(tǒng)中進(jìn)行數(shù)據(jù)目標(biāo)地址注冊，包括如下步驟：

m1、向所述用于大數(shù)據(jù)的脫敏系統(tǒng)中添加目標(biāo)地址，并對(duì)目標(biāo)地址的詳細(xì)信息進(jìn)行描述；

m2、將描述的目標(biāo)地址信息提交給用于大數(shù)據(jù)的脫敏系統(tǒng)，向系統(tǒng)注冊目標(biāo)地址；

m3、所述用于大數(shù)據(jù)的脫敏系統(tǒng)通過目標(biāo)地址的信息驗(yàn)證目標(biāo)地址連接是否正常，判斷驗(yàn)證是否成功，若是，轉(zhuǎn)步驟m5；若否，轉(zhuǎn)步驟m4；

m4、目標(biāo)地址注冊失敗，退出系統(tǒng)；

m5、目標(biāo)地址驗(yàn)證成功；

m6、目標(biāo)地址注冊成功。

所述敏感數(shù)據(jù)發(fā)現(xiàn)包括如下步驟：

f1、選擇敏感數(shù)據(jù)的發(fā)現(xiàn)方式，若選擇敏感數(shù)據(jù)的發(fā)現(xiàn)方式為敏感數(shù)據(jù)自定義，轉(zhuǎn)到步驟f2；若選擇敏感數(shù)據(jù)的發(fā)現(xiàn)方式為敏感類型智能發(fā)現(xiàn)，轉(zhuǎn)到步驟f3；若選擇敏感數(shù)據(jù)的發(fā)現(xiàn)方式為智能敏感數(shù)據(jù)發(fā)現(xiàn)，則轉(zhuǎn)到步驟f5；

f2、用于大數(shù)據(jù)的脫敏系統(tǒng)從自定義敏感數(shù)據(jù)管理模塊中新增或者選擇預(yù)定義的敏感數(shù)據(jù)作為敏感數(shù)據(jù)發(fā)現(xiàn)的結(jié)果；轉(zhuǎn)到步驟f7；

f3、用戶只定義需要識(shí)別的敏感數(shù)據(jù)類型，轉(zhuǎn)到步驟f4；

f4、用于大數(shù)據(jù)的脫敏系統(tǒng)自動(dòng)發(fā)現(xiàn)數(shù)據(jù)源中的定義的敏感類型下的敏感數(shù)據(jù)，并將發(fā)現(xiàn)結(jié)果作為敏感數(shù)據(jù)發(fā)現(xiàn)的結(jié)果，轉(zhuǎn)到步驟f7；

f5、用于大數(shù)據(jù)的脫敏系統(tǒng)自動(dòng)發(fā)現(xiàn)數(shù)據(jù)源中的所有敏感數(shù)據(jù)，轉(zhuǎn)到f6；

f6、將自動(dòng)發(fā)現(xiàn)的所有敏感數(shù)據(jù)結(jié)果與自定義的敏感數(shù)據(jù)結(jié)果進(jìn)行合并作為敏感數(shù)據(jù)發(fā)現(xiàn)的結(jié)果，若二者出現(xiàn)沖突時(shí)，以自定義的敏感數(shù)據(jù)結(jié)果為準(zhǔn)，轉(zhuǎn)到f7；

f7、輸出敏感數(shù)據(jù)發(fā)現(xiàn)結(jié)果。

所述對(duì)敏感數(shù)據(jù)發(fā)現(xiàn)的結(jié)果進(jìn)行脫敏任務(wù)配置和監(jiān)控包括如下步驟：

t1、根據(jù)敏感數(shù)據(jù)發(fā)現(xiàn)的結(jié)果，新建脫敏任務(wù)；

t2、選擇脫敏任務(wù)的任務(wù)類型；

t3、判斷脫敏任務(wù)是否是靜態(tài)脫敏任務(wù)，若是，轉(zhuǎn)到步驟t4；若否，轉(zhuǎn)到步驟t12；

t4、開始靜態(tài)脫敏任務(wù)配置；

t5、選擇靜態(tài)脫敏任務(wù)中需要脫敏的數(shù)據(jù)源；

t6、選擇所述步驟t5中需要脫敏的數(shù)據(jù)源的敏感數(shù)據(jù)識(shí)別方式；

t7、依據(jù)所述步驟t6選擇的敏感數(shù)據(jù)識(shí)別方式識(shí)別數(shù)據(jù)源中的敏感數(shù)據(jù)；

t8、用戶對(duì)所述步驟t7中敏感數(shù)據(jù)的識(shí)別結(jié)果進(jìn)行調(diào)整和確認(rèn)；

t9、設(shè)定數(shù)據(jù)源的數(shù)據(jù)子集抽取條件；

t10、設(shè)定脫敏數(shù)據(jù)輸出的目標(biāo)地址；

t11、執(zhí)行靜態(tài)脫敏任務(wù)，轉(zhuǎn)到步驟t19；

t12、開始動(dòng)態(tài)脫敏任務(wù)配置；

t13、選擇動(dòng)態(tài)脫敏任務(wù)重需要脫敏的數(shù)據(jù)源；

t14、選擇所述步驟t13中需要脫敏的數(shù)據(jù)源的敏感數(shù)據(jù)識(shí)別方式；

t15、依據(jù)所述步驟t14選擇的敏感數(shù)據(jù)識(shí)別方式識(shí)別數(shù)據(jù)源中的敏感數(shù)據(jù)；

t16、用戶對(duì)所述步驟t15中的敏感數(shù)據(jù)的識(shí)別結(jié)果進(jìn)行調(diào)整和確認(rèn)；

t17、設(shè)定數(shù)據(jù)脫敏任務(wù)的作用對(duì)象；

t18、執(zhí)行動(dòng)態(tài)脫敏任務(wù)；

t19、實(shí)時(shí)監(jiān)控脫敏任務(wù)。

本發(fā)明實(shí)現(xiàn)了一種通用的大數(shù)據(jù)脫敏的方法，能夠?qū)崿F(xiàn)結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)類型的敏感數(shù)據(jù)脫敏；采用規(guī)則與人工智能結(jié)合的方式識(shí)別敏感數(shù)據(jù)，大大提高了敏感數(shù)據(jù)識(shí)別準(zhǔn)確率；本發(fā)明提出三大類的敏感數(shù)據(jù)發(fā)現(xiàn)方式，簡化了用戶的操作，提升了脫敏系統(tǒng)的易用性；本發(fā)明采用多級(jí)管理方式，實(shí)現(xiàn)了多級(jí)部門的敏感數(shù)據(jù)脫敏及監(jiān)管的問題；本發(fā)明通過對(duì)大數(shù)據(jù)脫敏的監(jiān)控與分析，實(shí)現(xiàn)了脫敏實(shí)時(shí)審計(jì)，監(jiān)測異常行為，及時(shí)告警，防止敏感數(shù)據(jù)的泄露。

附圖說明

圖1是本發(fā)明的用于大數(shù)據(jù)的脫敏系統(tǒng)整體框架結(jié)構(gòu)示意圖；

圖2是本發(fā)明的用于大數(shù)據(jù)的脫敏方法主體流程示意圖；

圖3是本發(fā)明的用于大數(shù)據(jù)的脫敏方法中源數(shù)據(jù)注冊流程示意圖；

圖4是本發(fā)明的用于大數(shù)據(jù)的脫敏方法中目標(biāo)地址注冊流程示意圖；

圖5是本發(fā)明的用于大數(shù)據(jù)的脫敏方法中敏感數(shù)據(jù)發(fā)現(xiàn)流程示意圖；

圖6是本發(fā)明的用于大數(shù)據(jù)的脫敏方法中脫敏任務(wù)配置和監(jiān)控流程示意圖；

圖7是本發(fā)明的用于大數(shù)據(jù)的脫敏方法中脫敏任務(wù)監(jiān)控采用的多級(jí)管理流程示意圖。

具體實(shí)施方式

為了更好的理解本發(fā)明，下面結(jié)合附圖詳細(xì)說明本發(fā)明。

如圖1所示，本發(fā)明的一種用于大數(shù)據(jù)的脫敏系統(tǒng)，包括管理脫敏數(shù)據(jù)類型的數(shù)據(jù)庫類型管理模塊、為脫敏系統(tǒng)構(gòu)建角色并對(duì)角色進(jìn)行功能授權(quán)和管理的系統(tǒng)管理模塊、為脫敏系統(tǒng)提供數(shù)據(jù)源管理的數(shù)據(jù)源管理模塊、自動(dòng)發(fā)現(xiàn)數(shù)據(jù)源中的敏感數(shù)據(jù)并交由用戶調(diào)整與確認(rèn)的敏感數(shù)據(jù)發(fā)現(xiàn)模塊、對(duì)所述大數(shù)據(jù)脫敏系統(tǒng)的脫敏任務(wù)進(jìn)行配置和管理的脫敏任務(wù)管理模塊、管理和定義敏感數(shù)據(jù)并進(jìn)行脫敏算法和脫敏策略管理的脫敏配置管理模塊、實(shí)現(xiàn)多級(jí)脫敏設(shè)備的狀態(tài)監(jiān)控和策略下發(fā)以及數(shù)據(jù)同步的多級(jí)管理模塊、對(duì)采集的脫敏日志數(shù)據(jù)進(jìn)行實(shí)時(shí)分析保障脫敏系統(tǒng)安全的大數(shù)據(jù)脫敏分析模、通過對(duì)敏感數(shù)據(jù)進(jìn)行特征分析來進(jìn)行敏感數(shù)據(jù)分類的敏感數(shù)據(jù)分類模塊。

其中，所述數(shù)據(jù)庫類型管理模塊包括通過智能發(fā)現(xiàn)數(shù)據(jù)庫中的敏感字段及敏感數(shù)據(jù)，并采用數(shù)據(jù)脫敏算法對(duì)敏感字段和數(shù)據(jù)進(jìn)行脫敏且支持動(dòng)態(tài)脫敏和靜態(tài)脫敏的數(shù)據(jù)庫脫敏模塊；還包括通過解析文件內(nèi)容，采用敏感數(shù)據(jù)識(shí)別算法自動(dòng)發(fā)現(xiàn)文件中的敏感數(shù)據(jù)，采用數(shù)據(jù)脫敏算法對(duì)敏感數(shù)據(jù)進(jìn)行脫敏，支持文件的動(dòng)態(tài)脫敏和靜態(tài)脫敏的文件脫敏模塊；所述數(shù)據(jù)庫類型管理模塊還包括通過分析圖片、音頻、視頻等多媒體信息，智能發(fā)現(xiàn)多媒體信息中的敏感數(shù)據(jù)，采用相應(yīng)的數(shù)據(jù)脫敏算法進(jìn)行脫敏，支持多媒體動(dòng)態(tài)脫敏和靜態(tài)脫敏的多媒體脫敏模塊。

所述系統(tǒng)管理模塊具體功能分為兩個(gè)部分，一部分是為大數(shù)據(jù)脫敏系統(tǒng)構(gòu)建角色，度角色進(jìn)行功能授權(quán)，并為系統(tǒng)用戶分配角色，保證系統(tǒng)的使用安全；另一部分是管理動(dòng)態(tài)脫敏的應(yīng)用賬號(hào)。具體地說，所述系統(tǒng)管理模塊包括為大數(shù)據(jù)脫敏系統(tǒng)構(gòu)建角色、對(duì)角色進(jìn)行功能授權(quán)并為系統(tǒng)給用戶分配角色保證系統(tǒng)使用安全的角色管理模塊；所述系統(tǒng)管理模塊還包括創(chuàng)建脫敏系統(tǒng)的操作用戶和接收用戶，并為系統(tǒng)的操作用戶分配角色的用戶管理模塊。

所述數(shù)據(jù)源管理模塊主要為系統(tǒng)提供數(shù)據(jù)源的注冊、元數(shù)據(jù)管理，為數(shù)據(jù)脫敏任務(wù)提供數(shù)據(jù)來源及數(shù)據(jù)描述，同時(shí)注冊目標(biāo)地址，為靜態(tài)脫敏任務(wù)的執(zhí)行結(jié)果提供目標(biāo)存儲(chǔ)位置。具體地說，所述數(shù)據(jù)源管理模塊包括注冊并管理數(shù)據(jù)脫敏的數(shù)據(jù)源來源的源地址管理模塊、獲取數(shù)據(jù)源的元數(shù)據(jù)結(jié)構(gòu)并詳細(xì)描述數(shù)據(jù)源的元數(shù)據(jù)信息的元數(shù)據(jù)管理模塊、注冊靜態(tài)數(shù)據(jù)脫敏任務(wù)的目標(biāo)數(shù)據(jù)地址并進(jìn)行管理的目標(biāo)地址管理模塊。

所述敏感數(shù)據(jù)發(fā)現(xiàn)模塊是自動(dòng)發(fā)現(xiàn)數(shù)據(jù)源中的敏感數(shù)據(jù)，并交由用戶調(diào)整與確認(rèn)。具體地說，所述敏感數(shù)據(jù)發(fā)現(xiàn)模塊包括由用戶設(shè)定需要脫敏的敏感數(shù)據(jù)類型和該類型脫敏所對(duì)應(yīng)的敏感算法，系統(tǒng)自動(dòng)識(shí)別現(xiàn)有數(shù)據(jù)源中所設(shè)定的敏感類型下的敏感數(shù)據(jù)并交由用戶確認(rèn)和調(diào)整的敏感類型智能發(fā)現(xiàn)模塊；所述敏感數(shù)據(jù)發(fā)現(xiàn)模塊還包括有用戶預(yù)先定義數(shù)據(jù)源中的敏感數(shù)據(jù)和脫敏算法，當(dāng)用戶選擇敏感數(shù)據(jù)自定義方式時(shí)，系統(tǒng)自動(dòng)獲取預(yù)定義的敏感數(shù)據(jù)及算法來實(shí)現(xiàn)敏感數(shù)據(jù)的發(fā)現(xiàn)并可由用戶進(jìn)行調(diào)整的敏感數(shù)據(jù)自定義模塊；所述敏感數(shù)據(jù)發(fā)現(xiàn)模塊還包括系統(tǒng)自動(dòng)發(fā)現(xiàn)數(shù)據(jù)源中的敏感數(shù)據(jù)并結(jié)合用戶預(yù)定義的敏感數(shù)據(jù)為用戶自動(dòng)發(fā)現(xiàn)敏感數(shù)據(jù)，將結(jié)果返回給用戶，由用戶進(jìn)行敏感數(shù)據(jù)調(diào)整事項(xiàng)敏感數(shù)據(jù)發(fā)現(xiàn)的智能敏感數(shù)據(jù)發(fā)現(xiàn)模塊。

所述脫敏任務(wù)管理模塊是對(duì)用于大數(shù)據(jù)的脫敏系統(tǒng)的靜態(tài)脫敏任務(wù)、動(dòng)態(tài)脫敏任務(wù)進(jìn)行配置與管理。具體地說，所述脫敏任務(wù)管理模塊包括完成靜態(tài)脫敏任務(wù)配置的靜態(tài)脫敏任務(wù)模塊、完成動(dòng)態(tài)脫敏任務(wù)配置的動(dòng)態(tài)脫敏任務(wù)模塊以及在脫敏任務(wù)配置完成并執(zhí)行后實(shí)施監(jiān)控所有脫敏任務(wù)狀態(tài)的脫敏任務(wù)監(jiān)控模塊。其中，所述靜態(tài)脫敏任務(wù)模塊通過選擇靜態(tài)脫敏任務(wù)的數(shù)據(jù)源、選擇敏感數(shù)據(jù)發(fā)現(xiàn)方式、定義敏感數(shù)據(jù)、設(shè)定數(shù)據(jù)子集抽取條件及目標(biāo)數(shù)據(jù)輸出位置，完成靜態(tài)脫敏任務(wù)的配置；所述動(dòng)態(tài)脫敏任務(wù)模塊銅鼓歐選擇動(dòng)態(tài)脫敏任務(wù)的數(shù)據(jù)源、選擇敏感數(shù)據(jù)發(fā)現(xiàn)方式、定義敏感數(shù)據(jù)及目標(biāo)應(yīng)用賬號(hào)，完成動(dòng)態(tài)脫敏任務(wù)的配置；所述脫敏任務(wù)監(jiān)控模塊在脫敏配置任務(wù)完成并執(zhí)行后，實(shí)時(shí)監(jiān)控所有任務(wù)的狀態(tài)，查看脫敏任務(wù)的執(zhí)行狀態(tài)。

所述脫敏配置管理模塊在敏感數(shù)據(jù)分類的基礎(chǔ)上，管理敏感數(shù)據(jù)的類型，并定義敏感數(shù)據(jù)，管理脫敏算法和脫敏策略。具體地說，所述脫敏配置管理模塊包括用于管理敏感數(shù)據(jù)類別且可對(duì)敏感數(shù)據(jù)類別進(jìn)行添加、修改，并上傳敏感類型的訓(xùn)練數(shù)據(jù)的敏感類別管理模塊；所述脫敏配置管理模塊還包括為脫敏系統(tǒng)定義敏感數(shù)據(jù)并配置敏感數(shù)據(jù)的脫敏法則的自定義敏感數(shù)據(jù)管理模塊；所述脫敏配置管理模塊還包括依據(jù)實(shí)際需求設(shè)定敏感類型的特征、配置脫敏算法的參數(shù)并構(gòu)建算法實(shí)例的脫敏算法管理模塊；另外，所述脫敏配置管理模塊還包括將敏感數(shù)據(jù)與對(duì)應(yīng)的算法保存為脫敏策略并可對(duì)脫敏策略進(jìn)行查看與復(fù)用的脫敏策略管理模塊。

所述多級(jí)管理模塊主要是通過構(gòu)建自上而下的管理方式，實(shí)現(xiàn)多級(jí)脫敏設(shè)備的狀態(tài)監(jiān)控、策略下發(fā)、數(shù)據(jù)同步的功能。具體地說，所述多級(jí)管理模塊包括實(shí)時(shí)獲取多級(jí)脫敏設(shè)備的數(shù)據(jù)信息，通過網(wǎng)絡(luò)拓?fù)鋱D展示設(shè)備的邏輯結(jié)構(gòu)、每個(gè)設(shè)備的狀態(tài)、設(shè)備的歸屬信息的設(shè)備態(tài)勢管理模塊；所述多級(jí)管理模塊還包括將頂層策略下發(fā)至各個(gè)子設(shè)備，實(shí)現(xiàn)策略的手動(dòng)下發(fā)與自動(dòng)下發(fā)的多級(jí)策略管理模塊；所述多級(jí)管理模塊還包括將設(shè)備分為主體和從體，實(shí)現(xiàn)主體設(shè)備與從體設(shè)備之間的通信與認(rèn)證的設(shè)備通信與認(rèn)證模塊；所述多級(jí)管理模塊還包括當(dāng)上級(jí)設(shè)備中已下發(fā)的策略被修改時(shí)，及時(shí)同步至各個(gè)下級(jí)設(shè)備并在下級(jí)設(shè)備的策略修改時(shí)，及時(shí)同步至上級(jí)處的設(shè)備間數(shù)據(jù)同步模塊。

所述大數(shù)據(jù)脫敏分析模塊主要是通過對(duì)采集的脫敏日志數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，將脫敏用戶的異常行為、敏感數(shù)據(jù)的非法使用及設(shè)備的異常情況進(jìn)行告警，實(shí)時(shí)保障脫敏系統(tǒng)的安全。具體地說，所述大數(shù)據(jù)脫敏分析模塊包括收集系統(tǒng)中用戶操作日志、系統(tǒng)日志，存入數(shù)據(jù)脫敏日志庫中的日志收集模塊；所述大數(shù)據(jù)脫敏分析模塊還包括對(duì)脫敏日志進(jìn)行全文檢索，并對(duì)檢索結(jié)果進(jìn)行多維度統(tǒng)計(jì)的日志查詢與統(tǒng)計(jì)模塊；所述大數(shù)據(jù)脫敏分析模塊還包括展示數(shù)據(jù)脫敏設(shè)備中的敏感數(shù)據(jù)的數(shù)據(jù)流向的數(shù)據(jù)溯源模塊；所述大數(shù)據(jù)脫敏分析模塊還包括對(duì)數(shù)據(jù)脫敏的日志進(jìn)行實(shí)時(shí)分析，及時(shí)發(fā)現(xiàn)各種安全威脅和異常行為進(jìn)行告警，及時(shí)阻止危險(xiǎn)的安全審計(jì)與告警模塊。

本發(fā)明的一種用于大數(shù)據(jù)的脫敏方法，使用用于大數(shù)據(jù)的脫敏系統(tǒng)來實(shí)現(xiàn)，包括如下步驟：

s1、通過所述用于大數(shù)據(jù)的脫敏系統(tǒng)獲取用戶賬號(hào)及權(quán)限；

s2、使用所述步驟s1中的用戶賬號(hào)進(jìn)入所述用于大數(shù)據(jù)的脫敏系統(tǒng)；

s3、在所述用于大數(shù)據(jù)的脫敏系統(tǒng)中對(duì)需要進(jìn)行脫敏的數(shù)據(jù)進(jìn)行源數(shù)據(jù)注冊；

s4、在所述用于大數(shù)據(jù)的脫敏系統(tǒng)中進(jìn)行數(shù)據(jù)目標(biāo)地址注冊；

s5、選擇敏感數(shù)據(jù)發(fā)現(xiàn)的模式，并依據(jù)選擇的敏感數(shù)據(jù)發(fā)現(xiàn)模式進(jìn)行敏感數(shù)據(jù)發(fā)現(xiàn)；

s6、針對(duì)所述步驟s5中敏感數(shù)據(jù)發(fā)現(xiàn)的結(jié)果，進(jìn)行脫敏任務(wù)配置和監(jiān)控；

s7、按照所述步驟s6中的脫敏任務(wù)配置，對(duì)數(shù)據(jù)進(jìn)行脫敏處理；

s8、完成對(duì)敏感數(shù)據(jù)的脫敏處理，退出脫敏系統(tǒng)。

其中，所述對(duì)需要進(jìn)行托您的數(shù)據(jù)進(jìn)行源數(shù)據(jù)注冊包括如下步驟：

y1、向所述用于大數(shù)據(jù)的脫敏系統(tǒng)中添加源數(shù)據(jù)，并對(duì)源數(shù)據(jù)的詳細(xì)信息進(jìn)行描述；

y2、將描述的源數(shù)據(jù)信息提交給所述用于大數(shù)據(jù)的脫敏系統(tǒng)，向所述脫敏系統(tǒng)注冊源數(shù)據(jù)；

y3、所述用于大數(shù)據(jù)的脫敏系統(tǒng)通過源數(shù)據(jù)的信息驗(yàn)證源數(shù)據(jù)連接是否正常，驗(yàn)證是否成功，若是，則源數(shù)據(jù)連接成功，轉(zhuǎn)步驟y5；若否，則轉(zhuǎn)步驟y4；

y4、源數(shù)據(jù)注冊失敗，退出系統(tǒng)；

y5、源數(shù)據(jù)驗(yàn)證成功；

y6、獲取源數(shù)據(jù)的元數(shù)據(jù)結(jié)構(gòu)；

y7、對(duì)源數(shù)據(jù)的元數(shù)據(jù)進(jìn)行詳細(xì)的語義描述；

y8、源數(shù)據(jù)注冊成功。

所述在用于大數(shù)據(jù)的脫敏系統(tǒng)中進(jìn)行數(shù)據(jù)目標(biāo)地址注冊，包括如下步驟：

m1、向所述用于大數(shù)據(jù)的脫敏系統(tǒng)中添加目標(biāo)地址，并對(duì)目標(biāo)地址的詳細(xì)信息進(jìn)行描述；

m2、將描述的目標(biāo)地址信息提交給用于大數(shù)據(jù)的脫敏系統(tǒng)，向系統(tǒng)注冊目標(biāo)地址；

m3、所述用于大數(shù)據(jù)的脫敏系統(tǒng)通過目標(biāo)地址的信息驗(yàn)證目標(biāo)地址連接是否正常，判斷驗(yàn)證是否成功，若是，轉(zhuǎn)步驟m5；若否，轉(zhuǎn)步驟m4；

m4、目標(biāo)地址注冊失敗，退出系統(tǒng)；

m5、目標(biāo)地址驗(yàn)證成功；

m6、目標(biāo)地址注冊成功。

所述敏感數(shù)據(jù)發(fā)現(xiàn)包括如下步驟：

f1、選擇敏感數(shù)據(jù)的發(fā)現(xiàn)方式，若選擇敏感數(shù)據(jù)的發(fā)現(xiàn)方式為敏感數(shù)據(jù)自定義，轉(zhuǎn)到步驟f2；若選擇敏感數(shù)據(jù)的發(fā)現(xiàn)方式為敏感類型智能發(fā)現(xiàn)，轉(zhuǎn)到步驟f3；若選擇敏感數(shù)據(jù)的發(fā)現(xiàn)方式為智能敏感數(shù)據(jù)發(fā)現(xiàn)，則轉(zhuǎn)到步驟f5；

f2、用于大數(shù)據(jù)的脫敏系統(tǒng)從自定義敏感數(shù)據(jù)管理模塊中新增或者選擇預(yù)定義的敏感數(shù)據(jù)作為敏感數(shù)據(jù)發(fā)現(xiàn)的結(jié)果；轉(zhuǎn)到步驟f7；

f3、用戶只定義需要識(shí)別的敏感數(shù)據(jù)類型，轉(zhuǎn)到步驟f4；

f4、用于大數(shù)據(jù)的脫敏系統(tǒng)自動(dòng)發(fā)現(xiàn)數(shù)據(jù)源中的定義的敏感類型下的敏感數(shù)據(jù)，并將發(fā)現(xiàn)結(jié)果作為敏感數(shù)據(jù)發(fā)現(xiàn)的結(jié)果，轉(zhuǎn)到步驟f7；

f5、用于大數(shù)據(jù)的脫敏系統(tǒng)自動(dòng)發(fā)現(xiàn)數(shù)據(jù)源中的所有敏感數(shù)據(jù)，轉(zhuǎn)到f6；

f6、將自動(dòng)發(fā)現(xiàn)的所有敏感數(shù)據(jù)結(jié)果與自定義的敏感數(shù)據(jù)結(jié)果進(jìn)行合并作為敏感數(shù)據(jù)發(fā)現(xiàn)的結(jié)果，若二者出現(xiàn)沖突時(shí)，以自定義的敏感數(shù)據(jù)結(jié)果為準(zhǔn)，轉(zhuǎn)到f7；

f7、輸出敏感數(shù)據(jù)發(fā)現(xiàn)結(jié)果。

所述對(duì)敏感數(shù)據(jù)發(fā)現(xiàn)的結(jié)果進(jìn)行脫敏任務(wù)配置和監(jiān)控包括如下步驟：

t1、根據(jù)敏感數(shù)據(jù)發(fā)現(xiàn)的結(jié)果，新建脫敏任務(wù)；

t2、選擇脫敏任務(wù)的任務(wù)類型；

t3、判斷脫敏任務(wù)是否是靜態(tài)脫敏任務(wù)，若是，轉(zhuǎn)到步驟t4；若否，轉(zhuǎn)到步驟t12；

t4、開始靜態(tài)脫敏任務(wù)配置；

t5、選擇靜態(tài)脫敏任務(wù)中需要脫敏的數(shù)據(jù)源；

t6、選擇所述步驟t5中需要脫敏的數(shù)據(jù)源的敏感數(shù)據(jù)識(shí)別方式；

t7、依據(jù)所述步驟t6選擇的敏感數(shù)據(jù)識(shí)別方式識(shí)別數(shù)據(jù)源中的敏感數(shù)據(jù)；

t8、用戶對(duì)所述步驟t7中敏感數(shù)據(jù)的識(shí)別結(jié)果進(jìn)行調(diào)整和確認(rèn)；

t9、設(shè)定數(shù)據(jù)源的數(shù)據(jù)子集抽取條件；

t10、設(shè)定脫敏數(shù)據(jù)輸出的目標(biāo)地址；

t11、執(zhí)行靜態(tài)脫敏任務(wù)，轉(zhuǎn)到步驟t19；

t12、開始動(dòng)態(tài)脫敏任務(wù)配置；

t13、選擇動(dòng)態(tài)脫敏任務(wù)重需要脫敏的數(shù)據(jù)源；

t14、選擇所述步驟t13中需要脫敏的數(shù)據(jù)源的敏感數(shù)據(jù)識(shí)別方式；

t15、依據(jù)所述步驟t14選擇的敏感數(shù)據(jù)識(shí)別方式識(shí)別數(shù)據(jù)源中的敏感數(shù)據(jù)；

t16、用戶對(duì)所述步驟t15中的敏感數(shù)據(jù)的識(shí)別結(jié)果進(jìn)行調(diào)整和確認(rèn)；

t17、設(shè)定數(shù)據(jù)脫敏任務(wù)的作用對(duì)象；

t18、執(zhí)行動(dòng)態(tài)脫敏任務(wù)；

t19、實(shí)時(shí)監(jiān)控脫敏任務(wù)。

本發(fā)明實(shí)現(xiàn)了一種通用的大數(shù)據(jù)脫敏的方法，能夠?qū)崿F(xiàn)結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)類型的敏感數(shù)據(jù)脫敏；采用規(guī)則與人工智能結(jié)合的方式識(shí)別敏感數(shù)據(jù)，大大提高了敏感數(shù)據(jù)識(shí)別準(zhǔn)確率；本發(fā)明提出三大類的敏感數(shù)據(jù)發(fā)現(xiàn)方式，簡化了用戶的操作，提升了脫敏系統(tǒng)的易用性；本發(fā)明采用多級(jí)管理方式，實(shí)現(xiàn)了多級(jí)部門的敏感數(shù)據(jù)脫敏及監(jiān)管的問題；本發(fā)明通過對(duì)大數(shù)據(jù)脫敏的監(jiān)控與分析，實(shí)現(xiàn)了脫敏實(shí)時(shí)審計(jì)，監(jiān)測異常行為，及時(shí)告警，防止敏感數(shù)據(jù)的泄露。

以上所述，僅為本發(fā)明較佳的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明披露的技術(shù)范圍內(nèi)，根據(jù)本發(fā)明的技術(shù)方案及其發(fā)明構(gòu)思加以等同替換或改變，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。