一種多樣化數(shù)據(jù)接口質量檢查管理的方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種多樣化數(shù)據(jù)接口質量檢查管理的方法及系統(tǒng)，方法包括步驟1：通過數(shù)據(jù)文件接口獲取多個數(shù)據(jù)文件；步驟2：判斷多個數(shù)據(jù)文件中是否存在異常文件，如果是，執(zhí)行步驟3；否則，執(zhí)行步驟4；步驟3：建立問題接口目錄，將獲取異常文件的數(shù)據(jù)文件接口存入問題接口目錄，發(fā)出告警，執(zhí)行步驟1；步驟4：將所有數(shù)據(jù)文件中的分隔符和換行符統(tǒng)一轉換為設定的符號；步驟5：將轉換后的所有數(shù)據(jù)文件轉移到加載ETL目錄下；步驟6：ETL工具識別所有數(shù)據(jù)文件，并將所有數(shù)據(jù)文件加載到數(shù)據(jù)庫中。本發(fā)明通過自動化的數(shù)據(jù)接口文件質量檢查和短信提醒功能，可以有效的減少維護人員在此部分的手工操作工作量。
【專利說明】一種多樣化數(shù)據(jù)接口質量檢查管理的方法及系統(tǒng)
【技術領域】
[0001]本發(fā)明涉及一種多樣化數(shù)據(jù)接口質量檢查管理的方法及系統(tǒng)，屬于計算機【技術領域】。
【背景技術】
[0002]目前各系統(tǒng)功能專業(yè)性強，系統(tǒng)中間的數(shù)據(jù)接口交互頻繁，且各系統(tǒng)廠家具有各自的數(shù)據(jù)接口文件規(guī)范。
[0003]當前的數(shù)據(jù)接口檢查只能識別“缺少文件我們與數(shù)據(jù)接口提供方約定了一次傳送文件的完整性)這一種情況，且不能自動化進行處理和短信告警。另外對空文件，文件大小異常等其他異常情況均無法做出識別。
【發(fā)明內容】
[0004]本發(fā)明所要解決的技術問題是，針對現(xiàn)有技術的不足，提供一種從數(shù)據(jù)文件層面對數(shù)據(jù)接口進行初步的質量檢查和提醒，如大小，空文件，缺少文件等情況，避免數(shù)據(jù)入庫后對應用產(chǎn)生了影響的多樣化數(shù)據(jù)接口質量檢查管理的方法。
[0005]本發(fā)明解決上述技術問題的技術方案如下:一種多樣化數(shù)據(jù)接口質量檢查管理的方法，具體包括以下步驟:
[0006]步驟1:通過數(shù)據(jù)文件接口獲取多個數(shù)據(jù)文件；
[0007]步驟2:判斷多個數(shù)據(jù)文件中是否存在異常文件，如果是，執(zhí)行步驟3 ；否則，執(zhí)行步驟4 ；
[0008]步驟3:建立問題接口目錄，將獲取異常文件的數(shù)據(jù)文件接口存入問題接口目錄，發(fā)出告警，執(zhí)行步驟1；
[0009]步驟4:將所有數(shù)據(jù)文件中的分隔符和換行符統(tǒng)一轉換為設定的符號；
[0010]步驟5:將轉換后的所有數(shù)據(jù)文件轉移到加載￡1目錄下；
[0011]步驟6:211工具識別所有數(shù)據(jù)文件，并將所有數(shù)據(jù)文件加載到數(shù)據(jù)庫中，完成數(shù)據(jù)管理。
[0012]本發(fā)明的有益效果是:本發(fā)明通過自動化的數(shù)據(jù)接口文件質量檢查和短信提醒功能，可以有效的減少維護人員在此部分的手工操作工作量，同時可以周末和節(jié)假日中，全局掌握系統(tǒng)數(shù)據(jù)文件接口的到達情況，確保系統(tǒng)的穩(wěn)健運營。
[0013]在上述技術方案的基礎上，本發(fā)明還可以做如下改進。
[0014]進一步，步驟1中獲取數(shù)據(jù)文件的方法為:
[0015]第一種獲取數(shù)據(jù)文件的方法:數(shù)據(jù)提供方發(fā)送到數(shù)據(jù)文件接口，數(shù)據(jù)文件接口接收到多個數(shù)據(jù)文件；
[0016]或者，第二種獲取數(shù)據(jù)文件的方法:通過￡11工具，數(shù)據(jù)文件接口主動下載得到多個數(shù)據(jù)文件。
[0017]進一步，所述步驟2具體包括以下步驟:
[0018]步驟2.1:通過判斷多個數(shù)據(jù)文件的數(shù)量是否與預先約定的數(shù)量相同來判斷數(shù)據(jù)文件是否完整，如果是，執(zhí)行步驟2.2 ；否則，執(zhí)行步驟3 ；
[0019]步驟2.2:判斷多個數(shù)據(jù)文件中是否包含空文件，如果是，執(zhí)行步驟3 ；否則，執(zhí)行步驟2.3 ；
[0020]步驟2.3:判斷多個數(shù)據(jù)文件的記錄數(shù)是否下降，如果是，執(zhí)行步驟3 ；否則，執(zhí)行步驟4。
[0021]進一步，所述步驟3具體包括以下步驟:
[0022]步驟3.1:判斷多個數(shù)據(jù)文件是采用第一種獲取數(shù)據(jù)文件的方法還是第二種獲取數(shù)據(jù)文件的方法獲得的，如果是第一種，執(zhí)行步驟3.2 ；否則，執(zhí)行步驟3.3 ；
[0023]步驟3.2:建立問題接口目錄，將獲取異常文件的數(shù)據(jù)文件接口存入問題接口目錄，發(fā)出告警，將告警信息發(fā)送到數(shù)據(jù)提供方，請求重新發(fā)送數(shù)據(jù)文件，執(zhí)行步驟1 ；
[0024]步驟3.3:建立問題接口目錄，將獲取異常文件的數(shù)據(jù)文件接口存入問題接口目錄，，每間隔預設間隔時間，執(zhí)行步驟1。
[0025]采用上述進一步技術方案的有益效果是，建立問題接口目錄，實現(xiàn)自動檢查并通過短信提醒當前數(shù)據(jù)接口的全局狀態(tài)和問題，方便維護人員針對問題與對應的源數(shù)據(jù)接口提供方進行及時的溝通處理。
[0026]進一步，所述步驟2.3判斷數(shù)據(jù)文件記錄數(shù)是否下降的方法是:判斷數(shù)據(jù)文件接口本次獲取的所有數(shù)據(jù)文件數(shù)量是否小于本數(shù)據(jù)文件接口上一周期獲取的數(shù)據(jù)文件數(shù)量，如果是，本次獲取的數(shù)據(jù)文件為異常文件，執(zhí)行步驟3 ；否則，數(shù)據(jù)文件為正常文件，執(zhí)行步驟4。
[0027]本發(fā)明所要解決的技術問題是，針對現(xiàn)有技術的不足，提供一種從數(shù)據(jù)文件層面對數(shù)據(jù)接口進行初步的質量檢查和提醒，如大小，空文件，缺少文件等情況，避免數(shù)據(jù)入庫后對應用產(chǎn)生了影響的多樣化數(shù)據(jù)接口質量檢查管理的系統(tǒng)。
[0028]本發(fā)明解決上述技術問題的技術方案如下:一種多樣化數(shù)據(jù)接口質量檢查管理的系統(tǒng)，包括數(shù)據(jù)獲取模塊、異常判斷模塊、異常處理模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)加載模塊和數(shù)據(jù)存儲模塊；
[0029]所述數(shù)據(jù)獲取模塊用于通過數(shù)據(jù)文件接口獲取多個數(shù)據(jù)文件；
[0030]所述異常判斷模塊用于判斷多個數(shù)據(jù)文件中是否存在異常文件，如果是，觸發(fā)異常處理模塊；否則，觸發(fā)數(shù)據(jù)處理模塊；
[0031]所述異常處理模塊用于建立問題接口目錄，將獲取異常文件的數(shù)據(jù)文件接口存入問題接口目錄，發(fā)出告警，觸發(fā)數(shù)據(jù)獲取模塊；
[0032]所述數(shù)據(jù)處理模塊用于將所有數(shù)據(jù)文件中的分隔符和換行符統(tǒng)一轉換為設定的符號；
[0033]所述數(shù)據(jù)加載模塊用于將轉換后的所有數(shù)據(jù)文件轉移到加載￡11目錄下；
[0034]所述數(shù)據(jù)存儲模塊用于￡11工具識別所有數(shù)據(jù)文件，并將所有數(shù)據(jù)文件加載到數(shù)據(jù)庫中，完成數(shù)據(jù)管理。
[0035]本發(fā)明的有益效果是:本發(fā)明通過自動化的數(shù)據(jù)接口文件質量檢查和短信提醒功能，可以有效的減少維護人員在此部分的手工操作工作量，同時可以周末和節(jié)假日中，全局掌握系統(tǒng)數(shù)據(jù)文件接口的到達情況，確保系統(tǒng)的穩(wěn)健運營。
[0036]在上述技術方案的基礎上，本發(fā)明還可以做如下改進。
[0037]進一步，所述數(shù)據(jù)獲取模塊中獲取數(shù)據(jù)文件的方法為:
[0038]第一種獲取數(shù)據(jù)文件的方法:數(shù)據(jù)提供方發(fā)送到數(shù)據(jù)文件接口，數(shù)據(jù)文件接口接收到多個數(shù)據(jù)文件；
[0039]或者，第二種獲取數(shù)據(jù)文件的方法:通過￡11工具，數(shù)據(jù)文件接口主動下載得到多個數(shù)據(jù)文件。
[0040]進一步，所述異常判斷模塊包括完整判斷模塊、空文件判斷模塊和文件數(shù)判斷模塊；
[0041]所述完整判斷模塊用于通過判斷多個數(shù)據(jù)文件的數(shù)量是否與預先約定的數(shù)量相同來判斷數(shù)據(jù)文件是否完整，如果是，觸發(fā)空文件判斷模塊；否則，觸發(fā)異常處理模塊；
[0042]所述空文件判斷模塊用于判斷多個數(shù)據(jù)文件中是否包含空文件，如果是，觸發(fā)異常處理模塊；否則，觸發(fā)文件數(shù)判斷模塊；
[0043]所述文件數(shù)判斷模塊用于判斷多個數(shù)據(jù)文件的記錄數(shù)是否下降，如果是，觸發(fā)異常處理模塊；否則，觸發(fā)數(shù)據(jù)處理模塊。
[0044]進一步，所述異常處理模塊包括方法判斷模塊、第一種處理模塊和第二種處理模塊；
[0045]所述方法判斷模塊用于判斷多個數(shù)據(jù)文件是采用第一種獲取數(shù)據(jù)文件的方法還是第二種獲取數(shù)據(jù)文件的方法獲得的，如果是第一種，觸發(fā)第一種處理模塊；否則，觸發(fā)第二種處理模塊；
[0046]所述第一種處理模塊用于建立問題接口目錄，將獲取異常文件的數(shù)據(jù)文件接口存入問題接口目錄，發(fā)出告警，將告警信息發(fā)送到數(shù)據(jù)提供方，請求重新發(fā)送數(shù)據(jù)文件，觸發(fā)數(shù)據(jù)獲取模塊；
[0047]所述第二種處理模塊用于建立問題接口目錄，將獲取異常文件的數(shù)據(jù)文件接口存入問題接口目錄，每間隔預設間隔時間，觸發(fā)數(shù)據(jù)獲取模塊。
[0048]采用上述進一步技術方案的有益效果是，建立問題接口目錄，實現(xiàn)自動檢查并通過短信提醒當前數(shù)據(jù)接口的全局狀態(tài)和問題，方便維護人員針對問題與對應的源數(shù)據(jù)接口提供方進行及時的溝通處理。
[0049]進一步，所述文件數(shù)判斷模塊判斷數(shù)據(jù)文件記錄數(shù)是否下降的方法是:判斷數(shù)據(jù)文件接口本次獲取的所有數(shù)據(jù)文件數(shù)量是否小于本數(shù)據(jù)文件接口上一周期獲取的數(shù)據(jù)文件數(shù)量，如果是，本次獲取的數(shù)據(jù)文件為異常文件。
【專利附圖】
【附圖說明】
[0050]圖1為本發(fā)明所述的一種多樣化數(shù)據(jù)接口質量檢查管理的方法流程圖；
[0051]圖2為本發(fā)明所述的一種多樣化數(shù)據(jù)接口質量檢查管理的系統(tǒng)結構框圖。
[0052]附圖中，各標號所代表的部件列表如下:
[0053]1、數(shù)據(jù)獲取模塊，2、異常判斷模塊，3、異常處理模塊，4、數(shù)據(jù)處理模塊，5、數(shù)據(jù)加載模塊，6、數(shù)據(jù)存儲模塊，21、完整判斷模塊，22、空文件判斷模塊，23、文件數(shù)判斷模塊，31、方法判斷模塊，32、第一種處理模塊，33、第二種處理模塊。
【具體實施方式】
[0054]以下結合附圖對本發(fā)明的原理和特征進行描述，所舉實例只用于解釋本發(fā)明，并非用于限定本發(fā)明的范圍。
[0055]如圖1所示，為本發(fā)明所述的一種多樣化數(shù)據(jù)接口質量檢查管理的方法，具體包括以下步驟:
[0056]步驟1:通過數(shù)據(jù)文件接口獲取多個數(shù)據(jù)文件；
[0057]步驟2:通過判斷多個數(shù)據(jù)文件的數(shù)量是否與預先約定的數(shù)量相同來判斷數(shù)據(jù)文件是否完整，如果是，執(zhí)行步驟3 ；否則，執(zhí)行步驟5 ；
[0058]步驟3:判斷多個數(shù)據(jù)文件中是否包含空文件，如果是，執(zhí)行步驟5 ；否則，執(zhí)行步驟4；
[0059]步驟4:判斷多個數(shù)據(jù)文件的記錄數(shù)是否下降，如果是，執(zhí)行步驟5 ；否則，執(zhí)行步驟8；
[0060]步驟5:判斷多個數(shù)據(jù)文件是采用第一種獲取數(shù)據(jù)文件的方法還是第二種獲取數(shù)據(jù)文件的方法獲得的，如果是第一種，執(zhí)行步驟6 ；否則，執(zhí)行步驟7 ；
[0061]步驟6:建立問題接口目錄，將獲取異常文件的數(shù)據(jù)文件接口存入問題接口目錄，發(fā)出告警，將告警信息發(fā)送到數(shù)據(jù)提供方，請求重新發(fā)送數(shù)據(jù)文件，執(zhí)行步驟1 ；
[0062]步驟7:建立問題接口目錄，將獲取異常文件的數(shù)據(jù)文件接口存入問題接口目錄，每間隔預設間隔時間，執(zhí)行步驟1 ；
[0063]步驟8:將所有數(shù)據(jù)文件中的分隔符和換行符統(tǒng)一轉換為設定的符號；
[0064]步驟9:將轉換后的所有數(shù)據(jù)文件轉移到加載￡11目錄下；
[0065]步驟10疋扎工具識別所有數(shù)據(jù)文件，并將所有數(shù)據(jù)文件加載到數(shù)據(jù)庫中，完成數(shù)據(jù)管理。
[0066]步驟1中獲取數(shù)據(jù)文件的方法為:
[0067]第一種獲取數(shù)據(jù)文件的方法:數(shù)據(jù)提供方發(fā)送到數(shù)據(jù)文件接口，數(shù)據(jù)文件接口接收到多個數(shù)據(jù)文件；
[0068]或者，第二種獲取數(shù)據(jù)文件的方法:通過￡11工具，數(shù)據(jù)文件接口主動下載得到多個數(shù)據(jù)文件。
[0069]所述步驟4判斷數(shù)據(jù)文件記錄數(shù)是否下降的方法是:判斷數(shù)據(jù)文件接口本次獲取的所有數(shù)據(jù)文件數(shù)量是否小于本數(shù)據(jù)文件接口上一周期獲取的數(shù)據(jù)文件數(shù)量，如果是，本次獲取的數(shù)據(jù)文件為異常文件，執(zhí)行步驟5 ；否則，數(shù)據(jù)文件為正常文件，執(zhí)行步驟8。
[0070]如圖2所示，為本發(fā)明所述的一種多樣化數(shù)據(jù)接口質量檢查管理的系統(tǒng)，包括數(shù)據(jù)獲取模塊1、異常判斷模塊2、異常處理模塊3、數(shù)據(jù)處理模塊4、數(shù)據(jù)加載模塊5和數(shù)據(jù)存儲模塊6 ；
[0071]所述數(shù)據(jù)獲取模塊1用于通過數(shù)據(jù)文件接口獲取多個數(shù)據(jù)文件；
[0072]所述異常判斷模塊2用于判斷多個數(shù)據(jù)文件中是否存在異常文件，如果是，觸發(fā)異常處理模塊3 ；否則，觸發(fā)數(shù)據(jù)處理模塊4 ；
[0073]所述異常處理模塊3用于建立問題接口目錄，將獲取異常文件的數(shù)據(jù)文件接口存入問題接口目錄，發(fā)出告警，觸發(fā)數(shù)據(jù)獲取模塊1 ；
[0074]所述數(shù)據(jù)處理模塊4用于將所有數(shù)據(jù)文件中的分隔符和換行符統(tǒng)一轉換為設定的符號；
[0075]所述數(shù)據(jù)加載模塊5用于將轉換后的所有數(shù)據(jù)文件轉移到加載￡1目錄下；
[0076]所述數(shù)據(jù)存儲模塊6用于￡11工具識別所有數(shù)據(jù)文件，并將所有數(shù)據(jù)文件加載到數(shù)據(jù)庫中，完成數(shù)據(jù)管理。
[0077]所述數(shù)據(jù)獲取模塊1中獲取數(shù)據(jù)文件的方法為:
[0078]第一種獲取數(shù)據(jù)文件的方法:數(shù)據(jù)提供方發(fā)送到數(shù)據(jù)文件接口，數(shù)據(jù)文件接口接收到多個數(shù)據(jù)文件；
[0079]或者，第二種獲取數(shù)據(jù)文件的方法:通過￡11工具，數(shù)據(jù)文件接口主動下載得到多個數(shù)據(jù)文件。
[0080]所述異常判斷模塊2包括完整判斷模塊21、空文件判斷模塊22和文件數(shù)判斷模塊23 ；
[0081]所述完整判斷模塊21用于通過判斷多個數(shù)據(jù)文件的數(shù)量是否與預先約定的數(shù)量相同來判斷數(shù)據(jù)文件是否完整，如果是，觸發(fā)空文件判斷模塊22 ；否則，觸發(fā)異常處理模塊3 ；
[0082]所述空文件判斷模塊22用于判斷多個數(shù)據(jù)文件中是否包含空文件，如果是，觸發(fā)異常處理模塊3 ；否則，觸發(fā)文件數(shù)判斷模塊23 ；
[0083]所述文件數(shù)判斷模塊23用于判斷多個數(shù)據(jù)文件的記錄數(shù)是否下降，如果是，觸發(fā)異常處理模塊3 ；否則，觸發(fā)數(shù)據(jù)處理模塊4。
[0084]所述異常處理模塊3包括方法判斷模塊31、第一種處理模塊32和第二種處理模塊33 ；
[0085]所述方法判斷模塊31用于判斷多個數(shù)據(jù)文件是采用第一種獲取數(shù)據(jù)文件的方法還是第二種獲取數(shù)據(jù)文件的方法獲得的，如果是第一種，觸發(fā)第一種處理模塊32 ；否則，觸發(fā)第二種處理模塊33 ；
[0086]所述第一種處理模塊32用于建立問題接口目錄，將獲取異常文件的數(shù)據(jù)文件接口存入問題接口目錄，發(fā)出告警，將告警信息發(fā)送到數(shù)據(jù)提供方，請求重新發(fā)送數(shù)據(jù)文件，觸發(fā)數(shù)據(jù)獲取模塊1 ；
[0087]所述第二種處理模塊33用于建立問題接口目錄，將獲取異常文件的數(shù)據(jù)文件接口存入問題接口目錄，每間隔預設間隔時間，觸發(fā)數(shù)據(jù)獲取模塊1。
[0088]所述文件數(shù)判斷模塊23判斷數(shù)據(jù)文件記錄數(shù)是否下降的方法是:判斷數(shù)據(jù)文件接口本次獲取的所有數(shù)據(jù)文件數(shù)量是否小于本數(shù)據(jù)文件接口上一周期獲取的數(shù)據(jù)文件數(shù)量，如果是，本次獲取的數(shù)據(jù)文件為異常文件。
[0089]本技術方案核心主要是以下幾方面內容:
[0090]1、數(shù)據(jù)文件的獲取:
[0091](1)接口提供方直接上傳到我方的主機上(需提供方操作)；
[0092](2)我方從接口提供方的主機上直接下載(利用￡1工具下載功能)。
[0093]2、針對下載或送達的數(shù)據(jù)文件接口進行如下檢查:
[0094](1)文件是否完整(是否缺少某分公司的數(shù)據(jù)文件)；
[0095]判斷文件是否完整方法:
[0096]我們與數(shù)據(jù)接口提供方會針對每一個數(shù)據(jù)接口約定文件的個數(shù)，我方通過計算約定文件的個數(shù)來判斷是否完整；
[0097](2)是否含有空文件(是否有數(shù)據(jù)文件大學為0)；
[0098](3)文件大小比較(全量的數(shù)據(jù)需與上一周期比較)；
[0099]對于全量(非增量傳送)的數(shù)據(jù)文件接口，需要與它上一周期傳送的文件記錄數(shù)進行比較，本期記錄數(shù)下降即為異常文件；
[0100]問題接口文件將轉移到問題接口目錄下；問題接口文件即通過檢查出現(xiàn)以上3種異常情況的數(shù)據(jù)文件；
[0101]問題接口目錄為每天建立一個，存放當日的問題接口文件。保留若干天，以便分析問題。
[0102]3、針對通過檢查的數(shù)據(jù)文件接口進行分隔符和換行符的統(tǒng)一轉換并轉移到數(shù)據(jù)加載目錄下:
[0103]通過8^11將數(shù)據(jù)文件中的分隔符和換行符內容統(tǒng)一替換成指定的符號，比如分隔符統(tǒng)一替換成“ I ”，而回車符統(tǒng)計替換成‘40^，而文件格式講保持不變。
[0104]數(shù)據(jù)加載目錄:此目錄為￡1公交文件加載目錄。移動到此處的文件應當為正常數(shù)據(jù)文件，2X1工具實時識別文件并加載到數(shù)據(jù)庫；
[0105]統(tǒng)一轉換的目的是為了在使用￡11工具進行數(shù)據(jù)加載配置的時候能夠進行快速統(tǒng)一配置，不需要針對不同的廠家規(guī)范進行特定的配置，從而節(jié)省配置時間和避免產(chǎn)生配置錯誤。
[0106]4、針對未通過檢查、約定時間未下載到或未上傳的數(shù)據(jù)接口進行短信告警并做重下載操作；
[0107]未通過檢查:即數(shù)據(jù)文件不完整、有空文件和記錄數(shù)下降的任意一種情況；
[0108]約定時間:約定時間是針對數(shù)據(jù)接口提供方需要我方去對方服務器下載數(shù)據(jù)文件的一種情況。我方將在約定時間到達之際開始下載數(shù)據(jù)文件。
[0109]將未檢查通過的數(shù)據(jù)文件接口的基本信息(接口提供方、接口名稱、接口號、接口問題描述等)通過短信發(fā)送給維護人員，為系統(tǒng)維護人員處理問題提供信息。同時如果此問題接口提供方式是下載模式，則會每隔1小時自動下載文件直到數(shù)據(jù)文件通過了步驟3的檢查。如果是提供方上傳模型，則需要維護人員通知提供方進行處理并重新上傳文件。
[0110]以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內。
【權利要求】
1.一種多樣化數(shù)據(jù)接口質量檢查管理的方法，其特征在于，具體包括以下步驟: 步驟1:通過數(shù)據(jù)文件接口獲取多個數(shù)據(jù)文件； 步驟2:判斷多個數(shù)據(jù)文件中是否存在異常文件，如果是，執(zhí)行步驟3 ;否則，執(zhí)行步驟4 ； 步驟3:建立問題接口目錄，將獲取異常文件的數(shù)據(jù)文件接口存入問題接口目錄，發(fā)出告警，執(zhí)行步驟I ; 步驟4:將所有數(shù)據(jù)文件中的分隔符和換行符統(tǒng)一轉換為設定的符號； 步驟5:將轉換后的所有數(shù)據(jù)文件轉移到加載ETL目錄下； 步驟6 =ETL工具識別所有數(shù)據(jù)文件，并將所有數(shù)據(jù)文件加載到數(shù)據(jù)庫中，完成數(shù)據(jù)管理。
2.根據(jù)權利要求1所述的一種多樣化數(shù)據(jù)接口質量檢查管理的方法，其特征在于，步驟I中獲取數(shù)據(jù)文件的方法為: 第一種獲取數(shù)據(jù)文件的方法:數(shù)據(jù)提供方發(fā)送到數(shù)據(jù)文件接口，數(shù)據(jù)文件接口接收到多個數(shù)據(jù)文件； 或者，第二種獲取數(shù)據(jù)文件的方法:通過ETL工具，數(shù)據(jù)文件接口主動下載得到多個數(shù)據(jù)文件。
3.根據(jù)權利要求1或2所述的一種多樣化數(shù)據(jù)接口質量檢查管理的方法，其特征在于，所述步驟2具體包括以下步驟: 步驟2.1:通過判斷多個數(shù)據(jù)文件的數(shù)量是否與預先約定的數(shù)量相同來判斷數(shù)據(jù)文件是否完整，如果是，執(zhí)行步驟2.2 ;否則，執(zhí)行步驟3 ； 步驟2.2:判斷多個數(shù)據(jù)文件中是否包含空文件，如果是，執(zhí)行步驟3 ;否則，執(zhí)行步驟2.3 ； 步驟2.3:判斷多個數(shù)據(jù)文件的記錄數(shù)是否下降，如果是，執(zhí)行步驟3 ;否則，執(zhí)行步驟4。
4.根據(jù)權利要求3所述的一種多樣化數(shù)據(jù)接口質量檢查管理的方法，其特征在于，所述步驟3具體包括以下步驟: 步驟3.1:判斷多個數(shù)據(jù)文件是采用第一種獲取數(shù)據(jù)文件的方法還是第二種獲取數(shù)據(jù)文件的方法獲得的，如果是第一種，執(zhí)行步驟3.2 ;否則，執(zhí)行步驟3.3 ； 步驟3.2:建立問題接口目錄，將獲取異常文件的數(shù)據(jù)文件接口存入問題接口目錄，發(fā)出告警，將告警信息發(fā)送到數(shù)據(jù)提供方，請求重新發(fā)送數(shù)據(jù)文件，執(zhí)行步驟I ; 步驟3.3:建立問題接口目錄，將獲取異常文件的數(shù)據(jù)文件接口存入問題接口目錄，，每間隔預設間隔時間，執(zhí)行步驟I。
5.根據(jù)權利要求3所述的一種多樣化數(shù)據(jù)接口質量檢查管理的方法，其特征在于，所述步驟2.3判斷數(shù)據(jù)文件記錄數(shù)是否下降的方法是:判斷數(shù)據(jù)文件接口本次獲取的所有數(shù)據(jù)文件數(shù)量是否小于本數(shù)據(jù)文件接口上一周期獲取的數(shù)據(jù)文件數(shù)量，如果是，本次獲取的數(shù)據(jù)文件為異常文件，執(zhí)行步驟3 ;否則，數(shù)據(jù)文件為正常文件，執(zhí)行步驟4。
6.一種多樣化數(shù)據(jù)接口質量檢查管理的系統(tǒng)，其特征在于，包括數(shù)據(jù)獲取模塊、異常判斷模塊、異常處理模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)加載模塊和數(shù)據(jù)存儲模塊； 所述數(shù)據(jù)獲取模塊用于通過數(shù)據(jù)文件接口獲取多個數(shù)據(jù)文件； 所述異常判斷模塊用于判斷多個數(shù)據(jù)文件中是否存在異常文件，如果是，觸發(fā)異常處理模塊；否則，觸發(fā)數(shù)據(jù)處理模塊； 所述異常處理模塊用于建立問題接口目錄，將獲取異常文件的數(shù)據(jù)文件接口存入問題接口目錄，發(fā)出告警，觸發(fā)數(shù)據(jù)獲取模塊； 所述數(shù)據(jù)處理模塊用于將所有數(shù)據(jù)文件中的分隔符和換行符統(tǒng)一轉換為設定的符號; 所述數(shù)據(jù)加載模塊用于將轉換后的所有數(shù)據(jù)文件轉移到加載ETL目錄下； 所述數(shù)據(jù)存儲模塊用于ETL工具識別所有數(shù)據(jù)文件，并將所有數(shù)據(jù)文件加載到數(shù)據(jù)庫中，完成數(shù)據(jù)管理。
7.根據(jù)權利要求6所述的一種多樣化數(shù)據(jù)接口質量檢查管理的系統(tǒng)，其特征在于，所述數(shù)據(jù)獲取模塊中獲取數(shù)據(jù)文件的方法為: 第一種獲取數(shù)據(jù)文件的方法:數(shù)據(jù)提供方發(fā)送到數(shù)據(jù)文件接口，數(shù)據(jù)文件接口接收到多個數(shù)據(jù)文件； 或者，第二種獲取數(shù)據(jù)文件的方法:通過ETL工具，數(shù)據(jù)文件接口主動下載得到多個數(shù)據(jù)文件。
8.根據(jù)權利要求6或7所述的一種多樣化數(shù)據(jù)接口質量檢查管理的系統(tǒng)，其特征在于，所述異常判斷模塊包括完整判斷模塊、空文件判斷模塊和文件數(shù)判斷模塊； 所述完整判斷模塊用于通過判斷多個數(shù)據(jù)文件的數(shù)量是否與預先約定的數(shù)量相同來判斷數(shù)據(jù)文件是否完整，如果是，觸發(fā)空文件判斷模塊；否則，觸發(fā)異常處理模塊； 所述空文件判斷模塊用于判斷多個數(shù)據(jù)文件中是否包含空文件，如果是，觸發(fā)異常處理模塊；否則，觸發(fā)文件數(shù)判斷模塊； 所述文件數(shù)判斷模塊用于判斷多個數(shù)據(jù)文件的記錄數(shù)是否下降，如果是，觸發(fā)異常處理模塊；否則，觸發(fā)數(shù)據(jù)處理模塊。
9.根據(jù)權利要求8所述的一種多樣化數(shù)據(jù)接口質量檢查管理的系統(tǒng)，其特征在于，所述異常處理模塊包括方法判斷模塊、第一種處理模塊和第二種處理模塊； 所述方法判斷模塊用于判斷多個數(shù)據(jù)文件是采用第一種獲取數(shù)據(jù)文件的方法還是第二種獲取數(shù)據(jù)文件的方法獲得的，如果是第一種，觸發(fā)第一種處理模塊；否則，觸發(fā)第二種處理模塊； 所述第一種處理模塊用于建立問題接口目錄，將獲取異常文件的數(shù)據(jù)文件接口存入問題接口目錄，發(fā)出告警，將告警信息發(fā)送到數(shù)據(jù)提供方，請求重新發(fā)送數(shù)據(jù)文件，觸發(fā)數(shù)據(jù)獲取模塊； 所述第二種處理模塊用于建立問題接口目錄，將獲取異常文件的數(shù)據(jù)文件接口存入問題接口目錄，每間隔預設間隔時間，觸發(fā)數(shù)據(jù)獲取模塊。
10.根據(jù)權利要求8所述的一種多樣化數(shù)據(jù)接口質量檢查管理的系統(tǒng)，其特征在于，所述文件數(shù)判斷模塊判斷數(shù)據(jù)文件記錄數(shù)是否下降的方法是:判斷數(shù)據(jù)文件接口本次獲取的所有數(shù)據(jù)文件數(shù)量是否小于本數(shù)據(jù)文件接口上一周期獲取的數(shù)據(jù)文件數(shù)量，如果是，本次獲取的數(shù)據(jù)文件為異常文件。
【文檔編號】G06Q10/06GK104361437SQ201410602533
【公開日】2015年2月18日 申請日期:2014年10月31日 優(yōu)先權日:2014年10月31日
【發(fā)明者】占偉 申請人:北京思特奇信息技術股份有限公司