一種erp系統(tǒng)中海量運維數據的采集方法
【技術領域】
[0001] 本發(fā)明涉及大數據處理技術領域，具體地說是一種實用性強、ERP系統(tǒng)中海量運維 數據的采集方法。
【背景技術】
[0002] 隨著企業(yè)管理信息化的發(fā)展，眾多的企業(yè)中都已經實施了ERP應用系統(tǒng)，一般包 括企業(yè)財務會計、資金管理、預算管理、供應鏈管理、人力資源、客觀關系管理（CRM)等業(yè)務 系統(tǒng)。
[0003] 作為ERP軟件產品廠商，經過多年客戶積累，其軟件產品已經實施了數千家甚至 數萬家的企業(yè)。在這些企業(yè)的ERP軟件應用過程中，ERP系統(tǒng)會對系統(tǒng)的運行記錄各種日 志信息，例如系統(tǒng)中發(fā)生的異常及故障、系統(tǒng)中運行性能相關數據等，可統(tǒng)稱為系統(tǒng)運維數 據。
[0004] 而目前ERP系統(tǒng)運行數據并沒有有效的收集和分析方法，主要原因包括： (1)大部分ERP系統(tǒng)是在企業(yè)內部私有部署的，部署分散，并且可能不聯入互聯網。
[0005] (2)客戶擔心收集的數據中帶有企業(yè)敏感數據。
[0006] (3)日志數據是海量數據，且不同的軟件版本和不同用途的日志，格式不一致。
[0007] 如果能夠解決以上問題，建立一種ERP運行數據的有效采集方法，對ERP系統(tǒng)的優(yōu) 化改進，非常有價值。

【發(fā)明內容】

[0008] 本發(fā)明的技術任務是針對以上不足之處，提供一種實用性強、ERP系統(tǒng)中海量運維 數據的采集方法。
[0009] 一種ERP系統(tǒng)中海量運維數據的采集方法，其具體實現過程為： 1) 運維數據定義的步驟，該步驟包括： 1.1)定義運維數據類型； 1. 2)定義運維數據版本信息； 1. 3)定義運維數據采集配置信息； 2) 運維數據捕獲及發(fā)送的步驟，該步驟包括： 2. 1)加載相關的數據采集配置信息列表； 2. 2)根據獲取到的數據采集配置信息列表循環(huán)執(zhí)行下述步驟； 2. 3)根據數據采集配置信息，捕獲系統(tǒng)運維數據并進行持久化緩存； 2. 4)發(fā)送本次捕獲到的運維數據； 3) 運維數據的接收及存儲的步驟，該步驟包括： 3. 1)接收壓縮格式的數據包； 3. 2)對數據包進行校驗和解壓； 3. 3)存儲運維數據。
[0010] 所述步驟1)中，運維數據類型包括：唯一標識、編號、名稱、說明；運維數據版本信 息包括：唯一標識、編號、版本名稱、說明；運維數據采集配置信息包括：唯一標識、運維數 據類型標識、運維數據版本標識、運維數據格式、運維數據采集方式。
[0011] 所述運維數據格式是一個字段描述集合，該字段描述包含以下屬性：唯一標識、名 稱、中文名稱、對應數據表字段、數據類型、說明信息。
[0012] 所述運維數據采集方式包括以下屬性：采集模式、是否啟用增量、增量時間戳字段 名、對應數據表、程序反射信息，其中， 采集模式是一個枚舉類型屬性，包含兩個枚舉值：表模式、程序模式，表模式用于采集 的原始數據存儲在數據表中的場景，程序模式是需要使用程序來采集的場景； 是否啟用增量為布爾類型屬性，用于表示在進行數據采集時，是否依據上次采集的時 間進行過濾，只采集上次采集時間之后的變更數據； 增量時間戳字段名，在采集模式為表模式的場景下，當啟用增量時，對應源表中的時間 戳字段的名稱； 程序反射信息，在采集模式為程序模式的場景下，用于采集運維數據的處理程序的反 射調用信息。
[0013] 所述對應數據表字段，當運維數據采集方式的采集模式為表模式時，用于與源表 字段的匹配。
[0014] 所述步驟2. 3)中， 當采集模式為表模式時，采用內置程序處理邏輯，根據指定的對應數據表讀取相關的 系統(tǒng)運行數據，并基于運維數據格式形成標準的結果集； 當采集模式是程序模式時，根據指定的程序反射信息，加載相應的采集處理程序并執(zhí) 行； 當是否啟用增量為真時，則試圖讀取上次采集時間，如果讀取不到，則認為是首次采 集；如果讀取到，則以該時間為篩選條件，采集在此時間之后的數據；且每次采集完成后自 動記錄上次采集時間； 上述捕獲的數據采用JSON文本格式描述，并采用壓縮格式緩存。
[0015] 所述步驟2. 4)中，當發(fā)送本次捕獲到的運維數據時，用戶通過選項配置自動發(fā)送 或手工確認后發(fā)送；并直接使用步驟2. 3)中的壓縮格式傳輸；在發(fā)送本次捕獲到的運維數 據時，采用數字簽名技術，讀取當前ERP系統(tǒng)的唯一標識，和捕獲到的運維數據一起發(fā)送， 該唯一標識為一個GUID，用于唯一標識當前客戶的運行環(huán)境；在本次捕獲的運維數據發(fā)送 成功之后，自動刪除步驟2. 3)中捕獲數據的緩存。
[0016] 所述步驟3. 1)的接收數據包過程中，先將數據包存儲在臨時存儲區(qū)域，當完成運 維數據的存儲之后，再將接收的數據包從臨時存儲區(qū)域刪除。
[0017] 所述步驟3.2)中，校驗是根據步驟2. 4)中的數字簽名進行驗證，如果驗證不通 過，則放棄本次接收過程并反饋異常信息，并且從臨時存儲區(qū)域中刪除接收到的數據包。
[0018] 本發(fā)明的一種ERP系統(tǒng)中海量運維數據的采集方法，具有以下優(yōu)點： 本發(fā)明提出的一種ERP系統(tǒng)中海量運維數據的采集方法，該方法包括運維數據定義、 運維數據捕獲及發(fā)送、運維數據的接收及存儲等三個實現步驟。通過應用該方法，定義了統(tǒng) 一的數據采集格式和可配置的采集過程，可有效的采集分散且私有部署在企業(yè)局域網環(huán)境 中的ERP系統(tǒng)運維數據，實用性強，易于推廣。
【附圖說明】
[0019] 圖1是本發(fā)明的實現步驟圖。
[0020] 圖2是本發(fā)明中定義的運維數據定義的實體結構圖。
【具體實施方式】
[0021] 下面結合附圖和具體實施例對本發(fā)明作進一步說明。
[0022]該一種ERP系統(tǒng)中海量運維數據的采集方法，如附圖1、圖2所示，其具體實現過程 包括： 1)運維數據定義的步驟，該步驟包括： 1.1)定義運維數據類型； 1. 2)定義運維數據版本信息； 1. 3)定義運維數據采集配置信息。
[0023] 所述步驟1)中，運維數據類型包括：唯一標識、編號、名稱、說明；運維數據版本信 息包括：唯一標識、編號、版本名稱、說明；運維數據采集配置信息包括：唯一標識、運維數 據類型標識、運維數據版本標識、運維數據格式、運維數據采集方式。
[0024] 所述運維數據格式是一個字段描述集合，該字段描述包含以下屬性：唯一標識、名 稱、中文名稱、對應數據表字段、數據類型、說明信息。
[0025] 所述運維數據采集方式包括以下屬性：采集模式、是否啟用增量、增量時間戳字段 名、對應數據表、程序反射信息，其中， 采集模式是一個枚舉類型屬性，包含兩個枚舉值：表模式、程序模式，表模式用于采集 的原始數據存儲在數據表中的場景，程序模式是需要使用程序來采集的場景； 是否啟用增量為布爾類型屬性，用于表示在進行數據采集時，是否依據上次采集的時 間進行過濾，只采集上次采集時間之后的變更數據； 增量時間戳字段名，在采集模式為表模式的場景下，當啟用增量時，對應源表中的時間 戳字段的名稱； 程序反射信息，在采集模式為程序模式的場景下，用于采集運維數據的處理程序的反 射調用信息。
[0026] 所述對應數據表字段，當運維數據采集方式的采集模式為表模式時，用于與源表 字段的匹配。
[0027] 所述步驟1. 3)中，其中"采集處理程序"需遵循的編程接口偽代碼如下： DataSet GetOMData(ExtractConfig config, ExecutingContext context)； 其中ExtractConfig是運維數據采集配置信息的類型定義，ExecutingContext是程序 執(zhí)行上下文變量集合，其內部是一個鍵值對集合，用于傳輸執(zhí)行過程中的變量。DataSet是 采集數據的結果集，其格式符合"運維數據格式"的要求。
[0028] 2)運維數據捕獲及發(fā)送的步驟，該步驟包括： 2. 1)加載相關的數據采集配置信息列表； 2. 2)根據獲取到的數