數(shù)據(jù)集成處理系統(tǒng)和集成處理方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種應(yīng)用于電力系統(tǒng)的數(shù)據(jù)集成處理系統(tǒng)和集成處理方法。
【背景技術(shù)】
[0002] 電能質(zhì)量在線監(jiān)測系統(tǒng)的應(yīng)用建設(shè)是提升公司電網(wǎng)安全運(yùn)行水平和優(yōu)質(zhì)服務(wù)水 平，實(shí)現(xiàn)安全風(fēng)險(xiǎn)超前防范，進(jìn)一步提高公司核心競爭力和可持續(xù)發(fā)展能力的重要手段，并 為深化"兩個(gè)轉(zhuǎn)變"，建設(shè)"一強(qiáng)三優(yōu)"現(xiàn)代公司，創(chuàng)建"兩個(gè)一流"奠定堅(jiān)實(shí)的基礎(chǔ)。
[0003]電能質(zhì)量在線監(jiān)測系統(tǒng)基礎(chǔ)數(shù)據(jù)依賴于GPMS生產(chǎn)系統(tǒng)、調(diào)度OMS系統(tǒng)和用電信息 采集系統(tǒng)所提供的基礎(chǔ)設(shè)備臺(tái)賬數(shù)據(jù)和運(yùn)行數(shù)據(jù)。數(shù)據(jù)集成方式包含SG-CM(企業(yè)公共信 息模型）、ESB (企業(yè)服務(wù)總線）、E-FILE(采用電力系統(tǒng)數(shù)據(jù)標(biāo)記語言的文件）共享文件服 務(wù)器和ODS(數(shù)據(jù)中心）共享中間庫方式。整體集成的系統(tǒng)多、集成通道復(fù)雜，數(shù)據(jù)集成的 準(zhǔn)確性、及時(shí)性和可靠性決定整個(gè)系統(tǒng)應(yīng)用建設(shè)的質(zhì)量。
[0004] 傳統(tǒng)的數(shù)據(jù)集成系統(tǒng)和方法主要采用一種集成方式設(shè)計(jì)一套技術(shù)，一類數(shù)據(jù)設(shè)計(jì) 一種處理方法的方式進(jìn)行集成，集成過程中只是將數(shù)據(jù)做存儲(chǔ)操作，沒有對(duì)數(shù)據(jù)進(jìn)行加工 處理，且系統(tǒng)不易于維護(hù)，可擴(kuò)展性差。
[0005] 申請?zhí)枮?01210525979. 5的專利文件公開了一種多數(shù)據(jù)源的數(shù)據(jù)集成處理方法 和裝置，該數(shù)據(jù)集成處理方法包括：獲取當(dāng)前數(shù)據(jù)集成處理所需的目標(biāo)數(shù)據(jù)項(xiàng)的信息；依 據(jù)預(yù)置的數(shù)據(jù)項(xiàng)與數(shù)據(jù)源的映射關(guān)系，按照所述目標(biāo)數(shù)據(jù)項(xiàng)的信息從對(duì)應(yīng)的多個(gè)數(shù)據(jù)源中 分別提取相應(yīng)的數(shù)據(jù)項(xiàng)；將所述目標(biāo)數(shù)據(jù)項(xiàng)按照預(yù)置的目標(biāo)數(shù)據(jù)項(xiàng)集成計(jì)算規(guī)則進(jìn)行相應(yīng) 的集成計(jì)算。然而，上述方案僅僅對(duì)數(shù)據(jù)進(jìn)行集成，而未對(duì)集成后的數(shù)據(jù)檢測加工，可靠性 差。
[0006] 基于此，需要研宄一種兼?zhèn)鋵?shí)時(shí)性、并發(fā)性、穩(wěn)定性、可控制性、可擴(kuò)展性的多通道 數(shù)據(jù)集成處理系統(tǒng)和集成處理方法，以保障電能質(zhì)量在線監(jiān)測系統(tǒng)所需要數(shù)據(jù)的整體質(zhì) 量，從而提高電能質(zhì)量在線監(jiān)測系統(tǒng)應(yīng)用的深度和廣度，實(shí)現(xiàn)公司電網(wǎng)最終目標(biāo)。

【發(fā)明內(nèi)容】

[0007]本發(fā)明所要解決的技術(shù)問題是：提供一種能夠及時(shí)、準(zhǔn)確、穩(wěn)定地集成處理各類數(shù) 據(jù)的數(shù)據(jù)集成處理系統(tǒng)和集成處理方法。
[0008] 為了解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：
[0009]-種數(shù)據(jù)集成處理系統(tǒng)，包括：
[0010] 服務(wù)接口模塊，用于傳輸數(shù)據(jù)報(bào)文，所述數(shù)據(jù)報(bào)文包括XML數(shù)據(jù)和自定義的文本 數(shù)據(jù)；
[0011] 數(shù)據(jù)模型模塊，用于根據(jù)不同的集成方式，將接收的數(shù)據(jù)報(bào)文的數(shù)據(jù)屬性與數(shù)據(jù) 庫數(shù)據(jù)模型的映射關(guān)系組成數(shù)據(jù)配置模型，所述集成方式包括WebService、中間庫抽取和 FTP文件共享中的一種或多種；
[0012] 數(shù)據(jù)解析模塊，用于接收服務(wù)接口模塊傳輸?shù)臄?shù)據(jù)報(bào)文，并根據(jù)數(shù)據(jù)配置模型將 數(shù)據(jù)報(bào)文解析成數(shù)據(jù)JAVA對(duì)象；
[0013] 數(shù)據(jù)預(yù)警模塊，用于根據(jù)預(yù)警配置，檢索數(shù)據(jù)JAVA對(duì)象，對(duì)異常數(shù)據(jù)JAVA對(duì)象生 成預(yù)警提醒；
[0014] 數(shù)據(jù)加工模塊，用于垃圾數(shù)據(jù)JAVA對(duì)象剔除和遺漏數(shù)據(jù)JAVA對(duì)象補(bǔ)錄；
[0015] 存儲(chǔ)模塊，用于建立數(shù)據(jù)庫以存儲(chǔ)集成處理后的數(shù)據(jù)JAVA對(duì)象。
[0016] -種數(shù)據(jù)集成處理方法，其步驟包括：
[0017] 服務(wù)接口模塊將數(shù)據(jù)報(bào)文傳輸給數(shù)據(jù)解析模塊，所述數(shù)據(jù)報(bào)文包括XML數(shù)據(jù)和自 定義的文本數(shù)據(jù)；
[0018] 數(shù)據(jù)模型模塊根據(jù)WebService、中間庫抽取、FTP文件共享中的一種或多種集成 方式，將接收的數(shù)據(jù)報(bào)文的數(shù)據(jù)屬性與數(shù)據(jù)庫數(shù)據(jù)模型的映射關(guān)系組成數(shù)據(jù)配置模型；
[0019] 數(shù)據(jù)解析模塊接收服務(wù)接口模塊傳輸?shù)臄?shù)據(jù)報(bào)文，并根據(jù)數(shù)據(jù)配置模型將接收到 的數(shù)據(jù)報(bào)文解析成數(shù)據(jù)JAVA對(duì)象；
[0020] 數(shù)據(jù)預(yù)警模塊根據(jù)預(yù)警配置對(duì)數(shù)據(jù)JAVA對(duì)象進(jìn)行匹配檢索，對(duì)異常數(shù)據(jù)JAVA對(duì) 象生成預(yù)警提醒；
[0021] 數(shù)據(jù)加工模塊對(duì)數(shù)據(jù)JAVA對(duì)象進(jìn)行多層加工，無效的數(shù)據(jù)JAVA對(duì)象進(jìn)行篩選剔 除，遺漏的數(shù)據(jù)JAVA對(duì)象進(jìn)行補(bǔ)錄；
[0022] 存儲(chǔ)模塊存儲(chǔ)集成處理后的數(shù)據(jù)JAVA對(duì)象。
[0023] 本發(fā)明的有益效果在于：數(shù)據(jù)報(bào)文通過服務(wù)接口模塊傳輸?shù)綌?shù)據(jù)解析模塊，經(jīng)數(shù) 據(jù)解析模塊解析成數(shù)據(jù)JAVA對(duì)象，并通過數(shù)據(jù)預(yù)警模塊對(duì)異常的數(shù)據(jù)JAVA對(duì)象預(yù)警提醒， 數(shù)據(jù)加工模塊對(duì)垃圾數(shù)據(jù)JAVA對(duì)象進(jìn)行處理及對(duì)遺漏數(shù)據(jù)JAVA對(duì)象進(jìn)行補(bǔ)錄，實(shí)現(xiàn)對(duì)數(shù) 據(jù)及時(shí)、準(zhǔn)確、穩(wěn)定地集成處理。
【附圖說明】
[0024] 圖1為本發(fā)明實(shí)施例的數(shù)據(jù)集成處理系統(tǒng)的結(jié)構(gòu)框圖；
[0025] 圖2為本發(fā)明實(shí)施例的數(shù)據(jù)集成處理方法的流程圖；
[0026] 圖3為本發(fā)明實(shí)施例的數(shù)據(jù)集成處理方法的數(shù)據(jù)加工方法的流程圖；
[0027] 圖4為本發(fā)明實(shí)施例的福建電網(wǎng)運(yùn)行在線監(jiān)測與輔助決策應(yīng)用研宄系統(tǒng)。
[0028] 標(biāo)號(hào)說明：
[0029] 1、服務(wù)接口模塊；2、數(shù)據(jù)解析模塊；3、數(shù)據(jù)預(yù)警模塊；4、數(shù)據(jù)加工模塊；5、數(shù)據(jù)模 型模塊；6、驅(qū)動(dòng)模塊。
【具體實(shí)施方式】
[0030] 為詳細(xì)說明本發(fā)明的技術(shù)內(nèi)容、所實(shí)現(xiàn)目的及效果，以下結(jié)合實(shí)施方式并配合附 圖予以說明。
[0031] 本發(fā)明最關(guān)鍵的構(gòu)思在于：不同類型的數(shù)據(jù)報(bào)文通過不同的接口傳輸?shù)綌?shù)據(jù)解 析模塊，數(shù)據(jù)解析模塊根據(jù)數(shù)據(jù)配置模型將各類數(shù)據(jù)解析成數(shù)據(jù)對(duì)象，數(shù)據(jù)預(yù)警模塊對(duì)異 常的數(shù)據(jù)對(duì)象預(yù)警提醒，數(shù)據(jù)加工模塊對(duì)垃圾數(shù)據(jù)進(jìn)行處理及對(duì)遺漏數(shù)據(jù)進(jìn)行補(bǔ)錄，實(shí)現(xiàn) 對(duì)各類數(shù)據(jù)及時(shí)、準(zhǔn)確、穩(wěn)定地集成處理。
[0032] 本發(fā)明涉及的技術(shù)術(shù)語解釋：
[0033]
【主權(quán)項(xiàng)】
1. 一種數(shù)據(jù)集成處理系統(tǒng)，其特征在于，包括： 服務(wù)接口模塊，用于傳輸數(shù)據(jù)報(bào)文，所述數(shù)據(jù)報(bào)文包括XML數(shù)據(jù)和自定義的文本數(shù)據(jù)； 數(shù)據(jù)模型模塊，用于根據(jù)不同的集成方式，將接收的數(shù)據(jù)報(bào)文的數(shù)據(jù)屬性與數(shù)據(jù)庫數(shù) 據(jù)模型的映射關(guān)系組成數(shù)據(jù)配置模型，所述集成方式包括WebService、中間庫抽取和FTP 文件共享中的一種或多種； 數(shù)據(jù)解析模塊，用于接收服務(wù)接口模塊傳輸?shù)臄?shù)據(jù)報(bào)文，并根據(jù)數(shù)據(jù)配置模型將數(shù)據(jù) 報(bào)文解析成數(shù)據(jù)JAVA對(duì)象； 數(shù)據(jù)預(yù)警模塊，用于根據(jù)預(yù)警配置，檢索數(shù)據(jù)JAVA對(duì)象，對(duì)異常數(shù)據(jù)JAVA對(duì)象生成預(yù) 警提醒； 數(shù)據(jù)加工模塊，用于垃圾數(shù)據(jù)JAVA對(duì)象剔除和遺漏數(shù)據(jù)JAVA對(duì)象補(bǔ)錄； 存儲(chǔ)模塊，用于建立數(shù)據(jù)庫以存儲(chǔ)集成處理后的數(shù)據(jù)JAVA對(duì)象。
2. 根據(jù)權(quán)利要求1所述的數(shù)據(jù)集成處理系統(tǒng)，其特征在于，所述服務(wù)接口模塊包括ESB 接口、SG-CIM接口、FTP文件服務(wù)器接口、ODS中間庫接口，且接口可擴(kuò)展。
3. 根據(jù)權(quán)利要求1所述的數(shù)據(jù)集成處理系統(tǒng)，其特征在于，所述數(shù)據(jù)預(yù)警模塊包括顯 示器，用于顯示預(yù)警提醒。
4. 根據(jù)權(quán)利要求1所述的數(shù)據(jù)集成處理系統(tǒng)，其特征在于，所述數(shù)據(jù)解析模塊、數(shù)據(jù)預(yù) 警模塊及數(shù)據(jù)加工模塊通過驅(qū)動(dòng)模塊驅(qū)動(dòng)。
5. -種數(shù)據(jù)集成處理方法，其特征在于，包括步驟： 服務(wù)接口模塊將數(shù)據(jù)報(bào)文傳輸給數(shù)據(jù)解析模塊，所述數(shù)據(jù)報(bào)文包括XML數(shù)據(jù)和自定義 的文本數(shù)據(jù)； 數(shù)據(jù)模型模塊根據(jù)WebService、中間庫抽取和FTP文件共享中的一種或多種集成方 式，將接收的數(shù)據(jù)報(bào)文的數(shù)據(jù)屬性與數(shù)據(jù)庫數(shù)據(jù)模型的映射關(guān)系組成數(shù)據(jù)配置模型； 數(shù)據(jù)解析模塊接收服務(wù)接口模塊傳輸?shù)臄?shù)據(jù)報(bào)文，并根據(jù)數(shù)據(jù)配置模型將接收到的數(shù) 據(jù)報(bào)文解析成數(shù)據(jù)JAVA對(duì)象； 數(shù)據(jù)預(yù)警模塊根據(jù)預(yù)警配置對(duì)數(shù)據(jù)JAVA對(duì)象進(jìn)行匹配檢索，對(duì)異常數(shù)據(jù)JAVA對(duì)象生 成預(yù)警提醒； 數(shù)據(jù)加工模塊對(duì)數(shù)據(jù)JAVA對(duì)象進(jìn)行多層加工，無效的數(shù)據(jù)JAVA對(duì)象進(jìn)行篩選剔除，遺 漏的數(shù)據(jù)JAVA對(duì)象進(jìn)行補(bǔ)錄； 存儲(chǔ)模塊存儲(chǔ)集成處理后的數(shù)據(jù)JAVA對(duì)象。
6. 根據(jù)權(quán)利要求5所述的數(shù)據(jù)集成處理方法，其特征在于，所述數(shù)據(jù)解析模塊解析數(shù) 據(jù)同時(shí)生成集成處理日志，記錄數(shù)據(jù)集成的基本信息和處理結(jié)果信息。
7. 根據(jù)權(quán)利要求5所述的數(shù)據(jù)集成處理方法，其特征在于，所述預(yù)警配置包括預(yù)警器， 所述預(yù)警器包括非空、是否為數(shù)字類型、數(shù)值范圍，預(yù)警器可設(shè)置多個(gè)，并按先后順序進(jìn)行 預(yù)警檢索。
8. 根據(jù)權(quán)利要求5所述的數(shù)據(jù)集成處理方法，其特征在于，所述數(shù)據(jù)預(yù)警步驟，預(yù)警生 成后，預(yù)警信息添加到個(gè)人待辦過程中，并生成待辦工作預(yù)警提醒。
9. 根據(jù)權(quán)利要求5所述的數(shù)據(jù)集成處理方法，其特征在于，所述數(shù)據(jù)加工步驟包括： 讀取參考標(biāo)準(zhǔn)業(yè)務(wù)數(shù)據(jù)； 判斷參考標(biāo)準(zhǔn)業(yè)務(wù)是否存在數(shù)據(jù)，如果參考標(biāo)準(zhǔn)業(yè)務(wù)存在數(shù)據(jù)則根據(jù)業(yè)務(wù)規(guī)則與集成 數(shù)據(jù)進(jìn)行匹配，如果參考標(biāo)準(zhǔn)業(yè)務(wù)不存在數(shù)據(jù)則結(jié)束流程； 判斷是否存在匹配數(shù)據(jù)，如果存在匹配數(shù)據(jù)則更改匹配的集成數(shù)據(jù)狀態(tài)為有效狀態(tài)， 并進(jìn)入讀取參考標(biāo)準(zhǔn)業(yè)務(wù)數(shù)據(jù)步驟，如果不存在匹配數(shù)據(jù)則判斷是否需要補(bǔ)錄； 如果需要補(bǔ)錄則補(bǔ)錄業(yè)務(wù)數(shù)據(jù)，并進(jìn)入讀取參考標(biāo)準(zhǔn)業(yè)務(wù)數(shù)據(jù)步驟，如果不需要補(bǔ)錄 則進(jìn)入讀取參考標(biāo)準(zhǔn)業(yè)務(wù)數(shù)據(jù)步驟。
【專利摘要】本發(fā)明提供一種數(shù)據(jù)集成處理系統(tǒng)和數(shù)據(jù)集成處理方法，服務(wù)接口模塊將數(shù)據(jù)報(bào)文傳輸給數(shù)據(jù)解析模塊；數(shù)據(jù)模型模塊根據(jù)不同的集成方式將接收的數(shù)據(jù)報(bào)文的數(shù)據(jù)屬性與數(shù)據(jù)庫數(shù)據(jù)模型的映射關(guān)系組成數(shù)據(jù)配置模型；數(shù)據(jù)解析模塊接收服務(wù)接口模塊傳輸?shù)臄?shù)據(jù)報(bào)文，并根據(jù)數(shù)據(jù)配置模型將接收到的數(shù)據(jù)報(bào)文解析成數(shù)據(jù)JAVA對(duì)象；數(shù)據(jù)預(yù)警模塊根據(jù)預(yù)警配置對(duì)數(shù)據(jù)JAVA對(duì)象進(jìn)行匹配檢索，對(duì)異常的數(shù)據(jù)JAVA對(duì)象生成預(yù)警提醒；數(shù)據(jù)加工模塊對(duì)數(shù)據(jù)JAVA對(duì)象進(jìn)行多層加工，對(duì)無效的數(shù)據(jù)JAVA對(duì)象進(jìn)行篩選剔除，對(duì)遺漏的數(shù)據(jù)JAVA對(duì)象進(jìn)行補(bǔ)錄，能夠及時(shí)、準(zhǔn)確、穩(wěn)定地集成處理各類數(shù)據(jù)。
【IPC分類】G06F17-30
【公開號(hào)】CN104750787
【申請?zhí)枴緾N201510107116
【發(fā)明人】沈桂城, 張喜清, 翁蔚, 許懿洋, 郭清滔, 施明泰, 楊成月, 樊永濤, 劉偉民, 張德仲, 吳容新
【申請人】國家電網(wǎng)公司, 國網(wǎng)福建省電力有限公司, 廈門億力吉奧信息科技有限公司
【公開日】2015年7月1日
【申請日】2015年3月12日