本發(fā)明涉及一種數(shù)據(jù)處理方法，特別涉及一種加氣站SCADA系統(tǒng)海量數(shù)據(jù)的存儲查詢方法。

背景技術(shù)：

運用于加氣站的SCADA系統(tǒng)，在數(shù)據(jù)處理方面對其有兩個基本的需求：

1、由于加氣站的數(shù)據(jù)采集點多，采集頻率高，同時又需要保存相當長一段時間內(nèi)所采集到設(shè)備工況歷史數(shù)據(jù)，因此要求加氣站SCADA系統(tǒng)能保存海量的設(shè)備工況歷史數(shù)據(jù)。

2、由于用戶需要隨機的查詢設(shè)備工況歷史數(shù)據(jù)，因此要求加氣站SCADA系統(tǒng)能對用戶的查詢請求提供盡可能快的響應(yīng)。但是現(xiàn)有的SCADA系統(tǒng)對加氣站設(shè)備海量歷史監(jiān)測數(shù)據(jù)的存儲、查詢并不能滿足用戶的需求。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明的目的是提供一種加氣站SCADA系統(tǒng)海量數(shù)據(jù)處理方法，以解決現(xiàn)有SCADA系統(tǒng)不能滿足用戶對加氣站設(shè)備海量歷史監(jiān)測數(shù)據(jù)的存儲、查詢需求的技術(shù)問題。

本發(fā)明加氣站SCADA系統(tǒng)海量數(shù)據(jù)處理方法，包括數(shù)據(jù)存儲方法和數(shù)據(jù)查詢方法；

所述數(shù)據(jù)儲存方法包括以下步驟：

S1.通過以太網(wǎng)將站級數(shù)據(jù)采集主機、站級數(shù)據(jù)存儲服務(wù)器、站級數(shù)據(jù)通信客戶端主機、中心數(shù)據(jù)通信服務(wù)器、中心數(shù)據(jù)管理服務(wù)器、以及中心分布式數(shù)據(jù)存儲集群互連，所述中心分布式數(shù)據(jù)存儲集群包括多個主存儲服務(wù)器和多個從存儲服務(wù)器；

S2.將站級數(shù)據(jù)采集主機通過串口或以太網(wǎng)接口與PLC連接，通過PLC采集加氣站設(shè)備的實時工況數(shù)據(jù)和報警信號，然后將數(shù)據(jù)存儲在站級數(shù)據(jù)庫服務(wù)器中；

S3.將站級數(shù)據(jù)通信客戶端主機與中心數(shù)據(jù)通信服務(wù)器通過以太網(wǎng)相連，站級數(shù)據(jù)通信客戶端主機從站級數(shù)據(jù)庫中取出工況數(shù)據(jù)并通過TCP/IP協(xié)議將數(shù)據(jù)遠傳給中心數(shù)據(jù)通信服務(wù)器，中心數(shù)據(jù)通信服務(wù)器收到數(shù)據(jù)后，先將數(shù)據(jù)暫存在內(nèi)存中，然后每隔一段時間把內(nèi)存中的數(shù)據(jù)通過相應(yīng)的壓縮算法進行壓縮打包，并對每個壓縮包中的數(shù)據(jù)進行預(yù)先的統(tǒng)計計算；

S4.中心數(shù)據(jù)通信服務(wù)器的負載均衡集群中的每臺服務(wù)器上都運行相同的通信服務(wù)端進程與數(shù)據(jù)管理進程，當負載均衡集群收到站級數(shù)據(jù)通信客戶端的連接請求后將它們均衡的分配給集群中的各服務(wù)器進行處理；若集群中有服務(wù)器出現(xiàn)故障，集群的負載均衡策略則排除掉故障服務(wù)器，并對剩下的正常工作的服務(wù)器重新分配工作負擔；

S5.中心數(shù)據(jù)通信服務(wù)器將數(shù)據(jù)壓縮包與統(tǒng)計計算結(jié)果交付給中心數(shù)據(jù)管理服務(wù)器，中心數(shù)據(jù)管理服務(wù)器按照路由策略將數(shù)據(jù)包分配到中心分布式數(shù)據(jù)存儲集群的不同節(jié)點中；

S6.中心分布式數(shù)據(jù)存儲集群的物理結(jié)構(gòu)上由多個存儲節(jié)點組成，每個存儲節(jié)點包括一臺主存儲服務(wù)器和多臺從存儲服務(wù)器；主存儲服務(wù)器與從存儲服務(wù)器之間配置三個策略：讀寫分離、數(shù)據(jù)實時同步、以及故障轉(zhuǎn)移；主存儲服務(wù)器配置為可寫可讀，從存儲服務(wù)器配置為只讀，且主存儲服務(wù)器的讀優(yōu)先級低于從存儲服務(wù)器的讀優(yōu)先級，數(shù)據(jù)寫入主存儲服務(wù)器后實時同步到從存儲服務(wù)器；

S7.中心分布式數(shù)據(jù)存儲集群的邏輯結(jié)構(gòu)上由1個主管理數(shù)據(jù)庫與多個子數(shù)據(jù)庫組成，主管理數(shù)據(jù)庫存儲數(shù)據(jù)路由策略，所述數(shù)據(jù)路由策略即加氣站編號到數(shù)據(jù)存儲節(jié)點IP的映射表，子數(shù)據(jù)庫存儲每個加氣站中的所有設(shè)備產(chǎn)生的實時數(shù)據(jù)、歷史數(shù)據(jù)、以及報警數(shù)據(jù)，一個子數(shù)據(jù)庫只存儲一個加氣站的數(shù)據(jù)；一個存儲節(jié)點安裝一個數(shù)據(jù)庫實例，主管理數(shù)據(jù)庫與多個子數(shù)據(jù)庫部署于同一個數(shù)據(jù)庫實例中，即部署于同一個存儲節(jié)點中，或者是每一個數(shù)據(jù)庫分別部署于一個數(shù)據(jù)庫實例中；

S8.每個子數(shù)據(jù)庫中用于存放設(shè)備工況歷史數(shù)據(jù)和報警歷史數(shù)據(jù)的數(shù)據(jù)表分區(qū)處理，將數(shù)據(jù)表按年份分區(qū)，每一年的數(shù)據(jù)存放在對應(yīng)的分區(qū)中；

S9.中心數(shù)據(jù)通信服務(wù)器將數(shù)據(jù)來源的加氣站編號以及數(shù)據(jù)壓縮包提交給中心數(shù)據(jù)管理服務(wù)器，中心數(shù)據(jù)管理服務(wù)器通過查詢主管理數(shù)據(jù)庫中的路由策略來確定數(shù)據(jù)存儲節(jié)點，然后將數(shù)據(jù)存儲于其中；

所述數(shù)據(jù)查詢方法包括以下步驟：

S10.將要查詢的加氣站編號提交給中心數(shù)據(jù)管理服務(wù)器，中心數(shù)據(jù)管理服務(wù)器通過查詢主管理數(shù)據(jù)庫中的路由策略來確定數(shù)據(jù)存儲節(jié)點，然后將數(shù)據(jù)從目標存儲節(jié)點中取出、解壓并返回給客戶端。

進一步，所述加氣站SCADA系統(tǒng)海量數(shù)據(jù)處理方法，還包括當客戶端查詢多個加氣站的數(shù)據(jù)時，開辟多個線程，每個線程負責一個加氣站數(shù)據(jù)的查詢，然后將多個線程的查詢結(jié)果聚合后返回給客戶端。

本發(fā)明的有益效果：

本發(fā)明加氣站SCADA系統(tǒng)海量數(shù)據(jù)處理方法，其能提高對加氣站海量監(jiān)測數(shù)據(jù)的存儲運行效率，滿足海量數(shù)據(jù)的存儲要求，同時對數(shù)據(jù)的查詢方便，能多線程并行查詢，可極大提高查詢效率，且能方便的滿足加氣站數(shù)量的橫向擴展。

具體實施方式

下面結(jié)合實施例對本發(fā)明作進一步描述。

本實施例加氣站SCADA系統(tǒng)海量數(shù)據(jù)處理方法，包括數(shù)據(jù)存儲方法和數(shù)據(jù)查詢方法；

所述數(shù)據(jù)儲存方法包括以下步驟：

S1.通過以太網(wǎng)將站級數(shù)據(jù)采集主機、站級數(shù)據(jù)存儲服務(wù)器、站級數(shù)據(jù)通信客戶端主機、中心數(shù)據(jù)通信服務(wù)器、中心數(shù)據(jù)管理服務(wù)器、以及中心分布式數(shù)據(jù)存儲集群互連，所述中心分布式數(shù)據(jù)存儲集群包括多個主存儲服務(wù)器和多個從存儲服務(wù)器；

當然在具體實施例中，所述站級數(shù)據(jù)采集主機、站級數(shù)據(jù)存儲服務(wù)器、站級數(shù)據(jù)通信客戶端主機可以為同一臺工控機或服務(wù)器，也可為多臺不同的服務(wù)器，因此站級數(shù)據(jù)采集進程、站級數(shù)據(jù)存儲進程、站級數(shù)據(jù)通信客戶端進程可分別運行于獨立的工控機或服務(wù)器中，也可運行于同一臺服務(wù)器中，但各進程間必須通過以太網(wǎng)互連；

S2.將站級數(shù)據(jù)采集主機通過串口或以太網(wǎng)接口與PLC連接，通過PLC采集加氣站設(shè)備的實時工況數(shù)據(jù)和報警信號，然后將數(shù)據(jù)存儲在站級數(shù)據(jù)庫服務(wù)器中；采集頻率存儲在配置文件中，可默認設(shè)置為1次/10秒；

S3.將站級數(shù)據(jù)通信客戶端主機與中心數(shù)據(jù)通信服務(wù)器通過以太網(wǎng)相連，站級數(shù)據(jù)通信客戶端主機從站級數(shù)據(jù)庫中取出工況數(shù)據(jù)并通過TCP/IP協(xié)議將數(shù)據(jù)遠傳給中心數(shù)據(jù)通信服務(wù)器，中心數(shù)據(jù)通信服務(wù)器收到數(shù)據(jù)后，先將數(shù)據(jù)暫存在內(nèi)存中，然后每隔一段時間把內(nèi)存中的數(shù)據(jù)通過相應(yīng)的壓縮算法進行壓縮打包，并對每個壓縮包中的數(shù)據(jù)進行預(yù)先的統(tǒng)計計算；

S4.中心數(shù)據(jù)通信服務(wù)器的負載均衡集群中的每臺服務(wù)器上都運行相同的通信服務(wù)端進程與數(shù)據(jù)管理進程，當負載均衡集群收到站級數(shù)據(jù)通信客戶端的連接請求后將它們均衡的分配給集群中的各服務(wù)器進行處理，這樣可以提高運行效率；若集群中有服務(wù)器出現(xiàn)故障，集群的負載均衡策略則排除掉故障服務(wù)器，并對剩下的正常工作的服務(wù)器重新分配工作負擔，可解決通訊服務(wù)器的單點故障問題；

S5.中心數(shù)據(jù)通信服務(wù)器將數(shù)據(jù)壓縮包與統(tǒng)計計算結(jié)果交付給中心數(shù)據(jù)管理服務(wù)器，中心數(shù)據(jù)管理服務(wù)器按照路由策略將數(shù)據(jù)包分配到中心分布式數(shù)據(jù)存儲集群的不同節(jié)點中；

S6.中心分布式數(shù)據(jù)存儲集群的物理結(jié)構(gòu)上由多個存儲節(jié)點組成，每個存儲節(jié)點包括一臺主存儲服務(wù)器和多臺從存儲服務(wù)器；主存儲服務(wù)器與從存儲服務(wù)器之間配置三個策略：讀寫分離、數(shù)據(jù)實時同步、以及故障轉(zhuǎn)移；主存儲服務(wù)器配置為可寫可讀，從存儲服務(wù)器配置為只讀，且主存儲服務(wù)器的讀優(yōu)先級低于從存儲服務(wù)器的讀優(yōu)先級，數(shù)據(jù)寫入主存儲服務(wù)器后實時同步到從存儲服務(wù)器；

這樣寫數(shù)據(jù)請求將被導向到主服務(wù)器，讀數(shù)據(jù)請求將被導向到從服務(wù)器，當讀數(shù)據(jù)請求壓力過大時，會將一部分讀請求分流到主服務(wù)器，盡可能均衡的將讀寫壓力分配到主從服務(wù)器上，滿足系統(tǒng)的數(shù)據(jù)吞吐量要求；并且當主服務(wù)器發(fā)生故障時，故障轉(zhuǎn)移策略會自動將主服務(wù)器移除集群，并將所有的讀寫數(shù)據(jù)請求導向到從服務(wù)器，使系統(tǒng)提供無單點故障的數(shù)據(jù)存儲服務(wù)；

S7.中心分布式數(shù)據(jù)存儲集群的邏輯結(jié)構(gòu)上由1個主管理數(shù)據(jù)庫與多個子數(shù)據(jù)庫組成，主管理數(shù)據(jù)庫存儲數(shù)據(jù)路由策略，所述數(shù)據(jù)路由策略即加氣站編號到數(shù)據(jù)存儲節(jié)點IP的映射表，子數(shù)據(jù)庫存儲每個加氣站中的所有設(shè)備產(chǎn)生的實時數(shù)據(jù)、歷史數(shù)據(jù)、以及報警數(shù)據(jù)，一個子數(shù)據(jù)庫只存儲一個加氣站的數(shù)據(jù)；一個存儲節(jié)點安裝一個數(shù)據(jù)庫實例，主管理數(shù)據(jù)庫與多個子數(shù)據(jù)庫部署于同一個數(shù)據(jù)庫實例中，即部署于同一個存儲節(jié)點中；當在在具體實施例中也可以者是每一個數(shù)據(jù)庫分別部署于一個數(shù)據(jù)庫實例中，部署方式可靈活組合；

主庫中的數(shù)據(jù)路由策略就是記錄每個加氣站的子庫實際部署的數(shù)據(jù)存儲節(jié)點的IP地址，每個加氣站對應(yīng)一個子數(shù)據(jù)庫的方式可從邏輯上支持數(shù)據(jù)庫集群的橫向擴展，并且避免了哈希分片方法會帶來的哈希一致性問題；當有新的加氣站需要連入系統(tǒng)，只需要將新的服務(wù)器配置為一個主從節(jié)點，然后在主管理數(shù)據(jù)庫中增加其數(shù)據(jù)路由策略即可；

S8.每個子數(shù)據(jù)庫中用于存放設(shè)備工況歷史數(shù)據(jù)和報警歷史數(shù)據(jù)的數(shù)據(jù)表分區(qū)處理，將數(shù)據(jù)表按年份分區(qū)，每一年的數(shù)據(jù)存放在對應(yīng)的分區(qū)中；這樣所有的數(shù)據(jù)邏輯上還是在同一個表中，但物理上不同年份的數(shù)據(jù)存儲在不同的文件中，能提高數(shù)據(jù)庫的IO吞吐量；

S9.中心數(shù)據(jù)通信服務(wù)器將數(shù)據(jù)來源的加氣站編號以及數(shù)據(jù)壓縮包提交給中心數(shù)據(jù)管理服務(wù)器，中心數(shù)據(jù)管理服務(wù)器通過查詢主管理數(shù)據(jù)庫中的路由策略來確定數(shù)據(jù)存儲節(jié)點，然后將數(shù)據(jù)存儲于其中；

所述數(shù)據(jù)查詢方法包括以下步驟：

S10.將要查詢的加氣站編號提交給中心數(shù)據(jù)管理服務(wù)器，中心數(shù)據(jù)管理服務(wù)器通過查詢主管理數(shù)據(jù)庫中的路由策略來確定數(shù)據(jù)存儲節(jié)點，然后將數(shù)據(jù)從目標存儲節(jié)點中取出、解壓并返回給客戶端。

作對對本實施例的改進，本加氣站SCADA系統(tǒng)海量數(shù)據(jù)處理方法，還包括當客戶端查詢多個加氣站的數(shù)據(jù)時，開辟多個線程，每個線程負責一個加氣站數(shù)據(jù)的查詢，然后將多個線程的查詢結(jié)果聚合后返回給客戶端；多線程并行查詢可極大提高查詢效率。

同時當客戶端要進行數(shù)據(jù)統(tǒng)計查詢時，由于數(shù)據(jù)庫中存儲了數(shù)據(jù)壓縮包以及每個包對應(yīng)的預(yù)先統(tǒng)計結(jié)果值，那么只需把滿足查詢條件的統(tǒng)計結(jié)果值查詢出來再做二次統(tǒng)計計算，即可得到最終結(jié)果，可大大的節(jié)省查詢時的統(tǒng)計計算時間。

本實施例加氣站SCADA系統(tǒng)海量數(shù)據(jù)處理方法，其能提高對加氣站海量監(jiān)測數(shù)據(jù)的存儲運行效率，滿足海量數(shù)據(jù)的存儲要求，同時對數(shù)據(jù)的查詢方便，能多線程并行查詢，可極大提高查詢效率，且能方便的滿足加氣站數(shù)量的橫向擴展。

最后說明的是，以上實施例僅用以說明本發(fā)明的技術(shù)方案而非限制，盡管參照較佳實施例對本發(fā)明進行了詳細說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當理解，可以對本發(fā)明的技術(shù)方案進行修改或者等同替換，而不脫離本發(fā)明技術(shù)方案的宗旨和范圍，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當中。