一種實時數(shù)據(jù)處理分析系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及物聯(lián)網(wǎng)大數(shù)據(jù)實時處理領(lǐng)域，特別涉及一種油田生產(chǎn)現(xiàn)場的物聯(lián)網(wǎng)實時數(shù)據(jù)處理分析系統(tǒng)。
【背景技術(shù)】
[0002]在物聯(lián)網(wǎng)環(huán)境中，采集層傳感器產(chǎn)生大量實時數(shù)據(jù)，這些數(shù)據(jù)通常包含時間、位置、采集信息等內(nèi)容，具有明顯的顆粒性特征，由于油氣生產(chǎn)現(xiàn)場部署的傳感器的多元化、差異化以及環(huán)境的多樣化，這些數(shù)據(jù)呈現(xiàn)出異構(gòu)性、多樣性、非結(jié)構(gòu)化、有噪聲、高增長率等特征.物聯(lián)網(wǎng)技術(shù)的應(yīng)用涉及物聯(lián)網(wǎng)實時大數(shù)據(jù)處理，所產(chǎn)生的數(shù)據(jù)量之密集、實時性之強是前所未有的，需要進行實時、高效的計算分析。物聯(lián)設(shè)備采集的數(shù)據(jù)種類眾多，數(shù)據(jù)量大，而且需要實時處理，對處理系統(tǒng)性能要求嚴(yán)格。所有這些凸顯物聯(lián)網(wǎng)實時數(shù)據(jù)抽取模型的重要性。例如，在油田生產(chǎn)現(xiàn)場采集數(shù)據(jù)的溫度傳感器、壓力變送器、流量計、有毒有害氣體傳感器、RTU以及其他傳感設(shè)備采集的大量實時數(shù)據(jù)，將通過物聯(lián)網(wǎng)的有線或者無線傳輸設(shè)備，上傳至應(yīng)用層的實時數(shù)據(jù)庫進行匯集，根據(jù)現(xiàn)場采集設(shè)備的數(shù)量和采集頻率估算，實時數(shù)據(jù)庫需要處理十萬級至百萬級數(shù)據(jù)插入的并發(fā)操作，應(yīng)用系統(tǒng)需要對這些實時數(shù)據(jù)加以分析利用，來對生產(chǎn)單元當(dāng)時的生產(chǎn)狀態(tài)進行判斷、統(tǒng)計，幫助系統(tǒng)用戶了解實時生產(chǎn)情況。由于實時數(shù)據(jù)量大、實時性高，普通的應(yīng)用系統(tǒng)無法及時處理實時數(shù)據(jù)，或者處理起來很慢，達(dá)不到實時監(jiān)視生產(chǎn)單元狀態(tài)、統(tǒng)計生產(chǎn)情況的效果，這勢必影響正常的生產(chǎn)運行，采用先進的物聯(lián)網(wǎng)實時數(shù)據(jù)抽取模型處理分析實時數(shù)據(jù)，是提高物聯(lián)網(wǎng)應(yīng)用效果的一種必然的技術(shù)發(fā)展方向。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的是為了解決物聯(lián)網(wǎng)系統(tǒng)中產(chǎn)生的大量實時數(shù)據(jù)的抽取分析等問題，為物聯(lián)網(wǎng)應(yīng)用提供高性能解決方案，尤其是生產(chǎn)單元實時狀態(tài)以及生產(chǎn)情況統(tǒng)計的應(yīng)用，針對這些問題提出一種物聯(lián)網(wǎng)實時數(shù)據(jù)抽取模型，并為實現(xiàn)該目的提出一種實時數(shù)據(jù)處理分析系統(tǒng)。
[0004]本發(fā)明所提供的實時數(shù)據(jù)處理分析系統(tǒng)，具體包含:生產(chǎn)單元、數(shù)據(jù)采集單元、實時數(shù)據(jù)庫、數(shù)據(jù)抽取單元和關(guān)系數(shù)據(jù)庫；所述數(shù)據(jù)采集單元與所述生產(chǎn)單元相連，用于采集所述生產(chǎn)單元的實時數(shù)據(jù)并發(fā)送；所述實時數(shù)據(jù)庫與所述數(shù)據(jù)采集單元相連，用于接收所述數(shù)據(jù)采集單元發(fā)送的實時數(shù)據(jù)并存儲；所述數(shù)據(jù)抽取單元與所述實時數(shù)據(jù)庫相連，用于讀取所述實時數(shù)據(jù)庫中的實時數(shù)據(jù)并統(tǒng)計，將統(tǒng)計結(jié)果轉(zhuǎn)換后發(fā)送；所述關(guān)系數(shù)據(jù)庫與所述數(shù)據(jù)抽取單元相連，用于接收所述統(tǒng)計結(jié)果，并將統(tǒng)計結(jié)果與對應(yīng)的所述數(shù)據(jù)采集單元關(guān)聯(lián)保存。
[0005]在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述實時數(shù)據(jù)庫與所述數(shù)據(jù)采集單元通過光纖連接或無線連接。
[0006]在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述數(shù)據(jù)抽取單元包含:客戶端與分布式服務(wù)端。
[0007]在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述客戶端用于:獲取所述生產(chǎn)單元數(shù)量；檢測分布式服務(wù)端數(shù)量；根據(jù)分布式服務(wù)端數(shù)量，創(chuàng)建客戶端從線程，所述客戶端從線程與對應(yīng)的服務(wù)端通信；計算每個服務(wù)端轉(zhuǎn)化的實時數(shù)據(jù)。
[0008]在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述客戶端的控制方法包含:所述客戶端包含主線程和從線程；主線程根據(jù)配置文件，啟動物聯(lián)網(wǎng)實時數(shù)據(jù)抽取任務(wù)周期；主線程統(tǒng)計所有監(jiān)測生產(chǎn)單元ID ;主線程根據(jù)配置文件，測試服務(wù)端通信接口，統(tǒng)計可用的分布式服務(wù)端地址和數(shù)量；主線程根據(jù)分布式服務(wù)端數(shù)量，按照公式計算分配給每個服務(wù)端的檢測生產(chǎn)單元ID范圍；主線程循環(huán)等待各個從線程對服務(wù)端的任務(wù)完成情況的反饋，直到所有檢測生產(chǎn)單元的實時數(shù)據(jù)完成抽取和轉(zhuǎn)化；完成一個客戶端任務(wù)周期，主線程按照配置，啟動下一個物聯(lián)網(wǎng)實時數(shù)據(jù)抽取任務(wù)。
[0009]在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述控制方法還包含:主線程根據(jù)可用服務(wù)端數(shù)量，生成從線程；從線程根據(jù)主線程的配置，與對應(yīng)的服務(wù)端通信；從線程把檢測生產(chǎn)單元ID范圍發(fā)送給對應(yīng)的服務(wù)端；從線程循環(huán)等待服務(wù)端任務(wù)結(jié)束的反饋信息；從線程將服務(wù)端任務(wù)完成情況反饋給主線程。
[0010]在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述分布式服務(wù)端用于:接收客戶端從線程的檢測生產(chǎn)單元范圍信息；根據(jù)檢測單元范圍及配置文件，創(chuàng)建服務(wù)端從線程；服務(wù)端從線程根據(jù)檢測單元范圍，逐個統(tǒng)計實時數(shù)據(jù)庫中生產(chǎn)單元對應(yīng)的實時數(shù)據(jù)，對所述實時數(shù)據(jù)進行轉(zhuǎn)換，并將轉(zhuǎn)換結(jié)果插入關(guān)系型數(shù)據(jù)庫。
[0011]在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述分布式服務(wù)端的控制方法包含:所述分布式服務(wù)端包含主線程和從線程；主線程接收客戶端的數(shù)據(jù)抽取轉(zhuǎn)換任務(wù)及相關(guān)配置文件；主線程根據(jù)客戶端配置文件，創(chuàng)建從線程；主線程分析獲得每個從線程處理的檢測生產(chǎn)單元ID范圍；主線程啟動從線程，并將檢測生產(chǎn)單元ID范圍傳輸至從線程，從線程完成實時數(shù)據(jù)抽取轉(zhuǎn)換的任務(wù)；主線程循環(huán)等待各從線程完成數(shù)據(jù)抽取轉(zhuǎn)換任務(wù)的反饋信息；主線程統(tǒng)計完成所有生產(chǎn)單元實時數(shù)據(jù)抽取轉(zhuǎn)換任務(wù)后，將完成結(jié)果反饋給客戶端從線程；完成一個服務(wù)周期，服務(wù)端主線程循環(huán)等待下一次任務(wù)分配。
[0012]在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述控制方法還包含:從線程根據(jù)主線程的配置文件，從關(guān)系數(shù)據(jù)庫查詢生產(chǎn)檢測單元的實時數(shù)據(jù)庫標(biāo)簽；從線程根據(jù)實時數(shù)據(jù)庫標(biāo)簽查詢實時數(shù)據(jù)庫，讀取實時數(shù)據(jù)；從線程根據(jù)設(shè)定的數(shù)據(jù)轉(zhuǎn)換規(guī)則靜態(tài)算法，計算出分析后的值；從線程將獲得實時數(shù)據(jù)與關(guān)系數(shù)據(jù)庫中實時數(shù)據(jù)進行比對，如從線程將獲得實時數(shù)據(jù)與關(guān)系數(shù)據(jù)庫中實時數(shù)據(jù)不同，則將獲得實時數(shù)據(jù)更新至關(guān)系數(shù)據(jù)庫中；從線程迭代完成下一個生產(chǎn)單元的實時數(shù)據(jù)抽取轉(zhuǎn)換任務(wù)，直到完成所有檢測單元的數(shù)據(jù)轉(zhuǎn)換任務(wù)。
[0013]在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述分析系統(tǒng)還包含一物聯(lián)網(wǎng)應(yīng)用單元，用于根據(jù)關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)，提供所述生產(chǎn)單元的數(shù)據(jù)統(tǒng)計信息。
[0014]本發(fā)明的有益技術(shù)效果在于:根據(jù)實時數(shù)據(jù)庫數(shù)據(jù)，借助實時數(shù)據(jù)抽取模型，在后臺對實時數(shù)據(jù)進行轉(zhuǎn)換，并把轉(zhuǎn)換結(jié)果保存在關(guān)系型數(shù)據(jù)庫中，物聯(lián)網(wǎng)應(yīng)用則訪問關(guān)系型數(shù)據(jù)庫即可獲得檢測生產(chǎn)單元的狀態(tài)以及生產(chǎn)統(tǒng)計信息，避免了物聯(lián)網(wǎng)應(yīng)用直接訪問實時數(shù)據(jù)庫帶來的性能問題，同時，實現(xiàn)了實時數(shù)據(jù)自動轉(zhuǎn)化成關(guān)系數(shù)據(jù)的任務(wù)，提高了物聯(lián)網(wǎng)應(yīng)用對于實時數(shù)據(jù)的利用程度，提高了應(yīng)用系統(tǒng)的響應(yīng)速度。
【附圖說明】
[0015]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見的，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0016]圖1為本發(fā)明提出的物聯(lián)網(wǎng)實時數(shù)據(jù)處理分析系統(tǒng)示意圖；
[0017]圖2為本發(fā)明提出物聯(lián)網(wǎng)實時數(shù)據(jù)處理分析系統(tǒng)中數(shù)據(jù)抽取單元的客戶端、服務(wù)端工作原理示意圖；
【具體實施方式】
[0018]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述。顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0019]請參考圖1所示，圖1為本發(fā)明所提供的實時數(shù)據(jù)處理分析系統(tǒng)，具體包含:生產(chǎn)單元、數(shù)據(jù)采集單元、實時數(shù)據(jù)庫、數(shù)據(jù)抽取單元和關(guān)系數(shù)據(jù)