一種基于hadoop的圖表監(jiān)控方法和裝置的制造方法
【專利摘要】本發(fā)明涉及一種基于HADOOP的圖表監(jiān)控方法和裝置，包括：Opentsdb數(shù)據(jù)庫接收Python后臺服務器發(fā)送的數(shù)據(jù)信息，數(shù)據(jù)信息包括主機資源信息和HADOOP集群指標數(shù)據(jù)信息；Opentsdb數(shù)據(jù)庫將所述主機資源信息和所述HADOOP集群指標數(shù)據(jù)信息存儲在Hbase數(shù)據(jù)庫中；Opentsdb數(shù)據(jù)庫接收Grafana插件發(fā)送的圖表顯示請求信息；Opentsdb數(shù)據(jù)庫根據(jù)所述圖表顯示請求信息從所述Hbase數(shù)據(jù)庫的主機資源信息和HADOOP集群指標數(shù)據(jù)信息中調取所述圖表顯示請求信息的相關信息；Opentsdb數(shù)據(jù)庫將所述相關信息發(fā)送給所述Grafana插件。本發(fā)明可以更好地了解集群整體情況，減少人員工作量，組建速度快和存儲量大。
【專利說明】
_種基于HADOOP的圖表監(jiān)控方法和裝置
技術領域
[0001]本發(fā)明涉及通信領域，特別是涉及一種基于HADOOP的圖表監(jiān)控方法和裝置。
【背景技術】
[0002]隨著網(wǎng)絡信息化的發(fā)展，大數(shù)據(jù)在社會經濟、政治、文化，人們生活等方面產生深遠的影響，大數(shù)據(jù)時代對人類的數(shù)據(jù)駕馭能力提出新的挑戰(zhàn)與機遇。大數(shù)據(jù)具有海量性、多樣性、高速性、數(shù)據(jù)類型繁多，數(shù)據(jù)價值相對密度低、時效性要求高等特點，已經超出了傳統(tǒng)的數(shù)據(jù)庫處理系統(tǒng)的處理能力。數(shù)據(jù)中隱藏著有價值的模式和信息，利用傳統(tǒng)的數(shù)據(jù)處理的方式，要挖掘出大數(shù)據(jù)中的信息，需要花費較長時間和巨大的成本，甚至對有些數(shù)據(jù)無法處理。

【發(fā)明內容】

[0003]本發(fā)明所要解決的技術問題是提供一種基于HADOOP的圖表監(jiān)控方法和裝置。
[0004]本發(fā)明解決上述技術問題的技術方案如下:一種基于HADOOP的圖表監(jiān)控方法，包括:
[0005]Opentsdb數(shù)據(jù)庫接收Python后臺服務器發(fā)送的數(shù)據(jù)信息，所述數(shù)據(jù)信息包括主機資源信息和HADOOP集群指標數(shù)據(jù)信息；
[0006]所述Opentsdb數(shù)據(jù)庫將所述主機資源信息和所述HADOOP集群指標數(shù)據(jù)信息存儲在Hbase數(shù)據(jù)庫中；
[0007]所述Opentsdb數(shù)據(jù)庫接收Grafana插件發(fā)送的圖表顯示請求信息；
[0008]所述Opentsdb數(shù)據(jù)庫根據(jù)所述圖表顯示請求信息從所述Hbase數(shù)據(jù)庫的主機資源信息和HADOOP集群指標數(shù)據(jù)信息中調取所述圖表顯示請求信息的相關信息；
[0009]所述Opentsdb數(shù)據(jù)庫將所述相關信息發(fā)送給所述Grafana插件。
[0010]本發(fā)明的有益效果是:在使用過程中，更好地了解集群整體情況，減少人員工作量，組建速度快和存儲量大。
[0011]在上述技術方案的基礎上，本發(fā)明還可以做如下改進。
[0012]進一步，在所述Opentsdb數(shù)據(jù)庫接收Grafana插件發(fā)送的圖表顯示請求信息之前包括:所述Graf ana插件接收Web頁面發(fā)送的所述圖表顯示請求信息。
[0013]進一步，在所述Opentsdb數(shù)據(jù)庫將所述相關信息發(fā)送給所述Grafana插件之后包括:所述Grafana插件將所述相關信息發(fā)送給所述Web頁面，以使得所述Web頁面顯示所述相關信息。
[0014]進一步，所述主機資源信息包括CPU內存信息、1網(wǎng)絡信息和磁盤信息。
[0015]進一步，所述HADOOP集群指標數(shù)據(jù)信息包括HADOOP總容量、HADOOP剩余容量、HADOOP使用容量，HADOOP已損壞的副本數(shù)據(jù)塊、HADOOP丟失塊和HADOOP塊校驗平均時間。
[0016]本發(fā)明解決上述技術問題的另一技術方案如下:一種基于HADOOP的圖表監(jiān)控裝置，包括:
[0017]數(shù)據(jù)信息接收單元，用于Opentsdb數(shù)據(jù)庫接收Python后臺服務器發(fā)送的數(shù)據(jù)信息，所述數(shù)據(jù)信息包括主機資源信息和HADOOP集群指標數(shù)據(jù)信息；
[0018]存儲單元，用于所述Opentsdb數(shù)據(jù)庫將所述主機資源信息和所述HADOOP集群指標數(shù)據(jù)信息存儲在Hbase數(shù)據(jù)庫中；
[0019]第一圖表顯示請求信息接收單元，用于所述Opentsdb數(shù)據(jù)庫接收Grafana插件發(fā)送的圖表顯示請求信息；
[0020]調取單元，用于所述Opentsdb數(shù)據(jù)庫根據(jù)所述圖表顯示請求信息從所述Hbase數(shù)據(jù)庫的主機資源信息和HADOOP集群指標數(shù)據(jù)信息中調取所述圖表顯示請求信息的相關信息;
[0021]第一相關信息發(fā)送單元，用于所述Opentsdb數(shù)據(jù)庫將所述相關信息發(fā)送給所述Graf ana 插件。
[0022]進一步，還包括:第二圖表顯示請求信息接收單元，用于在所述Opentsdb數(shù)據(jù)庫接收Graf ana插件發(fā)送的圖表顯示請求信息之前，所述Graf ana插件接收Web頁面發(fā)送的所述圖表顯示請求信息。
[0023]進一步，還包括:第二相關信息發(fā)送單元，用于在所述Opentsdb數(shù)據(jù)庫將所述相關信息發(fā)送給所述Grafana插件之后，所述Graf ana插件將所述相關信息發(fā)送給所述Web頁面，以使得所述Web頁面顯示所述相關信息。
[0024]本發(fā)明的有益效果是:在使用過程中，更好地了解集群整體情況，減少人員工作量，組建速度快和存儲量大。
【附圖說明】
[0025]圖1為本發(fā)明實施例提供的一種基于HADOOP的圖表監(jiān)控方法流程圖；
[0026]圖2為本發(fā)明實施例提供的一種基于HADOOP的圖表監(jiān)控信令流程圖；
[0027]圖3為本發(fā)明實施例提供的一種基于HADOOP的圖表監(jiān)控裝置示意圖；
[0028]圖4為本發(fā)明實施例提供的Web頁面顯/」、/」、意圖。
[0029]附圖中，各標號所代表的部件列表如下:
[0030]1、數(shù)據(jù)信息接收單元，2、存儲單元，3、第一圖表顯示請求信息接收單元，4、調取單元，5、第一相關信息發(fā)送單元。
【具體實施方式】
[0031]以下結合附圖對本發(fā)明的原理和特征進行描述，所舉實例只用于解釋本發(fā)明，并非用于限定本發(fā)明的范圍。
[0032]圖1為本發(fā)明實施例提供的一種基于HADOOP的圖表監(jiān)控方法流程圖。
[0033]參照圖1，在步驟SlOl,Opentsdb數(shù)據(jù)庫接收Python后臺服務器發(fā)送的數(shù)據(jù)信息，所述數(shù)據(jù)信息包括主機資源信息和HADOOP集群指標數(shù)據(jù)信息。
[0034]在步驟S102，0pentsdb數(shù)據(jù)庫將所述主機資源信息和所述HADOOP集群指標數(shù)據(jù)信息存儲在Hbase數(shù)據(jù)庫中。
[0035]這里，Opentsdb數(shù)據(jù)庫通過Hbase數(shù)據(jù)庫存儲所有的時序來構建一個分布式、可伸縮的時間序列數(shù)據(jù)庫。它支持秒級數(shù)據(jù)采集所有metrics(單位)，支持永久存儲，可以做容量規(guī)劃，并很容易的接入到現(xiàn)有的報警系統(tǒng)里。Opentsdb數(shù)據(jù)庫可以從大規(guī)模的集群(包括集群中的網(wǎng)絡設備、操作系統(tǒng)、應用程序)中獲取相應的metrics(單位)并進行存儲、索引以及服務，從而使得這些數(shù)據(jù)更容易讓人理解，如web化，圖形化等。
[0036]在步驟S103 ,Opentsdb數(shù)據(jù)庫接收Graf ana插件發(fā)送的圖表顯示請求信息。
[0037]這里，Graf ana插件是開源的，它是功能齊全的度量儀表盤和圖形編輯器。Graf ana插件的主要特性:靈活豐富的圖形化選項；可以混合多種風格;支持白天和夜間模式;包括多個數(shù)據(jù)源等。
[0038]在步驟S104，Opentsdb數(shù)據(jù)庫根據(jù)所述圖表顯示請求信息從所述Hbase數(shù)據(jù)庫的主機資源信息和HADOOP集群指標數(shù)據(jù)信息中調取所述圖表顯示請求信息的相關信息。
[0039]在步驟S105 ,Opentsdb數(shù)據(jù)庫將所述相關信息發(fā)送給所述Grafana插件。
[°04°]在本實施例中，在所述Opentsdb數(shù)據(jù)庫接收Graf ana插件發(fā)送的圖表顯示請求信息之前包括:所述Graf ana插件接收Web頁面發(fā)送的所述圖表顯示請求信息。
[0041 ]在本實施例中，在所述Opentsdb數(shù)據(jù)庫將所述相關信息發(fā)送給所述Graf ana插件之后包括:所述Grafana插件將所述相關信息發(fā)送給所述Web頁面，以使得所述Web頁面顯示所述相關信息。
[0042]在本實施例中，所述主機資源信息包括CPU內存信息、1網(wǎng)絡信息和磁盤信息。
[0043]在本實施例中，所述HADOOP集群指標數(shù)據(jù)信息包括HADOOP總容量、HADOOP剩余容量、HADOOP使用容量，HADOOP已損壞的副本數(shù)據(jù)塊、HADOOP丟失塊和HADOOP塊校驗平均時間。
[0044]圖2為本發(fā)明實施例提供的一種基于HADOOP的圖表監(jiān)控信令流程圖。
[0045]參照圖2，在步驟S201 ,Python后臺服務器獲取數(shù)據(jù)信息。
[0046]這里，數(shù)據(jù)信息包括主機資源信息和HADOOP集群指標數(shù)據(jù)信息。
[0047]在步驟S202，Python后臺服務器將數(shù)據(jù)信息發(fā)送給Opentsdb數(shù)據(jù)庫。
[0048]在步驟S203，Opentsdb數(shù)據(jù)庫將數(shù)據(jù)信息發(fā)送給Hbase數(shù)據(jù)庫。
[0049]在步驟S204，Hbase數(shù)據(jù)庫將數(shù)據(jù)信息進行存儲。
[0050]在步驟S205，Web頁面向Graf ana插件發(fā)送圖表顯示請求信息。
[0051 ] 在步驟S206 ,Grafana插件將圖表顯示請求信息發(fā)送給Opentsdb數(shù)據(jù)庫。
[0052]在步驟S207，Opentsdb數(shù)據(jù)庫從Hbase數(shù)據(jù)庫的數(shù)據(jù)信息中調取圖表顯示請求信息的相關信息。
[°°53] 在步驟S208 ,Opentsdb數(shù)據(jù)庫將相關信息發(fā)送給Grafana插件。
[°°54] 在步驟S209 ,Grafana插件將相關信息發(fā)送給Web頁面。
[0055]在步驟S210，Web頁面顯示相關信息。
[0056]圖3為本發(fā)明實施例提供的一種基于HADOOP的圖表監(jiān)控裝置示意圖。
[0057]參照圖3，圖表監(jiān)控裝置包括數(shù)據(jù)信息接收單元1、存儲單元2、第一圖表顯示請求信息接收單元3、調取單元4和第一相關信息發(fā)送單元5。
[0058]數(shù)據(jù)信息接收單元I，用于Opentsdb數(shù)據(jù)庫接收Python后臺服務器發(fā)送的數(shù)據(jù)信息，所述數(shù)據(jù)信息包括主機資源信息和HADOOP集群指標數(shù)據(jù)信息。
[0059]存儲單元2，用于所述Opentsdb數(shù)據(jù)庫將所述主機資源信息和所述HADOOP集群指標數(shù)據(jù)信息存儲在Hbase數(shù)據(jù)庫中。[ΟΟ?Ο]第一圖表顯示請求信息接收單元3，用于所述Opentsdb數(shù)據(jù)庫接收Graf ana插件發(fā)送的圖表顯示請求信息。
[0061 ]調取單元4，用于所述Opentsdb數(shù)據(jù)庫根據(jù)所述圖表顯示請求信息從所述Hbase數(shù)據(jù)庫的主機資源信息和HADOOP集群指標數(shù)據(jù)信息中調取所述圖表顯示請求信息的相關信息。
[0062]第一相關信息發(fā)送單元5，用于所述Opentsdb數(shù)據(jù)庫將所述相關信息發(fā)送給所述Graf ana 插件。
[0063]在本實施例中，還包括:第二圖表顯示請求信息接收單元(未示出)，用于在所述Opentsdb數(shù)據(jù)庫接收Graf ana插件發(fā)送的圖表顯示請求信息之前，所述Graf ana插件接收Web頁面發(fā)送的所述圖表顯示請求信息。
[0064]在本實施例中，還包括:第二相關信息發(fā)送單元(未示出)，用于在所述Opentsdb數(shù)據(jù)庫將所述相關信息發(fā)送給所述Grafana插件之后，所述Grafana插件將所述相關信息發(fā)送給所述Web頁面，以使得所述Web頁面顯示所述相關信息。
[0065]圖4為本發(fā)明實施例提供的Web頁面顯/」、/」、意圖。
[0066]參照圖4，Web頁面分別顯示的是群集CPU使用率、內存使用情況、群集磁盤1利用率和群集文件系統(tǒng)使用率。
[0067]圖4a顯示的是群集CPU使用率，群集CPU使用率即集群CPU使用率，是集群中主機節(jié)點的cpu使用率的平均值。Clusterid = 4是集群的編號，橫坐標為時間，取值為大約一個小時，即從9:40到10:30 ；縱坐標為百分比。當9:40時，群集CPU使用率為2.5 % ;當10:00時，群集CPU使用率為3 %。
[0068]當Web頁面向Grafana插件發(fā)送圖表顯示請求信息，圖表顯示請求信息包括群集CPU使用率，Opentsdb數(shù)據(jù)庫從Hbase數(shù)據(jù)庫的主機資源信息和HADOOP集群指標數(shù)據(jù)信息中調取群集CPU使用率的相關信息，并發(fā)送給Grafana插件，Grafana插件再發(fā)送給Web頁面。
[0069]圖4b顯示的是內存使用情況，是集群中主機節(jié)點的內存使用的平均值。橫坐標為時間，取值為大約一個小時，即從9:40到10:30 ；縱坐標為內存容量。從9:40到10:30，內存容量為27GiB。
[0070]當Web頁面向Grafana插件發(fā)送圖表顯示請求信息，圖表顯示請求信息包括內存使用情況，Opentsdb數(shù)據(jù)庫從Hbase數(shù)據(jù)庫的主機資源信息和HADOOP集群指標數(shù)據(jù)信息中調取內存使用情況的相關信息，并發(fā)送給Graf ana插件，Graf ana插件再發(fā)送給Web頁面。
[0071]圖4c顯示的是群集磁盤1利用率，群集磁盤1利用率即集群磁盤1利用率，是集群中主機節(jié)點的磁盤1使用率的平均值。橫坐標為時間，取值為大約一個小時，即從9:40到10:30；縱坐標為百分比。從9:40到10:30之間，群集磁盤1利用率為O。
[0072]當Web頁面向Grafana插件發(fā)送圖表顯示請求信息，圖表顯示請求信息包括群集磁盤1利用率，Opentsdb數(shù)據(jù)庫從Hbase數(shù)據(jù)庫的主機資源信息和HADOOP集群指標數(shù)據(jù)信息中調取群集磁盤1利用率的相關信息，并發(fā)送給Graf ana插件，Graf ana插件再發(fā)送給Web頁面。
[0073]圖4d顯示的是群集文件系統(tǒng)使用率，群集文件系統(tǒng)使用率即集群文件系統(tǒng)使用率，是集群中主機節(jié)點的文件系統(tǒng)使用率的平均值。橫坐標為時間，取值為大約一個小時，即從9:40到10:30 ；縱坐標為百分比。當9:40時，群集文件系統(tǒng)使用率為0.0007%。
[0074]當Web頁面向Grafana插件發(fā)送圖表顯示請求信息，圖表顯示請求信息包括群集文件系統(tǒng)使用率，Opentsdb數(shù)據(jù)庫從Hbase數(shù)據(jù)庫的主機資源信息和HADOOP集群指標數(shù)據(jù)信息中調取群集文件系統(tǒng)使用率的相關信息，并發(fā)送給Graf ana插件，Grafana插件再發(fā)送給Web頁面。
[0075]以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內。
【主權項】
1.一種基于HADOOP的圖表監(jiān)控方法，其特征在于，包括: Opentsdb數(shù)據(jù)庫接收Python后臺服務器發(fā)送的數(shù)據(jù)信息，所述數(shù)據(jù)信息包括主機資源信息和HADOOP集群指標數(shù)據(jù)信息； 所述Opentsdb數(shù)據(jù)庫將所述主機資源信息和所述HADOOP集群指標數(shù)據(jù)信息存儲在Hbase數(shù)據(jù)庫中； 所述Opentsdb數(shù)據(jù)庫接收Graf ana插件發(fā)送的圖表顯示請求信息； 所述Opentsdb數(shù)據(jù)庫根據(jù)所述圖表顯示請求信息從所述Hbase數(shù)據(jù)庫的主機資源信息和HADOOP集群指標數(shù)據(jù)信息中調取所述圖表顯示請求信息的相關信息； 所述Opentsdb數(shù)據(jù)庫將所述相關信息發(fā)送給所述Graf ana插件。2.根據(jù)權利要求1所述的一種基于HADOOP的圖表監(jiān)控方法，其特征在于，在所述Opentsdb數(shù)據(jù)庫接收Graf ana插件發(fā)送的圖表顯示請求信息之前包括:所述Grafana插件接收Web頁面發(fā)送的所述圖表顯示請求信息。3.根據(jù)權利要求1所述的一種基于HADOOP的圖表監(jiān)控方法，其特征在于，在所述Opentsdb數(shù)據(jù)庫將所述相關信息發(fā)送給所述Graf ana插件之后包括:所述Graf ana插件將所述相關信息發(fā)送給所述Web頁面，以使得所述Web頁面顯示所述相關信息。4.根據(jù)權利要求1所述的一種基于HADOOP的圖表監(jiān)控方法，其特征在于，所述主機資源信息包括(PU內存信息、1網(wǎng)絡信息和磁盤信息。5.根據(jù)權利要求1所述的一種基于HADOOP的圖表監(jiān)控方法，其特征在于，所述HADOOP集群指標數(shù)據(jù)信息包括HADOOP總容量、HADOOP剩余容量、HADOOP使用容量，HADOOP已損壞的副本數(shù)據(jù)塊、HADOOP丟失塊和HADOOP塊校驗平均時間。6.一種基于HADOOP的圖表監(jiān)控裝置，其特征在于，包括: 數(shù)據(jù)信息接收單元，用于Opentsdb數(shù)據(jù)庫接收Python后臺服務器發(fā)送的數(shù)據(jù)信息，所述數(shù)據(jù)信息包括主機資源信息和HADOOP集群指標數(shù)據(jù)信息； 存儲單元，用于所述Opentsdb數(shù)據(jù)庫將所述主機資源信息和所述HADOOP集群指標數(shù)據(jù)信息存儲在Hbase數(shù)據(jù)庫中； 第一圖表顯示請求信息接收單元，用于所述Opentsdb數(shù)據(jù)庫接收Graf ana插件發(fā)送的圖表顯示請求信息； 調取單元，用于所述Opentsdb數(shù)據(jù)庫根據(jù)所述圖表顯示請求信息從所述Hbase數(shù)據(jù)庫的主機資源信息和HADOOP集群指標數(shù)據(jù)信息中調取所述圖表顯示請求信息的相關信息； 第一相關信息發(fā)送單元，用于所述Opentsdb數(shù)據(jù)庫將所述相關信息發(fā)送給所述Graf ana 插件。7.根據(jù)權利要求6所述的一種基于HADOOP的圖表監(jiān)控裝置，其特征在于，還包括:第二圖表顯示請求信息接收單元，用于在所述Opentsdb數(shù)據(jù)庫接收Graf ana插件發(fā)送的圖表顯示請求信息之前，所述Graf ana插件接收Web頁面發(fā)送的所述圖表顯示請求信息。8.根據(jù)權利要求6所述的一種基于HADOOP的圖表監(jiān)控裝置，其特征在于，還包括:第二相關信息發(fā)送單元，用于在所述Opentsdb數(shù)據(jù)庫將所述相關信息發(fā)送給所述Graf ana插件之后，所述Grafana插件將所述相關信息發(fā)送給所述Web頁面，以使得所述Web頁面顯示所述相關信息。
【文檔編號】G06F17/30GK105930380SQ201610230680
【公開日】2016年9月7日
【申請日】2016年4月14日
【發(fā)明人】劉志吉
【申請人】北京思特奇信息技術股份有限公司