一種基于Hadoop平臺(tái)的物聯(lián)網(wǎng)日志處理方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于數(shù)據(jù)存儲(chǔ)領(lǐng)域，尤其涉及一種基于Hadoop平臺(tái)的物聯(lián)網(wǎng)日志處理方法 和裝置。
【背景技術(shù)】
[0002] 隨著物聯(lián)網(wǎng)的快速發(fā)展，越來越多的設(shè)備接入到物聯(lián)網(wǎng)，使得用戶、應(yīng)用、設(shè)備產(chǎn) 生的數(shù)據(jù)呈現(xiàn)飛速增長(zhǎng)的趨勢(shì)，海量數(shù)據(jù)的出現(xiàn)和數(shù)據(jù)結(jié)構(gòu)的復(fù)雜多變，給物聯(lián)網(wǎng)服務(wù)器 端管理和分析處理數(shù)據(jù)帶來了巨大的挑戰(zhàn)。另一方面，這些數(shù)據(jù)，例如用戶的操作習(xí)慣、設(shè) 備（白家電的冰箱、洗衣機(jī)、空調(diào)等）的用水記錄、用電記錄等，往往需要很長(zhǎng)的保存期，以對(duì) 用戶的行為數(shù)據(jù)進(jìn)行挖掘，做出智能推薦。而隨著用戶數(shù)量和設(shè)備連接數(shù)量的增加，對(duì)數(shù)據(jù) 存儲(chǔ)空間的需求還將會(huì)越來越大。物聯(lián)網(wǎng)要存儲(chǔ)的數(shù)據(jù)結(jié)構(gòu)各異，傳統(tǒng)的基于關(guān)系型的數(shù) 據(jù)庫如My SQL、Orac 1 e等無法有效地存儲(chǔ)和應(yīng)對(duì)不斷增加的新型業(yè)務(wù)產(chǎn)生的數(shù)據(jù)結(jié)構(gòu)的變 化，而NoSQL數(shù)據(jù)庫如MongoDB雖然可以不受限于固定列的存在，可以動(dòng)態(tài)適應(yīng)數(shù)據(jù)結(jié)構(gòu)的 變化，但是NoSQL基本都是內(nèi)存數(shù)據(jù)庫，雖然應(yīng)對(duì)鍵-值(key-value)查詢比較高效，但卻無 法存儲(chǔ)海量數(shù)據(jù)。Hadoop分布式技術(shù)的發(fā)展為解決上述問題提供了技術(shù)手段。
[0003] 現(xiàn)有的一種基于Hadoop平臺(tái)的物聯(lián)網(wǎng)日志處理方案是一種基于hadoop平臺(tái)的醫(yī) 保門診大數(shù)據(jù)抽取系統(tǒng)及方法，其使用Flume從業(yè)務(wù)服務(wù)器中抽取數(shù)據(jù)，并存儲(chǔ)到Hadoop的 HDFS中，然后根據(jù)設(shè)定的清洗規(guī)則，將其中錯(cuò)誤的或者不一致的"臟數(shù)據(jù)"過濾掉，保留合格 的數(shù)據(jù)，接著使用Hive進(jìn)行數(shù)據(jù)倉庫建模，并提供用于客戶端進(jìn)行數(shù)據(jù)查詢的SQL解析引 擎，經(jīng)過查詢分析模塊分析后有價(jià)值的醫(yī)保門診數(shù)據(jù)存儲(chǔ)到Hbase分布式數(shù)據(jù)庫中，供客戶 端查詢，最后使用開源的報(bào)表系統(tǒng)如BIRT通過Hbase查詢數(shù)據(jù)并展現(xiàn)。
[0004] 如前所述，物聯(lián)網(wǎng)業(yè)務(wù)日志需要通過日志來記錄軟件系統(tǒng)運(yùn)行過程中所有的消 息，例如狀態(tài)、操作、故障、用戶行為、開機(jī)情況、用水（電)量等等信息，并針對(duì)不同的業(yè)務(wù)類 型消息形成相應(yīng)的每月、每周、每天的報(bào)表，供web前臺(tái)直接讀取。然而，現(xiàn)有的基于Hadoop 平臺(tái)的物聯(lián)網(wǎng)日志處理方案所輸出的日志不僅信息量較大，而且包含各種類型的日志信 息，輸出的日志的眾多信息摻雜在一起，導(dǎo)致系統(tǒng)輸出的日志的可分析性較差，若是需要周 期性輸出分析結(jié)果的業(yè)務(wù)，物聯(lián)網(wǎng)日志的上述處理方案也無法滿足這一需求。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于提供一種基于Hadoop平臺(tái)的物聯(lián)網(wǎng)日志處理方法和裝置，以提 高系統(tǒng)輸出的日志的可分析性，并滿足業(yè)務(wù)報(bào)表的周期性輸出需求。
[0006] 本發(fā)明第一方面提供一種基于Hadoop平臺(tái)的物聯(lián)網(wǎng)日志處理方法，所述方法包 括：
[0007] 配置物聯(lián)網(wǎng)日志的日志格式并按照所述配置的日志格式采集物聯(lián)網(wǎng)日志，所述日 志格式為一條物聯(lián)網(wǎng)日志包括分隔符以及由所述分隔符分隔的類別標(biāo)識(shí)字符串和日志內(nèi) 容字符串；
[0008] 將采集到的所述物聯(lián)網(wǎng)日志按照所述類別標(biāo)識(shí)字符串標(biāo)識(shí)的類別進(jìn)行分類聚合 并將所述分類聚合后的物聯(lián)網(wǎng)日志的存儲(chǔ)路徑記錄至日志備忘表；
[0009] 定時(shí)更新所述日志備忘表或?qū)⑺龇诸惥酆虾蟮奈锫?lián)網(wǎng)日志中需要形成數(shù)據(jù)報(bào) 表的物聯(lián)網(wǎng)日志加載至hive表的日期分區(qū)。
[0010]本發(fā)明第二方面提供一種基于Hadoop平臺(tái)的物聯(lián)網(wǎng)日志處理裝置，所述裝置包 括：
[0011]日志采集模塊，用于配置物聯(lián)網(wǎng)日志的日志格式并按照所述配置的日志格式采集 物聯(lián)網(wǎng)日志，所述日志格式為一條物聯(lián)網(wǎng)日志包括分隔符以及由所述分隔符分隔的類別標(biāo) 識(shí)字符串和日志內(nèi)容字符串；
[0012] 分類聚合模塊，用于將所述采集到的物聯(lián)網(wǎng)日志按照所述類別標(biāo)識(shí)字符串標(biāo)識(shí)的 類別進(jìn)行分類聚合并將所述分類聚合后的物聯(lián)網(wǎng)日志的存儲(chǔ)路徑記錄至日志備忘表；
[0013] 定時(shí)分析模塊，用于定時(shí)更新所述日志備忘表或?qū)⑺龇诸惥酆虾蟮奈锫?lián)網(wǎng)日志 中需要形成數(shù)據(jù)報(bào)表的物聯(lián)網(wǎng)日志加載至hive表的日期分區(qū)。
[0014] 從上述本發(fā)明技術(shù)方案可知，一方面，由于對(duì)采集到的物聯(lián)網(wǎng)日志進(jìn)行了分類聚 合，因此，這種對(duì)采集到的日志進(jìn)行分門別類的方式使得輸出的日志的可分析性顯著增強(qiáng)； 另一方面，由于定時(shí)更新hive表和加載需要形成數(shù)據(jù)報(bào)表的物聯(lián)網(wǎng)日志至hive表的日期分 區(qū)，因此，能夠滿足需要周期性輸出分析結(jié)果的業(yè)務(wù)的需求。
【附圖說明】
[0015] 圖1是本發(fā)明實(shí)施例一提供的基于Hadoop平臺(tái)的物聯(lián)網(wǎng)日志處理方法的實(shí)現(xiàn)流程 示意圖；
[0016] 圖2是本發(fā)明實(shí)施例二提供的基于Hadoop平臺(tái)的物聯(lián)網(wǎng)日志處理裝置的結(jié)構(gòu)示意 圖；
[0017] 圖3是本發(fā)明實(shí)施例三提供的基于Hadoop平臺(tái)的物聯(lián)網(wǎng)日志處理裝置的結(jié)構(gòu)示意 圖；
[0018] 圖4是本發(fā)明實(shí)施例四提供的基于Hadoop平臺(tái)的物聯(lián)網(wǎng)日志處理裝置的結(jié)構(gòu)示意 圖；
[0019] 圖5-a是本發(fā)明實(shí)施例五提供的基于Hadoop平臺(tái)的物聯(lián)網(wǎng)日志處理裝置的結(jié)構(gòu)示 意圖；
[0020] 圖5-b是本發(fā)明實(shí)施例六提供的基于Hadoop平臺(tái)的物聯(lián)網(wǎng)日志處理裝置的結(jié)構(gòu)示 意圖；
[0021] 圖5-C是本發(fā)明實(shí)施例七提供的基于Hadoop平臺(tái)的物聯(lián)網(wǎng)日志處理裝置的結(jié)構(gòu)示 意圖；
[0022]圖6是本發(fā)明實(shí)施例八提供的應(yīng)用基于Hadoop平臺(tái)的物聯(lián)網(wǎng)日志處理裝置的系統(tǒng) 框圖。
【具體實(shí)施方式】
[0023]為了使本發(fā)明的目的、技術(shù)方案及有益效果更加清楚明白，以下結(jié)合附圖及實(shí)施 例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā) 明，并不用于限定本發(fā)明。
[0024]本發(fā)明實(shí)施例提供一種基于Hadoop平臺(tái)的物聯(lián)網(wǎng)日志處理方法，所述方法包括： 配置物聯(lián)網(wǎng)日志的日志格式并按照所述配置的日志格式采集物聯(lián)網(wǎng)日志，所述日志格式為 一條物聯(lián)網(wǎng)日志包括分隔符以及由所述分隔符分隔的類別標(biāo)識(shí)字符串和日志內(nèi)容字符串； 將采集到的所述物聯(lián)網(wǎng)日志按照所述類別標(biāo)識(shí)字符串標(biāo)識(shí)的類別進(jìn)行分類聚合并將所述 分類聚合后的物聯(lián)網(wǎng)日志的存儲(chǔ)路徑記錄至日志備忘表;定時(shí)更新所述日志備忘表或?qū)⑺?述分類聚合后的物聯(lián)網(wǎng)日志中需要形成數(shù)據(jù)報(bào)表的物聯(lián)網(wǎng)日志加載至hive表的日期分區(qū)。 本發(fā)明實(shí)施例還提供相應(yīng)的基于Hadoop平臺(tái)的物聯(lián)網(wǎng)日志處理裝置。以下分別進(jìn)行詳細(xì)說 明。
[0025]請(qǐng)參閱附圖1，是本發(fā)明實(shí)施例一提供的基于Hadoop平臺(tái)的物聯(lián)網(wǎng)日志處理方法 的實(shí)現(xiàn)流程示意圖，主要包括以下步驟S101至步驟S103:
[0026] S101，配置物聯(lián)網(wǎng)日志的日志格式并按照所述配置的日志格式采集物聯(lián)網(wǎng)日志， 其中，日志格式為一條物聯(lián)網(wǎng)日志包括分隔符以及由所述分隔符分隔的類別標(biāo)識(shí)字符串和 日志內(nèi)容字符串。
[0027]在本發(fā)明實(shí)施例中，配置物聯(lián)網(wǎng)日志的日志格式由Hadoop架構(gòu)的Agent層完成， Hadoop架構(gòu)包括Agent層、Col lector層和Store層這三層，在這三層中每臺(tái)服務(wù)器安裝 Flume工具，其中，Agent層在分布式業(yè)務(wù)服務(wù)器集群中的每一個(gè)業(yè)務(wù)服務(wù)器節(jié)點(diǎn)上部署一 個(gè)進(jìn)程，負(fù)責(zé)對(duì)單機(jī)的物聯(lián)網(wǎng)日志收集工作，將物理網(wǎng)日志發(fā)送至Collector層，而在向 Collector層發(fā)送物聯(lián)網(wǎng)日志時(shí)，可使用負(fù)載均衡(Load Balance)策略，將所有的物理網(wǎng)日 志均衡地發(fā)到Col lector層的所有中心服務(wù)器上，達(dá)到負(fù)載均衡的目標(biāo)，同時(shí)處理 Collector層單個(gè)中心服務(wù)器失效的問題。
[0028] 具