一種Hbase數(shù)據(jù)庫(kù)數(shù)據(jù)操作日志的生成方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，尤其涉及一種Hbase數(shù)據(jù)庫(kù)數(shù)據(jù)操作日志的生成方法及裝置。
【背景技術(shù)】
[0002]當(dāng)今互聯(lián)網(wǎng)中的巨大信息量使得整個(gè)互聯(lián)網(wǎng)朝著數(shù)據(jù)海量化，用戶訪問(wèn)高并行化的方向發(fā)展，這對(duì)在應(yīng)用中承受巨大負(fù)荷的數(shù)據(jù)庫(kù)層提出了更高的性能要求，傳統(tǒng)技術(shù)無(wú)法勝任大數(shù)據(jù)集的分析、管理和挖掘。HBase (Hadoop DataBase)是Apache Hadoop項(xiàng)目下的一款非關(guān)系型數(shù)據(jù)庫(kù)，它是一個(gè)基于列簇的開(kāi)源數(shù)據(jù)存儲(chǔ)系統(tǒng)，HBase不同于一般的關(guān)系數(shù)據(jù)庫(kù)，它是一個(gè)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的應(yīng)用分布式數(shù)據(jù)庫(kù)，可以適應(yīng)數(shù)據(jù)的海量增長(zhǎng)。隨著海量數(shù)據(jù)時(shí)代的到來(lái)，關(guān)于HBase的研宄和應(yīng)用也受到越來(lái)越多的關(guān)注。
[0003]目前，對(duì)于Hbase中數(shù)據(jù)操作日志的記錄，現(xiàn)有技術(shù)中是通過(guò)開(kāi)發(fā)的Hbase的上層應(yīng)用系統(tǒng)的接口來(lái)操作Hbase，并在操作的同時(shí)記錄Hbase操作記錄，而不通過(guò)應(yīng)用系統(tǒng)接口對(duì)Hbase的操作信息無(wú)法得到記錄，因此對(duì)于Hbase的某些操作信息無(wú)法保留，線上集群出現(xiàn)問(wèn)題時(shí)也無(wú)從查詢操作日志。

【發(fā)明內(nèi)容】

[0004]有鑒于此，本發(fā)明的目的在于提出一種Hbase數(shù)據(jù)庫(kù)數(shù)據(jù)操作日志的生成方法及裝置，以實(shí)現(xiàn)對(duì)Hbase數(shù)據(jù)庫(kù)中所有的數(shù)據(jù)操作生成數(shù)據(jù)操作日志，并降低Hbase數(shù)據(jù)庫(kù)中數(shù)據(jù)操作日志生成的成本。
[0005]一方面，本發(fā)明實(shí)施例提供一種Hbase數(shù)據(jù)庫(kù)數(shù)據(jù)操作日志的生成方法，包括:
[0006]Hbase數(shù)據(jù)庫(kù)服務(wù)端中配置的協(xié)處理器，根據(jù)監(jiān)聽(tīng)到的客戶端發(fā)送的數(shù)據(jù)操作請(qǐng)求，生成第一日志記錄，和/或，根據(jù)監(jiān)聽(tīng)到的Hbase數(shù)據(jù)庫(kù)服務(wù)端對(duì)數(shù)據(jù)操作請(qǐng)求的響應(yīng)，生成第二日志記錄；
[0007]所述協(xié)處理器將所述日志記錄存儲(chǔ)到預(yù)設(shè)數(shù)據(jù)庫(kù)中。
[0008]進(jìn)一步的，所述協(xié)處理器根據(jù)監(jiān)聽(tīng)到的Hbase數(shù)據(jù)庫(kù)服務(wù)端對(duì)數(shù)據(jù)操作請(qǐng)求的響應(yīng)，生成第二日志記錄包括:
[0009]所述協(xié)處理器在監(jiān)聽(tīng)到Hbase數(shù)據(jù)庫(kù)服務(wù)端響應(yīng)客戶端發(fā)送的數(shù)據(jù)操作請(qǐng)求時(shí)，根據(jù)Hbase數(shù)據(jù)庫(kù)服務(wù)端生成的待返回給客戶端的數(shù)據(jù)操作響應(yīng)包，生成第二日志記錄。
[0010]進(jìn)一步的，所述協(xié)處理器作為插件配置在Hbase數(shù)據(jù)庫(kù)服務(wù)端中。
[0011]進(jìn)一步的，所述第一日志記錄包括數(shù)據(jù)操作請(qǐng)求類型、數(shù)據(jù)操作時(shí)間、發(fā)送數(shù)據(jù)操作請(qǐng)求的客戶端的IP地址中的至少一項(xiàng)，所述第二日志記錄包括數(shù)據(jù)操作響應(yīng)時(shí)間、數(shù)據(jù)操作響應(yīng)結(jié)果中的至少一項(xiàng)。
[0012]進(jìn)一步的，所述預(yù)設(shè)數(shù)據(jù)庫(kù)包括Hbase數(shù)據(jù)庫(kù)、MySQL數(shù)據(jù)庫(kù)或Oracle數(shù)據(jù)庫(kù)。
[0013]另一方面，本發(fā)明實(shí)施例還提供一種Hbase數(shù)據(jù)庫(kù)數(shù)據(jù)操作日志的生成裝置，包括:
[0014]日志記錄生成單元，用于Hbase數(shù)據(jù)庫(kù)服務(wù)端中配置的協(xié)處理器，根據(jù)監(jiān)聽(tīng)到的客戶端發(fā)送的數(shù)據(jù)操作請(qǐng)求，生成第一日志記錄，和/或，根據(jù)監(jiān)聽(tīng)到的Hbase數(shù)據(jù)庫(kù)服務(wù)端對(duì)數(shù)據(jù)操作請(qǐng)求的響應(yīng)，生成第二日志記錄；
[0015]日志記錄存儲(chǔ)單元，用于所述協(xié)處理器將所述日志記錄存儲(chǔ)到預(yù)設(shè)數(shù)據(jù)庫(kù)中。
[0016]進(jìn)一步的，所述日志記錄生成單元具體用于:所述協(xié)處理器在監(jiān)聽(tīng)到Hbase數(shù)據(jù)庫(kù)服務(wù)端響應(yīng)客戶端發(fā)送的數(shù)據(jù)操作請(qǐng)求時(shí)，根據(jù)Hbase數(shù)據(jù)庫(kù)服務(wù)端生成的待返回給客戶端的數(shù)據(jù)操作響應(yīng)包，生成第二日志記錄。
[0017]進(jìn)一步的，所述協(xié)處理器作為插件配置在Hbase數(shù)據(jù)庫(kù)服務(wù)端中。
[0018]進(jìn)一步的，所述第一日志記錄包括數(shù)據(jù)操作請(qǐng)求類型、數(shù)據(jù)操作時(shí)間、發(fā)送數(shù)據(jù)操作請(qǐng)求的客戶端的IP地址中的至少一項(xiàng)，所述第二日志記錄包括數(shù)據(jù)操作響應(yīng)時(shí)間、數(shù)據(jù)操作響應(yīng)結(jié)果中的至少一項(xiàng)。
[0019]進(jìn)一步的，所述預(yù)設(shè)數(shù)據(jù)庫(kù)包括Hbase數(shù)據(jù)庫(kù)、MySQL數(shù)據(jù)庫(kù)或Oracle數(shù)據(jù)庫(kù)。
[0020]本發(fā)明實(shí)施例提供的Hbase數(shù)據(jù)庫(kù)數(shù)據(jù)操作日志的生成方法及裝置，在客戶端向數(shù)據(jù)庫(kù)服務(wù)端發(fā)送數(shù)據(jù)操作請(qǐng)求后，由Hbase數(shù)據(jù)庫(kù)服務(wù)端中配置的協(xié)處理器根據(jù)監(jiān)聽(tīng)到的所述數(shù)據(jù)操作請(qǐng)求，生成第一日志記錄，和/或，根據(jù)監(jiān)聽(tīng)到的數(shù)據(jù)庫(kù)服務(wù)端對(duì)數(shù)據(jù)操作請(qǐng)求的響應(yīng)，生成第二日志記錄，并由所述協(xié)處理器將所述日志記錄存儲(chǔ)到預(yù)設(shè)數(shù)據(jù)庫(kù)中，實(shí)現(xiàn)了對(duì)Hbase數(shù)據(jù)庫(kù)中所有的數(shù)據(jù)操作生成數(shù)據(jù)操作日志，并降低了 Hbase數(shù)據(jù)庫(kù)中數(shù)據(jù)操作日志生成的成本。
【附圖說(shuō)明】
[0021]為了更加清楚地說(shuō)明本發(fā)明示例性實(shí)施例的技術(shù)方案，下面對(duì)描述實(shí)施例中所需要用到的附圖做一簡(jiǎn)單介紹。顯然，所介紹的附圖只是本發(fā)明所要描述的一部分實(shí)施例的附圖，而不是全部的附圖，對(duì)于本領(lǐng)域普通技術(shù)人員，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖得到其他的附圖。
[0022]圖1是本發(fā)明實(shí)施例一提供的Hbase數(shù)據(jù)庫(kù)數(shù)據(jù)操作日志的生成方法的流程圖；
[0023]圖2是本發(fā)明實(shí)施例二提供的Hbase數(shù)據(jù)庫(kù)數(shù)據(jù)操作日志的生成裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0024]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，以下將結(jié)合本發(fā)明實(shí)施例中的附圖，通過(guò)【具體實(shí)施方式】，完整地描述本發(fā)明的技術(shù)方案。顯然，所描述的實(shí)施例是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例，基于本發(fā)明的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)的前提下獲得的所有其他實(shí)施例，均落入本發(fā)明的保護(hù)范圍之內(nèi)。
[0025]實(shí)施例一
[0026]圖1給出了本發(fā)明實(shí)施例一提供的Hbase數(shù)據(jù)庫(kù)數(shù)據(jù)操作日志的生成方法的流程圖，本實(shí)施例可適用于Hbase數(shù)據(jù)庫(kù)服務(wù)端中配置有協(xié)處理器的情況，該方法可由Hbase數(shù)據(jù)庫(kù)數(shù)據(jù)操作日志的生成裝置執(zhí)行，所述Hbase數(shù)據(jù)庫(kù)數(shù)據(jù)操作日志的生成裝置可內(nèi)置在協(xié)處理器中，所述協(xié)處理器可配置于Hbase數(shù)據(jù)庫(kù)服務(wù)端中，所述Hbase數(shù)據(jù)庫(kù)數(shù)據(jù)操作日志的生成裝置可由軟件和/或硬件來(lái)實(shí)現(xiàn)。
[0027]如圖1所示，本實(shí)施例提供的Hbase數(shù)據(jù)庫(kù)數(shù)據(jù)操作日志的生成方法包括以下步驟:
[0028]步驟S101，Hbase數(shù)據(jù)庫(kù)服務(wù)端中配置的協(xié)處理器，根據(jù)監(jiān)聽(tīng)到的客戶端發(fā)送的數(shù)據(jù)操作請(qǐng)求，生成第一日志記錄，和/或，根據(jù)監(jiān)聽(tīng)到的Hbase數(shù)據(jù)庫(kù)服務(wù)端對(duì)數(shù)據(jù)操作請(qǐng)求的響應(yīng)，生成第二日志記錄。
[0029]本實(shí)施例中所述的Hbase數(shù)據(jù)庫(kù)服務(wù)端中配置有協(xié)處理器，所述協(xié)處理器可以為內(nèi)置在Hbase數(shù)據(jù)庫(kù)服務(wù)端中一段程序，可以監(jiān)聽(tīng)客戶端與Hbase數(shù)據(jù)庫(kù)之間的交互操作?？蛻舳讼騂base數(shù)據(jù)庫(kù)服務(wù)端發(fā)送數(shù)據(jù)操作請(qǐng)求，在Hbase數(shù)據(jù)庫(kù)服務(wù)端接收和響應(yīng)所述數(shù)據(jù)操作請(qǐng)求之前，所述協(xié)處理器根據(jù)監(jiān)聽(tīng)到的所述數(shù)據(jù)操作請(qǐng)求，生成第一日志記錄。其中，所述數(shù)據(jù)操作請(qǐng)求可以為數(shù)據(jù)包的形式，即數(shù)據(jù)操作請(qǐng)求包，所述數(shù)據(jù)操作請(qǐng)求包可以包括數(shù)據(jù)操作請(qǐng)求類型、數(shù)據(jù)操作時(shí)間、發(fā)送數(shù)據(jù)操作請(qǐng)求的客戶端的IP地址中的至少一項(xiàng)。在Hbase數(shù)據(jù)庫(kù)響應(yīng)所述數(shù)據(jù)操作請(qǐng)求之后，所述協(xié)處理器根據(jù)監(jiān)聽(tīng)到的Hbase數(shù)據(jù)庫(kù)服務(wù)端對(duì)數(shù)據(jù)操作請(qǐng)求的響應(yīng)，生成第二日志記錄。
[0030]其中，所述協(xié)處理器根據(jù)監(jiān)聽(tīng)到的Hbase數(shù)據(jù)庫(kù)服務(wù)端對(duì)數(shù)據(jù)操作請(qǐng)求的響應(yīng)，生成第二日志記錄具體可以包括:所述協(xié)處理器在監(jiān)聽(tīng)到Hbase數(shù)據(jù)庫(kù)服務(wù)端響應(yīng)客戶端發(fā)送的數(shù)據(jù)操作請(qǐng)求時(shí)，根據(jù)Hbase數(shù)據(jù)庫(kù)服務(wù)端生成的待返回給客戶端的數(shù)據(jù)操作響應(yīng)包，生成第二日志記錄。所述數(shù)據(jù)操作響應(yīng)包可