實(shí)時(shí)日志收集方法、系統(tǒng)和應(yīng)用服務(wù)器集群的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種實(shí)時(shí)日志收集方法、系統(tǒng)和應(yīng)用服務(wù)器集群。
【背景技術(shù)】
[0002]對(duì)于大型互聯(lián)網(wǎng)門(mén)戶，每天都有上千萬(wàn)用戶的訪問(wèn)量?？梢酝ㄟ^(guò)收集和記錄用戶對(duì)網(wǎng)站功能的消費(fèi)，然后對(duì)這些消費(fèi)進(jìn)行離線分析，為網(wǎng)站更好地向用戶提供個(gè)性化服務(wù)提供數(shù)據(jù)依據(jù)。并且，還可以為網(wǎng)安在應(yīng)對(duì)網(wǎng)絡(luò)熱門(mén)事件或突發(fā)事件時(shí)提供調(diào)查依據(jù)。
[0003]傳統(tǒng)收集日志的方法是通過(guò)前端(客戶端)在網(wǎng)頁(yè)中添加JavaScript腳本，事先確定動(dòng)作屬性(例如播放視頻和發(fā)布視頻等)，將用戶的點(diǎn)擊動(dòng)作匯總到遠(yuǎn)程服務(wù)器來(lái)分析。這種方法存在能夠通過(guò)模擬用戶行為來(lái)捏造點(diǎn)擊數(shù)據(jù)等的缺陷。
[0004]目前還有一種收集日志的方法，在后端生成日志后，通過(guò)scp命令上傳、下載或通過(guò)rsync命令定時(shí)同步等方式收集匯總，然后通過(guò)機(jī)器腳本分析、或者人工觀察統(tǒng)計(jì)、或者圖形繪制等方式來(lái)分析。這種方法的實(shí)時(shí)性較差。
[0005]另外，由于上述兩種方法均需要人工干預(yù)，因此對(duì)數(shù)據(jù)規(guī)模的適用性較差，無(wú)法支持網(wǎng)站持續(xù)發(fā)展產(chǎn)生的大量日志，并且人工干預(yù)過(guò)多，不能保證較高的準(zhǔn)確性。

【發(fā)明內(nèi)容】

[0006]技術(shù)問(wèn)題
[0007]有鑒于此，本發(fā)明要解決的技術(shù)問(wèn)題是，如何快速、準(zhǔn)確地收集用戶行為日志，并快速、準(zhǔn)確地獲取與關(guān)注用戶行為相關(guān)的信息。
[0008]解決方案
[0009]根據(jù)本發(fā)明的一個(gè)方面，提供了一種實(shí)時(shí)日志收集方法，用于收集用戶行為日志，包括:在用戶終端打開(kāi)第一應(yīng)用服務(wù)器所提供網(wǎng)頁(yè)的情況下，所述第一應(yīng)用服務(wù)器控制所述用戶終端運(yùn)行預(yù)設(shè)的日志記錄腳本;在所述日志記錄腳本檢測(cè)到所述用戶進(jìn)行設(shè)定的臨時(shí)用戶行為的情況下，生成包括與所述臨時(shí)用戶行為相關(guān)的臨時(shí)日志信息的超文本傳輸協(xié)議HTTP請(qǐng)求，并從所述用戶終端向?qū)崟r(shí)日志收集系統(tǒng)的第一接收源發(fā)送所述HTTP請(qǐng)求，所述臨時(shí)日志信息包括所述用戶終端的IP地址、進(jìn)行所述臨時(shí)用戶行為的時(shí)間和用戶ID中的至少一項(xiàng)；以及所述第一接收源將所述HTTP請(qǐng)求經(jīng)由所述實(shí)時(shí)日志收集系統(tǒng)的第一卡夫卡Kaf ka通道發(fā)送至存儲(chǔ)系統(tǒng)。
[0010]對(duì)于上述實(shí)時(shí)日志收集方法，在一種可能的實(shí)現(xiàn)方式中，在所述第一接收源接收到從所述用戶終端發(fā)送的所述HTTP請(qǐng)求之后，還包括:所述實(shí)時(shí)日志收集系統(tǒng)的攔截器根據(jù)所述HTTP請(qǐng)求，統(tǒng)計(jì)第一時(shí)間間隔內(nèi)進(jìn)行所述臨時(shí)用戶行為的次數(shù)。
[0011 ]對(duì)于上述實(shí)時(shí)日志收集方法，在一種可能的實(shí)現(xiàn)方式中，還包括:第二應(yīng)用服務(wù)器記錄與所述用戶行為相關(guān)的行為屬性，并將在第二時(shí)間間隔內(nèi)所記錄的行為屬性按照預(yù)先設(shè)定的日志格式生成日志文件，所述行為屬性包括所述用戶終端的IP地址、所述用戶行為的名稱(chēng)、進(jìn)行所述用戶行為的時(shí)間和用戶ID中的至少一項(xiàng);所述實(shí)時(shí)日志收集系統(tǒng)的代理模塊在檢測(cè)到存在所述日志文件的情況下，將所述日志文件發(fā)送至所述實(shí)時(shí)日志收集系統(tǒng)的第二接收源；以及所述第二接收源將所述日志文件經(jīng)由所述實(shí)時(shí)日志收集系統(tǒng)的第二Kaf ka通道發(fā)送至所述存儲(chǔ)系統(tǒng)。
[0012]對(duì)于上述實(shí)時(shí)日志收集方法，在一種可能的實(shí)現(xiàn)方式中，還包括:所述實(shí)時(shí)日志收集系統(tǒng)的攔截器根據(jù)所述日志文件統(tǒng)計(jì)第三時(shí)間間隔內(nèi)進(jìn)行特定用戶行為的次數(shù)，并在統(tǒng)計(jì)出的次數(shù)大于設(shè)定閾值的情況下，發(fā)送異常信息。
[0013]對(duì)于上述實(shí)時(shí)日志收集方法，在一種可能的實(shí)現(xiàn)方式中，所述存儲(chǔ)系統(tǒng)包括分布式文件系統(tǒng)和/或數(shù)據(jù)庫(kù)。
[0014]根據(jù)本發(fā)明的另一個(gè)方面，提供了一種實(shí)時(shí)日志收集系統(tǒng)，用于收集用戶行為日志，包括:第一接收源，與用戶終端連接，用于從所述用戶終端接收包括與臨時(shí)用戶行為相關(guān)的臨時(shí)日志信息的HTTP請(qǐng)求，所述臨時(shí)日志信息包括所述用戶終端的IP地址、進(jìn)行所述臨時(shí)用戶行為的時(shí)間和用戶ID中的至少一項(xiàng)，其中，在所述用戶終端打開(kāi)第一應(yīng)用服務(wù)器所提供網(wǎng)頁(yè)的情況下，所述第一應(yīng)用服務(wù)器控制所述用戶終端運(yùn)行預(yù)設(shè)的日志記錄腳本，在所述日志記錄腳本檢測(cè)到所述用戶進(jìn)行設(shè)定的臨時(shí)用戶行為的情況下，生成所述HTTP請(qǐng)求；以及第一Kafka通道，與所述第一接收源連接，用于從所述第一接收源接收所述HTTP請(qǐng)求，并發(fā)送至存儲(chǔ)系統(tǒng)。
[0015]對(duì)于上述實(shí)時(shí)日志收集系統(tǒng)，在一種可能的實(shí)現(xiàn)方式中，還包括:攔截器，與所述第一接收源和所述第一Kafka通道分別連接，用于從所述第一接收源攔截所述HTTP請(qǐng)求；以及分析模塊，與所述攔截器連接，用于從所述攔截器接收所述HTTP請(qǐng)求，并根據(jù)所述HTTP請(qǐng)求，統(tǒng)計(jì)第一時(shí)間間隔內(nèi)進(jìn)行所述臨時(shí)用戶行為的次數(shù)。
[0016]對(duì)于上述實(shí)時(shí)日志收集系統(tǒng)，在一種可能的實(shí)現(xiàn)方式中，還包括:代理模塊，與第二應(yīng)用服務(wù)器連接，用于檢測(cè)是否存在日志文件，在檢測(cè)到存在所述日志文件的情況下，獲取所述日志文件，其中，第二應(yīng)用服務(wù)器記錄與所述用戶行為相關(guān)的行為屬性，并將在第二時(shí)間間隔內(nèi)所記錄的行為屬性按照預(yù)先設(shè)定的日志格式生成所述日志文件，所述行為屬性包括所述用戶終端的IP地址、所述用戶行為的名稱(chēng)、進(jìn)行所述用戶行為的時(shí)間和用戶ID中的至少一項(xiàng);第二接收源，與所述代理模塊連接，用于從所述代理模塊接收所述日志文件；以及第二Kaf ka通道，與所述第二接收源連接，用于從所述第二接收源接收所述日志文件，并發(fā)送至所述存儲(chǔ)系統(tǒng)。
[0017]對(duì)于上述實(shí)時(shí)日志收集系統(tǒng)，在一種可能的實(shí)現(xiàn)方式中，所述攔截器還與所述第二接收源和所述第二 Kafka通道分別連接，并且用于從所述第二接收源攔截所述日志文件；所述分析模塊還用于統(tǒng)計(jì)第三時(shí)間間隔內(nèi)進(jìn)行特定用戶行為的次數(shù)，并在統(tǒng)計(jì)出的次數(shù)大于設(shè)定閾值的情況下，發(fā)送異常信息。
[0018]根據(jù)本發(fā)明的又一個(gè)方面，提供了一種應(yīng)用服務(wù)器集群，包括第一應(yīng)用服務(wù)器，所述第一應(yīng)用服務(wù)器包括:腳本設(shè)置模塊，與所述用戶終端連接，用于預(yù)設(shè)日志記錄腳本；網(wǎng)頁(yè)提供模塊，與所述用戶終端連接，用于為所述用戶終端提供網(wǎng)頁(yè)服務(wù);控制模塊，與所述用戶終端連接，用于在所述用戶終端打開(kāi)所述網(wǎng)頁(yè)提供模塊所提供網(wǎng)頁(yè)的情況下，控制所述用戶終端運(yùn)行所述日志記錄腳本；以及HTTP請(qǐng)求生成模塊，與所述用戶終端連接，在所述日志記錄腳本檢測(cè)到所述用戶進(jìn)行設(shè)定的臨時(shí)用戶行為的情況下，生成包括與所述臨時(shí)用戶行為相關(guān)的臨時(shí)日志信息的超文本傳輸協(xié)議HTTP請(qǐng)求，所述臨時(shí)日志信息包括所述用戶終端的IP地址、進(jìn)行所述臨時(shí)用戶行為的時(shí)間和用戶ID中的至少一項(xiàng)。
[0019]對(duì)于上述應(yīng)用服務(wù)器集群，在一種可能的實(shí)現(xiàn)方式中，還包括多個(gè)第二應(yīng)用服務(wù)器，其中，各所述第二應(yīng)用服務(wù)器包括:記錄模塊，用于記錄與用戶行為相關(guān)的行為屬性；以及日志文件生成模塊，與所述記錄模塊連接，用于將在第二時(shí)間間隔內(nèi)所記錄的行為屬性按照預(yù)先設(shè)定的日志格式生成日志文件，所述行為屬性包括所述用戶終端的IP地址、所述用戶行為的名稱(chēng)、進(jìn)行所述用戶行為的時(shí)間和用戶ID中的至少一項(xiàng)。
[0020]有益效果
[0021]通過(guò)在用戶終端預(yù)先設(shè)置日志記錄腳本，并在用戶終端打開(kāi)特定網(wǎng)頁(yè)的情況下，運(yùn)行該日志記錄腳本，在日志記錄腳本檢測(cè)到用戶進(jìn)行設(shè)定的臨時(shí)用戶行為的情況下，生成包括與臨