專利名稱：一種基于緩存及異步處理技術(shù)的用戶行為采集方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及網(wǎng)絡技術(shù)，特別涉及一種基于緩存及異步處理技術(shù)的用戶行為采集方法及系統(tǒng)。
背景技術(shù)：
通過互聯(lián)網(wǎng)訪問的WEB應用系統(tǒng)的過程中，現(xiàn)有技術(shù)在進行用戶請求數(shù)據(jù)采集時會對用戶提交的請求進行實時分析及存儲，由于web應用系統(tǒng)通常訪問量及并發(fā)量非常大，實時的用戶請求分析及存儲，會極大的影響服務器性能，導致系統(tǒng)響應變慢，影響用戶體驗。發(fā)明內(nèi)容
本發(fā)明的目的是為了克服現(xiàn)有技術(shù)中的不足之處，提供一種能夠減少系統(tǒng)忙時的數(shù)據(jù)采集壓力，并且在系統(tǒng)閑時可以充分利用系統(tǒng)資源的基于緩存及異步處理技術(shù)的用戶行為采集方法及系統(tǒng)。
為了達到上述目的，本發(fā)明采用以下方案:
一種基于緩存及異步處理技術(shù)的用戶行為采集方法，其特征在于包括:
S1、將用戶請求數(shù)據(jù)記錄到緩存中；
S2、判斷緩存中的內(nèi)容是否超過指定大小，若超過，將緩存中的用戶請求數(shù)據(jù)批量寫入日志文件中，若不超過，繼續(xù)將用戶請求數(shù)據(jù)記錄到緩存中；
S3、系統(tǒng)閑時，激活數(shù)據(jù)采集模塊，讀取日志記錄模塊在忙時記錄的用戶訪問日志，分析用戶請求數(shù)據(jù)，匹配用戶操作，將分析后的數(shù)據(jù)存儲到數(shù)據(jù)庫中。
如上所述的一種基于緩存及異步處理技術(shù)的用戶行為采集方法，其特征在于所述的用戶請求數(shù)據(jù)包括用戶IP、訪問時間、請求地址、業(yè)務數(shù)據(jù)。
一種基于緩存及異步處理技術(shù)的用戶行為采集系統(tǒng)，其特征在于包括:
日志記錄模塊，用于批量記錄緩存在內(nèi)存中并超過指定大小的用戶請求數(shù)據(jù)；
數(shù)據(jù)采集模塊，用于在系統(tǒng)閑時分析日志中用戶請求數(shù)據(jù)，匹配用戶操作，將分析后的用戶請求數(shù)據(jù)儲存到數(shù)據(jù)庫。
綜上所述，本發(fā)明的有益效果:
一、本發(fā)明采用緩存及異步處理技術(shù)，對于每次請求數(shù)據(jù)采集都是針對內(nèi)存進行操作的，平均下來每一次請求的實時消耗趨向于零，在高流量高并發(fā)訪問下，本發(fā)明所帶來的優(yōu)勢越發(fā)明顯，能夠非常 明顯的減少系統(tǒng)忙時的數(shù)據(jù)采集壓力，并且在系統(tǒng)閑時可以充分利用系統(tǒng)資源。
二、本發(fā)明中日志記錄模塊中每個用戶請求并非實時記錄到日志文件中，而是先緩存到內(nèi)存中，當緩存內(nèi)容達到指定的大小時，才進行寫入日志文件，緩存的使用避免了頻繁的磁盤讀寫操作，批量的寫入有效節(jié)省了系統(tǒng)資源。
三、數(shù)據(jù)采集模塊:本發(fā)明在收到用戶請求后僅僅將用戶請求信息(包括IP、訪問時間、請求地址、業(yè)務數(shù)據(jù))記錄到日志文件中，系統(tǒng)在閑時再激活數(shù)據(jù)采集模塊對日志文件進行異步分析處理，分析完畢以后再存入數(shù)據(jù)庫，極大減少了實時分析及存儲所帶來的性能消耗，減少忙時的系統(tǒng)壓力。


圖1為本發(fā)明基于緩存及異步處理技術(shù)的用戶行為采集方法的流程圖；圖2為本發(fā)明基于緩存及異步處理技術(shù)的用戶行為采集系統(tǒng)的方框圖。
具體實施例方式本發(fā)明公開一種基于緩存及異步處理技術(shù)的用戶行為采集方法及系統(tǒng)，為使本發(fā)明的目的、技術(shù)方案及效果更加清楚、明確，以下對結(jié)合附圖以及具體實施方式
本發(fā)明進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。圖1為于緩存及異步處理技術(shù)的用戶行為采集方法的流程圖，如圖所示，本發(fā)明一種基于緩存及異步處理技術(shù)的用戶行為采集方法，包括:S1、將用戶請求數(shù)據(jù)記錄到緩存中；S2、判斷緩存中的內(nèi)容是否超過指定大小，若超過，將緩存中的用戶請求數(shù)據(jù)批量寫入日志文件中，若不超過，繼續(xù)將用戶請求數(shù)據(jù)記錄到緩存中；當緩存中的用戶請求數(shù)據(jù)總量超過指定大小時，將用戶IP、訪問時間、請求地址、業(yè)務數(shù)據(jù)等用戶請求信息批量記錄到日志文件中，緩存的使用避免了頻繁的磁盤讀寫操作，批量的寫入有效節(jié)省了系統(tǒng)資源，有效減少系統(tǒng)忙時的數(shù)據(jù)采集壓力。S3、系統(tǒng)閑時， 激活數(shù)據(jù)采集模塊，讀取日志記錄模塊在忙時記錄的用戶訪問日志，分析用戶請求數(shù)據(jù)，匹配用戶操作，將分析后的數(shù)據(jù)存儲到數(shù)據(jù)庫中。本發(fā)明所公開的用戶行為采集方法，在用戶提交請求時只需將用戶的請求信息以緩存的方式記錄到日志文件中，在系統(tǒng)閑時再對日志文件進行分析和數(shù)據(jù)存儲，極大的減少了實時分析及實時存儲所帶來的性能消耗，在基本不影響系統(tǒng)響應能力的情況下完成更全面更完善的用戶請求數(shù)據(jù)采集。本發(fā)明還公開一種基于緩存及異步處理技術(shù)的用戶行為采集系統(tǒng)，如圖2所示，包括:日志記錄模塊110，用于批量記錄緩存在內(nèi)存中并超過指定大小的用戶請求數(shù)據(jù)；日志記錄模塊110，判斷緩存中的內(nèi)容是否超過指定大小，若超過，將緩存中的用戶IP、訪問時間、請求地址、業(yè)務數(shù)據(jù)等用戶請求數(shù)據(jù)批量寫入日志文件中，若不超過，繼續(xù)將用戶請求數(shù)據(jù)記錄到緩存中。具體與上述方法中步驟S2相同。數(shù)據(jù)采集模塊120，用于在系統(tǒng)閑時分析日志中用戶請求數(shù)據(jù)，匹配用戶操作，將分析后的用戶請求數(shù)據(jù)儲存到數(shù)據(jù)庫。數(shù)據(jù)采集模塊120，在系統(tǒng)閑時，數(shù)據(jù)采集模塊被激活，讀取日志記錄模塊在忙時記錄的用戶訪問日志，分析用戶請求數(shù)據(jù)，匹配用戶操作，將分析后的數(shù)據(jù)存儲到數(shù)據(jù)庫中。具體與上述方法中步驟S3相同。
顯然，本領(lǐng)域技術(shù)人員應該明白，上述的本發(fā)明的各模塊或各步驟可以用通用的計算裝置來實現(xiàn)，它們可以集中在單個計算裝置上，或者分布在多個計算裝置所組成的網(wǎng)絡上，可選地，他們可以用計算機裝置可執(zhí)行的程序代碼來實現(xiàn)，從而可以將它們存儲在存儲裝置中由計算裝置來執(zhí)行，或者將它們分別制作成各個集成電路模塊，或者將它們中的多個模塊或步驟制作成單個集成電路模塊來實現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件的結(jié)合。
以上所述僅為本發(fā)明的優(yōu)選實施例，并不用于限制本發(fā)明，對于本領(lǐng)域技術(shù)人員而言，本發(fā)明可以有各種改動和變化。凡在本發(fā)明的精神和原理之內(nèi)所作的任何修改、等同替換、改進等，均應包 含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.一種基于緩存及異步處理技術(shù)的用戶行為采集方法，其特征在于包括: 51、將用戶請求數(shù)據(jù)記錄到緩存中； 52、判斷緩存中的內(nèi)容是否超過指定大小，若超過，將緩存中的用戶請求數(shù)據(jù)批量寫入日志文件中，若不超過，繼續(xù)將用戶請求數(shù)據(jù)記錄到緩存中； 53、系統(tǒng)閑時，激活數(shù)據(jù)采集模塊，讀取日志記錄模塊在忙時記錄的用戶訪問日志，分析用戶請求數(shù)據(jù)，匹配用戶操作，將分析后的數(shù)據(jù)存儲到數(shù)據(jù)庫中。
2.根據(jù)權(quán)利要求1所述的一種基于緩存及異步處理技術(shù)的用戶行為采集方法，其特征在于步驟S2中所述的用戶請求數(shù)據(jù)包括用戶IP、訪問時間、請求地址、業(yè)務數(shù)據(jù)。
3.一種基于緩存及異步處理技術(shù)的用戶行為采集系統(tǒng)，其特征在于包括: 日志記錄模塊，用于批量記錄緩存在內(nèi)存中并超過指定大小的用戶請求數(shù)據(jù)； 數(shù)據(jù)采集模塊，用于在系統(tǒng)閑時分析日志中用戶請求數(shù)據(jù)，匹配用戶操作，將分析后的用戶請求數(shù)據(jù)儲存 到數(shù)據(jù)庫。
全文摘要
本發(fā)明公開了一種基于緩存及異步處理技術(shù)的用戶行為采集方法及系統(tǒng)，該方法S1、將用戶請求數(shù)據(jù)記錄到緩存中；S2、判斷緩存中的內(nèi)容是否超過指定大小，若超過，將緩存中的用戶請求數(shù)據(jù)批量寫入日志文件中，若不超過，繼續(xù)將用戶請求數(shù)據(jù)記錄到緩存中；S3、系統(tǒng)閑時，激活數(shù)據(jù)采集模塊，讀取日志記錄模塊在忙時記錄的用戶訪問日志，分析用戶請求數(shù)據(jù)，匹配用戶操作，將分析后的數(shù)據(jù)存儲到數(shù)據(jù)庫中。該系統(tǒng)包括日志記錄模塊，用于批量記錄緩存在內(nèi)存中并超過指定大小的用戶請求數(shù)據(jù)；數(shù)據(jù)采集模塊,用于在系統(tǒng)閑時分析日志中用戶請求數(shù)據(jù)，匹配用戶操作，將分析后的用戶請求數(shù)據(jù)儲存到數(shù)據(jù)庫。
文檔編號H04L12/26GK103236938SQ20131010241
公開日2013年8月7日 申請日期2013年3月27日 優(yōu)先權(quán)日2013年3月27日
發(fā)明者陳熾昌, 林葉明, 鐘瓊閣, 陳曦, 唐歡 申請人:廣東全通教育股份有限公司