本發(fā)明涉網(wǎng)站數(shù)據(jù)的分析處理技術(shù)，具體涉及網(wǎng)站日志的分析技術(shù)。

背景技術(shù)：
網(wǎng)站日志分析有很多不同的應用領(lǐng)域，根據(jù)應用目的不同，對日志分析的要求和處理方式會不一樣。以分析系統(tǒng)性能為目標的Web數(shù)據(jù)挖掘的研究多采用統(tǒng)計學的方法；以改進系統(tǒng)設計為目標的數(shù)據(jù)挖掘多采用關(guān)聯(lián)規(guī)則挖掘的方法；以理解用戶意圖為目標的數(shù)據(jù)挖掘研究多采用聚類挖掘和分類挖掘的方法。在這些領(lǐng)域中都會涉及到數(shù)據(jù)清理、會話標識和用戶標識等技術(shù)，但是因為應用的要求不同，對網(wǎng)站日志的分析和處理方式也大不相同。對于網(wǎng)站數(shù)據(jù)的異常使用，異常包括訪問目的的異常、訪問方式的異常、訪問行為以及訪問工具的異常。網(wǎng)站提供的是內(nèi)容和應用信息，正常的訪問用戶使用瀏覽器訪問網(wǎng)站上的頁面內(nèi)容，使用網(wǎng)站解決某一類的問題。異常用戶的訪問目的在于取得不一樣的信息和數(shù)據(jù)，所以其訪問方式、訪問行為和訪問工具都會有所不同。網(wǎng)站數(shù)據(jù)的異常會話分析應用于證據(jù)分析領(lǐng)域時，則對網(wǎng)站日志的處理要求更加精細，不能漏過一點一滴的異常，才能最終找出攻擊或網(wǎng)站異常來源。數(shù)據(jù)清理是指清除日志記錄中不相關(guān)的數(shù)據(jù)，傳統(tǒng)的網(wǎng)站分析關(guān)注的是用戶訪問的鏈接頁面，對于頁面中包括的圖片、顯示文法、腳本等都認為是頁面的一部分，在數(shù)據(jù)清理的過程中將會直接刪除這些不相關(guān)的內(nèi)容。對于異常分析來說，沒有什么數(shù)據(jù)是不相關(guān)的，每一個頁面包括多少內(nèi)容最終都是定數(shù)，少于或者多于這一定數(shù)都可以認為是異常。用戶會話是指用戶對服務器的一次有效訪問，正常網(wǎng)站期待的用戶會話就是用戶點擊某一鏈接，網(wǎng)站將該鏈接相關(guān)的所有數(shù)據(jù)內(nèi)容發(fā)送給用戶。傳統(tǒng)的會話分析可能包括用戶一次訪問網(wǎng)站所涉及的多個頁面的相互鏈接，同時使用了簡單的會話判斷方法，在數(shù)據(jù)清理后保留下來的日志項構(gòu)成了會話的內(nèi)容。傳統(tǒng)的網(wǎng)站日志分析聚焦于網(wǎng)站的正常訪問模式，如進行負載優(yōu)化分析、用戶模式分析等。這種網(wǎng)站日志分析方法所需要分析的網(wǎng)站日志條數(shù)非常大，利用其進行網(wǎng)站日志異常分析的效率非常的低。再者，傳統(tǒng)的網(wǎng)站日志分析所采用的方法不適用于分析黑客入侵的安全/取證應用。由于在黑客類案件中，網(wǎng)站相關(guān)的黑客活動包括踩點、掃描、發(fā)起攻擊、上傳、提權(quán)、控制、拒絕服務攻擊等，這些訪問行為與正常的用戶訪問方式、訪問行為和訪問工具有很大區(qū)別。所以傳統(tǒng)的網(wǎng)站日志分析方法根本不適用于黑客入侵的安全/取證分析。

技術(shù)實現(xiàn)要素：
本發(fā)明針對現(xiàn)有網(wǎng)站日志分析效率低且不適用于黑客入侵安全/取證的分析等問題，而提供一種網(wǎng)站日志異常會話分析方法。該方法不僅能夠大大提高網(wǎng)站日志異常分析的效率，而且對分析黑客入侵的安全/取證應用也最為有用。為了達到上述目的，本發(fā)明采用如下的技術(shù)方案：一種網(wǎng)站日志異常會話分析方法，所述分析方法將用戶會話形成為一個獨立的有目的的訪問單元，在分析的初期，采用結(jié)合日志自動訪問網(wǎng)站的方式分析出正常會話流程，并且在后續(xù)的處理過程中不斷增加正常會話流，將所有正常之外的會話都被歸結(jié)為異常，同時異常會區(qū)分成不同的等級分別顯示和處理。在本發(fā)明的優(yōu)選實例中，所述分析方法具體實施步驟如下：（1）加載網(wǎng)站日志，通過對日志的初步分析，得到網(wǎng)站訪問的入口點和頁面/文件訪問地址信息；（2）模擬瀏覽器和用戶行為，啟動爬蟲引擎對網(wǎng)站的頁面進行抓取，分析每個頁面的結(jié)構(gòu)，生成頁面文檔對象模型以及頁面/文件內(nèi)容間鏈接信息；（3）使用爬蟲生成的文檔對象模型和頁面鏈接信息，同時結(jié)合日志的訪問信息，對網(wǎng)站日志進行二次分析，生成初步的會話信息流，同時對網(wǎng)站會話進行正常/異常進行標注；（4）使用URL模式/訪問方式/返回結(jié)果等對異常和正常會話進行歸類，并反饋給用戶，用戶可以修正異常/正常會話屬性，并可以合并/分拆/調(diào)整歸類；（5）根據(jù)用戶的調(diào)整，對日志會話進行處理，輸出所有異常會話流，異常會根據(jù)內(nèi)置的配置模式分成不同的等級進行顯示和進一步處理。進一步的，所述步驟（1）掃描每一條日志，解析日志的客戶端IP、訪問時間、訪問方法、訪問的頁面鏈接、客戶端程序、服務器返回值、服務器狀態(tài)等，分析得到的每一個訪問的頁面鏈接（URL）就是網(wǎng)站的頁面/文件訪問地址。進一步的，所述步驟（2）模擬瀏覽器對網(wǎng)站的每一個不同的URL進行訪問，分析返回頁面內(nèi)容的文檔對象模型，如果某文檔對象的訪問不會引起對其它對象的引用訪問，則確定為一個原子訪問；如果訪問某文檔會同時獲取其它文檔對象的內(nèi)容，則其它文檔對象的連接包含在該文檔中成為一個原子訪問，包含多個文檔對象鏈接的原子訪問的構(gòu)成標準會話，僅包含一個文檔對象訪問的原子訪問不構(gòu)成標準會話。進一步的，所述步驟（3）根據(jù)步驟（2）中確定的會話和原子訪問對日志進行掃描處理，將網(wǎng)站日志流轉(zhuǎn)換成會話信息流；將所有標準會話確定為正常會話，將所有非正常會話確定為異常會話。進一步的，所述步驟（4）中按照模式匹配的方式進行合并/分拆/調(diào)整歸類。進一步的，所述步驟（3）通過如下步驟進行網(wǎng)站日志進行會話處理：（31）完全符合模擬瀏覽器訪問規(guī)律的頁面會話被認定為正常；（32）符合預先配置模式的會話被認定為異常；（33）某一種會話用戶重復訪問超過設定的配置值被認定為異常；（33）低于某一設定配置值的頁面會話被認定為異常；（34）不能標記為正常的頁面會話被認定為異常；（35）通過人工交互的方式對會話分析結(jié)果進行處理，對會話的正常/異常進行標注更改，對會話模式進行歸并，使得正常會話的種類減少、數(shù)量增多。進一步的，所述步驟（5）過濾所有的正常會話，僅顯示日志中的異常會話，根據(jù)配置的不同為異常會話生成不同的級別，具有類似級別和訪問類型的異常顯示為相同的模式。使用本發(fā)明所述的方法進行網(wǎng)站日志的異常分析，在會話分析階段可將網(wǎng)站日志的分析量縮減到原始日志條數(shù)的1/8，在排除正常訪問日志會話之后，日志分析的規(guī)模可以縮減到原始日志條數(shù)的1/100，大大提高了網(wǎng)站日志異常分析的效率。具體實施方式為了使本發(fā)明實現(xiàn)的技術(shù)手段、創(chuàng)作特征、達成目的與功效易于明白了解，下面結(jié)合實例進一步闡述本發(fā)明。本發(fā)明提供的網(wǎng)站日志異常會話分析方法，其通過將用戶會話形成為一個獨立的有目的的訪問單元（比如一個頁面、一個圖片、一次腳本訪問等），在分析的初期，采用結(jié)合日志自動訪問網(wǎng)站的方式分析出正常會話流程，并且在后續(xù)的處理過程中不斷增加正常會話流，將所有正常之外的會話都被歸結(jié)為異常，同時異常會區(qū)分成不同的等級分別顯示和處理。該方案在具體實施時，主要包括如下三個部分：1)處理會話：通過對原始網(wǎng)站的掃描和分析，可以找出網(wǎng)站日志中的會話邏輯，從而得出網(wǎng)站日志中的精確會話流。2)枚舉全部用戶會話的模式：真實網(wǎng)站中的會話數(shù)量可能是很少的，比如一個公司站點，頁面在進行綜合后，不會超過20個。論壇網(wǎng)站的會話也不多，基本上可以歸類于對模塊的訪問以及對具體頁面的訪問，其會話模式也是在20個以內(nèi)。3)區(qū)別異常訪問的會話和正常用戶會話：出于異常網(wǎng)站使用目的的網(wǎng)站訪問行為，其會話有別于正常會話模式。由此，網(wǎng)站日志異常會話分析方法在中首先要對網(wǎng)站日志中的會話進行分析，隨后基于網(wǎng)站的會話流信息分析其異常。其具體實施如下：（1）加載網(wǎng)站日志，通過對日志的初步分析，得到網(wǎng)站訪問的入口點和頁面/文件內(nèi)容間鏈接信息。該步驟在具體實施時，通過掃描每一條日志，解析日志的客戶端IP、訪問時間、訪問方法、訪問的頁面鏈接、客戶端程序、服務器返回值、服務器狀態(tài)等，分析得到的每一個URL都是網(wǎng)站的頁面/文件訪問地址。（2）模擬瀏覽器和用戶行為，啟動爬蟲引擎對網(wǎng)站的頁面進行抓取，分析每個頁面的結(jié)構(gòu)，生成頁面文檔對象模型以及頁面/文件內(nèi)容間鏈接信息。該步驟在具體實施時，由模擬瀏覽器（爬蟲）對網(wǎng)站的每一個不同的URL進行訪問，分析返回頁面內(nèi)容的文檔對象模型，如果某文檔對象的訪問不會引起對其它對象的引用訪問，則確定為一個原子訪問；如果訪問某文檔會同時獲取其它文檔對象的內(nèi)容，則其它文檔對象的連接包含在該文檔中成為一個原子訪問，包含多個文檔對象鏈接的原子訪問的構(gòu)成標準會話，僅包含一個文檔對象訪問的原子訪問不構(gòu)成標準會話。（3）使用爬蟲生成的文檔對象模型和頁面鏈接信息，同時結(jié)合日志的訪問信息，對網(wǎng)站日志進行二次分析，具體根據(jù)步驟（2）中確定的會話和原子訪問對日志進行掃描處理，將網(wǎng)站日志流轉(zhuǎn)換成會話信息流；將所有標準會話確定為正常會話，將所有非正常會話確定為異常會話，同時對網(wǎng)站會話進行正常/異常進行標注。其具體標注的依次通過如下的判斷步驟來實現(xiàn)：（31）判斷網(wǎng)站會話是否完全符合模擬瀏覽器訪問規(guī)律的頁面會話，若是則被認定為正常；（32）判斷網(wǎng)站會話是否符合預先配置模式的會話，若是，則被認定為異常；（33）判斷網(wǎng)站會話中某一種會話用戶重復訪問是否超過設定的配置值，若是，則被認定為異常；（33）判斷網(wǎng)站會話的配置值是夠低于相應的設定配置值，若是，則該會話被認定為異常；（34）經(jīng)過步驟（31）至（33）不能標記為正常的頁面會話被認定為異常；（35）通過人工交互的方式對會話分析結(jié)果進行處理，對會話的正常/異常進行標注更改，對會話模式進行歸并，使得正常會話的種類減少、數(shù)量增多。（4）使用URL模式/訪問方式/返回結(jié)果等對異常和正常會話進行歸類，并反饋給用戶，用戶可以修正異常/正常會話屬性，并可以按照模式匹配的方式進行合并/分拆/調(diào)整歸類。（5）根據(jù)用戶的調(diào)整，對日志會話進行處理，輸出所有異常會話流，異常會根據(jù)內(nèi)置的配置模式分成不同的等級進行顯示和進一步處理。該步驟具體實施時，過濾所有的正常會話，僅顯示日志中的異常會話，根據(jù)配置的不同為異常會話生成不同的級別，具有類似級別和訪問類型的異常顯示為相同的模式。以上顯示和描述了本發(fā)明的基本原理、主要特征和本發(fā)明的優(yōu)點。本行業(yè)的技術(shù)人員應該了解，本發(fā)明不受上述實施例的限制，上述實施例和說明書中描述的只是說明本發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會有各種變化和改進，這些變化和改進都落入要求保護的本發(fā)明范圍內(nèi)。本發(fā)明要求保護范圍由所附的權(quán)利要求書及其等效物界定。