一種對視頻網(wǎng)站基礎設施測量分析的方法
【專利摘要】本發(fā)明公開一種對視頻網(wǎng)站基礎設施測量分析的方法，將測量節(jié)點部署在骨干網(wǎng)上，在各測量節(jié)點上分析，測量分析方法如下：抓取在線視頻瀏覽信息；鏈接分類，建立索引庫；解析網(wǎng)頁視頻類鏈接內(nèi)容、進行分類；同時，提取靜態(tài)類的鏈接域名，并生成DNS解析所需要的域名列表；DNS解析，獲取域名所對應的CNAME,IP地址和NS信息；通過DNS解析和內(nèi)容解析，定位資源分配服務器URL，解析視頻鏈接，獲取IP地址信息；計算視頻網(wǎng)站所使用的各類服務器的數(shù)量部署的物理位置和ISP的情況。本發(fā)明能夠更清晰地反映各家視頻網(wǎng)站基礎設施部署的優(yōu)劣勢，能夠使視頻網(wǎng)站了解自己的行業(yè)地位，合理促進硬件設備優(yōu)化升級。
【專利說明】一種對視頻網(wǎng)站基礎設施測量分析的方法
【技術領域】
[0001]本發(fā)明涉及通信領域，尤其涉及一種對視頻網(wǎng)站基礎設施測量分析的方法。
【背景技術】
[0002]網(wǎng)絡視頻服務現(xiàn)在已經(jīng)成為了一項重要的網(wǎng)絡服務，據(jù)艾瑞統(tǒng)計數(shù)據(jù)顯示，2013年I季度在線視頻服務有效瀏覽時長已經(jīng)超越社區(qū)交友成為中國互聯(lián)網(wǎng)第一大應用，日均覆蓋人數(shù)超過1.5億人，月均覆蓋人數(shù)超過4億人，視頻服務的網(wǎng)民覆蓋率已經(jīng)達到了 90%左右。
[0003]雖然在線視頻的用戶覆蓋率如此之高，但至今依然盈利微薄，2011年整個市場規(guī)模只有62.7億元，國內(nèi)的近10家主要的視頻服務提供商都沒能實現(xiàn)盈利。視頻網(wǎng)站盈利難的原因一方面是因為成本居高不下，而成本居高不下的原因則是硬件成本和帶寬成本。視頻服務需要占用大量的帶寬、依賴大量的服務器，而網(wǎng)絡瀏覽的速度和視頻的清晰度又恰恰是用戶最關心的因素，所以視頻網(wǎng)站必須在拓展帶寬和提升硬件上投入大量的成本。為了更好地了解視頻網(wǎng)站在硬件投入上的花費，指導視頻網(wǎng)站降低硬件花費成本，對視頻網(wǎng)站基礎設施部署的測量分析是很有意義的。

【發(fā)明內(nèi)容】

[0004]發(fā)明目的:本發(fā)明的目的在于克服現(xiàn)有技術的不足提供一種能夠有效地對中國視頻網(wǎng)站的基礎設施部署進行測量分析的方法。
[0005]技術方案:本發(fā)明所述的對視頻網(wǎng)站基礎設施測量分析的方法，將測量節(jié)點部署在骨干網(wǎng)上，在各測量節(jié)點上分析，測量分析方法步驟如下:
[0006](I)抓取在線視頻瀏覽信息；
[0007](2)鏈接分類，建立索引庫；
[0008](3)解析網(wǎng)頁視頻類鏈接內(nèi)容、進行分類；同時，提取靜態(tài)類的鏈接域名，并生成DNS解析所需要的域名列表；
[0009](4)針對域名列表進行DNS解析，獲取域名所對應的CNAME, IP地址和NS信息；
[0010](5)通過DNS解析和內(nèi)容解析，定位資源分配服務器URL，解析視頻鏈接，獲取IP地址信息；
[0011](6)計算視頻網(wǎng)站所使用的各類服務器的數(shù)量(Web服務器、信息采集服務器、內(nèi)容加速服務器等)部署的物理位置和ISP的情況。
[0012]優(yōu)選的，采用爬蟲工具抓取在線視頻瀏覽信息；爬蟲工具自動過濾目標網(wǎng)站以外的鏈接。根據(jù)鏈接對應信息中的類型屬性將連接分為靜態(tài)類和視頻類。
[0013]在提取鏈接域名同時消除冗余域名，采用DNS解析工具通過向其附近的公共LDNS(Local DNS)服務器進行域名的查詢。DNS解析工具為多線程、多LDNS解析。
[0014]步驟(5)中的IP地址信息包括資源分配服務器IP地址、信息收集服務器IP地址、內(nèi)容加速服務器IP地址。步驟(6)運用IP解析算法通過步驟(5)解析得到的IP地址，對每個IP的物理位置和所屬ISP進行解析，然后按照地域和ISP對每個視頻網(wǎng)站提供商使用的IP進行分類。
[0015]發(fā)明原理:本發(fā)明對視頻網(wǎng)站基礎設施測量分析的方法，利用部署在骨干網(wǎng)城市的測量節(jié)點，采用主動測量的方法，收集大量的視頻網(wǎng)站鏈接信息，在對鏈接分類的基礎上，分別運用解析DNS和內(nèi)容鏈接獲取各種服務器的IP地址，然后通過IP解析算法對IP地址的物理地址和所屬ISP進行解析，進而進行綜合分析得到視頻網(wǎng)站的基礎設施部署情況。
[0016]有益效果:1、對視頻網(wǎng)站進行了鏈接信息的獲取，運用大數(shù)據(jù)的統(tǒng)計分析方法，對獲取的視頻網(wǎng)站信息進行了統(tǒng)計分析，使得結論更加客觀真實；2、對視頻網(wǎng)站所使用的各種類型的服務器進行了全面測量，使得對視頻網(wǎng)站基礎設置的分析更加全面；3、對視頻網(wǎng)站的基礎設施部署進行了橫向和縱向的比較，能夠更清晰地反映各家視頻網(wǎng)站基礎設施部署的優(yōu)劣勢，能夠使視頻網(wǎng)站了解自己的行業(yè)地位，合理促進硬件設備優(yōu)化升級。
【專利附圖】

【附圖說明】
[0017]圖1為本實用發(fā)明對視頻網(wǎng)站基礎設施測量分析的方法流程圖。
【具體實施方式】
[0018]下面對本發(fā)明技術方案進行詳細說明，但是本發(fā)明的保護范圍不局限于所述實施例。
[0019]實施例1
[0020]本發(fā)明對視頻網(wǎng)站基礎設施測量分析的方法，為了對中國視頻網(wǎng)站基礎設施部署進行測量分析，更好地理解視頻網(wǎng)站的現(xiàn)狀、發(fā)展趨勢和行為，設計了一個用來從視頻網(wǎng)站中爬取網(wǎng)頁鏈接和相關鏈接信息的爬蟲工具，在對鏈接分類的基礎上，分別運用DNS解析工具和內(nèi)容鏈接解析工具獲取各種服務器的IP地址，然后通過IP解析算法對IP地址的物理位置和所屬ISP進行解析，進而進行綜合分析得到視頻網(wǎng)站的基礎設施部署情況。本實施例將超過60個測量節(jié)點部署在32個省份的40個城市，這里的測量節(jié)點部署在中國大陸的整個骨干網(wǎng)。
[0021]本發(fā)明實施例中，實現(xiàn)對中國視頻網(wǎng)站基礎設施部署進行測量分析的具體流程如圖1所示，將測量節(jié)點部署在骨干網(wǎng)上，在各測量節(jié)點上分析，執(zhí)行以下步驟:
[0022](I)采用網(wǎng)絡爬蟲工具通過網(wǎng)頁的鏈接地址來尋找網(wǎng)頁，從網(wǎng)站某一個頁面(通常是首頁)開始，讀取網(wǎng)頁的內(nèi)容，找到在網(wǎng)頁中的其它鏈接地址，然后通過這些鏈接地址尋找下一個網(wǎng)頁，這樣一直循環(huán)下去，直到把這個網(wǎng)站所有的網(wǎng)頁都抓取完為止。
[0023]具體的方法是根據(jù)種子樣本的獲取方式如下:
[0024]a預先給定的初始抓取種子樣本；
[0025]b預先給定的網(wǎng)頁分類目錄與分類目錄對應的種子樣本、分類結構等；
[0026]視頻網(wǎng)站網(wǎng)址，其格式使用txt，每條記錄為一行，其包括的數(shù)據(jù)項如表I所示:
[0027]表I種子樣本文件
[0028]
【權利要求】
1.一種對視頻網(wǎng)站基礎設施測量分析的方法，其特征在于:將測量節(jié)點部署在骨干網(wǎng)上，在各測量節(jié)點上分析，測量分析方法步驟如下: (1)抓取在線視頻瀏覽信息； (2)鏈接分類，建立索引庫； (3)解析網(wǎng)頁視頻類鏈接內(nèi)容、進行分類；同時，提取靜態(tài)類的鏈接域名，并生成DNS解析所需要的域名列表； (4)針對域名列表進行DNS解析，獲取域名所對應的CNAME，IP地址和NS信息； (5)通過DNS解析和內(nèi)容解析，定位資源分配服務器URL，解析視頻鏈接，獲取IP地址信息； (6)計算視頻網(wǎng)站所使用的各類服務器的數(shù)量(Web服務器、信息采集服務器、內(nèi)容加速服務器等)部署的物理位置和ISP的情況。
2.根據(jù)權利要求1所述對視頻網(wǎng)站基礎設施測量分析的方法，其特征在于:所述步驟(1)采用爬蟲工具抓取在線視頻瀏覽信息；所述爬蟲工具自動過濾目標網(wǎng)站以外的鏈接。
3.根據(jù)權利要求1所述對視頻網(wǎng)站基礎設施測量分析的方法，其特征在于:所述步驟(2)根據(jù)鏈接對應信息中的類型屬性將連接分為靜態(tài)類和視頻類。
4.根據(jù)權利要求1所述對視頻網(wǎng)站基礎設施測量分析的方法，其特征在于:所述步驟(3 )提取鏈接域名同時消除冗余域名。
5.根據(jù)權利要求1所述對視頻網(wǎng)站基礎設施測量分析的方法，其特征在于:所述步驟(4)采用DNS解析工具通過向其附近的公共LDNS服務器進行域名的查詢。
6.根據(jù)權利要求6所述對視頻網(wǎng)站基礎設施測量分析的方法，其特征在于:所述DNS解析工具為多線程、多LDNS解析。
7.根據(jù)權利要求1所述對視頻網(wǎng)站基礎設施測量分析的方法，其特征在于:所述步驟(5)中的IP地址信息包括資源分配服務器IP地址、信息收集服務器IP地址、內(nèi)容加速服務器IP地址。
8.根據(jù)權利要求1所述對視頻網(wǎng)站基礎設施測量分析的方法，其特征在于:所述步驟(6)運用IP解析算法通過步驟(5)解析得到的IP地址，對每個IP的物理位置和所屬ISP進行解析，然后按照地域和ISP對每個視頻網(wǎng)站提供商使用的IP進行分類。
【文檔編號】H04L12/24GK103684856SQ201310624344
【公開日】2014年3月26日 申請日期:2013年11月27日 優(yōu)先權日:2013年11月27日
【發(fā)明者】尹浩, 喬波 申請人:江蘇省未來網(wǎng)絡創(chuàng)新研究院