本發(fā)明涉及服務(wù)器領(lǐng)域,尤其涉及一種服務(wù)器數(shù)據(jù)分配系統(tǒng)。
背景技術(shù):
隨著網(wǎng)絡(luò)技術(shù)的發(fā)展數(shù)據(jù)量也產(chǎn)生了突飛猛進(jìn)的增長。在當(dāng)前的數(shù)據(jù)量形式下,用戶使用了服務(wù)器群,但是對數(shù)據(jù)量的利用率還是不夠充分,一般路由協(xié)議只是按照設(shè)定的路徑進(jìn)行轉(zhuǎn)發(fā),當(dāng)設(shè)定的流量滿負(fù)荷時仍然將新的流量導(dǎo)入,而不會進(jìn)行分流操作,所以會導(dǎo)致服務(wù)器過載,無法正常工作。
在大數(shù)據(jù)情況下,單臺服務(wù)器會導(dǎo)致無法提供服務(wù),通常的方式是增加服務(wù)器來滿足訪問需求,在這種場景下如何將大量用戶的訪問流量分擔(dān)到不同的服務(wù)器上成為決定系統(tǒng)業(yè)務(wù)量處理的指標(biāo)。
技術(shù)實(shí)現(xiàn)要素:
為了克服上述現(xiàn)有技術(shù)中的不足,本發(fā)明提供一種服務(wù)器數(shù)據(jù)分配系統(tǒng),包括:數(shù)據(jù)分配子系統(tǒng),數(shù)據(jù)處理子系統(tǒng),數(shù)據(jù)庫;
數(shù)據(jù)分配子系統(tǒng)包括:數(shù)據(jù)分配模塊,網(wǎng)絡(luò)通信處理模塊,網(wǎng)絡(luò)拓?fù)湓O(shè)置模塊;數(shù)據(jù)處理子系統(tǒng)包括:多個數(shù)據(jù)處理器;
數(shù)據(jù)分配器用于查找處理數(shù)據(jù)資源量最少的數(shù)據(jù)處理器,并將待處理數(shù)據(jù)信息發(fā)送給所述數(shù)據(jù)處理器進(jìn)行處理數(shù)據(jù),當(dāng)當(dāng)前數(shù)據(jù)處理器為非處理數(shù)據(jù)資源量最少的數(shù)據(jù)處理器時,查找下一個處理數(shù)據(jù)資源量最少的數(shù)據(jù)處理器,并將待處理數(shù)據(jù)信息發(fā)送給所述數(shù)據(jù)處理器進(jìn)行處理數(shù)據(jù),依次類推;
網(wǎng)絡(luò)通信處理模塊用于對服務(wù)器集群網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)交換,對網(wǎng)絡(luò)終端設(shè)備進(jìn)行監(jiān)控,在每個數(shù)據(jù)處理器上維護(hù)數(shù)據(jù)交換的信息,以及維護(hù)每個數(shù)據(jù)處理器的端口、工作模式、網(wǎng)速,使每個數(shù)據(jù)處理器與物理數(shù)據(jù)交換對應(yīng)同步狀態(tài),網(wǎng)絡(luò)通信處理模塊采用mac地址區(qū)分不同的數(shù)據(jù)處理器;
網(wǎng)絡(luò)拓?fù)湓O(shè)置模塊用于對服務(wù)器集群網(wǎng)絡(luò)中的數(shù)據(jù)處理器之間建立網(wǎng)絡(luò)拓?fù)溥B接,當(dāng)數(shù)據(jù)處理器之間連接之后,向上層服務(wù)器上報每個數(shù)據(jù)處理器的物理端口信息;網(wǎng)絡(luò)拓?fù)湓O(shè)置模塊通過鏈路層協(xié)議收集每個數(shù)據(jù)處理器的連接狀況,形成整個網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu),通過周期性的發(fā)送數(shù)據(jù)連接報文,網(wǎng)絡(luò)拓?fù)湓O(shè)置模塊及時獲取網(wǎng)絡(luò)拓?fù)渥兓?,?dāng)新的數(shù)據(jù)處理器加入到網(wǎng)絡(luò)中,或者數(shù)據(jù)處理器出現(xiàn)故障時,重新更新網(wǎng)絡(luò)拓?fù)湫畔⒉⑶彝ㄖ蠈臃?wù)器;
數(shù)據(jù)庫用來存儲全局網(wǎng)絡(luò)拓?fù)湫畔?,網(wǎng)絡(luò)拓?fù)湓O(shè)置模塊將獲取到的網(wǎng)絡(luò)信息發(fā)送到數(shù)據(jù)庫中存儲,當(dāng)有請求到達(dá)時,通過數(shù)據(jù)庫的信息學(xué)習(xí)全網(wǎng)拓?fù)洌划?dāng)某個區(qū)域的網(wǎng)絡(luò)發(fā)生變化時,及時將信息更新到數(shù)據(jù)庫中。
優(yōu)選地,數(shù)據(jù)分配子系統(tǒng)還包括:統(tǒng)計管理模塊:
統(tǒng)計管理模塊用于對每個數(shù)據(jù)處理器處理的數(shù)據(jù)信息量進(jìn)行收集,統(tǒng)計和儲存,并且向上層服務(wù)器提供統(tǒng)計信息。
優(yōu)選地,數(shù)據(jù)分配子系統(tǒng)還包括:系統(tǒng)資源折算模塊;
系統(tǒng)資源折算模塊用于通過比較每個數(shù)據(jù)處理器與系統(tǒng)平均數(shù)據(jù)處理量的方差d來衡量當(dāng)前系統(tǒng)中分配的數(shù)據(jù)處理資源量是否平衡,通過公式1.1計算來該平衡度;n為系統(tǒng)設(shè)有n個數(shù)據(jù)處理器,pave表示系統(tǒng)平均數(shù)據(jù)處理量,pi表示第i個控制數(shù)據(jù)處理器的數(shù)據(jù)處理量;
優(yōu)選地,數(shù)據(jù)分配子系統(tǒng)還包括:數(shù)據(jù)傳輸量設(shè)置模塊,數(shù)據(jù)傳輸調(diào)度模塊;
數(shù)據(jù)傳輸量設(shè)置模塊用于設(shè)置網(wǎng)絡(luò)拓?fù)渲袀鬏斁€路的第一流量閾值,第二流量閾值,第一流量閾值大于第二流量閾值,第一流量閾值為網(wǎng)絡(luò)拓?fù)渲袀鬏斁€路承受數(shù)據(jù)傳輸?shù)纳舷拗?,第二流量閾值為傳輸線路的預(yù)設(shè)值,數(shù)據(jù)傳輸量處理模塊獲取網(wǎng)絡(luò)拓?fù)渲懈鱾€傳輸線路的數(shù)據(jù)量信息;
數(shù)據(jù)傳輸調(diào)度模塊用于獲取網(wǎng)絡(luò)拓?fù)渲懈鱾€傳輸線路的傳輸量,當(dāng)識別網(wǎng)絡(luò)拓?fù)渲心骋粋鬏斁€路中傳輸量超過第一流量閾值時,將該傳輸線路的傳輸數(shù)據(jù)量分配至傳輸線路中傳輸數(shù)據(jù)量低于第二流量閾值的傳輸線路傳輸。
優(yōu)選地,數(shù)據(jù)分配子系統(tǒng)還包括:數(shù)據(jù)傳輸線路選定模塊;
數(shù)據(jù)傳輸線路選定模塊用于查找每個傳輸線路的源地址和目的地址,確定端到端的數(shù)據(jù)信息,基于路由算法計算數(shù)據(jù)傳輸在網(wǎng)絡(luò)拓?fù)渲械淖疃虃鬏斁€路和所有可行的傳輸線路。
優(yōu)選地,數(shù)據(jù)分配子系統(tǒng)與數(shù)據(jù)處理子系統(tǒng)之間采用tcp/ip協(xié)議通信。
優(yōu)選地,數(shù)據(jù)分配器還用于獲取各個數(shù)據(jù)處理器的數(shù)據(jù)處理量上限值及數(shù)據(jù)處理器的緩存數(shù)據(jù)量,根據(jù)各個數(shù)據(jù)處理器的數(shù)據(jù)處理量上限值及數(shù)據(jù)處理器的緩存數(shù)據(jù)量進(jìn)行資源分配。
優(yōu)選地,數(shù)據(jù)分配子系統(tǒng)還包括:數(shù)據(jù)處理器處理量獲取模塊;
數(shù)據(jù)處理器處理量獲取模塊用于實(shí)時獲取各個數(shù)據(jù)處理器的數(shù)據(jù)處理量,根據(jù)各個數(shù)據(jù)處理器的數(shù)據(jù)處理量以及各個數(shù)據(jù)處理器的可處理量進(jìn)行數(shù)據(jù)分配。
優(yōu)選地,數(shù)據(jù)分配子系統(tǒng)還包括:qci數(shù)據(jù)傳輸模塊,
qci數(shù)據(jù)傳輸模塊用于實(shí)時獲取網(wǎng)絡(luò)拓?fù)渲懈鱾€傳輸線路的傳輸量,基于non-gbr承載當(dāng)前網(wǎng)絡(luò)拓?fù)渲懈鱾€傳輸線路的數(shù)據(jù)傳輸,并對網(wǎng)絡(luò)拓?fù)渲兴袀鬏斁€路的數(shù)據(jù)傳輸量進(jìn)行累計,根據(jù)累計數(shù)據(jù)量計算網(wǎng)絡(luò)拓?fù)渲袀鬏斁€路的平均速率;
設(shè)置網(wǎng)絡(luò)拓?fù)渲懈鱾€傳輸線路的預(yù)設(shè)傳輸量的sbr值,獲取網(wǎng)絡(luò)拓?fù)渲懈鱾€傳輸線路的下行聚合最大比特速率ambr值及各個傳輸線路上數(shù)據(jù)處理器收發(fā)數(shù)據(jù)量,當(dāng)傳輸線路的sbr值大于平均速率,則根據(jù)所述sbr值及平均速率計算所述傳輸線路的最大可承受傳輸數(shù)據(jù)量,當(dāng)超過所述傳輸線路的最大可承受傳輸數(shù)據(jù)量時,將該傳輸線路的傳輸數(shù)據(jù)量分配至傳輸線路中傳輸線路的sbr值小于平均速率傳輸線路傳輸;
當(dāng)傳輸線路的sbr值小于平均速率,實(shí)時比對ambr值、傳輸線路的傳輸數(shù)據(jù)量及平均速率之間的關(guān)系。
從以上技術(shù)方案可以看出,本發(fā)明具有以下優(yōu)點(diǎn):
數(shù)據(jù)分配器查找處理數(shù)據(jù)資源量最少的數(shù)據(jù)處理器,并將待處理數(shù)據(jù)信息發(fā)送給所述數(shù)據(jù)處理器進(jìn)行處理數(shù)據(jù),當(dāng)當(dāng)前數(shù)據(jù)處理器為非處理數(shù)據(jù)資源量最少的數(shù)據(jù)處理器時,查找下一個處理數(shù)據(jù)資源量最少的數(shù)據(jù)處理器,并將待處理數(shù)據(jù)信息發(fā)送給所述數(shù)據(jù)處理器進(jìn)行處理數(shù)據(jù),依次類推;數(shù)據(jù)得到了合理的分配提高了系統(tǒng)的數(shù)據(jù)處理效率。
網(wǎng)絡(luò)拓?fù)湓O(shè)置模塊對服務(wù)器集群網(wǎng)絡(luò)中的數(shù)據(jù)處理器之間建立網(wǎng)絡(luò)拓?fù)溥B接,當(dāng)數(shù)據(jù)處理器之間連接之后,向上層服務(wù)器上報每個數(shù)據(jù)處理器的物理端口信息;網(wǎng)絡(luò)拓?fù)湓O(shè)置模塊通過鏈路層協(xié)議收集每個數(shù)據(jù)處理器的連接狀況,形成整個網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu),通過周期性的發(fā)送數(shù)據(jù)連接報文,網(wǎng)絡(luò)拓?fù)湓O(shè)置模塊及時獲取網(wǎng)絡(luò)拓?fù)渥兓?dāng)新的數(shù)據(jù)處理器加入到網(wǎng)絡(luò)中,或者數(shù)據(jù)處理器出現(xiàn)故障時,重新更新網(wǎng)絡(luò)拓?fù)湫畔⒉⑶彝ㄖ蠈臃?wù)器;實(shí)現(xiàn)了系統(tǒng)網(wǎng)絡(luò)傳輸?shù)牧鲿?,使得系統(tǒng)技能實(shí)現(xiàn)處理效率的提升還能實(shí)現(xiàn)網(wǎng)絡(luò)傳輸效率的提升。
附圖說明
為了更清楚地說明本發(fā)明的技術(shù)方案,下面將對描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為服務(wù)器數(shù)據(jù)分配系統(tǒng)示意圖。
具體實(shí)施方式
為使得本發(fā)明的發(fā)明目的、特征、優(yōu)點(diǎn)能夠更加的明顯和易懂,下面將運(yùn)用具體的實(shí)施例及附圖,對本發(fā)明保護(hù)的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,下面所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例,而非全部的實(shí)施例?;诒緦@械膶?shí)施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它實(shí)施例,都屬于本專利保護(hù)的范圍。
本實(shí)施例提供一種服務(wù)器數(shù)據(jù)分配系統(tǒng),如圖1所示,包括:數(shù)據(jù)分配子系統(tǒng)1,數(shù)據(jù)處理子系統(tǒng)2,數(shù)據(jù)庫3;
數(shù)據(jù)分配子系統(tǒng)1包括:數(shù)據(jù)分配模塊,網(wǎng)絡(luò)通信處理模塊,網(wǎng)絡(luò)拓?fù)湓O(shè)置模塊;數(shù)據(jù)處理子系統(tǒng)包括:多個數(shù)據(jù)處理器;
數(shù)據(jù)分配器用于查找處理數(shù)據(jù)資源量最少的數(shù)據(jù)處理器,并將待處理數(shù)據(jù)信息發(fā)送給所述數(shù)據(jù)處理器進(jìn)行處理數(shù)據(jù),當(dāng)當(dāng)前數(shù)據(jù)處理器為非處理數(shù)據(jù)資源量最少的數(shù)據(jù)處理器時,查找下一個處理數(shù)據(jù)資源量最少的數(shù)據(jù)處理器,并將待處理數(shù)據(jù)信息發(fā)送給所述數(shù)據(jù)處理器進(jìn)行處理數(shù)據(jù),依次類推;網(wǎng)絡(luò)通信處理模塊用于對服務(wù)器集群網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)交換,對網(wǎng)絡(luò)終端設(shè)備進(jìn)行監(jiān)控,在每個數(shù)據(jù)處理器上維護(hù)數(shù)據(jù)交換的信息,以及維護(hù)每個數(shù)據(jù)處理器的端口、工作模式、網(wǎng)速,使每個數(shù)據(jù)處理器與物理數(shù)據(jù)交換對應(yīng)同步狀態(tài),網(wǎng)絡(luò)通信處理模塊采用mac地址區(qū)分不同的數(shù)據(jù)處理器;網(wǎng)絡(luò)拓?fù)湓O(shè)置模塊用于對服務(wù)器集群網(wǎng)絡(luò)中的數(shù)據(jù)處理器之間建立網(wǎng)絡(luò)拓?fù)溥B接,當(dāng)數(shù)據(jù)處理器之間連接之后,向上層服務(wù)器上報每個數(shù)據(jù)處理器的物理端口信息;網(wǎng)絡(luò)拓?fù)湓O(shè)置模塊通過鏈路層協(xié)議收集每個數(shù)據(jù)處理器的連接狀況,形成整個網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu),通過周期性的發(fā)送數(shù)據(jù)連接報文,網(wǎng)絡(luò)拓?fù)湓O(shè)置模塊及時獲取網(wǎng)絡(luò)拓?fù)渥兓?,?dāng)新的數(shù)據(jù)處理器加入到網(wǎng)絡(luò)中,或者數(shù)據(jù)處理器出現(xiàn)故障時,重新更新網(wǎng)絡(luò)拓?fù)湫畔⒉⑶彝ㄖ蠈臃?wù)器;
數(shù)據(jù)庫用來存儲全局網(wǎng)絡(luò)拓?fù)湫畔ⅲW(wǎng)絡(luò)拓?fù)湓O(shè)置模塊將獲取到的網(wǎng)絡(luò)信息發(fā)送到數(shù)據(jù)庫中存儲,當(dāng)有請求到達(dá)時,通過數(shù)據(jù)庫的信息學(xué)習(xí)全網(wǎng)拓?fù)?;?dāng)某個區(qū)域的網(wǎng)絡(luò)發(fā)生變化時,及時將信息更新到數(shù)據(jù)庫中。
本實(shí)施例中,數(shù)據(jù)分配子系統(tǒng)1還包括:統(tǒng)計管理模塊:
統(tǒng)計管理模塊用于對每個數(shù)據(jù)處理器處理的數(shù)據(jù)信息量進(jìn)行收集,統(tǒng)計和儲存,并且向上層服務(wù)器提供統(tǒng)計信息。
本實(shí)施例中,數(shù)據(jù)分配子系統(tǒng)還包括:系統(tǒng)資源折算模塊;系統(tǒng)資源折算模塊用于通過比較每個數(shù)據(jù)處理器與系統(tǒng)平均數(shù)據(jù)處理量的方差d來衡量當(dāng)前系統(tǒng)中分配的數(shù)據(jù)處理資源量是否平衡,通過公式1.1計算來該平衡度;n為系統(tǒng)設(shè)有n個數(shù)據(jù)處理器,pave表示系統(tǒng)平均數(shù)據(jù)處理量,pi表示第i個控制數(shù)據(jù)處理器的數(shù)據(jù)處理量;
這樣通過系統(tǒng)資源折算模塊可以實(shí)現(xiàn)對每個數(shù)據(jù)處理器進(jìn)行資源的合理分配。
本實(shí)施例中,數(shù)據(jù)分配子系統(tǒng)1還包括:數(shù)據(jù)傳輸量設(shè)置模塊,數(shù)據(jù)傳輸調(diào)度模塊;
數(shù)據(jù)傳輸量設(shè)置模塊用于設(shè)置網(wǎng)絡(luò)拓?fù)渲袀鬏斁€路的第一流量閾值,第二流量閾值,第一流量閾值大于第二流量閾值,第一流量閾值為網(wǎng)絡(luò)拓?fù)渲袀鬏斁€路承受數(shù)據(jù)傳輸?shù)纳舷拗?,第二流量閾值為傳輸線路的預(yù)設(shè)值,數(shù)據(jù)傳輸量處理模塊獲取網(wǎng)絡(luò)拓?fù)渲懈鱾€傳輸線路的數(shù)據(jù)量信息;數(shù)據(jù)傳輸調(diào)度模塊用于獲取網(wǎng)絡(luò)拓?fù)渲懈鱾€傳輸線路的傳輸量,當(dāng)識別網(wǎng)絡(luò)拓?fù)渲心骋粋鬏斁€路中傳輸量超過第一流量閾值時,將該傳輸線路的傳輸數(shù)據(jù)量分配至傳輸線路中傳輸數(shù)據(jù)量低于第二流量閾值的傳輸線路傳輸,避免擁塞和提高網(wǎng)絡(luò)的利用率。
本實(shí)施例中,數(shù)據(jù)分配子系統(tǒng)還包括:數(shù)據(jù)傳輸線路選定模塊;
數(shù)據(jù)傳輸線路選定模塊用于查找每個傳輸線路的源地址和目的地址,確定端到端的數(shù)據(jù)信息,基于路由算法計算數(shù)據(jù)傳輸在網(wǎng)絡(luò)拓?fù)渲械淖疃虃鬏斁€路和所有可行的傳輸線路。
本實(shí)施例中,數(shù)據(jù)分配子系統(tǒng)1與數(shù)據(jù)處理子系統(tǒng)2之間采用tcp/ip協(xié)議通信。
本實(shí)施例中,數(shù)據(jù)分配器還用于獲取各個數(shù)據(jù)處理器的數(shù)據(jù)處理量上限值及數(shù)據(jù)處理器的緩存數(shù)據(jù)量,根據(jù)各個數(shù)據(jù)處理器的數(shù)據(jù)處理量上限值及數(shù)據(jù)處理器的緩存數(shù)據(jù)量進(jìn)行資源分配。
數(shù)據(jù)分配子系統(tǒng)1還包括:數(shù)據(jù)處理器處理量獲取模塊;
數(shù)據(jù)處理器處理量獲取模塊用于實(shí)時獲取各個數(shù)據(jù)處理器的數(shù)據(jù)處理量,根據(jù)各個數(shù)據(jù)處理器的數(shù)據(jù)處理量以及各個數(shù)據(jù)處理器的可處理量進(jìn)行數(shù)據(jù)分配。
本實(shí)施例中,還包括一種數(shù)據(jù)的分配方式,具體的數(shù)據(jù)分配子系統(tǒng)還包括:qci數(shù)據(jù)傳輸模塊,
qci數(shù)據(jù)傳輸模塊用于實(shí)時獲取網(wǎng)絡(luò)拓?fù)渲懈鱾€傳輸線路的傳輸量,基于non-gbr承載當(dāng)前網(wǎng)絡(luò)拓?fù)渲懈鱾€傳輸線路的數(shù)據(jù)傳輸,并對網(wǎng)絡(luò)拓?fù)渲兴袀鬏斁€路的數(shù)據(jù)傳輸量進(jìn)行累計,根據(jù)累計數(shù)據(jù)量計算網(wǎng)絡(luò)拓?fù)渲袀鬏斁€路的平均速率;
設(shè)置網(wǎng)絡(luò)拓?fù)渲懈鱾€傳輸線路的預(yù)設(shè)傳輸量的sbr值,獲取網(wǎng)絡(luò)拓?fù)渲懈鱾€傳輸線路的下行聚合最大比特速率ambr值及各個傳輸線路上數(shù)據(jù)處理器收發(fā)數(shù)據(jù)量,當(dāng)傳輸線路的sbr值大于平均速率,則根據(jù)所述sbr值及平均速率計算所述傳輸線路的最大可承受傳輸數(shù)據(jù)量,當(dāng)超過所述傳輸線路的最大可承受傳輸數(shù)據(jù)量時,將該傳輸線路的傳輸數(shù)據(jù)量分配至傳輸線路中傳輸線路的sbr值小于平均速率傳輸線路傳輸;當(dāng)傳輸線路的sbr值小于平均速率,實(shí)時比對ambr值、傳輸線路的傳輸數(shù)據(jù)量及平均速率之間的關(guān)系。
對所公開的實(shí)施例的上述說明,使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對這些實(shí)施例的多種修改對本領(lǐng)域的專業(yè)技術(shù)人員來說將是顯而易見的,本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下,在其它實(shí)施例中實(shí)現(xiàn)。因此,本發(fā)明將不會被限制于本文所示的這些實(shí)施例,而是要符合與本文所公開的原理和新穎特點(diǎn)相一致的最寬的范圍。