基于網(wǎng)省地統(tǒng)一調(diào)度的多級負載均衡及服務器角色切換方法
【專利摘要】本發(fā)明公開了一種基于網(wǎng)省地統(tǒng)一調(diào)度多級負載均衡及服務器角色切換方法，它采用中心管理服務器來管理整個云存儲文件系統(tǒng)，所有元數(shù)據(jù)均保存在元數(shù)據(jù)服務器上，文件被按塊劃分存儲在不同的數(shù)據(jù)節(jié)點上；元數(shù)據(jù)維護了統(tǒng)一的命名空間，同時掌握整個系統(tǒng)內(nèi)數(shù)據(jù)節(jié)點的使用情況，元數(shù)據(jù)服務器根據(jù)數(shù)據(jù)節(jié)點的磁盤使用情況、網(wǎng)絡負擔情況，自動調(diào)節(jié)集群的負載狀態(tài)，數(shù)據(jù)節(jié)點內(nèi)同時有提供磁盤級的負載均衡，根據(jù)磁盤的IO負載、空間容量情況，自動選擇負載最輕的磁盤存儲新的數(shù)據(jù)文件；本發(fā)明通過系統(tǒng)配置實現(xiàn)動態(tài)調(diào)度，實現(xiàn)基于網(wǎng)、省、地三級流媒體統(tǒng)一調(diào)度，實現(xiàn)多級負載均衡及服務器角色切換等智能調(diào)度。
【專利說明】
基于網(wǎng)省地統(tǒng)一調(diào)度的多級負載均衡及服務器角色切換方法
技術領域
[0001]本發(fā)明涉及變電站數(shù)據(jù)處理，具體來說涉及一種基于網(wǎng)省地三級流媒體統(tǒng)一調(diào)度的多級負載均衡及服務器角色切換方法。
【背景技術】
[0002]隨著變電站視頻及環(huán)境監(jiān)控系統(tǒng)建設的升級，視頻監(jiān)控高清化開始普及，視頻圖像信息的深度應用成為行業(yè)的趨勢，如何有效存儲和高效使用海量監(jiān)控數(shù)據(jù)也成為了新的課題。傳統(tǒng)大型監(jiān)控系統(tǒng)主要采用以下兩種模式來實現(xiàn)數(shù)據(jù)存儲與使用:存儲服務器+IPSAN;NVR為代表的嵌入式存儲設備。這兩種方式都存在擴展困難、可靠性低和數(shù)據(jù)無法充分共享等弱點。隨著網(wǎng)絡視頻監(jiān)控規(guī)模的不斷擴大，為了提升系統(tǒng)的整體性能與服務質(zhì)量，防止單點瓶頸的發(fā)生，需要將集群與負載均衡技術應用到視頻監(jiān)控系統(tǒng)，做到地區(qū)、省、網(wǎng)三級級聯(lián)同時兼顧視頻監(jiān)控系統(tǒng)特點、碼流的實時性與數(shù)據(jù)量大的特點。

【發(fā)明內(nèi)容】

[0003]本發(fā)明所要解決的技術問題，就是提供一種基于網(wǎng)省地統(tǒng)一調(diào)度多級負載均衡及服務器角色切換方法，實現(xiàn)基于網(wǎng)、省、地三級流媒體統(tǒng)一調(diào)度，實現(xiàn)多級負載均衡及服務器角色切換的智能調(diào)度。
[0004]本發(fā)明的目的可通過以下的技術措施來實現(xiàn):
[0005]—種基于網(wǎng)省地統(tǒng)一調(diào)度的多級負載均衡及服務器角色切換方法，包括如下內(nèi)容:
[0006]采用中心管理服務器來管理整個云存儲文件系統(tǒng)，所有元數(shù)據(jù)均保存在元數(shù)據(jù)服務器上，文件被按塊劃分存儲在不同的數(shù)據(jù)節(jié)點上;元數(shù)據(jù)維護了統(tǒng)一的命名空間，同時掌握整個系統(tǒng)內(nèi)數(shù)據(jù)節(jié)點的使用情況；當客戶端向元數(shù)據(jù)服務器發(fā)送數(shù)據(jù)讀寫的請求時，元數(shù)據(jù)服務器根據(jù)數(shù)據(jù)節(jié)點的磁盤使用情況、網(wǎng)絡負擔情況，選擇負擔最輕的節(jié)點服務器對外提供服務，自動調(diào)節(jié)集群的負載狀態(tài);數(shù)據(jù)節(jié)點內(nèi)同時有提供磁盤級的負載均衡，根據(jù)磁盤的1負載、空間容量情況，自動選擇負載最輕的磁盤存儲新的數(shù)據(jù)文件；當有一個數(shù)據(jù)節(jié)點因為機器故障或者其他原因造成離線時，元數(shù)據(jù)服務器將此機器自動屏蔽掉，不再將此數(shù)據(jù)節(jié)點提供給客戶端使用，同時存儲在此數(shù)據(jù)節(jié)點上的數(shù)據(jù)自動恢復到其他可用的節(jié)點服務器上，自動屏蔽數(shù)據(jù)單節(jié)點故障對系統(tǒng)的影響;將數(shù)據(jù)節(jié)點上的硬盤拔出，插入到其他數(shù)據(jù)節(jié)點，從而對故障的數(shù)據(jù)節(jié)點上的數(shù)據(jù)快速恢復，這樣既減少集群對數(shù)據(jù)恢復的壓力又不對客戶端讀寫產(chǎn)生影響。
[0007]本發(fā)明方法中，采用高速并發(fā)訪問技術，通過多進程、多線程并行執(zhí)行，在大規(guī)模的數(shù)據(jù)處理中采用異步并發(fā)技術，避免信令交互及數(shù)據(jù)傳輸?shù)牡却?，提高信令交互與數(shù)據(jù)傳輸?shù)男?在并發(fā)過程中防止沖突，需要考慮原子操作與并發(fā)控制，在多級級聯(lián)系統(tǒng)中，信令的觸發(fā)可以在地區(qū)、省、網(wǎng)任意一級，同時各級又多客戶端操作，確保各級客戶端各功能的高速并發(fā)操作。
[0008]本發(fā)明方法中，采用統(tǒng)一命名空間管理，整體對外提供一個訪問IP，簡化了與業(yè)務系統(tǒng)的接口，保證了系統(tǒng)使用的簡易性；同時，存儲的擴展僅限存儲內(nèi)部，不會影響到系統(tǒng)與業(yè)務系統(tǒng)的接口，保證了存儲空間內(nèi)數(shù)據(jù)的高共享能力。
[0009]有益效果:與現(xiàn)有技術相比，本發(fā)明采用業(yè)界領先的云存儲架構思想，在系統(tǒng)架構和設計上，充分考慮大規(guī)模集群環(huán)境下軟硬件發(fā)生故障的現(xiàn)實，采用先進的管理思想和軟件系統(tǒng)，實現(xiàn)對大量普通存儲服務器存儲空間資源進行虛擬化整合，實現(xiàn)軟硬件故障高度容錯，搭建高度穩(wěn)定可靠的存儲集群。本發(fā)明將控制流與數(shù)據(jù)流分離，以及充分優(yōu)化元數(shù)據(jù)節(jié)點控制系統(tǒng)，使得系統(tǒng)具備極高的性能和良好的線性擴展能力。系統(tǒng)整體為應用提供統(tǒng)一命名空間，使得系統(tǒng)具備極好的數(shù)據(jù)共享能力。系統(tǒng)將負載均衡到集群內(nèi)的各節(jié)點上，充分利用集群各節(jié)點性能，以獲得很好的性能聚合能力以及保證了系統(tǒng)的穩(wěn)定。集群采用高度靈活自組網(wǎng)技術，提供簡易部署和維護功能。系統(tǒng)在數(shù)據(jù)可靠方面，采用智能冗余重建技術，保證較高磁盤利用率的前提下，提供最佳冗余策略。另外，系統(tǒng)在節(jié)點軟硬件故障容錯方面，也進行充分考慮，具備屏蔽所有可屏蔽錯誤能力。本發(fā)明針對南網(wǎng)現(xiàn)狀研發(fā)網(wǎng)/省/地三級平臺不同廠商流媒體服務的標準化注冊式集群服務，確保集群服務軟件的標準化程度。通過系統(tǒng)配置實現(xiàn)動態(tài)調(diào)度，實現(xiàn)基于網(wǎng)、省、地三級流媒體統(tǒng)一調(diào)度，實現(xiàn)多級負載均衡及服務器角色切換等智能調(diào)度。
【附圖說明】
[0010]圖1是本發(fā)明的多級級聯(lián)業(yè)務組網(wǎng)圖。
【具體實施方式】
[0011]下面結(jié)合附圖和【具體實施方式】對本發(fā)明作進一步的說明。
[0012]本發(fā)明提供一種基于網(wǎng)省地統(tǒng)一調(diào)度的多級負載均衡及服務器角色切換方法，采用中心服務器來管理整個云存儲文件系統(tǒng)，所有元數(shù)據(jù)均保存在元數(shù)據(jù)服務器上，文件則被按塊劃分存儲在不同的數(shù)據(jù)節(jié)點上。元數(shù)據(jù)維護了統(tǒng)一的命名空間，同時掌握整個系統(tǒng)內(nèi)數(shù)據(jù)節(jié)點的使用情況，當客戶端向元數(shù)據(jù)服務器發(fā)送數(shù)據(jù)讀寫的請求時，元數(shù)據(jù)服務器根據(jù)數(shù)據(jù)節(jié)點的磁盤使用情況、網(wǎng)絡負擔等情況，選擇負擔最輕的節(jié)點服務器對外提供服務，自動調(diào)節(jié)集群的負載狀態(tài)。數(shù)據(jù)節(jié)點內(nèi)同時有提供磁盤級的負載均衡，根據(jù)磁盤的1負載，空間容量等情況，自動選擇負載最輕的磁盤存儲新的數(shù)據(jù)文件。當有一個數(shù)據(jù)節(jié)點因為機器故障或者其他原因造成離線時，元數(shù)據(jù)服務器會將此機器自動屏蔽掉，不再將此數(shù)據(jù)節(jié)點提供給客戶端使用，同時存儲在此數(shù)據(jù)節(jié)點上的數(shù)據(jù)也會自動恢復到其他可用的節(jié)點服務器上，自動屏蔽數(shù)據(jù)單節(jié)點故障對系統(tǒng)的影響。另外對故障的數(shù)據(jù)節(jié)點上的數(shù)據(jù)快速恢復，只需將數(shù)據(jù)節(jié)點上的硬盤拔出，插入到其他數(shù)據(jù)節(jié)點，這樣既減少集群對數(shù)據(jù)恢復的壓力，又不對客戶端讀寫產(chǎn)生影響。
[0013]通過多進程、多線程并行執(zhí)行。在大規(guī)模的數(shù)據(jù)處理中采用異步并發(fā)技術，避免信令交互及數(shù)據(jù)傳輸?shù)牡却?，提高信令交互與數(shù)據(jù)傳輸?shù)男省Ｔ诓l(fā)過程中防止沖突，需要考慮原子操作與并發(fā)控制。在多級級聯(lián)系統(tǒng)中，信令的觸發(fā)可以在地區(qū)、省、網(wǎng)任意一級，同時各級又多客戶端操作，確保各級客戶端各功能的高速并發(fā)操作。
[0014]統(tǒng)一命名空間管理是分布式文件系統(tǒng)的一個重要功能，只有提供統(tǒng)一命名空間管理，才能將集群的眾多信息、狀態(tài)屏蔽在集群內(nèi)，保證系統(tǒng)使用的簡易性、可擴展性、高可共享能力。一個具備一定規(guī)模的存儲集群，隨時都可能發(fā)生磁盤、存儲服務器硬件等方面的故障，統(tǒng)一命名空間管理功能實現(xiàn)了將整個集群統(tǒng)一視圖功能，整體對外提供一個訪問IP，簡化了與業(yè)務系統(tǒng)的接口，保證了系統(tǒng)使用的簡易性。同時，存儲的擴展僅限存儲內(nèi)部，而不會影響到系統(tǒng)與業(yè)務系統(tǒng)的接口，也保證了存儲空間內(nèi)數(shù)據(jù)的高共享能力。
[0015]如圖1所示，各業(yè)務服務器分布式安裝，各業(yè)務服務器功能描述如下:平臺服務:
[0016]I)中心管理服務器:業(yè)務管理服務器，系統(tǒng)的核心業(yè)務服務器。負責處理監(jiān)控的業(yè)務邏輯，進行權限等控制。根據(jù)業(yè)務邏輯需要，發(fā)送命令給DMS、MTS等服務器進行處理。系統(tǒng)的容錯、負載均衡、動態(tài)集群等都在CMS上實現(xiàn)。
[0017]2)流媒體服務器:負責從設備獲取視音頻數(shù)據(jù)，以標準流媒體協(xié)議轉(zhuǎn)發(fā)給客戶端。實現(xiàn)媒體數(shù)據(jù)的一對多、多對多轉(zhuǎn)發(fā)/分發(fā)。
[0018]3)級聯(lián)服務器:用于變電站視頻及環(huán)境監(jiān)控系統(tǒng)地區(qū)主站系統(tǒng)整合及數(shù)據(jù)采集。
[0019]4)設備管理服務器:負責進行設備管理，向設備執(zhí)行查詢配置命令，向設備發(fā)送操作命令，收集設備網(wǎng)管信息，收集報警信息并執(zhí)行報警聯(lián)動策略。
[0020]站端服務:
[0021]I)視頻質(zhì)量診斷服務器:通過后端智能視頻分析管理，根據(jù)平臺配置的輪巡計劃、任務和方案，對前端視頻設備進行輪巡檢測分析，對視頻的清晰度、亮度、對比度、顏色、運動、噪聲、相似度等進行量化，并對出現(xiàn)的視頻模糊、視頻抖動運動、噪聲過大、條紋干擾、視頻丟失、視頻凍結(jié)、視頻遮擋和場景變化等異常現(xiàn)象進行報警統(tǒng)計。
[0022]2)視頻濃縮服務器:針對南網(wǎng)視頻架構開展基于內(nèi)容摘要提取技術的歷史視頻精簡算法研究，實現(xiàn)針對濃縮錄像的解碼、檢索、標識，并實現(xiàn)濃縮錄像的分類編目。研究靈活的視頻錄像存儲/迀移策略，實現(xiàn)根據(jù)實際情況自定義文件存儲/迀移策略。
[0023]本發(fā)明的實施方式不限于此，在本發(fā)明上述基本技術思想前提下，按照本領域的普通技術知識和慣用手段對本
【發(fā)明內(nèi)容】
所做出其它多種形式的修改、替換或變更，均落在本發(fā)明權利保護范圍之內(nèi)。
【主權項】
1.一種基于網(wǎng)省地統(tǒng)一調(diào)度的多級負載均衡及服務器角色切換方法，其特征在于包括如下內(nèi)容: 采用中心管理服務器來管理整個云存儲文件系統(tǒng)，所有元數(shù)據(jù)均保存在元數(shù)據(jù)服務器上，文件被按塊劃分存儲在不同的數(shù)據(jù)節(jié)點上;元數(shù)據(jù)維護了統(tǒng)一的命名空間，同時掌握整個系統(tǒng)內(nèi)數(shù)據(jù)節(jié)點的使用情況；當客戶端向元數(shù)據(jù)服務器發(fā)送數(shù)據(jù)讀寫的請求時，元數(shù)據(jù)服務器根據(jù)數(shù)據(jù)節(jié)點的磁盤使用情況、網(wǎng)絡負擔情況，選擇負擔最輕的節(jié)點服務器對外提供服務，自動調(diào)節(jié)集群的負載狀態(tài);數(shù)據(jù)節(jié)點內(nèi)同時有提供磁盤級的負載均衡，根據(jù)磁盤的1負載、空間容量情況，自動選擇負載最輕的磁盤存儲新的數(shù)據(jù)文件；當有一個數(shù)據(jù)節(jié)點因為機器故障或者其他原因造成離線時，元數(shù)據(jù)服務器將此機器自動屏蔽掉，不再將此數(shù)據(jù)節(jié)點提供給客戶端使用，同時存儲在此數(shù)據(jù)節(jié)點上的數(shù)據(jù)自動恢復到其他可用的節(jié)點服務器上，自動屏蔽數(shù)據(jù)單節(jié)點故障對系統(tǒng)的影響;將數(shù)據(jù)節(jié)點上的硬盤拔出，插入到其他數(shù)據(jù)節(jié)點，從而對故障的數(shù)據(jù)節(jié)點上的數(shù)據(jù)快速恢復，這樣既減少集群對數(shù)據(jù)恢復的壓力又不對客戶端讀寫產(chǎn)生影響。2.根據(jù)權利要求1所述的方法，其特征在于:采用高速并發(fā)訪問技術，通過多進程、多線程并行執(zhí)行，在大規(guī)模的數(shù)據(jù)處理中采用異步并發(fā)技術。3.根據(jù)權利要求1所述的方法，其特征在于:采用統(tǒng)一命名空間管理，整體對外提供一個訪問IP。
【文檔編號】H04L29/08GK105939387SQ201610478493
【公開日】2016年9月14日
【申請日】2016年6月23日
【發(fā)明人】樊騰飛, 李金 , 陶文偉, 張喜銘, 何錫祺, 趙旋宇, 胡榮
【申請人】中國南方電網(wǎng)有限責任公司