本發(fā)明屬于電力視頻監(jiān)控領(lǐng)域, 涉及電力行業(yè)多級(jí)級(jí)聯(lián)流媒體智能調(diào)度技術(shù),特別是一種基于電力行業(yè)多級(jí)級(jí)聯(lián)流媒體智能調(diào)度的方法。
背景技術(shù):
隨著電力工業(yè)的不斷擴(kuò)張和發(fā)展,應(yīng)用在電網(wǎng)上的圖像監(jiān)控技術(shù)尤其是遠(yuǎn)程圖像監(jiān)控技術(shù)得以迅速發(fā)展。因此,在面對(duì)單個(gè)監(jiān)控終端同時(shí)對(duì)多個(gè)監(jiān)控前端進(jìn)行實(shí)時(shí)監(jiān)控,或者多個(gè)監(jiān)控終端同時(shí)對(duì)單個(gè)監(jiān)控前端進(jìn)行實(shí)時(shí)監(jiān)控的情況下,作為監(jiān)控系統(tǒng)的樞紐核心——流媒體服務(wù)容易出現(xiàn)宕機(jī)、假死等故障,且需要一定時(shí)間的檢修才能恢復(fù)工作,在這間隔中必將造成監(jiān)控監(jiān)管的真空和監(jiān)控信息的丟失,由于電網(wǎng)的特殊性,一旦電網(wǎng)因此出現(xiàn)事故將給人民群眾和企業(yè)生產(chǎn)帶來(lái)不可挽回的損失。而且監(jiān)控系統(tǒng)在使用一定時(shí)間后,流媒體服務(wù)器的故障率會(huì)越來(lái)越高,造成監(jiān)控出現(xiàn)問(wèn)題的幾率也越來(lái)越高,因此如何克服由于電網(wǎng)監(jiān)控系統(tǒng)的流媒體服務(wù)器出現(xiàn)故障導(dǎo)致監(jiān)控系統(tǒng)出現(xiàn)癱瘓的問(wèn)題,是本技術(shù)領(lǐng)域當(dāng)前需要解決的重要課題。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于提供一種基于電力行業(yè)多級(jí)級(jí)聯(lián)流媒體智能調(diào)度的方法。本發(fā)明有效的地利用服務(wù)器的資源,綜合考慮CPU性能、碼流轉(zhuǎn)發(fā)性能、磁盤的IO負(fù)載、任務(wù)分配策略,來(lái)實(shí)現(xiàn)負(fù)載;此外,通過(guò)多進(jìn)程、多線程并行執(zhí)行,在大規(guī)模的數(shù)據(jù)處理中采用異步并發(fā)技術(shù),避免信令交到及大數(shù)據(jù)量傳輸?shù)牡却岣咝帕罱换ヅc數(shù)據(jù)傳輸?shù)男?;同時(shí),統(tǒng)一命名空間管理,提供統(tǒng)一命名空間管理,將集群的眾多信息、狀態(tài)屏蔽在集群內(nèi),保證系統(tǒng)使用的簡(jiǎn)易性、可擴(kuò)展性、提高可共享能力。
本發(fā)明采用的技術(shù)方案是:本發(fā)明基于電力行業(yè)多級(jí)級(jí)聯(lián)流媒體智能調(diào)度的方法,采用中心服務(wù)器來(lái)管理整個(gè)云存儲(chǔ)文件系統(tǒng),所有元數(shù)據(jù)均保存在元數(shù)據(jù)服務(wù)器上,文件則被按塊劃分存儲(chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)上;元數(shù)據(jù)維護(hù)了統(tǒng)一的命名空間,同時(shí)掌握整個(gè)系統(tǒng)內(nèi)數(shù)據(jù)節(jié)點(diǎn)的使用情況,當(dāng)客戶端向元數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)讀寫的請(qǐng)求時(shí),元數(shù)據(jù)服務(wù)器根據(jù)數(shù)據(jù)節(jié)點(diǎn)的磁盤使用情況、網(wǎng)絡(luò)負(fù)擔(dān)情況,選擇負(fù)擔(dān)最輕的節(jié)點(diǎn)服務(wù)器對(duì)外提供服務(wù),自動(dòng)調(diào)節(jié)集群的負(fù)載狀態(tài);數(shù)據(jù)節(jié)點(diǎn)內(nèi)同時(shí)有提供磁盤級(jí)的負(fù)載均衡,根據(jù)磁盤的IO負(fù)載,空間容量情況,自動(dòng)選擇負(fù)載最輕的磁盤存儲(chǔ)新的數(shù)據(jù)文件。
本發(fā)明基于電力行業(yè)多級(jí)級(jí)聯(lián)流媒體智能調(diào)度的方法,當(dāng)有一個(gè)數(shù)據(jù)節(jié)點(diǎn)因?yàn)闄C(jī)器故障或者其他原因造成離線時(shí),元數(shù)據(jù)服務(wù)器會(huì)將此機(jī)器自動(dòng)屏蔽掉,不再將此數(shù)據(jù)節(jié)點(diǎn)提供給客戶端使用,同時(shí)存儲(chǔ)在此數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)也會(huì)自動(dòng)恢復(fù)到其他可用的節(jié)點(diǎn)服務(wù)器上,自動(dòng)屏蔽數(shù)據(jù)單節(jié)點(diǎn)故障對(duì)系統(tǒng)的影響。
本發(fā)明基于電力行業(yè)多級(jí)級(jí)聯(lián)流媒體智能調(diào)度的方法,對(duì)故障的數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)快速恢復(fù),只需將數(shù)據(jù)節(jié)點(diǎn)上的硬盤拔出,插入到其他數(shù)據(jù)節(jié)點(diǎn),這樣既減少集群對(duì)數(shù)據(jù)恢復(fù)的壓力,又不對(duì)客戶端讀寫產(chǎn)生影響。
本發(fā)明基于電力行業(yè)多級(jí)級(jí)聯(lián)流媒體智能調(diào)度的方法,將多級(jí)流媒體負(fù)載自動(dòng)均衡技術(shù)提升系統(tǒng)的整體性能與服務(wù)質(zhì)量,防止單點(diǎn)瓶頸的發(fā)生,將集群與負(fù)載均衡技術(shù)應(yīng)用到視頻監(jiān)控系統(tǒng),需要做到網(wǎng)、省、地三級(jí)級(jí)聯(lián),同時(shí)應(yīng)兼顧視頻監(jiān)控系統(tǒng)特點(diǎn),碼流的實(shí)時(shí)性與數(shù)據(jù)量大的特點(diǎn);有效的地利用服務(wù)器的資源,綜合考慮CPU性能、碼流轉(zhuǎn)發(fā)性能、磁盤的IO負(fù)載、任務(wù)分配策略,來(lái)實(shí)現(xiàn)負(fù)載。
本發(fā)明基于電力行業(yè)多級(jí)級(jí)聯(lián)流媒體智能調(diào)度的方法,通過(guò)多進(jìn)程、多線程并行執(zhí)行;在大規(guī)模的數(shù)據(jù)處理中采用異步并發(fā)技術(shù),避免信令交到及大數(shù)據(jù)量傳輸?shù)牡却?,提高信令交互與數(shù)據(jù)傳輸?shù)男省?/p>
本發(fā)明基于電力行業(yè)多級(jí)級(jí)聯(lián)流媒體智能調(diào)度的方法,統(tǒng)一命名空間管理,提供統(tǒng)一命名空間管理,將集群的眾多信息、狀態(tài)屏蔽在集群內(nèi),保證系統(tǒng)使用的簡(jiǎn)易性、可擴(kuò)展性、提高可共享能力。
本發(fā)明多級(jí)級(jí)聯(lián)方案采用業(yè)界領(lǐng)先的云存儲(chǔ)架構(gòu)思想,在系統(tǒng)架構(gòu)和設(shè)計(jì)上,充分考慮大規(guī)模集群環(huán)境下軟硬件發(fā)生故障的現(xiàn)實(shí),采用先進(jìn)的管理思想和軟件系統(tǒng),實(shí)現(xiàn)對(duì)大量普通存儲(chǔ)服務(wù)器存儲(chǔ)空間資源進(jìn)行虛擬化整合,實(shí)現(xiàn)軟硬件故障高度容錯(cuò),搭建高度穩(wěn)定可靠的存儲(chǔ)集群。本發(fā)明將控制流與數(shù)據(jù)流分離,以及充分優(yōu)化元數(shù)據(jù)節(jié)點(diǎn)控制系統(tǒng),使得系統(tǒng)具備極高的性能和良好的線性擴(kuò)展能力。系統(tǒng)整體為應(yīng)用提供統(tǒng)一命名空間,使得系統(tǒng)具備極好的數(shù)據(jù)共享能力。系統(tǒng)將負(fù)載均衡到集群內(nèi)的各節(jié)點(diǎn)上,充分利用集群各節(jié)點(diǎn)性能,以獲得很好的性能聚合能力以及保證了系統(tǒng)的穩(wěn)定。集群采用高度靈活自組網(wǎng)技術(shù),提供簡(jiǎn)易部署和維護(hù)功能。系統(tǒng)在數(shù)據(jù)可靠方面,采用智能冗余重建技術(shù),保證較高磁盤利用率的前提下,提供最佳冗余策略。另外,系統(tǒng)在節(jié)點(diǎn)軟硬件故障容錯(cuò)方面,也進(jìn)行充分考慮,具備屏蔽所有可屏蔽錯(cuò)誤能力。本發(fā)明針對(duì)南網(wǎng)現(xiàn)狀研發(fā)網(wǎng)/省/地三級(jí)平臺(tái)不同廠商流媒體服務(wù)的標(biāo)準(zhǔn)化注冊(cè)式集群服務(wù),確保集群服務(wù)軟件的標(biāo)準(zhǔn)化程度。通過(guò)系統(tǒng)配置實(shí)現(xiàn)動(dòng)態(tài)調(diào)度,實(shí)現(xiàn)基于網(wǎng)、省、地三級(jí)流媒體統(tǒng)一調(diào)度,實(shí)現(xiàn)多級(jí)負(fù)載均衡及服務(wù)器角色切換等智能調(diào)度。
附圖說(shuō)明
圖1為本發(fā)明業(yè)務(wù)組網(wǎng)圖;
圖2為本發(fā)明流媒體智能調(diào)度流程圖。
具體實(shí)施方式
以下將對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行詳細(xì)的描述;應(yīng)當(dāng)理解,優(yōu)選實(shí)施例僅為了說(shuō)明本發(fā)明,而不是為了限制本發(fā)明的保護(hù)范圍。
本發(fā)明的技術(shù)方案如下:
1. 多級(jí)流媒體負(fù)載自動(dòng)均衡技術(shù)
隨著網(wǎng)絡(luò)視頻監(jiān)控規(guī)模的不斷擴(kuò)大,為了提升系統(tǒng)的整體性能與服務(wù)質(zhì)量,防止單點(diǎn)瓶頸的發(fā)生,需要將集群與負(fù)載均衡技術(shù)應(yīng)用到視頻監(jiān)控系統(tǒng),需要做到地區(qū)、省、網(wǎng)三級(jí)級(jí)聯(lián),同時(shí)應(yīng)兼顧視頻監(jiān)控系統(tǒng)特點(diǎn),碼流的實(shí)時(shí)性與數(shù)據(jù)量大的特點(diǎn)。為更有效的地利用服務(wù)器的資源,提高系統(tǒng)性能,需要深入研究負(fù)載均衡算法、任務(wù)分配策略、加權(quán)最少任務(wù)策略等算法。
中心服務(wù)器模式來(lái)管理整個(gè)云存儲(chǔ)文件系統(tǒng),所有元數(shù)據(jù)均保存在元數(shù)據(jù)服務(wù)器上,文件則被按塊劃分存儲(chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)上。
元數(shù)據(jù)維護(hù)了統(tǒng)一的命名空間,同時(shí)掌握整個(gè)系統(tǒng)內(nèi)數(shù)據(jù)節(jié)點(diǎn)的使用情況,當(dāng)客戶端向元數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)讀寫的請(qǐng)求時(shí),元數(shù)據(jù)服務(wù)器根據(jù)數(shù)據(jù)節(jié)點(diǎn)的磁盤使用情況、網(wǎng)絡(luò)負(fù)擔(dān)等情況,選擇負(fù)擔(dān)最輕的節(jié)點(diǎn)服務(wù)器對(duì)外提供服務(wù),自動(dòng)調(diào)節(jié)集群的負(fù)載狀態(tài)。
數(shù)據(jù)節(jié)點(diǎn)內(nèi)同時(shí)有提供磁盤級(jí)的負(fù)載均衡,根據(jù)磁盤的IO負(fù)載,空間容量等情況,自動(dòng)選擇負(fù)載最輕的磁盤存儲(chǔ)新的數(shù)據(jù)文件。
當(dāng)有一個(gè)數(shù)據(jù)節(jié)點(diǎn)因?yàn)闄C(jī)器故障或者其他原因造成離線時(shí),元數(shù)據(jù)服務(wù)器會(huì)將此機(jī)器自動(dòng)屏蔽掉,不再將此數(shù)據(jù)節(jié)點(diǎn)提供給客戶端使用,同時(shí)存儲(chǔ)在此數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)也會(huì)自動(dòng)恢復(fù)到其他可用的節(jié)點(diǎn)服務(wù)器上,自動(dòng)屏蔽數(shù)據(jù)單節(jié)點(diǎn)故障對(duì)系統(tǒng)的影響。
另外對(duì)故障的數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)快速恢復(fù),只需將數(shù)據(jù)節(jié)點(diǎn)上的硬盤拔出,插入到其他數(shù)據(jù)節(jié)點(diǎn),這樣即減少集群對(duì)數(shù)據(jù)恢復(fù)的壓力,又不對(duì)客戶端讀寫產(chǎn)生影響。
2.高速并發(fā)訪問(wèn)技術(shù)
通過(guò)多進(jìn)程、多線程并行執(zhí)行。在大規(guī)模的數(shù)據(jù)處理中采用異步并發(fā)技術(shù),避免信令交到及大數(shù)據(jù)量傳輸?shù)牡却?,提高信令交互與數(shù)據(jù)傳輸?shù)男省T诓l(fā)過(guò)程中防止沖突,需要考慮原子操作與并發(fā)控制。在多級(jí)級(jí)聯(lián)系統(tǒng)中,信令的觸發(fā)可以在地區(qū)、省、網(wǎng)任意一級(jí),同時(shí)各級(jí)又多客戶端操作,要確保各級(jí)客戶端各功能的高速并發(fā)操作,確保原子性及并發(fā)控制。
3.統(tǒng)一命名空間管理
統(tǒng)一命名空間管理是分布式文件系統(tǒng)的一個(gè)重要功能,只有提供統(tǒng)一命名空間管理,才能將集群的眾多信息、狀態(tài)屏蔽在集群內(nèi),保證系統(tǒng)使用的簡(jiǎn)易性、可擴(kuò)展性、高可共享能力。一個(gè)具備一定規(guī)模的存儲(chǔ)集群,隨時(shí)都可能發(fā)生磁盤、存儲(chǔ)服務(wù)器硬件等方面的故障,統(tǒng)一命名空間管理功能實(shí)現(xiàn)了將整個(gè)集群統(tǒng)一視圖功能,整體對(duì)外提供一個(gè)訪問(wèn)IP,簡(jiǎn)化了與業(yè)務(wù)系統(tǒng)的接口,保證了系統(tǒng)使用的簡(jiǎn)易性。同時(shí),存儲(chǔ)的擴(kuò)展僅限存儲(chǔ)內(nèi)部,而不會(huì)影響到系統(tǒng)與業(yè)務(wù)系統(tǒng)的接口,也保證了存儲(chǔ)空間內(nèi)數(shù)據(jù)的高共享能力。
本發(fā)明的具體實(shí)施例如下:
實(shí)施例:采用中心服務(wù)器來(lái)管理整個(gè)云存儲(chǔ)文件系統(tǒng),所有元數(shù)據(jù)均保存在元數(shù)據(jù)服務(wù)器上,文件則被按塊劃分存儲(chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)上。元數(shù)據(jù)維護(hù)了統(tǒng)一的命名空間,同時(shí)掌握整個(gè)系統(tǒng)內(nèi)數(shù)據(jù)節(jié)點(diǎn)的使用情況,當(dāng)客戶端向元數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)讀寫的請(qǐng)求時(shí),元數(shù)據(jù)服務(wù)器根據(jù)數(shù)據(jù)節(jié)點(diǎn)的磁盤使用情況、網(wǎng)絡(luò)負(fù)擔(dān)等情況,選擇負(fù)擔(dān)最輕的節(jié)點(diǎn)服務(wù)器對(duì)外提供服務(wù),自動(dòng)調(diào)節(jié)集群的負(fù)載狀態(tài)。數(shù)據(jù)節(jié)點(diǎn)內(nèi)同時(shí)有提供磁盤級(jí)的負(fù)載均衡,根據(jù)磁盤的IO負(fù)載,空間容量等情況,自動(dòng)選擇負(fù)載最輕的磁盤存儲(chǔ)新的數(shù)據(jù)文件。當(dāng)有一個(gè)數(shù)據(jù)節(jié)點(diǎn)因?yàn)闄C(jī)器故障或者其他原因造成離線時(shí),元數(shù)據(jù)服務(wù)器會(huì)將此機(jī)器自動(dòng)屏蔽掉,不再將此數(shù)據(jù)節(jié)點(diǎn)提供給客戶端使用,同時(shí)存儲(chǔ)在此數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)也會(huì)自動(dòng)恢復(fù)到其他可用的節(jié)點(diǎn)服務(wù)器上,自動(dòng)屏蔽數(shù)據(jù)單節(jié)點(diǎn)故障對(duì)系統(tǒng)的影響。另外對(duì)故障的數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)快速恢復(fù),只需將數(shù)據(jù)節(jié)點(diǎn)上的硬盤拔出,插入到其他數(shù)據(jù)節(jié)點(diǎn),這樣既減少集群對(duì)數(shù)據(jù)恢復(fù)的壓力,又不對(duì)客戶端讀寫產(chǎn)生影響。
通過(guò)多進(jìn)程、多線程并行執(zhí)行。在大規(guī)模的數(shù)據(jù)處理中采用異步并發(fā)技術(shù),避免信令交到及大數(shù)據(jù)量傳輸?shù)牡却?,提高信令交互與數(shù)據(jù)傳輸?shù)男?。在并發(fā)過(guò)程中防止沖突,需要考慮原子操作與并發(fā)控制。在多級(jí)級(jí)聯(lián)系統(tǒng)中,信令的觸發(fā)可以在地區(qū)、省、網(wǎng)任意一級(jí),同時(shí)各級(jí)又多客戶端操作,確保各級(jí)客戶端各功能的高速并發(fā)操作。
統(tǒng)一命名空間管理是分布式文件系統(tǒng)的一個(gè)重要功能,只有提供統(tǒng)一命名空間管理,才能將集群的眾多信息、狀態(tài)屏蔽在集群內(nèi),保證系統(tǒng)使用的簡(jiǎn)易性、可擴(kuò)展性、高可共享能力。一個(gè)具備一定規(guī)模的存儲(chǔ)集群,隨時(shí)都可能發(fā)生磁盤、存儲(chǔ)服務(wù)器硬件等方面的故障,統(tǒng)一命名空間管理功能實(shí)現(xiàn)了將整個(gè)集群統(tǒng)一視圖功能,整體對(duì)外提供一個(gè)訪問(wèn)IP,簡(jiǎn)化了與業(yè)務(wù)系統(tǒng)的接口,保證了系統(tǒng)使用的簡(jiǎn)易性。同時(shí),存儲(chǔ)的擴(kuò)展僅限存儲(chǔ)內(nèi)部,而不會(huì)影響到系統(tǒng)與業(yè)務(wù)系統(tǒng)的接口,也保證了存儲(chǔ)空間內(nèi)數(shù)據(jù)的高共享能力。
本發(fā)明方法在電力行業(yè)多級(jí)級(jí)聯(lián)流媒體系統(tǒng)中,采用業(yè)界領(lǐng)先的云存儲(chǔ)架構(gòu)思想,在系統(tǒng)架構(gòu)和設(shè)計(jì)上,充分考慮大規(guī)模集群環(huán)境下軟硬件發(fā)生故障的現(xiàn)實(shí),采用先進(jìn)的管理思想和軟件系統(tǒng),實(shí)現(xiàn)對(duì)大量普通存儲(chǔ)服務(wù)器存儲(chǔ)空間資源進(jìn)行虛擬化整合,實(shí)現(xiàn)軟硬件故障高度容錯(cuò),搭建高度穩(wěn)定可靠的存儲(chǔ)集群。
如圖1所示,各業(yè)務(wù)服務(wù)器分布式安裝,各業(yè)務(wù)服務(wù)器功能描述如下:平臺(tái)服務(wù):
1)中心管理服務(wù)器:業(yè)務(wù)管理服務(wù)器,系統(tǒng)的核心業(yè)務(wù)服務(wù)器。負(fù)責(zé)處理監(jiān)控的業(yè)務(wù)邏輯,進(jìn)行權(quán)限等控制。根據(jù)業(yè)務(wù)邏輯需要,發(fā)送命令給DMS、MTS等服務(wù)器進(jìn)行處理。系統(tǒng)的容錯(cuò)、負(fù)載均衡、動(dòng)態(tài)集群等都在CMS上實(shí)現(xiàn)。
2)流媒體服務(wù)器:負(fù)責(zé)從設(shè)備獲取視音頻數(shù)據(jù),以標(biāo)準(zhǔn)流媒體協(xié)議轉(zhuǎn)發(fā)給客戶端。實(shí)現(xiàn)媒體數(shù)據(jù)的一對(duì)多、多對(duì)多轉(zhuǎn)發(fā)/分發(fā)。
3)級(jí)聯(lián)服務(wù)器:用于變電站視頻及環(huán)境監(jiān)控系統(tǒng)地區(qū)主站系統(tǒng)整合及數(shù)據(jù)采集。
4)設(shè)備管理服務(wù)器:負(fù)責(zé)進(jìn)行設(shè)備管理,向設(shè)備執(zhí)行查詢配置命令,向設(shè)備發(fā)送操作命令,收集設(shè)備網(wǎng)管信息,收集報(bào)警信息并執(zhí)行報(bào)警聯(lián)動(dòng)策略。
以上所述僅為本發(fā)明的優(yōu)選實(shí)施例,并不用于限制本發(fā)明,顯然,本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣,倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi),則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。