專利名稱：網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步方法及網(wǎng)管數(shù)據(jù)同步系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及網(wǎng)絡(luò)優(yōu)化系統(tǒng)中數(shù)據(jù)同步的方法，尤其涉及一種網(wǎng)絡(luò)優(yōu)化系統(tǒng)中對(duì)網(wǎng)管系統(tǒng)數(shù)據(jù)同步的方法。
背景技術(shù)：
在通信系統(tǒng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)優(yōu)化涉及到配置優(yōu)化和性能優(yōu)化兩個(gè)方面。
配置優(yōu)化主要是調(diào)整網(wǎng)絡(luò)中各種類型的網(wǎng)元設(shè)備和重要參數(shù)的設(shè)置情況；性能優(yōu)化主要是對(duì)已經(jīng)產(chǎn)生的話務(wù)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，然后根據(jù)結(jié)果來對(duì)通信系統(tǒng)網(wǎng)絡(luò)進(jìn)行配置優(yōu)化，從而提高網(wǎng)絡(luò)性能。
隨著網(wǎng)優(yōu)系統(tǒng)在通信網(wǎng)絡(luò)系統(tǒng)中的地位越來越重要，愈來愈不可缺少，加上網(wǎng)管系統(tǒng)的獨(dú)立性，網(wǎng)管數(shù)據(jù)與網(wǎng)優(yōu)數(shù)據(jù)的不同步情況必將越來越普遍，因此網(wǎng)管系統(tǒng)與網(wǎng)優(yōu)系統(tǒng)之間的數(shù)據(jù)同步是我們不可避免的問題。
在現(xiàn)有的網(wǎng)優(yōu)系統(tǒng)中，與網(wǎng)管數(shù)據(jù)同步的第一種方法是操作維護(hù)人員在網(wǎng)管系統(tǒng)上運(yùn)行一個(gè)小工具，將網(wǎng)管數(shù)據(jù)導(dǎo)出成文件，將文件通過FTP的方式傳到網(wǎng)優(yōu)系統(tǒng)，然后在網(wǎng)優(yōu)系統(tǒng)從文件中導(dǎo)入網(wǎng)管數(shù)據(jù)。這種方式的缺點(diǎn)是每個(gè)網(wǎng)管服務(wù)器上需配置一套，增加了網(wǎng)管操作維護(hù)人員的工作量；數(shù)據(jù)同步的實(shí)時(shí)性差，需要人為的操作干預(yù)；中間處理流程復(fù)雜，需要多個(gè)程序間的配合，出錯(cuò)的概率大大的增加，且出現(xiàn)問題不容易查找；當(dāng)網(wǎng)管數(shù)據(jù)庫出現(xiàn)變動(dòng)，網(wǎng)優(yōu)系統(tǒng)的導(dǎo)入程序需要做較多修改；網(wǎng)管系統(tǒng)中出現(xiàn)不符合網(wǎng)優(yōu)系統(tǒng)要求的數(shù)據(jù)時(shí)，造成采集的異常或停止。
第二種方法是依賴于網(wǎng)管數(shù)據(jù)庫系統(tǒng)提供的同步復(fù)制功能。數(shù)據(jù)庫管理系統(tǒng)作為管理者的一部分，使用者需要對(duì)其進(jìn)行相應(yīng)的同步功能配置，同步復(fù)制模塊會(huì)根據(jù)使用者的配置完成數(shù)據(jù)的自動(dòng)同步功能。但使用這種同步方法存在以下的問題若要數(shù)據(jù)庫系統(tǒng)同步功能軟件模塊的支持，需要向國外廠商進(jìn)行購買，不是屬于標(biāo)準(zhǔn)配置；網(wǎng)管數(shù)據(jù)庫與網(wǎng)優(yōu)數(shù)據(jù)庫不是完全一致，通常網(wǎng)管數(shù)據(jù)同步到網(wǎng)優(yōu)系統(tǒng)中需要進(jìn)行預(yù)處理；數(shù)據(jù)庫系統(tǒng)同步功能不適用于異構(gòu)數(shù)據(jù)庫即網(wǎng)優(yōu)和網(wǎng)管采用不同數(shù)據(jù)庫；可靠性差，完全依賴于數(shù)據(jù)庫提供的同步復(fù)制的可靠性，不利于問題出現(xiàn)時(shí)跟蹤定位。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步方法及網(wǎng)管數(shù)據(jù)同步系統(tǒng)，解決需要人為操作干預(yù)、可靠性差、兼容性差、問題跟蹤困難等一系列問題，實(shí)現(xiàn)簡(jiǎn)單有效、易于升級(jí)的網(wǎng)管數(shù)據(jù)同步。
為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步系統(tǒng)，用于通信系統(tǒng)，包括采集數(shù)據(jù)的元數(shù)據(jù)設(shè)置及保存模塊，用于設(shè)置并保存采集數(shù)據(jù)的元數(shù)據(jù)，所述元數(shù)據(jù)以配置的方式保存，獨(dú)立于數(shù)據(jù)源系統(tǒng)；數(shù)據(jù)采集模塊，用于通過元數(shù)據(jù)建立數(shù)據(jù)采集的通信連接，并組織數(shù)據(jù)查詢請(qǐng)求執(zhí)行數(shù)據(jù)采集，同時(shí)還用于將數(shù)據(jù)源返回的查詢數(shù)據(jù)保存到臨時(shí)存儲(chǔ)區(qū)；數(shù)據(jù)過濾及保存模塊，用于對(duì)臨時(shí)存儲(chǔ)區(qū)的數(shù)據(jù)進(jìn)行清洗、過濾后保存。
上述的網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步系統(tǒng)，所述數(shù)據(jù)過濾及保存模塊還用于將清洗、過濾過程中出現(xiàn)的特例數(shù)據(jù)進(jìn)行保存。
上述的網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步系統(tǒng)，還包括一數(shù)據(jù)補(bǔ)采模塊，用于對(duì)差異數(shù)據(jù)所在的范圍的數(shù)據(jù)進(jìn)行再次同步采集。
為了更好的實(shí)現(xiàn)上述目的，本發(fā)明還提供了一種網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步方法，用于通信系統(tǒng)，包括采集數(shù)據(jù)的元數(shù)據(jù)設(shè)置及保存步驟，設(shè)置并保存采集數(shù)據(jù)的元數(shù)據(jù)，所述元數(shù)據(jù)以配置的方式保存，獨(dú)立于數(shù)據(jù)源系統(tǒng)；數(shù)據(jù)采集步驟，通過元數(shù)據(jù)建立數(shù)據(jù)采集的通信連接，并組織數(shù)據(jù)查詢請(qǐng)求執(zhí)行數(shù)據(jù)采集，同時(shí)還用于將數(shù)據(jù)源返回的查詢數(shù)據(jù)保存到臨時(shí)存儲(chǔ)區(qū)；數(shù)據(jù)過濾及保存步驟，對(duì)臨時(shí)存儲(chǔ)區(qū)的數(shù)據(jù)進(jìn)行清洗、過濾后保存。
上述的網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步方法，其中，所述數(shù)據(jù)過濾及保存步驟中，還將清洗、過濾過程中出現(xiàn)的特例數(shù)據(jù)進(jìn)行保存。
上述的網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步方法，其中，還包括一數(shù)據(jù)補(bǔ)采步驟，根據(jù)差異數(shù)據(jù)所在的范圍的數(shù)據(jù)進(jìn)行再次同步采集。
上述的網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步方法，其中，所述元數(shù)據(jù)包括數(shù)據(jù)源地址、用戶名、密碼、數(shù)據(jù)內(nèi)容、數(shù)據(jù)項(xiàng)、數(shù)據(jù)格式及時(shí)間段信息，所述數(shù)據(jù)采集步驟中，通過元數(shù)據(jù)中的數(shù)據(jù)源地址、用戶名、密碼建立數(shù)據(jù)采集的通信連接，通行連接建立成功后，通過數(shù)據(jù)內(nèi)容、數(shù)據(jù)項(xiàng)、數(shù)據(jù)格式、時(shí)間段信息組織數(shù)據(jù)查詢請(qǐng)求。
上述的網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步方法，其中，所述數(shù)據(jù)過濾及保存步驟中，完成數(shù)據(jù)的清洗和過濾，并將特例數(shù)據(jù)從臨時(shí)存儲(chǔ)區(qū)中剔除，然后將臨時(shí)存儲(chǔ)區(qū)中的數(shù)據(jù)導(dǎo)入到正式數(shù)據(jù)區(qū)中，再將數(shù)據(jù)從正式數(shù)據(jù)區(qū)通過數(shù)據(jù)轉(zhuǎn)換服務(wù)導(dǎo)到數(shù)據(jù)倉庫中。
本發(fā)明的網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步方法及網(wǎng)管數(shù)據(jù)同步系統(tǒng)中由于元數(shù)據(jù)獨(dú)立于數(shù)據(jù)源系統(tǒng)，因此既支持網(wǎng)管和網(wǎng)優(yōu)采用相同的數(shù)據(jù)庫，又支持網(wǎng)管和網(wǎng)優(yōu)采用不同數(shù)據(jù)庫，而且設(shè)置了定時(shí)采集，不需人為的干預(yù)，同時(shí)數(shù)據(jù)補(bǔ)采對(duì)差異數(shù)據(jù)所在的范圍的數(shù)據(jù)進(jìn)行再次同步采集，保證了數(shù)據(jù)的完整性。


圖1是本發(fā)明的自動(dòng)調(diào)度模塊的處理流程示意圖；圖2為本發(fā)明的數(shù)據(jù)采集步驟的詳細(xì)流程圖。
具體實(shí)施例方式
本發(fā)明的網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步方法，用于通信系統(tǒng)，包括下列步驟采集數(shù)據(jù)的元數(shù)據(jù)設(shè)置及保存步驟，設(shè)置并保存采集數(shù)據(jù)的元數(shù)據(jù)，該元數(shù)據(jù)可以靈活設(shè)置，數(shù)據(jù)采集所需要的元數(shù)據(jù)包括數(shù)據(jù)源地址、用戶名、密碼、數(shù)據(jù)內(nèi)容、數(shù)據(jù)項(xiàng)、數(shù)據(jù)格式等元數(shù)據(jù)都以配置的方式保存，不需要定義采集數(shù)據(jù)的傳輸格式，也不需要定義數(shù)據(jù)傳輸協(xié)議，并且獨(dú)立于數(shù)據(jù)源系統(tǒng)，當(dāng)數(shù)據(jù)源系統(tǒng)出現(xiàn)變動(dòng)時(shí)，只需要修改采集數(shù)據(jù)的元數(shù)據(jù)，就可以兼容新的數(shù)據(jù)源系統(tǒng)，對(duì)系統(tǒng)的變更影響降到最低；數(shù)據(jù)采集步驟，通過元數(shù)據(jù)中的數(shù)據(jù)源地址、用戶名、密碼建立數(shù)據(jù)采集的通信連接，通行連接建立成功后，通過數(shù)據(jù)內(nèi)容、數(shù)據(jù)項(xiàng)、數(shù)據(jù)格式、時(shí)間段信息組織數(shù)據(jù)查詢請(qǐng)求，如果有符合要求的數(shù)據(jù)，則將數(shù)據(jù)源返回的查詢數(shù)據(jù)保存到臨時(shí)存儲(chǔ)區(qū)。如果元數(shù)據(jù)中有不止一個(gè)的數(shù)據(jù)源，則此過程將執(zhí)行多次；數(shù)據(jù)過濾及保存步驟，對(duì)采集到放在臨時(shí)存儲(chǔ)區(qū)的數(shù)據(jù)要進(jìn)行清洗和過濾，數(shù)據(jù)的清洗過程是通過業(yè)務(wù)處理規(guī)則對(duì)數(shù)據(jù)進(jìn)行必要的轉(zhuǎn)化，以符合數(shù)據(jù)以后處理的要求，數(shù)據(jù)的過濾是對(duì)數(shù)據(jù)清洗以后的數(shù)據(jù)進(jìn)行數(shù)據(jù)合理性判斷，以識(shí)別出不合法數(shù)據(jù)。在清洗和過濾過程中，要將出現(xiàn)的特例數(shù)據(jù)(此類數(shù)據(jù)一般由于數(shù)據(jù)源系統(tǒng)變更或未知情況的出現(xiàn)引起)進(jìn)行保存，這可以保證每次數(shù)據(jù)同步的成功率，并且異常數(shù)據(jù)不會(huì)影響系統(tǒng)的正常運(yùn)行，方便系統(tǒng)日后完善和異常情況的定位，也便于這些異常數(shù)據(jù)在特殊處理后重新使用，保證了采集數(shù)據(jù)的完整性；數(shù)據(jù)補(bǔ)采步驟，根據(jù)成功采集記錄和采集內(nèi)容來判斷是不是存在沒有采集成功的數(shù)據(jù)，然后對(duì)沒有采集成功的數(shù)據(jù)進(jìn)行重新采集，保證數(shù)據(jù)采集的完整性，同時(shí)也提高采集的效率。
本發(fā)明的網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步系統(tǒng)，用于通信系統(tǒng)，包括采集數(shù)據(jù)的元數(shù)據(jù)設(shè)置及保存模塊，用于設(shè)置并保存采集數(shù)據(jù)的元數(shù)據(jù)，該元數(shù)據(jù)可以靈活設(shè)置，數(shù)據(jù)采集所需要的數(shù)據(jù)源、用戶名、密碼、數(shù)據(jù)格式、數(shù)據(jù)項(xiàng)、數(shù)據(jù)內(nèi)容等元數(shù)據(jù)都以配置的方式保存，不需要定義采集數(shù)據(jù)的傳輸格式，也不需要定義數(shù)據(jù)傳輸協(xié)議，并且獨(dú)立于數(shù)據(jù)源系統(tǒng)，當(dāng)數(shù)據(jù)源系統(tǒng)出現(xiàn)變動(dòng)時(shí)，只需要修改采集數(shù)據(jù)的元數(shù)據(jù)，就可以兼容新的數(shù)據(jù)源系統(tǒng)，對(duì)系統(tǒng)的變更影響降到最低；數(shù)據(jù)采集模塊，用于通過元數(shù)據(jù)中的數(shù)據(jù)源地址、用戶名、密碼建立數(shù)據(jù)采集的通信連接，通行連接建立成功后，通過數(shù)據(jù)內(nèi)容、數(shù)據(jù)項(xiàng)、數(shù)據(jù)格式、時(shí)間段信息組織數(shù)據(jù)查詢請(qǐng)求，如果有符合要求的數(shù)據(jù)，則將數(shù)據(jù)源返回的查詢數(shù)據(jù)保存到臨時(shí)存儲(chǔ)區(qū)，如果元數(shù)據(jù)中有不止一個(gè)的數(shù)據(jù)源，則此過程將執(zhí)行多次；當(dāng)通信連接出現(xiàn)問題時(shí)，能夠及時(shí)做出處理，不會(huì)影響下一次的查詢請(qǐng)求的處理，數(shù)據(jù)采集模塊中有一個(gè)自動(dòng)調(diào)度模塊，用于根據(jù)采集數(shù)據(jù)的元數(shù)據(jù)進(jìn)行數(shù)據(jù)采集動(dòng)作；數(shù)據(jù)過濾及保存模塊，用于對(duì)采集到的數(shù)據(jù)進(jìn)行清洗、過濾后保存，在數(shù)據(jù)同步出現(xiàn)特例數(shù)據(jù)(此類數(shù)據(jù)一般由于數(shù)據(jù)源系統(tǒng)變更或未知情況的出現(xiàn)引起)時(shí)，保證每次數(shù)據(jù)同步的成功率，并且異常數(shù)據(jù)不會(huì)影響系統(tǒng)的正常運(yùn)行，數(shù)據(jù)過濾及保存模塊還用于保存異常數(shù)據(jù)，方便系統(tǒng)日后完善和異常情況的定位，也便于這些異常數(shù)據(jù)在特殊處理后重新使用，保證了采集數(shù)據(jù)的完整性；數(shù)據(jù)補(bǔ)采模塊，在實(shí)際使用中，由于各種使用環(huán)境中出現(xiàn)的變化或問題，一定會(huì)出現(xiàn)已同步數(shù)據(jù)比數(shù)據(jù)源的數(shù)據(jù)少的情況，對(duì)于這部分缺少的數(shù)據(jù)，即差異數(shù)據(jù)，數(shù)據(jù)補(bǔ)采模塊通過對(duì)數(shù)據(jù)的采集時(shí)間、數(shù)據(jù)關(guān)鍵字、采集成功的數(shù)據(jù)集和數(shù)據(jù)源數(shù)據(jù)在規(guī)定的一段時(shí)間內(nèi)的數(shù)據(jù)集，得到差異數(shù)據(jù)所在的范圍，并由本模塊針對(duì)這些范圍段內(nèi)的數(shù)據(jù)進(jìn)行再次同步，保證數(shù)據(jù)采集的完整性，同時(shí)也提高采集的效率。
下面以PHS網(wǎng)優(yōu)系統(tǒng)為例對(duì)本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)介紹。
系統(tǒng)初始化時(shí)，采集數(shù)據(jù)的元數(shù)據(jù)設(shè)置及保存模塊會(huì)將對(duì)用戶設(shè)置的對(duì)應(yīng)數(shù)據(jù)源版本的采集數(shù)據(jù)的元數(shù)據(jù)如數(shù)據(jù)源地址、用戶名、密碼、數(shù)據(jù)庫類型進(jìn)行檢查，如檢查通過則保存。
圖1是本系統(tǒng)的自動(dòng)調(diào)度模塊的處理流程示意圖。HasReTransfered初始化為false，當(dāng)采集成功后將其置為true，每天0點(diǎn)置false，可以防止重復(fù)采集，包括如下步驟步驟11，判斷是否是新的一天，如是則將HasReTransfered(采集標(biāo)志符)設(shè)置為false，如否，則直接進(jìn)入步驟12；步驟12，判斷是否到了調(diào)度時(shí)間點(diǎn)，如是，則進(jìn)入步驟13，如否，返回步驟11；步驟13，到達(dá)采集時(shí)間點(diǎn)，數(shù)據(jù)采集模塊將采集數(shù)據(jù)的元數(shù)據(jù)組織成一個(gè)數(shù)據(jù)包加入到任務(wù)隊(duì)列中，數(shù)據(jù)采集模塊順序被執(zhí)行數(shù)據(jù)采集任務(wù)，數(shù)據(jù)采集模塊首先根據(jù)采集數(shù)據(jù)的元數(shù)據(jù)中的數(shù)據(jù)源地址、用戶名、密碼建立數(shù)據(jù)采集的通信連接，然后通過采集數(shù)據(jù)的元數(shù)據(jù)中的數(shù)據(jù)內(nèi)容、數(shù)據(jù)項(xiàng)、數(shù)據(jù)格式、時(shí)間段信息組織數(shù)據(jù)查詢請(qǐng)求，將所有采集到的數(shù)據(jù)都放到臨時(shí)存儲(chǔ)區(qū)，由數(shù)據(jù)過濾及保存模塊完成數(shù)據(jù)的清洗和過濾，并將特例數(shù)據(jù)從臨時(shí)存儲(chǔ)區(qū)中剔除，然后將臨時(shí)存儲(chǔ)區(qū)中的數(shù)據(jù)導(dǎo)入到正式數(shù)據(jù)區(qū)中，再將數(shù)據(jù)從正式數(shù)據(jù)區(qū)通過DTS(Data Transformation Services，數(shù)據(jù)轉(zhuǎn)換服務(wù))導(dǎo)到數(shù)據(jù)倉庫中步驟14，判斷運(yùn)行成功的作業(yè)是否為補(bǔ)采作業(yè)，如是，則進(jìn)入步驟15，如否，返回步驟11；步驟15，設(shè)置HasReTransfered為true，保證數(shù)據(jù)補(bǔ)采動(dòng)作只會(huì)執(zhí)行一次，并返回步驟11。
圖2為本發(fā)明的數(shù)據(jù)采集步驟的詳細(xì)流程圖，包括如下步驟步驟21，得到采集數(shù)據(jù)的元數(shù)據(jù)；步驟22，根據(jù)元數(shù)據(jù)中的數(shù)據(jù)源地址、用戶名、密碼建立數(shù)據(jù)采集的通信連接；步驟23，判斷連接是否建立，如果成功進(jìn)入步驟24，則記錄日志(建立數(shù)據(jù)庫連接失敗)后結(jié)束；步驟24，系統(tǒng)首先判斷是否需要將采集時(shí)間段進(jìn)行分拆，如果需要，則根據(jù)采集數(shù)據(jù)的元數(shù)據(jù)得到分拆粒度，將采集時(shí)間分成多個(gè)時(shí)間段，并算出每個(gè)時(shí)間段的開始和結(jié)束時(shí)間，進(jìn)入步驟25，否則直接進(jìn)入步驟25；步驟25，根據(jù)每個(gè)時(shí)間段的開始結(jié)束時(shí)間和元數(shù)據(jù)中的數(shù)據(jù)內(nèi)容、數(shù)據(jù)項(xiàng)、數(shù)據(jù)格式組織數(shù)據(jù)查詢請(qǐng)求，并得到記錄集；步驟26，根據(jù)文件命名規(guī)范生成文件名；步驟27，記錄日志，開始生成文件；步驟28，判斷記錄集是否打開成功、記錄集是否為空、記錄表數(shù)據(jù)保存為XML文件是否成功，當(dāng)記錄集打開成功，記錄集不為空，且記錄表數(shù)據(jù)保存為XML文件成功則進(jìn)入步驟29，其他情況均記錄日志，標(biāo)明情況后結(jié)束流程；步驟29，記錄日志，生成文件完畢，結(jié)束流程。
當(dāng)然，本發(fā)明還可有其它多種實(shí)施例，在不背離本發(fā)明精神及其實(shí)質(zhì)的情況下，熟悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護(hù)范圍。
權(quán)利要求
1.一種網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步系統(tǒng)，用于通信系統(tǒng)，其特征在于，包括采集數(shù)據(jù)的元數(shù)據(jù)設(shè)置及保存模塊，用于設(shè)置并保存采集數(shù)據(jù)的元數(shù)據(jù)，所述元數(shù)據(jù)以配置的方式保存，獨(dú)立于數(shù)據(jù)源系統(tǒng)；數(shù)據(jù)采集模塊，用于通過元數(shù)據(jù)建立數(shù)據(jù)采集的通信連接，并組織數(shù)據(jù)查向請(qǐng)求執(zhí)行數(shù)據(jù)采集，同時(shí)還用于將數(shù)據(jù)源返回的查詢數(shù)據(jù)保存到臨時(shí)存儲(chǔ)區(qū)；數(shù)據(jù)過濾及保存模塊，用于對(duì)臨時(shí)存儲(chǔ)區(qū)的數(shù)據(jù)進(jìn)行清洗、過濾后保存。
2.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步系統(tǒng)，其特征在于，所述數(shù)據(jù)過濾及保存模塊還用于將清洗、過濾過程中出現(xiàn)的特例數(shù)據(jù)進(jìn)行保存。
3.根據(jù)權(quán)利要求2所述的網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步系統(tǒng)，其特征在于，還包括一數(shù)據(jù)補(bǔ)采模塊，用于對(duì)同步數(shù)據(jù)中差異數(shù)據(jù)所在的范圍的數(shù)據(jù)進(jìn)行再次同步采集。
4.根據(jù)權(quán)利要求1、2或3所述的網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步系統(tǒng)，其特征在于，所述元數(shù)據(jù)包括數(shù)據(jù)源地址、用戶名、密碼、數(shù)據(jù)內(nèi)容、數(shù)據(jù)項(xiàng)、數(shù)據(jù)格式及時(shí)間段信息，所述數(shù)據(jù)采集模塊通過元數(shù)據(jù)中的數(shù)據(jù)源地址、用戶名、密碼建立數(shù)據(jù)采集的通信連接，通行連接建立成功后，通過數(shù)據(jù)內(nèi)容、數(shù)據(jù)項(xiàng)、數(shù)據(jù)格式、時(shí)間段信息組織數(shù)據(jù)查詢請(qǐng)求。
5.一種網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步方法，用于通信系統(tǒng)，其特征在于，包括采集數(shù)據(jù)的元數(shù)據(jù)設(shè)置及保存步驟，設(shè)置并保存采集數(shù)據(jù)的元數(shù)據(jù)，所述元數(shù)據(jù)以配置的方式保存，獨(dú)立于數(shù)據(jù)源系統(tǒng)；數(shù)據(jù)采集步驟，通過元數(shù)據(jù)建立數(shù)據(jù)采集的通信連接，并組織數(shù)據(jù)查詢請(qǐng)求執(zhí)行數(shù)據(jù)采集，同時(shí)還用于將數(shù)據(jù)源返回的查詢數(shù)據(jù)保存到臨時(shí)存儲(chǔ)區(qū)；數(shù)據(jù)過濾及保存步驟，對(duì)臨時(shí)存儲(chǔ)區(qū)的數(shù)據(jù)進(jìn)行清洗、過濾后保存。
6.根據(jù)權(quán)利要求5所述的網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步方法，其特征在于，所述數(shù)據(jù)過濾及保存步驟中，還將清洗、過濾過程中出現(xiàn)的特例數(shù)據(jù)進(jìn)行保存。
7.根據(jù)權(quán)利要求6所述的網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步方法，其特征在于，還包括一數(shù)據(jù)補(bǔ)采步驟，對(duì)同步數(shù)據(jù)中差異數(shù)據(jù)所在的范圍的數(shù)據(jù)進(jìn)行再次同步采集。
8.根據(jù)權(quán)利要求5、6或7所述的網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步方法，其特征在于，所述元數(shù)據(jù)包括數(shù)據(jù)源地址、用戶名、密碼、數(shù)據(jù)內(nèi)容、數(shù)據(jù)項(xiàng)、數(shù)據(jù)格式及時(shí)間段信息，所述數(shù)據(jù)采集步驟中，通過元數(shù)據(jù)中的數(shù)據(jù)源地址、用戶名、密碼建立數(shù)據(jù)采集的通信連接，通行連接建立成功后，通過數(shù)據(jù)內(nèi)容、數(shù)據(jù)項(xiàng)、數(shù)據(jù)格式、時(shí)間段信息組織數(shù)據(jù)查詢請(qǐng)求。
9.根據(jù)權(quán)利要求8所述的網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步方法，其特征在于，在指定的時(shí)間點(diǎn)，設(shè)置采集標(biāo)志符為True，并執(zhí)行數(shù)據(jù)采集步驟數(shù)據(jù)采集，所述采集標(biāo)志符在另一指定時(shí)間設(shè)置為False，所述數(shù)據(jù)采集完成后置采集標(biāo)志符為True。
10.根據(jù)權(quán)利要求5、6、7或9所述的網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步方法，其特征在于，所述數(shù)據(jù)過濾及保存步驟中，完成數(shù)據(jù)的清洗和過濾，并將特例數(shù)據(jù)從臨時(shí)存儲(chǔ)區(qū)中剔除，然后將臨時(shí)存儲(chǔ)區(qū)中的數(shù)據(jù)導(dǎo)入到正式數(shù)據(jù)區(qū)中，再將數(shù)據(jù)從正式數(shù)據(jù)區(qū)通過數(shù)據(jù)轉(zhuǎn)換服務(wù)導(dǎo)到數(shù)據(jù)倉庫中。
11.根據(jù)權(quán)利要求5、6、7或9所述的網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步方法，其特征在于，所述數(shù)據(jù)采集步驟具體包括如下步驟步驟21，得到采集數(shù)據(jù)的元數(shù)據(jù)；步驟22，根據(jù)元數(shù)據(jù)中的數(shù)據(jù)源地址、用戶名、密碼建立數(shù)據(jù)采集的通信連接；步驟23，判斷連接是否建立，如果成功進(jìn)入步驟24，則記錄建立數(shù)據(jù)庫連接失敗日志后結(jié)束；步驟24，判斷是否需要將采集時(shí)間段進(jìn)行分拆，如果需要，則根據(jù)采集數(shù)據(jù)的元數(shù)據(jù)得到分拆粒度，將采集時(shí)間分成多個(gè)時(shí)間段，并算出每個(gè)時(shí)間段的開始和結(jié)束時(shí)間，進(jìn)入步驟25，否則直接進(jìn)入步驟25；步驟25，根據(jù)每個(gè)時(shí)間段的開始結(jié)束時(shí)間和元數(shù)據(jù)中的數(shù)據(jù)內(nèi)容、數(shù)據(jù)項(xiàng)、數(shù)據(jù)格式組織數(shù)據(jù)查詢請(qǐng)求，并得到記錄集；步驟26，根據(jù)文件命名規(guī)范生成文件名；步驟27，記錄日志，開始生成文件；步驟28，判斷記錄集是否打開成功、記錄集是否為空、記錄表數(shù)據(jù)保存為XML文件是否成功，當(dāng)記錄集打開成功，記錄集不為空，且記錄表數(shù)據(jù)保存為XML文件成功則進(jìn)入步驟29，其他情況均記錄失敗日志后結(jié)束流程；步驟29，記錄日志，生成文件完畢，結(jié)束流程。
全文摘要
本發(fā)明公開了一種網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的網(wǎng)管數(shù)據(jù)同步方法及網(wǎng)管數(shù)據(jù)同步系統(tǒng)，其中該系統(tǒng)包括采集數(shù)據(jù)的元數(shù)據(jù)設(shè)置及保存模塊，用于設(shè)置并保存采集數(shù)據(jù)的元數(shù)據(jù)，元數(shù)據(jù)以配置的方式保存，獨(dú)立于數(shù)據(jù)源系統(tǒng)；數(shù)據(jù)采集模塊，用于通過元數(shù)據(jù)建立數(shù)據(jù)采集的通信連接，并組織數(shù)據(jù)查詢請(qǐng)求執(zhí)行數(shù)據(jù)采集，同時(shí)還用于將數(shù)據(jù)源返回的查詢數(shù)據(jù)保存到臨時(shí)存儲(chǔ)區(qū)；數(shù)據(jù)過濾及保存模塊，用于對(duì)臨時(shí)存儲(chǔ)區(qū)的數(shù)據(jù)進(jìn)行清洗、過濾后保存。本發(fā)明由于元數(shù)據(jù)獨(dú)立于數(shù)據(jù)源系統(tǒng)，因此同時(shí)支持網(wǎng)管和網(wǎng)優(yōu)數(shù)據(jù)庫相同或不同的情況，而且設(shè)置了定時(shí)采集，不需人為的干預(yù)，同時(shí)數(shù)據(jù)補(bǔ)采對(duì)差異數(shù)據(jù)所在的范圍的數(shù)據(jù)進(jìn)行再次同步采集，保證了數(shù)據(jù)的完整性。
文檔編號(hào)G06F17/30GK1983952SQ20051013060
公開日2007年6月20日 申請(qǐng)日期2005年12月14日 優(yōu)先權(quán)日2005年12月14日
發(fā)明者胡鵬, 劉兵 申請(qǐng)人:中興通訊股份有限公司