適用于大容量分組傳送系統(tǒng)的自適應(yīng)消息處理系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機(jī)及通信領(lǐng)域，具體屬于一種適用于大容量分組傳送系統(tǒng)的自適應(yīng)消息處理系統(tǒng)。
【背景技術(shù)】
[0002]在大容量分組傳送系統(tǒng)中，都會存在管理大量通信設(shè)備，每個通信設(shè)備都存在復(fù)雜的模塊，其組成的傳輸網(wǎng)絡(luò)也會非常巨大及復(fù)雜，在極端情況下其會產(chǎn)生大規(guī)模的消息。這種場景的特點(diǎn)是消息數(shù)量大，來自大量網(wǎng)元設(shè)備及通信系統(tǒng)的消息并發(fā)程度大，不同消息在不同時間段內(nèi)的分布不均勻。這種情況下要求系統(tǒng)能夠應(yīng)對上述場景提供一個穩(wěn)定的通道，從而保證消息傳輸?shù)膶崟r性、準(zhǔn)確性和消息不丟失的可靠性。
[0003]大容量分組傳送系統(tǒng)是一個由多個分組傳輸網(wǎng)兀及系統(tǒng)構(gòu)成的網(wǎng)絡(luò)傳輸系統(tǒng)。在極端情況下，如大規(guī)模網(wǎng)絡(luò)升級，傳輸系統(tǒng)改造擴(kuò)容等，會在一個極短的時間段內(nèi)產(chǎn)生數(shù)量和規(guī)模巨大的消息風(fēng)暴，那么將對上層系統(tǒng)帶來如下問題。第一，如何設(shè)計一個穩(wěn)定的消息通道來保證極短時間內(nèi)發(fā)生的大量消息。第二，平時不發(fā)生極端情況下消息通道不占用過多資源。綜上所述，需要設(shè)計一個適用于大容量分組傳送系統(tǒng)的自適應(yīng)消息處理機(jī)制。
[0004]與本發(fā)明相關(guān)的現(xiàn)有技術(shù)的第一種方法所采用的實現(xiàn)方式是設(shè)計一個可人工配置的操作接口，當(dāng)發(fā)生極端情況的時候，通知操作人員，由操作人員手工修改參數(shù)調(diào)整消息通道，應(yīng)對突發(fā)事件。
[0005]如果采用上述第一種處理方式就會存在以下問題。首先，需要過多人工干預(yù)，需要人員一直值守，對于系統(tǒng)維護(hù)要求較高。其次，需要人工自己判斷，需要值守人員有較豐富的經(jīng)驗。最后，由于人工調(diào)整需要先人工分析，再輸入?yún)?shù)，最后調(diào)整，也許在極端情況下還沒有調(diào)整完成，消息通道就已經(jīng)崩潰，造成潛在風(fēng)險。
[0006]與本發(fā)明相關(guān)的現(xiàn)有技術(shù)第二種方法是，事先由人工設(shè)置一族配置參數(shù)，根據(jù)系統(tǒng)預(yù)設(shè)的條件，在不同條件發(fā)生的情況下應(yīng)用不同的配置參數(shù)。
[0007]如果采用上述第二種處理方式就會存在以下問題。首先，設(shè)置一族配置參數(shù)，參數(shù)應(yīng)該如何確定需要事先對網(wǎng)絡(luò)規(guī)模做估計，估計的準(zhǔn)確度很難保證。其次，若存在極端情況，沒有與預(yù)先設(shè)置的條件相匹配，則無法設(shè)置合理的參數(shù)。最后，如果網(wǎng)絡(luò)結(jié)構(gòu)發(fā)生變化，沒有預(yù)案與之對應(yīng)，則無法滿足條件。

【發(fā)明內(nèi)容】

[0008]本發(fā)明要解決的技術(shù)問題是:提供一種適用于大容量分組傳送系統(tǒng)的自適應(yīng)消息處理系統(tǒng)，解決了現(xiàn)有技術(shù)無法合理的調(diào)整消息通道的容量的問題。
[0009]本發(fā)明為解決上述技術(shù)問題所采取的技術(shù)方案為:一種適用于大容量分組傳送系統(tǒng)的自適應(yīng)消息處理系統(tǒng)，其特征在于:它包括消息通道管理模塊，用于管理消息通道，包括消息映射管理器、映射調(diào)整器和收發(fā)代理器；消息映射管理器用于建立消息與消息通道之間的對應(yīng)關(guān)系，一個消息通道可以傳輸多個不同的消息，一種消息只能被一個消息通道傳輸；映射調(diào)整器用于當(dāng)消息通道分類方案發(fā)生變化時調(diào)整映射關(guān)系；收發(fā)代理器用于消息接收方和消息發(fā)送方的代理通信；消息通道管理器用于創(chuàng)建、銷毀消息通道，供映射調(diào)整器調(diào)用；
消息通道統(tǒng)計模塊，用于統(tǒng)計消息流量狀況，生成統(tǒng)計模型，包括消息收集模塊、統(tǒng)計建模模塊和建模比較基準(zhǔn)模塊；其中信息收集模塊用于收集不同種類的消息在一段連續(xù)周期內(nèi)的流量情況；統(tǒng)計建模模塊用于按照設(shè)置的時間窗口，統(tǒng)計一個時間段內(nèi)每個時間窗口內(nèi)的每個消息的流量統(tǒng)計值；建模比較基準(zhǔn)模塊用于定期生成一個比較基準(zhǔn)和上一次的比較基準(zhǔn)比較，如果差異大過閾值，則更新比較基準(zhǔn)；
消息通道自適應(yīng)模塊，用于根據(jù)統(tǒng)計模型生成優(yōu)化的通道方案，并針對特殊情況調(diào)整優(yōu)化方案以及動態(tài)調(diào)整通道容量，包括通道分類器、通道容量調(diào)整器和自適應(yīng)學(xué)習(xí)器；其中通道分類器用于根據(jù)統(tǒng)計模型，將消息通過優(yōu)化算法調(diào)整到對應(yīng)的消息通道，進(jìn)行分類優(yōu)化，并通知映射調(diào)整器進(jìn)行調(diào)整；通道容量調(diào)整器用于在發(fā)生反常特殊情況時，上調(diào)消息通道的容量，在正常狀態(tài)下恢復(fù)消息通道到常規(guī)容量；自適應(yīng)學(xué)習(xí)器用于在比較基準(zhǔn)發(fā)生變化時通過通道分類器進(jìn)行自適應(yīng)調(diào)整。
[0010]按上述方案，所述的通道分類器中的優(yōu)化算法具體為:
1)將所有候選消息按優(yōu)先級分類:
按照消息優(yōu)先級對所有候選消息進(jìn)行分類，將優(yōu)先級相同的消息劃為一類，一個消息只有一個優(yōu)先級；
2)選擇消息:
從優(yōu)先級最高的分類里隨機(jī)選擇一種消息；
3)統(tǒng)計時間向量:
根據(jù)消息的統(tǒng)計模型，根據(jù)時間次序建立一個以時間為維度的向量，向量的值表示這個時段內(nèi)該消息的流量；
4)向量對比:
將這個向量與所有比當(dāng)前優(yōu)先級低一級的消息的向量一一對比，選取與這個向量歐氏距離最遠(yuǎn)的比當(dāng)前優(yōu)先級低一級的消息；
5)向量合并:
將步驟4)得到的2個向量合并，即將它們放入一個通道內(nèi)，合并后的新向量的值也就是這個通道目前各個時段的流量；
6)返回步驟4)繼續(xù)選擇優(yōu)先級再低一級的消息的向量，直到所有優(yōu)先級都選擇合并一遍，最終的通道作為消息通道，最終的消息通道對應(yīng)的向量值即為該消息通道在各個時段的流量；
7)將已經(jīng)選定消息通道的消息從候選消息集合中刪除，返回步驟2)，直到候選消息集合為空；
8)容量檢查與排序:
若消息通道分類里存在通道容量小于預(yù)設(shè)值，則按通道容量進(jìn)行由小到大的排序，將通道容量最小的兩個消息通道合并，直至消息通道分類里的通道容量均大于或等于預(yù)設(shè)值；所述的通道容量為最大的時間窗口。
[0011]按上述方案，所述的通道容量調(diào)整器包括: 狀態(tài)監(jiān)控模塊，用于監(jiān)控消息通道中的消息，當(dāng)消息出現(xiàn)了傳輸延時，則判斷出現(xiàn)了反常特殊情況，若無延時則為正常狀態(tài)；
容量增長模塊，用于在出現(xiàn)反常特殊情況時，根據(jù)預(yù)設(shè)的增長比率進(jìn)行增長，若達(dá)到增長上限則停止增長；
容量恢復(fù)模塊，用于當(dāng)恢復(fù)正常狀態(tài)時，按照預(yù)設(shè)的增長比率進(jìn)行遞減操作逐步恢復(fù)。
[0012]本發(fā)明的有益效果為:通過本發(fā)明系統(tǒng)，可以在復(fù)雜的大容量分組傳送系統(tǒng)中，由系統(tǒng)自己挖掘消息的統(tǒng)計規(guī)律，并根據(jù)系統(tǒng)自身情況優(yōu)化消息通道，組合并分配不同的消息在不同的消息通道內(nèi)有效利用消息通道在各個時間段內(nèi)的容量，并針對特殊情況，有系統(tǒng)自身對緊急情況下消息通道容量不夠的情況下，進(jìn)行緊急處理，保證系統(tǒng)的可用性，解決了現(xiàn)有技術(shù)無法合理的調(diào)整消息通道的容量的問題。
【附圖說明】
[0013]圖1為本發(fā)明一實施例的模塊關(guān)系圖。
[0014]圖2為通道分類算法流程圖。
[0015]圖3為通道容量調(diào)整算法流程圖。
【具體實施方式】
[0016]下面結(jié)合具體實例和附圖對本發(fā)明做進(jìn)一步說明。
[0017]本發(fā)明的設(shè)計思路為:系統(tǒng)中存在不同種類的消息，每一種消息在系統(tǒng)的優(yōu)先級是不同，原則上優(yōu)先級高的消息能夠優(yōu)先使用通道進(jìn)行傳輸。系統(tǒng)消息流量一般存在一定的統(tǒng)計規(guī)律，往往一種消息在不同時段的流量滿足一定的統(tǒng)計規(guī)律。因此，可以在一個消息通道里應(yīng)該允許幾種消息，這幾種消息若正好是在不同時段流量較大，這樣可以有效利用消息通道的容量。其中，統(tǒng)計規(guī)律是取平均值且是對歷史狀況的統(tǒng)計，那么不排除特殊情況的發(fā)生，此時系統(tǒng)也必須提供一種應(yīng)急措施，可以動態(tài)調(diào)整通道，處理突發(fā)事件。由此可知，設(shè)計系統(tǒng)的關(guān)鍵是兩點(diǎn)，第一，通過統(tǒng)計模型由系統(tǒng)自主找到一個消息通道的優(yōu)化方案；第二，針對突發(fā)事件系統(tǒng)能夠有預(yù)案動態(tài)調(diào)整通道，當(dāng)事件結(jié)束后能夠恢復(fù)到常態(tài)。
[0018]本發(fā)明提供一種適用于大容量分組傳送系統(tǒng)的自適應(yīng)消息處理系統(tǒng)，如圖1所示，它包括消息通道管理模塊，用于管理消息通道，包括消息映射管理器、映射調(diào)整器和收發(fā)代理器；消息映射管理器用于建立消息與消息通道之間的對應(yīng)關(guān)系，一個消息通道可以傳輸多個不同的消息，一種消息只能被一個消息通道傳輸；映射調(diào)整器用于當(dāng)消息通道分類方案發(fā)生變化時調(diào)整映射關(guān)系；收發(fā)代理器用于消息接收方和消息發(fā)送方的代理通信；消息通道管理器用于創(chuàng)建、銷毀消息通道，供映射調(diào)整器調(diào)用。消息接收方和消息發(fā)送方都是與一個代理通信，而代理根據(jù)消息映射關(guān)系，自動分配給消息通道傳輸，對于收發(fā)方是透明的。因為，消息和通道的對應(yīng)關(guān)系會隨著網(wǎng)絡(luò)結(jié)構(gòu)的變化而又系統(tǒng)自己調(diào)整，所以必須提供代理方式對使用者保持透明。
[0019]消息通道統(tǒng)計模塊，用于統(tǒng)計消息流量狀況，生成統(tǒng)計模型，包括消息收集模塊、統(tǒng)計建模模塊和建模比較基準(zhǔn)模塊；其中信息收集模塊用于收集不同種類的消息在一段連續(xù)周期內(nèi)的流量情況；統(tǒng)計建模模塊用于按照設(shè)置的時間窗口，統(tǒng)計一個時間段(如:天，小時等)內(nèi)每個時間窗口內(nèi)的每個消息的流量統(tǒng)計值；建模比較基準(zhǔn)模塊用于定期生成一個比較基準(zhǔn)和上一次的比較基準(zhǔn)比較，如果差異大過閾值，則更新比較基準(zhǔn)；其中，差異過大說明網(wǎng)絡(luò)結(jié)構(gòu)發(fā)生調(diào)整，因此更新比較基準(zhǔn)以適應(yīng)新的變化。
[0020]消息通道自適應(yīng)模塊，用于根據(jù)統(tǒng)計模型生成優(yōu)化的通道方案，并針對特殊情況調(diào)整優(yōu)化方案以及動態(tài)調(diào)整通道容量，包括通道分類器、通道容量調(diào)整器和自適應(yīng)學(xué)習(xí)器；其中通道分類器用于根據(jù)統(tǒng)計模型，將消息通過優(yōu)化算法調(diào)整到對應(yīng)的消息通道，進(jìn)行分類優(yōu)化，并通知映射調(diào)整器進(jìn)行調(diào)整；通道容量調(diào)整器用于在發(fā)生反常特殊情況時，上調(diào)消息通道的容