ut。
[0080] 具體的，在預測裝置使用側邊界抑制機制對所述第二動態(tài)池中的N個小世界動態(tài) 池和N個無標度動態(tài)池進行關聯(lián)之后，預測裝置對已經(jīng)初步建立的預測模型進行訓練，首 先，預測裝置輸入指定長度的訓練集，所述訓練集的長度要和所述ESN中間層的中間單元 的數(shù)量相適應；進而按照以下公式對所述第二動態(tài)池進行更新：
[0081] X(n+l)=f (WinII(n+1)+Wx(n)+WbadJ(η))，其中，u(η)為輸入的訓練集數(shù)據(jù)，y (η)為 輸出數(shù)據(jù)，η為時間下標，W為WMaxInf。或WKP。
[0082] 最后，預測裝置按照以下公式計算更新后的連接矩陣Wwt :
[0083] (Wwt) tIiT1T,其中，N為所述輸入單元、中間單元和輸出單元的聯(lián)合狀態(tài)矩陣，T為 訓練集已知的輸出數(shù)據(jù)。
[0084] 進一步地，當M為中間單元的狀態(tài)矩陣時，獲取M的方法可以為：預測裝置將輸入 訓練序列將前TO個時間單位數(shù)據(jù)丟棄，若輸入為K維，中間層為N*N維，輸出層為L維，則 獲得M矩陣為（T-T0+1) * (K+N+L)維矩陣。
[0085] 至此，通過替換原有的第一動態(tài)池以及對第二動態(tài)池的訓練，獲得Wwt。
[0086] 104、預測裝置根據(jù)更新后的Wrat使用以下公式進行預測：y (n+1) =f°ut (Wrat (u (n+1 )^(11+1)，7(11)))，其中，11(11)為待預測的輸入數(shù)據(jù)，7(11)為預測輸出數(shù)據(jù)，11為時間下標， y(n+l)為下一時刻的輸出數(shù)據(jù)。
[0087] 具體的，如圖3所示，通過步驟101至104建立了完整的一種基于回聲狀態(tài)網(wǎng)絡的 預測模型，通過增加 ESN回聲狀態(tài)網(wǎng)絡動態(tài)池的混沌性，增加 ESN網(wǎng)絡動態(tài)池結構的種類， 對動態(tài)池進行交叉反饋拓撲，可以有效提高ESN網(wǎng)絡的預測性能，提高預測精度，更好地滿 足網(wǎng)絡流量方面預測的需要。
[0088] 此外，本實施例采用數(shù)據(jù)中心采集的現(xiàn)實數(shù)據(jù)，通過預測表明該方法可以有效地 解決網(wǎng)絡流量預測的現(xiàn)實問題，可以在該方面產(chǎn)生很好的應用。
[0089] 以上實施例是以網(wǎng)絡流量預測為例說明的本發(fā)明的非線性系統(tǒng)的預測方法，但本 發(fā)明不限于網(wǎng)絡流量預測，比如網(wǎng)絡分詞或者聚類算法，都可以使用該方法，做法和上述實 施例類似，此處不再贅述。
[0090] 本發(fā)明的實施例提供一種基于回聲狀態(tài)網(wǎng)絡的預測方法，通過建立第二動態(tài)池， 所述第二動態(tài)池是根據(jù)復雜網(wǎng)絡理論建立的N個小世界動態(tài)池和N個無標度動態(tài)池組成 的，N大于0 ;將所述第一動態(tài)池替換為所述第二動態(tài)池，并使用側邊界抑制機制對所述第 二動態(tài)池中的N個小世界動態(tài)池和N個無標度動態(tài)池進行關聯(lián)；輸入指定長度的訓練集對 所述第二動態(tài)池進行更新，進而得到更新后的連接矩陣Wwt ;根據(jù)更新后的Wrat使用以下公 式進行預測：7〇1+1)=^(11(11+1)4(11+1)，7(11)))，其中，11(11)為待預測的輸入數(shù)據(jù)， y(n)為預測輸出數(shù)據(jù)，η為時間下標，y(n+l)為下一時刻的輸出數(shù)據(jù)。該方案通過生成若 干小世界和無標度的動態(tài)池組，代替原有ESN中的動態(tài)池，進而改變了原有ESN網(wǎng)絡動態(tài)池 結構的種類和拓撲結構，有效地提高動態(tài)池混沌特性，使其對非線性混沌時間系統(tǒng)產(chǎn)生更 優(yōu)秀的預測效果。
[0091] 實施例二
[0092] 本發(fā)明的實施例提供一種基于回聲狀態(tài)網(wǎng)絡的預測方法，如圖4所示，包括：
[0093] 201、預測裝置建立標準ESN回聲狀態(tài)網(wǎng)絡預測模型。
[0094] 具體的，預測裝置可以建立典型三層ESN回聲狀態(tài)網(wǎng)絡，分別為輸入層、輸出層和 中間層。輸入層由輸入單元組成，作為該ESN網(wǎng)絡的輸入，若有K個輸入單元，該ESN網(wǎng)絡 的輸入維度為K ;輸出層由輸出單元組成，輸出預測的結果，若輸出層輸出單元為L個，即該 ESN網(wǎng)絡的輸出維度為L。中間層由中間單元組成，若有N個中間單元，輸入層與中間層單 元相互連接構成K*N的連接矩陣Win，全部三層ESN與輸出層相互連接構成（K+N+L)*L的連 接矩陣Wtjut ;輸入層與中間層連接構成（L*N)的反饋矩陣Wbadt。
[0095] 中間層的中間單元相互連接構成N*N的第一內部矩陣W，即第一動態(tài)池，該矩陣表 示中間單元的拓撲及相互的連接情況，中間層中間單元數(shù)量應大約為訓練序列長度的10%。 矩陣W為稀疏矩陣，矩陣每一個單元都為（-1，1)之間的值，該矩陣的特征值應小于1，這樣 可以保證狀態(tài)值得阻尼性衰減，使預測結果不受中間單元初始狀態(tài)的影響，矩陣W可以按 照公式W=a(W/| λ_|)變形，其中λ_為矩陣W中最大的特征值，a為該矩陣的譜半徑，譜 半徑的值越小，該狀態(tài)矩陣衰減越迅速，譜半徑的值應保持在（〇, 1)之間，這樣就使矩陣滿 足了阻尼衰減性。
[0096] 在整個ESN網(wǎng)絡訓練過程中，Win、Wbaek、W都是固定不變的，變化的只有W tjut,通過訓 練計算出訓練后的Wwt，從而獲得預測輸入序列。三層標準的ESN所形成的各矩陣具體維數(shù) 見表1。
[0097] 表 1
[0098]
[0099] 202、預測裝置建立第二動態(tài)池，所述第二動態(tài)池是根據(jù)復雜網(wǎng)絡理論建立的N個 小世界動態(tài)池和Y個無標度動態(tài)池組成的。
[0100] 其中，小世界和無標度特性是現(xiàn)實復雜網(wǎng)絡的基本特性，本發(fā)明實施例提供的基 于回聲狀態(tài)網(wǎng)絡的預測方法將小世界和無標度特性引入回聲狀態(tài)網(wǎng)絡的動態(tài)池結構設計 當中，使得回聲狀態(tài)網(wǎng)絡對于現(xiàn)實中非線性混沌復雜網(wǎng)絡的模擬能力更強。
[0101] 具體的，生成的小世界動態(tài)池權重矩陣為Wnw，生成小世界動態(tài)池的方法如下：
[0102] 步驟1 :預測裝置將A個神經(jīng)元連接成一個最近鄰耦合網(wǎng)絡，也即將他們連接成一 個環(huán)，環(huán)內的每個神經(jīng)元都與其左右鄰接的k/2個神經(jīng)元相連，其中k為偶數(shù)，A大于1。
[0103] 步驟2 :預測裝置以概率P (0〈ρ〈1)隨機選取兩個神經(jīng)元并在它們之間加邊。進行 加邊的同時保證任兩個不同的神經(jīng)元之間最多只能存在一條邊，并且每個神經(jīng)元不能形成 自環(huán)。
[0104] 第三步：預測裝置可以用一個鄰接矩陣Wnw來描述該動態(tài)池的拓撲結構，W nw中的元 素非零則表示有邊連接。將Wnw中的非零元素替換為[_1，1]上的隨機取值，形成第二內部 矩陣W1，進而獲得由A個神經(jīng)元按照一定規(guī)則連接的小世界動態(tài)池。
[0105] 相應的，生成的無標度動態(tài)池權重矩陣為Wba，生成無標度動態(tài)池的方法如下：
[0106] 第一步：預測裝置從一個具有Hitl個神經(jīng)元的小網(wǎng)絡開始，每次添加一個新的神經(jīng) 元進入動態(tài)池，并且連接到當前m個已經(jīng)存在的神經(jīng)元上,其中m < IV直到動態(tài)池中存在 B個神經(jīng)元,停止該算法。
[0107] 第二步：在添加一個新的神經(jīng)元進入動態(tài)池時，一個新引入的神經(jīng)元與一個已經(jīng) 存在的神經(jīng)元i相連接的概率Pi的關系如下公式：
[0108]
，其中，ki為神經(jīng)元i的度，kj為神經(jīng)元j的度；
[0109] 第三步：預測裝置可以用一個鄰接矩陣Wba來描述該動態(tài)池的拓撲結構，W ba中的非 零元素表示有邊連接。將Wba中的非零元素替換為[_1，1]上的隨機取值，形成第三內部矩 陣W2，進而獲得由B個神經(jīng)元按照一定規(guī)則連接的無標度動態(tài)池。
[0110] 至此，預測裝置建立第二動態(tài)池，所述第二動態(tài)池包含有若干小世界動態(tài)池和無 標度動態(tài)池。
[0111] 203、預測裝置將所述第一動態(tài)池替換為所述第二動態(tài)池，并使用側邊界抑制機制 生成小世界和無標度動態(tài)池組之間的連接方式。
[0112] 具體的，在預測裝置建立第二動態(tài)池之后，將生成的小世界動態(tài)池和無標度動態(tài) 組替換原有的動態(tài)池，此時動態(tài)池中各個小世界動態(tài)或無標度動態(tài)之間相互獨立，進而預 測裝置使用側邊界抑制機制對所述第二動態(tài)池中的N個小世界動態(tài)池和Y個無標度動態(tài)池 進行關聯(lián)，得到新生成的第二動態(tài)池的內部矩陣，代替原有第一動態(tài)池中的第一內部矩陣 I
[0113] 進一步地，預測裝置可以通過多種方案將生成的小世界和無標度動態(tài)池連接起 來，使原本獨立的動態(tài)池單元具有合作機制。在此我們給出兩種可行的優(yōu)選方案：
[0114] 方案1 :帶有動態(tài)池預測的連接方案。
[0115] 具體的，在帶有動態(tài)池預測的連接方案中預測裝置引入預置的預測算子P，使第 i個動態(tài)池中神經(jīng)元節(jié)點狀態(tài)更新時將利用其余的動態(tài)池內部狀態(tài)預更新一次。
[0116] 這時預測裝置可以用一個鄰接矩陣WRP來描述該連接方式，Wkp是對稱陣，主對角 線上是生成的小世界動態(tài)池 Wnw和無標度動態(tài)池 Wba,其余元素是矩陣-I/(K-I)* P *1, I為 單位陣，K為小世界和無標度動態(tài)池的總數(shù)目。Wkp的表達式如下：
[0117]
[0118] 其中P為預測算子即：
[0119]
[0120] Wi 為第 i 個動態(tài)池，R=V(N-I)。
[0121] 方案2 :帶有最大信息量的連接方案。
[0122] 具體的，在帶有最大信息量的連接方案中預測裝置引入一個預置前向算子z，設 xl(n-l)表示第一個動態(tài)池的內部狀態(tài)矢量，則z*xl(n-l)=xl(n)，它使得第i個動態(tài)池內 部狀態(tài)更新時利用它前面i-Ι個動態(tài)池當前內部狀態(tài)值。這時預測裝置可以用一個鄰接矩 陣WMaxInf。描述該連接方式，WMaxInf。主對角線上是生成的小世界動態(tài)Wnw和無標度動態(tài)池 Wba。 Wsfalnf。是非對稱陣，上三角元素是單位陣-1ΛΚ-1)*Ι，下三角元素是-1ΛΚ-1)*Ζ*Ι，I為單 位陣。wMaxIn