一種基于回聲狀態(tài)網(wǎng)絡(luò)的預(yù)測(cè)方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及通信領(lǐng)域，尤其涉及一種基于回聲狀態(tài)網(wǎng)絡(luò)的預(yù)測(cè)方法及裝置。
【背景技術(shù)】
[0002] 人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡(jiǎn)寫為ANNs)也簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò) (NNs)或稱作連接模型（Connection Model),它是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分 布式并行信息處理的算法數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過(guò)調(diào)整內(nèi)部大量節(jié) 點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的，其特色在于信息的分布式存儲(chǔ)和并行 協(xié)同處理。在網(wǎng)絡(luò)模型與算法研究的基礎(chǔ)上，利用人工神經(jīng)網(wǎng)絡(luò)組成實(shí)際的應(yīng)用系統(tǒng)很多， 例如，完成某種信號(hào)處理或模式識(shí)別的功能、構(gòu)作專家系統(tǒng)、制成機(jī)器人、復(fù)雜系統(tǒng)控制等 等。
[0003] 其中，回聲狀態(tài)網(wǎng)絡(luò)（echo state network, ESN)作為一種新型的遞歸神經(jīng)網(wǎng)絡(luò)， 無(wú)論是建模還是學(xué)習(xí)算法，都已經(jīng)與傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)差別很大。ESN是一種新型的循環(huán) 網(wǎng)絡(luò)結(jié)構(gòu)與循環(huán)網(wǎng)絡(luò)學(xué)習(xí)方法，具有大規(guī)模的內(nèi)部神經(jīng)元，使得它具備良好的短期記憶能 力，在混沌時(shí)間序列預(yù)測(cè)任務(wù)中比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)要優(yōu)秀很多。如圖1所示，ESN網(wǎng)絡(luò)具有以 下特點(diǎn)：首先，它的核心結(jié)構(gòu)是一個(gè)隨機(jī)生成、且保持不變的動(dòng)態(tài)池 （Reservo ir );另外,它 輸出權(quán)值是唯一需要調(diào)整的部分；最后，它可以使用簡(jiǎn)單的線性回歸就可完成網(wǎng)絡(luò)的訓(xùn)練。
[0004] ESN網(wǎng)絡(luò)的核心結(jié)構(gòu)是一個(gè)"動(dòng)態(tài)池"。所謂的動(dòng)態(tài)池就是隨機(jī)生成的、大規(guī)模的、 稀疏連接的遞歸結(jié)構(gòu)。ESN是一種特殊類型的遞歸神經(jīng)網(wǎng)絡(luò)，其基本思想為使用大規(guī)模隨機(jī) 連接的遞歸網(wǎng)絡(luò)，取代經(jīng)典神經(jīng)網(wǎng)絡(luò)中的中間層，從而簡(jiǎn)化網(wǎng)絡(luò)的訓(xùn)練過(guò)程。
[0005] 雖然有大量的研究是關(guān)于如何獲得與具體問(wèn)題相關(guān)的"好"的動(dòng)態(tài)池，但是并沒(méi)有 形成一個(gè)系統(tǒng)的方法，多數(shù)研究?jī)H僅是從實(shí)驗(yàn)的角度進(jìn)行的，這也是目前ESN方法遇到的 最大的挑戰(zhàn)。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的實(shí)施例提供一種基于回聲狀態(tài)網(wǎng)絡(luò)的預(yù)測(cè)方法及裝置，通過(guò)生成若干小 世界和無(wú)標(biāo)度的動(dòng)態(tài)池組，改變了原有ESN網(wǎng)絡(luò)動(dòng)態(tài)池結(jié)構(gòu)的種類和拓?fù)浣Y(jié)構(gòu)，有效地提 高動(dòng)態(tài)池混沌特性，使其對(duì)非線性混沌時(shí)間系統(tǒng)產(chǎn)生更優(yōu)秀的預(yù)測(cè)效果。
[0007] 為達(dá)到上述目的，本發(fā)明的實(shí)施例采用如下技術(shù)方案：
[0008] 第一方面，本發(fā)明的實(shí)施例提供一種基于回聲狀態(tài)網(wǎng)絡(luò)的預(yù)測(cè)方法，所述回聲狀 態(tài)網(wǎng)絡(luò)ESN由輸入層、中間層和輸出層構(gòu)成，所述輸入層由X個(gè)輸入單元構(gòu)成，所述中間層 由Y個(gè)中間單元，所述Y個(gè)中間單元構(gòu)成第一動(dòng)態(tài)池，所述輸出層由Z個(gè)輸出單元構(gòu)成，其 中，所述輸入層與中間層之間設(shè)有連接矩陣Win，所述中間層的Y個(gè)中間單元之間設(shè)有第一 內(nèi)部矩陣W，所述輸出層與中間層之間設(shè)有反饋矩陣Wbadt，所述輸出層與所述ESN之間設(shè)有 連接矩陣Wtjut, X、Y、Z為大于0的整數(shù)，所述方法包括：
[0009] 建立第二動(dòng)態(tài)池，所述第二動(dòng)態(tài)池是根據(jù)復(fù)雜網(wǎng)絡(luò)理論建立的N個(gè)小世界動(dòng)態(tài)池 和Y個(gè)無(wú)標(biāo)度動(dòng)態(tài)池組成的，N和Y大于O ;
[0010] 將所述第一動(dòng)態(tài)池替換為所述第二動(dòng)態(tài)池，并使用側(cè)邊界抑制機(jī)制對(duì)所述第二動(dòng) 態(tài)池中的N個(gè)小世界動(dòng)態(tài)池和Y個(gè)無(wú)標(biāo)度動(dòng)態(tài)池進(jìn)行關(guān)聯(lián)；
[0011] 輸入指定長(zhǎng)度的訓(xùn)練集對(duì)所述第二動(dòng)態(tài)池進(jìn)行更新，進(jìn)而得到更新后的連接矩陣 Wout;
[0012] 根據(jù)更新后的Wrat使用以下公式進(jìn)行預(yù)測(cè)：
[0013] y(n+l)=f°ut(Xut(u(n+l), x(n+l), y(n)))，其中，u(n)為待預(yù)測(cè)的輸入數(shù)據(jù)，y(n) 為預(yù)測(cè)輸出數(shù)據(jù)，η為時(shí)間下標(biāo)，y(n+l)為下一時(shí)刻的輸出數(shù)據(jù)。
[0014] 在第一方面的第一種可能的實(shí)現(xiàn)方式中，所述建立小世界動(dòng)態(tài)池，包括：
[0015] 獲取A個(gè)神經(jīng)元，并連接成一個(gè)最近鄰耦合網(wǎng)絡(luò)，所述最近鄰耦合網(wǎng)絡(luò)中的每個(gè) 神經(jīng)元都與其左右鄰接的k/2個(gè)神經(jīng)元相連，k為偶數(shù)，A大于1 ;
[0016] 以概率P (0〈P〈1)隨機(jī)選取兩個(gè)神經(jīng)元并在所述兩個(gè)神經(jīng)元之間進(jìn)行加邊處理， 以使得兩個(gè)不同的神經(jīng)元之間最多只能存在一條邊，并且每個(gè)神經(jīng)元不能形成自環(huán)；
[0017] 建立鄰接矩陣Wnw，所述Wnw表示各個(gè)神經(jīng)元的拓?fù)浣Y(jié)構(gòu)，所述W nw中的元素非零則 表示有邊連接；
[0018] 將Wnw中的非零元素替換為[-1，1]上的隨機(jī)取值，生成第二內(nèi)部矩陣A。
[0019] 在第一方面的第二種可能的實(shí)現(xiàn)方式中，所述建立無(wú)標(biāo)度動(dòng)態(tài)池，包括：
[0020] 根據(jù)預(yù)設(shè)算法依次獲取B個(gè)神經(jīng)元，B大于1，其中，一個(gè)新引入的神經(jīng)元與一個(gè)已 經(jīng)存在的神經(jīng)元i相連接的概率Pi的關(guān)系如下公式：
[0021]
其中，ki為神經(jīng)元i的度，kj為神經(jīng)元j的度；
[0022] 建立鄰接矩陣Wba，所述Wba表示各個(gè)神經(jīng)元的拓?fù)浣Y(jié)構(gòu)，所述W ba中的元素非零則 表示有邊連接；
[0023] 將Wba中的非零元素替換為[-1，1]上的隨機(jī)取值，生成第三內(nèi)部矩陣W 2。
[0024] 在第一方面的第三種可能的實(shí)現(xiàn)方式中，所述使用側(cè)邊界抑制機(jī)制對(duì)所述第二動(dòng) 態(tài)池中的N個(gè)小世界動(dòng)態(tài)池和N個(gè)無(wú)標(biāo)度動(dòng)態(tài)池進(jìn)行關(guān)聯(lián)，包括：
[0025] 引入預(yù)置的預(yù)測(cè)算子P，根據(jù)所述^和^生成第四內(nèi)部矩陣Wkp，以使得所述N個(gè) 小世界動(dòng)態(tài)池和N個(gè)無(wú)標(biāo)度動(dòng)態(tài)池相互關(guān)聯(lián)；或者，
[0026] 引入預(yù)置前向算子z，根據(jù)所述W1和W2生成第五內(nèi)部矩陣WMaxInf。，以使得所述N個(gè) 小世界動(dòng)態(tài)池和N個(gè)無(wú)標(biāo)度動(dòng)態(tài)池相互關(guān)聯(lián)。
[0027] 在第一方面的第四種可能的實(shí)現(xiàn)方式中，所述輸入指定長(zhǎng)度的訓(xùn)練集對(duì)所述第二 動(dòng)態(tài)池進(jìn)行更新，進(jìn)而得到更新后的連接矩陣Wwt，包括：
[0028] 根據(jù)所述ESN中間層的中間單元的數(shù)量輸入指定長(zhǎng)度的訓(xùn)練集；
[0029] 按照以下公式對(duì)所述第二動(dòng)態(tài)池進(jìn)行更新：
[0030] X(n+1) =f (Winii(n+1) +Wx(n) +Wbadj(η))，其中，u(η)為輸入的訓(xùn)練集數(shù)據(jù)，y(η)為 輸出數(shù)據(jù)，η為時(shí)間下標(biāo)，W為WMaxInf?；騑kp ;
[0031] 按照以下公式計(jì)算更新后的連接矩陣Wwt :
[0032] (Wwt)tIiT1T,其中，N為所述輸入單元、中間單元和輸出單元的聯(lián)合狀態(tài)矩陣，T為 訓(xùn)練集已知的輸出數(shù)據(jù)。
[0033] 第二方面，本發(fā)明的實(shí)施例提供一種基于回聲狀態(tài)網(wǎng)絡(luò)的預(yù)測(cè)裝置，所述回聲狀 態(tài)網(wǎng)絡(luò)ESN由輸入層、中間層和輸出層構(gòu)成，所述輸入層由X個(gè)輸入單元構(gòu)成，所述中間層 由Y個(gè)中間單元，所述Y個(gè)中間單元構(gòu)成第一動(dòng)態(tài)池，所述輸出層由Z個(gè)輸出單元構(gòu)成，其 中，所述輸入層與中間層之間設(shè)有連接矩陣Win，所述中間層的Y個(gè)中間單元之間設(shè)有第一 內(nèi)部矩陣W，所述輸出層與中間層之間設(shè)有反饋矩陣Wbadt，所述輸出層與所述ESN之間設(shè)有 連接矩陣Wtjut, X、Y、Z為大于0的整數(shù)，所述裝置包括：
[0034] 獲取模塊，用于建立第二動(dòng)態(tài)池，所述第二動(dòng)態(tài)池是根據(jù)復(fù)雜網(wǎng)絡(luò)理論建立的N 個(gè)小世界動(dòng)態(tài)池和Y個(gè)無(wú)標(biāo)度動(dòng)態(tài)池組成的，N和Y大于0 ;
[0035] 關(guān)聯(lián)模塊，用于將所述第一動(dòng)態(tài)池替換為所述第二動(dòng)態(tài)池，并使用側(cè)邊界抑制機(jī) 制對(duì)所述第二動(dòng)態(tài)池中的N個(gè)小世界動(dòng)態(tài)池和Y個(gè)無(wú)標(biāo)度動(dòng)態(tài)池進(jìn)行關(guān)聯(lián)；
[0036] 訓(xùn)練模塊，用于輸入指定長(zhǎng)度的訓(xùn)練集對(duì)所述第二動(dòng)態(tài)池進(jìn)行更新，進(jìn)而得到更 新后的連接矩陣Wtjut;
[0037] 預(yù)測(cè)模塊，用于根據(jù)更新后的Wrat使用以下公式進(jìn)行預(yù)測(cè)：
[0038] y(n+l)=f°ut(Xut(u(n+l), x(n+l), y(n)))，其中，u(n)為待預(yù)測(cè)的輸入數(shù)據(jù)，y(n) 為預(yù)測(cè)輸出數(shù)據(jù)，η為時(shí)間下標(biāo)，y(n+l)為下一時(shí)刻的輸出數(shù)據(jù)。
[0039] 在第二方面的第一種可能的實(shí)現(xiàn)方式中，
[0040] 所述獲取模塊，具體用于獲取A個(gè)神經(jīng)元，并連接成一個(gè)最近鄰耦合網(wǎng)絡(luò)，所述最 近鄰耦合網(wǎng)絡(luò)中的每個(gè)神經(jīng)元都與其左右鄰接的k/2個(gè)神經(jīng)元相連，k為偶數(shù)，A大于1 ; 以概率P (〇〈Ρ〈1)隨機(jī)選取兩個(gè)神經(jīng)元并在所述兩個(gè)神經(jīng)元之間進(jìn)行加邊處理，以使得兩 個(gè)不同的神經(jīng)元之間最多只能存在一條邊，并且每個(gè)神經(jīng)元不能形成自環(huán)；建立鄰接矩陣 Wnw,所述Wnw表示各個(gè)神經(jīng)元的拓?fù)浣Y(jié)構(gòu),所述Wnw中的元素非零則表示有邊連接；將W nw中 的非零元素替換為[_1，1]上的隨機(jī)取值，生成第二內(nèi)部矩陣Wp
[0041] 在第二方面的第二種可能的實(shí)現(xiàn)方式中，
[0042] 所述獲取模塊，具體用于根據(jù)預(yù)設(shè)算法依次獲取B個(gè)神經(jīng)元，B大于1，其中，一個(gè) 新引入的神經(jīng)元與一個(gè)已經(jīng)存在的神經(jīng)元i相連接的概率Pi的關(guān)系如下公式： J
其中，h為神經(jīng)元i的度，kj為神經(jīng)元j的度；建立鄰接矩陣Wba，所述Wba表示各個(gè)神經(jīng)元 的拓?fù)浣Y(jié)構(gòu)，所述Wba中的元素非零則表示有邊連接；將Wba中的非零元素替換為[-1，1]上 的隨機(jī)取值，生成第三內(nèi)部矩陣W2。
[0043] 在第二方面的第三種可能的實(shí)現(xiàn)方式中，
[0044] 所述關(guān)聯(lián)模塊，用于引入預(yù)置的預(yù)測(cè)算子P，根據(jù)所述^和^生成第四內(nèi)部矩陣 Wkp，以使得所述N個(gè)小世界動(dòng)態(tài)池和N個(gè)無(wú)標(biāo)度動(dòng)態(tài)池相互關(guān)聯(lián)；或者，引入預(yù)置前向算子 z，根據(jù)所述W1和W2生成第五內(nèi)部矩陣WMaxInf。，以使得所述N個(gè)小世界動(dòng)態(tài)池和N個(gè)無(wú)標(biāo)度 動(dòng)態(tài)池相互關(guān)聯(lián)。
[0045] 在第二方面的第四種可能的實(shí)現(xiàn)方式中，