一種基于歸一化最小均方自適應(yīng)濾波的自適應(yīng)學(xué)習(xí)率小波神經(jīng)網(wǎng)絡(luò)控制方法
【專利摘要】本發(fā)明涉及小波神經(jīng)網(wǎng)絡(luò)優(yōu)化【技術(shù)領(lǐng)域】，特別涉及一種基于歸一化最小均方自適應(yīng)濾波的自適應(yīng)學(xué)習(xí)率小波神經(jīng)網(wǎng)絡(luò)控制方法。本發(fā)明包括:建立控制系統(tǒng)模型；將小波網(wǎng)絡(luò)的所有權(quán)值按層進(jìn)行單位化；小波神經(jīng)元權(quán)值優(yōu)化；求解誤差信號和訓(xùn)練代價；采用階梯函數(shù)對活化函數(shù)的導(dǎo)函數(shù)分段處理；制定擬合導(dǎo)函數(shù)的模糊規(guī)則；確定隸屬函數(shù)；確定每個模糊規(guī)則在導(dǎo)函數(shù)值中所占的比重；輸出模糊系統(tǒng)、線性化顯示活化函數(shù)；確定各神經(jīng)元的誘導(dǎo)局部域及神經(jīng)元輸出；求解各個局部梯度函數(shù)；輸出層自適應(yīng)調(diào)整學(xué)習(xí)率；確定輸出層學(xué)習(xí)率的范圍；隱層的學(xué)習(xí)率調(diào)節(jié)；訓(xùn)練神經(jīng)元突觸權(quán)值；輸出跟蹤控制信號；完成閉環(huán)反饋控制。本發(fā)明能夠加快收斂速度，減小計算復(fù)雜度。
【專利說明】一種基于歸一化最小均方自適應(yīng)濾波的自適應(yīng)學(xué)習(xí)率小波神經(jīng)網(wǎng)絡(luò)控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及小波神經(jīng)網(wǎng)絡(luò)優(yōu)化【技術(shù)領(lǐng)域】，特別涉及一種基于歸一化最小均方自適應(yīng)濾波的自適應(yīng)學(xué)習(xí)率小波神經(jīng)網(wǎng)絡(luò)控制方法。
【背景技術(shù)】
[0002]復(fù)雜系統(tǒng)多具有不確定性，其系統(tǒng)內(nèi)部的非線性函數(shù)是難以建立的，因此無法采用基于系統(tǒng)結(jié)構(gòu)的方法實現(xiàn)對復(fù)雜系統(tǒng)的跟蹤控制。而人工神經(jīng)網(wǎng)絡(luò)是由人工神經(jīng)元互聯(lián)而成的網(wǎng)絡(luò)系統(tǒng)，它從微觀結(jié)構(gòu)和功能上對人腦進(jìn)行了抽象和簡化，可以看作是一個由簡單處理單元構(gòu)成的規(guī)模宏大的高度并行處理器，天然具有存儲經(jīng)驗知識和使之可用的特性。神經(jīng)網(wǎng)絡(luò)與人腦的相似處在于，神經(jīng)網(wǎng)絡(luò)所獲取的知識是從外界環(huán)境學(xué)習(xí)而來，同時相互連接的神經(jīng)元間的連接權(quán)值用于存儲獲得的知識。在處理計算上，雖然每個處理單元的功能看似簡單，但大量簡單處理單元的并行活動使網(wǎng)絡(luò)在保證較快速度的前提下呈現(xiàn)出豐富的功能，加之神經(jīng)網(wǎng)絡(luò)的自適應(yīng)能力為解決復(fù)雜的非線性、不確定、不確知系統(tǒng)的問題開辟了新途徑，所以目前人工神經(jīng)網(wǎng)絡(luò)已受到非線性系統(tǒng)辨識與分析、控制系統(tǒng)和計算機(jī)等許多領(lǐng)域的青睞，并得到廣泛應(yīng)用。在神經(jīng)網(wǎng)絡(luò)的研究中，作為前向多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法的BP算法應(yīng)用最為廣泛，但其還存在一些缺陷，例如學(xué)習(xí)算法所得到的誤差是高維權(quán)向量的復(fù)雜非線性函數(shù)，易陷入局部極小值。小波神經(jīng)網(wǎng)絡(luò)(簡稱小波網(wǎng)絡(luò))是建立在小波分析理論基礎(chǔ)上的新型神經(jīng)網(wǎng)絡(luò)，在隱含層中采用小波函數(shù)代替?zhèn)鹘y(tǒng)神經(jīng)網(wǎng)絡(luò)函數(shù)作為激勵函數(shù)，并通過仿射變換建立起小波變換與網(wǎng)絡(luò)系數(shù)之間的連接，結(jié)合了小波分析和神經(jīng)網(wǎng)絡(luò)的優(yōu)點，具有很強(qiáng)的學(xué)習(xí)和泛化能力，在控制中具有靜態(tài)非線性映射以及動態(tài)處理的優(yōu)勢，使其在許多具有非線性、強(qiáng)耦合的復(fù)雜系統(tǒng)中也逐步被采納。然而目前小波網(wǎng)絡(luò)在復(fù)雜系統(tǒng)或大規(guī)模網(wǎng)絡(luò)中還存在跟蹤速度慢等問題。實際上這種問題是使用隨機(jī)梯度的算法在進(jìn)行權(quán)值迭代更新時普遍存在的，其研究成果主要體現(xiàn)在自適應(yīng)濾波中的最小均方自適應(yīng)濾波(LMS)及歸一化最小均方自適應(yīng)濾波(NLMS)，但在神經(jīng)網(wǎng)絡(luò)領(lǐng)域鮮有這類的研究成果。根據(jù)Simon Haykin的理論，LMS和NLMS都可視為建立一個簡單線性神經(jīng)元來設(shè)計未知動態(tài)系統(tǒng)的一個多輸入——單輸出模型。由此可知小波網(wǎng)絡(luò)是具有更復(fù)雜拓?fù)浣Y(jié)構(gòu)的自適應(yīng)濾波器，若對小波網(wǎng)絡(luò)施以改進(jìn)，則可使NLMS或LMS具有應(yīng)用在小波網(wǎng)絡(luò)中的可能。
[0003]LMS與NLMS在權(quán)值推導(dǎo)過程中的局限性主要表現(xiàn)在它們只適用于線性結(jié)構(gòu)，小波網(wǎng)絡(luò)的非線性活化函數(shù)會使這一過程變得十分復(fù)雜。而這一問題早已引起研究神經(jīng)網(wǎng)絡(luò)硬件實現(xiàn)的學(xué)者們的關(guān)注，其中學(xué)者Emilio Soria-Olivas在《A Low-Complexity FuzzyActivation Function for Artificial Neural Networks))中米用模糊理論對神經(jīng)網(wǎng)絡(luò)的活化函數(shù)進(jìn)行了局部線性回歸計算。而相比與傳統(tǒng)模糊算法，Takagi和Sugeno于1985年提出的T-S模糊模型的規(guī)則后件通常是輸入變量的線性函數(shù)，這樣每條規(guī)則就可以包含許多的信息，所以采用較少的規(guī)則便可達(dá)到控制效果，這就意味著可以使用相對簡單的方法來對非線性函數(shù)進(jìn)行回歸擬合。因此本發(fā)明采用T-S模糊模型對小波網(wǎng)絡(luò)的活化函數(shù)進(jìn)行局部線性回歸擬合，這種方法的結(jié)果與原函數(shù)具有很高的擬合精度，也從而克服了小波網(wǎng)絡(luò)復(fù)雜的非線性活化函數(shù)所帶來的計算困難。此外，小波網(wǎng)絡(luò)還存在多輸入多輸出以及多層拓?fù)浣Y(jié)構(gòu)的問題，這些問題使自適應(yīng)學(xué)習(xí)率不再像NLMS濾波器那樣可以獨立的調(diào)節(jié)，為此本發(fā)明提出一種基于NLMS的自適應(yīng)學(xué)習(xí)率小波網(wǎng)絡(luò)控制方法，從而在控制的初始階段降低了系統(tǒng)誤差，提高了控制過程的收斂速度和穩(wěn)定性。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于提供一種降低系統(tǒng)誤差，提高控制過程的收斂性和穩(wěn)定性，并減小計算復(fù)雜度，擺脫了原有固定學(xué)習(xí)率帶來的冗余困擾，避免了發(fā)散的問題，提高小波網(wǎng)絡(luò)在復(fù)雜系統(tǒng)控制中的跟蹤效率的一種基于歸一化最小均方自適應(yīng)濾波的自適應(yīng)學(xué)習(xí)率小波神經(jīng)網(wǎng)絡(luò)控制方法。
[0005]本發(fā)明的目的是這樣實現(xiàn)的:
[0006](I)建立控制系統(tǒng)模型:采用小波網(wǎng)絡(luò)對增強(qiáng)型PID控制器進(jìn)行參數(shù)整定，令小波網(wǎng)絡(luò)為MMO的多層反饋網(wǎng)結(jié)構(gòu)，各神經(jīng)元函數(shù)為活化函數(shù)，神經(jīng)網(wǎng)絡(luò)的狀態(tài)空間為:
r ? =^1-,+?_7] [Zi=^(WlMi)r
[0008]其中Wk為權(quán)值空間，Uk為網(wǎng)絡(luò)輸入，Zk為網(wǎng)絡(luò)輸出，Φ,為權(quán)值更新函數(shù)，Ψ (ffk, Uk)為參數(shù)化的非線性函數(shù)，小波網(wǎng)絡(luò)的權(quán)值空間為wk，將權(quán)值空間中的每個權(quán)值生成[-1，I]區(qū)間上均勻分布的隨機(jī)數(shù)；
[0009](2)取[-1，I ]區(qū)間上均勻分布的隨機(jī)數(shù)為權(quán)值初始值，并將小波網(wǎng)絡(luò)的所有權(quán)值按層進(jìn)行單位化；
[0010](3)小波神經(jīng)元權(quán)值優(yōu)化:以小波函數(shù)為激勵函數(shù)的神經(jīng)元為中心，將前后兩個網(wǎng)絡(luò)層中的權(quán)值分別與小波函數(shù)類型、神經(jīng)元個數(shù)進(jìn)行關(guān)聯(lián)，設(shè)第J層中的激勵函數(shù)為小波函數(shù)，1、K分別為J層前后的兩層，ffLM, Wmn為單位化后三層間的兩個權(quán)值矩陣，則將小波函數(shù)類型和神經(jīng)元個數(shù)與其關(guān)聯(lián)的表達(dá)式為:
[0011]Wu=Kj-Wu^i
[0012]Wjk=Kj-Wjk^ ^
[0013]其中Kj為常值；
[0014](4)引入訓(xùn)練樣本集{x (n), norm (η)}:依次輸入向量χ (I), χ (2)......χ(η),記錄網(wǎng)
絡(luò)輸出ζ (I)，ζ (2)……ζ (η)，求解誤差信號e (η)和訓(xùn)練代價ε (η):
[0015]e (η) = norm (η) -ζ (η)
/ , I ,,,
[0016]6-(/?) = -C- (/?)
[0017](5)采用階梯函數(shù)對活化函數(shù)的導(dǎo)函數(shù)分段處理:將函數(shù)分為M段，對活化函數(shù)進(jìn)行擬合，活化函數(shù)的每段的斜率對應(yīng)導(dǎo)數(shù)的函數(shù)值；
[0018](6)制定擬合導(dǎo)函數(shù)的模糊規(guī)則:T-S模型的輸入變量:

[X1 =X(W)
_9] X = [Xl^]^lx:=x(W)-r[0020]輸出量為導(dǎo)函數(shù)值k (η)，其模糊規(guī)則形式為:
[0021]R'.-1f Jc1 is Al andx, is Al1, then ^ = ptx{ + + η (/ = 1,2,...,c)
[0022]其中4和4表示第i條規(guī)則中的模糊集合，bm代表第m段(m= 1，2，...，M)的左邊界，Pi, Qi和A是模糊集合的常數(shù)；
[0023](7)確定隸屬函數(shù):釆用高斯型函數(shù)作為隸屬函數(shù)，各輸入變量Xj的隸屬度為:
【權(quán)利要求】
1.一種基于歸一化最小均方自適應(yīng)濾波的自適應(yīng)學(xué)習(xí)率小波神經(jīng)網(wǎng)絡(luò)控制方法，其特征在于，包括如下步驟: (1)建立控制系統(tǒng)模型:采用小波網(wǎng)絡(luò)對增強(qiáng)型PID控制器進(jìn)行參數(shù)整定，令小波網(wǎng)絡(luò)為MMO的多層反饋網(wǎng)結(jié)構(gòu)，各神經(jīng)元函數(shù)為活化函數(shù)，神經(jīng)網(wǎng)絡(luò)的狀態(tài)空間為:
Wk-wk_x^φ? 其中Wk為權(quán)值空間，Uk為網(wǎng)絡(luò)輸入，Zk為網(wǎng)絡(luò)輸出，Φ,為權(quán)值更新函數(shù)，V(wk，uk)為參數(shù)化的非線性函數(shù)，小波網(wǎng)絡(luò)的權(quán)值空間為wk，將權(quán)值空間中的每個權(quán)值生成[-1，I]區(qū)間上均勻分布的隨機(jī)數(shù)； (2)取[-1，I]區(qū)間上均勻分布的隨機(jī)數(shù)為權(quán)值初始值，并將小波網(wǎng)絡(luò)的所有權(quán)值按層進(jìn)行單位化； (3)小波神經(jīng)元權(quán)值優(yōu)化:以小波函數(shù)為激勵函數(shù)的神經(jīng)元為中心，將前后兩個網(wǎng)絡(luò)層中的權(quán)值分別與小波函數(shù)類型、神經(jīng)元個數(shù)進(jìn)行關(guān)聯(lián)，設(shè)第J層中的激勵函數(shù)為小波函數(shù)，1、K分別為J層前后的兩層，ffLM, Wmn為單位化后三層間的兩個權(quán)值矩陣，則將小波函數(shù)類型和神經(jīng)元個數(shù)與其關(guān)聯(lián)的表達(dá)式為:
Wij=Kj-Wi/^! Wjk=K,Wjk0， 其中Kj為常值； (4)引入訓(xùn)練樣本集{x(n), norm (η)}:依次輸入向量x (I), x (2)......χ (η),記錄網(wǎng)絡(luò)輸出ζ (I)，ζ (2)……ζ (η)，求解誤差信號e (η)和訓(xùn)練代價ε (η):
e (η) = norm (η) -ζ (η) (5)采用階梯函數(shù)對活化函數(shù)的導(dǎo)函數(shù)分段處理:將函數(shù)分為M段，對活化函數(shù)進(jìn)行擬合，活化函數(shù)的每段的斜率對應(yīng)導(dǎo)數(shù)的函數(shù)值； (6)制定擬合導(dǎo)函數(shù)的模糊規(guī)則:T-S模型的輸入變量:
1 1 2J [χ, =x(n)-bm 輸出量為導(dǎo)函數(shù)值k(n)，其模糊規(guī)則形式為:
R1I if Jc1 is A; andx, is Al, then Jci = ptx{ + +rf {i = 1,2, ?.,c) 其中4和a表示第i條規(guī)則中的模糊集合，bm代表第m段(m = 1，2，...，M)的左邊界，Ppqi和A是模糊集合的常數(shù)； (7)確定隸屬函數(shù):采用高斯型函數(shù)作為隸屬函數(shù)，各輸入變量\的隸屬度為: ,、f
μ(X7 J = exp - -:^j = I, 2,3； i = I, 2,… ' I ^ 式中分別為隸屬度函數(shù)的中心和寬度；(8)確定每個模糊規(guī)則在導(dǎo)函數(shù)值中所占的比重:每條模糊規(guī)則對于輸入量χ=[X1, X2]的適用度μ i及其激活度A為:
【文檔編號】G06N3/08GK103971163SQ201410195894
【公開日】2014年8月6日 申請日期:2014年5月9日 優(yōu)先權(quán)日:2014年5月9日
【發(fā)明者】袁贛南, 杜雪, 張瑤, 夏庚磊, 吳迪, 李旺, 賈韌鋒, 常帥 申請人:哈爾濱工程大學(xué)