基于drvb-asckf的svr參數(shù)優(yōu)化方法
【專利摘要】本發(fā)明涉及一種基于DRVB-ASCKF的SVR參數(shù)優(yōu)化方法，本發(fā)明大體包括三部分內(nèi)容。第一部分根據(jù)實(shí)際支持向量回歸（SVR）的參數(shù)優(yōu)化問題進(jìn)行系統(tǒng)建模；第二部分簡述變分貝葉斯自適應(yīng)平方容積卡爾曼濾波（VB-ASCKF)；第三部分結(jié)合VB-ASCKF引出雙重遞歸變分貝葉斯自適應(yīng)卡爾曼濾波方法（DRVB-ASCKF），并最終求得狀態(tài)估計(jì)，估計(jì)誤差協(xié)方差，觀測噪聲協(xié)方差，過程噪聲協(xié)方差以及Inv-Gamma分布參數(shù)和。因此，可以將DRVB-ASCKF應(yīng)用于SVR的參數(shù)優(yōu)化中，該方法具有較高的濾波精度，同時(shí)它也可以處理噪聲方差的不確定問題。
【專利說明】基于DRVB-ASCKF的SVR參數(shù)優(yōu)化方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于非線性系統(tǒng)的模式識別領(lǐng)域，特別涉及一種基于雙重遞歸變分貝葉斯 的自適應(yīng)平方容積卡爾曼濾波（DRVB-ASCKF)方法。

【背景技術(shù)】
[0002] 支持向量回歸（SVR)是一類基于統(tǒng)計(jì)學(xué)理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原則的機(jī)器學(xué)習(xí)算 法，可用于解決針對小樣本、非線性和高維參數(shù)的預(yù)測問題，因此它具有較好的泛化功能。 由于SVR的性能在很大程度上取決于系統(tǒng)參數(shù)的選擇，因此提高SVR模型性能的關(guān)鍵就在 于相關(guān)參數(shù)的優(yōu)化。
[0003] 解決上述不確定參數(shù)優(yōu)化問題的傳統(tǒng)方法是利用自適應(yīng)濾波方法，其中模型參數(shù) 或噪聲統(tǒng)計(jì)特性可以與動(dòng)態(tài)狀態(tài)一同估計(jì)獲得。變分貝葉斯（VB)可用于實(shí)現(xiàn)狀態(tài)和未知 觀測噪聲方差的同步估計(jì)。目前一種高精度的變分貝葉斯自適應(yīng)卡爾曼濾波算法即通過VB 方法來近似狀態(tài)和觀測噪聲的聯(lián)合后驗(yàn)分布，可通過因式分解自由分布形式來獲得狀態(tài)和 觀測噪聲協(xié)方差的次優(yōu)同步估計(jì)，但是它只能應(yīng)用于線性系統(tǒng)。隨后，變分貝葉斯自適應(yīng)無 味卡爾曼濾波（VB-UKF)的引入解決了帶有未知觀測噪聲協(xié)方差的非線性估計(jì)問題。而后， 研究發(fā)現(xiàn)平方容積卡爾曼濾波（SCKF)較之于（UKF)具有較高的估計(jì)性能。因此，通過變分 貝葉斯自適應(yīng)平方容積卡爾曼濾波（VB-ASCKF)來估計(jì)SVR參數(shù)可以獲得更高的濾波精度 和較強(qiáng)的魯棒性。上述方法缺乏全局優(yōu)化特性且優(yōu)化效率較低，并且在實(shí)際系統(tǒng)中，噪聲統(tǒng) 計(jì)特性往往未知，由于過程噪聲和測量噪聲間存在著某種函數(shù)關(guān)系，因此我們對VB-ASCKF 進(jìn)行了改進(jìn)。


【發(fā)明內(nèi)容】

[0004] 針對上述問題，本發(fā)明提出了雙重遞歸變分貝葉斯自適應(yīng)卡爾曼濾波方法 (DRVB-ASCKF)，本發(fā)明大體包括三部分內(nèi)容：第一部分根據(jù)實(shí)際情況中的支持向量回歸 (SVR)的參數(shù)優(yōu)化問題進(jìn)行系統(tǒng)建模；第二部分簡述變分貝葉斯自適應(yīng)平方容積卡爾曼濾 波（VB-ASCKF);第三部分結(jié)合VB-ASCKF引出DRVB-ASCKF，并最終求得狀態(tài)估計(jì)估計(jì) 誤差協(xié)方差Pklk，觀測噪聲協(xié)方差4，過程噪聲協(xié)方差0以及Inv-Gamma分布參數(shù)Cik和 3k。
[0005] 本發(fā)明可以優(yōu)化等得到一個(gè)動(dòng)態(tài)全局性的SVR估計(jì)參數(shù)。該方法具有較高的濾波 精度，同時(shí)它也可以處理噪聲方差的不確定問題，此外，如果函數(shù)間關(guān)系不確定，該方法也 仍舊可以獲得一個(gè)較高的參數(shù)估計(jì)精度。

【專利附圖】

【附圖說明】
[0006] 圖1為觀測噪聲和過程噪聲的估計(jì)流程圖；
[0007] 圖2為DRVB-ASCKF的流程圖。

【具體實(shí)施方式】
[0008] 下面首先根據(jù)實(shí)際情況中的SVR參數(shù)優(yōu)化問題建立系統(tǒng)模型，而后簡要經(jīng)分析 VB-ASCKF，最后基于該方法并改進(jìn)提出了 DRVB-ASCKF，使得最終系統(tǒng)可以獲得一個(gè)基于全 局性的SVR參數(shù)動(dòng)態(tài)估計(jì)值。下面詳細(xì)介紹本發(fā)明的實(shí)施過程。
[0009] 步驟1.系統(tǒng)建模：
[0010] 由于支持向量回歸（SVR)的性能在很大程度上取決于系統(tǒng)參數(shù)選擇，因此提高 SVR模型性能的關(guān)鍵就在于相關(guān)參數(shù)的優(yōu)化。現(xiàn)將SVR的系統(tǒng)選擇問題轉(zhuǎn)換為非線性系統(tǒng) 狀態(tài)估計(jì)問題，并建立非線性狀態(tài)空間模型如下：

【權(quán)利要求】
1.基于DRVB-ASCKF的SVR參數(shù)優(yōu)化方法，其特征在于該方法包括以下步驟： 步驟1.系統(tǒng)建模： 將支持向量回歸的系統(tǒng)選擇問題轉(zhuǎn)換為非線性系統(tǒng)狀態(tài)估計(jì)問題，并建立非線性狀態(tài) 空間模型如下：
式中，k為時(shí)間參數(shù)，超參數(shù)XkeΓ是狀態(tài)向量；ykeΓ是非線性觀測向量，其中初 始狀態(tài)具有一個(gè)高斯先驗(yàn)分布yc)?NO%Ptl)，假設(shè)已知初始狀態(tài)先驗(yàn)分布的參數(shù)Hitl和Ptl ; 非線性函數(shù)h( ·)是觀測函數(shù)；Vk?N(0,Qk)是具有協(xié)方差矩陣的高斯過程噪聲；Wk? N(0,Σ,)，Qk是具有對角協(xié)方差Σ,的觀測噪聲； 步驟2.變分貝葉斯自適應(yīng)平方容積卡爾曼濾波 (2. 1)時(shí)間更新： 1) 估計(jì)容積點(diǎn)Xilrtllrt和傳播后的容積點(diǎn)乂u(/ = 1,2,···,/η):
式中，為k-Ι時(shí)刻的狀態(tài)估計(jì)；Slrtllrt能在第k-Ι個(gè)狀態(tài)估計(jì)期間在線得出；
2) 估計(jì)一步狀態(tài)預(yù)測·％^^及其協(xié)方差的平方根因子 Sk-ilk-i:
式中*是含4的平方根；Tria( ·)是Cholesky分解； 3) 估計(jì)對角協(xié)方差Σ,的預(yù)測參數(shù) α k，iIk-I和P k，iIk-I ; (2· 2)觀測更新： 1) 估計(jì)觀測預(yù)測值A(chǔ)m:
式中，Yullrt是傳播后的容積點(diǎn)； 2) 估計(jì)協(xié)方差預(yù)測值PxUllrt ; 3) 迭代初始化，即令j=O并給定迭代次數(shù)N; 4) 估計(jì)觀測噪聲的協(xié)方差句:； 5) 估計(jì)更新協(xié)方差預(yù)測的平方根; 6) 估計(jì)濾波增益矩陣尺/+1和估計(jì)誤差協(xié)方差的平方根宄？；
7) 估計(jì)狀態(tài)部1和估計(jì)誤差協(xié)方差戶'1:
8) 估計(jì)過程噪聲的協(xié)方差4:
式中，dk = (1-b)Al-bk+1)，遺忘因子b滿足 0· 95 <b< 0· 99 ;Λ=Λ-々(％-d;Kk 和 Pklk分別為系統(tǒng)濾波增益矩陣和估計(jì)誤差協(xié)方差；Φk是系統(tǒng)轉(zhuǎn)移矩陣； 步驟3.給定雙重遞歸變分貝葉斯自適應(yīng)卡爾曼濾波 1) 設(shè)定已知輸入：非線性觀測向量yk;過程噪聲方差0 |;狀態(tài)估計(jì)值毛_1;估計(jì)誤差 協(xié)方差I(lǐng)1;預(yù)測參數(shù)αη和βη ;權(quán)系數(shù)ρη ; 2) 令(? = 4i; 3) 令狀態(tài)向量一步預(yù)測值滿足：
4) 計(jì)算觀測噪聲的Inv-Ga_a分布參數(shù)； 5) 內(nèi)環(huán)迭代初始化，即令j=O并給定迭代次數(shù)N;并令ak，i= 〇. 5+ak，im， β?Α=βυι,I 5 z-1,2,···,?/； 6) 迭代循環(huán)VB算法，若j<N，則更新參數(shù)βk,并令j=j+1 ;當(dāng)j=N時(shí)，結(jié)束迭代 進(jìn)程，得
7) 執(zhí)行外環(huán)迭代，最終得4 =4"。
【文檔編號】G06K9/62GK104463214SQ201410757612
【公開日】2015年3月25日 申請日期:2014年12月11日 優(yōu)先權(quán)日:2014年12月11日
【發(fā)明者】王海倫, 呂梅蕾, 張露, 劉爽 申請人:衢州學(xué)院