本發(fā)明屬于模式識(shí)別與人工智能領(lǐng)域，具體涉及一種橢球核組合支持向量機(jī)的二階錐規(guī)劃計(jì)算方法，該方法主要應(yīng)用于模式識(shí)別與人工智能領(lǐng)域?qū)＜蚁到y(tǒng)、智能計(jì)算系統(tǒng)、決策系統(tǒng)，可顯著提高橢球核組合支持向量機(jī)的計(jì)算效率。

背景技術(shù)：

支持向量機(jī)(support vector machine，SVM)是模式識(shí)別與人工智能領(lǐng)域中的重要技術(shù)，通過(guò)引入核矩陣，有效避免了高維空間中的內(nèi)積運(yùn)算，可歸一化解決線性分類(lèi)問(wèn)題與非線性分類(lèi)問(wèn)題。在處理多源數(shù)據(jù)或異構(gòu)數(shù)據(jù)時(shí)，由于單一核矩陣在應(yīng)用過(guò)程中的諸多局限性，多核矩陣的組合使用成為必要措施。橢球組合是核矩陣組合的重要形式，也是最常用形式。研究并給出高效的橢球核組合支持向量機(jī)計(jì)算方法，對(duì)于提高支持向量機(jī)的工作效率及分類(lèi)精度有著重要的實(shí)用意義和工程價(jià)值。

現(xiàn)有方法中，解決這類(lèi)問(wèn)題主要采用半定規(guī)劃法或半無(wú)限規(guī)劃法，計(jì)算復(fù)雜度較高。以半定規(guī)劃法為例，對(duì)于規(guī)模為n的數(shù)據(jù)集，采用N個(gè)核矩陣的橢球組合，半定規(guī)劃法的計(jì)算復(fù)雜度為O(N^1.5n^4.5)。當(dāng)數(shù)據(jù)源巨量出現(xiàn)，樣本數(shù)據(jù)爆發(fā)性增長(zhǎng)時(shí)，半定規(guī)劃法收斂速度緩慢，計(jì)算效率不高。半無(wú)限規(guī)劃法同樣面臨低效問(wèn)題。這給實(shí)際工程應(yīng)用帶來(lái)較大困難。因而亟需一種快速高效的橢球核組合支持向量機(jī)計(jì)算方法。

技術(shù)實(shí)現(xiàn)要素：

(一)要解決的技術(shù)問(wèn)題

本發(fā)明要解決的技術(shù)問(wèn)題是：如何給出快速高效的橢球核組合支持向量機(jī)計(jì)算方法，有效降低橢球核組合支持向量機(jī)的計(jì)算復(fù)雜度。

(二)技術(shù)方案

為解決上述技術(shù)問(wèn)題，本發(fā)明提供一種橢球核組合支持向量機(jī)的二階錐規(guī)劃計(jì)算方法，依據(jù)目標(biāo)優(yōu)化問(wèn)題中約束條件的錐特性，將約束條件逐一轉(zhuǎn)換為二階錐約束；采用二階錐規(guī)劃迭代計(jì)算，給出計(jì)算結(jié)果；使計(jì)算復(fù)雜度降為O(Nn^3.5)；

如上所述的一種橢球核組合支持向量機(jī)的二階錐規(guī)劃計(jì)算方法，具體包括如下步驟：

步驟一：輸入樣本數(shù)據(jù){x₁,...,x_n}，及標(biāo)號(hào)集{y₁,...,y_n}，變量初值α，預(yù)設(shè)容忍度ε，初始海森矩陣H；

步驟二：添加自由變?cè)猽,c,β',λ',τ，生成二階錐約束；

步驟三：求解最小化問(wèn)題：

其中，τ＝[τ₁,...,τ_N]^T，τ≥0表示τ_i≥0,i＝1,2,...,N；c＝[c₁,...,c_N]^T，r_i＝rank(D_i)，D_i＝Q^1/2，Q為矩陣，矩陣元素Q_i,j＝K_i,jy_iy_j；K為核矩陣；y＝[y₁,...,y_l]^T；e為單位向量；λ∈R；

步驟四：若有當(dāng)前目標(biāo)函數(shù)梯度的下降值小于預(yù)設(shè)的收斂容忍度，則步驟終止，得到分類(lèi)結(jié)果；否則返回步驟三進(jìn)行下一次迭代。

(三)有益效果

與現(xiàn)有技術(shù)相比較，本發(fā)明具備如下有益效果：

1、本發(fā)明提出了一種橢球核組合支持向量機(jī)的二階錐規(guī)劃計(jì)算方法，可有效降低橢球核組合支持向量機(jī)的計(jì)算復(fù)雜度。

2、本發(fā)明適用范圍廣泛，適合于多源、異構(gòu)數(shù)據(jù)集，可直接應(yīng)用于故障判斷、醫(yī)療診斷、專(zhuān)家系統(tǒng)、智能計(jì)算等模式識(shí)別與人工智能各領(lǐng)域。

附圖說(shuō)明

圖1為本發(fā)明提出的球型分布數(shù)據(jù)專(zhuān)用線性二分類(lèi)計(jì)算方法流程圖。

具體實(shí)施方式

為使本發(fā)明的目的、內(nèi)容、和優(yōu)點(diǎn)更加清楚，下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的具體實(shí)施方式作進(jìn)一步詳細(xì)描述。

為解決上述技術(shù)問(wèn)題，本發(fā)明提供一種橢球核組合支持向量機(jī)的二階錐規(guī)劃計(jì)算方法，依據(jù)目標(biāo)優(yōu)化問(wèn)題中約束條件的錐特性，將約束條件逐一轉(zhuǎn)換為二階錐約束；采用二階錐規(guī)劃迭代計(jì)算，給出計(jì)算結(jié)果；使計(jì)算復(fù)雜度降為O(Nn^3.5)；

如上所述的一種橢球核組合支持向量機(jī)的二階錐規(guī)劃計(jì)算方法，如圖1所示，具體包括如下步驟：

步驟一：輸入樣本數(shù)據(jù){x₁,...,x_n}，及標(biāo)號(hào)集{y₁,...,y_n}，變量初值α，預(yù)設(shè)容忍度ε，初始海森矩陣H；

步驟二：添加自由變?cè)猽,c,β',λ',τ，生成二階錐約束；

步驟三：求解最小化問(wèn)題：

其中，τ＝[τ₁,...,τ_N]^T，τ≥0表示τ_i≥0,i＝1,2,...,N；c＝[c₁,...,c_N]^T，r_i＝rank(D_i)，D_i＝Q^1/2，Q為矩陣，矩陣元素Q_i,j＝K_i,jy_iy_j；K為核矩陣；y＝[y₁,...,y_l]^T；e為單位向量；λ∈R；

步驟四：若有當(dāng)前目標(biāo)函數(shù)梯度的下降值小于預(yù)設(shè)的收斂容忍度，則步驟終止，得到分類(lèi)結(jié)果；否則返回步驟三進(jìn)行下一次迭代。

實(shí)施例

本實(shí)施例具體內(nèi)容如下：

一、工作流程

在輸入樣本數(shù)據(jù){x₁,...,x_l}后，本發(fā)明計(jì)算方法的關(guān)鍵部分在于計(jì)算一個(gè)與原問(wèn)題等價(jià)的二階錐規(guī)劃問(wèn)題。核矩陣的橢球組合可表示為：

工作流程：

本發(fā)明提出的一種橢球核組合支持向量機(jī)的二階錐規(guī)劃計(jì)算方法流程如圖1所示，具體包括如下步驟：

步驟一：輸入樣本數(shù)據(jù){x₁,...,x_n}以及標(biāo)號(hào)集{y₁,...,y_n}，其中x_i∈R^m，i＝1,...,l，y_i∈{-1,1}，i＝1,...,n，1表示數(shù)據(jù)屬于正類(lèi)，-1表示數(shù)據(jù)屬于負(fù)類(lèi)；初始變量值α₀＝[1,...,1]^T，預(yù)設(shè)容忍度ε＝10^-3，初始海森矩陣H_k＝E，E為單位矩陣；

步驟二：添加自由變?cè)猽,c,β',λ',τ，并賦初值u＝[1,...,1]^T，c＝[1,...,1]^T，β'＝[1,...,1]^T，λ'＝0，τ＝[1,...,1]^T，生成二階錐約束。本發(fā)明計(jì)算方法的關(guān)鍵部分在于計(jì)算一個(gè)與原問(wèn)題等價(jià)的二階錐規(guī)劃問(wèn)題。在本步驟中，按如下方式生成二階錐約束：

原約束：

步驟三：將矩陣Q∈U，

變量值α₀，帶入如下最小化問(wèn)題，并求解：

其中，τ＝[τ₁,...,τ_N]^T，τ≥0表示τ_i≥0,i＝1,2,...,N；c＝[c₁,...,c_N]^T，r_i＝rank(D_i)，D_i＝Q^1/2，Q為矩陣，矩陣元素Q_i,j＝K_i,jy_iy_j；K為核矩陣；y＝[y₁,...,y_l]^T；e為單位向量；λ∈R；u＝[u₁,...,u_N]^T；求解采用梯度下降方式迭代計(jì)算，具體為：在第k步迭代中，優(yōu)化目標(biāo)變量α_k的更新方向?yàn)棣?sub>k，λ_k通過(guò)線性規(guī)劃過(guò)程得到；更新步長(zhǎng)為P_k，計(jì)算P_k要用到H_k值和g_k值，g_k為當(dāng)前目標(biāo)函數(shù)梯度值。更新完α_k后，需計(jì)算H_k+1的值，用于下次迭代過(guò)程，所需計(jì)算公式如下：

步驟四：若有當(dāng)前目標(biāo)函數(shù)梯度的下降值ψ_k小于預(yù)設(shè)的收斂容忍度，則步驟終止，得到結(jié)果；否則返回步驟三進(jìn)行下一次迭代。

二、計(jì)算復(fù)雜度對(duì)比

令m_i表示二階錐約束的維度，m表示二階錐約束的個(gè)數(shù)，則二階錐規(guī)劃算法的迭代次數(shù)為半定規(guī)劃法的迭代次數(shù)二階錐規(guī)劃法每次迭代的計(jì)算復(fù)雜度為O(m²∑_im_i)，半定規(guī)劃法為O(m²∑_im_i²)。在橢球核組合支持向量機(jī)中，有

m＝O(N+n),

因此，本發(fā)明提出的一種橢球核組合支持向量機(jī)的二階錐規(guī)劃計(jì)算方法每步迭代的計(jì)算復(fù)雜度為O(Nn³)，總計(jì)算復(fù)雜度為O(Nn^3.5)。而半定規(guī)劃法每步迭代的計(jì)算復(fù)雜度為O(Nn⁴)，總計(jì)算復(fù)雜度為O(N^1.5n^4.5)。

綜上所述，本發(fā)明依據(jù)橢球核組合支持向量機(jī)中，目標(biāo)優(yōu)化問(wèn)題約束條件的錐特性，將約束條件逐一轉(zhuǎn)換為二階錐約束；采用二階錐規(guī)劃迭代計(jì)算，給出計(jì)算結(jié)果。

以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明技術(shù)原理的前提下，還可以做出若干改進(jìn)和變形，這些改進(jìn)和變形也應(yīng)視為本發(fā)明的保護(hù)范圍。