基于神經(jīng)模糊網(wǎng)絡(luò)的特征選擇方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及模式識別技術(shù)領(lǐng)域，更具體地說，本發(fā)明涉及一種基于神經(jīng)模糊網(wǎng)絡(luò) 的特征選擇方法。
【背景技術(shù)】
[0002] 特征選擇是模式識別等技術(shù)的關(guān)鍵問題。近年來，將人工神經(jīng)網(wǎng)絡(luò)用于特征選擇 是一個熱點問題。通過具有良好學(xué)習(xí)性能的人工神經(jīng)網(wǎng)絡(luò)，可以推斷出各個特征或特征子 集的重要程度，但也存在一些問題。
[0003] 在特征選擇領(lǐng)域，大部分基于人工神經(jīng)網(wǎng)絡(luò)的特征選擇可以看作是網(wǎng)絡(luò)剪枝算法 的一個特例，不同的是被剪除的是輸入節(jié)點，而不是隱層節(jié)點或權(quán)值。目前廣泛應(yīng)用的方法 是利用剪枝前后網(wǎng)絡(luò)輸出之間的變化量作為被剪枝特征重要性的度量，這種方法也可以稱 為特征顯著性度量法。一般都假設(shè)對于一個學(xué)習(xí)良好的網(wǎng)絡(luò)，一個特征的重要程度越低，它 對網(wǎng)絡(luò)的輸出影響就越小。
[0004]目前主要用于特征顯著性度量的神經(jīng)網(wǎng)絡(luò)類型分為兩大類，一類是基于多層感知 器的多層前向網(wǎng)絡(luò)，如Ruck教授提出的一種基于多層感知器的特征選擇算法，定義了一種 特征顯著性度量方法，即通過計算網(wǎng)絡(luò)的輸出相對于網(wǎng)絡(luò)輸入的變化率來衡量特征的重要 程度；R.K.De教授在此基礎(chǔ)上，提出了另一種方法，即首先取數(shù)據(jù)的最小值和最大值進行 歸一化，然后再通過計算網(wǎng)絡(luò)的輸出相對于網(wǎng)絡(luò)輸入的變化率來衡量特征的重要程度。
[0005]另一大類就是模糊神經(jīng)網(wǎng)絡(luò)，如ΜK.Jia教授提出利用隸屬度函數(shù)將數(shù)據(jù)從原始 特征空間映射到隸屬度空間，并在隸屬度的意義上進行網(wǎng)絡(luò)剪枝和計算網(wǎng)絡(luò)對某特征的敏 感性。D.Chakraborty教授利用前一種方法設(shè)計了基于模糊規(guī)則神經(jīng)模糊網(wǎng)絡(luò)，可以同時進 行特征選擇和分類。該網(wǎng)絡(luò)共有4層，分3個階段來訓(xùn)練，其中第2個階段完成特征選擇， 而隸屬度函數(shù)調(diào)整則在最后階段完成，也就是說，在隸屬度函數(shù)學(xué)習(xí)之前特征選擇已經(jīng)完 成了。
[0006] 上述方法都是以人工神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)來進行特征選擇的。第一大類主要是基于多 層感知器的特征選擇為主。雖然對特征選擇而言取得了一些較好的分類效果，但這種簡單 的方法對于某些特殊分布的數(shù)據(jù)，其結(jié)果不能反映出真實情況。如果事先對數(shù)據(jù)進行歸一 化處理，盡管能保證某些不變性，比如位移和縮放的不變，但可能會喪失其它不變性，比如 旋轉(zhuǎn)性，并且可能丟失一些對于分類具有重要作用的信息。第二大類方法是基于模糊邏輯 與人工神經(jīng)網(wǎng)絡(luò)的，雖然避免了由于數(shù)據(jù)的歸一化而使得一些重要特征丟失問題，對特殊 分布數(shù)據(jù)也能反映出一定的真實性。但是，由于其隸屬度函數(shù)的定義實際上是在網(wǎng)絡(luò)學(xué)習(xí) 之前完成的，所以隸屬度映射仍然可能造成映射后的數(shù)據(jù)失真。D.Chakraborty教授提出的 四層結(jié)構(gòu)網(wǎng)絡(luò)，第2個階段就完成特征選擇，而隸屬度函數(shù)調(diào)整則在最后階段完成，也就是 說，在隸屬度函數(shù)學(xué)習(xí)之前特征選擇已經(jīng)完成了。所以，特征選擇的結(jié)果將會嚴重依賴于隸 屬度函數(shù)的初始值。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明所要解決的技術(shù)問題是針對現(xiàn)有技術(shù)中存在上述缺陷，提供一種基于神經(jīng) 模糊網(wǎng)絡(luò)的特征選擇方法；其中本發(fā)明的神經(jīng)模糊網(wǎng)絡(luò)目的在于，特征選擇是在整個網(wǎng)絡(luò) 學(xué)習(xí)完成后，即隸屬度自學(xué)習(xí)完成后進行的，避免了特征結(jié)果依賴于隸屬度函數(shù)參數(shù)初始 值的問題。此外，模糊隸屬度函數(shù)是通過自學(xué)習(xí)完成的，避免了由于數(shù)據(jù)歸一化帶來的重要 特征丟失的問題。并且，還定義了一種新的特征度量方法，使得剪枝過程是在模糊神經(jīng)網(wǎng)絡(luò) 的映射層進行，而不是在輸入層進行。該方法容易和其他搜索算法結(jié)合起來組成一個完整 的模式分類系統(tǒng)。
[0008] 為了實現(xiàn)上述技術(shù)目的，根據(jù)本發(fā)明，提供了一種基于神經(jīng)模糊網(wǎng)絡(luò)的特征選擇 方法，包括：
[0009] 第一步驟：基于X訓(xùn)練神經(jīng)模糊網(wǎng)絡(luò)，調(diào)整模糊隸屬度函數(shù)的參數(shù)以得到隸屬度 函數(shù)集：
[0010]
[0011] 其中表示特征A的第隸屬度函數(shù)；
[0012] 第二步驟：計算輸入為xq時神經(jīng)模糊網(wǎng)絡(luò)的輸出〇 q;
[0013] 第三步驟：修改神經(jīng)模糊網(wǎng)絡(luò)，使得模糊映射層將xq映射為
[0014]
[0015] 其中使得仁的所有隸屬度函數(shù)值恒為0. 5,此時神經(jīng)模糊網(wǎng)絡(luò)的輸出為
[0016] 第四步驟：計算特征仁的度量值FQJi
[0017]
[0018] 第五步驟：將特征度量值FQJi按降序排序。
[0019] 優(yōu)選地，將度量值FQ1越大的特征f#角定為越重要。
【附圖說明】
[0020] 結(jié)合附圖，并通過參考下面的詳細描述，將會更容易地對本發(fā)明有更完整的理解 并且更容易地理解其伴隨的優(yōu)點和特征，其中：
[0021] 圖1示意性地示出了神經(jīng)模糊網(wǎng)絡(luò)的結(jié)構(gòu)。
[0022] 圖2示意性地示出了根據(jù)本發(fā)明優(yōu)選實施例的基于神經(jīng)模糊網(wǎng)絡(luò)的特征選擇方 法的流程圖。
[0023] 需要說明的是，附圖用于說明本發(fā)明，而非限制本發(fā)明。注意，表示結(jié)構(gòu)的附圖可 能并非按比例繪制。并且，附圖中，相同或者類似的元件標有相同或者類似的標號。
【具體實施方式】
[0024] 為了使本發(fā)明的內(nèi)容更加清楚和易懂，下面結(jié)合具體實施例和附圖對本發(fā)明的內(nèi) 容進行詳細描述。
[0025] 本發(fā)明提出了一種新型的神經(jīng)模糊網(wǎng)絡(luò)，該網(wǎng)絡(luò)是基于模糊集理論和人工神經(jīng)網(wǎng) 絡(luò)的結(jié)合，主要用于新的特征選擇技術(shù)，該方法可應(yīng)用于模式識別、數(shù)據(jù)挖掘、圖像處理等 領(lǐng)域。
[0026] 下面將從神經(jīng)模糊網(wǎng)絡(luò)結(jié)構(gòu)開始解釋本發(fā)明的原理和實施例。
[0027] (1)神經(jīng)模糊網(wǎng)絡(luò)結(jié)構(gòu)：
[0028] 對C類（ω1; ω2，…ω1;…，coc)識另IJ問題，記訓(xùn)練樣本集為，
!為訓(xùn)練樣本集的個數(shù)，特征集為 Φ= {fi，…，fi,…fR}，Xi_j是特征fi的一個觀測值。模糊推理系統(tǒng)根據(jù)規(guī)則集^丨對Xq進 行判別，其中模糊規(guī)則具有如下形式：
[0029]ifX!isAlkandx2isA2k***andxRisARkthen〇j(1)
[0030] 其中，Aik是定義在特征f;上的第k個模糊集，并是某模糊邏輯算子；當k辛h時， 不一定總有Alk辛Alh成立。"if"部分稱為模糊推理系統(tǒng)的前件，"then"部分稱為模糊推 理系統(tǒng)的后件。傳統(tǒng)的模糊推理系統(tǒng)需要專家建立這些規(guī)則，而神經(jīng)模糊網(wǎng)絡(luò)可以自動通 過學(xué)習(xí)有代表性的訓(xùn)練樣本集獲得這些規(guī)則。本發(fā)明在第三層采用剪枝算法來計算特征的 度量值，并利用有監(jiān)督的學(xué)習(xí)方法來更新神經(jīng)模糊網(wǎng)絡(luò)的參數(shù)值。神經(jīng)模糊網(wǎng)絡(luò)的結(jié)構(gòu)如 下圖1所示。
[0031] (2)神經(jīng)模糊網(wǎng)絡(luò)的工作原理：
[0032] 如圖1所示。輸入層L1是網(wǎng)絡(luò)的輸入緩沖區(qū)，它把輸入量傳輸?shù)较乱粚?，其?jié)點 數(shù)為輸入特征的維數(shù)，即山=R。
[0033] 模糊映射層L2為隸屬度函數(shù)映射層，把輸入層L1的輸出在本層投影到隸屬度函 數(shù)空間。模糊映射層L2的節(jié)點j的輸出為：
[0034] ii) =μ.Μ) (2)
[0035] 其隸屬度函數(shù)采用鐘形（bell形）函數(shù)即：
[0036] …」 （3)
[0037] 這里ξ是該函數(shù)的中心，σ控制函數(shù)的縮放，τ控制著函數(shù)鐘形平滑頂部的寬 R 度，τ越大，鐘形平滑頂部越寬。模糊映射層L2的節(jié)