基于無(wú)標(biāo)記樣本的rbf神經(jīng)網(wǎng)絡(luò)構(gòu)建方法及其裝置制造方法
【專利摘要】本發(fā)明公開(kāi)一種基于無(wú)標(biāo)記樣本的RBF神經(jīng)網(wǎng)絡(luò)構(gòu)建方法及其裝置，方法以RBF神經(jīng)網(wǎng)絡(luò)中隱層神經(jīng)元的敏感性為基準(zhǔn)，通過(guò)逐漸裁剪隱層神經(jīng)元中敏感性低的神經(jīng)元達(dá)到逐漸簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)、提高分類器性能的目的。與傳統(tǒng)方式相比，在計(jì)算RBF隱層神經(jīng)元敏感性的過(guò)程中，本發(fā)明不但使用了有標(biāo)記的樣本，還大量使用了沒(méi)有標(biāo)記的樣本，這樣大大提高了敏感性計(jì)算精度。裝置包括初始模塊、訓(xùn)練模塊、隱層神經(jīng)元選擇模塊和輸出模塊，可以有效提高神經(jīng)網(wǎng)絡(luò)構(gòu)建效率，并提高RBF神經(jīng)網(wǎng)絡(luò)的性能。
【專利說(shuō)明】基于無(wú)標(biāo)記樣本的RBF神經(jīng)網(wǎng)絡(luò)構(gòu)建方法及其裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)時(shí)的網(wǎng)絡(luò)構(gòu)建方法及其裝置，尤其涉及一種可有效提高神經(jīng)網(wǎng)絡(luò)分類效率或回歸效率的網(wǎng)絡(luò)構(gòu)建方法及其裝置，屬于智能科學(xué)與技術(shù)中的機(jī)器學(xué)習(xí)領(lǐng)域。
【背景技術(shù)】
[0002]在設(shè)計(jì)RBF神經(jīng)網(wǎng)絡(luò)分類器時(shí)，如何確定神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)是一個(gè)重要而且關(guān)鍵的步驟。針對(duì)具體問(wèn)題構(gòu)建一個(gè)合適的網(wǎng)絡(luò)對(duì)提高分類精度、泛化能力都有巨大的幫助。目前廣泛使用的是三層神經(jīng)網(wǎng)絡(luò)。文獻(xiàn)已經(jīng)證明，三層神經(jīng)網(wǎng)絡(luò)當(dāng)?shù)诙?也稱隱層、中間層)神經(jīng)元數(shù)增多時(shí)可以逼近任何連續(xù)函數(shù)。在具體應(yīng)用中，三層神經(jīng)網(wǎng)絡(luò)的第一層神經(jīng)元數(shù)依賴于輸入變量的維數(shù)，第三層神經(jīng)元數(shù)依賴于輸出變量的維數(shù)。因?yàn)檩斎胱兞亢洼敵鲎兞康木S數(shù)一般都是確知的，所以第一層和第三層神經(jīng)元的個(gè)數(shù)一般也是確定的。對(duì)于三層神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)構(gòu)建實(shí)際上是確定第二層神經(jīng)元數(shù)目的一個(gè)過(guò)程。
[0003]在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的時(shí)候，通常使用有監(jiān)督的學(xué)習(xí)方法。有監(jiān)督的學(xué)習(xí)方法是指在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程中通過(guò)告訴網(wǎng)絡(luò)輸入和相對(duì)應(yīng)的輸出來(lái)調(diào)節(jié)網(wǎng)絡(luò)參數(shù)，達(dá)到訓(xùn)練神經(jīng)網(wǎng)絡(luò)的目的。在這個(gè)過(guò)程中需要使用有標(biāo)記的訓(xùn)練樣本。訓(xùn)練樣本的標(biāo)記一般是由專家來(lái)完成的，這往往要花費(fèi)大量的金錢和時(shí)間代價(jià)。在實(shí)際應(yīng)用中，無(wú)標(biāo)記的樣本比有標(biāo)記的樣本要容易獲得的多。例如在某些互聯(lián)網(wǎng)應(yīng)用中，由專家標(biāo)記的有標(biāo)記樣本和無(wú)標(biāo)記樣本相比只占很少的一部分。能否使用那些沒(méi)有標(biāo)記的樣本幫助輔助確定網(wǎng)絡(luò)的最優(yōu)結(jié)構(gòu)就變得很有必要。
[0004]對(duì)于三層RBF神經(jīng)網(wǎng)絡(luò)，確定隱層神經(jīng)網(wǎng)絡(luò)的方法主要有:
[0005]I)增枝法。這個(gè)方法確定隱層神經(jīng)元數(shù)量的過(guò)程是首先選擇一個(gè)很小的隱藏神經(jīng)元數(shù)。由于隱層神經(jīng)元數(shù)太少，所以網(wǎng)絡(luò)的結(jié)構(gòu)太簡(jiǎn)單，導(dǎo)致使用訓(xùn)練樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)不成功。數(shù)學(xué)上的表征就是誤差不收斂。在這個(gè)隱層神經(jīng)元數(shù)量的基礎(chǔ)上一個(gè)一個(gè)地增加隱層神經(jīng)元數(shù)量，每增加一個(gè)隱層神經(jīng)元重新訓(xùn)練一次網(wǎng)絡(luò)，直到隱層神經(jīng)元數(shù)量增加到某一數(shù)量時(shí)神經(jīng)網(wǎng)絡(luò)能夠訓(xùn)練成功為止。能夠使得神經(jīng)網(wǎng)絡(luò)訓(xùn)練成功的最小隱層神經(jīng)元數(shù)量就是我們需要尋找的隱層神經(jīng)元數(shù)。
[0006]2)減枝法。這個(gè)方法與增枝法相反，它的操作方法是首先確定一個(gè)足夠大的隱層神經(jīng)元數(shù)來(lái)構(gòu)造一個(gè)三層神經(jīng)網(wǎng)絡(luò)，在這個(gè)結(jié)構(gòu)下能夠使用有標(biāo)記的樣本很容易地訓(xùn)練好神經(jīng)網(wǎng)絡(luò)。然后對(duì)隱層神經(jīng)元去除一個(gè)，在去除之后的網(wǎng)絡(luò)基礎(chǔ)上使用有標(biāo)記的樣本進(jìn)行訓(xùn)練，使得網(wǎng)絡(luò)再次訓(xùn)練完成。重復(fù)上述去除過(guò)程，直到網(wǎng)絡(luò)訓(xùn)練不能完成為止。這時(shí)候取最小能完成的隱層神經(jīng)元數(shù)量作為最終確定的隱層神經(jīng)元數(shù)。增枝法和減枝法背后的理論基礎(chǔ)是統(tǒng)計(jì)學(xué)習(xí)理論要求對(duì)于一個(gè)具體的分類問(wèn)題分類器要有一個(gè)合適的復(fù)雜度，保證既不過(guò)擬合也不欠擬合。只有這樣的分類器才能具有最好的泛化能力。對(duì)于三層RBF神經(jīng)網(wǎng)絡(luò)這樣的分類器而言，網(wǎng)絡(luò)復(fù)雜度就體現(xiàn)在隱層神經(jīng)元的數(shù)量上，神經(jīng)元數(shù)量太少網(wǎng)絡(luò)欠擬合，訓(xùn)練不能完成，神經(jīng)元數(shù)量太多網(wǎng)絡(luò)過(guò)擬合，泛化能力差。[0007]3)經(jīng)驗(yàn)法。這種方法確定隱層神經(jīng)元數(shù)需要對(duì)具體問(wèn)題所涉及的領(lǐng)域有深刻的理解，從而憑借經(jīng)驗(yàn)確定隱層神經(jīng)元的數(shù)量。即使這樣也不能保證所取的隱層神經(jīng)元數(shù)量是最優(yōu)的。
[0008]對(duì)于上述方法減枝法目前使用較多。在具體的減枝過(guò)程中，首先減去哪個(gè)隱層神經(jīng)元、其次減去哪個(gè)隱層神經(jīng)元對(duì)于確定最終的網(wǎng)絡(luò)結(jié)構(gòu)非常重要。一般認(rèn)為每個(gè)隱層神經(jīng)元在訓(xùn)練過(guò)程中起到的作用或者重要程度是不一樣的。理論上首先去掉對(duì)分類沒(méi)有作用的或者不重要的神經(jīng)元可以使得最終訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)的泛化性能更好。如何利用無(wú)標(biāo)記的樣本來(lái)輔助確定隱層神經(jīng)元以更好地確定網(wǎng)絡(luò)就變得非常重要。

【發(fā)明內(nèi)容】

[0009]發(fā)明目的:針對(duì)現(xiàn)有技術(shù)中存在的問(wèn)題，本發(fā)明提供一種基于無(wú)標(biāo)記樣本的RBF神經(jīng)網(wǎng)絡(luò)構(gòu)建方法及其裝置。
[0010]技術(shù)方案:一種基于無(wú)標(biāo)記樣本的RBF神經(jīng)網(wǎng)絡(luò)構(gòu)建方法，包括以下步驟:
[0011](SlOl)選取一個(gè)足夠大的正整數(shù)m (m最大不超過(guò)訓(xùn)練樣本的個(gè)數(shù))作為隱層神經(jīng)元數(shù)，構(gòu)建一個(gè)三層RBF神經(jīng)網(wǎng)絡(luò)，并給定初始網(wǎng)絡(luò)參數(shù)；
[0012](S103)利用有標(biāo)記的樣本集訓(xùn)練神經(jīng)網(wǎng)絡(luò)直到代價(jià)函數(shù)收斂到某個(gè)給定的很小的閾值e Ce取值小于10的-2次方)，得到經(jīng)過(guò)訓(xùn)練的分類器；
[0013](S105)利用有標(biāo)記和無(wú)標(biāo)記樣本計(jì)算隱層神經(jīng)元的敏感性，并按照敏感性由小到大排序；
[0014](S107)去掉敏感性最小的隱層神經(jīng)元，得到新結(jié)構(gòu)的RBF神經(jīng)網(wǎng)絡(luò)；
[0015](S109)對(duì)新的RBF神經(jīng)網(wǎng)絡(luò)在原有參數(shù)的基礎(chǔ)上再次使用有標(biāo)記的樣本集進(jìn)行訓(xùn)練，如果代價(jià)函數(shù)能夠收斂到某個(gè)很小的閾值e，則得到經(jīng)過(guò)參數(shù)更新的分類器并重復(fù)步驟(S107)、(S109);如果不能收斂則進(jìn)入下一步；
[0016](Slll)取隱層神經(jīng)元數(shù)最小且能收斂的RBF神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)為最終的網(wǎng)絡(luò)結(jié)構(gòu)，其網(wǎng)絡(luò)為最終輸出的分類器。
[0017]本發(fā)明所述方法為裁剪隱層神經(jīng)元以確定網(wǎng)絡(luò)結(jié)構(gòu)提供依據(jù)，提高了神經(jīng)網(wǎng)絡(luò)分類器的分類性能。
[0018]本發(fā)明中還公開(kāi)了一種基于無(wú)標(biāo)記樣本的RBF神經(jīng)網(wǎng)絡(luò)構(gòu)建裝置，包括:初始模塊、訓(xùn)練模塊、隱層神經(jīng)元選擇模塊和輸出模塊；上述模塊按照如下順序依次構(gòu)建:初始模塊、訓(xùn)練模塊、隱層神經(jīng)元選擇模塊、輸出模塊。
[0019](I)構(gòu)建初始模塊:其選取一個(gè)足夠大的正整數(shù)m作為隱層神經(jīng)元數(shù)，構(gòu)建一個(gè)三層RBF神經(jīng)網(wǎng)絡(luò)，并給定初始網(wǎng)絡(luò)參數(shù)；
[0020](2)構(gòu)建訓(xùn)練模塊:其利用有標(biāo)記的樣本集訓(xùn)練神經(jīng)網(wǎng)絡(luò)直到代價(jià)函數(shù)收斂到某個(gè)給定的很小的閾值e，得到經(jīng)過(guò)訓(xùn)練的分類器；
[0021](3)隱層神經(jīng)元選擇模塊:其利用有標(biāo)記的樣本和無(wú)標(biāo)記樣本計(jì)算隱層神經(jīng)元的敏感性，按照敏感性由小到大排序，并去掉敏感性最小的隱層神經(jīng)元，形成新結(jié)構(gòu)的RBF神經(jīng)網(wǎng)絡(luò)；重新利用有標(biāo)記樣本集訓(xùn)練新結(jié)構(gòu)的RBF神經(jīng)網(wǎng)絡(luò)，如果代價(jià)函數(shù)能夠收斂到某個(gè)很小的閾值e，則得到經(jīng)過(guò)參數(shù)更新的分類器并重復(fù)本步驟；如果代價(jià)函數(shù)不能夠收斂到某個(gè)很小的閾值e，則進(jìn)入下一個(gè)步驟；[0022](4)構(gòu)建輸出模塊:取隱層神經(jīng)元數(shù)最小且能收斂的神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)為最終的網(wǎng)絡(luò)結(jié)構(gòu)，并輸出這個(gè)網(wǎng)絡(luò)為最終的分類器。
[0023]本發(fā)明所屬基于無(wú)標(biāo)記樣本的RBF神經(jīng)網(wǎng)絡(luò)構(gòu)建裝置有效利用了無(wú)標(biāo)記樣本所蘊(yùn)含的信息，從而在判斷隱層神經(jīng)元個(gè)體重要性方面比以往的方法更加準(zhǔn)確，更加方便。
[0024]與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果:
[0025]本發(fā)明所述基于無(wú)標(biāo)記樣本的RBF神經(jīng)網(wǎng)絡(luò)構(gòu)建方法為裁剪隱層神經(jīng)元以確定網(wǎng)絡(luò)結(jié)構(gòu)提供依據(jù)，提高了神經(jīng)網(wǎng)絡(luò)分類器的分類性能。
[0026]本發(fā)明所述基于無(wú)標(biāo)記樣本的RBF神經(jīng)網(wǎng)絡(luò)構(gòu)建裝置有效利用無(wú)標(biāo)記樣本所蘊(yùn)含的信息，從而在判斷隱層神經(jīng)元個(gè)體重要性方面比以往的方法更加準(zhǔn)確，更加方便，同時(shí)采用基于無(wú)標(biāo)記樣本的RBF神經(jīng)網(wǎng)絡(luò)構(gòu)建裝置的工作方法裁剪過(guò)的神經(jīng)網(wǎng)絡(luò)具有更好的泛化性。
【專利附圖】

【附圖說(shuō)明】
[0027]圖1為RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖；
[0028]圖2為本發(fā)明實(shí)施例的基于無(wú)標(biāo)記樣本的RBF神經(jīng)網(wǎng)絡(luò)構(gòu)建方法流程圖。
【具體實(shí)施方式】
[0029]下面結(jié)合具體實(shí)施例，進(jìn)一步闡明本發(fā)明，應(yīng)理解這些實(shí)施例僅用于說(shuō)明本發(fā)明而不用于限制本發(fā)明的范圍，在閱讀了本發(fā)明之后，本領(lǐng)域技術(shù)人員對(duì)本發(fā)明的各種等價(jià)形式的修改均落于本申請(qǐng)所附權(quán)利要求所限定的范圍。
[0030]現(xiàn)以RBF神經(jīng)網(wǎng)絡(luò)為例，說(shuō)明根據(jù)本發(fā)明的前向神經(jīng)網(wǎng)絡(luò)樣本選擇方法。
[0031]RBF神經(jīng)網(wǎng)絡(luò)是一種全連接的前向神經(jīng)網(wǎng)絡(luò)，適用于目標(biāo)的分類。RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示，它是一種三層前向網(wǎng)絡(luò):輸入層MA由輸入模式節(jié)點(diǎn)組成，Xi表示輸入模式向量的第i個(gè)分量(i=l, 2，...，n);第二層是隱含層MB,它由m個(gè)節(jié)點(diǎn)b」(j=l, 2,..., m)組成。弟二層是輸出層MC，它由P個(gè)T1點(diǎn)ck (k=l, 2，...，p)組成。
[0032]在訓(xùn)練之前需要對(duì)輸入向量的每個(gè)元素規(guī)范化，這里將每個(gè)元素規(guī)范化到[-1，I]。
[0033]對(duì)于上述RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練在這里采用標(biāo)準(zhǔn)BP算法。
[0034]下面我們定義上述RBF神經(jīng)網(wǎng)絡(luò)隱層神經(jīng)元的敏感性，這樣的定義可以很容易地推廣到其它前向神經(jīng)網(wǎng)絡(luò)。
[0035]當(dāng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后，它的映射關(guān)系也就確定了。設(shè)映射關(guān)系函數(shù)為F(X)(其中X為輸入向量)。假設(shè)裁掉的是第j個(gè)隱層神經(jīng)元，那么去掉第j個(gè)隱層神經(jīng)元后神經(jīng)網(wǎng)絡(luò)的映射關(guān)系函數(shù)變成h (X)，定義第j個(gè)隱層神經(jīng)元的敏感性為:
[0036]Sj ⑴=E (I IF ⑴-Fj ⑴ | |2) (I)
[0037]I I.I I2是求取.的歐幾里德范數(shù)的算符。E為求取期望的算符。
[0038]由敏感性的定義可以看出，敏感性實(shí)際上代表了有第j個(gè)隱層神經(jīng)元和沒(méi)有第j個(gè)隱層神經(jīng)元函數(shù)輸出的差別。這個(gè)差別越小表示第j個(gè)隱層神經(jīng)元越不重要，反之則越重要。
[0039]在計(jì)算Sj(X)的過(guò)程中，S」?可以變形為:[0040]Sj ⑴=/ Ω (F⑴-Fj ⑴)2p ⑴ dX (2)
[0041]其中Ω是定義域，p(X)為X在定義域Ω中的密度函數(shù)。一般來(lái)說(shuō)P (X)是未知的，由于有標(biāo)記的樣本數(shù)量很少，只依靠有標(biāo)記的樣本估計(jì)P (X)非常困難。無(wú)標(biāo)記的樣本數(shù)量非常多，并且里面也蘊(yùn)含了樣本的分布信息。這里我們采用有標(biāo)記的樣本和無(wú)標(biāo)記的樣本一起估計(jì)P (X)，這能使估計(jì)精度大大提高。
[0042]假設(shè)(X1, Y1)，(X2, y2)，…(Xb, yb)是有標(biāo)記的樣本集,Xb+1, Xb+2...Xn是無(wú)標(biāo)記的樣本集，那么SdX)的一個(gè)好的估計(jì)是:
[0043]
【權(quán)利要求】
1.一種基于無(wú)標(biāo)記樣本的RBF神經(jīng)網(wǎng)絡(luò)構(gòu)建方法，其特征在于，包括以下步驟: (SlOl)選取一個(gè)足夠大的正整數(shù)m作為隱層神經(jīng)元數(shù)，構(gòu)建一個(gè)三層RBF神經(jīng)網(wǎng)絡(luò)，并給定初始網(wǎng)絡(luò)參數(shù)； (S103)利用有標(biāo)記的樣本集訓(xùn)練神經(jīng)網(wǎng)絡(luò)直到代價(jià)函數(shù)收斂到某個(gè)給定的很小的閾值e，得到經(jīng)過(guò)訓(xùn)練的分類器； (S105)利用有標(biāo)記和無(wú)標(biāo)記樣本計(jì)算隱層神經(jīng)元的敏感性，并按照敏感性由小到大排序; (S107)去掉敏感性最小的隱層神經(jīng)元，得到新結(jié)構(gòu)的RBF神經(jīng)網(wǎng)絡(luò)； (S109)對(duì)新的RBF神經(jīng)網(wǎng)絡(luò)在原有參數(shù)的基礎(chǔ)上再次使用有標(biāo)記的樣本集進(jìn)行訓(xùn)練，如果代價(jià)函數(shù)能夠收斂到某個(gè)很小的閾值e，則得到經(jīng)過(guò)參數(shù)更新的分類器并重復(fù)步驟(S107)、(S109);如果不能收斂則進(jìn)入下一步； (Slll)取隱層神經(jīng)元數(shù)最小且能收斂的RBF神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)為最終的網(wǎng)絡(luò)結(jié)構(gòu)，其網(wǎng)絡(luò)為最終輸出的分類器。
2.如權(quán)利要求1所述的基于無(wú)標(biāo)記樣本的RBF神經(jīng)網(wǎng)絡(luò)構(gòu)建方法，其特征在于，當(dāng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后，設(shè)映射關(guān)系函數(shù)為F(X)，X為輸入向量，假設(shè)裁掉的是第j個(gè)隱層神經(jīng)元，那么去掉第j個(gè)隱層神經(jīng)元后神經(jīng)網(wǎng)絡(luò)的映射關(guān)系函數(shù)變成h (X)，定義第j個(gè)隱層神經(jīng)元的敏感性為:
3.一種基于無(wú)標(biāo)記樣本的RBF神經(jīng)網(wǎng)絡(luò)構(gòu)建裝置，其特征在于，包括:初始模塊、訓(xùn)練模塊、隱層神經(jīng)元選擇模塊和輸出模塊；上述模塊按照如下順序依次構(gòu)建:初始模塊、訓(xùn)練模塊、隱層神經(jīng)元選擇模塊、輸出模塊； (1)初始模塊:其選取一個(gè)足夠大的正整數(shù)m作為隱層神經(jīng)元數(shù)，構(gòu)建一個(gè)三層RBF神經(jīng)網(wǎng)絡(luò)，并給定初始網(wǎng)絡(luò)參數(shù)； (2)訓(xùn)練模塊:其利用有標(biāo)記的樣本集訓(xùn)練神經(jīng)網(wǎng)絡(luò)直到代價(jià)函數(shù)收斂到某個(gè)給定的很小的閾值e，得到經(jīng)過(guò)訓(xùn)練的分類器； (3)隱層神經(jīng)元選擇模塊:其利用有標(biāo)記的樣本和無(wú)標(biāo)記樣本計(jì)算隱層神經(jīng)元的敏感性，按照敏感性由小到大排序，并去掉敏感性最小的隱層神經(jīng)元,形成新結(jié)構(gòu)的RBF神經(jīng)網(wǎng)絡(luò)；重新利用有標(biāo)記樣本集訓(xùn)練新結(jié)構(gòu)的RBF神經(jīng)網(wǎng)絡(luò)，如果代價(jià)函數(shù)能夠收斂到某個(gè)很小的閾值e，則得到經(jīng)過(guò)參數(shù)更新的分類器并重復(fù)本步驟；如果代價(jià)函數(shù)不能夠收斂到某個(gè)很小的閾值e，通過(guò)輸出模塊最終的分類器； (4)輸出模塊:取隱層神經(jīng)元數(shù)最小且能收斂的神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)為最終的網(wǎng)絡(luò)結(jié)構(gòu)，并輸出這個(gè)網(wǎng)絡(luò)為最終 的分類器。
【文檔編號(hào)】G06N3/02GK103679267SQ201310654934
【公開(kāi)日】2014年3月26日 申請(qǐng)日期:2013年12月5日 優(yōu)先權(quán)日:2013年12月5日
【發(fā)明者】?jī)?chǔ)榮 申請(qǐng)人:河海大學(xué)