基于動(dòng)態(tài)樣本選擇策略的bp神經(jīng)網(wǎng)絡(luò)手寫(xiě)體識(shí)別系統(tǒng)的制作方法
【專(zhuān)利摘要】本發(fā)明提供一種基于動(dòng)態(tài)樣本選擇策略的BP神經(jīng)網(wǎng)絡(luò)手寫(xiě)體識(shí)別系統(tǒng)，首先隨機(jī)初始化各層網(wǎng)絡(luò)神經(jīng)元權(quán)值;其次采用梯度下降法來(lái)優(yōu)化網(wǎng)絡(luò)權(quán)重，在第一輪迭代中，使用所有樣本來(lái)計(jì)算總梯度，再使用總梯度來(lái)更新各層權(quán)值，并根據(jù)樣本是否遠(yuǎn)離決策邊界來(lái)判斷是否該作為下一輪迭代的訓(xùn)練樣本；重復(fù)使用上一輪選好的訓(xùn)練樣本來(lái)計(jì)算總梯度、更新各層權(quán)值、并選擇下一輪迭代的樣本直到達(dá)到最小停止誤差或最大迭代次數(shù)；最后使用得到的神經(jīng)網(wǎng)絡(luò)對(duì)未知手寫(xiě)字體樣本進(jìn)行識(shí)別。相較于傳統(tǒng)的分類(lèi)技術(shù)，本發(fā)明的動(dòng)態(tài)樣本選擇策略利用樣本離決策邊界的距離來(lái)動(dòng)態(tài)選擇樣本，實(shí)現(xiàn)訓(xùn)練樣本數(shù)的一步步減小，算法能有效地解決BP網(wǎng)絡(luò)在大數(shù)據(jù)集上訓(xùn)練時(shí)間過(guò)長(zhǎng)的問(wèn)題。
【專(zhuān)利說(shuō)明】
基于動(dòng)態(tài)樣本選擇策略的BP神經(jīng)網(wǎng)絡(luò)手寫(xiě)體識(shí)別系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及模式識(shí)別領(lǐng)域，尤其是設(shè)及一種基于動(dòng)態(tài)樣本選擇策略的BP神經(jīng)網(wǎng)絡(luò) 手寫(xiě)體識(shí)別的方法與系統(tǒng)。
【背景技術(shù)】
[0002] 光學(xué)字符識(shí)別技術(shù)(Optical Qiaracter Recognition, OCR)是計(jì)算機(jī)自動(dòng)、高速 地辨別紙上的文字，并將其轉(zhuǎn)化為可編輯文本的一項(xiàng)實(shí)用技術(shù)。而手寫(xiě)數(shù)字識(shí)別則是光學(xué) 字符識(shí)別技術(shù)的一個(gè)重要分支，它的研究對(duì)象是如何利用計(jì)算機(jī)自動(dòng)辨認(rèn)人手寫(xiě)在紙張上 的阿拉伯?dāng)?shù)字。手寫(xiě)數(shù)字識(shí)別的主要難點(diǎn)在于:第一，某些數(shù)字之間字形相差不大，使得準(zhǔn) 確區(qū)分運(yùn)些數(shù)字相當(dāng)困難;第二，數(shù)字雖然只有十種，而且筆劃簡(jiǎn)單，但同一數(shù)字寫(xiě)法千差 萬(wàn)別，全世界各個(gè)國(guó)家各個(gè)地區(qū)的人都用，其書(shū)寫(xiě)上帶有明顯的區(qū)域特性，很難完全做到兼 顧世界各種寫(xiě)法的極高識(shí)別率的通用性數(shù)字識(shí)別系統(tǒng);第=，手寫(xiě)體字符由于書(shū)寫(xiě)者的因 素，使其字符圖像的隨意性很大，例如筆畫(huà)的粗細(xì)、字體的大小、手寫(xiě)體的傾斜度、字符筆畫(huà) 的局部扭曲變形等都直接影響到字符的正確識(shí)別。
[0003] 傳統(tǒng)的手寫(xiě)字體識(shí)別有很多實(shí)現(xiàn)方法，比如統(tǒng)計(jì)模式法、句法結(jié)構(gòu)方法、邏輯特征 法、模糊模式方法和神經(jīng)網(wǎng)絡(luò)算法等。上述幾種方法各有優(yōu)缺點(diǎn)：結(jié)構(gòu)法比較直觀(guān)，能較好 反映事物的結(jié)構(gòu)特性，但問(wèn)題是基元的提取很不容易，各基元的關(guān)系也比較復(fù)雜，抗干擾性 能也較差;統(tǒng)計(jì)法利用計(jì)算機(jī)來(lái)抽取特征，比較方便，抗干擾性能較好，但其缺點(diǎn)是沒(méi)有充 分利用模式的結(jié)構(gòu)特性。它們對(duì)于自由書(shū)寫(xiě)的手寫(xiě)字體難W取得令人滿(mǎn)意的識(shí)別結(jié)果。而 若采用人工神經(jīng)網(wǎng)絡(luò)方法來(lái)實(shí)現(xiàn)手寫(xiě)字體識(shí)別，可處理一些環(huán)境信息十分復(fù)雜，背景知識(shí) 不清楚，推理規(guī)則不明確的問(wèn)題，允許樣品有較大的缺損、崎變，自適應(yīng)性能好，具有較高的 分辨率。因此，當(dāng)前神經(jīng)網(wǎng)絡(luò)技術(shù)與多種方法的綜合是解決手寫(xiě)字體識(shí)別的重要方向之一。
[0004] 由于BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)，即誤差反向傳播神經(jīng)網(wǎng)絡(luò)的非線(xiàn)性映射能 力強(qiáng)、泛化能力和容錯(cuò)能力高，所W多采用BP神經(jīng)網(wǎng)絡(luò)技術(shù)用于手寫(xiě)字體識(shí)別研究當(dāng)中。但 又因?yàn)閭鹘y(tǒng)的BP神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中將所有訓(xùn)練樣本都參與訓(xùn)練，使得其在大數(shù)據(jù)集上 需要極多的訓(xùn)練時(shí)間，運(yùn)也限制了BP神經(jīng)網(wǎng)絡(luò)在大數(shù)據(jù)集上的應(yīng)用。若要采用該方法來(lái)識(shí) 別自由手寫(xiě)字體，則需要一個(gè)很大的樣本集供其訓(xùn)練網(wǎng)絡(luò)權(quán)重，才能最終達(dá)到一個(gè)較高的 正確率。比如：學(xué)術(shù)研究中多采用MNIST手寫(xiě)數(shù)字?jǐn)?shù)據(jù)庫(kù)作為樣本數(shù)據(jù)來(lái)源，其一共約有 70000幅手寫(xiě)數(shù)字圖片，采用傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行識(shí)別所用的訓(xùn)練時(shí)間需要約 136235.63秒(37.84小時(shí)），運(yùn)個(gè)時(shí)間在日常應(yīng)用中是難W接受的。所W，加快BP神經(jīng)網(wǎng)絡(luò)在 大數(shù)據(jù)集上的訓(xùn)練速度就成了亟待解決的問(wèn)題，構(gòu)造一個(gè)能快速完成訓(xùn)練的神經(jīng)網(wǎng)絡(luò)能大 大改善手寫(xiě)字體識(shí)別的實(shí)用性。
[0005] 目前在加快神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度方面，已經(jīng)有一些基于算法層面的處理方法，如基 于Levenberg-Marquardt算法的LMBP網(wǎng)絡(luò)等。然而，運(yùn)些處理方法都是在算法層面上的改 進(jìn)。也就是說(shuō)，改進(jìn)后的神經(jīng)網(wǎng)絡(luò)只是在算法的運(yùn)行速度上得到提升并沒(méi)有設(shè)及到樣本的 選擇。然而，實(shí)際在大數(shù)據(jù)集上的訓(xùn)練過(guò)程中，我們發(fā)現(xiàn)不同樣本對(duì)網(wǎng)絡(luò)權(quán)重的改變量是不 相等的:在決策邊界附近的樣本對(duì)決策邊界的影響要遠(yuǎn)大于遠(yuǎn)離決策邊界的樣本。因此，如 果只關(guān)注與那些分布在決策邊界附近的少數(shù)樣本，我們便可W大大減少需要用來(lái)訓(xùn)練的樣 本，從而對(duì)BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間有較明顯的降低，同時(shí)還能夠獲得與原始BP神經(jīng)網(wǎng)絡(luò)相當(dāng) 的分類(lèi)精確度。

【發(fā)明內(nèi)容】

[0006] 針對(duì)現(xiàn)有基于BP神經(jīng)網(wǎng)絡(luò)的手寫(xiě)字體識(shí)別技術(shù)在處理大數(shù)據(jù)集時(shí)訓(xùn)練時(shí)間過(guò)長(zhǎng)、 實(shí)用性不高的問(wèn)題，本發(fā)明的解決方案是提供了一種基于動(dòng)態(tài)樣本選擇策略的神經(jīng)網(wǎng)絡(luò)技 術(shù)來(lái)實(shí)現(xiàn)手寫(xiě)字體識(shí)別，采用BP神經(jīng)網(wǎng)絡(luò)來(lái)訓(xùn)練網(wǎng)絡(luò)權(quán)重，采用梯度下降法來(lái)優(yōu)化算法模 型。將動(dòng)態(tài)樣本選擇策略與BP神經(jīng)網(wǎng)絡(luò)相結(jié)合，從而提出一種基于動(dòng)態(tài)BP神經(jīng)網(wǎng)絡(luò)的手寫(xiě) 字體識(shí)別系統(tǒng)。該系統(tǒng)能夠有效地識(shí)別手寫(xiě)數(shù)字。
[0007] 本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案:首先系統(tǒng)根據(jù)手寫(xiě)字體的特征來(lái)確定 所采用網(wǎng)絡(luò)的結(jié)構(gòu)和識(shí)別的策略，隨機(jī)初始化各層網(wǎng)絡(luò)神經(jīng)元權(quán)值;其次系統(tǒng)采用梯度下 降法來(lái)優(yōu)化網(wǎng)絡(luò)權(quán)重，設(shè)置梯度下降法學(xué)習(xí)步長(zhǎng)、充量因子、最小停止誤差和最大迭代次 數(shù);在第一輪迭代中，使用所有的樣本來(lái)計(jì)算總梯度，再使用總梯度來(lái)更新各層權(quán)值，并根 據(jù)樣本是否遠(yuǎn)離決策邊界來(lái)判斷是否該作為下一輪迭代的訓(xùn)練樣本;重復(fù)使用上一輪選好 的訓(xùn)練樣本來(lái)計(jì)算總梯度、更新各層權(quán)值、并選擇下一輪迭代的樣本直到達(dá)到最小停止誤 差或最大迭代次數(shù)再停止;最后使用所得到的神經(jīng)網(wǎng)絡(luò)對(duì)未知手寫(xiě)字體樣本進(jìn)行識(shí)別。
[0008] 本發(fā)明所采用的技術(shù)方案還可W進(jìn)一步完善。所述的確定神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的方法是 根據(jù)具體數(shù)據(jù)的先驗(yàn)信息來(lái)人工確定的，可W采用經(jīng)驗(yàn)與實(shí)踐相結(jié)合的方法來(lái)確定更合適 的網(wǎng)絡(luò)結(jié)構(gòu)，如網(wǎng)絡(luò)層數(shù)、隱層神經(jīng)元個(gè)數(shù)、節(jié)點(diǎn)激活函數(shù)類(lèi)型等。采集的訓(xùn)練集樣本除了 從相關(guān)學(xué)術(shù)網(wǎng)站上下載手寫(xiě)字體數(shù)據(jù)外，還可W通過(guò)手寫(xiě)板或攝像頭采集現(xiàn)實(shí)中的手寫(xiě)字 體樣本，兩者綜合一起訓(xùn)練可W有效提高識(shí)別正確率。所述的動(dòng)態(tài)樣本選擇策略采用的是 判別樣本是否離決策邊界較近來(lái)進(jìn)行動(dòng)態(tài)選擇，能夠有效地一步步減小訓(xùn)練樣本的數(shù)量。
[0009] 本發(fā)明有益的效果是:利用樣本離決策邊界的距離來(lái)動(dòng)態(tài)選擇樣本，實(shí)現(xiàn)訓(xùn)練樣 本數(shù)的一步步減小;通過(guò)將動(dòng)態(tài)樣本選擇策略與BP神經(jīng)網(wǎng)絡(luò)結(jié)合在一起應(yīng)用于手寫(xiě)字體識(shí) 另IJ，提出基于動(dòng)態(tài)樣本選擇策略的BP神經(jīng)網(wǎng)絡(luò)手寫(xiě)字體識(shí)別系統(tǒng)，能夠動(dòng)態(tài)地再選擇訓(xùn)練 樣本，實(shí)現(xiàn)將樣本動(dòng)態(tài)選擇與分類(lèi)器訓(xùn)練過(guò)程結(jié)合在一起;采用梯度下降法來(lái)訓(xùn)練BP神經(jīng) 網(wǎng)絡(luò)模型并在每步迭代之后對(duì)樣本進(jìn)行重采樣，實(shí)現(xiàn)對(duì)訓(xùn)練樣本動(dòng)態(tài)采樣;通過(guò)將動(dòng)態(tài)采 樣與模型訓(xùn)練相結(jié)合，實(shí)現(xiàn)了算法能有效地解決BP網(wǎng)絡(luò)在大數(shù)據(jù)集上訓(xùn)練時(shí)間過(guò)長(zhǎng)的問(wèn) 題。
【附圖說(shuō)明】
[0010] 圖1是本發(fā)明的基于動(dòng)態(tài)樣本選擇策略的BP神經(jīng)網(wǎng)絡(luò)手寫(xiě)體識(shí)別的系統(tǒng)框架。
【具體實(shí)施方式】
[0011] 下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步介紹:本發(fā)明的方法共分為=大步驟。
[0012] 第一步:數(shù)據(jù)采集與初始化網(wǎng)絡(luò)。
[0013] 系統(tǒng)主要采用MNIST手寫(xiě)數(shù)字?jǐn)?shù)據(jù)庫(kù)作為訓(xùn)練的樣本集，并分出一小部分未經(jīng)訓(xùn) 練的樣本來(lái)驗(yàn)證網(wǎng)絡(luò)識(shí)別正確率，并運(yùn)用PCA和LDA兩種方法對(duì)高維手寫(xiě)字體數(shù)據(jù)進(jìn)行降 維，轉(zhuǎn)換成向量形式，W作為最后的訓(xùn)練樣本和驗(yàn)證集。
[0014] 系統(tǒng)根據(jù)大數(shù)據(jù)集的規(guī)模來(lái)確定所采用網(wǎng)絡(luò)的結(jié)構(gòu)，隨機(jī)初始化各層網(wǎng)絡(luò)神經(jīng)元 權(quán)值。網(wǎng)絡(luò)結(jié)構(gòu)的初始化包括網(wǎng)絡(luò)各層節(jié)點(diǎn)數(shù)，網(wǎng)絡(luò)所采用的活化函數(shù)類(lèi)型；網(wǎng)絡(luò)參數(shù)初始 化包括各個(gè)神經(jīng)元權(quán)值初始化，訓(xùn)練樣本的訓(xùn)練目標(biāo)的確定，樣本動(dòng)態(tài)選擇闊值。對(duì)網(wǎng)絡(luò)結(jié) 構(gòu)和網(wǎng)絡(luò)參數(shù)的初始化包括W下幾個(gè)步驟。
[0015] 1)初始化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu):根據(jù)大數(shù)據(jù)集的規(guī)模，包括樣本維度、樣本數(shù)目來(lái)確定神 經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，其中包括神經(jīng)網(wǎng)絡(luò)層數(shù)、每層神經(jīng)元個(gè)數(shù)。隱層節(jié)點(diǎn)數(shù)鶴，由人工根據(jù)經(jīng)驗(yàn) 進(jìn)行設(shè)置;神經(jīng)網(wǎng)絡(luò)權(quán)值懇隨機(jī)初始化為-1到1之間的隨機(jī)數(shù);對(duì)于特定問(wèn)題，可W通過(guò)人 工經(jīng)驗(yàn)的方法來(lái)確定網(wǎng)絡(luò)結(jié)構(gòu)。網(wǎng)絡(luò)點(diǎn)的激活函數(shù)采用Sigmoid函數(shù)。
[0016] 2)設(shè)置網(wǎng)絡(luò)模型訓(xùn)練參數(shù)：梯度下降法的學(xué)習(xí)率P設(shè)為0.05、充量因子
，樣本動(dòng)態(tài)選擇闊 的 20%。
[0017] 第二步:網(wǎng)絡(luò)的訓(xùn)練。
[0018] 由于我們采用1對(duì)1分解技術(shù)來(lái)識(shí)別0到9運(yùn)十個(gè)數(shù)字，可W將原來(lái)的一個(gè)多類(lèi)識(shí)別 問(wèn)題轉(zhuǎn)化為45個(gè)二類(lèi)識(shí)別問(wèn)題，所W-共需要訓(xùn)練45個(gè)BP網(wǎng)絡(luò)（分類(lèi)器），每個(gè)分類(lèi)器識(shí)別 兩個(gè)不同的數(shù)字。其訓(xùn)練方法如下。
[0019] 系統(tǒng)采用梯度下降法來(lái)優(yōu)化網(wǎng)絡(luò)模型，設(shè)置梯度下降法學(xué)習(xí)率、充量因子和最大 迭代次數(shù);在第一輪迭代中，隨機(jī)挑選20%的樣本來(lái)計(jì)算總梯度，再使用總梯度來(lái)更新各層 權(quán)值，并根據(jù)樣本的網(wǎng)絡(luò)輸出值與正確值間的差是否大于所設(shè)置的闊值來(lái)選擇作為下一輪 迭代的訓(xùn)練樣本;重復(fù)使用上一輪選好的訓(xùn)練樣本來(lái)計(jì)算總梯度、更新各層權(quán)值、并選擇下 一輪迭代的樣本直到達(dá)到最大迭代次數(shù)或誤差達(dá)到最小停止誤差為止。網(wǎng)絡(luò)模型優(yōu)化包括 W下幾個(gè)步驟。
[0020] 1)計(jì)算網(wǎng)絡(luò)的誤差平方和I,:
其中，f為樣本總數(shù),? J分別為樣本趕的訓(xùn)練目標(biāo)和網(wǎng)絡(luò)的實(shí)際輸出值； 樣本與決策邊界的判別距離可表示為：
其中，表示的是第立個(gè)樣本的網(wǎng)絡(luò)輸出值，S表示的是相應(yīng)樣本的真值。
[0021] 2)計(jì)算網(wǎng)絡(luò)在樣本集S上的梯
其中紫為連接隱層第i個(gè)神經(jīng)元 與輸出層第j個(gè)神經(jīng)元的權(quán)值。為了求得我們可W通過(guò)鏈?zhǔn)椒e分法則得到：
其中，綜謀g為上一輪訓(xùn)練后輸出層的第k個(gè)神經(jīng)元的輸出值。對(duì)于隱層到輸出層來(lái)說(shuō)，
其中，Il為一個(gè)樣本訓(xùn)練后隱層的第j個(gè)神經(jīng)元的輸出值，I驚絳每I為輸出層的第 神經(jīng)元的活化函數(shù)導(dǎo)數(shù)值。所Pi，從隱房到輸出房的巧值審新規(guī)則為：
由于我們采用的是BP神經(jīng)網(wǎng)絡(luò)，其通過(guò)梯度下降法更新輸入層到隱層之間的權(quán)重與更 新隱層到輸出層之間的權(quán)重的方法相同，所W輸入層到隱層的權(quán)值更新規(guī)則為：
其中，為樣本對(duì)應(yīng)的梯度值。在第次迭代W后，從隱層到輸出層之間的充量 襲鞋和麵通過(guò)W下公式計(jì)算.
因此，一輪訓(xùn)練完盾 ]總梯度&滅\;為: 從輸入層到隱層之 其中，￥^巧和鳴游…礙分別是第巧日第J-I輪訓(xùn)練之后對(duì)應(yīng)網(wǎng)絡(luò)從隱層到輸出層之 間的權(quán)值； 同理可得:在第J輪訓(xùn)練W后，從輸入層到隱層之間的充量％裝#轉(zhuǎn)通過(guò)W下公式計(jì) 算：
更新網(wǎng)絡(luò)權(quán)值：根據(jù)上面所得到的從隱層到輸出層之間的權(quán)值梯度織和充量 菱錢(qián)錢(qián)寺潑，可得其權(quán)值踩;;直第雜訓(xùn)練之后更新為：
其中，Il為充量因子； 同理可得:從輸入層到隱層之間的權(quán)值在第J輪訓(xùn)練之后更新為。
[0022] 3)重新選擇訓(xùn)練樣本集S:對(duì)于整個(gè)樣本i...........樣本的判別距離為
P:%lk。按照如下步驟重新選擇訓(xùn)練樣本：
End End
其中，樣本的判別距 第2步中計(jì)算得到。
[0023] 4)如果迭代次I ，，跳轉(zhuǎn)至第2步繼續(xù)訓(xùn)練網(wǎng)絡(luò)模型；反之，則執(zhí)行第5 步。
[0024] 第=步:對(duì)未知樣本進(jìn)行分類(lèi)預(yù)測(cè)。
[00巧1 誦討笛^擊的對(duì)網(wǎng)絡(luò)搖巧講斤優(yōu)化之后，系統(tǒng)將可^對(duì)未知樣本進(jìn)行分類(lèi)。網(wǎng)絡(luò) 權(quán)值
，其中表示輸入層與隱層之間的權(quán)值;巧丟。為 隱層與輸出層之間的權(quán)值;分別表示隱層神經(jīng)元和輸出層神經(jīng)元的偏移量。網(wǎng) 絡(luò)隱層輸出f為， 網(wǎng)絡(luò)輸出層
由于采用1對(duì)1分解技術(shù)且采用的活化函數(shù)的值域?yàn)?0，1)，所W可預(yù)先設(shè)置每個(gè)分類(lèi) 器的分類(lèi)結(jié)果為0類(lèi)和1類(lèi)，根據(jù)Z是否大于0.5進(jìn)行分類(lèi)，再把結(jié)果轉(zhuǎn)換為預(yù)先定義好的該 分類(lèi)器所針對(duì)分類(lèi)的兩個(gè)不同數(shù)字。
[0026] 上文中，參照附圖描述了本發(fā)明的【具體實(shí)施方式】。但是本領(lǐng)域的普通技術(shù)人員能 夠理解，在不偏離本發(fā)明的精神和范圍的情況下，還可W對(duì)本發(fā)明的【具體實(shí)施方式】作各種 變更和替換。運(yùn)些變更和替換都落在本發(fā)明權(quán)利要求書(shū)所限定的范圍內(nèi)。
[0027] 實(shí)驗(yàn)結(jié)果 為了驗(yàn)證我們所提方法的有效性，我們將未經(jīng)改進(jìn)的原始BP神經(jīng)網(wǎng)絡(luò)和改進(jìn)過(guò)的動(dòng)態(tài) BP神經(jīng)網(wǎng)絡(luò)在MNIST數(shù)據(jù)庫(kù)上進(jìn)行對(duì)比實(shí)驗(yàn);MNIST數(shù)據(jù)庫(kù)擁有0到9十個(gè)數(shù)字約60000幅的 手寫(xiě)數(shù)字圖片作為訓(xùn)練集，并有10000幅手寫(xiě)數(shù)字圖片作為驗(yàn)證集。運(yùn)些圖片都是標(biāo)準(zhǔn)灰度 位圖，分辨率為28X28;實(shí)驗(yàn)在Inter Xeon CPU 2.20GHz 16GB RAM運(yùn)行Windows 7 64位系 統(tǒng)mat lab 2013a平臺(tái)進(jìn)行驗(yàn)證。
[0028] 對(duì)比算法的參數(shù)設(shè)置如下:所設(shè)及到的原始BP神經(jīng)網(wǎng)絡(luò)和動(dòng)態(tài)BP神經(jīng)網(wǎng)絡(luò)采用相 同的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)W方便比較;網(wǎng)絡(luò)結(jié)構(gòu)為:輸入層784個(gè)節(jié)點(diǎn)、隱層7個(gè)節(jié)點(diǎn)、輸出層1個(gè) 節(jié)點(diǎn)，記為[784-7-1];網(wǎng)絡(luò)的參數(shù)為:學(xué)習(xí)率P設(shè)為0.05、充量因3
、最大迭代 次數(shù)
[0029] 實(shí)驗(yàn)結(jié)果如表1所示。從實(shí)驗(yàn)結(jié)果來(lái)看，基于動(dòng)態(tài)樣本選擇策略的BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練 速度相較于原始BP網(wǎng)絡(luò)大大加快，而手寫(xiě)字體識(shí)別率則大致相當(dāng)。運(yùn)驗(yàn)證了所提方法在大 數(shù)據(jù)集訓(xùn)練速度方面的優(yōu)勢(shì)，體現(xiàn)了所提方法的有效性，可W提高神經(jīng)網(wǎng)絡(luò)技術(shù)用于手寫(xiě) 字體識(shí)別問(wèn)題的實(shí)用性。 「AAOAl 豐 1 1JATT雜片 4* 口 出口八雜片 4* 口

【主權(quán)項(xiàng)】
1. 一種基于動(dòng)態(tài)樣本選擇策略的BP神經(jīng)網(wǎng)絡(luò)手寫(xiě)體識(shí)別系統(tǒng)，其具體步驟是： 1) 、系統(tǒng)根據(jù)手寫(xiě)字體的特征來(lái)確定所采用網(wǎng)絡(luò)的結(jié)構(gòu)和識(shí)別的策略，隨機(jī)初始化各 層網(wǎng)絡(luò)神經(jīng)元權(quán)值； 2) 、系統(tǒng)采用梯度下降法來(lái)優(yōu)化網(wǎng)絡(luò)權(quán)重，設(shè)置梯度下降法學(xué)習(xí)步長(zhǎng)、充量因子、最小 停止誤差和最大迭代次數(shù);在第一輪迭代中，使用所有的樣本來(lái)計(jì)算總梯度，再使用總梯度 來(lái)更新各層權(quán)值，并根據(jù)樣本是否遠(yuǎn)離決策邊界來(lái)判斷是否該作為下一輪迭代的訓(xùn)練樣 本;重復(fù)使用上一輪選好的訓(xùn)練樣本來(lái)計(jì)算總梯度、更新各層權(quán)值、并選擇下一輪迭代的樣 本直到達(dá)到最小停止誤差或最大迭代次數(shù)再停止； 3) 、使用所得到的神經(jīng)網(wǎng)絡(luò)對(duì)未知手寫(xiě)字體樣本進(jìn)行識(shí)別。2. 根據(jù)權(quán)利要求1所述的基于動(dòng)態(tài)樣本選擇策略的BP神經(jīng)網(wǎng)絡(luò)手寫(xiě)體識(shí)別系統(tǒng)，其特 征在于:所述的BP神經(jīng)網(wǎng)絡(luò)包括網(wǎng)絡(luò)層數(shù)和每層神經(jīng)元節(jié)點(diǎn)個(gè)數(shù);所述的神經(jīng)元權(quán)值指的 是各層神經(jīng)元節(jié)點(diǎn)相互連接的權(quán)值。3. 根據(jù)權(quán)利要求1所述的基于動(dòng)態(tài)樣本選擇策略的BP神經(jīng)網(wǎng)絡(luò)手寫(xiě)體識(shí)別系統(tǒng)，其特 征在于:所述的采用梯度下降法來(lái)迭代優(yōu)化網(wǎng)絡(luò)模型指的是對(duì)網(wǎng)絡(luò)目標(biāo)函數(shù)進(jìn)行求負(fù)梯 度;然后，根據(jù)所求的負(fù)梯度，對(duì)各層神經(jīng)元節(jié)點(diǎn)權(quán)值進(jìn)行更新。4. 根據(jù)權(quán)利要求1所述的基于動(dòng)態(tài)樣本選擇策略的BP神經(jīng)網(wǎng)絡(luò)手寫(xiě)體識(shí)別系統(tǒng)，其特 征在于:所述的動(dòng)態(tài)樣本選擇指的是在每一輪迭代訓(xùn)練完成后，選擇那些距離決策邊界較 近的樣本作為下一輪訓(xùn)練的樣本;所述的距離決策邊界較近指的是樣本的網(wǎng)絡(luò)輸出值與正 確值之間的差大于預(yù)先設(shè)置的閾值。5. 根據(jù)權(quán)利要求1所述的基于動(dòng)態(tài)樣本選擇策略的BP神經(jīng)網(wǎng)絡(luò)手寫(xiě)體識(shí)別系統(tǒng)，其特 征在于:所述的手寫(xiě)字體識(shí)別采用1對(duì)1分解技術(shù)，若需要分類(lèi)的字?jǐn)?shù)為N個(gè)，一共訓(xùn)練N*(N-1)/2個(gè)神經(jīng)網(wǎng)絡(luò)，每個(gè)網(wǎng)絡(luò)分類(lèi)2個(gè)不同漢字。6. 根據(jù)權(quán)利要求1所述的基于動(dòng)態(tài)樣本選擇策略的BP神經(jīng)網(wǎng)絡(luò)手寫(xiě)體識(shí)別系統(tǒng)，其特 征在于:所述的對(duì)未知手寫(xiě)字體樣本進(jìn)行識(shí)別包括根據(jù)所得的網(wǎng)絡(luò)權(quán)值求出未知樣本的網(wǎng) 絡(luò)輸出，根據(jù)Ν*(Ν-1)/2個(gè)神經(jīng)網(wǎng)絡(luò)各自的識(shí)別結(jié)果進(jìn)行投票，票數(shù)最多的數(shù)字即為最終的 識(shí)別結(jié)果。
【文檔編號(hào)】G06N3/08GK106022273SQ201610346450
【公開(kāi)日】2016年10月12日
【申請(qǐng)日】2016年5月24日
【發(fā)明人】李冬冬, 鳳偉, 王喆, 范奇, 曹真
【申請(qǐng)人】華東理工大學(xué)