一種新型卷積神經(jīng)網(wǎng)絡的樣本訓練方法
【技術領域】
[0001] 本發(fā)明涉及神經(jīng)網(wǎng)絡算法，特別涉及一種新型卷積神經(jīng)網(wǎng)絡的樣本訓練方法。
【背景技術】
[0002] 卷積神經(jīng)網(wǎng)絡是計算機視覺和模式識別一個重要的研究領域，它是指計算機仿照 生物大腦思維啟發(fā)進行類似人類對特定對象的信息處理系統(tǒng)。其應用廣泛，快速而準確的 對象檢測與識別技術是現(xiàn)代信息處理技術中的重要組成部分。由于信息量近年來急劇地增 長，我們也迫切的需要有合適的對象檢測以及識別技術能夠讓人們從大量的信息中尋找出 自己所需要的信息。圖像檢索及文字識別都屬于這一類別，而文字的檢測與識別系統(tǒng)則是 進行信息檢索的基本條件。檢測與識別技術是計算機視覺和人機交互領域重要組成部分。
[0003] 卷積神經(jīng)網(wǎng)絡是最近廣泛應用于模式識別和計算機視覺等領域的一種算法模型， 為增加算法針對真實數(shù)據(jù)的實際性能測試，進而對應用程序的泛化性提出了更高的要求。 特別涉及在泛化性的性能上，神經(jīng)網(wǎng)絡在整個結(jié)構(gòu)設計和計算過程中有大量的時間消耗在 樣本采集和訓練過程上，在實際的應用中，訓練的效果在樣本集上有很大的體現(xiàn)，可是在實 際的無指導神經(jīng)網(wǎng)絡的訓練模型中，根據(jù)來自輸出節(jié)點的外部反饋，就是期望輸出的調(diào)整 連接權(quán)值，使得網(wǎng)絡輸出節(jié)點的實際輸出與外部的期望輸出一致。相對于卷積神經(jīng)網(wǎng)絡的 整體構(gòu)架，激活函數(shù)，拓撲結(jié)構(gòu)和選擇訓練的方式等方面相比樣本的采集和整理可能不被 重視，幾乎任何可以訓練的神經(jīng)網(wǎng)絡都存在包含錯誤樣本的訓練集，在這樣存差樣本集的 實際錯誤被當作正確的數(shù)值傳入網(wǎng)絡訓練的過程而不被網(wǎng)絡糾錯和判別。對于訓練集的的 樣本而言。真正的問題是如何將神經(jīng)網(wǎng)絡執(zhí)行對現(xiàn)實世界中的分類和識別模式而又不是只 對僅有的一部分實驗數(shù)據(jù)集做驗證。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是為了提供一種快速神經(jīng)網(wǎng)絡的樣本訓練方法，以解決現(xiàn)有的神經(jīng) 網(wǎng)絡在整個結(jié)構(gòu)設計和計算過程中有大量的時間消耗在樣本采集和訓練過程上的問題。
[0005] 為達到上述目的，本發(fā)明提供一種新型卷積神經(jīng)網(wǎng)絡的樣本訓練方法，包括如下 步驟：
[0006] 確定一定數(shù)量的樣本集合作為訓練的基準數(shù)據(jù)集合，對訓練權(quán)值進行適度的扭 曲，設置訓練的初始學習率和最終學習率；
[0007] 以初始學習率為基礎，使用二階反向傳播學習算法對樣本集合進行訓練，當學習 率達到最終學習率時，結(jié)束訓練。
[0008] 具體地，使用二階反向傳播算法過程中會產(chǎn)生誤差，誤差的偏導數(shù)等于后一層網(wǎng) 絡實際輸出值與后一層網(wǎng)絡目標輸出值的差值，利用所述差值對權(quán)重值進行更新。
[0009] 具體地，更新權(quán)重值的具體方法為:新的權(quán)重值等于更新前的權(quán)重值減去學習率 與所述差值的乘積。
[0010] 具體地，所述初始學習率為0.001，最終學習率為0.00005。
[0011] 可選地，對訓練權(quán)值進行扭曲的方法包括縮放因子，反轉(zhuǎn)和彈性形變。
[0012] 具體地，網(wǎng)絡神經(jīng)元節(jié)點對權(quán)重值進行校驗，當權(quán)重值遠大于或者遠小于學習率 下降的范圍時，丟棄該權(quán)重值。
[0013] 本發(fā)明的有益效果是:通過本發(fā)明的方法，可以在不占用大量計算資源的情況下， 最大程度上提升卷積神經(jīng)網(wǎng)絡的訓練效果，在訓練算法提升和學習率和迭代回數(shù)等優(yōu)化參 數(shù)配置并保持足夠數(shù)量訓練和測試樣本的情況下可以在后續(xù)的實驗和模擬中針對手寫數(shù) 字做分類和識別工作。基于優(yōu)化的卷積神經(jīng)網(wǎng)絡模型在字符集樣本模式變形，采樣不完全 或受干擾樣本模式等高噪音環(huán)境下實現(xiàn)高精度識別。而且在適應性能大幅提升的情況下， 也可以促進更加廣泛的模式識別和計算機視覺領域針對目標檢測和對象識別的使用范圍， 基于這種新型卷積神經(jīng)網(wǎng)絡的無指導網(wǎng)絡學習訓練及樣本采集的優(yōu)化方法的基礎設計技 術提升智能家電產(chǎn)品的性能，提高了家電在視覺交互方面的智能性和泛化性，以實際產(chǎn)品 使用過程中獲得更好的用戶體驗。
【具體實施方式】
[0014] 以下對本發(fā)明的技術方案作進一步詳細描述。
[0015] 本發(fā)明為解決現(xiàn)有的神經(jīng)網(wǎng)絡在整個結(jié)構(gòu)設計和計算過程中有大量的時間消耗 在樣本采集和訓練過程上的問題，提供一種新型卷積神經(jīng)網(wǎng)絡的樣本訓練方法，該方法包 括如下步驟：
[0016]確定一定數(shù)量的樣本集合作為訓練的基準數(shù)據(jù)集合，對訓練權(quán)值進行適度的扭 曲，設置訓練的初始學習率和最終學習率；
[0017] 以初始學習率為基礎，使用二階反向傳播學習算法對樣本集合進行訓練，當學習 率達到最終學習率時，結(jié)束訓練。
[0018] 使用二階反向傳播算法過程中會產(chǎn)生誤差，誤差的偏導數(shù)等于后一層網(wǎng)絡實際輸 出值與后一層網(wǎng)絡目標輸出值的差值，利用所述差值對權(quán)重值進行更新。更新權(quán)重值的具 體方法為:新的權(quán)重值等于更新前的權(quán)重值減去學習率與所述差值的乘積。對訓練權(quán)值進 行扭曲的方法包括縮放因子，反轉(zhuǎn)和彈性形變。
[0019] 初始學習率為0.001，最終學習率為0.00005。網(wǎng)絡神經(jīng)元節(jié)點對權(quán)重值進行校驗， 當權(quán)重值遠大于或者遠小于學習率下降的范圍時，丟棄該權(quán)重值。
[0020] 本發(fā)明采用的技術方案是：
[0021] 首先我們用一個含有10000個模式的樣本集作為訓練的基準數(shù)據(jù)集合。在一個隨 機序列中連續(xù)處理反向傳播算法，其中每一個通過10000種模式的Epoch我們簡單稱作一個 迭代。訓練的目的是努力提高神經(jīng)網(wǎng)絡的泛化性能，在本專利闡述的例子中訓練算法淺顯 的表達是使權(quán)重在浮動范圍內(nèi)跳變更大一些，最大程度上避免了錯誤樣本的權(quán)重屬性，特 別是在輸入的訓練集模式，數(shù)據(jù)采集即使再規(guī)整，再投入時間人力做大量的準備工作，但樣 本也不可能完全與現(xiàn)實世界中的屬性特征相同。為提高泛化性更為重要的技術就是適度的 改變訓練權(quán)值，使權(quán)值適度的扭曲：用于在網(wǎng)絡反向傳播之前訓練模式被輕微的扭曲。而神 經(jīng)網(wǎng)絡每次迭代運行權(quán)重的計算。從另一個角度看這是扭曲被放大的訓練集，通過一次又 一次的迭代反饋計算，人為地從現(xiàn)有的模式創(chuàng)造新的訓練模式。適當?shù)呐で鷻?quán)值計算權(quán)重 使每個模式再隨機反向傳播。扭曲權(quán)值的三種不同類型的應用有:縮放因子，反轉(zhuǎn)和彈性形 變。
[0022] 其次，在適當?shù)母淖冇柧殭?quán)值后，為保障訓練的更優(yōu)化結(jié)果還需設置其他參數(shù)，核 心的內(nèi)容是學習率的設置。網(wǎng)絡的訓練過程必須指定一個初始學習率和最終的學習率。一 般來說，學習率在沒有訓練神經(jīng)網(wǎng)絡時初始值應該更大，由于大的學習率在反復的回饋計 算中將發(fā)生變化。學習率在訓練的過程中緩慢梯度下降，由于神經(jīng)網(wǎng)絡的學習機制，從而使 權(quán)重收斂于最后數(shù)值。但它從來沒有真正讓