一種新型網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)造，特別涉及一種新型網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)造方法。
【背景技術(shù)】
[0002]卷積神經(jīng)網(wǎng)絡(luò)是計(jì)算機(jī)視覺和模式識(shí)別一個(gè)重要的研究領(lǐng)域，它是指計(jì)算機(jī)仿照生物大腦思維啟發(fā)進(jìn)行類似人類對(duì)特定對(duì)象的信息處理系統(tǒng)。其應(yīng)用廣泛，快速而準(zhǔn)確的對(duì)象檢測(cè)與識(shí)別技術(shù)是現(xiàn)代信息處理技術(shù)中的重要組成部分。由于信息量近年來急劇地增長(zhǎng)，我們也迫切的需要有合適的對(duì)象檢測(cè)以及識(shí)別技術(shù)能夠讓人們從大量的信息中尋找出自己所需要的信息。圖像檢索及文字識(shí)別都屬于這一類別，而文字的檢測(cè)與識(shí)別系統(tǒng)則是進(jìn)行信息檢索的基本條件。檢測(cè)與識(shí)別技術(shù)是計(jì)算機(jī)視覺和人機(jī)交互領(lǐng)域重要組成部分。
[0003]卷積神經(jīng)網(wǎng)絡(luò)是最近廣泛應(yīng)用于模式識(shí)別和計(jì)算機(jī)視覺等領(lǐng)域的一種算法模型，具有訓(xùn)練參數(shù)少，人工干預(yù)小和適應(yīng)性強(qiáng)大的特點(diǎn)，但是由于訓(xùn)練速度慢，且算法計(jì)算復(fù)雜度，軟件結(jié)構(gòu)維護(hù)復(fù)雜等，在不同方面存在一定難度或缺陷。而且在卷積神經(jīng)網(wǎng)絡(luò)構(gòu)造的基礎(chǔ)設(shè)計(jì)方面存在很多不同的結(jié)構(gòu)設(shè)計(jì)，訓(xùn)練樣本集合也存在極大的變化，加上復(fù)雜的神經(jīng)網(wǎng)絡(luò)非線性信息處理能力等方面存在技術(shù)難點(diǎn)。在家電系統(tǒng)等嵌入式平臺(tái)受存儲(chǔ)空間資源限制的條件下，也不可能使用類似PC機(jī)或者服務(wù)器等強(qiáng)大CPU計(jì)算資源。所以有必要研究針對(duì)卷積神經(jīng)網(wǎng)絡(luò)快速處理數(shù)據(jù)的算法做必要的改進(jìn)，以增加算法的適應(yīng)性，進(jìn)而對(duì)應(yīng)用程序提出了更高的要求。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是為了解決現(xiàn)有的神經(jīng)網(wǎng)絡(luò)算法在訓(xùn)練和計(jì)算過程中對(duì)硬件的處理速度要求高，無(wú)法在家電系統(tǒng)中進(jìn)行樣本訓(xùn)練和復(fù)雜應(yīng)用的問題。
[0005]本發(fā)明解決其技術(shù)問題的技術(shù)方案是:一種新型網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)造方法，其特征在于，包括如下步驟:
[0006]確定神經(jīng)元節(jié)點(diǎn)間的互聯(lián)結(jié)構(gòu)，根據(jù)互聯(lián)結(jié)構(gòu)確定在神經(jīng)元節(jié)點(diǎn)間的數(shù)值計(jì)算反饋和前向計(jì)算傳遞的相互關(guān)系；
[0007]使用反向傳播神經(jīng)網(wǎng)絡(luò)創(chuàng)建多層感知機(jī)模型，所述反向傳播神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中包含前向傳播算法；
[0008]同時(shí)運(yùn)行反向傳播算法和前向傳播算法，進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和計(jì)算。
[0009]具體地，反向傳播算法進(jìn)行迭代運(yùn)算的具體方法包括如下重復(fù)過程:從下一層開始和計(jì)算權(quán)重的變化到后一層，然后再計(jì)算在前一層的輸出誤差。
[0010]具體地，反向傳播算法運(yùn)行過程中產(chǎn)生的反向傳播誤差的偏導(dǎo)數(shù)等于后一層網(wǎng)絡(luò)實(shí)際輸出值減去后一層網(wǎng)絡(luò)目標(biāo)輸出值。
[0011]較佳地，在同時(shí)運(yùn)行反向傳播算法和前向傳播算法時(shí)，使用多核處理并行結(jié)構(gòu)進(jìn)行多線程并行處理。
[0012]具體地，在進(jìn)行多線程并行處理時(shí)，通過神經(jīng)網(wǎng)絡(luò)的反向傳播階段，有一個(gè)上下文切換回第一個(gè)線程，切換過程中變換的權(quán)重值計(jì)算在各個(gè)線程中同步進(jìn)行。
[0013]本發(fā)明的有益效果是:通過本發(fā)明的方法，可以在不占用大量計(jì)算資源的情況下，最大程度上減少卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練用時(shí)，在減少計(jì)算時(shí)間耗損的情況下可以在后續(xù)的實(shí)驗(yàn)和模擬中針對(duì)更為龐大的訓(xùn)練樣本集做訓(xùn)練。而且在適應(yīng)性能大幅提升的情況下，也可以促進(jìn)更加廣泛的模式識(shí)別和計(jì)算機(jī)視覺針對(duì)檢測(cè)和識(shí)別對(duì)象的范圍，基于改進(jìn)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)構(gòu)造的這種基礎(chǔ)設(shè)計(jì)技術(shù)來提升智能家電產(chǎn)品的應(yīng)用模型，提高了家電在視覺交互方面的分類和檢測(cè)效果，在智能性和泛化性方面，以實(shí)際產(chǎn)品使用過程中獲得更好的用戶體驗(yàn)。
【具體實(shí)施方式】
[0014]以下對(duì)本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)描述。
[0015]本發(fā)明為解決現(xiàn)有的神經(jīng)網(wǎng)絡(luò)算法計(jì)算中對(duì)硬件的處理速遞要求高，無(wú)法在家電中進(jìn)行應(yīng)用的問題，提供一種新型網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)造方法，該方法包括如下步驟:
[00? 6]確定神經(jīng)元節(jié)點(diǎn)間的互聯(lián)結(jié)構(gòu)，根據(jù)互聯(lián)結(jié)構(gòu)確定在神經(jīng)元節(jié)點(diǎn)間的數(shù)值計(jì)算反饋和前向計(jì)算傳遞的相互關(guān)系；
[0017]使用反向傳播神經(jīng)網(wǎng)絡(luò)創(chuàng)建多層感知機(jī)模型，所述反向傳播神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中包含前向傳播算法；
[0018]同時(shí)運(yùn)行反向傳播算法和前向傳播算法，進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和計(jì)算。
[0019]反向傳播算法進(jìn)行迭代運(yùn)算的具體方法包括如下重復(fù)過程:從下一層開始和計(jì)算權(quán)重的變化到后一層，然后再計(jì)算在前一層的輸出誤差。反向傳播算法運(yùn)行過程中產(chǎn)生的反向傳播誤差的偏導(dǎo)數(shù)等于后一層網(wǎng)絡(luò)實(shí)際輸出值減去后一層網(wǎng)絡(luò)目標(biāo)輸出值。在同時(shí)運(yùn)行反向傳播算法和前向傳播算法時(shí)，使用多核處理并行結(jié)構(gòu)進(jìn)行多線程并行處理。在進(jìn)行多線程并行處理時(shí)，通過神經(jīng)網(wǎng)絡(luò)的反向傳播階段，有一個(gè)上下文切換回第一個(gè)線程，切換過程中變換的權(quán)重值計(jì)算在各個(gè)線程中同步進(jìn)行。
[0020]本發(fā)明提供一種新型網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)構(gòu)造，設(shè)計(jì)構(gòu)造和算法模型包括如下步驟:
[0021]首先神經(jīng)網(wǎng)絡(luò)沿用一貫的設(shè)計(jì)方法，即創(chuàng)建多層感知機(jī)模型，該模型為解決非線性可分問題，但是由于感知機(jī)學(xué)習(xí)算法的限制，模式分類能力很有限，必須使用反向傳播(BackPropagat1n)學(xué)習(xí)算法，該算法是影響最大的一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法，以此為基礎(chǔ)使用反向傳播算法。本發(fā)明保護(hù)的就是改進(jìn)這種算法的計(jì)算模式，為提高神經(jīng)網(wǎng)絡(luò)層內(nèi)和節(jié)點(diǎn)互聯(lián)的結(jié)構(gòu)，增強(qiáng)隱含層神經(jīng)元具有的學(xué)習(xí)能力而提出的一種新型的神經(jīng)網(wǎng)絡(luò)構(gòu)造方法。從實(shí)驗(yàn)過程中我們看到即使提高神經(jīng)網(wǎng)絡(luò)層內(nèi)和節(jié)點(diǎn)互聯(lián)的結(jié)構(gòu)仍然存在局限性的問題，這時(shí)我們改進(jìn)既有的反向傳播算法結(jié)構(gòu)，在網(wǎng)絡(luò)結(jié)構(gòu)上引入前向傳播(ForwardPropagat i on)的設(shè)計(jì)。專利中引用前向傳播算法，該算法利用神經(jīng)網(wǎng)絡(luò)各層內(nèi)神經(jīng)元計(jì)算的并行性，每層使用一個(gè)核函數(shù)來并行計(jì)算該層神經(jīng)元的值，每個(gè)核函數(shù)都根據(jù)神經(jīng)網(wǎng)絡(luò)的特性和整體架構(gòu)的特點(diǎn)進(jìn)行優(yōu)化。
[0022]緊接著基于以上模型的概念，為得到更加優(yōu)異的分類性能和設(shè)計(jì)特點(diǎn)，為改善神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)而改變網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。同時(shí)(S imu I taneous)運(yùn)行反向傳播和前向傳播進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和計(jì)算，在這種技術(shù)中，實(shí)驗(yàn)過程中我們使用多個(gè)線程是用來加速計(jì)算一個(gè)epoch所需要的時(shí)間從而減少訓(xùn)練的總時(shí)長(zhǎng)。
[0023]神經(jīng)網(wǎng)絡(luò)反向傳播算法是一個(gè)迭代的過程，從最后一層開始向后移動(dòng)通過中間層達(dá)到第一層。假定每一層我們知道在該層的輸出誤差，如果知道輸出誤差就不難計(jì)算權(quán)重的變化以減少誤差。問題是我們只能觀察誤差在最后一層的輸出，從而提出需要解決問題的關(guān)鍵。反向傳播給出一個(gè)方法用來確定在