本發(fā)明涉及卷積網(wǎng)絡(luò)模型處理領(lǐng)域，具體而言，涉及一種終端卷積神經(jīng)網(wǎng)絡(luò)的處理方法、裝置、存儲介質(zhì)及處理器。

背景技術(shù)：

近年來，隨著深度學(xué)習(xí)的高速迅猛發(fā)展，深層卷積神經(jīng)網(wǎng)絡(luò)憑借其獨(dú)有的性能優(yōu)勢在計(jì)算機(jī)視覺、圖像處理等領(lǐng)域獲得了廣泛應(yīng)用。然而，深層卷積神經(jīng)網(wǎng)絡(luò)具有大容量、深層次、高維度等特點(diǎn)，網(wǎng)絡(luò)參數(shù)眾多，所需要的內(nèi)存和計(jì)算資源十分龐大，目前其應(yīng)用模式主要集中在高性能計(jì)算集群或云端平臺，在終端應(yīng)用中存在著存儲空間有限、計(jì)算資源不足、運(yùn)算時(shí)間長等問題。目前，針對卷積神經(jīng)網(wǎng)絡(luò)在終端應(yīng)用中的壓縮與加速仍然面臨著一定的挑戰(zhàn)。

針對卷積神經(jīng)網(wǎng)絡(luò)的模型壓縮與計(jì)算加速，已有一些算法被提出。文獻(xiàn)[hansong,etal.deepcompression:compressingdeepneuralnetworkswithpruning,trainedquantizationandhuffmancoding]針對卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)冗余，設(shè)計(jì)了一種模型剪枝策略，經(jīng)過連接剪枝、權(quán)值量化、huffman編碼之后模型尺寸大大減少。然而，其剪枝主要作用于參數(shù)量多而冗余的全連接層，卷積層的參數(shù)量少但是計(jì)算量大，因此剪枝法對于卷積神經(jīng)網(wǎng)絡(luò)的速度提升十分有限。在文獻(xiàn)[andrewg.howard,etal.mobilenets:efficientconvolutionalneuralnetworksformobilevisionapplications]中，谷歌研究人員提出一種適用于手機(jī)的輕量卷積神經(jīng)網(wǎng)絡(luò)模型，通過將傳統(tǒng)的三維全連接卷積拆分成二維部分連接卷積及1x1線性映射卷積，降低模型的參數(shù)及計(jì)算量，并引入了通道數(shù)因子與分辨率因子兩個超參數(shù)，對網(wǎng)絡(luò)模型的尺寸進(jìn)行輔助控制。然而，卷積拆分后每個輸入通道只與一個卷積核進(jìn)行卷積，其提取特征的能力差，不僅會丟失很多信息，還使得網(wǎng)絡(luò)的表達(dá)空間十分受限。此外，通道數(shù)因子為全局性的，即卷積神經(jīng)網(wǎng)絡(luò)的所有層的通道數(shù)稀疏度必須是統(tǒng)一的。然而，不同層的卷積核對于通道剪枝的敏感度與容忍度不同，采用統(tǒng)一的通道數(shù)因子可能在某些層無法達(dá)到本應(yīng)有的稀疏度，而在其它層超出容忍度極限而帶來不必要的性能損失。因此，現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)在終端上運(yùn)行時(shí)，其壓縮與加速過程中表現(xiàn)出效率低、效果差的現(xiàn)狀。綜上，現(xiàn)有技術(shù)中的卷積神經(jīng)網(wǎng)絡(luò)在終端上運(yùn)行時(shí)存在運(yùn)行效率較低的技術(shù)問題。

針對上述的問題，目前尚未提出有效的解決方案。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供了一種終端卷積神經(jīng)網(wǎng)絡(luò)的處理方法、裝置、存儲介質(zhì)及處理器，以至少解決現(xiàn)有技術(shù)中的卷積神經(jīng)網(wǎng)絡(luò)在終端上運(yùn)行時(shí)存在的運(yùn)行效率較低的技術(shù)問題。

根據(jù)本發(fā)明實(shí)施例的一個方面，提供了一種終端卷積神經(jīng)網(wǎng)絡(luò)的處理方法，該方法包括：對第一卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行拆分處理，得到第二卷積神經(jīng)網(wǎng)絡(luò)；向上述第二卷積神經(jīng)網(wǎng)絡(luò)中拆分的卷積層中添加殘差分支，得到第三卷積神經(jīng)網(wǎng)絡(luò)；根據(jù)預(yù)設(shè)數(shù)據(jù)集對上述第三卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到第四卷積神經(jīng)網(wǎng)絡(luò)；根據(jù)預(yù)設(shè)卷積通道稀疏度計(jì)算模型計(jì)算上述第四卷積神經(jīng)網(wǎng)絡(luò)中每層卷積核通道的稀疏度，進(jìn)而根據(jù)上述稀疏度對上述第四卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行通道修剪，得到第五卷積神經(jīng)網(wǎng)絡(luò)；根據(jù)上述預(yù)設(shè)數(shù)據(jù)集對上述第五卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)；在終端上運(yùn)行上述目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)。

進(jìn)一步地，在對第一卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行拆分處理之前，上述方法還包括：根據(jù)預(yù)設(shè)三維全連接卷積核創(chuàng)建上述第一卷積神經(jīng)網(wǎng)絡(luò)。

進(jìn)一步地，上述對第一卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行拆分處理，得到第二卷積神經(jīng)網(wǎng)絡(luò)包括：對上述第一卷積神經(jīng)網(wǎng)絡(luò)中的至少部分卷積層進(jìn)行拆分，并將上述預(yù)設(shè)三維全連接卷積核拆分為二維部分連接卷積核和1x1線性映射卷積核；根據(jù)上述第一卷積神經(jīng)網(wǎng)絡(luò)中被拆分后的上述卷積層、上述二維部分連接卷積核和上述1x1線性映射卷積核得到上述第二卷積神經(jīng)網(wǎng)絡(luò)。

進(jìn)一步地，上述根據(jù)上述預(yù)設(shè)數(shù)據(jù)集對上述第五卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)包括：根據(jù)隨機(jī)梯度法和上述預(yù)設(shè)數(shù)據(jù)集對上述第五卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至上述第五卷積神經(jīng)網(wǎng)絡(luò)達(dá)到收斂狀態(tài)，其中，達(dá)到上述收斂狀態(tài)的上述第五卷積神經(jīng)網(wǎng)絡(luò)為上述目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)。

根據(jù)本發(fā)明實(shí)施例的另一個方面，還提供了一種終端卷積神經(jīng)網(wǎng)絡(luò)的處理裝置，該裝置包括：第一處理單元，用于對第一卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行拆分處理，得到第二卷積神經(jīng)網(wǎng)絡(luò)；第二處理單元，用于向上述第二卷積神經(jīng)網(wǎng)絡(luò)中拆分的卷積層中添加殘差分支，得到第三卷積神經(jīng)網(wǎng)絡(luò)；第三處理單元，用于根據(jù)預(yù)設(shè)數(shù)據(jù)集對上述第三卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到第四卷積神經(jīng)網(wǎng)絡(luò)；第四處理單元，用于根據(jù)預(yù)設(shè)卷積通道稀疏度計(jì)算模型計(jì)算上述第四卷積神經(jīng)網(wǎng)絡(luò)中每層卷積核通道的稀疏度，進(jìn)而根據(jù)上述稀疏度對上述第四卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行通道修剪，得到第五卷積神經(jīng)網(wǎng)絡(luò)；第五處理單元，用于根據(jù)上述預(yù)設(shè)數(shù)據(jù)集對上述第五卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)；運(yùn)行單元，用于在終端上運(yùn)行上述目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)。

進(jìn)一步地，上述裝置還包括：創(chuàng)建單元，用于根據(jù)預(yù)設(shè)三維全連接卷積核創(chuàng)建上述第一卷積神經(jīng)網(wǎng)絡(luò)。

進(jìn)一步地，上述第一處理單元包括：第一處理子單元，用于對上述第一卷積神經(jīng)網(wǎng)絡(luò)中的至少部分卷積層進(jìn)行拆分，并將上述預(yù)設(shè)三維全連接卷積核拆分為二維部分連接卷積核和1x1線性映射卷積核；第一獲取子單元，用于根據(jù)上述第一卷積神經(jīng)網(wǎng)絡(luò)中被拆分后的上述卷積層、上述二維部分連接卷積核和上述1x1線性映射卷積核得到上述第二卷積神經(jīng)網(wǎng)絡(luò)。

進(jìn)一步地，上述第五處理單元包括：第二處理子單元，根據(jù)隨機(jī)梯度法和上述預(yù)設(shè)數(shù)據(jù)集對上述第五卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至上述第五卷積神經(jīng)網(wǎng)絡(luò)達(dá)到收斂狀態(tài)，其中，達(dá)到上述收斂狀態(tài)的上述第五卷積神經(jīng)網(wǎng)絡(luò)為上述目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)。

根據(jù)本發(fā)明實(shí)施例的又一個方面，還提供了一種存儲介質(zhì)，上述存儲介質(zhì)包括存儲的程序，其中，在上述程序運(yùn)行時(shí)控制上述存儲介質(zhì)所在設(shè)備執(zhí)行上述的終端卷積神經(jīng)網(wǎng)絡(luò)的處理方法。

根據(jù)本發(fā)明實(shí)施例的又一個方面，還提供了一種處理器，上述處理器用于運(yùn)行程序，其中，上述程序運(yùn)行時(shí)執(zhí)行上述的終端卷積神經(jīng)網(wǎng)絡(luò)的處理方法。

在本發(fā)明實(shí)施例中，采用對第一卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行拆分處理，得到第二卷積神經(jīng)網(wǎng)絡(luò)的方式，通過向第二卷積神經(jīng)網(wǎng)絡(luò)中拆分的卷積層中添加殘差分支，得到第三卷積神經(jīng)網(wǎng)絡(luò)；根據(jù)預(yù)設(shè)數(shù)據(jù)集對第三卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到第四卷積神經(jīng)網(wǎng)絡(luò)；根據(jù)預(yù)設(shè)卷積通道稀疏度計(jì)算模型計(jì)算第四卷積神經(jīng)網(wǎng)絡(luò)中每層卷積核通道的稀疏度，進(jìn)而根據(jù)稀疏度對第四卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行通道修剪，得到第五卷積神經(jīng)網(wǎng)絡(luò)；根據(jù)預(yù)設(shè)數(shù)據(jù)集對第五卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)；達(dá)到了在終端上運(yùn)行目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)的目的，從而實(shí)現(xiàn)了提升卷積在終端運(yùn)行時(shí)的壓縮與加速過程中的運(yùn)行效率、有效保障了卷積神經(jīng)網(wǎng)絡(luò)在終端上運(yùn)行的性能、極大降低了卷積網(wǎng)絡(luò)運(yùn)行過程中的參數(shù)量及計(jì)算量的技術(shù)效果，進(jìn)而解決了現(xiàn)有技術(shù)中的卷積神經(jīng)網(wǎng)絡(luò)在終端上運(yùn)行時(shí)存在的運(yùn)行效率較低的技術(shù)問題。

附圖說明

此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解，構(gòu)成本申請的一部分，本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中：

圖1(a)是根據(jù)本發(fā)明實(shí)施例的一種可選的終端卷積神經(jīng)網(wǎng)絡(luò)的處理方法的流程示意圖；

圖1(b)是根據(jù)本發(fā)明實(shí)施例的一種可選的終端卷積神經(jīng)網(wǎng)絡(luò)的處理方法中的第一卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖；

圖2是根據(jù)本發(fā)明實(shí)施例的另一種可選的終端卷積神經(jīng)網(wǎng)絡(luò)的處理方法的流程示意圖；

圖3是根據(jù)本發(fā)明實(shí)施例的一種可選的終端卷積神經(jīng)網(wǎng)絡(luò)的處理裝置的結(jié)構(gòu)示意圖；

圖4是根據(jù)本發(fā)明實(shí)施例的另一種可選的終端卷積神經(jīng)網(wǎng)絡(luò)的處理裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分的實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬于本發(fā)明保護(hù)的范圍。

需要說明的是，本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”等是用于區(qū)別類似的對象，而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換，以便這里描述的本發(fā)明的實(shí)施例能夠以除了在這里圖示或描述的那些以外的順序?qū)嵤４送?，術(shù)語“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或?qū)τ谶@些過程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。

實(shí)施例1

根據(jù)本發(fā)明實(shí)施例，提供了一種終端卷積神經(jīng)網(wǎng)絡(luò)的處理方法的實(shí)施例，需要說明的是，在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行，并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。

圖1(a)是根據(jù)本發(fā)明實(shí)施例的一種可選的終端卷積神經(jīng)網(wǎng)絡(luò)的處理方法的流程示意圖，如圖1(a)所示，該方法包括如下步驟：

步驟s102，對第一卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行拆分處理，得到第二卷積神經(jīng)網(wǎng)絡(luò)；

步驟s104，向第二卷積神經(jīng)網(wǎng)絡(luò)中拆分的卷積層中添加殘差分支，得到第三卷積神經(jīng)網(wǎng)絡(luò)；

步驟s106，根據(jù)預(yù)設(shè)數(shù)據(jù)集對第三卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到第四卷積神經(jīng)網(wǎng)絡(luò)；

步驟s108，根據(jù)預(yù)設(shè)卷積通道稀疏度計(jì)算模型計(jì)算第四卷積神經(jīng)網(wǎng)絡(luò)中每層卷積核通道的稀疏度，進(jìn)而根據(jù)稀疏度對第四卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行通道修剪，得到第五卷積神經(jīng)網(wǎng)絡(luò)；

步驟s110，根據(jù)預(yù)設(shè)數(shù)據(jù)集對第五卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)；

步驟s112，在終端上運(yùn)行目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)。

在本發(fā)明實(shí)施例中，采用對第一卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行拆分處理，得到第二卷積神經(jīng)網(wǎng)絡(luò)的方式，通過向第二卷積神經(jīng)網(wǎng)絡(luò)中拆分的卷積層中添加殘差分支，得到第三卷積神經(jīng)網(wǎng)絡(luò)；根據(jù)預(yù)設(shè)數(shù)據(jù)集對第三卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到第四卷積神經(jīng)網(wǎng)絡(luò)；根據(jù)預(yù)設(shè)卷積通道稀疏度計(jì)算模型計(jì)算第四卷積神經(jīng)網(wǎng)絡(luò)中每層卷積核通道的稀疏度，進(jìn)而根據(jù)稀疏度對第四卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行通道修剪，得到第五卷積神經(jīng)網(wǎng)絡(luò)；根據(jù)預(yù)設(shè)數(shù)據(jù)集對第五卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)；達(dá)到了在終端上運(yùn)行目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)的目的，從而實(shí)現(xiàn)了提升卷積在終端運(yùn)行時(shí)的壓縮與加速過程中的運(yùn)行效率、有效保障了卷積神經(jīng)網(wǎng)絡(luò)在終端上運(yùn)行的性能、極大降低了卷積網(wǎng)絡(luò)運(yùn)行過程中的參數(shù)量及計(jì)算量的技術(shù)效果，進(jìn)而解決了現(xiàn)有技術(shù)中的卷積神經(jīng)網(wǎng)絡(luò)在終端上運(yùn)行時(shí)存在的運(yùn)行效率較低的技術(shù)問題。

可選地，卷積神經(jīng)網(wǎng)絡(luò)(convolutionalneuralnetwork,cnn)是一種前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元，對于大型圖像處理有出色表現(xiàn)。它包括卷積層(convolutionallayer)、池化層(poolinglayer)、全連接層(fullyconnectedlayer)等。

可選地，圖1(b)是根據(jù)本發(fā)明實(shí)施例的一種可選的終端卷積神經(jīng)網(wǎng)絡(luò)的處理方法中的第一卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖，如圖1(b)所示，第一預(yù)設(shè)卷積神經(jīng)網(wǎng)絡(luò)包括：輸入層、12個卷積層、1個池化層、1個全連接層。其中，輸入層的圖像尺寸縮放為224x224。所有卷積層的卷積核大小為3x3，采用relu激活函數(shù)。第一卷積層卷積核個數(shù)為32，步長為1；第二卷積層卷積核個數(shù)為64，步長為2；第三卷積層卷積核個數(shù)為128，步長為2；第四卷積層卷積核個數(shù)為128，步長為2；第五卷積層卷積核個數(shù)為256，步長為1；第六卷積層卷積核個數(shù)為256，步長為2；第七卷積層卷積核個數(shù)為512，步長為1；第八卷積層卷積核個數(shù)為512，步長為1；第九卷積層卷積核個數(shù)為512，步長為1；第十卷積層卷積核個數(shù)為512，步長為2；第十一卷積層卷積核個數(shù)為1024，步長為1；第十二卷積層卷積核個數(shù)為1024，步長為2。池化層采用平均池化法，池化核個數(shù)為3x3，步長為1。全連接層神經(jīng)元個數(shù)為1000。

可選地，步驟s104，向第二卷積神經(jīng)網(wǎng)絡(luò)中拆分的卷積層中添加殘差分支可以包括：將二維部分連接卷積核的輸入與1x1線性映射卷積核的輸出相加。

可選地，步驟s106，根據(jù)預(yù)設(shè)數(shù)據(jù)集對第三卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練可以包括：對卷積神經(jīng)網(wǎng)絡(luò)中的所有參數(shù)進(jìn)行隨機(jī)初始化，之后采用隨機(jī)梯度下降法進(jìn)行訓(xùn)練直至收斂。具體地，預(yù)設(shè)數(shù)據(jù)集可以是imagenet分類任務(wù)數(shù)據(jù)集。

可選地，步驟s108，根據(jù)預(yù)設(shè)卷積通道稀疏度計(jì)算模型計(jì)算第四卷積神經(jīng)網(wǎng)絡(luò)中每層卷積核通道的稀疏度可以包括：對于未拆分的卷積層，計(jì)算該層三維全連接卷積核不同通道所有數(shù)值的絕對值之和，得到該層多個通道的l1范式數(shù)值；對于拆分后的卷積層，先將二維部分連接卷積核與1x1線性映射卷積核進(jìn)行相乘，得到重建卷積核，計(jì)算重建卷積核不同通道所有數(shù)值的絕對值之和，得到該層多個通道的l1范式數(shù)值。將每個卷積層所有通道的l1范式數(shù)值進(jìn)行歸一化，并與預(yù)設(shè)的閾值進(jìn)行對比，計(jì)算每個卷積層的l1范式數(shù)值小于預(yù)設(shè)閾值的通道數(shù)的個數(shù)與該卷積層通道總數(shù)的比例，得到第四卷積神經(jīng)網(wǎng)絡(luò)中每層卷積核通道的稀疏度。

具體地，步驟s108中，對于未拆分的卷積層，可以通過計(jì)算該層三維全連接卷積核不同通道所有數(shù)值的絕對值之和，得到該層多個通道的l1范式數(shù)值；對于拆分后的卷積層，先將二維部分連接卷積核與1x1線性映射卷積核進(jìn)行相乘，得到重建卷積核，計(jì)算重建卷積核不同通道所有數(shù)值的絕對值之和，得到該層多個通道的l1范式數(shù)值。將每個卷積層所有通道的l1范式數(shù)值進(jìn)行歸一化，并與預(yù)設(shè)的閾值進(jìn)行對比，計(jì)算每個卷積層的l1范式數(shù)值小于預(yù)設(shè)閾值的通道數(shù)的個數(shù)與該卷積層通道總數(shù)的比例，得到第四預(yù)設(shè)卷積神經(jīng)網(wǎng)絡(luò)每層卷積層的稀疏度。第三預(yù)設(shè)卷積神經(jīng)網(wǎng)絡(luò)的第一卷積層未拆分，其卷積核f尺寸為3x3，通道數(shù)為32，記為f＝[f1,f2,…,f32]，fi(i＝1,2,...,32)維度為[3,3,3]。計(jì)算||f1||1,||f2||1,…,||f32||1，將其進(jìn)行歸一化，即對于其他拆分過的卷積層，如第二卷積層，a的卷積核尺寸為3x3，通道數(shù)為32，記為a＝[a1,a2,…,a32]，ai(i＝1,2,...,32)維度為[3,3,1]。b的卷積核尺寸為1x1，通道數(shù)為64，記為b＝[b1,b2,…,b64]，bi(i＝1,2,...,64)維度為[1,1,32]。計(jì)算axb1，axb2，…，axb64，最后將其進(jìn)行歸一化。

可選地，本發(fā)明實(shí)施例中所涉及的終端卷積神經(jīng)網(wǎng)絡(luò)的處理方法，可以針對卷積神經(jīng)網(wǎng)絡(luò)中參數(shù)少但是計(jì)算量大的卷積層進(jìn)行優(yōu)化加速。通過對三維全連接卷積進(jìn)行拆分，降低了卷積層的參數(shù)量及計(jì)算量；通過在拆分卷積層中引入殘差旁路分支，在不增加參數(shù)量的前提下降低了拆分對卷積層的精度帶來的影響，保證了卷積神經(jīng)網(wǎng)絡(luò)的性能；通過引入卷積通道稀疏度評估模型，獲得不同卷積層的稀疏度比例，可以反映每層卷積層對通道修剪的敏感度與容忍度，為通道修剪提供輔助指導(dǎo)作用；通過逐層修剪卷積通道，有效利用卷積層中的參數(shù)冗余，在不影響卷積神經(jīng)網(wǎng)絡(luò)性能的前提下進(jìn)一步降低參數(shù)量及計(jì)算量。因此，本發(fā)明實(shí)現(xiàn)了針對卷積神經(jīng)網(wǎng)絡(luò)的壓縮與加速。

可選地，步驟s110，根據(jù)步驟s108中的稀疏度對第四卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行通道修剪，得到第五卷積神經(jīng)網(wǎng)絡(luò)可以包括：根據(jù)預(yù)設(shè)卷積通道稀疏度評估模型計(jì)算出來的稀疏度及通道l1范式，去掉每個卷積層中l(wèi)1范式較小的通道，修剪掉的通道數(shù)不能大于該層的稀疏度與通道總數(shù)的乘積。對于未拆分的卷積層，修剪時(shí)直接去掉對應(yīng)部分的卷積核；對于拆分后的卷積層，修剪時(shí)要同時(shí)去掉該通道對應(yīng)的二維部分連接卷積核與1x1線性映射卷積核。

可選地，運(yùn)行目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)的終端可以為計(jì)算機(jī)終端或者移動設(shè)備終端。

可選地，在執(zhí)行步驟s102之前，即在對第一卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行拆分處理之前，該方法還可以包括：根據(jù)預(yù)設(shè)三維全連接卷積核創(chuàng)建第一卷積神經(jīng)網(wǎng)絡(luò)。

具體地，第一卷積神經(jīng)網(wǎng)絡(luò)可以包含輸入層、三維全連接卷積層、池化層、非線性層、全連接層等。其中，三維全連接卷積層的卷積核的每個通道都與前一層的所有通道相連接。

可選地，圖2是根據(jù)本發(fā)明實(shí)施例的另一種可選的終端卷積神經(jīng)網(wǎng)絡(luò)的處理方法的流程示意圖，如圖2所示，步驟s102，對第一卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行拆分處理，得到第二卷積神經(jīng)網(wǎng)絡(luò)包括：

步驟s202，對第一卷積神經(jīng)網(wǎng)絡(luò)中的至少部分卷積層進(jìn)行拆分，并將預(yù)設(shè)三維全連接卷積核拆分為二維部分連接卷積核和1x1線性映射卷積核；

步驟s204，根據(jù)第一卷積神經(jīng)網(wǎng)絡(luò)中被拆分后的卷積層、二維部分連接卷積核和1x1線性映射卷積核得到第二卷積神經(jīng)網(wǎng)絡(luò)。

可選地，步驟s202中的二維部分連接卷積核的每個通道只與前一層的單個通道相連接，而1x1線性映射卷積核的每個通道與二維部分連接卷積核的所有輸出通道相連接。

可選地，仍如圖1(b)所示，對第一卷積神經(jīng)網(wǎng)絡(luò)的第二層至第十二層卷積層進(jìn)行拆分。以第二層為例，原卷積核k大小為3x3，通道數(shù)為64，記為k＝[k1,k2,…,k64]。其中ki(i＝1,2,...,64)維度為[3,3,32]。經(jīng)過拆分之后，得到二維部分連接卷積核a與1x1線性映射卷積核b。其中，a的卷積核尺寸為3x3，通道數(shù)為32，記為a＝[a1,a2,…,a32]，ai(i＝1,2,...,32)維度為[3,3,1]。b的卷積核尺寸為1x1，通道數(shù)為64，記為b＝[b1,b2,…,b64]，bi(i＝1,2,...,64)維度為[1,1,32]。二維部分連接卷積核的步長與原三維全連接卷積核步長一致，1x1線性映射卷積核步長為1。

可選地，步驟s104，向第二卷積神經(jīng)網(wǎng)絡(luò)中拆分的卷積層中添加殘差分支，得到第三卷積神經(jīng)網(wǎng)絡(luò)可以包括：將二維部分連接卷積核的輸入與1x1線性映射卷積核的輸出相加。

可選地，步驟s110，根據(jù)預(yù)設(shè)數(shù)據(jù)集對第五卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)包括：根據(jù)隨機(jī)梯度法和預(yù)設(shè)數(shù)據(jù)集對第五卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至第五卷積神經(jīng)網(wǎng)絡(luò)達(dá)到收斂狀態(tài)，其中，達(dá)到收斂狀態(tài)的第五卷積神經(jīng)網(wǎng)絡(luò)為目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)。

可選地，本發(fā)明實(shí)施例中所涉及的終端卷積神經(jīng)網(wǎng)絡(luò)的處理方法可以采用將三維全連接卷積拆分為二維部分連接卷積與1x1線性映射卷積的方式，降低卷積神經(jīng)網(wǎng)絡(luò)模型的數(shù)據(jù)量與計(jì)算量。通過對拆分后的卷積層引入殘差旁路分支，保證了網(wǎng)絡(luò)的表達(dá)能力與精度，并通過卷積通道稀疏度評估模型對不同卷積層進(jìn)行卷積通道縮減，達(dá)到了在保證網(wǎng)絡(luò)精度前提下進(jìn)一步降低網(wǎng)絡(luò)參數(shù)與計(jì)算量的目的，從而實(shí)現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)壓縮與加速的技術(shù)效果，進(jìn)而解決了現(xiàn)有卷積壓縮與加速技術(shù)效率低、效果差的技術(shù)問題。

在本發(fā)明實(shí)施例中，采用對第一卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行拆分處理，得到第二卷積神經(jīng)網(wǎng)絡(luò)的方式，通過向第二卷積神經(jīng)網(wǎng)絡(luò)中拆分的卷積層中添加殘差分支，得到第三卷積神經(jīng)網(wǎng)絡(luò)；根據(jù)預(yù)設(shè)數(shù)據(jù)集對第三卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到第四卷積神經(jīng)網(wǎng)絡(luò)；根據(jù)預(yù)設(shè)卷積通道稀疏度計(jì)算模型計(jì)算第四卷積神經(jīng)網(wǎng)絡(luò)中每層卷積核通道的稀疏度，進(jìn)而根據(jù)稀疏度對第四卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行通道修剪，得到第五卷積神經(jīng)網(wǎng)絡(luò)；根據(jù)預(yù)設(shè)數(shù)據(jù)集對第五卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)；達(dá)到了在終端上運(yùn)行目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)的目的，從而實(shí)現(xiàn)了提升卷積在終端運(yùn)行時(shí)的壓縮與加速過程中的運(yùn)行效率、有效保障了卷積神經(jīng)網(wǎng)絡(luò)在終端上運(yùn)行的性能、極大降低了卷積網(wǎng)絡(luò)運(yùn)行過程中的參數(shù)量及計(jì)算量的技術(shù)效果，進(jìn)而解決了現(xiàn)有技術(shù)中的卷積神經(jīng)網(wǎng)絡(luò)在終端上運(yùn)行時(shí)存在的運(yùn)行效率較低的技術(shù)問題。

實(shí)施例2

根據(jù)本發(fā)明實(shí)施例的另一個方面，還提供了終端卷積神經(jīng)網(wǎng)絡(luò)的處理裝置，如圖3所示，該裝置包括：第一處理單元301、第二處理單元303、第三處理單元305、第四處理單元307、第五處理單元309和運(yùn)行單元311。

其中，第一處理單元301，用于對第一卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行拆分處理，得到第二卷積神經(jīng)網(wǎng)絡(luò)；第二處理單元303，用于向第二卷積神經(jīng)網(wǎng)絡(luò)中拆分的卷積層中添加殘差分支，得到第三卷積神經(jīng)網(wǎng)絡(luò)；第三處理單元305，用于根據(jù)預(yù)設(shè)數(shù)據(jù)集對第三卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到第四卷積神經(jīng)網(wǎng)絡(luò)；第四處理單元307，用于根據(jù)預(yù)設(shè)卷積通道稀疏度計(jì)算模型計(jì)算第四卷積神經(jīng)網(wǎng)絡(luò)中每層卷積核通道的稀疏度，進(jìn)而根據(jù)稀疏度對第四卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行通道修剪，得到第五卷積神經(jīng)網(wǎng)絡(luò)；第五處理單元309，用于根據(jù)預(yù)設(shè)數(shù)據(jù)集對第五卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)；運(yùn)行單元311，用于在終端上運(yùn)行目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)。

可選地，如圖4所示，該裝置還可以包括：創(chuàng)建單元401，用于根據(jù)預(yù)設(shè)三維全連接卷積核創(chuàng)建第一卷積神經(jīng)網(wǎng)絡(luò)。

可選地，第一處理單元301可以包括：第一處理子單元，用于對第一卷積神經(jīng)網(wǎng)絡(luò)中的至少部分卷積層進(jìn)行拆分，并將預(yù)設(shè)三維全連接卷積核拆分為二維部分連接卷積核和1x1線性映射卷積核；第一獲取子單元，用于根據(jù)第一卷積神經(jīng)網(wǎng)絡(luò)中被拆分后的卷積層、二維部分連接卷積核和1x1線性映射卷積核得到第二卷積神經(jīng)網(wǎng)絡(luò)。

可選地，第五處理單元可以包括：第二處理子單元，根據(jù)隨機(jī)梯度法和預(yù)設(shè)數(shù)據(jù)集對第五卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至第五卷積神經(jīng)網(wǎng)絡(luò)達(dá)到收斂狀態(tài)，其中，達(dá)到收斂狀態(tài)的第五卷積神經(jīng)網(wǎng)絡(luò)為目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)。

根據(jù)本發(fā)明實(shí)施例的又一個方面，還提供了一種存儲介質(zhì)，該存儲介質(zhì)包括存儲的程序，其中，在程序運(yùn)行時(shí)控制存儲介質(zhì)所在設(shè)備執(zhí)行上述實(shí)施例1中的終端卷積神經(jīng)網(wǎng)絡(luò)的處理方法。

根據(jù)本發(fā)明實(shí)施例的又一個方面，還提供了一種處理器，該處理器用于運(yùn)行程序，程序運(yùn)行時(shí)執(zhí)行上述實(shí)施例1中的終端卷積神經(jīng)網(wǎng)絡(luò)的處理方法。

在本發(fā)明實(shí)施例中，采用對第一卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行拆分處理，得到第二卷積神經(jīng)網(wǎng)絡(luò)的方式，通過向第二卷積神經(jīng)網(wǎng)絡(luò)中拆分的卷積層中添加殘差分支，得到第三卷積神經(jīng)網(wǎng)絡(luò)；根據(jù)預(yù)設(shè)數(shù)據(jù)集對第三卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到第四卷積神經(jīng)網(wǎng)絡(luò)；根據(jù)預(yù)設(shè)卷積通道稀疏度計(jì)算模型計(jì)算第四卷積神經(jīng)網(wǎng)絡(luò)中每層卷積核通道的稀疏度，進(jìn)而根據(jù)稀疏度對第四卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行通道修剪，得到第五卷積神經(jīng)網(wǎng)絡(luò)；根據(jù)預(yù)設(shè)數(shù)據(jù)集對第五卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)；達(dá)到了在終端上運(yùn)行目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)的目的，從而實(shí)現(xiàn)了提升卷積在終端運(yùn)行時(shí)的壓縮與加速過程中的運(yùn)行效率、有效保障了卷積神經(jīng)網(wǎng)絡(luò)在終端上運(yùn)行的性能、極大降低了卷積網(wǎng)絡(luò)運(yùn)行過程中的參數(shù)量及計(jì)算量的技術(shù)效果，進(jìn)而解決了現(xiàn)有技術(shù)中的卷積神經(jīng)網(wǎng)絡(luò)在終端上運(yùn)行時(shí)存在的運(yùn)行效率較低的技術(shù)問題。

上述本發(fā)明實(shí)施例序號僅僅為了描述，不代表實(shí)施例的優(yōu)劣。

在本發(fā)明的上述實(shí)施例中，對各個實(shí)施例的描述都各有側(cè)重，某個實(shí)施例中沒有詳述的部分，可以參見其他實(shí)施例的相關(guān)描述。

在本申請所提供的幾個實(shí)施例中，應(yīng)該理解到，所揭露的技術(shù)內(nèi)容，可通過其它的方式實(shí)現(xiàn)。其中，以上所描述的裝置實(shí)施例僅僅是示意性的，例如所述單元的劃分，可以為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，單元或模塊的間接耦合或通信連接，可以是電性或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來實(shí)現(xiàn)本實(shí)施例方案的目的。

另外，在本發(fā)明各個實(shí)施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨(dú)物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能單元的形式實(shí)現(xiàn)。

所述集成的單元如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，可以存儲在一個計(jì)算機(jī)可讀取存儲介質(zhì)中?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計(jì)算機(jī)設(shè)備(可為個人計(jì)算機(jī)、服務(wù)器或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實(shí)施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括：u盤、只讀存儲器(rom，read-onlymemory)、隨機(jī)存取存儲器(ram，randomaccessmemory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。