本發(fā)明涉及的是一種神經(jīng)網(wǎng)絡領域的技術，具體是一種用于深度卷積模型的雙階段模型重優(yōu)化方法。

背景技術：

1、目前，深度學習算法已經(jīng)在線上交易、智能安防監(jiān)控、智慧城市建設等各個領域取得了深入發(fā)展，在身份識別、語音交互、智能教育有著廣泛的應用。為了提高實際任務中模型的精度，基于深度神經(jīng)網(wǎng)絡的方法所需的參數(shù)量及計算資源往往較為龐大。然而，隨著人工智能技術的逐步產品化以及智能應用朝著小型化方向的發(fā)展，越來越多的深度學習應用被要求部署在邊緣計算設備上。在人工智能實驗室內，深度學習服務器配備了充裕的存儲空間與計算能力，以便于大規(guī)模深度模型的高效率訓練和推理。相較之下，鑒于對成本和功耗的嚴格控制，邊緣設備系統(tǒng)的存儲能力和計算資源往往受到嚴重限制，導致在其上通常只能部署性能較差的深度模型，難以達到實驗室中高性能模型的效果表現(xiàn)。

技術實現(xiàn)思路

1、本發(fā)明針對現(xiàn)有邊緣設備應用場景中深度卷積模型模型精度不足、對原始模型選取的泛用性不足且不能滿足在實際部署前提升原始模型性能的要求的問題，提出一種用于深度卷積模型的雙階段模型重優(yōu)化方法，結合了基于向量級的知識蒸餾框架以及多支路的重參數(shù)化訓練模塊，在不改變原有模型計算量、參數(shù)量、模型結構和推理速度的情況下有效提升深度卷積模型的性能。

2、本發(fā)明是通過以下技術方案實現(xiàn)的：

3、本發(fā)明涉及一種用于深度卷積模型的雙階段模型重優(yōu)化方法，通過在第一階段將原始深度卷積模型改造為包含多支路的重參數(shù)化訓練模塊的中間模型，并對其進行蒸餾訓練；在第二階段將訓練后的中間模型的重參數(shù)化訓練模塊進行轉化，使中間模型的結構恢復為原始深度卷積模型；在在線階段使用優(yōu)化后的深度卷積模型進行實際部署。

4、所述的中間模型，將原始深度卷積模型中的3×3卷積替換為重參數(shù)化訓練模塊后得到。

5、所述的蒸餾訓練是指：將中間模型作為學生模型、另一個更高性能的深度模型作為知識蒸餾框架中的教師模型，使用知識蒸餾框架對神經(jīng)網(wǎng)絡進行蒸餾訓練。

6、所述的更高性能的深度模型，采用但不限于groupface網(wǎng)絡、wavlm模型加上x-vector頭等網(wǎng)絡實現(xiàn)。

7、所述的重參數(shù)化訓練模塊采用但不限于與普通卷積等效轉換的包含多條支路和多個卷積的卷積模塊實現(xiàn)。

8、技術效果

9、本發(fā)明結合知識蒸餾技術和結構重參數(shù)化技術，提出中間模型的概念，并使用基于向量級的知識蒸餾框架對中間模型進行蒸餾，而不是對原始模型直接進行蒸餾。同時，通過多支路重參數(shù)化訓練模塊在訓練階段顯著提升模型容量和特征表達能力，并在推理階段等效地轉換為單個3×3卷積。與現(xiàn)有技術相比，本發(fā)明在不影響原始模型的參數(shù)量、網(wǎng)絡結構、推理速度、計算復雜度的同時，顯著提升深度卷積模型的性能，且操作簡單，泛用性較高，可以通用于所有基于卷積的深度學習模型。

技術特征：

1.一種用于深度卷積模型的雙階段模型重優(yōu)化方法，其特征在于，通過在第一階段將原始深度卷積模型改造為包含多支路的重參數(shù)化訓練模塊的中間模型，并對其進行蒸餾訓練；在第二階段將訓練后的中間模型的重參數(shù)化訓練模塊進行轉化，使中間模型的結構恢復為原始深度卷積模型；在在線階段使用優(yōu)化后的深度卷積模型進行實際部署。

2.根據(jù)權利要求1所述的用于深度卷積模型的雙階段模型重優(yōu)化方法，其特征是，具體包括：

3.根據(jù)權利要求2所述的用于深度卷積模型的雙階段模型重優(yōu)化方法，其特征是，所述的重參數(shù)化訓練模塊包括：3×3卷積分支、1×1卷積分支、殘差連接分支、混合卷積分支以及函數(shù)激活層，其中：混合卷積分支基于倒置瓶頸結構，先采用1×1卷積增加特征圖通道數(shù)，豐富特征空間，然后采用3×3卷積在通道數(shù)擴增的特征圖上進行空間特征提取，最后再次通過1×1卷積將通道數(shù)縮小，輸出特征圖通道數(shù)與輸入特征圖通道數(shù)相同；殘差連接分支用于解決深層網(wǎng)絡中的梯度消失問題，使網(wǎng)絡更加易于收斂；每個分支的輸出特征圖的尺寸均與輸入特征圖的尺寸保持一致，四條支路結果相加融合后通過函數(shù)激活層。

4.根據(jù)權利要求3所述的用于深度卷積模型的雙階段模型重優(yōu)化方法，其特征是，所述的重參數(shù)化訓練模塊的四個分支中的卷積層后均設有一個批歸一化層(bn)，以對特征圖進行標準化，并能夠加快模型收斂速度并防止模型過擬合。

5.根據(jù)權利要求3或4所述的用于深度卷積模型的雙階段模型重優(yōu)化方法，其特征是，所述的殘差鏈接分支中進一步增設批歸一化層。

6.根據(jù)權利要求2所述的用于深度卷積模型的雙階段模型重優(yōu)化方法，其特征是，所述的模型重參數(shù)化技術是指：將串連的3×3卷積和bn層參數(shù)融合，合并為單一的3×3卷積；將1×1卷積和bn層轉換為3×3卷積；將1×1卷積的卷積核的自身參數(shù)的外填充一圈值為0的參數(shù)以轉換為3×3卷積；將bn層的可學習縮放系數(shù)進行重排，即將其視為一個1×1卷積層后，再在其自身參數(shù)外面填充一圈值為0的參數(shù)，轉換后訓練模塊左側三個分支均轉變?yōu)閱蝹€3×3卷積，最右側的混合卷積分支則包含1×1卷積，3×3卷積，1×1卷積串連序列。

7.根據(jù)權利要求2所述的用于深度卷積模型的雙階段模型重優(yōu)化方法，其特征是，所述的融合處理，具體包括：

8.根據(jù)權利要求2所述的用于深度卷積模型的雙階段模型重優(yōu)化方法，其特征是，所述的蒸餾損失其中：ft代表教師模型的輸出向量，fs代表學生模型的輸出向量，m代表樣本數(shù)；

技術總結
一種用于深度卷積模型的雙階段模型重優(yōu)化方法，通過在第一階段將原始深度卷積模型改造為包含多支路的重參數(shù)化訓練模塊的中間模型，并對其進行蒸餾訓練；在第二階段將訓練后的中間模型的重參數(shù)化訓練模塊進行轉化，使中間模型的結構恢復為原始深度卷積模型；在在線階段使用優(yōu)化后的深度卷積模型進行實際部署；本發(fā)明結合了基于向量級的知識蒸餾框架以及多支路的重參數(shù)化訓練模塊，在不改變原有模型計算量、參數(shù)量、模型結構和推理速度的情況下有效提升深度卷積模型的性能。

技術研發(fā)人員：錢建宇,陸恒杰,穆世義,徐樹公
受保護的技術使用者：上海大學
技術研發(fā)日：
技術公布日：2024/12/5