本申請實施方式涉及數(shù)據(jù)處理領(lǐng)域，更具體地，本申請實施方式涉及一種模型融合方法及相關(guān)裝置。

背景技術(shù)：

1、在現(xiàn)代人工智能領(lǐng)域，特別是在機器學(xué)習(xí)和深度學(xué)習(xí)應(yīng)用中，算法的效率和性能至關(guān)重要。神經(jīng)網(wǎng)絡(luò)模型，如在大語言模型(llm)中的生成式預(yù)訓(xùn)練轉(zhuǎn)換(gpt)模型和泛光(bloom)大模型，都需要大量的計算資源進行數(shù)據(jù)處理和模型訓(xùn)練。這些過程主要由許多復(fù)雜的數(shù)學(xué)計算構(gòu)成，因此，如何高效利用硬件資源提高運算效率是至關(guān)重要的。

2、相關(guān)技術(shù)中，神經(jīng)網(wǎng)絡(luò)模型是由各個功能模塊組成的，這些模塊間有著清晰的劃分。然而，數(shù)據(jù)需要在各模塊間通過內(nèi)存空間進行傳遞，從而產(chǎn)生不必要的讀寫操作，使得模型執(zhí)行流程變長，降低了模型執(zhí)行效率。此外，由于模塊間的劃分，后面模塊需要等待前面的模塊完成計算，得到全部結(jié)果數(shù)據(jù)后才能繼續(xù)進行計算，這就可能會導(dǎo)致計算單元出現(xiàn)空閑狀態(tài)，浪費硬件計算資源。

3、綜上，亟待提供一種全新的技術(shù)方案，用以解決相關(guān)技術(shù)中存在的上述至少一個技術(shù)問題。

技術(shù)實現(xiàn)思路

1、在本上下文中，本申請的實施方式期望提供一種模型融合方法及相關(guān)裝置，用以避免神經(jīng)網(wǎng)絡(luò)模型中因讀寫操作過多而導(dǎo)致的模型執(zhí)行效率下降，計算資源浪費的技術(shù)問題。

2、在本申請實施方式的第一方面中，提供了一種模型融合方法，該方法包括：

3、識別神經(jīng)網(wǎng)絡(luò)模型中待優(yōu)化的第一計算模塊與第二計算模塊；第一計算模塊與第二計算模塊符合預(yù)先設(shè)置的優(yōu)化條件；

4、根據(jù)與待優(yōu)化模型匹配的模塊融合方式，對第一計算模塊與第二計算模塊進行操作融合，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)模型；所述模塊融合方式至少包括：優(yōu)化后的第一計算模塊與第二計算模塊之間的目標(biāo)連接關(guān)系以及數(shù)據(jù)傳輸方式；

5、執(zhí)行目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)對目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的硬件加速。

6、在本申請實施方式的第二方面中，提供了一種模型融合裝置，該裝置至少包括：

7、識別模塊，用于識別神經(jīng)網(wǎng)絡(luò)模型中待優(yōu)化的第一計算模塊與第二計算模塊；第一計算模塊與第二計算模塊符合預(yù)先設(shè)置的優(yōu)化條件；

8、融合模塊，用于根據(jù)與待優(yōu)化模型匹配的模塊融合方式，對第一計算模塊與第二計算模塊進行操作融合，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)模型；所述模塊融合方式至少包括：優(yōu)化后的第一計算模塊與第二計算模塊之間的目標(biāo)連接關(guān)系以及數(shù)據(jù)傳輸方式；

9、執(zhí)行模塊，用于執(zhí)行目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)對目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的硬件加速。

10、在本申請實施方式的第三方面中，提供了一種計算設(shè)備，所述計算設(shè)備包括：

11、至少一個處理器、存儲器和輸入輸出單元；

12、其中，所述存儲器用于存儲計算機程序，所述處理器用于調(diào)用所述存儲器中存儲的計算機程序來執(zhí)行第一方面的模型融合方法。

13、在本申請實施方式的第四方面中，提供了一種計算機可讀存儲介質(zhì)，其包括指令，當(dāng)其在計算機上運行該指令時，使得計算機執(zhí)行第一方面的模型融合方法。

14、在本申請實施方式的第五方面中，提供了一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)第一方面的模型融合方法。

15、在本申請實施方式的第六方面中，提供了一種芯片，該芯片中包括與收發(fā)器耦合的處理器，用于執(zhí)行第一方面的模型融合方法。

16、在本申請實施方式的第七方面中，提供了一種芯片系統(tǒng)，該芯片系統(tǒng)包括：通信接口，用于輸入和/或輸出信息；處理器，用于執(zhí)行計算機可執(zhí)行程序，使得安裝有所述芯片系統(tǒng)的設(shè)備執(zhí)行如第一方面的模型融合方法。

17、本申請實施方式中，提供了一種模型融合方法及相關(guān)裝置。本申請實施方式中，首先，識別神經(jīng)網(wǎng)絡(luò)模型中待優(yōu)化的第一計算模塊與第二計算模塊；第一計算模塊與第二計算模塊符合預(yù)先設(shè)置的優(yōu)化條件。其次，根據(jù)與待優(yōu)化模型匹配的模塊融合方式，對第一計算模塊與第二計算模塊進行操作融合，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)模型；所述模塊融合方式至少包括：優(yōu)化后的第一計算模塊與第二計算模塊之間的目標(biāo)連接關(guān)系以及數(shù)據(jù)傳輸方式。最后，執(zhí)行目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)對目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的硬件加速。本申請實施方式中，通過對神經(jīng)網(wǎng)絡(luò)模型中的第一計算模塊和第二計算模塊進行操作融合，減少計算資源占用，顯著提升了模型的整體性能，提高模型執(zhí)行效率。

技術(shù)特征：

1.一種模型融合方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的模型融合方法，其特征在于，所述優(yōu)化條件至少包括：計算模塊執(zhí)行數(shù)據(jù)處理過程中包含至少一次對內(nèi)存空間的存取操作；和/或，計算模塊之間數(shù)據(jù)傳輸過程中包含包含至少一次對內(nèi)存空間的存取操作；和/或，計算模塊各自執(zhí)行獨立的離散運算。

3.根據(jù)權(quán)利要求1所述的模型融合方法，其特征在于，所述根據(jù)與待優(yōu)化模型匹配的模塊融合方式，對第一計算模塊與第二計算模塊進行操作融合，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，包括：

4.根據(jù)權(quán)利要求3所述的模型融合方法，其特征在于，所述重新構(gòu)建所述待優(yōu)化單元，包括：

5.根據(jù)權(quán)利要求4所述的模型融合方法，其特征在于，所述將第一計算模塊與第二計算模塊中具有邏輯關(guān)聯(lián)的操作進行操作融合，包括：

6.根據(jù)權(quán)利要求4所述的模型融合方法，其特征在于，所述將多層感知機模塊中第一個線性變換層和激活函數(shù)進行操作融合，包括：

7.根據(jù)權(quán)利要求3所述的模型融合方法，其特征在于，所述根據(jù)模塊結(jié)構(gòu)、模塊參數(shù)以及連接關(guān)系，獲取第一計算模塊中與第二計算模塊相匹配的待優(yōu)化單元，包括：

8.根據(jù)權(quán)利要求7所述的模型融合方法，其特征在于，所述將所述第一待優(yōu)化單元得到的中間計算結(jié)果融合到第二計算模塊中，并重新構(gòu)建第二計算模塊中的待優(yōu)化計算邏輯，包括：

9.根據(jù)權(quán)利要求8所述的模型融合方法，其特征在于，若神經(jīng)網(wǎng)絡(luò)模型為泛光大模型，并且以多層感知機模塊的線性變化操作以及殘差連接模塊中的加法操作作為第一待優(yōu)化單元，則

10.一種模型融合裝置，其特征在于，所述裝置至少包括：

技術(shù)總結(jié)
本申請實施方式提供了一種模型融合方法及相關(guān)裝置。該方法包括：識別神經(jīng)網(wǎng)絡(luò)模型中待優(yōu)化的第一計算模塊與第二計算模塊；第一計算模塊與第二計算模塊符合預(yù)先設(shè)置的優(yōu)化條件；根據(jù)與待優(yōu)化模型匹配的模塊融合方式，對第一計算模塊與第二計算模塊進行操作融合，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)模型；模塊融合方式至少包括：優(yōu)化后的第一計算模塊與第二計算模塊之間的目標(biāo)連接關(guān)系以及數(shù)據(jù)傳輸方式；執(zhí)行目標(biāo)神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)對目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的硬件加速。該方法有助于避免神經(jīng)網(wǎng)絡(luò)模型中因讀寫操作過多而導(dǎo)致的模型執(zhí)行效率下降，計算資源浪費的技術(shù)問題。

技術(shù)研發(fā)人員：闖小明,楊龔軼凡,鄭瀚尋,潘維維
受保護的技術(shù)使用者：上海泰則半導(dǎo)體有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19