本發(fā)明涉及工業(yè)物聯(lián)網(wǎng)，具體為一種基于大語言模型的工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)數(shù)據(jù)處理方法、系統(tǒng)及電子設(shè)備。

背景技術(shù)：

1、隨著物聯(lián)網(wǎng)技術(shù)的快速發(fā)展，網(wǎng)關(guān)作為連接不同設(shè)備和網(wǎng)絡(luò)的橋梁，承擔著數(shù)據(jù)傳輸、協(xié)議轉(zhuǎn)換等功能。

2、工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)在處理來自大量工業(yè)設(shè)備的數(shù)據(jù)時面臨諸多挑戰(zhàn)，如數(shù)據(jù)類型多樣、格式差異大、實時性要求高、數(shù)據(jù)處理量大等。傳統(tǒng)的工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)數(shù)據(jù)處理方式往往依賴于預(yù)設(shè)規(guī)則，缺乏靈活性和智能性，難以應(yīng)對日益復(fù)雜的網(wǎng)絡(luò)環(huán)境和多變的數(shù)據(jù)流量模式，往往存在處理速度慢、準確率低等問題，無法滿足大規(guī)模、復(fù)雜場景下的數(shù)據(jù)處理需求。

3、鑒于此，有必要提供一種基于大語言模型的工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)數(shù)據(jù)處理方法、系統(tǒng)及電子設(shè)備。

技術(shù)實現(xiàn)思路

1、本發(fā)明旨在至少在一定程度上解決現(xiàn)有技術(shù)中的技術(shù)問題之一，通過提出一種基于大語言模型的工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)數(shù)據(jù)處理方法、系統(tǒng)及電子設(shè)備，利用大語言模型實現(xiàn)了數(shù)據(jù)處理的智能化，提高了數(shù)據(jù)處理的效率。

2、為實現(xiàn)上述目的，第一方面，本申請?zhí)峁?，包?/p>

3、一種基于大語言模型的工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)數(shù)據(jù)處理方法，其特征在于，包括以下步驟：

4、步驟一：工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)實時采集來自工業(yè)設(shè)備的數(shù)據(jù)，并建成語料庫作為訓(xùn)練數(shù)據(jù)集；

5、步驟二：構(gòu)建大語言模型，將所述訓(xùn)練數(shù)據(jù)集輸入至所述大語言模型中，通過所述大語言模型對訓(xùn)練數(shù)據(jù)集進行深度處理；

6、步驟三：將大模型處理后的結(jié)果對工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)的工作狀態(tài)進行反饋調(diào)整，優(yōu)化后續(xù)數(shù)據(jù)處理流程。

7、進一步地，所述步驟一包括：

8、工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)接收來自不同工業(yè)設(shè)備的信息和網(wǎng)絡(luò)的數(shù)據(jù)包；

9、對接收到的數(shù)據(jù)進行預(yù)處理，包括：格式統(tǒng)一、異常值檢測與剔除、去重；

10、基于預(yù)處理后的數(shù)據(jù)構(gòu)建成語料庫，并將所述語料庫作為訓(xùn)練數(shù)據(jù)集。

11、進一步地，所述基于預(yù)處理后的數(shù)據(jù)構(gòu)建成語料庫，并將所述語料庫作為訓(xùn)練數(shù)據(jù)集，包括：

12、采用詞元分析算法對預(yù)處理后的數(shù)據(jù)進行分詞處理；

13、將分詞結(jié)果進行詞頻統(tǒng)計，根據(jù)詞頻統(tǒng)計結(jié)果進行去重處理；

14、將去重后的分詞轉(zhuǎn)換為模型可識別的詞元序列；

15、將轉(zhuǎn)換得到的詞元序列進行詞頻統(tǒng)計，根據(jù)詞頻統(tǒng)計結(jié)果進行去重處理，并生成語料庫；

16、將所述語料庫作為訓(xùn)練數(shù)據(jù)集。

17、進一步地，所述詞元分析算法包括：字節(jié)對編碼bpe或wordpiece分詞。

18、進一步地，所述大語言模型包括：bi-lstm網(wǎng)絡(luò)、注意力機制以及多層感知機mlp；

19、其中，計算詞元序列與當前工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)節(jié)點的詞向量的attention相似度矩陣；

20、根據(jù)attention相似度矩陣，對每個工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)節(jié)點的詞向量進行加權(quán)求和；

21、將加權(quán)后的詞向量與下一個網(wǎng)絡(luò)節(jié)點的詞向量進行拼接；

22、將拼接后的結(jié)果通過前饋神經(jīng)網(wǎng)絡(luò)映射為一個固定長度的表示向量，再通過mlp映射為固定維度的特征向量；

23、使用多層感知機mlp對特征向量進行映射，輸出處理結(jié)果。

24、進一步地，所述attention相似度矩陣的表達式為：

25、；

26、式中，softmax表示歸一化函數(shù)，q表示當前網(wǎng)關(guān)節(jié)點的詞向量；k表示詞元序列中詞向量集合，t表示矩陣的轉(zhuǎn)置，表示維度。

27、進一步地，根據(jù)attention相似度矩陣，對每個工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)節(jié)點的詞向量進行加權(quán)求和，所述加權(quán)求和的表達式為：

28、；

29、?式中，node_vector表示當前網(wǎng)關(guān)節(jié)點的詞向量，attention?matrix表示相似度矩陣，weighted_vector表示加權(quán)后的詞向量。

30、進一步地，將加權(quán)后的詞向量與下一個網(wǎng)絡(luò)節(jié)點的詞向量進行拼接，表示為：

31、；

32、式中，vw表示加權(quán)后的詞向量，vn表示下一個節(jié)點的詞向量。

33、第二方面，本申請還提供一種基于大語言模型的工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)數(shù)據(jù)處理系統(tǒng)，包括以下模塊：

34、數(shù)據(jù)獲取模塊：工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)實時采集來自工業(yè)設(shè)備的數(shù)據(jù)，并建成語料庫作為訓(xùn)練數(shù)據(jù)集；

35、大語言模型構(gòu)建模塊：構(gòu)建大語言模型，將所述訓(xùn)練數(shù)據(jù)集輸入至所述大語言模型中，通過所述大語言模型對訓(xùn)練數(shù)據(jù)集進行深度處理；

36、輸出反饋模塊：將大模型處理后的結(jié)果對工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)的工作狀態(tài)進行反饋調(diào)整，優(yōu)化后續(xù)數(shù)據(jù)處理流程。

37、第三方面，本申請還提供一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)基于大語言模型的工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)數(shù)據(jù)處理方法。

38、本發(fā)明的有益效果：與現(xiàn)有技術(shù)相比，本發(fā)明提供了一種基于大語言模型的工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)數(shù)據(jù)處理方法、系統(tǒng)及電子設(shè)備，通過集成先進的大模型技術(shù)，對工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)接收到的數(shù)據(jù)進行智能分析和處理，以實現(xiàn)數(shù)據(jù)的快速響應(yīng)、準確分類和高效傳輸。具體有益效果如下;

39、（1）提高數(shù)據(jù)處理效率：通過集成大模型技術(shù)，實現(xiàn)對數(shù)據(jù)的快速響應(yīng)和高效處理。

40、（2）提升數(shù)據(jù)準確性：利用大模型的智能分析能力，提高數(shù)據(jù)的分類和識別精度。

41、（3）降低資源消耗：通過優(yōu)化數(shù)據(jù)傳輸策略和控制決策，減少不必要的數(shù)據(jù)傳輸和資源浪費。

42、（4）增強系統(tǒng)穩(wěn)定性：通過實時反饋和動態(tài)調(diào)整，提升工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)的整體穩(wěn)定性和可靠性。

技術(shù)特征：

1.一種基于大語言模型的工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)數(shù)據(jù)處理方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于大語言模型的工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)數(shù)據(jù)處理方法，其特征在于，所述步驟一包括：

3.根據(jù)權(quán)利要求1所述的一種基于大語言模型的工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)數(shù)據(jù)處理方法，其特征在于，所述基于預(yù)處理后的數(shù)據(jù)構(gòu)建成語料庫，并將所述語料庫作為訓(xùn)練數(shù)據(jù)集，包括：

4.根據(jù)權(quán)利要求3所述的一種基于大語言模型的工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)數(shù)據(jù)處理方法，其特征在于，所述詞元分析算法包括：字節(jié)對編碼bpe或wordpiece分詞。

5.根據(jù)權(quán)利要求3所述的一種基于大語言模型的工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)數(shù)據(jù)處理方法，其特征在于，所述大語言模型包括：bi-lstm網(wǎng)絡(luò)、注意力機制以及多層感知機mlp；

6.根據(jù)權(quán)利要求5所述的一種基于大語言模型的工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)數(shù)據(jù)處理方法，其特征在于，所述attention相似度矩陣的表達式為：

7.根據(jù)權(quán)利要求6所述的一種基于大語言模型的工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)數(shù)據(jù)處理方法，其特征在于，根據(jù)attention相似度矩陣，對每個工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)節(jié)點的詞向量進行加權(quán)求和，所述加權(quán)求和的表達式為：

8.根據(jù)權(quán)利要求7所述的一種基于大語言模型的工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)數(shù)據(jù)處理方法，其特征在于，將加權(quán)后的詞向量與下一個網(wǎng)絡(luò)節(jié)點的詞向量進行拼接，表示為：

9.一種基于大語言模型的工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)數(shù)據(jù)處理系統(tǒng)，其特征在于，包括以下模塊：

10.一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如權(quán)利要求1至8任一所述的基于大語言模型的工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)數(shù)據(jù)處理方法。

技術(shù)總結(jié)
本發(fā)明公開了一種基于大語言模型的工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)數(shù)據(jù)處理方法、系統(tǒng)及電子設(shè)備，涉及工業(yè)物聯(lián)網(wǎng)技術(shù)領(lǐng)域，包括：步驟一：工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)實時采集來自工業(yè)設(shè)備的數(shù)據(jù)，并建成語料庫作為訓(xùn)練數(shù)據(jù)集；步驟二：構(gòu)建大語言模型，將所述訓(xùn)練數(shù)據(jù)集輸入至所述大語言模型中，通過所述大語言模型對訓(xùn)練數(shù)據(jù)集進行深度處理；步驟三：將大模型處理后的結(jié)果對工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)的工作狀態(tài)進行反饋調(diào)整，優(yōu)化后續(xù)數(shù)據(jù)處理流程。本發(fā)明利用大語言模型實現(xiàn)了數(shù)據(jù)處理的智能化，提高了數(shù)據(jù)處理的效率。

技術(shù)研發(fā)人員：曹磊,蘇穩(wěn),韓青
受保護的技術(shù)使用者：山東松果信息科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/17