本發(fā)明屬于數(shù)控機(jī)床刀具缺陷診斷，具體涉及一種基于大語言模型的數(shù)控機(jī)床刀具缺陷診斷方法及系統(tǒng)。

背景技術(shù)：

1、傳統(tǒng)的機(jī)床刀具缺陷診斷方法存在一些限制，如侵入性、單一數(shù)據(jù)源和人工主觀判斷等。傳統(tǒng)的刀具缺陷診斷方法主要依賴于人工檢測，這種方式不僅效率低下，而且準(zhǔn)確率也難以保證。人工檢測時(shí)，由于人的主觀性和疲勞等因素，很容易產(chǎn)生誤檢和漏檢的情況；且高度依賴操作人員的經(jīng)驗(yàn)和技能，對操作人員的專業(yè)要求較高。然而，即使經(jīng)驗(yàn)豐富的操作人員也難以保證每次檢測都能準(zhǔn)確無誤；人工檢測還容易受到操作人員情緒、疲勞等因素的影響，導(dǎo)致檢測結(jié)果的不穩(wěn)定；

2、其次，傳統(tǒng)的檢測方法通常需要較長的時(shí)間來完成對刀具的全面檢查。這不僅影響了生產(chǎn)效率，還可能因?yàn)闄z測不及時(shí)而導(dǎo)致刀具在加工過程中出現(xiàn)故障；可能需要使用專業(yè)的檢測設(shè)備和工具，這些設(shè)備和工具的成本往往較高。對于中小型企業(yè)來說，這可能是一筆不小的開銷。另外，人工檢測還需要支付操作人員的工資和福利等費(fèi)用，進(jìn)一步增加了檢測成本。

3、進(jìn)一步的，傳統(tǒng)的檢測方法往往只能對刀具的缺陷進(jìn)行定性的描述，難以給出具體的量化指標(biāo)。這使得對刀具的狀態(tài)進(jìn)行準(zhǔn)確的評估和預(yù)測變得困難。

4、綜上所述，傳統(tǒng)機(jī)床刀具缺陷診斷方法存在的問題主要體現(xiàn)在效率、準(zhǔn)確率、人工成本、檢測速度和量化評估等方面。為了提高刀具缺陷診斷的效率和準(zhǔn)確率，降低檢測成本，需要探索新的檢測方法和技術(shù)。

5、基于大語言模型的數(shù)控機(jī)床刀具缺陷診斷是一個(gè)具有潛力和挑戰(zhàn)的領(lǐng)域。通過不斷研究和實(shí)踐，可以進(jìn)一步提高診斷的準(zhǔn)確率和效率，為數(shù)控機(jī)床的維護(hù)和管理提供更加可靠的技術(shù)支持。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題在于針對上述現(xiàn)有技術(shù)中的不足，提供一種基于大語言模型的數(shù)控機(jī)床刀具缺陷診斷方法及系統(tǒng)，用于解決傳統(tǒng)方法中難以捕捉微妙信號、依賴人工干預(yù)和主觀判斷、局限于特定的刀具缺陷診斷任務(wù)的技術(shù)問題，具有非侵入性、多模態(tài)信息融合、學(xué)習(xí)能力和實(shí)時(shí)性的優(yōu)勢，提供更全面和準(zhǔn)確的刀具缺陷分析。

2、本發(fā)明采用以下技術(shù)方案：

3、一種基于大語言模型的數(shù)控機(jī)床刀具缺陷診斷方法，包括以下步驟：

4、基于不同狀態(tài)下的刀具圖像和振動聲音構(gòu)建數(shù)控機(jī)床刀具缺陷數(shù)據(jù)集，從數(shù)控機(jī)床刀具缺陷數(shù)據(jù)集中提取振動聲音的梅爾頻譜圖；

5、分別從梅爾頻譜圖和刀具圖像中提取聲音和圖像特征，然后輸入基于大語言模型的預(yù)訓(xùn)練語言模型中，輸出包括刀具磨損程度的刀具缺陷診斷結(jié)果。

6、優(yōu)選地，基于不同狀態(tài)下的刀具圖像和振動聲音構(gòu)建數(shù)控機(jī)床刀具缺陷數(shù)據(jù)集具體為：

7、確定需要收集的不同刀具狀態(tài)；

8、在每個(gè)刀具狀態(tài)下，使用圖像采集設(shè)備獲取刀具表面的圖像；

9、在每個(gè)刀具狀態(tài)下，運(yùn)行相應(yīng)的加工任務(wù)，使用傳感器記錄刀具的振動聲音數(shù)據(jù)；

10、對采集到的振動聲音數(shù)據(jù)進(jìn)行預(yù)處理，根據(jù)實(shí)驗(yàn)條件和刀具狀態(tài)，對收集到的數(shù)據(jù)進(jìn)行標(biāo)記和分類。

11、優(yōu)選地，刀具狀態(tài)包括正常刀具、輕度磨損刀具、重度磨損刀具。

12、優(yōu)選地，預(yù)處理方式為濾波去噪。

13、優(yōu)選地，標(biāo)記和分類具體為：

14、將不同狀態(tài)下的圖像和對應(yīng)的振動聲音做以下標(biāo)記：是否存在磨損，以及磨損的嚴(yán)重程度。

15、優(yōu)選地，提取振動聲音的梅爾頻譜圖具體為：

16、將預(yù)處理后的音頻信號分成短時(shí)幀，選擇長度為20～40毫秒的窗口，相鄰幀之間有重疊；

17、對每個(gè)幀應(yīng)用快速傅里葉變換，將時(shí)域信號轉(zhuǎn)換為頻域信號，計(jì)算每個(gè)幀的幅度譜或功率譜；

18、設(shè)計(jì)梅爾濾波器組，將頻域信號與梅爾濾波器組進(jìn)行卷積運(yùn)算，計(jì)算每個(gè)濾波器的能量；

19、使用自然對數(shù)法對每個(gè)濾波器的能量進(jìn)行對數(shù)壓縮，將對數(shù)能量值繪制成橫軸表示時(shí)間，縱軸表示mel頻率的梅爾頻譜圖。

20、優(yōu)選地，計(jì)算每個(gè)濾波器的能量時(shí)，對于每個(gè)幀，得到一組與濾波器數(shù)目相等的能量值。

21、優(yōu)選地，梅爾頻譜圖中，每個(gè)時(shí)間幀上的能量值對應(yīng)于橫軸上的時(shí)間點(diǎn)和縱軸上的mel頻率。

22、優(yōu)選地，基于大語言模型的預(yù)訓(xùn)練語言模型采用vicuna-13b模型，vicuna-13b模型的訓(xùn)練過程如下：

23、將聲音和圖像特征分別經(jīng)多層感知機(jī)的兩個(gè)投影層后作為輸入提供給大語言模型，將對應(yīng)的刀具缺陷情況作為目標(biāo)標(biāo)簽，使用損失函數(shù)訓(xùn)練模型，通過隨機(jī)梯度下降算法迭代更新模型參數(shù)，其中，將vicuna-13b模型的參數(shù)凍結(jié)，只訓(xùn)練圖像編碼器和投影層的參數(shù)。

24、第二方面，本發(fā)明實(shí)施例提供了一種基于大語言模型的數(shù)控機(jī)床刀具缺陷診斷系統(tǒng)，包括：

25、數(shù)據(jù)模塊，基于不同狀態(tài)下的刀具圖像和振動聲音構(gòu)建數(shù)控機(jī)床刀具缺陷數(shù)據(jù)集，從數(shù)控機(jī)床刀具缺陷數(shù)據(jù)集中提取振動聲音的梅爾頻譜圖；

26、診斷模塊，分別從梅爾頻譜圖和刀具圖像中提取聲音和圖像特征，然后輸入基于大語言模型的預(yù)訓(xùn)練語言模型中，輸出包括刀具磨損程度的刀具缺陷診斷結(jié)果。

27、優(yōu)選地，構(gòu)建數(shù)控機(jī)床刀具缺陷數(shù)據(jù)集具體為：

28、確定需要收集的不同刀具狀態(tài)；

29、在每個(gè)刀具狀態(tài)下，使用圖像采集設(shè)備獲取刀具表面的圖像；

30、在每個(gè)刀具狀態(tài)下，運(yùn)行相應(yīng)的加工任務(wù)，使用傳感器記錄刀具的振動聲音數(shù)據(jù)；

31、對采集到的振動聲音數(shù)據(jù)進(jìn)行預(yù)處理，根據(jù)實(shí)驗(yàn)條件和刀具狀態(tài)，對收集到的數(shù)據(jù)進(jìn)行標(biāo)記和分類。

32、優(yōu)選地，提取振動聲音的梅爾頻譜圖具體為：

33、將預(yù)處理后的音頻信號分成短時(shí)幀，選擇長度為20～40毫秒的窗口，相鄰幀之間有重疊；

34、對每個(gè)幀應(yīng)用快速傅里葉變換，將時(shí)域信號轉(zhuǎn)換為頻域信號，計(jì)算每個(gè)幀的幅度譜或功率譜；

35、設(shè)計(jì)梅爾濾波器組，將頻域信號與梅爾濾波器組進(jìn)行卷積運(yùn)算，計(jì)算每個(gè)濾波器的能量；

36、使用自然對數(shù)法對每個(gè)濾波器的能量進(jìn)行對數(shù)壓縮，將對數(shù)能量值繪制成橫軸表示時(shí)間，縱軸表示mel頻率的梅爾頻譜圖。

37、第三方面，一種計(jì)算機(jī)設(shè)備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述基于大語言模型的數(shù)控機(jī)床刀具缺陷診斷方法的步驟。

38、第四方面，本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述基于大語言模型的數(shù)控機(jī)床刀具缺陷診斷方法的步驟。

39、與現(xiàn)有技術(shù)相比，本發(fā)明至少具有以下有益效果：

40、一種基于大語言模型的數(shù)控機(jī)床刀具缺陷診斷方法，通過收集不同狀態(tài)下的刀具圖像和振動聲音數(shù)據(jù)，構(gòu)建一個(gè)全面且多樣化的數(shù)據(jù)集，這樣做的目的是為了訓(xùn)練模型時(shí)能夠考慮到各種刀具缺陷情況，提高診斷的泛化能力和準(zhǔn)確性；從振動聲音數(shù)據(jù)中提取梅爾頻譜圖，將聲音數(shù)據(jù)轉(zhuǎn)換為圖像形式，以便于后續(xù)的圖像處理和特征提取。梅爾頻譜圖能夠捕捉聲音的頻譜信息，提供更多關(guān)于聲音的特征；從梅爾頻譜圖和刀具圖像中提取聲音和圖像特征的目的是將原始數(shù)據(jù)轉(zhuǎn)換為更具有表征能力的特征表示，通過提取聲音和圖像的特征，可以減少數(shù)據(jù)維度并保留關(guān)鍵信息，以便于后續(xù)模型的輸入和處理；將提取的聲音和圖像特征輸入到基于大語言模型的預(yù)訓(xùn)練語言模型中，利用大語言模型的語義理解和生成能力來進(jìn)行刀具缺陷診斷。大語言模型能夠?qū)W習(xí)復(fù)雜的語義關(guān)系和上下文信息，通過輸入特征進(jìn)行模型推理和預(yù)測；根據(jù)模型的訓(xùn)練目標(biāo)和設(shè)計(jì)，輸出刀具缺陷診斷結(jié)果，其中包括刀具的磨損程度。根據(jù)輸入的聲音和圖像特征，通過模型預(yù)測和推理得到刀具的缺陷情況，提供有關(guān)刀具磨損程度的診斷結(jié)果；本發(fā)明該方法的原理基于以下假設(shè)和機(jī)制：

41、假設(shè)1：刀具的缺陷狀態(tài)會對振動聲音和圖像特征產(chǎn)生可識別的變化。通過收集不同狀態(tài)下的刀具數(shù)據(jù)集，可以學(xué)習(xí)到刀具缺陷與振動聲音和圖像特征之間的關(guān)聯(lián)。

42、假設(shè)2：聲音和圖像特征可以提供關(guān)于刀具缺陷的重要信息。聲音特征可以反映刀具的振動特性和聲學(xué)特征，圖像特征可以反映刀具的磨損、裂紋等視覺特征。通過提取這些特征，可以從不同角度捕捉刀具缺陷的信號。

43、大語言模型作為一個(gè)預(yù)訓(xùn)練的語義理解模型，可以從輸入的聲音和圖像特征中學(xué)習(xí)到復(fù)雜的語義關(guān)系和上下文信息；通過輸入特征到大語言模型中，模型能夠理解和分析聲音和圖像之間的關(guān)聯(lián)，從而進(jìn)行刀具缺陷的診斷；整個(gè)方法的設(shè)計(jì)思路是將聲音和圖像的信息融合起來，通過特征提取和大語言模型的組合使用，實(shí)現(xiàn)對刀具缺陷的準(zhǔn)確診斷。通過使用大語言模型，可以充分利用其強(qiáng)大的語義理解和生成能力，提高刀具缺陷診斷的準(zhǔn)確性和可靠性。整個(gè)方法的步驟設(shè)置使得聲音和圖像的特征能夠得到充分的利用，從而提高刀具缺陷診斷的效果。

44、進(jìn)一步的，收集不同刀具狀態(tài)下的圖像和振動聲音數(shù)據(jù)，使數(shù)據(jù)集具有多樣性，可以訓(xùn)練模型以應(yīng)對各種刀具缺陷情況，提高模型的泛化能力；通過收集刀具表面圖像和振動聲音數(shù)據(jù)，模型可以學(xué)習(xí)和提取與刀具缺陷相關(guān)的特征，這些特征可以幫助模型進(jìn)行刀具缺陷診斷和分類；通過對收集到的振動聲音數(shù)據(jù)進(jìn)行標(biāo)記和分類，可以創(chuàng)建一個(gè)有標(biāo)記的數(shù)據(jù)集。這樣可以為模型訓(xùn)練提供有監(jiān)督的學(xué)習(xí)樣本，使模型能夠?qū)W習(xí)不同刀具狀態(tài)下的特征和模式；構(gòu)建一個(gè)包含不同刀具狀態(tài)的數(shù)據(jù)集，可以使模型在進(jìn)行刀具缺陷診斷時(shí)更準(zhǔn)確地識別和分類不同缺陷類型，提高診斷結(jié)果的準(zhǔn)確性和可靠；通過構(gòu)建數(shù)控機(jī)床刀具缺陷數(shù)據(jù)集，可以為基于大語言模型的刀具缺陷診斷方法提供訓(xùn)練數(shù)據(jù)，使模型能夠?qū)W習(xí)和理解不同刀具狀態(tài)下的特征和模式，從而實(shí)現(xiàn)準(zhǔn)確的刀具缺陷診斷。

45、進(jìn)一步的，梅爾頻譜圖的提取旨在將時(shí)域的振動聲音信號轉(zhuǎn)換為頻域的特征表示，以便更好地分析和理解振動信號的頻譜特征；梅爾頻譜圖提供了振動聲音信號在不同頻率成分上的能量分布，可以捕捉到刀具缺陷所引起的頻譜變化。這樣可以提取出具有刀具缺陷的振動信號的獨(dú)特特征，有助于后續(xù)的刀具缺陷診斷和分類；傳統(tǒng)的頻譜分析方法會生成高維的頻譜特征向量，而梅爾頻譜圖通過將頻率軸轉(zhuǎn)換為mel頻率尺度，可以在保留關(guān)鍵信息的同時(shí)降低特征的維度。這有助于減少計(jì)算復(fù)雜度和存儲空間，并提高后續(xù)算法的效率；梅爾頻譜圖的設(shè)計(jì)基于人耳對聲音的感知特性，更符合人類聽覺系統(tǒng)對聲音頻率的感知。因此，梅爾頻譜圖能夠更好地捕捉到人類聽覺系統(tǒng)對聲音的感知差異，使得后續(xù)的信號處理和模型訓(xùn)練更加符合人類感知的特點(diǎn)；梅爾頻譜圖的提取基于人類聽覺系統(tǒng)的特性和聲音頻率的感知差異。人類聽覺系統(tǒng)對聲音頻率的感知并非線性的，而是在較低頻率范圍內(nèi)較為敏感，在較高頻率范圍內(nèi)較不敏感。梅爾頻率是一種將線性頻率轉(zhuǎn)換為更符合人類聽覺特性的尺度；通過提取振動聲音的梅爾頻譜圖，可以將振動信號的頻譜特征作為輸入，用于后續(xù)的模型訓(xùn)練、刀具缺陷診斷和分類等應(yīng)用。梅爾頻譜圖能夠更好地捕捉到振動信號的頻率信息，并與人類聽覺系統(tǒng)的感知特性相對應(yīng)，從而提高對刀具缺陷的檢測和診斷能力。

46、進(jìn)一步的，預(yù)訓(xùn)練語言模型通過在大規(guī)模文本數(shù)據(jù)上進(jìn)行訓(xùn)練，學(xué)習(xí)到了廣泛的語言知識和語義關(guān)系。這使得模型能夠更好地理解輸入文本的上下文信息，推斷語義關(guān)系，并捕捉到隱含的語言模式。在刀具缺陷診斷中，這種上下文理解和語義關(guān)系的建?？梢詭椭到y(tǒng)更準(zhǔn)確地理解刀具缺陷描述或相關(guān)文本，從而提高診斷準(zhǔn)確性和可靠性；預(yù)訓(xùn)練語言模型通過學(xué)習(xí)大規(guī)模文本數(shù)據(jù)中的語言結(jié)構(gòu)和知識，具有較強(qiáng)的知識遷移和泛化能力。這意味著該模型可以將在預(yù)訓(xùn)練階段學(xué)到的知識應(yīng)用于新的任務(wù)和領(lǐng)域。在刀具缺陷診斷中，預(yù)訓(xùn)練語言模型可以利用其學(xué)習(xí)到的普遍知識進(jìn)行推理和診斷，即使在面對新的刀具缺陷樣本或特定領(lǐng)域的文本時(shí)也能夠適應(yīng)并提供準(zhǔn)確的診斷結(jié)果；預(yù)訓(xùn)練語言模型可以通過微調(diào)或遷移學(xué)習(xí)的方式進(jìn)行快速部署。通過在特定領(lǐng)域的數(shù)據(jù)上進(jìn)行微調(diào)，使得模型能夠更好地適應(yīng)刀具缺陷診斷任務(wù)的特定需求。這種靈活性使得基于大語言模型的預(yù)訓(xùn)練語言模型成為一個(gè)可擴(kuò)展和易于應(yīng)用的解決方案；vicuna-13b是通過在sharegpt收集的用戶共享對話上對llama-13b進(jìn)行微調(diào)訓(xùn)練而來，訓(xùn)練成本近300美元，成本低。僅憑借130億參數(shù)就可媲美chatgpt90％的性能，在文本分類等任務(wù)上表現(xiàn)出色。通過應(yīng)用vicuna-13b模型作為預(yù)訓(xùn)練的大語言模型，可以將預(yù)訓(xùn)練階段學(xué)到的知識應(yīng)用于刀具缺陷診斷任務(wù)中，實(shí)現(xiàn)全面且準(zhǔn)確的刀具缺陷診斷；總體而言，基于大語言模型的預(yù)訓(xùn)練語言模型在刀具缺陷診斷中的應(yīng)用具有上下文理解、語義關(guān)系建模、知識遷移和泛化能力、快速部署和靈活性等好處。通過vicuna-13b預(yù)訓(xùn)練語言模型的使用，有助于提高診斷準(zhǔn)確性、拓展診斷能力，并為刀具缺陷診斷系統(tǒng)的性能和效率提供支持。

47、可以理解的是，上述第二方面的有益效果可以參見上述第一方面中的相關(guān)描述，在此不再贅述。

48、綜上所述，本發(fā)明能夠充分利用多模態(tài)信息，實(shí)現(xiàn)快速、準(zhǔn)確的刀具缺陷識別。它提高了診斷的準(zhǔn)確性和可靠性，加快了診斷速度，同時(shí)實(shí)現(xiàn)了自動化和智能化的診斷過程。這些好處有助于提高生產(chǎn)效率、降低成本，并改善刀具缺陷相關(guān)的生產(chǎn)質(zhì)量和安全性能。

49、下面通過附圖和實(shí)施例，對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。