本公開涉及互聯(lián)網(wǎng)，尤其涉及自然語言處理、大語言模型、語音識(shí)別、云服務(wù)等人工智能。提供了一種大語言模型的推理方法、裝置、電子設(shè)備與可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著大語言模型技術(shù)的發(fā)展越來越快，更多的用戶開始利用大語言模型來滿足工作和生活中的需求或者所遇到的問題。在實(shí)際使用過程中，用戶對(duì)于大語言模型的延遲有著越來越高的要求，尤其對(duì)語音對(duì)話場(chǎng)景，用戶希望在發(fā)出語音提問之后，大語言模型可以在較短的時(shí)間內(nèi)進(jìn)行答復(fù)，因此如何提升大語言模型的推理速度是亟待解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、根據(jù)本公開的第一方面，提供了一種大語言模型的推理方法，包括：獲取對(duì)用戶輸入的語音數(shù)據(jù)進(jìn)行流式語音識(shí)別所得到的多個(gè)文本片段；將所述多個(gè)文本片段輸入到大語言模型，由所述大語言模型對(duì)每個(gè)文本片段進(jìn)行預(yù)填充處理，得到每個(gè)文本片段的預(yù)填充結(jié)果；響應(yīng)于確定所述用戶停止語音數(shù)據(jù)的輸入，根據(jù)全部文本片段的預(yù)填充結(jié)果，得到目標(biāo)填充結(jié)果；將所述目標(biāo)預(yù)填充結(jié)果輸入到所述大語言模型，由所述大語言模型對(duì)所述目標(biāo)預(yù)填充結(jié)果進(jìn)行前向傳播處理與生成輸出處理，得到預(yù)測(cè)文本，將所述預(yù)測(cè)文本作為所述大語言模型的推理結(jié)果。

2、根據(jù)本公開的第二方法，提供了一種大語言模型的推理裝置，包括：獲取單元，用于獲取對(duì)用戶輸入的語音數(shù)據(jù)進(jìn)行流式語音識(shí)別所得到的多個(gè)文本片段；第一推理單元，用于將所述多個(gè)文本片段輸入到大語言模型，由所述大語言模型對(duì)每個(gè)文本片段進(jìn)行預(yù)填充處理，得到每個(gè)文本片段的預(yù)填充結(jié)果；處理單元，用于響應(yīng)于確定所述用戶停止語音數(shù)據(jù)的輸入，根據(jù)全部文本片段的預(yù)填充結(jié)果，得到目標(biāo)填充結(jié)果；第二推理單元，用于將所述目標(biāo)預(yù)填充結(jié)果輸入到所述大語言模型，由所述大語言模型對(duì)所述目標(biāo)預(yù)填充結(jié)果進(jìn)行前向傳播處理與生成輸出處理，得到預(yù)測(cè)文本，將所述預(yù)測(cè)文本作為所述大語言模型的推理結(jié)果。

3、根據(jù)本公開的第三方面，提供了一種電子設(shè)備，包括：至少一個(gè)處理器；以及與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行如上所述的方法。

4、根據(jù)本公開的第四方面，提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行如上所述的方法。

5、根據(jù)本公開的第五方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的方法。

6、應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識(shí)本公開的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

技術(shù)特征：

1.一種大語言模型的推理方法，包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，所述將所述多個(gè)文本片段輸入到大語言模型包括：

3.根據(jù)權(quán)利要求1所述的方法，其中，所述確定用戶停止語音數(shù)據(jù)的輸入包括：

4.根據(jù)權(quán)利要求1所述的方法，其中，所述確定用戶停止語音數(shù)據(jù)的輸入包括：

5.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)全部文本片段的預(yù)填充結(jié)果，得到目標(biāo)填充結(jié)果包括：

6.根據(jù)權(quán)利要求1所述的方法，還包括，

7.一種大語言模型的推理裝置，包括：

8.根據(jù)權(quán)利要求7所述的裝置，其中，所述第一推理單元在將所述多個(gè)文本片段輸入到大語言模型時(shí)，具體執(zhí)行：

9.根據(jù)權(quán)利要求7所述的裝置，其中，所述處理單元在確定用戶停止語音數(shù)據(jù)的輸入時(shí)，具體執(zhí)行：

10.根據(jù)權(quán)利要求7所述的裝置，其中，所述處理單元在確定用戶停止語音數(shù)據(jù)的輸入時(shí)，具體執(zhí)行：

11.根據(jù)權(quán)利要求7所述的裝置，其中，所述處理單元在根據(jù)全部文本片段的預(yù)填充結(jié)果，得到目標(biāo)填充結(jié)果時(shí)，具體執(zhí)行：

12.根據(jù)權(quán)利要求7所述的裝置，所述第二推理單元還用于執(zhí)行：

13.一種電子設(shè)備，包括：

14.一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行權(quán)利要求1-6中任一項(xiàng)所述的方法。

15.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1-6中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本公開提供一種大語言模型的推理方法、裝置、電子設(shè)備與可讀存儲(chǔ)介質(zhì)，涉及自然語言處理、大語言模型、語音識(shí)別、云服務(wù)等人工智能技術(shù)領(lǐng)域。大語言模型的推理方法包括：獲取對(duì)用戶輸入的語音數(shù)據(jù)進(jìn)行流式語音識(shí)別所得到的多個(gè)文本片段；將所述多個(gè)文本片段輸入到大語言模型，由所述大語言模型對(duì)每個(gè)文本片段進(jìn)行預(yù)填充處理，得到每個(gè)文本片段的預(yù)填充結(jié)果；響應(yīng)于確定所述用戶停止語音數(shù)據(jù)的輸入，根據(jù)全部文本片段的預(yù)填充結(jié)果，得到目標(biāo)填充結(jié)果；將所述目標(biāo)預(yù)填充結(jié)果輸入到所述大語言模型，由所述大語言模型對(duì)所述目標(biāo)預(yù)填充結(jié)果進(jìn)行前向傳播處理與生成輸出處理，得到預(yù)測(cè)文本，將所述預(yù)測(cè)文本作為所述大語言模型的推理結(jié)果。

技術(shù)研發(fā)人員：顏林
受保護(hù)的技術(shù)使用者：北京百度網(wǎng)訊科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/9