本申請(qǐng)實(shí)施例涉及互聯(lián)網(wǎng)，尤其涉及一種視頻分類模型的生成方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、隨著計(jì)算機(jī)技術(shù)的發(fā)展和應(yīng)用，各種內(nèi)容平臺(tái)不斷涌現(xiàn)，用戶可以在內(nèi)容平臺(tái)上發(fā)布和瀏覽多樣化的短視頻內(nèi)容。內(nèi)容平臺(tái)會(huì)對(duì)視頻進(jìn)行分類，從而根據(jù)分類結(jié)果對(duì)用戶發(fā)布視頻進(jìn)行進(jìn)一步的操作，如畫(huà)質(zhì)增強(qiáng)、視頻質(zhì)量評(píng)估等，以提升后續(xù)算法的精確性。

2、目前，主要是利用傳統(tǒng)的圖像處理算法或者基于深度學(xué)習(xí)的算法進(jìn)行視頻分類的，但是，盡管傳統(tǒng)圖像算法在某些任務(wù)上取得了較好的效果，但這些算法通常需要大量的手工調(diào)整和參數(shù)優(yōu)化，且在大規(guī)模圖像數(shù)據(jù)集上性能有限，視頻分類效果不佳；而大多數(shù)基于深度學(xué)習(xí)的算法均需要大量的標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練，公開(kāi)的數(shù)據(jù)集并不一定適合真實(shí)的業(yè)務(wù)場(chǎng)景，需要大量的人工收集和標(biāo)注更適合特定業(yè)務(wù)場(chǎng)景的數(shù)據(jù)集。

3、需要說(shuō)明的是，上述內(nèi)容并不必然是現(xiàn)有技術(shù)，也不用于限制本申請(qǐng)的專利保護(hù)范圍。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施例提供一種視頻分類模型的生成方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、計(jì)算機(jī)程序產(chǎn)品，以解決或緩解上面提出的一項(xiàng)或更多項(xiàng)技術(shù)問(wèn)題。

2、本申請(qǐng)實(shí)施例的一個(gè)方面提供了一種視頻分類模型的生成方法，所述方法包括：

3、獲取第一數(shù)據(jù)集、預(yù)設(shè)分類標(biāo)簽和基于clip的圖像處理模型；

4、通過(guò)所述基于clip的圖像處理模型，根據(jù)所述預(yù)設(shè)分類標(biāo)簽對(duì)所述第一數(shù)據(jù)集中的每一個(gè)圖像進(jìn)行預(yù)分類，得到所述每一個(gè)圖像對(duì)應(yīng)的偽標(biāo)簽；

5、根據(jù)所述每一個(gè)圖像對(duì)應(yīng)的偽標(biāo)簽從所述第一數(shù)據(jù)集中篩選得到第二數(shù)據(jù)集；

6、根據(jù)所述第二數(shù)據(jù)集訓(xùn)練所述基于clip的圖像處理模型，得到目標(biāo)視頻分類模型。

7、可選地，所述根據(jù)所述每一個(gè)圖像對(duì)應(yīng)的偽標(biāo)簽從所述第一數(shù)據(jù)集中篩選得到第二數(shù)據(jù)集，包括：

8、根據(jù)所述每一個(gè)圖像對(duì)應(yīng)的偽標(biāo)簽，從所述第一數(shù)據(jù)集中確定分類錯(cuò)誤的圖像；

9、從所述第一數(shù)據(jù)集中剔除所述分類錯(cuò)誤的圖像得到第二數(shù)據(jù)集。

10、可選地，所述根據(jù)所述第二數(shù)據(jù)集訓(xùn)練所述基于clip的圖像處理模型，得到目標(biāo)視頻分類模型，包括：

11、將所述第二數(shù)據(jù)集訓(xùn)練中的每一個(gè)圖像和所述圖像對(duì)應(yīng)的偽標(biāo)簽作為輸入數(shù)據(jù)訓(xùn)練所述基于clip的圖像處理模型，得到目標(biāo)視頻分類模型。

12、可選地，所述方法還包括：

13、獲取待分類的視頻；

14、對(duì)所述待分類的視頻進(jìn)行場(chǎng)景分割得到多個(gè)視頻片段；

15、分別從每一個(gè)視頻片段中抽取得到多幀圖像；

16、通過(guò)所述目標(biāo)視頻分類模型，對(duì)每一幀圖像進(jìn)行預(yù)測(cè)得到每一幀圖像對(duì)應(yīng)的分類類別和所述分類類別對(duì)應(yīng)的第一概率；

17、根據(jù)所述每一幀圖像對(duì)應(yīng)的分類類別和所述分類類別對(duì)應(yīng)的第一概率，確定所述視頻片段對(duì)應(yīng)的分類結(jié)果。

18、可選地，所述根據(jù)所述每一幀圖像對(duì)應(yīng)的分類類別和所述分類類別對(duì)應(yīng)的第一概率，確定所述視頻片段對(duì)應(yīng)的分類結(jié)果，包括：

19、對(duì)所有的分類類別對(duì)應(yīng)的第一概率進(jìn)行歸一化處理；

20、根據(jù)所述每一幀圖像對(duì)應(yīng)的分類類別合并相同類別的幀圖像，并根據(jù)歸一化后的所述第一概率統(tǒng)計(jì)得到每一種類別的幀圖像對(duì)應(yīng)的第二概率；

21、根據(jù)所述每一種類別的幀圖像對(duì)應(yīng)的第二概率，確定所述視頻片段對(duì)應(yīng)的分類結(jié)果。

22、可選地，所述根據(jù)所述每一種類別的幀圖像對(duì)應(yīng)的第二概率，確定所述視頻片段對(duì)應(yīng)的分類結(jié)果，包括：

23、根據(jù)所述每一種類別的幀圖像對(duì)應(yīng)的第二概率，確定概率最高的類別作為所述視頻片段對(duì)應(yīng)的分類結(jié)果。

24、可選地，所述對(duì)所述待分類的視頻進(jìn)行場(chǎng)景分割得到多個(gè)視頻片段，包括：

25、對(duì)所述待分類的視頻中的每一幀圖像進(jìn)行特征提取得到圖像特征信息；

26、根據(jù)所述圖像特征信息確定相鄰兩個(gè)幀圖像之間的特征差異；

27、根據(jù)所述相鄰兩個(gè)幀圖像之間的特征差異，對(duì)所述待分類的視頻進(jìn)行場(chǎng)景分割得到場(chǎng)景不同的多個(gè)視頻片段。

28、本申請(qǐng)實(shí)施例的另一個(gè)方面提供了一種視頻分類模型的生成裝置，所述裝置包括：

29、數(shù)據(jù)獲取模塊，用于獲取第一數(shù)據(jù)集、預(yù)設(shè)分類標(biāo)簽和基于clip的圖像處理模型；

30、預(yù)分類模塊，用于通過(guò)所述基于clip的圖像處理模型，根據(jù)所述預(yù)設(shè)分類標(biāo)簽對(duì)所述第一數(shù)據(jù)集中的每一個(gè)圖像進(jìn)行預(yù)分類，得到所述每一個(gè)圖像對(duì)應(yīng)的偽標(biāo)簽；

31、數(shù)據(jù)篩選模塊，用于根據(jù)所述每一個(gè)圖像對(duì)應(yīng)的偽標(biāo)簽從所述第一數(shù)據(jù)集中篩選得到第二數(shù)據(jù)集；

32、模型訓(xùn)練模塊，用于根據(jù)所述第二數(shù)據(jù)集訓(xùn)練所述基于clip的圖像處理模型，得到目標(biāo)視頻分類模型。

33、本申請(qǐng)實(shí)施例的另一個(gè)方面提供了一種計(jì)算機(jī)設(shè)備，包括：

34、至少一個(gè)處理器；及

35、與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；

36、其中：所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行如上所述的視頻分類模型的生成方法。

37、本申請(qǐng)實(shí)施例的另一個(gè)方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)內(nèi)存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的視頻分類模型的生成方法。

38、本申請(qǐng)實(shí)施例的另一個(gè)方面提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的視頻分類模型的生成方法。

39、本申請(qǐng)實(shí)施例采用上述技術(shù)方案可以包括如下優(yōu)勢(shì)：通過(guò)在基于大量數(shù)據(jù)訓(xùn)練的多模態(tài)算法clip預(yù)訓(xùn)練模型的基礎(chǔ)上，使用clip算法的zero-shot能力，設(shè)計(jì)基于特定任務(wù)的文本prompt，對(duì)少量圖像數(shù)據(jù)集進(jìn)行預(yù)分類，將預(yù)分類的結(jié)果作為偽標(biāo)簽構(gòu)建新的數(shù)據(jù)集，利用攜帶偽標(biāo)簽的數(shù)據(jù)集重新訓(xùn)練模型，從而減少了訓(xùn)練模型時(shí)基于特定任務(wù)的模型訓(xùn)練所需要的人工標(biāo)注的標(biāo)簽，達(dá)到減少數(shù)據(jù)集的構(gòu)建所需要的時(shí)間的目的，同時(shí)，使用clip的圖像特征提取作為模型的輸入能夠大大提升模型訓(xùn)練的準(zhǔn)確性。

技術(shù)特征：

1.一種視頻分類模型的生成方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的視頻分類模型的生成方法，其特征在于，所述根據(jù)所述每一個(gè)圖像對(duì)應(yīng)的偽標(biāo)簽從所述第一數(shù)據(jù)集中篩選得到第二數(shù)據(jù)集，包括：

3.根據(jù)權(quán)利要求1所述的視頻分類模型的生成方法，其特征在于，所述根據(jù)所述第二數(shù)據(jù)集訓(xùn)練所述基于clip的圖像處理模型，得到目標(biāo)視頻分類模型，包括：

4.根據(jù)權(quán)利要求1所述的視頻分類模型的生成方法，其特征在于，所述方法還包括：

5.根據(jù)權(quán)利要求4所述的視頻分類模型的生成方法，其特征在于，所述根據(jù)所述每一幀圖像對(duì)應(yīng)的分類類別和所述分類類別對(duì)應(yīng)的第一概率，確定所述視頻片段對(duì)應(yīng)的分類結(jié)果，包括：

6.根據(jù)權(quán)利要求5所述的視頻分類模型的生成方法，其特征在于，所述根據(jù)所述每一種類別的幀圖像對(duì)應(yīng)的第二概率，確定所述視頻片段對(duì)應(yīng)的分類結(jié)果，包括：

7.根據(jù)權(quán)利要求1所述的視頻分類模型的生成方法，其特征在于，所述對(duì)所述待分類的視頻進(jìn)行場(chǎng)景分割得到多個(gè)視頻片段，包括：

8.一種視頻分類模型的生成裝置，其特征在于，所述裝置包括：

9.一種計(jì)算機(jī)設(shè)備，其特征在于，包括：

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)內(nèi)存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的視頻分類模型的生成方法。

11.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7所述的視頻分類模型的生成方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)實(shí)施例了提供一種視頻分類模型的生成方法和裝置，所述方法包括：獲取第一數(shù)據(jù)集、預(yù)設(shè)分類標(biāo)簽和基于CLIP的圖像處理模型；通過(guò)所述基于CLIP的圖像處理模型，根據(jù)所述預(yù)設(shè)分類標(biāo)簽對(duì)所述第一數(shù)據(jù)集中的每一個(gè)圖像進(jìn)行預(yù)分類，得到所述每一個(gè)圖像對(duì)應(yīng)的偽標(biāo)簽；根據(jù)所述每一個(gè)圖像對(duì)應(yīng)的偽標(biāo)簽從所述第一數(shù)據(jù)集中篩選得到第二數(shù)據(jù)集；根據(jù)所述第二數(shù)據(jù)集訓(xùn)練所述基于CLIP的圖像處理模型，得到目標(biāo)視頻分類模型。通過(guò)在基于CLIP預(yù)訓(xùn)練模型的基礎(chǔ)上，設(shè)計(jì)基于特定任務(wù)的文本Prompt，對(duì)少量圖像數(shù)據(jù)集進(jìn)行預(yù)分類，將預(yù)分類的結(jié)果作為偽標(biāo)簽重新訓(xùn)練模型，從而減少了訓(xùn)練模型時(shí)基于特定任務(wù)的模型訓(xùn)練所需要的人工標(biāo)注的標(biāo)簽，減少構(gòu)建數(shù)據(jù)集所需要的時(shí)間。

技術(shù)研發(fā)人員：李詩(shī)琪,蔡春磊
受保護(hù)的技術(shù)使用者：上海嗶哩嗶哩科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/5