本發(fā)明涉及人工智能,尤其涉及一種視頻剪輯方法、裝置、處理設(shè)備及存儲介質(zhì)。
背景技術(shù):
1、目前,在視頻制作和編輯的過程中,通過視頻處理可以將視頻中人物特定動作的視頻片段單獨剪輯出來,但以此獲得的動作視頻素材較為單一,難以為用戶提供個性化的視頻編輯體驗。
技術(shù)實現(xiàn)思路
1、本發(fā)明提供一種視頻剪輯方法、裝置、處理設(shè)備及存儲介質(zhì),解決了現(xiàn)有技術(shù)中人物動作視頻素材較為單一的問題。
2、為解決上述技術(shù)問題,第一方面,本發(fā)明提供一種視頻剪輯方法,包括:
3、確定目標視頻的至少一個視頻幀包含的目標人物區(qū)域圖像;
4、分別獲取所述視頻幀包含的目標人物區(qū)域圖像中的第一信息,所述第一信息包括目標人物關(guān)鍵點信息和/或目標人物動作信息;
5、根據(jù)所述第一信息,對所述至少一個視頻幀包含的目標人物區(qū)域圖像進行剪輯,得到動作剪輯結(jié)果,所述動作剪輯結(jié)果包括目標人物的動作運動軌跡信息以及所述動作運動軌跡信息對應(yīng)的第一信息。
6、可選地,所述確定目標視頻的至少一個視頻幀包含的目標人物區(qū)域圖像,包括:
7、對每個所述視頻幀分別進行目標檢測,獲得每個所述視頻幀對應(yīng)的至少一個包含人物的邊界框;
8、針對每個所述視頻幀,從所述視頻幀對應(yīng)的至少一個邊界框中確定主體人物對應(yīng)的邊界框;
9、針對每個所述視頻幀,根據(jù)所述主體人物對應(yīng)的邊界框,獲得所述視頻幀包含的目標人物區(qū)域圖像。
10、可選地,所述分別獲取所述視頻幀包含的目標人物區(qū)域圖像中的第一信息,包括:
11、對所述視頻幀包含的目標人物區(qū)域圖像進行關(guān)鍵點檢測,獲得所述目標人物區(qū)域圖像的目標人物關(guān)鍵點信息;
12、和/或,對所述視頻幀包含的目標人物區(qū)域圖像進行時序動作檢測,獲得所述目標人物區(qū)域圖像的目標人物動作信息。
13、可選地,所述對所述視頻幀包含的目標人物區(qū)域圖像進行時序動作檢測,獲得所述目標人物區(qū)域圖像的目標人物動作信息,包括:
14、將所述目標人物區(qū)域圖像輸入至快慢網(wǎng)絡(luò)模型,獲得所述目標人物區(qū)域圖像對應(yīng)的目標人物的動作特征和時間特征;
15、對所述目標人物的動作特征和時間特征進行編解碼處理,得到目標人物動作類別信息和目標人物動作時間信息;
16、將所述目標人物動作類別信息和所述目標人物動作時間信息,確定為所述目標人物動作信息。
17、可選地,所述目標人物動作信息包括:目標人物動作類別信息和目標人物動作時間信息;
18、所述根據(jù)所述第一信息,對所述至少一個視頻幀包含的目標人物區(qū)域圖像進行剪輯,得到動作剪輯結(jié)果,包括:
19、針對每個所述目標人物動作類別信息,確定與所述目標人物動作類別信息對應(yīng)的目標人物動作時間信息;
20、針對每個所述目標人物動作類別信息,根據(jù)與所述目標人物動作類別信息對應(yīng)的所有目標人物動作時間信息,確定所述目標人物的動作運動軌跡信息;
21、針對每個所述目標人物動作類別信息,將所述動作運動軌跡信息以及所述動作運動軌跡信息對應(yīng)的所述目標人物動作信息確定為所述動作剪輯結(jié)果。
22、可選地,所述目標人物動作信息包括:目標人物動作類別信息和目標人物動作時間信息;
23、所述根據(jù)所述第一信息,對所述至少一個視頻幀包含的目標人物區(qū)域圖像進行剪輯,得到動作剪輯結(jié)果,包括:
24、針對每個所述目標人物動作類別信息,分別確定與所述目標人物動作類別信息對應(yīng)的目標人物動作時間信息和目標人物關(guān)鍵點信息;
25、針對每個所述目標人物動作類別信息,根據(jù)與所述目標人物動作類別信息對應(yīng)的所有目標人物動作時間信息和目標人物關(guān)鍵點信息,確定所述目標人物的動作運動軌跡信息;
26、針對每個所述目標人物動作類別信息,將所述動作運動軌跡信息以及所述動作運動軌跡信息對應(yīng)的第一信息確定為所述動作剪輯結(jié)果。
27、可選地,所述針對每個所述目標人物動作類別信息,分別確定與所述目標人物動作類別信息對應(yīng)的目標人物動作時間信息和目標人物關(guān)鍵點信息,包括:
28、針對每個所述目標人物動作類別信息,確定初始目標人物關(guān)鍵點信息,所述初始目標人物關(guān)鍵點信息是與所述目標人物動作類別信息對應(yīng)的所有目標人物關(guān)鍵點信息;
29、針對每個所述目標人物動作類別信息,根據(jù)所述目標人物動作類別信息中目標人物動作起始時刻對應(yīng)的目標人物關(guān)鍵點信息和/或所述目標人物動作類別信息中目標人物動作結(jié)束時刻對應(yīng)的目標人物關(guān)鍵點信息,從所述初始目標人物關(guān)鍵點信息中排除不屬于所述目標人物動作類別信息的目標人物關(guān)鍵點信息。
30、第二方面,本發(fā)明實施例還提供一種視頻剪輯裝置,所述裝置包括:
31、圖像獲取模塊,用于確定目標視頻的至少一個視頻幀包含的目標人物區(qū)域圖像;
32、第一處理模塊,用于分別獲取所述視頻幀包含的目標人物區(qū)域圖像中的第一信息,所述第一信息包括目標人物關(guān)鍵點信息和/或目標人物動作信息;
33、第二處理模塊,用于根據(jù)所述第一信息,對所述至少一個視頻幀包含的目標人物區(qū)域圖像進行剪輯,得到動作剪輯結(jié)果,所述動作剪輯結(jié)果包括目標人物的動作運動軌跡信息以及所述動作運動軌跡信息對應(yīng)的第一信息。
34、可選地,所述圖像獲取模塊包括:
35、目標檢測子模塊,用于對每個所述視頻幀分別進行目標檢測,獲得每個所述視頻幀對應(yīng)的至少一個包含人物的邊界框;
36、主體檢測子模塊,用于針對每個所述視頻幀,從所述視頻幀對應(yīng)的至少一個邊界框中確定主體人物對應(yīng)的邊界框;
37、第一處理子模塊,用于針對每個所述視頻幀,根據(jù)所述主體人物對應(yīng)的邊界框,獲得所述視頻幀包含的目標人物區(qū)域圖像。
38、可選地,所述第一處理模塊包括:
39、第二處理子模塊,用于對所述視頻幀包含的目標人物區(qū)域圖像進行關(guān)鍵點檢測,獲得所述目標人物區(qū)域圖像的目標人物關(guān)鍵點信息;
40、時序檢測子模塊,用于對所述視頻幀包含的目標人物區(qū)域圖像進行時序動作檢測,獲得所述目標人物區(qū)域圖像的目標人物動作信息。
41、可選地,所述時序檢測子模塊包括:
42、特征提取單元,用于將所述目標人物區(qū)域圖像輸入至快慢網(wǎng)絡(luò)模型,獲得所述目標人物區(qū)域圖像對應(yīng)的目標人物的動作特征和時間特征;
43、第一處理單元,用于對所述目標人物的動作特征和時間特征進行編解碼處理,得到目標人物動作類別信息和目標人物動作時間信息;
44、第二處理單元,用于將所述目標人物動作類別信息和所述目標人物動作時間信息,確定為所述目標人物動作信息。
45、可選地,所述目標人物動作信息包括:目標人物動作類別信息和目標人物動作時間信息;
46、所述第二處理模塊包括:
47、第三處理子模塊,用于針對每個所述目標人物動作類別信息,分別確定與所述目標人物動作類別信息對應(yīng)的目標人物動作時間信息和目標人物關(guān)鍵點信息;
48、第四處理子模塊,用于針對每個所述目標人物動作類別信息,根據(jù)與所述目標人物動作類別信息對應(yīng)的所有目標人物動作時間信息和目標人物關(guān)鍵點信息,確定所述目標人物的動作運動軌跡信息;
49、第五處理子模塊,用于針對每個所述目標人物動作類別信息,將所述動作運動軌跡信息以及所述動作運動軌跡信息對應(yīng)的第一信息確定為所述動作剪輯結(jié)果。
50、可選地,所述第三處理子模塊包括:
51、第三處理單元,用于針對每個所述目標人物動作類別信息,確定初始目標人物關(guān)鍵點信息,所述初始目標人物關(guān)鍵點信息是與所述目標人物動作類別信息對應(yīng)的所有目標人物關(guān)鍵點信息;
52、第四處理單元,用于針對每個所述目標人物動作類別信息,根據(jù)所述目標人物動作類別信息中目標人物動作起始時刻對應(yīng)的目標人物關(guān)鍵點信息和/或所述目標人物動作類別信息中目標人物動作結(jié)束時刻對應(yīng)的目標人物關(guān)鍵點信息,從所述初始目標人物關(guān)鍵點信息中排除不屬于所述目標人物動作類別信息的目標人物關(guān)鍵點信息。
53、可選地,所述目標人物動作信息包括:目標人物動作類別信息和目標人物動作時間信息;
54、所述第二處理模塊包括:
55、第六處理子模塊,用于針對每個所述目標人物動作類別信息,確定與所述目標人物動作類別信息對應(yīng)的目標人物動作時間信息;
56、第七處理子模塊,用于針對每個所述目標人物動作類別信息,根據(jù)與所述目標人物動作類別信息對應(yīng)的所有目標人物動作時間信息,確定所述目標人物的動作運動軌跡信息;
57、第八處理子模塊,用于針對每個所述目標人物動作類別信息,將所述動作運動軌跡信息以及所述動作運動軌跡信息對應(yīng)的所述目標人物動作信息確定為所述動作剪輯結(jié)果。
58、第三方面,本發(fā)明實施例還提供一種處理設(shè)備,包括:收發(fā)機、存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序;所述處理器,用于讀取存儲器中的程序?qū)崿F(xiàn)如第一方面所述的視頻剪輯方法中的步驟。
59、第四方面,本發(fā)明實施例還提供一種計算機可讀存儲介質(zhì),所述計算機可讀存儲介質(zhì)上存儲計算機程序,所述計算機程序被處理器執(zhí)行時實現(xiàn)如上第一方面所述的視頻剪輯方法中的步驟。
60、第五方面,提供一種計算機程序產(chǎn)品,包括計算機指令,該計算機指令被處理器執(zhí)行時實現(xiàn)如第一方面所述的視頻剪輯方法的步驟。
61、本發(fā)明的上述技術(shù)方案的有益效果如下:
62、本發(fā)明的實施例,在獲取目標視頻的至少一個視頻幀中每個視頻幀包含的目標人物區(qū)域圖像后,可以針對每個視頻幀分別獲取視頻幀包含的目標人物區(qū)域圖像中的第一信息(包括目標人物關(guān)鍵點信息和/或目標人物動作信息),進而可以根據(jù)第一信息對至少一個視頻幀包含的目標人物區(qū)域圖像進行剪輯,得到動作剪輯結(jié)果,其中,該動作剪輯結(jié)果中包括目標人物的動作運動軌跡信息以及動作運動軌跡信息對應(yīng)的第一信息。這樣,可以為用戶提供更多的創(chuàng)作素材,方便用戶利用動作剪輯結(jié)果進行特效增加或其他二創(chuàng)操作,解決了現(xiàn)有技術(shù)中人物動作視頻素材較為單一的問題。