本發(fā)明屬于智能研訓，特別涉及一種烹飪教室場景下的智能ai研訓示教系統(tǒng)及方法。

背景技術(shù)：

1、目前職業(yè)教育、技能培訓等各種人才培訓模式正在高速發(fā)展中，基于各種細分場景的教培內(nèi)容則具備不同的場景特征。目前不同職教場景存在共性的問題，即圍觀式教學問題。教學實訓場景缺乏真實感，實訓條件不夠完善，學生難以在真實工作環(huán)境中掌握職業(yè)技能。實訓設(shè)備數(shù)量有限，無法滿足全體學生同時操作實訓的需求，圍觀式教學導致許多學生不能清晰的觀看老師實訓的過程。具體到烹飪教室場景下，由于訓練存在實時性，老師也無法實時指導每一位學生操作。綜上，解決圍觀式教學問題、針對烹飪教育過程中學生操作進行實時指導是亟待解決的問題。

技術(shù)實現(xiàn)思路

1、發(fā)明目的：針對上述背景技術(shù)中存在的問題，本發(fā)明提供了一種烹飪教室場景下的智能ai研訓示教系統(tǒng)及方法，在傳統(tǒng)多端錄播的基礎(chǔ)上，針對烹飪實操環(huán)節(jié)老師無法實時指導的問題，給出一種ai研訓示教方法，基于圖像和傳感器信息對學生的實操練習過程進行分析判斷，并實時提醒，有效解決了烹飪實操的無法及時教學的問題。

2、技術(shù)方案：一種烹飪教室場景下的智能ai研訓示教系統(tǒng)，包括邊緣側(cè)視頻終端和遠程服務(wù)器端；所述邊緣側(cè)視頻終端包括教師端和若干學生端；每個所述邊緣側(cè)視頻終端包括邊緣側(cè)計算終端、攝像頭、陣列麥、物聯(lián)傳感模塊和顯示模塊；所述遠程服務(wù)器端包括課程數(shù)據(jù)庫和ai研訓平臺；所述課程數(shù)據(jù)庫包括若干條烹飪工藝數(shù)據(jù)，所述ai研訓平臺基于烹飪工藝數(shù)據(jù)，對邊緣側(cè)視頻終端傳輸?shù)囊粢曨l數(shù)據(jù)及傳感器數(shù)據(jù)進行實時監(jiān)測，綜合分析，并給出標準化指示命令及對應(yīng)指導方法。

3、進一步的，所述物聯(lián)傳感模塊包括用于測量環(huán)境溫度的紅外傳感器和用于測量添加物重量的重力傳感器；所述邊緣側(cè)視頻終端設(shè)有用于稱重的托盤，所述重力傳感器集成于托盤內(nèi)部。所述邊緣側(cè)計算終端接收并處理攝像頭、陣列麥和物聯(lián)傳感模塊的數(shù)據(jù)，與遠程服務(wù)器端通信，并控制顯示模塊的顯示內(nèi)容。

4、進一步的，所述邊緣側(cè)視頻終端實時采集烹飪操作視頻流，與物聯(lián)傳感模塊的傳感數(shù)據(jù)同步傳輸至ai研訓示教平臺；教師端實時接收每一路學生端傳輸?shù)膶嵅僖曨l畫面，學生端同步接收教師端傳輸?shù)氖痉督虒W畫面。

5、一種烹飪教室場景下的智能ai研訓示教方法，包括以下步驟：

6、步驟s1、針對當前課程教學菜品，從課程數(shù)據(jù)庫中選取標準烹飪工藝數(shù)據(jù)，并加載至ai研訓示教平臺；遠程服務(wù)器端進入上課準備；

7、步驟s2、老師進行示范教學演示時，教師端實時傳輸操作過程的音視頻數(shù)據(jù)及對應(yīng)物聯(lián)傳感數(shù)據(jù)至ai研訓示教平臺；所述ai研訓示教平臺對老師的操作視頻進行特征識別，并結(jié)合音頻數(shù)據(jù)識別及傳感數(shù)據(jù)分析，基于操作內(nèi)容生成若干指示命令，并將指示命令與示范教學畫面同步傳輸至學生端供展示教學；

8、步驟s3、學生進行烹飪實操練習時，將學生端采集的視頻圖像分別傳輸至教師端及遠程服務(wù)器端，同時將各項傳感數(shù)據(jù)傳輸至ai研訓示教平臺；所述ai研訓示教平臺基于指示命令對學生端烹飪實操練習進行監(jiān)測；當某一路學生端發(fā)生操作不當時，ai研訓示教平臺發(fā)出提醒指令至對應(yīng)學生端；

9、步驟s4、當某一路學生端在連續(xù)n段指示命令中累計發(fā)出m個提示指令時，由ai研訓示教平臺通知教師端，老師根據(jù)教師端提醒指令重點關(guān)注對應(yīng)學生，必要時進行實地指導；

10、步驟s5、教學完成后，教師端將將標準烹飪操作視頻流與指示命令同步上傳至遠程服務(wù)器端，供學生課后復習使用。

11、進一步的，所述步驟s2中ai研訓示教平臺采集老師實際操作時的各項工藝數(shù)據(jù)，對應(yīng)至步驟s1中獲取的烹飪工藝數(shù)據(jù)，生成相應(yīng)指示命令；所述指示命令包括溫度數(shù)據(jù)、添加物種類、添加物重量和間隔時長；所述間隔時長代表兩次添加過程的間隔時間；重復操作，獲取指示命令，直至烹飪操作完成；實操完畢后，教師端本地存儲當前實操演示視頻及生成的指示命令，同時將生成的指示命令傳輸至學生端顯示模塊，供學生端實操練習參考。

12、進一步的，所述生成的每一條指示命令中，溫度數(shù)據(jù)、添加物重量和間隔時長均包括指導值和指導區(qū)間；所述指導值為老師示范教學時的標準值，指導區(qū)間則為對應(yīng)的烹飪工藝中給出的指導區(qū)間；所述學生端顯示模塊同時顯示指導值和指導區(qū)間。

13、進一步的，所述步驟s3中，具體判斷學生端操作不當?shù)姆椒òǎ?/p>

14、（1）在每一段指示命令開始時，獲取當前鍋內(nèi)溫度。當鍋內(nèi)溫度達到溫度數(shù)據(jù)對應(yīng)指導區(qū)間上限后的th1秒內(nèi)未檢測到添加物時發(fā)出提醒指令；其中th1為時間閾值；

15、（2）通過圖像識別當前添加物種類，并根據(jù)學生稱重情況綜合判斷添加物種類和重量；當添加物種類與指示命令不符，或添加物重量與指示命令中添加物重量指導區(qū)間上限的差值的絕對值大于重量閾值th2時，發(fā)出提醒指令；

16、（3）當兩次添加的間隔時長小于等于間隔時長的指導區(qū)間下限時，代表添加過早，此時發(fā)出提醒指令。

17、本發(fā)明采用的技術(shù)方案與現(xiàn)有技術(shù)方案相比，具有以下有益效果：

18、針對目前烹飪教學過程中學生圍觀式教學的問題，本發(fā)明提供了一種基于學生端、教師端和遠程服務(wù)器端的多端實時錄播教學系統(tǒng)，在對老師的示范教學視頻進行實時錄播的同時，通過遠程服務(wù)器端實時分析，并對應(yīng)烹飪工藝數(shù)據(jù)，為老師的示范教學行為提供量化的指示命令，供學生參考及遠程分析檢測。

19、針對學生實操過程中存在的老師無法實時指導的問題，本發(fā)明提供了一種基于ai分析的研訓示教方法，通過采集傳感器及視頻信息，與量化的指示命令進行實時比對監(jiān)測，當發(fā)生操作不當時，實時發(fā)出提醒指令，針對問題突出的學生端，提醒老師實地指導，提高了教學質(zhì)量及指導效率。

1.一種烹飪教室場景下的智能ai研訓示教系統(tǒng)，其特征在于，包括邊緣側(cè)視頻終端和遠程服務(wù)器端；所述邊緣側(cè)視頻終端包括教師端和若干學生端；每個所述邊緣側(cè)視頻終端包括邊緣側(cè)計算終端、攝像頭、陣列麥、物聯(lián)傳感模塊和顯示模塊；所述遠程服務(wù)器端包括課程數(shù)據(jù)庫和ai研訓平臺；所述課程數(shù)據(jù)庫包括若干條烹飪工藝數(shù)據(jù)，所述ai研訓平臺基于烹飪工藝數(shù)據(jù)，對邊緣側(cè)視頻終端傳輸?shù)囊粢曨l數(shù)據(jù)及傳感器數(shù)據(jù)進行實時監(jiān)測，綜合分析，并給出標準化指示命令及對應(yīng)指導方法。

2.根據(jù)權(quán)利要求1所述的一種烹飪教室場景下的智能ai研訓示教系統(tǒng)，其特征在于，所述物聯(lián)傳感模塊包括用于測量環(huán)境溫度的紅外傳感器和用于測量添加物重量的重力傳感器；所述邊緣側(cè)視頻終端設(shè)有用于稱重的托盤，所述重力傳感器集成于托盤內(nèi)部；所述邊緣側(cè)計算終端接收并處理攝像頭、陣列麥和物聯(lián)傳感模塊的數(shù)據(jù)，與遠程服務(wù)器端通信，并控制顯示模塊的顯示內(nèi)容。

3.根據(jù)權(quán)利要求1所述的一種烹飪教室場景下的智能ai研訓示教系統(tǒng)，其特征在于，所述邊緣側(cè)視頻終端實時采集烹飪操作視頻流，與物聯(lián)傳感模塊的傳感數(shù)據(jù)同步傳輸至ai研訓示教平臺；教師端實時接收每一路學生端傳輸?shù)膶嵅僖曨l畫面，學生端同步接收教師端傳輸?shù)氖痉督虒W畫面。

4.一種烹飪教室場景下的智能ai研訓示教方法，應(yīng)用于權(quán)利要求1-3中任一項所述烹飪教室場景下的智能ai研訓示教系統(tǒng)，其特征在于，包括以下步驟：

5.根據(jù)權(quán)利要求4所述的一種烹飪教室場景下的智能ai研訓示教方法，其特征在于，所述步驟s2中ai研訓示教平臺采集老師實際操作時的各項工藝數(shù)據(jù)，對應(yīng)至步驟s1中獲取的烹飪工藝數(shù)據(jù)，生成相應(yīng)指示命令；所述指示命令包括溫度數(shù)據(jù)、添加物種類、添加物重量和間隔時長；所述間隔時長代表兩次添加過程的間隔；重復操作，獲取指示命令，直至烹飪操作完成；實操完畢后，教師端本地存儲當前實操演示視頻及生成的指示命令，同時將生成的指示命令傳輸至學生端顯示模塊，供學生端實操練習參考。

6.根據(jù)權(quán)利要求5所述的一種烹飪教室場景下的智能ai研訓示教方法，其特征在于，所述生成的每一條指示命令中，溫度數(shù)據(jù)、添加物重量和間隔時長均包括指導值和指導區(qū)間；所述指導值為老師示范教學時的標準值，指導區(qū)間則為對應(yīng)的烹飪工藝中給出的指導區(qū)間；所述學生端顯示模塊同時顯示指導值和指導區(qū)間。

7.根據(jù)權(quán)利要求6所述的一種烹飪教室場景下的智能ai研訓示教方法，其特征在于，所述步驟s3中，具體判斷學生端操作不當?shù)姆椒òǎ?/p>
技術(shù)總結(jié)
本發(fā)明公開了一種烹飪教室場景下的智能AI研訓示教系統(tǒng)，包括邊緣側(cè)視頻終端和遠程服務(wù)器端；所述邊緣側(cè)視頻終端包括教師端和若干學生端；所述遠程視頻終端包括課程數(shù)據(jù)庫和AI研訓平臺；所述課程數(shù)據(jù)庫包括若干條烹飪工藝數(shù)據(jù)，所述AI研訓平臺基于烹飪工藝數(shù)據(jù)，對邊緣側(cè)視頻終端傳輸?shù)囊粢曨l數(shù)據(jù)及傳感器數(shù)據(jù)進行實時監(jiān)測；本發(fā)明還公開了AI研訓示教方法，針對在對老師的示范教學視頻進行實時錄播的同時，通過遠程服務(wù)器端實時分析，為老師的示范教學行為提供量化的指示命令，同時利用AI模型實時對比實操行為，并針對操作不當行為發(fā)出提醒指令。

技術(shù)研發(fā)人員：周雪松,楊定高
受保護的技術(shù)使用者：江蘇歐帝電子科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/5