本發(fā)明涉及護理培訓領域，具體是指基于深度學習的護理培訓效果評估方法及系統(tǒng)。

背景技術：

1、隨著醫(yī)療事業(yè)的不斷發(fā)展，護理質(zhì)量成為醫(yī)療機構關注的重要課題；護理培訓是提高護理人員業(yè)務水平、保障患者安全的關鍵環(huán)節(jié)；然而，傳統(tǒng)的護理培訓效果評估方法主要依賴于人工觀察和主觀評價，存在評估結果不準確、效率低下等問題；因此，研究一種高效、準確的護理培訓效果評估方法及系統(tǒng)具有重要的現(xiàn)實意義；然而，現(xiàn)有的護理培訓效果評估方法及系統(tǒng)，存在依賴于評估者的主觀判斷導致評估結果的不一致性和偏差問題，存在缺乏有效的量化評估指標導致難以精準衡量培訓效果的問題。

技術實現(xiàn)思路

1、針對上述情況，為克服現(xiàn)有技術的缺陷，本發(fā)明提供了基于深度學習的護理培訓效果評估方法及系統(tǒng)，針對依賴于評估者的主觀判斷導致評估結果的不一致性和偏差的問題，本發(fā)明構建基于深度學習的課堂內(nèi)容分析模型，融合多種深度學習算法并利用多任務學習技術實現(xiàn)對教師及學生的行為和表情識別，并根據(jù)識別結果計算專注度得分，從而進一步對護理培訓效果進行客觀、全面的評估；針對缺乏有效的量化評估指標導致難以精準衡量培訓效果的問題，本發(fā)明采用層次分析法對護理培訓效果進行綜合評估，通過構建多層次、多維度的層次結構模型，并利用課堂內(nèi)容分析模型的分析結果對層次結構模型中的因素進行量化評估，最終通過計算得出護理培訓效果的總評分，從而實現(xiàn)了一個系統(tǒng)化、多維度評估護理培訓效果的方法。

2、本發(fā)明采取的技術方案如下：本發(fā)明提供了基于深度學習的護理培訓效果評估方法，具體的步驟如下：

3、步驟s1：采集護理培訓視頻：通過攝像頭拍攝護理培訓視頻，包括面向教師的講課視頻以及面向?qū)W生的聽課視頻；

4、步驟s2：構建課堂內(nèi)容分析模型：提取護理培訓視頻中人物的動作特征和表情特征并進行特征融合，通過多任務學習分別得到行為識別結果和表情識別結果，根據(jù)行為識別結果和表情識別結果計算專注度得分；

5、步驟s3：分別利用講課視頻和聽課視頻對課堂內(nèi)容分析模型進行訓練，得到教師分析模型和學生分析模型；

6、步驟s4：使用層次分析法對護理培訓效果進行綜合評估：構建以護理培訓效果評估為目標的層次結構模型，并利用教師分析模型和學生分析模型對層次結構模型中的因素進行打分，得到護理培訓效果評估結果。

7、進一步地，所述步驟s2具體包括：

8、步驟s21：使用openface模型對護理培訓視頻進行面部動作識別，得到openface識別結果，構建openface識別結果的嵌入向量，得到面部動作特征，openface識別結果具體包括頭部姿態(tài)、面部特征點、動作單元和注視方向；

9、步驟s22：將護理培訓視頻進行灰度化處理，使用cnn模型提取護理培訓視頻的圖像特征，cnn模型具體包括兩個相連的卷積模塊，所述卷積模塊具體包括依次單向連接的兩個第一卷積模塊和兩個第二卷積模塊，所述第一卷積模塊具體包括依次單向連接的一個卷積單元和一個最大池化層，所述第二卷積模塊具體包括依次單向連接的兩個卷積單元和一個最大池化層，所述卷積單元包括依次單向連接的一個3×3卷積核和一個relu激活函數(shù)，灰度化處理公式如下所述：

10、;

11、其中，表示護理培訓視頻的圖像的第行第列的像素，表示灰度值，、、分別表示護理培訓視頻的圖像的r、g、b通道的像素值；

12、步驟s23：將面部動作特征與圖像特征通過交叉注意力融合算法進行特征融合：所述交叉注意力融合算法構建面部動作特征查詢向量、面部動作特征鍵向量和面部動作特征值向量，構建圖像特征查詢向量、圖像特征鍵向量和圖像特征值向量，計算面部動作特征查詢向量、圖像特征鍵向量和圖像特征值向量的第一注意力值，計算圖像特征查詢向量、面部動作特征鍵向量和面部動作特征值向量的第二注意力值，將第一注意力值與第二注意力值進行拼接，得到動作融合特征，該過程的公式具體如下所述：

13、;

14、其中，表示第一注意力值，表示softmax函數(shù)，表示面部動作特征查詢向量，表示圖像特征鍵向量，表示圖像特征值向量，表示維度；

15、;

16、其中，表示第二注意力值，表示圖像特征特征查詢向量，表示面部動作特征鍵向量，表示面部動作特征值向量；

17、;

18、其中，表示動作融合特征，表示拼接操作；

19、步驟s24：對護理培訓視頻進行人臉檢測，得到人臉圖像，對人臉圖像進行灰度化處理后投入resnet50模型中，得到面部表情特征；

20、步驟s25：將動作融合特征和面部表情特征進行拼接，得到總體特征；

21、步驟s26：利用第一注意力模塊對總體特征進行行為識別任務學習：第一注意力模塊首先計算總體特征的第一注意力得分，然后通過softmax函數(shù)得到行為識別結果，該過程的計算公式具體如下所述：

22、;

23、其中，表示第一注意力得分，表示relu激活函數(shù)，和都為可學習的參數(shù)；

24、;

25、其中，表示行為識別結果，為可學習的參數(shù)；

26、步驟s27：利用第二注意力模塊對總體特征進行表情識別任務學習：第二注意力模塊首先計算總體特征的第二注意力得分，然后通過softmax函數(shù)得到表情識別結果，該過程的計算公式具體如下所述：

27、;

28、其中，表示第二注意力得分，和都為可學習的參數(shù)；

29、;

30、其中，表示表情識別結果，為可學習的參數(shù)；

31、步驟s28：計算總損失：通過交叉熵損失函數(shù)分別計算行為識別損失和表情識別損失，將行為識別損失和表情識別損失進行求和平均后得到總損失，該過程的計算公式具體如下所述：

32、;

33、;

34、其中，和分別表示單個樣本的行為識別損失和表情識別損失，表示行為類別索引，和分別表示該樣本行為真實類別和表情真實類別，和分別表示該樣本在第個類別的行為識別結果和表情識別結果；

35、;

36、其中，表示總損失；

37、步驟s29：計算專注度得分：定義行為專注度評價矩陣和表情專注度評價矩陣，定義行為權重和表情權重，專注度得分=行為權重×行為識別結果×行為專注度評價矩陣+表情權重×表情識別結果×表情專注度評價矩陣。

38、進一步地，步驟s3具體包括：

39、步驟s31：收集講課視頻作為第一數(shù)據(jù)集并對培訓教師的行為和表情進行標注，利用標注好的第一數(shù)據(jù)集對課堂內(nèi)容分析模型進行訓練，得到教師分析模型；

40、步驟s32：收集聽課視頻作為第二數(shù)據(jù)集并對學生的行為和表情進行標注，利用標注好的第二數(shù)據(jù)集對課堂內(nèi)容分析模型進行訓練，得到學生分析模型。

41、進一步地，步驟s4具體包括：

42、步驟s41：建立層次結構模型：層次結構模型包含目標層、準則層和方案層，目標層包括護理培訓效果評估，準則層包括培訓內(nèi)容、師生互動、培訓質(zhì)量和培訓評價，所述培訓內(nèi)容的方案層包括培訓教師專注程度、培訓教師積極程度和培訓教師行為，所述師生互動的方案層包括學生互動程度，所述培訓質(zhì)量的方案層包括學生行為、學生專注程度和學生積極程度，所述培訓評價的方案層包括同行綜合評價和學生綜合評價；

43、步驟s42：構造判斷矩陣：采用1-9標度法分別對準則層和方案層的同層因素進行兩兩比較，得到判斷矩陣，對判斷矩陣進行一致性檢驗；

44、步驟s43：計算判斷矩陣權重向量；

45、步驟s45：利用教師分析模型對講課視頻進行識別，得到教師行為識別結果、教師表情識別結果和教師專注度得分，定義教師行為評價矩陣和教師積極程度評價矩陣，進一步對培訓教師專注程度、培訓教師積極程度和培訓教師行為進行打分，打分的公式具體如下所述：

46、培訓教師積極程度的分數(shù)的公式具體如下所述：

47、<msub><mi>a</mi><mi>teacher</mi></msub><mi>=</mi><msub><mi>w</mi><mi>ta</mi></msub><mi>×</mi><mi>[</mi><msub><mover><mi>y</mi><mo stretchy="true">?</mo></mover><mi>a,t</mi></msub><mi>; </mi><msub><mover><mi>y</mi><mo stretchy="true">?</mo></mover><mi>e,t</mi></msub><mi>]</mi>;

48、其中，表示培訓教師積極程度的分數(shù)，表示教師積極程度評價矩陣，和分別表示教師行為識別結果和教師表情識別結果，<mi>[</mi><msub><mover><mi>y</mi><mo stretchy="true">?</mo></mover><mi>a,t</mi></msub><mi>; </mi><msub><mover><mi>y</mi><mo stretchy="true">?</mo></mover><mi>e,t</mi></msub><mi>]</mi>表示將和進行垂直拼接后的矩陣；

49、培訓教師行為的分數(shù)的公式具體如下所述：

50、;

51、其中，表示培訓教師行為的分數(shù)，表示教師行為評價矩陣；

52、培訓教師專注程度的分數(shù)的公式具體如下所述：

53、;

54、其中，表示培訓教師專注程度的分數(shù)，表示教師專注度得分；

55、步驟s46：利用學生分析模型對聽課視頻進行識別，得到學生行為識別結果、學生表情識別結果和學生專注度得分，定義學生行為評價矩陣和學生積極程度評價矩陣，進一步對學生專注程度、學生積極程度和學生行為進行打分，打分的公式具體如下所述：

56、學生積極程度的分數(shù)的公式具體如下所述：

57、<msub><mi>a</mi><mi>student</mi></msub><mi>=</mi><msub><mi>w</mi><mi>sa</mi></msub><mi>×</mi><mi>[</mi><msub><mover><mi>y</mi><mo stretchy="true">?</mo></mover><mi>a,s</mi></msub><mi>; </mi><msub><mover><mi>y</mi><mo stretchy="true">?</mo></mover><mi>e,s</mi></msub><mi>]</mi>;

58、其中，表示學生積極程度的分數(shù)，表示學生積極程度評價矩陣，和分別表示學生行為識別結果和學生表情識別結果，<mi>[</mi><msub><mover><mi>y</mi><mo stretchy="true">?</mo></mover><mi>a,s</mi></msub><mi>; </mi><msub><mover><mi>y</mi><mo stretchy="true">?</mo></mover><mi>e,s</mi></msub><mi>]</mi>表示將和進行垂直拼接后的矩陣；

59、學生行為的分數(shù)的公式具體如下所述：

60、;

61、其中，表示學生行為的分數(shù)，表示學生行為評價矩陣；

62、學生專注程度的分數(shù)的公式具體如下所述：

63、;

64、其中，表示學生專注程度的分數(shù)，表示學生專注度得分；

65、步驟s47：定義互動行為評價矩陣，用互動行為評價矩陣與學生行為識別結果進行乘積得到學生互動程度的得分；

66、步驟s48：通過調(diào)查問卷的形式得到同行綜合評價和學生綜合評價的得分；

67、步驟s49：將每個方案層的因素的得分與判斷矩陣權重向量進行乘積并求和，得到護理培訓效果評估的總評分。

68、本發(fā)明還提供了基于深度學習的護理培訓效果評估系統(tǒng)，用于實現(xiàn)基于深度學習的護理培訓效果評估方法，具體包括數(shù)據(jù)采集模塊、模型構建模塊、模型訓練模塊、層次分析模塊和用戶交互模塊：

69、所述數(shù)據(jù)采集模塊通過攝像頭采集護理培訓課程的上課視頻，包括面向教師的講課視頻以及面向?qū)W生的聽課視頻；

70、所述模型構建模塊構建課堂內(nèi)容分析模型；

71、所述模型訓練模塊對課堂內(nèi)容分析模型分別訓練得到教師分析模型和學生分析模型；

72、所述層次分析模塊使用層次分析法結合教師分析模型和學生分析模型對護理培訓效果進行綜合評估，得到評估得分；

73、所述用戶交互模塊提供可交互的用戶界面，將評估得分以直方圖和餅狀圖的方式展現(xiàn)給用戶。

74、采用上述方案本發(fā)明取得的有益成果如下：

75、（1）針對依賴于評估者的主觀判斷導致評估結果的不一致性和偏差的問題，本發(fā)明構建基于深度學習的課堂內(nèi)容分析模型，融合多種深度學習算法并利用多任務學習技術實現(xiàn)對教師及學生的行為和表情識別，并根據(jù)識別結果計算專注度得分，從而進一步對護理培訓效果進行客觀、全面的評估。

76、（2）針對缺乏有效的量化評估指標導致難以精準衡量培訓效果的問題，本發(fā)明采用層次分析法對護理培訓效果進行綜合評估，通過構建多層次、多維度的層次結構模型，并利用課堂內(nèi)容分析模型的分析結果對層次結構模型中的因素進行量化評估，最終通過計算得出護理培訓效果的總評分，從而實現(xiàn)了一個系統(tǒng)化、多維度評估護理培訓效果的方法。