本發(fā)明主要涉及一種基于人臉和語音識別的課堂行為監(jiān)控系統(tǒng)及方法。

背景技術(shù)：

對于課堂行為監(jiān)控，是學(xué)校評價教學(xué)質(zhì)量的重要環(huán)節(jié)，充分了解教師的教課水平和學(xué)生上課的反應(yīng)，才能保證高質(zhì)量教學(xué)水平。現(xiàn)有，對于課堂行為的監(jiān)控采用學(xué)生記錄或者老師測試模擬、老師觀察監(jiān)督的方式，此種方式不能夠充分調(diào)動學(xué)生的學(xué)習(xí)興趣，不能評價老師的教學(xué)效果，無法同時實(shí)現(xiàn)對學(xué)生、教師的課堂行為的采集、分析、記錄及評價。因此，如何利用基于人臉識別技術(shù)和語音識別技術(shù)來對學(xué)生和教師的課堂行為進(jìn)行精確采樣和智能分析與評價，實(shí)現(xiàn)對教學(xué)課堂中學(xué)生和教師的表現(xiàn)行為進(jìn)行觀察和記錄，有效提高課堂教學(xué)效果，促進(jìn)學(xué)生的全面發(fā)展是值得研究和開發(fā)的課題。

技術(shù)實(shí)現(xiàn)要素：

為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于人臉和語音識別的課堂行為監(jiān)控系統(tǒng)及方法，從學(xué)生行為評價和教師行為評價兩個方面進(jìn)行數(shù)據(jù)收集及分析評價，收集學(xué)生在課堂上的表現(xiàn)和教師在課堂上的表揚(yáng)和批評等反饋，并通過數(shù)據(jù)分析，評價學(xué)生的學(xué)習(xí)狀態(tài)及學(xué)習(xí)效果，同時對教師教學(xué)效果進(jìn)行評價。

本發(fā)明所采用的技術(shù)方案是：

一種基于人臉和語音識別的課堂行為監(jiān)控系統(tǒng)，包括

視頻信息采集系統(tǒng)，包括安裝在教室四個墻角的全方位旋轉(zhuǎn)攝像頭、與攝像頭相連的解碼器、與解碼器相連的畫面分割器，用于采集課堂中學(xué)生、教師的視頻數(shù)據(jù)信息；

語音信息采集系統(tǒng)，包括安裝在學(xué)生課桌下面以及講臺上的錄音設(shè)備，用于采集課堂中學(xué)生、教師的語音數(shù)據(jù)信息；

主控處理器，對學(xué)生、教師的視頻數(shù)據(jù)信息和語音信息進(jìn)行預(yù)處理，提取學(xué)生、教師的面部表情特征和行為特征；

分析處理器，將學(xué)生、教師的面部表情特征和行為特征于標(biāo)準(zhǔn)模板進(jìn)行比較，并計(jì)算相應(yīng)得分。

一種基于人臉和語音識別的課堂行為監(jiān)控方法，包括以下步驟：

步驟一、通過安裝在教室四個墻角的攝像頭采集課堂中學(xué)生、教師的視頻數(shù)據(jù)信息；通過安裝在學(xué)生課桌下面以及講臺上的錄音設(shè)備采集課堂中學(xué)生、教師的語音數(shù)據(jù)信息；

步驟二、采集到的學(xué)生、教師的視頻數(shù)據(jù)信息經(jīng)解碼器解碼和畫面分割器分割后，發(fā)送給主控處理器；將采集到的學(xué)生、教師的語音數(shù)據(jù)信息發(fā)送給主控處理器；

步驟三、主控處理器對接收到的學(xué)生的視頻數(shù)據(jù)信息進(jìn)行預(yù)處理，提取學(xué)生的面部表情特征和行為特征，通過分析處理器將學(xué)生面部表情特征與學(xué)生面部表情標(biāo)準(zhǔn)模板進(jìn)行比較，依據(jù)比較結(jié)果計(jì)算課堂中學(xué)生面部表情表現(xiàn)得分，將學(xué)生行為特征與學(xué)生行為標(biāo)準(zhǔn)模板進(jìn)行比較，依據(jù)比較結(jié)果計(jì)算課堂中學(xué)生行為表現(xiàn)得分；

步驟四、主控處理器對接收到的教師的視頻數(shù)據(jù)信息進(jìn)行預(yù)處理，提取教師的面部表情特征和行為特征，通過分析處理器將教師面部表情特征與及教師面部表情標(biāo)準(zhǔn)模板進(jìn)行比較，依據(jù)比較結(jié)果計(jì)算教師對學(xué)生課堂表現(xiàn)面部表情反應(yīng)的得分，將教師行為特征與教師行為標(biāo)準(zhǔn)模板進(jìn)行比較，依據(jù)比較結(jié)果計(jì)算教師對學(xué)生課堂表現(xiàn)行為反應(yīng)的得分；

步驟五、主控處理器對接收到的學(xué)生的語音數(shù)據(jù)信息進(jìn)行處理，提取學(xué)生語音特征，訓(xùn)練語音標(biāo)準(zhǔn)模板，將學(xué)生語音特征與語音標(biāo)準(zhǔn)模板進(jìn)行比較，依據(jù)比較結(jié)果計(jì)算課堂中每位學(xué)生的發(fā)言次數(shù)及頻率、發(fā)言時間長短以及小組討論時的發(fā)言比率；

步驟六、主控處理器對接收到的教師的語音數(shù)據(jù)信息進(jìn)行處理，提取教師語音特征，計(jì)算教師教學(xué)效果的分值，并與教師教學(xué)效果平均分值進(jìn)行比較，當(dāng)該分值小于教師教學(xué)效果平均分值時，發(fā)出提示；

步驟七：主控處理器將課堂中學(xué)生面部表情和行為表現(xiàn)得分以及教師對學(xué)生課堂表現(xiàn)面部表情反應(yīng)和行為反應(yīng)的得分進(jìn)行整合，得出每個學(xué)生的課堂行為總分，并將該總分與主控制器中設(shè)置的學(xué)生課堂行為平均分?jǐn)?shù)進(jìn)行比較，當(dāng)該總分小于學(xué)生課堂行為平均分?jǐn)?shù)，發(fā)出提示；

步驟八：將學(xué)生、教師的視頻數(shù)據(jù)信息、語音數(shù)據(jù)信息、每個學(xué)生的課堂行為總分和教師教學(xué)效果的分值存儲到主控處理器的數(shù)據(jù)庫中。

進(jìn)一步的，所述學(xué)生、教師的視頻數(shù)據(jù)信息包括學(xué)生、教師的行為信息和學(xué)生、教師的面部表情信息。

進(jìn)一步的，所述步驟三中，所述學(xué)生面部表情特征模板包括虹膜中心、內(nèi)眼角點(diǎn)、外眼角點(diǎn)、鼻尖點(diǎn)、鼻孔點(diǎn)、耳屏點(diǎn)、耳下點(diǎn)、口角點(diǎn)、頭頂點(diǎn)、眉內(nèi)點(diǎn)和眉外點(diǎn)；所述學(xué)生行為特征模板包括舉手、低頭做筆記和抬頭聽課。

進(jìn)一步的，所述步驟三中，在進(jìn)行學(xué)生的面部表情特征和行為特征與標(biāo)準(zhǔn)模板進(jìn)行比較之前，先對學(xué)生面部表情標(biāo)準(zhǔn)模板和學(xué)生行為標(biāo)準(zhǔn)模板進(jìn)行賦分，所述學(xué)生面部表情標(biāo)準(zhǔn)模板中專注、高興表情設(shè)定為10分，冷漠表情設(shè)定為4分，煩躁設(shè)定為1分；學(xué)生行為標(biāo)準(zhǔn)模板中舉手、低頭做筆記、抬頭聽課的行為設(shè)定為10分，其與設(shè)定為0分。

進(jìn)一步的，所述步驟四中，所述教師面部表情標(biāo)準(zhǔn)模板包括嘴角弧度、眉內(nèi)點(diǎn)和眉外點(diǎn)；所述教師行為標(biāo)準(zhǔn)模板包括教師點(diǎn)頭次數(shù)。

進(jìn)一步的，所述步驟四中，在進(jìn)行教師的面部表情特征和行為特征與標(biāo)準(zhǔn)模板進(jìn)行比較之前，先對教師面部表情標(biāo)準(zhǔn)模板和教師行為標(biāo)準(zhǔn)模板進(jìn)行賦分，所述教師面部表情標(biāo)準(zhǔn)模板中愉悅表情設(shè)定為10分，不滿表情設(shè)定為0分，其余在中間范圍依據(jù)滿意程度賦分，所述教師行為標(biāo)準(zhǔn)模板中依據(jù)教師點(diǎn)頭次數(shù)進(jìn)行賦分。

進(jìn)一步的，所述步驟五中，學(xué)生語音特征包括學(xué)生每堂課的發(fā)言次數(shù)和頻率、每次發(fā)言時間長短和小組談?wù)摃r發(fā)言比率。

進(jìn)一步的，所述步驟五中的訓(xùn)練語音標(biāo)準(zhǔn)模板具體方法為：根據(jù)每個說話人的訓(xùn)練語音樣本，經(jīng)特征提取，建立每個說話人的語音標(biāo)準(zhǔn)模板。

進(jìn)一步的，所示步驟六中，計(jì)算教師教學(xué)效果的分值的具體方法為：按照語音標(biāo)準(zhǔn)模板將教師的語音信息分割為若干個小單位，利用多元化測度法計(jì)算得到其測度值，根據(jù)分析處理器中標(biāo)準(zhǔn)語音庫建立語音評分模型，將獲得的測度值轉(zhuǎn)換成為評價教師教學(xué)效果的分值。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

(1)采用攝像頭和錄音設(shè)備對課堂中學(xué)生、教師的課堂行為進(jìn)行科學(xué)、客觀的采樣，提供量化分析數(shù)據(jù)；通過主控處理器和分析處理器對采集到的數(shù)據(jù)進(jìn)行分析處理，得到學(xué)生的學(xué)習(xí)投入程度，并評價其學(xué)習(xí)效果，基于該分析結(jié)果學(xué)校能夠采取有效策略正確引導(dǎo)學(xué)生積極表達(dá)，有效提高課堂教學(xué)效果，促進(jìn)學(xué)生的全面發(fā)展；

(2)通過分析處理器將學(xué)生的面部表情特征和行為特征與標(biāo)準(zhǔn)模板進(jìn)行比較打分，替代了傳統(tǒng)教師課堂觀察的方式，提高了評價的準(zhǔn)確性和客觀性；

(3)本發(fā)明通過對課堂上所收集到的學(xué)生行為和師生互動行為進(jìn)行分析和評價，可以完善教學(xué)方法提升教學(xué)質(zhì)量。

附圖說明

構(gòu)成本申請的一部分的說明書附圖用來提供對本申請的進(jìn)一步理解，本申請的示意性實(shí)施例及其說明用于解釋本申請，并不構(gòu)成對本申請的不當(dāng)限定。

圖1是本發(fā)明實(shí)施例中基于人臉和語音識別的課堂行為監(jiān)控方法的流程圖；

圖2是學(xué)生語音信息收集處理流程圖；

圖3是教師語音信息收集處理流程圖；

圖4是本發(fā)明實(shí)施例中基于人臉和語音識別的課堂行為監(jiān)控系統(tǒng)的結(jié)構(gòu)框圖。

具體實(shí)施方式

應(yīng)該指出，以下詳細(xì)說明都是例示性的，旨在對本申請?zhí)峁┻M(jìn)一步的說明。除非另有指明，本文使用的所有技術(shù)和科學(xué)術(shù)語具有與本申請所屬技術(shù)領(lǐng)域的普通技術(shù)人員通常理解的相同含義。

需要注意的是，這里所使用的術(shù)語僅是為了描述具體實(shí)施方式，而非意圖限制根據(jù)本申請的示例性實(shí)施方式。如在這里所使用的，除非上下文另外明確指出，否則單數(shù)形式也意圖包括復(fù)數(shù)形式，此外，還應(yīng)當(dāng)理解的是，當(dāng)在本說明書中使用術(shù)語“包含”和/或“包括”時，其指明存在特征、步驟、操作、器件、組件和/或它們的組合。

本申請的一種典型的實(shí)施方式中，如圖1-3所示，一種基于人臉和語音識別的課堂行為監(jiān)控方法，包括以下步驟：

通過安裝在教室四個墻角的攝像頭采集課堂中學(xué)生、教師的視頻數(shù)據(jù)信息，所述學(xué)生、教師的視頻數(shù)據(jù)信息包括學(xué)生、教師的行為信息和學(xué)生、教師的面部表情信息；通過安裝在學(xué)生課桌下面以及講臺上的錄音設(shè)備采集課堂中學(xué)生、教師的語音數(shù)據(jù)信息；

采集到的學(xué)生的視頻數(shù)據(jù)信息經(jīng)解碼器解碼和畫面分割器分割后，發(fā)送給主控處理器；主控處理器對接收到的學(xué)生的視頻數(shù)據(jù)信息進(jìn)行預(yù)處理，然后進(jìn)行面部表情識別和行為識別；對于面部表情識別，先通過人臉特征不同提取學(xué)生的面部表情特征，提取時采用基于學(xué)生面部表情標(biāo)準(zhǔn)模板進(jìn)行提取；所述學(xué)生面部表情特征模板包括虹膜中心、內(nèi)眼角點(diǎn)、外眼角點(diǎn)、鼻尖點(diǎn)、鼻孔點(diǎn)、耳屏點(diǎn)、耳下點(diǎn)、口角點(diǎn)、頭頂點(diǎn)、眉內(nèi)點(diǎn)和眉外點(diǎn)；對于行為識別，先提取學(xué)生的行為特征，其中行為特征提取主要集中于四肢、頭部位置，所述學(xué)生行為標(biāo)準(zhǔn)模板包括舉手、低頭做筆記和抬頭聽課；

通過分析處理器對提取到的學(xué)生的面部表情特征和行為特征進(jìn)行分析比較，首先對學(xué)生面部表情標(biāo)準(zhǔn)模板賦分，所述學(xué)生面部表情標(biāo)準(zhǔn)模板中專注、高興表情設(shè)定為10分，冷漠表情設(shè)定為4分，煩躁表情設(shè)定為1分；通過分析處理器將學(xué)生面部表情特征與學(xué)生面部表情標(biāo)準(zhǔn)模板進(jìn)行比較，依據(jù)比較結(jié)果計(jì)算課堂中學(xué)生面部表情表現(xiàn)得分；對學(xué)生行為標(biāo)準(zhǔn)模板進(jìn)行賦分，學(xué)生行為標(biāo)準(zhǔn)模板中舉手、低頭做筆記、抬頭聽課的行為設(shè)定為10分；通過分析處理器將學(xué)生行為特征與學(xué)生行為標(biāo)準(zhǔn)模板進(jìn)行比較，依據(jù)比較結(jié)果計(jì)算課堂中學(xué)生行為表現(xiàn)得分；

采集到的教師的視頻數(shù)據(jù)信息經(jīng)解碼器解碼和畫面分割器分割后，發(fā)送給主控處理器；主控處理器對接收到的教師的視頻數(shù)據(jù)信息進(jìn)行預(yù)處理，基于教師面部表情標(biāo)準(zhǔn)模板提取教師的面部表情特征和基于教師行為標(biāo)準(zhǔn)模板提取行為特征，其中教師面部表情標(biāo)準(zhǔn)模板包括嘴角弧度、眉內(nèi)點(diǎn)和眉外點(diǎn)；教師行為標(biāo)準(zhǔn)模板包括教師點(diǎn)頭次數(shù)；

通過分析處理器對提取到的教師的面部表情特征和行為特征進(jìn)行分析比較，首先對教師面部表情標(biāo)準(zhǔn)模板賦分，教師面部表情標(biāo)準(zhǔn)模板中愉悅表情設(shè)定為10分，不滿表情設(shè)定為0分，其余在中間范圍依據(jù)滿意程度賦分，通過分析處理器將教師面部表情特征與及教師面部表情標(biāo)準(zhǔn)模板進(jìn)行比較，依據(jù)比較結(jié)果計(jì)算教師對學(xué)生課堂表現(xiàn)面部表情反應(yīng)的得分；然后對教師行為標(biāo)準(zhǔn)模板進(jìn)行賦分，所述教師行為標(biāo)準(zhǔn)模板中依據(jù)教師點(diǎn)頭次數(shù)進(jìn)行賦分；通過分析處理器將教師行為特征與教師行為標(biāo)準(zhǔn)模板進(jìn)行比較，依據(jù)比較結(jié)果計(jì)算教師對學(xué)生課堂表現(xiàn)行為反應(yīng)的得分；

將采集到的學(xué)生、教師的語音數(shù)據(jù)信息發(fā)送給主控處理器；主控處理器對接收到的學(xué)生的語音數(shù)據(jù)信息進(jìn)行處理，基于說話人識別技術(shù)提取學(xué)生語音特征，根據(jù)每個說話人的訓(xùn)練語音材料，經(jīng)特征提取，建立每個說話人的語音標(biāo)準(zhǔn)模板，得到完成訓(xùn)練的語音標(biāo)準(zhǔn)模板，將學(xué)生語音特征與語音標(biāo)準(zhǔn)模板進(jìn)行比較；學(xué)生語音特征包括學(xué)生每堂課的發(fā)言次數(shù)和頻率、每次發(fā)言時間長短和小組談?wù)摃r發(fā)言比率，依據(jù)比較結(jié)果計(jì)算課堂中每位學(xué)生的發(fā)言次數(shù)及頻率、發(fā)言時間長短以及小組討論時的發(fā)言比率；

主控處理器對接收到的教師的語音數(shù)據(jù)信息進(jìn)行處理，基于語音識別技術(shù)，首先提取教師語音特征；其次，按照已完成訓(xùn)練的語音標(biāo)準(zhǔn)模板采用音頻分割算法將語音分割為若干個小單位，根據(jù)不同的語音信息利用多元化測度方法計(jì)算得到其測度值；最后，根據(jù)分析處理器中教師標(biāo)準(zhǔn)語音庫建立語音評分模型，將獲得的測度值轉(zhuǎn)換成為評價教師教學(xué)效果的分值；其中，教師標(biāo)準(zhǔn)語音庫中包含對學(xué)生回答正向反饋和負(fù)向反饋，正向反饋為回答正確，負(fù)向反饋為回答錯誤。

主控處理器將學(xué)生課堂中面部表情和行為表現(xiàn)得分以及教師對學(xué)生課堂表現(xiàn)面部表情反應(yīng)和行為反應(yīng)的得分進(jìn)行整合，得出每個學(xué)生的課堂行為總分，并將該總分與主控制器中設(shè)置的學(xué)生課堂行為平均分?jǐn)?shù)進(jìn)行比較，當(dāng)總分小于學(xué)生課堂行為平均分?jǐn)?shù)，發(fā)出提示；

將學(xué)生、教師的視頻數(shù)據(jù)信息、語音數(shù)據(jù)信息、每個學(xué)生的課堂行為總分和教師教學(xué)效果的分值存儲到主控處理器的數(shù)據(jù)庫中。

如圖4所示，一種基于人臉和語音識別的課堂行為監(jiān)控系統(tǒng)，包括

視頻信息采集系統(tǒng)，包括安裝在教室四個墻角的全方位旋轉(zhuǎn)攝像頭、與攝像頭相連的解碼器、與解碼器相連的畫面分割器，采集課堂中學(xué)生、教師的視頻數(shù)據(jù)信息；

語音信息采集系統(tǒng)，包括安裝在學(xué)生課桌下面以及講臺上的錄音設(shè)備，采集課堂中學(xué)生、教師的語音數(shù)據(jù)信息；

主控處理器，對學(xué)生、教師的視頻數(shù)據(jù)信息和語音信息進(jìn)行預(yù)處理，提取學(xué)生、教師的面部表情特征和行為特征；

分析處理器，將學(xué)生、教師的面部表情特征和行為特征于標(biāo)準(zhǔn)模板進(jìn)行比較，并計(jì)算相應(yīng)得分。

上述雖然結(jié)合附圖對本發(fā)明的具體實(shí)施方式進(jìn)行了描述，但并非對本發(fā)明保護(hù)范圍的限制，所屬領(lǐng)域技術(shù)人員應(yīng)該明白，在本發(fā)明的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動即可做出的各種修改或變形仍在本發(fā)明的保護(hù)范圍以內(nèi)。