本發(fā)明涉及教育培訓技術領域，尤其涉及一種基于動作反應和繪畫反應的第二母語的訓練方法及裝置。

背景技術：

現(xiàn)有的第二語言學習方法，很難達到語言信號和動作、觸覺、情緒情感之間的條件反射的母語程度。因為母語的習得過程和常規(guī)外語學習過程完全不同

母語學習者在張口說話之前的特殊階段(通常1歲之前)，盡管不能說話，但能通過觀察父母的動作示范，理解一些詞句；而且聽到成人的指令后，盡管不會張口應答，但能用動作做出反應。本發(fā)明就是基于動作反應和繪畫反應(繪畫也是一種小肌肉動作)模擬母語的自然學習過程，把詞語與人體動作、觸感和情緒表情建立一定關系，使語言信號內化到學習者的潛意識，達到第二母語的程度。

技術實現(xiàn)要素：

本發(fā)明提供一種基于動作反應和繪畫反應的第二母語的訓練方法及裝置，用于解決現(xiàn)有技術中無法在語言教學中達到母語學習效果的問題。

第一方面，本發(fā)明提供一種基于動作反應和繪畫反應的第二母語的訓練方法，包括：

獲取詞句信息；

根據(jù)影音信息和詞句信息的預設對應關系選擇播放與所述詞句信息對應的影音信息，所述影音信息為根據(jù)目標語言中詞句錄入的發(fā)音、動作、繪畫過程影像；

在當前影音信息播放后，采集用戶模仿影像動作時的當前身體動作信息和/或用戶繪畫的當前繪畫筆跡信息；

根據(jù)所述當前身體動作信息和/或所述當前繪畫筆跡信息獲得當前身體動作特征信息和/或當前繪畫筆跡特征信息；

根據(jù)預設的影音信息與標準特征信息的對應關系，判斷確定所述當前身體動作特征信息和/或當前繪畫筆跡特征信息與標準特征信息匹配成功后，播放下一個影音信息。

優(yōu)選地，所述影音信息的播放采用固有存儲順序播放或隨機播放。

優(yōu)選地，所述在當前影音信息播放后，采集用戶模仿影像動作時的當前身體動作信息和/或用戶畫面的當前繪畫筆跡信息，包括：

通過人體上設置的動作跟蹤裝置、繪畫筆跡跟蹤和筆跡識別裝置和攝像裝置采集用戶模仿時的當前身體動作信息和/或用戶繪畫的當前繪畫筆跡信息。

優(yōu)選地，還包括：根據(jù)預設的影音信息與標準特征信息的對應關系，判斷確定所述當前身體動作特征信息和/或當前繪畫筆跡特征信息與標準特征信息匹配未成功后，繼續(xù)播放，或再次播放，或暫停播放當前影音信息。

優(yōu)選地，所述判斷確定所述當前身體動作特征信息和/或當前繪畫筆跡特征信息與標準特征信息匹配成功，包括：若所述當前身體動作特征信息和/或當前繪畫筆跡特征信息與標準特征信息之間的匹配差值在預設閾值范圍之內，則判斷確定當前身體動作特征信息和/或當前繪畫筆跡特征信息與標準特征信息匹配成功。

第二方面，本發(fā)明提供一種基于動作反應和繪畫反應的第二母語的訓練裝置，包括：

獲取模塊，用于獲取詞句信息；

播放模塊，用于根據(jù)影音信息和詞句信息的預設對應關系選擇播放與所述詞句信息對應的影音信息，所述影音信息為根據(jù)目標語言中詞句錄入的發(fā)音、動作、繪畫過程影像；

采集模塊，用于在當前影音信息播放后，采集用戶模仿影像動作時的當前身體動作信息和/或用戶繪畫的當前繪畫筆跡信息；

特征提取模塊，用于根據(jù)所述當前身體動作信息和/或所述當前繪畫筆跡信息獲得當前身體動作特征信息和/或當前繪畫筆跡特征信息；

處理模塊，用于根據(jù)預設的影音信息與標準特征信息的對應關系，判斷確定所述當前身體動作特征信息和/或當前繪畫筆跡特征信息與標準特征信息匹配成功后，播放下一個影音信息。

優(yōu)選地，所述處理模塊，還用于：

根據(jù)預設的影音信息與標準特征信息的對應關系，判斷確定所述當前身體動作特征信息和/或當前繪畫筆跡特征信息與標準特征信息匹配未成功后，繼續(xù)播放，或再次播放，或暫停播放當前影音信息。

優(yōu)選地，所述播放模塊包括顯示屏、投影儀、虛擬現(xiàn)實設備、增強現(xiàn)實設備、全息成像設備的一種或多種。

優(yōu)選地，所述采集模板包括語音采集模塊和影像采集模塊，所述語音采集模塊包括錄音器，所述影像采集模塊包括動作跟蹤裝置、繪畫筆跡跟蹤和筆跡識別裝置和攝像裝置。

優(yōu)選地，所述處理模塊具體用于：若所述當前身體動作特征信息和/或當前繪畫筆跡特征信息與標準特征信息之間的匹配差值在預設閾值范圍之內，則判斷確定當前身體動作特征信息和/或當前繪畫筆跡特征信息與標準特征信息匹配成功。

由上述技術方案可知，本發(fā)明提供的一種基于動作反應和繪畫反應的第二母語訓練方法及裝置，通過對語言詞句所對應的影像信息播放，使學習者模仿身體動作或模仿繪畫動作后采集到學習者的身體動作特征信息和繪畫筆跡特征信息，并與預設的標準特征信息進行匹配，從而達到學習者通過肌肉動作反應、皮膚觸覺反應、繪畫過程中的情緒情感反應，內化語言信號到潛意識，來模擬第二母語的學習過程。

附圖說明

圖1為本發(fā)明一實施例提供的基于動作反應和繪畫反應的第二母語訓練方法的流程示意圖；

圖2為本發(fā)明一實施例提供的基于動作反應和繪畫反應的第二母語訓練裝置的結構示意圖。

具體實施方式

下面結合附圖和實施例，對本發(fā)明的具體實施方式作進一步詳細描述。以下實施例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。

圖1示出了本發(fā)明一實施例提供一種基于動作反應和繪畫反應的第二母語的訓練方法，包括：

S11、獲取詞句信息。

在本步驟中，需要說明的是，對于目標語言的學習信息，首先目標語言的預設詞句和與詞句相對應的影音信息存放在數(shù)據(jù)庫中。待播放時，首先要獲取將要播放的是哪一個詞句，即獲取詞句信息。

S12、根據(jù)影音信息和詞句信息的預設對應關系選擇播放與所述詞句信息對應的影音信息，所述影音信息為根據(jù)目標語言中詞句錄入的發(fā)音、動作、繪畫過程影像。

在本步驟中，需要說明的是，在學習第二語言(如英語、法語、俄語、德語等)時，首先要從各種語言的詞句來學習。針對不同的詞句，需要錄入對應的讀音，并配置一些與詞句形象聯(lián)系在一起的動作的影像和繪畫過程的影像。

在預設數(shù)據(jù)庫中會存放多條影音信息，此時需要預設一個影音信息與詞句信息的對應關系。

如詞句stand up”為“起立”，學習者聽到該詞句的讀音，用起立的動作做出反應。故單詞“stand up”既有語音，又有動作影像。

另外，為了突出教學的形象化，對于數(shù)據(jù)庫中的每個詞句均配置影音信息。

播放時，可采用顯示屏、虛擬現(xiàn)實設備、投影儀、增強現(xiàn)實設備、全息成像設備的一種或多種進行播放。通過根據(jù)影音信息的預設對應關系從數(shù)據(jù)庫中選擇對應的播放影音信息完成播放。

S13、在當前影音信息播放后，采集用戶模仿影像動作時的當前身體動作信息和/或用戶繪畫的當前繪畫筆跡信息。

在本步驟中，需要說明的是，學習者在學習過程中，一般會選擇對每一個詞句條件反射般的理解，才會進行下一個詞句的學習。因此，在當前影音信息播放后，學習者(用戶)根據(jù)影像動作進行動作模仿，或根據(jù)影像上的繪畫過程(如老師在畫一個房子)進行繪畫模仿(如模仿花一個房子)，系統(tǒng)通過動作跟蹤裝置、筆跡跟蹤和識別裝置以及攝像裝置對學習者的現(xiàn)場動作進行跟蹤捕捉，從而獲得當前身體動作信息和當前繪畫筆跡信息。對于動作捕捉技術和筆跡捕捉和識別技術，目前為較成熟技術，在此不詳細介紹。

另外，還需要說明的是，學習者在學習過程中，系統(tǒng)僅僅播放語音信息(如單詞和句子的發(fā)音)，學習者可根據(jù)語音信息作出一些動作反應或繪畫反應，這些反應并不是根據(jù)影像動作去模仿出來的，而是根據(jù)之前的記憶動作做出來的。此時，系統(tǒng)通過事先在學習者身上設置的動作跟蹤裝置、繪畫筆跡跟蹤裝置以及攝像裝置對學習者的現(xiàn)場動作進行捕捉，從而獲得當前身體動作和繪畫筆跡信息。

另外，還需要說明的是，學習者在學習過程中，系統(tǒng)也會僅僅播放文字信息(可以是包括文字的圖像)，學習者可根據(jù)文字信息作出一些動作，這些動作并不是根據(jù)影像動作去模仿出來的，而是根據(jù)之前的記憶動作做出來的。此時，系統(tǒng)通過事先在學習者身上設置的動作跟蹤裝置、繪畫筆跡跟蹤裝置以及攝像裝置對學習者的現(xiàn)場動作和繪畫筆跡進行捕捉，從而獲得當前身體動作信息。

S14、根據(jù)所述當前身體動作信息和/或所述當前繪畫筆跡信息獲得當前身體動作特征信息和/或當前繪畫筆跡特征信息。

在本步驟中，需要說明的是，系統(tǒng)接收到當前繪畫筆跡信息和當前身體動作信息后，對其進行特征信息的提取。對于動作特征提取、筆跡特征提取和三維圖像特征提取為較成熟的技術，在此不再贅述。

S15、根據(jù)預設的影音信息與標準特征信息的對應關系，判斷確定所述當前身體動作特征信息和/或當前繪畫筆跡特征信息與標準特征信息匹配成功后，播放下一個影音信息。

在本步驟中，需要說明的是，在預設數(shù)據(jù)庫中需要對應不同的影音信息配置標準特征信息，以便于后續(xù)匹配。因此，當進行當前繪畫筆跡特征信息和當前身體動作特征信息與標準特征信息的匹配過程時，根據(jù)預設的影音信息與標準特征信息的對應關系，獲取到當前繪畫筆跡特征信息和當前身體動作特征信息所對應的標準特征信息，然后進行匹配。

將當前繪畫筆跡特征信息與筆跡的標準特征信息匹配，以判斷學習者的是否繪畫正確。

將當前身體動作特征信息與動作的標準特征信息匹配，以加深學習者對單詞或詞組的理解。

特征信息的匹配方式存在很多，在此不一一進行解釋說明。對此，匹配方式可為：若所述當前身體動作特征信息和當前繪畫筆跡特征信息與標準特征信息之間的匹配差值在預設閾值范圍之內，則判斷確定當前身體動作特征信息和當前繪畫筆跡特征信息與標準特征信息匹配成功；反之，則匹配不成功。

另外，根據(jù)預設的影音信息與標準特征信息的對應關系，判斷確定所述當前身體動作特征信息和當前繪畫筆跡特征信息與標準特征信息匹配未成功后，繼續(xù)播放，再次播放，或暫停播放當前影音信息。

母語學習者在張口說話之前的特殊階段(通常1歲之前)，盡管不能說話，但能通過觀察父母的動作示范，聽懂一些詞句；而且聽到成人的指令后，盡管不會張口應答，但能用動作做出反應。本發(fā)明就是基于動作反應和繪畫反應(繪畫也是一種小肌肉動作)模擬母語的自然學習過程，達到第二母語信號的轉化。

本發(fā)明實施例提供的一種基于動作反應和繪畫反應的第二母語訓練方法及裝置，通過對語言詞句所對應的影音信息播放，使學習者模仿身體動作或模仿繪畫動作后采集到學習者的身體動作特征信息和繪畫筆跡特征信息，并與預設的標準特征信息進行匹配，從而達到學習者通過肌肉動作反應、皮膚觸覺反應、繪畫過程中的情緒情感反應，內化語言信號到潛意識，來模擬第二母語的學習過程。

圖2示出了本發(fā)明一實施例提供的一種基于動作反應和繪畫反應的第二母語的訓練裝置，包括獲取模塊21、播放模塊22、采集模塊23、特征提取模塊24和處理模塊25，其中：

獲取模塊21，用于獲取詞句信息；

播放模塊22，用于根據(jù)影音信息和詞句信息的預設對應關系選擇播放與所述詞句信息對應的影音信息，所述影音信息為根據(jù)目標語言中詞句錄入的發(fā)音和動作影像。所述播放模塊包括顯示屏、虛擬現(xiàn)實設備、投影儀、增強現(xiàn)實設備、全息成像設備的一種或多種。

采集模塊23，用于在當前影音信息播放后，采集用戶模仿影像動作時的當前身體動作信息和/或用戶繪畫的當前繪畫筆跡信息。所述采集模板包括語音采集模塊和影像采集模塊，所述語音采集模塊包括錄音器，所述影像采集模塊包括動作跟蹤裝置、繪畫筆跡跟蹤和筆跡識別裝置和攝像裝置。

特征提取模塊24，用于根據(jù)所述當前身體動作信息和/或所述當前繪畫筆跡信息獲得當前身體動作特征信息和/或當前繪畫筆跡特征信息。

處理模塊25，用于根據(jù)預設的影音信息與標準特征信息的對應關系，判斷確定所述當前身體動作特征信息和/或當前繪畫筆跡特征信息與標準特征信息匹配成功后，播放下一個影音信息；匹配未成功后，繼續(xù)播放，再次播放，或暫停播放當前影音信息。

使用過程中，獲取模塊21獲取詞句信息，并發(fā)送給播放模塊22。播放模塊22采用顯示屏、虛擬現(xiàn)實設備、投影儀、增強現(xiàn)實設備或全息成像設備對數(shù)據(jù)庫中的影音信息進行播放。學習者觀看播放后，模仿影像上的動作以及繪畫。學習者模仿動作時，事先可在學習者的身體上設置有動作跟蹤裝置。采集模塊23對學習者的模仿動作以及繪畫的筆跡進行錄像。錄入后將筆跡信息和動作信息發(fā)送到特征提取模塊。特征提取模塊24采用對應的特征提取技術對筆跡信息和動作信息進行特征提取，并將提取后的繪畫筆跡特征信息和身體動作特征信息發(fā)送給處理模塊。處理模塊25接收到繪畫筆跡特征信息和身體動作特性信息并從數(shù)據(jù)庫中調取對應的標準特征信息進行匹配，最后根據(jù)匹配結果做出相應操作。

由于本發(fā)明實施例所述裝置與上述實施例所述方法的原理相同，對于更加詳細的解釋內容在此不再贅述。

需要說明的是，本發(fā)明實施例中可以通過硬件處理器(hardware processor)來實現(xiàn)相關功能模塊。

本發(fā)明實施例提供的一種基于動作反應和繪畫反應的第二母語訓練方法及裝置，通過對語言詞句所對應的影像信息播放，使學習者模仿身體動作或模仿繪畫動作后采集到學習者的身體動作特征信息和繪畫筆跡特征信息，并與預設的標準特征信息進行匹配，從而達到學習者通過肌肉動作反應、皮膚觸覺反應、繪畫過程中的情緒情感反應，內化語言信號到潛意識，來模擬第二母語的學習過程。

此外，本領域的技術人員能夠理解，盡管在此所述的一些實施例包括其它實施例中所包括的某些特征而不是其它特征，但是不同實施例的特征的組合意味著處于本發(fā)明的范圍之內并且形成不同的實施例。例如，在下面的權利要求書中，所要求保護的實施例的任意之一都可以以任意的組合方式來使用。

應該注意的是上述實施例對本發(fā)明進行說明而不是對本發(fā)明進行限制，并且本領域技術人員在不脫離所附權利要求的范圍的情況下可設計出替換實施例。在權利要求中，不應將位于括號之間的任何參考符號構造成對權利要求的限制。單詞“包含”不排除存在未列在權利要求中的元件或步驟。位于元件之前的單詞“一”或“一個”不排除存在多個這樣的元件。本發(fā)明可以借助于包括有若干不同元件的硬件以及借助于適當編程的計算機來實現(xiàn)。在列舉了若干裝置的單元權利要求中，這些裝置中的若干個可以是通過同一個硬件項來具體體現(xiàn)。單詞第一、第二、以及第三等的使用不表示任何順序。可將這些單詞解釋為名稱。

本領域普通技術人員可以理解：以上各實施例僅用以說明本發(fā)明的技術方案，而非對其限制；盡管參照前述各實施例對本發(fā)明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分或者全部技術特征進行等同替換；而這些修改或者替換，并不使相應技術方案的本質脫離本發(fā)明權利要求所限定的范圍。