一種交互裝置和基于交互裝置的提高表達(dá)能力的方法
【專利摘要】本發(fā)明公開了一種交互裝置和基于交互裝置的提高表達(dá)能力的方法。該交互裝置包括：顯示單元、聲音采集單元、語音識別處理單元和發(fā)聲單元；其中：所述顯示單元用于顯示圖片；聲音采集單元用于采集聲音信號；語音識別處理單元用于從聲音信號中識別出文字，將識別出的文字與關(guān)鍵字對比，當(dāng)識別出的文字與關(guān)鍵字不匹配時(shí)，控制發(fā)聲單元輸出所述圖片對應(yīng)的提示語音；所述發(fā)聲單元用于輸出所述圖片對應(yīng)的引導(dǎo)語音和對應(yīng)的提示語音。通過在顯示單元上顯示圖片，通過聲音采集單元和語音識別處理單元對聲音進(jìn)行處理并控制發(fā)聲單元響應(yīng)，實(shí)現(xiàn)了交互設(shè)備與用戶的全面互動(dòng)。
【專利說明】一種交互裝置和基于交互裝置的提高表達(dá)能力的方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及交互領(lǐng)域，尤其涉及一種交互裝置和基于交互裝置的提高表達(dá)能力的方法。

【背景技術(shù)】
[0002]人機(jī)交互是智能設(shè)備領(lǐng)域的一個(gè)重要研究方向，針對于教育教學(xué)中的使用有重大意義，但是對于當(dāng)前的基于交互的教育教學(xué)設(shè)備，特別是針對于表達(dá)能力、看圖說話能力和交流能力的教育教學(xué)設(shè)備，主要是單向溝通，例如為學(xué)生用戶單向提供圖片和文字講解，不接收反饋；或者只能接收簡單的對是否進(jìn)行判斷的反饋，并且反饋是通過手動(dòng)操作實(shí)現(xiàn)，反饋的互動(dòng)性不強(qiáng)，沒有實(shí)現(xiàn)雙方的多次互動(dòng)。


【發(fā)明內(nèi)容】

[0003]本發(fā)明提出了一種交互裝置和基于交互裝置的提高表達(dá)能力的方法，其通過設(shè)置存儲(chǔ)單元存儲(chǔ)圖片和相關(guān)語音，在顯示單元上顯示圖片，通過聲音采集單元和語音識別處理單元對聲音進(jìn)行處理并控制發(fā)聲單元響應(yīng)，實(shí)現(xiàn)了交互設(shè)備與用戶的全面互動(dòng)。
[0004]為實(shí)現(xiàn)上述設(shè)計(jì)，本發(fā)明采用以下技術(shù)方案:
[0005]一方面采用一種交互裝置，包括:顯示單元、聲音采集單元、語音識別處理單元和發(fā)聲單元；其中:
[0006]所述顯示單元用于顯示圖片；
[0007]所述聲音米集單兀用于米集聲音信號；
[0008]所述語音識別處理單元用于從所述聲音信號中識別出文字，將所述識別出的文字與關(guān)鍵字對比，當(dāng)所述識別出的文字與所述關(guān)鍵字不匹配時(shí)，控制發(fā)聲單元輸出所述圖片對應(yīng)的提示語音；
[0009]所述發(fā)聲單元用于輸出所述圖片對應(yīng)的引導(dǎo)語音和對應(yīng)的提示語音。
[0010]其中，所述存儲(chǔ)單元還用于存儲(chǔ)激勵(lì)語音；
[0011]所述語音識別處理單元還用于當(dāng)所述識別出的文字與所述關(guān)鍵字匹配時(shí)，控制發(fā)聲單元輸出激勵(lì)語音。
[0012]其中，所述圖片按內(nèi)容難度分類存儲(chǔ)。
[0013]其中，還包括控制單元，所述控制單元用于檢測選擇的內(nèi)容難度和圖片。
[0014]其中，所述控制單元為觸摸式控制單元。
[0015]另一方面采用一種基于交互裝置的提高表達(dá)能力的方法，包括:
[0016]顯示單元顯示圖片，發(fā)聲單元輸出引導(dǎo)語音；
[0017]聲音采集單元采集聲音信號；
[0018]語音識別處理單元從所述聲音信號中識別出文字，將識別出的文字與關(guān)鍵字對t匕，當(dāng)識別出的文字與所述關(guān)鍵字不匹配時(shí)，控制發(fā)聲單元輸出圖片對應(yīng)的提示語音；
[0019]發(fā)聲單元輸出提示語音。
[0020] 其中，當(dāng)識別出的文字與所述關(guān)鍵字匹配時(shí)，所述語音識別處理單元控制發(fā)聲單元輸出激勵(lì)語音。
[0021 ] 其中，所述圖片按內(nèi)容難度分類存儲(chǔ)。
[0022]其中，所述顯示單元顯示圖片，發(fā)聲單元輸出引導(dǎo)語音之前，還包括:
[0023]控制單元檢測選擇的內(nèi)容難度和圖片。
[0024]其中，所述控制單元為觸摸式控制單元。
[0025]本發(fā)明的有益效果在于:通過設(shè)置存儲(chǔ)單元存儲(chǔ)圖片和相關(guān)語音，在顯示單元上顯示圖片，通過聲音采集單元和語音識別處理單元對聲音進(jìn)行處理并控制發(fā)聲單元響應(yīng)，實(shí)現(xiàn)了交互設(shè)備與用戶的全面互動(dòng)。

【專利附圖】

【附圖說明】
[0026]為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對本發(fā)明實(shí)施例描述中所需要使用的附圖作簡單的介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)本發(fā)明實(shí)施例的內(nèi)容和這些附圖獲得其他的附圖。
[0027]圖1是本發(fā)明實(shí)施例提供的一種交互裝置的第一實(shí)施例的結(jié)構(gòu)方框圖。
[0028]圖2是本發(fā)明實(shí)施例提供的一種交互裝置的第二實(shí)施例的結(jié)構(gòu)方框圖。
[0029]圖3是本發(fā)明實(shí)施例提供的一種基于交互裝置的提高表達(dá)能力的方法的第一實(shí)施例的方法流程圖。
[0030]圖4是本發(fā)明實(shí)施例提供的一種基于交互裝置的提高表達(dá)能力的方法的第二實(shí)施例的方法流程圖。

【具體實(shí)施方式】
[0031]為使本發(fā)明解決的技術(shù)問題、采用的技術(shù)方案和達(dá)到的技術(shù)效果更加清楚，下面將結(jié)合附圖對本發(fā)明實(shí)施例的技術(shù)方案作進(jìn)一步的詳細(xì)描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0032]請參考圖1，其是本發(fā)明實(shí)施例提供的一種交互裝置的第一實(shí)施例的結(jié)構(gòu)方框圖。本實(shí)施例中的交互裝置，主要用于進(jìn)行機(jī)器與人的交互，特別適用于學(xué)生學(xué)習(xí)過程中的交互引導(dǎo)。
[0033]該交互裝置，包括:顯示單元120、聲音采集單元130、語音識別處理單元140和發(fā)聲單元150 ;其中:
[0034]所述顯示單元120用于顯示圖片；
[0035]顯示單元120從硬件結(jié)構(gòu)上講包括各種可以進(jìn)行視覺顯示的顯示屏。
[0036]所述聲音米集單兀130用于米集聲音信號；
[0037]聲音采集單元130具體而言可以是各種麥克風(fēng)。
[0038]所述語音識別處理單元140用于從所述聲音信號中識別出文字，將所述識別出的文字與關(guān)鍵字對比，當(dāng)所述識別出的文字與所述關(guān)鍵字不匹配時(shí)，控制發(fā)聲單元150輸出所述圖片對應(yīng)的提示語音；
[0039]語音識別處理單兀140具體為一處理器,例如CPU (Central Processing Unit,中央處理器)、MCU(Micro Control Unit、微控制單元)，語音識別處理單元140對聲音信號進(jìn)行識別和識別后的判斷處理。
[0040]所述發(fā)聲單元150用于輸出所述圖片對應(yīng)的引導(dǎo)語音和對應(yīng)的提示語音。
[0041]發(fā)聲單元150包括喇叭或其他發(fā)聲設(shè)備。
[0042]綜上所述，通過在顯示單元120上顯示圖片，通過聲音采集單元130和語音識別處理單元140對聲音進(jìn)行處理并控制發(fā)聲單元150響應(yīng)，實(shí)現(xiàn)了交互設(shè)備與用戶的全面互動(dòng)。
[0043]請參考圖2，其是本發(fā)明實(shí)施例提供的一種交互裝置的第二實(shí)施例的結(jié)構(gòu)方框圖。該交互裝置包括:顯示單元120、聲音采集單元130、語音識別處理單元140和發(fā)聲單元150 ;其中:
[0044]所述顯示單元120用于顯示圖片；
[0045]所述聲音米集單兀130用于米集聲音信號；
[0046]所述語音識別處理單元140用于從所述聲音信號中識別出文字，將所述識別出的文字與關(guān)鍵字對比，當(dāng)所述識別出的文字與所述關(guān)鍵字不匹配時(shí)，控制發(fā)聲單元150輸出圖片對應(yīng)的提示語音；
[0047]語音識別處理單元140在處理完當(dāng)前的圖片對應(yīng)的語音之后，會(huì)導(dǎo)入下一張圖片并基于下一張圖片完成交互過程。
[0048]所述發(fā)聲單元150用于輸出所述圖片對應(yīng)的引導(dǎo)語音和對應(yīng)的提示語音。
[0049]所述提示語音是在識別出的文字與關(guān)鍵字不匹配時(shí)輸出，提示語音可以視為對圖片內(nèi)容的進(jìn)一步詳細(xì)提不。
[0050]其中，所述存儲(chǔ)單元110還用于存儲(chǔ)激勵(lì)語音；
[0051]激勵(lì)語音在識別出的文字與關(guān)鍵字匹配時(shí)輸出，與引導(dǎo)語音和提示語音與圖片對應(yīng)不同，激勵(lì)語音可以不與圖片對應(yīng)，整個(gè)存儲(chǔ)單元110中準(zhǔn)備若干激勵(lì)語音即可，例如“太棒了”、“繼續(xù)加油”等。
[0052]所述語音識別處理單元140還用于當(dāng)所述識別出的文字與所述關(guān)鍵字匹配時(shí)，控制發(fā)聲單元150輸出激勵(lì)語音。
[0053]激勵(lì)語音的播放同樣也由語音識別處理單元140控制。
[0054]其中，所述圖片按內(nèi)容難度分類存儲(chǔ)。
[0055]針對學(xué)生用戶的認(rèn)知規(guī)律，將圖片按內(nèi)容難度進(jìn)行分類，整體上一般按照從易到難進(jìn)行認(rèn)知互動(dòng)。
[0056]其中，還包括控制單元110，所述控制單元110用于檢測選擇的內(nèi)容難度和圖片。
[0057]學(xué)生用戶交互過的內(nèi)容在下一次使用裝置時(shí)會(huì)跳過，此時(shí)使用控制單元110通過內(nèi)容難度和圖片確認(rèn)新的圖片。
[0058]其中，所述控制單元110為觸摸式控制單元。
[0059]觸摸式控制單元可以和顯示裝置集成到一起，通過一觸摸顯示屏同時(shí)實(shí)現(xiàn)顯示單元120的功能和觸摸式控制單元的功能。
[0060]綜上所述，通過在顯示單元120上顯示圖片，通過聲音采集單元130和語音識別處理單元140對聲音進(jìn)行處理并控制發(fā)聲單元150響應(yīng)，實(shí)現(xiàn)了交互設(shè)備與用戶的全面互動(dòng)?？刂茊卧?10的設(shè)置提高了用戶在交互過程中的控制效果。
[0061]以下為本發(fā)明實(shí)施例提供的一種基于交互裝置的提高表達(dá)能力的方法的實(shí)施例。方法的實(shí)施例基于上述的交互裝置的實(shí)施例實(shí)現(xiàn)，兩者屬于同一構(gòu)思，方法的實(shí)施例中未詳盡描述的細(xì)節(jié)內(nèi)容，可以參考上述交互裝置的實(shí)施例。
[0062]請參考圖3，其是本發(fā)明一種基于交互裝置的提高表達(dá)能力的方法的第一實(shí)施例的流程圖，如圖所示，該方法包括:
[0063]步驟SlOl:顯示圖片并輸出所述圖片對應(yīng)的引導(dǎo)語音。
[0064]例如圖片中主體是一個(gè)男子，其對應(yīng)的引導(dǎo)語音是“小朋友，你現(xiàn)在看到的人是男的還是女的呀？ ” ；該引導(dǎo)語音對應(yīng)的是關(guān)鍵字是“男”。顯示單元120顯示圖片，同時(shí)發(fā)聲單元150輸出引導(dǎo)語音引導(dǎo)學(xué)生用戶觀察圖片。
[0065]步驟S102:采集聲音信號。
[0066]聲音采集單元130采集學(xué)生用戶根據(jù)引導(dǎo)語音發(fā)出的聲音信號，采集后將聲音信號發(fā)送到語音識別處理單元140進(jìn)行后續(xù)處理。
[0067]步驟S103:從所述聲音信號中識別出文字，將識別出的文字與關(guān)鍵字對比。
[0068]語音識別處理單元140對聲音信號進(jìn)行語音識別，具體的語音識別技術(shù)比較成熟，在此不再贅述。
[0069]步驟S104:當(dāng)識別出的文字與所述關(guān)鍵字不匹配時(shí)，輸出所述圖片對應(yīng)的提示語曰?
[0070]在識別出文字后會(huì)將識別出的文字與關(guān)鍵字進(jìn)行對比，如果關(guān)鍵字與識別出的文字中有沒有相同的，則視為匹配不成功。例如將關(guān)鍵字“男”與識別出的文字對比時(shí)沒有匹配到相同的文字，語音識別處理單元140將會(huì)控制發(fā)聲單元150輸出對應(yīng)的提示語音。此時(shí)的提示語音例如“你看他濃眉大眼，有喉結(jié)，再想想”。
[0071]在輸出提示語音之后，實(shí)際上還會(huì)從步驟S102重新開始后面的操作，對新的聲音信號進(jìn)行采集，進(jìn)行語音識別處理，只是在此作為交互中的常規(guī)處理，不作詳細(xì)闡述。
[0072]綜上所述，通過在上顯示圖片和輸出對應(yīng)的引導(dǎo)語音，通過聲音采集和對采集到的聲音進(jìn)行語音識別并對識別的結(jié)果進(jìn)行響應(yīng)，實(shí)現(xiàn)了交互設(shè)備與用戶的全面互動(dòng)，提高了學(xué)生用戶的交互體驗(yàn)。
[0073]請參考圖4，其是本發(fā)明一種基于交互裝置的提高表達(dá)能力的方法的第二實(shí)施例的流程圖，如圖所示，該方法包括:
[0074]步驟S201:檢測選擇的內(nèi)容難度和圖片。
[0075]在本實(shí)施例中，所述控制單元110優(yōu)選為觸摸式控制單元，對應(yīng)的，選擇的內(nèi)容難度和圖片，包括:通過觸摸操作選擇的內(nèi)容難度和圖片。亦可選用其他例如機(jī)械按鍵的方式實(shí)現(xiàn)控制，具體由實(shí)現(xiàn)本技術(shù)方案的硬件載體確定。例如平板電腦、個(gè)人電腦、機(jī)械按鍵式智能終端，其實(shí)現(xiàn)的方式各不一樣。
[0076]步驟S202:顯示圖片并輸出所述圖片對應(yīng)的引導(dǎo)語音。
[0077]在存儲(chǔ)單元110中，所述圖片按內(nèi)容難度分類存儲(chǔ)。針對學(xué)生用戶的認(rèn)知規(guī)律，將圖片按內(nèi)容難度進(jìn)行分類，整體上一般按照從易到難進(jìn)行認(rèn)知互動(dòng)。
[0078]例如圖片中主體是一個(gè)男子，其對應(yīng)的引導(dǎo)語音是“小朋友，你現(xiàn)在看到的人是男的還是女的呀？ ” ；該引導(dǎo)語音對應(yīng)的是關(guān)鍵字是“男”。顯示單元120顯示圖片，同時(shí)發(fā)聲單元150輸出引導(dǎo)語音引導(dǎo)學(xué)生用戶觀察圖片。
[0079]步驟S203:采集聲音信號。
[0080]聲音采集單元130采集學(xué)生用戶根據(jù)引導(dǎo)語音發(fā)出的聲音信號，采集后將聲音信號發(fā)送到語音識別處理單元140進(jìn)行后續(xù)處理。
[0081]步驟S204:從所述聲音信號中識別出文字，將識別出的文字與關(guān)鍵字對比。
[0082]語音識別處理單元140對聲音信號進(jìn)行語音識別，具體的語音識別技術(shù)比較成熟，在此不再贅述。在識別出文字后會(huì)將識別出的文字與關(guān)鍵字進(jìn)行對比，如果關(guān)鍵字與識別出的文字中有沒有相同的，則視為匹配不成功。例如將關(guān)鍵字“男”與識別出的文字對比時(shí)沒有匹配到相同的文字，語音識別處理單元140將會(huì)控制發(fā)聲單元150輸出對應(yīng)的提示語音。此時(shí)的提示語音例如“你看他濃眉大眼，有喉結(jié)，再想想”。
[0083]步驟S205:當(dāng)識別出的文字與所述關(guān)鍵字不匹配時(shí)，輸出所述圖片對應(yīng)的提示語曰?
[0084]在輸出提示語音之后，實(shí)際上還會(huì)從步驟S102重新開始后面的操作，對新的聲音信號進(jìn)行采集，進(jìn)行語音識別處理，只是在此作為交互中的常規(guī)處理，不作詳細(xì)闡述。
[0085]步驟S206:當(dāng)識別出的文字與所述關(guān)鍵字匹配時(shí)，輸出激勵(lì)語音。
[0086]當(dāng)識別出的文字中有與關(guān)鍵字匹配的，則認(rèn)為對當(dāng)前圖片的引導(dǎo)結(jié)束，對學(xué)生用戶輸出激勵(lì)語音。
[0087]激勵(lì)語音的具體內(nèi)容在前一實(shí)施例中已有說明。
[0088]綜上所述，通過在上顯示圖片和輸出對應(yīng)的引導(dǎo)語音，通過聲音采集和對采集到的聲音進(jìn)行語音識別并對識別的結(jié)果進(jìn)行響應(yīng)，實(shí)現(xiàn)了交互設(shè)備與用戶的全面互動(dòng)，提高了學(xué)生用戶的交互體驗(yàn)?？刂齐y度選擇和圖片選擇步驟的設(shè)置提高了用戶在交互過程中的控制效果。同時(shí)對匹配成功時(shí)的激勵(lì)進(jìn)一步豐富了交互效果。
[0089]以上內(nèi)容僅為本發(fā)明的較佳實(shí)施例，對于本領(lǐng)域的普通技術(shù)人員，依據(jù)本發(fā)明的思想，在【具體實(shí)施方式】及應(yīng)用范圍上均會(huì)有改變之處，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。
【權(quán)利要求】
1.一種交互裝置，其特征在于，包括:顯示單元、聲音采集單元、語音識別處理單元和發(fā)聲單元；其中: 所述顯示單元用于顯示圖片； 所述聲音采集單元用于采集聲音信號； 所述語音識別處理單元用于從所述聲音信號中識別出文字，將所述識別出的文字與關(guān)鍵字對比，當(dāng)所述識別出的文字與所述關(guān)鍵字不匹配時(shí)，控制發(fā)聲單元輸出所述圖片對應(yīng)的提示語音； 所述發(fā)聲單元用于輸出所述圖片對應(yīng)的引導(dǎo)語音和對應(yīng)的提示語音。
2.根據(jù)權(quán)利要求1所述的一種交互裝置，其特征在于，所述存儲(chǔ)單元還用于存儲(chǔ)激勵(lì)語音； 所述語音識別處理單元還用于當(dāng)所述識別出的文字與所述關(guān)鍵字匹配時(shí)，控制發(fā)聲單元輸出激勵(lì)語音。
3.根據(jù)權(quán)利要求1所述的一種交互裝置，其特征在于，所述圖片按內(nèi)容難度分類存儲(chǔ)。
4.根據(jù)權(quán)利要求3所述的一種交互裝置，其特征在于，還包括控制單元，所述控制單元用于檢測選擇的內(nèi)容難度和圖片。
5.根據(jù)權(quán)利要求4所述的一種交互裝置，其特征在于，所述控制單元為觸摸式控制單J Li ο
6.一種基于交互裝置的提高表達(dá)能力的方法，其特征在于，包括: 顯示圖片并輸出所述圖片對應(yīng)的引導(dǎo)語音； 米集聲音信號； 從所述聲音信號中識別出文字，將識別出的文字與關(guān)鍵字對比； 當(dāng)識別出的文字與所述關(guān)鍵字不匹配時(shí)，輸出所述圖片對應(yīng)的提示語音。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，當(dāng)識別出的文字與所述關(guān)鍵字匹配時(shí)，輸出激勵(lì)語音。
8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述圖片按內(nèi)容難度分類存儲(chǔ)。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述顯示圖片并輸出所述圖片對應(yīng)的引導(dǎo)語音之前，還包括: 檢測選擇的內(nèi)容難度和圖片。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述選擇的內(nèi)容難度和圖片，包括:通過觸摸操作選擇的內(nèi)容難度和圖片、根據(jù)預(yù)設(shè)周期內(nèi)匹配的概率選擇的內(nèi)容難度和圖片。
【文檔編號】G06F3/0488GK104252287SQ201410449741
【公開日】2014年12月31日 申請日期:2014年9月4日 優(yōu)先權(quán)日:2014年9月4日
【發(fā)明者】房少杰, 陳天偉 申請人:廣東小天才科技有限公司