本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于幼兒教育的多媒體交互系統(tǒng)及方法。

背景技術(shù)：

目前，關(guān)于幼教的涂鴉產(chǎn)品：AR涂涂樂，兒童發(fā)揮自己的想象力在固定的線框內(nèi)使用涂色筆，將整個線框內(nèi)的內(nèi)容涂滿顏色，通過移動設(shè)備的攝像頭掃描涂色區(qū)域，并識別出這個圖片所對應(yīng)內(nèi)置動畫素材，通過UV映射，修改動畫貼圖，完成更換動畫皮膚，利用AR技術(shù)，將動畫與現(xiàn)實環(huán)境相結(jié)合。

優(yōu)點：準(zhǔn)確將兒童的涂鴉顏色映射到預(yù)制動畫里。

缺點：由于受圖形邊框影響，兒童只能在固定范圍內(nèi)涂顏色，限制發(fā)揮想象力。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是：既要解決由于涂色范圍的限制，影響兒童發(fā)揮想象力的限制，又要增強生成的動畫與兒童交互的能力，能讓兒童多方位的體驗與動畫的互動和學(xué)習(xí)知識。

本發(fā)明提供了一種基于幼兒教育的多媒體交互方法。包括以下步驟：

步驟S100：圖片內(nèi)容識別，該圖片來源于可觸控手持設(shè)備或可觸控桌面設(shè)備，通過涂鴉軟件繪制的靜態(tài)圖。

步驟S200：依據(jù)識別出來的內(nèi)容，制作部位材質(zhì)。

步驟S300：依據(jù)識別出來的內(nèi)容，從動畫庫中提取預(yù)制動畫。

步驟S400：將步驟S200制作的材質(zhì)賦給S300的預(yù)制動畫對應(yīng)的部位，以確保所得即為所畫。

步驟S500：將步驟S400最終形成的智能動畫通過屏幕顯示。

步驟S600：連接Kinect計算機(jī)外部設(shè)備，通過Kinect與智能動畫進(jìn)行語音交互。

步驟S700：通過Kinect與智能動畫進(jìn)行手勢交互。

步驟S800：連接觸控屏幕，通過觸控屏幕可以與智能動畫交互。

優(yōu)選的，所述步驟S100包括以下子步驟：

步驟S110：將圖片縮小到8x8的尺寸，總共64個像素，用以去除圖片的細(xì)節(jié)，只保留結(jié)構(gòu)、明暗及其他基本信息，摒棄不同尺寸、比例帶來的圖片差異；同時備份32x32尺寸圖片，總共1024個像素，用于提取圖片像素信息。

步驟S120：將縮小后的圖片，轉(zhuǎn)為64級灰度，所有像素點總共只有64種顏色。

步驟S130：計算所有64個像素的灰度平均值。

步驟S140：將每個像素的灰度，與平均值進(jìn)行比較：大于或等于平均值，記為1；小于平均值，記為0。

步驟S150：將步驟S140的比較結(jié)果，組合在一起，構(gòu)成一個64位的整數(shù)，這就是這張圖片的指紋；保證所有圖片都采用同樣次序。

步驟S160：將得到的指紋與圖片指紋庫做比對，64位中有多少位是不一樣的，選擇不相同位數(shù)最少的圖片指紋。

優(yōu)選的，所述步驟S200包括以下子步驟：

步驟S210：存儲動畫各部位取顏色位置信息，將原始用于比對的圖片縮小到32x32像素尺寸，在圖片上相同可活動部位取五個像素坐標(biāo)，四個是極大值—即上下左右對角線最大值坐標(biāo)和一個中間值。

步驟S220：用這五個值從步驟S110備份的32x32尺寸圖片里取值像素值,環(huán)形漸變顏色制作對應(yīng)位置材質(zhì)。

優(yōu)選的，所述步驟S600包括以下子步驟：

步驟S610：存儲每個動畫可以語音交互的內(nèi)容。

步驟S610：通過Kinect麥克監(jiān)聽語音，將語音輸入到計算機(jī)。

步驟S620：依據(jù)輸入的語音，從數(shù)據(jù)庫中檢索該動畫會做怎樣的反應(yīng)，動畫或做語音對應(yīng)的動作，或與用戶對話。

優(yōu)選的，所述步驟S700包括以下子步驟：

步驟S710：存儲每個動畫可以手勢交互的內(nèi)容。

步驟S710：通過Kinect將手勢輸入到計算機(jī)。

步驟S720：依據(jù)輸入的手勢，從數(shù)據(jù)庫中檢索該動畫會做怎樣的反應(yīng)，動畫或做手勢對應(yīng)的動作，或與用戶對話。

本發(fā)明另外提供了一種基于幼兒教育的多媒體交互系統(tǒng)，包括以下模塊：

認(rèn)知圖形模塊100：用于圖片內(nèi)容識別，該圖片來源于可觸控手持設(shè)備或可觸控桌面設(shè)備，通過涂鴉軟件繪制的靜態(tài)圖；

材質(zhì)制作模塊200：用于依據(jù)識別出來的內(nèi)容，制作部位材質(zhì)；

動畫制作模塊300：用于依據(jù)識別出來的內(nèi)容，從動畫庫中提取預(yù)制動畫；

材質(zhì)更換模塊400：用于將材質(zhì)制作模塊200制作的材質(zhì)賦給動畫制作模塊300的預(yù)制動畫對應(yīng)的部位，以確保所得即為所畫；

動畫顯示模塊500：用于將材質(zhì)更換模塊400最終形成的智能動畫通過屏幕顯示；

語音交互模塊600：用于連接Kinect計算機(jī)外部設(shè)備，通過Kinect與智能動畫進(jìn)行語音交互；

手勢交互模塊700：用于通過Kinect與智能動畫進(jìn)行手勢交互；

觸屏交互模塊800：用于連接觸控屏幕，通過觸控屏幕可以與智能動畫交互。

優(yōu)選的，所述認(rèn)知圖形模塊100包括以下子模塊：

圖片縮小模塊110：用于將圖片縮小到8x8的尺寸，總共64個像素，用以去除圖片的細(xì)節(jié)，只保留結(jié)構(gòu)、明暗及其他基本信息，摒棄不同尺寸、比例帶來的圖片差異；同時備份32x32尺寸圖片，總共1024個像素，用于提取圖片像素信息；

圖片轉(zhuǎn)灰度模塊120：用于將縮小后的圖片，轉(zhuǎn)為64級灰度，所有像素點總共只有64種顏色；

灰度平均值計算模塊130：用于計算所有64個像素的灰度平均值；

灰度平均值比較模塊140：用于將每個像素的灰度，與平均值進(jìn)行比較：大于或等于平均值，記為1；小于平均值，記為0；

指紋生成模塊150：將灰度平均值比較模塊140的比較結(jié)果，組合在一起，構(gòu)成一個64位的整數(shù)，這就是這張圖片的指紋；保證所有圖片都采用同樣次序；

圖片指紋對比模塊160：用于將得到的指紋與圖片指紋庫做比對，64位中有多少位是不一樣的，選擇不相同位數(shù)最少的圖片指紋。

優(yōu)選的，所述材質(zhì)制作模塊200包括以下子模塊：

材質(zhì)顏色取值坐標(biāo)確定模塊210：用于存儲動畫各部位取顏色位置信息，將原始用于比對的圖片縮小到32x32像素尺寸，在圖片上相同可活動部位取五個像素坐標(biāo)，四個是極大值—即上下左右角坐標(biāo)和一個中間值；

材質(zhì)顏色取值模塊220：用這五個值從圖片縮小模塊110備份的32x32尺寸圖片里取值像素值,環(huán)形漸變顏色制作對應(yīng)位置材質(zhì)。

優(yōu)選的，所述語音交互模塊600包括以下子模塊：

動畫語音預(yù)制模塊610：存儲每個動畫可以語音交互的內(nèi)容；

語音采集模塊610：通過Kinect麥克監(jiān)聽語音，將語音輸入到計算機(jī)；

語音交互模塊620：依據(jù)輸入的語音，從數(shù)據(jù)庫中檢索該動畫會做怎樣的反應(yīng)，動畫或做語音對應(yīng)的動作，或與用戶對話。

優(yōu)選的，所述手勢交互模塊700包括以下子模塊：

動畫手勢預(yù)制模塊710：存儲每個動畫可以手勢交互的內(nèi)容；

手勢采集模塊710：通過Kinect將手勢輸入到計算機(jī)；

手勢交互模塊720：依據(jù)輸入的手勢，從數(shù)據(jù)庫中檢索該動畫會做怎樣的反應(yīng)，動畫或做手勢對應(yīng)的動作，或與用戶對話。

有益效果：本發(fā)明用于幼兒園教學(xué)過程或幼兒自由活動中，可以讓幼兒充分發(fā)揮想象力，繪制自己想要的東西，同時看到自己繪制的靜態(tài)圖片變成可進(jìn)行語音或手勢交互的動畫，通過與動畫的交互學(xué)習(xí)到相關(guān)聯(lián)的知識。

附圖說明

圖1為本發(fā)明實施例基于幼兒教育的多媒體交互方法步驟S110示意圖；其中，兔子的顏色為粉色。

圖2為本發(fā)明實施例基于幼兒教育的多媒體交互方法步驟S120示意圖；

圖3為本發(fā)明實施例基于幼兒教育的多媒體交互方法步驟S150示意圖；

圖4為本發(fā)明實施例基于幼兒教育的多媒體交互方法步驟S210示意圖；

圖5為本發(fā)明實施例基于幼兒教育的多媒體交互方法步驟S220示意圖；

圖6為本發(fā)明實施例基于幼兒教育的多媒體交互方法步驟S400示意圖；

圖7為本發(fā)明實施例基于幼兒教育的多媒體交互方法步驟S600示意圖；

圖8為本發(fā)明實施例基于幼兒教育的多媒體交互方法步驟S700示意圖；

圖9為本發(fā)明實施例基于幼兒教育的多媒體交互方法步驟S800示意圖；

圖10為本發(fā)明實施例基于幼兒教育的多媒體交互系統(tǒng)的邏輯框圖；

圖11為本發(fā)明實施例認(rèn)知圖形模塊的邏輯框圖；

圖12為本發(fā)明實施例材質(zhì)制作模塊的邏輯框圖；

圖13為本發(fā)明實施例語音交互模塊的邏輯框圖；

圖14為本發(fā)明實施例手勢交互模塊的邏輯框圖。

具體實施方式

為使本發(fā)明解決的技術(shù)問題、采用的技術(shù)方案和達(dá)到的技術(shù)效果更加清楚，下面結(jié)合附圖和實施例對本發(fā)明作進(jìn)一步的詳細(xì)說明。可以理解的是，此處所描述的具體實施例僅僅用于解釋本發(fā)明，而非對本發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部內(nèi)容。

本實施例以小兔子為例，提供了一種基于幼兒教育的基于幼兒教育的多媒體交互系統(tǒng)及方法，所述方法包括以下步驟：

步驟S100：圖片內(nèi)容識別，該圖片來源于可觸控手持設(shè)備或可觸控桌面設(shè)備，通過涂鴉軟件繪制的靜態(tài)圖。所述步驟S100包括以下子步驟：

請參照圖1，步驟S110：將圖片縮小到8x8的尺寸，總共64個像素，用以去除圖片的細(xì)節(jié)，只保留結(jié)構(gòu)、明暗及其他基本信息，摒棄不同尺寸、比例帶來的圖片差異；同時備份32x32尺寸圖片，總共1024個像素，用于提取圖片像素信息。

請參照圖2，步驟S120：將縮小后的圖片，轉(zhuǎn)為64級灰度，所有像素點總共只有64種顏色。

步驟S130：計算所有64個像素的灰度平均值。

步驟S140：將每個像素的灰度，與平均值進(jìn)行比較：大于或等于平均值，記為1；小于平均值，記為0。

請參照圖3，步驟S150：將步驟S140的比較結(jié)果，組合在一起，構(gòu)成一個64位的整數(shù)，這就是這張圖片的指紋；保證所有圖片都采用同樣次序。

步驟S160：將得到的指紋與圖片指紋庫做比對，64位中有多少位是不一樣的，選擇不相同位數(shù)最少的圖片指紋。

步驟S200：依據(jù)識別出來的內(nèi)容，制作部位材質(zhì)。所述步驟S200包括以下子步驟：

請參照圖4，步驟S210：存儲動畫各部位取顏色位置信息，將原始用于比對的圖片縮小到32x32像素尺寸，在圖片上相同可活動部位取五個像素坐標(biāo)，四個是極大值—即上下左右角坐標(biāo)和一個中間值。

請參照圖5，步驟S220：用這五個值從步驟S110備份的32x32尺寸圖片里取值像素值,環(huán)形漸變顏色制作對應(yīng)位置材質(zhì)。

步驟S300：依據(jù)識別出來的內(nèi)容，從動畫庫中提取預(yù)制動畫。

請參照圖6，步驟S400：將步驟S200制作的材質(zhì)賦給S300的預(yù)制動畫對應(yīng)的部位，以確保所得即為所畫。

步驟S500：將步驟S400最終形成的智能動畫通過屏幕顯示。

請參照圖7，步驟S600：連接Kinect計算機(jī)外部設(shè)備，通過Kinect與智能動畫進(jìn)行語音交互。所述步驟S600包括以下子步驟：

步驟S610：存儲每個動畫可以語音交互的內(nèi)容。

步驟S610：通過Kinect麥克監(jiān)聽語音，將語音輸入到計算機(jī)。

步驟S620：依據(jù)輸入的語音，從數(shù)據(jù)庫中檢索該動畫會做怎樣的反應(yīng)，動畫或做語音對應(yīng)的動作，或與用戶對話。

請參照圖8，步驟S700：通過Kinect與智能動畫進(jìn)行手勢交互。所述步驟S700包括以下子步驟：

步驟S710：存儲每個動畫可以手勢交互的內(nèi)容。

步驟S710：通過Kinect將手勢輸入到計算機(jī)。

步驟S720：依據(jù)輸入的手勢，從數(shù)據(jù)庫中檢索該動畫會做怎樣的反應(yīng)，動畫或做手勢對應(yīng)的動作，或與用戶對話。

請參照圖9，步驟S800：連接觸控屏幕，通過觸控屏幕可以與智能動畫交互。

請參照圖10，本實施例的一種基于幼兒教育的多媒體交互系統(tǒng)，包括以下模塊：

請參照圖11，認(rèn)知圖形模塊100：用于圖片內(nèi)容識別，該圖片來源于可觸控手持設(shè)備或可觸控桌面設(shè)備，通過涂鴉軟件繪制的靜態(tài)圖；

請參照圖12，材質(zhì)制作模塊200：用于依據(jù)識別出來的內(nèi)容，制作部位材質(zhì)；

動畫制作模塊300：用于依據(jù)識別出來的內(nèi)容，從動畫庫中提取預(yù)制動畫；

材質(zhì)更換模塊400：用于將材質(zhì)制作模塊200制作的材質(zhì)賦給動畫制作模塊300的預(yù)制動畫對應(yīng)的部位，以確保所得即為所畫；

動畫顯示模塊500：用于將材質(zhì)更換模塊400最終形成的智能動畫通過屏幕顯示；

語音交互模塊600：用于連接Kinect計算機(jī)外部設(shè)備，通過Kinect與智能動畫進(jìn)行語音交互；

手勢交互模塊700：用于通過Kinect與智能動畫進(jìn)行手勢交互；

觸屏交互模塊800：用于連接觸控屏幕，通過觸控屏幕可以與智能動畫交互。

所述認(rèn)知圖形模塊100包括以下子模塊：

圖片縮小模塊110：用于將圖片縮小到8x8的尺寸，總共64個像素，用以去除圖片的細(xì)節(jié)，只保留結(jié)構(gòu)、明暗及其他基本信息，摒棄不同尺寸、比例帶來的圖片差異；同時備份32x32尺寸圖片，總共1024個像素，用于提取圖片像素信息；

圖片轉(zhuǎn)灰度模塊120：用于將縮小后的圖片，轉(zhuǎn)為64級灰度，所有像素點總共只有64種顏色；

灰度平均值計算模塊130：用于計算所有64個像素的灰度平均值；

灰度平均值比較模塊140：用于將每個像素的灰度，與平均值進(jìn)行比較：大于或等于平均值，記為1；小于平均值，記為0；

指紋生成模塊150：將灰度平均值比較模塊140的比較結(jié)果，組合在一起，構(gòu)成一個64位的整數(shù)，這就是這張圖片的指紋；保證所有圖片都采用同樣次序；

圖片指紋對比模塊160：用于將得到的指紋與圖片指紋庫做比對，64位中有多少位是不一樣的，選擇不相同位數(shù)最少的圖片指紋。

所述材質(zhì)制作模塊200包括以下子模塊：

材質(zhì)顏色取值坐標(biāo)確定模塊210：用于存儲動畫各部位取顏色位置信息，將原始用于比對的圖片縮小到32x32像素尺寸，在圖片上相同可活動部位取五個像素坐標(biāo)，四個是極大值—即上下左右角坐標(biāo)和一個中間值；

材質(zhì)顏色取值模塊220：用這五個值從圖片縮小模塊110備份的32x32尺寸圖片里取值像素值,環(huán)形漸變顏色制作對應(yīng)位置材質(zhì)。

請參照圖13，所述語音交互模塊600包括以下子模塊：

動畫語音預(yù)制模塊610：存儲每個動畫可以語音交互的內(nèi)容；

語音采集模塊610：通過Kinect麥克監(jiān)聽語音，將語音輸入到計算機(jī)；

語音交互模塊620：依據(jù)輸入的語音，從數(shù)據(jù)庫中檢索該動畫會做怎樣的反應(yīng)，動畫或做語音對應(yīng)的動作，或與用戶對話。

請參照圖14，所述手勢交互模塊700包括以下子模塊：

動畫手勢預(yù)制模塊710：存儲每個動畫可以手勢交互的內(nèi)容；

手勢采集模塊710：通過Kinect將手勢輸入到計算機(jī)；

手勢交互模塊720：依據(jù)輸入的手勢，從數(shù)據(jù)庫中檢索該動畫會做怎樣的反應(yīng)，動畫或做手勢對應(yīng)的動作，或與用戶對話。

本發(fā)明的特點：

(1)識別出所繪制圖片，是什么東西，提取出對應(yīng)預(yù)制動畫。

(2)從繪制的圖片中提取動畫部位對應(yīng)的顏色，并修改材質(zhì)顏色。

(3)通過Kinect設(shè)備輸入的語音及肢體，動畫與用戶互動。

最后應(yīng)說明的是：以上各實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述各實施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其對前述各實施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分或者全部技術(shù)特征進(jìn)行等同替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的范圍。