一種基于計(jì)算機(jī)視覺的講故事機(jī)器人的制作方法
【專利摘要】一種基于計(jì)算機(jī)視覺的講故事機(jī)器人,包括：當(dāng)講故事進(jìn)行至需要用戶交互時(shí)，微處理器提醒用戶進(jìn)行交互，通過攝像頭接收用戶提供的實(shí)物或卡片的信息傳送至微處理器，微處理器進(jìn)行信息的解碼，采樣再進(jìn)行檢測(cè)與識(shí)別得出結(jié)果，并將結(jié)果與預(yù)先設(shè)定的故事答案比較；若相同，則反饋出正確并繼續(xù)故事的講述；若不相同，則反饋不正確并提醒用戶進(jìn)行交互；若不相同超過一定次數(shù)，則反饋出正確答案并繼續(xù)故事的講述；若檢測(cè)不到實(shí)物或卡片，則反饋檢測(cè)不到實(shí)物或物體并提醒用戶進(jìn)行交互；若檢測(cè)不到實(shí)物或卡片超過一定次數(shù)，則反饋出正確答案并繼續(xù)故事的講述。通過這一種有趣的方式，使用戶通過故事充分接觸現(xiàn)實(shí)與識(shí)別物體，使之成為輔助幼兒教學(xué)的優(yōu)秀工具。
【專利說明】
一種基于計(jì)算機(jī)視覺的講故事機(jī)器人
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及機(jī)器人領(lǐng)域，計(jì)算機(jī)視覺領(lǐng)域，模式識(shí)別領(lǐng)域，特別涉及一種基于計(jì)算機(jī)視覺的講故事機(jī)器人。
【背景技術(shù)】
[0002]—般的講故事系統(tǒng)，用戶只能單一的接受故事，或者通過語音來與系統(tǒng)進(jìn)行交互?；?dòng)性不足，用戶不能通過故事將故事與現(xiàn)實(shí)聯(lián)系起來。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的是提供一種基于計(jì)算機(jī)視覺的講故事機(jī)器人，允許用戶用實(shí)物與卡片與機(jī)器人進(jìn)行交互，機(jī)器人通過識(shí)別實(shí)物和卡片后，與預(yù)設(shè)的故事答案進(jìn)行比對(duì)，再進(jìn)行反饋。通過這一種有趣的方式，使用戶通過故事充分認(rèn)識(shí)現(xiàn)實(shí)中的物體，使之成為輔助幼兒教學(xué)的優(yōu)秀工具。
[0004]為解決上述技術(shù)問題，本發(fā)明采用的一個(gè)技術(shù)方案是:機(jī)器人講述故事的過程中，若遇到需要進(jìn)行交互識(shí)別環(huán)節(jié)，微處理器通過音響提示用戶進(jìn)行識(shí)別操作，并在屏幕上顯示將答案鏤空的故事畫面與位于畫面下方的開始檢測(cè)鍵。用戶將與故事相關(guān)聯(lián)的實(shí)物或者卡片靜止的放置于機(jī)器人的攝像頭前，并點(diǎn)擊屏幕上的開始檢測(cè)鍵。機(jī)器人開啟攝像頭并通過攝像頭獲取用戶放置在攝像頭前的物體的信息，同時(shí)屏幕顯示檢測(cè)識(shí)別中，獲取完信息后傳至微處理器，并通過微處理器運(yùn)行程序來處理信息，檢測(cè)實(shí)物或者卡片的位置，再進(jìn)行識(shí)別操作。如果在一段時(shí)間內(nèi)檢測(cè)不到實(shí)物或者卡片則通過屏幕顯示未檢測(cè)成功并重新進(jìn)行交互識(shí)別環(huán)節(jié);若檢測(cè)失敗一定次數(shù)后則通過屏幕公布正確答案，并繼續(xù)進(jìn)行故事流程的講述;如果識(shí)別出實(shí)物或者卡片但并不是正確選項(xiàng)則通過屏幕提示用戶重新選擇實(shí)物或者卡片并重新進(jìn)行交互識(shí)別環(huán)節(jié);若識(shí)別出不正確選項(xiàng)一定次數(shù)后則通過屏幕公布正確答案，并繼續(xù)進(jìn)行故事流程的講述;如果識(shí)別出實(shí)物或者卡片是正確選項(xiàng)則通過屏幕表示選項(xiàng)正確并繼續(xù)進(jìn)行故事流程的講述。
[0005]例如，機(jī)器人講述白雪公主的故事時(shí)，在講述到白雪公主吃毒蘋果的片段的時(shí)候，進(jìn)入交互識(shí)別環(huán)節(jié)。屏幕顯示白雪公主吃毒蘋果的畫面，其中毒蘋果為陰影的鏤空畫面，并在畫面底下顯示開始檢測(cè)鍵。機(jī)器人通過音響問用戶這是什么東西，并提示用戶進(jìn)行識(shí)別操作。用戶將蘋果或者蘋果卡片放置于攝像頭前，并點(diǎn)擊開始檢測(cè)鍵。屏幕顯示檢測(cè)識(shí)別中，微處理器開啟攝像頭并通過攝像頭獲取一段時(shí)間的錄像，微處理器將獲得的錄像進(jìn)行解碼成多張圖像，再進(jìn)行采樣，檢測(cè)與識(shí)別操作。若檢測(cè)不到物體或卡片，則提示用戶重新進(jìn)行檢測(cè)，并重新進(jìn)入交互識(shí)別環(huán)節(jié)。檢測(cè)失敗一定次數(shù)后則通過屏幕公布正確答案是蘋果，并繼續(xù)進(jìn)行故事流程的講述;如果識(shí)別出不是蘋果或蘋果卡片則通過屏幕提示用戶重新選擇實(shí)物或者卡片，并重新進(jìn)入交互識(shí)別環(huán)節(jié);若識(shí)別出不正確選項(xiàng)一定次數(shù)后則通過屏幕公布正確答案，并繼續(xù)進(jìn)行故事流程的講述;如果識(shí)別出是蘋果則通過屏幕表示選項(xiàng)正確并繼續(xù)進(jìn)行故事流程的講述。
[0006]若微處理器檢測(cè)識(shí)別到多個(gè)物體或卡片，則將檢測(cè)出的多個(gè)結(jié)果逐一與預(yù)設(shè)的故事答案進(jìn)行比較，若有一個(gè)正確，則進(jìn)入正確流程，若全部答案都錯(cuò)誤，則進(jìn)入錯(cuò)誤流程。
【附圖說明】
[0007]通過實(shí)例并參照附圖，本發(fā)明將被進(jìn)一步闡明，其中:圖1是本發(fā)明的方法的流程圖。
[0008]圖2是本發(fā)明的主視圖。
[0009]圖3是本發(fā)明的系統(tǒng)框圖。
【具體實(shí)施方式】
[0010]參見圖1，本發(fā)明的方法包括八個(gè)步驟。步驟I機(jī)器人通過音響提示用戶進(jìn)行檢測(cè)操作，并在屏幕上顯示故事答案的陰影畫面并在畫面下顯示開始檢測(cè)鍵。步驟2在屏幕上顯示檢測(cè)識(shí)別中，微處理器開啟攝像頭，攝像頭獲取信息并傳送至微處理器，微處理器將傳送的信息進(jìn)行處理，檢測(cè)用戶提供的物體或卡片位置，并進(jìn)行識(shí)別。步驟3判斷是否檢測(cè)到物體或卡片，如果檢測(cè)不到物體則跳轉(zhuǎn)步驟4，如果檢測(cè)到物體就跳轉(zhuǎn)步驟5。步驟4判斷檢測(cè)不到物體的次數(shù)是否超出了一定次數(shù)，如果沒有超過則跳轉(zhuǎn)回步驟1，如果超出一定次數(shù)則跳轉(zhuǎn)至步驟8。在步驟5將檢測(cè)到的物體或卡片與預(yù)設(shè)的故事答案進(jìn)行比較并進(jìn)入步驟6。步驟6如果比較不正確則跳轉(zhuǎn)步驟7，否則跳轉(zhuǎn)步驟8。步驟7判斷比較不正確的次數(shù)是否超出了一定次數(shù)，如果沒有超過則跳轉(zhuǎn)回步驟1，如果超出一定次數(shù)則跳轉(zhuǎn)至步驟8。步驟8為公布正確答案并繼續(xù)故事的講述。
[0011]請(qǐng)參閱圖2，本發(fā)明實(shí)施例包括:1、機(jī)器人，2、屏幕，3、攝像頭，4、微處理器，存儲(chǔ)器集成在一起，5、音響。
[0012]圖3的講故事機(jī)器人系統(tǒng)包括:1、攝像頭，2、微處理器，3、存儲(chǔ)器，4、音響，
5、屏幕。
[0013]本發(fā)明實(shí)施例中，圖3中的1、攝像頭可以獲取攝像頭正前方錄像，并將錄像發(fā)至微處理器進(jìn)行處理。1、攝像頭與2、微處理器進(jìn)行雙向通信。
[0014]本發(fā)明實(shí)施例中，圖3中的2、微處理器可以運(yùn)行3、存儲(chǔ)器中的程序算法與故事數(shù)據(jù)，控制故事流程。當(dāng)2、微處理器遇到需要與用戶交互的環(huán)節(jié)時(shí)，發(fā)送需要交互的信號(hào)至
1、攝像頭。待1、攝像頭傳輸回錄像時(shí)，對(duì)1、攝像頭傳送的錄像進(jìn)行解碼，采樣成多張圖像后，再進(jìn)行檢測(cè)與識(shí)別，再將識(shí)別出來的結(jié)果與預(yù)設(shè)的故事答案進(jìn)行比較。并根據(jù)比較的結(jié)果發(fā)送至屏幕與音響進(jìn)行反饋。
[0015]本發(fā)明實(shí)施例中，圖3中的3、存儲(chǔ)器包含例如硬盤或類似閃存等固態(tài)存儲(chǔ)器。存儲(chǔ)器可以用于存儲(chǔ)一個(gè)或多個(gè)故事的數(shù)據(jù)與必要的算法程序。存儲(chǔ)器與微處理器相連可進(jìn)行雙向通信。
[0016]本發(fā)明實(shí)施例中，圖3中的4、音響可以輔助2、微處理器進(jìn)行故事的講述，進(jìn)行交互的提示及交互結(jié)果的反饋。4、音響與2、微處理器進(jìn)行單向通信。
[0017]圖3中的5、屏幕可以輔助2、微處理器進(jìn)行故事的講述，故事答案的提示(故事答案的鏤空?qǐng)D)，讓機(jī)器人進(jìn)入檢測(cè)識(shí)別環(huán)節(jié)(用戶點(diǎn)擊位于故事畫面下方的檢測(cè)開始鍵)及交互結(jié)果的反饋。5、屏幕與2、微處理器進(jìn)行單向通信。
【主權(quán)項(xiàng)】
1.一種基于計(jì)算機(jī)視覺的講故事機(jī)器人，包括:當(dāng)講故事進(jìn)行至需要用戶交互時(shí)，微處理器提醒用戶進(jìn)行交互，通過攝像頭接收用戶提供的實(shí)物或卡片的信息，微處理器進(jìn)行信息解碼，采樣，再檢測(cè)與識(shí)別得出結(jié)果，并將結(jié)果與預(yù)先設(shè)定的故事答案比較;若相同，則反饋出正確并繼續(xù)故事的講述;若不相同，則反饋不正確并提醒用戶再次重新進(jìn)行交互;若不相同超過一定次數(shù)，則反饋出正確答案并繼續(xù)故事的講述;若檢測(cè)不到實(shí)物或卡片，則反饋檢測(cè)不到實(shí)物或物體并提醒用戶再次重新交互;若檢測(cè)不到實(shí)物或卡片超過一定次數(shù)，則反饋出正確答案并繼續(xù)故事的講述。2.如權(quán)利要求1所述的一種基于計(jì)算機(jī)視覺的講故事機(jī)器人，其特征在于，若微處理器檢測(cè)識(shí)別到多個(gè)物體或卡片，則將檢測(cè)出的多個(gè)結(jié)果逐一與預(yù)設(shè)的故事答案進(jìn)行比較，若有一個(gè)正確，則進(jìn)入正確流程，若全部答案都錯(cuò)誤，則進(jìn)入錯(cuò)誤流程。3.如權(quán)利要求1所述的一種基于計(jì)算機(jī)視覺的講故事機(jī)器人，其特征在于，當(dāng)講故事進(jìn)行至需要用戶交互時(shí)，屏幕顯示故事答案的鏤空?qǐng)D，來提示用戶答案。4.如權(quán)利要求1所述的一種基于計(jì)算機(jī)視覺的講故事機(jī)器人，其特征在于，當(dāng)講故事進(jìn)行至需要用戶交互時(shí)，微處理器通過音響來提醒用戶進(jìn)行交互，若音響提醒被用戶選擇進(jìn)入檢測(cè)識(shí)別階段打斷，則進(jìn)入檢測(cè)識(shí)別階段。5.如權(quán)利要求1所述的一種基于計(jì)算機(jī)視覺的講故事機(jī)器人，其特征在于，當(dāng)講故事進(jìn)行至需要反饋時(shí)，微處理器通過屏幕與音響來反饋給用戶結(jié)果。6.如權(quán)利要求1所述的一種基于計(jì)算機(jī)視覺的講故事機(jī)器人，其特征在于，當(dāng)微處理器檢測(cè)識(shí)別時(shí)，屏幕顯示檢測(cè)識(shí)別中的畫面。7.如權(quán)利要求1所述的一種基于計(jì)算機(jī)視覺的講故事機(jī)器人，其特征在于，故事數(shù)據(jù)與算法程序都存儲(chǔ)在存儲(chǔ)器中被供微處理器調(diào)用。8.如權(quán)利要求1所述的一種基于計(jì)算機(jī)視覺的講故事機(jī)器人，其特征在于，攝像頭接收錄像并傳至微處理器，微處理器對(duì)錄像進(jìn)行解碼采樣獲得多張圖像后進(jìn)行檢測(cè)識(shí)別操作。
【文檔編號(hào)】G06K9/00GK106056109SQ201610611478
【公開日】2016年10月26日
【申請(qǐng)日】2016年7月30日
【發(fā)明人】張迪, 程忠光, 張猛, 龔莉杰, 許杰雄
【申請(qǐng)人】深圳市寒武紀(jì)智能科技有限公司