本發(fā)明涉及一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)的烹飪輔助系統(tǒng)，用于替代傳統(tǒng)的紙質(zhì)或者電子版食譜。

背景技術(shù)：

初涉廚房的人士一般在前幾次學(xué)習(xí)烹飪的過(guò)程中，都有比較慘痛的經(jīng)歷，盡管有菜譜引導(dǎo)，但是由于對(duì)調(diào)料、烹飪器具的十分陌生，比如糖、鹽、淀粉等，對(duì)于涉廚不深的人來(lái)說(shuō)、區(qū)分起來(lái)還是比較困難的；對(duì)于陳醋、醬油、料酒等的別說(shuō)初學(xué)人士，對(duì)于資深人士，也需要聞過(guò)之后才能確認(rèn)。

在一片慌亂的情況下，尤其是在燒開(kāi)的油鍋的壓迫下，新手特別容易手忙腳亂，忙中出錯(cuò)，導(dǎo)致放錯(cuò)菜，調(diào)料多放、少放或者忘放、控制不住火候的情況此起彼伏的發(fā)生，導(dǎo)致做出的菜慘不忍睹、口味更是讓人嘔吐。

極容易打擊出入廚房人士的信心，導(dǎo)致其產(chǎn)生心理陰影，終其一生都不在下廚，甚至導(dǎo)致家庭矛盾、影響家庭和睦不說(shuō)，也容易動(dòng)搖社會(huì)穩(wěn)定的根基。

隨著圖像識(shí)別技術(shù)和增強(qiáng)現(xiàn)實(shí)技術(shù)的發(fā)展，在AR眼鏡視野范圍內(nèi)，對(duì)特定的物體進(jìn)行定位和在幀序列圖像中的追蹤定位早已是十分成熟的技術(shù)。同時(shí)，無(wú)論是光學(xué)透視式的頭盔/頭戴顯示器Head-mounted displays，HMD，也已經(jīng)廣泛應(yīng)用于虛擬現(xiàn)實(shí)系統(tǒng)中，可以在用戶真實(shí)可見(jiàn)視野下，通過(guò)互聯(lián)大數(shù)據(jù)通信等大數(shù)據(jù)加持，為用戶呈現(xiàn)更多的精彩紛呈的信息，為解決現(xiàn)實(shí)中很多難題都打下了堅(jiān)實(shí)的基礎(chǔ)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明針對(duì)以上問(wèn)題的提出，而研制的一種基于AR增強(qiáng)現(xiàn)實(shí)技術(shù)和基于顏色評(píng)價(jià)的烹飪輔助系統(tǒng)，包括：

視頻獲取單元，獲取烹飪工作區(qū)域的圖像；

視頻識(shí)別單元，識(shí)別圖像中所述的工作區(qū)域中的炊具、灶具、調(diào)料容器和原材料容器；

第一存儲(chǔ)單元，存儲(chǔ)有包括烹飪?cè)?、佐料、調(diào)料、炊具、烹飪順序以及烹飪技法的食譜；

第二存儲(chǔ)單元，存儲(chǔ)指示動(dòng)畫(huà)；以及處理單元、顯示單元和無(wú)線通信單元；

烹飪開(kāi)始前，使用者通過(guò)所述的視頻獲取單元獲取當(dāng)前烹飪工作區(qū)域的圖像；視頻識(shí)別單元識(shí)別圖像中的炊具、廚具和灶具的類型和位置；識(shí)別定位并存儲(chǔ)盛裝原料、佐料和調(diào)料的不同容器；

烹飪過(guò)程中，所述的處理單元調(diào)取存儲(chǔ)單元中的食譜，解析食譜中所述的烹飪順序，解析當(dāng)前烹飪順序中涉及到的調(diào)料、佐料和原料；按當(dāng)前烹飪順序，在所述的顯示單元的視野區(qū)域中的特定的調(diào)料、佐料或原料的容器、炊具、廚具和灶具的對(duì)應(yīng)區(qū)域或者周邊區(qū)域顯示所述的指示動(dòng)畫(huà)；

持續(xù)給出食譜中記載的全部烹飪順序?qū)?yīng)的容器的指示動(dòng)畫(huà)，完成當(dāng)前菜品的烹飪輔助引導(dǎo)；

所述的無(wú)線通信單元與遠(yuǎn)程服務(wù)器連接，下載網(wǎng)絡(luò)食譜，由所述的處理單元解析后存儲(chǔ)在所述的第一存儲(chǔ)單元。

在烹飪過(guò)程中，所述的處理單元通過(guò)所述的視頻獲取單元采集當(dāng)前時(shí)刻的菜品顏色，與存儲(chǔ)的對(duì)應(yīng)菜品的顏色進(jìn)行比對(duì)，判定菜品是否處于正常烹飪狀態(tài)；若超過(guò)合適的烹飪狀態(tài)，則調(diào)取所述的第二存儲(chǔ)單元中存儲(chǔ)的指示動(dòng)畫(huà)，在鍋具區(qū)域進(jìn)行顯示。

作為優(yōu)選的實(shí)施方式，還具有定義單元；所述的視頻識(shí)別單元識(shí)別并定位出所述的容器后，使用者使用該定義單元為每一個(gè)容器設(shè)定盛裝物品。

更進(jìn)一步的，還在于定義單元調(diào)取動(dòng)態(tài)感知單元，獲取使用者的在定義過(guò)程中的頭部姿態(tài)，根據(jù)頭部姿態(tài)和所述處理單元給出的定義選項(xiàng)，完成盛裝物品的容器的定義。

作為優(yōu)選的實(shí)施方式，所述的處理單元調(diào)取食譜中的烹飪時(shí)間，建立烹飪順序的時(shí)間軸；當(dāng)?shù)竭_(dá)時(shí)間節(jié)點(diǎn)時(shí)，給出時(shí)間節(jié)點(diǎn)對(duì)應(yīng)的烹飪順序操作指示。

作為優(yōu)選的實(shí)施方式，所述的食譜中還存儲(chǔ)有不同烹飪時(shí)長(zhǎng)和烹飪條件下、對(duì)應(yīng)菜品的顏色；

在烹飪過(guò)程中，所述的處理單元通過(guò)所述的視頻獲取單元采集當(dāng)前時(shí)刻的菜品顏色，與存儲(chǔ)的對(duì)應(yīng)菜品的顏色進(jìn)行比對(duì)，判定菜品是否處于正常烹飪狀態(tài)；若超過(guò)合適的烹飪狀態(tài)，則調(diào)取所述的第二存儲(chǔ)單元中存儲(chǔ)的指示動(dòng)畫(huà)，在鍋具區(qū)域進(jìn)行顯示。

由于采用了上述技術(shù)方案，本發(fā)明公開(kāi)的一種基于AR增強(qiáng)現(xiàn)實(shí)技術(shù)和基于顏色評(píng)價(jià)的烹飪輔助系統(tǒng)，基于數(shù)字化食譜和成熟的圖像識(shí)別技術(shù)，能夠在烹飪過(guò)程中給出實(shí)時(shí)的烹飪建議，通過(guò)時(shí)下流行的增強(qiáng)現(xiàn)實(shí)技術(shù)顯示在AR眼鏡上，能夠使初入廚房的人士也能從容的完成復(fù)雜的烹飪過(guò)程，采用的技術(shù)成熟可靠，具有極佳的可移植性，除了可以作為單獨(dú)的系統(tǒng)外，也可做成專業(yè)的軟件或者APP在不同的智能硬件中安裝使用。

附圖說(shuō)明

為了更清楚的說(shuō)明本發(fā)明的實(shí)施例或現(xiàn)有技術(shù)的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖做一簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明的系統(tǒng)模塊圖

具體實(shí)施方式

為使本發(fā)明的實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚完整的描述：

如圖1所示：一種基于AR增強(qiáng)現(xiàn)實(shí)技術(shù)和基于顏色評(píng)價(jià)的烹飪輔助系統(tǒng)，主要包括：視頻獲取單元，獲取烹飪工作區(qū)域的圖像，考慮到方便時(shí)使用者在烹飪過(guò)程不會(huì)受到實(shí)體的視頻獲取單元的影響，即做到無(wú)感，作為優(yōu)選的實(shí)施方式，所述的視頻獲取單元采用AR增強(qiáng)眼鏡的攝像頭。但是使用手機(jī)等智能終端的攝像頭也可，但是不建議烹飪操作者本人使用，建議協(xié)助者持握手機(jī)等智能終端使用。

視頻識(shí)別單元，識(shí)別圖像中所述的工作區(qū)域中的炊具、灶具、調(diào)料容器和原材料容器。由于炊具、灶具等具有較為獨(dú)特的外形特征，采用通常的視頻視頻算法，比如成熟的二值化和邊緣識(shí)別算法即可識(shí)別，在存儲(chǔ)單元當(dāng)中存儲(chǔ)不同炊具、灶具的形態(tài)，與實(shí)時(shí)獲得的圖像進(jìn)行比對(duì)即可，并非是本發(fā)明的重點(diǎn)。

第一存儲(chǔ)單元，存儲(chǔ)有包括烹飪菜品時(shí)采用的原料、佐料、調(diào)料、炊具、烹飪順序以及烹飪技法的食譜。與紙質(zhì)菜譜類似，比如原料、佐料和調(diào)料加入的時(shí)間、加入量等信息。炊具的更換，比如紅燒類的菜品，可能涉及油炸鍋、炒鍋，同時(shí)還能存在蒸鍋或者湯鍋的運(yùn)行步驟等，均進(jìn)行存儲(chǔ)。

第二存儲(chǔ)單元，專門(mén)存儲(chǔ)指示動(dòng)畫(huà)，比如當(dāng)需要翻炒時(shí)，在對(duì)應(yīng)的鍋得上方給出不斷閃動(dòng)和或跳動(dòng)的鍋鏟動(dòng)畫(huà)，同時(shí)也可配合必要的語(yǔ)音提示，給予當(dāng)前的烹飪者的多感官指導(dǎo)。

烹飪開(kāi)始前，使用者通過(guò)所述的視頻獲取單元獲取當(dāng)前烹飪工作區(qū)域的圖像；視頻識(shí)別單元識(shí)別圖像中的炊具、廚具和灶具的類型和位置；識(shí)別定位并存儲(chǔ)盛裝原料、佐料和調(diào)料的不同容器。

為了方便算法實(shí)現(xiàn)，可以比較難識(shí)別的調(diào)料、佐料容器，可以在容器上設(shè)置專門(mén)的識(shí)別特征，比如不同形狀的標(biāo)志物圖形或者較為明顯的數(shù)字標(biāo)志，比如白底黑字的數(shù)字等，都可以減少圖形識(shí)別的運(yùn)算量和難度。

烹飪過(guò)程中，所述的處理單元調(diào)取存儲(chǔ)單元中的食譜，解析食譜中所述的烹飪順序，解析當(dāng)前烹飪順序中涉及到的調(diào)料、佐料和原料；按當(dāng)前烹飪順序，在所述的顯示單元的視野區(qū)域中的特定的調(diào)料、佐料或原料的容器、炊具、廚具和灶具的對(duì)應(yīng)區(qū)域或者周邊區(qū)域顯示所述的指示動(dòng)畫(huà)；

持續(xù)給出食譜中記載的全部烹飪順序?qū)?yīng)的容器的指示動(dòng)畫(huà)，完成當(dāng)前菜品的烹飪輔助引導(dǎo)。

相應(yīng)的，為了擴(kuò)展設(shè)備的可操作性，不斷豐富系統(tǒng)中存儲(chǔ)的菜譜，作為優(yōu)選的實(shí)施方式，還設(shè)有無(wú)線通信單元，與遠(yuǎn)程的系統(tǒng)服務(wù)器溝通，下載菜譜。當(dāng)系統(tǒng)基于AR眼鏡時(shí)，可利用眼鏡的3G/4G無(wú)線通信單元和wifi通信模塊，進(jìn)行遠(yuǎn)程通信下載和存儲(chǔ)。

所述的存儲(chǔ)單元可以采用內(nèi)部集成存儲(chǔ)介質(zhì)或者擴(kuò)展存儲(chǔ)介質(zhì)等。

更進(jìn)一步的，考慮到調(diào)料或者佐料容器數(shù)量較多，而且比較難以通過(guò)圖形識(shí)別算法識(shí)別出來(lái)，而基于標(biāo)志物可能影響餐具容器的美觀，故作為優(yōu)選的實(shí)施方式，還在于具有定義單元；

所述的視頻識(shí)別單元識(shí)別并定位出所述的容器后，使用者使用該定義單元為每一個(gè)容器設(shè)定盛裝物品。

作為優(yōu)選的實(shí)施方式，所述的定義單元調(diào)取動(dòng)態(tài)感知單元，獲取使用者的在定義過(guò)程中的頭部姿態(tài)，根據(jù)頭部姿態(tài)和所述處理單元給出的定義選項(xiàng)，完成盛裝物品的容器的定義。

更進(jìn)一步的，所述的處理單元調(diào)取食譜中的烹飪時(shí)間，建立烹飪順序的時(shí)間軸；當(dāng)?shù)竭_(dá)時(shí)間節(jié)點(diǎn)時(shí)，給出時(shí)間節(jié)點(diǎn)對(duì)應(yīng)的烹飪順序操作指示，在烹飪過(guò)程中，可通過(guò)視頻、音頻等識(shí)別烹飪開(kāi)始的時(shí)間，比如通過(guò)音頻識(shí)別在炒鍋熱油狀態(tài)下菜會(huì)有明顯的聲音；煤氣灶在點(diǎn)火時(shí)也會(huì)產(chǎn)生明顯的“噗”聲，通過(guò)采集這些較為明顯的聲音，可以作為時(shí)間軸開(kāi)始的標(biāo)志。

同樣的，在烹飪過(guò)程中必不可少的加入原材料的過(guò)程，需要烹飪者將原材料移植鍋具上方倒入鍋中，通過(guò)在人眼附近的攝像頭，可以采集到雙臂、盛放容器和手等明顯特征，可默認(rèn)倒入的是正確菜品(之前有明顯標(biāo)志物指示)，單純識(shí)別作為加入特定原材料的時(shí)間點(diǎn)，作為后續(xù)時(shí)間軸運(yùn)行的標(biāo)記。

更進(jìn)一步的，所述的食譜中還存儲(chǔ)有不同烹飪時(shí)長(zhǎng)和烹飪條件下、對(duì)應(yīng)菜品的顏色；在烹飪過(guò)程中，所述的處理單元通過(guò)所述的視頻獲取單元采集當(dāng)前時(shí)刻的菜品顏色，與存儲(chǔ)的對(duì)應(yīng)菜品的顏色進(jìn)行比對(duì)，判定菜品是否處于正常烹飪狀態(tài)；若超過(guò)合適的烹飪狀態(tài)，則調(diào)取所述的第二存儲(chǔ)單元中存儲(chǔ)的指示動(dòng)畫(huà)，在鍋具區(qū)域進(jìn)行顯示。

以上所述，僅為本發(fā)明較佳的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，根據(jù)本發(fā)明的技術(shù)方案及其發(fā)明構(gòu)思加以等同替換或改變，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。