基于手勢(shì)識(shí)別的三維交互式果樹(shù)樹(shù)形修整方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域，尤其涉及一種基于手勢(shì)識(shí)別的三維交互式果樹(shù)樹(shù)形修整方法。
【背景技術(shù)】
[0002]樹(shù)形修整是果樹(shù)生產(chǎn)管理中十分重要的技術(shù)環(huán)節(jié)，因此推廣和普及先進(jìn)實(shí)用的樹(shù)形修整技術(shù)是果樹(shù)產(chǎn)業(yè)推廣的一項(xiàng)重要工作。目前果樹(shù)修剪技術(shù)培訓(xùn)和推廣工作中，大部分還是采用在真實(shí)果樹(shù)上進(jìn)行現(xiàn)場(chǎng)演示示范、講解的方式，這種在真實(shí)果樹(shù)上進(jìn)行樹(shù)形修整技術(shù)教學(xué)和訓(xùn)練的方法具有破壞性強(qiáng)、成本高、不易在同一棵樹(shù)上進(jìn)行各種樹(shù)形修整技術(shù)演示等缺點(diǎn)。
[0003]利用虛擬現(xiàn)實(shí)技術(shù)手段輔助開(kāi)展果樹(shù)修剪技術(shù)的培訓(xùn)和推廣是近年來(lái)研宄者提出的一種設(shè)想，并得到了不少實(shí)踐嘗試。主要方法包括兩類，一類是基于三維空間的虛擬交互修剪技術(shù)，側(cè)重樹(shù)形的虛擬交互修剪操作；另一類是果樹(shù)修剪后的形態(tài)發(fā)展過(guò)程可視化模擬，側(cè)重模擬果樹(shù)在不同修剪策略下形態(tài)結(jié)構(gòu)在下一季度、下一年甚至幾年后的生長(zhǎng)結(jié)果O
[0004]現(xiàn)有基于三維空間的虛擬交互修剪技術(shù)存在的缺點(diǎn)是，這些技術(shù)所提供的虛擬交互都是基于鼠標(biāo)、鍵盤(pán)的操作，不夠自然，難以提供與真實(shí)果樹(shù)修剪操作一致的體驗(yàn)感。同時(shí)，目前這種方法基本都僅實(shí)現(xiàn)了剪枝這一種最重要的樹(shù)形修整操作，而樹(shù)形修整中其他常用的操作，如拉枝、摘心、扭梢、環(huán)割等尚無(wú)考慮。因此所開(kāi)發(fā)的系統(tǒng)難以為用戶提供完整的樹(shù)形修整技術(shù)體驗(yàn)環(huán)境。
[0005]樹(shù)木修剪后的形態(tài)發(fā)展過(guò)程可視化模擬技術(shù)也存在類似的缺點(diǎn)，其提供的虛擬交互更有限，往往是通過(guò)參數(shù)輸入的方式設(shè)置不同的枝條修剪策略，無(wú)法提供形象、自然的果樹(shù)樹(shù)形修整交互體驗(yàn)環(huán)境。同樣地，該方法也集中在枝條的修剪上，尚未提供拉枝、摘心、扭梢、環(huán)割等其他常用的樹(shù)形修整技術(shù)的交互體驗(yàn)功能。
[0006]鑒于此，如何實(shí)現(xiàn)基于手勢(shì)識(shí)別對(duì)三維空間的果樹(shù)樹(shù)形進(jìn)行修剪、拉枝、扭梢、摘心和環(huán)割等修整操作的虛擬交互成為目前需要解決的技術(shù)問(wèn)題。

【發(fā)明內(nèi)容】

[0007]為解決上述的技術(shù)問(wèn)題，本發(fā)明提供一種基于手勢(shì)識(shí)別的三維交互式果樹(shù)樹(shù)形修整方法，可以基于手勢(shì)識(shí)別實(shí)現(xiàn)對(duì)三維空間的果樹(shù)樹(shù)形進(jìn)行修剪、拉枝、扭梢、摘心和環(huán)割等修整操作的虛擬交互。
[0008]第一方面，本發(fā)明提供一種基于手勢(shì)識(shí)別的三維交互式果樹(shù)樹(shù)形修整方法，包括:
[0009]構(gòu)建果樹(shù)三維模型和輔助工具三維模型；
[0010]對(duì)所述果樹(shù)三維模型進(jìn)行預(yù)處理；
[0011]識(shí)別用戶的第一手勢(shì)指令，所述第一手勢(shì)指令包括:左手指令信息或右手指令信息、樹(shù)齡選擇信息、修整類型選擇信息；
[0012]根據(jù)所述第一手勢(shì)指令和預(yù)設(shè)的手勢(shì)動(dòng)作規(guī)則，確定是否進(jìn)入三維交互界面；
[0013]如果進(jìn)入三維交互界面，根據(jù)所述樹(shù)齡選擇信息、修整類型選擇信息，在所述果樹(shù)三維模型中確定目標(biāo)果樹(shù)三維模型，將所述目標(biāo)果樹(shù)三維模型顯示在三維交互界面中；
[0014]識(shí)別用戶的第二手勢(shì)指令，所述第二手勢(shì)指令包括:左手指令信息和/或右手指令信息；
[0015]根據(jù)所述第二手勢(shì)指令和預(yù)設(shè)的手勢(shì)動(dòng)作規(guī)則對(duì)預(yù)處理后的果樹(shù)三維模型進(jìn)行修整操作，獲得修整模擬效果。
[0016]可選地，所述樹(shù)齡選擇信息包括:小樹(shù)修整、或中樹(shù)修整、或大樹(shù)修整；
[0017]所述修整類型選擇信息包括:冬季修整和夏季修整。
[0018]可選地，若修整類型選擇信息為冬季修整，所述修整操作包括:旋轉(zhuǎn)所述目標(biāo)果樹(shù)三維模型、放大所述目標(biāo)果樹(shù)三維模型、縮小所述目標(biāo)果樹(shù)三維模型、修剪、拉枝和環(huán)割操作；
[0019]若修整類型選擇信息為夏季修整，所述修整操作包括:旋轉(zhuǎn)所述目標(biāo)果樹(shù)三維模型、放大所述目標(biāo)果樹(shù)三維模型、縮小所述目標(biāo)果樹(shù)三維模型、修剪、拉枝、扭梢、摘心和環(huán)割操作。
[0020]可選地，所述構(gòu)建果樹(shù)三維模型和輔助工具三維模型，包括:
[0021]構(gòu)建果樹(shù)三維模型，所述果樹(shù)三維模型包括:幼年期帶葉、幼年期不帶葉、初果期帶葉、初果期不帶葉、盛果期帶葉和盛果期不帶葉的6個(gè)果樹(shù)三維模型；其中，所述果樹(shù)三維模型中的每根枝條都用不同的紋理貼圖，或者采用相同的紋理但改變紋理貼圖的文件名稱；
[0022]構(gòu)建輔助工具三維模型，所述輔助工具三維模型包括:左手、右手、剪刀、環(huán)割刀、繩子、木粧對(duì)象的三維模型；
[0023]獲取帶環(huán)割效果的果樹(shù)枝條的數(shù)字圖像，作為枝條的預(yù)備紋理貼圖。
[0024]可選地，所述識(shí)別用戶的第一手勢(shì)指令，所述第一手勢(shì)指令包括:樹(shù)齡選擇信息、修整類型選擇信息，包括:
[0025]對(duì)用戶的第一手勢(shì)進(jìn)行識(shí)別，在所述第一手勢(shì)符合左手或右手伸出食指斜指屏幕停留預(yù)設(shè)時(shí)間段時(shí)，根據(jù)所述第一手勢(shì)的食指指尖位置分別確定樹(shù)齡選擇信息和修整類型選擇信息。
[0026]可選地，所述根據(jù)所述樹(shù)齡選擇信息、修整類型選擇信息，在所述果樹(shù)三維模型中確定目標(biāo)果樹(shù)三維模型，包括:
[0027]若所述樹(shù)齡選擇信息為小樹(shù)修整、所述修整類型選擇信息為冬季修整，則確定目標(biāo)果樹(shù)三維模型為幼年期不帶葉果樹(shù)三維模型；
[0028]若所述樹(shù)齡選擇信息為小樹(shù)修整、所述修整類型選擇信息為夏季修整，則確定目標(biāo)果樹(shù)三維模型為幼年期帶葉果樹(shù)三維模型；
[0029]若所述樹(shù)齡選擇信息為中樹(shù)修整、所述修整類型選擇信息為冬季修整，則確定目標(biāo)果樹(shù)三維模型為初果期不帶葉果樹(shù)三維模型；
[0030]若所述樹(shù)齡選擇信息為中樹(shù)修整、所述修整類型選擇信息為夏季修整，則確定目標(biāo)果樹(shù)三維模型為初果期帶葉果樹(shù)三維模型；
[0031]若所述樹(shù)齡選擇信息為大樹(shù)修整、所述修整類型選擇信息為冬季修整，則確定目標(biāo)果樹(shù)三維模型為盛果期不帶葉果樹(shù)三維模型；
[0032]若所述樹(shù)齡選擇信息為大樹(shù)修整、所述修整類型選擇信息為夏季修整，則確定目標(biāo)果樹(shù)三維模型為盛果期帶葉果樹(shù)三維模型。
[0033]可選地，所述對(duì)所述果樹(shù)三維模型進(jìn)行預(yù)處理，包括:
[0034]根據(jù)所構(gòu)建的果樹(shù)三維模型，確定枝條間的父子關(guān)系，構(gòu)建每個(gè)三維模型中枝條的拓?fù)浣Y(jié)構(gòu)模型；
[0035]根據(jù)所構(gòu)建的拓?fù)浣Y(jié)構(gòu)模型，計(jì)算每根枝條的包圍盒，以枝條的包圍盒為單位，構(gòu)建果樹(shù)三維模型的八叉樹(shù)結(jié)構(gòu)。
[0036]可選地，所述根據(jù)所述第二手勢(shì)指令和預(yù)設(shè)的手勢(shì)動(dòng)作規(guī)則對(duì)預(yù)處理后的果樹(shù)三維模型進(jìn)行修整操作，包括:
[0037]在所述第二手勢(shì)指令左手指令信息時(shí)，判斷所述第二手勢(shì)指令中的左/右手指令信息、左/右手形狀、動(dòng)作與手勢(shì)動(dòng)作規(guī)則中的左/右手形狀、動(dòng)作是否一致，如果一致，對(duì)預(yù)處理后的果樹(shù)三維模型執(zhí)行該左/右手形狀、動(dòng)作在手勢(shì)動(dòng)作規(guī)則中對(duì)應(yīng)的修整操作。
[0038]可選地，在對(duì)左/右手手勢(shì)進(jìn)行識(shí)別的同時(shí)，根據(jù)所識(shí)別的結(jié)果實(shí)時(shí)顯示左/右手的三維模型，并根據(jù)所識(shí)別的手勢(shì)動(dòng)態(tài)顯示手掌與手指的運(yùn)動(dòng)。
[0039]可選地，采用體感裝置Kinect對(duì)手勢(shì)進(jìn)行識(shí)別；
[0040]和/ 或，
[0041]采用體感裝置Leap Mot1n對(duì)手勢(shì)進(jìn)行識(shí)別；
[0042]和/ 或，
[0043]采用游戲引擎Unity3D進(jìn)行界面、三維模型場(chǎng)景和所有修整操作動(dòng)作的顯示和模擬仿真。
[0044]由上述技術(shù)方案可知，本發(fā)明的基于手勢(shì)識(shí)別的三維交互式果樹(shù)樹(shù)形修整方法，通過(guò)構(gòu)建果樹(shù)三維模型和輔助工具三維模型，對(duì)果樹(shù)三維模型進(jìn)行預(yù)處理，識(shí)別用戶的第一手勢(shì)指令，所述第一手勢(shì)指令包括:左手指令信息或右手指令信息、樹(shù)齡選擇信息、修整類型選擇信息；根據(jù)第一手勢(shì)指令和預(yù)設(shè)的手勢(shì)動(dòng)作規(guī)則確定是否進(jìn)入三維交互界面；如果進(jìn)入三維交互界面，根據(jù)樹(shù)齡選擇信息、修整類型選擇信息，在果樹(shù)三維模型中確定目標(biāo)果樹(shù)三維模型，將目標(biāo)果樹(shù)三維模型顯示在樹(shù)形修整三維交互界面中；識(shí)別用戶的第二手勢(shì)指令，第二手勢(shì)指令包括:左手指令信息和/或右手指令信息；根據(jù)第二手勢(shì)指令和預(yù)設(shè)的手勢(shì)動(dòng)作規(guī)則對(duì)預(yù)處理后的果樹(shù)三維模型進(jìn)行修整操作(包括修剪、拉枝、扭梢、摘心和環(huán)割等操作)，獲得修整模擬效果，可以基于手勢(shì)識(shí)別實(shí)現(xiàn)對(duì)三維空間的果樹(shù)樹(shù)形進(jìn)行修剪、拉枝、扭梢、摘心和環(huán)割等修整操作的虛擬交互，幫助使用者學(xué)習(xí)、掌握不同的樹(shù)形修整操作。
【附圖說(shuō)明】
[0045]圖1為本發(fā)明第一實(shí)施例提供的一種基于手勢(shì)識(shí)別的三維交互式果樹(shù)樹(shù)形修整方法的流程示意圖；
[0046]圖2為本發(fā)明第二實(shí)施例提供的一種基于手勢(shì)識(shí)別的三維交互式果樹(shù)樹(shù)