基于體感感應(yīng)器的溫室省力化自動(dòng)跟隨作業(yè)平臺(tái)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明創(chuàng)造涉及一種基于體感設(shè)備的溫室省力化自動(dòng)跟隨作業(yè)平臺(tái)，尤其是用于 設(shè)施農(nóng)業(yè)采摘、收割和植保技術(shù)領(lǐng)域中。
【背景技術(shù)】
[0002] 現(xiàn)有設(shè)施農(nóng)業(yè)蔬菜生產(chǎn)中的搬運(yùn)作業(yè)多采用人力或非專用設(shè)備搬運(yùn)為主，需要大 量的勞動(dòng)力和高強(qiáng)度的勞動(dòng)，費(fèi)時(shí)費(fèi)力。國外一些發(fā)達(dá)國家，由于現(xiàn)代溫室結(jié)構(gòu)規(guī)范化和統(tǒng) 一化，采用了軌道運(yùn)輸車式作業(yè)平臺(tái)，大大節(jié)省了勞動(dòng)力和提高了作業(yè)效率。然而，我們國 家受限于現(xiàn)階段設(shè)施農(nóng)業(yè)發(fā)展特點(diǎn)，即小型溫室空間狹窄、溫室內(nèi)部鋪設(shè)軌道改造成本較 高、設(shè)備購置和維修投入經(jīng)費(fèi)有限，國外廣泛應(yīng)用的軌道式運(yùn)輸車結(jié)構(gòu)不能充分滿足我國 設(shè)施農(nóng)業(yè)的實(shí)際使用要求；同時(shí)，軌道式運(yùn)輸平臺(tái)作業(yè)不夠靈活，功能單一，不能滿足采摘、 收割和植保等作業(yè)對(duì)不同平臺(tái)的需求，耗費(fèi)了人力物力，影響了作業(yè)效率。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的在于提供一種基于體感感應(yīng)器的溫室省力化自動(dòng)跟隨作業(yè)平臺(tái)。溫 室省力化自動(dòng)跟隨平臺(tái)的建立，并以滿足溫室采摘、收割、植保作業(yè)等多種作業(yè)為目標(biāo)，基 于深度圖像感應(yīng)器和圖像處理技術(shù)實(shí)現(xiàn)溫室省力化自動(dòng)跟隨高效作業(yè)；該系統(tǒng)能夠?qū)崟r(shí)獲 取人體骨骼數(shù)據(jù)和溫室場(chǎng)景深度數(shù)據(jù)，通過人體骨骼數(shù)據(jù)獲取省力化平臺(tái)與人之間的距 離，并用圖像特征提取方法來辨識(shí)障礙物，從而進(jìn)一步對(duì)自動(dòng)跟隨平臺(tái)的路徑進(jìn)行規(guī)劃。省 力化自動(dòng)跟隨平臺(tái)采用可編程邏輯控制器和電子指南針、位移傳感器對(duì)平臺(tái)的行進(jìn)方向和 距離進(jìn)行精準(zhǔn)控制，實(shí)現(xiàn)省力化平臺(tái)的實(shí)時(shí)跟隨作業(yè)。
[0004] 本系統(tǒng)主要解決的四大問題：（1)軌道式運(yùn)輸平臺(tái)的局限性：軌道式運(yùn)輸不夠靈 活，且不適合我國現(xiàn)階段溫室的結(jié)構(gòu)特點(diǎn)。（2)智能化的跟隨作業(yè)：能夠通過骨骼追蹤實(shí)時(shí) 檢測(cè)最近作業(yè)者的距離，并通過圖像特征提取的方法對(duì)溫室場(chǎng)景數(shù)據(jù)進(jìn)行特征提取，辨別 作物行和障礙物，從而在不破壞作物的前提下避開障礙物。（3)得到障礙物分布后，根據(jù)障 礙物的高度和長度等信息來決策具體行進(jìn)方式，為省力化平臺(tái)提供最佳避障路徑。（4)省力 化平臺(tái)上載有可升降平臺(tái)，滿足不同的作業(yè)需求。
[0005] 為了解決以上技術(shù)問題，本發(fā)明采用的技術(shù)方案是：基于體感感應(yīng)器的溫室省力 化自動(dòng)跟隨作業(yè)平臺(tái)，其特征在于，包括六個(gè)部分：圖像采集裝置、圖像處理和數(shù)據(jù)處理模 塊、省力化運(yùn)輸平臺(tái)控制器、省力化運(yùn)輸平臺(tái)執(zhí)行裝置、遙控控制裝置和輔助設(shè)備；其中，圖 像采集裝置、圖像處理和數(shù)據(jù)處理模塊、省力化運(yùn)輸平臺(tái)控制器全部安裝于省力化運(yùn)輸平 臺(tái)執(zhí)行裝置的運(yùn)輸小車上；
[0006] (1)圖像采集裝置采用體感感應(yīng)器，體感感應(yīng)器通過RS232接口與主機(jī)連接，將圖 像數(shù)據(jù)傳送給主機(jī)；
[0007] (2)圖像處理和數(shù)據(jù)處理模塊由主機(jī)及其配套軟件和藍(lán)牙收發(fā)模塊組成；
[0008] 主機(jī)從體感感應(yīng)器獲取圖像數(shù)據(jù)進(jìn)行圖像處理后，再把相應(yīng)的執(zhí)行命令通過 RS232傳送給下位機(jī)PLC，并通過藍(lán)牙通信將實(shí)時(shí)信息發(fā)送到手機(jī)遙控端；
[0009] (3)省力化自動(dòng)跟隨平臺(tái)控制器由PLC控制器及其配套軟件組成，PLC控制器從模 擬量輸入端口獲取各傳感器的數(shù)據(jù)，通過RS232串口傳送數(shù)據(jù)給主機(jī)，并主機(jī)獲取相應(yīng)的 執(zhí)行命令并執(zhí)行；
[0010] (4)省力化自動(dòng)跟隨平臺(tái)執(zhí)行裝置包括運(yùn)輸小車、可升降平臺(tái)、直流步進(jìn)電機(jī)、繼 電器，通過PLC控制器驅(qū)動(dòng)運(yùn)輸小車的前進(jìn)、后退、轉(zhuǎn)彎、報(bào)警以及可升降平臺(tái)的升高和降 低功能；
[0011] (5)遙控控制裝置由藍(lán)牙收發(fā)功能的可觸屏手機(jī)和其配套的軟件組成，可觸屏手 機(jī)通過藍(lán)牙與主機(jī)通信，可以實(shí)現(xiàn)手機(jī)端遙控控制運(yùn)輸小車的前進(jìn)、后退、轉(zhuǎn)彎和可升降平 臺(tái)的升高與降低等功能；
[0012] (6)輔助設(shè)備包括電子指南針、位移傳感器、重力傳感器、壓力開關(guān)，它們均與PLC 控制器電連接；
[0013] 其中，首先由體感感應(yīng)器獲得人體骨骼數(shù)據(jù)和深度數(shù)據(jù)，從人體骨骼數(shù)據(jù)中提取 被跟隨人的坐標(biāo)；主機(jī)采集骨骼數(shù)據(jù)和深度數(shù)據(jù)并進(jìn)行存儲(chǔ)和換算，當(dāng)體感感應(yīng)器與人體 距離超過0. 4m時(shí)，計(jì)算縱向深度斜率，當(dāng)斜率值大于1. 4時(shí)，認(rèn)為是作物行，斜率值在1. 05 到1. 2之間的為可疑障礙物；根據(jù)坐標(biāo)換算，求得障礙物的高度，若障礙物高度小于0. 05m， 不需要轉(zhuǎn)彎，可直接前行；若障礙物在〇. 〇5m到0. 12m之間，根據(jù)障礙物具體長度和小車車 體寬度判斷是否能夠通過；若障礙物長度小于小車雙輪間的距離，由差動(dòng)轉(zhuǎn)向方式小幅度 調(diào)整車輪方向，使障礙物不觸碰車胎通過；若障礙物長度大于小車雙輪之間的寬度或者障 礙物高度大于〇. 12m，計(jì)算作物行邊界與障礙物邊界之間的間隙距離，從間隙超過車體寬度 的一側(cè)通過；若兩側(cè)距離都不超過車體寬度，則報(bào)警。
[0014] 與現(xiàn)有的技術(shù)方案相比，本發(fā)明創(chuàng)造的有益效果是：（1)骨骼追蹤和深度圖像結(jié) 合：得到省力化平臺(tái)與最近操作者之間的距離和周圍場(chǎng)景的障礙物信息，根據(jù)障礙物高度 和長度選擇避障方式。其特點(diǎn)是障礙物的長度和寬度不同，避障路徑也不相同。（2)運(yùn)輸 平臺(tái)采用差速轉(zhuǎn)向方式，用電子指南針檢測(cè)其轉(zhuǎn)角，位移傳感器檢測(cè)其位移，并進(jìn)行閉環(huán)調(diào) 整，使運(yùn)輸平臺(tái)能夠原地轉(zhuǎn)過需要的角度。（3)多種工作模式：該省力化運(yùn)輸平臺(tái)共設(shè)置了 三種工作模式，分別為自動(dòng)跟隨模式、手機(jī)遙控模式和手動(dòng)模式。自動(dòng)跟隨模式：根據(jù)體感 設(shè)備獲取骨骼數(shù)據(jù)和深度圖像，進(jìn)行縱向斜率比較和橫向斜率比較的圖像處理之后獲得最 佳跟隨路徑，使運(yùn)輸平臺(tái)與最近的操作者之間始終保持0. 2m-0. 4m的距離。手機(jī)遙控模式： 用戶可設(shè)置省力化平臺(tái)的行進(jìn)方式，以滿足一些工作需求。手動(dòng)模式：可以通過手動(dòng)按鈕 的方式對(duì)運(yùn)輸平臺(tái)的行進(jìn)和升降機(jī)構(gòu)等進(jìn)行操作。（4)可升降式的機(jī)械結(jié)構(gòu)：為滿足不同 作業(yè)需求，該平臺(tái)可以升高或者降低三個(gè)高度，可以手動(dòng)按鈕設(shè)置，也可以在手機(jī)端遙控設(shè) 置。本發(fā)明特別適用于大型多棟溫室的采摘、收割和植保作業(yè)等場(chǎng)合。本發(fā)明將體感感應(yīng) 器的深度圖像感應(yīng)器的深度數(shù)據(jù)和人體骨骼數(shù)據(jù)結(jié)合在一起，獲取實(shí)時(shí)的場(chǎng)景圖像，先根 據(jù)骨骼數(shù)據(jù)判斷視野中最近被跟隨人的位置，然后通過縱向斜率比較和橫向斜率比較的 特征提取方法獲得溫室作物邊界和路面障礙信息，并選擇避障方式，使得作業(yè)平臺(tái)能夠避 開障礙物跟隨作業(yè)者行走，并始終與被跟隨人保持0. 2m-0. 4m的距離。同時(shí)運(yùn)輸平臺(tái)上配 有可升降的機(jī)械結(jié)構(gòu)，以滿足不同的作業(yè)需求。
【附圖說明】：
[0015] 圖1溫室省力化自動(dòng)跟隨平臺(tái)硬件結(jié)構(gòu)原理圖；
[0016] 圖2溫室省力化自動(dòng)跟隨平臺(tái)電路結(jié)構(gòu)示意圖；
[0017] 圖3溫室省力化自動(dòng)跟隨平臺(tái)工作流程示意圖；
[0018] 圖4手機(jī)遙控界面示意圖。
[0019] 圖5是對(duì)列的所有像素點(diǎn)的深度值求和的示意圖；
[0020] 圖6是二角坐標(biāo)關(guān)系不意圖。
【具體實(shí)施方式】
[0021] 下面結(jié)合附圖，對(duì)本發(fā)明進(jìn)一步的描述，但其不代表為本發(fā)明的唯一實(shí)施方式。
[0022] 請(qǐng)閱圖1，溫室省力化自動(dòng)跟隨平臺(tái)主要包括六個(gè)部分：圖像采集裝置、圖像處理 和數(shù)據(jù)處理模塊、省力化運(yùn)輸平臺(tái)控制器、省力化運(yùn)輸平臺(tái)執(zhí)行裝置、遙控控制裝置和輔助 設(shè)備。其中，圖像采集裝置、圖像處理和數(shù)據(jù)處理模塊、省力化運(yùn)輸平臺(tái)控制器全部安裝于 運(yùn)輸平臺(tái)上。
[0023] (1)圖像采集裝置主要是體感感應(yīng)器，它通過RS232接口與主機(jī)連接，將圖像數(shù) 據(jù)傳送給主機(jī)。
[0024] (2)圖像處理和數(shù)據(jù)處理模塊主要是主機(jī)及其配套軟件和藍(lán)牙收發(fā)模塊組成。
[0025] 主機(jī)從體感感應(yīng)器獲取圖像數(shù)據(jù)進(jìn)行圖像處理后，再把相應(yīng)的執(zhí)行命令通過 RS232傳送給下位機(jī)PLC，并通過藍(lán)牙通信將實(shí)時(shí)信息發(fā)送到手機(jī)遙控端。
[0026] (3)省力化自動(dòng)跟隨平臺(tái)控制器主要由PLC控制器及其配套軟件組成，控制器PLC 從模擬量輸入端口獲取各傳感器的數(shù)據(jù)，通過RS232串口傳送數(shù)據(jù)給主機(jī)，并主機(jī)獲取相 應(yīng)的執(zhí)行命令并執(zhí)行。
[0027] (4)省力化自動(dòng)跟隨平臺(tái)執(zhí)行裝置包括運(yùn)輸小車、可升降平臺(tái)、直流步進(jìn)電機(jī)、繼 電器等，主要通過PLC驅(qū)動(dòng)小車的前進(jìn)、后退、轉(zhuǎn)彎、報(bào)警以及升降平臺(tái)的升高和降低等功 能。
[0028] (5)遙控控制裝置帶有藍(lán)牙收發(fā)功能的可觸屏手機(jī)和其配套的軟件組成，可觸屏 手機(jī)通過藍(lán)牙與主機(jī)通信，可以實(shí)現(xiàn)手機(jī)端遙控控制省力化運(yùn)輸平臺(tái)的前進(jìn)、后退、轉(zhuǎn)彎和 可升降平臺(tái)的升高與降低等功能。
[0029] (6)輔助設(shè)備包括電子指南針、位移傳感器、重力傳感器、壓力開關(guān)、繼電器等輔助 省力化運(yùn)輸平臺(tái)的實(shí)現(xiàn)。
[0030] 下面對(duì)一些現(xiàn)有的公知知識(shí)再進(jìn)一步詳細(xì)描述。
[0031] 本發(fā)明采用骨骼數(shù)據(jù)獲取操作者的位置，并用深度圖像經(jīng)過縱向斜率比較和橫向 斜率比較的特征提取方法獲取作物行的位置和障礙物信息，從而為運(yùn)輸平臺(tái)提供最佳避障 跟蹤路徑。具體步驟如下：
[0032] 步驟（1):攝像頭標(biāo)定：由于針孔模型與深度攝像頭成像極為相似，因此可以利用 針孔成像模型得到：

[0036] 其中，dx、七分別表示像素點(diǎn)（u，v)相對(duì)中心位置（u。，V。）在X軸和Y軸方向偏移 的距離。fx、fy為攝像機(jī)內(nèi)部參數(shù)。
[0037] 步驟（2):以獲取到的深度圖像中的一列為一個(gè)像素組，如圖5所示，對(duì)該列的所 有像素點(diǎn)的深度值求和：第一組深度值求和為：
[0040] 其中k取3,即每4列選取一組像素點(diǎn)組。
[0041] 步驟（