基于分水嶺和神經(jīng)網(wǎng)絡(luò)的蘋果采摘機器人夜間圖像識別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及果樹采摘機器人，尤其是蘋果采摘機器人在夜間的圖像識別技術(shù)領(lǐng) 域，基于分水嶺和神經(jīng)網(wǎng)絡(luò)對夜間蘋果果實進(jìn)行識別。
【背景技術(shù)】
[0002] 我國是世界上最大的蘋果生產(chǎn)國，而采摘作業(yè)是蘋果種植生產(chǎn)中最耗時、費力的 環(huán)節(jié)之一，對機器采摘作業(yè)的需求越來越迫切。但目前，蘋果采摘機器人的采摘效率受限于 圖像的識別速度和機械手的采摘速度還難W與人工相媳美。2008年，比利時學(xué)者開發(fā)了蘋 果采摘機器人AFPM，對直徑在6cm到11 cm的蘋果采摘率在80 %左右，平均采摘時間為9秒。 2011年中國農(nóng)業(yè)機械化科學(xué)研究院與江蘇大學(xué)聯(lián)合研制的蘋果采摘機器人，其采摘成功率 為80%，收獲速度為15秒/個。然而機器人具有不知疲倦、可W長時間連續(xù)工作的優(yōu)勢，因 此，另辟曖徑實現(xiàn)全晝夜作業(yè)，可W提高蘋果采摘機器人總體工作效率。晝夜作業(yè)的實現(xiàn)要 求采摘機器人的視覺系統(tǒng)能適應(yīng)多種光照條件，其中夜間人工光源照明下的采摘作業(yè)是其 中的重要組成部分。
[0003] 夜間人工光源下的果蔬識別國內(nèi)外均有所研究，但是大都W產(chǎn)量估計為目的。 2014年，國內(nèi)學(xué)者張春龍等采用W歸一化的g分量和HSV色彩空間的H，S顏色分量為特征參 量的支持向量機分類器和W超綠算子(2G-R-B)為特征的闊值分類器識別出夜間光照下的 青蘋果并估算產(chǎn)量。2014年，澳大利亞學(xué)者A.化yne等采集了夜間L邸光照下的芒果圖像，結(jié) 合YCb化彩色空間的顏色特征與形狀紋理特征識別芒果并估算芒果產(chǎn)量。2013年，美國學(xué)者 DJont等在夜間利用人工光源照明采集了紅色成熟葡萄的RGB圖像，通過檢測葡萄表面的 球面反射峰值計算葡萄個數(shù)。2014年，St邱hen Nuske等綜合顏色、形狀、紋理多種視覺特征 對夜間人工光源下的青葡萄進(jìn)行識別W估算產(chǎn)量。然而W產(chǎn)量估算為目的果蔬識別在目標(biāo) 水果定位的精確性上難W滿足機器人采摘的需要。為了引導(dǎo)機械手進(jìn)行采摘，還需要進(jìn)一 步減少夜間人工光源照明帶來的干擾因素實現(xiàn)目標(biāo)水果的精確定位。
[0004] 分水嶺算法的基本思想是把圖像看作測地學(xué)上的拓?fù)涞孛?，圖像中的每個像素值 代表該點的海拔高度，每個局部極小值及其影響區(qū)域稱為集水盆。分水嶺的形成可W通過 模擬浸沒過程來說明。在每一個局部最小值表面，刺穿一個小孔，然后把整個模型慢慢浸入 水中，隨著浸入的加深，每個局部最小值的影響域慢慢向外擴展，在兩個集水盆匯合處構(gòu)筑 大巧，即形成分水嶺。
[0005] 形態(tài)學(xué)開閉濾波就是對二值圖像先進(jìn)行開運算再進(jìn)行閉運算。其中開運算具有去 除毛刺，平滑邊緣并濾除小的孤立點的作用；閉運算具有彌合斷點，填充小的孔桐的作用。 開運算可W幾何的描述為將結(jié)構(gòu)元素緊貼原圖像內(nèi)部邊界滾動并保證結(jié)構(gòu)元素始終包含 于原圖像內(nèi)，結(jié)構(gòu)元素中的點所能達(dá)到的最靠近原圖像內(nèi)邊界的位置構(gòu)成了開運算結(jié)果的 外邊界。閉運算和開運算是對偶的，同樣可W幾何的描述為將結(jié)構(gòu)元素緊貼原圖像的外邊 界滾動，滾動過程中始終保證其不離開原圖像，此時結(jié)構(gòu)元素中的點所能達(dá)到的最靠近原 圖像外邊界的位置構(gòu)成了閉運算的外邊界。
[0006] 神經(jīng)網(wǎng)絡(luò)又叫人工神經(jīng)網(wǎng)絡(luò)(Adificial化ural化twork，ANN)，是對人腦或生 物神經(jīng)網(wǎng)絡(luò)若干基本特性的抽象和模擬。神經(jīng)網(wǎng)路優(yōu)異的學(xué)習(xí)能夠大大節(jié)省對數(shù)據(jù)進(jìn)行分 析建模的工作量，提高分類效率。其中反向傳播人工神經(jīng)網(wǎng)絡(luò)（Back Propogation Artificial化ural化twork，BP神經(jīng)網(wǎng)絡(luò))是應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)之一。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的是提供一種基于分水嶺和神經(jīng)網(wǎng)絡(luò)的針對夜間人工光源條件下蘋 果采摘機器人的圖像識別方法，能有效抑制人工光源造成的光照不均、陰影和反光現(xiàn)象對 蘋果識別的影響，并提高識別蘋果的完整度和定位精度。
[0008] 本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是:在夜間通過人工光源輔助照明采集 蘋果果園中的彩色圖像，采用改進(jìn)的分水嶺算法沿圖像邊緣將圖像碎片化，提取每個碎片 的顏色特征和紋理特征，再建立反向傳播人工神經(jīng)網(wǎng)絡(luò)并利用已知類別的碎片的特征量進(jìn) 行訓(xùn)練，接著利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)根據(jù)每個碎片的特征量進(jìn)行分類，最后根據(jù)碎片之間 的位置關(guān)系濾除錯誤分類W修正分類結(jié)果并確定蘋果的位置，其中：所述改進(jìn)的分水嶺算 法是將分水嶺算法的輸入變?yōu)樗杉噬珗D像的梯度圖像并對梯度圖像采用3 X 3模板進(jìn) 行中值濾波和開閉濾波W平滑噪聲;所述圖像碎片化是W改進(jìn)分水嶺算法檢測的邊緣為基 礎(chǔ)將圖像分為大小不一的碎片;所述顏色特征是為圖像碎片內(nèi)像素點在RGB顏色空間的顏 色平均值和方差;所述紋理特征是為圖像碎片內(nèi)所有像素灰度直方圖的統(tǒng)計特征，包括:均 值，標(biāo)準(zhǔn)差，平滑度，賭;所述反向傳播人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練是分別取蘋果、樹葉、樹枝和背景 的圖像碎片若干并分別提取其顏色特征和紋理特征作為神經(jīng)網(wǎng)絡(luò)輸入，運些碎片對應(yīng)的類 別編號作為神經(jīng)網(wǎng)絡(luò)輸出，然后進(jìn)行多次訓(xùn)練并選取訓(xùn)練誤差最小的網(wǎng)絡(luò)作為最終用于分 類的網(wǎng)絡(luò);所述反向傳播人工神經(jīng)網(wǎng)絡(luò)分類是提取圖像中每個碎片的顏色特征和紋理特 征，并利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)將其分為蘋果、樹葉、樹枝和背景4類;所述碎片之間的位置關(guān) 系是采用區(qū)域鄰接圖描述圖像碎片之間的鄰接關(guān)系;所述濾除錯誤分類是將孤立的或者只 有一個蘋果碎片與之相鄰的蘋果碎片作為錯誤分類的碎片并予W濾除。
[0009] 進(jìn)一步，在夜間通過人工光源輔助照明采集蘋果果園中的彩色圖像的具體過程 為:首先在夜間W白色L邸燈作為人工輔助照明光源，選用CMOS彩色攝像頭對目標(biāo)果實進(jìn)行 拍攝完成圖像采集。
[0010] 進(jìn)一步，所述改進(jìn)的分水嶺算法的改進(jìn)部分為：
[0011] a)彩色圖像梯度計算:和灰度圖像的梯度計算相比，彩色圖像的梯度計算把關(guān)于 單一灰度的計算轉(zhuǎn)換成=維的向量計算，彩色圖像在點(x，y)上的梯度定義公式如下：
[0012]
[0013] 其中，3、6、8分別是點^，7)處的顏色分量；:畳，《分別是沿1?^彩色空間的1?、6、6 軸的單位向量；《，V分別是彩色圖像在點(x，y)處沿X和y方向的梯度向量。
[0014] b)采用中值濾波和形態(tài)學(xué)的開閉濾波相結(jié)合的方法對梯度圖像進(jìn)行濾波:采用3 X3正方形模板對彩色圖像的梯度圖像進(jìn)行中值濾波后，再采用3X3的正方形結(jié)構(gòu)元素對 其進(jìn)行開閉濾波。
[0015] 進(jìn)一步，所述圖像碎片化是W改進(jìn)分水嶺算法檢測的邊緣為基礎(chǔ)將圖像分為大小 不一的碎片。
[0016] 進(jìn)一步，所述顏色特征是為圖像碎片內(nèi)像素點在RGB顏色空間的顏色平均值和方 差;所述紋理特征是為圖像碎片內(nèi)所有像素灰度直方圖的統(tǒng)計特征，包括:灰度均值，標(biāo)準(zhǔn) 差，平滑度，賭。
[0017] 進(jìn)一步，所述反向傳播人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練是分別取蘋果、樹葉、樹枝和背景的圖像 碎片若干并分別提取其顏色特征和紋理特征作為神經(jīng)網(wǎng)絡(luò)輸入，運些碎片對應(yīng)的類別編號 作為神經(jīng)網(wǎng)絡(luò)輸出，然后進(jìn)行多次訓(xùn)練并選取訓(xùn)練誤差最小的網(wǎng)絡(luò)作為最終用于分類的網(wǎng) 絡(luò);所述反向傳播人工神經(jīng)網(wǎng)絡(luò)分類是提取圖像中每個碎片的顏色特征和紋理特征，并利 用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)將其分為蘋果、樹葉、樹枝和背景4類。
[0018] 進(jìn)一步，所述碎片之間的位置關(guān)系是采用區(qū)域鄰接圖描述的圖像碎片之間的鄰接 關(guān)系。
[0019] 進(jìn)一步，所述濾除錯誤分類是將孤立的或者只有一個蘋果碎片與之相鄰的蘋果碎 片作為錯誤分類的碎片并予W濾除。
[0020] 本發(fā)明的有益效果是：
[0021] 1)-般的邊緣檢測算法難W形成穩(wěn)定的閉合回路，本發(fā)明采用分水嶺算法對原始 圖像進(jìn)行邊緣檢測并間接地應(yīng)用邊緣信息將圖像碎片化，W便實現(xiàn)圖像的區(qū)域化描述。
[0022] 2)常規(guī)分水嶺算法對噪聲特別敏感，易造成圖像梯度惡化和分割輪廓的偏移;其 次，易產(chǎn)生過分割現(xiàn)象。本發(fā)明應(yīng)用該經(jīng)典算法優(yōu)化分水嶺分割效果并針對夜間圖像特點 在梯度圖像計算方法和濾波模板大小方面進(jìn)行了適當(dāng)?shù)倪x擇和改進(jìn)；因此采用RGB彩色向 量空間的梯度計算方法可W使梯度圖像的細(xì)節(jié)表現(xiàn)更完善，為后面的分水嶺分割打好基 礎(chǔ);為了克服分水嶺算法易受到噪聲等影響造成過分割的問題，采用中值濾波和形態(tài)學(xué)與 開閉計算相結(jié)合對梯度圖像進(jìn)行濾波。
[0023] 3)分水嶺算法將圖像分割成大小適中的區(qū)域化碎片，因此只要對圖像碎片進(jìn)行分 類并篩選出