一種雜草環(huán)境下的農(nóng)機(jī)導(dǎo)航路徑提取方法
【專利摘要】一種雜草環(huán)境下的農(nóng)機(jī)導(dǎo)航路徑線提取方法，包括采集作物圖像,根據(jù)所述采集到的圖像確定興趣區(qū)，將興趣區(qū)轉(zhuǎn)換為二值圖像;將所述二值圖像分為若干水平條帶進(jìn)行處理；每個條帶內(nèi)的像素值進(jìn)行垂直投影，將得到若干投影曲線，對所有投影曲線進(jìn)行二值化處理，確定動態(tài)興趣區(qū)，根據(jù)動態(tài)興趣區(qū)內(nèi)的高值位置提取所有條帶內(nèi)的特征點(diǎn)，將所有特征點(diǎn)利用最小二乘法擬合，得到導(dǎo)航路徑。解決了在雜草較多的環(huán)境下農(nóng)機(jī)導(dǎo)航線提取可靠性差等缺點(diǎn)。
【專利說明】一種雜草環(huán)境下的農(nóng)機(jī)導(dǎo)航路徑提取方法【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像處理技術(shù)，特別涉及一種雜草環(huán)境下的農(nóng)機(jī)導(dǎo)航路徑提取方法。
【背景技術(shù)】
[0002]隨著傳感器性價比的提高，以機(jī)器視覺和衛(wèi)星定位為核心的農(nóng)機(jī)自動導(dǎo)航技術(shù)日益成為研究的熱點(diǎn)。導(dǎo)航技術(shù)廣泛應(yīng)用于各種農(nóng)業(yè)作業(yè)(如除草、播種、收獲等作業(yè))過程中。導(dǎo)航功能直接影響農(nóng)業(yè)機(jī)械的效率、可靠性和穩(wěn)定性。農(nóng)業(yè)導(dǎo)航技術(shù)難度較大，按種類來分有GPS導(dǎo)航、慣性導(dǎo)航及機(jī)器視覺導(dǎo)航等方式。由于機(jī)器視覺導(dǎo)航方式具有信號探測范圍廣、信息完整等優(yōu)點(diǎn)，隨著電子技術(shù)的快速發(fā)展，取得了較廣泛的應(yīng)用。
[0003]農(nóng)業(yè)機(jī)械的機(jī)器視覺導(dǎo)航功能包括路徑規(guī)劃、避障與探測定位，它主要依賴于計算機(jī)在一定先驗(yàn)知識的指導(dǎo)下對圖像進(jìn)行有效的加工和分析，從而對農(nóng)田景物場景以正確解釋，為導(dǎo)航過程提供信息來源。多個不同功能的圖像處理單元就可以集成為一個解決一定問題或?qū)崿F(xiàn)一定功能的視覺導(dǎo)航系統(tǒng)，使田間作業(yè)的農(nóng)業(yè)機(jī)械能夠準(zhǔn)確地沿著作物的行、列或其它標(biāo)志物行走，并且能識別工作的對象。
[0004]在農(nóng)田復(fù)雜的自然場景中，圖像分割往往因光照、陰影等噪聲困擾而變得十分困難，無法取得較為滿意、穩(wěn)定的圖像分割效果。農(nóng)田中早期農(nóng)作物，植株相對矮小，整齊的按行種植，行與行之間基本平行。同時，農(nóng)作物一般呈綠色，作物行在整體上呈現(xiàn)直線形狀或者小曲率曲線，作物行連續(xù)，檢測到的導(dǎo)航特征在短時間隔內(nèi)不會發(fā)生突變，人們常常提取圖像中的作物行作為導(dǎo)航線。
[0005]目前，國內(nèi)外有許多關(guān)于作物行直線提取的研究報道，例如:國內(nèi)本領(lǐng)域技術(shù)人員研究了自然環(huán)境下作物圖 像，采用霍夫變換(Hough Transform)的方法，提取作物行直線作為導(dǎo)航線。霍夫變換算法魯棒性好，穩(wěn)定可靠，但缺點(diǎn)是非常耗時，難以保證實(shí)時性要求。有研究人員利用最小二乘法提取導(dǎo)航線，用最小二乘法能夠快速檢測出作物行，但當(dāng)圖像噪聲較大時，檢測的結(jié)果有較大的誤差，同時，當(dāng)圖像中包含多行作物時候，不能直接采用最小二乘法進(jìn)行直線提取。
[0006]國內(nèi)外研究基于機(jī)器視覺的文獻(xiàn)較多。在研究初期，研究人員較少考慮雜草的影響。隨著研究的深入，部分國內(nèi)外研究開始考慮視覺導(dǎo)航中雜草的影響。如M.Montalvo等利用模式識別技術(shù)避免農(nóng)機(jī)導(dǎo)航中雜草的影響；Xavier等對視頻中多幅圖像采用“與”的方式消除雜草；趙博等提出了一種基于BP神經(jīng)網(wǎng)絡(luò)雜草環(huán)境下導(dǎo)航路徑識別方法；張志斌等提出了基于良序集和壟行結(jié)構(gòu)的農(nóng)機(jī)視覺導(dǎo)航參數(shù)提取算法。由于導(dǎo)航環(huán)境的復(fù)雜性，雜草環(huán)境下導(dǎo)航技術(shù)還存在多種弱點(diǎn)，例如M.Montalvo等提出的模式識別技術(shù)在實(shí)際應(yīng)用中對作物行的直線性要求較高、可靠性較差；采用多幅圖像“與”的方法處理速度慢，難以滿足農(nóng)機(jī)導(dǎo)航實(shí)時性要求。
[0007]由于大田作物一般行與行位置平行，因此在機(jī)器視覺導(dǎo)航時，可根據(jù)某一特定行的作物進(jìn)行直線提取。在采集到的農(nóng)田場景圖像中除導(dǎo)航特征以外的信息是無效信息，不但浪費(fèi)了大量的處理時間，而且增加了場景的復(fù)雜程度，還可能產(chǎn)生對場景中其它直線特征的誤檢。通過設(shè)置興趣區(qū)ROI (Region Of Interest)實(shí)現(xiàn)選擇注意機(jī)制，只對興趣區(qū)ROI中的圖像進(jìn)行處理，可以大大減少圖像處理的工作量，降低場景的復(fù)雜性，突出導(dǎo)航特征。[0008]雜草的顏色和玉米等作物的顏色類似，將土壤、雜草等背景和作物進(jìn)行分割，是提取作物行直線的基礎(chǔ)。本發(fā)明提出了一種雜草環(huán)境下的農(nóng)機(jī)導(dǎo)航路徑提取方法。
[0009]本發(fā)明提出的一種雜草環(huán)境下的農(nóng)機(jī)導(dǎo)航路徑提取方法將圖像的興趣區(qū)劃分成多個水平條帶，對水平條帶內(nèi)識別出的植物(包含作物和雜草)進(jìn)行垂直投影，進(jìn)而提取特征點(diǎn)，最終提取導(dǎo)航路徑。Torr1、姜國權(quán)等都曾將圖像分成多個水平條帶，進(jìn)而獲取特征點(diǎn)、提取導(dǎo)航線，但較少考慮雜草的影響。李茗萱等也曾將圖像分割為水平條帶，并對植物(作物、雜草)進(jìn)行投影，根據(jù)投影的寬度識別作物和雜草。實(shí)際導(dǎo)航應(yīng)用中，雜草和作物難以通過簡單的投影寬度進(jìn)行準(zhǔn)確區(qū)分。本發(fā)明的內(nèi)容和上述方法具有明顯不同。

【發(fā)明內(nèi)容】

[0010]本發(fā)明提供一種用于雜草環(huán)境下農(nóng)機(jī)導(dǎo)航路徑提取方法，利用該方法能夠較好地提聞導(dǎo)航路徑的提取速度、減少雜草影響，提聞導(dǎo)航路徑提取的可罪性，解決農(nóng)機(jī)導(dǎo)航路徑提取實(shí)時性差、可靠性低等問題。
[0011]為實(shí)現(xiàn)上述目的，本發(fā)明的提供了一種雜草環(huán)境下的農(nóng)機(jī)導(dǎo)航路徑提取方法，包括:
[0012]采集作物圖像，使特定作物行與水平方向呈70~85度；
[0013]根據(jù)所采集到的圖像確定興趣區(qū)；
[0014]將興趣區(qū)轉(zhuǎn)換為二值圖像；
[0015]將所述二值圖像分為若干水平條帶進(jìn)行處理；
[0016]每個條帶內(nèi)的像素值進(jìn)行垂直投影，將得到若干投影曲線，對所有投影曲線進(jìn)行二值化處理；其特征在于:
[0017]根據(jù)作物行的位置確定動態(tài)興趣區(qū)；
[0018]根據(jù)動態(tài)興趣區(qū)內(nèi)的高值位置提取所有條帶內(nèi)的特征點(diǎn)；
[0019]將所有特征點(diǎn)利用最小二乘法擬合，得到導(dǎo)航路徑。
[0020]其中，所述興趣區(qū)確定方法為:興趣區(qū)為包含特定作物行的矩形，其中矩形上下兩邊為采集作物圖像上下邊緣的一部分，矩形上下兩邊寬度為采集作物圖像上部特定作物行及與其相鄰的兩個作物行間寬度之和。
[0021]其中所述的將所述二值圖像分為若干水平條帶進(jìn)行處理為根據(jù)作物在圖像內(nèi)的高度確定條帶的高度，取特定作物行在圖像中部的作物高度作為作物在圖像內(nèi)的高度，作物高度的一半作為條帶的寬度。
[0022]將對所有投影曲線進(jìn)行二值化處理的方法為:將投影曲線值低于條帶高度一半的轉(zhuǎn)換為低值，否則轉(zhuǎn)換為高值。
[0023]根據(jù)作物行下端的位置確定動態(tài)興趣區(qū)的方法為:將圖像最底端的條帶內(nèi)，將寬度最大的高值中心的橫坐標(biāo)作為橫坐標(biāo)，對應(yīng)在圖像下邊緣處找到一點(diǎn)，為左下邊緣點(diǎn)?’沿該點(diǎn)向右移動作物寬度的距離，得到另外一點(diǎn)，作為右下邊緣點(diǎn)；沿右下邊緣點(diǎn)垂直向上，相交圖像上邊緣一點(diǎn)，作為右上邊緣點(diǎn)；興趣區(qū)矩形的左上角點(diǎn)為左上邊緣點(diǎn)，連接上述4 個邊緣點(diǎn)得到動態(tài)興趣區(qū)；
[0024]根據(jù)動態(tài)興趣區(qū)內(nèi)的高值位置提取所有條帶內(nèi)的特征點(diǎn)的方法為，圖像最底端的 條帶內(nèi)，寬度最大的高值中心的橫坐標(biāo)為橫坐標(biāo)，該條帶中心處的縱坐標(biāo)為縱坐標(biāo)，所述橫 坐標(biāo)和縱坐標(biāo)確定為最底端條帶的特征點(diǎn)；依次向上檢測下一條帶的特征點(diǎn)，將動態(tài)興趣 區(qū)內(nèi)左右各一個作物寬度范圍內(nèi)的所有高值中心的橫坐標(biāo)的平均值，作為該條帶內(nèi)特征點(diǎn) 的橫坐標(biāo)，該條帶中心處的縱坐標(biāo)為該條帶內(nèi)特征點(diǎn)的縱坐標(biāo)，如果在下一條帶內(nèi)，高值中 心橫坐標(biāo)位于左右各一個作物寬度范圍之外，則按一定的指數(shù)判斷其是否為雜草
[0025]該方法具有可靠、實(shí)時性好等優(yōu)點(diǎn)。
【專利附圖】

【附圖說明】
[0026]圖1為根據(jù)本發(fā)明的用于雜草環(huán)境下農(nóng)機(jī)導(dǎo)航路徑提取方法流程圖；
[0027]圖2為根據(jù)本發(fā)明的采集到的圖像示意圖；
[0028]圖3為根據(jù)本發(fā)明的興趣區(qū)二值圖像的示意圖；
[0029]圖4為根據(jù)本發(fā)明的條帶分割及投影曲線示意圖；
[0030]圖5為根據(jù)本發(fā)明的動態(tài)興趣區(qū)示意圖；
[0031]圖6為根據(jù)本發(fā)明的提取特征點(diǎn)示意圖；
[0032]圖7為根據(jù)本發(fā)明的導(dǎo)航路徑提取示意圖。
【具體實(shí)施方式】
[0033]下面通過附圖和實(shí)施例，對本發(fā)明實(shí)施例的技術(shù)方案做進(jìn)一步的詳細(xì)描述。
[0034]本發(fā)明所有提供的一種雜草環(huán)境下的農(nóng)機(jī)導(dǎo)航路徑提取方法，主要是針對在自然 條件下，實(shí)現(xiàn)對農(nóng)機(jī)導(dǎo)航路徑的的快速可靠提取，以下各實(shí)施例選擇以含有雜草的玉米圖 像為例。
[0035]圖1為根據(jù)本發(fā)明的用于雜草環(huán)境下農(nóng)機(jī)導(dǎo)航路徑提取方法，包括如下步驟:
[0036]第一步:采集作物圖像。調(diào)整安裝于除草機(jī)具上攝像頭的高度和角度，使圖像中某 一行作物與水平方向呈70?85角度。對該行作物進(jìn)行導(dǎo)航線提取，以下稱該行作物為特 定作物行。
[0037]第二步:根據(jù)所采集到的圖像確定興趣區(qū)。興趣區(qū)為包含特定作物行的矩形，其中 矩形上下兩邊為圖像上下邊緣的一部分，矩形上下兩邊寬度為圖像上部特定作物行及與其 相鄰的兩個作物行間寬度之和。
[0038]第三步:將興趣區(qū)轉(zhuǎn)換為二值圖像。對興趣區(qū)內(nèi)的圖像按如下方法進(jìn)行轉(zhuǎn)換:
[0039]Igray(i, j) =Gnor(i, j)*2-Rnor(i, j)-Bnor(i, j) (I)
[0040]其中1、j為像素的行列坐標(biāo)，GnOT(i，j)、RnOT(i，j)和BnOT(i，j)分別由下式確定:
[0041]Gnor(i, j)=GN(i, j)/(GN(i, j)+RN(i, j)+BN(i, j))
[0042]Rnor(i, j)=RN(i, j)/(GN(i, j)+RN(i, j)+BN(i, j)) (2)
[0043]Bnor(i, j)=BN(i, j)/(GN(i, j)+RN(i, j)+BN(i, j))
[0044]其中
[0045]Gn(i, j)=G(i, j)/Gmax[0046]RN(i, j)=R(i, j)/Rmax (3)
[0047]BN(i，j)=B(i，j)/Bmax
[0048]其中G(i，j)、R(i，j)、B(i，j)分別為采集到的原圖像(i，j)處像素G、R、B顏色分量的灰度值；Gmax、Rmax和Bmax分別G、R、B顏色分量灰度圖像中最大灰度值。
[0049]經(jīng)上述轉(zhuǎn)換，興趣區(qū)轉(zhuǎn)換為灰度圖像，將此灰度圖像轉(zhuǎn)換為二值圖像，利用最大類間差法(0TSU法)確定轉(zhuǎn)換閾值。
[0050]所述的二值圖像，白色像素點(diǎn)(灰度值為I)為玉米，黑色像素點(diǎn)(灰度值為O)為背景。用邊長為5像素的正方形結(jié)構(gòu)元素對二值圖像進(jìn)行開運(yùn)算，消除二值圖像面積微小的白色區(qū)域。
[0051]第四步:將所述二值圖像分為若干水平條帶進(jìn)行處理。將所述二值圖像分為若干水平條帶進(jìn)行處理，根據(jù)作物在圖像內(nèi)的高度確定條帶的高度。作物在圖像內(nèi)上下左右位置不同，高度不同，取特定作物行在圖像中部的作物高度作為作物在圖像內(nèi)的高度Height ；取特定作物行在圖像中部的作物高寬度(包含葉片)的1/5?1/6作為作物在圖像內(nèi)的寬度Width。將Height/2作為水平條帶的寬度，將二值圖像分為若干個水平條帶，不妨分為η個水平條帶，然后對每個單獨(dú)的條帶進(jìn)行檢測。
[0052]第五步:每個條帶內(nèi)的像素值進(jìn)行垂直投影，將得到若干投影曲線，對所有投影曲線進(jìn)行二值化處理。對每個條帶內(nèi)的像素值進(jìn)行垂直投影，將得到η條投影曲線，其中每條投影曲線的最大值為Height/2,最小值為O。
[0053]對η條投影曲線進(jìn)行進(jìn)一步變換，投影曲線值小于等于Height/4時曲線值為0，否則曲線值為Height/2，形成只有高低兩值的方波投影曲線。
[0054]第六步:根據(jù)作物行下端的位置確定動態(tài)興趣區(qū)。檢測特定作物行的下端:圖像最底端的條帶內(nèi)，寬度最大的高值(波峰)處默認(rèn)為作物行的下端。
[0055]將圖像最底端的條帶內(nèi)，寬度最大的高值(波峰)的中心的橫坐標(biāo)ib(rt作為橫坐標(biāo)，向圖像下邊緣引垂線，垂線與下邊緣相交點(diǎn)為左下邊緣點(diǎn)；沿該點(diǎn)向右移動Width/2的距離，得到另外一點(diǎn)，作為右下邊緣點(diǎn)；沿右下邊緣點(diǎn)垂直向上，相交圖像上邊緣一點(diǎn)，作為右上邊緣點(diǎn)；興趣區(qū)矩形的左上角點(diǎn)為左上邊緣點(diǎn)，連接上述4個邊緣點(diǎn)得到一個梯形的區(qū)域，該區(qū)域在算法處理過程中，根據(jù)每幀圖像作物位置不同動態(tài)變化，定義其為動態(tài)興趣區(qū)。
[0056]作物可能存在缺苗的情況，因此，圖像最底端的條帶內(nèi)的投影曲線有可能沒有高值(波峰)，在這種情況下，檢測興趣區(qū)內(nèi)最大面積的白色區(qū)域，可得到其形心橫坐標(biāo)icentroid.將(i_tMid+Width/2)作為橫坐標(biāo),在圖像下邊緣處找到一點(diǎn)，為左下邊緣點(diǎn)；沿該點(diǎn)向右移動Width/2的距離,得到另外一點(diǎn)，作為右下邊緣點(diǎn)；沿右下邊緣點(diǎn)垂直向上,相交圖像上邊緣一點(diǎn)，作為右上邊緣點(diǎn)；興趣區(qū)矩形的左上角點(diǎn)為左上邊緣點(diǎn),連接上述4個邊緣點(diǎn)得到動態(tài)興趣區(qū)。
[0057]第六步:根據(jù)動態(tài)興趣區(qū)內(nèi)的高值位置提取所有條帶內(nèi)的特征點(diǎn)。忽略動態(tài)興趣區(qū)外的投影曲線信息，根據(jù)動態(tài)興趣區(qū)內(nèi)投影曲線高值確定特征點(diǎn)，每條帶內(nèi)取一個特征點(diǎn)。具體方法為:
[0058]圖像最底端的條帶內(nèi)，寬度最大的高值(波峰)處默認(rèn)為作物行的下端，寬度最大的高值中心的橫坐標(biāo)ib(rt為橫坐標(biāo)，該條帶中心處的縱坐標(biāo)為縱坐標(biāo)，確定為最下端的特征
【權(quán)利要求】
1.一種雜草環(huán)境下的農(nóng)機(jī)導(dǎo)航路徑提取方法，包括:采集作物圖像，使特定作物行與水平方向呈70?85度；根據(jù)所采集到的圖像確定興趣區(qū)；將興趣區(qū)轉(zhuǎn)換為二值圖像；將所述二值圖像分為若干水平條帶進(jìn)行處理；每個條帶內(nèi)的像素值進(jìn)行垂直投影，將得到若干投影曲線，對所有投影曲線進(jìn)行二值 化處理；其特征在于:根據(jù)作物行的位置確定動態(tài)興趣區(qū)；根據(jù)動態(tài)興趣區(qū)內(nèi)的高值位置提取所有條帶內(nèi)的特征點(diǎn)；將所有特征點(diǎn)利用最小二乘法擬合，得到導(dǎo)航路徑。
2.根據(jù)權(quán)利要求1所述的導(dǎo)航路徑提取方法，其中，所述興趣區(qū)確定方法為:興趣區(qū)為 包含特定作物行的矩形，其中矩形上下兩邊為采集作物圖像上下邊緣的一部分，矩形上下 兩邊寬度為采集作物圖像上部特定作物行及與其相鄰的兩個作物行間寬度之和。
3.根據(jù)權(quán)利要求1所述的導(dǎo)航路徑提取方法，其中，將所述二值圖像分為若干水平條 帶進(jìn)行處理的方法為，根據(jù)作物在圖像內(nèi)的高度確定條帶的高度，取特定作物行在圖像中 部的作物高度作為作物在圖像內(nèi)的高度，作物高度的一半作為條帶的寬度。
4.根據(jù)權(quán)利要求1所述的導(dǎo)航路徑提取方法，其中，對所有投影曲線進(jìn)行二值化處理 的方法為，將投影曲線值低于條帶高度一半的轉(zhuǎn)換為低值，否則轉(zhuǎn)換為高值。
5.根據(jù)權(quán)利要求1所述的導(dǎo)航路徑提取方法，其中，根據(jù)作物行下端的位置確定動態(tài) 興趣區(qū)包括將圖像最底端的條帶內(nèi)，將寬度最大的高值中心的橫坐標(biāo)作為橫坐標(biāo)，對應(yīng)在 圖像下邊緣處找到一點(diǎn)，為左下邊緣點(diǎn)；沿該點(diǎn)向右移動作物寬度的距離，得到另外一點(diǎn)， 作為右下邊緣點(diǎn)；沿右下邊緣點(diǎn)垂直向上，相交圖像上邊緣一點(diǎn)，作為右上邊緣點(diǎn)；興趣區(qū) 矩形的左上角點(diǎn)為左上邊緣點(diǎn)，連接上述4個邊緣點(diǎn)得到動態(tài)興趣區(qū)。
6.根據(jù)權(quán)利要求1所述的導(dǎo)航路徑提取方法，其中，根據(jù)動態(tài)興趣區(qū)內(nèi)的高值位置提 取所有條帶內(nèi)的特征點(diǎn)包括:圖像最底端的條帶內(nèi)，寬度最大的高值中心的橫坐標(biāo)為橫坐 標(biāo)，該條帶中心處的縱坐標(biāo)為縱坐標(biāo)，所述橫坐標(biāo)和縱坐標(biāo)確定為最底端條帶的特征點(diǎn)；依 次向上檢測下一條帶的特征點(diǎn)，將動態(tài)興趣區(qū)內(nèi)左右各一個作物寬度范圍內(nèi)的所有高值中 心的橫坐標(biāo)的平均值，作為該條帶內(nèi)特征點(diǎn)的橫坐標(biāo)，該條帶中心處的縱坐標(biāo)為該條帶內(nèi) 特征點(diǎn)的縱坐標(biāo)，如果在下一條帶內(nèi)，高值中心橫坐標(biāo)位于左右各一個作物寬度范圍之外， 則按一定的指數(shù)判斷其是否為雜草。
【文檔編號】G01C21/20GK103530606SQ201310461422
【公開日】2014年1月22日 申請日期:2013年9月30日 優(yōu)先權(quán)日:2013年9月30日
【發(fā)明者】張漫, 劉剛, 司永勝, 李民贊, 孟慶寬, 仇瑞承 申請人:中國農(nóng)業(yè)大學(xué)