本發(fā)明涉及圖像識別和算法領域，特別涉及一種適配茶葉采摘機械的茶芽篩選方法。
背景技術：
：：1、采茶機械是從茶樹頂梢采收新嫩茶葉的作物收獲機械。由于生產效率低且對茶園作業(yè)條件的要求高等原因，選擇性采茶機械未獲大量推廣。主要原因是?對茶芽頭沒有識別性?，導致含雜率高，無法按照要求選擇性地采摘新葉，更無法對茶葉的形狀進行控制，而因此采用往復切割的粗放型采摘的方式對茶樹造成的損傷較大，且采摘效率不高；現(xiàn)有的并聯(lián)式智能采茶機器人在實際應用中，存在保障采摘效率和品質的挑戰(zhàn)，因為現(xiàn)有的采茶機還無法按照要求選擇性地采摘新葉；2、綜上所述，當前的茶芽采摘機在技術、效率和品質控制方面仍存在諸多挑戰(zhàn)，需要進一步的研究對茶芽的識別要求來提高采摘效率和茶葉品質，同時降低對茶樹的損傷，以滿足市場需求和茶農的生產需求。?技術實現(xiàn)思路1、本發(fā)明的目的在于克服現(xiàn)有技術中對茶芽的識別性不足的問題，提供一種適配茶葉采摘機械的茶芽篩選方法。2、本發(fā)明的目的是通過以下技術方案來實現(xiàn)的：3、一種適配茶葉采摘機械的茶芽篩選方法，步驟包括：4、s1：茶葉識別模型構建：包括：5、圖像數據準備：實地拍攝茶芽真實圖像數據，包括不同光照、不同角度、不同類型等多場景下的茶芽圖像數據，并對數據進行水平垂直翻轉、亮度對比度調整、隨機裁剪、旋轉進行圖像效果增強；6、茶芽分割模型：將圖像數據輸入deeplabv3+獲取只含茶芽的圖像；7、s2：二維采摘點定位：通過步驟s1獲取的茶芽的位置數據，進行對應的茶芽的位置數據的采摘坐標，包括：8、采摘區(qū)域檢測：基于茶芽分割處理后的圖像進行采摘區(qū)域檢測和采摘點計算獲取采摘區(qū)域數據；9、其中，采摘點計算為：10、；11、其中，（xmin，ymin）為茶芽的區(qū)域坐標值的左上角的值，（xmax，ymax）為茶芽的區(qū)域坐標值的右下角的值，通過坐標值計算（xmin，ymin）和（xmax，ymax）兩個值的幾何中心，獲得最終采摘點的坐標（x0，y0）；12、s3：基于雙目相機的三維采摘點計算：確定二維采摘點定位完成后，通過雙目相機數據計算出深度值，再配合坐標轉換，確定三維采摘點坐標；13、深度值的計算公式為：14、；15、其中，z為深度值，f為相機焦距，t為兩個相機的基線長度，d為視差值；16、坐標轉換：雙目視覺涉及到圖像的二維像素坐標和物體的三維空間坐標之間的轉換，共存在四種坐標系，包括：世界坐標系、相機坐標系、圖像坐標系和像素坐標系；17、像素坐標系，以像素為單位的圖像坐標系，圖像左上角即坐標系原點；18、圖像坐標系，相機成像平面上的坐標系，其原點為相機光軸和成像平面的交點；19、相機坐標系，相機主點為坐標系原點，以z軸為光軸方向，即z軸與圖像的焦點；20、世界坐標系，現(xiàn)實世界的絕對坐標系；21、實現(xiàn)茶芽世界坐標系下的三維定位，需要經過像素坐標到圖像坐標，圖像坐標到相機坐標，再從相機坐標到世界坐標，將二維采摘點定位得到的坐標轉換為像素坐標(u，v)，結合深度值z轉換后，最終得到采摘點的世界坐標（xw，yw，zw），世界坐標（xw，yw，zw）用于輸入至采摘機械內進行作業(yè)；具體為：22、<mstyledisplaystyle="true"mathcolor="#000000"><mrow><mo>[</mo><mtablecolumnalign="left"><mtr><mtd><mi>x</mi></mtd></mtr><mtr><mtd><mi>y</mi></mtd></mtr><mtr><mtd><mn>1</mn></mtd></mtr></mtable><mo>]</mo></mrow><mi>=</mi><msup><mi>k</mi><mrow><mi>?</mi><mn>1</mn></mrow></msup><mrow><mo>[</mo><mtablecolumnalign="left"><mtr><mtd><mi>u</mi></mtd></mtr><mtr><mtd><mi>v</mi></mtd></mtr><mtr><mtd><mn>1</mn></mtd></mtr></mtable><mo>]</mo></mrow></mstyle>；23、<mstyledisplaystyle="true"mathcolor="#000000"><mrow><mo>[</mo><mtablecolumnalign="left"><mtr><mtd><msub><mi>x</mi><mi>c</mi></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mi>c</mi></msub></mtd></mtr><mtr><mtd><msub><mi>z</mi><mi>c</mi></msub></mtd></mtr><mtr><mtd><mn>1</mn></mtd></mtr></mtable><mo>]</mo></mrow><mi>=</mi><mtable><mtr><mtd><mo>[</mo><mrow><mi>r</mi><mrow><mo>|</mo><mi>t</mi></mrow></mrow><mo>]</mo></mtd><mtd><mo>[</mo><mtablecolumnalign="left"><mtr><mtd><mi>x</mi></mtd></mtr><mtr><mtd><mi>y</mi></mtd></mtr><mtr><mtd><mn>1</mn></mtd></mtr><mtr><mtd><mi>z</mi></mtd></mtr></mtable><mo>]</mo></mtd></mtr></mtable></mstyle>；24、<mstyledisplaystyle="true"mathcolor="#000000"><mrow><mo>[</mo><mtablecolumnalign="left"><mtr><mtd><msub><mi>x</mi><mi>w</mi></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mi>w</mi></msub></mtd></mtr><mtr><mtd><msub><mi>z</mi><mi>w</mi></msub></mtd></mtr><mtr><mtd><mn>1</mn></mtd></mtr></mtable><mo>]</mo></mrow><mi>=</mi><msup><msub><mi>t</mi><mi>c</mi></msub><mrow><mi>?</mi><mn>1</mn></mrow></msup><mrow><mo>[</mo><mtablecolumnalign="left"><mtr><mtd><msub><mi>x</mi><mi>c</mi></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mi>c</mi></msub></mtd></mtr><mtr><mtd><msub><mi>z</mi><mi>c</mi></msub></mtd></mtr><mtr><mtd><mn>1</mn></mtd></mtr></mtable><mo>]</mo></mrow><mi>=</mi><msup><mrow><mo>[</mo><mtable><mtr><mtd><mi>r</mi></mtd><mtd><mi>t</mi></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>1</mn></mtd></mtr></mtable><mo>]</mo></mrow><mrow><mi>?</mi><mn>1</mn></mrow></msup><mrow><mo>[</mo><mtablecolumnalign="left"><mtr><mtd><msub><mi>x</mi><mi>c</mi></msub></mtd></mtr><mtr><mtd><msub><mi>y</mi><mi>c</mi></msub></mtd></mtr><mtr><mtd><msub><mi>z</mi><mi>c</mi></msub></mtd></mtr><mtr><mtd><mn>1</mn></mtd></mtr></mtable><mo>]</mo></mrow></mstyle>；25、其中，x，y為二維采摘點定位得到的坐標，u和v為二維采摘點像素坐標值，k為相機內參矩陣，xc、yc和zc分別為所帶入的圖像坐標對應轉換后相機坐標的x，y，z三個坐標軸的坐標值，c為相機坐標，[r|t]為相機外參矩陣，r為旋轉矩陣，t為平移向量，tc為相機坐標系到世界坐標系的變換矩陣。26、進一步的，所述s2中，二維采摘點定位還可以為：通過茶芽分割模型和shitomas進行計算獲取二維采摘點，具體為：27、通過茶芽分割deeplabv3+分離出茶芽圖像數據中的茶芽和背景，得到僅含茶芽的圖像，結合茶芽圖像和rgb顏色分量范圍，對茶芽中的單芽、一葉和兩葉進行分離提取，獲得三個與原始圖像大小相同的二值化圖像；然后分別對二值化圖像內的離散像素點進行統(tǒng)計，僅保留像素點最多的區(qū)域，得到單芽、一葉和兩葉的最大連通區(qū)域；通過shitomas算法檢測單芽、一葉和兩葉的部分角點，選擇縱坐標最小的角點作為各自的采摘點，該角點坐標即為最終采摘點坐標（x0，y0）。28、其中，deeplabv3+為現(xiàn)有技術，?deeplabv3+?是一個語義分割網絡，它結合了空洞卷積、空間金字塔池化模塊和編碼器-解碼器結構。deeplabv3+的設計旨在解決語義分割中的兩個主要問題：物體的多尺度問題和dcnn的多次下采樣導致的特征圖分辨率變小問題。通過引入編碼器-解碼器結構和改進的主干網絡，deeplabv3+能夠更好地保留邊界信息，提高分割精度。此外，deeplabv3+還采用了空洞卷積和空間金字塔池化技術，以捕獲多尺度的上下文信息，從而提升模型的性能?。29、其中，shi-tomasi為現(xiàn)有技術，shi-tomasi角點檢測算法是一種局部檢測興趣點的算法，常用于角點檢測和特征點提取。30、進一步的，所述s2中，二維采摘點定位還可以為：通過茶芽檢測模型和k3m算法求解獲取二維采摘點，具體為：31、所述茶芽檢測：將圖像數據輸入yolov8，通過yolov8進行定位并獲取茶芽的位置數據；32、將圖像數據經過茶芽檢測，框選出茶芽在圖像中的位置，裁剪后得到僅包含單一茶芽的圖像，將單一茶芽圖像二值化，按照像素值找到最大連通區(qū)域，然后通過k3m算法迭代腐蝕二值化區(qū)域邊界，使茶芽區(qū)域不斷細化，最終得到嫩芽骨架，對骨架求出最小外包矩形，茶芽骨架與最小外包矩形在底部的交點即為最終采摘點坐標（x0，y0）。?k3m算法?是一種用于骨架提取的算法，屬于迭代腐蝕邊界的一類算法。它的基本思想是假定從二值圖像中物體的邊界處同時開始“燃燒”，物體在燃燒過程中逐步細化，同時保證滿足一定條件的點被保留或“燒掉”，以確保燃燒結束后剩下的最后一像素寬的圖像為圖像的骨架。33、其中，yolov8屬于現(xiàn)有技術，??yolov8是yolo系列模型的最新版本?，?yolov8的創(chuàng)新點包括一個新的骨干網絡、一個新的anchor-free檢測頭和一個新的損失函數?。這些創(chuàng)新使得yolov8在目標檢測、實例分割等任務中表現(xiàn)出色。同時，yolov8也繼承了yolo系列模型的一些優(yōu)點，如簡潔易用和高效推理。34、進一步的，所述s2中，二維采摘點定位還可以為：通過茶芽旋轉檢測模型、單嫩稍分割掩碼圖和傳統(tǒng)圖像處理求解獲取采摘點，具體為：35、茶芽旋轉檢測：將圖像數據輸入oriented?r-cnn中，通過oriented?r-cnn中的檢測框旋轉功能獲取茶芽的位置數據；36、將圖像數據經過茶芽旋轉檢測模型框選出茶芽在圖像中的位置，裁剪后得到僅包含單一茶芽的圖像，單嫩梢分割為：輪廓標記后的單芽、一芽一葉、一芽一葉前視、一芽一葉后視數據集訓練得到；單嫩梢分割后得到單嫩梢掩碼圖像，將分割得到的單嫩梢掩碼圖像經過二值化、腐蝕、最大連通區(qū)域篩選、尋找連通區(qū)域左端最低點和獲取roi區(qū)域，最后計算取roi區(qū)域的中心坐標作為最終采摘點坐標（x0，y0）。37、本發(fā)明的有益效果是：38、（1）通過對茶葉圖像的分析，可以精確識別茶芽，根據分析后，判斷茶芽的狀態(tài)，選擇性的進行采摘和采摘方式，提高了茶芽的采摘效率和采摘的茶芽的品質；39、（2）可以實現(xiàn)對每一個單獨茶芽的識別，可以減少或避免粗放型采摘，提高了采摘效率，且對茶樹起到了保護作用。當前第1頁12當前第1頁12