本發(fā)明涉及機械臂抓取控制，更具體的說，它涉及一種基于數(shù)字孿生的機械臂抓取控制方法。

背景技術(shù)：

1、工業(yè)自動化流水生產(chǎn)線是制造業(yè)自動化的重要組成裝備，工業(yè)機械臂是其中的重要組成部分。在工業(yè)生產(chǎn)中廣泛應(yīng)用機械臂，不僅可以有效地提升制造業(yè)的勞動生產(chǎn)率，還能夠有效地提升工業(yè)產(chǎn)品的加工精度。因此，應(yīng)用更有效、更精確的控制技術(shù)是工業(yè)機械臂發(fā)展要求。目前，在真實的機械臂控制應(yīng)用中，市場上主流的機械臂控制方法為人為指令控制，即示教法，即由工程技術(shù)人員去規(guī)劃機械臂的運動方向、作業(yè)步驟及力度控制，并細(xì)化至各種參數(shù)。這種控制技術(shù)方法較復(fù)雜，耗時長且工作量大，面對非線性結(jié)構(gòu)的復(fù)雜環(huán)境時，利用人力去求解最優(yōu)解顯然是極具困難的。而當(dāng)環(huán)境發(fā)生變化時，又需要重新示教，極大耗費專業(yè)人員的精力?，F(xiàn)有技術(shù)通常采用正逆運動學(xué)計算方法輸出完成任務(wù)時機械臂的無碰撞的關(guān)節(jié)路徑點，實現(xiàn)機械臂的移動軌跡規(guī)劃，但上述方法難以實現(xiàn)高維空間規(guī)劃，且計算量較大；也有基于采樣方法實現(xiàn)機械臂的移動軌跡規(guī)劃，利用較小的計算量實現(xiàn)高維空間規(guī)劃，但上述方法需要進(jìn)行頻繁采樣，作業(yè)路徑的規(guī)劃效率及規(guī)劃精度較低。在傳統(tǒng)的機械臂抓取技術(shù)中，依賴于二維的數(shù)據(jù)輸入，在面對堆疊物體、多變的場景和復(fù)雜形狀時，無法有效地進(jìn)行抓取姿態(tài)估計。并且在實際應(yīng)用中無法進(jìn)行持續(xù)學(xué)習(xí)以應(yīng)對多變的場景中出現(xiàn)的新數(shù)據(jù)。

技術(shù)實現(xiàn)思路

1、(一)解決的技術(shù)問題

2、針對現(xiàn)有技術(shù)中存在的問題，本發(fā)明提供了一種基于數(shù)字孿生的機械臂抓取控制方法，以解決背景技術(shù)中提到的技術(shù)問題。

3、(二)技術(shù)方案

4、為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于數(shù)字孿生的機械臂抓取控制方法，包括以下步驟：

5、步驟一：根據(jù)現(xiàn)實環(huán)境的環(huán)境信息及機械臂關(guān)節(jié)位姿信息，構(gòu)建數(shù)字孿生仿生空間；其中，所述數(shù)字孿生仿生空間包括數(shù)字仿生機械臂，對每個子系統(tǒng)進(jìn)行運行模式控制，所述運行模式包括本地離線模式和線上云模式，子系統(tǒng)根據(jù)選擇的運行模式分別跳轉(zhuǎn)至本地離線模式工作過程或線上云模式工作過程，通過深度攝像機對待抓取物體進(jìn)行數(shù)據(jù)采集，獲取所述待抓取物體的點云數(shù)據(jù)；

6、步驟二：基于強化學(xué)習(xí)算法對所述數(shù)字仿生機械臂進(jìn)行物體抓取訓(xùn)練，當(dāng)所述數(shù)字仿生機械臂的抓取精度滿足仿生預(yù)設(shè)閾值時，獲取所述數(shù)字孿生仿生空間的仿生網(wǎng)絡(luò)參數(shù)，在機械臂運行時，按時間周期性采集狀態(tài)信息，所述的狀態(tài)信息經(jīng)過轉(zhuǎn)換后用于構(gòu)建機械臂數(shù)字孿生體，使用深度強化學(xué)習(xí)算法對構(gòu)建的機械臂數(shù)字孿生體進(jìn)行訓(xùn)練；

7、步驟三：訓(xùn)練過程中，對機械臂的狀態(tài)信息進(jìn)行分析，并對狀態(tài)信息進(jìn)行存儲，將所述點云數(shù)據(jù)輸入預(yù)先獲取的抓取檢測模型，得到多個抓取所述待抓取物體的抓取姿態(tài)；

8、步驟四：將每個抓取姿態(tài)輸入評分網(wǎng)絡(luò)，得到每個抓取姿態(tài)的評分，每個抓取姿態(tài)的評分用于表示所述抓取姿態(tài)的碰撞分?jǐn)?shù)以及力閉合分?jǐn)?shù)的綜合分?jǐn)?shù)；若得到的每個抓取姿態(tài)的評分都小于預(yù)設(shè)分值，則根據(jù)所述點云數(shù)據(jù)，從預(yù)先配置的3d模型數(shù)據(jù)庫中獲取與所述點云數(shù)據(jù)對應(yīng)的物體模型；

9、步驟五：基于所述物體模型，獲取數(shù)據(jù)集，所述數(shù)據(jù)集中包括所述物體模型在不同抓取場景下的自由度抓取姿態(tài)；根據(jù)所述數(shù)據(jù)集對所述抓取檢測模型進(jìn)行訓(xùn)練，得到更新后的抓取檢測模型；將所述點云數(shù)據(jù)，輸入所述更新后的抓取檢測模型進(jìn)行推理，以確定對待抓取物體的最終抓取姿態(tài)；

10、步驟六：根據(jù)所述仿生網(wǎng)絡(luò)參數(shù)配置所述現(xiàn)實環(huán)境的真實機械臂，對所述真實機械臂進(jìn)行實物抓取測試，判斷所述真實機械臂的抓取精度是否滿足真實預(yù)設(shè)閾值，若否，返回步驟步驟二，若是，執(zhí)行步驟五；

11、步驟七：基于所述仿生網(wǎng)絡(luò)參數(shù)輸出控制模型，利用所述控制模型控制所述真實機械臂執(zhí)行抓取任務(wù)，訓(xùn)練完成后，得到最優(yōu)的路徑規(guī)劃，通過最優(yōu)的路徑規(guī)劃，分析機械臂控制過程可能發(fā)生的故障點且對比歷史數(shù)據(jù)結(jié)果，得到最優(yōu)的路徑規(guī)劃數(shù)據(jù)，將最優(yōu)的路徑規(guī)劃數(shù)據(jù)發(fā)送給機械臂并控制機械臂的運行；通過以上步驟，控制機械臂準(zhǔn)確到達(dá)目標(biāo)點，并完成抓取動作。

12、本發(fā)明進(jìn)一步設(shè)置為，在深度強化學(xué)習(xí)算法開始訓(xùn)練之前和訓(xùn)練完成之后，都通過模糊p?id控制器對機械臂進(jìn)行參數(shù)優(yōu)化和誤差調(diào)整，使用模糊p?id算法依次進(jìn)行模糊化、模糊推理、解模糊處理求得輸出值；再將輸出值套入模糊p?id算法進(jìn)行調(diào)節(jié)。

13、本發(fā)明進(jìn)一步設(shè)置為，所述環(huán)境信息包括雙目相機參數(shù)及位姿信息、障礙物參數(shù)及位姿信息和目標(biāo)物體參數(shù)及位姿信息；所述機械臂關(guān)節(jié)位姿信息包括機械臂本體參數(shù)及位姿信息和機械臂關(guān)節(jié)節(jié)點位姿信息。

14、本發(fā)明進(jìn)一步設(shè)置為，所述數(shù)字孿生仿生空間還包括：數(shù)字仿生雙目相機、數(shù)字仿生障礙物及數(shù)字仿生目標(biāo)物體。

15、本發(fā)明進(jìn)一步設(shè)置為，所述基于所述物體模型，獲取數(shù)據(jù)集，包括：生成物體堆疊場景，將所述物體放置在虛擬桌面上形成抓取場景，并進(jìn)行場景級別的抓取姿態(tài)標(biāo)注，記錄所述物體模型在每個場景下的7自由度抓取姿態(tài)，并對每個抓取姿態(tài)進(jìn)行評分，生成所述數(shù)據(jù)集。

16、本發(fā)明進(jìn)一步設(shè)置為，所述步驟二中建立所述智能制造實訓(xùn)沙盤的智能終端設(shè)備和云平臺之間的通信，通過mqtt子節(jié)點、coap子節(jié)點和http子節(jié)點建立所述智能終端設(shè)備和數(shù)據(jù)處理中心之間的連接，并通過所述數(shù)據(jù)處理中心將數(shù)據(jù)保存到不同的數(shù)據(jù)庫之中，實現(xiàn)數(shù)據(jù)展示和應(yīng)用調(diào)用，所述數(shù)據(jù)庫包括rabb?itmq信息隊列數(shù)據(jù)庫、red?i?s數(shù)據(jù)庫、mysq?l數(shù)據(jù)庫、mongodb數(shù)據(jù)庫和l?oki時序日志數(shù)據(jù)庫。

17、本發(fā)明進(jìn)一步設(shè)置為，所述步驟二通過數(shù)字孿生系統(tǒng)對作業(yè)信息進(jìn)行同步，并實時監(jiān)控所述智能終端設(shè)備的狀態(tài)。

18、本發(fā)明進(jìn)一步設(shè)置為，在步驟四之后還包括，基于預(yù)設(shè)時間間隔，對所述真實機械臂進(jìn)行實物抓取測試，當(dāng)所述真實機械臂的抓取誤差不滿足預(yù)設(shè)誤差閾值時，返回步驟二。

19、本發(fā)明進(jìn)一步設(shè)置為，所述將所述點云數(shù)據(jù)，輸入所述更新后的抓取檢測模型進(jìn)行推理，以確定對待抓取物體的最終抓取姿態(tài)，包括：將所述點云數(shù)據(jù)，輸入所述更新后的抓取檢測模型，得到多個新的抓取姿態(tài)；將每個新的抓取姿態(tài)分別輸入所述評分網(wǎng)絡(luò)，得到每個新的抓取姿態(tài)對應(yīng)的評分；從所述多個新的抓取姿態(tài)中，獲取出評分值最高的抓取姿態(tài)作為所述待抓取物體的最終抓取姿態(tài)。

20、(三)有益效果

21、與現(xiàn)有技術(shù)相比，本發(fā)明提供了一種基于數(shù)字孿生的機械臂抓取控制方法，具備以下有益效果：

22、本發(fā)明提供了一種基于數(shù)字孿生的機械臂抓取控制方法，在整個控制過程中，數(shù)字孿生技術(shù)能夠通過機械臂與機械臂數(shù)字孿生體的虛實融合、虛實映射對設(shè)備位置分布、類型、運行環(huán)境、運行狀態(tài)進(jìn)行真實復(fù)現(xiàn)，不僅可以看到設(shè)備外部的變化，更重要的是可以看到設(shè)備內(nèi)部的每一個零部件的工作狀態(tài)，對設(shè)備運行異常實時告警，輔助管理者直觀掌握設(shè)備運行狀態(tài)，及時發(fā)現(xiàn)設(shè)備安全隱患，持續(xù)改進(jìn)設(shè)備的性能，降低控制運行的成本，提高設(shè)備運行的安全性、可靠性、穩(wěn)定性，提升設(shè)備運行的健康度，從而提升設(shè)備產(chǎn)品在市場上的競爭力，此外，通過構(gòu)建與現(xiàn)實環(huán)境一致的數(shù)字孿生仿生空間，基于強化學(xué)習(xí)算法對數(shù)字孿生仿生空間的數(shù)字仿生機械臂進(jìn)行物體抓取訓(xùn)練，不斷調(diào)整數(shù)字孿生仿生空間的網(wǎng)絡(luò)參數(shù)，獲得抓取精度滿足仿生預(yù)設(shè)閾值的數(shù)字仿生機械臂對應(yīng)的數(shù)字孿生仿生空間的仿生網(wǎng)絡(luò)參數(shù)，并將仿生網(wǎng)絡(luò)參數(shù)反饋至現(xiàn)實環(huán)境，配置現(xiàn)實環(huán)境的真實機械臂，根據(jù)真實機械臂的抓取效果，調(diào)整仿生網(wǎng)絡(luò)參數(shù)，獲取抓取精度滿足真實預(yù)設(shè)閾值的(高精度)真實機械臂的控制模型，并利用控制模型控制(高精度)真實機械臂執(zhí)行抓取任務(wù)，有效提高了機械臂在執(zhí)行抓取任務(wù)時的作業(yè)路徑劃效率及規(guī)劃精度，同時提高了機械臂的作業(yè)效率及作業(yè)精度。