本發(fā)明涉及一種基于深度學(xué)習(xí)的機(jī)械手抓取穩(wěn)定性識別方法，屬于機(jī)器人感知技術(shù)領(lǐng)域。

背景技術(shù)：

隨著技術(shù)的不斷發(fā)展和需求的不斷深化，目前機(jī)器人感知技術(shù)已經(jīng)成為研究熱點。機(jī)器人的首要感知機(jī)理是視覺，但是視覺信息容易受到遮擋、光線強(qiáng)弱等因素的影響。觸覺信息則不會被這些因素干擾，因此觸覺信息在特定場景下對視覺信息的是一種重要的補充。本發(fā)明利用機(jī)械手抓取物品時觸覺信息反映的抓取點摩擦力大小、物品彈性大小和手指與物品的接觸情況等，將觸覺信息用于識別抓取穩(wěn)定性。本發(fā)明利用動態(tài)環(huán)境下的抓取過程觸覺數(shù)據(jù)判斷抓取過程的穩(wěn)定性，訓(xùn)練得到的網(wǎng)絡(luò)能預(yù)測抓取動作在動態(tài)環(huán)境下是否穩(wěn)定，更具有實用性。

機(jī)器人獲取觸覺信息通常是依靠分布在機(jī)械手上的壓阻式、電容式、壓電式的傳感器，采用周期循環(huán)采樣的方式進(jìn)行采集。觸覺信息通常是時間序列的數(shù)據(jù)。傳統(tǒng)的觸覺信息識別算法，通常是基于動態(tài)時間規(guī)整算法計算觸覺信息之間的相似性，然后使用最鄰近算法或者支持向量機(jī)算法等方法進(jìn)行分類識別。然而動態(tài)時間規(guī)整算法在觸覺信息持續(xù)時間差距較大、有效數(shù)據(jù)部分沒有對齊和數(shù)據(jù)中包含噪聲時往往不能得到準(zhǔn)確的相似性評價結(jié)果。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是提出一種基于深度學(xué)習(xí)的機(jī)械手抓取穩(wěn)定性識別方法，把時間序列的觸覺數(shù)據(jù)轉(zhuǎn)換成圖片，通過適當(dāng)設(shè)計的深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，利用訓(xùn)練得到的網(wǎng)絡(luò)參數(shù)實現(xiàn)對新數(shù)據(jù)的識別。

本發(fā)明提出的基于深度學(xué)習(xí)的機(jī)械手抓取穩(wěn)定性識別方法，包括以下步驟：

(1)采集機(jī)械手在不同抓取穩(wěn)定性下的觸覺數(shù)據(jù)，包括以下步驟：

(1-1)設(shè)機(jī)械手共有a根手指，在a根手指上分別設(shè)置b個觸覺傳感器，每根手指上的b個觸覺傳感器組成一個觸點陣列；

(1-2)控制機(jī)械手以隨機(jī)的抓取點和抓取力度對物品進(jìn)行抓取，采集抓取過程的觸覺數(shù)據(jù)，設(shè)采集的觸覺數(shù)據(jù)為t，觸覺數(shù)據(jù)t是三維矩陣，三個維度分別是：機(jī)械手的手指根數(shù)a、一根手指的觸覺傳感器數(shù)量b和采集次數(shù)t，設(shè)t次采集中的最后一次采集的觸覺數(shù)據(jù)為u，u是維度為a×b的矩陣；

(1-3)晃動機(jī)械手，采集一次觸覺數(shù)據(jù)，設(shè)晃動機(jī)械手后采集的觸覺數(shù)據(jù)為v，v是維度為a×b的矩陣，計算晃動機(jī)械手前后的觸覺數(shù)據(jù)在單個觸點上變化量的最大值diff：diff＝max(abs(u-v))，其中abs()表示計算絕對值，max()表示計算最大值；

(1-4)計算觸覺數(shù)據(jù)u的最大值umax＝max(abs(u)),將變化量的最大值diff與觸覺數(shù)據(jù)u的最大值進(jìn)行比較，若diff≥0.25×umax，則判定觸覺數(shù)據(jù)u發(fā)生變化，本次抓取不穩(wěn)定，記為label＝0，若diff＜0.25×umax，則判定觸覺數(shù)據(jù)u未發(fā)生變化，本次抓取穩(wěn)定，記為label＝1；

(1-5)重復(fù)上述步驟(1-2)-(1-4)k次，得到k組抓取過程的觸覺數(shù)據(jù){ti}，將每組觸覺數(shù)據(jù)的采集次數(shù)記為{ti}，觸覺數(shù)據(jù)的穩(wěn)定性記為{labeli}，其中i＝1,2,...,k；

(2)將上述步驟(1)得到的觸覺數(shù)據(jù){ti}轉(zhuǎn)換成圖片，包括以下步驟：

(2-1)計算觸覺數(shù)據(jù){ti}的最大值tmax＝max({ti})和最小值tmin＝min({ti})，其中max()表示計算最大值，min()表示計算最小值；

(2-2)分別將觸覺數(shù)據(jù){ti}中的每一個元素x替換成其中floor()表示去除小數(shù)部分保留整數(shù)部分，得到觸覺數(shù)據(jù){ti}的所有圖片數(shù)據(jù){ri}，{ri}為k張寬度為b、長度為ti、通道數(shù)為a的圖片，其中i＝1,2,...,k，a表示機(jī)械手的手指根數(shù)，b表示一根手指的觸覺傳感器數(shù)量，ti為觸覺數(shù)據(jù)的采集次數(shù)；

(2-3)設(shè)觸覺數(shù)據(jù){ti}中采集次數(shù)最多為l，其中l(wèi)＝max({ti})，在圖片數(shù)據(jù){ri}中長度低于l的圖片的末尾補0，直到圖片長度為l，得到k張寬度為b、長度為l、通道數(shù)為a的圖片數(shù)據(jù){pi}；

(3)根據(jù)上述步驟(1)的觸覺數(shù)據(jù)穩(wěn)定性{labeli}和上述步驟(2)得到的圖片數(shù)據(jù){pi}，訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，包括以下步驟：

(3-1)計算圖片數(shù)據(jù){pi}的均值mean()表示計算每一個位置的均值，分別將上述步驟(2)中得到的圖片數(shù)據(jù){pi}減去圖片數(shù)據(jù)均值得到一組均值為0的圖片數(shù)據(jù){qi}，其中

(3-2)設(shè)計深度學(xué)習(xí)網(wǎng)絡(luò)的第一層卷積層的卷積核的大小為a×b×5，第一層的輸出為64個特征圖，第二層為激活層，第三層為全鏈接層，全鏈接層輸出的數(shù)量為2，分別對應(yīng)觸覺數(shù)據(jù)的穩(wěn)定和不穩(wěn)定，即機(jī)械手抓取穩(wěn)定性的判斷結(jié)果，第四層為分類損失層，其中，a表示機(jī)械手的手指根數(shù)、b表示一根手指的觸覺傳感器數(shù)量；

(3-3)利用上述步驟(1)的觸覺數(shù)據(jù){labeli}和上述步驟(3-1)得到的圖片數(shù)據(jù){qi}，訓(xùn)練步驟(3-2)設(shè)計的深度學(xué)習(xí)網(wǎng)絡(luò)，得到抓取穩(wěn)定性識別模型；

(4)利用上述步驟(3)設(shè)計的深度學(xué)習(xí)網(wǎng)絡(luò)，對機(jī)械手抓取穩(wěn)定性進(jìn)行識別，包括以下步驟：

(4-1)設(shè)一組未知穩(wěn)定性的觸覺數(shù)據(jù)為x，其中x是三維矩陣，三個維度分別是：機(jī)械手的手指根數(shù)a、一根手指的觸覺傳感器數(shù)量b和采集次數(shù)c，對觸覺數(shù)據(jù)x的采集次數(shù)c進(jìn)行判斷，若c≤l，則按照上述步驟(2)，將觸覺數(shù)據(jù)轉(zhuǎn)換為圖片數(shù)據(jù)，記為y，若c＞l，則從觸覺數(shù)據(jù)x中刪除起始部分的c-l次采集的觸覺數(shù)據(jù)，再按照上述步驟(2)，將剩余的觸覺數(shù)據(jù)轉(zhuǎn)換為圖片數(shù)據(jù)，記為y，對y中的每一個元素y進(jìn)行判斷，若y＜0，則令y＝0，若y＞255，則令y＝255；

(4-2)將上述步驟(4-1)得到的圖片數(shù)據(jù)y減去上述步驟(3-1)得到的圖片數(shù)據(jù)均值得到z，

(4-3)將步驟(4-2)得到的圖片數(shù)據(jù)z代入上述步驟(3-3)訓(xùn)練得到的深度學(xué)習(xí)網(wǎng)絡(luò)，設(shè)全鏈接層的兩個輸出值為[m,n]，其中m對應(yīng)label＝0的不穩(wěn)定抓取狀態(tài)，n對應(yīng)label＝1的穩(wěn)定抓取狀態(tài)，將兩個輸出值[m,n]進(jìn)行比較，若m≥n，則認(rèn)為圖片數(shù)據(jù)z為不穩(wěn)定抓取，若m＜n，則認(rèn)為圖片數(shù)據(jù)z為穩(wěn)定抓取，得到機(jī)械手抓取穩(wěn)定性的判斷結(jié)果。

本發(fā)明提出的基于深度學(xué)習(xí)的機(jī)械手觸覺信息識別方法，其優(yōu)點是：

1、本發(fā)明識別方法，在把時間序列的觸覺數(shù)據(jù)轉(zhuǎn)換成觸覺圖片數(shù)據(jù)的基礎(chǔ)上，基于深度學(xué)習(xí)網(wǎng)絡(luò)識別觸覺圖片數(shù)據(jù)，解決了觸覺數(shù)據(jù)持續(xù)時間不統(tǒng)一的問題。因為每一次機(jī)械手對物品進(jìn)行抓取的物品位置、方向不可能完全相同，所以抓取過程的觸覺數(shù)據(jù)必然存在時間長度不一致的問題。本方法基于時間長度不一致的原始數(shù)據(jù)進(jìn)行深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練，使得到的網(wǎng)絡(luò)具備數(shù)據(jù)持續(xù)時間上的魯棒性。

2、本發(fā)明方法解決了觸覺數(shù)據(jù)有效數(shù)據(jù)位置不對齊的問題。機(jī)械手首先開始記錄觸覺數(shù)據(jù)，然后再對物品進(jìn)行抓取，使得實際接觸物體的有效觸覺數(shù)據(jù)位置存在偏差。本方法基于有效數(shù)據(jù)位置不一致的原始數(shù)據(jù)進(jìn)行深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練，使得到的網(wǎng)絡(luò)具備有效數(shù)據(jù)位置的魯棒性。

3、本發(fā)明方法解決了觸覺數(shù)據(jù)存在噪聲的問題。由于硬件設(shè)備存在抖動等原因，觸覺數(shù)據(jù)存在一定程度的系統(tǒng)誤差，個別數(shù)據(jù)的標(biāo)簽也可能存在誤標(biāo)的情況。本方法基于深度學(xué)習(xí)網(wǎng)絡(luò)，對網(wǎng)絡(luò)參數(shù)的更新是基于整體的輸入數(shù)據(jù)，只有少數(shù)數(shù)據(jù)的標(biāo)簽存在誤差時網(wǎng)絡(luò)受到的影響很小。所以本方法對噪聲數(shù)據(jù)具有魯棒性。

附圖說明

圖1為本發(fā)明方法涉及的深度學(xué)習(xí)網(wǎng)絡(luò)模型。

具體實施方式

本發(fā)明提出的基于深度學(xué)習(xí)的機(jī)械手抓取穩(wěn)定性識別方法，包括以下步驟：

(1)采集機(jī)械手在不同抓取穩(wěn)定性下的觸覺數(shù)據(jù)，包括以下步驟：

(1-1)設(shè)機(jī)械手共有a根手指，本發(fā)明的一個實施例中，a＝3，在a根手指上分別設(shè)置b個觸覺傳感器，本發(fā)明的一個實施例中，b＝24，每根手指上的b個觸覺傳感器組成一個觸點陣列；

(1-2)控制機(jī)械手以隨機(jī)的抓取點和抓取力度對物品進(jìn)行抓取，采集抓取過程的觸覺數(shù)據(jù)，設(shè)采集的觸覺數(shù)據(jù)為t，觸覺數(shù)據(jù)t是三維矩陣，三個維度分別是：機(jī)械手的手指根數(shù)a、一根手指的觸覺傳感器數(shù)量b和采集次數(shù)t，設(shè)t次采集中的最后一次采集的觸覺數(shù)據(jù)為u，u是維度為a×b的矩陣；

(1-3)晃動機(jī)械手，采集一次觸覺數(shù)據(jù)，設(shè)晃動機(jī)械手后采集的觸覺數(shù)據(jù)為v，v是維度為a×b的矩陣，計算晃動機(jī)械手前后的觸覺數(shù)據(jù)在單個觸點上變化量的最大值diff：diff＝max(abs(u-v))，其中abs()表示計算絕對值，max()表示計算最大值；

(1-4)計算觸覺數(shù)據(jù)u的最大值umax＝max(abs(u)),將變化量的最大值diff與觸覺數(shù)據(jù)u的最大值進(jìn)行比較，若diff≥0.25×umax，則判定觸覺數(shù)據(jù)u發(fā)生變化，本次抓取不穩(wěn)定，記為label＝0，若diff＜0.25×umax，則判定觸覺數(shù)據(jù)u未發(fā)生變化，本次抓取穩(wěn)定，記為label＝1；

(1-5)重復(fù)上述步驟(1-2)-(1-4)k次，本發(fā)明的一個實施例中，k＝2000，得到k組抓取過程的觸覺數(shù)據(jù){ti}，將每組觸覺數(shù)據(jù)的采集次數(shù)記為{ti}，觸覺數(shù)據(jù)的穩(wěn)定性記為{labeli}，其中i＝1,2,...,k；

(2)將上述步驟(1)得到的觸覺數(shù)據(jù){ti}轉(zhuǎn)換成圖片，包括以下步驟：

(2-1)計算觸覺數(shù)據(jù){ti}的最大值tmax＝max({ti})和最小值tmin＝min({ti})，其中max()表示計算最大值，min()表示計算最小值；

(2-2)分別將觸覺數(shù)據(jù){ti}中的每一個元素x替換成其中floor()表示去除小數(shù)部分保留整數(shù)部分，得到觸覺數(shù)據(jù){ti}的所有圖片數(shù)據(jù){ri}，{ri}為k張寬度為b、長度為ti、通道數(shù)為a的圖片，其中i＝1,2,...,k，a表示機(jī)械手的手指根數(shù)，b表示一根手指的觸覺傳感器數(shù)量，ti為觸覺數(shù)據(jù)的采集次數(shù)；

(2-3)設(shè)觸覺數(shù)據(jù){ti}中采集次數(shù)最多為l，其中l(wèi)＝max({ti})，在圖片數(shù)據(jù){ri}中長度低于l的圖片的末尾補0，直到圖片長度為l，得到k張寬度為b、長度為l、通道數(shù)為a的圖片數(shù)據(jù){pi}，本發(fā)明的一個實施例中，l＝620；

(3)根據(jù)上述步驟(1)的觸覺數(shù)據(jù)穩(wěn)定性{labeli}和上述步驟(2)得到的圖片數(shù)據(jù){pi}，訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，包括以下步驟：

(3-1)計算圖片數(shù)據(jù){pi}的均值mean()表示計算每一個位置的均值，分別將上述步驟(2)中得到的圖片數(shù)據(jù){pi}減去圖片數(shù)據(jù)均值得到一組均值為0的圖片數(shù)據(jù){qi}，其中

(3-2)設(shè)計深度學(xué)習(xí)網(wǎng)絡(luò)的第一層卷積層的卷積核的大小為a×b×5，第一層的輸出為64個特征圖，第二層為激活層，作用是去掉特征圖中的負(fù)值，第三層為全鏈接層，全鏈接層輸出的數(shù)量為2，分別對應(yīng)觸覺數(shù)據(jù)的穩(wěn)定和不穩(wěn)定，即機(jī)械手抓取穩(wěn)定性的判斷結(jié)果，第四層為分類損失層，作用是使網(wǎng)絡(luò)每一次迭代后的參數(shù)不斷優(yōu)化提高準(zhǔn)確率，其中，a表示機(jī)械手的手指根數(shù)、b表示一根手指的觸覺傳感器數(shù)量，網(wǎng)絡(luò)模型如圖1所示；

(3-3)利用上述步驟(1)的觸覺數(shù)據(jù){labeli}和上述步驟(3-1)得到的圖片數(shù)據(jù){qi}，訓(xùn)練步驟(3-2)設(shè)計的深度學(xué)習(xí)網(wǎng)絡(luò)，得到抓取穩(wěn)定性識別模型；

(4)利用上述步驟(3)設(shè)計的深度學(xué)習(xí)網(wǎng)絡(luò)，對機(jī)械手抓取穩(wěn)定性進(jìn)行識別，包括以下步驟：

(4-1)設(shè)一組未知穩(wěn)定性的觸覺數(shù)據(jù)為x，其中x是三維矩陣，三個維度分別是：機(jī)械手的手指根數(shù)a、一根手指的觸覺傳感器數(shù)量b和采集次數(shù)c，對觸覺數(shù)據(jù)x的采集次數(shù)c進(jìn)行判斷，若c≤l，則按照上述步驟(2)，將觸覺數(shù)據(jù)轉(zhuǎn)換為圖片數(shù)據(jù)，記為y，若c＞l，則從觸覺數(shù)據(jù)x中刪除起始部分的c-l次采集的觸覺數(shù)據(jù)，再按照上述步驟(2)，將剩余的觸覺數(shù)據(jù)轉(zhuǎn)換為圖片數(shù)據(jù)，記為y，對y中的每一個元素y進(jìn)行判斷，若y＜0，則令y＝0，若y＞255，則令y＝255；

(4-2)將上述步驟(4-1)得到的圖片數(shù)據(jù)y減去上述步驟(3-1)得到的圖片數(shù)據(jù)均值得到z，其中

(4-3)將步驟(4-2)得到的圖片數(shù)據(jù)z代入上述步驟(3-3)訓(xùn)練得到的深度學(xué)習(xí)網(wǎng)絡(luò)，設(shè)全鏈接層的兩個輸出值為[m,n]，其中m對應(yīng)label＝0的不穩(wěn)定抓取狀態(tài)，n對應(yīng)label＝1的穩(wěn)定抓取狀態(tài)，將兩個輸出值[m,n]進(jìn)行比較，若m≥n，則認(rèn)為圖片數(shù)據(jù)z為不穩(wěn)定抓取，若m＜n，則認(rèn)為圖片數(shù)據(jù)z為穩(wěn)定抓取，得到機(jī)械手抓取穩(wěn)定性的判斷結(jié)果。