本發(fā)明涉及助理機(jī)器人技術(shù)領(lǐng)域,尤其是涉及一種基于雙目視覺(jué)的助理機(jī)器人及其控制方法。
背景技術(shù):
助理機(jī)器人越來(lái)越多的進(jìn)入到與人合作的各種場(chǎng)合。助理機(jī)器人的認(rèn)知能力決定了其環(huán)境友好程度。現(xiàn)有的具有較好環(huán)境識(shí)別能力的助理機(jī)器人,其均采用了高級(jí)的環(huán)境識(shí)別系統(tǒng),例如采用高速度處理能力的處理器或采用多個(gè)視覺(jué)傳感器等,導(dǎo)致助理機(jī)器人的成本較高。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明主要解決的技術(shù)問(wèn)題是提供一種基于雙目視覺(jué)的助理機(jī)器人及其控制方法,能夠在較低成本的情況下完成助理機(jī)器人的物體識(shí)別和抓取的操作。
為解決上述技術(shù)問(wèn)題,本發(fā)明采用的一個(gè)技術(shù)方案是:提供一種基于雙目視覺(jué)的助理機(jī)器人,該助理機(jī)器人包括:雙目視覺(jué)傳感器,用于獲取目標(biāo)物體的圖像信息;視覺(jué)處理器,用于對(duì)目標(biāo)物體的圖像信息進(jìn)行處理,以獲得目標(biāo)物體的位置信息;機(jī)器人控制器,用于根據(jù)目標(biāo)物體的位置信息規(guī)劃出運(yùn)動(dòng)的路徑,并控制助理機(jī)器人的末端執(zhí)行器根據(jù)路徑進(jìn)行運(yùn)動(dòng),以獲取目標(biāo)物體。
其中,雙目視覺(jué)傳感器具體為分別對(duì)含有目標(biāo)物體的場(chǎng)景成像,以獲取兩個(gè)場(chǎng)景圖像,然后根據(jù)兩個(gè)場(chǎng)景圖像分別提取目標(biāo)物體的兩個(gè)圖像特征,并分別在兩個(gè)場(chǎng)景圖像中進(jìn)行圖像特征的匹配和提純,以識(shí)別出兩個(gè)場(chǎng)景圖像中的目標(biāo)物體的圖像信息;
視覺(jué)處理器進(jìn)一步匹配兩個(gè)目標(biāo)物體的圖像信息上的特征點(diǎn),經(jīng)三角測(cè)量獲得目標(biāo)物體的位置信息。
其中,雙目視覺(jué)傳感器進(jìn)一步用于獲取末端執(zhí)行器的圖像信息;
視覺(jué)處理器進(jìn)一步根據(jù)末端執(zhí)行器的圖像信息獲得末端執(zhí)行器的位置信息;
機(jī)器人控制器進(jìn)一步根據(jù)末端執(zhí)行器的位置信息與目標(biāo)物體的位置信息去修改路徑。
其中,雙目視覺(jué)傳感器具體為獲取含有末端執(zhí)行器的兩幅場(chǎng)景圖像,然后經(jīng)過(guò)二值化、邊緣提取、輪廓外接矩形檢測(cè)、橢圓檢測(cè)、橢圓相似度計(jì)算、橢圓重心計(jì)算后,獲得兩幅場(chǎng)景圖像中的所述末端執(zhí)行器的視差,以獲得末端執(zhí)行器的圖像信息。
視覺(jué)處理器經(jīng)過(guò)三角測(cè)量獲得末端執(zhí)行器在雙目視覺(jué)傳感器的坐標(biāo)系下的位置坐標(biāo),經(jīng)過(guò)坐標(biāo)變換,計(jì)算出末端執(zhí)行器在機(jī)器人的坐標(biāo)系下的位置坐標(biāo)。
其中,末端執(zhí)行器為機(jī)械手。
為解決上述技術(shù)問(wèn)題,本發(fā)明采用的另一個(gè)技術(shù)方案是:提供一種基于雙目視覺(jué)的助理機(jī)器人控制方法,該控制方法包括以下步驟:
獲取目標(biāo)物體的圖像信息;
對(duì)目標(biāo)物體的圖像信息進(jìn)行處理,以獲得目標(biāo)物體的位置信息;
根據(jù)目標(biāo)物體的位置信息規(guī)劃出運(yùn)動(dòng)的路徑,并控制助理機(jī)器人的末端執(zhí)行器根據(jù)路徑進(jìn)行運(yùn)動(dòng),以獲取目標(biāo)物體。
其中,獲取目標(biāo)物體的圖像信息的步驟包括:
分別對(duì)含有目標(biāo)物體的場(chǎng)景成像,以獲取兩個(gè)場(chǎng)景圖像,然后根據(jù)兩個(gè)場(chǎng)景圖像分別提取目標(biāo)物體的兩個(gè)圖像特征,并分別在兩個(gè)場(chǎng)景圖像中進(jìn)行圖像特征的匹配和提純,以識(shí)別出兩個(gè)場(chǎng)景圖像中的目標(biāo)物體的圖像信息;
對(duì)目標(biāo)物體的圖像信息進(jìn)行處理,以獲得目標(biāo)物體的位置信息的步驟包括:
匹配兩個(gè)目標(biāo)物體的圖像信息上的特征點(diǎn),經(jīng)三角測(cè)量獲得目標(biāo)物體的位置信息。
其中,方法包括:
獲取末端執(zhí)行器的圖像信息;
根據(jù)末端執(zhí)行器的圖像信息獲得末端執(zhí)行器的位置信息;
根據(jù)末端執(zhí)行器的位置信息與目標(biāo)物體的位置信息去修改路徑。
其中,獲取末端執(zhí)行器的圖像信息的步驟包括:
獲取含有末端執(zhí)行器的兩幅場(chǎng)景圖像,然后經(jīng)過(guò)二值化、邊緣提取、輪廓外接矩形檢測(cè)、橢圓檢測(cè)、橢圓相似度計(jì)算、橢圓重心計(jì)算后,獲得兩幅場(chǎng)景圖像中的末端執(zhí)行器的視差,以獲得末端執(zhí)行器的圖像信息;
根據(jù)末端執(zhí)行器的圖像信息獲得末端執(zhí)行器的位置信息的步驟包括:
經(jīng)過(guò)三角測(cè)量和坐標(biāo)變換計(jì)算出末端執(zhí)行器在機(jī)器人的坐標(biāo)系下的位置坐標(biāo)。
其中,末端執(zhí)行器為機(jī)械手。
本發(fā)明的有益效果是:區(qū)別于現(xiàn)有技術(shù)的情況,本發(fā)明的基于雙目視覺(jué)的助理機(jī)器人包括雙目視覺(jué)傳感器、視覺(jué)處理器以及機(jī)器人控制器。其中,雙目視覺(jué)傳感器用于獲取目標(biāo)物體的圖像信息,視覺(jué)處理器用于對(duì)目標(biāo)物體的圖像信息進(jìn)行處理,以獲得目標(biāo)物體的位置信息,機(jī)器人控制器用于根據(jù)目標(biāo)物體的位置信息規(guī)劃出運(yùn)動(dòng)的路徑,并控制助理機(jī)器人的末端執(zhí)行器根據(jù)路徑進(jìn)行運(yùn)動(dòng),以獲取目標(biāo)物體。因此,本發(fā)明只需一個(gè)雙目視覺(jué)傳感器作為助理機(jī)器人的視覺(jué)傳感器,即可協(xié)助助理機(jī)器人完成目標(biāo)物體識(shí)別和抓取操作,成本較低。
附圖說(shuō)明
圖1是本發(fā)明實(shí)施例提供的一種基于雙目視覺(jué)的助理機(jī)器人的結(jié)構(gòu)示意圖;
圖2是本發(fā)明實(shí)施例提供的一種基于雙目視覺(jué)的助理機(jī)器人控制方法的流程圖;
圖3是本發(fā)明實(shí)施例提供的另一種基于雙目視覺(jué)的助理機(jī)器人控制方法的流程圖。
具體實(shí)施方式
請(qǐng)參閱圖1,圖1是本發(fā)明實(shí)施例提供的一種基于雙目視覺(jué)的助理機(jī)器人。如圖1所示,本發(fā)明的基于雙目視覺(jué)的助理機(jī)器人10包括雙目視覺(jué)傳感器11、視覺(jué)處理器12以及機(jī)器人控制器13。其中,雙目視覺(jué)傳感器11與視覺(jué)處理器12的通信接口為USB2.0,視覺(jué)處理器12與機(jī)器人控制器13的通信接口為RJ45接口。
其中,雙目視覺(jué)傳感器11用于獲取目標(biāo)物體的圖像信息。具體為分別對(duì)含有目標(biāo)物體的場(chǎng)景成像,以獲取兩個(gè)場(chǎng)景圖像,然后根據(jù)兩個(gè)場(chǎng)景圖像分別提取目標(biāo)物體的兩個(gè)圖像特征,并分別在兩個(gè)場(chǎng)景圖像中進(jìn)行圖像特征的匹配和提純,以識(shí)別出兩個(gè)場(chǎng)景圖像中的目標(biāo)物體的圖像信息。其中,特征匹配具體為通過(guò)KNN(K Nearest Neighbors,K-近鄰分類(lèi)算法)距離約束、對(duì)稱(chēng)性約束以及投影單應(yīng)約束進(jìn)行。
視覺(jué)處理器12用于對(duì)目標(biāo)物體的圖像信息進(jìn)行處理,以獲得目標(biāo)物體的位置信息。具體為視覺(jué)處理器12匹配兩個(gè)目標(biāo)物體的圖像信息上的特征點(diǎn),經(jīng)三角測(cè)量獲得目標(biāo)物體的位置信息。具體為獲得目標(biāo)物體在助理機(jī)器人10的坐標(biāo)系下的位置和姿態(tài),以作為助理機(jī)器人的末端執(zhí)行器14的參考輸入。
機(jī)器人控制器13用于根據(jù)目標(biāo)物體的位置信息規(guī)劃出運(yùn)動(dòng)的路徑,并控制助理機(jī)器人的末端執(zhí)行器14根據(jù)路徑進(jìn)行運(yùn)動(dòng),以獲取目標(biāo)物體。
因此,本發(fā)明只需一個(gè)雙目視覺(jué)傳感器11作為助理機(jī)器人10的視覺(jué)傳感器,即可協(xié)助助理機(jī)器人10完成目標(biāo)物體識(shí)別和抓取操作,成本較低。
進(jìn)一步的,雙目視覺(jué)傳感器11進(jìn)一步獲取末端執(zhí)行器14的圖像信息。具體為雙目視覺(jué)傳感器11獲取含有末端執(zhí)行器14的兩幅場(chǎng)景圖像,然后經(jīng)過(guò)二值化、邊緣提取、輪廓外接矩形檢測(cè)、橢圓檢測(cè)、橢圓相似度計(jì)算,橢圓重心計(jì)算后,獲得兩幅場(chǎng)景圖像中的末端執(zhí)行器14的視差,以獲得末端執(zhí)行器14的圖像信息。
視覺(jué)處理器12進(jìn)一步根據(jù)末端執(zhí)行器14的圖像信息獲得末端執(zhí)行器的位置信息。具體的,經(jīng)過(guò)三角測(cè)量獲得末端執(zhí)行器14在雙目視覺(jué) 傳感器11的坐標(biāo)系下的位置坐標(biāo),進(jìn)一步經(jīng)過(guò)坐標(biāo)變換,以計(jì)算出末端執(zhí)行器14在機(jī)器人的坐標(biāo)系下的位置坐標(biāo),即末端執(zhí)行器14在機(jī)器人的坐標(biāo)系下的位置和姿態(tài)。
機(jī)器人控制器13進(jìn)一步根據(jù)末端執(zhí)行器14的位置信息與目標(biāo)物體的位置信息去修改路徑。
本實(shí)施例中,末端執(zhí)行器14為機(jī)械手。在其他實(shí)施例中,末端執(zhí)行器還可以為其他抓取元件。本發(fā)明不對(duì)末端執(zhí)行器的具體形態(tài)作限制。
本發(fā)明實(shí)施例還提供了一種基于雙目視覺(jué)的助理機(jī)器人控制方法,該控制方法應(yīng)用于前文所述的控制系統(tǒng)中,具體請(qǐng)參閱圖2,圖2是本發(fā)明實(shí)施例提供的一種基于雙目視覺(jué)的助理機(jī)器人的控制方法的流程圖。
如圖2所示,本實(shí)施例的控制方法包括以下步驟:
步驟S1:獲取目標(biāo)物體的圖像信息。
本步驟具體為分別對(duì)含有目標(biāo)物體的場(chǎng)景成像,以獲取兩個(gè)場(chǎng)景圖像,然后根據(jù)兩個(gè)場(chǎng)景圖像分別提取目標(biāo)物體的兩個(gè)圖像特征,并分別在兩個(gè)場(chǎng)景圖像中進(jìn)行圖像特征的匹配和提純,以識(shí)別出兩個(gè)場(chǎng)景圖像中的目標(biāo)物體的圖像信息。
步驟S2:對(duì)目標(biāo)物體的圖像信息進(jìn)行處理,以獲得目標(biāo)物體的位置信息。
本步驟具體為匹配兩個(gè)目標(biāo)物體的圖像信息上的特征點(diǎn),經(jīng)三角測(cè)量獲得目標(biāo)物體的位置信息。其中,具體為獲得目標(biāo)物體在助理機(jī)器人的坐標(biāo)系下的位置和姿態(tài),以作為助理機(jī)器人的末端執(zhí)行器的參考輸入。
步驟S3:根據(jù)目標(biāo)物體的位置信息規(guī)劃出運(yùn)動(dòng)的路徑,并控制助理機(jī)器人的末端執(zhí)行器根據(jù)路徑進(jìn)行運(yùn)動(dòng),以獲取目標(biāo)物體。
可選的,請(qǐng)參閱圖3,本實(shí)施例的方法還包括:
步驟S21:獲取末端執(zhí)行器的圖像信息。
本步驟中,具體為獲取含有末端執(zhí)行器的兩幅場(chǎng)景圖像,然后經(jīng)過(guò) 二值化、邊緣提取、輪廓外接矩形檢測(cè)、橢圓檢測(cè)、橢圓相似度計(jì)算,橢圓重心計(jì)算后,獲得所述兩幅場(chǎng)景圖像中的所述末端執(zhí)行器的視差,以獲得末端執(zhí)行器的圖像信息。
步驟S22:根據(jù)末端執(zhí)行器的圖像信息獲得末端執(zhí)行器的位置信息。
本步驟具體為經(jīng)過(guò)三角測(cè)量和坐標(biāo)變換計(jì)算出末端執(zhí)行器在機(jī)器人的坐標(biāo)系下的位置坐標(biāo)。更具體的,經(jīng)過(guò)三角測(cè)量獲得末端執(zhí)行器在雙目視覺(jué)傳感器的坐標(biāo)系下的位置坐標(biāo),進(jìn)一步經(jīng)過(guò)坐標(biāo)變換,以計(jì)算出末端執(zhí)行器在機(jī)器人的坐標(biāo)系下的位置坐標(biāo),即末端執(zhí)行器在機(jī)器人的坐標(biāo)系下的位置和姿態(tài)。
步驟S23:根據(jù)末端執(zhí)行器的位置信息與目標(biāo)物體的位置信息去修改路徑。
其中,前文所述末端執(zhí)行器為助理機(jī)器人的機(jī)械手。在其他實(shí)施例中,也可以為其他的抓取元件,在此不作限制。
因此,本發(fā)明只需一個(gè)雙目視覺(jué)傳感器作為助理機(jī)器人的視覺(jué)傳感器,即可協(xié)助助理機(jī)器人完成目標(biāo)物體識(shí)別和抓取操作,成本較低。
以上所述僅為本發(fā)明的實(shí)施例,并非因此限制本發(fā)明的專(zhuān)利范圍,凡是利用本發(fā)明說(shuō)明書(shū)及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換,或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域,均同理包括在本發(fā)明的專(zhuān)利保護(hù)范圍內(nèi)。