本發(fā)明涉及通過深度學(xué)習(xí)來從包括多個非定形的物體的篩選對象物中識別單獨(dú)的物體的非定形物的圖像處理方法。

背景技術(shù)：

1、近年來，在社會上各種各樣的行業(yè)中，通過機(jī)器人從由多種部件組構(gòu)成的篩選對象物中拾取特定的部件來進(jìn)行篩選的拾取裝置被廣泛地使用。例如，在家電再利用的領(lǐng)域中，通過從變得無用而解體或者按每個部件被粗粉碎后的解體品或粉碎品中識別并拾取特定的部件來進(jìn)行篩選回收，從而進(jìn)行再利用。此外，關(guān)于篩選對象物，對部件件數(shù)不同的產(chǎn)品隨機(jī)地進(jìn)行解體，并投入到輸送機(jī)。因此，難以將解體品排列整齊地進(jìn)行搬運(yùn)，需要確定被隨機(jī)地載置的篩選對象物的把持位置，并判斷是否能夠拾取。

2、在專利文獻(xiàn)1中，提出了通過對由部件的單純形狀構(gòu)成的主模型和篩選對象物進(jìn)行對照，來識別被隨機(jī)地載置的部件的把持位置的方法。

3、在圖12中，示出專利文獻(xiàn)1所記載的機(jī)器人501的外觀結(jié)構(gòu)。在圖12中，501是機(jī)器人，502是作業(yè)臺，503是機(jī)器人主體，504是機(jī)器人控制器，505是手部，506是托盤，507是部件，508是部件供給部，509是把持位置檢測裝置，510是攝像機(jī)，511是圖像識別裝置。

4、接著，對于基于上述結(jié)構(gòu)的處理步驟，參照圖13以及圖14來說明。

5、圖13的流程圖示出了把持位置檢測裝置509和圖像識別裝置511所執(zhí)行的處理步驟。

6、在圖14中，示出用于說明一致度與部件彼此的重疊狀態(tài)的關(guān)系的示意圖。在圖14中，p1～p3是能夠把持的候選部件的圖像。

7、在步驟s1中，由攝像機(jī)510拍攝部件供給部508，其二維圖像被輸入到圖像識別裝置511。

8、接著，在步驟s2中，執(zhí)行將整體的圖像數(shù)據(jù)與第1主模型進(jìn)行對照來求出第1主模型下的一致度，從而作為能夠把持的候選部件而提取出的處理。

9、接著，在步驟s3中，判斷是否提取出了能夠把持的候選部件，在提取出了的情況下，在步驟s4中，針對該能夠把持的候選部件，進(jìn)行與第2主模型的對照，求出第2主模型下的一致度。在此，關(guān)于在步驟s2的第1對照階段中提取出的能夠把持的候選部件，包括一部分與其他部件507重疊的部件。也就是說，在能夠把持的候選部件中，包括圖14中p1所示那樣的即使有重疊但也在把持部位以外的部分重疊的部件、p2所示那樣的有在把持部位與其他部件507接觸的程度的略微的重疊的部件、p3所示那樣的在把持部位與其他部件507重疊的狀態(tài)的部件。在該情況下，在上述步驟s4的第2對照階段即把持部位的對照中，在p3的狀態(tài)下，第2主模型下的一致度變小。在p2的狀態(tài)下，雖然第2主模型下的一致度比較大，但是成為第1主模型下的一致度以下。在p1的狀態(tài)下，第2主模型下的一致度比較大并且大于第1主模型下的一致度，因此，關(guān)于圖14中標(biāo)注斜線而示出的區(qū)域，由于第2主模型下的一致度大于第1主模型下的一致度，因而能夠判斷為在把持部位不存在與其他部件507的重疊，能夠把持。

10、在先技術(shù)文獻(xiàn)

11、專利文獻(xiàn)

12、專利文獻(xiàn)1：日本特開2002-200588號公報

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的1個方式涉及的非定形物的圖像處理方法包括：

2、通過圖像處理部來獲取從對多個非定形的篩選對象物進(jìn)行搬運(yùn)的搬運(yùn)部的上方拍攝到的多個學(xué)習(xí)用圖像數(shù)據(jù)；

3、將從獲取到的所述多個學(xué)習(xí)用圖像數(shù)據(jù)中以比所述學(xué)習(xí)用圖像數(shù)據(jù)的區(qū)域小的區(qū)域僅切取所述篩選對象物而得到的圖像作為物體的學(xué)習(xí)用圖像數(shù)據(jù)，將從獲取到的所述多個學(xué)習(xí)用圖像數(shù)據(jù)中以比所述學(xué)習(xí)用圖像數(shù)據(jù)的區(qū)域小的區(qū)域僅切取背景而得到的圖像作為所述背景的學(xué)習(xí)用圖像數(shù)據(jù)，將從獲取到的所述多個學(xué)習(xí)用圖像數(shù)據(jù)中以比所述學(xué)習(xí)用圖像數(shù)據(jù)的區(qū)域小的區(qū)域切取所述多個所述篩選對象物相互相接的邊界部而得到的圖像作為所述邊界部的學(xué)習(xí)用圖像數(shù)據(jù)，基于通過深度學(xué)習(xí)來學(xué)習(xí)所述物體的學(xué)習(xí)用圖像數(shù)據(jù)、所述背景的學(xué)習(xí)用圖像數(shù)據(jù)和所述邊界部的學(xué)習(xí)用圖像數(shù)據(jù)而生成的學(xué)習(xí)完畢模型，通過所述圖像處理部，針對從對所述多個篩選對象物進(jìn)行搬運(yùn)的所述搬運(yùn)部的上方拍攝到的新的圖像數(shù)據(jù)，按所述新的圖像數(shù)據(jù)的每個像素分類為物體、背景和邊界部；

4、通過所述圖像處理部，從分類后的所述圖像數(shù)據(jù)中導(dǎo)出所述篩選對象物的位置坐標(biāo)、角度、把持位置或種類。

技術(shù)特征：

1.一種非定形物的圖像處理方法，包括：

2.根據(jù)權(quán)利要求1所述的非定形物的圖像處理方法，其中，

3.根據(jù)權(quán)利要求1所述的非定形物的圖像處理方法，其中，

4.根據(jù)權(quán)利要求3所述的非定形物的圖像處理方法，其中，

5.根據(jù)權(quán)利要求4所述的非定形物的圖像處理方法，其中，

技術(shù)總結(jié)
通過圖像處理部（401）來從包括多個非定形的物體（1a、1b）的篩選對象物中單獨(dú)地提取物體，由此能夠?qū)Ω鱾€物體個別地進(jìn)行圖像處理，并導(dǎo)出把持位置或種類等。

技術(shù)研發(fā)人員：箕浦健人,宮地直也
受保護(hù)的技術(shù)使用者：松下知識產(chǎn)權(quán)經(jīng)營株式會社
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19