專利名稱：圖像識別裝置和圖像識別裝置的示教裝置的制作方法
技術(shù)領(lǐng)域：
本實用新型涉及一種根據(jù)圖像來識別對象物的圖像識別裝置以及該圖像識別裝置的示教裝置。
背景技術(shù)：
專利文獻1特開平8-21803號公報專利文獻2專利第3140177號公報專利文獻3特開2001-168160號公報以往已經(jīng)公知以下技術(shù)對利用照相機拍攝的圖像實施圖像處理，通過抽出特征量來識別對象物。這種圖像識別技術(shù)被應用于以工業(yè)產(chǎn)品的檢查裝置或機器人的視覺裝置為代表的各種圖像識別裝置中。
為了通過圖像識別來確定對象物，需要將該對象物的特征預先教給計算機。將該作業(yè)稱為示教。以檢查裝置為例進行說明，首先分別準備合格品和不合格品的樣品，從對這些樣品進行拍攝所得到的圖像(示教圖像(教師畫像))中抽出合格品的相關(guān)特征量和不合格品的缺陷部分(傷痕或缺口等)的相關(guān)特征量，根據(jù)這些特征量，決定用于進行檢查對象物是否合格的判定的判定基準值(示教數(shù)據(jù))。
作為有關(guān)該領(lǐng)域的現(xiàn)有技術(shù)，已經(jīng)公知有專利文獻1～3等公開的技術(shù)。專利文獻1提出了一種使神經(jīng)處理單元事先學習各種缺陷信息，對通過缺陷檢查檢測到的缺陷的類型進行判定的裝置。專利文獻2提出了一種可以修改屬于合格品和不合格品中間的對象物的檢查基準值的裝置。專利文獻3提出了一種根據(jù)缺陷檢測參數(shù)和缺陷的特征量數(shù)據(jù)判別對象物的缺陷類型的裝置。
一般來說，需要識別的對象物總是具有因個體差異造成的偏差，而且由于照明或環(huán)境光等的攝像環(huán)境的變化致使圖像產(chǎn)生偏差的情況也是經(jīng)常發(fā)生的。并且，關(guān)于不合格品，缺陷類型是無數(shù)的，產(chǎn)生缺陷的位置及其形狀大小等各式各樣。因此，在進行示教時，需要準備盡可能多(例如幾十～幾百個)的合格品和不合格品的示教圖像。
圖8是表示以往的圖像示教的概念圖。圖中用符號○繪制的點表示合格品的特征量，用符號×繪制的點表示不合格品的特征量。這樣，通過收集大量的合格品和不合格品的特征量，把握合格品的偏差的趨勢和不合格品的趨勢之間的差異，在兩者之間設定判定基準值(圖中的實線)。
但是，由于不可能包羅萬象地準備示教圖像，所以僅通過圖像示教很難把握合格品的偏差范圍和不合格品的范圍的正確邊界。因此，如圖所示，幾乎所有情況下基準值(實線)與正確邊界(虛線)都是不一致的。在該情況下，會導致發(fā)生下述的檢查失誤等本來應該判定為合格品的對象物(圖中的符號△)被判定為不合格品，本來應該判定為不合格品的對象物(圖中的符號▲)被判定為合格品。
因此，以往為了正確(即按照使用者的意愿)判定合格品和不合格品，必須反復進行幾次示教，或通過手工作業(yè)調(diào)整示教數(shù)據(jù)，或追加示教數(shù)據(jù)。但是，這種作業(yè)需要由具有很高技能和訣竅的熟練作業(yè)者花費大量的勞力和時間來進行的，所以期望得到改善。
實用新型內(nèi)容本實用新型就是鑒于上述情況而提出的，其目的是提供一種可以根據(jù)少量的示教圖像簡單地作成正確的示教數(shù)據(jù)的技術(shù)。
并且，本實用新型的另一目的是提供可以提高識別處理的成功率和精度的技術(shù)。
為了達到上述目的，本實用新型的示教裝置進行以下所述的示教處理。
在本實用新型中，獲取作為對象物而應該識別的物品中具有標準形態(tài)的標準對象物的圖像，通過圖像處理從該標準對象物的示教圖像中抽出特征量。另一方面，由使用者輸入對象物的偏差范圍及其他有關(guān)對象物的已知知識，將該知識登錄在知識庫中?？梢韵冗M行這些處理的任一處理，也可以并行進行。
通過將從示教圖像中抽出的標準對象物的形態(tài)的相關(guān)信息和作為知識而獲得的有關(guān)對象物的偏差的信息進行組合，可以把握以標準對象物為中心的對象物的偏差范圍、即作為對象物而應該識別的范圍。
此處，作為對象物的偏差范圍的知識，優(yōu)選輸入因?qū)ο笪锏膫€體差異造成的偏差范圍和因攝像時的環(huán)境差異造成的偏差范圍。由此，可以獲得有關(guān)對象物固有的偏差的信息和有關(guān)因照明或環(huán)境光等的影響而產(chǎn)生的偏差的信息。
在工業(yè)產(chǎn)品的情況下，例如，作為因?qū)ο笪锏膫€體差異造成的偏差范圍的知識，可以輸入設計上的公差。設計上的公差可以根據(jù)CAD數(shù)據(jù)等的設計信息容易地得知，因為該公差原本就是表示對象物的可允許范圍的信息。
并且，作為知識不限于對象物的偏差范圍，也優(yōu)選輸入標準對象物的相關(guān)屬性。例如，通過根據(jù)設計信息給出正確的尺寸或形狀等的屬性，可以更準確地定義作為對象物應該具備的形態(tài)的標準對象物。
在本實用新型中，根據(jù)從標準對象物的示教圖像中抽出的特征量和已登錄在知識庫中的知識，生成記述了用于得到對象物的各種屬性及其意義的背景(context)數(shù)據(jù)，將該背景數(shù)據(jù)登錄在知識庫中。
從示教圖像中抽出的特征量是僅表示作為具體物的標準對象物的特定信息，而根據(jù)該特征量和知識庫的知識所生成的背景數(shù)據(jù)是表現(xiàn)應該識別的對象物整體(即、作為對象物而應該識別的范圍)的一般信息的集合體。并且，由于同時管理各種屬性和其意義，所以信息的通用性/挪用性得到提高，可以容易地將背景數(shù)據(jù)用于各種用途和用于解決問題。
此處，背景數(shù)據(jù)優(yōu)選使用結(jié)構(gòu)化語言來描述各種屬性。這樣，不限于可以定量定義的數(shù)值或數(shù)值范圍，也可以系統(tǒng)地以計算機可處理的形式管理字符串、函數(shù)、構(gòu)成要素的相關(guān)關(guān)系等的各種屬性。
作為背景數(shù)據(jù)的代表性用途，其可以用于生成示教數(shù)據(jù)。在本實用新型中，從已登錄在知識庫中的背景數(shù)據(jù)中抽出與在識別處理中使用的特征量類型對應的屬性，生成該識別處理用的示教數(shù)據(jù)。由此，可以僅根據(jù)標準對象物的示教圖像簡單地作成正確的示教數(shù)據(jù)。
這樣生成的示教數(shù)據(jù)被存儲在示教數(shù)據(jù)存儲單元中，供圖像識別裝置進行識別處理時使用。
本實用新型的圖像識別裝置獲取工件的圖像，通過圖像處理從該工件的圖像中抽出特征量，根據(jù)從示教數(shù)據(jù)存儲單元讀出的示教數(shù)據(jù)和所抽出的特征量進行識別處理，判定工件是否是對象物，由此進行工件的識別。使用在上述示教步驟中作成的正確的示教數(shù)據(jù)，在圖像識別步驟中可以進行高精度的識別處理。另外，所謂的工件是指在圖像識別步驟中供識別處理的物品。
并且，在圖像識別步驟中也可以利用上述背景數(shù)據(jù)。
例如，在圖像識別步驟中識別失敗的情況下，根據(jù)所抽出的工件的特征量，生成定義該工件的各種屬性的工件背景數(shù)據(jù)，根據(jù)所生成的工件背景數(shù)據(jù)和已登錄在知識庫中的對象物的背景數(shù)據(jù)的屬性差異，對工件圖像實施圖像處理，可以使用實施了圖像處理的工件圖像進行識別處理。
由于在背景數(shù)據(jù)中定義了對象物的各種屬性的標準狀態(tài)，所以通過調(diào)查與該標準狀態(tài)的差異，可以發(fā)現(xiàn)工件圖像的問題點、即識別處理失敗的原因。因此，如果實施用于消除該問題點的圖像處理，用該圖像處理后的圖像再次進行識別處理，則可以提高識別處理的成功率和精度。
并且，在圖像識別步驟中未得到正確的判定結(jié)果的情況下，根據(jù)所抽出的工件的特征量，生成定義該工件的各種屬性的工件背景數(shù)據(jù)，根據(jù)所生成的工件背景數(shù)據(jù)和已登錄在知識庫中的對象物的背景數(shù)據(jù)的屬性差異，選出能夠正確進行工件判定的屬性，從在識別處理中可以使用的多個識別邏輯中，查找可以使用與所選出的屬性對應的特征量進行識別處理的識別邏輯，可以生成查找到的識別邏輯用的示教數(shù)據(jù)。
這樣，自動生成最佳識別邏輯的新的示教數(shù)據(jù)，所以不需要通過手工作業(yè)追加示教數(shù)據(jù)，可以降低示教所需時間和勞力，并提高識別處理的成功率和精度。
此處，在未查找到可以使用與所選出的屬性對應的特征量進行識別處理的識別邏輯的情況下，將該信息通知使用者即可。在該情況下，優(yōu)選根據(jù)所選出的屬性通知應該追加的識別邏輯的規(guī)范(仕様)。這樣，使用者可以發(fā)現(xiàn)應該追加的新的識別邏輯。
另外，本實用新型可以提供具有進行上述處理的至少一部分的單元的圖像識別裝置或圖像識別裝置的示教裝置。


圖1是表示本實用新型的第1實施方式涉及的圖像識別裝置的功能結(jié)構(gòu)的方框圖。
圖2是表示本實用新型的實施方式中的示教的概念圖。
圖3是表示示教處理流程的流程圖。
圖4是說明示教處理中的數(shù)據(jù)流程的圖。
圖5是表示本實用新型的第2實施方式涉及的圖像識別裝置的功能結(jié)構(gòu)的方框圖。
圖6是表示識別處理流程的流程圖。
圖7是表示示教數(shù)據(jù)更新處理流程的流程圖。
圖8是表示以往的圖像示教的概念圖。
符號說明1圖像識別部；2示教部；3桌子；4檢查物；10攝像部；11圖像存儲部；12圖像處理部；13識別處理部；14示教數(shù)據(jù)存儲部；15識別圖像作成部；20背景化部；21知識庫；22知識庫作成部；23示教數(shù)據(jù)生成部。
具體實施方式
以下，參照附圖，根據(jù)示例詳細說明本實用新型的優(yōu)選實施方式。此處，示出把本實用新型應用于進行工業(yè)產(chǎn)品的產(chǎn)品檢查的檢查裝置的示例。
第1實施方式圖1是表示本實用新型的第1實施方式涉及的圖像識別裝置的功能結(jié)構(gòu)的方框圖。如該圖所示，圖像識別裝置大概由進行圖像識別處理的圖像識別部1和進行示教處理的示教部2構(gòu)成。
圖像識別裝置的基本硬件可以由通用的計算機系統(tǒng)構(gòu)成，該計算機系統(tǒng)具有CPU(中央運算處理裝置)、存儲器(主存儲裝置)、硬盤(輔助存儲裝置)、顯示器(顯示部)、鍵盤(輸入部)、MO裝置(外部存儲裝置)、照相機(攝像部)等。圖像識別部1和示教部2的各種功能是通過將存儲在硬盤中的程序讀入存儲器，并由CPU執(zhí)行，在軟件和硬件的協(xié)同動作下而實現(xiàn)的。
圖像識別部1由攝像部10、圖像存儲部11、圖像處理部12、識別處理部13和示教數(shù)據(jù)存儲部14構(gòu)成。
攝像部10是獲取圖像的攝像單元。攝像部10可以使用CCD照相機等。攝像部10拍攝放置在桌子3上的檢查物4，將其圖像取入圖像識別裝置。通過攝像部10獲取的圖像被臨時存儲在由幀存儲器等構(gòu)成的圖像存儲部11中。另外，圖像可以是彩色圖像或深淺圖像(黑白圖像)，也可以是紅外線圖像等特殊圖像。圖像的種類可以根據(jù)圖像識別裝置的用途等進行適當選擇。
圖像處理部12是通過圖像處理從圖像中抽出特征量的圖像處理單元。圖像處理部12對從圖像存儲部11讀入的圖像實施圖像處理，例如抽出檢查物4的表面的透明度、紋理、顏色、明度、長度、面積等各種特征量。在此抽出的特征量被提供給識別處理部13。
識別處理部13是根據(jù)示教數(shù)據(jù)和由圖像處理部12抽出的特征量進行識別處理，并判定圖像中的檢查物4是否是應該識別的對象物的識別處理單元。識別處理部13具有數(shù)量達幾十～幾百的多個識別邏輯，根據(jù)應該識別的對象物，區(qū)分使用一個或多個識別邏輯。應該識別的對象物例如有時是合格品，有時相反是包括含有缺陷(傷痕、缺口、裝配不合格、錫焊不合格等)的不合格品。
識別處理的內(nèi)容(所使用的識別邏輯的組合、識別邏輯的執(zhí)行順序、識別邏輯所參照的閾值或數(shù)值范圍等)由示教數(shù)據(jù)來定義。示教數(shù)據(jù)可以為在識別處理部13中執(zhí)行的各個識別處理準備多個數(shù)據(jù)，識別處理部13根據(jù)應該識別的對象物從設在硬盤或MO裝置中的示教數(shù)據(jù)存儲部14讀出合適的示教數(shù)據(jù)并加以使用。這些示教數(shù)據(jù)是由示教部2生成的。
本實施方式的示教部2中的示教處理采用和以往完全不同的方法。首先，說明其不同點。
在以往的圖像示教中，如上所述，盡可能多地準備應該識別的對象物(例如合格品)和除此以外的非對象物(例如不合格品)的示教圖像，根據(jù)從這些示教圖像得到的特征量的趨勢決定合格品的偏差范圍和不合格品的范圍(參照圖8)。
與此相對，本實施方式的示教具有以下特征。
第一是采用下述方法，即，在正確定義作為對象物而應該識別的物品中具有標準形態(tài)的對象物(以下稱為標準對象物)之后，定義以該標準對象物為中心的對象物的偏差范圍(即作為對象物而應該識別的范圍)。
圖2是表示該方法的概念圖。圖中用符號○繪制的點表示“標準對象物”，用個體差異的偏差和環(huán)境差的偏差的并集表示的范圍表示“作為對象物而應該識別的范圍”。
第二，為了實現(xiàn)該方法，不僅利用從示教圖像得到的特征量，而且也利用使用者已經(jīng)知道的有關(guān)對象物的知識。
從標準對象物的示教圖像中，能夠容易地得到有關(guān)標準對象物的形態(tài)的信息。并且，實際上也能獲得只有觀察圖像才能明白的信息(例如，由于隨著拍攝環(huán)境不同而看上去不同的顏色或明度等的信息、圖像中的位置、大小、范圍等信息)。但是，僅依靠這些信息不能得知作為對象物而應該識別的范圍。并且，能夠得到的關(guān)于標準對象物的信息也是有限的。
因此，在本實施方式中，通過從標準對象物的示教圖像獲取有關(guān)形態(tài)的特征量，另一方面根據(jù)設計信息等知識獲取正確的尺寸、類型、結(jié)構(gòu)、名稱等各種屬性，更準確地定義作為對象物應該具備的形態(tài)的標準對象物。并且，對于對象個體差異的偏差或環(huán)境差異的偏差等那樣不能從示教圖像獲得的信息，作為知識予以提供。例如，提供設計信息的尺寸公差作為個體差值范圍，將照明的照明強度變化對圖像的影響數(shù)值化，作為環(huán)境差值范圍來提供。
第三，為了系統(tǒng)地以計算機可處理的形式管理對象物的各種屬性，采用作為背景數(shù)據(jù)的數(shù)據(jù)形式。背景數(shù)據(jù)是記述了用于得到對象物的各種屬性及其意義的數(shù)據(jù)，利用XML(eXtensible Markup Language)等結(jié)構(gòu)化語言進行描述。作為背景數(shù)據(jù)中所記述的屬性，不限于可以定量定義的數(shù)值或數(shù)值范圍，也可以包括字符串、函數(shù)、構(gòu)成要素的相關(guān)關(guān)系等的信息。通過把各種信息記述在背景數(shù)據(jù)中，可以從各種側(cè)面多方面地定義對象物。
從示教圖像中抽出的特征量是僅表示作為具體物的標準對象物的特定信息，而根據(jù)該特征量和知識所生成的背景數(shù)據(jù)是表現(xiàn)應該識別的對象物整體(即、作為對象物而應該識別的范圍)的一般信息的集合體。
因此，通過調(diào)查從工件圖像得到的特征量是否包含在由背景數(shù)據(jù)定義的范圍內(nèi)，可以判斷工件是否是對象物。當然，在實際識別處理中沒有必要使用背景數(shù)據(jù)中包含的所有屬性，所以在作成示教數(shù)據(jù)時，可以從背景數(shù)據(jù)僅抽出必要屬性，生成閾值或數(shù)值范圍等的判定基準值。
在本實施方式中，通過利用這種方法進行示教，可以根據(jù)少量的示教圖像簡單地作成正確的示教數(shù)據(jù)。
下面，說明用于實現(xiàn)上述示教處理的具體結(jié)構(gòu)。
如圖1所示，示教部2由攝像部10、圖像存儲部11、圖像處理部12、背景化部20、知識庫21、知識庫作成部22和示教數(shù)據(jù)生成部23構(gòu)成。另外，在本實施方式中，使圖像識別部1和示教部2構(gòu)成為一體，共用攝像部10、圖像存儲部11和圖像處理部12的各構(gòu)成要素，但也可以分別構(gòu)成示教部2的部分和圖像識別部1，形成外部示教裝置。
知識庫21是以背景數(shù)據(jù)的形式系統(tǒng)地存儲對象物的各種屬性的數(shù)據(jù)庫。知識庫作成部22的功能是向使用者提供把背景數(shù)據(jù)登錄在知識庫21中，或瀏覽、編輯、刪除登錄在知識庫21中的背景數(shù)據(jù)的界面。
背景化部20是接受由圖像處理部12抽出的特征量，根據(jù)該特征量和登錄在知識庫21中的知識生成背景數(shù)據(jù)的背景數(shù)據(jù)生成單元。在此生成的背景數(shù)據(jù)被登錄在知識庫21中。
示教數(shù)據(jù)生成部23是根據(jù)背景數(shù)據(jù)生成示教數(shù)據(jù)的示教數(shù)據(jù)生成單元。在此生成的示教數(shù)據(jù)被存儲在示教數(shù)據(jù)存儲部14中。
然后，參照圖3～圖4，說明示教處理的具體處理流程。圖3是表示示教處理流程的流程圖，圖4是說明示教處理中的數(shù)據(jù)流程的圖，表1是表示已登錄在知識庫中的背景數(shù)據(jù)的一例的表。
表1


此處，以用于檢查IC芯片合格與否的示教為例進行說明。即，“合格的IC芯片”成為應該識別的對象物，除合格的IC芯片以外的物品全部成為非對象物。
首先，使用者選定標準對象物的樣品。作為標準對象物，例如可以選擇樣件?；蛘?，也可以選擇高精度制作的兩三個合格樣品。然后，利用攝像部10對選定的樣品進行拍攝，獲取示教圖像(步驟S1)。
在圖像處理部12中，對所獲取的標準對象物的示教圖像實施圖像處理，抽出IC芯片表面的透明度、顏色、明度、縱橫長度、面積等特征量(步驟S2)。并且，也可以抽出IC芯片周圍的背景部分的特征量。在圖4的示例中，抽出透明度“9”、顏色“RGB(50、50、50)”、明度“10”、長度“3.0001cm”、面積“9.0006cm2”等特征量。另外，在選擇了多個樣品作為標準對象物的情況下，把從各示教圖像得到的特征量進行平均，作為標準對象物的特征量。
另一方面，在知識庫作成部22中，使用者輸入知識(步驟S2)。使用者操作知識庫作成部22提供的知識輸入用界面，可以輸入對象物的名稱、類型、結(jié)構(gòu)、功能、個體差值范圍、環(huán)境差值范圍及其他有關(guān)對象物的已知知識。在圖4的示例中，輸入名稱“IC芯片”、型號“QFP”、結(jié)構(gòu)“IC封裝體和引線管腳”、形狀“正方形”、長度“3cm”、面積“9cm2”、管腳數(shù)“52管腳”、公差“長度±0.05mm”等知識。這些知識通過知識庫作成部22被登錄在知識庫21中。另外，步驟S3的處理可以在步驟S1、S2之前進行，也可以并行進行。
然后，背景化部20將從示教圖像中抽出的特征量和登錄在知識庫21中的知識進行組合，生成用于定義合格的IC芯片的背景數(shù)據(jù)(步驟S4)。此時，各屬性按照其意義被分類/分級，使屬性和其意義相對應地記述在背景數(shù)據(jù)中。這樣，各種屬性的意義結(jié)構(gòu)變得明確化，成為使用者和計算機雙方都容易使用的數(shù)據(jù)，同時提高信息的通用性/挪用性，可以容易地將背景數(shù)據(jù)用于各種用途和用于解決問題。
背景化部20在特征量和知識中都包含與相同屬性有關(guān)的數(shù)據(jù)的情況下，優(yōu)先使用作為知識提供的數(shù)據(jù)。這是因為作為知識提供的數(shù)據(jù)的可靠性高。在圖4的示例中，在特征量和知識中都包含有關(guān)IC芯片的“長度”和“面積”的數(shù)據(jù)，但采用在背景數(shù)據(jù)中作為知識提供的“3cm”和“9cm2”。
這樣作成的背景數(shù)據(jù)通過背景化部20被登錄在知識庫21中。如表1所示，在知識庫21中可以登錄大量對象物的背景數(shù)據(jù)。并且，不限于合格品，也可以登錄缺陷自身等與對象物的種類無關(guān)的各種背景數(shù)據(jù)。
背景化部20在生成新的對象物的背景數(shù)據(jù)時，可以把所儲存的背景數(shù)據(jù)作為知識加以利用。例如，可以使用具有共同性的對象物的背景數(shù)據(jù)的一部分，或通過沿用基礎(chǔ)產(chǎn)品的背景數(shù)據(jù)并向其追加屬性，生成多種變更產(chǎn)品的背景數(shù)據(jù)。并且，也可以使背景數(shù)據(jù)自身成為其他背景數(shù)據(jù)的構(gòu)成要素。之所以可以這樣容易地利用背景數(shù)據(jù)是因為背景數(shù)據(jù)是將各種屬性和意義內(nèi)容一起結(jié)構(gòu)化保持的。
在生成背景數(shù)據(jù)后，示教數(shù)據(jù)生成部23生成識別處理用的示教數(shù)據(jù)(步驟S5)。具體處理如下。
首先，決定在識別處理中所利用的識別邏輯。這可以由使用者來選擇。此時，優(yōu)選示教數(shù)據(jù)生成部23將背景數(shù)據(jù)中包含的屬性和在各識別邏輯中使用的特征量的類型進行對比，將可以利用或最適合的識別邏輯作為候補選出。在圖4的示例中，通過示教數(shù)據(jù)生成部23選出可以利用的4個(A～D)識別邏輯，使用者從其中選擇識別邏輯B。
然后，參照在識別邏輯中使用的特征量的類型，從已登錄在知識庫21中的背景數(shù)據(jù)中抽出與該類型對應的屬性。例如，在識別邏輯B是使用明度和面積這兩個特征量的情況下，示教數(shù)據(jù)生成部23從背景數(shù)據(jù)抽出IC芯片的明度和面積以及與明度和面積的偏差有關(guān)的屬性(個體差值范圍、環(huán)境差值范圍等)。在此抽出明度“10”、面積“9cm2”、明度的公差“±0.2”、面積的公差“±0.003cm2”。
然后，根據(jù)識別邏輯B的內(nèi)容適當加工所抽出的屬性，生成用于進行該識別處理的示教數(shù)據(jù)。例如，識別邏輯B把明度的上限值和面積的下限值用作閾值時，根據(jù)上述屬性算出明度的上限值“10.2”和面積的下限值“8.997cm2”。并且，在實際的識別處理中，由于按照像素數(shù)處理面積，所以根據(jù)圖像清晰度，把面積的下限值“8.997cm2”變換為像素數(shù)“7440”。根據(jù)這樣算出的閾值生成示教數(shù)據(jù)。另外，圖4的示教數(shù)據(jù)中包含的“范圍”值是表示圖像中的IC芯片的位置的范圍，是由使用者設定的。
在步驟S6中，對是否能夠利用所生成的示教數(shù)據(jù)正確地進行(按照使用者的意愿)識別處理進行測試檢查。例如，準備幾個IC芯片的合格樣品和不合格樣品，對這些樣品進行識別處理，確認其判斷結(jié)果。
在正確進行識別處理的情況下，將示教數(shù)據(jù)存儲在示教數(shù)據(jù)存儲部14，結(jié)束示教處理。反之，在識別處理失敗的情況下，返回到步驟S3，將有關(guān)對象物的更詳細的知識登錄在知識庫中后，再次重復生成背景數(shù)據(jù)和示教數(shù)據(jù)(步驟S7)。
根據(jù)以上所述的本實施方式的示教處理，可以根據(jù)一個或幾個少量的示教圖像簡單地作成正確的示教數(shù)據(jù)，能夠降低示教所需時間和勞力。
在上述示教步驟結(jié)束后，圖像識別裝置進入圖像識別步驟(IC芯片的產(chǎn)品檢查)。在產(chǎn)品檢查中，通過攝像部10獲取工件(檢查物)的圖像，在圖像處理部12中通過圖像處理從工件的圖像中抽出特征量，在識別處理部13中，根據(jù)從示教數(shù)據(jù)存儲部14讀出的示教數(shù)據(jù)和所抽出的特征量進行識別處理，判定工件是否是對象物。并且，在判定為對象物的情況下，輸出合格品的判定結(jié)果，在除此以外的情況下輸出不合格品的判定結(jié)果。根據(jù)本實施方式，使用通過上述示教處理所作成的正確的示教數(shù)據(jù)，可以進行高精度的識別處理。
第2實施方式如上所述，在背景數(shù)據(jù)中記述了對象物的各種屬性及其意義。因此，背景數(shù)據(jù)的信息的通用性/挪用性良好，可容易地用于各種用途和用于解決問題。在第1實施方式中把背景數(shù)據(jù)用于生成示教數(shù)據(jù)，但在第2實施方式中還把背景數(shù)據(jù)用于識別處理。
圖5是表示本實用新型的第2實施方式涉及的圖像識別裝置的功能結(jié)構(gòu)的方框圖。其與第1實施方式涉及的圖像識別裝置的結(jié)構(gòu)差異是具有識別圖像作成部15。以下，以本實施方式特有的結(jié)構(gòu)和作用為中心進行說明，對與第1實施方式相同的部分使用相同符號，并省略其詳細說明。
圖6是表示識別處理流程的流程圖。參照該圖，對使用在第1實施方式中生成的示教數(shù)據(jù)進行IC芯片的合格與否的檢查時的處理流程進行說明。
首先，通過攝像部10對工件進行拍攝，獲取工件的圖像(步驟S10)。在圖像處理部12中，對所獲取的工件圖像實施圖像處理，抽出IC芯片表面的透明度、紋理、顏色、明度、長度、面積等各種特征量(步驟S11)。并且，也可以抽出IC芯片周圍的背景部分的特征量。
識別處理部13從示教數(shù)據(jù)存儲部14讀出示教數(shù)據(jù)。并且，根據(jù)示教數(shù)據(jù)和在圖像處理部12中抽出的特征量進行識別處理(步驟S12)。
此處，按照由示教數(shù)據(jù)所定義的識別處理的內(nèi)容，從特征量中選出明度和面積，將它們的數(shù)值提供給識別邏輯B。通過識別邏輯B檢查工件的明度是否小于等于閾值“10.2”，工件的面積(像素)數(shù)是否大于等于“7440”。在滿足這兩個條件的情況下，判定為合格的IC芯片，在至少不滿足一個條件的情況下，判定為不合格品。在得到判定結(jié)果的情況下視為識別成功。在該情況下，將判定結(jié)果輸出給顯示器，結(jié)束識別處理(步驟S13、S14)。
另外，在圖像處理部12中不能抽出識別處理所需要的特征量(明度和面積)的情況下、即使抽出但其值大大偏離正常值的情況下、以及其他識別處理不能正常進行的情況下，不能得到判定結(jié)果，視為識別失敗。在該情況下，轉(zhuǎn)入步驟S15～S17的識別圖像作成處理(步驟S13)。
在識別圖像作成處理中，首先，背景化部20從圖像處理部12接受從工件圖像中抽出的特征量，根據(jù)這些特征量生成定義工件的各種屬性的工件背景數(shù)據(jù)(步驟S15)。工件背景數(shù)據(jù)是和背景數(shù)據(jù)形式相同的數(shù)據(jù)，其記述了工件屬性及其意義。所生成的工件背景數(shù)據(jù)被提供給識別圖像作成部15。
識別圖像作成部15讀出已登錄在知識庫21中的對象物的背景數(shù)據(jù)，對工件背景數(shù)據(jù)的各屬性和與背景數(shù)據(jù)對應的屬性進行比較，調(diào)查屬性上的差異(步驟S16)。由于在背景數(shù)據(jù)中定義了對象物的各種屬性的標準狀態(tài)，所以通過調(diào)查與該標準狀態(tài)的差異，可以發(fā)現(xiàn)工件的原圖像的問題點、即識別處理失敗的原因。
然后，識別圖像作成部15從圖像存儲部11接受工件的原圖像，根據(jù)所檢測到的屬性差異，對工件的圖像實施適當?shù)膱D像處理，作成識別圖像(步驟S17)。
例如，在面積和長度的數(shù)值大不相同的情況下，推測為在圖像處理部12中不能正常進行邊緣抽出或區(qū)域抽出，為了解決該問題，實施清晰化(sharpness)或強調(diào)邊緣等的圖像處理?；蛘撸趫D像整體的色調(diào)和深淺度偏離標準狀態(tài)的情況下，為了校正該差異，實施色調(diào)校正、深淺度校正、對比度校正等圖像處理。除此之外，還根據(jù)屬性的類型或差異的內(nèi)容等，實施清除噪聲、清晰度變換等適當?shù)膱D像處理。
這樣得到的識別圖像成為消除了工件的原圖像問題點的圖像。因此，如果使用該識別圖像再次進行識別處理(步驟S11、S12)，識別成功的概率高。并且，識別圖像與原圖像相比，S/N提高，所以也提高了識別精度。
根據(jù)以上所述的本實施方式的圖像識別裝置，即使在根據(jù)拍攝得到的原圖像進行的識別失敗的情況下，也能自動生成改正了原圖像的問題點的識別圖像，使用識別圖像再次進行識別處理，所以提高了識別處理的成功率和精度。
第3實施方式在本實用新型的第3實施方式中，把背景數(shù)據(jù)用于示教數(shù)據(jù)的更新處理。
另外，本實施方式涉及的圖像識別裝置的結(jié)構(gòu)與第1或第2實施方式的相同，所以省略圖示，以下使用相同符號進行說明。
圖7是表示示教數(shù)據(jù)更新處理流程的流程圖。該流程圖的步驟S20的識別處理的內(nèi)容和圖6的流程圖中的步驟S10～S17相同。
在識別處理成功的情況下，將其判定結(jié)果輸出給顯示器(步驟S20)。使用者可以在此輸入判定結(jié)果是否正確(是否是符合使用者意愿的結(jié)果)。
判定結(jié)果不正確指的是示教數(shù)據(jù)不合適。因此，在使用者輸入判定結(jié)果錯誤的情況下(步驟S21)，進行后面所述的示教數(shù)據(jù)更新處理。
首先，背景化部20從圖像處理部12接受從工件圖像中抽出的特征量，根據(jù)這些特征量生成工件背景數(shù)據(jù)(步驟S22)。所生成的工件背景數(shù)據(jù)被提供給示教數(shù)據(jù)生成部23。
示教數(shù)據(jù)生成部23讀出已登錄在知識庫21中的對象物的背景數(shù)據(jù)，對工件背景數(shù)據(jù)的各屬性和與背景數(shù)據(jù)對應的屬性進行比較，調(diào)查屬性上的差異(步驟S23)。然后，根據(jù)屬性差異選出至少一個能夠正確進行工件判定的屬性(例如，差異表現(xiàn)明顯的屬性、或相反幾乎沒有差異的屬性等)。
然后，示教數(shù)據(jù)生成部23從在識別處理中可以使用的多個識別邏輯中，查找可以使用與在步驟S23中選出的屬性對應的特征量進行識別處理的識別邏輯或識別邏輯的組合(步驟S24)。
在查找到符合的識別邏輯的情況下(步驟S25)，更新示教數(shù)據(jù)(步驟S26)。此時，可以向已有的示教數(shù)據(jù)追加此次查找到的識別邏輯的相關(guān)內(nèi)容，也可以用此次的內(nèi)容替換原有的示教數(shù)據(jù)。
另一方面，在未查找到符合的識別邏輯的情況下，將該信息通知使用者(步驟S27)。此時，可以在顯示器上顯示通知應該追加的識別邏輯的規(guī)范的信息，例如“請追加根據(jù)特征量X、Y、Z進行識別處理的識別邏輯”。使用者按照所通知的規(guī)范開發(fā)并追加新的識別邏輯，由此可以進行正確的識別處理。
根據(jù)以上所述的本實施方式的圖像識別裝置，在未能得到正確的判定結(jié)果的情況下，自動生成最佳識別邏輯的新的示教數(shù)據(jù)，所以不需要通過手工作業(yè)追加示教數(shù)據(jù)，可以降低示教所需要的時間和勞力，并提高識別處理的成功率和精度。
并且，在不存在符合的識別邏輯的情況下，通知應該追加的識別邏輯的規(guī)范，所以可以發(fā)現(xiàn)新的應該追加的識別邏輯。這一點在處理利用現(xiàn)有的識別邏輯不能識別的新對象物時等非常有效。
另外，上述第1～第3實施方式只不過示出了本實用新型的一個具體示例。本實用新型的范圍不限于上述實施方式，可以在其技術(shù)思想的范圍內(nèi)進行各種變更。
例如，在上述實施方式中，把本實用新型應用于進行工業(yè)產(chǎn)品的產(chǎn)品檢查的檢查裝置，但也可以把本實用新型應用于檢查裝置以外的以機器人的視覺裝置為代表的各種圖像識別裝置。
并且，關(guān)于示教處理和圖像識別處理中使用的特征量和屬性的類型、背景數(shù)據(jù)和示教數(shù)據(jù)的格式，也不限于上述實施方式所例示的形態(tài)，可以根據(jù)應該識別的對象物和圖像識別裝置的結(jié)構(gòu)等進行適當變更。
如上所述，根據(jù)本實用新型，可以根據(jù)少量的示教圖像簡單地作成正確的示教數(shù)據(jù)。并且，根據(jù)本實用新型可以提高識別處理的成功率和精度。
權(quán)利要求1.一種圖像識別裝置的示教裝置，其特征在于，具有攝像部，其獲取作為對象物而應該識別的物品中具有標準形態(tài)的標準對象物的圖像；圖像處理部，其通過圖像處理從該標準對象物的示教圖像中抽出特征量；知識庫，其存儲知識及背景數(shù)據(jù)；知識庫作成部，其把使用者輸入的對象物的偏差范圍及其他有關(guān)對象物的已知知識登錄在知識庫中；背景數(shù)據(jù)生成部，其根據(jù)從標準對象物的示教圖像中抽出的特征量和已登錄在知識庫中的知識，生成記述了用于得到對象物的各種屬性及其意義的背景數(shù)據(jù)，將該背景數(shù)據(jù)登錄在知識庫中；示教數(shù)據(jù)生成部，其從已登錄在知識庫中的背景數(shù)據(jù)中抽出與在識別處理中使用的特征量類型對應的屬性，生成該識別處理用的示教數(shù)據(jù)。
2.一種圖像識別裝置，其特征在于，包括示教單元和圖像識別單元，其中，示教單元包括攝像部，其獲取作為對象物而應該識別的物品中具有標準形態(tài)的標準對象物的圖像；圖像處理部，其通過圖像處理從該標準對象物的示教圖像中抽出特征量；知識庫，其存儲知識和背景數(shù)據(jù)；知識庫作成部，其把使用者輸入的對象物的偏差范圍及其他有關(guān)對象物的已知知識登錄在知識庫中；背景數(shù)據(jù)生成部，其根據(jù)從標準對象物的示教圖像中抽出的特征量和已登錄在知識庫中的知識，生成記述了用于得到對象物的各種屬性及其意義的背景數(shù)據(jù)，將該背景數(shù)據(jù)登錄在知識庫中；示教數(shù)據(jù)生成部，其從已登錄在知識庫中的背景數(shù)據(jù)中抽出與在識別處理中使用的特征量類型對應的屬性，生成該識別處理用的示教數(shù)據(jù)，圖像識別單元包括攝像部，其獲取工件的圖像；圖像處理部，其通過圖像處理從該工件圖像中抽出特征量；示教數(shù)據(jù)存儲部，其存儲示教數(shù)據(jù)生成部所生成的示教數(shù)據(jù)；識別處理部，其根據(jù)從示教數(shù)據(jù)存儲部讀出的示教數(shù)據(jù)和所抽出的特征量，執(zhí)行識別處理，判定工件是否是對象物。
3.權(quán)利要求2所述的圖像識別裝置，其特征在于，圖像識別單元還包括背景數(shù)據(jù)生成部，其根據(jù)圖像處理部所抽出的工件的特征量，生成定義該工件的各種屬性的工件背景數(shù)據(jù)；識別圖像作成部，其根據(jù)所生成的工件背景數(shù)據(jù)和已登錄在知識庫中的對象物的背景數(shù)據(jù)的屬性差異，對工件圖像實施圖像處理。
4.權(quán)利要求3所述的圖像識別裝置，其特征在于，還具有顯示部，上述背景數(shù)據(jù)生成部在未查找到可以使用與所選出的屬性對應的特征量進行識別處理的識別邏輯的情況下，將該信息顯示在上述顯示部上。
專利摘要本實用新型提供一種圖像識別裝置和圖像識別裝置的示教裝置，其包括攝像部，其獲取作為對象物而應該識別的物品中具有標準形態(tài)的標準對象物的圖像；圖像處理部，其通過圖像處理從該標準對象物的示教圖像中抽出特征量；知識庫，其存儲知識及背景數(shù)據(jù)；知識庫作成部，其把使用者輸入的對象物的偏差范圍及其他有關(guān)對象物的已知知識登錄在知識庫中；背景數(shù)據(jù)生成部，將該背景數(shù)據(jù)登錄在知識庫中；示教數(shù)據(jù)生成部，生成該識別處理用的示教數(shù)據(jù)。以根據(jù)少量的示教圖像簡單地作成正確的示教數(shù)據(jù)提高識別處理的成功率和精度。
文檔編號G06K9/46GK2765259SQ20042005928
公開日2006年3月15日 申請日期2004年6月7日 優(yōu)先權(quán)日2003年6月6日
發(fā)明者仲島晶, 渡邊泰久 申請人:歐姆龍株式會社