本發(fā)明涉及一種拾取對(duì)象的圖像并且基于拾取的圖像來(lái)確定對(duì)象是正常還是異常的方法。

背景技術(shù)：

已經(jīng)提出了一種設(shè)備，其中當(dāng)輸入諸如圖像之類(lèi)的信號(hào)并且通過(guò)鑒別器鑒別輸入信號(hào)的屬性等時(shí)，鑒別結(jié)果的原因被可視化并呈現(xiàn)給用戶。例如，在自動(dòng)外觀檢查領(lǐng)域，當(dāng)通過(guò)使用包括檢查目標(biāo)的圖像來(lái)確定檢查目標(biāo)是正常還是異常時(shí)，如果檢查目標(biāo)異常的確定結(jié)果以及針對(duì)上述確定的原因可以被提供，那么這種信息對(duì)于用戶是有用的。即，當(dāng)對(duì)應(yīng)于異常原因的區(qū)域可以被可視化為圖像時(shí)，用戶可以直觀地找出自動(dòng)外觀檢查裝置的確定參考。因而，當(dāng)調(diào)整與檢查相關(guān)的參數(shù)時(shí)并且當(dāng)發(fā)現(xiàn)特定異常模式的出現(xiàn)次數(shù)以向生產(chǎn)線中的處理提供反饋?zhàn)鳛閳?zhí)行修改的對(duì)策時(shí)，上述配置是有用的。

例如，ptl1公開(kāi)了從通過(guò)在多個(gè)照明條件下拍攝檢查目標(biāo)對(duì)象而獲得的多個(gè)圖像來(lái)創(chuàng)建一個(gè)確定圖像，并且通過(guò)使用該確定圖像來(lái)執(zhí)行正常/異常檢查。關(guān)于由根據(jù)ptl1的方法創(chuàng)建的確定圖像，在檢查目標(biāo)對(duì)象被確定為異常的情況下，存在異常的區(qū)域與要可視化的其它正常區(qū)域被區(qū)分開(kāi)，并且用戶可以容易地理解哪個(gè)區(qū)域異常。

但是，根據(jù)ptl1的確定圖像的創(chuàng)建根據(jù)先前設(shè)置的期望的檢查項(xiàng)被優(yōu)化，并且難以應(yīng)對(duì)復(fù)雜的檢查或未識(shí)別的缺陷。

鑒于以上所述，ptl2公開(kāi)了一種從輸入圖像中提取先前選擇的特征量并通過(guò)使用該特征量來(lái)確定其是正常還是異常而不生成如ptl1中的確定圖像的方法。根據(jù)這種方法，通過(guò)預(yù)先學(xué)習(xí)影響正?；虍惓ｈb別的特征量而不生成確定圖像，有可能準(zhǔn)確地確定其是正常還是異常。

但是，即使采用如ptl2中那樣輸出檢查結(jié)果而不創(chuàng)建確定圖像的方法，在一些情況下也期望執(zhí)行對(duì)結(jié)果的分析。即，雖然正常/異常鑒別準(zhǔn)確度在部件(part)的外觀檢查中極其重要，但是發(fā)現(xiàn)對(duì)應(yīng)于附加信息(異常的類(lèi)型、位置等)的異常原因并容易地掌握趨勢(shì)在許多情況下對(duì)于用戶來(lái)說(shuō)也是有用的信息。根據(jù)ptl2中公開(kāi)的方法，發(fā)生異常原因不被呈現(xiàn)給用戶的問(wèn)題。

引用列表

專(zhuān)利文獻(xiàn)

ptl1：日本專(zhuān)利公開(kāi)no.2010-175305

ptl2：日本專(zhuān)利公開(kāi)no.2010-102690

技術(shù)實(shí)現(xiàn)要素：

為了解決上述問(wèn)題，根據(jù)本說(shuō)明書(shū)的一方面的無(wú)缺陷產(chǎn)品檢查裝置包括例如提取單元，被配置為從包括檢查目標(biāo)對(duì)象的圖像中提取多個(gè)特征量；確定單元，被配置為基于提取出的特征量來(lái)確定檢查目標(biāo)對(duì)象的異常程度；得分信息生成單元，被配置為生成各自表示來(lái)自圖像的特征量中的每一個(gè)的得分的多條得分信息；以及圖像生成單元，被配置為基于各特征量相對(duì)于由確定單元確定的異常程度的貢獻(xiàn)程度以及多條得分信息來(lái)生成表示檢查目標(biāo)對(duì)象中所包括的缺陷的缺陷顯示圖像。

此外，根據(jù)本說(shuō)明書(shū)的一方面的信息處理裝置包括例如提取單元，被配置為從包括檢查目標(biāo)對(duì)象的多個(gè)圖像中提取多個(gè)特征量；確定單元，被配置為基于提取出的特征量來(lái)確定檢查目標(biāo)對(duì)象的異常程度；以及圖像生成單元，被配置為通過(guò)基于各特征量相對(duì)于由確定單元確定的異常程度的貢獻(xiàn)程度將多個(gè)圖像彼此合成來(lái)生成強(qiáng)調(diào)和顯示檢查目標(biāo)對(duì)象中所包括的缺陷的圖像。

根據(jù)本說(shuō)明書(shū)，可以向用戶呈現(xiàn)關(guān)于輸入數(shù)據(jù)的確定結(jié)果以及確定結(jié)果的原因。

從以下參考附圖對(duì)實(shí)施例的描述，本發(fā)明的其它特征將變得清楚。

附圖說(shuō)明

[圖1]圖1圖示了使用根據(jù)第一實(shí)施例的信息處理裝置的檢查系統(tǒng)的配置示例。

[圖2]圖2圖示了根據(jù)第一實(shí)施例的顯示裝置的顯示示例。

[圖3]圖3是根據(jù)第一實(shí)施例的處理流程圖。

[圖4]圖4是根據(jù)第一實(shí)施例的處理流程圖。

[圖5a]圖5a是相關(guān)技術(shù)裝置的功能框圖。

[圖5b]圖5b是根據(jù)第一實(shí)施例的信息處理裝置的功能框圖。

[圖6]圖6是圖示根據(jù)第一實(shí)施例的圖5b的圖整合單元的處理內(nèi)容的細(xì)節(jié)的框圖。

[圖7]圖7是用于描述根據(jù)第一和第二實(shí)施例的、確定異常得分中相應(yīng)特征量的重要程度的情況的解釋圖。

[圖8]圖8圖示了使用根據(jù)第二和第三實(shí)施例的信息處理裝置的檢查系統(tǒng)的配置示例。

[圖9]圖9是根據(jù)第二實(shí)施例的信息處理裝置的功能框圖。

[圖10]圖10是圖示根據(jù)第二實(shí)施例的、圖9的圖整合單元的處理內(nèi)容的細(xì)節(jié)的框圖。

[圖11]圖11是根據(jù)第三實(shí)施例的信息處理裝置的功能框圖。

[圖12]圖12是圖示根據(jù)第三實(shí)施例的、圖11的圖像合成單元的處理內(nèi)容的細(xì)節(jié)的框圖。

[圖13]圖13是根據(jù)第四實(shí)施例的信息處理裝置的功能框圖。

[圖14]圖14是圖示根據(jù)第四實(shí)施例的、圖13的圖整合單元的處理內(nèi)容的細(xì)節(jié)的框圖。

[圖15]圖15是根據(jù)第三實(shí)施例的處理流程圖。

具體實(shí)施方式

在下文中，將參照附圖對(duì)本發(fā)明的實(shí)施例(示例性實(shí)施例)進(jìn)行描述。

在對(duì)本發(fā)明的相應(yīng)實(shí)施例進(jìn)行描述之前，將參照?qǐng)D1描述安裝有根據(jù)各個(gè)實(shí)施例的信息處理裝置101的硬件配置。

在圖1中，cpu1010以總體方式控制經(jīng)由總線1000連接的各個(gè)設(shè)備。cpu1010讀出存儲(chǔ)在只讀存儲(chǔ)器(rom)1020中的處理步驟和程序。根據(jù)本實(shí)施例的包括操作系統(tǒng)(os)的相應(yīng)處理程序、設(shè)備驅(qū)動(dòng)程序等存儲(chǔ)在rom1020并臨時(shí)存儲(chǔ)在隨機(jī)存取存儲(chǔ)器(ram)1030中，以便由cpu1010適當(dāng)執(zhí)行。輸入信號(hào)以信號(hào)可以由信息處理裝置101處理的格式從外部裝置(諸如顯示裝置或操作裝置)輸入到輸入接口(i/f)1040。輸出信號(hào)以信號(hào)可以由顯示裝置處理的格式從輸出i/f1050輸出到外部裝置(顯示裝置)。

第一實(shí)施例

在下文中，將參照附圖對(duì)本發(fā)明的第一實(shí)施方式進(jìn)行描述。

圖1是使用根據(jù)本實(shí)施例的信息處理裝置101的外觀檢查系統(tǒng)的概念圖。

圖像拾取裝置103由可以獲得檢查目標(biāo)對(duì)象102的表面的畫(huà)面(圖像模式)并將所獲得的視頻發(fā)送到信息處理裝置101的攝像機(jī)等構(gòu)成。信息處理裝置101通過(guò)使用所發(fā)送的視頻畫(huà)面執(zhí)行用于外觀檢查的信息處理。

檢查目標(biāo)對(duì)象102是作為要被信息處理裝置101確定為無(wú)缺陷產(chǎn)品或有缺陷產(chǎn)品的目標(biāo)的對(duì)象。檢查目標(biāo)對(duì)象102的示例包括用于工業(yè)產(chǎn)品的橡膠成形的產(chǎn)品、金屬部件、玻璃成形產(chǎn)品(諸如透鏡)、塑料成形產(chǎn)品等。在一些情況下，可以在檢查目標(biāo)對(duì)象102的表面上造成在無(wú)缺陷產(chǎn)品上看不到的不規(guī)則性或者加工過(guò)程中的不均勻性或劃痕。這些缺陷通過(guò)外觀檢查來(lái)檢測(cè)，并且被檢測(cè)為有缺陷產(chǎn)品。

顯示裝置104由監(jiān)視器等構(gòu)成。圖2圖示了對(duì)顯示裝置104的確定結(jié)果的顯示示例。圖像顯示在區(qū)域201上。對(duì)應(yīng)于在區(qū)域201上選擇的圖像的正常/異常分類(lèi)結(jié)果被顯示，同時(shí)用粗體框強(qiáng)調(diào)，并且ok/ng顯示在區(qū)域202上。在那個(gè)時(shí)候鑒別器的異常得分被顯示在區(qū)域203上。針對(duì)所選擇的圖像的異常得分圖被顯示在區(qū)域204上，該區(qū)域表示難以單獨(dú)利用圖像可視識(shí)別的大刮痕樣異?？梢匀菀椎卦趨^(qū)域204上顯示的異常得分圖上可視識(shí)別的情況。即，在用戶檢查區(qū)域204上顯示的圖像的同時(shí)，用戶可以容易地理解為什么在區(qū)域201上選擇的圖像被確定為異常。

圖5a是如ptl1中所述的、從輸入圖像400生成用于可視化的確定圖像的相關(guān)技術(shù)裝置的功能塊。圖5b是本實(shí)施例的功能塊。在圖5a中，以確定圖像生成單元402在確定中間圖像403中生成的方式執(zhí)行對(duì)輸入圖像400的鑒別，并且鑒別單元404基于確定中間圖像403的結(jié)果關(guān)于輸入圖像400是正常還是異常執(zhí)行鑒別。在下文中，將描述根據(jù)圖5b中的本實(shí)施例的、構(gòu)成信息處理裝置的各個(gè)功能。

輸入圖像401是由圖像拾取單元拾取的檢查目標(biāo)對(duì)象的圖像。

特征提取單元405從輸入圖像401中提取特征量。根據(jù)本實(shí)施例，從通過(guò)輸入圖像的變換所獲得的圖像中提取最大值、平均值、方差、峰度、偏度、對(duì)比度、最大梯度等作為特征量。具體處理將如下所述。

鑒別單元406通過(guò)使用由特征提取單元405提取的特征量來(lái)確定包括在輸入圖像401中的檢查目標(biāo)對(duì)象是正常還是異常。

圖生成單元407從輸入圖像401生成對(duì)應(yīng)于提取出的特征的相應(yīng)特征量的圖。根據(jù)本實(shí)施例的圖具有與輸入圖像相同數(shù)量的維度的二維陣列，并且得分存儲(chǔ)在相應(yīng)的元素中。當(dāng)然，圖不限于這種格式。

圖整合單元408參考相應(yīng)特征量相對(duì)于在鑒別單元406進(jìn)行鑒別時(shí)所獲得的鑒別結(jié)果的貢獻(xiàn)程度，并且把由圖生成單元407針對(duì)各個(gè)特征量生成的多個(gè)圖彼此整合，以生成可視化的圖像409，其中缺陷候選區(qū)域被可視化。圖整合單元408輸出所生成的可視化的圖像409。

上述各個(gè)功能單元是在cpu1010將存儲(chǔ)在rom1020中的程序擴(kuò)展到ram1030上并且遵循在下面將要描述的相應(yīng)流程圖執(zhí)行處理的同時(shí)實(shí)現(xiàn)的。例如，在硬件被構(gòu)成為使用cpu1010的軟件處理的代替方式的情況下，可以構(gòu)造對(duì)應(yīng)于本文所述的每個(gè)功能單元的處理的計(jì)算單元或電路。

在下文中，將參考圖3描述本實(shí)施例的處理流程圖。

步驟s301

在步驟s301中，特征提取單元405從對(duì)應(yīng)于檢查目標(biāo)的圖像的輸入圖像401中提取n條特征。在下文中，將描述如何確定根據(jù)本實(shí)施例的從圖像提取的特征量。

首先，通過(guò)基于haar小波變換的濾波處理，將輸入圖像401從高頻分量分解為低頻分量在垂直、水平和對(duì)角線方向的頻率分量圖像，以生成多個(gè)層次圖像。然后，從多個(gè)生成的層次圖像中提取多個(gè)特征量。通過(guò)使用由以下四種類(lèi)型的矩陣(表達(dá)式1-a至1-d)表示的濾波器，對(duì)輸入圖像401執(zhí)行基于haar小波變換的處理。

[數(shù)學(xué)表達(dá)式1]

表達(dá)式1-a表示垂直方向的高頻分量濾波器，表達(dá)式1-b表示水平方向的高頻分量濾波器，表達(dá)式1-c表示對(duì)角線方向的高頻分量濾波器，而表達(dá)式1-d表示低頻分量濾波器。通過(guò)使用由表達(dá)式1-a至1-d表示的濾波器生成新的圖像，其存儲(chǔ)與就通過(guò)對(duì)輸入圖像401中的2×2像素執(zhí)行內(nèi)積計(jì)算新獲得的頻率分量而言被分解的圖像對(duì)應(yīng)的像素值。這種過(guò)濾處理在輸入圖像401中的整個(gè)區(qū)域上移動(dòng)，而沒(méi)有2×2區(qū)域的重疊，并且獲得其中四種類(lèi)型的圖像(垂直方向的高頻分量圖像、水平方向的高頻分量圖像、對(duì)角線方向的高頻分量圖像和低頻分量圖像)的圖像尺寸在縱向和橫向減半的圖像。

其后，類(lèi)似于在輸入圖像中，對(duì)低頻分量圖像進(jìn)一步進(jìn)行濾波處理，以獲得在下一層次級(jí)別中包括垂直方向的高頻分量圖像、水平方向的高頻分量圖像、對(duì)角線方向的高頻分量圖像和低頻分量圖像的四種類(lèi)型的圖像。

具有縱向和橫向減半的圖像尺寸的圖像的生成被通過(guò)重復(fù)用于為每個(gè)頻率分解信號(hào)的上述處理來(lái)重復(fù)執(zhí)行，并且直到重復(fù)執(zhí)行到分解最終不再可行的層次級(jí)別時(shí)才結(jié)束。應(yīng)當(dāng)指出的是，分解執(zhí)行多達(dá)多少層次級(jí)別依賴(lài)于輸入圖像401的尺寸。例如，在分解成8個(gè)層次級(jí)別的情況下，由于獲得了每個(gè)層次級(jí)別4個(gè)圖像，因此獲得8×4＝32種類(lèi)型的圖像(層次圖像生成)。

接下來(lái)，從32種類(lèi)型的圖像中提取多個(gè)統(tǒng)計(jì)特征量。在本文中，(層次圖像中的)每個(gè)頻率分量圖像中的像素值的最大值、平均值、方差、峰度、偏差、對(duì)比度或最大梯度等值被設(shè)置為被提取的特征量。在本文中，當(dāng)從每個(gè)頻率分量圖像中提取的特征量的數(shù)量被設(shè)置為20時(shí)，從單個(gè)原始圖像提取的特征量的數(shù)量最終為32×20＝640。但是，在鑒別處理中使用多達(dá)640個(gè)的全部特征量來(lái)處理的信息的維度數(shù)量較高，并且一般化(generalizing)能力在許多情況下由于一般被稱(chēng)為“維度的詛咒”的現(xiàn)象而減小。鑒于以上所述，通過(guò)搜索使得準(zhǔn)確區(qū)分正常和異常的特征量集合的機(jī)械學(xué)習(xí)方法，預(yù)先選擇適于鑒別處理的特征量的組合，并且有可能在實(shí)際的檢查中實(shí)現(xiàn)高精度的鑒別處理。提出了各種方法作為搜索令人滿意的特征量組合的特征選擇方法，并且示例了眾多技術(shù)，包括lasso、圖形切割、使用遺傳算法的特征選擇技術(shù)等。在下文中，通過(guò)特征選擇處理預(yù)先最終選擇的特征量的數(shù)量被設(shè)置為n(大約幾十個(gè)特征量)。應(yīng)當(dāng)指出的是，可以使用任何鑒別器，并且根據(jù)本實(shí)施例使用子空間方法。此外，根據(jù)本實(shí)施例，使用haar小波變換，但是本發(fā)明不限于此，并且可以使用有可能從輸入圖像401生成多個(gè)圖像的預(yù)定變換。

步驟s302

在步驟s302中，鑒別單元406獲得在步驟s301中提取的n個(gè)特征量，并且基于距表示已經(jīng)通過(guò)子空間方法作為正態(tài)分布學(xué)習(xí)的正常區(qū)域的更高維度表面的距離來(lái)確定是否存在異常。異常得分被鑒別器定義為距正態(tài)分布的距離等的數(shù)值變換。根據(jù)本實(shí)施例，子空間方法被鑒別單元406用作鑒別方法。如圖7中所示，當(dāng)輸入的整個(gè)特征量被設(shè)置為x時(shí)，通過(guò)在先前學(xué)習(xí)時(shí)訓(xùn)練正常數(shù)據(jù)來(lái)學(xué)習(xí)具有最大模式分布方差的朝向的超平面。與超平面正交的方向分量中距在測(cè)試時(shí)新輸入的數(shù)據(jù)的距離d被用作距正態(tài)分布的距離，即，異常得分。因此，不存在用于檢查的中間圖像，并且可以執(zhí)行正常/異常鑒別。距離d可以通過(guò)使期望由正常數(shù)據(jù)的均值向量mc(c＝1,2，...，c)和超平面構(gòu)成向量(l＝1，2，...，l)表示的正常特征空間中的分布經(jīng)受由超平面進(jìn)行的近似表示來(lái)獲得。對(duì)于上述“l(fā)”，可以確定適當(dāng)?shù)木S度數(shù)l，并且可以在下面的描述中設(shè)置l維超平面。

在外觀檢查中，c表示正常狀態(tài)下的類(lèi)別數(shù)。例如，在兩個(gè)正常狀態(tài)彼此混合的狀態(tài)下的檢查可以通過(guò)設(shè)置c＝2來(lái)執(zhí)行。對(duì)于c＝2的情況下的距離d，計(jì)算由兩個(gè)正常類(lèi)(c＝1和c＝2)定義的兩個(gè)距離，并且當(dāng)兩個(gè)距離中的一個(gè)距離小于或等于先前設(shè)置為閾值的距離時(shí)，可以確定為正常。但是，應(yīng)當(dāng)指出的是，由于一般在要求精度的外觀檢查中通過(guò)單個(gè)檢查處理同時(shí)執(zhí)行兩種類(lèi)型部件的檢查的概率非常低，因此在下文中設(shè)置c＝1。此外，正常數(shù)據(jù)的條數(shù)被設(shè)置為t。在這個(gè)時(shí)候，mc由表達(dá)式2表示。

[數(shù)學(xué)表達(dá)式2]

方差-協(xié)方差矩陣σc可以通過(guò)使用特征向量xci來(lái)表示。方差-協(xié)方差矩陣σc由表達(dá)式3表示。

[數(shù)學(xué)表達(dá)式3]

為了定義近似超平面，通過(guò)使用表達(dá)式3中獲得的σc，求解由表達(dá)式4表示的特征值問(wèn)題。

[數(shù)學(xué)表達(dá)式4]

其后，在σc的第一特征值和特征向量分別被設(shè)置為λcl和的情況下，根據(jù)與λcl的所選擇的l條較大部分對(duì)應(yīng)的把通過(guò)表達(dá)式2中的mc的超平面定義為用于描述正態(tài)分布的平面。在從測(cè)試樣本提取的特征向量x'是n維特征向量的情況下，對(duì)應(yīng)于異常得分的距離d由表達(dá)式5表示，而第j個(gè)元素(n高于或等于j，并且j高于或等于1)被設(shè)置為xj，并且類(lèi)似地，均值向量mc的第j維元素被設(shè)置為mjc。

[數(shù)學(xué)表達(dá)式5]

此外，與本文中的異常得分d(距離d)的計(jì)算一起，輸出n個(gè)特征量相對(duì)于異常得分d的貢獻(xiàn)程度。本文提及的貢獻(xiàn)程度是指每個(gè)特征量相對(duì)于異常得分d的貢獻(xiàn)率，并且當(dāng)在稍后階段中可視化異常得分圖時(shí)在步驟s312中被讀取使用。貢獻(xiàn)程度計(jì)算方法可以被用于以下計(jì)算。當(dāng)權(quán)重w的第j維中相對(duì)于x'的元素被設(shè)置為wj，并且特征向量被設(shè)置為e時(shí)，與異常得分d的關(guān)系可以由表達(dá)式6表示。

[數(shù)學(xué)表達(dá)式6]

因而，要獲得的第j維特征量的貢獻(xiàn)程度wj作為表達(dá)式7被計(jì)算。

[數(shù)學(xué)表達(dá)式7]

輸出這樣計(jì)算出的wj，以便在步驟s306的可視化處理中使用。此外，相對(duì)于異常得分d預(yù)先設(shè)定閾值，并且在步驟s303中，鑒別單元確定為正?；虍惓?。

步驟s304

在步驟s304中，確定是否執(zhí)行基于異常得分圖的缺陷候選區(qū)域可視化。用戶可以預(yù)先設(shè)置是否執(zhí)行缺陷候選區(qū)域可視化。當(dāng)設(shè)置不執(zhí)行異常得分圖可視化時(shí)，處理前進(jìn)到步驟s305。當(dāng)設(shè)置執(zhí)行異常得分圖可視化時(shí)，處理前進(jìn)到步驟s306以執(zhí)行缺陷候選區(qū)域可視化?？梢曰谠诓襟Es304中獲得的正?；虍惓４_定結(jié)果來(lái)確定處理前進(jìn)到步驟s306還是步驟s305。即，當(dāng)被確定為異常時(shí)，處理可以自動(dòng)前進(jìn)到步驟s306。

步驟s305

在步驟s305中，圖整合單元408向顯示裝置104輸出關(guān)于其是正常還是異常、異常得分等的信息。

步驟s306

在步驟s306中，缺陷區(qū)域被可視化。這個(gè)處理將通過(guò)使用圖4的處理流程圖來(lái)描述。

步驟s308

在步驟s308中，圖生成單元407獲得輸入圖像401。

步驟s309

在步驟s309中，圖生成單元407計(jì)算表示在步驟s301中提取的特征量的得分的得分圖。例如，當(dāng)在步驟s301中提取的n個(gè)特征量中的一個(gè)是通過(guò)haar小波變換獲得的層次圖像的最大值時(shí)，由圖生成單元407生成的圖與用于在步驟s301中提取最大值的層次圖像相同。此外，當(dāng)在步驟s301中提取的n個(gè)特征量中的一個(gè)是通過(guò)haar小波變換獲得的層次圖像的平均值時(shí)，通過(guò)將層次圖像劃分成具有任意尺寸的網(wǎng)格并且計(jì)算各個(gè)網(wǎng)格中的平均值所獲得的圖像被設(shè)置為得分圖。

步驟s310

在步驟s310中，圖生成單元407對(duì)在步驟s309中獲得的得分圖執(zhí)行歸一化。通過(guò)與步驟s309類(lèi)似的方法，包括無(wú)缺陷檢查目標(biāo)對(duì)象的多個(gè)訓(xùn)練圖像被預(yù)先變換成對(duì)應(yīng)于相應(yīng)特征的得分圖，并且計(jì)算所獲得的得分圖的平均值和標(biāo)準(zhǔn)偏差，以便被保持在例如rom1020中。其后，讀出所保持的平均值和標(biāo)準(zhǔn)偏差，并且使用讀取的值對(duì)步驟s309中獲得的得分圖進(jìn)行歸一化。

步驟s311

在步驟s311中，基于用戶設(shè)置，圖整合單元408確定是否僅剩下高于或等于閾值的得分圖的值，或者所有值都剩下。如果設(shè)置了閾值截止，那么在步驟s313中將低于或等于閾值的所有區(qū)域設(shè)置為0。

步驟s312

在步驟s312中，圖整合單元408讀取在步驟s302中輸出的特征量的貢獻(xiàn)程度，并通過(guò)使用貢獻(xiàn)程度作為相應(yīng)得分圖的重要程度來(lái)將各個(gè)得分圖彼此整合，以創(chuàng)建缺陷顯示圖像。在這個(gè)時(shí)候?qū)⒃趫D6的概念圖中圖示創(chuàng)建影響重要程度的圖像的處理。圖6的概念表示圖5b的圖整合單元408的細(xì)節(jié)。

在表達(dá)式7中計(jì)算的重要程度w相對(duì)于輸入的n個(gè)特征量保持相應(yīng)的權(quán)重w1至wn，如圖6中所示，并且這些權(quán)重從鑒別單元406發(fā)送到圖整合單元408。然后，從n個(gè)特征量計(jì)算的相應(yīng)圖分別作為fmap1至fmapn從圖生成單元407發(fā)送。其后，分別對(duì)應(yīng)的圖乘以重要程度，并且為所有圖中的每個(gè)相同像素計(jì)算線性和，以生成單個(gè)缺陷顯示圖像。應(yīng)當(dāng)指出的是，當(dāng)相應(yīng)的得分圖彼此整合時(shí)，相應(yīng)的得分圖被一次變換成具有與原始輸入圖像401相同的分辨率，然后彼此整合。缺陷顯示圖像是其中缺陷區(qū)域被強(qiáng)調(diào)的圖像以及指示由鑒別單元406確定為異常的原因的圖像。

步驟s313

在步驟s313中，圖整合單元408將在步驟s310中歸一化的相應(yīng)圖中具有小于等于閾值的得分的區(qū)域的所有得分都設(shè)置為0。因而，由于只有缺陷區(qū)域具有得分，因此在將缺陷區(qū)域重疊在要顯示的輸入圖像401上的情況下，便于用戶識(shí)別缺陷區(qū)域的位置。

步驟s307

在步驟s307中，圖整合單元408將在步驟s306中生成的得分圖輸出到顯示裝置104，以便顯示。在步驟s305中，圖整合單元408輸出關(guān)于其是正常還是異常的信息、異常得分等，并且處理結(jié)束。

根據(jù)本實(shí)施例，用戶可以直觀地找出檢查對(duì)象與異常確定結(jié)果一起被判定為異常的原因。為此，當(dāng)調(diào)整與檢查相關(guān)的參數(shù)并且當(dāng)發(fā)現(xiàn)特定異常模式的發(fā)生次數(shù)以提供對(duì)生產(chǎn)線中的處理的反饋?zhàn)鳛閳?zhí)行修改的對(duì)策時(shí)，上述配置是有益的。

第二實(shí)施例

在下文中，將參照附圖描述本發(fā)明的第二實(shí)施例(示例性實(shí)施例)。根據(jù)第二實(shí)施例，在通過(guò)拍攝單個(gè)檢查目標(biāo)獲得多個(gè)圖像并且從每個(gè)圖像提取特征量以執(zhí)行外觀檢查的情況下，生成指示檢查結(jié)果的原因的圖像。

將參考圖8描述安裝根據(jù)本實(shí)施例的信息處理裝置801的硬件配置。圖8的配置類(lèi)似于圖1的配置，但是被設(shè)計(jì)成使得在檢查目標(biāo)802上形成大的不規(guī)則結(jié)構(gòu)，并且準(zhǔn)確地檢測(cè)不規(guī)則上的紋理異常。因此，與圖1相比，不同之處在于提供了八個(gè)照明裝置805至812，并且照相裝置805至812由信息處理裝置801控制。

圖8是使用根據(jù)本實(shí)施例的信息處理裝置801的外觀檢查系統(tǒng)的概念圖。

圖像拾取裝置803由可以獲得檢查目標(biāo)802的表面的畫(huà)面(圖像模式)并將獲得的畫(huà)面發(fā)送到信息處理裝置801的攝像機(jī)等構(gòu)成。在本文中，照明裝置805至812的照明時(shí)間與圖像拾取裝置803的圖像拾取同步地被控制，并且拍攝與檢查目標(biāo)802相關(guān)的多種類(lèi)型的圖像。在圖8中，照明裝置805至812被示例為具有不同照射角度的照明，但是這些照明裝置不僅可以發(fā)射可見(jiàn)光或均勻照明，而且可以發(fā)射紅外線或任意模式的照明。特別地，在獲得并使用檢查目標(biāo)802的三維結(jié)構(gòu)的情況下，發(fā)射多個(gè)模式照明，以執(zhí)行圖像拾取。此外，可以在基于這八個(gè)照明的組合的照明條件下進(jìn)行拍攝。根據(jù)本實(shí)施例，將在單個(gè)照明條件下執(zhí)行一次圖像拾取以獲得待處理的八個(gè)輸入圖像的情況下進(jìn)行描述。

信息處理裝置801以上述方式控制照明裝置805至812，并且通過(guò)使用由圖像拾取裝置803拍攝和發(fā)送的多種類(lèi)型的視頻畫(huà)面來(lái)執(zhí)行用于檢測(cè)異常的信息處理。

檢查目標(biāo)對(duì)象802是被設(shè)置為由信息處理裝置801確定為正?；虍惓５哪繕?biāo)的對(duì)象。

顯示裝置804由監(jiān)視器等構(gòu)成。對(duì)顯示裝置804的確定結(jié)果顯示示例與圖2中所示的第一實(shí)施例的相似。

圖9是本實(shí)施例的功能框圖。在下文中，將描述根據(jù)本實(shí)施例的圖9中的信息處理裝置的相應(yīng)功能。

輸入圖像9005至9012是在由照明裝置805至812形成的照明環(huán)境下由圖像拾取單元803拍攝的檢查目標(biāo)對(duì)象的圖像。特征提取單元9050至9057分別從輸入圖像9005至9012提取特征量。根據(jù)本實(shí)施例，與第一實(shí)施例中類(lèi)似，從通過(guò)對(duì)輸入圖像執(zhí)行頻率變換所獲得的圖像中提取最大值、平均值、方差、峰度、偏度、對(duì)比度、最大梯度等作為特征量。

鑒別單元906通過(guò)使用由特征提取單元9050至9057提取的特征量來(lái)確定輸入圖像9005至9012中所包括的檢查目標(biāo)對(duì)象是正常還是異常。

圖生成單元9070至9077從輸入圖像9005至9012分別生成對(duì)應(yīng)于提取出的特征的相應(yīng)特征量的對(duì)應(yīng)圖。

圖整合單元908參考各個(gè)特征量相對(duì)于由鑒別單元906進(jìn)行鑒別時(shí)獲得的鑒別結(jié)果的貢獻(xiàn)程度，并且整合由圖生成單元9070至9077為每個(gè)特征量生成的多個(gè)圖，以生成其中缺陷候選區(qū)域被可視化的可視化的圖像909。與第一實(shí)施例類(lèi)似地執(zhí)行用于生成可視化的圖像909的處理，但是差異在于輸入圖像的數(shù)量。根據(jù)第一實(shí)施例，檢查是通過(guò)使用從單個(gè)輸入圖像提取的特征量組來(lái)執(zhí)行的，但是根據(jù)本實(shí)施例，檢查是通過(guò)使用從多個(gè)圖像提取的特征量組(類(lèi)似地像根據(jù)第一實(shí)施例從單個(gè)輸入圖像提取的特征量組)來(lái)執(zhí)行的。在這里，將參考圖10的概念圖來(lái)描述生成可視化的圖像的方法。圖10的概念圖10表示圖9的圖整合單元908的細(xì)節(jié)。

在下文中，將參考圖3描述根據(jù)本實(shí)施例的處理流程圖。

(步驟s301)

處理的序列(諸如步驟s301中的特征提取)與第一實(shí)施例的類(lèi)似。通過(guò)分別對(duì)應(yīng)的特征提取單元9050至9057分別從輸入圖像9005至9012提取特征量。根據(jù)用于從單個(gè)輸入圖像進(jìn)行特征提取的方法，通過(guò)基于haar小波變換的濾波處理，通過(guò)從高頻分量到低頻分量的垂直、水平和對(duì)角線方向的頻率分量的圖像分解生成多個(gè)層次圖像。其后，從多個(gè)生成的層次圖像中提取多個(gè)特征量。關(guān)于也在本文中提取的特征量，與第一實(shí)施例中類(lèi)似，預(yù)先選擇使得可以高度準(zhǔn)確地檢測(cè)異常數(shù)據(jù)的特征量。但是，應(yīng)當(dāng)指出的是，根據(jù)本實(shí)施例，由于在對(duì)所有八個(gè)輸入圖像執(zhí)行特征選擇之前進(jìn)行特征提取處理，因此，與第一實(shí)施例相比，提取的特征量是在8倍特征量被提取的狀態(tài)下進(jìn)行選擇的。其后，從所有這些提取的特征中搜索特征量的令人滿意的組合?？梢酝ㄟ^(guò)使用在相關(guān)技術(shù)中作為特征選擇方法的lasso、圖形切割、使用遺傳算法的特征選擇技術(shù)等執(zhí)行該選擇。作為特征選擇的結(jié)果，由特征提取單元9050至9057提取的特征量不一定需要分別具有相同的特征量集合，并且提取的特征量的數(shù)量也不一定需要彼此相等。在一些情況下，從在某些照明條件下拍攝的圖像中提取的特征數(shù)可以為0。

在下文中，關(guān)于通過(guò)特征選擇處理預(yù)先最終選擇的特征量，從所有輸入圖像提取的特征量的總數(shù)被設(shè)置為幾十個(gè)特征量。

(步驟s302)

在步驟s302中，從步驟s301中提取的特征量從特征提取單元9050發(fā)送到9057，并且由鑒別單元906執(zhí)行正常/異常確定。應(yīng)當(dāng)指出的是，根據(jù)本實(shí)施例，與第一實(shí)施例類(lèi)似，鑒別單元906基于距表示已經(jīng)由子空間方法作為正態(tài)分布被學(xué)習(xí)的正常區(qū)域的更高維度表面的距離來(lái)確定是否存在異常。與第一實(shí)施例類(lèi)似，執(zhí)行相應(yīng)特征量對(duì)于異常得分的貢獻(xiàn)程度的計(jì)算方法，并且輸出相應(yīng)特征量的計(jì)算出的貢獻(xiàn)程度。在步驟s303中，鑒別單元確定它是正常還是異常。

(步驟s304)

在步驟s304中，確定是否執(zhí)行基于異常得分圖的缺陷候選區(qū)域可視化。用戶可以預(yù)先設(shè)置是否執(zhí)行缺陷候選區(qū)域可視化。當(dāng)設(shè)置成不執(zhí)行異常得分圖可視化時(shí)，處理前進(jìn)到步驟s305。當(dāng)設(shè)置成執(zhí)行異常得分圖可視化時(shí)，處理前進(jìn)到步驟s306，以執(zhí)行缺陷候選區(qū)域可視化?？梢曰谠诓襟Es304中獲得的正?；虍惓５拇_定結(jié)果來(lái)確定處理是前進(jìn)到步驟s306還是步驟s305。即，當(dāng)確定為異常時(shí)，處理可以自動(dòng)前進(jìn)到步驟s306。

(步驟s305)

在步驟s305中，圖整合單元908向顯示裝置104輸出關(guān)于其是正常還是異常、異常得分等的信息。

(步驟s306)

在步驟s306中，缺陷區(qū)域被可視化。這個(gè)處理將通過(guò)使用圖4的處理流程圖來(lái)描述。

(步驟s308)

在步驟s308中，圖生成單元9070至9077獲得輸入圖像9005至9012。

(步驟s309)

在步驟s309中，類(lèi)似于第一實(shí)施例，圖生成單元9070至9077計(jì)算表示在步驟s301中提取的特征量的得分的得分圖。

(步驟s310)

在步驟s310中，類(lèi)似于第一實(shí)施例，圖生成單元9070至9077執(zhí)行在步驟s309中獲得的得分圖的歸一化。

(步驟s311)

在步驟s311中，基于用戶設(shè)置，圖整合單元908確定是否僅剩下高于或等于閾值的得分圖的值，或者所有值都剩下。如果設(shè)置了閾值截止，那么在步驟s313中將低于或等于閾值的所有區(qū)域設(shè)置為0。

(步驟s312)

在步驟s312中，圖整合單元908讀取在步驟s302中輸出的特征量的貢獻(xiàn)程度，并通過(guò)使用貢獻(xiàn)程度作為相應(yīng)得分圖的重要程度來(lái)將相應(yīng)得分圖彼此整合，以創(chuàng)建缺陷顯示圖像。在這個(gè)時(shí)候?qū)⒃趫D10的概念圖中圖示創(chuàng)建被影響重要程度的圖像的處理。圖10的概念表示圖9的圖整合單元908的細(xì)節(jié)。在這個(gè)時(shí)候的圖整合中，也使用多個(gè)輸入圖像。從特征量分別計(jì)算的圖fmap90701至fmapn乘以對(duì)應(yīng)的重要程度，并且對(duì)于所有圖中的每個(gè)相同像素計(jì)算線性和，以生成單個(gè)缺陷顯示圖像。應(yīng)當(dāng)指出的是，當(dāng)相應(yīng)的得分圖彼此整合時(shí)，相應(yīng)的得分圖被一次變換成具有與原始輸入圖像9005至9012相同的分辨率，然后彼此整合。如果輸入圖像9005至9012的圖像尺寸彼此不同，那么將那些圖像尺寸變換成相同尺寸(例如，與輸入圖像的最大尺寸匹配)，并且彼此耦合。

缺陷顯示圖像是其中缺陷區(qū)域被強(qiáng)調(diào)的圖像以及指示由鑒別單元406確定為異常的原因的圖像。

(步驟s313)

在步驟s313中，圖整合單元908將在步驟s310中歸一化的各個(gè)圖中具有小于或等于閾值的得分的區(qū)域的所有得分都設(shè)置為0。因而，由于只有缺陷區(qū)域具有得分，因此在將缺陷區(qū)域重疊在要顯示的輸入圖像401上的情況下，便于用戶識(shí)別缺陷區(qū)域的位置。

(步驟s307)

在步驟s307中，圖整合單元908將在步驟s306中生成的得分圖輸出到顯示裝置104，以便顯示。在步驟s305中，圖整合單元408輸出關(guān)于其是正常還是異常、異常得分等的信息，并且處理結(jié)束。

根據(jù)本實(shí)施例，用戶可以直觀地找出檢查對(duì)象與異常確定結(jié)果一起被判定為異常的原因。為此，當(dāng)調(diào)整與檢查相關(guān)的參數(shù)時(shí)并且當(dāng)發(fā)現(xiàn)特定異常模式的發(fā)生次數(shù)以提供對(duì)生產(chǎn)線中的處理的反饋?zhàn)鳛閳?zhí)行修改的對(duì)策時(shí)，上述配置是有益的。除了上述之外，還有可能取決于在多個(gè)照明條件下獲得的拍攝圖像和s302中輸出的對(duì)應(yīng)于相應(yīng)圖像的特征量的貢獻(xiàn)程度來(lái)找出重要的拍攝條件，以及缺陷在哪種拍攝條件下更有可能被識(shí)別的趨勢(shì)。

第三實(shí)施例

在下文中，將參照附圖描述本發(fā)明的第三實(shí)施例(示例性實(shí)施例)。類(lèi)似于第二實(shí)施例，根據(jù)第三實(shí)施例的方法，通過(guò)拍攝單個(gè)檢查目標(biāo)來(lái)獲得多個(gè)圖像。對(duì)于在提取每個(gè)圖像的特征量以執(zhí)行外觀檢查的情況下指示檢查結(jié)果的原因的圖像，顯示其中異常區(qū)域被強(qiáng)調(diào)并且來(lái)自輸入圖像的拍攝在多個(gè)照明條件下拍攝的合成圖像，作為可視化結(jié)果，而不是基于異常得分圖的可視化的圖像。根據(jù)本實(shí)施例，例如，在初始設(shè)置下，即使當(dāng)如圖8中所示的照明裝置805至812那樣通過(guò)執(zhí)行拍攝來(lái)執(zhí)行檢查而不調(diào)整照明條件時(shí)，也可以將圖像彼此合成，以獲得合成圖像，作為通過(guò)照明條件的最佳組合獲得的缺陷區(qū)域強(qiáng)調(diào)圖像，使得用戶容易直觀地識(shí)別，并且可以將合成圖像呈現(xiàn)給用戶。

將通過(guò)圖9與圖11之間的比較來(lái)描述本實(shí)施例與第二實(shí)施例之間的區(qū)別。根據(jù)本實(shí)施例，不存在根據(jù)第二實(shí)施例的圖生成單元9070至9077和圖整合單元908，而是代替地存在接收輸入圖像并輸出可視化的圖像911的圖像合成單元910。因此，除了s306中用于缺陷區(qū)域的可視化的流程由根據(jù)本實(shí)施例的圖15替換之外，與圖3中所示的s301至s307相關(guān)的處理流程與第二實(shí)施例類(lèi)似。

步驟s314

在步驟s314中，輸入圖像9005至9012被讀取，以被發(fā)送到圖像合成單元910。

步驟s315

在步驟s302中輸出的相應(yīng)特征量的貢獻(xiàn)程度(重要程度)從鑒別單元906發(fā)送到圖像合成單元910。其后，計(jì)算對(duì)應(yīng)于相應(yīng)輸入圖像的重要程度。圖12圖示了由圖像合成單元910進(jìn)行的處理的示例的細(xì)節(jié)。對(duì)應(yīng)于相應(yīng)輸入圖像9005至9012的重要程度由相應(yīng)特征量重要程度中對(duì)應(yīng)于相應(yīng)輸入圖像的重要程度之和來(lái)定義。通過(guò)整合針對(duì)相應(yīng)輸入圖像計(jì)算的重要程度而獲得的值可以采用十進(jìn)制格式，并且采用超過(guò)亮度范圍0至255的二維矩陣形式。這些獲得的結(jié)果被累積，并且最終獲得的二維矩陣被再次歸一化成包含在0至255的范圍內(nèi)，以獲得可視化的圖像911。

第四實(shí)施例

在下文中，將參照附圖描述本發(fā)明的第四實(shí)施例(示例性實(shí)施例)。根據(jù)第四實(shí)施例，在通過(guò)拍攝單個(gè)檢查目標(biāo)獲得多個(gè)圖像并且通過(guò)從圖像中提取特征量來(lái)執(zhí)行外觀檢查的情況下，由鑒別器計(jì)算用于每個(gè)圖像的異常程度，并且按輸入圖像的數(shù)量而定的異常程度被彼此整合，以再次確定其是正常還是異常，并且還通過(guò)將這個(gè)時(shí)候的多個(gè)異常得分設(shè)置為參考來(lái)生成指示檢查結(jié)果的原因的圖像。

根據(jù)第二實(shí)施例，當(dāng)輸入在多個(gè)照明條件下獲得的拍攝圖像時(shí)，從所拾取的圖像提取的特征量被彼此整合，以便由單個(gè)鑒別器確定為正常或異常。但是，由于在生產(chǎn)線中的實(shí)際使用情況下執(zhí)行單獨(dú)拍攝花費(fèi)時(shí)間，尤其是如果在所有拍攝結(jié)束時(shí)才執(zhí)行檢查的話，就所花費(fèi)的時(shí)間而言這可能是不方便的。鑒于上述情況，在執(zhí)行上述檢查的情況下，設(shè)計(jì)了以下線：其中布置有檢測(cè)對(duì)于相應(yīng)輸入圖像具有不同趨勢(shì)的異常的檢查裝置。在上述情況下，也旨在通過(guò)使用由每個(gè)鑒別器輸出的異常得分來(lái)生成指示檢查結(jié)果的原因的圖像。

在圖13中，輸入圖像9005至9012被輸入，并且從輸入圖像9005至9012中提取在特征提取單元9050至9057中先前選擇的特征量。在鑒別單元9060至9067中針對(duì)分別提取的特征量來(lái)計(jì)算異常程度d130至d137。在本文中，鑒別單元9060至9067例如通過(guò)子空間方法等執(zhí)行鑒別，并且使用使得可以計(jì)算距正常數(shù)據(jù)的分布的距離作為異常程度的方法。每個(gè)鑒別處理和由圖整合單元9080至9087輸出圖的處理與其中拍攝一個(gè)輸入圖像的根據(jù)第一實(shí)施例的那些處理相似，并且執(zhí)行鑒別處理和可視化圖像生成。按輸入圖像的數(shù)量而定的異常程度被進(jìn)一步發(fā)送到鑒別單元90600，以便以綜合的方式確定結(jié)果，使得確定檢查目標(biāo)是正常還是異常。鑒別單元90600可以使用任何鑒別方法。例如，可以使用簡(jiǎn)單的方法，諸如對(duì)異常程度d130至d137的總值執(zhí)行閾值確定的方法，或者針對(duì)每個(gè)異常程度d130至d137預(yù)先設(shè)置閾值并在甚至其中一個(gè)異常程度超過(guò)閾值的情況下將其確定為異常的方法。其后，由相應(yīng)的圖整合單元9080至9087計(jì)算出的特征量圖fmap1300至fmap1307被發(fā)送到圖整合單元90800。然后，圖整合單元90800接收由鑒別單元9060至9067輸出的異常程度d130至d137。如圖14中所示，關(guān)于相應(yīng)特征量得分圖的對(duì)應(yīng)異常程度被相互整合并累積，以生成可視化的圖像909。這基于如下想法：由于可以想到具有高異常程度的對(duì)象強(qiáng)烈地反映相應(yīng)的異常趨勢(shì)，因此這可以等同于根據(jù)第一至第三實(shí)施例的重要程度來(lái)對(duì)待。

其它實(shí)施例

本發(fā)明的實(shí)施例還可以通過(guò)系統(tǒng)或裝置的計(jì)算機(jī)來(lái)實(shí)現(xiàn)，該計(jì)算機(jī)讀出并執(zhí)行記錄在存儲(chǔ)介質(zhì)(例如，非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì))上的計(jì)算機(jī)可執(zhí)行指令以執(zhí)行本發(fā)明的上述(一個(gè)或多個(gè))實(shí)施例中的一個(gè)或多個(gè)；以及還可以通過(guò)由系統(tǒng)或裝置的計(jì)算機(jī)通過(guò)例如從存儲(chǔ)介質(zhì)讀出并執(zhí)行計(jì)算機(jī)可執(zhí)行指令以執(zhí)行上述(一個(gè)或多個(gè))實(shí)施例中的一個(gè)或多個(gè)的功能的方法來(lái)實(shí)現(xiàn)。計(jì)算機(jī)可以包括中央處理單元(cpu)、微處理單元(mpu)或其它電路系統(tǒng)中的一個(gè)或多個(gè)，并且可以包括單獨(dú)計(jì)算機(jī)或單獨(dú)計(jì)算機(jī)處理器的網(wǎng)絡(luò)。計(jì)算機(jī)可執(zhí)行指令可以例如從網(wǎng)絡(luò)或存儲(chǔ)介質(zhì)提供給計(jì)算機(jī)。存儲(chǔ)介質(zhì)可以包括例如硬盤(pán)、隨機(jī)存取存儲(chǔ)器(ram)、只讀存儲(chǔ)器(rom)、分布式計(jì)算系統(tǒng)的存儲(chǔ)裝置、光盤(pán)(諸如緊湊盤(pán)(cd)、數(shù)字通用光盤(pán)(dvd)或藍(lán)光光盤(pán)(bd)^tm)、閃存設(shè)備、存儲(chǔ)卡等中的一個(gè)或多個(gè)。

雖然已經(jīng)參考示例性實(shí)施例描述了本發(fā)明，但是應(yīng)當(dāng)理解的是，本發(fā)明不限于所公開(kāi)的示例性實(shí)施例。所附權(quán)利要求的范圍應(yīng)當(dāng)被賦予最廣泛的解釋?zhuān)员愫w所有此類(lèi)修改以及等同的結(jié)構(gòu)和功能。

本申請(qǐng)要求于2014年12月12日提交的日本專(zhuān)利申請(qǐng)no.2014-251881和于2015年9月24日提交的日本專(zhuān)利申請(qǐng)no.2015-187463的優(yōu)先權(quán)，因此這兩個(gè)申請(qǐng)通過(guò)引用而全部并入本文。