一種基于計(jì)算機(jī)視覺(jué)的復(fù)雜環(huán)境下果蔬識(shí)別方法
【專利摘要】本發(fā)明公布了一種基于計(jì)算機(jī)視覺(jué)的復(fù)雜環(huán)境下果蔬識(shí)別方法，本發(fā)明包括以下步驟：首先，獲取待識(shí)別果蔬圖像；其次，將獲取到的果蔬圖像進(jìn)行預(yù)處理，預(yù)處理后的圖像被分割為果蔬區(qū)域和背景區(qū)域；提取預(yù)處理后的果蔬圖像特征，其中提取的圖像特征為顏色特征和紋理特征；然后，采用自適應(yīng)加權(quán)方法對(duì)果蔬特征進(jìn)行融合；最后，采用最近鄰分類算法對(duì)果蔬進(jìn)行識(shí)別。本發(fā)明相比已有的果蔬識(shí)別系統(tǒng)，算法復(fù)雜度低，識(shí)別率高，具有很強(qiáng)的使用性，可以有效的應(yīng)用于日常生活中。
【專利說(shuō)明】一種基于計(jì)算機(jī)視覺(jué)的復(fù)雜環(huán)境下果蔬識(shí)別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于計(jì)算機(jī)視覺(jué)的復(fù)雜環(huán)境下果蔬識(shí)別方法。
【背景技術(shù)】
[0002]當(dāng)前，超市中針對(duì)水果，蔬菜等產(chǎn)品的售賣，主要依靠條形碼來(lái)獲取產(chǎn)品的價(jià)格，但由于果蔬產(chǎn)品往往要經(jīng)過(guò)包裝后才能貼上條形碼標(biāo)簽，這消耗了大量的人力物力，此外由于果蔬品種繁多，不同果蔬的價(jià)格不同，各種價(jià)格主要依靠人工記憶，這大大增加了超市培訓(xùn)人員的經(jīng)濟(jì)，時(shí)間成本，因此，更加合理、快速的解決途徑亟待提出。基于計(jì)算機(jī)視覺(jué)的農(nóng)產(chǎn)品檢測(cè)技術(shù)由于簡(jiǎn)單可行，已經(jīng)廣泛應(yīng)用于農(nóng)產(chǎn)品品質(zhì)檢測(cè)，農(nóng)產(chǎn)品收獲機(jī)器人，農(nóng)副產(chǎn)品加工自動(dòng)化等領(lǐng)域，但應(yīng)用于超市果蔬識(shí)別方面的研究較少，不同于已有的計(jì)算機(jī)視覺(jué)農(nóng)產(chǎn)品檢測(cè)方法，基于計(jì)算機(jī)視覺(jué)的超市果蔬識(shí)別方法要滿足如下幾方面的條件:
[0003]1，復(fù)雜環(huán)境中的穩(wěn)定識(shí)別算法。超市中的環(huán)境復(fù)雜，采集到的果蔬圖片往往會(huì)出現(xiàn)陰影，遮擋，光線變化等情況，系統(tǒng)所采用的圖像分割算法及特征提取方法應(yīng)對(duì)復(fù)雜情況應(yīng)具備一定的魯棒性，使得系統(tǒng)的識(shí)別性能趨于穩(wěn)定。
[0004]2，果蔬的隨機(jī)性。由于超市中的果蔬售賣時(shí)，選取的果蔬大小，個(gè)數(shù)，擺放位置都是隨機(jī)的，因此識(shí)別算法必須滿足果蔬任意數(shù)量，任意擺放位置下都能穩(wěn)定識(shí)別。
[0005]3，低復(fù)雜度識(shí)別算法。果蔬識(shí)別系統(tǒng)采用芯片處理能力有限，因此果蔬識(shí)別的算法不能過(guò)于復(fù)雜。
[0006]在本發(fā)明之前，國(guó)內(nèi)外針對(duì)超市中果蔬識(shí)別的研究較少，主要存在以下幾方面問(wèn)題:1，實(shí)用型，低復(fù)雜度果蔬識(shí)別算法較少。針對(duì)超市果蔬識(shí)別最早的研究可以追溯到1996年，Bolle等人采用顏色特征和紋理特征實(shí)現(xiàn)了果蔬識(shí)別的研究，并開發(fā)了“VeggieVision”系統(tǒng)，但該系統(tǒng)所采用的圖像分割，特征提取技術(shù)，特征融合方法過(guò)于陳舊，特征提取方法需要采用高運(yùn)算量的卷積運(yùn)算，特征融合部分未進(jìn)行深入研究，系統(tǒng)果蔬識(shí)別率較低；2，高復(fù)雜度算法實(shí)用性較差。針對(duì)超市果蔬識(shí)別的研究，直到到2008年后才開始有相關(guān)文獻(xiàn)見(jiàn)刊，但此時(shí)針對(duì)果蔬識(shí)別研究的算法，大多集中在理論方面，其中采用的特征識(shí)別提取算法，特征融合算法，分類器算法多為高復(fù)雜度算法，部分文獻(xiàn)中采用的特征提取方法，由于算法復(fù)雜度較高不具備實(shí)用性。

【發(fā)明內(nèi)容】

[0007]本發(fā)明所要解決的技術(shù)問(wèn)題是針對(duì)上述現(xiàn)有技術(shù)的不足，而提供運(yùn)算量更快、識(shí)別率高的基于計(jì)算機(jī)視覺(jué)的復(fù)雜環(huán)境下果蔬識(shí)別方法。
[0008]為解決上述技術(shù)問(wèn)題，本發(fā)明的技術(shù)方案是:
[0009]一種基于計(jì)算機(jī)視覺(jué)的復(fù)雜環(huán)境下果蔬識(shí)別方法，其特征在于，步驟如下:
[0010](I)獲取待識(shí)別果蔬圖像；
[0011](2)將獲取到的果蔬圖像進(jìn)行預(yù)處理，預(yù)處理后的圖像被分割為果蔬區(qū)域和背景區(qū)域；圖像的分割成功與否，直接影響到后期果蔬能否正確識(shí)別，我們分別在RGB，HSV, Lab等顏色空間，以及a*R+b*G+c*B,單通道H, S等不同的空間，采用Otsu,Norm.Cut,K_mean等眾多分割方法，結(jié)果發(fā)現(xiàn)僅有本發(fā)明提出的分割方法能夠較好的實(shí)現(xiàn)果蔬圖像的分割。
[0012]預(yù)處理的具體步驟為:
[0013](a)對(duì)圖片進(jìn)行切割處理，切掉不必要的外界干擾；
[0014](b)改變切割圖像的大小，使得圖片的處理速度進(jìn)一步加快；
[0015](c)對(duì)切割后的圖片進(jìn)行中值濾波；
[0016](d)首先將RGB彩色圖像轉(zhuǎn)換到Lab彩色空間中，然后采用K_mean方法對(duì)圖片進(jìn)行分割；
[0017](e)對(duì)分割后的圖片進(jìn)行空洞填充處理；
[0018](f)將濾波后的圖片與填充空洞圖片進(jìn)行交集運(yùn)算，得到最終的分割圖片；
[0019](3)提取預(yù)處理后的果蔬圖像特征，其中提取的圖像特征為顏色特征和紋理特征；
[0020](4)采用自適應(yīng)加權(quán)方法對(duì)果蔬特征進(jìn)行融合:
[0021]特征融合中，權(quán)值的選取往往決定了融合效果的好壞，采用測(cè)試樣本與數(shù)據(jù)庫(kù)樣本之間的最小距離的倒數(shù)作為權(quán)重，這種方法在特征的維數(shù)相同，貢獻(xiàn)度相近時(shí)融合效果較好，但當(dāng)特征維數(shù)不同時(shí)，容易出現(xiàn)個(gè)別特征權(quán)重過(guò)大的情況，使得融合后的識(shí)別效果反倒不如融合前的識(shí)別效果。本發(fā)明提出首先采用指數(shù)函數(shù)將最小距離倒數(shù)權(quán)值中的較小權(quán)重變大，較大權(quán)重變小，然后采用求取均值的方式，得到一種新的特征融合權(quán)值，從而解決上述問(wèn)題。特征融合的具體步驟為:
[0022](a)分別計(jì)算待識(shí)別樣本的N個(gè)特征與對(duì)應(yīng)N個(gè)特征數(shù)據(jù)庫(kù)的距離，得到N個(gè)距離向量，分別求取N個(gè)距離向量中的最小值；
[0023](b)求取N個(gè)距離向量最小值的倒數(shù)，并將其歸一化，得到N個(gè)特征融合權(quán)值，定義為最小距離倒數(shù)權(quán)重；
[0024](C)為了使最小距離倒數(shù)權(quán)值中的較小權(quán)重變大，較大權(quán)重變小，求取最小距離倒數(shù)權(quán)重的指數(shù)，并將其歸一化，得到N個(gè)新的權(quán)值，定義為指數(shù)最小距離倒數(shù)權(quán)重向量；
[0025](d)考慮到指數(shù)函數(shù)對(duì)最小距離倒數(shù)權(quán)重改變幅度過(guò)大，求取最小距離倒數(shù)權(quán)重與指數(shù)最小距離倒數(shù)權(quán)重的均值，并將其歸一化，得到N個(gè)新的權(quán)值，定義為調(diào)和自適應(yīng)權(quán)
值向量；
[0026](e)采用調(diào)和自適應(yīng)權(quán)值向量對(duì)特征進(jìn)行融合；
[0027](5)采用最近鄰分類算法對(duì)果蔬進(jìn)行識(shí)別。
[0028]本發(fā)明的優(yōu)點(diǎn)和效果在于:
[0029]1.本發(fā)明采用的自適應(yīng)圖像分割技術(shù)，且能較好地將果蔬與背景圖像分割開來(lái)，提高了后期分類的識(shí)別率；
[0030]2.本發(fā)明采用的特征提取方法，運(yùn)算復(fù)雜度低，識(shí)別率高，更適合實(shí)際應(yīng)用；
[0031]3.本發(fā)明提出的自適應(yīng)特征融合方法，能夠更好地將各特征融合，取得更高的識(shí)別率；
[0032]本發(fā)明的其他優(yōu)點(diǎn)和效果將在下面繼續(xù)描述。
【專利附圖】

【附圖說(shuō)明】[0033]圖1——基于計(jì)算機(jī)視覺(jué)的果蔬識(shí)別方法流程圖。
[0034]圖2—果蔬圖像采集裝置。
[0035]圖3——圖像預(yù)處理圖。
[0036]圖4——特征融合流程圖。
【具體實(shí)施方式】
[0037]下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明所述的技術(shù)方案作進(jìn)一步的闡述。
[0038]圖1所示為依照本發(fā)明一種實(shí)施方式的果蔬識(shí)別方法流程圖。從圖1可以看出，該方法包括以下步驟:
[0039](1)獲取待識(shí)別果蔬圖像
[0040]圖2給出了果蔬圖片的獲取裝置，裝置中所采用的稱為超市中常見(jiàn)的電子稱，其中秤盤大小為32cm*24cm，攝像頭距稱盤的垂直高度為32cm，攝像頭中心距秤盤的傾斜距離為40cm，即攝像頭角度約為45.84°，圖像采集攝像頭為30W像素?cái)z像頭模塊，采集到的果蔬圖片以jpg格式保存，圖片大小為640*480。
[0041](2)將獲取到的果蔬圖像進(jìn)行預(yù)處理，預(yù)處理后的圖像被分割為果蔬區(qū)域和背景區(qū)域具體步驟如下所示；
[0042]步驟1:對(duì)圖片進(jìn)行切割處理，切掉不必要的外界干擾背景，得到大小為560*412的切割圖片，如圖3 (b)所不；
[0043]步驟2:對(duì)圖片進(jìn)行壓縮，使得圖片大小變?yōu)?80*206 ；
[0044]步驟3:對(duì)壓縮后的圖片進(jìn)行中值濾波，如圖3 (C)所示；
[0045]步驟4:將RGB彩色圖像轉(zhuǎn)換到Lab彩色空間中，采用K_mean方法對(duì)圖片進(jìn)行分害I]，分割后的圖片如圖3 (d)所示；
[0046]步驟5:對(duì)3 Cd)中圖片進(jìn)行空洞填充處理，得到填充后的圖片3 Ce);
[0047]步驟6:將3 (C)濾波圖片與3 (e)填充空洞圖片進(jìn)行交集運(yùn)算，得到最終的分割圖片(f)。(3)提取預(yù)處理后的果蔬圖像特征
[0048]分別提取圖像的顏色和紋理統(tǒng)計(jì)特征，其中顏色特征為HSV顏色直方圖特征，紋理特征為局部二值模式(LocalBinaryPatterns, LBP)特征；其中HSV顏色直方圖特征提取方法如下所示:
[0049](a)將RGB顏色空間圖片轉(zhuǎn)換到HSV顏色空間；
[0050](b)對(duì)HSV空間的3個(gè)分量H，S，V分別進(jìn)行量化，其中H被量化為16份，S和V都為4份；
[0051](c)對(duì)量化后的H，S，V三個(gè)顏色通道取不同的權(quán)值組成一個(gè)新的特征向量，如公式(5)所示，公式(I)中H，S，V分別為量化后的顏色分量，Qs, Qv分別為S，V的量化級(jí)數(shù)。
[0052]L = H X Qs X Qv+S X Qv+c*V (5)
[0053]其中，L的取值范圍為[0，1，2，…，255]，用一維直方圖來(lái)表示上式計(jì)算出的L。
[0054]局部二值模式(LBP)特征提取步驟如下:
[0055]對(duì)于圖像中的任一個(gè)點(diǎn)p = [X，y]，給定它的3X3鄰域，中心像素點(diǎn)p被看做為一個(gè)閾值，像素點(diǎn)P的鄰域被定義為N(p, i) = [xi； yj , i = 0，1，…，了，經(jīng)過(guò)LBP編碼后的P點(diǎn)像素值可由公式(6 )算得，[0056]
【權(quán)利要求】
1.一種基于計(jì)算機(jī)視覺(jué)的復(fù)雜環(huán)境下果蔬識(shí)別方法，其特征在于，包括以下步驟: (1)獲取待識(shí)別果蔬圖像；(2)將獲取到的果蔬圖像進(jìn)行預(yù)處理，預(yù)處理后的圖像被分割為果蔬區(qū)域和背景區(qū)域； 預(yù)處理的具體步驟為: Ca)對(duì)圖片進(jìn)行切割處理，切掉不必要的外界干擾； (b)改變切割圖像的大小，使得圖片的處理速度進(jìn)一步加快； (C)對(duì)切割后的圖片進(jìn)行中值濾波；Cd)首先將RGB彩色圖像轉(zhuǎn)換到Lab彩色空間中，然后采用K-mean方法對(duì)圖片進(jìn)行分割； Ce)對(duì)分割后的圖片進(jìn)行空洞填充處理； Cf)將濾波后的圖片與填充空洞圖片進(jìn)行交集運(yùn)算，得到最終的分割圖片； (3)提取預(yù)處理后的果蔬圖像特征，其中圖像特征為顏色特征和紋理特征； (4)采用自適應(yīng)加權(quán)方法對(duì)果蔬特征進(jìn)行融合，特征融合的具體步驟為: Ca)分別計(jì)算待識(shí)別樣本的N個(gè)特征與對(duì)應(yīng)N個(gè)特征數(shù)據(jù)庫(kù)的距離，得到N個(gè)距離向量，分別求取N個(gè)距離向量中的最小值； (b)求取N個(gè)距離向量最小值的倒數(shù)，并將其歸一化，得到N個(gè)特征融合權(quán)值，定義為最小距離倒數(shù)權(quán)重； (c)求取最小距離倒數(shù)權(quán)重的指數(shù)，并將其歸一化，得到N個(gè)新的權(quán)值，定義為指數(shù)最小距離倒數(shù)權(quán)重向量； (d)求取最小距離倒數(shù)權(quán)重與指數(shù)最小距離倒數(shù)權(quán)重的均值，并將其歸一化，得到N個(gè)新的權(quán)值，定義為調(diào)和自適應(yīng)權(quán)值向量； (e)采用調(diào)和自適應(yīng)權(quán)值對(duì)特征進(jìn)行融合； (5)采用最近鄰分類算法對(duì)果蔬進(jìn)行識(shí)別。
【文檔編號(hào)】G06K9/00GK103679144SQ201310652771
【公開日】2014年3月26日 申請(qǐng)日期:2013年12月5日 優(yōu)先權(quán)日:2013年12月5日
【發(fā)明者】陶華偉, 趙力, 高瑞軍, 黃永盛, 奚吉, 虞玲, 王彤, 魏昕 申請(qǐng)人:東南大學(xué)