圖像分類方法及裝置制造方法
【專利摘要】本公開(kāi)是關(guān)于一種圖像分類方法及裝置，所述方法包括：對(duì)圖像中待分類的對(duì)象進(jìn)行圖像分割，得到分割結(jié)果；從圖像中提取所述對(duì)象的第一圖像特征數(shù)據(jù)，以及從分割結(jié)果中提取對(duì)象的第二圖像特征數(shù)據(jù)；對(duì)所述第一圖像特征數(shù)據(jù)和第二圖像特征數(shù)據(jù)進(jìn)行特征編碼，得到編碼后的特征向量；對(duì)所述特征向量進(jìn)行訓(xùn)練，得到所述圖像中所述對(duì)象的分類器；利用分類器對(duì)所述特征向量進(jìn)行分類操作，得到對(duì)象的分類類別。本公開(kāi)中，采用了圖像分割技術(shù)對(duì)圖像中的各個(gè)對(duì)象進(jìn)行了分割，并提取分割結(jié)果中該對(duì)象的特征，以及進(jìn)行編碼和訓(xùn)練，得到該對(duì)象的分類器，然后利用該分類器對(duì)提取的該對(duì)象的特征進(jìn)行分類操作，排除了圖像中背景的干擾，提高了對(duì)象分類的識(shí)別精度。
【專利說(shuō)明】圖像分類方法及裝置

【技術(shù)領(lǐng)域】
[0001 ] 本公開(kāi)涉及圖像分類【技術(shù)領(lǐng)域】，尤其涉及一種圖像分類方法及裝置。

【背景技術(shù)】
[0002]圖像分類技術(shù)是一種從圖像數(shù)據(jù)內(nèi)容到圖像的低層語(yǔ)義理解的重要技術(shù)。普通的圖像分類技術(shù)，先對(duì)要測(cè)試的整張圖像數(shù)據(jù)進(jìn)行特征提取操作，包括SIFT特征、Dense SIFT特征、HOG特征等等。然后，采用相應(yīng)的分類器訓(xùn)練算法對(duì)提取的特征進(jìn)行訓(xùn)練得到分類器，最后，采用該分類器對(duì)要測(cè)試的圖像中的對(duì)象進(jìn)行分類。
[0003]在這種圖像分類方式中，由于大部分圖像數(shù)據(jù)中的對(duì)象其實(shí)僅僅占據(jù)圖像數(shù)據(jù)的一小部分。如果對(duì)整張圖像數(shù)據(jù)進(jìn)行特征提取，不但存在背景數(shù)據(jù)的干擾，而且冗余的數(shù)據(jù)也比較多，并且對(duì)對(duì)象的其他特征數(shù)據(jù)(比如形狀、方向等)沒(méi)有充分利用，從而影響了圖像分類技術(shù)的精度。


【發(fā)明內(nèi)容】

[0004]為克服相關(guān)技術(shù)中存在的問(wèn)題，本公開(kāi)提供一種圖像分類方法及裝置，以解決相關(guān)技術(shù)中圖像分類技術(shù)精度不高的技術(shù)問(wèn)題。
[0005]根據(jù)本公開(kāi)實(shí)施例的第一方面，提供一種圖像分類方法，包括:
[0006]對(duì)圖像中待分類的對(duì)象進(jìn)行圖像分割，得到分割結(jié)果；
[0007]從所述圖像中提取所述對(duì)象的第一圖像特征數(shù)據(jù)，以及從所述分割結(jié)果中提取所述對(duì)象的第二圖像特征數(shù)據(jù)；
[0008]對(duì)所述第一圖像特征數(shù)據(jù)和第二圖像特征數(shù)據(jù)進(jìn)行特征編碼，得到編碼后的特征向量;
[0009]對(duì)所述特征向量進(jìn)行訓(xùn)練，得到所述圖像中所述對(duì)象的分類器；
[0010]利用所述分類器對(duì)所述特征向量進(jìn)行分類操作，得到所述對(duì)象的分類類別。
[0011]可選的，所述從圖像中提取所述對(duì)象的第一圖像特征數(shù)據(jù)，包括:通過(guò)尺度不變特征變換SIFT算法、密集的尺度不變特征變換Dense SIFT算法或方向梯度直方圖HOG算法從所述圖像中提取所述對(duì)象的顏色特征數(shù)據(jù)和紋理特征數(shù)據(jù)，所述顏色特征數(shù)據(jù)和紋理特征數(shù)據(jù)稱為第一圖像特征數(shù)據(jù)；
[0012]所述從分割結(jié)果中提取所述對(duì)象的第二圖像特征數(shù)據(jù)，包括:
[0013]將所述分割結(jié)果中對(duì)象的二值分割圖像進(jìn)行外接矩形對(duì)齊；
[0014]提取所述二值分割圖像的外輪廓邊緣的形狀特征數(shù)據(jù)，所述外輪廓邊緣的形狀特征數(shù)據(jù)稱為第二圖像特征數(shù)據(jù)。
[0015]可選的，所述對(duì)所述第一圖像特征數(shù)據(jù)和第二圖像特征數(shù)據(jù)進(jìn)行特征編碼，得到編碼后的特征向量，包括:
[0016]根據(jù)所述第一圖像特征數(shù)據(jù)和所述第二圖像特征數(shù)據(jù)構(gòu)建特征包BOF模型；
[0017]利用所述BOF模型對(duì)所述第一圖像特征數(shù)據(jù)和第二圖像特征數(shù)據(jù)進(jìn)行特征編碼，得到編碼后的特征向量。
[0018]可選的，所述對(duì)所述特征向量進(jìn)行訓(xùn)練，得到所述圖像中所述對(duì)象的分類器，包括:
[0019]對(duì)所述特征向量采用支持向量機(jī)SVM算法或深度學(xué)習(xí)DL算法進(jìn)行訓(xùn)練，得到所述圖像中所述對(duì)象的分類器。
[0020]根據(jù)本公開(kāi)實(shí)施例的第二方面，提供一種圖像分類裝置，包括:
[0021]分割單元，用于對(duì)圖像中待分類的對(duì)象進(jìn)行圖像分割，得到分割結(jié)果；
[0022]第一提取單元，用于從所述圖像中提取所述對(duì)象的第一圖像特征數(shù)據(jù)；
[0023]第二提取單元，用于從所述分割結(jié)果中提取所述對(duì)象的第二圖像特征數(shù)據(jù)；
[0024]編碼單元，用于對(duì)所述第一圖像特征數(shù)據(jù)和第二圖像特征數(shù)據(jù)進(jìn)行特征編碼，得到編碼后的特征向量；
[0025]訓(xùn)練單元，用于對(duì)所述特征向量進(jìn)行訓(xùn)練，得到所述圖像中所述對(duì)象的分類器；
[0026]分類單元，用于利用所述分類器對(duì)所述特征向量進(jìn)行分類操作，得到所述對(duì)象的分類類別。
[0027]可選的，所述第一提取單元，用于通過(guò)尺度不變特征變換SIFT算法、密集的尺度不變特征變換Dense SIFT算法和方向梯度直方圖HOG算法從所述圖像中提取所述對(duì)象的顏色特征數(shù)據(jù)和紋理特征數(shù)據(jù)，所述顏色特征數(shù)據(jù)和紋理特征數(shù)據(jù)稱為第一圖像特征數(shù)據(jù)。
[0028]可選的，所述第二提取單元包括:
[0029]對(duì)齊單元，用于將所述分割結(jié)果中所述對(duì)象的二值分割圖像進(jìn)行外接矩形對(duì)齊；
[0030]提取子單元，用于提取所述二值分割圖像的外輪廓邊緣的形狀特征數(shù)據(jù)，所述外輪廓邊緣的形狀特征數(shù)據(jù)稱為第二圖像特征數(shù)據(jù)。
[0031]可選的，所述編碼單元包括:
[0032]構(gòu)造單元，用于根據(jù)所述第一圖像特征數(shù)據(jù)和所述第二圖像特征數(shù)據(jù)構(gòu)建特征包BOF模型；
[0033]編碼子單元，用于利用所述BOF模型對(duì)所述第一圖像特征數(shù)據(jù)和第二圖像特征數(shù)據(jù)進(jìn)行特征編碼。
[0034]可選的，所述訓(xùn)練單元包括:
[0035]第一訓(xùn)練單元，用于對(duì)所述特征向量采用支持向量機(jī)SVM算法進(jìn)行訓(xùn)練，得到所述圖像中所述對(duì)象的分類器；和/或
[0036]第二訓(xùn)練單元，用于對(duì)所述特征向量采用深度學(xué)習(xí)DL算法進(jìn)行訓(xùn)練，得到所述圖像中所述對(duì)象的分類器。
[0037]根據(jù)本公開(kāi)實(shí)施例的第二方面，提供一種圖像分類裝置裝置，包括:
[0038]處理器；
[0039]用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；
[0040]其中，所述處理器被配置為:
[0041]對(duì)圖像中待分類的對(duì)象進(jìn)行圖像分割，得到分割結(jié)果；
[0042]從所述圖像中提取所述對(duì)象的第一圖像特征數(shù)據(jù)，以及從所述分割結(jié)果中提取所述對(duì)象的第二圖像特征數(shù)據(jù)；
[0043]對(duì)所述第一圖像特征數(shù)據(jù)和第二圖像特征數(shù)據(jù)進(jìn)行特征編碼，得到編碼后的特征向量;
[0044]對(duì)所述特征向量進(jìn)行訓(xùn)練，得到所述圖像中所述對(duì)象的分類器；
[0045]利用所述分類器對(duì)所述特征向量進(jìn)行分類操作，得到所述對(duì)象的分類類別。
[0046]本公開(kāi)中，采用了圖像分割技術(shù)對(duì)圖像中的各個(gè)對(duì)象進(jìn)行了分割，并提取分割結(jié)果中該對(duì)象的特征，以及進(jìn)行編碼和訓(xùn)練，得到該對(duì)象的分類器，然后利用該分類器對(duì)提取的該對(duì)象的特征進(jìn)行分類操作，排除了原圖像中背景的干擾，從而提高了對(duì)象分類的識(shí)別精度。
[0047]應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本公開(kāi)。

【專利附圖】

【附圖說(shuō)明】
[0048]此處的附圖被并入說(shuō)明書(shū)中并構(gòu)成本說(shuō)明書(shū)的一部分，示出了符合本發(fā)明的實(shí)施例，并與說(shuō)明書(shū)一起用于解釋本發(fā)明的原理。
[0049]圖1是根據(jù)一示例性實(shí)施例示出的一種圖像分類方法的流程圖；
[0050]圖2A為根據(jù)一示例性實(shí)施例示出的一種圖像的示意圖；
[0051]圖2B是對(duì)圖2A進(jìn)行圖像分割后的效果示意圖；
[0052]圖3A為基于SIFT算法提取特征數(shù)據(jù)的過(guò)程示意圖；
[0053]圖3B為根據(jù)特征數(shù)據(jù)構(gòu)造BOF模型直方圖的示意圖；
[0054]圖4是根據(jù)一示例性實(shí)施例示出的一種圖像分類裝置的框圖；
[0055]圖5是根據(jù)一示例性實(shí)施例示出的一種圖像分類裝置的另一框圖；
[0056]圖6是根據(jù)一示例性實(shí)施例示出的一種圖像分類裝置的另一框圖；
[0057]圖7是根據(jù)一示例性實(shí)施例示出的一種圖像分類裝置的另一框圖；
[0058]圖8是根據(jù)一示例性實(shí)施例示出的一種圖像分類裝置的另一框圖；
[0059]圖9是根據(jù)一示例性實(shí)施例示出的一種圖像分類的裝置的另一框圖(移動(dòng)終端的一般結(jié)構(gòu))；
[0060]圖10是根據(jù)一示例性實(shí)施例示出的一種圖像分類的裝置的另一框圖(服務(wù)器的一般結(jié)構(gòu))。

【具體實(shí)施方式】
[0061]這里將詳細(xì)地對(duì)示例性實(shí)施例進(jìn)行說(shuō)明，其示例表示在附圖中。下面的描述涉及附圖時(shí)，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實(shí)施例中所描述的實(shí)施方式并不代表與本發(fā)明相一致的所有實(shí)施方式。相反，它們僅是與如所附權(quán)利要求書(shū)中所詳述的、本發(fā)明的一些方面相一致的裝置和方法的例子。
[0062]請(qǐng)參閱圖1，圖1是根據(jù)一示例性實(shí)施例示出的一種圖像分類方法的流程圖，如圖1所示，所述方法用于終端中，所述方法包括:
[0063]在步驟101中，對(duì)圖像中待分類的對(duì)象進(jìn)行圖像分割，得到分割結(jié)果；
[0064]其中，該步驟中，圖像中的對(duì)象也可以稱為圖像中的物體，比如，圖像中的人,動(dòng)物，座椅等等。
[0065]該步驟中，可以采用多種圖像分割算法對(duì)圖像中的各個(gè)對(duì)象進(jìn)行圖像分割，比如，采用自動(dòng)圖像分割算法或交互式的圖像分割算法等，當(dāng)然，還可以采用精度較高的Matting算法。具體如圖2A和2B所示，圖2A為根據(jù)一示例性實(shí)施例示出的一種圖像的示意圖；圖2B是對(duì)圖2A進(jìn)行圖像分割后的效果示意圖。
[0066]需要說(shuō)明的是，在圖2A和2B中的，圖像中的對(duì)象以包括一個(gè)對(duì)象為例，在實(shí)際應(yīng)用中，所述圖像中可以包括多個(gè)對(duì)象。如圖2A所示，該圖像可以是彩色圖像的，也可以是黑白圖像的。
[0067]圖2B為圖2A分割后的分割效果圖，該分割后的圖像中只包括對(duì)象(比如獅子的圖像)的外邊緣輪廓形狀，排除了圖像中的背景圖像，而圖2B中的對(duì)象可以彩色圖像，也可以是黑白圖像，即二值分割圖像。
[0068]本公開(kāi)中，對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)，自動(dòng)圖像分割算法和交互式的圖像分割算法的具體實(shí)現(xiàn)過(guò)程，已是熟知技術(shù)，在此不再贅述。
[0069]在步驟102中，從所述圖像中提取所述對(duì)象的第一圖像特征數(shù)據(jù)，以及從所述分割結(jié)果中提取所述對(duì)象的第二圖像特征數(shù)據(jù)；
[0070]其中，從所述圖像中提取所述對(duì)象的第一圖像特征數(shù)據(jù)有很多種方式，本公開(kāi)中，可以采用尺度不變特征變換(SIFT, Scale-1nvariant feature transform)算法、密集的尺度不變特征變換(Dense SIFT)算法或方向梯度直方圖(HOG, (Histogram of OrientedGradient)算法等來(lái)提取所述圖像中的對(duì)象的第一圖像特征數(shù)據(jù)，所述第一圖像特征數(shù)據(jù)可以包括顏色特征數(shù)據(jù)和紋理特征數(shù)據(jù)，但并不限于此，還可以適應(yīng)性包括該對(duì)象的其他特征數(shù)據(jù)，本實(shí)施例不作限制。
[0071]其中，提取所述分割結(jié)果中所述對(duì)象的第二圖像特征數(shù)據(jù)的方式也有多種，一種方式是:將所述分割結(jié)果中對(duì)象的二值分割圖像進(jìn)行外接矩形對(duì)齊；提取所述二值分割圖像的外輪廓邊緣的形狀特征數(shù)據(jù)，所述外輪廓邊緣的形狀特征數(shù)據(jù)稱為第二圖像特征數(shù)據(jù)。但并不限于此，還可以包括其他二值分割圖像的相關(guān)特征，本實(shí)施例不作限制。
[0072]其中，對(duì)二值分割圖像的外輪廓邊緣的形狀特征數(shù)據(jù)進(jìn)行提取的方法，包括但并不限于:不變矩方法或輪廓的傅立葉描述子方法等。
[0073]其中，二值分割圖像是指每個(gè)像素不是黑就是白，其灰度值沒(méi)有中間過(guò)渡的圖像。
[0074]在步驟103中，對(duì)所述第一圖像特征數(shù)據(jù)和第二圖像特征數(shù)據(jù)進(jìn)行特征編碼，得到編碼后的特征向量；
[0075]其中，該步驟中，對(duì)所述第一圖像特征數(shù)據(jù)和第二圖像特征數(shù)據(jù)可以按照特征包(BoF, Bag of Features)模型進(jìn)行特征編碼，但并不限于此，還可以是其他的編碼方法，本實(shí)施例不作限制。所述BOF模型是將局部特征集合整體考慮，根據(jù)視覺(jué)碼書(shū)量化局部特征并將其標(biāo)記為視覺(jué)詞匯，同時(shí)局部特征集被映射成一個(gè)關(guān)鍵詞頻率分布的直方圖。
[0076]其具體的特征編碼過(guò)程為:
[0077]首先，根據(jù)所述第一圖像特征數(shù)據(jù)和所述第二圖像特征數(shù)據(jù)構(gòu)造BOF模型，得到視覺(jué)詞匯(visual words);具體如圖3A和3B所示，圖3A為基于SIFT算法提取特征數(shù)據(jù)的過(guò)程示意圖，圖3B為根據(jù)特征數(shù)據(jù)構(gòu)造BOF模型直方圖的示意圖。
[0078]如圖3A所示，先對(duì)分割后圖像中的多個(gè)興趣點(diǎn)進(jìn)行檢測(cè)，通過(guò)SIFT算法得到多個(gè)興趣點(diǎn)的特征數(shù)據(jù)；圖中以nSIFTS(128dim)表示。
[0079]本文中稱為訓(xùn)練特征數(shù)據(jù)集；需要說(shuō)明的是，多個(gè)興趣點(diǎn)的特征數(shù)據(jù)，為分割后圖像中對(duì)象上的各個(gè)點(diǎn)的特征數(shù)據(jù)，也就是第一圖像特征數(shù)據(jù)和所述第二圖像特征數(shù)據(jù)；
[0080]然后，根據(jù)所述訓(xùn)練特征數(shù)據(jù)集構(gòu)造BOF模型直方圖，即視覺(jué)詞匯。如圖3B所示。
[0081]需要說(shuō)明的是，在該BOF模型直方圖的構(gòu)造過(guò)程中，與相關(guān)技術(shù)的實(shí)現(xiàn)過(guò)程類似，其不同之處，在于本實(shí)施例中，使用的特征是圖像分割后提取所述對(duì)象的特征數(shù)據(jù)。
[0082]然后，根據(jù)所述BOF模型對(duì)所述第一圖像特征數(shù)據(jù)和第二圖像特征數(shù)據(jù)進(jìn)行特征編碼，得到編碼后的特征向量。
[0083]在步驟104中，對(duì)所述特征向量進(jìn)行訓(xùn)練，得到所述圖像中所述對(duì)象的分類器；
[0084]在步驟103得到編碼后的特征向量后，對(duì)所述特征向量進(jìn)行訓(xùn)練，得到圖像中所述對(duì)象的分類器(或分類器模型)，其訓(xùn)練的算法有多種，本實(shí)施例可以采用支持向量機(jī)(SVM, (Support Vector Machine))算法或深度學(xué)習(xí)(DL, deep learning)算法進(jìn)行訓(xùn)練，當(dāng)然，還可以采用其他的算法，本實(shí)施例不作限制。其中，SVM算法和DL算法的實(shí)現(xiàn)過(guò)程，對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)，已是熟知技術(shù)，在此不再贅述。
[0085]在步驟105中，利用所述分類器對(duì)所述特征向量進(jìn)行分類，得到所述對(duì)象的分類類別。
[0086]該步驟中，利用所述分類器對(duì)上述提取的所述對(duì)象的特征向量進(jìn)行分類操作，從而獲取到該對(duì)象的分類類別。
[0087]也就是說(shuō)，如果要確定一幅圖像中對(duì)象的分類類型，需要按照上述步驟101至103的方式提起該圖像中的對(duì)象的相應(yīng)特征，并編碼，然后采用步驟104中對(duì)該特征進(jìn)行訓(xùn)練，得到該對(duì)象的分類器，并采用該分類器對(duì)該對(duì)象的特征數(shù)據(jù)進(jìn)行分類，從而得到該對(duì)象的分類結(jié)果。
[0088]本公開(kāi)中，采用了圖像分割技術(shù)對(duì)圖像中的各個(gè)對(duì)象進(jìn)行了分割，并提取分割結(jié)果中該對(duì)象的特征，以及進(jìn)行編碼和訓(xùn)練，得到該對(duì)象的分類器，然后利用該分類器對(duì)提取的該對(duì)象的特征進(jìn)行分類操作，排除了圖像中背景的干擾，從而提高了對(duì)象分類的識(shí)別精度。
[0089]還請(qǐng)參閱圖4，圖4是根據(jù)一示例性實(shí)施例示出的一種圖像分類裝置的框圖。參照?qǐng)D4，該裝置包括:分割單元141，第一提取單元142、第二提取單元143、編碼單元144、訓(xùn)練單元145和分類單元146。其中，
[0090]該分割單元141被配置為對(duì)圖像中待分類的對(duì)象進(jìn)行圖像分割，得到分割結(jié)果；
[0091]該第一提取單元142被配置為從所述圖像中提取所述對(duì)象的第一圖像特征數(shù)據(jù)；
[0092]該第二提取單元143被配置為從所述分割結(jié)果中提取所述對(duì)象的第二圖像特征數(shù)據(jù)；
[0093]該編碼單元144被配置為對(duì)所述第一圖像特征數(shù)據(jù)和第二圖像特征數(shù)據(jù)進(jìn)行特征編碼，得到編碼后的特征向量；
[0094]該訓(xùn)練單元145被配置為對(duì)所述特征向量進(jìn)行訓(xùn)練，得到所述圖像中所述對(duì)象的分類器；
[0095]該分類單元146被配置為利用所述分類器對(duì)所述特征向量進(jìn)行分類操作，得到所述對(duì)象的分類類別。
[0096]可選的，該第一提取單元142被配置為通過(guò)尺度不變特征變換SIFT算法、密集的尺度不變特征變換Dense SIFT算法和方向梯度直方圖HOG算法從所述圖像中提取所述對(duì)象的顏色特征數(shù)據(jù)和紋理特征數(shù)據(jù)，所述顏色特征數(shù)據(jù)和紋理特征數(shù)據(jù)稱為第一圖像特征數(shù)據(jù)。
[0097]可選的，該第二提取單元143包括:對(duì)齊單元1431和提取子單元1432，其框圖如圖5所示，其中，
[0098]該對(duì)齊單元1431被配置為將所述分割結(jié)果中所述對(duì)象的二值分割圖像進(jìn)行外接矩形對(duì)齊；
[0099]該提取子單元1432被配置為提取所述二值分割圖像的外輪廓邊緣的形狀特征數(shù)據(jù)，所述外輪廓邊緣的形狀特征數(shù)據(jù)稱為第二圖像特征數(shù)據(jù)。
[0100]可選的，該編碼單元144包括:構(gòu)造單元1441和編碼子單元1442，其框圖如圖6所示，其中，
[0101]該構(gòu)造單元1441被配置為根據(jù)所述第一圖像特征數(shù)據(jù)和所述第二圖像特征數(shù)據(jù)構(gòu)建BOF模型；
[0102]該編碼子單元1442被配置為利用所述BOF模型對(duì)所述第一圖像特征數(shù)據(jù)和第二圖像特征數(shù)據(jù)進(jìn)行特征編碼。
[0103]可選的，該訓(xùn)練單元145包括:第一訓(xùn)練單元1451和/或第二訓(xùn)練單元1452，其框圖如圖7所示，該圖7中，以同時(shí)包括第一訓(xùn)練單元1451和第二訓(xùn)練單元1452為例，其中，
[0104]該第一訓(xùn)練單元1451被配置為對(duì)所述特征向量采用支持向量機(jī)SVM算法進(jìn)行訓(xùn)練，得到所述圖像中所述對(duì)象的分類器；
[0105]該第二訓(xùn)練單元1452被配置為對(duì)所述特征向量采用深度學(xué)習(xí)DL算法進(jìn)行訓(xùn)練，得到所述圖像中所述對(duì)象的分類器。
[0106]所述裝置中的各個(gè)單元執(zhí)行操作的具體方式具體詳見(jiàn)上述方法中對(duì)應(yīng)步驟的實(shí)現(xiàn)過(guò)程，在此不再贅述。
[0107]本公開(kāi)中，采用了圖像分割技術(shù)對(duì)待分類圖像中的各個(gè)對(duì)象進(jìn)行了分割，并提取分割結(jié)果中該對(duì)象的特征，以及進(jìn)行編碼和訓(xùn)練，得到該對(duì)象的分類器，然后利用該分類器對(duì)提取的該對(duì)象的特征進(jìn)行分類操作，排除了圖像中背景的干擾，從而提高了對(duì)象分類的識(shí)別精度。
[0108]基于上述實(shí)施例的實(shí)現(xiàn)過(guò)程，本公開(kāi)還通過(guò)一種圖像分類裝置，其框圖如圖8所示，所述圖像分類裝置8包括處理器81，和存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器82，其中，所述處理器81被配置為:
[0109]對(duì)圖像中待分類的對(duì)象進(jìn)行圖像分割，得到分割結(jié)果；
[0110]從所述圖像中提取所述對(duì)象的第一圖像特征數(shù)據(jù)，以及從所述分割結(jié)果中提取所述對(duì)象的第二圖像特征數(shù)據(jù)；
[0111]對(duì)所述第一圖像特征數(shù)據(jù)和第二圖像特征數(shù)據(jù)進(jìn)行特征編碼，得到編碼后的特征向量;
[0112]對(duì)所述特征向量進(jìn)行訓(xùn)練，得到所述圖像中所述對(duì)象的分類器；
[0113]利用所述分類器對(duì)所述特征向量進(jìn)行分類操作，得到所述對(duì)象的分類類別。
[0114]所述裝置中的處理器執(zhí)行操作的具體方式具體詳見(jiàn)上述方法中對(duì)應(yīng)步驟的實(shí)現(xiàn)過(guò)程，在此不再贅述。
[0115]圖9是根據(jù)一示例性實(shí)施例示出的一種用于圖像分類的裝置800的框圖。例如，裝置800可以是移動(dòng)電話，計(jì)算機(jī)，數(shù)字廣播終端，消息收發(fā)設(shè)備，游戲控制臺(tái)，平板設(shè)備，醫(yī)療設(shè)備，健身設(shè)備，個(gè)人數(shù)字助理等。
[0116]參照?qǐng)D8，裝置800可以包括以下一個(gè)或多個(gè)組件:處理組件802，存儲(chǔ)器804，電源組件806，多媒體組件808，音頻組件810，輸入/輸出(I/O)的接口 812，傳感器組件814，以及通信組件816。
[0117]處理組件802通?？刂蒲b置800的整體操作，諸如與顯示，電話呼叫，數(shù)據(jù)通信，相機(jī)操作和記錄操作相關(guān)聯(lián)的操作。處理組件802可以包括一個(gè)或多個(gè)處理器820來(lái)執(zhí)行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個(gè)或多個(gè)模塊，便于處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模塊，以方便多媒體組件808和處理組件802之間的交互。
[0118]存儲(chǔ)器804被配置為存儲(chǔ)各種類型的數(shù)據(jù)以支持在裝置800的操作。這些數(shù)據(jù)的示例包括用于在裝置800上操作的任何應(yīng)用程序或方法的指令，聯(lián)系人數(shù)據(jù)，電話簿數(shù)據(jù)，消息，圖片，視頻等。存儲(chǔ)器804可以由任何類型的易失性或非易失性存儲(chǔ)設(shè)備或者它們的組合實(shí)現(xiàn)，如靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)，電可擦除可編程只讀存儲(chǔ)器(EEPROM)，可擦除可編程只讀存儲(chǔ)器(EPROM)，可編程只讀存儲(chǔ)器(PROM)，只讀存儲(chǔ)器(ROM)，磁存儲(chǔ)器，快閃存儲(chǔ)器，磁盤或光盤。
[0119]電源組件806為裝置800的各種組件提供電力。電源組件806可以包括電源管理系統(tǒng)，一個(gè)或多個(gè)電源，及其他與為裝置800生成、管理和分配電力相關(guān)聯(lián)的組件。
[0120]多媒體組件808包括在所述裝置800和用戶之間的提供一個(gè)輸出接口的屏幕。在一些實(shí)施例中，屏幕可以包括液晶顯示器(LCD)和觸摸面板(TP)。如果屏幕包括觸摸面板，屏幕可以被實(shí)現(xiàn)為觸摸屏，以接收來(lái)自用戶的輸入信號(hào)。觸摸面板包括一個(gè)或多個(gè)觸摸傳感器以感測(cè)觸摸、滑動(dòng)和觸摸面板上的手勢(shì)。所述觸摸傳感器可以不僅感測(cè)觸摸或滑動(dòng)動(dòng)作的邊界，而且還檢測(cè)與所述觸摸或滑動(dòng)操作相關(guān)的持續(xù)時(shí)間和壓力。在一些實(shí)施例中，多媒體組件808包括一個(gè)前置攝像頭和/或后置攝像頭。當(dāng)裝置800處于操作模式，如拍攝模式或視頻模式時(shí)，前置攝像頭和/或后置攝像頭可以接收外部的多媒體數(shù)據(jù)。每個(gè)前置攝像頭和后置攝像頭可以是一個(gè)固定的光學(xué)透鏡系統(tǒng)或具有焦距和光學(xué)變焦能力。
[0121]音頻組件810被配置為輸出和/或輸入音頻信號(hào)。例如，音頻組件810包括一個(gè)麥克風(fēng)(MIC)，當(dāng)裝置800處于操作模式，如呼叫模式、記錄模式和語(yǔ)音識(shí)別模式時(shí)，麥克風(fēng)被配置為接收外部音頻信號(hào)。所接收的音頻信號(hào)可以被進(jìn)一步存儲(chǔ)在存儲(chǔ)器804或經(jīng)由通信組件816發(fā)送。在一些實(shí)施例中，音頻組件810還包括一個(gè)揚(yáng)聲器，用于輸出音頻信號(hào)。
[0122]I/0接口 812為處理組件802和外圍接口模塊之間提供接口，上述外圍接口模塊可以是鍵盤，點(diǎn)擊輪，按鈕等。這些按鈕可包括但不限于:主頁(yè)按鈕、音量按鈕、啟動(dòng)按鈕和鎖定按鈕。
[0123]傳感器組件814包括一個(gè)或多個(gè)傳感器，用于為裝置800提供各個(gè)方面的狀態(tài)評(píng)估。例如，傳感器組件814可以檢測(cè)到裝置800的打開(kāi)/關(guān)閉狀態(tài)，組件的相對(duì)定位，例如所述組件為裝置800的顯示器和小鍵盤，傳感器組件814還可以檢測(cè)裝置800或裝置800一個(gè)組件的位置改變，用戶與裝置800接觸的存在或不存在，裝置800方位或加速/減速和裝置800的溫度變化。傳感器組件814可以包括接近傳感器，被配置用來(lái)在沒(méi)有任何的物理接觸時(shí)檢測(cè)附近對(duì)象的存在。傳感器組件814還可以包括光傳感器，如CMOS或CXD圖像傳感器，用于在成像應(yīng)用中使用。在一些實(shí)施例中，該傳感器組件814還可以包括加速度傳感器，陀螺儀傳感器，磁傳感器，壓力傳感器或溫度傳感器。
[0124]通信組件816被配置為便于裝置800和其他設(shè)備之間有線或無(wú)線方式的通信。裝置800可以接入基于通信標(biāo)準(zhǔn)的無(wú)線網(wǎng)絡(luò)，如WiFi，2G或3G，或它們的組合。在一個(gè)示例性實(shí)施例中，通信組件816經(jīng)由廣播信道接收來(lái)自外部廣播管理系統(tǒng)的廣播信號(hào)或廣播相關(guān)信息。在一個(gè)示例性實(shí)施例中，所述通信組件816還包括近場(chǎng)通信(NFC)模塊，以促進(jìn)短程通信。例如，在NFC模塊可基于射頻識(shí)別(RFID)技術(shù)，紅外數(shù)據(jù)協(xié)會(huì)(IrDA)技術(shù)，超寬帶(UffB)技術(shù)，藍(lán)牙(BT)技術(shù)和其他技術(shù)來(lái)實(shí)現(xiàn)。
[0125]在示例性實(shí)施例中，裝置800可以被一個(gè)或多個(gè)應(yīng)用專用集成電路(ASIC)、數(shù)字信號(hào)處理器(DSP)、數(shù)字信號(hào)處理設(shè)備(DSro)、可編程邏輯器件(PLD)、現(xiàn)場(chǎng)可編程門陣列(FPGA)、控制器、微控制器、微處理器或其他電子元件實(shí)現(xiàn)，用于執(zhí)行上述方法。
[0126]在示例性實(shí)施例中，還提供了一種包括指令的非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，例如包括指令的存儲(chǔ)器804，上述指令可由裝置800的處理器820執(zhí)行以完成上述方法。例如，所述非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是ROM、隨機(jī)存取存儲(chǔ)器(RAM)、CD-ROM、磁帶、軟盤和光數(shù)據(jù)存儲(chǔ)設(shè)備等。
[0127]本公開(kāi)還提供一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，當(dāng)所述存儲(chǔ)介質(zhì)中的指令由移動(dòng)終端的處理器執(zhí)行時(shí)，使得移動(dòng)終端能夠執(zhí)行一種圖像分類方法，所述方法包括:
[0128]對(duì)圖像中待分類的對(duì)象進(jìn)行圖像分割，得到分割結(jié)果；
[0129]從所述圖像中提取所述對(duì)象的第一圖像特征數(shù)據(jù)，以及從所述分割結(jié)果中提取所述對(duì)象的第二圖像特征數(shù)據(jù)；
[0130]對(duì)所述第一圖像特征數(shù)據(jù)和第二圖像特征數(shù)據(jù)進(jìn)行特征編碼，得到編碼后的特征向量;
[0131]對(duì)所述特征向量進(jìn)行訓(xùn)練，得到所述圖像中所述對(duì)象的分類器；
[0132]利用所述分類器對(duì)所述特征向量進(jìn)行分類操作，得到所述對(duì)象的分類類別
[0133]圖10是根據(jù)一示例性實(shí)施例示出的一種用于圖像分類的裝置1900的框圖。例如，裝置1900可以被提供為一服務(wù)器。參照?qǐng)D10，裝置1900包括處理組件1922，其進(jìn)一步包括一個(gè)或多個(gè)處理器，以及由存儲(chǔ)器1932所代表的存儲(chǔ)器資源，用于存儲(chǔ)可由處理組件1922的執(zhí)行的指令,例如應(yīng)用程序。存儲(chǔ)器1932中存儲(chǔ)的應(yīng)用程序可以包括一個(gè)或一個(gè)以上的每一個(gè)對(duì)應(yīng)于一組指令的模塊。此外，處理組件1922被配置為執(zhí)行指令，以執(zhí)行上述圖像分類方法的各個(gè)步驟。
[0134]裝置1900還可以包括一個(gè)電源組件1926被配置為執(zhí)行裝置1900的電源管理，一個(gè)有線或無(wú)線網(wǎng)絡(luò)接口 1950被配置為將裝置1900連接到網(wǎng)絡(luò)，和一個(gè)輸入輸出(I/O)接口 1958。裝置1900可以操作基于存儲(chǔ)在存儲(chǔ)器1932的操作系統(tǒng)，例如Windows ServerTM,Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 或類似。
[0135]本領(lǐng)域技術(shù)人員在考慮說(shuō)明書(shū)及實(shí)踐這里公開(kāi)的發(fā)明后，將容易想到本發(fā)明的其它實(shí)施方案。本申請(qǐng)旨在涵蓋本發(fā)明的任何變型、用途或者適應(yīng)性變化，這些變型、用途或者適應(yīng)性變化遵循本發(fā)明的一般性原理并包括本公開(kāi)未公開(kāi)的本【技術(shù)領(lǐng)域】中的公知常識(shí)或慣用技術(shù)手段。說(shuō)明書(shū)和實(shí)施例僅被視為示例性的，本發(fā)明的真正范圍和精神由下面的權(quán)利要求指出。
[0136]應(yīng)當(dāng)理解的是，本發(fā)明并不局限于上面已經(jīng)描述并在附圖中示出的精確結(jié)構(gòu)，并且可以在不脫離其范圍進(jìn)行各種修改和改變。本發(fā)明的范圍僅由所附的權(quán)利要求來(lái)限制。
【權(quán)利要求】
1.一種圖像分類方法，其特征在于，包括: 對(duì)圖像中待分類的對(duì)象進(jìn)行圖像分割，得到分割結(jié)果； 從所述圖像中提取所述對(duì)象的第一圖像特征數(shù)據(jù)，以及從所述分割結(jié)果中提取所述對(duì)象的第二圖像特征數(shù)據(jù)； 對(duì)所述第一圖像特征數(shù)據(jù)和第二圖像特征數(shù)據(jù)進(jìn)行特征編碼，得到編碼后的特征向量; 對(duì)所述特征向量進(jìn)行訓(xùn)練，得到所述圖像中所述對(duì)象的分類器； 利用所述分類器對(duì)所述特征向量進(jìn)行分類操作，得到所述對(duì)象的分類類別。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于， 所述從圖像中提取所述對(duì)象的第一圖像特征數(shù)據(jù)，包括:通過(guò)尺度不變特征變換SIFT算法、密集的尺度不變特征變換Dense SIFT算法或方向梯度直方圖HOG算法從所述圖像中提取所述對(duì)象的顏色特征數(shù)據(jù)和紋理特征數(shù)據(jù)，所述顏色特征數(shù)據(jù)和紋理特征數(shù)據(jù)稱為第一圖像特征數(shù)據(jù)； 所述從分割結(jié) 果中提取所述對(duì)象的第二圖像特征數(shù)據(jù)，包括: 將所述分割結(jié)果中對(duì)象的二值分割圖像進(jìn)行外接矩形對(duì)齊； 提取所述二值分割圖像的外輪廓邊緣的形狀特征數(shù)據(jù)，所述外輪廓邊緣的形狀特征數(shù)據(jù)稱為第二圖像特征數(shù)據(jù)。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述對(duì)所述第一圖像特征數(shù)據(jù)和第二圖像特征數(shù)據(jù)進(jìn)行特征編碼，得到編碼后的特征向量，包括: 根據(jù)所述第一圖像特征數(shù)據(jù)和所述第二圖像特征數(shù)據(jù)構(gòu)建特征包BOF模型； 利用所述BOF模型對(duì)所述第一圖像特征數(shù)據(jù)和第二圖像特征數(shù)據(jù)進(jìn)行特征編碼，得到編碼后的特征向量。
4.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述對(duì)所述特征向量進(jìn)行訓(xùn)練，得到所述圖像中所述對(duì)象的分類器，包括: 對(duì)所述特征向量采用支持向量機(jī)SVM算法或深度學(xué)習(xí)DL算法進(jìn)行訓(xùn)練，得到所述圖像中所述對(duì)象的分類器。
5.一種圖像分類裝置，其特征在于，包括: 分割單元，用于對(duì)圖像中待分類的對(duì)象進(jìn)行圖像分割，得到分割結(jié)果； 第一提取單元，用于從所述圖像中提取所述對(duì)象的第一圖像特征數(shù)據(jù)； 第二提取單元，用于從所述分割結(jié)果中提取所述對(duì)象的第二圖像特征數(shù)據(jù)； 編碼單元，用于對(duì)所述第一圖像特征數(shù)據(jù)和第二圖像特征數(shù)據(jù)進(jìn)行特征編碼，得到編碼后的特征向量； 訓(xùn)練單元，用于對(duì)所述特征向量進(jìn)行訓(xùn)練，得到所述圖像中所述對(duì)象的分類器； 分類單元，用于利用所述分類器對(duì)所述特征向量進(jìn)行分類操作，得到所述對(duì)象的分類類別。
6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述第一提取單元，用于通過(guò)尺度不變特征變換SIFT算法、密集的尺度不變特征變換Dense SIFT算法和方向梯度直方圖HOG算法從所述圖像中提取所述對(duì)象的顏色特征數(shù)據(jù)和紋理特征數(shù)據(jù)，所述顏色特征數(shù)據(jù)和紋理特征數(shù)據(jù)稱為第一圖像特征數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述第二提取單元包括: 對(duì)齊單元，用于將所述分割結(jié)果中所述對(duì)象的二值分割圖像進(jìn)行外接矩形對(duì)齊； 提取子單元，用于提取所述二值分割圖像的外輪廓邊緣的形狀特征數(shù)據(jù)，所述外輪廓邊緣的形狀特征數(shù)據(jù)稱為第二圖像特征數(shù)據(jù)。
8.根據(jù)權(quán)利要求5至7任一項(xiàng)所述的裝置，其特征在于，所述編碼單元包括: 構(gòu)造單元，用于根據(jù)所述第一圖像特征數(shù)據(jù)和所述第二圖像特征數(shù)據(jù)構(gòu)建特征包BOF模型； 編碼子單元，用于利用所述BOF模型對(duì)所述第一圖像特征數(shù)據(jù)和第二圖像特征數(shù)據(jù)進(jìn)行特征編碼。
9.根據(jù)權(quán)利要求5至7任一項(xiàng)所述的裝置，其特征在于，所述訓(xùn)練單元包括: 第一訓(xùn)練單元，用于對(duì)所述特征向量采用支持向量機(jī)SVM算法進(jìn)行訓(xùn)練，得到所述圖像中所述對(duì)象的分類器；和/或 第二訓(xùn)練單元，用于對(duì)所述特征向量采用深度學(xué)習(xí)DL算法進(jìn)行訓(xùn)練，得到所述圖像中所述對(duì)象的分類器。
10.一種圖像分 類裝置，其特征在于，包括: 處理器； 用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器； 其中，所述處理器被配置為: 對(duì)圖像中待分類的對(duì)象進(jìn)行圖像分割，得到分割結(jié)果； 從所述圖像中提取所述對(duì)象的第一圖像特征數(shù)據(jù)，以及從所述分割結(jié)果中提取所述對(duì)象的第二圖像特征數(shù)據(jù)； 對(duì)所述第一圖像特征數(shù)據(jù)和第二圖像特征數(shù)據(jù)進(jìn)行特征編碼，得到編碼后的特征向量; 對(duì)所述特征向量進(jìn)行訓(xùn)練，得到所述圖像中所述對(duì)象的分類器； 利用所述分類器對(duì)所述特征向量進(jìn)行分類操作，得到所述對(duì)象的分類類別。
【文檔編號(hào)】G06K9/62GK104077597SQ201410295078
【公開(kāi)日】2014年10月1日 申請(qǐng)日期:2014年6月25日 優(yōu)先權(quán)日:2014年6月25日
【發(fā)明者】王琳, 陳志軍, 張濤 申請(qǐng)人:小米科技有限責(zé)任公司