本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，特別涉及對數(shù)字圖像的多目標(biāo)聯(lián)合分割處理方法。

背景技術(shù)：

在數(shù)字圖像處理領(lǐng)域，圖像分割是一個基礎(chǔ)性難題，圖像分割對諸如圖像檢索、圖像編輯以及圖像分類等眾多圖像處理問題有著很大的影響。傳統(tǒng)的圖像分割方法，如文獻(xiàn)1：文穎.一種魯棒性的FCM圖像分割方法.中國專利:CN105654453A,2016，文獻(xiàn)2：胡海峰.基于視覺顯著模型的圖像分割方法.中國專利:CN105678797A,2016等，都是針對單幅圖像進(jìn)行分割，這種方式要么很難準(zhǔn)確的分割圖像，要么需要大量的人工交互，不適于大規(guī)模圖像集的分割。

為了解決這些問題，聯(lián)合分割做為一種重要的弱監(jiān)督圖像分割方法被提了出來，如文獻(xiàn)3：李宏亮.一種基于圖像復(fù)雜度的特征自適應(yīng)圖像共分割方法.中國專利:CN102982539A,2013，文獻(xiàn)4：王正翔.多圖像聯(lián)合分割方法和裝置.中國專利:CN104123713A,2014。圖像的聯(lián)合分割旨在從包含共同對象的多幅圖像中同時分割出共同的前景對象。不同于傳統(tǒng)的圖像分割算法，聯(lián)合分割方法是一種針對多幅圖像的分割方法，相對于無監(jiān)督的分割方法其分割精度更高，而相對于有監(jiān)督的分割方法其人力成本更低。因此可廣泛應(yīng)用于多媒體處理及計算機(jī)視覺高層應(yīng)用中。

為了使聯(lián)合分割方法更好的滿足應(yīng)用的需要，在文獻(xiàn)5：李宏亮,一種用于多前景共分割的前景譜圖生成方法.中國專利:CN103268614A,2013，文獻(xiàn)6：于慧敏.一種基于超像素和結(jié)構(gòu)化約束的圖像多目標(biāo)協(xié)同分割方法.中國專利:CN105809672A,2016等中提出了多目標(biāo)的聯(lián)合分割方法。該方法假設(shè)圖像組中的多個共同對象隨機(jī)的出現(xiàn)在每一幅待分割圖像中。相對于單目標(biāo)的聯(lián)合分割，它放寬了方法對圖像集的限制，提高了方法的靈活性，使得方法具有了更加現(xiàn)實的應(yīng)用背景。

縱觀現(xiàn)有的聯(lián)合分割領(lǐng)域的研究和應(yīng)用可知，目前多目標(biāo)聯(lián)合分割方法存在著以下的不足：

(1)由于現(xiàn)有的方法往往無法獲得準(zhǔn)確的一致性信息，從而造成了分割結(jié)果中過分割的現(xiàn)象；

(2)由于現(xiàn)有的方法中主要采用了無監(jiān)督的方法去利用一致性信息去指導(dǎo)最終的分割，從而造成了分割精度較低。

技術(shù)實現(xiàn)要素：

發(fā)明目的：本發(fā)明所要解決的技術(shù)問題是針對現(xiàn)有技術(shù)的不足，提供一種基于多示例多標(biāo)簽學(xué)習(xí)的多目標(biāo)圖像聯(lián)合分割方法，用于支持對大規(guī)模圖像組的聯(lián)合分割。

為了解決上述技術(shù)問題，本發(fā)明公開了一種基于多標(biāo)簽多示例學(xué)習(xí)的多目標(biāo)圖像聯(lián)合分割方法，包括以下步驟：

步驟一，無監(jiān)督的標(biāo)簽生成：從輸入的圖像集中獲得候選對象集，并候選對象集中的對候選對象進(jìn)行分類，從而得到對象標(biāo)簽；包括了單幅圖像的對象檢測和分段式對象聚類；

單幅圖像的對象檢測從輸入圖像集中的每一幅圖像上提取出候選對象，從而組成整個圖像集中所包含的候選對象集；

分段式對象聚類將對象檢測中獲得的候選對象集聚類成兩類以上不同的對象，從而獲得相應(yīng)的對象標(biāo)簽，聚類數(shù)對應(yīng)于圖像集中所包含的前景對象數(shù)量；

步驟二，顯著區(qū)域偽標(biāo)注：從輸入的圖像集中獲得顯著區(qū)域，并將步驟一中獲得的對象標(biāo)簽傳遞到相應(yīng)的顯著區(qū)域上，包括了顯著度檢測及二值分割和標(biāo)簽傳遞及超像素分割：

顯著度檢測及二值分割首先獲得每一幅圖像的顯著圖，然后二值分割所述顯著圖，提取出每幅圖像的顯著區(qū)域，將顯著區(qū)域外的部分做為圖像的背景部分，背景部分不參與后續(xù)的分割；

標(biāo)簽傳遞及超像素分割通過判斷一個候選對象的對象標(biāo)簽?zāi)芊駛鬟f給一個顯著區(qū)域，從而確定每一個顯著區(qū)域所含的對象標(biāo)簽，同時利用超像素分割方法對顯著區(qū)域進(jìn)行分割，獲得含標(biāo)簽的顯著區(qū)域；

步驟三，集成多示例多標(biāo)簽學(xué)習(xí)，將每一個顯著區(qū)域做為多示例多標(biāo)簽學(xué)習(xí)中的一個包，將顯著區(qū)域中每一個超像素做為一個示例，將每個顯著區(qū)域所具有的對象標(biāo)簽做為每個包的標(biāo)簽，利用集成多示例多標(biāo)簽學(xué)習(xí)方法來獲得每一個示例的標(biāo)簽，即每一個超像素所具有的對象標(biāo)簽，進(jìn)而獲得圖像的分割結(jié)果。

本發(fā)明步驟一中所述單幅圖像的對象檢測包括以下步驟：

步驟111，利用對象檢測方法檢測出圖像上的對象窗口，通過篩選，將選中的對象窗口從圖像中分割出來，獲得圖像的對象區(qū)域；

步驟112，從對象區(qū)域中提取出初始候選對象，通過篩選合并，從每一個對象區(qū)域中提取出一個候選對象，從而獲得圖像的候選對象集。

本發(fā)明步驟一中所述分段式對象聚類部分包括以下步驟：

步驟121，提取候選對象的特征，首先將候選對象網(wǎng)格化，形成正方形圖塊，接著利用低層視覺特征和高層語義特征兩類特征來構(gòu)建圖塊描述子，最后利用圖塊描述子來構(gòu)建直方圖做為獲選對象的特征表示；

步驟122，采用置信傳播替代傳統(tǒng)譜聚類中的K均值，使得譜聚類算法適用于聚類數(shù)未知的情況，同時兩次使用該種譜聚類算法，第一次以候選對象為聚類對象以獲得初始聚類，第二次以初始聚類為聚類對象以獲得最終的聚類結(jié)果。

本發(fā)明步驟121包括：

提取每一個候選對象的特征：將候選對象網(wǎng)格分割，形成邊長為10像素的正方形圖塊；利用低層視覺特征和高層語義特征兩類特征來構(gòu)建圖塊描述子；將候選對象所在圖像做為輸入送入卷積神經(jīng)網(wǎng)絡(luò)模型中，得到該卷積神經(jīng)網(wǎng)絡(luò)模型中裁剪層(crop層)的輸出，圖像中每一個像素點對應(yīng)于一個21維的指示向量，利用平均池化操作來獲得圖塊的高層語義特征；將兩類特征合并，得到了圖塊的描述子f(p)：

其中：N(·)表示歸一化操作，f_l表示低層視覺特征，f_h表示高層語義特征，p表示一個圖塊；

根據(jù)圖塊的描述子利用譜聚類將所有圖塊分類，計算每一個候選對象中屬于每一類的圖塊數(shù)量，從而構(gòu)建一個直方圖做為候選對象的特征表示，候選對象的特征向量表示為：

其中：h_m表示屬于第m類的圖塊數(shù)量，表示圖像I_n中第k個候選對象，d表示類的總數(shù)，m屬于1～d。

本發(fā)明步驟122包括：

根據(jù)候選對象的特征表示，將候選對象聚類，從而獲得每個候選對象的對象標(biāo)簽；第一階段，分兩種情況計算候選對象間的相似度矩陣，當(dāng)兩個候選對象來自于不同圖像時，利用巴氏距離和高斯核去計算其之間的相似度，當(dāng)兩個候選對象來自于相同圖像時，兩者間的相似度記為0；根據(jù)得到的相似度矩陣，利用譜聚類方法獲得初始的聚類結(jié)果C′＝{C′₁,C′₂,…,C′_t}，其中C′_m表示第m個初始聚類，t表示初始的聚類結(jié)果中的聚類數(shù)，m屬于1～t；

第二階段，將初始聚類的中心做為新的聚類樣本，聚類樣本特征表示為其中表示第m個聚類的聚類中心的特征，t表示初始的聚類結(jié)果中的聚類數(shù)，m屬于1～t；利用巴氏距離和高斯核去計算初始聚類中心之間的相似度，使用譜聚類方法去獲得最終的聚類結(jié)果C＝{C₁,C₂,…,C_v}，其中C_m表示第m個聚類，v表示最終聚類結(jié)果中的聚類數(shù)，m屬于1～v；

根據(jù)得到的聚類數(shù)重新截取特征向量，循環(huán)迭代進(jìn)行聚類，直到最后一次得到的聚類數(shù)和上次的聚類數(shù)相同，則聚類結(jié)束并返回聚類結(jié)果。

本發(fā)明步驟3包括：

提取每一個超像素的特征，構(gòu)建出一個d維的特征向量，接著從d維的特征向量中隨機(jī)抽取出一個d′＝0.6d維的子特征向量，重復(fù)抽取t次，構(gòu)成一個特征向量集，d＝300，t＝50；

將顯著區(qū)域做為包，超像素做為示例，顯著區(qū)域的對象標(biāo)簽做為包的標(biāo)簽，訓(xùn)練出一組弱分類器{c_1b,c_2b,…,c_vb}，其中c_mb表示在b個子特征向量上訓(xùn)練出的第m類共同對象的分類器，v表示分類器的類數(shù)，m屬于1～v；利用支持向量機(jī)學(xué)習(xí)出每一個弱分類器的權(quán)重，得到了強(qiáng)分類器{c₁,c₂,…,c_v}，其中c_m表示第m類共同對象的最終分類器，v表示分類器的類數(shù)，m屬于1～v；利用強(qiáng)分類器確定每一個超像素的對象標(biāo)簽；對于每一幅圖像中屬于顯著區(qū)域的部分，根據(jù)超像素所具有的不同的對象標(biāo)簽進(jìn)行分割，不屬于顯著區(qū)域的部分統(tǒng)一分割為背景，從而完成了圖像的分割。

本發(fā)明通過引入深層語義特征和提出一種分段式對象聚類來獲得精確和富有語義信息的一致性信息來克服過分割現(xiàn)象；同時利用有監(jiān)督的多示例多標(biāo)簽學(xué)習(xí)來替換原有方法中使用的無監(jiān)督方法，在保證了本發(fā)明無需人工交互的基礎(chǔ)上，大大提高了分割的精度。從而使得本發(fā)明有著較高的應(yīng)用價值。

有益效果：本發(fā)明具有以下優(yōu)點：首先，本發(fā)明基于對象檢測引入深層語義特征和提出一種兩段式對象聚類方法以獲得準(zhǔn)確而富含語義信息的對象標(biāo)簽；其次，本發(fā)明提出了一種標(biāo)簽傳遞方法將候選對象中的對象標(biāo)簽無監(jiān)督的傳遞給顯著區(qū)域，實現(xiàn)了將多目標(biāo)聯(lián)合分割問題轉(zhuǎn)化為了有監(jiān)督多示例多標(biāo)簽問題；最后，本發(fā)明提出一種基于特征隨機(jī)選擇的集成多示例多標(biāo)簽學(xué)習(xí)方法，克服了無監(jiān)督方法所帶來的模糊性和不確定性，提高了圖像的分割精度。

附圖說明

下面結(jié)合附圖和具體實施方式對本發(fā)明做更進(jìn)一步的具體說明，本發(fā)明的上述和/或其他方面的優(yōu)點將會變得更加清楚。

圖1是本發(fā)明的處理流程示意圖。

圖2是實施例的輸入圖像集示意圖。

圖3是對圖2輸入圖像集進(jìn)行多目標(biāo)聯(lián)合分割所得到的分割結(jié)果示意圖。

圖4a是對圖2中第二幅圖像對象檢測后得到對象區(qū)域的結(jié)果示意圖。

圖4b是從圖2中第二幅圖像中提取出的候選對象集的結(jié)果示意圖。

圖5是對候選對象集進(jìn)行分段式對象聚類得到的聚類結(jié)果的示意圖。

圖6是對圖2輸入圖像集進(jìn)行顯著度檢測和標(biāo)簽傳遞得到的含標(biāo)簽的顯著區(qū)域結(jié)果示意圖。

具體實施方式：

如圖1所示，本發(fā)明公開的一種基于多示例多標(biāo)簽學(xué)習(xí)的多目標(biāo)圖像聯(lián)合分割方法，包括以下步驟：

步驟一，無監(jiān)督的標(biāo)簽生成：從輸入的圖像集中獲得候選對象集，并對候選對象進(jìn)行分類，從而得到對象標(biāo)簽。該步驟包括單幅圖像的對象檢測和分段式對象聚類兩個子步驟：

單幅圖像的對象檢測從輸入圖像集中的每一幅圖像上提取出準(zhǔn)確并且少量的候選對象，從而組成整個圖像集中所包含的候選對象集；

分段式對象聚類將對象檢測中獲得的候選對象集聚類成若干類不同的對象，從而獲得相應(yīng)的對象標(biāo)簽，聚類數(shù)對應(yīng)于圖像集中所包含的前景對象數(shù)量，該聚類數(shù)有本發(fā)明自動計算得到；

步驟二，顯著區(qū)域偽標(biāo)注：從輸入的圖像集中獲得顯著區(qū)域，并將步驟一中獲得的對象標(biāo)簽傳遞到相應(yīng)的顯著區(qū)域上。該步驟包括了顯著度檢測及二值分割和標(biāo)簽傳遞及超像素分割兩個子步驟：

顯著度檢測及二值分割首先獲得每一幅圖像的顯著圖，然后二值分割顯著圖，提取出每幅圖像的顯著區(qū)域，將顯著區(qū)域外的部分做為圖像的背景部分，不再參與后續(xù)的分割；

標(biāo)簽傳遞及超像素分割首先對獲得的顯著區(qū)域進(jìn)行超像素分割，同時利用一種標(biāo)簽傳遞方法以及步驟一中所獲得的對象標(biāo)簽來確定每一個顯著區(qū)域中所包含的對象標(biāo)簽；

步驟三，集成多示例多標(biāo)簽學(xué)習(xí)，將每一個顯著區(qū)域做為多示例多標(biāo)簽學(xué)習(xí)中的一個包，將顯著區(qū)域中每一個超像素做為一個示例，將每個顯著區(qū)域所具有的對象標(biāo)簽做為每個包的標(biāo)簽，從而利用一種集成多示例多標(biāo)簽學(xué)習(xí)方法來獲得每一個示例的標(biāo)簽，即每一個超像素所具有的對象標(biāo)簽，進(jìn)而獲得圖像的分割結(jié)果。

本發(fā)明步驟一種所述單幅圖像的對象檢測還包括以下步驟：步驟111利用對象檢測方法檢測出圖像上的對象窗口，通過篩選，將剩余的對象窗口從圖像中分割出來，獲得圖像的對象區(qū)域。步驟112從對象區(qū)域中提取出初始候選對象，通過篩選合并，從每一個對象區(qū)域中提取出一個候選對象，從而獲得圖像的候選對象集。

本發(fā)明步驟一種所述單幅圖像的分段式對象聚類還包括以下步驟：步驟121提取候選對象的特征，首先將候選對象網(wǎng)格化，形成正方形圖塊，接著利用低層視覺特征和高層語義特征兩類特征來構(gòu)建圖塊描述子，最后利用圖塊描述子來構(gòu)建直方圖做為獲選對象的特征表示。步驟122采用置信傳播替代傳統(tǒng)譜聚類中的K均值，使得譜聚類算法適用于聚類數(shù)未知的情況，同時兩次使用此譜聚類算法，第一次以候選對象為聚類對象以獲得初始聚類，第二次以初始聚類為聚類對象以獲得最終的聚類結(jié)果。

本發(fā)明的輸入圖像集為用戶自由拍攝的自然圖像，圖像集中包含了未知數(shù)量的共同對象，且每一幅圖像中所含共同對象的數(shù)量和類別未知。

下面具體介紹各個步驟的主要流程：

1.無監(jiān)督的標(biāo)簽生成

從輸入的圖像集中獲得候選對象集，并對候選對象進(jìn)行分類，從而得到對象標(biāo)簽。該步驟包括單幅圖像的對象檢測和分段式對象聚類兩個子步驟。

1.1.單幅圖像的對象檢測

單幅圖像的對象檢測從輸入圖像組I＝{I₁,I₂,…,I_m}中發(fā)現(xiàn)候選對象集P＝{P¹,P ²,…,P^m}，其中，m為輸入圖像組中圖像的數(shù)量，Pⁿ表示從n幅圖像中獲得的候選對象集，n屬于1～m。過程如下：

1.1.1.為了發(fā)現(xiàn)候選對象集，首先利用文獻(xiàn)7：Zitnick,C.L.,Dollar,P..Edge boxes:Locating object proposals from edges.ECCV’14,pp.391–405.中的方法來檢測每一幅圖像I_n上的對象窗口，僅保留得分前100的對象窗口。接著為了降低后續(xù)處理的復(fù)雜性，當(dāng)兩個對象窗口的重合度大于一定閾值時，得分較低的一個窗口會被舍棄掉，本發(fā)明中該閾值取0.8。如果剩余的對象窗口數(shù)大于20個，那么僅保留得分前20的對象窗口，這些窗口記為其中l(wèi)_n表示圖像I_n中所含對象窗口的數(shù)量。最后根據(jù)這些對象窗口從圖像中分割出相應(yīng)的對象區(qū)域，記為其中l(wèi)_n表示圖像I_n中所含對象區(qū)域的數(shù)量。

1.1.2.利用文獻(xiàn)8：Endres,I.,Hoiem,D..Category Independent Object Proposals.ECCV’10,pp.575-588.從每一個對象區(qū)域中提取初始候選對象，僅保留得分前20的獲選對象。然后分兩種不同的情況來從初始候選對象中生成候選對象。如果一個對象區(qū)域中沒有包含其他的對象區(qū)域，那么中得分最高的初始候選對象將做為候選對象；如果對象區(qū)域中包含其他的對象區(qū)域那么中的候選對象可以表示成：

其中：δ(·)表示delta函數(shù)，表示對象區(qū)域中第i個初始候選對象，和表示在內(nèi)部和外部的面積，τ用于控制初始候選對象是否是候選對象的一部分。至此獲得了圖像I_n的候選對象集其中l(wèi)_n表示圖像I_n中所含候選對象的數(shù)量。在輸入圖像集的每一幅圖像上重復(fù)步驟1.1.1和1.1.2，從而得到輸入圖像組的候選對象集。

1.2.分段式對象聚類

分段式對象聚類將對象檢測中獲得的候選對象集聚類成若干類不同的對象，從而獲得相應(yīng)的對象標(biāo)簽，聚類數(shù)對應(yīng)于圖像集中所包含的前景對象數(shù)量，該聚類數(shù)有本發(fā)明自動計算得到。過程如下：

1.2.1.提取每一個候選對象的特征。為了獲得準(zhǔn)確的候選對象的特征，首先將候選對象網(wǎng)格分割，形成邊長為10像素的正方形圖塊。接著利用低層視覺特征和高層語義特征兩類特征來構(gòu)建圖塊描述子。本發(fā)明采用文獻(xiàn)9：Dalal,N.,Triggs,B..Histograms of oriented gradients for human detection.CVPR’13,pp.886-893.中提出的HOG描述子來表示低層視覺特征。同時本發(fā)明利用文獻(xiàn)10：Long,J.,Shelhamer,E.,Darrell,T..Fully convolutional networks for semantic segmentation.CVPR’15,pp.3431–3440.中訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型來提取圖塊的高層語義特征。將候選對象所在圖像做為輸入送入CNN模型中，得到CNN模型中裁剪層(crop層)的輸出，圖像中每一個像素點對應(yīng)于一個21維的指示向量，再利用平均池化操作來獲得圖塊的高層語義特征。將兩類特征合并，得到了圖塊的描述子：

其中：N(·)表示一種歸一化操作，f_l表示低層視覺特征，f_h表示高層語義特征，p表示一個圖塊。最后根據(jù)圖塊的描述子利用譜聚類將所有圖塊分為多類，再將計算每一個候選對象中屬于每一類的圖塊數(shù)量，從而構(gòu)建一個直方圖做為候選對象的特征表示。每一個候選對象的特征向量表示為：

其中：h_m表示屬于第m類的圖塊數(shù)量，d表示類的總數(shù)，m屬于1～d。

1.2.2.根據(jù)候選對象的特征表示，將候選對象自動的聚為多類，從而獲得每個候選對象的對象標(biāo)簽。本發(fā)明采用了一種兩段式的對象聚類方法來實現(xiàn)這一目標(biāo)。在第一階段，候選對象間的相似度矩陣的計算分兩種情況考慮，當(dāng)兩個候選對象來自于不同圖像時，利用巴氏距離和高斯核去計算之間的相似度。當(dāng)兩個候選對象來自于相同圖像時，兩者間的相似度記為0。根據(jù)這一相似度矩陣，利用一種新的譜聚類方法獲得初始的聚類結(jié)果C′＝{C′₁,C′₂,…,C′_t}，其中C′_m表示第m個初始聚類，t表示初始的聚類結(jié)果中的聚類數(shù)，m屬于1～t。在第二階段中，初始聚類的中心被做為新的聚類樣本，其特征可以表示為其中表示第m個聚類的聚類中心的特征，t表示初始的聚類結(jié)果中的聚類數(shù)，m屬于1～t。再利用巴氏距離和高斯核去計算初始聚類中心之間的相似度，最后仍然使用上述新的譜聚類方法去獲得最終的聚類結(jié)果C＝{C₁,C₂,…,C_v}，其中C_m表示第m個聚類，v表示最終聚類結(jié)果中的聚類數(shù)，m屬于1～v。新的譜聚類方法采用了文獻(xiàn)11：Frey,B.J.,Dueck,D.Clustering by passing messages between data points.Science,2007,315(5814):972–976.中提出的置信傳播算法取替代傳統(tǒng)譜聚類中使用的K均值算法。和傳統(tǒng)譜聚類方法一樣獲得拉普拉斯矩陣后，以全部的特征向量利用置信傳播算法進(jìn)行聚類，得到初步的聚類數(shù)，然后根據(jù)得到的聚類數(shù)重新截取特征向量，再次進(jìn)行聚類，若此時得到的聚類數(shù)和上次的聚類數(shù)相同，則聚類結(jié)束并返回聚類結(jié)果，若不相同則返回繼續(xù)執(zhí)行。

2.顯著區(qū)域偽標(biāo)注

從輸入的圖像集中獲得顯著區(qū)域，并將步驟一中獲得的對象標(biāo)簽傳遞到相應(yīng)的顯著區(qū)域上。該步驟包括了顯著度檢測及二值分割和標(biāo)簽傳遞及超像素分割兩個子步驟：

2.1.顯著度檢測及二值分割

顯著度檢測及二值分割首先獲得每一幅圖像的顯著圖，首先本發(fā)明采用文獻(xiàn)12：Zhu,W.,Liang,S.,Wei,Y.,Sun,J.Saliency optimization from robust background detection.CVPR’14,pp.2814–2821.中的顯著度檢測方法生成圖像I_n的顯著圖S_n。由于文獻(xiàn)13：Cheng,M.M.,Mitra,N.J.,Huang,X.,Torr,P.H.,Hu,S.M.Global contrast based salient region detection.IEEE TPAMI,2015,37(3):569–582.中的方法得到的結(jié)果具有很好的查全率而較差的查準(zhǔn)率，因此本發(fā)明才用該方法二值化顯著圖S_n得到S_n′，其中S_n′表示圖像I_n的二值化顯著圖。最后利用矩形窗口去包圍每一個不連通的顯著域并把它們分割出來，得到圖像I_n中的顯著區(qū)域其中h_n表示圖像I_n中顯著區(qū)域的數(shù)量。

2.2.標(biāo)簽傳遞及超像素分割

標(biāo)簽傳遞及超像素分割首先對獲得的顯著區(qū)域進(jìn)行超像素分割，本發(fā)明采用了文獻(xiàn)14：Achanta,R.,Shaji,A.,Smith,K.,Lucchi,A.,Fua,P.,Susstrunk,S.SLIC superpixels com-pared to state-of-the-art superpixel methods.IEEE TPAMI,2012,34(11):2274–2282.中所述方法，保證了超像素中像素具有相同的對象標(biāo)簽。然后通過計算顯著區(qū)域和候選對象之間的覆蓋面積來確定對象標(biāo)簽是否傳遞，定義和分別表示候選對象P_tⁿ在顯著區(qū)域內(nèi)部和外部的面積，其中P_tⁿ表示圖像I_n中第t個候選對象，而表示圖像I_n中第k個顯著區(qū)域，則若下式：

成立，則將候選對象P_tⁿ所具有的對象標(biāo)簽傳遞給顯著區(qū)域反之亦然，其中ρ表示控制標(biāo)簽傳遞的閾值。

3.集成多示例多標(biāo)簽學(xué)習(xí)

首先利用步驟1.2.1.的方法提取每一個超像素的特征，構(gòu)建出一個d維的特征向量。接著從d維的特征向量中隨機(jī)抽取出一個d′＝0.6d維的子特征向量，重復(fù)抽取t次，構(gòu)成一個特征向量集，本發(fā)明中取d＝300而t＝50。然后將顯著區(qū)域做為包，超像素做為示例，顯著區(qū)域的對象標(biāo)簽做為包的標(biāo)簽，利用文獻(xiàn)16：Briggs,F.,Fern,X.Z.,Raich,R.Rank-loss support instance machines for MIML instance annotation.ACM SIGKDD’12,pp.534–542.中的方法訓(xùn)練出一組弱分類器{c_1b,c_2b,…,c_vb}，其中c_mb表示在b個子特征向量上訓(xùn)練出的第m類共同對象的分類器，v表示分類器的類數(shù)，m屬于1～v。同時利用支持向量機(jī)學(xué)習(xí)出每一個弱分類器的權(quán)重，從而得到了強(qiáng)分類器{c₁,c₂,…,c_v}，其中c_m表示第m類共同對象的最終分類器，v表示分類器的類數(shù)，m屬于1～v。再利用強(qiáng)分類器確定每一個超像素的對象標(biāo)簽。最后每一幅圖像中屬于顯著區(qū)域的部分，根據(jù)超像素所具有的不同的對象標(biāo)簽進(jìn)行分割，而不屬于顯著區(qū)域的部分統(tǒng)一分割為背景，從而完成了圖像的分割。

實施例

本實施例中，如圖2所示為輸入圖像，通過本發(fā)明所述的基于多標(biāo)簽多示例學(xué)習(xí)的多目標(biāo)圖像聯(lián)合分割方法，可將圖2中每一幅圖像分割成如圖3中所述不同的共同對象由不同顏色標(biāo)識，且標(biāo)注1～3分別表示3類共同對象。圖中，標(biāo)號1表示藍(lán)衣服女孩，標(biāo)號2表示紅衣服女孩，標(biāo)號3表示蘋果和籃子。具體實施過程如下：

步驟一中，利用對象檢測獲得輸入圖像集的候選對象集，并對候選對象集進(jìn)行聚類獲得相應(yīng)的對象標(biāo)簽。如圖4所示為圖2中第二幅圖像經(jīng)步驟1.1.的單幅圖像的對象檢測的結(jié)果，其中圖4a為經(jīng)步驟1.1.1.所得到的對象區(qū)域，而圖4b為經(jīng)步驟1.1.2所得到的候選對象集。如圖5所示為步驟1.2.的分段式對象聚類算法根據(jù)由步驟1.2.1.所得候選對象特征對候選對象進(jìn)行聚類的結(jié)果。

步驟二中，利用顯著度檢測及二值分割獲得圖像的顯著區(qū)域，然后利用標(biāo)簽傳遞和步驟一中獲得的對象標(biāo)簽確定顯著區(qū)域所包含的對象標(biāo)簽，同時利用超像素分割方法對顯著區(qū)域進(jìn)行超像素分割，從而得到含標(biāo)簽的顯著區(qū)域。如圖6所示為圖2中第二幅圖像所得到的含標(biāo)簽的顯著區(qū)域，其中圖像下方的數(shù)字代表該顯著區(qū)域的對象標(biāo)簽。步驟三中，利用一種集成多示例多標(biāo)簽學(xué)習(xí)方法獲得顯著區(qū)域中每一個超像素的對象標(biāo)簽，從而得到最后的分割結(jié)果如圖3所示的標(biāo)注結(jié)果。

本發(fā)明提供了一種基于多標(biāo)簽多示例學(xué)習(xí)的多目標(biāo)圖像聯(lián)合分割方法的思路，具體實現(xiàn)該技術(shù)方案的方法和途徑很多，以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)做為本發(fā)明的保護(hù)范圍。本實施例中未明確的各組成部分均可用現(xiàn)有技術(shù)加以實現(xiàn)。