一種基于超圖譜分析的圖像分割方法
【專利摘要】本發(fā)明公開了一種基于超圖譜分析的圖像分割方法，具體包括圖像預(yù)處理步驟、圖像超像素合并步驟、超圖模型生成步驟和超圖譜聚類步驟。本發(fā)明將圖像過分割后的區(qū)域作為超像素，并以超像素作為頂點(diǎn)，以多種不同過分割方法得到的超像素之間的關(guān)系來構(gòu)建超邊，形成超圖模型，代替了傳統(tǒng)的兩兩像素點(diǎn)建立關(guān)系（邊）形成圖模型的方法，從而有效地反映了像素之間的高階耦合關(guān)系，考慮了圖像各個區(qū)域間的關(guān)聯(lián)性，使得分割結(jié)果的區(qū)域一致性和邊緣準(zhǔn)確性均有明顯改善。
【專利說明】一種基于超圖譜分析的圖像分割方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計算機(jī)視覺與圖像處理【技術(shù)領(lǐng)域】，尤其是涉及一種基于超圖譜分析的圖像分割方法。
【背景技術(shù)】
[0002]在計算機(jī)視覺領(lǐng)域，圖像分割(Segmentation)指的是將數(shù)字圖像細(xì)分為多個圖像子區(qū)域的過程。圖像分割的目的是簡化或改變圖像的表示形式，是圖像處理與計算機(jī)視覺領(lǐng)域的基礎(chǔ)性工作，使得圖像更容易理解和分析?，F(xiàn)實(shí)中，雖然人可以很容易能把圖像分成連貫的區(qū)域，但對與計算機(jī)視覺系統(tǒng)而言卻是非常困難的。盡管有很多分割方法被提出來，但是由于自然圖像多樣性和多義性，分割的性能還不能滿足實(shí)際的需求。
[0003]目前，圖像分割方法的數(shù)量非常多，其中，基于圖論的方法在過去30年引起學(xué)者們的廣泛關(guān)注。圖論方法的主要思想是將圖像映射成加權(quán)圖，把圖像像素看作圖的頂點(diǎn)，鄰接像素之間的關(guān)系看作圖的邊，鄰接像素之間的相似性看作邊的權(quán)值，根據(jù)邊的權(quán)值設(shè)計能量函數(shù)，通過最小化能量函數(shù)完成對圖的分割，從而實(shí)現(xiàn)圖像分割。
[0004]基于圖論的分割方法對圖像進(jìn)行分割時優(yōu)點(diǎn)明顯:
[0005]I)圖論是一門研究比較早而且已經(jīng)發(fā)展成熟的學(xué)科，具有較好的數(shù)學(xué)基礎(chǔ)。針對某個問題，圖論中有多個方法可以解決；
[0006]2)圖像和圖之間非常相似。
[0007]在圖像映射為圖之后，便可以利用圖論中的各種理論和數(shù)學(xué)工具進(jìn)行圖像分割。目前常用的基于圖論的分割方法包括最小割(通常稱為圖割)、歸一化割等。
[0008]對于圖割方法而言，其優(yōu)點(diǎn)主要為:
[0009]I)在全局最優(yōu)的框架下進(jìn)行分割，保證了能量函數(shù)的全局最優(yōu)解；
[0010]2)同時利用了圖像的像素灰度信息和區(qū)域邊界信息，分割效果好；
[0011]3)用戶交互簡單且方便，只需在目標(biāo)內(nèi)部和背景區(qū)域標(biāo)記少量的種子點(diǎn)，對種子點(diǎn)的具體位置也沒有嚴(yán)格要求，而且通過預(yù)處理方法自動確定種子點(diǎn)，也可讓圖割方法自動化。
[0012]和圖割相比，歸一化割存在以下兩點(diǎn)不足:
[0013]I)沒有嵌入一元(Unary)項，如各自圖結(jié)點(diǎn)的先驗(yàn)，相當(dāng)于對所有結(jié)點(diǎn)都是零先驗(yàn);
[0014]2)需要計算大矩陣的廣義特征向量，盡管采取了復(fù)雜度抑制措施，計算量仍很大。
[0015]但是，歸一化割不僅能滿足分割結(jié)果類內(nèi)相似度最大，同時能使得類間相異度最大，因此，其更容易分離出圖像中的小目標(biāo)物體，這對于圖像分割而言，至關(guān)重要。
[0016]然而，對于圖像模型而言，僅僅基于傳統(tǒng)的兩兩像素點(diǎn)構(gòu)建立關(guān)系(邊)，形成的圖模型顯然無法刻畫圖像區(qū)域之間的復(fù)雜關(guān)系，圖像分割的結(jié)果往往并不令人滿意。

【發(fā)明內(nèi)容】
[0017]為解決上述問題，本發(fā)明公開了一種基于超圖譜分析的圖像分割方法，通過超圖模型，利用超像素點(diǎn)代替像素點(diǎn)，利用超像素之間的高階耦合關(guān)系，反映圖像各個區(qū)域間的關(guān)聯(lián)性，達(dá)到最優(yōu)的分割結(jié)果。
[0018]為了達(dá)到上述目的，本發(fā)明提供如下技術(shù)方案:
[0019]一種基于超圖譜分割的圖像分割方法，包括如下步驟:
[0020]圖像預(yù)處理步驟:基于給定的圖像，采用至少兩種過分割方法分別對圖像進(jìn)行過分割，其中，每種過分割方法將圖像分成若干個子區(qū)域，將每個子區(qū)域作為一個超像素，從而獲得圖像的多個過分割超像素集合；
[0021]圖像超像素合并步驟:基于圖像預(yù)處理步驟中獲得的多個圖像過分割超像素集合，通過迭代的方式兩兩求交集，最終得到合并超像素集合；
[0022]超圖模型生成步驟:利用合并超像素集合中的超像素表示超圖頂點(diǎn)，并以每種過分割超像素集合中的超像素和合并超像素集合之間的關(guān)聯(lián)性構(gòu)建超邊，將與每個超邊相關(guān)的過分割超像素的權(quán)重累加之和作為超邊的權(quán)重，從而形成超圖模型；
[0023]超圖譜聚類步驟:基于生成的超圖模型，通過超圖譜聚類方法將超像素聚類，從而得到圖像的分割結(jié)果。
[0024]作為本發(fā)明的一種優(yōu)選方案，所述圖像預(yù)處理步驟中的過分割方法包括Kmeans分割方法、Meanshift分割方法、基于輪廓檢測的層次分割方法和多尺度歸一化圖割方法。
[0025]作為本發(fā)明的一種優(yōu)選方案，所述圖像超像素合并步驟中所述迭代的方式兩兩求交集表示為:1= ((((S1 n s2) n s3) n s4)-n sM)，其中，I表示合并超像素集合，sr"sM分別表示由μ種過分割方法生成的過分割超像素集合。
[0026]作為本發(fā)明的一種優(yōu)選方案，所述超圖模型生成步驟中構(gòu)建超邊的過程為:如果合并超像素集合中的超像素是過分割超像素集合中超像素的一部分，則形成一條超邊，同時分配數(shù)值I給超邊關(guān)聯(lián)矩陣，否則分配數(shù)值O。
[0027]作為本發(fā)明的一種優(yōu)選方案，所述通過超圖譜聚類方法將超像素聚類的過程為:求解超圖拉普拉斯矩陣的特征值和特征向量后，利用kmeans聚類算法將超圖最優(yōu)分離。
[0028]與現(xiàn)有技術(shù)相比，本發(fā)明采用以上技術(shù)方案的優(yōu)點(diǎn)在于:
[0029]首先，本發(fā)明將圖像過分割后的區(qū)域作為超像素，并以超像素作為頂點(diǎn)，以多種不同過分割得到的超像素之間的關(guān)系來構(gòu)建超邊，形成超圖模型，代替了傳統(tǒng)的兩兩像素點(diǎn)建立關(guān)系(邊)形成圖模型的方法，從而有效地反映了像素之間的高階耦合關(guān)系，考慮了圖像各個區(qū)域間的關(guān)聯(lián)性，使得分割結(jié)果的區(qū)域一致性和邊緣準(zhǔn)確性均有明顯改善。
[0030]其次，實(shí)驗(yàn)結(jié)果表明，本發(fā)明獲得的分割結(jié)果較現(xiàn)有方法更為精確，為后續(xù)圖像分析和處理提供了良好的基礎(chǔ)，能夠廣泛應(yīng)用與計算機(jī)視覺和圖像處理領(lǐng)域。
【專利附圖】

【附圖說明】
[0031]圖1為本發(fā)明提供的基于超圖譜分析的圖像分割方法步驟流程圖。
[0032]圖2為超圖模型的示意例圖。
[0033]圖3為超圖關(guān)聯(lián)矩陣的示意例圖。
[0034]圖4為圖像映射成超圖模型的示意圖。
[0035]圖5為本發(fā)明處理實(shí)際圖像的過程示意圖。[0036]圖6為采用本發(fā)明方法在伯克利大學(xué)BSDS300圖像數(shù)據(jù)庫上的分割結(jié)果示意圖；
[0037]其中(a)為待處理圖像，(b)為圖像分割結(jié)果的邊緣顯示圖，(c)為圖像分割結(jié)果偽彩色顯示圖。
【具體實(shí)施方式】
[0038]以下將結(jié)合具體實(shí)施例對本發(fā)明提供的技術(shù)方案進(jìn)行詳細(xì)說明，應(yīng)理解下述【具體實(shí)施方式】僅用于說明本發(fā)明而不用于限制本發(fā)明的范圍。
[0039]如圖1所示，本發(fā)明包括如下步驟:[0040]1、圖像預(yù)處理步驟:基于給定的圖像，采用至少兩種過分割方法分別對圖像進(jìn)行過分割，所述過分割方法將圖像分成若干個子區(qū)域，每個子區(qū)域作為一個超像素，從而獲得超像素集合。由于采用了多種過分割方法，因此該步驟獲得多種過分割超像素集合。上述過分割方法包括=Kmeans分割方法、Meanshift分割方法、基于輪廓檢測的層次分割方法和多尺度歸一化圖割方法等等。
[0041]2、圖像超像素合并步驟:基于前述多種過分割方法得到的若干個圖像超像素集合(下稱為過分割超像素集合)，以一種迭代的方式兩兩求交集，并獲得最終的合并結(jié)果，表示為圖像的超像素集合(下稱為合并超像素集合)。上述迭代的方式可表現(xiàn)為:先對兩種過分割超像素集合求交集，然后求得結(jié)果再和第三種過分割超像素集合求交集，以此類推。具體的說，由M種過分割方法生成了過分割超像素集合表示為S^-SM，通過迭代方式兩兩求交集之后得到的合并超像素集合I表示為如下形式:
[0042]I= ((((S1 n s2) n s3) n S4)…η sM)
[0043]3、超圖模型生成步驟:利用合并超像素集合I中的超像素表示超圖頂點(diǎn)，并以每種過分割超像素集合中的超像素和合并超像素集合I之間的關(guān)聯(lián)性構(gòu)建超邊，形成超圖模型。
[0044]我們知道，一個超圖模型G = (V，E，W)是由頂點(diǎn)集合V、超邊集合E、以及超邊權(quán)重矩陣W構(gòu)成。圖2、圖3為超圖模型及其關(guān)聯(lián)矩陣示意例圖，其中圖2列出了三個超邊和6個頂點(diǎn)，超邊O1由頂點(diǎn)V1, v2, V3三個點(diǎn)組成，e2由v2, V4兩個點(diǎn)組成，e3由v5, V6兩個點(diǎn)組成；圖3所示的關(guān)聯(lián)矩陣H示出了超邊和頂點(diǎn)的關(guān)聯(lián)關(guān)系。每一個超邊ei都有一個權(quán)重W^ei), W = (IiagMe1), w(e2)…)。將超圖G的連接關(guān)系表示為|V|X|E|的關(guān)聯(lián)矩陣H定義如下:
【權(quán)利要求】
1.一種基于超圖譜分割的圖像分割方法，其特征在于，包括如下步驟: 圖像預(yù)處理步驟:基于給定的圖像，采用至少兩種過分割方法分別對圖像進(jìn)行過分割，其中，每種過分割方法將圖像分成若干個子區(qū)域，將每個子區(qū)域作為一個超像素，從而獲得圖像的多個過分割超像素集合； 圖像超像素合并步驟:基于圖像預(yù)處理步驟中獲得的多個圖像過分割超像素集合，通過迭代的方式兩兩求交集，最終得到合并超像素集合； 超圖模型生成步驟:利用合并超像素集合中的超像素表示超圖頂點(diǎn)，并以每種過分割超像素集合中的超像素和合并超像素集合之間的關(guān)聯(lián)性構(gòu)建超邊，將與每個超邊相關(guān)的過分割超像素的權(quán)重累加之和作為超邊的權(quán)重，從而形成超圖模型； 超圖譜聚類步驟:基于生成的超圖模型，通過超圖譜聚類方法將超像素聚類，從而得到圖像的分割結(jié)果。
2.根據(jù)權(quán)利要求1所述的基于超圖譜分割的圖像分割方法，其特征在于，所述圖像預(yù)處理步驟中的過分割方法包括=Kmeans分割方法、Meanshift分割方法、基于輪廓檢測的層次分割方法和多尺度歸一化圖割方法。
3.根據(jù)權(quán)利要求1或2所述的基于超圖譜分割的圖像分割方法，其特征在于，圖像超像素合并步驟中所述迭代的方式兩兩求交集表示為:i = ((((S1 n s2) n s3) n S4)-η sM)， 其中，I表示合并超像素集合，S1-sM分別表示由μ種過分割方法生成的過分割超像素集合。
4.根據(jù)權(quán)利要求1或2所述的基于超圖譜分割的圖像分割方法，其特征在于，所述超圖模型生成步驟中構(gòu)建超邊的過程為:如果合并超像素集合中的超像素是過分割超像素集合中超像素的一部分，則形成一條超邊，同時分配數(shù)值I給超邊關(guān)聯(lián)矩陣，否則分配數(shù)值O。
5.據(jù)權(quán)利要求1或2所述的基于超圖譜分割的圖像分割方法，其特征在于，所述通過超圖譜聚類方法將超像素聚類的過程為:求解超圖拉普拉斯矩陣的特征值和特征向量后，利用kmeans聚類算法將超圖最優(yōu)分離。
【文檔編號】G06T7/00GK103544697SQ201310464992
【公開日】2014年1月29日 申請日期:2013年9月30日 優(yōu)先權(quán)日:2013年9月30日
【發(fā)明者】劉青山, 王燦田, 孫玉寶, 鄧建康 申請人:南京信息工程大學(xué)