本發(fā)明首先涉及一種對由像素組成的彩色圖像進(jìn)行分割的方法,彩色圖像例如用數(shù)字顯微鏡拍攝并且要經(jīng)歷自動分析。此外,本發(fā)明還涉及一種可利用其執(zhí)行根據(jù)本發(fā)明的方法的數(shù)字顯微鏡。
背景技術(shù):
DE 698 30 583 T2示出了一種圖像數(shù)據(jù)處理方法,其接收輸入數(shù)據(jù),將這些輸入數(shù)據(jù)分成信息的基本單元。在那里表明HLS顏色空間和RGB顏色空間的針對不同類型的分析的不同的適應(yīng)性。
根據(jù)DE 44 19 395 A1公知了一種用于分析彩色圖像的方法以實現(xiàn)識別對象的目的,其中,將RGB圖像值轉(zhuǎn)變至HSI顏色空間中,以便結(jié)合其顏色執(zhí)行對各個像素的分類。
DE 102 39 801 A1教導(dǎo)了一種從多通道圖像提取結(jié)構(gòu)特征的方法。根據(jù)第二實施例針對分類形成特征,這些特征一方面,在RGB空間內(nèi)基于顏色距離大小進(jìn)行計算,另一方面在HSV空間內(nèi)在應(yīng)用在此生產(chǎn)的二進(jìn)制掩碼的情況下進(jìn)行計算。
在Selvarasu,N等人所著的“Euclidean Distance Based Co1or Image Segmentation of Abnormality Detection from Pseudo Co1or Thermographs(來自偽彩色溫度記錄器的異常探測的基于歐幾里得距離的彩色圖像分割)”,《international Journal of Computer Theory and Engineering(國際計算機理論與工程學(xué)報)》,第2卷,第4期,2010年8月,1793-8201頁中描述了用于對各個像素進(jìn)行分類的歐幾里得距離。在該文獻(xiàn)中,選出代表性的像素,利用該像素針對每個其他像素計算歐幾里得距離。當(dāng)距離小于或等于提前確定的閾值時,保留該像素,否則去除,從而最終僅會看到已分割的區(qū)。在此,僅利用一個顏色空間工作。分割僅根據(jù)距離大小的閾值進(jìn)行。不關(guān)注針對色調(diào)的區(qū)間。
在Zakir,U等人所著的“Road sign segmentation based on colour Spaces:A Comparative Study(基于顏色空間的道路標(biāo)志圖像分割:比較性研究)”,《Proceedings of the 11th lasted International Conference on Computer Graphics and Imaging(第11次國際計算機圖形和成像會議論文集)》,奧地利因斯布魯克,2010中描述了HSV顏色空間的色值與YUV顏色空間的色度通過“與”運算相結(jié)合。在此,僅利用用于分割的區(qū)間。
在Zhan,Chi等人所著的“A new method of color image segmentation based on intensity and hue clustering(基于強度和色相聚類的彩色圖像分割的新方法)”,Pattern Recognition(模式識別),2000,《Proceedings 15th International Conference(第15屆國際會議論文集)》,第3卷,IEEE,2000中描述了色調(diào)與強度的關(guān)聯(lián)。在此,確定位于HSI顏色空間之內(nèi)的這些值。
技術(shù)實現(xiàn)要素:
從現(xiàn)有技術(shù)出發(fā),本發(fā)明任務(wù)在于改進(jìn)對彩色圖像,尤其是由顯微鏡拍攝的彩色圖像的分割,使其更進(jìn)一步接近人類感知。
該任務(wù)通過根據(jù)隨附的權(quán)利要求1和2的方法以及通過根據(jù)隨附的并列權(quán)利要求9的數(shù)字顯微鏡解決。
根據(jù)本發(fā)明的方法用于對尤其是由數(shù)字顯微鏡拍攝的、由像素組成的彩色圖像自動分割。數(shù)字顯微鏡在此理解為如下顯微鏡,其中,用戶不直接通過物鏡觀察要用顯微鏡查看的對象,而是顯微鏡包括圖像拍攝單元,尤其是電子圖像轉(zhuǎn)換器。利用該圖像轉(zhuǎn)換器所拍攝的圖像被處理成數(shù)字信息并在顯示單元,尤其是監(jiān)視器上顯示給用戶。這種數(shù)字顯微鏡大多具有自動的用于圖像評估的功能,例如在質(zhì)量保證和質(zhì)量管理(QA/QC)的范圍內(nèi)。根據(jù)本發(fā)明的方法尤其涉及這種圖像評估。
通過分割,在彩色圖像內(nèi)確定至少一個區(qū)域,該區(qū)域例如無背景地顯示在彩色圖像內(nèi)成像的對象,從而對象的剪影確定區(qū)域的邊界。至少一個已分割的區(qū)域也可以表示組成對象或媒介的在彩色圖像內(nèi)多次成像的組成部分。因此,這種已分割的區(qū)域通常不是矩形的,而是任意成形的。該區(qū)域也不必是連續(xù)的,或者通過分割確定其中更多的已分割的區(qū)域。原則上,待分割的區(qū)域可以是如下區(qū)域,即,其應(yīng)當(dāng)專門用于進(jìn)一步的評估或者正好不用于進(jìn)一步的評估。
在根據(jù)本發(fā)明的方法中,基于配屬于像素的顏色實施分割,這些像素可以分別通過顏色位置(Farbort)來描述。因此,根據(jù)本發(fā)明的方法包括如下步驟,在該步驟中,選出代表彩色圖像的至少一個待分割的區(qū)域的顏色。這種選出優(yōu)選由用戶,尤其是在人機接口處進(jìn)行。待分割的區(qū)域的多個像素優(yōu)選具有所選出的顏色或者至少一個接近所選出的顏色的顏色。
在根據(jù)本發(fā)明的方法的一個步驟中,根據(jù)基于三色刺激的第一顏色模型來提供配屬于像素的顏色和所選出的顏色。這三色刺激優(yōu)選由加色混合法的三原色構(gòu)成。尤其優(yōu)選的是,第一顏色模型通過RGB顏色模型形成。備選地,第一顏色模型例如通過CMYK顏色模型或類似的顏色模型形成。因為RGB顏色模型在圖像處理中廣泛使用,所以根據(jù)RGB顏色模型來提供配屬于像素的顏色和所選出的顏色在大多數(shù)情況下不需要附加的耗費,這是因為此處的彩色圖像和所選出的顏色已經(jīng)是根據(jù)RGB顏色模型來描述的。
在根據(jù)本發(fā)明的方法的另一步驟中,確定其中每個像素的距離大小。距離大小分別表示各個像素的根據(jù)第一顏色模型所描述的所選出的顏色和根據(jù)第一顏色模型所描述的顏色之間的距離。因此,距離大小分別是所選出的顏色和各自的像素在根據(jù)第一顏色模型構(gòu)成的顏色空間內(nèi)的顏色之間的距離。
尤其優(yōu)選的是,距離大小由歐幾里得距離構(gòu)成。然而也可以應(yīng)用其他度量的距離大小。
在根據(jù)本發(fā)明的方法的另一步驟中實現(xiàn),根據(jù)感知導(dǎo)向(wahrnehmungsorientiert)的第二顏色模型來提供配屬于像素的顏色和所選出的顏色。第二顏色模型基于感知導(dǎo)向的參量,如顏色信息和亮度信息。顏色信息包括色調(diào)和顏色飽和度。色調(diào)也被稱為色值(Farbwert)。根據(jù)本發(fā)明,確定出配屬于像素的顏色的至少各一個色調(diào)和所選出的顏色的色調(diào)。第二顏色模型優(yōu)選通過HSV顏色模型形成。第二顏色模型也可以通過HSI顏色模型、HSB顏色模型或HSL顏色模型形成,HSV顏色模型是它們的通用形式。HSV顏色模型包括被稱為“色相(Hue)”的對應(yīng)于色調(diào)的成分。因此,在應(yīng)用HSV顏色模型時,至少分別確定針對配屬于像素的顏色和所選出的顏色的色相成分。
在根據(jù)本發(fā)明的方法的另一步驟中,當(dāng)配屬于各自的像素的距離大小在能設(shè)定的閾值之下時,并且當(dāng)配屬于各自的像素的色調(diào)位于在配屬于所選出的顏色的色調(diào)周圍的能設(shè)定的區(qū)間內(nèi)時,將其中一個像素配屬給已分割的區(qū)域。兩個所描述的條件通過邏輯與彼此邏輯關(guān)聯(lián),因此必須滿足這兩個條件,由此將各自的像素配屬給已分割的區(qū)域。閾值優(yōu)選可以由用戶設(shè)定,尤其優(yōu)選在人機接口處以交互方式設(shè)定。區(qū)間,即區(qū)間邊界優(yōu)選也可以由用戶設(shè)定,特別優(yōu)選是在人機接口處以交互方式設(shè)定。
優(yōu)選檢驗所有像素的這兩個條件,以便分別將它們配屬給已分割的區(qū)域或不配屬給已分割的區(qū)域。因此,當(dāng)配屬于各自的像素的距離大小在能設(shè)定的閾值之下時,并且當(dāng)配屬于各自的像素的色調(diào)位于在配屬于所選出的顏色的色調(diào)周圍的能設(shè)定的區(qū)間內(nèi)時,將其中一個像素配屬給已分割的區(qū)域,優(yōu)選針對其中每個像素。
根據(jù)本發(fā)明的方法的特別的優(yōu)點在于:在不同顏色模型的用于分割的適應(yīng)性方面聯(lián)合了不同顏色模型的優(yōu)點。感知導(dǎo)向的顏色模型,例如HSV顏色模型可以很容易地向人類用戶闡釋,但缺點是:通過選出非彩色的顏色,例如黑色、灰色或白色來同時獲得所有用于分割的可能的色調(diào),這是不恰當(dāng)?shù)?。而且用戶也很難針對這三種成分調(diào)節(jié)色調(diào)、顏色飽和度和亮度,以獲得期望的顏色?;谌碳さ念伾P?,例如RGB顏色模型的缺點是:距離大小,例如歐幾里得距離僅部分對應(yīng)于兩種顏色之間的人類感知的距離。通過聯(lián)合這兩種不同顏色模型的優(yōu)點,根據(jù)本發(fā)明的方法明顯更接近人類感知。根據(jù)本發(fā)明的方法具有兩個參量,即,用于距離大小的閾值和用于色調(diào)的區(qū)間,人類用戶可以直觀且不費力地調(diào)節(jié)它們,以便在分割時得到最優(yōu)的結(jié)果。
根據(jù)本發(fā)明的方法的一個特別優(yōu)選實施方案還包括如下步驟,在該步驟中,檢驗所選出的顏色是否為非彩色。當(dāng)某一顏色沒有色調(diào)時,該顏色為非彩色的。非彩色的顏色是黑色、灰色和白色。檢驗所選出的顏色是否為非彩色優(yōu)選通過如下方式進(jìn)行,即,檢驗根據(jù)第一顏色模型所描述的所選出的顏色針對三色刺激是否具有相同的值,也就是例如,根據(jù)RGB顏色模型所描述的所選出的顏色針對成分紅色、綠色和藍(lán)色是否具有相同的值。
在該特別優(yōu)選實施方案的當(dāng)所選出的顏色為非彩色時所執(zhí)行的另一步驟中,確定出配屬于像素的顏色與所選出的顏色的亮度值。由此,給每個像素和所選出的顏色配屬亮度值。該亮度值優(yōu)選通過灰度值或HSV顏色模型的被稱為“數(shù)值”的成分或HSI顏色模型的被稱為“強度”的成分現(xiàn)場。
在該特別優(yōu)選實施方案的當(dāng)所選出的顏色為非彩色時并且當(dāng)配屬于各自的像素的距離大小在能設(shè)定的閾值之下時并且當(dāng)配屬于各自的像素的亮度值位于在配屬于所選出的顏色的亮度值周圍的能設(shè)定的區(qū)間內(nèi)時所執(zhí)行的另一步驟中,將其中一個像素配屬給已分割的區(qū)域。該條件通過邏輯與彼此邏輯關(guān)聯(lián),從而必須滿足所有條件,由此將各自的像素配屬給已分割的區(qū)域。因此,在所選出的顏色為非彩色的情況下應(yīng)用特別的條件組合,其在這種情況下與上述基于色調(diào)的條件組合相比得到更好的結(jié)果。在所選出的顏色的亮度周圍的區(qū)間,即該區(qū)間的邊界優(yōu)選可以由用戶設(shè)定,尤其優(yōu)選在人機接口處以交互方式設(shè)定。
在該特別優(yōu)選的實施方案中,上述根據(jù)第二顏色模型來提供配屬于像素的顏色和所選出的顏色的步驟具體是當(dāng)所選出的顏色并非非彩色時實施。
在該特別優(yōu)選的實施方案中,上述當(dāng)配屬于各自的像素的距離大小在能設(shè)定的閾值之下時并且當(dāng)配屬于各自的像素的色調(diào)位于在配屬于所選出的顏色的色調(diào)周圍的能設(shè)定的區(qū)間內(nèi)時,將其中一個像素配屬給已分割的區(qū)域的步驟具體是當(dāng)所選出的顏色并非非彩色時實施。
該特別優(yōu)選的實施方案的優(yōu)點是:像素在非彩色的所選出的顏色情況下以特別的方式進(jìn)行處理,由此將這些像素更多地以與人類感知協(xié)調(diào)一致的方式配屬或不配屬給已分割的區(qū)域。
當(dāng)所選出的顏色并非非彩色時,并且當(dāng)配屬于各自的像素的距離大小在能設(shè)定的閾值之下時,并且當(dāng)配屬于各自的像素的色調(diào)位于在配屬于所選出的顏色的色調(diào)周圍的能提前設(shè)定的區(qū)間內(nèi)時,將其中一個像素配屬給已分割的區(qū)域,優(yōu)選針對其中每個像素進(jìn)行。
相應(yīng)地,當(dāng)所選出的顏色為非彩色時,并且當(dāng)配屬于各自的像素的距離大小在能設(shè)定的閾值之下時,并且當(dāng)配屬于各自的像素的亮度值在配屬于所選出的顏色的亮度值周圍的能設(shè)定的區(qū)間內(nèi)時,將其中一個像素配屬給已分割的區(qū)域,優(yōu)選針對其中每個像素進(jìn)行。
根據(jù)第二顏色模型來提供配屬于像素的顏色和所選出的顏色優(yōu)選通過如下方式進(jìn)行,即,配屬于像素的根據(jù)RGB顏色模型所描述的顏色和根據(jù)RGB顏色模型所描述的所選出的顏色分別轉(zhuǎn)換成根據(jù)HSV顏色模型的描述。因為RGB顏色模型在圖像處理中繼續(xù)擴展,所以配屬于像素的顏色和所選出的顏色大多數(shù)存在于根據(jù)RGB顏色模型的描述中,因此它們能從RGB顏色空間轉(zhuǎn)換到HSV顏色空間中。
在根據(jù)本發(fā)明方法的另一優(yōu)選要執(zhí)行的步驟中,顯示已分割的彩色圖像或至少是已分割的區(qū)域。顯示優(yōu)選在顯示單元,尤其是監(jiān)視器上進(jìn)行。至少一個已分割的區(qū)域優(yōu)選通過彩色圖像內(nèi)的高亮,例如通過假色技術(shù)(Falschfarbentechnik),或者通過不顯示彩色圖像的其他區(qū)域,或者通過僅不顯示已分割的區(qū)域來標(biāo)識或顯示。
已分割的區(qū)域的顯示優(yōu)選在圖形用戶界面內(nèi)進(jìn)行,該圖形用戶截面同樣是用于選出待選出的顏色和用于輸入閾值和區(qū)間的人機接口的一部分。用戶通過人機接口優(yōu)選請求首先選出待選出的顏色,隨后選擇用于距離大小的閾值并接著選擇區(qū)間,其中優(yōu)選的是,用戶要么被要求在非彩色的所選出的顏色情況下調(diào)節(jié)亮度值的區(qū)間,要么被要求在并非非彩色的所選出的顏色情況下調(diào)節(jié)色調(diào)的區(qū)間。
針對顏色的選出,優(yōu)選向用戶顯示圖形選出工具,像例如吸管圖標(biāo)。針對閾值和區(qū)間的調(diào)節(jié),優(yōu)選向用戶顯示圖形調(diào)整元件,例如滑動控制圖標(biāo)。手動選出顏色和手動調(diào)節(jié)調(diào)整元件優(yōu)選導(dǎo)致直接顯示通過更改顏色選出或通過更改閾值或通過更改區(qū)間得到的已分割的區(qū)域。選出工具和調(diào)整元件在初始時優(yōu)選設(shè)置預(yù)定值。各自的區(qū)間的預(yù)定值優(yōu)選通過如下方式調(diào)節(jié),即,使得所選出的顏色的亮度或所選出的顏色的色調(diào)居中地位于相應(yīng)的區(qū)間內(nèi)。
根據(jù)本發(fā)明的數(shù)字顯微鏡首先包括圖像拍攝單元,其優(yōu)選通過電子圖像轉(zhuǎn)換器,例如CCD傳感器或CMOS傳感器形成。數(shù)字顯微鏡還包括圖像處理單元,其用于執(zhí)行根據(jù)本發(fā)明的方法。圖像處理單元可以構(gòu)造為數(shù)字顯微鏡的整體的組成部分。圖像處理單元也可以例如通過配屬于數(shù)字顯微鏡的能自由編程的計算器形成。圖像處理單元尤其被構(gòu)造成用于實現(xiàn)根據(jù)本發(fā)明的方法的優(yōu)選實施方式。在其余方面,根據(jù)本發(fā)明的數(shù)字顯微鏡優(yōu)選還具有上面結(jié)合根據(jù)本發(fā)明方法所描述的特征。
數(shù)字顯微鏡優(yōu)選包括顯示單元,其例如通過監(jiān)視器形成。顯示單元用于顯示用圖像拍攝單元拍攝的圖像,尤其也用于顯示已分割的彩色圖像或者至少其中一個已分割的區(qū)域。
數(shù)字顯微鏡優(yōu)選還包括人機接口,其尤其可以實現(xiàn)選出代表待分割的區(qū)域的顏色、設(shè)定用于距離大小的閾值以及設(shè)定位于在配屬于所選出的顏色的色調(diào)周圍的區(qū)間以及必要時設(shè)定位于在配屬于所選出的顏色的亮度值周圍的區(qū)間。在此,顯示單元優(yōu)選構(gòu)成人機接口的一部分。尤其優(yōu)選的是,人機接口被構(gòu)造成使得在選出顏色以及設(shè)定閾值和所描述的區(qū)間時的變化直接影響已分割的區(qū)域的顯示。
附圖說明
根據(jù)本發(fā)明其他優(yōu)點、細(xì)節(jié)和改進(jìn)方式結(jié)合附圖由以下對根據(jù)本發(fā)明優(yōu)選實施方案的描述得到。
唯一的圖1示出根據(jù)本發(fā)明的方法的一個優(yōu)選實施方案的示意性流程圖。
具體實施方案
唯一的圖1示出根據(jù)本發(fā)明的方法的一個優(yōu)選實施方案的示意性流程圖。在第一步驟中提供由像素組成的、RGB格式的彩色圖像,并且用戶選出在彩色圖像內(nèi)存在的顏色,該顏色存在于待根據(jù)用戶意愿分割的彩色圖像區(qū)域內(nèi)。因此,用戶選出對于待分割的區(qū)域而言是典型的且在那里占主導(dǎo)地位的顏色。在此,待分割的區(qū)域不必是連續(xù)的。
彩色圖像尤其是利用數(shù)字顯微鏡拍攝的圖像。
在另一步驟中,在RGB顏色空間內(nèi)形成距離圖。在距離圖內(nèi),給彩色圖像的每個像素配屬針對各自的像素的RGB色值和所選出的顏色的RGB色值之間的歐幾里得距離的值。
在下一步驟中,執(zhí)行分割的第一階段。針對每個像素檢驗配屬于其的歐幾里得距離值是否達(dá)到或未達(dá)到由用戶設(shè)定的閾值。由此,針對每個像素得到針對參量“分區(qū)1”的邏輯值。
在下一步驟中,檢驗所選出的顏色是否為灰度,也就是說其是否是黑色、灰色或白色,這與所選出的顏色是否為非彩色的標(biāo)準(zhǔn)對等。在這種情況下,紅色、綠色和藍(lán)色的成分值大小相同。
在絕大多數(shù)情況下,所選出的顏色沒有灰度,也就是說是彩色的,由此首先進(jìn)行彩色圖像和所選出的顏色從RGB顏色空間到HSV顏色空間的轉(zhuǎn)換。
但是在此,尤其是色相成分,即色調(diào)成分對后續(xù)步驟至關(guān)重要,因此可以忽略其他成分。
在下一步驟中,執(zhí)行分割的第二階段。針對每個像素檢驗配屬于其的色相成分值是否高于由用戶設(shè)定的上區(qū)間邊界或低于由用戶設(shè)定的下區(qū)間邊界,也就是說色相成分值是否在由用戶設(shè)定的區(qū)間內(nèi)。由用戶設(shè)定的區(qū)間包括所選出的顏色的色相成分值。由此,針對每個像素得到針對參量“分區(qū)2”的邏輯值。
在下一步驟中,針對其中每個像素的參量“分區(qū)1”和“分區(qū)2”通過邏輯“與”彼此關(guān)聯(lián)。當(dāng)針對相關(guān)像素的參量“分區(qū)1”和參量“分區(qū)2”分別是邏輯“真”時,這些像素分別被配屬給已分割的區(qū)域。由此,設(shè)定已分割的區(qū)域,并且分割在這種情況下以彩色的所選出的顏色結(jié)束。
在其他情況下,所選出的顏色是灰度的,也就是非彩色的,首先確定針對彩色圖像的像素和針對所選出的顏色的灰度值,以便能夠在這些情況下也執(zhí)行分割的第二階段。分割的這個第二階段與在并非非彩色的所選出的顏色情況下的分割的上述第二階段是不同的。在此,在非彩色的所選出的顏色情況下,也就是說針對每個像素檢驗配屬于其的灰度值是否高于由用戶設(shè)定的上區(qū)間邊界或低于由用戶設(shè)定的下區(qū)間邊界,也就是說灰度值是否在由用戶設(shè)定的區(qū)間內(nèi)。由用戶設(shè)定的區(qū)間包括所選出的顏色的灰度值。由此,針對每個像素得到針對參量“分區(qū)2”的邏輯值。
在下一步驟中,針對其中每個像素的參量“分區(qū)1”和“分區(qū)2”通過邏輯“與”彼此關(guān)聯(lián)。當(dāng)針對相關(guān)像素的參量“分區(qū)1”和參量“分區(qū)2”分別是邏輯“真”時,這些像素分別被配屬給已分割的區(qū)域。由此,設(shè)定已分割的區(qū)域,并且分割在這種情況下以非彩色的所選出的顏色結(jié)束。
不依賴于所選出的顏色是否為灰度,最后例如通過彩色圖像內(nèi)的高亮或通過不顯示彩色圖像的剩余區(qū)域來示出針對用戶的已分割的區(qū)域。