本發(fā)明屬于醫(yī)學(xué)圖像處理領(lǐng)域，涉及一種人體外周血細(xì)胞圖像中白細(xì)胞五分類技術(shù)，具體是一種基于深度學(xué)習(xí)的白細(xì)胞五分類方法。

背景技術(shù)：

血液中的白細(xì)胞對人體免疫功能來說十分重要，血液中各類白細(xì)胞的數(shù)量和百分比在有疾病和正常情況下是不同的,醫(yī)生可以依據(jù)這些重要的基礎(chǔ)數(shù)據(jù)作為判斷疾病的種類和疾病的嚴(yán)重程度的標(biāo)準(zhǔn)，這對于醫(yī)學(xué)診斷中對血液病的研究有很大價(jià)值，所以研究白細(xì)胞的分類計(jì)數(shù)很有意義。隨著計(jì)算機(jī)和人工智能技術(shù)的不斷發(fā)展，細(xì)胞圖像分析已經(jīng)成為臨床診斷、病理分析以及治療的重要輔助工具。它解決了當(dāng)前人工顯微鏡進(jìn)行白細(xì)胞計(jì)數(shù)的工作量大、主觀性強(qiáng)以及效率低的問題，且圖片可以顯示保存，以便于以后查驗(yàn)分類正確性。目前，許多研究者在白細(xì)胞圖像自動(dòng)識(shí)別方面做了大量的研究，提出了許多實(shí)用的分類算法，主要包括：

(1)專利《血細(xì)胞分析方法及血細(xì)胞分析裝置》(中國專利公開號(hào)CN103837502A)利用熒光染色對白細(xì)胞的核酸進(jìn)行染色，利用獲取的熒光信號(hào)進(jìn)行分類。該方法原理簡單、實(shí)現(xiàn)容易。其主要思想是讓所制備的測定試樣流過流動(dòng)室，檢測出測定試樣中各血細(xì)胞發(fā)出的熒光和不同角度的兩種散射光，獲取熒光信號(hào)和兩種散射光信號(hào)的檢測步驟；用基于獲取的熒光信號(hào)和兩種散射光信號(hào)的至少三種參數(shù)進(jìn)行分析，以此檢測出腫瘤性淋巴細(xì)胞，并將白細(xì)胞至少分為四類。

缺點(diǎn)：對細(xì)胞核酸進(jìn)行染色破壞了細(xì)胞的結(jié)構(gòu)，使得細(xì)胞損壞不能用于下次檢測，且不能查驗(yàn)錯(cuò)誤細(xì)胞到底是屬于哪一類。

(2)專利《一種白細(xì)胞分類方法及裝置》(中國專利公開號(hào)CN103745210A)利用神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行分類，該方法的基本思想是提取各類細(xì)胞的細(xì)胞形態(tài)學(xué)特征參數(shù)及白細(xì)胞細(xì)胞核的顏色特征參數(shù)、細(xì)胞質(zhì)的顆粒特征參數(shù)及顏色特征參數(shù)并對這些特征歸一化然后利用神經(jīng)網(wǎng)絡(luò)對細(xì)胞進(jìn)行分類。

上述技術(shù)的缺點(diǎn)：所取特征都是基于全局考慮的，未對細(xì)胞圖像的局部特征進(jìn)行描述。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種基于深度學(xué)習(xí)的白細(xì)胞五分類方法。

為了實(shí)現(xiàn)上述目的，本發(fā)明提供了如下技術(shù)方案：

本發(fā)明提供一種基于深度學(xué)習(xí)的白細(xì)胞五分類方法，該方法包括如下步驟：

(1)白細(xì)胞檢測

(1.1)將含有白細(xì)胞的顯微鏡圖片作為測試圖像I₁，提取測試圖像RGB顏色通道的R、B分量；將R、B分量做差；然后進(jìn)行閾值分割，得到初步分割圖I₂；

(1.2)對于上述得到的初步分割圖I₂，利用形態(tài)學(xué)操作中的腐蝕與膨脹操作得到完整細(xì)胞核圖I₃；

(1.3)將上述得到的完整細(xì)胞核圖I₃中的細(xì)胞核標(biāo)為i，i＝1,2,……N，其外接矩形為A_i，中心坐標(biāo)為(x_i,y_i)，得到定位框圖；

計(jì)算任意兩個(gè)中心坐標(biāo)之間的距離并測量其外接矩形的最長距離來判斷是否是完整細(xì)胞核，若所測細(xì)胞核屬于白細(xì)胞中的非分葉細(xì)胞，即只有一個(gè)細(xì)胞核，則每一個(gè)定位框圖即為白細(xì)胞定位子圖；若所測細(xì)胞核屬于白細(xì)胞中的分葉細(xì)胞，則采用中心坐標(biāo)實(shí)時(shí)更新迭代的方法，進(jìn)而實(shí)現(xiàn)細(xì)胞核完整；

(1.4)利用細(xì)胞核對白細(xì)胞進(jìn)行檢測；

對于每個(gè)白細(xì)胞定位子圖，利用細(xì)胞核的中心坐標(biāo)(x_i,y_i)與定位框的高度、寬度檢測得到白細(xì)胞圖像；

(2)粒細(xì)胞篩選

(2.1)對步驟(1)檢測得到的白細(xì)胞圖像提取其細(xì)胞質(zhì)的紋理特征，即共生LBP的直方圖特征；

(2.2)對于得到的直方圖特征，利用BRD計(jì)算直方圖之間的距離，判斷其屬于嗜堿性粒細(xì)胞、嗜酸性粒細(xì)胞亦或是其他三類細(xì)胞：中性粒細(xì)胞、淋巴細(xì)胞、單核細(xì)胞；

(3)其他三類細(xì)胞分類

(3.1)對上述得到的其他三類細(xì)胞：中性粒細(xì)胞、淋巴細(xì)胞、單核細(xì)胞，利用卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取其卷積特征，即將以上三類白細(xì)胞圖片輸入到該卷積神經(jīng)網(wǎng)絡(luò)中得到4096維特征向量；

(3.2)對上述得到的特征向量，利用隨機(jī)森林進(jìn)行中性粒細(xì)胞、淋巴細(xì)胞、單核細(xì)胞三分類。

所述步驟(1.1)中，在-5～0中選擇一個(gè)整數(shù)值作為閾值進(jìn)行分割，大于閾值的值置為1，小于閾值的值置為0，得到初步分割圖I₂。

所述步驟(1.2)中，對初步分割圖做一次腐蝕及兩次膨脹，得到的圖與初步分割圖I₂做交，得到完整細(xì)胞核圖I₃，其腐蝕膨脹公式為其中B是結(jié)構(gòu)元。

選取半徑為3的橢圓狀結(jié)構(gòu)元。

所述步驟(1.3)中，

計(jì)算任意兩個(gè)中心坐標(biāo)的之間的距離

若A_i∪A_j≤s，且d≤l，則合并二者得到新的中心坐標(biāo)

作為新的定位框；否則，不合并；

其中，

s為數(shù)據(jù)庫統(tǒng)計(jì)出來的單個(gè)最大白細(xì)胞面積,

l為數(shù)據(jù)庫統(tǒng)計(jì)出來的單個(gè)白細(xì)胞最長直徑。

所述步驟(2.1)中，提取細(xì)胞質(zhì)的共生LBP特征，兩點(diǎn)的共生LBP公式為PRICoLBP(A,B)＝[LBP^ru(A),LBP^u(B,i(A))]_co，

其中LBP^ru(A)為LBP的旋轉(zhuǎn)不變局部二值模式，LBP^u(B,i(A))為LBP的均勻局部二值模式，即使得點(diǎn)A的二值序列最大的下標(biāo)i作為點(diǎn)B二值序列的起始點(diǎn)，保證了共生LBP的旋轉(zhuǎn)不變性。

所述步驟(2.2)中，得到共生LBP直方圖之后利用BRD計(jì)算直方圖之間的距離作為SVM分類時(shí)的高斯核，BRD公式為

$d_{BRD}(p,q)=\underset{i=1}{\overset{n}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{\left(\frac{p_i{q}_j-p_j{q}_i}{p_i+q_j}\right)}^2,$

其中p＝[p₁,p₂,...,p_n]與q＝[q₁,q₂,...,q_n]均為直方圖向量；

利用1vs多的SVM進(jìn)行訓(xùn)練并測試，即對于嗜酸性粒細(xì)胞、嗜堿性粒細(xì)胞、其他三類細(xì)胞這三類分別訓(xùn)練出嗜酸性粒細(xì)胞、嗜堿性粒細(xì)胞、其他三類細(xì)胞三個(gè)對應(yīng)的分類器；測試時(shí)，將直方圖數(shù)據(jù)帶入訓(xùn)練好的嗜酸性粒細(xì)胞、嗜堿性粒細(xì)胞、其他三類細(xì)胞分類器，哪一個(gè)分類器得分較大就代表屬于哪一類，從而篩選出嗜酸性粒細(xì)胞、嗜堿性粒細(xì)胞和其他三類細(xì)胞。

所述步驟(3.2)中，

每個(gè)決策樹對應(yīng)一個(gè)分類器{h(x,θ_k)|k＝1,2,...,L}，L為樣本的個(gè)數(shù),{θ_k|k＝1,2,...,L}是隨機(jī)獨(dú)立分布向量,x代表的是測試樣本的特征向量，利用Bagging采樣選擇一組樣本作為訓(xùn)練樣本,然后從當(dāng)前節(jié)點(diǎn)的特征屬性中隨機(jī)選取M維分別計(jì)算它們的Gini純度指數(shù)；純度最低的作為當(dāng)前節(jié)點(diǎn)的最佳分類屬性,利用分裂函數(shù)將這個(gè)節(jié)點(diǎn)的樹分為兩個(gè)子樹,重復(fù)此過程直到不能再分裂或者是到了葉子節(jié)點(diǎn)，進(jìn)而得到了多個(gè)決策樹組成的森林；

測試時(shí)，將其他三類白細(xì)胞圖片上面得到的特征向量帶入訓(xùn)練好的每一個(gè)決策樹，每個(gè)決策樹進(jìn)行投票，得票最多的類就是該其他三類白細(xì)胞最后的分類結(jié)果。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：

本發(fā)明主要是對顯微鏡圖片中的白細(xì)胞進(jìn)行自動(dòng)檢測分類，通過細(xì)胞核特征對白細(xì)胞進(jìn)行檢測并利用深度學(xué)習(xí)實(shí)現(xiàn)白細(xì)胞全自動(dòng)提取特征及分類，避免了由傳統(tǒng)方法中利用分割所帶來的分類誤差。

首先利用簡單的顏色分量關(guān)系及形態(tài)學(xué)操作將白細(xì)胞從顯微鏡圖片中檢測出來，然后利用顆粒特征及SVM識(shí)別出嗜堿性粒細(xì)胞與嗜酸性粒細(xì)胞，接著利用卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取剩下細(xì)胞圖片的特征，最后利用隨機(jī)森林實(shí)現(xiàn)剩下的中性粒細(xì)胞、淋巴細(xì)胞、單核細(xì)胞三分類。

與其他方法在CellaVision數(shù)據(jù)庫、ALL-IDB數(shù)據(jù)庫以及Jasdaq數(shù)據(jù)庫上進(jìn)行測試對比，可以看出本發(fā)明方法具有很好的有效性。

附圖說明

圖1為本發(fā)明基于深度學(xué)習(xí)的白細(xì)胞五分類方法的整體框圖；

圖2為含有白細(xì)胞的顯微鏡圖片；

圖3為提取RGB顏色通道的R、B分量做差后的圖像；

圖4為進(jìn)行初步閾值分割的圖像；

圖5為腐蝕和膨脹得到的圖與初步分割圖做交后的圖像；

圖6為白細(xì)胞定位框圖；

圖7為圖6中非分葉細(xì)胞的定位子圖；

圖8為圖6中分葉細(xì)胞采用中心坐標(biāo)實(shí)時(shí)更新迭代的定位子圖；

圖9為本發(fā)明所用卷積神經(jīng)網(wǎng)絡(luò)框架的圖像。

具體實(shí)施方式

下面結(jié)合實(shí)施例對本發(fā)明進(jìn)行進(jìn)一步說明。

本發(fā)明提供一種基于深度學(xué)習(xí)的白細(xì)胞五分類方法，首先利用簡單的顏色分量關(guān)系及形態(tài)學(xué)操作找出白細(xì)胞所在區(qū)域的外接矩形作為白細(xì)胞的定位框從而將白細(xì)胞從顯微鏡圖片中檢測出來；然后利用顆粒特征及SVM識(shí)別出嗜堿性粒細(xì)胞、嗜酸性粒細(xì)胞及其他細(xì)胞；接著利用卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取剩下細(xì)胞圖片的特征，利用隨機(jī)森林實(shí)現(xiàn)中性粒細(xì)胞、淋巴細(xì)胞、單核細(xì)胞三分類。

如圖1所示，本發(fā)明的基于深度學(xué)習(xí)的白細(xì)胞五分類方法包括如下步驟：

(1)白細(xì)胞檢測

(1.1)將含有白細(xì)胞的顯微鏡圖片作為測試圖像I₁，如圖2所示，提取測試圖像RGB顏色通道的R、B分量，其中，R、G、B分量為圖像存儲(chǔ)數(shù)據(jù)；然后將R、B分量做差，結(jié)果如圖3所示；在-5～0中選擇一個(gè)整數(shù)值作為閾值進(jìn)行分割，大于閾值的值置為1，小于閾值的值置為0，得到初步分割圖I₂，如圖4所示。

(1.2)利用形態(tài)學(xué)操作中的腐蝕與膨脹操作得到完整細(xì)胞核圖。

對初步分割圖I₂做一次腐蝕及兩次膨脹，得到的圖與初步分割圖I₂做交，得到完整細(xì)胞核圖I₃，如圖5所示；

其腐蝕膨脹公式為其中B是結(jié)構(gòu)元；優(yōu)選地，選取半徑為3的橢圓狀結(jié)構(gòu)元。

(1.3)將完整細(xì)胞核圖I₃圖上得到的細(xì)胞核標(biāo)為i，i＝1,2,……N，其外接矩形為A_i，中心坐標(biāo)為(x_i,y_i)，得到定位框圖，如圖6所示。

計(jì)算任意兩個(gè)定位框圖中心坐標(biāo)之間的距離并測量其外接矩形的最長距離來判斷是否是完整細(xì)胞核，若所測細(xì)胞核屬于白細(xì)胞中的非分葉細(xì)胞，即只有一個(gè)細(xì)胞核，則每一個(gè)定位框圖即為白細(xì)胞定位子圖，如圖7所示。若所測細(xì)胞核屬于白細(xì)胞中的分葉細(xì)胞，如中性粒細(xì)胞、嗜堿性粒細(xì)胞等，采用中心坐標(biāo)實(shí)時(shí)更新迭代的方法，進(jìn)而實(shí)現(xiàn)細(xì)胞核完整。

計(jì)算任意兩個(gè)定位框圖中心坐標(biāo)之間的距離d：

$d=\sqrt{{(x_i-x_j)}^2+{(y_i-y_j)}^2},$

若A_i∪A_j≤s，且d≤l，則合并二者得到新的中心坐標(biāo)

作為新的定位框圖；否則，不合并。

其中，

s為數(shù)據(jù)庫統(tǒng)計(jì)出來的單個(gè)最大白細(xì)胞面積,

l為數(shù)據(jù)庫統(tǒng)計(jì)出來的單個(gè)白細(xì)胞最長直徑。

分葉細(xì)胞的整合算法如圖8所示，實(shí)線框?yàn)樯衔牡玫降某跏级ㄎ豢?，可以看出?xì)胞核被分成了三部分，因此找到這三個(gè)框的中心并利用上面所說的方法對其進(jìn)行合并，得到包含完整細(xì)胞核的定位框，如圖8中虛線框所示。

(1.4)利用細(xì)胞核對白細(xì)胞進(jìn)行檢測。

對于每個(gè)白細(xì)胞定位子圖，利用細(xì)胞核的中心坐標(biāo)(x_i,y_i)與定位框的高度、寬度就可以檢測得到白細(xì)胞圖像。

在CellaVision數(shù)據(jù)庫以及ALL-IDB數(shù)據(jù)庫上對檢測結(jié)果進(jìn)行測試，為了說明算法性能的好壞,我們提出了檢測率r_d以及過檢測率r_s,描述如下：

$r_d=\frac{TP}{TP+FP},r_s=\frac{FN}{TP+FP},$

其中,

TP是顯微鏡圖片中被正確檢測出來的白細(xì)胞個(gè)數(shù)；

FP是顯微鏡圖片中未被檢測出來的白細(xì)胞個(gè)數(shù)；

FN是顯微鏡圖片中不是白細(xì)胞卻被檢測成白細(xì)胞的個(gè)數(shù)。

具體結(jié)果如表1所示。

表1本發(fā)明白細(xì)胞檢測方法與迭代閾值法比較

(2)粒細(xì)胞篩選，即利用顆粒特征及SVM識(shí)別嗜堿性粒細(xì)胞、嗜酸性粒細(xì)胞及其他三類細(xì)胞

(2.1)對步驟(1)檢測得到的白細(xì)胞圖像提取其細(xì)胞質(zhì)的紋理特征，即共生LBP的直方圖特征。

提取細(xì)胞質(zhì)的共生LBP特征，兩點(diǎn)的共生LBP公式為PRICoLBP(A,B)＝[LBP^ru(A),LBP^u(B,i(A))]_co。

其中LBP^ru(A)為LBP的旋轉(zhuǎn)不變局部二值模式，LBP^u(B,i(A))為LBP的均勻局部二值模式，即使得點(diǎn)A的二值序列最大的下標(biāo)i作為點(diǎn)B的二值序列的起始點(diǎn)，保證了共生LBP的旋轉(zhuǎn)不變性。

(2.2)對于得到的直方圖特征，利用BRD計(jì)算直方圖之間的距離，判斷其屬于嗜堿性粒細(xì)胞、嗜酸性粒細(xì)胞亦或是其他三類細(xì)胞：中性粒細(xì)胞、淋巴細(xì)胞、單核細(xì)胞。

得到共生LBP直方圖之后利用BRD計(jì)算直方圖之間的距離作為SVM分類時(shí)的高斯核，BRD公式為

$d_{BRD}(p,q)=\underset{i=1}{\overset{n}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{\left(\frac{p_i{q}_j-p_j{q}_i}{p_i+q_j}\right)}^2.$

其中p＝[p₁,p₂,...,p_n]與q＝[q₁,q₂,...,q_n]均為直方圖向量。

利用1vs多的SVM進(jìn)行訓(xùn)練并測試，即對于嗜酸性粒細(xì)胞、嗜堿性粒細(xì)胞、其他三類細(xì)胞這三類分別訓(xùn)練出各自的分類器。例如，將嗜酸性粒細(xì)胞看作一類，嗜堿性粒細(xì)胞和其他三類細(xì)胞看做一類，利用SVM訓(xùn)練嗜酸性粒細(xì)胞分類器，以此類推，分別訓(xùn)練出嗜酸性粒細(xì)胞、嗜堿性粒細(xì)胞、其他三類細(xì)胞三個(gè)對應(yīng)的分類器。測試時(shí)，將直方圖數(shù)據(jù)帶入訓(xùn)練好的嗜酸性粒細(xì)胞、嗜堿性粒細(xì)胞、其他三類細(xì)胞分類器，哪一個(gè)分類器得分較大就代表屬于哪一類，從而篩選出嗜酸性粒細(xì)胞、嗜堿性粒細(xì)胞和其他三類細(xì)胞。

(3)其他三類細(xì)胞分類

(3.1)對上述得到的其他三類細(xì)胞：

其他三類細(xì)胞，即中性粒細(xì)胞、淋巴細(xì)胞、單核細(xì)胞，利用卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取其卷積特征，即將以上其他三類白細(xì)胞圖片輸入到該卷積神經(jīng)網(wǎng)絡(luò)中得到4096維特征向量，所述卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)如圖9所示：

即對于輸入的白細(xì)胞圖片，利用以下網(wǎng)絡(luò)結(jié)構(gòu)提取特征：

卷積層一般是計(jì)算圖像一個(gè)區(qū)域上得到的卷積特征的平均值(或最大值)

圖9中層與層之間的輸入輸出關(guān)系如下：

Layer1卷積層→Layer1池化層→Layer2卷積層→Layer2池化層→Layer3卷積層→Layer4卷積層→Layer5卷積層；

第1層(Layer1)是96個(gè)核(kernels)(大小：11*11*3)，步長：4像素(pixels)；其中，*代表卷積；

第2層(Layer2)是256個(gè)核(kernels)(大小：5*5*48)；

第3層(Layer3)是384個(gè)核(kernels)(大小：3*3*256)；

第4層(Layer4)是384個(gè)核(kernels)(大?。?*3*192)；

第5層(Layer5)是256個(gè)核(kernels)(大?。?*3*192)；

全連接層有4096個(gè)神經(jīng)元，因而得到4096維特征向量。

(3.2)對上述得到的特征向量，利用隨機(jī)森林進(jìn)行分類。

每個(gè)決策樹對應(yīng)一個(gè)分類器{h(x,θ_k)|k＝1,2,...,L}，這里L(fēng)指的是樣本的個(gè)數(shù),{θ_k|k＝1,2,...,L}是隨機(jī)獨(dú)立分布向量,x代表的是測試樣本的特征向量。它利用Bagging采樣選擇一組樣本作為訓(xùn)練樣本,然后從當(dāng)前節(jié)點(diǎn)的特征屬性中隨機(jī)選取M維分別計(jì)算它們的Gini純度指數(shù)；純度最低的作為當(dāng)前節(jié)點(diǎn)的最佳分類屬性,利用分裂函數(shù)將這個(gè)節(jié)點(diǎn)的樹分為兩個(gè)子樹,重復(fù)此過程直到不能再分裂或者是到了葉子節(jié)點(diǎn)，進(jìn)而得到了多個(gè)決策樹組成的森林。

測試時(shí)，將其他三類白細(xì)胞圖片上面得到的特征向量帶入訓(xùn)練好的每一個(gè)決策樹，每個(gè)決策樹進(jìn)行投票，得票最多的類就是該其他三類白細(xì)胞最后的分類結(jié)果。

在CellaVision數(shù)據(jù)庫1080張圖片上進(jìn)行測試，結(jié)果如表2所示