本發(fā)明涉及計(jì)算及人工智能領(lǐng)域，尤其涉及一種基于視覺感知的顏色紋理描述子的wce彩色視頻中主要地形邊界的定位方法。

背景技術(shù)：

目前，無線膠囊內(nèi)鏡(wce:wirelesscapsuleendoscopy)作為一種重要的新型技術(shù)被廣泛應(yīng)用于人類胃腸道疾病的診斷。尤其是克服了傳統(tǒng)內(nèi)鏡無法到達(dá)到小腸的缺陷，它可以到達(dá)消化道的任何位置，具有無創(chuàng)傷、耐受性好的特點(diǎn)。但是，由于膠囊內(nèi)鏡的運(yùn)動(dòng)主要是依靠消化道內(nèi)胃腸道的蠕動(dòng)，運(yùn)動(dòng)過程緩慢，故其在消化道內(nèi)平均大致逗留8個(gè)小時(shí)左右，然而wce拍攝系統(tǒng)的拍攝時(shí)間間隔卻很短，平均2幀/s，所以，每個(gè)人將會(huì)采集到50000～60000幅彩色的消化道時(shí)序圖像數(shù)據(jù)。這些圖像數(shù)據(jù)是海量，對醫(yī)生瀏覽某個(gè)消化道器官的圖像，想要快速定位到此器官起始圖像帶來不小的負(fù)擔(dān)。因而，設(shè)計(jì)一種可靠的高效的計(jì)算機(jī)輔助程序來定位wce視頻中各個(gè)相鄰器官圖像的邊界位置是臨床醫(yī)生所需要的。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題，特別創(chuàng)新地提出了一種基于視覺感知的顏色紋理描述子的wce彩色視頻中主要地形邊界的定位方法。

為了實(shí)現(xiàn)本發(fā)明的上述目的，本發(fā)明提供了一種基于視覺感知的顏色紋理描述子的wce彩色視頻中主要地形邊界的定位方法，其特征在于，包括如下步驟：

s1，在wce視頻圖像幀中獲取原始圖像i(x)轉(zhuǎn)換到lab顏色空間的圖像；

s2，提取有效圖像區(qū)域，通過監(jiān)聽器算法對圖像進(jìn)行處理，如果找到異常圖像窗口對則執(zhí)行s3，如果未找到異常圖像窗口對則重新執(zhí)行s2；

s3，構(gòu)造結(jié)合紋理和顏色的融合特征-ctvp描述子；

s4，提取訓(xùn)練集的ctvp特征，用來訓(xùn)練svm分類器；

s5，提取測試集的wld直方圖特征，并用訓(xùn)練完成的svm分類器為測試集分類；根據(jù)分類結(jié)果進(jìn)行精確定位胃腸特征點(diǎn)信息。

所述的基于視覺感知的顏色紋理描述子的wce彩色視頻中主要地形邊界的定位方法，優(yōu)選的，所述s1包括：

rgb轉(zhuǎn)xyz其中，xyz為目標(biāo)顏色空間的3個(gè)分量：

其中r,g,b分別為rgb圖像r、g、b的通道值。

xyz轉(zhuǎn)lab：

其中yn＝100.0

故獲得lab各通道圖像為a(x)，如下式所示：

所述的基于視覺感知的顏色紋理描述子的wce彩色視頻中主要地形邊界的定位方法，優(yōu)選的，所述s2包括：

s2-1，將整個(gè)wce視頻圖像數(shù)據(jù)劃分為連續(xù)的窗口，每個(gè)窗口包含l張圖片；獲得窗口化圖像數(shù)據(jù)w1,w2,...,wn和監(jiān)聽器輸入的窗口序列對(w1,w2),(w2,w3),...,(wn-1,wn)；定位胃/小腸邊界，從視頻頭部開始；定位小腸/大腸邊界，從視頻尾部開始；

s2-2，計(jì)算當(dāng)前窗口對(wk,wk+1)里的lab顏色空間各通道的平均值mc,k和mc,k+1；

s2-3，計(jì)算出當(dāng)前窗口對的顏色變化度dck并存儲結(jié)果；

s2-4，，將當(dāng)前的dck與先前窗口對里獲得平均顏色變化度mdc比較，當(dāng)變化大于一個(gè)閾值t時(shí)，則被監(jiān)聽為包含邊界的疑似窗口對，進(jìn)入具體判定階段；否則，移動(dòng)到下一個(gè)窗口對；

公式如下：

公式中，avgc、mc,k分別表示一幅圖和一個(gè)圖像窗口在lab顏色空間下各通道的平均值，c表示lab顏色空間的任意通道即l、a、b，nvalid表示窗口內(nèi)有效圖片的數(shù)量；dck表示當(dāng)前窗口對(wk,wk+1)的顏色變化度；

mdc表示平均顏色變化度。

所述的基于視覺感知的顏色紋理描述子的wce彩色視頻中主要地形邊界的定位方法，優(yōu)選的，所述s3包括：

轉(zhuǎn)化成灰度圖grey，公式如下：

其中，r，g，b分別是rbg色彩空間的三個(gè)通道。

glcm的概率測量可以定義為：

其中，pi,j(δ,θ)表示給定(δ,θ)對的窗口內(nèi)的灰度級i和j的出現(xiàn)次數(shù)；gi,j表示灰度級的量化數(shù)。為了好的效率，本發(fā)明將灰度級降到64和128；δ選取1、3、5這幾個(gè)距離；θ選取0度、45度、90度、135度這四個(gè)方向。矩陣的行和列的平均值和標(biāo)準(zhǔn)偏差為

選取其對比度、相關(guān)性、能量和均勻性四個(gè)屬性作為紋理特征的特征因子，

energy＝∑ci,j²

根據(jù)公式選用a通道和b通道的平均值作為顏色特征{avga,avgb}。

所述的基于視覺感知的顏色紋理描述子的wce彩色視頻中主要地形邊界的定位方法，優(yōu)選的，所述s4包括：

最優(yōu)超平面定義為：

其中，β叫做權(quán)重向量，β0叫做偏置(bias)，x表示離超平面最近的那些點(diǎn)。點(diǎn)x到超平面(β,β0)的距離為:

最大化m轉(zhuǎn)化為在附加限制條件下最小化函數(shù)l(β)。限制條件隱含超平面將所有訓(xùn)練樣本xi正確分類的條件，

yi(β0+β^txi)

其中，yi表示樣本的類別標(biāo)記，xi表示訓(xùn)練數(shù)據(jù)。

訓(xùn)練svm分類器：本發(fā)明的訓(xùn)練樣本x(xi的集合)即是訓(xùn)練樣本的ctvp描述子，選擇合適的核函數(shù)訓(xùn)練svm分類器。

所述的基于視覺感知的顏色紋理描述子的wce彩色視頻中主要地形邊界的定位方法，優(yōu)選的，所述s5包括：

s5-1，提取監(jiān)聽器命中的窗口對內(nèi)圖像的有效區(qū)域(去除雜質(zhì)和黑邊角)，用監(jiān)聽器算法依次監(jiān)聽窗口序列對直到監(jiān)聽到包含疑似邊界的窗口對時(shí)為止。

s5-2，提取圖像的ctvp描述子；

s5-3，用訓(xùn)練好的svm分類器識別測試窗口對的ctvp特征，獲得圖像分類結(jié)果。如果窗口對中圖像分類結(jié)果，前部是胃+后部是小腸或者前部是小腸+后部是大腸，那么就輸出邊界位置(胃/小腸邊界或者小腸/大腸邊界位置)，并且程序結(jié)束；否則，跳回s5-2。

綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是：

使用訓(xùn)練好的svm分類器識別測試窗口對的ctvp特征，獲得圖像分類結(jié)果。

本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。

附圖說明

本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對實(shí)施例的描述中將變得明顯和容易理解，其中：

圖1是本發(fā)明總體流程圖；

圖2a-2c是本發(fā)明wce圖像示意圖；

圖3是本發(fā)明wce視頻圖像數(shù)據(jù)劃分為連續(xù)的窗口示意圖；

圖4是本發(fā)明結(jié)合紋理和顏色的融合特征-ctvp描述子示意圖。

具體實(shí)施方式

下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。

在本發(fā)明的描述中，需要理解的是，術(shù)語“縱向”、“橫向”、“上”、“下”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”“內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對本發(fā)明的限制。

在本發(fā)明的描述中，除非另有規(guī)定和限定，需要說明的是，術(shù)語“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是機(jī)械連接或電連接，也可以是兩個(gè)元件內(nèi)部的連通，可以是直接相連，也可以通過中間媒介間接相連，對于本領(lǐng)域的普通技術(shù)人員而言，可以根據(jù)具體情況理解上述術(shù)語的具體含義。

本發(fā)明提出了一種基于視覺感知的顏色紋理描述子(ctvp)的wce視頻中主要“地形”邊界的定位技術(shù)。不同消化道器官即食道、胃、小腸、大腸(包含結(jié)腸)在wce視頻中，可以看成不同的“地形”；獲取相鄰器官圖像的分界位置即為“地形”邊界(文中簡稱邊界)。在本發(fā)明的方法中，本發(fā)明主要定位胃/小腸和小腸/大腸的分界點(diǎn)。首先通過本發(fā)明設(shè)計(jì)的基于窗口對的監(jiān)聽器算法檢測疑似包含邊界點(diǎn)，然后在命中的窗口對中，本發(fā)明提取窗口對中圖像的ctvp描述子作為特征，然后通過支持向量機(jī)(svm)分類器識別特征并對圖像進(jìn)行分類，并通過分類結(jié)果判定是否包含邊界點(diǎn)；如果沒有，監(jiān)聽下一個(gè)窗口對；如果有，輸出邊界位置并結(jié)束程序。流程如圖1所示。

(1)監(jiān)聽器算法

wce視頻中，當(dāng)膠囊從一個(gè)器官進(jìn)入另一個(gè)器官時(shí)，基于人類視覺感知，圖像顏色會(huì)有顯著的；而在同一器官中，正常拍攝狀況下，圖像顏色并不會(huì)變化很大。結(jié)合wce圖像的實(shí)際情況，wce圖像主要呈現(xiàn)出粉紅的胃部(圖2a，橙紅的小腸(圖2b)和淡粉紅的大腸(圖2c)?；谶@樣的事實(shí)，本發(fā)明提出了根據(jù)感知顏色空間的顏色平均變化度來監(jiān)聽可疑窗口的監(jiān)聽器算法。其中，本發(fā)明選擇了一種基于人對顏色的感覺的彩色模型——lab色彩模型。lab中的數(shù)值描述正常視力的人能夠看到的所有的顏色，其描述的是顏色的顯示方式，而不是設(shè)備生成顏色所需的特定色料的數(shù)量，所以lab被視為與設(shè)備無關(guān)的基于感知的顏色模型。其中，l是代表圖像的明度，a描述從洋紅色至綠色的范圍，b表示的是從黃色到藍(lán)色的范圍。此算法能夠高效、快速的監(jiān)聽出包含疑似邊界的圖像窗口。

1)獲取原始圖像i(x)轉(zhuǎn)換到lab顏色空間

由于wce原始圖像是按rgb顏色空間進(jìn)行存儲的，所以本發(fā)明首先需要將rgb顏色空間圖像i(x)轉(zhuǎn)化為lab顏色空間的圖像，但是rgb和lab之間沒有直接的轉(zhuǎn)換公式，必須進(jìn)行一次中間轉(zhuǎn)化，先將rgb顏色空間圖像轉(zhuǎn)換為xyz空間，如下式所示：

rgb轉(zhuǎn)xyz為目標(biāo)顏色空間的3個(gè)分量：

其中r,g,b分別為rgb圖像r、g、b的通道值。

xyz轉(zhuǎn)lab：

其中yn＝100.0

故獲得lab各通道圖像為a(x)，如下式所示：

2)監(jiān)聽器算法步驟

步驟1，如圖3所示，將整個(gè)wce視頻圖像數(shù)據(jù)劃分為連續(xù)的窗口，每個(gè)窗口包含l張圖片；獲得窗口化圖像數(shù)據(jù)w1,w2,...,wn和監(jiān)聽器輸入的窗口序列對(w1,w2),(w2,w3),...,(wn-1,wn)；定位胃/小腸邊界，從視頻頭部開始；定位小腸/大腸邊界，從視頻尾部開始；

步驟2，計(jì)算當(dāng)前窗口對(wk,wk+1)里的lab顏色空間各通道的平均值mc,k和mc,k+1；

步驟3，計(jì)算出當(dāng)前窗口對的顏色變化度dck并存儲結(jié)果；

步驟4，，將當(dāng)前的dck與先前窗口對里獲得平均顏色變化度mdc比較，當(dāng)變化大于一個(gè)閾值t時(shí)，則被監(jiān)聽為包含邊界的疑似，進(jìn)入具體判定階段；否則，移動(dòng)到下一個(gè)窗口對，根據(jù)實(shí)際觀察和統(tǒng)計(jì)，當(dāng)t＝1.5時(shí)效果較好。公式如下：

公式中，avgc、mc,k分別表示一幅圖和一個(gè)圖像窗口在lab顏色空間下各通道的平均值，c表示lab顏色空間的任意通道即l、a、b，nvalid表示窗口內(nèi)有效圖片的數(shù)量；dck表示當(dāng)前窗口對ywk,wk+1y的顏色變化度；mdc表示平均顏色變化度。

基于ctvp描述子的svm分類器訓(xùn)練、識別、邊界判定(color-textureofvisualperception(ctvp):可視感知的紋理顏色)

(2)基于ctvp描述子的svm分類器訓(xùn)練、識別、邊界判定

基于定位胃/小腸、小腸/大腸的邊界，本發(fā)明需要訓(xùn)練兩個(gè)svm分類器。針對胃/小腸，本發(fā)明在胃部、小腸部靠近幽門選擇合適的足夠的圖片作為正反樣本；針對小腸/大腸，本發(fā)明在邊界周圍選擇小腸、大腸的合適的足夠的圖片作為正反樣本。然后提取樣本的ctvp描述子作為特征放入svm分類器中訓(xùn)練獲得訓(xùn)練后的svm分類器。

1)ctvp描述子

結(jié)合wce圖像的實(shí)際情況，wce圖像主要呈現(xiàn)出顏色粉紅且紋理光滑的胃部(圖2a)，顏色橙紅且線性紋理豐富的小腸(圖2b)和顏色淡粉紅且紋理光滑的大腸(圖2c)。基于這樣的視覺感知，本發(fā)明設(shè)計(jì)出結(jié)合紋理和顏色的融合特征-ctvp描述子。其構(gòu)造方式如圖4所示。

灰度共生矩陣(glcm)是像素距離和角度的矩陣函數(shù)，它通過計(jì)算圖像中一定距離和一定方向的兩點(diǎn)灰度之間的相關(guān)性，來反映圖像在方向、間隔、變化幅度及快慢上的綜合信息。

由于原圖是rgb彩色圖像，需要轉(zhuǎn)化成灰度圖grey，公式如下：

其中，r，g，b分別是rbg色彩空間的三個(gè)通道。

glcm的概率測量可以定義為：

其中，pi,j(δ,θ)表示給定(δ,θ)對的窗口內(nèi)的灰度級i和j的出現(xiàn)次數(shù)；gi,j表示灰度級的量化數(shù)。為了好的效率，本發(fā)明將灰度級降到64和128；δ選取1、3、5這幾個(gè)距離；θ選取0度、45度、90度、135度這四個(gè)方向。矩陣的行和列的平均值和標(biāo)準(zhǔn)偏差為

文中選取其對比度、相關(guān)性、能量和均勻性四個(gè)屬性作為紋理特征的特征因子，如下所示：

energy＝∑ci,j²

根據(jù)公式(7)，本發(fā)明選用a通道和b通道的平均值作為顏色特征{avga,avgb}。

2)訓(xùn)練svm分類器

支持向量機(jī)(svm)是一個(gè)類分類器，正式的定義是一個(gè)能夠?qū)⒉煌悩颖驹跇颖究臻g分隔的超平面。svm算法的實(shí)質(zhì)是找出一個(gè)能夠?qū)⒛硞€(gè)值最大化的超平面，這個(gè)值就是超平面離所有訓(xùn)練樣本的最小距離即間隔(margin)，用m表示。

最優(yōu)超平面定義為：

其中，β叫做權(quán)重向量，β0叫做偏置(bias)，x表示離超平面最近的那些點(diǎn)。點(diǎn)x到超平面(β,β0)的距離為:

最大化m轉(zhuǎn)化為在附加限制條件下最小化函數(shù)l(β)。限制條件隱含超平面將所有訓(xùn)練樣本xi正確分類的條件，

yi(β0+β^txi)

其中，yi表示樣本的類別標(biāo)記，xi表示訓(xùn)練數(shù)據(jù)。

訓(xùn)練svm分類器：本發(fā)明的訓(xùn)練樣本x(xi的集合)即是訓(xùn)練樣本的ctvp描述子，選擇合適的核函數(shù)訓(xùn)練svm分類器(根據(jù)實(shí)際觀察和統(tǒng)計(jì)，選擇rbf非線性核函數(shù)效果最好)。

3)wce視頻中胃/小腸、小腸/大腸邊界定位

步驟1，提取監(jiān)聽器命中的窗口對內(nèi)圖像的有效區(qū)域(去除雜質(zhì)和黑邊角)，并。

步驟2，提取圖像的ctvp描述子；

步驟3，用訓(xùn)練好的svm分類器識別測試窗口對的ctvp特征，獲得圖像分類結(jié)果。如果窗口對中圖像分類結(jié)果，前部是胃+后部是小腸或者前部是小腸+后部是大腸，那么就輸出邊界位置(胃/小腸邊界或者小腸/大腸邊界位置)，并且程序結(jié)束；否則，回到監(jiān)聽器。

在本說明書的描述中，參考術(shù)語“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說明書中，對上述術(shù)語的示意性表述不一定指的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任何的一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。

盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，本領(lǐng)域的普通技術(shù)人員可以理解：在不脫離本發(fā)明的原理和宗旨的情況下可以對這些實(shí)施例進(jìn)行多種變化、修改、替換和變型，本發(fā)明的范圍由權(quán)利要求及其等同物限定。