圖像處理裝置、圖像處理方法以及圖像處理程序的制作方法
【專(zhuān)利摘要】提供圖像處理裝置等，能夠精度良好地識(shí)別異常部和具有與該異常部相同種類(lèi)顏色信息的其他對(duì)象。圖像處理裝置(1)具有：異常部候選區(qū)域判別部(110)，其從對(duì)活體的管腔內(nèi)攝像得到的圖像中判別異常部的候選區(qū)域；周邊區(qū)域確定部(120)，其確定候選區(qū)域的周邊區(qū)域；形狀信息計(jì)算部(130)，其計(jì)算候選區(qū)域和周邊區(qū)域在在畫(huà)面的深度方向上的形狀信息；以及異常部區(qū)域判定部(140)，其根據(jù)候選區(qū)域的形狀信息與周邊區(qū)域的形狀信息的相關(guān)性，判定候選區(qū)域是否為異常部。
【專(zhuān)利說(shuō)明】圖像處理裝置、圖像處理方法以及圖像處理程序

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及從對(duì)活體的管腔內(nèi)進(jìn)行攝像得到的圖像中判別異常部區(qū)域的圖像處理裝置、圖像處理方法以及圖像處理程序。

【背景技術(shù)】
[0002]作為對(duì)于通過(guò)內(nèi)窺鏡或膠囊型內(nèi)窺鏡等醫(yī)用觀察裝置對(duì)活體的管腔內(nèi)進(jìn)行攝像得到的圖像(以下，稱(chēng)之為管腔內(nèi)圖像或簡(jiǎn)稱(chēng)為圖像)的圖像處理，在專(zhuān)利文獻(xiàn)I中公開(kāi)了根據(jù)圖像的色調(diào)信息檢測(cè)異常部區(qū)域的技術(shù)。更具體而言，在專(zhuān)利文獻(xiàn)I中，將圖像內(nèi)的各像素的像素值映射于基于顏色特征量的特征空間上，在該特征空間內(nèi)聚類(lèi)(Clustering)后，根據(jù)各集群(Cluster)的大小和重心坐標(biāo)等信息確定正常粘膜集群和異常部集群，將屬于異常部集群的像素區(qū)域檢測(cè)作為異常部區(qū)域。
[0003]現(xiàn)有技術(shù)文獻(xiàn)
[0004]專(zhuān)利文獻(xiàn)
[0005]專(zhuān)利文獻(xiàn)I日本特開(kāi)2005-192880號(hào)公報(bào)


【發(fā)明內(nèi)容】

[0006]發(fā)明欲解決的課題
[0007]然而，在通過(guò)醫(yī)用觀察裝置拍攝到的管腔內(nèi)圖像中，有時(shí)存在具有與異常部相同種類(lèi)的顏色信息的其他對(duì)象。具體地，對(duì)于口瘡性病變或潰瘍等白色類(lèi)的異常部而言，白色調(diào)的殘?jiān)褪窍嗤N類(lèi)的顏色。因此，根據(jù)現(xiàn)有的僅基于顏色信息的異常部的檢測(cè)方法，無(wú)法精度良好地識(shí)別這種其他對(duì)象與異常部。
[0008]本發(fā)明就是鑒于上述情況而完成的，其目的在于提供一種能夠精度良好地識(shí)別異常部和具有與該異常部相同種類(lèi)的顏色信息的其他對(duì)象的圖像處理裝置、圖像處理方法以及圖像處理程序。
[0009]用于解決課題的手段
[0010]為了解決上述課題，達(dá)成目的，本發(fā)明的圖像處理裝置的特征在于，其具有:異常部候選區(qū)域判別部，其從對(duì)活體的管腔內(nèi)攝像得到的圖像中判別異常部的候選區(qū)域；周邊區(qū)域確定部，其確定所述候選區(qū)域的周邊區(qū)域；形狀信息計(jì)算部，其計(jì)算所述候選區(qū)域和所述周邊區(qū)域在畫(huà)面的深度方向上的形狀信息；以及異常部區(qū)域判定部，其根據(jù)所述候選區(qū)域的形狀信息與所述周邊區(qū)域的形狀信息的相關(guān)性，判定所述候選區(qū)域是否為異常部。
[0011]本發(fā)明的圖像處理方法的特征在于，其具有:異常部候選區(qū)域判別步驟，從對(duì)活體的管腔內(nèi)攝像得到的圖像中判別異常部的候選區(qū)域；周邊區(qū)域確定步驟，確定所述候選區(qū)域的周邊區(qū)域；形狀信息計(jì)算步驟，計(jì)算所述候選區(qū)域和所述周邊區(qū)域在畫(huà)面的深度方向上的形狀信息；以及異常部區(qū)域判定步驟，根據(jù)所述候選區(qū)域的形狀信息與所述周邊區(qū)域的形狀信息的相關(guān)性，判定所述候選區(qū)域是否為異常部。
[0012]本發(fā)明的圖像處理程序的特征在于，使計(jì)算機(jī)執(zhí)行如下步驟:異常部候選區(qū)域判別步驟，從對(duì)活體的管腔內(nèi)攝像得到的圖像中判別異常部的候選區(qū)域；周邊區(qū)域確定步驟，確定所述候選區(qū)域的周邊區(qū)域；形狀信息計(jì)算步驟，計(jì)算所述候選區(qū)域和所述周邊區(qū)域在畫(huà)面的深度方向上的形狀信息；以及異常部區(qū)域判定步驟，根據(jù)所述候選區(qū)域的形狀信息與所述周邊區(qū)域的形狀信息的相關(guān)性，判定所述候選區(qū)域是否為異常部。
[0013]發(fā)明的效果
[0014]根據(jù)本發(fā)明，對(duì)于異常部的候選區(qū)域及其周邊區(qū)域，計(jì)算在畫(huà)面的深度方向上的形狀信息，根據(jù)各自的形狀信息的相關(guān)性判定候選區(qū)域是否為異常部，因此能夠精度良好地識(shí)別異常部和具有與該異常部相同種類(lèi)的顏色信息的其他對(duì)象。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0015]圖1是表示本發(fā)明的第I實(shí)施方式的圖像處理裝置的結(jié)構(gòu)的框圖。
[0016]圖2是表示圖1所示的圖像處理裝置的動(dòng)作的流程圖。
[0017]圖3是表不處理對(duì)象圖像的一例的不意圖。
[0018]圖4是表示周邊區(qū)域的確定處理的流程圖。
[0019]圖5是表示候選區(qū)域和周邊區(qū)域的形狀信息的計(jì)算處理的流程圖。
[0020]圖6是說(shuō)明候選區(qū)域的形狀信息的計(jì)算處理的示意圖。
[0021]圖7是說(shuō)明周邊區(qū)域的形狀信息的計(jì)算處理的示意圖。
[0022]圖8是說(shuō)明候選區(qū)域的判定處理的示意圖。
[0023]圖9是說(shuō)明候選區(qū)域的判定處理的示意圖。
[0024]圖10是表示候選區(qū)域的判定處理的流程圖。
[0025]圖11是表示第I實(shí)施方式的變形例I的周邊區(qū)域確定部的結(jié)構(gòu)的框圖。
[0026]圖12是表示圖11所示的周邊區(qū)域確定部的動(dòng)作的流程圖。
[0027]圖13是表示第I實(shí)施方式的變形例2的周邊區(qū)域確定部的結(jié)構(gòu)的框圖。
[0028]圖14是表示圖13所示的周邊區(qū)域確定部的動(dòng)作的流程圖。
[0029]圖15是表示第I實(shí)施方式的變形例3的周邊區(qū)域確定部的結(jié)構(gòu)的框圖。
[0030]圖16是表示圖15所示的周邊區(qū)域確定部的動(dòng)作的流程圖。
[0031]圖17是表示第I實(shí)施方式的變形例4的周邊區(qū)域確定部的結(jié)構(gòu)的框圖。
[0032]圖18是表示圖17所示的周邊區(qū)域確定部的動(dòng)作的流程圖。
[0033]圖19是表示本發(fā)明的第2實(shí)施方式的圖像處理裝置的結(jié)構(gòu)的框圖。
[0034]圖20是表示本發(fā)明的第3實(shí)施方式的圖像處理裝置的結(jié)構(gòu)的框圖。
[0035]圖21是表示圖20所示的圖像處理裝置的動(dòng)作的流程圖。
[0036]圖22是表示基于形狀信息的異常部區(qū)域判定的可靠性的判定處理的流程圖。
[0037]圖23是表示候選區(qū)域的判定處理的流程圖。

【具體實(shí)施方式】
[0038]以下，參照【專(zhuān)利附圖】

【附圖說(shuō)明】本發(fā)明的實(shí)施方式的圖像處理裝置、圖像處理方法以及圖像處理程序。另外，本發(fā)明不限于這些實(shí)施方式。此外，在各附圖的描述中，對(duì)相同部分賦予同一符號(hào)表不。
[0039]在以下的實(shí)施方式中，作為一例，說(shuō)明對(duì)于通過(guò)內(nèi)窺鏡或膠囊型內(nèi)窺鏡等的醫(yī)用觀察裝置對(duì)活體的管腔內(nèi)攝像而取得的管腔內(nèi)圖像(以下，簡(jiǎn)稱(chēng)為圖像)的處理。在以下的說(shuō)明中，被實(shí)施了圖像處理的圖像是例如在各像素位置上對(duì)于R (紅)、G (綠)、B (藍(lán))的各顏色成分(波長(zhǎng)成分)例如具備256等級(jí)的像素級(jí)別(Pixel level)(像素值)的彩色圖像。另外，本發(fā)明不限于管腔內(nèi)圖像，還能廣泛應(yīng)用于從通過(guò)其他的一般的圖像取得裝置取得的圖像中提取特定的區(qū)域的情況。
[0040](第I實(shí)施方式)
[0041]圖1是表示本發(fā)明的第I實(shí)施方式的圖像處理裝置的結(jié)構(gòu)的框圖。圖1所示的圖像處理裝置I具有:控制部10，其控制圖像處理裝置I整體的動(dòng)作；圖像取得部20，其取得與通過(guò)醫(yī)用觀察裝置攝像得到的圖像對(duì)應(yīng)的圖像數(shù)據(jù)；輸入部30，其受理從外部輸入的輸入信號(hào)；顯示部40，其進(jìn)行各種顯示；記錄部50，其儲(chǔ)存通過(guò)圖像取得部20取得的圖像數(shù)據(jù)和各種程序；以及運(yùn)算部100，其對(duì)圖像數(shù)據(jù)執(zhí)行規(guī)定的圖像處理。
[0042]控制部10通過(guò)CPU等硬件實(shí)現(xiàn)，通過(guò)讀入記錄于記錄部50中的各種程序，按照從圖像取得部20輸入的圖像數(shù)據(jù)和從輸入部30輸入的操作信號(hào)等，進(jìn)行對(duì)于構(gòu)成圖像處理裝置I的各部分的指示和數(shù)據(jù)的轉(zhuǎn)發(fā)等，總括地控制圖像處理裝置I整體的動(dòng)作。
[0043]根據(jù)包含醫(yī)用觀察裝置的系統(tǒng)的方式適當(dāng)構(gòu)成圖像取得部20。例如，在醫(yī)用觀察裝置為膠囊型內(nèi)窺鏡，并且使用移動(dòng)式記錄介質(zhì)用于與醫(yī)用觀察裝置之間的圖像數(shù)據(jù)的交換的情況下，圖像取得部20由以拆裝自由的方式安裝該記錄媒體并讀出所保存的管腔內(nèi)圖像的圖像數(shù)據(jù)的讀出裝置構(gòu)成。此外，在設(shè)置了預(yù)先保存由醫(yī)用觀察裝置攝像得到的管腔內(nèi)圖像的圖像數(shù)據(jù)的服務(wù)器的情況下，圖像取得部20由與服務(wù)器連接的通信裝置等構(gòu)成，與服務(wù)器進(jìn)行數(shù)據(jù)通信并取得管腔內(nèi)圖像的圖像數(shù)據(jù)?；蛘撸€可以利用從內(nèi)窺鏡等醫(yī)用觀察裝置經(jīng)由纜線(xiàn)輸入圖像信號(hào)的接口裝置等構(gòu)成圖像取得部20。
[0044]輸入部30例如通過(guò)鍵盤(pán)、鼠標(biāo)、觸摸面板、各種開(kāi)關(guān)等輸入設(shè)備而實(shí)現(xiàn)，將所受理的輸入信號(hào)輸出到控制部10。
[0045]顯示部40通過(guò)IXD或EL顯示器等顯示裝置而實(shí)現(xiàn)，在控制部10的控制下顯示包含管腔內(nèi)圖像的各種畫(huà)面。
[0046]記錄部50由可更新記錄的閃存等ROM或RAM等各種IC存儲(chǔ)器、內(nèi)置或通過(guò)數(shù)據(jù)通信端子連接的硬盤(pán)或CD-ROM等信息記錄裝置及其讀取裝置等而實(shí)現(xiàn)。記錄部50儲(chǔ)存通過(guò)圖像取得部20取得的管腔內(nèi)圖像的圖像數(shù)據(jù)，此外還儲(chǔ)存用于使圖像處理裝置I進(jìn)行動(dòng)作并使圖像處理裝置I執(zhí)行各種功能的程序以及在該程序的執(zhí)行中使用的數(shù)據(jù)等。具體而言，記錄部50儲(chǔ)存用于從圖像內(nèi)檢測(cè)口瘡性病變和潰瘍等白色調(diào)的異常部的圖像處理程序51以及在該程序的執(zhí)行中使用的各種信息等。
[0047]運(yùn)算部100通過(guò)CPU等硬件而實(shí)現(xiàn)，通過(guò)讀入圖像處理程序51從而對(duì)與管腔內(nèi)圖像對(duì)應(yīng)的圖像數(shù)據(jù)實(shí)施圖像處理，執(zhí)行用于檢測(cè)口瘡性病變和潰瘍等的白色調(diào)的異常部的各種運(yùn)算處理。
[0048]接著，說(shuō)明運(yùn)算部100的詳細(xì)結(jié)構(gòu)。
[0049]如圖1所示，運(yùn)算部100具有:異常部候選區(qū)域判別部110，其從管腔內(nèi)圖像中判別異常部的候選區(qū)域；周邊區(qū)域確定部120，其確定候選區(qū)域的周邊區(qū)域；形狀信息計(jì)算部130，其計(jì)算候選區(qū)域和周邊區(qū)域在畫(huà)面的深度方向上的形狀信息；以及異常部區(qū)域判定部140，其根據(jù)候選區(qū)域的形狀信息與周邊區(qū)域的形狀信息的相關(guān)性，判定候選區(qū)域是否為異常部。
[0050]周邊區(qū)域確定部120具有判別圖像內(nèi)包含的粘膜區(qū)域的粘膜區(qū)域判別部121，以使得周邊區(qū)域僅包含粘膜區(qū)域的方式確定周邊區(qū)域的范圍。
[0051]形狀信息計(jì)算部130具有近似形狀計(jì)算部131，該近似形狀計(jì)算部131根據(jù)在候選區(qū)域和周邊區(qū)域內(nèi)分別包含的多個(gè)像素的像素值，將候選區(qū)域和周邊區(qū)域在畫(huà)面的深度方向上的形狀分別近似為規(guī)定的形狀。在本第I實(shí)施方式中，近似形狀計(jì)算部131具有:線(xiàn)近似形狀計(jì)算部131a，其將候選區(qū)域和周邊區(qū)域的形狀近似為I條以上的直線(xiàn)或曲線(xiàn)；以及近似對(duì)象選擇部131b，其根據(jù)與候選區(qū)域和周邊區(qū)域中包含的像素有關(guān)的信息，選擇近似形狀的計(jì)算對(duì)象。
[0052]接著，說(shuō)明圖像處理裝置I的動(dòng)作。圖2是表示圖像處理裝置I的動(dòng)作的流程圖。
[0053]首先，在步驟SlO中，圖像取得部20取得管腔內(nèi)圖像并記錄于記錄部50。運(yùn)算部100從記錄部50讀入與作為處理對(duì)象的圖像對(duì)應(yīng)的圖像數(shù)據(jù)。圖3是表示由運(yùn)算部100讀入的處理對(duì)象圖像的一例的示意圖。
[0054]在接下來(lái)的步驟S20中，異常部候選區(qū)域判別部110根據(jù)圖像Ml內(nèi)的像素的顏色特征量，判別存在于圖像Ml內(nèi)的異常部的候選區(qū)域。這里，口瘡性病變和潰瘍等異常部表示為白色調(diào)的特定顏色。因此，異常部候選區(qū)域判別部110根據(jù)事先確定的白色調(diào)的異常部區(qū)域的判別基準(zhǔn)的顏顏色范圍，判定圖像Ml內(nèi)的各像素是否示出被視作異常部的特定顏色。這里，異常部區(qū)域的判別基準(zhǔn)是根據(jù)預(yù)先收集的異常部區(qū)域的R、G、B各成分的像素值以及根據(jù)這些像素值通過(guò)公知的轉(zhuǎn)換2次計(jì)算出的顏色特征量而確定的，并事先記錄于記錄部50。作為顏色特征量，可舉出通過(guò)YCbCr轉(zhuǎn)換而計(jì)算出的色差、色相、通過(guò)HSI轉(zhuǎn)換計(jì)算出的彩度、色比(G/R、B/G等)這樣的值。
[0055]通過(guò)該判別處理判別為異常部的像素區(qū)域作為異常部的候選區(qū)域被提取出來(lái)。圖3所示的區(qū)域ml表示候選區(qū)域的一例。
[0056]另外，作為候選區(qū)域的判別方法，不限于上述方法，只要能夠從圖像內(nèi)檢測(cè)特定顏色的區(qū)域即可，可使用任何方法。例如，可使用對(duì)異常部的代表性的顏色特征量與各像素的顏色特征量的顏色特征空間上的距離進(jìn)行閾值處理的方法(k近鄰法，參考:專(zhuān)利第4266920號(hào)公報(bào)，CG-ARTS協(xié)會(huì)“ r ^夕夕^畫(huà)像処理”，p.228 (NN法和kNN法))等公知的各種檢測(cè)方法。此外，還可以取代使用各像素的顏色特征量的情況，而是根據(jù)邊緣信息等將圖像內(nèi)分割為多個(gè)小區(qū)域后，使用小區(qū)域單位的顏色特征量檢測(cè)候選區(qū)域。
[0057]在接下來(lái)的步驟S30中，周邊區(qū)域確定部120將與候選區(qū)域相同的粘膜面確定為候選區(qū)域的周邊區(qū)域。在本第I實(shí)施方式中，將候選區(qū)域和位于近距離的粘膜區(qū)域作為周邊區(qū)域。
[0058]圖4是表示周邊區(qū)域的確定處理的流程圖。
[0059]首先，在步驟S301中，粘膜區(qū)域判別部121根據(jù)事先確定的粘膜區(qū)域的判別基準(zhǔn)的顏色范圍，判定圖像Ml內(nèi)的各像素是否為粘膜區(qū)域。其中，粘膜區(qū)域的判別基準(zhǔn)是根據(jù)預(yù)先收集的粘膜區(qū)域和粘膜以外的區(qū)域(非粘膜區(qū)域)內(nèi)的各像素的R、G、B各成分的像素值以及根據(jù)這些像素值通過(guò)公知的轉(zhuǎn)換2次計(jì)算出的顏色特征量而確定的，并事先記錄于記錄部50。作為顏色特征量，可舉出通過(guò)YCbCr轉(zhuǎn)換計(jì)算出的色差、色相、通過(guò)HSI轉(zhuǎn)換計(jì)算出的彩度、色比(G/R、B/G等)這樣的值。
[0060]在步驟S302中，周邊區(qū)域確定部120對(duì)被判別為粘膜區(qū)域的像素實(shí)施標(biāo)記處理(7^' 'J >夕''処理)(參考:CG-ARTS協(xié)會(huì)，“寧^ '7'夕 > 畫(huà)像処理”，ρ.181?川2 (2值圖像的基本處理和計(jì)測(cè)/標(biāo)記))。
[0061]在步驟S303中，周邊區(qū)域確定部120在圖像Ml內(nèi)提取與候選區(qū)域內(nèi)的各像素相距規(guī)定距離的范圍內(nèi)的粘膜區(qū)域。
[0062]在接下來(lái)的步驟S304中，周邊區(qū)域確定部120將提取出的粘膜區(qū)域所屬的標(biāo)記區(qū)域確定為周邊區(qū)域。然后，處理返回主進(jìn)程。
[0063]在接著步驟S30之后的步驟S40中，形狀信息計(jì)算部130針對(duì)候選區(qū)域和周邊區(qū)域分別計(jì)算在畫(huà)面的深度方向上的形狀信息。在本第I實(shí)施方式中，將候選區(qū)域和周邊區(qū)域的形狀近似為線(xiàn)，取得與所近似的線(xiàn)的形狀有關(guān)的信息。
[0064]圖5是表示候選區(qū)域和周邊區(qū)域的形狀信息的計(jì)算處理的流程圖。
[0065]首先，在步驟S401中，近似形狀計(jì)算部131對(duì)在步驟S20中判別出的候選區(qū)域?qū)嵤?biāo)記處理。圖6是表示所標(biāo)記的候選區(qū)域之I的示意圖。以下，作為一例，說(shuō)明對(duì)圖6所示的候選區(qū)域al的處理。
[0066]在接下來(lái)的步驟S402中，近似形狀計(jì)算部131計(jì)算所標(biāo)記的候選區(qū)域al的坐標(biāo)重心(以下,簡(jiǎn)稱(chēng)為重心)gl。
[0067]在步驟S403中，線(xiàn)近似形狀計(jì)算部131a在候選區(qū)域al內(nèi)，提取通過(guò)重心gl的多個(gè)方向dl、d2、…上的線(xiàn)段上的像素。例如在圖6的情況下，提取出從各方向dl?d3的線(xiàn)段與候選區(qū)域的輪廓相交的后端到前端的區(qū)域的像素。另外，在圖6中，舉例示出了3個(gè)方向dl?d3，然而對(duì)于所設(shè)定的線(xiàn)段的方向和數(shù)量不做特別限定。
[0068]在步驟S404中，近似對(duì)象選擇部131b根據(jù)對(duì)各方向dl、d2、…提取的像素的數(shù)量，選擇近似形狀的計(jì)算對(duì)象。具體而言，近似對(duì)象選擇部131b僅對(duì)所提取的像素?cái)?shù)為規(guī)定值以上的方向計(jì)算近似形狀。其原因在于，像素?cái)?shù)不足規(guī)定值的方向可能在近似的可靠性上產(chǎn)生問(wèn)題。
[0069]在步驟S405中，線(xiàn)近似形狀計(jì)算部131a按照每個(gè)方向dl、d2、…，根據(jù)所提取的像素的像素值和坐標(biāo)，通過(guò)最小2乘法等公知的方法，估計(jì)表示在畫(huà)面的深度方向上的距離的變化的直線(xiàn)。作為表示在深度方向上的距離的量，例如可使用像素值中的R值。其原因在于，R值在R、G、B各成分之中波長(zhǎng)最長(zhǎng)，在活體內(nèi)較難吸收.散射，因而能夠在抑制了照明光和反射光的吸收、散射的狀態(tài)下將從管腔內(nèi)圖像的近景到遠(yuǎn)景的范圍圖像化。另外，作為表示在深度方向上的距離的變化的量，除了 R值之外，還可以使用G值、B值或根據(jù)像素值(R、G、B各成分的值)計(jì)算的亮度等。
[0070]以下，設(shè)針對(duì)方向dl、d2、…估計(jì)出的直線(xiàn)的斜率為α1、α2、…。這些直線(xiàn)的斜率α 1、α 2、…可用作候選區(qū)域al的形狀信息。
[0071]在步驟S406中，線(xiàn)近似形狀計(jì)算部131a從各周邊區(qū)域中提取通過(guò)候選區(qū)域的重心gl的多個(gè)方向dl、d2、…上的線(xiàn)段的前端區(qū)域和后端區(qū)域的像素。例如圖7所示，對(duì)于候選區(qū)域al的周邊區(qū)域bl，分別針對(duì)方向dl、d2、…提取從前端區(qū)域的起點(diǎn)到終點(diǎn)以及從后端區(qū)域的起點(diǎn)到終點(diǎn)的像素的像素值和坐標(biāo)。這里，前端區(qū)域的起點(diǎn)和后端區(qū)域的終點(diǎn)是與候選區(qū)域al接觸的位置。另外，此時(shí)，對(duì)于在步驟S404中未被作為近似形狀的計(jì)算對(duì)象的方向不進(jìn)行像素的提取。
[0072]在步驟S407中，近似對(duì)象選擇部131b根據(jù)從周邊區(qū)域bl中針對(duì)各方向dl、d2^..提取的像素的數(shù)量，選擇周邊區(qū)域的近似形狀的計(jì)算對(duì)象。具體而言，近似對(duì)象選擇部131b僅對(duì)所提取的像素?cái)?shù)為規(guī)定值以上的方向計(jì)算近似形狀。其原因在于，像素?cái)?shù)不足規(guī)定值的方向可能在近似的可靠性上產(chǎn)生問(wèn)題。
[0073]在步驟S408中，線(xiàn)近似形狀計(jì)算部131a按照每個(gè)方向dl、d2、…，根據(jù)從周邊區(qū)域中提取的像素的像素值和坐標(biāo)，通過(guò)最小2乘法等公知的方法，估計(jì)表示在畫(huà)面深度方向上的距離的變化的直線(xiàn)。另外，關(guān)于表示此時(shí)所使用的距離的變化的量，如在步驟S405中說(shuō)明的內(nèi)容。以下,設(shè)針對(duì)方向dl、d2、…估計(jì)的直線(xiàn)的斜率為β1、β2、…。這些直線(xiàn)的斜率β1、β2、…可用作周邊區(qū)域bl的形狀信息。此后，處理返回主進(jìn)程。
[0074]在接在步驟S40之后的步驟S50中，異常部區(qū)域判定部140根據(jù)候選區(qū)域的形狀信息與周邊區(qū)域的形狀信息的相關(guān)性，判定候選區(qū)域是否為異常部。
[0075]其中，如圖8(a)所示，在從圖像Ml中檢測(cè)的候選區(qū)域ml為如口瘡性病變和潰瘍那樣存在于粘膜面上的異常部的情況下，如圖8(b)所示，候選區(qū)域ml的形狀信息(直線(xiàn)的斜率)成為與周?chē)恼衬っ?周邊區(qū)域)的形狀信息類(lèi)似的狀態(tài)。另一方面，如圖9(a)所示，在從圖像M2中檢測(cè)的候選區(qū)域m2為在管腔內(nèi)浮游的殘?jiān)那闆r下，如圖9(b)所示，候選區(qū)域m2的形狀信息與周?chē)恼衬っ娴男螤钚畔](méi)有關(guān)系。因此，異常部區(qū)域判定部140在候選區(qū)域的形狀信息與周邊區(qū)域的形狀信息類(lèi)似的情況下，將該候選區(qū)域判定為異常部，而兩者不類(lèi)似的情況下，將該候選區(qū)域判定為浮游的殘?jiān)?br> [0076]圖10是表示候選區(qū)域的判定處理的詳細(xì)的流程圖。以下，說(shuō)明對(duì)圖6所示的候選區(qū)域al和圖7所示的周邊區(qū)域bl進(jìn)行的處理。
[0077]在步驟S501中，異常部區(qū)域判定部140根據(jù)在候選區(qū)域的各方向dl、d2、…上的斜率α1、α2、…和在周邊區(qū)域的各方向dl、d2、…上的斜率β1、β2、…，如下按照每個(gè)方向判別候選區(qū)域al和周邊區(qū)域bl的區(qū)域種類(lèi)。
[0078]斜率為規(guī)定的閾值Tl以上且低于規(guī)定的閾值T2時(shí):平坦區(qū)域
[0079]斜率為規(guī)定的閾值T2以上時(shí):正方向的斜率區(qū)域
[0080]斜率低于規(guī)定的閾值Tl時(shí):負(fù)方向的斜率區(qū)域
[0081]其中，各閾值被設(shè)定為滿(mǎn)足Tl < T2的值。
[0082]在接下來(lái)的步驟S502中，異常部區(qū)域判定部140計(jì)算相同方向上的候選區(qū)域al的區(qū)域種類(lèi)與周邊區(qū)域bl的區(qū)域種類(lèi)的一致率。例如，在某個(gè)方向dl上，若候選區(qū)域al被判別為正方向的斜率區(qū)域，而周邊區(qū)域bl被判別為平坦區(qū)域或負(fù)方向的斜率區(qū)域，則判定為兩者不一致?；蛘撸谀硞€(gè)方向dl上，若候選區(qū)域al和周邊區(qū)域bl都被判別為平坦區(qū)域(或者都為正或負(fù)方向的斜率區(qū)域)，則判定為兩者一致。異常部區(qū)域判定部140如上按照每個(gè)方向判定候選區(qū)域al的區(qū)域種類(lèi)與周邊區(qū)域bl的區(qū)域種類(lèi)是否一致。然后，計(jì)算在計(jì)算出形狀信息的所有方向dl、d2、…之中候選區(qū)域al的區(qū)域種類(lèi)與周邊區(qū)域bl的區(qū)域種類(lèi)一致的方向的數(shù)量的比例(一致率)。
[0083]在步驟S503中，異常部區(qū)域判定部140判定在步驟S502中計(jì)算的一致率是否在規(guī)定值以上。在一致率為規(guī)定值以上的情況下(步驟S503 是”)，異常部區(qū)域判定部140判定為該候選區(qū)域是異常部(步驟S504)。另一方面，在一致率低于規(guī)定值的情況下(步驟S503 否”)，異常部區(qū)域判定部140判定為該候選區(qū)域是殘?jiān)?步驟S505)。此后，處理返回主進(jìn)程。
[0084]在接在步驟S50后的步驟S60中，運(yùn)算部100輸出步驟S50的判定結(jié)果。據(jù)此，控制部10將異常部的判定結(jié)果記錄于記錄部50。此時(shí)，控制部10可以將異常部的判定結(jié)果顯示于顯示部40等。此后，圖像處理裝置I的處理結(jié)束。
[0085]如上所述，根據(jù)第I實(shí)施方式，從處理對(duì)象的圖像中根據(jù)像素的顏色特征量檢測(cè)異常部的候選區(qū)域，然后計(jì)算候選區(qū)域及其周邊區(qū)域的深度方向上的形狀信息，比較候選區(qū)域的形狀信息與周邊區(qū)域的形狀信息，從而能夠精度良好地識(shí)別異常部和具有與該異常部相同種類(lèi)的顏色信息的其他對(duì)象。
[0086](變形例I)
[0087]接著，說(shuō)明第I實(shí)施方式的變形例I。
[0088]圖11是表示變形例I的圖像處理裝置具有的周邊區(qū)域確定部的結(jié)構(gòu)的框圖。變形例I的圖像處理裝置具有圖11所示的周邊區(qū)域確定部120-1以代替圖1所示的周邊區(qū)域確定部120。除了周邊區(qū)域確定部120-1以外的圖像處理裝置的結(jié)構(gòu)都與圖1所示的內(nèi)容相同。
[0089]周邊區(qū)域確定部120-1具有梯度強(qiáng)度計(jì)算部122和閉區(qū)域提取部123，將內(nèi)包從圖像中檢測(cè)的候選區(qū)域、且不包含溝槽等梯度強(qiáng)度較高的區(qū)域的閉區(qū)域確定為周邊區(qū)域。
[0090]圖12是表示周邊區(qū)域確定部120-1的動(dòng)作的流程圖。另外，變形例I的圖像處理裝置整體的動(dòng)作與圖2所示的內(nèi)容相同。
[0091]首先，在步驟S311中，梯度強(qiáng)度計(jì)算部122根據(jù)處理對(duì)象的圖像內(nèi)的各像素的像素值(R、G、B各成分的值)或由這些像素值計(jì)算出的亮度等的值，來(lái)計(jì)算梯度強(qiáng)度。梯度強(qiáng)度能夠通過(guò)拉普拉斯(Laplacian)濾波處理或索貝爾(Sobel)濾波處理等公知的方法進(jìn)行計(jì)算(參考=CG-ARTS協(xié)會(huì)，“ r ^ ''J夕 >畫(huà)像処理”，p.114- 121 (邊緣提取))。
[0092]在接下來(lái)的步驟S312中，閉區(qū)域提取部123將候選區(qū)域設(shè)定為閉區(qū)域的初始狀態(tài)。
[0093]進(jìn)而，在步驟S313中，閉區(qū)域提取部123以在內(nèi)部不包含梯度強(qiáng)度為規(guī)定的值以上的像素的區(qū)域的方式設(shè)定能量函數(shù)，根據(jù)該能量函數(shù)的值將閉區(qū)域從初始狀態(tài)起進(jìn)行擴(kuò)展，提取閉區(qū)域(參考=CG-ARTS協(xié)會(huì)，“ r ^ ''J夕^畫(huà)像処理”，p.197?198)。
[0094]作為能量函數(shù)，例如可使用與通過(guò)閉區(qū)域的像素的梯度強(qiáng)度確定的能量相當(dāng)?shù)倪吘墐?nèi)包能量、與通過(guò)閉區(qū)域的外形確定的能量相當(dāng)?shù)膬?nèi)部能量和外部能量、與通過(guò)閉區(qū)域的像素的梯度強(qiáng)度確定的能量相當(dāng)?shù)膱D像能量這4個(gè)能量的加權(quán)和。其中，邊緣內(nèi)包能量是閉區(qū)域內(nèi)的梯度強(qiáng)度越大越示出較大值的能量。內(nèi)部能量表示閉區(qū)域的邊界的平滑度，是閉區(qū)域的形狀越平滑越示出較小值的能量。外部能量是閉區(qū)域的大小越大越示出較小值的能量。圖像能量是閉區(qū)域的邊界上的梯度強(qiáng)度的值越大越示出較小值的能量。
[0095]閉區(qū)域提取部123在初始狀態(tài)的閉區(qū)域的邊界上配置多個(gè)控制點(diǎn)，根據(jù)各控制點(diǎn)的位置及該位置上的梯度強(qiáng)度、各控制點(diǎn)與重心之間的距離、內(nèi)部像素的梯度強(qiáng)度等按照每個(gè)控制點(diǎn)計(jì)算上述邊緣內(nèi)包能量、內(nèi)部能量、圖像能量和外部能量，以使得這4個(gè)能量的加權(quán)和成為最小的方式移動(dòng)控制點(diǎn)，從而使其在閉區(qū)域擴(kuò)大的方向上變形。周邊區(qū)域確定部120-1將這樣提取出的閉區(qū)域確定為周邊區(qū)域。
[0096](變形例2)
[0097]接著，說(shuō)明第I實(shí)施方式的變形例2。
[0098]圖13是表示變形例2的圖像處理裝置具有的周邊區(qū)域確定部的結(jié)構(gòu)的框圖。變形例2的圖像處理裝置具有圖13所示的周邊區(qū)域確定部120-2，以取代圖1所示的周邊區(qū)域確定部120。周邊區(qū)域確定部120-2以外的圖像處置裝置的結(jié)構(gòu)都與圖1所示的內(nèi)容相同。
[0099]周邊區(qū)域確定部120-2具有距離信息計(jì)算部124和區(qū)域分割部125，將存在于與從圖像中檢測(cè)的候選區(qū)域臨近的位置且圖像內(nèi)的距離信息(深度信息)與候選區(qū)域類(lèi)似的區(qū)域確定為周邊區(qū)域。
[0100]圖14是表示周邊區(qū)域確定部120-2的動(dòng)作的流程圖。另外，變形例2的圖像處理裝置整體的動(dòng)作都與圖2所示的內(nèi)容相同。
[0101]首先，在步驟S321中，距離信息計(jì)算部124取得圖像內(nèi)的各像素的距離信息。作為距離信息，可使用在體內(nèi)難以吸收、散射的波長(zhǎng)成分即R值或根據(jù)像素值(R、G、B各成分的值)計(jì)算的亮度等。
[0102]在接下來(lái)的步驟S322中，區(qū)域分割部125根據(jù)距離信息將圖像內(nèi)分割為多個(gè)區(qū)域。在本變形例2中，通過(guò)將距離信息用作特征量的區(qū)域統(tǒng)合法(參考=CG-ARTS協(xié)會(huì)，
^夕夕 >畫(huà)像処理”，P.196(區(qū)域分割處理))，將具有彼此類(lèi)似的距離信息且彼此相鄰的像素統(tǒng)合，從而進(jìn)行區(qū)域分割。另外，只要能夠根據(jù)距離信息將圖像分割為多個(gè)區(qū)域即可，可使用上述區(qū)域統(tǒng)合法以外的手法。
[0103]在步驟S323中，周邊區(qū)域確定部120-2計(jì)算在步驟S20中檢測(cè)的候選區(qū)域和在步驟S322中分割的各分割區(qū)域的距離信息的平均值。
[0104]在步驟S324中，周邊區(qū)域確定部120-2將存在于從候選區(qū)域內(nèi)的各像素起規(guī)定的范圍內(nèi)、且與候選區(qū)域的距離信息的平均值之差在規(guī)定范圍內(nèi)的分割區(qū)域確定為周邊區(qū)域。
[0105](變形例3)
[0106]接著，說(shuō)明第I實(shí)施方式的變形例3。
[0107]圖15是表示變形例3的圖像處理裝置具有的周邊區(qū)域確定部的結(jié)構(gòu)的框圖。變形例3的圖像處理裝置具有圖15所示的周邊區(qū)域確定部120-3，以取代圖1所示的周邊區(qū)域確定部120。周邊區(qū)域確定部120-3以外的圖像處理裝置的結(jié)構(gòu)都與圖1所示的內(nèi)容相同。
[0108]周邊區(qū)域確定部120-3具有顏色特征量計(jì)算部126和區(qū)域分割部127，將存在于與從圖像中檢測(cè)的候選區(qū)域臨近的位置、且顏色特征量與候選區(qū)域類(lèi)似的區(qū)域確定為周邊區(qū)域。
[0109]圖16是表示周邊區(qū)域確定部120-3的動(dòng)作的流程圖。另外，變形例3的圖像處理裝置整體的動(dòng)作都與圖2所示的內(nèi)容相同。
[0110]首先，在步驟S331中，顏色特征量計(jì)算部126計(jì)算圖像內(nèi)的各像素的顏色特征量。作為顏色特征量，可舉出通過(guò)像素值的YCbCr轉(zhuǎn)換而計(jì)算出的色差、色相、通過(guò)HSI轉(zhuǎn)換而計(jì)算出的彩度、色比(G/R、B/G)等。
[0111]在接下來(lái)的步驟S332中，區(qū)域分割部127根據(jù)顏色特征量將圖像內(nèi)分割為多個(gè)區(qū)域。在本變形例3中，通過(guò)將顏色特征量用作特征量的區(qū)域等合法，將具有彼此類(lèi)似的顏色特征量、且彼此相鄰的像素統(tǒng)合，從而進(jìn)行區(qū)域分割。另外，只要能夠根據(jù)顏色特征量將圖像分割為多個(gè)區(qū)域即可，可使用上述區(qū)域等合法以外的手法。
[0112]在步驟S333中，周邊區(qū)域確定部120-3計(jì)算在步驟S20中檢測(cè)的候選區(qū)域和在步驟S332中分割的各分割區(qū)域的顏色特征量的平均值。
[0113]在步驟S334中，周邊區(qū)域確定部120-3將存在于從候選區(qū)域內(nèi)的各像素起規(guī)定的范圍內(nèi)、且與候選區(qū)域的顏色特征量的平均值之差在規(guī)定范圍內(nèi)的分割區(qū)域確定為周邊區(qū)域。
[0114](變形例4)
[0115]接著，說(shuō)明第I實(shí)施方式的變形例4。
[0116]圖17是表示變形例4的圖像處理裝置具有的周邊區(qū)域確定部的結(jié)構(gòu)的框圖。變形例4的圖像處理裝置具有圖17所示的周邊區(qū)域確定部120-4，以取代圖1所示的周邊區(qū)域確定部120。周邊區(qū)域確定部120-4以外的圖像處理裝置的結(jié)構(gòu)都與圖1所示的內(nèi)容相同。
[0117]周邊區(qū)域確定部120-4具有紋理特征量計(jì)算部128和區(qū)域分割部129，將存在于與從圖像中檢測(cè)的候選區(qū)域臨近的位置、且紋理特征量與候選區(qū)域類(lèi)似的區(qū)域確定為周邊區(qū)域。
[0118]圖18是表示周邊區(qū)域確定部120-4的動(dòng)作的流程圖。另外，變形例4的圖像處理裝置整體的動(dòng)作與圖2所示的內(nèi)容相同。
[0119]首先，在步驟S341中，紋理特征量計(jì)算部128計(jì)算圖像內(nèi)的紋理特征量。作為紋理特征量，例如，可使用通過(guò)離散余弦轉(zhuǎn)換(DCT)、離散傅里葉轉(zhuǎn)換(DFT)、加博(Gabor)濾波處理等計(jì)算出的特定頻率成分的大小。
[0120]在接下來(lái)的步驟S342中，區(qū)域分割部129根據(jù)紋理特征量將圖像內(nèi)分割為多個(gè)區(qū)域。在本變形例4中，通過(guò)將紋理特征量用作特征量的區(qū)域統(tǒng)合法，將具有彼此類(lèi)似的紋理特征量、且彼此相鄰的像素統(tǒng)合，從而進(jìn)行區(qū)域分割。另外，只要能夠根據(jù)紋理特征量將圖像分割為多個(gè)區(qū)域即可，可使用上述區(qū)域統(tǒng)合法以外的手法。
[0121]在步驟S343中，周邊區(qū)域確定部120-4計(jì)算在步驟S20中檢測(cè)的候選區(qū)域和在步驟S342中分割的各分割區(qū)域的紋理特征量的平均值。
[0122]在步驟S344中，周邊區(qū)域確定部120-4將存在于從候選區(qū)域內(nèi)的各像素起規(guī)定的范圍內(nèi)、且與候選區(qū)域的紋理信息的平均值之差在規(guī)定范圍內(nèi)的分割區(qū)域確定為周邊區(qū)域。
[0123](變形例5)
[0124]接著，說(shuō)明第I實(shí)施方式的變形例5。
[0125]在第I實(shí)施方式中，形狀信息計(jì)算部130將候選區(qū)域和周邊區(qū)域在深度方向上的形狀近似為I條以上的直線(xiàn)。然而，也可以將候選區(qū)域和周邊區(qū)域在深度方向上的形狀近似為I條以上的曲線(xiàn)。例如，可以近似為通過(guò)下式所示的2次函數(shù)表現(xiàn)的拋物線(xiàn)形狀。
[0126]z = ax2+by+c
[0127]在上式中，X表示在通過(guò)候選區(qū)域的重心的各方向(參照?qǐng)D6)上的像素的坐標(biāo)，z示出表示該像素在深度方向上的距離的值(例如，R值和亮度等)。此外，a、b和c是系數(shù)(常數(shù))。
[0128]這種情況下，異常部區(qū)域判定部140可以將2次的系數(shù)a用作形狀信息，根據(jù)在候選區(qū)域和周邊區(qū)域中系數(shù)a的差分是否在規(guī)定范圍內(nèi)，判斷候選區(qū)域與周邊區(qū)域的一致率。
[0129](變形例6)
[0130]接著，說(shuō)明第I實(shí)施方式的變形例6。
[0131]在第I實(shí)施方式中，異常部區(qū)域判定部140判別在各方向上的候選區(qū)域和周邊區(qū)域的區(qū)域種類(lèi)，然后計(jì)算候選區(qū)域和周邊區(qū)域的區(qū)域種類(lèi)的一致率。然而，也可以按照每個(gè)方向直接比較候選區(qū)域和周邊區(qū)域的斜率，計(jì)算兩者的一致率。
[0132]具體而言，以圖6所示的候選區(qū)域al和圖7所示的周邊區(qū)域bl為例進(jìn)行說(shuō)明，首先，按照通過(guò)候選區(qū)域的重心gl的方向dl、d2、...，計(jì)算近似候選區(qū)域的直線(xiàn)的斜率與近似周邊區(qū)域的直線(xiàn)的斜率的差分I α1-β?|、I α2_β2|、…。接下來(lái)，將各差分I α1_β?|、
α2_β2|、…與規(guī)定的閾值比較，在差分為該閾值以下的情況下，判斷為在候選區(qū)域與周邊區(qū)域中斜率一致。然后，計(jì)算在計(jì)算出候選區(qū)域和周邊區(qū)域的形狀信息的所有方向dl、d2、…之中的斜率在候選區(qū)域al與周邊區(qū)域bl上一致的方向的數(shù)量的比例(一致率)。
[0133](第2實(shí)施方式)
[0134]接著，說(shuō)明本發(fā)明的第2實(shí)施方式。
[0135]圖19是表示本發(fā)明的第2實(shí)施方式的圖像處理裝置的結(jié)構(gòu)的框圖。如圖19所示，第2實(shí)施方式的圖像處理裝置2具有運(yùn)算部200，以取代圖1所示的運(yùn)算部100。
[0136]運(yùn)算部200具有形狀信息計(jì)算部210和異常部區(qū)域判定部220，以取代圖1所示的形狀信息計(jì)算部130和異常部區(qū)域判定部140。另外，形狀信息計(jì)算部210和異常部區(qū)域判定部220以外的運(yùn)算部200和圖像處理裝置2的各部分的結(jié)構(gòu)都與第I實(shí)施方式相同。
[0137]形狀信息計(jì)算部210具有近似形狀計(jì)算部211，該近似形狀計(jì)算部211根據(jù)從處理對(duì)象的圖像中檢測(cè)出的候選區(qū)域及其周邊區(qū)域內(nèi)的像素的像素值，將候選區(qū)域和周邊區(qū)域在畫(huà)面的深度方向上的形狀分別近似為規(guī)定的形狀。在本第2實(shí)施方式中，近似形狀計(jì)算部211包含面近似形狀計(jì)算部211a，該面近似形狀計(jì)算部211a分別針對(duì)候選區(qū)域和周邊區(qū)域，將在深度方向上的形狀近似為2維的面。
[0138]異常部區(qū)域判定部220根據(jù)通過(guò)形狀信息計(jì)算部210近似為2維的面的候選區(qū)域和周邊區(qū)域的近似形狀，進(jìn)行候選區(qū)域是否為異常部的判定。
[0139]接著，說(shuō)明圖像處理裝置2的動(dòng)作。圖像處理裝置2的動(dòng)作整體與圖2所示的內(nèi)容相同，候選區(qū)域和周邊區(qū)域的形狀信息的計(jì)算處理(步驟S40)和候選區(qū)域的判定處理(步驟S50)的詳細(xì)動(dòng)作與第I實(shí)施方式不同。
[0140]在步驟S40中，面近似形狀計(jì)算部211a根據(jù)在候選區(qū)域和周邊區(qū)域中分別包含的像素的像素值，求出近似各區(qū)域的函數(shù)。在本第2實(shí)施方式中，通過(guò)下式(I)所示的2次函數(shù)近似各區(qū)域。
[0141]【式I】
[0142]Z = ax2+by2+cxy+dx+ey+f…(I)
[0143]在式(I)中，(x，y)是圖像內(nèi)的各像素的坐標(biāo)。此外，z是表示在畫(huà)面的深度方向上的距離的量，優(yōu)選使用各像素的R值。此外，作為z的值，可以使用各像素的G值和B值或根據(jù)各像素的像素值(R、G、B各成分的值)2次計(jì)算的亮度等。以下，將這些值一并稱(chēng)為像素值。
[0144]此外，a?f是系數(shù)(常數(shù))，例如可通過(guò)最小2乘法求解使用圖像內(nèi)的第i個(gè)(i=1、2、…)像素的坐標(biāo)(Xi，yi)和該像素的像素值Zi給出的下式(2)而求出。
[0145]【式2】
嚼棚
I
bΓζ3
[0146]C =㈧ XA.) Wx I 但 U K K X*y>f
d:? X ； y,' x.y, X1 y? I —C2)

A = j ~ - —.—
flfcI*.maI.^TiI *.**■*

? -? ,
/」L( y_* x,y? x- y-1
[0147]這樣取得的近似函數(shù)可用作形狀信息。
[0148]在接下來(lái)的步驟S50中，異常部區(qū)域判定部220根據(jù)候選區(qū)域的形狀信息與周邊區(qū)域的形狀信息的相關(guān)性，判定候選區(qū)域是否為異常部。更具體而言，異常部區(qū)域判定部220首先計(jì)算將通過(guò)候選區(qū)域的近似函數(shù)表現(xiàn)的2維區(qū)域和通過(guò)周邊區(qū)域的近似函數(shù)表現(xiàn)的2維區(qū)域歸一后的彼此為相同尺寸的圖像區(qū)域。然后在這些圖像區(qū)域中，預(yù)測(cè)對(duì)應(yīng)的像素的像素值，求出像素值間的相關(guān)性。
[0149]具體地，計(jì)算通過(guò)下式(3)給出的像素值的差的平方和SSD。
[0150]【式3】
[0151]SSD = sZ(P,(k,(^y)-P,Ili(X^y))" …⑶


\ -.11 χ-?!
[0152]在式(3)中，PI(J) (X，y)表示將候選區(qū)域的近似函數(shù)歸一化的圖像區(qū)域I (j)的坐標(biāo)(x，y)的像素值，PI(k)表示將該候選區(qū)域的周邊區(qū)域的近似函數(shù)歸一化的圖像區(qū)域I (k)的坐標(biāo)(x，y)的像素值。此外，X表示圖像區(qū)域I (j)和I(k)在X方向上的尺寸，Y表示圖像區(qū)域I (j)和I (k)在y方向上的尺寸。
[0153]異常部區(qū)域判定部220在平方和SSD的值為規(guī)定值以下的情況下，判定為候選區(qū)域的形狀信息與周邊區(qū)域的形狀信息的相關(guān)性較高(即，類(lèi)似度較高)，候選區(qū)域?yàn)榭诏徯圆∽兒蜐兊鹊漠惓２?。反之，異常部區(qū)域判定部220在平方和SSD大于規(guī)定值的情況下，判定為候選區(qū)域的形狀信息與周邊區(qū)域的形狀信息的相關(guān)性較低(即，類(lèi)似度較低)，候選區(qū)域?yàn)楦∮蔚臍堅(jiān)?br> [0154]另外，異常部區(qū)域判定部220可以計(jì)算下式(4)所示的像素值的差的絕對(duì)值之和SAD,以取代計(jì)算平方和SSD，根據(jù)該和SAD判定候選區(qū)域的形狀信息與周邊區(qū)域的形狀信息的相關(guān)性。
[0155]【式4】
Y --1X-11I
[0156]


\ =(|
[0157]此外，進(jìn)行異常部的判定的方法不限于使用上述平方和SSD或差的絕對(duì)值的和SAD的方法，只要能夠計(jì)算候選區(qū)域的形狀信息與周邊區(qū)域的形狀信息的相關(guān)性(類(lèi)似度)即可，可使用任何方法。例如，可以使用歸一化相互相關(guān)(參考=CG-ARTS協(xié)會(huì)，夕>畫(huà)像処理”，p.203?204 (圖形檢測(cè)))等。
[0158](第3實(shí)施方式)
[0159]接著，說(shuō)明本發(fā)明的第3實(shí)施方式。
[0160]圖20是表示本發(fā)明的第3實(shí)施方式的圖像處理裝置的結(jié)構(gòu)的框圖。如圖20所示，第3實(shí)施方式的圖像處理裝置3具有運(yùn)算部300，以取代圖1所示的運(yùn)算部100。
[0161]運(yùn)算部300還具有可靠性判定部310，該可靠性判定部310對(duì)圖1所示的運(yùn)算部100判定基于形狀信息的異常部區(qū)域判定的可靠性，此外，運(yùn)算部300還具有異常部區(qū)域判定部320，以取代圖1所示的異常部區(qū)域判定部140。另外，可靠性判定部310和異常部區(qū)域判定部320以外的運(yùn)算部300和圖像處理裝置3的各部分的結(jié)構(gòu)都與第I實(shí)施方式相同。
[0162]可靠性判定部310具有根據(jù)周邊區(qū)域的形狀信息判定上述可靠性的周邊區(qū)域形狀信息判定部311。周邊區(qū)域形狀信息判定部311具有包含方差值計(jì)算部31 Ia-1的平坦區(qū)域判定部311a，根據(jù)周邊區(qū)域是否為平坦區(qū)域，判定上述可靠性。
[0163]異常部區(qū)域判定部320具有根據(jù)上述可靠性的判定結(jié)果，切換判定候選區(qū)域是否為異常部時(shí)的判定方法的判定方法切換部321，通過(guò)與可靠性的判定結(jié)果相應(yīng)的判定方法，進(jìn)行對(duì)異常部的判定。
[0164]接著，說(shuō)明圖像處理裝置3的動(dòng)作。
[0165]圖21是表示圖像處理裝置3的動(dòng)作的流程圖。另外，圖21所示的步驟SlO?S40和S60對(duì)應(yīng)于圖2所示的內(nèi)容。
[0166]在接在步驟S40后的步驟S70中，可靠性判定部310判定基于形狀信息的異常部區(qū)域判定的可靠性。其中，在作為粘膜面的周邊區(qū)域?yàn)槠教箙^(qū)域的情況下，即使在其上有殘?jiān)∮危搽y以在殘?jiān)驼衬っ娴男螤钌袭a(chǎn)生差異。這種情況下，若單純根據(jù)候選區(qū)域和周邊區(qū)域的形狀信息判定候選區(qū)域是否為異常部，則判定的精度可能會(huì)降低。于是，在本第3實(shí)施方式中，根據(jù)周邊區(qū)域的形狀信息進(jìn)行可靠性的判定，按照該結(jié)果進(jìn)行對(duì)于候選區(qū)域的判定。
[0167]圖22是表示基于形狀信息的異常部區(qū)域判定的可靠性的判定處理的詳細(xì)情況的流程圖。
[0168]首先，在步驟S701中，周邊區(qū)域形狀信息判定部311取得在步驟S30中確定的在周邊區(qū)域的深度方向上的距離信息。作為距離信息，可使用在體內(nèi)難以吸收、散射的波長(zhǎng)成分即R值或根據(jù)像素值(R、G、B各成分的值)計(jì)算的亮度等。
[0169]在接下來(lái)的步驟S702中，方差值計(jì)算部31 Ia-1計(jì)算周邊區(qū)域的距離信息的方差值。
[0170]在步驟S703中，平坦區(qū)域判定部311a判定所計(jì)算的距離信息的方差值是否為規(guī)定的閾值以上。而且，在方差值為閾值以上的情況下(步驟S703:“是”)，判定為該周邊區(qū)域是平坦區(qū)域(步驟S704)。據(jù)此，可靠性判定部310在對(duì)與該周邊區(qū)域臨近的候選區(qū)域進(jìn)行基于形狀信息的異常部區(qū)域的判定的情況下，判定為判定的可靠性較低(步驟S705)。
[0171]另一方面，平坦區(qū)域判定部311a在所計(jì)算的距離信息的方差值小于閾值的情況下(步驟S703:“否”)，判定為該周邊區(qū)域并非平坦區(qū)域(非平坦區(qū)域)(步驟S706)。據(jù)此，可靠性判定部310在對(duì)與該周邊區(qū)域臨近的候選區(qū)域進(jìn)行基于形狀信息的異常部區(qū)域的判定的情況下，判定為判定的可靠性較高(步驟S707)。此后，處理返回主進(jìn)程。
[0172]另外，在步驟S80中，只要能夠判定周邊區(qū)域是否為平坦區(qū)域即可，可使用上述使用方差值的方法以外的方法。例如，可以將作為周邊區(qū)域的形狀信息計(jì)算的線(xiàn)段的斜率的絕對(duì)值與規(guī)定的閾值比較，在斜率的絕對(duì)值小于閾值的情況下，將該周邊區(qū)域判斷為平坦區(qū)域。
[0173]在接在步驟S70后的步驟S80中，異常部區(qū)域判定部320根據(jù)步驟S70的判定結(jié)果，進(jìn)行候選區(qū)域是否為異常部的判定。圖23是表示該處理的詳細(xì)情況的流程圖。
[0174]異常部區(qū)域判定部320在基于形狀信息的判定的可靠性較高的情況下(步驟S801 是”)，根據(jù)候選區(qū)域和周邊區(qū)域的形狀信息(即，在通過(guò)重心的各方向上的線(xiàn)段的斜率)，進(jìn)行候選區(qū)域是否為異常部的判定(步驟S802)。另外，該判定處理的詳細(xì)情況與圖2的步驟S50的處理相同。
[0175]另一方面，異常部區(qū)域判定部320在基于形狀信息的判定的可靠性較低的情況下(步驟S801 否”)，將候選區(qū)域的判定方法切換為基于形狀信息的方法以外的方法進(jìn)行判定(步驟S803)。此后，處理返回主進(jìn)程。
[0176]另外，在步驟S803中，可使用基于候選區(qū)域內(nèi)部的紋理特征量的判定方法等各種方法。以下，作為一例，說(shuō)明基于紋理特征量的候選區(qū)域的判定方法。
[0177]首先，異常部區(qū)域判定部320例如計(jì)算通過(guò)離散余弦轉(zhuǎn)換(DCT)、離散傅里葉轉(zhuǎn)換(DFT)、加博(Gabor)濾波處理等計(jì)算的特定的頻率成分的大小,作為候選區(qū)域內(nèi)的紋理特征量。
[0178]接下來(lái)，異常部區(qū)域判定部320判定候選區(qū)域內(nèi)的紋理特征量是否示出均質(zhì)性。紋理特征量的均質(zhì)性例如可通過(guò)候選區(qū)域的坐標(biāo)重心與通過(guò)紋理特征量對(duì)候選區(qū)域內(nèi)的各像素進(jìn)行加權(quán)得到坐標(biāo)重心之間的距離(以下，稱(chēng)作坐標(biāo)重心距離)進(jìn)行評(píng)價(jià)。更具體而言，作為通過(guò)紋理特征量對(duì)候選區(qū)域內(nèi)的各像素進(jìn)行加權(quán)得到的坐標(biāo)重心(Gx，Gy)，可使用候選區(qū)域的坐標(biāo)重心(gx，gy)、候選區(qū)域內(nèi)的第i個(gè)像素的坐標(biāo)(Xi, Yi)和第i個(gè)像素的紋理特征量Ti并通過(guò)下式(5)給出。
[0179]【式5】
fN


I 二 I

■ 董^3333333s.*
' P
[0180]緣:*“*(S)
Σχ.Γ_

一 j I
%J =..…\


j
Ikι~1
[0181]在式(5)中，N是候選區(qū)域內(nèi)的像素?cái)?shù)，i = I?N。
[0182]由此，坐標(biāo)重心距離D可通過(guò)下式(6)給出。
[0183]【式6】
[0184]D=-g ) +(G - g )-.::6;
y X Ox/\ y Oy /' *
[0185]這里，在紋理特征量為均質(zhì)的情況下，加權(quán)后的坐標(biāo)重心(Gx，Gy)與坐標(biāo)重心(gx，gy)大致一致，因而坐標(biāo)重心距離D的值變小。另一方面，在紋理特征量非均質(zhì)的情況下，力口權(quán)后的坐標(biāo)重心(Gx，Gy)離開(kāi)坐標(biāo)重心(gx，gy)，因而坐標(biāo)重心距離D的值變大。因此，異常部區(qū)域判定部320將坐標(biāo)重心距離D與規(guī)定的閾值比較，在坐標(biāo)重心距離D為閾值以下的情況下，判定為紋理特征量為均質(zhì)，該候選區(qū)域是粘膜面上的異常部。另一方面，異常部區(qū)域判定部320在坐標(biāo)重心距離D大于閾值的情況下，判定為紋理特征量非均質(zhì)，候選區(qū)域是浮游的殘?jiān)?br> [0186]以上說(shuō)明的第I至第3實(shí)施方式以及它們的變形例I?6的圖像處理裝置能夠通過(guò)個(gè)人計(jì)算機(jī)或工作站等的計(jì)算機(jī)系統(tǒng)執(zhí)行記錄于記錄裝置的圖像處理程序來(lái)實(shí)現(xiàn)。此夕卜，還可以將這種計(jì)算機(jī)系統(tǒng)經(jīng)由局域網(wǎng)、廣域網(wǎng)(LAN/WAN)或因特網(wǎng)等共用線(xiàn)路與其他的計(jì)算機(jī)系統(tǒng)和服務(wù)器等的設(shè)備連接使用。這種情況下，第I至第3實(shí)施方式的圖像處理裝置可以經(jīng)由這些網(wǎng)絡(luò)取得管腔內(nèi)圖像的圖像數(shù)據(jù)，或者向經(jīng)由這些網(wǎng)絡(luò)連接的各種輸出設(shè)備(觀察器或打印機(jī)等)輸出圖像處理結(jié)果，或者在經(jīng)由這些網(wǎng)絡(luò)連接的存儲(chǔ)裝置(記錄裝置及其讀取裝置等)中儲(chǔ)存圖像處理結(jié)果。
[0187]另外，本發(fā)明不限于第I至第3實(shí)施方式和它們的變形例I?6，通過(guò)適當(dāng)組合在各實(shí)施方式和變形例中公開(kāi)的多個(gè)結(jié)構(gòu)要素，能夠形成各種發(fā)明。例如，既可以從在各實(shí)施方式和變形例所示的所有結(jié)構(gòu)要素中刪除某幾個(gè)結(jié)構(gòu)要素后形成，也可以適當(dāng)組合在不同實(shí)施方式和變形例所示的結(jié)構(gòu)要素形成。
[0188]符號(hào)說(shuō)明
[0189]I?3圖像處理裝置
[0190]10控制部
[0191]20圖像取得部
[0192]30輸入部
[0193]40顯示部
[0194]50記錄部
[0195]51圖像處理程序
[0196]100，200，300 運(yùn)算部
[0197]110異常部候選區(qū)域判別部
[0198]120周邊區(qū)域確定部
[0199]121粘膜區(qū)域判別部
[0200]122梯度強(qiáng)度計(jì)算部
[0201]123閉區(qū)域提取部
[0202]124距離信息計(jì)算部
[0203]125區(qū)域分割部
[0204]126顏色特征量計(jì)算部
[0205]127區(qū)域分割部
[0206]128紋理特征量計(jì)算部
[0207]129區(qū)域分割部
[0208]130形狀信息計(jì)算部
[0209]131近似形狀計(jì)算部
[0210]131a線(xiàn)近似形狀計(jì)算部
[0211]131b近似對(duì)象選擇部
[0212]140異常部區(qū)域判定部
[0213]210形狀信息計(jì)算部
[0214]211近似形狀計(jì)算部
[0215]211a面近似形狀計(jì)算部
[0216]220異常部區(qū)域判定部
[0217]310可靠性判定部
[0218]311周邊區(qū)域形狀信息判定部
[0219]311a平坦區(qū)域判定部
[0220]31 Ia-1方差值計(jì)算部
[0221]320異常部區(qū)域判定部
[0222]321判定方法切換部
【權(quán)利要求】
1.一種圖像處理裝置，其特征在于，該圖像處理裝置具有: 異常部候選區(qū)域判別部，其從對(duì)活體的管腔內(nèi)攝像得到的圖像中判別異常部的候選區(qū)域； 周邊區(qū)域確定部，其確定所述候選區(qū)域的周邊區(qū)域； 形狀信息計(jì)算部，其計(jì)算所述候選區(qū)域和所述周邊區(qū)域在相對(duì)于畫(huà)面的進(jìn)深方向上的形狀信息；以及 異常部區(qū)域判定部，其根據(jù)所述候選區(qū)域的形狀信息與所述周邊區(qū)域的形狀信息的相關(guān)性，判定所述候選區(qū)域是否為異常部。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述周邊區(qū)域確定部具有判別在所述圖像內(nèi)包含的粘膜區(qū)域的粘膜區(qū)域判別部， 從所述粘膜區(qū)域內(nèi)確定所述周邊區(qū)域。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述周邊區(qū)域確定部具有根據(jù)所述圖像內(nèi)的多個(gè)像素的像素值計(jì)算梯度強(qiáng)度的梯度強(qiáng)度計(jì)算部， 從所述梯度強(qiáng)度為規(guī)定值以下的區(qū)域中確定所述周邊區(qū)域。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述周邊區(qū)域確定部具有: 特征量計(jì)算部，其根據(jù)所述圖像內(nèi)的各像素的像素值計(jì)算所述各像素的特征量；以及區(qū)域分割部，其將所述特征量的差在規(guī)定的范圍內(nèi)的像素作為I個(gè)區(qū)域，來(lái)對(duì)所述圖像進(jìn)行區(qū)域分割， 按照區(qū)域分割后得到的每個(gè)區(qū)域確定所述周邊區(qū)域。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述特征量計(jì)算部包含根據(jù)所述各像素的像素值計(jì)算距離信息的距離信息計(jì)算部。
6.根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述特征量計(jì)算部包含根據(jù)所述各像素的像素值計(jì)算顏色特征量的顏色特征量計(jì)算部。
7.根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述特征量計(jì)算部包含根據(jù)所述各像素的像素值計(jì)算紋理特征量的紋理特征量計(jì)算部。
8.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述形狀信息計(jì)算部具有近似形狀計(jì)算部，該近似形狀計(jì)算部根據(jù)所述候選區(qū)域和所述周邊區(qū)域中各自包含的多個(gè)像素的像素值，將所述候選區(qū)域和所述周邊區(qū)域在所述深度方向上的形狀分別近似為I維形狀或2維形狀。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在于， 所述近似形狀計(jì)算部具有線(xiàn)近似形狀計(jì)算部，該線(xiàn)近似形狀計(jì)算部根據(jù)所述多個(gè)像素的像素值，將所述候選區(qū)域和所述周邊區(qū)域在所述深度方向上的形狀分別近似為至少I(mǎi)條直線(xiàn)或曲線(xiàn)。
10.根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在于， 所述近似形狀計(jì)算部具有面近似形狀計(jì)算部，該面近似形狀計(jì)算部根據(jù)所述多個(gè)像素的像素值，將所述候選區(qū)域和所述周邊區(qū)域在所述深度方向上的形狀分別近似為2維形狀。
11.根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在于， 所述近似形狀計(jì)算部還具有近似對(duì)象選擇部，該近似對(duì)象選擇部根據(jù)與所述候選區(qū)域和所述周邊區(qū)域中包含的像素有關(guān)的信息，選擇近似形狀的計(jì)算對(duì)象。
12.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述圖像處理裝置還具有可靠性判定部，該可靠性判定部根據(jù)所述周邊區(qū)域的形狀信息判定異常部區(qū)域判定的可靠性， 所述異常部區(qū)域判定部具有判定方法切換部，該判定方法切換部根據(jù)所述可靠性的判定結(jié)果，切換判定所述候選區(qū)域是否為異常部的判定方法。
13.根據(jù)權(quán)利要求12所述的圖像處理裝置，其特征在于， 所述可靠性判定部包含周邊區(qū)域形狀信息判定部，該周邊區(qū)域形狀信息判定部根據(jù)所述周邊區(qū)域的形狀信息判定所述可靠性。
14.根據(jù)權(quán)利要求13所述的圖像處理裝置，其特征在于， 所述周邊區(qū)域形狀信息判定部包含判定所述周邊區(qū)域是否為平坦區(qū)域的平坦區(qū)域判定部，在所述周邊區(qū)域?yàn)槠教箙^(qū)域的情況下判定為可靠性低。
15.根據(jù)權(quán)利要求14所述的圖像處理裝置，其特征在于， 所述平坦區(qū)域判定部包含計(jì)算所述周邊區(qū)域內(nèi)的多個(gè)像素的像素值的方差值的方差值計(jì)算部，根據(jù)所述方差值進(jìn)行判定。
16.一種圖像處理方法，其特征在于，該圖像處理方法包含: 異常部候選區(qū)域判別步驟，從對(duì)活體的管腔內(nèi)攝像得到的圖像中判別異常部的候選區(qū)域； 周邊區(qū)域確定步驟，確定所述候選區(qū)域的周邊區(qū)域； 形狀信息計(jì)算步驟，計(jì)算所述候選區(qū)域和所述周邊區(qū)域在相對(duì)于畫(huà)面的進(jìn)深方向上的形狀信息；以及 異常部區(qū)域判定步驟，根據(jù)所述候選區(qū)域的形狀信息與所述周邊區(qū)域的形狀信息的相關(guān)性，判定所述候選區(qū)域是否為異常部。
17.一種圖像處理程序，其特征在于，使計(jì)算機(jī)執(zhí)行如下步驟: 異常部候選區(qū)域判別步驟，從對(duì)活體的管腔內(nèi)攝像得到的圖像中判別異常部的候選區(qū)域； 周邊區(qū)域確定步驟，確定所述候選區(qū)域的周邊區(qū)域； 形狀信息計(jì)算步驟，計(jì)算所述候選區(qū)域和所述周邊區(qū)域在畫(huà)面的深度方向上的形狀信息；以及 異常部區(qū)域判定步驟，根據(jù)所述候選區(qū)域的形狀信息與所述周邊區(qū)域的形狀信息的相關(guān)，判定所述候選區(qū)域是否為異常部。
【文檔編號(hào)】A61B1/00GK104244802SQ201380021072
【公開(kāi)日】2014年12月24日 申請(qǐng)日期:2013年4月12日 優(yōu)先權(quán)日:2012年4月23日
【發(fā)明者】北村誠(chéng), 神田大和, 河野隆志, 弘田昌士 申請(qǐng)人:奧林巴斯株式會(huì)社