專利名稱:圖像處理裝置、電子設(shè)備、內(nèi)窺鏡系統(tǒng)和程序的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及圖像處理裝置、電子設(shè)備、內(nèi)窺鏡系統(tǒng)和程序等。
背景技術(shù):
以往,廣泛使用如下的面次序式的內(nèi)窺鏡系統(tǒng)針對體腔內(nèi)的組織,使用旋轉(zhuǎn)濾鏡依次照射Rl、G1、B1的3種顏色的光,使用根據(jù)它們的反射光圖像而生成的圖像(通常光圖像)進行診斷。進而,提出了如下的內(nèi)窺鏡系統(tǒng)針對體腔內(nèi)的組織,依次照射特性與所述3種顏色的光不同的2種窄帶光G2和B2,使用根據(jù)它們的反射光圖像而生成的窄帶圖像進行診斷(例如專利文獻I)。并且, 提出了如下的內(nèi)窺鏡系統(tǒng)針對體腔內(nèi)的組織照射窄帶的激勵光,取得通過激勵光而從組織產(chǎn)生的自體熒光或藥劑熒光,使用所生成的熒光圖像進行診斷(例如專利文獻2)?,F(xiàn)有技術(shù)文獻專利文獻專利文獻I :日本特開2006-68113號公報專利文獻2 日本特開2007-229053號公報專利文獻3 :日本特開2000-115553號公報
發(fā)明內(nèi)容
發(fā)明要解決的課題通過使用上述專利文獻I的取得窄帶圖像的內(nèi)窺鏡系統(tǒng)進行診斷,例如,很難通過通常光觀察而視覺辨認的扁平上皮癌等病變部被描繪成與正常部不同的褐色區(qū)域,所以可知其發(fā)現(xiàn)變得容易。并且,在使用上述專利文獻2的取得熒光圖像的內(nèi)窺鏡系統(tǒng)進行診斷的情況下,對腫瘤等病變部使用具有特殊積累的性質(zhì)的熒光藥劑,僅腫瘤等病變部產(chǎn)生熒光,由此,其發(fā)現(xiàn)變得容易。但是,這些窄帶圖像或熒光圖像(將它們統(tǒng)稱為特殊光圖像)一般具有與通常光圖像大大不同的色調(diào),進而,由于照明光不足而成為非常暗的圖像,所以很難僅使用特殊光圖像進行診斷。根據(jù)這種理由,為了提高醫(yī)生的診斷精度,例如考慮同時取得通常光圖像和特殊光圖像并進行顯示。但是,并列地同時顯示這些圖像時,醫(yī)生始終一邊關(guān)注于多個圖像一邊進行診斷,醫(yī)生的負擔增大。并且,認為臨時僅關(guān)注于I個圖像會遺漏病變部。根據(jù)本發(fā)明的幾個方式,能夠提供如下的圖像處理裝置、內(nèi)窺鏡系統(tǒng)和程序等能夠取得與白色光的波長區(qū)域?qū)?yīng)的第I圖像和與特定波長區(qū)域?qū)?yīng)的第2圖像,設(shè)定輸出圖像的適當?shù)娘@示方式。并且,根據(jù)本發(fā)明的幾個方式,能夠提供如下的圖像處理裝置、內(nèi)窺鏡系統(tǒng)和程序等能夠降低使用第I圖像和第2圖像進行診斷時的醫(yī)生的負擔等,并且抑制病變部的遺漏等。
用于解決課題的手段本發(fā)明的一個方式涉及一種圖像處理裝置,該圖像處理裝置包括第I圖像取得部,其取得包含具有白色光波段中的信息的被攝體像的圖像,作為第I圖像;第2圖像取得部,其取得包含具有特定波段中的信息的被攝體像的圖像,作為第2圖像;關(guān)注候選區(qū)域檢測部,其根據(jù)所述第2圖像內(nèi)的像素的特征量,檢測應(yīng)該關(guān)注的區(qū)域的候選即關(guān)注候選區(qū)域;可靠度計算部,其計算表示所檢測到的所述關(guān)注候選區(qū)域是關(guān)注區(qū)域的確定程度的可靠度;以及顯示方式設(shè)定部,其進行根據(jù)計算出的所述可靠度設(shè)定輸出圖像的顯示方式的處理。 在本發(fā)明的一個方式中,取得與白色光波段對應(yīng)的第I圖像和與特定波段對應(yīng)的第2圖像,根據(jù)第2圖像的特征量檢測關(guān)注候選區(qū)域。而且,由于利用可靠度計算部加上了可靠度之后設(shè)定顯示方式,所以與沒有可靠度的情況相比,能夠設(shè)定更加適當?shù)娘@示方式。本發(fā)明的另一個方式涉及一種內(nèi)窺鏡系統(tǒng),該內(nèi)窺鏡系統(tǒng)包括第I光源,其對活體內(nèi)的被攝體照射白色光;第2光源,其對活體內(nèi)的被攝體照射特定波段的光;第I圖像取得部,其通過所述第I光源的照射,取得包含具有白色光波段中的信息的被攝體像的圖像,作為第I活體內(nèi)圖像;第2圖像取得部,其通過所述第2光源的照射,取得包含具有特定波段中的信息的被攝體像的圖像,作為第2活體內(nèi)圖像;關(guān)注候選區(qū)域檢測部,其根據(jù)所述第2活體內(nèi)圖像內(nèi)的像素的特征量,檢測關(guān)注區(qū)域的候選即關(guān)注候選區(qū)域;可靠度計算部,其計算表示所述檢測到的關(guān)注候選區(qū)域是所述關(guān)注區(qū)域的確定程度的可靠度;顯示方式設(shè)定部,其進行根據(jù)所述計算出的可靠度設(shè)定輸出圖像的顯示方式的處理;以及顯示部,其按照所述設(shè)定的顯示方式顯示所述輸出圖像。根據(jù)本發(fā)明的另一個方式,取得第I活體內(nèi)圖像和第2活體內(nèi)圖像,根據(jù)第2圖像的特征量檢測關(guān)注候選區(qū)域。而且,能夠?qū)崿F(xiàn)如下的內(nèi)窺鏡系統(tǒng)由于利用可靠度計算部加上了可靠度之后設(shè)定顯示方式,所以與沒有可靠度的情況相比,能夠設(shè)定更加適當?shù)娘@示方式,按照所設(shè)定的顯示方式在顯示部中進行顯示。本發(fā)明的另一個方式涉及一種圖像處理裝置,該圖像處理裝置包括第I圖像取得部,其取得包含具有白色光波段中的信息的被攝體像的圖像,作為第I圖像;第2圖像取得部,其取得包含具有特定波段中的信息的被攝體像的圖像,作為第2圖像;關(guān)注區(qū)域檢測部,其根據(jù)所述第2圖像內(nèi)的像素的特征量,檢測應(yīng)該關(guān)注的區(qū)域即關(guān)注區(qū)域;以及顯示方式設(shè)定部,其進行在與所述關(guān)注區(qū)域?qū)?yīng)的輸出圖像的對應(yīng)關(guān)注區(qū)域中顯示警告區(qū)域的處理,該警告區(qū)域發(fā)出與所述關(guān)注區(qū)域的檢測結(jié)果有關(guān)的信息。根據(jù)本發(fā)明的另一個方式,取得第I圖像和第2圖像,根據(jù)第2圖像的特征量檢測關(guān)注區(qū)域。而且,通過在對應(yīng)關(guān)注區(qū)域中顯示警告區(qū)域,能夠設(shè)定對應(yīng)關(guān)注區(qū)域明顯的輸出圖像,作為顯示方式。
圖I (A)、圖I (B)是現(xiàn)有方法的說明圖。圖2是本實施方式的方法的說明圖。圖3是本實施方式的系統(tǒng)結(jié)構(gòu)例。圖4是濾色鏡R、G、B的分光特性。
圖5是濾色鏡g2、b2的分光特性。圖6是濾色鏡g2、b2的說明圖。圖7是通常光圖像取得部的結(jié)構(gòu)例。圖8是特殊光圖像取得部的結(jié)構(gòu)例。圖9是輸出圖像生成部的結(jié)構(gòu)例。圖10是關(guān)注候選區(qū)域檢測部的結(jié)構(gòu)例。圖11是顯示方式設(shè)定部的結(jié)構(gòu)例。圖12是加工部的結(jié)構(gòu)例。 圖13是局部區(qū)域的分割方法的說明圖。圖14 (A)、圖14 (B)、圖14 (C)、圖14 (D)是對相鄰的關(guān)注候選區(qū)域進行合并的方法的說明圖。圖15 (A)、圖15 (B)是關(guān)注候選區(qū)域的設(shè)定方法的說明圖。圖16 (A)、圖16 (B)是示出應(yīng)該關(guān)注的程度(At)與合成比(alpha)的關(guān)系的例子的圖。圖17是在軟件處理中使用的計算機的結(jié)構(gòu)例。圖18是在軟件處理中使用的計算機的結(jié)構(gòu)例。圖19是用于說明本實施方式的處理的流程圖。圖20是用于說明關(guān)注候選區(qū)域檢測處理的流程圖。圖21是用于說明顯示方式設(shè)定處理的流程圖。圖22是用于說明加工處理的流程圖。圖23是關(guān)注候選區(qū)域檢測部的另一個結(jié)構(gòu)例。圖24是加工部的另一個結(jié)構(gòu)例。圖25是加工部的另一個結(jié)構(gòu)例。圖26 (A)是通常光圖像的例子,圖26 (B)是特殊光圖像的例子,圖26 (C)、圖26(D)、圖26 (E)、圖26 (F)是輸出圖像的例子。圖27是用于說明關(guān)注候選區(qū)域檢測處理的另一個流程圖。圖28是用于說明加工處理的另一個流程圖。圖29是用于說明加工處理的另一個流程圖。圖30是加工部的另一個結(jié)構(gòu)例。圖31 (A)是通常光圖像和關(guān)注候選區(qū)域信息的例子,圖31 (B)是利用不同的目標顏色對2個對應(yīng)關(guān)注區(qū)域?qū)嵤┝祟伾D(zhuǎn)換加工的例子。圖32是本實施方式的另一個系統(tǒng)結(jié)構(gòu)例。圖33是特殊光圖像取得部的另一個結(jié)構(gòu)例。圖34是本實施方式的另一個系統(tǒng)結(jié)構(gòu)例。圖35是旋轉(zhuǎn)濾鏡的例子。圖36是濾鏡Fl、F2和熒光的特性例。圖37是阻擋濾鏡的特性例。圖38是輸出圖像生成部的另一個系統(tǒng)結(jié)構(gòu)例。圖39是通常光圖像和特殊光圖像的取得定時的例子。
圖40是各定時的濾鏡和所得到的圖像的組合的例子。圖41是使用了運動矢量的通常光圖像和特殊光圖像的對應(yīng)方法的說明圖。圖42是使用了運動矢量的通常光圖像和特殊光圖像的對應(yīng)方法的說明圖。圖43是旋轉(zhuǎn)濾鏡的另一個例子。圖44是用于說明本實施方式的處理的另一個流程圖。
具體實施例方式下面,對本實施方式進行說明。另外,以下說明的本實施方式并不是不當?shù)叵薅?quán)利要求范圍所記載的本發(fā)明的內(nèi)容。并且,本實施方式中說明的全部結(jié)構(gòu)不一定是本發(fā)明 的必須結(jié)構(gòu)要件。I.本實施方式的方法參照圖I (A)、圖I (B)和圖2對本實施方式的方法進行說明。圖I (A)和圖I (B)示出現(xiàn)有方法。圖I (A)示出基于通常光的觀察的狀況。得到全體明亮且容易觀看的圖像,但是,針對扁平上皮癌等一部分病變的視覺辨認性差。并且,圖I (B)示出基于特殊光(例如窄帶光或熒光)的觀察的狀況。例如扁平上皮癌等病變利用褐色顯示等,與通常光觀察相比,能夠提高一部分病變的視覺辨認性,但是,成為全體較暗而不易觀看的圖像。為了解決這種問題,還考慮了如下的方法一邊通過操作設(shè)備的開關(guān)等切換通常光圖像和特殊光圖像一邊進行顯示,從而進行診斷和治療。但是,在該方法中,在移動內(nèi)窺鏡的插入部的同時進行設(shè)備的操作,還需要參照畫面,對醫(yī)生造成負擔。另外,所顯示的通常光圖像和特殊光圖像均具有缺點,所以需要根據(jù)狀況而適當選擇顯示圖像,因此,要求熟練的可能性很高。并且,還考慮了并列顯示通常光圖像和特殊光圖像的方法,但是,該情況下,必須同時參照2個畫面,可能遺漏病變部等,醫(yī)生的負擔還是很大。因此,本申請人提出了圖2的系統(tǒng)。在本實施方式中,根據(jù)特殊光圖像確定例如扁平上皮癌等病變部的位置,根據(jù)所確定的位置信息對通常光圖像進行加工,提高病變部的視覺辨認性。具體而言,如圖2所示,考慮進行與目標顏色之間的重疊處理的方法、利用目標顏色包圍周緣部的方法、對病變部的通常光圖像和特殊光圖像進行合成的方法等。由此,在通常光圖像的優(yōu)點即明亮且容易觀看的圖像的基礎(chǔ)上,加上特殊光圖像的優(yōu)點即病變部的視覺辨認性高,所以抑制了病變部的遺漏,減輕了醫(yī)生的負擔,由此,能夠進行順暢的診斷/治療。另外,在本實施方式中,當然也可以通過操作設(shè)備的開關(guān)等來顯示特殊光圖像。由此,能夠適當區(qū)分使用圖像,例如,在病變部的檢查時使用加工后的通常光圖像,在病變部的詳細確認時使用特殊光圖像。2.第I實施方式參照圖3對本發(fā)明的第I實施方式的內(nèi)窺鏡系統(tǒng)進行說明。本實施方式的內(nèi)窺鏡系統(tǒng)具有光源部100、插入部200、圖像處理部300、顯示部400、外部I/F部500。光源部100具有產(chǎn)生白色光的白色光源110以及用于將白色光會聚在光導(dǎo)纖維210中的會聚透鏡120。
插入部200例如形成為細長且能夠彎曲,以使得能夠插入體腔內(nèi)。插入部200具有用于引導(dǎo)由光源部100會聚后的光的光導(dǎo)纖維210、使通過光導(dǎo)纖維210引導(dǎo)到前端的光擴散并照射到觀察對象的照明透鏡220、使從觀察對象返回的反射光會聚的物鏡230、將會聚后的反射光分離成2個部分的半透半反鏡240、以及用于檢測分離后的反射光的第I攝像元件250和第2攝像元件260。第I攝像元件250是用于拍攝通常光圖像的具有拜耳排列的濾色鏡的攝像元件。第I攝像元件250的濾色鏡R、G、B例如具有圖4所示的分光特性。第2攝像元件260是用于拍攝窄帶圖像的攝像元件,例如如圖6所示,是具有以方格狀排列分別透射2種窄帶光G2和B2的2種濾色鏡g2和b2而構(gòu)成的濾色鏡的攝像元件。第2攝像元件260的濾色鏡g2、b2例如如圖5所示,b2具有透射390 445nm的波段的光的透射率特性,g2具有透射530 550nm的波段的光的透射率特性。圖像處理部300 (圖像處理裝置)具有AD轉(zhuǎn)換部310a、310b、通常光圖像取得部320、特殊光圖像取得部330、輸出圖像生成部340、控制部350??刂撇?50與通常光圖像取得部320、特殊光圖像取得部330、輸出圖像生成部340雙向連接,并對它們進行控制。外部I/F部500是用于供用戶對該內(nèi)窺鏡系統(tǒng)(攝像裝置)進行輸入等的接口,構(gòu)成為包括用于進行電源的接通/斷開的電源開關(guān)、用于開始攝影操作的快門按鈕、用于切換攝影模式和其他各種模式的模式切換按鈕等。而且,該外部I/F部500向控制部350輸出所輸入的信息。AD轉(zhuǎn)換部3 IOa將從第I攝像元件250輸出的模擬信號轉(zhuǎn)換為數(shù)字信號并輸出。AD轉(zhuǎn)換部3 IOb將從第2攝像元件260輸出的模擬信號轉(zhuǎn)換為數(shù)字信號并輸出。通常光圖像取得部320 (廣義上為第I圖像取得部)例如從由AD轉(zhuǎn)換部310a輸出的數(shù)字信號中取得通常光圖像(廣義上為第I圖像)。特殊光圖像取得部330 (廣義上為第2圖像取得部)例如從由AD轉(zhuǎn)換部310b輸出的數(shù)字信號中取得特殊光圖像(廣義上為第2圖像)。通常光圖像取得部320和特殊光圖像取得部330的詳細情況在后面敘述。由通常光圖像取得部320取得的通常光圖像和由特殊光圖像取得部330取得的特殊光圖像被輸出到輸出圖像生成部340。輸出圖像生成部340根據(jù)這2張圖像生成I張輸出圖像并輸出到圖像顯示部400。輸出圖像生成部340的詳細情況在后面敘述。接著,使用圖7對通常光圖像取得部320進行說明。通常光圖像取得部320具有通常光圖像生成部321和通常光圖像存儲部322。通常光圖像生成部321對由AD轉(zhuǎn)換部310a轉(zhuǎn)換并輸入的數(shù)字信號進行圖像處理,生成通常光圖像。具體而言,進行現(xiàn)有的插值處理、白平衡、顏色轉(zhuǎn)換、灰度轉(zhuǎn)換等處理,生成通常光圖像并輸出。通常光圖像存儲部322存儲從通常光圖像生成部321輸出的通常光圖像。接著,使用圖8對特殊光圖像取得部330進行說明。特殊光圖像取得部330具有特殊光圖像生成部331和特殊光圖像存儲部332。特殊光圖像生成部331對由AD轉(zhuǎn)換部310b轉(zhuǎn)換并輸入的數(shù)字圖像信號進行圖像處理,生成特殊光圖像。在本實施方式中,特殊光圖像為窄帶光圖像。這里,對利用特殊光圖像生成部331生成窄帶光圖像的方法進行說明。被輸入到特殊光圖像生成部的數(shù)字圖像信號是如上所述以方格狀排列圖6所示的2種濾色鏡g2和b2的圖像信號。首先對這種圖像信號進行插值處理,生成在全部像素中具有g(shù)2濾鏡的信號值的G2圖像和在全部像素中具有b2濾鏡的信號值的B2圖像。在插值處理中計算的像素值例如是周邊4個像素的平均值即可,例如,圖6的g2 (1,1)位置的匕2的像素值匕2 (1,1)和b2 (1,2)位置的g2的像素值g2 (1,2)如下式(I)、(2)那樣計算。b2 (I, I) =[b2 (0,l)+b2 (l,0)+b2 (l,2)+b2 (2,1) ]/4...... (I)g2 (l,2)=[g2 (0,2)+g2 (l,l)+g2 (l,3)+g2 (2,2) ]/4……(2)接著,根據(jù)對全部像素進行插值后的G2圖像和B2圖像,生成具有R、G、B的3個通道的彩色圖像。這里,例如通過對彩色圖像的R通道輸入G2圖像、對G通道和B通道輸入B2圖像,生成彩色圖像。特殊光圖像生成部331進一步對所生成的彩色圖像進行白平衡、 灰度轉(zhuǎn)換等處理,作為窄帶光圖像輸出。特殊光圖像存儲部332存儲從特殊光圖像生成部331輸出的特殊光圖像。接著,對輸出圖像生成部340的具體結(jié)構(gòu)進行說明。圖9是說明第I實施方式中的輸出圖像生成部340的結(jié)構(gòu)的一例的框圖。輸出圖像生成部340具有關(guān)注候選區(qū)域檢測部341、可靠度計算部342、顯示方式設(shè)定部343。這里,來自通常光圖像取得部320的圖像信號被輸出到顯示方式設(shè)定部343。并且,來自特殊光圖像取得部330的圖像信號被輸出到關(guān)注候選區(qū)域檢測部341和顯示方式設(shè)定部343。關(guān)注候選區(qū)域檢測部341與可靠度計算部342和顯示方式設(shè)定部343連接。關(guān)注候選區(qū)域檢測部341的詳細情況在后面敘述??煽慷扔嬎悴?42與顯示方式設(shè)定部343連接。顯示方式設(shè)定部343與顯示部400連接。并且,控制部350與關(guān)注候選區(qū)域檢測部341、可靠度計算部342、顯示方式設(shè)定部343雙向連接,并對它們進行控制。關(guān)注候選區(qū)域檢測部341根據(jù)控制部350的控制,從特殊光圖像中檢測應(yīng)該關(guān)注的區(qū)域的候選即關(guān)注候選區(qū)域。對關(guān)注候選區(qū)域檢測部341的具體結(jié)構(gòu)進行說明。圖10是說明第I實施方式中的關(guān)注候選區(qū)域檢測部341的結(jié)構(gòu)的一例的框圖。如圖10所示,關(guān)注候選區(qū)域檢測部341包括局部區(qū)域設(shè)定部3411、特征量計算部3412、分類部3413、區(qū)域設(shè)定部3414。這里,特殊光圖像取得部330與局部區(qū)域設(shè)定部3411連接。局部區(qū)域設(shè)定部3411與特征量計算部3412連接。特征量計算部3412與分類部3413連接。分類部3413與區(qū)域設(shè)定部3414連接。區(qū)域設(shè)定部3414與可靠度計算部342和顯示方式設(shè)定部343連接。并且,控制部350與局部區(qū)域設(shè)定部3411、特征量計算部3412、分類部3413、區(qū)域設(shè)定部3414雙向連接,并對它們進行控制。局部區(qū)域設(shè)定部3411針對從特殊光圖像取得部330輸出的特殊光圖像設(shè)定多個局部區(qū)域(狹義上為塊)。這里,例如將特殊光圖像分割成矩形區(qū)域,將分割后的各區(qū)域設(shè)定為局部區(qū)域。該矩形區(qū)域的尺寸可以適當設(shè)定,但是,這里,例如如圖13所示,設(shè)16X16像素為I個局部區(qū)域。這里,設(shè)特殊光圖像由MXN個局部區(qū)域構(gòu)成,利用(m,n)表示各局部區(qū)域的坐標。并且,坐標(m,n)的局部區(qū)域表示為a (m,n)。這里,將位于圖像左上方的局部區(qū)域的坐標表不為(0,0),將右方向表不為m的正方向,將下方向表不為n的正方向。局部區(qū)域不一定必須是矩形,當然可以將特殊光圖像分割成任意多邊形,將分割后的各個區(qū)域設(shè)定為局部區(qū)域。作為其他例子,可以應(yīng)用以紋理解析為代表的公知的區(qū)域分割算法。并且,可以根據(jù)用戶的指示,任意設(shè)定局部區(qū)域。并且,這里,為了削減此后的計算量并去除噪聲,將由多個相鄰的像素群構(gòu)成的區(qū)域作為I個局部區(qū)域,但是,也可以將I個像素作為I個局部區(qū)域。該情況下,以后的處理完全相同。分割后的局部區(qū)域被輸出到特征量計算部 3412。特征量計算部3412針對所有的局部區(qū)域計算特征量。這里,作為特征量的一例,對利用顏色信息的情況進行說明。在本實施方式中,在用作特殊光圖像的窄帶光圖像中,扁平上皮癌等病變部描繪成褐色的區(qū)域,所以通過使用色相H作為特征量,能夠檢測病變部。將R、G、B通道的信號值表記為r、g、b,各信號值為8比特(0 255)。接著,根據(jù)該信號值r、g、b,例如使用下式(3) (8)計算色相H。max=MAX (r, g, b) ...... (3)這里,設(shè)MAX函數(shù)是輸出多個變量中的最大變量的函數(shù)。在MAX為0的情況下,
H=O...... (4)在MAX為0以外的情況下,d=MAX (r, g, b) -MIN (r, g, b) ...... (5)這里,設(shè)MIN函數(shù)是輸出多個變量中的最小變量的函數(shù)。進而,在r、g、b中的r為最大的情況下,H=60* (g-b) /d...... (6)在r、g、b中的g為最大的情況下,H=60*{2+ (b-r) }/d...... (7)在r、g、b中的b為最大的情況下,H=60*{4+ (r-g) }/d...... (8)另外,在H〈0的情況下,在H中加上360。并且,在H=360的情況下,設(shè)H=0。這里,將坐標(m,n)的局部區(qū)域中包含的表示褐色的像素數(shù)表記為Cha (m,n),將其作為特征量。并且,表示疑似病變程度的特征量不限于上述,也可以分別求解顏色的特征量、空間頻率的特征量、形狀的特征量和面積的特征量等,分別賦予權(quán)重系數(shù)并進行線性結(jié)合,作為表示各局部區(qū)域的疑似病變程度的特征量。特征量Cha (m,n)被輸出到分類部3413。分類部3413根據(jù)控制部350的控制,按照每個局部區(qū)域?qū)τ嬎愠龅木植繀^(qū)域的特征量Cha (m,n)與規(guī)定閾值進行比較,根據(jù)該比較結(jié)果,將各局部區(qū)域分類為多個群組。該情況下,使用預(yù)先設(shè)定的多個閾值GrThi (i=0,l...,L),在Cha (m,n)為GrThi以上且小于GrThi+1的情況下,將坐標(m,n)的局部區(qū)域分類為群組i的局部區(qū)域。在本實施方式中,設(shè)GrTh0=200、GrThL=257,GrThi小于GrThi+1。各局部區(qū)域被分類為群組0 群組L的群組。將在坐標(m,n)的局部區(qū)域中設(shè)定的群組表記為i (m,n)。并且,閾值GrThi的設(shè)定方法不限于上述,也可以通過控制部350自動設(shè)定。并且,閾值GrThi也可以根據(jù)特殊光圖像內(nèi)的位置而自適應(yīng)地設(shè)定。分類后的群組i (m,n)被輸出到區(qū)域設(shè)定部3414。區(qū)域設(shè)定部3414根據(jù)控制部350的控制,檢測包含至少被分類為多個群組中的I個群組的各局部區(qū)域和與該局部區(qū)域相鄰的局部區(qū)域群的區(qū)域,作為關(guān)注候選區(qū)域。圖14(A)、圖14 (B)、圖14 (C)和圖14 (D)示出關(guān)注候選區(qū)域的設(shè)定方法的一例。局部區(qū)域中的數(shù)值表示對各局部區(qū)域進行分類后的群組。首先,如圖14 (A)所示,在由粗框包圍的局部區(qū)域的8個附近位置,探索被分類為群組的局部區(qū)域。在粗框內(nèi)存在被分類為群組的局部區(qū)域的情況下,如圖14 (B)的內(nèi)側(cè)的粗框所示,將包含該局部區(qū)域的矩形區(qū)域設(shè)定為新的局部區(qū)域。接著,在新的局部區(qū)域的周邊(由外側(cè)的粗框包圍的范圍),再次探索被分類為群組的局部區(qū)域。反復(fù)進行該處理,直到如圖14 (C)所示在局部區(qū)域的周邊不存在被分類為群組的局部區(qū)域為止。當探索處理結(jié)束后,如圖14 (D)所示,將新設(shè)定的局部區(qū)域合并為一個區(qū)域,按照與所述分類部3413相同的順序,再次設(shè)定局部區(qū)域的群組。這里,設(shè)合并后的局部區(qū)域內(nèi)的表示紅褐色的像素數(shù)為GrTh7以上且小于GrThS,圖中示出了被分類為群組7的情況。這里,再次設(shè)定的局部區(qū)域被設(shè)定為關(guān)注候選區(qū)域。并且,局部區(qū)域的合并方法不限于上述,例如也可以應(yīng)用公知的聚類算法。該情況下,合并后的局部區(qū)域不限于矩形區(qū)域,可以是任意形狀。檢測到的關(guān)注候選區(qū)域?qū)D像信號、各像素的坐標、群組輸出到可靠度計算部342和顯示方式設(shè)定部343。上述實施方式的關(guān)注候選區(qū)域檢測部使用第2圖像內(nèi)的像素的特征量,從第2圖像中檢測應(yīng)該關(guān)注的區(qū)域的候選即關(guān)注候選區(qū)域,但是,作為變形例,也可以使用第2圖像內(nèi)的像素的特征量,從第I圖像中檢測應(yīng)該關(guān)注的區(qū)域的候選即關(guān)注候選區(qū)域。具體而言,局部區(qū)域設(shè)定部3411在第2圖像上設(shè)定多個局部區(qū)域。特征量計算部3412針對該設(shè)定的各局部區(qū)域計算特征量。此時,特征量計算部3412使用與各局部區(qū)域中包含的第2圖像上的像素對應(yīng)的第I圖像上的像素(例如在第I圖像和第2圖像上位于同一像素位置的像素)的特征量,進行上述閾值處理。區(qū)域設(shè)定部3414根據(jù)通過閾值處理而提取出的第I圖像上的局部區(qū)域,在第I圖像上設(shè)定關(guān)注候選區(qū)域。另外,在關(guān)注候選區(qū)域的設(shè)定時,也可以根據(jù)需要進行上述局部區(qū)域的合并處理。并且,局部區(qū)域設(shè)定部3411將16X16像素的區(qū)域作為局部區(qū)域,但是,也可以不設(shè)定局部區(qū)域,如上所述將I個像素作為局部區(qū)域。該情況下,特征量計算部3412計算每個像素的特征量。區(qū)域設(shè)定部3414根據(jù)特征量檢測應(yīng)該關(guān)注的像素即關(guān)注像素。然后,檢測包含關(guān)注像素的區(qū)域作為關(guān)注候選區(qū)域。這樣,在從關(guān)注像素中檢測關(guān)注候選區(qū)域的情況下,也可以重新設(shè)定關(guān)注候選區(qū)域信息,以使得所輸出的關(guān)注區(qū)域信息示出多邊形或圓形等任意形狀。具體而言,只要由關(guān)注像素和選擇非關(guān)注像素構(gòu)成關(guān)注候選區(qū)域即可。這里,非關(guān)注像素是第2圖像所包含的像素中的未檢測為關(guān)注像素的像素,選擇非關(guān)注像素是從非關(guān)注像素的中選擇出的(具體而言,例如以使關(guān)注候選區(qū)域為規(guī)定形狀的方式選擇出的)像素。并且,這里,也可以代替色相H而使用公知的方法計算局部區(qū)域的平均亮度或彩度,將這些值作為特征量來檢測關(guān)注候選區(qū)域。進而,當然也可以通過任意地組合這些亮度、色相、彩度的信息,計算I個特征量來檢測關(guān)注候選區(qū)域??煽慷扔嬎悴?42通過對關(guān)注候選區(qū)域附加標簽信息,對多個不同的關(guān)注候選區(qū)域彼此之間進行識別。例如如圖15 (A)所示,在存在2個關(guān)注候選區(qū)域的情況下,可靠度計算部342針對屬于關(guān)注候選區(qū)域I的局部區(qū)域,設(shè)標簽的值為1,針對屬于關(guān)注候選區(qū)域2的局部區(qū)域,設(shè)標簽的值為2。
進而,可靠度計算部342根據(jù)對各局部區(qū)域附加的標簽的信息,計算屬于各關(guān)注候選區(qū)域的局部區(qū)域的數(shù)量,從而計算關(guān)注候選區(qū)域的面積,通過對面積進行閾值處理來計算可靠度。例如,關(guān)于圖15 (A)的關(guān)注候選區(qū)域I和關(guān)注候選區(qū)域2的面積dl和d2,當設(shè)I個局部區(qū)域的面積為I時,dl=9, d2=2。此時,例如設(shè)面積為5以上的關(guān)注候選區(qū)域的可靠度為1,設(shè)面積小于5的關(guān)注候選區(qū)域的可靠度為O。接著,可靠度計算部342向顯示方式設(shè)定部343輸出可靠度。另外,在本實施方式中,根據(jù)屬于關(guān)注候選區(qū)域的局部區(qū)域的數(shù)量計算面積,從而計算可靠度,但是,也可以計算關(guān)注區(qū)域候選的平均色相、彩度、亮度,使用它們計算可靠度。進而,當然也可以組合關(guān)注候選區(qū)域的面積和色相、彩度、亮度來計算可靠度。顯示方式設(shè)定部343根據(jù)關(guān)注候選區(qū)域信息和可靠度設(shè)定關(guān)注區(qū)域。然后,針對通常光圖像的對應(yīng)關(guān)注區(qū)域進行加工處理。然后,選擇要在顯示部400中顯示的圖像并輸出。根據(jù)情況,也可以從優(yōu)先度高的關(guān)注區(qū)域起設(shè)定警告區(qū)域。接著,對顯示方式設(shè)定部343的具體結(jié)構(gòu)進行說明。圖11是說明本實施方式中的顯示方式設(shè)定部343的結(jié)構(gòu)的一例的框圖。 顯示方式設(shè)定部343具有加工部3431和選擇部 3432。這里,關(guān)注候選區(qū)域檢測部341向加工部3431輸出關(guān)注候選區(qū)域信息。并且,關(guān)注候選區(qū)域檢測部341向選擇部3432輸出是否檢測到關(guān)注候選區(qū)域的控制信號。從通常光圖像取得部320輸出的圖像信號被輸入到加工部3431和選擇部3432。并且,從特殊光圖像取得部330輸出的圖像信號被輸入到加工部3431和選擇部3432。加工部3431根據(jù)控制部350的控制,使用從關(guān)注候選區(qū)域檢測部341輸出的關(guān)注候選區(qū)域信息和從可靠度計算部342輸入的可靠度,對通常光圖像進行加工。進而,加工部3431向選擇部3432輸出加工后的通常光圖像。并且,控制部350與加工部3431和選擇部3432雙向連接,并對它們進行控制。加工部3431根據(jù)關(guān)注區(qū)域的檢測結(jié)果,對與檢測到的特殊光圖像的關(guān)注區(qū)域?qū)?yīng)的通常光圖像內(nèi)的對應(yīng)關(guān)注區(qū)域進行加工。加工部的詳細情況在后面敘述。選擇部3432使用來自關(guān)注候選區(qū)域檢測部341的控制信號,選擇要輸出到顯示部400的顯示圖像。例如,在沒有從特殊光圖像中檢測到關(guān)注候選區(qū)域的情況下,選擇從通常光圖像取得部320輸出的通常光圖像作為顯示圖像,在從特殊光圖像中檢測到關(guān)注候選區(qū)域的情況下,選擇從加工部3431輸出的加工后的通常光圖像作為顯示圖像。并且,例如在沒有從特殊光圖像中檢測到關(guān)注候選區(qū)域的情況下,選擇從通常光圖像取得部320輸出的通常光圖像作為顯示圖像,在從特殊光圖像中檢測到關(guān)注候選區(qū)域的情況下,也可以選擇從特殊光圖像取得部330輸出的特殊光圖像作為顯示圖像。關(guān)于在檢測到關(guān)注候選區(qū)域的情況下和未檢測到關(guān)注候選區(qū)域的情況下選擇什么樣的圖像,例如由用戶預(yù)先決定,根據(jù)從控制部350向選擇部3432輸入的控制信號進行控制即可。接著,對加工部3431的具體結(jié)構(gòu)進行說明。圖12是說明第I實施方式中的加工部3431的結(jié)構(gòu)的一例的框圖。如圖12所示,加工部3431具有關(guān)注信息設(shè)定部34311、合成比設(shè)定部34312、區(qū)域選出部34313、區(qū)域加工部34314、亮度轉(zhuǎn)換部34315。關(guān)注候選區(qū)域檢測部341與關(guān)注信息設(shè)定部34311、區(qū)域選出部34313、區(qū)域加工部34314連接??煽慷扔嬎悴?42與區(qū)域選出部34313連接。關(guān)注信息設(shè)定部34311與合成比設(shè)定部34312連接。合成比設(shè)定部34312設(shè)定在區(qū)域加工部34314中。通常光圖像取得部320與區(qū)域選出部34313連接。區(qū)域選出部34313與區(qū)域加工部34314和亮度轉(zhuǎn)換部34315連接。區(qū)域加工部34314與亮度轉(zhuǎn)換部34315連接。亮度轉(zhuǎn)換部34315與選擇部3432連接??刂撇?50與關(guān)注信息設(shè)定部34311、合成比設(shè)定部34312、區(qū)域選出部34313、區(qū)域加工部34314、亮度轉(zhuǎn)換部34315雙向連接,并對它們進行控制。關(guān)注信息設(shè)定部34311根據(jù)控制部350的控制,針對檢測到的關(guān)注候選區(qū)域設(shè)定表示應(yīng)該關(guān)注的程度的關(guān)注信息。具體而言,根據(jù)從關(guān)注候選區(qū)域檢測部341輸出的關(guān)注候選區(qū)域的群組,對各關(guān)注候選區(qū)域設(shè)定應(yīng)該關(guān)注的程度At。這里,與各群組對應(yīng)的應(yīng)該關(guān)注的程度At預(yù)先設(shè)定為查閱表AtLut (i)。AtLut (i)表示群組i的情況下的應(yīng)該關(guān)注的程度,設(shè)At=AtLut (i)。并且,與各群組對應(yīng)的應(yīng)該關(guān)注的程度At也可以通過外部I/F部500而由用戶設(shè)定。計算出的At作為關(guān)注候選區(qū)域的關(guān)注信息,被輸出到合成比設(shè)定部34312。合成比設(shè)定部343 12根據(jù)控制部350的控制,根據(jù)所設(shè)定的關(guān)注信息所表示的關(guān)注程度,設(shè)定關(guān)注候選區(qū)域內(nèi)的像素的像素值與對應(yīng)關(guān)注區(qū)域內(nèi)的像素的像素值的合成t匕。具體而言,根據(jù)從關(guān)注信息設(shè)定部34311輸入的關(guān)注信息At,使用以下的式(9)計算合成比alpha。alpha為0 I的范圍內(nèi)的值。
alpha=alLut (At) ...... (9)這里,alLut (X)例如為圖16 (A)所示的預(yù)先設(shè)定的合成比計算查閱表。并且,合成比計算方法不限于上述,也可以使用n次函數(shù)。式(10)示出計算合成比alpha的I次函數(shù)的例子。alpha=a*At+b...... (10)a、b是常數(shù)項。這里,如圖16(B)所示,在alpha為0以下的情況下,設(shè)alpha=0,在alpha為I以上的情況下,設(shè)alpha=l。所設(shè)定的合成比alpha被輸出到區(qū)域加工部34314。區(qū)域選出部34313根據(jù)控制部350的控制,選出與檢測到的關(guān)注候選區(qū)域?qū)?yīng)的通常光圖像內(nèi)的對應(yīng)關(guān)注區(qū)域。關(guān)于對應(yīng)關(guān)注區(qū)域選出方法,首先,預(yù)先拍攝校準圖像,通過應(yīng)用公知的匹配算法,生成使通常光圖像與特殊光圖像的各像素的位置一一對應(yīng)的查閱表calLut (x,y)。這里,當輸入特殊光圖像的各像素的坐標(x, y)后,calLut (x,y)輸出通常光圖像的對應(yīng)的位置(x’,y’)。然后,根據(jù)從可靠度計算部342輸入的可靠度,從由關(guān)注候選區(qū)域檢測部341輸入的關(guān)注候選區(qū)域中提取關(guān)注區(qū)域。具體而言,從關(guān)注候選區(qū)域中提取具有預(yù)先設(shè)定的閾值以上的可靠度的區(qū)域,作為關(guān)注區(qū)域。然后,使用calLut(X,y)和關(guān)注區(qū)域中包含的像素的坐標,計算對應(yīng)關(guān)注區(qū)域的坐標。并且,這里使與關(guān)注區(qū)域?qū)?yīng)的像素位置一對一,但是,與關(guān)注區(qū)域?qū)?yīng)的像素位置也可以是多個。并且,在與關(guān)注區(qū)域?qū)?yīng)的像素位置為像素與像素之間的情況下,也可以應(yīng)用以線性插值為代表的公知的插值算法。對應(yīng)關(guān)注區(qū)域的坐標被輸出到區(qū)域加工部34314。區(qū)域加工部34314根據(jù)控制部350的控制,對通常光圖像的對應(yīng)關(guān)注區(qū)域進行加工。具體而言,針對由從區(qū)域選出部34313輸出的對應(yīng)關(guān)注區(qū)域信息確定的像素,使用式
(11)進行合成處理。這里,特殊光圖像的信號值表記為spelmg (x,y),通常光圖像的信號值表記為whilmg (x, y),合成圖像的信號值表記為blelmg (x, y)。blelmg (x,,y,)=alpha*spelmg (x,y)+ (l_alpha)*whilmg (x,,y,)...... (11)針對對應(yīng)關(guān)注區(qū)域以外的像素,使用式(12),將通常光圖像設(shè)定為合成圖像。blelmg (x,,y,)=whilmg (x,y,)...... (12)進行合成處理后的合成圖像blelmg被輸出到亮度轉(zhuǎn)換部34315。亮度轉(zhuǎn)換部34315根據(jù)控制部350的控制,降低對應(yīng)關(guān)注區(qū)域以外的區(qū)域中包含的像素的亮度。具體而言,針對從區(qū)域選出部34313輸出的對應(yīng)關(guān)注區(qū)域像素以外的像素,使用式(13)降低亮度。這里,亮度降低后的加工圖像的信號值表記為proclmg (x,y)。proclmg (x,,y,)=c*blelmg (x,,y,)...... (13)c是0 I的范圍內(nèi)的常數(shù)項。進行了亮度轉(zhuǎn)換處理后的加工圖像proglmg被輸出到選擇部3432。 并且,在本實施方式中,構(gòu)成圖像處理部300的各部由硬件構(gòu)成,但是不限于此。例如構(gòu)成為,針對使用膠囊內(nèi)窺鏡等攝像裝置預(yù)先取得的圖像,CPU進行各部的處理,通過(PU執(zhí)行程序,也可以作為軟件來實現(xiàn)。或者,也可以利用軟件構(gòu)成各部進行的處理的一部分。在獨立于攝像部而作為軟件來實現(xiàn)圖像處理部300的各部進行的處理的情況下,能夠?qū)⒐ぷ髡净騻€人計算機等公知的計算機系統(tǒng)用作圖像處理裝置。而且,也可以預(yù)先準備用于實現(xiàn)圖像處理部300的各部進行的處理的程序(圖像處理程序),通過計算機系統(tǒng)的CPU執(zhí)行該圖像處理程序來實現(xiàn)。圖17是示出本變形例中的計算機系統(tǒng)600的結(jié)構(gòu)的系統(tǒng)結(jié)構(gòu)圖,圖18是示出該計算機系統(tǒng)600中的主體部610的結(jié)構(gòu)的框圖。如圖17所示,計算機系統(tǒng)600具有主體部610、用于根據(jù)來自主體部610的指示而在顯示畫面621中顯示圖像等信息的顯示器620、用于對該計算機系統(tǒng)600輸入各種信息的鍵盤630、用于指定顯示器620的顯示畫面621上的任意位置的鼠標640。并且,如圖18所示,該計算機系統(tǒng)600中的主體部610具有CPU 611、RAM 612、ROM 613、硬盤驅(qū)動器(HDD)614、收納⑶-ROM 660的⑶-ROM驅(qū)動器615、以能夠裝卸的方式與USB存儲器670連接的USB端口 616、連接顯示器620、鍵盤630和鼠標640的I/O接口617、以及用于與局域網(wǎng)或廣域網(wǎng)(LAN/WAN)N1連接的LAN接口 618。進而,在該計算機系統(tǒng)600中連接有用于與因特網(wǎng)等公共線路N3連接的調(diào)制解調(diào)器650,并且,經(jīng)由LAN接口 618和局域網(wǎng)或廣域網(wǎng)NI連接有作為其他計算機系統(tǒng)的個人計算機(PC) 681、服務(wù)器682、打印機683等。而且,該計算機系統(tǒng)600通過讀出在規(guī)定記錄介質(zhì)中記錄的圖像處理程序(例如用于參照圖19 圖22實現(xiàn)后述處理順序的圖像處理程序)并執(zhí)行,實現(xiàn)圖像處理裝置。這里,關(guān)于規(guī)定記錄介質(zhì),除了⑶-ROM 660和USB存儲器670以外,還包括如下的記錄可通過計算機系統(tǒng)600讀取的圖像處理程序的所有記錄介質(zhì)包含MO盤、DVD盤、軟盤(FD)、光磁盤、IC卡等的“可移動用的物理介質(zhì)”;計算機系統(tǒng)600內(nèi)外具有的HDD 614、RAM 612、ROM613等的“固定用的物理介質(zhì)”;如經(jīng)由調(diào)制解調(diào)器650連接的公共線路N3、連接有其他計算機系統(tǒng)(PC)681或服務(wù)器682的局域網(wǎng)或廣域網(wǎng)NI等那樣,在發(fā)送程序時在短期內(nèi)存儲程序的“通信介質(zhì)”等。S卩,圖像處理程序以計算機可讀取的方式記錄在“可移動用的物理介質(zhì)”、“固定用的物理介質(zhì)”、“通信介質(zhì)”等記錄介質(zhì)中,計算機系統(tǒng)600通過從這種記錄介質(zhì)讀出圖像處理程序并執(zhí)行,實現(xiàn)圖像處理裝置。另外,圖像處理程序不限于由計算機系統(tǒng)600執(zhí)行,在其他計算機系統(tǒng)(PC) 681或服務(wù)器682執(zhí)行圖像處理程序的情況下、或者在它們協(xié)作執(zhí)行圖像處理程序的情況下,也能夠同樣應(yīng)用本發(fā)明。作為利用軟件構(gòu)成各部進行的處理的一部分的情況的一例,使用圖19的流程圖說明針對預(yù)先取得的通常光圖像和特殊光圖像、利用軟件實現(xiàn)圖9的輸出圖像生成部340的處理的情況下的處理順序。開始進行該處理后,首先,針對時序的通常光圖像和特殊光圖像,輸入攝影模式或照明光的同步信號等標題(Header)信息(S11)。接著,將特殊光圖像和通常光圖像輸入到預(yù)先確保的圖像緩存中(S12)。然后,如后面參照圖20詳細說明的那樣,從特殊光圖像中檢測應(yīng)該關(guān)注的區(qū)域的候選即關(guān)注候選區(qū)域(S13)。接著,作為各關(guān)注候選區(qū)域的可靠度,計算各關(guān)注區(qū)域候選的面積(S14)。然后,如后面參照圖21詳細說明的那樣,根據(jù)關(guān)注候選區(qū)域的檢測結(jié)果,在特殊光圖像(第2圖像) 內(nèi)選出關(guān)注區(qū)域,進行提高與關(guān)注區(qū)域?qū)?yīng)的通常光圖像(第I圖像)內(nèi)的對應(yīng)關(guān)注區(qū)域的視覺辨認性的顯示方式設(shè)定處理(S15)。接著,輸出決定了顯示方式的圖像信號(S16)。然后,以時序判定最終圖像的處理是否結(jié)束(S17),在判定為沒有結(jié)束的情況下,返回S12,針對下一個圖像信號反復(fù)進行上述處理。另一方面,在判定為全部圖像信號的處理結(jié)束的情況下,結(jié)束該處理。接著,參照圖20對圖19的S13中的關(guān)注候選區(qū)域檢測處理的詳細情況進行說明。開始進行該處理后,首先,對特殊光圖像進行區(qū)域分割(S41)。該情況下,將特殊光圖像分割成矩形區(qū)域。該矩形區(qū)域的尺寸可以適當設(shè)定,但是,這里,例如設(shè)為16X16像素單位。接著,依次提取分割后的局部區(qū)域,如前面的式(3) 式(8)所述的那樣,計算表示疑似病變程度的特征量(S42)。接著,按照每個局部區(qū)域?qū)τ嬎愠龅木植繀^(qū)域的特征量與規(guī)定閾值進行比較,根據(jù)該比較結(jié)果,將各局部區(qū)域分類為多個群組(S43)。然后,檢測包含被分類為多個群組中的至少I個群組的各局部區(qū)域和與該局部區(qū)域相鄰的局部區(qū)域群的區(qū)域,作為關(guān)注候選區(qū)域(S44)。然后,輸出表示是否檢測到關(guān)注候選區(qū)域的標志信息(S45)。接著,參照圖21對圖19的S15中的顯示方式設(shè)定處理的詳細情況進行說明。開始進行該處理后,首先,如后面參照圖22詳細說明的那樣,根據(jù)關(guān)注候選區(qū)域的檢測結(jié)果和可靠度,在特殊光圖像(第2圖像)內(nèi)選出關(guān)注區(qū)域,進行提高與選出的關(guān)注區(qū)域?qū)?yīng)的通常光圖像(第I圖像)內(nèi)的對應(yīng)關(guān)注區(qū)域的視覺辨認性的加工處理(S31)。接著,選擇輸出圖像的顯示方式(S32)。具體而言,選擇從特殊光圖像中檢測到關(guān)注區(qū)域的情況下的輸出圖像。檢測到關(guān)注區(qū)域的情況下的輸出圖像是用戶從特殊光圖像或通過S31加工后的通常光圖像的某一方中預(yù)先選擇出的。接著,參照圖22對圖21的S31中的加工處理的詳細情況進行說明。開始進行該處理后,首先,對檢測到的關(guān)注候選區(qū)域設(shè)定表示應(yīng)該關(guān)注的程度的關(guān)注信息(S51)。這里,根據(jù)在S13中計算出的關(guān)注候選區(qū)域的群組,對各關(guān)注候選區(qū)域設(shè)定關(guān)注信息At。這里,與各群組對應(yīng)的應(yīng)該關(guān)注的程度At預(yù)先設(shè)定為查閱表AtLut (i)。接著,根據(jù)所設(shè)定的關(guān)注信息,設(shè)定特殊光圖像的關(guān)注區(qū)域內(nèi)的像素值與通常光圖像的對應(yīng)關(guān)注區(qū)域內(nèi)的像素值的合成比(S52)。這里,根據(jù)從S51輸入的關(guān)注信息At,如前面的式(9)所述的那樣,計算合成比alpha。alpha為0 I的范圍內(nèi)的值。接著,根據(jù)包含檢測到的關(guān)注候選區(qū)域的特殊光圖像和可靠度,提取關(guān)注區(qū)域,從通常光圖像中選出與關(guān)注區(qū)域?qū)?yīng)的對應(yīng)關(guān)注區(qū)域(S53)。這里,預(yù)先生成將通常光圖像與特殊光圖像的各像素的位置一一對應(yīng)的查閱表calLut (x,y),計算與特殊光圖像的關(guān)注區(qū)域的各像素的坐標(x,y)對應(yīng)的通常光圖像的位置(x’,y’)。然后,從關(guān)注候選區(qū)域中提取具有預(yù)先設(shè)定的閾值以上的可靠度的區(qū)域,作為關(guān)注區(qū)域。并且,這里使與關(guān)注區(qū)域?qū)?yīng)的像素位置一對一,但是,與關(guān)注區(qū)域?qū)?yīng)的像素位置也可以是多個。并且,在與關(guān)注區(qū)域?qū)?yīng)的像素位置為像素與像素之間的情況下,也可以應(yīng)用以線性插值為代表的公知的插值算法。然后,根據(jù)關(guān)注區(qū)域的檢測結(jié)果,對檢測到的通常光圖像內(nèi)的對應(yīng)關(guān)注區(qū)域進行加工(S54)。這里,如前面的式(11)、式(12)所述的那樣,根據(jù)特殊光圖像和通常光圖像生成合成圖像。然后,如前面的式(13)所述的那樣,降低對應(yīng)關(guān)注區(qū)域以外的區(qū)域中包含的像素的亮度(S55)。通過進行這種處理,能夠利用單一圖像顯示通常光圖像和特殊光圖像,所以能夠提供降低醫(yī)生的負擔且抑制病變部的遺漏的內(nèi)窺鏡系統(tǒng)。在以上的本實施方式中,第I圖像取得部(狹義上為通常光圖像取得部320)取得與白色光的波段對應(yīng)的第I圖像(狹義上為白色光圖像),第2圖像取得部(狹義上為特殊光圖像取得部330)取得與特定波段(狹義上為窄帶光或熒光等的波段)對應(yīng)的第2圖像(狹義上為窄帶圖像或熒光圖像等特殊光圖像)。而且,關(guān)注候選區(qū)域檢測部341根據(jù)第2圖像的特征量設(shè)定關(guān)注候選區(qū)域。可靠度計算部342計算可靠度,根據(jù)計算出的可靠度,顯示方式設(shè)定部343進行設(shè)定關(guān)注區(qū)域中的輸出圖像的顯示方式的處理。這里,關(guān)注區(qū)域是對用戶來說觀察的優(yōu)先順序與其他區(qū)域相比相對較高的區(qū)域,例如,在用戶是醫(yī)生且希望進行治療的情況下,關(guān)注區(qū)域是指拍攝了粘膜部或病變部的區(qū)域。并且,作為其他例子,如果醫(yī)生希望觀察的對象是氣泡或糞便,則關(guān)注區(qū)域成為拍攝了該氣泡部分或糞便部分的區(qū)域。即,用戶應(yīng)該關(guān)注的對象由于其觀察目的而不同,但是,無論怎樣,在其觀察時,對用戶來說觀察的優(yōu)先順序與其他區(qū)域相比相對較高的區(qū)域成為關(guān)注區(qū)域。關(guān)注候選區(qū)域是作為關(guān)注區(qū)域的候選的區(qū)域??煽慷仁潜硎娟P(guān)注候選區(qū)域是關(guān)注區(qū)域的確定程度的尺度,例如使用關(guān)注候選區(qū)域的面積等。
由此,在取得通常光圖像(白色光圖像)和特殊光圖像(窄帶圖像或熒光圖像等)后,能夠在特殊光圖像中設(shè)定關(guān)注候選區(qū)域。而且,根據(jù)可靠度,從關(guān)注候選區(qū)域設(shè)定關(guān)注區(qū)域,通過設(shè)定關(guān)注區(qū)域中的顯示方式(例如接近目標顏色等),與沒有可靠度的情況相比,能夠提聞關(guān)注區(qū)域的精度(例如可罪地捕捉病變部作為關(guān)注區(qū)域的精度等),而且,能夠提高關(guān)注區(qū)域的視覺辨認性。由此,例如在內(nèi)窺鏡中使用通常光和特殊光對活體內(nèi)進行觀察的情況下,能夠利用特殊光觀察可靠地捕捉在通常光中很難視覺辨認的病變部,而且,與不使用本實施方式的方法的情況相比,能夠以視覺辨認性高的方式顯示包含該病變部的區(qū)域,能夠減輕醫(yī)生的負擔,抑制病變部的遺漏。并且,顯示方式設(shè)定部343設(shè)定與第2圖像的關(guān)注區(qū)域?qū)?yīng)的第I圖像內(nèi)的對應(yīng)關(guān)注區(qū)域,進行提高所設(shè)定的對應(yīng)關(guān)注區(qū)域的視覺辨認性的顯示方式設(shè)定處理。這里,對應(yīng)關(guān)注區(qū)域是第I圖像內(nèi)的區(qū)域,是在位置上與第2圖像內(nèi)的關(guān)注區(qū)域?qū)?yīng)的區(qū)域。例如在由于攝像元件的差異而在第I圖像和第2圖像中使圖像位置偏移的情況下,進行適當?shù)男侍幚砗笤O(shè)定對應(yīng)關(guān)注區(qū)域。由此,能夠設(shè)定與在第2圖像中設(shè)定的關(guān)注區(qū)域?qū)?yīng)的第I圖像內(nèi)的對應(yīng)關(guān)注區(qū)域。具體而言,例如能夠適當?shù)恼莆张c利用特殊光圖像檢測到的病變部對應(yīng)的第I圖像內(nèi)的位置。而且,與未加工的第I圖像相比,通過提高對應(yīng)關(guān)注區(qū)域的視覺辨認性,能夠抑制對應(yīng)關(guān)注區(qū)域的遺漏(具體而言為病變部的遺漏)。并且,顯示方式設(shè)定部343包括根據(jù)可靠度和從第2圖像得到的關(guān)注候選區(qū)域信息對第I圖像進行加工的加工部3431,設(shè)由加工部3431加工后的第I圖像為輸出圖像的方式。由此,作為輸出圖像,例如能夠選擇對通常光圖像進行加工后的圖像。具體而言,例如考慮如下的加工如后述圖26 (C)所示使關(guān)注區(qū)域接近給定目標顏色,或者如后述圖
26(D)所示利用目標顏色包圍關(guān)注區(qū)域的周緣。通過這種加工,能夠提高視覺辨認性,減輕醫(yī)生的負擔,抑制病變部的遺漏。并且,在可靠度高的情況下,加工部3431進行提高第I圖像內(nèi)的對應(yīng)關(guān)注區(qū)域的視覺辨認性的加工處理。這里,例如考慮通過與給定閾值進行比較等來判斷可靠度的高低。
由此,在可靠度高的情況下(具體而言,例如確定關(guān)注候選區(qū)域是病變部的情況下),進行提高第I圖像內(nèi)的對應(yīng)關(guān)注區(qū)域的視覺辨認性的加工,能夠抑制病變部的遺漏等。并且,作為加工處理,加工部3431進行第I圖像和第2圖像的合成處理。由此,通過合成處理,能夠提高第I圖像內(nèi)的對應(yīng)關(guān)注區(qū)域的視覺辨認性。具體而言,進行混合通常光圖像和特殊光圖像的處理。并且,加工部3431包括區(qū)域選出部34313。區(qū)域選出部34313根據(jù)可靠度,從由關(guān)注候選區(qū)域檢測部341檢測到的關(guān)注候選區(qū)域中選出關(guān)注區(qū)域。由此,能夠?qū)⒖煽慷茸鳛槌叨龋瑥年P(guān)注候選區(qū)域中選出關(guān)注區(qū)域。如上所述,作為可靠度,考慮區(qū)域的面積、色相、彩度、亮度等或它們的組合。由此,具體而言,能夠根據(jù)面積的大小、色相、彩度、亮度的值等多種觀點選出關(guān)注區(qū)域。并且,可靠度計算部342也可以根據(jù)關(guān)注候選區(qū)域的面積計算可靠度。由此,檢測面積大的區(qū)域作為關(guān)注區(qū)域,由于面積小的區(qū)域不檢測為關(guān)注區(qū)域,所以能夠減輕噪聲的影響。并且,可靠度計算部342也可以根據(jù)關(guān)注候選區(qū)域內(nèi)的像素的特征量計算可靠 度。由此,除了面積以外,還能夠根據(jù)色相、亮度、彩度等各種觀點計算可靠度。并且,關(guān)注候選區(qū)域檢測部341包括將第2圖像分割成規(guī)定局部區(qū)域的局部區(qū)域設(shè)定部3411、以及使用局部區(qū)域內(nèi)的像素計算每個局部區(qū)域的特征量的特征量計算部3412,根據(jù)每個局部區(qū)域的特征量檢測關(guān)注候選區(qū)域。由此,按照每個局部區(qū)域計算特征量,檢測關(guān)注候選區(qū)域。作為局部區(qū)域,例如如圖13所示,如果采用16像素X 16像素的區(qū)域,則與利用I個像素單位進行計算的情況相t匕,能夠削減計算量。并且,由于利用16X16單位設(shè)定區(qū)域,所以比局部區(qū)域小的病變不容易被檢測為關(guān)注候選區(qū)域,能夠減輕噪聲的影響。并且,關(guān)注候選區(qū)域檢測部341也可以包括將第I圖像分割成規(guī)定局部區(qū)域的局部區(qū)域設(shè)定部3411、以及使用與局部區(qū)域內(nèi)的像素對應(yīng)的第2圖像的像素計算每個局部區(qū)域的特征量的特征量計算部3412,從第I圖像中檢測應(yīng)該關(guān)注的區(qū)域的候選即關(guān)注候選區(qū)域。由此,能夠在第I圖像中設(shè)定關(guān)注候選區(qū)域,能夠提高處理的靈活性。
并且,關(guān)注候選區(qū)域檢測部341包括分類部3413,該分類部3413按照每個局部區(qū)域?qū)植繀^(qū)域的特征量與給定閾值進行比較,并將各局部區(qū)域分類成多個群組。而且,關(guān)注候選區(qū)域檢測部341檢測包含被分類為至少I個群組的各局部區(qū)域和與該局部區(qū)域相鄰的局部區(qū)域群的區(qū)域,作為關(guān)注候選區(qū)域。由此,在將各局部區(qū)域分類為群組后,在對相鄰的局部區(qū)域進行合并后,能夠檢測關(guān)注候選區(qū)域。并且,能夠利用群組對關(guān)注候選區(qū)域進行分類,所以能夠按照每個群組具有不同的信息或進行不同的處理。并且,關(guān)注候選區(qū)域檢測部341也可以根據(jù)第2圖像中包含的像素的特征量,檢測關(guān)注像素,并將包含檢測到的關(guān)注像素的區(qū)域檢測為關(guān)注候選區(qū)域。由此,不設(shè)定局部區(qū)域,能夠進行像素単位的處理。也可以采用省略局部區(qū)域設(shè)定部3411的結(jié)構(gòu),在剰余部分中進行按照每個局部區(qū)域、每個像素的某一方的處理。在按照每個像素進行處理的情況下,可以認為局部區(qū)域設(shè)定部3411設(shè)定IX I的局部區(qū)域。這里, 關(guān)注像素是應(yīng)該關(guān)注的像素,在關(guān)注區(qū)域的定義中,如上所述例如是構(gòu)成病變部等的像素。并且,關(guān)注候選區(qū)域也可以是包含關(guān)注像素和非關(guān)注像素的區(qū)域。具體而言,也可以以形成規(guī)定圖形(多邊形、圓形、橢圓形、弧、梯形、點對稱或線對稱的圖形等)的方式對非關(guān)注像素進行選擇。由此,在以像素單位進行處理的情況下,也能夠抑制關(guān)注候選區(qū)域的形狀變得復(fù)雜,能夠提高視覺辨認性。這里,非關(guān)注像素是第2圖像所包含的像素中的未被檢測為關(guān)注像素的像素。并且,選擇非關(guān)注像素是作為構(gòu)成關(guān)注候選區(qū)域的像素而從非關(guān)注像素中選擇出的像素。并且,在可靠度高的情況下,加工部3431進行提高第I圖像內(nèi)的對應(yīng)關(guān)注區(qū)域的視覺辨認性的合成處理。這里,例如考慮通過與給定閾值進行比較等來判斷可靠度的高低。由此,在可靠度高的情況下(具體而言,例如確定關(guān)注候選區(qū)域是病變部的情況下),進行提高第I圖像內(nèi)的對應(yīng)關(guān)注區(qū)域的視覺辨認性的合成處理,能夠抑制病變部的遺漏等。并且,加工部3431包括區(qū)域選出部34313,區(qū)域選出部34313根據(jù)可靠度從關(guān)注候選區(qū)域中選出關(guān)注區(qū)域。進而,選出與關(guān)注區(qū)域?qū)?yīng)的第I圖像內(nèi)的對應(yīng)關(guān)注區(qū)域。然后,加工部3431對對應(yīng)關(guān)注區(qū)域進行合成處理。由此,能夠適當?shù)剡x出與關(guān)注區(qū)域?qū)?yīng)的對應(yīng)關(guān)注區(qū)域。而且,通過對對應(yīng)關(guān)注區(qū)域進行合成處理,能夠?qū)m當?shù)膮^(qū)域(例如檢測為病變的區(qū)域)進行合成處理,例如能夠抑制病變的遺漏等。并且,加工部3431包括關(guān)注信息設(shè)定部34311和合成比設(shè)定部34312。這里,關(guān)注信息設(shè)定部343 11針對各關(guān)注候選區(qū)域設(shè)定表示應(yīng)該關(guān)注的程度的關(guān)注信息。合成比設(shè)定部34312設(shè)定第I圖像與第2圖像的合成比。然后,加工部3431根據(jù)由合成比設(shè)定部34312設(shè)定的合成比,進行合成處理。由此,能夠根據(jù)應(yīng)該關(guān)注的程度來改變合成比,例如如圖16 (A)、圖16 (B)所示,實施更應(yīng)該關(guān)注的病變部的特殊光圖像的比例増大、關(guān)注度低的病變部的通常光圖像的比例増大這樣的處理。具體而言,在病變部是由褐色顯示的扁平上皮癌等的情況下,在應(yīng)該關(guān)注的病變部中,褐色的比例増大,能夠容易地判斷只要關(guān)注哪里即可。
并且,特定波段是比白色光的波段窄的波段。具體而言,第I圖像和第2圖像例如是活體內(nèi)圖像,特定波段例如是被血液中的血紅蛋白吸收的波長的波段。更具體而言為390nm 445nm 或 530nm 550nm 的波段。由此,能夠觀察活體的表層部和位于深部的血管的構(gòu)造。并且,通過將所得到的信號輸入特定通道(R、G、B),能夠利用褐色等顯示扁平上皮癌等的在通常光中很難視覺辨認的病變等,能夠抑制病變部的遺漏。另外,390nm 445nm或530nm 550nm是根據(jù)被血紅蛋白吸收這樣的特性和分別到達活體的表層部或深部這樣的特性而得到的數(shù)字。但是,該情況下的波段不限于此,例如由干與基于血紅蛋白的吸收和到達活體的表層部或深部有關(guān)的實驗結(jié)果等的變動原因,考慮波段的下限值減少O 10%左右,上限值上升O 10%左右。并且,本實施方式還能夠應(yīng)用于包含圖像處理裝置(圖像處理部)的電子設(shè)備。例如,除了內(nèi)窺鏡以外,本實施方式的圖像處理裝置還能夠搭載于數(shù)字照相機、數(shù)字攝像機、個人計算機等各種類型的電子設(shè)備(以電壓、電流等動カ源進行動作的設(shè)備)。并且,本實施方式也可以是內(nèi)窺鏡系統(tǒng),該內(nèi)窺鏡系統(tǒng)包括第I光源、第2光源、第I圖像取得部(狹義上為通常光圖像取得部320)、第2圖像取得部(狹義上為特殊光圖像取得部330)、關(guān)注候選區(qū)域檢測部341、可靠度計算部342、顯示方式設(shè)定部343、顯示部400。第I光源對活體內(nèi)的被攝體照射白色光,第2光源對活體內(nèi)的被攝體照射特定波段的光(例如用于產(chǎn)生窄帶光或熒光的激勵光)。第I圖像取得部通過第I光源的照射,取得包含具有白色光波段中的信息的被攝體像的圖像作為第I活體內(nèi)圖像,第2圖像取得部通過第2光源的照射,取得包含具有特定波段中的信息的被攝體像的圖像作為第2活體內(nèi)圖像。關(guān)注候選區(qū)域檢測部341根據(jù)第2活體內(nèi)圖像的像素的特征量檢測關(guān)注區(qū)域的候選即關(guān)注候選區(qū)域??煽慷扔嬎悴?42計算表示關(guān)注候選區(qū)域是關(guān)注區(qū)域的確定程度的可靠度。顯示方式設(shè)定部343進行根據(jù)可靠度設(shè)定輸出圖像的顯示方式的處理。顯示部400按照所設(shè)定的顯示方式顯示輸出圖像。由此,得到基于白色光源和基于特定波段的光的2張活體內(nèi)圖像。然后,計算所得到的圖像內(nèi)的第2活體內(nèi)圖像的像素的特征量,能夠檢測關(guān)注區(qū)域(具體而言例如為病變部的區(qū)域)的候選即關(guān)注候選區(qū)域。進而,根據(jù)由可靠度計算部342計算出的可靠度,從關(guān)注候選區(qū)域中選出關(guān)注區(qū)域,由此,能夠進行精度更高(具體而言為確定是病變部)的區(qū)域選出,然后,能夠設(shè)定輸出圖像的顯示方式。通過按照所決定的顯示方式在顯示部400中進行顯示,能夠?qū)ο到y(tǒng)利用者(具體而言為醫(yī)生)提示信息。并且,本實施方式也可以是圖像處理裝置,該圖像處理裝置包括第I圖像取得部、第2圖像取得部、關(guān)注區(qū)域檢測部、顯示方式設(shè)定部343。第I圖像取得部取得包含具有白色光波段中的信息的被攝體像的圖像作為第I圖像,第2圖像取得部取得包含具有特定波段中的信息的被攝體像的圖像作為第2圖像。關(guān)注區(qū)域檢測部根據(jù)第2圖像內(nèi)的像素的特征量檢測應(yīng)該關(guān)注的區(qū)域即關(guān)注區(qū)域。顯示方式設(shè)定部343進行在與關(guān)注區(qū)域?qū)?yīng)的輸出圖像的對應(yīng)關(guān)注區(qū)域中顯示警告區(qū)域的處理,該警告區(qū)域發(fā)出與關(guān)注區(qū)域的檢測結(jié)果有關(guān)的信息。由此,取得第I圖像和第2圖像,根據(jù)第2圖像內(nèi)的像素的特征量,能夠從第2圖像中檢測關(guān)注區(qū)域。然后,從輸出圖像中檢測與關(guān)注區(qū)域?qū)?yīng)的對應(yīng)關(guān)注區(qū)域,顯示警告區(qū)域。由此,與直接顯示第I圖像的情況相比,能夠提高與關(guān)注區(qū)域(具體而言例如為病變部的區(qū)域)對應(yīng)的對應(yīng)關(guān)注區(qū)域的視覺辨認性。另外,這里的警告區(qū)域可以是如上所述通過優(yōu)先度選出的區(qū)域,也可以是與優(yōu)先度無關(guān)的區(qū)域。并且,本實施方式也可以是程序,該程序使計算機作為第I圖像取得部、第2圖像取得部、關(guān)注候選區(qū)域檢測部341、可靠度計算部342、顯示方式設(shè)定部343發(fā)揮功能。第I圖像取得部取得包含具有白色光波段中的信息的被攝體像的圖像作為第I圖像,第2圖像取得部取得包含具有特定波段中的信息的被攝體像的圖像作為第2圖像。關(guān)注候選區(qū)域檢測部341根據(jù)第2圖像內(nèi)的像素的特征量,從第2圖像中檢測關(guān)注區(qū)域的候選即關(guān)注候選區(qū)域??煽慷扔嬎悴?42計算表示關(guān)注候選區(qū)域是關(guān)注區(qū)域的確定程度的可靠度。顯示方式設(shè)定部343進行根據(jù)可靠度設(shè)定輸出圖像的顯示方式的處理。由此,例如如膠囊型內(nèi)窺鏡等那樣,首先,蓄積圖像數(shù)據(jù),然后,能夠利用PC等計
算機系統(tǒng)以軟件方式對所蓄積的圖像數(shù)據(jù)進行處理。并且,本實施方式也可以是程序,該程序使計算機作為第I圖像取得部、第2圖像取得部、關(guān)注區(qū)域檢測部、顯示方式設(shè)定部343發(fā)揮功能。第I圖像取得部取得包含具有白色光波段中的信息的被攝體像的圖像作為第I圖像,第2圖像取得部取得包含具有特定波段中的信息的被攝體像的圖像作為第2圖像。關(guān)注區(qū)域檢測部根據(jù)第2圖像內(nèi)的像素的特征量檢測應(yīng)該關(guān)注的區(qū)域即關(guān)注區(qū)域。顯示方式設(shè)定部343進行在與關(guān)注區(qū)域?qū)?yīng)的輸出圖像的對應(yīng)關(guān)注區(qū)域中顯示警告區(qū)域的處理,該警告區(qū)域發(fā)出與關(guān)注區(qū)域的檢測結(jié)果有關(guān)的信息。由此,例如如膠囊型內(nèi)窺鏡等那樣,首先,蓄積圖像數(shù)據(jù),然后,能夠利用PC等計算機系統(tǒng)以軟件方式對所蓄積的圖像數(shù)據(jù)進行處理。并且,本實施方式還能夠應(yīng)用于記錄有實現(xiàn)本實施方式的各部(第I圖像取得部、第2圖像取得部、關(guān)注候選區(qū)域檢測部、可靠度計算部、顯示方式設(shè)定部、加工部等)的程序代碼的計算機程序產(chǎn)品。這里,程序代碼實現(xiàn)第I圖像取得部,其取得包含具有白色光波段中的信息的被攝體像的圖像,作為第I圖像;第2圖像取得部,其取得包含具有特定波段中的信息的被攝體像的圖像,作為第2圖像;關(guān)注候選區(qū)域檢測部,其根據(jù)所述第2圖像內(nèi)的像素的特征量,從所述第2圖像中檢測應(yīng)該關(guān)注的區(qū)域的候選即關(guān)注候選區(qū)域;以及顯示方式設(shè)定部,其根據(jù)計算出的所述可靠度,進行設(shè)定輸出圖像的顯示方式的處理。并且,計算機程序產(chǎn)品例如是記錄有程序代碼的信息存儲介質(zhì)(DVD等光盤介質(zhì)、硬盤介質(zhì)、存儲器介質(zhì)等)、記錄有程序代碼的計算機、記錄有程序代碼的因特網(wǎng)系統(tǒng)(例如包含服務(wù)器和客戶終端的系統(tǒng))等編入程序代碼的信息存儲介質(zhì)、裝置、設(shè)備或系統(tǒng)等。該情況下,本實施方式的各結(jié)構(gòu)要素和各處理過程通過各模塊安裝,由這些所安裝的模塊構(gòu)成的程序代碼記錄在計算機程序產(chǎn)品中。3.第2實施方式對本發(fā)明的第2實施方式進行說明。除了關(guān)注候選區(qū)域檢測部341和加工部3431以外的部分與第I實施方式相同。關(guān)注候選區(qū)域檢測部341根據(jù)控制部350的控制,從特殊光圖像中檢測應(yīng)該關(guān)注的區(qū)域的候選即關(guān)注候選區(qū)域。對關(guān)注候選區(qū)域檢測部341的具體結(jié)構(gòu)進行說明。圖23是說明第2實施方式中的關(guān)注候選區(qū)域檢測部341的結(jié)構(gòu)的一例的框圖。如圖23所示,關(guān)注候選區(qū)域檢測部341具有局部區(qū)域設(shè)定部3411、特征量計算部3412、區(qū)域設(shè)定部3414。這里,特殊光圖像取得部330與局部區(qū)域設(shè)定部3411連接。局部區(qū)域設(shè)定部3411與特征量計算部3412連接。特征量計算部3412與區(qū)域設(shè)定部3414連接。區(qū)域設(shè)定部3414與可靠度計算部342和顯示方式設(shè)定部343連接。并且,控制部350與局部區(qū)域設(shè)定部3411、特征量計算部3412、區(qū)域設(shè)定部3414雙向連接,并對它們進行控制。與第I實施方式同樣,局部區(qū)域設(shè)定部3411針對特殊光圖像設(shè)定多個局部區(qū)域。特征量計算部3412針對所有的局部區(qū)域計算特征量。這里,與第I實施方式同樣利用色相。接著,區(qū)域設(shè)定部3414使用針對所有局部區(qū)域計算出的色相H進行閾值處理,設(shè)定關(guān)注候選區(qū)域。這里,由于將褐色的區(qū)域設(shè)定為關(guān)注區(qū)域,所以例如只要提取色相H為5 35的范圍內(nèi)的局部區(qū)域即可。進而,區(qū)域設(shè)定部3414進行在提取出的局部區(qū)域彼此之間對相鄰的局部區(qū)域進 行合并的處理,設(shè)處理結(jié)果所得到的各區(qū)域為關(guān)注候選區(qū)域(在ー個局部區(qū)域的情況下也設(shè)為關(guān)注候選區(qū)域)。根據(jù)關(guān)注候選區(qū)域中包含的局部區(qū)域a (m,η)的坐標和各局部區(qū)域包含的像素的信息,計算關(guān)注候選區(qū)域中包含的所有像素的位置,將其作為關(guān)注候選區(qū)域信息,輸出到可靠度計算部342和顯示方式設(shè)定部343。并且,區(qū)域設(shè)定部3414還可以重新設(shè)定關(guān)注候選區(qū)域信息,以使得所輸出的關(guān)注區(qū)域信息示出多邊形或圓形等任意形狀。作為例子,示出圖15 (Α)、圖15 (B)。圖15 (Α)、圖15 (B)示出特殊光圖像,虛線所包圍的ー個ー個的區(qū)域表示局部區(qū)域。在圖15 (A)中,在希望使與關(guān)注候選區(qū)域I對應(yīng)的關(guān)注候選區(qū)域的形狀為四邊形的情況下,首先,根據(jù)屬于關(guān)注候選區(qū)域I的局部區(qū)域a (m, η)的坐標和各局部區(qū)域包含的像素的信息,計算關(guān)注候選區(qū)域I中包含的所有像素的位置。進而,再次設(shè)定與這些像素的集合外接的四邊形作為關(guān)注候選區(qū)域,計算所設(shè)定的關(guān)注候選區(qū)域中包含的所有像素的位置,作為與關(guān)注候選區(qū)域I對應(yīng)的關(guān)注候選區(qū)域信息進行輸出即可。通過進行這種處理,能夠?qū)㈥P(guān)注候選區(qū)域重新設(shè)定成圖15 (B)所示的易于視覺辨認的形狀。由此,能夠防止關(guān)注候選區(qū)域成為復(fù)雜的形狀,能夠提高視覺辨認性。并且,這里,也可以代替色相H使用公知的方法計算局部區(qū)域的平均亮度或彩度,將這些值作為特征量來檢測關(guān)注候選區(qū)域。進而,當然也可以通過任意地組合這些亮度、色相、彩度的信息,計算I個特征量來檢測關(guān)注候選區(qū)域。接著,對加工部3431的具體結(jié)構(gòu)進行說明。圖24是說明第2實施方式中的加工部3431的結(jié)構(gòu)的一例的框圖。如圖24所示,加工部3431具有區(qū)域選出部34313、區(qū)域加工部34314、亮度轉(zhuǎn)換部34315。區(qū)域選出部34313根據(jù)從關(guān)注候選區(qū)域檢測部341輸入的關(guān)注候選區(qū)域信息和從可靠度計算部342輸入的可靠度,選出關(guān)注區(qū)域。具體而言,首先,從關(guān)注候選區(qū)域中提取具有預(yù)先設(shè)定的閾值以上的可靠度的區(qū)域。例如在將可靠度為I的關(guān)注候選區(qū)域檢測為關(guān)注區(qū)域時,在圖15(A)中,僅將屬于關(guān)注候選區(qū)域I的局部區(qū)域檢測為關(guān)注區(qū)域。通過進行這種處理,能夠?qū)⑽⑿∶娣e的關(guān)注候選區(qū)域作為噪聲排除,能夠選出可靠度高的關(guān)注區(qū)域。并且,設(shè)定與選出的關(guān)注區(qū)域?qū)?yīng)的第I圖像內(nèi)的區(qū)域作為對應(yīng)關(guān)注區(qū)域。然后,輸出對應(yīng)關(guān)注區(qū)域的像素的信息作為對應(yīng)關(guān)注區(qū)域信息。
區(qū)域加工部34314例如針對通常光圖像中的作為對應(yīng)關(guān)注區(qū)域信息而輸入的像素,使用以下的式(14) (16)進行顏色轉(zhuǎn)換處理。這里,r (x,y)、g (x,y)、b (x,y)是顏色轉(zhuǎn)換前的通常光圖像的坐標(X,y)中的R、G、B通道的信號值,r_out (x, y)、g_out (x,y)、b_out (x,y)是顏色轉(zhuǎn)換后的通常光圖像的R、G、B通道的信號值。并且,T_r、T_g、T_b是任意目標顏色的R、G、B /[目號值,gain是O I的任意系數(shù)。r_out (x, y) =gain*r (x, y) + (1-gain) *T_r...... (14)g_out (x, y) =gain*g (x, y) + (1-gain) *T_g...... (15)b_out (x, y) =gain*b (x, y) + (1-gain) *T_b...... (16)通過進行這種處理,觀察圖26 (B)所示的特殊光圖像時懷疑為病變部的關(guān)注區(qū)域 如圖26 (C)所示,在通常光圖像中顯示為顔色不同的區(qū)域,在使用通常光圖像和特殊光圖像進行診斷時,能夠降低醫(yī)生的負擔,并且能夠抑制病變部的遺漏。并且,區(qū)域加工部34314例如針對通常光圖像中的構(gòu)成對應(yīng)關(guān)注區(qū)域的邊界的所有像素,也可以使用以下的式(17) (19)進行顏色轉(zhuǎn)換處理。r_out (x, y) =T_r...... (17)g_out (x, y) =T_g...... (18)b_out (x, y) =T_b...... (19)通過進行這種處理,如圖26 (D)所示,在通常光圖像中,對應(yīng)關(guān)注區(qū)域顯示為由任意目標顏色包圍的部分。亮度轉(zhuǎn)換部34315例如針對通常光圖像中的對應(yīng)關(guān)注區(qū)域中未包含的所有像素,也可以進行以下的式(20) (22)的亮度轉(zhuǎn)換處理。r_out (x, y) =gain*r (x, y) ...... (20)g_out (x,y)=gain*g (x, y) ...... (21)b_out (x, y) =gain*b (x, y) ...... (22)通過進行這種處理,如圖26 (E)所示,通過使通常光圖像中的對應(yīng)關(guān)注區(qū)域中未包含的區(qū)域變暗,能夠?qū)?yīng)關(guān)注區(qū)域顯示為相對明亮的部分。接著,對根據(jù)優(yōu)先度設(shè)定警告區(qū)域情況下的加工部3431的具體結(jié)構(gòu)進行說明。圖25是說明設(shè)定警告區(qū)域的情況下的加工部3431的結(jié)構(gòu)的一例的框圖。如圖25所示,加工部3431具有區(qū)域選出部34313、區(qū)域加工部34314、亮度轉(zhuǎn)換部34315。區(qū)域選出部34313根據(jù)從關(guān)注候選區(qū)域檢測部341輸入的關(guān)注候選區(qū)域信息和從可靠度計算部342輸入的可靠度,選出關(guān)注區(qū)域。然后,設(shè)定與選出的關(guān)注區(qū)域?qū)?yīng)的第I圖像內(nèi)的區(qū)域作為對應(yīng)關(guān)注區(qū)域。進而,根據(jù)關(guān)注區(qū)域和從優(yōu)先度設(shè)定部345(包含在輸出圖像生成部340中。圖9中未圖示)輸入的優(yōu)先度,設(shè)定警告區(qū)域。然后,輸出警告區(qū)域的像素的信息作為警告區(qū)域信息。這里,優(yōu)先度表示應(yīng)該優(yōu)先顯示的程度,例如根據(jù)可靠度、像素的特征量、應(yīng)該關(guān)注的程度等進行設(shè)定。另外,應(yīng)該關(guān)注的程度是在第I實施方式的關(guān)注信息設(shè)定部34311中設(shè)定的信息。區(qū)域選出部34313保持與警告區(qū)域的上限數(shù)有關(guān)的信息。在預(yù)測為警告區(qū)域的數(shù)量超過上限數(shù)的情況下,不將超過上限數(shù)的關(guān)注區(qū)域設(shè)定為警告區(qū)域。由此,能夠抑制醫(yī)生在一次識別時顯示數(shù)量過多的區(qū)域的情況。
區(qū)域加工部34314進行上述式(14) (19)的顔色轉(zhuǎn)換處理。并且,保持與警告區(qū)域的加工處理的優(yōu)先度有關(guān)的信息。而且,在存在多個警告區(qū)域的情況下,從優(yōu)先度高的警告區(qū)域起依次進行加工處理。并且,加工部3431不限于所述處理,當然可以使用任意的亮度轉(zhuǎn)換或顏色轉(zhuǎn)換處理,對通常光圖像的對應(yīng)關(guān)注區(qū)域進行加工。進而,加工部3431不僅對通常光圖像內(nèi)的對應(yīng)關(guān)注區(qū)域?qū)嵤╊伾D(zhuǎn)換或亮度轉(zhuǎn)換,如圖26 (F)所示,還可以在通常光圖像附近顯示關(guān)注區(qū)域的部分的特殊光圖像。并且,也可以將關(guān)注區(qū)域的部分的特殊光圖像置換為對應(yīng)關(guān)注區(qū)域的部分的通常光圖像來進行顯不O并且,在本實施方式中,構(gòu)成圖像處理部300的各部由硬件構(gòu)成,但是不限于此。例如構(gòu)成為,針對使用膠囊內(nèi)窺鏡等攝像裝置預(yù)先取得的圖像,CPU進行各部的處理,通過 (PU執(zhí)行程序,也可以作為軟件來實現(xiàn)。或者,也可以利用軟件構(gòu)成各部進行的處理的一部分。該情況下,除了圖19的關(guān)注候選區(qū)域檢測步驟(S13)和圖21的加工步驟(S31)以外的步驟與第I實施方式相同。參照圖27對圖19的S13中的關(guān)注候選區(qū)域檢測處理的詳細情況進行說明。開始進行該處理后,首先,將特殊光圖像(第2圖像)分割成局部區(qū)域(S21)。該情況下,將特殊光圖像分割成矩形區(qū)域。該矩形區(qū)域的尺寸可以適當設(shè)定,但是,這里例如設(shè)為16X16像
素單位。接著,依次提取分割后的局部區(qū)域,如前面的式(3) (8)所述的那樣,計算表示疑似病變程度的特征量(S22 )。接著,按照每個局部區(qū)域?qū)τ嬎愠龅木植繀^(qū)域的特征量和給定閾值進行比較,提取滿足閾值條件的各局部區(qū)域。在滿足條件的局部區(qū)域相鄰的情況下,對它們進行合并而生成局部區(qū)域群,檢測包含該局部區(qū)域群(包括ー個局部區(qū)域的情況)的區(qū)域作為關(guān)注候選區(qū)域(S23)。然后,輸出表示是否檢測到關(guān)注候選區(qū)域的標志信息(S24)。接著,參照圖28對圖21的S31中的加工處理的詳細情況進行說明。開始進行該處理后,首先,從檢測到的關(guān)注候選區(qū)域中選出可靠度高于給定閾值的區(qū)域作為關(guān)注區(qū)域,從通常光圖像中提取與關(guān)注區(qū)域?qū)?yīng)的對應(yīng)關(guān)注區(qū)域(S33)。然后,根據(jù)關(guān)注區(qū)域的檢測結(jié)果,進行提高與檢測到的特殊光圖像內(nèi)的關(guān)注區(qū)域?qū)?yīng)的通常光圖像內(nèi)的對應(yīng)關(guān)注區(qū)域的視覺辨認性的加工。這里,可以如前面的式(14)
(16)所述的那樣,進行使對應(yīng)關(guān)注區(qū)域全體接近給定目標顏色的處理,也可以如前面的式
(17) (19)所述的那樣,進行利用目標顏色包圍對應(yīng)關(guān)注區(qū)域的周緣的處理(S34)。然后,如前面的式(20) (22)所述的那樣,也可以進行降低對應(yīng)關(guān)注區(qū)域以外的區(qū)域中包含的像素的亮度的處理(S35)。通過進行這種處理,觀察圖26 (B)所示的特殊光圖像時懷疑為病變部的關(guān)注區(qū)域如圖26 (C)所示,在通常光圖像中重疊顯示為顏色不同的區(qū)域。并且,在進行了 S35的處理的情況下,如圖26 (E)所示,較暗地顯示警告區(qū)域以外的區(qū)域。由此,在使用通常光圖像和特殊光圖像進行診斷吋,能夠降低醫(yī)生的負擔,并且,能夠抑制病變部的遺漏。接著,參照圖29對在圖21的S31的加工處理中根據(jù)優(yōu)先度設(shè)定警告區(qū)域的情況進行說明。開始進行該處理后,首先,從檢測到的關(guān)注候選區(qū)域中選出可靠度高于給定閾值的區(qū)域作為關(guān)注區(qū)域,從通常光圖像中提取與關(guān)注區(qū)域?qū)?yīng)的對應(yīng)關(guān)注區(qū)域(S36)。進而,從提取出的關(guān)注區(qū)域中按照優(yōu)先度從高到低的順序進行提取。要提取的關(guān)注區(qū)域的數(shù)量由用戶預(yù)先設(shè)定。設(shè)提取出的關(guān)注區(qū)域為警告區(qū)域(S37)。S38的顔色轉(zhuǎn)換處理與圖28的S34相同,S39的亮度轉(zhuǎn)換處理與圖28的S35相同。如上所述,在本實施方式中,作為加工處理,加工部3431進行轉(zhuǎn)換處理。由此,通過轉(zhuǎn)換處理,能夠提高第I圖像內(nèi)的對應(yīng)關(guān)注區(qū)域的視覺辨認性。這里,轉(zhuǎn)換處理考慮顏色轉(zhuǎn)換處理和亮度轉(zhuǎn)換處理。詳細情況在后面敘述。并且,作為加工處理,加工部3431也可以進行將關(guān)注區(qū)域的部分的圖像與第I圖像相關(guān)聯(lián)的處通。
由此,通過關(guān)聯(lián),能夠提高第I圖像內(nèi)的對應(yīng)關(guān)注區(qū)域的視覺辨認性。這里,所謂關(guān)聯(lián),考慮如下處理等具體而言,在第I圖像的附近顯示關(guān)注區(qū)域的部分圖像,或者利用第2圖像的關(guān)注區(qū)域的部分圖像置換第I圖像的對應(yīng)關(guān)注區(qū)域的部分圖像。詳細情況在后面敘述。并且,區(qū)域選出部34313也可以根據(jù)優(yōu)先度,從關(guān)注區(qū)域中選出警告區(qū)域。由此,能夠根據(jù)與可靠度不同的觀點(根據(jù)情況,根據(jù)同一觀點再次進行選出處理)進行選出處理,能夠選出更加符合目的的區(qū)域。這里,優(yōu)先度可以根據(jù)可靠度、像素的特征量和應(yīng)該關(guān)注的程度中的至少ー個信息進行設(shè)定。由此,作為區(qū)域選出的尺度,可靠度自不必說,還能夠采用像素的特征量(例如彩度/亮度)、應(yīng)該關(guān)注的程度(詳細情況與后述的關(guān)注信息設(shè)定部34311相關(guān)聯(lián)地進行說明),能夠根據(jù)多種觀點選出區(qū)域。并且,區(qū)域選出部34313也可以保持與警告區(qū)域的上限數(shù)有關(guān)的信息,在預(yù)測為警告區(qū)域超過上限數(shù)的情況下,不設(shè)定上限數(shù)以上的數(shù)量的警告區(qū)域。由此,能夠抑制顯示必要以上的數(shù)量(例如醫(yī)生很難一次掌握的數(shù)量)的警告區(qū)域的情況,能夠?qū)崿F(xiàn)順暢的利用(例如診斷/治療)。并且,加工部3431包括區(qū)域加工部34314。區(qū)域加工部34314也可以保持與警告區(qū)域的加工處理的優(yōu)先度有關(guān)的信息,從優(yōu)先度高的警告區(qū)域起依次進行加工處理。由此,從優(yōu)先度高(具體而言考慮是病變的可能性高、或者是深度病變的情況)的區(qū)域起進行加工處理,能夠?qū)崿F(xiàn)高效的診斷/治療。并且,在可靠度高的情況下,加工部3431進行提高第I圖像內(nèi)的對應(yīng)關(guān)注區(qū)域的視覺辨認性的顔色轉(zhuǎn)換處理。這里,例如考慮通過與給定閾值進行比較等來判斷可靠度的尚低。由此,在可靠度高的情況下(具體而言,例如確定關(guān)注候選區(qū)域是病變部的情況下),進行提高第I圖像內(nèi)的對應(yīng)關(guān)注區(qū)域的視覺辨認性的顏色轉(zhuǎn)換處理,能夠抑制病變部的遺漏等。并且,加工部3431包括區(qū)域選出部34313,區(qū)域選出部34313根據(jù)可靠度從關(guān)注候選區(qū)域中選出關(guān)注區(qū)域。進而,選出與關(guān)注區(qū)域?qū)?yīng)的第I圖像內(nèi)的對應(yīng)關(guān)注區(qū)域。然后,加工部3431對對應(yīng)關(guān)注區(qū)域進行顏色轉(zhuǎn)換處理。
由此,能夠適當?shù)剡x出與關(guān)注區(qū)域?qū)?yīng)的對應(yīng)關(guān)注區(qū)域。而且,通過對對應(yīng)關(guān)注區(qū)域進行顏色轉(zhuǎn)換處理,能夠?qū)m當?shù)膮^(qū)域(例如檢測為病變的區(qū)域)進行顏色轉(zhuǎn)換處理,能夠抑制病變部的遺漏等。并且,加工部3431也可以通過將對應(yīng)關(guān)注區(qū)域中包含的像素的顔色與目標顏色進行加權(quán)相加,進行基于顏色轉(zhuǎn)換的加工處理。由此,如圖26(C)所示,能夠使對應(yīng)關(guān)注區(qū)域內(nèi)的像素為半透明,提高視覺辨認性,能夠抑制病變部的遺漏等。并且,加工部3431也可以通過將位于對應(yīng)關(guān)注區(qū)域的周緣的像素的顔色轉(zhuǎn)換成目標顏色,進行基于顏色轉(zhuǎn)換的加工處理。由此,如圖26 (D)所示,能夠利用目標顏色包圍對應(yīng)關(guān)注區(qū)域,提高視覺辨認性,能夠抑制病變部的遺漏等。 并且,在可靠度高的情況下,加工部3431也可以進行提高第I圖像內(nèi)的對應(yīng)關(guān)注區(qū)域的視覺辨認性的亮度轉(zhuǎn)換處理。這里,例如考慮通過與給定閾值進行比較等來判斷可靠度的高低。由此,在可靠度高的情況下(具體而言,例如確定關(guān)注候選區(qū)域是病變部的情況下),進行提高第I圖像內(nèi)的對應(yīng)關(guān)注區(qū)域的視覺辨認性的亮度轉(zhuǎn)換處理,能夠抑制病變部的遺漏等。例如,針對第I實施方式中說明的合成處理后的圖像,通過進行提高第I圖像內(nèi)的對應(yīng)關(guān)注區(qū)域的視覺辨認性的亮度轉(zhuǎn)換處理,能夠使對應(yīng)關(guān)注區(qū)域更加明顯。并且,加工部3431包括區(qū)域選出部34313,區(qū)域選出部34313根據(jù)可靠度從關(guān)注候選區(qū)域中選出關(guān)注區(qū)域。進而,選出與關(guān)注區(qū)域?qū)?yīng)的第I圖像內(nèi)的對應(yīng)關(guān)注區(qū)域。然后,加工部3431也可以對除了對應(yīng)關(guān)注區(qū)域以外的區(qū)域進行亮度轉(zhuǎn)換處理。由此,能夠適當?shù)剡x出與關(guān)注區(qū)域?qū)?yīng)的對應(yīng)關(guān)注區(qū)域。而且,通過對對應(yīng)關(guān)注區(qū)域以外的區(qū)域進行亮度轉(zhuǎn)換處理,能夠?qū)Τ诉m當區(qū)域(例如檢測為病變的區(qū)域)以外的區(qū)域進行亮度轉(zhuǎn)換處理,能夠抑制病變部的遺漏等。例如,針對第I實施方式中說明的合成處理后的圖像中的除了對應(yīng)關(guān)注區(qū)域以外的區(qū)域進行亮度轉(zhuǎn)換處理由此,能夠使對應(yīng)關(guān)注區(qū)域更加明顯。并且,加工部3431也可以通過降低對應(yīng)關(guān)注區(qū)域以外的區(qū)域中包含的像素的亮度,進行亮度轉(zhuǎn)換處理。由此,如圖26 (E)所示,對應(yīng)關(guān)注區(qū)域以外的區(qū)域的亮度降低,較暗地進行顯示。因此,對應(yīng)關(guān)注區(qū)域看起來相對明亮,所以能夠使對應(yīng)關(guān)注區(qū)域明顯,能夠抑制病變部的遺漏。并且,在可靠度高的情況下,加工部3431進行提高第I圖像內(nèi)的對應(yīng)關(guān)注區(qū)域的視覺辨認性的處理。作為提高視覺辨認性的處理,也可以進行將第2圖像的關(guān)注候選區(qū)域的部分圖像與第I圖像相關(guān)聯(lián)的處理。這里,例如考慮通過與給定閾值進行比較等來判斷可靠度的高低。由此,在可靠度高的情況下(具體而言,例如確定關(guān)注候選區(qū)域是病變部的情況下),作為提高第I圖像內(nèi)的對應(yīng)關(guān)注區(qū)域的視覺辨認性的處理,能夠進行將關(guān)注候選區(qū)域的部分圖像與第I圖像相關(guān)聯(lián)的處理,能夠抑制病變部的遺漏等。關(guān)聯(lián)的詳細情況在后面敘述。
并且,加工部3431包括區(qū)域選出部34313,區(qū)域選出部34313根據(jù)可靠度從關(guān)注候選區(qū)域中選出關(guān)注區(qū)域。進而,選出與關(guān)注區(qū)域?qū)?yīng)的第I圖像內(nèi)的對應(yīng)關(guān)注區(qū)域。而且,作為關(guān)注區(qū)域的部分圖像與第I圖像的關(guān)聯(lián),加工部3431也可以在第I圖像的附近顯示關(guān)注區(qū)域的部分圖像。由此,能夠以圖26 (F)所示的方式顯示輸出圖像,例如與直接并列第I圖像和第2圖像的情況相比,能夠期待減輕醫(yī)生觀看輸出圖像時的負擔的效果等。并且,由于在附近顯示病變部的部分圖像,所以也能夠抑制病變部的遺漏。并且,加工部3431包括區(qū)域選出部34313,區(qū)域選出部34313根據(jù)可靠度從關(guān)注候選區(qū)域中選出關(guān)注區(qū)域。進而,選出與關(guān)注區(qū)域?qū)?yīng)的第I圖像內(nèi)的對應(yīng)關(guān)注區(qū)域。而且,作為關(guān)注區(qū)域的部分圖像與第I圖像的關(guān)聯(lián),加工部3431也可以將關(guān)注區(qū)域的部分圖像置換為對應(yīng)關(guān)注區(qū)域的部分圖像進行顯示。由此,能夠以在第I圖像內(nèi)嵌入第2圖像的關(guān)注區(qū)域的部分圖像的方式顯示輸出 圖像。因此,關(guān)注區(qū)域(具體而言為病變部等)的部分能夠利用第2圖像(具體而言為易于視覺辨認病變部的特殊光圖像)進行觀察,并且,除此之外的部分能夠利用第I圖像(具體而言為全體明亮且易于觀看的通常光圖像)進行觀察,例如能夠抑制病變部的遺漏等。4.第3實施方式對本發(fā)明的第3實施方式的內(nèi)窺鏡系統(tǒng)進行說明。除了關(guān)注候選區(qū)域檢測部341和加工部3431以外的部分與第2實施方式相同。首先,對本實施方式中的關(guān)注候選區(qū)域檢測部341的具體結(jié)構(gòu)進行說明。所述圖10是說明本實施方式中的關(guān)注候選區(qū)域檢測部341的結(jié)構(gòu)的一例的框圖。首先,與第2實施方式同樣,局部區(qū)域設(shè)定部3411針對特殊光圖像設(shè)定多個局部區(qū)域。接著,與第2實施方式同樣,特征量計算部3412針對所設(shè)定的所有局部區(qū)域計算特征量。這里,使用所述色相H (m,η)作為特征量。分類部3413根據(jù)控制部350的控制,按照每個局部區(qū)域?qū)τ嬎愠龅木植繀^(qū)域的特征量H (m,n)與規(guī)定閾值進行比較,根據(jù)該比較結(jié)果,將各局部區(qū)域分類為多個群組。該情況下,使用預(yù)先設(shè)定的多個閾值Thi (i=0,l…,L),在H (m,n)為Thi以上且小于Thi+Ι的情況下,將局部區(qū)域a (m,n)分類為群組i的局部區(qū)域。通過進行這種處理,各局部區(qū)域被分類為群組O 群組(L-I)的群組。這里,關(guān)于閾值Thi的設(shè)定方法,可以由用戶設(shè)定任意值,也可以通過控制部350自動設(shè)定為預(yù)先決定的值。并且,閾值Thi也可以根據(jù)特殊光圖像內(nèi)的位置而自適應(yīng)地設(shè)定。被分類成各群組的局部區(qū)域信息被輸出到區(qū)域設(shè)定部3414。在本實施方式中,區(qū)域設(shè)定部3414根據(jù)關(guān)注的程度檢測關(guān)注候選區(qū)域。例如,將由分類部3413分類為群組O 群組(L-I)的各群組后的局部區(qū)域中的、被分類為群組a的多個局部區(qū)域檢測為關(guān)注等級a的關(guān)注候選區(qū)域,將被分類為群組b的多個局部區(qū)域檢測為關(guān)注等級b的關(guān)注候選區(qū)域(這里,a、b是O L-I的任意常數(shù),aデb)。區(qū)域設(shè)定部3414根據(jù)檢測為各關(guān)注等級的關(guān)注候選區(qū)域的多個局部區(qū)域a (m,η)的坐標和各局部區(qū)域包含的像素的信息,計算關(guān)注候選區(qū)域中包含的所有像素的位置,將其作為各關(guān)注等級的關(guān)注候選區(qū)域信息,輸出到可靠度計算部342和顯示方式設(shè)定部343。進而,區(qū)域設(shè)定部3414向顯示方式設(shè)定部343輸出在特殊光圖像中是否檢測到關(guān)注候選區(qū)域的控制信號。這里,區(qū)域設(shè)定部3414設(shè)關(guān)注程度為關(guān)注等級a和b這2個來進行關(guān)注候選區(qū)域的設(shè)定,但是,當然也可以根據(jù)需要將關(guān)注程度設(shè)定為任意數(shù)。進而,區(qū)域設(shè)定部3414也可以針對利用各關(guān)注等級檢測為關(guān)注候選區(qū)域的多個局部區(qū)域,按照每個關(guān)注等級,與第2實施方式同樣設(shè)定新的關(guān)注候選區(qū)域(例如為了提高視覺辨認性而成為簡單的四邊形等)。接著,對本實施方式中的加工部3431的具體結(jié)構(gòu)進行說明。圖30是說明本實施方式中的加工部3431的結(jié)構(gòu)的一例的框圖。如圖30所示 ,加工部3431具有關(guān)注信息設(shè)定部34311、區(qū)域選出部34313、區(qū)域加工部34314、亮度轉(zhuǎn)換部34315。關(guān)注信息設(shè)定部34311針對各關(guān)注候選區(qū)域設(shè)定表示應(yīng)該關(guān)注的程度的關(guān)注信息。具體而言,例如存在如下的設(shè)定方式如果屬于群組a,則成為關(guān)注度a,如果是群組b,則成為關(guān)注度b。更具體而言,還考慮如下的設(shè)定方式如果病變是癌,則成為關(guān)注度5,如果是通常的炎癥,則成為關(guān)注度I。圖31 (A)是示出從通常光圖像取得部320輸出的通常光圖像和關(guān)注候選區(qū)域信息的一例。這里,虛線所示的等級a和等級b的關(guān)注候選區(qū)域中包含的所有像素的位置信息作為關(guān)注候選區(qū)域信息,被輸入到區(qū)域選出部34313。與第2實施方式同樣,區(qū)域選出部34313設(shè)定關(guān)注區(qū)域和對應(yīng)關(guān)注區(qū)域。進而,還可以設(shè)定警告區(qū)域。區(qū)域加工部34314使用從關(guān)注候選區(qū)域檢測部341輸出的關(guān)注候選區(qū)域信息,對從通常光圖像取得部320輸出的通常光圖像進行加工。區(qū)域加工部34314例如針對通常光圖像中的作為對應(yīng)關(guān)注區(qū)域信息而從區(qū)域選出部34313輸入的像素,使用以下的式(23) (28)進行顏色轉(zhuǎn)換處理。這里,!· (x, y)、g (x,y)、b (x,y)是顏色轉(zhuǎn)換前的通常光圖像的坐標(x,y)中的R、G、B通道的信號值,r_out (x, y)、g_out (x, y)、b_out (x, y)是顏色轉(zhuǎn)換后的通常光圖像的R、G、B通道的信號值。并且,Ta_r、Ta_g、Ta_b是針對等級a的對應(yīng)關(guān)注區(qū)域的任意目標顏色的R、G、B信號值,根據(jù)由關(guān)注信息設(shè)定部34311設(shè)定的關(guān)注信息而決定。并且,Tb_r、Tb_g、Tb_b是針對等級b的對應(yīng)關(guān)注區(qū)域的任意目標顏色的R、G、B信號值,同樣根據(jù)關(guān)注信息而決定。gain是任意的系數(shù)。等級a的對應(yīng)關(guān)注區(qū)域r—out (x,y)=gain*r (x, y) + (1-gain) *Ta—r...... (23)g—out (x,y)=gain*g (x, y) + (1-gain) *Ta—g...... (24)b—out (x,y)=gain*b (x, y) + (1-gain) *Ta—b...... (25)等級b的對應(yīng)關(guān)注區(qū)域r—out (x,y)=gain*r (x, y) + (1-gain) *Tb—r...... (26)g—out (x,y)=gain*g (x, y) + (1-gain) *Tb—g...... (27)b—out (x,y)=gain*b (x, y) + (1-gain) *Tb—b...... (28)通過進行這種處理,在懷疑為病變部的對應(yīng)關(guān)注區(qū)域中,如圖31 (B)所示,根據(jù)關(guān)注程度,利用不同的顏色顯示對應(yīng)關(guān)注區(qū)域,在使用通常光圖像和特殊光圖像進行診斷時,能夠降低醫(yī)生的負擔,并且能夠抑制病變部的遺漏。另外,區(qū)域加工部34314不限于所述處理,當然也可以使用第2實施方式所示的不同的顏色轉(zhuǎn)換處理,根據(jù)關(guān)注程度對通常光圖像的對應(yīng)關(guān)注區(qū)域進行加工。
并且,在本實施方式中,構(gòu)成圖像處理部300的各部由硬件構(gòu)成,但是,與第I實施方式同樣,也可以構(gòu)成為,針對預(yù)先取得的圖像,CPU進行各部的處理,通過CPU執(zhí)行程序,也可以作為軟件來實現(xiàn)?;蛘?,也可以利用軟件構(gòu)成各部進行的處理的一部分。該情況下,除了圖19的關(guān)注候選區(qū)域檢測步驟(S13)和圖28的顏色轉(zhuǎn)換步驟(S34)以外的步驟與第2實施方式相同。使用所述圖20的流程圖對本實施方式中的圖19的關(guān)注區(qū)域檢測步驟S13的詳細的處理順序進行說明。在局部區(qū)域檢測步驟中,首先,利用與第2實施方式相同的方法,針對特殊光圖像設(shè)定多個局部區(qū)域S41。接著,利用與第2實施方式相同的方法,針對所設(shè)定的所有局部區(qū) 域計算特征量S42。這里,作為特征量的一例,使用色相H。然后,按照每個局部區(qū)域?qū)υ谒芯植繀^(qū)域中計算出的色相H與所述規(guī)定閾值Thi進行比較,根據(jù)該比較結(jié)果將各局部區(qū)域分類為多個群組S43。接著,利用所述方法,根據(jù)關(guān)注程度檢測關(guān)注候選區(qū)域。進而,根據(jù)檢測為各關(guān)注等級的關(guān)注候選區(qū)域的局部區(qū)域a (m,η)的坐標和各局部區(qū)域包含的像素的信息,計算關(guān)注區(qū)域中包含的所有像素的位置,將其作為各關(guān)注等級的關(guān)注候選區(qū)域信息進行輸出S44。最后,輸出在特殊光圖像中是否檢測到關(guān)注候選區(qū)域的標志信息S45。在本實施方式的圖28的顔色轉(zhuǎn)換處理步驟中,根據(jù)在關(guān)注候選區(qū)域檢測步驟中輸出的各關(guān)注等級的關(guān)注候選區(qū)域信息,如所述式(23) (28)那樣,根據(jù)關(guān)注等級,使用不同的目標顏色對通常光圖像進行加工。通過進行這種處理,如圖31 (B)所示,根據(jù)關(guān)注程度,利用不同的顏色顯示懷疑為病變部的對應(yīng)關(guān)注區(qū)域,在使用通常光圖像和特殊光圖像進行診斷時,能夠降低醫(yī)生的負擔,并且能夠抑制病變部的遺漏。在以上的本實施方式中,加工部3431包括關(guān)注信息設(shè)定部34311,該關(guān)注信息設(shè)定部34311在各關(guān)注候選區(qū)域中設(shè)定表示應(yīng)該關(guān)注的程度的關(guān)注信息。然后,加工部3431根據(jù)所設(shè)定的關(guān)注信息所表示的關(guān)注程度,對在顏色轉(zhuǎn)換處理中使用的目標顏色進行變更。由此,例如在檢測到2種以上的病變的情況下,如圖31 (B)所示,能夠利用不同顏色分別進行警告顯示等。具體而言,例如考慮改變在癌的部位和通常炎癥的部位中顯示的顔色等。5.第4實施方式參照圖32對本發(fā)明的第4實施方式的內(nèi)窺鏡系統(tǒng)進行說明。在第I實施方式、第2實施方式和第3實施方式中,使用2個攝像元件取得通常光圖像和特殊光圖像,但是,這里例如也可以僅通過具有拜耳排列的濾色鏡的第I攝像元件,利用圖像處理取得通常光圖像和特殊光圖像。本實施方式的內(nèi)窺鏡系統(tǒng)具有光源部100、插入部200、圖像處理部300、顯示部400、外部I/F部500。另外,下面對與第I實施方式等重復(fù)的部分,適當省略其說明。光源部100具有白色光源110和會聚透鏡120。插入部200具有用于引導(dǎo)由光源部100會聚后的光的光導(dǎo)纖維210、使通過該光導(dǎo)纖維引導(dǎo)到前端的光擴散并照射到觀察對象的照明透鏡220、使從觀察對象返回的反射光會聚的物鏡230、以及用于檢測會聚后的反射光的第I攝像元件250。第I攝像元件250例如是用于拍攝通常光圖像的具有拜耳排列的濾色鏡的攝像元件。第I攝像元件250的濾色鏡例如具有圖4所示的分光特性。
圖像處理部300具有AD轉(zhuǎn)換部310、通常光圖像取得部320、特殊光圖像取得部330、輸出圖像生成部340、控制部350。外部I/F部500是用于供用戶對該內(nèi)窺鏡系統(tǒng)進行輸入等的接ロ。AD轉(zhuǎn)換部310將從第I攝像元件輸出的模擬信號轉(zhuǎn)換為數(shù)字信號并輸出。通常光圖像取得部320根據(jù)從AD轉(zhuǎn)換部310輸出的數(shù)字信號取得通常光圖像。特殊光圖像取得部330根據(jù)從AD轉(zhuǎn)換部310輸出的數(shù)字信號取得特殊光圖像。由通常光圖像取得部320取得的通常光圖像和由特殊光圖像取得部330取得的特殊光圖像被輸出到輸出圖像生成部340。輸出圖像生成部340根據(jù)這2張圖像生成I張輸出圖像并輸出到圖像顯示部。如圖7中說明的那樣,通常光圖像取得部320具有通常光圖像生成部321和通常光圖像存儲部322。由于這些各部的功能和動作與圖7中說明的功能和動作相同,所以省略 詳細說明。接著,使用圖33對特殊光圖像取得部330進行說明。特殊光圖像取得部330具有特殊光圖像生成部331、特殊光圖像存儲部332、信號提取部333、矩陣數(shù)據(jù)設(shè)定部334。特殊光圖像生成部331對由AD轉(zhuǎn)換部310轉(zhuǎn)換并輸入的數(shù)字圖像信號進行圖像處理,生成特殊光圖像。在本實施方式中,特殊光圖像為窄帶光圖像。在本實施方式中,被輸入到特殊光圖像生成部331的數(shù)字圖像信號是與被輸入到通常光圖像生成部321的數(shù)字圖像信號相同的信號。這里,對在信號提取部333、矩陣數(shù)據(jù)設(shè)定部334和特殊光圖像生成部331中生成窄帶光圖像的方法進行說明。首先,對所輸入的數(shù)字圖像信號進行現(xiàn)有的插值處理,生成具有R、G、B的3個通道的彩色圖像。該圖像是在白色光源下使用第I攝像元件250對被攝體進行攝像的情況下的彩色圖像。接著,根據(jù)該彩色圖像,使用公知的分光估計技術(shù),估計彩色圖像的各像素中的被攝體的分光反射率。分光估計技術(shù)的詳細情況例如在專利文獻3的
中被公開,通過進行這種處理,例如各像素在380nm 780nm中以姆IOnm取得具有被攝體的分光反射率特性0( λ)的分光圖像信息(這里λ為380 780)。這里,將圖像上的位置(X,y)中的分光反射率特性記述為O ( λ )x,y。并且,設(shè)本實施方式中的白色光源的分光放射率為Ε( λ ),光學(xué)系統(tǒng)的分光透射率為L( λ ),與第I的實施方式中的第2攝像元件260的濾色鏡g2、b2對應(yīng)的像素的分光感光度分別為g2 ( λ )、b2 ( λ )。于是,能夠利用以下的式(29)、式(30)計算與第I實施方式的G2圖像和Β2圖像對應(yīng)的G2'圖像和Β2'圖像的位置(x,y)中的信號值G2' (x,y)和B2' (x,y)。G2' (X, y) = / E (λ ·0 (λ *L (λ ·&2λ)(1λ...... (29)Β2' (χ, y) = / E (λ ·0 (λ *L (λ *わ2入)(1入......(30)通過針對圖像上的所有位置(X,y)進行這種計算,能夠從由第I攝像元件250得到的圖像信號取得G2’圖像和B2’圖像。接著,與第I實施方式同樣,根據(jù)該G2’圖像和B2’圖像生成具有R、G、B的3個通道的彩色圖像。這里,例如通過對彩色圖像的R通道輸入G2圖像、對G通道和B通道輸入B2圖像,生成彩色圖像。特殊光圖像生成部331進ー步對所生成的彩色圖像進行白平衡、灰度轉(zhuǎn)換等處理,作為窄帶光圖像輸出。特殊光圖像存儲部332存儲從特殊光圖像生成部輸出的特殊光圖像。
關(guān)于由通常光圖像取得部320和特殊光圖像取得部330取得圖像后的處理,只要進行與第I、第2或第3實施方式相同的處理即可。在以上的本實施方式中,第2圖像取得部(狹義上為特殊光圖像取得部330)根據(jù)第I圖像生成第2圖像。具體而言,第2圖像取得部包括信號提取部333和矩陣數(shù)據(jù)設(shè)定部334。信號提取部333提取白色光的波段中的信號。矩陣數(shù)據(jù)設(shè)定部334設(shè)定用于計算特定波段中的信號的矩陣數(shù)據(jù)。然后,第2圖像取得部使用矩陣數(shù)據(jù),根據(jù)信號提取部333提取出的信號,計算特定波段的信號,生成第2圖像。由此,能夠根據(jù)第I圖像生成第2圖像,所以如圖32所示,僅利用一個攝像元件也能夠?qū)崿F(xiàn)系統(tǒng),能夠減小插入部200。并且,由于部件很少即可,所以還能夠期待降低成本的效果。 6.第5實施方式參照圖34對本發(fā)明的第5實施方式的內(nèi)窺鏡系統(tǒng)進行說明。本實施方式的內(nèi)窺鏡系統(tǒng)具有光源部100、插入部200、圖像處理部300、顯示部400、外部I/F部500。光源部100具有產(chǎn)生白色光的白色光源110、用于使來自光源的出射光會聚在光導(dǎo)纖維210的會聚透鏡120、以及從白色光中提取規(guī)定波段的光的旋轉(zhuǎn)濾鏡130。如圖35所示,旋轉(zhuǎn)濾鏡130由透射率特性不同的2種濾鏡F1、F2構(gòu)成。這些濾鏡F1、F2例如如圖36所示,濾鏡Fl具有透射400 650nm的波段的光的透射率特性,濾鏡F2具有透射600 650nm的波段的光的透射率特性。濾鏡Fl的光是白色光。通過濾鏡F2提取出的600 650nm的波段的光具有對Cy5這種熒光藥劑進行激勵而產(chǎn)生660 750nm的波段的熒光的特性。這里,該熒光藥劑具有特殊地積累在腫瘤等病變部中的性質(zhì)。插入部200例如形成為細長且能夠彎曲,以使得能夠插入體腔內(nèi)。插入部200具有用于引導(dǎo)由光源部會聚后的光的光導(dǎo)纖維210、使通過該光導(dǎo)纖維210引導(dǎo)到前端的光擴散并照射到觀察對象的照明透鏡220、使從觀察對象返回的反射光會聚的物鏡230、將會聚后的反射光和熒光分支到不同光路的二色鏡280、遮擋分支后的熒光中包含的激勵光的阻擋濾鏡270、檢測分支后的反射光的第I攝像元件250、以及檢測通過阻擋濾鏡270后的熒光的第2攝像元件260。如圖37所示,阻擋濾鏡270具有如下的透射率特性僅使通過二色鏡280從反射光分支的光中的相當于熒光的波段660 750nm的光通過,遮斷其他光。并且,第I攝像元件250例如是具有圖4所示的R、G、B的分光特性的拜耳型彩色攝像元件,第2攝像元件260例如是在波段660 750nm中具有較高的感光度特性的單色攝像元件。圖像處理部300具有AD轉(zhuǎn)換部310、通常光圖像取得部320、特殊光圖像取得部330、輸出圖像生成部340、控制部350??刂撇?50與通常光圖像取得部320、特殊光圖像取得部330、輸出圖像生成部340雙向連接,并對它們進行控制。進而,控制部350還與所述旋轉(zhuǎn)濾鏡130雙向連接,旋轉(zhuǎn)濾鏡130根據(jù)來自控制部350的信號對電動機進行旋轉(zhuǎn)驅(qū)動,由此,依次切換濾鏡Fl和F2,依次對作為觀察對象的體腔內(nèi)組織照射照明光。并且,控制部350將配置在光路中的濾鏡FI、F2的信息作為觸發(fā)信號,輸出到通常光圖像取得部320、特殊光圖像取得部330、輸出圖像生成部340。外部I/F部500是用于供用戶對該內(nèi)窺鏡系統(tǒng)進行輸入等的接ロ。AD轉(zhuǎn)換部310將從第I攝像元件250和第2攝像元件260輸出的模擬信號轉(zhuǎn)換為數(shù)字信號并輸出。通常光圖像取得部320根據(jù)從AD轉(zhuǎn)換部310輸出的數(shù)字信號取得通常光圖像。特殊光圖像取得部330根據(jù)從AD轉(zhuǎn)換部310輸出的數(shù)字信號取得特殊光圖像。由通常光圖像取得部320取得的通常光圖像和由特殊光圖像取得部330取得的特殊光圖像被輸出到輸出圖像生成部340。輸出圖像生成部340根據(jù)這2張圖像生成I張輸出圖像并輸出到圖像顯示部。如所述圖7所示,通常光圖像取得部320具有通常光圖像生成部321和通常光圖像存儲部322。通常光圖像生成部321通過從控制部350送來的觸發(fā)信號,識別濾鏡Fl位于光路中的期間,在濾鏡Fl位于光路中的期間內(nèi),針對從由第I攝像元件送來的模擬信號轉(zhuǎn)換后的數(shù)字信號進行圖像處理,生成通常光圖像。具體而言,進行現(xiàn)有的插值處理、白平衡、顔色轉(zhuǎn)換、灰度轉(zhuǎn)換等處理,生成通常光圖像并輸出。通常光圖像存儲部322存儲從通常光圖像生成部321輸出的通常光圖像。 如所述圖8所示,特殊光圖像取得部330具有特殊光圖像生成部331和特殊光圖像存儲部332。特殊光圖像生成部331通過從控制部350送來的觸發(fā)信號,識別濾鏡F2位于光路中的期間,在濾鏡F2位于光路中的期間內(nèi),針對從由第2攝像元件送來的模擬信號轉(zhuǎn)換后的數(shù)字信號進行圖像處理,生成特殊光圖像。在本實施方式中,特殊光圖像為単色的熒光圖像。具體而言,針對取得了從積累藥劑熒光的病變部產(chǎn)生的熒光的圖像信號,例如進行增益調(diào)整或灰度轉(zhuǎn)換等處理,生成単色的特殊光圖像并輸出。特殊光圖像存儲部332存儲從特殊光圖像生成部331輸出的特殊光圖像。圖40是示出位于光路中的濾鏡的種類以及在通常光圖像存儲部322和特殊光圖像存儲部332中存儲的圖像的圖。首先,在定時1,在光路中插入濾鏡F1。此時,所照射的照明光是白色光,在通常光圖像存儲部322中存儲通常光圖像作為彩色圖像,在特殊光圖像存儲部332中不存儲圖像。接著,在定時2,在光路中插入濾鏡F2。此時,所照射的照明光是激勵光,在特殊光圖像存儲部332中存儲從積累有藥劑熒光的病變部產(chǎn)生的熒光作為單色圖像,在通常光圖像存儲部322中不存儲圖像。通常光圖像存儲部322和特殊光圖像存儲部332能夠分別存儲多張圖像。接著,對本實施方式中的輸出圖像生成部340的具體結(jié)構(gòu)進行說明。圖38是說明輸出圖像生成部340的結(jié)構(gòu)的一例的框圖。輸出圖像生成部340具有關(guān)注候選區(qū)域檢測部341、可靠度計算部342、顯示方式設(shè)定部343、對應(yīng)部344。在本實施方式中,由于利用通常光圖像取得部320和特殊光圖像取得部330交替取得通常光圖像和特殊光圖像,所以對應(yīng)部344進行這些圖像的對應(yīng)。這里,對本實施方式中的對應(yīng)部344的處理進行具體說明。圖39是示出取得在通常光圖像存儲部322中存儲的圖像的定時和取得在特殊光圖像存儲部332中存儲的圖像的定時的圖。對應(yīng)部344根據(jù)來自控制部350的控制信號,從通常光圖像存儲部322和特殊光圖像存儲部332中,各讀出ー張以取得圖像的定時之差最小的方式相對應(yīng)的通常光圖像和特殊光圖像。這里,最初讀出的圖像是在定時I取得的通常光圖像和在定時2取得的特殊光圖像,接著讀出的圖像是在定時2取得的特殊光圖像和在定時3取得的通常光圖像。這樣,對應(yīng)部344能夠以與圖像取得相同的定時間隔取得通常光圖像和特殊光圖像雙方。并且,對應(yīng)部344也可以利用現(xiàn)有的對應(yīng)方法進行對應(yīng)。圖41、圖42示出具體的對應(yīng)方法。在圖41中,在定時Tl照射白色光,在定時T2照射激勵光。由此,在定時Tl得到通常光圖像,在定時T2得到特殊光圖像。在定時T2,還能夠通過使用第I攝像元件250而取得通常光圖像(在圖40中未圖示)。這里,通過計算定時Tl的通常光圖像與定時T2的通常光圖像之間的運動矢量,能夠進行定時Tl的通常光圖像與定時T2的特殊光圖像的對應(yīng)。并且,如圖42所示,也可以在根據(jù)在定時Tl和定時T3照射的白色光而得到的通常光圖像之間計算運動矢量。這樣,即使在定時T2沒有得到通常光圖像,也能夠計算運動矢量。該情況下,通過使用定時的間隔Λ Tl和Λ Τ2,能夠進行定時Tl的通常光圖像與定時Τ2的特殊光圖像的對應(yīng)。然后,對應(yīng)的通常光圖像被輸出到顯示方式設(shè)定部343。并且,對應(yīng)的特殊光圖像被輸出到關(guān)注候選區(qū)域檢測部341和顯示方式設(shè)定部343。關(guān)注候選區(qū)域檢測部341使用從特殊光圖像取得部330輸出的特殊光圖像檢測關(guān)注區(qū)域,將關(guān)注區(qū)域信息輸出到可靠度計算部342和顯示方式設(shè)定部343??煽慷扔嬎悴?42與顯示方式設(shè)定部343連接??刂撇?50與關(guān)注候選區(qū)域檢測部341、可靠度計算部342、顯示方式設(shè)定部343、對應(yīng)部344雙向連接,并對它們進行控制。并且,顯示方式設(shè)定部343從由通常光圖像取得部320輸出的通常光圖像和由特殊光圖像取得部330輸出的特殊光圖像中選擇圖像,向顯示部400輸出圖像。進而,顯示方式設(shè)定部343也可以根據(jù)從關(guān)注候選區(qū)域檢測部341輸出的關(guān)注區(qū)域信息,對通常光圖像或特殊光圖像進行加工后,向顯示部400輸出圖像。關(guān)注候選區(qū)域檢測部341、可靠度計算部342和顯示方式設(shè)定部343與第I實施方式、第2實施方式或第3實施方式相同。另外,由于本實施方式中的特殊光圖像如上所述為単色的熒光圖像,所以作為在關(guān)注候選區(qū)域檢測部341中使用的特征量,例如使用熒光圖像的亮度值即可。在本實施方式中使用2種照明光,但是,使用3種以上的照明也沒有問題,也可以使用例如圖43所示的旋轉(zhuǎn)濾鏡。這里,濾鏡Fl是透射白色光的濾鏡,濾鏡F2是透射針對Cy5這樣的熒光藥劑的第I激勵光的濾鏡,濾鏡F3是透射針對不同的熒光藥劑的第2激勵光的濾鏡。該情況下,例如,能夠根據(jù)第I激勵光照明時由第2攝像元件取得的熒光圖像和第2激勵光照明時由第2攝像元件取得的熒光圖像這2種熒光圖像,進行虛擬彩色處理,生成特殊光圖像。此時,作為在關(guān)注候選區(qū)域檢測部341中使用的特征量,例如與第I實施方式和第2實施方式同樣,可以使用色相H的值,也可以使用除此之外的亮度/顔色信息。另夕卜,該情況下,需要將阻擋濾鏡變更為遮斷第I激勵光和第2激勵光井透射針對各個激勵光的熒光的特性。并且,雖然在本實施方式中使用了熒光藥劑,但是,也可以例如如現(xiàn)有的作為AFI(Auto Fluorescence Imaging :自體突光成像)而公知的技術(shù)那樣,構(gòu)成為對從活體中的骨膠原產(chǎn)生的自體熒光進行觀察。該情況下,使用390 470nm的波段的光作為激勵光,將阻擋濾鏡變更為透射490 625nm的波段的光的特性即可。進而,也可以取而代之而使用被血液中的血紅蛋白吸收的540 560nm的波段的光作為照明光,根據(jù)其反射光圖像和所述自體熒光圖像生成虛擬彩色圖像,用作特殊光圖像。 進而,也可以例如如現(xiàn)有的作為IRI (Infra Red Imaging :紅外成像)而公知的技術(shù)那樣,在靜脈注射了 ICG后,使用2個紅外光(790 820nm和905 970nm的波段的光)作為照明光,根據(jù)它們的反射光圖像生成虛擬彩色圖像,用作特殊光圖像。并且,在本實施方式中,雖然構(gòu)成圖像處理部300的各部由硬件構(gòu)成,但是,與第I實施方式同樣,也可以構(gòu)成為,針對預(yù)先取得的圖像,CPU進行各部的處理,通過CPU執(zhí)行程序,也可以作為軟件來實現(xiàn)?;蛘?,也可以利用軟件構(gòu)成各部進行的處理的一部分。作為利用軟件構(gòu)成各部進行的處理的一部分的情況的一例,使用圖44的流程圖說明針對預(yù)先取得的通常光圖像和特殊光圖像、利用軟件實現(xiàn)圖38的輸出圖像生成部340的處理的情況下的處理順序。在本實施方式中,由于交替取得通常光圖像和特殊光圖像,所以首先根據(jù)取得各個圖像的定時信息,利用所述方法進行這些圖像的對應(yīng)S61。接著,將特殊光圖像讀入存儲器中S62,將與該特殊光圖像相對應(yīng)的通常光圖像讀入存儲器中S63。關(guān)注區(qū)域檢測步驟S64和顯示方式?jīng)Q定步驟S65與第I實施方式、第2實施方式或第3實施方式相同。然后,在針對所有圖像完成了ー連串處理的情況下,結(jié)束處理,在殘留有未處理的圖像的情況下,繼續(xù)進行同樣的處理S66。在以上的本實施方式中,輸出圖像生成部340包括對應(yīng)部344,該對應(yīng)部344根據(jù)識別第I圖像的第I識別信息和識別第2圖像的第2識別信息,進行第I圖像與第2圖像的對應(yīng)。由此,即使在第I圖像與第2圖像的攝像定時錯開吋,也能夠明確地進行第I圖像與第2圖像的對應(yīng)。作為進行對應(yīng)的理由,舉出要檢測關(guān)注區(qū)域(具體而言為病變部)的圖像是第2圖像,要進行圖像加工的圖像是第I圖像。即,在希望對第I圖像的病變部進行加エ時,要是第I圖像與第2圖像錯開,則可能對估計錯的位置進行加工。因此,在能夠同時取得第I圖像和第2圖像的情況下,沒有特別的問題,但是,如本實施方式那樣,在產(chǎn)生錯開的情況下最好進行對應(yīng)。并且,第I圖像取得部取得白色光圖像,第2圖像取得部取得使用具有了特定波段的光源的圖像。而且,第I識別信息是對第I圖像進行攝像的定時的信息,第2識別信息是對第2圖像進行攝像的定時的信息。然后,對應(yīng)部將第I圖像的攝像定時與第2圖像的攝像定時在時間上接近的第I圖像和第2圖像相對應(yīng)。由此,在時間上接近的2張圖像相對應(yīng)。具體而言,在圖39中,定時I的通常光圖像與定時2的特殊光圖像相對應(yīng),定時2的特殊光圖像與定時3的通常光圖像相對應(yīng)。因 此,能夠?qū)⑽恢缅e開抑制得較小,能夠在第I圖像上對適當位置進行加工。并且,第I圖像和第2圖像也可以是拍攝了活體內(nèi)的活體內(nèi)圖像。而且,活體內(nèi)圖像中包含的特定波段也可以是熒光物質(zhì)發(fā)出的熒光的波段。具體而言為490nm 625nm的波段。由此,能夠進行被稱為AFI的熒光觀察。通過照射激勵光(390nm 470nm),能夠?qū)碜怨悄z原等熒光物質(zhì)的自體熒光進行觀察。在這種觀察中,能夠利用與正常粘膜不同的色調(diào)對病變進行強調(diào)顯示,能夠抑制病變部的遺漏等。另外,490nm 625nm這樣的數(shù)字表示在照射所述激勵光時、骨膠原等熒光物質(zhì)發(fā)出的自體熒光的波段。但是,該情況下的波段不限于此,例如由于與熒光物質(zhì)發(fā)出的熒光的波段有關(guān)的實驗結(jié)果等的變動原因,考慮波段的下限值減少O 10%左右,上限值上升O 10%左右。并且,也可以同時照射被血紅蛋白吸收的波段(540nm 560nm),生成虛擬彩色圖像。
并且,第I圖像和第2圖像也可以是拍攝了活體內(nèi)的活體內(nèi)圖像。而且,活體內(nèi)圖像中包含的特定波段也可以是紅外光的波段。具體而言為790nm 820nm或905nm 970nm的波段。由此,能夠進行被稱為IRI的紅外光觀察。在靜脈注射了容易吸收紅外光的作為紅外指示藥劑的ICG (吲哚菁綠)后,通過照射上述波段的紅外光,能夠?qū)θ祟愌劬茈y視覺辨認的粘膜深部的血管或血流信息進行強調(diào)顯示,能夠進行胃癌的深度診斷和治療方針的判定等。另外,790nm 820nm這樣的數(shù)字是根據(jù)紅外指示藥劑的吸收最強這樣的特性而求出的,905nm 970nm這樣的數(shù)字是根據(jù)紅外指示藥劑的吸收最弱這樣的特性而求出的。但是,該情況下的波段不限于此,例如由于與紅外指示藥劑的吸收有關(guān)的實驗結(jié)果等的變動原因,考慮波段的下限值減少O 10%左右,上限值上升O 10%左右。以上對應(yīng)用了本發(fā)明的5個實施方式I 5及其變形例進行了說明,但是,本發(fā)明不限于各實施方式I 5及其變形例本身,在實施階段,能夠在不脫離發(fā)明主g的范圍內(nèi)對 結(jié)構(gòu)要素進行變形而具體化。并且,通過適當組合上述各實施方式I 5和變形例所公開的多個結(jié)構(gòu)要素,能夠形成各種發(fā)明。例如,可以從各實施方式I 5和變形例所記載的全部結(jié)構(gòu)要素中刪除若干個結(jié)構(gòu)要素。進而,可以適當組合不同實施方式和變形例中說明的結(jié)構(gòu)要素。這樣,能夠在不脫離發(fā)明主g的范圍內(nèi)進行各種變形和應(yīng)用。并且,在說明書或附圖中,至少一次與更廣義或同義的不同用語(第I圖像、第2圖像等)一起記載的用語(通常光圖像、特殊光圖像等)在說明書或附圖的任意部位中,能夠置換為與其不同的用語。標號說明100 :光源部;110 白色光源;120 :會聚透鏡;130 :旋轉(zhuǎn)濾鏡;200 :插入部;210 光導(dǎo)纖維;220 :照明透鏡;230 :物鏡;240 :半透半反鏡;250 :第I攝像元件;260 :第2攝像元件;270 :阻擋濾鏡;280 :二色鏡;300 :圖像處理部;310 :AD轉(zhuǎn)換部;310a :AD轉(zhuǎn)換部;310b :AD轉(zhuǎn)換部;320 :通常光圖像取得部;321 :通常光圖像生成部;322 :通常光圖像存儲部;330 :特殊光圖像取得部;331 :特殊光圖像生成部;332 :特殊光圖像存儲部;333 :信號提取部;334 :矩陣數(shù)據(jù)設(shè)定部;340 :輸出圖像生成部;341 :關(guān)注候選區(qū)域檢測部;342 :可靠度計算部;343 :顯示方式設(shè)定部;344 :對應(yīng)部;345 :優(yōu)先度設(shè)定部;350 :控制部;400 顯示部;500 :外部 I/F 部;600 :計算機系統(tǒng);610 :主體部;611 CPU ;612 RAM ;613 =ROM ;614 HDD ;615 :CD_R0M 驅(qū)動器;616 :USB 端 ロ ;617 :1/0 接 ロ ;618 :LAN 接 ロ ;620 :顯示器;621 :顯示畫面;630 :鍵盤;640 鼠標;650 :調(diào)制解調(diào)器;660 :CD_R0M ;670 =USB存儲器;681 PC ;682 :服務(wù)器;683 :打印機;3411 :局部區(qū)域設(shè)定部;3412 :特征量計算部;3413 :分類部;3414 :區(qū)域設(shè)定部;3431 :加工部;3432 :選擇部;34311 :關(guān)注信息設(shè)定部;34312 :合成比設(shè)定部;34313 :區(qū)域選出部;34314 :區(qū)域加工部;34315 :亮度轉(zhuǎn)換部;N1 LAN/WAN ;N3 :公共線路。
權(quán)利要求
1.ー種圖像處理裝置,其特征在于,該圖像處理裝置包括 第I圖像取得部,其取得包含具有白色光波段中的信息的被攝體像的圖像,作為第I圖像; 第2圖像取得部,其取得包含具有特定波段中的信息的被攝體像的圖像,作為第2圖像; 關(guān)注候選區(qū)域檢測部,其根據(jù)所述第2圖像內(nèi)的像素的特征量,檢測應(yīng)該關(guān)注的區(qū)域的候選即關(guān)注候選區(qū)域; 可靠度計算部,其計算表示所檢測到的所述關(guān)注候選區(qū)域是關(guān)注區(qū)域的確定程度的可靠度;以及 顯示方式設(shè)定部,其進行根據(jù)計算出的所述可靠度設(shè)定輸出圖像的顯示方式的處理。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置,其特征在干, 所述顯示方式設(shè)定部進行提高與所述第2圖像的所述關(guān)注區(qū)域?qū)?yīng)的所述第I圖像的對應(yīng)關(guān)注區(qū)域的視覺辨認性的顯示方式設(shè)定處理。
3.根據(jù)權(quán)利要求I所述的圖像處理裝置,其特征在干, 所述顯示方式設(shè)定部包括加工部,該加工部根據(jù)計算出的所述可靠度和所述第I圖像,進行所述第I圖像的加工處理, 所述顯示方式設(shè)定部通過進行所述加工處理,設(shè)定所述輸出圖像的顯示方式。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置,其特征在干, 所述加工部進行提高與判斷為所述可靠度高的所述關(guān)注候選區(qū)域?qū)?yīng)的所述第I圖像內(nèi)的對應(yīng)關(guān)注區(qū)域的視覺辨認性的加工處理。
5.根據(jù)權(quán)利要求3所述的圖像處理裝置,其特征在干, 作為所述加工處理,所述加工部進行所述第I圖像與所述第2圖像的合成處理。
6.根據(jù)權(quán)利要求3所述的圖像處理裝置,其特征在干, 所述加工部包括區(qū)域選出部,該區(qū)域選出部根據(jù)所述可靠度,從所述關(guān)注候選區(qū)域檢測部檢測到的所述關(guān)注候選區(qū)域中選出所述關(guān)注區(qū)域。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置,其特征在干, 所述區(qū)域選出部根據(jù)優(yōu)先度,從所述關(guān)注區(qū)域中選出警告區(qū)域。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置,其特征在干, 根據(jù)所述可靠度、像素的特征量和應(yīng)該關(guān)注的程度中的至少ー個信息,設(shè)定所述優(yōu)先度。
9.根據(jù)權(quán)利要求7所述的圖像處理裝置,其特征在干, 所述區(qū)域選出部保持與所述警告區(qū)域的上限數(shù)有關(guān)的信息,在預(yù)測為所述警告區(qū)域超過所述上限數(shù)的情況下,不將超過該上限數(shù)的量的所述關(guān)注區(qū)域設(shè)定為所述警告區(qū)域。
10.根據(jù)權(quán)利要求9所述的圖像處理裝置,其特征在干, 所述加工部包括區(qū)域加工部, 所述區(qū)域加工部進ー步保持與所述警告區(qū)域的加工處理的優(yōu)先度有關(guān)的信息,從所述加工處理的優(yōu)先度高的警告區(qū)域起依次進行加工處理。
11.根據(jù)權(quán)利要求I所述的圖像處理裝置,其特征在干, 所述可靠度計算部根據(jù)檢測到的所述關(guān)注候選區(qū)域的尺寸,計算所述可靠度。
12.根據(jù)權(quán)利要求I所述的圖像處理裝置,其特征在干, 所述可靠度計算部根據(jù)檢測到的所述關(guān)注候選區(qū)域內(nèi)的像素的特征量,計算所述可靠度。
13.根據(jù)權(quán)利要求I所述的圖像處理裝置,其特征在干, 所述關(guān)注候選區(qū)域檢測部包括 局部區(qū)域設(shè)定部,其將所述第2圖像分割成多個局部區(qū)域;以及特征量計算部,其使用所述多個局部區(qū)域的各局部區(qū)域內(nèi)的像素的信息,計算所述各局部區(qū)域的特征量, 所述關(guān)注候選區(qū)域檢測部根據(jù)計算出的所述各局部區(qū)域的特征量,檢測所述關(guān)注候選區(qū)域。
14.根據(jù)權(quán)利要求I所述的圖像處理裝置,其特征在干, 所述關(guān)注候選區(qū)域檢測部包括 局部區(qū)域設(shè)定部,其將所述第I圖像分割成多個局部區(qū)域;以及特征量計算部,其使用與所述多個局部區(qū)域的各局部區(qū)域內(nèi)的像素對應(yīng)的第2圖像內(nèi)的像素的信息,計算所述各局部區(qū)域的特征量, 所述關(guān)注候選區(qū)域檢測部根據(jù)計算出的所述各局部區(qū)域的特征量,檢測所述關(guān)注候選區(qū)域。
15.根據(jù)權(quán)利要求13或14所述的圖像處理裝置,其特征在干, 所述關(guān)注候選區(qū)域檢測部包括分類部,該分類部按照每個局部區(qū)域?qū)τ嬎愠龅乃龈骶植繀^(qū)域的特征量與給定閾值進行比較,根據(jù)比較結(jié)果將多個局部區(qū)域分類為多個群組,所述關(guān)注候選區(qū)域檢測部檢測包含被分類為所述多個群組中的至少ー個群組的局部區(qū)域和與該局部區(qū)域相鄰的局部區(qū)域群的區(qū)域,作為所述關(guān)注候選區(qū)域。
16.根據(jù)權(quán)利要求I所述的圖像處理裝置,其特征在干, 所述關(guān)注候選區(qū)域檢測部包括特征量計算部,該特征量計算部使用所述第2圖像中包含的像素的信息,計算各像素的特征量, 所述關(guān)注候選區(qū)域檢測部根據(jù)計算出的所述各像素的特征量,檢測應(yīng)該關(guān)注的關(guān)注像素,并將至少包含檢測到的所述關(guān)注像素的區(qū)域檢測為關(guān)注候選區(qū)域。
17.根據(jù)權(quán)利要求16所述的圖像處理裝置,其特征在干, 所述關(guān)注候選區(qū)域包含檢測到的所述關(guān)注像素和從非關(guān)注像素中選擇出的像素即選擇非關(guān)注像素, 所述非關(guān)注像素是所述第2圖像中包含的像素,是未檢測為所述關(guān)注像素的像素。
18.根據(jù)權(quán)利要求17所述的圖像處理裝置,其特征在干, 所述關(guān)注候選區(qū)域檢測部選擇所述選擇非關(guān)注像素,以使得由所述關(guān)注像素和所述選擇非關(guān)注像素構(gòu)成的所述關(guān)注候選區(qū)域形成規(guī)定圖形。
19.根據(jù)權(quán)利要求5所述的圖像處理裝置,其特征在干, 所述加工部對合成處理后的圖像進行提高與判斷為所述可靠度高的所述關(guān)注候選區(qū)域?qū)?yīng)的所述第I圖像內(nèi)的所述對應(yīng)關(guān)注區(qū)域的視覺辨認性的亮度轉(zhuǎn)換處理。
20.根據(jù)權(quán)利要求5所述的圖像處理裝置,其特征在干, 所述加工部包括區(qū)域選出部,該區(qū)域選出部根據(jù)所述可靠度,從所述關(guān)注候選區(qū)域檢測部檢測到的所述關(guān)注候選區(qū)域中選出所述關(guān)注區(qū)域,并在所述第I圖像內(nèi)選出與所選出的所述關(guān)注區(qū)域?qū)?yīng)的對應(yīng)關(guān)注區(qū)域, 所述加工部對合成處理后的圖像的所述對應(yīng)關(guān)注區(qū)域以外的區(qū)域進行亮度轉(zhuǎn)換處理。
21.根據(jù)權(quán)利要求20所述的圖像處理裝置,其特征在干, 所述加工部通過降低所述對應(yīng)關(guān)注區(qū)域以外的區(qū)域中包含的像素的亮度,進行所述亮度轉(zhuǎn)換處理。
22.根據(jù)權(quán)利要求5所述的圖像處理裝置,其特征在干, 所述加工部進行提高與判斷為所述可靠度高的所述關(guān)注候選區(qū)域?qū)?yīng)的所述第I圖像內(nèi)的所述對應(yīng)關(guān)注區(qū)域的視覺辨認性的合成處理。
23.根據(jù)權(quán)利要求5所述的圖像處理裝置,其特征在干, 所述加工部包括區(qū)域選出部,該區(qū)域選出部根據(jù)所述可靠度,從所述關(guān)注候選區(qū)域檢測部檢測到的所述關(guān)注候選區(qū)域中選出所述關(guān)注區(qū)域,并在所述第I圖像內(nèi)選出與所選出的所述關(guān)注區(qū)域?qū)?yīng)的對應(yīng)關(guān)注區(qū)域, 所述加工部在所述對應(yīng)關(guān)注區(qū)域中進行所述第I圖像與所述第2圖像的合成處理。
24.根據(jù)權(quán)利要求23所述的圖像處理裝置,其特征在干, 所述加工部包括 關(guān)注信息設(shè)定部,其對檢測到的所述關(guān)注候選區(qū)域設(shè)定表示應(yīng)該關(guān)注的程度的關(guān)注信息;以及 合成比設(shè)定部,其根據(jù)所設(shè)定的所述關(guān)注信息所表示的關(guān)注程度,設(shè)定所述關(guān)注候選區(qū)域內(nèi)的所述第2圖像的像素的像素值與所述對應(yīng)關(guān)注區(qū)域內(nèi)的所述第I圖像的像素的像素值的合成比, 所述加工部進行如下的合成處理按照所設(shè)定的所述合成比,對所述對應(yīng)關(guān)注區(qū)域內(nèi)的所述第I圖像的像素的像素值合成所述關(guān)注候選區(qū)域內(nèi)的所述第2圖像的像素的像素值。
25.根據(jù)權(quán)利要求I所述的圖像處理裝置,其特征在干, 所述圖像處理裝置包括對應(yīng)部,該對應(yīng)部根據(jù)識別所述第I圖像的第I識別信息和識別所述第2圖像的第2識別信息,將所述第I圖像與所述第2圖像相對應(yīng)。
26.根據(jù)權(quán)利要求25所述的圖像處理裝置,其特征在干, 所述第I圖像取得部通過使用了白色光源的攝像而取得所述第I圖像, 所述第2圖像取得部通過使用了具有所述特定波段的光源的攝像而取得所述第2圖像, 所述第I識別信息是對所述第I圖像進行攝像的定時的信息, 所述第2識別信息是對所述第2圖像進行攝像的定時的信息, 所述對應(yīng)部將對所述第I圖像進行攝像的定時和對所述第2圖像進行攝像的定時在時間上接近的所述第I圖像與所述第2圖像相對應(yīng)。
27.根據(jù)權(quán)利要求I所述的圖像處理裝置,其特征在干, 所述特定波段是比所述白色光的波段窄的波段。
28.根據(jù)權(quán)利要求27所述的圖像處理裝置,其特征在干, 所述第I圖像和所述第2圖像是對活體內(nèi)進行了拍攝的活體內(nèi)圖像,所述活體內(nèi)圖像中包含的所述特定波段是被血液中的血紅蛋白吸收的波長的波段。
29.根據(jù)權(quán)利要求28所述的圖像處理裝置,其特征在干, 所述波段為390納米 445納米或530納米 550納米。
30.根據(jù)權(quán)利要求I所述的圖像處理裝置,其特征在干, 所述第I圖像和所述第2圖像是對活體內(nèi)進行了拍攝的活體內(nèi)圖像, 所述活體內(nèi)圖像中包含的所述特定波段是熒光物質(zhì)發(fā)出的熒光的波段。
31.根據(jù)權(quán)利要求30所述的圖像處理裝置,其特征在干, 所述特定波段是490納米 625納米的波段。
32.根據(jù)權(quán)利要求I所述的圖像處理裝置,其特征在干, 所述第I圖像和所述第2圖像是對活體內(nèi)進行了拍攝的活體內(nèi)圖像, 所述活體內(nèi)圖像中包含的所述特定波段是紅外光的波段。
33.根據(jù)權(quán)利要求32所述的圖像處理裝置,其特征在干, 所述波段是790納米 820納米或905納米 970納米的波段。
34.根據(jù)權(quán)利要求I所述的圖像處理裝置,其特征在干, 所述第2圖像取得部根據(jù)所取得的所述第I圖像生成所述第2圖像。
35.根據(jù)權(quán)利要求34所述的圖像處理裝置,其特征在干, 所述第2圖像取得部包括信號提取部,該信號提取部從所取得的所述第I圖像中提取白色光波段中的信號, 所述第2圖像取得部根據(jù)提取出的所述信號,生成包含所述特定波段中的信號的所述第2圖像。
36.根據(jù)權(quán)利要求35所述的圖像處理裝置,其特征在干, 所述第2圖像取得部包括矩陣數(shù)據(jù)設(shè)定部,該矩陣數(shù)據(jù)設(shè)定部根據(jù)所述白色光波段中的信號,設(shè)定用于計算所述特定波段中的信號的矩陣數(shù)據(jù), 所述第2圖像取得部使用所設(shè)定的所述矩陣數(shù)據(jù),根據(jù)所述白色光波段中的信號計算所述特定波段中的信號,生成所述第2圖像。
37.ー種電子設(shè)備,其特征在于,該電子設(shè)備包括權(quán)利要求I 36中的任意一項所述的圖像處理裝置。
38.一種內(nèi)窺鏡系統(tǒng),其特征在于,該內(nèi)窺鏡系統(tǒng)包括 第I光源,其對活體內(nèi)的被攝體照射白色光; 第2光源,其對活體內(nèi)的被攝體照射特定波段的光; 第I圖像取得部,其通過所述第I光源的照射,取得包含具有白色光波段中的信息的被攝體像的圖像,作為第I活體內(nèi)圖像; 第2圖像取得部,其通過所述第2光源的照射,取得包含具有特定波段中的信息的被攝體像的圖像,作為第2活體內(nèi)圖像; 關(guān)注候選區(qū)域檢測部,其根據(jù)所述第2活體內(nèi)圖像內(nèi)的像素的特征量,檢測關(guān)注區(qū)域的候選即關(guān)注候選區(qū)域; 可靠度計算部,其計算表示所檢測到的所述關(guān)注候選區(qū)域是所述關(guān)注區(qū)域的確定程度的可靠度; 顯示方式設(shè)定部,其進行根據(jù)計算出的所述可靠度設(shè)定輸出圖像的顯示方式的處理;以及 顯示部,其按照所設(shè)定的所述顯示方式顯示所述輸出圖像。
39.ー種圖像處理裝置,其特征在于,該圖像處理裝置包括 第I圖像取得部,其取得包含具有白色光波段中的信息的被攝體像的圖像,作為第I圖像; 第2圖像取得部,其取得包含具有特定波段中的信息的被攝體像的圖像,作為第2圖像; 關(guān)注區(qū)域檢測部,其根據(jù)所述第2圖像內(nèi)的像素的特征量,檢測應(yīng)該關(guān)注的區(qū)域即關(guān)注區(qū)域;以及 顯示方式設(shè)定部,其進行在與所述關(guān)注區(qū)域?qū)?yīng)的輸出圖像的對應(yīng)關(guān)注區(qū)域中顯示警告區(qū)域的處理,該警告區(qū)域發(fā)出與所述關(guān)注區(qū)域的檢測結(jié)果有關(guān)的信息。
40.ー種程序,其特征在于,該程序使計算機作為以下部分發(fā)揮功能 第I圖像取得部,其取得包含具有白色光波段中的信息的被攝體像的圖像,作為第I圖像; 第2圖像取得部,其取得包含具有特定波段中的信息的被攝體像的圖像,作為第2圖像; 關(guān)注候選區(qū)域檢測部,其根據(jù)所述第2圖像內(nèi)的像素的特征量,檢測應(yīng)該關(guān)注的區(qū)域的候選即關(guān)注候選區(qū)域; 可靠度計算部,其計算表示所檢測到的所述關(guān)注候選區(qū)域是關(guān)注區(qū)域的確定程度的可靠度;以及 顯示方式設(shè)定部,其進行根據(jù)計算出的所述可靠度設(shè)定輸出圖像的顯示方式的處理。
41.ー種程序,其特征在于,該程序使計算機作為以下部分發(fā)揮功能 第I圖像取得部,其取得包含具有白色光波段中的信息的被攝體像的圖像,作為第I圖像; 第2圖像取得部,其取得包含具有特定波段中的信息的被攝體像的圖像,作為第2圖像; 關(guān)注區(qū)域檢測部,其根據(jù)所述第2圖像內(nèi)的像素的特征量,檢測應(yīng)該關(guān)注的區(qū)域即關(guān)注區(qū)域;以及 顯示方式設(shè)定部,其進行在與所述關(guān)注區(qū)域?qū)?yīng)的輸出圖像的對應(yīng)關(guān)注區(qū)域中顯示警告區(qū)域的處理,該警告區(qū)域發(fā)出與所述關(guān)注區(qū)域的檢測結(jié)果有關(guān)的信息。
全文摘要
本發(fā)明提供如下的圖像處理裝置等能夠取得與白色光的波長區(qū)域?qū)?yīng)的第1圖像和與特定波長區(qū)域?qū)?yīng)的第2圖像,設(shè)定輸出圖像的適當?shù)娘@示方式。圖像處理裝置包括第1圖像取得部(320),其取得包含具有白色光波段中的信息的被攝體像的圖像,作為第1圖像;第2圖像取得部(330),其取得包含具有特定波段中的信息的被攝體像的圖像,作為第2圖像;關(guān)注候選區(qū)域檢測部(341),其根據(jù)第2圖像內(nèi)的像素的特征量,檢測應(yīng)該關(guān)注的區(qū)域的候選即關(guān)注候選區(qū)域;可靠度計算部(342),其計算表示所檢測到的關(guān)注候選區(qū)域是關(guān)注區(qū)域的確定程度的可靠度;以及顯示方式設(shè)定部(343),其進行根據(jù)計算出的可靠度設(shè)定輸出圖像的顯示方式的處理。
文檔編號A61B1/00GK102665526SQ20108005123
公開日2012年9月12日 申請日期2010年11月9日 優(yōu)先權(quán)日2009年11月13日
發(fā)明者吉野浩一郎, 森田惠仁 申請人:奧林巴斯株式會社