圖像處理裝置、電子設備、內窺鏡裝置、程序和圖像處理方法
【技術領域】
[0001] 本發(fā)明涉及圖像處理裝置、電子設備、內窺鏡裝置、程序和圖像處理方法等。
【背景技術】
[0002] 在使用內窺鏡裝置的活體內部的觀察、診斷中，廣泛利用通過觀察活體表面的微 小的凹凸狀態(tài)來識別是否是早期病變部的手法。并且，不僅是活體用的內窺鏡裝置，在工業(yè) 用的內窺鏡裝置中，觀察被攝體（狹義地講為被攝體表面）的凹凸構造也是有用的，例如能 夠進行在很難直接目視的管內部等產生的龜裂的檢測等。并且，在內窺鏡裝置以外的圖像 處理裝置中，多數(shù)情況下，根據(jù)作為處理對象的圖像來檢測被攝體的凹凸構造也是有用的。
[0003] 以往，作為攝像圖像的構造（例如槽等凹凸構造）的強調處理，廣泛利用對特定空 間頻率進行強調的處理，但是，該手法不適用于上述這種微小的凹凸狀態(tài)的檢測。并且，還 公知有如下手法：不是通過圖像處理來檢測凹凸狀態(tài)，而是在被攝體側產生某種變化，對變 化后的被攝體進行攝像。作為一例，存在如下手法：如果是活體用的內窺鏡裝置，則通過散 布靛胭脂等色素，對活體自身進行染色并對表層粘膜施加對比度。但是，色素散布需要勞力 時間以及成本，而且，散布的色素可能會損害被攝體本來的色彩，或者導致凹凸以外的構造 的視覺辨認性降低。進而，如果是針對活體的色素散布，則還可能產生對患者的侵襲性較高 的問題。
[0004] 在專利文獻1中公開了如下手法：對局部的提取區(qū)域的關注像素與其周邊像素的 亮度級別進行比較，在關注區(qū)域比周邊區(qū)域暗的情況下進行著色處理，由此對凹凸構造進 行強調。
[0005] 作為活體的凹凸構造的具體例，考慮使用活體表面的腺管構造（被稱為腺管開口 形態(tài)（pit pattern))。例如，在大腸的早期病變診斷中利用腺管開口形態(tài)。該診斷方法被稱 為腺管開口形態(tài)診斷，針對根據(jù)從正常狀態(tài)到病變的種類而分類為6種類型（I型~V型） 的腺管開口形態(tài)形狀，通過被觀察的腺管開口形態(tài)與哪個分類相似來進行判定。
[0006] 在專利文獻2中記載了使用內窺鏡和光探針取得三維光斷層圖像的裝置，并公開 了如下手法：根據(jù)該三維光斷層圖像，針對多個深度位置切出與活體組織的深度方向垂直 的平面的XY畫面像，根據(jù)其平均圖像對腺管開口形態(tài)形狀進行強調顯示。
[0007] 現(xiàn)有技術文獻
[0008] 專利文獻
[0009] 專利文獻1 :日本特開2003-88498號公報
[0010] 專利文獻2 :日本特開2010-68865號公報

【發(fā)明內容】

[0011] 發(fā)明要解決的課題
[0012] 專利文獻1的處理是基于如下假設的處理：在從攝像部到被攝體（活體表面）的 距離較遠的情況下，從活體表面反射的反射光量變少，從而較暗地進行攝像。由此，例如在 亮點周邊部、基于近前構造的影子的區(qū)域、血管及其周邊的粘膜等與活體表面的微細凹凸 沒有直接關系的情況下，在產生亮度變化的區(qū)域內誤檢測凹凸構造。
[0013] 并且，實施腺管開口形態(tài)診斷的情況相當于已經在篩選觀察中發(fā)現(xiàn)疑似病變部的 區(qū)域的狀態(tài)并且是使內窺鏡前端接近該區(qū)域進行精査觀察的狀態(tài)。在接近和放大觀察狀態(tài) 下，成為觀察對象的活體表面的攝像圖像的倍率增大，所以，活體與攝像部之間的相對運動 所引起的影響較大。特別是在通過專利文獻2的手法取得上述三維光斷層圖像的情況下， 由于需要進行光探針的掃描動作，所以，無法忽視由于活體與攝像部之間的相對運動而引 起的XY圖像內的腺管開口（pit)形狀的變形。因此，存在無法穩(wěn)定地計算與腺管開口形態(tài) 檢測中使用的模型圖案之間的相似度、無法取得高精度的圖像的課題。
[0014] 根據(jù)本發(fā)明的若干個方式，能夠提供根據(jù)與被攝體有關的已知特性信息和距離信 息而高精度地檢測該被攝體的凹凸部的圖像處理裝置、電子設備、內窺鏡裝置、程序和圖像 處理方法。
[0015] 用于解決課題的手段
[0016] 本發(fā)明的一個方式涉及一種圖像處理裝置，該圖像處理裝置包括：圖像取得部，其 通過攝像部的攝像而取得包含被攝體像的攝像圖像；距離信息取得部，其取得基于所述攝 像時的從所述攝像部到所述被攝體的距離的距離信息；已知特性信息取得部，其取得表示 與所述被攝體的構造有關的已知特性的信息即已知特性信息；以及凹凸確定部，其根據(jù)所 述距離信息和所述已知特性信息，進行從被攝像的所述被攝體中確定與由所述已知特性信 息確定的特性一致的所述被攝體的凹凸部的凹凸確定處理。
[0017] 在本發(fā)明的一個方式中，取得與被攝體之間的距離信息和已知特性信息，確定與 由已知特性信息確定的特性一致的被攝體的凹凸部。由此，能夠通過使用圖像處理的手法 高精度地確定凹凸部等。
[0018] 本發(fā)明的另一個方式涉及一種電子設備，該電子設備包括上述圖像處理裝置。
[0019] 本發(fā)明的另一個方式涉及一種內窺鏡裝置，該內窺鏡裝置包括上述圖像處理裝 置。
[0020] 根據(jù)本發(fā)明的另一個方式，由于能夠在攝像圖像中確定活體的凹凸部，所以，能夠 容易地發(fā)現(xiàn)病變部等。
[0021] 本發(fā)明的另一個方式涉及一種程序，該程序使計算機作為上述各部發(fā)揮功能。
[0022] 本發(fā)明的另一個方式涉及一種圖像處理方法，進行通過攝像部的攝像而取得包含 被攝體像的攝像圖像的處理；進行取得基于所述攝像時的從所述攝像部到所述被攝體的距 離的距離信息的處理；進行取得表示與所述被攝體的構造有關的已知特性的信息即已知特 性信息的處理；以及根據(jù)所述距離信息和所述已知特性信息，進行從被攝像的所述被攝體 中確定與由所述已知特性信息確定的特性一致的所述被攝體的凹凸部的凹凸確定處理。
【附圖說明】
[0023] 圖1是圖像處理裝置的系統(tǒng)結構例。
[0024] 圖2是包含第1實施方式的圖像處理裝置的內窺鏡裝置的結構例。
[0025] 圖3是第1實施方式的圖像處理部的結構例。
[0026] 圖4(A)~圖4(F)是說明第1實施方式的提取處理的圖。
[0027] 圖5是第1實施方式的距離信息取得部、凹凸信息提取部的結構例。
[0028] 圖6是包含第2實施方式的圖像處理裝置的內窺鏡裝置的結構例。
[0029] 圖7是第2實施方式的圖像處理部的結構例。
[0030] 圖8(A)~圖8(D)是說明第2實施方式的提取處理的圖。
[0031] 圖9是第2實施方式的凹凸信息提取部的結構例。
[0032] 圖10是包含第3實施方式的圖像處理裝置的內窺鏡裝置的結構例。
[0033] 圖11是第3實施方式的圖像處理部的結構例。
[0034] 圖12是第3實施方式的凹凸信息提取部的結構例。
[0035] 圖13是第3實施方式的距離信息取得部的結構例。
[0036] 圖14是包含第4實施方式的圖像處理裝置的圖像記錄再現(xiàn)裝置和膠囊內窺鏡的 結構例。
[0037] 圖15是第4實施方式的圖像處理部的結構例。
[0038] 圖16是第5實施方式的圖像處理部的結構例。
[0039] 圖17㈧是腺管構造的剖視圖的例子，圖17⑶是攝像圖像中的腺管構造的例子。 [0040] 圖18(A)、圖18⑶是求出表面形狀信息的處理的說明圖。
[0041] 圖19(A)、圖19⑶是基準圖案和修正圖案的例子。
[0042] 圖20是表面形狀計算部的結構例。
[0043] 圖21是第5實施方式的分類處理部的結構例。
[0044] 圖22是分類處理的結果即分類映射圖的例子。
[0045] 圖23是包含第6實施方式的圖像處理裝置的內窺鏡裝置的結構例。
[0046] 圖24是第6實施方式的分類處理部的結構例。
[0047] 圖25是保持多個基準圖案的情況的例子。
[0048] 圖26(A)~圖26(D)是使用多個基準圖案的情況下的分類處理的結果即分類映射 圖的例子。
[0049] 圖27㈧~圖27(F)是說明相似度計算處理的圖。
[0050] 圖28(A)~圖28(F)是腺管開口形態(tài)的例子。
【具體實施方式】
[0051] 下面，對本實施方式進行說明。另外，以下說明的本實施方式并非不合理地限定權 利要求范圍所記載的本發(fā)明的內容。并且，本實施方式中說明的全部結構不一定是本發(fā)明 的必須結構要件。
[0052] 1.本實施方式的手法
[0053] 如圖1所示，本實施方式的圖像處理裝置包括：圖像取得部390,其通過攝像部 (后述圖2的攝像部200等）的攝像而取得包含被攝體像的攝像圖像；距離信息取得部340， 其取得基于攝像時的從攝像部到被攝體的距離的距離信息；已知特性信息取得部350,其 取得表示與被攝體的構造有關的已知特性的信息即已知特性信息；以及凹凸確定部310， 其根據(jù)距離信息和已知特性信息，進行從攝像圖像中被攝像的被攝體中確定與由已知特性 信息確定的特性一致的被攝體的凹凸部的凹凸確定處理。
[0054] 這里，由凹凸確定部310確定的凹凸部可以是具有由已知特性信息確定的給定維 度（dimension)(寬度、深度、高度等）的槽或息肉等微小的凹凸構造，也可以是上述活體表 面的腺管構造（腺管開口形態(tài)）。
[0055] 首先，對將微小的凹凸構造作為對象的情況進行說明。由于距離信息取得部340 取得的距離信息是與從攝像部到被攝體的距離對應的信息，所以，如圖4(A)所示是表示被 攝體（如果是活體用的內窺鏡裝置，則為活體，特別是其表面）的構造的信息。即，距離信 息包含被攝體表面的微小的凹凸構造。
[0056] 但是，在距離信息中還包含被攝體表面的其他構造的信息。例如，利用內窺鏡裝置 觀察的活體大多是食道、大腸等管腔狀部分。該情況下，由于活體壁面成為具有給定曲率的 曲面，所以，由距離信息表示的距離包含與該情況對應的值的變動。如果是圖4(A)的例子， 則距離信息包含各種各樣的其他構造，整體表示越向右方向行進則從攝像部到被攝體的距 離越增加的構造。
[0057] 并且，在被攝體表面可能還包含與希望由本實施方式的手法確定的凹凸構造不同 的凹凸構造。例如，如圖2的2、3、4所示，在胃或大腸等活體的表面發(fā)現(xiàn)褶皺構造。在距離 信息中包含與這些褶皺構造有關的信息，但是，在本實施方式中，在使用內窺鏡裝置的觀察 中假設的凹凸部是指與這種活體表面明顯看到的構造不同維度的微小的凹凸構造。
[0058] 由此，為了在進行強調處理等時適當確定有用的凹凸部，需要適當提取包含由于 各種構造而引起的距離變動的距離信息中的與期望的凹凸構造有關的信息。在工業(yè)用的內 窺鏡裝置中也是同樣的，在距離信息中包含與圓形管的曲面相當?shù)木嚯x變動、為了使管具 有給定功能而預先挖掘的槽、由于深度較低而使得即使遺漏也不會成為障礙的損傷等的信 息，但是，也可以將它們除外，提取有用的凹凸構造作為提取凹凸信息。
[0059] 因此，本申請人提出如下手法：取得表示與被攝體的構造有關的已知特性的信息 即已知特性信息，在攝像圖像中確定與由該已知特性信息確定的特性一致的被攝體的凹凸 部。已知特性信息是能夠分離被攝體表面的構造中的本實施方式中有用的構造和沒用的構 造的信息。具體而言，可以保持上述活體壁面的曲率等信息、褶皺的維度信息等作為已知 特性信息，將距離信息中的與已知特性信息一致的信息除外，將除外處理后的信息作為提 取凹凸信息，由此確定凹凸部?；蛘撸部梢詫⒂杏玫陌纪箻嬙斓木S度信息作為已知特性信 息，在該情況下，提取距離信息中的與已知特性信息一致的信息作為提取凹凸信息，確定凹 凸部即可。即，在已知特性信息中包含與除外對象對應的信息和與提取對象對應的信息，但 是，在以下說明中，使用該雙方進行說明。這里的"由已知特性信息確定的特性"表示與提 取對象對應且不與除外對象對應的特性，例如是具有能夠明確分離提取對象和除外對象的 值作為邊界值（或具有由該邊界值決定的范圍的值）的特性。
[0060] 另外，假設典型的褶皺的尺寸或有用的凹凸構造的維度等根據(jù)作為觀察對象的部 位（如果是上部消化器官系統(tǒng)則為胃、如果是下部消化器官系統(tǒng)則為大腸等）而不同。由 此，優(yōu)選已知特性信息不是一個信息，能夠根據(jù)觀察對象進行選擇、變更等。
[0061] 并且，即使取得已知特性信息作為被攝體的實際尺寸（例如微米等單位的尺寸） 的信息，也需要進行將其轉換為圖像上（距離信息上）的尺寸的處理。例如，關于給定實際 尺寸的褶皺構造，在與攝像部較近的位置處進行攝像的情況下，圖像上的尺寸較大，與此相 對，在與攝像部較遠的位置處進行攝像的情況下，圖像上的尺寸較小。因此，在本實施方式 中，根據(jù)由距離信息表示的值（距離），自適應地變更處理。具體而言，根據(jù)距離信息的值而 自適應地控制從距離信息中提取出提取凹凸信息時使用的提取處理參數(shù)。
[0062] 接著，對確定腺管開口形態(tài)作為凹凸部的例子進行說明。另外，下面以腺管開口形 態(tài)為例進行說明，但是，本實施方式能夠廣泛應用于通過使用二維圖案的匹配處理來確定 構造物的手法，可以使用腺管開口形態(tài)以外的圖案。
[0063] 關于活體表面的腺管開口形態(tài)，如圖28(A)~圖28(F)所示，根據(jù)是正常狀態(tài)還是 異常狀態(tài)，并且在異常狀態(tài)的情況下根據(jù)病變的發(fā)展度等，得知其形狀變化。例如，如果是 正常粘膜，則如圖28 (A)所示，腺管開口形態(tài)接近圓形，當病變發(fā)展時，成為圖28 (B)的星芒 狀、圖28 (C)、圖28 (D)的管狀型這樣的復雜形狀，當進一步發(fā)展時，如圖28 (F)所示，腺管開 口形態(tài)有時消失。由此，預先保持這些典型圖案作為基準圖案，通過判定攝像圖像中被攝像 的被攝體表面與該基準圖案的相似度等，能夠判定被攝體的狀態(tài)。這種對腺管開口形態(tài)診 斷進行輔助的手法在專利文獻2等中被公開。
[0064] 但是，腺管開口形態(tài)的典型形狀和攝像圖像上的腺管開口形態(tài)的外貌不一定一 致。如上所述，在活體中包含管腔構造的壁面、褶皺等構造。由此，充分考慮攝像部的光軸 方向和活體表面不是正交的情況，該情況下，即使在活體表面存在圓形的腺管開口形態(tài)，也 認為在攝像圖像上成為橢圓形等形狀。例如，如圖17(A)所示，考慮如下情況：在活體表面 存在褶皺2,對在該褶皺2的表面看到圓形的腺管開口形態(tài)（正常腺管40)的被攝體進行攝 像。該情況下，如圖17(B)所示，由于攝像部的光軸方向與活體表面所成的角度，觀察到本 來圓形狀的腺管開口形態(tài)進行各種變形。
[0065] 根據(jù)圖17(B)可知，即使簡單地進行基準圖案與攝像圖像的匹配處理，在由于上 述理由而使腺管開口形態(tài)變形的區(qū)域中，也無法進行高精度的檢測處理。而且，由于在接 近、放大觀察時進行腺管開口形態(tài)診斷，所以，當考慮到由于攝像部與活體的相對運動而引 起的影響較大這點、以及專利文獻2的手法中需要進行光探針的掃描動作這點時，不能忽 視攝像圖像中的腺管開口形態(tài)的變形。
[0066] 因此，本申請人提出如下手法：根據(jù)已知特性信息和距離信息取得表示被攝體表 面的構造的表面形狀信息，通過利用使用該表面形狀信息設定的分類基準的分類處理來確 定凹凸部。這里，表面形狀信息表示被攝體表面的全局的構造，可以是例如圖18(B)所示的 曲面（將圖18(A)的微小的凹凸構造除外的距離信息），也可以是該曲面的法線向量的集 合。
[0067] 通過使用表面形狀信息，如圖19 (A)、圖19 (B)所示，如果在作為處理對象的被攝 體表面區(qū)域中存在基準圖案，則能夠估計出觀察到該圖案在攝像圖像上如何變形。即，關于 是否在被攝體表面看到與基準圖案對應的腺管開口形態(tài)，如圖19(B)所示，只要將通過表 面形狀信息進行變形處理后的圖案（以下為修正圖案）作為分類基準進行分類處理即可。
[0068] 另外，在以腺管開口形態(tài)為例進行說明的分類處理中，已知特性信息是腺管開口 形態(tài)，具體而言為腺管開口形狀和尺寸等信息。
[0069] 下面，對第1~第6實施方式進行說明。另外，下面，如圖2所示，以內窺鏡裝置為 例進行說明，但是，在圖1中，如上所述，本實施方式不限于內窺鏡裝置，能夠應用于圖像處 理裝置。
[0070] 第1~第4實施方式對應于使用提取凹凸信息來確定微小的凹凸構造的手法。在 第1實施方式中說明如下手法：根據(jù)從與多個視點對應的攝像圖像中得到的視差信息來取 得距離信息，并且通過形態(tài)學處理而從距離信息中提取出提取凹凸信息。在第1實施方式 中，提取處理參數(shù)成為形態(tài)學處理中使用的構造要素的尺寸。并且，在第2實施方式中說明 如下手法：使用Time of Flight (飛行時間）方式取得距離信息，并且通過濾波處理（特別 是低通濾波處理）提取出提取凹凸信息。在第2實施方式中，提取處理參數(shù)成為決定濾波 處理中使用的濾波器的頻率特性的參數(shù)。
[0071] 并且，在第3實施方式中說明如下手法：基于從與多個視點對應的攝像圖像中得 到的視差信息的手法、以及與Time of Flight方式組合而取得距離信息并且通過濾波處理 (特別是高通濾波處理）提取出提取凹凸信息的手法。并且，在第4實施方式中，對將膠囊 內窺鏡作為對象的實施方式進行說明。
[0072] 另外，距離信息的取得處理和提取凹凸信息的提取處理的組合能夠進行各種變 更。即，可以組合基于視差信息的手法和濾波處理，也可以組合Time of Flight方式和形 態(tài)學處理。除此之外，本實施方式能夠通過上述手法的任意組合來實現(xiàn)。
[0073] 并且，第5~第6實施方式對應于如下手法：通過使用表面形狀信息生成分類基準 并進行分類處理，確定凹凸部（狹義地講為腺管構造，但是不限于此）。在第5實施方式中 說明如下手法：保持正常狀態(tài)的腺管開口形態(tài)作為基準圖案，進行根據(jù)是否是正常狀態(tài)而 對攝像圖像的被攝體的各區(qū)域進行分