本公開一般涉及用于設(shè)備和設(shè)施的檢查的內(nèi)窺鏡系統(tǒng)，以及更具體來說涉及由內(nèi)窺鏡系統(tǒng)進(jìn)行的圖像捕獲。

背景技術(shù)：

諸如發(fā)電設(shè)備或設(shè)施、石油和天然氣設(shè)備和設(shè)施、飛行器設(shè)備和設(shè)施、制造設(shè)備和設(shè)施等的某些設(shè)備和設(shè)施包含多個(gè)相互關(guān)連的系統(tǒng)和過程。例如，發(fā)電廠可包含渦輪機(jī)系統(tǒng)以及用于操作和維護(hù)渦輪機(jī)系統(tǒng)的過程。同樣，石油和天然氣操作可包含經(jīng)由管線所互連的含碳燃料回收系統(tǒng)(retrieval system)和處理設(shè)備。類似地，飛機(jī)系統(tǒng)可包含在保持適航性和提供維護(hù)支持中有用的飛機(jī)和維護(hù)棚。

某些技術(shù)、例如無損檢查技術(shù)或無損測試(NDT)技術(shù)可用來檢查和促進(jìn)這類設(shè)備和設(shè)施的維護(hù)。更具體來說，這類技術(shù)可利用諸如內(nèi)窺鏡、管道鏡、搖攝-傾斜變焦照相裝置、推送照相裝置等的遠(yuǎn)程視覺檢查裝置來檢查內(nèi)部，而無需拆卸各種各樣的設(shè)備和設(shè)施。例如，內(nèi)窺鏡可用來檢查汽車引擎的內(nèi)部特征(例如對(duì)象或表面)。更具體來說，遠(yuǎn)程視覺檢查系統(tǒng)(例如內(nèi)窺鏡)可插入設(shè)備或設(shè)施的各種開口中，以提供照明、視覺觀察和/或捕獲設(shè)備或設(shè)施的內(nèi)部的圖像。

相應(yīng)地，例如通過增加所捕獲圖像的可用性來改進(jìn)遠(yuǎn)程視覺檢查系統(tǒng)的圖像捕獲能力將會(huì)是有益的。

技術(shù)實(shí)現(xiàn)要素：

下面概述其范圍與最初要求保護(hù)的本發(fā)明相稱的某些實(shí)施例。這些實(shí)施例不意圖限制要求保護(hù)的本發(fā)明的范圍，但是這些實(shí)施例而是僅意圖提供本發(fā)明的可能形式的簡單的總結(jié)。實(shí)際上，本發(fā)明可囊括可與下面闡述的實(shí)施例類似或不同的多種形式。

第一實(shí)施例提供一種有形的非暫時(shí)的計(jì)算機(jī)可讀媒介，其存儲(chǔ)由內(nèi)窺鏡的處理器可運(yùn)行的指令。指令包含用于下列的指令：使用內(nèi)窺鏡中的成像器以第一亮度級(jí)來捕獲第一多個(gè)圖像,同時(shí)顯示至少部分基于第一多個(gè)圖像的即時(shí)視頻；使用處理器通過對(duì)第一多個(gè)圖像平均或合計(jì)來生成基線圖像；使用成像器以多個(gè)亮度級(jí)來捕獲第二多個(gè)圖像，其中多個(gè)亮度級(jí)與第一亮度級(jí)不同；以及使用處理器至少部分基于基線圖像和第二多個(gè)圖像來生成高動(dòng)態(tài)范圍圖像，其中高動(dòng)態(tài)范圍圖像包括比基線圖像更不飽和的像素。

第二實(shí)施例提供一種遠(yuǎn)程視覺檢查系統(tǒng)中的處理器，其通過對(duì)第一多個(gè)圖像平均或合計(jì)來生成基線圖像，其中第一多個(gè)圖像使用遠(yuǎn)程視覺檢查系統(tǒng)的成像器以第一亮度級(jí)來捕獲，至少部分基于第一多個(gè)圖像來生成即時(shí)視頻饋送，并且使用來自基線圖像的不飽和像素?cái)?shù)據(jù)以及來自第二多個(gè)圖像的至少一個(gè)的不飽和像素?cái)?shù)據(jù)來生成高動(dòng)態(tài)范圍圖像，其中第二多個(gè)圖像使用成像器以與第一亮度級(jí)不同的亮度級(jí)來捕獲。

第三實(shí)施例提供一種遠(yuǎn)程視覺檢查系統(tǒng)，其包含：成像器，其通過將光轉(zhuǎn)換為模擬圖像數(shù)據(jù)來提供圖像；模數(shù)轉(zhuǎn)換器，其將模擬圖像數(shù)據(jù)轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)；以及處理器，其捕獲和處理數(shù)字圖像數(shù)據(jù)，以生成多個(gè)圖像。遠(yuǎn)程視覺檢查系統(tǒng)還包含顯示器，其顯示描繪接近成像器的特征的即時(shí)視頻，其中即時(shí)視頻至少部分基于使用成像器以第一亮度級(jí)所捕獲的圖像，其中所捕獲的圖像用來生成基線圖像,并且其將由處理器所生成的多個(gè)圖像作為縮略圖來顯示，其中多個(gè)圖像包含基線圖像和高動(dòng)態(tài)范圍圖像，其通過替換基線圖像中的飽和像素來生成。

附圖說明

在參照附圖閱讀下面的詳細(xì)描述，將變得更好地理解本發(fā)明的這些及其他特征、方面和優(yōu)點(diǎn)，附圖中，相似字符在附圖中通篇表示相似部件，附圖包括：

圖1是圖示按照實(shí)施例的內(nèi)窺鏡系統(tǒng)的框圖；

圖2是按照實(shí)施例的用于在圖1的內(nèi)窺鏡系統(tǒng)中生成圖像的過程的流程圖；

圖3是按照實(shí)施例的用于在圖1的內(nèi)窺鏡系統(tǒng)中生成圖像的備選過程的流程圖；

圖4是按照實(shí)施例的由圖1的內(nèi)窺鏡系統(tǒng)所顯示的多個(gè)所捕獲圖像的屏幕視圖；以及

圖5是按照實(shí)施例的用于顯示圖4的屏幕視圖的過程的流程圖。

具體實(shí)施方式

下面將描述本發(fā)明的一個(gè)或多個(gè)特定實(shí)施例。致力于提供這些實(shí)施例的簡明描述，本說明書中可能沒有描述實(shí)際實(shí)現(xiàn)的所有特征。應(yīng)當(dāng)領(lǐng)會(huì)，在任何這種實(shí)際實(shí)現(xiàn)的開發(fā)中，如同任何工程或設(shè)計(jì)項(xiàng)目中，必須進(jìn)行許多實(shí)現(xiàn)特定的判定以便實(shí)現(xiàn)開發(fā)人員的特定目標(biāo)，例如符合系統(tǒng)相關(guān)和業(yè)務(wù)相關(guān)約束，這些目標(biāo)可從一個(gè)實(shí)現(xiàn)變化到另一個(gè)。此外，應(yīng)當(dāng)領(lǐng)會(huì)，這種開發(fā)努力可能是復(fù)雜的且費(fèi)時(shí)的，但對(duì)于獲益于本公開的技術(shù)人員仍然將會(huì)是設(shè)計(jì)、制作和制造的常規(guī)事務(wù)。

在引入本發(fā)明的各個(gè)實(shí)施例的元件時(shí)，冠詞“一”、“一個(gè)”、“該”和“所述”意圖表示存在元件的一個(gè)或多個(gè)。術(shù)語“包括”、“包含”和“具有”意圖包含在內(nèi)，并且表示可存在除了所列的元件之外的附加元件。

本公開的實(shí)施例可應(yīng)用于多種檢查技術(shù)和系統(tǒng)，包含無損測試(NDT)技術(shù)/系統(tǒng)。在NDT系統(tǒng)的一些實(shí)施例中，遠(yuǎn)程視覺檢查系統(tǒng)(例如內(nèi)窺鏡)可用來促進(jìn)設(shè)備和設(shè)施(例如發(fā)電設(shè)備和設(shè)施、石油和天然氣設(shè)備和設(shè)施以及飛行器設(shè)備和設(shè)施)的測試和/或檢查。更具體來說，遠(yuǎn)程視覺檢查系統(tǒng)可提供與設(shè)備或設(shè)施的內(nèi)部特征(例如對(duì)象或表面)相關(guān)的照明、可視化和/或其他數(shù)據(jù)。

為了促進(jìn)這類功能，遠(yuǎn)程視覺檢查系統(tǒng)通常包含照明裝置(例如光源)和圖像捕獲裝置(例如成像器)。更具體來說，成像器可用來捕獲接近成像器的特征、對(duì)象或表面的圖像和/或視頻。例如，當(dāng)內(nèi)窺鏡探頭插入到汽車引擎中時(shí)，成像器可用來捕獲引擎內(nèi)部的閥的圖像。由于內(nèi)部特征常常阻隔外部光，所以光源、例如發(fā)光二極管(LED)可在圖像和/或視頻捕獲期間為成像器提供照明。如能夠領(lǐng)會(huì)，在一些實(shí)施例中，照明可由外部源、例如外部照明裝置或自然光來提供。

基于這些所捕獲圖像，遠(yuǎn)程視覺檢查系統(tǒng)的用戶則可執(zhí)行設(shè)備或設(shè)施的測試和/或檢查。例如，檢查圖像可用來提供汽車引擎中的閥的視覺描繪。另外，測量圖像可用來生成閥的3D表示(例如點(diǎn)云數(shù)據(jù)/圖像或深度剖面(profile))。更具體來說，測量圖像可采取若干不同形式。例如，立體測量圖像可通過立體光學(xué)器件與單個(gè)成像器或者與各具有它們自己的光學(xué)器件的多個(gè)成像器的使用來捕獲。另外，可在光圖案投射到被查看表面或?qū)ο髸r(shí)捕獲結(jié)構(gòu)化光測量圖像。更具體來說，所投射光圖案可在所捕獲圖像中檢測，并且用來確定3D表面數(shù)據(jù)。

各種技術(shù)可用來投射結(jié)構(gòu)化光圖案。例如，在一些實(shí)施例中，結(jié)構(gòu)化光圖案可使用均勻檢查光源來投射。在其他實(shí)施例中，單獨(dú)光源、例如發(fā)射器模塊可用來僅在測量圖像捕獲期間投射結(jié)構(gòu)化光圖案。在另外的實(shí)施例中，當(dāng)結(jié)構(gòu)化光圖案相對(duì)于均勻檢查光具有充分強(qiáng)度時(shí)，單獨(dú)光源可與均勻檢查光源同時(shí)啟用。這種結(jié)構(gòu)化光圖案可包含使用準(zhǔn)直光源(例如具有圖案生成光學(xué)元件(例如衍射光學(xué)器件)的激光器)所生成的線條或點(diǎn)。更進(jìn)一步，當(dāng)由均勻檢查光源所提供的照明可降低所投射的結(jié)構(gòu)化光圖案的可用性時(shí)，均勻檢查光源可在啟用結(jié)構(gòu)化光源時(shí)被停用。當(dāng)結(jié)構(gòu)化光圖案的譜與均勻檢查光源的譜重疊或者不能易于區(qū)分時(shí)，情況通常將會(huì)是這樣。

但是，在一些情況下，可阻礙所捕獲圖像的可用性，因?yàn)樗鼈儧]有準(zhǔn)確捕獲目標(biāo)特征。更具體來說，所捕獲圖像的部分或全部可以是飽和亮或飽和暗，這可使目標(biāo)特征的細(xì)節(jié)模糊。例如，汽車引擎內(nèi)部的焊接可因焊接的高反射率而使圖像為飽和亮(例如“模糊”)。

相應(yīng)地，本公開的一個(gè)實(shí)施例描述一種遠(yuǎn)程視覺檢查系統(tǒng)，其以第一亮度級(jí)來捕獲第一多個(gè)圖像同時(shí)顯示至少部分基于第一多個(gè)圖像的即時(shí)視頻，并且通過對(duì)第一多個(gè)圖像平均或合計(jì)來生成基線圖像。另外，遠(yuǎn)程視覺檢查系統(tǒng)以多個(gè)亮度級(jí)來捕獲第二多個(gè)圖像，其中多個(gè)亮度級(jí)與第一亮度級(jí)不同，并且至少部分基于基線圖像和第二多個(gè)圖像來生成高動(dòng)態(tài)范圍圖像，使得高動(dòng)態(tài)范圍圖像包括比基線圖像更不飽和的像素。

換言之，如下面將更詳細(xì)描述，本文所述技術(shù)通過生成具有更不飽和像素的高動(dòng)態(tài)范圍圖像來改進(jìn)由遠(yuǎn)程視覺檢查系統(tǒng)所捕獲的圖像的可用性。因此，高動(dòng)態(tài)范圍圖像允許目標(biāo)特征的細(xì)節(jié)更易于識(shí)別。此外，可通過基于多個(gè)圖像生成高動(dòng)態(tài)范圍圖像來改進(jìn)生成高動(dòng)態(tài)范圍圖像的效率,該多個(gè)圖像被捕獲同時(shí)在顯示即時(shí)視頻。例如，在一些實(shí)施例中，多個(gè)圖像可連續(xù)被捕獲，并且甚至在接收任何捕獲圖像命令之前作為合計(jì)或平均圖像來存儲(chǔ)或者個(gè)別存儲(chǔ)。

為了幫助圖示，圖1描述可利用本文所述的技術(shù)的內(nèi)窺鏡系統(tǒng)10。在一些實(shí)施例中，內(nèi)窺鏡系統(tǒng)10可以是從通用電氣公司(斯卡奈塔，NY)可得到的XL GO+ VideoProbe、XLG3 VideoProbe、XL Vu VideoProbe等。應(yīng)當(dāng)領(lǐng)會(huì)，雖然本實(shí)施例描述一種內(nèi)窺鏡系統(tǒng)，但是該內(nèi)窺鏡系統(tǒng)只是意圖是說明性的。換言之，其他適當(dāng)遠(yuǎn)程視覺檢查系統(tǒng)(例如搖攝-傾斜-變焦照相裝置、推送照相裝置或管道鏡)也可利用本文所述的技術(shù)。

如所描繪，內(nèi)窺鏡系統(tǒng)10包含插入管12和基本組合件14。如本文所使用的插入管12描述內(nèi)窺鏡系統(tǒng)10中插入到設(shè)備或設(shè)施中的部分。因此，插入管12通常是長的和/或柔性的，并且包含探頭(例如尖端)15的遠(yuǎn)尖端中的成像組件。更具體來說，在一些實(shí)施例中，探頭15可以是在插入管12的遠(yuǎn)端處的可分離部分。另一方面，基本組合件14通常包含用于處理由插入管12的組件(例如圖像處理組件)所采集的電子電路系統(tǒng)。

相應(yīng)地，如所描繪，插入管12包含成像器16、成像器電子器件18、透鏡20、發(fā)射器模塊22、光纖束24和擴(kuò)散器26。在一些實(shí)施例中，內(nèi)窺鏡系統(tǒng)10可經(jīng)由光纖束24和擴(kuò)散器26將擴(kuò)散的或均勻光圖案投射到探頭15的遠(yuǎn)端的前面的目標(biāo)特征(例如表面或?qū)ο?上。例如，光纖束24可經(jīng)過插入管12來攜帶由白光源28所產(chǎn)生的光，并且擴(kuò)散器26可將均勻光圖案投射到表面或?qū)ο笊?。在一些?shí)施例中，白光源28可以是發(fā)光二極管(LED)。如同所描繪的實(shí)施例中一樣，白光源28可位于基本組合件14中。備選地，白光源28也可包含在插入管12或探頭尖端15中。

除了提供擴(kuò)散的或均勻光圖案之外，內(nèi)窺鏡系統(tǒng)10還可將結(jié)構(gòu)化光圖案投射到探頭尖端15的遠(yuǎn)端的前面的表面或?qū)ο?例如特征)上。在一些實(shí)施例中，所投射的結(jié)構(gòu)化光圖案可包含具有正弦強(qiáng)度的平行明與暗線條(例如區(qū)域)的圖案。另外地或備選地，光圖案可具有正方形剖面、梯形剖面、三角形剖面、彎曲線條、波形線條、曲折線條或者可用來生成3D點(diǎn)云數(shù)據(jù)的任何其他這種圖案。

在一些實(shí)施例中，結(jié)構(gòu)化光圖案可經(jīng)由發(fā)射器模塊22來投射。更具體來說，發(fā)射器模塊22可包含一個(gè)或多個(gè)發(fā)光元件、例如LED。例如，發(fā)射器模塊22可包含輸出光的單個(gè)發(fā)光元件，光經(jīng)過強(qiáng)度調(diào)制元件、例如線條光柵，以生成結(jié)構(gòu)化光圖案。另外地或備選地，發(fā)射器模塊22可包含多個(gè)發(fā)光元件，其在策略上放置成生成結(jié)構(gòu)化光圖案。此外，發(fā)射器模塊可產(chǎn)生多個(gè)不同的結(jié)構(gòu)化光圖案，使得每個(gè)結(jié)構(gòu)化光圖案相對(duì)于其他結(jié)構(gòu)化光圖案經(jīng)過相移。

對(duì)發(fā)射器模塊22的操作的控制可由發(fā)射器驅(qū)動(dòng)器30來提供。更具體來說，發(fā)射器驅(qū)動(dòng)器30可有選擇地向發(fā)射器模塊22供應(yīng)功率，以產(chǎn)生結(jié)構(gòu)化光圖案。例如，當(dāng)發(fā)射器模塊22包含多個(gè)發(fā)光元件時(shí)，發(fā)射器驅(qū)動(dòng)器30可有選擇地向發(fā)光元件的每個(gè)供應(yīng)功率，以產(chǎn)生不同的結(jié)構(gòu)化光圖案。如上所述，在一些實(shí)施例中，在向發(fā)射器模塊22中的發(fā)光元件供電時(shí)，可停用白光源28，以降低從擴(kuò)散器26所輸出的光降低所投射的結(jié)構(gòu)化光圖案的對(duì)比度的可能性。在一些實(shí)施例中，可捕獲和處理結(jié)構(gòu)化光圖像，以確定3D表面數(shù)據(jù)。

如上所述，成像器16連同成像器電子器件18一起可用來基于投射到插入管12的遠(yuǎn)端的前面的表面或?qū)ο笊系墓鈭D案來捕獲不同圖像。更具體來說，透鏡20可將光聚焦到成像器16上，以及成像器16可包含光敏像素的二維陣列，其輸出模擬圖像數(shù)據(jù)(例如模擬信號(hào))，以指示在每個(gè)像素所感測的光等級(jí)。因此，成像器16可以是電荷耦合裝置(CCD)圖像傳感器、互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)圖像傳感器或者具有類似功能的圖像傳感器。

換言之，成像器16可促進(jìn)靜止圖像和/或視頻的捕獲和顯示。例如，成像器16可用來在投射均勻或擴(kuò)散的光圖案時(shí)捕獲檢查圖像。另一方面，成像器16可用來在投射結(jié)構(gòu)化光圖案時(shí)捕獲測量圖像。另外，在一些實(shí)施例中，多個(gè)透鏡20和多個(gè)成像器16可用來捕獲立體圖像。在其他實(shí)施例中，立體圖像可使用具有立體透鏡系統(tǒng)(其可包含圖像分束棱鏡、平行透鏡系統(tǒng)和反射鏡)的單個(gè)成像器16來捕獲。

為了促進(jìn)圖像和/或視頻的捕獲和顯示，基本組合件14中的組件可處理由成像器電子器件18所輸出的模擬圖像數(shù)據(jù)，并且向插入管12中的組件供應(yīng)控制命令(例如指令)。為了促進(jìn)這類功能，如所描繪，基本組合件14包含白光源28、發(fā)射器驅(qū)動(dòng)器30、成像器接口32、微控制器34、視頻處理器36、中央處理單元(CPU)38、存儲(chǔ)器40、存儲(chǔ)裝置42、操縱桿44、小鍵盤46、網(wǎng)絡(luò)接口48和顯示器50。

在操作中，成像器電子器件18可緩沖由成像器16所輸出的模擬圖像數(shù)據(jù)并且將其傳遞給成像器接口32。成像器接口32然后可將模擬圖像數(shù)據(jù)轉(zhuǎn)換為數(shù)字圖像數(shù)據(jù)，用于由視頻處理器36進(jìn)一步處理。相應(yīng)地，成像器接口32可包含模數(shù)轉(zhuǎn)換器。在一些實(shí)施例中，成像器接口32還可包含模擬增益電路系統(tǒng)和相互關(guān)連雙取樣器。

除了處理模擬圖像數(shù)據(jù)之外，成像器接口32還可向成像器16傳送控制命令。更具體來說，成像器接口32可將控制命令從微控制器34中繼給成像器16。例如，微控制器34可指示成像器16經(jīng)由成像器接口32以特定亮度級(jí)來捕獲圖像。更具體來說，當(dāng)成像器16是CCD成像器時(shí)，指令可采取模擬快門控制信號(hào)的形式。另外地或備選地，當(dāng)成像器16是CMOS成像器時(shí)，指令可以是使用I2C、SPI或者其他這種通信接口的串行化消息數(shù)據(jù)分組。換言之，微控制器34通?？煽刂瞥上衿?6的操作。

另外，微控制器34還可控制成像器接口32、發(fā)射器驅(qū)動(dòng)器30和白光源28的操作。例如，微控制器34可指示發(fā)射器驅(qū)動(dòng)器30經(jīng)由發(fā)射器模塊22來產(chǎn)生結(jié)構(gòu)化光圖案，其用于捕獲測量圖像。類似地，微控制器34可指示白光源28產(chǎn)生均勻光圖案，其用于捕獲檢查圖像。如上所述，結(jié)構(gòu)化光圖案和均勻光圖案可同時(shí)或者在不同時(shí)間輸出。換言之，微控制器34通?？蓞f(xié)調(diào)和控制圖像的捕獲。

如上所述，視頻處理器36可處理由成像器接口32所輸出的數(shù)字圖像數(shù)據(jù)。在一些實(shí)施例中，視頻處理器36可以是由Texas Instruments (Dallas，TX)所提供的TMS320DM642視頻/成像定點(diǎn)數(shù)字信號(hào)處理器。更具體來說，視頻處理器36可執(zhí)行諸如圖像捕獲、顏色矩陣處理、伽馬處理、生成視頻數(shù)據(jù)和運(yùn)動(dòng)檢測的功能。例如，視頻處理器36可通過將數(shù)字圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器40和/或存儲(chǔ)裝置42中來捕獲圖像。

另外，視頻處理器36可通過將第一圖像與相同類型的第二圖像(例如檢查圖像或測量圖像)進(jìn)行比較來檢測運(yùn)動(dòng)。另外地或備選地，視頻處理器36可識(shí)別測量圖像中的銳亮度轉(zhuǎn)變點(diǎn)的位置，并且將它與檢查圖像中的銳亮度轉(zhuǎn)變的位置進(jìn)行比較。在一些實(shí)施例中，移動(dòng)量可基于在圖像之間是不同的像素值的數(shù)量和/或特征在圖像之間已經(jīng)移動(dòng)的像素的數(shù)量。例如，在像素位置(50, 50)的第一像素中和在相對(duì)相同位置(例如像素位置(51, 50）或(49, 50))的第二圖像中描繪特征的可識(shí)別的細(xì)節(jié)(例如銳亮度轉(zhuǎn)變)時(shí)，可確定尚未存在圖像之間的充分移動(dòng)。另一方面，在基本上不同位置(例如像素位置(60, 50))的第二圖像中描繪特征的可識(shí)別的細(xì)節(jié)(例如銳亮度轉(zhuǎn)變)時(shí)，可確定存在圖像之間的充分移動(dòng)。

此外，視頻處理器36可格式化數(shù)字圖像數(shù)據(jù)，并且向顯示器50輸出圖像數(shù)據(jù)。基于圖像數(shù)據(jù)，顯示器50則可顯示由成像器16所捕獲的靜止圖像。此外，視頻處理器36可利用數(shù)字圖像數(shù)據(jù)來生成視頻數(shù)據(jù)，并且向顯示器50輸出視頻數(shù)據(jù)?；谝曨l數(shù)據(jù)，顯示器50可顯示即時(shí)視頻。在一些實(shí)施例中，視頻數(shù)據(jù)可以是BT656視頻格式，以及視頻數(shù)據(jù)中攜帶的數(shù)據(jù)可具有422YCRCB數(shù)據(jù)格式。另外，在一些實(shí)施例中，顯示器50可以是可分離的，而在其他實(shí)施例中，顯示器50可以是基本組合件14或內(nèi)窺鏡系統(tǒng)10的組成部分。

除了向顯示器50供應(yīng)圖像數(shù)據(jù)和/或視頻數(shù)據(jù)之外，CPU 38可從視頻處理器36接收?qǐng)D像數(shù)據(jù)用于進(jìn)一步處理。在一些實(shí)施例中，CPU 38可以是由Intel Corp. (Santa Clara，CA)所提供的Pentium M處理器。換言之，與視頻處理器36相比，CPU 38可具有更大的處理能力。相應(yīng)地，CPU 38可執(zhí)行諸如幀平均、縮放、圖像縮放、覆蓋、合并、圖像翻轉(zhuǎn)、圖像增強(qiáng)(例如高動(dòng)態(tài)范圍圖像的生成)和失真校正的功能。

應(yīng)當(dāng)領(lǐng)會(huì)，雖然微處理器34、視頻處理器36和CPU 38描述為單獨(dú)組件，但是它們執(zhí)行的功能可由任何數(shù)量的處理器、例如單個(gè)通用處理器來實(shí)現(xiàn)。因此，微控制器34、視頻處理器36和CPU 38可個(gè)別或共同包含一個(gè)或多個(gè)“通用”微處理器、一個(gè)或多個(gè)專用微處理器、一個(gè)或多個(gè)專用微處理器(ASIC)、一個(gè)或多個(gè)現(xiàn)場可編程門陣列(FPGA)或者它們的任何組合。因此，為了簡化論述，它們可統(tǒng)稱為內(nèi)窺鏡系統(tǒng)10中的“處理器”。換言之，如本文所使用的處理器可表示任何數(shù)量的處理組件。

為了促進(jìn)執(zhí)行所述功能的每個(gè)，處理器(例如微控制器34、視頻處理器36和/或CPU 38)可檢索和運(yùn)行非暫時(shí)的計(jì)算機(jī)可讀媒介、例如存儲(chǔ)器40或存儲(chǔ)裝置42中存儲(chǔ)的指令。通常，存儲(chǔ)器40和存儲(chǔ)裝置可存儲(chǔ)信息，例如待處理的數(shù)據(jù)(例如圖像數(shù)據(jù))和/或可運(yùn)行的指令。相應(yīng)地，存儲(chǔ)器40可包含易失性存儲(chǔ)器(例如隨機(jī)存取存儲(chǔ)器(RAM)或者非易失性存儲(chǔ)器(例如只讀存儲(chǔ)器(ROM))。另外，存儲(chǔ)裝置42可包含閃速存儲(chǔ)器、網(wǎng)絡(luò)驅(qū)動(dòng)器、硬盤驅(qū)動(dòng)器或者任何其他光、磁和/或固態(tài)存儲(chǔ)媒體或者它們的任何組合。

如上所述，顯示器50可顯示圖像和/或視頻用于用戶查看。換言之，更一般來說，內(nèi)窺鏡系統(tǒng)10可與用戶傳遞所捕獲信息。更具體來說，內(nèi)窺鏡系統(tǒng)10可例如通過在顯示器50上顯示信息(例如圖像或視頻)，向基本組合件14處的操作員輸出信息。另外，內(nèi)窺鏡系統(tǒng)10可從基本組合件14處的操作員接收輸入信息。更具體來說，操作員可經(jīng)由操縱桿44和/或小鍵盤46向內(nèi)窺鏡系統(tǒng)10提供控制命令。例如，操作員可通過移動(dòng)操縱桿44來致動(dòng)探頭15，或者可使用小鍵盤46進(jìn)行菜單選擇。另外，在一些實(shí)施例中，顯示器50可結(jié)合提供用戶輸入的觸敏機(jī)構(gòu)(例如觸摸屏)來提供。例如，操作員可經(jīng)由觸敏機(jī)構(gòu)來選擇內(nèi)窺鏡系統(tǒng)10或者與其交互。

另外，內(nèi)窺鏡系統(tǒng)10可與遠(yuǎn)程用戶、例如遠(yuǎn)程計(jì)算機(jī)(例如計(jì)算裝置)處的用戶進(jìn)行通信。例如，內(nèi)窺鏡系統(tǒng)10可使用網(wǎng)絡(luò)接口48與遠(yuǎn)程計(jì)算裝置形成網(wǎng)絡(luò)。在一些實(shí)施例中，網(wǎng)絡(luò)接口48可提供通過無線802.11標(biāo)準(zhǔn)的無線組網(wǎng)(例如個(gè)人區(qū)域網(wǎng)絡(luò)(例如藍(lán)牙)、局域網(wǎng)(LAN)或者廣域網(wǎng)(WAN))或者提供通過任何其他適當(dāng)組網(wǎng)標(biāo)準(zhǔn)的無線組網(wǎng)(例如增強(qiáng)GSM演進(jìn)數(shù)據(jù)速率(EDGE)網(wǎng)絡(luò)或3G數(shù)據(jù)網(wǎng)絡(luò))。

換言之，用戶可遠(yuǎn)程查看和/或處理所捕獲信息以及向內(nèi)窺鏡系統(tǒng)10遠(yuǎn)程發(fā)出控制命令。例如，在一些實(shí)施例中，用戶可利用遠(yuǎn)程計(jì)算裝置的處理能力以進(jìn)一步處理由內(nèi)窺鏡系統(tǒng)10所捕獲的圖像或視頻。另外，用戶可采用遠(yuǎn)程計(jì)算裝置處的顯示器來查看由內(nèi)窺鏡系統(tǒng)10所捕獲的圖像或視頻。換言之，顯示由內(nèi)窺鏡系統(tǒng)10所捕獲的視頻和/或圖像的顯示器可以是遠(yuǎn)程的和/或可分離的。

如上所述，在一些情況下，如果目標(biāo)特征的細(xì)節(jié)被飽和像素遮掩，則可阻礙由內(nèi)窺鏡系統(tǒng)10所捕獲的圖像和/或視頻的可用性。用于改進(jìn)所捕獲的圖像和/或視頻的可用性的過程52的一個(gè)實(shí)施例在圖2中描述。通常，過程52包含以單個(gè)亮度級(jí)來捕獲第一多個(gè)圖像同時(shí)顯示即時(shí)視頻(過程框54)，生成基線圖像(過程框56)，以多個(gè)亮度級(jí)來捕獲第二多個(gè)圖像(過程框58)，并且生成高動(dòng)態(tài)范圍圖像(過程框60)。在一些實(shí)施例中，過程52可經(jīng)由有形的非暫時(shí)的存儲(chǔ)器40或存儲(chǔ)裝置42中存儲(chǔ)并且由內(nèi)窺鏡系統(tǒng)10中的處理器(例如微控制器34、視頻處理器36、CPU 38或者遠(yuǎn)程計(jì)算裝置中的處理器)所運(yùn)行的計(jì)算機(jī)可讀指令來實(shí)現(xiàn)。

相應(yīng)地，處理器(例如微控制器34)可指示內(nèi)窺鏡系統(tǒng)10以便以單個(gè)亮度級(jí)來捕獲第一多個(gè)圖像(過程框54)。取決于具體實(shí)現(xiàn)，第一多個(gè)圖像可以是任何適當(dāng)類型的圖像，例如測量圖像、結(jié)構(gòu)化光圖像、立體圖像或者它們的任何組合。因此，在一些實(shí)施例中，微控制器34可指示白光源28和/或發(fā)射器驅(qū)動(dòng)器30以便以預(yù)期照明等級(jí)來產(chǎn)生預(yù)期的光圖案。

另外，微控制器34可指示成像器16開始捕獲圖像，其輸出表示由成像器16所捕獲的光的模擬圖像數(shù)據(jù)。更具體來說，所捕獲的圖像可具有特定亮度級(jí)，其可通過調(diào)整照明等級(jí)、成像器16的曝光時(shí)間、應(yīng)用于模擬圖像數(shù)據(jù)的增益或者它們的任何組合來調(diào)整。相應(yīng)地，為了以相同亮度級(jí)來捕獲第一多個(gè)圖像，微控制器34可指示成像器16使用特定曝光時(shí)間、光源(例如白光源28或發(fā)射器模塊22)來提供特定照明等級(jí)，以及指示成像器接口32對(duì)模擬圖像數(shù)據(jù)應(yīng)用特定增益。如上所述，模擬圖像數(shù)據(jù)然后可由成像器接口32轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)并且供應(yīng)給視頻處理器36。

在接收數(shù)字圖像數(shù)據(jù)時(shí)，處理器(例如視頻處理器36)可捕獲圖像，并且指示顯示器50顯示即時(shí)視頻(過程框54)。更具體來說，在一些實(shí)施例中，視頻處理器36可通過將數(shù)字圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器40和/或存儲(chǔ)裝置42中來捕獲圖像。另外，視頻處理器36可通過輸出視頻數(shù)據(jù)來指示顯示器50顯示視頻。更具體來說，在一些實(shí)施例中，視頻處理器36可基于數(shù)字圖像數(shù)據(jù)來生成視頻數(shù)據(jù)。例如，當(dāng)?shù)谝欢鄠€(gè)圖像是快速連續(xù)地捕獲的靜止圖像時(shí)，視頻處理器36可通過指示顯示器50快速連續(xù)地顯示圖像來生成視頻。實(shí)際上，在一些實(shí)施例中，捕獲圖像的時(shí)間到它被顯示的時(shí)間之間的時(shí)長較短(例如，當(dāng)捕獲圖像時(shí)之后的一毫秒之內(nèi))，這使視頻能夠作為即時(shí)視頻實(shí)時(shí)地或者近實(shí)時(shí)地顯示。

除了使用第一多個(gè)圖像來顯示視頻之外，處理器(例如CPU 38或視頻處理器36)可使用第一多個(gè)圖像來生成基線圖像。更具體來說，可生成基線圖像，以降低存在于第一多個(gè)圖像之一中的噪聲。相應(yīng)地，可使用降低圖像中的噪聲的各種技術(shù)，例如對(duì)第一多個(gè)圖像平均或合計(jì)。更具體來說，由于噪聲通常是隨機(jī)的，所以對(duì)第一多個(gè)圖像共同平均或合計(jì)將強(qiáng)調(diào)實(shí)際存在的特征并且降低由噪聲所引起的偽影。

在一些實(shí)施例中，可在啟用白光源28時(shí)捕獲第一多個(gè)圖像。換言之，第一多個(gè)圖像可以是檢查圖像。因此，從多個(gè)檢查圖像所生成的基線圖像也可以是檢查圖像。在其他實(shí)施例中，當(dāng)使用立體光學(xué)器件時(shí)，第一多個(gè)圖像可以是立體測量圖像。因此，基線圖像也可以是立體測量圖像。在另外實(shí)施例中，當(dāng)投射結(jié)構(gòu)化光圖像時(shí)，例如當(dāng)結(jié)構(gòu)化光圖像相對(duì)于均勻檢查光具有充分強(qiáng)度時(shí)，可捕獲第一多個(gè)圖像。因此，基線圖像可包含結(jié)構(gòu)化光圖案。

為了幫助圖示，可通過將多個(gè)圖像中的每個(gè)圖像的每個(gè)像素位置處的像素值相加來合計(jì)多個(gè)圖像。因此，實(shí)際存在的特征與噪聲相比將變得更亮，因?yàn)樗鼈儗⒋嬖谟诙鄠€(gè)圖像的每個(gè)中，而噪聲不是。另外，可通過合計(jì)多個(gè)圖像并且將像素值除以共同合計(jì)的圖像的數(shù)量來對(duì)多個(gè)圖像平均。因此，使用合計(jì)或者平均來生成基線圖像以如下事實(shí)為前提：通常使用的圖像按照相同方式描繪特征。換言之，用來生成基線圖像的第一多個(gè)圖像的每個(gè)可采用相對(duì)于特征處于基本上相同的位置的探頭15(例如成像器16)來捕獲。因此，可采用當(dāng)尚未存在通過探頭15或特征的充分移動(dòng)時(shí)捕獲的圖像來生成基線圖像。

但是，在一些實(shí)施例中，內(nèi)窺鏡系統(tǒng)10甚至當(dāng)存在特征相對(duì)于成像器16的移動(dòng)時(shí)也可繼續(xù)捕獲圖像并且顯示視頻。換言之，在這類實(shí)施例中，所捕獲并且用來顯示視頻的并非全部圖像用來生成基線圖像。然而，在一些實(shí)施例中，當(dāng)所檢測的移動(dòng)是輕微的時(shí)，內(nèi)窺鏡系統(tǒng)10可嘗試通過在合計(jì)或者平均之前平移或旋轉(zhuǎn)所捕獲的圖像來補(bǔ)償移動(dòng)，使得避免或者最小化模糊。例如，如果新圖像與先前圖像之間的所檢測的移動(dòng)的幅值小于閾值(例如8個(gè)像素)，或者如果置信等級(jí)高于閾值(例如，>25%)，則圖像可與先前所捕獲的圖像來合計(jì)或平均，以避免模糊。

在一些實(shí)施例中，可在捕獲第一多個(gè)圖像的每個(gè)新圖像之后，更新基線圖像。例如，每次捕獲第一多個(gè)圖像的新圖像時(shí)，視頻處理器36可從存儲(chǔ)器40或存儲(chǔ)裝置42中檢索基線圖像，應(yīng)用新圖像的任何所需平移或旋轉(zhuǎn)，并且將新圖像與基線圖像來平均/合計(jì)以更新基線圖像，并且將所更新的基線圖像存儲(chǔ)回存儲(chǔ)器40或存儲(chǔ)裝置42中。另外地或備選地，在捕獲第一多個(gè)圖像的一定數(shù)量的新圖像之后，可更新基線圖像。例如，視頻處理器36可在捕獲第一多個(gè)圖像的五個(gè)新圖像之后更新基線圖像。

在生成基線圖像之后，處理器(例如微控制器34)可指示內(nèi)窺鏡系統(tǒng)10以便以不同亮度級(jí)來捕獲第二多個(gè)圖像(過程框58)。更具體來說，在一些實(shí)施例中，第二多個(gè)圖像的每個(gè)可以以不同亮度級(jí)來捕獲。在其他實(shí)施例中，第二多個(gè)圖像的多個(gè)圖像可以以相同亮度級(jí)來捕獲。例如，第一圖像和第二圖像可以以第一亮度級(jí)來捕獲，第三和第四圖像可以以第二亮度級(jí)來捕獲，以及第五和第六圖像可以以第三亮度級(jí)來捕獲。

如上所述，處理器(例如微控制器34)可通過調(diào)整成像器16的曝光時(shí)間、由成像器接口32所應(yīng)用的增益和/或由光源(例如白光源28或發(fā)射器模塊22)所提供的照明等級(jí)來控制所捕獲的圖像的亮度級(jí)。因此，處理器(例如微控制器34)可調(diào)整其任何組合，以便以不同亮度級(jí)來捕獲第二多個(gè)圖像。例如，為了以第一亮度級(jí)來捕獲第一圖像，微控制器34可指示成像器16具有一毫秒的曝光時(shí)間，以及為了以較亮的亮度級(jí)來捕獲第二圖像，微控制器可指示成像器16具有二毫秒的曝光時(shí)間。

以每個(gè)亮度級(jí)所捕獲的圖像的準(zhǔn)確數(shù)量以及要使用的亮度級(jí)可取決于特定實(shí)現(xiàn)。更具體來說，在一些實(shí)施例中，要捕獲的圖像的數(shù)量以及要使用的亮度級(jí)可由制造商或者經(jīng)過例如經(jīng)由操縱桿44、小鍵盤46或觸敏顯示器的用戶輸入來定義。在其他實(shí)施例中，要捕獲的圖像的數(shù)量以及要使用的亮度級(jí)可以是自適應(yīng)的。例如，當(dāng)處理器(例如CPU 38或視頻處理器36)確定基線圖像中存在大量飽和像素時(shí)，處理器可指示內(nèi)窺鏡系統(tǒng)10增加第二多個(gè)圖像中的圖像的數(shù)量和/或增加所使用亮度級(jí)的數(shù)量。

實(shí)際上，在一些實(shí)施例中，以不同亮度級(jí)的每個(gè)所捕獲的圖像的數(shù)量可以是不同的。例如，內(nèi)窺鏡系統(tǒng)10可以以接近第一多個(gè)圖像的亮度級(jí)的亮度級(jí)來捕獲僅一個(gè)圖像，但是可以以比第一多個(gè)圖像的亮度級(jí)要暗許多的亮度級(jí)來捕獲三個(gè)圖像。在一些實(shí)施例中，以相同亮度級(jí)所捕獲的多個(gè)圖像可與第一多個(gè)圖像類似地共同平均或合計(jì)，以降低噪聲。

取決于實(shí)現(xiàn)，從捕獲第一多個(gè)圖像到捕獲第二多個(gè)圖像的切換可按照各種方式來觸發(fā)。更具體來說，在一些實(shí)施例中，捕獲圖像命令可指示內(nèi)窺鏡系統(tǒng)10停止捕獲第一多個(gè)圖像，并且開始捕獲第二多個(gè)圖像。例如，用戶可經(jīng)由操縱桿44、小鍵盤46、觸敏顯示器或者甚至遠(yuǎn)程計(jì)算裝置來輸入捕獲圖像命令。

在其他實(shí)施例中，捕獲第一多個(gè)圖像與捕獲第二多個(gè)圖像之間的切換可以是自動(dòng)的或者內(nèi)窺鏡發(fā)起的。例如，切換可在處理器(例如CPU 38或視頻處理器36)確定不存在成像器16相對(duì)于目標(biāo)特征之間的移動(dòng)時(shí)發(fā)生。更具體來說，當(dāng)處理器(例如CPU 38或視頻處理器36)確定不存在移動(dòng)時(shí)，內(nèi)窺鏡系統(tǒng)10可繼續(xù)捕獲第一多個(gè)圖像，直到生成充分無噪聲基線圖像，并且然后切換到捕獲第二多個(gè)圖像。另外地或備選地，如果已經(jīng)生成充分無噪聲基線圖像(例如通過平移或旋轉(zhuǎn)第一多個(gè)圖像中的圖像)，則內(nèi)窺鏡系統(tǒng)10可在沒有檢測到移動(dòng)時(shí)立即開始捕獲第二多個(gè)圖像。

如上所述，移動(dòng)的檢測可包含檢測第一圖像中的特征是否相比于第二圖像中的相同特征移動(dòng)了少于預(yù)定數(shù)量的像素。另外，在一些實(shí)施例中，為了使模糊最小化，第一圖像(例如第一多個(gè)圖像中)與第二圖像(例如第一多個(gè)圖像中)之間的特征的移動(dòng)量被確定并且在第一圖像中相加/平均之前用來對(duì)齊第一圖像。

如上所述，通過圖像所捕獲的特征的細(xì)節(jié)可被圖像上的飽和像素或區(qū)域遮掩。相應(yīng)地，使用基線圖像和第二多個(gè)圖像，處理器(例如視頻處理器36或CPU 38)可生成高動(dòng)態(tài)范圍圖像(過程框60)。在一些實(shí)施例中，為了生成高動(dòng)態(tài)范圍圖像，處理器(例如CPU 38或視頻處理器36)可利用來自基線圖像的不飽和像素?cái)?shù)據(jù)和來自第二多個(gè)圖像的一個(gè)或多個(gè)的不飽和像素。更具體來說，在一些實(shí)施例中，替換不飽和像素可通過縮放第二多個(gè)圖像中的不飽和像素?cái)?shù)據(jù)來生成。

例如，當(dāng)處理器(例如CPU 38或視頻處理器36)檢測基線圖像中的飽和像素時(shí)，它可基于來自第二多個(gè)圖像的一個(gè)或多個(gè)的不飽和像素?cái)?shù)據(jù)來生成不飽和像素，以替換基線圖像中的飽和像素。在一些實(shí)施例中，處理器(例如CPU 38或視頻處理器36)可通過識(shí)別具有高于上閾值(例如白等級(jí))或低于下閾值(例如黑閾值)的值的像素來檢測飽和像素。

由于來自第二多個(gè)圖像的像素?cái)?shù)據(jù)用來生成像素以替換基線圖像中的飽和像素，所以在一些實(shí)施例中，第二多個(gè)圖像可以是與第一多個(gè)圖像相同類型的圖像。例如，如果第一多個(gè)圖像是檢查圖像，則第二多個(gè)圖像也可以是檢查圖像。但是，在其他實(shí)施例中，備選地可使用不同圖像類型。例如，如果第一多個(gè)圖像是結(jié)構(gòu)化光圖像(例如當(dāng)結(jié)構(gòu)化光圖案相對(duì)于均勻檢查光具有充分強(qiáng)度時(shí))，則可使用作為檢查圖像(例如，僅均勻檢查照明)的第二多個(gè)圖像，因?yàn)樘卣髟跈z查圖像中均勻地照射。換言之，高動(dòng)態(tài)范圍圖像可以是測量圖像、立體圖像、檢查圖像或者它們的任何組合。

因此，高動(dòng)態(tài)范圍圖像可包含比基線圖像要少的飽和像素。換言之，高動(dòng)態(tài)范圍圖像的可用性可好于基線圖像，因?yàn)楦邉?dòng)態(tài)范圍圖像可描繪在基線圖像中(例如因飽和)遮掩的目標(biāo)特征的細(xì)節(jié)。實(shí)際上，為了進(jìn)一步改進(jìn)由內(nèi)窺鏡系統(tǒng)10所捕獲的圖像的可用性，多個(gè)高動(dòng)態(tài)范圍圖像可使用相同基線圖像以及來自第二多個(gè)圖像的一個(gè)或多個(gè)圖像來生成。例如，在一些實(shí)施例中，正常高動(dòng)態(tài)范圍圖像、亮高動(dòng)態(tài)范圍圖像和暗高動(dòng)態(tài)范圍圖像可各被生成。在這類實(shí)施例中，不同高動(dòng)態(tài)范圍圖像可提供目標(biāo)特征的不同視圖。更具體來說，這些高動(dòng)態(tài)范圍圖像之間的亮度差可通過對(duì)所捕獲的圖像數(shù)據(jù)應(yīng)用不同線性或者非線性縮放來創(chuàng)建。

此外，在一些實(shí)施例中，第一多個(gè)圖像和第二多個(gè)圖像的捕獲可被散布。換言之，內(nèi)窺鏡系統(tǒng)10可捕獲第一多個(gè)圖像的一個(gè)或多個(gè)，切換成捕獲第二多個(gè)圖像的一個(gè)或多個(gè)，切換回捕獲第一多個(gè)圖像的一個(gè)或多個(gè)，依此類推。為了幫助圖示，用于散布第一多個(gè)圖像和第二多個(gè)圖像的捕獲的過程62的一個(gè)實(shí)施例在圖3中描述。一般來說，過程62包含以第一亮度級(jí)來捕獲第一圖像(過程框64)，確定存在充分小的移動(dòng)的時(shí)間(過程框66)，以不同亮度級(jí)來捕獲第二圖像(過程框68)，并且生成高動(dòng)態(tài)范圍圖像(過程框70)。在一些實(shí)施例中，過程62可經(jīng)由有形的非暫時(shí)的存儲(chǔ)器40或存儲(chǔ)裝置42中存儲(chǔ)并且由內(nèi)窺鏡系統(tǒng)10中的處理器(例如微控制器34、視頻處理器36、CPU 38或者遠(yuǎn)程計(jì)算裝置中的處理器)所運(yùn)行的計(jì)算機(jī)可讀指令來實(shí)現(xiàn)。

相應(yīng)地，在一些實(shí)施例中，處理器(例如微控制器34)可指示內(nèi)窺鏡系統(tǒng)10以第一亮度級(jí)來捕獲第一圖像(過程框64)。在一些實(shí)施例中，第一圖像可以是上述第一多個(gè)圖像中的一個(gè)。相應(yīng)地，第一圖像可使用在過程框54中所述的技術(shù)來捕獲。更具體來說，如上所論述，處理器(例如微控制器34)可指示成像器16使用特定曝光時(shí)間來捕獲第一圖像，指示成像器接口32應(yīng)用特定增益，并且指示光源(例如白光源28或發(fā)射器模塊22)提供特定照明等級(jí)/圖案。第一圖像然后可通過將數(shù)字圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器40或存儲(chǔ)裝置42中來捕獲。另外，第一圖像或者使用第一圖像所生成的視頻可在顯示器50上顯示或者在遠(yuǎn)程計(jì)算裝置處的顯示器上顯示。此外，第一圖像可用來生成基線圖像。

當(dāng)處理器(例如CPU 38或視頻處理器36)確定存在成像器16相對(duì)于第一圖像中所描繪的特征之間的充分小移動(dòng)(過程框66)時(shí)，處理器(例如微控制器34)可指示內(nèi)窺鏡系統(tǒng)10以與第一亮度級(jí)不同的亮度級(jí)來捕獲第二圖像(過程框68)。如上所述，處理器(例如CPU 38或視頻處理器36)可使用任何適當(dāng)技術(shù)(例如將第一圖像與第一多個(gè)圖像中的另一個(gè)圖像進(jìn)行比較，并且確定圖像之間是不同的像素值的數(shù)量和/或特征在圖像之間已經(jīng)移動(dòng)的像素的數(shù)量)來檢測是否存在移動(dòng)。

另外，在一些實(shí)施例中，第二圖像可以是上述第二多個(gè)圖像中的一個(gè)。相應(yīng)地，第二圖像可使用在過程框58中所述的技術(shù)來捕獲。更具體來說，如上所論述，處理器(例如微控制器34)可指示成像器16使用特定曝光時(shí)間來捕獲第二圖像，指示成像器接口32應(yīng)用特定增益，并且指示光源(例如白光源28或發(fā)射器模塊22)提供特定照明等級(jí)/圖案。第二圖像然后可通過將數(shù)字圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器40或存儲(chǔ)裝置42中來捕獲。

在捕獲第二圖像之后，內(nèi)窺鏡系統(tǒng)10可選地可返回到捕獲第一多個(gè)圖像(箭頭74)。更具體來說，在一些實(shí)施例中，內(nèi)窺鏡系統(tǒng)10可切換回到捕獲第一多個(gè)圖像，而沒有生成高動(dòng)態(tài)范圍圖像。在其他實(shí)施例中，處理器(例如CPU 38或視頻處理器36)可使用第二圖像來生成高動(dòng)態(tài)范圍圖像(過程框70)。

換言之，在一些實(shí)施例中，內(nèi)窺鏡系統(tǒng)10可以以不同的亮度級(jí)來捕獲附加圖像。以不同亮度級(jí)的圖像的準(zhǔn)確數(shù)量可根據(jù)實(shí)現(xiàn)而變化。例如，在一些實(shí)施例中，僅捕獲第二圖像。在其他實(shí)施例中，可捕獲第二圖像連同來自第二多個(gè)圖像的其他圖像。

基于上述示例，存在充分小移動(dòng)的確定可以是用來捕獲第二圖像的觸發(fā)，以及更一般來說是用來從捕獲第一多個(gè)圖像到第二多個(gè)圖像的切換的觸發(fā)。在各個(gè)實(shí)現(xiàn)中，使用沒有移動(dòng)作為觸發(fā)可以是有利的。例如，如上所論述，當(dāng)沒有檢測到移動(dòng)時(shí)，內(nèi)窺鏡系統(tǒng)10可停止捕獲第一多個(gè)圖像，并且開始捕獲第二多個(gè)圖像。

實(shí)際上，當(dāng)?shù)谝欢鄠€(gè)圖像的捕獲和第二多個(gè)圖像的捕獲被散布時(shí)，使用沒有移動(dòng)作為用來捕獲第二多個(gè)圖像的一個(gè)或多個(gè)的觸發(fā)可以是特別有用的。例如，在一些實(shí)施例中，當(dāng)處理器(例如CPU 38或視頻處理器36)檢測基線圖像或第一圖像中的飽和像素時(shí)，它可顯示指示本地用戶保持在相同位置中的提示，使得可捕獲第二多個(gè)圖像。在這種實(shí)施例中，由于一檢測到飽和就捕獲可用來替換飽和像素的第二多個(gè)圖像，所以向用戶顯示的圖像可以是高動(dòng)態(tài)范圍圖像。

實(shí)際上，在一些實(shí)施例中，高動(dòng)態(tài)范圍圖像可用來向用戶顯示高動(dòng)態(tài)范圍視頻。雖然附加處理用來生成高動(dòng)態(tài)范圍圖像，但是處理能力中的技術(shù)進(jìn)步呈現(xiàn)近實(shí)時(shí)地生成高動(dòng)態(tài)范圍圖像的可能性。另外應(yīng)當(dāng)領(lǐng)會(huì)，內(nèi)窺鏡系統(tǒng)10通常將在設(shè)備或設(shè)施內(nèi)緩慢移動(dòng)，這放寬對(duì)顯示視頻的時(shí)間限制。換言之，近實(shí)時(shí)視頻(例如高動(dòng)態(tài)范圍視頻)可足以為用戶提供接近成像器16的特征的指示。

除了生成高動(dòng)態(tài)范圍圖像之外，由內(nèi)窺鏡系統(tǒng)10所捕獲的圖像還可用來確定與目標(biāo)特征相關(guān)的其他信息。例如，在一些實(shí)施例中，所捕獲的圖像可用來生成特征的點(diǎn)云數(shù)據(jù)、點(diǎn)云圖像和/或深度剖面，以描述目標(biāo)特征的3D剖面。因此，在一些實(shí)施例中，與特征相關(guān)的多段信息可同時(shí)或基本上同時(shí)呈現(xiàn)。

例如，在圖4所述的屏幕視圖74所描繪的實(shí)施例中，可基本上同時(shí)查看由內(nèi)窺鏡系統(tǒng)10所捕獲和生成的各種圖像。更具體來說，屏幕視圖74可在任何適當(dāng)顯示器、例如顯示器50或者遠(yuǎn)程計(jì)算裝置處的顯示器上顯示。

因此，除了只顯示各種所捕獲和生成的圖像之外，屏幕視圖74還可顯示內(nèi)窺鏡系統(tǒng)10的狀態(tài)信息。例如，在所描繪的實(shí)施例中，屏幕視圖74顯示網(wǎng)絡(luò)狀態(tài)圖標(biāo)76、日期指示符78、時(shí)間指示符80和電池狀態(tài)圖標(biāo)82。更具體來說，在所描繪實(shí)施例中，網(wǎng)絡(luò)狀態(tài)圖標(biāo)76指示內(nèi)窺鏡系統(tǒng)10連接在藍(lán)牙網(wǎng)絡(luò)中，日期指示符78指示當(dāng)前日期是2014年4月15日，時(shí)間指示符80指示當(dāng)前時(shí)間是下午12:19，以及電池狀態(tài)圖標(biāo)82指示電池完全充電。

另外，如上所述，用戶可例如通過經(jīng)由操縱桿44或小鍵盤46輸入用戶命令來與內(nèi)窺鏡系統(tǒng)10進(jìn)行交互。例如，如下面將更詳細(xì)描述，用戶可選擇屏幕視圖74上的各種視圖中的一個(gè)，以便以全屏幕顯示。另外，如上所述，顯示器50可以是觸敏顯示器，其提供使用軟按鈕的能力。例如，如同所描繪的實(shí)施例中一樣，屏幕視圖74包含返回軟按鈕84、查看軟按鈕86、菜單軟按鈕88和保存軟按鈕90。更具體來說，用戶可選擇返回軟按鈕84以回到先前屏幕，選擇查看軟按鈕86以查看所選的縮略圖圖像，選擇菜單按鈕88以轉(zhuǎn)到菜單，或者選擇保存軟按鈕90以保存所選的圖像。如能夠領(lǐng)會(huì)，顯示器50上呈現(xiàn)的軟按鈕是可編程的，并且可基于正被顯示的內(nèi)容而變化。

如上所述，屏幕視圖74可顯示由內(nèi)窺鏡系統(tǒng)10所捕獲和/或生成的各種圖像。例如，在所描繪的實(shí)施例中，屏幕視圖74顯示正常圖像92、高動(dòng)態(tài)范圍圖像94、亮圖像96、暗圖像98、點(diǎn)云圖像100和深度剖面圖像102。如所描繪，各種圖像可描繪為縮略圖，以便基本上同時(shí)顯示圖像。因此，用戶可例如經(jīng)由鍵盤46、操縱桿44和/或觸敏顯示器與各種圖像進(jìn)行交互。例如，用戶可選擇縮略圖圖像中的一個(gè)進(jìn)行保存或以全屏幕查看。

可用來生成屏幕視圖74的過程104的一個(gè)實(shí)施例在圖5中描述。一般來說，過程104包含捕獲多個(gè)圖像(過程框106)，生成以正常亮度的圖像(過程框108)，生成高動(dòng)態(tài)范圍圖像(過程框110)，生成以高亮度的圖像(過程框112)，生成以低亮度的圖像(過程框114)，生成點(diǎn)云圖像(過程框116)，生成深度剖面圖像(過程框118)，并且生成縮略圖圖像(過程框120)。在一些實(shí)施例中，過程104可經(jīng)由有形的非暫時(shí)的存儲(chǔ)器40或存儲(chǔ)裝置42中存儲(chǔ)并且由內(nèi)窺鏡系統(tǒng)10中的處理器(例如微控制器34、視頻處理器36、CPU 38或者遠(yuǎn)程計(jì)算裝置中的處理器)所運(yùn)行的計(jì)算機(jī)可讀指令來實(shí)現(xiàn)。

相應(yīng)地，在一些實(shí)施例中，處理器(例如微控制器34)可指示內(nèi)窺鏡系統(tǒng)10捕獲多個(gè)圖像。更具體來說，多個(gè)圖像可包含上述第一多個(gè)圖像和/或第二多個(gè)圖像，其如上所述地那樣可響應(yīng)于用戶發(fā)起捕獲請(qǐng)求、充分小移動(dòng)的檢測或者第一多個(gè)圖像中的飽和像素的檢測而捕獲。因此，處理器(例如微控制器34)可指示成像器16以預(yù)期亮度級(jí)來捕獲圖像。如上所述，處理器(例如微控制器34)可通過調(diào)整成像器16的曝光時(shí)間、由成像器接口32所應(yīng)用的增益和/或由光源(例如白光源28或發(fā)射器模塊22)所提供的照明等級(jí)來控制所捕獲的圖像的亮度級(jí)。另外，如上所述，內(nèi)窺鏡系統(tǒng)10可通過將數(shù)字圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器40或存儲(chǔ)裝置42中來捕獲多個(gè)圖像。

一旦捕獲多個(gè)圖像的一個(gè)或多個(gè)，處理器(例如CPU 38或視頻處理器36)可指示內(nèi)窺鏡系統(tǒng)10生成以正常亮度的圖像(過程框108)。在一些實(shí)施例中，正常亮度圖像可以只是所捕獲的圖像中的一個(gè)。在其他實(shí)施例中，正常亮度圖像可以是基于第一多個(gè)圖像所生成的基線圖像。在這類實(shí)施例中，處理器(例如CPU 38或視頻處理器36)可指示內(nèi)窺鏡系統(tǒng)10通過對(duì)來自第一多個(gè)圖像的圖像共同合計(jì)或平均來生成正常亮度圖像。

另外，處理器(例如CPU 38或視頻處理器36)可指示內(nèi)窺鏡系統(tǒng)10生成高動(dòng)態(tài)范圍圖像(過程框110)。如上所論述，在一些實(shí)施例中，高動(dòng)態(tài)范圍圖像可至少部分基于第一多個(gè)圖像的一個(gè)或多個(gè)(例如基線圖像)和第二多個(gè)圖像的一個(gè)或多個(gè)來生成。更具體來說，在這類實(shí)施例中，正常圖像中的飽和像素可采用基于第二多個(gè)圖像的一個(gè)或多個(gè)中的不飽和像素?cái)?shù)據(jù)所生成的不飽和像素來替換。

除了高動(dòng)態(tài)范圍圖像之外，處理器(例如CPU 38或視頻處理器36)可指示內(nèi)窺鏡系統(tǒng)10生成以高亮度級(jí)的圖像(過程框112)，并且生成以低亮度級(jí)的圖像(過程框114)。如上所述，以不同亮度級(jí)的圖像可允許用戶具有特征的變化視圖。在一些實(shí)施例中，高亮度圖像可以是以比正常圖像要高的亮度級(jí)所捕獲的單個(gè)圖像。類似地，在一些實(shí)施例中，低亮度圖像可以是以比正常圖像要低的亮度級(jí)所捕獲的單個(gè)圖像。在這類實(shí)施例中，高亮度圖像和/或低亮度圖像可以只是第二多個(gè)圖像中的一個(gè)。

在其他實(shí)施例中，高亮度圖像和/或低亮度圖像也可以是高動(dòng)態(tài)范圍圖像。在這類實(shí)施例中，高亮度圖像可以是以比在過程框110中所生成的高動(dòng)態(tài)范圍圖像更高縮放的亮度的高動(dòng)態(tài)范圍圖像，和/或具有比基線圖像更高的像素值平均。類似地，低亮度圖像可以是以比在過程框110中所生成的高動(dòng)態(tài)范圍圖像更低縮放的亮度的高動(dòng)態(tài)范圍圖像，和/或具有比基線圖像更低的像素值平均。換言之，本文所述技術(shù)提供生成在亮度級(jí)中變化的多個(gè)高動(dòng)態(tài)范圍圖像的能力。如上所述，高動(dòng)態(tài)范圍圖像通常包含比單個(gè)圖像更少的噪聲和更少的飽和像素。換言之，通過不僅顯示以變化亮度級(jí)的圖像，而且還顯示具有更少飽和像素以變化亮度級(jí)的圖像，可進(jìn)一步改進(jìn)由內(nèi)窺鏡系統(tǒng)10所生成的圖像的可用性。

如上所述，由內(nèi)窺鏡系統(tǒng)10所捕獲的圖像可以是任何數(shù)量的適當(dāng)圖像類型，例如測量圖像、立體圖像、檢查圖像或者它們的任何組合。更具體來說，變化圖像類型可使與目標(biāo)特征相關(guān)的不同信息能夠被確定。例如，檢查圖像(例如以均勻亮度所捕獲的圖像)可從成像器16的角度來描繪目標(biāo)特征。另一方面，立體圖像和/或結(jié)構(gòu)化光測量圖像可用來生成點(diǎn)云數(shù)據(jù)，其然后可用來生成點(diǎn)云圖像和/或深度剖面。

因此，處理器(例如CPU 38或視頻處理器36)可指示內(nèi)窺鏡系統(tǒng)10生成點(diǎn)云圖像(過程框116)，并且生成深度剖面圖像(過程框118)。更具體來說，點(diǎn)云圖像可基于被生成以給出目標(biāo)特征的3D表示的點(diǎn)云數(shù)據(jù)。在一些實(shí)施例中，點(diǎn)云圖像可基于點(diǎn)云數(shù)據(jù)的子集，其基于測量光標(biāo)或所選感興趣區(qū)域的定位來選擇。另外，深度剖面可基于被生成以給出目標(biāo)特征的截面視圖的點(diǎn)云數(shù)據(jù)。在一些實(shí)施例中，深度剖面的位置可由用戶通過測量光標(biāo)的定位來選擇。

在一些實(shí)施例中，點(diǎn)云數(shù)據(jù)可使用測量圖像(例如結(jié)構(gòu)化光圖像)或立體圖像來生成。例如，點(diǎn)云數(shù)據(jù)可通過使用對(duì)結(jié)構(gòu)化光圖像(其在結(jié)構(gòu)化光圖案投射到被查看表面上的同時(shí)所捕獲)的相移分析來生成。另外地或備選地，點(diǎn)云數(shù)據(jù)可使用從不同角度所捕獲的立體圖像來生成。因此，在測量圖像中捕獲的特征的細(xì)節(jié)越多，所生成的點(diǎn)云圖像越準(zhǔn)確。

但是，如上所述，當(dāng)像素飽和時(shí)，在所捕獲的圖像中可遮掩目標(biāo)特征的細(xì)節(jié)。例如，當(dāng)接近成像器16的對(duì)象或表面上的焊接(例如高反射表面)使焊接看來似乎在所捕獲的圖像中飽和時(shí)，將難以準(zhǔn)確確定焊接的3D特性(例如高度或形狀)，因?yàn)楹附訉⒖磥硭坪跞住?/p>

在一些實(shí)施例中，第二多個(gè)圖像可用來改進(jìn)目標(biāo)特征的細(xì)節(jié)的捕獲。更具體來說，如上所述，第二多個(gè)圖像可包含以不同亮度級(jí)所捕獲的測量圖像。因此，點(diǎn)云數(shù)據(jù)可使用以變化亮度級(jí)的圖像來生成，以增加所確定的3D表面數(shù)據(jù)點(diǎn)的數(shù)量。

為了幫助圖示，點(diǎn)云數(shù)據(jù)可通過匹配從不同角度所獲取的圖像中捕獲的表面點(diǎn)來生成。但是，當(dāng)立體測量圖像包含飽和的像素(例如過亮或者過暗)時(shí)，可阻礙立體匹配，因?yàn)榭赡茈y以區(qū)分圖像中的相同表面點(diǎn)。例如，繼續(xù)上述示例，可能難以定位多個(gè)立體圖像中的焊接上的相同點(diǎn)，因?yàn)楹附涌磥硭坪跞?。但是，第二多個(gè)圖像的一個(gè)或多個(gè)中的相同像素可能不飽和。因此，處理器可利用第二多個(gè)圖像的一個(gè)或多個(gè)來執(zhí)行立體匹配并且生成點(diǎn)云數(shù)據(jù)。換言之，第一多個(gè)圖像的一個(gè)或多個(gè)、基線圖像、第二多個(gè)圖像的一個(gè)或多個(gè)和所生成的高動(dòng)態(tài)范圍圖像的任何組合可用來生成點(diǎn)云數(shù)據(jù)。

類似地，如果結(jié)構(gòu)化光圖案、例如激光點(diǎn)網(wǎng)格在第一和第二多個(gè)圖像中捕獲，則處理器可使用第一多個(gè)圖像的一個(gè)或多個(gè)、基線圖像、第二多個(gè)圖像的一個(gè)或多個(gè)和所生成的高動(dòng)態(tài)范圍圖像的任何組合來檢測圖案的位置。處理器然后可使用所檢測的圖案位置來確定3D表面數(shù)據(jù)。

另外，如上所述，第二多個(gè)圖像可用來生成高動(dòng)態(tài)范圍圖像，其可減少飽和量并且可以是任何適當(dāng)圖像類型。相應(yīng)地，使用高動(dòng)態(tài)范圍圖像所生成的數(shù)據(jù)或圖像可以更為有用的。例如，繼續(xù)上述示例，一個(gè)或多個(gè)高動(dòng)態(tài)測量圖像可用來補(bǔ)償焊接的高反射率，并且描繪焊接的特性的更多細(xì)節(jié)。因此，使用高動(dòng)態(tài)范圍測量圖像來生成點(diǎn)云數(shù)據(jù)/圖像可提供與特征相關(guān)的更準(zhǔn)確信息，其還改進(jìn)點(diǎn)云圖像和深度剖面圖像的精度。

處理器(例如CPU 38或視頻處理器36)然后可指示內(nèi)窺鏡系統(tǒng)10顯示作為縮略圖圖像的所生成的圖像(例如正常亮度圖像、高亮度圖像、高動(dòng)態(tài)范圍圖像、低亮度圖像、點(diǎn)云圖像或深度剖面圖像)(過程框120)。在一些實(shí)施例中，生成縮略圖圖像可包含將所生成的圖像縮放到縮略圖大小。如上所述，縮略圖圖像可以是由用戶可選擇的，例如以保存或者以全屏幕顯示與縮略圖圖像對(duì)應(yīng)的圖像。相應(yīng)地，由于在一些實(shí)施例中，顯示器50可以是觸敏顯示器，所以生成縮略圖圖像可包含生成由用戶可選擇的縮略圖圖像軟按鈕。

基于以上描述，本公開的技術(shù)效果包含提供用于改進(jìn)由遠(yuǎn)程視覺檢查系統(tǒng)、例如內(nèi)窺鏡系統(tǒng)所捕獲的圖像的可用性的系統(tǒng)和方法。更具體來說，圖像的可用性可通過生成一個(gè)或多個(gè)高動(dòng)態(tài)范圍圖像來改進(jìn)。此外，可以更有效地捕獲和生成高動(dòng)態(tài)范圍圖像。例如，高動(dòng)態(tài)范圍圖像可基于用來顯示即時(shí)視頻的圖像來生成。換言之，遠(yuǎn)程視覺檢查系統(tǒng)可以甚至在接收捕獲命令之前開始生成高動(dòng)態(tài)范圍圖像。

本書面描述使用包含最佳模式的示例來公開本發(fā)明，并且還使本領(lǐng)域的技術(shù)人員能夠?qū)嵤┍景l(fā)明，包含制作和使用任何裝置或系統(tǒng)，以及執(zhí)行任何結(jié)合方法。本發(fā)明的可取得的專利范圍由權(quán)利要求書來定義，并且可包含本領(lǐng)域的技術(shù)人員想到的其他示例。如果這類其他示例具有與權(quán)利要求的文字語言完全相同的結(jié)構(gòu)單元，或者如果它們包括具有與權(quán)利要求的文字語言的非實(shí)質(zhì)差異的等效結(jié)構(gòu)單元，則預(yù)計(jì)它們處于權(quán)利要求的范圍之內(nèi)。