專利名稱：用于對(duì)準(zhǔn)ir圖像和可見(jiàn)光圖像的照相機(jī)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于產(chǎn)生IR圖像和可見(jiàn)光圖像以及包括混合的IR數(shù)據(jù)和可見(jiàn)光數(shù)據(jù)
的圖像的照相機(jī)，并且涉及使用這種照相機(jī)的方法。
背景技術(shù)：
近年來(lái)，已經(jīng)提出了通常稱為圖像融合的用于以各種方式結(jié)合IR圖像和可見(jiàn)光 圖像的方法和照相機(jī)。典型地，照相機(jī)具有用于捕獲IR圖像數(shù)據(jù)的成像部件、用于捕獲可
見(jiàn)光圖像數(shù)據(jù)的另一個(gè)成像部件以及用于以可將所述圖像數(shù)據(jù)顯示在同一圖像中的方式 處理所述圖像數(shù)據(jù)的裝置。例如在識(shí)別熱物體或冷物體的位置時(shí)這種功能可能是有幫助 的。 典型地，可見(jiàn)光圖像的視場(chǎng)大于IR圖像的視場(chǎng)。在任何情況下，由于捕獲這兩種 圖像的光學(xué)系統(tǒng)不位于完全相同的位置處，所以視場(chǎng)不同。這是被稱為視差的公知光學(xué)現(xiàn) 象。因此，在顯示融合圖像或混合圖像之前，必須對(duì)準(zhǔn)這兩種圖像。此外，由于可見(jiàn)光圖像 的分辨率典型地與IR圖像的分辨率不同，所以必須重新調(diào)節(jié)(rescale)至少一個(gè)圖像以使 圖像相互匹配。 EP專利1299699公開(kāi)了一種在同一圖像中顯示可見(jiàn)光圖像數(shù)據(jù)和IR圖像數(shù)據(jù)的 方法以及包括用于IR輻射和可見(jiàn)光二者的成像裝置的照相機(jī)。例如可以根據(jù)各像素的溫 度以多種不同的方式結(jié)合所述數(shù)據(jù)。 該專利還提到需要校正由彼此相距一定距離放置的分別用于IR和可見(jiàn)光的圖像 捕獲裝置引起的視差。提出了兩種主要的視差校正方法通過(guò)光學(xué)裝置(例如鏡)或者通 過(guò)電子裝置。但沒(méi)有詳細(xì)討論如何通過(guò)電子裝置校正視差。 國(guó)際專利申請(qǐng)W02006/060746公開(kāi)了基于與物體相距的距離的視差校正。而與物 體相距的距離又由聚焦距離(focusing distance)確定。在W02006/060746中提出的方法 是使用安裝在IR鏡頭上的磁體和安裝在光學(xué)器件殼體中的霍爾傳感器，反之亦然，從而霍 爾傳感器將測(cè)量與磁體的距離并由此測(cè)量聚焦距離。通過(guò)轉(zhuǎn)動(dòng)聚焦環(huán)(focusring)以本身 已知的方式手動(dòng)進(jìn)行照相機(jī)的實(shí)際聚焦。作為選擇，還提出了通過(guò)相對(duì)于一個(gè)圖像手動(dòng)移 位另一個(gè)圖像直到它們正確交疊來(lái)對(duì)準(zhǔn)圖像。 W02006/060746中提出了結(jié)合IR圖像數(shù)據(jù)和可見(jiàn)光圖像數(shù)據(jù)的多種方式。例如， 可以以灰度級(jí)(grey scale)示出可見(jiàn)光圖像并將IR圖像以彩色疊加在該圖像上。作為選 擇，可以顯示可見(jiàn)光圖像，但是對(duì)于溫度值超過(guò)一定閾值的像素，可以用IR圖像像素代替 可見(jiàn)光像素。 然而，當(dāng)對(duì)準(zhǔn)IR圖像和可見(jiàn)光圖像時(shí)，應(yīng)該考慮到相對(duì)于彼此的圖像實(shí)際位移不 簡(jiǎn)單的是視差的函數(shù)，所述視差是由IR成像部件和可見(jiàn)光成像部件之間的距離引起的位 移。典型地，在所述成像部件的光軸之間還存在角度。 盡管純視差誤差總是隨著與物體相距的距離減小，但是在此情況下圖像之間的實(shí) 際位移可能根據(jù)光軸之間的角度隨著與物體相距的距離減小或增加。
本發(fā)明提出了一種對(duì)準(zhǔn)可見(jiàn)光圖像和IR圖像的方法代替W02006/060746中提出 的方法，特別是提出了一種考慮到圖像實(shí)際位移而不僅僅是視差誤差的方法。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的第一方面，提供了一種照相機(jī)，該照相機(jī)包括第一成像部件，其用 于捕獲第一視場(chǎng)的IR圖像數(shù)據(jù)，所述第一成像部件包括IR光學(xué)器件；第二成像部件，其用 于捕獲至少部分地與第一視場(chǎng)交疊的第二視場(chǎng)的可見(jiàn)光數(shù)據(jù)，所述第二成像部件包括可見(jiàn) 光光學(xué)器件；以及用于根據(jù)第一成像部件或第二成像部件的聚焦距離而相對(duì)于彼此調(diào)節(jié)第 一視場(chǎng)和第二視場(chǎng)的裝置。至少第一成像部件或第二成像部件包括分別用于IR光學(xué)器件 或可見(jiàn)光光學(xué)器件的調(diào)焦的電機(jī)，所述照相機(jī)還包括被配置成感測(cè)所述電機(jī)位置的感測(cè)裝 置和被配置成基于調(diào)焦電機(jī)(focus motor)的位置確定對(duì)準(zhǔn)所述圖像所需的位移的處理裝 置。 此外，還提出一種顯示融合圖像的方法，所述融合圖像包括由照相機(jī)的第一成像 部件捕獲的IR圖像數(shù)據(jù)和由照相機(jī)的第二成像部件捕獲的可見(jiàn)光圖像數(shù)據(jù)，所述方法包 括捕獲IR圖像數(shù)據(jù)和可見(jiàn)光圖像數(shù)據(jù)；利用調(diào)焦電機(jī)進(jìn)行調(diào)焦；感測(cè)調(diào)焦電機(jī)的位置； 基于調(diào)焦電機(jī)的位置確定對(duì)準(zhǔn)IR圖像數(shù)據(jù)和可見(jiàn)光圖像數(shù)據(jù)所需的位移；進(jìn)行位移以對(duì) 準(zhǔn)所述圖像。 因此，根據(jù)本發(fā)明，調(diào)焦功能本身被用于確定所需要的位移量。這是基于所述位 移取決于與物體相距的距離，而與物體相距的距離又與照相機(jī)的聚焦距離有關(guān)的認(rèn)識(shí)。優(yōu) 選地，使用照相機(jī)的IR部件的聚焦距離，但是如果在可見(jiàn)光成像部件中提供適當(dāng)?shù)恼{(diào)焦結(jié) 構(gòu)，也可以使用照相機(jī)的可見(jiàn)光成像部件的聚焦距離作為替代。調(diào)焦電機(jī)可以用于自動(dòng)調(diào) 焦，或者可以被手動(dòng)控制，或者使用二者的結(jié)合。 在一個(gè)實(shí)施例中，所述處理裝置被配置成通過(guò)基于調(diào)焦電機(jī)的位置確定聚焦距離 并基于該聚焦距離確定對(duì)準(zhǔn)IR圖像數(shù)據(jù)和可見(jiàn)光圖像數(shù)據(jù)所需的位移，來(lái)確定該位移。在 此情況下，所述處理裝置被配置成通過(guò)基于聚焦距離確定與物體相距的距離并基于與物體 相距的距離確定對(duì)準(zhǔn)IR圖像數(shù)據(jù)和可見(jiàn)光圖像數(shù)據(jù)所需的位移，來(lái)確定該位移。本領(lǐng)域技 術(shù)人員將理解，可以使用這些中間步驟中的一個(gè)或多個(gè)來(lái)實(shí)施該方法，或者可以從電機(jī)的 位置直接確定該位移。


下面將通過(guò)示例并參照附圖更詳細(xì)地討論本發(fā)明，其中
圖1示出可以根據(jù)本發(fā)明使用的照相機(jī)。
圖2示出包括用于對(duì)IR鏡頭進(jìn)行自動(dòng)調(diào)焦的電機(jī)的光學(xué)系統(tǒng)。
圖3示出根據(jù)本發(fā)明的方法。
具體實(shí)施例方式
圖1示意性地示出照相機(jī)l，其具有用于捕獲IR圖像的第一成像部件3和用于捕 獲可見(jiàn)光圖像的第二成像部件5。第一成像部件3包括IR光學(xué)器件7，所述IR光學(xué)器件7 以本身已知的方式將進(jìn)入的IR輻射聚焦在IR感測(cè)元件陣列9上。優(yōu)選地，該IR光學(xué)器件
4部件包括一個(gè)或多個(gè)IR鏡頭IO，其中一個(gè)可以由電機(jī)11驅(qū)動(dòng)。第二成像部件包括可見(jiàn)光 光學(xué)器件13，所述可見(jiàn)光光學(xué)器件13用于以本身已知的方式將進(jìn)入的可見(jiàn)光聚焦在可見(jiàn) 光感測(cè)元件陣列15上。由陣列9記錄的數(shù)據(jù)被傳送到處理單元17，處理單元17處理該數(shù) 據(jù)以產(chǎn)生適當(dāng)?shù)膱D像，該圖像可以是可見(jiàn)光圖像、IR圖像或者IR圖像和可見(jiàn)光圖像的融合 圖像。優(yōu)選地，該照相機(jī)還包括顯示裝置19和用于存儲(chǔ)所記錄的圖像數(shù)據(jù)和/或處理后的 圖像的至少一個(gè)存儲(chǔ)器單元21。 根據(jù)本發(fā)明，處理單元17被具體配置成用于確定位移、重新調(diào)節(jié)以及對(duì)準(zhǔn)IR圖像 和可見(jiàn)光圖像所需的其它功能。下面將討論根據(jù)本發(fā)明的各方面的確定位移的方法。本領(lǐng) 域技術(shù)人員將會(huì)理解，該方法優(yōu)選地以存儲(chǔ)在處理單元中的或者與處理單元相關(guān)的計(jì)算機(jī) 代碼的形式實(shí)施。 優(yōu)選地，該照相機(jī)還提供有本身已知的激光指示器23，其可被用于指出圖像中的 物體。 聚焦距離可被用于確定照相機(jī)光學(xué)器件和被成像的物體之間的距離。優(yōu)選地，使 用IR成像部件的聚焦距離，但是也可以使用可見(jiàn)光成像部件的聚焦距離作為代替，或者在 適當(dāng)?shù)恼{(diào)焦機(jī)構(gòu)可用于該部件的情況下使用其它的。該聚焦距離又可以用多種方式來(lái)確 定。 根據(jù)本發(fā)明，假定存在調(diào)焦電機(jī)11 ，其用來(lái)提供自動(dòng)調(diào)焦和/或手動(dòng)調(diào)焦功能。在 此情況下，電機(jī)的位置可被用于確定光學(xué)器件的位置，所述光學(xué)器件的位置又表示聚焦距離。 圖2示出包括電機(jī)25的光學(xué)系統(tǒng)的原理，電機(jī)25用于鏡頭的自動(dòng)調(diào)焦，典型地用 于IR鏡頭27的自動(dòng)調(diào)焦。以本領(lǐng)域中已知的方式自動(dòng)或手動(dòng)執(zhí)行調(diào)焦功能。為了對(duì)光 學(xué)器件進(jìn)行調(diào)焦，該電機(jī)沿著具有螺紋或嵌齒的桿在最小調(diào)焦位置fmin和最大調(diào)焦位置 fmax之間移動(dòng)。位置感測(cè)裝置29感測(cè)電機(jī)的當(dāng)前位置f并基于該位置確定聚焦距離。位 置感測(cè)裝置29的性質(zhì)取決于所使用的電機(jī)的類型?？梢酝ㄟ^(guò)使用高分辨度電機(jī)將鏡頭驅(qū) 動(dòng)到期望的絕對(duì)位置并假定它在正確的位置停止，從而間接獲得聚焦距離。作為選擇，可以 通過(guò)將鏡頭驅(qū)動(dòng)到期望的位置并使用來(lái)自位置測(cè)量電位計(jì)的反饋控制來(lái)控制它，從而直接 獲得聚焦距離。 通?？梢允褂酶咝阅茈娢挥?jì)獲得絕對(duì)鏡頭位置反饋。
因此，根據(jù)本發(fā)明的方法包括圖3中所示的以下步驟
步驟Sl :自動(dòng)地或通過(guò)對(duì)調(diào)焦電機(jī)的手動(dòng)控制進(jìn)行調(diào)焦。
步驟S2 :感測(cè)調(diào)焦電機(jī)的位置。 步驟S3 :基于調(diào)焦電機(jī)的位置確定聚焦距離，也就是至少一個(gè)鏡頭相對(duì)于另一個(gè) 鏡頭或另一個(gè)固定點(diǎn)的位置。聚焦距離是已知函數(shù)g(f，T)，f是調(diào)焦電機(jī)的聚焦位置，T是 溫度。 步驟S4 :基于聚焦距離dF確定到物體的距離z。
步驟S5 :基于與物體相距的距離確定對(duì)準(zhǔn)圖像所需的位移。 步驟S6 :進(jìn)行在步驟S5中確定的位移以對(duì)準(zhǔn)圖像。 步驟S3中的聚焦距離dF可表示為 dF = a/z+b (1)
其中a是表示像差對(duì)圖像之間距離的貢獻(xiàn)的常數(shù)。b是取決于遠(yuǎn)焦情況下的聚焦 距離的常數(shù)。z是與物體相距的距離。該常數(shù)表示對(duì)于光軸之間的角度所導(dǎo)致的圖像之間 距離的貢獻(xiàn)?？梢栽谛?zhǔn)過(guò)程中針對(duì)每個(gè)單獨(dú)電機(jī)獲得參數(shù)a和b，其中當(dāng)在照相機(jī)和物體 之間的兩個(gè)不同距離處調(diào)焦時(shí)，至少兩次感測(cè)電機(jī)位置。然后可以使用電機(jī)的位置和與物 體相距的距離確定a和b。 —旦聚焦距離已知，就可以按下式獲得到物體的距離z :
z = a/ (dF-b) (2) 可以根據(jù)以下公式使用距離z確定IR圖像和可見(jiàn)光圖像相對(duì)于彼此所需要的位 移 Tx = ax/z+bx (3)
Ty = ay/z+by (4) 此處Tx表示水平位移，Ty表示垂直位移，ax、bx、ay和by是分別代表水平位移和 垂直位移的常數(shù)。代替位移，Tx和Ty可以表示可見(jiàn)光圖像中的點(diǎn)，IR圖像中的例如左上角 或中心或其它點(diǎn)將位于該點(diǎn)。 在交付(delivery)之前的校準(zhǔn)程序中針對(duì)每個(gè)照相機(jī)確定常數(shù)ax、bx、ay和by。 如何進(jìn)行是本領(lǐng)域中已知的。 應(yīng)該理解，步驟S3和S4不必作為分開(kāi)的步驟執(zhí)行。本發(fā)明的重點(diǎn)是基于聚焦距 離確定位移，可以例如通過(guò)調(diào)焦電機(jī)的位置和與物體相距的距離之間的確定關(guān)系從調(diào)焦電 機(jī)的位置直接確定位移?？梢詫⒃撽P(guān)系作為函數(shù)或者作為查找表存儲(chǔ)在存儲(chǔ)器單元19中。
如上所述，可以從聚焦距離直接確定Tx和Ty。針對(duì)z將公式(2)帶入公式(3)和 (4)得到: Tx = ax (dF_b) /a+bx (5)
Ty = ay (dF-b) /a+by (6)
公式(5)和(6)可以簡(jiǎn)化為:
Tx = clx * d+c2x (7)
Ty = cly * d+c2y (8) 因此，由于clc、c2x、cly和c2y是常數(shù)，所以得到鏡頭位置d和所需平移之間的線 性關(guān)系。 如果在步驟S4中確定出與物體相距的距離z，則在需要關(guān)于與物體相距的距離的 一般信息的情況下可以將該距離輸出給操作者。 進(jìn)行上述計(jì)算所需的公式和常數(shù)優(yōu)選存儲(chǔ)在存儲(chǔ)器單元21中或者照相機(jī)中的另 一個(gè)存儲(chǔ)器單元中。
權(quán)利要求
一種照相機(jī)，包括第一成像部件，其用于捕獲第一視場(chǎng)的IR圖像數(shù)據(jù)，所述第一成像部件包括IR光學(xué)器件；第二成像部件，其用于捕獲至少部分地與所述第一視場(chǎng)交疊的第二視場(chǎng)的可見(jiàn)光數(shù)據(jù)，所述第二成像部件包括可見(jiàn)光光學(xué)器件；以及用于根據(jù)所述第一成像部件或所述第二成像部件的聚焦距離而相對(duì)于彼此調(diào)節(jié)所述第一視場(chǎng)和所述第二視場(chǎng)的裝置，其特征在于，至少所述第一成像部件或所述第二成像部件包括用于分別對(duì)IR光學(xué)器件或可見(jiàn)光光學(xué)器件進(jìn)行調(diào)焦的電機(jī)，所述照相機(jī)還包括被配置成感測(cè)所述電機(jī)的位置的感測(cè)裝置和被配置成基于所述調(diào)焦電機(jī)的位置確定對(duì)準(zhǔn)所述圖像所需的位移的處理裝置。
2. 根據(jù)權(quán)利要求1所述的照相機(jī)，其中所述處理裝置被配置成通過(guò)基于所述調(diào)焦電機(jī) 的位置確定所述聚焦距離并基于所述聚焦距離確定對(duì)準(zhǔn)所述IR圖像數(shù)據(jù)和所述可見(jiàn)光圖 像數(shù)據(jù)所需的位移，來(lái)確定所述位移。
3. 根據(jù)權(quán)利要求1所述的照相機(jī)，其中所述處理裝置被配置成通過(guò)基于所述聚焦距離確定與物體相距的距離并基于與物體相距的距離確定對(duì)準(zhǔn)所述IR圖像數(shù)據(jù)和所述可見(jiàn)光圖像數(shù)據(jù)所需的位移來(lái)確定所述位移。
4. 根據(jù)權(quán)利要求1所述的照相機(jī)，其中所述第一成像部件具有調(diào)焦電機(jī)，該調(diào)焦電機(jī) 的位置被用于確定所述位移。
5. —種顯示融合圖像的方法，所述融合圖像包括由照相機(jī)的第一成像部件捕獲的IR圖像數(shù)據(jù)和由照相機(jī)的第二成像部件捕獲的可見(jiàn)光圖像數(shù)據(jù)，所述方法包括 捕獲IR圖像數(shù)據(jù)和可見(jiàn)光圖像數(shù)據(jù)； 利用調(diào)焦電機(jī)進(jìn)行調(diào)焦； 感測(cè)所述調(diào)焦電機(jī)的位置；基于所述調(diào)焦電機(jī)的位置確定對(duì)準(zhǔn)所述IR圖像數(shù)據(jù)和所述可見(jiàn)光圖像數(shù)據(jù)所需的位移；進(jìn)行位移以對(duì)準(zhǔn)所述圖像。
6. 根據(jù)權(quán)利要求5所述的方法，包括以下步驟 基于所述調(diào)焦電機(jī)的位置確定所述聚焦距離；基于所述聚焦距離確定對(duì)準(zhǔn)所述IR圖像數(shù)據(jù)和所述可見(jiàn)光圖像數(shù)據(jù)所需的位移。
7. 根據(jù)權(quán)利要求5所述的方法，還包括以下步驟基于所述聚焦距離確定與物體相距的距離并基于與物體相距的距離確定對(duì)準(zhǔn)所述IR 圖像數(shù)據(jù)和所述可見(jiàn)光圖像數(shù)據(jù)所需的位移。
8. 根據(jù)權(quán)利要求5所述的方法，包括利用IR照相機(jī)部件的調(diào)焦電機(jī)進(jìn)行調(diào)焦并基于所 述調(diào)焦電機(jī)的位置確定所述位移。
全文摘要
一種照相機(jī)，包括第一成像部件，其用于捕獲第一視場(chǎng)的IR圖像數(shù)據(jù)，所述第一成像部件包括IR光學(xué)器件；第二成像部件，其用于捕獲至少部分地與第一視場(chǎng)交疊的第二視場(chǎng)的可見(jiàn)光數(shù)據(jù)，所述第二成像部件包括可見(jiàn)光光學(xué)器件；以及用于根據(jù)第一成像部件或第二成像部件的聚焦距離而相對(duì)于彼此調(diào)節(jié)第一視場(chǎng)和第二視場(chǎng)的裝置。所述成像部件之一包括用于分別對(duì)光學(xué)器件進(jìn)行調(diào)焦的電機(jī)，所述照相機(jī)還包括被配置成感測(cè)所述電機(jī)位置的感測(cè)裝置和被配置成基于所述調(diào)焦電機(jī)的位置確定對(duì)準(zhǔn)所述圖像所需的位移的處理裝置。
文檔編號(hào)G06T5/50GK101796818SQ200880105769
公開(kāi)日2010年8月4日 申請(qǐng)日期2008年6月27日 優(yōu)先權(quán)日2007年7月6日
發(fā)明者K·斯特蘭德瑪, M·英格黑德 申請(qǐng)人:前視紅外系統(tǒng)股份公司