用于處理紅外圖像數(shù)據(jù)的系統(tǒng)和裝置的制造方法
【專利說明】
[0001] 本申請是申請日為2010年2月26日、申請?zhí)枮?01080018803. X(國際申請?zhí)枮?PCT/US2010/025671)、發(fā)明名稱為"用于處理紅外圖像的系統(tǒng)和裝置"的發(fā)明專利申請的分 案申請。
技術(shù)領(lǐng)域
[0002] 本發(fā)明一般涉及紅外圖像，并且更具體地涉及諸如利用噪聲濾波技術(shù)對紅外圖像 數(shù)據(jù)進(jìn)行的圖像處理。
【背景技術(shù)】
[0003] 由紅外成像器（諸如基于微輻射熱測定儀的紅外成像器）生成的圖像通常包括噪 聲。例如，噪聲的主要源可能是由于時間、1/f、和/或固定空間噪聲造成的，并且典型的紅 外成像系統(tǒng)可包括校準(zhǔn)算法以盡力使這些類型的噪聲最小化。
[0004] 作為示例，紅外成像系統(tǒng)一般使用內(nèi)部快門，其使得紅外成像系統(tǒng)針對（against) 均勻（uniform)目標(biāo)獲取圖像以執(zhí)行校準(zhǔn)過程。然而，存在與這類過程相關(guān)聯(lián)的一些缺點。 例如，快門的需要增加了紅外成像系統(tǒng)的制造成本。此外，校準(zhǔn)過程不校正除了快門之外的 噪聲源（例如，由于光學(xué)路徑內(nèi)的鏡頭或其他組件所導(dǎo)致的）。此外，場景溫度可能不同于 快門的溫度，并且對輻射的檢測器元件響應(yīng)可能不是完全線性的。這樣，以快門溫度進(jìn)行的 校正可能不適合于紅外成像系統(tǒng)正在成像的具體場景。而且，在使用快門的偏移校準(zhǔn)期間， 紅外成像系統(tǒng)可能不能如用戶所期望的那樣捕獲場景的圖像。
[0005] 人類觀察者對于紅外成像器中典型的高頻空間噪聲非常敏感。低通濾波器可用于 減少噪聲，但是這使圖像模糊、并且降低了系統(tǒng)性能。
[0006] 結(jié)果，需要針對紅外成像和處理紅外圖像的改進(jìn)技術(shù)，其可在不依賴快門或者需 要均勻場景的情況下減少空間、時間和/或1/f?類型噪聲，并且可不引入模糊或者引入最小 模糊。

【發(fā)明內(nèi)容】

[0007] 根據(jù)一個或多個實施例的在這里公開的系統(tǒng)和方法提供了用于處理由紅外傳感 器（例如紅外相機(jī)）捕獲的圖像的技術(shù)，以便諸如提高圖像質(zhì)量。例如，根據(jù)實施例，公開 圖像處理算法，以將紅外圖像分離為列和行部分或區(qū)段（portion)，其可被分開地處理以減 少噪聲并提供改進(jìn)的紅外圖像。
[0008] 根據(jù)一個或多個實施例，用于處理紅外圖像數(shù)據(jù)的系統(tǒng)和方法包括：從非均勻場 景接收紅外圖像數(shù)據(jù)；將所述紅外圖像數(shù)據(jù)分離為列噪聲濾波區(qū)段和行噪聲濾波區(qū)段；確 定列噪聲偏移項；基于列噪聲偏移項來應(yīng)用列噪聲濾波校正到紅外圖像數(shù)據(jù)；確定行噪聲 偏移項；基于行噪聲偏移項來應(yīng)用行噪聲濾波校正到紅外圖像數(shù)據(jù)；基于列和行噪聲濾波 校正提供已校正紅外圖像數(shù)據(jù)作為紅外輸出圖像數(shù)據(jù)；以及存儲所述紅外輸出圖像數(shù)據(jù)。 在一個實現(xiàn)中，相同的列噪聲偏移項被應(yīng)用到列噪聲濾波區(qū)段的特定列中的每個對應(yīng)像 素，并且相同的行噪聲偏移項被應(yīng)用到行噪聲濾波區(qū)段的特定行中的每個對應(yīng)像素。
[0009] 在各種實現(xiàn)中，所述系統(tǒng)和方法可包括：通過針對每個像素計算中心像素與多個 相鄰像素之間的差來分開地計算行噪聲濾波區(qū)段的列相鄰者（neighbor)差；以及通過針 對每個像素計算中心像素與多個相鄰像素之間的差來分開地計算列噪聲濾波區(qū)段的行相 鄰者差。所述系統(tǒng)和方法可包括：在分開地計算列和行相鄰者差之后執(zhí)行列和行相鄰者差 的直方圖；分開地將所述列和行相鄰者差與預(yù)定閾值進(jìn)行比較；并且如果所述差低于所述 預(yù)定閾值，則將列和行相鄰者差添加到相應(yīng)列和行。在一個方面，所述將列和行相鄰者差添 加到相應(yīng)列和行的步驟包括分別地將列和行相鄰者差添加到關(guān)于特定列和行的直方圖。
[0010] 在各個實現(xiàn)中，所述系統(tǒng)和方法可包括：確定關(guān)于相應(yīng)列和行的中值差（median difference);將所述中值差添加到關(guān)于相應(yīng)列和行的一個或多個先前校正項；以及將所 述校正項應(yīng)用到紅外圖像數(shù)據(jù)。在一個方面，所述紅外圖像數(shù)據(jù)包括紅外輸入視頻數(shù)據(jù)，所 述已校正紅外圖像數(shù)據(jù)包括已校正紅外視頻數(shù)據(jù)，并且所述紅外輸出圖像數(shù)據(jù)包括紅外輸 出視頻數(shù)據(jù)。所述系統(tǒng)和方法可以包括在估計所述列和行噪聲濾波校正值之前對紅外圖像 數(shù)據(jù)進(jìn)行高通濾波。在一個方面，對相應(yīng)行和列進(jìn)行高通濾波包括減去低通濾波運(yùn)算的結(jié) 果。所述紅外圖像數(shù)據(jù)可包括多個幀，其中除第一幀之外，每個幀被分開地校正為具有至少 一個先前幀的當(dāng)前幀。所述系統(tǒng)和方法可包括將紅外圖像數(shù)據(jù)延遲一個幀、并顯示紅外輸 出圖像數(shù)據(jù)。
[0011] 根據(jù)實施例，用于處理紅外圖像數(shù)據(jù)的方法包括：從多像素紅外檢測器接收基于 非均勻場景的紅外圖像數(shù)據(jù)；識別紅外圖像數(shù)據(jù)的列噪聲濾波區(qū)段；確定用于對應(yīng)列的列 噪聲偏移項；基于列噪聲偏移項將列噪聲濾波校正應(yīng)用到紅外圖像數(shù)據(jù)，其中所述列噪聲 偏移項被應(yīng)用到列噪聲濾波區(qū)段的每個對應(yīng)列中的至少大多數(shù)紅外圖像數(shù)據(jù)；基于列噪聲 濾波校正提供已校正紅外圖像數(shù)據(jù)作為紅外輸出圖像數(shù)據(jù)；以及存儲所述紅外輸出圖像數(shù) 據(jù)。
[0012] 根據(jù)實施例，紅外成像系統(tǒng)包括：紅外檢測器（例如，由諸如紅外相機(jī)的紅外成像 裝置所使用的）；處理器，適于處理來自紅外檢測器的、非均勻場景的紅外圖像數(shù)據(jù)；以及 存儲部件，適于存儲所述紅外輸出圖像數(shù)據(jù)。所述處理器可適于通過如下來處理來自紅外 檢測器的紅外圖像數(shù)據(jù)：從多像素紅外檢測器接收基于非均勻場景的紅外圖像數(shù)據(jù)；識別 紅外圖像數(shù)據(jù)的列噪聲濾波區(qū)段；確定用于對應(yīng)列的列噪聲偏移項；基于所述列噪聲偏移 項將列噪聲濾波校正應(yīng)用到紅外圖像數(shù)據(jù)，其中所述列噪聲偏移項被應(yīng)用到列噪聲濾波區(qū) 段的每個對應(yīng)列中的至少大多數(shù)紅外圖像數(shù)據(jù)；以及基于列噪聲濾波校正提供已校正紅外 圖像數(shù)據(jù)作為紅外輸出圖像數(shù)據(jù)。
[0013] 根據(jù)一個或多個實施例，提供了一種用于處理紅外圖像數(shù)據(jù)的方法，該方法包括： 從紅外檢測器接收基于非均勻場景的紅外圖像數(shù)據(jù)，其中所述紅外圖像數(shù)據(jù)包括在多個行 和列中布置的像素；對于每一列的至少一部分中的每個像素，確定該像素與包含該像素的 鄰域中的多個其他像素之間的差；對于每一列的所述部分中的每個像素，基于該像素與其 他像素之間的差的至少一個子集來確定平均差；對于每一列，至少基于針對該列中的像素 確定的平均差來確定對應(yīng)的列校正項；和將所述列校正項應(yīng)用于紅外圖像數(shù)據(jù)，以提供具 有減小的空間噪聲的、校正的紅外圖像數(shù)據(jù)。
[0014] 本發(fā)明的范圍由權(quán)利要求所限定，通過參考將權(quán)利要求合并在這個部分中。通過 考慮一個或多個實施例的如下詳細(xì)描述，將向本領(lǐng)域的技術(shù)人員提供本發(fā)明的實施例的更 完整理解連同其附加優(yōu)點的實現(xiàn)。將參考所附的圖表，首先簡要描述所述圖表。
【附圖說明】
[0015] 圖1示出了根據(jù)本發(fā)明實施例的用于紅外圖像處理的系統(tǒng)的框圖；
[0016] 圖2A至圖2C是圖示了根據(jù)本發(fā)明實施例的用于對紅外圖像進(jìn)行噪聲濾波的方法 的流程圖；
[0017] 圖3A至圖3C是圖示了根據(jù)本發(fā)明實施例的紅外圖像數(shù)據(jù)和紅外圖像的處理的圖 表；
[0018] 圖4示出了根據(jù)本發(fā)明實施例的用于論述處理技術(shù)的傳感器數(shù)據(jù)的行區(qū)段；
[0019] 圖5A至圖5C示出了根據(jù)本發(fā)明實施例的用于對紅外圖像進(jìn)行列和行噪聲濾波的 示范實現(xiàn)。
[0020] 通過參考接下來的詳細(xì)描述來最好地理解本發(fā)明的實施例和它們的優(yōu)點。應(yīng)該理 解，相同的附圖標(biāo)記被用于識別在一個或多個圖中圖示的相同元件。
【具體實施方式】
[0021] 這里公開的根據(jù)一個或多個實施例的系統(tǒng)和方法提供了用于由紅外成像系統(tǒng)捕 獲的圖像的圖像處理算法。例如，在一個實施例中，可處理紅外圖像以減少紅外圖像內(nèi)的噪 聲（例如，改善圖像細(xì)節(jié)和/或圖像質(zhì)量）。對于一個或多個實施例，可應(yīng)用處理技術(shù)來減 少在紅外圖像的行和/或列內(nèi)的噪聲。
[0022] 可以將噪聲的顯著（significant)區(qū)段定義為行和列噪聲。這類噪聲可通過讀出 集成電路（ROIC)中的非線性來解釋。如果不去除這類噪聲，則它可能被顯現(xiàn)為最終圖像中 的垂直和水平條帶，并且人類觀察者對這些類型的圖像偽影非常敏感。如果存在行和列噪 聲，則依賴于來自諸如自動目標(biāo)跟蹤器的紅外傳感器的影像（imagery)的其他系統(tǒng)還可能 經(jīng)受性能惡化。
[0023] 由于紅外檢測器和讀出集成電路（ROIC)組合件的非線性行為，即使當(dāng)執(zhí)行快門 操作或者外部黑體校準(zhǔn)時，也可能有殘余的行和列噪聲（例如，正在成像的場景可能不具 有與快門確切相同的溫度）。在偏移校準(zhǔn)之后，行和列噪聲的量可能隨時間增加，并漸進(jìn)地 增加到某個最大值。在一個方面，這可被稱為1/f?類型噪聲。
[0024] 在任何給定的幀中，行和列噪聲可被視為高頻空間噪聲。傳統(tǒng)地，可使用空域濾波 器（例如，局部線性或非線性低通濾波器）或頻域濾波器（例如，傅立葉或小波空間中的低 通濾波器）來減少這類噪聲。然而，這些濾波器可具有負(fù)面影響，諸如圖像的模糊和微弱細(xì) 節(jié)的潛在損失。
[0025] 本領(lǐng)域的技術(shù)人員應(yīng)該理解，對列或行的任何引用可包括部分列或部分行，并且 術(shù)語"行"和"列"是可交換的并且不是限制性的。這樣，在不脫離本發(fā)明的范圍的情況下， 取決于應(yīng)用，術(shù)語"行"可用于描述行或列，并且同樣地，術(shù)語"列"可用于描述行或列。
[0026] 圖1示出了根據(jù)本發(fā)明實施例的用于紅外圖像捕獲和處理的系統(tǒng)100 (例如紅外 相機(jī)）的框圖。在一個實現(xiàn)中，所述系統(tǒng)100包括處理組件110、存儲組件120、圖像捕獲組 件130、控制組件140和顯示組件150?？蛇x地，所述系統(tǒng)可包括感測組件160。
[0027] 所述系