專利名稱：用于處理圖像的設備和方法
技術領域：
以下描述涉及一種用于去除圖像信號的噪聲并重建細節(jié)以獲取高靈敏度圖像的 技術。
背景技術：
通常，圖像獲取設備是一種用于獲取并處理從對象反射的光并將對象的圖像顯示 給用戶的設備。最近，信息通信技術的發(fā)展引起了各種圖像獲取設備(諸如，數(shù)字相機)的 分布。 數(shù)字相機包括用于吸收從對象反射的光并將光轉換為電信號的圖像傳感器，且處 理從這樣的圖像傳感器獲取的圖像信號并顯示圖像。通常，當吸收光時，數(shù)字相機通過放置 在圖像傳感器前面的濾波器選擇性地吸收特定波長的可見光。 然而，當使用特定波長的可見光進行拍攝時，由于在低照度環(huán)境(室內或夜間)下 或在高速拍攝下產生非常大的噪聲而發(fā)生圖像失真。具體地，在彩色圖像的情況下，由于低 靈敏度和噪聲，高頻/細節(jié)分量失真，這導致嚴重的圖像質量惡化。 同時，已經研發(fā)了吸收紅外光波長的圖像獲取設備。這種圖像獲取設備的代表性 示例是紅外相機，從紅外相機獲取的圖像沒有彩色信息，但是具有相對高的靈敏度。

發(fā)明內容
以下描述涉及一種使用具有比彩色圖像的靈敏度相對更高的靈敏度的輔助圖像 來處理彩色圖像以去除彩色圖像的噪聲并重建細節(jié)的設備和方法。 根據(jù)一示例性方面，提供了一種接收主圖像信號和輔助圖像信號、使用關于輔助 圖像信號的信息去除主圖像信號的噪聲以及使用輔助圖像信號的高頻分量重建主圖像信 號的細節(jié)的圖像處理設備。 根據(jù)另一示例性方面，提供了一種圖像處理設備，包括第一噪聲減小單元，去除 輔助圖像信號的噪聲；第二噪聲減小單元，使用關于輔助圖像信號的信息去除主圖像信號 的噪聲；高頻提取器，從第一噪聲減小單元的輸出信號提取輔助圖像信號的高頻分量；細 節(jié)重建單元，使用輔助圖像信號的高頻分量重建主圖像信號的細節(jié)。 根據(jù)另一示例性方面，提供了一種圖像處理設備，包括第一噪聲減小單元，去除 輔助圖像信號的噪聲；第二噪聲減小單元，使用關于輔助圖像信號的信息或關于主圖像信 號的信息去除主圖像信號的噪聲；高頻提取器，從第一噪聲減小單元的輸出信號提取輔助 圖像信號的高頻分量；細節(jié)重建單元，使用輔助圖像信號的高頻分量重建主圖像信號的細 節(jié)。 主圖像信號是彩色信號或RGB信號，輔助圖像信號是包括可見光的所有波長的信號、包括可見光的所有波長和紅外光波長的信號或包括可見光的所有波長和紫外光波長的信號。 圖像處理設備還包括細節(jié)提取器，接收高頻提取器的輸出信號和第二噪聲減小單
元的輸出信號，從輔助圖像信號的高頻分量提取細節(jié)，并將所述細節(jié)應用到細節(jié)重建單元。
圖像處理設備還包括環(huán)形失真(ring distortion)減小單元，從細節(jié)重建單元的 輸出信號去除環(huán)形失真。 根據(jù)另一示例性方面，提供了一種圖像處理方法，包括分別獲取彩色圖像信號和
具有比彩色圖像信號的靈敏度相對更高的靈敏度的輔助圖像信號；去除輔助圖像信號的噪
聲；使用關于輔助圖像信號的信息去除彩色圖像信號的噪聲；從去除噪聲的輔助圖像信號
提取高頻分量；以及使用高頻分量重建已經去除噪聲的彩色圖像信號的細節(jié)。 將在接下來的描述中闡述本發(fā)明其它方面，還有一部分通過描述將是清楚的，或
者可以經過本發(fā)明的實施而得知。 應該理解先前的一般描述和以下詳細描述都是示例性和說明性的，旨在提供所主 張的本發(fā)明的進一步解釋。


被包括以提供本發(fā)明的進一步理解的附圖被合并并且組成本發(fā)明的一部分，附圖
示出本發(fā)明的示例性實施例，并與描述一起用于解釋本發(fā)明的各方面。
圖1示出根據(jù)實施例的圖像處理設備的配置； 圖2示出根據(jù)實施例的主圖像信號和輔助圖像信號的譜； 圖3示出根據(jù)實施例的圖像傳感器的結構； 圖4是根據(jù)實施例的圖像處理設備的框圖； 圖5是根據(jù)另一實施例的圖像處理設備的框圖； 圖6是根據(jù)另一實施例的圖像處理設備的框圖； 圖7是根據(jù)另一實施例的圖像處理設備的框圖；禾口 圖8是根據(jù)實施例的圖像處理方法的流程圖。
具體實施例方式以下，參照示出示例性實施例的附圖來更詳細地描述本發(fā)明。然而，本發(fā)明可被以 各種不同形式實施而不應理解為局限于在此闡述的示例性實施例。此外，提供這些示例性 實施例從而本發(fā)明是徹底的，并將本發(fā)明的范圍完全傳達給本領域的技術人員。在附圖中， 為了清楚可夸大層和區(qū)域的大小和相對大小。附圖中相同的標號表示相同的部件。
圖1示出根據(jù)實施例的圖像處理設備100的配置。 在圖1中，圖像處理設備100(諸如，數(shù)字相機、機頂盒等)包括安裝在圖像獲取設 備中的軟件系統(tǒng)或圖像處理芯片。 圖像處理設備100接收主圖像信號和輔助圖像信號，對它們進行處理并將處理結 果作為圖像輸出。同時，處理的步驟可包括去除信號的噪聲和重建細節(jié)的處理，以獲得高靈 敏度圖像。 主圖像信號可具有彩色信息。例如，主圖像信號是與光譜中的特定波長相應的RGB信號或彩色信號。另外，輔助圖像信號可不具有彩色信息，而具有比主圖像信號的靈敏度相 對更高的靈敏度。例如，輔助圖像信號是包括可見光的所有波長的白信號(W)、包括可見光 的所有波長和近紅外光波長的白與近紅外信號(W+NIR)或包括可見光的所有波長和紫外 光波長的白與紫外信號。 圖2示出根據(jù)實施例的主圖像信號和輔助圖像信號的譜。 在圖2中，(a)示出作為主圖像信號的RGB信號的譜，(b)示出作為輔助圖像信號 的可見光和近紅外光的譜。 圖2示出輔助圖像信號(b)具有比主圖像信號(a)的波長范圍更寬的波長范圍。 通常，由于不充足的曝光時間、信號放大等，在低照度環(huán)境下獲得的彩色圖像具有非常大的 的噪聲。然而，由于從具有比可見光的波長范圍更寬的波長范圍的光產生圖像信號，包括紅 外光的圖像信號可形成相對高靈敏度的圖像。也就是說，參照圖2，如果具有不同特性的主 圖像信號和輔助圖像信號被結合，則可獲得高靈敏度的圖像。 圖3示出根據(jù)實施例的用于獲得主圖像信號和輔助圖像信號的圖像傳感器300的 結構。 參照圖3，圖像傳感器300包括濾波器單元301和傳感器單元302。濾波器單元 301包括彩色部分303和透明部分304。傳感器單元302可包括在彩色部分303下面形成 的第一光接收部分305以及在透明部分304和第一光接收部分305下面形成的第二光接收 部分306。彩色部分303可產生諸如RGB信號的主圖像信號，由于其僅發(fā)送屬于可見光中的 具有彩色信息的特定波長范圍的光。另外，由于透明部分304發(fā)送所有波長的光，故第二光 接收部分306的上部可感應包括可見光的所有波長的光(例如，白信號)，第二光接收部分 306的下部可感應具有比可見光的波長更長的波長的紅外光(例如，NIR信號)。
因此，第一光接收部分305可獲取主圖像信號，第二光接收部分306可獲取輔助圖 像信號。 圖4是根據(jù)實施例的圖像處理設備400的框圖。 參照圖4，圖像處理設備400包括第一噪聲減小單元401、第二噪聲減小單元402、 高頻提取器403和細節(jié)重建單元404。 第一噪聲減小單元401去除輔助圖像信號的噪聲。 這里，輔助圖像信號可以是包括可見光的所有波長的具有相對高靈敏度的信號 (W)、包括可見光的所有波長和近紅外光波長的信號(W+NIR)或包括可見光的所有波長和 紫外光波長的信號(W+UV)。 可使用各種方法去除輔助圖像信號的噪聲。例如，由于輔助圖像信號具有相對高 靈敏度，使用低通濾波器來去除輔助圖像信號的噪聲。 第一噪聲減小單元401可包括反映輔助圖像信號的噪聲特性的簡檔(profile)。 可通過經由實驗的噪聲建模獲得噪聲簡檔。如果第一噪聲減小單元401包括這樣的噪聲簡 檔，則可以減小在估計輔助圖像信號的噪聲的過程中的差錯以增加性能，另外，還可減小用 于估計輔助圖像信號的噪聲的過程所花費的時間。 第二噪聲減小單元402接收主圖像信號，并使用關于輔助圖像信號的信息去除主 圖像信號的噪聲。 這里，主圖像信號可以是具有相對低靈敏度的彩色信號或RGB信號。另外，關于輔助圖像信號的信息可以是關于輔助圖像信號的噪聲特性的信息。 以下，將使用等式對使用關于輔助圖像信號的信息來去除主圖像信號的噪聲的方
法進行詳細描述。
<formula>formula see original document page 7</formula> 在等式1中，y表示主圖像信號，n表示噪聲信息，Xl表示關于已經去除噪聲的圖 像的信息。也就是說，從主圖像信號去除噪聲是用于獲得等式1中的A。為了計算簡便，對 等式1進行小波變換，結果如下
Y = X一n (2) 隨后，在等式2上應用最小均方誤差(匪SE)估計方案以獲得&， &可由等式3表 示。 <formula>formula see original document page 7</formula> 在等式3中，o/表示信號的方差，0 2表示噪聲的方差。使用由第一噪聲減小單
元401接收的輔助圖像信號的噪聲特性估計。/值。以這種方式，可使用關于輔助圖像信
號的信息去除主圖像信號的噪聲。 等式1、2和3用于示例性地解釋使用關于輔助圖像信號的信息去除主圖像信號的 噪聲的方法。除了上述方案，可使用由第一噪聲減小單元401計算的輔助圖像信號的噪聲 特性的雙邊濾波器方案來去除主圖像信號的噪聲。 高頻提取器403從第一噪聲減小單元401的輸出信號提取輔助圖像信號的高頻分 量。例如，高頻提取器403通過對已經去除噪聲的輔助圖像信號執(zhí)行高通濾波來提取輔助 圖像信號的高頻分量。 細節(jié)重建單元404接收第二噪聲減小單元402的輸出并使用輔助圖像信號的高頻 分量重建主圖像信號的細節(jié)。例如，通過將作為第二噪聲減小單元402的輸出并已經去除 噪聲的主圖像信號與由高頻提取器403提取的輔助圖像信號的高頻分量組合來重建主圖 像信號的細節(jié)。細節(jié)重建單元404可具有抑制噪聲放大的功能。
圖5是根據(jù)另一實施例的圖像處理設備500的框圖。 參照圖5，除了圖4中示出的組件外，圖像處理設備500還包括細節(jié)提取器501和 環(huán)形失真減小單元502。圖5中示出的第一噪聲減小單元401、第二噪聲減小單元402、高頻 提取器403和細節(jié)重建單元404與圖4中示出的相應組件相同，因此將省略其詳細描述。
細節(jié)提取器501接收高頻提取器403和第二噪聲減小單元402的輸出，從輔助圖 像信號的高頻分量中的噪聲區(qū)分細節(jié)以提取細節(jié)，并將所述細節(jié)輸出到細節(jié)重建單元404。 在使用輔助圖像信號的高頻分量重建主圖像信號的細節(jié)的情況下，由于根據(jù)信號組成存在 噪聲放大的可能性，因此細節(jié)提取器501用于從輔助圖像信號的高頻分量中的噪聲區(qū)分細 節(jié)并僅將細節(jié)分量應用到細節(jié)重建單元404?？苫诹炼葏^(qū)分細節(jié)和噪聲。
環(huán)形失真減小單元502接收細節(jié)重建單元404的輸出信號并去除輸出信號的環(huán)形 失真。例如，環(huán)形失真減小單元502通過對已經減小噪聲的主圖像信號和輔助圖像信號進 行二次聚類(dual clustering)使用最大似然估計(MLE)去除環(huán)形失真。
圖6是根據(jù)另一實施例的圖像處理設備600的框圖。 參照圖6，圖像處理設備600包括第一噪聲減小單元601、第二噪聲減小單元602、 高頻提取器603、細節(jié)重建單元604和切換單元605。
第一噪聲減小單元601去除輔助圖像信號的噪聲。這里，輔助圖像信號可以是包 括可見光的所有波長的具有相對高靈敏度的信號(W)、包括可見光的所有波長和近紅外光 波長的信號(W+NIR)或包括可見光的所有波長和紫外光波長的信號(W+UV)?？墒褂酶鞣N方 法去除輔助圖像信號的噪聲。例如，由于輔助圖像信號具有相對高靈敏度，使用低通濾波器 去除輔助圖像信號的噪聲。 第一噪聲減小單元601可包括反映輔助圖像信號的噪聲特性的簡檔。 第二噪聲減小單元602接收主圖像信號，并使用關于輔助圖像信號的信息或關于
主圖像信號的信息去除主圖像信號的噪聲。 第二噪聲減小單元602可使用上述的等式1、2和3去除主圖像信號的噪聲。然而， 第二噪聲減小單元602可使用由第一噪聲減小單元601接收的輔助圖像信號的噪聲特性或 僅使用主圖像信號自身的信息來估計作為信號的方差的。/的值。例如，如果主圖像信號 和輔助圖像信號的圖像特性彼此相同或相似，則使用關于輔助圖像信號的信息估計。s2的 值，如果主圖像信號和輔助圖像信號的圖像特性彼此不同，則僅使用主圖像信號自身的信 息估計o/的值。 切換單元605用于將主圖像信號的圖像特性與輔助圖像信號的圖像特性進行比 較。切換單元605接收主圖像信號和輔助圖像信號，將主圖像信號的圖像特性與輔助圖像 信號的圖像特性進行比較，并根據(jù)比較結果將關于從第一噪聲減小單元601輸出的輔助圖 像信號的信息應用到第二噪聲減小單元602或阻止將關于輔助圖像信號的信息應用到第 二噪聲減小單元602。 高頻提取器603對已經減小噪聲的輔助圖像信號執(zhí)行高通濾波，并從輔助圖像信 號提取高頻分量。 細節(jié)重建單元604接收第二噪聲減小單元602的輸出并使用輔助圖像信號的高頻 分量重建主圖像信號的細節(jié)。另外，細節(jié)重建單元604可具有抑制噪聲放大的功能。
圖7是根據(jù)另一實施例的圖像處理設備700的框圖。 參照圖7，除了圖6中示出的組件外，圖像處理設備700還包括細節(jié)提取器501和 環(huán)形失真減小單元502。在圖7中，第一噪聲減小單元601、第二噪聲減小單元602、高頻提 取器603、細節(jié)重建單元604和切換單元605與上述的相應組件相同，細節(jié)提取器501和環(huán) 形失真減小單元502與圖5中示出的相應組件相同，因此將省略其詳細描述。
圖8是根據(jù)實施例的圖像處理方法的流程圖。 參照圖8，圖像處理方法包括分別接收主圖像信號和輔助圖像信號的操作(操作
S801)。主圖像信號可以是彩色圖像信號，輔助圖像信號可以是包括可見光的所有波長的具
有相對高靈敏度的信號、包括可見光的所有波長和近紅外光波長的信號或包括可見光的所
有波長和紫外光波長的信號?？赏ㄟ^圖3中示出的圖像傳感器300獲取各個信號。 接著，去除輔助圖像信號的噪聲(操作S802)。如上所述，可使用各種算法去除輔
助圖像信號的噪聲。例如，由于輔助圖像信號具有相對高靈敏度，使用低通濾波器容易地去
除輔助圖像信號的噪聲。 隨后，使用關于輔助圖像信號的信息去除主圖像信號的噪聲(操作S803)?？墒褂?上述等式1、2和3去除主圖像信號的噪聲?；蛘?，可根據(jù)主圖像信號和輔助圖像信號的圖 像特性，使用關于輔助圖像信號的信息或使用關于主圖像信號的信息來去除主圖像信號的噪聲。 隨后，從已經去除噪聲的輔助圖像信號提取高頻分量(操作S804)。高頻分量用于 重建主圖像信號的細節(jié)。在操作S804，還可進一步執(zhí)行從噪聲區(qū)分細節(jié)以僅提取細節(jié)的操 作以避免噪聲放大。 隨后，使用高頻分量重建主圖像信號的細節(jié)。 本領域的技術人員應該清楚，在不脫離本發(fā)明的精神和范圍的情況下，可以對本 發(fā)明進行各種修改和改變。因此，本發(fā)明覆蓋本發(fā)明的修改和改變，并且本發(fā)明的修改和改 變落入權利要求及其等同物的范圍內。
權利要求
一種接收主圖像信號和輔助圖像信號、使用關于輔助圖像信號的信息去除主圖像信號的噪聲以及使用輔助圖像信號的高頻分量重建主圖像信號的細節(jié)的圖像處理設備。
2. 如權利要求1所述的圖像處理設備，其中，主圖像信號是彩色信號或RGB信號，輔助 圖像信號是包括可見光的所有波長的信號、包括可見光的所有波長和紅外光波長的信號或 包括可見光的所有波長和紫外光波長的信號。
3. —種圖像處理設備，包括 第一噪聲減小單元，去除輔助圖像信號的噪聲；第二噪聲減小單元，使用關于輔助圖像信號的信息去除主圖像信號的噪聲；高頻提取器，從第一噪聲減小單元的輸出信號提取輔助圖像信號的高頻分量；禾口細節(jié)重建單元，使用輔助圖像信號的高頻分量重建主圖像信號的細節(jié)。
4. 如權利要求3所述的圖像處理設備，其中，主圖像信號是彩色信號或RGB信號，輔助 圖像信號是包括可見光的所有波長的信號、包括可見光的所有波長和紅外光波長的信號和 包括可見光的所有波長和紫外光波長的信號。
5. 如權利要求3所述的圖像處理設備，其中，第一噪聲減小單元包括反映輔助圖像信 號的噪聲特性的簡檔。
6. 如權利要求3所述的圖像處理設備，其中，關于輔助圖像信號的信息包括關于輔助 圖像信號的噪聲特性的信息。
7. 如權利要求3所述的圖像處理設備，還包括細節(jié)提取器，接收高頻提取器的輸出信 號和第二噪聲減小單元的輸出信號，從輔助圖像信號的高頻分量提取細節(jié)，并將所述細節(jié) 應用到細節(jié)重建單元。
8. 如權利要求7所述的圖像處理設備，其中，細節(jié)提取器使用亮度信息提取細節(jié)。
9. 如權利要求3所述的圖像處理設備，還包括環(huán)形失真減小單元，從細節(jié)重建單元的 輸出信號去除環(huán)形失真。
10. —種圖像處理設備，包括 第一噪聲減小單元，去除輔助圖像信號的噪聲；第二噪聲減小單元，使用關于輔助圖像信號的信息或關于主圖像信號的信息去除主圖 像信號的噪聲；高頻提取器，從第一噪聲減小單元的輸出信號提取輔助圖像信號的高頻分量；禾口 細節(jié)重建單元，使用輔助圖像信號的高頻分量重建主圖像信號的細節(jié)。
11. 如權利要求IO所述的圖像處理設備，其中，主圖像信號是彩色信號或RGB信號，輔 助圖像信號是包括可見光的所有波長的信號、包括可見光的所有波長和紅外光波長的信號 或包括可見光的所有波長和紫外光波長的信號。
12. 如權利要求IO所述的圖像處理設備，還包括切換單元，將主圖像信號的特性與輔 助圖像信號的特性進行比較，并將關于輔助圖像信號的信息應用到第二噪聲減小單元或阻 止將關于輔助圖像信號的信息應用到第二噪聲減小單元。
13. 如權利要求10所述的圖像處理設備，其中，第一噪聲減小單元包括反映輔助圖像 信號的噪聲特性的簡檔。
14. 如權利要求IO所述的圖像處理設備，其中，關于輔助圖像信號的信息包括關于輔助圖像信號的噪聲特性的信息。
15. 如權利要求IO所述的圖像處理設備，還包括細節(jié)提取器，接收高頻提取器的輸出 信號和第二噪聲減小單元的輸出信號，從輔助圖像信號的高頻分量提取細節(jié)，并將所述細 節(jié)應用到細節(jié)重建單元。
16. 如權利要求15所述的圖像處理設備，其中，細節(jié)提取器使用亮度信息提取細節(jié)。
17. 如權利要求IO所述的圖像處理設備，還包括環(huán)形失真減小單元，從細節(jié)重建單元 的輸出信號去除環(huán)形失真。
18. —種圖像處理方法，包括分別獲得彩色圖像信號和具有比彩色圖像信號的靈敏度相對更高的靈敏度的輔助圖 像信號；去除輔助圖像信號的噪聲；使用關于輔助圖像信號的信息去除彩色圖像信號的噪聲； 從去除噪聲的輔助圖像信號提取高頻分量；以及 使用高頻分量重建已經去除噪聲的彩色圖像信號的細節(jié)。
19. 如權利要求18所述的圖像處理方法，其中，輔助圖像信號是包括可見光的所有波 長的信號、包括可見光的所有波長和紅外光波長的信號或包括可見光的所有波長和紫外光 波長的信號。
全文摘要
提供了一種用于處理圖像的設備和方法。根據(jù)一方面，使用具有比彩色圖像信號的靈敏度更高的靈敏度的輔助圖像信號去除彩色圖像信號的噪聲，使用輔助圖像信號的高頻分量重建已經去除噪聲的彩色圖像信號的細節(jié)。
文檔編號H04N5/217GK101742089SQ20091015038
公開日2010年6月16日 申請日期2009年6月25日 優(yōu)先權日2008年11月17日
發(fā)明者劉永珍, 崔瑗熙, 權宰賢 申請人:三星電子株式會社