具有多光譜濾光器陣列的相機系統(tǒng)及其圖像處理方法
【專利摘要】公開了一種具有多光譜濾光器陣列的相機系統(tǒng)及其圖像處理方法。對從包括多光譜濾光器陣列的圖像傳感器輸出的圖像進行處理的方法，所述多光譜濾光器陣列包括濾色器和近紅外(NIR)濾光器，所述方法包括：通過使用包括紅色通道、綠色通道和藍色通道的彩色通道的空間信息，對所述圖像的NIR通道進行插值；通過使用NIR通道的空間信息，對所述圖像的彩色通道進行插值。
【專利說明】具有多光譜濾光器陣列的相機系統(tǒng)及其圖像處理方法

【技術(shù)領(lǐng)域】
[0001]本公開涉及一種具有多光譜濾光器陣列的相機系統(tǒng)及其圖像處理方法。

【背景技術(shù)】
[0002]各種方法被用于提高數(shù)碼相機(諸如閉路電視CCTV等)的圖像感光度。作為最常用的方法，RGB傳感器和紅外截止濾光片(IRCF)被使用。在這種方法中，當(dāng)白天存在大量的光時，IRCF和RGB傳感器被用于防止溢散的光入射到RGB傳感器，并用于提高圖像的質(zhì)量。此外，當(dāng)存在少量的光時(諸如在夜間)，不使用IRCF，并且輸出黑白圖像以使入射到RGB傳感器上的光的量最大，從而增加圖像的信息量。然而，IRCF增加了彩色圖像檢測設(shè)備的生產(chǎn)成本。
[0003]作為提高圖像感光度的另一方法，近紅外(NIR)傳感器和RGB傳感器被使用而無需IRCF。在RGB傳感器和NIR傳感器中，濾色器被安裝在與R、G和B相應(yīng)的像素上，并且濾色器未被安裝在與NIR相應(yīng)的像素上，從而提高了傳感器的感光度。


【發(fā)明內(nèi)容】

[0004]技術(shù)問題
[0005]本發(fā)明的一個或更多個實施例包括一種能量存儲系統(tǒng)和控制所述能量存儲系統(tǒng)的方法，其中，所述能量存儲系統(tǒng)能夠穩(wěn)定地向負(fù)載提供能量。
[0006]技術(shù)方案
[0007]本公開提供了一種在不使用單獨的紅外截止濾光片(IRCF)的相機系統(tǒng)中，考慮彩色通道和近紅外(NIR)通道之間的相關(guān)性來對高分辨率通道進行插值的方法。
[0008]本公開還提供了一種在包括濾色器和NIR濾光器的相機系統(tǒng)中提供用于識別對象的圖像的方法，而不管圖像是在白天還是夜間被捕獲的。
[0009]根據(jù)示例性實施例的一方面，提供了一種對從包括多光譜濾光器陣列的圖像傳感器輸出的圖像進行處理的方法，所述多光譜濾光器陣列包括濾色器和近紅外(NIR)濾光器，所述方法包括:通過使用包括紅色通道、綠色通道和藍色通道的彩色通道的空間信息，對所述圖像的NIR通道進行插值；通過使用NIR通道的空間信息，對所述圖像的彩色通道進行插值。
[0010]所述方法還可包括:通過使用插值后的NIR通道的亮度信息，恢復(fù)插值后的彩色通道的色彩。
[0011]所述方法還可包括:將包括恢復(fù)后的彩色通道的彩色圖像和包括插值后的NIR通道的NIR圖像進行融合。
[0012]根據(jù)示例性實施例的另一方面，提供了一種具有多光譜濾光器陣列的相機系統(tǒng)，所述相機系統(tǒng)包括:圖像傳感器，包括多光譜濾光器陣列，其中，所述多光譜濾光器陣列包括濾色器和近紅外(NIR)濾光器；NIR通道插值器，通過使用包括紅色通道、綠色通道和藍色通道的彩色通道的空間信息對從圖像傳感器輸出的圖像的NIR通道進行插值；彩色通道插值器，通過使用NIR通道的空間信息對所述圖像的彩色通道中的每個彩色通道進行插值。
[0013]NIR通道插值器可包括:第一分析器，針對插值像素分析相鄰的彩色像素之間的彩色通道值的變化趨勢以及相鄰的NIR像素之間的NIR通道值的變化趨勢，其中，所述插值像素是彩色像素中的一個像素；第一插值器，基于彩色通道值的變化趨勢和NIR通道值的變化趨勢來確定所述插值像素的NIR通道值。
[0014]NIR通道插值器可包括:第二插值器，基于噪聲特性和構(gòu)成所述圖像的像素的邊緣信息的局部特性來對插值后的NIR通道的噪聲特性和局部特性進行修正。
[0015]彩色通道插值器可包括:第二分析器，針對插值像素分析相鄰的彩色像素之間的彩色通道值的變化趨勢以及相鄰的NIR像素之間的NIR通道值的變化趨勢，其中，所述插值像素是NIR像素和除了進行插值的彩色通道之外的彩色通道的彩色像素中的一個像素；第三插值器，基于彩色通道值的變化趨勢和NIR通道值的變化趨勢來確定所述插值像素的彩色通道值并執(zhí)行初始插值。
[0016]彩色通道插值器還可包括:第四插值器，通過使用插值后的NIR通道的邊緣信息和細(xì)節(jié)信息來更新執(zhí)行了初始插值的彩色通道的邊緣信息和細(xì)節(jié)信息。
[0017]所述相機系統(tǒng)還可包括:色彩恢復(fù)器，通過使用插值后的NIR通道的亮度信息來恢復(fù)插值后的彩色通道的色彩。
[0018]色彩恢復(fù)器可包括:第三插值器，分析插值后的彩色通道的色彩和插值后的NIR通道的亮度之間的相關(guān)性；通道權(quán)重計算器，基于所述相關(guān)性來確定每個各個彩色通道的權(quán)重；減法器，通過使用各個彩色通道的權(quán)重來去除包括在彩色通道中的每個通道中的NIR分量，以產(chǎn)生恢復(fù)后的彩色通道。
[0019]恢復(fù)色彩的步驟可以基于逐像素被執(zhí)行。
[0020]所述相機系統(tǒng)還可包括:圖像融合器，將包括恢復(fù)后的彩色通道的彩色圖像和包括插值后的NIR通道的NIR圖像進行融合。
[0021]圖像融合器可包括:圖像權(quán)重計算器，基于彩色圖像和NIR圖像中的每個圖像的邊緣分量和細(xì)節(jié)分量來確定權(quán)重；融合器，將基于邊緣分量和細(xì)節(jié)分量確定的權(quán)重應(yīng)用于彩色圖像和NIR圖像并將彩色圖像和NIR圖像進行融合。
[0022]有益效果
[0023]根據(jù)一個或更多個示例性實施例的相機系統(tǒng)可考慮彩色通道和NIR通道之間的相關(guān)性來提供高分辨率的清楚的插值圖像。
[0024]此外，根據(jù)一個或更多個示例性實施例的相機系統(tǒng)可提供用于識別對象的包括色彩?目息和NIR /[目息兩者的融合圖像。

【專利附圖】

【附圖說明】
[0025]通過參照附圖詳細(xì)描述本公開的示例性實施例，本公開的以上和其他特征和優(yōu)點將變得更加明顯，其中:
[0026]圖1是根據(jù)示例性實施例的相機系統(tǒng)的框圖；
[0027]圖2和圖3是根據(jù)示例性實施例的圖1中示出的圖像傳感器的示意性框圖；
[0028]圖4是根據(jù)示例性實施例的圖像處理設(shè)備的示意性框圖；
[0029]圖5是根據(jù)示例性實施例的近紅外通道插值器的框圖；
[0030]圖6是根據(jù)示例性實施例的彩色通道插值器的框圖；
[0031]圖7是根據(jù)示例性實施例的色彩恢復(fù)器的示意性框圖；
[0032]圖8是根據(jù)示例性實施例的圖像融合器的示意性框圖；
[0033]圖9是根據(jù)示例性實施例的基于多光譜濾光器陣列(MFA)的圖像處理方法的流程圖；
[0034]圖10示出使用包括RGB濾色器和近紅外(NIR)濾光器的圖像傳感器的傳統(tǒng)圖像處理設(shè)備。
[0035]最優(yōu)實施方式
[0036]根據(jù)示例性實施例的一方面，提供了一種對從包括多光譜濾光器陣列的圖像傳感器輸出的圖像進行處理的方法，所述多光譜濾光器陣列包括濾色器和近紅外(NIR)濾光器，所述方法包括:通過使用包括紅色通道、綠色通道和藍色通道的彩色通道的空間信息，對所述圖像的NIR通道進行插值；通過使用NIR通道的空間信息，對所述圖像的彩色通道進行插值。

【具體實施方式】
[0037]在下文中，通過參照附圖解釋示例性實施例來詳細(xì)描述本公開。附圖中相似的標(biāo)號表示相似的元件。在本公開的描述中，當(dāng)認(rèn)為現(xiàn)有技術(shù)的某些詳細(xì)解釋可能不必要地模糊示例性實施例的本質(zhì)時，省略對現(xiàn)有技術(shù)的某些詳細(xì)解釋。
[0038]這里使用的諸如“第一”、“第二”的術(shù)語僅用于描述多種構(gòu)成元件，但構(gòu)成元件不被所述術(shù)語限制。所述術(shù)語僅用作區(qū)分一個構(gòu)成元件與另一個構(gòu)成元件的目的。
[0039]本公開中使用的術(shù)語用于解釋特定示例性實施例，而不是限制本公開。因此，除非上下文中另有明確的指定，否則本公開中的單數(shù)形式的術(shù)語的表述包括復(fù)數(shù)形式的相同術(shù)語的表述。另外，諸如“包括”或“包含”的術(shù)語可被解釋為表示存在特定特征、數(shù)字、步驟、操作、構(gòu)成元件或它們的組合，而不會被解釋為排除存在一個或更多個其他特征、數(shù)字、步驟、操作、構(gòu)成元件或它們的組合的可能性。
[0040]除非另有定義，否則這里使用的所有術(shù)語(包括技術(shù)術(shù)語和科學(xué)術(shù)語)具有與示例性實施例所屬領(lǐng)域的普通技術(shù)人員通常理解的含義相同的含義。還將理解，除非這里確切地定義，否則術(shù)語(諸如在常用詞典中定義的那些術(shù)語)應(yīng)被解釋為具有與所述術(shù)語在相關(guān)領(lǐng)域的上下文中的含義一致的含義，而不應(yīng)被理想化或過于正式地解釋。
[0041 ] 圖1是根據(jù)示例性實施例的相機系統(tǒng)I的框圖。圖2和圖3是根據(jù)示例性實施例的圖1中示出的圖像傳感器10的示意性示圖。
[0042]參照圖1，相機系統(tǒng)I包括圖像傳感器10、圖像處理設(shè)備30和顯示設(shè)備50。相機系統(tǒng)I可以是圖像拍攝系統(tǒng)(諸如，數(shù)碼相機、便攜式攝像機或監(jiān)控相機)，或者可被安裝在計算機、個人數(shù)字助理(PDA)、便攜式多媒體播放器(PMP)、移動電話等上。
[0043]圖像傳感器10使用光電轉(zhuǎn)換器件，諸如，電荷耦合器件(CXD)、互補金屬氧化物半導(dǎo)體(CMOS)等。如圖2中所示，圖像傳感器10包括像素陣列，其中，在像素陣列中多個像素被形成，并且光信號通過光電轉(zhuǎn)換器件被轉(zhuǎn)換為電子圖像信號。用于傳遞可見光波段的光和非可見光波段的光的多光譜濾光器陣列(MFA)被布置在圖像傳感器10上。MFA包括濾色器和近紅外(NIR)濾光器，其中，濾色器用于使具有特定色彩的光分量(諸如在可見光波段中的紅色、綠色或藍色(RGB))通過，近紅外(NIR)濾光器用于使在可見光波段中的近紅外(NIR)區(qū)域中的光分量通過。如圖3中所示，MFA的濾色器RCF、GCF和BCF以及近紅外濾光器NIRF被分別布置為與圖像傳感器10的像素相應(yīng)，使得圖像傳感器10的像素可檢測通過MFA傳送的彩色通道信號R、G和B以及近紅外信號NIR。
[0044]用于接收光信號的鏡頭(未示出)可被布置在圖像傳感器10的前面。
[0045]圖像處理設(shè)備30通過使用輸入到包括MFA的圖像傳感器的濾色器RCF、GCF和BCF以及近紅外濾光器NIRF的所有信息來輸出單個圖像。
[0046]圖10示出使用包括RGB濾色器和近紅外(NIR)濾光器的圖像傳感器的傳統(tǒng)圖像處理設(shè)備。參照圖10，切換器30d通過在白天模式下輸出由彩色圖像產(chǎn)生單元30b產(chǎn)生的RGB彩色圖像并在夜間模式下輸出由近紅外圖像產(chǎn)生單元30c產(chǎn)生的黑白圖像(NIR圖像)，來提高圖像感光度。然而，在白天模式下，即使RGB通道不使用NIR通道信息，RGB通道的分辨率也由于NIR分量而減小。此外，圖像傳感器僅在夜間模式下使用NIR通道信息。因此，由于圖像傳感器包括R、G、B和NIR單元的像素陣列，所以在夜間模式下NIR通道的實際分辨率減小到初始分辨率的1/4，并且獲得的信息的量減小。
[0047]然而，根據(jù)示例性實施例，圖像處理設(shè)備30在產(chǎn)生RGB彩色圖像時使用NIR圖像的空間信息，并在產(chǎn)生NIR圖像時使用RGB彩色圖像的空間信息。在白天和夜間兩者，圖像處理設(shè)備30產(chǎn)生包括色彩信息和NIR信息兩者的融合圖像，其中，融合圖像通過將彩色圖像和NIR圖像融合而獲得。因此，使用輸入到RGB像素的圖像的頻率特性和輸入到NIR像素的圖像的頻率特性兩者來輸出最優(yōu)圖像。
[0048]顯示設(shè)備50輸出通過將彩色圖像和NIR圖像融合而獲得的融合圖像。顯示設(shè)備50可與圖像處理設(shè)備30合并，并可包括在相機系統(tǒng)I中?？蛇x地，顯示設(shè)備50可被實現(xiàn)為經(jīng)由有線或無線方法連接到圖像處理設(shè)備30的獨立的設(shè)備。
[0049]圖4是根據(jù)示例性實施例的圖像處理設(shè)備30的示意性框圖。
[0050]參照圖4，圖像處理設(shè)備30包括近紅外通道插值器301、彩色通道插值器303、色彩恢復(fù)器305和圖像融合器307。
[0051]根據(jù)示例性實施例，圖像傳感器10的每個像素僅具有(獲得)各個通道的各段信息中的單段信息。也就是說，R像素僅具有R色彩信息，G像素僅具有G色彩信息,B像素僅具有B色彩信息，NIR像素僅具有NIR信息。因此，根據(jù)示例性實施例，圖像處理設(shè)備30基于相鄰像素的信息，估計或插入未存儲在每個像素中的另一通道的信息。也就是說，從像素中的所有像素獲得R通道值、G通道值、B通道值以及NIR通道值。為此，圖像處理設(shè)備30將在從圖像傳感器10輸入到圖像處理設(shè)備30的初始圖像中的R、G和B彩色通道以及NIR通道彼此分離，并對R、G和B彩色通道以及NIR通道進行處理。
[0052]近紅外通道插值器301考慮NIR通道和與NIR通道相鄰的RGB通道之間的相關(guān)性來獲得高分辨率的NIR圖像。近紅外通道插值器301考慮RGB通道執(zhí)行NIR圖像的優(yōu)化。此外，與優(yōu)化操作同時或在優(yōu)化操作之后，近紅外通道插值器301識別由于濾光器布置而產(chǎn)生的初始圖像的噪聲特性和局部特性，并產(chǎn)生具有最優(yōu)高分辨率的NIR圖像。
[0053]彩色通道插值器303通過使用NIR通道信息來對RGB通道中的每個通道進行插值以使RGB通道中的每個通道具有與NIR通道相同的大小，其中，NIR通道信息的分辨率通過對NIR通道進行插值被提高。為此，彩色通道插值器303考慮與插值后的NIR通道的相關(guān)性，對RGB通道中的每個通道執(zhí)行初始插值，并隨后更新RGB通道的邊緣信息和細(xì)節(jié)信息。
[0054]色彩恢復(fù)器305通過使用RGB通道和NIR通道中的NIR通道信息恢復(fù)RGB通道的色彩，其中，RGB通道和NIR通道的分辨率通過對RGB通道和NIR通道進行插值被提高。由于通過使用圖像傳感器10獲得的NIR波段信息和可見光波段信息在RGB通道中被混合在一起，因此色彩恢復(fù)器305通過將NIR波段信息和可見光波段信息彼此分離來恢復(fù)色彩信息。色彩恢復(fù)器305可考慮NIR通道的亮度和混合了 NIR信息的RGB通道的色彩之間的相關(guān)性來設(shè)置各個通道的權(quán)重，并可根據(jù)權(quán)重從RGB通道去除NIR信息，以展示自然色。
[0055]圖像融合器307將RGB彩色圖像和NIR圖像進行融合以獲得單個圖像，其中，RGB彩色圖像被執(zhí)行了色彩恢復(fù)，NIR圖像的分辨率通過插值被提高。圖像融合器307考慮兩種圖像的邊緣分量和細(xì)節(jié)分量來確定圖像權(quán)重，并通過應(yīng)用圖像權(quán)重來將兩種圖像進行融合，以輸出包括RGB彩色通道信息和NIR通道信息兩者的最終的圖像。由于在保持RGB圖像的色彩的同時最終的圖像包含NIR信息，因此，最終的圖像與RGB圖像相比可包括更多量的信息。
[0056]圖5是根據(jù)示例性實施例的近紅外通道插值器301的框圖。
[0057]近紅外通道插值器301通過使用R、G和B彩色通道中的每個彩色通道的空間信息，對從圖像傳感器10輸出的初始圖像的NIR通道進行插值。近紅外通道插值器301包括第一分析器311、第一插值器331和第二插值器351。
[0058]第一分析器311針對NIR通道的每個插值像素，分析相鄰的RGB彩色像素之間的RGB彩色通道值的變化趨勢以及相鄰的NIR像素之間的NIR通道值的變化趨勢。在這種情況下，插值像素是當(dāng)前將被處理的像素，并可以是除了 NIR像素之外的彩色像素，例如，R像素、G像素和B像素。第一分析器311針對R像素、G像素和B像素分析在MXN(M和N均為自然數(shù))掩模內(nèi)的R像素之間的R通道值的變化趨勢、G像素之間的G通道值的變化趨勢、B像素之間的B通道值的變化趨勢以及NIR像素之間的NIR通道值的變化趨勢，其中，R像素、G像素和B像素是插值像素。因此，可在每個彩色通道中識別空間信息(諸如，邊緣位置、邊緣方向、平坦等)。因此，第一分析器311可基于R通道值的變化趨勢、G通道值的變化趨勢、B通道值的變化趨勢以及NIR通道值的變化趨勢，獲得插值像素中的RGB通道和NIR通道之間的相關(guān)性。
[0059]第一插值器331基于獲得的相關(guān)性來確定插值像素的NIR通道值并執(zhí)行初始插值。因此，R像素、G像素和B像素具有各自的NIR通道值，并且NIR通道被優(yōu)化以提高NIR通道的分辨率。
[0060]第二插值器351基于從圖像傳感器10輸出的初始圖像的噪聲特性和局部特性，對執(zhí)行了初始插值的NIR通道的噪聲特性和局部特性進行修正。因此，可優(yōu)化各個像素的NIR通道值。
[0061]通過每個像素的濾光器的初始圖像可能由于圖像傳感器10的濾光器的布置和基于圖像傳感器10的特性的噪聲而發(fā)生惡化。因此，根據(jù)示例性實施例，考慮添加到初始圖像的噪聲而去除包含在執(zhí)行了初始插值的NIR通道中的噪聲。根據(jù)示例性實施例的去除噪聲的方法不限于任何一種特定方法。因此，可使用各種公知的方法，諸如，自適應(yīng)加權(quán)平均方法、局部線性最小均方誤差(LLMMSE)方法等。
[0062]術(shù)語“局部特性”指關(guān)于每個像素的邊緣信息的特性。例如，每個像素可被分類為平坦區(qū)域、邊緣區(qū)域和細(xì)節(jié)區(qū)域。平坦區(qū)域與當(dāng)前的像素具有與相鄰的像素相似的特性的情況。邊緣區(qū)域和細(xì)節(jié)區(qū)域與當(dāng)前的像素和相鄰的像素具有不同的特性的情況。邊緣區(qū)域被定義為例如對象的輪廓或邊界等。細(xì)節(jié)區(qū)域被定義為例如對象的圖案，諸如，衣服的格子圖案、樹葉圖案、領(lǐng)帶的圖案等。色差可能由于不合適的邊緣信息而出現(xiàn)。因此，根據(jù)示例性實施例，考慮初始圖像的邊緣信息對執(zhí)行了初始插值的NIR通道的邊緣信息進行修正。
[0063]圖6是根據(jù)示例性實施例的彩色通道插值器303的框圖。
[0064]參照圖6，彩色通道插值器303通過使用插值后的NIR通道的空間信息對初始圖像的RGB彩色通道的每個彩色通道進行插值。在這種情況下，插值后的NIR通道是這樣的NIR通道，該NIR通道的分辨率通過執(zhí)行初始插值和修正而被提高。彩色通道插值器303包括第二分析器313、第三插值器333和第四插值器353。
[0065]第二分析器313在RGB通道的每個插值像素中分析相鄰的彩色像素之間的RGB彩色通道值的變化趨勢以及相鄰的NIR像素之間的NIR通道值的變化趨勢。在這種情況下，插值像素是除了插值通道之外的通道中的像素。也就是說，對于R通道插值，插值像素是G像素、B像素和NIR像素。對于G通道插值，插值像素是R像素、B像素和NIR像素。對于B通道插值，插值像素是R像素、G像素和NIR像素。第二分析器313針對R像素、G像素、B像素和NIR像素，分析在MXN(M和N均為自然數(shù))掩模內(nèi)R像素之間的R通道值的變化趨勢、G像素之間的G通道值的變化趨勢、B像素之間的B通道值的變化趨勢以及NIR像素之間的NIR通道值的變化趨勢，其中，R像素、G像素、B像素和NIR像素是各個RGB彩色通道的插值像素。在這種情況下，針對插值后的NIR通道分析NIR通道值的變化趨勢。因此，空間信息(諸如邊緣位置、邊緣方向、平坦等)可被識別。因此，第二分析器313可基于R通道值的變化趨勢、G通道值的變化趨勢、B通道值的變化趨勢和NIR通道值的變化趨勢，獲得插值像素中的RGB通道和NIR通道之間的相關(guān)性。也就是說，對于R通道插值，可獲得R通道與G通道、B通道和NIR通道之間的相關(guān)性。對于G通道插值，可獲得G通道與R通道、B通道和NIR通道之間的相關(guān)性。對于B通道插值，可獲得B通道與R通道、G通道和NIR通道之間的相關(guān)性。
[0066]第三插值器333基于獲得的相關(guān)性確定插值像素的RGB彩色通道值并執(zhí)行初始插值。因此，通過確定G像素、B像素和NIR像素中的R通道值來對R通道進行插值，通過確定R像素、B像素和NIR像素中的G通道值來對G通道進行插值,通過確定R像素、G像素和NIR像素中的B通道值來對B通道進行插值。也就是說，R像素可具有G通道值和B通道值，G像素可具有R通道值和B通道值，B像素可具有R通道值和G通道值，從而提高了 RGB通道的分辨率。
[0067]第四插值器353通過使用插值后的NIR通道的邊緣信息和細(xì)節(jié)信息，來更新執(zhí)行了初始插值的RGB彩色通道的邊緣信息和細(xì)節(jié)信息。因此，可優(yōu)化各個像素的RGB彩色通道值。
[0068]根據(jù)示例性實施例，RGB通道的插值順序不限于任何特定的順序。因此，例如，RGB通道可同時被進行插值，或者可按照預(yù)定順序被進行順序插值。
[0069]圖7是根據(jù)示例性實施例的色彩恢復(fù)器305的示意性框圖。
[0070]參照圖7，色彩恢復(fù)器305通過使用插值后的NIR通道的亮度信息來恢復(fù)插值后的RGB彩色通道的色彩。在這種情況下，插值后的RGB彩色通道是通過初始插值和修正而改善后的RGB通道。插值后的NIR通道是通過插值和修正而改善后的NIR通道。色彩恢復(fù)器305包括第三分析器315、通道權(quán)重計算器335和減法器355?？梢曰谥鹣袼氐貓?zhí)行色彩恢復(fù)。
[0071]第三分析器315獲得插值后的RGB彩色通道的色彩和插值后的NIR通道的亮度之間的相關(guān)性。
[0072]通道權(quán)重計算器335基于獲得的相關(guān)性來確定各個RGB彩色通道的權(quán)重。插值后的RGB彩色通道中的每個通道包括NIR分量。通常，假設(shè)包括在各個RGB像素中的NIR分量具有與NIR像素的NIR通道值相同的值，并且NIR通道值被從RGB彩色通道中的每個通道減去。然而，各個像素的光電轉(zhuǎn)換裝置可能對近紅外線具有不同的感光度。因此，盡管光電轉(zhuǎn)換裝置接收相同的近紅外線，包含在從各個光電轉(zhuǎn)換裝置輸出的信號中的近紅外分量可能不同。因此，根據(jù)示例性實施例，考慮通道之間的相關(guān)性來可變地設(shè)置針對各個RGB彩色通道去除的近紅外分量的值。為此，通道權(quán)重計算器335設(shè)置各個RGB彩色通道的權(quán)重。
[0073]減法器355通過使用各個RGB通道的權(quán)重來去除包含在RGB彩色通道中的每個通道中的NIR分量。通過去除紅外線的影響，RGB彩色通道的信息可變得準(zhǔn)確。
[0074]圖8是根據(jù)示例性實施例的圖像融合器307的示意性框圖。
[0075]參照圖8，圖像融合器307將包括恢復(fù)后的RGB彩色通道的彩色圖像和包括插值后的NIR通道的NIR圖像進行融合。圖像融合器307包括圖像權(quán)重計算器317和融合器337。
[0076]圖像權(quán)重計算器317確定分別應(yīng)用于彩色圖像和NIR圖像的權(quán)重?？苫诓噬珗D像的邊緣信息和細(xì)節(jié)信息以及NIR圖像的邊緣信息和細(xì)節(jié)信息來確定權(quán)重。
[0077]融合器337將權(quán)重應(yīng)用于彩色圖像和NIR圖像，并將彩色圖像和NIR圖像進行融八口 ο
[0078]例如在具有低強度光照的環(huán)境或黑暗環(huán)境中(諸如，夜間)，僅通過使用RGB彩色通道，對象可能不會被頻繁地識別到。在這種情況下，當(dāng)RGB彩色通道的信息通過使用NIR通道的信息被加強時，可獲得不方便在可見區(qū)域中獲得的信息，因此，可獲得用于識別對象的圖像。因此，根據(jù)示例性實施例，由于通過將彩色圖像和NIR圖像進行融合而獲得的融合圖像包括RGB彩色通道信息和NIR通道信息兩者，所以在黑暗環(huán)境中也可獲得用于識別對象的圖像。
[0079]圖9是根據(jù)示例性實施例的基于MFA的圖像處理方法的流程圖。
[0080]根據(jù)示例性實施例，圖9中示出的圖像處理方法可由圖1至圖8中示出的相機系統(tǒng)I執(zhí)行，但不限于此，并還可由其他相機系統(tǒng)執(zhí)行。在根據(jù)本示例性實施例的圖像處理方法中，針對每個各自的通道對從包括具有RGB濾色器和NIR濾光器的MFA的圖像傳感器輸出的初始圖像進行插值，并且輸出通過將彩色圖像和NIR圖像進行融合而獲得的融合圖像，而不管圖像是在白天還是夜間被捕獲的。因此，當(dāng)視場在白天由于霧、煙等被遮擋時，根據(jù)NIR通道信息可獲得正確的信息。此外，在夜間，可獲得包括RGB色彩信息的NIR圖像。
[0081]相機系統(tǒng)將從圖像傳感器輸出的初始圖像中的NIR通道和RGB彩色通道分離。
[0082]在操作SI I，相機系統(tǒng)通過使用包括R通道、G通道和B通道的彩色通道的空間信息來對NIR通道進行插值。詳細(xì)地講，在操作S111，相機系統(tǒng)針對在NIR通道中的插值像素，分析在具有預(yù)定大小的掩模內(nèi)相鄰的彩色像素之間的彩色通道值的變化趨勢以及相鄰的NIR像素之間的NIR通道值的變化趨勢。在操作SI 13，相機系統(tǒng)基于RGB彩色通道值的變化趨勢和NIR通道值的變化中的趨勢獲得RGB彩色通道和NIR通道之間的相關(guān)性，并執(zhí)行初始插值，以確定插值像素的NIR值。隨后，在操作S115，相機系統(tǒng)通過基于初始圖像的噪聲特性和構(gòu)成像素的邊緣信息的局部特性對插值后的NIR通道的噪聲特性和局部特性進行修正，來獲得高分辨率的NIR通道。
[0083]在操作S13，相機系統(tǒng)通過使用高分辨率的NIR通道的空間信息，對RGB彩色通道進行插值，其中，高分辨率的NIR通道通過插值和修正來獲得。詳細(xì)地講，在操作S131，相機系統(tǒng)針對插值像素分析在具有預(yù)定大小的掩模內(nèi)相鄰的彩色像素之間的彩色通道值的變化趨勢和相鄰的NIR像素之間的NIR通道值的變化趨勢，其中，插值像素是除了進行插值的彩色通道之外的通道的彩色像素和NIR像素中的一個像素。此外，在操作S133，相機系統(tǒng)基于彩色通道的變化趨勢和NIR通道的變化趨勢來獲得進行插值的通道與其他通道之間的相關(guān)性，并執(zhí)行初始插值，以確定插值像素的RGB彩色通道值。隨后，在操作S135，相機系統(tǒng)通過使用插值后的NIR通道的邊緣信息和細(xì)節(jié)信息對執(zhí)行了初始插值的RGB彩色通道的邊緣信息和細(xì)節(jié)信息進行更新，來獲得RGB彩色通道。
[0084]在操作S15，相機系統(tǒng)通過使用插值后的高分辨率的NIR通道的亮度信息來恢復(fù)高分辨率的RGB彩色通道的色彩。詳細(xì)地講，在操作S151，相機系統(tǒng)獲得插值后的彩色通道的色彩與插值后的NIR通道的亮度之間的相關(guān)性。此外，在操作S153，相機系統(tǒng)基于相關(guān)性來確定各個RGB彩色通道的權(quán)重。隨后，在操作S155，相機系統(tǒng)通過使用各個RGB彩色通道的權(quán)重來分離包括在RGB彩色通道中的每個通道中的NIR分量?？梢曰谥鹣袼氐貓?zhí)行色彩恢復(fù)，但不限于此。
[0085]在操作S17，相機系統(tǒng)將包括恢復(fù)后的RGB彩色通道的彩色圖像和包括插值后的高分辨率的NIR通道的NIR圖像進行融合。詳細(xì)地講，在操作S171，相機系統(tǒng)基于彩色圖像和NIR圖像中的每個圖像的邊緣信息和細(xì)節(jié)信息來確定圖像的權(quán)重。此外，在操作S173，相機系統(tǒng)將權(quán)重應(yīng)用于彩色圖像和NIR圖像，并將彩色圖像和NIR圖像進行融合。
[0086]融合圖像被輸出在顯示設(shè)備上，而不管融合圖像是在白天還是夜間被輸出。
[0087]上述示例性實施例可在使用具有包括RGB像素和NIR像素的結(jié)構(gòu)的傳感器的數(shù)碼相機系統(tǒng)中使用，具體地，可在監(jiān)控相機領(lǐng)域或其他領(lǐng)域中使用。
[0088]示例性實施例還可被實現(xiàn)為計算機可讀記錄介質(zhì)上的計算機可讀代碼。計算機可讀記錄介質(zhì)是可存儲隨后可由計算機系統(tǒng)讀取的數(shù)據(jù)的任何數(shù)據(jù)存儲裝置。計算機可讀記錄介質(zhì)的示例包括只讀存儲器(ROM)、隨機存取存儲器(RAM)、CD-ROM、磁帶、軟盤、光學(xué)數(shù)據(jù)存儲裝置等。計算機可讀記錄介質(zhì)也可被分布在聯(lián)網(wǎng)的計算機系統(tǒng)上，使得計算機可讀代碼以分布的方式被存儲和執(zhí)行。另外，用于實現(xiàn)示例性實施例的功能程序、代碼和代碼段可被示例性實施例所屬領(lǐng)域中的技術(shù)程序員容易地理解。
[0089]盡管已參照本公開的示例性實施例具體示出并描述了本公開，但本領(lǐng)域中的普通技術(shù)人員將明白，在不脫離由權(quán)利要求限定的本公開的精神和范圍的情況下，可對本公開進行形式和細(xì)節(jié)上的各種改變。
【權(quán)利要求】
1.一種對從包括多光譜濾光器陣列的圖像傳感器輸出的圖像進行處理的方法，所述多光譜濾光器陣列包括濾色器和近紅外(NIR)濾光器，所述方法包括: 通過使用包括紅色通道、綠色通道和藍色通道的彩色通道的空間信息，對所述圖像的NIR通道進行插值； 通過使用NIR通道的空間信息，對所述圖像的彩色通道進行插值。
2.如權(quán)利要求1所述的方法，其中，對NIR通道進行插值的步驟包括: 針對插值像素分析相鄰的彩色像素之間的彩色通道值的變化趨勢以及相鄰的NIR像素之間的NIR通道值的變化趨勢，其中，所述插值像素是所述彩色像素中的一個彩色像素； 執(zhí)行第一插值操作，其中，所述第一插值操作包括:基于彩色通道值的變化趨勢和NIR通道值的變化趨勢來確定所述插值像素的NIR通道值。
3.如權(quán)利要求2所述的方法，其中，對NIR通道進行插值的步驟還包括: 執(zhí)行第二插值操作，其中，所述第二插值操作包括:基于噪聲特性和構(gòu)成所述圖像的像素的邊緣信息的局部特性，對插值后的NIR通道的噪聲特性和局部特性進行修正。
4.如權(quán)利要求1所述的方法，其中，對彩色通道進行插值的步驟包括: 針對插值像素分析相鄰的彩色像素之間的彩色通道值的變化趨勢以及相鄰的NIR像素之間的NIR通道值的變化趨勢，其中，所述插值像素是NIR像素和除了進行插值的彩色通道之外的彩色通道的彩色像素中的一個像素； 執(zhí)行第一插值操作，其中，所述第一插值操作包括:基于彩色通道值的變化趨勢和NIR通道值的變化趨勢來確定所述插值像素的彩色通道值。
5.如權(quán)利要求4所述的方法，其中，對彩色通道進行插值的步驟還包括: 執(zhí)行第二插值操作，其中，所述第二插值操作包括:通過使用插值后的NIR通道的邊緣信息和細(xì)節(jié)信息來對執(zhí)行了第一插值操作的彩色通道的邊緣信息和細(xì)節(jié)信息進行更新。
6.如權(quán)利要求1所述的方法，還包括:通過使用插值后的NIR通道的亮度信息來恢復(fù)插值后的彩色通道的色彩。
7.如權(quán)利要求6所述的方法，其中，恢復(fù)色彩的步驟包括: 分析插值后的彩色通道的色彩和插值后的NIR通道的亮度之間的相關(guān)性； 基于所述相關(guān)性，確定每個各個彩色通道的權(quán)重； 通過使用各個彩色通道的權(quán)重來去除包括在彩色通道中的每個通道中的NIR分量，以產(chǎn)生恢復(fù)后的彩色通道。
8.如權(quán)利要求7所述的方法，其中，恢復(fù)色彩的步驟基于逐像素地被執(zhí)行。
9.如權(quán)利要求6所述的方法，還包括:將包括恢復(fù)后的彩色通道的彩色圖像和包括插值后的NIR通道的NIR圖像進行融合。
10.如權(quán)利要求9所述的方法，其中，融合步驟包括: 基于彩色圖像和NIR圖像中的每個圖像的邊緣分量和細(xì)節(jié)分量來確定權(quán)重； 將基于邊緣分量和細(xì)節(jié)分量確定的權(quán)重應(yīng)用于彩色圖像和NIR圖像，并將彩色圖像和NIR圖像進行融合。
11.一種具有多光譜濾光器陣列的相機系統(tǒng)，所述相機系統(tǒng)包括: 圖像傳感器，包括多光譜濾光器陣列，其中，所述多光譜濾光器陣列包括濾色器和近紅外(NIR)濾光器； NIR通道插值器，通過使用包括紅色通道、綠色通道和藍色通道的彩色通道的空間信息對從圖像傳感器輸出的圖像的NIR通道進行插值； 彩色通道插值器，通過使用NIR通道的空間信息對所述圖像的彩色通道進行插值。
12.如權(quán)利要求11所述的相機系統(tǒng)，其中，NIR通道插值器包括: 第一分析器，針對插值像素分析相鄰的彩色像素之間的彩色通道值的變化趨勢以及相鄰的NIR像素之間的NIR通道值的變化趨勢，其中，所述插值像素是所述彩色像素中的一個彩色像素； 第一插值器，基于彩色通道值的變化趨勢和NIR通道值的變化趨勢來確定所述插值像素的NIR通道值。
13.如權(quán)利要求12所述的相機系統(tǒng)，其中，NIR通道插值器包括:第二插值器，基于噪聲特性和構(gòu)成所述圖像的像素的邊緣信息的局部特性來對插值后的NIR通道的噪聲特性和局部特性進行修正。
14.如權(quán)利要求11所述的相機系統(tǒng)，其中，彩色通道插值器包括: 第二分析器，針對插值像素分析相鄰的彩色像素之間的彩色通道值的變化趨勢以及相鄰的NIR像素之間的NIR通道值的變化趨勢，其中，所述插值像素是NIR像素和除了進行插值的彩色通道之外的彩色通道的彩色像素中的一個像素； 第三插值器，基于彩色通道值的變化趨勢和NIR通道值的變化趨勢來確定所述插值像素的彩色通道值并執(zhí)行初始插值。
15.如權(quán)利要求14所述的相機系統(tǒng)，其中，彩色通道插值器還包括:第四插值器，通過使用插值后的NIR通道的邊緣信息和細(xì)節(jié)信息來對執(zhí)行了初始插值的彩色通道的邊緣信息和細(xì)節(jié)信息進行更新。
16.如權(quán)利要求11所述的相機系統(tǒng)，還包括:色彩恢復(fù)器，通過使用插值后的NIR通道的亮度信息來恢復(fù)插值后的彩色通道的色彩。
17.如權(quán)利要求16所述的相機系統(tǒng)，其中，色彩恢復(fù)器包括: 第三插值器，分析插值后的彩色通道的色彩和插值后的NIR通道的亮度之間的相關(guān)性； 通道權(quán)重計算器，基于所述相關(guān)性來確定每個各個彩色通道的權(quán)重； 減法器，通過使用各個彩色通道的權(quán)重來去除包括在彩色通道中的每個通道中的NIR分量，以產(chǎn)生恢復(fù)后的彩色通道。
18.如權(quán)利要求17所述的相機系統(tǒng)，其中，恢復(fù)色彩的步驟基于逐像素地被執(zhí)行。
19.如權(quán)利要求17所述的相機系統(tǒng)，還包括:圖像融合器，將包括恢復(fù)后的彩色通道的彩色圖像和包括插值后的NIR通道的NIR圖像進行融合。
20.如權(quán)利要求19所述的相機系統(tǒng)，其中，圖像融合器包括: 圖像權(quán)重計算器，基于彩色圖像和NIR圖像中的每個圖像的邊緣分量和細(xì)節(jié)分量來確定權(quán)重； 融合器，將基于邊緣分量和細(xì)節(jié)分量確定的權(quán)重應(yīng)用于彩色圖像和NIR圖像并將彩色圖像和NIR圖像進行融合。
【文檔編號】H04N9/07GK104350744SQ201380030074
【公開日】2015年2月11日 申請日期:2013年5月28日 優(yōu)先權(quán)日:2012年6月7日
【發(fā)明者】崔銀喆, 姜文基 申請人:三星泰科威株式會社, 延世大學(xué)校產(chǎn)學(xué)協(xié)力團