本發(fā)明主要涉及到數(shù)字圖像處理領(lǐng)域，特指一種基于彩色與黑白雙攝像頭的超分辨率重建方法。

背景技術(shù)：

在大量的電子圖像應(yīng)用領(lǐng)域，人們經(jīng)常期望得到高分辨率圖像。目前，增加空間分辨率最直接的解決方法是通過傳感器制造技術(shù)減少像素尺寸。然而隨著像素尺寸的減少，光通量也隨之減少，它所產(chǎn)生的散粒噪聲使得圖像質(zhì)量嚴(yán)重惡化。另外一種辦法是增加芯片的尺寸，從而增加圖像的容量，然而很難提高大容量的耦合轉(zhuǎn)換率。高精度光學(xué)和圖像傳感器的高價格也是一個必須考慮的重要因素。因此有必要采用一種新的方法來增加空間分辨率，從而克服傳感器和光學(xué)制造技術(shù)的限制。

一種很有前途的方法就是采用信號處理的方法從多個可觀察到的低分辨率圖像得到高分辨率圖像。其基本前提是通過同一場景可以獲取多幅低分辨率圖像，每一幅低分辨率圖像都為超分辨圖像的重建提供一些不同的信息。目前，常用的方法是通過一臺照相機的多次拍攝獲取多張同一場景的低分辨率圖像。但是這種方法存在缺陷：拍出來的多幅低分辨圖像不具有同時性，同一場景間會存在一定的運動位移，對后續(xù)的配準(zhǔn)、信息融合帶來誤差，進而降低超分辨率重建的效果。另一種是利用不同視點處的相機同時拍攝同一場景的多張照片進行超分辨率重建，這種方法，一旦不同視點間相機距離遠，則很難達到亞像素精度的信息互補。因此本發(fā)明提出了一種利用雙攝像頭模組以及兩個攝像頭功能互補性的超分辨重建方法。

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題在于：如何利用以彩色與黑白雙攝像頭拍攝的彩色、黑白圖像進行超分辨率重建。本發(fā)明提出一種基于彩色與黑白雙攝像頭的超分辨率重建方法，充分利用雙攝像頭中彩色相機亮度高、噪點低，黑白相機細節(jié)豐富，拍攝的圖像具有同時性等特點，首先利用彩色圖像的亮度分量與黑白圖像的低頻信號進行精確地視差估計，再利用視差信息對黑白圖像的高頻信號進行幾何變化，對亮度分量進行高頻信息補償。將得到的高分辨率的亮度分量轉(zhuǎn)化到RGB空間，即得到了彩色高分辨率圖像。

為解決上述技術(shù)問題，本發(fā)明提出的技術(shù)方案是：

一種基于彩色與黑白雙攝像頭的超分辨率重建方法，包括以下步驟：

S1：利用彩色與黑白雙攝像頭模組同時分別獲取彩色與黑白圖像；

S2：對步驟S1中獲取的彩色與黑白圖像進行處理，分別獲得彩色圖像的亮度分量以及黑白圖像的低頻信息與高頻信息；

S3：對得到的亮度分量以及低頻信號進行精確地視差估計，得到視差信息，該視差信息為亮度分量與低頻信號間的像素對應(yīng)關(guān)系。

S4：根據(jù)步驟S3得到的視差信息，將步驟S2中獲取的高頻信息進行幾何變換后，融合到亮度分量中，完成對亮度分量的超分辨率重建得到超分辨圖。

S5：將步驟S4中得到的亮度分量的超分辨圖轉(zhuǎn)換到RGB顏色空間，即完成了對彩色圖像的超分辨率重建。

作為本發(fā)明的優(yōu)選技術(shù)方案，所述步驟S1中的雙攝像頭模組是由彩色鏡頭IMX278和黑白鏡頭IMX214組成，其中彩色鏡頭提高亮度，降低噪點；黑白鏡頭擴大進光亮，豐富細節(jié)信息。

作為本發(fā)明的優(yōu)選技術(shù)方案，所述步驟S2包括：

步驟S21：將彩色圖像由RGB顏色空間轉(zhuǎn)換到HSV顏色空間，保留其飽和度分量和色調(diào)分量；

步驟S22：將黑白圖像分別使用低通和高通濾波器分解成低頻信號和高頻信號，其中，低通濾波器使用雙邊濾波器，而低通過濾后的圖像與原圖的殘差作為高頻信號。

作為本發(fā)明的優(yōu)選技術(shù)方案，所述步驟S3中的精確地視差估計是指，在經(jīng)過雙目標(biāo)定，獲得雙攝像頭的內(nèi)外參數(shù)后，對亮度分量和低頻信號進行雙目校正與雙目亞像素精度地視差計算。

作為本發(fā)明的優(yōu)選技術(shù)方案，所述步驟S4中根據(jù)步驟S3得到的視差信息，對黑白圖像的高頻信號進行幾何變換，對于亮度分量高頻信息的恢復(fù)，采用對應(yīng)像素直接替換的方法。

作為本發(fā)明的優(yōu)選技術(shù)方案，所述步驟S5中將步驟S4中得到的亮度分量的超分辨圖和步驟S1中獲取的彩色圖像的飽和度分量、色調(diào)分量轉(zhuǎn)換到RGB顏色空間，得到彩色圖的超分辨率圖像。

與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

本發(fā)明基于彩色與黑白雙攝像頭模組，利用彩色攝像頭高亮度、低噪度，黑白攝像頭細節(jié)豐富等特性，在精確視差估計的基礎(chǔ)上，利用彩色圖像的亮度分量以及黑白圖像的高頻信號進行信息融合，得到彩色的高分辨率圖像。該方法充分利用場景的深度信息，校正了不同景深區(qū)域的對比度和細節(jié)信息，同時避免了單攝像頭拍攝多張低分辨率圖像時的非同時性以及同一場景在連續(xù)拍攝時產(chǎn)生的運動位移帶來的誤差。

附圖說明

圖1為本發(fā)明基于彩色與黑白雙攝像頭的超分辨率重建方法流程圖。

圖2為本發(fā)明雙攝像頭模組示意圖。

圖3為本發(fā)明高頻信息補償示意圖。

具體實施方式

下面結(jié)合附圖，對本發(fā)明的具體實施方式進行詳細描述：

下面結(jié)合附圖，對本發(fā)明的具體實施方式進行詳細描述：

如圖1所示，本實例提供的一種基于彩色與黑白雙攝像頭的超分辨率重建方法，包括如下步驟：

步驟一：利用圖2所示的彩色與黑白雙攝像頭模組同時分別獲取彩色與黑白圖像，雙攝像頭由彩色鏡頭IMX278和黑白鏡頭IMX214組成，其中彩色鏡頭用于提高亮度，降低噪點；黑白鏡頭用于擴大進光亮，豐富細節(jié)信息。

步驟二：將彩色圖像由RGB顏色空間轉(zhuǎn)換到HSV顏色空間，保留其飽和度分量和色調(diào)分量，并使用其亮度分量進行后續(xù)處理；將黑白圖像分別使用低通和高通濾波器分解成低頻信號和高頻信號。其中，低通濾波器可以使用雙邊濾波器，而低通過濾后的圖像與原圖像的殘差作為高頻信號。

步驟三：對步驟二得到的亮度分量以及低頻信號進行精確地視差估計，得到亮度分量與低頻信號間的像素對應(yīng)關(guān)系。

步驟四：如圖3所示，根據(jù)步驟三得到的視差信息，將步驟二中獲取的高頻信息進行幾何變換，融合到亮度分量中，完成對亮度分量的超分辨率重建。

步驟五：將步驟四中得到的亮度分量的超分辨圖轉(zhuǎn)換到RGB顏色空間，即完成了對彩色圖像的超分辨率重建。

如上所述，本發(fā)明基于彩色與黑白雙攝像頭模組，利用彩色攝像頭高亮度、低噪度，黑白攝像頭細節(jié)豐富等特性，在精確視差估計的基礎(chǔ)上，利用彩色圖像的亮度分量以及黑白圖像的高頻信號進行信息融合，得到彩色的高分辨率圖像。該方法充分利用場景的深度信息，校正了不同景深區(qū)域的對比度和細節(jié)信息，同時避免了單攝像頭拍攝多張低分辨率圖像時的非同時性以及同一場景在連續(xù)拍攝時產(chǎn)生的運動位移帶來的誤差。

顯然，本發(fā)明的上述實施例僅僅是為清楚地說明本發(fā)明所作的舉例，而并非是對本發(fā)明的實施方式的限定。對于所屬領(lǐng)域的普通技術(shù)人員來說，在上述說明的基礎(chǔ)上還可以做出其它不同形式的變化或變動。這里無需也無法對所有的實施方式予以窮舉。凡在本發(fā)明的精神和原則的內(nèi)所作的任何修改、等同替換和改進等，均應(yīng)包含在本發(fā)明權(quán)利要求的保護范圍內(nèi)。