本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，更進(jìn)一步涉及圖像清晰度增強(qiáng)技術(shù)領(lǐng)域中的一種基于紋理信息重構(gòu)的不同光照兩幀圖像融合方法。本發(fā)明可用于夜間拍照獲得的一幀高亮度的閃光燈條件下拍攝圖像和一幀低亮度的無閃光燈條件下拍攝圖像融合中，在提取亮度較高圖像紋理信息的同時，保留光照較低圖像色彩信息，提升最終融合圖像的清晰度。

背景技術(shù)：
目前，現(xiàn)有的圖像融合方法主要有空間域圖像融合方法與頻域圖像融合方法，最具代表性的融合方法有空間域的梯度融合方法和頻域的小波融合方法。這兩種方法都是根據(jù)一定的轉(zhuǎn)換函數(shù)直接對兩幀圖像的像素值進(jìn)行運(yùn)算處理。梯度融合方法和小波融合方法的優(yōu)點(diǎn)在于實(shí)現(xiàn)簡單、速度快。但是這兩種方法存在的缺點(diǎn)是應(yīng)用場景單一，只能用于相同亮度場景下的圖像融合，對亮度相差較大的圖像會產(chǎn)生較大的噪聲和色偏。AliAghagolzadeh和HadiSeyedarabi在其發(fā)表的論文“Multi-focusimagefusionforvisualsensornetworksinDCTdomain”(《SpecialIssueonImageProcessing》vol.37,Issue5,Sep.2011)中提出了一種基于小波變換的圖像融合方法。該方法首先將圖像從空間域變換到小波域，再根據(jù)高頻成分均值大小選取均值較大的一幀圖像作為基準(zhǔn)圖像，最后提取兩幀圖像中較大的高頻成分到基準(zhǔn)圖像中，得到最終融合圖像。該方法雖然對圖像的清晰度有一定程度的提高。但是，該方法仍然存在的不足是，該方法不適用于兩幀圖像亮度差異較大時的融合，也沒有考慮兩幀圖像的噪聲大小，導(dǎo)致最終的融合圖像中存在較大的噪聲。微軟公司申請的專利“Digitalphotographywithflash/noflashextension”(申請日：2005年07月15日，申請?zhí)枺篊N200510092389，公開號：CN100431339C)中公開了一種基于不同亮度的圖像融合方法。該方法首先提取閃光燈條件下拍攝圖像的紋理信息到融合后圖像中，有效的提高了融合圖像的清晰度，其次對融合后圖像進(jìn)行濾波，在降低最終融合圖像噪聲的同時，保留了低光照圖像的色調(diào)與色溫。該方法存在的不足是，直接在紅綠藍(lán)rgb三個顏色通道中做融合，導(dǎo)致最終的融合圖像有色偏；其次，該方法沒有考慮低光照圖像中的紋理信息成分，導(dǎo)致最終的融合圖像中部分區(qū)域發(fā)生模糊。

技術(shù)實(shí)現(xiàn)要素：
本發(fā)明的目的是針對上述現(xiàn)有技術(shù)的不足，提出一種基于紋理信息重構(gòu)的不同光照兩幀圖像融合方法。本發(fā)明根據(jù)在閃光燈條件下拍攝的一幀圖像的亮度矩陣和在無閃光條件下拍攝的一幀圖像的亮度矩陣，對待融合圖像亮度矩陣進(jìn)行重構(gòu)，利用重構(gòu)亮度矩陣后的無閃光條件下拍攝的一幀圖像亮度通道紋理信息矩陣和閃光燈條件下拍攝的一幀圖像亮度通道紋理信息矩陣，對待融合圖像亮度通道紋理信息矩陣進(jìn)行重構(gòu)，對待融合圖像每一個像素點(diǎn)進(jìn)行自適應(yīng)的紋理增強(qiáng)，顯著的提高融合圖像的清晰度。為實(shí)現(xiàn)上述目的，本發(fā)明包括如下主要步驟：(1)輸入待融合圖像：分別輸入待融合的一幅在有閃光燈和一幅在無閃光燈條件下拍攝的圖像；(2)變換待融合圖像通道：(2a)將閃光燈圖像從紅綠藍(lán)矩陣變換為亮度、紅色差、藍(lán)色差三個矩陣；(2b)將無閃光燈圖像從紅綠藍(lán)矩陣變換為亮度、紅色差、藍(lán)色差三個矩陣；(3)重構(gòu)亮度矩陣：按照下式，重新構(gòu)建無閃光燈條件下拍攝的一幀圖像亮度矩陣中第i個像素的亮度值：Yi′＝max(YNFi,YFi)其中，Yi′表示無閃光燈條件下拍攝的一幀圖像構(gòu)建后亮度矩陣中第i個像素的亮度值，i表示待融合圖像中像素點(diǎn)的序號，max(·)表示取較大值操作，YNFi表示在無閃光燈條件下拍攝的一幀圖像亮度矩陣中第i個像素的亮度值，YFi表示在閃光燈條件下拍攝的一幀圖像亮度矩陣中第i個像素的亮度值；(4)采用加權(quán)最小二乘自適應(yīng)濾波器，分別對待融合圖像的亮度、紅色差、藍(lán)色差三個通道進(jìn)行濾波；(5)分別獲得待融合圖像亮度、紅色差、藍(lán)色差三個通道紋理信息矩陣第i個像素的紋理值；(6)重構(gòu)紋理信息矩陣：按照下式，重新構(gòu)建待融合圖像紋理信息矩陣中第i個像素的紋理值：Di＝max(DAi,DFi)其中，Di表示構(gòu)建后紋理信息矩陣中第i個像素的紋理值，i表示待融合圖像中像素的序號，max(·)表示取較大值操作，DAi表示重構(gòu)亮度矩陣后的無閃光燈條件下拍攝的一幀圖像亮度通道紋理信息矩陣中第i個像素的紋理值，DFi表示閃光燈條件下拍攝的一幀圖像亮度通道紋理信息矩陣中第i個像素的紋理值；(7)按照下式，對待融合圖像進(jìn)行融合：Ei＝Di×Yi′；Fi＝M′i×Z′i；Gi＝N′i×W′i；其中，Ei表示融合后的圖像亮度通道亮度矩陣中第i個像素的亮度值，i表示待融合圖像中像素的序號，Di表示重構(gòu)紋理信息矩陣后的無閃光燈條件下拍攝的一幀圖像亮度通道紋理信息矩陣中第i個像素的紋理值，Yi′表示重構(gòu)亮度矩陣后的無閃光燈條件下拍攝的一幀圖像亮度通道亮度矩陣中第i個像素的亮度值，F(xiàn)i表示融合后的圖像紅色差通道紅色差矩陣中第i個像素的色差值，M′i表示閃光燈條件下拍攝的一幀圖像紅色差通道紋理信息矩陣中第i個像素的紋理值，Z′i表示無閃光燈條件下拍攝的一幀圖像紅色差通道紅色差矩陣中第i個像素的色差值，Gi表示融合后的圖像藍(lán)色差通道藍(lán)色差矩陣中第i個像素的色差值，N′i表示閃光燈條件下拍攝的一幀圖像藍(lán)色差通道紋理信息矩陣中第i個像素的紋理值，Wi′表示無閃光燈條件下拍攝的一幀圖像藍(lán)色差通道藍(lán)色差矩陣中第i個像素的色差值；(8)矩陣變換：將融合后圖像的亮度、藍(lán)色差、紅色差矩陣變換為紅綠藍(lán)三個矩陣；(9)輸出融合后圖像：(9a)按照下式，計(jì)算融合后圖像第i個像素的像素值：Ii＝[Ri,Gi,Bi]其中，Ii表示融合后圖像第i個像素的像素值，i表示待融合圖像中像素的序號，[·]表示矩陣元素做合并操作，Ri、Gi、Bi分別表示融合后圖像紅綠藍(lán)三個矩陣中第i個像素的元素值；(9b)輸出融合后圖像。與現(xiàn)有的技術(shù)相比,本發(fā)明具有以下優(yōu)點(diǎn)：第一，本發(fā)明能夠根據(jù)閃光燈圖像亮度矩陣和不閃光圖像亮度矩陣，對待融合圖像亮度矩陣進(jìn)行重構(gòu)，克服了現(xiàn)有技術(shù)存在的不適用于兩幀待融合圖像亮度差異較大進(jìn)行的圖像融合，只對某一部分圖像適用的不足，使得本發(fā)明具有較好的亮度場景適應(yīng)性。第二，本發(fā)明依據(jù)無閃光燈圖像亮度通道紋理信息矩陣和閃光燈圖像亮度通道紋理信息矩陣，對待融合圖像亮度通道紋理信息矩陣進(jìn)行重構(gòu)，克服了現(xiàn)有技術(shù)在融合后圖像中部分區(qū)域模糊的不足，使得本發(fā)明能夠顯著的提高融合圖像的清晰度。附圖說明圖1為本發(fā)明的流程圖；圖2為本發(fā)明的仿真圖。具體實(shí)施方式下面結(jié)合附圖對本發(fā)明作進(jìn)一步的描述。參考附圖1，對本發(fā)明實(shí)現(xiàn)的步驟作進(jìn)一步的詳細(xì)描述。步驟1，輸入待融合圖像。分別輸入待融合的一幀在閃光燈和一幀在無閃光燈條件下拍攝的圖像。步驟2，變換待融合圖像通道。利用下式，將閃光燈條件下拍攝的一幀圖像從紅綠藍(lán)矩陣變換為亮度、紅色差、藍(lán)色差三個矩陣：YF＝0.2990×Rf+0.5870×Gf+0.1140×BfCbF＝-0.1687×Rf-0.3313×Gf+0.5000×Bf+128CrF＝-0.5000×Rf-0.4187×Gf-0.0813×Bf+128其中，YF、CbF、CrF表示變換后閃光燈條件下拍攝的一幀圖像的亮度、紅色差、藍(lán)色差矩陣，Rf、Gf、Bf分別表示閃光燈條件下拍攝的一幀圖像的紅綠藍(lán)矩陣，f表示閃光燈條件下拍攝的一幀圖像。利用下式，將無閃光燈條件下拍攝的一幀圖像從紅綠藍(lán)矩陣變換為亮度、紅色差、藍(lán)色差三個矩陣：YNF＝0.2990×Rnf+0.5870×Gnf+0.1140×BnfCbNF＝-0.1687×Rnf-0.3313×Gnf+0.5000×Bnf+128CrNF＝-0.5000×Rnf-0.4187×Gnf-0.0813×Bnf+128其中，YNF、CbNF、CrNF分別表示變換后無閃光燈條件下拍攝的一幀圖像的亮度、紅色差、藍(lán)色差矩陣，Rnf、Gnf、Bnf分別表示無閃光燈條件下拍攝的一幀圖像的紅綠藍(lán)矩陣，nf表示無閃光燈條件下拍攝的一幀圖像。直接在三個顏色通道來做圖像融合會造成融合圖像的色偏，所以本發(fā)明的圖像融合操作都是在亮度與色差通道來進(jìn)行，使得圖像在顏色上更加適合真實(shí)的自然場景。步驟3，重構(gòu)亮度矩陣。按照下式，重新構(gòu)建無閃光燈條件下拍攝的一幀圖像亮度矩陣中第i個像素的亮度值：Yi′＝max(YNFi,YFi)其中，Yi′表示無閃光燈條件下拍攝的一幀圖像構(gòu)建后亮度矩陣中第i個像素的亮度值，i表示待融合圖像中像素點(diǎn)的序號，max(·)表示取較大值操作，YNFi表示在無閃光燈條件下拍攝的一幀圖像亮度矩陣中第i個像素的亮度值，YFi表示在閃光燈條件下拍攝的一幀圖像亮度矩陣中第i個像素的亮度值。重構(gòu)后的亮度矩陣，不僅具有閃光燈條件下拍攝圖像的亮度信息，還具有無閃光條件下拍攝圖像的亮度信息，使得融合后圖像亮度較大的區(qū)域不會過亮，并且提高了融合后圖像亮度較低區(qū)域的亮度，使融合后的圖像的亮度協(xié)調(diào)，適合人眼觀看。步驟4，按照下式，采用加權(quán)最小二乘自適應(yīng)濾波器，分別對待融合圖像的亮度、紅色差、藍(lán)色差三個通道進(jìn)行濾波：其中，A表示待融合圖像的濾波結(jié)果，I表示單位對角矩陣，λ表示濾波器的平滑參數(shù)，λ的取值范圍為[0,1.0]，Dx表示單位矩陣x方向的后向差分矩陣，(·)T表示矩陣取轉(zhuǎn)置操作，表示待融合圖像x方向的后向差分矩陣，|·|表示取絕對值操作，α表示待融合圖像的梯度敏感因子，α的取值范圍為[1.2,2.0]，Dy表示單位矩陣y方向的后向差分矩陣，表示待融合圖像y方向的后向差分矩陣，G表示待融合圖像。濾波器的平滑參數(shù)λ越大，則濾波器濾波的強(qiáng)度越高。圖像的梯度信息反映出圖像的輪廓，濾波器的梯度敏感因子α越大，則濾波結(jié)果的輪廓越明顯。濾波公式中的0.001起到避免分母為0的作用。步驟5，按照下式，分別獲得待融合圖像亮度、紅色差、藍(lán)色差三個通道紋理信息矩陣第i個像素的紋理值：其中，Li表示待融合圖像亮度通道紋理信息矩陣中第i個像素的紋理值，i表示待融合圖像中像素的序號，Yi表示待融合圖像亮度矩陣中第i個像素的亮度值，Ai表示濾波后的圖像亮度矩陣中第i個像素的亮度值，Mi表示待融合圖像紅色差通道紋理信息矩陣中第i個像素的紋理值，Zi表示待融合圖像紅色差矩陣中第i個像素的色差值，Bi表示濾波后的圖像紅色差矩陣中第i個像素的色差值，Ni表示待融合圖像藍(lán)色差通道紋理信息矩陣中第i個像素的紋理值，Wi表示待融合圖像藍(lán)色差矩陣中第i個像素的色差值，Ci表示濾波后的圖像藍(lán)色差矩陣中第i個像素的色差值。圖像通過濾波器后會變得模糊，丟失了紋理信息，所以利用濾波前圖像各個通道第i個像素的像素值與濾波后圖像各個通道第i個像素的像素值做減法或者除法就可以得到紋理信息矩陣中i個像素的紋理值，通過大量實(shí)驗(yàn)與資料證明，采用除法獲得的紋理信息更多，所以在此選用除法獲得紋理信息矩陣。上式中選用的0.001起到避免分母為0的作用，為了使得紋理信息矩陣更加準(zhǔn)確，分子也做了加0.001的操作。步驟6，重構(gòu)紋理信息矩陣。按照下式，重新構(gòu)建待融合圖像紋理信息矩陣中第i個像素的紋理值：Di＝max(DAi,DFi)其中，Di表示構(gòu)建后紋理信息矩陣中第i個像素的紋理值，i表示待融合圖像中像素的序號，max(·)表示取較大值操作，DAi表示重構(gòu)亮度矩陣后的無閃光燈條件下拍攝的一幀圖像亮度通道紋理信息矩陣中第i個像素的紋理值，DFi表示閃光燈條件下拍攝的一幀圖像亮度通道紋理信息矩陣中第i個像素的紋理值。重構(gòu)后的紋理信息矩陣，不僅具有閃光燈條件下拍攝圖像的紋理信息，還具有無閃光條件下拍攝圖像的紋理信息，紋理信息矩陣表征圖像的清晰度，所以此步驟中的紋理信息矩陣的重構(gòu)有效的提高了融合圖像的清晰度。步驟7，按照下式，對待融合圖像進(jìn)行融合：Ei＝Di×Yi′；Fi＝M′i×Z′i；Gi＝N′i×Wi′；其中，Ei表示融合后的圖像亮度通道亮度矩陣中第i個像素的亮度值，i表示待融合圖像中像素的序號，Di表示重構(gòu)紋理信息矩陣后的無閃光燈條件下拍攝的一幀圖像亮度通道紋理信息矩陣中第i個像素的紋理值，Yi′表示重構(gòu)亮度矩陣后的無閃光燈條件下拍攝的一幀圖像亮度通道亮度矩陣中第i個像素的亮度值，F(xiàn)i表示融合后的圖像紅色差通道紅色差矩陣中第i個像素的色差值，M′i表示閃光燈條件下拍攝的一幀圖像紅色差通道紋理信息矩陣中第i個像素的紋理值，Z′i表示無閃光燈條件下拍攝的一幀圖像紅色差通道紅色差矩陣中第i個像素的色差值，Gi表示融合后的圖像藍(lán)色差通道藍(lán)色差矩陣中第i個像素的色差值，N′i表示閃光燈條件下拍攝的一幀圖像藍(lán)色差通道紋理信息矩陣中第i個像素的紋理值，Wi′表示無閃光燈條件下拍攝的一幀圖像藍(lán)色差通道藍(lán)色差矩陣中第i個像素的色差值。濾波后的圖像丟失了紋理信息，步驟5中采用了除法運(yùn)算，所以此步驟采用乘法運(yùn)算，將紋理信息融合到融合圖像中。步驟6中對紋理信息矩陣進(jìn)行的重構(gòu)操作，可以更加顯著地提高融合圖像的清晰度。步驟8，矩陣變換。按照下式，將融合后圖像的亮度、藍(lán)色差、紅色差矩陣變換為紅綠藍(lán)三個矩陣：R＝1.164×(Y-16)+1.596×(Cr-128)；G＝1.164×(Y-16)-0.392×(Cb-128)-0.813×(Cr-128)；B＝1.164×(Y-16)+2.017×(Cb-128)；其中，R、G、B分別表示融合后圖像紅綠藍(lán)矩陣，Y、Cr、Cb分別表示融合后圖像亮度、紅色差、藍(lán)色差矩陣。一幀彩色圖像可以分為三個通道進(jìn)行表征，一幀圖像既可以通過三個顏色通道來表征，也可以通過亮度與色差通道來表征，不同的表征通道之間可以相互進(jìn)行轉(zhuǎn)換，上述公式采用國際標(biāo)準(zhǔn)的通道轉(zhuǎn)換公式進(jìn)行通道轉(zhuǎn)換。步驟9，按照下式，輸出融合后圖像：Ii＝[Ri,Gi,Bi]其中，Ii表示融合后圖像第i個像素的像素值，i表示待融合圖像中像素的序號，[·]表示矩陣元素做合并操作，Ri、Gi、Bi分別表示融合后圖像紅綠藍(lán)三個矩陣中第i個像素的元素值。本發(fā)明的圖像融合是針對三通道的彩色圖像進(jìn)行的，所以要將最終的顏色矩陣合并為一個三維矩陣，圖像的每一個像素值由三個顏色通道矩陣的像素值來表征。下面結(jié)合附圖2對本發(fā)明的仿真效果做進(jìn)一步說明。1.仿真條件：本發(fā)明的仿真所使用待融合的圖像分別在閃光燈和無閃光燈條件下拍攝，圖像大小為2448×3264，待融合圖像為三通道彩色圖像。2.仿真結(jié)果與分析：附圖2是本發(fā)明的仿真結(jié)果圖，其中，附圖2(a)為在無閃光燈條件下拍攝的原圖；附圖2(b)為在閃光燈條件下拍攝的原圖；附圖2(c)為本發(fā)明基于紋理信息重構(gòu)的不同光照兩幀圖像融合方法的效果圖；附圖2(d)為沒有進(jìn)行亮度矩陣和紋理信息矩陣重構(gòu)的效果圖。對比附圖2(c)和附圖2(d)，附圖2(d)沒有區(qū)分兩幀待融合圖像亮度之間的差異，也沒有考慮附圖2(a)的紋理信息，使得整幅圖出現(xiàn)了色偏的情況，并且圖像發(fā)白，清晰度不高，與人眼看到的場景情況不符。本發(fā)明則很好地利用了附圖2(a)和附圖2(b)自身的紋理信息和亮度信息，對融合后圖像進(jìn)行自適應(yīng)增強(qiáng)，尤其在附圖2(c)中頭像的發(fā)絲部分，紋理增強(qiáng)效果表現(xiàn)明顯。此外，附圖2(c)在圖像去噪方面也有很好的效果。綜上所述，可以看出本發(fā)明能夠很好的提升待融合圖像的清晰度，克服了現(xiàn)有圖像融合技術(shù)亮度場景單一的缺點(diǎn)。