本發(fā)明涉及圖像處理
技術(shù)領(lǐng)域：
，特別是指一種多傳感器視頻融合與降噪的方法和裝置。
背景技術(shù)：
：為了獲取場景的完整信息，需要同時使用多個不同的傳感器捕獲同一場景的內(nèi)容。為了充分高效地利用這些從多個傳感器捕獲的視頻內(nèi)容，需要將多個不同的視頻內(nèi)容組合成為一個視頻序列，使用圖像序列融合方法實現(xiàn)。圖像序列融合能夠合成多個來自不同傳感器的圖像序列成為單個圖像序列，合成的圖像序列包含了原圖像中所有重要信息，消除了冗余，改善了信息的可用性。運動目標所處的外界環(huán)境復(fù)雜多變，在傳感器捕獲圖像的過程中，常常受到噪聲等干擾因素的影響，在采集圖像的同時也引入了干擾信息，降低了傳感器捕獲的圖像的質(zhì)量，導(dǎo)致圖像視覺質(zhì)量下降，因此在融合的過程中需要同時消除噪聲等干擾信息。傳統(tǒng)的融合方法是原圖像的直接加權(quán)融合，這種方法容易導(dǎo)致對比度降低并引入干擾。在變換域?qū)崿F(xiàn)的基于多尺度分解的融合方法、基于高階奇異值分解的圖像融合、基于馬爾科夫隨機場的圖像融合等方法能夠通過逐幀融合的方式確保單幀圖像的質(zhì)量，但是很難保持圖像序列的時間一致性和穩(wěn)定性，由于沒有充分地表示運動信息的能力，不能獲得令人滿意的結(jié)果。大多數(shù)已經(jīng)存在的圖像融合方法仍然只關(guān)注原圖像中有用的像素的組合，很少考慮噪聲等干擾信息的處理。如果沒有做消除噪聲等干擾信息的進一步處理，噪聲很容易與有用的像素一起引入到融合圖像中。在提高圖像質(zhì)量的同時不能確保圖像序列的時間穩(wěn)定性和一致性。技術(shù)實現(xiàn)要素：有鑒于此，本發(fā)明的目的在于提出一種多傳感器視頻融合與降噪方法和裝置，基于三維shearlet變換的視頻幀分解、基于3DPCNN的高頻系數(shù)融合策略和基于顯著性3DPCNN的低頻系數(shù)融合策略，可實現(xiàn)多傳感器視頻跨尺度融合與降噪。基于上述目的本發(fā)明提供的多傳感器視頻融合與降噪方法，包括步驟：包括步驟：將輸入的視頻幀轉(zhuǎn)換到頻率域，分別生成低頻子帶系數(shù)和高頻子帶系數(shù)；分別對所述的低頻子帶系數(shù)和所述的高頻子帶系數(shù)進行融合；將融合后的低頻子帶系數(shù)和高頻子帶系數(shù)通過逆變換，獲得融合視頻。在本發(fā)明一些實施例中，所述生成低頻子帶系數(shù)和高頻子帶系數(shù)，包括：采用三維shearlet變換將輸入視頻幀Va和Vb轉(zhuǎn)換到頻率域，分別生成低頻子帶系數(shù)和高頻子帶系數(shù)其中Cj0(x,y,t)表示第t幀的最粗尺度的子帶系數(shù)，Cj,l(x,y,t)表示第t幀，第j尺度和l方向的高頻子帶系數(shù)。在本發(fā)明一些實施例中，對所述的低頻子帶系數(shù)進行融合，包括：采用低秩和稀疏分解的方法進行時空顯著性檢測，生成顯著圖。將T幀低頻子帶系數(shù)Cj0(x,y,t)作為輸入視頻幀，沿著時間方向?qū)⑵浣M合為X-T和Y-T時間片矩陣SXT和SYT，之后對時間片SXT和SYT進行分解：min||A||*+λ||E||1,s.t.S＝A+E(10)其中，λ是控制稀疏矩陣的權(quán)重系數(shù)，||*||*和||*||1分別表示矩陣的核范數(shù)和l1范數(shù)；S表示SXT和SYT，低秩分量A對應(yīng)背景，稀疏分量E表示前景中的顯著運動區(qū)域；將從稀疏分量E獲取的X-T和Y-T的顯著運動矩陣SmXT和SmYT組合得到顯著圖Sm：Sm=SmXT2+SmYT2---(11)]]>執(zhí)行歸一化得到最終的時空顯著圖Sm：Sm＝norm(Sm)(12)低頻子帶系數(shù)Sj0(x,y,t)的顯著值可以由式(12)計算得到；代替在低頻系數(shù)上直接使用3DPCNN，采用低頻系數(shù)Cj0(x,y,t)和顯著值Sj0(x,y,t)的乘積，得到顯著度加權(quán)的低頻系數(shù)SCj0(x,y,t)，作為3DPCNN的輸入。SCj0(x,y,t)計算如下：SCj0(x,y,t)＝Sj0(x,y,t)·Cj0(x,y,t)(13)將SCj0(x,y,t)歸一化為SC_Normj0(x,y,t)，輸入3DPCNN激發(fā)神經(jīng)元。顯著性3DPCNN模型定義如下：Fxytj,l[n]=SC_Normj0(x,y,t)Lxytj,l[n]=exp(-αL)Lxytj,l[n-1]+VLΣpqrWxyt,pqrj,lYxyt,pqrj,l[n-1]Uxytj,l[n]=Fxytj,l[n]*(1+βLxytj,l[n])θxytj,l[n]=exp(-αθ)θxytj,l[n-1]+VθYxytj,l[n-1]Yxytj,l[n]=1,ifUxytj,l[n]>θxytj,l[n]0,otherwise---(14)]]>點火次數(shù)定義如下：Actxytj0[n]=Actxytj0[n-1]+Yxytj0[n]---(15)]]>其中，表示在n次迭代中低頻系數(shù)總的點火次數(shù)；因此，在系數(shù)和上，低頻子帶的融合系數(shù)Fj0(x,y,t)定義如下：Fj0(x,y,t)=ω*Cj0Va(x,y,t)+(1-ω)*Cj0Vb(x,y,t)---(16)]]>ω=[ActVa,xytj0+ActVb,xytj0]-1·ActVa,xytj0---(17)]]>其中，ω是系數(shù)的權(quán)重，由式(14)和式(15)計算得到。在本發(fā)明一些實施例中，所述的高頻子帶系數(shù)融合，包括：利用相鄰幀之間的相關(guān)性將二維PCNN擴展到3DPCNN，Cj,l(x,y,t)表示位于第t幀，第j尺度和l方向的(x,y)位置處的系數(shù)；子帶系數(shù)Cj,l(x,y,t)輸入3DPCNN作為外部反饋輸入，產(chǎn)生神經(jīng)元脈沖；前一次空間局部區(qū)域相鄰像素的輸入以及對應(yīng)的相鄰幀的輸出用作內(nèi)部鏈接輸入，3DPCNN能夠充分抽取視頻中的時空信息，3DPCNN計算公式如下：Fxytj,l[n]=Cj,l(x,y,t)Lxytj,l[n]=exp(-αL)Lxytj,l[n-1]+VLΣpqrWxyt,pqrj,lYxyt,pqrj,l[n-1]Uxytj,l[n]=Fxytj,l[n]*(1+βLxytj,l[n])θxytj,l[n]=exp(-αθ)θxytj,l[n-1]+VθYxytj,l[n-1]Yxytj,l[n]=1,ifUxytj,l[n]>θxytj,l[n]0,otherwise---(7)]]>其中，系數(shù)Cj,l(x,y,t)作為外部數(shù)據(jù)輸入反饋輸入鏈接輸入等于在鏈接范圍內(nèi)神經(jīng)元點火次數(shù)的總和，其中αL表示衰退常數(shù)，VL是振幅增益；Wxyt,pqr是加權(quán)系數(shù)(p，q，r指出在3DPCNN中鏈接范圍的大小)，是前一次迭代神經(jīng)元的輸出；通過調(diào)制和獲取內(nèi)部狀態(tài)信號其中β是鏈接強度；是閾值，其中αθ是衰退常量，Vθ是振幅增益；n表示迭代次數(shù)；如果則神經(jīng)元產(chǎn)生一次脈沖，稱為一次點火；如果則神經(jīng)元不產(chǎn)生脈沖；采用點火次數(shù)表示圖像信息。點火次數(shù)通過累積得到，計算公式如下：Actxytj,l[n]=Actxytj,l[n-1]+Yxytj,l[n]---(8)]]>其中，經(jīng)常用于表示在n次迭代中總的點火次數(shù)，這里點火次數(shù)表示系數(shù)的活動能量；選擇具有更大活動級的系數(shù)作為融合系數(shù)，依據(jù)式(7)和式(8)，第t幀、第j尺度和l方向的位置在(x,y)的融合高頻子帶系數(shù)Fj,l(x,y,t)定義如下：Fj,l(x,y,t)=Cj,lVa(x,y,t),ifActVa,xytj,l>ActVb,xytj,lCj,lVb(x,y,t),otherwise---(9)]]>在本發(fā)明一些實施例中，所述高頻子帶系數(shù)在進行系數(shù)融合之前，通過遞歸濾波進行降噪，包括：采用遞歸濾波器(RF)對高頻系數(shù)降噪，在三維shearlet變換系數(shù)上進行融合與降噪減少了由于分解和重構(gòu)引起的誤差；遞歸濾波器僅僅執(zhí)行在高頻子帶系數(shù)上獲取降噪系數(shù)公式如下：C~j,l=RF(Cj,l)---(5)]]>其中，RF指遞歸濾波器。當移除噪聲的時候，細節(jié)信息需要保留在高頻子帶中；具有邊緣保持特性的遞歸濾波器可以滿足這種要求；J[n]＝(1-ad)I[n]+adJ[n-1](6)其中，a∈[0,1]是反饋系數(shù)，I[n]是輸入高頻子帶的第n個系數(shù)值，J[n]是濾波后的高頻子帶的第n個系數(shù)，d是高頻子帶相鄰系數(shù)的距離；隨著d的增加，ad趨向于0，停止了傳播鏈，保持了高頻子帶的細節(jié)；遞歸濾波器在所有N幀圖像上執(zhí)行，獲取降噪后的高頻系數(shù)。之后通過合成降噪后的系數(shù)得到融合系數(shù)。在本發(fā)明一些實施例中，將融合后的低頻子帶系數(shù)和高頻子帶系數(shù)采用三維shearlet逆變換，重構(gòu)得到融合視頻。在另一方面，本發(fā)明還提供了一種多傳感器視頻融合與降噪裝置，包括：視頻分解單元，用于將輸入的視頻幀轉(zhuǎn)換到頻率域，分別生成低頻子帶系數(shù)和高頻子帶系數(shù)；系數(shù)融合單元，用于分別對所述的低頻子帶系數(shù)和所述的高頻子帶系數(shù)進行融合；視頻融合單元，用于將融合后的低頻子帶系數(shù)和高頻子帶系數(shù)通過逆變換，獲得融合視頻。在本發(fā)明一些實施例中，所述視頻分解單元采用三維shearlet變換將輸入視頻幀Va和Vb轉(zhuǎn)換到頻率域，分別生成低頻子帶系數(shù)和高頻子帶系數(shù)其中Cj0(x,y,t)表示第t幀的最粗尺度的子帶系數(shù)，Cj,l(x,y,t)表示第t幀，第j尺度和l方向的高頻子帶系數(shù)。在本發(fā)明一些實施例中，所述系數(shù)融合單元包括高頻子帶系數(shù)融合模塊和低頻子帶系數(shù)融合模塊；其中，高頻子帶系數(shù)融合模塊對高頻子帶系數(shù)進行融合時，可以利用相鄰幀之間的相關(guān)性將二維PCNN擴展到3DPCNN；Cj,l(x,y,t)表示位于第t幀，第j尺度和l方向的(x,y)位置處的系數(shù)；子帶系數(shù)Cj,l(x,y,t)輸入3DPCNN作為外部反饋輸入，產(chǎn)生神經(jīng)元脈沖；前一次空間局部區(qū)域相鄰像素的輸入以及對應(yīng)的相鄰幀的輸出用作內(nèi)部鏈接輸入，3DPCNN能夠充分抽取視頻中的時空信息，3DPCNN計算公式如下：Fxytj,l[n]=Cj,l(x,y,t)Lxytj,l[n]=exp(-αL)Lxytj,l[n-1]+VLΣpqrWxyt,pqrj,lYxyt,pqrj,l[n-1]Uxytj,l[n]=Fxytj,l[n]*(1+βLxytj,l[n])θxytj,l[n]=exp(-αθ)θxytj,l[n-1]+VθYxytj,l[n-1]Yxytj,l[n]=1,ifUxytj,l[n]>θxytj,l[n]0,otherwise---(7)]]>其中，系數(shù)Cj,l(x,y,t)作為外部數(shù)據(jù)輸入反饋輸入鏈接輸入等于在鏈接范圍內(nèi)神經(jīng)元點火次數(shù)的總和，其中αL表示衰退常數(shù)，VL是振幅增益；Wxyt,pqr是加權(quán)系數(shù)(p，q，r指出在3DPCNN中鏈接范圍的大小)，是前一次迭代神經(jīng)元的輸出；通過調(diào)制和獲取內(nèi)部狀態(tài)信號其中β是鏈接強度；是閾值，其中αθ是衰退常量，Vθ是振幅增益；n表示迭代次數(shù)，如果則神經(jīng)元產(chǎn)生一次脈沖，稱為一次點火；如果則神經(jīng)元不產(chǎn)生脈沖；采用點火次數(shù)表示圖像信息，點火次數(shù)通過累積得到，計算公式如下：Actxytj,l[n]=Actxytj,l[n-1]+Yxytj,l[n]---(8)]]>其中，經(jīng)常用于表示在n次迭代中總的點火次數(shù)，這里點火次數(shù)表示系數(shù)的活動能量；選擇具有更大活動級的系數(shù)作為融合系數(shù)，依據(jù)式(7)和式(8)，第t幀、第j尺度和l方向的位置在(x,y)的融合高頻子帶系數(shù)Fj,l(x,y,t)定義如下：Fj,l(x,y,t)=Cj,lVa(x,y,t),ifActVa,xytj,l>ActVb,xytj,lCj,lVb(x,y,t),otherwise---(9)]]>另外，所述的低頻子帶系數(shù)融合模塊針對低頻子帶系數(shù)采用基于顯著性3DPCNN的低頻系數(shù)融合策略，具體的實施過程包括：采用低秩和稀疏分解的方法進行時空顯著性檢測，生成顯著圖；將T幀低頻子帶系數(shù)Cj0(x,y,t)作為輸入視頻幀，沿著時間方向?qū)⑵浣M合為X-T和Y-T時間片矩陣SXT和SYT，之后對時間片SXT和SYT進行分解：min||A||*+λ||E||1,s.t.S＝A+E(10)其中λ是控制稀疏矩陣的權(quán)重系數(shù)，||*||*和||*||1分別表示矩陣的核范數(shù)和l1范數(shù)；S表示SXT和SYT，低秩分量A對應(yīng)背景，稀疏分量E表示前景中的顯著運動區(qū)域；將從稀疏分量E獲取的X-T和Y-T的顯著運動矩陣SmXT和SmYT組合得到顯著圖Sm：Sm=SmXT2+SmYT2---(11)]]>執(zhí)行歸一化得到最終的時空顯著圖Sm：Sm＝norm(Sm)(12)低頻子帶系數(shù)Sj0(x,y,t)的顯著值可以由式(12)計算得到；代替在低頻系數(shù)上直接使用3DPCNN，采用低頻系數(shù)Cj0(x,y,t)和顯著值Sj0(x,y,t)的乘積，得到顯著度加權(quán)的低頻系數(shù)SCj0(x,y,t)，作為3DPCNN的輸入；SCj0(x,y,t)計算如下：SCj0(x,y,t)＝Sj0(x,y,t)·Cj0(x,y,t)(13)將SCj0(x,y,t)歸一化為SC_Normj0(x,y,t)，輸入3DPCNN激發(fā)神經(jīng)元；顯著性3DPCNN模型定義如下：Fxytj,l[n]=SC_Normj0(x,y,t)Lxytj,l[n]=exp(-αL)Lxytj,l[n-1]+VLΣpqrWxyt,pqrj,lYxyt,pqrj,l[n-1]Uxytj,l[n]=Fxytj,l[n]*(1+βLxytj,l[n])θxytj,l[n]=exp(-αθ)θxytj,l[n-1]+VθYxytj,l[n-1]Yxytj,l[n]=1,ifUxytj,l[n]>θxytj,l[n]0,otherwise---(14)]]>點火次數(shù)定義如下：Actxytj0[n]=Actxytj0[n-1]+Yxytj0[n]---(15)]]>其中，表示在n次迭代中低頻系數(shù)總的點火次數(shù)；因此，在系數(shù)和上，低頻子帶的融合系數(shù)Fj0(x,y,t)定義如下：Fj0(x,y,t)=ω*Cj0Va(x,y,t)+(1-ω)*Cj0Vb(x,y,t)---(16)]]>ω=[ActVa,xytj0+ActVb,xytj0]-1·ActVa,xytj0---(17)]]>其中，ω是系數(shù)的權(quán)重，由式(14)和式(15)計算得到。在本發(fā)明一些實施例中，所述高頻子帶系數(shù)在進行系數(shù)融合之前，先通過遞歸濾波進行降噪，包括：采用遞歸濾波器對高頻系數(shù)降噪，在三維shearlet變換系數(shù)上進行融合與降噪減少了由于分解和重構(gòu)引起的誤差；遞歸濾波器僅僅執(zhí)行在高頻子帶系數(shù)上獲取降噪系數(shù)公式如下：C~j,l=RF(Cj,l)---(5)]]>其中，RF指遞歸濾波器。當移除噪聲的時候，細節(jié)信息需要保留在高頻子帶中；具有邊緣保持特性的遞歸濾波器可以滿足這種要求；J[n]＝(1-ad)I[n]+adJ[n-1](6)其中，a∈[0,1]是反饋系數(shù)，I[n]是輸入高頻子帶的第n個系數(shù)值，J[n]是濾波后的高頻子帶的第n個系數(shù)，d是高頻子帶相鄰系數(shù)的距離；隨著d的增加，ad趨向于0，停止了傳播鏈，保持了高頻子帶的細節(jié)；遞歸濾波器在所有N幀圖像上執(zhí)行，獲取降噪后的高頻系數(shù)，之后通過合成降噪后的系數(shù)得到融合系數(shù)。從上面所述可以看出，本發(fā)明提供的多傳感器視頻融合與降噪方法和裝置，在多傳感器視頻幀融合的過程中，在三維shearlet變換域，實現(xiàn)視頻幀的融合與降噪，獲取完整清晰連貫的融合視頻，突出目標區(qū)域的細節(jié)特征，避免目標邊緣出現(xiàn)變形等干擾，防止圖像序列出現(xiàn)抖動現(xiàn)象，生成無噪聲的滿足人類視覺需要的高質(zhì)量融合圖像。附圖說明圖1為本發(fā)明實施例中多傳感器視頻融合與降噪方法流程示意圖；圖2為本發(fā)明實施例中低頻子帶系數(shù)的顯著性檢測結(jié)果的示意圖；圖3為本發(fā)明實施例中多傳感器視頻融合與降噪裝置的結(jié)構(gòu)示意圖。具體實施方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參照附圖，對本發(fā)明進一步詳細說明。需要說明的是，本發(fā)明實施例中所有使用“第一”和“第二”的表述均是為了區(qū)分兩個相同名稱非相同的實體或者非相同的參量，可見“第一”“第二”僅為了表述的方便，不應(yīng)理解為對本發(fā)明實施例的限定，后續(xù)實施例對此不再一一說明。參閱圖1所示，為本發(fā)明第一實施例中多傳感器視頻融合與降噪方法流程示意圖，所述多傳感器視頻融合與降噪方法包括：步驟101，將輸入的視頻幀轉(zhuǎn)換到頻率域，分別生成低頻子帶系數(shù)和高頻子帶系數(shù)。步驟102，分別對所述的低頻子帶系數(shù)和所述的高頻子帶系數(shù)進行融合。步驟103，將融合后的低頻子帶系數(shù)和高頻子帶系數(shù)通過逆變換，獲得融合視頻。作為實施例，在步驟101中可以采用三維shearlet變換將輸入視頻幀Va和Vb轉(zhuǎn)換到頻率域，分別生成低頻子帶系數(shù)和高頻子帶系數(shù)其中Cj0(x,y,t)表示第t幀的最粗尺度的子帶系數(shù)，Cj,l(x,y,t)表示第t幀，第j尺度和l方向的高頻子帶系數(shù)。其中，三維shearlet變換通過與金字塔區(qū)域相關(guān)聯(lián)的shearlet系統(tǒng)構(gòu)造。通過劃分傅里葉空間獲得三個金字塔區(qū)域P1，P2和P3，定義如下：P1={(ξ1,ξ2,ξ3)∈R3:|ξ2ξ1|≤1,|ξ3ξ1|≤1}---(1)]]>P2={(ξ1,ξ2,ξ3)∈R3:|ξ1ξ2|<1,|ξ3ξ2|≤1}---(2)]]>P3={(ξ1,ξ2,ξ3)∈R3:|ξ1ξ3|<1,|ξ2ξ3|<1}---(3)]]>shearlet系統(tǒng)的方向性通過使用剪切矩陣來控制，而不是通過旋轉(zhuǎn)實現(xiàn)，可實現(xiàn)從連續(xù)到離散的自然過渡。三維shearlet系統(tǒng)通過組合shearlet系統(tǒng)和相關(guān)的金字塔區(qū)域Pd(d＝1,2,3,l＝(l1,l2)∈Z2)來獲得，其定義為集合的形式，包括粗尺度shearlet，內(nèi)部shearlet和邊緣shearlet。{ψ~-1,k:k∈Z3}∪∪{ψ~j,l,k:j≥0,l1,l2=±2j,k∈Z3}]]>{ψ~j,l,k,d:j≥0,|l1|<2j,|l2|≤2j,k∈Z3,d=1,2,3}---(4)]]>其中，shearlet參數(shù)l1和l2控制三維shearlet系統(tǒng)中支持區(qū)域的方向，隨著j的增加，支持區(qū)域會變得越來越細長。三維數(shù)字shearlet變換方法通過級聯(lián)多尺度分解和方向濾波來進行構(gòu)建。采用拉普拉斯金字塔變換實現(xiàn)了多尺度分解，采用剪切矩陣控制在偽球面域的方向，獲取了方向分量。在一個較佳地實施例中，在步驟102中在對高頻子帶系數(shù)進行融合時，可以利用相鄰幀之間的相關(guān)性將二維PCNN擴展到3DPCNN。Cj,l(x,y,t)表示位于第t幀，第j尺度和l方向的(x,y)位置處的系數(shù)。子帶系數(shù)Cj,l(x,y,t)輸入3DPCNN作為外部反饋輸入，產(chǎn)生神經(jīng)元脈沖。前一次空間局部區(qū)域相鄰像素的輸入以及對應(yīng)的相鄰幀的輸出用作內(nèi)部鏈接輸入，3DPCNN能夠充分抽取視頻中的時空信息，3DPCNN計算公式如下：Fxytj,l[n]=Cj,l(x,y,t)Lxytj,l[n]=exp(-αL)Lxytj,l[n-1]+VLΣpqrWxyt,pqrj,lYxyt,pqrj,l[n-1]Uxytj,l[n]=Fxytj,l[n]*(1+βLxytj,l[n])θxytj,l[n]=exp(-αθ)θxytj,l[n-1]+VθYxytj,l[n-1]Yxytj,l[n]=1,ifUxytj,l[n]>θxytj,l[n]0,otherwise---(7)]]>其中，系數(shù)Cj,l(x,y,t)作為外部數(shù)據(jù)輸入反饋輸入鏈接輸入等于在鏈接范圍內(nèi)神經(jīng)元點火次數(shù)的總和，其中αL表示衰退常數(shù)，VL是振幅增益。Wxyt,pqr是加權(quán)系數(shù)(p，q，r指出在3DPCNN中鏈接范圍的大小)。是前一次迭代神經(jīng)元的輸出。通過調(diào)制和獲取內(nèi)部狀態(tài)信號其中β是鏈接強度。是閾值，其中αθ是衰退常量，Vθ是振幅增益。n表示迭代次數(shù)。如果則神經(jīng)元產(chǎn)生一次脈沖，稱為一次點火。如果則神經(jīng)元不產(chǎn)生脈沖。采用點火次數(shù)表示圖像信息。點火次數(shù)通過累積得到，計算公式如下：Actxytj,l[n]=Actxytj,l[n-1]+Yxytj,l[n]---(8)]]>其中，經(jīng)常用于表示在n次迭代中總的點火次數(shù)。這里點火次數(shù)表示系數(shù)的活動能量。選擇具有更大活動級的系數(shù)作為融合系數(shù)。依據(jù)式(7)和式(8)，第t幀、第j尺度和l方向的位置在(x,y)的融合高頻子帶系數(shù)Fj,l(x,y,t)定義如下：Fj,l(x,y,t)=Cj,lVa(x,y,t),ifActVa,xytj,l>ActVb,xytj,lCj,lVb(x,y,t),otherwise---(9)]]>作為優(yōu)選地實施例，針對于高頻子帶系數(shù)在進行系數(shù)融合之前，可以先通過遞歸濾波進行降噪。具體的實施過程包括：采用遞歸濾波器(RF)對高頻系數(shù)降噪，在三維shearlet變換系數(shù)上進行融合與降噪減少了由于分解和重構(gòu)引起的誤差。遞歸濾波器僅僅執(zhí)行在高頻子帶系數(shù)上獲取降噪系數(shù)公式如下：C~j,l=RF(Cj,l)---(5)]]>其中，RF指遞歸濾波器。當移除噪聲的時候，細節(jié)信息需要保留在高頻子帶中。具有邊緣保持特性的遞歸濾波器可以滿足這種要求。J[n]＝(1-ad)I[n]+adJ[n-1](6)其中，a∈[0,1]是反饋系數(shù)，I[n]是輸入高頻子帶的第n個系數(shù)值，J[n]是濾波后的高頻子帶的第n個系數(shù)，d是高頻子帶相鄰系數(shù)的距離。隨著d的增加，ad趨向于0，停止了傳播鏈，保持了高頻子帶的細節(jié)。遞歸濾波器在所有N幀圖像上執(zhí)行，獲取降噪后的高頻系數(shù)。之后通過合成降噪后的系數(shù)得到融合系數(shù)。在另一個較佳地實施例中，在步驟102中針對低頻子帶系數(shù)采用基于顯著性3DPCNN的低頻系數(shù)融合策略，具體的實施過程包括：采用低秩和稀疏分解的方法進行時空顯著性檢測，生成顯著圖。將T幀低頻子帶系數(shù)Cj0(x,y,t)作為輸入視頻幀，沿著時間方向?qū)⑵浣M合為X-T和Y-T時間片矩陣SXT和SYT，之后對時間片SXT和SYT進行分解：min||A||*+λ||E||1,s.t.S＝A+E(10)其中λ是控制稀疏矩陣的權(quán)重系數(shù)，||*||*和||*||1分別表示矩陣的核范數(shù)和l1范數(shù)。S表示SXT和SYT，低秩分量A對應(yīng)背景，稀疏分量E表示前景中的顯著運動區(qū)域。將從稀疏分量E獲取的X-T和Y-T的顯著運動矩陣SmXT和SmYT組合得到顯著圖Sm：Sm=SmXT2+SmYT2---(11)]]>執(zhí)行歸一化得到最終的時空顯著圖Sm：Sm＝norm(Sm)(12)如圖2所示，展示了一個低頻系數(shù)顯著性檢測的例子，圖2(a)是“UNCamp”序列第178幀原圖像，圖2(b)是其對應(yīng)的低頻系數(shù)圖，圖2(c)是低頻系數(shù)的顯著圖，可以觀察到顯著圖清楚地呈現(xiàn)了低頻系數(shù)圖中的顯著區(qū)域。低頻子帶系數(shù)Sj0(x,y,t)的顯著值可以由式(12)計算得到。代替在低頻系數(shù)上直接使用3DPCNN，采用低頻系數(shù)Cj0(x,y,t)和顯著值Sj0(x,y,t)的乘積，得到顯著度加權(quán)的低頻系數(shù)SCj0(x,y,t)，作為3DPCNN的輸入。SCj0(x,y,t)計算如下：SCj0(x,y,t)＝Sj0(x,y,t)·Cj0(x,y,t)(13)將SCj0(x,y,t)歸一化為SC_Normj0(x,y,t)，輸入3DPCNN激發(fā)神經(jīng)元。顯著性3DPCNN模型定義如下：Fxytj,l[n]=SC_Normj0(x,y,t)Lxytj,l[n]=exp(-αL)Lxytj,l[n-1]+VLΣpqrWxyt,pqrj,lYxyt,pqrj,l[n-1]Uxytj,l[n]=Fxytj,l[n]*(1+βLxytj,l[n])θxytj,l[n]=exp(-αθ)θxytj,l[n-1]+VθYxytj,l[n-1]Yxytj,l[n]=1,ifUxytj,l[n]>θxytj,l[n]0,otherwise---(14)]]>點火次數(shù)定義如下：Actxytj0[n]=Actxytj0[n-1]+Yxytj0[n]---(15)]]>其中，表示在n次迭代中低頻系數(shù)總的點火次數(shù)。因此，在系數(shù)和上，低頻子帶的融合系數(shù)Fj0(x,y,t)定義如下：Fj0(x,y,t)=ω*Cj0Va(x,y,t)+(1-ω)*Cj0Vb(x,y,t)---(16)]]>ω=[ActVa,xytj0+ActVb,xytj0]-1·ActVa,xytj0---(17)]]>其中，ω是系數(shù)的權(quán)重，由式(14)和式(15)計算得到。還需要說明的是，步驟103在獲得步驟102視頻融合系數(shù){Fj0(x,y,t),Fj,l(x,y,t)}之后，采用三維shearlet逆變換，重構(gòu)得到融合視頻。在本發(fā)明的另一方面，還提供了一種多傳感器視頻融合與降噪裝置，如圖3所示，所述多傳感器視頻融合與降噪裝置包括依次連接的視頻分解單元301、系數(shù)融合單元302以及視頻融合單元303。其中，視頻分解單元301將輸入的視頻幀轉(zhuǎn)換到頻率域，分別生成低頻子帶系數(shù)和高頻子帶系數(shù)。之后，系數(shù)融合單元302分別對所述的低頻子帶系數(shù)和所述的高頻子帶系數(shù)進行融合。而視頻融合單元303將融合后的低頻子帶系數(shù)和高頻子帶系數(shù)通過逆變換，獲得融合視頻。較佳地，視頻分解單元301可以采用三維shearlet變換將輸入視頻幀Va和Vb轉(zhuǎn)換到頻率域，分別生成低頻子帶系數(shù)和高頻子帶系數(shù)其中Cj0(x,y,t)表示第t幀的最粗尺度的子帶系數(shù)，Cj,l(x,y,t)表示第t幀，第j尺度和l方向的高頻子帶系數(shù)。在另一個實施例中，系數(shù)融合單元302包括高頻子帶系數(shù)融合模塊和低頻子帶系數(shù)融合模塊。其中，高頻子帶系數(shù)融合模塊對高頻子帶系數(shù)進行融合時，可以利用相鄰幀之間的相關(guān)性將二維PCNN擴展到3DPCNN。Cj,l(x,y,t)表示位于第t幀，第j尺度和l方向的(x,y)位置處的系數(shù)。子帶系數(shù)Cj,l(x,y,t)輸入3DPCNN作為外部反饋輸入，產(chǎn)生神經(jīng)元脈沖。前一次空間局部區(qū)域相鄰像素的輸入以及對應(yīng)的相鄰幀的輸出用作內(nèi)部鏈接輸入，3DPCNN能夠充分抽取視頻中的時空信息，3DPCNN計算公式如下：Fxytj,l[n]=Cj,l(x,y,t)Lxytj,l[n]=exp(-αL)Lxytj,l[n-1]+VLΣpqrWxyt,pqrj,lYxyt,pqrj,l[n-1]Uxytj,l[n]=Fxytj,l[n]*(1+βLxytj,l[n])θxytj,l[n]=exp(-αθ)θxytj,l[n-1]+VθYxytj,l[n-1]Yxytj,l[n]=1,ifUxytj,l[n]>θxytj,l[n]0,otherwise---(7)]]>其中，系數(shù)Cj,l(x,y,t)作為外部數(shù)據(jù)輸入反饋輸入鏈接輸入等于在鏈接范圍內(nèi)神經(jīng)元點火次數(shù)的總和，其中αL表示衰退常數(shù)，VL是振幅增益。Wxyt,pqr是加權(quán)系數(shù)(p，q，r指出在3DPCNN中鏈接范圍的大小)。是前一次迭代神經(jīng)元的輸出。通過調(diào)制和獲取內(nèi)部狀態(tài)信號其中β是鏈接強度。是閾值，其中αθ是衰退常量，Vθ是振幅增益。n表示迭代次數(shù)。如果則神經(jīng)元產(chǎn)生一次脈沖，稱為一次點火。如果則神經(jīng)元不產(chǎn)生脈沖。采用點火次數(shù)表示圖像信息。點火次數(shù)通過累積得到，計算公式如下：Actxytj,l[n]=Actxytj,l[n-1]+Yxytj,l[n]---(8)]]>其中，經(jīng)常用于表示在n次迭代中總的點火次數(shù)。這里點火次數(shù)表示系數(shù)的活動能量。選擇具有更大活動級的系數(shù)作為融合系數(shù)。依據(jù)式(7)和式(8)，第t幀、第j尺度和l方向的位置在(x,y)的融合高頻子帶系數(shù)Fj,l(x,y,t)定義如下：Fj,l(x,y,t)=Cj,lVa(x,y,t),ifActVa,xytj,l>ActVb,xytj,lCj,lVb(x,y,t),otherwise---(9)]]>作為優(yōu)選地實施例，針對于高頻子帶系數(shù)在進行系數(shù)融合之前，可以先通過遞歸濾波進行降噪。具體的實施過程包括：采用遞歸濾波器(RF)對高頻系數(shù)降噪，在三維shearlet變換系數(shù)上進行融合與降噪減少了由于分解和重構(gòu)引起的誤差。遞歸濾波器僅僅執(zhí)行在高頻子帶系數(shù)上獲取降噪系數(shù)公式如下：C~j,l=RF(Cj,l)---(5)]]>其中，RF指遞歸濾波器。當移除噪聲的時候，細節(jié)信息需要保留在高頻子帶中。具有邊緣保持特性的遞歸濾波器可以滿足這種要求。J[n]＝(1-ad)I[n]+adJ[n-1](6)其中，a∈[0,1]是反饋系數(shù)，I[n]是輸入高頻子帶的第n個系數(shù)值，J[n]是濾波后的高頻子帶的第n個系數(shù)，d是高頻子帶相鄰系數(shù)的距離。隨著d的增加，ad趨向于0，停止了傳播鏈，保持了高頻子帶的細節(jié)。遞歸濾波器在所有N幀圖像上執(zhí)行，獲取降噪后的高頻系數(shù)。之后通過合成降噪后的系數(shù)得到融合系數(shù)。另外，所述的低頻子帶系數(shù)融合模塊針對低頻子帶系數(shù)采用基于顯著性3DPCNN的低頻系數(shù)融合策略，具體的實施過程包括：采用低秩和稀疏分解的方法進行時空顯著性檢測，生成顯著圖。將T幀低頻子帶系數(shù)Cj0(x,y,t)作為輸入視頻幀，沿著時間方向?qū)⑵浣M合為X-T和Y-T時間片矩陣SXT和SYT，之后對時間片SXT和SYT進行分解：min||A||*+λ||E||1,s.t.S＝A+E(10)其中λ是控制稀疏矩陣的權(quán)重系數(shù)，||*||*和||*||1分別表示矩陣的核范數(shù)和l1范數(shù)。S表示SXT和SYT，低秩分量A對應(yīng)背景，稀疏分量E表示前景中的顯著運動區(qū)域。將從稀疏分量E獲取的X-T和Y-T的顯著運動矩陣SmXT和SmYT組合得到顯著圖Sm：Sm=SmXT2+SmYT2---(11)]]>執(zhí)行歸一化得到最終的時空顯著圖Sm：Sm＝norm(Sm)(12)低頻子帶系數(shù)Sj0(x,y,t)的顯著值可以由式(12)計算得到。代替在低頻系數(shù)上直接使用3DPCNN，采用低頻系數(shù)Cj0(x,y,t)和顯著值Sj0(x,y,t)的乘積，得到顯著度加權(quán)的低頻系數(shù)SCj0(x,y,t)，作為3DPCNN的輸入。SCj0(x,y,t)計算如下：SCj0(x,y,t)＝Sj0(x,y,t)·Cj0(x,y,t)(13)將SCj0(x,y,t)歸一化為SC_Normj0(x,y,t)，輸入3DPCNN激發(fā)神經(jīng)元。顯著性3DPCNN模型定義如下：Fxytj,l[n]=SC_Normj0(x,y,t)Lxytj,l[n]=exp(-αL)Lxytj,l[n-1]+VLΣpqrWxyt,pqrj,lYxyt,pqrj,l[n-1]Uxytj,l[n]=Fxytj,l[n]*(1+βLxytj,l[n])θxytj,l[n]=exp(-αθ)θxytj,l[n-1]+VθYxytj,l[n-1]Yxytj,l[n]=1,ifUxytj,l[n]>θxytj,l[n]0,otherwise---(14)]]>點火次數(shù)定義如下：Actxytj0[n]=Actxytj0[n-1]+Yxytj0[n]---(15)]]>其中，表示在n次迭代中低頻系數(shù)總的點火次數(shù)。因此，在系數(shù)和上，低頻子帶的融合系數(shù)Fj0(x,y,t)定義如下：Fj0(x,y,t)=ω*Cj0Va(x,y,t)+(1-ω)*Cj0Vb(x,y,t)---(16)]]>ω=[ActVa,xytj0+ActVb,xytj0]-1·ActVa,xytj0---(17)]]>其中，ω是系數(shù)的權(quán)重，由式(14)和式(15)計算得到。還需要說明的是，視頻融合單元303將高頻子帶系數(shù)融合模塊和低頻子帶系數(shù)融合模塊的視頻融合系數(shù){Fj0(x,y,t),Fj,l(x,y,t)}，采用三維shearlet逆變換，重構(gòu)得到融合視頻。需要說明的是，在本發(fā)明所述的多傳感器視頻融合與降噪裝置的具體實施內(nèi)容，在上面所述的多傳感器視頻融合與降噪方法中已經(jīng)詳細說明了，故在此重復(fù)內(nèi)容不再說明。綜上所述，本發(fā)明提供的多傳感器視頻融合與降噪方法和裝置，創(chuàng)造性地基于三維shearlet變換的視頻分解，三維shearlet變換將輸入視頻幀轉(zhuǎn)換到頻率域，分別生成低頻和高頻子帶系數(shù)；利用視頻幀的時空特征，三維shearlet能有效地捕獲和描述視頻的邊緣和紋理等細節(jié)特征；而且，基于3DPCNN的高頻系數(shù)融合策略，在高頻系數(shù)上采用遞歸濾波實現(xiàn)降噪；高頻子帶系數(shù)包含了視頻幀中豐富的細節(jié)信息，3Dshearlet分解的高頻方向子帶系數(shù)描述了視頻幀中的邊緣、紋理等細節(jié)顯著信息，提出了基于3DPCNN的高頻系數(shù)融合策略，選取融合系數(shù)，有效保留圖像中顯著細節(jié)信息；并且，基于顯著性3DPCNN的低頻系數(shù)融合策略，提出了基于顯著性3DPCNN的低頻融合策略，合成低頻子帶系數(shù)，從低頻子帶系數(shù)抽取視覺顯著圖，與原低頻系數(shù)組合，作為PCNN的輸入數(shù)據(jù)激發(fā)PCNN點火，具有較大點火次數(shù)的系數(shù)作為低頻子帶的融合系數(shù)；從而，本發(fā)明能夠具有廣泛、重大的推廣意義，能夠滿足帶有噪聲的視頻幀融合的需求，有很高的應(yīng)用價值；最后，整個所述多傳感器視頻融合與降噪方法和裝置緊湊，易于控制。所屬領(lǐng)域的普通技術(shù)人員應(yīng)當理解：以上任何實施例的討論僅為示例性的，并非旨在暗示本公開的范圍(包括權(quán)利要求)被限于這些例子；在本發(fā)明的思路下，以上實施例或者不同實施例中的技術(shù)特征之間也可以進行組合，步驟可以以任意順序?qū)崿F(xiàn)，并存在如上所述的本發(fā)明的不同方面的許多其它變化，為了簡明它們沒有在細節(jié)中提供。另外，為簡化說明和討論，并且為了不會使本發(fā)明難以理解，在所提供的附圖中可以示出或可以不示出與集成電路(IC)芯片和其它部件的公知的電源/接地連接。此外，可以以框圖的形式示出裝置，以便避免使本發(fā)明難以理解，并且這也考慮了以下事實，即關(guān)于這些框圖裝置的實施方式的細節(jié)是高度取決于將要實施本發(fā)明的平臺的(即，這些細節(jié)應(yīng)當完全處于本領(lǐng)域技術(shù)人員的理解范圍內(nèi))。在闡述了具體細節(jié)(例如，電路)以描述本發(fā)明的示例性實施例的情況下，對本領(lǐng)域技術(shù)人員來說顯而易見的是，可以在沒有這些具體細節(jié)的情況下或者這些具體細節(jié)有變化的情況下實施本發(fā)明。因此，這些描述應(yīng)被認為是說明性的而不是限制性的。盡管已經(jīng)結(jié)合了本發(fā)明的具體實施例對本發(fā)明進行了描述，但是根據(jù)前面的描述，這些實施例的很多替換、修改和變型對本領(lǐng)域普通技術(shù)人員來說將是顯而易見的。例如，其它存儲器架構(gòu)(例如，動態(tài)RAM(DRAM))可以使用所討論的實施例。本發(fā)明的實施例旨在涵蓋落入所附權(quán)利要求的寬泛范圍之內(nèi)的所有這樣的替換、修改和變型。因此，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何省略、修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。當前第1頁1 2 3