專利名稱：時域與空域結(jié)合的視頻降噪裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻圖像處理技術(shù)領(lǐng)域，特別涉及視頻降噪技術(shù)領(lǐng)域，具體是指一種時域與空域結(jié)合的視頻降噪裝置及方法。
背景技術(shù)：
在攝像和監(jiān)控系統(tǒng)中，技術(shù)發(fā)展和進步的方向就是希望最終獲得噪聲盡可能小的圖像。但受限于感光器件的靈敏度和動態(tài)范圍，實際獲得的圖像總是存在著噪聲，在光照強度較弱的情況下，噪聲會變得更為明顯，導(dǎo)致視頻的清 晰度下降，不利于視頻圖像的后續(xù)處理以及應(yīng)用。為了減少噪聲的影響，目前一般采用降噪裝置對視頻圖像進行降噪處理。降噪的方法按照參考數(shù)據(jù)的不同主要分為兩類一種是空域降噪法，該降噪法利用圖像內(nèi)的空間相關(guān)性進行降噪，另一種是時域降噪法，該降噪法利用多幀圖像在時間上的相關(guān)性進行降噪?？沼蚪翟胱畛Ｊ褂玫姆椒ㄊ堑屯V波。低通濾波法是一種在頻域上對圖像信號進行處理的方法。在分析圖像信號的頻率特性時，一幅圖像的邊緣、跳躍部分和隨機噪聲屬于圖像信號的高頻率分量部分，而大面積的背景區(qū)域?qū)儆趫D像信號的低頻率分量部分，低通濾波法通過濾除圖像信號的高頻部分達到降噪的目的，由于圖像的邊緣和跳躍部分也處于高頻區(qū)域，在低通濾波后這部分信號也被濾掉了，從而導(dǎo)致圖像邊緣和跳躍部分出現(xiàn)模糊。為緩解這種模糊，通常使用帶邊界保留的濾波器，該濾波器主要思想是根據(jù)噪聲方差設(shè)定一個域值，僅使用落在閾值內(nèi)的鄰域點做低通濾波，當邊界跳躍幅度大于該閾值時，不會出現(xiàn)模糊，而對跳躍幅度小于該域值的邊界同樣會造成模糊。使用邊界保留濾波進行降噪需要準確的估計噪聲的方差才能達到較好的降噪效果，噪聲估計若偏大則會導(dǎo)致過多的邊界模糊，噪聲估計偏小則會導(dǎo)致部分噪聲消除不干凈?？偟膩碚f，無論是采用低通濾波降噪法還是采用帶邊界保留的降噪法，空域降噪都不可避免的會對圖像造成一定的模糊，噪聲越大，被噪聲淹沒的紋理也越多，降噪后圖像的模糊也越嚴重，僅依賴空域相關(guān)性難以得到滿意效果，需要利用時域的相關(guān)性使用多幀的信息相互補償才能達到更優(yōu)的降噪效果，這就需要時域降噪。時域降噪最常用的方法是多圖像平均法，由于感光器件引入的隨機噪聲在時間上表現(xiàn)為零均值的加性噪聲，所以采用多圖象平均法能有效去除噪聲。多圖像平均法有兩個問題，一是系統(tǒng)開銷大，需要多幀的存儲空間以及訪問帶寬，二是運動區(qū)域會出現(xiàn)“拖尾”現(xiàn)象。為減少系統(tǒng)開銷，多圖像平均的一種常用的運算形式是迭代運算，迭代運算使用降噪后的結(jié)果做參考，只需存儲一幀，就能近似的達到多幀的效果。為了避免“拖尾”，通常采用運動檢測技術(shù)對視頻序列中運動區(qū)域和靜止區(qū)域加以區(qū)分，對于靜止區(qū)域做深度迭代運算從而達到大幅降噪的目的，而對于運動區(qū)域只是稍做迭代或是不做迭代以避免“拖尾”。視頻圖像中局部區(qū)域運動情況不盡相同，經(jīng)過上述降噪后各區(qū)域噪聲消減的程度也不盡相同，運動區(qū)域通常比靜止區(qū)域有更大的噪聲殘余，需要進一步使用空域降噪來提升圖像的質(zhì)量。
在進行空域降噪時面臨著噪聲級別如何選取的問題，若以靜止區(qū)域做參考，則運動區(qū)域噪聲仍然無法去掉，若以運動區(qū)域做參考，則會導(dǎo)致靜止區(qū)出現(xiàn)過度的模糊?，F(xiàn)有的時域和空域聯(lián)合降噪方法如圖I所示，其主要分為4個部分視頻信號接收，運動檢測，空域降噪和時域降噪。其中運動檢測用于判斷當前點相對于參考點是靜止還是運動，當前點和參考點的對比圖如圖2所示。若結(jié)果是靜止的則進行空域降噪，若是運動的則進行時域降噪，時域和空域降噪的結(jié)果即為最終的降噪輸出結(jié)果。這類降噪方法簡單的將時域和空域降噪算法結(jié)合在一起，但達不到全局最優(yōu)的效果，尤其是在運動物體的尾部會出現(xiàn)明顯的噪點。RGB色彩模式是工業(yè)界的一種顏色標準，是通過對紅(R)、綠(G)、藍(B)三個顏色通道的變化以及它們相互之間的疊加來得到各式各樣的 顏色的，RGB即是代表紅、綠、藍三個通道的顏色，是目前運用最廣的顏色系統(tǒng)之一。Bayer色彩模式被廣泛應(yīng)用于CXD和CMOS攝像頭。它允許從一個單獨平面中得到彩色圖像對像素輸出的RGB分量由該像素的1、2或者4鄰域中具有相同顏色的點插值得至lj。Bayer模式可以通過向左或向上平移一個像素點來進行一些修改。YUV是被歐洲電視系統(tǒng)所采用的一種顏色編碼方法(屬于PAL)，是PAL和SECAM模擬彩色電視制式采用的顏色空間。RGB色彩模式經(jīng)過矩陣變換電路得到亮度信號Y和兩個色差信號R-Y (即U)、B-Y (即V)，最后發(fā)送端將亮度和色差三個信號分別進行編碼，用同一信道發(fā)送出去。這種色彩的表示方法就是YUV色彩模式。采用YUV色彩模式的重要性是它的亮度信號Y和色度信號U、V是分離的。

發(fā)明內(nèi)容
本發(fā)明的目的是克服了上述現(xiàn)有技術(shù)中的缺點，提供一種將時域降噪和空域降噪組合應(yīng)用，即能夠獲得更好的降噪效果，又能夠有效減少降噪所需的系統(tǒng)開銷，降低系統(tǒng)成本，且結(jié)構(gòu)簡單，應(yīng)用范圍廣泛的時域與空域結(jié)合的視頻降噪裝置及方法。為了實現(xiàn)上述的目的，本發(fā)明的時域與空域結(jié)合的視頻降噪裝置具有如下構(gòu)成其包括時域降噪模塊、平滑系數(shù)存儲模塊、參考幀存儲模塊和空域降噪模塊。其中，時域降噪模塊用于從外部圖像傳感器獲得的視頻圖像數(shù)據(jù)，并參考前一幀圖像的平滑系數(shù)和時域降噪結(jié)果，對當前幀圖像進行處理，輸出當前幀的平滑系數(shù)和時域降噪結(jié)果;平滑系數(shù)存儲模塊連接于所述的時域降噪模塊，用于存儲所述的時域降噪模塊輸出的當前幀平滑系數(shù)，并向所述的時域降噪模塊提供前一幀平滑系數(shù)；參考幀存儲模塊連接于所述的時域降噪模塊，用于存儲所述的時域降噪模塊輸出的當前幀時域降噪結(jié)果，并向所述的時域降噪模塊提供前一幀時域降噪結(jié)果作為參考幀；空域降噪模塊連接于所述的時域降噪模塊，根據(jù)所述的當前幀平滑系數(shù)對當前幀時域降噪結(jié)果進行空域降噪，得到降噪后的圖像數(shù)據(jù)。該時域與空域結(jié)合的視頻降噪裝置中，所述的時域降噪模塊包括噪聲方差估計單元、運動強度計算單元、時域噪聲方差調(diào)整單元、時域濾波權(quán)值計算單元、平滑系數(shù)計算單元和時域濾波計算單元。其中，
噪聲方差估計單元，連接于所述的外部圖像傳感器，用于根據(jù)下式計算當前輸入視頻圖像數(shù)據(jù)的噪聲方差O2:O 2=(kXG+o) XL+n,其中，L為當前點所在區(qū)域的平均亮度，k、o和n為傳感器噪聲特性參數(shù)，G為圖像信號增益；
運動強度計算單元，分別連接所述的外部圖像傳感器和參考幀存儲模塊，用于從所述的外部圖像傳感器獲得當前幀，并從所述的參考幀存儲模塊獲得參考幀，通過計算當前點及鄰域的像素值相對于參考點及鄰域的像素值之間的差異值得到當前點的運動強度值；時域噪聲方差調(diào)整單元，分別連接于所述的噪聲方差估計單元和所述的平滑系數(shù)存儲模塊，用于通過下式計算當前點和參考點噪聲方差累加值=(l + Oxc7」，其中，為時域噪聲方差調(diào)整單元輸出結(jié)果，O 2為當前點噪聲方差值，C為參考點對應(yīng)的平滑系數(shù)值；時域濾波權(quán)值計算單元，分別連接所述的運動強度計算單元、時域噪聲方差調(diào)整單元和所述的平滑系數(shù)存儲模塊，用于根據(jù)所述的運動強度值、時域噪聲方差和參考幀的
平滑系數(shù)計算時域濾波的權(quán)值《，并當時域濾波的權(quán)值《小于時，將時域濾波的權(quán)值
1 + C
調(diào)整為爿，其中C表示參考點的平滑系數(shù)；
I I (平滑系數(shù)計算單元，分別連接所述的時域濾波權(quán)值計算單元和平滑系數(shù)存儲模塊，用于根據(jù)時域濾波的權(quán)值以及參考點的平滑系數(shù)通過下式計算當前點時域濾波后的平滑系數(shù)Cn Cn=Clri X (I - ) 2+1 X 2其中，Clri為對應(yīng)參考點的平滑系數(shù)，w為時域濾波的權(quán)值，并將獲得的當前點時域濾波后的平滑系數(shù)Cn分別發(fā)送至所述的空域降噪模塊和平滑系數(shù)存儲模塊；時域濾波計算單元，分別連接所述的外部圖像傳感器、時域濾波權(quán)值計算單元和參考幀存儲模塊，用于根據(jù)時域濾波權(quán)值《對當前點和參考點通過下式進行加權(quán)平均Pout= XPin+(I-Co) XPref其中Pin為當前點的值,Pref為參考點的值，w為當前點權(quán)值，Pout為時域濾波的結(jié)果，并將時域濾波的結(jié)果Prat分別發(fā)送至所述的空域降噪模塊和參考幀存儲模塊。該時域與空域結(jié)合的視頻降噪裝置中，所述的空域降噪模塊包括空域噪聲方差調(diào)整單元和空域降噪計算單元?？沼蛟肼暦讲钫{(diào)整單元，分別連接所述的平滑系數(shù)計算單元和噪聲方差估計單元，用于根據(jù)平滑系數(shù)和噪聲方差通過下式計算空域濾波的噪聲方差(T；patiul^(T2xCn其中，0 2為原始輸入的噪聲方差，Cn為時域濾波后的平滑系數(shù)，為調(diào)整后的空域噪聲方差；空域降噪計算單元，分別連接所述的空域噪聲方差調(diào)整單元和所述的時域濾波計算單元，用于根據(jù)空域噪聲方差對時域濾波的結(jié)果局部調(diào)整降噪強度，并輸出最終降噪后的圖像數(shù)據(jù)。該時域與空域結(jié)合的視頻降噪裝置中，所述的裝置還包括平滑系數(shù)壓縮單元和平滑系數(shù)解壓單元，所述的時域降噪模塊的當前幀平滑系數(shù)輸出端通過所述的平滑系數(shù)壓縮單元連接所述的平滑系數(shù)存儲模塊的輸入端，該平滑系數(shù)存儲模塊的輸出端通過所述的平滑系數(shù)解壓單元連接所述的時域降噪模塊的前一幀平滑系數(shù)輸入端。該時域與空域結(jié)合的視頻降噪裝置中，所述的外部圖像傳感器獲得的視頻圖像數(shù)據(jù)為Bayer格式圖像，所述的裝置還包括內(nèi)插 模塊，所述的內(nèi)插模塊的Bayer格式圖像輸入端連接所述的空域降噪模塊的輸出端，該內(nèi)插模塊的RGB格式圖像輸出端為該裝置降噪后的圖像數(shù)據(jù)的輸出端。該時域與空域結(jié)合的視頻降噪裝置中，所述的外部圖像傳感器獲得的視頻圖像數(shù)據(jù)為Bayer格式圖像，所述的裝置還包括內(nèi)插模塊，所述的內(nèi)插模塊的Bayer格式圖像輸入端連接所述的時域降噪模塊的輸出端，該內(nèi)插模塊的RGB格式圖像輸出端連接所述的空域降噪模塊的輸入端。本發(fā)明還提供一種利用所述的裝置實現(xiàn)時域與空域結(jié)合的視頻降噪的方法，該方法包括以下步驟(I)所述的時域降噪模塊從外部圖像傳感器接收到視頻圖像數(shù)據(jù)；(2)所述的時域降噪模塊根據(jù)當前點及其鄰域的平均亮度，并結(jié)合傳感器噪聲特性參數(shù)以及圖像信號增益計算噪聲方差；(3)所述的時域降噪模塊根據(jù)當前點及其鄰域相對于參考塊的差異大小計算當前點運動強度；(4)所述的時域降噪模塊根據(jù)運動強度和噪聲方差以及參考幀的平滑系數(shù)計算當前點的加權(quán)系數(shù)；(5)所述的時域降噪模塊根據(jù)加權(quán)系數(shù)以及參考點平滑系數(shù)計算當前點時域濾波后的平滑系數(shù)，并將其發(fā)送至所述的平滑系數(shù)存儲模塊和空域降噪模塊；(6)所述的時域降噪模塊根據(jù)當前點和參考點以及加權(quán)系數(shù)獲得當前幀的時域濾波的結(jié)果，并將該時域濾波的結(jié)果發(fā)送至所述的參考幀存儲模塊和空域降噪模塊；(7)所述的空域降噪模塊根據(jù)平滑系數(shù)和噪聲強度計算空域濾波的噪聲方差；(8)所述的空域降噪模塊根據(jù)實際噪聲方差對時域濾波輸出圖像進行空域濾波，獲得降噪后的圖像數(shù)據(jù)。該實現(xiàn)時域與空域結(jié)合的視頻降噪的方法中，所述的時域降噪模塊包括噪聲方差估計單元、運動強度計算單元、時域噪聲方差調(diào)整單元、時域濾波權(quán)值計算單元、平滑系數(shù)計算單元和時域濾波計算單元，所述的時域降噪模塊根據(jù)當前點及其鄰域的平均亮度，并結(jié)合傳感器噪聲特性參數(shù)以及圖像信號增益計算噪聲方差，具體為所述的噪聲方差估計單元根據(jù)下式計算當前輸入視頻圖像數(shù)據(jù)的噪聲方差O2 :O 2=(kXG+o) XL+n,其中，L為當前點所在區(qū)域的平均亮度，k、o和n為傳感器噪聲特性參數(shù)，G為圖像信號增益。該實現(xiàn)時域與空域結(jié)合的視頻降噪的方法中，所述的時域降噪模塊根據(jù)當前點及其鄰域相對于參考塊的差異大小計算當前點運動強度，具體為所述的運動強度計算單元通過計算當前點及鄰域的像素值相對于參考點及鄰域的像素值之間的差異值得到當前點的運動強度值。該實現(xiàn)時域與空域結(jié)合的視頻 降噪的方法中，所述的步驟(4)具體包括以下步驟(41)所述的時域噪聲方差調(diào)整單元通過下式計算當前點和參考點噪聲方差累加值^empemt= (I +C)xa\其中,Cd,-_,為時域噪聲方差調(diào)整單元輸出結(jié)果，O 2為當前點噪聲方差值，C為參考點對應(yīng)的平滑系數(shù)值；(42)所述的時域濾波權(quán)值計算單元，分別連接所述的運動強度計算單元、時域噪聲方差調(diào)整單元和所述的平滑系數(shù)存儲模塊，用于根據(jù)所述的運動強度值、時域噪聲方差
和參考幀的平滑系數(shù)計算時域濾波的權(quán)值《，并當時域濾波的權(quán)值《小于時，將時域濾波的權(quán)值《調(diào)整為其中C表示參考點的平滑系數(shù)。
I十(該實現(xiàn)時域與空域結(jié)合的視頻降噪的方法中，所述的時域降噪模塊根據(jù)加權(quán)系數(shù)以及參考點平滑系數(shù)計算當前點時域濾波后的平滑系數(shù)，具體為所述的平滑系數(shù)計算單元根據(jù)時域濾波的權(quán)值以及參考點的平滑系數(shù)通過下式計算當前點時域濾波后的平滑系數(shù)Cn Cn=Clri X (I - ) 2+1 X 2其中，Clri為對應(yīng)參考點的平滑系數(shù)，(0為時域濾波的權(quán)值。該實現(xiàn)時域與空域結(jié)合的視頻降噪的方法中，所述的時域降噪模塊根據(jù)當前點和參考點以及加權(quán)系數(shù)獲得當前幀的時域濾波的結(jié)果，具體為所述的時域濾波計算單元根據(jù)時域濾波權(quán)值《對當前點和參考點通過下式進行加權(quán)平均Pout= XPin+(I-Co) XPref其中Pin為當前點的值,Pref為參考點的值，w為當前點權(quán)值，Pout為時域濾波的結(jié)果。該實現(xiàn)時域與空域結(jié)合的視頻降噪的方法中，所述的空域降噪模塊包括空域噪聲方差調(diào)整單元和空域降噪計算單元，所述的空域降噪模塊根據(jù)平滑系數(shù)和噪聲強度計算空域濾波的噪聲方差，具體為所述的空域噪聲方差調(diào)整單元根據(jù)平滑系數(shù)和噪聲方差并通過下式計算空域濾波的噪聲方差=O-2XC11其中，O 2為原始輸入的噪聲方差，Cn為時域濾波后的平滑系數(shù)，為調(diào)整后的
空域噪聲方差。
該實現(xiàn)時域與空域結(jié)合的視頻降噪的方法中，所述的空域降噪模塊根據(jù)實際噪聲方差對時域濾波輸出圖像進行空域濾波，獲得降噪后的圖像數(shù)據(jù)，具體為所述的空域降噪計算單元根據(jù)空域噪聲方差對時域濾波的結(jié)果局部調(diào)整降噪強度，并輸出最終降噪后的圖像數(shù)據(jù)。采用了該發(fā)明的時域與空域結(jié)合的視頻降噪裝置及方法，其裝置包括時域降噪模塊、平滑系數(shù)存儲模塊、參考幀存儲模塊和空域降噪模塊。其中的時域降噪模塊能根據(jù)當前點及其鄰域的平均亮度，并結(jié)合傳感器噪聲特性參數(shù)以及圖像信號增益計算噪聲方差，根據(jù)當前點及其鄰域相對于參考塊的差異大小計算當前點運動強度；根據(jù)運動強度和噪聲方差以及參考幀的平滑系數(shù)計算當前點的加權(quán)系數(shù)；再根據(jù)加權(quán)系數(shù)以及參考點平滑系數(shù)計算當前點時域濾波后的平滑系數(shù)，并將其發(fā)送至所述的平滑系數(shù)存儲模塊和空域降噪模塊；根據(jù)當前點和參考點以及加權(quán)系數(shù)獲得當前幀的時域濾波的結(jié)果，并將該時域濾波的結(jié)果發(fā)送至所述的參考幀存儲模塊和空域降噪模 塊；進而利用空域降噪模塊根據(jù)平滑系數(shù)和噪聲強度計算空域濾波的噪聲方差；最終根據(jù)實際噪聲方差對時域濾波輸出圖像進行空域濾波，獲得降噪后的圖像數(shù)據(jù)。從而實現(xiàn)將時域降噪和空域降噪組合應(yīng)用，相較于現(xiàn)有技術(shù)，本發(fā)明的方法能夠獲得更好的降噪效果，又能夠有效減少降噪所需的系統(tǒng)開銷，降低系統(tǒng)成本，且本發(fā)明的時域與空域結(jié)合的視頻降噪裝置的結(jié)構(gòu)簡單，降噪方法的應(yīng)用方式簡便，應(yīng)用范圍也較為廣泛。


圖I為現(xiàn)有技術(shù)中的時域空域聯(lián)合降噪方法的示意圖。圖2為本發(fā)明中當前點和參考點比較的示意圖。圖3為本發(fā)明的時域與空域結(jié)合的視頻降噪裝置的結(jié)構(gòu)示意圖。圖4為本發(fā)明的實現(xiàn)時域與空域結(jié)合的視頻降噪的方法的步驟流程圖。圖5為本發(fā)明的時域與空域結(jié)合的視頻降噪裝置在實際應(yīng)用中的總體結(jié)構(gòu)示意圖。圖6為本發(fā)明的實現(xiàn)時域與空域結(jié)合的視頻降噪的方法在實際應(yīng)用中的流程示意圖。圖7為添加了對平滑系數(shù)進行壓縮和解壓的處理單元的時域與空域結(jié)合的視頻降噪裝置的結(jié)構(gòu)示意圖。圖8本發(fā)明的時域降噪和空域降噪都在Bayer格式圖像進行處理裝置的結(jié)構(gòu)示意圖。圖9本發(fā)明的時域降噪在Bayer格式圖像上進行，而空域降噪都在RGB格式的圖像進行的處理裝置的結(jié)構(gòu)示意圖。
具體實施例方式為了能夠更清楚地理解本發(fā)明的技術(shù)頁面，特舉以下實施例詳細說明。請參閱圖3所示，為本發(fā)明的時域與空域結(jié)合的視頻降噪裝置的結(jié)構(gòu)示意圖。在一種實施方式中，該時域與空域結(jié)合的視頻降噪裝置包括時域降噪模塊、平滑系數(shù)存儲模塊、參考幀存儲模塊和空域降噪模塊。
其中的時域降噪模塊用于從外部圖像傳感器獲得的視頻圖像數(shù)據(jù)，并參考前一幀圖像的平滑系數(shù)和時域降噪結(jié)果，對當前幀圖像進行處理，輸出當前幀的平滑系數(shù)和時域降噪結(jié)果；平滑系數(shù)存儲模塊連接于所述的時域降噪模塊，用于存儲所述的時域降噪模塊輸出的當前幀平滑系數(shù)，并向所述的時域降噪模塊提供前一幀平滑系數(shù)；參考幀存儲模塊連接于所述的時域降噪模塊，用于存儲所述的時域降噪模塊輸出的當前幀時域降噪結(jié)果，并向所述的時域降噪模塊提供前一幀時域降噪結(jié)果作為參考幀；而空域降噪模塊則連接于所述的時域降噪模塊，根據(jù)所述的當前幀平滑系數(shù)對當前幀時域降噪結(jié)果進行空域降噪，得到降噪后的圖像數(shù)據(jù)。利用該實施方式所述的裝置實現(xiàn)時域與空域結(jié)合的視頻降噪的方法，如圖4所示，包括以下步驟(I)所述的時域降噪模塊從外部圖像傳感器接 收到視頻圖像數(shù)據(jù)；(2)所述的時域降噪模塊根據(jù)當前點及其鄰域的平均亮度，并結(jié)合傳感器噪聲特性參數(shù)以及圖像信號增益計算噪聲方差；(3)所述的時域降噪模塊根據(jù)當前點及其鄰域相對于參考塊的差異大小計算當前點運動強度；(4)所述的時域降噪模塊根據(jù)運動強度和噪聲方差以及參考幀的平滑系數(shù)計算當前點的加權(quán)系數(shù)；(5)所述的時域降噪模塊根據(jù)加權(quán)系數(shù)以及參考點平滑系數(shù)計算當前點時域濾波后的平滑系數(shù)，并將其發(fā)送至所述的平滑系數(shù)存儲模塊和空域降噪模塊；(6)所述的時域降噪模塊根據(jù)當前點和參考點以及加權(quán)系數(shù)獲得當前幀的時域濾波的結(jié)果，并將該時域濾波的結(jié)果發(fā)送至所述的參考幀存儲模塊和空域降噪模塊；(7)所述的空域降噪模塊根據(jù)平滑系數(shù)和噪聲強度計算空域濾波的噪聲方差；(8)所述的空域降噪模塊根據(jù)實際噪聲方差對時域濾波輸出圖像進行空域濾波，獲得降噪后的圖像數(shù)據(jù)。在一種較優(yōu)選的實施方式中，所述的時域降噪模塊包括噪聲方差估計單元、運動強度計算單元、時域噪聲方差調(diào)整單元、時域濾波權(quán)值計算單元、平滑系數(shù)計算單元和時域濾波計算單元。在利用該較優(yōu)選的實施方式所述的裝置實現(xiàn)時域與空域結(jié)合的視頻降噪的方法中，所述的步驟(2)，具體為所述的噪聲方差估計單元根據(jù)下式計算當前輸入視頻圖像數(shù)據(jù)的噪聲方差O2:O 2=(kXG+o) XL+n,其中，L為當前點所在區(qū)域的平均亮度，k、o和n為傳感器噪聲特性參數(shù)，G為圖像
信號增益。所述的步驟(3)具體為所述的運動強度計算單元通過計算當前點及鄰域的像素值相對于參考點及鄰域的像素值之間的差異值得到當前點的運動強度值。所述的步驟(4)具體包括以下步驟(41)所述的時域噪聲方差調(diào)整單元通過下式計算當前點和參考點噪聲方差累加值=(1 + (') X ￠7%
其中，為時域噪聲方差調(diào)整單元輸出結(jié)果，O 2為當前點噪聲方差值，C為參考點對應(yīng)的平滑系數(shù)值；(42)所述的時域濾波權(quán)值計算單元，分別連接所述的運動強度計算單元、時域噪聲方差調(diào)整單元和所述的平滑系數(shù)存儲模塊，用于根據(jù)所述的運動強度值、時域噪聲方差
和參考幀的平滑系數(shù)計算時域濾波的權(quán)值《，并當時域濾波的權(quán)值《小于A時，將時域
濾波的權(quán)值《調(diào)整為7^，其中C表示參考點的平滑系數(shù)。步驟(5)中所述的時域降噪模塊根據(jù)加權(quán)系數(shù)以及參考點平滑系數(shù)計算當前點時域濾波后的平滑系數(shù)，具體為所述的平滑系數(shù)計算單元根據(jù)時域濾波的權(quán)值以及參考點的平滑系數(shù)通過下式計算當前點時域濾波后的平滑系數(shù)Cn Cn=Cn^1X (l- )2+lX Co2其中，Clri為對應(yīng)參考點的平滑系數(shù)，(0為時域濾波的權(quán)值。且步驟(6)中所述的時域降噪模塊根據(jù)當前點和參考點以及加權(quán)系數(shù)獲得當前幀的時域濾波的結(jié)果，具體為所述的時域濾波計算單元根據(jù)時域濾波權(quán)值《對當前點和參考點通過下式進行加權(quán)平均Pout= W X Pin+(I-W ) X Pref其中Pin為當前點的值,Praf為參考點的值，《為當前點權(quán)值,Prat為時域濾波的結(jié)果。在一種進一步優(yōu)選的實施方式中，所述的空域降噪模塊包括空域噪聲方差調(diào)整單元和空域降噪計算單元，所述的步驟(7)具體為所述的空域噪聲方差調(diào)整單元根據(jù)平滑系數(shù)和噪聲方差并通過下式計算空域濾波的噪聲方差=cr2xr 其中，O 2為原始輸入的噪聲方差，Cn為時域濾波后的平滑系數(shù)，為調(diào)整后的
空域噪聲方差。且所述的步驟(8)具體為所述的空域降噪計算單元根據(jù)空域噪聲方差對時域濾波的結(jié)果局部調(diào)整降噪強度，并輸出最終降噪后的圖像數(shù)據(jù)。在一種更進一步優(yōu)選的實施方式中，所述的裝置還包括平滑系數(shù)壓縮單元和平滑系數(shù)解壓單元，所述的時域降噪模塊的當前幀平滑系數(shù)輸出端通過所述的平滑系數(shù)壓縮單元連接所述的平滑系數(shù)存儲模塊的輸入端，該平滑系數(shù)存儲模塊的輸出端通過所述的平滑系數(shù)解壓單元連接所述的時域降噪模塊的前一幀平滑系數(shù)輸入端。相應(yīng)的，步驟(5)中從所述的平滑系數(shù)存儲模塊讀取前一幀的平滑系數(shù)與將當前幀的平滑系數(shù)寫入所述的平滑系數(shù)存儲模塊都對應(yīng)地添加了壓縮與解壓的步驟。在一種更優(yōu)選的實施方式中，所述的外部圖像傳感器獲得的視頻圖像數(shù)據(jù)為Bayer格式圖像，所述的裝置還包括內(nèi)插模塊。該內(nèi)插模塊可以選擇設(shè)置于空域降噪模塊之后，則內(nèi)插模塊的Bayer格式圖像輸入端連接所述的空域降噪模塊的輸出端，該內(nèi)插模塊的RGB格式圖像輸出端為該裝置降噪后的圖像數(shù)據(jù)的輸出端。該內(nèi)插模塊也可以選擇設(shè)置于所述的時域降噪模塊和空域降噪模塊之間，則該內(nèi)插模塊的Bayer格式圖像輸入端連接所述的時域降噪模塊的輸出端，該內(nèi)插模塊的RGB格式圖像輸出端連接所述的空域降噪模塊的輸入端。在實際應(yīng)用中，本發(fā)明的裝置與方法實現(xiàn)時域和空域聯(lián)合降噪后輸出的圖像各部分噪聲消減的幅度一致，無論是運動還是靜止區(qū)域或是運動物體邊緣都能得到同等強度的降噪。為了實現(xiàn)這一效果，本發(fā)明引入了“平滑系數(shù)”相關(guān)的處理，“平滑系數(shù)”表示時域降噪后圖像中每個像素點噪聲方差相對于原始輸入的噪聲方差的比，平滑系數(shù)的取值范圍是
，該值越小說明噪聲殘余也越小。本發(fā)明的裝置的總體結(jié)構(gòu)如圖5所示，共分為有9個單元參考幀及其平滑系數(shù)存儲單元、噪聲方差估計單元、運動強度計算單元、時域噪聲方差調(diào)整單元、時域濾波權(quán)值計算單元、平滑系數(shù)計算單元、時域濾波計算單元、空域噪聲方差調(diào)整單元和空域降噪計算單元。各單元的具體功能及單元間的連接關(guān)系如下所述單元301、參考幀及其平滑系數(shù)存儲單元用于存 儲參考幀和平滑系數(shù)，參考幀的類型可以是其它輸入幀的數(shù)據(jù)可以是時域濾波的輸出結(jié)果也可以是二者的結(jié)合，圖中給出的是時域濾波的結(jié)果做參考幀的情況，在時域濾波計算時需用到參考幀的數(shù)據(jù)，時域濾波的輸出結(jié)果用于更新參考幀的數(shù)據(jù)。與參考幀的數(shù)據(jù)對應(yīng)的是平滑系數(shù)，平滑系數(shù)記錄參考幀的每個像素點噪聲相對于原始輸入的比例，在時域噪聲方差調(diào)整、時域濾波權(quán)值計算和平滑系數(shù)計算時都需使用所存儲的平滑系數(shù)，平滑系數(shù)計算單元的輸出結(jié)果用于平滑系數(shù)的更新。單元302、噪聲方差估計單元用于計算當前輸入數(shù)據(jù)的噪聲方差，噪聲方差是噪聲大小的度量值，一般來說噪聲越大其方差也越大，時域和空域噪聲方差調(diào)整單元以該噪聲方差為基準進行相應(yīng)的計算得到是域噪聲方差和空域噪聲方差。噪聲方差估計單元充分利用圖像傳感器的噪聲特性計算圖像內(nèi)每個像素點的噪聲方差，通過對圖像傳感器的噪聲進行分析發(fā)現(xiàn)圖像傳感器的噪聲近似為泊松分布，而且噪聲的強度和傳感器的動態(tài)范圍、靈敏度、光照以及圖像信號的增益有關(guān)。對于一個傳感器來說其動態(tài)范圍和靈敏度是內(nèi)在的且固定不變的，圖像之間噪聲強度的變化僅受光照和系統(tǒng)增益的影響，而對于一幀圖像來說增益也是相同的，所以圖像內(nèi)局部噪聲大小的變化僅依賴于局部光照強度，而局部光照的強度可以根據(jù)局部圖像的亮度、系統(tǒng)增益、曝光時間以及傳感器光電轉(zhuǎn)換效率反推出來，而局部圖像的亮度可以用局部像素點的平均值近似替代。總的來說，局部噪聲方差可通過當前點及鄰域的像素值(簡稱為“當前塊”)、圖像傳感器的噪聲特性參數(shù)和圖像信號的增益計算得到。首先對“當前塊”內(nèi)的像素進行加權(quán)平均得到當前點所在區(qū)域的平均亮度值，然后以平均亮度值并結(jié)合噪聲特性參數(shù)和系統(tǒng)增益計算點前點的噪聲方差。單元303、運動強度計算單元用于計算當前點相對于參考點的運動強度值，值越大說明運動越劇烈，時域濾波權(quán)值計算單元利用該運動強度值計算時域濾波權(quán)值。運動強度的計算需使用當前點及鄰域的像素值(當前塊)以及參考點及鄰域的像素值(參考塊)，如圖2所示，通過計算“當前塊”相對于“參考塊”的差異值得到當前點的運動強度值，差異值的計算有多種方法，例如絕對差和，絕對平方差和以及加權(quán)平均絕對差。單元304、時域噪聲方差調(diào)整單元用于計算當前點和參考點噪聲方差累加值，其中當前點的噪聲方差為噪聲方差計算的結(jié)果，而參考點的噪聲方差在此基礎(chǔ)上乘以一個平滑系數(shù)，具體計算的方法如下式所示CrLp職,=(丨+ Oxn:，其中0 2為當前點噪聲方差值，C為參考點對應(yīng)的平滑系數(shù)值，為時域噪聲方差調(diào)整單元輸出結(jié)果，該值將提供給時域濾波權(quán)值計算單元使用。單元305、時域濾波權(quán)值計算單元根據(jù)運動強度值、時域噪聲方差和參考幀的平滑系數(shù)計算時域濾波的權(quán)值，該值將提供給平滑系數(shù)計算單元和時域濾波計算單元使用。首先計算“絕對運動強度”，這里將運動強度值除以時域噪聲方差所得到的值稱為“絕對運動強度”，“絕對運動強度”越小，在時域濾波時分配給當前點的權(quán)值也越小，反之，分配給當前點的權(quán)值也越大。實現(xiàn)時可根據(jù)實際需求建立一個“絕對運動強度”與權(quán)值的映射函數(shù)，如果噪聲方差跨度過大可對噪聲方差分級，針對不同級別的噪聲方差建立不同的映射函數(shù)，以提高整體時域降噪的性能，建立映射函數(shù)的約束是避免運動“拖尾”的同時盡可能提高靜止區(qū)域時域降噪強度。另外，由于參考點的局部噪聲消減幅度不一樣，僅使用上述“權(quán)值”做時域降噪還不能達到最優(yōu)的效果，還需要對該“權(quán)值”做調(diào)整以保證時域濾波后噪聲最快的
消減，調(diào)整的方法是當“權(quán)值”小于
權(quán)利要求
1.一種時域與空域結(jié)合的視頻降噪裝置，其特征在于，所述的裝置包括 時域降噪模塊，用于從外部圖像傳感器獲得的視頻圖像數(shù)據(jù)，并參考前ー幀圖像的平滑系數(shù)和時域降噪結(jié)果，對當前幀圖像進行處理，輸出當前幀的平滑系數(shù)和時域降噪結(jié)果; 平滑系數(shù)存儲模塊，連接于所述的時域降噪模塊，用于存儲所述的時域降噪模塊輸出的當前幀平滑系數(shù)，并向所述的時域降噪模塊提供前ー幀平滑系數(shù)； 參考幀存儲模塊，連接于所述的時域降噪模塊，用于存儲所述的時域降噪模塊輸出的當前幀時域降噪結(jié)果，并向所述的時域降噪模塊提供前一幀時域降噪結(jié)果作為參考幀；空域降噪模塊，連接于所述的時域降噪模塊，根據(jù)所述的當前幀平滑系數(shù)對當前幀時域降噪結(jié)果進行空域降噪，得到降噪后的圖像數(shù)據(jù)。
2.根據(jù)權(quán)利要求I所述的時域與空域結(jié)合的視頻降噪裝置，其特征在于，所述的時域降噪模塊包括 噪聲方差估計單元，連接于所述的外部圖像傳感器，用于根據(jù)下式計算當前輸入視頻圖像數(shù)據(jù)的噪聲方差O2:02=(kXG+o) XL+n, 其中，L為當前點所在區(qū)域的平均亮度，k、o和n為傳感器噪聲特性參數(shù)，G為圖像信號増益； 運動強度計算單元，分別連接所述的外部圖像傳感器和參考幀存儲模塊，用于從所述的外部圖像傳感器獲得當前幀，并從所述的參考幀存儲模塊獲得參考幀，通過計算當前點及鄰域的像素值相對于參考點及鄰域的像素值之間的差異值得到當前點的運動強度值；時域噪聲方差調(diào)整單元，分別連接于所述的噪聲方差估計單元和所述的平滑系數(shù)存儲模塊，用于通過下式計算當前點和參考點噪聲方差累加值
3.根據(jù)權(quán)利要求2所述的時域與空域結(jié)合的視頻降噪裝置，其特征在于，所述的空域降噪模塊包括 空域噪聲方差調(diào)整單元，分別連接所述的平滑系數(shù)計算單元和噪聲方差估計單元，用于根據(jù)平滑系數(shù)和噪聲方差通過下式計算空域濾波的噪聲方差σ =^2XQ 其中，σ 2為原始輸入的噪聲方差，Cn為時域濾波后的平滑系數(shù)，為調(diào)整后的空域噪聲方差； 空域降噪計算單元，分別連接所述的空域噪聲方差調(diào)整單元和所述的時域濾波計算單元，用于根據(jù)空域噪聲方差對時域濾波的結(jié)果局部調(diào)整降噪強度，并輸出最終降噪后的圖像數(shù)據(jù)。
4.根據(jù)權(quán)利要求I所述的時域與空域結(jié)合的視頻降噪裝置，其特征在于，所述的裝置還包括平滑系數(shù)壓縮單元和平滑系數(shù)解壓單元，所述的時域降噪模塊的當前幀平滑系數(shù)輸出端通過所述的平滑系數(shù)壓縮單元連接所述的平滑系數(shù)存儲模塊的輸入端，該平滑系數(shù)存儲模塊的輸出端通過所述的平滑系數(shù)解壓單元連接所述的時域降噪模塊的前一幀平滑系數(shù)輸入端。
5.根據(jù)權(quán)利要求I至4中任一項所述的時域與空域結(jié)合的視頻降噪裝置，其特征在于，所述的外部圖像傳感器獲得的視頻圖像數(shù)據(jù)為Bayer格式圖像，所述的裝置還包括內(nèi)插模塊，所述的內(nèi)插模塊的Bayer格式圖像輸入端連接所述的空域降噪模塊的輸出端，該內(nèi)插模塊的RGB格式圖像輸出端為該裝置降噪后的圖像數(shù)據(jù)的輸出端。
6.根據(jù)權(quán)利要求I至4中任一項所述的時域與空域結(jié)合的視頻降噪裝置，其特征在于，所述的外部圖像傳感器獲得的視頻圖像數(shù)據(jù)為Bayer格式圖像，所述的裝置還包括內(nèi)插模塊，所述的內(nèi)插模塊的Bayer格式圖像輸入端連接所述的時域降噪模塊的輸出端，該內(nèi)插模塊的RGB格式圖像輸出端連接所述的空域降噪模塊的輸入端。
7.一種利用權(quán)利要求I所述的裝置實現(xiàn)時域與空域結(jié)合的視頻降噪的方法，其特征在于，所述的方法包括以下步驟 (1)所述的時域降噪模塊從外部圖像傳感器接收到視頻圖像數(shù)據(jù)； (2)所述的時域降噪模塊根據(jù)當前點及其鄰域的平均亮度，并結(jié)合傳感器噪聲特性參數(shù)以及圖像信號增益計算噪聲方差； (3)所述的時域降噪模塊根據(jù)當前點及其鄰域相對于參考塊的差異大小計算當前點運動強度； (4)所述的時域降噪模塊根據(jù)運動強度和噪聲方差以及參考幀的平滑系數(shù)計算當前點的加權(quán)系數(shù)； (5)所述的時域降噪模塊根據(jù)加權(quán)系數(shù)以及參考點平滑系數(shù)計算當前點時域濾波后的平滑系數(shù)，并將其發(fā)送至所述的平滑系數(shù)存儲模塊和空域降噪模塊； (6)所述的時域降噪模塊根據(jù)當前點和參考點以及加權(quán)系數(shù)獲得當前幀的時域濾波的結(jié)果，并將該時域濾波的結(jié)果發(fā)送至所述的參考幀存儲模塊和空域降噪模塊； (7)所述的空域降噪模塊根據(jù)平滑系數(shù)和噪聲強度計算空域濾波的噪聲方差； (8)所述的空域降噪模塊根據(jù)實際噪聲方差對時域濾波輸出圖像進行空域濾波，獲得降噪后的圖像數(shù)據(jù)。
8.根據(jù)權(quán)利要求7所述的實現(xiàn)時域與空域結(jié)合的視頻降噪的方法，其特征在于，所述的時域降噪模塊包括噪聲方差估計單元、運動強度計算單元、時域噪聲方差調(diào)整單元、時域濾波權(quán)值計算單元、平滑系數(shù)計算單元和時域濾波計算單元，所述的時域降噪模塊根據(jù)當前點及其鄰域的平均亮度，并結(jié)合傳感器噪聲特性參數(shù)以及圖像信號増益計算噪聲方差，具體為所述的噪聲方差估計單元根據(jù)下式計算當前輸入視頻圖像數(shù)據(jù)的噪聲方差020 2=(kXG+o) XL+n, 其中，L為當前點所在區(qū)域的平均亮度，k、o和n為傳感器噪聲特性參數(shù)，G為圖像信號増益。
9.根據(jù)權(quán)利要求8所述的實現(xiàn)時域與空域結(jié)合的視頻降噪的方法，其特征在于，所述的時域降噪模塊根據(jù)當前點及其鄰域相對于參考塊的差異大小計算當前點運動強度，具體為 所述的運動強度計算單元通過計算當前點及鄰域的像素值相對于參考點及鄰域的像素值之間的差異值得到當前點的運動強度值。
10.根據(jù)權(quán)利要求9所述的實現(xiàn)時域與空域結(jié)合的視頻降噪的方法，其特征在于，所述的步驟(4)具體包括以下步驟 (41)所述的時域噪聲方差調(diào)整單元通過下式計算當前點和參考點噪聲方差累加值 ijIemperal = (I + C") X CT， 其中,び〗—為時域噪聲方差調(diào)整單元輸出結(jié)果，O 2為當前點噪聲方差值，C為參考點對應(yīng)的平滑系數(shù)值； (42)所述的時域濾波權(quán)值計算単元，分別連接所述的運動強度計算單元、時域噪聲方差調(diào)整單元和所述的平滑系數(shù)存儲模塊，用于根據(jù)所述的運動強度值、時域噪聲方差和參考幀的平滑系數(shù)計算時域濾波的權(quán)值《，并當時域濾波的權(quán)值《小于時，將時域濾波的權(quán)值《調(diào)整為み，其中C表示參考點的平滑系數(shù)。1+ C
11.根據(jù)權(quán)利要求10所述的實現(xiàn)時域與空域結(jié)合的視頻降噪的方法，其特征在于，所述的時域降噪模塊根據(jù)加權(quán)系數(shù)以及參考點平滑系數(shù)計算當前點時域濾波后的平滑系數(shù)，具體為 所述的平滑系數(shù)計算單元根據(jù)時域濾波的權(quán)值以及參考點的平滑系數(shù)通過下式計算當前點時域濾波后的平滑系數(shù)Cn Cn=ClriX (1_ )2+1X CO2 其中，Cn_i為對應(yīng)參考點的平滑系數(shù)，CO為時域濾波的權(quán)值。
12.根據(jù)權(quán)利要求11所述的實現(xiàn)時域與空域結(jié)合的視頻降噪的方法，其特征在于，所述的時域降噪模塊根據(jù)當前點和參考點以及加權(quán)系數(shù)獲得當前幀的時域濾波的結(jié)果，具體為 所述的時域濾波計算單元根據(jù)時域濾波權(quán)值ω對當前點和參考點通過下式進行加權(quán)平均P0Ut= ω XPin+(I-ω) XPref 其中Pin為當前點的值，Pref為參考點的值，ω為當前點權(quán)值，Pout為時域濾波的結(jié)果。
13.根據(jù)權(quán)利要求7所述的實現(xiàn)時域與空域結(jié)合的視頻降噪的方法，其特征在于，所述的空域降噪模塊包括空域噪聲方差調(diào)整單元和空域降噪計算單元，所述的空域降噪模塊根據(jù)平滑系數(shù)和噪聲強度計算空域濾波的噪聲方差，具體為 所述的空域噪聲方差調(diào)整單元根據(jù)平滑系數(shù)和噪聲方差并通過下式計算空域濾波的噪聲方差 0rSpatud = σ XQ 其中，σ 2為原始輸入的噪聲方差，Cn為時域濾波后的平滑系數(shù),^<“為調(diào)整后的空域噪聲方差。
14.根據(jù)權(quán)利要求13所述的實現(xiàn)時域與空域結(jié)合的視頻降噪的方法，其特征在于，所述的空域降噪模塊根據(jù)實際噪聲方差對時域濾波輸出圖像進行空域濾波，獲得降噪后的圖像數(shù)據(jù)，具體為 所述的空域降噪計算單元根據(jù)空域噪聲方差對時域濾波的結(jié)果局部調(diào)整降噪強度，并輸出最終降噪后的圖像數(shù)據(jù)。
全文摘要
本發(fā)明涉及一種時域與空域結(jié)合的視頻降噪裝置及方法，屬于視頻圖像處理技術(shù)領(lǐng)域。該裝置包括時域降噪模塊、平滑系數(shù)存儲模塊、參考幀存儲模塊和空域降噪模塊。該方法中，時域降噪模塊根據(jù)當前點和參考點計算噪聲方差、當前點運動強度、當前點的加權(quán)系數(shù)；再計算當前點平滑系數(shù)和當前幀的時域濾波的結(jié)果，并分別存儲；進而利用空域降噪模塊進行空域濾波，獲得降噪后的圖像數(shù)據(jù)。從而實現(xiàn)將時域降噪和空域降噪組合應(yīng)用，能夠獲得更好的降噪效果，又能夠有效減少降噪所需的系統(tǒng)開銷，降低系統(tǒng)成本，其降噪裝置結(jié)構(gòu)簡單，降噪方法的應(yīng)用方式簡便，應(yīng)用范圍也較為廣泛。
文檔編號H04N5/357GK102769722SQ20121025201
公開日2012年11月7日 申請日期2012年7月20日 優(yōu)先權(quán)日2012年7月20日
發(fā)明者黨韓兵, 田景軍, 章旭東, 董鵬宇, 陳曉春 申請人:上海富瀚微電子有限公司