專利名稱：用來估計(jì)視頻信號噪聲的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用來估計(jì)視頻信號的噪聲電平的設(shè)備和方法、以及包括上述設(shè)備的降噪系統(tǒng)和編碼系統(tǒng)。
背景技術(shù)：
在編碼前的視頻預(yù)處理中，降噪是一個(gè)重要的因素。它基于遞歸的時(shí)間域?yàn)V波，其中，按照要處理的圖像序列中存在的噪聲電平來調(diào)整遞歸率。
因此，噪聲電平的估計(jì)對于得到對輸入圖像的序列自動地適應(yīng)的濾波系統(tǒng)而言是重要的。
在已知的方法中，在完全沒有運(yùn)動時(shí)且由于它的時(shí)間隨意性，噪聲能通過建立兩個(gè)連續(xù)圖像之間的逐個(gè)象素的差來檢測。然后，圖像中差值的平均構(gòu)成了噪聲電平的表示。
當(dāng)存在運(yùn)動的時(shí)候，利用由運(yùn)動估計(jì)器所提供的矢量場，能夠通過計(jì)算當(dāng)前圖像和在前圖像之間的差來估計(jì)噪聲電平，其中，在前圖像被重構(gòu)來匹配當(dāng)前圖像。
然而，這樣的方法有很多的缺點(diǎn)—由于在圖像序列中有運(yùn)動，運(yùn)動矢量會產(chǎn)生估計(jì)誤差，引起圖像的不良重構(gòu)和因此噪聲電平的過高估計(jì)，—運(yùn)動矢量和因此在圖像之間的差(位移幀差DFD)，在圖像周邊的周圍是不一致的，這也會篡改噪聲電平的估計(jì)，—噪聲電平的估計(jì)基于噪聲的隨機(jī)性，這并不總是可靠的。

發(fā)明內(nèi)容
本發(fā)明涉及一個(gè)通過顯著地減少上面解釋的負(fù)面效果，使用在源圖像和濾波圖像之間逐個(gè)象素差的魯棒噪聲估計(jì)設(shè)備，其中濾波圖像被延遲一個(gè)圖像和被運(yùn)動補(bǔ)償以便獲得噪聲的良好估計(jì)。
為了這個(gè)目的，發(fā)明提出一個(gè)用來估計(jì)一個(gè)表示圖像序列的視頻信號的噪聲電平的設(shè)備，包括—運(yùn)動補(bǔ)償內(nèi)插裝置，—一個(gè)遞歸濾波器，被設(shè)計(jì)在第一輸入端來接收通過運(yùn)動補(bǔ)償內(nèi)插裝置運(yùn)動補(bǔ)償?shù)倪f歸濾波器的輸出且在第二輸入端接收視頻信號，—計(jì)算在視頻信號和通過內(nèi)插裝置運(yùn)動補(bǔ)償?shù)倪f歸濾波器的輸出之間差的裝置。
依照本發(fā)明，所述設(shè)備包括按照所述的差和定界這個(gè)差的一個(gè)最大閾值來估計(jì)視頻信號噪聲電平的裝置。
這個(gè)設(shè)備能使視頻序列中的噪聲電平的估計(jì)魯棒并且改善它將連接的降噪器的性能。
更可取的，估計(jì)噪聲電平的裝置包括，為視頻信號中一幅圖像的每一個(gè)象素，以所述的閾值(Sc)，比較所述象素值和運(yùn)動補(bǔ)償遞歸濾波后的所述象素值之間差的裝置。
這樣能為每一個(gè)象素得到更好的噪聲電平估計(jì)且因此避免了在幀上產(chǎn)生模糊效果的整體的估計(jì)。
有利地，所述設(shè)備包括—為每個(gè)圖像定義一個(gè)由位于圖像中心的多個(gè)象素組成的一個(gè)工作窗口的裝置，—為其中的象素值和運(yùn)動補(bǔ)償遞歸濾波后的象素值之間的差小于所述閾值的工作窗口中的每一個(gè)象素計(jì)算所述差的裝置，—通過用累積的差的數(shù)目去除先前累積的差，來計(jì)算一個(gè)平均噪聲電平(σavg)的裝置。
這樣的一個(gè)工作窗口，通過實(shí)現(xiàn)從圖像邊緣周圍的潛在運(yùn)動矢量計(jì)算誤差的獨(dú)立，能夠得到更好的噪聲電平估計(jì)。
根據(jù)優(yōu)選實(shí)施例，所述設(shè)備包括—測量圖像的圖像間和幀內(nèi)的相關(guān)性的裝置，—依照平均噪聲電平和圖像間與內(nèi)幀的相關(guān)性，計(jì)算每一幀的總噪聲電平的裝置，—依照所述幀的總噪聲電平和所述象素的亮度，計(jì)算所述幀的每個(gè)象素的局部噪聲電平的裝置。
有利地，所述的閾值關(guān)聯(lián)所述遞歸濾波器的濾波參數(shù)。
本發(fā)明也涉及一種估計(jì)一個(gè)表示圖像序列的視頻信號的噪聲電平的方法，包括下列步驟—運(yùn)動補(bǔ)償內(nèi)插，—遞歸濾波，設(shè)計(jì)為在遞歸濾波器的第一輸入端接收所述通過內(nèi)插裝置運(yùn)動補(bǔ)償?shù)倪f歸濾波器的輸出且在遞歸濾波器的第二輸入端接收視頻信號，—計(jì)算在視頻信號和通過內(nèi)插裝置運(yùn)動補(bǔ)償?shù)牡倪f歸濾波器的輸出之間差的方法。
依照本發(fā)明，該方法包括一個(gè)依照所述差和定界這個(gè)差的一個(gè)最大的閾值來估計(jì)視頻信號噪聲電平的步驟。


參考所附附圖，使用優(yōu)選實(shí)施例和實(shí)施方式的例子，而決不是限制，本發(fā)明將更好地被理解和說明，其中—附圖1表示了依照本發(fā)明的實(shí)施例，與噪聲估計(jì)設(shè)備相連的降噪設(shè)備，—附圖2表示能被用在降噪設(shè)備中的遞歸濾波器的實(shí)施例。
具體實(shí)施例方式
如圖1所示，噪聲估計(jì)設(shè)備能被用來獲得視頻序列10e(x，y，t)上的噪聲的魯棒估計(jì)。噪聲的良好估計(jì)能被用來顯著地改善一個(gè)降噪器的性能。為了這個(gè)目的，降噪器包括遞歸濾波器1。在附圖2中，示出了可用的有效遞歸濾波器的例子。
為了獲得有效的操作，涉及遞歸濾波器的降噪方法考慮到視頻序列的圖像有很強(qiáng)的時(shí)間相關(guān)性。結(jié)果，運(yùn)動和位移(displacement)的概念對使有效的降噪更好而言是很重要的。這就是為什么遞歸濾波器1被連接到運(yùn)動補(bǔ)償內(nèi)插裝置2上的原因。
用來估計(jì)輸入的視頻序列10的噪聲電平的設(shè)備3，提供指定為σ的估計(jì)噪聲電平11到遞歸濾波器1。
噪聲估計(jì)設(shè)備3包括比較裝置4，所述比較裝置4接收能夠與遞歸濾波器1的濾波嚴(yán)格性關(guān)聯(lián)的閾值Sc，作為輸入。
舉例來說，如果假定有5位置濾波調(diào)整指針(cursor_position)，Sc能夠被賦予下面的值Sc＝16+cursor_position，16是任意設(shè)定的值。
比較裝置4也能夠接收差分器9的輸出，作為輸入。差分器9計(jì)算輸入的視頻信號10和運(yùn)動補(bǔ)償濾波后的輸出11r(x，y，t)之間的差。
差分器9逐個(gè)象素地計(jì)算兩個(gè)信號之間的差。
比較裝置4將從差分器9接收的差與閾值Sc進(jìn)行比較。
如果ε＝e(x，y，t)-r(x，y，t)＜Sc，則比較裝置4傳輸ε到確認(rèn)裝置5。
否則，如果ε＝e(x，y，t)-r(x，y，t)≥Sc，則比較裝置4傳輸值“0”到確認(rèn)裝置5。
比較裝置4因此能被用來消除與要消除的噪聲無關(guān)的顯著值的誤差。
確認(rèn)裝置僅被用來工作在圖像的窗口上，來改善設(shè)備的魯棒性。由于視頻信號表示為圖像，運(yùn)動矢量在位于圖像邊緣的象素上經(jīng)常呈現(xiàn)不理想。因此，在位于圖像中間的圖像的窗口上工作是有利的，從而位于周圍邊緣的象素能夠被忽略掉。
累積模塊6累積通過確認(rèn)模塊5保留的所有的差。
模塊7用累積的差的數(shù)目去除模塊6所累積的差之和，來計(jì)算首先被估計(jì)的平均噪聲電平σarg，。結(jié)果提供了Avgdif 然后，獲得的該第一噪聲電平適合于目標(biāo)應(yīng)用，并且依賴于濾波嚴(yán)格性。
σavg=avgdif2×cursor_positionAvgdif+curosr_position]]>那么能夠看出，指針(cursor)值增加得越大，估計(jì)的噪聲電平增加得越多，并且遞歸濾波器變得更加嚴(yán)格。
有利地是，在這個(gè)實(shí)施例中σavg是被限制在0.5和15.5之間。
σavg的值按照幀來改變，但是從一幀到下一幀的變化被限制在+0.5或-2。因此迅速減少σavg的值是可能的，但是迅速增加σavg的值是非常困難的，以便避免振蕩效應(yīng)。
因此模塊7在輸出端產(chǎn)生被傳輸?shù)娇偧訖?quán)模塊8a的估計(jì)噪聲電平。
為了校正通過模塊7產(chǎn)生的平均噪聲電平σavg，后者通過模塊8a來加權(quán)，然后，模塊8a生成總噪聲電平σglob。這對具有很強(qiáng)運(yùn)動和/或高清晰度的視頻信號來說是非常有利的。
在圖像水平上模塊8a提供了一個(gè)總的加權(quán)。
畫面間的相關(guān)性(corrinter)與當(dāng)前幀T和在前幀T-2之間的全部逐個(gè)象素的差的和被該幀內(nèi)象素的數(shù)目除的結(jié)果相等。
幀內(nèi)相關(guān)性(corrintra)與幀的當(dāng)前行和幀的在前行之間的全部逐個(gè)象素的差的和被該幀內(nèi)象素的數(shù)目除的結(jié)果相等。
因此，依照下面公式，依照在當(dāng)前被降噪設(shè)備1處理的圖像序列上測量的圖像間和圖像內(nèi)的相關(guān)性來加權(quán)σavg，，σglob=σavgK]]>以舉例說明的形式，系數(shù)K能夠通過下面的方法計(jì)算出來corr=corrintra+corrinter2]]>如果Corr的值是位于兩個(gè)閾值S1和S2之間，那么，K就在值“1”和“2”之間線性地變化。
相對于兩類視頻序列來選擇閾值S1和S2首先，沒有顯著運(yùn)動并且是低分辨率的簡單視頻序列在這個(gè)序列上計(jì)算的“Corr”的值賦予S1的值。
其次，具有很強(qiáng)運(yùn)動并且是高分辨率的復(fù)雜視頻序列在這個(gè)序列上計(jì)算的“Corr”的值賦予S2的值。
考慮下述示例如果Corr＜S1，那么K＝1；如果Corr＞S2，那么K＝2這給出—對于簡單序列σglob＝σavg。
—對于復(fù)雜序列σglob＝σavg/2。
—對于位于這兩個(gè)極端的視頻序列，σglob＝被“corr”的值加權(quán)的σglob。
局部加權(quán)模塊8b接收σglob和亮度閾值luminance_threshold，作為輸入，以便為每一個(gè)象素建立局部加權(quán)。實(shí)際上，通過采用關(guān)于人眼對低亮度區(qū)域中的惡化的低敏感性的人類視覺系統(tǒng)的特性，有利地，局部地在每個(gè)象素的水平上建立噪聲電平的加權(quán)。
如果當(dāng)前象素的亮度值小于閾值luminance_threshold，有關(guān)這個(gè)象素的估計(jì)的噪聲電平就會被提高到更高的值。
作為示例，例如，在幀上估計(jì)的噪聲電平σglob能對每個(gè)象素，局部地被1.25加權(quán)，以獲得所述象素的局部噪聲電平σ。
附圖2表示一個(gè)能被使用在如附圖1中所述的降噪設(shè)備中的典型的遞歸濾波器。
如附圖2所示的一個(gè)降噪濾波器1能被用來校正與運(yùn)動補(bǔ)償遞歸濾波設(shè)備中的運(yùn)動補(bǔ)償關(guān)聯(lián)的不理想性。
這樣的裝置能被用來分離由于運(yùn)動補(bǔ)償和實(shí)際噪聲導(dǎo)致的誤差。
所述設(shè)備1包括遞歸濾波器模塊13和多路復(fù)用器21。
在一定視頻序列中包含的噪聲能降低如MPEG類型的視頻編碼器的有效性，即使是合理的編碼率，也導(dǎo)致很差的觀看質(zhì)量。
遞歸濾波器13優(yōu)選地具有象素級的顆粒性。
視頻信號10代表圖像且由一定數(shù)量的象素組成。每一個(gè)圖像以隔行模式被編碼且圖像由兩幀組成。圖像的每個(gè)象素被裝置13濾波。
在減法器19的輸入端收到視頻信號10。減法器19在它的第二輸入端，接收多路復(fù)用器21的輸出m(x，y，t)。
遞歸濾波器13在輸入端，接收通過如附圖1所示的噪聲估計(jì)器建立的幀的幀噪聲電平12 sigma(σ)的估計(jì)。
噪聲電平(σ)被用來計(jì)算遞歸系數(shù)α。
遞歸系數(shù)α依照幀中的噪聲電平σ和在輸入的視頻信號e(x，y，t)與多路復(fù)用器21的輸出m(x，y，t)或差分器19的輸出之間計(jì)算的誤差18，來對濾波效率進(jìn)行加權(quán)。
α=ϵ4×σ]]>且α∈
系數(shù)α被傳輸?shù)匠朔ㄆ?0。
因此，在乘法器20的輸出端獲得了下面的式子αxε＝α(e(x，y，t)-m(x，y，t))在加法器15的輸出端獲得了f(x，y，t)，其中f(x，y，t)＝αxe(x，y，t)+(1-α)xm(x，y，t)信號f(x，y，t)在經(jīng)歷一幀f(x，y，t-1)延時(shí)后，被傳輸?shù)竭\(yùn)動補(bǔ)償內(nèi)插裝置2。內(nèi)插裝置2根據(jù)f(x，y，t-1)和當(dāng)前幀的位移矢量(dx，dy)生成運(yùn)動補(bǔ)償輸出r(x，y，t)。
然后運(yùn)動補(bǔ)償輸出r(x，y，t)被傳輸?shù)揭粋€(gè)差分器22。差分器22也接收視頻信號e(x，y，t)，作為輸入。差分器22產(chǎn)生信號g(x，y，t)作為輸出g(x，y，t)＝e(x，y，t)-r(x，y，t)如附圖1所示的比較器23接收g(x，y，t)和噪聲電平閾值Se作為輸入。
閾值Se取決于能連接到本發(fā)明的降噪設(shè)備的最終應(yīng)用。它表示降噪器的效果和降噪濾波器的輸出端的人為噪聲的出現(xiàn)之間的平衡。
在第一實(shí)施例中，閾值Se能線性地關(guān)聯(lián)濾波嚴(yán)格度。
例如，如果假設(shè)有一個(gè)5位置濾波調(diào)整指針(cursor_position)，下面的值能被指定給SeSe＝16+cursor_position，16是任意設(shè)定的值。
在第二實(shí)施例中，Se能自適應(yīng)噪聲電平σ且為每個(gè)幀改變它。
依照本發(fā)明的第三實(shí)施例，閾值能動態(tài)且局部地被修正并自適應(yīng)正在處理的圖像的特征區(qū)。因此，對于運(yùn)動區(qū)域，人為失真的風(fēng)險(xiǎn)增加了，降低閾值Se的值是優(yōu)選的。對于低運(yùn)動區(qū)域，閾值可能會更高。
多路復(fù)用器21根據(jù)閾值Se，將視頻信號e(x，y，t)或運(yùn)動補(bǔ)償輸出r(x，y，t)指向遞歸濾波器的一個(gè)輸入端。
多路復(fù)用器能被用來在實(shí)際噪聲和補(bǔ)償誤差之間分類。
比較器23生成對多路復(fù)用器21的控制信號。
如果g(x，y，t)＞Se，那么送到多路復(fù)用器21的控制信號告訴多路復(fù)用器21發(fā)送視頻信號e(x，y，t)到遞歸濾波器13。
如果g(x，y，t)＜Se，那么送到多路復(fù)用器21的控制信號告訴多路復(fù)用器21發(fā)送運(yùn)動補(bǔ)償輸出r(x，y，t)到遞歸濾波器13。
權(quán)利要求
1.用來估計(jì)表示圖像序列的視頻信號的噪聲電平的設(shè)備，包括—運(yùn)動補(bǔ)償內(nèi)插裝置(2)，—遞歸濾波器(1)，設(shè)計(jì)為在第一輸入端接收通過運(yùn)動補(bǔ)償內(nèi)插裝置(2)運(yùn)動補(bǔ)償?shù)倪f歸濾波器的輸出(r(x，y，t))，且在第二輸入端接收視頻信號(10)，—裝置(9)，計(jì)算在視頻信號(10)和通過運(yùn)動補(bǔ)償內(nèi)插裝置(2)運(yùn)動補(bǔ)償?shù)倪f歸濾波器(1)的輸出(r(x，y，t))之間的差。其特征在于所述設(shè)備包括裝置(4)，依照所述差和定界這個(gè)差的最大閾值(Sc)，來估計(jì)視頻信號(10)的噪聲電平(σ)。
2.如權(quán)利要求1的設(shè)備，其特征在于估計(jì)噪聲電平的裝置包括裝置(4)，對在視頻信號(10)的圖像的每一個(gè)象素，在所述閾值(Sc)處，比較所述象素值和所述運(yùn)動補(bǔ)償遞歸濾波后的象素值之間的差。
3.依照權(quán)利要求1或2中任一個(gè)所述的設(shè)備，其特征在于所述設(shè)備包括—裝置(5)，為每一個(gè)圖像定義由位于圖像中心的多個(gè)象素組成的工作窗口，—裝置(6)，對其中像素值和運(yùn)動補(bǔ)償遞歸濾波后的像素值之間的差小于所述閾值的工作窗口中的每一個(gè)象素，累積所述差，—裝置(7)，通過用累積的差的數(shù)目去除先前累積的差，來計(jì)算平均噪聲系數(shù)(σavg)。
4.如權(quán)利要求3所述的設(shè)備，其特征在于所述設(shè)備包括—測量每一個(gè)圖像的圖像間和幀內(nèi)的相關(guān)性的裝置，—根據(jù)平均噪聲電平(σavg)和圖像間與幀內(nèi)的相關(guān)性，為每一幀計(jì)算總噪聲電平(σglob)的裝置(8a)，—依照所述幀的總噪聲電平(σglob)和所述象素的亮度(luminance_threshold)，為所述幀的每一個(gè)象素計(jì)算出局部噪聲電平的裝置(8b)。
5.根據(jù)前述權(quán)利要求任一個(gè)所述的設(shè)備，其特征在于所述閾值(Sc)與所述遞歸濾波器(1)的濾波參數(shù)相關(guān)聯(lián)。
6.一種用來估計(jì)表示圖像序列的視頻信號的噪聲電平的方法，包括如下步驟—運(yùn)動補(bǔ)償內(nèi)插，—遞歸濾波，設(shè)計(jì)為在遞歸濾波器的第一輸入端接收通過內(nèi)插裝置運(yùn)動補(bǔ)償?shù)乃鲞f歸濾波器的輸出，并且在遞歸濾波器的第二輸入端接收視頻信號，—計(jì)算在視頻信號和通過內(nèi)插裝置運(yùn)動補(bǔ)償?shù)倪f歸濾波器的輸出之間差，其特征在于所述方法包括依照所述差和定界這個(gè)差的最大閾值，來估計(jì)視頻信號的噪聲電平的步驟。
7.一種包括依照權(quán)利要求1-5任一個(gè)所述的噪聲電平估計(jì)設(shè)備的、用于降低視頻信號噪聲的設(shè)備。
全文摘要
本發(fā)明涉及用來估計(jì)表示圖像序列的一個(gè)視頻信號的噪聲電平的一種設(shè)備和方法。所述設(shè)備包括－運(yùn)動補(bǔ)償內(nèi)插裝置(2)，－遞歸濾波器(1)，設(shè)計(jì)為在遞歸濾波器的第一輸入端接收所述通過運(yùn)動補(bǔ)償內(nèi)插裝置(2)運(yùn)動補(bǔ)償?shù)倪f歸濾波器的輸出(r(x，y，t))且在第二輸入端接收視頻信號(10)，－裝置(9)，計(jì)算在視頻信號(10)和通過運(yùn)動補(bǔ)償內(nèi)插裝置(2)運(yùn)動補(bǔ)償?shù)倪f歸濾波器(1)的輸出(r(x，y，t))之間差。依照本發(fā)明，所述設(shè)備包括依照所述差和定界這個(gè)差的一個(gè)最大閾值(Sc)來估計(jì)視頻信號(10)的噪聲電平(σ)的裝置(4)。應(yīng)用于視頻壓縮前的降噪設(shè)備。
文檔編號H04N17/00GK1607834SQ200410095150
公開日2005年4月20日 申請日期2004年10月14日 優(yōu)先權(quán)日2003年10月14日
發(fā)明者讓-伊夫·巴博諾, 雅基·迪厄默加爾, 奧利維耶·勒默爾 申請人:法國耐思訊公司