專利名稱：視頻信號(hào)處理的噪聲估計(jì)與降低裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻信號(hào)處理的降噪方法與壓縮裝置，尤其是用在視頻信號(hào)編碼過程中的降噪設(shè)備。
在當(dāng)前圖像可以從其相鄰圖像預(yù)測(cè)出來時(shí)，對(duì)視頻信號(hào)壓縮的預(yù)編碼效果最好。但當(dāng)原始圖像中含有噪聲時(shí)，準(zhǔn)確預(yù)測(cè)變得非常困難，而且或者是壓縮效率降低，或者再現(xiàn)圖像質(zhì)量下降，或者兩者兼而有之。因此在視頻信號(hào)被壓縮以前必須降低其中的噪聲信號(hào)。


圖1表示了現(xiàn)有的圖像預(yù)編碼系統(tǒng)，其中單元12-22形成了實(shí)際的預(yù)編碼，我們將稍后進(jìn)行描述。在這類現(xiàn)有技術(shù)系統(tǒng)中，典型的降噪裝置包括在視頻信號(hào)被壓縮前對(duì)其進(jìn)行預(yù)處理的遞歸降噪濾波器。之所以采用場(chǎng)或幀遞歸濾波器，是因?yàn)樗鼈兡苡行У亟档突顒?dòng)信號(hào)帶寬內(nèi)的噪聲分量。然而為了取得顯著的降噪效果而不給活動(dòng)圖像帶來不必要的拖尾現(xiàn)象，這樣的濾波器還需有很強(qiáng)的記憶能力和需要相當(dāng)完善的處理電路。
本發(fā)明的目的是為預(yù)編碼系統(tǒng)提供一種需要最少額外硬件的高效噪聲濾除裝置和方法。
本發(fā)明降低視頻信號(hào)處理和壓縮中的噪聲。視頻信號(hào)壓縮裝置包括用于產(chǎn)生表示視頻信號(hào)當(dāng)前幀的實(shí)際像素值與預(yù)測(cè)值之間的像素差值的余數(shù)的電路。一個(gè)非線性處理器對(duì)較小幅度余數(shù)比對(duì)較大幅度余數(shù)衰減更大，并負(fù)責(zé)噪聲估計(jì)。處理過的余數(shù)變換后作為壓縮過的視頻數(shù)據(jù)輸出。
本發(fā)明的特征之一是公開了非線性處理在噪聲估計(jì)和噪聲衰減及降低圖像失真中的作用。
本發(fā)明的另一特征是公開了噪聲估計(jì)功能。
圖1是現(xiàn)有技術(shù)的DPCM壓縮裝置的方框圖；圖2和圖4是包含了本發(fā)明的降噪裝置的另一種壓縮裝置的方框圖；圖3和圖5是圖2和圖4的降噪裝置中用到的非線性傳輸函數(shù)的示意圖；圖6和圖7是圖2和圖4的降噪裝置中用到的本發(fā)明的非線性傳輸函數(shù)的示意圖。
下面對(duì)本發(fā)明進(jìn)行說明，類似于國(guó)際標(biāo)準(zhǔn)組織中的活動(dòng)圖像專家組(MPEG)所建立的標(biāo)準(zhǔn)中描述的視頻壓縮。在MPEG協(xié)議中，運(yùn)動(dòng)補(bǔ)償預(yù)編碼既需要幀內(nèi)編碼又要幀間編碼。即每個(gè)第N幀是幀內(nèi)編碼的，以確保有規(guī)律的短暫信號(hào)刷新。根據(jù)前面的幀以后續(xù)幀中的壓縮數(shù)據(jù)對(duì)插入幀進(jìn)行幀間編碼或DPCM預(yù)編碼。幀內(nèi)編碼的幀被稱為I幀，幀間編碼的幀根據(jù)它們僅是前向預(yù)測(cè)還是前后雙向預(yù)測(cè)而分別被稱為P幀或B幀。預(yù)編碼過程包括把各個(gè)圖像分成小區(qū)域和在相鄰圖像中尋找相同或幾乎相同的圖像區(qū)域。相鄰圖像中區(qū)域的位置和當(dāng)前圖像的區(qū)域與相鄰圖像中對(duì)應(yīng)的相同或幾乎相同的圖像區(qū)域的差值被編碼進(jìn)行傳送。注意到如果對(duì)應(yīng)的區(qū)域?qū)嶋H上是相同的，那么所有的差值為零并且一個(gè)區(qū)域可以簡(jiǎn)單地編碼為一個(gè)識(shí)別對(duì)應(yīng)區(qū)域位置的矢量和一個(gè)表示所有差值為零的代碼。因此已壓縮的相同或幾乎相同的圖像只需很少的碼字就可以實(shí)現(xiàn)。另一方面，如果圖像中含有可估計(jì)的噪聲，則幀與幀之間圖像區(qū)域的相關(guān)性將惡化，伴隨殘余數(shù)據(jù)的增加，以及帶來壓縮碼字的相應(yīng)增加。
在圖1中，例如說攝相機(jī)產(chǎn)生的視頻信號(hào)被送到遞歸降噪單元10，它用來調(diào)節(jié)被壓縮的視頻信號(hào)。該裝置的其余配置都是公知的，因而僅進(jìn)行一般的描述。I幀像素?cái)?shù)據(jù)從降噪單元10通過減法器12不經(jīng)改變被送到編碼器15。編碼器15對(duì)像素?cái)?shù)據(jù)(以8×8的像素塊)進(jìn)行離散余弦變換DCT產(chǎn)生DCT系數(shù)。這些系數(shù)量化后控制數(shù)據(jù)速率并被以預(yù)定序列排序，該預(yù)定序列匯集大多數(shù)賦零值的系數(shù)以進(jìn)行有效的行程編碼。編碼器然后對(duì)系數(shù)進(jìn)行行程和統(tǒng)計(jì)上的編碼。編碼后像素表示數(shù)據(jù)被送到格式器19，根據(jù)選擇的壓縮協(xié)議，比如MPEG2，格式器將指示相應(yīng)塊在一幀中的源位置、編碼類型、(I、P、B)、幀號(hào)及時(shí)標(biāo)等的信息附加上去。從格式器出來的數(shù)據(jù)被送到傳輸處理器20，它將格式化后的數(shù)據(jù)分割成特定位數(shù)的有效負(fù)載包，產(chǎn)生跟蹤對(duì)應(yīng)有效負(fù)載的標(biāo)識(shí)符和同步信息，生成錯(cuò)誤糾正/檢測(cè)碼，將所有后者附在各有效負(fù)載包后形成傳輸包。傳輸包被送到合適的調(diào)制解調(diào)器22上進(jìn)行傳送。
從編碼器15出來的壓縮的I幀被送到解碼器16，它完成與編碼器15相反的功能。壓縮的I幀從解碼器16輸出再現(xiàn)的I幀。解壓后的I幀通過加法器18不加變化地送到緩存器17，其中存有預(yù)壓縮的后續(xù)P幀和B幀。P幀和B幀的預(yù)編碼是類似的，在此僅討論P(yáng)幀的壓縮情況。將當(dāng)前正被壓縮的P圖像幀送到運(yùn)動(dòng)估值器14，在此將該幀分面16×16像素的塊。然后估值器14在前面的I幀或P幀中尋找類似的16×16像素塊，并計(jì)算生成一個(gè)矢量集，它用來表示當(dāng)前幀中的像素塊與被搜索幀中最接近相同的塊在空間標(biāo)系中相互的差別。利用這個(gè)矢量來自緩存器17中對(duì)應(yīng)的解壓幀的相應(yīng)塊送到減法器12，在減法器12中，在逐個(gè)像素的基礎(chǔ)上從正被壓縮的當(dāng)前幀的對(duì)應(yīng)塊減去來自緩存器17的預(yù)測(cè)塊。減法器形成的差或余數(shù)被送到編碼器15，在其中經(jīng)過象I幀像素?cái)?shù)據(jù)一樣的處理。由估值器14生成的矢量被送到格式器19，作為與各個(gè)塊相關(guān)聯(lián)的編碼數(shù)據(jù)的一部分。
壓縮后的P幀在解碼器16中被解碼，然后被送到加法器18。與此同時(shí)根據(jù)其來對(duì)幀作預(yù)測(cè)的圖像幀的相應(yīng)塊在緩存器中被預(yù)測(cè)器13取出作為加法器18的第二路輸入，在加法器中解碼后的余數(shù)或差在逐個(gè)像素基礎(chǔ)上相加以恢復(fù)實(shí)際圖像。在加法器18中恢復(fù)的像素P幀數(shù)據(jù)被存在緩存器17中用來預(yù)編碼/解碼后續(xù)的P幀和B幀。
應(yīng)注意其中非常重要的一點(diǎn)是當(dāng)I幀正被處理時(shí)，預(yù)測(cè)器13向減法器12和加法器18提供零值。這樣輸入的I幀可以不被改變地通過減法器12，從解碼器16出來的解碼后的I幀可以不被改變地通過加法器18。
圖2表示了本發(fā)明的第一實(shí)施例。圖2中的壓縮裝置類似于圖1中的裝置，標(biāo)有同樣數(shù)字的單元完成圖1中相應(yīng)單元的同樣功能。但有兩個(gè)顯著的不同一是增加了非線性單元(NLE)500，二是功能與圖1中單元13稍有不同的單元1333。
非線性單元500連接在減法器12與編碼器15之間。這個(gè)單元僅允許在預(yù)定值之上的信號(hào)值通過。單元500可以是一個(gè)簡(jiǎn)單的除噪(coring)電路，即小于預(yù)定值的所有值都作為零值輸出，而所有大于預(yù)定值的信號(hào)值都減去預(yù)定值，如圖3中所示的分段線性函斷(曲線B)。另外，它也可能是一種更典型的除噪電路的形式，即對(duì)所有小于預(yù)定值的信號(hào)值輸出零值，而對(duì)所有大于預(yù)定值的信號(hào)值不加改變地通過。單元500的另一函數(shù)可是更緩和的曲線，如圖3中曲線A所示。
另外列舉的具備濾除噪聲優(yōu)點(diǎn)的本發(fā)明的可選非線性輸函數(shù)在圖6和圖7中示出。要求非線性單元的傳輸函數(shù)在除噪?yún)^(qū)域(圖6和圖7中的W至-W)以外能提供恒等功能(輸出等于輸入)。同時(shí)也要求非線性單元的傳輸函數(shù)在除噪與非除噪?yún)^(qū)域之間能提供平滑轉(zhuǎn)換。否則可能由于缺少這兩個(gè)除噪特征而導(dǎo)致圖像失真。本發(fā)明中提供這些特征的非線性傳輸函數(shù)是提供如下特征的函數(shù)集(a)在除噪窗以外提供恒等特性；(b)在除噪窗內(nèi)是下凸并上升的函數(shù)。形成所要求的非線性傳輸函數(shù)的函數(shù)集由下式給出f(x)＝x 當(dāng)|x|＞W(wǎng)時(shí)f(x)＝g(x)當(dāng)|x|≤W時(shí)其中g(shù)(x)是x的上升和下凸的函數(shù)(如x2)，且g(W)＝W。
圖6所示的曲線定義如下f(x)＝x 當(dāng)|x|＞W(wǎng)時(shí)，圖6中曲線Af(x)=W(xW)n]]>當(dāng)|x|≤W時(shí)，圖6中曲線B其中n是一個(gè)整數(shù)，用來控制除噪函數(shù)在除噪窗(|x|≤W)內(nèi)的凸度。n值越大，除噪函數(shù)的曲線B在除噪?yún)^(qū)域|x|＜W內(nèi)的凸度越大，并越接近于零。當(dāng)n＝1時(shí)，除噪函數(shù)變?yōu)楹愕群瘮?shù)。
圖7的曲線是所述函數(shù)集的分段線性和凸出的一種典型實(shí)現(xiàn)。圖7的曲線定義如下f(x)＝x 當(dāng)|x|＞W(wǎng)時(shí)，圖7中的曲線Cf(x)＝ax當(dāng)|x|＜T時(shí)，圖7中的曲線Ef(x)＝bx當(dāng)T＜|x|＜W時(shí)，圖7中的曲線D其中a＜b且0＜T＜W。參數(shù)T是控制除噪函數(shù)凸度的閾值。
上述所有函數(shù)都可以通過將它們編程到單元500的存儲(chǔ)器中的相應(yīng)地址位置來實(shí)現(xiàn)，被處理的信號(hào)可以對(duì)這些地址位置進(jìn)行尋址。非線性單元500的存儲(chǔ)器可以用許多不同的傳輸函數(shù)編程，傳輸函數(shù)的選擇是根據(jù)來自預(yù)測(cè)單元1333的控制信號(hào)，稍后將對(duì)其進(jìn)行說明。選擇傳輸函數(shù)的其它方法已經(jīng)被描述過，如在Zdepski等申請(qǐng)的美國(guó)專利5,258,928中就有這方面的說明。另外上述本發(fā)明的非線性函數(shù)集適合在各種廣泛應(yīng)用中用來濾波和降噪，而不僅僅適合于所述視頻編碼器的環(huán)內(nèi)除噪系統(tǒng)。可能的應(yīng)用包括衛(wèi)星、地面和電纜通信或廣播系統(tǒng)，也包括電話。例如，這些函數(shù)可以用于靜態(tài)圖像壓縮、調(diào)制解調(diào)或語音壓縮。
圖2中的壓縮器完成兩類典型的壓縮幀內(nèi)壓縮和幀間壓縮。在后一種類型中單元500的輸入信號(hào)是來自于兩個(gè)獨(dú)立幀的像素差的余數(shù)。而在前一類型中單元500的輸入信號(hào)是未經(jīng)改變的視頻信號(hào)。幀間壓縮的噪聲功率是幀內(nèi)壓縮的根號(hào)2倍，而且其信號(hào)電平比前者小得多。因此，無論信號(hào)中含有多少噪聲，幀內(nèi)視頻信號(hào)的信噪比都遠(yuǎn)大于幀間余數(shù)的信噪比。
考慮到信噪比的不同，幀內(nèi)壓縮與幀間壓縮的非線性函數(shù)應(yīng)不同。例如，在非線性函數(shù)是分段線性除噪的情況下，在其以下幀內(nèi)值被作除噪處理的預(yù)定值將比幀間余數(shù)的大得多。另一方面，由于與余數(shù)相比，幀內(nèi)信號(hào)的信噪比大得多，可使非線性單元讓幀內(nèi)信號(hào)不加改變地通過。根據(jù)P幀間B幀數(shù)量的不同，B幀和P幀預(yù)編碼幀的相對(duì)信噪比也許有顯著的不同。因此，對(duì)于不同類型的預(yù)編碼，單元500可能適于選用不同的非線性函數(shù)。非線性單元的自適應(yīng)控制是由預(yù)測(cè)器1333完成的，它為被編碼的I、P和B幀產(chǎn)生對(duì)應(yīng)的控制信號(hào)。
另外，本發(fā)明人已認(rèn)識(shí)到由于受到許多因素包括操作的改變，例如全景攝影操作的影響，來源于信號(hào)源比如攝像機(jī)的輸入視頻信號(hào)中的噪聲也許會(huì)隨著時(shí)間變化(例如幀至幀)。而且在一幀圖像的各部分內(nèi)輸入信號(hào)中的噪聲也可能由于場(chǎng)景的變化而改變。因此，本發(fā)明人認(rèn)識(shí)到根據(jù)圖像噪聲的估計(jì)來調(diào)整非線性單元的函數(shù)是有益的。后面將對(duì)此詳細(xì)討論。
圖4表示了有利于對(duì)所有類型的幀間和幀內(nèi)壓縮使用一類似的非線性函數(shù)的實(shí)施例。圖4中與圖1有同樣標(biāo)號(hào)的單元結(jié)構(gòu)是相同的，功能也相似。圖4的電路在減法器12與編碼器15之間含有一個(gè)非線性單元50。非線性單元的函數(shù)也許類似于圖5所示(標(biāo)準(zhǔn)的除噪函數(shù))，或者是一個(gè)相對(duì)單元500所描述的函數(shù)。
在幀間壓縮過程中，開關(guān)SW1和SW2處于與圖中所示位置不同的位置上。這種情況下，該系統(tǒng)的配置和操作與圖2所示的幀間編碼系統(tǒng)完全一樣。因此非線性單元50的函數(shù)將根據(jù)幀間編碼的性能期望值來選擇。
對(duì)于幀內(nèi)編碼來說，從解碼器16出來的解碼后的幀內(nèi)信號(hào)需要不被改變地通過加法器18。這可以通過按預(yù)測(cè)單元133的規(guī)定利用開關(guān)SW1在I幀編碼期間傳送零值來實(shí)現(xiàn)。同時(shí)開關(guān)SW2被移動(dòng)到如圖4所示的位置上。
為了使非線性單元對(duì)I幀信號(hào)有好效果，考慮到它們的較高信噪比，在噪聲處理時(shí)，I幀信號(hào)被人工地降低了，在噪聲處理后再恢復(fù)。I幀信號(hào)的降低是通過產(chǎn)生一預(yù)期的I幀并將其送到減法器12實(shí)現(xiàn)的。減法器產(chǎn)生的差值與幀間余數(shù)的大小在同一數(shù)量級(jí)上，因此非線性單元對(duì)它們的處理也是一樣的。然后由預(yù)測(cè)器133提供的預(yù)測(cè)信號(hào)被加回到非線性單元產(chǎn)生的信號(hào)上，將輸入的I幀信號(hào)恢復(fù)到基本上為其原始值。
有好幾種方法可用來產(chǎn)生預(yù)測(cè)的I幀信號(hào)。其中的一種是簡(jiǎn)單地調(diào)節(jié)預(yù)測(cè)器133，以輸出來自緩存器17中解碼后的上一幀信號(hào)(可能不是I幀)的與當(dāng)前I幀并置的像素塊。但是以預(yù)測(cè)P或B幀類似的方式預(yù)測(cè)I幀是一種優(yōu)選的方法，它對(duì)I幀提供更精確的預(yù)測(cè)。應(yīng)注意預(yù)測(cè)需要有提供時(shí)間上隔開的幀中類似像素塊之間的空間對(duì)應(yīng)關(guān)系的運(yùn)動(dòng)矢量。編碼后的I幀通常不包括運(yùn)動(dòng)矢量。但是，由于編碼器含有產(chǎn)生P幀和B幀矢量的運(yùn)動(dòng)矢量發(fā)生裝置，對(duì)該裝置編程使其也產(chǎn)生I幀運(yùn)動(dòng)矢量是一件簡(jiǎn)單的事情。為了降噪這些運(yùn)動(dòng)矢量可在編碼器用于產(chǎn)生預(yù)測(cè)I幀，然后被丟棄，即不包含在編碼后位流中。另一方面，I幀運(yùn)動(dòng)矢量也可以被包含在編碼后位流中，以像MPEG協(xié)議中建議的那樣達(dá)到錯(cuò)誤隱藏的目的。
假定非線性單元50被編程為通過所有幅度大于T值的信號(hào)樣本，T值通常非常小。同時(shí)假定預(yù)測(cè)器提供的信號(hào)為S(n)，輸入的I幀信號(hào)為I(n)。忽略單元50，加到開關(guān)SW2上部觸點(diǎn)的信號(hào)為I(n)-S(n)。這個(gè)信號(hào)作為加法器52的一路輸入，信號(hào)S(n)作為加法器52的另一路輸入。加法器52的輸出信號(hào)為I(n)-S(n)+S(n)＝I(n)。這些值被送到編碼器15，它們與輸入值沒有任何不同。只有那些由減法器12提供的差值在±T之內(nèi)的輸出值I(n)才會(huì)受到非線性單元50的影響。因此如果預(yù)測(cè)器133提供的I幀預(yù)測(cè)值非常精確，即偏差在±T以內(nèi)的話是有益的，在這種情況下，非線性單元50大體上只影響噪聲分量。
前面的論述假定所有的幀都是幀內(nèi)編碼或幀間編碼的。例如，在MPEG標(biāo)準(zhǔn)中，視頻信號(hào)的編碼是在逐個(gè)塊的基礎(chǔ)上，并規(guī)定如果在搜索幀中不能找到接近的塊，就將P幀或B幀中的某些塊以幀內(nèi)編碼方式進(jìn)行編碼。在這些例子中，預(yù)測(cè)器13、133和1333被編程為在逐個(gè)塊的基礎(chǔ)上根據(jù)當(dāng)前處理類型分別切換非線性處理單元15、50和500。因此，在所附權(quán)利要求書中，如果提到根據(jù)幀間處理方式的壓縮幀，應(yīng)理解這些幀中的某些像素塊也可能是幀內(nèi)處理的，該權(quán)利要求也適用于這種混合方式的處理幀。
正如前面所提到的，本發(fā)明人認(rèn)識(shí)到了根據(jù)圖像噪聲估計(jì)來改變非線性單元傳輸函數(shù)的好處。而且對(duì)非線性單元傳輸函數(shù)進(jìn)行有益地改變以使編碼器適應(yīng)在幀間和幀內(nèi)發(fā)生的信噪比變化。這些信噪比的改變可能是諸如攝像機(jī)全景攝影或場(chǎng)景改變的結(jié)果。另外，本發(fā)明已指出了圖像噪聲與在一個(gè)圖像區(qū)域內(nèi)的運(yùn)動(dòng)程度的反比關(guān)系。本發(fā)明也指出了圖像噪聲與一個(gè)圖像區(qū)域內(nèi)的運(yùn)動(dòng)復(fù)雜性之間存在同樣的反比關(guān)系。在例如要求的除噪寬度與圖像運(yùn)動(dòng)程度與復(fù)雜性之間也存在反比關(guān)系。
在圖2的編碼器實(shí)施例中，預(yù)測(cè)單元1333估計(jì)與正被編碼的當(dāng)前像素塊相關(guān)的噪聲。根據(jù)該噪聲估計(jì)，單元1333通過控制信號(hào)調(diào)整單元500中除噪函數(shù)的除噪寬度(如圖6所示)，以過濾來自減法器12的余數(shù)。單元1333以可選的時(shí)間間隔調(diào)整P幀或B幀中正被編碼的像素塊的除噪寬度。但是，單元500不改變經(jīng)過的I幀像素塊。如下所述，噪聲估計(jì)和非線性單元的更新操作都是由單元1333實(shí)現(xiàn)的。剩下的編碼器操作在前面圖2的相關(guān)描述中已有說明。
單元1333檢查運(yùn)動(dòng)估值器14提供的當(dāng)前被編碼的像素塊(當(dāng)前塊)的運(yùn)動(dòng)矢量。當(dāng)這個(gè)運(yùn)動(dòng)矢量大體為零，且當(dāng)前塊的預(yù)測(cè)誤差在預(yù)定閾值以下時(shí)，計(jì)算該噪聲估計(jì)。單元500的非線性單元傳輸函數(shù)根據(jù)該噪聲估計(jì)而變化。通過在運(yùn)動(dòng)矢量大體為零和預(yù)測(cè)誤差很低的情況下計(jì)算該噪聲估值，噪聲估計(jì)的精確性得到改善。這是因?yàn)榕c運(yùn)動(dòng)矢量為零一致的大的場(chǎng)景變化的相關(guān)誤差被減小了。預(yù)測(cè)誤差是按當(dāng)前塊的均方差(MSE)計(jì)算的。例如，在含有N個(gè)像素的宏塊中，其中每一像素都有一個(gè)表示該像素亮度的亮度值(如黑白圖像的灰度級(jí))，MSE值由下式給出MSE=1NΣi=1N(u^i-ui)2]]>其中ui是當(dāng)前塊像素亮度值，i是對(duì)應(yīng)當(dāng)前塊的預(yù)測(cè)塊的像素亮度值。N等于當(dāng)前塊中像素亮度值的數(shù)量，例如在假定16×16像素宏塊的MPEG標(biāo)準(zhǔn)中N＝256。MSE值越小，表示預(yù)測(cè)結(jié)果越好，因?yàn)樗硎绢A(yù)測(cè)值的易變性和猜測(cè)性越小。噪聲估計(jì)σ是在運(yùn)動(dòng)矢量大體為零和預(yù)測(cè)誤差低時(shí)假定MSE值代表了圖像塊的噪聲的情況下得到的。噪聲估計(jì)σ的計(jì)算如下σ=(MSE2)2]]>將一幀中計(jì)算的噪聲估計(jì)σ的值平均以產(chǎn)生一幀的噪聲估計(jì)值e。也可將σ值過濾產(chǎn)生e的濾波及平均后的幀噪聲估計(jì)值。然后按當(dāng)前幀和前一幀的e值的加權(quán)平均計(jì)算用來更新非線性單元500的傳輸函數(shù)的最終噪聲估計(jì)。在優(yōu)選實(shí)施例中非線性單元500函數(shù)以10幀的時(shí)間間隔進(jìn)行更新。但是非線性單元傳輸函數(shù)可以以范圍從許多幀(大于10)到相應(yīng)于各像素塊編碼周期的間隔的可選間隔改變。所選時(shí)間間隔也可以根據(jù)噪聲估計(jì)在預(yù)定范圍內(nèi)的變化自動(dòng)確定。
幀噪聲估計(jì)值的平均是通過下述有限脈沖響應(yīng)(FIR)濾波函數(shù)完成的，以提供總的噪聲估計(jì)值ê，用來更新非線性單元500的傳輸函數(shù)；e^n=Σj=0Nhjen-j]]>ên的求和從0到N值。en-j值表示先前幀的噪聲估計(jì)，j＝N和對(duì)應(yīng)的en N是在當(dāng)前幀之前出現(xiàn)N幀的幀噪聲估計(jì)值，j＝0和對(duì)應(yīng)的en是當(dāng)前幀的噪聲估計(jì)值。特別地，如同在優(yōu)選實(shí)施例中，在僅利用單個(gè)的先前噪聲估計(jì)的情況下，ên給出如下ên＝αen+(1-α)en-1其中α是一個(gè)在優(yōu)選實(shí)施例中大約為0.8的經(jīng)驗(yàn)常數(shù)。
加權(quán)因子hj的值也可以通過對(duì)當(dāng)前噪聲估計(jì)的置信測(cè)量來動(dòng)態(tài)確定和更新。例如，′h′因子可被定義為零值運(yùn)動(dòng)矢量區(qū)域?qū)φ麄€(gè)圖像區(qū)域的函數(shù)，或?yàn)檫\(yùn)動(dòng)矢量值的函數(shù)。
非線性單元500除噪函數(shù)的除噪窗寬度W由下面的等式?jīng)Q定w＝cen+k其中c是一個(gè)值在0和1之間的經(jīng)驗(yàn)確定的固定加權(quán)常數(shù)。常數(shù)k取決于畫面內(nèi)容，并根據(jù)對(duì)編碼器的統(tǒng)計(jì)測(cè)量，包括運(yùn)動(dòng)矢量、相關(guān)因子、復(fù)雜因子等來經(jīng)驗(yàn)地確定。例如，k值可以通過對(duì)視頻數(shù)據(jù)用不同的k值反復(fù)編碼測(cè)試來決定。能給原始的和解碼后的測(cè)試圖像塊在信噪比上帶來最大相關(guān)的k值被編碼器選用。計(jì)算除噪寬度w以優(yōu)化信噪比和使信號(hào)失真最小。
應(yīng)該注意到其它許多獲得噪聲估計(jì)的方法也可以使用。這些方法也許在噪聲估計(jì)的獲得和對(duì)該估計(jì)濾波的方法上會(huì)有所變化。例如，噪聲估計(jì)可以是一個(gè)像素接一個(gè)像素的噪聲估計(jì)，或幀噪聲估計(jì)。在計(jì)算時(shí)噪聲估計(jì)并不一定限于固定大小的像素塊。有許多方法可以用來根據(jù)噪聲估計(jì)改變非線性單元的傳輸函數(shù)。例如，噪聲估計(jì)可以用來在不同的并行傳輸函數(shù)之間進(jìn)行選擇，而不一定是改變單個(gè)的函數(shù)。
另一個(gè)獲得噪聲估計(jì)的方法是以從運(yùn)動(dòng)估值器14獲得最小均方差值作為噪聲指示。在這種方法中，將一幀中像素塊的所獲得最小均方差值作為噪聲估計(jì)。在理想狀態(tài)下，無運(yùn)動(dòng)的像素塊的均方差值是零，因此，最小均方差值表示了像素塊之間來源于噪聲的余數(shù)的失配。所以，該最小均方差值可以作為噪聲估計(jì)。這種方法也可用于其它表示預(yù)測(cè)誤差的指標(biāo)上，而不僅僅是均方差。該噪聲估計(jì)方法可選擇使用其它類型的誤差指標(biāo)，例如平均絕對(duì)誤差(MAE)和絕對(duì)誤差之和(SAE)。而且，為了減小來源于輸入幀中的拙劣運(yùn)動(dòng)估計(jì)的誤差，最小均方差值可以通過許多幀過濾。這可以用定義如下的非線性遞歸類型的濾波器實(shí)現(xiàn)Ln＝αLn-1+(1-α)Mn其中Ln是濾波后噪聲估計(jì)輸出，用來更新非線性單元的傳輸函數(shù)Ln-1是以前的濾波后噪聲估計(jì)輸出Mn當(dāng)前幀的最小均方差值α的值在0到1之間，用來控制濾波器的時(shí)間常數(shù)α＝A當(dāng)(Ln1-Mn)＞0時(shí)α＝B其它相對(duì)以前的值，已降低的噪聲估計(jì)值的計(jì)算置信度大于增加的噪聲估計(jì)值的計(jì)算置信度。這是因?yàn)樵龃笤肼暪烙?jì)值更可能來源于測(cè)量偽差，如場(chǎng)景變化效果等。因而α的值是可調(diào)的。給α賦予值A(chǔ)，形成增大噪聲估計(jì)值更長(zhǎng)(更慢)的濾波時(shí)間常數(shù)。給α賦予值B，形成降低噪聲估計(jì)值的更短(更快)的濾波時(shí)間常數(shù)。值A(chǔ)的典型大小為0.5，值B的典型大小為0.1。除了這兩個(gè)可調(diào)整的濾波時(shí)間常數(shù)外，其它濾波函數(shù)也可以用來優(yōu)化其它圖像條件下的噪聲估計(jì)。
本發(fā)明的原理也適用于使用降噪預(yù)處理器的編碼系統(tǒng)。在這種預(yù)處理器通常使用簡(jiǎn)化的運(yùn)動(dòng)檢測(cè)器，而這會(huì)帶來很大的運(yùn)動(dòng)估計(jì)誤差。這樣的系統(tǒng)特別受益于如前所述的噪聲估計(jì)濾波。
權(quán)利要求
1.用于壓縮含有像素?cái)?shù)據(jù)的圖像表示視頻信號(hào)的設(shè)備，其特征在于用于估計(jì)所述視頻信號(hào)中的噪聲和提供輸出的裝置(1333)；用于產(chǎn)生含有較低幅度和較高幅度分量的余數(shù)的裝置(12，16，18，17，14)，所述余數(shù)表示所述被壓縮的視頻信號(hào)當(dāng)前幀的預(yù)測(cè)像素值和實(shí)際像素值之間的像素差值；耦合到所述產(chǎn)生裝置，對(duì)較低幅度余數(shù)比對(duì)較高幅度余數(shù)衰減大并提供輸出的非線性處理裝置(500)，其中所述非線性處理裝置的傳輸函數(shù)響應(yīng)所述噪聲估計(jì)；以及用于對(duì)所述已處理的余數(shù)進(jìn)行變換并提供壓縮過的視頻數(shù)據(jù)輸出的變換裝置(15)。
2.如權(quán)利要求1所述的設(shè)備，其特征在于所述噪聲估計(jì)是作為像素預(yù)測(cè)誤差的函數(shù)而產(chǎn)生。
3.如權(quán)利要求2所述的設(shè)備，其特征在于所述噪聲估計(jì)是在圖像區(qū)域的運(yùn)動(dòng)實(shí)際上為零時(shí)產(chǎn)生的。
4.如權(quán)利要求1所述的設(shè)備，其特征在于所述傳輸函數(shù)以可變的時(shí)間間隔響應(yīng)所述噪聲估計(jì)。
5.如權(quán)利要求1所述的設(shè)備，其特征在于擁有可變時(shí)間常數(shù)的用于時(shí)間上濾波所述噪聲估計(jì)的濾波器和其中所說非線性處理裝置的所述傳輸函數(shù)響應(yīng)所述時(shí)間濾波后的噪聲估計(jì)。
6.如權(quán)利要求5所述的設(shè)備，其特征在于所述可變時(shí)間常數(shù)濾波器提供一個(gè)用于增大噪聲估計(jì)值的較長(zhǎng)(較慢的)濾波時(shí)間常數(shù)和一個(gè)用于減小噪聲估計(jì)值的較短(較快的)濾波時(shí)間常數(shù)。
7.如權(quán)利要求1所述的設(shè)備，其進(jìn)一步的特征在于空間濾波所述噪聲估計(jì)的濾波器以及其中所述非線性處理裝置的所述傳輸函數(shù)響應(yīng)所述空間濾波后的噪聲估計(jì)。
8.如權(quán)利要求1所述的設(shè)備，其特征在于所述傳輸函數(shù)是一個(gè)帶除噪窗的除噪寬度為w的除噪函數(shù)，w隨所述噪聲估計(jì)而變。
9.如權(quán)利要求1所述的設(shè)備，其特征在于所述傳輸函數(shù)是一個(gè)除噪函數(shù)，所述除噪函數(shù)隨圖像區(qū)域中的運(yùn)動(dòng)而變。
10.如權(quán)利要求9所述的設(shè)備，其特征在于所述設(shè)備處理所述像素?cái)?shù)據(jù)是在逐個(gè)塊的基礎(chǔ)上進(jìn)行的，所述除噪函數(shù)的除噪程度隨像素塊中的運(yùn)動(dòng)而變。
11.如權(quán)利要求9所述的設(shè)備，其特征在于所述設(shè)備處理所述像素?cái)?shù)據(jù)是在逐個(gè)塊的基礎(chǔ)上進(jìn)行的，所述除噪函數(shù)僅作用在相應(yīng)于表示預(yù)定閾值以下的圖像運(yùn)動(dòng)的像素塊的余數(shù)上。
12.如權(quán)利要求1所述的設(shè)備，其特征在于所述噪聲估計(jì)與圖像中某區(qū)域的運(yùn)動(dòng)程度成反比。
13.如權(quán)利要求1所述的設(shè)備，其特征在于所述非線性處理裝置提供了許多可選的傳輸函數(shù)，包括線性傳輸函數(shù)。
14.如權(quán)利要求1所述的設(shè)備，其特征在于所述傳輸函數(shù)是一個(gè)帶有除噪窗的除噪函數(shù)，所述除噪函數(shù)是隨著所說當(dāng)前幀圖像內(nèi)容變化的函數(shù)。
15.如權(quán)利要求1所述的設(shè)備，其特征在于所述傳輸函數(shù)是一個(gè)帶有除噪窗的除噪函數(shù)，所述除噪函數(shù)在所述除噪窗以外實(shí)際上構(gòu)成一個(gè)恒等函數(shù)。
16.如權(quán)利要求1所述的設(shè)備，其特征在于所述傳輸函數(shù)是一個(gè)帶有除噪窗的除噪函數(shù)，所述除噪函數(shù)在所述除噪窗以內(nèi)實(shí)際上構(gòu)成一個(gè)下凸上升函數(shù)。
17.用于濾除信號(hào)中的噪聲的設(shè)備，其特征在于輸入處理器(12)，用于接收和處理所述信號(hào)并提供一個(gè)適合于濾波的輸出；以及非線性處理裝置(500)，與所述輸入處理器耦合用于對(duì)所述處理后的輸出中的較低幅度的分量比較高幅度的分量衰減大并提供濾波后的輸出，其中所述非線性處理裝置的傳輸函數(shù)是帶有除噪窗的除噪函數(shù)集，其實(shí)際上提供(a)在所述除噪窗以外為恒等函數(shù)，其中輸出等于輸入；(b)在所述除噪窗以內(nèi)為下凸的上升函數(shù)。
18.如權(quán)利要求17所述的設(shè)備，其特征在于所述傳輸函數(shù)是從所述除噪函數(shù)集中包含傳輸函數(shù)的多個(gè)除噪函數(shù)中適當(dāng)選出。
19.如權(quán)利要求18所述的設(shè)備，其特征在于所述傳輸函數(shù)是根據(jù)所述視頻信號(hào)的噪聲估計(jì)進(jìn)行選擇的。
20.如權(quán)利要求17所述的設(shè)備，其特征在于所述傳輸函數(shù)是一個(gè)分段線性的傳輸函數(shù)。
21.如權(quán)利要求17所述的裝置，其特征在于所述傳輸函數(shù)(f(x))在所述除噪窗內(nèi)的形式為f(x)=W(xW)n,]]>其中n為整數(shù)。
全文摘要
視頻信號(hào)壓縮設(shè)備提供了用于產(chǎn)生表示視頻信號(hào)當(dāng)前幀的預(yù)測(cè)值與實(shí)際像素值之間的像素差值的余數(shù)的裝置(12，16，17，18，14)。降噪電路，以非線性處理裝置(500)的形式，對(duì)較低幅度的余數(shù)比對(duì)較高幅度的余數(shù)衰減大，并響應(yīng)噪聲估計(jì)(1333)。處理過的余數(shù)經(jīng)過變換(15)成為壓縮的視頻數(shù)據(jù)輸出。本發(fā)明所闡述的非線性處理函數(shù)降低了噪聲，減小了圖像失真。
文檔編號(hào)H04N7/36GK1155814SQ9612189
公開日1997年7月30日 申請(qǐng)日期1996年12月10日 優(yōu)先權(quán)日1995年12月12日
發(fā)明者羅伯特·N·小赫斯特, 瓊沃·李 申請(qǐng)人:Rca湯姆森許可公司