專利名稱：一種基于運(yùn)動(dòng)聯(lián)合圖像專家組的圖像幀間增強(qiáng)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻圖像幀間增強(qiáng)方法，特別是一種對(duì)基于運(yùn)動(dòng)聯(lián)合圖像專家組2000(Motion JPEG 2000)壓縮的視頻圖像進(jìn)行幀間增強(qiáng)的方法，該方法能夠在接收端盡可能地恢復(fù)丟失的視頻圖像的細(xì)節(jié)。
背景技術(shù)：
隨著多媒體應(yīng)用的普及、數(shù)字視頻技術(shù)的發(fā)展及網(wǎng)絡(luò)上圖像傳輸?shù)脑龆啵缈梢曤娫挼氖褂?，圖像的遠(yuǎn)程瀏覽與檢索，全球多用戶虛擬環(huán)境共享等，對(duì)圖像處理技術(shù)的研究變得越來(lái)越重要。
圖像的處理包括圖像壓縮，圖像增強(qiáng)和恢復(fù)，圖像除噪以及圖像的描述，分類和識(shí)別。對(duì)于圖像采集、存儲(chǔ)和傳輸過(guò)程來(lái)說(shuō)，迫切需要快速發(fā)展圖像壓縮技術(shù)。一幅具有中等分辨率(640*480)彩色(24bit/象素)數(shù)字圖像的數(shù)據(jù)量約為7.37Mbit，龐大的數(shù)據(jù)量給圖像的存儲(chǔ)和傳輸帶來(lái)了很大的困難。因此，在傳輸前必須對(duì)圖像進(jìn)行編碼。
傳統(tǒng)的JPEG壓縮技術(shù)已經(jīng)無(wú)法滿足人們對(duì)多媒體影像資料的要求，因此需要一種功能更強(qiáng)大、效率更卓越的圖像壓縮標(biāo)準(zhǔn)。在這種背景下JPEG 2000應(yīng)運(yùn)而生。
運(yùn)動(dòng)聯(lián)合圖像專家組2000(Motion JPEG 2000)是一種對(duì)運(yùn)動(dòng)圖像的幀內(nèi)編碼方法。它并不利用幀間相關(guān)性，而是使用JPEG 2000提供的壓縮手段逐幀去除視頻序列中每一幀的幀內(nèi)冗余。
隨著時(shí)間的推移，人們對(duì)圖像壓縮處理的要求越來(lái)越高。另外，基于互聯(lián)網(wǎng)和無(wú)線信道的視頻傳輸已經(jīng)越來(lái)越普遍。在實(shí)際應(yīng)用中，有一些重要的圖像，如衛(wèi)星遙感圖像、醫(yī)學(xué)圖像等需要通過(guò)互聯(lián)網(wǎng)來(lái)傳送。而這些圖像傳輸要求確保較高的圖像質(zhì)量。
然而，由于受到信道寬度的限制，通過(guò)互聯(lián)網(wǎng)或無(wú)線信道進(jìn)行的視頻傳輸通常受到網(wǎng)絡(luò)擁塞的影響。當(dāng)網(wǎng)絡(luò)出現(xiàn)擁塞時(shí)，路由器有選擇地截?cái)嘁恍┍硎驹敿?xì)信息的數(shù)據(jù)分組，這將導(dǎo)致信息被截?cái)嗟膸膱D像質(zhì)量的降低。
在JPEG 2000中，空域信號(hào)在經(jīng)過(guò)諸如彩色空間變化，去直流，歸一化之類的前處理后，進(jìn)行離散小波變換(DWT)，以去除數(shù)據(jù)之間的相關(guān)性。圖1中示出了一維離散小波變換分解的示意圖。一維DWT的基本濾波方式是通過(guò)高頻和低頻濾波器組，將原始信號(hào)分解到頻域上兩個(gè)互不混疊的子帶上，并通過(guò)降采樣來(lái)保持信號(hào)的數(shù)目不變。一次DWT后剩余的低頻信號(hào)往往還具有相關(guān)性?？梢栽谄渖显僮鰇(k是整數(shù))級(jí)子帶分解，直到信號(hào)之間的相關(guān)性可以忽略為止。
二維DWT則是在一維的行DWT和降采樣的基礎(chǔ)上，再對(duì)列信號(hào)進(jìn)行一次DWT，并進(jìn)行降采樣以保證變換后的數(shù)據(jù)量與變換前相同。經(jīng)過(guò)一次二維DWT變換之后，原圖像被劃分為四個(gè)子帶。其中唯一的一個(gè)LL子帶(行低頻和列低頻)仍可以繼續(xù)分解，經(jīng)過(guò)3-5級(jí)后形成分級(jí)結(jié)構(gòu)。這種分級(jí)結(jié)構(gòu)使JPEG 2000支持多分辨率的碼流結(jié)構(gòu)。
DWT之后的小波系數(shù)需要經(jīng)過(guò)量化，JPEG 2000的量化器的一個(gè)特殊之處在于引入了“Dead Zone”的概念。對(duì)于每個(gè)子帶的量化器，“DeadZone”的寬度都是其它步長(zhǎng)的2倍。這意味著如果在子帶b內(nèi)采用步長(zhǎng)為Δb的量化器，則該子帶的一個(gè)系數(shù)y(i，j)可以用 作為量化索引值，其中sign()表示一個(gè)變量的符號(hào)， 表示向下取整。這種量化方式的優(yōu)點(diǎn)是可以根據(jù)信噪比要求，提供一種漸進(jìn)的碼率模式，即可以先用較小的步長(zhǎng)對(duì)信號(hào)進(jìn)行量化。然后根據(jù)用戶的不同需求以較寬的步長(zhǎng)(一般是原始步長(zhǎng)的2的整數(shù)次冪倍)進(jìn)行反量化。此時(shí)，只需丟棄量化索引值的一些最低有效位(LSB)即可。
然后需要對(duì)經(jīng)過(guò)量化的小波系數(shù)進(jìn)行優(yōu)化截?cái)帱c(diǎn)的嵌入式塊編碼(Embedded Block Coding with Optimal Truncation)(EBCOT)。EBCOT是一種基于位平面(bit plain)的編碼方式。按照位面從高到低的順序，提取處于相同位平面的數(shù)據(jù)進(jìn)行編碼。這樣就提供了圖像質(zhì)量由粗到精的漸進(jìn)式編碼。同時(shí)，EBCOT還提供了對(duì)多截?cái)帱c(diǎn)的支持，即，為了適應(yīng)一定的壓縮碼率，可以在JPEG 2000碼流的任何一個(gè)截?cái)帱c(diǎn)截?cái)嘣摯a流。相當(dāng)于丟棄當(dāng)前位平面中所有不顯著的系數(shù)以及所有顯著系數(shù)的較低有效位。
經(jīng)過(guò)EBCOT的碼流送入算術(shù)編碼器，打包成Motion JPEG 2000(MJP2)碼流，傳送到解碼端。解碼端的解碼器按照與上面所述相反的順序，即，執(zhí)行算術(shù)解碼，逆EBCOT，逆量化，逆離散小波變換以及后處理，得到解碼后的各幀圖像。
漸進(jìn)可伸縮的解碼模式對(duì)于視頻的傳輸同樣重要。在互聯(lián)網(wǎng)或無(wú)線信道中，由于受信道帶寬的限制，視頻傳輸經(jīng)常受到網(wǎng)絡(luò)擁塞的影響，導(dǎo)致在線收看時(shí)出現(xiàn)畫(huà)面停頓等現(xiàn)象。如果采用漸進(jìn)模式傳輸MJP2碼流，當(dāng)遇到網(wǎng)絡(luò)擁塞時(shí)，路由器可以主動(dòng)截?cái)嗝恳粠拇a流，以減少數(shù)據(jù)量而保證網(wǎng)絡(luò)的暢通。此時(shí)，用戶仍可以觀看連續(xù)的畫(huà)面，但有關(guān)圖像的細(xì)節(jié)信息被丟失，這必然會(huì)導(dǎo)致圖像質(zhì)量的下降。
因此，需要一種在解碼端盡可能地恢復(fù)丟失的圖像的細(xì)節(jié)信息的方法。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種增強(qiáng)接收到的視頻圖像以提高圖像質(zhì)量的方法，該方法可以利用解碼端接收到的運(yùn)動(dòng)圖像各幀的幀間相關(guān)性在一定程度上恢復(fù)受到信息損失的幀丟失的細(xì)節(jié)，從而增強(qiáng)圖像質(zhì)量。
為了實(shí)現(xiàn)本發(fā)明的目的，提供一種視頻圖像增強(qiáng)方法，包括步驟建立用于對(duì)數(shù)據(jù)丟失的視頻圖像幀進(jìn)行增強(qiáng)補(bǔ)償?shù)膱D像參考幀；將數(shù)據(jù)丟失幀劃分成大小為M×N像素的數(shù)據(jù)塊；在參考幀與數(shù)據(jù)丟失幀之間做運(yùn)動(dòng)估算，以便在參考幀中搜索與數(shù)據(jù)丟失幀中出現(xiàn)數(shù)據(jù)丟失的數(shù)據(jù)塊匹配的數(shù)據(jù)塊；用在參考幀中搜索到的匹配數(shù)據(jù)塊增強(qiáng)數(shù)據(jù)丟失幀中丟失的數(shù)據(jù)塊。
采用本發(fā)明的運(yùn)動(dòng)圖像增強(qiáng)方法可以利用圖像幀之間的相關(guān)性來(lái)補(bǔ)償增強(qiáng)因網(wǎng)絡(luò)傳輸擁塞等造成的圖像數(shù)據(jù)丟失，改善圖像質(zhì)量。


通過(guò)下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例的詳細(xì)描述，將使本發(fā)明的上述和其它方面的目的、特征及優(yōu)點(diǎn)變得更明顯并更容易理解，需要說(shuō)明的是這些實(shí)施例僅是為了說(shuō)明本發(fā)明，而不是將本發(fā)明的技術(shù)方案限制于此，其中圖1是說(shuō)明多級(jí)離散小波變換的示意圖；圖2是說(shuō)明根據(jù)本發(fā)明的實(shí)施例對(duì)視頻圖像進(jìn)行增強(qiáng)處理的方法的流程圖；圖3示出了采用根據(jù)本發(fā)明的圖像增強(qiáng)方法對(duì)圖像進(jìn)行增強(qiáng)處理后的圖像的峰值信噪比增益的示意圖。
具體實(shí)施例方式
下面參考附圖詳細(xì)說(shuō)明根據(jù)本發(fā)明利用圖像的幀間相關(guān)性來(lái)增強(qiáng)圖像的方法的實(shí)施例。
首先，介紹JPEG 2000標(biāo)準(zhǔn)及離散小波變換。JPEG 2000作為JPEG的升級(jí)版，具有以下特點(diǎn)1.高壓縮率JPEG 2000壓縮性能比JPEG提高了大約20％，也就是說(shuō)，在同樣的壓縮率下，JPEG 2000對(duì)圖像的失真比JPEG小大約20％。同時(shí)，使用JPEG2000的系統(tǒng)穩(wěn)定性好，運(yùn)行平穩(wěn)，抗干擾性好，易于操作。
2.同時(shí)支持有損和無(wú)損壓縮JPEG只支持有損壓縮，而JPEG 2000能支持無(wú)損壓縮。在實(shí)際應(yīng)用中，諸如衛(wèi)星遙感圖像、醫(yī)學(xué)圖像、文物照片等重要的圖像都非常適合于采用JPEG 2000壓縮。
3.實(shí)現(xiàn)了漸進(jìn)傳輸(progressive transmission)這是JPEG 2000一個(gè)極其重要的特征，它可以先傳輸圖像的輪廓，然后逐步傳輸數(shù)據(jù)，不斷提高圖像質(zhì)量，讓圖像由朦朧到清晰顯示，而不必像現(xiàn)在的JPEG那樣，由上到下慢慢顯示，這在網(wǎng)絡(luò)傳輸中有重大意義。
4.支持“感興趣區(qū)域”(Region Of Interest(ROI))用戶可以任意指定圖像上感興趣區(qū)域的壓縮質(zhì)量，還可以選擇指定的部分先解壓縮，從而使重點(diǎn)突出。這種方法的優(yōu)點(diǎn)在于它結(jié)合了接收方對(duì)壓縮的主觀需求，實(shí)現(xiàn)了交互式壓縮。
JPEG 2000與傳統(tǒng)JPEG最大的不同在于它放棄了JPEG所采用的以離散余弦變換為主的區(qū)塊編碼方式，轉(zhuǎn)而采用以小波變換為主的多分辨率編碼方式。
小波變換是現(xiàn)代譜分析工具，它既能考察局部時(shí)域過(guò)程的頻域特征，又能考察局部頻域過(guò)程的時(shí)域特征，因此即使對(duì)于非平穩(wěn)過(guò)程，處理起來(lái)也得心應(yīng)手。它能將圖像變換為一系列小波系數(shù)，這些系數(shù)可以被高效壓縮和存儲(chǔ)，此外，小波的粗略邊緣可以更好地表現(xiàn)圖像，因?yàn)樗薉CT壓縮普遍具有的方塊效應(yīng)。
小波在空間和頻率域上的局域性，是統(tǒng)計(jì)意義上的局域性。這里說(shuō)的局域性，指的是一個(gè)變換系數(shù)實(shí)際牽涉到的圖像空間范圍是局部的。因而，要完全恢復(fù)圖像中的某個(gè)局部，并不需要所有的編碼都被精確地保留，只需要對(duì)應(yīng)于它的一部分編碼沒(méi)有誤差就可以了。所以，能實(shí)現(xiàn)感興趣區(qū)域壓縮。同時(shí)JPEG 2000支持整形小波，因而能夠?qū)崿F(xiàn)無(wú)損壓縮。
小波建立在三個(gè)主要的基礎(chǔ)理論之上，分別是階層式編碼(pyramidcoding)、濾波器組理論(filter bank theory)、以及子帶編碼(subbandcoding)，小波變換結(jié)合了此三項(xiàng)技術(shù)。小波變換能將各種交織在一起的不同頻率組成的信號(hào)，分解成不相同頻率的信號(hào)，因此能有效的應(yīng)用于編碼、解碼、檢測(cè)邊緣、壓縮數(shù)據(jù)，及將非線性問(wèn)題線性化。良好的分析局部的時(shí)域與頻域的信號(hào)，彌補(bǔ)傅利葉轉(zhuǎn)換中的缺失。
下面說(shuō)明本發(fā)明的基于JPEG 2000碼流增強(qiáng)視頻圖像的原理。
Motion JPEG 2000是一種用于編碼運(yùn)動(dòng)圖像的新的國(guó)際標(biāo)準(zhǔn)。使用與JPEG 2000相同的幀內(nèi)編碼技術(shù)。碼流被逐幀地預(yù)先打包。當(dāng)出現(xiàn)網(wǎng)絡(luò)擁塞時(shí)，路由器有選擇地丟棄某些不重要的部分，并且只傳輸用于圖像重構(gòu)的重要部分。所謂不重要的數(shù)據(jù)包是指對(duì)人的視覺(jué)影響較小，圖像分辨率較高或較清晰的數(shù)據(jù)包。高頻信息的丟失將緩解網(wǎng)絡(luò)傳輸?shù)呢?fù)擔(dān)，但在一定程度上會(huì)降低圖像的質(zhì)量。
鑒于Motion JPEG 2000采用幀內(nèi)編碼技術(shù)，編碼后的運(yùn)動(dòng)圖像的各幀之間的幀間相關(guān)性依然存在，某一幀圖像在傳輸過(guò)程中丟失的信息并不會(huì)影響到其它幀。因此，可以在解碼端利用未受到圖像數(shù)據(jù)損失的相關(guān)幀在一定程度上恢復(fù)丟失的數(shù)據(jù)，從而增強(qiáng)圖像質(zhì)量。
根據(jù)本發(fā)明的實(shí)施例，例如在通過(guò)互聯(lián)網(wǎng)接收?qǐng)D像的過(guò)程中，假設(shè)當(dāng)前幀出現(xiàn)了圖像數(shù)據(jù)損失，而參考幀相對(duì)保持完好。首先在當(dāng)前幀和參考幀之間做出運(yùn)動(dòng)估算。假設(shè)接收到的各幀數(shù)據(jù)經(jīng)解碼后得到幀序列In。根據(jù)JPEG 2000的漸進(jìn)傳輸原理，接收到的數(shù)據(jù)量越多，恢復(fù)的圖像質(zhì)量就越好。因此，如果在接收端檢測(cè)到某一幀的數(shù)據(jù)量明顯小于其它幀的數(shù)據(jù)量，則該幀中可能出現(xiàn)數(shù)據(jù)丟失。在這種情況下，需要對(duì)接收到的當(dāng)前幀進(jìn)行圖像增強(qiáng)。
下面結(jié)合圖2說(shuō)明對(duì)視頻圖像進(jìn)行離散小波變換的增強(qiáng)過(guò)程。
對(duì)圖像增強(qiáng)的過(guò)程需要利用參考幀，這個(gè)參考幀應(yīng)該是已經(jīng)接收到的未受到數(shù)據(jù)損失的某一幀。為了進(jìn)行圖像增強(qiáng)，在接收端需要設(shè)置緩存器來(lái)存儲(chǔ)用于對(duì)數(shù)據(jù)丟失的圖像幀進(jìn)行增強(qiáng)的參考幀，即，在緩存器中存儲(chǔ)一幀未受到數(shù)據(jù)損失的圖像信號(hào)。在接收過(guò)程中判斷新接收的圖像幀是否受到數(shù)據(jù)損失。如果新的一幀沒(méi)有受到數(shù)據(jù)損失，可用新的一幀刷新緩存器。
為了便于討論，在下面的例子中假設(shè)接收的當(dāng)前幀，例如，In的圖像數(shù)據(jù)受到損失。應(yīng)該理解，圖像數(shù)據(jù)被在網(wǎng)絡(luò)傳輸過(guò)程中被截?cái)嗟膸幌抻诋?dāng)前幀?？衫茫?，緩存器存儲(chǔ)的未受到數(shù)據(jù)損失的前一幀In-1幀作為參考幀。用xn(i，j)表示出現(xiàn)數(shù)據(jù)丟失的第n幀的空域信號(hào)，經(jīng)過(guò)多級(jí)的DWT變換后，子帶b內(nèi)的小波系數(shù)表示為ybn(i，j)，b∈{kLL，kHL，kLH，kHH}，其中kHL(k是正整數(shù))表示在第k層分解中對(duì)行信號(hào)進(jìn)行高通濾波，對(duì)列信號(hào)進(jìn)行低通濾波后間隔采樣的結(jié)果。
為了敘述方便起見(jiàn)，假設(shè)每幀圖像都只經(jīng)過(guò)一級(jí)離散小波變換(DWT)。由于傳輸?shù)氖沁\(yùn)動(dòng)圖像，為了對(duì)受到數(shù)據(jù)損失的圖像幀進(jìn)行圖像增強(qiáng)，首先需要找到參考幀與當(dāng)前幀的匹配數(shù)據(jù)塊。如圖2所示，在LL子帶內(nèi)將第In幀頻域信號(hào)在劃分為固定大小的M*N(M和N是正整數(shù))個(gè)像素的數(shù)據(jù)塊，逐個(gè)數(shù)據(jù)塊地在In-1的LL子帶和其經(jīng)過(guò)運(yùn)動(dòng)偏移后的三個(gè)LL子帶中進(jìn)行運(yùn)動(dòng)搜索和匹配(具體方法將在之后詳述)。如果得到匹配，則用第In-1幀的該數(shù)據(jù)塊對(duì)第In幀的數(shù)據(jù)進(jìn)行增強(qiáng)。如果未得到匹配，則放棄參考幀的該數(shù)據(jù)塊。
由于圖像的運(yùn)動(dòng)性，參考幀與受到損失的當(dāng)前幀之間的相關(guān)數(shù)據(jù)塊之間存在著一定的偏移。這種情況下，為了找到匹配的數(shù)據(jù)塊進(jìn)行圖像增強(qiáng)，需要移動(dòng)圖像幀的像素。在本實(shí)施例中，搜索相關(guān)數(shù)據(jù)塊的過(guò)程是通過(guò)移動(dòng)參考幀的數(shù)據(jù)塊進(jìn)行的。
為了搜索對(duì)應(yīng)的數(shù)據(jù)塊，對(duì)第In-1幀的頻域信號(hào)進(jìn)行逆離散小波變換(IDWT)，以便得到第In-1幀的空域信號(hào)xn-1(i，j)。接下來(lái)，將空域信號(hào)xn-1(i，j)沿x軸，y軸以及x＝y(tǒng)方向各移動(dòng)一個(gè)像素，得到三幅圖像xn-1(i-1，j)、xn-1(i，j-1)、和xn-1(i-1，j-1)。分別對(duì)這三幅圖像進(jìn)行DWT變換，得到三個(gè)經(jīng)過(guò)移位的第In-1幀的頻域信號(hào)。將轉(zhuǎn)換后的信號(hào)表示為yb(1)n-1(i，j)、yb(2)n-1(i，j)、和yb(3)n-1(i，j)，而yb(0)n-1(i,j)=ybn-1(i,j).]]>之所以進(jìn)行這樣的移動(dòng)是因?yàn)閳D像在DWT變換之后要進(jìn)行降采樣，如果一個(gè)數(shù)據(jù)塊在兩幀之間移動(dòng)奇數(shù)個(gè)像素，則降采樣之后在兩幀之間保留下來(lái)的樣本互為補(bǔ)集。在x、y和x＝y(tǒng)方向各移動(dòng)一個(gè)像素，再加上圖像自身就包括了數(shù)據(jù)塊在平面的兩個(gè)方向上所有運(yùn)動(dòng)的奇偶組合。
將接收到的當(dāng)前幀的LL子帶內(nèi)的頻域信號(hào)yLLn(i，j)劃分為固定大小的數(shù)據(jù)塊，例如8*8。然后逐個(gè)在參考幀的四個(gè)LL子帶yLL(0)n-1(i，j)、yLL(1)n-1(i，j)、yLL(2)n-1(i，j)、yLL(3)n-1(i，j)中搜索與當(dāng)前幀的該每個(gè)數(shù)據(jù)塊最相似的數(shù)據(jù)塊。
搜索過(guò)程可采用三步法，判斷兩個(gè)數(shù)據(jù)塊是否相似可以采用最大絕對(duì)距離(MAD)法則，即計(jì)算當(dāng)前幀與移位的參考幀的對(duì)應(yīng)子帶的頻域信號(hào)之間的差值的絕對(duì)值之和，即，計(jì)算Σ(i,j)∈block|yLLn(i,j)-yLL(k)n-1(i+di,j+dj)|,]]>找到使該取最小值時(shí)的(di，dj，k)。將該最小值與預(yù)先設(shè)定的閾值比較。如果該最小值大于設(shè)定的閾值，則表明兩個(gè)數(shù)據(jù)塊不匹配。如果該最小值小于或等于設(shè)定的閾值，則將該(di，dj，k)作為運(yùn)動(dòng)矢量記錄下來(lái)。這種運(yùn)動(dòng)補(bǔ)償方法被稱為低帶移位法(Low-Band-Shift)，其特點(diǎn)是可以在高頻子帶的信息丟失較多時(shí)仍能得到精確的運(yùn)動(dòng)矢量。
在參考幀中找到了與當(dāng)前幀的某個(gè)小波系數(shù)yLLn(i，j)對(duì)應(yīng)的運(yùn)動(dòng)矢量(di，dj，k)后，其在參考幀中對(duì)應(yīng)的小波系數(shù)則是yLL(k)n-1(i+di，j+dj)。此后，可對(duì)當(dāng)前幀中損失數(shù)據(jù)進(jìn)行增強(qiáng)。作為例子，例如，如果在傳輸過(guò)程中yLLn(i，j)丟失了當(dāng)前幀的p個(gè)最低有效位，在接收端實(shí)際收到的則是 此時(shí)可以得到下面的公式(1)表示的未經(jīng)損失的yLLn(i，J)的分布范圍 用在上式所列范圍內(nèi)與yLL(kn-1(i+di，j+dj)最接近的值作為對(duì)受到損失的當(dāng)前幀的小波系數(shù) 的增強(qiáng)結(jié)果。其具體操作如下如果參考幀中的小波系數(shù)yLL(kn-1(i+di，j+dj)中除最后p個(gè)最低有效位外均與 相同，即 則可以令y··LL(kn-1(i+di,j+dj)]]>作為 的增強(qiáng)結(jié)果。也就是說(shuō)，用yLL(kn-1(i+di，j+dj)的最后p個(gè)最低有效位來(lái)補(bǔ)償受到損失的當(dāng)前幀的 如果參考幀中的小波系數(shù)yLL(kn-1(i+di，j+dj)中除最后p個(gè)最低有效位外仍與 有不同，則比較公式(1)中的不等式確定的區(qū)間的兩個(gè)端點(diǎn)。在這兩個(gè)端點(diǎn)中選擇距yLL(kn-1(i+di，j+dj)較近的一個(gè)點(diǎn)作為對(duì)當(dāng)前幀的增強(qiáng)結(jié)果。
在最壞的情況下，當(dāng)前幀的yLLn(i，j)丟失了其所有的有效位(例如，整個(gè)子帶內(nèi)的數(shù)據(jù)都被丟失)，這種情況下，則直接令當(dāng)前幀中的y··LLn(i,j)=yLL(kn-1(i+di,j+dj).]]>根據(jù)離散小波變換的性質(zhì)，對(duì)于圖像的三個(gè)高頻子帶HL、LH和HH，不需要再到前一幀中做運(yùn)動(dòng)估算和查找對(duì)應(yīng)的數(shù)據(jù)塊。如果某個(gè)小波系數(shù)yLLn(i，j)對(duì)應(yīng)運(yùn)動(dòng)矢量(di，dj，k)，則對(duì)于所有的子帶b，則有ybn(i，j)對(duì)應(yīng)的運(yùn)動(dòng)矢量都是(di，dj，k)。這種情況下下，可以用參考幀中的系數(shù)yb(k)n-1(i+di，j+dj)作為參考量來(lái)增強(qiáng)丟失數(shù)據(jù)的當(dāng)前幀的系數(shù)ybn(i，j)。
經(jīng)過(guò)對(duì)丟失數(shù)據(jù)的當(dāng)前幀的小波系數(shù)進(jìn)行增強(qiáng)處理之后，對(duì)增強(qiáng)后的小波系數(shù)進(jìn)行逆離散小波變換和諸如直流復(fù)原，顏色空間逆變換等之類的后處理，就可以在接收端恢復(fù)出視頻圖像經(jīng)過(guò)增強(qiáng)后的重建圖像。
上面為了簡(jiǎn)單起見(jiàn)以一級(jí)DWT為例說(shuō)明了利用圖像的幀間相關(guān)性對(duì)視頻圖像進(jìn)行補(bǔ)償增強(qiáng)的方法。一般情況下，一幀圖像在編碼之前要經(jīng)過(guò)3-5級(jí)的DWT變換。上述算法可以推廣到m級(jí)的DWT變換。其過(guò)程如下1.按照一級(jí)DWT變換的方法，對(duì)In的LLm，HLm，LHm，HHm(m是整數(shù))子帶進(jìn)行增強(qiáng)。
2.對(duì)增強(qiáng)后的四個(gè)子帶進(jìn)行逆DWT變換，以得到第m級(jí)DWT變換之前的低頻子帶LLm-1。
3.LLm-1是一個(gè)增強(qiáng)后的子帶，在此基礎(chǔ)上可對(duì)m-1級(jí)的其它三個(gè)子帶HLm-1，LHm-1，HHm-1進(jìn)行補(bǔ)償增強(qiáng)。其增強(qiáng)方法與前面說(shuō)明的過(guò)程相似。另外，應(yīng)指出的是，可以用上一級(jí)的運(yùn)動(dòng)矢量(di，dj，k)m來(lái)加快對(duì)本級(jí)運(yùn)動(dòng)矢量的搜索。
4.由此如上所述的方式按照分辨率由低到高的順序逐級(jí)對(duì)受到數(shù)據(jù)丟失的圖像幀進(jìn)行增強(qiáng)，直到整個(gè)處理過(guò)程結(jié)束。
圖3示出了采用根據(jù)本發(fā)明的圖像增強(qiáng)方法對(duì)圖像進(jìn)行增強(qiáng)處理后的圖像的峰值信噪比增益。該實(shí)例對(duì)MPEG-2標(biāo)準(zhǔn)測(cè)試圖像“運(yùn)動(dòng)物體和日歷”進(jìn)行了測(cè)試。所采用的參數(shù)如下視頻序列運(yùn)動(dòng)物體和日歷，選取300幀圖像，352*288像素/幀，圖像采用逐行掃描方式。
小波基采用JPEG 2000 Part 1提供的9/7實(shí)型濾波器組；運(yùn)動(dòng)補(bǔ)償采用低頻帶移位(Low-Band-Shift)。
壓縮率為2.0bpp。其中對(duì)奇數(shù)幀進(jìn)行了截?cái)嗵幚恚財(cái)嗪蟮拇a流相當(dāng)于1.0bpp。通過(guò)采用本發(fā)明的方法對(duì)截?cái)嗟钠鏀?shù)幀進(jìn)行增強(qiáng)處理后，可得到平均為3.12dB的峰值信噪比。圖3中的橫坐標(biāo)表示幀序號(hào)，縱坐標(biāo)表示峰值信噪比。圖中的空白方框連成的曲線表示經(jīng)過(guò)圖像增強(qiáng)后的峰值信噪比，黑方塊連成的曲線表示原始圖像的峰值信噪比。從圖3中可以明顯看出，經(jīng)過(guò)增強(qiáng)處理的圖像比處理前的圖像質(zhì)量由了明顯改善。
至此已結(jié)合特定實(shí)施例描述了本發(fā)明，應(yīng)該指出，在此所作的描述只作為說(shuō)明的目的，在不脫離下面權(quán)利要求的精神或范圍的情況下可對(duì)本發(fā)明進(jìn)行改變和變化。
權(quán)利要求
1.一種視頻圖像增強(qiáng)方法，包括步驟建立用于對(duì)數(shù)據(jù)丟失的視頻圖像幀進(jìn)行增強(qiáng)補(bǔ)償?shù)膱D像參考幀；將數(shù)據(jù)丟失幀劃分成大小為M×N(M和N均為正整數(shù))像素的數(shù)據(jù)塊；在參考幀與數(shù)據(jù)丟失幀之間做運(yùn)動(dòng)估算，以便在參考幀中搜索與數(shù)據(jù)丟失幀中出現(xiàn)數(shù)據(jù)丟失的數(shù)據(jù)塊匹配的數(shù)據(jù)塊；用在參考幀中搜索到的匹配數(shù)據(jù)塊增強(qiáng)數(shù)據(jù)丟失幀中丟失的數(shù)據(jù)塊。
2.根據(jù)權(quán)利要求1所述的視頻圖像增強(qiáng)方法，其特征在于進(jìn)一步包括在建立所述圖像參考幀之后，將所述參考幀存儲(chǔ)在存儲(chǔ)器中的步驟。
3.根據(jù)權(quán)利要求1或2所述的視頻圖像增強(qiáng)方法，其特征在于所述在參考幀與數(shù)據(jù)丟失幀之間做運(yùn)動(dòng)估算的步驟是對(duì)參考幀的頻域信號(hào)與數(shù)據(jù)丟失幀的頻域信號(hào)進(jìn)行運(yùn)動(dòng)搜索和匹配。
4.根據(jù)權(quán)利要求1所述的視頻圖像增強(qiáng)方法，其特征在于在視頻圖像發(fā)送端對(duì)經(jīng)過(guò)至少一級(jí)離散小波變換的運(yùn)動(dòng)圖像幀進(jìn)行幀內(nèi)編碼。
5.根據(jù)權(quán)利要求1或4所述的視頻圖像增強(qiáng)方法，其特征在于在參考幀中搜索所述匹配數(shù)據(jù)塊的步驟包括利用逆離散小波變換將參考幀的頻域信號(hào)轉(zhuǎn)換成空域信號(hào)的步驟。
6.根據(jù)權(quán)利要求5所述的視頻圖像增強(qiáng)方法，其特征在于進(jìn)一步包括將得到的所述空域信號(hào)在x軸，y軸以及x＝y(tǒng)的方向移動(dòng)一個(gè)像素，并對(duì)所得到的三個(gè)移動(dòng)方向的圖像信號(hào)進(jìn)行離散小波變換以得到參考幀經(jīng)移位的頻域信號(hào)的步驟。
7.根據(jù)權(quán)利要求6所述的視頻圖像增強(qiáng)方法，其特征在于進(jìn)一步包括計(jì)算經(jīng)過(guò)離散小波變換的參考幀的移動(dòng)圖像的頻域信號(hào)與數(shù)據(jù)丟失幀的頻域信號(hào)之間的差值的絕對(duì)值，并將得到的最小值與預(yù)先設(shè)定的閾值比較的步驟。
8.根據(jù)權(quán)利要求所述7的視頻圖像增強(qiáng)方法，其特征在于如果所述最小值大于設(shè)定的閾值，則表明參考幀和數(shù)據(jù)丟失幀的兩個(gè)數(shù)據(jù)塊不匹配；如果該最小值小于或等于設(shè)定的閾值，則記錄所述參考幀移位的運(yùn)動(dòng)矢量，和用所述參考幀中與該運(yùn)動(dòng)矢量對(duì)應(yīng)的小波系數(shù)增強(qiáng)所述的數(shù)據(jù)丟失幀的數(shù)據(jù)塊。
9.根據(jù)權(quán)利要求所述8的視頻圖像增強(qiáng)方法，其特征在于如果只有參考幀中的小波系數(shù)中的p個(gè)最低有效位與數(shù)據(jù)丟失幀的小波系數(shù)的最低有效位不同，則用參考幀的小波系數(shù)中的最低有效位增強(qiáng)數(shù)據(jù)丟失幀的小波系數(shù)的最低有效位，否則用數(shù)據(jù)丟失幀的小波系數(shù)允許的動(dòng)態(tài)范圍內(nèi)與參考幀最接近的數(shù)值來(lái)增強(qiáng)該系數(shù)。
10.根據(jù)權(quán)利要求所述1，2，4，5至9中的任何一項(xiàng)所述的視頻圖像增強(qiáng)方法，其特征在于進(jìn)一步包括在對(duì)丟失數(shù)據(jù)的所述數(shù)據(jù)丟失幀的增強(qiáng)后的小波系數(shù)進(jìn)行逆離散小波變換和直流復(fù)原，顏色空間逆變換以恢復(fù)視頻圖像經(jīng)過(guò)增強(qiáng)后的重建圖像的步驟。
全文摘要
本發(fā)明公開(kāi)了一種視頻圖像增強(qiáng)方法，包括步驟建立用于對(duì)數(shù)據(jù)丟失的視頻圖像幀進(jìn)行增強(qiáng)補(bǔ)償?shù)膱D像參考幀；將數(shù)據(jù)丟失幀劃分成大小為M×N(M和N均為正整數(shù))像素的數(shù)據(jù)塊；在參考幀與數(shù)據(jù)丟失幀之間做運(yùn)動(dòng)估算，以便在參考幀中搜索與數(shù)據(jù)丟失幀中出現(xiàn)數(shù)據(jù)丟失的數(shù)據(jù)塊匹配的數(shù)據(jù)塊；用在參考幀中搜索到的匹配數(shù)據(jù)塊增強(qiáng)數(shù)據(jù)丟失幀中丟失的數(shù)據(jù)塊。本發(fā)明的運(yùn)動(dòng)圖像增強(qiáng)方法可以利用圖像幀之間的相關(guān)性來(lái)補(bǔ)償增強(qiáng)因網(wǎng)絡(luò)傳輸擁塞等造成的圖像數(shù)據(jù)丟失，改善圖像質(zhì)量。
文檔編號(hào)H04N7/26GK1568011SQ03149199
公開(kāi)日2005年1月19日 申請(qǐng)日期2003年6月20日 優(yōu)先權(quán)日2003年6月20日
發(fā)明者劉煒, 鄭文濤 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社