專利名稱：對(duì)低速率應(yīng)用的數(shù)字圖像進(jìn)行處理的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種處理按照像素塊編碼技術(shù)編碼和解碼的數(shù)字圖像的方法，所述技術(shù)適于為每個(gè)像素塊提供運(yùn)動(dòng)矢量和為每個(gè)圖像提供量化步幅。
本發(fā)明還涉及一種使用該方法的后處理裝置。
本發(fā)明還涉及一種使用該后處理裝置的視頻解碼器和視頻編碼器。
本發(fā)明進(jìn)一步涉及一種包括該視頻解碼器的便攜式設(shè)備。
本發(fā)明也涉及一種使用該方法的計(jì)算機(jī)程序。
最后，本發(fā)明涉及一種用于傳送該程序的信號(hào)。
本發(fā)明特別應(yīng)用于對(duì)按照例如MPEG-4或JVT(聯(lián)合視頻組)的編碼技術(shù)以低速率編碼和解碼的數(shù)字圖像的處理。
因?yàn)閭鬏敽痛鎯?chǔ)數(shù)字?jǐn)?shù)據(jù)的需要的不斷增長(zhǎng)，壓縮技術(shù)(或換言之，編碼數(shù)字圖像序列的技術(shù))已經(jīng)變得非常普遍。最傳統(tǒng)的壓縮圖像序列(例如由MPEG標(biāo)準(zhǔn)(運(yùn)動(dòng)圖像專家組)或ITU-T VCEG定義的技術(shù))使用基于塊匹配算法的運(yùn)動(dòng)補(bǔ)償和塊變換(例如離散余弦變換或DCT)。圖像序列被劃分為多組圖像，每組包括以獨(dú)立方式編碼的內(nèi)部幀或I幀，隨后是幾個(gè)相對(duì)之前或之后幀以差分方式編碼的預(yù)測(cè)幀。塊變換具有提供高壓縮率的優(yōu)點(diǎn)。相反，隨后的量化步驟在解碼的數(shù)字圖像中產(chǎn)生塊效應(yīng)，導(dǎo)致圖像質(zhì)量的惡化。實(shí)際上，編碼率越小，量化越粗糙。因此，量化步驟造成的惡化會(huì)在編碼率高時(shí)的察覺不到的級(jí)別和編碼率低時(shí)的惱人的級(jí)別之間變化。
為了解決此問題，已經(jīng)開發(fā)了許多后處理所述解碼的數(shù)字圖像的技術(shù)，以便校正所述塊效應(yīng)。用于編碼數(shù)字圖像的8×8像素塊在該圖像上形成網(wǎng)格，稱為主網(wǎng)格。塊效應(yīng)在該網(wǎng)格上出現(xiàn)。多數(shù)校正塊的技術(shù)假設(shè)解碼圖像上的所述網(wǎng)格的位置已知并在整個(gè)圖像序列中保持固定。
不幸地是該假設(shè)不總為真。由于D/A和A/D轉(zhuǎn)換(例如對(duì)于編碼的圖像序列的傳輸或在電視機(jī)內(nèi)的)，以及在可能的對(duì)數(shù)字圖像序列的預(yù)處理算法的使用之后，原始圖像可能被偏移幾個(gè)像素，并且主網(wǎng)格的尺寸可能會(huì)被修改?，F(xiàn)在，解碼器對(duì)此沒有任何信息。這種現(xiàn)象的一個(gè)結(jié)果是直接影響了塊校正技術(shù)的效果。
為了避免該問題，已經(jīng)開發(fā)了檢測(cè)解碼的數(shù)字圖像的主網(wǎng)格的技術(shù)(例如根據(jù)8×8、10-11×8.和12×8像素來塊檢測(cè)三個(gè)規(guī)則網(wǎng)格尺寸的方法)，并且在國(guó)際申請(qǐng)WO 01/20912中說明。
本發(fā)明的目的是提出一種在已經(jīng)按照塊編碼技術(shù)以低速率編碼并且隨后解碼的數(shù)字圖像中檢測(cè)次網(wǎng)格的存在的方案，其中該方法在保持低復(fù)雜度的同時(shí)提供所述網(wǎng)格的定位。
實(shí)際上，在已經(jīng)以低速率編碼并且隨后解碼的數(shù)字圖像中，除了主網(wǎng)格以外，出現(xiàn)次網(wǎng)格并不少見。該次網(wǎng)格歸因于每像素塊的運(yùn)動(dòng)補(bǔ)償，這易于在主網(wǎng)格的邊緣之外產(chǎn)生塊效應(yīng)，所述效應(yīng)不會(huì)被太粗糙的量化校正。
在傳統(tǒng)后處理技術(shù)中通常不考慮歸因于次網(wǎng)格的塊效應(yīng)，所述技術(shù)忽略所述網(wǎng)格的存在。
為了解決該問題，如在開始段落中所述的方法的特征在于它包括步驟-如果其量化步幅高于預(yù)定閾值，選擇所述解碼圖像，-檢測(cè)具有次網(wǎng)格的像素塊，包括子步驟-如果所述塊具有小于預(yù)定亮度閾值的像素亮度變化，檢測(cè)所選定的解碼的圖像的一致塊，-如果其關(guān)聯(lián)運(yùn)動(dòng)矢量非零，并且具有小于預(yù)定幅度閾值的幅度，選擇一致塊，-在所選定的一致塊中定位次網(wǎng)格為關(guān)聯(lián)運(yùn)動(dòng)矢量的函數(shù)。
按照本發(fā)明的方法涉及以低速率編碼和解碼的數(shù)字圖像。如在前文已經(jīng)說明的，次網(wǎng)格現(xiàn)象實(shí)際上最易出現(xiàn)在低速率。
該方法的第一優(yōu)點(diǎn)在于，在提供解碼圖像中的次網(wǎng)格的定位的同時(shí)，該方法用于在使用塊效應(yīng)校正技術(shù)或評(píng)估所述圖像質(zhì)量的技術(shù)之前的預(yù)處理，并提供較好地改進(jìn)這些低速率技術(shù)的效果的可能性。實(shí)際上，知道次網(wǎng)格的定位允許塊校正技術(shù)包括例如使用濾波器并將所述濾波器置于所述次網(wǎng)格產(chǎn)生的塊效應(yīng)中心的濾波步驟。在評(píng)估質(zhì)量、包括計(jì)數(shù)塊效應(yīng)的步驟的技術(shù)中，次網(wǎng)格的定位允許更精確的計(jì)數(shù)并因此得到對(duì)解碼圖像質(zhì)量的更好的評(píng)估。
該方法的第二優(yōu)點(diǎn)在于它具有低復(fù)雜度。實(shí)際上，選擇步驟允許去除其量化步幅小于預(yù)定閾值的圖像，即僅保留已經(jīng)以足夠粗糙的方式編碼和解碼的圖像。對(duì)于檢測(cè)像素塊的步驟，它去除了一定數(shù)量的候選塊，以便最終只保留一致的、運(yùn)動(dòng)矢量非零的并且具有小于預(yù)定幅度閾值的幅度的那些候選塊。該低復(fù)雜度使得能夠按照發(fā)明實(shí)時(shí)執(zhí)行該方法，因此能夠在被合并于便攜式設(shè)備(例如個(gè)人數(shù)字助理或移動(dòng)電話)中的解碼器中使用它。
本發(fā)明還涉及一種使用該方法的裝置。
本發(fā)明的這些和其它方面將通過非限制性的示例參考以下所述實(shí)施例說明清楚。
在附圖中

圖1是完整的編碼、傳輸和解碼數(shù)字圖像序列的框圖，其解碼器包括按照發(fā)明的處理裝置，圖2示出了被例如MPEG-4或JVT編碼技術(shù)使用的圖像組，圖3是按照例如MPEG-4或JVT編碼技術(shù)的編碼器的框圖，圖4示出了按照例如MPEG-4或JVT編碼技術(shù)的運(yùn)動(dòng)補(bǔ)償?shù)氖纠?，圖5示出了歸因于具有小于兩個(gè)連續(xù)量化步幅之間距離的對(duì)比度的次網(wǎng)格的塊效應(yīng)情況，圖6是按照本發(fā)明的處理方法的框圖，圖7說明了在按照本發(fā)明的分類步驟中使用的塊中的子塊，圖8示出了按照本發(fā)明定位次網(wǎng)格的步驟，圖9示出了解碼圖像中的次網(wǎng)格的作為其在圖像組中位置的函數(shù)的可見度曲線，圖10說明了濾波一對(duì)具有主塊效應(yīng)和次塊效應(yīng)的塊的校正方法，圖11是包括按照本發(fā)明的處理裝置的視頻解碼器的框圖，圖12是包括按照本發(fā)明的處理裝置的視頻編碼器的框圖。
本發(fā)明涉及一種處理屬于一組圖像并按照塊編碼技術(shù)編碼和解碼的數(shù)字圖像的方法。該方法適用于任何適于提供每個(gè)像素塊的運(yùn)動(dòng)矢量和每個(gè)圖像的量化步幅的編碼技術(shù)。所使用的技術(shù)例如是MPEG-4或JVT(H.26L已經(jīng)變?yōu)镴VT，這是標(biāo)準(zhǔn)化委員會(huì)ISO/IEC MPEG和ITU-T VCEG的統(tǒng)一標(biāo)準(zhǔn)化努力的目標(biāo))。
圖1示出了處理數(shù)字圖像序列IS的完整鏈路。所述鏈路包括編碼器ENC，它提供按照MPEG-4或H.26L類型的塊編碼方法編碼的圖像序列ES。所述序列ES經(jīng)傳輸通道C以所接收的編碼圖像序列RS的形式被發(fā)送給解碼器DEC。所述接收序列RS被解碼器DEC處理，DEC將解碼的數(shù)字圖像序列DS提供給按照本發(fā)明的處理裝置SEC.GRID。所述裝置用于檢測(cè)序列DS中的被計(jì)數(shù)為n的解碼數(shù)字圖像中次網(wǎng)格的可能存在，并例如以次網(wǎng)格的定位圖Loc的形式提供圖像n中的定位和可見度范圍Vk。這樣的裝置可以被集成在后處理裝置PP中(其中PP包括用于例如校正在所述解碼序列DS中存在的塊效應(yīng)的濾波單元FILT)或者是質(zhì)量評(píng)估裝置QUALIT中(該QUALIT用于提供所述解碼圖像n的質(zhì)量范圍，例如作為所存在的塊效應(yīng)數(shù)目的函數(shù)，所述數(shù)目由塊效應(yīng)計(jì)數(shù)器COUNT評(píng)估)。所述后處理裝置PP最后按照該有利地使用所述定位圖Loc的方法提供經(jīng)后處理的解碼圖像序列PPDS。在質(zhì)量評(píng)估裝置QUALIT的情況下，根據(jù)圖像中存在的塊效應(yīng)數(shù)目提供質(zhì)量范圍QM。
應(yīng)當(dāng)說明，圖1僅構(gòu)成示例?？梢栽O(shè)想例如包括按照發(fā)明的處理裝置SEC.GRID的后處理裝置PP被集成在編碼器ENC內(nèi)的編碼環(huán)路中。這種裝置的目的主要是發(fā)送最好可能質(zhì)量的編碼視頻數(shù)據(jù)流給解碼器。
在MPEG-4或JVT類型的編碼方案中，數(shù)字輸入圖像序列IS被劃分為圖像組IG，如圖2所示。這樣的一組圖像連續(xù)地包括內(nèi)部幀或I幀(即以獨(dú)立方式編碼的幀)，隨后是關(guān)于相鄰在前的和可能是隨后的幀以差分方式編碼的預(yù)測(cè)幀P或雙向幀B。為了不使描述無謂地復(fù)雜化，僅考慮圖像組IG為IPPPPPP…型，即沒有雙向幀B。
圖3示出了使用運(yùn)動(dòng)補(bǔ)償和塊頻率變換編碼數(shù)字圖像序列的方法的主要步驟。讓我們考慮例如內(nèi)部幀I后的第一幀P使用塊匹配算法的運(yùn)動(dòng)估計(jì)步驟ME從預(yù)測(cè)幀P和內(nèi)部幀I提供運(yùn)動(dòng)矢量場(chǎng)MVF。該場(chǎng)包括幀P中每像素塊的運(yùn)動(dòng)矢量MV。由編碼器ENC內(nèi)的解碼器IDEC提供的內(nèi)部幀I的解碼版本DI隨后在運(yùn)動(dòng)補(bǔ)償步驟MC中根據(jù)運(yùn)動(dòng)矢量MV場(chǎng)而被“補(bǔ)償”，即解碼圖像DI的像素塊作為所述運(yùn)動(dòng)矢量的函數(shù)而被移位，從而獲得按照預(yù)測(cè)幀P的一定最小化準(zhǔn)則盡可能被補(bǔ)償?shù)膱D像MCI。隨后，幀P和經(jīng)補(bǔ)償?shù)慕獯a內(nèi)部幀MCI之間的差或誤差E(也稱為誤差圖像)通過塊頻率變換(通常是離散余弦變換或DCT)而被編碼，該變換提供經(jīng)變換的誤差圖像TE。為了保證可以接受的壓縮率，所述經(jīng)變換的誤差圖像通過隨編碼率越低而越粗糙的量化步驟在量化級(jí)QUANT中被量化。所述量化級(jí)QUANT提供經(jīng)量化的誤差圖像QTE。
從而在所述量化級(jí)層產(chǎn)生編碼誤差。
該量化級(jí)位于解碼時(shí)次網(wǎng)格在序列的某些圖像的像素塊中最終出現(xiàn)的起點(diǎn)。實(shí)際上，如圖4所示，匹配塊的技術(shù)可能為幀P的塊B選擇覆蓋所述幀I的四個(gè)塊的塊B’。在低速率，實(shí)際很可能經(jīng)量化的誤差圖像QTE不對(duì)塊B的補(bǔ)償提供校正。圖5示出了次網(wǎng)格輪廓的亮度曲線Int，其說明了這樣的事實(shí)在低速率，經(jīng)量化的誤差圖像TE中存在的次塊效應(yīng)通常具有小于兩個(gè)連續(xù)量化步幅Q和Q+1之間距離的亮度變化或?qū)Ρ榷菴t。如果在這些條件下，內(nèi)部幀I的塊B’在解碼期間在其邊緣具有塊效應(yīng)，這些塊效應(yīng)將以偏移的方式在隨后的預(yù)測(cè)幀P中傳播，并因此使得次網(wǎng)格出現(xiàn)。應(yīng)當(dāng)說明，所述偏移對(duì)應(yīng)于已經(jīng)允許內(nèi)部幀I的塊B’偏移到和幀P中的塊B相同位置的運(yùn)動(dòng)矢量。
該現(xiàn)象將很容易地傳播到隨后的幀。然而，由于運(yùn)動(dòng)補(bǔ)償和對(duì)連續(xù)誤差圖像的編碼操作，它會(huì)逐漸衰減。
還應(yīng)當(dāng)說明，該次網(wǎng)格現(xiàn)象特別在圖像的一致區(qū)中發(fā)生。實(shí)際上，如果塊B在一致區(qū)中存在，則塊B’也一定會(huì)是這樣，除非塊匹配技術(shù)沒有關(guān)聯(lián)它們。如果考慮包括(例如對(duì)象輪廓的)兩個(gè)紋理塊之間的差，它們的差具有小于量化步幅的亮度的概率會(huì)更大。
因此，按照本發(fā)明的方法的目的是檢測(cè)解碼數(shù)字圖像的像素塊中的所述次網(wǎng)格。該方法包括圖6所示的三個(gè)步驟。第一和最后的步驟整個(gè)應(yīng)用于解碼的數(shù)字圖像DI，第二個(gè)步驟應(yīng)用于所述圖像的塊。
因?yàn)槎鄶?shù)標(biāo)準(zhǔn)如此，所以在下文中將假定塊包括8×8像素，表示為B8×8。但是，本發(fā)明顯然不限于該特定情況。
第一步驟是選擇所述解碼的數(shù)字圖像DI作為其量化步幅Q的函數(shù)的步驟SELECT，用于選擇其量化步幅大于預(yù)定閾值的所述圖像。在發(fā)明的優(yōu)選實(shí)施例中，例如對(duì)于MPEG-4標(biāo)準(zhǔn)來說，所述閾值在1和31之間的值的尺度上固定為25，即僅其量化步幅大于25的解碼圖像DI被選擇。
讓我們考慮所選擇的滿足前述準(zhǔn)則的解碼圖像SDI。下一步是檢測(cè)像素塊的步驟DETECT，用于檢測(cè)具有次網(wǎng)格的所述所選定解碼圖像的塊B8×8。
在優(yōu)選實(shí)施例中，所有所選定圖像SDI的像素8×8都經(jīng)過該步驟，但這不是必須的?？梢岳缯J(rèn)為位于所選定解碼圖像SDI中心的塊對(duì)于人眼更重要，并由于復(fù)雜度的原因，可以選擇處理操作限于對(duì)這些塊的處理。
所述檢測(cè)步驟DETECT包括三個(gè)子步驟，也在圖6中示出。第一子步驟是檢測(cè)所述解碼圖像的塊的子步驟UNI，其中如果所述塊具有小于預(yù)定亮度閾值的亮度變化則確定該塊為一致塊。讓我們考慮所選定圖像SDI的8×8像素的塊B8×8具有亮度系數(shù)ap，q，其中(p，q)是0和7之間的整數(shù)。所述檢測(cè)子步驟UNI考慮塊B8×8的子塊SB8×8(如圖7所示)，并且包括8×8像素塊B8×8的6×6中心像素。如果子塊SB8×8滿足以下條件則稱塊B8×8為一致塊|m1-m2|＜S，其中m1＝max{ap，q}p＝1…6，q＝1…6和m2＝min{ap，q}p＝1…6，q＝1…6在該等式中，S是預(yù)定義亮度閾值，m1是子塊SB8×8的系數(shù)apq的最大值，m2是子塊SB8×8的系數(shù)apq的最小值。
在本發(fā)明的優(yōu)選實(shí)施例中，由于人視覺系統(tǒng)的已知特性，S被選擇為等于3。次網(wǎng)格現(xiàn)象實(shí)際僅在塊B8×8對(duì)應(yīng)前述條件時(shí)(換言之，在所考慮的區(qū)域相對(duì)一致時(shí))才可被人眼檢測(cè)到。在此情況下，所述檢測(cè)步驟UNI提供8×8像素的塊，稱為一致塊B8×8_uni。
下一子步驟是選擇一致塊的子步驟MV_SELECT，用于選擇其運(yùn)動(dòng)矢量非零并且具有小于預(yù)定幅度閾值的幅度的一致塊，如下面給出的vx2+vy2≤Savx2+vy2≠0]]>其中vx和vy是和塊B8×8_uni關(guān)聯(lián)的運(yùn)動(dòng)矢量MV的水平和垂直分量。
因此，如果其運(yùn)動(dòng)矢量非零并且具有小幅度，則塊B8×8_uni被選擇。在優(yōu)選實(shí)施例中選擇20為幅度閾值Sa。在此情況下，如果其運(yùn)動(dòng)矢量MV形成以下列表(0，1)、(0，2)、(0，3)、(0，4)、(1，1)、(1，2)、(1，3)、(1，4)、(2，2)、(2，3)、(2，4)、(3，3)的部分，則塊B8×8_uni被選擇，對(duì)于列表，加入所有具有相同標(biāo)準(zhǔn)的負(fù)值的組合是可取的。這樣選定的塊在下文中表示為B8× 8_uni_lmv。
在這一階段，我們已經(jīng)識(shí)別了包括由于次網(wǎng)格的存在而造成的塊效應(yīng)的所選定解碼圖像SDI的8×8像素塊。
按照本發(fā)明的方法的下一子步驟(稱為定位所選定一致塊B8× 8_uni_lmv內(nèi)的次網(wǎng)格的子步驟LOC的特征在于它將所述塊內(nèi)的所述次網(wǎng)格定位為其運(yùn)動(dòng)矢量MV的函數(shù)。讓我們考慮，在圖8中被集中在解碼數(shù)字圖像DI的像素(0，0)上的參考幀，和其左上位置的第一像素在該參考幀中被標(biāo)記為坐標(biāo)(i0，j0)的塊B8×8_uni_lmv。已知運(yùn)動(dòng)矢量MV的分量(vx，vy)，由于在塊B8×8_uni_lmv中存在次網(wǎng)格而造成的塊效應(yīng)將在像素列(i0+vx，j0+q)和像素行(p+i0，j0+vy)中出現(xiàn)，其中q和p在0和7之間。
在本發(fā)明的優(yōu)選實(shí)施例中，在次網(wǎng)格上存在的預(yù)測(cè)幀P的像素位置在定位圖Loc中被“加亮”，即Loc(i0+vx，j0+q)＝1(其中q在0和7之間)和Loc(i0+p，j0+vy)(其中p在0和7之間)。當(dāng)然也可以設(shè)想其它表示定位子步驟Loc的結(jié)果的方式，但是該方式具有簡(jiǎn)單的優(yōu)點(diǎn)。
下一步驟中，考慮整個(gè)所選定解碼圖像SDI。這涉及評(píng)估可見度測(cè)量V的步驟VIS，其特征在于評(píng)估所述所選定解碼圖像SDI中的次網(wǎng)格的可見度。
這樣的評(píng)估可以以不同的方式進(jìn)行。所述評(píng)估可以特別地根據(jù)在屬于塊B8×8_uni_lmv的像素(i，j)附近的亮度或?qū)Ρ榷茸兓亩ㄎ粶y(cè)量，例如Loc(i，j)＝1。在此情況下，有必要從前一子步驟提供定位圖Loc給所述步驟EVAL。
但是，應(yīng)當(dāng)記得，這樣的8×8選定像素塊B8×8_uni_lmv具有相對(duì)一致的紋理，從而可以預(yù)期該對(duì)比度范圍小并且塊B8×8_uni_lmv之間變化很小、因此其對(duì)于圖像SDI的區(qū)域中的次網(wǎng)格的可見度來說不是很典型。
也可以設(shè)想借助于有關(guān)人視覺系統(tǒng)的常識(shí)來評(píng)估次網(wǎng)格的可見度。已經(jīng)表明，例如對(duì)比度變化在平均亮度(255個(gè)可能級(jí)別中的約70-90單位的對(duì)比度)的一致紋理區(qū)中比更亮或更暗的一致區(qū)更易見。這樣的考慮可以用于標(biāo)準(zhǔn)化塊B8×8_uni_lmv中次網(wǎng)格可見度測(cè)量的尺度。
在本發(fā)明的優(yōu)選實(shí)施例中，所述可見度評(píng)估涉及圖像組IG中預(yù)測(cè)幀P的位置。并不考慮對(duì)比度的局部范圍，也不考慮有關(guān)人視覺系統(tǒng)的知識(shí)。另一方面，它依賴于圖像組IG中圖像SDI的位置Pos(SDI)。
按照在圖9中示出的經(jīng)驗(yàn)研究，結(jié)果是，最受次網(wǎng)格現(xiàn)象影響的圖像IG組中的圖像是跟隨內(nèi)部幀I的第一預(yù)測(cè)幀P。在該圖像中次網(wǎng)格最明顯。隨后圖像也經(jīng)歷此現(xiàn)象但是是以衰減的方式?？梢姸燃?jí)別可以從圖像組IG圖像的塊效應(yīng)上的對(duì)比度范圍來扣除，如圖8所示。在本發(fā)明的優(yōu)選實(shí)施例中已經(jīng)保留了四個(gè)級(jí)別vk，k為從0-3。評(píng)估可見度測(cè)量的步驟因此產(chǎn)生圖像的每個(gè)像素的可見度測(cè)量vk。該測(cè)量例如被編碼在兩個(gè)比特中，并且對(duì)于包括接續(xù)第一內(nèi)部幀的至少9個(gè)預(yù)測(cè)幀P的圖像組來說具有以下值-對(duì)于屬于圖像組IG的三個(gè)第一預(yù)測(cè)幀P之一的像素(i，j)，V3＝11，從而Loc(i，j)＝1，-對(duì)于屬于圖像組IG的第四、五或六個(gè)預(yù)測(cè)幀P的像素(i，j)，V2＝10，從而Loc(i，j)＝1，-對(duì)于屬于圖像組IG的第七、八或九個(gè)預(yù)測(cè)幀P的像素(i，j)，V1＝01，從而Loc(i，j)＝1，-對(duì)于屬于第十個(gè)圖像或后續(xù)圖像的像素(i，j)或未在定位圖中顯示的像素(i，j)，V0＝00，從而Loc(i，j)＝0。
在優(yōu)選實(shí)施例中，可見度測(cè)量被用于加權(quán)解碼圖像中次網(wǎng)格的定位圖的像素值。次網(wǎng)格的加權(quán)定位圖Ploc被提供。換言之，對(duì)于具有可見度vk的圖像SDI的塊B8×8_uni_lmv的像素(i，j)，欲使(i，j)在次網(wǎng)格上，Loc(i，j)等于vk。在此情況下，單個(gè)加權(quán)定位圖Ploc包括所有有關(guān)次網(wǎng)格的可用信息。
在本發(fā)明的優(yōu)選實(shí)施例中使用的該評(píng)估步驟VIS的優(yōu)點(diǎn)是其簡(jiǎn)單性。應(yīng)當(dāng)記得按照本發(fā)明檢測(cè)次網(wǎng)格的方法的目的是其低復(fù)雜度和執(zhí)行快速，從而能夠適用在便攜式視頻解碼器中。
結(jié)合定位圖Loc所得到的可見度測(cè)量vk符合按照本發(fā)明的方法的主要目的，即定位了其中次網(wǎng)格的存在可被人眼看見并且對(duì)例如校正后處理操作產(chǎn)生干擾的解碼圖像中的區(qū)域。
讓我們考慮例如后處理塊效應(yīng)的方法的情況，該方法包括主濾波步驟。在所述步驟中至少使用一個(gè)濾波器。如前文所述，該方法通常從以下假定開始-主網(wǎng)格的定位已知，-塊效應(yīng)存在于主網(wǎng)格上。
所述濾波器因此被應(yīng)用于兩個(gè)像素塊之間的邊緣。已知次網(wǎng)格的定位，該校正塊效應(yīng)的方法可以結(jié)合第二濾波步驟(稱為次級(jí)濾波步驟)，包括至少一個(gè)濾波器。如圖10所示，對(duì)于包括主塊效應(yīng)PG和次塊效應(yīng)SG的給定的一對(duì)像素塊(B，B’)，使用濾波器F2的次級(jí)濾波操作例如在使用濾波器F1的主濾波步驟之前。所述濾波器F1被集中在塊B和B’之間的邊緣上，而所述濾波器F2被集中在由通過按照本發(fā)明的方法提供的次網(wǎng)格的定位圖Loc標(biāo)記的塊的像素行或列上。如果次網(wǎng)格的加權(quán)定位圖可用，所述方法還可以使濾波操作適配于塊效應(yīng)的可見度范圍。然后就是對(duì)最明顯的塊效應(yīng)使用較平滑的濾波器的問題。
讓我們現(xiàn)在考慮測(cè)量解碼圖像質(zhì)量的方法，該方法包括計(jì)數(shù)所述圖像中塊效應(yīng)數(shù)量的步驟。該方法通常從和前述后處理方法相同的假定開始，即主網(wǎng)格的定位已知和塊效應(yīng)存在于該主網(wǎng)格上。所述計(jì)數(shù)步驟計(jì)數(shù)例如存在于塊中的每個(gè)網(wǎng)格段的塊效應(yīng)或位于網(wǎng)格上的多個(gè)像素。已知次網(wǎng)格的定位，該測(cè)量質(zhì)量的方法可以因此將由次網(wǎng)格造成的塊效應(yīng)添加入由主網(wǎng)格造成的塊效應(yīng)的數(shù)目中。所得的質(zhì)量范圍因而更現(xiàn)實(shí)。如果次網(wǎng)格的加權(quán)定位圖可用，該方法還可以通過用所計(jì)算的塊效應(yīng)數(shù)目加權(quán)塊效應(yīng)的影響(作為與其關(guān)聯(lián)的可見度的函數(shù))來有利地改善它的質(zhì)量范圍。
圖11示出了適于提供解碼數(shù)字圖像DS并包括按照本發(fā)明的處理裝置的視頻解碼器DEC的操作。該視頻解碼器包括-用于對(duì)所接收的編碼圖像RI進(jìn)行可變長(zhǎng)度解碼VLD的裝置，適于提供經(jīng)量化的數(shù)據(jù)QD，-用于對(duì)經(jīng)量化的數(shù)據(jù)QD進(jìn)行反量化IQ的裝置，適于提供變換的數(shù)據(jù)TD，-用于將經(jīng)變換的數(shù)據(jù)TD反離散余弦變換IDCT為經(jīng)反變換的數(shù)據(jù)ITD的裝置，-用于使用圖像存儲(chǔ)器MEM重建圖像的裝置REC，適于根據(jù)經(jīng)反變換的數(shù)據(jù)ITD和之前的解碼圖像PDI提供解碼圖像DI，-后處理裝置PP，適于從解碼圖像DI和次網(wǎng)格定位圖提供經(jīng)后處理的解碼圖像PPDI，所述定位圖由處理裝置SEC_GRID使用按照本發(fā)明的處理方法提供。
所述經(jīng)后處理的解碼圖像PPDI隨后被提供給適于在屏幕上顯示所述經(jīng)后處理的解碼圖像的顯示裝置DISP。
圖12示出了適于接收數(shù)字圖像序列IS的視頻編碼器ENC的操作，并且所述ENC在編碼環(huán)路中包括適于提供先前的解碼圖像DI的內(nèi)部解碼裝置IDEC，后面是后處理裝置PP，適于根據(jù)由按照本發(fā)明的處理裝置SEC_GRID提供的定位圖Loc和可能的可見度測(cè)量vk，來提供所述經(jīng)后處理的先前解碼圖像PPDI。視頻編碼器ENC包括-用于使用例如離散余弦變換將通過從輸入圖像序列IS的圖像I中減去先前的經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)膱D像MCI以后而獲得的誤差圖像E離散余弦變換DCT為經(jīng)變換的數(shù)據(jù)TD的裝置，-用于量化經(jīng)變換的數(shù)據(jù)TD的裝置QUANT，適于提供經(jīng)量化的數(shù)據(jù)QD，-用于對(duì)經(jīng)量化的數(shù)據(jù)進(jìn)行可變長(zhǎng)度編碼VLC的裝置，適于提供編碼圖像EI。
該視頻編碼器ENC還包括內(nèi)部解碼單元IDEC，串聯(lián)地包括-用于對(duì)經(jīng)量化的數(shù)據(jù)QD進(jìn)行反量化IQANT的裝置，適于提供經(jīng)變換的數(shù)據(jù)TD，-用于將經(jīng)變換的數(shù)據(jù)反離散余弦變換為經(jīng)反變換的數(shù)據(jù)ITD的裝置，-來自裝置IDCT和運(yùn)動(dòng)補(bǔ)償裝置MC的數(shù)據(jù)的加法器ADD，適于提供重建的先前圖像RPI，-后處理裝置PP，適于提供經(jīng)后處理的解碼的先前圖像PPDI，并包括濾波單元FILT和按照本發(fā)明的處理裝置SEC_GRID，所述處理裝置適于處理來自加法器ADD的輸出的經(jīng)重建的先前圖像RPI，從而向所述濾波單元FILT提供次網(wǎng)格的定位圖Loc和所述網(wǎng)格的可見度測(cè)量vk，-圖像存儲(chǔ)器MEM，適于存儲(chǔ)由運(yùn)動(dòng)補(bǔ)償裝置MC使用的圖像，例如先前解碼圖像PDI，和來自運(yùn)動(dòng)估計(jì)裝置ME的運(yùn)動(dòng)矢量MV，
-減法器SUB，適于從數(shù)字輸入圖像I中減去來自運(yùn)動(dòng)補(bǔ)償裝置MC的數(shù)據(jù)，該減法器SUB的結(jié)果被提供給離散余弦變換裝置DCT。
按照本發(fā)明的處理裝置SEC_GRID因此可以改善后處理裝置PP的性能，并且因而改善解碼器DEC或視頻編碼器ENC的性能。
本發(fā)明不限于已經(jīng)通過示例描述的實(shí)施例。在不脫離本發(fā)明的范圍的情況下可以進(jìn)行修改或改進(jìn)。本發(fā)明不限于已經(jīng)按照MPEG-4或H.26L編碼技術(shù)以低速率編碼并隨后解碼的圖像中的次網(wǎng)格檢測(cè)。也可應(yīng)用于已經(jīng)通過使用塊和運(yùn)動(dòng)補(bǔ)償?shù)娜魏渭夹g(shù)解碼的圖像。
以上參考圖1-12的描述說明了而不是限制了發(fā)明。顯然存在不偏離所附權(quán)利要求書范圍的其它替換例。
有許多利用軟件實(shí)施所述功能的方式。就此而言，圖1-12是非常概略的，并且每個(gè)圖僅表示一個(gè)實(shí)施例。雖然圖以分離框的形式示出了不同的功能，但是不排除由一個(gè)軟件項(xiàng)執(zhí)行幾個(gè)功能。也不排除由軟件集合執(zhí)行一個(gè)功能。
可以通過被合并在便攜式多媒體設(shè)備(例如個(gè)人數(shù)字助理或移動(dòng)電話)中的數(shù)字解碼電路來實(shí)施這些功能，所述電路便于編程。可編程存儲(chǔ)器中的指令組可以使得電路執(zhí)行參考圖1-12的前述不同操作。指令組也可以通過讀取數(shù)據(jù)載體(例如CD-ROM)而被裝載到可編程存儲(chǔ)器中。讀取也可以經(jīng)通信網(wǎng)絡(luò)(例如因特網(wǎng))來實(shí)現(xiàn)。在此情況下，服務(wù)提供商將使指令組供感興趣的人們?nèi)我馐褂谩?br> 權(quán)利要求中的括號(hào)之間的參考符號(hào)不應(yīng)被解釋為限制權(quán)利要求。動(dòng)詞“包括”的使用不排除存在權(quán)利要求中所述以外的元件或步驟。元件或步驟之前的不定冠詞“一個(gè)”不排除存在多個(gè)這樣的元件或步驟。
權(quán)利要求
1.一種處理按照像素塊編碼技術(shù)編碼和解碼的數(shù)字圖像(DI)的方法，所述技術(shù)適于提供每個(gè)像素塊的運(yùn)動(dòng)矢量(MV)和每個(gè)圖像的量化步幅(Q)，其特征在于所述方法包括步驟-如果其量化步幅(Q)大于預(yù)定閾值，選擇(SELECT)所述解碼圖像，-檢測(cè)(DETECT)具有次網(wǎng)格的像素塊，包括子步驟-如果所述塊(B8×8)具有小于所述預(yù)定亮度閾值(S)的像素亮度變化，檢測(cè)(UNI)所選定解碼圖像(SDI)的一致塊，-如果其關(guān)聯(lián)運(yùn)動(dòng)矢量(MV)非零并且具有小于預(yù)定幅度閾值(Sa)的幅度，選擇(MV_SELECT)一致塊(B8×8_uni)，-在所選定的一致塊(B8×8_uni_tmv)中定位(LOC)次網(wǎng)格為關(guān)聯(lián)運(yùn)動(dòng)矢量(MV)的函數(shù)。
2.如權(quán)利要求1所述的處理解碼數(shù)字圖像(DI)的方法，其特征在于所述方法用于提供所述解碼數(shù)字圖像的次網(wǎng)格的定位圖(Loc)。
3.如權(quán)利要求1所述的處理解碼數(shù)字圖像的方法，所述圖像(DI)屬于圖像組(IG)，其特征在于所述方法還包括步驟-評(píng)估(VIS)所述所選定解碼圖像(SDI)中的次網(wǎng)格的可見度測(cè)量(Vk)為圖像組(IG)中圖像(SDI)位置的函數(shù)。
4.如權(quán)利要求2和3所述的方法，其特征在于可見度測(cè)量(Vk)用于加權(quán)所選定解碼圖像(SDI)中次網(wǎng)格定位圖(Loc)的像素值。
5.一種用于對(duì)解碼數(shù)字圖像(DI)進(jìn)行后處理(PP)的裝置，該裝置包括濾波單元(FILT)，其特征在于，所述裝置包括用于使用如權(quán)利要求1-4中的任一權(quán)利要求所述的處理方法處理所述圖像、提供所述圖像中次網(wǎng)格的定位(Loc)的裝置(SEC_GRID)，所述濾波單元適于考慮所述定位從而提供經(jīng)處理的解碼數(shù)字圖像(PPDI)。
6.一種測(cè)量解碼數(shù)字圖像質(zhì)量的裝置，該裝置包括塊效應(yīng)計(jì)數(shù)器，其特征在于，所述裝置包括用于使用如權(quán)利要求1-4中的任一權(quán)利要求所述的處理方法處理所述圖像、提供所述圖像中的次網(wǎng)格檢測(cè)的裝置(SEC_GRID)，所述塊效應(yīng)計(jì)數(shù)器適于考慮所述檢測(cè)從而提供解碼數(shù)字圖像的質(zhì)量范圍。
7.一種用于提供解碼數(shù)字圖像(DI)并包括如權(quán)利要求5所述的后處理裝置(PP)的視頻解碼器(DEC)，適于提供經(jīng)處理的解碼數(shù)字圖像(PPDI)。
8.一種用于編碼數(shù)字輸入圖像(I)的視頻編碼器(ENC)，該編碼器包括提供解碼數(shù)字圖像(DI)的內(nèi)部解碼裝置(IDEC)，其后跟隨著如權(quán)利要求5所述的對(duì)所述解碼圖像進(jìn)行后處理的裝置(PP)，用于提供經(jīng)處理的解碼數(shù)字圖像。
9.一種便攜式設(shè)備，包括如權(quán)利要求7所述的視頻解碼器并適于在所述設(shè)備的屏幕上顯示經(jīng)處理的解碼數(shù)字圖像。
10.一種用于處理按照塊編碼技術(shù)編碼和解碼的數(shù)字圖像的裝置的計(jì)算機(jī)程序，該計(jì)算機(jī)程序包括指令組，當(dāng)裝載到所述處理裝置的電路中時(shí)所述指令組使得所述計(jì)算機(jī)執(zhí)行如權(quán)利要求1-4中的任一權(quán)利要求所述的方法。
11.一種用于傳送如權(quán)利要求10所述的計(jì)算機(jī)程序的信號(hào)。
全文摘要
本發(fā)明涉及一種處理按照像素塊編碼技術(shù)編碼和解碼的數(shù)字圖像的方法，適于提供每個(gè)像素塊的運(yùn)動(dòng)矢量和每個(gè)圖像的量化步幅。所述方法包括如果其量化步幅大于預(yù)定閾值則選擇所述解碼圖像的步驟，和檢測(cè)具有次網(wǎng)格的像素塊的步驟。所述檢測(cè)步驟包括檢測(cè)解碼圖像的一致塊的子步驟，選擇運(yùn)動(dòng)非零并且具有小于預(yù)定幅度閾值的幅度的一致塊的子步驟，和在所選定的一致塊中定位次網(wǎng)格為其運(yùn)動(dòng)矢量的函數(shù)的子步驟。該方法具有增強(qiáng)校正塊效應(yīng)或評(píng)估所述解碼圖像的質(zhì)量的方法性能的優(yōu)點(diǎn)。此外，所述方法具有低復(fù)雜度，使得能夠在便攜式多媒體設(shè)備中實(shí)時(shí)使用它。
文檔編號(hào)H04N7/30GK1650635SQ03809668
公開日2005年8月3日 申請(qǐng)日期2003年4月22日 優(yōu)先權(quán)日2002年4月30日
發(fā)明者J·榮格 申請(qǐng)人:皇家飛利浦電子股份有限公司