專利名稱：校正基于塊的編碼器傳送的圖象信號中的信道誤差的方法
技術(shù)領域：
本發(fā)明涉及一種解碼圖象信號的裝置，而更具體地，涉及一種對已由一基于塊的圖象信號編碼器傳送出的解碼圖象信號中出現(xiàn)的信道誤差進行影響或校正的裝置。
符合MPEG(活動圖象專家組)標準的典型基于塊的圖象信號編碼器執(zhí)行包括級聯(lián)的變換操作，量化及平均信息量編碼的源編碼。具體地，一個圖象被分割成多個不相重疊的塊；然后各塊經(jīng)過DCT(離散余弦變換)被變換以消除其中的空間冗余；再接著，使DCT系數(shù)量化并使用可變長度碼字對其進行平均信息量編碼。隨后，將編碼圖象信號經(jīng)傳輸信道傳送給解碼器。
但是，由于在傳輸過程期間易于引起信道誤差，為了減小或校正信道誤差，通常，使用各種誤差控制編碼方法相對編碼圖象信號進行信道編碼。在一種傳統(tǒng)的誤差控制編碼方法中，對每個預定源碼組添加附加位，以檢測及校正在解碼處理期間的信道誤差。但是，僅是在有限程度上能以此方式校正誤差。如果在預定組中出現(xiàn)的誤差量超過誤差校正方案的容量，這些誤差不能被校正，且包含該(些)種誤差的編碼塊的整個象素數(shù)據(jù)可被指定為一誤差，而沒有校正該錯誤指定的任何可能性。由于例如缺乏基于塊的象素數(shù)據(jù)，所產(chǎn)生的圖象就會有能被人視覺明顯察覺的缺陷。為了解決這種問題，因而就被建議出各種誤差遮蔽方案，例如POSS(投影到凸狀組系)的方法，來遮蔽或估算包含塊的誤差的象素數(shù)據(jù)，由此對在傳輸過程中可能出現(xiàn)的圖象降級作出補償(見例如Huifang Sun等人著的“使用投影到凸狀組系來遮蔽損壞的塊變換編碼圖象”IEEE Transactions on ImageProcessing，4，No.4，第470-477頁 (1955年4月)。但是，這種現(xiàn)有技術(shù)的誤差遮蔽方法仍不能令人滿意，因為它們未能全面地考慮所給圖象信號的特性。
因而，本發(fā)明的一個主要目的是提供一種改善的信道誤差校正的方法，它能基于圖象信號的特性來校正圖象信號的信道誤差。
根據(jù)本發(fā)明，提供了一種使用在圖象信號解碼系統(tǒng)中對以逐塊壓縮形式傳送的圖象信號中的誤差進行遮蔽的方法，該解碼系統(tǒng)包括一個解碼電路，用于在逐塊的基礎上將傳輸?shù)膱D象信號解碼成解碼圖象信號并檢測包含誤差的一個誤差塊，該誤差塊具有預定數(shù)目的且在其中不包含誤差的周圍塊，每個周圍塊在其中具有多個象素，所述方法包括以下的步驟將每個周圍塊分類成一個單調(diào)類，一個邊緣類或一個結(jié)構(gòu)類，單調(diào)類代表在其中不包含邊緣的塊，邊緣類表示在其中包含一個邊緣的塊，而結(jié)構(gòu)類代表在其中包含一個以上邊緣的塊；如果相對于誤差塊僅有一對彼此相反方向定位的周圍塊是邊緣類的，并具有穿過該誤差塊的相同邊緣方向，則將誤差塊分類成邊緣類，否則，就根據(jù)具有單調(diào)類或結(jié)構(gòu)類的周圍塊的數(shù)目被分類為單調(diào)類或結(jié)構(gòu)類；及基于它的分類對誤差塊進行這樣的校正，即如果該誤差塊是單調(diào)類的，則使包含在誤差塊中的象素具有與將周圍塊的象素值平均所獲得的值相同的值，如果該誤差塊是邊緣類的，則基于形成所述穿過誤差塊的相同邊緣方向的象素值來確定誤差塊的象素值，而如果該誤差塊是結(jié)構(gòu)類的，則基于結(jié)構(gòu)類的周圍塊的象素值來確定誤差塊的象素值。
從以下結(jié)合附圖對優(yōu)選實施例的說明中，本發(fā)明的上述和另外的目的及特征將更加明了，附圖為

圖1表示根據(jù)本發(fā)明的信道誤差遮蔽裝置的電路框圖；圖2表示圖1的信道誤差遮蔽裝置中的類確定單元的詳細電路框圖；圖3A至3G，用于解釋圖1中所示的類確定單元的操作；圖4表示用于描述圖1的單調(diào)類遮蔽單元的操作的一個含塊及它的周圍塊的誤差；圖5A及5B概要地表示圖1的邊緣類遮蔽單元的操作；及圖6A至6F概要地描繪了在誤差塊為結(jié)構(gòu)類情況下的本發(fā)明遮蔽方法。
參照圖1，它表示根據(jù)本發(fā)明的一個優(yōu)選實施例的信道誤差遮蔽裝置的電路框圖。如圖1中所示，被傳輸?shù)膱D象信號通過傳輸信道供給到一個解碼電路102，其中被傳輸?shù)膱D象信號已在逐塊基礎上被源編碼并在傳輸端使用傳統(tǒng)誤差控制編碼方案被信道編碼。在解碼電路102上，在逐塊的基礎上使被傳輸?shù)膱D象信號解碼成一個解碼圖象信號。在傳輸信道中可能出現(xiàn)的誤差也在解碼電路102上被檢測及校正。這些誤差可使用基于由誤差控制編碼方案附加的附加位的誤差校正方案被校正。但是，如果出現(xiàn)了比誤差校正方案中所允許容量大的誤差數(shù)目，這些誤差將不能被校正；且包含任何這些未校正誤差的整個塊將被指定為一個誤差塊并不能所解碼。由解碼電路102輸出的是解碼圖象信號塊的象素數(shù)據(jù)及指示誤差塊的誤差信息信號，它們被提供給一個誤差塊替換單元104。在該誤差塊替換單元104中，響應指定誤差塊位置的誤差信息信號，從其中的一個在其內(nèi)存儲解碼圖象信號的存儲器(未示出)中檢索出它周圍的多個塊，例如8個塊；及將位置信息信號及檢索的周圍塊經(jīng)由導線L10傳送給類確定單元106，單調(diào)類遮蔽單元108，邊緣類遮蔽單元110及結(jié)構(gòu)類遮蔽單元120。誤差塊將使用基于周圍塊類信息選擇的這三個遮蔽單元中的一個被校正。
為了選擇適合于圖象信號特性的最佳校正方法，類確定單元106首先基于其邊緣圖型，將每個周圍塊分類成三種類型中的一種，即相應于在其中不具有邊緣的單調(diào)類塊，相應于在其中具有一個邊緣的邊緣類塊及相應于在其中具有多于一個邊緣的結(jié)構(gòu)類塊，然后，基于周圍塊的類信息確定誤差塊的類。接著將誤差塊的類信息經(jīng)過導線L12提供給一個開關(guān)118并在其中用作它的控制信號。對類確定塊106的細節(jié)將參照圖2來描述。
參照圖2，來自于誤差塊替換單元104的用于每個周圍塊的象素數(shù)據(jù)及位置信息信號經(jīng)由導線L10分別地被輸入到偏差計算單元202及邊緣檢測器219。在偏差計算單元202上，對每個周圍塊的偏差作計算，以確定是否在每個周圍塊中至少存在一個邊緣。偏差Bvar如下地導出
式中N是分別位于周圍塊的行及列中的象素總數(shù)目；Bm是周圍塊的平均象素值；及X(i，j)是周圍塊中象素位置(i，j)上的象素值。每個周圍塊的偏差及象素值均被提供給第一比較器204。
在第一比較器204上，然后將每個周圍塊的偏差Bvar與第一閾值TH1相比較。如果偏差Bvar大于TH1，則確定出相應的周圍塊具有一個或多個邊緣及將周圍塊的象素值提供給一個投影單元208。如果該偏差Bvar等于或小于TH1，則相應的周圍塊被考慮為在其中不具邊緣的單調(diào)類，及將一個邏輯高信號提供給第一計數(shù)器206，在其中對單調(diào)類的周圍塊數(shù)目計數(shù)。
在投影單元208上，為了確定由第一比較器204提供的每個周圍塊是具有一個邊緣還是多于一個邊緣，相對于每個提供來的周圍塊進行多次定向投影。
參照圖3A至3E，它們概要地表示在根據(jù)本發(fā)明的投影單元208上進行的四次定向投影處理。對于一個示例的具有16個象素值的4×4塊，四次定向投影、即如圖3A所示的垂直的、水平的、第一對角的及第二對角的投影其結(jié)果分別表示在圖3B至3E中。圖3B至3E中的每個投影值是沿著圖3中所示的各數(shù)字表示的每個投影線上的象素值的平均值。然后將這些投影結(jié)果提供給差值計算單元210及邊緣檢測器219。
在差值計算單元210上，計算垂直投影結(jié)果與水平投影結(jié)果之間的第一差值和第一對角投影結(jié)果與第二對角投影結(jié)果之間的第二差值。第一差值將如下地確定首先計算水平投影的每根投影線1至4的投影值與垂直投影中相同數(shù)字表示的相應投影線的投影值之間差值的絕對值；然后，將所有投影線差值的絕對值進行平均獲得第一差值。第二差值以類似方式確定。第一及第二差值經(jīng)由導線L13被送到第二比較器212及邊緣檢測器219。
在第二比較器212上，將第一及第二差值與第二預定閾值TH2相比較。如果僅是一個差值大于或等于TH2，則意味著其中僅存在一個邊緣或一個主要的邊緣，于是該周圍塊被分類為相應于在其中具有一個邊緣的塊的邊緣類。在這種情況下由第二比較器212輸出的是邊緣類信號，它被送到邊緣檢測器219，該邊緣類信號指示周圍塊是邊緣類的塊。在兩個差值都小于TH2的情況下，這意味著在其中指示存在多于一個非主要邊緣；因此，該塊被分類為結(jié)構(gòu)類。此外，如果兩個差值均大于或等于TH2，該塊也被分類為結(jié)構(gòu)類，因為這種結(jié)果意味著在該塊中存在多于一個較強的邊緣。在給定周圍塊被確定為結(jié)構(gòu)類的情況下，指示當前周圍塊為結(jié)構(gòu)類的邏輯高結(jié)構(gòu)類信號經(jīng)由導線L15傳送給圖1中所示的結(jié)構(gòu)類遮蔽單元120，及傳送給第二計數(shù)器214，在該計數(shù)器中對結(jié)構(gòu)類的周圍塊數(shù)目進行計數(shù)。
在邊緣檢測器219上，確定邊緣類的每個周圍塊中的邊緣方向，然后如下地基于邊緣類周圍塊的邊緣方向確定誤差塊中邊緣的存在及邊緣方向。首先，為了確定邊緣類的每個周圍塊的邊緣方向，將用于給定周圍塊的兩個差值作相互比較，響應來自第二比較器212的邊緣類信號，選擇一組引起大差值的投影，即一組垂直及水平投影，或一組第一及第二對角投影；然后對選擇組的每個投影計算投影值的偏差，以確定其中較大的偏差。接著，選擇具有較大偏差的投影方向作為給定周圍塊的邊緣方向。對于圖3A至3E中所示的例子，一組垂直及水平投影具有較大差值及水平投影的偏差大于垂直投影的偏差；因此，具有如圖3A中所示的象素值的一個周圍塊被認為具有水平邊緣方向。在選擇組的偏差偶然相同的情況下，該周圍塊被看作是非邊緣類，及它的邊緣方向不在邊緣檢測器219上確定。應該指出，周圍塊的被確定邊緣假定經(jīng)過該周圍塊的中心。換句話說，邊緣類的一周圍塊中的一個邊緣被量化成通過該周圍塊的中心部分的四個邊緣中的一個。
在確定了邊緣類的每個周圍塊的邊緣方向后，則響應于來自誤差塊替換單元104的位置信息信號使這些周圍塊被布置在它們各自相應的位置上；然后基于邊緣類周圍塊的邊緣方向確定誤差塊的邊緣方向。尤其是，當，并僅當一對彼此相反定位的周圍塊相對于誤差塊具有相同方向的邊緣時，例如圖3F中所示的A1及A2，B1及B2，C1及C2，或D1及D2，該誤差塊被分類為邊緣類，及將相應于這對周圍塊的邊緣方向指定為誤差塊的邊緣方向。在此情況下，將邊緣檢測信號經(jīng)由導線L17供給到一個類確定器218，而代表誤差塊被確定邊緣方向的邊緣方向信號經(jīng)由導線L14被送到圖1中所示的邊緣類遮蔽單元110。在所有另外的情況下，例如，一組周圍塊邊緣、如圖3G中所示的(E1，E2及E3)，(F1，F(xiàn)2及F3)，(G1，G2，G3)和(H1，H2及H3)平行于誤差塊的行或列的方向延伸而不穿過這些塊，或存在多于一對的圖3F中所示的這種周圍塊，則該誤差塊被確定為非邊緣類。
在類確定器218上，響應于來自計數(shù)器206及214所計的數(shù)及來自邊緣檢測器219的邊緣檢測信號來確定誤差塊的類。這就是，如果被提供了邊緣檢測信號，該誤差塊被確定為邊緣類，而不管來自第一及第二計數(shù)器206及214的計數(shù)值如何。否則，將來自第一計數(shù)器206及第二計數(shù)器214的計數(shù)值彼此相比較，及將相應于較大計數(shù)值的類選擇來規(guī)定誤差塊的類，即，如果來自第一計器206的計數(shù)值大于或等于來自第二計數(shù)器214的計數(shù)值，誤差塊被分類為單調(diào)類，否則該塊被分類為結(jié)構(gòu)類。代表誤差塊類的類信號經(jīng)由導線L12被提供給開關(guān)118，作為開關(guān)控制信號。
再參照圖1，在單調(diào)類遮蔽單元108上，基于所有周圍塊的象素數(shù)據(jù)來估算誤差塊的象素值。具體地，如圖4中所示的例子，誤差塊DB1的周圍塊B1至B8被分成兩個集，即邊塊B2，B4，B5及B7的一個集，及角塊B1，B3，B6及B8的一個集，邊塊是用邊圍繞誤差塊的塊，而角塊是用角與誤差塊相接的塊。誤差塊DB的代表象素值可如下地獲得E＝W1(m1＋m3＋m6＋m8)＋W2(m2＋m4＋m5＋m7)式 (2)式中E是誤差塊DB的代表象素值，m是周圍塊B的平均值及下標K為1至8，和W1及W2為加權(quán)系數(shù)。兩個加權(quán)系數(shù)的和為1/4，且W1小于W2，因為周圍的邊塊比角塊對誤差塊的影響大。該代表象素值被設置為對于誤差塊所有象素的估算值，并經(jīng)由導線L16作為第一校正塊信號被送到開關(guān)118。
與此同時，邊緣類的誤差塊使用HuifangSun等人在上述文章中所述的迭代恢復算法由邊緣類遮蔽單元來校正。該迭代恢復算法具有三個步驟。首先，如果由圖2中所示的邊緣檢測器219提供了邊緣方向信號，所有的誤差塊象素值被置為零，并使用例如傅里葉交換對由誤差塊及其周圍塊構(gòu)成的處理塊進行變換，以產(chǎn)生一組變換系數(shù)，其中在空間域中的處理塊的邊緣方向被反映到沿與邊緣方向正交方向上的頻域中的這組的變換系數(shù)部分中。其次，為了在處理塊中使用空間校正邊緣信息，在該組中該變換系數(shù)部分外的變換系數(shù)被用零值遮蔽；并使用例如反向傅里葉變換對變換塊進行反向變換，由此重構(gòu)處理塊，其中變換塊由未被遮蔽的變換系數(shù)部分及位于該部分外的被零值遮蔽的變換系數(shù)組成。最后，對相應于周圍塊的重構(gòu)處理塊的象素值用它們的原始象素值取代，由此提供遮蔽處理塊，其中遮蔽處理塊由周圍塊位置上的處理塊原始象素值及誤差塊位置上的重構(gòu)象素值組成。例如，如果處理塊的邊緣如圖5A中所示的對角方向的，誤差塊的象素值被設置為零，并使用傅里葉變換技術(shù)變換整個處理塊，由此提供一組有如圖5B中所示的在(0，0)位置上的DC值及高頻(Hf)分量的變換系數(shù)。然后，使用包括沿正交于邊緣方向的方向上的DC值的變換系數(shù)的陰影部分及位于陰影部分外的零遮蔽變換系數(shù)，進行反向傅里葉變換以重構(gòu)處理塊。這些步驟對于遮蔽處理塊被重復進行N次，N為一預定數(shù)，由此將誤差塊的象素值更新N次，以產(chǎn)生邊緣類誤差塊的估算象素值。該估算象素值經(jīng)由導線L18作為第二校正塊信號供給到開關(guān)118。
在具有DCT(離散余弦變換)單元112，平均系數(shù)計算器114及IDCT(反向離散余弦變換)單元116的結(jié)構(gòu)類遮蔽單元120上，使用其同樣類型的周圍塊對結(jié)構(gòu)類誤差塊進行校正。例如，如圖6A中所示，誤差塊DB2的周圍塊包括單調(diào)類塊M1及M2，邊緣類塊E1及E2和結(jié)構(gòu)類塊T1至T4，對該誤差塊DB2使用四個結(jié)構(gòu)類塊T1至T4來校正。具體地，在DCT單元112上，每個結(jié)構(gòu)類周圍塊T1至T4響應于由圖2中所示的類確定單元106中的第二比較器212所提供的結(jié)構(gòu)類信號被轉(zhuǎn)換成一組DCT變換系數(shù)，其中用于每個塊T1至T4的這組DCT變換系數(shù)包括分別如圖6B至6E中所示的一個DC系數(shù)及預定數(shù)目的AC系數(shù)，每個系數(shù)代表它相應的頻率分量的幅值。
在平均系數(shù)計算器114上，對用于誤差塊的每個頻率分量的變換系數(shù)通過對結(jié)構(gòu)類周圍塊相應頻率分量的系數(shù)取平均值進行計算。參照圖6F，它表示用于誤差塊DB2的變換系數(shù)，其中DC1是用于圖6B至圖6E中所示周圍塊T1至T4的DC系數(shù)dC1至dc4的平均變換系數(shù)；AC1是AC系數(shù)ac1，ac4，ac7及ac10的平均變換系數(shù)；AC2是AC系數(shù)ac2，ac5，ac8及ac11的平均變換系數(shù)；及AC3是ac3，ac6，ac9及ac12的平均變換系數(shù)，及以此類推。在IDCT單元116上，將如圖6F中所示的一組平均變換系數(shù)轉(zhuǎn)換成用于結(jié)構(gòu)類誤差塊的估算象素值。該估算象素值通過導線L20作為第三校正塊信號被提供給開關(guān)118。
開關(guān)118，響應來自類確定單元106的類信號，選擇由三個遮蔽單元108，110及120提供的校正塊信號中的一個。所選擇的校正塊信號被傳送到誤差塊替換單元104，其中誤差塊被選擇的校正塊信號替換。在處理了解碼圖象信號中的所有誤差塊后，將校正的圖象信號提供給例如一個顯示單元(未示出)，以便將其顯示。
雖然本發(fā)明僅是以參照優(yōu)選實施例作出圖解與說明的，但顯然對本領域的普通技術(shù)人員來說，在不偏離如附設權(quán)利要求書所限定的本發(fā)明精神和范圍的情況下，可作出許多變化及改型。
權(quán)利要求
1.一種使用在圖象信號解碼系統(tǒng)中對以逐塊壓縮形式傳送的圖象信號中的誤差進行遮蔽的方法，該解碼系統(tǒng)包括一個解碼電路，用于在逐塊的基礎上將傳輸?shù)膱D象信號解碼成解碼圖象信號并檢測包含誤差的一個誤差塊，該誤差塊具有預定數(shù)目的且在其中不包含誤差的周圍塊，每個周圍塊在其中具有多個象素，所述方法包括以下步驟將每個周圍塊分類成一個單調(diào)類，一個邊緣類或一個結(jié)構(gòu)類，單調(diào)類代表在其中不包含邊緣的塊，邊緣類表示在其中包含一個邊緣的塊，而結(jié)構(gòu)類代表在其中包含不止一個邊緣的塊；如果相對于誤差塊僅有一對彼此相反定位的周圍塊是邊緣類的，并具有穿過誤差塊的相同邊緣方向，則將誤差塊分類成邊緣類，否則，就根據(jù)具有為單調(diào)類或結(jié)構(gòu)類的周圍塊的數(shù)目將誤差塊分類為單調(diào)類或結(jié)構(gòu)類；及基于它的分類對誤差塊進行這樣的校正，即如果該誤差塊是單調(diào)類的，則使包含在誤差塊中的象素具有與將周圍塊的象素值進行平均所獲得的值相同的值，如果該誤差塊是邊緣類的，則基于形成所述穿過誤差塊的相同邊緣方向的象素值來確定誤差塊的象素值，而如果該誤差塊是結(jié)構(gòu)類的，則基于結(jié)構(gòu)類的周圍塊的象素值來確定誤差塊的象素值。
2.根據(jù)權(quán)利要求1所述的方法，其中這些周圍塊包括用邊距包圍誤差塊的四個邊塊及用角距與誤差塊相鄰的四個角塊。
3.根據(jù)權(quán)利要求2所述的方法，其中在校正單調(diào)類的誤差塊中所使用的所述相同值是將第一加權(quán)系數(shù)與四個邊塊的象數(shù)值相乘及將第二加權(quán)系數(shù)與四個角塊的象素值相乘，并將這兩個加權(quán)的象素值相加而獲得的。
4.根據(jù)權(quán)利要求3所述的方法，其中所述誤差是在圖象信號傳輸過程期間出現(xiàn)的信道誤差。
全文摘要
一種使用在圖象信號解碼系統(tǒng)中對以逐塊壓縮形式傳送的圖象信號中的誤差進行遮蔽的方法，包括以下步驟將每個周圍塊分類成一個單調(diào)類，一個邊緣類或結(jié)構(gòu)類；如果相對于誤差塊僅有一對彼此相反定向的周圍塊并具有穿過誤差塊的相同邊緣方向，則將誤差塊分類成邊緣類，否則，就根據(jù)具有單調(diào)類或結(jié)構(gòu)類的周圍塊的數(shù)目被分類為單調(diào)類或結(jié)構(gòu)類；及基于它的分類對誤差塊進行校正。
文檔編號G06T9/00GK1154049SQ9610640
公開日1997年7月9日 申請日期1996年6月3日 優(yōu)先權(quán)日1995年12月29日
發(fā)明者金鎮(zhèn)憲 申請人:大宇電子株式會社