專利名稱：系數(shù)數(shù)目減少的多變換塊聯(lián)合編碼的制作方法
技術領域：
本發(fā)明涉及數(shù)字視頻和圖像材料的編碼和解碼。更具體地，本發(fā)明涉及視頻和圖像編碼中的變換系數(shù)的有效編碼和解碼。
背景技術：
本小節(jié)意在為權利要求中記載的發(fā)明提供背景或者上下文。這里的描述可以包括可以實現(xiàn)的概念，但是未必是之前已經想到或者實現(xiàn)的概念。因此，除非在此特別指明，否則，在本小節(jié)中描述的內容不是本申請的說明書和權利要求的現(xiàn)有技術，也不應由于包含在本小節(jié)中而被認為是現(xiàn)有技術。視頻編解碼器包括編碼器，其將輸入視頻變換為適于存儲和/或傳輸?shù)膲嚎s表示；以及解碼器，其可以將壓縮視頻表示解壓縮回可觀看形式。通常，編碼器將丟棄原始視頻序列中的某些信息，以便按照較為緊湊的形式(也即，以較低的比特率)來表示視頻。傳統(tǒng)的混合視頻編解碼器，例如ITU-T H. 263和H. 264,在兩個階段中編碼視頻信息。在第一階段，預測特定圖片區(qū)域或者說“塊”中的像素值。這些像素值例如可以通過運動補償機制來進行預測，運動補償機制包括找到以及指示與先前編碼的視頻幀之一中的與正在編碼的塊最接近對應的區(qū)域。而且，像素值可以通過空間機制來進行預測，空間機制包括使用塊周圍的像素值來估計該塊內部的像素值。第二階段包括對預測誤差(也即，像素的預測塊與像素的原始塊之間的差)進行編碼。這通常是這樣來完成的使用指定的變換 (例如，離散余弦變換(DCT)或其變形)來變換像素值的差，量化變換系數(shù)，并且對經過量化的系數(shù)進行熵編碼。通過改變量化過程的保真度，編碼器可以控制像素表示的精度(也即， 像素質量)與所得編碼視頻表示的大小(也即，文件大小或傳輸比特率)之間的平衡。應當注意，對于視頻和/或圖像壓縮來說，可以在不對變換系數(shù)應用預測的情況下，變換實際圖像和/或視頻幀的塊。例如，圖1是傳統(tǒng)視頻編碼器的框圖。更具體地，圖1示出待編碼的圖像100如何經歷像素預測102、預測誤差編碼103以及預測誤差解碼104。對于像素預測102，圖像100 經歷幀間預測106和幀內預測108，其在模式選擇110之后得到圖像塊的預測表示112。初步重建圖像114也被用于幀內預測108。一旦處理了所有圖像塊，初步重建圖像114便在 116經歷濾波，以創(chuàng)建最終的重建圖像140，其被發(fā)送到參考幀存儲器118，并且還被用于未來幀的幀間預測106。圖像塊的預測表示112以及待編碼的圖像100—起用來定義預測誤差信號120，其用于預測誤差編碼103。在預測誤差編碼103中，預測誤差信號120經歷變換122和量化 124。描述預測誤差以及圖像塊的預測表示112的數(shù)據(jù)(例如，運動向量、模式信息、量化的變換系數(shù))被傳遞給熵編碼126。預測誤差解碼104基本上與預測誤差編碼103相對，其中預測誤差解碼包括反量化1 和逆變換130。預測誤差解碼104的結果是重建的預測誤差信號132，其與圖像塊的預測表示112相結合用來創(chuàng)建初步重建圖像114。解碼器應用與編碼器所使用的類似的預測機制，以便形成像素塊的預測表示(使用由編碼器創(chuàng)建并存儲在壓縮表示中的運動或者空間信息)，從而重建輸出視頻。而且，解碼器使用預測誤差解碼(預測誤差編碼的逆操作，在空間像素域中恢復量化的預測誤差)。 在應用預測以及預測誤差解碼過程之后，解碼器對預測和預測誤差信號(也即，像素值)進行求和，以形成輸出視頻幀。解碼器(和編碼器)還可以應用附加的濾波過程，以便在傳遞輸出視頻以便顯示和/或將其作為視頻序列中即將到來的幀的預測參考進行存儲之前，改進輸出視頻的質量。例如，圖2是傳統(tǒng)視頻解碼器的框圖。如圖2所示，熵解碼200之后是預測誤差解碼202和像素預測204 二者。在預測誤差解碼202中，使用反量化206和逆變換208，最終得到重建預測誤差信號210。對于像素預測204，在212進行幀內預測或者幀間預測，以創(chuàng)建圖像塊的預測表示214。圖像塊的預測表示214與重建預測誤差信號210結合使用，以創(chuàng)建初步重建圖像216，其繼而在212被用于幀間預測或者幀內預測。一旦已經處理了所有圖像塊，便傳遞初步重建圖像216以用于濾波218。經過濾波的圖像可以作為最終重建圖像 220輸出，或者經過濾波的圖像可以存儲在參考幀存儲器222中，使其可用于預測212。在傳統(tǒng)視頻編解碼器中，運動信息由與每個經過運動補償?shù)膱D像塊相關聯(lián)的運動向量來指示。這些運動向量中的每一個表示待編碼(在編碼器側)或者解碼(在解碼器側)的圖片中的圖像塊與先前編碼或者解碼的圖片之一中的預測源塊之間的偏移。為了有效地表示運動向量，運動向量通常相對于塊特定的預測運動向量進行差分編碼。在傳統(tǒng)的視頻編解碼器中，預測運動向量以預定義的方式定義，例如，通過計算相鄰塊的已編碼或者已解碼的運動向量的中值。傳統(tǒng)的視頻編碼器使用拉格朗日(Lagrangian)代價函數(shù)來找到最優(yōu)編碼模式，例如，期望的宏塊模式以及相關聯(lián)的運動向量，其中宏塊包括16X16個像素的塊。這類代價函數(shù)使用加權因子λ來將有損編碼方法導致的準確或估計的圖像失真與表示圖像區(qū)域中的像素值所需的準確或估計信息量聯(lián)系在一起C = D+λ R (1)在公式(1)中，C是將要最小化的拉格朗日代價，D是考慮了模式和運動向量的圖像失真(例如，均方差)，而R是表示在解碼器中重建圖像塊所需數(shù)據(jù)所需要的比特數(shù)(包括表示候選運動向量的數(shù)據(jù)量)。傳統(tǒng)視頻和圖像壓縮系統(tǒng)通常獨立地對變換系數(shù)的每個塊進行編碼。然而，在某些情況下，對變換系數(shù)的每個塊進行獨立編碼不是有效的。這種低效可能是因為并非塊中的所有系數(shù)(特別是高頻系數(shù))對于編碼性能而言都是有價值的。而且，針對每個塊都指示有其它信息，諸如非零變換系數(shù)的數(shù)目和位置。出于這些原因，表示已編碼信號所需的比特率不必要地增加。存在克服所需比特率的增加的先前解決方案，諸如G. Bjontegaard和A. Fuldseth 在2004年1月中國香港的ITU-T Q. 6/SG16, doc. VCEG-YlO上提出的名為“Larger transform for residual signalcoding”的提議。該提議是國際電信聯(lián)盟電信標準化部門(ITU-T)標準貢獻，其中將16X16變換用于16X16塊。該提議解決了具有較少系數(shù)的平坦區(qū)域的編碼。然而，小數(shù)目的16X16變換系數(shù)僅能在只有低頻內容要編碼的情況下被編碼
發(fā)明內容
本發(fā)明的各種實施方式提供視頻/圖像編碼和解碼的系統(tǒng)和方法，其中與多個塊相關聯(lián)的變換系數(shù)被重新組織并且一起編碼。按照一個實施方式，宏塊可以劃分為較小的變換塊以用于編碼?？梢允褂脦瑑阮A測或者幀間預測來形成預測圖像，并且編碼器對預測誤差信號執(zhí)行變換和量化，并且生成變換系數(shù)，其中變換塊的系數(shù)基于預定的交錯技術而被交錯成陣列。如果沒有應用預測，則編碼器對實際圖像信號執(zhí)行變換和量化。而且，編碼器將僅對與每個較小變換塊相對應的變換系數(shù)的子集進行編碼，并且將其置于比特流中， 其中，編碼的變換系數(shù)數(shù)目的減少可以在交錯之前、期間或者之后執(zhí)行。而且，所得到的包含所述變換系數(shù)子集的變換塊可以少于宏塊被劃為的變換塊的原始數(shù)目。在比特流中，編碼器可以用信號通知解碼器使用了系數(shù)數(shù)目減少的多變換塊聯(lián)合編碼，并且用信號將其它信息通知給解碼器，所述其它信息包括變換系數(shù)的掃描順序，交錯方法以及從每個相應變換塊中使用的變換系數(shù)的數(shù)目。對于解碼而言，解碼器接收指示，其指示著在對相關宏塊進行編碼時使用了系數(shù)數(shù)目減少的多變換塊聯(lián)合編碼。變換塊從比特流中解碼，其系數(shù)被置于陣列中并被解碼。解碼器通過按照預定的去交錯方法將每個已解碼的系數(shù)分離到多個變換塊中的一個，從而對已解碼的系數(shù)進行去交錯。一旦對已解碼的系數(shù)進行了去交錯，則按照多種不同的方法來填充一個或多個變換塊的任何剩余系數(shù)，也即，在編碼器級別被丟棄且沒有編碼的系數(shù)。在完全解碼了一個或多個變換塊之后，執(zhí)行反量化和逆變換，并且生成殘差數(shù)據(jù)。本發(fā)明的各種實施方式能夠減少編碼中所使用系數(shù)的數(shù)目，改進了視頻和圖像編碼器的壓縮效率。同時，按照各種實施方式的解碼復雜性同樣得以降低。當結合附圖閱讀下文詳細描述時，本發(fā)明的這些和其它優(yōu)點和特征及其組織和操作方式將變得易見，其中貫穿下文描述的多個附圖中，類似的元素具有類似的標號。


圖1是傳統(tǒng)視頻編碼器的框圖；圖2是傳統(tǒng)視頻解碼器的框圖；圖3是按照本發(fā)明一個實施方式構建的視頻編碼器的框圖；圖4是按照本發(fā)明一個實施方式構建的視頻解碼器的框圖；圖5是按照本發(fā)明一個實施方式構建的圖像編碼器的框圖；圖6是按照本發(fā)明一個實施方式構建的圖像解碼器的框圖；圖7示出了按照本發(fā)明一個實施方式執(zhí)行的重新組織和交錯過程；圖8示出了按照本發(fā)明一個實施方式執(zhí)行的逆向重新組織和去交錯過程；圖9是可實現(xiàn)本發(fā)明的系統(tǒng)的概況圖；圖10是可以在本發(fā)明的實現(xiàn)中使用的移動電話的透視圖；以及圖11是圖8的移動電話的電話電路的示意圖。
具體實施例方式在此描述的各種實施方式通過以下方式改進了視頻/圖像編碼器的編碼效率重新組織與多個變換塊相關聯(lián)的變換系數(shù)，將從每個變換塊使用的系數(shù)的數(shù)目減少零個或多個，并且將這些變換系數(shù)一起編碼。按照本發(fā)明一個實施方式執(zhí)行的編碼和解碼過程分別在圖3和圖4中示出。應當注意，在圖3和圖4中所示的過程例如可以適用于編碼和解碼視頻信號的亮度分量。按照此實施方式，可以將16X16的宏塊劃分為4個8X8的變換塊，當然，應當注意，本發(fā)明的各種實施方式不限于僅僅按照這些塊/宏塊大小來進行操作。也就是，可以使用16X16之外大小的宏塊并將其劃分為8X8之外大小的變換塊。對于編碼方面，可以使用各種方法(例如，幀內預測或者幀間預測)來形成預測圖像。編碼器決定是否按照本發(fā)明的一個實施方式對16X16宏塊進行編碼。如果編碼器決定不按照本發(fā)明的一個實施方式對16X 16宏塊進行編碼，則在執(zhí)行變換和量化之后對4個8X8變換塊的變換系數(shù)進行編碼，從而按照傳統(tǒng)方式形成殘差。應當注意，本發(fā)明的這個以及其它實施方式不限于對 16X16的宏塊進行編碼，而是可以適用于不同大小的圖片區(qū)域。如果編碼器決定按照本發(fā)明的一個實施方式來對16X16宏塊進行編碼，則編碼器執(zhí)行變換和量化，并生成變換系數(shù)。繼而基于預定的交錯技術將4個8X8變換塊的系數(shù)交錯成陣列。一個這種用于交錯的技術在圖7中示出，將在下文對其進行更為詳細的描述。 然而，代替對4個8X8變換塊的所有系數(shù)進行編碼，編碼器對每個變換塊的系數(shù)子集進行編碼，并將其置于比特流中。應當注意，編碼過程的順序不限于上文描述的順序。還應當注意，對于所有的變換塊(在此情況下，是4個8X8變換塊)，包括所述系數(shù)子集的系數(shù)的數(shù)目可以是相同的，或者，編碼自每個變換塊的系數(shù)的數(shù)目可以不同。因此，所得變換塊的數(shù)目小于原始的4個，在此情況下，是1個變換塊。更具體地，參考圖3，待編碼圖像100經歷像素預測102、預測誤差編碼103以及預測誤差解碼104。對于像素預測102，圖像100經歷幀間預測106和幀內預測108中的至少一個，這在模式選擇110之后得到圖像塊的預測表示112。初步重建圖像114也被用于幀內預測108。一旦處理了所有圖像塊，初步重建圖像114在116經歷濾波，以創(chuàng)建最終重建圖像140，其被發(fā)送到參考幀存儲器118，并且還用于未來幀的幀間預測106。圖像塊的預測表示112以及待編碼圖像100 —起用來定義預測誤差信號120，其用于預測誤差編碼103。在預測誤差編碼103中，預測誤差信號120經歷變換122和量化 124。然而，與傳統(tǒng)的視頻/圖像編解碼器不同，在預測誤差信號120經歷變換122和量化 IM之后，在300處進行模式決策。進行該模式決策300是為了確定編碼器是否將按照一個實施方式來對16X16宏塊進行編碼。同樣應當注意，宏塊可以是不同的大小，并且如果沒有應用預測，則進行模式決策300以確定編碼器是否將對實際圖像或視頻塊進行編碼。在 300處進行模式決策之后，按照上文提到并在圖7中示出的預定交錯技術對變換系數(shù)進行重新組織和交錯310。繼而將圖7中經過重新組織和交錯的8X8變換塊740傳遞給熵編碼 126，以便被置于比特流中。預測誤差解碼104與預測誤差編碼103基本上是相對的。也即，在127處的熵解碼時，執(zhí)行預測誤差解碼104，這包括逆向重新組織和去交錯320、反量化128、以及逆變換 130。預測誤差解碼104的結果是重建的預測誤差信號132，它與圖像塊的預測表示112相結合使用，以創(chuàng)建初步重建圖像114。對于一個實施方式的解碼方面，按照幀內預測和幀間預測中的至少一個來進行預測，得到圖像塊的預測表示。如果解碼器接收到了關于16X16宏塊例如是按照傳統(tǒng)方式編碼的指示，則通過解碼4個變換塊的系數(shù)以及執(zhí)行逆變換和反量化來形成殘差。另一方面，如果解碼器接收到在對16X 16宏塊進行編碼時使用了系數(shù)數(shù)目減少的多變換塊聯(lián)合編碼，則從比特流中解碼變換塊的數(shù)目減少的系數(shù)，并將其置于陣列中。按照圖3所示的示例，只對一個8X8所得變換塊進行解碼。解碼器通過按照預定的去交錯算法(例如，與上文在編碼期間使用的預定交錯方法相關的一個去交錯算法)將每個已解碼的系數(shù)分離到4 個8X8變換塊之一中，從而對已解碼的系數(shù)進行去交錯。因為數(shù)目較少的系數(shù)被編碼，因此4個8X8變換塊的每一個具有零個或者多個缺失的系數(shù)。這種預定去交錯方法的一個示例在圖8中示出，將在下文對其進行更為詳細的描述。一旦對已解碼的系數(shù)進行去交錯， 便在解碼器級別利用預定的值填充一個8X8變換塊的任何剩余系數(shù)。盡管在圖8中示出了利用值“0”填充剩余系數(shù)的一個示例，但是該填充過程可以包括多種不同的方法。在完全解碼變換塊之后，執(zhí)行逆變換和反量化，并且生成殘差數(shù)據(jù)。應當注意，在此描述的解碼過程可以按照可選的順序進行。圖4是更為詳細地示出了上文描述的按照本發(fā)明一個實施方式的解碼過程的框圖。如圖4所示，熵解碼200之后是預測誤差解碼202和像素預測204 二者。在預測誤差解碼202中，使用反量化206和逆變換208，最終得到重建的預測誤差信號210。然而，與傳統(tǒng)視頻/圖像解碼器不同，在接收到使用了系數(shù)數(shù)目減少的多變換塊聯(lián)合編碼的通知時、 并且在反量化206之前，解碼器例如通過經歷逆向重新組織和去交錯400來僅對一個經過重新組織和交錯的8X8變換塊(包括已編碼變換系數(shù)的子集)進行解碼。對于像素預測 204，在212進行幀內預測和幀間預測中的至少一個，以創(chuàng)建圖像塊的預測表示214。圖像塊的預測表示214與重建的預測誤差信號210相結合使用，以創(chuàng)建初步重建圖像216，其繼而在212被用于幀間預測或者幀內預測。一旦處理了所有圖像塊，便傳遞初步重建圖像216 以進行濾波218。經過濾波的圖像可以作為最終重建圖像220輸出，或者經過濾波的圖像可以被存儲在參考幀存儲器222中，使其可用于預測212。圖5和圖6是分別示出按照本發(fā)明實施方式的圖像編碼器和圖像解碼器的框圖。 如圖5所示，待編碼圖像500經歷紋理編碼502。對于紋理編碼502，圖像500經歷變換504 和量化506。此后，在508進行模式選擇，以確定編碼器是否將使用系數(shù)數(shù)目減少的多變換塊聯(lián)合編碼。如果是，則按照預定的交錯技術(諸如上文提到并在圖7中示出的)對變換系數(shù)進行重新組織和交錯510。繼而將變換塊740的經過重新組織和交錯的變換系數(shù)傳遞至熵編碼512，以便置于比特流中。該過程也可以用于靜態(tài)圖像，或者沒有使用預測并且實際視頻信號例如要經歷變換和量化的情況。如圖6所示，熵解碼600之后是紋理解碼602。在紋理解碼602中，對包含例如利用圖5的圖像編碼器進行編碼的變換系數(shù)子集的所得變換塊進行逆向重新組織和去交錯 604。在逆向重新組織和去交錯604之后，執(zhí)行反量化606和逆變換608，以得到重建圖像 610。應當注意，圖6中說明的圖像解碼器例如是在接收到使用了系數(shù)數(shù)目減少的多變換塊聯(lián)合編碼的通知或者信號時，執(zhí)行逆向重新組織和去交錯。如上所述，圖7和圖8分別示出了用于按照本發(fā)明的各種實施方式來使用的重新組織/交錯和逆向重新組織/去交錯過程。圖7示出了 16X16宏塊，其可以在經歷變換之后被分為4個8X8變換塊，例如塊700、710、720和730。變換塊700的系數(shù)例如可以通過 A0、A1、A2等來表示。類似地，變換塊710的系數(shù)可以包括系數(shù)B0、B1、B2等，變換塊720的系數(shù)可以包括系數(shù)CO、Cl、C2等，并且變換塊730的系數(shù)可以包括系數(shù)DO、Dl、D2等。
在對變換塊700、710、720和730各自的系數(shù)進行重新組織和交錯之后，可以得到單個變換塊740。同樣應當注意，按照本發(fā)明的各種實施方式，一個或多個塊(但是少于原始數(shù)目的塊)可被編碼到比特流中，以及從比特流中被解碼。如上所述，可以使用某些預定的重新組織和交錯方式。在此例中，塊740包括可以被描述為對角線zig-zag的方法。例如，可以從塊740左上角的系數(shù)DO開始對系數(shù)進行排序。繼而按照對角線zig-zag方法對系數(shù)CO、BO、AO、D1、Cl、Bi、Al、D2、C2等進行排序，直到系數(shù)Al5被排列到塊740的最右下角。因此，在這種情況下，只有系數(shù)AO到A15、B0到B15、C0到C15以及DO到D15已經被編碼。圖8示出了逆向重新組織和去交錯過程，其中一個8X8變換塊740被去交錯成4 個8X8塊800、810、820和830。如上所述，只有變換塊700、710、720和730的前15個系數(shù)已經被編碼。因此，變換塊800包含已解碼系數(shù)AO到A15，變換塊810包含已解碼系數(shù)BO 到B15，變換塊820包含已解碼系數(shù)CO到Cl5，而變換塊830包含已解碼系數(shù)DO到D15。同樣，以對角線zig-zag方式對系數(shù)進行排序，其中每個系數(shù)集合中的第一個系數(shù)，例如AO、 BOXO和DO被設置在其各自的變換塊800、810、820和830的最左上角。應當注意，其余系數(shù)可以被設置/填充為預定的數(shù)值，例如零。如上所述，并非塊中的所有系數(shù)對于解碼性能而言都是有價值的，因此可以丟棄它們。還應當注意，上述編碼和解碼過程例如可以擴展為涵蓋視頻信號的色度分量。按照本發(fā)明的另一實施方式，YUV顏色空間的U和V色度分量可以交錯在一起。因此，可以僅僅使用全部系數(shù)的子集來以緊湊/有效的方式對多個塊的系數(shù)進行編碼。同時，本發(fā)明的各種實施方式可以用來編碼其它信息，例如塊結束指示、塊中全零系數(shù)的指示等，其中編碼僅僅發(fā)生一次，而不是針對多個塊而發(fā)生多次。因此，可以在某些情況下降低總體比特率。如上所述，本發(fā)明的一個實施方式允許視頻解碼器接收經過編碼的預測誤差信號，解碼與一個或多個變換塊相關聯(lián)的變換系數(shù)，重新組織這些系數(shù)以恢復與每個變換塊相關聯(lián)的系數(shù)，以及重建預測誤差塊。然而，按照本發(fā)明的視頻/圖像編碼器和/或解碼器可以按照多種其它方式來實現(xiàn)。例如，在交錯/去交錯過程中使用的塊可以屬于例如YUV 顏色空間的相同或者不同分量，例如，分別是Y(亮度)分量或者U和V分量。可選地，在交錯/去交錯過程中使用的塊可以屬于相同的宏塊或者不同的(例如，相鄰的)宏塊。此外， 本發(fā)明的各種實施方式可以用來對幀間殘差數(shù)據(jù)和幀內殘差數(shù)據(jù)二者進行編碼。按照本發(fā)明的一個實施方式，可以使用應用于多個塊的系數(shù)的不同的交錯/去交錯過程。對于一個此類的其它實施方式，交錯/去交錯過程中的每個塊的順序可以是不同的。例如，交錯/去交錯過程中的每個塊的順序可以取決于已編碼表示或者已解碼信號的其它特性。另一示例涉及幀內編碼，其中交錯過程中每個塊的順序可以與每個塊的幀內預測模式相關聯(lián)。對于幀間編碼，每個塊的順序例如可以與待編碼的宏塊內的運動塊的大小和形狀相關聯(lián)。在又一示例中，交錯/去交錯過程中每個塊的順序利用信號來通知。交錯/去交錯過程的又一示例包括在交錯/去交錯過程中使用不同的掃描技術。 例如，按照本發(fā)明的一個實施方式，使用例如上文在圖5和圖6中描述的zig-zag掃描對所有塊進行交錯/去交錯。在另一實施方式中，掃描方向可以取決于已編碼表示或者已解碼信號的特性。換句話說，對于幀內編碼，不同塊的掃描順序可以與每個塊的幀內預測模式相關聯(lián)。對于幀間編碼，每個塊的掃描順序例如可以與待編碼的宏塊內的運動塊的大小和形
12狀相關聯(lián)。在又一實施方式中，掃描方向可以利用信號來通知。在去交錯過程之后，可以實現(xiàn)其它實施方式，其中解碼器將按照各種方法來填充剩余的系數(shù)。例如，如上文在圖6中描述和示出的，可以將剩余的系數(shù)設為預定數(shù)值，例如零?？蛇x地，可以將剩余系數(shù)設為包括1和0的預定義模式(或者任何其它可能的組合)。 按照本發(fā)明的又一方面，填充過程可以利用信號來通知。與塊的順序可以不同相類似，每個塊中系數(shù)的順序也可以不同。例如，每個塊中系數(shù)的順序可以利用信號來通知，或者可以取決于已編碼表示或者已解碼信號的其它特性。 例如，對于幀內編碼，每個塊中系數(shù)的順序可以與每個塊的幀內預測模式相關聯(lián)；而對于幀間編碼，系數(shù)的順序可以與待編碼的宏塊內的運動塊的大小和形狀相關聯(lián)?？梢愿鶕?jù)不同實施方式而變化的本發(fā)明的又一方面涉及可以在交錯過程中選擇的不同塊中的相同或者不同數(shù)目的系數(shù)。例如，系數(shù)的數(shù)目可以是預定義的，或者系數(shù)的數(shù)目可以與每個塊的殘差相關聯(lián)。系數(shù)的數(shù)目還可以取決于已編碼表示或者已解碼信號的其它特性，例如，對于幀內編碼的塊編碼模式，每個塊中的系數(shù)數(shù)目可以與每個塊的幀內預測模式相關聯(lián)。備選地，如果本發(fā)明的各種實施方式用于編碼幀間殘差數(shù)據(jù)，則系數(shù)數(shù)目可以取決于運動塊的形狀和大小。最后，本發(fā)明的各種實施方式可以變化，其中在交錯/去交錯過程中可以使用不同塊中的系數(shù)或者系數(shù)的預測誤差。因此，本發(fā)明的各種實施方式改進了視頻和圖像編碼器和解碼器的壓縮效率。同時，按照各種實施方式的解碼復雜性得以降低。盡管編碼的計算復雜性可能增加，但是可以應用快速算法來降低編碼復雜性。圖9示出了可以在其中使用本發(fā)明各種實施方式的系統(tǒng)10，其包括可以通過一個或多個網絡進行通信的多個通信設備。系統(tǒng)10可以包括有線或者無線網絡的任意組合，這些網絡包括但不限于移動電話網絡、無線局域網(LAN)、藍牙個人區(qū)域網絡、以太LAN、令牌環(huán)LAN、廣域網、因特網等。系統(tǒng)10可以包括有線和無線通信設備二者。為了簡化，圖9中示出的系統(tǒng)10包括移動電話網絡11和因特網觀。與因特網觀的連接可以包括但不限于長程無線連接、短程無線連接以及各種有線連接，包括但不限于電話線、電纜線、電力線等。系統(tǒng)10的示例性通信設備可以包括但不限于電子設備50、組合個人數(shù)字助理 (PDA0和移動電話14)、PDA 16、集成消息收發(fā)設備(IMD) 18、臺式計算機20、筆記本計算機 22等。通信設備可以是靜態(tài)的，或者在被移動的個人攜帶時是移動的。通信設備還可以處于交通模式中，包括但不限于汽車、卡車、出租車、公共汽車、船、飛機、自行車、摩托車等。通信設備的一些或全部可以通過通往基站M的無線連接25發(fā)送和接收呼叫和消息，并且通過通往基站M的無線連接25與服務提供商進行通信?；綧可以連接至網絡服務器26， 該服務器26允許在移動電話網絡11與因特網觀之間進行通信。系統(tǒng)10可以包括附加的通信設備和不同類型的通信設備。通信設備可以使用各種傳輸技術來進行通信，所述傳輸技術包括但不限于碼分多址(CDMA)、全球移動通信系統(tǒng)(GSM)、通用移動電信系統(tǒng)(UMTS)、時分多址(TDMA)、頻分多址(FDMA)、傳輸控制協(xié)議/因特網協(xié)議(TCP/IP)、短消息收發(fā)服務(SMS)、多媒體消息收發(fā)服務(MMS)、電子郵件、即時消息收發(fā)服務(IMS)、藍牙、IEEE 802. 11等。實現(xiàn)本發(fā)明的各種實施方式所涉及到的通信設備可以包括但不限于無線電、紅外、激光、線纜連接等。圖10和圖11示出了本發(fā)明可以在其中實現(xiàn)的一個代表性電子設備50。然而，應當理解，并非意在將本發(fā)明限制為一種特定類型的設備。圖10和圖11的電子設備50包括殼體30、液晶顯示器形式的顯示器32、小鍵盤34、麥克風36、耳機38、電池40、紅外端口 42、天線44、根據(jù)本發(fā)明一個實施方式的UICC形式的智能卡46、讀卡器48、無線電接口電路 52、編解碼器電路M、控制器56以及存儲器58。各個電路和元件可以是本領域公知的所有類型，例如Nokia范圍內的移動電話系列。在此描述的本發(fā)明的各種實施方式是在方法步驟或者過程的一般性上下文中描述的，在一個實施方式中，所述方法步驟或者過程可以由包含在計算機可讀介質中的計算機程序產品來實現(xiàn)，其包括可以由連網環(huán)境中的計算機來執(zhí)行的計算機可執(zhí)行指令，諸如程序代碼。通常，程序模塊包括執(zhí)行特定任務或者實現(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、對象、組件、數(shù)據(jù)結構等。計算機可執(zhí)行指令、相關數(shù)據(jù)結構和程序模塊代表了用于執(zhí)行此處公開的方法的步驟的程序代碼的示例。這種可執(zhí)行指令或者相關數(shù)據(jù)結構的特定序列代表了用于實現(xiàn)在這種步驟中描述的功能的對應動作的示例。本發(fā)明的軟件和網絡實現(xiàn)能夠利用標準編程技術來完成，利用基于規(guī)則的邏輯或者其它邏輯來實現(xiàn)數(shù)據(jù)庫搜索步驟、相關步驟、比較步驟和決策步驟。還應當注意的是，此處以及權利要求書中使用的詞語“組件”和“模塊”意在包括使用一行或者更多行軟件代碼的實現(xiàn)和/或硬件實現(xiàn)和/或用于接收手動輸入的設備。出于示例和描述的目的，已經給出了本發(fā)明實施的前述說明。前述說明并非是窮舉性的也并非要將本發(fā)明限制到所公開的確切形式，根據(jù)上述教導還可能存在各種變形和修改，或者是可能從本發(fā)明的實踐中得到各種變形和修改。選擇和描述這些實施方式是為了說明本發(fā)明的原理及其實際應用，以使得本領域的技術人員能夠以適合于構思的特定用途來以各種實施方式和各種修改而利用本發(fā)明。
權利要求
1.一種對視頻和圖像信號中的至少一個進行編碼的方法，包括將信號變換編碼為多個變換塊；對所述多個變換塊的變換系數(shù)進行量化；對所述多個變換塊的所述變換系數(shù)進行重新組織和交錯；以及對經過交錯的變換系數(shù)的子集進行熵編碼。
2.如權利要求1所述的方法，其中所述重新組織和所述交錯包括應用于所述多個變換塊中的每一個的排序技術。
3.如權利要求2所述的方法，其中所述排序技術包括以下中的至少一個應用于所述多個變換塊中每一個的不同排序，基于與所述信號相關聯(lián)的圖像的已編碼和已解碼的表示之一的特性的依賴排序，基于所述多個變換塊中至少一個的編碼模式的依賴排序，基于與所述多個變換塊中的至少一個相關聯(lián)的幀內預測模式的依賴排序，基于與所述信號的大塊表示相對應的運動塊的形狀和大小的依賴排序，以及信號通知的順序。
4.如權利要求1所述的方法，其中，所述重新組織和所述交錯包括應用于所述多個變換塊中每一個的掃描技術。
5.如權利要求4所述的方法，其中所述掃描技術包括以下中的至少一個zig-zag掃描技術，基于與所述信號相關聯(lián)的圖像的已編碼和已解碼的表示之一的特性的依賴掃描技術，基于所述多個變換塊中至少一個的編碼模式的依賴掃描技術，基于與所述多個變換塊中的至少一個相關聯(lián)的幀內預測模式的依賴掃描技術，基于與所述信號的宏塊表示相對應的運動塊的形狀和大小的依賴掃描技術，以及信號通知的掃描方向。
6.如權利要求1所述的方法，其中所述變換系數(shù)的順序是以下中的至少一個對于所述多個變換塊的每一個為不同的順序，基于與所述信號相關聯(lián)的圖像的已編碼和已解碼的表示之一的特性的順序，基于所述多個變換塊中至少一個的編碼模式的依賴順序，基于與所述多個變換塊中的至少一個相關聯(lián)的幀內預測模式的依賴順序，基于與所述信號的宏塊表示相對應的運動塊的形狀和大小的依賴順序，以及信號通知的順序。
7.如權利要求1所述的方法，其中從所述多個變換塊的每一個中選擇相同數(shù)目的變換系數(shù)用于編碼，所述相同數(shù)目是以下之一預定義的數(shù)目，基于與所述信號相關聯(lián)的圖像的已編碼和已解碼的表示之一的特性的數(shù)目，基于所述多個變換塊中至少一個的編碼模式的數(shù)目，取決于與所述多個變換塊中的至少一個相關聯(lián)的幀內預測模式的數(shù)目，以及基于與所述信號的宏塊表示相對應的運動塊的形狀和大小的數(shù)目。
8.如權利要求1所述的方法，其中從所述多個變換塊的每一個中選擇不同數(shù)目的系數(shù)用于編碼，所述相同數(shù)目是以下之一預定義的數(shù)目，基于與所述信號相關聯(lián)的圖像的已編碼和已解碼的表示之一的特性的數(shù)目，基于所述多個變換塊中至少一個的編碼模式的數(shù)目，取決于與所述多個變換塊中的至少一個相關聯(lián)的幀內預測模式的數(shù)目，以及基于與所述信號的宏塊表示相對應的運動塊的形狀和大小的數(shù)目。
9.如權利要求1所述的方法，其中所述信號是幀內預測誤差或者幀間預測誤差。
10.如權利要求1所述的方法，其中所述多個變換塊的每一個屬于以下之一單個分量，不同分量，單個宏塊，以及不同宏塊。
11.如權利要求1所述的方法，進一步包括利用信號來通知將由解碼器在逆向重新組織和去交錯之后執(zhí)行的填充過程，以便重建所述變換系數(shù)。
12.如權利要求1所述的方法，其中所述信號包括以下之一幀間殘差數(shù)據(jù)，幀內殘差數(shù)據(jù)，預測誤差信號，在沒有進行預測時的實際視頻信號，以及在沒有應用預測時的實際圖像信號。
13.一種計算機程序產品，被包含在計算機可讀介質中，其包括計算機代碼，所述計算機代碼配置用于執(zhí)行權利要求1所述的過程。
14.一種設備，包括處理器；以及存儲器單元，其可通信地連接至所述處理器，并且包括配置用于將信號變換編碼為多個變換塊的計算機代碼；配置用于對所述多個變換塊的變換系數(shù)進行量化的計算機代碼；配置用于對所述多個變換塊的所述變換系數(shù)進行重新組織和交錯的計算機代碼；以及配置用于對所述多個變換塊的變換系數(shù)的子集進行編碼從而允許將所述變換系數(shù)的子集置于比特流中的計算機代碼。
15.如權利要求14所述的設備，其中所述配置用于進行重新組織和交錯的計算機代碼進一步包括應用于所述多個變換塊中每一個的排序技術。
16.如權利要求14所述的設備，其中所述配置用于重新組織和交錯的計算機代碼進一步包括應用于所述多個變換塊中每一個的掃描技術。
17.如權利要求14所述的設備，其中所述變換系數(shù)的順序是以下中的至少一個對于所述多個變換塊的每一個為不同的順序，基于與所述信號相關聯(lián)的圖像的已編碼和已解碼的表示之一的特性的順序，基于所述多個變換塊中至少一個的編碼模式的依賴排序，基于與所述多個變換塊中的至少一個相關聯(lián)的幀內預測模式的依賴排序，基于與所述信號的宏塊表示相對應的運動塊的形狀和大小的依賴排序，以及信號通知的順序。
18.如權利要求14所述的設備，其中從所述多個變換塊的每一個中選擇相同數(shù)目的變換系數(shù)用于編碼，所述相同數(shù)目是以下之一預定義的數(shù)目，基于與所述信號相關聯(lián)的圖像的已編碼和已解碼的表示之一的特性的數(shù)目，基于所述多個變換塊中至少一個的編碼模式的數(shù)目，取決于與所述多個變換塊中的至少一個相關聯(lián)的幀內預測模式的數(shù)目，以及基于與所述信號的宏塊表示相對應的運動塊的形狀和大小的數(shù)目。
19.如權利要求14所述的設備，其中從所述多個變換塊的每一個中選擇不同數(shù)目的系數(shù)用于編碼，所述相同數(shù)目是以下之一預定義的數(shù)目，基于與所述信號相關聯(lián)的圖像的已編碼和已解碼的表示之一的特性的數(shù)目，基于所述多個變換塊中至少一個的編碼模式的數(shù)目，取決于與所述多個變換塊中的至少一個相關聯(lián)的幀內預測模式的數(shù)目，以及基于與所述信號的宏塊表示相對應的運動塊的形狀和大小的數(shù)目。
20.如權利要求14所述的方法，其中所述存儲器單元進一步包括配置用于利用信號來通知將由解碼器在逆向重新組織和去交錯之后執(zhí)行的填充過程以便重建所述變換系數(shù)的計算機代碼。
21.如權利要求14所述的設備，其中所述多個變換塊的每一個屬于以下之一單個分量，不同分量，單個宏塊，以及不同宏塊。
22.—種對視頻和圖像信號的至少一個進行解碼的方法，包括從已編碼的比特流中解碼變換系數(shù)，所述變換系數(shù)包括來自多個變換塊的變換系數(shù)的子集，所述多個變換塊的每一個表示信號的相應的已變換部分；對經過解碼的變換系數(shù)執(zhí)行逆向重新組織和去交錯；按照預定填充過程填充所述多個變換塊中每一個的剩余系數(shù)；以及執(zhí)行反量化和逆變換以重建所述多個變換塊。
23.如權利要求22所述的方法，其中所述逆向重新組織和所述去交錯包括應用于所述多個變換塊的每一個的排序技術。
24.如權利要求23所述的方法，其中所述排序技術包括以下中的至少一個應用于所述多個變換塊中每一個的不同排序，基于與所述信號相關聯(lián)的圖像的已編碼和已解碼的表示之一的特性的依賴排序，基于所述變換塊中至少一個的編碼模式的依賴排序，基于與所述多個變換塊中的至少一個相關聯(lián)的幀內預測模式的依賴排序，基于與所述信號的宏塊表示相對應的運動塊的形狀和大小的依賴排序，以及信號通知的順序。
25.如權利要求22所述的方法，其中所述逆向重新組織和所述去交錯包括應用于所述多個變換塊中每一個的掃描技術。
26.如權利要求25所述的方法，其中所述掃描技術包括以下中的至少一個zig-zag掃描技術，基于所述多個變換塊中至少一個的編碼模式的依賴掃描技術，基于與所述多個變換塊中的至少一個相關聯(lián)的幀內預測模式的依賴掃描技術，以及基于與所述信號的大塊表示相對應的運動塊的形狀和大小的依賴掃描技術。
27.如權利要求22所述的方法，其中所述變換系數(shù)的順序是以下中的至少一個對于所述多個變換塊的每一個為不同的順序，基于與所述信號相關聯(lián)的圖像的已編碼和已解碼的表示之一的特性的順序，基于所述多個變換塊中至少一個的編碼模式的依賴順序，基于與所述多個變換塊中的至少一個相關聯(lián)的幀內預測模式的依賴順序，基于與所述信號的宏塊表示相對應的運動塊的形狀和大小的依賴排序，以及信號通知的順序。
28.如權利要求22所述的方法，其中從所述多個變換塊的每一個中選擇相同數(shù)目的變換系數(shù)用于編碼，所述相同數(shù)目是以下之一預定義的數(shù)目，基于與所述信號相關聯(lián)的圖像的已編碼和已解碼的表示之一的特性的數(shù)目，基于所述多個變換塊中至少一個的編碼模式的數(shù)目，取決于與所述多個變換塊中的至少一個相關聯(lián)的幀內預測模式的數(shù)目，以及基于與所述信號的宏塊表示相對應的運動塊的形狀和大小的數(shù)目。
29.如權利要求22所述的方法，其中從所述多個變換塊的每一個中選擇不同數(shù)目的系數(shù)用于編碼，所述相同數(shù)目是以下之一預定義的數(shù)目，基于與所述信號相關聯(lián)的圖像的已編碼和已解碼的表示之一的特性的數(shù)目，基于所述多個變換塊中至少一個的編碼模式的數(shù)目，取決于與所述多個變換塊中的至少一個相關聯(lián)的幀內預測模式的數(shù)目，以及基于與所述信號的宏塊表示相對應的運動塊的形狀和大小的數(shù)目。
30.如權利要求22所述的方法，其中所述信號是所述變換系數(shù)的幀內預測誤差或者幀間預測誤差。
31.如權利要求22所述的方法，其中所述多個變換塊的每一個屬于以下之一單個分量，不同分量，單個宏塊，以及不同宏塊。
32.如權利要求22所述的方法，其中所述預定填充過程包括以下之一將所述剩余系數(shù)設置為零，將所述剩余系數(shù)設置為系數(shù)值的預定義模式，以及利用信號通知的預定填充過程。
33.如權利要求22所述的方法，其中所述信號包括以下之一幀間殘差數(shù)據(jù)，幀內殘差數(shù)據(jù)，預測誤差信號，在沒有進行預測時的實際視頻信號，以及在沒有應用預測時的實際圖像信號。
34.一種計算機程序產品，被包含在計算機可讀介質中，其包括計算機代碼，所述計算機代碼配置用于執(zhí)行權利要求22所述的過程。
35.一種設備，包括 處理器；以及存儲器單元，其可通信地連接至所述處理器，并且包括配置用于從已編碼的比特流中解碼變換系數(shù)的計算機代碼，所述變換系數(shù)包括來自多個變換塊的變換系數(shù)的子集，所述多個變換塊的每一個表示信號的相應的已變換部分； 配置用于對經過解碼的變換系數(shù)執(zhí)行逆向重新組織和去交錯的計算機代碼； 配置用于按照預定填充過程填充所述多個變換塊中每一個的剩余系數(shù)的計算機代碼；以及配置用于執(zhí)行反量化和逆變換以重建所述信號的宏塊表示的計算機代碼。
36.如權利要求35所述的設備，其中所述逆向重新組織和所述去交錯包括應用于所述多個變換塊的每一個的排序技術。
37.如權利要求35所述的設備，其中所述逆向重新組織和所述去交錯包括應用于所述多個變換塊中每一個的掃描技術。
38.如權利要求35所述的設備，其中所述變換系數(shù)的順序是以下中的至少一個對于所述多個變換塊的每一個為不同的順序，基于與所述信號相關聯(lián)的圖像的已編碼和已解碼的表示之一的特性的順序，基于所述多個變換塊中至少一個的編碼模式的依賴順序，基于與所述多個變換塊中的至少一個相關聯(lián)的幀內預測模式的依賴順序，基于與所述信號的大塊表示相對應的運動塊的形狀和大小的依賴排序，以及信號通知的順序。
39.如權利要求35所述的設備，其中從所述多個變換塊的每一個中選擇相同數(shù)目的變換系數(shù)用于編碼，所述相同數(shù)目是以下之一預定義的數(shù)目，基于與所述信號相關聯(lián)的圖像的已編碼和已解碼的表示之一的特性的數(shù)目，基于所述多個變換塊中至少一個的編碼模式的數(shù)目，取決于與所述多個變換塊中的至少一個相關聯(lián)的幀內預測模式的數(shù)目，以及基于與所述信號的宏塊表示相對應的運動塊的形狀和大小的數(shù)目。
40.如權利要求35所述的設備，其中從所述多個變換塊的每一個中選擇不同數(shù)目的系數(shù)用于編碼，所述相同數(shù)目是以下之一預定義的數(shù)目，基于與所述信號相關聯(lián)的圖像的已編碼和已解碼的表示之一的特性的數(shù)目，基于所述多個變換塊中至少一個的編碼模式的數(shù)目，取決于與所述多個變換塊中的至少一個相關聯(lián)的幀內預測模式的數(shù)目，以及基于與所述信號的宏塊表示相對應的運動塊的形狀和大小的數(shù)目。
41.如權利要求35所述的設備，其中所述多個變換塊的每一個屬于以下之一單個分量，不同分量，單個宏塊，以及不同宏塊。
42.如權利要求35所述的設備，其中所述預定填充過程包括以下之一將所述剩余系數(shù)設置為零，將所述剩余系數(shù)設置為系數(shù)值的預定義模式，以及利用信號通知所述預定填充過程。
43.一種系統(tǒng)，包括編碼器，其配置用于執(zhí)行將信號變換編碼和量化為多個變換塊，其中所述多個變換塊的變換系數(shù)按照預定的交錯過程被重新組織和交錯成陣列，導致所述多個變換塊的每一個的所述變換系數(shù)的子集被編碼、量化并置于比特流中；以及解碼器，其配置用于從所述比特流解碼所述變換系數(shù)，對經過解碼的變換系數(shù)執(zhí)行逆向重新組織和去交錯，按照預定填充過程填充所述多個變換塊的每一個的剩余系數(shù)，以及執(zhí)行反量化和逆變換以重建所述信號的宏塊表示。
44.如權利要求43的系統(tǒng)，其中所述重新組織、所述逆向重新組織、所述交錯以及所述去交錯包括應用于所述多個變換塊中每一個的排序技術。
45.如權利要求43的系統(tǒng)，其中所述重新組織、所述逆向重新組織、所述交錯以及所述去交錯包括應用于所述多個變換塊中每一個的掃描技術。
46.如權利要求43的系統(tǒng)，其中所述變換系數(shù)的順序是以下中的至少一個對于所述多個變換塊的每一個為不同的順序，基于與所述信號相關聯(lián)的圖像的已編碼和已解碼的表示之一的特性的順序，基于所述多個變換塊中至少一個的編碼模式的依賴順序，基于與所述多個變換塊中的至少一個相關聯(lián)的幀內預測模式的依賴順序，基于與所述信號的大塊表示相對應的運動塊的形狀和大小的依賴排序，以及信號通知的順序。
47.如權利要求43的系統(tǒng)，其中所述多個變換塊的每一個屬于以下之一單個分量，不同分量，單個宏塊，以及不同宏塊。
全文摘要
用于視頻/圖像編碼和解碼的系統(tǒng)和方法，其中與多個塊相關聯(lián)的變換系數(shù)被重新組織并且一起編碼。各種實施方式執(zhí)行變換和量化，并且生成變換系數(shù)，其中變換塊的變換系數(shù)被重新組織和交錯。而且，編碼過程包括僅對屬于變換塊的變換系數(shù)的子集進行編碼，得到少于變換塊原始數(shù)目的一個或多個變換塊，并且將其置于比特流中。解碼過程包括從比特流中對包含變換系數(shù)子集的一個或多個所得變換塊進行解碼，變換系數(shù)被置于陣列中并被解碼。解碼器對解碼的變換系數(shù)進行去交錯，并且按照多種不同方法填入一個或多個變換塊的任何剩余系數(shù)。在完全解碼一個或多個變換塊之后，執(zhí)行逆變換和反量化，并且生成殘差數(shù)據(jù)。
文檔編號H04N7/26GK102318342SQ200880100454
公開日2012年1月11日 申請日期2008年6月10日 優(yōu)先權日2007年6月12日
發(fā)明者A·O·阿拉皮羅, J·萊納瑪, K·宇居爾, 張賜勛 申請人:諾基亞公司