本申請是2012年9月6日提交的，中國專利申請?zhí)枮?01280042730.7(國際申請?zhí)杙ct/ep2012/067433)，發(fā)明名稱為“低復(fù)雜度解塊濾波器判定”的專利申請的分案申請。本發(fā)明涉及圖像的濾波。具體而言，本發(fā)明涉及解塊濾波，并涉及關(guān)于是否為一圖像區(qū)域啟用或禁用解塊濾波的判定。
背景技術(shù)：
：目前，大多數(shù)標(biāo)準(zhǔn)化的視頻編碼算法都基于混合視頻編碼?；旌弦曨l編碼方法通常組合幾種不同的無損及有損的壓縮方案，以實(shí)現(xiàn)所需的壓縮增益。混合視頻編碼也是itu-t標(biāo)準(zhǔn)(h.26x標(biāo)準(zhǔn)，例如h.261,h.263)以及iso/iec標(biāo)準(zhǔn)(mpeg-x標(biāo)準(zhǔn)，例如mpeg-1、mpeg-2和mpeg-4)的基礎(chǔ)。最近及最先進(jìn)的視頻編碼標(biāo)準(zhǔn)是目前表示為h.264/mpeg-4高級視頻編碼(avc)的標(biāo)準(zhǔn)，avc是itu-t及iso/iecmpeg組的聯(lián)合組——聯(lián)合視頻組(jvt)標(biāo)準(zhǔn)化努力的結(jié)果。視頻編碼聯(lián)合協(xié)作小組(jct-vc)正在以高效視頻編碼(hevc)的名義進(jìn)一步開發(fā)此編解碼器，具體而言，目的是提高涉及高分辨率視頻編碼的效率。輸入到編碼器的視頻信號是被稱為幀的圖像序列，每個幀是像素的二維矩陣。所有基于混合視頻編碼的上述標(biāo)準(zhǔn)包括把每個視頻幀細(xì)分成由多個像素組成的更小的塊。例如，根據(jù)圖像的內(nèi)容，塊的大小可以變化。編碼的方法通?？梢曰诿繅K而改變。這種塊最大可能的尺寸，例如在hevc中，是64x64像素。因此稱其為最大編碼單元(lcu)。在h.264/mpeg-4avc中，宏塊(通常表示16x16像素的塊)是進(jìn)行編碼的基本圖像元素，可以進(jìn)一步把它分成更小的應(yīng)用一些編碼/解碼步驟的子塊。通常，混合視頻編碼的編碼步驟包括空間的和/或時間的預(yù)測。因此，通過使用在其空間鄰域的塊或來自其時間鄰域的塊，即來自之前編碼的視頻幀，首先預(yù)測要被編碼的每個塊。然后計算出要被編碼的塊和它的預(yù)測之間的差異塊，也被稱為預(yù)測殘差塊。另一個編碼步驟是把殘差塊從空(像素)域轉(zhuǎn)換到頻域。轉(zhuǎn)換目的在于降低輸入塊的相關(guān)性。另一編碼步驟是變換系數(shù)的量化。在此步驟中，進(jìn)行實(shí)際有損(不可逆)壓縮。通常，通過熵編碼進(jìn)一步壓實(shí)(無損壓縮)壓縮的轉(zhuǎn)換系數(shù)值。此外，對用于編碼的視頻信號重構(gòu)所需的側(cè)信息進(jìn)行編碼，并與編碼的視頻信號一起提供。這是例如關(guān)于空間和/或時間預(yù)測、量化的數(shù)量等信息。圖1是典型的h.264/mpeg-4avc和/或hevc視頻編碼器100的范例。減法器105首先判斷輸入視頻圖像(輸入信號s)的要編碼的當(dāng)前塊和對應(yīng)預(yù)測塊之間的差異e，使用對應(yīng)預(yù)測塊作為要編碼的當(dāng)前塊的預(yù)測?？梢酝ㄟ^時間或空間預(yù)測180獲得預(yù)測信號。可以基于每個幀或基于每個塊改變預(yù)測的類型。使用時間預(yù)測而預(yù)測的塊和/或幀被稱為“互”編碼，而使用空間預(yù)測而預(yù)測的塊和/或幀被稱為“內(nèi)”編碼。從存儲器中存儲的先前編碼圖像中導(dǎo)出使用時間預(yù)測的預(yù)測信號。從先前編碼、解碼并存儲在存儲器中的相鄰塊中的邊界像素值導(dǎo)出使用空間預(yù)測的預(yù)測信號。輸入信號及預(yù)測信號之間表示為預(yù)測錯誤或殘差的差異e被轉(zhuǎn)換110，獲得被量化120的系數(shù)。然后向量化的系數(shù)應(yīng)用熵編碼器190以便進(jìn)一步減少用無損方式存儲和/或發(fā)射的數(shù)據(jù)量。這主要是通過應(yīng)用具有可變長度碼字的代碼實(shí)現(xiàn)的，在可變長度的碼字中基于碼字發(fā)生的概率選擇碼字的長度。在視頻編碼器100之內(nèi)，并入解碼單元用于獲得解碼的(重構(gòu)的)視頻信號s’。按照編碼步驟，解碼步驟包括反量化及逆變換130。由于量化錯誤，也稱為量化噪聲的原因，這樣獲得的預(yù)測誤差信號e’不同于原始預(yù)測誤差信號。然后通過向預(yù)測信號增加140解碼預(yù)測誤差信號e’以獲得重構(gòu)的圖像信號s’。為了維持編碼器側(cè)和解碼器側(cè)之間的兼容性，基于在編碼器側(cè)和解碼器側(cè)都已知的編碼并隨后解碼的視頻信號獲得預(yù)測信號。由于量化的原因，量化噪聲被疊加到重構(gòu)的視頻信號。由于逐塊編碼，疊加的噪聲經(jīng)常具有分塊特性，具體而言對于強(qiáng)量化，分塊特性導(dǎo)致解碼圖像中可見的塊邊界。這種分塊偽影對人類視覺感知具有負(fù)面影響。為了減少這種偽影，把解塊濾波器150應(yīng)用于每個重構(gòu)的圖像塊。把解塊濾波器應(yīng)用于重構(gòu)信號s’。例如，h.264/mpeg-4avc的解塊濾波器具有局部自適應(yīng)的能力。對于高度的塊噪聲，應(yīng)用強(qiáng)(窄帶)低通濾波器，而對于低度的塊噪聲，應(yīng)用較弱(寬帶)低通濾波器。通過預(yù)測信號并通過量化預(yù)測誤差信號e’確定低通濾波器的強(qiáng)度。解塊濾波器通常平滑塊邊緣，導(dǎo)致解碼圖像的主觀質(zhì)量改進(jìn)。此外，由于圖像的被濾波部分用于其他圖像的運(yùn)動補(bǔ)償預(yù)測，濾波還減小預(yù)測誤差，并因此能夠提高編碼效率。解塊濾波器之后，可以把樣本自適應(yīng)偏移155和/或自適應(yīng)環(huán)路濾波器160應(yīng)用于包括已經(jīng)解塊的信號s”的圖像。而解塊濾波器改進(jìn)主觀質(zhì)量，樣本自適應(yīng)偏移(sao)及alf目的在于改進(jìn)逐個像素的保真度(“客觀”質(zhì)量)。具體而言，sao根據(jù)像素的直接鄰域增加偏移。使用自適應(yīng)環(huán)路濾波器(alf)補(bǔ)償由于壓縮引起的圖像失真。通常，自適應(yīng)環(huán)路濾波器是具有某一濾波器系數(shù)的維納濾波器，確定濾波器系數(shù)以便使重構(gòu)的s’和源圖像s之間的均方誤差(mse)最小化?？梢灾饌€幀地計算并發(fā)射alf的系數(shù)?？梢詫lf應(yīng)用于整個幀(視頻序列的圖像)或局部區(qū)域(塊)。可以發(fā)射表示要對哪些區(qū)域?yàn)V波的額外側(cè)信息(基于塊、基于幀或基于四叉樹)。為了進(jìn)行解碼，互編碼塊還需要在參考幀緩存170中存儲圖像中之前編碼并隨后解碼的部分。通過采用運(yùn)動補(bǔ)償預(yù)測，預(yù)測180互編碼塊。首先，由運(yùn)動估計器針對之前編碼并解碼的視頻幀之內(nèi)的當(dāng)前塊發(fā)現(xiàn)最優(yōu)匹配塊。然后最優(yōu)匹配塊成為預(yù)測信號，然后在與編碼視頻數(shù)據(jù)一起提供的側(cè)信息中，以三維運(yùn)動矢量的形式將當(dāng)前塊和其最優(yōu)匹配之間的相對位移(運(yùn)動)表達(dá)為運(yùn)動數(shù)據(jù)信號。這三個維度由兩個空間維度和一個時間維度構(gòu)成。為了優(yōu)化預(yù)測精確度，可以確定運(yùn)動矢量，使其具有空間子像素分辨率，例如半像素或四分之一像素分辨率。具有空間子像素分辨率的運(yùn)動矢量可以指向已解碼幀中沒有實(shí)際的像素值可用的空間位置，即子像素位置。因此，需要對此像素值進(jìn)行空間插值以便進(jìn)行運(yùn)動補(bǔ)償預(yù)測。這可通過插值濾波器實(shí)現(xiàn)(在圖1中，集成于預(yù)測塊180中)。對于內(nèi)和互編碼模式兩者，當(dāng)前輸入信號和預(yù)測信號之間的差異e被轉(zhuǎn)換110及量化120，獲得量化系數(shù)。通常，采用正交變換，例如二維離散余弦變換(dct)或其整數(shù)版本，因?yàn)槠溆行У亟档土俗匀灰曨l圖像的相關(guān)性。轉(zhuǎn)換后，對于圖像質(zhì)量而言，較低頻率成分通常比高頻率成分更重要，因此對低頻率成分進(jìn)行編碼可以使用比對高頻率成分進(jìn)行編碼更多的比特。在熵編碼器中，把量化系數(shù)的二維矩陣轉(zhuǎn)換成一維數(shù)組。通常，由所謂的之字形掃描執(zhí)行這種轉(zhuǎn)換，之字形掃描由在二維數(shù)組左上角的dc系數(shù)開始，并以預(yù)定序列掃描二維數(shù)組，在右下角的ac系數(shù)處結(jié)束。由于能量通常集中于系數(shù)二維矩陣對應(yīng)于較低頻率的左上部分，之字形掃描獲得最后值通常為零的數(shù)組。這樣允許使用游程長度代碼進(jìn)行高效率的編碼，作為實(shí)際熵編碼的/之前的一部分。h.264/mpeg-4h.264/mpeg-4avc以及hevc包括兩個功能層，即視頻編碼層(vcl)和網(wǎng)絡(luò)抽象層(nal)。vcl提供了上文簡述的編碼功能。nal將信息元素根據(jù)其進(jìn)一步的應(yīng)用，例如通過信道傳輸或在存儲器中存儲，封裝成被稱為nal單元的標(biāo)準(zhǔn)化單元中。信息元素例如是用于對視頻信號解碼所需的編碼預(yù)測誤差信號或其他信息，例如預(yù)測類型、量化參數(shù)、運(yùn)動矢量等。存在著包含壓縮視頻數(shù)據(jù)和相關(guān)信息的vclnal單元以及封裝額外數(shù)據(jù)的非vcl單元，額外數(shù)據(jù)例如是與整個視頻序列相關(guān)的參數(shù)集，或提供可用于改進(jìn)解碼性能的額外信息的補(bǔ)充增強(qiáng)信息(sei)。圖2示出了根據(jù)h.264/mpeg-4avc或hevc視頻編碼標(biāo)準(zhǔn)的范例解碼器200。編碼的視頻信號(解碼器的輸入信號)首先傳遞到熵解碼器290，熵解碼器290對量化系數(shù)、解碼所需信息元素，例如運(yùn)動數(shù)據(jù)、預(yù)測模式等進(jìn)行解碼。對量化系數(shù)進(jìn)行逆向掃描，以便獲得二維矩陣，然后將其饋送給逆量化和逆變換230。在逆量化和逆變換230之后，獲得解碼(量化)的預(yù)測誤差信號e'，其對應(yīng)于在不引入量化噪聲且不發(fā)生誤差的情況下從編碼器的信號輸入減去預(yù)測信號獲得的差異。從時間或空間預(yù)測280獲得預(yù)測信號。解碼的信息元素通常還包括預(yù)測所需的信息，例如內(nèi)預(yù)測情況下的預(yù)測類型以及運(yùn)動補(bǔ)償預(yù)測情況下的運(yùn)動數(shù)據(jù)。然后利用加法器240將空域中的量化預(yù)測誤差信號加到從運(yùn)動補(bǔ)償預(yù)測或幀內(nèi)預(yù)測280獲得的預(yù)測信號?？梢詫⒅貥?gòu)圖像s'通過解塊濾波器250、樣本自適應(yīng)偏移處理255和自適應(yīng)循環(huán)濾波器260，并在存儲器270中存儲所得的解碼信號，以應(yīng)用于后續(xù)塊/圖像的時間或空間預(yù)測。圖3中示出了示范性混合視頻編碼器的另一例示。圖3的編碼器與圖1的編碼器不同之處在于，已經(jīng)將圖1的解塊濾波器150細(xì)分成用于垂直邊緣的水平解塊的濾波器350a和用于水平邊緣垂直解塊的濾波器350b。將濾波器350a應(yīng)用于重構(gòu)信號s'，即加法器140的輸出。濾波器350b的輸出，即具有解塊的垂直邊緣的圖像被表示為s”并輸入到濾波器350b中。濾波器350b的輸出信號，即經(jīng)過垂直和水平解塊的圖像被表示為s”'。此外，圖3明確示出了要輸入到熵編碼器190、水平解塊濾波器350a和垂直解塊濾波器350b中的量化參數(shù)qp。圖3的剩余塊對應(yīng)于圖1的相應(yīng)塊，在圖3和圖1中通過相同附圖標(biāo)記表示類似特征。在圖3中，已經(jīng)將自適應(yīng)環(huán)路濾波器160明確描述為維納濾波器，塊155(sao)和160(alf)已經(jīng)被互換。不過，這些步驟的順序?qū)τ诒景l(fā)明而言不是實(shí)質(zhì)性的。此外，圖3中未明確示出參考幀緩存170。考慮到圖1的編碼器和圖2的解碼器的相應(yīng)特征密切相似，本領(lǐng)域的技術(shù)人員知道如何修改圖2，以便例示解碼器，其中使得兩個相繼步驟中的水平和垂直解塊清楚明白。因此這里省去了相應(yīng)的圖。在對圖像進(jìn)行壓縮和解壓時，分塊偽影一般是對用戶而言最干擾的偽影。解塊濾波有助于通過使重構(gòu)圖像中塊間的邊緣平滑化而改善用戶的知覺體驗(yàn)。解塊濾波中的困難之一是在由于應(yīng)用量化器導(dǎo)致的分塊造成的邊緣之間，以及在作為編碼信號部分的邊緣之間進(jìn)行正確的判定。僅在塊邊界上的邊緣是由于壓縮偽影導(dǎo)致時才希望應(yīng)用解塊濾波器。在其他情況下，通過應(yīng)用解塊濾波器，重構(gòu)的信號可能是令人失望的、扭曲的。另一個困難是選擇適當(dāng)?shù)臑V波器進(jìn)行解塊濾波。典型地，在幾個具有不同頻率響應(yīng)(導(dǎo)致強(qiáng)或弱低通濾波)的低通濾波器之間做出判定。為了判定是否應(yīng)用解塊濾波并選擇適當(dāng)?shù)臑V波器，考慮兩個塊的邊界附近的圖像數(shù)據(jù)。例如，可以考慮相鄰塊的量化參數(shù)。或者或此外，可以考慮諸如內(nèi)或互預(yù)測的預(yù)測模式。另一種可能是評估量化的預(yù)測誤差系數(shù)，例如，它們中的多少被量化成零。用于運(yùn)動補(bǔ)償預(yù)測的參考幀也可以表示濾波器的選擇，例如，是否使用同一參考幀預(yù)測當(dāng)前塊和相鄰塊。判定也可以基于用于運(yùn)動補(bǔ)償預(yù)測的運(yùn)動矢量以及用于當(dāng)前塊和用于相鄰塊的運(yùn)動矢量是否相同或更好它們不同。判定可能涉及樣本的空間位置，例如與塊碎片的距離。例如，h.264/mpeg-4avc評估兩個相鄰塊的每個中第一推導(dǎo)(導(dǎo)數(shù))的絕對值，兩個相鄰塊的邊界要被解塊。此外，評估兩個塊之間邊緣上第一導(dǎo)數(shù)的絕對值，例如，如h.264/mpeg-4avc標(biāo)準(zhǔn)8.7.2.2.部分中所述。在us2007/854204a中還描述了類似方法?；谙嗤臉?biāo)準(zhǔn)對所有要濾波的像素做出判定，針對整個塊進(jìn)行選擇。hevc采用類似的機(jī)制，不過，也使用二階導(dǎo)數(shù)。根據(jù)這些方法，對于實(shí)際解塊而言，針對可能要解塊的塊的所有邊緣判定是否解塊。此外，如果啟用解塊，對于每個單獨(dú)的排，對于要應(yīng)用的濾波器種類做出判定。基于未解塊的像素樣本做出這些判定。因此，必須要在實(shí)際應(yīng)用解塊濾波器對垂直邊緣進(jìn)行水平濾波并對水平邊緣進(jìn)行垂直濾波之前對兩個解塊方向都做出判定。結(jié)果是要應(yīng)用的第一解塊濾波器(例如，水平濾波)的延遲。此外，需要存儲濾波器開/濾波器關(guān)判定的結(jié)果?；蛘?，為了延遲對在第二方向(例如，垂直)解塊所做的判定，會需要額外的排存儲器(linememory)。由于排存儲器非常昂貴，這樣會導(dǎo)致成本升高。技術(shù)實(shí)現(xiàn)要素：考慮到現(xiàn)有技術(shù)存在這些問題，提供一種存儲器使用效率得到提高的高效率解塊濾波方法會是有利的。本發(fā)明的具體方法是基于將每個塊沿垂直于塊邊界的線分割成至少兩個段，而非基于完整的塊，為兩個塊之間的邊界應(yīng)用或跳過解塊濾波器做出判定。定義所述段，使得段包括以任何方式存儲的所有那些像素，因?yàn)獒槍εc相應(yīng)段相鄰的垂直方向的另一塊邊界，判定是否應(yīng)用或跳過解塊濾波和/或選擇適當(dāng)?shù)臑V波器需要它們。根據(jù)本發(fā)明的一方面，提供了一種按每個塊對已編碼圖像進(jìn)行解碼的解碼方法，包括：根據(jù)所述已編碼圖像對重構(gòu)圖像進(jìn)行解碼的步驟；以及針對所述重構(gòu)圖像所包含的重構(gòu)塊執(zhí)行解塊濾波處理的步驟；所述解塊濾波處理包括：判斷是否對與第一重構(gòu)塊和第二重構(gòu)塊之間的第一邊界相鄰的像素應(yīng)用解塊濾波器的判斷步驟，所述第一重構(gòu)塊以及所述第二重構(gòu)塊各自包括沿著垂直于所述第一邊界的線分割而成的兩個段，而且在所述重構(gòu)圖像之中作為所述重構(gòu)塊具有相同的尺寸，在所述判斷步驟中，針對所述第一邊界兩側(cè)的一對相鄰段，僅利用所述一對相鄰段的像素進(jìn)行第一判斷，針對所述第一邊界兩側(cè)的另一對相鄰段，僅利用所述另一對相鄰段的像素進(jìn)行第二判斷。根據(jù)本發(fā)明的另一方面，提供了一種按每個塊對已編碼圖像進(jìn)行解碼的解碼裝置，具備：解碼部，根據(jù)所述已編碼圖像對重構(gòu)圖像進(jìn)行解碼；以及濾波部，針對所述重構(gòu)圖像所包含的重構(gòu)塊執(zhí)行解塊濾波處理；所述解塊濾波處理包括：判斷是否對與第一重構(gòu)塊和第二重構(gòu)塊之間的第一邊界相鄰的像素應(yīng)用解塊濾波器的判斷步驟，所述第一重構(gòu)塊以及所述第二重構(gòu)塊各自包括沿著垂直于所述第一邊界的線分割而成的兩個段，而且在所述重構(gòu)圖像之中作為所述重構(gòu)塊具有相同的尺寸，在所述判斷步驟中，針對所述第一邊界兩側(cè)的一對相鄰段，僅利用所述一對相鄰段的像素進(jìn)行第一判斷，針對所述第一邊界兩側(cè)的另一對相鄰段，僅利用所述另一對相鄰段的像素進(jìn)行第二判斷。根據(jù)本發(fā)明的另一方面，提供了一種按每個塊對已編碼圖像進(jìn)行解碼的解碼裝置，具備：處理電路；以及與所述處理電路連接的存儲器；所述處理電路利用所述存儲器進(jìn)行：根據(jù)所述已編碼圖像對重構(gòu)圖像進(jìn)行解碼的步驟；以及針對所述重構(gòu)圖像所包含的重構(gòu)塊執(zhí)行解塊濾波處理的步驟；所述解塊濾波處理包括：判斷是否對與第一重構(gòu)塊和第二重構(gòu)塊之間的第一邊界相鄰的像素應(yīng)用解塊濾波器的判斷步驟，所述第一重構(gòu)塊以及所述第二重構(gòu)塊各自包括沿著垂直于所述第一邊界的線分割而成的兩個段，而且在所述重構(gòu)圖像之中作為所述重構(gòu)塊具有相同的尺寸，在所述判斷步驟中，針對所述第一邊界兩側(cè)的一對相鄰段，僅利用所述一對相鄰段的像素進(jìn)行第一判斷，針對所述第一邊界兩側(cè)的另一對相鄰段，僅利用所述另一對相鄰段的像素進(jìn)行第二判斷。根據(jù)本發(fā)明的另一方面，提供了一種用于對圖像像素塊進(jìn)行解塊濾波的方法。該方法包括如下步驟：將被第一邊界分開的第一和第二塊的每個沿著垂直于所述第一邊界的線分成至少兩段，以及判斷是否對與所述第一和第二塊的第一邊界相鄰的像素應(yīng)用解塊濾波器。利用所述第一邊界兩側(cè)的一對相鄰段中的樣本像素，針對所述一對相鄰段單獨(dú)進(jìn)行所述判斷，使得在所述判斷中不使用屬于其他段的像素。將所述塊分成段，使得一塊的段包括判斷是否應(yīng)用解塊濾波器和/或?yàn)榕c所述塊與第三塊之間的第二邊界相鄰的像素解塊選擇解塊濾波器所需的塊的全部像素，其中所述第二邊界垂直于所述第一邊界。根據(jù)本發(fā)明的另一方面，提供了一種用于對圖像像素塊進(jìn)行解塊濾波的裝置。該裝置包括分割單元，用于將被第一邊界分開的第一和第二塊的每個沿著垂直于所述第一邊界的線分成至少兩段。該裝置還包括判斷單元，用于判斷是否對與所述第一和第二塊的第一邊界相鄰的像素應(yīng)用解塊濾波器。所述判斷單元利用所述第一邊界兩側(cè)的一對相鄰段中的樣本像素針對所述一對相鄰段單獨(dú)進(jìn)行判斷，使得在所述判斷中不使用屬于其他段的像素。所述分割單元將所述塊分成段，使得一塊的段包括判斷是否應(yīng)用解塊濾波器和/或?yàn)榕c所述塊與第三塊之間的第二邊界相鄰的像素解塊選擇解塊濾波器所需的塊的全部像素，其中所述第二邊界垂直于所述第一邊界。附圖說明附圖被納入說明書并形成說明書的一部分以例示本發(fā)明的幾個實(shí)施例。這些附圖與描述一起用于解釋本發(fā)明的原理。附圖僅僅用于例示可以如何做出并使用本發(fā)明的優(yōu)選和替代范例，不應(yīng)被解釋為將本發(fā)明限制到所示和所述的實(shí)施例。如附圖中所示，從本發(fā)明各實(shí)施例的以下更具體描述，其他特征和優(yōu)點(diǎn)將變得顯而易見，在附圖中，相似的附圖標(biāo)記指代相似元件，且其中：圖1是例示視頻編碼器的范例的方框圖；圖2是例示視頻解碼器的范例的方框圖；圖3是例示視頻編碼器的范例的另一方框圖；圖4a是例示水平解塊濾波器的應(yīng)用的示意圖；圖4b是例示垂直解塊濾波器的應(yīng)用的示意圖；圖5是例示判定是否要應(yīng)用解塊以及選擇解塊濾波器的示意圖；圖6a是例示強(qiáng)濾波器執(zhí)行的解塊操作的示意圖；圖6b是例示弱濾波器執(zhí)行的解塊操作的示意圖；圖7是例示接下來要從八排/列的示范性塊做出的解塊判定序列的流程圖；圖8是例示用于執(zhí)行圖7的流程圖中的第一種判定的像素的樣本的示意圖；圖9是例示執(zhí)行圖7的流程圖中的第二種判定所采用的像素樣本的示意圖；圖10是例示在對垂直邊緣水平濾波的情況下用于執(zhí)行圖7的流程圖中的第三種判定的像素樣本的示意圖；圖11是例示用于對垂直邊緣執(zhí)行水平解塊的像素樣本的示意圖；圖12是例示在對水平邊緣垂直濾波的情況下用于執(zhí)行圖7的流程圖中的第三種判定的樣本像素的示意圖；圖13是例示用于對水平邊緣執(zhí)行垂直解塊濾波的樣本像素的示意圖；圖14是可以通過垂直邊緣的水平解塊修改的樣本的圖示；圖15是通過垂直邊緣的水平解塊修改的樣本的圖示；圖16是通過受到水平或者垂直解塊修改的樣本的圖示；圖17a-17d是例示在用于實(shí)現(xiàn)水平和垂直濾波的圖7的流程圖中的第一和第二種判定的并行執(zhí)行當(dāng)中出現(xiàn)的問題以及根據(jù)本發(fā)明的克服所述問題的基本思路的示意圖；圖18是例示將根據(jù)本發(fā)明的解塊中的相關(guān)性限于8×8樣本的圖解；圖19a、19b是例示根據(jù)本發(fā)明的實(shí)施例判定是否應(yīng)用解塊濾波器的具體范例的示意圖；圖20a、20b是例示根據(jù)本發(fā)明的實(shí)施例用于選擇適當(dāng)解塊濾波器的判定的示范性方案的示意圖；圖21a、21b是例示根據(jù)本發(fā)明的實(shí)施例用于選擇適當(dāng)解塊濾波器的判定的替代示范性方案的示意圖；圖22a、22b是例示在判定是否應(yīng)用解塊濾波器時發(fā)生的存儲器訪問問題的示意方框圖；圖23a、23b是例示圖22a和b中例示的存儲器訪問問題解決方案的示意圖；圖24示出了用于實(shí)施內(nèi)容分發(fā)服務(wù)的內(nèi)容提供系統(tǒng)的總體配置；圖25示出了數(shù)字廣播系統(tǒng)的總體配置；圖26示出了方框圖，例示了電視配置的范例；圖27示出了方框圖，例示了信息再現(xiàn)/記錄單元的配置范例，該信息再現(xiàn)/記錄單元從記錄介質(zhì)，即光盤讀取信息并向其上寫入信息；圖28示出了記錄介質(zhì)，即光盤的配置范例；圖29a示出了蜂窩電話的范例；圖29b是示出了蜂窩電話配置范例的方框圖；圖30例示了復(fù)用數(shù)據(jù)的結(jié)構(gòu)；圖31示意性示出了如何在復(fù)用數(shù)據(jù)中復(fù)用每個流；圖32更詳細(xì)地示出了如何在pes分組流中存儲視頻流；圖33示出了復(fù)用數(shù)據(jù)中ts分組和源分組的結(jié)構(gòu)；圖34示出了pmt的數(shù)據(jù)結(jié)構(gòu)；圖35示出了復(fù)用數(shù)據(jù)信息的內(nèi)部結(jié)構(gòu)；圖36示出了流屬性信息的內(nèi)部結(jié)構(gòu)；圖37示出了用于識別視頻數(shù)據(jù)的步驟；圖38示出了根據(jù)每個實(shí)施例用于實(shí)施活動畫面編碼方法和活動畫面解碼方法的集成電路配置范例；圖39示出了用于在驅(qū)動頻率之間切換的配置；圖40示出了用于識別視頻數(shù)據(jù)并在驅(qū)動頻率之間切換的步驟；圖41示出了查找表的范例，在查找表中將視頻數(shù)據(jù)標(biāo)準(zhǔn)與驅(qū)動頻率相關(guān)聯(lián)；圖42a是示出了用于共享信號處理單元的模塊的配置范例的圖示；以及圖42b是示出了用于共享信號處理單元的模塊的另一配置范例的圖示。具體實(shí)施方式本發(fā)明所解決的問題是觀察到常規(guī)判定技術(shù)需要太多的存儲容量來執(zhí)行所有的判定以及按照預(yù)期的順序執(zhí)行實(shí)際的濾波處理，如下文所述。為了降低存儲成本，根據(jù)本發(fā)明，對執(zhí)行判定處理的塊執(zhí)行分割，從而使mic存儲需求降至最低。根據(jù)另一特定方面，還實(shí)現(xiàn)了降低的總計算復(fù)雜性。圖4示出了分別在對圖1、圖2和圖3的描述當(dāng)中提到的解塊濾波器(例如，150、250、350a和350b)的應(yīng)用的范例。這樣的解塊濾波器可以針對塊邊界處的每一樣本判定是否要對其濾波。在要對其濾波時，應(yīng)用低通濾波器。這一判定的目的在于僅對一些樣本濾波，對于這些樣本而言，上述
背景技術(shù)：
部分描述的逐塊處理中所應(yīng)用的量化將導(dǎo)致塊邊界處產(chǎn)生大的信號變化。這一濾波的結(jié)果是邊界處的平滑化信號。所述平滑化的信號對觀察者帶來的困擾要比分塊偽影少。對于一些樣本而言，邊界處的大的信號變化屬于要編碼的原始信號，那么就不應(yīng)對這些樣本濾波，這樣才能保持高頻率，繼而保持視覺清晰度。假設(shè)發(fā)生了錯誤的判定，那么圖像要么會受到不必要的平滑化，要么還是會呈塊狀。圖4a示出了針對垂直邊界所做的(是否要采用水平解塊濾波器進(jìn)行濾波的)判定，圖4b示出了針對水平邊界所做的(是否要采用垂直解塊濾波器進(jìn)行濾波的)判定。具體而言，圖4a示出了要解碼的當(dāng)前塊340以及該塊的已經(jīng)被解碼的相鄰塊310、320和330。針對處于一排內(nèi)的像素360執(zhí)行判定。類似地，圖4b示出了同一當(dāng)前塊340以及針對處于一列內(nèi)的像素370執(zhí)行的判定。可以如下執(zhí)行有關(guān)是否應(yīng)用解塊濾波器的判斷，其與h.264/mpeg-4avc類似。讓我們來看一排的六個像素360，它們當(dāng)中的前三個像素p2、p1、p0屬于左邊的相鄰塊a330，接下來的三個像素q0、q1和q2處于當(dāng)前塊b340，仍然如圖5所示。排410示出了塊a和b之間的邊界。像素p0和q0分別是左側(cè)鄰塊a和當(dāng)前塊b的處于彼此直接相鄰的位置上的像素。例如，在滿足下述條件時通過解塊濾波器對像素p0和q0進(jìn)行解塊濾波：|p0-q0|＜αh264(qpnew)，|p1-p0|＜βh264(qpnew),以及|q1-q0|＜βh264(qpnew)，其中，一般而言，βh264(qpnew)＜αh264(qpnew)。這些條件旨在檢查p0和q0之間的差異是否源自于分塊偽影。它們對應(yīng)于對塊a和塊b的每者內(nèi)的以及它們之間的一階導(dǎo)數(shù)的評估。如果除了上面的三個條件之外如果還滿足下述條件就對像素p1濾波。|p2-p0|＜βh264(qpnew).例如，如果除了上面的前三種條件之外還滿足下述條件，那么對像素q1濾波：|q2-q0|＜βh264(qpnew).這些條件分別對應(yīng)于第一塊內(nèi)的一階導(dǎo)數(shù)以及第二塊內(nèi)的一階導(dǎo)數(shù)。在上述條件當(dāng)中，qp表示指示所應(yīng)用的量化的量的量化參數(shù)，β,α是標(biāo)量常數(shù)。具體而言，qpnew是如下以應(yīng)用于相應(yīng)的第一和第二塊a和b的量化參數(shù)qpa和qpb為基礎(chǔ)導(dǎo)出的量化參數(shù)：qpnew＝(qpa+qpb+1)＞＞1,其中，“＞＞n”表示右移n位(在上面的公式中：一位)。上面的條件對應(yīng)于塊內(nèi)的一階導(dǎo)數(shù)的評估?？梢灾粚K的一個或多個選定的排執(zhí)行判定，同時對所有的排360執(zhí)行相應(yīng)的像素濾波。圖5中示出了在遵照hevc的判定中涉及的排430的范例420。在排430的基礎(chǔ)上執(zhí)行有關(guān)是否要對整個塊濾波的判定。可以在itu-tsg16wp3和iso/iecjtc1/sc29/wg11的jtc-vc的jctvc-e603文件8.6.1部分中找到解塊濾波的另一個范例，可以在http:∥wftp⒊itu.int/av-arch/jctvc-site免費(fèi)獲得該文件。相應(yīng)地，在hevc中采用兩排430判定是否要應(yīng)用解塊濾波以及如何應(yīng)用解塊濾波。在本說明書中通篇采用第一判定步驟d1標(biāo)示這一判定步驟。范例420采取了對第三(具有標(biāo)引2)和第六(具有標(biāo)引5)排的估算，以實(shí)現(xiàn)水平塊化濾波的目的。具體而言，如下估算每一塊內(nèi)的二階導(dǎo)數(shù)，由此獲得度量dp和dq：dp2＝|p22-2·p12+p02|dq2＝|q22-2·q12+q02|dp5＝|p25-2·p15+p05|dq5＝|q25-2·q15+q05|dp＝dp2+dp5dq＝dq2+dq5,像素p屬于塊a，像素q屬于塊b。p或q后面的第一個數(shù)字表示列標(biāo)引，接下來的處于下標(biāo)中的數(shù)字表示在塊內(nèi)的行編號。在滿足下述條件時啟用對范例420中所示的所有八排的解塊：d＝dp+dq＜β(qp)。如果不滿足上面的條件，那么不應(yīng)用解塊。在啟用了解塊的情況下，在接下來的在本說明書中通篇表示為第二判定步驟d2的判定步驟中確定用于解塊的濾波器。這一確定是以塊a和b之間的一階導(dǎo)數(shù)的估算為基礎(chǔ)的。具體而言，對于每一排i而言(其中，i是處于0和7之間的整數(shù))判定應(yīng)用強(qiáng)低通濾波器還是弱低通濾波器。如果滿足下述條件則選擇強(qiáng)濾波器。|p3i-p0i|+|q3i-q0i|＜(β(qp)＞＞3)∧d＜(β(qp)＞＞2)∧|p0i-q0i|＜((tc(qp)·5+1)＞＞1)。依照所述hevc模型，“強(qiáng)濾波器”采用p3i,p2i,p1i,p0i,q0i,q1i,q2i,q3i對樣本p2i,p1i,p0i,q0i,q1i,q2i濾波，而“弱濾波器”則采用p2i,p1i,p0i,q0i,q1i,q2i對樣本p1i,p0i,q0i,q1i濾波。在上述條件下，參數(shù)β和tc兩者都是可以針對圖像的片層等設(shè)置的量化參數(shù)qpe的函數(shù)。β和tc的值通常是采用查找表在qp的基礎(chǔ)上導(dǎo)出的。圖6更詳細(xì)地解釋了依照h264/mpeg-4avc(在hevc軟件模型hm4.0中實(shí)現(xiàn)的)的強(qiáng)濾波器操作和弱濾波器操作的示范性解決方案。在圖6a中，左手邊的圖示出了用于在強(qiáng)濾波器中對垂直邊緣水平濾波的樣本。圖6a的右手邊的圖示出了受到濾波器修改的樣本。從該圖可以看出，在所給定的范例中，將由附圖標(biāo)記610表示的對應(yīng)于與所述邊界的兩側(cè)最為相鄰的4個像素的樣本用于濾波。實(shí)際受到修改的只是圖6a的左手側(cè)的圖中通過620表示的從兩側(cè)與所述邊界最為接近的那三個像素。實(shí)際上根據(jù)下述公式執(zhí)行濾波。p0′i＝clip((p2i+2·p1i+2·p0i+2·q0i+q2i+4)＞＞3)p1′i＝clip((p2i+p1i+p0i+q0i+2)＞＞2)p2′i＝clip((2·p3i+3·p2i+p1i+p0i+q0i+4)＞＞3)q0′i＝clip((q2i+2·q1i+2·q0i+2·p0i+p2i+4)＞＞3)q1′i＝clip((q2i+q1i+q0i+p0i+2)＞＞2)q2′i＝clip((2·q3i+3·q2i+q1i+q0i+p0i+4)＞＞3)函數(shù)clip(x)的定義如下：這里，max_allowed_value是x可能具有的最大值。在采用k位樣本進(jìn)行pcm編碼的情況下，所述最大值將為max_allowed_value＝2k-1。例如，在采用8位樣本進(jìn)行pcm編碼的情況下，所述最大值將為max_allowed_value＝255。在采用10位樣本進(jìn)行pcm編碼的情況下，所述最大值將為max_allowed_value＝1023。從上述方程可以看出，在每一公式中針對每一排單獨(dú)執(zhí)行濾波(僅采用單個排標(biāo)引i＝0、1、2、3、5、6或7)，其中，通過濾波器對像素進(jìn)行了修改(通過濾波器編號后面的撇號'指示)。盡管分別對于p3i和q3i而言沒有計算任何經(jīng)修改的像素，但是分別從針對p2'i和q2'i的方程可以看出，p3i和q3i出現(xiàn)在相應(yīng)的計算方程的右手側(cè)。從圖6b可以看出，弱濾波器將從兩側(cè)與所述邊界最為接近的三個像素用于濾波(左手側(cè)圖解中的樣本630)。實(shí)際受到修改的只是圖6b的右手側(cè)的與邊界最為相鄰的兩個像素(樣本640)。弱濾波的計算處理與強(qiáng)濾波情況下的計算存在顯著區(qū)別，其還包括其他判定。首先根據(jù)所述判定所基于的下述方程計算判別值δδ＝(9·(q0i-p0i)-3·(q1i-p1i)+8)＞＞4。接下來，在第三判定步驟d3中判定到底要不要執(zhí)行濾波。根據(jù)所述第三判定，如果滿足條件|δ|＜10·tc，那么僅對像素樣本640施加濾波。如果滿足所述條件，那么根據(jù)下述方程對所述從兩側(cè)與所述邊界最為接近的像素進(jìn)行濾波p0′i＝clip(p0i+δ1)q0′i＝clip(q0i-δ1)，其中δ1＝clip3(-tc,tc,δ)函數(shù)clip(x)的定義如上。函數(shù)clip3(x)的定義如下：在對樣本p0和q0濾波之后，執(zhí)行第四判定d4，以判定是否還要對從所述邊界的角度來看次最近的像素樣本，即p1i和q1i進(jìn)行濾波。單獨(dú)針對所述邊界的兩側(cè)，單獨(dú)即針對屬于圖6b的塊a的像素p1i和屬于圖6b的塊b的像素q1i執(zhí)行所述第四判定d4。針對像素p1i的第四判定是以上文介紹的參數(shù)dp為基礎(chǔ)的。如果滿足條件dp＜(β/6)，那么根據(jù)p1′i＝clip(p1i+δ2p)執(zhí)行濾波，其中δ2p＝clip3(-tc2,tc2,(((p2i+p0i+1)＞＞1)-p1i+δ1)＞＞1)。如果滿足條件dq＜(β/6)，那么執(zhí)行針對塊b的像素qi的第四判定。根據(jù)q1′i＝clip(q1i+δ2q)執(zhí)行濾波，其中δ2q＝clip3(-tc2,tc2,(((q2i+q0i+1)＞＞1)-q1i-δ1)＞＞1).上面的參數(shù)tc2是依照tc2＝tc＞＞1定義的。注意，上面的濾波過程盡管是以垂直邊緣的水平濾波為例進(jìn)行說明的，但是其同樣適用于水平邊緣的垂直濾波，只需分別對水平和垂直方向以及行和列進(jìn)行交換。此外，在本說明書中通篇采用這樣的規(guī)定，即，“排”一詞可以指行也可以指列。圖7是針對8×8塊，即，具有八個要濾波的排的塊的具體情況說明由判定步驟d1、d2、d3和d4構(gòu)成的序列的總體流程圖。從圖7可以看出，在步驟s10中，可以通過單次判定判定出所有的八個排是否要實(shí)施解塊濾波。如果判定不實(shí)施解塊(濾波器off)，那么處理終止。如果實(shí)施解塊(濾波器on)，那么接下來的步驟s20j到s45j中的每者將針對所述排(通過下標(biāo)j指示，j＝1,2,...,8)中的每者單獨(dú)執(zhí)行濾波處理。為簡單起見，在下述說明中省略了相應(yīng)的下標(biāo)j。首先，在步驟s20中，針對每一單獨(dú)的排j判定是應(yīng)用強(qiáng)濾波器還是弱濾波器(判定d2)。如果判定應(yīng)用強(qiáng)濾波器，那么在接下來的步驟s35中，應(yīng)用強(qiáng)濾波器，如上文參考圖6a所述。在相反情況下，在判定應(yīng)用弱濾波器時，處理進(jìn)行至另一判定步驟s30，其中，針對各排j執(zhí)行判定d3。如果在判定d3中判定不實(shí)施濾波，那么處理終止。在相反情況下，在步驟s38中執(zhí)行對最接近邊界的排p0和q0的像素的濾波，如上文參考圖6b所述。接下來，在步驟s40中，進(jìn)一步判定是否還要對p1和q1(與邊界次最近)濾波。如果否，那么處理終止。如果判定是肯定的，那么除了進(jìn)行至步驟s45，其中，計算經(jīng)修改的像素p1'和q1'。將根據(jù)本范例聯(lián)系圖6b描述步驟s30、s38、s40和s45的處理的細(xì)節(jié)。圖8以舉例的方式示出了用于執(zhí)行判定d1(即，對于兩塊之間的具體邊界到底要不要實(shí)施解塊的判定)的像素樣本。該圖示出了兩行塊。在每一行中示出了前一已經(jīng)解碼的塊810、當(dāng)前要解碼的塊820和下一個要解碼的塊830。由于判定d1是針對未被解塊的圖像塊執(zhí)行的，因而所示出的樣本對應(yīng)于圖3的信號s'。如上文所述，將處于垂直于所要濾波的邊緣的濾波方向內(nèi)的第三排和第六排(標(biāo)有2和5)用于判定d1。具體而言，樣本860a包括兩個用于執(zhí)行判定d1的列，以判定是否要對當(dāng)前塊820和處于垂直上方的塊820之間的邊界濾波。樣本860b示出了用于執(zhí)行判定d1的兩個行，所述判定將判斷是否要對當(dāng)前塊820和下一塊830之間的垂直邊緣水平濾波。類似地，樣本860c也示出了兩個用于執(zhí)行判定d1的行，所述判定是針對前一塊810和當(dāng)前塊820之間的邊界做出的。如上文所述，為了在每一采樣排內(nèi)執(zhí)行判定，需要從所述邊界的每一側(cè)數(shù)出的三個像素。圖9提供了用于執(zhí)行判定d2的未解塊信號s'的所有樣本像素的概覽。由于這些判定是針對排單獨(dú)執(zhí)行的，因而垂直于相應(yīng)邊界的所有要進(jìn)行所述判定的排的像素都將被包含在圖9所示的樣本960內(nèi)。如上所述，判定d2需要對在兩側(cè)與所述邊界相鄰的頭四個像素進(jìn)行估算。樣本960示出了用于對相同的邊界執(zhí)行判定d2的樣本，對于所述邊界而言，圖8示出了用于執(zhí)行判定d1的樣本。在圖10中，示出了用于執(zhí)行判定d3的樣本1060，所述判定是針對垂直邊緣的，即當(dāng)前塊820分別與前一塊810和下一塊830之間的邊界的水平濾波做出的。如上所述，單獨(dú)針對每一排執(zhí)行判定，但是僅將從每一側(cè)與所述邊界相鄰的兩個像素用于所述判定。圖11示出了用于針對垂直邊緣執(zhí)行水平解塊濾波的樣本1160。由其可以看出，與圖10相反，所述濾波本身需要所述邊界兩側(cè)的四個像素的“深度”。圖12示出了用于執(zhí)行判定d3的樣本1260，所述判定是針對水平邊界的垂直濾波做出的。由于所述判定只在執(zhí)行對垂直邊緣的水平解塊之后執(zhí)行，因而這些樣本是從圖3的經(jīng)水平解塊的信號s'中選擇的。為了凸顯圖12的塊與上面的附圖中所示的塊之間的差異，在每一塊的附圖標(biāo)記上添加了撇號。因而，分別將圖12中的前一塊、當(dāng)前塊和下一塊標(biāo)示為810'、820'和830'。圖13示出了用于執(zhí)行對水平邊緣的實(shí)際垂直解塊濾波的樣本1360。因而，圖13與圖12的區(qū)別方式與圖11和圖10的區(qū)別方式相同。具體而言，在所述邊界的兩側(cè)對從所述塊邊界開始數(shù)出的四個像素采樣。在下圖中，圖14到16示出了可以修改的像素樣本(與用于判定和用于執(zhí)行濾波的像素相比相對照)。在上述范例中示出了由8×8個樣本構(gòu)成的塊(即，8個行和8個列，或者沿每一方向都有八排)。但是所述塊尺寸只是范例。具體而言，圖14提供了可以通過對垂直邊緣的水平解塊而修改的樣本的圖示。對于一塊(在附圖中被標(biāo)為“8個樣本”)而言，在與要解塊的邊界平行的八排的像素當(dāng)中，所述邊界的兩側(cè)最多有三排變得受到修改。因此，有接近邊界的六個樣本構(gòu)成的序列將變得受到修改。在圖14中對這些樣本打上了陰影。因此，在整個8×8塊內(nèi)，處于要修改的塊的中間的兩個樣本將在每一塊內(nèi)保持不變。圖15示出了通過對垂直邊緣的水平解塊修改的樣本。因此，圖15基本上對應(yīng)于圖14，但是，其中的陰影部分旋轉(zhuǎn)了90°。圖16提供了通過水平或者垂直解塊修改的樣本的總體圖示。因而，圖16對應(yīng)于圖14和圖15的疊加。在上述說明的基礎(chǔ)上，現(xiàn)在將基于圖17a和17b以舉例的方式詳細(xì)說明本發(fā)明所本著的問題。將在圖17c中說明解決所述問題的總思路。注意，在下文的詳細(xì)說明中僅通過舉例的方式給出了塊尺寸，并由此給出了所存儲的排的數(shù)量和用于執(zhí)行判定的排的數(shù)量。本發(fā)明不限于8×8塊，因此樣本圖片的數(shù)量不限于下文具體指出的數(shù)量。在所附權(quán)利要求定義的本發(fā)明的框架內(nèi)，其他塊尺寸也是可能的，因而不同的所要存儲和選擇的樣本的數(shù)量也是可能的。而且，本發(fā)明不限于本說明書中所述的并且如圖3所示的首先執(zhí)行水平解塊的范例。對于在水平解塊之前執(zhí)行垂直解塊的相反情況，本發(fā)明具有相似的應(yīng)用，這一點(diǎn)是淺白易懂的。圖17a基本上對應(yīng)于圖9。此外，附圖標(biāo)記1770指示了執(zhí)行當(dāng)前塊820的上面的塊與當(dāng)前塊820之間的垂直邊界的判定d2(強(qiáng)或弱濾波器)所需的四排的樣本。如上所述，將對未解塊樣本執(zhí)行判定d1和d2。因此，只要圖3的未解塊信號s'仍然可用，即，在濾波器350a中的水平邊緣垂直濾波實(shí)際開始之前就必須執(zhí)行這些判定。換言之，具體而言針對水平邊緣的垂直濾波所做的判定d1和d2使濾波(具體而言：根據(jù)圖3的流程圖將首先執(zhí)行的對垂直邊緣的水平濾波)發(fā)生了延遲。因此，在垂直邊界處開始進(jìn)行所述受到延遲的水平濾波的時刻可得到在圖17a中通過附圖標(biāo)記1770表示的四排樣本，每排的長度對應(yīng)于執(zhí)行針對垂直濾波的判定d2所需的未解塊信號的畫面寬度?？梢匀缦聦?shí)施硬件實(shí)現(xiàn)：將未解塊樣本存儲到排存儲器內(nèi)，接下來采用所存儲的未解塊樣本針對當(dāng)塊的垂直邊緣的水平濾波和水平邊緣的垂直濾波執(zhí)行判定d1和d2。接下來，針對包括四個所存儲的排的區(qū)域執(zhí)行對垂直邊緣延遲的水平濾波。然而，對于這一延遲的水平濾波而言，先前執(zhí)行的開啟/關(guān)閉判定d1的結(jié)果是必需的。因此，必須將所述判定的結(jié)果存儲起來，或者對其重新計算。在不存儲所述結(jié)果的情況下，根據(jù)上文描述的常規(guī)方案的重新計算需要來自不屬于所存儲的排1770的排的樣本像素。也就是說，對于判定d1的判定結(jié)果的重新計算而言，需要圖17b所示的樣本像素1760(對應(yīng)于圖5中的樣本430，即第三和第六排的像素(在圖5中具有下標(biāo)2和5))。而第六排(在圖5中具有下標(biāo)5)屬于總之已經(jīng)存儲了的排，而第三排(在圖5中具有下標(biāo)2)則不是這種情況。因而，要么必須存儲先前針對所述延遲水平濾波所做的判定d1的判定結(jié)果，要么必須額外存儲來自額外排(圖17b中的排1760的上排)的數(shù)據(jù)。然而，由于排存儲器價格非常昂貴，因而后一種備選方案將帶來更高的成本?；蛘?，可以利用額外的排存儲器避免所述垂直濾波的延遲。也就是說，如果具有兩個排存儲器，其中一個保存未解塊信號，另一個保存水平解塊信號，那么可以推遲針對垂直濾波所做的判定d1和d2。但是，由于排存儲器價格非常昂貴，因而所述備選方案甚至更為不利。因此，在上述常規(guī)方案中，所出現(xiàn)的問題是，必須為了延遲的濾波器操作而將判定d1的結(jié)果或者未包含在所存儲的排(這里為四個排1770)中的額外排存儲起來。本發(fā)明旨在克服由上文所述的存儲問題導(dǎo)致的常規(guī)方法的缺陷。根據(jù)本發(fā)明，將每一塊(在本范例中：由八排(行/列)構(gòu)成的塊)劃分為至少兩段。通過某種方式執(zhí)行所述分割，從而有可能僅基于所存儲的排1770(執(zhí)行水平邊緣的垂直濾波的相應(yīng)判定所需的)并且獨(dú)立地由其他排執(zhí)行針對垂直邊緣的水平濾波的所有判定(d1：開啟/關(guān)閉，d2：強(qiáng)/弱)因此，對于垂直邊緣的延遲的水平濾波而言不再需要任何判定緩存或者額外的排存儲器。在圖17c中示出了所述思路。也就是說，通過所述分割，將通過某種方式修改垂直邊緣的延遲水平濾波的判定d1，從而使所述判定是僅以圖17c的虛線框1760中包含的未解塊信號s'的那些樣本為基礎(chǔ)做出的?？梢匀菀椎乜闯觯械倪@些像素都屬于所存儲的排1770。更具體而言，參考圖17d描述本發(fā)明的解決方案。也就是說，對水平濾波中所涉及的塊全部執(zhí)行分割，所述分割方式是沿水平分割線(即垂直于所要解塊的邊界的線)對塊進(jìn)行劃分。為了簡單起見，在圖17d中僅示出了對上面一行塊的分割。虛線分割線1700將每一塊沿垂直方向劃分成兩段(兩側(cè))。此外，通過某種方式對實(shí)施判定d1的方案進(jìn)行修改，從而使針對所述段之一的區(qū)域內(nèi)的垂直邊緣的水平解塊做出的判定d1不需要來自相應(yīng)的另一側(cè)的任何樣本。換言之，不再需要對所述塊作為一個整體做出判定d1，而是單獨(dú)這對每一段(側(cè))做出判定d1。為了對側(cè)1做出所述判定，僅采用來自側(cè)1的樣本(具體而言：通過編號17601表示的樣本)。為了對側(cè)2的段的區(qū)域做出所述判定，僅采用側(cè)2上的樣本(具體而言：通過編號17602表示的樣本)。反之亦然，位于側(cè)1的樣本不用于執(zhí)行側(cè)2上的垂直邊緣的水平濾波所需的判定，側(cè)2上的樣本不用于執(zhí)行側(cè)1上的垂直邊緣的水平濾波所需的判定。因此，具體而言，可以在不參考任何未存儲排的情況下基于所存儲排1770實(shí)施針對側(cè)2的判定。因而，既不需要在昂貴的排存儲器內(nèi)存儲先前確定的結(jié)果，也不需要在其內(nèi)存儲額外的排。就側(cè)1而言，可以在由相對于圖17中的另一行塊和上面的緊挨著的塊(圖17中未示出)之間的邊界所做的垂直解塊判定而仍然存儲著的相應(yīng)的排的時候做出單獨(dú)的判定。根據(jù)本發(fā)明的判定方案的一個重要的優(yōu)點(diǎn)是限制了解塊對具有塊的尺寸的區(qū)域的依賴性。因此，如果適當(dāng)?shù)剡x擇用于判定的樣本區(qū)域(塊)，那么能夠相互并行地對它們進(jìn)行解塊。必須注意，用于判定的樣本區(qū)域(塊)一般不同于相對于應(yīng)用了解塊的邊界而言的塊。在圖18中示出了所述有利的技術(shù)效果(對于8×8塊的范例而言)。圖18總體上以圖17d為基礎(chǔ)，其示出了六個8×8塊，將對所述塊的塊邊界進(jìn)行解塊。此外，在圖18中，已經(jīng)通過虛線方框強(qiáng)調(diào)了8×8區(qū)域1800。在所述區(qū)域1800內(nèi)，(按照與(例如)圖17d中的樣本17602類似的方式通過小的虛線矩形)示出了針對垂直邊緣1810的水平解塊所做的判定所需的樣本。此外，還強(qiáng)調(diào)了區(qū)域1800內(nèi)的用于水平邊緣的垂直解塊濾波的相應(yīng)樣本(具有垂直取向的小的虛線矩形)。從圖18可以看出，可以在不必參考所述區(qū)域外的任何樣本的情況下針對所述8×8塊1800做出所有的判定。因而，8×8區(qū)域(塊)1800(以及沿水平和/或垂直方向移動了8像素的倍數(shù)的相應(yīng)塊)是適當(dāng)?shù)呐卸▔K，可以通過解塊濾波對其進(jìn)行并行處理。在常規(guī)的判定和濾波方案中無法獲得這樣的優(yōu)點(diǎn)。例如，從圖8可以看出，在以前的方案中，不存在這樣的8×8區(qū)域(塊)，即，能夠?qū)⒂糜诮鈮K判定的樣本限定在所述區(qū)域內(nèi)，從而能夠在所述區(qū)域內(nèi)獨(dú)立地做出解塊濾波判定。因而，常規(guī)方案妨礙了并行操作。下面將參考圖19描述由被分割成兩個四排段的八排塊執(zhí)行判定d1(解塊濾波器開啟/關(guān)閉)的示范性解決方案的更加具體的說明。圖19a示出了針對側(cè)1的四排段所做的開啟/關(guān)閉判定。從圖19a可以看出，僅基于第一排(具有下標(biāo)0)和第四排(具有下標(biāo)3)做出所述判定。更具體而言，計算下述參數(shù)：dp0＝|p20-2·p10+p00|dp3＝|p23-2·p13+p03|dp,side1＝dp0+dp3以及dq0＝|q20-2·q10+q00|dq3＝|q23-2·q13+q03|dq,side1＝dq0+dq3。如果滿足下述條件，那么啟用所述濾波器：dq,side1+dp,side1＜β。圖19b基于樣本17602示出了針對側(cè)2做出的相應(yīng)判定。相應(yīng)的計算為：dp4＝|p24-2·p14+p04|dp7＝|p27-2·p17+p07|dp,side2＝dp4+dp7以及dq4＝|q24-2·q14+q04|dq7＝|q27-2·q17+q07|dq,side2＝dq4+dq7如果滿足下述條件，那么啟用所述濾波器：dq,side2+dp,side2＜β。從上述細(xì)節(jié)可以看出，以塊分割為基礎(chǔ)對判定d1所做的修改使得總的計算開銷略微增加。也就是說，不是對八排塊做單次需要20個操作的開啟/關(guān)閉判定，而是必須兩次對4排進(jìn)行開啟/關(guān)閉判定，從而需要40個操作。因而，單單做判定d1所需的操作的數(shù)量就加倍了。因此，在本發(fā)明當(dāng)中還優(yōu)選對判定d2的實(shí)施進(jìn)行修改，以補(bǔ)償增加的計算開銷，其中判定d2是有關(guān)適于應(yīng)用強(qiáng)濾波器還是弱濾波器的判定。圖20示出了基于根據(jù)本發(fā)明的分割的經(jīng)修改的判定d2的第一個具體的解決方案。如上文所述，在常規(guī)范例中，針對每排單獨(dú)實(shí)施判定d2。相反，根據(jù)本發(fā)明，僅對每一段的排的子集實(shí)施各個判定。在針對所述段的子集的各個判定的基礎(chǔ)上，對所述段的所有排做出濾波器的單次判定。更具體而言，圖20a針對側(cè)1示出了根據(jù)所述第一具體范例的經(jīng)修改的判定d2。所述判定是以第一排(具有下標(biāo)0)和第四排(具有下標(biāo)3)為基礎(chǔ)的，在圖20a中采用編號19601對其加以表示。對于具有下標(biāo)0和3的兩排中的每者而言，執(zhí)行強(qiáng)濾波器和弱濾波器之間的判定(優(yōu)選按照上文描述的常規(guī)方式)。如果對這兩排都選擇強(qiáng)濾波器，那么對所有的四排(0、1、2、3)都進(jìn)行強(qiáng)濾波。否則，選擇弱濾波器。在圖20b中示出了側(cè)2上的相應(yīng)的操作方案。對側(cè)2所做的判定d2是以具有下標(biāo)4和7的采用附圖標(biāo)記19602標(biāo)示的兩排為基礎(chǔ)的。針對兩排4和7中的每者執(zhí)行強(qiáng)濾波器和弱濾波器之間的判定。如果對這兩排都選擇了強(qiáng)濾波器，那么對所有的四排4、5、6、7都進(jìn)行強(qiáng)濾波。否則，選擇弱濾波器。模擬表明，根據(jù)所描述的本發(fā)明的實(shí)施例的編碼效率相對于上文所述的常規(guī)hm4.0方案略微提高。已經(jīng)在iso和itu的標(biāo)準(zhǔn)化活動中通常采用的編碼條件的基礎(chǔ)上評估了上文參考圖19和圖20描述的本發(fā)明的實(shí)施例的編碼效率，參考文獻(xiàn)jctvc-e700(http://phenix.int-evry.fr/jct/doc_end_user/current_document.php？id＝2454)。在相同的均方量化誤差下本發(fā)明將使得平局比特率降低大約0.15％。此外，還可以在對兩判定d1和d2做出的修改的基礎(chǔ)上實(shí)現(xiàn)總計算開銷的降低。也就是說，根據(jù)上文描述的常規(guī)方案，需要下述總操作數(shù)量：·對8排的開啟/關(guān)閉判定：20次操作·8次強(qiáng)/弱判定：96次操作·計算總和：116次操作根據(jù)所示出的本發(fā)明的實(shí)施例，總操作數(shù)量如下：·2次針對4排的開啟/關(guān)閉判定：40次操作·4次強(qiáng)/弱判定：48次操作·計算總和：96次操作因此，本發(fā)明使得總計算次數(shù)減少了大約20％。經(jīng)修改的判定d2的第二示范性解決方案與上文描述的第一個范例類似。按照與第一個范例中相同的方式，在所述第一側(cè)上，針對兩排0和3中的每者執(zhí)行強(qiáng)濾波器和弱濾波器之間的判定。如果這兩排都選擇弱濾波器，那么對所有的四排0、1、2、3進(jìn)行弱濾波。否則，選擇強(qiáng)濾波器。按照相同的方式，對側(cè)2上的兩排4和7中的每者執(zhí)行強(qiáng)濾波器和弱濾波器之間的判定。如果這兩排都選擇弱濾波器，那么對所有的四排4、5、6、7進(jìn)行弱濾波。否則，選擇強(qiáng)濾波器。因而，所示出的第二個范例與所述第一個范例的區(qū)別在于，根據(jù)所述第二個范例，假設(shè)針對兩個選定排的單獨(dú)判定之間存在差異，那么選擇強(qiáng)濾波器，而根據(jù)所述第一個范例假設(shè)有差異，那么總是選擇弱濾波器。由于弱濾波器的計算復(fù)雜性一般低于強(qiáng)濾波器，因而所述第一個范例能夠進(jìn)一步降低計算開銷。根據(jù)第三個范例，還在圖20a和20b所示的選定排的基礎(chǔ)上執(zhí)行經(jīng)修改的判定d2。但是，根據(jù)所述第三個范例，使判定d2與判定d2結(jié)合。也就是說，對于選定排的每者而言，執(zhí)行強(qiáng)濾波器、弱濾波器和無濾波器之間的組合判定。相應(yīng)的判定是在查找表格的基礎(chǔ)上做出的。更具體而言，在側(cè)1上，對于兩排0和3中的每者而言，執(zhí)行強(qiáng)濾波器和弱濾波器和無濾波器之間的判定。采用所述兩個判定結(jié)果通過下述查找表對所有的四排0、1、2、3做出判定。對排0的判定對排3的判定所得到的對排0-3的判定(范例)強(qiáng)強(qiáng)強(qiáng)強(qiáng)弱弱強(qiáng)關(guān)閉關(guān)閉弱強(qiáng)弱弱弱弱弱關(guān)閉關(guān)閉關(guān)閉強(qiáng)關(guān)閉關(guān)閉弱關(guān)閉關(guān)閉關(guān)閉關(guān)閉對側(cè)2上的兩排4和7中的每者執(zhí)行強(qiáng)濾波器、弱濾波器和無濾波器之間的判定。采用所述兩個判定結(jié)果通過下述查找表對所有的四排4、5、6、7做出判定。對排4的判定對排7的判定所得到的對排4-7的判定(范例)強(qiáng)強(qiáng)強(qiáng)強(qiáng)弱弱強(qiáng)關(guān)閉關(guān)閉弱強(qiáng)弱弱弱弱弱關(guān)閉關(guān)閉關(guān)閉強(qiáng)關(guān)閉關(guān)閉弱關(guān)閉關(guān)閉關(guān)閉關(guān)閉從上面的表格可以看出，假設(shè)兩排的判定存在差異，那么總是選擇具有較低復(fù)雜性的判定。由此進(jìn)一步節(jié)省了計算開銷。參考圖21示出的第四個范例大體上與第三個范例類似。從圖21可以看出，選擇側(cè)1上的(圖21a)具有1和2的第二和第三排進(jìn)行單獨(dú)判定。在側(cè)2上選擇第六和第七排(具有5和6)。下文示出了對應(yīng)的查找表格：對排1的判定對排2的判定所得到的對排0-3的判定(范例)強(qiáng)強(qiáng)強(qiáng)強(qiáng)弱弱強(qiáng)關(guān)閉關(guān)閉弱強(qiáng)弱弱弱弱弱關(guān)閉關(guān)閉關(guān)閉強(qiáng)關(guān)閉關(guān)閉弱關(guān)閉關(guān)閉關(guān)閉關(guān)閉以及對排5的判定對排6的判定所得到的對排4-7的判定(范例)強(qiáng)強(qiáng)強(qiáng)強(qiáng)弱弱強(qiáng)關(guān)閉關(guān)閉弱強(qiáng)弱弱弱弱弱關(guān)閉關(guān)閉關(guān)閉強(qiáng)關(guān)閉關(guān)閉弱關(guān)閉關(guān)閉關(guān)閉關(guān)閉必須理解，在段的基礎(chǔ)上而不是在單獨(dú)的排的基礎(chǔ)上執(zhí)行的經(jīng)修改的判定d2的具體解決方案不限于上面給出的四個范例。對這些范例的各個元素的進(jìn)一步修改以及組合在所附權(quán)利要求定義的本發(fā)明的范圍內(nèi)也是可能的。在上文的范例中，判定d2是以兩排的樣本為基礎(chǔ)的。但是，本發(fā)明不限于所述用于選擇的排數(shù)。濾波器選擇可以僅以單排為基礎(chǔ)或者以任何其他小于相應(yīng)的一對要解塊的段內(nèi)的總排數(shù)的數(shù)量的排為基礎(chǔ)。在下文中，將參考圖22和23描述并解決在進(jìn)行開啟/關(guān)閉判定的過程中出現(xiàn)的第一存儲器存取問題。圖22示出了針對垂直邊緣的水平解塊實(shí)施判定d1的常規(guī)hevc方案。如圖22a的上面的方案所示，在第一步驟中，讀出排2并計算相關(guān)判定值dp2和dq2。在第二步驟中，讀出排5并計算出相關(guān)判定值dp5和du5。在第三步驟中，計算判定值d5＝dq2+dp2+dq5+dp5，并針對所有的八排執(zhí)行開啟/關(guān)閉判定d1。之后針對排5執(zhí)行強(qiáng)/弱濾波器判定，針對排5執(zhí)行解塊和解塊結(jié)果的寫回。在接下來的第四步驟中，針對其余排0、1、2、3、4、6和7中的每者讀出相應(yīng)的排，判定強(qiáng)/弱濾波，執(zhí)行解塊并寫回結(jié)果。因此，將發(fā)生下述問題：為了對八排解塊，必須兩次讀出排2或者排5：一次用于判定d1，一次用于解塊?？偣脖仨殘?zhí)行9次排讀出操作，盡管每一塊只有8個排。采用參考圖23所示的經(jīng)修改的解塊方案能夠有利地解決所述問題。在第一步驟中，讀出排2(2362)并計算相關(guān)的判定值db2和du2。計算經(jīng)修改的判定值d2＝2x(dd2’+dp2)，并對這一排有效的開啟/關(guān)閉判定d1是以標(biāo)準(zhǔn)d2＜β為基礎(chǔ)的。接下來，執(zhí)行強(qiáng)/弱濾波器判定d2，對其解塊并寫回結(jié)果。在第二步驟中，按照相同的方式讀出排5(2365)，并計算出相關(guān)的判定值db5和dq5。計算出經(jīng)修改的判定值d5＝2x(dq5+db5)，并在對這一排有效的標(biāo)準(zhǔn)d5＜β上執(zhí)行開啟/關(guān)閉判定d1。執(zhí)行強(qiáng)/弱濾波器判定d2，并針對排5(2365)單獨(dú)執(zhí)行解塊和結(jié)果寫回。接下來，計算出判定值d＝(d2+d5)/2，并針對在圖23b中通過附圖標(biāo)記2360表示的其余排0、1、3、4、6、7執(zhí)行啟用/禁用判定d＜β。在接下來的第四步驟中，針對其余排0、1、3、4、6和7中讀出像素樣本，執(zhí)行強(qiáng)/弱濾波器判定，之后執(zhí)行解塊并寫回結(jié)果。根據(jù)解決所述存儲器存儲問題的改進(jìn)的解塊的經(jīng)修改的范例，如前所述執(zhí)行步驟1、2和4。對上文描述的步驟3進(jìn)行修改，所述修改在于計算出并不計算其余排的公共判定值d。相反，基于判定(d2＜β)&(d5＜β)執(zhí)行步驟3中的針對其余排0、1、3、4、6、7的開啟/關(guān)閉判定。更具體而言，通過某種方式執(zhí)行判定d1的經(jīng)修改的判定方案，從而使判定d1不是針對整個塊做出的。接下來，針對其余排做所述判定。此外，還必須通過某種方式對要單獨(dú)做判定d1的排中的每者的判定方案進(jìn)行修改，從而分離出所采用的像素樣本，即僅在來自具體排的樣本像素的基礎(chǔ)上實(shí)施對所述排的單獨(dú)判定d1。對所述塊的其余排的判定方案可以是上文參考圖4和圖5所述的常規(guī)方案，也可以受到修改。針對其余排的判定可以是以所有這些要進(jìn)行單獨(dú)判定的排的像素樣本為基礎(chǔ)的。通過經(jīng)修改的判定d1的兩種版本實(shí)現(xiàn)了下述優(yōu)點(diǎn)：首先，對每排只需讀取一次，因此只需執(zhí)行等于每塊的排數(shù)(在當(dāng)前情況下：8)的數(shù)量的排讀取操作。此外，針對這些單獨(dú)執(zhí)行判定的排(在當(dāng)前情況下：排2和排5)獲得了更加準(zhǔn)確的判定。可以通過將用于實(shí)現(xiàn)每一實(shí)施例中描述的活動畫面編碼方法(圖像編碼方法)和活動畫面解碼方法(圖像解碼方法)的配置的程序記錄在記錄介質(zhì)內(nèi)而簡單地通過獨(dú)立計算機(jī)系統(tǒng)實(shí)現(xiàn)每一實(shí)施例中描述的處理。所述記錄介質(zhì)可以是任何記錄介質(zhì)，只要能夠記錄所述程序即可，例如，磁盤、光盤、磁光盤、ic卡和半導(dǎo)體存儲器。在下文中，將描述面向每一實(shí)施例中描述的活動畫面編碼方法(圖像編碼方法)和活動畫面解碼方法(圖像解碼方法)的應(yīng)用，以及采用其的系統(tǒng)。所述系統(tǒng)的特征在于具有圖像編碼和解碼設(shè)備，所述設(shè)備包括采用所述圖像編碼方法的圖像編碼設(shè)備和采用所述圖像解碼方法的圖像解碼設(shè)備?？梢愿鶕?jù)情況下適當(dāng)改變所述系統(tǒng)中的其他配置。(實(shí)施例a)圖24示出了用于實(shí)施內(nèi)容分發(fā)服務(wù)的內(nèi)容提供系統(tǒng)ex100的總體配置。將提供通信服務(wù)的區(qū)域劃分成具有預(yù)期尺寸的小區(qū)，以及作為放置到每一小區(qū)內(nèi)的固定無線站的基站ex106、ex107、ex108、ex109和ex110。分別通過internetex101、internet服務(wù)供應(yīng)商ex102、電話網(wǎng)ex104、以及基站ex106到110將所述內(nèi)容提供系統(tǒng)ex100連接至各項服務(wù)，例如，計算機(jī)ex111、個人數(shù)字助理(pda)ex112、攝像機(jī)ex113、蜂窩電話ex114和游戲機(jī)ex115。但是，內(nèi)容提供系統(tǒng)ex100的配置不限于圖24所示的配置，連接了所述元件中的任何元件的組合也是可接受的。此外，可以將每一裝置直接連接至電話網(wǎng)ex104，而不是通過作為固定無線站的基站ex106到ex110。此外，可以通過短距離無線通信以及其他措施使所述裝置相互互連。諸如數(shù)字視頻攝像機(jī)的攝像機(jī)ex113能夠俘獲視頻。諸如數(shù)字?jǐn)z像機(jī)的攝像機(jī)ex116能夠既能夠俘獲靜止圖像，又能夠俘獲視頻。此外，蜂窩電話ex114可以是滿足任何標(biāo)準(zhǔn)的電話，例如，所述標(biāo)準(zhǔn)為全球移動通信系統(tǒng)(gsm)(注冊商標(biāo))、碼分多址(cdma)、寬帶碼分多址(w-cdma)、長期演進(jìn)(lte)和高速包接入(hspa)?；蛘撸龇涓C電話ex114可以是個人手提電話系統(tǒng)(phs)。在內(nèi)容提供系統(tǒng)ex100中，將流媒體服務(wù)器ex103通過電話網(wǎng)ex104和基站ex109連接至攝像機(jī)ex113及其他，其能夠?qū)崿F(xiàn)對實(shí)況演出及其他的圖像的發(fā)布。在這樣的發(fā)布當(dāng)中，如上文每一實(shí)施例所述對用戶采用攝像機(jī)ex113俘獲的內(nèi)容(例如，音樂實(shí)況演出)進(jìn)行編碼(即，所述攝像機(jī)起著根據(jù)本發(fā)明的一個方面的圖像編碼設(shè)備的作用)，并將經(jīng)編碼的內(nèi)容傳輸至流媒體服務(wù)器ex103。另一方面，所述流媒體服務(wù)器ex103應(yīng)客戶端請求對所傳輸?shù)膬?nèi)容數(shù)據(jù)執(zhí)行向客戶端的流發(fā)布。所述客戶端包括能夠?qū)ι衔奶峒暗木幋a數(shù)據(jù)解碼的計算機(jī)ex111、pdaex112、攝像機(jī)ex113、蜂窩電話ex114和游戲機(jī)ex115。接收到了所述分發(fā)數(shù)據(jù)的每一裝置對所述編碼數(shù)據(jù)解碼并復(fù)制(其中根據(jù)本發(fā)明的一個方面的圖像解碼設(shè)備的作用)?？梢酝ㄟ^攝像機(jī)ex113和發(fā)送所俘獲的數(shù)據(jù)的流媒體服務(wù)器ex103對所俘獲的數(shù)據(jù)編碼，或者可以在攝像機(jī)113和流媒體服務(wù)器ex103之間共享所述編碼過程。類似地，可以通過客戶端或者流媒體服務(wù)器ex103對所發(fā)布的數(shù)據(jù)解碼，或者可以在客戶端和流媒體服務(wù)器ex103之間共享所述解碼過程。此外，可以將不僅由攝像機(jī)ex113俘獲的而且由攝像機(jī)ex116俘獲的靜止圖像和視頻的數(shù)據(jù)通過計算機(jī)ex111發(fā)送至流媒體服務(wù)器ex103?？梢酝ㄟ^攝像機(jī)ex116、計算機(jī)ex111或者流媒體服務(wù)器ex103執(zhí)行編碼過程，或者在它們之間共享。此外，可以由一般包含在計算機(jī)ex111以及所述裝置中的每者當(dāng)中的lsiex500執(zhí)行所述編碼和解碼過程。可以將所述lsiex500配置為具有單個芯片或者多個芯片?？梢詫⒂糜趯σ曨l編碼和解碼的軟件集成到可由計算機(jī)ex111及其他裝置讀取的某種類型的記錄介質(zhì)內(nèi)(例如，cd-rom、軟盤和硬盤)，并且可以采用所述軟件執(zhí)行所述編碼和解碼過程。此外，在蜂窩電話ex114配備有攝像機(jī)時，可以發(fā)送通過所述攝像機(jī)獲得的視頻數(shù)據(jù)。所述視頻數(shù)據(jù)是通過蜂窩電話ex114中包含的lsiex500編碼的數(shù)據(jù)。此外，流媒體服務(wù)器ex103可以由服務(wù)器和計算機(jī)構(gòu)成，其可以分散數(shù)據(jù)，并對經(jīng)分散的數(shù)據(jù)、記錄和發(fā)布數(shù)據(jù)進(jìn)行處理。如上所述，客戶端可以在內(nèi)容提供系統(tǒng)ex100中接收并復(fù)制編碼數(shù)據(jù)。換言之，客戶端可以接收用戶發(fā)送的信息并對其解碼，并將解碼的數(shù)據(jù)實(shí)時地存儲到內(nèi)容提供系統(tǒng)ex100內(nèi)，從而使不具有任何特定的權(quán)利和設(shè)備的用戶能夠?qū)嵤﹤€人廣播。除了內(nèi)容提供系統(tǒng)ex100的范例之外，可以在圖25所示的數(shù)字廣播系統(tǒng)ex200中實(shí)現(xiàn)每一實(shí)施例中描述的活動畫面編碼設(shè)備(圖像編碼設(shè)備)和活動畫面解碼設(shè)備(圖像解碼設(shè)備)的至少其中之一。更具體而言，廣播站ex201通過無線電波將復(fù)用數(shù)據(jù)傳輸或者發(fā)送至廣播衛(wèi)星ex202，所述復(fù)用數(shù)據(jù)是通過將音頻數(shù)據(jù)等復(fù)用到視頻數(shù)據(jù)上而獲得的。所述視頻數(shù)據(jù)是通過每一實(shí)施例中描述的活動畫面編碼方法編碼的數(shù)據(jù)(即，通過根據(jù)本發(fā)明的一個方面的圖像編碼設(shè)備編碼的數(shù)據(jù))。在接收到所述復(fù)用數(shù)據(jù)的同時，廣播衛(wèi)星ex202發(fā)射用于廣播的無線電波。之后，具有衛(wèi)星廣播接收功能的家用天線ex204接收無線電波。接下來，諸如電視(接收器)ex300和機(jī)頂盒(stb)ex217的裝置對接收到的復(fù)用數(shù)據(jù)解碼，并復(fù)制所述解碼數(shù)據(jù)(即，起著根據(jù)本發(fā)明的一個方面的圖像解碼設(shè)備的功能)。此外，讀取器/記錄器ex218(i)讀出記錄在諸如dvd和bd的記錄介質(zhì)ex215上的復(fù)用數(shù)據(jù)并對其解碼，或者(i)對記錄介質(zhì)ex215內(nèi)的視頻信號編碼，以及(在有些情況下)寫入通過將音頻信號復(fù)用到所述編碼數(shù)據(jù)上而獲得的數(shù)據(jù)。所述讀取器/記錄器ex218可以包括每一實(shí)施例所示的活動畫面解碼設(shè)備或者活動畫面編碼設(shè)備。在這種情況下，在監(jiān)視器ex219上顯示復(fù)制的視頻信號，所述信號可以是另一裝置或系統(tǒng)采用記錄了所述復(fù)用數(shù)據(jù)的記錄介質(zhì)ex215復(fù)制的。也可能在機(jī)頂盒ex217中實(shí)現(xiàn)所述活動畫面解碼設(shè)備，所述機(jī)頂盒連接至電纜ex203，從而用于有線電視，或者連接至天線ex204，從而用于衛(wèi)星和/或地面廣播，由此在電視ex300的監(jiān)視器ex219上顯示視頻信號?？梢圆辉跈C(jī)頂盒內(nèi)而是在電視ex300內(nèi)實(shí)現(xiàn)所述活動畫面解碼設(shè)備。圖26示出了采用每一實(shí)施例中描述的活動畫面編碼方法和活動畫面解碼方法的電視(接收器)ex300。電視ex300包括：通過接收廣播的天線ex204或者電纜ex203等獲得或提供通過將音頻數(shù)據(jù)復(fù)用到視頻數(shù)據(jù)上而獲得的復(fù)用數(shù)據(jù)的調(diào)諧器ex301；對所接收到的復(fù)用數(shù)據(jù)解調(diào)或者將數(shù)據(jù)調(diào)制成要提供給外部的復(fù)用數(shù)據(jù)的調(diào)制/解調(diào)單元ex302；以及將調(diào)制的復(fù)用數(shù)據(jù)解復(fù)用成視頻數(shù)據(jù)和音頻數(shù)據(jù)或者將信號處理單元306編碼的視頻數(shù)據(jù)和音頻數(shù)據(jù)復(fù)用成數(shù)據(jù)的復(fù)用/解復(fù)用單元ex303。電視ex300還包括：信號處理單元ex306，其包括分別對音頻數(shù)據(jù)和視頻數(shù)據(jù)解碼以及對音頻數(shù)據(jù)和視頻數(shù)據(jù)編碼的音頻信號處理單元ex304和視頻信號處理單元ex305(起著根據(jù)本發(fā)明的方面的圖像編碼設(shè)備和圖像解碼設(shè)備的作用)；輸出單元ex309，其包括提供解碼音頻信號的揚(yáng)聲器ex307和諸如顯示器的顯示解碼視頻信號的顯示單元ex308。此外，電視ex300包括接口單元ex317，其包括接收用戶操作的輸入的操作輸入單元ex312。此外，電視ex300包括控制電視ex300總體每個構(gòu)成元件的控制單元ex310，以及向每個元件供電的電源電路單元ex311。除了操作輸入單元ex312之外，接口單元ex317還可以包括：連接到諸如讀取器/記錄器ex218的外部裝置的網(wǎng)橋ex313；用于連接記錄介質(zhì)ex216，例如sd卡的插槽單元ex314；要連接到外部記錄介質(zhì)，例如硬盤的驅(qū)動器ex315；以及要連接到電話網(wǎng)絡(luò)的調(diào)制調(diào)解器ex316。在這里，記錄介質(zhì)ex216能夠利用用于存儲的非易失性/易失性半導(dǎo)體存儲器元件以電方式記錄信息。電視ex300的構(gòu)成元件通過同步總線彼此連接。首先將描述這樣的配置：電視ex300對通過天線ex204從外部獲得的復(fù)用數(shù)據(jù)等解碼并復(fù)制解碼數(shù)據(jù)。在電視ex300中，在用戶通過遙控器ex220等操作時，復(fù)用/解復(fù)用單元ex303在包括cpu的控制單元ex310的控制下，對調(diào)制/解調(diào)單元ex302解調(diào)的復(fù)用數(shù)據(jù)進(jìn)行解復(fù)用。此外，利用在每個實(shí)施例中描述的解碼方法，在電視ex300中，音頻信號處理單元ex304對解復(fù)用的音頻數(shù)據(jù)解碼，視頻信號處理單元ex305對解復(fù)用的視頻數(shù)據(jù)解碼。輸出單元ex309分別向外部提供解碼視頻信號和音頻信號。在輸出單元ex309提供視頻信號和音頻信號時，可以在緩存ex318和ex319等中暫時存儲信號，從而彼此同步地再現(xiàn)信號。此外，電視ex300可以不通過廣播等，而是從記錄介質(zhì)ex215和ex216，例如磁盤、光盤和sd卡，讀取復(fù)用數(shù)據(jù)。接下來將描述這樣的配置：電視ex300對音頻信號和視頻信號編碼，并向外發(fā)射數(shù)據(jù)或在記錄介質(zhì)上寫進(jìn)數(shù)據(jù)。在電視ex300中，在用戶通過遙控器ex220等操作時，在控制單元ex310的控制下，利用在每個實(shí)施例中描述的編碼方法，音頻信號處理單元ex304對音頻信號編碼，視頻信號處理單元ex305對視頻信號編碼。復(fù)用/解復(fù)用單元ex303復(fù)用編碼的視頻信號和音頻信號并向外提供所得信號。在復(fù)用/解復(fù)用單元ex303復(fù)用視頻信號和音頻信號時，可以在緩存ex320和ex321等中暫時存儲信號，從而彼此同步地再現(xiàn)信號。在這里，緩存ex318、ex319、ex320和ex321可以如圖所示為多個，或者可以在電視ex300中共享至少一個緩存。此外，可以在緩存中存儲數(shù)據(jù)，從而可以避免例如調(diào)制/解調(diào)單元ex302和復(fù)用/解復(fù)用單元ex303之間的系統(tǒng)溢出和下溢。此外，除了用于從廣播或記錄介質(zhì)獲得音頻和視頻數(shù)據(jù)的配置之外，電視ex300可以包括用于從微音器或攝像機(jī)接收av輸入的配置，并可以對獲得的數(shù)據(jù)編碼。盡管在描述中電視ex300能夠?qū)?shù)據(jù)進(jìn)行編碼、復(fù)用并向外提供，它可能僅能夠?qū)?shù)據(jù)進(jìn)行接收、解碼和向外提供，而不是對數(shù)據(jù)進(jìn)行編碼、復(fù)用和向外提供。此外，在讀取器/記錄器ex218從或向記錄介質(zhì)上讀取或?qū)懭霃?fù)用數(shù)據(jù)時，電視ex300和讀取器/記錄器ex218之一可以對復(fù)用數(shù)據(jù)解碼或編碼，電視ex300和讀取器/記錄器ex218可以共享解碼或編碼。作為范例，圖27示出了在從或向光盤讀取或?qū)懭霐?shù)據(jù)時信息再現(xiàn)/記錄單元ex400的配置。信息再現(xiàn)/記錄單元ex400包括下文要描述的構(gòu)成元件ex401、ex402、ex403、ex404、ex405、ex406和ex407。光學(xué)頭ex401在記錄介質(zhì)ex215，即光盤的記錄面中照射激光光點(diǎn)以寫入信息，并從記錄介質(zhì)ex215的記錄面檢測反射光以讀取信息。調(diào)制記錄單元ex402對光學(xué)頭ex401中包括的半導(dǎo)體激光器進(jìn)行電驅(qū)動，并根據(jù)記錄的數(shù)據(jù)調(diào)制激光。再現(xiàn)解調(diào)單元ex403放大利用光學(xué)頭ex401中包括的光探測器從記錄面電探測反射光獲得的再現(xiàn)信號，并通過分離記錄介質(zhì)ex215上記錄的信號成分對再現(xiàn)信號進(jìn)行解調(diào)，以再現(xiàn)必要的信息。緩存ex404暫時保存要記錄在記錄介質(zhì)ex215上的信息以及從記錄介質(zhì)ex215上再現(xiàn)的信息。磁盤電動機(jī)ex405轉(zhuǎn)動記錄介質(zhì)ex215。伺服控制單元ex406將光學(xué)頭ex401移動到預(yù)定信息道，同時控制磁盤電動機(jī)ex405的旋轉(zhuǎn)驅(qū)動，以跟隨激光光點(diǎn)。系統(tǒng)控制單元ex407總體上控制信息再現(xiàn)/記錄單元ex400。可以由系統(tǒng)控制單元ex407使用緩存ex404中存儲的信息并根據(jù)需要產(chǎn)生和增加新信息，在以協(xié)調(diào)的方式工作的同時，通過調(diào)制記錄單元ex402、再現(xiàn)解調(diào)單元ex403和伺服控制單元ex406通過光學(xué)頭ex401記錄和再現(xiàn)信息，從而實(shí)施讀取和寫入過程。系統(tǒng)控制單元ex407例如包括微處理器，通過讓計算機(jī)執(zhí)行用于讀寫的程序來進(jìn)行處理。盡管在描述中光學(xué)頭ex401照射激光光點(diǎn)，但它可以利用近場光進(jìn)行高密度的記錄。圖28示出了記錄介質(zhì)ex215，即光盤。在記錄介質(zhì)ex215的記錄面上形成了導(dǎo)槽，信息道ex230事先記錄地址信息，根據(jù)導(dǎo)槽形狀的變化指示磁盤上的絕對位置。地址信息包括用于確定記錄塊ex231位置的信息，記錄塊即用于記錄數(shù)據(jù)的單元。在記錄和再現(xiàn)數(shù)據(jù)的設(shè)備中再現(xiàn)信息道ex230并讀取地址信息能夠?qū)崿F(xiàn)記錄塊位置的確定。此外，記錄介質(zhì)ex215包括數(shù)據(jù)記錄區(qū)域ex233、內(nèi)周區(qū)域ex232和外周區(qū)域ex234。數(shù)據(jù)記錄區(qū)域ex233是記錄用戶數(shù)據(jù)時使用的區(qū)域。分別在數(shù)據(jù)記錄區(qū)域ex233內(nèi)部和外部的內(nèi)周區(qū)域ex232和外周區(qū)域ex234用于除記錄用戶數(shù)據(jù)之外的特定用途。信息再現(xiàn)/記錄單元400從和向記錄介質(zhì)ex215的數(shù)據(jù)記錄區(qū)域ex233讀取和寫入編碼的音頻、編碼的視頻數(shù)據(jù)或通過復(fù)用音頻和視頻數(shù)據(jù)獲得的復(fù)用數(shù)據(jù)。盡管在說明書中描述了具有層的光盤，例如dvd和bd作為范例，但光盤不限于這種情況，可以是具有多層結(jié)構(gòu)并能夠在除表面之外的部分上記錄的光盤。此外，光盤可以具有用于多維記錄/再現(xiàn)的結(jié)構(gòu)，例如在光盤的相同部分中利用不同波長顏色的光記錄信息并從各種角度記錄具有不同層的信息。此外，具有天線ex205的汽車ex210能夠從衛(wèi)星ex202等接收數(shù)據(jù)，并在數(shù)字廣播系統(tǒng)ex200中，在設(shè)置于汽車ex210中的諸如汽車導(dǎo)航系統(tǒng)ex211的顯示裝置上再現(xiàn)視頻。在這里，汽車導(dǎo)航系統(tǒng)ex211的配置將是這樣的配置：例如，包括來自圖26所示配置的gps接收單元。對于計算機(jī)ex111、蜂窩電話ex114等的配置，將是同樣的情況。圖29a示出了蜂窩電話ex114，其使用了實(shí)施例中所述的活動畫面編碼方法和活動畫面解碼方法。蜂窩電話ex114包括：用于通過基站ex110發(fā)射和接收無線電波的天線ex350；能夠拍攝活動和靜止圖像的攝像機(jī)單元ex365；以及用于顯示由攝像機(jī)單元ex365拍攝或由天線ex350接收的諸如解碼視頻的數(shù)據(jù)的顯示單元ex358，例如液晶顯示器。蜂窩電話ex114還包括：包括操作鍵單元ex366的主體單元；用于輸出音頻的音頻輸出單元ex357，例如揚(yáng)聲器；用于輸入音頻的音頻輸入單元ex356，例如微音器；用于存儲拍攝的視頻或靜止圖像、記錄的音頻、所接收視頻的編碼或解碼數(shù)據(jù)、靜止圖像、電子郵件等的存儲單元ex367；以及插槽單元ex364，即用于與存儲單元ex367以相同方式存儲數(shù)據(jù)的記錄介質(zhì)的接口單元。接下來，將參考圖29b描述蜂窩電話ex114的配置范例。在蜂窩電話ex114中，被設(shè)計成控制包括顯示單元ex358以及操作鍵單元ex366的主體的總體每個單元的主控制單元ex360經(jīng)由同步總線ex370相互連接到電源電路單元ex361、操作輸入控制單元ex362、視頻信號處理單元ex355、攝像機(jī)接口單元ex363、液晶顯示器(lcd)控制單元ex359、調(diào)制/解調(diào)單元ex352、復(fù)用/解復(fù)用單元ex353、音頻信號處理單元ex354、插槽單元ex364和存儲單元ex367。在通過用戶操作打開呼叫結(jié)束鍵或電源鍵時，電源電路單元ex361從電池組為相應(yīng)單元供電，從而激活手機(jī)ex114。在蜂窩電話ex114中，音頻信號處理單元ex354在包括cpu、rom和ram的主控制單元ex360的控制下，將音頻輸入單元ex356在語音對話中收集的音頻信號轉(zhuǎn)換成數(shù)字音頻信號。然后，調(diào)制/解調(diào)單元ex352對數(shù)字音頻信號進(jìn)行擴(kuò)展頻譜處理，發(fā)射和接收單元ex351對數(shù)據(jù)執(zhí)行數(shù)字到模擬轉(zhuǎn)換和頻率轉(zhuǎn)換，從而經(jīng)由天線ex350發(fā)射所得數(shù)據(jù)。而且，在蜂窩電話ex114中，發(fā)射和接收單元ex351放大天線ex350在語音談話模式中接收的數(shù)據(jù)，并對數(shù)據(jù)執(zhí)行頻率轉(zhuǎn)換和模擬到數(shù)字轉(zhuǎn)換。然后，調(diào)制/解調(diào)單元ex352對數(shù)據(jù)進(jìn)行逆擴(kuò)展頻譜處理，音頻信號處理單元ex354將其變換成模擬音頻信號，從而經(jīng)由音頻輸出單元ex357輸出它們。此外，在發(fā)射數(shù)據(jù)通信模式中的電子郵件時，經(jīng)由操作輸入控制單元ex362向主控制單元ex360發(fā)出通過操作操作鍵單元ex366等輸入的電子郵件的文本數(shù)據(jù)。主控制單元ex360令調(diào)制/解調(diào)單元ex352對文本信號進(jìn)行擴(kuò)展頻譜處理，發(fā)射和接收單元ex351對所得數(shù)據(jù)執(zhí)行數(shù)字到模擬轉(zhuǎn)換和頻率轉(zhuǎn)換，從而經(jīng)由天線ex350向基站ex110發(fā)射數(shù)據(jù)。在接收到電子郵件時，對所接收數(shù)據(jù)執(zhí)行與發(fā)送電子郵件處理大致相反的處理，并向顯示單元ex358提供所得數(shù)據(jù)。在發(fā)送處于數(shù)據(jù)通信模式中的視頻、靜止圖像或視頻和音頻時，視頻信號處理單元ex355利用每個實(shí)施例中所示的活動畫面編碼方法對從攝像機(jī)單元ex365供應(yīng)的視頻信號進(jìn)行壓縮和編碼(即，充當(dāng)根據(jù)本發(fā)明該方面的圖像編碼設(shè)備)，并向復(fù)用/解復(fù)用單元ex353發(fā)送編碼的視頻數(shù)據(jù)。相反，在攝像機(jī)單元ex365拍攝視頻、靜止圖像等時，音頻信號處理單元ex354對音頻輸入單元ex356收集的音頻信號編碼，并向復(fù)用/解復(fù)用單元ex353發(fā)送編碼的音頻數(shù)據(jù)。復(fù)用/解復(fù)用單元ex353利用預(yù)定方法復(fù)用從視頻信號處理單元ex355供應(yīng)的編碼視頻數(shù)據(jù)和從音頻信號處理單元ex354供應(yīng)的編碼音頻數(shù)據(jù)。然后，調(diào)制/解調(diào)單元(調(diào)制/解調(diào)電路單元)ex352對復(fù)用數(shù)據(jù)進(jìn)行擴(kuò)展頻譜處理，發(fā)射和接收單元ex351對數(shù)據(jù)執(zhí)行數(shù)字到模擬轉(zhuǎn)換和頻率轉(zhuǎn)換，從而經(jīng)由天線ex350發(fā)射所得數(shù)據(jù)。在數(shù)據(jù)通信模式中接收鏈接到網(wǎng)頁等的視頻文件的數(shù)據(jù)時，或在接收附有視頻和/或音頻的電子郵件時，為了對經(jīng)由天線ex350接收的復(fù)用數(shù)據(jù)解碼，復(fù)用/解復(fù)用單元ex353將復(fù)用數(shù)據(jù)解復(fù)用成視頻數(shù)據(jù)比特流和音頻數(shù)據(jù)比特流，并通過同步總線ex370為視頻信號處理單元ex355供應(yīng)編碼的視頻數(shù)據(jù)，為音頻信號處理單元ex354供應(yīng)編碼的音頻數(shù)據(jù)。視頻信號處理單元ex355利用對應(yīng)于每個實(shí)施例中所示的活動畫面編碼方法的活動畫面解碼方法對視頻信號解碼(即，充當(dāng)根據(jù)本發(fā)明該方面的圖像解碼設(shè)備)，然后顯示單元ex358顯示例如經(jīng)由lcd控制單元ex359鏈接到網(wǎng)頁的視頻文件中包括的視頻和靜止圖像。此外，音頻信號處理單元ex354對音頻信號解碼，音頻輸出單元ex357提供音頻。此外，類似于電視ex300，諸如蜂窩電話ex114的終端大概有三種實(shí)施配置，不僅包括(i)包括編碼設(shè)備和解碼設(shè)備的發(fā)射和接收終端，而且包括(ii)僅包括編碼設(shè)備的發(fā)射終端，以及(iii)僅包括解碼設(shè)備的接收終端。盡管數(shù)字廣播系統(tǒng)ex200在描述中接收和發(fā)射通過向視頻數(shù)據(jù)上復(fù)用音頻數(shù)據(jù)獲得的復(fù)用數(shù)據(jù)，但復(fù)用數(shù)據(jù)可以是通過向視頻數(shù)據(jù)上不復(fù)用音頻數(shù)據(jù)而復(fù)用涉及視頻的字符數(shù)據(jù)獲得的數(shù)據(jù)，并可以不是復(fù)用數(shù)據(jù)而是視頻數(shù)據(jù)自身。這樣一來，可以在所述任何裝置和系統(tǒng)中使用每個實(shí)施例中的活動畫面編碼方法和活動畫面解碼方法。于是，可以獲得每個實(shí)施例中描述的優(yōu)點(diǎn)。此外，本發(fā)明不限于實(shí)施例，在不脫離本發(fā)明范圍的情況下各種修改和變化是可能的。(實(shí)施例b)根據(jù)需要，可以通過在(i)每個實(shí)施例中所示的活動畫面編碼方法或活動畫面編碼設(shè)備和(ii)符合不同標(biāo)準(zhǔn)，例如mpeg-2、mpeg-4avc和vc-1的活動畫面編碼方法或活動畫面編碼設(shè)備之間切換來產(chǎn)生視頻數(shù)據(jù)。在這里，在產(chǎn)生符合不同標(biāo)準(zhǔn)的多個視頻數(shù)據(jù)并隨后對其解碼時，需要選擇符合不同標(biāo)準(zhǔn)的解碼方法。不過，由于不能檢測到要解碼的多個視頻數(shù)據(jù)的每個符合哪種標(biāo)準(zhǔn)，所以存在的問題是不能選擇適當(dāng)?shù)慕獯a方法。為了解決該問題，通過向視頻數(shù)據(jù)上復(fù)用音頻數(shù)據(jù)等而獲得的復(fù)用數(shù)據(jù)具有這樣的結(jié)構(gòu)：其包括表示視頻數(shù)據(jù)符合哪種標(biāo)準(zhǔn)的識別信息。在下文中將描述，包括在每個實(shí)施例中所示活動畫面編碼方法中并由活動畫面編碼設(shè)備產(chǎn)生的視頻數(shù)據(jù)的復(fù)用數(shù)據(jù)的具體結(jié)構(gòu)。復(fù)用數(shù)據(jù)是mpeg-2傳輸流格式的數(shù)字流。圖30示出了復(fù)用數(shù)據(jù)的結(jié)構(gòu)。如圖30中所示，可以通過復(fù)用視頻流、音頻流、表達(dá)圖形流(pg)和交互圖形流中的至少一個來獲得復(fù)用數(shù)據(jù)。視頻流代表電影的基本視頻和輔助視頻，音頻流(ig)代表基本音頻部分和要與基本音頻部分混合的輔助音頻部分，表達(dá)圖形流代表電影的字幕。在這里，基本視頻是要在屏幕上顯示的標(biāo)稱視頻，輔助視頻是要在基本視頻中的更小窗口上顯示的視頻。此外，交互圖形流代表要通過在屏幕上布置gui成分而產(chǎn)生的交互屏。在每個實(shí)施例中所示的活動畫面編碼方法或活動畫面編碼設(shè)備或在符合常規(guī)標(biāo)準(zhǔn)，例如mpeg-2、mpeg-4avc和vc-1的活動畫面編碼方法或活動畫面編碼設(shè)備中對視頻流編碼。根據(jù)諸如dolby-ac-3、dolbydigitalplus，mlp，dts，dts-hd和線性pcm的標(biāo)準(zhǔn)對音頻流編碼。復(fù)用數(shù)據(jù)中包括的每個流都由pid標(biāo)識。例如，將0x1011分配到要用于電影視頻的視頻流，將0x1100到x111f分配到音頻流，將0x1200到0x121f分配到表達(dá)圖形流，將0x1400到0x141f分配到交互圖形流，將0x1b00到0x1b1f分配到要用于電影輔助視頻的視頻信息流，并將0x1a00到0x1a1f分配到要用于與基本音頻混合的輔助音頻的音頻流。圖31示意性示出了如何復(fù)用數(shù)據(jù)。首先，將由視頻幀構(gòu)成的視頻流ex235和由音頻幀構(gòu)成的音頻流ex238變換成pef分組流ex236和pes分組流ex239，并進(jìn)一步變換成ts分組ex237和ts分組ex240。類似地，將表達(dá)圖形流ex241的數(shù)據(jù)和交互圖形流ex244的數(shù)據(jù)變換成pes分組流ex242和pes分組流ex245，并進(jìn)一步變換成ts分組ex243和ts分組ex246。將這些ts分組復(fù)用成流以獲得復(fù)用數(shù)據(jù)ex247。圖32更詳細(xì)示出了如何在pes分組流中存儲視頻流。圖32中的第一條示出了視頻流中的視頻幀流。第二條示出了pes分組流。如圖32中的yy1、yy2、yy3和yy4表示的箭頭所示，視頻流被分成畫面，例如i畫面、b畫面和p畫面，均為視頻表達(dá)單元，并在每個pes分組的有效載荷中存儲畫面。pes分組的每個都具有pes報頭，pes報頭存儲表示畫面顯示時間的表達(dá)時間戳(pts)以及表示畫面解碼時間的解碼時間戳(dts)。圖33示出了要在復(fù)用數(shù)據(jù)上最后寫入的ts分組格式。ts分組的每個都是188字節(jié)固定長度的分組，包括4字節(jié)的ts報頭，具有諸如用于標(biāo)識流的pid的信息以及用于存儲數(shù)據(jù)的184字節(jié)ts有效載荷。劃分pes分組并分別存儲在ts有效負(fù)載中。在使用bdrom時，為每個ts分組賦予4字節(jié)的tp_extra_header，從而獲得192字節(jié)的源分組。在復(fù)用數(shù)據(jù)上寫入源分組。tp_extra_header存儲諸如arrival_time_stamp(ats)的信息。ats示出了傳輸開始時間，在此時間將每個ts分組傳輸?shù)絧id濾波器。如圖33的底部所示，在復(fù)用數(shù)據(jù)中布置源分組。從復(fù)用數(shù)據(jù)的頭部開始遞增的數(shù)字被稱為源分組編號(spn)。復(fù)用數(shù)據(jù)中包括的每個ts分組都不僅包括音頻、視頻、字幕流等，而且包括程序關(guān)聯(lián)表(pat)、程序圖表(pmt)和程序時鐘參考(pcr)。pat示出了復(fù)用數(shù)據(jù)中使用的pmt中的pid表示什么，pat自身的pid被登記為零。pmt存儲復(fù)用數(shù)據(jù)中包括的視頻、音頻、字幕等流的pid，以及對應(yīng)于pid的流的屬性信息。pmt還具有與復(fù)用數(shù)據(jù)相關(guān)的各種描述符。描述符具有諸如拷貝控制信息的信息，顯示是否許可拷貝復(fù)用數(shù)據(jù)。pcr存儲與ats對應(yīng)的stc時間信息，示出何時將pcr分組傳輸?shù)浇獯a器，以便實(shí)現(xiàn)到達(dá)時間時鐘(atc)和系統(tǒng)時鐘(stc)之間的同步，到達(dá)時間時鐘為ats的時間軸，系統(tǒng)時鐘為pts和dts的時間軸。圖34詳細(xì)示出了pmt的數(shù)據(jù)結(jié)構(gòu)。pmt報頭設(shè)置于pmt的頂部。pmt報頭描述pmt等中包括的數(shù)據(jù)的長度。在pmt報頭之后設(shè)置與復(fù)用數(shù)據(jù)相關(guān)的多個描述符。在描述符中描述了諸如拷貝控制信息的信息。在描述符之后，設(shè)置與復(fù)用數(shù)據(jù)中包括的流相關(guān)的多條流信息。每條流信息包括流描述符，流描述符均描述諸如用于標(biāo)識流的壓縮編解碼器的流類型、流pid和流屬性信息(例如幀速率或縱橫比)的信息。流描述符的數(shù)量與復(fù)用數(shù)據(jù)中流數(shù)量相等。在記錄介質(zhì)等上記錄復(fù)用數(shù)據(jù)時，同時記錄復(fù)用數(shù)據(jù)信息文件。復(fù)用數(shù)據(jù)信息文件的每個都是如圖35中所示的復(fù)用數(shù)據(jù)的管理信息。復(fù)用數(shù)據(jù)信息文件與復(fù)用數(shù)據(jù)一一對應(yīng)，每個文件都包括復(fù)用數(shù)據(jù)信息、流屬性信息和條目圖。如圖35中所示，復(fù)用數(shù)據(jù)信息包括系統(tǒng)速率、再現(xiàn)開始時間和再現(xiàn)結(jié)束時間。系統(tǒng)速率表示下文描述的系統(tǒng)目標(biāo)解碼器向pid濾波器傳輸復(fù)用數(shù)據(jù)的最大傳輸速率。將復(fù)用數(shù)據(jù)中包括的ats的間隔設(shè)置成不高于系統(tǒng)速率。再現(xiàn)開始時間表示復(fù)用數(shù)據(jù)頭部視頻幀中的pts。向復(fù)用數(shù)據(jù)末尾處視頻幀中的pts增加一幀的間隔，將pts設(shè)置為再現(xiàn)結(jié)束時間。如圖36中所示，在流屬性信息中針對復(fù)用數(shù)據(jù)中包括的每個流的每個pid，登記一條屬性信息。根據(jù)對應(yīng)流是視頻流、音頻流、表達(dá)圖形流或交互圖形流，每條屬性信息都具有不同的信息。每條視頻流屬性信息都攜帶著包括壓縮視頻流使用哪種壓縮編解碼器的信息，以及視頻流中包括的各條畫面數(shù)據(jù)的分辨率、縱橫比和幀速率。每條音頻流屬性信息都攜帶著包括壓縮音頻流使用哪種壓縮編解碼器、音頻流中包括多少通道、音頻流支持哪種語言以及采樣頻率有多高的信息。視頻流屬性信息和音頻流屬性信息用于在播放器播放信息之前對解碼器進(jìn)行初始化。在本實(shí)施例中，要使用的復(fù)用數(shù)據(jù)是pmt中包括的流類型的。此外，在記錄介質(zhì)上記錄復(fù)用數(shù)據(jù)時，使用復(fù)用數(shù)據(jù)信息中包括的視頻流屬性信息。更具體而言，每個實(shí)施例中描述的活動畫面編碼方法或活動畫面編碼設(shè)備都包括向pmt或視頻流屬性信息中包括的流類型分配表示由每個實(shí)施例中的活動畫面編碼方法或活動畫面編碼設(shè)備產(chǎn)生的視頻數(shù)據(jù)的唯一信息的步驟或單元。利用該配置，可以將每個實(shí)施例中所述的活動畫面編碼方法或活動畫面編碼設(shè)備產(chǎn)生的視頻數(shù)據(jù)與符合另一種標(biāo)準(zhǔn)的視頻數(shù)據(jù)區(qū)分開。此外，圖37示出了根據(jù)本實(shí)施例的活動畫面解碼方法的步驟。在步驟exs100中，從復(fù)用數(shù)據(jù)獲得復(fù)用數(shù)據(jù)中包括的pmt或視頻流屬性信息中包括的流類型。接下來，在步驟exs101中，判斷流類型或視頻流屬性信息是否表示復(fù)用數(shù)據(jù)是由每個實(shí)施例中的活動畫面編碼方法或活動畫面編碼設(shè)備產(chǎn)生的。在判定流類型或視頻流屬性信息表示復(fù)用數(shù)據(jù)是由每個實(shí)施例中的活動畫面編碼方法或活動畫面編碼設(shè)備產(chǎn)生的時，在步驟exs102中，由每個實(shí)施例中的活動畫面解碼方法進(jìn)行解碼。此外，在流類型或視頻流屬性信息表示符合常規(guī)標(biāo)準(zhǔn)，例如peg-2、mpeg-4avc和vc-1時，在步驟exs103中，由符合常規(guī)標(biāo)準(zhǔn)的活動畫面解碼方法進(jìn)行解碼。這樣一來，向流類型或視頻流屬性信息分配新的唯一值就能夠判斷每個實(shí)施例中描述的活動畫面解碼方法或活動畫面解碼設(shè)備是否能夠進(jìn)行解碼。即使在輸入符合不同標(biāo)準(zhǔn)的復(fù)用數(shù)據(jù)時，也可以選擇適當(dāng)?shù)慕獯a方法或設(shè)備。于是，變得能夠?qū)π畔⒔獯a而沒有任何錯誤。此外，可以將本實(shí)施例中的活動畫面編碼方法或設(shè)備，或活動畫面解碼方法或設(shè)備用于上述裝置和系統(tǒng)中。(實(shí)施例c)每個實(shí)施例中的活動畫面編碼方法、活動畫面編碼設(shè)備、活動畫面解碼方法和活動畫面解碼設(shè)備中的每種通常都是以集成電路或大規(guī)模集成(lsi)電路的形式實(shí)現(xiàn)的。作為lsi的范例，圖38示出了被做成一個芯片的lsiex500的配置。lsiex500包括如下所述的元件ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508和ex509，通過總線ex510將這些元件彼此連接。在打開電源電路單元ex505時，通過為每個元件供電激活電源電路單元ex505。例如，在進(jìn)行編碼時，lsiex500在包括cpuex502、存儲控制器ex503、流控制器ex504和驅(qū)動頻率控制單元ex512的控制單元ex501的控制下，通過avioex509，從微音器ex117、攝像機(jī)ex113等接收av信號。將接收到的av信號暫時存儲在外部儲存器ex511，例如sdram中。在控制單元ex501的控制下，根據(jù)要被發(fā)送到信號處理單元ex507的處理量和速度，將存儲的數(shù)據(jù)分割成數(shù)據(jù)部分。然后，信號處理單元ex507對音頻信號和/或視頻信號編碼。在這里，視頻信號的編碼是每個實(shí)施例中描述的編碼。此外，信號處理單元ex507有時復(fù)用編碼的音頻數(shù)據(jù)和編碼的視頻數(shù)據(jù)，流ioex506向外提供復(fù)用數(shù)據(jù)。將提供的復(fù)用數(shù)據(jù)發(fā)送到基站ex107或?qū)懭胗涗浗橘|(zhì)ex215上。在對數(shù)據(jù)集進(jìn)行復(fù)用時，應(yīng)當(dāng)在緩存ex508中暫時存儲數(shù)據(jù)，使得數(shù)據(jù)集彼此同步。盡管存儲器ex511是lsiex500外部的元件，但其可以包括在lsiex500中。緩存ex508不限于一個緩存，而可以由多個緩存構(gòu)成。此外，可以將lsiex500做成一個芯片或多個芯片。此外，盡管控制單元ex501包括cpuex502、存儲控制器ex503、流控制器ex504、驅(qū)動頻率控制單元ex512，但控制單元ex501的配置不限于此。例如，信號處理單元ex507可以進(jìn)一步包括cpu。在信號處理單元ex507中包括另一個cpu能夠改進(jìn)處理速度。此外，作為另一范例，cpuex502可以充當(dāng)信號處理單元ex507或是其一部分，例如，可以包括音頻信號處理單元。在這種情況下，控制單元ex501包括信號處理單元ex507或cpuex502，cpuex502包括信號處理單元ex507的一部分。這里使用的名稱是lsi，但根據(jù)集成度，也可以將其稱為ic、系統(tǒng)lsi、超級lsi或超大lis。此外，實(shí)現(xiàn)集成的方式不限于lsi，特殊電路或通用處理器等也能夠?qū)崿F(xiàn)集成。可以將現(xiàn)場可編程門陣列(fpga)和可重配置處理器用于同一目的，fpga可以在制造lsi之后編程，可重配置處理器允許重新配置lsi的連接或配置。將來，隨著半導(dǎo)體技術(shù)的發(fā)展，新型技術(shù)可能會替代lsi。可以利用這樣的技術(shù)集成功能塊?？赡軐⒈景l(fā)明應(yīng)用于生物技術(shù)。(實(shí)施例d)與對符合常規(guī)標(biāo)準(zhǔn)，例如mpeg-2、mpeg-4avc和vc-1的視頻數(shù)據(jù)解碼時相比，在對每個實(shí)施例中描述的活動畫面編碼方法中或由活動畫面編碼設(shè)備產(chǎn)生的視頻數(shù)據(jù)解碼時，可能會提高處理量。于是，在對符合常規(guī)標(biāo)準(zhǔn)的視頻數(shù)據(jù)解碼時，需要將lsiex500設(shè)置到比要使用的cpuex更高的驅(qū)動頻率。不過，在將驅(qū)動頻率設(shè)置得更高時，存在著功耗增大的問題。為了解決該問題，配置活動畫面解碼設(shè)備，例如電視ex300和lsiex500以判斷視頻數(shù)據(jù)符合哪種標(biāo)準(zhǔn)，并根據(jù)所確定的標(biāo)準(zhǔn)在驅(qū)動頻率之間切換。圖39示出了本實(shí)施例中的配置ex800。驅(qū)動頻率切換單元ex803在視頻數(shù)據(jù)是由每個實(shí)施例中描述的活動畫面編碼方法或活動畫面編碼設(shè)備產(chǎn)生時將驅(qū)動頻率設(shè)置到更高驅(qū)動頻率。然后，驅(qū)動頻率切換單元ex803指示解碼處理單元ex801，解碼處理單元ex801執(zhí)行每個實(shí)施例中描述的活動畫面解碼方法以對視頻數(shù)據(jù)解碼。在視頻數(shù)據(jù)符合常規(guī)標(biāo)準(zhǔn)時，驅(qū)動頻率切換單元ex803將驅(qū)動頻率設(shè)置到比視頻數(shù)據(jù)是由每個實(shí)施例中描述的活動畫面編碼方法或活動畫面編碼設(shè)備產(chǎn)生時更低的驅(qū)動頻率。然后，驅(qū)動頻率切換單元ex803指示解碼處理單元ex802，解碼處理單元ex802符合常規(guī)標(biāo)準(zhǔn)，以對視頻數(shù)據(jù)解碼。更具體而言，驅(qū)動頻率切換單元ex803包括圖38中的cpuex502和驅(qū)動頻率控制單元ex512。在這里，執(zhí)行每個實(shí)施例中所述活動畫面解碼方法的解碼處理單元ex801以及符合常規(guī)標(biāo)準(zhǔn)的解碼處理單元ex802的每個都對應(yīng)于圖38中的信號處理單元ex507。cpuex502判斷視頻數(shù)據(jù)符合哪種標(biāo)準(zhǔn)。然后，驅(qū)動頻率控制單元ex512基于來自cpuex502的信號確定驅(qū)動頻率。此外，信號處理單元ex507基于來自cpuex502的信號對視頻數(shù)據(jù)解碼。例如，可以使用實(shí)施例b中描述的識別信息來識別視頻數(shù)據(jù)。識別信息不限于實(shí)施例b中描述的那種，而是可以是任何信息，只要該信息指出視頻數(shù)據(jù)符合哪種標(biāo)準(zhǔn)即可。例如，在可以基于外部信號判斷視頻數(shù)據(jù)符合哪種標(biāo)準(zhǔn)以確定為電視或磁盤等使用視頻數(shù)據(jù)時，可以基于這樣的外部信號做出判斷。此外，cpuex502基于例如查找表選擇驅(qū)動頻率，在查找表中將視頻數(shù)據(jù)的標(biāo)準(zhǔn)與驅(qū)動頻率相關(guān)聯(lián)，如圖41中所示?？梢酝ㄟ^在緩存ex508中以及l(fā)si的內(nèi)部存儲器中存儲查找表并由cpuex502參考查找表，來選擇驅(qū)動頻率。圖40示出了用于執(zhí)行本實(shí)施例中的方法的步驟。首先，在步驟exs200中，信號處理單元ex507從復(fù)用數(shù)據(jù)獲得識別信息。接下來，在步驟exs201中，cpuex502基于識別信息判斷視頻數(shù)據(jù)是否是由每個實(shí)施例中描述的編碼方法和編碼設(shè)備產(chǎn)生的。在視頻數(shù)據(jù)是由每個實(shí)施例中描述的活動畫面編碼方法和活動畫面編碼設(shè)備產(chǎn)生時，在步驟exs202中，cpuex502向驅(qū)動頻率控制單元ex512發(fā)射信號，用于將驅(qū)動頻率設(shè)置到更高驅(qū)動頻率。然后，驅(qū)動頻率控制單元ex512將驅(qū)動頻率設(shè)置到更高驅(qū)動頻率。另一方面，在識別信息表示視頻數(shù)據(jù)符合常規(guī)標(biāo)準(zhǔn)，例如mpeg-2、mpeg-4avc和vc-1時，在步驟exs203中，cpuex502向驅(qū)動頻率控制單元ex512發(fā)射信號，用于將驅(qū)動頻率設(shè)置到更低驅(qū)動頻率。然后，驅(qū)動頻率控制單元ex512將驅(qū)動頻率設(shè)置到比視頻數(shù)據(jù)由每個實(shí)施例中所述活動畫面編碼方法和活動畫面編碼設(shè)備產(chǎn)生的情況下更低的驅(qū)動頻率。此外，與切換驅(qū)動頻率同時，通過改變施加到lsiex500或包括lsiex500的設(shè)備的電壓，可以改善功率守恒效應(yīng)。例如，在將驅(qū)動頻率設(shè)置得更低時，可能將施加于lsiex500或包括lsiex500的設(shè)備的電壓設(shè)置到比將驅(qū)動頻率設(shè)置得更高的情況更低的電壓。此外，在用于解碼的處理量更大時，可以將驅(qū)動頻率設(shè)置得更高，在用于解碼的處理量更小時，可以將驅(qū)動頻率設(shè)置地更低，以此作為設(shè)置驅(qū)動頻率的方法。于是，設(shè)置方法不限于上述那些。例如，在用于對符合mpeg-4avc的視頻數(shù)據(jù)解碼的處理量大于用于對每個實(shí)施例中描述的活動畫面編碼方法和活動畫面編碼設(shè)備產(chǎn)生的視頻數(shù)據(jù)解碼的處理量時，可以將驅(qū)動頻率設(shè)置成與上述設(shè)置相反的次序。此外，用于設(shè)置驅(qū)動頻率的方法不限于用于將驅(qū)動頻率設(shè)置得更低的方法。例如，在識別信息表示視頻數(shù)據(jù)是由每個實(shí)施例中描述的活動畫面編碼方法和活動畫面編碼設(shè)備產(chǎn)生時，可以將要施加于lsiex500或包括lsiex500的設(shè)備的電壓設(shè)置得更高。在識別信息表明視頻數(shù)據(jù)符合常規(guī)標(biāo)準(zhǔn)，例如mpeg-2、mpeg-4avc和vc-1時，可以將要施加到lsiex500或包括lsiex500的設(shè)備的電壓設(shè)置得更低。作為另一范例，在識別信息表明視頻數(shù)據(jù)是由每個實(shí)施例中描述的活動畫面編碼方法和活動畫面編碼設(shè)備產(chǎn)生時，可以不必中止cpuex502的驅(qū)動。在識別信息表明視頻數(shù)據(jù)符合常規(guī)標(biāo)準(zhǔn)，例如mpeg-2、mpeg-4avc和vc-1時，可以在給定時間，中止cpuex502的驅(qū)動，因?yàn)閏puex502具有額外的處理能力。即使在識別信息表明視頻數(shù)據(jù)是由每個實(shí)施例中描述的活動畫面編碼方法和活動畫面編碼設(shè)備產(chǎn)生時，在cpuex502具有額外處理能力的情況下，可以在給定時間中止cpuex502的驅(qū)動。在這種情況下，可以將中止時間設(shè)置得比在識別信息表示視頻數(shù)據(jù)符合常規(guī)標(biāo)準(zhǔn)的情況下更短，常規(guī)標(biāo)準(zhǔn)例如是mpeg-2、mpeg-4avc和vc-1。因此，可以通過根據(jù)視頻數(shù)據(jù)符合的標(biāo)準(zhǔn)在驅(qū)動頻率之間切換來改善功率守恒效應(yīng)。此外，在使用電池驅(qū)動lsiex500或包括lsiex500的設(shè)備時，可以利用功率守恒效應(yīng)延長電池壽命。(實(shí)施例e)存在這樣的情況：將多個符合不同標(biāo)準(zhǔn)的視頻數(shù)據(jù)提供到諸如電視和蜂窩電話的裝置和系統(tǒng)。為了能夠?qū)Ψ喜煌瑯?biāo)準(zhǔn)的多個視頻數(shù)據(jù)進(jìn)行解碼，lsiex500的信號處理單元ex507需要符合不同的標(biāo)準(zhǔn)。不過，單獨(dú)使用符合相應(yīng)標(biāo)準(zhǔn)的信號處理單元ex507時會出現(xiàn)lsiex500的電路尺度增大以及成本增大的問題。為了解決這個問題，構(gòu)思的是這樣的配置：其中，部分共享用于實(shí)施每個實(shí)施例中所述活動畫面解碼方法的解碼處理單元和符合常規(guī)標(biāo)準(zhǔn)，例如mpeg-2、mpeg-4avc和vc-1的解碼處理單元。圖42a中的ex900示出了配置的范例。例如，每個實(shí)施例中描述的活動畫面解碼方法以及符合mpeg-4avc的活動畫面解碼方法部分共有處理的細(xì)節(jié)，處理例如是熵編碼、逆量化、解塊濾波和運(yùn)動補(bǔ)償預(yù)測。要被共享的處理細(xì)節(jié)可能包括符合mpeg-4avc的解碼處理單元ex902。相反，可以使用專用解碼處理單元ex901進(jìn)行本發(fā)明一方面特有的其他處理。由于本發(fā)明的該方面特征尤其在于逆量化，所以，例如，將專用解碼處理單元ex901用于逆量化。否則，可以為熵解碼、解塊濾波和運(yùn)動補(bǔ)償之一或所有處理共享解碼處理單元?？梢葬槍σ蚕淼奶幚砉蚕碛糜趯?shí)施每個實(shí)施例中描述的活動畫面解碼方法的解碼處理單元，可以將專用解碼處理單元用于mpeg-4avc特有的處理。此外，圖42b中的ex1000示出了部分共享處理的另一范例。這一范例使用的配置包括專用解碼處理單元ex1001、專用解碼處理單元ex1002和解碼處理單元ex1003，專用解碼處理單元ex1001支持本發(fā)明一方面特有的處理，專用解碼處理單元ex1002支持另一常規(guī)標(biāo)準(zhǔn)特有的處理，解碼處理單元ex1003支持要在根據(jù)本發(fā)明該方面的活動畫面解碼方法和常規(guī)活動畫面解碼方法之間共享的處理。在這里，專用解碼處理單元ex1001和ex1002未必分別專用于根據(jù)本發(fā)明該方面的處理和常規(guī)標(biāo)準(zhǔn)的處理，可以是能夠?qū)嵤┮话闾幚淼膯卧?。此外，可以由lsiex500實(shí)施本實(shí)施例的配置。這樣一來，可以通過在根據(jù)本發(fā)明該方面的活動畫面解碼方法和符合常規(guī)標(biāo)準(zhǔn)的活動畫面解碼方法之間共享用于處理的解碼處理單元，能夠減小lsi的電路尺度并降低成本。本發(fā)明涉及解塊濾波，可以將其有利地應(yīng)用于對圖像和視頻信號的逐塊編碼和解碼。具體而言，本發(fā)明涉及對塊施加還是跳過解塊濾波的自動判定當(dāng)中的改進(jìn)的存儲器管理，還涉及解塊濾波器的選擇。通過某種方式基于塊的分割執(zhí)行所述判定，從而優(yōu)化存儲器使用。優(yōu)選改進(jìn)對適當(dāng)解塊濾波器的選擇，從而降低計算開銷。當(dāng)前第1頁12