動態(tài)圖像編碼方法、動態(tài)圖像解碼方法、動態(tài)圖像編碼裝置以及動態(tài)圖像解碼裝置制造方法
【專利摘要】用于提高編碼效率的動態(tài)圖像編碼方法包括：通過判定是否應(yīng)用正交變換，來算出正交變換跳躍標(biāo)志的值的步驟(S303)；根據(jù)正交變換跳躍標(biāo)志的值，對預(yù)測殘差進行正交變換，從而算出至少一個正交變換系數(shù)的步驟(S304)；通過對至少一個正交變換系數(shù)進行量化，來算出至少一個量化系數(shù)的步驟(S305)；對正交變換跳躍標(biāo)志進行可變長編碼的步驟(S306)；根據(jù)正交變換跳躍標(biāo)志的值，對至少一個量化系數(shù)的掃描順序進行切換，并按照切換后的掃描順序來對至少一個量化系數(shù)進行可變長編碼的步驟(S307)。
【專利說明】動態(tài)圖像編碼方法、動態(tài)圖像解碼方法、動態(tài)圖像編碼裝置以及動態(tài)圖像解碼裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及動態(tài)圖像編碼方法以及動態(tài)圖像解碼方法等。

【背景技術(shù)】
[0002]在動態(tài)圖像編碼處理中，一般利用動態(tài)圖像的空間方向以及時間方向的冗余性來壓縮信息量。在此，一般而言，作為利用空間方向冗余性的方法采用頻域變換，作為利用時間方向冗余性的方法采用圖片間預(yù)測(以下稱之為幀間預(yù)測)編碼處理。在幀間預(yù)測編碼處理中，在對某圖片進行編碼時，作為參照圖片，利用在顯示時間順序上位于對象圖片的前方或者后方的已編碼圖片。并且，通過檢測編碼對象圖片相對于該參照圖片的運動，來導(dǎo)出運動矢量，并通過取得依據(jù)運動矢量進行運動補償而獲得的預(yù)測圖像數(shù)據(jù)與編碼對象圖片的圖像數(shù)據(jù)的差值，來消除時間方向的冗余性。在此，在運動檢測中，算出編碼圖片內(nèi)的編碼對象塊與參照圖片內(nèi)的塊的差值，并將差值最小的參照圖片內(nèi)的塊作為參照塊。然后，利用編碼對象塊和參照塊，來檢測運動矢量。另外，在幀內(nèi)預(yù)測編碼處理中，在對某編碼對象塊進行編碼時，作為參照像素，利用位于編碼對象塊周圍的已編碼的塊內(nèi)的像素。然后，通過取得利用該參照像素算出的預(yù)測圖像數(shù)據(jù)和編碼對象塊的圖像數(shù)據(jù)的差值，來消除空間方向的冗余性。作為這種動態(tài)圖像編碼方法，現(xiàn)已有標(biāo)準(zhǔn)化的動態(tài)圖像編碼方式，通稱為H.264 (參照非專利文獻I)。
[0003]現(xiàn)有技術(shù)文獻
[0004]非專利文獻
[0005]非專利文獻1:1TU_T Recommendat1n H.264 “Advanced video coding forgeneric aud1visual services，，, 2010 年 3 月


【發(fā)明內(nèi)容】

[0006]發(fā)明要解決的問題
[0007]但是，近年來隨著研究邁向了高精圖像(4KX2K)的廣播、內(nèi)容數(shù)據(jù)分發(fā)，因此要求比目前被作為標(biāo)準(zhǔn)的動態(tài)圖像編碼方式更高的編碼效率。
[0008]對此，本發(fā)明提供能夠提高編碼效率的動態(tài)圖像編碼方法以及動態(tài)圖像解碼方法。
[0009]用于解決問題的手段
[0010]為了解決上述課題，本發(fā)明的一形態(tài)的動態(tài)圖像編碼方法是按每個塊對動態(tài)圖像進行編碼的動態(tài)圖像編碼方法，其包括:預(yù)測殘差生成步驟，利用與編碼對象塊鄰接的參照塊，或者與編碼對象圖片不同的參照圖片內(nèi)的參照塊，生成上述編碼對象塊的預(yù)測圖像，并生成作為上述編碼對象塊和上述預(yù)測圖像的差值的預(yù)測殘差；判定步驟，通過判定是否對上述預(yù)測殘差應(yīng)用正交變換，算出正交變換跳躍標(biāo)志的值；正交變換步驟，根據(jù)上述正交變換跳躍標(biāo)志的值，對上述預(yù)測殘差進行上述正交變換，從而算出至少一個正交變換系數(shù)；量化步驟，通過對上述至少一個正交變換系數(shù)進行量化，算出至少一個量化系數(shù)；標(biāo)志編碼步驟，對上述正交變換跳躍標(biāo)志進行可變長編碼；系數(shù)編碼步驟，根據(jù)上述正交變換跳躍標(biāo)志的值，對上述至少一個量化系數(shù)的掃描順序進行切換，并按照切換后的掃描順序來對上述至少一個量化系數(shù)進行可變長編碼。
[0011]在此，這些總括性或者具體性的形態(tài)可由系統(tǒng)、方法、集成電路、計算機程序或者計算機可讀取的CD-ROM等記錄介質(zhì)實現(xiàn)，亦可由系統(tǒng)、方法、集成電路、計算機程序以及記錄介質(zhì)的任意組合實現(xiàn)。
[0012]發(fā)明效果
[0013]根據(jù)本發(fā)明的動態(tài)圖像編碼方法以及動態(tài)圖像解碼方法，能夠提高編碼效率。

【專利附圖】

【附圖說明】
[0014]圖1是表示采用了實施方式I的動態(tài)圖像編碼方法的動態(tài)圖像編碼裝置的結(jié)構(gòu)的方框圖。
[0015]圖2是表示實施方式I的動態(tài)圖像編碼方法的處理概要的流程圖。
[0016]圖3是表示實施方式I的圖2的步驟S103的詳細(xì)處理的流程圖。
[0017]圖4是表示實施方式I的圖2的步驟S104的詳細(xì)處理的流程圖。
[0018]圖5是表示實施方式I的圖2的步驟S105的詳細(xì)處理的流程圖。
[0019]圖6是表示實施方式I的圖2的步驟S106的詳細(xì)處理的流程圖。
[0020]圖7是表示實施方式I的圖2的步驟S108的詳細(xì)處理的流程圖。
[0021]圖8是表示實施方式I的圖2的步驟S109的詳細(xì)處理的流程圖。
[0022]圖9是表示采用了實施方式2的動態(tài)圖像解碼方法的動態(tài)圖像解碼裝置的結(jié)構(gòu)的方框圖。
[0023]圖10是表示實施方式2的動態(tài)圖像解碼方法的處理概要的流程圖。
[0024]圖11是表示實施方式2的圖10的步驟S201的詳細(xì)處理的流程圖。
[0025]圖12是表示采用了實施方式3的動態(tài)圖像編碼方法的動態(tài)圖像編碼裝置的結(jié)構(gòu)的方框圖。
[0026]圖13是表示實施方式3的動態(tài)圖像編碼方法的處理概要的流程圖。
[0027]圖14是表示實施方式3的圖13的步驟S307的詳細(xì)處理的流程圖。
[0028]圖15是表示實施方式3的圖14的步驟S321的詳細(xì)處理的流程圖。
[0029]圖16是表示實施方式3的幀內(nèi)預(yù)測模式的預(yù)測方向的圖。
[0030]圖17是表示實施方式3的量化系數(shù)的掃描順序的圖。
[0031]圖18是表示實施方式3的圖14的步驟S323的詳細(xì)處理的流程圖。
[0032]圖19是表示采用了實施方式4的動態(tài)圖像解碼方法的動態(tài)圖像解碼裝置的結(jié)構(gòu)的方框圖。
[0033]圖20是表示實施方式4的動態(tài)圖像解碼方法的處理概要的流程圖。
[0034]圖21是表示實施方式4的圖20的步驟S402的詳細(xì)處理的流程圖。
[0035]圖22A是表示本發(fā)明的一形態(tài)的動態(tài)圖像編碼方法的流程圖。
[0036]圖22B是表示本發(fā)明的一形態(tài)的動態(tài)圖像編碼裝置的方框圖。
[0037]圖22C是表示本發(fā)明的一形態(tài)的動態(tài)圖像解碼方法的流程圖。
[0038]圖22D是表示本發(fā)明的一形態(tài)的動態(tài)圖像解碼裝置的方框圖。
[0039]圖23是實現(xiàn)內(nèi)容數(shù)據(jù)分發(fā)服務(wù)的內(nèi)容數(shù)據(jù)提供系統(tǒng)的整體結(jié)構(gòu)圖。
[0040]圖24是數(shù)字廣播系統(tǒng)的整體結(jié)構(gòu)圖。
[0041]圖25是表示電視機的結(jié)構(gòu)例的方框圖。
[0042]圖26是表示針對作為光盤的記錄介質(zhì)進行信息讀寫的信息再生/記錄部的結(jié)構(gòu)例的方框圖。
[0043]圖27是表示作為光盤的記錄介質(zhì)的結(jié)構(gòu)例的圖。
[0044]圖28A是表示便攜式電話的一個例子的圖。
[0045]圖28B是表示便攜式電話的結(jié)構(gòu)例的方框圖。
[0046]圖29是表示多路復(fù)用數(shù)據(jù)的結(jié)構(gòu)的圖。
[0047]圖30是表示各流在多路復(fù)用數(shù)據(jù)中是怎樣被多路復(fù)用的示意圖。
[0048]圖31是詳細(xì)表示視頻流是如何被存放在PES數(shù)據(jù)包列中的圖。
[0049]圖32是表示多路復(fù)用數(shù)據(jù)中的TS包和源數(shù)據(jù)包的結(jié)構(gòu)的圖。
[0050]圖33是表示PMT的數(shù)據(jù)結(jié)構(gòu)的圖。
[0051]圖34是表示多路復(fù)用數(shù)據(jù)信息的內(nèi)部結(jié)構(gòu)的圖。
[0052]圖35是表示流屬性信息的內(nèi)部結(jié)構(gòu)的圖。
[0053]圖36是表示識別影像數(shù)據(jù)的步驟的圖。
[0054]圖37是表示實現(xiàn)各實施方式的動態(tài)圖像編碼方法以及動態(tài)圖像解碼方法的集成電路的結(jié)構(gòu)例的方框圖。
[0055]圖38是表示切換驅(qū)動頻率的結(jié)構(gòu)的圖。
[0056]圖39是表示識別影像數(shù)據(jù)，切換驅(qū)動頻率的步驟的圖。
[0057]圖40是表示將影像數(shù)據(jù)的規(guī)格和驅(qū)動頻率對應(yīng)起來的查找表的一個例子的圖。
[0058]圖41A是表示信號處理部的模塊共享結(jié)構(gòu)的一個例子的圖。
[0059]圖41B是表示信號處理部的模塊共享結(jié)構(gòu)的其他例子的圖。

【具體實施方式】
[0060](本發(fā)明的基礎(chǔ)知識)
[0061]在通稱為H.264的動態(tài)圖像編碼方式的標(biāo)準(zhǔn)中，為了壓縮信息量，采用I圖片、P圖片和B圖片等3種圖片類型。I圖片是不進行幀間預(yù)測編碼處理，即，進行圖片內(nèi)預(yù)測(以下，稱之為幀內(nèi)預(yù)測)編碼處理的圖片。P圖片是通過參照在顯示時間順序上位于編碼對象圖片的前方或者后方的一個已編碼圖片來進行幀間預(yù)測編碼的圖片。B圖片是通過參照在顯示時間順序上位于編碼對象圖片的前方或者后方的兩個已編碼的圖片來進行幀間預(yù)測編碼的圖片。
[0062]在幀內(nèi)預(yù)測編碼中，對某編碼對象塊進行編碼時，作為參照像素，利用位于編碼對象塊周圍的已編碼的塊內(nèi)的像素。在此，取得利用該參照像素算出的預(yù)測圖像數(shù)據(jù)與編碼對照塊的圖像數(shù)據(jù)的差值，來消除空間方向的冗余性。然后，通過對算出的差值進行正交變換，使信號集中于特定的頻率成分，然后通過量化來刪除不必要的成分，從而提高編碼效率。
[0063]但是，根據(jù)算出的差值(預(yù)測殘差)的不同，在正交變換后進行量化將會導(dǎo)致編碼效率下降的問題。對此，本發(fā)明提供一種不進行正交變換就能夠選擇量化模式的動態(tài)圖像編碼方法。
[0064]S卩，本發(fā)明的一形態(tài)的動態(tài)圖像編碼方法，按每個塊對動態(tài)圖像進行編碼，該動態(tài)圖像編碼方法包括:預(yù)測殘差生成步驟，利用與編碼對象塊鄰接的參照塊，或者與編碼對象圖片不同的參照圖片內(nèi)的參照塊，生成上述編碼對象塊的預(yù)測圖像，并生成作為上述編碼對象塊和上述預(yù)測圖像的差值的預(yù)測殘差；判定步驟，通過判定是否對上述預(yù)測殘差應(yīng)用正交變換，算出正交變換跳躍標(biāo)志的值；正交變換步驟，根據(jù)上述正交變換跳躍標(biāo)志的值，對上述預(yù)測殘差進行上述正交變換，從而算出至少一個正交變換系數(shù)；量化步驟，通過對上述至少一個正交變換系數(shù)進行量化，算出至少一個量化系數(shù)；標(biāo)志編碼步驟，對上述正交變換跳躍標(biāo)志進行可變長編碼；系數(shù)編碼步驟，根據(jù)上述正交變換跳躍標(biāo)志的值，對上述至少一個量化系數(shù)的掃描順序進行切換，并按照切換后的掃描順序來對上述至少一個量化系數(shù)進行可變長編碼。
[0065]根據(jù)以上，由于根據(jù)正交變換跳躍標(biāo)志的值來進行正交變換，因此能夠切換是否應(yīng)用正交變換，并且，由于根據(jù)正交變換跳躍標(biāo)志的值來切換量化系數(shù)的掃描順序，因此能夠?qū)α炕禂?shù)進行適當(dāng)?shù)目勺冮L編碼。其結(jié)果，能夠提高編碼效率。
[0066]另外可以是，在上述判定步驟，在判定為對上述預(yù)測殘差不應(yīng)用上述正交變換的情況下，作為上述正交變換跳躍標(biāo)志的值算出1，在上述系數(shù)編碼步驟，在上述正交變換跳躍標(biāo)志的值為I的情況下，并且，在通過幀內(nèi)預(yù)測生成上述預(yù)測圖像并且上述幀內(nèi)預(yù)測的預(yù)測方向是水平方向的情況下，將上述掃描順序切換成沿著水平方向的順序。
[0067]另外可以是，在上述判定步驟，在判定為對上述預(yù)測殘差不應(yīng)用上述正交變換的情況下，作為上述正交變換跳躍標(biāo)志的值算出1，在上述系數(shù)編碼步驟，在上述正交變換跳躍標(biāo)志的值為I的情況下，并且，在通過幀內(nèi)預(yù)測生成上述預(yù)測圖像并且上述幀內(nèi)預(yù)測的預(yù)測方向是垂直方向的情況下，將上述掃描順序切換成沿著垂直方向的順序。
[0068]另外可以是，在上述正交變換步驟，在上述正交變換跳躍標(biāo)志的值為I的情況下，不進行上述正交變換。
[0069]另外可以是，在上述標(biāo)志編碼步驟，只在通過幀內(nèi)預(yù)測生成上述預(yù)測圖像，并且上述正交變換的尺寸為4X4的情況下，對上述正交變換跳躍標(biāo)志進行可變長編碼。
[0070]另外可以是，在上述量化步驟，根據(jù)上述正交變換跳躍標(biāo)志的值，對上述至少一個正交變換系數(shù)進行量化。
[0071]另外可以是，在上述判定步驟，在判定為對上述預(yù)測殘差不應(yīng)用上述正交變換的情況下，作為上述正交變換跳躍標(biāo)志的值算出1，在上述量化步驟，在上述正交變換跳躍標(biāo)志的值為I的情況下，不利用量化矩陣就對上述至少一個正交變換系數(shù)進行量化。
[0072]本發(fā)明的一形態(tài)的動態(tài)圖像解碼方法，按每個塊對已編碼動態(tài)圖像進行解碼，該動態(tài)圖像解碼方法包括:標(biāo)志解碼步驟，對表示是否對解碼對象塊應(yīng)用逆正交變換的正交變換跳躍標(biāo)志進行可變長解碼；系數(shù)解碼步驟，根據(jù)上述正交變換跳躍標(biāo)志的值，對上述解碼對象塊中包含的至少一個量化系數(shù)的掃描順序進行切換，并按照切換后的掃描順序?qū)ι鲜鲋辽僖粋€量化系數(shù)進行可變長解碼；逆量化步驟，通過對可變長解碼后的上述至少一個量化系數(shù)進行逆量化，算出至少一個逆量化系數(shù)；逆正交變換步驟，通過根據(jù)上述正交變換跳躍標(biāo)志的值，來對上述至少一個逆量化系數(shù)進行逆正交變換，從而算出上述解碼對象塊的預(yù)測殘差；重構(gòu)圖像生成步驟，利用與上述解碼對象塊鄰接的參照塊，或者與解碼對象圖片不同的參照圖片內(nèi)的參照塊，生成上述解碼對象塊的預(yù)測圖像，并通過對上述預(yù)測殘差和上述預(yù)測圖像進行加法運算而生成重構(gòu)圖像。
[0073]根據(jù)以上，由于根據(jù)正交變換跳躍標(biāo)志的值來進行逆正交變換，因此能夠切換是否應(yīng)用逆正交變換，并且，由于根據(jù)正交變換跳躍標(biāo)志的值來切換量化系數(shù)的掃描順序，因此能夠?qū)α炕禂?shù)進行適當(dāng)?shù)目勺冮L解碼。其結(jié)果，能夠?qū)ψ鳛榫幋a效率提高之后的編碼動態(tài)圖像的比特流進行適當(dāng)?shù)慕獯a。
[0074]另外可以是，在上述系數(shù)解碼步驟，在上述正交變換跳躍標(biāo)志的值為I的情況下，并且，在通過幀內(nèi)預(yù)測生成上述預(yù)測圖像并且上述幀內(nèi)預(yù)測的預(yù)測方向是水平方向的情況下，將上述掃描順序切換成沿著水平方向的順序。
[0075]另外可以是，在上述系數(shù)解碼步驟，在上述正交變換跳躍標(biāo)志的值為I的情況下，并且，在通過幀內(nèi)預(yù)測生成上述預(yù)測圖像并且上述幀內(nèi)預(yù)測的預(yù)測方向是垂直方向的情況下，將上述掃描順序切換成沿著垂直方向的順序。
[0076]另外可以是，在上述逆正交變換步驟，在上述正交變換跳躍標(biāo)志的值為I的情況下，不進行上述逆正交變換。
[0077]另外可以是，在上述標(biāo)志解碼步驟，只在通過幀內(nèi)預(yù)測生成上述預(yù)測圖像，并且上述逆正交變換的尺寸為4X4的情況下，對上述正交變換跳躍標(biāo)志進行可變長解碼。
[0078]另外可以是，在上述逆量化步驟，根據(jù)上述正交變換跳躍標(biāo)志的值，對可變長解碼后的上述至少一個量化系數(shù)進行逆量化。
[0079]另外可以是，在上述逆量化步驟，在上述正交變換跳躍標(biāo)志的值為I的情況下，不利用量化矩陣就對上述至少一個量化系數(shù)進行逆量化。
[0080]在此，這些總括性或者具體性的形態(tài)可由系統(tǒng)、方法、集成電路、計算機程序或者計算機可讀取的CD-ROM等記錄介質(zhì)實現(xiàn)，亦可由系統(tǒng)、方法、集成電路、計算機程序或者記錄介質(zhì)的任意組合實現(xiàn)。
[0081]以下，參照附圖來說明實施方式。
[0082]以下說明的實施方式均表示總括性或者具體性的例子。以下的實施方式中給出的數(shù)值、形狀、材料、結(jié)構(gòu)要素、結(jié)構(gòu)要素的配置位置以及連接形態(tài)、步驟、步驟的順序等也僅為例示，并不表示本發(fā)明限定于此。另外，關(guān)于以下的實施方式的結(jié)構(gòu)要素中的未被記載于表示最上位概念的獨立權(quán)利要求項中的結(jié)構(gòu)要素，作為任意的結(jié)構(gòu)要素對其進行說明。另夕卜，在以下的例子中，編碼(coding)有時也表示encoding的意思。
[0083](實施方式I)
[0084]圖1是表示采用了本實施方式的動態(tài)圖像編碼方法的動態(tài)圖像編碼裝置的結(jié)構(gòu)的方框圖。
[0085]動態(tài)圖像編碼裝置100，如圖1所示，具備正交變換跳躍判定部117、減法運算器101、正交變換部102、量化部103、逆量化部105、逆正交變換部106、加法運算器107、塊存儲器108、幀存儲器109、幀內(nèi)預(yù)測部110、幀間預(yù)測部111、切換器112、幀間預(yù)測控制部113、圖片類型決定部116、融合塊候選算出部115、colPic存儲器114以及可變長編碼部104。
[0086]減法運算器101，從輸入圖像列所包含的輸入圖像中減去預(yù)測圖像，從而生成預(yù)測殘差。
[0087]正交變換跳躍判定部117，通過后述方法，判定是否對利用編碼對象塊算出的預(yù)測殘差應(yīng)用正交變換，在應(yīng)用正交變換的情況下，將正交變換跳躍標(biāo)志設(shè)定為0，在不應(yīng)用正交變換的情況下，將正交變換跳躍標(biāo)志設(shè)定為I。
[0088]正交變換部102，根據(jù)正交變換跳躍標(biāo)志的值，對預(yù)測殘差進行從圖像區(qū)域變換成頻域的變換。量化部103，根據(jù)正交變換跳躍標(biāo)志的值，對作為被變換成頻域的預(yù)測殘差的系數(shù)數(shù)據(jù)，進行量化處理。逆量化部105，根據(jù)正交變換跳躍標(biāo)志的值，對由量化部103進行了量化處理的系數(shù)數(shù)據(jù)，進行逆量化處理。逆正交變換部106，根據(jù)正交變換跳躍標(biāo)志的值，通過對逆量化處理后的系數(shù)數(shù)據(jù)進行從頻域變換成圖像區(qū)域的變換，而生成解碼預(yù)測殘差。加法運算器107，通過將預(yù)測圖像加到解碼預(yù)測殘差上，生成重構(gòu)圖像。
[0089]塊存儲器108將重構(gòu)圖像作為參照圖像，以塊單位進行保存，幀存儲器109將重構(gòu)圖像作為參照圖像，以幀單位進行保存。圖片類型決定部116決定以I圖片、B圖片以及P圖片的哪個圖片類型來對輸入圖像進行編碼，并生成圖片類型信息。幀內(nèi)預(yù)測部110，通過利用被保存在塊存儲器108中的塊單位的參照圖像，對編碼對象塊進行幀內(nèi)預(yù)測，從而生成預(yù)測圖像。幀間預(yù)測部111，通過利用被保存在幀存儲器109中的幀單位的參照圖像和通過運動檢測等導(dǎo)出的運動矢量，對編碼對象塊進行幀間預(yù)測，從而生成預(yù)測圖像。
[0090]切換器112根據(jù)由圖片類型決定部116生成的圖片類型信息，將輸出給減法運算器101以及加法運算器107的預(yù)測圖像，切換成由幀內(nèi)預(yù)測部110生成的預(yù)測圖像或者由幀間預(yù)測部111生成的預(yù)測圖像。
[0091]融合塊候選算出部115，利用與編碼對象塊鄰接的塊和被存放在colPic存儲器114中的co-located塊的運動矢量等的colPic信息，導(dǎo)出融合模式以及跳躍模式的融合塊候選，并算出融合塊候選列表尺寸。另外，融合塊候選算出部115,對導(dǎo)出的融合塊候選,分配融合塊索引的值。并且，融合塊候選算出部115，將融合塊候選和融合塊索引發(fā)送到幀間預(yù)測控制部113。
[0092]幀間預(yù)測控制部113控制是否對編碼對象塊采用運動矢量編碼模式或者融合模式來進行編碼，運動矢量編碼模式利用通過運動檢測導(dǎo)出的運動矢量。并且，幀間預(yù)測控制部113將包含編碼對象塊的運動矢量等的colPic信息轉(zhuǎn)送到colPic存儲器114。
[0093]可變長編碼部104，通過后述方法，對正交變換跳躍標(biāo)志和量化處理后的系數(shù)數(shù)據(jù)進行可變長編碼處理，從而生成比特流。另外，可變長編碼部104對圖片類型信息進行可變長編碼。并且，可變長編碼部104對用于編碼的融合塊索引，分配與融合塊候選列表尺寸相應(yīng)的比特列，并對該比特列進行可變長編碼。
[0094]圖2是表示本實施方式的動態(tài)圖像編碼方法的處理概要的流程圖。
[0095]在步驟S101，算出編碼對象塊的預(yù)測圖像。例如，在以幀內(nèi)預(yù)測模式對編碼對象塊進行編碼的情況下，利用位置與編碼對象塊鄰接的參照像素，生成預(yù)測圖像。另外，在幀間預(yù)測模式的情況下，利用作為與編碼對象圖片不同的已編碼圖片的參照圖片內(nèi)的、通過運動檢測等被確定的參照塊的像素值，生成預(yù)測圖像。
[0096]在步驟S102，通過取得編碼對象塊與通過步驟SlOl算出的預(yù)測圖像的差值，算出預(yù)測殘差(預(yù)測差值)。在步驟S103，通過后述方法，判定是否對預(yù)測殘差應(yīng)用正交變換，并算出正交變換跳躍標(biāo)志的值。
[0097]在步驟S104，通過后述方法，進行正交變換處理，并算出包含正交變換系數(shù)的上述系數(shù)數(shù)據(jù)。在步驟S105，通過后述方法，根據(jù)正交變換跳躍標(biāo)志的值，判定是否進行利用量化矩陣的量化，如果判定為進行，就利用量化矩陣來進行量化處理，從而算出包含量化系數(shù)的量化后的系數(shù)數(shù)據(jù)。在步驟S106，通過后述方法，對正交變換跳躍標(biāo)志進行可變長編碼。在步驟S107，對量化系數(shù)進行可變長編碼。
[0098]在步驟S108，通過后述方法，對量化系數(shù)進行逆量化處理，并算出包含逆量化系數(shù)的系數(shù)數(shù)據(jù)。在步驟S109，通過后述方法，根據(jù)正交變換跳躍標(biāo)志，對逆量化系數(shù)應(yīng)用逆正交變換處理，從而算出包含逆正交變換系數(shù)的上述解碼預(yù)測殘差。在步驟S110，通過對在步驟SlOl算出的預(yù)測圖像和包含在步驟S109算出的逆正交變換系數(shù)的解碼預(yù)測殘差進行加法運算，算出重構(gòu)圖像。
[0099]圖3是表示圖2的步驟S103的詳細(xì)處理的流程圖。具體是，該圖3是表示判定對編碼對象塊的預(yù)測殘差是否應(yīng)用正交變換，并算出正交變換跳躍標(biāo)志的值的處理的一個例子的流程圖。以下，對圖3進行說明。
[0100]在步驟S121，判定是否是編碼對象塊為幀內(nèi)預(yù)測模式，并且正交變換尺寸為4X4，如果判定結(jié)果為正(是)，在步驟S122，算出對預(yù)測殘差應(yīng)用正交變換來進行編碼的情況下的成本CostNonSkip。然后，在步驟S123，算出對預(yù)測殘差不應(yīng)用正交變換就進行編碼的情況下的成本CostSkip。在此，例如通過R-D最優(yōu)化模式的以下式I來算出成本。
[0101](式I)
[0102]Cost = D+ λ R
[0103]在式I中，D表示編碼失真。例如，利用在某幀內(nèi)預(yù)測模式下生成的預(yù)測圖像來對編碼對象塊進行編碼以及解碼而獲得的像素值和編碼對象塊的原來的像素值的差值絕對值和等，被用作D。另外，R表示發(fā)生的編碼量。生成預(yù)測圖像時所用的幀內(nèi)預(yù)測模式的標(biāo)志、對量化系數(shù)等進行編碼時所必須的編碼量等，被用作R。另外，λ是拉格朗日的未定乘數(shù)。
[0104]在步驟S124,判定CostSkip的值是否比CostNonSkip的值小,如果判定結(jié)果為正(是)，在步驟S125，將正交變換跳躍標(biāo)志設(shè)定為I (有效)，并判定為對預(yù)測殘差不應(yīng)用正交變換。另一方面，在步驟S121或者步驟S124的判定結(jié)果為負(fù)(否)，在步驟S126，將正交變換跳躍標(biāo)志設(shè)定為O (無效)，并決定對預(yù)測殘差應(yīng)用正交變換。
[0105]通過這樣，在某預(yù)測模式或者正交變換尺寸的情況下，對應(yīng)用正交變換的情況和不應(yīng)用的情況下的成本進行比較，并在不應(yīng)用正交變換時的成本變小的情況下，將正交變換跳躍標(biāo)志設(shè)定為1，以使得不應(yīng)用正交變換，從而能夠提高編碼效率。
[0106]另外，在本實施方式中，在步驟S121，只在幀內(nèi)預(yù)測模式并且正交變換尺寸為4X4的情況下，判定是否應(yīng)用正交變換，但并非僅限于此。例如，在幀間預(yù)測模式下，也可以判定是否應(yīng)用正交變換。另外，在正交變換尺寸是比4X4大的尺寸的情況下，也可以判定是否應(yīng)用正交變換。由此，能夠進一步提高編碼效率。另外，還可以根據(jù)幀內(nèi)預(yù)測或者幀間預(yù)測的預(yù)測方向等，強制性地決定正交變換跳躍標(biāo)志的值。例如，在幀內(nèi)預(yù)測模下，并且是DC預(yù)測或者Planar預(yù)測的情況下，可以將正交變換跳躍標(biāo)志始終設(shè)定為0，并始終應(yīng)用正交變換。由此，能夠削減為了進行判定所需的成本算出等的處理量，從而能夠提高編碼效率。
[0107]圖4是表示圖2的步驟S104的詳細(xì)處理的流程圖。具體是，圖4是表示根據(jù)正交變換跳躍標(biāo)志的值，算出正交變換系數(shù)的方法的流程圖。以下，對圖4進行說明。
[0108]在步驟S141，判定正交變換跳躍標(biāo)志是否有效，S卩，該標(biāo)志的值是否為1，如果判定結(jié)果為正(是)，在步驟S142，通過將預(yù)測殘差復(fù)制到正交變換系數(shù)中，可以不應(yīng)用正交變換，就算出正交變換系數(shù)。另一方面，如果步驟S141的判定結(jié)果為負(fù)(否)，在步驟S143，對預(yù)測殘差應(yīng)用正交變換，算出正交變換系數(shù)。
[0109]通過這樣，在正交變換跳躍標(biāo)志為I的情況下，通過將預(yù)測殘差直接復(fù)制到正交變換系數(shù)中，能夠不應(yīng)用正交變換，就算出正交變換系數(shù)。另外，在本實施方式中，在步驟S142，通過將預(yù)測殘差復(fù)制到正交變換系數(shù)中，不應(yīng)用正交變換就算出正交變換系數(shù)，但并不限定于此，只要是對預(yù)測殘差不應(yīng)用正交變換就能算出正交變換系數(shù)的方法，可以采用任何方法。
[0110]圖5是表示圖2的步驟S105的詳細(xì)處理的流程圖。具體是，圖5是表示根據(jù)正交變換跳躍標(biāo)志的值，算出量化系數(shù)的方法的流程圖。以下，對圖5進行說明。
[0111]在步驟S151,判定scaling_list_present_f lag是否為O,或者正交變換跳躍標(biāo)志是否有效，即，判定該標(biāo)志的值是否為I。如果該判定結(jié)果為正(步驟S151為“是”)，在步驟S152，不使用量化矩陣，就對正交變換系數(shù)進行量化處理，算出量化系數(shù)。
[0112]在此，scaling_list_present_flag是表示是否利用量化矩陣來進行量化處理的標(biāo)志，被作為 SPS (Sequence Parameter Set)、PPS (Picture Parameter Set)、APS (Adaptat1n Parameter Set),或者片頭等的巾貞頭信息被附加于比特流。scaling_list_present_flag的值是I的情況，表示利用量化矩陣來進行量化處理。另外，在本實施方式中舉出了根據(jù)scaling_list_present_flag來判定是否利用量化矩陣進行量化處理的例子。但并非僅限定于此，只要是表示是否利用量化矩陣來進行量化的SPS、PPS、APS或者片頭等所包含的標(biāo)志或者參數(shù)，可以采用任何形式的信息。
[0113]在步驟S151的判定結(jié)果為負(fù)(否)的情況下，即,在scaling_list_present_flag的值為1，并且正交變換跳躍標(biāo)志的值為O的情況下，在步驟S153，利用正交變換系數(shù)來進行量化處理，并算出量化系數(shù)。
[0114]如上所述,在scaling_list_present_flag的值為O,或者正交變換跳躍標(biāo)志的值為I的情況下，不利用量化矩陣就對正交變換系數(shù)進行量化而算出量化系數(shù)，從而，在不應(yīng)用正交變換的情況下，能夠進行控制而使得不應(yīng)用量化矩陣。量化矩陣是用于在正交變換后，維持重要的頻率成分的同時刪除不必要的頻率成分，并進行量化的參數(shù)，通過在正交變換后利用量化矩陣，能夠有效提高編碼效率。因此，通過控制，使得只在正交變換跳躍標(biāo)志的值為0，S卩，應(yīng)用正交變換的情況下，應(yīng)用量化矩陣，而在正交變換跳躍標(biāo)志的值為1，即，不應(yīng)用正交變換的情況下，不應(yīng)用量化矩陣。通過這樣，能夠適當(dāng)?shù)貞?yīng)用量化矩陣，從而能夠提高編碼效率。
[0115]圖6是表示圖2的步驟S106的詳細(xì)處理的流程圖。具體是，圖6是表示對正交變換跳躍標(biāo)志進行可變長編碼的方法的流程圖。以下，對圖6進行說明。
[0116]在步驟S161，判定是否是編碼對象塊為幀內(nèi)預(yù)測模式并且正交變換尺寸為4X4。如果該判定結(jié)果為正(S161為“是”)，在步驟S162，對正交變換跳躍標(biāo)志進行可變長編碼，并附加于比特流。
[0117]如上所述，與圖3的步驟S121的條件同步地，通過只在某個預(yù)測模式或者某個正交變換尺寸的情況下，對正交變換跳躍標(biāo)志進行可變長編碼，從而能夠提高編碼效率。另夕卜，在本實施方式，在步驟S161，只在幀內(nèi)預(yù)測模式，并且正交變換尺寸為4X4的情況下，對正交變換跳躍標(biāo)志進行編碼，但并不限定于此。例如，即使在幀間預(yù)測模式的情況下，也可以對正交變換跳躍標(biāo)志進行編碼。另外，即使在正交變換尺寸是比4X4大的尺寸的情況下，也可以對正交變換跳躍標(biāo)志進行編碼。由此，能夠進一步提高編碼效率。另外，可以根據(jù)幀內(nèi)預(yù)測或者幀間預(yù)測的預(yù)測方向等，來切換是否對正交變換跳躍標(biāo)志進行編碼。例如，在幀內(nèi)預(yù)測模式下，在DC預(yù)測或者Planar預(yù)測的情況下，可以不對正交變換跳躍標(biāo)志進行編碼。由此，能夠削減幀頭信息開銷的同時提高編碼效率。
[0118]圖7是表示圖2的步驟S108的詳細(xì)處理的流程圖。具體是，圖7是表示根據(jù)正交變換跳躍標(biāo)志的值，算出逆量化系數(shù)的方法的流程圖。以下，對圖進7行說明。
[0119]在步驟S171,判定scaling_list_present_flag是否為O,或者正交變換跳躍標(biāo)志是否有效，即，該標(biāo)志的值是否為I。如果該判定結(jié)果為正(S171為“是”)，在步驟S172，不利用量化矩陣就對量化系數(shù)進行逆量化處理，算出逆量化系數(shù)。另一方面，在步驟S171的判定結(jié)果為負(fù)(否)的情況下，即，scaling_list_present_flag的值為I,并且,正交變換跳躍標(biāo)志的值為O的情況下，在步驟S173，利用量化矩陣來對量化系數(shù)進行逆量化處理，算出逆量化系數(shù)。
[0120]如上所述,在scaling_list_present_flag的值為O,或者正交變換跳躍標(biāo)志的值為I的情況下，不利用量化矩陣就對量化系數(shù)進行逆量化而算出逆量化系數(shù)，從而，在不應(yīng)用正交變換的情況下，能夠通過控制而使得不應(yīng)用量化矩陣。量化矩陣是應(yīng)用在正交變換后，維持重要的頻率成分的同時刪除不必要的頻率成分，并進行量化的參數(shù)，通過在正交變換后利用量化矩陣，能夠有效提高編碼效率。因此，通過控制，使得只在正交變換跳躍標(biāo)志的值為0，S卩，應(yīng)用正交變換的情況下，應(yīng)用量化矩陣，而在正交變換跳躍標(biāo)志的值為1，即，不應(yīng)用正交變換的情況下，不應(yīng)用量化矩陣，從而能夠適當(dāng)?shù)貞?yīng)用量化矩陣，并能夠提高編碼效率。
[0121]圖8是表不圖2的步驟S109的詳細(xì)處理的流程圖。具體是，圖8是表不根據(jù)正交變換跳躍標(biāo)志的值來算出逆正交變換系數(shù)的方法的流程圖。以下，對圖8進行說明。
[0122]在步驟S181，判定正交變換跳躍標(biāo)志是否有效，S卩，該標(biāo)志的值是否為1，如果判定結(jié)果為正(是)，在步驟S182，通過將逆量化系數(shù)復(fù)制到逆正交變換系數(shù)，從而不應(yīng)用逆正交變換就算出逆正交變換系數(shù)。另一方面，如果步驟S181的判定結(jié)果為負(fù)(否)，在步驟S183，通過對逆量化系數(shù)應(yīng)用逆正交變換，算出逆正交變換系數(shù)。
[0123]如上所述，在正交變換跳躍標(biāo)志為I的情況下，通過將逆量化系數(shù)直接復(fù)制到逆正交變換系數(shù)，能夠不應(yīng)用逆正交變換，算就出逆正交變換系數(shù)。另外，在本實施方式中，在步驟S182，通過將逆量化系數(shù)復(fù)制到逆正交變換系數(shù)，而不應(yīng)用逆正交變換就算出逆正交變換系數(shù)，但并不限定于此，只要是對逆量化系數(shù)不應(yīng)用逆正交變換就能夠算出逆正交變換系數(shù)的方法，可以是任何方法。
[0124]如上所述，根據(jù)本實施方式，能夠選擇不進行正交變換就進行量化的模式，從而能夠提高編碼效率。更具體是，導(dǎo)入表示是否要應(yīng)用正交變換的正交變換跳躍標(biāo)志，并在某預(yù)測模式或者某正交變換尺寸的情況下，對應(yīng)用正交變換的情況和不應(yīng)用的情況的成本進行比較。然后，如果不應(yīng)用正交變換的情況下的成本較小，就將正交變換跳躍標(biāo)志設(shè)定為1，以使得不應(yīng)用正交變換，從而能夠提高編碼效率。另外，通過控制，從而只在正交變換跳躍標(biāo)志的值為O，S卩，應(yīng)用正交變換的情況下，應(yīng)用量化矩陣，而在正交變換跳躍標(biāo)志的值為1，即，不應(yīng)用正交變換的情況下，不應(yīng)用量化矩陣。通過這樣，能夠適當(dāng)?shù)貞?yīng)用量化矩陣，從而能夠提高編碼效率。
[0125](實施方式2)
[0126]圖9是表示采用了本實施方式的動態(tài)圖像解碼方法的動態(tài)圖像解碼裝置的結(jié)構(gòu)的方框圖。
[0127]動態(tài)圖像解碼裝置200，如圖9所示，具備可變長解碼部209、逆量化部201、逆正交變換部202、加法運算器203、塊存儲器204、幀存儲器205、幀內(nèi)預(yù)測部206、幀間預(yù)測部207、切換部208、幀間預(yù)測控制部210、融合塊候選算出部211以及colPic存儲器212。
[0128]可變長解碼部209對被輸入的比特流進行可變長解碼處理，從而生成正交變換跳躍標(biāo)志、圖片類型信息以及量化系數(shù)。另外，可變長解碼部209算出融合塊候選列表尺寸，并進行融合塊索引的可變長解碼處理。
[0129]逆量化部201，根據(jù)正交變換跳躍標(biāo)志的值，對通過可變長解碼處理而獲得的量化系數(shù)，進行逆量化處理。即，對量化處理后的系數(shù)數(shù)據(jù)中包含的量化系數(shù)，進行逆量化處理。逆正交變換部202，根據(jù)正交變換跳躍標(biāo)志的值，對包含進行完逆量化處理的量化系數(shù)的系數(shù)數(shù)據(jù)，進行從頻域變換成圖像區(qū)域的變換，從而生成包含逆正交變換系數(shù)的解碼預(yù)測殘差。加法運算器203通過對解碼預(yù)測殘差和預(yù)測圖像進行加法運算，生成重構(gòu)圖像。該重構(gòu)圖像被作為解碼圖像列從動態(tài)圖像解碼裝置200輸出。
[0130]塊存儲器204將重構(gòu)圖像作為參照圖像，以塊單位進行保存，幀存儲器205將重構(gòu)圖像作為參照圖像，以幀單位進行保存。幀內(nèi)預(yù)測部206，利用被保存在塊存儲器204中的塊單位的參照圖像，通過進行幀內(nèi)預(yù)測，生成解碼對象塊的預(yù)測圖像。幀間預(yù)測部207，利用被保存在幀存儲器205中的幀單位的參照圖像，通過進行幀間預(yù)測，生成解碼對象塊的預(yù)測圖像。
[0131]切換部208，根據(jù)由可變長解碼部209生成的圖片類型信息，對被輸出給加法運算器203的預(yù)測圖像進行切換，切換成由幀內(nèi)預(yù)測部206生成的預(yù)測圖像，或者由幀間預(yù)測部207生成的預(yù)測圖像。
[0132]融合塊候選算出部211，利用與解碼對象塊鄰接的塊和被存放在colPic存儲器212中的co-located塊的運動矢量等colPic信息，導(dǎo)出融合模式的融合塊候選。另外，融合塊候選算出部211，針對導(dǎo)出的各融合塊候選，分配融合塊索引的值，并將融合塊候選發(fā)送給幀間預(yù)測控制部210。
[0133]幀間預(yù)測控制部210，對運動矢量檢測模式或者融合模式的信息進行解碼，并使幀間預(yù)測部207生成預(yù)測圖像。另外，幀間預(yù)測控制部210向colPic存儲器212轉(zhuǎn)送包含解碼對象塊的運動矢量等的colPic信息。
[0134]圖10是表示本實施方式的動態(tài)圖像解碼方法的處理概要的流程圖。
[0135]在步驟S201，通過后述的方法，對正交變換跳躍標(biāo)志進行可變長解碼。在步驟S202，對量化系數(shù)進行可變長解碼。在步驟S203，通過與圖2的步驟S108相同的方法，根據(jù)正交變換跳躍標(biāo)志的值，對量化系數(shù)進行逆量化處理，從而算出逆量化系數(shù)。在步驟S204，通過與圖2的步驟S109相同的方法，根據(jù)正交變換跳躍標(biāo)志，對逆量化系數(shù)應(yīng)用逆正交變換處理，從而算出逆正交變換系數(shù)。在步驟S205，通過與圖2的步驟SlOl相同的方法，算出解碼對象塊的預(yù)測圖像。例如，在以幀內(nèi)預(yù)測模式對解碼對象塊進行解碼的情況下，利用與解碼對象塊鄰接的位置的參照像素，生成預(yù)測圖像。另外，在幀間預(yù)測模式的情況下，利用作為與解碼對象圖片不同的已解碼圖片的參照圖片內(nèi)的、根據(jù)已解碼運動矢量而被確定的參照塊的像素值，來生成預(yù)測圖像。在步驟S206，通過對在步驟S205算出的預(yù)測圖像和包含在步驟S204算出的逆正交變換系數(shù)的解碼預(yù)測殘差進行加法運算，算出重構(gòu)圖像。
[0136]圖11是表不圖10的步驟S201的詳細(xì)處理的流程圖。具體是，圖11是表不對正交變換跳躍標(biāo)志進行可變長解碼的方法的流程圖。以下，對圖11進行說明。
[0137]在步驟S221，判定是否是解碼對象塊為幀內(nèi)預(yù)測模式并且正交變換尺寸為4X4。如果該判定結(jié)果為正(S221為“是”)，在步驟S222，從比特流對正交變換跳躍標(biāo)志進行可變長解碼。
[0138]根據(jù)以上，只在某預(yù)測模式或者某正交變換尺寸的情況下，對正交變換跳躍標(biāo)志進行可變長編碼，從而能夠?qū)幋a效率提高后的比特流進行適當(dāng)?shù)慕獯a。另外，在本實施方式中，在步驟S221，只在幀內(nèi)預(yù)測模式并且正交變換尺寸為4X4的情況下，對正交變換跳躍標(biāo)志進行解碼，但并不限定于此。例如，在幀間預(yù)測模式的情況下，也可以對正交變換跳躍標(biāo)志進行解碼。另外，在正交變換尺寸是比4X4大的尺寸的情況下，也可以對正交變換跳躍標(biāo)志進行解碼。由此，能夠?qū)幋a效率進一步提高的比特流進行適當(dāng)?shù)慕獯a。另外，還可以根據(jù)幀內(nèi)預(yù)測或者幀間預(yù)測的預(yù)測方向等，來切換是否對正交變換跳躍標(biāo)志進行解碼。例如，在幀內(nèi)預(yù)測模式下，在DC預(yù)測或者Planar預(yù)測的情況下，可以不對正交變換跳躍標(biāo)志進行解碼。由此，能夠在削減頭信息開銷的同時，對編碼效率提高后的比特流進行適當(dāng)?shù)慕獯a。
[0139]如上所述，根據(jù)本實施方式，能夠選擇不進行正交變換就進行量化的模式，從而能夠?qū)幋a效率提高后的比特流進行適當(dāng)?shù)慕獯a。更具體是，導(dǎo)入表示是否應(yīng)用正交變換的正交變換跳躍標(biāo)志，在某預(yù)測模式或者某正交變換尺寸的情況下，對應(yīng)用正交變換的情況和不應(yīng)用的情況下的成本進行比較。然后，如果不應(yīng)用正交變換的情況下的成本較小，就將正交變換跳躍標(biāo)志設(shè)定為1，以使得不應(yīng)用正交變換，從而能夠?qū)幋a效率提高后的比特流進行適當(dāng)?shù)慕獯a。另外，通過控制，以使得只在正交變換跳躍標(biāo)志的值為0，即，應(yīng)用正交變換的情況下，應(yīng)用量化矩陣，而在正交變換跳躍標(biāo)志的值為1，即，不應(yīng)用正交變換的情況下，不應(yīng)用量化矩陣。通過這樣，能夠適當(dāng)?shù)貞?yīng)用量化矩陣，從而能夠?qū)幋a效率提高后的比特流適當(dāng)?shù)剡M行解碼。
[0140](實施方式3)
[0141]在本實施方式中，根據(jù)正交變換跳躍標(biāo)志的值，適當(dāng)?shù)貞?yīng)用量化矩陣，并對正交變換跳躍時的量化系數(shù)的掃描順序進行適當(dāng)?shù)目刂?。由此，能夠提高編碼效率。以下，參照附圖來說明本實施方式。
[0142]圖12是表示采用了本實施方式的動態(tài)圖像編碼方法的動態(tài)圖像編碼裝置的結(jié)構(gòu)的方框圖。
[0143]動態(tài)圖像編碼裝置100a，如圖12所示，具備正交變換跳躍判定部117a、減法運算器101a、正交變換部102a、量化部103a、逆量化部105a、逆正交變換部106a、加法運算器107a、塊存儲器108a、幀存儲器109a、幀內(nèi)預(yù)測部110a、幀間預(yù)測部111a、切換部112a、幀間預(yù)測控制部113a、圖片類型決定部116a、融合塊候選算出部115a、colPic存儲器114a以及可變長編碼部104a。
[0144]減法運算器101a，通過從輸入圖像列所包含的輸入圖像中減去預(yù)測圖像，來生成預(yù)測殘差。
[0145]正交變換跳躍判定部117a，通過后述方法，判定是否對利用編碼對象塊算出的預(yù)測殘差應(yīng)用正交變換，在應(yīng)用正交變換的情況下，將正交變換跳躍標(biāo)志設(shè)定為0，而在不應(yīng)用正交變換的情況下，將正交變換跳躍標(biāo)志設(shè)定為I。
[0146]正交變換部102a，根據(jù)正交變換跳躍標(biāo)志的值，對預(yù)測殘差進行從圖像區(qū)域變換成頻域的變換。量化部103a，根據(jù)正交變換跳躍標(biāo)志的值，對作為被變換成頻域的預(yù)測殘差的系數(shù)數(shù)據(jù)，進行量化處理。逆量化部105a，根據(jù)正交變換跳躍標(biāo)志的值，對由量化部103a進行了量化處理的系數(shù)數(shù)據(jù)，進行逆量化處理。逆正交變換部106a，根據(jù)正交變換跳躍標(biāo)志的值，對逆量化處理后的系數(shù)數(shù)據(jù)，進行從頻域變換成圖像區(qū)域的變換，從而生成解碼預(yù)測殘差。加法運算器107a，通過將預(yù)測殘差加到解碼預(yù)測圖像，從而生成重構(gòu)圖像。
[0147]塊存儲器108a將重構(gòu)圖像作為參照圖像，以塊單位進行保存，幀存儲器109a將重構(gòu)圖像作為參照圖像，以幀單位進行保存。圖片類型決定部116a決定以I圖片、B圖片以及P圖片的哪個圖片類型來對輸入圖像進行編碼，并生成圖片類型信息。幀內(nèi)預(yù)測部IlOa利用被保存在塊存儲器108a中的塊單位的參照圖像，對編碼對象塊進行幀內(nèi)預(yù)測，而生成預(yù)測圖像。幀間預(yù)測部Illa利用被保存在幀存儲器109中的幀單位的參照圖像和通過運動檢測等導(dǎo)出的運動矢量，通過對編碼對象塊進行幀間預(yù)測，而生成預(yù)測圖像。
[0148]切換部112a根據(jù)由圖片類型決定部116a生成的圖片類型信息，將輸出給減法運算器1la以及加法運算器107a的預(yù)測圖像，切換成由幀內(nèi)預(yù)測部IlOa生成的預(yù)測圖像，或者由幀間預(yù)測部Illa生成的預(yù)測圖像。
[0149]融合塊候選算出部115a利用與編碼對象塊鄰接的塊和被存放在colPic存儲器114a中的co-located塊的運動矢量等colPic信息，導(dǎo)出融合模式以及跳躍模式的融合塊候選，并算出融合塊候選列表尺寸。另外，融合塊候選算出部115a對導(dǎo)出的融合塊候選,分配融合塊索引的值。并且，融合塊候選算出部115a將融合塊候選和融合塊索引發(fā)送給幀間預(yù)測控制部113a。
[0150]幀間預(yù)測控制部113a對于是否利用運動矢量編碼模式或者融合模式來對編碼對象塊進行編碼進行控制，該運動矢量編碼模式利用通過運動檢測導(dǎo)出的運動矢量。并且，幀間預(yù)測控制部113a將包含編碼對象塊的運動矢量等的colPic信息轉(zhuǎn)送給colPic存儲器114a。
[0151]可變長編碼部104a通過后述方法，對正交變換跳躍標(biāo)志進行可變長編碼，并且，根據(jù)正交變換跳躍標(biāo)志的值，對量化處理后的系數(shù)數(shù)據(jù)，進行可變長編碼處理，從而生成比特流。另外，可變長編碼部104a對圖片類型信息進行可變長編碼。并且，可變長編碼部104a，對用于編碼的融合塊索引，分配與融合塊候選列表尺寸相應(yīng)的比特串，進行該比特串的可變長編碼。
[0152]圖13是表示本實施方式的動態(tài)圖像編碼方法的處理概要的流程圖。
[0153]在步驟S301，算出編碼對象塊的預(yù)測圖像。例如，在以幀內(nèi)預(yù)測模式對編碼對象塊進行編碼的情況下，利用與編碼對象塊鄰接的位置的參照像素，生成預(yù)測圖像。另外，在幀間預(yù)測模式的情況下，利用作為與編碼對象圖片不同的已編碼圖片的參照圖片內(nèi)的、通過運動檢測等而確定的參照塊的像素值，生成預(yù)測圖像。
[0154]在步驟S302，通過取得編碼對象塊與在步驟S301算出的預(yù)測圖像的差值，來算出預(yù)測殘差(預(yù)測差值)。在步驟S303，通過與圖2的步驟S103相同的方法，判定是否對預(yù)測殘差應(yīng)用正交變換，并算出正交變換跳躍標(biāo)志的值。
[0155]在步驟S304，通過與圖2的步驟S104相同的方法，進行正交變換處理，并算出包含正交變換系數(shù)的系數(shù)數(shù)據(jù)。在步驟S305，通過與圖2的步驟S105相同的方法，根據(jù)正交變換跳躍標(biāo)志的值，判定是否進行利用量化矩陣的量化，如果判定為進行量化，就進行利用量化矩陣的量化處理，算出包含量化系數(shù)的量化后系數(shù)數(shù)據(jù)。在步驟S306，通過與圖2的步驟S106相同的方法，對正交變換跳躍標(biāo)志進行可變長編碼。在步驟S307，通過后述的方法，根據(jù)正交變換跳躍標(biāo)志的值，一邊適當(dāng)?shù)厍袚Q量化系數(shù)的掃描順序，一邊對量化系數(shù)進行可變長編碼。
[0156]在步驟S308，通過與圖2的步驟S108相同的方法，通過對量化系數(shù)進行逆量化處理，算出包含逆量化系數(shù)的系數(shù)數(shù)據(jù)。在步驟S309，通過與圖2的步驟S109相同的方法，根據(jù)正交變換跳躍標(biāo)志的值，對逆量化系數(shù)應(yīng)用逆正交變換處理，從而算出包含逆正交變換系數(shù)的解碼預(yù)測殘差。在步驟S310，通過對在步驟S301算出的預(yù)測圖像與包含在步驟S309算出的逆正交變換系數(shù)的解碼預(yù)測殘差進行加法運算，算出重構(gòu)圖像。
[0157]圖14是表示圖13的步驟S307的詳細(xì)處理的流程圖。具體是，圖14是表示根據(jù)正交變換跳躍標(biāo)志來對量化系數(shù)進行可變長編碼的方法的流程圖。以下，對圖14進行說明。
[0158]在步驟S321，通過后述方法，決定對編碼對象塊的量化系數(shù)進行可變長編碼時的掃描順序。在此，掃描順序表示對編碼對象塊的量化系數(shù)進行可變長編碼時的順序。在步驟S322，判定正交變換跳躍標(biāo)志是否有效，S卩，該標(biāo)志的值是否為1，如果判定結(jié)果為正(是)，在步驟S323，通過后述方法，將在步驟S321決定的掃描順序，變更成正交變換跳躍用的跳躍順序。在步驟S324，根據(jù)所決定的掃描順序，對量化系數(shù)進行可變長編碼。
[0159]另外，在本實施方式中，在步驟S321決定了一次掃描順序之后，在正交變換跳躍標(biāo)志有效的情況下，通過步驟S323變更成正交變換跳躍用的掃描順序，但并不限定于該順序。例如，在步驟S321決定掃描順序時，在正交變換跳躍標(biāo)志有效的情況下，可以直接應(yīng)用正交變換跳躍用的掃描順序。通過這樣，在正交變換跳躍標(biāo)志有效，即，該標(biāo)志的值為I的情況下，通過應(yīng)用正交變換跳躍用的掃描順序，能夠提高編碼效率。
[0160]圖15是表不圖14的步驟S321的詳細(xì)處理的流程圖。具體是，圖15是表不決定量化系數(shù)的掃描順序的一個例子的流程圖。以下，對圖15進行說明。
[0161]在步驟S331，判定幀內(nèi)預(yù)測模式的預(yù)測方向是否包含于垂直預(yù)測模式群中，如果判定結(jié)果為正(是)，在步驟S332，作為掃描順序選擇水平掃描。
[0162]在此，垂直預(yù)測模式群例如表示，圖16所示的幀內(nèi)預(yù)測模式的預(yù)測方向中由22至30的各值所示的預(yù)測方向。另外，在本實施方式中，將由22至30的各值所示的預(yù)測方向作為垂直預(yù)測模式群，但并不限定于此，例如，可以將由18至34的各值所示的預(yù)測方向作為垂直預(yù)測模式群。另外，在此，水平掃描表示例如圖17的(a)所示的掃描順序。在圖17的(a)的水平掃描中，從右下的量化系數(shù)(數(shù)值O所示的量化系數(shù))開始在水平方向上，按圖中分配的數(shù)值的順序，進行對各量化系數(shù)的掃描，并進行這些量化系數(shù)的可變長編碼。
[0163]在步驟S331的判定結(jié)果為負(fù)(否)的情況下，在步驟S333，判定幀內(nèi)預(yù)測模式的預(yù)測方向是否被包含在水平預(yù)測模式群中，如果判定結(jié)果為正(是)，在步驟S334，作為掃描順序選擇垂直掃描。
[0164]在此，水平預(yù)測模式群表示，例如，圖16所示的幀內(nèi)預(yù)測模式的預(yù)測方向中的，由6至14的各值表示的預(yù)測方向。另外，在本實施方式中，將由6至14的各值所表示的預(yù)測方向作為了水平預(yù)測模式群，但并不限定于此，例如，還可以將2至17的各值所表示的預(yù)測方向作為水平預(yù)測模式群。另外，在此，垂直掃描表示，例如，圖17的(b)所示的掃描順序。在圖17的(b)的垂直掃描中，從右下的量化系數(shù)(由數(shù)值O所示的量化系數(shù))在垂直方向上，按照圖中分配的數(shù)值的順序，進行對各量化系數(shù)的掃描，并進行這些量化系數(shù)的可變長編碼。
[0165]在步驟S333的判定結(jié)果為負(fù)(否)的情況下，在步驟S335，作為掃描順序選擇斜向掃描。在此，斜向掃描表示，例如圖17的(c)所示的掃描順序。在圖17的(c)的斜向掃描中，從右下的量化系數(shù)(由數(shù)值O表示的量化系數(shù))開始在斜方向上，按照圖中分配的數(shù)值的順序，對各量化系數(shù)進行掃描，并對這些量化系數(shù)進行可變長編碼。如上所述，通過根據(jù)編碼對象塊的預(yù)測模式，來適當(dāng)?shù)厍袚Q掃描順序，從而能夠提高編碼效率。
[0166]圖18是表不圖14的步驟S323詳細(xì)處理的流程圖。具體是，圖18是表不決定正交變換跳躍用的量化系數(shù)的掃描順序的一個例子的流程圖。以下，對圖18進行說明。
[0167]在步驟S341，判定在圖14的步驟S321決定的掃描順序是不是水平掃描，如果判定結(jié)束為正(是)，在步驟S342將掃描順序變更為垂直掃描。另一方面，在步驟S341的判定結(jié)果如果為負(fù)(否)，在步驟S343判定通過圖14的步驟S321決定的掃描順序是不是垂直掃描。如果該判定結(jié)果為正(步驟S343是“是”)，在步驟S344將掃描順序變更為水平掃描。
[0168]如上所述，在正交變換跳躍標(biāo)志有效的情況下，通過采用正交變換跳躍用的掃描順序，能夠提高編碼效率。更具體是，如果在圖14的步驟S321決定的掃描順序是水平掃描，即，幀內(nèi)預(yù)測的預(yù)測方向被包含在垂直預(yù)測模式群中的情況下，作為正交變換跳躍用的掃描順序，變更為使用垂直掃描。另外，在圖14的步驟S321決定的掃描順序是垂直掃描，即，幀內(nèi)預(yù)測的預(yù)測方向被包含在水平預(yù)測模式群中的情況下，作為正交變換跳躍用的掃描順序，變更為使用水平掃描。由此，能夠提高編碼效率。
[0169]一般情況下，在作為幀內(nèi)預(yù)測的預(yù)測方向選擇了垂直預(yù)測模式群中包含的預(yù)測模式的情況下，如果應(yīng)用正交變換以及利用量化矩陣的量化的話，容易發(fā)生多個水平方向的頻率成分，在水平方向連續(xù)出現(xiàn)O值系數(shù)的可能性提高。因此，通過應(yīng)用水平掃描，可提高編碼效率。但是，在不應(yīng)用正交變換以及利用量化矩陣的量化的情況下，由于在垂直方向連續(xù)出現(xiàn)O值系數(shù)的可能性提高，因此，選擇垂直掃描的情況更能夠有效率地對量化系數(shù)進行編碼。另外，在作為幀內(nèi)預(yù)測的預(yù)測方向選擇了水平預(yù)測模式群中包含的預(yù)測方法的情況下，如果應(yīng)用正交變換以及利用量化矩陣的量化的話，容易發(fā)生多個垂直方向的頻率成分，在垂直方向連續(xù)出現(xiàn)O值系數(shù)的可能性提高。因此，通過應(yīng)用垂直掃描，可提高編碼效率。但是，在不應(yīng)用正交變換以及利用量化矩陣的量化的情況下，在水平方向連續(xù)出現(xiàn)O值系數(shù)的可能性提高，因此，選擇水平掃描的情況更能夠有效率地對量化系數(shù)進行編碼。
[0170]如上所述，在正交變換跳躍標(biāo)志有效，并且不應(yīng)用利用量化矩陣的量化的情況下，通過將掃描順序變更成正交變換跳躍用的掃描順序，能夠提高編碼效率。
[0171]另外，在本實施方式中，在圖14的步驟S321決定的掃描順序是水平掃描，S卩，幀內(nèi)預(yù)測的預(yù)測方向被包含在垂直預(yù)測模式群中的預(yù)測方法的情況下，作為正交變換跳躍用的掃描順序，變更為使用垂直掃描，但并不限定于此。例如，如圖17的(d)所示，也可以變更水平掃描的開始位置。在圖17的(d)，以塊的右面位置作為水平掃描的開始位置，按照被分配的數(shù)值，朝向左下位置進行水平掃描。另外，在作為幀內(nèi)預(yù)測的預(yù)測方向選擇了被包含在垂直預(yù)測模式群中的預(yù)測方向的情況下，如果不應(yīng)用正交變換以及利用量化矩陣的量化的話，越是塊的上側(cè)位置越容易出現(xiàn)連續(xù)的O系數(shù)。因此，通過應(yīng)用圖17的(d)所示的掃描順序，能夠提高編碼效率。
[0172]另外，在本實施方式中，在圖14的步驟S321決定的掃描順序是垂直掃描，S卩，幀內(nèi)預(yù)測的預(yù)測方向是被包含在水平預(yù)測模式群中的預(yù)測方向的情況下，作為正交變換跳躍用的掃描順序，變更為使用水平掃描，但并不一定限定于此。例如，如圖17的(e)所示，也可以變更垂直掃描的開始位置。在圖17的(e)中，以塊的左下位置作為垂直掃描的開始位置，按照被分配的數(shù)值，朝向右上位置進行垂直掃描。另外，在作為幀內(nèi)預(yù)測的預(yù)測方向選擇了水平預(yù)測模式群中包含的預(yù)測方向的情況下，如果不應(yīng)用正交變換以及利用量化矩陣的量化，越是塊的左側(cè)位置越容易連續(xù)出現(xiàn)O系數(shù)。因此，通過應(yīng)用如圖17的(e)所示的掃描順序，能夠提高編碼效率。另外，在不應(yīng)用正交變換以及利用量化矩陣的量化的情況下，通過將掃描方法固定為某個掃描順序，能夠削減進行切換的處理量，從而能夠提高編碼效率。
[0173]如上所述，根據(jù)本實施方式，在正交變換跳躍標(biāo)志有效，并且不應(yīng)用利用量化矩陣的量化的情況下，通過將掃描順序變更成正交變換跳躍用的掃描按順序，能夠提高編碼效率。更具體是，在正交變換跳躍標(biāo)志有效，并且不應(yīng)用利用量化矩陣的量化的情況下，在圖14的步驟S321決定的掃描順序是水平掃描，即，幀內(nèi)預(yù)測的預(yù)測方向是被包含在垂直預(yù)測模式群中的預(yù)測方向的情況下，作為正交變換跳躍用的掃描順序，變更為使用垂直掃描。另一方面，在圖14的步驟S321決定的掃描順序是垂直掃描，即，幀內(nèi)預(yù)測的預(yù)測方向是被包含在水平預(yù)測模式群中的預(yù)測方向的情況下，作為正交變換跳躍用的掃描順序，變更為使用水平掃描。由此，能夠提高編碼效率。
[0174](實施方式4)
[0175]圖19是表示采用了本實施方式的動態(tài)圖像解碼方法的動態(tài)圖像解碼裝置的結(jié)構(gòu)的方框圖。
[0176]動態(tài)圖像解碼裝置200a，如圖19所示，具備可變長解碼部209a、逆量化部201a、逆正交變換部202a、加法運算器203a、塊存儲器204a、幀存儲器205a、幀內(nèi)預(yù)測部206a、幀間預(yù)測部207a、切換部208a、幀間預(yù)測控制部210a、融合塊候選算出部211a以及colPic存儲器 212a。
[0177]可變長解碼部209a對被輸入的比特流進行可變長解碼處理，并生成正交變換跳躍標(biāo)志、圖片類型信息以及量化系數(shù)。另外，可變長解碼部209a算出融合塊候選列表尺寸，進行融合塊索引的可變長解碼處理。
[0178]逆量化部201a根據(jù)正交變換跳躍標(biāo)志的值，對通過可變長解碼處理而獲得的量化系數(shù)，進行逆量化處理。即，對量化處理之后的系數(shù)數(shù)據(jù)中包含的量化系數(shù)進行逆量化處理。逆正交變換部202a根據(jù)正交變換跳躍標(biāo)志的值，對包含進行了逆量化處理之后的量化系數(shù)的系數(shù)數(shù)據(jù)，進行從頻域變換成圖像區(qū)域的變換，生成包含逆正交變換系數(shù)的解碼預(yù)測殘差。加法運算器203a通過對解碼預(yù)測殘差和預(yù)測圖像進行加法運算，生成重構(gòu)圖像。該重構(gòu)圖像被作為解碼圖像列由動態(tài)圖像解碼裝置200a輸出。
[0179]塊存儲器204a將重構(gòu)圖像作為參照圖像，以塊單位進行保存，幀存儲器205a將重構(gòu)圖像作為參照圖像，以幀單位進行保存。幀內(nèi)預(yù)測部206a，利用以塊單位被保存在塊存儲器204a中的參照圖像，通過幀內(nèi)預(yù)測，生成解碼對象塊的預(yù)測圖像。幀間預(yù)測部207a利用以幀單位被保存在幀存儲器205a中的參照圖像，通過幀間預(yù)測，生成解碼對象塊的預(yù)測圖像。
[0180]切換部208a，根據(jù)由可變長解碼部209a生成的圖片類型信息，將輸出給加法運算器203a的預(yù)測圖像，切換成由幀內(nèi)預(yù)測部206a生成的預(yù)測圖像，或者由幀間預(yù)測部207a生成的預(yù)測圖像。
[0181]融合塊候選算出部211a，利用與解碼對象塊鄰接的塊和被存放在colPic存儲器212a中的co-located塊的運動矢量等的colPic信息，導(dǎo)出融合模式的融合塊候選。另外，融合塊候選算出部211a，對導(dǎo)出的各融合塊候選，分配融合塊索引的值，并向幀間預(yù)測控制部210a發(fā)送融合塊候選。
[0182]幀間預(yù)測控制部210a對運動矢量檢測模式或者融合模式的信息進行解碼，使幀間預(yù)測部207a生成預(yù)測圖像。另外，幀間預(yù)測控制部210a，將包含解碼對象塊的運動矢量等的colPic信息轉(zhuǎn)送到colPic存儲器212a。
[0183]圖20是表示本實施方式的動態(tài)圖像解碼方法的處理概要的流程圖。
[0184]在步驟S401，通過與圖10的步驟S201相同的方法，對正交變換跳躍標(biāo)志進行可變長解碼。在步驟S402，通過后述方法，根據(jù)正交變換跳躍標(biāo)志，一邊適當(dāng)?shù)厍袚Q量化系數(shù)的掃描順序，一邊對量化系數(shù)進行可變長解碼。在步驟S403，通過與圖13的步驟S308相同的方法，根據(jù)正交變換跳躍標(biāo)志的值，對量化系數(shù)進行逆量化處理，從而算出逆量化系數(shù)。在步驟S404，通過與圖13的步驟S309相同的方法，根據(jù)正交變換跳躍標(biāo)志，對逆量化系數(shù)應(yīng)用逆正交變換處理，從而算出逆正交變換系數(shù)。在步驟S405，通過與圖13的步驟S301相同的方法，算出解碼對象塊的預(yù)測圖像。例如，在以幀內(nèi)預(yù)測模式對解碼對象塊進行解碼的情況下，利用與解碼對象塊鄰接的位置的參照像素，生成預(yù)測圖像。另外，在幀間預(yù)測模式的情況下，利用作為與解碼對象圖片不同的已解碼圖片的參照圖片內(nèi)的、根據(jù)已解碼的運動矢量而被確定的參照塊的像素值，來生成預(yù)測圖像。在步驟S406，通過對在步驟S405算出的預(yù)測圖像和在步驟S404算出的逆正交變換系數(shù)的解碼預(yù)測殘差進行加法運算，算出重構(gòu)圖像。
[0185]圖21是表示圖20的步驟S402的詳細(xì)處理的流程圖。具體是，圖21是表示根據(jù)正交變換跳躍標(biāo)志來對量化系數(shù)進行可變長解碼的方法的流程圖。以下，對圖21進行說明。
[0186]在步驟S421，通過與圖14的步驟S321相同的方法，決定對解碼對象塊的量化系數(shù)進行可變長解碼時的掃描順序。在此，掃描順序表示對解碼對象塊的量化系數(shù)進行可變長解碼時的順序。在步驟S422，判定正交變換跳躍標(biāo)志是否有效，S卩，該標(biāo)志的值是否是1，如果判定結(jié)果為正(是)，在步驟S423就采用與圖14的步驟S323相同的方法，將在步驟S421決定的掃描順序變換成正交變換跳躍用的掃描順序。在步驟S424，根據(jù)所決定的掃描順序，對量化系數(shù)進行可變長解碼。
[0187]另外，在本實施方式中，通過步驟S421決定了一次掃描順序之后，在正交變換跳躍標(biāo)志有效的情況下，通過步驟S423變更成正交變換跳躍用的掃描順序，但并非僅限于該順序。例如，在步驟S421決定掃描順序時，在正交變換跳躍標(biāo)志有效的情況下，也可以直接應(yīng)用正交變換跳躍用的掃描順序。如上所述，在正交變換跳躍標(biāo)志有效，即，該標(biāo)志的值是I的情況下，通過應(yīng)用正交變換跳躍用的掃描順序，能夠?qū)幋a效率被提高后的比特流進行適當(dāng)?shù)慕獯a。
[0188]如上所述，在本實施方式中，在正交變換跳躍標(biāo)志有效，并且，不應(yīng)用利用量化矩陣的量化的情況下，通過將掃描順序變更成正交變換跳躍用的掃描順序，能夠?qū)幋a效率被提高后的比特流進行適當(dāng)?shù)慕獯a。更具體是，在正交變換跳躍標(biāo)志有效并且不應(yīng)用利用量化矩陣的量化的情況下，并且，在通過圖21的步驟S421決定的掃描順序是水平掃描，即，幀內(nèi)預(yù)測的預(yù)測方向被包含在垂直預(yù)測模式群中的情況下，作為正交變換跳躍用的掃描順序，變更為使用垂直掃描。另一方面，在通過圖21的步驟S421決定的掃描順序是垂直掃描，即，幀內(nèi)預(yù)測的預(yù)測方向被包含在水平預(yù)測模式群中的情況下，作為正交變換跳躍用的掃描順序，變更為使用水平掃描。由此，能夠?qū)幋a效率被提高后的比特流進行適當(dāng)?shù)慕獯a。
[0189]以上，關(guān)于一個或者多個形態(tài)所涉及的動態(tài)圖像編碼方法以及動態(tài)圖像解碼方法，根據(jù)各實施方式進行了說明，但本發(fā)明并不限定于這些實施方式。只要不超出本發(fā)明的宗旨，將本領(lǐng)域技術(shù)人員想出的各種變形方式實施于本實施方式的形態(tài)，對不同的實施方式的結(jié)構(gòu)要素進行組合而成的形態(tài)，也屬于一個或者多個形態(tài)的范圍內(nèi)。
[0190]圖22k是表示本發(fā)明的一形態(tài)的動態(tài)圖像編碼方法的流程圖。
[0191]本發(fā)明的一形態(tài)的動態(tài)圖像編碼方法是按每個塊對動態(tài)圖像進行編碼的動態(tài)圖像編碼方法，其包括步驟Sll至S16。即，該動態(tài)圖像編碼方法包括:步驟S11，利用與編碼對象塊鄰接的參照塊，或者與編碼對象圖片不同的參照圖片內(nèi)的參照塊，生成上述編碼對象塊的預(yù)測圖像，并生成作為上述編碼對象塊和上述預(yù)測圖像的差值的預(yù)測殘差；步驟S12，通過判定是否對上述預(yù)測殘差應(yīng)用正交變換，算出正交變換跳躍標(biāo)志的值；步驟S13，根據(jù)上述正交變換跳躍標(biāo)志的值，對上述預(yù)測殘差進行上述正交變換，從而算出至少一個正交變換系數(shù)；步驟S14，通過對上述至少一個正交變換系數(shù)進行量化，算出至少一個量化系數(shù)；步驟S15，對上述正交變換跳躍標(biāo)志進行可變長編碼；步驟S16，根據(jù)上述正交變換跳躍標(biāo)志的值，對上述至少一個量化系數(shù)的掃描順序進行切換，并按照切換后的掃描順序來對上述至少一個量化系數(shù)進行可變長編碼。
[0192]圖22B是表示本發(fā)明的一形態(tài)的動態(tài)圖像編碼裝置的方框圖。
[0193]本發(fā)明的一形態(tài)的動態(tài)圖像編碼裝置是按每個塊對動態(tài)圖像進行編碼的動態(tài)圖像編碼裝置10，其包括結(jié)構(gòu)要素11至16。即，該動態(tài)圖像編碼裝置10包括:預(yù)測殘差生成部11，利用與編碼對象塊鄰接的參照塊，或者與編碼對象圖片不同的參照圖片內(nèi)的參照塊，生成上述編碼對象塊的預(yù)測圖像，并生成作為上述編碼對象塊和上述預(yù)測圖像的差值的預(yù)測殘差；標(biāo)志算出部12，通過判定是否對上述預(yù)測殘差應(yīng)用正交變換，算出正交變換跳躍標(biāo)志的值；正交變換部13，根據(jù)上述正交變換跳躍標(biāo)志的值，對上述預(yù)測殘差進行上述正交變換，從而算出至少一個正交變換系數(shù)；量化部14，通過對上述至少一個正交變換系數(shù)進行量化，算出至少一個量化系數(shù)；標(biāo)志編碼部15，對上述正交變換跳躍標(biāo)志進行可變長編碼；系數(shù)編碼部16，根據(jù)上述正交變換跳躍標(biāo)志的值，對上述至少一個量化系數(shù)的掃描順序進行切換，并按照切換后的掃描順序來對上述至少一個量化系數(shù)進行可變長編碼。
[0194]根據(jù)以上，在本發(fā)明的一形態(tài)的動態(tài)圖像編碼方法以及及動態(tài)圖像編碼裝置中，由于根據(jù)正交變換跳躍標(biāo)志的值來進行正交變換，因此能夠切換是否應(yīng)用正交變換，并且，由于根據(jù)正交變換跳躍標(biāo)志的值來切換量化系數(shù)的掃描順序，因此能夠?qū)α炕禂?shù)進行適當(dāng)?shù)目勺冮L編碼。其結(jié)果，能夠提高編碼效率。
[0195]另外，在上述各實施方式中，根據(jù)正交變換跳躍標(biāo)志的值來進行了量化或者逆量化，此外，也可以是無論正交變換跳躍標(biāo)志的值如何都進行量化或者逆量化。在此情況下，也能夠獲得與上述效果相同的效果。
[0196]圖22C是表示本發(fā)明的一形態(tài)的動態(tài)圖像解碼方法的流程圖。
[0197]本發(fā)明的一形態(tài)的動態(tài)圖像解碼方法是按每個塊對已編碼動態(tài)圖像進行解碼的動態(tài)圖像解碼方法，其包括步驟S21至S25。即，該動態(tài)圖像解碼方法包括:步驟S21，對表示是否對解碼對象塊應(yīng)用逆正交變換的正交變換跳躍標(biāo)志進行可變長解碼；步驟S22，根據(jù)上述正交變換跳躍標(biāo)志的值，對上述解碼對象塊中包含的至少一個量化系數(shù)的掃描順序進行切換，并按照切換后的掃描順序?qū)ι鲜鲋辽僖粋€量化系數(shù)進行可變長解碼；步驟S23，通過對可變長解碼后的上述至少一個量化系數(shù)進行逆量化，算出至少一個逆量化系數(shù)；步驟S24，通過根據(jù)上述正交變換跳躍標(biāo)志的值，來對上述至少一個逆量化系數(shù)進行逆正交變換，從而算出上述解碼對象塊的預(yù)測殘差；步驟S25，利用與上述解碼對象塊鄰接的參照塊，或者與解碼對象圖片不同的參照圖片內(nèi)的參照塊，生成上述解碼對象塊的預(yù)測圖像，并通過對上述預(yù)測殘差和上述預(yù)測圖像進行加法運算而生成重構(gòu)圖像。
[0198]圖22D是表示本發(fā)明的一形態(tài)的動態(tài)圖像解碼裝置的方框圖。
[0199]本發(fā)明的一形態(tài)的動態(tài)圖像解碼裝置是按每個塊對已編碼動態(tài)圖像進行解碼的動態(tài)圖像解碼裝置20，其具備結(jié)構(gòu)要素21至25。即，該動態(tài)圖像解碼裝置20具備:標(biāo)志解碼部21，對表示是否對解碼對象塊應(yīng)用逆正交變換的正交變換跳躍標(biāo)志進行可變長解碼；系數(shù)解碼部22，根據(jù)上述正交變換跳躍標(biāo)志的值，對上述解碼對象塊中包含的至少一個量化系數(shù)的掃描順序進行切換，并按照切換后的掃描順序?qū)ι鲜鲋辽僖粋€量化系數(shù)進行可變長解碼；逆量化部23，通過對可變長解碼后的上述至少一個量化系數(shù)進行逆量化，算出至少一個逆量化系數(shù)；逆正交變換部24，通過根據(jù)上述正交變換跳躍標(biāo)志的值，來對上述至少一個逆量化系數(shù)進行逆正交變換，從而算出上述解碼對象塊的預(yù)測殘差；重構(gòu)圖像生成部25，利用與上述解碼對象塊鄰接的參照塊，或者與解碼對象圖片不同的參照圖片內(nèi)的參照塊，生成上述解碼對象塊的預(yù)測圖像，并通過對上述預(yù)測殘差和上述預(yù)測圖像進行加法運算而生成重構(gòu)圖像。
[0200]根據(jù)以上，在本發(fā)明的一形態(tài)的動態(tài)圖像解碼方法以及動態(tài)圖像解碼裝置中，由于是根據(jù)正交變換跳躍標(biāo)志的值來進行逆正交變換被，因此能夠?qū)κ欠駪?yīng)用逆正交變換進行切換，并且，能夠根據(jù)正交變換跳躍標(biāo)志的值來切換量化系數(shù)的掃描順序，因此能夠?qū)α炕禂?shù)進行恰當(dāng)?shù)目勺冮L解碼。其結(jié)果，能夠?qū)ψ鳛榫幋a效率被提高后的編碼動態(tài)圖像的比特流進行適當(dāng)?shù)慕獯a。
[0201]另外，在上述各實施方式中，根據(jù)正交變換跳躍標(biāo)志的值進行了逆量化，此外，還可以是無論正交變換跳躍標(biāo)志的值如何都進行逆量化。在此情況下，也能夠獲得與上述效果相同的效果。
[0202]另外，在上述各實施方式中，各結(jié)構(gòu)要素可由專用的硬件結(jié)構(gòu)，或者可通過執(zhí)行適合于各結(jié)構(gòu)要素的軟件程序來實現(xiàn)。各結(jié)構(gòu)要素，可通過由CPU或者處理器等程序執(zhí)行部，讀出并執(zhí)行被存儲在硬盤或半導(dǎo)體存儲器等記錄介質(zhì)中的軟件程序來實現(xiàn)。
[0203]換言之，動態(tài)圖像編碼裝置以及動態(tài)圖像解碼裝置，具有控制電路(controlcircuitry)以及與該控制電路電連接的(可通過該控制電路訪問的)存儲裝置(storage) 0控制電路至少包含專用的硬件以及程序執(zhí)行部的至少一方。另外，存儲裝置，在控制電路包含程序執(zhí)行部的情況下，存儲由該程序執(zhí)行部執(zhí)行的軟件程序。在此，實現(xiàn)上述各實施方式的動態(tài)圖像編碼裝置的軟件，是使計算機執(zhí)行圖22A的流程圖所示的各步驟Sll至S16的程序。另外，實現(xiàn)上述各實施方式的動態(tài)圖像解碼裝置的軟件，是使計算機執(zhí)行圖22C的流程圖所示的各步驟S21至S25的程序。
[0204](實施方式5)
[0205]將用于實現(xiàn)上述各個實施方式的動態(tài)圖像編碼方法(圖像編碼方法)或動態(tài)圖像解碼方法(圖像解碼方法)的結(jié)構(gòu)的程序記錄在存儲媒體，從而能夠在獨立的計算機系統(tǒng)中簡單地實施上述各個實施方式的處理。記錄介質(zhì)可以是磁盤、光盤、磁光盤、IC卡、半導(dǎo)體存儲器等，只要能夠記錄程序就可以。
[0206]另外在此將說明上述各個實施方式的動態(tài)圖像編碼方法(圖像編碼方法)和動態(tài)圖像解碼方法(圖像解碼方法)的應(yīng)用例以及使用這些方法的系統(tǒng)。該系統(tǒng)的特征在于具有圖像編解碼裝置，該圖像編解碼裝置由使用圖像編碼方法的圖像編碼裝置和使用圖像解碼方法的圖像解碼裝置組成。關(guān)于系統(tǒng)中的其他結(jié)構(gòu)，能夠根據(jù)情況適當(dāng)變更。
[0207]圖23是表示實現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容提供系統(tǒng)exlOO的整體結(jié)構(gòu)的圖。將通信服務(wù)的提供區(qū)域劃分為所希望的大小，在各單元內(nèi)分別設(shè)置有作為固定無線局的基站exl06、exl07、exl08、exl09、exllO。
[0208]在該內(nèi)容提供系統(tǒng)exlOO中，計算機exlll、PDA(個人數(shù)字助理:personaldigital assistant) exll2、攝像機exll3、便攜式電話exll4、游戲機exll5等各種設(shè)備通過互聯(lián)網(wǎng)服務(wù)提供者exl02和電話網(wǎng)exl04以及基站exl06至exllO,與互聯(lián)網(wǎng)exlOl相連接。
[0209]然而，內(nèi)容提供系統(tǒng)exlOO并非局限于圖23所示的結(jié)構(gòu)，也可以對任意的要素進行組合和連接。并且，可以不通過作為固定無線局的基站exl06至exllO，而是將各個設(shè)備直接與電話網(wǎng)exl04相連接。并且，也可以是各個設(shè)備通過近場無線通信等彼此直接連接。
[0210]攝像機exll3是數(shù)字?jǐn)z像機等能夠拍攝動態(tài)圖像的設(shè)備，攝像機exll6是數(shù)字照相機等能夠拍攝靜止圖像以及動態(tài)圖像的設(shè)備。并且便攜式電話exll4是GSM(注冊商標(biāo))(Global System for Mobile Communicat1ns:全球移動通訊系統(tǒng))方式、CDMA(Code Divis1n Multiple Access:碼分多址)方式、W-CDMA(Wideband-CodeDivis1n Multiple Access:寬帶碼分多址)方式、LTE (Long Term Evolut1n:長期演進)方式、HSPA (High-Speed Packet Access:高速分組接入)的便攜式電話,或PHS (PersonalHandy-phone System:個人手提式電話系統(tǒng))等,可以是其中任一個。
[0211]在內(nèi)容提供系統(tǒng)exlOO中，攝像機exll3等通過基站exl09、電話網(wǎng)exl04與流播放服務(wù)器exl03連接，從而進行實況分發(fā)等。在實況分發(fā)中，針對用戶利用攝像機exll3拍攝的內(nèi)容(例如音樂實況的影像等)進行在上述各實施方式所說明的編碼處理(即，作為本發(fā)明的一形態(tài)的圖像編碼裝置來發(fā)揮作用)，并發(fā)送到流播放服務(wù)器exl03。另外，流播放服務(wù)器exl03針對提出請求的客戶端，對被發(fā)送的內(nèi)容數(shù)據(jù)進行流的分發(fā)。作為客戶端，包括可以解碼上述被編碼處理的數(shù)據(jù)的計算機exlll、PDAexll2、攝像機exll3、便攜式電話exll4、以及游戲機exll5等。在接收了被分發(fā)的數(shù)據(jù)的各個設(shè)備，對接收的數(shù)據(jù)進行解碼處理并再生(即，作為本發(fā)明的一形態(tài)的圖像解碼裝置來發(fā)揮作用)。
[0212]并且，拍攝的數(shù)據(jù)的編碼處理可以在攝像機exll3進行，也可以在進行數(shù)據(jù)的發(fā)送處理的流播放服務(wù)器exl03進行，也可以相互分擔(dān)進行。同樣，被分發(fā)的數(shù)據(jù)的解碼處理可以由客戶端進行，也可以在流播放服務(wù)器exl03進行，也可以相互分擔(dān)進行。并且，不僅限于攝像機exll3，由攝像機exll6拍攝的靜止圖像數(shù)據(jù)以及/或者動態(tài)圖像數(shù)據(jù)，也可以通過計算機exlll而發(fā)送到流播放服務(wù)器exl03。此時的編碼處理可以在攝像機exll6、計算機exlll、流播放服務(wù)器exl03的任一個中進行，也可以相互分擔(dān)進行。
[0213]并且，這些編碼解碼處理通常在計算機exlll以及各個設(shè)備所具有的LSIex500中處理。LSIex500可以由一個芯片構(gòu)成，也可以由多個芯片構(gòu)成。另外，也可以將動態(tài)圖像編碼用以及動態(tài)圖像解碼用的軟件安裝到能夠由計算機exlll等讀取的某種記錄介質(zhì)(⑶-ROM、軟盤、硬盤等)中，并利用該軟件來進行編碼處理以及解碼處理。而且，在便攜式電話exll4是附帶有相機的情況下，也可以發(fā)送由該相機獲得的動態(tài)圖像數(shù)據(jù)。在這種情況下的動態(tài)圖像數(shù)據(jù)是由便攜式電話exll4所具有的LSIeX500進行編碼處理后的數(shù)據(jù)。
[0214]并且，流播放服務(wù)器exl03是多個服務(wù)器或多個計算機，也可以是對數(shù)據(jù)進行分散地處理、記錄、分發(fā)的裝置。
[0215]如上所述，在內(nèi)容提供系統(tǒng)exlOO中，客戶端能夠接收并再生被編碼的數(shù)據(jù)。在這樣的內(nèi)容提供系統(tǒng)exlOO中，在客戶端能夠?qū)崟r地接收并解碼由用戶發(fā)送的信息并且能夠再生，這樣，即使是沒有特殊權(quán)利或設(shè)備的用戶也能夠?qū)崿F(xiàn)個人播放。
[0216]并且，不僅限于內(nèi)容提供系統(tǒng)exlOO的例子，如圖24所示，在數(shù)字廣播用系統(tǒng)ex200中也能夠組裝上述各個實施方式所示的動態(tài)圖像編碼裝置(圖像編碼裝置)或者動態(tài)圖像解碼裝置(圖像解碼裝置)的任一個。具體而言，在廣播局ex201，影像數(shù)據(jù)上多路復(fù)用了音樂數(shù)據(jù)的多路復(fù)用數(shù)據(jù)通過電波來通信或被傳輸?shù)叫l(wèi)星ex202。這個影像數(shù)據(jù)是通過上述各個實施方式例中說明的動態(tài)圖像編碼方法被編碼的數(shù)據(jù)(即，根據(jù)本發(fā)明的一形態(tài)的圖像編碼裝置被編碼的數(shù)據(jù))。接收了這些數(shù)據(jù)的廣播衛(wèi)星ex202發(fā)送用于廣播的電波，這些電波被能夠進行衛(wèi)星廣播接收的家庭的天線ex204所接收。接收的多路復(fù)用數(shù)據(jù)被電視機(接收機)ex300或機頂盒(STB) ex217等裝置進行解碼并再生(即，作為本發(fā)明的一形態(tài)的圖像解碼裝置發(fā)揮作用)。
[0217]并且,在用于讀取并解碼DVD、BD(Blu_ray Disc)等記錄介質(zhì)ex215中記錄的多路復(fù)用數(shù)據(jù)，或者在記錄介質(zhì)ex215中編碼影像信號，進而有時與音樂信號多路復(fù)用后進行寫入的閱讀器/記錄器ex218上，也能夠安裝上述各個實施方式所示的動態(tài)圖像解碼裝置或動態(tài)圖像編碼裝置。在這種情況下，被再生的影像信號能夠被顯示在顯示器ex219，并且能夠由記錄了多路復(fù)用數(shù)據(jù)的記錄介質(zhì)ex215在其他的裝置或系統(tǒng)中再生影像信號。并且，也可以將動態(tài)圖像解碼裝置安裝到與有線電視用的電纜ex203或衛(wèi)星/地波廣播的天線ex204連接的機頂盒ex217內(nèi)，并在電視機的顯示器ex219上顯示。此時，可以不組裝到機頂盒，而將動態(tài)圖像解碼裝置組裝到電視機內(nèi)。
[0218]圖25表示了利用上述各個實施方式中說明的動態(tài)圖像解碼方法以及動態(tài)圖像編碼方法的電視機(接收機)ex300。電視機ex300包括:調(diào)諧器ex301，通過接收上述廣播的天線ex204或電纜ex203等獲得或者輸出影像數(shù)據(jù)上多路復(fù)用了聲音數(shù)據(jù)的多路復(fù)用數(shù)據(jù)；調(diào)制/解調(diào)部ex302，解調(diào)接收的多路復(fù)用數(shù)據(jù)，或者為了將多路復(fù)用數(shù)據(jù)發(fā)送到外部而進行調(diào)制；以及多路復(fù)用/分離部ex303，對解調(diào)的多路復(fù)用數(shù)據(jù)分為影像數(shù)據(jù)和聲音數(shù)據(jù)，或者在信號處理部ex306進行了編碼的影像數(shù)據(jù)和聲音數(shù)據(jù)進行多路復(fù)用。
[0219]并且，電視機ex300具有信號處理部ex306和輸出部ex309，上述信號處理部ex306具有分別對聲音信號和影像信號進行解碼或者對各個信息分別進行編碼的聲音信號處理部ex304和影像信號處理部ex305(作為本發(fā)明的一個形態(tài)所涉及的圖像編碼裝置或者圖像解碼裝置發(fā)揮作用)；上述輸出部ex309具有對被解碼的聲音信號進行輸出的揚聲器ex307，以及對被解碼的影像信號進行顯示的顯示器等顯示部ex308。進而，電視機ex300具有接口部ex317，該接口部ex317具有接受用戶的操作輸入的操作輸入部ex312等。進而，電視機ex300具有統(tǒng)括控制各部的控制部ex310，以及向各部提供電力的電源電路部ex311。接口部ex317除了可以具有操作輸入部ex312以外，還可以具有與閱讀器/記錄器ex218等外部設(shè)備連接的橋ex313、用于安裝SD卡等記錄介質(zhì)ex216的插槽部ex314、用于與硬盤等外部記錄介質(zhì)連接的驅(qū)動器ex315、以及與電話網(wǎng)連接的調(diào)制解調(diào)器ex316等。并且，記錄介質(zhì)ex216能夠通過存儲的非易失性/易失性的半導(dǎo)體存儲器元件進行信息的電記錄。電視機ex300的各部通過同步總線相互連接。
[0220]首先，對電視機ex300通過天線ex204等從外部獲得的多路復(fù)用數(shù)據(jù)進行解碼并再生的結(jié)構(gòu)進行說明。電視機ex300接受來自遠(yuǎn)程控制器ex220等的用戶的操作，并根據(jù)具有CPU等的控制部ex310的控制，將在調(diào)制/解調(diào)部ex302解調(diào)的多路復(fù)用數(shù)據(jù)，在多路復(fù)用/分離部ex303進行分離。并且，電視機ex300將分離的聲音數(shù)據(jù)在聲音信號處理部ex304進行解碼，利用上述的實施方式中說明的解碼方法，將分離的影像數(shù)據(jù)在影像信號處理部ex305進行解碼。解碼的聲音信號和影像信號分別從輸出部ex309被輸出到外部。在進行輸出時，為了使聲音信號和影像信號同步再生，而可以在緩存器ex318、ex319等暫時蓄積這些信號。并且，電視機ex300可以不從廣播等讀出多路復(fù)用數(shù)據(jù)，而是從磁性/光盤、SD卡等記錄介質(zhì)ex215、ex216中讀出多路復(fù)用數(shù)據(jù)。以下將要說明的結(jié)構(gòu)是，電視機ex300對聲音信號以及影像信號進行編碼，并發(fā)送到外部或?qū)懭氲接涗浗橘|(zhì)等的結(jié)構(gòu)。電視機ex300接受來自遠(yuǎn)程控制器ex220等的用戶的操作，并根據(jù)控制部ex310的控制，利用在上述的實施方式中說明的編碼方法，在聲音信號處理部ex304對聲音信號進行編碼，并在影像信號處理部ex305對影像信號進行編碼。被編碼的聲音信號和影像信號在多路復(fù)用/分離部ex303被多路復(fù)用，并被輸出到外部。在進行多路復(fù)用時，為了使聲音信號和影像信號同步，而可以將這些信號暫時蓄積到緩存器ex320、ex321等。另外，關(guān)于緩存器ex318至ex321，可以如圖中所示那樣具備多個，也可以是共享一個以上的緩存器的結(jié)構(gòu)。而且，除圖中所示以外，例如可以在調(diào)制/解調(diào)部ex302與多路復(fù)用/分離部ex303之間等，作為回避系統(tǒng)的上溢和下溢的緩沖部分，在緩存器中蓄積數(shù)據(jù)。
[0221]并且，電視機ex300除具有獲得來自廣播以及記錄介質(zhì)等的聲音數(shù)據(jù)以及影像數(shù)據(jù)的結(jié)構(gòu)以外，還可以具有接受麥克風(fēng)以及攝像機的AV輸入的結(jié)構(gòu)，并且也可以對從這些獲得的數(shù)據(jù)進行編碼處理。并且，在此雖然對電視機ex300能夠進行上述的編碼處理、多路復(fù)用以及外部輸出的結(jié)構(gòu)進行了說明，不過也可以是不進行上述的全部的處理，而僅進行上述的接收、解碼處理以及外部輸出的結(jié)構(gòu)。
[0222]并且，在閱讀器/記錄器ex218從記錄介質(zhì)中讀出或?qū)懭攵嗦窂?fù)用數(shù)據(jù)的情況下，上述的解碼處理或編碼處理也可以在電視機ex300以及閱讀器/記錄器ex218的某一個中進行，也可以是電視機ex300和閱讀器/記錄器ex218彼此分擔(dān)進行。
[0223]作為一個例子，圖26表示了從光盤進行數(shù)據(jù)的讀取或?qū)懭氲那闆r下的信息再生/記錄部ex400的結(jié)構(gòu)。信息再生/記錄部ex400包括以下將要說明的要素ex401、ex402、ex403、ex404、ex405、ex406、ex407。光學(xué)頭ex401將激光照射到作為光盤的記錄介質(zhì)ex215的記錄面并寫入信息，并且檢測來自記錄介質(zhì)ex215的記錄面的反射光并讀取信息。調(diào)制記錄部ex402對被內(nèi)藏于光學(xué)頭ex401的半導(dǎo)體激光進行電驅(qū)動，并按照記錄數(shù)據(jù)來進行激光的調(diào)制。再生解調(diào)部ex403對由被內(nèi)藏于光學(xué)頭ex401的光電探測器對來自記錄面的反射光進行電檢測而得到的再生信號進行放大，對被記錄在記錄介質(zhì)ex215的信號成分進行分離、解調(diào)，并再生必要的信息。緩存器ex404對用于在記錄介質(zhì)ex215進行記錄的信息以及從記錄介質(zhì)ex215再生的信息進行暫時保持。盤式電機ex405使記錄介質(zhì)ex215旋轉(zhuǎn)。伺服控制部ex406在對盤式電機ex405的旋轉(zhuǎn)驅(qū)動進行控制的同時，將光學(xué)頭ex401移動到規(guī)定的代碼道，進行激光的光點的追蹤處理。系統(tǒng)控制部ex407對信息再生/記錄部ex400進行整體控制。上述的讀出以及寫入處理可以通過以下的方法來實現(xiàn)，即:系統(tǒng)控制部ex407利用被保持在緩存器ex404的各種信息，并且按照需要在進行新的信息的生成以及追加的同時，一邊使調(diào)制記錄部ex402、再生解調(diào)部ex403以及伺服控制部ex406協(xié)調(diào)工作，一邊通過光學(xué)頭ex401來進行信息的記錄再生。系統(tǒng)控制部ex407例如以微處理器構(gòu)成，通過執(zhí)行讀出以及寫入的程序來執(zhí)行這些處理。
[0224]以上，以光學(xué)頭ex401照射激光光點為例進行了說明，不過也可以利用近場光學(xué)(near-field optical)來進行高密度的記錄。
[0225]圖27是作為光盤的記錄介質(zhì)ex215的模式圖。在記錄介質(zhì)ex215的記錄面上，導(dǎo)槽(槽)被形成為螺旋狀，在代碼道ex230上預(yù)先被記錄有按照槽的形狀的變化表示盤上的絕對位置的地址信息。該地址信息包括用于確定記錄塊ex231的位置的信息，該記錄塊ex231是記錄數(shù)據(jù)的單位，在進行記錄以及再生的裝置能夠通過再生代碼道ex230以及讀取地址信息，來確定記錄塊。并且，記錄介質(zhì)ex215包括:數(shù)據(jù)記錄區(qū)域ex233、內(nèi)周區(qū)域ex232、以及外周區(qū)域ex234。用于記錄用戶數(shù)據(jù)的區(qū)域為數(shù)據(jù)記錄區(qū)域ex233，被配置在數(shù)據(jù)記錄區(qū)域ex233的內(nèi)周或外周的內(nèi)周區(qū)域ex232和外周區(qū)域ex234被用于用戶數(shù)據(jù)的記錄以外的特殊用途。信息再生/記錄部ex400針對這種記錄介質(zhì)ex215的數(shù)據(jù)記錄區(qū)域ex233，進行被編碼的聲音數(shù)據(jù)、影像數(shù)據(jù)或?qū)@些數(shù)據(jù)進行多路復(fù)用后的多路復(fù)用數(shù)據(jù)的讀寫。
[0226]以上以具有一層結(jié)構(gòu)的DVD、BD等光盤為例進行了說明，但并非受此所限，也可以是多層結(jié)構(gòu)的能夠在表面以外進行記錄的光盤。并且，也可以在盤的同一位置上記錄利用了各種不同波長的顏色的光的信息，或者可以是從各種角度記錄不同的信息的層等的具有進行多維的記錄/再生的結(jié)構(gòu)的光盤。
[0227]此外，在數(shù)字廣播用系統(tǒng)ex200，能夠在具有天線ex205的車輛ex210從衛(wèi)星ex202等接收數(shù)據(jù)，并在車輛ex210具有的車輛導(dǎo)航系統(tǒng)211等的顯示裝置再生動態(tài)圖像。另外，關(guān)于車輛導(dǎo)航系統(tǒng)ex211的結(jié)構(gòu)可以考慮成在圖25表示的結(jié)構(gòu)中添加GPS接收部，同樣也可以考慮在計算機exlll和便攜式電話exll4等上。
[0228]圖28A是表示利用了在上述的實施方式所說明的動態(tài)圖像編碼方法和動態(tài)圖像解碼方法的便攜式電話exll4的圖。便攜式電話exll4具有:天線ex350，用于在與基站exllO之間進行電波的收發(fā)；攝像機部ex365,能夠拍攝影像和靜止圖像；顯示部ex358,是用于顯示在攝像機部ex365拍攝的影像以及由天線ex350接收的影像等被解碼后的數(shù)據(jù)的液晶顯示器等。便攜式電話exll4還具有:具有操作鍵部ex366的主體部、聲音輸出部ex357,是用于輸出聲音的揚聲器等；聲音輸入部ex356,是用于輸入聲音的麥克風(fēng)等；存儲器部ex367，用于保存拍攝的影像、靜止圖像、錄音的聲音、或者接收的影像、靜止圖像、郵件等被編碼或被解碼的數(shù)據(jù)；或者同樣是保存數(shù)據(jù)的記錄介質(zhì)之間的接口的插槽部ex364。
[0229]進一步利用圖28B對便攜式電話exll4的結(jié)構(gòu)例進行說明。在便攜式電話exll4中，針對用于統(tǒng)括控制具有顯示部ex358以及操作鍵部ex366的主體部的各部的主控制部ex360,電源電路部ex361、操作輸入控制部ex362、影像信號處理部ex355、攝像機I/F部ex363、IXD (Liquid CrystalDisplay:液晶顯示器)控制部 ex359、調(diào)制 / 解調(diào)部 ex352、多路復(fù)用/分離部ex353、聲音信號處理部ex354、插槽部ex364、以及存儲器部ex367經(jīng)由總線ex370相互連接。
[0230]電源電路部ex361在通過用戶的操作而成為通話結(jié)束以及電源鍵成為導(dǎo)通狀態(tài)下，通過從電池組向各部提供電力，從而啟動便攜式電話exll4，使其成為能夠工作的狀態(tài)。
[0231]便攜式電話exll4根據(jù)由CPU、ROM以及RAM等構(gòu)成的主控制部ex360的控制，在聲音通話模式時，由聲音信號處理部ex354將在聲音輸入部ex356收集的聲音信號轉(zhuǎn)換為數(shù)字聲音信號，并在調(diào)制/解調(diào)部ex352進行擴頻(Spread Spectrum)處理,在發(fā)送/接收部ex351進行數(shù)模轉(zhuǎn)換處理以及頻率轉(zhuǎn)換處理之后，經(jīng)由天線ex350發(fā)送。并且，便攜式電話exll4在聲音通話模式時，對通過天線ex350接收的接收數(shù)據(jù)進行放大并進行頻率轉(zhuǎn)換處理以及模數(shù)轉(zhuǎn)換處理，在調(diào)制/解調(diào)部ex352進行擴頻處理的逆處理，在由聲音信號處理部ex354轉(zhuǎn)換為模擬聲音信號之后,將其從聲音輸出部ex357輸出。
[0232]并且，在數(shù)據(jù)通信模式時發(fā)送電子郵件的情況下，通過主體部的操作鍵部ex366等的操作被輸入的電子郵件的文本數(shù)據(jù)經(jīng)由操作輸入控制部ex362被發(fā)送到主控制部ex360。主控制部ex360，由調(diào)制/解調(diào)部ex352對文本數(shù)據(jù)進行擴頻處理，在發(fā)送/接收部ex351進行數(shù)模轉(zhuǎn)換處理以及頻率轉(zhuǎn)換處理之后,經(jīng)由天線ex350發(fā)送到基站exllO。在接收電子郵件的情況下、針對接收的數(shù)據(jù)進行與上述幾乎相反的處理，發(fā)送到顯示部ex358。
[0233]在數(shù)據(jù)通信模式時發(fā)送影像、靜止圖像、或影像和聲音的情況下，影像信號處理部ex355，將從攝像機部ex365提供的影像信號，按照上述各實施方式表示的動態(tài)圖像編碼方法來進行壓縮編碼(即，作為本發(fā)明的一個方式涉及的圖像編碼裝置來發(fā)揮作用)，并將被編碼的影像數(shù)據(jù)發(fā)送到多路復(fù)用/分離部ex353。此外，聲音信號處理部ex354，對攝像機部ex365拍攝影像、靜止圖像等中，由聲音輸入部ex356收集的聲音信號進行編碼，并將被編碼的聲音數(shù)據(jù)發(fā)送到多路復(fù)用/分離部ex353。
[0234]多路復(fù)用/分離部ex353以規(guī)定的方式，對從影像信號處理部ex355提供來的被編碼的影像數(shù)據(jù)和從聲音信號處理部ex354提供來的被編碼的聲音數(shù)據(jù)進行多路復(fù)用，將通過多路復(fù)用而得到的多路復(fù)用數(shù)據(jù)在調(diào)制/解調(diào)部(調(diào)制/解調(diào)電路部)ex352進行擴頻處理，并在發(fā)送/接收部ex351進行數(shù)模轉(zhuǎn)換處理以及頻率轉(zhuǎn)換處理之后，經(jīng)由天線ex350發(fā)送。
[0235]在數(shù)據(jù)通信模式時，接收被鏈接在主頁等的動態(tài)圖像文件的數(shù)據(jù)的情況下，或者接收被添加了影像及/或聲音的電子郵件的情況下，為了經(jīng)由天線ex350解碼被接收的多路復(fù)用數(shù)據(jù)，多路復(fù)用/分離部ex353，通過分割多路復(fù)用數(shù)據(jù)來分為影像數(shù)據(jù)的比特流和聲音數(shù)據(jù)的比特流，經(jīng)由同步總線ex370將被編碼的影像數(shù)據(jù)提供給影像信號處理部ex355,并且將被編碼的聲音數(shù)據(jù)提供給聲音信號處理部ex354。影像信號處理部ex355根據(jù)與上述各實施方式表示的動態(tài)圖像編碼方法對應(yīng)的動態(tài)圖像解碼方法進行解碼來解碼影像信號(即，作為本發(fā)明的圖像解碼裝置來發(fā)揮作用)，通過IXD控制部ex359在顯示部ex358顯示例如被鏈接在主頁的動態(tài)圖像文件中包含的影像、靜止圖像。此外，聲音信號處理部ex354解碼聲音信號，從聲音輸出部ex357輸出聲音。
[0236]并且，上述便攜式電話exll4等終端與電視機ex300同樣，除了可以考慮到是具有編碼器以及解碼器雙方的收發(fā)信型終端的形式以外，還可以考慮到是僅具有編碼器的發(fā)送終端，以及僅具有解碼器的接收終端的共三種形式。并且，上述說明了在數(shù)字廣播用系統(tǒng)ex200，接收以及發(fā)送在影像數(shù)據(jù)上多路復(fù)用了音樂數(shù)據(jù)等的多路復(fù)用數(shù)據(jù)，不過可以是除了聲音數(shù)據(jù)以外多路復(fù)用了有關(guān)影像的文字?jǐn)?shù)據(jù)等的數(shù)據(jù)，也可以是影像數(shù)據(jù)本身，而不是多路復(fù)用數(shù)據(jù)。
[0237]這樣，在上述的實施方式所示的圖像編碼方法或圖像解碼方法能夠適用于上述的任一個設(shè)備以及系統(tǒng)，這樣，能夠得到在上述的實施方式中說明的效果。
[0238]此外，本發(fā)明并不限定于上述的實施方式，可以不脫離本發(fā)明的范圍而進行各種變形或修改。
[0239](實施方式6)
[0240]可以按照需要適宜地切換上述的各個實施方式所示的動態(tài)圖像編碼方法或裝置與依照MPEG-2、MPEG4-AVC、VC-1等不同的標(biāo)準(zhǔn)的動態(tài)圖像編碼方法或裝置，來生成影像數(shù)據(jù)。
[0241]在此，在根據(jù)各自不同的標(biāo)準(zhǔn)生成了多個影像數(shù)據(jù)的情況下，需要在解碼時選擇與各自的標(biāo)準(zhǔn)對應(yīng)的解碼方法。然而，不能識別要解碼的影像數(shù)據(jù)是依據(jù)了哪個標(biāo)準(zhǔn)的數(shù)據(jù)，所以產(chǎn)生不能選擇恰當(dāng)?shù)慕獯a方法這樣的課題。
[0242]為了解決這個課題可以是在影像數(shù)據(jù)上多路復(fù)用了聲音數(shù)據(jù)等的多路復(fù)用數(shù)據(jù)包含識別信息的結(jié)構(gòu)，該識別信息表示影像數(shù)據(jù)是依據(jù)了哪個標(biāo)準(zhǔn)。下面說明包含由上述的各個實施方式所示的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)的多路復(fù)用數(shù)據(jù)的具體結(jié)構(gòu)。多路復(fù)用數(shù)據(jù)是MPEG-2傳輸流形式的數(shù)字流。
[0243]圖29是表示多路復(fù)用數(shù)據(jù)的結(jié)構(gòu)的圖。如圖29所示多路復(fù)用數(shù)據(jù)是通過對如下流中的一個以上進行多路復(fù)用而得到的數(shù)據(jù):視頻流，音頻流，字幕流(PG)，交互式圖形流。視頻流表示電影的主影像以及副影像，音頻流(IG)表示電影的主聲音部分和與主聲音混合的副聲音，字幕流表示電影的字幕。在此，主影像表示在畫面顯示的通常的影像，副影像是指在主影像中以小畫面顯示的影像。還有，交互式圖形流表示通過在畫面上配置圖形用戶界面元件而作成的對話畫面。視頻流，根據(jù)上述的各個實施方式所示的動態(tài)圖像編碼方法或裝置，以及現(xiàn)有的MPEG-2、MPEG4-AVC、VC-1等標(biāo)準(zhǔn)的動態(tài)圖像編碼方法或裝置被編碼。音頻流，根據(jù)杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、或線性PCM等方式被編碼。
[0244]多路復(fù)用數(shù)據(jù)中包含的各個流由PID被識別。例如，針對用于電影的影像的視頻流分配0x1011，針對音頻流分配從Oxl 100到Oxl 11F，針對字幕流分配從0x1200到0xl21F，針對交互式圖形流分配從0x1400到0xl41F，針對用于電影的副影像的視頻流分配從OxlBOO到OxlBlF，針對用于與主聲音混合的副聲音的音頻流分配從OxlAOO到OxlAlF。
[0245]圖30是表示多路復(fù)用數(shù)據(jù)怎樣被多路復(fù)用的模式圖。首先，由多個視頻幀組成的視頻流ex235、由多個音頻幀組成的音頻流ex238，分別變換為PES數(shù)據(jù)包列ex236以及ex239，變換為TS數(shù)據(jù)包ex237以及ex240。同樣地將字幕流ex241及交互式圖形流ex244的數(shù)據(jù)，分別變換為PES數(shù)據(jù)包列ex242以及ex245，進一步變換為TS數(shù)據(jù)包ex243以及ex246。多路復(fù)用數(shù)據(jù)ex247，將這些TS數(shù)據(jù)包多路復(fù)用在I個流上而被構(gòu)成。
[0246]圖31是更加詳細(xì)地表示在PES數(shù)據(jù)包列中視頻流怎樣被存儲的圖。在圖31的第一段表示視頻流的視頻巾貞列。第二段表示PES數(shù)據(jù)包列。如圖31的箭頭yyl、yy2、yy3、yy4所示，作為視頻流中的多個Video Presentat1n Unit的I圖片、B圖片、P圖片，按每個圖片被分割，存儲到PES數(shù)據(jù)包的有效負(fù)載中。各個PES數(shù)據(jù)包擁有PES頭，PES頭中存儲了作為圖片的顯示時刻的PTS(Presentat1n Time-Stamp:顯示時間戳)、作為圖片的解碼時刻的 DTS (Decoding Time-Stamp:解碼時間戳)。
[0247]圖32表示最終被寫入到多路復(fù)用數(shù)據(jù)中的TS數(shù)據(jù)包的形式。TS數(shù)據(jù)包是具有識別流的PID等的信息的4Byte的TS頭以及存儲數(shù)據(jù)的184Byte的TS有效負(fù)載所構(gòu)成的188Byte定長的數(shù)據(jù)包，上述PES數(shù)據(jù)包被分割被存儲到TS有效負(fù)載。在是BD-ROM的情況下，TS數(shù)據(jù)包被賦予4Byte的TP_Extra_Header,構(gòu)成192Byte的源數(shù)據(jù)包,被寫入到多路復(fù)用數(shù)據(jù)。在 TP_Extra_Header 上記載了 ATS(Arrival_Time_Stamp)等的信息。ATS 表示該TS數(shù)據(jù)包向解碼器的PID濾波器的傳輸開始時刻。在多路復(fù)用數(shù)據(jù)中如圖32的下段所示排列了源數(shù)據(jù)包，從多路復(fù)用數(shù)據(jù)的開頭增加的編號被稱為SPN(源數(shù)據(jù)包編號)。
[0248]此外，多路復(fù)用數(shù)據(jù)中包含的TS數(shù)據(jù)包中除了影像、聲音、字幕等各個流以外，還有 PAT (Program Associat1n Table:節(jié)目關(guān)聯(lián)表)、PMT (Program Map Table:節(jié)目映射表)、PCR(Program Clock Reference:節(jié)目時鐘基準(zhǔn))等。PAT表示多路復(fù)用數(shù)據(jù)中所利用的PMT的PID是什么，PAT自身的PID登記為O。PMT具有多路復(fù)用數(shù)據(jù)中包含的影像、聲音、字幕等的各個流的PID以及與各個PID對應(yīng)的流的屬性信息，并且具有與多路復(fù)用數(shù)據(jù)有關(guān)的各種描述符。描述符具有復(fù)制控制信息等，該復(fù)制控制信息指示多路復(fù)用數(shù)據(jù)的復(fù)制許可、不許可。PCR為了使作為ATS的時間軸的ATC(Arrival Time Clock)與作為PTS、DTS的時間軸的STC(System Time Clock)同步，具有與該PCR數(shù)據(jù)包傳輸?shù)浇獯a器的ATS對應(yīng)的STC時間的信息。
[0249]圖33是詳細(xì)地說明PMT的數(shù)據(jù)結(jié)構(gòu)的圖。PMT的開頭設(shè)置了 PMT幀頭，用于記載該PMT中包含的數(shù)據(jù)的長度等。在其之后設(shè)置了多個與多路復(fù)用數(shù)據(jù)有關(guān)的描述符。上述復(fù)制控制信息等作為描述符被記載。在描述符之后設(shè)置了多個與多路復(fù)用數(shù)據(jù)中包含的各個流有關(guān)的流信息。流信息，為了識別流的壓縮編解碼等，由記載了流類型、流的PID、流的屬性信息(幀速率、縱橫比等)的流描述符所構(gòu)成。流描述符的數(shù)量與在多路復(fù)用數(shù)據(jù)中存在的流的數(shù)量相同。
[0250]在記錄介質(zhì)等記錄的情況下，上述多路復(fù)用數(shù)據(jù)與多路復(fù)用數(shù)據(jù)信息文件一起被記錄。
[0251]如圖34所示多路復(fù)用數(shù)據(jù)信息文件是多路復(fù)用數(shù)據(jù)的管理信息，與多路復(fù)用數(shù)據(jù)I對I地對應(yīng)，其由多路復(fù)用數(shù)據(jù)信息、流屬性信息以及項映射所構(gòu)成。
[0252]多路復(fù)用數(shù)據(jù)信息如圖34所示，由系統(tǒng)速率、再生開始時刻、再生結(jié)束時刻所構(gòu)成。系統(tǒng)速率表示多路復(fù)用數(shù)據(jù)向著后述的系統(tǒng)目標(biāo)解碼器的PID濾波器的最大傳輸速率。多路復(fù)用數(shù)據(jù)中包含的ATS的間隔，被設(shè)定為是系統(tǒng)速率以下。再生開始時刻是多路復(fù)用數(shù)據(jù)的開頭的視頻幀的PTS，再生結(jié)束時刻被設(shè)定為，在多路復(fù)用數(shù)據(jù)的尾端的視頻幀的PTS加上I幀的再生間隔。
[0253]流屬性信息如圖35所示，按每個PID登記包含在多路復(fù)用數(shù)據(jù)中的各個流的屬性信息。屬性信息按照每個視頻流、音頻流、字幕流、交互式圖形流，具有不同的信息。視頻流屬性信息具有如下信息:該視頻流以怎樣的壓縮編解碼被壓縮、構(gòu)成視頻流的各個圖片數(shù)據(jù)的分辨率是多少、縱橫比是多少、幀速率是多少等信息。音頻流屬性信息，具有如下信息:該音頻流以怎樣的壓縮編解碼被壓縮、該音頻流中包含的頻道數(shù)是多少、與什么語言對應(yīng)、采樣頻率是多少等信息。這些信息，用于在播放器再生之前的解碼器的初始化等。
[0254]在本實施方式，利用上述多路復(fù)用數(shù)據(jù)中的PMT中包含的流類型。此外，在記錄介質(zhì)中記錄了多路復(fù)用數(shù)據(jù)的情況下，利用多路復(fù)用數(shù)據(jù)信息中包含的視頻流屬性信息。具體而言，在上述各個實施方式表示的動態(tài)圖像編碼方法或裝置中，針對PMT中包含的流類型、或視頻流屬性信息，設(shè)置設(shè)定固有的信息的步驟或單元，該固有的信息表示由上述各個實施方式表示的動態(tài)圖像編碼方法或裝置所生成的影像數(shù)據(jù)。根據(jù)該結(jié)構(gòu)，能夠識別由上述各個實施方式表示的動態(tài)圖像編碼方法或裝置所生成的影像數(shù)據(jù)與依據(jù)其他的標(biāo)準(zhǔn)的影像數(shù)據(jù)。
[0255]此外，圖36表示在本實施方式的動態(tài)圖像解碼方法的步驟。在步驟exSlOO，從多路復(fù)用數(shù)據(jù)中獲得PMT中包含的流類型、或者多路復(fù)用數(shù)據(jù)信息中包含的視頻流屬性信息。接著，在步驟exSlOl，判斷流類型或視頻流屬性信息是否表示是由上述各個實施方式表示的動態(tài)圖像編碼方法或裝置所生成的多路復(fù)用數(shù)據(jù)。而且，在判斷為流類型或視頻流屬性信息表示是由上述各個實施方式表示的動態(tài)圖像編碼方法或裝置所生成的數(shù)據(jù)的情況下，在步驟exS102，上述各實施方式表示的動態(tài)圖像解碼方法進行解碼。此外，流類型或視頻流屬性信息表示是現(xiàn)有的MPEG-2、MPEG4-AVC、VC-1等的標(biāo)準(zhǔn)的數(shù)據(jù)的情況下，在步驟exS103，根據(jù)所依據(jù)的現(xiàn)有的標(biāo)準(zhǔn)的動態(tài)圖像解碼方法來進行解碼。
[0256]這樣，通過在流類型或視頻流屬性信息設(shè)定新的固有值，從而在解碼時，能夠判斷根據(jù)上述各個實施方式表示的動態(tài)圖像解碼方法或裝置是否能夠解碼。從而，即使被輸入了依據(jù)不同的標(biāo)準(zhǔn)的多路復(fù)用數(shù)據(jù)時，也能夠選擇恰當(dāng)?shù)慕獯a方法或裝置，因此能夠不產(chǎn)生錯誤地進行解碼。此外，本實施方式表示的動態(tài)圖像編碼方法或裝置，或者動態(tài)圖像解碼方法或裝置，能夠用于上述的任一個設(shè)備以及系統(tǒng)。
[0257](實施方式7)
[0258]上述的各個實施方式所示的動態(tài)圖像編碼方法以及裝置、動態(tài)圖像解碼方法以及裝置，典型的能夠以作為集成電路的LSI來實現(xiàn)。作為一個例子，圖37表示了被制成一個芯片的LSIex500的結(jié)構(gòu)。LSIex500包括以下將要說明的要素ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508, ex509，各個要素通過總線ex510連接。電源電路部ex505在電源為接通狀態(tài)的情況下，通過向各部提供電力，從而啟動為能夠工作的狀態(tài)。
[0259]例如，在進行編碼處理的情況下，LSIex500，根據(jù)具有CPUex502、存儲器控制器ex503、流控制器ex504、驅(qū)動頻率控制部ex512等的控制部ex501的控制，根據(jù)AVI/0ex509從麥克風(fēng)exll7和攝像機exll3等輸入AV信號。被輸入的AV信號被暫時蓄積到SDRAM等的外部的存儲器ex511。根據(jù)控制部ex501的控制，存儲的數(shù)據(jù)按照處理量和處理速度適當(dāng)?shù)胤譃槎鄠€被發(fā)送到信號處理部ex507，在信號處理部ex507被進行聲音信號的編碼及/或影像信號的編碼。在此，影像信號的編碼處理是上述各個實施方式說明的編碼處理。在信號處理部ex507還根據(jù)情況對被編碼的聲音數(shù)據(jù)以及被編碼的影像數(shù)據(jù)進行多路復(fù)用等處理，從流I/0ex506輸出到外部。該被輸出的多路復(fù)用數(shù)據(jù)被發(fā)送到基站exl07，或者被寫入到記錄介質(zhì)ex215。并且，為了在多路復(fù)用時能夠同步進行，而可以將數(shù)據(jù)暫時蓄積到緩存器ex508。
[0260]另外，以上雖然對存儲器ex511作為LSIex500的外部結(jié)構(gòu)進行了說明，不過也可以被包括在LSIex500的內(nèi)部。緩存器ex508也可以不限于一個，可以具備多個緩存器。并且，LSIex500可以被制成一個芯片，也可以是多個芯片。
[0261 ] 此外，在上述說明中，控制部ex501具有CPUex502、存儲器控制器ex503、流控制器ex504、驅(qū)動頻率控制部ex512等,不過,控制部ex501的結(jié)構(gòu),不限于這個結(jié)構(gòu)。例如,可以是信號處理部ex507還具備CPU的結(jié)構(gòu)。通過在信號處理部ex507的內(nèi)部也設(shè)置CPU，可以使處理速度提高。此外，作為其他的例子，可以是CPUex502具備信號處理部ex507、或者具備信號處理部ex507的一部分例如聲音信號處理部的結(jié)構(gòu)。在這樣的情況下，控制部ex501是具備信號處理部ex507或具有其一部分的CPUex502的結(jié)構(gòu)。
[0262]在此，雖然例示了 LSI，不過根據(jù)集成度的不同，也可以稱為1C、系統(tǒng)LS1、超級LS1、極超級LSI。
[0263]還有，集成電路化的方法不局限于LSI，也可以用專用電路或者通用處理器來實現(xiàn)。也可以利用在LSI制造之后可編程的現(xiàn)場可編程門陣列(FPGA: Field ProgrammableGate Array)或可動態(tài)地重構(gòu)LSI內(nèi)部的電路單元的連接和設(shè)定的可重構(gòu)處理器。這樣的可編程邏輯裝置，典型的是加載或者從存儲器等讀入構(gòu)成軟件或者固件的程序，從而能夠執(zhí)行上述各個實施方式的動態(tài)圖像編碼方法、或動態(tài)圖像解碼方法。
[0264]而且，隨著半導(dǎo)體技術(shù)的進步或派生出的其他的技術(shù)，若出現(xiàn)了能夠取代LSI的集成電路化的技術(shù)，當(dāng)然也可以利用這些技術(shù)來對功能塊進行集成化。有可能適用生物技術(shù)等。
[0265](實施方式8)
[0266]在對根據(jù)上述各個實施方式表示的動態(tài)圖像編碼方法或裝置所生成的影像數(shù)據(jù)進行解碼的情況下，可以想到與對依據(jù)現(xiàn)有的MPEG-2、MPEG4-AVC、VC-1等標(biāo)準(zhǔn)的影像數(shù)據(jù)進行解碼的情況相比，處理量增加。因此，在LSIex500中需要設(shè)定比解碼依據(jù)現(xiàn)有的標(biāo)準(zhǔn)的影像數(shù)據(jù)時的CPUex502的驅(qū)動頻率高的驅(qū)動頻率。但是驅(qū)動頻率高，則產(chǎn)生電力消耗高這樣的課題。
[0267]為了解決這個課題，設(shè)電視機ex300、LSIex500等動態(tài)圖像解碼裝置為如下結(jié)構(gòu)，識別影像數(shù)據(jù)依據(jù)了哪個標(biāo)準(zhǔn)，按照標(biāo)準(zhǔn)切換驅(qū)動頻率的結(jié)構(gòu)。圖38表示了本實施方式的結(jié)構(gòu)ex800。驅(qū)動頻率切換部ex803，在影像數(shù)據(jù)是由上述各個實施方式表示的動態(tài)圖像編碼方法或裝置所生成的情況下，設(shè)定高的驅(qū)動頻率。而且，對執(zhí)行上述各個實施方式表示的動態(tài)圖像解碼方法的解碼處理部ex801進行指示，以解碼影像數(shù)據(jù)。另一方面，在影像數(shù)據(jù)是依據(jù)現(xiàn)有的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況的情況下，與影像數(shù)據(jù)由上述各實施方式的動態(tài)圖像編碼方法或裝置所生成的情況相比，設(shè)定低的驅(qū)動頻率。而且，指示依據(jù)現(xiàn)有的標(biāo)準(zhǔn)的解碼處理部ex802，對影像數(shù)據(jù)進行解碼。
[0268]更具體而言，驅(qū)動頻率切換部ex803由圖37的CPUex502與驅(qū)動頻率控制部ex512所構(gòu)成。此外，執(zhí)行上述各個實施方式的動態(tài)圖像解碼方法的解碼處理部ex801，以及依據(jù)現(xiàn)有的標(biāo)準(zhǔn)的解碼處理部ex802，相當(dāng)于圖37的信號處理部ex507。CPUex502識別影像數(shù)據(jù)依據(jù)哪個標(biāo)準(zhǔn)。而且，根據(jù)來自CPUex502的信號，驅(qū)動頻率控制部ex512設(shè)定驅(qū)動頻率。此外，根據(jù)來自CPUex502的信號，信號處理部ex507進行影像數(shù)據(jù)的解碼。在此，可以考慮在影像數(shù)據(jù)的識別中利用例如在實施方式6記載的識別信息。有關(guān)識別信息，不僅限于在實施方式6記載的信息，只要是能夠識別影像數(shù)據(jù)是依據(jù)哪個標(biāo)準(zhǔn)的信息就可以。例如，在根據(jù)識別影像數(shù)據(jù)是否用于電視機，是否用于存儲盤等的外部信號，能夠識別影像數(shù)據(jù)是依據(jù)哪個標(biāo)準(zhǔn)的情況下，可以根據(jù)這樣的外部信號進行識別。此外，在CPUex502的驅(qū)動頻率的選擇，可以考慮根據(jù)例如如圖40那樣的使影像數(shù)據(jù)的標(biāo)準(zhǔn)和驅(qū)動頻率對應(yīng)的查找表來進行。將查找表預(yù)先存儲在緩存器ex508和LSI的內(nèi)存儲器中，通過CPUex502參考這個查找表，能夠選擇驅(qū)動頻率。
[0269]圖39表示了實施本實施方式的方法的步驟。首先，在步驟exS200中，由信號處理部ex507從多路復(fù)用數(shù)據(jù)中獲得識別信息。接著，在步驟exS201中，CPUex502根據(jù)識別信息，識別影像數(shù)據(jù)是不是由上述各個實施方式的編碼方法或裝置所生成的數(shù)據(jù)。在影像數(shù)據(jù)是由上述各個實施方式的編碼方法或裝置所生成的數(shù)據(jù)的情況下，在步驟exS202中，將設(shè)定高的驅(qū)動頻率的信號，由CPUex502發(fā)送到驅(qū)動頻率控制部ex512。而且，在驅(qū)動頻率控制部ex512設(shè)定高的驅(qū)動頻率。另一方面，在表示了是依據(jù)現(xiàn)有的MPEG-2、MPEG4-AVC、VC-1等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，在步驟exS203中，將設(shè)定低的驅(qū)動頻率的信號，由CPUex502發(fā)送到驅(qū)動頻率控制部ex512。而且，在驅(qū)動頻率控制部ex512，設(shè)定與影像數(shù)據(jù)由上述各個實施方式的編碼方法或裝置所生成的情況相比低的驅(qū)動頻率。
[0270]并且，與驅(qū)動頻率的切換聯(lián)動地，通過變更對LSIex500或包含LSIex500的裝置施加的電壓，可以提高省電效果。例如，在設(shè)定低驅(qū)動頻率的情況下，隨之與設(shè)定高驅(qū)動頻率的情況相比，可以考慮使對LSIex500或包含LSIex500的裝置施加的電壓設(shè)定為低電壓。
[0271]此外，關(guān)于驅(qū)動頻率的設(shè)定方法，只要在解碼時的處理量大的情況下，設(shè)定高的驅(qū)動頻率，在解碼時的處理量小的情況下，設(shè)定低的驅(qū)動頻率就可以，不限于上述的設(shè)定方法。例如對依據(jù)MPEG4-AVC標(biāo)準(zhǔn)的影像數(shù)據(jù)進行解碼的處理量，大于對由上述各個實施方式的動態(tài)圖像編碼方法或裝置所生成的影像數(shù)據(jù)進行解碼的處理量的情況下，可以考慮將驅(qū)動頻率的設(shè)定與上述的情況相反地進行。
[0272]并且，驅(qū)動頻率的設(shè)定方法不限于設(shè)定低的驅(qū)動頻率的結(jié)構(gòu)。例如，可以考慮在識別信息表示是由上述各個實施方式的動態(tài)圖像編碼方法或裝置所生成的影像數(shù)據(jù)的情況下，將對LSIex500或包含LSIex500的裝置施加的電壓設(shè)定為高的電壓，在表示是依據(jù)現(xiàn)有的MPEG-2、MPEG4-AVC、VC-1等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，將對LSIex500或包含LSIex500的裝置施加的電壓設(shè)定為低的電壓。此外，作為其他的例子，可以考慮在識別信息表示是由上述各個實施方式的動態(tài)圖像編碼方法或裝置所生成的影像數(shù)據(jù)的情況下，不停止CPUex502的驅(qū)動，在表示是依據(jù)現(xiàn)有的MPEG-2、MPEG4-AVC、VC-1等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，因為處理有余量，可以暫時停止CPUex502的驅(qū)動。即使在識別信息表示是由上述各個實施方式的動態(tài)圖像編碼方法或裝置所生成的影像數(shù)據(jù)的情況下，如果處理有余量，也可以考慮暫時停止CPUex502的驅(qū)動。這個情況下，可以考慮與識別信息表示是依據(jù)現(xiàn)有的MPEG-2、MPEG4-AVC、VC-1等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況相比，停止時間設(shè)定地較短。
[0273]這樣，根據(jù)影像數(shù)據(jù)依據(jù)的標(biāo)準(zhǔn)來切換驅(qū)動頻率，從而能夠達到省電化。此外，在利用電池驅(qū)動LSIex500或包含LSIex500的裝置的情況下，隨著省電化還可以延長電池的壽命。
[0274](實施方式9)
[0275]電視機和便攜式電話等上述的設(shè)備以及系統(tǒng)，有時被輸入依據(jù)不同標(biāo)準(zhǔn)的多個影像數(shù)據(jù)。這樣，即使在被輸入了依據(jù)不同標(biāo)準(zhǔn)的多個影像數(shù)據(jù)的情況下也能進行解碼，從而LSIex500的信號處理部ex507需要與多個標(biāo)準(zhǔn)對應(yīng)。但是，與各個標(biāo)準(zhǔn)對應(yīng)的信號處理部ex507個別利用時，使LSIeX500的電路規(guī)模變大，還產(chǎn)生成本增加這樣的課題。
[0276]為了解決上述課題可以是如下結(jié)構(gòu)，將用于執(zhí)行上述各個實施方式的動態(tài)圖像解碼方法的解碼處理部與依據(jù)現(xiàn)有的MPEG-2、MPEG4-AVC、VC-1等的標(biāo)準(zhǔn)的解碼處理部，進行一部分共享。圖41A的ex900表示該結(jié)構(gòu)例。例如，上述各個實施方式的動態(tài)圖像解碼方法和依據(jù)MPEG4-AVC標(biāo)準(zhǔn)的動態(tài)圖像解碼方法，在熵編碼、逆量化、解塊及濾波器、運動補償?shù)忍幚碇校徊糠痔幚韮?nèi)容是共同的。關(guān)于共同的處理內(nèi)容，可以考慮共享與MPEG4-AVC標(biāo)準(zhǔn)對應(yīng)的解碼處理部ex902，關(guān)于與MPEG4-AVC標(biāo)準(zhǔn)不對應(yīng)的本發(fā)明特有的其他處理內(nèi)容，使用專用的解碼處理部ex901這樣的結(jié)構(gòu)。尤其是本發(fā)明的一個形態(tài)中，特征在于逆量化，從而可以考慮如下，例如逆量化中利用專用的解碼處理部ex901，除此之外的熵解碼、解塊濾波器、運動補償?shù)娜我粋€或全部的處理中共用解碼處理部。對于解碼處理部的共享化，關(guān)于共同的處理內(nèi)容，共享用于執(zhí)行上述各個實施方式的動態(tài)圖像解碼方法的解碼處理部，關(guān)于MPEG4-AVC標(biāo)準(zhǔn)特有的處理內(nèi)容，使用專用的解碼處理部。
[0277]此外，圖41B的exlOOO表示了處理的部分共享化的其他例子。在這個例子的結(jié)構(gòu)是，使用與本發(fā)明特有的處理內(nèi)容對應(yīng)的專用的解碼處理部exlOO1、與其他的現(xiàn)有標(biāo)準(zhǔn)特有的處理內(nèi)容對應(yīng)的專用的解碼處理部exl002、與本發(fā)明的一形態(tài)的動態(tài)圖像解碼方法及其他的現(xiàn)有標(biāo)準(zhǔn)的動態(tài)圖像解碼方法共同的處理內(nèi)容相對應(yīng)的共用的解碼處理部exl003。在此，專用的解碼處理部exlOO 1、exl002,不一定是本發(fā)明或其他現(xiàn)有標(biāo)準(zhǔn)特有的處理內(nèi)容所特有的，可以是能夠執(zhí)行其他通用處理的部。此外，也可以是在LSIex500安裝本實施方式的結(jié)構(gòu)。
[0278]這樣，本發(fā)明的一形態(tài)所涉及的動態(tài)圖像解碼方法和現(xiàn)有規(guī)格的動態(tài)圖像解碼方法相同的處理內(nèi)容，通過共用解碼處理部，能夠使LSI的電路規(guī)模變小，并且降低成本。
[0279]工業(yè)實用性
[0280]本發(fā)明的動態(tài)圖像編碼方法以及動態(tài)圖像解碼方法，能夠應(yīng)用于所有的多媒體數(shù)據(jù)，可提高動態(tài)圖像編碼以及解碼的防錯性，例如能夠用于以便攜式電話、DVD裝置以及個人計算機等進行蓄積、傳輸、通信等時的動態(tài)圖像編碼方法以及動態(tài)圖像解碼方法。
[0281]符號說明
[0282]10動態(tài)圖像編碼裝置
[0283]11預(yù)測殘差生成部
[0284]12標(biāo)志算出部
[0285]13正交變換部
[0286]14量化部
[0287]15標(biāo)志編碼部
[0288]16系數(shù)編碼部
[0289]20動態(tài)圖像解碼裝置
[0290]21標(biāo)志解碼部
[0291]22系數(shù)解碼部
[0292]23逆量化部
[0293]24逆正交變換部
[0294]25重構(gòu)圖像生成部
[0295]10UOOa動態(tài)圖像編碼裝置
[0296]1lUOla減法運算器
[0297]102、102a正交變換部
[0298]103、103a 量化部
[0299]104、104a可變長編碼部
[0300]105、105a、201、201a 逆量化部
[0301]106、106a、202、202a 逆正交變換部
[0302]107、107a、203、203a 加法運算器
[0303]108、108a、204、204a 塊存儲器
[0304]109、109a、205、205a 幀存儲器
[0305]110、110a、206、206a 幀內(nèi)預(yù)測部
[0306]IllUlla,207,207a 幀間預(yù)測部
[0307]112、112a、208、208a 切換部
[0308]113、113a、210、210a 幀間預(yù)測控制部
[0309]114、114a、212、212a colPic 存儲器
[0310]115、115a、211、211a融合塊候選算出部
[0311]116、116a圖片類型決定部
[0312]200、200a動態(tài)圖像解碼裝置
[0313]209、209a可變長解碼部
【權(quán)利要求】
1.一種動態(tài)圖像編碼方法，按每個塊對動態(tài)圖像進行編碼，該動態(tài)圖像編碼方法包括: 預(yù)測殘差生成步驟，利用與編碼對象塊鄰接的參照塊，或者與編碼對象圖片不同的參照圖片內(nèi)的參照塊，生成上述編碼對象塊的預(yù)測圖像，并生成作為上述編碼對象塊和上述預(yù)測圖像的差值的預(yù)測殘差； 判定步驟，通過判定是否對上述預(yù)測殘差應(yīng)用正交變換，算出正交變換跳躍標(biāo)志的值； 正交變換步驟，根據(jù)上述正交變換跳躍標(biāo)志的值，對上述預(yù)測殘差進行上述正交變換，從而算出至少一個正交變換系數(shù)； 量化步驟，通過對上述至少一個正交變換系數(shù)進行量化，算出至少一個量化系數(shù)； 標(biāo)志編碼步驟，對上述正交變換跳躍標(biāo)志進行可變長編碼；以及系數(shù)編碼步驟，根據(jù)上述正交變換跳躍標(biāo)志的值，對上述至少一個量化系數(shù)的掃描順序進行切換，并按照切換后的掃描順序來對上述至少一個量化系數(shù)進行可變長編碼。
2.如權(quán)利要求1所述的動態(tài)圖像編碼方法， 在上述判定步驟，在判定為對上述預(yù)測殘差不應(yīng)用上述正交變換的情況下，作為上述正交變換跳躍標(biāo)志的值算出1， 在上述系數(shù)編碼步驟，在上述正交變換跳躍標(biāo)志的值為I的情況下，并且，在通過幀內(nèi)預(yù)測生成上述預(yù)測圖像并且上述幀內(nèi)預(yù)測的預(yù)測方向是水平方向的情況下，將上述掃描順序切換成沿著水平方向的順序。
3.如權(quán)利要求1所述的動態(tài)圖像編碼方法， 在上述判定步驟，在判定為對上述預(yù)測殘差不應(yīng)用上述正交變換的情況下，作為上述正交變換跳躍標(biāo)志的值算出1， 在上述系數(shù)編碼步驟，在上述正交變換跳躍標(biāo)志的值為I的情況下，并且，在通過幀內(nèi)預(yù)測生成上述預(yù)測圖像并且上述幀內(nèi)預(yù)測的預(yù)測方向是垂直方向的情況下，將上述掃描順序切換成沿著垂直方向的順序。
4.如權(quán)利要求1至3的任一項所述的動態(tài)圖像編碼方法， 在上述正交變換步驟，在上述正交變換跳躍標(biāo)志的值為I的情況下，不進行上述正交變換。
5.如權(quán)利要求1至4的任一項所述的動態(tài)圖像編碼方法， 在上述標(biāo)志編碼步驟，只在通過幀內(nèi)預(yù)測生成上述預(yù)測圖像，并且上述正交變換的尺寸為4X4的情況下，對上述正交變換跳躍標(biāo)志進行可變長編碼。
6.如權(quán)利要求1至5的任一項所述的動態(tài)圖像編碼方法， 在上述量化步驟，根據(jù)上述正交變換跳躍標(biāo)志的值，對上述至少一個正交變換系數(shù)進行量化。
7.如權(quán)利要求6所述的動態(tài)圖像編碼方法， 在上述判定步驟，在判定為對上述預(yù)測殘差不應(yīng)用上述正交變換的情況下，作為上述正交變換跳躍標(biāo)志的值算出1， 在上述量化步驟，在上述正交變換跳躍標(biāo)志的值為I的情況下，不利用量化矩陣就對上述至少一個正交變換系數(shù)進行量化。
8.一種動態(tài)圖像解碼方法，按每個塊對已編碼動態(tài)圖像進行解碼，該動態(tài)圖像解碼方法包括: 標(biāo)志解碼步驟，對表示是否對解碼對象塊應(yīng)用逆正交變換的正交變換跳躍標(biāo)志進行可變長解碼； 系數(shù)解碼步驟，根據(jù)上述正交變換跳躍標(biāo)志的值，對上述解碼對象塊中包含的至少一個量化系數(shù)的掃描順序進行切換，并按照切換后的掃描順序?qū)ι鲜鲋辽僖粋€量化系數(shù)進行可變長解碼； 逆量化步驟，通過對可變長解碼后的上述至少一個量化系數(shù)進行逆量化，算出至少一個逆量化系數(shù)； 逆正交變換步驟，通過根據(jù)上述正交變換跳躍標(biāo)志的值，來對上述至少一個逆量化系數(shù)進行逆正交變換，從而算出上述解碼對象塊的預(yù)測殘差；以及 重構(gòu)圖像生成步驟，利用與上述解碼對象塊鄰接的參照塊，或者與解碼對象圖片不同的參照圖片內(nèi)的參照塊，生成上述解碼對象塊的預(yù)測圖像，并通過對上述預(yù)測殘差和上述預(yù)測圖像進行加法運算而生成重構(gòu)圖像。
9.如權(quán)利要求8所述的動態(tài)圖像解碼方法， 在上述系數(shù)解碼步驟，在上述正交變換跳躍標(biāo)志的值為1的情況下，并且，在通過幀內(nèi)預(yù)測生成上述預(yù)測圖像并且上述幀內(nèi)預(yù)測的預(yù)測方向是水平方向的情況下，將上述掃描順序切換成沿著水平方向的順序。
10.如權(quán)利要求8所述的動態(tài)圖像解碼方法， 在上述系數(shù)解碼步驟，在上述正交變換跳躍標(biāo)志的值為1的情況下，并且，在通過幀內(nèi)預(yù)測生成上述預(yù)測圖像并且上述幀內(nèi)預(yù)測的預(yù)測方向是垂直方向的情況下，將上述掃描順序切換成沿著垂直方向的順序。
11.如權(quán)利要求8至10的任一項所述的動態(tài)圖像解碼方法， 在上述逆正交變換步驟，在上述正交變換跳躍標(biāo)志的值為1的情況下，不進行上述逆正交變換。
12.如權(quán)利要求8至11的任一項所述的動態(tài)圖像解碼方法， 在上述標(biāo)志解碼步驟，只在通過幀內(nèi)預(yù)測生成上述預(yù)測圖像，并且上述逆正交變換的尺寸為4X4的情況下，對上述正交變換跳躍標(biāo)志進行可變長解碼。
13.如權(quán)利要求8至12的任一項所述的動態(tài)圖像解碼方法， 在上述逆量化步驟，根據(jù)上述正交變換跳躍標(biāo)志的值，對可變長解碼后的上述至少一個量化系數(shù)進行逆量化。
14.如權(quán)利要求13所述的動態(tài)圖像解碼方法， 在上述逆量化步驟，在上述正交變換跳躍標(biāo)志的值為1的情況下，不利用量化矩陣就對上述至少一個量化系數(shù)進行逆量化。
15.一種動態(tài)圖像編碼裝置，具備控制電路以及與該控制電路電連接的存儲裝置，該動態(tài)圖像編碼裝置按每個塊對動態(tài)圖像進行編碼， 上述控制電路執(zhí)行以下步驟: 預(yù)測殘差生成步驟，利用與編碼對象塊鄰接的參照塊，或者與編碼對象圖片不同的參照圖片內(nèi)的參照塊，生成上述編碼對象塊的預(yù)測圖像，并生成作為上述編碼對象塊和上述預(yù)測圖像的差值的預(yù)測殘差； 判定步驟，通過判定是否對上述預(yù)測殘差應(yīng)用正交變換，來算出正交變換跳躍標(biāo)志的值； 正交變換步驟，根據(jù)上述正交變換跳躍標(biāo)志的值，對上述預(yù)測殘差進行上述正交變換，從而算出至少一個正交變換系數(shù)； 量化步驟，通過對上述至少一個正交變換系數(shù)進行量化，從而算出至少一個量化系數(shù)； 標(biāo)志編碼步驟，對上述正交變換跳躍標(biāo)志進行可變長編碼；以及系數(shù)編碼步驟，根據(jù)上述正交變換跳躍標(biāo)志的值，對上述至少一個量化系數(shù)的掃描順序進行切換，并按照切換后的掃描順序來對上述至少一個量化系數(shù)進行可變長編碼。
16.一種動態(tài)圖像解碼裝置，具備控制電路以及與該控制電路電連接的存儲裝置，該動態(tài)圖像解碼裝置按每個塊對已編碼動態(tài)圖像進行解碼， 上述控制電路執(zhí)行以下步驟: 標(biāo)志解碼步驟，對表示是否對解碼對象塊應(yīng)用逆正交變換的正交變換跳躍標(biāo)志進行可變長解碼； 系數(shù)解碼步驟，根據(jù)上述正交變換跳躍標(biāo)志的值，對上述解碼對象塊中包含的至少一個量化系數(shù)的掃描順序進行切換，并按照切換后的掃描順序?qū)ι鲜鲋辽僖粋€量化系數(shù)進行可變長解碼； 逆量化步驟，通過對可變長解碼后的上述至少一個量化系數(shù)進行逆量化，算出至少一個逆量化系數(shù)； 逆正交變換步驟，通過根據(jù)上述正交變換跳躍標(biāo)志的值，對上述至少一個逆量化系數(shù)進行逆正交變換，從而算出上述解碼對象塊的預(yù)測殘差；以及 重構(gòu)圖像生成步驟，利用與上述解碼對象塊鄰接的參照塊，或者與解碼對象圖片不同的參照圖片內(nèi)的參照塊，生成上述解碼對象塊的預(yù)測圖像，并通過對上述預(yù)測殘差和上述預(yù)測圖像進行加法運算而生成重構(gòu)圖像。
【文檔編號】H04N19/463GK104335582SQ201380023879
【公開日】2015年2月4日 申請日期:2013年6月12日 優(yōu)先權(quán)日:2012年6月12日
【發(fā)明者】杉尾敏康, 西孝啟, 柴原陽司, 谷川京子, 笹井壽郎, 松延徹, 寺田健吾 申請人:松下電器（美國）知識產(chǎn)權(quán)公司