專利名稱：編碼設(shè)備和編碼方法以及解碼設(shè)備和解碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及編碼設(shè)備和編碼方法以及解碼設(shè)備和解碼方法，特別 是涉及能夠在傳送了編碼圖像時(shí)以低延遲得到解碼圖像的編碼設(shè)備和 編碼方法以及解碼設(shè)備和解碼方法。
背景技術(shù)：
以往，作為代表性的圖像壓縮方式，有被ISO ( International Organization for Standardization,國(guó)際標(biāo)準(zhǔn)化組織)標(biāo)準(zhǔn)化的JPEG (Joint Photographic Experts Group,聯(lián)合圖像專家組)方式。在該 JPEG方式中，將圖《象分割成塊，對(duì)每個(gè)塊實(shí)施DCT( Discrete Cosine Transform,離散余弦變換)以得到DCT系數(shù)，將DCT系數(shù)量化， 并進(jìn)一步執(zhí)行熵編碼，從而實(shí)現(xiàn)具有高質(zhì)量和高壓縮率的圖像壓縮。
近年來(lái)，對(duì)于利用被稱為濾波器組(filter bank)的、使用高通 濾波器和低通濾器的組合的濾波器來(lái)將圖像分割成多個(gè)頻帶并且逐個(gè) 頻帶地進(jìn)行編碼的編碼方式，進(jìn)行了活躍的研究。其中，小波變換編 碼沒(méi)有DCT的在高壓縮時(shí)塊失真變得顯著的缺點(diǎn)，因此被認(rèn)為是超 過(guò)DCT的一種新的有前途的技術(shù)。
例如，在2001年1月完成了國(guó)際標(biāo)準(zhǔn)化的JPEG2000采用將該 小波變化與基于比特平面單位的比特建模和算術(shù)編碼的高效熵編碼組 合的壓縮編碼方式。利用該JPEG2000方式，相對(duì)于JPEG方式實(shí)現(xiàn) 了編碼效率的顯著提高。專利文獻(xiàn)1記載了一種進(jìn)一步提高了編碼效 率的小波變換方法。
專利文獻(xiàn)1:日本未審查專利申請(qǐng)公開(kāi)NO.9 - 130800

發(fā)明內(nèi)容
在傳送以上述的這種編碼方式編碼的圖像時(shí)，在編碼設(shè)備或解碼 設(shè)備的任意一個(gè)中都需要執(zhí)行以低延遲得到解碼圖像的預(yù)定處理。例 如，在編碼設(shè)備中執(zhí)行該預(yù)定處理的情況下，需要從編碼設(shè)備向解碼 設(shè)備通知不需要在解碼單元中執(zhí)行該預(yù)定處理。另一方面，不在編碼 設(shè)備中執(zhí)行該預(yù)定處理的情況下，需要從編碼設(shè)備向解碼設(shè)備通知需 要在解碼單元中執(zhí)行該預(yù)定處理。
除非能夠以這種方式適當(dāng)?shù)貜木幋a設(shè)備向解碼設(shè)備通知是否執(zhí) 行該預(yù)定處理等信息，否則很難在傳送了編碼圖像時(shí)以低延遲得到解 碼圖像。
本發(fā)明鑒于上述情況而作出，能夠在傳送了編碼圖像時(shí)以低延遲 得到解碼圖像。
本發(fā)明的第1方面的編碼設(shè)備是一種執(zhí)行圖像數(shù)據(jù)的編碼處理以
生成編碼流的編碼設(shè)備，包括識(shí)別信息生成單元，用于生成共有處 理識(shí)別信息或程序識(shí)別信息，其中，所述共有處理識(shí)別信息識(shí)別通過(guò) 編碼處理和解碼處理中的哪一個(gè)來(lái)執(zhí)行在圖像數(shù)據(jù)的編碼處理和編碼
流的解碼處理之間共有的處理，所述程序識(shí)別信息識(shí)別從分配模式或 配置模式相互不同的多個(gè)解碼程序中選擇哪個(gè)解碼程序，并且，所迷 分配模式是將構(gòu)成解碼處理的多個(gè)處理分配給多個(gè)處理單元的分配模 式，所述配置模式是由多個(gè)處理使用的存儲(chǔ)器的配置模式；編碼單元， 用于執(zhí)行圖像數(shù)據(jù)的編碼處理，以生成編碼流；和傳送單元，用于將 由識(shí)別信息生成單元生成的共有處理識(shí)別信息或程序識(shí)別信息與由編 碼單元生成的編碼流一起傳送。
本發(fā)明的第1方面的解碼方法是一種執(zhí)行圖像數(shù)據(jù)的編碼處理以 生成編碼流的編碼方法，包括以下步驟生成共有處理識(shí)別信息或程 序識(shí)別信息，其中，所述共有處理識(shí)別信息識(shí)別通過(guò)編碼處理和解碼 處理中的哪一個(gè)來(lái)執(zhí)行在圖像數(shù)據(jù)的編碼處理和編碼流的解碼處理之 間共有的處理，所述程序識(shí)別信息識(shí)別從分配模式或配置模式相互不 同的多個(gè)解碼程序中選擇哪個(gè)解碼程序，并且，所述分配模式是將構(gòu)成解碼處理的多個(gè)處理分配給多個(gè)處理單元的分配模式，所述配置模
式是由多個(gè)處理使用的存儲(chǔ)器的配置模式；執(zhí)行圖像數(shù)據(jù)的編碼處理， 以生成編碼流；以及將共有處理識(shí)別信息或程序識(shí)別信息與編碼流一 起傳送。
在本發(fā)明的第1方面中，生成共有處理識(shí)別信息或程序識(shí)別信息， 其中，所述共有處理識(shí)別信息識(shí)別通過(guò)編碼處理和解碼處理中的哪一 個(gè)來(lái)執(zhí)行在圖像數(shù)據(jù)的編碼處理和編碼流的解碼處理之間共有的處 理，所述程序識(shí)別信息識(shí)別從分配模式或配置模式相互不同的多個(gè)解 碼程序中選擇哪個(gè)解碼程序，并且，所述分配模式是將構(gòu)成解碼處理 的多個(gè)處理分配給多個(gè)處理單元的分配模式，所述配置模式是由多個(gè) 處理使用的存儲(chǔ)器的配置模式。然后，對(duì)圖像數(shù)據(jù)執(zhí)行編碼處理，以 生成編碼流，并且將共有處理識(shí)別信息或程序識(shí)別信息與編碼流一起 傳送。
本發(fā)明的第2方面的解碼設(shè)備是一種執(zhí)行通過(guò)執(zhí)行圖像數(shù)據(jù)的編 碼處理而得到的編碼流的解碼處理的解碼設(shè)備，包括取得單元，與 編碼流一起取得共有處理識(shí)別信息或程序識(shí)別信息，其中，所述共有 處理識(shí)別信息識(shí)別通過(guò)編碼處理和解碼處理中的哪一個(gè)來(lái)執(zhí)行在圖像 數(shù)據(jù)的編碼處理和編碼流的解碼處理之間共有的處理，所述程序識(shí)別 信息識(shí)別從分配模式或配置模式相互不同的多個(gè)解碼程序中選擇哪個(gè) 解碼程序，并且，所述分配模式是將構(gòu)成解碼處理的多個(gè)處理分配給 多個(gè)處理單元的分配模式，所述配置模式是由多個(gè)處理使用的存儲(chǔ)器 的配置模式；解碼單元，用于執(zhí)行由取得單元取得的編碼流的解碼處 理；和控制單元，用于控制解碼單元，以按照由取得單元取得的共有 處理識(shí)別信息或程序識(shí)別信息所表示的處理方式，執(zhí)行解碼處理。
本發(fā)明的第2方面的解碼方法是一種執(zhí)行通過(guò)執(zhí)行圖像數(shù)據(jù)的編 碼處理而得到的編碼流的解碼處理的解碼方法，包括以下步驟與編 碼流一起取得共有處理識(shí)別信息或程序識(shí)別信息，其中，所述共有處 理識(shí)別信息識(shí)別通過(guò)編碼處理和解碼處理中的哪一個(gè)來(lái)執(zhí)行在圖像數(shù) 據(jù)的編碼處理和編碼流的解碼處理之間共有的處理，所述程序識(shí)別信息識(shí)別從分配模式或配置模式相互不同的多個(gè)解碼程序中選擇哪個(gè)解 碼程序，并且，所述分配模式是將構(gòu)成解碼處理的多個(gè)處理分配給多 個(gè)處理單元的分配模式，所述配置模式是由多個(gè)處理使用的存儲(chǔ)器的
配置模式；以及執(zhí)行控制，以使解碼處理按照共有處理識(shí)別信息或程 序識(shí)別信息所表示的處理方式來(lái)執(zhí)行。
在本發(fā)明的第2方面中，與編碼流一起取得共有處理識(shí)別信息或 程序識(shí)別信息，其中，所述共有處理識(shí)別信息識(shí)別通過(guò)編碼處理和解 碼處理中的哪一個(gè)來(lái)執(zhí)行在圖像數(shù)據(jù)的編碼處理和編碼流的解碼處理 之間共有的處理，所述程序識(shí)別信息識(shí)別從分配模式或配置模式相互 不同的多個(gè)解碼程序中選擇哪個(gè)解碼程序，并且，所述分配模式是將 構(gòu)成解碼處理的多個(gè)處理分配給多個(gè)處理單元的分配才莫式，所述配置 模式是由多個(gè)處理使用的存儲(chǔ)器的配置模式。然后，對(duì)編碼流執(zhí)行解 碼處理，并且執(zhí)行控制，以使解碼處理按照共有處理識(shí)別信息或程序 識(shí)別信息所表示的處理方式來(lái)執(zhí)行。
根據(jù)本發(fā)明的第l和第2方面，在傳送了編碼圖像數(shù)據(jù)時(shí)能夠以 低延遲得到解碼圖像。


圖i是示出應(yīng)用了本發(fā)明的編碼設(shè)備的一個(gè)實(shí)施方式的結(jié)構(gòu)例子 的框圖。
圖2是示出應(yīng)用了本發(fā)明的解碼設(shè)備的結(jié)構(gòu)例子的框圖。 圖3是示出編碼單元14的結(jié)構(gòu)例子的框圖。 圖4是示意性地說(shuō)明小波變換的簡(jiǎn)圖。 圖5是示意性地說(shuō)明小波變換的簡(jiǎn)圖。
圖6是示出利用5x3濾波器的提升(lifting)的濾波被執(zhí)行到分 解級(jí)別=2的例子的簡(jiǎn)圖。
圖7是示意性地示出本發(fā)明的小波變換和小波逆變換的流程的簡(jiǎn)圖。
圖8是示出標(biāo)題的結(jié)構(gòu)例子的圖。
9圖9是說(shuō)明序列標(biāo)題的圖。
圖IO是說(shuō)明圖片標(biāo)題的圖。
圖ll是說(shuō)明分區(qū)(precinct)標(biāo)題的圖。
圖12是示出解碼單元36的結(jié)構(gòu)例子的框圖。
圖13是說(shuō)明對(duì)圖像數(shù)據(jù)進(jìn)行編碼的處理的流程圖。
圖14是說(shuō)明生成標(biāo)題的處理的流程圖。
圖15是說(shuō)明對(duì)圖像數(shù)據(jù)進(jìn)行解碼的處理的流程圖。
圖16是說(shuō)明分析標(biāo)題的處理的流程圖。
圖17是示意性地示出由編碼單元和解碼單元的各個(gè)要素執(zhí)行的 并行操作的例子的簡(jiǎn)圖。
圖18是示出個(gè)人計(jì)算機(jī)的結(jié)構(gòu)例子的框圖。
圖19是示出向編碼單元分配硬件資源的例子的圖。
圖20是示出圖19中的例子的情況下的處理流程的示意圖。
圖21是示出向編碼單元分配硬件資源的另一例子的圖。
圖22是示出向編碼單元分配硬件資源的另一例子的圖。
圖23是示出圖22中的例子的情況下的處理流程的示意圖。
圖24是示出向編碼單元分配硬件資源的另一例子的圖。
圖25是示出圖24中的例子的情況下的處理流程的示意圖。
圖26是示出向解碼單元分配硬件資源的例子的圖。
圖27是示出圖26中的例子的情況下的處理流程的示意圖。
圖28是示出向解碼單元分配硬件資源的另一例子的圖。
圖29是示出圖28中的例子的情況下的處理流程的示意圖。
圖30是示出向解碼單元分配硬件資源的另一例子的圖。
圖31是示出圖30中的例子的情況下的處理流程的示意圖。
圖32是示出編碼單元的另一結(jié)構(gòu)例子的框圖。
圖33是示出向圖32中的編碼單元分配硬件資源的另一例子的圖。
圖34是示出編碼單元的另一結(jié)構(gòu)例子的框圖。
圖35是示出與圖34中的編碼單元對(duì)應(yīng)的解碼單元的結(jié)構(gòu)例子的
10框圖。
圖36是示出信息處理系統(tǒng)的結(jié)構(gòu)例子的框圖。 圖37是示出子CPU核的結(jié)構(gòu)例子的框圖。 圖38是示出主CPU核的結(jié)構(gòu)例子的框圖。 圖39是示出小波變換關(guān)系表的結(jié)構(gòu)例子的圖。 圖40是示出系數(shù)重新排列關(guān)系表的結(jié)構(gòu)例子的圖。 圖41是說(shuō)明編碼選擇控制處理的流程例子的流程圖。 圖42是說(shuō)明計(jì)算精度選擇處理的流程例子的流程圖。 圖43是說(shuō)明編碼方式選擇處理的流程例子的流程圖。 圖44是說(shuō)明解碼選擇控制處理的流程例子的流程圖。 圖45是說(shuō)明解碼方式選擇處理的流程例子的流程圖。 圖46是示出利用5x3濾波器的提升的濾波被執(zhí)行到分解級(jí)別=2 的例子的簡(jiǎn)圖。
圖47是示出利用5x3濾波器的提升的濾波被執(zhí)行到分解級(jí)別=2 的例子的簡(jiǎn)圖。
圖48是示出解碼單元36的另一實(shí)施方式的框圖。 圖49是示出編碼單元14的另一實(shí)施方式的框圖。 圖50是示出解碼單元36的另一實(shí)施方式的框圖。 附圖標(biāo)記說(shuō)明
12攝像設(shè)備、13編碼設(shè)備、14編碼單元、15分組生成單元、16 發(fā)送單元、17標(biāo)題生成單元、18序列標(biāo)題生成單元、19圖片標(biāo)題生 成單元、20分區(qū)標(biāo)題生成單元、21傳送單元、22識(shí)別信息生成單元、 32解碼設(shè)備、33顯示設(shè)備、34接收單元、35分組解讀單元、36解碼 單元、37輸出單元、38標(biāo)題解讀單元、39序列標(biāo)題解讀單元、40圖 片標(biāo)題解讀單元、41分區(qū)標(biāo)題解讀單元、42識(shí)別信息取得單元、43 解碼控制單元、44編碼碼流取得單元、51小波變換單元、52中間計(jì) 算緩沖器單元、53系數(shù)重新排列緩沖器單元、54系數(shù)重新排列單元、 55熵編碼單元、61熵解碼單元、62系數(shù)緩沖器單元、63小波逆變換 單元、IOO個(gè)人計(jì)算機(jī)、IOICPU、 103RAM、 111高速緩沖存儲(chǔ)器、300信息處理系統(tǒng)、403XDR-RAM、 441主CPU核、442子CPU核、 451 LS、 502編碼選擇控制單元、503解碼選擇控制單元、504高速緩 沖存儲(chǔ)器、516編碼方式選擇單元、517分配單元、524解碼方式選擇 單元、525分配單元
具體實(shí)施例方式
以下參照附圖詳細(xì)說(shuō)明應(yīng)用了本發(fā)明的具體實(shí)施方式
。 圖l是示出應(yīng)用了本發(fā)明的編碼設(shè)備的一個(gè)實(shí)施方式的結(jié)構(gòu)例子 的框圖。
在圖1中，攝像設(shè)備12與編碼設(shè)備13連接。編碼設(shè)備13對(duì)攝 像設(shè)備12拍攝的圖像進(jìn)行編碼。
攝像設(shè)備12具有使用CCD ( Charge Coupled Device,電荷耦合 器件)、CMOS ( Complementary Mental-Oxide Semiconductor, 互 補(bǔ)金屬氧化物半導(dǎo)體)等的攝像元件，拍攝對(duì)象的圖像。即，攝像設(shè) 備12從對(duì)象接收光并根據(jù)所接收到的光量生成由電信號(hào)形成的拍攝 圖像。然后，攝像設(shè)備12將所拍攝的圖像轉(zhuǎn)換成作為數(shù)字?jǐn)?shù)據(jù)的圖像 數(shù)據(jù)，并將該圖像數(shù)據(jù)提供給編碼設(shè)備13。
編碼設(shè)備13由編碼單元14、識(shí)別信息生成單元21和傳送單元 22構(gòu)成。
圖像數(shù)據(jù)從攝像設(shè)備12提供給編碼單元14。編碼單元14按預(yù)定 方法對(duì)圖像數(shù)據(jù)進(jìn)行編碼，并將通過(guò)編碼得到的編碼數(shù)據(jù)提供給分組 生成單元15。
識(shí)別信息生成單元21生成與在編碼單元14中執(zhí)行的編碼處理有 關(guān)的信息，并將該信息提供給傳送單元22。作為與編碼處理有關(guān)的信 息，例如有用于識(shí)別由編碼單元14和解碼設(shè)備32的解碼單元36 (在 后述的圖2中示出)中的哪一個(gè)執(zhí)行在編碼單元14的編碼處理和解碼 單元36的解碼處理之間共有的處理的信息(共有處理識(shí)別信息)、以 及用于識(shí)別從多個(gè)解碼程序中選擇哪個(gè)解碼程序的信息(程序識(shí)別信 息)等，其中，該多個(gè)解碼程序在將構(gòu)成解碼單元36的多個(gè)處理分配給多個(gè)處理單元的分配模式或者在由多個(gè)處理使用的存儲(chǔ)器的配置模 式中彼此不同。
傳送單元22將由識(shí)別信息生成單元21生成的信息轉(zhuǎn)換成流格 式，以生成編碼碼流，并在編碼碼流的標(biāo)題(具體地說(shuō)，在MPEG (Moving Picture Experts Group,運(yùn)動(dòng)圖像專家組)標(biāo)準(zhǔn)中是用戶數(shù) 據(jù)區(qū))中適當(dāng)?shù)剌斎朊枋觥?br> 而且，為了將編碼碼流(包括標(biāo)題中包含的信息)記錄到驅(qū)動(dòng)器 (未示出)中安裝的記錄介質(zhì)上，傳送單元22可以向驅(qū)動(dòng)器發(fā)送編碼 碼流。
即，傳送單元22由分組生成單元15、發(fā)送單元16和標(biāo)題生成單 元17構(gòu)成。
編碼數(shù)據(jù)從編碼單元14提供給分組生成單元15，包括與編碼數(shù) 據(jù)有關(guān)的信息的標(biāo)題從標(biāo)題生成單元17提供給分組生成單元15。分 組生成單元15使編碼數(shù)據(jù)分組化。即，分組生成單元15通過(guò)將編碼 數(shù)據(jù)分割成預(yù)定的數(shù)據(jù)大小并且附加來(lái)自標(biāo)題生成單元17的標(biāo)題、用 于使數(shù)據(jù)的發(fā)送和接收定時(shí)同步的同步碼等，生成分組。分組生成單 元15將分組提供給發(fā)送單元16。
發(fā)送單元16按照?qǐng)D像的同步信號(hào)的定時(shí)，經(jīng)由包括有線或無(wú)線 的信道或者包括有線和無(wú)線的信道，利用預(yù)定的通信方法發(fā)送(送出) 由從分組生成單元15提供的分組形成的編碼碼流。而且，用于傳送分 組的信道可以是專用或通用傳送電纜，可以包括例如LAN( Local Area Network,局域網(wǎng))或互聯(lián)網(wǎng)等一個(gè)或多個(gè)通信網(wǎng)絡(luò)，或者可以包括 某個(gè)通信中繼設(shè)備。
標(biāo)題生成單元17由序列標(biāo)題生成單元18、圖片標(biāo)題生成單元19 和分區(qū)標(biāo)題生成單元20構(gòu)成，向序列標(biāo)題生成單元18、圖片標(biāo)題生 成單元19和分區(qū)標(biāo)題生成單元20提供從識(shí)別信息生成單元21提供的 信息(共用處理識(shí)別信息或程序識(shí)別信息等)。
這里，從編碼設(shè)備13發(fā)送的一系列圖像作為整體被稱為序列， 構(gòu)成序列的多個(gè)圖像中的每個(gè)圖像被稱為圖片。而且，在構(gòu)成圖片的多行中，作為將參考圖6后述的小波變換的處理單位的行數(shù)被稱為集 合分區(qū)。即，圖片由多個(gè)分區(qū)構(gòu)成。
當(dāng)編碼設(shè)備13開(kāi)始發(fā)送一系列圖像時(shí)，序列標(biāo)題生成單元18生 成包括該一 系列圖像共有的信息的序列標(biāo)題，并將序列標(biāo)題提供給分 組生成單元15。包含在序列標(biāo)題中的信息將參考圖9后述。
每當(dāng)從編碼單元14向分組生成單元15提供圖片時(shí)，圖片標(biāo)題生 成單元19就生成包括與每個(gè)圖片有關(guān)的信息的圖片標(biāo)題，并將圖片標(biāo) 題提供給分組生成單元15。包含在圖片標(biāo)題中的信息將參考圖10后 述。
每當(dāng)從編碼單元14向分組生成單元15提供分區(qū)時(shí)，分區(qū)標(biāo)題生 成單元20就生成包括與每個(gè)分區(qū)有關(guān)的信息的分區(qū)標(biāo)題，并將分區(qū)標(biāo) 題提供給分組生成單元15。包含在分區(qū)標(biāo)題中的信息將參考圖11后 述。
圖2是示出應(yīng)用了本發(fā)明的解碼設(shè)備的結(jié)構(gòu)例子的框圖。 在圖2中，顯示設(shè)備33與解碼設(shè)備32連接。 顯示設(shè)備33具有顯示器，在顯示器上顯示由解碼設(shè)備32解碼和 輸出的圖像。
解碼設(shè)備32由編碼碼流取得單元44、識(shí)別信息取得單元42、解 碼控制單元43、解碼單元36和輸出單元37構(gòu)成。
編碼碼流取得單元44取得從圖1中的發(fā)送單元16的傳送單元22 傳送的編碼碼流。編碼碼流取得單元44將編碼碼流解碼，提取編碼碼 流的標(biāo)題(具體地，在MPWG標(biāo)準(zhǔn)中是用戶數(shù)據(jù)區(qū))中記載的信息， 并將該信息提供給識(shí)別信息取得單元42。
替代地，編碼碼流取得單元44通過(guò)從安裝了記錄有編碼碼流(包 括標(biāo)題中包含的信息)的記錄介質(zhì)的驅(qū)動(dòng)器(未圖示)讀取(重放)， 來(lái)取得編碼碼流。
即，編碼碼流取得單元44由接收單元34、分組解讀單元35和標(biāo) 題解讀單元38構(gòu)成。
接收單元34按照預(yù)定的通信方法接收從圖1中的發(fā)送單元16發(fā)送的編碼碼流，并將編碼碼流提供給分組解讀單元35。
分組解讀單元35從接收單元34提供的編碼碼流的分組中提取標(biāo) 題和編碼數(shù)據(jù)，將標(biāo)題提供給標(biāo)題解讀單元38，并將編碼數(shù)據(jù)提供給 解碼單元36。
標(biāo)題解讀單元38由序列標(biāo)題解讀單元39、圖片標(biāo)題解讀單元40 和分區(qū)標(biāo)題解讀單元41構(gòu)成。
由分組解讀單元35從分組中提供的序列標(biāo)題被提供給序列標(biāo)題 解讀單元39。序列標(biāo)題解讀單元39分析序列標(biāo)題，并將序列標(biāo)題中 包含的信息提供給識(shí)別信息取得單元42。
由分組解讀單元35從分組中提供的圖片標(biāo)題被提供給圖片標(biāo)題 解讀單元40。圖片標(biāo)題解讀單元40分析圖片標(biāo)題，并將圖片標(biāo)題中 包含的信息提供給識(shí)別信息取得單元42。
由分組解讀單元35從分組中提供的分區(qū)標(biāo)題被提供給分區(qū)標(biāo)題 解讀單元41。分區(qū)標(biāo)題解讀單元41分析分區(qū)標(biāo)題，并將分區(qū)標(biāo)題中 包含的信息提供給識(shí)別信息取得單元42。
編碼碼流的標(biāo)題中包含的信息從編碼碼流取得單元44提供給識(shí) 別信息取得單元42。識(shí)別信息取得單元42取得包含在編碼碼流的標(biāo) 題中的信息，即，由圖1中的識(shí)別信息生成單元21生成的信息(共有 處理識(shí)別信息或程序識(shí)別信息等)，并將該信息提供給解碼控制單元 43。
解碼控制單元43控制解碼單元36，使其按照由從識(shí)別信息取得 單元42提供的信息指示的處理方式對(duì)編碼碼流進(jìn)行解碼。
按照解碼控制單元43的控制，解碼單元36利用與圖1中的編碼 單元14的編碼方法對(duì)應(yīng)的方法，對(duì)從分組解讀單元35提供的編碼數(shù) 據(jù)進(jìn)行解碼，并將作為結(jié)果而獲得的圖像數(shù)據(jù)提供給輸出單元37。
輸出單元37將從解碼單元36提供的圖像數(shù)據(jù)輸出到顯示設(shè)備33。
在如上所述構(gòu)成的編碼設(shè)備13和解碼設(shè)備32中，在攝像設(shè)備12 中拍攝的圖像在編碼單元14中被編碼，在分組生成單元15中被分組
15化并發(fā)送。分組在分組解讀單元35中被解讀，在解碼單元36中被解 碼，并在顯示設(shè)備33上顯示。
在編碼設(shè)備13和解碼設(shè)備32中，除了由攝像設(shè)備12拍攝的圖 像外，例如還可以傳送預(yù)先拍攝和累積的圖像。而且，從編碼設(shè)備13 傳送的圖像可以用于在顯示設(shè)備33上顯示以外的目的，例如用于記錄 到記錄設(shè)備(未圖示)上。另外，盡管在該例子中作為要傳送的數(shù)據(jù) 僅說(shuō)明了圖像數(shù)據(jù)，但例如也可以與圖像數(shù)據(jù)一起傳送語(yǔ)音數(shù)據(jù)等其 它種類的數(shù)據(jù)。
另外，編碼設(shè)備13發(fā)送分組的方法可以是僅向解碼設(shè)備32發(fā)送 分組的單播，也可以是向包括解碼設(shè)備32在內(nèi)的多個(gè)設(shè)備發(fā)送分組的
多播，還可以是向不特定多數(shù)的設(shè)備發(fā)送分組的廣播。
另外，除了被附加到分組的標(biāo)題上并發(fā)送到解碼設(shè)備32以外， 由編碼設(shè)備13的識(shí)別信息生成單元21生成的信息可以被多路復(fù)用， 并且例如以并行方式通過(guò)與傳送圖像數(shù)據(jù)(編碼數(shù)據(jù))的信道不同的 信道(不同系統(tǒng))從識(shí)別信息生成單元21發(fā)送給識(shí)別信息取得單元 42。
圖3是示出圖1中的編碼單元14的結(jié)構(gòu)例子的框圖。 如圖3所示，編碼單元14具有小波變換單元51、中間計(jì)算緩沖 器單元52、系數(shù)重新排列緩沖器單元53、系數(shù)重新排列單元54和熵 編碼單元55的功能。
輸入到編碼單元14的圖像數(shù)據(jù)經(jīng)由小波變換單元51被臨時(shí)累積 到中間計(jì)算緩沖器單元52中。小波變換單元51對(duì)中間計(jì)算緩沖器單 元52中累積的圖像數(shù)據(jù)實(shí)施小波變換。即，小波變換單元51從中間 計(jì)算緩沖器單元52中讀出圖像數(shù)據(jù)，利用分析濾波器實(shí)施濾波處理， 以生成低頻分量和高頻分量的系數(shù)的數(shù)據(jù)，并將所生成的系數(shù)數(shù)據(jù)存 儲(chǔ)到中間計(jì)算緩沖器單元52中。小波變換單元51具有水平分析濾波 器和垂直分析濾波器，針對(duì)屏幕的水平方向和屏幕的垂直方向?qū)D像 數(shù)據(jù)組執(zhí)行分析濾波處理。小波變換單元51再次讀出中間計(jì)算緩沖器 單元52中存儲(chǔ)的低頻分量的系數(shù)數(shù)據(jù)，并利用分析濾波器對(duì)所讀出的系數(shù)數(shù)據(jù)實(shí)施濾波處理，從而進(jìn)一步生成高頻分量和低頻分量的系數(shù)
的數(shù)據(jù)。所生成的系數(shù)數(shù)據(jù)被存儲(chǔ)到中間計(jì)算緩沖器單元52中。
當(dāng)在重復(fù)上述處理之后分解級(jí)別達(dá)到預(yù)定級(jí)別時(shí)，小波變換單元 51從中間計(jì)算緩沖器單元52中讀出系數(shù)數(shù)據(jù)，并將所讀出的系數(shù)數(shù) 據(jù)寫(xiě)入到系數(shù)重新排列緩沖器單元53中。
系數(shù)重新排列單元54按照預(yù)定的順序讀出被寫(xiě)入到系數(shù)重新排 列緩沖器單元53中的系數(shù)數(shù)據(jù)，并將該系數(shù)數(shù)據(jù)提供給熵編碼單元 55。熵編碼單元55利用預(yù)定的方法將所提供的系數(shù)數(shù)據(jù)量化，并按照 例如霍夫曼(Huffman)編碼或算術(shù)編碼等預(yù)定的熵編碼方式進(jìn)行編 碼。熵編碼單元55向編碼單元14外部輸出所生成的編碼數(shù)據(jù)。
以下更詳細(xì)地說(shuō)明在圖3的小波變換單元51中執(zhí)行的處理。首 先，概略地說(shuō)明小波變換。在圖像數(shù)據(jù)的小波變換中，如圖4中概略 示出的那樣，將圖像數(shù)據(jù)分割成高空間頻率和低空間頻率的頻帶的處 理針對(duì)作為分割結(jié)果得到的低空間頻率的頻帶中的數(shù)據(jù)遞歸地重復(fù)。 這樣，通過(guò)將低空間頻率的頻帶中的數(shù)據(jù)收縮至更小的區(qū)域，可以執(zhí) 行有效的壓縮編碼。
圖4示出將圖像數(shù)據(jù)的最低頻分量區(qū)域分割成低頻分量的區(qū)域L 和高頻分量的區(qū)域H的處理被重復(fù)3次，表示分割的分級(jí)級(jí)別的總數(shù) 的分割級(jí)別為3。在圖4中，"L，，和"H"分別表示低頻分量和高頻分量， 關(guān)于"L"和"H"的順序，前側(cè)表示作為在橫向上分割的結(jié)果得到的頻 帶，后側(cè)表示在縱向上分割的結(jié)果得到的頻帶。"L"和"H"前的數(shù)字表 示對(duì)應(yīng)區(qū)域的分級(jí)級(jí)別，低頻分量的分級(jí)級(jí)別用較小的值表示。該分 級(jí)級(jí)別的最大值表示小波變換在此時(shí)的分割級(jí)別(分割數(shù))。
從圖4中的例子可以理解，隨著以階梯方式從屏幕的右下區(qū)域到 左上區(qū)域執(zhí)行處理，低頻分量被收縮。即，在圖4的例子中，在屏幕 的右下區(qū)域是具有最少的低頻分量(包含最多的高頻分量)的區(qū)域 3HH的情況下，被分割成4個(gè)的屏幕的左上區(qū)域被進(jìn)一 步分割成4個(gè)， 在這4個(gè)分割區(qū)域中，左上區(qū)域被進(jìn)一步分割成4個(gè)。最左上的區(qū)域 是包含最多低頻分量的區(qū)域0LL。針對(duì)低頻分量重復(fù)進(jìn)行變換和分割的原因是，圖像的能量集中于
低頻分量。這一點(diǎn)從以下事實(shí)也可以理解從隨著分割級(jí)別從在圖5A 中示出其例子的分割級(jí)別=1的狀態(tài)前進(jìn)到在圖5B中示出其例子的分 割級(jí)別=3的狀態(tài)，如圖5B所示形成子帶。
例如，圖4中的小波變換的分割級(jí)別為3，結(jié)果形成10個(gè)子帶。
小波變換單元51通常使用由低通濾波器和高通濾波器構(gòu)成的濾 波器組來(lái)執(zhí)行上述處理。由于數(shù)字濾波器通常具有多個(gè)抽頭(tap)長(zhǎng) 度的脈沖響應(yīng)、即濾波器系數(shù)，因此，需要預(yù)先緩沖用于執(zhí)行濾波處 理的足夠量的輸入圖像數(shù)據(jù)或系數(shù)數(shù)據(jù)。
同樣，在多級(jí)執(zhí)行小波變換的情況下，也需要緩沖足夠用于執(zhí)行 濾波處理的個(gè)數(shù)的、在前面級(jí)生成的小波變換系數(shù)。
作為該小波變換的具體例子，下面說(shuō)明使用5x3濾波器的方法。 該使用5x3濾波器的方法也由JPEG 2000標(biāo)準(zhǔn)采用，并且證明該方法 在能夠以小的濾波器抽頭數(shù)執(zhí)行小波變換方面優(yōu)良。
如下面的表達(dá)式(1)和(2)所示，5x3濾波器的脈沖響應(yīng)(z 變換表達(dá))由低通濾波器H。 (z)和高頻濾波器Hi (z)構(gòu)成。
Ho(z) = (- 1 + 2z- 1 + 6z-2 + 2z-3 - z-4)/8 ... (1) H工(z) = (- 1 + 2z-1 -Z-2) /2 ... (2)
根據(jù)上述表達(dá)式(1)和(2)，可以直接計(jì)算低頻分量和高頻分 量的系數(shù)。此時(shí)，通過(guò)應(yīng)用提升(lifting)技術(shù)，可以減少濾波處理 中的計(jì)算。
以下更詳細(xì)地說(shuō)明該小波變換方法。圖6示出利用5x3濾波器的 提升的濾波處理被執(zhí)行到分解級(jí)別=2的例子。在圖6中，被指示為 圖的左側(cè)的分析濾波器的部分是圖3中的小波變換單元51的濾波器。 被指示為圖的右側(cè)的合成濾波器的部分是后述的小波逆變換單元的濾 波器。
順便提及，在以下說(shuō)明中，假設(shè)在顯示設(shè)備等中，屏幕的左上角 的像素作為第l像素，例如隨著從屏幕的左端到右端來(lái)掃描像素而形 成一行，隨著從屏幕的上端到下端進(jìn)行逐行掃描而形成一屏。
18在圖6中，在左端的列中，原圖像數(shù)據(jù)的行上的對(duì)應(yīng)位置上的像 素?cái)?shù)據(jù)被示為在縱向上排列。即，隨著使用垂直濾波器在屏幕上縱向 掃描像素而進(jìn)行小波變換單元51中的濾波處理。從左端起第l到第3 列表示分割級(jí)別=1的濾波處理，第4到第6列表示分割級(jí)別=2的濾 波處理。從左端起第2列表示基于左端的原圖像數(shù)據(jù)的像素的高頻分 量輸出，從左端起第3列表示基于原圖像數(shù)據(jù)和高頻分量輸出的低頻 分量輸出。如從左端起第4到第6列所示，在分割級(jí)別-2的濾波處 理中，對(duì)分割級(jí)別=1的濾波處理的輸出執(zhí)行處理。
在分解級(jí)別-1的濾波處理中，作為第1階段的濾波處理，根據(jù) 原圖像數(shù)據(jù)的像素來(lái)計(jì)算高頻分量的系數(shù)數(shù)據(jù)，作為第2階段的濾波 處理，根據(jù)在第1階段的濾波處理中計(jì)算的高頻分量的系數(shù)數(shù)據(jù)和原 圖像數(shù)據(jù)的像素來(lái)計(jì)算低頻分量的系數(shù)數(shù)據(jù)。分解級(jí)別-1的濾波處 理的例子由圖6的左側(cè)(分析濾波器側(cè))的第1到第3列指示。所計(jì) 算的高頻分量的系數(shù)數(shù)據(jù)被存儲(chǔ)到圖3的系數(shù)重新排列緩沖器單元53 中。而且，所計(jì)算的低頻分量的系數(shù)數(shù)據(jù)被存儲(chǔ)到圖3中的中間計(jì)算 緩沖器單元52中。
在圖6中，系數(shù)重新排列緩沖器單元53被示為長(zhǎng)短交替的虛線 包圍的部分，中間計(jì)算緩沖器單元52被示為點(diǎn)線包圍的部分。
根據(jù)中間計(jì)算緩沖器單元52中保持的分解級(jí)別-1的濾波處理 的結(jié)果，執(zhí)行分解級(jí)別=2的濾波處理。在分解級(jí)別=2的濾波處理中， 作為低頻分量的系數(shù)在分解級(jí)別=1的濾波處理中計(jì)算的系數(shù)數(shù)據(jù)被 視為既包括低頻分量也包括高頻分量的系數(shù)數(shù)據(jù)，執(zhí)行與分解級(jí)別=1 的濾波處理同樣的濾波處理。通過(guò)分解級(jí)別=2的濾波處理計(jì)算的高 頻分量的系數(shù)數(shù)據(jù)和低頻分量的系數(shù)數(shù)據(jù)被存儲(chǔ)到系數(shù)重新排列緩沖 器單元53中。
小波變換單元51在屏幕的水平方向和垂直方向上分別執(zhí)行上述 的濾波處理。例如，在水平方向上執(zhí)行分解級(jí)別-1的濾波處理，將 生成的高頻分量和低頻分量的系數(shù)數(shù)據(jù)存儲(chǔ)到中間計(jì)算緩沖器單元 52中。接著，在垂直方向上對(duì)中間計(jì)算緩沖器單元52中存儲(chǔ)的系數(shù)數(shù)據(jù)執(zhí)行分解級(jí)別-1的濾波處理。通過(guò)在水平和垂直方向上的分解
級(jí)別-l的處理，形成4個(gè)區(qū)域，包括分別由通過(guò)進(jìn)一步將高頻分量 分解成高頻分量和低頻分量而得到的系數(shù)數(shù)據(jù)構(gòu)成的區(qū)域HH和區(qū)域 HL、以及分別由通過(guò)進(jìn)一步將低頻分量分解成高頻分量和低頻分量而 得到的系數(shù)數(shù)據(jù)構(gòu)成的區(qū)域LH和區(qū)域LL。
然后，在分解級(jí)別=2下，針對(duì)水平方向和垂直方向分別對(duì)在分 解級(jí)別=1下生成的低頻分量的系數(shù)數(shù)據(jù)執(zhí)行濾波處理。即，在分解 級(jí)別=2下，通過(guò)在分解級(jí)別=1下分割而形成的區(qū)域LL被進(jìn)一步分 割為4個(gè)，區(qū)域HH、區(qū)域HL、區(qū)域LH和區(qū)域LL凈皮進(jìn)一步形成在 區(qū)域LL內(nèi)。
小波變換單元51通過(guò)針對(duì)屏幕的縱向?qū)V波處理分割成用于每 幾行的處理，階段地執(zhí)行多次利用小波變換的濾波處理。在圖6的例 子中，在作為從屏幕上的第l行開(kāi)始的處理的第l輪處理中，針對(duì)7 行來(lái)執(zhí)行濾波處理。從作為從第8行開(kāi)始的處理的第2輪處理以后， 每4行執(zhí)行濾波處理。該行數(shù)是基于在2分解成高頻分量和低頻分量 后生成相當(dāng)于一行的最低頻分量所需的行數(shù)。
順便提及，以下將生成相當(dāng)于一行的最低頻分量(與最低頻分量 的子帶的一行相當(dāng)?shù)南禂?shù)數(shù)據(jù))所需的、包含其它子帶的行的集合稱 為分區(qū)(或行塊)。這里，行表示與小波變換前的圖像數(shù)據(jù)相對(duì)應(yīng)的 圖片(幀或場(chǎng))或者相當(dāng)于在每個(gè)子帶中形成的一行的像素?cái)?shù)據(jù)或系 數(shù)數(shù)據(jù)。即，分區(qū)(行塊)表示小波變換前的原圖像數(shù)據(jù)中的、生成 相當(dāng)于小波變換后的最低頻分量的子帶的一行的系數(shù)數(shù)據(jù)所需的行數(shù) 的像素?cái)?shù)據(jù)組，或者通過(guò)對(duì)像素?cái)?shù)據(jù)組執(zhí)行小波變換而得到的各個(gè)子 帶中的系數(shù)數(shù)據(jù)組。
根據(jù)圖6，作為分解級(jí)別-2的濾波處理的結(jié)果而得到的系數(shù)C5 根據(jù)系數(shù)C4和中間計(jì)算緩沖器單元52中存儲(chǔ)的系數(shù)Ca計(jì)算，系數(shù) C4根據(jù)中間計(jì)算緩沖器單元52中存儲(chǔ)的系數(shù)Ca、系數(shù)Cb和系數(shù)Cc 計(jì)算。而且，系數(shù)Cc根據(jù)系數(shù)重新排列緩沖器單元53中存儲(chǔ)的系數(shù) C2和系數(shù)C3以及第5行上的像素?cái)?shù)據(jù)計(jì)算。另外，系數(shù)C3根據(jù)第5行到第7行上的像素?cái)?shù)據(jù)計(jì)算。這樣，為了得到分割級(jí)別=2的低頻 分量的系數(shù)C5，需要第l行到第7行上的像素?cái)?shù)據(jù)。
相反，從濾波處理的第2輪以后，可以使用已經(jīng)計(jì)算到前一輪濾 波處理并且存儲(chǔ)在系數(shù)重新排列緩沖器單元53中的系數(shù)數(shù)據(jù)，從而需 要較少的行數(shù)即可。
即，根據(jù)圖6，在作為分解級(jí)別=2的濾波處理的結(jié)果而得到的 低頻分量的系數(shù)中，作為系數(shù)C5之后的下一系數(shù)的系數(shù)C9根據(jù)系數(shù) C4、系數(shù)C8和中間計(jì)算緩沖器單元52中存儲(chǔ)的系數(shù)Cc計(jì)算。系數(shù) C4已經(jīng)通過(guò)如上所述的第1輪的濾波處理計(jì)算并存儲(chǔ)在系數(shù)重新排 列緩沖器單元53中。同樣，系數(shù)Ce已經(jīng)通過(guò)如上所述的第l輪的濾 波處理計(jì)算并存儲(chǔ)在中間計(jì)算緩沖器單元52中。因此，在該第2輪的 濾波處理中，僅新執(zhí)行用于計(jì)算系數(shù)C8的濾波處理。該新的濾波處 理通過(guò)進(jìn)一步使用第8行到第11行來(lái)執(zhí)行。
這樣，從濾波處理的第2輪以后，可以使用已經(jīng)計(jì)算到前一輪濾 波處理并且存儲(chǔ)在中間計(jì)算緩沖器單元52和系數(shù)重新排列緩沖器單 元53中的數(shù)據(jù)，從而僅針對(duì)每4行執(zhí)行處理即可。
在屏幕上的行數(shù)與要編碼的行數(shù)不一致的情況下，通過(guò)按預(yù)定方 法復(fù)制原圖像數(shù)據(jù)的行，使行數(shù)與要編碼的行數(shù)一致，從而執(zhí)行編碼。
這樣，用于得到相當(dāng)于最低頻分量的一行的系數(shù)數(shù)據(jù)的濾波處理 階段地多次(以分區(qū)為單位)針對(duì)整個(gè)屏幕的行來(lái)執(zhí)行，從而能夠在 傳送了編碼數(shù)據(jù)時(shí)以低的延遲得到解碼圖像。
為了執(zhí)行小波變換，需要用于執(zhí)行小波變換本身的第l緩沖器和 用于存儲(chǔ)在將處理執(zhí)行到預(yù)定的分割級(jí)別的過(guò)程中生成的系數(shù)的第2 緩沖器。第l緩沖器對(duì)應(yīng)于中間計(jì)算緩沖器單元52，并且在圖6中示 為被點(diǎn)線包圍。第2緩沖器對(duì)應(yīng)于系數(shù)重新排列緩沖器單元53，并且 在圖6中示為被長(zhǎng)短交替的虛線包圍。由于存儲(chǔ)在第2緩沖器中的系 數(shù)在解碼時(shí)使用，因此在后級(jí)對(duì)其進(jìn)行熵編碼處理。
以下說(shuō)明圖3中的系數(shù)重新排列單元54的處理。如上所述，在 小波變換單元51中計(jì)算的系數(shù)數(shù)據(jù)被存儲(chǔ)到系數(shù)重新排列緩沖器單
21元53中，由系數(shù)重新排列單元54按順序重新排列后^皮讀出，并以編 碼單元為單位發(fā)送給熵編碼單元55。
如上所述，在小波變換中，從高頻分量側(cè)向低頻分量側(cè)生成系數(shù)。 在圖6的例子中，在第1輪，從原圖像的像素?cái)?shù)據(jù)開(kāi)始，通過(guò)分解級(jí) 別=1的濾波處理依次生成高頻分量的系數(shù)C1、系數(shù)C2和系數(shù)C3。 然后，對(duì)通過(guò)分解級(jí)別-1的濾波處理得到的低頻分量的系數(shù)數(shù)據(jù)執(zhí) 行分解級(jí)別=2的濾波處理，依次生成低頻分量的系數(shù)C4和系數(shù)C5。 即，在第1輪中，按照系數(shù)C1、系數(shù)C2、系數(shù)C3、系數(shù)C4和系數(shù) C5的順序生成系數(shù)數(shù)據(jù)。按照小波變換的原理，系數(shù)數(shù)據(jù)的生成順序 必定為該順序(從高頻到低頻的順序)。
相反，在解碼側(cè)，為了立即以低的延遲進(jìn)行解碼，需要從低頻分 量開(kāi)始執(zhí)行圖像的生成和輸出。即，優(yōu)選地，將在編碼側(cè)生成的系數(shù) 數(shù)據(jù)從最低頻分量側(cè)到高頻分量側(cè)重新排列，然后提供給解碼側(cè)。
以下使用圖6中的例子進(jìn)行更詳細(xì)的說(shuō)明。圖6的右側(cè)示出執(zhí)行 小波逆變換的合成濾波器側(cè)。解碼側(cè)的包括輸出圖像數(shù)據(jù)的第l行的 第1輪合成處理(小波逆變換處理)使用通過(guò)編碼側(cè)的第1輪濾波處 理生成的最低頻分量的系數(shù)C4和C5以及系數(shù)Cl來(lái)執(zhí)行。
即，在第l輪合成處理中，按照系數(shù)C5、系數(shù)C4和系數(shù)C1的 順序從編碼側(cè)向解碼側(cè)提供系數(shù)數(shù)據(jù)。在解碼側(cè)，在作為與分解級(jí)別 =2對(duì)應(yīng)的合成處理的合成級(jí)別-2的處理中，對(duì)系數(shù)C5和系數(shù)C4 執(zhí)行合成處理，以生成系數(shù)Cf并存儲(chǔ)到緩沖器中。然后，在作為與分 解級(jí)別-1對(duì)應(yīng)的合成處理的合成級(jí)別-1的處理中，對(duì)系數(shù)Cf和系 數(shù)C1執(zhí)行合成處理，并輸出第1行。
這樣，在第l輪合成處理中，在編碼側(cè)按照系數(shù)C1、系數(shù)C2、 系數(shù)C3、系數(shù)C4和系數(shù)C5的順序生成并且存儲(chǔ)到系數(shù)重新排列緩 沖器單元53中的系數(shù)數(shù)據(jù)按照系數(shù)C5、系數(shù)C4、系數(shù)C1…的順序 重新排列并提供給解碼側(cè)。
在圖6的右側(cè)示出的合成濾波器側(cè)，針對(duì)從編碼側(cè)提供的系數(shù)， 將編碼側(cè)的系數(shù)的編號(hào)寫(xiě)入括號(hào)內(nèi)，將合成濾波器中的行順序?qū)懙嚼ㄌ?hào)外。例如，系數(shù)C1 (5)表示在圖6的左側(cè)的分析濾波器側(cè)是系數(shù) C5，并且在合成濾波器側(cè)是第l行。
基于通過(guò)編碼側(cè)的第2輪以后的濾波處理生成的系數(shù)數(shù)據(jù)的、解 碼側(cè)的合成處理可以使用在前一輪合成處理時(shí)合成或者從編碼側(cè)提供 的系數(shù)數(shù)據(jù)來(lái)執(zhí)行。在圖6的例子中，在使用通過(guò)編碼側(cè)的第2輪濾 波處理生成的低頻分量的系數(shù)C8和系數(shù)C9執(zhí)行的、解碼側(cè)的第2輪 合成處理中，還需要通過(guò)編碼側(cè)的第1輪濾波處理生成的系數(shù)C2和 系數(shù)C3，并且第2行到第5行被解碼。
即，在第2輪合成處理中，從編碼側(cè)向解碼側(cè)按照系數(shù)C9、系 數(shù)C8、系數(shù)C2、系數(shù)C3的順序提供系數(shù)數(shù)據(jù)。在解碼側(cè)，在合成 級(jí)別-2的處理中，使用系數(shù)C8和系數(shù)C9以及在第l輪合成處理時(shí) 從編碼側(cè)提供的系數(shù)C4而生成系數(shù)Cg并存儲(chǔ)到緩沖器中。使用該系 數(shù)Cg、上述系數(shù)C4和通過(guò)第l輪合成處理生成并存儲(chǔ)在緩沖器中的 系數(shù)Cf來(lái)生成系數(shù)Ch并存儲(chǔ)到存儲(chǔ)器中。
然后，在合成級(jí)別-1的處理中，使用通過(guò)合成級(jí)別-2的處理 生成并且存儲(chǔ)在緩沖器中的系數(shù)Cg和系數(shù)Ch以及從編碼側(cè)提供的系 數(shù)C2 (在合成濾波器中指示為系數(shù)C6 (2))和系數(shù)C3 (在合成濾 波器中指示為系數(shù)C7 (3))進(jìn)行合成處理，并且第2行到第5行被 解碼。
這樣，在第2輪合成處理中，在編碼側(cè)按照系數(shù)C2、系數(shù)C3(系 數(shù)C4、系數(shù)C5)、系數(shù)C6、系數(shù)C7、系數(shù)C8和系數(shù)C9的順序生 成的系數(shù)數(shù)據(jù)按照系數(shù)C9、系數(shù)C8、系數(shù)C2、系數(shù)C3.,.的順序被 重新排列，并提供給解碼側(cè)。
同樣，從第3輪合成處理以后，存儲(chǔ)在系數(shù)重新排列緩沖器單元 53中的系數(shù)數(shù)據(jù)按照預(yù)定順序被重新排列并提供給解碼側(cè)，并且按照 每4行來(lái)對(duì)行進(jìn)行解碼。
順便提及，在與編碼側(cè)的包括屏幕下端的行的濾波處理(以下稱 為最后一輪)對(duì)應(yīng)的解碼側(cè)的合成處理中，通過(guò)到此為止的處理生成 并且存儲(chǔ)在緩沖器中的所有系數(shù)數(shù)據(jù)被輸出，從而輸出行數(shù)變大。在圖6的例子中，在最后一輪輸出8行。
例如通過(guò)按照預(yù)定順序設(shè)定讀出存儲(chǔ)在系數(shù)重新排列緩沖器單 元53中的系數(shù)數(shù)據(jù)的讀出地址，來(lái)進(jìn)行系數(shù)重新排列單元54的系數(shù) 數(shù)據(jù)重新排列處理。
以下參照?qǐng)D7更具體地說(shuō)明如上所述的處理。圖7示出使用5x3 濾波器將利用小波變換的濾波處理實(shí)施到分解級(jí)別=2的例子。在小 波變換單元51中，如圖7的A中的例子所示，在水平方向和垂直方 向上分別對(duì)輸入圖像數(shù)據(jù)的第1行到第7行執(zhí)行第1輪濾波處理(圖 7的A中的In-l)。
在分解級(jí)別=1的第l輪濾波處理中，生成相當(dāng)于基于系數(shù)C1、 系數(shù)C2、系數(shù)C3的3行的系數(shù)數(shù)據(jù)，并且如圖7的B中的例子所示， 配置于在分解級(jí)別=1下形成的區(qū)域HH、 HL和LH的每一個(gè)中(圖 7的B中的WT-1)。
而且，在分解級(jí)別=1下形成的區(qū)域LL通過(guò)在分解級(jí)別=2下 在水平和垂直方向上的濾波處理被進(jìn)一步分割為4個(gè)。關(guān)于在分解級(jí) 別=2下生成的系數(shù)C5和系數(shù)C4，在分解級(jí)別=1的區(qū)域LL中，基 于系數(shù)C5的一行被配置在區(qū)域LL中，基于系數(shù)C4的一行被配置在 區(qū)域HH、區(qū)域HL和區(qū)域LH的每一個(gè)中。
從小波變換單元51的第2輪濾波處理以后，針對(duì)每4行執(zhí)行濾 波處理(圖7的A中的In-2…)，在分解級(jí)別=1下生成每2行的系 數(shù)數(shù)據(jù)(圖7的B中的WT-2 )，在分解級(jí)別- 2下生成每1行的系 數(shù)數(shù)據(jù)。
在圖6的第2輪的例子中，通過(guò)分解級(jí)別=1的濾波處理生成相 當(dāng)于基于系數(shù)C6、系數(shù)C7的2行的系數(shù)數(shù)據(jù)，并且如圖7的B中的 例子所示，配置于在分解級(jí)別-1下形成的區(qū)域HH、區(qū)域HL和區(qū)域 LH中的、在第1輪濾波處理中生成的系數(shù)數(shù)據(jù)之后。同樣，在分解 級(jí)別-1的區(qū)域LL中，通過(guò)分解級(jí)別-2的濾波處理生成的相當(dāng)于一 行的系數(shù)C9被配置在區(qū)域LL中，相當(dāng)于一行的系數(shù)C8被配置在區(qū) 域HH、區(qū)域HL和區(qū)域LH的每一個(gè)中。
24在對(duì)如圖7的B所示進(jìn)行了小波變換后的數(shù)據(jù)進(jìn)行解碼時(shí)，如圖 7的C中的例子所示，針對(duì)編碼側(cè)的基于第1行到第7行的第1輪濾 波處理，輸出基于解碼側(cè)的第l輪合成處理的第l行(圖7的C中的 Out國(guó)l)。
接著，對(duì)于編碼側(cè)的從第2輪到緊接最后一輪之前的一輪的濾波 處理，在解碼側(cè)一次輸出4行(圖7的C中的Out-2…)。然后，針 對(duì)編碼側(cè)的最后一輪濾波處理，在解碼側(cè)輸出8行。
在小波變換單元51中從高頻分量側(cè)到低頻分量側(cè)生成的系數(shù)數(shù) 據(jù)被依次存儲(chǔ)到系數(shù)重新排列緩沖器單元53中。當(dāng)系數(shù)數(shù)據(jù)在系數(shù)重 新排列緩沖器單元53中累積到能夠進(jìn)行如上所述的系數(shù)數(shù)據(jù)的重新 排列的點(diǎn)時(shí)，系數(shù)重新排列單元54在按照合成處理所需的順序?qū)ο禂?shù) 數(shù)據(jù)進(jìn)行重新排列后，從系數(shù)重新排列緩沖器單元53讀出系數(shù)數(shù)據(jù)。 讀出的系數(shù)數(shù)據(jù)被依次提供給熵編碼單元55。
熵編碼單元55依次對(duì)所提供的系數(shù)數(shù)據(jù)進(jìn)行編碼，并向編碼單 元14的外部輸出所生成的編碼數(shù)據(jù)。
如上所述在編碼單元14中編碼后的圖像數(shù)據(jù)、即編碼數(shù)據(jù)被提 供給圖1中的分組生成單元15。
接著，圖8是示出在圖1的標(biāo)題生成單元17中生成的標(biāo)題的結(jié) 構(gòu)例子的圖。
在標(biāo)題生成單元17中，生成序列標(biāo)題、圖片標(biāo)題和分區(qū)標(biāo)題。 序列標(biāo)題、圖片標(biāo)題和分區(qū)標(biāo)題形成分級(jí)結(jié)構(gòu)。
在序列標(biāo)題中，作為表示序列標(biāo)題的存在的標(biāo)志的Sequence Header Flag (序列標(biāo)題標(biāo)志)配置在開(kāi)頭，并且在Sequence Header Flag之后依次配置1位的Coeff_order、 2位的Priority mode、 2位的 DWT filter和2 4立的Filter precision 。
在圖片標(biāo)題中，作為表示圖片標(biāo)題的存在的標(biāo)志的Picture Header Flag(圖片標(biāo)題標(biāo)志)配置在開(kāi)頭，并且在Picture Header Flag 之后依次酉己置1位的Interlace/Progressive、 2位的Bit Precision和2 位的Program Choice。在分區(qū)標(biāo)題中，作為表示分區(qū)標(biāo)題的存在的標(biāo)志的Precinct Header Flag(分區(qū)標(biāo)題標(biāo)志)配置在開(kāi)頭，并且在Precinct Header Flag 之后配置2位的Bit Precision.
以下參照?qǐng)D9說(shuō)明序列標(biāo)題。
序列標(biāo)題中的CoefiLorder表示系數(shù)重新排列的位置。例如，如 果Coeff一order為0，則表示系數(shù)的重新排列在編碼側(cè)執(zhí)行，如果 Coeff^order為1，則表示系數(shù)的重新排列在解碼側(cè)執(zhí)行。
盡管系數(shù)重新排列的處理如上參照?qǐng)D3所述可以在編碼單元14 的系數(shù)重新排列單元54中執(zhí)行，但該處理也可以在解碼單元36 (例 如后述的圖48中的解碼單元36的系數(shù)重新排列單元65)中執(zhí)行，而 不在編碼單元14中執(zhí)行。即，系數(shù)重新排列的處理是由編碼單元14 和解碼單元36共有的處理，并且Coeff一order是共有處理識(shí)別信息。
由于系數(shù)重新排列的處理需要用于執(zhí)行該處理的電路和用于累 積系數(shù)的緩沖器(存儲(chǔ)器)，因此根據(jù)編碼單元14或解碼單元36是 否能夠具備這些硬件來(lái)選擇是由編碼單元14還是由解碼單元36執(zhí)行 系數(shù)重新排列處理。例如，在編碼單元14被組裝到便攜電話終端、 PDA (Personal Digital Assistant,個(gè)人數(shù)字助理)、^f更攜游戲i殳備或 小型相機(jī)等所謂的便攜終端等具有比較低的處理能力(throughput) 的設(shè)備中的情況下，不能內(nèi)置大容量的存儲(chǔ)器，因此必然由解碼單元 36執(zhí)行系數(shù)重新排列處理。
另一方面，在編碼單元14被組裝到廣播設(shè)備、專業(yè)人員用的數(shù) 字發(fā)射機(jī)等具有比較高的處理能力并且具有充裕的電源和充裕的硬件 的設(shè)備中的情況下，在編碼單元14中執(zhí)行系數(shù)重新排列處理。
在例如編碼單元14和解碼單元36都能夠執(zhí)行系數(shù)重新排列處 理、并且在編碼單元14中執(zhí)行系數(shù)重新排列處理的情況下，序列標(biāo)題 中的Coeff_order為0，在解碼單元36中可以跳過(guò)系數(shù)重新排列的處 理。
序列標(biāo)題中的Priority mode是表示編碼器的控制方式的控制識(shí) 別信息。例如，如果Priority mode為00，則表示在編碼器中執(zhí)行低延遲控制，如果Priority mode為01，則表示在編碼器中執(zhí)行使處理 能力優(yōu)先的控制。順便提及，在Priority mode中，在控制方式,皮擴(kuò)展 時(shí)等情況下使用10或11表示其它控制方式。
例如，在使處理能力優(yōu)先的控制中，最好應(yīng)用使得在圖3的編碼 單元14的小波變換單元51的處理一結(jié)束就執(zhí)行熵編碼單元55的處理 的控制。而在低延遲控制中，最好應(yīng)用使得小波變換單元51的處理與 熵編碼單元55的處理以并行方式執(zhí)行的控制。例如，在編碼單元14 中選擇了低延遲控制的情況下，向解碼單元36通知已經(jīng)選擇了低延遲 控制，在解碼單元36中也選擇低延遲控制，從而作為整體降低延遲。
序列標(biāo)題中的DWT filter是表示DWT濾波器的種類選擇的濾波 器信息。例如，如果DWT filter為00,則表示利用Irreversible (不 可逆)9x7對(duì)圖像數(shù)據(jù)進(jìn)行濾波，如果DWTfilter為01，則表示利用 Irreversible 5x3對(duì)圖像數(shù)據(jù)進(jìn)行濾波，如果DWT filter為10，則表 示利用Reversible (可逆)5x3對(duì)圖像數(shù)據(jù)進(jìn)行濾波。順便提及，當(dāng) 利用其它種類的濾波器、例如獨(dú)創(chuàng)設(shè)計(jì)的濾波器來(lái)對(duì)圖像數(shù)據(jù)進(jìn)行濾 波時(shí)使用DWT filter中的11，表示該濾波器被選擇。
例如，對(duì)于由JPEG 2000標(biāo)準(zhǔn)采用的5x3濾波器和9x7濾波器， 利用9x7濾波器，計(jì)算次數(shù)為簡(jiǎn)單計(jì)算的大約2倍，計(jì)算所需的存儲(chǔ) 器量也變大。這樣，在希望減輕硬件負(fù)荷的情況下，在編碼單元14 和解碼單元36中最好選擇5x3濾波器。另一方面，由于9x7濾波器 能夠進(jìn)行高性能濾波，因此在需要高圖像質(zhì)量的情況下最好選擇9x7 濾波器。
序列標(biāo)題中的Filter precision是表示DWT濾波的計(jì)算精度的濾 波處理精度信息。例如，如果Filter precision為00，則表示以固定小 數(shù)點(diǎn)精度實(shí)施DWT濾波，如果Filter precision為01，則表示以浮動(dòng) 小數(shù)點(diǎn)精度實(shí)施DWT濾波，如果Filter precision為10，則表示以整 數(shù)精度實(shí)施DWT濾波。
例如，浮動(dòng)小數(shù)點(diǎn)精度的計(jì)算對(duì)硬件的負(fù)荷最大，整數(shù)精度的計(jì) 算對(duì)硬件的負(fù)荷最小。因此，通過(guò)按照硬件的處理能力適當(dāng)?shù)卮_定計(jì)算精度，可以有效使用硬件資源。另外，當(dāng)處理高清晰度圖像時(shí)，優(yōu)選浮動(dòng)小數(shù)點(diǎn)精度?？梢匀鐓⒄?qǐng)D42在后面說(shuō)明的那樣選擇計(jì)算精 度。接著，參照?qǐng)D10說(shuō)明圖片標(biāo)題。圖片標(biāo)題中的Interlace/Progressive表示圖片的結(jié)構(gòu)。例如，如 果Interlace/Progressive為0,則表示該圖片為Interlace(隔行)圖像， 如果Interlace/Progressive為1， 則表示該圖片為Progressive (逐行)圖像。這里，例如，用于電視廣播的圖像信號(hào)是隔行的，但用于個(gè)人計(jì) 算機(jī)或電影的圖像信號(hào)是逐行的。另外，在從解碼單元36輸出的情況 下也同樣，由于液晶電視接收器是逐行的，因此，如果圖像信號(hào)是隔 行的，則需要將該信號(hào)轉(zhuǎn)換成逐行的以輸出。在隔行的情況下，編碼 處理和解碼處理以場(chǎng)為單位執(zhí)行，而在逐行的情況下，編碼處理和解 碼處理以幀為單位執(zhí)行。由于這些差異，通過(guò)以圖片為單位從編碼單 元14向解碼單元36通知圖片是隔行還是逐行，可以在解碼單元36 中執(zhí)行最佳的處理。圖片標(biāo)題中的Bit Precision表示圖片內(nèi)的計(jì)算精度。例如，如果 Bit Precision為00，則表示以8位精度計(jì)算圖片，如果Bit Precision 為01，則表示以10位精度計(jì)算圖片，如果Bit Precision為10，則表 示以12位精度計(jì)算圖片，如果Bit Precision為11，則表示以16位精 度計(jì)算圖片。例如，在輸入圖像為8位的情況下，已知在分解成4個(gè)的小波變 換之后，小波變換系數(shù)被擴(kuò)展到12位，在輸入圖像為12位的情況下， 已知在分解成4個(gè)的小波變換之后，小波變換系數(shù)被擴(kuò)展到16位。因 此，為了保持精度，需要在保持小波變換系數(shù)所需的精度的同時(shí)執(zhí)行 編碼處理。即，在編碼單元14要求12位精度的情況下，即使在解碼 單元36中有足夠的資源允許16位精度的計(jì)算，也執(zhí)行12位精度的計(jì) 算，從而能夠利用少的資源執(zhí)行解碼。圖片標(biāo)題中的Program Choice是表示用于圖片的編碼和解碼的程序種類的選擇的程序識(shí)別信息。例如，如果Program Choice為00， 則表示選擇程序A，如果Program Choice為01，則表示選擇程序B, 如果Program Choice為10，則表示選擇程序C,如果Program Choice 為11，則表示選擇程序D。這里，程序A~D是分別與應(yīng)用了后述的CPU或存儲(chǔ)器的分配 方法的編碼方法A D對(duì)應(yīng)的程序。例如，編碼單元14可以如參照后 述的圖43中的流程圖所說(shuō)明的那樣進(jìn)行選擇，解碼單元36可以根據(jù) 圖片標(biāo)題選擇與編碼單元14選擇的編碼方法相對(duì)應(yīng)的解碼方法。以下參照?qǐng)Dll說(shuō)明分區(qū)標(biāo)題。分區(qū)標(biāo)題中的Bit Precision表示分區(qū)內(nèi)的計(jì)算精度。例如，如果 Bit Precision為00，則表示以8位精度計(jì)算分區(qū)，如果Bit Precision 為Ol,則表示以10位精度計(jì)算分區(qū)，如果Bit Precision為10,則表 示以12位精度計(jì)算分區(qū)，如果Bit Precision為11，則表示以16位精 度計(jì)算分區(qū)。通過(guò)由分區(qū)標(biāo)題中的Bit Precision通知計(jì)算精度，與圖片標(biāo)題中 的Bit Precision同樣，可以有效利用解碼單元36的資源。順便提及， 在圖片標(biāo)題中的Bit Precision所表示的計(jì)算精度與分區(qū)標(biāo)題中的Bit Precision所表示的計(jì)算精度不同的情況下，使分區(qū)標(biāo)題中的Bit Precision所表示的計(jì)算精度優(yōu)先。共有處理識(shí)別信息、控制識(shí)別信息、濾波器信息、濾波處理精度 信息和程序識(shí)別信息由識(shí)別信息生成單元21生成并提供給序列標(biāo)題 生成單元18、圖片標(biāo)題生成單元19、分區(qū)標(biāo)題生成單元20中的每一 個(gè)，并且生成序列標(biāo)題、圖片標(biāo)題和分區(qū)標(biāo)題，即，在序列標(biāo)題、圖 片標(biāo)題和分區(qū)標(biāo)題的每一個(gè)中設(shè)定標(biāo)志。通過(guò)在編碼設(shè)備13側(cè)預(yù)先生成這些信息并將它們發(fā)送給解碼設(shè) 備32以在解碼設(shè)備32中使用，在解碼設(shè)備32中，可以省略處理選擇 的確定(例如后述的圖45中的確定程序選擇的處理)，并且可以減輕 與解碼相關(guān)的負(fù)荷。在程序選擇處理中，關(guān)于是否存在能夠進(jìn)行解碼 的程序功能的確定可以僅通過(guò)參照該信息來(lái)進(jìn)行。29在編碼設(shè)備13中，可以通過(guò)對(duì)編碼處理進(jìn)行時(shí)間分割并按照與 編碼相關(guān)的數(shù)據(jù)量(處理負(fù)荷》來(lái)適應(yīng)性地提供選擇模式，適當(dāng)?shù)乩?用不同的程序來(lái)執(zhí)行編碼處理。即，針對(duì)一系列圖像，編碼設(shè)備13 可以通過(guò)在給定的期間選擇程序A來(lái)執(zhí)行編碼，通過(guò)在下一期間選擇 程序D來(lái)執(zhí)行編碼，并且通過(guò)在更下一期間選擇程序C來(lái)執(zhí)行編碼。 接著，圖12是示出圖2中的解碼單元36的結(jié)構(gòu)例子的框圖。 如圖12所示，解碼單元36具有熵解碼單元61、系數(shù)緩沖器單元 62和小波逆變換單元63的功能。熵解碼單元61利用與熵編碼單元55 (圖3)使用的編碼方法對(duì) 應(yīng)的解碼方法將所提供的編碼數(shù)據(jù)解碼，得到系數(shù)數(shù)據(jù)。系數(shù)數(shù)據(jù)被 存儲(chǔ)到系數(shù)緩沖器單元62中。小波逆變換單元63使用存儲(chǔ)在系數(shù)緩 沖器單元62中的系數(shù)數(shù)據(jù)，通過(guò)合成濾波器執(zhí)行合成濾波處理(小波 逆變換)，并將合成濾波處理的結(jié)果再次存儲(chǔ)到系數(shù)緩沖器單元62 中。在通過(guò)按照分解級(jí)別重復(fù)該處理而得到解碼圖像數(shù)據(jù)(輸出圖像 數(shù)據(jù))時(shí)，小波逆變換單元63將其輸出到外部。以下參照?qǐng)D13 ~圖16說(shuō)明由各個(gè)單元執(zhí)行的處理流程。 圖13是說(shuō)明圖3中的編碼單元14對(duì)圖像數(shù)據(jù)進(jìn)行編碼的處理的 流程圖。當(dāng)開(kāi)始編碼處理時(shí)，編碼單元14的小波變換單元51在步驟Sl 中將處理對(duì)象分區(qū)的編號(hào)A初始化。通常將編號(hào)A設(shè)定為"l"。當(dāng)結(jié) 束設(shè)定時(shí)，在步驟S2中，小波變換單元51取得在最低頻子帶中生成 從頂部開(kāi)始第A行中的l行所需的行數(shù)(即一個(gè)分區(qū))的圖像數(shù)據(jù)。 在步驟S3中，小波變換單元51對(duì)圖像數(shù)據(jù)執(zhí)行用于對(duì)在屏幕的垂直 方向上排列的圖像數(shù)據(jù)執(zhí)行分析濾波的垂直分析濾波處理，在步驟S4 中，執(zhí)行用于對(duì)在屏幕的水平方向上排列的圖像數(shù)據(jù)執(zhí)行分析濾波處 理的水平分析濾波處理。在步驟S5中，小波變換單元51確定分析濾波處理是否已經(jīng)執(zhí)行 到最后級(jí)別。如果確定分解級(jí)別沒(méi)有達(dá)到最后級(jí)別，則處理返回到步 驟S3，針對(duì)當(dāng)前的分解級(jí)別重復(fù)進(jìn)行步驟S3和步驟S4中的分析濾波處理。如果在步驟S5中確定分析濾波處理已經(jīng)執(zhí)行到最后級(jí)別，則處 理前進(jìn)到步驟S6。在步驟S6中，系數(shù)重新排列單元54按照從低頻到高頻的順序?qū)?分區(qū)A(從圖片(幀或場(chǎng))的頂部開(kāi)始的第A個(gè)分區(qū))中的系數(shù)進(jìn)行 重新排列。熵編碼單元55在步驟S7中對(duì)系數(shù)逐行實(shí)施熵編碼，并在 步驟S8中送出分區(qū)A的編碼數(shù)據(jù)。在步驟S9中，小波變換單元51使編號(hào)A的值加"l，，并將下一分 區(qū)設(shè)定為處理對(duì)象，在步驟S10中，針對(duì)處理對(duì)象圖片(幀或場(chǎng))確 定是否存在還未處理的圖像輸入行。如果確定存在還未處理的圖像輸 入行，則處理返回到步驟S2，針對(duì)新的處理對(duì)象分區(qū)重復(fù)后續(xù)處理。這樣，重復(fù)執(zhí)行步驟S2 步驟S10的處理，對(duì)各個(gè)分區(qū)進(jìn)行編 碼。然后，如果在步驟SIO中確定不存在還未處理的圖像輸入行，則 結(jié)束對(duì)圖片的編碼處理。針對(duì)下一圖片重新開(kāi)始編碼處理。這樣，小波變換單元51以分區(qū)為單位連續(xù)執(zhí)行垂直分析濾波處 理和水平分析濾波處理直到最后級(jí)別。這樣，與以往的方法相比，一 次(同時(shí))需要保持(緩沖)的數(shù)據(jù)量小，從而能夠極大地減少需要 準(zhǔn)備的緩沖器的存儲(chǔ)器容量。另外，由于將分析濾波處理執(zhí)行到最后 級(jí)別，因此還能夠進(jìn)行后級(jí)的系數(shù)重新排列和熵編碼等處理(即，能 夠以分區(qū)為單位執(zhí)行系數(shù)重新排列或熵編碼)。因此，與對(duì)整個(gè)屏幕 執(zhí)行小波變換的方法相比，可以極大地減少延遲時(shí)間。接著，圖14是說(shuō)明圖1中的標(biāo)題生成單元17生成標(biāo)題的處理的 流程圖。該處理與編碼單元14中的編碼處理的開(kāi)始同時(shí)開(kāi)始。在步驟S21 中，分組生成單元15確定是否生成(記載)序列標(biāo)題。例如，如果作為編碼處理中的編碼對(duì)象的圖像是從編碼設(shè)備13 發(fā)送的一系列圖像的第1個(gè)圖像，則分組生成單元15確定生成序列標(biāo) 題。而如果該圖像不是第l個(gè)圖像，則分組生成單元15確定不生成序 列標(biāo)題。31如果分組生成單元15在步驟S21中確定生成序列標(biāo)題，則處理 前進(jìn)到步驟S22，分組生成單元15向序列標(biāo)題生成單元18提供指示 生成序列標(biāo)題的信號(hào)。當(dāng)從分組生成單元15提供了指示生成序列標(biāo)題 的信號(hào)時(shí)，序列標(biāo)題生成單元18從識(shí)別信息生成單元21取得圖9所 示的信息(參數(shù))，以生成序列標(biāo)題，將序列標(biāo)題提供給分組生成單 元15，處理前進(jìn)到步驟S23。另一方面，如果分組生成單元15在步驟S21中確定不生成序列 標(biāo)題，則處理跳過(guò)步驟S22而前進(jìn)到步驟S23。在步驟S23中，分組生成單元15確定是否生成(記載)圖片標(biāo)題。例如，如果作為編碼對(duì)象的圖像是編碼處理開(kāi)始后的第l個(gè)圖像， 以及如果編碼參數(shù)已經(jīng)從前一編碼對(duì)象圖像改變，則分組生成單元15 確定生成圖片標(biāo)題。另一方面，如果編碼參數(shù)沒(méi)有從前一編碼對(duì)象圖 像改變，則分組生成單元15確定不生成圖片標(biāo)題。如果分組生成單元15在步驟S23中確定生成圖片標(biāo)題，則處理 前進(jìn)到步驟S24，分組生成單元15向圖片標(biāo)題生成單元19提供指示 生成圖片標(biāo)題的信號(hào)。當(dāng)從分組生成單元15提供了指示生成圖片標(biāo)題 的信號(hào)時(shí)，圖片標(biāo)題生成單元19從識(shí)別信息生成單元21取得圖10 所示的信息(參數(shù))，以生成圖片標(biāo)題，將圖片標(biāo)題提供給分組生成 單元15,處理前進(jìn)到步驟S25。另一方面，如果分組生成單元15在步驟S23中確定不生成圖片 標(biāo)題，則處理跳過(guò)步驟S24而前進(jìn)到步驟S25。在這種情況下，分組 生成單元15向圖像附加與針對(duì)前一編碼對(duì)象圖像使用的圖片標(biāo)題相 同的圖片標(biāo)題。在步驟S25中，分組生成單元15確定是否生成(記載)分區(qū)標(biāo)題。例如，如果作為編碼對(duì)象的分區(qū)是編碼處理開(kāi)始后的第l個(gè)分區(qū)， 以及如果編碼參數(shù)已經(jīng)從前一編碼對(duì)象分區(qū)改變，則分組生成單元15 確定生成分區(qū)標(biāo)題。另一方面，如果編碼參數(shù)沒(méi)有從前一編碼對(duì)象分區(qū)改變，則分組生成單元15確定不生成分區(qū)標(biāo)題。如果分組生成單元15在步驟S25中確定生成分區(qū)標(biāo)題，則處理 前進(jìn)到步驟S26,分組生成單元15向分區(qū)標(biāo)題生成單元20提供指示 生成分區(qū)標(biāo)題的信號(hào)。當(dāng)從分組生成單元15提供了指示生成分區(qū)標(biāo)題 的信號(hào)時(shí)，分區(qū)標(biāo)題生成單元20從識(shí)別信息生成單元21取得圖11 所示的信息(參數(shù))，以生成分區(qū)標(biāo)題，將分區(qū)標(biāo)題提供給分組生成 單元15，處理前進(jìn)到步驟S27。另一方面，如果分組生成單元15在步驟S25中確定不生成分區(qū) 標(biāo)題，則處理跳過(guò)步驟S26而前進(jìn)到步驟S27。順便提及，在這種情 況下，分組生成單元15向分區(qū)附加與針對(duì)前一編碼對(duì)象分區(qū)使用的分 區(qū)標(biāo)題相同的分區(qū)標(biāo)題。在步驟S27中，分組生成單元15確定當(dāng)前作為編碼處理對(duì)象的 圖像中是否存在未被編碼的分區(qū)。如果分組生成單元15在步驟S27中確定當(dāng)前作為編碼處理對(duì)象 的圖像中存在未被編碼的分區(qū)，則處理返回到步驟S25，此后重復(fù)同 樣的處理。另一方面，如果分組生成單元15在步驟S27中確定當(dāng)前作為編 碼處理對(duì)象的圖像中不存在未被編碼的分區(qū)，即，如果當(dāng)前作為編碼 處理對(duì)象的圖像中的所有分區(qū)都被編碼，則處理前進(jìn)到步驟S28。在步驟S28中，發(fā)送單元16發(fā)送將在步驟S22中生成的序列標(biāo) 題、在步驟S24中生成的圖片標(biāo)題和在步驟S26中生成的分區(qū)標(biāo)題附 加到從編碼單元14輸出的編碼數(shù)據(jù)中的分組。在步驟S28的處理之后，處理前進(jìn)到步驟S29，分組生成單元15 確定是否從編碼設(shè)備13發(fā)送的一 系列圖像都被編碼。如果分組生成單元15在步驟S29中確定從編碼設(shè)備13發(fā)送的一 系列圖像沒(méi)有都被編碼，即，如果還有要被編碼的下一圖像，則處理 返回到步驟S23，此后將下一圖像作為編碼對(duì)象重復(fù)相同的處理。另一方面，如果分組生成單元15在步驟S29中確定從編碼設(shè)備 13發(fā)送的一系列圖像都被編碼，則結(jié)束處理。接著，圖15是說(shuō)明圖12中的解碼單元36對(duì)圖像數(shù)據(jù)進(jìn)行解碼 的處理的流程圖。當(dāng)開(kāi)始解碼處理時(shí)，在步驟S31中，熵解碼單元61取得從解碼 單元36的外部提供的編碼數(shù)據(jù)，在步驟S32中，逐行地執(zhí)行編碼數(shù)據(jù) 的熵解碼。在步驟S33中，系數(shù)緩沖器單元62保持通過(guò)解碼得到的系 數(shù)數(shù)據(jù)。在步驟S34中，小波逆變換單元63確定是否相當(dāng)于一個(gè)分區(qū) 的系數(shù)數(shù)據(jù)已經(jīng)累積在系數(shù)緩沖器單元62中。如果確定沒(méi)有累積相當(dāng) 于一個(gè)分區(qū)的系數(shù)數(shù)據(jù)，則處理返回到步驟S31，執(zhí)行后續(xù)的處理。 即，小波逆變換單元63待機(jī)，直到相當(dāng)于一個(gè)分區(qū)的系數(shù)數(shù)據(jù)已經(jīng)累 積在系數(shù)緩沖器單元62中。如果在步驟S34中確定相當(dāng)于一個(gè)分區(qū)的系數(shù)數(shù)據(jù)已經(jīng)累積在 系數(shù)緩沖器單元62中，則處理前進(jìn)到步驟S35。在步驟S35中，小波 逆變換單元63讀出系數(shù)緩沖器單元62中保持的、相當(dāng)于一個(gè)分區(qū)的 系數(shù)數(shù)據(jù)，并在步驟S36中，對(duì)所讀出的系數(shù)數(shù)據(jù)執(zhí)行用于對(duì)在屏幕理，在步驟S37中，執(zhí)行用于對(duì)在屏幕的水平方向上排列的系數(shù)數(shù)據(jù) 執(zhí)行合成濾波處理的水平合成濾波處理。在步驟S38中，小波逆變換 單元63確定合成濾波處理是否已經(jīng)執(zhí)行到級(jí)別l(分解級(jí)別的值為"l" 的級(jí)別)，即，逆變換是否已經(jīng)執(zhí)行到小波變換之前的狀態(tài)。如果確 定沒(méi)有達(dá)到級(jí)別1，則處理返回到步驟S36，重復(fù)進(jìn)行步驟S36和步 驟S37中的濾波處理。如果在步驟S38中確定小波逆變換處理已經(jīng)完成到級(jí)別1,則處 理前進(jìn)到步驟S39。在步驟S39中，小波逆變換單元63向外部輸出通 過(guò)小波逆變換處理得到的圖像數(shù)據(jù)。在步驟S40中，熵解碼單元61確定是否結(jié)束解碼處理。如果確 定不結(jié)束解碼處理，則處理返回到步驟S31,重復(fù)后續(xù)處理。如果在 步驟S40中確定由于分區(qū)結(jié)束等而結(jié)束解碼處理，則解碼處理結(jié)束。在以往的小波逆變換方法中，針對(duì)作為處理對(duì)象的分解級(jí)別的所 有系數(shù)，首先在屏幕的水平方向上執(zhí)行水平合成濾波處理，然后在屏幕的垂直方向上執(zhí)行垂直合成濾波處理。即，在每次合成濾波處理時(shí)， 合成濾波處理的結(jié)果需要保持在緩沖器中。此時(shí)，緩沖器需要保持該 點(diǎn)的分解級(jí)別的合成濾波結(jié)果和下 一 分解級(jí)別的所有系數(shù)，從而需要 非常大的存儲(chǔ)器容量(要保持的數(shù)據(jù)量大)。而且，在該情況下，不進(jìn)行圖像數(shù)據(jù)輸出，直到在圖片(幀或場(chǎng)) 內(nèi)完成所有小波逆變換，因此從輸入到輸出的延遲時(shí)間增加。相反，如上所述在解碼單元36的小波逆變換單元63的情況下， 以分區(qū)為單位將垂直合成濾波處理和水平合成濾波處理連續(xù)執(zhí)行到級(jí) 別1。這樣，與以往方法相比， 一次(同時(shí))需要緩沖的數(shù)據(jù)量小， 從而能夠極大地減少需要準(zhǔn)備的緩沖器的存儲(chǔ)器容量。而且，由于將 合成濾波處理(小波逆變換處理)執(zhí)行到級(jí)別1，因此可以在得到圖 片內(nèi)的所有圖像數(shù)據(jù)之前，(以分區(qū)為單位)依次輸出圖像數(shù)據(jù)，從 而與以往方法相比能夠極大地減少延遲時(shí)間。接著，圖16是說(shuō)明圖2中的標(biāo)題解讀單元38解讀標(biāo)題的處理的 流程圖。當(dāng)開(kāi)始解碼處理時(shí)，在步驟S51中，分組解讀單元35確定從分 組中提取的標(biāo)題是否是序列標(biāo)題。如果分組解讀單元35在步驟S51中確定從分組中提取的標(biāo)題是 序列標(biāo)題，則處理前進(jìn)到步驟S52，分組解讀單元35將序列標(biāo)題提供 給序列標(biāo)題解讀單元39。序列標(biāo)題解讀單元39解讀從分組解讀單元 35提供的序列標(biāo)題，取得包含在序列標(biāo)題中的信息(參數(shù))，并將該 信息提供給識(shí)別信息取得單元42，處理前進(jìn)到步驟S53。另一方面，如果分組解讀單元35在步驟S51中確定從分組中提 取的標(biāo)題不是序列標(biāo)題，則處理跳過(guò)步驟S52而前進(jìn)到步驟S53。在步驟S53中，分組解讀單元35確定從分組中提取的標(biāo)題是否 是圖片標(biāo)題。如果分組解讀單元35在步驟S53中確定從分組中提取的標(biāo)題是 圖片標(biāo)題，則處理前進(jìn)到步驟S54，分組解讀單元35將圖片標(biāo)題提供 給圖片標(biāo)題解讀單元40。圖片標(biāo)題解讀單元40解讀從分組解讀單元35提供的圖片標(biāo)題，如果包含在圖片標(biāo)題中的信息(參數(shù))已經(jīng)被更 新，即，如果信息已經(jīng)從包含在前次取得的圖片標(biāo)題中的信息改變， 則取得該信息并將其提供給識(shí)別信息取得單元42，處理前進(jìn)到步驟 S55。另一方面，如果分組解讀單元35在步驟S53中確定從分組中提 取的標(biāo)題不是圖片標(biāo)題，則處理跳過(guò)步驟S54而前進(jìn)到步驟S55。在步驟S55中，分組解讀單元35確定從分組中提取的標(biāo)題是否 是分區(qū)標(biāo)題。如果分組解讀單元35在步驟S55中確定從分組中提取的標(biāo)題是 分區(qū)標(biāo)題，則處理前進(jìn)到步驟S56,分組解讀單元35將分區(qū)標(biāo)題提供 給分區(qū)標(biāo)題解讀單元41。分區(qū)標(biāo)題解讀單元41解讀從分組解讀單元 35提供的分區(qū)標(biāo)題，如果包含在分區(qū)標(biāo)題中的信息(參數(shù))已經(jīng)被更 新，即，如果信息已經(jīng)從包含在前次取得的分區(qū)標(biāo)題中的信息改變， 則取得該信息并將其提供給識(shí)別信息取得單元42,處理前進(jìn)到步驟 S57。另一方面，如果分組解讀單元35在步驟S55中確定從分組中提 取的標(biāo)題不是分區(qū)標(biāo)題，則處理跳過(guò)步驟S56而前進(jìn)到步驟S57。在步驟S57中，識(shí)別信息取得單元42將在步驟S52中從序列標(biāo) 題解讀單元39提供的信息、在步驟S54中從圖片標(biāo)題解讀單元40提 供的信息、或在步驟S56中從分區(qū)標(biāo)題解讀單元41提供的信息提供給 解碼控制單元43。解碼控制單元43以4吏解碼單元36按照基于這些信 息的處理方式執(zhí)行解碼處理的方式來(lái)控制解碼單元36。在步驟S57的處理之后，處理前進(jìn)到步驟S58，分組解讀單元35 確定是否從編碼設(shè)備13發(fā)送的一系列圖像都被接收。如果分組解讀單元35在步驟S58中確定從編碼設(shè)備13發(fā)送的一 系列圖像沒(méi)有都被接收，則處理返回到步驟S51,此后重復(fù)相同的處 理。另一方面，如果分組解讀單元35在步驟S58中確定從編碼設(shè)備 13發(fā)送的一系列圖像都被接收，則結(jié)束處理。如上所述，通過(guò)在序列標(biāo)題、圖片標(biāo)題和分區(qū)標(biāo)題的每一個(gè)中設(shè)定用于實(shí)施編碼單元14和解碼單元36共有的處理的各種標(biāo)志，可以 有效使用編碼單元14和解碼單元36中的資源，例如根據(jù)應(yīng)用最佳地 選擇計(jì)算精度、小波變換的種類、CPU的分配等。上述的各種處理例如可以如圖17所示以并行方式適當(dāng)?shù)貓?zhí)行。圖17是示意性地示出由圖3所示的編碼單元14和圖12所示的 解碼單元36中的各個(gè)單元執(zhí)行的處理的各個(gè)要素的并行操作的例子 的圖。該圖17對(duì)應(yīng)于上述的圖6。針對(duì)圖像數(shù)據(jù)的輸入In-l (圖17 的A)，由小波變換單元51 (圖3)實(shí)施第1小波變換WT-1 (圖17 的B)。如參照?qǐng)D6所說(shuō)明的那樣，該第1小波變換WT-1從第一個(gè) 3行被輸入的時(shí)間點(diǎn)開(kāi)始，并生成系數(shù)C1。即，從圖像數(shù)據(jù)In-l的輸 入之后直到小波變換WT-1開(kāi)始，存在相當(dāng)于3行的延遲。所生成的系數(shù)數(shù)據(jù)被存儲(chǔ)到系數(shù)重新排列緩沖器單元53 (圖3) 中。此后，對(duì)輸入的圖像數(shù)據(jù)實(shí)施小波變換，當(dāng)完成了第l輪處理后， 處理直接轉(zhuǎn)換到第2輪小波變換WT-2。以與用于第2輪小波變換WT-2的圖像數(shù)據(jù)In-2的輸入和第2 輪小波變換WT-2的處理并行的方式，由系數(shù)重新排列單元54(圖3) 執(zhí)行系數(shù)Cl、系數(shù)C4和系數(shù)C5這3個(gè)系數(shù)的重新排列Ord-l (圖 17的C)。順便提及，從小波變換WT-1完成時(shí)到重新排列Ord-l開(kāi)始時(shí)的 延遲是基于設(shè)備或系統(tǒng)結(jié)構(gòu)的延遲，例如與用于指示系數(shù)重新排列單 元54執(zhí)行重新排列處理的控制信號(hào)的傳送有關(guān)的延遲、系數(shù)重新排列 單元54響應(yīng)于該控制信號(hào)開(kāi)始處理所需的延遲、或程序處理所需的延 遲，不是編碼處理所固有的延遲。系數(shù)數(shù)據(jù)按照重新排列完成的順序從系數(shù)重新排列緩沖器單元 53中讀出，被提供給熵編碼單元55 (圖3)，進(jìn)行熵編碼EC-1 (圖 17的D)。該熵編碼EC-1無(wú)需等待系數(shù)C1、系數(shù)C4和系數(shù)C5這 全部3個(gè)系數(shù)的重新排列完成就可以開(kāi)始。例如，在基于首先輸出的 系數(shù)C5的l行的重新排列完成時(shí)的時(shí)間點(diǎn)，開(kāi)始針對(duì)系數(shù)C5的熵編碼。在該情況下，從重新排列Ord-l的處理開(kāi)始時(shí)到熵編碼EC-1的 處理開(kāi)始時(shí)的延遲相當(dāng)于l行。已經(jīng)由熵編碼單元55完成了熵編碼EC-1的編碼數(shù)據(jù)在進(jìn)行了預(yù) 定的信號(hào)處理后被傳送到解碼單元36 (圖12 )(圖17的E )。如上所述，針對(duì)編碼單元14，在第l輪處理的相當(dāng)于7行的圖像 數(shù)據(jù)輸入之后，圖像數(shù)據(jù)被依次輸入，直到屏幕上的下端的行。在編 碼單元14中，在圖像數(shù)據(jù)的輸入In-n (n為2以上)之后，如上所述 每4行執(zhí)行小波變換WT-n、重新排列Ord-n和熵編碼EC-n。在編碼 單元14中針對(duì)最后一輪處理的重新排列Ord和熵編碼EC針對(duì)6行 執(zhí)行。這些處理如圖17的A~圖17的D所示在編碼單元14中以并 行方式執(zhí)行。單元36。解碼單元36的熵解碼單元61 (圖12)針對(duì)所提供的、通過(guò) 熵編碼EC-1被編碼的編碼數(shù)據(jù)，依次執(zhí)行熵代碼的解碼iEC-l，從而 重建系數(shù)數(shù)據(jù)(圖17的F)。重建的系數(shù)數(shù)據(jù)被依次存儲(chǔ)到系數(shù)緩沖 器單元62中。 一旦在系數(shù)緩沖器單元62中存儲(chǔ)了用于執(zhí)行小波逆變 換的足夠量的系數(shù)數(shù)據(jù)，小波逆變換單元63就從系數(shù)緩沖器單元62 讀出系數(shù)數(shù)據(jù)，并使用所讀出的系數(shù)數(shù)據(jù)執(zhí)行小波逆變換iWT-l (圖 17的G)。如參照?qǐng)D6所說(shuō)明的那樣，小波逆變換單元63的小波逆變換 iWT-l可以在系數(shù)C4和系數(shù)C5被存儲(chǔ)到系數(shù)緩沖器單元62中時(shí)的 時(shí)間點(diǎn)開(kāi)始。因此，從熵解碼單元61的解碼iEC-l開(kāi)始時(shí)到小波逆變 換單元63的小波逆變換iWT-l開(kāi)始時(shí)的延遲相當(dāng)于2行。在小波逆變換單元63中，當(dāng)?shù)谝粋€(gè)小波變換的3行的小波逆變 換iWT-l完成時(shí)，執(zhí)行通過(guò)小波逆變換iWT-l生成的圖像數(shù)據(jù)的輸出 Out-l (圖17的H)。在輸出Out-l，如上參照?qǐng)D6和圖7所說(shuō)明的 那樣，輸出第l行的圖像數(shù)據(jù)。在編碼單元14中的第1輪處理的相當(dāng)于3行的編碼系數(shù)數(shù)據(jù)的 輸入之后，通過(guò)熵編碼EC-n ( n為2以上)被編碼的系數(shù)數(shù)據(jù)依次輸入到解碼單元36。在解碼單元36中，如上所述，針對(duì)每4行執(zhí)行熵 解碼iEC-n和小波逆變換iWT-n，依次執(zhí)行通過(guò)小波逆變換iWT-n重 建的圖像數(shù)據(jù)的輸出Out-n。與編碼單元14中的最后一輪對(duì)應(yīng)的熵解 碼iEC和小波逆變換iWT對(duì)6行執(zhí)行，并輸出8行作為輸出Out。如 圖17的F~圖17的H所示，在解碼單元36中，這些處理以并4亍方 式執(zhí)行。如上所述，編碼單元14和解碼單元36中的各個(gè)處理按照從屏幕 的上部到下部的順序以并行方式執(zhí)行，從而能夠以低的延遲執(zhí)行圖像 壓縮處理和圖像解碼處理。參照?qǐng)D17計(jì)算在使用5x3濾波器將小波變換執(zhí)行到分解級(jí)別-2 的情況下從圖像輸入到圖像輸出的延遲時(shí)間。從第l行的圖像數(shù)據(jù)被 輸入到編碼單元14時(shí)到第l行的圖像數(shù)據(jù)從解碼單元36輸出時(shí)的延 遲時(shí)間是下面提及的各個(gè)要素的總和。順便提及，這里，傳送路徑中 的延遲、與設(shè)備的各個(gè)單元中的實(shí)際處理定時(shí)相關(guān)的延遲等取決于系 統(tǒng)結(jié)構(gòu)而不同的延遲被排除在外。(1) 從第1行輸入到7行的小波變換WT-1完成的延遲D—WT(2) 與3^f亍的系數(shù)重新排列Ord-l相關(guān)的時(shí)間D—Ord(3) 與3行的熵編碼EC-1相關(guān)的時(shí)間D_EC(4 )與3行的熵解碼iEC-l相關(guān)的時(shí)間D—iEC (5)與3^f亍的小波逆變換iWT-l相關(guān)的時(shí)間D—iWT。 參照?qǐng)D17嘗試計(jì)算由于上述各要素導(dǎo)致的延遲。(l)中的延遲 D_WT是相當(dāng)于10行的時(shí)間。(2)中的時(shí)間D—Ord、 (3)中的時(shí) 間D—EC、 ( 4 )中的時(shí)間D_iEC和(5 )中的時(shí)間D—iWT都是相當(dāng) 于3行的時(shí)間。而且，在編碼單元14中，熵編碼EC-1可以在重新排 列Ord-l開(kāi)始后的1行后開(kāi)始。同樣，在解碼單元36中，小波逆變 換iWT-l可以在熵解碼iEC-l開(kāi)始后的2行后開(kāi)始。另外，對(duì)于熵解 碼iEC-l，可以在通過(guò)熵編碼EC-1完成了 1行的編碼時(shí)的時(shí)間點(diǎn)開(kāi)始 處理。因此，在該圖17的例子中，從第1行的圖像數(shù)據(jù)被輸入到編碼單元14時(shí)到第1行的圖像數(shù)據(jù)從解碼單元36輸出時(shí)的延遲時(shí)間相當(dāng) 于10 +1 + 1 + 2 + 3-17行。以下將利用更具體的例子來(lái)討論延遲時(shí)間。在所輸入的圖像數(shù)據(jù) 是HDTV ( High Definition Television,高清晰度電視)的隔行視頻信 號(hào)的情況下，例如一幀由192(H象素xl080行的分辨率構(gòu)成，并且一場(chǎng) 為1920像素x540行。因此，假設(shè)幀頻率為30Hz，作為一場(chǎng)的540行 在16.67毫秒(=1秒/60場(chǎng))的時(shí)間輸入到編碼單元14中。因此，與相當(dāng)于7行的圖像數(shù)據(jù)的輸入相關(guān)的時(shí)間延遲是0.216 毫秒(=16.67毫秒x7/540 ^f亍)，這相對(duì)于例如一場(chǎng)的更新時(shí)間是極 短的時(shí)間。另外，對(duì)于上述的(1)中的延遲0_\￥1\ (2)中的時(shí)間 D—Ord、 (3)中的時(shí)間D_EC、 (4)中的時(shí)間D—iEC和(5)中的 時(shí)間D—iWT的總和同樣，要處理的行數(shù)小，從而延遲時(shí)間極大縮短。以下說(shuō)明安裝了上述的軟件編碼器或軟件解碼器的硬件。圖18 是示出個(gè)人計(jì)算機(jī)的結(jié)構(gòu)示例的框圖。在圖18中，個(gè)人計(jì)算機(jī)100的CPU 101-1、 CPU 101-2、 CPU 101-3 和CPU 101-4都是按照軟件程序執(zhí)行各種處理的處理單元。以下在不 需要4皮此區(qū)分時(shí)，將CPU 101-1 ~ CPU 101-4稱為CPU 101。 CPU 101 經(jīng)由作為共用總線的總線104與ROM (Read Only Memory,只讀存 儲(chǔ)器)102和RAM ( Random Access Memory,隨機(jī)存取存儲(chǔ)器)103 互連。軟件程序或數(shù)據(jù)被預(yù)先存儲(chǔ)在ROM 102中。存儲(chǔ)在ROM 102 或存儲(chǔ)單元123中的軟件程序或數(shù)據(jù)被裝載到RAM 103中。高速緩沖存儲(chǔ)器111-1內(nèi)置于CPU 101-1中，高速緩沖存儲(chǔ)器 111-2內(nèi)置于CPU 101-2中，高速緩沖存儲(chǔ)器111-3內(nèi)置于CPU 101-3 中，高速緩沖存儲(chǔ)器111-4內(nèi)置于CPU 101-4中。在以下說(shuō)明中，在 不需要彼此區(qū)分時(shí)，將高速緩沖存儲(chǔ)器111-1 ~高速緩沖存儲(chǔ)器111-4 稱為高速緩沖存儲(chǔ)器111。高速緩沖存儲(chǔ)器111是例如SRAM (Static Random Access Memory,靜態(tài)隨機(jī)存取存儲(chǔ)器)等高速操作的存儲(chǔ)介質(zhì)，由內(nèi)置了 高速緩沖存儲(chǔ)器111的CPU101獨(dú)占性地使用。由于高速緩沖存儲(chǔ)器40lll每單位存儲(chǔ)容量具有高價(jià)格并且內(nèi)置于CPUlOl中，因此，高速 緩沖存儲(chǔ)器111的存儲(chǔ)容量的增大也導(dǎo)致CPU 101的電路規(guī)模的增大。從而，為了降低成本或抑制電路規(guī)模的增大，通常將高速緩沖存儲(chǔ)器111的存儲(chǔ)容量保持為例如比具有大約幾百兆(M)字節(jié)到幾吉 (G)字節(jié)的存儲(chǔ)容量并且設(shè)置在CPU 101外部的RAM 103小的、 大約幾百千(K)字節(jié)到幾兆(M)字節(jié)的容量。當(dāng)然，任何類型的存儲(chǔ)器都可以用作高速緩沖存儲(chǔ)器111，可以 將其存儲(chǔ)容量設(shè)定為任何水平。在這種情況下，假定高速緩沖存儲(chǔ)器lll是如下的存儲(chǔ)介質(zhì)被內(nèi)置有高速緩沖存儲(chǔ)器111的CPU 101獨(dú) 占性地使用，允許數(shù)據(jù)以高于RAM 103的速度讀或?qū)?，但其存?chǔ)容 量小于RAM 103并且對(duì)于能夠存儲(chǔ)的信息量有限制。與高速緩沖存儲(chǔ)器lll相反，假定RAM 103由CPU 101-1 ~ CPU 101-4等共有，允許數(shù)據(jù)以低于高速緩沖存儲(chǔ)器111的速度讀或?qū)懀?并且具有大于高速緩沖存儲(chǔ)器111的容量。當(dāng)然，RAM103的存儲(chǔ)容 量實(shí)際上也是有限的。但是，以下為了說(shuō)明的方便，假定RAM 103 的存儲(chǔ)容量相對(duì)于上述的編碼處理或解碼處理所需的容量足夠大，不 特別考慮容量的限制。即，盡管高速緩沖存儲(chǔ)器111允許程序或數(shù)據(jù)以高速輸入和輸出， 但由于其容量的限制，有時(shí)難以存儲(chǔ)軟件編碼器或軟件解碼器的所有 軟件程序和數(shù)據(jù)。相反，RAM103可以存儲(chǔ)任意的軟件程序或數(shù)據(jù)， 它們的輸入和輸出以低速執(zhí)行。CPU IOI將軟件程序或數(shù)據(jù)裝載到內(nèi)置于CPU IOI本身的高速 緩沖存儲(chǔ)器111或RAM 103，使用這些程序或軟件執(zhí)行編碼或解碼中 的各種處理。輸入/輸出接口 120還連接到總線104。鍵盤(pán)或鼠標(biāo)等輸入單元 121、 CRT ( Cathode Ray Tube,陰極射線管)或LCD ( Liquid Crystal Display,液晶顯示器)等顯示器或揚(yáng)聲器等輸出單元122、由硬盤(pán)等 構(gòu)成的存儲(chǔ)單元123以及由調(diào)制解調(diào)器等構(gòu)成的通信單元124被連接 到輸入/輸出接口 120。通信單元124經(jīng)由包括互聯(lián)網(wǎng)等的網(wǎng)絡(luò)執(zhí)行通信處理。驅(qū)動(dòng)器125還根據(jù)需要連接到輸入/輸出接口 120 ，適當(dāng)安裝磁盤(pán)、 光盤(pán)、光磁盤(pán)或半導(dǎo)體存儲(chǔ)器等可裝卸介質(zhì)131，從其中讀出的軟件 程序根據(jù)需要被安裝到存儲(chǔ)單元123。軟件程序還可以經(jīng)由網(wǎng)絡(luò)從通 信單元124安裝。順便提及，盡管在圖18中說(shuō)明了在個(gè)人計(jì)算機(jī)100中設(shè)置4個(gè) CPU 101，但CPU101的個(gè)數(shù)是任意的。但是，取決于后述的軟件編 碼器或軟件解碼器的安裝方法，在某些情況下對(duì)于CPU 101的最小個(gè) 數(shù)有限制。例如，存在需要2個(gè)CPU101的情況或需要4個(gè)CPU101 的情況。另夕卜，CPU 101-1 ~ CPU 101-4在物理上可以是具有4個(gè)核的 一個(gè)CPU 101。這種情況下，高速緩沖存儲(chǔ)器111-1 ~高速緩沖存儲(chǔ) 器111-4可以設(shè)置在各個(gè)CPU核(CPU 101-1 ~ CPU 101-4)中，或 者被分配給各個(gè)CPU核的、由各CPU核共有的單一高速援沖存儲(chǔ)器 111的部分區(qū)域可以是高速緩沖存儲(chǔ)器111-1 ~高速緩沖存儲(chǔ)器111-4。在如上構(gòu)成的個(gè)人計(jì)算機(jī)100中，為了以不會(huì)不必要地降低處理 的效率或增加延遲時(shí)間的方式實(shí)施圖3所示的編碼單元14或圖12中 的解碼單元36,需要將CPU 101或RAM 103等個(gè)人計(jì)算機(jī)100的硬 件資源適當(dāng)分配給編碼單元14或解碼單元36中的各個(gè)處理。以下將 說(shuō)明這樣的分配的例子。圖19是示出向圖3中的編碼單元14分配硬件資源的例子的圖。 在圖19所示的例子中，將CPU 101-1分配給編碼單元14的小波變換 單元51、系數(shù)重新排列單元54和熵編碼單元55的全部處理，并且中 間計(jì)算緩沖器單元52和系數(shù)重新排列緩沖器單元53形成在高速緩沖 存儲(chǔ)器111-1中。此時(shí)，實(shí)現(xiàn)小波變換單元51、系數(shù)重新排列單元54和熵編碼單 元55各自的功能的軟件程序被裝入高速緩沖存儲(chǔ)器111-1中。CPU 101-1根據(jù)需要從高速緩沖存儲(chǔ)器111-1中讀出并執(zhí)行軟件程序的函 數(shù)。作為要編碼的圖像數(shù)據(jù)的亮度分量的圖像數(shù)據(jù)Y和作為色度分量的圖像數(shù)據(jù)C保持在RAM 103中。盡管實(shí)際上存在作為色度分量 的Cb和Cr，這里為了說(shuō)明的簡(jiǎn)化，將Cb和Cr集中指示為C。盡管 以下說(shuō)明由亮度分量Y和色度分量C構(gòu)成的YC (YCbCr)分量，同 樣也適用于由R分量、G分量和B分量構(gòu)成的RGB分量。在圖19的例子的情況下，圖像數(shù)據(jù)Y和圖像數(shù)據(jù)C都在CPU 101-1中編碼。即，通過(guò)執(zhí)行小波變換單元51的處理，CPU 101-1從 RAM103讀出圖像數(shù)據(jù)Y，并且執(zhí)行小波變換處理。此時(shí)，CPU 101-1 使用高速緩沖存儲(chǔ)器111-1的存儲(chǔ)區(qū)域的一部分作為中間計(jì)算緩沖器 單元52，使中間計(jì)算緩沖器單元52保持在小波變換處理的垂直方向 和水平方向上的分析濾波處理中生成的中間數(shù)據(jù)(例如中間分割級(jí)別 的低頻分量)。并且，CPU 101-1使用高速緩沖存儲(chǔ)器111-1的存儲(chǔ) 區(qū)域的另一部分作為系數(shù)重新排列緩沖器單元53，使系數(shù)重新排列緩 沖器單元53保持通過(guò)小波變換生成的系數(shù)數(shù)據(jù)。通過(guò)執(zhí)行系數(shù)重新排列單元54的處理，CPU 101-1在按照預(yù)定 的順序重新排列系數(shù)數(shù)據(jù)的同時(shí)，讀出高速緩沖存儲(chǔ)器111-1的系數(shù) 重新排列緩沖器單元53中保持的系數(shù)數(shù)據(jù)。通過(guò)執(zhí)行熵編碼單元55 的處理，CPU 101-1對(duì)在通過(guò)系數(shù)重新排列單元54中的處理而按順序 重新排列的同時(shí)從高速緩沖存儲(chǔ)器111-1讀出的系數(shù)數(shù)據(jù)進(jìn)行編碼， 生成編碼數(shù)據(jù)Y。 CPU 101-1將所生成的編碼數(shù)據(jù)Y提供給RAM 103 以存儲(chǔ)在其中。CPU 101-1對(duì)圖像數(shù)據(jù)C與圖像數(shù)據(jù)Y的情況同樣地執(zhí)行處理。 在如圖19所示編碼單元14在個(gè)人計(jì)算機(jī)100中實(shí)施的情況下， 編碼單元14中的所有處理由一個(gè)CPU 101執(zhí)行，在編碼處理的過(guò)程 中生成的小波變換的中間數(shù)據(jù)或系數(shù)數(shù)據(jù)都被存儲(chǔ)到CPU 101的高速 緩沖存儲(chǔ)器111中。此時(shí)，與CPU 101-1同樣，例如還可以將其它CPU 101-2 ~ CPU 101-4分配給編碼單元14。即，如圖19所示的CPU 101-1的情況那樣， 實(shí)現(xiàn)小波變換單元51、系數(shù)重新排列單元54和熵編碼單元55的各功 能的軟件程序還被裝入高速緩沖存儲(chǔ)器111-2 ~高速緩沖存儲(chǔ)器111-443的每一個(gè)中。CPU 101-2 ~CPU 101-4從各個(gè)高速緩沖存儲(chǔ)器111中讀 出并執(zhí)行這些軟件程序，并且執(zhí)行編碼單元14的小波變換單元51、 系數(shù)重新排列單元54和熵編碼單元55各自的處理。此時(shí)，與高速緩 沖存儲(chǔ)器111-1同樣，中間計(jì)算緩沖器單元52和系數(shù)重新排列緩沖器 單元53形成在高速緩沖存儲(chǔ)器111-2 ~高速緩沖存儲(chǔ)器111-4的每一 個(gè)巾。即，在該情況下，4個(gè)編碼單元14由CPU 101-1 ~ CPU 101-4實(shí) 現(xiàn)。例如針對(duì)要編碼的移動(dòng)圖像數(shù)據(jù)的每個(gè)圖片將編碼處理分配給編 碼單元14。即，在該情況下，CPU 101-1 ~ CPU 101-4針對(duì)相互不同 的圖片以彼此并行的方式執(zhí)行編碼處理。圖20中示意性地示出該情況 下的處理流程。在圖20中，在圖中的縱向上從上到下示出時(shí)間序列，由各個(gè)CPU 執(zhí)行的處理用方框表示。在圖20的例子中，CPU 101-1首先從RAM 103中讀出作為第1 圖片的第l分區(qū)(Pl)的亮度分量Y的圖像數(shù)據(jù)Y,在使高速緩沖存 儲(chǔ)器111-1保持中間數(shù)據(jù)的同時(shí)對(duì)圖像數(shù)據(jù)Y執(zhí)行小波變換 (P1DWT(Y))，并且在使高速緩沖存儲(chǔ)器111-1保持所得到的系數(shù) 數(shù)據(jù)之后，針對(duì)系數(shù)數(shù)據(jù)執(zhí)行順序的重新排列和熵編碼(PlVLC(Y))。 通過(guò)該熵編碼得到的編碼數(shù)據(jù)Y累積在RAM 103中。接著，CPU 101-1 從RAM 103中讀出作為第1分區(qū)(Pl)的色度分量C的圖像數(shù)據(jù)C， 在使高速緩沖存儲(chǔ)器111-1保持中間數(shù)據(jù)的同時(shí)對(duì)圖像數(shù)據(jù)C執(zhí)行小 波變換(P1DWT(C)),并且在使高速緩沖存儲(chǔ)器111-1保持所得到 的系數(shù)數(shù)據(jù)之后，針對(duì)系數(shù)數(shù)據(jù)執(zhí)行順序的重新排列和熵編碼 (P1VLC(C))。通過(guò)該熵編碼得到的編碼數(shù)據(jù)C累積在RAM 103中。在該時(shí)間點(diǎn)，相當(dāng)于至少 一個(gè)分區(qū)以上的編碼數(shù)據(jù)Y和編碼數(shù)據(jù) C萍皮累積在RAM 103中，因此開(kāi)始編碼數(shù)據(jù)Y和編碼數(shù)據(jù)C的輸出。這樣，在CPU 101-1和高速緩沖存儲(chǔ)器111-1中實(shí)現(xiàn)的小波變換 單元51 ~熵編碼單元55針對(duì)圖像數(shù)據(jù)Y和圖像數(shù)據(jù)C執(zhí)行彼此相同 的處理或保持?jǐn)?shù)據(jù)。換言之，CPU 101-1和高速緩沖存儲(chǔ)器111-1針對(duì)圖像數(shù)據(jù)Y和圖像數(shù)據(jù)C中的任何一個(gè)以相同的方式執(zhí)行與編碼有 關(guān)的處理或保持?jǐn)?shù)據(jù)。當(dāng)完成了針對(duì)第1分區(qū)的處理時(shí)，CPU 101-1然后從RAM 103 中讀出第1圖片的第2分區(qū)(P2)的圖像數(shù)據(jù)Y，在使高速緩沖存儲(chǔ) 器111-1保持中間數(shù)據(jù)的同時(shí)對(duì)圖像數(shù)據(jù)Y執(zhí)行小波變換(P2DWT(Y))，并且在使高速緩沖存儲(chǔ)器111-1保持所得到的系數(shù) 數(shù)據(jù)之后，針對(duì)系數(shù)數(shù)據(jù)執(zhí)行順序的重新排列和熵編碼(P2VLC(Y))。 通過(guò)該熵編碼得到的編碼數(shù)據(jù)Y在累積到RAM 103中之后被輸出。 接著，CPU 101-1從RAM 103中讀出第2分區(qū)(P2 )的圖像數(shù)據(jù)C， 在使高速緩沖存儲(chǔ)器111-1保持中間數(shù)據(jù)的同時(shí)針對(duì)圖像數(shù)據(jù)C執(zhí)行 小波變換(P2DWT(C))，并且在使高速緩沖存儲(chǔ)器111-1保持所得 到的系數(shù)數(shù)據(jù)之后，針對(duì)系數(shù)數(shù)據(jù)執(zhí)行順序的重新排列和熵編碼(P2VLC(C))。通過(guò)該熵編碼得到的編碼數(shù)據(jù)C在累積到RAM 103 中之后輸出。CPU 101-1以同樣的方式針對(duì)第1圖片的第3分區(qū)以后執(zhí)行處理， 并且針對(duì)最后第n個(gè)分區(qū)(Pn)的圖像數(shù)據(jù)Y和圖像數(shù)據(jù)C分別執(zhí) -f亍小波變換以及系數(shù)重新排列和熵編碼(PnDWT(Y)、 PnVLC(Y)、 PnDWT(C)、 PnVLC(C))。所得到的編碼數(shù)據(jù)Y和編碼數(shù)據(jù)C與前 面的分區(qū)同樣，在累積在RAM 103中之后輸出。當(dāng)?shù)趎個(gè)分區(qū)的編 碼數(shù)據(jù)C被輸出時(shí)，第1圖片的所有編碼數(shù)據(jù)都被輸出，因此對(duì)第1 圖片結(jié)束編碼數(shù)據(jù)的輸出。與CPU 101-1的該處理并4亍地，如圖20所示，CPU 101-2、 CPU 101-3和CPU 101-4可以分別針對(duì)第2圖片、第3圖片和第4圖片， 從第l分區(qū)到第n分區(qū)與CPU 101的情況同樣地執(zhí)行小波變換處理以 及系數(shù)重新排列和熵編碼，從圖像數(shù)據(jù)Y和圖像數(shù)據(jù)C生成編碼數(shù)據(jù) Y和編碼數(shù)據(jù)C，并使這些數(shù)據(jù)在保持在RAM 103中之后輸出。即，在該情況下，與CPU 101-1和高速緩沖存儲(chǔ)器111-1同樣， CPU 101-2和高速緩沖存儲(chǔ)器111-2、 CPU 101-3和高速緩沖存儲(chǔ)器 111-3、 CPU 101-4和高速緩沖存儲(chǔ)器111-4都針對(duì)圖像數(shù)據(jù)Y和圖像45數(shù)據(jù)c執(zhí)行與編碼有關(guān)的處理或保持?jǐn)?shù)據(jù)。在這種情況下，在針對(duì)第1圖片的處理完成時(shí)，CPU 101-1然后 針對(duì)第5圖片執(zhí)行編碼處理。與CPU 101-1中的處理并行地，CPU 101-2 ~ CPU 101-4同樣地分別針對(duì)第6~第8圖片執(zhí)行編碼處理。第 9圖片以后也同樣地處理。如上所述，在圖19所示的分配例子的情況下，編碼單元14可以 同時(shí)并行地執(zhí)行4個(gè)圖片的編碼處理。而且，在該情況下，在一系列 編碼處理中不需要切換CPU。另外，可以不使用RAM 103而僅使用 高速緩沖存儲(chǔ)器111來(lái)執(zhí)行處理，從而小波變換單元51或系數(shù)重新排 列單元54也能夠高速地對(duì)中間計(jì)算緩沖器單元52或系數(shù)重新排列緩 沖器單元53進(jìn)行數(shù)據(jù)的讀或?qū)憽Ｒ虼?，通過(guò)這樣的硬件資源分配，編 碼單元14可以高速地對(duì)圖像數(shù)據(jù)進(jìn)行編碼。即，在圖19所示的分配 例子的情況下，編碼單元14能夠以高的處理能力來(lái)執(zhí)行編碼。而且， 不管CPU 101的個(gè)數(shù)如何(例如即使為1個(gè)時(shí))，個(gè)人計(jì)算機(jī)100都 能實(shí)現(xiàn)編碼單元14。但是，由于高速緩沖存儲(chǔ)器lll具有小的存儲(chǔ)容量，因此同時(shí)累 積的數(shù)據(jù)量存在限制，取決于要編碼的圖像數(shù)據(jù)的數(shù)據(jù)量或內(nèi)容，高 速緩沖存儲(chǔ)器111的容量可能不足而導(dǎo)致溢出，因此常常不能將圖19 所示的分配例子應(yīng)用于執(zhí)行編碼所需的緩沖器量大的情況。另夕卜，由于圖像數(shù)據(jù)Y的編碼和圖像數(shù)據(jù)C的編碼都在一個(gè)CPU 101中執(zhí)行，因此從編碼處理開(kāi)始時(shí)到第1分區(qū)的編碼數(shù)據(jù)從編碼單 元14輸出時(shí)的時(shí)間、即編碼處理中的時(shí)間延遲長(zhǎng)。因此，從編碼數(shù)據(jù) 被解碼單元36解碼時(shí)到重建后的圖像數(shù)據(jù)的圖像顯示在監(jiān)視器上時(shí) 的延遲時(shí)間也變長(zhǎng)。同樣的原因，第1個(gè)圖片被顯示在監(jiān)視器上之前 的時(shí)間變長(zhǎng)。圖21是示出向圖3中的編碼單元14分配硬件資源的另一例子的 圖。在圖21所示的例子中，與圖19的情況同樣，將CPU 101-1分配 給編碼單元14的小波變換單元51、系數(shù)重新排列單元54和熵編碼單 元55的全部處理。但是，應(yīng)注意的是，盡管中間計(jì)算緩沖器單元52形成在高速緩沖存儲(chǔ)器111-1中，但系數(shù)重新排列緩沖器單元53形成 在RAM 103中。
此時(shí)，實(shí)現(xiàn)小波變換單元51、系數(shù)重新排列單元54和熵編碼單 元55的各功能的軟件程序被裝入高速緩沖存儲(chǔ)器111-1中。CPU 101-1 根據(jù)需要從高速緩沖存儲(chǔ)器111-1中讀出并執(zhí)行軟件程序的函數(shù)。
與圖19中的例子的情況相同，在圖21中的例子的情況下，圖像 數(shù)據(jù)Y和圖像數(shù)據(jù)C都在CPU 101-1中編碼。即，通過(guò)執(zhí)行小波變換 單元51的處理，CPU 101-1從RAM 103讀出圖像數(shù)據(jù)Y，并且執(zhí)行 小波變換處理。此時(shí)，CPU 101-1使用高速緩沖存儲(chǔ)器111-1的存儲(chǔ) 區(qū)域的 一 部分作為中間計(jì)算緩沖器單元5 2,使中間計(jì)算緩沖器單元5 2 保持在小波變換處理的垂直方向和水平方向上的分析濾波處理中生成 的中間數(shù)據(jù)(例如中間分割級(jí)別的低頻分量)。
但是應(yīng)注意，與圖19中的例子的情況不同，在圖21中的例子的 情況下，CPU 101-1使用RAM 103的存儲(chǔ)區(qū)域的一部分作為系數(shù)重新 排列緩沖器單元53，使系數(shù)重新排列緩沖器單元53保持通過(guò)小波變 換生成的系數(shù)數(shù)據(jù)。
通過(guò)執(zhí)行系數(shù)重新排列單元54的處理，CPU 101-1在按照預(yù)定 的順序重新排列系數(shù)數(shù)據(jù)的同時(shí)，讀出RAM 103的系數(shù)重新排列緩 沖器單元53中保持的系數(shù)數(shù)據(jù)。通過(guò)執(zhí)行熵編碼單元55的處理，CPU 101-1對(duì)在通過(guò)系數(shù)重新排列單元54中的處理而按順序重新排列的同 時(shí)從RAM 103讀出的系數(shù)數(shù)據(jù)進(jìn)行編碼，生成編碼數(shù)據(jù)Y。 CPU 101-1 將所生成的編碼數(shù)據(jù)Y提供給RAM 103以存儲(chǔ)在其中。
CPU 101-1與圖像數(shù)據(jù)Y的情況同樣地對(duì)圖像數(shù)據(jù)C執(zhí)行處理。
在如圖21所示編碼單元14在個(gè)人計(jì)算機(jī)100中實(shí)施的情況下， 編碼單元14的所有處理由一個(gè)CPU 101執(zhí)行，在編碼處理的過(guò)程中 生成的小波變換的中間數(shù)據(jù)被存儲(chǔ)到高速操作的、CPU101的高速緩 沖存儲(chǔ)器lll中，通過(guò)小波變換生成的系數(shù)數(shù)據(jù)被存儲(chǔ)到具有大容量 的RAM 103中。
此時(shí)，例如與CPU 101-1同才羊，還可以將其它CPU101-2~CPU101-4分配給編碼單元14。即，如圖21的情況那樣，實(shí)現(xiàn)小波變換單 元51、系數(shù)重新排列單元54和熵編碼單元55的各功能的軟件程序還 被裝入高速緩沖存儲(chǔ)器111-2 ~高速緩沖存儲(chǔ)器111-4的每一個(gè)中。 CPU 101-2~CPU 101-4從各個(gè)高速緩沖存儲(chǔ)器111中讀出并執(zhí)行這 些軟件程序，并且執(zhí)行編碼單元14的小波變換單元51、系數(shù)重新排 列單元54和熵編碼單元55各自的處理。此時(shí)，與高速緩沖存儲(chǔ)器111-1 同樣，中間計(jì)算緩沖器單元52形成在高速緩沖存儲(chǔ)器111-2 ~高速緩 沖存儲(chǔ)器111-4的每一個(gè)中，各個(gè)系數(shù)重新排列緩沖器單元53形成在 RAM 103中。
即，在該情況下，4個(gè)編碼單元14由CPU 101-1 ~ CPU 101-4實(shí) 現(xiàn)。例如針對(duì)要編碼的移動(dòng)圖像數(shù)據(jù)的每個(gè)圖片將編碼處理分配給編 碼單元14。即，在該情況下，CPU 101-1 ~ CPU 101-4針對(duì)相互不同 的圖片以彼此并行的方式執(zhí)行編碼處理。與圖19的情況同樣，圖20 中示意性地示出該情況下的處理流程。
在上述的圖21所示的分配例子的情況下，由于系數(shù)重新排列緩 沖器單元53形成在RAM 103中，因此與圖19中的分配例子的情況 相比，高速緩沖存儲(chǔ)器111的更大部分被用作中間計(jì)算緩沖器單元52。 即，可以使中間計(jì)算緩沖器單元52的容量變大。而且，也可以使系數(shù) 重新排列緩沖器單元53的容量變大。即，在圖21的例子中的分配的 情況下，與圖19所示的分配的情況相比，編碼單元14可以抑制緩沖 器溢出的發(fā)生，可以在更寬范圍的條件下實(shí)現(xiàn)。
但是應(yīng)注意，由于系數(shù)重新排列緩沖器單元53形成在允許以低 于高速緩沖存儲(chǔ)器111的速度讀寫(xiě)的RAM 103中，因此與圖19中的 分配例子的情況相比處理能力降低。但是，由于多次執(zhí)行數(shù)據(jù)的讀或 寫(xiě)的中間計(jì)算緩沖器單元52形成在高速操作的高速緩沖存儲(chǔ)器111 中，因此處理能力的降低小。
圖22是示出向圖3中的編碼單元14分配硬件資源的另一例子的 圖。在圖22所示的例子中，與圖21中的分配例子相比，將分別不同 的CPU分別分配給執(zhí)行圖像數(shù)據(jù)Y的編碼的編碼單元和執(zhí)行圖像數(shù)據(jù)C的編碼的編碼單元。即，將CPU 101-1分配給執(zhí)行圖像數(shù)據(jù)Y 的編碼的編碼單元的小波變換單元51-1、系數(shù)重新排列單元54-1和熵 編碼單元55-1的全部處理，中間計(jì)算緩沖器單元52-1形成在高速緩 沖存儲(chǔ)器111-1中，系數(shù)重新排列緩沖器單元53-1形成在RAM 103 中。而且，將CPU 101-2分配給執(zhí)行圖像數(shù)據(jù)C的編碼的編碼單元的 小波變換單元51-2、系數(shù)重新排列單元54-2和熵編碼單元55-2的全 部處理，中間計(jì)算緩沖器單元52-2形成在高速緩沖存儲(chǔ)器111-2中， 系數(shù)重新排列緩沖器單元53-2形成在RAM 103中。
此時(shí)，實(shí)現(xiàn)小波變換單元51、系數(shù)重新排列單元54和熵編碼單 元55的各功能的軟件程序被裝入高速緩沖存儲(chǔ)器111-1和高速緩沖存 儲(chǔ)器111-2中。CPU 101-1和CPU 101-2根據(jù)需要從高速緩沖存儲(chǔ)器 111-1或高速緩沖存儲(chǔ)器111-2中讀出并執(zhí)行軟件程序的函數(shù)。
在圖22中的例子的情況下，圖像數(shù)據(jù)Y在CPU 101-1中編碼， 圖像數(shù)據(jù)C在CPU 101-2中編碼。即，與圖21中的例子的情況同樣， 通過(guò)針對(duì)圖像數(shù)據(jù)Y執(zhí)行小波變換單元51-1的處理，CPU 101-1從 RAM 103讀出圖4象數(shù)據(jù)Y，并且執(zhí)行小波變換處理。此時(shí)，CPU 101-1 使用高速緩沖存儲(chǔ)器111-1的存儲(chǔ)區(qū)域的一部分作為中間計(jì)算緩沖器 單元52-1,使中間計(jì)算緩沖器單元52-1保持在小波變換處理的垂直方 向和水平方向上的分析濾波處理中生成的中間數(shù)據(jù)。
與圖21中的例子的情況同樣，CPU 101-1使用RAM 103的存儲(chǔ) 區(qū)域的一部分作為系數(shù)重新排列緩沖器單元53-1,使系數(shù)重新排列緩 沖器單元53-1保持通過(guò)小波變換生成的系數(shù)數(shù)據(jù)。通過(guò)執(zhí)行系數(shù)重新 排列單元54-1的處理，CPU 101-1在按照預(yù)定的順序重新排列系數(shù)數(shù) 據(jù)的同時(shí)，讀出RAM 103的系數(shù)重新排列緩沖器單元53-1中保持的 系數(shù)數(shù)據(jù)。通過(guò)執(zhí)行熵編碼單元55-1的處理，CPU 101-1對(duì)在通過(guò)系 數(shù)重新排列單元54-1中的處理而按順序重新排列的同時(shí)從RAM 103 讀出的系數(shù)數(shù)據(jù)進(jìn)行編碼，生成編碼數(shù)據(jù)Y。 CPU 101-1將所生成的 編碼數(shù)據(jù)Y提供給RAM 103以存儲(chǔ)在其中。
但是應(yīng)注意，與圖21中的例子的情況不同，在圖22的例子的情
49況下，與CPU 101-1中的處理并行地，CPU 101-2針對(duì)圖像數(shù)據(jù)C與 圖21中的例子的情況同樣地執(zhí)行小波變換以及系數(shù)重新排列和熵編 碼。
在如圖22所示編碼單元14在個(gè)人計(jì)算機(jī)100中實(shí)施的情況下， 針對(duì)圖像數(shù)據(jù)Y和圖像數(shù)據(jù)C的編碼單元14的所有處理由分別不同 的單個(gè)CPU 101執(zhí)行，在它們的編碼處理的過(guò)程中生成的小波變換的 中間數(shù)據(jù)被存儲(chǔ)到內(nèi)置于各個(gè)CPU 101的高速緩沖存儲(chǔ)器111中，通 過(guò)各自的小波變換生成的系數(shù)數(shù)據(jù)被存儲(chǔ)到RAM 103中。即，以2 個(gè)CPU為一組來(lái)執(zhí)行編碼處理。
此時(shí)，例如與CPU 101-1和CPU 101-2同樣，還可以將其它CPU 101-3和CPU 101-4分配給編碼單元14。即，如圖22的情況那樣，實(shí) 現(xiàn)小波變換單元51、系數(shù)重新排列單元54和熵編碼單元55的各功能 的軟件程序還被裝入高速緩沖存儲(chǔ)器111-3和高速緩沖存儲(chǔ)器111-4 的每一個(gè)中。CPU 101-3和CPU 101-4從各個(gè)高速緩沖存儲(chǔ)器111中 讀出并執(zhí)行這些軟件程序，并且執(zhí)行編碼單元14的小波變換單元51、 系數(shù)重新排列單元54和熵編碼單元55各自的處理。此時(shí)，用于圖像 數(shù)據(jù)Y的中間計(jì)算緩沖器單元52-1形成在高速緩沖存儲(chǔ)器111-3中， 用于圖像數(shù)據(jù)C的中間計(jì)算緩沖器單元52-2形成在高速緩沖存儲(chǔ)器 111-4中，用于圖像數(shù)據(jù)Y的系數(shù)重新排列緩沖器單元53-l和用于圖 像數(shù)據(jù)C的系數(shù)重新排列緩沖器單元53-2都形成在RAM 103中。
即，在該情況下，2個(gè)編碼單元14由CPU 101-1 ~ CPU 101-4實(shí) 現(xiàn)。例如針對(duì)要編碼的移動(dòng)圖像數(shù)據(jù)的每個(gè)圖片將編碼處理分配給編 碼單元14。例如，CPU 101-1和CPU 101-2構(gòu)成為執(zhí)行第奇數(shù)個(gè)圖片 的編碼處理，CPU 101-3和CPU 101-4構(gòu)成為執(zhí)行第偶數(shù)個(gè)圖片的編 碼處理。圖23中示出該情況下的處理流程。
在圖23的例子中，CPU 101-1從RAM 103中讀出第1圖片的第 1分區(qū)(PI)的圖像數(shù)據(jù)Y，在使高速緩沖存儲(chǔ)器111-1保持中間數(shù) 據(jù)的同時(shí)對(duì)圖像數(shù)據(jù)Y執(zhí)行小波變換(P1DWT(Y)),并且在RAM 103 保持所得到的系數(shù)數(shù)據(jù)之后，針對(duì)系數(shù)數(shù)據(jù)執(zhí)行順序的重新排列和熵
50編碼(P1VLC(Y))。通過(guò)該熵編碼得到的編碼數(shù)據(jù)Y累積在RAM 103 中。與CPU 101-1中的處理并行地，CPU 101-2從RAM 103中讀出 第1圖片的第l分區(qū)(P1)的圖像數(shù)據(jù)C，在使高速緩沖存儲(chǔ)器111-2 保持中間數(shù)據(jù)的同時(shí)對(duì)圖像數(shù)據(jù)C執(zhí)行小波變換(P1DWT(C))，并 且在RAM 103中保持所得到的系數(shù)數(shù)據(jù)之后，針對(duì)系數(shù)數(shù)據(jù)執(zhí)行順 序的重新排列和熵編碼(P1VLC(C))。通過(guò)該熵編碼得到的編碼數(shù) 據(jù)C也累積在RAM 103中。
因此，利用該情況下的編碼單元14，在CPU 101-1和CPU 101-2 完成針對(duì)第l分區(qū)的熵編碼的時(shí)間點(diǎn)，相當(dāng)于一個(gè)分區(qū)以上的編碼數(shù) 據(jù)(編碼數(shù)據(jù)Y和編碼數(shù)據(jù)C )被累積在RAM 103中，從而可以開(kāi) 始編碼數(shù)據(jù)的輸出。
同樣，針對(duì)第2分區(qū)以后，CPU 101-1將圖《象數(shù)據(jù)Y編碼，與此 并行地，CPU 101-2將圖像數(shù)據(jù)C編碼。當(dāng)最后第n個(gè)分區(qū)(Pn)的 圖像數(shù)據(jù)Y和圖像數(shù)據(jù)C被編碼并且編碼數(shù)據(jù)Y和編碼數(shù)據(jù)C被輸 出時(shí)，由于第1圖片的所有編碼數(shù)據(jù)都被輸出，因此對(duì)第l圖片結(jié)束 編碼數(shù)據(jù)的輸出。
與CPU 101-1和CPU 101-2中的處理并行地，如圖23所示，CPU 101-3和CPU 101-4可以對(duì)第2圖片執(zhí)行與CPU 101-1和CPU 101-2 中的處理同樣的編碼處理。即，在該情況下，CPU 101-34十對(duì)第2圖 片的圖像數(shù)據(jù)Y執(zhí)行編碼處理，CPU 101-4針對(duì)第2圖片的圖像數(shù)據(jù) C執(zhí)行編碼處理。
在這種情況下，在針對(duì)第1圖片的處理完成時(shí)，CPU 101-1和 CPU 101-2然后針對(duì)第3圖片執(zhí)行編碼處理。與CPU 101-1和CPU 101-2中的處理并行地，CPU 101-3和CPU 101-4同樣地針對(duì)第4圖 片執(zhí)行編碼處理。第5圖片以后也同樣地處理。
如上所述，在圖22所示的分配例子的情況下，通過(guò)并行地對(duì)圖 像數(shù)據(jù)Y和圖像數(shù)據(jù)C進(jìn)行編碼，可以使編碼數(shù)據(jù)的輸出開(kāi)始定時(shí)、 即第1分區(qū)的編碼數(shù)據(jù)Y和編碼數(shù)據(jù)C的輸出定時(shí)早于圖19或圖21 中的例子的情況，因此可以減少編碼處理中的延遲時(shí)間。附帶地說(shuō)，由于同樣的原因，在圖22所示的分配例子的情況下，第1圖片的編碼 也可以比圖19或圖21中的例子的情況更快地完成。
因此，在解碼單元36中將在編碼單元14中編碼的編碼數(shù)據(jù)依次 解碼并且將重建后的圖像數(shù)據(jù)的圖像顯示在監(jiān)視器上的情況下，從開(kāi) 始編碼時(shí)到顯示第一個(gè)圖片時(shí)的延遲時(shí)間在圖22所示的分配例子的 情況下比在圖19或圖21中的例子的情況下要短。
另外，與圖21中的例子的情況同樣，中間計(jì)算緩沖器單元52形 成在高速緩沖存儲(chǔ)器lll中，系數(shù)重新排列緩沖器單元53形成在RAM 103中。從而與圖19中的例子的情況相比，可以使中間計(jì)算緩沖器單 元52和系數(shù)重新排列緩沖器單元53的容量更大，可以更多地抑制緩 沖器溢出的發(fā)生，并且可以使處理能力的降低更小。
順便提及，在圖22中的例子的情況下，由于對(duì)圖像數(shù)據(jù)Y的小 波變換的中間數(shù)據(jù)和對(duì)圖像數(shù)據(jù)C的小波變換的中間數(shù)據(jù)累積在相互 不同的高速緩沖存儲(chǔ)器111中，因此與圖21中的例子的情況相比，可 以使中間計(jì)算緩沖器單元52的容量更大，并且可以更多地抑制緩沖器 溢出的發(fā)生。
但是應(yīng)當(dāng)注意，實(shí)際上由于圖像數(shù)據(jù)Y與圖像數(shù)據(jù)C相比包含 更大量的信息并且在圖形上更為復(fù)雜，因此編碼處理所需的時(shí)間更長(zhǎng)。 因此，由于在CPU 101-2中發(fā)生待機(jī)時(shí)間，CPU101的使用效率比圖 21的情況降低，處理能力也比圖21的情況降低。
圖24是示出向圖3中的編碼單元14分配硬件資源的另一例子的 圖。在圖24所示的例子中，與圖22中的分配例子相比，將分別不同 的CPU 101分別分配給小波變換單元51、系數(shù)重新排列單元54和熵 編碼單元55。
即，將CPU 101-1分配給執(zhí)行圖像數(shù)據(jù)Y的小波變換處理的小 波變換單元51-1，將CPU 101-2分配給執(zhí)行圖像數(shù)據(jù)Y的系數(shù)數(shù)據(jù)的 系數(shù)重新排列的系數(shù)重新排列單元54-1和執(zhí)行圖像數(shù)據(jù)Y的系數(shù)數(shù)據(jù) 的熵編碼的熵編碼單元55-1。中間計(jì)算緩沖器單元52-1形成在CPU 101-1的高速緩沖存儲(chǔ)器111-1中，系數(shù)重新排列緩沖器單元53-1形
52成在RAM 103中。
同樣，將CPU 101-3分配給執(zhí)行圖像數(shù)據(jù)C的小波變換處理的 小波變換單元51-2，將CPU 101-4分配給執(zhí)行圖像數(shù)據(jù)C的系數(shù)數(shù)據(jù) 的系數(shù)重新排列的系數(shù)重新排列單元54-2和執(zhí)行圖像數(shù)據(jù)C的系數(shù)數(shù) 據(jù)的熵編碼的熵編碼單元55-2。中間計(jì)算緩沖器單元52-2形成在CPU 101-3的高速緩沖存儲(chǔ)器111-3中，系數(shù)重新排列緩沖器單元53-2形 成在RAM 103中。
此時(shí)，實(shí)現(xiàn)小波變換單元51的功能的軟件程序被裝入高速緩沖 存儲(chǔ)器111-1和高速緩沖存儲(chǔ)器111-3中，實(shí)現(xiàn)系數(shù)重新排列單元54 和熵編碼單元55的各功能的軟件程序被裝入高速緩沖存儲(chǔ)器111-2和 高速緩沖存儲(chǔ)器111-4中。CPU 101-1 ~ CPU 101-4分別根據(jù)需要從各 個(gè)高速緩沖存儲(chǔ)器111中讀出并執(zhí)行這些軟件程序的函數(shù)。
在圖24中的例子的情況下，圖像數(shù)據(jù)Y在CPU 101-1和CPU 101-2中編碼，圖像數(shù)據(jù)C在CPU 101-3和CPU 101-4中編碼。即， 針對(duì)圖像數(shù)據(jù)Y,通過(guò)執(zhí)行小波變換單元51-1的處理，CPU 101-1從 RAM103讀出圖像數(shù)據(jù)Y，并且執(zhí)行小波變換處理。此時(shí)，CPU 101-1 使用高速緩沖存儲(chǔ)器111-1的存儲(chǔ)區(qū)域的一部分作為中間計(jì)算緩沖器 單元52，使中間計(jì)算緩沖器單元52保持在小波變換處理的垂直方向 和水平方向上的分析濾波處理中生成的中間數(shù)據(jù)。
與圖22中的例子的情況同樣，CPU 101-1使用RAM103的存儲(chǔ) 區(qū)域的一部分作為系數(shù)重新排列緩沖器單元53，使系數(shù)重新排列緩沖 器單元53保持通過(guò)小波變換生成的系數(shù)數(shù)據(jù)。
但是應(yīng)當(dāng)注意，與圖22中的例子的情況不同，在圖24的例子的 情況下，通過(guò)執(zhí)行系數(shù)重新排列單元54的處理，CPU 101-2在按照預(yù) 定的順序重新排列系數(shù)數(shù)據(jù)的同時(shí)，讀出由CPU 101-1生成并且保持 在RAM103的系數(shù)重新排列緩沖器單元53中的系數(shù)數(shù)據(jù)。通過(guò)執(zhí)行 熵編碼單元55的處理，CPU 101-2對(duì)在通過(guò)系數(shù)重新排列單元54中 的處理而按順序重新排列的同時(shí)從RAM 103讀出的系數(shù)數(shù)據(jù)進(jìn)行編 碼，生成編碼數(shù)據(jù)Y。 CPU 101-2將所生成的編碼數(shù)據(jù)Y提供給RAM
53103以存儲(chǔ)在其中。
與CPU 101-1和CPU 101-2的該處理并行地，CPU 101-3和CPU 101-4針對(duì)圖像數(shù)據(jù)C如圖22中的例子的情況所示執(zhí)行小波變換以及 系數(shù)重新排列和熵編碼。
在如圖24所示編碼單元14在個(gè)人計(jì)算機(jī)100中實(shí)施的情況下， 以CPU 101-1 ~ CPU 101-4這4個(gè)CPU為 一組來(lái)執(zhí)行編碼處理。因此， 在這種情況下， 一個(gè)編碼單元14由CPU 101-1 ~ CPU 101-4來(lái)實(shí)現(xiàn)。 自然地，編碼單元14構(gòu)成為執(zhí)行要編碼的移動(dòng)圖像數(shù)據(jù)的所有圖片的 編碼處理。圖25中示出該情況下的處理流程。
由于CPU 101-1~CPU 101-4彼此獨(dú)立地操作，因此，如圖25 中的例子所示，并行地執(zhí)行各個(gè)處理。
在圖25的例子中，CPU 101-1從RAM 103中讀出第1圖片的第 1分區(qū)(PI)的圖像數(shù)據(jù)Y，在使高速援沖存儲(chǔ)器111-1保持中間數(shù) 據(jù)的同時(shí)對(duì)圖像數(shù)據(jù)Y執(zhí)行小波變換(P1DWT(Y)),并且將所得到 的系數(shù)數(shù)據(jù)存儲(chǔ)到RAM 103中。
在將系數(shù)數(shù)據(jù)存儲(chǔ)到RAM 103中后，CPU 101-1接著從RAM 103中讀出第1圖片的第2分區(qū)(P2)的圖像數(shù)據(jù)Y,在使高速緩沖 存儲(chǔ)器111-1保持中間數(shù)據(jù)的同時(shí)對(duì)圖像數(shù)據(jù)Y執(zhí)行小波變換 (P2DWT(Y))，并且將所得到的系數(shù)數(shù)據(jù)存儲(chǔ)到RAM 103中。此時(shí)， 與CPU 101-1的P2DWT(Y)的處理并行地，CPU 101-2讀出存儲(chǔ)在 RAM 103中的第l分區(qū)(PI)的系數(shù)數(shù)據(jù)，執(zhí)行順序的重新排列和熵 編碼(P1VLC(Y))。在將所得到的編碼數(shù)據(jù)Y存儲(chǔ)到RAM 103中后， CPU 101-2接著讀出存儲(chǔ)在RAM 103中的第2分區(qū)(P2 )的系數(shù)數(shù) 據(jù)，執(zhí)行順序的重新排列和熵編碼(P2VLC(Y))。
即，CPU 101-1和CPU 101-2 4吏處理對(duì)象相互錯(cuò)開(kāi)一個(gè)分區(qū)來(lái)并 行地執(zhí)行小波變換以及系數(shù)重新排列和熵編碼。同樣，針對(duì)第3分區(qū) 以后，并行地執(zhí)行小波變換以及系數(shù)重新排列和熵編碼。
與對(duì)該圖^f象數(shù)據(jù)Y的編碼處理并行地，CPU 101-3和CPU 101-4 同樣地對(duì)圖像數(shù)據(jù)C執(zhí)行處理。即，與CPU 101-1的P1DWT(Y)的處理的執(zhí)行并行地，CPU 101-3執(zhí)行P1DWT(C)的處理，并且與CPU 101-1的P2DWT(Y)的處理的執(zhí)行并行地，CPU 101-3執(zhí)行P2DWT(C) 的處理，CPU 101-4執(zhí)行P1VLC(C)的處理。
因此，利用該情況下的編碼單元14，在CPU 101-2和CPU 101-4 完成針對(duì)第l分區(qū)的熵編碼的時(shí)間點(diǎn)，相當(dāng)于一個(gè)分區(qū)以上的編碼數(shù) 據(jù)(編碼數(shù)據(jù)Y和編碼數(shù)據(jù)C)被累積在RAM 103中，從而可以開(kāi) 始編碼數(shù)據(jù)的輸出。
同樣，針對(duì)第2分區(qū)以后，CPU 101-1和CPU 101-2將圖像數(shù)據(jù) Y編碼，與此并行地，CPU 101-3和CPU 101-4將圖像數(shù)據(jù)C編碼。 當(dāng)最后第n個(gè)分區(qū)(Pn)的圖像數(shù)據(jù)Y和圖像數(shù)據(jù)C被編碼并且編 碼數(shù)據(jù)Y和編碼數(shù)據(jù)C被輸出時(shí)，由于第1圖片的所有編碼數(shù)據(jù)都被 輸出，因此對(duì)第1圖片結(jié)束編碼數(shù)據(jù)的輸出。
第2圖片以后也同樣地處理。
如上所述，在圖24所示的分配例子的情況下，與圖22中的例子 的情況同樣，可以使編碼數(shù)據(jù)的輸出開(kāi)始定時(shí)變?cè)?，可以減少延遲時(shí) 間。附帶地說(shuō)，如圖25所示，在圖24所示的分配例子的情況下，編 碼單元14可以比圖22中的例子的情況更快地執(zhí)行第1圖片的編碼。 因此，在解碼單元36中將在編碼單元14中編碼的編碼數(shù)據(jù)依次解碼 并且將重建后的圖像數(shù)據(jù)的圖像顯示在監(jiān)視器上的情況下，從開(kāi)始編 碼時(shí)到顯示第一個(gè)圖片時(shí)的延遲時(shí)間可以變短。
另外，與圖21中的例子的情況同樣，中間計(jì)算緩沖器單元52形 成在高速緩沖存儲(chǔ)器lll中，系數(shù)重新排列緩沖器單元53形成在RAM 103中。從而與圖19中的例子的情況相比，可以使中間計(jì)算緩沖器單 元52和系數(shù)重新排列緩沖器單元53的容量更大，可以更多地抑制緩 沖器溢出的發(fā)生，并且可以使處理能力的降低更小。
在圖24中的例子的情況下，與圖22中的例子的情況同樣，由于 對(duì)圖像數(shù)據(jù)Y的小波變換的中間數(shù)據(jù)和對(duì)圖像數(shù)據(jù)C的小波變換的中 間數(shù)據(jù)累積在相互不同的高速緩沖存儲(chǔ)器111中，因此與圖21中的例 子的情況相比，可以使中間計(jì)算緩沖器單元52的容量更大，并且可以更多地抑制緩沖器溢出的發(fā)生。
但是應(yīng)當(dāng)注意，實(shí)際上由于圖像數(shù)據(jù)Y與圖像數(shù)據(jù)C相比包含 更大量的信息并且在圖形上更為復(fù)雜，因此編碼處理所需的時(shí)間更長(zhǎng)。 因此，在CPU 101-3和CPU 101-4中發(fā)生待機(jī)時(shí)間，并且由于CPU 101 在編碼處理的過(guò)程中切換，因此控制變得復(fù)雜并且處理時(shí)間也增加。 因此，CPU 101的使用效率比圖22的情況降低，處理能力也比圖22 的情況降低。
由于小波變換、系數(shù)重新排列和熵編碼的各處理都由多個(gè)函數(shù)構(gòu) 成，因此還可以在上述的小波變換和系數(shù)重新排列之間以外的定時(shí)改 變要分配的CPU101。但是，除非在能夠并行執(zhí)行的處理的情況下， 否則即使分配了相互不同的CPU 101，也不能縮短處理時(shí)間。在圖3 所示的編碼單元14中，難以使小波變換單元51的處理中包含的詳細(xì) 處理彼此并行。而且，由于系數(shù)重新排列是從系數(shù)重新排列緩沖器單 元53中讀出系數(shù)數(shù)據(jù)，因此如果相互不同的CPU IOI被分配給該系 數(shù)重新排列和熵編碼，則在CPU IOI之間還需要進(jìn)行系數(shù)數(shù)據(jù)的傳送， 從而使得處理效率低。因此，在編碼單元14中，如上所述，最好在小 波變換與系數(shù)重新排列和熵編碼之間分開(kāi)。
在如以往的計(jì)算機(jī)那樣由計(jì)算機(jī)自動(dòng)地分配執(zhí)行處理的CPU的 情況下，該分配按照負(fù)荷狀況等進(jìn)行。這樣，可能不總是以這種方式 在最佳位置分割處理并分配給相互不同的CPU。取決于情況，編碼處 理的效率可能極大降低。通過(guò)如圖25中的例子所示預(yù)先在小波變換與 系數(shù)重新排列和熵編碼之間分割處理，編碼單元14能夠以好的效率執(zhí) 4亍編碼處理。
圖26是示出向圖12中的解碼單元36分配硬件資源的例子的圖。 在圖26所示的例子中，與圖19中的編碼單元14的例子的情況同樣， 將CPU 101-1分配給解碼單元36的熵解碼單元61和小波逆變換單元 63的全部處理，并且系數(shù)緩沖器單元62形成在高速緩沖存儲(chǔ)器111-1 中。
此時(shí)，實(shí)現(xiàn)熵解碼單元61和小波逆變換單元63的各功能的軟件
56程序被裝入高速緩沖存儲(chǔ)器111-1中。CPU 101-1根據(jù)需要從高速緩
沖存儲(chǔ)器111-1中讀出并執(zhí)行軟件程序的函數(shù)。
要解碼的編碼數(shù)據(jù)Y和編碼數(shù)據(jù)C保持在RAM 103中。
在圖26的例子的情況下，編碼數(shù)據(jù)Y和編碼數(shù)據(jù)C都在CPU 101-1中解碼。即，通過(guò)執(zhí)行熵解碼單元61的處理，CPU 101-1從RAM 103讀出編碼數(shù)據(jù)Y，并且執(zhí)行熵解碼。CPU 101-1使用高速緩沖存 儲(chǔ)器111-1的存儲(chǔ)區(qū)域的一部分或全部作為系數(shù)緩沖器單元62,使系 數(shù)緩沖器單元62保持通過(guò)熵解碼生成的系數(shù)數(shù)據(jù)。
通過(guò)執(zhí)行小波逆變換單元63的處理，CPU 101-1讀出高速緩沖 存儲(chǔ)器111-1的系數(shù)緩沖器單元62中保持的系數(shù)數(shù)據(jù)，執(zhí)行小波逆變 換處理，重建圖像數(shù)據(jù)Y。 CPU 101-1將所重建的圖像數(shù)據(jù)Y提供給 RAM 103以存儲(chǔ)在其中。
CPU 101-1對(duì)圖像數(shù)據(jù)C與圖像數(shù)據(jù)Y的情況同樣地執(zhí)行處理。
在如圖26所示解碼單元36在個(gè)人計(jì)算機(jī)100中實(shí)施的情況下， 解碼單元36中的所有處理由一個(gè)CPU 101執(zhí)行，通過(guò)熵解碼處理生 成的系數(shù)數(shù)據(jù)被存儲(chǔ)到CPU 101的高速緩沖存儲(chǔ)器111中。
此時(shí)，與CPU 101-1同樣，例如還將其它CPU 101-2 ~ CPU 101-4 分配給解碼單元36。即，如圖26所示的CPU 101-1的情況那樣，實(shí) 現(xiàn)熵解碼單元61和小波逆變換單元63的各功能的軟件程序還被裝入 高速緩沖存儲(chǔ)器111-2 ~高速緩沖存儲(chǔ)器111-4的每一個(gè)中。CPU 101-2 ~ CPU 101-4從各個(gè)高速緩沖存儲(chǔ)器111中讀出并執(zhí)行這些軟件 程序，并且執(zhí)行解碼單元36的熵解碼單元61和小波逆變換單元63。 此時(shí)，與高速緩沖存儲(chǔ)器111-1同樣，系數(shù)緩沖器單元62形成在高速 緩沖存儲(chǔ)器111-2 ~高速緩沖存儲(chǔ)器111-4的每一個(gè)中。
即，在該情況下，4個(gè)解碼單元36由CPU 101-1 ~ CPU 101-4實(shí) 現(xiàn)。例如針對(duì)編碼數(shù)據(jù)的編碼之前的圖像數(shù)據(jù)的每個(gè)圖片來(lái)分配解碼 單元36。即，在該情況下，CPU 101-1 ~ CPU 101-4針對(duì)相互不同的 圖片彼此并行地執(zhí)行解碼處理。圖27中示意性地示出該情況下的處理 流程。如圖27所示，執(zhí)行熵解碼單元61的處理的CPU 101-1從RAM 103中讀出第1圖片的第1分區(qū)的編碼數(shù)據(jù)Y，執(zhí)行熵解碼 (P1VLD(Y))，并且將所得到的系數(shù)數(shù)據(jù)存儲(chǔ)到高速緩沖存儲(chǔ)器111-1 的系數(shù)緩沖器單元62中。接著，執(zhí)行小波逆變換單元63的處理的CPU 101-1從系數(shù)緩沖器單元62中讀出系數(shù)數(shù)據(jù)，執(zhí)行小波逆變換 (P1DWT(Y))，并且將所得到的圖像數(shù)據(jù)Y提供給RAM 103以保 持在其中。在完成了針對(duì)圖像數(shù)據(jù)Y的處理之后，CPU 101-1然后針 對(duì)編碼數(shù)據(jù)C執(zhí)行同樣的處理(P1VLD(C)、 P1DWT(C))。
在該時(shí)間點(diǎn)，相當(dāng)于至少一個(gè)分區(qū)以上的圖像數(shù)據(jù)Y和圖像數(shù)據(jù) C被累積在RAM 103中，因此開(kāi)始圖像數(shù)據(jù)Y和圖像數(shù)據(jù)C的輸出。
在完成了針對(duì)第l分區(qū)的解碼處理后，CPU 101-1同樣地針對(duì)第 2分區(qū)以后執(zhí)行解碼處理(P2VLD(Y)、 P2DWT(Y)、 P2VLD(C)、 P2DWT(C)…)。
如圖27所示，與CPU 101-1的該處理并行地，還可以由CPU 101-2針對(duì)第2圖片、CPU 101-3針對(duì)第3圖片、CPU 101-4針對(duì)第4 圖片來(lái)執(zhí)行同樣的解碼處理。在這種情況下，在針對(duì)第l圖片的處理 完成時(shí)，CPU 101-1然后針對(duì)第5圖片執(zhí)行解碼處理。與CPU 101-1 中的處理并行地，CPU 101-2 ~ CPU 101-4同樣地分別針對(duì)第6~第8 圖片執(zhí)行解碼處理。第9圖片以后也同樣地處理。
這樣，在圖26所示的分配的情況下，解碼單元36可以同時(shí)并行 地執(zhí)行4個(gè)圖片的解碼處理。而且，在該情況下，在一系列解碼處理 中不需要切換CPU。另外，可以不使用RAM 103而僅使用高速緩沖 存儲(chǔ)器111來(lái)執(zhí)行處理，從而解碼單元36能夠高速地對(duì)編碼數(shù)據(jù)進(jìn)行 解碼。即，解碼單元36能夠以高處理能力執(zhí)行解碼處理。
而且，不管CPU 101的個(gè)數(shù)如何(例如即使為1個(gè)時(shí))，個(gè)人 計(jì)算機(jī)100都能實(shí)現(xiàn)解碼單元36。
但是，由于高速緩沖存儲(chǔ)器lll具有小的容量，因此能夠同時(shí)累 積的數(shù)據(jù)量存在限制，取決于要解碼的編碼數(shù)據(jù)的數(shù)據(jù)量或內(nèi)容，高 速緩沖存儲(chǔ)器111的容量可能不足而導(dǎo)致溢出，因此常常不能將圖26
58所示的分配示例應(yīng)用于執(zhí)行解碼所需的緩沖器量大的情況。
圖28示出向圖12中的解碼單元36分配硬件資源的另一例子。 在圖28所示的例子中，將分別不同的CPU 101分別分配給執(zhí)行編碼 數(shù)據(jù)Y的解碼的解碼單元和執(zhí)行編碼數(shù)據(jù)C的解碼的解碼單元。
即，將CPU 101-1分配給執(zhí)行編碼數(shù)據(jù)Y的解碼的解碼單元的 熵解碼單元61-1和小波逆變換單元63-1的全部處理，系數(shù)緩沖器單 元62-1形成在高速緩沖存儲(chǔ)器111-1中。而且，將CPU 101-2分配給 執(zhí)行編碼數(shù)據(jù)C的解碼的解碼單元的熵解碼單元61-2和小波逆變換單 元63-2的全部處理，系數(shù)緩沖器單元62-2形成在高速緩沖存儲(chǔ)器 111-2中。
此時(shí)，實(shí)現(xiàn)熵解碼單元61和小波逆變換單元63的各功能的軟件 程序被裝入高速緩沖存儲(chǔ)器111-1和高速緩沖存儲(chǔ)器111-2中。CPU 101-1和CPU 101-2根據(jù)需要從高速緩沖存儲(chǔ)器111-1或高速緩沖存儲(chǔ) 器111-2中讀出并執(zhí)行軟件程序的函數(shù)。
在圖28中的例子的情況下，編碼數(shù)據(jù)Y在CPU 101-1中解碼， 編碼數(shù)據(jù)C在CPU 101-2中解碼。即，通過(guò)熵解碼單元61-1的處理， CPU 101-1從RAM 103讀出編碼數(shù)據(jù)Y，并且執(zhí)行熵解碼。CPU 101-1 使用高速緩沖存儲(chǔ)器111-1的存儲(chǔ)區(qū)域的一部分或全部作為系數(shù)緩沖 器單元62-1 ，使系數(shù)緩沖器單元62-1保持通過(guò)熵解碼生成的系數(shù)數(shù)據(jù)。
通過(guò)執(zhí)行小波逆變換單元63-1的處理，CPU 101-1讀出高速緩沖 存儲(chǔ)器111-1的系數(shù)緩沖器單元62-1中保持的系數(shù)數(shù)據(jù)，執(zhí)行小波逆 變換處理，重建圖像數(shù)據(jù)Y。 CPU 101-1將所重建的圖像數(shù)據(jù)Y提供 給RAM 103以存儲(chǔ)在其中。
通過(guò)執(zhí)行熵解碼單元61-2的處理，CPU 101-2從RAM 103讀出 編碼數(shù)據(jù)C，并且執(zhí)行熵解碼。CPU 101-2使用高速緩沖存儲(chǔ)器111-2 的存儲(chǔ)區(qū)域的一部分或全部作為系數(shù)緩沖器單元62-2，使系數(shù)緩沖器 單元62-2保持通過(guò)熵解碼生成的系數(shù)數(shù)據(jù)。
通過(guò)執(zhí)行小波逆變換單元63-2的處理，CPU 101-2讀出高速緩沖 存儲(chǔ)器111-2的系數(shù)緩沖器單元62-2中保持的系數(shù)數(shù)據(jù)，執(zhí)行小波逆變換處理，重建圖像數(shù)據(jù)C。 CPU 101-2將所重建的圖像數(shù)據(jù)C提供 給RAM 103以存儲(chǔ)在其中。
在如圖28所示解碼單元36在個(gè)人計(jì)算機(jī)100中實(shí)施的情況下， 解碼單元36中的針對(duì)圖像數(shù)據(jù)Y和圖像數(shù)據(jù)C的全部處理由分別不 同的單個(gè)CPU 101執(zhí)行，通過(guò)熵解碼生成的系數(shù)數(shù)據(jù)被存儲(chǔ)到內(nèi)置于 每個(gè)CPU 101中的高速緩沖存儲(chǔ)器lll中，通過(guò)小波逆變換重建的圖 像數(shù)據(jù)Y和圖像數(shù)據(jù)C都被存儲(chǔ)到RAM 103中。即，以2個(gè)CPU 為1組執(zhí)行解碼處理。
此時(shí)，與CPU 101-1和CPU 101-2同樣，例如還將其它CPU 101-3 和CPU 101-4分配給解碼單元36。即，如圖28中的CPU 101-1和CPU 101-2的情況那樣，實(shí)現(xiàn)熵解碼單元61和小波逆變換單元63的各功 能的軟件程序還被裝入高速緩沖存儲(chǔ)器111-3和高速緩沖存儲(chǔ)器111-4 中。CPU 101-3和CPU 101-4從各個(gè)高速緩沖存儲(chǔ)器111中讀出并執(zhí) 行這些軟件程序，并且執(zhí)行解碼單元36的熵解碼單元61和小波逆變 換單元63的各處理。此時(shí)，用于編碼數(shù)據(jù)Y的系數(shù)緩沖器單元62-1 形成在高速緩沖存儲(chǔ)器111-3中，用于編碼數(shù)據(jù)C的系數(shù)緩沖器單元 62-2形成在高速緩沖存儲(chǔ)器111-4中。
即，在該情況下，2個(gè)解碼單元36由CPU 101-1 ~ CPU 101-4實(shí) 現(xiàn)。例如針對(duì)編碼數(shù)據(jù)的編碼之前的圖像數(shù)據(jù)的每個(gè)圖片來(lái)分配解碼 單元36。例如，CPU 101-1和CPU 101-2構(gòu)成為執(zhí)行第奇數(shù)個(gè)圖片的 解碼處理，CPU 101-3和CPU 101-4構(gòu)成為執(zhí)行第偶數(shù)個(gè)圖片的解碼 處理。圖29中示出該情況下的處理流程。
在該情況下，如圖29所示，執(zhí)行熵解碼單元61-1的處理的CPU 101-1從RAM 103中讀出第1圖片的第l分區(qū)的編碼數(shù)據(jù)Y，執(zhí)行熵 解碼(P1VLD(Y))，并且將所得到的系數(shù)數(shù)據(jù)存儲(chǔ)到高速緩沖存儲(chǔ) 器111-1的系數(shù)緩沖器單元62-1中。接著，執(zhí)行小波逆變換單元63-l 的處理的CPU 101-1從系數(shù)緩沖器單元62-1中讀出系數(shù)數(shù)據(jù)，執(zhí)行小 波逆變換(P1DWT(Y))，并且將所得到的圖像數(shù)據(jù)Y提供給RAM 103 以保持在其中。
60與該處理并行地，執(zhí)行熵解碼單元61-2的處理的CPU 101-2從 RAM 103中讀出第1圖片的第1分區(qū)的編碼數(shù)據(jù)C，執(zhí)行熵解碼 (P1VLD(C)),并且將所得到的系數(shù)數(shù)據(jù)存儲(chǔ)到高速緩沖存儲(chǔ)器111-2 的系數(shù)緩沖器單元62-2中。接著，執(zhí)行小波逆變換單元63-2的處理 的CPU 101-2從系數(shù)緩沖器單元62-2中讀出系數(shù)數(shù)據(jù)，執(zhí)行小波逆變 換(P1DWT(C))，并且將所得到的圖像數(shù)據(jù)C提供給RAM 103以 保持在其中。
因此，利用該情況下的解碼單元36，在CPU 101-1和CPU 101-2 完成針對(duì)第1分區(qū)的小波逆變換的時(shí)間點(diǎn)，相當(dāng)于一個(gè)分區(qū)以上的圖 像數(shù)據(jù)(圖像數(shù)據(jù)Y和圖像數(shù)據(jù)C )被累積在RAM 103中，從而可 以開(kāi)始圖像數(shù)據(jù)的輸出。
同樣，針對(duì)第2分區(qū)以后，分別由CPU 101-1和CPU 101-2彼此 并行地將編碼數(shù)據(jù)Y和編碼數(shù)據(jù)C解碼。
與CPU 101-1和CPU 101-2的該處理并4亍地，還可以由CPU 101-3和CPU 101-4針對(duì)第2圖片來(lái)執(zhí)行與CPU 101-1和CPU 101-2 中的處理同樣的解碼處理。在該情況下，CPU 101-3針對(duì)第2圖片的 編碼數(shù)據(jù)Y執(zhí)行解碼，CPU 101-4針對(duì)第2圖片的編碼數(shù)據(jù)C執(zhí)行解 碼。
在這種情況下，在針對(duì)第1圖片的處理完成時(shí)，CPU 101-1和 CPU 101-2然后針對(duì)第3圖片執(zhí)行解碼處理。與CPU 101-1和CPU 101-2中的處理并行地，CPU 101-3和CPU 101-4同樣地針對(duì)第4圖 片執(zhí)行解碼處理。第5圖片以后也同樣地處理。
因此，在圖28所示的分配例子的情況下，通過(guò)并行地對(duì)編碼數(shù) 據(jù)Y和編碼數(shù)據(jù)C進(jìn)行解碼，可以使重建后的圖像數(shù)據(jù)的輸出定時(shí)、 即第l分區(qū)的圖像數(shù)據(jù)Y和圖像數(shù)據(jù)C的輸出定時(shí)早于圖26中的例 子的情況，因此可以減少解碼處理中的延遲時(shí)間。
附帶地說(shuō)，由于同樣的原因，在圖28所示的分配例子的情況下， 第1圖片的解碼也可以比圖26中的例子的情況更快地完成。因此，在 監(jiān)視器上顯示在解碼單元36中重建的圖像數(shù)據(jù)的圖像的情況下，從開(kāi)
61始解碼時(shí)到顯示第一個(gè)圖片時(shí)的延遲時(shí)間在圖28所示的分配例子的 情況下比在圖26中的例子的情況下要短。
另外，由于通過(guò)對(duì)編碼數(shù)據(jù)Y進(jìn)行解碼得到的系數(shù)數(shù)據(jù)和通過(guò)對(duì) 編碼數(shù)據(jù)C進(jìn)行解碼得到的系數(shù)數(shù)據(jù)累積在相互不同的高速緩沖存儲(chǔ) 器111中，因此與圖26中的例子的情況相比，可以使系數(shù)緩沖器單元 62的容量更大，并且可以更多地抑制緩沖器溢出的發(fā)生。
順便提及，由于圖像數(shù)據(jù)Y與圖像數(shù)據(jù)C相比包含更大量的信 息并且在圖形上更為復(fù)雜，因此解碼處理所需的時(shí)間更長(zhǎng)。因此，由 于在CPU 101-3或CPU 101-4中發(fā)生待機(jī)時(shí)間，因此CPU 101的使用 效率比圖26的情況降低，處理能力也比圖26的情況降低。
圖30示出圖12中的解碼單元36的分配的另一例子。在圖30所 示的例子中，與圖28中的分配例子相比，將分別不同的CPU 101分 別分配給熵解碼單元61和小波逆變換單元63。
即，將CPU 101-1分配給對(duì)編碼數(shù)據(jù)Y進(jìn)行解碼的熵解碼單元 61-1，將CPU 101-2分配給對(duì)在熵解碼單元61-1中生成的系數(shù)數(shù)據(jù)執(zhí) 行小波逆變換處理的小波逆變換單元63-1。系數(shù)緩沖器單元62-1形成 在高速緩沖存儲(chǔ)器111-2中。
同樣，將CPU 101-3分配給對(duì)編碼數(shù)據(jù)C進(jìn)行解碼的熵解碼單 元61-2，將CPU 101-4分配給對(duì)在熵解碼單元61-2中生成的系數(shù)數(shù)據(jù) 執(zhí)行小波逆變換處理的小波逆變換單元63-2。系數(shù)緩沖器單元62-2形 成在高速緩沖存儲(chǔ)器111-4中。
此時(shí)，實(shí)現(xiàn)熵解碼單元61的功能的軟件程序被裝入高速緩沖存 儲(chǔ)器111-1和高速緩沖存儲(chǔ)器111-3中，實(shí)現(xiàn)小波逆變換單元63的各 功能的軟件程序被裝入高速緩沖存儲(chǔ)器lll-2和高速緩沖存儲(chǔ)器111-4 中。CPU 101-1 ~ CPU 101-4分別根據(jù)需要從各個(gè)高速緩沖存儲(chǔ)器111 中讀出并執(zhí)行這些軟件程序的函數(shù)。
在圖30中的例子的情況下，編碼數(shù)據(jù)Y在CPU 101-1和CPU 101-2中解碼，編碼數(shù)據(jù)C在CPU 101-3和CPU 101-4中解碼。即， 通過(guò)執(zhí)行熵解碼單元61-1的處理，針對(duì)編碼數(shù)據(jù)Y， CPU 101-1從
62RAM 103讀出編碼數(shù)據(jù)Y,并且執(zhí)行熵解碼處理。此時(shí)，CPU 101-1 使用高速緩沖存儲(chǔ)器111-2的存儲(chǔ)區(qū)域的一部分或全部作為系數(shù)緩沖 器單元62，使系數(shù)緩沖器單元62保持所生成的系數(shù)數(shù)據(jù)。
通過(guò)執(zhí)^f亍小波逆變換單元63-1的處理，CPU 101-2讀出由CPU 101-1生成并保持在RAM 103的系數(shù)緩沖器單元62中的系數(shù)數(shù)據(jù)， 作為小波變換處理而在垂直方向和水平方向上分級(jí)地執(zhí)行合成濾波處 理，生成圖像數(shù)據(jù)Y。 CPU 101-2將所生成的圖像數(shù)據(jù)Y提供給RAM 103以存儲(chǔ)在其中。
與CPU 101-1和CPU 101-2的該處理并行地，CPU 101-3和CPU 101-4如圖30中的例子的情況那樣，針對(duì)圖像數(shù)據(jù)C執(zhí)行熵解碼處理 和小波逆變換處理。
在如圖30所示解碼單元36在個(gè)人計(jì)算機(jī)100中實(shí)施的情況下， 以CPU 101-1 ~ CPU 101-4這4個(gè)CPU為一組來(lái)執(zhí)4亍解碼處理。因此， 在這種情況下， 一個(gè)解碼單元36由CPU 101-1 ~ CPU 101-4來(lái)實(shí)現(xiàn)。 自然地，解碼單元36構(gòu)成為執(zhí)行要解碼并重建的移動(dòng)圖像數(shù)據(jù)的所有 圖片的解碼處理。圖31中示出該情況下的處理流程。
由于CPU 101-1 ~CPU 101-4彼此獨(dú)立地操作，因此，如圖31 中的例子所示，可以并行地執(zhí)行各個(gè)處理。
在該情況下，如圖31所示，執(zhí)行熵解碼單元61-1的處理的CPU 101-1從RAM 103中讀出第1圖片的第1分區(qū)的編碼數(shù)據(jù)Y，執(zhí)行熵 解碼(P1VLD(Y))，并且將所得到的系數(shù)數(shù)據(jù)存儲(chǔ)到高速緩沖存儲(chǔ) 器111-2的系數(shù)緩沖器單元62-1中。執(zhí)行熵解碼單元61-1的處理的 CPU 101-1針對(duì)第2分區(qū)的編碼數(shù)據(jù)Y同樣地執(zhí)行熵解碼 (P2VLD(Y))。
與P2VLD(Y)并行地，執(zhí)行小波逆變換單元63-1的處理的CPU 101-2從系數(shù)緩沖器單元62-1中讀出第1圖片的第l分區(qū)的系數(shù)數(shù)據(jù)， 執(zhí)行小波逆變換(P1DWT(Y))，并且使所得到的圖像數(shù)據(jù)Y在保持 在RAM 103中后輸出。執(zhí)行小波逆變換單元63-1的處理的CPU 101-2 同樣地針對(duì)第2分區(qū)的系數(shù)數(shù)據(jù)執(zhí)行小波逆變換(P2DWT(Y))。即，同樣地針對(duì)第3分區(qū)以后，CPU 101-1和CPU 101-2將處理 對(duì)象彼此錯(cuò)開(kāi)一個(gè)分區(qū)來(lái)并行地執(zhí)行熵解碼和小波逆變換。
與該針對(duì)圖^象數(shù)據(jù)Y的編碼處理并行地，CPU 101-3和CPU 101-4同樣地針對(duì)圖像數(shù)據(jù)C執(zhí)行處理。即，與CPU 101-1的PIDWT(Y) 的處理的執(zhí)行并行地，CPU 101-3執(zhí)行P1DWT(C)的處理，并且，與 CPU 101-1的P2DWT(Y)的處理的執(zhí)行并行地，CPU 101-3執(zhí)行 P2DWT(C)的處理，CPU 101-4執(zhí)行PIVLC(C)的處理。
因此，利用該情況下的解碼單元36，在CPU 101-2和CPU 101-4 完成針對(duì)第1分區(qū)的小波逆變換的時(shí)間點(diǎn)，相當(dāng)于一個(gè)分區(qū)以上的圖 像數(shù)據(jù)(圖像數(shù)據(jù)Y和圖像數(shù)據(jù)C )被累積在RAM 103中，從而可 以開(kāi)始圖像數(shù)據(jù)的輸出。
同樣，針對(duì)第2分區(qū)以后，由CPU 101-1和CPU 101-2對(duì)編碼數(shù) 據(jù)Y進(jìn)行解碼，與此并行地，由CPU 101-3和CPU 101-4對(duì)編碼數(shù)據(jù) C進(jìn)行解碼。當(dāng)最后第n個(gè)分區(qū)(Pn)的編碼數(shù)據(jù)Y和編碼數(shù)據(jù)C 被解碼并且圖像數(shù)據(jù)Y和圖像數(shù)據(jù)C被輸出時(shí)，由于第1圖片的所有 圖像數(shù)據(jù)都被輸出，因此對(duì)第1圖片結(jié)束圖像數(shù)據(jù)的輸出。
第2圖片以后也同樣地處理。
如上所述，在圖30所示的分配例子的情況下，通過(guò)并行地執(zhí)行 熵解碼處理和小波逆變換處理，可以使重建后的圖像數(shù)據(jù)的輸出開(kāi)始 定時(shí)、即第1分區(qū)的圖像數(shù)據(jù)Y和圖像數(shù)據(jù)C的輸出定時(shí)早于圖28 中的例子的情況，因此可以減少解碼處理中的延遲時(shí)間。附帶地說(shuō)， 由于同樣的原因，在圖30所示的分配例子的情況下，第1圖片的解碼 可以比圖28中的例子的情況更快地完成。
因此，在監(jiān)視器上顯示在解碼單元36中重建的圖像數(shù)據(jù)的圖像 的情況下，從開(kāi)始解碼處理時(shí)到顯示第一個(gè)圖片時(shí)的延遲時(shí)間在圖30 所示的分配例子的情況下比在圖28中的例子的情況下要短。
另外，與圖28中的例子的情況同樣，由于通過(guò)對(duì)編碼數(shù)據(jù)Y進(jìn)
累積在相互不同的高速緩沖存儲(chǔ)器111中，因此與圖26中的例子的情
64況相比，可以使系數(shù)援沖器單元62的容量更大，并且可以更多地抑制 緩沖器溢出的發(fā)生。
但是應(yīng)當(dāng)注意的是，實(shí)際上，由于圖像數(shù)據(jù)Y與圖像數(shù)據(jù)C相 比包含更大量的信息并且在圖形上更為復(fù)雜，因此解碼處理所需的時(shí) 間更長(zhǎng)。因此，在CPU 101-3和CPU 101-4中發(fā)生待機(jī)時(shí)間，并且由 于CPU101在解碼處理的過(guò)程中切換，因此控制變得復(fù)雜并且處理時(shí) 間也增加。因此，CPU101的使用效率比圖28的情況降低，處理能力 也比圖28的情況降低。
由于熵解碼和小波逆變換的各處理都由多個(gè)函數(shù)構(gòu)成，因此還可 以在上述的熵解碼和小波逆變換之間以外的定時(shí)改變要分配的CPU 101。但是，除非在能夠并行執(zhí)行的處理的情況下，否則即使分配了相 互不同的CPU 101,也不能縮短處理時(shí)間。在圖12所示的解碼單元 36中，難以使熵解碼處理或小波逆變換中包含的詳細(xì)處理彼此并行。 因此，在解碼單元36中，如上所述，最好在熵解碼與小波逆變換之間 分開(kāi)。
在如以往的計(jì)算機(jī)那樣由計(jì)算機(jī)自動(dòng)地分配執(zhí)行處理的CPU的 情況下，該分配按照負(fù)荷狀況等進(jìn)行。這樣，可能不總是以這種方式 在最佳位置分割處理并分配給相互不同的CPU。取決于情況，解碼處 理的效率可能極大降低。通過(guò)如圖30中的例子所示預(yù)先在熵解碼與小 波逆變換之間分割處理，解碼單元36能夠以好的效率執(zhí)行解碼處理。
這樣，盡管在圖3中說(shuō)明了系數(shù)的重新排列緊接在小波變換之后 (熵編碼之前)執(zhí)行，但只要編碼數(shù)據(jù)按照從低頻到高頻的順序被提 供給解碼單元36 (圖12)的小波逆變換單元63即可(即，只要編碼 數(shù)據(jù)按照從通過(guò)對(duì)屬于低頻子帶的系數(shù)數(shù)據(jù)進(jìn)行編碼得到的編碼數(shù) 據(jù)、到通過(guò)對(duì)屬于高頻子帶的系數(shù)數(shù)據(jù)進(jìn)行編碼得到的編碼數(shù)據(jù)的順 序提供即可)，并且重新排列的定時(shí)可以是緊接在小波變換之后以外 的定時(shí)。
例如，如圖32所示，可以重新排列通過(guò)熵編碼得到的編碼數(shù)據(jù) 的順序。與圖3的情況同樣，圖32的情況下的編碼單元14具有小波變換單元51、中間計(jì)算緩沖器單元52和熵編碼單元55，但是，代替 圖3中的系數(shù)重新排列緩沖器單元53和系數(shù)重新排列單元54，具有 代碼重新排列緩沖器單元213和代碼重新排列單元214。
從小波變換單元51輸出的系數(shù)數(shù)據(jù)被提供給熵編碼單元55。熵 編碼單元55按照提供的順序?qū)λ峁┑南禂?shù)數(shù)據(jù)進(jìn)行編碼，使代碼重 新排列緩沖器單元213保持通過(guò)編碼得到的編碼數(shù)據(jù)。即，編碼數(shù)據(jù) 按照從高頻到低頻的順序提供給代碼重新排列緩沖器單元213。代碼 重新排列單元214通過(guò)按照?qǐng)?zhí)行小波逆變換處理的順序、即按照從低 頻到高頻的順序讀出代碼重新排列緩沖器單元213中保持的編碼數(shù) 據(jù)，對(duì)編碼數(shù)據(jù)進(jìn)行重新排列，并使編碼數(shù)據(jù)在保持在RAM 103中 后按照該順序輸出。
在圖32中還示出向這樣的編碼單元14分配硬件資源的例子。在 圖32的例子的情況下，以編碼處理的所有各個(gè)處理都在一個(gè)CPU101 中執(zhí)行的方式來(lái)進(jìn)行分配。即，在重新排列編碼數(shù)據(jù)的順序的情況下， 可以與參照?qǐng)D19說(shuō)明的重新排列系數(shù)數(shù)據(jù)的情況同樣地分配硬件資 源。同樣，硬件資源也可以如圖21、圖22或圖24的例子所示進(jìn)行分 配。圖33中示出如圖24的例子所示分配硬件資源的方式。
如圖33所示，在該情況下，將CPU 101-1分配給執(zhí)行圖像數(shù)據(jù) Y的小波變換處理的小波變換單元51-1，將CPU 101-2分配給執(zhí)行圖 像數(shù)據(jù)Y的系數(shù)數(shù)據(jù)的熵編碼的熵編碼單元55-1和執(zhí)行編碼數(shù)據(jù)Y 的重新排列的代碼重新排列單元214-1。中間計(jì)算緩沖器單元52-1形 成在CPU 101-1的高速緩沖存儲(chǔ)器111-1中，代碼重新排列緩沖器單 元213-1形成在RAM 103中。
同樣，將CPU 101-3分配給執(zhí)行圖像數(shù)據(jù)C的小波變換處理的 小波變換單元51-2，將CPU 101-4分配給執(zhí)行圖像數(shù)據(jù)C的系數(shù)數(shù)據(jù) 的熵編碼的熵編碼單元55-2和執(zhí)行編碼數(shù)據(jù)C的重新排列的代碼重新 排列單元214-2。中間計(jì)算緩沖器單元52-2形成在CPU 101-3的高速 緩沖存儲(chǔ)器111-3中，代碼重新排列緩沖器單元213-2形成在RAM 103 中。
66這樣，在重新排列編碼數(shù)據(jù)的順序的情況下，與重新排列系數(shù)數(shù)
據(jù)的情況同樣，通過(guò)適當(dāng)?shù)貓?zhí)行硬件資源的分配，編碼單元14能夠以 好的效率執(zhí)行編碼處理。順帶提及，在重新排列編碼數(shù)據(jù)的順序的情 況下同樣，當(dāng)如圖33所示要將多個(gè)CPU 101分配給小波變換單元 51-1、熵編碼單元55-1和代碼重新排列單元214-1 (或者小波變換單 元51-2、熵編碼單元55-2和代碼重新排列單元214-2)時(shí)，預(yù)先確定 CPU 101的切換位置，從而能夠抑制硬件資源的不適當(dāng)分配。
硬件資源的分配方法可以是上述方法以外的方法。例如，在圖33 的例子中，代碼重新排列緩沖器單元213-1可以形成在高速緩沖存儲(chǔ) 器111-2中，代碼重新排列緩沖器單元213-2可以形成在高速緩沖存 儲(chǔ)器111-4中，CPU 101-1可以分配給熵編碼單元55-1， CPU 101-3 可以分配給熵編碼單元55-2，或者相互不同的CPU 101可以分配給小 波變換單元51-1、熵編碼單元55-1和代碼重新排列單元214-1，相互 不同的CPU 101可以分配給小波變換單元51-2、熵編碼單元55-2和 代碼重新排列單元214-2。
在這種情況下，解碼單元36的結(jié)構(gòu)和硬件資源的分配方法與以 上參照?qǐng)D26 ~圖31所說(shuō)明的情況相同。
重新排列可以在解碼單元36側(cè)執(zhí)行。在這種情況下，如圖34所 示，編碼單元14具有小波變換單元51、中間計(jì)算緩沖器單元52和熵 編碼單元55，不具有圖3所示的系數(shù)重新排列緩沖器單元53和系數(shù) 重新排列單元54。
當(dāng)然，此時(shí)編碼單元14中的對(duì)CPU 101的分配可以與參照?qǐng)D 20 ~圖25所述的重新排列系數(shù)數(shù)據(jù)的情況同樣地執(zhí)行。即，在該情況 下同樣，通過(guò)適當(dāng)?shù)貓?zhí)行硬件資源的分配，編碼單元14能夠以好的效 率執(zhí)行編碼處理。作為一例，圖34中示出與圖24中的例子對(duì)應(yīng)的例 子。
圖35示出此時(shí)對(duì)應(yīng)于編碼單元14的解碼單元36的結(jié)構(gòu)。即， 解碼單元36在系數(shù)緩沖器單元62和小波逆變換單元63之間具有用于 重新排列系數(shù)數(shù)據(jù)的順序的系數(shù)重新排列緩沖器單元223。在此時(shí)的解碼單元36中，對(duì)CPU 101的分配可以與參照?qǐng)D26~圖31所述的例 子同樣地執(zhí)行。即，在該情況下同樣，通過(guò)適當(dāng)?shù)貓?zhí)行硬件資源的分 配，解碼單元36能夠以好的效率執(zhí)行解碼處理。作為一例，圖35中 示出與圖30中的例子對(duì)應(yīng)的例子。
在圖35中的例子的情況下，保持從系數(shù)緩沖器單元62-l輸出的 亮度分量Y的系數(shù)數(shù)據(jù)的系數(shù)重新排列緩沖器單元223-1和保持從系 數(shù)緩沖器單元62-2輸出的色度分量C的系數(shù)數(shù)據(jù)的系數(shù)重新排列緩沖 器單元223-2形成在ROM 103中。
執(zhí)行小波逆變換單元63-1的處理的CPU 101-2按照重新排列的 順序、即按照從高頻到低頻的順序，從ROM 103的系數(shù)重新排列緩 沖器單元223-1中讀出亮度分量Y的系數(shù)數(shù)據(jù)，并按照該順序?qū)ο禂?shù) 數(shù)據(jù)執(zhí)行小波逆變換處理。CPU 101-2使所生成的圖像數(shù)據(jù)Y在保持 到RAM 103中后輸出。
同樣，執(zhí)行小波逆變換單元63-2的處理的CPU 101-4按照重新 排列的順序、即按照從低頻到高頻的順序，從ROM 103的系數(shù)重新 排列緩沖器單元223-2中讀出色度分量C的系數(shù)數(shù)據(jù)，并按照該順序 對(duì)系數(shù)數(shù)據(jù)執(zhí)行小波逆變換處理。CPU 101-4使所生成的圖像數(shù)據(jù)C 在保持到RAM 103中后輸出。
通過(guò)如上所述適當(dāng)?shù)叵駽PU 101分配編碼單元14和解碼單元36 中的各個(gè)處理，可以提高編碼單元14和解碼單元36的處理效率，并 且提高處理能力或降低延遲時(shí)間。
存在編碼單元14或解碼單元36要求的特性取決于圖像而不同的 情況。為了還適當(dāng)?shù)剡m應(yīng)這種情況，可以預(yù)先準(zhǔn)備上述的多個(gè)分配模 式，根據(jù)條件適當(dāng)選擇分配模式。以下將說(shuō)明該情況。首先說(shuō)明安裝 了軟件編碼器或軟件解碼器的硬件。圖36是示出安裝了軟件編碼器或 軟件解碼器的信息處理系統(tǒng)的結(jié)構(gòu)例子的框圖。
如圖36所示，信息處理系統(tǒng)300是由信息處理設(shè)備301、經(jīng)由 PCI總線302與信息處理設(shè)備301連接的存儲(chǔ)設(shè)備303、作為多個(gè)視 頻磁帶記錄器(VTR)的VTR 304-1 ~VTR 304-S、用于用戶對(duì)它們
68執(zhí)行操作輸入的鼠標(biāo)305、鍵盤(pán)306和操作控制器307構(gòu)成的系統(tǒng)， 并且是通過(guò)所安裝的程序來(lái)執(zhí)行上述的圖像編碼處理、圖像解碼處理 等的系統(tǒng)。
例如，信息處理系統(tǒng)300的信息處理設(shè)備301能夠使存儲(chǔ)設(shè)備303 存儲(chǔ)通過(guò)對(duì)存儲(chǔ)在由RAID( Redundant Arrays of Independent Disks, 獨(dú)立磁盤(pán)冗余陣列)構(gòu)成的大容量的存儲(chǔ)設(shè)備303中的移動(dòng)圖像內(nèi)容 進(jìn)行編碼而得到的編碼數(shù)據(jù)，能夠使存儲(chǔ)設(shè)備303存儲(chǔ)通過(guò)對(duì)存儲(chǔ)在 存儲(chǔ)設(shè)備303中的編碼數(shù)據(jù)進(jìn)行解碼得到的解碼圖像數(shù)據(jù)(移動(dòng)圖像 內(nèi)容)，或者使編碼數(shù)據(jù)或解碼圖像數(shù)據(jù)經(jīng)由VTR304-1 ~ VTR304-S 記錄到視頻磁帶上。另外，信息處理設(shè)備301還構(gòu)成為能夠?qū)⒂涗浽?安裝在VTR 304-1 ~ VTR 304-S上的視頻磁帶上的移動(dòng)圖像內(nèi)容捕獲 到存儲(chǔ)設(shè)備303上。此時(shí)，信息處理設(shè)備301可以對(duì)移動(dòng)圖像內(nèi)容進(jìn) 行編碼。
信息處理設(shè)備301具有孩i處理器401、 GPU( Graphics Processing Unit,圖形處理單元)402、 XDR (Extreme Data Rate,極速數(shù)據(jù)率) -RAM 403、南橋(southbridge) 404、 HDD ( Hard Disk Drive,硬盤(pán) 驅(qū)動(dòng)器)405、 USB接口 (USB 1/F)406和聲音輸入/輸出編解碼器407。
GPU 402經(jīng)由專用總線411連接到微處理器401。XDR-RAM 403 經(jīng)由專用總線412連接到微處理器401。南橋404經(jīng)由專用總線連接 到微處理器401的1/0控制器444。 HDD 405、 USB接口 406和聲音 輸入/輸出編解碼器407也連接到南橋404。揚(yáng)聲器421連接到聲音輸 入/輸出編解碼器407。而且，顯示器422連接到GPU 402。
另外，鼠標(biāo)305、鍵盤(pán)306、 VTR 304-1 ~VTR304-S、存儲(chǔ)設(shè)備 303和操作控制器307還經(jīng)由PCT總線302連接到南橋404。
鼠標(biāo)305和鍵盤(pán)306接收用戶的操作輸入，經(jīng)由PCI總線302 和南橋404將指示用戶的操作輸入的內(nèi)容的信號(hào)提供給微處理器401。 存儲(chǔ)設(shè)備303和VTR 304-1 ~ VTR 304-S構(gòu)成為能夠記錄或重放預(yù)定 的數(shù)據(jù)。
驅(qū)動(dòng)器308還根據(jù)需要連接到PCI總線302，適當(dāng)?shù)匕惭b磁盤(pán)、
69光盤(pán)、光磁盤(pán)或半導(dǎo)體存儲(chǔ)器等可裝卸介質(zhì)311，并且根據(jù)需要將從 其中讀出的軟件程序裝入HDD 405。
微處理器401是將以下部件集成到 一個(gè)芯片中并實(shí)現(xiàn)例如4[GHz] 的操作頻率的多核結(jié)構(gòu)執(zhí)行OS (Operating System,操作系統(tǒng))等 基本程序的通用的主CPU核441;子CPU核442-1 ~子CPU核442-8, 是經(jīng)由共用總線445連接到主CPU核441的多個(gè)RISC (Reduced Instruction Set Computer,精簡(jiǎn)指令集計(jì)算機(jī))的(這種情況下為8 個(gè))信號(hào)處理處理器；存儲(chǔ)器控制器443，針對(duì)具有例如256[M字節(jié)
的容量的XDR-RAM 403執(zhí)行存儲(chǔ)器控制；以及I/O (輸入/輸出)控 制器444，管理對(duì)南橋404的數(shù)據(jù)輸入和輸出。
在起動(dòng)時(shí)，根據(jù)存儲(chǔ)在HDD 405中的控制程序，微處理器401 讀出存儲(chǔ)在HDD 405中的必要的應(yīng)用程序并將該應(yīng)用程序展開(kāi)到 XDR-RAM 403,然后根據(jù)該應(yīng)用程序和操作者的操作執(zhí)行必要的控 制處理。
并且，通過(guò)執(zhí)行軟件，微處理器401例如能夠?qū)崿F(xiàn)上述的編碼處 理或解碼處理，使作為編碼結(jié)果得到的編碼流經(jīng)由南橋404提供給 HDD 405以存儲(chǔ)在其中，或者將作為解碼結(jié)果得到的移動(dòng)圖像內(nèi)容的 重放視頻向GPU402進(jìn)行數(shù)據(jù)傳送，以顯示在顯示器422上。
盡管使用微處理器401內(nèi)的各個(gè)CPU核的方法是任意的，但例 如主CPU核441可以執(zhí)行與圖像編碼處理或圖像解碼處理的控制有關(guān) 的處理，8個(gè)子CPU核442-1 ~子CPU核442-8可以構(gòu)成為例如以參 照?qǐng)D17說(shuō)明的同時(shí)、并行的方式執(zhí)行小波變換、系數(shù)重新排列、熵編 碼、熵解碼、小波逆變換、量化和反量化等各處理。此時(shí)，如果主CPU 核441構(gòu)成為以分區(qū)為單位向8個(gè)子CPU核442-1 ~子CPU核442-8 中的每一個(gè)分配處理，則編碼處理或解碼處理與參照?qǐng)D17說(shuō)明的情況 同樣，以分區(qū)為單位以同時(shí)、并行的方式執(zhí)行。即，可以提高編碼處 理或解碼處理的效率，縮短處理整體的延遲時(shí)間，并且降低負(fù)荷、處 理時(shí)間和處理所需的存儲(chǔ)器容量。當(dāng)然，各處理也可以用這以外的方 法來(lái)執(zhí)行。GPU 402構(gòu)成為除了與使要在顯示器422上顯示的移動(dòng)圖像內(nèi)容 的重放視頻移動(dòng)時(shí)的紋理的粘貼等有關(guān)的最終繪制處理之外，還管理 執(zhí)行在顯示器422上一次顯示多個(gè)移動(dòng)圖像內(nèi)容的重放圖像和靜止圖 像內(nèi)容的靜止圖像時(shí)的坐標(biāo)變換計(jì)算處理、以及針對(duì)移動(dòng)圖像內(nèi)容的 重放圖像和靜止圖像內(nèi)容的靜止圖像的放大/縮小處理等的功能，從而 減輕對(duì)微處理器401的處理負(fù)荷。
在微處理器401的控制下，GPU 402對(duì)所提供的移動(dòng)圖像內(nèi)容的 視頻數(shù)據(jù)或靜止圖像內(nèi)容的圖像數(shù)據(jù)實(shí)施預(yù)定的信號(hào)處理，向顯示器 422發(fā)送出作為結(jié)果得到的視頻數(shù)據(jù)或圖像數(shù)據(jù)，并且在顯示器422 上顯示圖像信號(hào)。
這樣，由樣t處理器401的8個(gè)子CPU核442-1 ~子CPU核442-8 以同時(shí)、并行的方式解碼的多個(gè)移動(dòng)圖像內(nèi)容的重放視頻經(jīng)由總線 411向GPU 402進(jìn)行數(shù)據(jù)傳送。此時(shí)的傳送速度例如是最大30[G字 節(jié)/秒，從而即使具有特殊效果的復(fù)雜重放圖像也能夠高速、平滑地 顯示。
另外，微處理器401還能夠?qū)σ苿?dòng)圖像內(nèi)容的視頻數(shù)據(jù)和音頻數(shù) 據(jù)中的音頻數(shù)據(jù)實(shí)施音頻混合處理，并將作為結(jié)果得到的編輯音頻數(shù) 據(jù)經(jīng)由南橋404和聲音輸入/輸出編解碼器407發(fā)送給揚(yáng)聲器421,從 而能夠從揚(yáng)聲器421輸出基于音頻信號(hào)的音頻。
如圖37所示，作為高速緩沖存儲(chǔ)器的LS (Local Store,局部存 儲(chǔ)器)451-1 ~ LS 451-8分別內(nèi)置于上述的信息處理系統(tǒng)300的微處理 器401的8個(gè)子CPU核442-1 ~子CPU核442-8中。即，8個(gè)子CPU 核442-1 ~子CPU核442-8可以使用它們內(nèi)置的LS 451-1 ~ LS 451-8 和XDR-RAM 403的存儲(chǔ)區(qū)域。
與圖18中的個(gè)人計(jì)算機(jī)100的高速緩沖存儲(chǔ)器111的情況同樣， LS 451-1 ~ LS 451-8可以由子CPU核442-1 ~子CPU核442-8分別獨(dú) 占性地使用，可以不經(jīng)由共用總線445來(lái)執(zhí)行數(shù)據(jù)的讀或?qū)懀⑶铱?以比XDR-RAM 403更高速地操作。因此，LS 451-1 ~ LS 451-8能夠 比XDR-RAM 403更高速地進(jìn)行數(shù)據(jù)的讀或?qū)?。但?yīng)注意，與
71XDR-RAM 403相比，LS 451-1 ~ LS 451-8的每容量的單價(jià)高并且其 容量小。
盡管實(shí)際上XDR-RAM 403的容量也是有限的，但以下假定 XDR-RAM 403的容量足夠大，相反，LS 451-1 ~ LS 451-8具有小容 量并且僅能夠保持最小必需的數(shù)據(jù)。
在以下說(shuō)明中，在不需要彼此區(qū)分時(shí)，將子CPU核442-1 ~子 CPU核442-8稱為子CPU核442。并且，在不需要彼此區(qū)分時(shí)，將 LS 451-1 ~ LS 451-8稱為L(zhǎng)S 451。
對(duì)于子CPU核442-1 ~子CPU核442-8，由主CPU核441從預(yù) 先準(zhǔn)備的上述多個(gè)分配方法中選擇最佳的一個(gè)，并且按照該分配方法 分配編碼單元14和解碼單元36中的各處理。
圖38中示出主CPU核441所具有的功能塊。
如圖38所示，主CPU核441具有OS 501,是執(zhí)行信息處理系 統(tǒng)300整體的控制并使硬件執(zhí)行軟件程序的處理的基本軟件；編碼選 擇控制單元502，在安裝了編碼單元14時(shí)執(zhí)行分配方法的選擇；解碼 選擇控制單元503，在安裝了解碼單元36時(shí)執(zhí)行分配方法的選擇；以 及高速緩沖存儲(chǔ)器504，是主CPU核441的本地高速緩沖存儲(chǔ)器。
OS 501管理信息處理系統(tǒng)300的硬件資源，根據(jù)來(lái)自編碼選擇 控制單元502或解碼選擇控制單元503的請(qǐng)求，提供作為與硬件資源 有關(guān)的信息的資源信息，或者向處理分配硬件資源。
例如，OS501從HDD 405讀出編碼程序或解碼程序，并將其分 配給LS 451或XDR-RAM 403，或者使子CPU核442執(zhí)行處理。另 外，例如OS 501確保XDR-RAM 403所需的容量的區(qū)域。
編碼選擇控制單元502具有大小信息取得單元511、資源信息取 得單元512、計(jì)算精度選擇單元513、中間計(jì)算緩沖器使用量計(jì)算單元 514、系數(shù)重新排列緩沖器使用量計(jì)算單元515、編碼方式選擇單元516 和分配單元517。
大小信息取得單元511從XDR-RAM 403取得保持在XDR-RAM 403中的作為處理對(duì)象的圖像數(shù)據(jù)541的大小信息，包括圖像的垂直
72和水平大小、位深度、小波濾波器的種類、小波變換的分解數(shù)等信息
中的至少一個(gè)。資源信息取得單元512經(jīng)由OS 501取得包括當(dāng)前可 用的子CPU核的個(gè)數(shù)、LS 451的容量等信息中的至少一個(gè)的資源信 息。計(jì)算精度選擇單元513根據(jù)編碼參數(shù)531執(zhí)行熵編碼中的計(jì)算選 擇，其中編碼參數(shù)531是編碼是否是可逆的、是否時(shí)延(latency )優(yōu) 先、是否處理能力優(yōu)先或是否精度優(yōu)先等與編碼有關(guān)的預(yù)定義設(shè)定信 息。
中間計(jì)算緩沖器使用量計(jì)算單元514針對(duì)每個(gè)分量計(jì)算表示中間 計(jì)算緩沖器單元52需要的容量的中間計(jì)算緩沖器使用量。系數(shù)重新排 列緩沖器使用量計(jì)算單元515針對(duì)每個(gè)分量計(jì)算表示系數(shù)重新排列緩 沖器單元53需要的容量的系數(shù)重新排列緩沖器使用量。
編碼方式選擇單元516根據(jù)各種條件從保持在XDR-RAM 403中 的編碼程序543-1、編碼程序543-2、…中選擇一個(gè)要執(zhí)行的程序。編 碼程序543-1、編碼程序543-2、…均為用于實(shí)現(xiàn)圖3中的編碼單元14 的軟件程序，并且預(yù)先定義了向程序本身分配硬件的方法。但應(yīng)注意， 分配方法針對(duì)各軟件程序是不同的。在以下說(shuō)明中，在不需要彼此區(qū) 分時(shí)，將編碼程序543-1、編碼程序543-2、...稱為編碼程序543。分 配單元517按照編碼程序543的分配方法，向由編碼方式選擇單元516 選擇的編碼程序543分配子CPU核442-1 ~子CPU核442-8等硬件資 源。
解碼選擇控制單元503具有大小信息取得單元521、資源信息取 得單元522、系數(shù)緩沖器使用量計(jì)算單元523、解碼方式選擇單元524 和分配單元525。
大小信息取得單元521取得保持在XDR-RAM 403中的作為處理 對(duì)象的編碼數(shù)據(jù)542的大小信息，包括圖像的垂直和水平大小、位深 度、小波濾波器的種類、小波變換的分解數(shù)等信息中的至少一個(gè)。資 源信息取得單元522經(jīng)由OS 501取得信息處理系統(tǒng)300的資源信息。
系數(shù)緩沖器使用量計(jì)算單元523針對(duì)每個(gè)分量計(jì)算表示系數(shù)緩沖 器單元62需要的容量的系數(shù)緩沖器使用量。解碼方式選擇單元524根據(jù)各種條件從保持在XDR-RAM 403中 的解碼程序544-1、解碼程序544-2、...中選擇一個(gè)要執(zhí)行的程序。解 碼程序544-1、解碼程序544-2、…均為用于實(shí)現(xiàn)圖12中的解碼單元 36的軟件程序，并且預(yù)先定義了向程序本身分配硬件的方法。但應(yīng)注 意，分配方法針對(duì)各軟件程序是不同的。在以下說(shuō)明中，在不需要彼 此區(qū)分時(shí)，將解碼程序544-1、解碼程序544-2、…稱為解碼程序544。 分配單元525按照解碼程序544的分配方法，向由解碼方式選擇單元 524選擇的解碼程序544分配子CPU核442-1 ~子CPU核442-8等硬 件資源。
表示預(yù)設(shè)的編碼條件的編碼參數(shù)531和表示預(yù)設(shè)的解碼條件的解 碼參數(shù)532存儲(chǔ)在高速緩沖存儲(chǔ)器504中。另外，用于編碼方式的選 擇的小波變換關(guān)系表533和系數(shù)重新排列關(guān)系表534保持在高速緩沖 存儲(chǔ)器504中。
如圖39所示，小波變換關(guān)系表533是由分解數(shù)、5x3濾波器、9x7 濾波器的項(xiàng)目構(gòu)成的表信息，是用于得到關(guān)系指數(shù)的表信息，該關(guān)系 指數(shù)用于計(jì)算用于小波變換的中間計(jì)算緩沖器單元52需要的容量。
另外，如圖40所示，系數(shù)重新排列關(guān)系表534是由分解數(shù)、5x3 濾波器、9x7濾波器的項(xiàng)目構(gòu)成的表信息，是用于得到關(guān)系指數(shù)的表 信息，該關(guān)系指數(shù)用于計(jì)算系數(shù)重新排列緩沖器單元53需要的容量。
以下i兌明上述的主CPU核441執(zhí)4亍的各個(gè)處理。
首先參照?qǐng)D41的流程圖說(shuō)明由編碼選擇控制單元502執(zhí)行的編 碼選擇控制處理的流程例子。編碼選擇控制處理是為了在執(zhí)行編碼處 理時(shí)從子CPU核442-1 ~子CPU核442-8的分配方式彼此不同的多個(gè) 編碼程序543中選擇一個(gè)而執(zhí)行的處理。例如，當(dāng)用戶指示執(zhí)行編碼 處理時(shí)，編碼選擇控制單元502開(kāi)始編碼選擇控制處理。
當(dāng)開(kāi)始了編碼選擇控制處理時(shí)，在步驟S101中，大小信息取得 單元511取得針對(duì)保持在XDR-RAM 403中的作為處理對(duì)象的圖像數(shù) 據(jù)541的大小信息。在步驟S102中，資源信息取得單元512經(jīng)由OS 501取得作為與可用的硬件資源有關(guān)的信息的資源信息。在步驟S103
74中，計(jì)算精度選擇單元513根據(jù)編碼參數(shù)531、大小信息等選擇和設(shè) 定編碼處理的計(jì)算精度。以下說(shuō)明計(jì)算精度選擇處理的詳細(xì)流程。
當(dāng)選擇了計(jì)算精度時(shí)，中間計(jì)算緩沖器使用量計(jì)算單元514在步 驟S104中使用小波變換關(guān)系表533等計(jì)算表示中間計(jì)算緩沖器單元 52需要的容量的中間計(jì)算緩沖器使用量。系數(shù)重新排列緩沖器使用量 計(jì)算單元515在步驟S105中使用系數(shù)重新排列關(guān)系表534等計(jì)算表示 系數(shù)重新排列緩沖器單元53需要的容量的系數(shù)重新排列緩沖器使用
在步驟S106中，編碼方式選擇單元516根據(jù)大小信息、資源信 息、所選擇的計(jì)算精度、以及所計(jì)算的中間計(jì)算緩沖器使用量和系數(shù) 重新排列緩沖器使用量等各種信息，選擇編碼方式。編碼方式選擇處 理的詳情將后述。
當(dāng)選擇了編碼方式時(shí)，在步驟S107中，分配單元517按照所選 擇的編碼程序543的分配方法，向各處理分配子CPU核442-1 ~子 CPU核442-8。
當(dāng)完成了步驟S107中的處理時(shí)，結(jié)束編碼選擇控制處理。 接著參照?qǐng)D42的流程圖說(shuō)明在圖41的步驟S103中執(zhí)行的計(jì)算
精度選擇處理的流程例子。
當(dāng)開(kāi)始了計(jì)算精度選擇處理時(shí)，在步驟S121中，計(jì)算精度選擇
單元513根據(jù)大小信息確定在小波變換處理中使用的濾波器類型是
5x3濾波器還是9x7濾波器。如果確定是5x3濾波器，則處理前進(jìn)到
步驟S122。
在步驟S122中，計(jì)算精度選擇單元513根據(jù)編碼參數(shù)531確定 是否執(zhí)行可逆編碼作為熵編碼。如果確定執(zhí)行可逆編碼，則處理前進(jìn) 到步驟S123。在步驟S123中，計(jì)算精度選擇單元513根據(jù)大小信息 確定圖像數(shù)據(jù)541的位深度是否是13以下。
如果確定位深度是13以下，則處理前進(jìn)到步驟S124。在步驟S124 中，計(jì)算精度選擇單元513選擇和設(shè)定16位固定小數(shù)點(diǎn)型作為計(jì)算精 度。當(dāng)步驟S124中的處理完成時(shí)，完成計(jì)算精度選擇處理，處理返回
75到圖41中的步驟S103，執(zhí)行步驟S104以后的處理。
另外，如果在圖42的步驟S123中確定位深度大于13，則處理 前進(jìn)到步驟S125。在步驟S125中，計(jì)算精度選擇單元513選擇和設(shè) 定32位固定小數(shù)點(diǎn)型作為計(jì)算精度。當(dāng)步驟S125中的處理完成時(shí)， 完成計(jì)算精度選擇處理，處理返回到圖41中的步驟S103，執(zhí)行步驟 S104以后的處理。
如果在圖42的步驟S122中確定執(zhí)行不可逆編碼作為熵編碼，則 處理前進(jìn)到步驟S126。在步驟S126中，計(jì)算精度選擇單元513根據(jù) 編碼參數(shù)531確定是否精度優(yōu)先。如果確定不是精度優(yōu)先，則處理返 回到步驟S123，重復(fù)此后的處理。
如果在步驟S126中確定精度優(yōu)先，則處理前進(jìn)到步驟S127。而 且，如果在步驟S121中根據(jù)大小信息確定在小波變換處理中使用的濾 波器的類型是9x7濾波器，則處理前進(jìn)到步驟S127。
在步驟S127中，計(jì)算精度選擇單元513選擇和設(shè)定32位浮動(dòng)小 數(shù)點(diǎn)型作為計(jì)算精度。當(dāng)步驟S127中的處理完成時(shí)，完成計(jì)算精度選 擇處理，處理返回到圖41中的步驟S103，執(zhí)行步驟S104以后的處理。
如上所述來(lái)選擇計(jì)算精度。
接著，參照?qǐng)D43的流程圖說(shuō)明在圖41的步驟S106中執(zhí)行的編 碼方式選擇處理的流程例子。
在步驟S141中，根據(jù)由中間計(jì)算緩沖器使用量計(jì)算單元514計(jì) 算的中間計(jì)算緩沖器使用量和由資源信息取得單元512確認(rèn)的、表示 LS 451的可用存儲(chǔ)容量的可用容量，編碼方式選擇單元516確定LS 451的可用容量是否是作為用于2個(gè)分量的中間計(jì)算緩沖器單元52足 夠的容量。即，編碼方式選擇單元516確定LS451的可用容量是否等 于或大于2個(gè)分量的各自的中間計(jì)算緩沖器使用量之和。如果確定足 夠，則處理前進(jìn)到步驟S142。
在步驟S142中，根據(jù)由中間計(jì)算緩沖器使用量計(jì)算單元514計(jì) 算的中間計(jì)算緩沖器使用量、由系數(shù)重新排列緩沖器使用量計(jì)算單元 515計(jì)算的系數(shù)重新排列緩沖器使用量、以及由資源信息取得單元512確認(rèn)的LS 451的可用容量，編碼方式選擇單元516確定LS 451的可 用容量是否是作為用于2個(gè)分量的中間計(jì)算緩沖器單元52和系數(shù)重新 排列緩沖器單元53足夠的容量。即，編碼方式選擇單元516確定LS 451的可用容量是否等于或大于2個(gè)分量的各自的中間計(jì)算緩沖器使 用量和系數(shù)重新排列緩沖器使用量之和。如果確定足夠，則處理前進(jìn) 到步驟S143。
在步驟S143中，編碼方式選擇單元516根據(jù)編碼參數(shù)531確定 是否處理能力優(yōu)先。如果確定處理能力優(yōu)先，則處理前進(jìn)到步驟S144。
在步驟S144中，編碼方式選擇單元516選擇應(yīng)用參照?qǐng)D19說(shuō)明 的分配方法的編碼方式A。即，在這種情況下，如圖19所示， 一個(gè)子 CPU核442被分配給編碼單元14的所有處理。并且，中間計(jì)算緩沖 器單元52和系數(shù)重新排列緩沖器單元53都形成在LS 451中。當(dāng)步驟 S144的處理完成時(shí)，編碼方式選擇處理完成，處理返回到圖41的步 驟S106,處理前進(jìn)到步驟S107。
如果在圖43的步驟S142中確定LS 451的可用容量不足夠作為 用于2個(gè)分量的中間計(jì)算緩沖器單元52和系數(shù)重新排列緩沖器單元 53，則處理前進(jìn)到步驟S145。在步驟S145中，編碼方式選擇單元516 根據(jù)編碼參數(shù)531確定是否處理能力優(yōu)先。如果確定處理能力優(yōu)先， 則處理前進(jìn)到步驟S146。如果在步驟S143中確定不是處理能力優(yōu)先， 則處理前進(jìn)到步驟S146。
在步驟S146中，編碼方式選擇單元516選擇應(yīng)用參照?qǐng)D21說(shuō)明 的分配方法的編碼方式B。即，在這種情況下，如圖21所示，l個(gè)子 CPU核442被分配給編碼單元14中的所有處理。并且，中間計(jì)算緩 沖器單元52形成在LS451中，系數(shù)重新排列緩沖器單元53形成在作 為共享存儲(chǔ)器的XDR-RAM 403中。當(dāng)步驟S146的處理完成時(shí)，編 碼方式選擇處理完成，處理返回到圖41的步驟S106,處理前進(jìn)到步 驟S107。
如果在圖43的步驟S145中確定不是處理能力優(yōu)先，則處理前進(jìn) 到步驟S147。在步驟S147中，編碼方式選擇單元516根據(jù)由資源信
77息取得單元512取得的資源信息，確定當(dāng)前可用的子CPU核442的個(gè) 數(shù)是否為1個(gè)。如果確定為l個(gè)，則處理返回到步驟S146。如果在步 驟S147中確定存在多個(gè)可用的子CPU核442，則處理前進(jìn)到步驟 S148。在步驟S148中，編碼方式選擇單元516根據(jù)由資源信息取得 單元512取得的資源信息，確定當(dāng)前可用的子CPU核442的個(gè)數(shù)是否 為2個(gè)。如果確定為2個(gè)，則處理前進(jìn)到步驟S149。
在步驟S149中，編碼方式選擇單元516選擇應(yīng)用參照?qǐng)D22說(shuō)明 的分配方法的編碼方式C。即，在這種情況下，如圖22所示，以2 個(gè)子CPU核442為一組， 一個(gè)子CPU核442被分配給對(duì)圖像數(shù)據(jù)Y 進(jìn)行編碼的編碼單元14中的所有處理，另 一個(gè)子CPU核442 ^皮分配 給對(duì)圖像數(shù)據(jù)C進(jìn)行編碼的編碼單元14的所有處理。并且，用于圖 像數(shù)據(jù)Y的小波變換的中間計(jì)算緩沖器單元52-1形成在對(duì)圖像數(shù)據(jù)Y 進(jìn)行編碼的子CPU核442的LS451中，用于圖像數(shù)據(jù)C的小波變換 的中間計(jì)算緩沖器單元52-2形成在對(duì)圖^f象數(shù)據(jù)C進(jìn)行編碼的子CPU 核442的LS 451中。而且，保持從圖像數(shù)據(jù)Y生成的系數(shù)數(shù)據(jù)的系 數(shù)重新排列緩沖器單元53-l和保持從圖像數(shù)據(jù)C生成的系數(shù)數(shù)據(jù)的系 數(shù)重新排列緩沖器單元53-2都形成在作為共享存儲(chǔ)器的XDR-RAM 403中。當(dāng)步驟S149的處理完成時(shí)，編碼方式選擇處理完成，處理返 回到圖41的步驟S106，處理前進(jìn)到步驟S107。
如果在圖43的步驟S141中確定LS 451的可用容量不足夠作為 用于2個(gè)分量的中間計(jì)算緩沖器單元52，則處理前進(jìn)到步驟S150。在 步驟S150中，根據(jù)由中間計(jì)算緩沖器使用量計(jì)算單元514計(jì)算的中間 計(jì)算緩沖器使用量、以及由資源信息取得單元512確認(rèn)的LS 451的可 用容量，編碼方式選擇單元516確定LS 451的可用容量是否是作為用 于l個(gè)分量的中間計(jì)算緩沖器單元52足夠的容量。即，編碼方式選擇 單元516確定LS 451的可用容量是否等于或大于每個(gè)分量的中間計(jì)算 緩沖器使用量。如果確定足夠，則處理前進(jìn)到步驟S151。
在步驟S151中，編碼方式選擇單元516根據(jù)由資源信息取得單 元512取得的資源信息，確定當(dāng)前可用的子CPU核442的個(gè)數(shù)是否為1個(gè)。如果確定存在多個(gè)可用的子CPU核442,則處理前進(jìn)到步驟 S152。在步驟S152中，編碼方式選擇單元516根據(jù)由資源信息取得 單元512取得的資源信息，確定當(dāng)前可用的子CPU核442的個(gè)數(shù)是否 為2個(gè)。如果確定為2個(gè)，則處理返回到步驟S149。
如果在步驟S152中確定當(dāng)前可用的子CPU核442的個(gè)數(shù)為3個(gè) 以上，則處理前進(jìn)到步驟S153。在步驟S153中，編碼方式選擇單元 516根據(jù)編碼參數(shù)531確定是否處理能力優(yōu)先。如果確定處理能力優(yōu) 先，則處理返回到步驟S149。
如果在步驟S153中確定不是處理能力優(yōu)先，則處理前進(jìn)到步驟 S154。另外，如果在步驟S148中確定當(dāng)前可用的子CPU核442的個(gè) 數(shù)為3個(gè)以上，則處理前進(jìn)到步驟S154。
在步驟S154中，編碼方式選擇單元516選擇應(yīng)用參照?qǐng)D24說(shuō)明 的分配方法的編碼方式D。即，在這種情況下，如圖24所示，以4 個(gè)子CPU核442為一組，相互不同的子CPU核442^皮分配給對(duì)圖像 數(shù)據(jù)Y進(jìn)行編碼的編碼單元14的小波變換單元51-1的處理、對(duì)圖像 數(shù)據(jù)Y進(jìn)行編碼的編碼單元14的系數(shù)重新排列單元54-1和熵編碼單 元55-1的處理、對(duì)圖像數(shù)據(jù)C進(jìn)行編碼的編碼單元14的小波變換單 元51-2的處理、以及對(duì)圖像數(shù)據(jù)C進(jìn)行編碼的編碼單元14的系數(shù)重 新排列單元54-2和熵編碼單元55-2的各處理。
并且，對(duì)圖像數(shù)據(jù)Y進(jìn)行編碼的編碼單元14的中間計(jì)算緩沖器 單元52-1形成在被分配了小波變換單元51-1的處理的子CPU核442 的LS451中，對(duì)圖像數(shù)據(jù)C進(jìn)行編碼的編碼單元14的中間計(jì)算緩沖 器單元52-2形成在被分配了小波變換單元51-2的處理的子CPU核 442的LS451中。
而且，對(duì)圖像數(shù)據(jù)Y進(jìn)行編碼的編碼單元14的系數(shù)重新排列緩 沖器單元53-1和對(duì)圖像數(shù)據(jù)C進(jìn)行編碼的編碼單元14的系數(shù)重新排 列緩沖器單元53-2都形成在作為共享存儲(chǔ)器的XDR-RAM403中。當(dāng) 步驟S154的處理完成時(shí)，編碼方式選擇處理完成，處理返回到圖41 的步驟S106，處理前進(jìn)到步驟S107。如果在圖43的步驟S150中確定LS 451的可用容量不足夠作為 用于l個(gè)分量的中間計(jì)算緩沖器單元52，則處理前進(jìn)到步驟S155。并 且，如果在步驟S151中確定當(dāng)前可用的子CPU核的個(gè)數(shù)是1個(gè)，則 則處理前進(jìn)到步驟S155。在這種情況下，由于預(yù)先準(zhǔn)備的4個(gè)編碼方 式都不能選擇(不能實(shí)施)，因此在步驟S155中，編碼方式選擇單元 516執(zhí)行錯(cuò)誤處理，例如向用戶提供通知。當(dāng)步驟S155的處理完成時(shí)， 編碼方式選擇處理完成，處理返回到圖41的步驟S106，處理前進(jìn)到 步驟S107。
如上所述，編碼選擇控制單元502可以根據(jù)圖像數(shù)據(jù)541的大小 信息、資源信息、編碼參數(shù)等適當(dāng)?shù)貓?zhí)行硬件資源的分配，從而編碼 單元14在實(shí)際條件下可以更有效地操作。
順便提及，該分配能夠以任何單位執(zhí)行。例如，該分配可以逐個(gè) 分區(qū)地執(zhí)行，或者可以逐個(gè)圖片地執(zhí)行。另外，盡管以上說(shuō)明了預(yù)先 準(zhǔn)備4個(gè)分配方法，由編碼方式選擇單元516從其中選擇一個(gè)，但可 以準(zhǔn)備任意個(gè)數(shù)的硬件資源分配方法。即，編碼程序543的個(gè)數(shù)是任 意的。并且，硬件資源的分配方法是任意的，可以是上述4個(gè)分配方 法以外的方法。
另外，通過(guò)使用8個(gè)子CPU核442-1 ~子CPU核442-8中的任 意的子CPU核442，可以組合4吏用上述編碼方式A 編碼方式D (以 并行方式操作)。即，例如，編碼選擇控制單元502可以為各個(gè)分區(qū) 或各個(gè)圖片釆用相互不同的編碼方式，并且改變分配硬件資源的方式。 這樣，編碼選擇控制單元502能夠以更有效地利用硬件資源的方式向 編碼單元14中的各個(gè)處理分配硬件資源，從而使編碼單元14能夠更 有效地操作。
接著參照?qǐng)D44的流程圖說(shuō)明由解碼選擇控制單元503執(zhí)行的解 碼選擇控制處理的流程例子。解碼選擇控制處理是為了在執(zhí)行解碼處 理時(shí)從子CPU核442-1 ~子CPU核442-8的分配方式彼此不同的多個(gè) 解碼程序544中選擇一個(gè)而執(zhí)行的處理。例如，當(dāng)用戶指示執(zhí)行解碼 處理時(shí)，解碼選擇控制單元503開(kāi)始解碼選擇控制處理。當(dāng)開(kāi)始了解碼選擇控制處理時(shí)，在步驟S201中，大小信息取得 單元521取得針對(duì)保持在XDR-RAM 403中的作為處理對(duì)象的編碼數(shù) 據(jù)542的大小信息。在步驟S202中，資源信息取得單元522經(jīng)由OS 501取得作為與可用的硬件資源有關(guān)的信息的資源信息。
在步驟S203中，系數(shù)緩沖器使用量計(jì)算單元523使用小波變換 關(guān)系表533等計(jì)算表示系數(shù)緩沖器單元62需要的容量的系數(shù)緩沖器使 用量。
在步驟S204中，解碼方式選擇單元524根據(jù)大小信息、資源信 息、所計(jì)算的系數(shù)緩沖器使用量等各種信息，選擇解碼方式。解碼方 式選擇處理的詳情將后述。
當(dāng)選擇了解碼方式時(shí)，在步驟S205中，分配單元525按照所選 擇的解碼程序544的分配方法，向各處理分配子CPU核442-1 ~子 CPU核442-8。
當(dāng)完成了步驟S205中的處理時(shí)，結(jié)束解碼選擇控制處理。
接著，參照?qǐng)D45的流程圖說(shuō)明在圖44的步驟S204中執(zhí)行的解 碼方式選擇處理的流程例子。
在步驟S221中，根據(jù)由系數(shù)緩沖器使用量計(jì)算單元523計(jì)算的 系數(shù)緩沖器使用量和由資源信息取得單元522確認(rèn)的LS 451的可用容 量，解碼方式選擇單元524確定LS 451的可用容量是否是作為系數(shù)緩 沖器單元62足夠的容量。即，解碼方式選擇單元524確定LS 451的 可用容量是否等于或大于每個(gè)分量的系數(shù)緩沖器使用量。如果確定足 夠，則處理前進(jìn)到步驟S222。
在步驟S222中，解碼方式選擇單元524根據(jù)解碼參數(shù)532確定 在解碼處理中是否處理能力優(yōu)先。如果確定處理能力優(yōu)先，則處理前 進(jìn)到步驟S223。
在步驟S223中，根據(jù)由系數(shù)緩沖器使用量計(jì)算單元523計(jì)算的 系數(shù)緩沖器使用量和由資源信息取得單元522確認(rèn)的LS 451的可用容 量，解碼方式選擇單元524確定LS451的可用容量是否是作為用于2 個(gè)分量的系數(shù)援沖器單元62足夠的容量。即，解碼方式選擇單元524
81確定LS 451的可用容量是否等于或大于2個(gè)分量的各自的系數(shù)緩沖器 使用量之和。如果確定足夠，則處理前進(jìn)到步驟S224。
在步驟S224中，解碼方式選擇單元524選擇應(yīng)用參照?qǐng)D26說(shuō)明 的分配方法的解碼方式A。即，在這種情況下，如圖26所示，l個(gè)子 CPU核442被分配給解碼單元36的所有處理。并且，系數(shù)緩沖器單 元62形成在LS451中。當(dāng)步驟S224的處理完成時(shí)，解碼方式選擇處 理完成，處理返回到圖44的步驟S204，處理前進(jìn)到步驟S205。
如果在圖45的步驟S222中確定在解碼處理中不是處理能力優(yōu) 先，則處理前進(jìn)到步驟S225。在步驟S225中，解碼方式選擇單元524 根據(jù)由資源信息取得單元522取得的資源信息，確定當(dāng)前可用的子 CPU核442的個(gè)數(shù)是否為1個(gè)。如果確定為1個(gè)，則處理返回到步驟 S223，重復(fù)后續(xù)的處理。如果在步驟S225中確定存在多個(gè)可用的子 CPU核442，則處理前進(jìn)到步驟S226。
在步驟S226中，解碼方式選擇單元524根據(jù)由資源信息取得單 元522取得的資源信息，確定當(dāng)前可用的子CPU核442的個(gè)數(shù)是否為 2個(gè)。如果確定為2個(gè)，則處理前進(jìn)到步驟S227。并且，如果在步驟 S223中確定LS 451的可用容量不足夠作為用于2個(gè)分量的系數(shù)緩沖 器單元62，則處理前進(jìn)到步驟S227。
在步驟S227中，解碼方式選擇單元524選擇應(yīng)用參照?qǐng)D28說(shuō)明 的分配方法的解碼方式B。即，在這種情況下，如圖28所示，以2個(gè) 子CPU核442為一組， 一個(gè)子CPU核442 ,皮分配給對(duì)編碼數(shù)據(jù)Y進(jìn) 行解碼的解碼單元36中的所有處理，另一個(gè)子CPU核442 ^皮分配給 對(duì)編碼數(shù)據(jù)C進(jìn)行解碼的解碼單元36中的所有處理。并且，對(duì)編碼 數(shù)據(jù)Y進(jìn)行解碼的解碼單元36的系數(shù)緩沖器單元62-1形成在被分配 了對(duì)編碼數(shù)據(jù)Y進(jìn)行解碼的解碼單元36的子CPU核442的LS 451 中，對(duì)編碼數(shù)據(jù)C進(jìn)行解碼的解碼單元36的系數(shù)緩沖器單元62-2形 成在被分配了對(duì)編碼數(shù)據(jù)C進(jìn)行解碼的解碼單元36的子CPU核442 的LS451中。當(dāng)步驟S227的處理完成時(shí)，解碼方式選擇處理完成， 處理返回到圖44的步驟S204，處理前進(jìn)到步驟S205。如果在圖45的步驟S226中確定當(dāng)前可用的子CPU核442的個(gè) 數(shù)為3個(gè)以上，則處理前進(jìn)到步驟S228。
在步驟S228中，解碼方式選擇單元524選擇應(yīng)用參照?qǐng)D30說(shuō)明 的分配方法的解碼方式C。即，在這種情況下，如圖30所示，以4 個(gè)子CPU核442為一組，相互不同的子CPU核442 ,皮分配給對(duì)編碼 數(shù)據(jù)Y進(jìn)行解碼的解碼單元36的熵解碼單元61-1的處理、對(duì)編碼數(shù) 據(jù)Y進(jìn)行解碼的解碼單元36的小波逆變換單元63-1的處理、對(duì)編碼 數(shù)據(jù)C進(jìn)行解碼的解碼單元36的熵解碼單元61-2的處理、對(duì)編碼數(shù) 據(jù)C進(jìn)行解碼的解碼單元36的小波逆變換單元63-2的處理。
并且，對(duì)編碼數(shù)據(jù)Y進(jìn)行解碼的解碼單元36的系數(shù)緩沖器單元 62-1形成在被分配了小波逆變換單元63-1的處理的子CPU核442的 LS 451中，對(duì)編碼數(shù)據(jù)C進(jìn)行解碼的解碼單元36的系數(shù)緩沖器單元 62-2形成在凈皮分配了小波逆變換單元63-2的處理的子CPU核442的 LS 451中。
當(dāng)步驟S228的處理完成時(shí)，解碼方式選擇處理完成，處理返回 到圖44的步驟S204,處理前進(jìn)到步驟S205。
如果在圖45的步驟S221中確定LS 451的可用容量不足夠作為 系數(shù)緩沖器單元62,則處理前進(jìn)到步驟S229。在這種情況下，由于預(yù) 先準(zhǔn)備的3個(gè)解碼方式都不能選擇(不能實(shí)施)，因此在步驟S229 中，解碼方式選擇單元524執(zhí)行錯(cuò)誤處理，例如向用戶提供通知。當(dāng) 步驟S229的處理完成時(shí)，解碼方式選擇處理完成，處理返回到圖44 的步驟S204，處理前進(jìn)到步驟S205。
如上所述，解碼選擇控制單元503可以根據(jù)編碼數(shù)據(jù)542的大小 信息、資源信息或解碼參數(shù)532等適當(dāng)?shù)貓?zhí)行硬件資源的分配，從而 解碼單元36在實(shí)際條件下可以更有效地操作。
順便提及，該分配能夠以任何單位執(zhí)行。例如，該分配可以逐個(gè) 分區(qū)地執(zhí)行，或者可以逐個(gè)圖片地執(zhí)行。另外，盡管以上說(shuō)明了預(yù)先 準(zhǔn)備3個(gè)分配方法，由解碼方式選擇單元524從其中選擇一個(gè)，但可 以準(zhǔn)備任意個(gè)數(shù)的硬件資源分配方法。即，解碼程序544的個(gè)數(shù)是任
83意的。并且，硬件資源的分配方法是任意的，可以是上述3個(gè)分配方 法以外的方法。
另外，通過(guò)使用8個(gè)子CPU核442-1 ~子CPU核442-8中的任 意的子CPU核442,可以組合使用上述解碼方式A 解碼方式C (以 并行方式操作)。即，例如，解碼逸擇控制單元503可以為各個(gè)分區(qū) 或各個(gè)圖片采用相互不同的解碼方式，并且改變分配硬件資源的方式。 這樣，解碼選擇控制單元503能夠以更有效地利用硬件資源的方式向 解碼單元36的各個(gè)處理分配硬件資源，從而使解碼單元36能夠更有 效地操作。
以下說(shuō)明分配的具體例子。
作為第1個(gè)例子，假定要編碼的圖像數(shù)據(jù)541的圖像大小為1920 像素xl080像素，數(shù)據(jù)結(jié)構(gòu)是由亮度分量Y和色度分量C構(gòu)成的分量 Y/C，位深度為12位，用于小波變換的濾波器是5x3濾波器，小波變 換的分解級(jí)別為4，并且沒(méi)有進(jìn)行精度優(yōu)先的設(shè)定。另外，假定當(dāng)前 可用的子CPU核442的個(gè)數(shù)為4個(gè)以上，每個(gè)子CPU核442的LS 451 的容量為256[K字節(jié)。
而且，對(duì)于編碼參數(shù)531，將不可逆編碼和時(shí)延優(yōu)先設(shè)定為編碼 條件。另外，對(duì)于解碼參數(shù)532，將時(shí)延優(yōu)先設(shè)定為解碼條件。
在這種情況下，計(jì)算精度選擇單元513如圖42所示的流程圖那 樣，執(zhí)行計(jì)算精度選擇處理，并且根據(jù)5x3濾波器、可逆編碼、無(wú)精 度優(yōu)先設(shè)定和13以下的位深度的條件，選擇16位固定小數(shù)點(diǎn)型。而 且，使用小波變換關(guān)系表533,中間計(jì)算緩沖器使用量計(jì)算單元514 根據(jù)5x3濾波器和分解數(shù)為4的條件，將"7.5"設(shè)定為關(guān)系指數(shù)，并且 通過(guò)使輸入圖像的水平大小(1920像素)、計(jì)算精度(16位)和關(guān)系 指數(shù)(7.5)相乘，計(jì)算中間計(jì)算緩沖器使用量。
另外，通過(guò)使用系數(shù)重新排列關(guān)系表534，系數(shù)重新排列緩沖器 使用量計(jì)算單元515根據(jù)5x3濾波器和分解數(shù)為4的條件，將"42.25" 設(shè)定為關(guān)系指數(shù)，并且通過(guò)使輸入圖像的水平大小(1920像素)、單 位大小和關(guān)系指數(shù)(42.25)相乘，計(jì)算系數(shù)重新排列緩沖器使用量。
84根據(jù)上述計(jì)算結(jié)果和資源信息等，編碼方式選擇單元516如圖43 所示的流程圖那樣，執(zhí)行編碼方式選擇處理。由于LS451的可用容量 足夠作為用于2個(gè)分量的中間計(jì)算緩沖器單元52,但不夠作為用于2 個(gè)分量的中間計(jì)算緩沖器單元52和系數(shù)重新排列緩沖器單元53,并 且優(yōu)先項(xiàng)目是時(shí)延，可用子CPU核442的個(gè)數(shù)為4個(gè)，因此，編碼方 式選捧單元516選擇如圖24所示執(zhí)4亍分配的編碼方式D。
通過(guò)這樣的分配，編碼單元14能夠如圖25所示繼續(xù)進(jìn)行編碼處 理。即，通過(guò)這樣的分配，編碼單元14能夠以低的延遲來(lái)執(zhí)行編碼處 理。
在該條件下分配解碼單元36的情況下，解碼方式選擇單元524 如圖45所示的流程圖那樣，執(zhí)行解碼方式選擇處理。由于LS 451的 可用容量足夠作為系數(shù)緩沖器單元62，并且優(yōu)先項(xiàng)目是時(shí)延，可用子 CPU核442的個(gè)數(shù)為4個(gè)，因此，解碼方式選擇單元524選擇如圖30 所示執(zhí)行分配的解碼方式C。
通過(guò)這樣的分配，解碼單元36能夠如圖31所示繼續(xù)進(jìn)行解碼處 理。即，通過(guò)這樣的分配，解碼單元36能夠以低的延遲來(lái)執(zhí)行解碼處 理。
例如，在電視會(huì)議系統(tǒng)等要求實(shí)時(shí)地執(zhí)行數(shù)據(jù)交換的系統(tǒng)中，要 求以低的延遲來(lái)執(zhí)行編碼處理或解碼處理。即使將這樣的情況下，編 碼選擇控制單元502和解碼選擇控制單元503也能夠適當(dāng)?shù)胤峙溆布?資源，從而編碼單元14和解碼單元36能夠以低的延遲執(zhí)行處理。
作為第2個(gè)例子，假定要編碼的圖像數(shù)據(jù)541的圖像大小為1280 像素x720像素，數(shù)據(jù)結(jié)構(gòu)是由亮度分量Y和色度分量C構(gòu)成的分量 Y/C，位深度為12位，用于小波變換的濾波器是9x7濾波器，小波變 換的分解級(jí)別為4。另外，假定當(dāng)前可用的子CPU核442的個(gè)數(shù)為4 個(gè)以上，每個(gè)子CPU核442的LS451的容量為256[K字節(jié)。
而且，對(duì)于編碼參數(shù)531，將處理能力優(yōu)先設(shè)定為編碼條件。另 外，對(duì)于解碼參數(shù)532,將處理能力優(yōu)先設(shè)定為解碼條件。
在這種情況下，計(jì)算精度選擇單元513如圖42所示的流程圖那
85樣，執(zhí)行計(jì)算精度選擇處理，并且根據(jù)9x7濾波器的條件，選擇32 位浮動(dòng)小數(shù)點(diǎn)型。而且，使用小波變換關(guān)系表533,中間計(jì)算緩沖器 使用量計(jì)算單元514根據(jù)9x7濾波器和分解數(shù)為4的條件，將"11.25" 設(shè)定為關(guān)系指數(shù)，并且通過(guò)使輸入圖像的水平大小(1280像素)、計(jì) 算精度(32位)和關(guān)系指數(shù)(11.25)相乘，計(jì)算中間計(jì)算緩沖器使用
另外，通過(guò)使用系數(shù)重新排列關(guān)系表534,系數(shù)重新排列緩沖器 使用量計(jì)算單元515根據(jù)9x7濾波器和分解數(shù)為4的條件，將"94.75" 設(shè)定為關(guān)系指數(shù)，并且通過(guò)使輸入圖像的水平大小(1280像素)、單 位大小和關(guān)系指數(shù)(94.75)相乘，計(jì)算系數(shù)重新排列緩沖器使用量。
根據(jù)上述計(jì)算結(jié)果和資源信息等，編碼方式選擇單元516如圖43 所示的流程圖那樣，執(zhí)行編碼方式選擇處理。由于LS451的可用容量 足夠作為用于2個(gè)分量的中間計(jì)算緩沖器單元52，但不夠作為用于2 個(gè)分量的中間計(jì)算緩沖器單元52和系數(shù)重新排列緩沖器單元53，并 且優(yōu)先項(xiàng)目是處理能力，因此，編碼方式選擇單元516選擇如圖21 所示執(zhí)行分配的編碼方式B。
通過(guò)這樣的分配，編碼單元14能夠如圖20所示繼續(xù)進(jìn)行編碼處 理。即，通過(guò)這樣的分配，編碼單元14能夠以高的處理能力來(lái)執(zhí)行編 碼處理。
在該條件下分配解碼單元36的情況下，解碼方式選擇單元524 如圖45所示的流程圖那樣，執(zhí)行解碼方式選擇處理。由于LS 451的 可用容量足夠作為系數(shù)緩沖器單元62，優(yōu)先項(xiàng)目是處理能力，并且 LS 451的可用容量還足夠作為用于2個(gè)分量的系數(shù)緩沖器單元62,因 此，解碼方式選擇單元524選擇如圖26所示執(zhí)行分配的解碼方式A。
通過(guò)這樣的分配，解碼單元36能夠如圖27所示繼續(xù)進(jìn)行解碼處 理。即，通過(guò)這樣的分配，解碼單元36能夠以高的處理能力來(lái)執(zhí)行解 碼處理。
例如，存在如下情況如在處理具有高的幀速率的圖像數(shù)據(jù)的系 統(tǒng)中，要求以高的速度(高的處理能力)來(lái)執(zhí)行編碼處理或解碼處理。
86即使在這樣的情況下，編碼選擇控制單元502和解碼選擇控制單元503 也能夠適當(dāng)?shù)胤峙溆布Y源，從而編碼單元14和解碼單元36能夠以 高的處理能力執(zhí)行處理。
作為第3個(gè)例子，假定要編碼的圖像數(shù)據(jù)541的圖像大小為4096 像素x2160像素，數(shù)據(jù)結(jié)構(gòu)是由亮度分量Y和色度分量C構(gòu)成的分量 Y/C，位深度為12位，用于小波變換的濾波器是9x7濾波器，小波變 換的分解級(jí)別為4。另外，假定當(dāng)前可用的子CPU核442的個(gè)數(shù)為4 個(gè)以上，每個(gè)子CPU核442的LS451的容量為256[K字節(jié)]。
而且，對(duì)于編碼參數(shù)531，將處理能力優(yōu)先設(shè)定為編碼條件。另 外，對(duì)于解碼參數(shù)532，將處理能力優(yōu)先設(shè)定為解碼條件。
在這種情況下，計(jì)算精度選擇單元513如圖42所示的流程圖那 樣，執(zhí)行計(jì)算精度選擇處理，并且根據(jù)9x7濾波器的條件，選擇32 位浮動(dòng)小數(shù)點(diǎn)型。而且，使用小波變換關(guān)系表533，中間計(jì)算緩沖器 使用量計(jì)算單元514根據(jù)9x7濾波器和分解數(shù)為4的條件，將"11.25" 設(shè)定為關(guān)系指數(shù)，并且通過(guò)使輸入圖像的水平大小(1280像素)、計(jì) 算精度(32位)和關(guān)系指數(shù)(11.25)相乘，計(jì)算中間計(jì)算緩沖器使用 量。
另外，通過(guò)使用系數(shù)重新排列關(guān)系表534，系數(shù)重新排列緩沖器 使用量計(jì)算單元515根據(jù)9x7濾波器和分解數(shù)為4的條件，將"94.75" 設(shè)定為關(guān)系指數(shù)，并且通過(guò)使輸入圖像的水平大小(1280像素)、單 位大小和關(guān)系指數(shù)(94.75)相乘，計(jì)算系數(shù)重新排列緩沖器使用量。
根據(jù)上述計(jì)算結(jié)果和資源信息等，編碼方式選擇單元516如圖43 所示的流程圖那樣，執(zhí)行編碼方式選擇處理。由于LS451的可用容量 不夠作為用于2個(gè)分量的中間計(jì)算緩沖器單元52，但足夠作為用于1 個(gè)分量的中間計(jì)算緩沖器單元52，并且可用子CPU核442的個(gè)數(shù)為4 個(gè)，優(yōu)先項(xiàng)目是處理能力，因此，編碼方式選擇單元516選擇如圖22 所示執(zhí)行分配的編碼方式C。
通過(guò)這樣的分配，編碼單元14能夠如圖23所示繼續(xù)進(jìn)行編碼處 理。即，通過(guò)這樣的分配，編碼單元14能夠以高于編碼方式D的處
87理能力和低于編碼方式B的延遲來(lái)執(zhí)行編碼處理。
在該條件下分配解碼單元36的情況下，解碼方式選擇單元524 如圖45所示的流程圖那樣，執(zhí)行解碼方式選擇處理。由于LS 451的 可用容量足夠作為系數(shù)緩沖器單元62，優(yōu)先項(xiàng)目是處理能力，LS451 的可用容量不夠作為用于2個(gè)分量的系數(shù)緩沖器單元62，并且可用的 子CPU核442的個(gè)數(shù)為4個(gè)，因此，解碼方式選擇單元524選擇如圖 28所示執(zhí)行分配的解碼方式B。
通過(guò)這樣的分配，解碼單元36能夠如圖29所示繼續(xù)進(jìn)行解碼處 理。即，通過(guò)這樣的分配，解碼單元36能夠以高于解碼方式C的處 理能力和低于解碼方式A的延遲來(lái)執(zhí)行解碼處理。
例如，存在如下情況如在處理具有高清晰度視頻的圖像數(shù)據(jù)的 系統(tǒng)中，盡管要求以高的速度(高的處理能力)來(lái)執(zhí)行編碼處理或解 碼處理，但圖像數(shù)據(jù)的數(shù)據(jù)量很大。在這樣的情況下，如果為了提高 處理能力而由一個(gè)子CPU核442執(zhí)行編碼處理和解碼處理，則LS 451 的容量可能變得不足，從而導(dǎo)致不希望的延遲增加。因此，編碼選擇 控制單元502和解碼選擇控制單元503能夠以如下方式適當(dāng)?shù)胤峙溆?件資源編碼單元14和解碼單元36不會(huì)由于緩沖器溢出的發(fā)生等而 導(dǎo)致延遲時(shí)間不希望地增加，并且使處理能力盡可能地提高。
在圖3的編碼單元14和圖12的解碼單元36中，如上所述，在 編碼單元14中執(zhí)行了重新排列小波變換系數(shù)的處理后，將編碼數(shù)據(jù)發(fā) 送給解碼單元36。但是，在編碼單元14中可以跳過(guò)重新排列小波變 換系數(shù)的處理，而在將編碼數(shù)據(jù)發(fā)送到解碼單元36后在解碼單元36 中執(zhí)行重新排列小波變換系數(shù)的處理。即，可以如圖46所示，在編碼 單元14中執(zhí)行了重新排列小波變換系數(shù)的處理后，將編碼數(shù)據(jù)發(fā)送給 解碼單元36,或者可以如圖47所示，在將編碼數(shù)據(jù)發(fā)送到解碼單元 36后，在解碼單元36中執(zhí)行重新排列小波變換系數(shù)的處理。
在這種情況下，如圖48所示，解碼單元36需要包括系數(shù)重新排 列單元65。圖48是示出解碼單元36的另一實(shí)施方式的框圖。
在圖48中，與圖12的解碼單元36同樣，解碼單元36包括熵解碼單元61、系數(shù)緩沖器單元62和小波逆變換單元63，另外還包括系 數(shù)重新排列單元65。
系數(shù)重新排列單元65執(zhí)行作為熵解碼單元61的解碼結(jié)果得到的 小波變換系數(shù)的重新排列，即，系數(shù)重新排列單元65執(zhí)行與圖2中的 系數(shù)重新排列單元54同樣的小波變換系數(shù)重新排列，并將它們提供給 小波逆變換單元63以存儲(chǔ)在其中。
編碼單元14和解碼單元36中的哪個(gè)執(zhí)行小波變換系數(shù)的重新排 列可以根據(jù)各個(gè)設(shè)備的資源而適當(dāng)?shù)卮_定。
而且，在編碼單元14中，在熵編碼單元55中執(zhí)行小波變換系數(shù) 的量化。但是，例如可以設(shè)置量化單元，該量化單元對(duì)由小波變換單 元51輸出的小波變換系數(shù)進(jìn)行量化，并將它們存儲(chǔ)到系數(shù)重新排列緩 沖器單元53中。
圖49是示出編碼單元14的另一實(shí)施方式的框圖。
在圖49中，編碼單元14包括量化單元56，構(gòu)成編碼單元14的 其它塊與圖3中的編碼單元14相同。
量化單元56對(duì)由小波變換單元51輸出的小波變換系數(shù)進(jìn)行量 化，并將它們存儲(chǔ)到系數(shù)重新排列緩沖器單元53中。這樣，通過(guò)與熵 編碼單元55分離地設(shè)置量化單元56,能夠以最佳地執(zhí)行各種處理或 者使延遲時(shí)間變少的方式執(zhí)行預(yù)定的CPU或存儲(chǔ)器的分配。
量化單元56可以設(shè)置在系數(shù)重新排列單元54和熵編碼單元55 中。這種情況下，由系數(shù)重新排列單元54輸出的小波變換系數(shù)被量化， 并被提供給熵編碼單元55。
接著，圖50是示出解碼單元36的另一實(shí)施方式的框圖。
在圖50中，解碼單元36包括反量化單元66，構(gòu)成解碼單元36 的其它塊與圖48中的解碼單元36相同。
反量化單元66對(duì)由系數(shù)重新排列單元65輸出的小波變換系數(shù)進(jìn) 行量化，并將它們提供給小波逆變換單元63。通過(guò)設(shè)置反量化單元66， 與設(shè)置量化單元56的情況同樣，能夠以最佳地執(zhí)行各種處理或者使延 遲時(shí)間變少的方式執(zhí)行預(yù)定的CPU或存儲(chǔ)器的分配。
89反量化單元66可以設(shè)置在熵解碼單元61和系數(shù)緩沖器單元62 中。這種情況下，反量化單元66執(zhí)行由熵解碼單元61輸出的系數(shù)數(shù) 據(jù)的反量化，并將其存儲(chǔ)到系數(shù)緩沖器單元62中。
上述一系列的處理可以通過(guò)硬件來(lái)執(zhí)行，或者可以通過(guò)軟件來(lái)執(zhí)行。
例如，如圖19所示，編碼單元14可以由執(zhí)行小波變換單元51、 系數(shù)重新排列單元54和熵編碼單元55的各處理的一個(gè)處理單元、以 及形成有中間計(jì)算緩沖器單元52和系數(shù)重新排列緩沖器單元53的一 個(gè)存儲(chǔ)單元構(gòu)成。
同樣，如圖21所示，編碼單元14可以由執(zhí)行小波變換單元51、 系數(shù)重新排列單元54和熵編碼單元55的各處理的一個(gè)處理單元、形 成有中間計(jì)算緩沖器單元52并且允許高速讀寫(xiě)的第1存儲(chǔ)單元、以及 形成有系數(shù)重新排列緩沖器單元53的大容量的第2存儲(chǔ)單元構(gòu)成。
同樣，如圖22所示，編碼單元14可以由執(zhí)行小波變才奐單元51-1、 系數(shù)重新排列單元54-1和熵編碼單元55-1的各處理的第1處理單元、 形成有中間計(jì)算緩沖器單元52-l并且允許高速讀寫(xiě)的第l存儲(chǔ)單元、 執(zhí)行小波變換單元51-2、系數(shù)重新排列單元54-2和熵編碼單元55-2 的各處理的第2處理單元、形成有中間計(jì)算緩沖器單元52-2并且允許 高速讀寫(xiě)的第2存儲(chǔ)單元、以及形成有系數(shù)重新排列緩沖器單元53-l 和系數(shù)重新排列援沖器單元53-2的大容量的第3存儲(chǔ)單元構(gòu)成。
同樣，如圖24所示，編碼單元14可以由執(zhí)行小波變換單元51-1 的處理的第l處理單元、形成有中間計(jì)算緩沖器單元52-1并且允許高 速讀寫(xiě)的第l存儲(chǔ)單元、執(zhí)行系數(shù)重新排列單元54-1和熵編碼單元 55-1的各處理的第2處理單元、執(zhí)行小波變換單元51-2的處理的第3 處理單元、形成有中間計(jì)算緩沖器單元52-2并且允許高速讀寫(xiě)的第2 存儲(chǔ)單元、執(zhí)行系數(shù)重新排列單元54-2和熵編碼單元55-2的各處理 的第4處理單元、以及形成有系數(shù)重新排列緩沖器單元53-1和系數(shù)重 新排列緩沖器單元53-2的大容量的第3存儲(chǔ)單元構(gòu)成。
同樣，如圖26所示，解碼單元36可以由執(zhí)行熵解碼單元61和
90小波逆變換單元63的各處理的一個(gè)處理單元、以及形成有系數(shù)緩沖器 單元62的存儲(chǔ)單元構(gòu)成。
同樣，如圖28所示，解碼單元36可以由執(zhí)4亍熵解碼單元61-1 和小波逆變換單元63-1的各處理的第l處理單元、形成有系數(shù)緩沖器 單元62-1的第1存儲(chǔ)單元、執(zhí)行熵解碼單元61-2和小波逆變換單元 63-2的各處理的第2處理單元、以及形成有系數(shù)緩沖器單元62-2的第 2存儲(chǔ)單元構(gòu)成。
同樣，如圖30所示，解碼單元36可以由執(zhí)行熵解碼單元61-1 的處理的第1處理單元、執(zhí)行小波逆變換單元63-1的處理的第2處理 單元、形成有系數(shù)緩沖器單元62-l的第l存儲(chǔ)單元、執(zhí)行熵解碼單元 61-2的處理的第3處理單元、執(zhí)行小波逆變換單元63-2的處理的第4 處理單元、以及形成有系數(shù)緩沖器單元62-2的第2存儲(chǔ)單元構(gòu)成。
在編碼單元14或解碼單元36如上所述由硬件構(gòu)成的情況下，可 以得到與如上所述將軟件程序分配給硬件的情況相同的效果。
在通過(guò)軟件執(zhí)行一系列處理的情況下，將構(gòu)成軟件的程序從程序 記錄介質(zhì)安裝到嵌入專用硬件中的計(jì)算機(jī)、或者例如能夠在安裝了各 種程序時(shí)執(zhí)行各種功能的通用計(jì)算機(jī)、或者由多個(gè)設(shè)備構(gòu)成的信息處 理系統(tǒng)的信息處理設(shè)備等。
例如圖18或圖36所示，該記錄介質(zhì)不僅由存儲(chǔ)了程序并且與i殳 備主體分離地交付以向用戶分發(fā)程序的可裝卸介質(zhì)131或可裝卸介質(zhì) 311構(gòu)成，而且由以預(yù)先嵌入到設(shè)備主體中的狀態(tài)分發(fā)給用戶的、記 錄了程序的ROM 102、包括在存儲(chǔ)單元123或存儲(chǔ)設(shè)備303中的硬盤(pán) 或HDD 405等構(gòu)成，其中，上述可裝卸介質(zhì)131或可裝卸介質(zhì)311 例如為磁盤(pán)(包括軟盤(pán))、光盤(pán)(包括CD-ROM ( Compact Disk-Read Only Memory,光盤(pán)只讀存儲(chǔ)器)或DVD (Digital Versatile Disk, 數(shù)字通用盤(pán)))、光磁盤(pán)(包括MD (Mini-Disk，迷你盤(pán))(注冊(cè)商 標(biāo)))或半導(dǎo)體存儲(chǔ)器。
順便提及，在本說(shuō)明書(shū)中，描述記錄在記錄介質(zhì)上的程序步驟當(dāng) 然既包括按上述順序并按時(shí)間序列執(zhí)行的處理，也包括不一定按時(shí)間
91序列執(zhí)行而是以并行方式或者獨(dú)立地執(zhí)行的處理。
另外，在本說(shuō)明書(shū)中，系統(tǒng)表示由多個(gè)設(shè)備構(gòu)成的整個(gè)設(shè)備。 以上作為一個(gè)設(shè)備說(shuō)明的部件可以分割并構(gòu)成為多個(gè)設(shè)備。相
反，以上作為多個(gè)設(shè)備說(shuō)明的部件可以組合并構(gòu)成為一個(gè)i殳備。并且， 上述以外的結(jié)構(gòu)當(dāng)然可以追加到各個(gè)設(shè)備的結(jié)構(gòu)中。并且，只要系統(tǒng) 整體的結(jié)構(gòu)或操作基本上相同，則可以將給定設(shè)備的結(jié)構(gòu)的一部分包 括到另一設(shè)備的結(jié)構(gòu)中。
即，本發(fā)明的實(shí)施方式不限于上述實(shí)施方式，在不脫離本發(fā)明的 范圍的情況下，可以進(jìn)行各種改變。
權(quán)利要求
1.一種編碼設(shè)備，執(zhí)行圖像數(shù)據(jù)的編碼處理以生成編碼流，包括識(shí)別信息生成單元，用于生成共有處理識(shí)別信息或程序識(shí)別信息，其中，所述共有處理識(shí)別信息識(shí)別通過(guò)編碼處理和解碼處理中的哪一個(gè)來(lái)執(zhí)行在圖像數(shù)據(jù)的編碼處理和編碼流的解碼處理之間共有的處理，所述程序識(shí)別信息識(shí)別從分配模式或配置模式相互不同的多個(gè)解碼程序中選擇哪個(gè)解碼程序，其中，所述分配模式是將構(gòu)成解碼處理的多個(gè)處理分配給多個(gè)處理單元的分配模式，所述配置模式是由多個(gè)處理使用的存儲(chǔ)器的配置模式；編碼單元，用于執(zhí)行圖像數(shù)據(jù)的編碼處理，以生成編碼流；和傳送單元，用于將由識(shí)別信息生成單元生成的共有處理識(shí)別信息或程序識(shí)別信息與由編碼單元生成的編碼流一起傳送。
2. 如權(quán)利要求1所述的編碼設(shè)備，其中， 傳送單元將由識(shí)別信息生成單元生成的共有處理識(shí)別信息或程序識(shí)別信息插入到編碼流中。
3. 如權(quán)利要求2所述的編碼設(shè)備，其中，傳送單元將由識(shí)別信息生成單元生成的共有處理識(shí)別信息或程 序識(shí)別信息插入到編碼流的標(biāo)題中。
4. 如權(quán)利要求3所述的編碼設(shè)備，其中，傳送單元將由識(shí)別信息生成單元生成的共有處理識(shí)別信息或程 序識(shí)別信息插入到凈皮插入到編碼流的標(biāo)題中的序列標(biāo)題或圖片標(biāo)題 中。
5. 如權(quán)利要求1所述的編碼設(shè)備，其中，傳送單元將由識(shí)別信息生成單元生成的共有處理識(shí)別信息或程 序識(shí)別信息以及編碼流記錄到記錄介質(zhì)上。
6. 如權(quán)利要求1所述的編碼設(shè)備，其中， 構(gòu)成編碼處理的多個(gè)處理包括濾波處理，對(duì)于圖像數(shù)據(jù)，針對(duì)每個(gè)分區(qū)執(zhí)行濾波處理，生成由 針對(duì)每個(gè)頻帶分解的系數(shù)數(shù)據(jù)構(gòu)成的多個(gè)子帶，其中每個(gè)分區(qū)包括生 成相當(dāng)于最低頻分量的子帶的至少1行的系數(shù)數(shù)據(jù)所需的行數(shù)的圖像數(shù)據(jù)；存儲(chǔ)處理，針對(duì)每個(gè)分區(qū)存儲(chǔ)通過(guò)濾波處理生成的系數(shù)數(shù)據(jù)； 系數(shù)重新排列處理，按照?qǐng)?zhí)行合成處理的順序?qū)νㄟ^(guò)存儲(chǔ)處理存儲(chǔ)的系數(shù)數(shù)據(jù)進(jìn)行重新排列，其中在所述合成處理中，被分解為頻帶的多個(gè)子帶的系數(shù)數(shù)據(jù)被合成以生成圖像數(shù)據(jù)；和編碼處理，對(duì)通過(guò)系數(shù)重新排列處理而重新排列的系數(shù)數(shù)據(jù)進(jìn)行編碼。
7. 如權(quán)利要求6所述的編碼設(shè)備，其中， 識(shí)別信息生成單元生成表示在編碼設(shè)備側(cè)執(zhí)行了系數(shù)重新排列處理的共有處理識(shí)別信息；傳送單元將由識(shí)別信息生成單元生成的共有處理識(shí)別信息與編 碼流一起傳送。
8. 如權(quán)利要求1所述的編碼設(shè)備，其中， 構(gòu)成編碼處理的多個(gè)處理包括濾波處理，對(duì)于圖像數(shù)據(jù)，針對(duì)每個(gè)分區(qū)執(zhí)行濾波處理，生成由 針對(duì)每個(gè)頻帶分解的系數(shù)數(shù)據(jù)構(gòu)成的多個(gè)子帶，其中每個(gè)分區(qū)包括生 成相當(dāng)于最低頻分量的子帶的至少1行的系數(shù)數(shù)據(jù)所需的行數(shù)的圖像 數(shù)據(jù)；存儲(chǔ)處理，針對(duì)每個(gè)分區(qū)存儲(chǔ)通過(guò)濾波處理生成的系數(shù)數(shù)據(jù)；和 編碼處理，對(duì)通過(guò)存儲(chǔ)處理存儲(chǔ)的系數(shù)數(shù)據(jù)進(jìn)行編碼。
9. 如權(quán)利要求8所述的編碼設(shè)備，其中，識(shí)別信息生成單元生成表示沒(méi)有在編碼設(shè)備側(cè)執(zhí)行系數(shù)重新排 列處理的信息來(lái)作為共有處理識(shí)別信息，其中，所述系數(shù)重新排列處排列，在所述合成處理中，被分解為頻帶的多個(gè)子帶的系數(shù)數(shù)據(jù)被合 成以生成圖像數(shù)據(jù)。
10. 如權(quán)利要求6所述的編碼設(shè)備，其中，識(shí)別信息生成單元生成表示將低延遲優(yōu)先控制和處理能力優(yōu)先 控制中的哪一個(gè)選擇作為用于編碼處理的控制方法的控制識(shí)別信息， 其中，所述低延遲優(yōu)先控制使以低延遲來(lái)執(zhí)行編碼優(yōu)先，所述處理能 力優(yōu)先控制使以高處理能力來(lái)執(zhí)行編碼優(yōu)先；傳送單元將由識(shí)別信息生成單元生成的控制識(shí)別信息與編碼流 一起傳送。
11. 如權(quán)利要求6所述的編碼設(shè)備，其中，識(shí)別信息生成單元生成識(shí)別在濾波處理單元中使用的濾波器的濾波器信息；傳送單元將由識(shí)別信息生成單元生成的濾波器信息與編碼流一 起傳送。
12. 如權(quán)利要求11所述的編碼設(shè)備，其中， 識(shí)別信息生成單元生成表示濾波處理的精度是固定小數(shù)點(diǎn)精度、浮動(dòng)小數(shù)點(diǎn)精度、還是整數(shù)精度的濾波處理精度信息；傳送單元將由識(shí)別信息生成單元生成的濾波處理精度信息與編 碼流一起傳送。
13. —種編碼方法，執(zhí)行圖像數(shù)據(jù)的編碼處理以生成編碼流，包 括以下步驟生成共有處理識(shí)別信息或程序識(shí)別信息，其中，所述共有處理識(shí) 別信息識(shí)別通過(guò)編碼處理和解碼處理中的哪一個(gè)來(lái)執(zhí)行在圖像數(shù)據(jù)的 編碼處理和編碼流的解碼處理之間共有的處理，所述程序識(shí)別信息識(shí) 別從分配模式或配置模式相互不同的多個(gè)解碼程序中選擇哪個(gè)解碼程 序，其中，所述分配模式是將構(gòu)成解碼處理的多個(gè)處理分配給多個(gè)處 理單元的分配模式，所述配置模式是由多個(gè)處理使用的存儲(chǔ)器的配置 模式；執(zhí)行圖像數(shù)據(jù)的編碼處理，以生成編碼流；以及 將共有處理識(shí)別信息或程序識(shí)別信息與編碼流一起傳送。
14. 一種解碼設(shè)備，執(zhí)行通過(guò)執(zhí)行圖像數(shù)據(jù)的編碼處理而得到的編碼流的解碼處理，包括取得單元，與編碼流一起取得共有處理識(shí)別信息或程序識(shí)別信 息，其中，所述共有處理識(shí)別信息識(shí)別通過(guò)編碼處理和解碼處理中的 哪一個(gè)來(lái)執(zhí)行在圖像數(shù)據(jù)的編碼處理和編碼流的解碼處理之間共有的 處理，所述程序識(shí)別信息識(shí)別從分配模式或配置模式相互不同的多個(gè) 解碼程序中選擇哪個(gè)解碼程序，其中，所述分配模式是將構(gòu)成解碼處 理的多個(gè)處理分配給多個(gè)處理單元的分配模式，所述配置模式是由多 個(gè)處理使用的存儲(chǔ)器的配置模式；解碼單元，用于執(zhí)行由取得單元取得的編碼流的解碼處理；和控制單元，用于控制解碼單元，以按照由取得單元取得的共有處 理識(shí)別信息或程序識(shí)別信息所表示的處理方式，執(zhí)行解碼處理。
15, —種解碼方法，執(zhí)行通過(guò)執(zhí)行圖像數(shù)據(jù)的編碼處理而得到的 編碼流的解碼處理，包括以下步驟與編碼流一起取得共有處理識(shí)別信息或程序識(shí)別信息，其中，所 述共有處理識(shí)別信息識(shí)別通過(guò)編碼處理和解碼處理中的哪一個(gè)來(lái)執(zhí)行 在圖像數(shù)據(jù)的編碼處理和編碼流的解碼處理之間共有的處理，所述程 序識(shí)別信息識(shí)別從分配模式或配置模式相互不同的多個(gè)解碼程序中選 擇哪個(gè)解碼程序，其中，所述分配模式是將構(gòu)成解碼處理的多個(gè)處理分配給多個(gè)處理單元的分配模式，所述配置模式是由多個(gè)處理使用的 存儲(chǔ)器的配置模式；執(zhí)行編碼流的解碼處理；以及執(zhí)行控制，以使解碼處理按照共有處理識(shí)別信息或程序識(shí)別信息 所表示的處理方式來(lái)執(zhí)行。
全文摘要
本發(fā)明涉及一種編碼設(shè)備和編碼方法以及解碼設(shè)備和解碼方法，能夠在傳送了編碼圖像時(shí)以低延遲得到解碼圖像。識(shí)別信息生成單元(21)生成共有處理識(shí)別信息或程序識(shí)別信息，所述共有處理識(shí)別信息識(shí)別通過(guò)編碼處理和解碼處理中的哪一個(gè)來(lái)執(zhí)行在圖像數(shù)據(jù)的編碼處理和編碼流的解碼處理之間共有的處理，所述程序識(shí)別信息識(shí)別從將構(gòu)成解碼處理的多個(gè)處理分配給多個(gè)處理單元的分配模式或由多個(gè)處理使用的存儲(chǔ)器的配置模式相互不同的多個(gè)解碼程序中選擇哪個(gè)解碼程序，傳送單元(22)發(fā)送由識(shí)別信息生成單元生成的共有處理識(shí)別信息或程序識(shí)別信息。本發(fā)明可以應(yīng)用于例如編碼設(shè)備和解碼設(shè)備。
文檔編號(hào)H04N7/30GK101569170SQ20088000112
公開(kāi)日2009年10月28日 申請(qǐng)日期2008年5月16日 優(yōu)先權(quán)日2007年5月17日
發(fā)明者安藤勝俊, 福原隆浩 申請(qǐng)人:索尼株式會(huì)社