專利名稱：信息處理設(shè)備、方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理設(shè)備、方法和程序，并且尤其涉及能夠容易 地可變重放具有高幀速率的運(yùn)動(dòng)圖像的信息處理設(shè)備、方法和程序。
背景技術(shù)：
現(xiàn)有的典型圖像壓縮系統(tǒng)包括已由ISO(國際標(biāo)準(zhǔn)組織)標(biāo)準(zhǔn)化的 MPEG(運(yùn)動(dòng)圖像專家組)系統(tǒng)，JPEG(聯(lián)合圖像專家組)系統(tǒng)等等。在MPEG系統(tǒng)中，稱為MPEG-2的系統(tǒng)已被用于在日本公眾已 習(xí)慣的BS(廣播衛(wèi)星)數(shù)字廣播中壓縮HDTV(高清晰度電視)隔行掃描 運(yùn)動(dòng)圖像。另外，將被記錄在DVD(數(shù)字通用光盤)介質(zhì)中并銷售的內(nèi) 容也由該MPEG-2系統(tǒng)壓縮和編碼。TV(電視)信號(hào)由每秒30幀(60場(chǎng))的圖像構(gòu)成，但是已指出對(duì)于 這種水平的圖像數(shù)目來說，高速運(yùn)動(dòng)圖像的再現(xiàn)性較差。于是，近年 來，對(duì)于幀速率為其數(shù)倍的運(yùn)動(dòng)圖像，例如具有120幀/秒-240幀/秒 的高幀速率的運(yùn)動(dòng)圖像的處理的需要一直在增大。但是，把幀速率增大幾倍會(huì)成比例地增大數(shù)據(jù)速率，從而難以即 時(shí)(實(shí)時(shí)地)無延遲地進(jìn)行編碼處理，特別地，由于諸如成本之類的 問題，可能無法實(shí)現(xiàn)借助利用幀間壓縮的MPEG系統(tǒng)，能夠進(jìn)行實(shí) 時(shí)編碼的硬件。為了避免這種問題，公開了一種方法，其中排列幀內(nèi)編碼系統(tǒng)的 多個(gè)編解碼器，并借助分時(shí)進(jìn)行壓縮編碼(例如，未經(jīng)審查的日本專利 申請(qǐng)公開No.2004-104694)。就未經(jīng)審查的日本專利申請(qǐng)公開No.2004-104694來說，為了高 效地編碼運(yùn)動(dòng)圖像，例如525/60p(水平分辨率為525行，幀速率為60 幀/秒的逐行掃描圖像)，1080/60p(水平分辨率為1080行，幀速率為
60幀/秒的逐行掃描圖像)等等，公開了一種技術(shù)，其中每兩幀提取幀 間圖像信號(hào)的和信號(hào)和差信號(hào)，對(duì)每個(gè)所提取的信號(hào)進(jìn)行編碼，從而 控制和信號(hào)的編碼比特率與差信號(hào)的編碼比特率之間的比值。發(fā)明內(nèi)容但是，對(duì)于在未經(jīng)審查的日本專利申請(qǐng)公開No.2004-104694中 公開的技術(shù)，基本上沒有考慮高于普通幀速率(例如60幀/秒)的幀速 率的應(yīng)用，從而如同利用一個(gè)編碼器進(jìn)行編碼的情況一樣，內(nèi)容的幀 速率越高，實(shí)時(shí)編碼可能變得困難的可能性就越大。另外，即使在解碼和播放具有高幀速率的壓縮和編碼內(nèi)容的情況 下，所能做的只是恢復(fù)壓縮之前的幀速率，在進(jìn)行重放速率或重放速 度的控制的情況下，必須再次進(jìn)行這些控制處理，這不便于容易地進(jìn) 行所述處理。希望使具有高幀速率的運(yùn)動(dòng)圖像數(shù)據(jù)能夠容易地進(jìn)行變速重放。 根據(jù)本發(fā)明的一個(gè)實(shí)施例的信息處理設(shè)備是一種被配置成處理 運(yùn)動(dòng)圖像數(shù)據(jù)的信息處理設(shè)備，包括多個(gè)計(jì)算單元，所述多個(gè)計(jì)算單 元被配置成通過對(duì)兩條幀數(shù)據(jù)進(jìn)行加法和減法，來變換幀速率，和控 制單元，所述控制單元被配置成控制多個(gè)計(jì)算單元，使運(yùn)動(dòng)圖^Jt據(jù) 的每條幀數(shù)據(jù)進(jìn)行對(duì)把運(yùn)動(dòng)圖像數(shù)據(jù)的幀速率變換成所希望的速率 來說必需次數(shù)的加法和減法中的至少之一。所述多個(gè)計(jì)算單元可被相互串聯(lián)連接，第二級(jí)和之后的計(jì)算單元 被配置成向或從前一級(jí)的計(jì)算單元的計(jì)算結(jié)果加入或減去?？刂茊卧?可控制串聯(lián)連接的多個(gè)計(jì)算單元中，從第一級(jí)的計(jì)算單元到獲得所希 望幀速率的運(yùn)動(dòng)圖像數(shù)據(jù)的那一級(jí)的計(jì)算單元執(zhí)行加法和減法中的 至少之一。在串聯(lián)連接的多個(gè)計(jì)算單元中，第 一級(jí)的計(jì)算單元可被配置成對(duì)運(yùn)算中的至少之一。每個(gè)計(jì)算單元可執(zhí)行加法和減法中的至少之一， 從而幀速率可被變換成兩倍。
計(jì)算單元可并行地多次進(jìn)行加法和減法中的至少之一，從而能夠 同時(shí)產(chǎn)生多個(gè)計(jì)算結(jié)果。按照本發(fā)明的一個(gè)實(shí)施例的信息處理設(shè)備還包括解碼單元，所 述解碼單元被配置成對(duì)碼流解碼，所述碼流是編碼的運(yùn)動(dòng)圖像數(shù)據(jù)。 所述多個(gè)計(jì)算單元可對(duì)通過由控制單元控制，并由解碼單元解碼而獲 得的運(yùn)動(dòng)圖像數(shù)據(jù)的每個(gè)幀數(shù)據(jù)進(jìn)行加法和減法中的至少之一。解碼單元可以與通過多個(gè)計(jì)算單元的計(jì)算而獲得的運(yùn)動(dòng)圖像數(shù) 據(jù)的幀速率對(duì)應(yīng)的速度對(duì)碼流解碼。解碼單元可包括熵解碼單元，所述熵解碼單元被配置成根據(jù)碼流產(chǎn)生量化系數(shù)，逆量化單元，所述逆量化單元被配置成變換量化系數(shù)，以產(chǎn)生預(yù)定的濾波因子，和逆濾波單元，所述逆濾波單元被配置成對(duì)濾波因子進(jìn)行逆濾波，以產(chǎn)生解碼圖像。熵解碼單元可按照例如從最高有效位位置到低位方向產(chǎn)生量化系數(shù)的順序，相互獨(dú)立地解碼相加圖像的碼流和相減圖像的碼流中的 每一個(gè)。熵解碼單元可集成相加圖像的碼流和相減圖像的碼流，并按照例 如從最高有效位位置到低位方向產(chǎn)生量化系數(shù)的順序，對(duì)整個(gè)集成的 碼流解碼。熵解碼單元可按照從最低級(jí)的子帶到最高級(jí)的子帶的順序，對(duì)碼 流解碼，以便產(chǎn)生相同位位置的量化系數(shù)。熵解碼單元可按照從亮度分量到色差分量的順序?qū)Υa流解碼，以便產(chǎn)生相同位位置的量化系數(shù)。按照本發(fā)明的一個(gè)實(shí)施例的信息處理方法是一種用于處理運(yùn)動(dòng) 圖像數(shù)據(jù)的信息處理方法，包括下述步驟利用多次計(jì)算，通過對(duì)兩 條幀數(shù)據(jù)進(jìn)行加法和減法，變換幀速率；和控制所述多次變換，使運(yùn) 動(dòng)圖像數(shù)據(jù)的每條幀數(shù)據(jù)經(jīng)歷對(duì)把運(yùn)動(dòng)圖像數(shù)據(jù)的幀速率變換成所 希望的速率來說必需次數(shù)的加法和減法中的至少之一。按照本發(fā)明的一個(gè)實(shí)施例，信息可被處理。特別地，能夠容易地 對(duì)具有高幀速率的運(yùn)動(dòng)圖像進(jìn)行變速重放。


圖1是圖解說明應(yīng)用本發(fā)明的實(shí)施例的圖像處理系統(tǒng)的結(jié)構(gòu)例子的方框圖；圖2是圖解說明圖1中的記錄速率控制單元的詳細(xì)結(jié)構(gòu)例子的方框圖；圖3是圖解說明圖1中的編碼單元的詳細(xì)結(jié)構(gòu)例子的方框圖； 圖4是圖解說明圖3中的第一幀內(nèi)編碼單元的詳細(xì)結(jié)構(gòu)例子的方框圖；圖5是圖解說明子帶的結(jié)構(gòu)例子的示意圖； 圖6是圖解說明能量分布的例子的示意圖； 圖7是說明編碼順序的例子的示圖； 圖8是說明編碼順序的另一例子的示圖； 圖9是圖解說明圖1中的解碼單元的詳細(xì)結(jié)構(gòu)例子的方框圖； 圖IO是圖解說明圖9中的第一幀內(nèi)解碼單元的詳細(xì)結(jié)構(gòu)例子的 方框圖；圖ll是圖解說明圖1中的重放速率控制單元的詳細(xì)結(jié)構(gòu)例子的 方框圖；圖12是說明控制重放速率的情況的例子的示意圖；圖13是說明按照重放速率的解碼方法的例子的示圖；圖14是說明按照重放速率的解碼方法的另一例子的示圖；圖15是說明按照重^t速率的解碼方法的又一例子的示圖；圖16是說明編碼處理的流程的例子的流程圖；圖17是說明解碼處理的流程的例子的流程圖；圖18是圖解說明編碼單元的另一結(jié)構(gòu)例子的方框圖；圖19是圖解說明第一幀內(nèi)編碼單元的另一結(jié)構(gòu)例子的方框圖；圖20是說明位平面的概念的示圖；圖21是說明編碼順序的一個(gè)例子的示意圖；圖22是說明編碼順序的另一例子的示意圖； 圖23是說明編碼順序的又一例子的示意圖； 圖24是說明編碼順序的又一例子的示意圖； 圖25是圖解說明解碼單元的另一結(jié)構(gòu)例子的方框圖； 圖26是圖解說明圖像處理系統(tǒng)的另一結(jié)構(gòu)例子的方框圖；以及 圖27是圖解說明應(yīng)用本發(fā)明的實(shí)施例的個(gè)人計(jì)算機(jī)的結(jié)構(gòu)例子 的方框圖。
具體實(shí)施方式
下面說明本發(fā)明的實(shí)施例。圖l是圖解說明應(yīng)用本發(fā)明的這樣一個(gè)系統(tǒng)，實(shí)施例的圖像處理 系統(tǒng)的結(jié)構(gòu)例子的方框圖。在圖1中，圖像處理系統(tǒng)l是其中即時(shí)(實(shí) 時(shí)地)壓縮和編碼運(yùn)動(dòng)圖像數(shù)據(jù)而不存在極大延遲，并記錄所述運(yùn)動(dòng)圖 像數(shù)據(jù)，以及根據(jù)需要即時(shí)(實(shí)時(shí)地)讀出其運(yùn)動(dòng)圖像數(shù)據(jù)而不存在極 大延遲，并播放讀出的運(yùn)動(dòng)圖像數(shù)據(jù)。圖像處理系統(tǒng)l包括編碼設(shè)備 11、記錄單元12和解碼設(shè)備13。編碼設(shè)備11是對(duì)實(shí)時(shí)輸入的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行實(shí)時(shí)壓縮和編碼 的設(shè)備。即，編碼設(shè)備ll包括快于運(yùn)動(dòng)圖像數(shù)據(jù)的輸入速度(即，作 為數(shù)據(jù)的幀速率)的壓縮編碼處理能力，以本質(zhì)上快于運(yùn)動(dòng)圖像數(shù)據(jù)的 輸入速度的處理速度壓縮和編碼運(yùn)動(dòng)圖像數(shù)據(jù)，并把碼流輸出給記錄 單元12。現(xiàn)在，在表示作為數(shù)據(jù)的大小和密度的情況下的數(shù)據(jù)量將被稱為 "速率"，在表示諸如處理之類的速度的情況下的數(shù)據(jù)量將被稱為"速 度"。例如，表示作為運(yùn)動(dòng)圖像數(shù)據(jù)的重放運(yùn)動(dòng)圖像由每秒多少幀構(gòu) 成的值將被稱為幀速率，每一秒重放時(shí)間的運(yùn)動(dòng)圖像數(shù)據(jù)的數(shù)據(jù)量(比 特)將被稱為比特率。另一方面，例如，在運(yùn)動(dòng)圖像數(shù)據(jù)中， 一秒鐘將 輸入的幀數(shù)被稱為輸入速度， 一秒鐘將壓縮和編碼的幀數(shù)將被稱為壓 縮編碼速度。另外，在比特流中， 一秒鐘將輸出的幀數(shù)(當(dāng)轉(zhuǎn)換成對(duì)應(yīng) 的運(yùn)動(dòng)圖像數(shù)據(jù)時(shí)的幀數(shù))將被稱為輸出速度。順便提及，在圖1的編碼設(shè)備ll的情況下，輸入速度等于待輸
入的運(yùn)動(dòng)圖像數(shù)據(jù)的幀速率，輸出速度等于壓縮編碼速度。另外，"極大延遲"意味著由于壓縮編碼速度(即，輸出速度)慢于 運(yùn)動(dòng)圖像數(shù)據(jù)的輸入速度而引起的延遲。例如，當(dāng)從開始輸入運(yùn)動(dòng)圖像數(shù)據(jù)到結(jié)束輸入運(yùn)動(dòng)圖像數(shù)據(jù)的時(shí)間為10秒的時(shí)候，在從開始輸 出碼流到結(jié)束輸出碼流的時(shí)間為15秒的情況下，輸入和輸出之間的 時(shí)間差5秒將被稱為"極大延遲"。另一方面，較短的時(shí)間，例如壓縮編碼的處理執(zhí)行時(shí)間或者歸因 于其處理方案而產(chǎn)生的較短時(shí)間，比如從開始輸入運(yùn)動(dòng)圖像數(shù)據(jù)到開 始輸出碼流的較短時(shí)間并不包括在"極大延遲"中。即，對(duì)于所有實(shí)際 應(yīng)用，我們將認(rèn)為在當(dāng)輸入運(yùn)動(dòng)圖像數(shù)據(jù)的時(shí)候進(jìn)行編碼，而不產(chǎn)生 溢流、數(shù)據(jù)遺失等，并且能夠輸出碼流的情況下的微小的時(shí)間延遲并 不包含在"極大延遲"中。編碼設(shè)備11包括記錄速率控制單元21和編碼單元22，當(dāng)在記 錄單元12把運(yùn)動(dòng)圖像數(shù)據(jù)記錄到記錄介質(zhì)中時(shí)，記錄速率控制單元 21被配置為控制(即，壓縮輸入的運(yùn)動(dòng)圖像數(shù)據(jù))運(yùn)動(dòng)圖像數(shù)據(jù)的速率 (記錄速率)，編碼單元22被配置為壓縮和編碼運(yùn)動(dòng)圖〗象數(shù)據(jù)。更具體地說，記錄速率控制單元21對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行幀間相 加和相減，編碼單元22包括多個(gè)幀內(nèi)編碼器，并行地對(duì)同時(shí)獲得的 多個(gè)計(jì)算結(jié)果中的每一個(gè)進(jìn)行幀內(nèi)編碼。從而，記錄速率控制單元21能夠容易并且充分獲得在播放運(yùn)動(dòng) 圖像數(shù)據(jù)時(shí)的幀速率(重放速率)的靈活性，還能夠降低記錄速率，通器，編碼單元22、能夠?qū)崟r(shí)地編碼幀速率大于普通幀速率(高幀速率) 的運(yùn)動(dòng)圖像數(shù)據(jù)。因此，編碼設(shè)備11能夠?qū)哂懈邘俾实倪\(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行壓 縮編碼，而不會(huì)增大緩沖存儲(chǔ)器的容量和成本(廉價(jià)并且容易)，以便 當(dāng)重放時(shí)容易并且充分獲得重放速率的靈活性，而不會(huì)導(dǎo)致諸如溢 流、幀遺失、極大延遲等問題(實(shí)時(shí)地)。記錄單元12以足夠的速度(比編碼設(shè)備11的輸出速度快的寫入速度)，把從編碼設(shè)備11提供的碼流寫入(記錄)到置于其中的預(yù)定記錄介質(zhì)(未示出)中。另外，根據(jù)需要，記錄單元12以足夠的速度讀出 記錄在其記錄介質(zhì)中的碼流，并把所讀出的碼流提供給解碼設(shè)備13。 即，記錄單元12以足以即時(shí)(實(shí)時(shí)地)解碼和解壓縮碼流，而不存在重 放速度的極大延遲的讀出速度讀出碼流，并把所讀出的碼流提供給解 碼設(shè)備13。解碼設(shè)備13包括解碼單元23和重放速率控制單元24，解碼單 元23被配置成利用和編碼單元23對(duì)應(yīng)的方法，即時(shí)(實(shí)時(shí)地)解碼和 解壓縮從記錄單元12提供的碼流，而不存在重放速度的極大延遲， 重放速率控制單元24被配置成控制當(dāng)重放運(yùn)動(dòng)圖像數(shù)據(jù)時(shí)的幀速率。更具體地說，包括多個(gè)幀內(nèi)解碼器的解碼單元23被配置成對(duì)在 編碼單元22并行編碼得到的碼流的多個(gè)幀內(nèi)編碼結(jié)果中的每一個(gè)進(jìn) 行幀內(nèi)解碼。重放速率控制單元24對(duì)在解碼單元23經(jīng)歷幀內(nèi)解碼的 數(shù)據(jù)進(jìn)行解壓縮，并以預(yù)定的重放速率輸出解壓縮的數(shù)據(jù)。從而，通過利用具有能夠?qū)崟r(shí)地解碼普通幀速率的處理速度的廉 價(jià)幀內(nèi)解碼器，解碼單元23能夠?qū)崟r(shí)解碼具有高幀速率的運(yùn)動(dòng)圖像 數(shù)據(jù)，并且重放速率控制單元24能夠容易地控制重放速率。因此，解碼設(shè)備13能夠?qū)ζ渲袎嚎s和編碼了具有高幀速率的運(yùn) 動(dòng)圖像數(shù)據(jù)的碼流進(jìn)行解碼，而不會(huì)增大緩沖存儲(chǔ)器的容量和成本(廉 價(jià)和容易)，不會(huì)導(dǎo)致諸如溢流、幀遺失、極大延遲等問題(實(shí)時(shí)地)， 進(jìn)一步能夠控制具有高幀速率的運(yùn)動(dòng)圖像數(shù)據(jù)的重放速率。下面說明圖1中所示的每個(gè)單元的細(xì)節(jié)。注意在下面，將在假定 作為基準(zhǔn)的幀速率為60p(每秒60幀的逐行掃描方法)，高幀速率為所 述基準(zhǔn)值的四倍的240 p (每秒240幀的逐行掃描方法)的情況下進(jìn)行 說明。圖2是圖解說明圖1中的記錄速率控制單元21的詳細(xì)結(jié)構(gòu)例子 的方框圖。在圖2中，記錄速率控制單元21包括分發(fā)單元51、存儲(chǔ) 器52-1 ~存儲(chǔ)器52-4,第一計(jì)算單元53和第二計(jì)算單元54。分發(fā)單元51由開關(guān)電路構(gòu)成，所述開關(guān)電路包括一個(gè)輸入側(cè)端子60和四個(gè)輸出側(cè)端子(輸出側(cè)端子61-輸出側(cè)端子64)。通過切換所 述開關(guān)，分發(fā)單元51順序地把提供給輸入側(cè)端子60的具有高幀速率 的運(yùn)動(dòng)圖像數(shù)據(jù)101的每幀數(shù)據(jù)(幀數(shù)據(jù))分發(fā)給輸出側(cè)端子61-輸出側(cè) 端子64中的每一個(gè)。例如，分發(fā)單元51首先連接輸入側(cè)端子60和 輸出側(cè)端子61,以把運(yùn)動(dòng)圖像數(shù)據(jù)101的第一幀數(shù)據(jù)提供給輸出側(cè)端 子61，并使輸出側(cè)端子61輸出所述第一幀數(shù)據(jù)作為幀數(shù)據(jù)111。隨 后，分發(fā)單元51切換所述開關(guān)，以連接輸入側(cè)端子60和輸出側(cè)端子 62，把運(yùn)動(dòng)圖像數(shù)據(jù)101的下一幀數(shù)據(jù)提供給輸出側(cè)端子62，并使輸 出側(cè)端子62輸出所述下一幀數(shù)據(jù)作為幀數(shù)據(jù)112。類似地，分發(fā)單元 51切換所述開關(guān)，連接輸入側(cè)端子60和輸出側(cè)端子63，并使輸出側(cè) 端子63輸出運(yùn)動(dòng)圖像數(shù)據(jù)101的下一幀數(shù)據(jù)作為幀數(shù)據(jù)113，并進(jìn)一 步切換開關(guān)，以連接輸入側(cè)端子60和輸出側(cè)端子64，并使輸出側(cè)端 子64輸出運(yùn)動(dòng)圖像數(shù)據(jù)101的下一幀數(shù)據(jù)作為幀數(shù)據(jù)114。分發(fā)單元 51如上所示重復(fù)所述開關(guān)的切換，使輸出側(cè)端子61-輸出側(cè)端子64 中的任意一個(gè)順序地輸出每幀數(shù)據(jù)。注意這種開關(guān)的切換(輸出側(cè)端子的連接順序)是任意的，不過下 面為了簡化說明，將說明其中按照輸出側(cè)端子61、輸出側(cè)端子62、 輸出側(cè)端子63、輸出側(cè)端子64、輸出側(cè)端子61、輸出側(cè)端子62等等 的順序反復(fù)切換輸入側(cè)端子60的連接目的地的情況。即，在時(shí)間上， 幀數(shù)據(jù)按照幀數(shù)據(jù)111、幀數(shù)據(jù)112、幀數(shù)據(jù)113和幀數(shù)據(jù)114的順 序變舊(幀數(shù)據(jù)lll最舊，幀數(shù)據(jù)114最新)。從分發(fā)單元51的輸出側(cè)端子61輸出的幀數(shù)據(jù)111被提供給存儲(chǔ) 器52-l，并被臨時(shí)保存。類似地，從輸出側(cè)端子62輸出的幀數(shù)據(jù)112 被提供給存儲(chǔ)器52-2，從輸出側(cè)端子63輸出的幀數(shù)據(jù)113被提供給 存儲(chǔ)器52-3，從輸出側(cè)端子64輸出的幀數(shù)據(jù)114被提供給存儲(chǔ)器 52-4，并被臨時(shí)保存在每個(gè)存儲(chǔ)器中。存儲(chǔ)器52-1 ~存儲(chǔ)器52-4中的每一個(gè)均為臨時(shí)保存幀數(shù)據(jù)的緩 沖存儲(chǔ)器。當(dāng)在所有存儲(chǔ)器中都累積了幀數(shù)據(jù)時(shí)，所保存的每個(gè)幀數(shù) 據(jù)被同時(shí)輸出(幀數(shù)據(jù)121-幀數(shù)據(jù)124)。即，借助存儲(chǔ)器52-1~存儲(chǔ)
器52-4，在分發(fā)單元51分發(fā)的一組幀數(shù)據(jù)(就圖2來說，4條幀數(shù)據(jù)) 的第一計(jì)算單元53的提供定時(shí)被配置成相互匹配?，F(xiàn)在，在不需要 區(qū)分存儲(chǔ)器52-1 ~存儲(chǔ)器52-4中的每一個(gè)的情況下，該組存儲(chǔ)器將 被稱為存儲(chǔ)器52。其定時(shí)受控的幀數(shù)據(jù)121-124中的每一條被提供給第一計(jì)算單元 53?，F(xiàn)在，勿庸置疑，這些幀數(shù)據(jù)121-124都是還未經(jīng)歷如后所述的 兩條幀數(shù)據(jù)之間的加法和減法的幀數(shù)據(jù)(原始幀數(shù)據(jù))。第一計(jì)算單元53包括將兩個(gè)原始幀數(shù)據(jù)相加的加法器71和加法 器73，和將兩個(gè)原始幀數(shù)據(jù)相減的減法器72和減法器74，并產(chǎn)生第 一級(jí)的相加圖像和第一級(jí)的相減圖像。加法器71將幀數(shù)據(jù)121-幀數(shù) 據(jù)124中時(shí)間最早的幀數(shù)據(jù)121和次早的幀數(shù)據(jù)122相加(將幀內(nèi)相同 位置的像素值相加)，并輸出其相加結(jié)果作為第一級(jí)的相加圖像131。 減法器72從幀數(shù)據(jù)121-幀數(shù)據(jù)124中，時(shí)間上最早的幀數(shù)據(jù)121中 減去次早的幀數(shù)據(jù)122(將幀內(nèi)相同位置的像素值相減)，并輸出其相 減結(jié)果作為第一級(jí)的相減圖像132。加法器73將幀數(shù)據(jù)121-幀數(shù)據(jù) 124中時(shí)間上第三早的幀數(shù)據(jù)123和最新的幀數(shù)據(jù)124相加，并輸出 其相加結(jié)果作為第一級(jí)的相加圖像133。減法器74從幀數(shù)據(jù)121-幀數(shù) 據(jù)124中，時(shí)間上第三早的幀數(shù)據(jù)123中減去最新的幀數(shù)據(jù)124，并 輸出其相減結(jié)果作為第一級(jí)的相減圖像134。即，如果我們假定幀數(shù)據(jù)121作為幀(1)，幀數(shù)據(jù)122作為幀(2)， 幀數(shù)據(jù)123作為幀(3)，幀數(shù)據(jù)124作為幀(4)，第一級(jí)的相加圖像131 作為加法(l)，第一級(jí)的相減圖像132作為減法(1)，第一級(jí)的相加圖像 133作為加法(2)，第一級(jí)的相減圖像134作為減法(2)，那么可用下面的表達(dá)式(l)-表達(dá)式(4)表示第一計(jì)算單元53的輸入/輸出關(guān)系。加法(1)=幀(1)+幀(2)(1)減法(1)=幀(1)-幀(2)(2)加法(2)=幀(3)+幀(4)(3)減法(2)=幀(3)-幀(4)(4)例如，如同上面提及的表達(dá)式(1)和表達(dá)式(3)，兩幀被相加，并
將每個(gè)相加得到的像素值除以2，從而計(jì)算這兩幀的平均值(改變的中 間值)。即，第一級(jí)的相加圖像131和第一級(jí)的相加圖像133由幀數(shù)據(jù) 的低頻分量構(gòu)成。從而，相加圖像由兩個(gè)幀數(shù)據(jù)的總值構(gòu)成，因此其 速率不變。另外，如同上面提承的表達(dá)式(2)和表達(dá)式(4)，將兩幀相減，從 而計(jì)算這兩幀之間的差(變化速率)。即，第一級(jí)的相減圖像132和第 一級(jí)的相減圖像134由幀數(shù)據(jù)的高頻分量構(gòu)成。例如，在連續(xù)的幀(l) 的圖像和幀(2)的圖像相同的情況下，它們的差值變成零，從而，減法 (l)的像素值(高頻分量)變成零。對(duì)于相同的運(yùn)動(dòng)圖像，幀速率越高，幀之間的差異就越小。即， 一般來說，與普通幀速率的情況相比，在高幀速率的情況下，相減圖 像的數(shù)據(jù)量降低，從而幀速率越高，可以期望編碼效率的提高就越大。如上所述進(jìn)行計(jì)算，并且從第一計(jì)算單元53輸出的第一級(jí)的相 加圖像131，第一級(jí)的相減圖像132，第一級(jí)的相加圖像133和第一 級(jí)的相減圖像134都被提供給第二計(jì)算單元54。第二計(jì)算單元54包括加法器81、減法器82、加法器83和減法 器84，并將第一級(jí)的相加圖像或相減圖像相加或相減，從而產(chǎn)生第二 級(jí)的相加圖像或相減圖像。加法器81把第一級(jí)的相加圖像131和笫 一級(jí)的相加圖像133相加(將幀內(nèi)相同位置的像素值相加)，并輸出其 相加結(jié)果作為第二級(jí)的相加圖像141。減法器82從第一級(jí)的相加圖像 131中減去笫一級(jí)的相加圖像133(將幀內(nèi)相同位置的像素值相減)，并 輸出其相減結(jié)果作為第二級(jí)的相減圖像142。加法器83把第一級(jí)的相 減圖像132和第一級(jí)的相減圖像134相加，并輸出其相加結(jié)果作為第 二級(jí)的相加圖像143。減法器84從第一級(jí)的相減圖像132中減去第一 級(jí)的相減圖像134，并輸出其相減結(jié)果作為第二級(jí)的相減圖像144。即，如果我們假定第二級(jí)的相加圖像141作為加法(3)，第二級(jí) 的相減圖像142作為減法(3)，第二級(jí)的相加圖像143作為加法(4),第 二級(jí)的相減圖像144作為減法(4)，那么可用下面的表達(dá)式(5)-表達(dá)式 (8)表示第二計(jì)算單元54的輸入/輸出關(guān)系。 加法(3)=加法(l)+加法(2)={幀(1)+幀(2)}+{幀(3)+幀(4)} (5) 減法(3)=加法(1)-加法(2)={幀(1)+幀(2)}-{幀(3)+幀(4)} (6) 加法(4)=減法(l)+減法(2)={幀(l)-幀(2)}+{幀(3)-幀(4)} (7) 減法(4)=減法(1)-減法(2)={幀(1)-幀(2)}-{幀(3)-幀(4)} (8) 從而，在第一計(jì)算單元53進(jìn)行了相鄰兩幀之間的加法和減法的 時(shí)候，第二計(jì)算單元54進(jìn)行相鄰四幀之間的加法和減法，從而能夠 獲得與和第一計(jì)算單元53的情況相比，更長的時(shí)間范圍(寬度)的相關(guān) 性。因此，幀數(shù)據(jù)經(jīng)歷多次加法和減法，從而記錄速率控制單元21 能夠進(jìn)一步提高編碼效率。在圖2中，說明了在第一計(jì)算單元53和 第二計(jì)算單元54中的每一個(gè)均進(jìn)行一次(即，總共兩次)加法和減法計(jì) 算的情況，但是，加法和減法的次數(shù)(步驟數(shù)目)可以是任意次數(shù)，只 要所述次數(shù)大于l次即可，例如，可以是3次或更多次。另外，雖然 關(guān)于圖2中的四幀的情況進(jìn)行了說明，但是將同時(shí)進(jìn)行加法和減法的 幀數(shù)也可以是任意幀數(shù)。但是，幀的加法和減法的結(jié)構(gòu)需要在編碼單 元22、解碼單元23和重放速率控制單元24處理(必須具有預(yù)先i殳置 的，或者通過相互共享信息來處理的可變結(jié)構(gòu))。為了降低記錄速率，對(duì)于記錄速率控制單元21來說，希望僅僅 反復(fù)地單獨(dú)進(jìn)行減法計(jì)算，但是為了便于重放時(shí)的重放速率控制，對(duì) 于記錄速率控制單元21來說，希望不僅進(jìn)行減法計(jì)算，而且進(jìn)行加 法計(jì)算，以便獲得便于重放速率控制時(shí)的計(jì)算的計(jì)算結(jié)果。記錄速率 控制單元21的這種處理僅僅由幀數(shù)據(jù)的簡單加法和減法構(gòu)成，從而 基本上能夠容易地進(jìn)行，而不會(huì)增大負(fù)荷，但是運(yùn)算次數(shù)增加越多， 負(fù)荷和處理時(shí)間增加越多，因此希望根據(jù)編碼效率和重放速率的靈活 性之間的折衷等，來確定如何進(jìn)行加法和減法。
注意如上所述，相加圖像和相減圖像是使兩條幀數(shù)據(jù)進(jìn)行相加和 相減的結(jié)果。即，通過使兩條幀數(shù)據(jù)進(jìn)行相加和相減，讀取速率控制單元21能夠把運(yùn)動(dòng)圖像數(shù)據(jù)的幀速率變換成任意速率。將如上所述計(jì)算的并從第二計(jì)算單元54輸出的第二級(jí)的相加圖 像141、第二級(jí)的相減圖像142、第二級(jí)的相加圖像143和第二級(jí)的 相減圖像144提供給編碼單元22。下面將關(guān)于圖1中的編碼單元22進(jìn)行說明。圖3是圖解說明圖 1中的編碼單元22的詳細(xì)結(jié)構(gòu)例子的方框圖。在圖3中，編碼單元 22包括配置為對(duì)所輸入的圖像數(shù)據(jù)進(jìn)行幀內(nèi)編碼的幀內(nèi)編碼單元 151，配置為合成編碼碼流的碼流合成單元152，和配置為控制幀內(nèi)編 碼處理時(shí)的編碼比特率的速率控制單元153。幀內(nèi)編碼單元151包括第一幀內(nèi)編碼單元161-第四幀內(nèi)編碼單 元164，每個(gè)幀內(nèi)編碼單元具有60p的編碼能力。第一幀內(nèi)編碼單元 161-第四幀內(nèi)編碼單元164相互同時(shí)地工作(并行地)，分別對(duì)所提供 的第二級(jí)的相加圖像141，第二級(jí)的相減圖像142，第二級(jí)的相加圖 像143和第二級(jí)的相減圖像144編碼，并把碼流提供給碼流合成單元 152。第一幀內(nèi)編碼單元161-第四幀內(nèi)編碼單元164相互由相同的編 碼器構(gòu)成，可利用相同的方法相互進(jìn)行編碼，或者可通過充分利用笫 一幀內(nèi)編碼單元161-第四幀內(nèi)編碼單元164中的每一個(gè)分別處理的每 個(gè)圖像(第二級(jí)的相加圖像141，第二級(jí)的相減圖像142，第二級(jí)的相 加圖像143和第二級(jí)的相減圖像144)的特征，利用不同的方法相互進(jìn) 行編碼。碼流合成單元152按照預(yù)定的順序集成同時(shí)從第一幀內(nèi)編碼單 元161-第四幀內(nèi)編碼單元164輸出的每個(gè)碼流(例如，第一幀內(nèi)編碼 單元161的輸出，第二幀內(nèi)編碼單元162的輸出，第三幀內(nèi)編碼單元 163的輸出和第四幀內(nèi)編碼單元164的輸出)，并將其輸出作為一個(gè)碼 流。速率控制單元153控制第一幀內(nèi)編碼單元161-第四幀內(nèi)編碼單 元164中的每一個(gè)執(zhí)行編碼比特率的確定，量化控制等等。例如就從 記錄速率控制單元21提供的數(shù)據(jù)來說，主要地，由圖像的低頻分量 構(gòu)成的相加圖像包括值都不為零的多個(gè)像素分量，由圖像的高頻分量 構(gòu)成的相減圖像包括值都為零的多個(gè)像素分量。因此，就總的編碼效 率的提高而論，希望向包括多個(gè)相加圖像的數(shù)據(jù)分配更多的代碼位， 相反地，向包括多個(gè)相^圖像的數(shù)據(jù)分配很少的代碼位。如上所述，編碼單元22包括具有60p的編碼能力的四個(gè)幀內(nèi)編 碼器(第一幀內(nèi)編碼單元161-第四幀內(nèi)編碼單元164)，并且并行地操 作這些幀內(nèi)編碼器，從而可將具有等于60 p幀速率的四倍的240 p的 高幀速率的運(yùn)動(dòng)圖像數(shù)據(jù)(實(shí)際上，四幀的加/減結(jié)果)進(jìn)行編碼。注意 編碼單元22的幀內(nèi)編碼器的數(shù)目可以是任意數(shù)，只要它對(duì)應(yīng)于記錄 速率控制單元21的輸出的數(shù)目即可。另外，用待處理的圖像數(shù)據(jù)的 幀速率、幀內(nèi)編碼器的數(shù)目等確定其幀內(nèi)編碼器所必需的處理能力。下面說明關(guān)于圖3中的幀內(nèi)編碼器(第一幀內(nèi)編碼單元161-第四 幀內(nèi)編碼單元)的結(jié)構(gòu)例子。圖4是圖解說明第一幀內(nèi)編碼單元161 的詳細(xì)結(jié)構(gòu)例子的方框圖。在圖4中，第一幀內(nèi)編碼單元161包括小 波變換單元201，量化單元202，熵編碼單元203,碼率加法單元204 和控制單元205。小波變換單元201對(duì)輸入數(shù)據(jù)(第二級(jí)的相加圖像141)進(jìn)行小波 變換(濾波)，以產(chǎn)生充當(dāng)預(yù)定濾波因子的小波變換系數(shù)，并將其輸出 給量化單元202。小波變換單元201通常用由一個(gè)低通濾波器和一個(gè) 高通濾波器構(gòu)成的濾波器組實(shí)現(xiàn)。注意數(shù)字濾波器通常具有多個(gè)抽頭 長度的脈沖響應(yīng)(濾波因子)，從而只需要預(yù)先緩存可被濾波的輸入圖 像或系數(shù)。類似地，在同樣分多步進(jìn)行小波變換的情況下，只需要緩 存在前級(jí)產(chǎn)生的可被濾波的小波變換系數(shù)。通常反復(fù)進(jìn)行該小波變換，以便進(jìn)一步變換通過變換獲得的低頻 分量(子帶)。圖5圖解說明在重復(fù)小波變換三次(分級(jí)3)的情況下獲得 的子帶的結(jié)構(gòu)例子。在圖5中，L表示低頻分量，H表示高頻分量。 例如，3LH表示其水平方向?yàn)榈皖l，垂直方向?yàn)楦哳l的子帶。通過笫 一小波變換獲得3HH、 3LH、 3HL和3LL子帶(未示出)，通過第二小
波變換獲得2HH、 2LH、 2LH和2LL子帶(未示出)，通過第三小波變 換獲得1HH、 1LH、 1HL和1LL子帶。對(duì)于小波變換來說，低頻分量被重復(fù)變換的原因在于圖像的多數(shù) 能量集中在低頻分量中。圖6A和6B中表示了經(jīng)過小波變換的圖像的 情況的例子。圖6A圖解說明利用分級(jí)1的小波變換獲得的各個(gè)子帶 的例子，圖6B圖解說明利用分級(jí)3的小波變換獲得的各個(gè)子帶的例 子。在圖6A或圖6B中，可發(fā)現(xiàn)對(duì)于低頻分量來說，頻率分量越低， 圖像就越接近于原始圖像，頻率分量越高，圖像就越淺，并且具有很 少的能量。量化單元202利用用于例如JPEG 2000的標(biāo)量量化等，量化從 小波變換單元201輸出的小波變換系數(shù)，并輸出量化的系數(shù)。在標(biāo)量 量化的情況下，如果我們假定待計(jì)算的量化系數(shù)值為q，如下面的表 達(dá)式(9)中所示，通過把小波變換系數(shù)W除以量化步長A，可獲得量 化系數(shù)值q。q=W/A (9)量化單元202把這樣計(jì)算的量化系數(shù)提供給熵編碼單元203。熵 編碼單元203是例如用于MPEG和JPEG的單元，它利用Huffman 編碼壓縮和編碼所提供的量化系數(shù)，并把編碼結(jié)果作為碼流輸出，在 Huffman編碼中，通過參考預(yù)先按照出現(xiàn)頻率，或者用于H.264或 JPEG 2000的算術(shù)編碼等創(chuàng)建的Huffman編碼表，產(chǎn)生代碼。如上所述，在小波變換單元201通過小波變換形成多個(gè)子帶，但 是如同參考圖6所述，從圖像特性的角度來看，能量主要集中在最低 的頻率，諸如圖像的輪廓之類的分量主要存在于高頻中。因此，在熵 編碼單元203進(jìn)行熵編碼時(shí)，例如，如圖7中的用箭頭所示，按照從 最低頻率子帶到最高頻率子帶的順序進(jìn)行編碼，并且更多的碼率被分 配給低頻分量而不是高頻分量，從而可以預(yù)期提高主觀圖像質(zhì)量。對(duì)于這種編碼順序的控制方法，可以采用任意的方法，例如可做 出其中小波變換單元201按照?qǐng)D7中的箭頭的順序輸出小波系數(shù)，量 化單元202和熵編碼單元203中的每一個(gè)按照順序處理所提供的數(shù)據(jù) 的設(shè)置。另夕卜，實(shí)際的運(yùn)動(dòng)圖像是比如通常被分成亮度信號(hào)和色差信號(hào)的 電視信號(hào)。即，上面提及的相加圖像和相減圖像中的每一個(gè)還包括亮度信號(hào)和色差信號(hào)。下面將進(jìn)行說明，假定亮度信號(hào)作為Y，藍(lán)色的 色差分量作為Cb，紅色的色差分量作為Cr。相加圖像的動(dòng)態(tài)范圍為相減圖像的動(dòng)態(tài)范圍兩倍，不過一般來 說，動(dòng)態(tài)范圍變得越大，相應(yīng)地編碼比特率越大。從而，如果我們假 定相加圖4象的Y、 Cb和Cr分別作為Y(加法)，Cb(加法)和Cr(加法)， 相減圖4象的Y、 Cb和Cr分別作為Y(減法)，Cb(減法)和Cr(減法)， 那么通過按照如下面的表達(dá)式(10)中所示的優(yōu)先順序進(jìn)行編碼，熵編 碼單元203能夠提高編碼效率。Y(加法)x:b(加法)>0(加法^Y(減法)x:b(減法)>0(減法)(10)注意在表達(dá)式(10)中，">"表示其左項(xiàng)和右項(xiàng)的優(yōu)先權(quán)之間的比 較，這種情況表示左項(xiàng)的優(yōu)先權(quán)高于右項(xiàng)的優(yōu)先權(quán)。即，表達(dá)式(IO)的每一項(xiàng)的優(yōu)先權(quán)朝左較高，相反朝右較低。另外，與其色差分量相比，圖像的亮度分量包括更多的信息速率， 另外與對(duì)圖像的色差分量的可視性相比，人類對(duì)圖像的亮度分量的可 視性更敏感(即，與色差分量的劣化相比，對(duì)人眼來說亮度分量的劣化 更明顯)，從而把亮度分量的編碼數(shù)據(jù)視為提高圖像質(zhì)量的重要因素。因此，熵編碼單元203可根據(jù)如下面的表達(dá)式(ll)中所示的優(yōu)先順序 進(jìn)行編碼。Y(加法^Y(減法)x:b(加法)x:b(減法)>0(加法)>0(減法)(11)此外，如同參考圖7所述那樣，從圖像特性的角度來看，能量主 要集中在最低的頻率，諸如圖像的輪廓等分量主要存在于高頻中，從 而為了進(jìn)一步提高主觀圖像質(zhì)量，熵編碼單元203可按照如圖8中用 箭頭所示的順序進(jìn)行編碼。這種情況下，熵編碼單元203首先從低頻到高頻對(duì)Y編碼，其
次從低頻到高頻對(duì)Cb編碼，最后從低頻到高頻對(duì)Cr編碼。從熵編碼單元203輸出的碼流通過碼率加法單元204輸出到第一 幀內(nèi)編碼單元161外部。在碼率加法單元204計(jì)數(shù)(累計(jì))通過該單元 本身輸出的一幀碼流內(nèi)的碼率的時(shí)候，碼率加法單元204把其碼率通 知給控制單元205。控制單元205根據(jù)從碼率加法單元204提供的碼率的信息，控制 熵編碼單元203的操作。當(dāng)碼率達(dá)到目標(biāo)值時(shí)，控制單元205輸出停 止熵編碼單元203的操作的控制信號(hào)。注意第二幀內(nèi)編碼單元162-第四幀內(nèi)編碼單元164也具有和第 一幀內(nèi)編碼單元161相同的結(jié)構(gòu)，并執(zhí)行和第一幀內(nèi)編碼單元161相 同的處理，從而省略對(duì)它們的說明。下面說明解碼設(shè)備13的細(xì)節(jié)。圖9是圖解說明圖1中的解碼單 元23詳細(xì)結(jié)構(gòu)例子的方框圖。在圖9中，解碼單元23包括碼流分解 單元301和幀內(nèi)解碼單元302。解碼設(shè)備13是被配置為利用與編碼設(shè)備ll對(duì)應(yīng)的方法，對(duì)由編 碼設(shè)備11編碼的位流進(jìn)行解碼的設(shè)備。即，碼流分解單元301對(duì)應(yīng) 于圖3中的碼流合成單元152，幀內(nèi)解碼單元302對(duì)應(yīng)于圖3中的幀 內(nèi)編碼單元151。即，碼流分解單元301分解從記錄單元12提供的、并在碼流合 成單元152被集成為一體的碼流，以便恢復(fù)到由碼流合成單元152進(jìn) 行合成之前的狀態(tài)。在圖9中的例子的情況下，碼流分解單元301工 作，從而對(duì)應(yīng)于圖3中的例子，把碼流分解成第二級(jí)的相加圖像141 的碼流，第二級(jí)的相減圖像142的碼流，第二級(jí)的相加圖像143的碼 流，和第二級(jí)的相減圖像144的碼流，并且獨(dú)立地把每個(gè)碼流提供給 幀內(nèi)解碼單元302。幀內(nèi)解碼單元302包括第一幀內(nèi)解碼單元311-第四幀內(nèi)解碼單 元314，從而對(duì)應(yīng)于圖3中的幀內(nèi)編碼單元151。第一幀內(nèi)解碼單元 311利用和在圖3中的第一幀內(nèi)編碼單元161進(jìn)行的幀內(nèi)編碼對(duì)應(yīng)的 方法，對(duì)從碼流分解單元301提供的第二級(jí)的相加圖像141的碼流進(jìn)
行幀內(nèi)解碼，并輸出充當(dāng)基帶的第二級(jí)的相加圖像321。類似地，笫 二幀內(nèi)解碼單元312利用和在圖3中的第二幀內(nèi)編碼單元162進(jìn)行的 幀內(nèi)編碼對(duì)應(yīng)的方法，對(duì)從碼流分解單元301提供的第二級(jí)的相減圖 像142的碼流進(jìn)行幀內(nèi)解碼，并輸出充當(dāng)基帶的第二級(jí)的相減圖像 322，第三幀內(nèi)解碼單元313利用和在圖3中的第三幀內(nèi)編碼單元163 進(jìn)行的幀內(nèi)編碼對(duì)應(yīng)的方法，對(duì)從碼流分解單元301提供給的第二級(jí) 的相加圖像143的碼流進(jìn)行幀內(nèi)解碼，并輸出充當(dāng)基帶的第二級(jí)的相 加圖像323，第四幀內(nèi)解碼單元314利用和在圖3中的第四幀內(nèi)編碼 單元164進(jìn)行的幀內(nèi)編碼對(duì)應(yīng)的方法，對(duì)從碼流分解單元301提供的 第二級(jí)的相減圖像144的碼流進(jìn)行幀內(nèi)解碼，并輸出充當(dāng)基帶的第二 級(jí)的相減圖像324。第一幀內(nèi)解碼單元311-第四幀內(nèi)解碼單元314中的每一個(gè)需要 對(duì)應(yīng)于第一幀內(nèi)編碼單元161-第四幀內(nèi)編碼單元164中的每一個(gè)，并 且可由相互不同的解碼器構(gòu)成，但是下面將在假定這些解碼單元由彼 此相同的解碼器構(gòu)成的情況下進(jìn)行說明。即，下面將進(jìn)行的對(duì)第一幀 內(nèi)解碼單元311的結(jié)構(gòu)的說明可被應(yīng)用于第二幀內(nèi)解碼單元312-第四 幀內(nèi)解碼單元314，從而省略關(guān)于第二幀內(nèi)解碼單元312-第四幀內(nèi)解 碼單元314的說明。圖10是圖解說明第一幀內(nèi)解碼單元311的詳細(xì)結(jié)構(gòu)例子的方框 圖。如圖10中所示，第，幀內(nèi)解碼單元311包括熵編碼單元351、逆 量化單元352和小波逆變換單元353。當(dāng)輸入碼流時(shí)，熵解碼單元351利用與圖4中的熵編碼單元203 的熵編碼對(duì)應(yīng)的方法對(duì)其碼流進(jìn)行解碼，并產(chǎn)生量化系數(shù)。例如，如上所述，在圖4中的熵編碼單元203按照如圖7中箭頭 所示的從最低頻率子帶到最高頻率子帶的順序進(jìn)行編碼的情況下，熵 解碼單元351也按照如圖7的箭頭所示的從最低頻率子帶到最高頻率 子帶的順序進(jìn)行解碼。另外，在熵編碼單元203按照如表達(dá)式(10)中所示的優(yōu)先順序進(jìn) 行編碼的情況下，熵解碼單元351也類似地按照如表達(dá)式(10)中所示 的優(yōu)先順序進(jìn)行解碼。此外，在熵編碼單元203按照如表達(dá)式(11)中所示的優(yōu)先順序進(jìn) 行編碼的情況下，熵解碼單元351也類似地按照如表達(dá)式(ll)中所示 的優(yōu)先順序進(jìn)行解碼。此外，在熵編碼單元203按照如圖8中的箭頭所示的順序進(jìn)行編 碼的情況下，熵解碼單元351也如圖8中的箭頭所示那樣，首先從低 頻到高頻解碼Y，其次從低頻到高頻解碼Cb，最后從低頻到高頻解 碼Cr。熵解碼單元351把通過熵解碼獲得的量化系數(shù)提供給逆量化單 元352。逆量化單元352執(zhí)行與圖4中的量化單元202的量化相反的操 作，把量化系數(shù)變換成充當(dāng)預(yù)定濾波因子的小波變換系數(shù)。例如，如 上所述，在圖4中的量化單元202通過進(jìn)行表達(dá)式(9)的計(jì)算來進(jìn)行量 化的情況下，如下面的表達(dá)式(12)逆量化單元352通過把量化系數(shù)q 乘以量化步長A，能夠獲得小波變換系數(shù)W。W=qxA (12)逆量化單元352把通過逆量化獲得的小波變換系數(shù)提供給小波 逆變換單元353。小波逆變換單元353利用與圖4中的小波變換單元 201進(jìn)行的小波變換對(duì)應(yīng)的方法進(jìn)行小波逆變換(逆濾波)，根據(jù)小波 變換系數(shù)產(chǎn)生與第二級(jí)的相加圖像141對(duì)應(yīng)的充當(dāng)基帶的笫二級(jí)的相 加圖像321(解碼圖像)，并將其輸出。從幀內(nèi)解碼單元302輸出的第二級(jí)的相加圖像321 、第二級(jí)的相 減圖像322、第二級(jí)的相加圖像323和第二級(jí)的相減圖像324被提供 給重放速率控制單元24(圖1)。圖ll是圖解說明圖1中的重放速率控制單元24的詳細(xì)結(jié)構(gòu)例子 的方框圖。在圖11中，重放速率控制單元24包括存儲(chǔ)器401-1 ~存 儲(chǔ)器401-4，第一計(jì)算單元402、第二計(jì)算單元403、集成單元404和 輸出控制單元405。從幀內(nèi)解碼單元302輸出的第二級(jí)的相加圖像321、第二級(jí)的相 減圖像322、第二級(jí)的相加圖像323和第二級(jí)的相減圖像324被分別 提供給存儲(chǔ)器401-1 ~存儲(chǔ)器401-4。存儲(chǔ)器401-1 ~存儲(chǔ)器401-4中的每一個(gè)都是被配置為臨時(shí)保存 幀數(shù)據(jù)(實(shí)際上，第二級(jí)的相加圖像或相減圖像)，以便對(duì)準(zhǔn)相對(duì)于第 一計(jì)算單元402的提供定時(shí)的緩沖存儲(chǔ)器。當(dāng)在所有存儲(chǔ)器中累積了 幀數(shù)據(jù)時(shí)，存儲(chǔ)器401-1 ~存儲(chǔ)器401-4彼此同時(shí)地輸出所保存的每 一個(gè)幀數(shù)據(jù)(第二級(jí)的相加圖像451、第二級(jí)的相減圖像452、第二級(jí) 的相加圖像453和第二級(jí)的相減圖像454)。現(xiàn)在，在不需要通過區(qū)分存儲(chǔ)器401-1 ~存儲(chǔ)器401-4中的每一 個(gè)來進(jìn)行說明的情況下，將該組存儲(chǔ)器稱為存儲(chǔ)器401。第一計(jì)算單元402包括將幀相加的加法器411和413,將幀相減 的減法器412和414。加法器411將第二級(jí)的相加圖像451和第二級(jí) 的相減圖像452相加(將幀內(nèi)相同位置的像素值相加)，并輸出其相加 結(jié)果作為相加圖像461。減法器412從第二級(jí)的相加圖像451中減去 第二級(jí)的相減圖像452(將幀內(nèi)相同位置的像素值相減)，并輸出相減 結(jié)果作為相減圖像462。加法器413將第二級(jí)的相加圖像453和第二 級(jí)的相減圖像454相加，并輸出其相加結(jié)果作為相加圖像463。減法 器414從第二級(jí)的相加圖像453中減去第二級(jí)的相減圖像454，并輸 出相減結(jié)果作為相減圖像464。即，第 一計(jì)算單元402在同時(shí)(作為相同的一組)并行地進(jìn)行多個(gè) 計(jì)算，同時(shí)產(chǎn)生多個(gè)計(jì)算結(jié)果(相加圖像461、相減圖像462、相加圖 像463和相減圖像464)，并將其輸出。如下所述，這些相加圖像461、相減圖像462、相加圖像463和 相減圖像464變成通過將運(yùn)動(dòng)圖像數(shù)據(jù)的兩條幀數(shù)據(jù)相加或相減而產(chǎn) 生的第一級(jí)的相加圖像或相減圖像。即，如果我們假定第二級(jí)的相加圖像451作為加法(3)，第二級(jí) 的相減圖像452作為減法(3)，第二級(jí)的相加圖像453作為加法(4)，第 二級(jí)的相減圖像454作為減法(4)，相加圖像461作為加法(5),相減'圖 像462作為減法(5)，相加圖像463作為加法(6)，相減圖像464作為減
法(6)，那么第 一計(jì)算單元402的輸入/輸出關(guān)系可用下面的表達(dá)式(13)-表達(dá)式(16)來表示。加法(5)=加法(3)+減法(3)=加法(l)+加法(2)+加法(l)-加法(2) 二2x加法(1)=2乂{幀(1)+幀(2)} (13) 減法(5)=加法(3)-減法(3)=加法(l)+加法(2)-加法(l)+加法(2) =2乂加法(2)=2乂{幀(3)+幀(4)} (14) 加法(6)=加法(4)+減法(4)=減法(l)+減法(2)+減法(l)-減法(2) =2><減法(1)=2乂{幀(1)-幀(2)} (15) 減法(6)=加法(4)-減法(4)=減法(1)+減法(2)-減法(1)+減法(2) =2乂減法(2)=2乂{幀(3)-幀(4)} (16) 從而，盡管實(shí)際上需要除以2，不過就像素值的分量來說，加法 (5)等于加法(1)，減法(5)等于加法(2)，加法(6)等于減法(1)，減法(6) 等于減法(2)。即，從第一計(jì)算單元402輸出的相加圖像461、相減圖 像462、相加圖像463和相減圖像464等于第一級(jí)的相加圖像或相減 圖像。換句話說，僅僅通過進(jìn)行加法或減法，第一計(jì)算單元402就能 夠容易地根據(jù)第二級(jí)的相加圖像和相減圖像產(chǎn)生第一級(jí)的相加圖像 或相減圖像。這樣產(chǎn)生的第一級(jí)的相加圖像461、第一級(jí)的相減圖像462、第 一級(jí)的相加圖像463和第一級(jí)的相減圖像464都被提供給第二計(jì)算單 元403。第二計(jì)算單元403包括加法器421、減法器422、加法器423和
減法器424。加法器421將笫一級(jí)的相加圖像461和第一級(jí)的相加圖 像463相加，并輸出其相加結(jié)果作為相加圖像471。減法器422從笫 一級(jí)的相加圖像461中減去第一級(jí)的相加圖像463，并輸出其相減結(jié) 果作為相減圖像472。加法器423將第一級(jí)的相減圖像462和第一級(jí) 的相減圖像464相加，并輸出其相加結(jié)果作為相加圖像473。減法器 424從第一級(jí)的相減圖像462中減去第一級(jí)的相加圖像464，并輸出 其相減結(jié)果作為相減圖像474。即，第二計(jì)算單元403在同時(shí)(作為相同的一組)并行地進(jìn)行多個(gè) 計(jì)算，并同時(shí)產(chǎn)生多個(gè)計(jì)算結(jié)果(相加圖像471、相減圖像472、相加 圖像473和相減圖像474)，并將其輸出。如下所述，這些相加圖4象471、相減圖像472、相加圖像473和 相減圖像474變成運(yùn)動(dòng)圖像數(shù)據(jù)的原始幀數(shù)據(jù)。即，如果我們假定相加圖4象471作為加法(7)，相減圖像472作 為減法(7)，相加圖像473作為加法(8),相減圖像474作為減法(8)， 那么第二計(jì)算單元403的輸入/輸出關(guān)系可用下面的表達(dá)式(17)-表達(dá) 式(20)來表示。加法(7)=加法(5)+加法(6) =2乂{加法(1)+減法(1)} =4乂幀(1) (17)減法(7)=加法(5)-加法(6) =2乂{加法(1)-減法(1)}=4><幀(2) (18) 加法(8)=減法(5)+減法(6)=2乂{加法(2)+減法(2)}=4乂幀(3) (19) 減法(8)=減法(5)-加法(6)=2乂{加法(2)-減法(2)}=4乂幀(4) (20) 從而，盡管實(shí)際上需要除以4，不過就像素值的分量來說，加法(7)等于幀(1),減法(7)等于幀(2),加法(8)等于幀(3)，減法(8)等于幀(4)。 即，從第二計(jì)算單元403輸出的相加圖像471、相減圖像472、相加 圖像473和相減圖像474等于既未經(jīng)過加法運(yùn)算又未經(jīng)過減法運(yùn)算的 原始幀圖像。換句話說，僅僅通過進(jìn)行加法或減法，第二計(jì)算單元403 就能夠容易地根據(jù)第一級(jí)的相加圖像和相減圖像產(chǎn)生原始幀數(shù)據(jù)。注意可在每個(gè)計(jì)算單元和之后的任意處理中進(jìn)行上面提及的像 素值的除法，并省略對(duì)其的描述。這樣計(jì)算和從第二計(jì)算單元403輸出的相加圖像471 、相減圖像 472、相加圖像473和相減圖像474都被提供給集成單元404。集成單元404由包括四個(gè)輸入側(cè)端子(輸入側(cè)端子431-輸入側(cè)端 子434)和一個(gè)輸出側(cè)端子435的開關(guān)電路構(gòu)成。通過切換該開關(guān)，集子434中的每一個(gè)的幀數(shù)據(jù)(相加圖像471、相減圖像472、相加圖像 473和相減圖像474)，來集成它們，并使集成結(jié)果作為運(yùn)動(dòng)圖像數(shù)據(jù) 481從輸出側(cè)端子435 ^lr出。例如，集成單元404按照從輸入側(cè)端子 431到輸入側(cè)端子434的順序，將輸入側(cè)端子431-輸入側(cè)端子434與 輸出側(cè)端子435連接，按照從相加圖像471到相減圖像474的順序排 列幀數(shù)據(jù)，并集成所述幀數(shù)據(jù)，使集成的幀數(shù)據(jù)作為運(yùn)動(dòng)圖像數(shù)據(jù)481 輸出。通過如上所述反復(fù)切換開關(guān)，集成單元404按照預(yù)定的順序排 列每條幀數(shù)據(jù)，以集成所述幀數(shù)據(jù)，從而產(chǎn)生運(yùn)動(dòng)圖像數(shù)據(jù)481。所 述順序可以是任意的順序，只要它對(duì)應(yīng)于在圖2中的記錄速率控制單 元21的分發(fā)單元51分發(fā)的順序即可，其可被預(yù)先確定，或者可和分 發(fā)單元51 —起確定。注意第一計(jì)算單元402、第二計(jì)算單元403和集成單元404在輸 出控制單元405的控制下工作。輸出控制單元405控制第一計(jì)算單元 402、第二計(jì)算單元403和集成單元404中每個(gè)單元的操作，以便以 指定的幀速率(重放速率)輸出運(yùn)動(dòng)圖像數(shù)據(jù)481。另外，重放速率控制單元24被配置成把從存儲(chǔ)器401-1輸出的 第二級(jí)的相加圖像451提供給集成單元404(的輸入側(cè)端子431)，把從 第一計(jì)算單元402的加法器411輸出的第一級(jí)的相加圖像461提供給 集成單元404(的輸入側(cè)端子431)，另外把從第一計(jì)算單元402的減法 器412輸出的第一級(jí)的相減圖像462提供給集成單元404(的輸入側(cè)端 子432)。即，例如，輸出控制羊元405能夠控制第一計(jì)算單元402和第二 計(jì)算單元403以停止它們的工作，控制將笫二級(jí)的相加圖像451提供 給集成單元404的輸入側(cè)端子431，控制輸入側(cè)端子431和輸出側(cè)端 子435以固定地與集成單元404連接，還能夠控制輸出相加圖像451 作為運(yùn)動(dòng)圖像數(shù)據(jù)481。這種情況下，只有第二級(jí)的相加圖像451被 提供給集成單元404，相加圖像471、相減圖像472、相加圖像473和 相減圖像474都不被提供給集成單元404。另外，例如，輸出控制單元405能夠控制第二計(jì)算單元403以停 止其操作，控制將第一級(jí)的相加圖像461被提供給集成單元404的輸 出側(cè)端子431，控制將第一級(jí)的相減圖像462提供給集成單元404的 輸入側(cè)端子432，控制輸入側(cè)端子431和輸出側(cè)端子435之間的連接 以及輸入側(cè)端子432和輸出側(cè)端子435之間的連接的切換，從而集成 相加圖像461和相減圖像462，并輸出集成結(jié)果作為運(yùn)動(dòng)圖像數(shù)據(jù) 481。這種情況下，只有第一級(jí)的相加圖像461和第一級(jí)的相減圖像 462被提供給集成單元404，而相加圖像471、相減圖像472、相加圖 像473、相減圖像474以及第二級(jí)的相加圖像451都不提供給集成單 元404。即，借助重放速率控制單元24，第一計(jì)算單元402和第二計(jì)算 單元403根據(jù)輸出控制單元405的控制，利用所提供的相加圖像和所 提供的相減圖像進(jìn)行加法和減法運(yùn)算。集成單元404根據(jù)輸出控制單 元405的控制，按照幀編號(hào)的順序?qū)⑺a(chǎn)生的幀數(shù)據(jù)集成，并將其作 為運(yùn)動(dòng)圖像數(shù)據(jù)481輸出。注意如上所述，通過將兩條幀數(shù)據(jù)相加和相減獲得相加圖像和相 減圖像，因此這些相加圖像和相減圖像也是幀數(shù)據(jù)(以幀為單位的數(shù) 據(jù))。即，通過將兩條幀數(shù)據(jù)相加或相減，重放速率控制單元24能夠
把運(yùn)動(dòng)圖像數(shù)據(jù)的幀速率變換成任意的速率。從而，通過控制每個(gè)單元，輸出控制單元405能夠控制待輸出的運(yùn)動(dòng)圖像數(shù)據(jù)的幀速率，即， 重放時(shí)的幀速率(重放速率)。注意對(duì)于上面的說明，將由存儲(chǔ)器401、第一計(jì)算單元402、第 二計(jì)算單元403和集成單元404中的每個(gè)單元處理的數(shù)據(jù)的數(shù)目可以 是任意的數(shù)目，不過實(shí)際上，數(shù)據(jù)的數(shù)目必須對(duì)應(yīng)于解碼單元23、解 碼設(shè)備13等等的輸入/輸出。另外，對(duì)于第一計(jì)算單元402和第二計(jì)算單元403，例如哪個(gè)數(shù) 據(jù)將被加入到哪個(gè)數(shù)據(jù)中，以及從哪個(gè)數(shù)據(jù)中減去哪個(gè)數(shù)據(jù)是可選擇 的。此外，將多少幀的數(shù)據(jù)作為一組相加或相減也是可選擇的。另外， 進(jìn)行多少次如上所述的加法和減法(提供多少個(gè)計(jì)算單元)也是可選擇 的。例如，如果我們假定M和N作為任意的自然數(shù)(M^N)，那么可 做出一種設(shè)置，其中N個(gè)計(jì)算單位被互相串聯(lián)連接，第一級(jí)的計(jì)算單 元對(duì)從重放速率控制單元24的外部輸入的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行加法和 減法運(yùn)算，第二級(jí)和之后的計(jì)算單元對(duì)從前一級(jí)的計(jì)算單元輸出的相 加圖像和相減圖像(前一級(jí)的計(jì)算結(jié)果)進(jìn)行加法和減法運(yùn)算，另外， 輸出控制單元405操作從第一級(jí)到第M級(jí)的M個(gè)計(jì)算單元405，從 而執(zhí)行用于獲得所希望的重放速率所必需次數(shù)的加法和減法運(yùn)算，并 通過集成單元404向重放速率控制單元24的外部輸出第M級(jí)的計(jì)算 單元的輸出。此時(shí)，將被輸入重放速率控制單元24的運(yùn)動(dòng)圖像數(shù)據(jù)可以由未 經(jīng)歷兩條幀數(shù)據(jù)之間的相加和相減的原始幀構(gòu)成，或者例如如上所 述，可由將兩條幀數(shù)據(jù)相加得到的相加圖像，和將兩條幀數(shù)據(jù)相減得 到的相減圖像中的至少任意之一構(gòu)成。例如，在如上所述將N個(gè)計(jì)算單元相互串聯(lián)連接的情況下，可 做出 一種設(shè)置，其中利用加法或減法降低幀速率的運(yùn)動(dòng)圖像數(shù)據(jù)被輸 入重放速率控制單元24,每次在重放速率控制單元24的每個(gè)計(jì)算單 元進(jìn)行加法和減法運(yùn)算時(shí)，將獲得的運(yùn)動(dòng)圖像數(shù)據(jù)的幀速率變?yōu)槠鋬?倍。例如，如果我們假定K是任意自然數(shù)，可做出一種設(shè)置，其中將 由從末級(jí)開始的第K級(jí)的計(jì)算單元輸出的運(yùn)動(dòng)圖像數(shù)據(jù)的幀速率設(shè) 置成變?yōu)榧任唇?jīng)歷加法運(yùn)算，又未經(jīng)歷減法運(yùn)算的原始運(yùn)動(dòng)圖像數(shù)據(jù) 的幀速率的1/2000，并且K-0，即，當(dāng)輸出控制單元405操作所有的 計(jì)算單元時(shí)，將從重放速率控制單元24輸出的運(yùn)動(dòng)圖像數(shù)據(jù)的幀速 率變成原始運(yùn)動(dòng)圖像數(shù)據(jù)的幀速率。按照這樣的設(shè)置，輸出控制單元 405能夠控制每個(gè)單元，以便容易地獲得目標(biāo)幀速率的運(yùn)動(dòng)圖像數(shù)據(jù)。因此，重放速率控制單元24需要包括被配置為通過將兩條幀數(shù) 據(jù)相加和相減來變換幀速率的多個(gè)計(jì)算單元，另外，重放速率控制單 元24需要包括輸出控制單元，其被配置為使運(yùn)動(dòng)圖像數(shù)據(jù)的每條幀 數(shù)據(jù)經(jīng)歷必需次數(shù)的兩條幀數(shù)據(jù)間的加法和減法運(yùn)算中的至少之一， 以便把運(yùn)動(dòng)圖像數(shù)據(jù)的幀速率變換成所希望的速率。但是，需要這樣 的速率變換方法對(duì)應(yīng)于編碼設(shè)備11和解碼單元23。下面說明關(guān)于在重放速率控制單元24進(jìn)行的幀控制的具體例子。圖12是圖解說明每個(gè)幀速率的比較例的示意圖。在圖11中，當(dāng) 輸出控制單元405操作第一計(jì)算單元402、第二計(jì)算單元403和集成 單元404中的全部，并復(fù)原所有的幀圖像以便集成這些幀圖像時(shí)，如 圖12中頭一行中所示，每秒60幀的相加圖像471、相減圖像472、 相加圖像473和相減圖像474被集成，因此將輸出的運(yùn)動(dòng)圖像數(shù)據(jù)481 的幀速率變成60x4，即每秒240幀。當(dāng)不是以240 p而是以60 p播放和顯示每秒240幀的該運(yùn)動(dòng)圖 像數(shù)據(jù)時(shí)，能夠?qū)崿F(xiàn)l/4慢動(dòng)作重放。在這樣的慢動(dòng)作重放的情況下， 不進(jìn)行通常進(jìn)行的幀圖像的重復(fù)，從而能夠?qū)崿F(xiàn)非常平滑的慢動(dòng)作。 通常在例如昂貴的可攜式攝像機(jī)和電影攝影機(jī)中實(shí)現(xiàn)這種功能。特別 地，在很慢地觀看高速被攝體圖像的情況下，慢動(dòng)作重放是必不可少 的。另外，在圖11中，當(dāng)輸出控制單元405使第二計(jì)算單元403停 止它自己的操作，并且集成和輸出第一級(jí)的相加圖像461和第一級(jí)的
相減圖像462時(shí)，例如在圖12的從頂部開始的第二行中所示，2x《幀 (1)+幀(2)}和2x(幀(3)+幀(4"被集成和輸出。即，運(yùn)動(dòng)圖像數(shù)據(jù)481 的幀速率變成60x2，即每秒120幀。另外，當(dāng)不是以120p而是以60 p播放和顯示這種每秒120幀的運(yùn)動(dòng)圖像數(shù)據(jù)時(shí)，能夠?qū)崿F(xiàn)1/2慢動(dòng) 作重放。此外，在圖11中，當(dāng)輸出控制單元405使第一計(jì)算單元402和 第二計(jì)算單元403停止它們自己的操作，控制存儲(chǔ)器401-1的輸出提 供給集成單元404的輸入側(cè)端子431，控制其輸出側(cè)端子431固定地 與輸出側(cè)端子435連接以輸出第二級(jí)的相加圖像451時(shí)，例如在圖12 的從頂部開始的第三行中所示，4x幀(l)被輸出。即，運(yùn)動(dòng)圖像數(shù)據(jù) 481的幀速率變成60x1，即每秒60幀。另外，當(dāng)以60p顯示這種每 秒60幀的運(yùn)動(dòng)圖像數(shù)據(jù)時(shí)，照常實(shí)現(xiàn)普通的重放。從而，重放速率 控制單元24能夠控制容易地輸出的運(yùn)動(dòng)圖像數(shù)據(jù)481的幀速率，即 重放速率。注意解碼單元23所必需的解碼能力(解壓縮解碼速度)隨重放時(shí) 的幀速率而不同。就上面提及的例子來說，進(jìn)行了如下的說明，其中 解碼單元23的幀內(nèi)解碼單元302包括四個(gè)幀內(nèi)解碼器(第一幀內(nèi)解碼 單元311-第四幀內(nèi)解碼單元314)，并利用所有這些幀內(nèi)解碼器對(duì)碼流 解碼，但是實(shí)際上，在重放時(shí)的幀速率(重放速率)較低的情況下，所 必需的解碼能力(解壓縮解碼速度)被降低。因此，幀內(nèi)解碼單元302 可以僅使必需的幀內(nèi)解碼器運(yùn)轉(zhuǎn)，并停止不必要的幀內(nèi)解碼器的運(yùn) 轉(zhuǎn)。從而，解碼單元23能夠降低其能耗。例如，如圖13中所示，當(dāng)輸入240 p的運(yùn)動(dòng)圖《象數(shù)據(jù)時(shí)，編碼 設(shè)備1利用四個(gè)編碼器進(jìn)行壓縮編碼，產(chǎn)生四個(gè)碼流(壓縮+記錄碼 流)，并把它們記錄在記錄單元12中(實(shí)際上，這四個(gè)碼流被合成為一 個(gè)碼流，并被記錄，但是其數(shù)據(jù)結(jié)構(gòu)基本上和在合成之前的四個(gè)碼流 的數(shù)據(jù)結(jié)構(gòu)相同)。在該碼流被解壓縮和解碼，以60p進(jìn)行普通重放(lx重放)，并且 其圖像被顯示在監(jiān)視器上的情況下，解碼單元23只需要以60 p(解壓 縮解碼速度)的解碼能力，解壓縮和解碼圖13中的四個(gè)碼流(壓縮+記 錄碼流)中從頂部開始的第二個(gè)碼流，重放速率控制單元24需要輸出 第二級(jí)的相加圖像451作為運(yùn)動(dòng)圖像數(shù)據(jù)481。這種情況下，運(yùn)動(dòng)圖 像數(shù)據(jù)481由60p的幀組成，其中將240p的四幀相加，從而通過以 60p播放，運(yùn)動(dòng)圖像數(shù)據(jù)481進(jìn)行普通重放。即，解碼單元23的幀內(nèi)解碼單元302可以僅使具有60 p的解碼 能力的第一幀內(nèi)解碼單元311運(yùn)轉(zhuǎn)，并停止第二幀內(nèi)解碼單元312-第四幀內(nèi)解碼單元314的運(yùn)轉(zhuǎn)。從而，能夠降低解碼單元23的能耗。另外，在該碼流被解壓縮和解碼，以60 p進(jìn)行1/2慢動(dòng)作重放 (1/2x重放)，并且其圖像被顯示在監(jiān)視器上的情況下，如圖14中所示， 解碼單元23需要交替地解壓縮和解碼四個(gè)壓縮+記錄流中從頂部開始 的兩個(gè)第一和第二碼流，并且重放速率控制單元24需要交替地輸出 利用第一計(jì)算單元402相加或相減并獲得的第一級(jí)的相加圖像461和 第一級(jí)的相減圖像462作為運(yùn)動(dòng)圖像數(shù)據(jù)481。這種情況下，運(yùn)動(dòng)圖 像數(shù)據(jù)481由120 p的幀構(gòu)成，其中將240 p的兩幀相加，不過通過 以60p播放，來進(jìn)行l(wèi)/2慢動(dòng)作重放。同樣在這種情況下，重放速率為60 p，因此解碼單元23的解碼 能力可以是60 p。即，解碼單元23的幀內(nèi)解碼單元302可以僅使具 有60p的解碼能力的第一幀內(nèi)解碼單元311運(yùn)轉(zhuǎn)，并停止第二幀內(nèi)解 碼單元312-第四幀內(nèi)解碼單元314的運(yùn)轉(zhuǎn)。但是，這種情況下，第一 幀內(nèi)解碼單元311需要交替地解碼從圖14的頂部開始的兩個(gè)第一和 第二壓縮+記錄碼流。注意在以120 p對(duì)這種情況的運(yùn)動(dòng)圖像數(shù)據(jù)481進(jìn)行普通重放的 情況下，解碼單元23必需的解碼能力變成120 p，從而解碼單元23 的幀內(nèi)解碼單元302需要操作具有60 p的解碼能力的第一幀內(nèi)解碼單 元311和第二幀內(nèi)解碼單元312。此外，在該碼流被解壓縮和解碼，以60 p進(jìn)行1/4慢動(dòng)作重放 (1/4x重放)，并且其圖像被顯示在監(jiān)視器上的情況下，解碼單元23需 要按照如圖15中所示的從頂部開始的順序解壓縮和解碼四個(gè)壓縮+記
錄碼流，并且重放速率控制單元24需要利用集成單元404順序地排 列和集成幀數(shù)據(jù)，其中通過利用笫一計(jì)算單元402和第二計(jì)算單元 403,所述幀數(shù)據(jù)被相加或相減和獲得，并被輸出作為運(yùn)動(dòng)圖像數(shù)據(jù) 481。這種情況下，運(yùn)動(dòng)圖像數(shù)據(jù)481由240 p的幀構(gòu)成，不過通過以 60p播放，進(jìn)行l(wèi)/4慢動(dòng)作重放。同樣在這種情況下，重放速率為60p，從而解碼單元23的解碼 能力可以是60 p。即，解碼單元23的幀內(nèi)解碼單元302可以僅使具 有60p的解碼能力的第一幀內(nèi)解碼單元311運(yùn)轉(zhuǎn)，并停止第二幀內(nèi)解 碼單元312-第四幀內(nèi)解碼單元314的運(yùn)轉(zhuǎn)。但是，這種情況下，如圖 15中所示，第一幀內(nèi)解碼單元311需要從頂部開始順序解碼四個(gè)壓縮 十記錄碼流。如上所述，按照重放速率減少要運(yùn)轉(zhuǎn)的幀內(nèi)解碼器的數(shù)目，從而 解碼設(shè)備13能夠降低解碼單元23的能耗。另外，重放速率控制單元 24能夠容易地進(jìn)行高幀速率的運(yùn)動(dòng)圖像的變速重放。下面，說明關(guān)于由如上所述的編碼設(shè)備11和解碼設(shè)備13執(zhí)行的 處理的流程的例子。首先，說明關(guān)于由編碼設(shè)備11執(zhí)行的編碼處理 的流程的例子。在步驟Sl,編碼設(shè)備11的記錄速率控制單元21獲得畫面，并 將其保存在存儲(chǔ)器52中。在步驟S2,記錄速率控制單元21判斷所需 數(shù)目的畫面的數(shù)據(jù)是否被保存在存儲(chǔ)器52中，并重復(fù)步驟S1和步驟 S2中的處理，直到確定保存了所需數(shù)目的畫面的數(shù)據(jù)為止。在步驟 S2中確定保存了所需數(shù)目的畫面的數(shù)據(jù)的情況下，在步驟S3，第一 計(jì)算單元53利用在存儲(chǔ)器52中累積的幀數(shù)據(jù)，產(chǎn)生第一級(jí)的相加圖 #>和相減圖像。在步驟S4，記錄速率控制單元21判斷是否產(chǎn)生下一級(jí)的相加圖 像和相減圖像，在確定要產(chǎn)生這些圖像的情況下，處理進(jìn)入步驟S5。 這種情況下，"下一級(jí)"表示從當(dāng)前級(jí)別加1的級(jí)別。在步驟S5，下一 個(gè)計(jì)算單元(在緊接于步驟S3中的處理之后的情況下，第二計(jì)算單元 54)產(chǎn)生下一級(jí)(在緊接于步驟S3中的處理之后的情況下，第二級(jí))的
相加圖像和相減圖像，隨后處理返回步驟S4。即，將步驟S4和步驟 S5中的處理重復(fù)計(jì)算單元的數(shù)目的次數(shù)(直到預(yù)先指定的級(jí)別為止)。 在步驟S4中獲得了所希望的級(jí)別的相加圖像和相減圖像，并確定不 產(chǎn)生下一級(jí)的相加圖像和相減圖像的情況下，記錄速率控制單元21 使處理進(jìn)入步驟S6。在步驟S6，編碼單元22的幀內(nèi)編碼單元151通過按照目標(biāo)碼率 對(duì)所獲得的相加圖像和相減圖像進(jìn)行編碼，產(chǎn)生碼流。在步驟S7，碼 流合成單元152多路復(fù)用和輸出通過編碼所獲得的碼流。在步驟S8，編碼設(shè)備11判斷所有的畫面(或者幀)是否都已被編 碼，在確定存在未處理的畫面(或幀)的情況下，處理返回步驟Sl,重 復(fù)步驟S1之后的處理。另外，在步驟S8中確定所有的畫面(或幀)已 被編碼的情況下，編碼設(shè)備11結(jié)束編碼處理。下面說明關(guān)于解碼設(shè)備13執(zhí)行的解碼處理的流程。在步驟S21中，解碼設(shè)備13的解碼單元23的碼流分解單元301 分解所獲得的碼流。在步驟S22中，幀內(nèi)解碼單元302對(duì)碼流解碼， 并把所產(chǎn)生的解碼圖像保存在重放速率控制單元24的存儲(chǔ)器中。在步驟S23，重放速率控制單元24判斷所需數(shù)目的畫面的數(shù)據(jù) 是否已被保存在存儲(chǔ)器401中，并重復(fù)步驟S22和S23中的處理，直 到確定所需數(shù)目的畫面的數(shù)據(jù)已被保存在存儲(chǔ)器401中為止。在步驟 S23中確定所需數(shù)目的畫面的數(shù)據(jù)已被保存在存儲(chǔ)器401中的情況 下，在步驟S24中，輸出控制單元405判斷是否產(chǎn)生下一級(jí)的相加圖 像和相減圖像，在確定要產(chǎn)生所述圖像的情況下，處理進(jìn)入步驟S25。 這種情況下，"下一級(jí)，，表示從當(dāng)前級(jí)別加1的級(jí)別。在步驟S25中， 下 一個(gè)計(jì)算單元(在緊接在步驟S23中的處理之后的情況下，第一計(jì)算 單元402)產(chǎn)生下一級(jí)(在緊接在于步驟S23中在存儲(chǔ)器401中保存第 二級(jí)的相加圖像和相減圖像之后的情況下為第 一級(jí))的相加圖像和相 減圖像，隨后處理返回步驟S24。即，將步驟S24和步驟S25中的處 理重復(fù)由輸出控制單元405操作的計(jì)算單元的數(shù)目的次數(shù)(直到預(yù)先 指定的級(jí)別為止)。在步驟S24中獲得了所希望的級(jí)別的相加圖像和相
減圖像，并且確定不產(chǎn)生下一級(jí)的相加圖像和相減圖像的情況下，輸出控制單元405使處理進(jìn)入步驟S26。在步驟S26,在輸出控制單元405的控制下，集成單元404按照 時(shí)間順序輸出圖像。在步驟S27，解碼設(shè)備13判斷所有碼流是否都已 被解碼，在確定存在未處理的碼流的情況下，處理返回步驟S21，重 復(fù)步驟S21之后的處理。另外，在步驟S27中確定所有碼流都已被解 碼的情況下，解碼設(shè)備13結(jié)束解碼處理。注意在圖3中，進(jìn)行了以下的說明幀內(nèi)編碼單元151包括具有 60 p的編碼能力的幀內(nèi)編碼器(就圖3中的例子來說，第一幀內(nèi)編碼 單元161-第四幀內(nèi)編碼單元164)，但是即使不同于此，例如如圖18 中所示，幀內(nèi)編碼單元151可由具有240 p或更高的編碼能力的一個(gè) 幀內(nèi)編碼單元501構(gòu)成。但是，這種情況下，與圖3中的例子的情況 相比，必須準(zhǔn)備以高速進(jìn)行處理(編碼能力高)的編碼器，因此，存在 開發(fā)成本和制造成本等等可能增大的可能性。另外，可做出這樣一種設(shè)置，其中量化系數(shù)在幀內(nèi)編碼單元151 的每個(gè)幀內(nèi)編碼器被分解成位平面。圖19是圖解說明這種情況下的 第一幀內(nèi)編碼單元161的詳細(xì)結(jié)構(gòu)圖的方框圖。圖19是對(duì)應(yīng)于圖4 的方框圖，因此和圖4中的組件相同的組件用相同的附圖標(biāo)記表示。在圖19的情況下，除了圖4中的組件，第一幀內(nèi)編碼單元161 還包括位平面分解單元511。位平面分解單元511把在量化單元202 產(chǎn)生的量化系數(shù)分解成位平面。圖20A和20B是說明位平面的概念的示圖。例如，就量化單元 202來說，如果我們假定垂直4像素x水平4像素的16個(gè)像素作為一 個(gè)塊，那么獲得如圖20A中所示的量化系數(shù)。例如，在這16個(gè)量化 系數(shù)中，最大絕對(duì)值為"+13"，其通過二進(jìn)制表達(dá)"1101，，表示。借助 位平面，為每個(gè)等級(jí)總結(jié)每個(gè)塊的這種量化系數(shù)的二進(jìn)制表達(dá)和符 號(hào)。即，圖20A中所示的量化系數(shù)由如圖20B中所示的5個(gè)位平面構(gòu) 成(一個(gè)位平面用于系數(shù)的符號(hào)，四個(gè)位平面用于系數(shù)的絕對(duì)值)。位平面分解單元511把這樣分解成位平面的量化系數(shù)提供給熵
編碼單元203。熵編碼單元203利用信息源壓縮方法進(jìn)行，用于壓縮分解成位平 面的量化系數(shù)的操作。因此，編碼所獲得的碼流也被分成位平面單位。圖21是說明在對(duì)每個(gè)位平面進(jìn)行編碼的情況下的編碼順序的例 子的示意圖。在圖21中，水平軸方向的塊0、塊l到塊n表示塊編號(hào)。 這種情況下，對(duì)每個(gè)塊的每個(gè)位平面進(jìn)行熵編碼。例如，熵編碼單元 203按照從MSB(最高有效位)到LSB(最低有效位)的順序?yàn)槊總€(gè)位平 面選擇一個(gè)代碼，累計(jì)碼率，并且當(dāng)達(dá)到目標(biāo)碼率時(shí)停止編碼。例如，在以塊為單位進(jìn)行編碼，而不把量化系數(shù)分解成位平面的 情況下，存在在到達(dá)塊n之前累計(jì)的碼率可能達(dá)到目標(biāo)碼率的可能性。 即，在這種情況下，出現(xiàn)才艮本未進(jìn)行編碼的塊。但是，在MSB和LSB 中，作為LSB的高階位的MSB比LSB更重要，與對(duì)LSB釆用有限 碼率相比，對(duì)MSB釆用有限碼率有助于改進(jìn)圖像質(zhì)量。因此，如圖21中的箭頭和編號(hào)所示，對(duì)于多個(gè)塊來說，在排除 所有系數(shù)都為零的零位平面的情況下，熵編碼單元203從接近MSB 的位平面開始按照順序(編號(hào)順序)進(jìn)行編碼，當(dāng)累計(jì)的碼率達(dá)到目標(biāo)碼率時(shí)，結(jié)束編碼。就圖21中的例子來說，在編號(hào)"9"的位平面的編 碼結(jié)束的時(shí)候，累計(jì)的碼率已達(dá)到目標(biāo)碼率，此時(shí)熵編碼單元203結(jié) 束編碼。因此，熵編碼單元203能夠優(yōu)先對(duì)每個(gè)塊的高階位進(jìn)行編碼， 這不僅有助于提高圖像質(zhì)量，而且有助于減少對(duì)集中在高階位的不必 要的零位平面的碼率分配，從而能夠提高編碼效率。雖然上面表示了其中塊的形狀為矩形的情況，不過塊的形狀可以 是該圖像的水平方向的一行或多行。另外，在對(duì)相加圖像和相減圖像編碼的情況下，可做出這樣的設(shè) 置，其中每個(gè)量化系數(shù)被分解成位平面，并被編碼。這種情況下，還 設(shè)置每個(gè)目標(biāo)碼率。這種情況下，熵編碼單元203關(guān)于每個(gè)相加圖像 和相減圖像，如上所述對(duì)每個(gè)位平面進(jìn)行編碼。圖22A圖解說明相加 圖像的編碼流程的例子，圖22B圖解說明相減圖像的編碼流程的例 子。因此，就相加圖像和相減圖像來說，兩者的位平面結(jié)構(gòu)彼此不同，
從而關(guān)于每個(gè)相加圖像和相減圖像相互獨(dú)立地進(jìn)行編碼，由此，熵編碼單元203能夠提高編碼效率。勿庸置疑，相加圖像的這種編碼和相 減圖像的這種編碼可在不同的編碼器相互進(jìn)行。注意為了便于描述，上面關(guān)于兩個(gè)圖像，即相加圖像和相減圖像 的編碼情況進(jìn)行了說明，但是如上所述，顯然可對(duì)第二級(jí)的四個(gè)圖傳* 進(jìn)行相同的編碼。另外，勿庸置疑，熵編碼單元203可被配置成以集成的方式對(duì)相 加圖像和相減圖像進(jìn)行編碼。例如，圖18中的幀內(nèi)編碼單元501通過同時(shí)輸入多個(gè)圖《象進(jìn)行 編碼操作，從而能夠在相加圖像和相減圖像作為一個(gè)處理單位的情況 下進(jìn)行位平面的編碼，如圖23中所示。即，當(dāng)在排除零位平面的情 況下，按照截面(cross-sectional)方式從高階位平面到低階方向?qū)ο嗉?圖像和相減圖像的矩形塊進(jìn)行熵編碼的時(shí)候，在累計(jì)的碼率達(dá)到目標(biāo) 碼率時(shí)，這種情況下的熵編碼單元203結(jié)束熵編碼。從而，熵編碼單元203能夠恰當(dāng)?shù)剡M(jìn)行碼率的分配，而不必預(yù)先 設(shè)置將被分配給每個(gè)相加圖像和相減圖像的碼率，從而能夠更優(yōu)先地 編碼大大影響圖像質(zhì)量的量化系數(shù)。注意至此為了便于描述，僅說明了關(guān)于編碼兩個(gè)圖像，即一個(gè)相 加圖像和一個(gè)相減圖像的情況，不過如上所述，顯然可對(duì)第二級(jí)的四 個(gè)圖像進(jìn)行相同的編碼。另外，用于按照參考圖7說明的順序?qū)γ總€(gè)位平面進(jìn)行編碼的方 法可被應(yīng)用于從低頻子帶到高頻子帶進(jìn)行編碼的情況。這種情況下， 熵編碼單元203例如按照如圖7中所示的子帶順序排列各個(gè)塊，并如 參考圖21所述從高階位平面開始順序地對(duì)所有塊進(jìn)行編碼。即，熵 編碼單元203按照從能量較高的低頻到能量較低的高頻的順序?qū)γ總€(gè) 位平面編碼。因此，與參考圖21說明的情況相比，熵編碼單元203 能夠提高編碼效率。另外，換句話說，在排除零位平面的情況下，熵 編碼單元203按照從高階到低階的順序?qū)γ總€(gè)頻率的位平面編碼。因 此，與參考圖7說明的情況相比，熵編碼單元203能夠提高編碼效率， 還能夠進(jìn)一步提高圖像質(zhì)量。從而，在對(duì)每個(gè)位平面進(jìn)行編碼的情況下，如何排列各個(gè)塊是任 意的，因此可按照其它順序排列各個(gè)塊。例如，可做出一種設(shè)置，其中熵編碼單元203按照如表達(dá)式(10)中所示的優(yōu)先順序排列量化系數(shù) 塊，并如參考圖21所述從高階位平面開始順序地對(duì)所有塊編碼。按 照這樣的設(shè)置，熵編碼單元203能夠提高編碼效率。另一方面，可做 出一種設(shè)置，其中熵編碼單元203按照如表達(dá)式(ll)中所示的優(yōu)先順 序排列量化系數(shù)塊，并如參考圖21所述從高階位平面開始順序地對(duì) 所有塊編碼。按照這樣的設(shè)置，熵編碼單元203能夠提高主觀圖像質(zhì) 量。為了進(jìn)一步提高主觀圖像質(zhì)量，可做出一種設(shè)置，其中熵編碼單 元203按照如圖12中箭頭所示的順序排列各個(gè)塊，并進(jìn)行編碼。即，這種情況下，如圖24中所示，熵編碼單元203按照如圖12 中所示的子帶順序，即，按照從作為亮度分量Y的子帶的Y-OLL到 作為色差Cr的子帶的Cr-3HH的順序排列關(guān)于亮度分量Y、色差分 量Cb和色差分量Cr中的每一個(gè)的塊，在排除零位平面的情況下， 按照從高階位平面到低階位平面的順序?qū)γ總€(gè)位平面進(jìn)行熵編碼，當(dāng) 累計(jì)的碼率達(dá)到目標(biāo)碼率時(shí)，結(jié)束編碼。按照這樣的設(shè)置，熵編碼單元203能夠進(jìn)一步提高主觀圖像質(zhì)量。即使在熵編碼單元203按照如圖21-圖24中所示的任意順序?qū)γ?個(gè)位平面進(jìn)行編碼的情況下，熵解碼單元351都按照和該順序相同的 順序進(jìn)行解碼。即，熵解碼單元351按照比如在排除零位平面的情況 下，從高階位平面到低階位平面順序產(chǎn)生位平面的順序，進(jìn)行碼流的 解碼。如同編碼單元22的情況一樣，即使就解碼單元23來說，例如圖 25中所示的解碼單元23，幀內(nèi)解碼單元302可由包括240 p或更高的 解碼能力的一個(gè)幀內(nèi)解碼單元551構(gòu)成。但是，這種情況下，與圖9 中的例子的情況相比，必須準(zhǔn)備配置為以高速進(jìn)行處理(高解碼能力) 的解碼器，從而存在開發(fā)成本、制造成本等等可能增大的可能性。
另外，例如，如圖26中所示，圖1中所示的圖像處理系統(tǒng)l可 具有不同于圖1中的例子的結(jié)構(gòu)。即，本發(fā)明并不局限于上面提及的 實(shí)施例，勿庸置疑，在不脫離本發(fā)明的范圍的情況下，可做出各種修 改。例如，如圖26A中所示，記錄速率控制單元21、編碼單元22、 記錄單元12、解碼單元23和重放速率控制單元24中的每個(gè)單元都可 被配置成相互獨(dú)立的設(shè)備。在圖26A中，圖像處理系統(tǒng)1由記錄速率 控制設(shè)備601、編碼設(shè)備602、記錄設(shè)備603、解碼設(shè)備604和重放速 率控制設(shè)備605構(gòu)成。每個(gè)設(shè)備的結(jié)構(gòu)和操作分別與圖1中的對(duì)應(yīng)處 理單元相同，因此省略對(duì)其的說明。另外，例如，如圖26B中所示，可做出一種設(shè)置，其中運(yùn)動(dòng)圖 像數(shù)據(jù)只進(jìn)行兩條幀數(shù)據(jù)之間的相加或相減，并且未經(jīng)壓縮和編碼地 記錄在記錄介質(zhì)中。這種情況下，圖像處理系統(tǒng)1由配置為把運(yùn)動(dòng)圖 像數(shù)據(jù)記錄在記錄介質(zhì)612中的記錄設(shè)備611，在其中記錄運(yùn)動(dòng)圖像 數(shù)據(jù)的記錄介質(zhì)612,和配置為讀出并播放記錄在記錄介質(zhì)612中的 運(yùn)動(dòng)圖像數(shù)據(jù)的重放設(shè)備613構(gòu)成。記錄設(shè)備611具有，記錄速率控制單元21相同的結(jié)構(gòu)，它包括 配置為按照和記錄速率控制單元21相同的方式工作的記錄速率控制 單元621，和配置為把從記錄速率控制單元621輸出的相加圖像和相 減圖像寫入記錄介質(zhì)612中的寫入單元622。另外，重放設(shè)備613包 括配置為讀出記錄在記錄介質(zhì)612中的相加圖像和相減圖像的讀取單 元631，和重放速率控制單元632，重放速率控制單元632具有和重 放速率控制單元24相同的結(jié)構(gòu)并被配置為按照和重放速率控制單元行相加和相減，并以任意的幀速率輸出運(yùn)動(dòng)圖像數(shù)據(jù)。即，這種情況下，未壓縮的相加圖像和相減圖像被記錄在記錄介 質(zhì)612中。另外，就圖1中的例子來說，對(duì)編碼碼流被記錄在記錄介質(zhì)中進(jìn) 行了說明，但是如圖26C中所示，可通過傳輸介質(zhì)傳送碼流。
在圖26C中，圖像處理系統(tǒng)1由被配置為壓縮和編碼運(yùn)動(dòng)圖像 數(shù)據(jù)并將其傳給另一設(shè)備的發(fā)送設(shè)備641,碼流傳送到的傳輸介質(zhì) 642,和被配置為接收通過傳輸介質(zhì)642傳送的碼流的接收設(shè)備643 構(gòu)成。發(fā)送設(shè)備641對(duì)應(yīng)于圖1中的編碼設(shè)備11，包括與記錄速率控 制單元21對(duì)應(yīng)的傳輸速率控制單元651，和與編碼單元22對(duì)應(yīng)的編 碼單元652。傳輸速率控制單元651具有和記錄速率控制單元21的相 同的結(jié)構(gòu)，并按照和記錄速率控制單元21相同的方式運(yùn)轉(zhuǎn)。但是， 傳輸速率控制單元651不控制記錄速率，而是控制傳輸時(shí)的幀速率(傳 輸速率)。編碼單元652具有和編碼單元22相同的結(jié)構(gòu)，并按照和編 碼單元22相同的方式運(yùn)轉(zhuǎn)。就圖26C來說，從發(fā)送設(shè)備641的編碼單元652輸出的碼流通 過傳輸介質(zhì)642被提供給接收設(shè)備643。接收設(shè)備643對(duì)應(yīng)于圖1中的解碼設(shè)備13，包括和解碼單元23 對(duì)應(yīng)的解碼單元661，以及與重放速率控制單元24對(duì)應(yīng)的重放速率控 制單元662。解碼單元661具有和解碼單元23相同的結(jié)構(gòu)，并按照與 解碼單元23相同的方式運(yùn)轉(zhuǎn)。但是，解碼單元661對(duì)通過傳輸介質(zhì) 642傳送的碼流進(jìn)行解碼。重放速率控制單元662具有和重放速率控 制單元24相同的結(jié)構(gòu)，并按照和重放速率控制單元24相同的方式運(yùn) 轉(zhuǎn)。上面提及的一系列處理不僅可由硬件執(zhí)行，而且可由軟件執(zhí)行。 這種情況下，例如硬件可被配置成如圖27中所示的個(gè)人計(jì)算機(jī)。在圖27中，個(gè)人計(jì)算機(jī)700的CPU(中央處理單元)701按照保 存在ROM(只讀存儲(chǔ)器)702中的程序，或者從存儲(chǔ)單元713載入 RAM(隨機(jī)存取存儲(chǔ)器)703中的程序，執(zhí)行各種處理。RAM 703還適 當(dāng)?shù)乇４嬗蠧PU 701執(zhí)行各種處理所必需的數(shù)據(jù)等。CPU 701、 ROM702和RAM703通過總線704相互連接?？偩€ 704還與輸入/輸出接口 710連接。輸入/輸出接口 710與由鍵盤、鼠標(biāo)等構(gòu)成的輸入單元711，由包 括CRT、 LCD等顯示器、揚(yáng)聲器等構(gòu)成的輸出單元712，由硬盤等 構(gòu)成的存儲(chǔ)單元713，和由調(diào)制解調(diào)器等構(gòu)成的通信單元714連接。 通信單元714通過包括因特網(wǎng)的網(wǎng)絡(luò)執(zhí)行通信處理。根據(jù)需要，輸入/輸出接口 710還與驅(qū)動(dòng)器715連接，諸如磁盤、 光盤、磁光盤、半導(dǎo)體存儲(chǔ)器等的可移動(dòng)介質(zhì)721被適當(dāng)?shù)匕惭b在所 述驅(qū)動(dòng)器715上，從可移動(dòng)介質(zhì)721讀出的計(jì)算機(jī)程序根據(jù)需要被安 裝在存儲(chǔ)單元713中。在利用軟件執(zhí)行上面提及的一系列處理的情況下，從網(wǎng)絡(luò)或記錄 介質(zhì)安裝構(gòu)成其軟件的程序。該記錄介質(zhì)并不局限于由可移動(dòng)介質(zhì)721構(gòu)成，所述可移動(dòng)介質(zhì) 721由磁盤(包括軟盤)、光盤(包括CD-ROM和DVD)、磁光盤(包括 MD)、半導(dǎo)體存儲(chǔ)器等構(gòu)成，如圖27中所示，例如，其中將要分發(fā) 給用戶的程序獨(dú)立于設(shè)備主單元保存，不過所述可移動(dòng)介質(zhì)721也可 由ROM 702、包含在存儲(chǔ)單元713中的硬盤等構(gòu)成，在其中在被預(yù) 先內(nèi)置于設(shè)備主單元中的狀態(tài)下，安裝要分發(fā)給用戶的程序。注意就本說明書來說，描述將被記錄在記錄介質(zhì)中的程序的步驟 不僅包括將按照所描述的次序，按時(shí)間順序執(zhí)行的處理，而且包括在 不必按照時(shí)間順序處理的情況下并行地或者單獨(dú)地執(zhí)行的處理。另外，就本說明書來說，術(shù)語"系統(tǒng)"意味多個(gè)設(shè)備(或裝置)的整體。注意就上面的說明來說，描述成一個(gè)設(shè)備的結(jié)構(gòu)可被分割并配置 成多個(gè)設(shè)備。相反，就上面的說明來說，描述成多個(gè)設(shè)備的結(jié)構(gòu)可被 集成和配置成一個(gè)設(shè)備。另外，勿庸置疑，除上面提及的結(jié)構(gòu)之外的 結(jié)構(gòu)可配有每個(gè)上述設(shè)備的結(jié)構(gòu)。此外，只要整個(gè)系統(tǒng)的結(jié)構(gòu)和操作 基本相同，那么某一設(shè)備的一部分結(jié)構(gòu)可被包括在其它設(shè)備的結(jié)構(gòu) 中。另外，對(duì)于上面提及的實(shí)施例，利用JPEG 2000系統(tǒng)作為圖像 壓縮系統(tǒng)進(jìn)行了說明，不過本發(fā)明并不局限于此，例如，本發(fā)明可應(yīng) 用于諸如JPEG、 MPEG(運(yùn)動(dòng)圖像專家組)等的其它圖像壓縮系統(tǒng)的 情況。本領(lǐng)域的技術(shù)人員應(yīng)明白，根據(jù)設(shè)計(jì)要求和其它因素，可發(fā)生各 種修改、組合、子組合和變更，只要它們?cè)诟郊訖?quán)利要求或其等同物 的范圍之內(nèi)即可。對(duì)相關(guān)申請(qǐng)的交叉引用本發(fā)明包含涉及2006年10月16日在日本專利局提交的日本專 利申請(qǐng)JP2006-281302的主題，其全部內(nèi)容通過引用，包含于此。
權(quán)利要求
1、一種被配置成處理運(yùn)動(dòng)圖像數(shù)據(jù)的信息處理設(shè)備，所述信息處理設(shè)備包括多個(gè)計(jì)算裝置，其被配置成通過對(duì)兩條幀數(shù)據(jù)進(jìn)行加法和減法，來變換幀速率；和控制裝置，其被配置成控制所述多個(gè)計(jì)算裝置，使所述運(yùn)動(dòng)圖像數(shù)據(jù)的每條幀數(shù)據(jù)進(jìn)行對(duì)把所述運(yùn)動(dòng)圖像數(shù)據(jù)的幀速率變換成所希望速率來說必需次數(shù)的所述加法和所述減法中的至少之一。
2、 按照權(quán)利要求1所述的信息處理設(shè)備，其中所述多個(gè)計(jì)算裝 置被相互串聯(lián)連接，第二級(jí)和之后的所述計(jì)算裝置被配置成向或從前 一級(jí)的計(jì)算裝置的計(jì)算結(jié)果中加入或減去；并且其中所述控制裝置控制串聯(lián)連接的所述多個(gè)計(jì)算裝置中，從 第一級(jí)的計(jì)算裝置到獲得所希望的幀速率的所述運(yùn)動(dòng)圖像數(shù)據(jù)的那 一級(jí)的計(jì)算裝置執(zhí)行所述加法和所述減法中的至少之一。
3、 按照權(quán)利要求2所述的信息處理設(shè)備，其中在串聯(lián)連接的所 述多個(gè)計(jì)算裝置中，第一級(jí)的計(jì)算裝置被配置成對(duì)由于所述加法和所 述減法運(yùn)算而使幀速率降低的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行所述加法和所述減 法中的至少之一；并且其中每個(gè)計(jì)算裝置執(zhí)行所述加法和所述減法中的至少之一 ， 從而把所述幀速率變換成兩倍。
4、 按照權(quán)利要求1所述的信息處理設(shè)備，其中所述計(jì)算裝置并 行地多次進(jìn)行所述加法和所述減法中的至少之一，從而同時(shí)產(chǎn)生多個(gè) 計(jì)算結(jié)果。
5、 按照權(quán)利要求l所述的信息處理設(shè)備，還包括 解碼裝置，所述解碼裝置被配置成對(duì)碼流解碼，所述碼流是所述編碼的運(yùn)動(dòng)圖像數(shù)據(jù)；其中所述多個(gè)計(jì)算裝置被配置成對(duì)通過由所述控制裝置控制，并 由所述解碼裝置解碼而獲得的所述運(yùn)動(dòng)圖像數(shù)據(jù)的每個(gè)幀數(shù)據(jù)進(jìn)行 所述加法和所述減法中的至少之一。
6、 按照權(quán)利要求5所述的信息處理設(shè)備，其中所述解碼裝置以 和通過所述多個(gè)計(jì)算裝置的計(jì)算而獲得的運(yùn)動(dòng)圖像數(shù)據(jù)的幀速率對(duì) 應(yīng)的速度對(duì)所述碼流解碼。
7、 按照權(quán)利要求5所述的信息處理設(shè)備，所述解碼裝置包括 熵解碼裝置，其被配置成根據(jù)所述碼流產(chǎn)生量化系數(shù)； 逆量化裝置，其被配置成變換所述量化系數(shù)，以產(chǎn)生預(yù)定的濾波因子；和逆濾波裝置，其被配置成對(duì)所述濾波因子進(jìn)行逆濾波，以產(chǎn)生解 碼圖像。
8、 按照權(quán)利要求7所述的信息處理設(shè)備，其中所述熵解碼裝置 按照例如從最高有效位位置到低位方向產(chǎn)生量化系數(shù)的順序，相互獨(dú) 立地解碼相加圖像的碼流和相減圖像的碼流中的每一個(gè)。
9、 按照權(quán)利要求7所述的信息處理設(shè)備，其中所述熵解碼裝置 集成相加圖像的碼流和相減圖像的碼流，并按照例如從最高有效位位 置到低位方向產(chǎn)生量化系數(shù)的順序，對(duì)整個(gè)集成的碼流解碼。
10、 按照權(quán)利要求7所述的信息處理設(shè)備，其中所述熵解碼裝置 按照從最低級(jí)的子帶到最高級(jí)的子帶的順序，對(duì)所述碼流解碼，以便 產(chǎn)生相同位位置的量化系數(shù)。
11、 按照權(quán)利要求7所述的信息處理設(shè)備，其中所述熵解碼裝置 按照從亮度分量到色差分量的順序?qū)λ龃a流解碼，以便產(chǎn)生相同位 位置的量化系數(shù)。
12、 一種用于處理運(yùn)動(dòng)圖像數(shù)據(jù)的信息處理方法，包括下述步驟 利用多次計(jì)算，通過對(duì)兩條幀數(shù)據(jù)進(jìn)行加法和減法，來變換幀速率；和控制所述多次變換，使所述運(yùn)動(dòng)圖像數(shù)據(jù)的每條幀數(shù)據(jù)進(jìn)行對(duì)把 所述運(yùn)動(dòng)圖像數(shù)據(jù)的幀速率變換成所希望速率來說必需次數(shù)的所述 加法和所述減法中的至少之一。
13、 一種被配置為處理運(yùn)動(dòng)圖像數(shù)據(jù)的信息處理設(shè)備，所述信息 處理設(shè)備包括多個(gè)計(jì)算單元，其被配置成通過對(duì)兩條幀數(shù)據(jù)進(jìn)行加法和減法， 來變換幀速率；和控制單元，其被配置成控制所述多個(gè)計(jì)算單元，使所述運(yùn)動(dòng)圖像 數(shù)據(jù)的每條幀數(shù)據(jù)進(jìn)行對(duì)把所述運(yùn)動(dòng)圖像數(shù)據(jù)的幀速率變換成所希 望速率來說必需次數(shù)的所述加法和所述減法中的至少之一。
全文摘要
本發(fā)明涉及信息處理設(shè)備、方法和程序，其中具體公開了一種被配置成處理運(yùn)動(dòng)圖像數(shù)據(jù)的信息處理設(shè)備，包括多個(gè)計(jì)算單元，其被配置成通過對(duì)兩條幀數(shù)據(jù)進(jìn)行加法和減法，來變換幀速率；和控制單元，其被配置成控制所述多個(gè)計(jì)算單元，使運(yùn)動(dòng)圖像數(shù)據(jù)的每條幀數(shù)據(jù)進(jìn)行對(duì)把運(yùn)動(dòng)圖像數(shù)據(jù)的幀速率變換成所希望的速率來說必需次數(shù)的所述加法和所述減法中的至少之一。
文檔編號(hào)H04N7/26GK101166275SQ20071018024
公開日2008年4月23日 申請(qǐng)日期2007年10月16日 優(yōu)先權(quán)日2006年10月16日
發(fā)明者保坂和壽, 杉山晃, 福原隆浩 申請(qǐng)人:索尼株式會(huì)社