專利名稱：運動圖像編碼裝置、方法、程序以及集成電路的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種并聯(lián)編碼裝置，為了對高速輸入的攝像圖像進行
處理，而利用N路的編碼電路對N條分割序列進行并聯(lián)編碼，并以幀為單位、且按輸入順序?qū)⑺敵龅腘路的編碼流疊加，所述N條分割序列是在時間方向以N幀為單位將輸入序列分割而成的。
背景技術(shù)：
利用圖1 圖7，說明以往的系統(tǒng)的工作。
圖1示出專利文獻1所述的以往的運動圖像傳輸系統(tǒng)X1的結(jié)構(gòu)。以往的運動圖像傳輸系統(tǒng)XI包括發(fā)送裝置X3和接收裝置X4。
在圖1中，運動圖像傳輸系統(tǒng)X1，通過通信路X2，從發(fā)送裝置X3向接收裝置X4分發(fā)高幀率的運動圖像。在此，發(fā)送裝置X3適用H.264編碼方式。
該發(fā)送裝置X3，以圖片為單位，依次循環(huán)分配輸入視頻數(shù)據(jù)XDV1，并進行時間軸伸展，生成多路的視頻數(shù)據(jù)XDV1A、XDV1B、……、XDV1N。并且，發(fā)送裝置X3，通過編碼器X6A X6N，對各個路的視頻數(shù)據(jù)XDV1A、 XDV1B、 、 XDV1N分別
進行編碼處理后，進行時間軸壓縮，從而合成為l路。發(fā)送裝置X3，
8通過圖中沒有示出的通信部，向通信路X2發(fā)送所合成的編碼數(shù)據(jù)XDS1。
也就是，在發(fā)送裝置X3中，分配器X5，依次循環(huán)分配輸入視頻數(shù)據(jù)XDV1的各個圖片，并進行時間軸伸展，輸出多路的視頻數(shù)據(jù)XDV1A、 XDV1B、……、XDV1N。具體而言，分配器X5，將輸入視頻數(shù)據(jù)XDV1的第m圖片分配為第1路的視頻數(shù)據(jù)XDV1A，將后續(xù)的第m+l圖片分配為后續(xù)的第2路的視頻數(shù)據(jù)XDV1B。并且，分配器X5，還將后續(xù)的第m + 2圖片分配為后續(xù)的第3路的視頻數(shù)據(jù)XDV1C。
編碼器X6A X6N，分別根據(jù)H.264，對各個路的視頻數(shù)據(jù)XDV1A、 XDV1B、 、 XDV1N進行編碼處理，輸出編碼數(shù)據(jù)
XDS1A、 XDS1B、……、XDS1N。
合成器X7，對編碼數(shù)據(jù)XDS1A、 XDS1B、 、 XDS1N進行
時間軸壓縮后，以圖片為單位依次循環(huán)進行選擇，以便與分配器X5中的輸入視頻數(shù)據(jù)XDV1的分配相對應(yīng)，將這些多個編碼數(shù)據(jù)XDS1A、XDS1B、……、XDS1N合成為1路的編碼數(shù)據(jù)XDS1。進而，合成器X7，重新設(shè)定在該1路的編碼數(shù)據(jù)XDS1設(shè)定了的示出各個圖片的關(guān)系的信息，或者，重新設(shè)定在多路的編碼數(shù)據(jù)XDS1A、XDS1B、……、XDS1N預(yù)先設(shè)定了的示出各個圖片的關(guān)系的信息，從而使基于H.264編碼標準的1臺解碼裝置能夠解碼合成后的1路的編碼數(shù)據(jù)XDS1。
合成器X7，重新設(shè)定確定各個圖片的幀識別符(fmme^^um)，以作為示出各個圖片的關(guān)系的信息，以便在合成后的編碼數(shù)據(jù)XDS1中能夠確定各個圖片。也就是，在H.264中，作為各個圖片固有的識別符的幀識別符(frame一皿m)，被設(shè)定在各個存取單元(AccessUnit)的切片頭(SliceHeader)，依據(jù)該幀識別符(fmme—num)確定各個圖片。因此，對于基于H.264編碼標準的編碼器X6A X6N分別進行編碼處理后的編碼數(shù)據(jù)XDS1A、 XDS1B、 、 XDS1N，分別各個編碼數(shù)據(jù)
XDS1A、 XDS1B、 、 XDS1N固有的幀識別符(frame—num)被設(shè)
定在各個圖片。
合成器7，重新設(shè)定幀識別符(frame一num)，以便在合成后的1路的編碼數(shù)據(jù)XDS1中，使值以圖片為單位連續(xù)發(fā)生變化，并將各個編碼數(shù)據(jù)XDS1A、 XDS1B、……、XDS1N固有的幀識別符(frame—num)，重新設(shè)定為1路的編碼數(shù)據(jù)XDS1固有的幀識別符(frame—num)。
圖2是，以合成2路的編碼數(shù)據(jù)XDS1A、 XDS1B的情況為例子，來示出該合成器X7(圖l)中的幀識別符(frame一rmm)的設(shè)定的概要圖。
在該圖2的例子中，在1路的編碼數(shù)據(jù)XDS1A的各個圖片，依次設(shè)定值A(chǔ)Un、值A(chǔ)Un+l、值A(chǔ)Un+2、 的接連的幀識別符
(frame—mim)(圖2的上層)，在其余1路的編碼數(shù)據(jù)XDS1B的各個圖片，依次設(shè)定值A(chǔ)Um、值A(chǔ)Um+l、值A(chǔ)Um+2、……的接連的幀識別符(frame—nrnn)(圖2的中層)。
合成器X7，如以箭頭示出，合成2路的編碼數(shù)據(jù)XDS1A、XDS1B來生成1路的編碼數(shù)據(jù)XDS1，以便2路的編碼數(shù)據(jù)XDS1A、 XDS1B的各個圖片交替連續(xù)(圖2的下層)。并且，合成器X7，如以值A(chǔ)Un、值A(chǔ)Un+l、值A(chǔ)Un+2、值A(chǔ)Un+3、值A(chǔ)Un+4、來示出，重新設(shè)定幀識別符(frame一num)，以便以圖片為單位，各個圖片的幀識別符(frame—num)依次連續(xù)。
并且，合成器X7，重新設(shè)定確定參考圖片的參考圖片列表(Reference Picture List : ref—pic—list),以作為示出各個圖片的關(guān)系的信息，從而能夠依據(jù)合成后的編碼數(shù)據(jù)XDS1來準確地確定參考關(guān)系。
也就是，在H.264中，依據(jù)參考幀識別符(ref—idx)以及參考圖片列表(ref一pic一list)，確定各個宏塊參考的參考幀。
圖3是說明參考圖片列表XL的構(gòu)造的概要圖。
如圖3示出，參考圖片列表XL(ref一pic—list)是被設(shè)置在切片頭(SliceHeader)的列表，具有過去的多幅參考幀識別符(ref一idx)、以及與各個參考幀識別符(ref—idx)相對應(yīng)的幀識別符(fmme一num)。在H.264的編碼裝置、解碼裝置中，被設(shè)定在該參考圖片列表XL(ref一pic一list)的幀識別符(frame一num)的圖片，被存儲在用于參考圖片的緩沖XB(Decoded Picture Buffer),并被使用于其它圖片的編碼、解碼。
在各個宏塊XM(MacroBlock)設(shè)定有，被設(shè)定在參考圖片列表XL(ref_piC—liSt)的參考幀識別符(ref一idx)中的、與參考圖片相對應(yīng)的參考幀識別符(ref一idx)。
因此，在圖3示出的例子中，由于在宏塊XM(MacroBlock)設(shè)定
ii有值1的參考幀識別符(ref—idx)(ref—idx二l)，在參考圖片列表 XL(ref一pic一list)中的該值1的參考幀識別符(refjdx)設(shè)定有值n+1的 幀識別符(fmme—num)，因此得知，該宏塊XM(MacroBlock)參考緩 沖XB(DecodedPictureBuffer)保持的幀識別符(frame—num)為值n+ 1的圖片。
圖4是說明運動圖像編碼裝置(發(fā)送裝置X3)中的參考關(guān)系的概要圖。
在此，以合成2路的編碼數(shù)據(jù)XDS1A、 XDS1B的情況為例子， 如圖4示出，在以圖片為單位將多路的編碼數(shù)據(jù)XDS1A、 XDS1B選 擇并合成為l路的情況下，連續(xù)的圖片間發(fā)生參考關(guān)系的變化。而且， 在此，在圖4中，以符號frame—n frame一n+3、frame—m frame_m 十3來分別示出圖片，以箭頭線來示出各個圖片間的參考關(guān)系。因此， 在該圖4的情況下，示出在2路的編碼數(shù)據(jù)XDS1A、 XDS1B中，各 個圖片分別參考靠前的圖片。若將該2路的編碼數(shù)據(jù)XDS1A、 XDS1B 合成為1路，貝格個圖片分別參考隔開一個圖片的前方圖片，依據(jù)被 設(shè)定在各個路的編碼數(shù)據(jù)XDS1A、 XDS1B的參考關(guān)系的信息，難以 表示準確的參考關(guān)系。也就是，在各個編碼數(shù)據(jù)XDS1A、 XDS1B被 合成為編碼數(shù)據(jù)XDS1后，被設(shè)定在各個編碼數(shù)據(jù)XDS1A、 XDS1B 的參考關(guān)系的信息表示的參考關(guān)系為不準確的參考關(guān)系，即表示錯誤 的參考關(guān)系。
在圖5、圖6中，隨著參考圖片列表的狀態(tài)轉(zhuǎn)移，而示出圖4示 出的合成前流XDS1A、合成后流XDS1的各個參考關(guān)系。在圖5中，各個幀的參考幀識別符(ref一idx)，總是保持值O。在合 成器7中，由于不重新設(shè)定從各個宏塊參考的參考幀識別符(ref一idx)， 因此需要重新設(shè)定切片頭(SliceHeader)信息。
于是，合成器X7，如圖6示出，重新設(shè)定被設(shè)定在切片頭 (SliceHeader)的參考圖片列表(ref—pic—list)的幀識另U符 (frame—num)，以便在合成為1路的編碼數(shù)據(jù)XDS1中能夠指示準確 的參考關(guān)系。具體而言，合成器X7，重新設(shè)定參考圖片列表(ref—picjist) 的幀識別符(frame—num)，以便與所述的幀識別符(fmme—num)的設(shè) 定相對應(yīng)。
圖7是示出一般的H.264編碼標準的編碼流的結(jié)構(gòu)的圖。 合成器7，重新設(shè)定在切片頭(SliceHeader)內(nèi)存在的幀識別符 (frame—num)、參考圖片列表(ref—pic—list—reordering)。其結(jié)果為， 不需要重新設(shè)定在切片數(shù)據(jù)(SliceData)內(nèi)存在(實際上按每個宏塊數(shù) 據(jù)存在)的參考幀識別符(refjdx)。
專利文獻l:日本國特開2007—202026號公報 然而，在所述專利文獻1中實施的以往的結(jié)構(gòu)中，各個編碼器 X6A X6N所編碼的編碼數(shù)據(jù)XDS1A XDS1N是已經(jīng)構(gòu)成為存取單 元(AccessUnit)的編碼數(shù)據(jù)，如圖7示出，幀識別符(frame—num)被 可變長編碼為切片頭(SliceHeader)語法，參考幀識別符(refjdx)被可 變長編碼為宏塊(macroblock)語法。在合成器X7中，為了重新設(shè)定被 設(shè)定在切片頭(SliceHeader)的幀識別符(frame』um)，而需要檢測編 碼數(shù)據(jù)內(nèi)的切片頭的開頭，邊對切片頭以后的被可變長編碼了的編碼
13參數(shù)進行可變長解碼，邊檢測幀識別符(fmme一mim)，從而對要重新 設(shè)定的幀識別符進行可變長編碼，來置換幀識別符。并且，在要重新 設(shè)定的幀識別符的可變長編碼數(shù)據(jù)的位長度發(fā)生變化的情況下，由于 重新設(shè)定了的幀識別符以后的位的位置偏移，因此需要邊將編碼數(shù)據(jù) 位移，邊重新構(gòu)成編碼數(shù)據(jù)。進而，由于需要重新設(shè)定參考圖片列表 (ref_pic—list—reordering),因此需要到該語法的出現(xiàn)位置對被可變長 編碼了的編碼流進行可變長解碼。據(jù)此，需要用于將編碼數(shù)據(jù)暫時保 持在各個編碼器X6A X6N的后級或合成器X7的緩沖存儲器、啟動 代碼檢測器、進行可變長解碼處理的流操作部、以及用于將編碼數(shù)據(jù) 位移的桶形移位器(Barrel Shifter)，因此存在硬件資源增加、以及 因硬件資源增加而導致消耗電力增加的問題。
并且，在H.264編碼標準中，能夠指定參考可能幀幅數(shù) (num_ref_frames)，其最大值被規(guī)定為16幅。但是，在很多情況下， 為了規(guī)定用于保持各個編碼器X6A X6N的參考幀的緩沖容量，而參 考可能幀幅數(shù)(num一ref—frames)被限制為16幅以下。因此，存在的問 題是，在編碼時參考可能幀幅數(shù)被限制的情況下，在合成為1路的編 碼數(shù)據(jù)XDS1中，用于保持參考幀的緩沖容量不足，從緩沖區(qū)域中參 考幀已被丟棄，從而發(fā)生在緩沖內(nèi)不存在應(yīng)該參考的幀數(shù)據(jù)的情況。

發(fā)明內(nèi)容
為了解決所述的以往的問題，本發(fā)明的目的在于提供一種運動圖 像編碼裝置，為了確保合成后的幀的參考關(guān)系的互換性，而在制作編碼流時預(yù)先控制可變長編碼器，從而不需要用于重新設(shè)定已被構(gòu)成為 編碼流的參數(shù)的緩沖存儲器、啟動代碼檢測器、進行可變長解碼的流 控制部、以及用于將編碼數(shù)據(jù)位移的桶形移位器。并且，本發(fā)明的目 的在于提供，根據(jù)所述內(nèi)容進行比較簡單的處理的運動圖像編碼裝置。 鑒于以上的內(nèi)容，本發(fā)明的第一運動圖像編碼裝置是一種運動圖
像編碼裝置，包括分割部，將輸入到該運動圖像編碼裝置的輸入序
列分割為N條(N》2)分割序列；N個編碼器，對所述分割部所分割的
N條分割序列進行編碼；以及多路復(fù)用部，將N個所述編碼器所編碼 的N條所述分割序列多路復(fù)用為一條輸出序列；所述輸出序列包含索 引，該索引唯一地確定該輸出序列具有的各個圖像中的一個圖像；所: 述運動圖像編碼裝置，包括索引控制部，在分割序列被多路復(fù)用為所: 述輸出序列之前，在該分割序列設(shè)定所述索引。
并且，第二運動圖像編碼裝置是一種運動圖像編碼裝置，利用N 個編碼電路對每隔N幅選擇輸入圖像而得到的N條輸入序列進行編
碼，其中包括運動推測單元，根據(jù)輸入圖像和過去已經(jīng)編碼的多個
圖像推測運動，從而獲得運動矢量信息和差分塊；正交轉(zhuǎn)換單元，將 與所述運動推測單元所推測的塊之間的差分轉(zhuǎn)換為頻率系數(shù)值；量《七 單元，將所述正交轉(zhuǎn)換單元所轉(zhuǎn)換的頻率系數(shù)值量化；反量化單元， 將所述量化單元所量化的量化值反量化；反正交轉(zhuǎn)換單元，將所述反 量化單元所反量化的量化系數(shù)轉(zhuǎn)換為像素值；解塊濾波器單元，對所 述反正交轉(zhuǎn)換單元所轉(zhuǎn)換的像素值進行濾波處理；可變長編碼單元， 對包含所述量化單元所量化的系數(shù)值、所述運動推測單元算出的運動矢量值以及參考圖像索引的編碼信息進行編碼；參考索引信息控制單 元，變更所述運動推測單元取得的參考圖像索引；以及多路復(fù)用單元， 按輸入順序，將輸入序列整體的編碼信息和N個編碼電路生成的編碼 《IE重疊。
在此，第二運動圖像編碼裝置包括參考幀識別符控制單元。 根據(jù)該結(jié)構(gòu)，能夠在制作編碼數(shù)據(jù)時將參考幀識別符插入到編碼 流中。
并且，第二運動圖像編碼裝置，其中，第三運動圖像編碼裝置包 括參考圖像緩沖信息控制單元，變更參考圖像緩沖信息，該參考圖像 緩沖信息是所述多路復(fù)用單元所重疊的輸入序列整體的編碼信息的構(gòu) 成要素。
在此，第三運動圖像編碼裝置包括參考圖像緩沖信息控制單元。 根據(jù)該結(jié)構(gòu)，能夠在制作編碼數(shù)據(jù)時將參考可能幀幅(參考幀緩沖
信息)插入到編碼流中。
并且，通過包括該第二運動圖像編碼裝置的各個步驟的方法，能
夠提供在制作編碼數(shù)據(jù)時將參考幀識別符插入到編碼流中的編碼方法。
并且，根據(jù)包括該第三運動圖像編碼裝置的各個步驟的方法，能 夠提供在制作編碼數(shù)據(jù)時將參考可能幀幅(參考幀緩沖信息)插入到編 碼流中的編碼方法。 并且，根據(jù)用于使計算機實現(xiàn)該第二運動圖像編碼裝置的各個步 驟的程序，能夠提供在制作編碼數(shù)據(jù)時將參考幀識別符插入到編碼流中的編碼方法的程序。
并且，根據(jù)用于使計算機實現(xiàn)該第三運動圖像編碼裝置的各個步 驟的程序，能夠提供在制作編碼數(shù)據(jù)時將參考可能幀幅(參考幀緩沖信 息)插入到編碼流中的編碼方法的程序。
在此，記錄有第二運動圖像編碼裝置的運動圖像編碼方法的程序 的記錄介質(zhì)是，記錄有包括參考幀識別符控制步驟的方法的程序的記 錄介質(zhì)。
根據(jù)該記錄介質(zhì)，能夠提供記錄有在制作編碼數(shù)據(jù)時將參考幀識 別符插入到編碼流中的編碼方法的程序的記錄介質(zhì)。
在此，記錄有該第三運動圖像編碼裝置的運動圖像編碼方法的程 序的記錄介質(zhì)是，記錄有包括參考幀緩沖控制步驟的方法的程序的記 錄介質(zhì)。
根據(jù)該結(jié)構(gòu)，能夠提供記錄有在制作編碼數(shù)據(jù)時將參考可能幀幅 (參考幀緩沖信息)插入到編碼流中的編碼方法的程序的記錄介質(zhì)。
根據(jù)本發(fā)明的運動圖像編碼裝置，不重新設(shè)定編碼流的參數(shù)，而 能夠確保在將獨立編碼的多個流合成的情況下的參考關(guān)系的互換性。 并且，能夠提供根據(jù)所述內(nèi)容進行比較簡單的處理的運動圖像編碼裝 置。


圖l是以往的運動圖像傳輸系統(tǒng)的方框圖。
圖2是說明圖6的運動圖像編碼系統(tǒng)中的編碼數(shù)據(jù)的合成處理的概要圖。
圖3是說明參考圖片列表的構(gòu)造的概要圖。
圖4是說明運動圖像編碼裝置中的參考關(guān)系的概要圖。
圖5是以參考幀緩沖的狀態(tài)轉(zhuǎn)移來說明圖9中的參考關(guān)系的概要圖。
圖6是說明以往的編碼系統(tǒng)中的參考幀緩沖的狀態(tài)轉(zhuǎn)移的概要圖。
圖7是說明H.264編碼標準中的切片層語法的概要圖。
圖8是本發(fā)明的實施例中的數(shù)字照相機的方框圖。
圖9是本發(fā)明的實施例中的運動圖像傳輸系統(tǒng)的方框圖。
圖10是本發(fā)明的實施例中的參考幀緩沖的狀態(tài)轉(zhuǎn)移的概要圖。
圖11是本發(fā)明的實施例中的參考幀緩沖的狀態(tài)轉(zhuǎn)移的概要圖。
圖12是本發(fā)明的實施例中的參考幀緩沖的狀態(tài)轉(zhuǎn)移的概要圖。
圖13是本發(fā)明的實施例中的參考幀緩沖的狀態(tài)轉(zhuǎn)移的概要圖。
圖14是本發(fā)明的實施例中的參考幀識別符控制的流程圖。
圖15是示出分割序列和輸出序列154的圖。
符號說明
1數(shù)字照相機系統(tǒng) 2通信路 3發(fā)送裝置 4接收裝置 5分配器6A 6N、 6編碼器 7合成器
8參考幀緩沖控制部
601正交轉(zhuǎn)換部
602量化部
603反量化部
604反正交轉(zhuǎn)換部
605解塊濾波器部
606運動探索部
607幀內(nèi)預(yù)測部
608可變長編碼部
609幀存儲器
610參考幀識別符控制部
1401透鏡
1402攝像元件
1403圖像處理器
具體實施例方式
以下，參照

本發(fā)明的實施例。 (實施例)
以下，詳細說明實施例。
圖8是數(shù)字照相機系統(tǒng)1的方框圖。如圖8示出，數(shù)字照相機系統(tǒng)1包括光學透鏡1401;攝像元件 (圖像傳感器)1402;用于預(yù)處理的圖像處理器1403，將通過光電轉(zhuǎn)換 從攝像元件1402得到的傳感器圖像(RAW數(shù)據(jù))轉(zhuǎn)換為YUV格式數(shù)據(jù) DV1;以及發(fā)送裝置3，對從圖像處理器1403發(fā)送的YUV格式數(shù)據(jù) 進行編碼。
光學透鏡1401，在攝像元件1402上形成，數(shù)字照相機系統(tǒng)l拍 攝的運動圖像的影像。
攝像元件1402，生成光學透鏡1401所形成的影像的電信號。而 且，攝像元件1402，將所生成的電信號輸出到圖像處理器1403，并 將數(shù)字照相機系統(tǒng)1拍攝的運動圖像輸入到圖像處理器1403。而且， 進一步，具體而言，攝像元件1402，例如生成比電視廣播的幀率等的 通常的幀率高的幀率的運動圖像的電信號，并將高幀率的運動圖像輸 入到圖像處理器1403。
圖像處理器1403,對所輸入的運動圖像進行圖像處理，并將圖像 處理后的運動圖像輸出到發(fā)送裝置3。
發(fā)送裝置3，根據(jù)從圖像處理處理器1403輸出到發(fā)送裝置3的運 動圖像的輸入序列DV1(圖8)，生成以H.264編碼方式來對輸入序列 DV1進行編碼而得的輸出序列DS1(圖9)，并將所生成的輸出序列 DS1，通過通信路2(圖9)發(fā)送到接收裝置4。
圖9是示出本發(fā)明的實施例中的數(shù)字照相機系統(tǒng)1的詳細結(jié)構(gòu)的 方框圖。
圖9的下層示出數(shù)字照相機系統(tǒng)1具有的發(fā)送裝置3(圖8)的詳細如圖9的下層示出，數(shù)字照相機系統(tǒng)1，通過通信路2，從發(fā)送裝 置3向接收裝置4分發(fā)高幀率的運動圖像。由數(shù)字照相機系統(tǒng)1以及 接收裝置4的整體構(gòu)成運動圖像傳輸系統(tǒng)。而且，接收裝置4包括解碼器4m。解碼器4m，對接收裝置4所 接收的、發(fā)送裝置3發(fā)送的輸出序列DS1進行解碼。具體而言，解碼 器4m，以H.264編碼方式來對所接收的輸出序列DS1進行解碼。接 收裝置4，通過解碼器4m，對接收的輸出序列DS1進行解碼。發(fā)送裝置3包括分配器5;多個編碼器(編碼器6A 編碼器6N); 合成器7;以及參考幀緩沖控制部8(圖9的下層)。而且，例如，這些 分配器5等是，安裝在發(fā)送裝置3包括的集成電路的功能框。并且， 例如，這些分配器5等是，通過發(fā)送裝置3包括的計算機執(zhí)行軟件， 從而該計算機實現(xiàn)的功能的功能框。分配器5，依次循環(huán)分配輸入視頻數(shù)據(jù)(輸入序列)DV1的各個圖 片，并進行時間軸伸展，輸出多路的視頻數(shù)據(jù)DV1A、 DV1B、……、 DV1N。分配器5，將這些多路的視頻數(shù)據(jù)DV1A、DV1B、 、DV1N，輸出到編碼器6A 編碼器6N。從分配器5，向多個編碼器(編碼器6A 編碼器6N)分別輸入分配 器5所分割的視頻數(shù)據(jù)DV1A 視頻數(shù)據(jù)DV1N。編碼器6A 編碼器 6N，分別對該編碼器所輸入的視頻數(shù)據(jù)(視頻數(shù)據(jù)DV1A 視頻數(shù)據(jù) DV1N)進行編碼。由編碼器6A 編碼器6N編碼后的視頻數(shù)據(jù) DV1A 視頻數(shù)據(jù)DV1N，分別被稱為編碼數(shù)據(jù)DS1A DS1N。而且，分配器5，將輸入視頻數(shù)據(jù)DV1分割為由編碼器6A 編 碼器6N編碼的N個分割序列。編碼器6A 編碼器6N對所分割的各 個分割序列進行編碼，并從編碼器6A 編碼器6N向合成器7分別輸 出編碼后的各個分割序列。而且，分配器5所分割的N個分割序列，都具有比輸入視頻數(shù)據(jù) DV1的幀率低的幀率。例如，具有比輸入視頻數(shù)據(jù)DV1的幀率慢N 倍的幀率。具體而言，例如，這些N個分割序列的幀率等于電視廣播 的幀率。圖9的上層示出編碼器6的詳細結(jié)構(gòu)。編碼器6是編碼器6A 編碼器6N(圖9的下層)之中的一個。例 如，編碼器6是編碼器6A。而且，編碼器6B 編碼器6N的詳細結(jié) 構(gòu)，與編碼器6(編碼器6A)的詳細結(jié)構(gòu)個9的上層)相同。編碼器6包括正交轉(zhuǎn)換部(T)601、量化部(Q)602、反量化部(Q— 1)603、反正交轉(zhuǎn)換部(T一 1)604、解塊濾波器部(DBF)605、幀存儲器 (FM)609、幀內(nèi)預(yù)測部(INTRA)607、運動探索部(ME)606、可變長編 碼部(VLC)608、以及參考幀識別符控制部610。以下，正交轉(zhuǎn)換部 (T)601 運動探索部(ME)606的整體被稱為前級編碼部。編碼器6包 括前級編碼部、可變長編碼部(VLC)608以及參考幀識別符控制部610。而且，構(gòu)成編碼器6的前級編碼部(正交轉(zhuǎn)換部(T)601、量化部 (Q)602、反量化部(Q—1)603、反正交轉(zhuǎn)換部(T—1)604、解塊濾波器 部(DBF)605、幀存儲器(FM)609、幀內(nèi)預(yù)測部(INTRA)607、運動探 索部(ME)606)和可變長編碼部(VLC)608，具有與一般的H.264編碼處理中的功能相同的功能。對于這些前級編碼部、可變長編碼部，也 可以采用與它們相對應(yīng)的規(guī)定的公知技術(shù)。對于這些前級編碼部、可變長編碼部，在圖14的說明中說明簡單的流程圖中的處理的流程。對于參考幀識別符控制部610、參考幀緩沖控制部8，參照圖10 圖13，首先進行詳細說明。合成器7(圖9的下層)，對由編碼器6A 編碼器6N編碼的編碼 數(shù)據(jù)DS1A、 DS1B、……、DS1N進行時間軸壓縮后，以圖片為單位， 依次循環(huán)選擇時間軸壓縮后的編碼數(shù)據(jù)DS1A、 DS1B、……、DS1N， 以便與分配器5中的輸入視頻數(shù)據(jù)XDV1的分配相對應(yīng)。而且，合成 器7，將這些多個編碼數(shù)據(jù)DS1A、 DS1B、……、DS1N，合成為1 路的編碼數(shù)據(jù)DS1。通過發(fā)送裝置3，將合成后的編碼數(shù)據(jù)DS1發(fā)送 到接收裝置4。圖IO是示出由編碼器6(圖9的上層，編碼器6A)輸出的編碼數(shù)據(jù) DS1A的圖。圖11是示出由合成器7將編碼數(shù)據(jù)DS1A(圖IO)等合成而得的編 碼數(shù)據(jù)DS1(圖9的下層)的圖。利用圖10、圖11說明參考幀識別符控制部610(圖9的上層)的工作。參考幀識別符控制部610(圖9的上層)，在視頻數(shù)據(jù)XDV1A設(shè)定 全局索引，該全局索引用于唯一地確定編碼數(shù)據(jù)DS1(圖9的下層，圖 ll)具有的各個幀中的一個幀。圖10表示編碼器6(編碼器6A)制作圖10的編碼流DS1A時的參考圖片列表。并且，在圖11中，示出利用N路(2路)的編碼器進行合成時的例 子。在圖11中，舉例示出N為2的情況。在編碼器有N路的情況下 的參考幀關(guān)系，具有離間N—1幀(1幀)的參考關(guān)系。在圖10中，由frame—n+2參考的幀是frame—n+l， 一般而言，從參考圖片列表的參考幀識別符最小的值的幀開始，依次參考各個幀。 也就是，frame—n+2的參考幀識別符(ref—idx)為0。在圖10中，以 從frame—n+2延伸的虛線的箭頭線來示出，frame一n+2的ref一idx 為0。但是，若照原樣進行編碼，艮P，若照原樣以refjdx為O來進行 編碼，則合成器7所合成的編碼數(shù)據(jù)DS1(圖11)，不能表示準確的參 考。于是，由于合成后的編碼數(shù)據(jù)DS1具有離間N—1幀(l幀)的參考 關(guān)系，因此，在編碼器6(編碼器6A)進行編碼時，編碼器6(編碼器6A) 的參考幀識別符控制部610，預(yù)先控制參考幀識別符(ref—idx)，并進行 編碼，以便成為離間的參考關(guān)系。也就是，參考幀識別符控制部610， 將本來以虛線的箭頭線(圖IO)來示出的參考幀關(guān)系，置換為以實線的 箭頭線來示出的參考幀關(guān)系。據(jù)此，例如，如圖10的frame一n+2的 "ref—idx=l"示出，frame—n+2的ref—idx從0被置換為1。而且，具體而言，例如，參考幀識別符控制部610也可以，設(shè)定 置換前的值后，設(shè)定置換后的值，從而簡直進行置換。并且，參考幀 識別符控制部610也可以，不逐一設(shè)定置換前的值，而就設(shè)定置換后 的值。而且，參考幀識別符，根據(jù)包含該參考幀識別符的幀、和由該幀參考的幀(參考幀)之間的距離，即，根據(jù)這些幀相互離間的距離，來確 定戶萬參考的幀(參考幀)。參考幀識別符包含，由與該參考幀識別符的幀 之間的距離而成的索引，確定該索引的距離的幀，以作為參考幀。參 考幀識別符，以相對指定(自己相對指定)來確定參考幀。
而且，包含參考幀識別符的幀也可以是，例如所謂P幀
(Predecated Frame)。而且，包含參考幀識別符的幀也可以是，例如 所謂B幀(Bi—directional Predecated Frame)。
圖11表示解碼器4m(圖9)對將進行了所述控制的編碼數(shù)據(jù) DS1A、編碼數(shù)據(jù)DS1B合成而得的編碼數(shù)據(jù)DS1進行解碼時的參考 圖片列表的狀態(tài)轉(zhuǎn)移。
而且，在圖11中示出將新的二個編碼數(shù)據(jù)合成的結(jié)果。也就是， 不由圖10的frame—n frame—n+3而成的編碼數(shù)據(jù)DS1A，而將其 它的編碼數(shù)據(jù)合成而得的編碼數(shù)據(jù)，就是由圖11的frame_n frame—n+5而成的編碼數(shù)據(jù)DS1。
在圖11中，對于frame_n frame—n+5，在參考圖片列表中， 從解碼時刻最近的幀開始，依次分配更小的參考幀識別符(ref一idx)。并 且，由于各個幀的參考幀識別符(refjdx)，保持在合成后的編碼數(shù)據(jù) DS1中離間2幀的參考關(guān)系，即，保持在合成前的編碼數(shù)據(jù)DS1A中 離間l幀的參考關(guān)系，因此，解碼器4m，能夠依據(jù)正常的參考關(guān)系信 息進行幀解碼處理。
并且，禾擁圖12、圖13說明存在多個幀參考關(guān)系的情況下的發(fā) 送裝置3的工作。在圖12中設(shè)想，流(編碼數(shù)據(jù)DS1A，圖9)的frame—n+2參考 frame—n 、 frame—n +1的多個幀。并且，設(shè)想?yún)畲笾?(num—ref一fmmes)被限制為3。在此情況下，能夠參考的幀識別符 (ref一idx)，最大為2。圖13示出在合成器7將2路的編碼流合成的'瞎 況下的參考圖片的狀態(tài)轉(zhuǎn)移。
在圖13中，對于fmme一n+4，變更frame—n+4的幀識別符 (ref—idx)，以便參考frame—n+2和frame—n。也就是，在圖13中， frame_n+4的宏塊是，縱向排列的六個宏塊(macro—block)中的、從 上第5個宏塊。而且，該frame一n + 4的宏塊具有二個幀識別符 (ref—idx)。而且，對于這些二個幀識別符(ref—idx)的值，如圖13的實 線的箭頭線示出，由參考幀識別符控制部610，預(yù)先不設(shè)定0以及1， 而設(shè)定1以及3。
參考幀緩沖控制部8(圖9的下層)，設(shè)定參考幀最大值 (num_ref_frames)。
若仍然參考幀最大值(num—ref—frames)為3，則frame—n+4的 解碼時所參考的frame—n的幀識別符(ref—idx)為3(ref_idx=3，圖13)， 因此不能參考。因此，參考幀緩沖控制部8(圖9的下層)，在由合成器 7合成為1路時，將作為序列參數(shù)集(Sequence—Parameter—Set)語法 的參考幀最大值重新設(shè)定為(原設(shè)定值X幀分割數(shù))，從而合成為1路。 其結(jié)果為，在合成時重新設(shè)定了的參考幀最大值為4，在frame—n+4 的解碼時所參考的frame一n的幀識別符(ref一idx)的值3，成為能夠參 考的值。并且，利用圖14說明由參考幀識別符控制部610的參考幀識別符 控制處理、以及由參考幀緩沖控制部8的參考幀緩沖控制處理的流程 圖。
在圖14中，首先，例如發(fā)送裝置3的分配器3等，對各個編碼器 設(shè)定并聯(lián)度N，該并聯(lián)度N示出以幾路的編碼器來進行編碼處理 (S1301)。其次，根據(jù)H.264標準，編碼器6A的前級編碼部(正交轉(zhuǎn) 換部(T)601等)進行編碼處理(S1302 S1309)。其次，參考幀識別符 控制部610，將在畫面間預(yù)測處理(ME :運動檢測)中參考的幀的原幀 識別符(ref—idx—OLD)變更為新的幀識別符(ref—idx—NEW)(S1310)。 而且，參考幀識別符控制部610，通過"ref—idx—NEW=(ref—idx—OLD + 1)*N_1"的計算式，從變更前的幀識別符(ref—id3^0LD)算出，變 更后的幀識別符(ref—idx—NEW)。而且，參考幀識別符控制部610也 可以，先設(shè)定ref一idx—OLD，然后，將設(shè)定了的設(shè)定內(nèi)容變更為 ref—idx—NEW，從而設(shè)定ref—idx—NEW。也就是，參考幀識別符控制 部610也可以，先將原來的值修正為ref一idx—OLD，然后，還將作為 被修正了的設(shè)定內(nèi)容的ref—idx—OLD，修正為ref—idx—NEW。并且， 參考幀識別符控制部610也可以，不先將原來的值修正為 ref—idx_OLD，而直接將原來的值修正為ref—idx—NEW。
其次，可變長編碼部(VLC)608，根據(jù)H.264標準，對由參考幀識 別符控制部610變更后的幀識別符進行可變長編碼(S1311)。若幀內(nèi)的 所有的宏塊的編碼已完成(S1312)，則編碼器等將切片頭信息、圖片參 數(shù)集信息附加在流中(S1313、 S1314)，若編碼對象幀是序列的最后幀(S1315 :"是")，則參考幀緩沖控制部8進行參考幀緩沖控制(S1316)。 其處理是，如上所述，變更參考幀最大值(num—ref_frames)，并變更 參考幀保持區(qū)間的處理。其次，合成器7，將包含被變更了的參考幀最 大值(num一ref—fmmes)的序列參數(shù)集信息附加在流中(S1317)。
以往的技術(shù)中存在的問題是，為了將獨立地編碼后的多個流合成 后，重新設(shè)定具有不匹配的參考關(guān)系，而需要流操作部、桶形移位器 以及用于暫時保持流的緩沖存儲器，導致消耗電力增加的問題。根據(jù) 該數(shù)字照相機系統(tǒng)1，能夠避免該問題。也就是，數(shù)字照相機系統(tǒng)1 中的發(fā)送裝置3包括參考幀識別符控制部610和參考幀緩沖控制部8， 在制作編碼流時，通過控制可變長編碼器，從而在合成前，預(yù)先設(shè)定 合成后的參考關(guān)系。據(jù)此，能夠提供運動圖像編碼裝置(發(fā)送裝置3)， 其不需要南于重新設(shè)定已被構(gòu)成為編碼流的參數(shù)的緩沖存儲器、啟動 代碼檢測器、進行可變長解碼的流控制部、以及用于將編碼數(shù)據(jù)位移 的桶形移位器。
而且，在所述的實施例中，假設(shè)根據(jù)H.264標準進行編碼處理的 情況來說明了，但是，本發(fā)明不僅限于此，可以廣泛地適用于以能夠 將多個圖片作為參考圖片的各種編碼方式來進行編碼處理的情況。
并且，在所述的實施例中說明了，由硬件構(gòu)成各個處理，并且該 硬件被構(gòu)成為編碼處理終端的情況，但是，本發(fā)明不僅限于此，也可 以考慮到由硬件構(gòu)成各個處理，并且該硬件被構(gòu)成為一個LSI(大規(guī)模 集成電路)的情況。
并且，也可以考慮到被構(gòu)成為編入程序的情況，該編入程序用于通過軟件處理控制LSI內(nèi)的專用數(shù)字信號處理器的運算處理。
并且，也可以考慮到被構(gòu)成為程序的情況，該程序用于通過軟件 處理控制個人電腦內(nèi)的通用運算處理。
在此情況下，也可以將運算處理的程序記錄在光盤、磁盤、存儲 卡、LSI內(nèi)的指令存儲器等的各種記錄介質(zhì)中來提供，并且，也可以 通過互聯(lián)網(wǎng)等網(wǎng)絡(luò)來提供。
圖15是示出由分配器5分割后的多個分割序歹ij、和由合成器7將 分割后的多個分割序列合成而得的輸出序列154的圖。
右邊的分割序列(分割序列152以及分割序列153)是，由編碼器 6(編碼器6A)編碼的分割序列(圖9的視頻數(shù)據(jù)DV1A、編碼數(shù)據(jù) DS1A)。
分割序列152是，就在由可變長編碼部608(圖9的上層)進行可變 長編碼之前的分割序列。
分割序列153是，在由可變長編碼部608進行可變長編碼之后的 分割序列(編碼數(shù)據(jù)DS1A)。在圖15中，通過在分割序列153附加陰 影線，從而示出分割序列153被可變長編碼。
輸出序列154是，由合成器7將圖15的右邊的分割序列、左邊的 分割序列等的多個分割序列合成而得的輸出序列(圖9的輸出序列 DS1)。
分割序列152具有幀1520等的各個幀。
幀1520是分割序列152具有的各個幀之中的一個，例如是圖10 中的frame—n+2。幀1520具有參考幀識別符控制部610(圖9的上層)所設(shè)定的參考 幀識別符1520i。
數(shù)軸151a是，在圖15右邊的分割序列(分割序列152、分割序列 153)中的索引的數(shù)軸，艮卩，是局部索引的數(shù)軸。
數(shù)軸151c是，在輸出序列154中的索引的數(shù)軸，g口，是全局索引 的數(shù)軸。
索引Y是，由幀1520參考的幀的局部索弓l。索引Y是，確定針 對幀1520離間一個幀的距離的幀的索引。由幀1520參考的幀是，針 對幀1520離間一個幀的距離的幀。索引Y是，在圖10中以從frame—n + 2的macro—block延伸的虛線的箭頭線來示出的參考幀識別符。
而且，圖中的數(shù)軸151a、數(shù)軸151c、索引Y，都是僅僅為了便于 說明而示出的，而不是數(shù)字照相機系統(tǒng)1的一部分。
參考幀識別符1520i是具有全局索引的參考幀識別符，該全局索 引用于在數(shù)軸151c中確定索引Y所確定的幀。在圖10中，參考幀識 別符1520i是，以從frame—n+2的macro_block延伸的實線的箭頭 線、以及frame一n+2的macro—block所示的"ref—idx=l"來示出的。
分割序列155以及分割序列156是，例如在編碼器6B等其它的 編碼器中的分割序列。
在分割序列152以及分割序列153中通過數(shù)軸151a的局部索引， 索引Y確定的幀是，在輸出序列154中通過數(shù)軸151c的全局索引， 參考幀識別符1520i確定的幀。而且，在分割序列152以及分割序列 153中，索引Y確定的幀是，由幀1520參考的幀。因此，輸出序列154的參考幀識別符1520i，即使在每次合成輸出序列154后不被變 更，也具有適當?shù)膬?nèi)容。因此，在解碼器4m解碼輸出序列154時， 根據(jù)參考幀識別符1520i，由解碼器4m適當?shù)亟獯a輸出序列154的 幀1520。
如上所述，構(gòu)成運動圖像編碼裝置(發(fā)送裝置3、發(fā)送裝置3的i十 算機、發(fā)送裝置3的集成電路等)，該運動圖像編碼裝置(發(fā)送裝置3、 發(fā)送裝置3的計算機、發(fā)送裝置3的集成電路等)，包括分割部(分配 器5 :圖9的下層)，將輸入到該運動圖像編碼裝置的輸入序列分割為 N條(N》2)分割序列(圖15中左邊的分割序列、右邊的分割序列等)； N個編碼器(編碼器6A 編碼器6N :圖9的下層)，對所述分割部所 分割的N條分割序列進行編碼；以及多路復(fù)用部(合成器7 :圖9的下 層)，將N個所述編碼器所編碼的N條所述分割序列多路復(fù)用為一條 輸出序列(輸出序列DS1、輸出序列154);所述輸出序列包含索引(參 考幀識別符1520i、參考圖像索引)，該索引唯一地確定該輸出序列具 有的各個圖像中的一個圖像；所述運動圖像編碼裝置，包括索引控 制部(參考幀識別符控制部610 :圖9的下層)，在分割序列被多路復(fù)用 為所述輸出序列之前，在該分割序列設(shè)定所述索引。
而且，在此，"唯一地"的語句意味著，依據(jù)索引確定各個圖像中 的多個特定圖像，索引不確定多個特定圖像的每一個，而依據(jù)索引確 定各個圖像中的一個特定圖像，從而依據(jù)索引只確定該一個特定圖像。
據(jù)此，根據(jù)本實施例的運動圖像編碼裝置(發(fā)送裝置3 :參照圖9 的下層)，在由多路復(fù)用部的多路復(fù)用(重疊)之前，設(shè)定索引。據(jù)此，不通過處理量大的處理，而通過簡單的處理，能夠設(shè)定索引。
而且，構(gòu)成運動圖像編碼裝置，該運動圖像編碼裝置，所述索引
控制部為N個，N個所述索引控制部分別被設(shè)置在相互不同的所述編 碼器上，在由設(shè)置有該索引控制部的編碼器編碼的分割序列被多路復(fù) 用為所述輸出序列之前，在該分割序列設(shè)定所述索引(參考幀識別符 1520i、參考圖像索引)，所述索引確定該分割序列中包含的一個圖像(參 考幀)；所述多路復(fù)用部，將N個所述分割序列多路復(fù)用為輸出序列， 從而第t個所述編碼器(l《t《N)編碼的分割序列的第s個圖像(s為整 數(shù))為所述輸出序列的第(sXN+t+At)個(At(l《t《N)為預(yù)先設(shè)定的 整數(shù))；被設(shè)置在第t個所述編碼器的第t個所述索引控制部(l《t《N)， 針對分割序列中包含的該圖像的順序s和所述t，設(shè)定順序為(sXN+t 十At)的索引。
而且，如上所述，ref—idx—NEW、以及ref—idx—OLD具有 "ref—idx—NEW 二(ref—idx—OLD+l)*N—1"的關(guān)系。
而且，構(gòu)成運動圖像編碼裝置，該運動圖像編碼裝置，所述分割 部，例如按照數(shù)字照相機系統(tǒng)1進行高速拍攝還是通常速度的拍攝， 從N以下的各個值(1 N)中選擇選擇值，將所述輸入序列分割為所選 擇的^f述選擇值的條數(shù)的分割序列；N個所述編碼器，通過N個該編 碼器中的所述選擇值的個數(shù)的編碼器，對所述分割部所分割的所述選 擇值的條數(shù)的分割流進行編碼；所述多路復(fù)用部，將該選擇值的個數(shù) 的所述編碼器所編碼的、該選擇值的條數(shù)的所述分割序列多路復(fù)用為 一條輸出序列；所述索引控制部為N個，N個所述索引控制部分別被設(shè)置在相互不同的所述編碼器上，在所述選擇值的個數(shù)的編碼器中包 含設(shè)置有該索引控制部的所述編碼器的情況下，在該編碼器編碼的分 割序列被多路復(fù)用為所述輸出序列之前，在該分割序列設(shè)定所述索引， 所述索引確定該分割序列中包含的一個圖像。
而且，所述分割部，例如，在進行高速拍攝的情況下，選擇用于 高速拍攝的選擇值，該用于高速拍攝的選擇值的值比在進行通常速度 的拍攝的情況下選擇的通常選擇值大。
而且，構(gòu)成運動圖像編碼裝置，該運動圖像編碼裝置是集成電路(發(fā)
送裝置3包括的集成電路)，該集成電路被設(shè)置在拍攝運動圖像的攝像 裝置(數(shù)字照相機系統(tǒng)l)上，表示該攝像裝置所拍攝的所述運動圖像的 輸入序列被輸入到該集成電路；所述攝像裝置拍攝第一運動圖像和第 二運動圖像(例如60XN個的個數(shù))，所述第二運動圖像在單位時間內(nèi) 具有的圖像的個數(shù)比所述第一運動圖像的個數(shù)(例如60)多；所述分割 部，在所述攝像裝置拍攝所述第二運動圖像的情況下，選擇大于第一 選擇值(例如l)的第二選擇值(例如N)，所述第一選擇值是在所述攝像 裝置拍攝所述第一運動圖像的情況下被選擇的。
而且，構(gòu)成運動圖像編碼裝置，該運動圖像編碼裝置，所述輸出 序列包含緩沖信息(參考幀最大值(num一ref一frames))，該緩沖信息指 定在運動圖像解碼裝置對該輸出序列進行解碼時的、該運動圖像解碼 裝置記憶由所述索引確定的圖像的緩沖(DPB : Decoded Picture Buffer)的大小，所述運動圖像編碼裝置，包括緩沖信息控制部(參考 幀緩沖控制部8 :圖9的下層)，在所述輸出序列設(shè)定所述緩沖信息。而且，構(gòu)成運動圖像編碼裝置，該運動圖像編碼裝置，所述輸出 序列包含緩沖信息，該緩沖信息用于在運動圖像解碼裝置對該輸出序 列進行解碼時指定記憶由所述索引確定的圖像的緩沖器的大小，該運
動圖像解碼裝置是通過所述緩沖器記憶由所述索引確定的圖像的；所 述運動圖像編碼裝置，包括緩沖信息控制部，在所述輸出序列設(shè)定所 述緩沖信息；所述緩沖信息控制部，在所述輸出序列設(shè)定所述緩沖信 息，所述緩沖信息在作為所述索引控制部的個數(shù)的所述選擇值越多的 情況下，就越指定大小大的緩沖器，所述索引控制部設(shè)定所述索引。
而且，構(gòu)成運動圖像編碼裝置，該運動圖像編碼裝置，N個所述 編碼部，分別包括所述索引控制部，被設(shè)置在該編碼部上；索引必 要編碼部(前級編碼部正交轉(zhuǎn)換部(T)601、量化部(Q)602、反量化部 (Q —1)603、反正交轉(zhuǎn)換部(T一 1)604、解塊濾波器部(DBF)605、幀存 儲器(FM)609、運動探索部(ME)606、幀內(nèi)預(yù)測部(INTRA)607、)， 對該分割流進行編碼，以便在運動圖像解碼裝置對所述輸出序列進行 解碼的情況下，使該編碼部所設(shè)定的所述索引成為該運動圖像解碼裝 置(解碼器4m)所需要的索引；以及可變長編碼部(可變長編碼部608)， 對所述索弓I必要編碼部所編碼的所述分割流進行可變長編碼；該索引 控制部，在由所述可變長編碼部進行可變長編碼之前，在所述分割流 設(shè)定所述索引。
而且，構(gòu)成運動圖像編碼裝置，該運動圖像編碼裝置，所述索引 必要編碼部，包括反量化部(反量化部(Q—1)603)，將過去的圖像的 頻率系數(shù)值被量化了的量化值反量化為頻率系數(shù)值；反正交轉(zhuǎn)換處理部(反正交轉(zhuǎn)換部(T一 1)604)，根據(jù)所述反量化部所反量化的所述頻率 系數(shù){直，算出該頻率系數(shù)值示出的所述過去的圖像；解塊濾波器部(解 塊濾波器部(DBF)605)，對所述反正交轉(zhuǎn)換處理部所算出的所述過去的 圖像進行解塊濾波處理；推測部(幀內(nèi)預(yù)測部(INTRA)607)，根據(jù)由所 述解塊濾波器部進行解塊濾波處理后的所述過去的圖像，算出當前的 圖像的推測圖像；正交轉(zhuǎn)換部(正交轉(zhuǎn)換部(T)601)，將所述當前的圖像 和所述推測部所算出的所述推測圖像之間的差分轉(zhuǎn)換為頻率系數(shù)值； 以及量化部(量化部(Q)602)，將所述正交轉(zhuǎn)換部所轉(zhuǎn)換的所述頻率系數(shù) 值量化為量化值；所述可變長編碼部(可變長編碼部(VLC)608)，對編 碼信息進行可變長編碼，該編碼信息包含所述量化部所量化的所述量 化值；所述索引控制部，將確定所述過去的圖像的索引設(shè)定在由所述 可變長編碼部進行可變長編碼的所述編碼信息中，并使所述可變長編 碼部對設(shè)定有該索弓I的所述編碼信息進行可變長編碼。
而且，構(gòu)成運動圖像編碼裝置，該運動圖像編碼裝置，所述輸出 序列(圖9的輸出序列DS1、圖15的輸出序列154)是對所述輸入序列 (圖9的輸入序列DV1)進行根據(jù)H.264編碼標準的編碼而得到的序列。
本發(fā)明涉及的運動圖像編碼裝置，例如有用于利用H.264編碼進 行高速攝像圖像的編碼處理的攝像系統(tǒng)。
能夠提供該運動圖像編碼裝置進行的處理比較簡單的運動圖像編 碼裝置。
權(quán)利要求
1、一種運動圖像編碼裝置，包括分割部，將輸入到該運動圖像編碼裝置的輸入序列分割為N條分割序列，其中N≥2；N個編碼器，對所述分割部所分割的N條分割序列進行編碼；以及多路復(fù)用部，將N個所述編碼器所編碼的N條所述分割序列多路復(fù)用為一條輸出序列；所述輸出序列包含索引，該索引唯一地確定該輸出序列具有的各個圖像中的一個圖像；所述運動圖像編碼裝置，還包括索引控制部，在分割序列被多路復(fù)用為所述輸出序列之前，在該分割序列設(shè)定所述索引。
2、 如權(quán)利要求l所述的運動圖像編碼裝置， 所述索引控制部為N個，N個所述索弓I控制部分別被設(shè)置在相互不同的所述編碼器上， 在由設(shè)置有該索引控制部的編碼器編碼的分割序列被多路復(fù)用為所述輸出序列之前，在該分割序列設(shè)定所述索引，所述索引確定該分割序列中包含的一個圖像，所述多路復(fù)用部將N個所述分割序列多路復(fù)用為輸出序列，從而第t個所述編碼器編碼的分割序列的第s個圖像為所述輸出序列的第sXN+t+At個，其中1《t《N， s為整數(shù)，At為常數(shù)，被設(shè)置在第t個所述編碼器的第t個所述索引控制部，針對分割序 列中包含的該圖像的順序s和所述t，設(shè)定順序為sXN+t+At的索 引。
3、 如權(quán)利要求l所述的運動圖像編碼裝置， 所述分割部從所述N以下的各個值中選擇選擇值，將所述輸入序列分割為所選擇的所述選擇值的條數(shù)的分割序列，N個所述編碼器通過N個該編碼器中的所述選擇值的個數(shù)的編碼 器，對所述分割部所分割的所述選擇值的條數(shù)的分割流進行編碼，所述多路復(fù)用部將該選擇值的個數(shù)的所述編碼器所編碼的、該選 擇值的條數(shù)的所述分割序列多路復(fù)用為一條輸出序列，所述索引控制部為N個，N個所述索弓I控制部分別被設(shè)置在相互不同的所述編碼器上， 在所述選擇值的個數(shù)的編碼器中包含設(shè)置有該索引控制部的所述 編碼器的情況下，在該編碼器編碼的分割序列被多路復(fù)用為所述輸出 序列之前，在該分割序列設(shè)定用于確定該分割序列中包含的一個圖像 的所述索引。
4、 如權(quán)利要求3所述的運動圖像編碼裝置， 該運動圖像編碼裝置是集成電路，該集成電路被設(shè)置在拍攝運動圖像的攝像裝置上，表示該攝像裝 置所拍攝的所述運動圖像的輸入序列被輸入到該集成電路，所述攝像裝置拍攝第一運動圖像和第二運動圖像，所述第二運動圖像在單位時間內(nèi)具有的圖像的個數(shù)比所述第一運動圖像的個數(shù)多，在所述攝像裝置拍攝所述第二運動圖像的情況下，所述分割部選 擇大于第一選擇值的第二選擇值，所述第一選擇值是在所述攝像裝置 拍攝所述第一運動圖像的情況下被選擇的。
5、 如權(quán)利要求l所述的運動圖像編碼裝置，所述輸出序列包含緩沖信息，該緩沖信息用于指定在運動圖像解 碼裝置對該輸出序列進行解碼時該運動圖像解碼裝置記憶由所述索引 確定的圖像的緩沖器的大小，所述運動圖像編碼裝置，包括緩沖信息控制部，在所述輸出序列設(shè)定所述緩沖信息。
6、 如權(quán)利要求3所述的運動圖像編碼裝置， 所述輸出序列包含緩沖信息，該緩沖信息用于指定在運動圖像解碼裝置對該輸出序列進行解碼時該運動圖像解碼裝置記憶由所述索引 確定的圖像的緩沖器的大小，所述運動圖像編碼裝置包括緩沖信息控制部，該緩沖信息控制部 在所述輸出序列設(shè)定所述緩沖信息，在作為用于設(shè)定所述索引的所述索引控制部的個數(shù)的所述選擇值 越多的情況下，所述緩沖信息控制部就在所述輸出序列設(shè)定用于指定 越大的大小的緩沖器。
7、 如權(quán)利要求1所述的運動圖像編碼裝置， 所述索引控制部為N個，N個所述索引控制部分別被設(shè)置在相互不同的所述編碼器上，在由設(shè)置有該索引控制部的編碼器編碼的分割序列被多路復(fù)用為 所述輸出序列之前，在該分割序列設(shè)定所述索引，所述索引確定該分 割序列中包含的一個圖像，N個所述編碼部，分別包括所述索引控制部，被設(shè)置在該編碼部上；索引必要編碼部，對該分割流進行編碼，以便在運動圖像解碼裝 置對所述輸出序列進行解碼的情況下，使該編碼部所設(shè)定的所述索引 成為該運動圖像解碼裝置所需要的索引；以及可變長編碼部，對所述索引必要編碼部所編碼的所述分割流進行 可變長編碼；在由所述可變長編碼部進行可變長編碼之前，該索引控制部在所 述分割流設(shè)定所述索引。
8、如權(quán)利要求7所述的運動圖像編碼裝置， 所述索引必要編碼部包括反量化部，將過去的圖像的頻率系數(shù)值被量化了的量化值反量化 為頻率系數(shù)值；反正交轉(zhuǎn)換處理部，根據(jù)所述反量化部所反量化的所述頻率系數(shù) 值，算出該頻率系數(shù)值示出的所述過去的圖像；解塊濾波器部，對所述反正交轉(zhuǎn)換處理部所算出的所述過去的圖 像進行解塊濾波處理；推測部，根據(jù)由所述解塊濾波器部進行解塊濾波處理后的所述過 去的圖像，算出當前的圖像的推測圖像；正交轉(zhuǎn)換部，將所述當前的圖像和所述推測部所算出的所述推測 圖像之間的差分轉(zhuǎn)換為頻率系數(shù)值；以及量化部，將所述正交轉(zhuǎn)換部所轉(zhuǎn)換的所述頻率系數(shù)值量化為量化值；所述可變長編碼部對編碼信息進行可變長編碼，該編碼信息包含 所述量化部所量化的所述量化值；所述索引控制部將確定所述過去的圖像的索引設(shè)定在由所述可變 長編碼部進行可變長編碼的所述編碼信息中，并使所述可變長編碼部 對設(shè)定有該索引的所述編碼信息進行可變長編碼。
9、 如權(quán)利要求l所述的運動圖像編碼裝置，所述輸出序列是對所述輸入序列進行根據(jù)H.264編碼標準的編碼 而得到的序列。
10、 一種運動圖像編碼方法，包括分割工序，將輸入序列分割為N條分割序列，其中N》2;編碼工序，通過N個編碼器對在所述分割工序所分割的N條分割 序列進行編碼；以及多路復(fù)用工序，將在所述編碼工序所編碼的N條所述分割序列多 路復(fù)用為一條輸出序列；所述輸出序列包含索引，該索引唯一地確定該輸出序列具有的各 個圖像中的一個圖像；所述運動圖像編碼方法，還包括索引控制工序，在分割序列被多路復(fù)用為所述輸出序列之前，在該分割序列設(shè)定所述索引。
11、 一種計算機程序，使計算機執(zhí)行以下的工序分割工序，將輸入序列分割為N條分割序列，其中N^2;編碼工序，通過N個編碼器對在所述分割工序所分割的N條分割 序列進行編碼；以及多路復(fù)用工序，將在所述編碼工序所編碼的N條所述分割序列多 路復(fù)用為一條輸出序列；所述輸出序列包含索引，該索引唯一地確定該輸出序列具有的各 個圖像中的一個圖像；所述程序還使計算機執(zhí)行索引控制工序，在分割序列被多路復(fù)用 為所述輸出序列之前，在該分割序列設(shè)定所述索引。
12、 一種集成電路，包括分割部，將輸入序列分割為N條分割序列，其中N》2; N個編碼器，對所述分割部所分割的N條分割序列進行編碼；以及多路復(fù)用部，將N個所述編碼器所編碼的N條所述分割序列多路 復(fù)用為一條輸出序列；所述輸出序列包含索引，該索引唯一地確定該輸出序列具有的各 個圖像中的一個圖像；所述集成電路，還包括索引控制部，在分割序列被多路復(fù)用為所述輸出序列之前，在該 分割序列設(shè)定所述索引。
全文摘要
分割序列被重疊為輸出序列后，索引被變更，則需要處理量多的處理。于是，發(fā)送裝置(3)包括分配器(5)，將輸入序列(DV1)分割為N條(N≥2)分割序列；N個編碼器(6A～6N)，對所述分配器(5)所分割的N條分割序列進行編碼；以及合成器(7)，將N個所述編碼器所編碼的N條所述分割序列多路復(fù)用為一條輸出序列(DS1)；所述輸出序列(DS1)包含參考圖像索引，該參考圖像索引唯一地確定該輸出序列(DS1)具有的各個幀中的參考幀；發(fā)送裝置(3)還包括參考幀識別符控制部(610)，在分割序列被多路復(fù)用為所述輸出序列(DS1)之前，在分割序列設(shè)定所述的參考索引。
文檔編號H04N7/32GK101663897SQ20088000416
公開日2010年3月3日 申請日期2008年12月11日 優(yōu)先權(quán)日2007年12月14日
發(fā)明者梶田哲史 申請人:松下電器產(chǎn)業(yè)株式會社