專利名稱：運動畫面流產(chǎn)生裝置，運動畫面編碼裝置，運動畫面多路復用裝置和運動畫面解碼裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種產(chǎn)生編碼運動畫面流的裝置，特別是產(chǎn)生可以對其執(zhí)行跳入播放、變速播放、逆向播放之類的特技播放的流的裝置。
背景技術(shù)：
最近，將聲音、畫面以及其它像素值集成到一種媒體中的多媒體時代已經(jīng)到來，并且將報紙、雜志、TV、無線電和電話之類的通信工具的現(xiàn)有信息媒體也看成是多媒體的目標。一般地講，多媒體是一種不僅將字符，而且也將圖像、聲音、特別是畫面同時顯現(xiàn)的形式。為了將上述現(xiàn)有信息媒體作為多媒體來處理，需要數(shù)字地顯現(xiàn)信息。
但是，利用上述現(xiàn)有信息媒體直接地數(shù)字處理巨量信息時不現(xiàn)實的，因為在把上述每種信息媒體的數(shù)據(jù)量計算為數(shù)字數(shù)據(jù)量時，每個字符的數(shù)據(jù)量是1至2字節(jié)，而每秒聲音的數(shù)據(jù)量不小于64千字節(jié)(電話語音質(zhì)量)，每秒運動畫面的數(shù)據(jù)量則不小于100兆字節(jié)(當前TV接收質(zhì)量)。例如，由于具有64kbps至1.5mbps的傳輸速度的綜合服務數(shù)字網(wǎng)(ISDN)的出現(xiàn)，TV電話已經(jīng)投入商業(yè)使用，但是，TV攝像機的運動畫面使用ISDN時，則不能傳輸它們。
這是為什么需要信息壓縮技術(shù)的原因。例如，將國際電信同盟-電信標準化部(ITU-T)推薦的H.261或H.263的運動畫面壓縮技術(shù)標準用于TV電話。此外，利用MPEG-1標準的信息壓縮技術(shù)，也使得能夠?qū)D像信息與聲音信息一同存儲在一張普通音樂CD(光盤)中。
在這里，運動畫面專家組(MPEG)是數(shù)字壓縮運動畫面信號的，并且已經(jīng)被ISO/IEC(國際標準化組織/國際工程協(xié)會(InternationalStandardization Organization/Internation Engineering Consortium))標準化的國際標準。MPEG-1是一種將運動畫面信號壓縮到1.5Mbps，即，壓縮到大約百分之一的標準。此外，滿足MPEG-1標準的質(zhì)量是能夠在大約1.5Mbps的傳輸率實現(xiàn)的中等水平。因此，將MPEG-2標準化以便滿足更高畫面質(zhì)量的需要，并且它將運動畫面信號壓縮到2至15Mbps。當前，標準化MPEG-1和MPEG-2的工作組(ISO/IEC JTC1/SC29/WG11)已經(jīng)將具有更高壓縮率的MPEG-4標準化。MPEG-4標準(i)取得了比MPEG-1和MPEG-2更高的壓縮率，(ii)允許在一個對象接一個對象的基礎(chǔ)上編碼，解碼和執(zhí)行操作，和(iii)實現(xiàn)了多媒體時代中的新的功能要求。MPEG-4的最初目的是要標準化具有低比特率的畫面的編碼方法，但是，目標擴展到了具有高比特率的隔行掃描畫面的通用目的的編碼方法。此后，ISO/IEC和ITU-T共同標準化了作為具有高壓縮率的畫面的下一代畫面編碼方法的MPEG-4AVC(高級視頻編碼)。預期用于下一代光盤裝置或在對移動終端的廣播中使用。
一般地講，在對運動畫面編碼中，通過減少時間和空間冗余來壓縮信息量。在針對減少時間冗余的畫面間預測編碼中，通過參考在前畫面或隨后畫面，在一塊接一塊的基礎(chǔ)上執(zhí)行運動評估和預測畫面產(chǎn)生，并且對得到的預測畫面和要編碼的畫面之間的差值進行編碼。這里使用的“畫面(Picture)”是代表一個畫面的術(shù)語。在行進畫面中，一個畫面意味著一幀，而在隔行掃描畫面中，它意味著一幀或一場。這里所述的“隔行掃描畫面”表示由具有輕微時間滯后的兩個場構(gòu)成的幀。在隔行掃描畫面的編碼和解碼中，可以將一幀作為其本身來處理，作為兩個場來處理，或在一幀中的每塊的一幀接一幀或場接場的基礎(chǔ)上處理。
用于執(zhí)行不參考任何參考畫面的內(nèi)部預測編碼的畫面叫做內(nèi)編碼畫面(Intra Coded Picture)(I畫面)。此外，用于執(zhí)行僅參考一個畫面的相互間預測編碼的畫面叫做預測編碼畫面(Predictive Coded Picture)(P畫面)。用于執(zhí)行參考兩個參考畫面的相互間預測編碼的畫面叫做Bi-預測編碼畫面(Bi-predictive Coded Picture)(B畫面)。B畫面可以參考選擇為在顯示時間上在前和在后畫面的任意組合的兩個畫面。這兩個參考畫面可以在一塊接一塊基礎(chǔ)上規(guī)定，塊是編碼和解碼的基礎(chǔ)單元。這些參考畫面如下相互區(qū)分將編碼比特流中較早說明的參考畫面稱為第一參考畫面，而把以后說明的其它參考畫面稱為第二參考畫面。應當注意，為了編碼或解碼P畫面或B畫面，這些參考畫面必須是已經(jīng)編碼或解碼的。
運動補償相互間預測編碼用于P畫面和B畫面的編碼。運動補償內(nèi)部預測編碼是一種應用運動補償?shù)膬?nèi)部預測編碼方法。運動補償是一種通過估算畫面的每個塊的運動量(以下稱為運動向量)和通過執(zhí)行考慮到運動向量的預測編碼而提高預測精度和減小數(shù)據(jù)量的方法。例如，通過估算要編碼的畫面的運動向量和通過給位移了每個運動向量的量的每個預測值與要編碼的每個當前畫面之間的每個預測余量編碼，而減小數(shù)據(jù)量。在使用這種方法的情況下，由于在解碼中需要運動向量信息，所以也要編碼、記錄或發(fā)送運動向量。
運動向量是在一個宏塊接一個宏塊的基礎(chǔ)上估算的。更具體地講，運動向量是通過固定要編碼的宏塊、在搜索范圍內(nèi)移動參考畫面的宏塊、和發(fā)現(xiàn)最靠近標準塊的參考宏塊的位置而估算的。
圖1A和1B分別是現(xiàn)有MPEG-2流的結(jié)構(gòu)圖。如圖1B中所示，MPEG-2流具有下面要說明的層級結(jié)構(gòu)。流是由畫面組(Group of Pictures)(以下稱為GOP)構(gòu)成的。將GOP用作編碼處理過程中的基礎(chǔ)單元能夠編輯運動畫面或執(zhí)行隨機存取。GOP是由I畫面、P畫面、和B畫面構(gòu)成的。流、GOP、和畫面進一步包括指示單元的邊界的同步信號(sync)，和指示各單元中共同數(shù)據(jù)的首部，在這里各單元分別是流、GOP和畫面。
圖2A和2B分別示出了如何執(zhí)行MPEG-2中使用的畫面間預測編碼的例子。圖中帶有斜線的畫面是被其它畫面參考的畫面。如圖2A中所示，在MPEG-2中的預測編碼中，P畫面(P0，P6，P9，P12和P15)可以僅參考選擇為在顯示時間上緊挨靠前的I畫面或P畫面的單一畫面。B畫面(B1，B2，B4，B5，B7，B8，B10，B11，B13，B14，B16，B17，B19和B20)可以參考選擇作為緊挨靠前的I畫面或P畫面和緊挨靠后的I畫面或P畫面的組合的兩個畫面。此外，要確定畫面在流中放置的順序。多個I畫面和一個P畫面按照顯示時間的順序放置，而每個B緊挨著要緊接著B畫面之后顯示的I畫面之后放置，或緊接著一個P畫面之后放置。作為GOP的結(jié)構(gòu)的例子，如圖2B中所示，從I3到B14的畫面被組成一個單一的GOP。
圖3A是MPEG-4AVC流的結(jié)構(gòu)圖。在MPEG-4AVC中，不存在與GOP等價的概念。但是，由于可以通過在能夠不依賴其它畫面解碼的特定畫面的基礎(chǔ)上將數(shù)據(jù)分段來構(gòu)造等價于GOP的隨機存取單元，以下將這種單元稱為RUA(隨機存取單元(Random Access Unit))。也就是說，隨機存取單元RAU是以能夠不依賴任何畫面解碼的內(nèi)編碼畫面開始的編碼畫面組。
接下來，說明作為處理流的基礎(chǔ)單元的存取單元(以下簡稱為AU)。AU是用于存儲等價于一個畫面的編碼數(shù)據(jù)的單元，并且包括參數(shù)集PS、片段數(shù)據(jù)、等等。有兩種類型的參數(shù)集PS。它們中的一個是作為等價于每個畫面的首部的數(shù)據(jù)的畫面參數(shù)集PPS(以下簡稱為PPS)。另一個是等價于包括在MPEG-2中的一個或更多GOP的單元中的首部的序列參數(shù)集SPS(以下簡稱為SPS)。SPS包括參考畫面的最大數(shù)量，畫面大小，等等。另一方面，PPS包括可變長度編碼類型，量化步驟的初始值，參考畫面的號碼，等等。每個畫面被賦予指示要參考上述PPS和SPS中哪一個的標識符。此外，在片段數(shù)據(jù)中包括作為標識畫面的標識號的幀號FN。應當注意，如下面要說明的，序列以所有解碼所需的狀態(tài)要在其重置的特殊畫面開始，并且它是由以特殊畫面開始并以緊靠下一個特殊畫面之前放置的畫面結(jié)束的畫面組構(gòu)成的。
在MPEG-4AVC中有兩種類型的I畫面。它們是瞬時解碼器刷新(IDR)畫面和另一種類型。IDR畫面是可以不用參考按解碼順序放置在IDR畫面之前的畫面，能夠?qū)Π唇獯a順序放置在IDR之后的所有畫面解碼的I畫面，也就是說，它是解碼所需的狀態(tài)在其被重置的I畫面。IDR畫面對應于MPEG-2閉合GOP的最前端I畫面。MPEG-4AVC中的序列以IDR畫面開始。在I畫面不是IDR畫面的情況下，按解碼順序位于該I畫面的之后的畫面可以參考按解碼順序位于該I畫面前面的畫面。以下定義各畫面類型。IDR畫面和I畫面是僅由I片段組成的畫面。P畫面是可以由P片段和I片段構(gòu)成的畫面。B畫面可以是由B片段，P片段和I片段構(gòu)成的畫面。應當注意，IDR畫面的片段存儲在其類型與存儲非IDR畫面的片段的NAL單元的類型不同的NAL單元中。在這里，NAL單元是子畫面單元。
在MPEG-4AVC中的AU中，不僅可以包括解碼所需的數(shù)據(jù)，而且也可以包括補充信息和AU的邊界信息。這種補充信息叫作補充增強信息(SEI)，并且片段數(shù)據(jù)的解碼不需要這種補充信息。諸如參數(shù)集PS、片段數(shù)據(jù)、和SEI之類的所有數(shù)據(jù)存儲在網(wǎng)絡(luò)抽象層(Network AbstractionLayer)(NAL)單元，即，NALU中。NAL單元是由首部和有效負載構(gòu)成的。首部包括指示存儲的數(shù)據(jù)類型的字段(以下稱為NAL單元類型)。分別為片段或SEI之類的數(shù)據(jù)類型定義了NAL單元類型的值。參考這種NAL單元類型的值能夠識別存儲在NAL單元中的數(shù)據(jù)的類型。NAL單元的首部包括叫作nal_ref_idc的字段。將nal_ref_idc定義為2字節(jié)字段，并且根據(jù)NAL單元的類型具有0、1或更大的值。例如，SPS或PPS的NAL單元具有1或更大的值。在片段的NAL單元的情況下，要被其它片段參考的片段采用1或更大的值，而不被參考的片段采用值0。此外，SEI的NAL單元總是采用值0。
可以將一個或更多的SEI消息存儲在SEI的NAL單元中。SEI消息是由首部和有效負載構(gòu)成的，存儲在有效負載中的信息類型由首部中指示的SEI消息的類型標識。在下文中，解碼AU表示對AU中的片段數(shù)據(jù)解碼，而顯示AU表示顯示AU中片段數(shù)據(jù)的解碼結(jié)果。
在這里，由于NAL單元不包括用于標識NAL單元邊界的信息，所以可以在存儲作為AU的NAL單元時，將邊界信息加入到每個NAL單元的最前端。在處理MPEG-2傳輸流(TS)中或MPEG-2程序流(PS)中的MPEG-4AVC流中，將顯示為0x000001的3字節(jié)的開始碼前綴加到NAL單元的最前端。此外，定義了必須將指示AU邊界的NAL單元插入到MPEG-2TS或PS中的AU的最前端，將這個AU稱為存取單元定界符(Access Unit Delimiter)。
按常規(guī)，已經(jīng)提出了類似這樣的各種有關(guān)運動畫面編碼的技術(shù)(例如，參考專利文獻1)。
專利文獻1日本未審查專利申請?zhí)卦S公開2003-18549。
圖4是現(xiàn)有技術(shù)的運動畫面編碼裝置的方框圖。
運動畫面編碼裝置1是輸出通過壓縮編碼將被輸入的輸入視頻信號Vin轉(zhuǎn)換成可變長度編碼流的比特流而得到的編碼流Str的裝置。運動畫面編碼裝置包括預測結(jié)構(gòu)確定單元PTYPE，運動向量估算單元ME，運動補償單元MC，減法單元Sub，正交變換單元T，量化單元Q，逆量化單元IQ，逆正交變換單元IT，加法單元Add，畫面存儲器PicMem，開關(guān)，和可變長度編碼單元VLC。
輸入的視頻信號Vin被輸入到減法單元Sub和運動向量估算單元ME。減法單元Sub計算輸入的輸入視頻信號Vin與預測畫面之間的差值，并將它輸出到正交變換單元。正交變換單元T將差值轉(zhuǎn)換成頻率系數(shù)，并將它輸出到量化單元Q。量化單元Q對輸入的頻率系數(shù)執(zhí)行量化，并將量化值Qcoef輸出到可變長度編碼單元。
逆量化單元IQ對量化值Qcoef執(zhí)行逆量化，以重構(gòu)頻率系數(shù)，并將它輸出到逆正交變換單元IT。逆正交變換單元IT執(zhí)行逆頻率變換，以將頻率系數(shù)變換成像素差值，并將它輸出到加法單元Add。加法單元Add將像素差值加到從運動補償單元MC輸出的預測畫面，以產(chǎn)生解碼畫面。當指令存儲解碼畫面時，開關(guān)SW轉(zhuǎn)變到ON，并將解碼畫面存儲在畫面存儲器PicMem中。
另一方面，在一個宏塊接一個宏塊的基礎(chǔ)上輸入了輸入視頻信號Vin的運動向量估算單元ME搜索存儲在畫面存儲器PicMem中的解碼畫面，和估算最接近輸入畫面信號的畫面區(qū)，從而確定指示位置的運動向量MV。運動向量估算是在一塊接一塊的基礎(chǔ)上執(zhí)行的，塊是宏塊的分割部分。由于此時多個畫面可以被用作參考畫面，所以需要在一塊接一塊基礎(chǔ)上的指定要參考的畫面的標識號(相關(guān)索引)。通過計算相關(guān)索引指示的畫面號，可以指定參考畫面，這種畫面號被賦予畫面存儲器PicMem中的對應畫面。
運動補償單元MC從存儲在畫面存儲器PicMem中的解碼畫面選擇最佳的畫面區(qū)作為預測畫面。
在隨機存取單元開始畫面RAUin指示隨機存取單元RAU以當前畫面開始的情況下，預測結(jié)構(gòu)確定單元PTYPE指令運動向量估算單元ME和運動補償單元MC對作為可利用其畫面類型Ptype隨機存取的特殊畫面的目標畫面執(zhí)行畫面內(nèi)編碼，并指令可變長度編碼單元VLC給畫面類型Ptype編碼。
可以長度編碼單元VLC對量化值Qcoef、相關(guān)索引Index、畫面類型Ptype、和運動向量MV執(zhí)行量化，以產(chǎn)生編碼流Str。
圖5是現(xiàn)有技術(shù)的運動畫面解碼裝置2的方框圖。該運動畫面解碼裝置2包括可變長度解碼單元VLD，畫面存儲器PicMem，運動補償單元MC，加法單元Add，逆正交變換單元IT，和逆量化單元IQ。應當注意，在圖中，對與圖4的方框圖中所示的現(xiàn)有技術(shù)運動畫面編碼裝置中的處理單元執(zhí)行相同的操作的處理單元被賦予了相同的參考標號，并且省略了對它們的說明。
可變長度解碼單元VLD對編碼流Str解碼，并輸出量化值Qcoef、相關(guān)索引Index、畫面類型Ptype、和運動向量MV。量化值Qcoef、相關(guān)索引Index、和運動向量MV被分別輸入到畫面存儲器PicMem、運動補償單元MC、和逆量化單元IQ中，然后，對它們執(zhí)行解碼處理?，F(xiàn)有運動畫面編碼裝置的這些操作已經(jīng)利用圖4的方框圖進行了說明。
隨機存取單元RAU示出了解碼可以從隨機存取單元中的最前端AU開始執(zhí)行。但是，由于現(xiàn)有技術(shù)的MPEG-4AVC流允許十分靈活的預測結(jié)構(gòu)，具有光盤或硬盤的存儲裝置不能獲得用于確定要在變速播放或逆向播放時解碼或顯示的AU的信息。
圖6A和6B是AU的預測結(jié)構(gòu)的例子。在這里，每個AU中存儲著畫面。圖6A是MPEG-2流中使用的AU的預測結(jié)構(gòu)。圖中具有斜線陰影的畫面是其它AU參考的畫面。在MPEG-2中，P畫面(P4和P7)的AU可以僅參考選擇作為按顯示時間緊接著向前的I畫面或P畫面的AU的單一AU執(zhí)行預測編碼。此外，B畫面(B1，B2，B3，B5和B6)的AU可以僅參考選擇作為按顯示時間緊接著向前的I畫面或P畫面和緊接著向后的I畫面或P畫面的AU的組合的兩個AU執(zhí)行預測編碼。此外，畫面在流中放置的順序如下預定I畫面和P畫面的AU可以按顯示時間的順序放置；B畫面的每個AU緊接著I畫面或緊接著每個B畫面的AU之后放置的P畫面之一的AU之后放置。結(jié)果，可以通過以下三種方式進行解碼(1)對所有畫面解碼；(2)僅解碼和顯示一個I畫面和多個P畫面的AU；和(3)僅解碼和顯示一個I畫面的AU。因此，可以容易執(zhí)行以下三種類型的播放(1)正常播放，(2)中速播放，和(3)高速播放。
在MPEG-4 AVC中，可以執(zhí)行B畫面的AU參考B畫面的AU的預測。圖6B是MPEG-4 AVC流中預測結(jié)構(gòu)，和B畫面(B1和B3)的AU參考B畫面(B2)的AU的例子。在這個例子中，可以實現(xiàn)以下四種類型的解碼或顯示(1)對所有畫面解碼；(2)僅解碼和顯示要被參考的一個I畫面，多個P畫面和多個B畫面的AU；(3)僅解碼和顯示一個I畫面和多個P畫面的AU；(4)僅解碼和顯示一個I畫面的AU。
此外，在MPEG-4 AVC中，P畫面的AU可以參考B畫面的AU。如圖7中所示，P畫面(P7)的AU可以參考B畫面(B2)的AU。在這種情況下，僅在解碼了B畫面(B2)的AU之后才可以對P畫面(P7)的AU解碼。因此，可以實現(xiàn)以下三種類型的解碼或顯示(1)對所有畫面解碼；(2)僅解碼和顯示要被參考的一個I畫面，多個P畫面和多個B畫面的AU；(3)僅解碼和顯示一個I畫面的AU。
在這種方式中，由于在MPEG-4 AVC中允許各種不同的預測結(jié)構(gòu)，所以必須進行片段數(shù)據(jù)的分析和預測結(jié)構(gòu)的判斷，以便知道AU之間的參考關(guān)系。不像MPEG-2的情況下那樣，這造成了在執(zhí)行跳入播放、變速播放、和逆向播放的時候，不能根據(jù)一種根據(jù)播放速度預定的規(guī)則確定要解碼或顯示的AU的問題。

發(fā)明內(nèi)容
本發(fā)明的一個目的是要提供(i)一種即使在諸如MPEG-4 AVC之類的允許靈活預測結(jié)構(gòu)的編碼方法的情況下，也能產(chǎn)生可以執(zhí)行諸如跳入播放、變速播放、和逆向播放之類的特技播放的運動畫面的運動畫面流產(chǎn)生裝置、運動畫面編碼裝置和運動畫面多路復用裝置，和(ii)一種對這種運動畫面流解碼的運動畫面解碼裝置。
為了實現(xiàn)上述目的，本發(fā)明的運動畫面流產(chǎn)生裝置產(chǎn)生包括構(gòu)成運動畫面的畫面的流。該裝置包括補充信息產(chǎn)生單元，用于在隨機存取單元的基礎(chǔ)上產(chǎn)生在每個隨機存取單元播放時要參考的補充信息，每個隨機存取單元包括一個或更多的畫面；和流產(chǎn)生單元，用于通過將補充信息添加到每個對應的隨機存取單元而產(chǎn)生包括產(chǎn)生的補充信息和畫面的流。在每個隨機存取單元的最前端，放置可以不依賴任何畫面而解碼的內(nèi)編碼畫面，并且補充信息包括用于指定特技播放中播放包括在每個隨機存取單元中的畫面時要解碼的畫面的信息。在這種方式中，每個隨機存取單元RAU包括用于在對包括在隨機存取單元中的畫面執(zhí)行特技播放的情況下指定要解碼的畫面的信息。在播放時參考補充信息使得能夠立即確定特技播放所需的畫面，而無需分析復雜的預測結(jié)構(gòu)。因此，即使在允許各種預測結(jié)構(gòu)的MPEG-4 AVC這樣的編碼方法的情況下，也能執(zhí)行諸如變速播放和逆向播放之類的特技播放。
在本發(fā)明的第一方面，在運動畫面流產(chǎn)生裝置中，特技播放包括以下至少一種跳入播放；變速播放；和逆向播放。此外，在本發(fā)明的第二方面，在運動畫面流產(chǎn)生裝置中，每個畫面是由子畫面單元組成的，并且流產(chǎn)生單元用于將補充信息存儲到與存儲每個畫面的像素值的第二子畫面單元不同的第一子畫面單元中。此時，在本發(fā)明的第三方面，在運動畫面流產(chǎn)生裝置中，每個隨機存取單元優(yōu)選是一個或更多畫面，并且流產(chǎn)生單元將補充信息存儲到包括在每個隨機存取單元中的最前端畫面中。
應當注意，在本發(fā)明的第四方面，在運動畫面流產(chǎn)生裝置中，補充信息可以包括用于指定以規(guī)定的速度播放每個隨機存取單元時要解碼的畫面的信息。在本發(fā)明的第四方面，在運動畫面流產(chǎn)生裝置中，補充信息可以包括指示每個隨機存取單元根據(jù)其播放的畫面優(yōu)先次序的信息。在本發(fā)明的第四方面，在運動畫面流產(chǎn)生裝置中，補充信息可以包括指示包括在每個隨機存取單元中的所有畫面的畫面類型的多條信息，多條信息以對應于畫面的解碼順序的次序放置。在這里，在本發(fā)明的第七方面，在運動畫面流產(chǎn)生裝置中，畫面類型包括對其執(zhí)行內(nèi)編碼的I畫面；參考每塊一個畫面而對其執(zhí)行相互間編碼的P畫面，塊是編碼中的基礎(chǔ)單元；參考每塊兩個畫面而對其執(zhí)行相互間編碼的參考B畫面，塊是編碼中的基礎(chǔ)單元，并且參考B畫面是一個被另外的畫面參考的畫面。和參考每塊兩個畫面而對其執(zhí)行相互間編碼的非參考B畫面，塊是編碼中的基礎(chǔ)單元，并且非參考B畫面是不被另外的畫面參考的畫面。
此外，在本發(fā)明的第四方面，在運動畫面流產(chǎn)生裝置中，補充信息可以包括指示包括在每個隨機存取單元中的所有畫面的畫面結(jié)構(gòu)類型的多條信息，多條信息按對應于畫面的解碼順序的次序放置。在這里，每個畫面結(jié)構(gòu)中包括至少一個場結(jié)構(gòu)和一個幀結(jié)構(gòu)。此外，在畫面具有幀結(jié)構(gòu)的情況下，指示畫面具有等價于兩個畫面的顯示場或是畫面具有等價于三個畫面的顯示場的信息可以包括在每個畫面結(jié)構(gòu)類型中。
此外，在本發(fā)明的第十方面，在運動畫面流產(chǎn)生裝置中，在畫面具有一種幀結(jié)構(gòu)的情況下，畫面結(jié)構(gòu)類型可以進一步包括帶有指示畫面具有等價于兩個畫面的顯示場或是畫面具有等價于三個畫面的顯示場的信息的幀結(jié)構(gòu)。更具體地講，在本發(fā)明的第一方面，運動畫面流產(chǎn)生裝置可以進一步包括用于將作為有關(guān)一個或更多畫面的參數(shù)的組的序列參數(shù)集加到每個隨機存取單元的序列參數(shù)集加入單元，在該裝置中，序列以一個解碼所需的所有狀態(tài)在其重置的特殊畫面開始，并且以緊挨著下一個特殊畫面之前放置的畫面結(jié)束。在這種方式中，序列參數(shù)集不僅可以顯示序列信息，而且也可以用作隨機存取單元的邊界信息。在這里，序列以解碼所需的所有狀態(tài)在其重置的特殊畫面開始，并且它是由以一個特殊畫面開始，并且以緊挨著下一個特殊畫面之前放置的畫面結(jié)束的多個畫面構(gòu)成的。
應當注意，本發(fā)明不僅可以實現(xiàn)為上述運動畫面流產(chǎn)生裝置，而且也可以實現(xiàn)為具有除了這些單元之外還具有編碼單元的運動畫面編碼裝置，實現(xiàn)為將編碼流分割成信息分組并將編碼流與補充信息一同多路復用的運動畫面多路復用裝置，和實現(xiàn)為對這樣的編碼流進行解碼并執(zhí)行編碼流的特技播放的運動畫面解碼裝置。此外，本發(fā)明也可以實現(xiàn)為一種包括分別對應于上述每個裝置中的處理單元的步驟的方法，實現(xiàn)為由計算機執(zhí)行的程序，實現(xiàn)為通過運動畫面流產(chǎn)生裝置產(chǎn)生的數(shù)據(jù)流，實現(xiàn)為諸如計算機可讀CD-ROM之類的記錄介質(zhì)，和實現(xiàn)為諸如LSI之類的半導體IC。
如上所述，利用本發(fā)明，通過參考隨機存取單元RAU的最前端AU中的特定NAL單元，可以確定在變速播放和逆向播放之類的特技播放時要解碼的AU。因此，可以容易實現(xiàn)具有優(yōu)秀特技播放功能的運動畫面解碼裝置，從而本發(fā)明具有高度的實際用途。
本申請的技術(shù)背景的進一步的信息2004年4月28日申請的日本專利申請2004-134212，包括說明書、附圖、和權(quán)利要求在內(nèi)披露的全部內(nèi)容結(jié)合在此作為參考。
2004年6月2日申請的日本專利申請2004-165005，包括說明書、附圖、和權(quán)利要求在內(nèi)披露的全部內(nèi)容結(jié)合在此作為參考。
2004年8月31日申請的日本專利申請2004-251871，包括說明書、附圖、和權(quán)利要求在內(nèi)披露的全部內(nèi)容結(jié)合在此作為參考。


從以下結(jié)合示出了本發(fā)明的特殊實施方式的附圖的說明中，可以清楚地了解本發(fā)明的這些和其它目的、優(yōu)點和特征。在附圖中圖1A和1B是分別顯示背景技術(shù)中MPEG-2流結(jié)構(gòu)的示意圖。
圖2A和2B是分別顯示背景技術(shù)中MPEG-2 GOP結(jié)構(gòu)的示意圖；圖3A和3B是分別顯示背景技術(shù)中MPEG-4流結(jié)構(gòu)的示意圖；圖4是顯示一種現(xiàn)有技術(shù)的編碼裝置的結(jié)構(gòu)的方框圖；圖5是顯示一種現(xiàn)有技術(shù)的解碼裝置的結(jié)構(gòu)的方框圖；圖6A和6B是分別顯示現(xiàn)有技術(shù)的MPEG-4 AVC流中預測結(jié)構(gòu)的例子的示意圖；圖7是顯示現(xiàn)有技術(shù)的MPEG-4 AVC流預測結(jié)構(gòu)的另一個例子的示意圖；圖8A和8B是分別顯示本發(fā)明的MPEG-4 AVC流的結(jié)構(gòu)的示意圖；圖9A至9D是顯示隨機存取單元RAU中要解碼的AU的第一示例的示意圖；圖10A至10D是顯示隨機存取單元RAU中要解碼的AU的第二示例的示意圖；
圖11A至11C是顯示隨機存取單元RAU中要解碼的AU的第三示例的示意圖；圖12A至12F是顯示指定隨機存取單元RAU中要解碼的AU的方法的一個示例的示意圖；圖13A是顯示指示變速播放信息的表的語法示例的示意圖；圖13B是顯示數(shù)據(jù)存儲單元的示意圖；圖14是指示變速播放信息的表的擴展示例的示意圖；圖15A至15C是顯示作為變速播放信息的隨機存取單元RAU中I畫面和P畫面的AU的一個示例的示意圖；圖16A至16C是作為變速播放信息的，在使用AU的優(yōu)先次序時將緩沖滯留時間用作優(yōu)先次序的指示符的例子的示意圖；圖17A和17B是分別顯示幀結(jié)構(gòu)AU與場結(jié)構(gòu)AU在對應RAU中共存的例子的示意圖；圖17C是顯示顯示示出了RAU中每個AU的結(jié)構(gòu)的第一映射表(RAU_map1)的語法示例的示意圖；圖17D是顯示圖17B的RAU的RAU_map1的示意圖；圖17E是顯示關(guān)于圖17B的隨機存取單元RAU的RAU_map的示意圖；圖17F是顯示示出了每幀或一對場的每個畫面的編碼類型的第二映射表(RAU_map2)的語法示例的示意圖；圖18A至18C是顯示作為播放信息的另一個示例映射表的示意圖；圖19是指示隨機存取單元RAU中邊界信息的方法的示意圖；圖20A和20B是顯示隨機存取單元RAU中畫面的預測結(jié)構(gòu)的例子的示意圖；圖21是顯示本發(fā)明的運動畫面編碼裝置的結(jié)構(gòu)的方框圖；圖22是一種運動畫面編碼方法的流程圖；圖23是顯示本發(fā)明的運動畫面多路復用裝置的結(jié)構(gòu)的方框圖；圖24A和圖24B是顯示支持信息HLP的示例內(nèi)容的示意圖；圖25是顯示其中將特技播放信息存儲在支持信息HLP中的NAL單元的例子的示意圖；圖26是顯示運動畫面多路復用裝置的操作的流程圖；圖27是顯示本發(fā)明的運動畫面解碼裝置的結(jié)構(gòu)的方框圖；圖28是現(xiàn)有技術(shù)的畫面解碼方法的流程圖；圖29是本發(fā)明的運動畫面解碼方法中確定要解碼的AU的流程圖；圖30是顯示在本發(fā)明的運動畫面解碼方法中，在要解碼的AU與要顯示的AU不匹配的情況下執(zhí)行的處理過程的流程圖；圖31是顯示HD-DVD的數(shù)據(jù)層級的示意圖；圖32是HD-DVD上邏輯空間的結(jié)構(gòu)圖；圖33是VOB信息文件的結(jié)構(gòu)圖；圖34是時間映射表的示意圖；圖35是播放列表文件的結(jié)構(gòu)圖；圖36是對應于播放列表的程序文件的結(jié)構(gòu)圖；圖37是顯示整個BD盤的管理信息的文件的結(jié)構(gòu)圖；圖38是用于記錄全局事件處理程序的文件的結(jié)構(gòu)圖；圖39是顯示HD-DVD播放器的概況的方框圖；和圖40A至40C是顯示用于存儲實現(xiàn)本發(fā)明的運動畫面編碼方法和運動畫面解碼方法的程序的記錄介質(zhì)的示意圖。
具體實施例方式
以下參考

本發(fā)明的實施方式。
(AVC流的結(jié)構(gòu))首先，說明本發(fā)明的運動畫面流產(chǎn)生裝置、運動畫面編碼裝置、和運動畫面多路復用裝置產(chǎn)生的AVC流的結(jié)構(gòu)，也就是說，輸入到本發(fā)明的運動畫面解碼裝置中的AVC流的結(jié)構(gòu)。
圖8A和圖8B分別示出了本發(fā)明的AVC流的結(jié)構(gòu)。應當注意，圖中沒有示出要加入到NAL單元的最前端的邊界信息。AVC流與現(xiàn)有技術(shù)的AVC流的不同之處在于增加了特技播放信息，特技播放信息指示在諸如跳入播放、變速播放、和逆向播放之類的特技播放時解碼的AU。特技播放信息存儲在存儲播放信息的NAL單元中(圖8A)。在MPEG-4 AVC中，存儲的信息與特定NAL單元的NAL單元類型之間的關(guān)系可以通過應用設(shè)置。更具體地講，可以使用0和24至31的值，并且將這些NAL單元類型稱為用戶可設(shè)置NAL單元類型。將特技播放信息存儲在具有這種用戶可設(shè)置NAL單元類型的NAL單元中。結(jié)果，特技播放信息被存儲在具有這種用戶可設(shè)置NAL單元類型的NAL單元中。在這里，在預留特定的NAL單元以便存儲除特技播放信息之外的信息的情況下，將與NAL單元類型不同NAL單元類型分配給特技播放信息。特技播放信息的NAL單元存儲在隨機存取單元RAU的最前端AU中。在AU中，如果存在PPS NAL單元，那么將NAL單元放置在緊接著PPS NAL單元之后的位置上，但是，也可以將它放置在其它位置上，只要順序滿足MPEG-4 AVC或另外的標準的要求。此外，在不能解釋特技信息的NAL單元的情況下，可以跳過NAL單元的數(shù)據(jù)，并從下一個NAL單元的最前端重新開始解碼。因此，即便是不能解釋特技播放信息的NAL單元的終端也能無誤地執(zhí)行解碼過程。
應當注意，這種特技播放信息的NAL單元可以不包括在隨機存取單元RAU的最前端AU中，而是包括在另外的AU中，例如，在最后的AU中。此外，特技播放信息的這種NAL單元也可以包括在構(gòu)成隨機存取單元RAU的每個AU中。
圖9至圖11示出了變速播放時解碼的AU的例子。圖9A示出了AU的顯示順序。在這里，帶有斜陰影線的AU是那些被其它AU參考的AU，箭頭指出了被參考的畫面。負的參考號分配給了在I0之前顯示的AU，并且將正的參考號分配給在B15之后顯示的AU。圖9B示出了圖9A中所示的AU的解碼順序，并且I0至B11構(gòu)成了隨機存取單元RAU。此時，I0，-B14，P4，B2，P8，P6，P12和B10被順序解碼，以便執(zhí)行倍速播放(圖9C)，而將I0，P4，P8和P12順序解碼，以便執(zhí)行四倍速播放(圖9D)。圖9C和9D示出了帶有*號的AU要在倍速播放和四倍播放時解碼，并且將這些信息條存儲在特技播放信息的NAL單元中。在圖10A至圖10D的例子中，按解碼順序從I0到B11的畫面構(gòu)成了隨機存取單元RAU。在這里，I0，-B13，P3，B1，P6，B4，P9，B7，P12和B10被按順序解碼，以便執(zhí)行1.5倍速播放，而將I0，P3，P6，P9和P12按順序解碼，以便執(zhí)行三倍速播放。此外，在圖11A至圖11C中，將I0，P3，P6，P9和P12按順序解碼，以便執(zhí)行三倍速播放。
在這里，播放速度不必十分嚴格，因為只是將它們作為播放速度的原則說明的。例如，在圖11C的例子中，在把示為要在三倍速播放時解碼的AU的所有AU解碼的情況下，速度是從表達式16÷5得到的3.2倍速，也就是說，不是嚴格的三倍速。此外，在以M倍速播放時，在示為特技播放信息的播放速度中超過M的最小值是N的情況下，可以解碼需要在N倍速播放時解碼的AU，并且根據(jù)解碼裝置的配置確定應當如何解碼其余的AU。此外，在播放速度快的情況下，可以給需要解碼的AU賦予高的優(yōu)先次序，并且根據(jù)優(yōu)先次序確定要解碼的AU。
應注意，在變速播放時解碼的AU中，一些AU可以不被顯示。例如，在倍速播放時顯示第N個AU，但不顯示第M個AU。此時，在需要解碼第M個AU以便解碼第N個AU的情況下，對第M個AU解碼，但不在倍速播放時顯示。
接下來，參考圖12A至12F說明指定在變速播放時對AU進行解碼的方法。圖12A至12F示出了在與圖9所示的相同的隨機存取單元RAU中指定要解碼的AU的例子。如圖12D中所示，在倍速播放時解碼I0，-B14，P4，B2，P8，P6，P12，B10。當從隨機存取單元RAU的最前端AU開始計數(shù)時，這些AU是第一、第二、第五、第六、第九、第十、第十三、和第十四個AU。以這種方式，通過顯示隨機存取單元RAU中AU的順序號，可以唯一地指定要在變速播放時解碼的AU。在通過MPEG-2傳輸流(TS)多路復用AVC流時，存取單元定界符確實放置在AU的最前端。當?shù)玫揭谧兯俨シ艜r解碼的AU數(shù)據(jù)時，順序地搜索存取單元定界符以知曉AU邊界。這種搜索處理過程的方式消除了分析片數(shù)據(jù)之類的NAL單元的有效負載的需要，從而它更容易。
應當注意，通過確定要被諸如I畫面和P畫面的AU之類的其它AU參考的AU(將這種被參考的AU稱為參考AU)已經(jīng)在變速播放時解碼，和通過指定隨機存取單元RAU中參考AU的順序號，可以指定要解碼的AU。在圖12B的隨機存取單元RAU中，如圖12C中所示，I0，-B14，P4，B2，P8，P6，P12，B10是參考AU。同樣，在倍速播放時，I0，-B14，P4，B2，P8，P6，P12，B10被解碼，但是，當以參考AU順序指示這些AU時，如圖12F中所示，它們對應于第一，第二，第三，第四，第五，第六，第七，和第八參考AU。通過參考片中NAL單元的首部中的特定字段，可以判斷一個AU是否是參考AU。更具體地講，在nal_ref_idc的值不是0的情況下，AU是參考AU。應當注意，由于能夠根據(jù)幀號識別參考AU，所以根據(jù)幀號可以指定要解碼的參考AU。
此外，通過指定等價于從隨機存取單元RAU的最前端的開始位置到要解碼的AU的開始位置的字節(jié)長度的偏移值，可以指定要解碼的AU。例如，在圖12A至12F中，在I0在距離流的最前端10000字節(jié)的位置開始，而P4在距離最前端20000字節(jié)的位置開始的情況下，從表達式20000-10000得到的到P4的偏移值是10000字節(jié)。在把多路復用的流用在MPEG-2TS中的情況下，可以指定包括TS數(shù)據(jù)分組或PES數(shù)據(jù)分組(分組化的基本流)的首部的雜項開銷的偏移值，或可以在通過應用程序執(zhí)行數(shù)據(jù)裝填時指定包括這個的偏移值。此外，可以通過幀號FN指定AU。
應當注意，在使用在MPEG-2 TS中多路復用的流的情況下，可以根據(jù)從(i)用于存儲標識包括要解碼的AU的最前端數(shù)據(jù)，或隨機存取單元RAU的最前端數(shù)據(jù)的TS數(shù)據(jù)分組的索引號和地址信息的TS數(shù)據(jù)分組，到(ii)當前TS數(shù)據(jù)分組的TS數(shù)據(jù)分組的號，指定AU。在這里，可以使用有關(guān)用于藍光盤(Blu-ray Disc)(BD)的記錄格式的源數(shù)據(jù)分組(Source Packet)的信息來取代TS數(shù)據(jù)分組。源數(shù)據(jù)分組是通過將包括TS數(shù)據(jù)分組的時間信息和復制控制信息等的4-字節(jié)首部加到TS數(shù)據(jù)分組而得到的。
圖13A是指示變速播放的信息的表的語法示例。在語法中，num_pic_in_RAU示出了構(gòu)成隨機存取單元RAU的AU的數(shù)量，num_speed示出了解碼AU的播放速度的數(shù)量，play_speed示出了播放速度，num_dec_pic示出了以play_speed中所示的播放速度播放時要解碼的AU的數(shù)量，dec_pic示出了在從隨機存取單元RAU中的最前端AU開始計數(shù)的情況下要解碼的AU的順序號。圖13B是在倍速播放和四倍速播放時，在圖9A至9D中所示的隨機存取單元RAU中存儲有關(guān)要解碼的AU的信息的情況的例子。應當注意，在根據(jù)隨機存取單元RAU中要解碼的AU的數(shù)量和AU的總數(shù)計算確切播放速度時，或在隨機存取單元RAU的基礎(chǔ)上順序跳過時，使用num_pic_in_RAU。但是，可以省略num_pic_in_RAU，因為可以通過搜索隨機存取單元的最前端AU獲得相同的信息。也可以將指示表的大小的字段加到表中。應當注意，在圖13A的語法示例中，直接示出了從隨機存取單元RAU最前端計數(shù)的要解碼的AU的順序號，但是，可以通過接通或斷開對應于每個AU的比特顯示是否需要解碼每個AU。例如，在圖9A至9D所示的例子中，隨機存取單元RAU是由16個AU構(gòu)成的，當向一個AU分配1比特時，需要16比特。在四倍速播放時，通過分配表示為0b1000100010001000(0b代表二進制數(shù))，示出了第一，第五，第九，和第十三AU被解碼。在這里，最前端比特和最后比特分別對應于隨機存取單元RAU的最前端AU和最后AU。
應當注意，在圖13A的語法示例中，表的大小是可變的。表大小的最大值是在規(guī)定了構(gòu)成隨機存取單元RAU的AU的數(shù)量的最大值與num_speed的最大值的情況下確定的。因此，可以將表的大小固定在確定的最大值，并且，在變速播放的信息的大小沒有達到最大值的情況下，可以執(zhí)行填充。以這種方式固定表大小使得在獲得變速播放信息時總是能夠獲得固定大小的數(shù)據(jù)，這使得能夠加速信息獲得處理過程。應當注意，表的大小或存儲表的NAL單元的大小被示為管理信息。也可以預定存儲特技播放信息的NAL單元的大小，并且，在信息不能存儲在一個單一的NAL單元中的情況下，可以將變速播放的信息分開存儲到多個NAL單元中。此時，對最后NAL的有效負載進行填充，以使NAL單元的大小能夠達到預定大小。也可以將一些規(guī)定值確定為表大小的值，可以將指示表大小的規(guī)定值的索引號顯示在表中，或使用應用程序的管理信息。
也可以示出差值信息來取代列出每個播放速度的所有要解碼的AU。作為在M(＜N)倍速播放時的信息，除了示出N倍速播放時要解碼的AU之外，僅示出需要解碼的AU。在圖13B的例子中，由于，在倍速播放時，除了在四倍速播放時解碼的AU之外，還需要解碼第二、第六、第十、和第十四AU，所以可以僅把第二、第六、第十、和第十四AU示為倍速播放的信息。
應當注意，在以上的說明中示出了需要在變速播放時解碼的AU，但是，可以進一步示出指示需要解碼的AU的顯示順序的信息。例如，在圖9A至9D的例子中示出了倍速播放和四倍速播放時的信息，但是，這里是以三倍速播放這個隨機存取單元RAU的例子。除了要在四倍速播放時顯示的AU之外，也顯示在倍速播放時顯示的部分AU，使得能夠?qū)崿F(xiàn)三倍速播放。在這里，當考慮到要在四倍速播放時顯示的I0與P4之間再多顯示一個AU的情況時，倍速播放的信息示出候選AU是-B14，B2，B6和B10。但是，僅在分析了一個片段的首部信息的情況下才能獲得這四個AU的顯示順序。在這里，由于有關(guān)顯示順序的信息示出了在I0與P4之間僅顯示-B14，所以可以確定對-B14解碼。圖14是指示有關(guān)顯示順序的信息的語法示例，并且它是通過將有關(guān)顯示順序的信息加到圖13A的語法中得到的。在這里，pts_dts_flag示出了要在該播放速度解碼的AU的解碼順序是否與AU的顯示順序匹配，并且僅在解碼順序與顯示順序不匹配的情況下，才在display_order字段中示出顯示順序的信息。
應當注意，在以沒有被變速播放的信息示出的播放速度下播放的情況下，可以根據(jù)在終端預定的規(guī)則確定要解碼的AU和要顯示的AU。例如，在圖9的例子中的三倍速播放的情況下，可以除了顯示在四倍速播放時顯示的AU之外，還顯示I0，B3，B6，B9和P12，來取代顯示在倍速播放時顯示的部分AU。在這里，對于B畫面，可以優(yōu)先解碼或顯示參考AU中的B畫面。
同樣，存在通過僅播放一個I畫面的AU或僅播放一個I畫面和多個P畫面的AU來實現(xiàn)變速播放之類的特技播放的情況。因此，可以將一個I畫面和多個P畫面的列表作為特技播放信息存儲。圖15A至15C出了另一個例子。在這里，如圖15B中所示，從I0至B14的畫面被包括在隨機存取單元RAU中，并且，如圖15C中所示，在這些AU中，一個I畫面和多個P畫面的AU是I0，P3，P6，P9，P12和P15。因此，存儲用于標識I0，P3，P6，P9，P12和P15的信息。此時，可以添加將I畫面的AU與P畫面的AU區(qū)分開來的信息。也可以示出將以下畫面相互區(qū)分的信息，畫面包括一個I畫面，多個P畫面，多個被參考的B畫面(以下稱為參考B畫面)，和多個不被參考的B畫面(以下稱為非參考B畫面)。
此外，可以將相應的AU的優(yōu)先次序信息作為特技信息存儲，并且在變速播放時根據(jù)優(yōu)先次序解碼或顯示。可以使用畫面類型作為優(yōu)先次序信息。例如，可以用下面列出的順序分配AU的優(yōu)先次序(i)I畫面；(ii)P畫面；(iii)參考B畫面；和(iv)非參考B畫面。也可以用以下方式設(shè)置優(yōu)先次序解碼AU之后的時間與顯示AU的時間之間的時間越長，優(yōu)先次序有高。圖16A至16B示出了根據(jù)緩沖滯留時間設(shè)置優(yōu)先次序的例子。圖16A示出了AU的預測結(jié)構(gòu)，并且P3也被B7和P9參考。此時，在隨機存取單元RAU是由從I0到B11的AU構(gòu)成的情況下(圖16B)，每個AU的緩沖滯留時間如同圖16C中所示。在這里，緩沖滯留時間是根據(jù)幀數(shù)示出的。例如，直到P9被解碼之前都需要P3，并且緩沖滯留時間必須等于六個畫面。因此，緩沖滯留時間是3或更長的AU的解碼意味著所有I畫面和P畫面的解碼，并且實現(xiàn)了三倍速播放。在這里，P3的緩沖滯留時間比I0的長，但是能夠?qū)⑵浦导拥絀畫面的AU，以便給I畫面的AU設(shè)置最高的優(yōu)先次序。也可以將需要在高速播放時解碼的AU設(shè)置高的優(yōu)先次序，并且在需要在N倍速播放時解碼的AU中，使用N作為優(yōu)先次序信息。應當注意，在一個AU被解碼或顯示之后其它AU參考它的情況下，可以示出該AU被參考的時間周期。
應當注意，可以將特技播放信息存儲在SEI消息中(圖8B)。在這種情況下，為特技播放信息定義SEI消息的類型，并且將特技播放信息存儲在定義的類型的SEI消息中。將用于特技播放的SEI消息單獨地或與其它SEI消息一起存儲在SEI NAL單元中。應當注意，可以將特技播放信息存儲在作為用于存儲用戶定義的信息的SEI消息的user_data_registered_Itu_t_t35 SEI消息或user_data_unregistered SEI消息中。在使用這些SEI時，通過將被存儲的信息的識別信息添加在SEI的有效負載中，可以示出存儲了特技播放信息，或存儲了特技播放信息的類型。
應當注意，可以將特技播放信息存儲在隨機存取單元RAU中不是最前端AU的AU中。也可以預定用于標識需要在用特定播放速度播放時解碼的AU的值，并添加為每個AU確定的值。例如，對于要在N倍速或更低的速度播放時解碼的AU，賦予N作為播放速度信息。也可以在片段的NAL單元的nal_ref_idc等中示出以下信息AU中畫面的結(jié)構(gòu)，結(jié)構(gòu)是幀結(jié)構(gòu)或場結(jié)構(gòu)，此外，在畫面具有場結(jié)構(gòu)的情況下，可以示出場類型，即，頂場或底場。例如，由于在隔行掃描顯示的情況下需要交替地顯示頂場和底場，所以希望在高速播放時通過跳過一些場，以在對場解碼時能夠容易地判斷出下一個要解碼的場是頂場還是底場。在能夠從NAL單元的首部判斷出場類型的情況下，不需要分析片段首部，并且可以減少這種判斷所需的處理量。
應當注意，可以將指示構(gòu)成隨機存取單元RAU的每個AU是場還是幀的信息存儲在隨機單元RAU的最前端AU中。通過將這種信息存儲在隨機存取單元的最前端AU中，即使在場結(jié)構(gòu)和幀結(jié)構(gòu)共存的情況下，也可以容易地確定要在特技播放時解碼的AU。圖17A和17B是隨機存取單元RAU中具有場結(jié)構(gòu)的AU和具有幀結(jié)構(gòu)的AU共存情況的例子，并且它們分別示出了AU的顯示順序和AU的解碼順序。將以下畫面分別編碼成場對B2和B3；I4和P5；B9和B10；B11和B12；P13和P14；B15和B16；B17和B18；和P19和P20。同樣，將其它AU編碼成具有幀結(jié)構(gòu)的AU。此時，在僅播放一個I畫面和多個P畫面的AU的情況下，可以按照以下列出的順序播放以下的場對和幀I4和P5的場對；P8的幀；P13和P14的場對；和P19和P20的場對。但是，由于在確定要解碼的AU時，需要判斷每個AU是構(gòu)成場對的場之一，還是每個AU是一幀，所以添加這種信息是有效的。
圖17C是指示隨機存取單元RAU中的AU是幀還是場的第一映射表(RAU_map1)的語法示例。在num_AU_in_RAU中示出了構(gòu)成隨機存取單元的AU的數(shù)量，并且在解碼順序的隨后循環(huán)中示出了有關(guān)每個AU的信息。在這里，frame_field_flag示出了存儲在AU中的畫面是幀還是場。此外，pic_type示出了有關(guān)畫面的編碼類型的信息?？梢允境龅木幋a類型包括I畫面；IDR畫面；P畫面；參考B畫面；非參考B畫面，等等；因此，通過參考這個映射表，可以確定要在特技播放時解碼的畫面。應當注意，可以指出是否要參考每個I畫面和每個P畫面。此外，可以指出用于判斷預測結(jié)構(gòu)是否要應用到預定要求的信息。
圖17D示出了有關(guān)圖17B的隨機存取單元RAU的RAU_map1。在這里，I畫面、P畫面、參考B畫面、和非參考B畫面的pic_type分別是0、1、2和3。在這里，由于在特技播放時，畫面是在一幀接一幀的基礎(chǔ)上，或一個場對接一個場對的基礎(chǔ)上播放的，所以可以在以上列出的基礎(chǔ)上存儲指示畫面編碼類型的信息。
圖17F是指示在一幀接一幀的基礎(chǔ)上或一個場對接一個場對的基礎(chǔ)上的畫面編碼類型的第二映射表(RAU_map2)的語法示例。在這里，num_frame_in_RAU示出了構(gòu)成隨機存取單元RAU的幀數(shù)和場對數(shù)。此外，frame_flag示出了一個畫面是否是一幀，并且在它是一幀的情況下，將其設(shè)置為1。在frame_flag中設(shè)置1的情況下，frame_type示出了有關(guān)幀的編碼類型的信息。在frame_flag中設(shè)置0的情況下，也就是說，畫面是一個場對中的一個的情況下，field_pair_type中示出構(gòu)成場對的每個場的編碼類型。
圖17E示出了有關(guān)圖17B的隨機存取單元RAU的RAU_map2。在圖17E中，指示I畫面、P畫面、參考B畫面、和非參考B畫面的frame_type的值分別是0，1，2和3。此外，field_pair_type也以解碼順序示出了每個場的類型。場類型如下I畫面是I；P畫面是P；參考B畫面是Br；非參考B畫面是Bn。例如，在第一場是I畫面而第二場是P畫面的情況下，將它表示為IP，并且在第一場和第二場是非參考B畫面的情況下，將其表示為BnBn。在這里，指示IP、PP、PI、BrBr、BnBn、等等的組合的值是預先設(shè)置的。應當注意，以下信息可以用作指示場對的編碼類型的信息有關(guān)場對是包括I畫面或一個或更多的P畫面的信息；有關(guān)場對是包括一個還是更多的參考B畫面的信息；和有關(guān)場對是包括一個還是更多的非參考B畫面的信息。
例如，特技播放信息可以是如同圖18A中所示的語法那樣的隨機存取單元RAU的映射表。這個映射表包括指示包括在隨機存取單元RAU中的每個畫面的結(jié)構(gòu)的picture_structure，和指示畫面類型的picture_type。如圖18B中所示，picture_structure示出了每個畫面的結(jié)構(gòu)，即，場結(jié)構(gòu)或幀結(jié)構(gòu)，等等。此外，如圖18C中所示，picture_type示出了每個畫面的畫面類型，即，I畫面，參考B畫面，非參考B畫面，和P畫面。以這種方式，接收到這種映射表的運動畫面解碼裝置可以通過參考這個映射表容易地識別對其執(zhí)行特技播放的AU。作為一個例子，可以在高速播放中，僅解碼和播放I畫面和P畫面，或除了I畫面和P畫面之外，也解碼和播放參考B畫面。
應當注意，在指示諸如3-2下拉之類的畫面結(jié)構(gòu)的信息被包括在構(gòu)成隨機存取單元RAU的AU中的情況下，在上述第一或第二映射表中可以包括指示畫面結(jié)構(gòu)的信息。例如，可以示出每個畫面具有等同于三個畫面的顯示場，還是每個畫面具有等同于兩個畫面的顯示場。此外，在它具有等同于三個畫面的顯示場的情況下，可以示出指示是否反復顯示第一場的信息，或指示第一場是否是頂場的信息。此外，在它具有等于兩個畫面的顯示場的情況下，可以示出第一場是否是頂場的信息。在這里，在MPEG-4AVC中，通過在MPEG-2系統(tǒng)標準中定義的AVC定時和HRD描述符中使用(i)序列參數(shù)集(SPS)的pic_struct_present_flag或(ii)picture_to_display_conversion_flag，可以示出畫面是否具有諸如3-2下拉之類的畫面結(jié)構(gòu)。此外，每個畫面的結(jié)構(gòu)是由畫面定時(Picture Timing)SEI的pic_struct字段示出的。因此，在pic_struct字段具有特定值的情況下，例如，在一個畫面具有等同于三個畫面的顯示場的情況下，可以通過僅設(shè)置一個標志示出畫面結(jié)構(gòu)。也就是說，指出有關(guān)每個畫面的以下三種類型的信息是有效的(i)在隨機存取單元RAU的中間執(zhí)行跳入播放的情況下，和(ii)在確定在特定時間顯示的場或其中存儲了一個場的幀的時候。在確定要在變速播放期間顯示的畫面的情況下，是相同的。這三種類型的信息是(i)場；
(ii)幀(在不利用3-2下拉時使用的，或也可在利用3-2下拉時使用的。在后一種情況下，該幀具有等同于兩個畫面的顯示場。)(iii)在利用3-2下拉時具有等同于三個畫面的顯示場的幀。應當注意，可以在圖18A中所示的RAU映射表的picture_structure中指示這些類型的信息。
以這種方式指示構(gòu)成RAU的相應畫面的畫面類型的列表信息使得能夠容易地確定在諸如變速播放、跳入播放、和逆向播放之類的特技播放時解碼或顯示的畫面。在以下的情況下這是特別有效的(i)在僅播放I畫面和P畫面的情況下；(ii)在執(zhí)行I畫面、P畫面、和參考B畫面的高速播放的情況下；(iii)在根據(jù)畫面類型識別放置有關(guān)于預測畫面的要求的畫面，選擇出特技播放時需要解碼的畫面，和以特技播放來播放選出的畫面的情況下。
此外，可以將特技播放信息的默認值存儲在一個區(qū)中，它不同于AVC流，例如，在應用層的管理信息，并且僅在特技播放信息與默認值所示的特技播放信息不同的情況下，才把特技信息包括在隨機存取單元RAU中。
以上說明了有關(guān)變速播放的特技信息，但是，在逆向播放時可以使用與補充信息相同的信息。在可以把要顯示的所有畫面存儲在存儲器中的情況下，可以在逆向播放時一次完成解碼，可以減小解碼所需的處理負擔?？紤]到以圖9A至9D的例子中的P12，P8，P4和I0的列出的順序執(zhí)行逆向播放的情況，在存儲了這四個AU的全部解碼結(jié)果的條件下，可以以這種順序一次解碼I0，P4，P8和P12并執(zhí)行逆向播放。因此，可以根據(jù)要在N倍速播放時解碼或顯示的AU的數(shù)量，判斷是否能夠存儲AU的所有解碼數(shù)據(jù)，并根據(jù)判斷結(jié)果確定要在執(zhí)行逆向播放時顯示的AU。
同樣，在跳入播放時可以將特技播放信息用作補充信息。在這里，跳入播放表示運動畫面的快進并且從隨機確定的位置開始執(zhí)行運動畫面的正常播放。即使在跳入播放時利用這種補充信息確定要快進的畫面，使得能夠確定跳入播放開始的畫面。
應當注意，在特技播放信息中可以直接示出構(gòu)成隨機存取單元的每個AU的被參考的AU。在具有多個參考AU的情況下，將它們?nèi)渴境?。在這里，在參考AU屬于與包括參考該參考AU的AU的隨機存取單元不同的隨機存取單元的情況下，可以用下面的特定方式指示AU位于N個隨機存取單元之前或之后的隨機存取單元的第M個AU，或可以用以下的簡單方式指示AU屬于位于N個隨機存取單元之前或之后的隨機存取單元的AU。應當注意，在從參考該參考AU的AU開始計數(shù)的情況下，可以用解碼順序示出參考AU的順序號。此時，根據(jù)以下方式之一計數(shù)AU所有AU；參考AU；特定畫面類型的AU，例如，I，P和B。也可以示出每個AU可以僅參考按解碼順序直到N個AU之前和之后的AU。應當注意，在參考按解碼順序沒有包括在直到N個AU之前和之后的AU中的AU的情況下，可以添加指示這一事實的信息。
應當注意，也可以在諸如MP4之類使用NAL單元的大小取代使用開始碼前綴作為NAL單元的邊界信息的多路復用格式中，以類似的方式使用上述特技播放信息。
應當注意，在接收和記錄利用MPEG-2 TS(傳送流)數(shù)據(jù)分組或RTP(實時傳輸協(xié)議)數(shù)據(jù)分組化的編碼流時，發(fā)生數(shù)據(jù)分組丟失。在這種方式中，在記錄發(fā)生數(shù)據(jù)分組丟失的環(huán)境中接收的數(shù)據(jù)的情況下，可以將指示由于數(shù)據(jù)分組丟失而丟失了流中的數(shù)據(jù)的信息存儲到編碼流中，作為補充信息，或作為管理信息?？梢酝ㄟ^插入指示是否丟失了流的數(shù)據(jù)的標志信息，或用于通知丟失部分的特定錯誤通知碼，示出由于數(shù)據(jù)分組丟失造成的數(shù)據(jù)丟失。應當注意，在數(shù)據(jù)丟失時執(zhí)行錯誤掩蔽處理的情況下，可以存儲指示存在/不存在或錯誤掩蔽處理的方法的標識信息。
至此已經(jīng)說明了用于確定特技播放時要解碼或顯示的AU的特技播放信息。在這里，參考圖19說明使得能夠檢測隨機存取單元RAU的邊界的數(shù)據(jù)結(jié)構(gòu)。
在隨機存取單元RAU的最前端AU中，總是存儲要由構(gòu)成隨機存取單元RAU的AU參考的SPS的NAL單元。另一方面，在MPEG-4 AVC標準中，可以將按解碼順序要被第N個AU參考的SPS的NAL單元存儲到按解碼順序從第N個AU或位于第N個AU之前的AU中任意選擇的一個AU中。存儲這個NAL單元，從而能夠反復發(fā)送SPS的NAL單元，以便為由于在通信或廣播中發(fā)送流時數(shù)據(jù)分組丟失造成SPS的NAL單元丟失做準備。但是，以下規(guī)則對于存儲應用的使用是有效的。僅把要被隨機存取單元RAU的所有AU參考的SPS的單一NAL單元存儲在隨機存取單元RAU的最前端AU中，并且不將這個SPS的NAL單元存儲在隨機存取單元中隨后AU中。如果該AU包括SPS的NAL單元的話，這樣做使得能夠保證該AU是隨機存取單元RAU的最前端AU。通過搜索SPS的NAL單元，可以發(fā)現(xiàn)隨機存取單元RAU的開頭。諸如時間映射表之類的流的管理信息不保證提供有關(guān)所有隨機存取單元RAU的存取信息。因此，例如，在對位于沒有提供它的存取信息的隨機存取單元RAU的中間的畫面執(zhí)行跳入播放的情況下，通過搜索流中的SPS的NAL單元能夠特別有效地獲得每個隨機存取單元RAU的開始位置。
在這里，在隨機存取單元的最前端AU是IDR畫面的AU的情況下，該隨機存取單元RAU的AU不參考按解碼順序位于較早位置上的隨機存取單元RAU中的AU。將這種類型的隨機存取單元RAU稱為封閉型隨機存取單元RAU。另一方面，在隨機存取單元RAU的最前端AU是I畫面的AU而不是IDR畫面的AU的情況下，這個隨機存取單元的AU可以參考按解碼順序位于較早位置上的隨機存取單元RAU中的AU。將這種類型的隨機存取單元RAU稱為開放型隨機存取單元RAU。在光盤等介質(zhì)播放期間轉(zhuǎn)換角度的時候，從封閉型隨機存取單元RAU進行切換。因此，在隨機存取單元RAU的最前端，可以有效地進行有關(guān)隨機存取單元RAU是開放型的還是封閉型的判斷。例如，可以在SPS的NAL單元的nal_ref_idc字段中示出用于判斷類型，即，開放型或封閉型的標志信息。由于在SPS的NAL中將nal_ref_idc的值定義為1或更大，所以高階的比特總是設(shè)置在1，并且通過低階比特示出標志信息。應當注意，即使在最前端AU是I畫面的AU而不是IDR的AU的情況下，隨機存取單元RAU中的AU也可以不參考按解碼順序位于較早位置的隨機存取單元RAU中的AU。可以將這種類型的隨機存取單元RAU考慮為封閉型隨機存取單元RAU。應當注意，可以利用除nal_ref_idc之外的字段示出標志信息。
應當注意，可以根據(jù)除僅存儲在隨機存取單元RAU的最前端AU中的SPS之外的NAL單元來指定隨機存取單元RAU的開始位置。也可以利用每個隨機存取單元RAU的nal_ref_idc字段示出每個隨機存取單元RAU的類型，即，開放型的或封閉型。
最后，圖20A和20B示出了構(gòu)成隨機存取單元RAU的AU的預測結(jié)構(gòu)的例子。圖20A按顯示順序示出了AU的位置，圖20B按解碼順序示出了AU的位置。如圖中所示，在作為隨機存取單元RAU的最前端AU的I3之前示出的B1和B2可以參考在I3之后顯示的AU。在圖中，BI參考P6。在這里，為了保證I3和按顯示順序在后面的畫面的AU能夠被正確地解碼，禁止I3和按顯示順序在后面的畫面的AU參考按顯示順序在I3之前的AU。
(運動畫面編碼裝置)圖21是實現(xiàn)本發(fā)明的運動畫面編碼方法的運動畫面編碼裝置100的方框圖。運動畫面編碼裝置100產(chǎn)生圖8至20中所示的運動畫面的編碼流，所述編碼流可以利用諸如跳入播放，變速播放，和逆向播放之類的特技播放進行播放。除了圖4中所示的現(xiàn)有技術(shù)的運動畫面編碼裝置1的單元之外，運動畫面編碼裝置還100包括特技播放信息產(chǎn)生單元TrickPlay。應當注意，在圖中對與圖4的方框圖中所示的現(xiàn)有技術(shù)的運動畫面編碼裝置的處理單元執(zhí)行相同操作的處理單元分配了相同的參考標號，并且省略對它們的說明。
特技播放信息產(chǎn)生單元TrickPlay是根據(jù)包括一個或更多畫面的隨機存取單元產(chǎn)生要在播放隨機存取單元時參考的補充信息的單元的例子。特技播放信息產(chǎn)生單元TrickPlay根據(jù)畫面類型Ptype產(chǎn)生特技播放信息，并將特技播放信息通知給可變長度編碼單元VLC。
可變長度編碼單元VLC是通過將產(chǎn)生的補充信息添加到每個對應的隨機存取單元而產(chǎn)生包括補充信息和畫面的流的流產(chǎn)生單元的例子。長度編碼單元VLC進行編碼并將用于存儲特技信息的NAL單元放置到隨機存取單元RAU的最前端AU中。
圖22是圖21所示的運動畫面編碼裝置100(主要是特技信息產(chǎn)生單元TrickPlay)如何執(zhí)行包括特技播放信息的編碼流的產(chǎn)生過程的流程圖，即，本發(fā)明的運動畫面編碼方法的流程圖。
首先，在步驟10，運動畫面編碼裝置100判斷要編碼的AU是否是隨機存取單元RAU的最前端AU。在它是最前端AU的情況下，流程前進到步驟11，而在它不是最前端AU的情況下，流程前進到步驟12。在步驟11，運動畫面編碼裝置100執(zhí)行用于產(chǎn)生隨機存取單元RAU的特技播放信息的初始處理，并且還把用于存儲特技播放信息的區(qū)固定到隨機存取單元RAU的最前端AU中。在步驟12，運動畫面編碼裝置100對AU數(shù)據(jù)編碼，然后前進到步驟13。在步驟13，運動畫面編碼裝置100獲得產(chǎn)生特技播放信息時需要的信息。這種信息是AU的畫面類型，即，I畫面，P畫面，參考B畫面，或非參考B畫面；或是否需要在執(zhí)行N倍速播放時對AU解碼。此后，運動畫面編碼裝置100前進到步驟14。在步驟14，運動畫面編碼裝置100判斷該AU是否是隨機存取單元RAU的最后AU。在它是最后AU的情況下，運動畫面編碼裝置100前進到步驟15，而在它不是最后AU的情況下，前進到步驟16。在步驟15，運動畫面編碼裝置100確定特技播放信息，產(chǎn)生用于存儲特技播放信息的NAL單元，并把產(chǎn)生的NAL單元存儲到步驟11中固定的區(qū)中。在完成了步驟15的處理過程之后，運動畫面編碼裝置100前進到步驟16。在步驟16，運動畫面編碼裝置100判斷是否存在下一個要編碼的AU。在有一個要編碼的AU的情況下，重復步驟10和隨后的步驟，而在沒有要編碼的AU的情況下，則完成了處理過程。在這里，在運動畫面編碼裝置100在步驟16中判斷沒有要編碼的AU的情況下，存儲最后隨機存取單元RAU的特技播放信息，然后，完成處理過程。
例如，當運動畫面編碼裝置100產(chǎn)生圖18A中所示的特技信息時，在步驟13中得到以下信息畫面類型；該畫面是具有場結(jié)構(gòu)的畫面，還是具有幀結(jié)構(gòu)的畫面；或/和在有關(guān)3-2下拉的信息包括在編碼流中的情況下，指示畫面的顯示場是等同于兩個畫面還是等同于三個畫面的信息。在步驟15中，運動畫面編碼裝置100按解碼順序設(shè)置隨機存取單元RAU中所有畫面的picture_structure和picture_type。
應當注意，在開始隨機存取單元RAU的最前端AU的編碼時不知道存儲特技播放信息的NAL單元的大小的情況下，要在步驟11省略固定用于存儲特技播放信息的區(qū)的處理過程。在這種情況下，在步驟15中將產(chǎn)生的用于存儲特技播放信息的NAL單元插入到最前端AU。
另外，可以在編碼流的基礎(chǔ)上切換存儲或不存儲特技播放信息。特別是，在應用規(guī)定了構(gòu)成隨機存取單元的AU之間的預測結(jié)構(gòu)的情況下，可以確定不存儲特技播放信息。例如，在編碼流與MPEG-2流具有相同預測結(jié)構(gòu)的情況下，沒有必要存儲特技播放信息。這是因為不用特技信息也能夠確定需要在特技播放時解碼的AU。應當注意，這種切換可以在隨機存取單元RAU的基礎(chǔ)上執(zhí)行。
(運動畫面多路復用裝置)圖23是顯示本發(fā)明的運動畫面多路復用裝置108的結(jié)構(gòu)的方框圖。該運動畫面多路復用裝置108輸入運動畫面數(shù)據(jù)，對運動畫面數(shù)據(jù)編碼以產(chǎn)生MPEG-4 AVC流，多路復用帶有對構(gòu)成流的AU的存取信息和包括用于確定在特技播放時執(zhí)行的操作的補充信息的管理信息的流，和記錄多路復用的流。運動畫面多路復用裝置108包括流屬性確定單元101，編碼單元102，管理信息產(chǎn)生單元103，多路復用單元106，和存儲單元107。在這里，編碼單元102具有將特技播放信息加到圖21中所示的運動畫面編碼裝置100中的功能。
流屬性確定單元101確定有關(guān)在對MPEG-4 AVC流編碼時執(zhí)行的特技播放的需求，并將它們作為屬性信息TYPE輸出到編碼單元102和播放支持信息產(chǎn)生單元105。在這里，有關(guān)特技播放的需求包括下列信息，指示是否將構(gòu)成隨機存取單元的需求應用到MPEG-4 AVC流；指示要在變速播放或逆向播放時解碼或顯示的AU的信息是否包括在流中；或是否設(shè)置有關(guān)AU之間的預測結(jié)構(gòu)的需求。流屬性確定單元101進一步將作為產(chǎn)生諸如壓縮格式或分辨率之類的管理信息所需的信息的一般管理信息輸出到一般管理信息產(chǎn)生單元104。編碼單元102根據(jù)屬性信息TYPE將輸入的視頻數(shù)據(jù)編碼成MPEG-4 AVC流，將編碼數(shù)據(jù)輸出到多路復用單元106，并將流中的存取信息輸出到一般管理信息產(chǎn)生單元104。在這里，在屬性信息TYPE示出指示要在變速播放或逆向播放時解碼或顯示的AU的信息未包括在流中的情況下，不將特技信息包括在編碼流中。應當注意，存取信息指示對流進行存取中作為基礎(chǔ)單元的存取單元的信息，并且在存取單元中包括最前端AU的開始地址，顯示時間，等等。一般管理信息產(chǎn)生單元104根據(jù)存取信息和一般管理信息產(chǎn)生存取流時要參考的表數(shù)據(jù)和存儲諸如壓縮格式之類的屬性信息的表數(shù)據(jù)，并將表數(shù)據(jù)作為管理信息INFO輸出到多路復用單元106。播放支持信息產(chǎn)生單元105根據(jù)輸入的屬性信息TYPE產(chǎn)生指示流是否具有隨機存取結(jié)構(gòu)的支持信息HLP，并將支持信息HLP輸出到多路復用單元106。多路復用單元106通過多路復用支持信息HLP，產(chǎn)生通過編碼單元102輸入的編碼數(shù)據(jù)，管理信息INFO，和多路復用數(shù)據(jù)，并將它們輸出到存儲單元107。存儲單元107將通過多路復用單元106輸入的多路復用數(shù)據(jù)記錄到諸如光盤、硬盤、和存儲器之類的記錄介質(zhì)上。應當注意，編碼單元102可以將MPEG-4 AVC流分組成，例如，MPEG-2 TS(傳送流)或MPEG-2 PS(程序流)，然后輸出數(shù)據(jù)分組化的MPEG-2 TS或PS。編碼單元102也可以利用諸如BD之類的應用規(guī)定的格式把流分割成數(shù)據(jù)分組。
應當注意，管理信息的內(nèi)容不需要依賴于特技播放信息是否存儲在編碼流中。此時，可以省略支持信息HLP。運動畫面多路復用裝置108也可以具有沒有播放支持信息產(chǎn)生單元105的結(jié)構(gòu)。
圖24A和24B示出了由支持信息HLP所示的信息的例子。支持信息HLP包括如圖24A中所示的直接指示流的信息的方法，和如圖24B中所示的，指示該流是否滿足由特定應用標準規(guī)定的需求的方法。
圖24A示出了作為有關(guān)流的信息的以下信息有關(guān)流是否具有隨機存取結(jié)構(gòu)的信息；有關(guān)是否存在對存儲在AU中的畫面之間的預測結(jié)構(gòu)的需求的信息；和有關(guān)指示要在特技播放時解碼或顯示的AU的信息是否存在的信息。
在這里，有關(guān)要在特技播放時解碼或顯示的AU的信息可以直接指示要解碼或顯示的AU，或指示在解碼或顯示時的優(yōu)先次序。例如，可以指出指示要在隨機存取單元的基礎(chǔ)上解碼或顯示的AU存儲在具有應用、SEI消息等規(guī)定的特定NAL單元類型的NAL單元中的信息。應當注意，可以指出存在指示構(gòu)成隨機存取單元的AU之間的預測結(jié)構(gòu)的信息。也可以在一個或更多的隨機存取單元的基礎(chǔ)上加入有關(guān)要在特技播放時解碼或顯示的AU的信息，或?qū)⒃撔畔⒓拥綐?gòu)成隨機存取單元的每個AU。
此外，在指示要解碼或顯示的AU的信息存儲在具有特定類型的NAL單元中的情況下，可以示出NAL單元的NAL單元類型。在圖25的例子中，在支持信息HLP中，有關(guān)要在特技播放時解碼或顯示的AU的信息包括在NAL單元類型是0的NAL單元中。此時，可以通過對NAL單元類型是0的NAL單元進行去多路復用，從該流的AU數(shù)據(jù)獲得有關(guān)特技播放的信息。在利用SEI消息存儲有關(guān)特技播放的信息的情況下，可以指出用于識別SEI消息的信息。
此外，對于有關(guān)預測結(jié)構(gòu)的需求，可以指出是否滿足了一個或更多預定需求，或可以指出分別滿足了以下各個需求(i)對于I畫面或P畫面的AU，解碼順序應當與顯示順序匹配；(ii)P畫面的AU不能參考B畫面的AU；(iii)按顯示順序在隨機存取單元中最前端AU之后的AU僅能參考包括在隨機存取單元中的AU；和(iv)每個AU僅能夠參考按解碼順序位于直到第N個AU之前和之后的AU。在這種情況下，所有AU一起計數(shù)，或在參考AU的基礎(chǔ)上對AU計數(shù)，并且N的值可以在支持信息HLP中給出。
應當注意，在MPEG-4 AVC中，可以使用在解碼后對其執(zhí)行了除去塊失真的濾波處理從而提高畫面質(zhì)量的畫面作為參考畫面，并且可以使用去塊處理之前的畫面作為顯示畫面。在這種情況下，運動畫面解碼裝置需要保存去塊處理之前和之后的畫面。因此，可以將指示是否需要保存去塊處理之前和之后的畫面以用于顯示的信息存儲在支持信息HLP中。MPEG-4AVC標準定義了存儲參考畫面或作為解碼結(jié)果顯示的畫面所需的緩存器(DPB解碼畫面緩存器)的最大尺寸。因此，利用具有最大尺寸的DPB緩存器或具有應用規(guī)定的最大尺寸的緩存器，可以指示是否即使在存儲了用于參考畫面的顯示的畫面的情況下，也能無故障地執(zhí)行解碼處理過程。應當注意，為了存儲參考畫面的去塊處理之前的畫面，可以利用字節(jié)數(shù)或幀數(shù)指示除了作為DPB需要的尺寸之外，需要固定的緩存器尺寸。在這里，可以從流中的信息或諸如管理信息之類的流外的信息，獲得是否要對每個畫面執(zhí)行去塊處理。在獲得流中信息的情況下，例如，可以從SEI獲得。此外，在對MPEG-4 AVC流解碼的情況下，可以根據(jù)能夠在解碼單元中使用的緩存器尺寸和上述信息，判斷是否可以將參考畫面去塊處理之前的畫面用于顯示，然后可以確定如何顯示畫面。
應當注意，支持信息HLP可以包括全部信息或信息的一部分。也可以包括基于預定條件的必要信息，例如，在沒有關(guān)于預測結(jié)構(gòu)的需求的情況下僅包括有關(guān)特技播放信息存在/不存在的信息。支持信息HLP中也可以包括除上述信息之外的信息。
圖24B并不直接指示有關(guān)流的結(jié)構(gòu)的信息，但是指示流是否滿足對藍光盤(BD-ROM)標準或在DVD中存儲高清晰度畫面的高清晰度(HD)DVD標準規(guī)定的有關(guān)流結(jié)構(gòu)的需求。此外，在諸如BD-ROM標準等之類的應用標準中將多種模式定義為流的需求的情況下，可以存儲指示應用模式的信息。例如，使用以下模式指示不存在需求的模式1；指示流具有隨機存取結(jié)構(gòu)并且包括指定在特技播放時解碼的AU的信息的模式2；等等。應當注意，可以指示流是否滿足諸如下載或流化之類的通信服務，或廣播標準中規(guī)定的需求。
應當注意，可以指示圖24A中示出的信息和圖24B中示出的信息二者。此外，在知道該流滿足特定應用標準中的要求的情況下，可以通過將流結(jié)構(gòu)轉(zhuǎn)換到如圖24A中所示的直接說明的格式而存儲該應用標準中的要求，以取代指示流是否滿足該應用標準。
應當注意，可以存儲指示要在特技播放時解碼或顯示的AU的信息作為管理信息。此外，在轉(zhuǎn)換流中的支持信息HLP的內(nèi)容的情況下，可在一個部分接一個部分的基礎(chǔ)上指示支持信息HLP。
圖26是顯示運動畫面多路復用裝置108的操作的流程圖。在步驟51，流屬性確定單元101根據(jù)用戶設(shè)置或預定條件確定屬性信息TYPE。在步驟52，編碼單元102根據(jù)屬性信息TYPE對流進行編碼。在步驟53，播放支持信息產(chǎn)生單元105根據(jù)屬性信息TYPE產(chǎn)生支持信息HLP。結(jié)果是，在步驟54，編碼單元102根據(jù)編碼流的存取單元來產(chǎn)生存取信息，并且一般管理信息產(chǎn)生單元104通過將存取信息添加到其它必要信息(一般管理信息)而產(chǎn)生管理信息INFO。在步驟55，多路復用單元106對流、支持信息HLP、和管理信息INFO進行多路復用。在步驟56，存儲單元107記錄多路復用的數(shù)據(jù)。應當注意，步驟53可以在步驟52之前或步驟54之后執(zhí)行。
應當注意，編碼單元102可以將支持信息HLP中所示的信息存儲到流中。在這種情況下，支持信息HLP中所示的信息被存儲到用于存儲特技播放的NAL單元中。例如，在P畫面不參考B畫面的情況下，在變速播放時可以僅對I畫面和P畫面解碼。因此，存儲了指示是否能夠僅解碼和顯示I畫面和P畫面的標志信息。此外，存在著在變速播放時解碼的AU不能從應當被對應AU參考的AU獲得SPS或PPS的情況。在這是在僅解碼I畫面和P畫面的情況下，情況是僅把P畫面參考的PPS存儲在B畫面的AU中。在這種情況下，需要從B畫面的AU獲得對P畫面解碼所需的PPS。因此，可以包括指示是否可以從變速播放時解碼的其它AU之一獲得被變速播放時解碼的每個AU參考的SPS或PPS的標志信息。這樣能夠在沒有設(shè)置標志的情況下執(zhí)行諸如也是僅從變速播放時不解碼的畫面的AU來檢測SPS或PPS之類的操作。此外，在顯示只有I畫面和P畫面能夠被解碼和顯示的時候，可以通過同樣對B畫面解碼，特別是其它畫面參考的B畫面，來調(diào)節(jié)播放速度。
此外，也可以將標志信息存儲到SPS、PPS或片段之類的另一個NAL單元的首部，而不使用任何用于存儲特技播放的NAL單元。例如，在把由構(gòu)成隨機存取單元RAU的AU參考的SPS存儲到該隨機存取單元RAU中的最前端AU中的情況下，SPS的NAL單元的nal_ref_idc字段可以指示標志信息。由于定義了SPS的NAL單元中的nal_ref_idc的值是1或更大，從而能夠總是將高階比特設(shè)置在1，和由低階比特指示標志信息。
應當注意，可以將支持信息HLP的內(nèi)容存儲到流或管理信息中，或存儲到二者中。例如，在流中的支持信息HLP的內(nèi)容是固定的情況下，可以在管理信息中示出內(nèi)容，而在內(nèi)容是可變的情況下，可以在流中示出該內(nèi)容。也可以將指示支持信息HLP是否是固定的標志信息存儲在管理信息中。此外，在支持信息HLP在諸如BD-ROM或RAM之類的應用標準中預定的情況下，或在支持信息HLP是通過通信或廣播分開提供的情況下，可以不存儲支持信息HLP。
(運動畫面解碼裝置)圖27是實現(xiàn)本發(fā)明的運動畫面解碼方法的運動畫面解碼裝置200的方框圖。該運動畫面解碼裝置200播放圖8A和8B至圖20中所示的編碼流。它不僅可以執(zhí)行正常播放，而且也能夠執(zhí)行諸如跳入播放，變速播放，和逆向播放之類的特技播放。除了圖5中所示的現(xiàn)有技術(shù)的解碼裝置2的各種單元之外，運動畫面解碼裝置200進一步包括流提取單元EXT和解碼AU選擇單元AUsel。應當注意，與圖5的方框圖中所示的現(xiàn)有技術(shù)的解碼裝置2的對應處理單元執(zhí)行相同的操作的處理單元被分配了相同的參考標號，并且省略了對它們的說明。
根據(jù)從外部輸入的特技播放指令，解碼AU選擇單元AUsel根據(jù)在可變長度解碼單元VLD中解碼的特技播放信息RrpInf確定需要解碼的AU。在這里，指示特技播放的特技播放指令是從解碼AU選擇單元AUSel輸入的。此外，解碼AU選擇單元AUsel將指示確定為需要解碼的AU的信息DecAU通知給流提取單元EXT。流提取單元EXT僅提取對應于解碼AU選擇單元AUsel判斷為需要解碼的AU的AU流，然后將流發(fā)送到可變長度解碼單元VLD。
圖28是圖27中所示的運動畫面解碼裝置200(主要是解碼AU選擇單元AUsel)如何在執(zhí)行特技播放時執(zhí)行包括特技播放信息的流的解碼過程的流程圖，即，本發(fā)明的運動畫面解碼方法的流程圖。
首先，在步驟20，解碼AU選擇單元AUsel通過檢測流中的SPS等，判斷AU是否是隨機存取單元RAU的最前端AU。在AU是最前端AU的情況下，前進到步驟21，而在AU不是最前端AU的情況下，前進到步驟22。在這里，可以從諸如時間映射表之類的管理信息獲得隨機存取單元RAU的開始位置。更具體地講，在確定了跳入播放時的播放開始位置，或僅選擇了隨機存取單元RAU的最前端畫面并對選擇的最前端畫面執(zhí)行高速播放的情況下，能夠參考時間映射表確定隨機存取單元RAU的開始位置。在步驟21，解碼AU選擇單元AUsel從AU數(shù)據(jù)獲得特技播放信息，分析AU數(shù)據(jù)并在前進到步驟22之前確定要解碼的AU。在步驟22，解碼AU選擇單元AUsel判斷該AU是否是步驟21中確定為要解碼的AU。在確定是要解碼的AU的情況下，運動畫面解碼裝置200在步驟23中對該AU解碼，而在確定不是要解碼的AU的情況下，前進到步驟24。在步驟24，運動畫面解碼裝置200判斷是否剩余任何要解碼的AU。在具有要解碼的AU的情況下，運動畫面解碼裝置200重復步驟20和隨后步驟的處理過程，而在沒有剩余AU的情況下，則完成了處理過程。應當注意，可以省略步驟21和步驟22的處理過程，或省略步驟21中的確定處理過程，并在按順序解碼和顯示所有AU的正常播放時，輸出指示對所有AU進行解碼的信息。
圖29是指示步驟21中的處理過程(解碼AU選擇單元AUsel執(zhí)行的處理過程)的流程圖。首先，在步驟30，解碼AU選擇單元AUSel通過搜索AU數(shù)據(jù)來查找以最前端字節(jié)開始的開始碼前綴，檢測構(gòu)成AU的NAL單元的開始位置，并前進到步驟31。應當注意，可以搜索并不是以AU數(shù)據(jù)的最前端字節(jié)開始，而是在諸如存取單元定界符的結(jié)束位置之類的另外位置開始的開始碼前綴。在步驟31，解碼AU選擇單元AUSel得到NAL單元的NAL單元類型，并前進到步驟32。在步驟32，解碼AU選擇單元AUSel判斷步驟31中得到的NAL單元類型是否是用于存儲特技播放信息的NAL單元類型。在存儲了特技播放信息的情況下，前進到步驟33，而在沒有存儲特技播放信息的情況下，則重復步驟30和隨后的步驟的處理過程。在這里，在特技播放信息存儲在SEI消息中的情況下，解碼AU選擇單元AUSel首先獲得SEI的NAL單元，接下來，判斷用于存儲特技播放信息的SEI消息是否包括在NAL單元中。在步驟33，解碼AU選擇單元AUSel得到特技播放信息，并前進到步驟34。在步驟34，解碼AU選擇單元AUSel確定在執(zhí)行特定的特技播放時需要解碼的畫面。例如，假如指定了倍速播放。在特技播放信息指示可以通過僅解碼和播放I畫面，P畫面和參考B畫面來實現(xiàn)倍速播放的情況下，則確定要解碼和播放三種類型的畫面。應當注意，在從步驟30到步驟32的處理過程中沒有在隨機存取單元RAU的最前端畫面中檢測到特技播放信息的情況下，根據(jù)預定方法確定需要解碼的畫面以便執(zhí)行特點的特技播放操作。作為一個例子，可以通過參考指示存取單元定界符中畫面的畫面類型的字段，或通過察看NAL單元的首部的nal_ref_idc，判斷該畫面是否是參考畫面。例如，可以通過參考指示畫面類型的字段和nal_ref_idc二者，區(qū)分參考B畫面和非參考B畫面。
圖30是指示不總是顯示要解碼的所有AU的情況下的處理過程(解碼AU選擇單元AUSel執(zhí)行的處理過程)的流程圖。與圖28的流程圖中的步驟執(zhí)行相同處理過程的步驟被分配了相同的參考標號，并省略了對它們的說明。在步驟41，解碼AU選擇單元AUSel獲得和分析特技播放信息，確定要解碼的AU和以特定的特技操作顯示AU，并且前進到步驟42。在步驟42，解碼AU選擇單元AUSel判斷解碼的AU是否與顯示的AU完全匹配。在完全匹配的情況下，前進到步驟22，而在不完全匹配的情況下，則前進到步驟43。在步驟43，解碼AU選擇單元AUSel輸出要顯示的AU的列表信息，并且前進到步驟22。在從解碼AU中確定要顯示的AU的步驟(圖中未示出)中使用輸出AU的列表信息。
應當注意，在MPEG-4 AVC中，可以使用在解碼之后對其執(zhí)行了消除塊失真的濾波處理(去塊處理)以提高畫面質(zhì)量的畫面來作為參考畫面，并且可以使用去塊處理之前的畫面作為顯示畫面。在這種情況下，運動畫面解碼裝置200需要保存去塊處理之前和之后的畫面數(shù)據(jù)。在這里，在運動畫面解碼裝置200具有可以存儲等同于四個畫面的解碼后數(shù)據(jù)的存儲器的條件下，在把去塊處理之前和之后的畫面數(shù)據(jù)存儲在存儲器中的情況下，存儲器需要存儲等同于兩個畫面的數(shù)據(jù)，以便保存參考畫面的去塊之前的畫面。但是，如上所述，在逆向播放時，希望在存儲器中保存盡可能多的畫面。在運動畫面解碼裝置200也將去塊處理之后的畫面用于顯示的條件下，由于無需存儲去塊處理之前的畫面，所以可以將四個畫面的數(shù)據(jù)保存在存儲器中。因此，在正常方向播放時顯示去塊處理之前的畫面以提高畫面質(zhì)量，并且在逆向播放時顯示去塊處理之后的畫面，使得能夠在存儲器中保存更多的畫面，并且減少了逆向播放時的處理量。例如，在圖15A至15C示出的作為特技播放信息的I畫面和P畫面的AU的列表的例子中，在逆向播放時能夠?qū)⑺膫€畫面的所有數(shù)據(jù)都保存在一個存儲器中，而在正常方向的播放時能夠?qū)⒁韵碌膬僧嬅娼MI0和P3；P3和P6；和P6和P9，同時保存在存儲器中，這些兩組畫面是從I0，P3，P6和P9中任意選擇的。
(在光盤中記錄特技播放的格式的例子)特技播放功能在播放致密介質(zhì)的光盤裝置中是特別重要的。在這里，要說明將上述特技播放信息記錄到作為下一代光盤的藍光盤(BD)中的例子。
首先，說明BD-ROM的記錄格式。
圖31是指示BD-ROM的結(jié)構(gòu)，特別是作為盤介質(zhì)的BD盤114的結(jié)構(gòu)，和存儲在盤中的數(shù)據(jù)111，112和113的示意圖。存儲在BD盤中的數(shù)據(jù)包括AV數(shù)據(jù)113，諸如有關(guān)AV數(shù)據(jù)和AV播放順序的管理信息之類的BD管理信息112，和實現(xiàn)互動性的BD播放程序111。在這里，為了方便，將BD盤的說明集中于用于播放電影的音頻和視頻內(nèi)容的AV應用，但是可以對其它應用進行同樣的說明。
圖32是顯示存儲在上述BD盤中的邏輯數(shù)據(jù)的目錄文件的結(jié)構(gòu)示意圖。例如，如同DVD、CD等一樣，BD盤具有從其內(nèi)周到其外周的記錄區(qū)，并具有在內(nèi)周的讀入和外周的讀出之間的、用于存儲邏輯數(shù)據(jù)的邏輯地址空間。此外，在讀入內(nèi)側(cè)，具有叫作脈沖分割區(qū)(Burst Cutting Area)(BCA)的，只能由驅(qū)動器讀出的專用區(qū)。由于這個區(qū)不能從應用讀出，所以可以將它用于，例如，版權(quán)保護技術(shù)。
文件系統(tǒng)信息(卷)存儲在邏輯地址空間的最前端，并且視頻數(shù)據(jù)之類的應用數(shù)據(jù)也存儲在這里。如背景技術(shù)中所述，文件系統(tǒng)是例如UDF或ISO9660，它允許如同正常PC的情況一樣讀出利用目錄結(jié)構(gòu)或文件結(jié)構(gòu)存儲的邏輯數(shù)據(jù)。
在這個實施方式中，作為BD盤上的目錄結(jié)構(gòu)和文件結(jié)構(gòu)，BDVIDEO目錄緊接著路徑目錄(ROOT(根目錄))之下放置。這個目錄是存儲諸如AV內(nèi)容或在BD中處理的管理信息(圖32中說明的101，102和103)之類的數(shù)據(jù)的目錄。
在BDVIDEO目錄之下，記錄著以下七個文件。
(i)BD.INFO(文件名是固定的)，這是一條“BD管理信息”，并且是存儲有關(guān)整個BD盤的信息的文件。BD播放器首先讀出這個文件。
(ii)BD.PROG(文件名是固定的)，這是“BD播放程序”之一，并且是存儲有關(guān)整個BD盤的播放控制信息的文件。
(iii)XXX.PL(“XXX”是可變的，而擴展名“PL”是固定的)，這是一條“BD管理信息”，并且是存儲作為腳本(播放序列)的播放列表信息的文件。每個播放列表具有一個文件。
(iv)XXX.PROG(“XXX”是可變的，而擴展名“PROG”是固定的)，這是“BD播放程序”之一，并且是存儲根據(jù)播放列表準備的播放控制信息的文件。對應播放列表是根據(jù)文件體名(根據(jù)“XXX”的匹配)識別的。
(v)YYY.VOB(“YYY”是可變的，而擴展名“VOB”是固定的)，這是“AV數(shù)據(jù)”之一，并且是存儲VOB(與背景技術(shù)中說明的VOB相同)的文件。每個VOB具有一個文件。
(vi)YYY.VOBI(“YYY”是可變的，而擴展名“VOBI”是固定的)，這是一條“BD管理信息”，并且是存儲有關(guān)作為AV數(shù)據(jù)的VOB的流管理信息的文件。對應播放列表是根據(jù)文件體名(根據(jù)“YYY”的匹配)識別的。
(vii)ZZZ.PNG(“ZZZ”是可變的，而擴展名“PNG”是固定的)，這是“AV”數(shù)據(jù)之一，并且是存儲用于構(gòu)成副標題和菜單的圖像數(shù)據(jù)PNG(這是由V3C標準化的畫面格式，念作“ping”)的文件。每個PNG圖像具有一個文件。
以下參考圖33至圖38說明BD導航數(shù)據(jù)的結(jié)構(gòu)(BD管理信息)。
圖33是顯示VOB管理信息文件(“YYY.VOBI”)的內(nèi)部結(jié)構(gòu)的示意圖。VOB管理信息具有VOB的流屬性信息(Attribute)和時間映射表(TMAP)。流屬性具有視頻屬性(Video)和音頻屬性(Audio#0至Audio#m)。更具體地講，在音頻流的情況下，由于VOB同時具有多個音頻流，所以通過音頻流的號碼(Number)來指示數(shù)據(jù)字段的存在或不存在。
下面是分別存儲在字段中的視頻屬性(Video)，和對應字段可能具有的值。
(i)壓縮格式(Coding)MPEG-1；MPEG-2；MPEG-4；和MPEG-4AVC(高級視頻編碼)。
(ii)分辨率(Reslution)1920×1080；1440×1080；1280×720；720×480；和720×565。
(iii)寬高比(Aspect)4比3；和16比9。
(iv)幀速率(Framerate)60；59.94(60/1.001)；50；30；29.97(30/1.001)；25；24；和23.976(24/1.001)。
以下是分別存儲在字段中的音頻屬性(Audio)，和相應字段可能具有的值。
(i)壓縮格式(Coding)AC3；MPEG-1；MPEG-2；和LPCM。
(ii)聲道號(Ch)1至8。
(iii)語言屬性(Language)時間映射表(TMAP)是用于存儲基于VOBU的信息的表，并且具有VOB具有的VOBU數(shù)量和相應的VOBU信息條(VOBU#1至VOBU#n)。各VOBU信息條包括作為VOBU的最前端TS數(shù)據(jù)分組的地址(I畫面的開始地址)的I_start，和直到I畫面的結(jié)束地址的偏離地址(I_end)，和I畫面的播放開始時間(PTS)。
圖34是顯示VOBU詳細情況的示意圖。眾所周知，由于可以對MPEG視頻流執(zhí)行可變比特率壓縮以便高質(zhì)量地記錄視頻流，所以播放時間與數(shù)據(jù)大小之間沒有正比性。另一方面，由于在作為音頻壓縮標準的AC3中執(zhí)行固定比特率壓縮，所以可以從初等表達式獲得時間與地址之間的關(guān)系。但是，在MPEG視頻數(shù)據(jù)的情況下，每個幀具有固定的顯示時間，例如，在NTSC情況下，一個幀具有1/29.97秒的顯示時間，但是根據(jù)圖像特征，或壓縮中使用的畫面類型，例如，I畫面、P畫面、或B畫面，壓縮每個幀之后的數(shù)據(jù)大小極大地改變。因此，在MPEG視頻流的情況下，不能利用初等表達式表示時間與地址之間的關(guān)系。
如所預期的，在多路復用MPEG視頻數(shù)據(jù)的MPEG系統(tǒng)流中，即，在VOB中，不能利用初等表達式表示時間與數(shù)據(jù)大小之間的關(guān)系。因此，在VOB中用時間映射表(TMAP)將時間與地址聯(lián)系在一起。
以這種方式，在給出了時間信息的情況下，首先搜索時間所屬的VOBU(按順序跟隨VOBU的PTS)，使緊挨著該時間之前的PTS跳入TMAP具有的VOBU(由I_start指定的地址)，從該VOBU的最前端I畫面開始解碼，并且從對應于該時間的畫面開始顯示。
接下來，參考圖35說明播放列表信息(“XXX.PL”)的內(nèi)部結(jié)構(gòu)。播放列表信息包括單元列表(CellList)和事件列表(EventList)。
單元列表(CellList)是播放列表中的播放單元序列，并且各單元以這個列表中指示的規(guī)定順序播放。單元列表(CellList)的內(nèi)容是單元號(Number)和每個單元的信息(Cell#1至Cell#n)。
單元信息(Cell#)具有VOB文件名(VOBName)，該VOB中的開始時間(In)和結(jié)束時間(Out)，和副標題(SubtitleTable)。在每個VOB中將開始時間(In)和結(jié)束時間(Out)表示為幀號。利用上述時間映射表(TMAP)可以獲得播放所需的VOB數(shù)據(jù)的地址。
副標題表(SubtitleTable)是存儲與VOB同步播放的副標題信息的表。如同音頻的情況一樣，多種語言包括在副標題中。副標題表(SubtitleTable)的第一信息包括語言號(Number)和隨后根據(jù)語言準備的表(Language#1至Language#k)。
每個語言表(Language#)包括語言信息(Lang)，要獨立顯示的副標題的副標題信息條的號(Number)，和要獨立顯示的副標題的副標題信息(Speech#1至Speech#j)。副標題信息(Speech#)包括圖像數(shù)據(jù)文件名(Name)，副標題顯示開始時間(In)，副標題顯示結(jié)束時間(Out)，和副標題顯示位置(Position)。
事件列表(EventList)是定義播放列表中發(fā)生的每個事件的表。事件列表包括事件號(Number)和各個事件(Event#1至Event#m)。每個事件(Event#)包括事件類型(Type)，事件ID(ID)，事件發(fā)生時間(Time)，和事件持續(xù)時間(Duration)。
圖36是具有根據(jù)播放列表準備的事件處理程序(這是用于菜單選擇的時間事件和用戶事件)的事件處理程序表(“XXX.PROG”)。事件處理程序表包括定義的事件處理程序/程序號(Number)，和相應的事件處理程序/程序(Program#1至Program#n)。每個事件處理程序/程序(Program#)的內(nèi)容是事件處理程序的開始的定義(<event_handler>tag)和與早先說明的事件ID組成對的事件處理程序ID(ID)，緊接著它的是在跟隨在函數(shù)(Function)后面的“{}”中說明的程序。存儲在早先說明的“XXX.PL”的事件列表(EventList)中的事件(Event#1至Event#m)是利用“XXX.PROG”的事件處理程序的ID(ID)指定的。
接下來，參考圖37說明有關(guān)整個BD盤的信息(“BD.INFO”)的內(nèi)部結(jié)構(gòu)。有關(guān)整個BD盤的信息包括標題列表(TitleList)和全局事件的事件表(EventList)。
標題列表(TitleList)包括盤的標題號(Number)和跟隨在標題號后面的多條標題信息(Title#1至Title#n)。各條標題信息(Title#)包括被包括在標題中的播放序列表(PLTable)，和標題中的章列表(ChapterList)。播放序列表(PLTable)包括標題中的播放列表的號(Number)，和作為播放列表的文件名的播放列表名(Name)。
章列表(ChapterList)包括被包括在標題中的章號(Number)和多條章信息(Chapter#1至Chapter#n)。每條章信息(Chapter#)包括被包括在該章中的單元表(CellTable)，單元表(CellTable)包括單元號(Number)和多條單元項信息(CellEntry#1至CellEntry#k)。單元項信息(CellEntry#)包括播放列表名，播放列表名包括該播放列表中的單元和單元號。
事件列表(EvenList)包括全局事件號(Number)和多條全局事件。應當注意，首先定義的全局事件叫做第一事件(FirstEvent)，并且是BD插入播放器后首先調(diào)用的事件。全局事件的事件信息僅有一個事件類型(Type)和一個事件ID(ID)。
圖38是全局事件處理程序的程序的表(“BD.PROG”)。該表的內(nèi)容與圖36中說明的事件處理程序表的內(nèi)容相同。
在以至此所述的BD-ROM格式存儲上述特技播放信息的情況下，要考慮到VOBU包括一個或更多的隨機存取單元RAU，并且特技播放信息包括在VOBU的最前端AU中。應當注意，在MPEG-4 AVC中，包括存儲著特技播放信息的NAL單元。
應當注意，可以將特技播放信息存儲在BD管理信息中。例如，可以通過擴充VOB管理信息的時間映射表來存儲在VOBU基礎(chǔ)上準備的特技播放信息。也可以定義用于存儲特技播放信息的新映射表。
也可以將特技播放信息存儲到VOBU或BD管理信息中。
也可以僅把特技播放信息的默認值存儲到BD管理信息中，并且只有在關(guān)于VOBU的特技播放信息與默認值不同時，才能將特技播放信息存儲到VOBU中。
也可以將一條或更多條特技播放信息的集合存儲到BD管理信息中，作為流之間共用的信息。VOBU可以參考存儲在BD管理信息中的多條特技播放信息中的一條特技播放信息。在這種情況下，將VOBU參考的特技播放信息的索引信息存儲到VOBU單元的管理信息或VOBU中。
(播放光盤的播放器)圖39是大致示出播放圖31中所示的BD盤的播放器的功能結(jié)構(gòu)的方框圖。通過光拾取頭202讀出BD盤201上的數(shù)據(jù)。根據(jù)相應數(shù)據(jù)的類型，將讀出的數(shù)據(jù)發(fā)送到專用存儲器。將BD播放程序(“BD.PROG”或“XXX.PROG”的內(nèi)容)發(fā)送到程序存儲器203。另外，把BD管理信息(“BD.INFO”，“XXX.PL”或“YYY.VOBI”)發(fā)送到管理信息存儲器204。還將AV數(shù)據(jù)(“YYY.VOB”或“ZZZ.PNG”)發(fā)送到AV存儲器205。
程序處理單元206處理記錄在程序存儲器203中的BD播放程序。另外，管理信息處理單元207處理記錄在管理信息存儲器204中的BD管理信息。顯現(xiàn)處理單元208處理記錄在AV存儲器205中的AV數(shù)據(jù)。
程序處理單元206接收管理信息處理單元207要播放的播放列表的信息，和諸如程序的執(zhí)行定時之類的事件信息，并執(zhí)行程序的處理。另外，可以動態(tài)地改變程序要播放的播放列表。這可以通過將播放列表的播放指令發(fā)送到管理信息處理單元207來實現(xiàn)。程序處理單元206接收來自用戶的事件，也就是說，通過遠端控制器接收請求，并且在具有對應于用戶事件的程序的情況下，執(zhí)行該程序。
管理信息處理單元207接收來自程序處理單元206的指令，分析播放列表和對應于播放列表的VOB的管理信息，并指令顯現(xiàn)處理單元208播放目標AV數(shù)據(jù)。管理信息處理單元207還接收來自顯現(xiàn)處理單元208的標準時間信息，根據(jù)時間信息指令顯現(xiàn)處理單元208停止播放AV數(shù)據(jù)。此外，管理信息處理單元207產(chǎn)生一個事件，以把程序執(zhí)行定時通知給程序處理單元206。
顯現(xiàn)處理單元208具有能夠分別處理視頻、音頻、副標題/圖像(靜止畫面)的解碼器。它根據(jù)來自管理信息處理單元207的指令，解碼和輸出AV數(shù)據(jù)。在視頻數(shù)據(jù)，和副標題/圖像的情況下，將它們解碼，然后提供到對應的專用平面上，即，視頻平面210和圖像平面209上。此后，合成處理單元211對視頻執(zhí)行合成處理，和將視頻輸出到TV之類的顯示裝置。
在諸如跳入播放、變速播放、和逆向播放之類的特技播放時，顯現(xiàn)處理單元208翻譯用戶請求的特技播放操作，并將播放速度之類的信息通知給管理信息處理單元207。管理信息處理單元207分析存儲在VOBU的最前端AU中的特技播放信息，并確定要解碼和顯示的AU，以便能夠保證執(zhí)行用戶指定的特技播放操作。應當注意，管理信息處理單元207可以獲得特技播放信息，將它輸出到顯現(xiàn)處理單元208并確定要解碼的AU和要在顯現(xiàn)處理單元208中顯示的AU。
應當注意，通過將實現(xiàn)本實施方式中所示的運動畫面編碼方法和運動畫面解碼方法的程序記錄到諸如軟盤之類的記錄介質(zhì)中，備用計算機系統(tǒng)可以容易地執(zhí)行本實施方式中所示的處理過程。
圖40A至40C是計算機系統(tǒng)如何利用記錄在諸如軟盤之類的記錄介質(zhì)上的程序執(zhí)行本實施方式的運動畫面編碼方法和運動畫面解碼方法的說明圖。
圖40A示出了作為記錄介質(zhì)的軟盤的物理格式的例子。圖40B示出了軟盤以及該軟盤外觀的正示意圖和橫截面圖。軟盤(FD)容納在外殼F中，從盤的外周到內(nèi)周在盤的表面上同心地形成有多個軌道(Tr)，并且每個軌道在角度方向上被分割成16個扇區(qū)(Se)。因此，在軟盤存儲上述程序的情況下，程序被存儲在軟盤(FD)上分配給它的區(qū)中。
此外，圖40C示出了記錄和播放軟盤上的程序的結(jié)構(gòu)。在把用于實現(xiàn)運動畫面編碼方法和運動畫面解碼方法的上述程序記錄在軟盤FD上的情況下，計算機系統(tǒng)Cs通過軟盤驅(qū)動器將程序?qū)懺谲洷P上。在利用軟盤中的程序構(gòu)造上述用于實現(xiàn)運動畫面編碼方法和運動畫面解碼方法的運動畫面編碼裝置和運動畫面解碼裝置的情況下，通過軟盤驅(qū)動器從軟盤讀出程序，并將它發(fā)送到計算機系統(tǒng)。
應當注意，上述說明是利用軟盤作為記錄介質(zhì)進行的，但是，程序可以記錄在光盤上。此外，記錄介質(zhì)不限于此，也可以使用諸如IC卡，ROM盒之類的另外的記錄介質(zhì)，只要它能夠記錄程序。
至此，根據(jù)實施方式說明了本發(fā)明的運動畫面流產(chǎn)生裝置，運動畫面編碼裝置，運動畫面多路復用裝置，和運動畫面解碼裝置，但是本發(fā)明不限于該實施方式。本發(fā)明包括熟悉本領(lǐng)域的人員根據(jù)本實施方式可以想到的各種改變，并且這些改變在本發(fā)明的技術(shù)主題的范圍內(nèi)。
例如，在本實施方式中，本發(fā)明包括以下裝置(i)運動畫面流產(chǎn)生裝置；具有運動畫面編碼裝置和運動畫面解碼裝置中的一個的光盤記錄裝置；運動畫面發(fā)送裝置；數(shù)字電視廣播發(fā)送裝置；網(wǎng)站服務器；通信裝置；移動信息終端，等等；和(ii)具有運動畫面解碼裝置的運動畫面接收裝置；數(shù)字電視廣播接收裝置；通信裝置；移動信息終端，等等。
應當注意，圖21、圖23、圖27、和圖39中所示的各功能塊一般以作為大規(guī)模集成電路的LSI來實現(xiàn)。每個功能塊可以制成為單獨的芯片，或可以將功能塊的一部分或全部集成到一個單獨的芯片中(例如，可以將除了存儲器之外的功能塊制造成一個單獨的芯片)。在這里，將集成電路稱為LSI，但是，根據(jù)集成度，可以稱之為IC、系統(tǒng)LSI、超LSI、或超大LSI。此外，將它們制造成集成電路的方法不限于將它們制造成LSI的方法，也可以通過專用電路或一般處理器來實現(xiàn)。此外，在把它們制造成LSI之后，可以使用(i)可以重新配置電路單元的連接或設(shè)置的可重新配置處理器，或(ii)可編程FPGA(可現(xiàn)場編程門陣列)。此外，在半導體技術(shù)進一步發(fā)展或出現(xiàn)了任何派生技術(shù)時，出現(xiàn)了取代將它們制造成LSI，而將它們制造成集成電路的技術(shù)的情況下，可以利用這種新技術(shù)將功能塊制造成集成電路。生物技術(shù)的應用是有可能的。此外，在各功能塊中，可以獨立地配置存儲要編碼或解碼的畫面數(shù)據(jù)的存儲單元(畫面存儲器)，而不是包括在一個單一的芯片中。
盡管以上僅詳細說明了本發(fā)明的示例實施方式，熟悉本領(lǐng)域的人員應當知道，可以對示例實施方式進行多種修改而不脫離本發(fā)明的新的教導和優(yōu)點。因此，所有這些修改包括在本發(fā)明的范圍內(nèi)。
工業(yè)實用性本發(fā)明可應用于產(chǎn)生在特技播放中播放的運動畫面的運動畫面流產(chǎn)生裝置；通過編碼，產(chǎn)生要在特技播放中播放的運動畫面的運動畫面編碼裝置；通過數(shù)據(jù)分組多路復用，產(chǎn)生要在特技播放中播放的運動畫面的運動畫面多路復用裝置；和以特技播放來播放運動畫面的運動畫面解碼裝置，特別是，作為用于構(gòu)造利用諸如變速播放和逆向播放之類的特技播放模式播放MPEG-4 AVC流的系統(tǒng)的裝置，例如，這種裝置是一種致力于特技播放功能的有關(guān)光盤的裝置。
權(quán)利要求
1.一種運動畫面流產(chǎn)生裝置，用于產(chǎn)生包括構(gòu)成運動畫面的畫面的流，所述裝置包括補充信息產(chǎn)生單元，用于在隨機存取單元的基礎(chǔ)上，產(chǎn)生在每個隨機存取單元播放時被參考的補充信息，每個隨機存取單元包括一個或更多的畫面；和流產(chǎn)生單元，用于通過將所述補充信息添加到每個對應的隨機存取單元來產(chǎn)生包括產(chǎn)生的所述補充信息和畫面的流，其中，在每個隨機存取單元的最前端，放置能夠不依賴任何畫面解碼的內(nèi)編碼畫面，和所述補充信息包括用于指定要在特技播放中播放每個隨機存取單元中包括的畫面時解碼的畫面的信息。
2.根據(jù)權(quán)利要求1所述的運動畫面流產(chǎn)生裝置，其中所述特技播放包括跳入播放；變速播放；和逆向播放中的至少一種。
3.根據(jù)權(quán)利要求2所述的運動畫面流產(chǎn)生裝置，其中每個畫面是由子畫面單元組成的，和所述流產(chǎn)生裝置將所述補充信息存儲在第一子畫面單元中，所述第一子畫面單元與用于存儲每個畫面的像素值的第二子畫面單元不同。
4.根據(jù)權(quán)利要求3所述的運動畫面流產(chǎn)生裝置，其中每個隨機存取單元是一個或更多的畫面，和所述流產(chǎn)生單元將所述補充信息存儲到每個隨機存取單元中包括的最前端畫面中。
5.根據(jù)權(quán)利要求4所述的運動畫面流產(chǎn)生裝置，其中所述補充信息包括用于指定在以特定速度播放每個隨機存取單元時要解碼的畫面的信息。
6.根據(jù)權(quán)利要求4所述的運動畫面流產(chǎn)生裝置，其中所述補充信息包括指示畫面優(yōu)先次序的信息，每個隨機存取單元是根據(jù)所述優(yōu)先次序播放的。
7.根據(jù)權(quán)利要求4所述的運動畫面流產(chǎn)生裝置，其中所述補充信息包括指示每個隨機存取單元中包括的所有畫面的畫面類型的多條信息，所述多條信息被按與所述畫面的解碼順序相對應的順序來放置。
8.根據(jù)權(quán)利要求7所述的運動畫面流產(chǎn)生裝置，其中所述畫面類型包括被執(zhí)行內(nèi)編碼的I畫面；參考每塊一個畫面被執(zhí)行相互間編碼的P畫面，所述塊是編碼中的基礎(chǔ)單元；參考每塊兩個畫面被執(zhí)行相互間編碼的參考B畫面，所述塊是編碼中的基礎(chǔ)單元，并且所述參考B畫面是由另外畫面參考的畫面；和參考每塊兩個畫面被執(zhí)行相互間編碼的非參考B畫面，所述塊是編碼中的基礎(chǔ)單元，并且所述非參考B畫面是不被另外畫面參考的畫面。
9.根據(jù)權(quán)利要求4所述的運動畫面流產(chǎn)生裝置，其中所述補充信息包括指示在每個隨機存取單元中包括的所有畫面的畫面結(jié)構(gòu)類型的多條信息，所述多條信息被按與所述畫面的解碼順序相對應的順序來放置。
10.根據(jù)權(quán)利要求9所述的運動畫面流產(chǎn)生裝置，其中所述畫面結(jié)構(gòu)類型至少包括場結(jié)構(gòu)；和幀結(jié)構(gòu)。
11.根據(jù)權(quán)利要求10所述的運動畫面流產(chǎn)生裝置，其中所述畫面結(jié)構(gòu)類型進一步包括在所述畫面具有幀結(jié)構(gòu)的情況下，帶有指示畫面具有等同于兩個畫面的顯示場，還是畫面具有等同于三個畫面的顯示場的信息的幀結(jié)構(gòu)。
12.根據(jù)權(quán)利要求1所述的運動畫面流產(chǎn)生裝置，所述裝置進一步包括序列參數(shù)集添加單元，用于把作為有關(guān)一個或更多畫面的一組參數(shù)的序列參數(shù)集添加到每個隨機存取單元，其中所述序列是由以在其重置解碼所需的所有狀態(tài)的特定畫面開始，并且以緊挨著下一個特定畫面之前放置的畫面結(jié)束的多個畫面構(gòu)成的。
13.根據(jù)權(quán)利要求12所述的運動畫面流產(chǎn)生裝置，其中每個隨機存取單元由一個或更多畫面組成，和所述序列參數(shù)集添加單元僅把由所述隨機存取單元中的每個畫面參考的一個序列參數(shù)集存儲到每個隨機存取單元中包括的最前端畫面中。
14.一種運動畫面流產(chǎn)生裝置，用于產(chǎn)生包括構(gòu)成運動畫面的畫面的流，所述裝置包括序列參數(shù)集添加單元，通過在隨機存取單元的基礎(chǔ)上添加序列參數(shù)集來產(chǎn)生包括序列參數(shù)集的運動畫面流，每個序列參數(shù)集是有關(guān)一個或更多畫面的一組參數(shù)，其中所述序列是由以在其重置解碼所需的所有狀態(tài)的特定畫面開始，并且以緊挨著下一個特定畫面之前放置的畫面結(jié)束的多個畫面構(gòu)成的。
15.根據(jù)權(quán)利要求14所述的運動畫面流產(chǎn)生裝置，其中每個隨機存取單元由一個或更多畫面組成，和所述序列參數(shù)集添加單元僅把由所述隨機存取單元中的每個畫面參考的一個序列參數(shù)集存儲到每個隨機存取單元中包括的最前端畫面中。
16.一種運動畫面流產(chǎn)生方法，用于產(chǎn)生包括構(gòu)成運動畫面的畫面的流，所述方法包括在隨機存取單元的基礎(chǔ)上，產(chǎn)生在每個隨機存取單元播放時被參考的補充信息，每個隨機存取單元包括一個或更多畫面；和通過將所述補充信息添加到每個對應的隨機存取單元來產(chǎn)生包括產(chǎn)生的所述補充信息和畫面的流，其中，在每個隨機存取單元的最前端，放置能夠不依賴任何畫面解碼的內(nèi)編碼畫面，和所述補充信息包括用于指定要在特技播放中播放每個隨機存取單元中包括的畫面時解碼的畫面的信息。
17.一種供運動畫面流產(chǎn)生裝置使用的程序，所述運動畫面流產(chǎn)生裝置產(chǎn)生包括構(gòu)成運動畫面的畫面的流，所述程序造成計算機執(zhí)行運動畫面流產(chǎn)生方法，所述方法包括在隨機存取單元的基礎(chǔ)上，產(chǎn)生在每個隨機存取單元播放時被參考的補充信息，每個隨機存取單元包括一個或更多畫面；和通過將所述補充信息添加到每個對應的隨機存取單元來產(chǎn)生包括產(chǎn)生的所述補充信息和畫面的流，其中，在每個隨機存取單元的最前端，放置能夠不依賴任何畫面解碼的內(nèi)編碼畫面，和所述補充信息包括用于指定要在特技播放中播放每個隨機存取單元中包括的畫面時解碼的畫面的信息。
18.一種運動畫面編碼裝置，用于對構(gòu)成運動畫面的畫面進行編碼，所述裝置包括補充信息產(chǎn)生單元，用于在隨機存取單元的基礎(chǔ)上，產(chǎn)生在每個隨機存取單元播放時被參考的補充信息，每個隨機存取單元包括一個或更多的畫面；和編碼單元，用于對產(chǎn)生的所述補充信息和畫面進行編碼，并通過將所述補充信息添加到每個對應的隨機存取單元來產(chǎn)生包括編碼的補充信息和畫面的流，其中，在每個隨機存取單元的最前端，放置能夠不依賴任何畫面解碼的內(nèi)編碼畫面，和所述補充信息包括用于指定要在特技播放中播放每個隨機存取單元中包括的畫面時解碼的畫面的信息。
19.一種運動畫面編碼方法，用于對構(gòu)成運動畫面的畫面進行編碼，所述方法包括在隨機存取單元基礎(chǔ)上，產(chǎn)生在每個隨機存取單元播放時被參考的補充信息，每個隨機存取單元包括一個或更多畫面；和對產(chǎn)生的所述補充信息和畫面進行編碼，并通過將所述補充信息添加到每個對應的隨機存取單元來產(chǎn)生包括編碼的補充信息和畫面的流，其中，在每個隨機存取單元的最前端，放置能夠不依賴任何畫面解碼的內(nèi)編碼畫面，和所述補充信息包括用于指定要在特技播放中播放每個隨機存取單元中包括的畫面時解碼的畫面的信息。
20.一種用于運動畫面編碼裝置的程序，所述運動畫面編碼裝置對構(gòu)成運動畫面的畫面進行編碼，所述程序使計算執(zhí)行運動畫面編碼方法，所述方法包括在隨機存取單元基礎(chǔ)上，產(chǎn)生在每個隨機存取單元播放時被參考的補充信息，每個隨機存取單元包括一個或更多畫面；和對產(chǎn)生的所述補充信息和畫面進行編碼，并通過將所述補充信息添加到每個對應的隨機存取單元來產(chǎn)生包括編碼的補充信息和畫面的流，其中，在每個隨機存取單元的最前端，放置能夠不依賴任何畫面解碼的內(nèi)編碼畫面，和所述補充信息包括用于指定要在特技播放中播放每個隨機存取單元中包括的畫面時解碼的畫面的信息。
21.一種運動畫面多路復用裝置，用于對構(gòu)成運動畫面的畫面進行編碼，所述裝置包括補充信息產(chǎn)生單元，用于在隨機存取單元的基礎(chǔ)上，產(chǎn)生在每個隨機存取單元播放時被參考的補充信息，每個隨機存取單元包括一個或更多的畫面；和編碼單元，用于對產(chǎn)生的所述補充信息和畫面進行編碼，并通過將所述補充信息添加到每個對應的隨機存取單元來產(chǎn)生包括編碼的補充信息和畫面的流，數(shù)據(jù)分組單元，用于把產(chǎn)生的編碼流分成數(shù)據(jù)分組；和多路復用單元，產(chǎn)生存儲以下至少一種信息的管理信息分成數(shù)據(jù)分組的編碼流中的畫面的播放時間信息；畫面的大小信息；和每個隨機存取單元的開始地址信息，并且將所述管理信息和分成數(shù)據(jù)分組的所述編碼流多路復用到不同區(qū)，其中，在每個隨機存取單元的最前端，放置能夠不依賴任何畫面解碼的內(nèi)編碼畫面，和所述補充信息包括用于指定要在特技播放中播放每個隨機存取單元中包括的畫面時解碼的畫面的信息。
22.一種運動畫面多路復用方法，用于對構(gòu)成運動畫面的畫面進行編碼，所述方法包括在隨機存取單元的基礎(chǔ)上，產(chǎn)生在每個隨機存取單元播放時被參考的補充信息，每個隨機存取單元包括一個或更多的畫面；和對產(chǎn)生的所述補充信息和畫面進行編碼，并通過將所述補充信息添加到每個對應的隨機存取單元來產(chǎn)生包括編碼的補充信息和畫面的流，把產(chǎn)生的編碼流分成數(shù)據(jù)分組；和產(chǎn)生存儲以下至少一種信息的管理信息分成數(shù)據(jù)分組的編碼流中的畫面的播放時間信息；畫面的大小信息；和每個隨機存取單元的開始地址信息，并且將所述管理信息和分成數(shù)據(jù)分組的所述編碼流多路復用到不同區(qū)，其中，在每個隨機存取單元的最前端，放置能夠不依賴任何畫面解碼的內(nèi)編碼畫面，和所述補充信息包括用于指定要在特技播放中播放每個隨機存取單元中包括的畫面時解碼的畫面的信息。
23.一種用于運動畫面多路復用裝置的程序，所述運動畫面多路復用裝置對構(gòu)成運動畫面的畫面進行編碼，所述程序使計算機執(zhí)行運動畫面多路復用方法，所述方法包括在隨機存取單元的基礎(chǔ)上，產(chǎn)生在每個隨機存取單元播放時被參考的補充信息，每個隨機存取單元包括一個或更多的畫面；和對產(chǎn)生的所述補充信息和畫面進行編碼，并通過將所述補充信息添加到每個對應的隨機存取單元來產(chǎn)生包括編碼的補充信息和畫面的流，把產(chǎn)生的編碼流分成數(shù)據(jù)分組；和產(chǎn)生存儲以下至少一種信息的管理信息分成數(shù)據(jù)分組的編碼流中的畫面的播放時間信息；畫面的大小信息；和每個隨機存取單元的開始地址信息，并且將所述管理信息和分成數(shù)據(jù)分組的所述編碼流多路復用到不同區(qū)，其中，在每個隨機存取單元的最前端，放置能夠不依賴任何畫面解碼的內(nèi)編碼畫面，和所述補充信息包括用于指定要在特技播放中播放每個隨機存取單元中包括的畫面時解碼的畫面的信息。
24.一種運動畫面解碼裝置，用于對包括構(gòu)成運動畫面的畫面的流進行解碼和播放，所述裝置包括指令獲得單元，用于獲得指示應當執(zhí)行特技播放的指令；分析單元，通過去多路復用，在隨機存取的基礎(chǔ)上分析補充信息，每個隨機存取單元構(gòu)成所述流；播放畫面指定單元，根據(jù)所述分析單元得到的分析結(jié)果，在每個隨機存取單元中包括的畫面中，指定所述指令獲得單元得到的指令指示的特技播放所需的畫面；和解碼單元，用于對所述播放畫面指定單元指定的畫面進行解碼并播放，其中，在每個隨機存取單元的最前端，放置能夠不依賴任何畫面解碼的內(nèi)編碼畫面，和所述補充信息包括用于指定要在特技播放中播放每個隨機存取單元中包括的畫面時解碼的畫面的信息。
25.根據(jù)權(quán)利要求24所述的運動畫面解碼裝置，其中在所述分析單元分析了隨機存取單元并且得到所述隨機存取單元不包括補充信息的結(jié)果的情況下，所述播放畫面指定單元根據(jù)預定規(guī)則指定特技播放所需的畫面。
26.根據(jù)權(quán)利要求24所述的運動畫面解碼裝置，所述裝置進一步包括隨機存取單元指定單元，用于從所述流中提取作為有關(guān)一個或更多的畫面的一組參數(shù)的序列參數(shù)集，并且指定包括作為最前端畫面的、其中包括提取的序列參數(shù)集的畫面的隨機存取單元，其中所述播放畫面指定單元指定由所述隨機存取單元指定單元指定的隨機存取單元中包括的所述最前端畫面，和所述序列以解碼所需的所有狀態(tài)在其重置的特定畫面開始，并且所述序列由以特定畫面開始和以緊挨著下一個特定畫面之前放置的畫面結(jié)束的多個畫面構(gòu)成。
27.一種運動畫面解碼方法，用于對包括構(gòu)成運動畫面的畫面的流進行解碼并播放，所述方法包括獲得指示應當執(zhí)行特技播放的指令；通過去多路復用，在隨機存取的基礎(chǔ)上分析補充信息，每個隨機存取單元構(gòu)成所述流；根據(jù)通過所述分析得到的分析結(jié)果，在每個隨機存取單元中包括的畫面中，指定所述獲得步驟中得到的指令指示的特技播放所需的畫面；和對所述指定步驟指定的畫面進行解碼并播放，其中，在每個隨機存取單元的最前端，放置能夠不依賴任何畫面解碼的內(nèi)編碼畫面，和所述補充信息包括用于指定要在特技播放中播放每個隨機存取單元中包括的畫面時解碼的畫面的信息。
28.一種用于運動畫面解碼裝置的程序，所述運動畫面解碼裝置對包括構(gòu)成運動畫面的編碼畫面的流進行解碼和播放，所述程序使計算機執(zhí)行運動畫面解碼方法，所述方法包括獲得指示應當執(zhí)行特技播放的指令；通過去多路復用，在隨機存取的基礎(chǔ)上分析補充信息，每個隨機存取單元構(gòu)成所述流；根據(jù)通過所述分析得到的分析結(jié)果，在每個隨機存取單元中包括的畫面中，指定所述獲得步驟中得到的指令指示的特技播放所需的畫面；和對所述指定步驟指定的畫面進行解碼并播放，其中，在每個隨機存取單元的最前端，放置能夠不依賴任何畫面解碼的內(nèi)編碼畫面，和所述補充信息包括用于指定要在特技播放中播放每個隨機存取單元中包括的畫面時解碼的畫面的信息。
29.一種包括構(gòu)成運動畫面的畫面的流，其中每個隨機存取單元包括在隨機存取單元播放時被參考的補充信息，每個隨機存取單元包括一個或更多畫面，在每個隨機存取單元的最前端，放置能夠不依賴任何畫面解碼的內(nèi)編碼畫面，和所述補充信息包括用于指定要在特技播放中播放每個隨機存取單元中包括的畫面時解碼的畫面的信息。
30.一種包括流的計算機可讀記錄介質(zhì)，所述流包括構(gòu)成運動畫面的畫面，其中每個隨機存取單元包括在隨機存取單元播放時被參考的補充信息，每個隨機存取單元包括一個或更多畫面，在每個隨機存取單元的最前端，放置能夠不依賴任何畫面解碼的內(nèi)編碼畫面，和所述補充信息包括用于指定要在特技播放中播放每個隨機存取單元中包括的畫面時解碼的畫面的信息。
31.一種集成電路，用于產(chǎn)生包括構(gòu)成運動畫面的畫面的流，所述集成電路包括補充信息產(chǎn)生單元，用于在隨機存取單元的基礎(chǔ)上，產(chǎn)生在每個隨機存取單元播放時被參考的補充信息，每個隨機存取單元包括一個或更多的畫面；和流產(chǎn)生電路單元，用于通過將所述補充信息添加到每個對應的隨機存取單元來產(chǎn)生包括產(chǎn)生的所述補充信息和畫面的流，其中，在每個隨機存取單元的最前端，放置能夠不依賴任何畫面解碼的內(nèi)編碼畫面，和所述補充信息包括用于指定要在特技播放中播放每個隨機存取單元中包括的畫面時解碼的畫面的信息。
全文摘要
提供一種產(chǎn)生即使在諸如允許靈活預測結(jié)構(gòu)的MPEG－4 AVC之類的編碼格式下，也能以諸如變速播放和逆向播放之類的特技播放進行播放的運動畫面流的運動畫面流產(chǎn)生裝置。運動畫面流產(chǎn)生裝置包括用于在隨機存儲單元的基礎(chǔ)上產(chǎn)生補充信息的特技播放信息產(chǎn)生單元TricPlay，在每個隨機存取單元的播放時參考補充信息，并且每個隨機存取單元包括一個或更多畫面；和用于通過將補充信息添加到每個對應的隨機存取單元而產(chǎn)生包括產(chǎn)生的補充信息和一個或更多畫面的流的可變長度編碼單元VLC。在每個隨機存取單元的最前端，放置可以不依賴任何畫面解碼的內(nèi)編碼畫面，并且補充信息包括用于指定要在特技播放中播放每個隨機存取單元中包括的畫面時解碼的畫面的信息。
文檔編號H04N5/783GK1950907SQ20058001357
公開日2007年4月18日 申請日期2005年4月25日 優(yōu)先權(quán)日2004年4月28日
發(fā)明者遠間正真, 角野真也, 岡田智之, 矢羽田洋 申請人:松下電器產(chǎn)業(yè)株式會社