專利名稱：生成設(shè)備、生成方法以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及生成設(shè)備、生成方法以及程序，具體地，涉及允許 從具有符合例如MP4文件格式或ISO基本媒體文件格式等的格式 的、存儲有關(guān)于字幕的字幕數(shù)據(jù)的文件中再生字幕以對于其字幕的 顯示及時的生成i殳備、生成再生以及程序。
背景技術(shù)：
對于文件的格式，例如，ISO基本^某體文件格式(ISO/IEC (國 際標(biāo)準(zhǔn)化組織/國際工程協(xié)會))144996-12:第12部分)是可用的 (例如，參見ISO/IEC 14496-12: 2005 (E)第12部分ISO基本媒體文件格式)。此夕卜，對于源于ISO/IEC 14496-12:第12部分的格式，MP4 文件格式(ISO/IEC 14496-14:第14部分)是可用的(例如，參見 ISO/IEC 14496-14: 2003 (E)第14部分MP4文件才各式)。通過ISO基本媒體文件格式和MP4文件格式的管理方法，顯 示單位(訪問單^f立)中的顯示時間與/人顯示單位中的顯示開始時間 到下一顯示單4立中的顯示開始時間的時間是相同的，例:^，對于移 動畫面數(shù)據(jù)的兼容性較高。例如，關(guān)于移動畫面數(shù)據(jù)，將一幀或一 個GOP(畫面組)作為顯示單位，并且可以將其顯示邊緣存儲在ISO(與一個樣本相關(guān))?，F(xiàn)在，在ISO基本媒體文件4各式和MP4文件格式中，例如， 下文描述ISO基本媒體文件格式。然而，以下描述對MP4文件才各 式也是正確的。發(fā)明內(nèi)容順便提及，近年來，通過用于分配數(shù)據(jù)的配置(例如，互聯(lián)網(wǎng) 和LAN(局域網(wǎng)))，存在趨向于移動畫面內(nèi)容和音頻內(nèi)容的分配的 凄t據(jù)分S己趨勢。還存在關(guān)于這種分配的要求以在移動畫面上疊加并 顯示字幕。關(guān)于移動畫面內(nèi)容，已經(jīng)存在對通過疊加在移動畫面上來顯示 的字幕的需求。然而，在字幕數(shù)據(jù)存儲在符合ISO基本媒體文件格 式的文件(其中存儲有諸如移動畫面數(shù)據(jù)、音頻數(shù)據(jù)等的所謂的媒 體數(shù)據(jù))中的情況下，字幕的再生在很多情況下可能對于其字幕的 顯示不及時。具體地，通過ISO基本々某體文件格式，開始顯示(輸出)數(shù)據(jù) 的顯示(輸出)開始時間可通過元數(shù)據(jù)來管理，而不是通過用于數(shù) 據(jù)再生的解碼時間也不是開始再生凄欠據(jù)的解碼開始時間來管理。因此，在字幕數(shù)據(jù)存儲在符合ISO基本媒體文件格式的文件中的情況 下，字幕的再生在;f艮多情況下可能對于其字幕的顯示不及時。已經(jīng)意識到，在字幕數(shù)據(jù)存儲在符合ISO基本媒體文件格式等 的文件中的情況下，期望從其文件中再生字幕以對于其字幕的顯示 是及時的。根據(jù)本發(fā)明的實施例，生成設(shè)備或使計算機(jī)用作生成設(shè)備的程 序，包括字幕編碼單元，故配置為通過對字幕的圖傳Jt據(jù)進(jìn)4亍編 石馬來生成包4舌關(guān)于移動畫面的移動畫面^U居以及關(guān)于在移動畫面 的整個顯示區(qū)間上顯示的字幕的字幕數(shù)據(jù)的數(shù)據(jù)流中的字幕數(shù)據(jù)； 以及確定單元，被配置為基于通過對字幕的圖像數(shù)椐進(jìn)行編碼獲得 的編碼數(shù)據(jù)的大小來確定字幕的再生對于字幕的顯示是否及時，其 中，將字幕的顯示恒定的區(qū)間作為字幕的顯示單位，將字幕凄t據(jù)分 為顯示組，顯示組是顯示單位中的字幕凄t據(jù)，以及其中，在當(dāng)顯示 緊接在作為纟皮注意的顯示組的感興趣的顯示組的字幕之前^皮顯示 的字幕時的顯示開始時間與感興趣的顯示纟且的字幕的顯示開始時 間之間的時間凈皮當(dāng)作可用于再生感興趣的顯示組的可用時間，并且 此外用于再生感興趣的顯示組的時間凈皮當(dāng)作處理時間的情況下，確 定單元根據(jù)大小-時間關(guān)系從感興趣的顯示組的編碼數(shù)據(jù)的大小中 獲得關(guān)于感興趣的顯示組的處理時間，其中，大小-時間關(guān)系是在編 碼數(shù)據(jù)的大小與處理時間之間預(yù)先獲得的關(guān)系，當(dāng)關(guān)于感興趣的顯 示組的可用時間^f氐于關(guān)于感興趣的顯示組的處理時間時，確定感興 趣的顯示組的字幕的再生對于其字幕的顯示是不及時的，從而輸出 表示錯誤的錯誤信息。配置為生成包括關(guān)于移動畫面的移動畫面凄t據(jù)以及關(guān)于在移動畫 面的整個顯示區(qū)間上顯示的字幕的字幕凄t據(jù)的凄t據(jù)流的生成裝置通過對字幕的圖像數(shù)據(jù)進(jìn)行編碼來生成字幕數(shù)據(jù)；以及基于通過對 字幕的圖像數(shù)據(jù)進(jìn)行編碼獲得的編碼數(shù)據(jù)的大小來確定字幕的再 生對于字幕的顯示是否及時，其中，將字幕的顯示恒定的區(qū)間作為 字幕的顯示單位，將字幕ft據(jù)分為顯示組，顯示組是顯示單位中的 字幕凄丈據(jù)，以及在當(dāng)顯示緊*接在作為#1注意的顯示組的感興趣的顯 示組的字幕之前纟皮顯示的字幕時的顯示開始時間與感興趣的顯示 組的字幕的顯示開始時間之間的時間凈皮當(dāng)作可用于再生感興趣的顯示ia的可用時間，并且》匕外用于再生感興趣的顯示ia的時間:故當(dāng) 作處理時間的情況下，根據(jù)大小-時間關(guān)系從感興趣的顯示組的編碼 凄史據(jù)的尺寸中獲得關(guān)于感興趣的顯示組的處理時間，其中，大小-時間關(guān)系是在編碼數(shù)據(jù)的大小與處理時間之間預(yù)先獲得的關(guān)系，當(dāng) 關(guān)于感興趣的顯示《且的可用時間〗氐于關(guān)于感興趣的顯示ia的處理 時間時，確定感興趣的顯示組的字幕的再生對于其字幕的顯示是不 及時的，從而輸出表示《普誤的確晉誤信息。才艮據(jù)上述設(shè)置，將字幕的顯示恒定的區(qū)間作為字幕的顯示單 位，將字幕lt據(jù)分為顯示組，顯示組是顯示單位中的字幕^t據(jù)。此 外，在當(dāng)顯示緊4妄在作為纟皮注意的顯示組的感興趣的顯示組的字幕 之前纟皮顯示的字幕時的顯示開始時間與感興趣的顯示組的字幕的 顯示開始時間之間的時間凈皮當(dāng)作可用于再生感興趣的顯示《且的可用時間，并且此外用于再生感興趣的顯示^L的時間浮皮當(dāng)作處理時間的情況下，根據(jù)大小-時間關(guān)系從感興趣的顯示組的編碼數(shù)據(jù)的尺寸 中獲得關(guān)于感興趣的顯示組的處理時間，其中，大小-時間關(guān)系是在 編碼凄t據(jù)的大小與處理時間之間預(yù)先獲得的關(guān)系。隨后，當(dāng)關(guān)于感 興趣的顯示組的可用時間j氐于關(guān)于感興趣的顯示組的處理時間時， 確定感興趣的顯示組的字幕的再生對于其字幕的顯示是不及時的， 從而輸出表示錯誤的錯誤信息。生成設(shè)備可以是獨立設(shè)備，或者可以是組成一個設(shè)備的內(nèi)部 塊。此外，可以通過傳輸介質(zhì)傳輸或者在記錄介質(zhì)中記錄來4是供程序。根據(jù)上述結(jié)構(gòu)，可以執(zhí)行字幕的再生以對于其字幕的顯示是及 時的。


數(shù)據(jù)的實例的示圖；圖2A ~圖2D是示出ISO基本J 某體文件格式的原子(stom )的 相克括的示圖；圖3A和圖3B是描述字幕顯示的示圖；圖4是描述新才各式的示圖；圖5是示出存儲在新格式文件中的數(shù)據(jù)流的實例的示圖；圖6是示出存儲在新格式文件中的字幕數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)的實例 的示圖；圖7是示出激活顯示組的定時的示圖； 圖8A和圖8B是示出顯示組的教:才居結(jié)構(gòu)的實例的示圖； 圖9是示出PCS (頁面組成,殳)的"^吾法的實例的示圖； 圖IO是描述PCS中的page—state (頁面狀態(tài))值的示圖；圖11是示出RDS (區(qū)域定義段)的語法的實例的示圖； 圖12是示出字幕、區(qū)域和字幕平面的關(guān)系的示圖； 圖13是示出CDS (CLUT定義段)的語法的實例的示圖； 圖14是示出ODS (對象數(shù)據(jù)定義段)的語法的實例的示圖； 圖15是示出END (顯示組結(jié)束,殳)的語法的實例的示圖； 圖16是示出根據(jù)實施例的再生設(shè)備的結(jié)構(gòu)實例的框圖； 圖17是描述字幕再生處理的流程圖； 圖18是示出顯示組的再生和顯示順序的示圖； 圖19A和圖19B是用于描述規(guī)則Rl ~R3的示圖； 圖20是示出大小-時間關(guān)系的示圖； 圖21是示出根據(jù)實施例的生成設(shè)備的結(jié)構(gòu)實例的框圖； 圖22是描述字幕生成處理的流禾呈圖；以及 圖23是示出根據(jù)實施例的計算機(jī)的結(jié)構(gòu)實例的框圖。
具體實施方式
在ISO基本媒體文件格式的簡要預(yù)備描述之后，緊接著描述本 發(fā)明的實施例。圖1示出了存儲在符合ISO基本媒體文件格式的文件中的媒體數(shù)據(jù)的實例。在圖1中，將媒體數(shù)據(jù)分為樣本#1 ~樣本#9的九個才羊本。這里， 一個樣本是用于顯示(輸出)媒體數(shù)據(jù)的顯示(輸出) 單位。例如，在媒體數(shù)據(jù)為移動畫面數(shù)據(jù)的情況下，作為MPEG(運 動圖像專家組)-2 一見頻標(biāo)準(zhǔn)等的一幀或一個GOP (畫面組)對應(yīng)于 一個樣本。此外，例如，在媒體數(shù)據(jù)為音頻數(shù)據(jù)的情況下，通過其 音頻凄t據(jù)標(biāo)準(zhǔn)確定的一個音頻幀等對應(yīng)于一個沖羊本。將樣本沒有間隙地密集配置在時間軸上，即，以再生時間順序 密集;也配置，并且在再生時順序進(jìn)4于再生。對于ISO基本纟某體文件 格式，由一個或多個樣本構(gòu)成組塊(chunk )。組塊是具有相同特性 的一個或多個連續(xù)才羊本的組。對于移動畫面凄t據(jù)，例如，將具有相 同幀率等的連續(xù)樣本當(dāng)作一個組塊。此外，對于音頻凝:據(jù)，將具有 相同取樣頻率或量化步長等的連續(xù)樣本當(dāng)作 一個組塊。在圖1中，作為從從開始的三個樣本的樣本Sample #1-Sample #3才勾成一個纟且i夾Chunk #1,隨后的三個才羊本Sample #4 ~ Sample #6 構(gòu)成一個組塊Chunk #2，隨后的一個樣本Sample #7構(gòu)成一個組塊 Chunk #3 ，隨后的 一個沖羊本Sample #8構(gòu)成一個組塊Chunk #4,以 及最后一個才羊本Sample #9構(gòu)成一個纟且塊Chunk #5。對于ISO基本媒體文件格式，在稱為樣本表格原子(下文適當(dāng) ;也稱作原子)的一些類型的凄t據(jù)庫中記錄用于開始每個樣本的顯示 (輸出)的顯示(輸出)開始時間。術(shù)語"原子"表示用于存儲關(guān) 于々某體數(shù)據(jù)的元數(shù)據(jù)(信息、屬性)的數(shù)據(jù)庫結(jié)構(gòu)。例如，在ISO/IEC 14496-12: 2005 (E)第12部分ISO基本力某體文件格式中描述了 關(guān)于原子的細(xì)節(jié)。圖2A 圖2D示出了圖1中的媒體數(shù)據(jù)的原子的概括。原子的 實侈']包4舌時間-才羊本原子(time-to-sample atom )、才羊本大小原、子、才羊 本-組塊原子(sample-to-chunk atom )以及組塊偏移原子。圖2A示 出了作為圖1中的媒體數(shù)據(jù)的時間-樣本原子的概括。樣本具有稱為 持續(xù)時間的再生時間(區(qū)間)，以及時間-樣本原子表示持續(xù)時間(樣 本持續(xù)時間)和具有其持續(xù)時間的樣本數(shù)量(樣本數(shù))之間的對應(yīng) 性。圖2A中的時間-樣本原子分別表示存在持續(xù)時間=3的四個樣 本、持續(xù)時間=1的兩個樣本以及持續(xù)時間=2的三個樣本。圖2B示出了作為圖1中的媒體數(shù)據(jù)的樣本大小原子的概括。 樣本大小原子表示樣本和通過字節(jié)數(shù)(大小)表示的樣本大小之間 的對應(yīng)性。圖2C示出了作為圖1中的媒體數(shù)據(jù)的樣本-組塊原子的概括。 樣本-組塊原子表示樣本和組塊之間的關(guān)系，并且關(guān)于具有相同才羊本 數(shù)(每個組塊的樣本)和相同屬性(樣本描述ID)的組塊的樣本-組塊原子被概括為 一個條目(記錄)。即，在樣本-組塊原子中描述了 (表示)具有相同樣本數(shù)和相同 屬性的一個或多個連續(xù)組塊的頂部的組塊(第一組塊)和其一個或 多個組塊的樣本數(shù)和屬性(樣本描述ID )(的信息)。在圖1中的々某體數(shù)據(jù)中，對于頂部組塊Chunk #1和第二 (乂人 頂部開始的第二個)組塊Chunk弁2的每一個，樣本數(shù)為3，并且樣 本描述ID為23。因此，從圖2C中的樣本-組塊原子的頂部開始的 第一行條目描述了樣本lt為3且樣本描述ID為23的連續(xù)兩個組塊 Chunk #1禾口 Chunk #2的丁貞部纟且塊是纟且塊Chunk #1,沖勾成其纟且塊的 樣本數(shù)為3,并且其樣本描述ID為23。此外，在圖1中的媒體數(shù)據(jù)中，對于第三組塊Chunk #3和第 四組塊Chunk#4的每一個，樣本數(shù)為1 ，并且樣本描述ID為23。 因此，從圖2C中的樣本-組塊原子的頂部開始的第二行條目描述樣 本數(shù)為1且樣本描述ID為23的連續(xù)兩個組塊Chunk #3和Chunk #4 的頂部組塊是Chunk弁3，構(gòu)成其組塊的樣本數(shù)為l，以及其樣本描 述ID為23 。此外，在圖1中的媒體數(shù)據(jù)中，對于最后(第五)組塊Chunk #5,樣本數(shù)為1，并且樣本描述ID為24。因此，從圖2C中的樣本 -組塊原子的頂部開始的第三行條目描述了樣本數(shù)為1且樣本描述 ID為24的一個組塊Chunk #5的頂部組塊是Chunk #5，構(gòu)成其組塊 的樣本數(shù)為1,以及其樣本描述ID為24。圖2D示出了作為圖1中的i某體數(shù)據(jù)的組塊偏移原子的和;U舌。 組塊偏移原子表示組塊和通過字節(jié)凌t (大小)表示的乂人其組塊文件 頂部開始的相對位置(偏移)之間的對應(yīng)性。注意，對于ISO基本 媒體文件格式，在原子中描述(記錄)了每個樣本的顯示開始時間。對于移動畫面和音頻，完成特定樣本的顯示(輸出)的顯示結(jié) 束時間(之后緊隨的時間)變成下一才羊本的顯示(車lr出)開始時間， 所以當(dāng)才羊本的顯示(輸出)開始時間到達(dá)時，開始每個樣本的顯示Ulr出)，從而顯示(i命出)連續(xù)的移動畫面和音頻。另一方面， 為了通過疊加在移動畫面上來顯示字幕，不得不將關(guān)于其字幕的字幕數(shù)據(jù)作為媒體數(shù)據(jù)存儲在符合ISO媒體文件格式的文件中。這里，字幕是諸如單獨在特定時間^殳內(nèi)(移動畫面再生區(qū)間) 疊加并顯示在移動畫面的特定區(qū)域上的字符的圖 <象。圖3A和圖3B是描述字幕顯示的示圖。對于字幕，通過疊加在 移動畫面上開始顯示，并且一旦過去特定時間,殳，就消除顯示，才艮 據(jù)需要進(jìn)行重復(fù)。即，以間歇方式來顯示字幕。對沒有間距連續(xù)顯示(輸出)的樣本預(yù)設(shè)符合ISO基本々某體文 件格式的樣本的管理。因此，通過ISO基本媒體文件格式，沒有建 立用于管理諸如字幕的以間斷方式顯示的々某體凄t據(jù)的方法，即，用 于將字幕數(shù)據(jù)存4諸在文件中的方法作為標(biāo)準(zhǔn)。因此，例如，如果我們Wi定將關(guān)于一個字幕的字幕數(shù)據(jù)處理為 一個樣本，則ISO基本媒體文件格式引起不方便沒有定義(規(guī)定) 特定字幕和4妄下來顯示的字幕之間、不顯示字幕的區(qū)間或者乂人移動 畫面的頂部直到顯示第一個字幕的、沒有顯示字幕的區(qū)間。即，圖3A示出了在將關(guān)于一個字幕的字幕數(shù)據(jù)處理為一個樣 本的情況下的字幕的顯示。在將關(guān)于一個字幕的字幕^t據(jù)處理為一 個樣本的情況下，沒有定義如圖3A中Ll所示的、特定字幕和接下 來顯示的字幕之間、沒有顯示字幕的區(qū)間以及3o圖3A中L2所示的、 /人移動畫面的頂部直到顯示第 一 字幕的區(qū)間。為此，圖3B示出了將在開始字幕顯示之后消除其字幕直到(在 其之前)開始下一字幕的顯示(或直到移動畫面的結(jié)束)處理為一 個樣本的情況下的字幕的顯示。在將開始字幕顯示之后直到開始下 一字幕顯示處理為一個樣本的情況下，以再生時間順序密集地配置 字幕的樣本以及移動畫面或音頻的樣本。然而，即4吏在這種情況下，也沒有消除未^見定乂人移動畫面的頂 部開始直到顯示第一字幕的、沒有顯示字幕的區(qū)間的不《更。此外， 一旦將顯示字幕的區(qū)間以及在消除其字幕之后、沒有顯示其字幕的區(qū)間凈皮處理為一個才羊本，毫不例外地，字幕的一個才羊本的區(qū)間與顯 示字幕的區(qū)間相同。因此，符合ISO基本媒體文件格式的原子引起不便，其中，可以識別才羊本區(qū)間，^f旦是沒有識別實際上顯示字幕的區(qū)間(實際顯示 區(qū)間)。因此，定義了適用于ISO基本媒體文件格式的字幕數(shù)據(jù)的數(shù)據(jù) 結(jié)構(gòu)(格式)，此外，定義了符合存儲其數(shù)據(jù)結(jié)構(gòu)的字幕數(shù)據(jù)的ISO基本媒體文件格式的文件格式(下文稱作"新格式")。將參照圖4描述新格式。通過新格式，存儲在文件中的數(shù)據(jù)流 至少包"l舌關(guān)于移動畫面的移動畫面凄t悟以及關(guān)于顯示在其移動畫 面的整個顯示區(qū)間上的字幕的字幕數(shù)據(jù)。此外，將字幕顯示恒定的 區(qū)間作為字幕的顯示單位，將字幕數(shù)據(jù)分為顯示組，該顯示組為其 顯示單位中的字幕凄t據(jù)。即，通過新才各式，字幕^皮i人為顯示在移動畫面的整個顯示區(qū)間 上。然而，對于沒有顯示字幕的區(qū)間(非顯示區(qū)間)，認(rèn)為顯示"沒 有"(不存在或不可見)的字幕。此外，字幕的顯示(包括"沒有，， 字幕)恒定以4吏沒有改變字幕顏色等的區(qū)間#皮作為字幕的顯示單 位，并在顯示單4立中獨立地定義字幕凄t據(jù)?，F(xiàn)在，如果我們々i定將用作顯示單位的字幕tt據(jù)稱作顯示組， 則通過新才各式，將關(guān)于顯示在移動畫面的整個顯示區(qū)間上的字幕的 字幕凄t據(jù)分為多個顯示組。通過新4各式，關(guān)于顯示(可見)字幕的區(qū)間(顯示區(qū)間)，存 在其字幕的顯示組，并且對于字幕的非顯示區(qū)間，存在"沒有"字 幕顯示組。此外，例如，在顯示特定字幕之后改變其字幕的顏色、字符、 顯示位置等的情況下，應(yīng)該存在用于其改變的字幕數(shù)據(jù)，所以通過 不同顯示纟且來定義改變以前的字幕和改變以后的字幕。通過新才各式，可以通過一個或多個顯示組的集合來定義疊加并 顯示在用作內(nèi)容的移動畫面上的一系列字幕。此外，通過新格式，一個顯示組對應(yīng)于符合ISO基本々某體文件才各式的一個4羊本。圖4示出了顯示組和才羊本之間的只寸應(yīng)關(guān)系。在圖4中，以時間 順序配置隱藏字幕的非顯示區(qū)間的顯示組("沒有，，字幕的顯示組) #1、字幕A的顯示組(用于顯示字幕A的顯示組)#2、非顯示區(qū) 間的顯示組#3、字幕B的顯示組弁4、字幕C的顯示組弁5、非顯示區(qū) 間的顯示組#6、字幕D的顯示組#7以及非顯示區(qū)間的顯示組#8。 顯示組#1 ~#8的每一個都對應(yīng)于一個樣本。如上所述，將字幕顯示恒定包括"沒有"字幕的區(qū)間作為字幕 的顯示單位，并定義作為其顯示單位中的字幕凄t據(jù)的顯示組，乂人而 可以消除未定義(^L定)沒有顯示字幕的區(qū)間(非顯示區(qū)間)的不 1更以及由于字幕的一個樣本的區(qū)間與顯示字幕的區(qū)間(顯示區(qū)間) 不同所以不能識別字幕顯示區(qū)間的不^f更。隨后，作為其結(jié)果，可以將字幕數(shù)據(jù)存儲在符合ISO基本媒體 文件才各式的文件中(可以存儲字幕lt據(jù)以適當(dāng)?shù)仫@示字幕)。此外，將字幕顯示恒定的區(qū)間(顯示單位)的字幕數(shù)據(jù)作為顯 示組，/人而可以適當(dāng)?shù)仫@示字幕。具體地，例如，在圖4中，暫時地，在連續(xù)兩個顯示組#4和#5 耳關(guān)合以形成一個顯示組的情況下，#4居由顯示纟且#4和#5聯(lián)合的顯 示組(下文稱為"聯(lián)合顯示組")，首先，顯示字幕B，隨后代替字 幕B來顯示字幕C。因此，例如，在應(yīng)該顯示字幕C的顯示組#5的區(qū)間中執(zhí)4亍隨 才幾訪問的情況下，根據(jù)聯(lián)合顯示組，4戈替在顯示組#5的區(qū)間中顯示 的字幕C而顯示字幕B。另一方面，在存在字幕顯示恒定的區(qū)間中劃分的顯示組#4和#5 的情況下，當(dāng)在應(yīng)該顯示字幕C的顯示《且#5的區(qū)間中^U亍隨才幾i方 問時，顯示字幕C。如上所述，可以顯示在其區(qū)間中顯示的字幕。圖5示出了存儲在新格式文件中的數(shù)據(jù)流的實例。存儲在新格 式文件中的數(shù)據(jù)流為符合ISO基本媒體文件格式的數(shù)據(jù)流，并且在 圖5中，將包括原子的元數(shù)據(jù)設(shè)置在其數(shù)據(jù)流的頂部。在元數(shù)據(jù)之后，順次設(shè)置移動畫面數(shù)據(jù)、音頻數(shù)據(jù)和字幕數(shù)據(jù)。 移動畫面凄t悟、音頻凄t據(jù)和字幕數(shù)據(jù)中的每一個均為以樣本為單位 的數(shù)據(jù)。注意，存儲在新格式文件中的數(shù)據(jù)流可以為不符合ISO媒 體文件格式而符合MP4文件格式的數(shù)據(jù)流。如上所述，新格式的字幕ft據(jù)的樣本為顯示組。顯示組包括 字幕的圖4象數(shù)據(jù)以及表示屏幕(移動畫面)上字幕的顯示區(qū)域的諸 如坐標(biāo)、顏色(調(diào)色板)等的數(shù)據(jù)。此外，顯示組還包括稍后描述的用作表示顯示在一個屏幕上 的字幕凄t量的字幕凄i:^[言息的numer—of—region—composition—objects 、 稍后描述的用作表示字幕透明度的透明度信息的T-value等?，F(xiàn)在，numer—of—region—composition—objects由顯示在~"^個屏幕 (幀或場)上的字幕(對象)的id (標(biāo)識)、表示字幕的顯示區(qū)域 的id和字幕的顯示位置(的信息)構(gòu)成。此夕卜，T-value取0以上 的值，并且在該值為0的情況下，這表示字幕完全透明(無色和透 明)。通過非顯示區(qū)間期間的顯示組，將用作表示顯示在一個屏幕上 的字幕凄史量的字幕凄史"f言息的 numer—of—region—composition—objects 設(shè)置為0,或者將用作表示字幕的透明度的透明度信息的T-value 設(shè)置為0。在numer—of—region—composition—objects為0的情況下，不存在 要#皮顯示的字幕。因jt匕,才艮才居numer_of_region_composition—objects 為0的顯示組，顯示不存在的字幕，由此實現(xiàn)字幕的隱藏。此外，在T-value為0的情況下，顯示完全透明的字幕。因此， 根據(jù)T-value為0的顯示組，顯示完全透明的字幕，即，不可見的 字幕，由此實現(xiàn)字幕的隱藏。具體地，當(dāng)顯示(字幕的)顯示組時，用于再生新才各式文件的 稍后描述的再生設(shè)備清除(消除)在作為顯示字幕的顯示區(qū)域的區(qū) 域內(nèi)的字幕。因此，如果在該區(qū)i或中存在以顯示順序通過最后的顯 示組顯示的字幕，則清除其字幕。在清除在該區(qū)域中的字幕之后，再生設(shè)備開始繪制新字幕。這時，如果要被顯示的字幕(對象)的數(shù)量為0,則在該區(qū)域中不進(jìn)行繪制。此外，如果要被顯示的字幕完全透明，則在該區(qū)域中繪制 完全透明的字幕。在任意一種情況下，均等^r地不顯示字幕。圖6示意性地示出了存儲在新格式文件中的字幕數(shù)據(jù)(字幕圖形流)的數(shù)據(jù)結(jié)構(gòu)。注意，圖6中的字幕數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)具有與 BD-ROM (藍(lán)光光盤只讀存儲器)的高兼容性，并通過AVCHD標(biāo) 準(zhǔn)規(guī)定字幕的數(shù)據(jù)。因此，可以通過改進(jìn)用于再生BD-ROM或符 合AVCHD標(biāo)準(zhǔn)的記錄介質(zhì)的i殳備來容易地制造用于再生新才各式文 件的再生設(shè)備。即，當(dāng)再生新格式文件時，并不需要從開始制造僅 用于其文件的再生設(shè)備。在圖6中，字幕凄t據(jù)由一個或多個時期(epoch)的陣列構(gòu)成。 一個時期由一個或多個顯示組的陣列構(gòu)成。對于顯示組的類型，存 在兩種類型顯示周期開始顯示組和顯示改變點顯示組。時期由一個顯示周期開始顯示組以及O以上的顯示改變點顯示 組構(gòu)成。具體地，顯示周期開始顯示組4皮，沒置在時期的頂部，此后， 設(shè)置0以上的顯示改變點顯示組。以字幕的顯示順序一次一個地激 活時期，并且用于新格式文件的再生設(shè)備保持關(guān)于有效時期的存儲 管理。具體地，在激活時期的同時，再生設(shè)備保持關(guān)于其時期的數(shù) 據(jù)存儲(包括處理時期的再生設(shè)備的狀態(tài))。此外，在激活特定時 期之后的情況下，(不激活其時期)，激活下一個時期，再生設(shè)備不 保持關(guān)于最后激活的時期的數(shù)據(jù)。時期是保持用于顯示字幕的字幕平面(繪制字幕(的圖像數(shù)據(jù)) 的、用于顯示字幕的存儲器的存儲區(qū)域)的存儲內(nèi)容并且當(dāng)切換有 效時期時(即，在顯示周期開始顯示組i殳置在有效時期頂部的定時)22清除字幕平面的單位。注意，如上所述，在顯示改變點顯示組的定 時處清除字幕平面的區(qū)i^。在激活時期的同時，對于其激活的時期可以激活 一 個調(diào)色板表(CLUT (顏色查找表)和多至兩個字幕(對象)。因此，通過本發(fā)明，可以同時在一個屏幕上顯示多至兩個字幕(對象)。注意，同 時顯示的字幕凄t量不〗又限于兩個，可以只顯示一個，或者同時顯示 三個以上的字幕。顯示組是字幕數(shù)據(jù)的基本組成，并且是片段的集合。具體地，顯示組由兩個以上的片賴:組成，并且乂人頁面組成,殳(下文稱作為 PCS )開始，在END片段結(jié)束。在PCS和END片段之間插入(設(shè) 置)0以上的定義4殳。對于顯示組頂部的PCS,添加表示用于開始其顯示組(的字幕) 的顯示的顯示開始時間的PTS (呈現(xiàn)開始時間)。因此，顯示組包 括PTS，并變成可以指定顯示開始時間的最小單位。當(dāng)通過其顯示 組(所包括的PCS )的PTS所表示的時間到達(dá)時，激活每一個顯示組。注意，要,皮激活的顯示組是包括在激活時期中的顯示組。此外， 不同時激活兩個以上的顯示組，因此，當(dāng)激活特定顯示組時，此時 已經(jīng)激活的顯示組結(jié)束(不激活)。圖7示出了激活顯示組時的定時。我們假定特定顯示組#0包括 PCS#0，并且4妾下來顯示的(顯示字幕)顯示組#1包^"PCS弁1。當(dāng)通過添加至PCS #0的PTS所表示的顯示開始時間到達(dá)時， 激活包括PCS弁0的顯示組#0,并顯示其顯示組#0(的字幕)。此后，PTS所表示的顯示開始時間到達(dá)時，不激 活顯示組#0，取而代之，激活包括PCS #1的顯示組#1。隨后，顯 示激活的顯示iflJl。圖8A和圖8B示出了顯示組的凄t據(jù)結(jié)構(gòu)。如上所述，對于顯示 組的類型，存在顯示周期開始顯示組和顯示改變點顯示組兩種類型。圖8A示出了顯示周期開始顯示組的凄t據(jù)結(jié)構(gòu)，圖8B示出了顯 示改變點顯示組的lt據(jù)結(jié)構(gòu)。顯示周期開始顯示組和顯示改變點顯 示組具有相同的數(shù)據(jù)結(jié)構(gòu)。具體地，如圖6所示，顯示組包括i殳置 在其頂部的PCS和設(shè)置在末尾的END片段(下文還稱作END)。 即，顯示組^又乂人一個PCS開始，并JU又以一個END結(jié)束。PCS <又 指在包括其PCS的顯示組內(nèi)定義的對象。將定義段設(shè)置在PCS和END之間。對于定義段的類型，存在 用于定義區(qū)域的區(qū)域定義段(下文還稱作RDS)、用于定義調(diào)色寺反 顏色的CLUT定義段(下文還稱作CDS )和用于存儲字幕的圖像數(shù) 據(jù)的對象定義l殳(下文還稱作ODS)的三種類型。顯示組^義包4舌一個RDS。 RDS定義了包4舌其RDS的時期內(nèi)的 所有可用區(qū)域(顯示字幕的顯示區(qū)域)。區(qū)域的大小和位置在時期 內(nèi)沒有改變。通過RDS,例如，可以定義多至兩個區(qū)i成。此夕卜，顯示組^f又包括一個CDS。 CDS定義了在包括其CDS的 顯示組內(nèi)的可用顏色的4言息(CLUT)。通過CDS，定義了除缺省^直 的顏色數(shù)據(jù)(稍后描述的CLUT_entry ())之外的所有顏色數(shù)據(jù)。此 外，顯示組可以包括多至兩個ODS。通過ODS,定義了從PCS參考的所有對象。圖8B)之間的差異4又在于是否表示時 期的頂部。具體地，顯示周期開始顯示組表示時期的頂部(開始)。 此外，將用于首先在時期內(nèi)顯示字幕的信息存儲在顯示周期開始顯 示組中。另一方面，在字幕的顯示在時期內(nèi)發(fā)生改變的情況下，將 用于其改變的信息存儲在顯示改變點顯示組中。顯示周期開始顯示組和顯示改變點顯示組都包括用于顯示字 幕的信息，并且還是能夠在時期內(nèi)開始包括解碼等的再生的位置。因此，通過再生設(shè)備，即使當(dāng)在時期中間讀取字幕數(shù)據(jù)時，如 果可以讀入理想條件下的顯示改變點顯示組，就可以開始其顯示改 變點顯示組的顯示(的字幕)。圖9示出了 PCS的語法的實例。PCS主要存儲諸如其上疊加有 字幕的移動畫面的分辨率、幀率等的移動畫面的屬性^f言息、顯示組 的類型(包4舌其PCS的顯示組為顯示周期開始顯示組還是顯示改變 點顯示組)、組成字幕的對象(字幕的圖像數(shù)據(jù))的id、顯示字幕 的區(qū)域的id以及用于在字幕平面上i殳置對象的坐標(biāo)信息。具體地，在圖9中，segment—type表示片段的類型。對于片段， 存在圖6和圖8所述的PCS、 END、 RDS、 CDS和ODS的五種類 型。將表示片段為PCS的值設(shè)置為PCS的segment—type。segment—length表示乂人緊4妻在i亥segment—length的字,殳之后到 片段(PCS)末尾的長度。video—horizontal—size表示其上疊加有包4舌該PCS的顯示組的 字幕的移動畫面的平方向上的大小。具體地，將表示用于顯示移動畫面的、作為繪制移動畫面(的圖像數(shù)據(jù))的存儲器的存儲區(qū)域的
一見步貞平面？K平方向上的^f象素凄t量的^f直i殳置為video—horizontal—size。
video—vertical—size表示其上疊加有包4舌該PCS的顯示組的字 幕的移動畫面的垂直方向上的大小。具體地，將表示視頻平面的垂 直方向上的《戔的lt量的佳j殳置為video—vertical_size 。
video—frame_rate表示其上疊加有包括該PCS的顯示l且的字幕 的移動畫面的幀率。
page—version—number表示PCS的片反本凄t。 具體;也，伊H口， 4尋 通過^f吏緊接在包4舌該PCS的顯示組之前顯示的顯示組中所包4舌的 PCS 的page—version_number的^f直i曾力口 1戶斤獲;f尋的 <直i殳置為 page—version—number 。
然而，在包括該PCS的顯示組的字幕的對象與緊接在之前顯示 的顯示組(下文還稱作"最后顯示組，，)的字幕的對象相同(在通 過采用對字幕顯示所應(yīng)用的ODS (的對象數(shù)據(jù))才丸行字幕顯示的情 況下)，將與在最后顯示組中包括的PCS的page_version—number的 ^f直才目同的Y直i殳置為page—version—number 。
具體地，例如，除顏色之外，在包括該PCS的顯示組的字幕的 字符與最后顯示組的字幕的字符相同的情況下，將與在最后顯示組 中包括的與PCS的page_version—number的值相同的值i殳置為 page—version—number 。
因此，基本上，將通過使在最后顯示組中包括的PCS的 page—version—number的值增加1所獲得的值設(shè)置為顯示周期開始顯 示纟且的page—version—number。此外，才艮據(jù)顯示改變點顯示組的字幕的對象是否與最后顯示組
的字幕的對象相同，將通過遞增最后顯示組中包括的PCS的 page_version_number的4直所獲4尋的^f直或才目同^f直i殳置為顯示？文變點 顯示組的page一version—number。
page_state表示顯示組的類型。具體地，將表示包4舌該PCS的 顯示組為顯示周期開始顯示組還是顯示改變點顯示組的信息i殳置 為page—state 。
ref—to—CLUT—id表示作為用于確定對包括該PCS的顯示組的 (字幕的)顯示所應(yīng)用的CLUT的id的CLUT—id。 CLUT—id是在 CDS中定義的。
number—of—region—composition—objects表示在該PCS中定義的 region—composition—object ()的凄史量。通過本實施侈寸，可以0~2范圍 內(nèi)的整凄^f直i殳置為number—of—region—composition—objects。
region—composition—object 0包括ref—to—object_id 、 ref—to—region—id 、 object—horizontal_position和object—vertical_position。 當(dāng)用于再生新 格式文件的再生設(shè)備繪制字幕平面上的區(qū)域內(nèi)的像素時，采用 region—composition—object0。即，侈'H口，才艮才居region—composition—object (), 才丸行將纟皮顯示字幕的對象(ODS)(的對象凄t據(jù))的確定、顯示字 幕的區(qū)域的確定等。
注意， 一個region—composition—object ()與通過包括該PCS的顯 示組內(nèi)的RDS所定義的稍后描述的region ()相關(guān)。例如， 一個region ()可以與多至兩個region—composition—object ()才目關(guān)。ref—to—object—id表示作為確定包括該PCS的顯示組的字幕的對 象的id的object—id。通過ODS定義object—id。
ref—to_region—id表示作為用于確定指定(定義)對包括該PCS 的顯示組的(字幕的)顯示所采用的區(qū)域的region ()的id的region 一id。通過RDS來定義region id。
注意，通過上述ref—to—objectjd確定的所有字幕的對象(的傳_ 素)必須包4舌在通過由ref—to—region—id確定的region ()所指定的區(qū) i或的范圍內(nèi)。
object—horizontal_position表示通過ref—to—object—id石角定的字幕 對象的左上角像素的顯示位置在水平方向上的坐標(biāo)。坐標(biāo)原點是字 幕平面(圖開j平面)左上角的<象素點。object—horizontal_position的 ^直必須包4舌在通過由ref—to—region—id確定的region ()所指定的區(qū)i或 的范圍內(nèi)。
object—vertical_position表示通過ref—to—object—id確定的字幕對 象的左上角 <象素的顯示位置在垂直方向上的坐標(biāo)。以與 object—horizontal_position十青;兄沖目同的方式，坐沖示原點是字幕平面(圖 形平面)左上角的4象素點。以與object—horizontal_position十青況才目同 的方式，object—vertical_position 的 <直'義、-貞包4舌在通過由 ref_to—region—id確定的region ()所指定的區(qū)i或的范圍內(nèi)。
這里,沖是供的region—composition—object ()的凄t量與顯示在包4舌 該PCS的顯示組上的字幕的凄t量相同。因此，可以"i兌表示 region_cornposition—object O的凄史量的 number—of^region—composition—objects
是表示顯示在一 個屏幕上的字幕數(shù)量的字幕數(shù)信息。
28對于非顯示區(qū)間期間的顯示組，例如，將用作字幕數(shù)信息的
number—of—region—composition—objects i殳置為0,并顯示不存在的字 幕，乂人而隱藏字幕。
圖10是描述通過圖9的PCS中的page—state所獲得的值的示 圖。page—state取兩字節(jié)的值。然而，在兩字節(jié)的值中，為了進(jìn)一 步擴(kuò)展，保留00b (b表示其先前值為二進(jìn)位)和llb。
在page—state為01b的'l"青;兄下，這表示包4舌具有其page—state 的PCS的顯示組為顯示改變點顯示組。
在page—state為10b的十青況下，這表示包4舌具有其page—state 的PCS的顯示組是作為時期的開始(頂部)顯示組的顯示周期開始 顯示組。
圖11示出了 RDS的語法的實例。在顯示字幕的顯示屏幕上的 矩形顯示區(qū)域的區(qū)域中，例如，RDS定義了左上角的坐標(biāo)、水平方 向上的像素大小和垂直方向上的像素大小。僅在通過RDS定義的 區(qū)域內(nèi)顯示字幕。
segment_type表示諸如在圖9中描述的片革殳類型。將表示片賴: 為RDS的偵/沒置為RDS中的segment—type。
segment—length表示乂人緊4妄在segment—length的字4史前到片革殳 (RDS )末尾的長度。
number—of—regions 表示通過該RDS定義的 region 0的數(shù)量。通 過本實施例，可以將0 ~ 2 范圍內(nèi)的整凄K直i殳置為 number—of—regions 。region 0 包括 region_id 、region—horizontal_position 、 region—vertical_position、 region—width和region_height。 region O定 義了用于顯示通過PCS中的ref—to—object—id確定的字幕的對象的區(qū) 域(圖9)(繪制對象的字幕平面的區(qū)域)。
注意，通過一個RDS，可通過兩個region ()定義多至兩個區(qū)i或。 然而，通過一個RDS定義的兩個區(qū)域沒有必要包括疊加。
region—id是確定區(qū)》或的口舉——凄史。例:^， region—id的1直'義、鄉(xiāng)貞為 00h (h表示先前值為16進(jìn)制數(shù))或01h。
此夕卜，如上所述，通過一個RDS,可定義多至兩個region 0, ^f旦是在一個RDS的情況下，定義了兩個region ()，兩個region ()的 region—id的每個^直必須為《^—值(不同^f直)。
region—horizontal_position表示在通過region—id石角定的區(qū)i或(通 過region ()定義的區(qū)域)的左上角^象素的位置在字幕平面上的水平 方向的坐標(biāo)。坐標(biāo)原點是字幕平面上左上角的像素點。 region—horizontal_position的^f直'義、》頁包4舌在0 ~ video—horizontal—size (圖9) - 1的范圍內(nèi)。
region—vertical_position表示通過region—id確定的區(qū)域左上角 的像素位置在字幕平面上垂直方向的坐標(biāo)。與 region— —horizontal_position的情況類似，坐標(biāo)原點是字幕平面上左上 角的 <象素，泉。region—vertical_position 的 <直'必多貞包4舌在 0 ~ video vertical size (圖9 ) — 1的'范圍內(nèi)。region—width表示通過region—id確定的區(qū)i或的寬度(7jc平方向 上的長度)。region—width的^直'義、^貞包4舌在1 ~ video—horizontal—size (圖9 ) - region_ horizontal_position (圖11)的范圍內(nèi)。
region—height表示通過region—id確定的高度(垂直方向上的長 度)。region—height的^直'義、須包4舌在/人1 ~ video—vertical—size (圖9 ) -region_vertical_position (圖11)的范圍內(nèi)。
圖12示出了字幕(的對象)、區(qū)域和字幕平面之間的關(guān)系。才艮 才居PCS中的region—composition—object ()(圖9 )，確定一奪尋皮顯示的 字幕(的對象)、顯示其字幕的區(qū)域等。具體地，通過包括在 region—composition—object ()中的ref_to—object—id (圖9)來確定字 幕的對象。
jt匕夕卜，才艮才居包4舌在 region—composition—object ()中的 object—horizontal_position和object_vertical_position (圖9 ),確定字
幕的對象的左上角像素的顯示位置(目的位置)的水平方向和垂直 方向的坐纟示的每一個。
jt匕夕卜，才艮氺居包4舌在通過包4舌在region—composition—object ()(圖 9 ) 中的 ref_to_region—id 確定的 region ()(具有與通過 ref—to—region—id 表示的相同 ^f直的 region ()) 中的 region—horizontal_position和region—vertical_position (圖11 ), 確定
顯示字幕的區(qū)域的左上角^f象素的位置在字幕平面上的水平方向和 垂直方向的坐標(biāo)的每一個。
jt匕夕卜,才艮才居包4舌在region ()中的region—width和region—height,
分別確定顯示字幕的區(qū)域的寬度和高度。圖13示出了 CDS的語法的實例。將CLUT (彩色調(diào)色板數(shù)據(jù)) 存儲在CDS中。CLUT包括時期內(nèi)的可用顏色值的數(shù)量的、字幕平 面上的顏色和透明度的信息。
具體地，CDS定義了作為用于唯一確定顏色數(shù)據(jù)集合的CLUT (顏色查找表)的id的一組CLUT—id、作為CLUT版本數(shù)的 CLUT—version—number、包4舌亮度Y、色差Cr和Cb以及透明度T 作為分量的顏色數(shù)據(jù)、以及確定其顏色凄t據(jù)的id(指標(biāo)) (CLUT—entry_id )。
如圖9所述，segment—type表示片段的類型。將表示片段為CDS 的值i殳置為給CDS中的segment_type。
segment—length表示乂人緊4姿在segment—length的字革殳之前到片 段(CDS)末尾的長度。
CLUT_id表示確定該CDS (其中存儲CLUT )的唯一數(shù)。通過 本實施例，例如，將CLUT固定為OOh。
CLUT—version—number表示時期內(nèi)的該CDS(其中存儲CLUT )
的版本數(shù)。
一旦將新CLUT定義^殳裝入時期，將CLUT—version—number 的^直"i殳置(復(fù)位)為0。 一旦引入與最后CDS不同的CDS,例如， 將CLUT_version_number的值i殳置為通過4吏最后CDS中的 CLUT—version_number的^f直增力口 1聲斤獲4尋的^f直。
具體;也，將在時期內(nèi)第一 CDS中的CLUT_version—number i殳 置為0。通過隨后CDS中的CLUT—version—number,在其CDS中 的CLUT ( CLUT_entry ())與時期內(nèi)的最后CDS中的CLUT不同的情況下，將通過使最后CDS中的CLUT—version—number增力口 1 所獲得的值設(shè)置《會其，并且在其CDS中的CLUT與最后CDS中的 CLUT相同的情況下，將與最后CDS中的CLUT—version—number
相同的值設(shè)置給其。
CLUT—entry ()是CLUT的條目(記錄)，并包括CLUT—entry—id、 Y-value、 Gr-value、 Cb-value和T-value 。
CLUT_entry—id表示CLUT的條目的數(shù)量(指標(biāo))。根據(jù) CLUT—entry—id,確定特定的顏色。
注意，例如，CLUT—entry—id為8位，并采用00h FFh范圍內(nèi) 的值。然后，CLUT—entry—id為FFh的條目CLUT—entry ()沒有^皮(可 以不)存^f渚在CDS中。因此，CLUT_entry—id為FFh的條目 CLUT_entry ()不(可以不)存在。
例如，S夸CLUT_entry—id為FFh的條目CLUT_entry ()的顏色凄吏 據(jù)處理為用作缺省值的完全透明的顏色。
因此，可以將CLUT—entryjd為00h ~ FEh的多至255個 CLUT—entry ()存4諸在CDS中，并且只于于字幕的顏色，可同時采用 包4舌透明顏色(CLUT_entry—id為FFh的情況)的多至256種顏色。
Y-value表示CLUT一entryjd所表示的條目CLUT—entry ()的顏 色凄t才居的亮度Y。例4口， Y-value取16~235的<直。
Cr-value表示CLUT—entry—id所表示的條目CLUT—entry ()的顏 色ft才居的色差Cr 。例:fe口 ， Cr畫value取16 ~ 240的4直。Cb畫value表示CLUT—entry—id所表示的條目CLUT_entry ()的顏 色凄t才居的色差Cb。例如，Cb-value取16 ~ 240的l直。
注意，亮度Y以及顏色偏差Cr和Cb符合Rec. ITU-R BT.601-5 和Rec. ITU-R BT.709-5標(biāo)準(zhǔn)。
T-value表示CLUT—entry—id所表示的條目CLUT—entry ()的顏 色數(shù)據(jù)的透明度T。 T-value取0 ~ 255的值。值為255的T值表示 顏色完全不透明，T-value的值越小，透明度越大。值為0的T-value
表示顏色完全透明。
這里，例^口， 一奪T-value的擊夾省M直定義為0。 ot匕夕卜，只十于Y國value、 Cr-value和Cb-value,不定義擊夾省 <直。
注意，沒有將CLUT_entry—id為00h ~ FFh的所有256個條目 CLUT—entry ()都存儲在CDS中。
然而，如上所述，將CLUT—entry—id為FFh的條目CLUT—entry ()的顏色數(shù)據(jù)處理為完全透明的顏色，并且其條目CLUT—entry ()沒 有被(可以不)存儲在CDS中。在這種情況下，將沒有存儲在CDS 中的條目CLUT—entry ()的顏色數(shù)據(jù)處理為完全透明的顏色。
這里，可以將T-value稱作表示字幕的透明度的透明度信息。 通過非顯示區(qū)間期間的顯示組，例如，將用作該透明度信息的 T-value取表示顏色完全透明的值，即，取用作缺省值的0,并顯示 不可見的字幕，由此隱藏字幕。
注意，為了隱藏字幕，通過存卡者在CDS中的CLUT的所有條 目CLUT_entry (), T-value必須*沒置為0, ^f旦是通過本實施例，這可 以通過在CDS中不存儲CLUT的條目CLUT—entry ()來等效地^丸行。
34圖14示出了 ODS的語法的實例。將字幕的對象(圖像數(shù)據(jù))、 作為用于唯一地確定其對象的id的object—id以及對象的版本數(shù) (object—version—number )等存儲在ODS中。
如圖9所述，segment—type表示片段的類型。將表示片段為ODS 的倡二沒置纟會ODS中的segment—type。
segment—length表示乂人緊才妄在segment—length的字4史之前到片 段(ODS)末尾的長度。
object_id是確定通過該ODS定義的字幕對象的唯一^:。通過 本實施例，如上所述，可通過一個時期同時顯示多至兩個字幕，將 object—id設(shè)置為OOOh或OOOlh以確定多至兩個字幕的對象。
object—version—number表示通過該ODS定義的對象的版本數(shù)。
將一個字幕的圖像數(shù)據(jù)和其他數(shù)據(jù)存儲在object—data ()中。
具體地,object—data ()包括object—length、 object—horizontal_size、 object—vertical—size和encoded—data—string 0°
object—length表示乂人緊4妄在object—length的字,殳之后到 object—data ()末尾的字節(jié)數(shù)。
object—horizontal—size表示在^f象寬度(水平方向)上的4象素凄t。 例如，對象寬度必須為大于等于8個像素。因此， object—horizontal_size的值必須為8 ~ video—horizontal—size的值(圖9)。video—vertical—size表示3于象高度(垂直方向)上的寸象素凄t。例 如，只于象高度必須為大于等于8個4象素。因此，object—horizontal—size 的^直'義、須為8 ~ video_horizontal —size的4直(圖9 )。
例如，將通過使字幕的圖像數(shù)據(jù)(對象)經(jīng)受行程長度壓縮(run length compression )戶斤獲4尋的-扁石馬凄史才居存4諸在encoded—data—string ()中。
注意，例如，可以通過設(shè)置包括ODS的多個顯示組來更新(改 變)顯示在時期內(nèi)的字幕的對象，其中，將不同的encoded—data—string
()存4諸在該時期內(nèi)。
此夕卜，例如，字幕的圖像凄t據(jù)包括CLUT—entry—id (圖13 )作
為像素值。
圖15示出了 END的語法的實例。END表示作為片段集合的顯 示組的結(jié)束。
如圖9所述，segment—type表示片段的類型。將表示片段為END 的^f直"i殳置纟會END中的segment—type 。
segment—length表示緊4妄在i亥segment—length的字革殳之后到片 段(END)末尾的長度。
圖16是示出用于再生新格式文件的才艮據(jù)本發(fā)明實施例的再生 i殳備的結(jié)構(gòu)實例的框圖。在圖16中，再生i殳備由記錄介質(zhì)11、文 件讀入單元12、凝:據(jù)分配單元13、 4見頻解碼系統(tǒng)14、 4見頻幀鄉(xiāng)爰沖 器15、合成單元16、顯示幀^￡沖器17、圖<象顯示裝置18、音頻解 碼系統(tǒng)19、音頻l命出裝置20和字幕解碼系統(tǒng)30構(gòu)成。
36將存儲新格式數(shù)據(jù)流的文件(新格式文件)記錄在記錄介質(zhì)11 中。注意，記錄介質(zhì)11可以是再生設(shè)備內(nèi)置的紀(jì)錄介質(zhì)(包4舌可 與再生設(shè)備拆離的記錄介質(zhì))，或者可以是外部記錄介質(zhì)(包括諸 如互聯(lián)網(wǎng)等的網(wǎng)絡(luò)上的記錄介質(zhì))。
例如，文寸牛讀入單元12才艮才居用戶的才喿作等讀入"妄4欠)記錄
在記錄介質(zhì)11中的新才各式文件，并將該新才各式文件才是供癥合凄史據(jù)分
配單元13。
數(shù)據(jù)分配單元13從文件讀入單元12纟是取移動畫面^t據(jù)以及用 于從存儲在新格式文件中的數(shù)據(jù)流(圖5)再生其移動畫面數(shù)據(jù)的 元數(shù)據(jù)，并將這些數(shù)據(jù)提供給(分配給)視頻解碼系統(tǒng)14。
此夕卜，數(shù)據(jù)分配單元13從文件讀入單元12提取音頻數(shù)據(jù)以及 用于從存儲在新格式文件中的數(shù)據(jù)流再生其音頻數(shù)據(jù)的元數(shù)據(jù)，并 將這些凄t據(jù)才是供鄉(xiāng)會音頻解碼系統(tǒng)19。
此夕卜，數(shù)據(jù)分配單元13從文件讀入單元12提取字幕數(shù)據(jù)以及 用于從存儲在新格式文件中的數(shù)據(jù)流再生其字幕數(shù)據(jù)的元數(shù)據(jù)，并 且將這些數(shù)據(jù)提供給字幕解碼系統(tǒng)30。
視頻解碼系統(tǒng)14根據(jù)來自數(shù)據(jù)分配單元13的數(shù)據(jù)以執(zhí)行其數(shù) 據(jù)的解碼，從而再生移動畫面的圖像數(shù)據(jù)(基帶的圖像數(shù)據(jù))以將 該數(shù)據(jù)提供給視頻幀緩沖器15。
視頻幀緩沖器15臨時存儲來自視頻解碼系統(tǒng)14的移動畫面的 圖像數(shù)據(jù)，并將該數(shù)據(jù)提供給合成單元16。合成單元16將從字幕解碼系統(tǒng)30提供的字幕的圖像數(shù)據(jù)合成 (疊力n)至來自視頻幀緩沖器15的移動畫面的圖像數(shù)據(jù)，并將作 為合成結(jié)果獲得的合成圖像數(shù)據(jù)提供給顯示幀緩沖器17。
顯示幀纟爰沖器17臨時存儲來自合成單元16的合成圖傳Jt據(jù)。
圖像顯示裝置18由諸如LCD (液晶顯示器)、有機(jī)EL (電致 發(fā)光)面板等的顯示器構(gòu)成，并顯示與存儲在顯示幀緩沖器17中 的合成圖像數(shù)據(jù)相對應(yīng)的圖像。
視頻解碼系統(tǒng)19根據(jù)來自數(shù)據(jù)分配單元13的數(shù)據(jù)以執(zhí)行其數(shù) 據(jù)的解碼，從而再生音頻數(shù)據(jù)以將該音頻數(shù)據(jù)提供給音頻輸出裝置 20。
音頻輸出裝置20由未示出的放大器、揚聲器等構(gòu)成，使來自 音頻解碼系統(tǒng)19的音頻數(shù)據(jù)經(jīng)受特定處理，并輸出與作為其結(jié)果 而獲得的音頻相對應(yīng)的音頻。
字幕解碼系統(tǒng)30是再生單元的實例，其根據(jù)字幕數(shù)據(jù)以再生 字幕，并根據(jù)來自數(shù)據(jù)分配單元13的數(shù)據(jù)以使其數(shù)據(jù)經(jīng)受解碼等， 從而再生字幕的圖像數(shù)據(jù)以將其提供給合成單元16。
具體地，字幕解碼系統(tǒng)30由解碼緩沖器31、字幕解碼器32和 字幕緩沖器33構(gòu)成。
解碼緩沖器31臨時存儲從數(shù)據(jù)分配單元13 4是供給字幕解碼系 統(tǒng)30的凄史據(jù)。
具體地，將用作字幕數(shù)據(jù)的顯示組以及用作元數(shù)據(jù)的字幕的顯 示開始時間的數(shù)據(jù)(例如，關(guān)于字幕的ISO基本媒體文件格式的時間-取樣原子(圖2A)等)從數(shù)據(jù)分配單元13提供給解碼緩沖器 31。
解碼緩沖器31臨時存儲來自數(shù)據(jù)分配單元13的顯示組、字幕 (顯示組)的顯示開始時間的數(shù)據(jù)。
字幕解碼器32讀耳又存儲在解碼緩沖器31中的顯示組，#4居其 顯示組以再生字幕的圖像lt據(jù)(對象)，從而在后級的字幕緩沖器 33上繪制該圖像數(shù)據(jù)。
具體地，例如，字幕解碼器32將存儲在從解碼緩沖器31讀出 的顯示纟且的ODS (圖14)所包4舌的encoded—data—string ()中的編石馬 數(shù)據(jù)解碼為字幕的圖像數(shù)據(jù)(對象)。
此外，字幕解碼器32在字幕緩沖器33的存儲區(qū)域的位置中繪 制字幕的圖像數(shù)據(jù)，該位置通過對應(yīng)于包括在從解碼緩沖器31讀 出的顯示組的CDS (圖13 )中的CLUT—entry ()的顏色和透明度、 包4舌在其顯示組的PCS (圖9)中的object—horizontal_position和 object—vertical _position等來確定。
字幕緩沖器33具有所謂的雙緩沖器結(jié)構(gòu)，并臨時存儲來自字 幕解碼器32的字幕的圖像數(shù)據(jù)，以將其提供給合成單元16。
具體地，字幕緩沖器33由兩個開關(guān)34和35以及兩個幀緩沖 器36和37構(gòu)成。
開關(guān)34選^^奪幀緩沖器36和37中的一個，并將從字幕解碼器 32提供給字幕緩沖器33的字幕的圖像數(shù)據(jù)提供給所選幀緩沖器。開關(guān)35選擇幀緩沖器36和37中的一個，并從所選幀緩沖器 讀出字幕的圖像數(shù)據(jù)，以將該數(shù)據(jù)提供給合成單元16。
幀緩沖器36和37與上述字幕平面等效，并臨時存儲從開關(guān)34 才是供的字幕的圖像數(shù)據(jù)。
這里，開關(guān)34和35以聯(lián)鎖方式進(jìn)行操作。具體地，當(dāng)開關(guān)35 選擇幀緩沖器36和37中的一個時，開關(guān)34選擇另一個。
開關(guān)35選擇幀緩沖器36和37中的一個，從而從所選幀緩沖 器讀出字幕的圖像數(shù)據(jù)，并通過開關(guān)35、合成單元16和顯示幀緩 沖器17將該數(shù)據(jù)提供給圖像顯示裝置18，從而在圖像顯示裝置18 上顯示與存儲在幀緩沖器36和37中的 一個中的字幕的圖像數(shù)據(jù)相 對應(yīng)的圖像(字幕)。
同時，開關(guān)34選擇幀緩沖器36和37的另一個，從而將接下 來要顯示在圖像顯示裝置18上的字幕的圖像數(shù)據(jù)存儲(繪制)在 所選的另一個幀緩沖器中。
具體地，在圖像顯示裝置18上顯示存儲在幀緩沖器36和37 中的一個中的字幕的圖像數(shù)據(jù)(用作與其相對應(yīng)的圖像的字幕)的 同時，執(zhí)行幀緩沖器36和37的另一個的存儲內(nèi)容的更新，即，執(zhí) 行接下來要顯示的字幕的圖像數(shù)據(jù)的繪制。
注意，開關(guān)35參考存儲在解碼緩沖器31中的字幕的顯示開始 時間的數(shù)據(jù)，并且一旦存儲在幀緩沖器36和37中的一個中的字幕 的圖像數(shù)據(jù)的顯示開始時間到達(dá)，開關(guān)35選擇幀緩沖器36和37 中的一個，并讀出來自所選幀緩沖器的字幕的圖像數(shù)據(jù)，以將該數(shù) 據(jù)提供給合成單元16。如上所述， 一旦開關(guān)35選擇幀緩沖器36和37中的一個，開 關(guān)34選擇幀緩沖器36和37中的另 一個。
此外， 一旦存儲在幀緩沖器36和37中的一個中的字幕的圖像 數(shù)據(jù)的顯示開始時間到達(dá)，字幕解碼器32從解碼緩沖器31讀出接 著存^f諸在其一個中的字幕顯示的字幕的顯示組。此外，字幕解碼器 32才艮據(jù)接下來要顯示的字幕的顯示組，從解碼緩沖器31讀出以開 始諸如字幕的圖像數(shù)據(jù)的解碼等的再生，并執(zhí)行關(guān)于通過開關(guān)34 選擇的幀緩沖器36和37中的一個的字幕圖^f象的癥會制。
重復(fù)上述處理，乂人而在圖^f象顯示裝置18上以疊加在移動畫面 上的方式顯示字幕。
通過如上所述配置的再生i殳備，扭J于移動畫面處理(移動畫面 再生處理)、音頻處理(音頻再生處理)和字幕處理(字幕再生處 理)。
具體地，通過移動畫面再生處理，文4牛讀入單元12讀出移動 畫面數(shù)據(jù)以及用于從存儲在記錄介質(zhì)11中的新格式文件再生其移 動畫面數(shù)據(jù)的元數(shù)據(jù)，以通過數(shù)據(jù)分配單元13將這些數(shù)據(jù)提供給 視頻解碼系統(tǒng)14。
—見頻解碼系統(tǒng)14沖丸4亍通過凄t據(jù)分配單元13提供的凄t據(jù)的解碼 等，乂人而再生移動畫面的圖像數(shù)據(jù)，以通過^L頻幀緩沖器15將該 數(shù)據(jù)纟是供給合成單元16。
合成單元16通過所執(zhí)行的稍后將進(jìn)行描述的字幕再生處理在 通過視頻幀緩沖器15提供的移動畫面的圖像數(shù)據(jù)上合成(疊力口)
41從字幕解碼系統(tǒng)30提供的字幕的圖像數(shù)據(jù)，并通過顯示幀緩沖器 17將作為合成結(jié)果獲得的合成圖像數(shù)據(jù)提供給圖像顯示裝置18。
通過圖像顯示裝置18,根據(jù)通過顯示幀緩沖器17提供的合成 圖像數(shù)據(jù)，顯示與合成圖像數(shù)據(jù)相對應(yīng)的圖像。
另一方面，通過音頻再生處理，文4牛讀入單元12讀出音頻教: 據(jù)以及用于從記錄在記錄介質(zhì)11中的新格式文件再生其音頻數(shù)據(jù) 的元數(shù)據(jù)，以通過數(shù)據(jù)分配單元13將這些凄t據(jù)提供給音頻解碼系 統(tǒng)19。
音頻解碼系統(tǒng)19執(zhí)行通過數(shù)據(jù)分配單元13提供的數(shù)據(jù)的解碼 等，從而再生音頻數(shù)據(jù)以將該數(shù)據(jù)提供給音頻輸出裝置20。
通過音頻輸出裝置20,輸出(發(fā)出)與來自音頻解碼系統(tǒng)19 的音頻 居相7十應(yīng)的音頻。
j):匕外，通過字幕再生處理，文4牛讀入單元12讀出字幕凄t才居以 及用于乂人記錄在記錄介質(zhì)11中的新才各式文件再生其字幕凄史據(jù)的元 數(shù)據(jù)，以通過數(shù)據(jù)分配單元13將這些凄t據(jù)^是供《合字幕解碼系統(tǒng)30。
字幕解碼系統(tǒng)30 4丸行通過數(shù)據(jù)分配單元13 4是供的凄t據(jù)的解碼 等，從而再生字幕的圖像數(shù)據(jù)以將這些數(shù)據(jù)提供給合成單元16。
如上所述，通過合成單元16，在來自視頻幀緩沖器15的移動 畫面的圖像數(shù)據(jù)上合成從字幕解碼系統(tǒng)30提供的字幕的圖像數(shù)據(jù)， 并通過顯示幀緩沖器17將合成圖像數(shù)據(jù)提供給圖像顯示裝置18。
通過圖像顯示裝置18，顯示與合成圖像數(shù)據(jù)相對應(yīng)的圖像，因 此，以疊加在移動畫面上的方式顯示字幕。圖17是通過圖16中的再生設(shè)備描述字幕再生處理的流程圖。
在步驟Sll中，文件讀入單元12從記錄在記錄介質(zhì)11中的新 格式文件中讀出用作用于再生字幕數(shù)據(jù)的元數(shù)據(jù)的字幕的顯示開 始時間的數(shù)據(jù)，以通過tt據(jù)分配單元13將該^:據(jù)4是供給字幕解碼 系統(tǒng)30的解碼》爰沖器31。
解碼緩沖器31存儲通過數(shù)據(jù)分配單元13提供的字幕的顯示開 始時間的教:才居，并且處理/人步-驟Sll前進(jìn)至步-驟S12。
在步4聚S12中，文件讀入單元12 乂人記錄在i己錄介質(zhì)11中的新 文件才各式讀出一個顯示組，以通過數(shù)據(jù)分配單元13將該數(shù)據(jù)才是供 給字幕解碼系統(tǒng)30的解碼緩沖器31。
具體地，例如，在記錄在新格式文件中的還沒有讀出的顯示組 中，文4牛讀入單元12讀出i己錄至文4牛的順序是最早的一個顯示纟且， 并通過凄t據(jù)分配單元13將該^t據(jù)組4是供給字幕解碼系統(tǒng)30的解碼 緩沖器31。
解碼緩沖器31臨時存儲通過數(shù)據(jù)分配單元13提供的顯示組， 并且處理/人步艱《S12前進(jìn)至步驟S13。
在步驟S13中，字幕解碼器32讀出存^f諸在解碼緩沖器31中的 顯示組，并再生字幕的圖像數(shù)據(jù)，以根據(jù)其顯示組在字幕緩沖器33 上繪制該圖像數(shù)據(jù)。
具體地，字幕解碼器32將從解碼緩沖器31讀出的顯示組解碼 為字幕的圖像數(shù)據(jù)。此外，字幕解碼器32在通過開關(guān)34選#^的字幕緩沖器33的 幀緩沖器36和37的一個(不被用于顯示)上繪制(粘貼)字幕的
圖傳4t據(jù)。
隨后，處理從步驟S13前進(jìn)至步驟S14，其中，字幕解碼器系 統(tǒng)30確定在最后的步驟S13中繪制的字幕的圖像數(shù)據(jù)的顯示開始 時間是否已經(jīng)到達(dá)。
在步驟S14中確定在最后的步驟S13中繪制的字幕(下文還稱 作"最近的字幕")的顯示開始時間還沒有到達(dá)的情況下，處理返 回至步艱A S14。
此外，在步驟S14中確定最近的字幕的顯示開始時間已經(jīng)到達(dá) 的情況下，處理前進(jìn)至步驟S15,在步驟S15中，開關(guān)35選擇字幕 緩沖器33的幀緩沖器36和37中存儲(繪制)最近的字幕的圖像 凄t據(jù)的一個。
注意，這時，開關(guān)34選l奪沒有^皮開關(guān)35選擇的幀緩沖器36 和37中的一個。
在幀緩沖器36和37中，從通過開關(guān)35選擇的一個幀緩沖器 讀出最近字幕的圖像數(shù)據(jù)，并提供給合成單元16。
通過合成單元16，在來自纟見頻幀纟爰沖器15的移動畫面的圖傳_ 數(shù)據(jù)上合成從字幕解碼系統(tǒng)30的開關(guān)35提供最近字幕的圖像數(shù) 據(jù)，并在圖像顯示裝置18上顯示與作為其結(jié)果獲得的合成圖像數(shù) 據(jù)相對應(yīng)的圖像。即，以疊加在移動畫面上的方式顯示最近的字幕。隨后，處理/人步驟S15前進(jìn)至步艱《S16,其中，在文件讀入單 元12確定是否已經(jīng)從記錄在記錄介質(zhì)11中的新格式文件讀出了所 有的顯示組。
在步艱《S16中確定還沒有,人新格式文件讀出所有顯示組的情況 下，即，在存在還沒有^皮讀出的顯示組的情況下，處理返回至步-驟 S12，如上所述，在步駛《S12中，文件讀入單元12讀出還沒有讀出 的顯示組中的一個顯示組，即，讀出3艮隨最近字幕的顯示組的顯示 組，并通過l史據(jù)分配單元13將該顯示組纟是供纟合解碼纟爰沖器31。
解碼緩沖器31臨時存儲通過數(shù)據(jù)分配單元13提供的顯示組， 并且處理/人步4聚S12前進(jìn)至步艱《S13。
在步驟S13中，字幕解碼器32讀出存儲在解碼緩沖器31中的 顯示組(跟隨最近字幕顯示組的顯示組)，并4艮據(jù)其顯示組，再生 字幕的圖像數(shù)據(jù)以在通過開關(guān)34選擇的幀緩沖器36和37中的一 個上繪制該字幕的圖像數(shù)據(jù)。此后，重復(fù)相同的處理。
另一方面，在步艱《S16中確定已經(jīng)從新4各式文件讀出了所有顯 示組的情況下，字幕再生處理結(jié)束。
如上所述，通過字幕解碼系統(tǒng)30，當(dāng)最近字幕的顯示開始時間 到達(dá)時，在幀緩沖器36和37中，在開關(guān)35處選4奪存儲最近字幕 的圖1象凄史據(jù)的一個，因此，通過圖^f象顯示裝置18以疊加在移動畫 面上的方式顯示最近的字幕。
此外，當(dāng)最近字幕的顯示開始時間到達(dá)時，通過字幕解碼器32, 開始再生跟隨最近字幕的顯示組的顯示組，并在通過開關(guān)34選擇的幀緩沖器36和37的一個上繪制通過其再生獲得的字幕的圖{象凄史據(jù)。
如上所述，開關(guān)34和35以聯(lián)鎖方式進(jìn)行操作，其中，當(dāng)開關(guān) 35選擇幀緩沖器36和37中的一個時，開關(guān)34選擇另一個。
因此，在幀緩沖器36和37中，當(dāng)開關(guān)35選擇存儲最近字幕 的圖像數(shù)據(jù)的一個，并由此在圖像顯示裝置18上顯示最近的字幕 時，通過開關(guān)34在幀緩沖器36和37中選擇沒有存儲最近字幕的 圖像數(shù)據(jù)的一個，并在通過開關(guān)34選擇的一個緩沖器上繪制通過 字幕32再生的下一字幕的圖像數(shù)據(jù)(跟隨最近的字幕的顯示組的 顯示組的字幕的圖像數(shù)據(jù))。
如上所述，通過字幕解碼系統(tǒng)30,特定顯示組(的字幕)的顯 示開始時間#皮—見為用于開始諸如4妄下來要^皮顯示的顯示組的解石馬 等的再生的解碼開始時間(再生開始時間)，因此，順次再生顯示 纟且。具體;也，當(dāng)凈爭定顯示組的顯示開始時間到達(dá)時，開始其顯示^L 的字幕的顯示，與此同時，/人文件中讀入4妄下來要4皮顯示的顯示組 (的字幕)，并開始其再生。
注意，對于第一顯示組(首先要顯示的顯示組)，不存在其最 后顯示組，因此， 一旦從文件讀出第一顯示組并存儲在解碼緩沖器 31中，字幕解碼器32立即開始其再生。
此夕卜，對于非顯示區(qū)間期間的顯示組，即，PCS中的number—of— region_composition_objects (圖9)為0的顯示纟且或者CDS中的 T—value (圖13 )為0的顯示組，在步驟S13中，字幕解碼器32根 據(jù)其顯示組來再生沒有字幕的圖像數(shù)據(jù)或者完全透明的字幕的圖 <象#:據(jù)。因此，隱藏字幕。如上所述，通過字幕的顯示恒為字幕的顯示單位的區(qū)間，將字 幕凄t據(jù)分為每一個均為顯示單位中的字幕lt據(jù)的顯示組，此外，在 顯示組中包括用作表示要被顯示在一個屏幕上的字幕數(shù)的字幕凄史
4言息的number_of—region—composition—objects和用4乍表示字幕的透 明度的透明度信息的T一value，并且對于隱藏字幕的非顯示區(qū)間期 間的顯示纟且，"i夸number—of—region—composition—objects i殳置為0， 或者將T_value設(shè)置為0以隱藏字幕，并且將字幕數(shù)據(jù)存儲在符合 ISO基本々某體文件才各式或MP4文件才各式的文件中(以適當(dāng)?shù)仫@示字 幕)，從而，可以根據(jù)存儲其字幕數(shù)據(jù)的文件適當(dāng)?shù)貓?zhí)行字幕的顯 示(文件(內(nèi)容)創(chuàng)建者想要的字幕的顯示)。
注意，新4各式中的字幕lt據(jù)的凄t據(jù)結(jié)構(gòu)考慮DVB (數(shù)字^L頻廣 播)的字幕數(shù)據(jù)流。
具體地，如圖6所示，通過采用由乂人等層開始的時期、顯示組、 和片段的三個等級所組成的等級結(jié)構(gòu)將字幕數(shù)據(jù)存儲在新格式文 件中，這對于DVB的字幕凄t據(jù)流是共同的。
此外，如圖6所述，字幕數(shù)據(jù)由一個或多個時期的陣列組成， 一個時期由一個或多個顯示組的陣列組成，并且顯示組由片,殳纟且 成，通常，這對于DVB的時期、顯示組和片革殳是共同的。
然而，在不修改的情況下，不將DVB的字幕lt據(jù)流存儲在符 合ISO基本媒體文件格式(對于MP4文件格式也是一樣的)的文件中。
另一方面，新格式中的字幕數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)與關(guān)于圖9、圖11、 圖13中描述的每個片段的內(nèi)容(語法)等、圖10中描述的顯示組的類型等的DVB的字幕數(shù)據(jù)流不同，以存儲在符合ISO基本媒體 文件才各式的文件中。
此外，新格式中的字幕數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)與DVB的字幕數(shù)據(jù)流 的不同之處在于一個顯示組對應(yīng)于ISO基本媒體文件格式的 一個取 樣。這還用于將字幕數(shù)據(jù)存儲在符合ISO基本媒體文件格式的文件中。
注意，例如，在ETSIEN300 743,數(shù)字一見頻廣播(DVB);字 幕系統(tǒng)中描述了 DVB的字幕凄史據(jù)流。
接下來，如上所述，在符合ISO基本^ 某體文件格式等的文件中 存儲字幕數(shù)據(jù)作為顯示組的情況下，如果可以將用于開始諸如其顯 示組(的字幕)的解碼等的再生的解碼開始時間和用于開始顯示的 顯示開始時間與元數(shù)據(jù)一起存儲在文件中，則通過字幕解碼系統(tǒng)30 (圖16),期望在解碼開始時間處開始諸如顯示組的解碼等的再生， 并在顯示開始時間處開始字幕的顯示。
然而，通過ISO基本媒體文件格式(對于MP4文件格式也一 樣)，可作為元數(shù)據(jù)來管理顯示開始時間，但是沒有定義用于管理 解碼開始時間的方法還有用于諸如解碼等的再生時間(解碼時間)。
注意，例如，MPEG2視頻的DTS (解石馬時戳)是解石馬開始時 間，4旦是通過MPEG2 #見頻，存在DTS和PTS (當(dāng)前時戳)匹配的 畫面，所以用于畫面解碼的解碼時間本身在解碼器才莫型上被認(rèn)為為 0。這里，DTS和PTS之間的差異是用于B畫面(雙向預(yù)測畫面) 的重新排序的時間，并且不考慮解碼時間本身。
48在以ISO基本媒體文件格式存儲顯示組作為字幕數(shù)據(jù)的情況
下，如上所述，可以管理顯示組的(字幕的)顯示開始時間，4旦是 用于開始諸如顯示組的解碼等的再生的解碼開始時間和用于l者如 解碼等的再生時間是不被管理的。
因此， 一旦以ISO基本媒體文件格式存儲顯示組而不考慮處理 時間，引起以下不〗更顯示組的再生對于其顯示組的顯示開始時間 不及時，因此，不適當(dāng)?shù)仫@示字幕(字幕顯示失敗)。
即，通過圖16中的再生設(shè)備，可以從存^f諸在新才各式文件中的 元凝3居中識別出顯示組的顯示開始時間。然而，再生i殳備不能識別 4可時應(yīng)該開始再生，以4吏顯示癥且的再生^"于其顯示開始時間及時。
因此，通過圖16中的再生i殳備，例如，如上所述，作為顯示 組的顯示開始時間，采用緊*接在其顯示組之前的顯示組的顯示開始 時間，當(dāng)特定顯示組的顯示開始時間到達(dá)時，開始i者如下一顯示iE (接下來要顯示的字幕的顯示組)的解碼等的再生。
然而，在沒有考慮用于諸如顯示組的解碼等的再生的時間而將 顯示組存儲在新4各式文件中的情況下，/人特定顯示組的顯示開始時 間至下一顯示組的顯示開始時間例外:t也完成"i者:^下一顯示^L的解 碼等的再生，并且存在字幕再生對于其字幕的顯示不及時的可能性。
因此，下文將鄉(xiāng)會出關(guān)于以下方法的描述對于用于通過以ISO
特定約束加在其文件生成上(下文還稱作"文件生成約束")，執(zhí)行 根據(jù)其文件的字幕的再生，從而及時顯示其字幕。注意，對于用于再生新格式文件的再生設(shè)備，假定釆用了圖16 中的再生i殳備，即，1又包4舌一個用于扭J亍顯示組的解碼的字幕解碼 器32的再生設(shè)備(可以單獨扭^于一個顯示組的解碼，^f旦是不能同 時執(zhí)行多個顯示組的解碼的再生設(shè)備)。
圖16中的再生設(shè)備包括單獨的一個字幕解碼器32,所以為了 使字幕的再生對于其顯示是及時的，存在兩種條件，其中，對于第 一條件，用于特定顯示組的解碼的必要解碼時間與另 一顯示組的解 碼時間不重疊，對于第二條件，完成字幕解碼器32進(jìn)行的解碼顯 示組的解石馬完成時間是其顯示《且的顯示開始時間之前的時間。
試-驗性地，通過新4各式文件，如果可以管理(存〗諸)顯示組的 顯示開始時間和解碼開始時間，則在生成設(shè)備中生成存儲顯示組的 文件以滿足第一條件和第二條件，從而在再生設(shè)備中字幕的再生對 于其顯示可以是及時的。
具體地，在這種情況下，通過再生設(shè)備，利用新格式文件在解 碼開始時間處開始諸如顯示組的解碼等的再生，并在顯示開始時間 處開始顯示，乂人而字幕的再生對于其顯示可以是及時的。
圖18示出了通過生成的文件而執(zhí)行以滿足第一條件和第二條 件的顯示組的再生和顯示時序。通過再生i殳備，當(dāng)解碼開始時間到 達(dá)時，開始諸如顯示組的解碼等的再生。隨后，當(dāng)顯示開始時間到 達(dá)時，開始顯示組的(字幕)顯示。
解碼開始時間和顯示開始時間滿足第 一條件和第二條件，所以 通過再生i殳備，如上所述，分別才艮據(jù)解碼開始時間和顯示開始時間 來才丸4于顯示組的再生和顯示，乂人而，字幕的再生》t于其顯示可以是 及時的。順侵j是及，用于顯示組再生的時間基本等于用于解碼的時間。 用于解碼的時間，由此所4吏用的時間取決于多種因素，T者如字幕編
碼數(shù)據(jù)(encoded_data_string ()(圖14))的編碼方法、字幕的大小 (像素數(shù))、字幕顏色的數(shù)量、字幕(的圖像)的復(fù)雜性、疊加字 幕的移動畫面的幀率、分辨率等，所以對于每個顯示組(樣本)來 i兌都是不同的。
通過生成設(shè)備，如果根據(jù)取決于各種因素并且對于每個顯示組 來說都不同所使用的這種時間，則執(zhí)行用于確定滿足第 一條件和第 二條件的解碼開始時間和顯示開始時間的處理，其處理負(fù)荷大大增加。
注意，通常在內(nèi)容創(chuàng)作時確定顯示開始時間，所以基本上，通 過生成設(shè)備，確定滿足第 一條件和第二條件的解碼開始時間。
此外，對于用于再生新格式文件的再生設(shè)備，其中，將字幕數(shù) 據(jù)存儲在符合諸如上述ISO基本媒體文件格式的文件中，必須具有 樣本的解碼開始時間的解碼器模型不適用于其。
具體地，通過ISO基本^某體文件格式，可以通過用作元數(shù)據(jù)的 時間-樣本原子(圖2A)的持續(xù)時間(樣本持續(xù)時間)而獲得的樣 本的顯示組的顯示開始時間，但是不存在用于表示樣本的解碼開始 時間的方法。
因此，即使在生成設(shè)備中確定了滿足第 一條件和第二條件的解 石馬開始時間和顯示開始時間，用于再生新格式文4牛的再生i殳備不識 別在生成i殳備中確定的解石馬開始時間。因此，不期望強(qiáng)加確定滿足第 一條件和第二條件的解碼開始時 間和顯示開始時間作為文件生成約束。
因此，為了防止生成設(shè)備的處理負(fù)荷大大增加，并利于用于再 生新格式文件的再生設(shè)備使字幕的再生對于其顯示是及時的，將采
用以下-見則Rl ~ R6作為文件生成約束。
相同地，規(guī)則Rl是設(shè)置用于開始諸如顯示組的解碼等的再生 的解碼(再生)開始時間以及用于開始緊接在之前顯示的字幕的顯 示組的顯示的顯示開始時間。
當(dāng)注意特定顯示組時，規(guī)則R2把從緊接在其感興趣的顯示組 (感興趣的顯示組)之前要纟皮顯示的顯示組(最后顯示組)的顯示 開始時間直到感興趣的顯示組的顯示開始時間的時間(在最后顯示 組的顯示開始時間和感興趣的顯示《且的顯示開始時間之間的時間) 作為可用于再生感興趣的顯示組的可用時間T。
代替^L則R2,在最后顯示組為非顯示區(qū)間中的顯示組的情況 下，采用規(guī)則R3,并將從進(jìn)一步緊接在緊接感興趣的顯示組之前 的要顯示的顯示組之前的顯示開始時間直到感興趣的顯示組的顯 示開始時間的時間作為感興趣的顯示iEL的可用時間T。
將用于諸如感興趣的顯示組的解碼等的再生的時間Tmin作為感
興趣的顯示組的可用時間T的最小4直，^L則R4防止可用時間T小 于時間Tmin。
才艮據(jù)MJ!'J R4,感興趣的顯示組的可用時間T大于等于時間Tmin， 從而保證在可用時間T期間完成諸如感興趣的顯示組的解碼等的再 生，即，直到其顯示開始時間完成感興趣的顯示組的再生。因此，可以#(^于感興趣的顯示組的再生，以對于其顯示是及時 的。此外，在完成諸如感興趣的顯示組的解碼等的再生之前，感興 趣的顯示組的顯示開始時間，即，^艮隨感興趣的顯示纟且的顯示組的 解碼開始時間到達(dá)，從而可以防止諸如顯示組的解碼等的再生處理失敗。
注意，如果我們<艮定爿奪連續(xù)的兩個顯示組之間的顯示開始時間
間隔作為顯示組間隔，則可用時間T由于通用失見則而變成顯示組間
隔。此外，時間Tmin是顯示組間隔的最小值以保證執(zhí)行顯示組的再 生以對于其顯示是及時的。
根據(jù)規(guī)則R4,沒有通過關(guān)于其顯示組自身的參數(shù)，而是通過
最后顯示組(在應(yīng)用失見則R3的情況下，進(jìn)一步在最后顯示組之前
要顯示的顯示組)的顯示時間(顯示組間隔)來約束在顯示時間軸 上的4可處i更置特定顯示組。
規(guī)則R5假設(shè)感興趣的顯示組的時間Tmin僅取決于感興趣的顯
示組的編碼翁:據(jù)(encoded_data_string ()(圖14))。
具體地，實際上，顯示組的時間Tmin接收多種因素的影響，諸 如用于將副標(biāo)題(的圖傳4t據(jù))編碼成為編碼ft據(jù)的編碼方法、字 幕的圖像數(shù)據(jù)的大小、字幕的(圖像的)大小(水平像素數(shù)x垂直 像素數(shù))、字幕顏色的數(shù)量、字幕的(圖像的)復(fù)雜性、字幕的形 狀(字幕為縱向還是纟黃向等)、顯示字幕的顯示位置、以及進(jìn)一步 地疊加字幕的移動畫面的幀率、掃描類型(隔行或逐行)、位速率 (峰值速率和平均速率)等。在考慮這些所有各種因素的同時獲得時間T^的情況下，可以
獲取精確值作為時間Tmin，但是另一方面，用于獲取時間T^的處 理的負(fù)荷會增加。
此外，為了在考慮這些所有各種因素的同時獲得時間Tmin，例
如，必須通過作為自變量(argument)的這些各種因素來獲4尋用于
輸出具有精確值的時間Tmin的函數(shù)(模型)，但是難以獲得這種函數(shù)。
為此，采用假設(shè)感興趣的顯示組的時間TmiJ義取決于感興趣的
顯示組的編碼數(shù)據(jù)的規(guī)則R5，從而，可以容易地獲得時間Tmin。
在感興趣的顯示組是數(shù)據(jù)流中首先要顯示的數(shù)據(jù)組的情況下，
頭見貝'J R6是不應(yīng)用夫見則Rl ~R5。
具體地，將要顯示在移動畫面的整個顯示區(qū)間上的字幕的顯示 組存々者在新才各式文件中，所以首先顯示的顯示組的顯示開始時間與 開始移動畫面的顯示的時間一致(必須一f丈)。
因此最初地，顯示組的再生對于其顯示是及時的，因此，不必強(qiáng)加 文件生成約束。
例如，將規(guī)則R6應(yīng)用于圖4中首先要顯示的顯示組#1。圖4 中的顯示組#1是非顯示區(qū)間期間的顯示組，^f旦是還是將MJI'J R6應(yīng) 用于除非顯示區(qū)間之外的區(qū)間(顯示區(qū)間)期間的顯示組。
下面;)夸參照圖19A和圖19B進(jìn)4亍關(guān)于-見則Rl ~R3的進(jìn)一步的 描述。注意，下文中，感興趣的顯示組還稱作當(dāng)前顯示組，以及最 后顯示組還稱作在前顯示組。在前顯示組不是非顯示區(qū)間期間的顯示組的情況下，圖19A示 出了前顯示組和當(dāng)前顯示組的陣列。
乂人當(dāng)前顯示組的顯示開始時間直到4妾下來要顯示的顯示組(后 面的顯示組)的顯示開始時間，顯示當(dāng)前顯示組(的字幕)。將從
當(dāng)前顯示《且的顯示開始時間直到后面的顯示ia的顯示開始時間的 時間稱作激活當(dāng)前顯示組的時間(周期)。
在/人在前顯示組的顯示開始時間直到當(dāng)前顯示組的顯示開始 時間的時間內(nèi)顯示在前顯示ia，所以該時間為^敫活在前顯示癥且的時間。
當(dāng)假定執(zhí)行顯示組的再生對于其顯示是及時的時，規(guī)則Rl,
即，將顯示組的解碼開始時間與最后顯示組的顯示開始時間:沒置為 相同的失見則等效于導(dǎo)丸4亍々Ii殳用于諸如當(dāng)前顯示組的解碼等的再生 時間小于等于激活在前顯示組的時間的建^t。
具體地，如果已經(jīng)執(zhí)行顯示組的再生以對于其顯示是及時的， 在在前顯示組的顯示開始時間處，必須完成其在前顯示組的再生。
因此，在前顯示組的顯示開始時間處，字幕解碼器32(圖16) 可以開始^H乍為下一顯示組的當(dāng)前顯示《且的解石馬。隨后，直到當(dāng)前 顯示組的顯示開始時間，即，在;敫活在前顯示《且的同時，必須完成 諸如當(dāng)前顯示組的解碼等的再生。
注意，在其顯示開始時間之前已經(jīng)完成當(dāng)前顯示組的再生的情 況下，在完成當(dāng)前顯示組的再生之后直到其顯示開始時間，字幕解 碼器32為待機(jī)狀態(tài)(等待數(shù)據(jù))(等待后面的顯示組的解碼的開始 的狀態(tài))。規(guī)則R2是從規(guī)則Rl得出的規(guī)則。具體地，根據(jù)規(guī)則Rl,在 激活在前顯示組的同時，/人在前顯示組的顯示開始時間必須完成當(dāng) 前顯示組的再生。
因此，可用于當(dāng)前顯示《且的再生的可用時間T到達(dá)^敫活在前顯 示組的時間(在前顯示組的顯示開始時間和當(dāng)前顯示組的顯示開始 時間之間的時間)，因it匕，4,出失見則R2 。
圖19B是描述規(guī)則R3的示圖?，F(xiàn)在，我們假定，在連續(xù)顯示 的三個顯示組中，最后顯示的顯示組為當(dāng)前顯示組。
在這種情況下，在連續(xù)顯示的三個顯示組中，第二要顯示的顯 示組為在前顯示組。
現(xiàn)在，在連續(xù)顯示的三個顯示組中，將首先要顯示的顯示組， 即，將緊接在前顯示組之前的顯示組稱作第二在前顯示組。
現(xiàn)在，我們4叚定在前顯示組是非顯示區(qū)間期間的顯示組，即， ^又用于消除第二在前顯示組(的字幕)的顯示組。
在前顯示組是非顯示區(qū)間期間的顯示組，所以不存在在字幕解 碼器32中進(jìn)行解碼的編碼數(shù)據(jù)(encoded_data—string ()(圖14 ))(解
碼凄t據(jù)不必進(jìn)4于解碼)。
因此，在激活第二在前顯示組時字幕解碼器32不必對在前顯 示組進(jìn)行解碼。因此，字幕解碼器32不是在在前顯示組的顯示開 始時間而是在第二在前顯示組的顯示開始時間處可以開始當(dāng)前顯 示纟且的解碼。因此，可用于當(dāng)前顯示組的再生的可用時間T變成第二在前顯
示纟且的顯示開始時間禾口當(dāng)前顯示ia的顯示開始時間之間的時間。 具體地，在最后顯示組是非顯示區(qū)間期間的顯示組的情況下，
推出規(guī)則R3,其將從進(jìn)一步緊接在緊接感興趣的顯示組之前的要 顯示的顯示組(顯示區(qū)間期間的顯示組)之前的要顯示的顯示開始 時間開始的時間作為感興趣的顯示組的可用時間T 。
現(xiàn)在，我們々支定，在在前顯示組是非顯示區(qū)間期間的顯示組的 情況下，第二在前顯示組不是非顯示區(qū)間期間的顯示組。
情況下，可以^吏兩個顯示組集成為非顯示區(qū)間期間的一個顯示組。 因此，〗吏這種顯示組集成，從而在在前顯示組是非顯示區(qū)間期間的 顯示組的情況下，第二在前顯示組是不是非顯示區(qū)間期間的顯示組 的顯示組。
接下來，將參照圖20對關(guān)于怎樣根據(jù)規(guī)則R5獲得時間T, 進(jìn)行描述。
用于顯示組的再生的時間Tmin被視為用于對編碼數(shù)據(jù)進(jìn)行解碼 的時間。然而，如上所述，用于對編碼凄t據(jù)進(jìn)4亍解碼的時間取決于 多種因素，所以難以精確地4丸行建才莫。
通過失見則R5,感興趣的顯示l且的時間Tmin被^見為僅耳又決于感
興趣的顯示組的編碼數(shù)據(jù)(encoded_data—string ()(圖14))的大小， 因此，可以容易地執(zhí)行時間Tmin的建模。才艮據(jù)夫見則R5,通過才艮據(jù)將其顯示組的編碼凄史據(jù)的大小s作為自
變量的函數(shù)F (S)的表達(dá)式Tmin-F (s)來表示顯示組的時間Tmin,
并且通過建模，獲得函數(shù)F(s)。
函數(shù)F (s)取決于字幕解碼系統(tǒng)30 (圖16)的標(biāo)準(zhǔn)，具體地， 耳又決于字幕解碼器32的性能。
圖20示出了通過關(guān)于具有特定性能的字幕解碼器32的仿真所 獲得的函數(shù)F (s)。函數(shù)F (s)輸出具有作為自變量的編碼數(shù)據(jù)的 大小s的時間Tmin，所以可以i兌函凄tF (s)表示作為編石馬ft纟居的大 小s和時間Tmin之間的關(guān)系的大小-時間關(guān)系。在圖20中，橫軸表 示以^立為單^f立的編石馬^U居的大小s，纟從軸表示以移動畫面的幀(視
頻幀)的數(shù)量為單位的時間Tmin。
注意，開始顯示組(的字幕)的顯示的定時與顯示疊加有字幕
的移動畫面的幀的定時相匹配(必須匹配)，因》匕，在圖20中，3尋
幀凄t作為垂直軸上時間Tmin的單位。
此外，水平軸上編碼數(shù)據(jù)的大小s是存儲在ODS (圖14)中的 encoded_data—string ()的字節(jié)大小。
根據(jù)仿真，已經(jīng)確認(rèn)，編碼數(shù)據(jù)的大小S越大，時間Tmin就越
大，圖20示出了基于其仿真結(jié)果所創(chuàng)建的大小-時間關(guān)系。
注意，通過圖20中的大小-時間關(guān)系，以確定的方式，時間Tmin 的值變成通過將所謂的余量(margin )與仿真時獲得的值相加的值， -使得顯示組的再生對于其顯示是及時的。在考慮顯示組的再生對于 其顯示是及時的確定性的同時，可以確定余量。
58圖21是示出了根據(jù)實施例的、用于根據(jù)上述規(guī)則Rl ~R6生成 新格式文件的生成設(shè)備的結(jié)構(gòu)實例的框圖。
生成設(shè)備由字幕顯示時間數(shù)據(jù)庫40、字幕處理單元50、元數(shù) 據(jù)處理單元61、圖像處理單元62、音頻處理單元63和數(shù)據(jù)合成單 元64構(gòu)成。
字幕顯示時間凄t據(jù)庫40存儲字幕的顯示開始時間。這里，例 如，通過創(chuàng)建者等預(yù)先確定字幕的顯示開始時間，其中，創(chuàng)建者通 過利用圖21中的生成設(shè)備來創(chuàng)建文件(內(nèi)容)。
將字幕的圖^f象凄t據(jù)提供給字幕處理單元50。字幕處理單元50 處理|是供給其的字幕的圖傳_數(shù)據(jù)，以生成字幕才羊本，即，顯示組， 并將其l是供給數(shù)據(jù)合成單元64。
具體地，字幕處理單元50由字幕編碼器51、確定單元52、大 小-時間關(guān)系數(shù)據(jù)庫53和確晉誤處理單元54構(gòu)成。例如，將用作字幕 的圖像數(shù)據(jù)的位圖數(shù)據(jù)的一張圖表(屏幕值)適當(dāng)?shù)靥峁┙o字幕解 碼器51。
字幕編碼器51對提供給其的字幕的圖像數(shù)據(jù)進(jìn)行編碼以生成 要存儲在新格式文件中的字幕數(shù)據(jù)，并將字幕數(shù)據(jù)提供給確定單元 52。具體地，字幕編碼器51對提供給其的字幕的圖像數(shù)據(jù)進(jìn)行編 碼，乂人而生成編碼翁:據(jù)(encoded_data_string ()(圖14))。隨后， 字幕編碼器51采用其編碼^:據(jù)以生成作為字幕樣本的顯示組，并 將其纟是供給確定單元52作為感興趣的顯示組。此外，字幕編碼器51通過參照存儲在字幕顯示時間數(shù)據(jù)庫40 中的字幕(顯示組)的顯示開始時間來獲得感興趣的顯示組的可用 時間T,并將其4是供給確定單元52。
注意，在字幕編碼器51處生成的顯示組是非顯示區(qū)間期間的 顯示組的情況下，可以消除編碼凄t悟的必要性。
確定單元52 4企測包4舌在來自字幕編碼器51的感興趣的顯示組 中的編碼數(shù)據(jù)的大小s。此外，確定單元52基于包括在感興趣的顯 示組中的編碼凄t據(jù)的大小s來確定由圖16中的再生i殳備再生感興趣 的顯示組對于其顯示是否及時。
具體地，確定單元52^^艮據(jù)用作存儲在大小-時間關(guān)系數(shù)據(jù)庫53 中的大小-時間關(guān)系的函凄tF(s)(圖20)， /人包4舌在感興趣的顯示釭L 中的編碼數(shù)據(jù)的大小s中獲得關(guān)于感興趣的顯示組的時間Tmin。
此外，確定單元52獲4尋感興趣的顯示組的可用時間T和/人包 括在感興趣的顯示組中的編碼數(shù)據(jù)的大小s中所獲得的時間Tmin之 間的幅值相關(guān)性，并基于其幅值相關(guān)性來確定感興趣的顯示組的再 生對于其顯示是否及時。
具體地，在感興趣的顯示組的可用時間T大于等于Tmin的情況 下，確定單元52確定感興趣的顯示組的再生對于其顯示是及時的。
此外，在感興趣的顯示組的可用時間T小于時間Tmin的情況下，確
定單元52確定感興趣的顯示組的再生對于其顯示是不及時的。
在確定感興趣的顯示組的再生對于其顯示是及時的情況下，確 定單元52將感興趣的顯示組提供給數(shù)據(jù)合成單元64。此外，在確定感興趣的顯示組的再生對于其顯示是不及時的情
況下，確定單元52輸出表示錯誤的錯誤信息。
如圖20所述，大小-時間關(guān)系數(shù)據(jù)庫53存儲用作預(yù)先獲得的大 小-時間關(guān)系的函凄tF (s)。
錯誤處理單元54根據(jù)確定單元52的錯誤信息的輸出來執(zhí)行用 于實現(xiàn)感興趣的顯示組的再生對于其顯示是及時的錯誤處理。
具體地，例如， 一旦確定單元52輸出4晉誤信息，例如，錯誤 處理單元54扭^f于用于增加感興趣的顯示組的可用時間T的處理作 為4晉誤處理。
這里，例如，錯誤處理單元54通過延遲感興趣的顯示組的顯 示開始時間或者通過加速緊*接在感興趣的顯示組之前的顯示《且的 顯示開始時間，來增力a感興趣的顯示《且的可用時間T。
具體地，錯誤處理單元54將用于命令延遲感興趣的顯示組的 顯示開始時間或者命令提前緊4妄在感興趣的顯示組之前的顯示組 的顯示開始時間的控制信號提供給字幕解碼器51。
在從錯誤處理單元54提供控制信號的情況下，字幕編碼器51 才艮據(jù)其控制信號纟丸行用于延遲感興趣的顯示組的顯示開始時間或 加速緊*接在感興趣的顯示組之前的顯示組的顯示開始時間的時間 調(diào)節(jié)。ot匕外，字幕編石馬器51采用時間調(diào)節(jié)之后的顯示開始時間以 再次獲得感興趣的顯示組的可用時間T，并將其才是供給確定單元52。
這里，如上所述，寺丸4亍用于延遲感興趣的顯示組的顯示開始時
間或加速緊4妄在感興趣的顯示組之前的顯示組的顯示開始時間的 時間調(diào)節(jié)，/人而可以增加感興趣的顯示組的可用時間T。然而，在延遲感興趣的顯示組的顯示開始時間的情況下，^艮隨
感興趣的顯示組的顯示組的可用時間T變短。此夕卜，在執(zhí)行加速緊 4妄在感興趣的顯示組之前的顯示組的顯示開始時間的情況下，緊4妄
在感興趣的顯示ia之前的顯示組的可用時間T變短。
在跟隨感興趣的顯示組的顯示組的可用時間T變短由此其可用
時間T變得短于^艮隨感興趣的顯示組的顯示組的時間Tmin的情況
下，3艮隨感興趣的顯示組的顯示組的再生對于其顯示是不及時的。
此外，在緊4妄在感興趣的顯示組之前的顯示組的可用時間T變 短由此其可用時間T變得短于緊4妄在感興趣的顯示組之前的顯示組
的時間Tmin的情況下，緊接在感興趣的顯示組之前的顯示組的再生 對于其顯示是不及時的。
因此，在延遲感興趣的顯示組的顯示開始時間由此^艮隨感興趣 的顯示組的顯示組的可用時間T變纟尋短于其時間Tmin的情況下，以 及在4是前緊4矣在感興趣的顯示組之前的顯示組的顯示開始時間由 此緊接在感興趣的顯示組之前的顯示組的可用時間T變得短于其時
間Tmin的情況下，錯誤處理單元54執(zhí)行另 一錯誤處理。
具體地，4晉i吳處理單元54 #丸4亍用于<吏感興趣的顯示組的時間 Tmin更短的處理作為錯誤處理。
這里，例如，4晉誤處理單元54 4吏字幕編碼器51改變編碼參凄t， 以使在字幕編碼器51中獲得的感興趣的顯示組的編碼數(shù)據(jù)的大小
更短，從而使感興趣的顯示組的時間Tmin更短。
具體地，錯H吳處理單元54將用于命令減少用作編碼目標(biāo)的字 幕的圖像數(shù)據(jù)的顏色數(shù)或減少(間隔剔除)其圖像數(shù)據(jù)的大小(像 素數(shù))等的控制信號提供給字幕編碼器51。在從錯誤處理單元54提供控制信號的情況下，字幕編碼器51 根據(jù)其控制信號執(zhí)行用于減少用作編碼目標(biāo)的字幕的圖像數(shù)據(jù)的 顏色數(shù)或減少其圖像數(shù)據(jù)的大小的處理，并執(zhí)行用于將其處理之后 的字幕的圖像數(shù)據(jù)變換成為編碼數(shù)據(jù)的重新編碼。隨后，字幕解碼 器51采用作為重新編碼的結(jié)果獲得的編碼H據(jù)以重新生成感興趣 的顯示組，并將其4是供給確定單元52。
如上所述，確定單元52根據(jù)用作存儲在大小-時間關(guān)系數(shù)據(jù)庫 53中的大小-時間關(guān)系的函凄史F(s)(圖20) /人包4舌在感興趣的顯示 組中的編碼凌t據(jù)的大小s獲得感興趣的顯示組的時間Tmin。
在這種情況下，包括在感興趣的顯示組中的編碼凄t才居是通過只于 顏色數(shù)和大小較小的字幕的圖像凄t據(jù)進(jìn)行編碼所獲得的凄t據(jù)，所以 其大小s變小，因此，根據(jù)大小-時間關(guān)系從其大小s獲得的時間
Tmi。也變短。
將元lt據(jù)(附加4言息)纟是供給元ft據(jù)處理單元61。元^t據(jù)處理 單元61使提供給其的元數(shù)據(jù)經(jīng)受預(yù)定處理，并將其提供給數(shù)據(jù)合 成單元64。
將移動畫面數(shù)據(jù)提供給圖像處理單元62。圖像處理單元62使 提供給其的移動畫面數(shù)據(jù)經(jīng)受預(yù)定處理，并將其提供給數(shù)據(jù)合成單 元64。
將音頻數(shù)據(jù)(例如，伴隨移動畫面數(shù)據(jù)的音頻數(shù)據(jù))提供給音 頻處理單元63。音頻處理單元63 4吏才是供鄉(xiāng)會其的音頻凄t悟經(jīng)受預(yù)定 處理，并將其^是供纟會ft據(jù)合成單元64。
凄t據(jù)合成單元64合成(多^各復(fù)用)來自元凝:據(jù)處理單元61的 元凄t據(jù)、來自圖4象處理單元62的移動畫面數(shù)據(jù)、來自音頻處理單 元63的音頻凄t據(jù)以及來自字幕處理單元50 (的確定單元52 )的用
63作字幕數(shù)據(jù)的顯示組，生成存儲作為其合成結(jié)果獲得的數(shù)據(jù)流的新
才各式文4牛，并iir出該新4各式文fK
注意，在元數(shù)據(jù)中包括存^f諸在字幕顯示時間凄史據(jù)庫40中的顯 示組的顯示開始時間，^f旦是通過凄t據(jù)合成單元64將該顯示開始時 間以諸如ISO基本媒體文件格式的時間-樣本原子(圖2A)等的形 式存^f諸在新4各式文件中。
此外，在通過在錯誤處理單元54中執(zhí)行的錯誤處理來執(zhí)行顯 示組的顯示開始時間的時間調(diào)節(jié)的情況下，將其時間調(diào)節(jié)之后的顯 示開始時間存儲在新格式文件中。
接下來，將參照圖22對關(guān)于在圖21的生成i殳備的字幕處理單 元50中扭J亍的處理(字幕生成處理)進(jìn)4亍描述。
通過字幕處理單元50,例如，字幕編碼器51等4寺用作所提供 的字幕的圖像數(shù)據(jù)的位圖數(shù)據(jù)的一張圖表(屏幕值)，并且在步驟
s51中，獲得(接收)其字幕的圖像數(shù)據(jù)，并且處理前進(jìn)至步驟s52。
在步驟s52中，字幕編碼器51通過參照存儲在字幕顯示時間 數(shù)據(jù)庫40中的字幕(顯示組)的顯示開始時間來獲得感興趣的顯 示組的可用時間t。隨后，字幕編碼器51將感興趣的顯示組的可用 時間t與其顯示開始時間一起才是供給確定單元52,并且處理從步驟 s52前進(jìn)至步驟s53。
在步驟s53中，字幕編碼器51對在最近的步驟s51中獲得的 字幕的圖像數(shù)據(jù)進(jìn)行編碼，從而生成編碼數(shù)據(jù)(encoded_data_string ()(圖14))。此外，字幕編碼器51采用其編碼數(shù)據(jù)以生成用作字 幕樣本的顯示組，將其作為感興趣的顯示組提供給確定單元52,并 且處理/人步艱《s53前進(jìn)至步驟s54。在步驟S54中，確定單元52沖企測包4舌在來自字幕編碼器51的 感興趣的顯示組中的編碼數(shù)據(jù)的大小s。此外，確定單元52才艮據(jù)存 儲在大小-時間關(guān)系數(shù)據(jù)庫53中的大小-時間關(guān)系(圖20)從包括 在感興趣的顯示組中的編碼數(shù)據(jù)的大小s中獲得感興趣的顯示組的 時間Tmin。
隨后，處理乂人步-驟S54前進(jìn)至步驟S55,確定單元52確定感興 趣的顯示組的可用時間T是否大于等于感興趣的顯示組的時間 t
i min o
在步驟S55中判定感興趣的顯示組的可用時間T小于感興趣的
顯示組的時間Tmin的情況下，即，在感興趣的顯示組的再生對于其
顯示是不及時的情況下，處理前進(jìn)至步驟S56,在步驟S56中，確 定單元52輸出4晉誤信息，并且處理前進(jìn)至步-驟S57。
在步驟S57中，錯誤處理單元54執(zhí)行用于延遲感興趣的顯示 組的顯示開始時間或者加速緊，接在感興趣的顯示組之前的顯示組 的顯示開始時間的時間調(diào)節(jié)，乂人而確定是否改變(增力。)感興趣的 顯示纟且的可用時間。
在4丸4亍時間調(diào)節(jié)/人而增加感興趣的顯示ia的可用時間T的'lt況
下，如圖20所述，3艮隨感興趣的顯示組的顯示《且的可用時間T變 短，因此，其可用時間T變4尋短于3艮隨感興趣的顯示組的顯示組的 時間Tmin，并且跟隨感興趣的顯示組的顯示組的再生對于其顯示不 及時，或者緊接在感興趣的顯示組之前的顯示組的可用時間T變短， 因此，其可用時間t變得短于緊接在感興趣的顯示組之前的顯示組 的時間Tmin，并且緊4妄在感興趣的顯示組之前的顯示組的再生對于 其顯示不及時。在步驟S57中，如上所述，在引起顯示組的再生對于其顯示不 及時的情況下，才丸4亍時間調(diào)節(jié)，因此，進(jìn)4亍難以增加感興趣的顯示 纟且的可用時間T的確定。另一方面，如上所述，在沒有導(dǎo)致顯示紐— 的再生對于其顯示不及時的情況下，在步艱《S57中，執(zhí)4亍時間調(diào)節(jié)， 因》匕，估支出可以增加感興趣的顯示《且的可用時間T的確定。
在步驟S57中確定可以增加感興趣的顯示組的可用時間T的情 況下,處理前進(jìn)至步驟S58,其中，錯誤處理單元54將用于命令延 遲感興趣的顯示組的顯示開始時間或提前緊4妄在感興趣的顯示組 之前的顯示組的顯示開始時間的時間調(diào)節(jié)控制信號#是供給字幕編 碼器51。
在從錯誤處理單元54提供時間調(diào)節(jié)控制信號的情況下，根據(jù) 其控制信號，字幕編碼器51扭^于時間調(diào)節(jié)，以延遲感興趣的顯示 組的顯示開始時間或者纟是前緊*接在感興趣的顯示組之前的顯示組 的顯示開始時間。此外，字幕編碼器51采用時間調(diào)節(jié)之后的顯示 開始時間以再次獲得感興趣的顯示組的可用時間T，并將其提供給 確定單元52。注意，在時間調(diào)節(jié)目標(biāo)為感興趣的顯示纟且的顯示開始 時間的情況下，字幕編石馬器51還爿夸感興趣的顯示組的時間調(diào)節(jié)之 后的顯示開始時間4是供多合確定單元52。
隨后，處理從步驟S58返回至步驟S55,此后，重復(fù)相同處理。
此外，在步-驟S57中確定扭J亍時間調(diào)節(jié)/人而確定^k以增力口感興 趣的顯示組的可用時間T的情況下，處理前進(jìn)至步驟S59,其中， 4晉誤處理單元54將用于改變編碼參lt的控制信號提供纟合字幕編碼 器51,其中，該控制信號命令減少進(jìn)行編碼的字幕的圖像數(shù)據(jù)的顏 色數(shù)或減少其圖像數(shù)據(jù)的大小等。
66在從錯誤處理單元54提供用于改變編碼參數(shù)的控制信號的情 況下，字幕編碼器51 4艮據(jù)其控制信號扭J于用于減少上次進(jìn)4于編碼 的字幕的圖像數(shù)據(jù)的顏色數(shù)的處理或者用于減少其圖像數(shù)據(jù)的大 小的處理(減少大小的處理)。隨后，處理/人步驟S59返回至步驟 S53,其中，字幕編碼器51在減少大小處理以后對字幕的圖^象數(shù)據(jù) 進(jìn)4亍編石馬，此后，重復(fù)相同處理。
另一方面，在步驟S55中判定感興趣的顯示組的可用時間T大 于等于感興趣的顯示組的時間Tmin的情況下，即，在感興趣的顯示 組的再生對于其顯示及時的情況下，處理前進(jìn)至步驟S60，在步驟 S60中，確定單元52將感興趣的顯示組和感興趣的顯示組的顯示開 始時間(在才丸行時間調(diào)節(jié)的情況下，時間調(diào)節(jié)之后的顯示開始時間) 4是供纟會ft據(jù)合成單元64,并且處理前進(jìn)至步驟S61。
通過合成單元64,如上所述，例如，以諸如ISO基本々某體文件 格式的時間-樣本原子(圖2A )等的形式將從確定單元52才是供的感 興趣的顯示組的顯示開始時間存 <諸在新格式文件中。
在步驟S61中，字幕處理單元50確定是否已經(jīng)處理存儲在新 格式文件中的字幕的所有的圖像數(shù)據(jù)。
在步驟S61中確定存在存儲在新格式文件中的字幕的圖像數(shù)據(jù) 的未處理字幕的圖像ft據(jù)的情況下，處理返回至步驟S51,此后，
重復(fù)相同處理。
此外，在步驟S61中確定已經(jīng)處理了存儲在新格式文件中的字 幕的所有圖像數(shù)據(jù)的情況下，字幕生成處理結(jié)束。
如上所述，當(dāng)感興趣的顯示組的可用時間T^豆于感興趣的顯示 組的時間Tmin時，確定單元52確定感興趣的顯示組的再生對于感 興趣的顯示組的顯示不及時，并輸出錯誤信息，從而可以防止生成顯示組的再生對于顯示組的顯示不及時的文件，因此，再生i殳備可 根據(jù)執(zhí)行再生以對于其字幕的顯示來說是及時的。
具體地，通過圖16中的再生設(shè)備，如上所述，為了在字幕解 碼系統(tǒng)30中作支定特定顯示組(的字幕)的顯示開始時間作為4妄下 來要顯示的顯示組的解碼開始時間，再生顯示組。
另一方面，圖21中的生成i殳備^f呆i正乂人特定顯示組的顯示開始 時間直到4妄下來要顯示的顯示組的顯示開始時間的時間(4妄下來要 顯示的顯示組的可用時間T)大于等于其顯示組的時間Tmin。
因此，通過圖16中的再生i殳備，可以執(zhí)4亍顯示組的再生以對 于其顯示是及時的。
通過本實施例，在顯示組的可用時間T小于時間Tmin的情況下， 減少字幕的圖像數(shù)據(jù)的顏色數(shù)和大小、編碼凄t據(jù)的大小s，因此， 減少時間Tmin。然而，減小字幕的圖像數(shù)據(jù)的顏色數(shù)和大小導(dǎo)致文 件內(nèi)容(內(nèi)容)的修改，在進(jìn)行用戶(文件創(chuàng)建者)的確認(rèn)之后， 可以執(zhí)行用于減少字幕的圖像數(shù)據(jù)的顏色數(shù)和大小的處理以減少 時間Tmin?？蛇x地，通過生成設(shè)備，不執(zhí)行諸如減少字幕的圖像數(shù) 據(jù)的顏色數(shù)和大小以減少時間Tmin的錯誤處理，錯誤信息，即，字 幕的再生對于其顯示不及時的影響^皮通知纟會用戶，并且可以通過等 待來自用戶的命令來寺丸行隨后的對策。
用于批J亍顯示開始時間的時間調(diào)節(jié)以增加可用時間T的镅H吳處 理與上述相同。
注意，在沒有，丸4于4晉誤處理的情況下，可以不i殳置4晉i吳處理單 元54 ;也配置字幕處理單元50 (圖21 )。 jt匕夕卜，為了減少編石馬凄史才居 的大小s由此減小時間Tmin,存在除減少字幕的圖像數(shù)據(jù)的顏色數(shù)和大小之外的方法，其中，合成多個字幕的圖像數(shù)據(jù)(圖像數(shù)據(jù)的 多個圖表)以獲得圖像數(shù)據(jù)(一個字幕的圖像數(shù)據(jù))的圖表。
*接下來，可通過石更件或軟件來^u亍上述一系列處理。在通過軟 件執(zhí)行一系列處理的情況下，在通用計算機(jī)等中安裝組成軟件的程序。
圖23示出了根據(jù)實施例的計算機(jī)的結(jié)構(gòu)實例，其中安裝執(zhí)行 上述一 系列處理的禾呈序。
可以在用作子貞先包4舌在計算才幾內(nèi)的i己錄介質(zhì)的石更盤105或 ROM 103中記錄該禾呈序。可選》也，可以^尋禾呈序臨時或7Jc久;也存卡者(i己 錄)在諸如軟磁盤、CD-ROM (光盤只讀存儲器)、MO (磁光)盤、 DVD(數(shù)字通用盤)、磁盤、半導(dǎo)體存儲器等的可移動記錄介質(zhì)111 中?？梢詫⑦@種可移動記錄介質(zhì)lll設(shè)置為所謂的數(shù)據(jù)包軟件。
注意，除將禾呈序乂人可移動介質(zhì)111安裝在計算4幾中的上述配置 之外，通過無線人造衛(wèi)星將程序從下載網(wǎng)站無線傳輸至計算才幾或者 由電纜通過諸如互4關(guān)網(wǎng)的網(wǎng)絡(luò)將程序傳輸至計算才幾的配置是可用 的，并且計算機(jī)在通信單元108中接收如此傳輸?shù)某绦?，并將該?序安裝到內(nèi)置硬盤105中。
計算機(jī)內(nèi)包括CPU (中央處理單元)102。通過總線101將輸 入/輸出4妻口 110連接至CPU 102，并且一旦通過用戶操作由4定盤、 鼠標(biāo)、麥克風(fēng)等組成的輸入單元107輸入命令，CPU 102經(jīng)由輸入 /輸出4妄口 110才艮據(jù)其命令沖丸行存儲在ROM (只讀存儲器)103中 的程序?？蛇x地，CPU102將存儲在硬盤105中的程序(從衛(wèi)星或 互聯(lián)網(wǎng)傳llT并在通信單元108中4妄收且安裝在石更盤105中的禾呈序， 或者從安裝在驅(qū)動器109上的可移動記錄介質(zhì)111讀取并安裝在硬 盤105中的程序)下載至RAM (隨才幾存l諸器)104并4丸4亍程序。因此，CPU 102才艮據(jù)上述流程圖才丸4亍處理或通過上述框圖結(jié)構(gòu)執(zhí)4亍的 處理。隨后，CPU 102通過輸入/輸出接口 110從由LCD (液晶顯 示器)、揚聲器等組成的輸出單元106輸出其處理結(jié)果，或者從通 信單元108傳輸它們，進(jìn)一步將它們記錄在硬盤105中。
現(xiàn)在，通過本說明書，描述使計算^L執(zhí)行各種類型處理的程序 的處理步驟不是必須根據(jù)如流程圖所述的順序時序地被執(zhí)行，而是 可以包纟舌并4于或單獨#丸4于的處理(例30,并^f于處理或^t象定向處 理)。
此外，可以通過單個計算才幾來處理該禾呈序或者可以通過以分布 式的方式的多臺計算才幾來處理該程序。此外，可以將該禾呈序傳ilr至 遠(yuǎn)程計算機(jī)并在遠(yuǎn)程計算機(jī)中沖丸行該程序。
注意，本發(fā)明的實施例不4又限于上述實施例，在不背離本發(fā)明
本質(zhì)的范圍內(nèi)，可以才丸4亍各^H務(wù)改。
本領(lǐng)域的才支術(shù)人員應(yīng)該理解，才艮據(jù)i殳計要求和其他因素，可以 有多種修改、組合、再組合和改進(jìn)，均應(yīng)包含在本發(fā)明的權(quán)利要求 或等同物的范圍之內(nèi)。
權(quán)利要求
1.一種生成設(shè)備，包括字幕編碼裝置，被配置為通過對字幕的圖像數(shù)據(jù)進(jìn)行編碼來生成包括關(guān)于移動畫面的移動畫面數(shù)據(jù)以及關(guān)于在所述移動畫面的整個顯示區(qū)間上顯示的所述字幕的字幕數(shù)據(jù)的數(shù)據(jù)流中的所述字幕數(shù)據(jù)；以及確定裝置，被配置為基于通過對所述字幕的圖像數(shù)據(jù)進(jìn)行編碼獲得的編碼數(shù)據(jù)的大小來確定所述字幕的再生對于所述字幕的顯示是否及時；其中，用所述字幕的顯示恒定的區(qū)間作為所述字幕的顯示單位，將所述字幕數(shù)據(jù)分為顯示組，所述顯示組是所述單位中的所述字幕數(shù)據(jù)；其中，在當(dāng)顯示緊接在作為被注意的顯示組的感興趣的顯示組的字幕之前被顯示的字幕時的顯示開始時間與所述感興趣的顯示組的字幕的顯示開始時間之間的時間被當(dāng)作可用于再生所述感興趣的顯示組的可用時間，并且此外用于再生所述感興趣的顯示組的時間被當(dāng)作處理時間的情況下，所述確定裝置根據(jù)大小-時間關(guān)系從所述感興趣的顯示組的編碼數(shù)據(jù)的大小中獲得關(guān)于所述感興趣的顯示組的處理時間，其中，所述大小-時間關(guān)系是在所述編碼數(shù)據(jù)的大小與所述處理時間之間預(yù)先獲得的關(guān)系，并且當(dāng)關(guān)于所述感興趣的顯示組的可用時間低于關(guān)于所述感興趣的顯示組的處理時間時，確定所述感興趣的顯示組的字幕的再生對于其字幕的顯示是不及時的，從而輸出表示錯誤的錯誤信息。
2. 根據(jù)權(quán)利要求1所述的生成設(shè)備，還包括錯誤處理裝置，被配置為執(zhí)行錯誤處理，所述錯誤處理 是根據(jù)由所述確定裝置輸出的所述錯誤信息增加關(guān)于所述感的顯示《且的處理時間的處J里。
3. 根據(jù)權(quán)利要求2所述的生成設(shè)備，其中，所述錯誤處理裝置通 過延遲所述感興趣的顯示組的字幕的所述顯示開始時間或通 過加快緊4妄在所述感興趣的顯示組的字幕之前^皮顯示的字幕 的所述顯示開始時間來增加關(guān)于所述感興趣的顯示組的所述 可用時間。
4. 根據(jù)權(quán)利要求2所述的生成設(shè)備，其中，所述錯誤處理裝置通 過所述字幕編碼裝置來改變編碼參ft以減小所述感興趣的顯 示組的編碼數(shù)據(jù)的大小，從而減少關(guān)于所述感興趣的顯示組的 戶斤述處理時間。
5. 根據(jù)權(quán)利要求1所述的生成設(shè)備，其中，所述顯示組包括表示 將要顯示的所述字幕的數(shù)量的字幕數(shù)信息以及表示所述字幕 的透明度的透明度信息；其中，在隱藏所述字幕的非顯示區(qū)間期間的顯示組包括 表示所述字幕的數(shù)量為0的字幕數(shù)信息或表示所述字幕完全 透明的透明度信息；其中，在緊接在所述感興趣的顯示組的字幕之前被顯示 的字幕的顯示組是所述非顯示區(qū)間期間的顯示組的情況下，在緊4妄在所述感興趣的顯示組的字幕之前#1顯示的字幕之前進(jìn) 一步緊接被顯示的字幕的顯示開始時間與所述感興趣的顯示組的字幕< 興趣的顯示纟且的所述可用時間。
6. 根據(jù)權(quán)利要求1所述的生成設(shè)備，其中，所述移動畫面數(shù)據(jù)是
7. —種生成方法，包^^以下步艱釔-陂配置為生成包括關(guān)于移動畫面的移動畫面lt據(jù)以及關(guān) 于在所述移動畫面的整個顯示區(qū)間上顯示的字幕的字幕才居 的數(shù)據(jù)流的生成裝置通過對所述字幕的圖傳4t據(jù)進(jìn)4于編碼來 生成所述字幕數(shù)據(jù)，并且基于通過對所述字幕的圖像數(shù)據(jù)進(jìn)行 編碼所獲得的編碼數(shù)據(jù)的大小來確定所述字幕的再生對于所 述字幕的顯示是否及時；其中，用所述字幕的顯示恒定的區(qū)間作為所述字幕的顯 示單位，將所述字幕數(shù)據(jù)分為顯示組，所述顯示組是顯示所述 單位中的所述字幕凄史據(jù)；其中，在當(dāng)顯示緊^接在作為^皮注意的顯示組的感興趣的 顯示組的字幕之前纟皮顯示的字幕時的顯示開始時間與所述感 興趣的顯示組的字幕的顯示開始時間之間的時間:帔當(dāng)作可用 于再生所述感興趣的顯示《且的可用時間，并且it匕外用于再生所 述感興趣的顯示組的時間被當(dāng)作處理時間的情況下，根據(jù)大小 -時間關(guān)系從所述感興趣的顯示組的編碼數(shù)據(jù)的大小中獲得關(guān) 于所述感興趣的顯示組的處理時間，其中，所述大小-時間關(guān) 系是在所述編碼數(shù)據(jù)的大小與所述處理時間之間預(yù)先獲得的 關(guān)系，并且當(dāng)關(guān)于所述感興趣的顯示組的可用時間4氐于關(guān)于所 述感興趣的顯示組的處理時間時，確定所述感興趣的顯示組的 字幕的再生對于其字幕的顯示是不及時的，從而輸出表示錯誤 的錯誤信息。
8. —種使計算機(jī)用作再生設(shè)備的程序，所述再生設(shè)備包括字幕編碼裝置，#1配置為通過對字幕的圖傳_#1據(jù)進(jìn)^亍編 石馬來生成包4舌關(guān)于移動畫面的移動畫面4feU居以及關(guān)于在所述 移動畫面的整個顯示區(qū)間上顯示的所述字幕的字幕H據(jù)的凝: 據(jù)流中的所述字幕凄t據(jù)；以及確定裝置，被配置為基于通過對所述字幕的圖像數(shù)據(jù)進(jìn) 行編碼獲得的編碼數(shù)據(jù)的大小來確定所述字幕的再生對于所 述字幕的顯示是否及時；其中，用所述字幕的顯示恒定的區(qū)間作為所述字幕的顯 示單位，將所述字幕凄t據(jù)分為顯示組，所述顯示組是所述單位 中的所述字幕數(shù)據(jù)；其中，在當(dāng)顯示緊^接在作為^皮注意的顯示組的感興趣的 顯示組的字幕之前^皮顯示的字幕時的顯示開始時間與所述感 興趣的顯示組的字幕的顯示開始時間之間的時間#皮當(dāng)作可用 于再生所述感興趣的顯示組的可用時間，并且此外用于再生所 述感興趣的顯示《且的時間當(dāng)作處理時間的情況下，所述確定 裝置才艮據(jù)大小-時間關(guān)系,人所述感興趣的顯示組的編碼凝:據(jù)的 大小中獲得關(guān)于所述感興趣的顯示組的處理時間，其中，所述 大小-時間關(guān)系是在所述編碼tt據(jù)的大小與所述處理時間之間 預(yù)先獲得的關(guān)系，并且當(dāng)關(guān)于所述感興趣的顯示組的可用時間 ^f氐于關(guān)于所述感興趣的顯示《且的處理時間時，確定所述感興趣 的顯示組的字幕的再生對于其字幕的顯示是不及時的，從而輸 出表示錯誤的錯誤信息。
9. 一種生成"i殳備，包4舌字幕編碼單元，4皮配置為通過對字幕的圖傳H據(jù)進(jìn)4亍編移動畫面的整個顯示區(qū)間上顯示的所述字幕的字幕數(shù)據(jù)的凄t據(jù)流中的所述字幕數(shù)據(jù)；以及確定單元，；故配置為基于通過對所述字幕的圖4象凄t據(jù)進(jìn) 行編碼獲得的編碼數(shù)據(jù)的大小來確定所述字幕的再生對于所 述字幕的顯示是否及時；其中，用所述字幕的顯示恒定的區(qū)間作為所述字幕的顯 示單位，將所述字幕^t據(jù)分為顯示組，所述顯示組是所述單位 中的所述字幕凄t據(jù)；其中，在當(dāng)顯示緊4妾在作為^皮注意的顯示組的感興趣的 顯示組的字幕之前^皮顯示的字幕時的顯示開始時間與所述感 興趣的顯示組的字幕的顯示開始時間之間的時間凈皮當(dāng)作可用 于再生所述感興趣的顯示組的可用時間，并且此外用于再生所 述感興趣的顯示組的時間#皮當(dāng)作處理時間的情況下，所述確定 單元根據(jù)大小-時間關(guān)系從所述感興趣的顯示組的編碼數(shù)據(jù)的 大小中獲得關(guān)于所述感興趣的顯示組的處理時間，其中，所述 大小-時間關(guān)系是在所述編碼數(shù)據(jù)的大小與所述處理時間之間 預(yù)先獲得的關(guān)系，并且當(dāng)關(guān)于所述感興趣的顯示組的可用時間 4氐于關(guān)于所迷感興趣的顯示組的處理時間時，確定所述感興趣 的顯示組的字幕的再生對于其字幕的顯示是不及時的，從而輸 出表示錯誤的錯誤信息。
10. —種使計算機(jī)用作再生設(shè)備的程序，所述再生設(shè)備包括字幕編碼單元，被配置為通過對字幕的圖像數(shù)據(jù)進(jìn)行編 碼來生成包括關(guān)于移動畫面的移動畫面^:據(jù)以及關(guān)于在所述 移動畫面的整個顯示區(qū)間上顯示的所述字幕的字幕凄t據(jù)的彩: 據(jù)流中的所述字幕凄t據(jù)；以及確定單元，^皮配置為基于通過對所述字幕的圖傳4t據(jù)進(jìn) 行編碼獲得的編碼數(shù)據(jù)的大小來確定所述字幕的再生對于所述字幕的顯示是否及時；其中，用所述字幕的顯示恒定的區(qū)間作為所述字幕的顯 示單位，將所述字幕H悟分為顯示組，所述顯示組是所述單位 中的所述字幕凄丈據(jù)；其中，在當(dāng)顯示緊*接在作為#皮注意的顯示組的感興趣的 顯示組的字幕之前^皮顯示的字幕時的顯示開始時間與所述感 興趣的顯示組的字幕的顯示開始時間之間的時間被當(dāng)作可用 于再生所述感興趣的顯示ia的可用時間，并且o):匕外用于再生所 述感興趣的顯示組的時間;故當(dāng)作處理時間的情況下，所述確定 單元根據(jù)大小-時間關(guān)系從所述感興趣的顯示組的編碼數(shù)據(jù)的 大小中獲得關(guān)于所述感興趣的顯示組的處理時間，其中，所述 大小-時間關(guān)系是在所述編碼數(shù)據(jù)的大小與所述處理時間之間 預(yù)先獲得的關(guān)系，并且當(dāng)關(guān)于所述感興趣的顯示組的可用時間 低于關(guān)于所述感興趣的顯示組的處理時間時，確定所述感興趣 的顯示組的字幕的再生對于其字幕的顯示是不及時的，從而輸 出表示錯誤的錯誤信息。
全文摘要
本發(fā)明公開了生成設(shè)備、生成方法以及程序，其中，該生成設(shè)備包括字幕編碼單元，用于通過對字幕的圖像數(shù)據(jù)進(jìn)行編碼來生成字幕數(shù)據(jù)；以及確定單元，用于基于通過對圖像數(shù)據(jù)進(jìn)行編碼獲得的編碼數(shù)據(jù)的大小來確定字幕的再生對于其顯示是否及時，將字幕數(shù)據(jù)分為作為顯示單位的顯示組，以及確定單元根據(jù)編碼數(shù)據(jù)的大小與處理時間之間的大小-時間關(guān)系從感興趣的顯示組的編碼數(shù)據(jù)的大小中獲得關(guān)于感興趣的顯示組的處理時間，并在關(guān)于感興趣的顯示組的可用時間低于關(guān)于感興趣的顯示組的處理時間時，確定感興趣的顯示組的字幕的再生對于其顯示是不及時的，從而輸出錯誤信息。通過本發(fā)明，可以執(zhí)行字幕的再生以對于其字幕的顯示是及時的。
文檔編號H04N9/82GK101604545SQ20091014649
公開日2009年12月16日 申請日期2009年6月9日 優(yōu)先權(quán)日2008年6月10日
發(fā)明者浜田俊也 申請人:索尼株式會社