用于通過單獨的路徑接收并顯示多個流的接收器、多個流的處理方法及其發(fā)送方法
【專利摘要】提供了一種接收器。該接收器包括：第一接收單元，通過廣播網絡接收第一流；第二接收單元，通過通信網絡接收第二流；數據處理單元，從第一流和第二流中的至少一個檢測聚合信息，并根據該聚合信息對第一流的數據和第二流的數據進行組裝和處理；以及輸出單元，輸出由數據處理單元處理的數據。因此，可容易地對相關數據進行組裝和處理。
【專利說明】用于通過單獨的路徑接收并顯示多個流的接收器、多個流的處理方法及其發(fā)送方法
【技術領域】
[0001]本總的發(fā)明構思總體上涉及一種用于接收并處理多個流的接收器、流處理方法和流發(fā)送方法。更具體地講，本總的發(fā)明構思涉及一種用于接收通過單獨的路徑發(fā)送的多個流并且根據聚合信息組合并處理這些流的接收器、流處理方法和流發(fā)送方法。
【背景技術】
[0002]由于電子器件和通信技術的發(fā)展，開發(fā)并供給了各種電子裝置。這些電子裝置的代表性示例是諸如TV的接收器。
[0003]最近，隨著TV的性能增強，多媒體內容(比如，3D內容或全HD內容)被發(fā)送并被電視轉播。然而，這樣的內容的量遠大于現存內容。

【發(fā)明內容】

[0004]技術問題
[0005]廣播網絡提供的發(fā)送帶寬有限。因此，可發(fā)送內容的大小受限。在這個限制下，分辨率降低是不可避免的。結果，圖像質量劣化。
[0006]為了解決這個問題，嘗試在各種發(fā)送環(huán)境下發(fā)送各種媒體數據。然而，因為通過不同的路徑發(fā)送數據，所以接收器不能確定數據是否彼此相關。
[0007]例如，當在單獨的路徑中發(fā)送3D內容的左眼圖像和右眼圖像時，應當組合這兩個圖像以用于回放。然而，難以確定這兩個圖像是否相關。
[0008]問題的解決方案
[0009]提供本總的發(fā)明構思的一方面來解決以上提及的問題和缺點和/或其他問題和缺點，并且本總的發(fā)明構思的一方面提供一種用于通過單獨的路徑接收、組合和處理多個流的接收器、流處理方法和流發(fā)送方法。
[0010]根據本總的發(fā)明構思的一方面，一種接收器包括:第一接收單元，通過廣播網絡接收第一流；第二接收單元，通過通信網絡接收第二流；數據處理單元，從第一流和第二流中的至少一個檢測聚合信息，并根據該聚合信息對來自第一流的數據和來自第二流的數據進行組裝和處理；以及輸出單元，輸出由數據處理單元處理的數據。
[0011]聚合信息可包括在第一流和第二流中的至少一個的程序映射表的基本流循環(huán)中。
[0012]聚合信息可被記錄在多媒體關聯(lián)表(MAT)中，MT設置在第一流和第二流中的至少一個的程序關聯(lián)表(PAT)上方。
[0013]數據處理單元可包括:第一解復用器，通過對第一流進行解復用來檢測數據和聚合信息；關聯(lián)控制器，根據聚合信息控制第二接收單元接收第二流；第二解復用器，從第二接收單元接收的第二流檢測數據；第一解碼器，對由第一解復用器檢測的數據進行解碼；第二解碼器，對由第二解復用器檢測的數據進行解碼；以及渲染器，組裝并渲染由聚合信息指定的數據。[0014]數據處理單元可包括:存儲單元，存儲第一流和第二流；第一解復用器，通過對第一流進行解復用來檢測數據和第一聚合信息；第二解復用器，通過對第二流進行解復用來檢測數據和第二聚合信息；關聯(lián)控制器，使用第一聚合信息和第二聚合信息來在第一流和第二流中確定要組裝的數據，并組裝所確定的數據；解碼器，對由關聯(lián)控制器組裝的數據進行解碼；以及渲染器，渲染所解碼的數據。
[0015]聚合信息可包括下列項中的至少一個:其他流中提供的數據類型、數據傳輸類型、數據分隔符、PID, URL和清單信息。
[0016]一種流處理方法包括:通過廣播網絡接收第一流；檢測第一流中的數據和聚合信息；根據聚合信息通過通信網絡接收與第一流相關的第二流；對第一流和第二流的數據進行解碼；根據聚合信息組裝所解碼的數據；并且處理并輸出所組裝的數據。
[0017]聚合信息可被記錄在第一流的程序映射表的基本流循環(huán)中。
[0018]一種流處理方法包括:通過廣播網絡接收第一流；通過通信網絡接收第二流；從第一流和第二流中的至少一個檢測聚合信息，并根據所檢測的聚合信息對第一流的數據和第二流的數據進行組裝和處理；并且輸出所處理的數據。
[0019]聚合信息可被記錄在第一流和第二流中的至少一個的程序映射表的基本流循環(huán)中。
[0020]聚合信息可被記錄在MAT中，MAT設置在第一流和第二流中的至少一個的PAT上方。
[0021]處理操作可包括:存儲第一流和第二流；通過對第一流進行解復用來檢測數據和第一聚合信息；通過對第二流進行解復用來檢測數據和第二聚合信息；使用第一聚合信息和第二聚合信息來在第一流和第二流中確定要組裝的數據，并組裝所確定的數據；對所組裝的數據進行解碼；并且渲染所解碼的數據。
[0022]聚合信息可包括下列項中的至少一個:其他流中提供的數據類型、數據傳輸類型、數據分隔符、PID, URL和清單信息。
[0023]一種流發(fā)送方法包括:產生包括數據的基本流；產生用于基本流的程序映射表；產生與將與所述數據組裝的其他數據相關的聚合信息，并將所產生的聚合信息記錄在程序映射表的基本流循環(huán)中；并且產生并發(fā)送包括基本流和程序映射表的傳輸流。聚合信息可包括下列項中的至少一個:所述其他數據的類型、傳輸類型、數據分隔符、PID、URL和清單信息。
[0024]一種流發(fā)送方法包括:產生包括數據的基本流；產生用于基本流的程序映射表信息和程序關聯(lián)表信息；產生MAT，MAT包括關于與所述數據相關的其他數據的聚合信息；并且產生并發(fā)送包括基本流、MAT、程序關聯(lián)表和程序映射表的傳輸流。聚合信息可包括下列項中的至少一個:所述其他數據的類型、傳輸類型、數據分隔符、PID、URL和清單信息。
[0025]本發(fā)明的有利效果
[0026]因此，可使用聚合信息來組裝并輸出多個流。
【專利附圖】

【附圖說明】
[0027]圖1是顯示根據本總的發(fā)明構思的實施例的媒體發(fā)送和接收系統(tǒng)的示圖；
[0028]圖2是顯示通過廣播網絡發(fā)送的第一流和通過通信網絡發(fā)送的第二流的示圖；[0029]圖3是顯示根據本的總發(fā)明構思的實施例的媒體發(fā)送和接收系統(tǒng)的操作的示圖；
[0030]圖4是顯示根據本總的發(fā)明構思的實施例的接收器的框圖；
[0031]圖5是顯示程序映射表中的聚合信息的放置的示圖；
[0032]圖6是顯示圖5的聚合信息的示圖；
[0033]圖7是顯示包括聚合信息的基本流循環(huán)的示圖；
[0034]圖8是顯示經由通信網絡、使用基于IP的TS (TS over IP)發(fā)送的流的示圖；
[0035]圖9是顯示通過通信網絡、使用IP發(fā)送的流的示圖；
[0036]圖10是顯示圖4的接收器的數據處理單元的框圖；
[0037]圖11是顯示使用多媒體關聯(lián)表的聚合信息發(fā)送的示圖；
[0038]圖12是顯示圖11的多媒體關聯(lián)表的示圖；
[0039]圖13是顯示包括圖11的聚合信息的流和以基于IP的TS的格式提供的流的示圖；
[0040]圖14是顯示使用圖13的多媒體關聯(lián)表組裝數據的方法的示圖；
[0041]圖15是顯示包括圖11的聚合信息的流和以IP格式提供的流的示圖；
[0042]圖16是顯示使用圖15的多媒體關聯(lián)表組裝數據的方法的示圖；
[0043]圖17是顯示圖4的接收器的數據處理單元的另一框圖；
[0044]圖18是顯示根據本總的發(fā)明構思的實施例的流處理方法的流程圖；
[0045]圖19是顯示根據本總的發(fā)明構思的另一實施例的流處理方法的流程圖；
[0046]圖20是顯示圖19的流處理方法中的數據處理步驟的詳細流程圖；
[0047]圖21是顯示根據本總的發(fā)明構思的實施例的發(fā)送器的框圖；
[0048]圖22是顯示根據本總的發(fā)明構思的實施例的流發(fā)送方法的流程圖；
[0049]圖23是顯示根據本總的發(fā)明構思的另一實施例的流發(fā)送方法的流程圖。
【具體實施方式】
[0050]現在將詳細論述本總的發(fā)明構思的實施例，這些實施例的示例在附圖中示出，其中，相似的標號始終指示相似的元件。以下參照附圖描述實施例以解釋本總的發(fā)明構思。
[0051]圖1是根據本總的發(fā)明構思的實施例的媒體發(fā)送和接收系統(tǒng)的示圖。參照圖1，各種源10和20通過各種傳輸路徑發(fā)送媒體數據。傳輸路徑包括，但不限于，廣播網絡和通信網絡。通信網絡包括，但不限于，各種網絡(比如，互聯(lián)網、云網絡、本地網絡和內聯(lián)網)。
[0052]接收器100-1、100-2和100-3從連接的源(S卩，廣播源10和通信網絡源20)接收媒體數據并對該媒體數據進行處理。媒體數據可包括各種數據(比如，視頻數據、音頻數據、圖像數據和文本數據)。盡管在圖1中描繪了 TV100-1、移動電話100-2和PC100-3，但是可利用其他各種接收器(比如，機頂盒、筆記本PC、PDA、數字相框、電子書和MP3播放器等)。盡管在圖1中描繪了三個接收器100-1、100-2和100-3，但是接收器的數量沒有限制，可以是一個或多個。
[0053]作為接收器之一的TV100-1經由天線或衛(wèi)星從對應區(qū)域的廣播源10接收流。TV100-1可通過接入通過網絡連接的通信網絡源20來接收流。在這種情況下，從10或20接收的兩個流中的至少一個包括聚合信息。TV100-1使用聚合信息對這兩個流的相關數據進行組合，并且在屏幕上播放并輸出所組合的數據。除了 TV100-1之外，其他接收器100-2和100-3可以以相同的方式組合并處理數據。
[0054]圖2描繪通過廣播網絡發(fā)送的流(在下文中，稱為第一流)和通過通信網絡發(fā)送的流(在下文中，稱為第二流)。參照圖2，通過廣播網絡發(fā)送的第一流11包括視頻數據、音頻數據和附加數據，數據被封包為傳輸流(TS)包并且被作為TS包發(fā)送，每個TS包包括TS頭和有效負荷。盡管在圖2中一個包包括188個字節(jié)，但是包的大小可以根據通信中所遵循的廣播通信標準而不同。
[0055]在圖2中，第二流21可將視頻數據、音頻數據和附加數據封包為TS，并且以基于IP的TS的格式21a或IP包格式21b傳載它們，基于IP的TS的格式21a是對TS進行IP封包，IP包格式21b通過對基本數據本身(即，視頻數據、音頻數據和附加數據)進行封包而產生。
[0056]盡管在圖2中僅描繪了第一流11和第二流21，但是流的數量可超過兩個。
[0057]圖3描繪在圖1的媒體發(fā)送和接收系統(tǒng)中使用聚合信息的數據組裝。參照圖3，第一流11包括視頻、音頻1、數據I和文本，第二流21包括音頻2、數據2和應用(app)。
[0058]聚合信息30包括用于指定第一流11和第二流21中的數據的信息。接收第一流11和第二流21的接收器100-1、100-2和100-3對由聚合信息30指定的視頻、音頻1、音頻
2、數據1、數據2、應用和文本進行組裝和處理。
[0059]盡管在圖3中描繪了視頻、音頻、數據、應用和文本，但是圖像矢量圖形、定時文本、語音、場景描述符、web內容和元數據可包含在流中，并且可根據聚合信息被組裝。
[0060]圖4是顯示根據本總的發(fā)明構思的實施例的接收器的基本組件的框圖。圖4的接收器100的結構不僅可對應于圖1和圖3的系統(tǒng)的接收器100-1、100-2和100-3，而且還可對應于其他接收器。
[0061]參照圖4，接收器100包括第一接收單元110、第二接收單元120、數據處理單元130和輸出單元140。
[0062]第一接收單元110通過廣播網絡接收第一流。第一接收單元110可包括天線、調諧器、解調器、均衡器等。天線、調諧器、解調器和均衡器的結構和操作在相關領域中至少作為廣播標準的一部分是已知的，在本文中不對它們進行詳細討論。
[0063]第二接收單元120通過經過通信網絡接入外部源來接收第二流。第二接收單元120可包括網絡接口卡。
[0064]數據處理單元130接收第一流和第二流并檢測第一流和第二流中的至少一個中的聚合信息，并且根據該聚合信息對第一流中的數據和第二流中的數據進行組裝和處理。數據處理單元130可作為處理的一部分執(zhí)行比如解碼、縮放和渲染的操作。這樣的操作在相關領域中是公知的，它們的詳細解釋不包括在本文中。
[0065]輸出單元140輸出由數據處理單元130處理的數據。輸出單元140可包括顯示單元(未顯示)和揚聲器(未顯示)。數據處理單元130通過渲染所組裝的數據的視頻數據和文本來產生屏幕，然后使用顯示單元顯示所產生的屏幕。使用揚聲器輸出由數據處理單元130處理的音頻數據。因此，即使當通過單獨的路徑接收視頻數據、音頻數據、普通數據和其他數據時，也組合它們來提供一種多媒體服務。
[0066]聚合信息可被以各種方式記錄到流。在下文中，描述聚合信息發(fā)送的各種實施例。
[0067]在第一實施例中，聚合信息可被記錄到流的程序映射表中的基本流循環(huán)，并且被提供給接收器100。
[0068]圖5描繪使用基本流循環(huán)提供聚合信息的方法。參照圖5，通過信道I發(fā)送的第一流11包括程序關聯(lián)表(PAT)、程序映射表(PMT)、視頻數據V和音頻數據A。
[0069]PAT列出了一個TS中提供的一個或多個程序的程序編號和PMT包標識符(PID)。PMT提供一個程序中的PID和媒體組件的信息。當一個TS包含多個程序時，可包括多個PMT。每個PMT的信息被存儲到PAT。
[0070]在圖5中，第一流11中的PMT包括記錄基本流信息的基本流循環(huán)。在本實施例中，額外地定義基本流循環(huán)以提供聚合信息。與現存的基本流循環(huán)不同，聚合信息可指定TS中不提供的媒體數據。也就是說，如圖5所示，PMT包括基本流循環(huán)1、基本流循環(huán)2和基本流循環(huán)3，基本流循環(huán)I包括第一流上的視頻數據V的信息，基本流循環(huán)2包括第二流的音頻數據A的信息，基本流循環(huán)3包括第二流的數據D的聚合信息30。
[0071]基本流循環(huán)I可包含視頻流類型(VIDEO stream_type)信息、PID信息(VIDEOPID)和VIDEO DESCRIPTOR信息?；玖餮h(huán)2可包含音頻基本流A的音頻流類型信息(AUDIO stream_type)、PID 信息(AUDIO PID)和 AUDIO DESCRIPTOR 信息?；玖餮h(huán) 3 中的聚合信息30可包括下列項中的至少一個:其他流中提供的數據類型、數據傳輸類型、數據分隔符、PID、URL和清單信息。
[0072]數據類型指示聚合在其他流中的數據的類型，可包括視頻、圖像矢量圖形、文本、定時文本、音頻、語音、場景描述符、web內容、應用和元數據。數據傳輸類型指示其他流中的數據的傳輸格式，可包括TS、基于IP的TS和IP。分隔數據的數據分隔符包括信道頻率、原始網絡ID、網絡ID和TSID。PID可以是指定其他路徑中發(fā)送的流中的數據的基本PID，URL信息或清單信息可以是用于指定對應數據的源的信息。
[0073]同時，用于提供第二流的源的信息可基于第二流發(fā)送的協(xié)議的類型而變化。例如，第二流可以是使用比如RTP或HTTP的協(xié)議發(fā)送的實時流。當使用HTTP時，應當提供元數據。因此，聚合信息可包括用于獲得元數據的源的地址信息。
[0074]元數據提供關于多媒體內容在哪被接收的信息?？筛鶕贖TTP的流的類型不同地區(qū)分元數據文件。也就是說，在平滑的流中，互聯(lián)網信息服務(HS)平滑流媒體(ism)文件用作元數據文件。在互聯(lián)網工程任務組(IETF) HTTP直播流中，m3v8文件用作元數據文件。在3GPP采用的自適應HTTP流Rel.9、OIPF采用的自適應HTTP流Rel.2和MPEG采用的通過HTTP的動態(tài)自適應流中，媒體呈現描述(MPD)可用作元數據文件。元數據文件可包含客戶端預先應當知道的信息，比如，與多個單獨的文件對應的內容時間位置、用于提供對應文件的源的URL、以及大小。
[0075]在圖5中，使用第一流11的PMT中的基本流(ES)循環(huán)3來指定第二流21中的數據D。接收圖5的流的接收器根據PMT的聚合信息對視頻數據V、音頻數據A和數據D進行組裝和處理。
[0076]圖6描繪PMT和ES循環(huán)。參照圖6,程序映射表列出了程序編號、版本號、節(jié)號、指示符和保留區(qū)域、以及ES循環(huán)41至44。
[0077]第一 ES循環(huán)41和第二 ES循環(huán)42是可被現存接收器解釋的信息，第三ES循環(huán)43和第四ES循環(huán)44是可被新接收器解釋的信息。ES循環(huán)的數量根據媒體的數量來確定。媒體的屬性可通過ES循環(huán)的流類型和描述符來提供。[0078]因為在其他路徑中發(fā)送的流在第三ES循環(huán)和第四ES循環(huán)中被定義為新的流類型，所以不能辨識該新的流類型的現存接收器忽略對應的ES循環(huán)。因此，可保持與現存接收器的向后兼容性。
[0079]第三ES循環(huán)43包含聚合信息31，聚合信息31包括指示使用基于IP的TS發(fā)送矢量圖形類型的流的數據及其數據ID。第四ES循環(huán)44包含聚合信息32，聚合信息32包括指示使用基于IP的TS發(fā)送定時文本類型的流的數據及其數據描述符。
[0080]為了構造由程序映射表提供的程序單元，能夠識別新的流類型的新接收器可通過使用第三基本流循環(huán)和第四基本流循環(huán)的信息提取或關聯(lián)其他路徑中發(fā)送的數據來播放該數據。
[0081]圖7是ES循環(huán)的詳細示圖，該ES循環(huán)包括用于指定其他路徑的媒體的聚合信息。參照圖7，在該ES循環(huán)中描述了各種聚合信息，比如，流類型、基本PID、傳輸類型、hybrid,descriptor、鏈接的URL、原始網絡ID、網絡ID和TSID。
[0082]圖8描繪經由通信網絡、使用基于IP的TS發(fā)送的流。參照圖8，通過廣播網絡發(fā)送的流a和b包括PAT、PMT和各種基本流。PMT可包含如前所述的聚合信息。與之相比，通過通信網絡發(fā)送的流c對附加IP頭的TS進行IP封包，并發(fā)送該TS。當在圖8中流a的PMT (其中TSID=XX)將流c的私有(Private) 1-3與視頻1_1和音頻1_2 —起指定時，流a的視頻1-1和音頻1-2、與流c的私有1-3被組裝在一起并一起進行處理。這樣的數據需要相關聯(lián)地播放。例如，創(chuàng)建左眼圖像和右眼圖像或單個場景的視頻數據、音頻數據和字幕數據應當相關聯(lián)地被播放。
[0083]圖9描繪通過通信網絡、使用IP發(fā)送的流。參照圖9，通過廣播網絡發(fā)送的流a和b包括PAT、PMT和各種基本流。與之相比，通過通信網絡發(fā)送的流c包含進行了 IP封包的各種數據，比如，視頻數據、矢量圖形、定時文本和應用。IP頭被附加到每個包，并且數據被記錄在IP有效負荷中。在圖9中，根據記錄在流a和b的PMT中的聚合信息，IP包的數據與流a和b的基本流數據也可被組裝和處理。
[0084]圖10是顯示當PMT傳載聚合信息時的數據處理單元的框圖。參照圖10，數據處理單元130包括第一 DEMUX131、關聯(lián)控制器132、第二 DEMUX133和第三DEMUX134、第一解碼器135、第二解碼器136和第三解碼器137、以及渲染器138。
[0085]在圖10中，通過通信網絡發(fā)送的傳輸流從屬于通過廣播網絡接收的傳輸流。例如，當一個多媒體數據的大小太大并且難以通過廣播網絡接收全部數據時,可對該數據進行劃分，并且可通過通信網絡發(fā)送一些數據。在這種情況下，可預先通過廣播網絡用聚合信息傳載用于提供通過通信網絡發(fā)送的數據的源的信息。因此，在圖10中，首先使用第一DEMUX131對通過廣播網絡接收的流進行解復用，并使用所檢測的聚合信息來接收其他流。
[0086]在圖10中，流#111是通過廣播網絡接收的流，流#221和#331是通過通信網絡接收的流。也就是說，圖4的第二接收單元120可通過通信網絡接收兩個或更多個流。在本文中，為了易于理解，通過廣播網絡接收的流被稱為第一流，通過通信網絡接收的流被稱為第二流。在圖10中，流#2和#3對應于第二流。
[0087]第一 DEMUX131通過對第一流11進行解復用來檢測數據和聚合信息?？墒褂靡曨l、音頻、普通數據、附加數據和字幕數據來不同地實現該數據，并且第一 DEMUX131根據PID對該數據進行解復用。[0088]第一 DEMUX131從第一流11的PMT檢測聚合信息，并將所檢測的聚合信息提供給關聯(lián)控制器132。
[0089]關聯(lián)控制器132根據聚合信息控制第二接收單元120接收第二流。也就是說，關聯(lián)控制器132通過使用聚合信息的URL信息或清單信息接入第二流的源來控制第二接收單元120接收第二流。
[0090]第二接收單元120在關聯(lián)控制器130的控制下接收流#221和#331。第二 DEMUX133從在第二接收單元120接收的流#221檢測數據。第三DEMUX134從流#331檢測數據。
[0091 ] 第一解碼器135、第二解碼器136和第三解碼器137對從流#111、流#221和流#331解復用的數據進行解碼。也就是說，第一解碼器135、第二解碼器136和第三解碼器137接收第一 DEMUX131、第二 DEMUX133和第三DEMUX134檢測的數據，并對該數據進行解碼。盡管在圖10中一個解碼器與一個流匹配，但是根據數據類型(比如，視頻數據、音頻數據和普通數據)配備單獨的解碼器。
[0092]渲染器138對由第一解碼器135、第二解碼器136和第三解碼器137解碼的數據之中的、由聚合信息指定的數據進行組裝和渲染。渲染器138的操作可由關聯(lián)控制器132控制。也就是說，關聯(lián)控制器132可確認聚合信息，并通過根據確認結果控制渲染器138來組裝數據。
[0093]渲染器138將所處理的數據提供給輸出單元140以輸出該數據。盡管通過圖10的顯示單元輸出屏幕，但是當所組裝的數據包括音頻數據時，可通過揚聲器輸出聲音信號。
[0094]盡管在圖10中接收三個流并根據聚合信息組裝傳輸流的數據，但是傳輸流的數量不限于三個。也就是說，可僅接收和組裝兩個流。在這種情況下，配備兩個DEMUX和兩個解碼器。
[0095]到目前為止，盡管聚合信息僅包含在第一流的程序映射表中，但是聚合信息可以既包含在第一流的程序映射表中、又包含在第二流的程序映射表中，或者可以僅包含在第二流的程序映射表中。
[0096]盡管聚合信息記錄在流的程序映射表的基本流循環(huán)中，但是可以以其他不同的方式提供聚合信息。
[0097]也就是說，例如，可在流中準備記錄聚合信息的新區(qū)域。
[0098]圖11描繪使用多媒體關聯(lián)表的聚合信息發(fā)送。多媒體關聯(lián)表(MAT)是被定義為組裝在單獨的路徑中發(fā)送的數據的新表。MT是PAT的上層，可包括現存的PAT和PMT功能。
[0099]參照圖11，MAT50包括記錄要組裝的數據的信息的ES循環(huán)51、52和53。ES循環(huán)353包括指定第二流21的數據D的聚合信息。
[0100]圖12描繪MAT50。參照圖12，包括指示符、版本號和節(jié)號的ES循環(huán)被記錄在MAT50中?，F存接收器繞開MAT50，新接收器可識別MAT50，并產生新的程序單元。
[0101]圖13描繪包括MAT50的流和其他流。參照圖13，MAT50被記錄在通過廣播網絡和通信網絡接收的流a、b和c中的第一流a中。通過通信網絡接收的流c包括基于IP的TS的類型的包。
[0102]圖14描繪使用圖13的流的MAT50的對視頻數據1_1、1_2和1_3、音頻數據1_2和1-3以及私有1-1、1-2和1-3的組裝。
[0103]圖15描繪包括MAT50的流和其他流。在圖15中，通過通信網絡接收的流c包括IP類型的包。
[0104]圖16描繪使用圖15的流的MAT50的對視頻數據、視頻數據1_1和1_2、音頻數據1-2和1-3、應用、定時文本和私有1-3的組裝。
[0105]如圖13至16所示，可使用MAT50對單獨的路徑的流的數據進行組裝。盡管在圖13和15中僅一個流包括MAT50，但是MAT50可包含在所有的流a、b和c中，或者可僅包含在其他流b和c中。
[0106]圖17是顯示當使用MAT50發(fā)送聚合信息時的數據處理單元130的框圖。
[0107]參照圖17，接收器100還可包括存儲單元150。存儲單元150存儲在接收單元110和120接收的流#111、#221和#331。在圖17中，與圖10不同，可預先接收并存儲這些流。也就是說，在數據處理單元130中，這些流的數據是相關的，但是不是從屬的。例如，當廣播棒球比賽時，流#1可發(fā)送在投手的視野內捕捉的視頻數據和音頻數據，流#2和#3可發(fā)送在接球手或一壘手的視野內捕捉的視頻數據和音頻數據。在這種情況下，接收器100可使用聚合信息組裝數據，然后在不同的屏幕部分中顯示所組裝的數據，以使得用戶可從各種視角觀看內容，或者根據用戶的選擇僅播放特定數據。這樣，當對相關的、但不獨立的數據進行處理時，可如圖17所示那樣構造數據處理單元130。
[0108]參照圖17，第一 DEMUX131、第二 DEMUX132 和第三 DEMUX133 接收流 #111、#221 和#331，并對這些流進行解復用。當每個流包括MAT時，第一 DEMUX131、第二 DEMUX132和第三DEMUX133將MAT的聚合信息與數據一起檢測。為了易于理解，第一DEMUX131、第二DEMUX132和第三DEMUX133檢測的聚合信息被稱為第一聚合信息、第二聚合信息和第三聚合信息。
[0109]所檢測的第一聚合信息、第二聚合信息和第三聚合信息被提供給關聯(lián)控制器132。關聯(lián)控制器132使用第一聚合信息、第二聚合信息和第三聚合信息來在流#111、#221和#331內確定要組裝的數據，并組裝所確定的數據。
[0110]關聯(lián)控制器132將所組裝的數據提供給第一解碼器135、第二解碼器136和第三解碼器137以對該數據進行解碼。
[0111]在不同實現中，關聯(lián)控制器132的操作和解碼器的結構可變化。
[0112]例如，當關聯(lián)控制器132直接組裝數據時，關聯(lián)控制器132可根據聚合信息組裝數據，基于數據類型對數據進行分類，并將數據發(fā)送到對應的解碼器。在這種情況下，可基于數據類型(比如，視頻解碼器和音頻解碼器)來配備第一解碼器135、第二解碼器136和第三解碼器137。例如，當第一解碼器135、第二解碼器136和第三解碼器137是視頻解碼器、音頻解碼器和數據解碼器時，可將所組裝的數據的視頻數據送給第一解碼器135，可將音頻數據送給第二解碼器136，可將數據送給第三解碼器137。
[0113]例如，當關聯(lián)控制器132通過控制渲染器138來組裝數據時，解碼器135、136和137均可包括視頻解碼器、音頻解碼器和數據解碼器中的所有這些解碼器。在這種情況下，關聯(lián)控制器132通過將第一解碼器135、第二解碼器136和第三解碼器137映射到流#111、流#221和第三流#331來控制對數據進行解碼。在解碼器對數據進行解碼之后，關聯(lián)控制器132可控制渲染器138組裝并渲染該數據。
[0114]渲染器138渲染的數據由輸出單元140通過顯示單元和揚聲器中的至少一個輸出。
[0115]MAT中的聚合信息可包括如以上所提及的數據類型、數據傳輸類型、數據分隔符、PID、URL和清單信息中的至少一個，已經對這些信息進行了描述，不應對它們進行進一步解釋。
[0116]圖18是顯示根據本總的發(fā)明構思的實施例的流處理方法的流程圖。參照圖18，接收器通過廣播網絡接收第一流(S1810)。接收器從所接收的第一流檢測數據和聚合信息(S1820)。如關于早前描述的各種實施例所描述的，聚合信息可單獨地被記錄在PMT的ES循環(huán)中或者MAT中。早前詳細解釋了聚合信息的放置、內容和格式，不應對它們進行進一步描述。
[0117]接收器通過根據所檢測的聚合信息接入第二流的源來通過通信網絡接收第二流(S1830)。接著，接收器檢測所接收的第二流中的、聚合信息指定的數據，并對所檢測的數據進行解碼(S1840)?？墒褂肞ID來檢查數據指定。也就是說，接收器檢測具有聚合信息中的PID的包，并對該包進行解碼。未被指定的其他數據可被丟棄或者被存儲到單獨的存儲器。
[0118]當所有的指定數據都被接收和解碼時，接收器組裝所解碼的數據(S1850)，并輸出所組裝的數據(S1860)。當僅視頻數據被組裝時，接收器在屏幕上顯示視頻數據。當僅音頻數據被組裝時，接收器通過揚聲器輸出聲音信號。當視頻數據和音頻數據被組裝時，接收器可使數據的輸出點同步，并通過顯示單元和揚聲器輸出數據。
[0119]圖19是顯示根據本總的發(fā)明構思的另一實施例的接收器的流處理方法的流程圖。參照圖19，接收器接收第一流和第二流(S1910)。當從第一流和第二流中的至少一個檢測到聚合信息時，接收器使用所檢測的聚合信息來組裝數據(S1920)。接著，接收器輸出所組裝的數據(S1930)。如前所述，可使用PMT或MAT來發(fā)送聚合信息。
[0120]圖20是顯示圖19的流處理方法中的數據處理步驟的詳細流程圖。參照圖20，接收器存儲所接收的第一流和第二流(S2010)。
[0121]接收器對所存儲的流進行解復用(S2020)，檢測聚合信息，并使用聚合信息來確定要組裝的數據(S2030 )。接收器組裝所確定的數據(S2040 )，并對該數據進行解碼(S2050 )。因此，接收器通過將足夠的信號處理(比如，渲染(S2060))應用于所解碼的數據來產生輸出格式的輸出數據。接著，接收器將輸出數據提供給顯示單元和揚聲器中的至少一個以輸出該數據。因為已經在圖17和相關描述中詳細描述了接收器的操作，所以此處不提供它們的進一步解釋。
[0122]圖21是顯示根據本總的發(fā)明構思的實施例的發(fā)送器的框圖。參照圖21，發(fā)送器300包括ES產生單元310、信息產生單元320、TS產生單元330和發(fā)送單元340。圖21的發(fā)送器330可使用廣播站的廣播發(fā)送器或web服務器來實現。
[0123]ES產生單元310產生包括數據的基本流。將被包括到基本流的數據可包括，但不限于，視頻、圖像矢量圖形、文本、定時文本、音頻、語音、場景描述符、web內容、應用和元數據。ES產生單元310可通過從各種外部源(比如，內容提供者)接收數據來產生基本流。
[0124]信息產生單元320產生基本流的信息。
[0125]根據一個實施例，信息產生單元320產生與基本流對應的PMT信息。信息產生單元320產生與要與基本流的數據組裝的其他數據相關的聚合信息，并將所產生的聚合信息記錄在PMT中所包括的基本流循環(huán)中。信息產生單元320還產生包括PMT信息的PAT。如早前所提及的，聚合信息可包括其他數據的類型、傳輸類型、數據分隔符、PID、URL和清單信息中的至少一個。可從對應程序提供聚合信息，或者直接從內容提供者提供聚合信息。[0126]TS產生單元330產生包括基本流、PMT信息和PAT信息的傳輸流。
[0127]根據另一實施例，信息產生單元320產生基本流的PMT信息和PAT信息，然后產生MAT,該MT包括與基本流中的數據相關的其他數據的聚合信息。早前已經詳細描述了 MT的構造和放置，這里不重復MAT的構造和放置。
[0128]TS產生單元330產生包括基本流、MAT、PAT和PMT的傳輸流。
[0129]同時，根據早前描述的實施例，TS產生單元330包括用于對所產生的數據進行復用、RS編碼和交織的MUX、RS編碼器和交織器。
[0130]發(fā)送單元340根據預設的通信標準對TS產生單元330產生的傳輸流進行處理，并發(fā)送該傳輸流。例如，根據ATSC標準，發(fā)送單元340可通過將隨機化、RS編碼、交織、網格編碼、字段同步和節(jié)段同步復用、導頻插入、8VSB調制和RF上變頻應用于傳輸流來發(fā)送傳輸流。這些處理已在標準文檔和相關技術文檔中進行了詳細描述，因此，應當省略。與之相t匕，當發(fā)送器通過通信網絡發(fā)送傳輸流時，發(fā)送單元340可對TS產生單元330產生的傳輸流進行IP封包，并發(fā)送該傳輸流。
[0131]圖22是顯示根據本發(fā)明的總發(fā)明構思的實施例的發(fā)送器的流發(fā)送方法的流程圖。參照圖22，發(fā)送器產生基本流(S2210)，并產生包括與基本流中的數據相關的信息的PMT(S2220)。將聚合信息記錄在PMT中(S2230)。為了更易于理解，盡管在圖22中所示的流程圖中在產生PMT之后記錄聚合信息，但是可以在產生PMT時記錄聚合信息。當產生了PMT時，發(fā)送器產生包括該信息的PAT，產生包括基本流、PMT和PAT的傳輸流(S2240)，然后發(fā)送該傳輸流(S2250)。
[0132]圖23是顯示根據本發(fā)明的總發(fā)明構思的另一實施例的發(fā)送器的流發(fā)送方法的流程圖。
[0133]參照圖23，發(fā)送器產生基本流(S2310 )，并產生PMT和PAT( S2320 )。接著，發(fā)送器產生包括聚合信息的MAT (S2330)。發(fā)送器產生包括所有的信息和基本流的傳輸流(S2340)。根據通信標準對所產生的傳輸流進行處理，并發(fā)送該傳輸流(S2350)。
[0134]如以上所闡述的，在單獨的路徑中發(fā)送構成一個程序單元的多個媒體數據，并將聚合信息一起提供，以使得接收器可適當地對數據進行組裝和處理。
[0135]因此，如以上使用總發(fā)明構思所闡述的，不僅可對需要彼此相關聯(lián)地播放的數據(比如，左眼圖像和右眼圖像、視頻數據和音頻數據)進行組裝和處理，而且還可對相關的、但可獨立地播放的數據進行組裝和處理。
[0136]用于執(zhí)行根據本總的發(fā)明構思的各種實施例的方法的程序可被存儲在各種記錄介質中，并且用于合適的裝置中。
[0137]具體地講，用于執(zhí)行這些方法的代碼可被存儲到各種計算機可讀記錄介質，比如，隨機存取存儲器(RAM)、閃存、只讀存儲器(ROM)、可擦除可編程ROM (EPROM)、電可擦除和可編程ROM (EEPR0M)、寄存器、硬盤、可移動盤、存儲卡、USB存儲器和CD-ROM。
[0138]盡管已經顯示并描述了本總的發(fā)明構思的若干實施例，但是本領域技術人員將意識到，在不脫離本發(fā)明的原理和精神的情況下，可在這些實施例中進行改變，本發(fā)明的范圍在權利要求及其等同物中限定。
【權利要求】
1.一種接收器，包括: 第一接收單元，通過廣播網絡接收第一流； 第二接收單元，通過通信網絡接收第二流； 數據處理單元，從第一流和第二流中的至少一個檢測聚合信息，并根據聚合信息對來自第一流的數據和來自第二流的數據進行組裝和處理； 輸出單元，輸出由數據處理單元處理的數據。
2.根據權利要求1所述的接收器，其中，聚合信息包括在基本流循環(huán)中，基本流循環(huán)包括在程序映射表中，程序映射表包括在第一流和第二流中的至少一個中。
3.根據權利要求1所述的接收器，其中，聚合信息包括在多媒體關聯(lián)表中，多媒體關聯(lián)表設置在第一流和第二流中的至少一個的程序關聯(lián)表(PAT)上方。
4.根據權利要求1所述的接收器，其中，數據處理單元包括: 第一解復用器，通過對第一流進行解復用來檢測數據和聚合信息； 關聯(lián)控制器，根據聚合信息控制第二接收單元接收第二流； 第二解復用器，從第二接收單元接收的第二流檢測數據； 第一解碼器，對第一解復用器檢測的數據進行解碼； 第二解碼器，對第二解復用器檢測的數據進行解碼； 渲染器，組裝并渲染由聚合信息`指定的數據。
5.根據權利要求1所述的接收器，其中，數據處理單元包括: 存儲單元,存儲第一流和第二流； 第一解復用器，通過對第一流進行解復用來檢測數據和第一聚合信息； 第二解復用器，通過對第二流進行解復用來檢測數據和第二聚合信息； 關聯(lián)控制器，使用第一聚合信息和第二聚合信息來在第一流和第二流中確定要組裝的數據，并組裝所確定的數據； 解碼器，對由關聯(lián)控制器組裝的數據進行解碼； 渲染器，渲染所解碼的數據。
6.根據權利要求1所述的接收器，其中，聚合信息包括下列項中的至少一個:其他流中提供的數據類型、數據傳輸類型、數據分隔符、PID、URL和清單信息。
7.—種流處理方法,包括: 通過廣播網絡接收第一流； 檢測第一流中的數據和聚合信息； 根據聚合信息通過通信網絡接收第二流； 對來自第一流和第二流的數據進行解碼； 根據聚合信息組裝所解碼的數據； 處理并輸出所組裝的數據。
8.根據權利要求7所述的流處理方法，其中，聚合信息包括在第一流中所包括的程序映射表的基本流循環(huán)中。
9.一種流處理方法,包括: 通過廣播網絡接收第一流； 通過通信網絡接收第二流；從第一流和第二流中的至少一個檢測聚合信息，并根據所檢測的聚合信息對來自第一流的數據和來自第二流的數據進行組裝和處理； 輸出所處理的數據。
10.根據權利要求9所述的流處理方法，其中，聚合信息被記錄在程序映射表中所包括的基本流循環(huán)中，程序映射表包括在第一流和第二流中的至少一個中。
11.根據權利要求9所述的流處理方法，其中，聚合信息被記錄在多媒體關聯(lián)表中，多媒體關聯(lián)表設置在程序關聯(lián)表上方，程序關聯(lián)表包括在第一流和第二流中的至少一個中。
12.根據權利要求9所述的流處理方法，其中，處理操作包括: 存儲第一流和第二流； 通過對第一流進行解復用來檢測數據和第一聚合信息； 通過對第二流進行解復用來檢測數據和第二聚合信息； 使用第一聚合信息和第二聚合信息來在第一流和第二流中確定要組裝的數據，并組裝所確定的數據； 對所組裝的數據進行解碼； 渲染所解碼的數據；和 輸出所渲染的數據。
13.根據權利要求9所述的流處理方法，其中，聚合信息包括下列項中的至少一個:其他流中提供的數據類型、數據傳輸類型、數據分隔符、PID、URL和清單信息。
14.一種流發(fā)送方法，包括: 產生包括數據的基本流； 廣生用于基本流的程序映射表； 產生與將與所述數據組裝的其他數據相關的聚合信息，并將所產生的聚合信息記錄在程序映射表中所包括的基本流循環(huán)中； 產生并發(fā)送包括基本流和程序映射表的傳輸流， 其中，聚合信息包括下列項中的至少一個:所述其他數據的類型、傳輸類型、數據分隔符、PID、URL和清單信息。
15.—種流發(fā)送方法,包括: 產生包括數據的基本流； 產生將包括在基本流中的程序映射表信息和程序關聯(lián)表信息； 產生多媒體關聯(lián)表，多媒體關聯(lián)表包括關于與所述數據相關的其他數據的聚合信息； 產生并發(fā)送包括基本流、多媒體關聯(lián)表、程序關聯(lián)表和程序映射表的傳輸流， 其中，聚合信息包括下列項中的至少一個:所述其他數據的類型、傳輸類型、數據分隔符、PID、URL和清單信息。
【文檔編號】H04N21/434GK103503465SQ201280019812
【公開日】2014年1月8日 申請日期:2012年4月20日 優(yōu)先權日:2011年4月22日
【發(fā)明者】張庸碩, 樸洪奭, 李栽準, 金喜琎, 李大鐘, 朱有晟 申請人:三星電子株式會社