在媒體流之間使時間線信息相互關(guān)聯(lián)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于在第一媒體流和第二媒體流之間使時間線信息相互關(guān)聯(lián)的系統(tǒng)和方法。本發(fā)明此外涉及包括該系統(tǒng)的媒體分發(fā)網(wǎng)絡(luò)，涉及如在該系統(tǒng)中使用的內(nèi)容監(jiān)視器、時間線監(jiān)視器或相互關(guān)聯(lián)子系統(tǒng)，并且涉及包括用于使得處理器系統(tǒng)執(zhí)行該方法的指令的計算機程序產(chǎn)品。本發(fā)明此外涉及同步客戶端。
【背景技術(shù)】
[0002]諸如視頻內(nèi)容和音頻內(nèi)容的媒體內(nèi)容通常以數(shù)字形式遞送給用戶。如果媒體內(nèi)容具有時間方面，并且特別地與指示將如何隨時間播出媒體內(nèi)容的時間線相關(guān)聯(lián)，則這樣的數(shù)字形式通常被稱為媒體流。媒體流可以經(jīng)由媒體分發(fā)網(wǎng)絡(luò)被遞送給用戶的接收器。特別地，媒體流可以被流式傳輸?shù)浇邮掌鳎@允許接收器在接收到整個媒體流之前開始媒體流的播出。然而，媒體流也可以以非流式傳輸?shù)姆绞奖贿f送到用戶的接收器，例如通過以文件的形式被遞送到接收器。
[0003 ]媒體流的示例包括諸如相機記錄的或計算機再現(xiàn)的流之類的視頻流、諸如麥克風(fēng)記錄的流之類的音頻流、諸如字幕流或社交媒體流之類的定時文本流、在接收器處示出廣告圖像或執(zhí)行動作的定時事件流、以及包括不同類型的媒體流的多媒體流。
[0004]不同的媒體流可以與公共播出時間線相關(guān)聯(lián)，因為在媒體流之間可能存在時間關(guān)系。特別地，媒體流可以打算以同步的方式被播出。如果媒體流涉及相同事件的不同記錄，例如，其中第一媒體流是視頻流并且第二媒體流是音頻流，或者第一媒體流是表示從第一相機角度的事件的記錄的視頻流并且第二媒體流也是視頻流但是表示從不同相機角度的記錄，則情況可能是這樣。
[0005]因此，可能存在對于使得能夠以同步的方式播出不同媒體流的需要。此外，可能存在對于使得能夠例如跨不同接收器、以同步的方式播出相同的、類似的或不同的媒體流的需要。以下是其中可以采用這樣的媒體同步的已知示例:
?社交TV，其中期望跨多個TV或多個用戶的其它設(shè)備的相同或類似的媒體流的同步。相同或類似的媒體流可以包括相同流的技術(shù)變型，但是它們還可以包括對于相同事件、然而構(gòu)成不同內(nèi)容的流，諸如對相同事件、從不同相機角度的記錄。
[0006].混合TV，其中期望潛在地經(jīng)由多個路由到達(dá)單個TV的多個媒體流的同步。這樣的多個路由可以包括，例如，數(shù)字視頻廣播(DVB )、因特網(wǎng)協(xié)議(IP )多播和IP單播。
[0007].伴隨屏幕，其中期望在TV和伴隨屏幕(例如平板設(shè)備)之間同步相同或不同的媒體流。注意到，術(shù)語“伴隨屏幕”也已知為第二屏幕。
[0008]注意到，上述示例主要是指電視，但是對于其它類型的設(shè)備或接收器存在類似的示例。此外，在上述示例中，媒體流中的一些或全部可以是實時或準(zhǔn)實時的媒體流。附加地或替代地，媒體流中的一些或全部可以例如由媒體分發(fā)網(wǎng)絡(luò)來高速緩存，或者例如由個人視頻記錄器(PVR)來記錄，或者構(gòu)成這樣稱呼的重放(catch-up)TV或用戶特技模式(trick-mode)媒體流。
[0009]廣播方可以采用媒體同步來提供同步的服務(wù)，其中用戶可以以各種廣播方提供的組合、經(jīng)由多個路由和/或在多個設(shè)備上組合媒體流。這樣的同步可以發(fā)生在所有媒體流聚集的廣播方的演播室系統(tǒng)中。而且，增值服務(wù)提供商可以采用媒體同步以提供增值同步服務(wù)。增值媒體流的示例包括提供對另一媒體流(例如廣播的視頻流)的評論、加字幕、音頻描述或手語解釋的媒體流。
[0010]與媒體同步相關(guān)聯(lián)的問題可能是，盡管不同的媒體流可以在廣播方或第三方處被同步，但是它們可能在被分發(fā)到終端用戶時失去其同步性。例如，媒體流可以經(jīng)由不同的路由被遞送。這些路由由于距離(傳輸速度)、復(fù)用和路由(緩沖)、經(jīng)高速緩存和記錄的遞送、信號處理(例如混合、轉(zhuǎn)碼)等方面的差異而具有不同的延遲。類似地，在增值服務(wù)提供商的情況下，可以從服務(wù)提供商遞送增值媒體流，而可以從廣播方、即經(jīng)由不同的路由來遞送原始廣播流。
[0011]F.B ο r ο n a t 等人的文章 “Mu 11 i me d i a group and inter-streamsynchronizat1n techniques: A comparative study”(Elsevier Informat1nSystems, 34，2009, pp.108-131)提供了已知的目的地間同步技術(shù)(即不同最終終端之間的同步)的全面概述。
[0012]大多數(shù)引用的目的地間同步技術(shù)利用被包括在媒體流中的時間線信息。這里，術(shù)語“時間線信息”是指使得接收器能夠根據(jù)播出時間線來播出媒體流的媒體樣本的元數(shù)據(jù)。例如，如果經(jīng)由實時傳輸協(xié)議(RTP)來遞送媒體流，即構(gòu)成RTP媒體流，則可以使用諸如RTP時間戳的時間線信息。時間線信息的其它示例包括這樣稱呼的節(jié)目時鐘參考(PCR)、呈現(xiàn)時間戳(PTS)和解碼時間戳(DTS)。通過跨不同的接收器比較這樣的時間線信息，可以計算適當(dāng)?shù)牧髡{(diào)整。為了使得能夠跨接收器實現(xiàn)這樣的比較，可以在接收器上使用同步的掛鐘(wal Ι-clock)，或者替代地，具有很少和/或已知延遲的高質(zhì)量信令連接。例如，可以通過在接收器處緩沖媒體流來實現(xiàn)媒體流的播出時間的延遲。
[0013]已經(jīng)認(rèn)識到，媒體流可能在媒體分發(fā)網(wǎng)絡(luò)中丟失其原始時間線信息。這樣的媒體分發(fā)網(wǎng)絡(luò)通常由有線運營商、電信運營商和因特網(wǎng)服務(wù)提供商(其通常與廣播方或增值服務(wù)提供商不同)所擁有。在這樣的媒體分發(fā)網(wǎng)絡(luò)中，媒體流可以在頭端中被修改，以便使得媒體流適合于通過網(wǎng)絡(luò)分發(fā)。這些網(wǎng)絡(luò)可以是例如基于DVB的(DVB-T、DVB-C、DVB-H)、基于IP的(RTP/RTCP、IP多播、IP單播)。不同的編解碼器(MPEG 2、H.264、HEVC)、傳輸技術(shù)(廣播、流式傳輸、漸進式下載、自適應(yīng)流式傳輸)等可以使用在媒體流的最終遞送中。在這些過程中的一個或多個期間，媒體流可能被剝?nèi)テ湓荚獢?shù)據(jù)。結(jié)果，原始時間線信息可能沒有被包括在修改的媒體流中。替代地，可能包括新的元數(shù)據(jù)，其可以包括新的時間線信息。
[0014]對媒體流的這樣的修改的示例包括:
?(再)復(fù)用。用于MPEG TS(傳輸流)的大多數(shù)復(fù)用器在進行復(fù)用時生成新的PCR/PTS/DTS值。然而，通常僅改變PCR/PTS/DTS的絕對值，而其跨媒體流的關(guān)系被維持。因而，音頻-視頻聲像同步(lip sync)可以被保持。
[0015]?轉(zhuǎn)碼和重編碼。這里，在傳入和傳出的媒體樣本之間的所有關(guān)系可能丟失。例如，在視頻流的情況下，視頻流的幀可以變成不同的類型，例如從I幀到B幀。此外，如果幀率在轉(zhuǎn)碼和重編碼期間改變，則在傳入和傳出的幀之間的一對一關(guān)系可能丟失。另外，媒體流的整個容器可能改變，例如從這樣稱呼的TS到ISOBFF，由此也改變時間線信息的類型。
[0016]?技術(shù)或商業(yè)原因。媒體分發(fā)網(wǎng)絡(luò)可能拒絕傳遞時間線信息。例如，DVB同步輔助數(shù)據(jù)分組標(biāo)識符(SAD-PID)可能默認(rèn)地從傳輸流(TS)中剝?nèi)?。這可能是故意的，例如出于所述商業(yè)原因，或者參數(shù)可能只是不被當(dāng)前網(wǎng)絡(luò)所支持，從而構(gòu)成技術(shù)原因。
[0017]除了媒體流被修改并且從而丟失其原始時間線信息之外，這樣的時間線信息也可能固有地在意圖被同步播放但是已經(jīng)初始地(例如在媒體流發(fā)源處)沒被提供有公共時間線信息的不同媒體流之間不同。同樣，這里可能存在對于媒體同步的需要。
[0018]WO 2010106075 Al描述了一種用于至少第一和第二(媒體)流的目的地間媒體同步的方法和系統(tǒng)，其中第二流是使用第一流作為輸入流的流修改單元的輸出流。該方法包括以下步驟:提供到達(dá)第一同步點的第一流中的分組的第一到達(dá)時間信息以及到達(dá)第二同步點的第二流中的分組的第二到達(dá)時間信息;提供關(guān)于在所述輸入流和所述輸出流之間的同步性關(guān)系的同步相互關(guān)聯(lián)信息；以及，基于第一和第二到達(dá)時間信息以及同步相互關(guān)聯(lián)信息來計算延遲信息。

【發(fā)明內(nèi)容】

[0019]雖然WO2010106075 Al使得能夠在修改的和未修改的媒體流之間或者在兩個不同地修改的流之間實現(xiàn)目的地間媒體同步，但是將會有利的是提供一種進一步在所述媒體同步的至少一個方面上有所改進的系統(tǒng)或方法。
[0020]本發(fā)明的第一方面提供了一種用于使得能夠在第一媒體流和第二媒體流之間使時間線信息相互關(guān)聯(lián)的系統(tǒng)，所述第一媒體流和第二媒體流二者都與公共播出時間線相關(guān)聯(lián)，并且該系統(tǒng)包括:
-至少兩個內(nèi)容監(jiān)視器，其各自被布置用于提供媒體流的一個或多個媒體樣本的持久標(biāo)識，所述持久標(biāo)識是可以使用媒體流來可再現(xiàn)地獲得的數(shù)據(jù)，其中，所述至少兩個內(nèi)容監(jiān)視器包括用于提供第一媒體流的第一持久標(biāo)識的第一內(nèi)容監(jiān)視器以及用于提供第二媒體流的第二持久標(biāo)識的第二內(nèi)容監(jiān)視器;以及-相互關(guān)聯(lián)子系統(tǒng)，其被布置用于:
i)接收在時間上與第二持久標(biāo)識相關(guān)的第一持久標(biāo)識，
ii)接收在時間上與來自第二媒體流的時間線信息的第二時間戳值相關(guān)的來自第一媒體流的時間線信息的第一時間戳值，
iii)將第一持久標(biāo)識與公共播出時間線上的第一播出時間匹配，并且將第二持久標(biāo)識與公共播出時間線上的第二播出時間匹配；以及
iv)基于第一播出時間與第二播出時間的比較來生成相互關(guān)聯(lián)信息，用于使得能夠?qū)⒌谝粫r間戳值與第二時間戳值相互關(guān)聯(lián)，并且從而將第一時間線信息與第二時間線信息相互關(guān)聯(lián)。
[0021]實施例在從屬權(quán)利要求中被限定。
[0022]上述措施提供了一種系統(tǒng)，該系統(tǒng)包括至少兩個內(nèi)容監(jiān)視器。所述兩個內(nèi)容監(jiān)視器中的每一個提供不同媒體流的一個或多個媒體樣本的持久標(biāo)識。這里，術(shù)語“持久標(biāo)識”是指可以使用媒體流可再現(xiàn)地獲得的數(shù)據(jù)。持久標(biāo)識的示例包括指紋、水印以及標(biāo)記，其以持久方式被包括在媒體流中。將領(lǐng)會到，這樣的標(biāo)識可以是持久的，因為它們對著在例如經(jīng)由媒體分發(fā)網(wǎng)絡(luò)的媒體流的分發(fā)期間媒體流可能經(jīng)受的各種處理可以是穩(wěn)健的。這樣的標(biāo)識還可以因為以下而是持久的:它們可以間接地從媒體流、例如從接收器的所捕獲的播出中獲得。因而，第一內(nèi)容監(jiān)視器