專(zhuān)利名稱(chēng)：多媒體流中的同步水印的制作方法
技術(shù)領(lǐng)域：
提供分離的但是相關(guān)的數(shù)據(jù)流的同步。具體地，將同步數(shù)據(jù)分組插入到數(shù)據(jù)分組流中，以允許相關(guān)流在時(shí)間上相互對(duì)準(zhǔn)。
背景技術(shù)：
多媒體數(shù)據(jù)，例如包括音頻和視頻成分，對(duì)于在遙遠(yuǎn)的各方之間傳送娛樂(lè)內(nèi)容和增強(qiáng)通信是有用的。例如，視頻電話系統(tǒng)，作為處于遠(yuǎn)程位置的人員之間召開(kāi)會(huì)議的方式日益流行。由于高速網(wǎng)際協(xié)議網(wǎng)絡(luò)已經(jīng)得到越來(lái)越廣泛的使用，更低成本的視頻會(huì)議設(shè)備變得可用，使得這種設(shè)備更加容易得到。但是，由于分組數(shù)據(jù)網(wǎng)絡(luò)分別地發(fā)送音頻和視頻信息，并由于多種網(wǎng)絡(luò)影響，很容易使音頻流和相關(guān)視頻流變得顯著地相互不同步。在通過(guò)IP網(wǎng)絡(luò)經(jīng)過(guò)長(zhǎng)距離發(fā)送的音頻/視頻信息方面，該問(wèn)題變得特別明顯。
目前，大多數(shù)媒體網(wǎng)關(guān)不提供相關(guān)音頻和視頻流的同步(或“邊緣同步(lipsync)”)。另外，大多數(shù)媒體網(wǎng)關(guān)不使用延時(shí)補(bǔ)償或某種邊緣同步緩沖。通過(guò)實(shí)時(shí)控制協(xié)議(RTCP)，從實(shí)時(shí)協(xié)議(RTP)時(shí)間戳到網(wǎng)絡(luò)時(shí)間協(xié)議(NTP)時(shí)間戳/墻時(shí)鐘的映射是可能的。但是，在補(bǔ)償音頻和視頻流之間的偏移的適當(dāng)時(shí)間上，該信息卻不可用。特別地，RTP首標(biāo)中可用的RTP時(shí)間戳不是墻時(shí)鐘時(shí)間戳，并且用于音頻和視頻的時(shí)間戳沒(méi)有必要從同一計(jì)數(shù)開(kāi)始或遵循一個(gè)特殊方案。例如，對(duì)于取決于抽樣的每一個(gè)分組，音頻時(shí)間戳可增加160，且屬于相同幀的視頻分組可能根本不會(huì)增加時(shí)間戳值。映射RTP時(shí)間戳值到NTP時(shí)間戳是不充分的，因?yàn)镽TCP發(fā)送器報(bào)告不夠頻繁，并且在用于延時(shí)補(bǔ)償?shù)谋匾獣r(shí)間不可用。此外，如果存在多個(gè)同步源，利用RTCP同步是不實(shí)際的。因此，沒(méi)有明確的解決方案來(lái)解決網(wǎng)際協(xié)議(IP)網(wǎng)絡(luò)中的邊緣同步問(wèn)題。
某些可用的產(chǎn)品要求通過(guò)邊緣同步緩沖提供邊緣同步特性。這些可或不可依賴(lài)于RTP/RTCP首標(biāo)中可用的RTP/RTCP時(shí)間戳。在某些情況下，尤其在專(zhuān)業(yè)的廣播視頻解決方案中，可以使用基于語(yǔ)音和模式識(shí)別的邊緣同步。具體地說(shuō)，已經(jīng)提出了檢測(cè)媒體節(jié)目信號(hào)的音頻部分中的音頻事件，并測(cè)量從音頻事件到媒體節(jié)目信號(hào)的視頻部分中后續(xù)視頻同步脈沖的定時(shí)間隔的系統(tǒng)。該定時(shí)間隔被存儲(chǔ)在媒體節(jié)目信號(hào)的第三部分中。在接收端，定時(shí)間隔信息被取回，并用來(lái)將音頻事件與視頻同步脈沖對(duì)準(zhǔn)。然而這種系統(tǒng)實(shí)現(xiàn)起來(lái)相對(duì)復(fù)雜。
活動(dòng)圖像專(zhuān)家組標(biāo)準(zhǔn)4(MPEG4)提供了同步和復(fù)用層。然而，同步和復(fù)用層實(shí)際上在大多數(shù)系統(tǒng)中不能實(shí)現(xiàn)。特別地，支持MPEG4視頻的那些系統(tǒng)通常只實(shí)現(xiàn)該標(biāo)準(zhǔn)的壓縮層部分，而不是同步層或者傳送層。結(jié)果，當(dāng)與音頻RTP流一起使用時(shí)，MPEG4壓縮的視頻RTP流不具有共同的基準(zhǔn)計(jì)數(shù)或時(shí)間戳，除非所有MPEG4層都在共同框架中實(shí)現(xiàn)。在嵌入端點(diǎn)中實(shí)現(xiàn)所有層不是成本有效的，且無(wú)論如何，許多標(biāo)準(zhǔn)需要類(lèi)似于H.261、H.263等等的其它視頻編解碼。因此，將MPEG4標(biāo)準(zhǔn)用于通過(guò)IP網(wǎng)絡(luò)發(fā)出的多媒體呼叫的同步是不切實(shí)際的。

發(fā)明內(nèi)容
本發(fā)明的實(shí)施例旨在解決現(xiàn)有技術(shù)的這些和其它問(wèn)題以及缺點(diǎn)。根據(jù)本發(fā)明的實(shí)施例，同步是通過(guò)將同步分組插入到相關(guān)音頻和視頻數(shù)據(jù)流中來(lái)提供的。同步分組以分組數(shù)據(jù)首標(biāo)信息為表征，該分組數(shù)據(jù)首標(biāo)信息允許每個(gè)同步分組作為其對(duì)應(yīng)的數(shù)據(jù)流的一部分來(lái)發(fā)送。與數(shù)據(jù)分組不同，同步分組的有效負(fù)荷包括同步標(biāo)志以便于檢測(cè)數(shù)據(jù)流內(nèi)的同步分組。任選地，同步分組的有效負(fù)荷還包括定時(shí)和/或標(biāo)識(shí)符信息。
根據(jù)本發(fā)明的實(shí)施例，同步分組在發(fā)送端點(diǎn)或網(wǎng)關(guān)被插入到對(duì)應(yīng)的音頻和視頻數(shù)據(jù)流中，并被用于在接收端點(diǎn)或網(wǎng)關(guān)執(zhí)行相關(guān)音頻和視頻數(shù)據(jù)流的同步。不需要在發(fā)送端點(diǎn)或最接近發(fā)送端點(diǎn)的網(wǎng)關(guān)執(zhí)行將同步分組插入到音頻和視頻數(shù)據(jù)流中。也就是說(shuō)，例如，通過(guò)將同步分組插入到沿通信模式的網(wǎng)關(guān)或其它網(wǎng)絡(luò)節(jié)點(diǎn)，可以獲得改善同步形式的至少一些好處。同樣，同步分組的檢測(cè)以及基于同步分組的檢測(cè)的音頻和視頻流的對(duì)準(zhǔn)不需要在數(shù)據(jù)流傳播所通過(guò)的接收端點(diǎn)或最后網(wǎng)關(guān)執(zhí)行。然而，插入同步分組并在網(wǎng)絡(luò)節(jié)點(diǎn)中基于這些分組執(zhí)行同步一般是有利的，這些網(wǎng)絡(luò)節(jié)點(diǎn)基本上處理包含數(shù)據(jù)流的所有分組，比如在通信端點(diǎn)自身中，非常接近通信端點(diǎn)的網(wǎng)關(guān)中，或例如連接子網(wǎng)到遠(yuǎn)距離網(wǎng)絡(luò)的網(wǎng)關(guān)中。
通過(guò)以下討論，特別是參考附隨的說(shuō)明，將更容易理解本發(fā)明的實(shí)施例的其它特性和優(yōu)點(diǎn)。


圖1是描繪根據(jù)本發(fā)明的實(shí)施例的通信系統(tǒng)的組件的框圖；圖2是描繪根據(jù)本發(fā)明的實(shí)施例的通信端點(diǎn)或網(wǎng)關(guān)的組件的功能框圖；圖3是描繪根據(jù)本發(fā)明的實(shí)施例的系統(tǒng)操作方面的流程圖；圖4是描繪根據(jù)本發(fā)明的實(shí)施例的音頻和視頻數(shù)據(jù)流的同步方面的處理流程圖；以及圖5描繪了根據(jù)本發(fā)明的實(shí)施例的同步分組的內(nèi)容。
具體實(shí)施例方式
參考圖1，圖1舉例說(shuō)明了根據(jù)本發(fā)明的實(shí)施例的通信系統(tǒng)100的組件。一般而言，通信系統(tǒng)100包括多個(gè)音頻/視頻通信端點(diǎn)104。每一個(gè)音頻/視頻通信端點(diǎn)104可以與一個(gè)或多個(gè)用戶(hù)108相關(guān)聯(lián)。音頻/視頻通信端點(diǎn)104通常被設(shè)置成通過(guò)通信網(wǎng)絡(luò)112和/或一個(gè)或多個(gè)網(wǎng)關(guān)或交換機(jī)116相互通信。
一般而言，音頻/視頻通信端點(diǎn)104可包括視頻電話、軟視頻電話，或其它裝置，諸如通用計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、蜂窩電話、電視，或能夠接收作為輸入或提供作為輸出音頻/視頻數(shù)據(jù)的任何其它裝置。如同本領(lǐng)域的技術(shù)人員在考慮在此提供的公開(kāi)內(nèi)容之后所理解的，音頻/視頻通信端點(diǎn)104無(wú)需能夠處理分組數(shù)據(jù)媒體流，假如它與能夠處理IP分組數(shù)據(jù)流并提供適合于音頻/視頻通信端點(diǎn)104的輸出的另一裝置配成對(duì)，比如具有或不具有中間(intermediate)裝置的網(wǎng)關(guān)或交換機(jī)116。
通信網(wǎng)絡(luò)112可包括一個(gè)或多個(gè)各種類(lèi)型的網(wǎng)絡(luò)。例如，通信網(wǎng)絡(luò)112可包括局域網(wǎng)(LAN)，或廣域網(wǎng)(WAN)。更為一般的是，通信網(wǎng)絡(luò)112可包括任何類(lèi)型的網(wǎng)際協(xié)議網(wǎng)絡(luò)或其它分組數(shù)據(jù)網(wǎng)絡(luò)。此外，通信網(wǎng)絡(luò)112的一部分可包括非分組數(shù)據(jù)網(wǎng)絡(luò)，諸如公眾交換電話網(wǎng)(PSTN)。另外，通信網(wǎng)絡(luò)112可用于直接或者通過(guò)互連一子網(wǎng)到另一子網(wǎng)或到網(wǎng)絡(luò)節(jié)點(diǎn)，與多種網(wǎng)絡(luò)節(jié)點(diǎn)互連，比如音頻/視頻通信端點(diǎn)104和網(wǎng)關(guān)/交換機(jī)116。
網(wǎng)關(guān)/交換機(jī)116典型地與通信網(wǎng)絡(luò)112互連，且可定義一個(gè)子網(wǎng)或系統(tǒng)。例如，第一網(wǎng)關(guān)/交換機(jī)116可定義一個(gè)局域網(wǎng)或本地電話網(wǎng)，如專(zhuān)用交換分機(jī)，其包括第一音頻/視頻通信端點(diǎn)104。如圖所示，音頻/視頻通信端點(diǎn)也可直接與通信網(wǎng)絡(luò)112互連。作為另一實(shí)例，第二網(wǎng)關(guān)/交換機(jī)116可為第二音頻/視頻通信端點(diǎn)104和第三音頻/視頻通信端點(diǎn)104提供與通信網(wǎng)絡(luò)112的互連。因此，網(wǎng)關(guān)/交換機(jī)116的實(shí)例包括網(wǎng)際協(xié)議網(wǎng)絡(luò)網(wǎng)關(guān)或路由器、專(zhuān)用交換分機(jī)或其它通信管理服務(wù)器、或網(wǎng)際協(xié)議交換機(jī)。
現(xiàn)在參考圖2，以框圖形式描繪了能夠執(zhí)行相關(guān)數(shù)據(jù)流的同步的可包括作為音頻/視頻通信端點(diǎn)104或網(wǎng)關(guān)/交換機(jī)116的一部分的組件。這些組件可包括能夠執(zhí)行程序指令的處理器204。因此，處理器204可包括用于執(zhí)行應(yīng)用編程的任何通用可編程處理器或控制器?？蛇x地，處理器204可包括專(zhuān)門(mén)配置的專(zhuān)用集成電路(ASIC)或數(shù)字信號(hào)處理器(DSP)。處理器204一般用于運(yùn)行由音頻/視頻通信端點(diǎn)104和/或網(wǎng)關(guān)/交換機(jī)116執(zhí)行的編程代碼實(shí)現(xiàn)的各種功能，包括在此描述的媒體流同步功能。
音頻/視頻通信端點(diǎn)104和/或網(wǎng)關(guān)/交換機(jī)116可另外包括存儲(chǔ)器208，供處理器204在執(zhí)行編程時(shí)一起使用，以及暫時(shí)或長(zhǎng)期存儲(chǔ)數(shù)據(jù)或程序指令。存儲(chǔ)器208包括可駐留、可移除或遠(yuǎn)程特性的固態(tài)存儲(chǔ)器，比如DRAM和SDRAM。在處理器204包括控制器的情況下，存儲(chǔ)器208可集成到處理器204。
另外，可提供多種用戶(hù)輸入裝置212和用戶(hù)輸出裝置216。輸入裝置212的實(shí)例包括鍵盤(pán)、數(shù)字小鍵盤(pán)、麥克風(fēng)，照相機(jī)或攝像機(jī)，以及與屏幕或其它位置編碼器組合的指示裝置。用戶(hù)輸出裝置216的實(shí)例包括視頻顯示器、字母數(shù)字顯示器、振鈴器、打印機(jī)端口、揚(yáng)聲器或指示器燈。
音頻/視頻通信端點(diǎn)104和/或網(wǎng)關(guān)/交換機(jī)116還可包括用于存儲(chǔ)應(yīng)用編程和/或數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)器220。例如，操作系統(tǒng)軟件224可存儲(chǔ)在數(shù)據(jù)存儲(chǔ)器220中?？梢源鎯?chǔ)在數(shù)據(jù)存儲(chǔ)器220中，尤其有關(guān)音頻/視頻通信端點(diǎn)104的應(yīng)用的實(shí)例，是視頻電話或通信應(yīng)用228。如同本領(lǐng)域的技術(shù)人員所理解的，視頻電話應(yīng)用228可包括用于實(shí)現(xiàn)軟視頻電話的指令，例如在音頻/視頻通信端點(diǎn)104包括通用計(jì)算機(jī)的情況下。作為另一個(gè)實(shí)例，視頻電話應(yīng)用228可包括由包含專(zhuān)用視頻電話端點(diǎn)或裝置的音頻/視頻通信端點(diǎn)104執(zhí)行的操作指令?？纱鎯?chǔ)在作為音頻/視頻通信端點(diǎn)104或網(wǎng)關(guān)/交換機(jī)116的一部分而提供的數(shù)據(jù)存儲(chǔ)器220中的其它應(yīng)用的實(shí)例包括同步應(yīng)用232和分組數(shù)據(jù)通信應(yīng)用236。同步應(yīng)用232可包括在此描述的用于插入同步分組到輸出的多媒體數(shù)據(jù)流中，并檢測(cè)同步分組和執(zhí)行有關(guān)輸入的多媒體數(shù)據(jù)流的同步的指令。分組數(shù)據(jù)通信應(yīng)用236可包括用于通過(guò)分組數(shù)據(jù)網(wǎng)絡(luò)，比如網(wǎng)際協(xié)議通信網(wǎng)112，發(fā)送或接收分組數(shù)據(jù)流的指令。例如，分組數(shù)據(jù)通信應(yīng)用236可協(xié)同視頻電話應(yīng)用228和音頻/視頻通信端點(diǎn)104操作，以在音頻/視頻通信端點(diǎn)104的用戶(hù)108和通信網(wǎng)絡(luò)112之間發(fā)送和接收多媒體數(shù)據(jù)流。數(shù)據(jù)存儲(chǔ)器220可包括磁存儲(chǔ)裝置、固態(tài)存儲(chǔ)裝置、光存儲(chǔ)裝置、邏輯電路或任何這些裝置的任何組合。應(yīng)當(dāng)進(jìn)一步理解的是，可以保留在數(shù)據(jù)存儲(chǔ)器220中的程序和數(shù)據(jù)可包括軟件、固件或硬件邏輯，這取決于數(shù)據(jù)存儲(chǔ)器220的特殊實(shí)現(xiàn)方式。
音頻/視頻通信端點(diǎn)104和/或網(wǎng)關(guān)/交換機(jī)116還可包括一個(gè)或多個(gè)通信網(wǎng)絡(luò)接口240。例如，音頻/視頻通信端點(diǎn)104或網(wǎng)關(guān)/交換機(jī)116可包括具有網(wǎng)絡(luò)接口卡(NIC)、調(diào)制解調(diào)器、電話端口、串行或并行數(shù)據(jù)端口或其它有線線路的通信網(wǎng)絡(luò)接口240，或無(wú)線通信網(wǎng)絡(luò)接口。
另外，音頻/視頻通信端點(diǎn)104一般包括一個(gè)或多個(gè)成像照相機(jī)244。照相機(jī)244用于獲得利用音頻/視頻通信端點(diǎn)104參與視頻電話會(huì)話的人的圖像。成像照相機(jī)244可包括數(shù)碼相機(jī)，該數(shù)碼相機(jī)具有光學(xué)元件，如具有可選擇的變焦和/或聚焦能力的鏡頭系統(tǒng)，以及電子元件，如用于將由光學(xué)元件收集的視頻信息轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)的電荷耦合器件(CCD)。因此，成像照相機(jī)244包括特殊類(lèi)型的用戶(hù)輸入212。
示例性的音頻/視頻通信端點(diǎn)104一般還包括視頻輸出或顯示裝置248。視頻輸出248可用于從一個(gè)或多個(gè)遠(yuǎn)程音頻/視頻通信端點(diǎn)104顯示圖像信息。另外，控制和狀態(tài)信息可通過(guò)視頻輸出248呈現(xiàn)。因此視頻輸出248可被認(rèn)為是特殊類(lèi)型的用戶(hù)輸出216。視頻輸出248的實(shí)例包括陰極射線管(CRT)、液晶顯示器(LCD)、等離子顯示器或能夠再現(xiàn)發(fā)送的視頻圖像的其它裝置。
在音頻通信的支持方面，音頻/視頻通信端點(diǎn)104可包括音頻輸入252和音頻輸出256。音頻輸入252可包括用于從音頻/視頻通信端點(diǎn)104的位置接收音頻信息的麥克風(fēng)，該音頻信息包含來(lái)自在該位置的人的語(yǔ)音。因此，音頻輸入252是一種特殊類(lèi)型的用戶(hù)輸入212。音頻輸出256可包括一個(gè)或多個(gè)揚(yáng)聲器或耳機(jī)。因此，音頻輸出256是一種特殊類(lèi)型的用戶(hù)輸出216。
如同本領(lǐng)域的技術(shù)人員能夠從在此提供的說(shuō)明書(shū)中所理解的，被包括作為音頻/視頻通信端點(diǎn)104或網(wǎng)關(guān)/交換機(jī)116的一部分的特殊組件一般將由支持特殊音頻/視頻通信端點(diǎn)104或網(wǎng)關(guān)/交換機(jī)所含特性所必需的那些組件和功能確定。因此，一種特殊的音頻/視頻通信端點(diǎn)104或網(wǎng)關(guān)/交換機(jī)116不需要包括圖2舉例說(shuō)明的每一個(gè)組件和應(yīng)用。此外，包括的組件和應(yīng)用可以實(shí)現(xiàn)為單個(gè)物理裝置的一部分，或者在物理或邏輯分離的組件中分布。
現(xiàn)在參考圖3，示意了用于同步分組數(shù)據(jù)流的處理方面。最初，音頻數(shù)據(jù)流和對(duì)應(yīng)的視頻數(shù)據(jù)流在發(fā)送音頻/視頻通信端點(diǎn)104或諸如網(wǎng)關(guān)/交換機(jī)116的其它網(wǎng)絡(luò)節(jié)點(diǎn)處被生成或接收(步驟304)。音頻和視頻數(shù)據(jù)流的生成可包括從諸如麥克風(fēng)和成像照相機(jī)244的音頻輸入252接收音頻和視頻信息，并生成分組的數(shù)據(jù)流。例如，該數(shù)據(jù)流可根據(jù)實(shí)時(shí)協(xié)議(RTP)來(lái)格式化。
接收音頻數(shù)據(jù)流和對(duì)應(yīng)的視頻數(shù)據(jù)流例如可包括，網(wǎng)關(guān)/交換機(jī)116從音頻/視頻端點(diǎn)104或從另一網(wǎng)絡(luò)節(jié)點(diǎn)接收包含音頻和視頻數(shù)據(jù)流的分組數(shù)據(jù)流。在步驟308，同步分組被插入到音頻數(shù)據(jù)流中，且對(duì)應(yīng)的同步分組被插入到視頻數(shù)據(jù)流中。該對(duì)對(duì)應(yīng)的同步分組可以同時(shí)被插入到各自的音頻和視頻數(shù)據(jù)流中。根據(jù)本發(fā)明的另一些實(shí)施例，第一和第二同步分組可以在略微不同的時(shí)間，例如相互之間大約200毫秒內(nèi)，被插入到音頻和視頻數(shù)據(jù)流中。根據(jù)本發(fā)明的其他實(shí)施例，第一同步分組在第一時(shí)間被插入到音頻數(shù)據(jù)流中，而第二同步分組在與第一時(shí)間完全相同的第二時(shí)間被插入到視頻數(shù)據(jù)流中。當(dāng)在音頻數(shù)據(jù)流中檢測(cè)到靜默時(shí)，或者在適當(dāng)?shù)囊曨l畫(huà)面邊界后，可以在數(shù)據(jù)流中插入同步分組，以便包含同步分組將不會(huì)在接收裝置或解碼器引起誤差。插入到音頻和視頻數(shù)據(jù)流中的同步分組一般像包含音頻或視頻數(shù)據(jù)的數(shù)據(jù)分組那樣格式化。因此，在音頻和視頻數(shù)據(jù)流包括RTP分組的情況下，插入到那些流中的同步分組一般包括RTP首標(biāo)。作為有效負(fù)荷，同步分組包含同步標(biāo)志。為了獲得良好的相關(guān)特性可以選擇該同步標(biāo)志。通過(guò)為同步標(biāo)志提供良好的相關(guān)特性，檢測(cè)該標(biāo)志所需的處理能力可以比必須讀出每個(gè)數(shù)據(jù)分組以確定其是否為同步分組的情況小得多。另外，可以選擇同步標(biāo)志，以便該標(biāo)志將被音頻或視頻數(shù)據(jù)模仿的可能性為低。該同步分組可另外地包括基準(zhǔn)值，比如墻時(shí)鐘值、計(jì)數(shù)值、或通用基準(zhǔn)值。基準(zhǔn)值可進(jìn)一步包括同步分組被插入到第一數(shù)據(jù)流的時(shí)間和對(duì)應(yīng)的同步分組被插入到第二數(shù)據(jù)流的時(shí)間之間的差或增量。在步驟312，音頻和視頻流，與包含的同步分組一起，通過(guò)通信網(wǎng)絡(luò)112發(fā)送。如同本領(lǐng)域的技術(shù)人員所理解的，分組數(shù)據(jù)流遭受到各種網(wǎng)絡(luò)影響，這些網(wǎng)絡(luò)影響導(dǎo)致個(gè)別分組無(wú)序地到達(dá)接收端。
音頻和視頻數(shù)據(jù)流與同步分組一起，在能夠執(zhí)行同步的接收端點(diǎn)或節(jié)點(diǎn)被接收(步驟316)。特別地，接收音頻/視頻通信端點(diǎn)104或節(jié)點(diǎn)，比如網(wǎng)關(guān)/交換機(jī)116，檢測(cè)音頻流中的同步分組和視頻流中對(duì)應(yīng)的同步分組(步驟320)。根據(jù)本發(fā)明的實(shí)施例，對(duì)所有的輸入分組執(zhí)行快速相關(guān)以確定一個(gè)特殊分組是否為同步分組。因此，可以通過(guò)掃描用于相關(guān)的輸入分組，檢測(cè)根據(jù)本發(fā)明的實(shí)施例的同步分組，這與讀取每個(gè)分組相對(duì)。
根據(jù)本發(fā)明的實(shí)施例，同步分組不時(shí)地被插入到音頻和視頻數(shù)據(jù)流中，其中連續(xù)同步分組之間的時(shí)間低于某一閾值量。根據(jù)本發(fā)明的其它實(shí)施例，同步分組至少每100毫秒被插入到音頻和視頻數(shù)據(jù)流中。由于同步分組之間的這種間隔，不需要同步分組包括基準(zhǔn)值。也就是說(shuō)，如果那些同步分組在大約相同的時(shí)間(例如，相互之間大約100毫秒內(nèi))在接收端被接收到，其中一個(gè)數(shù)據(jù)流中的同步分組可被識(shí)別為對(duì)應(yīng)于在其它數(shù)據(jù)流中的另外的同步分組。即，可以認(rèn)為，大于2至3秒的網(wǎng)絡(luò)延遲幾乎是不可能的。
在檢測(cè)和識(shí)別了音頻和視頻數(shù)據(jù)流中對(duì)應(yīng)的同步分組之后，音頻和視頻數(shù)據(jù)流可被對(duì)準(zhǔn)(步驟324)。具體地說(shuō)，在音頻數(shù)據(jù)流中檢測(cè)到的同步分組附近的音頻分組可以與視頻數(shù)據(jù)流中對(duì)應(yīng)的同步分組附近的視頻數(shù)據(jù)分組對(duì)準(zhǔn)。數(shù)據(jù)分組的對(duì)準(zhǔn)可包括在接收端或節(jié)點(diǎn)緩沖數(shù)據(jù)分組以及重新對(duì)準(zhǔn)該數(shù)據(jù)分組。根據(jù)本發(fā)明的一個(gè)實(shí)施例，只有在確定數(shù)據(jù)分組未對(duì)準(zhǔn)超過(guò)某個(gè)閾值量時(shí)才執(zhí)行對(duì)準(zhǔn)。例如，低于幾毫秒的未對(duì)準(zhǔn)通常太小使得用戶(hù)108覺(jué)察不到。但是，當(dāng)未對(duì)準(zhǔn)超過(guò)100毫秒時(shí)將變得非常明顯。因此，在確定未對(duì)準(zhǔn)的量超過(guò)100毫秒時(shí)執(zhí)行對(duì)準(zhǔn)。也就是說(shuō)，音頻和視頻數(shù)據(jù)流中的數(shù)據(jù)分組或那些數(shù)據(jù)流中的信息(或那些數(shù)據(jù)流的回放)之間不需要精確對(duì)準(zhǔn)。相反，使得來(lái)自那些數(shù)據(jù)流的各自輸出例如在大約100毫秒之內(nèi)或不太完美的對(duì)準(zhǔn)，這樣的數(shù)據(jù)流分組的對(duì)準(zhǔn)是足夠的。根據(jù)本發(fā)明的實(shí)施例也可應(yīng)用其它對(duì)準(zhǔn)閾值，例如為滿(mǎn)足特殊應(yīng)用的同步要求。例如，任何數(shù)量的未對(duì)準(zhǔn)可以被校正。
在同步分組不包括時(shí)間值的情況下，可以基于這樣的設(shè)想來(lái)執(zhí)行對(duì)準(zhǔn)同步分組在同一時(shí)間或大致相同的時(shí)間(例如，在相互之間大約100毫秒之內(nèi))被插入到音頻和視頻數(shù)據(jù)流中?？蛇x地，包含在同步分組中的基準(zhǔn)值可用于提供對(duì)應(yīng)的同步分組之間的相對(duì)插入時(shí)間差。對(duì)準(zhǔn)后的音頻和視頻數(shù)據(jù)流接著被輸出到端用戶(hù)，或發(fā)送到音頻/視頻輸入104用于輸出，例如，如果在網(wǎng)關(guān)/交換機(jī)116執(zhí)行對(duì)準(zhǔn)。
現(xiàn)在參考圖4，示意了本發(fā)明的實(shí)施例的其它方面。特別地，發(fā)送同步數(shù)據(jù)流的處理以提供包含音頻和視頻信息的輸入到輸入裝置開(kāi)始，比如在音頻信息的情況下音頻輸入252包含麥克風(fēng)以及在視頻信息的情況下包含成像照相機(jī)244。所得到的音頻信息信號(hào)404和視頻信息信號(hào)408可接著被發(fā)送到數(shù)據(jù)分組器412。該數(shù)據(jù)分組器412可包括處理器204，其與被提供作為音頻/視頻通信端點(diǎn)104的一部分的存儲(chǔ)器208和數(shù)據(jù)存儲(chǔ)器220協(xié)同，執(zhí)行分組數(shù)據(jù)通信應(yīng)用236。另外，數(shù)據(jù)分組化可包括一個(gè)或多個(gè)模數(shù)轉(zhuǎn)換器(ADC)或與之相關(guān)?？蛇x地，音頻信息信號(hào)404和視頻信息信號(hào)408可被提供給網(wǎng)關(guān)/交換機(jī)116用于進(jìn)行分組。同步分組生成器416協(xié)同數(shù)據(jù)分組器412操作，以將同步分組插入到由數(shù)據(jù)分組器412根據(jù)音頻404和視頻408信息創(chuàng)建的分組數(shù)據(jù)流中。因此，同步分組生成器416和數(shù)據(jù)分組器412的交互作用導(dǎo)致音頻分組數(shù)據(jù)流420和對(duì)應(yīng)的視頻數(shù)據(jù)分組流424的創(chuàng)建。音頻分組數(shù)據(jù)流420和視頻分組數(shù)據(jù)流424的每一個(gè)分別包括音頻數(shù)據(jù)分組428或視頻數(shù)據(jù)分組432。另外，音頻分組數(shù)據(jù)流420包括對(duì)應(yīng)于插入到視頻分組數(shù)據(jù)流424中的同步分組440的同步分組436。
音頻分組數(shù)據(jù)流420和視頻分組流424通過(guò)通信網(wǎng)絡(luò)被傳送到接收節(jié)點(diǎn)或端點(diǎn)104或116。最初，音頻分組數(shù)據(jù)流420a和視頻分組數(shù)據(jù)流424a是對(duì)準(zhǔn)的。但是，在通過(guò)通信網(wǎng)絡(luò)112之后，音頻分組數(shù)據(jù)流420和視頻分組數(shù)據(jù)流424包含數(shù)據(jù)428、432和同步436、440分組，它們不再互相對(duì)準(zhǔn)。音頻和視頻數(shù)據(jù)分組流420、424例如在被提供作為接收音頻/視頻通信端點(diǎn)104或網(wǎng)關(guān)/交換機(jī)116的存儲(chǔ)器208的一部分的緩沖器444中被接收。
數(shù)據(jù)對(duì)準(zhǔn)器448檢測(cè)數(shù)據(jù)流420、424中的同步分組436、440，并使用同步分組436、440作為標(biāo)記(marker)以使附近的數(shù)據(jù)分組428、432相互對(duì)準(zhǔn)。另外，數(shù)據(jù)對(duì)準(zhǔn)器448應(yīng)當(dāng)去除同步分組436、440。對(duì)準(zhǔn)后的音頻數(shù)據(jù)流452和對(duì)準(zhǔn)后的視頻數(shù)據(jù)流456接著被發(fā)送到回放裝置或解碼器460。數(shù)據(jù)對(duì)準(zhǔn)器448可包括根據(jù)本發(fā)明的實(shí)施例的同步應(yīng)用232，其協(xié)同分組數(shù)據(jù)通信應(yīng)用236一起操作，并包括由在接收音頻/視頻通信端點(diǎn)104或網(wǎng)關(guān)/交換機(jī)116上運(yùn)行的處理器204執(zhí)行的指令?；胤叛b置或解碼器416可隨后提供同步的音頻/視頻輸出464到接收用戶(hù)108?；胤叛b置460可通過(guò)視頻電話應(yīng)用228或其他多媒體應(yīng)用的操作或執(zhí)行，由音頻/視頻通信端點(diǎn)104來(lái)實(shí)現(xiàn)，且可包括音頻輸出256和視頻輸出248。此外，該同步的音頻/視頻輸出464可由包含音頻輸出256的揚(yáng)聲器和包含視頻輸出248的顯示器提供?；胤叛b置或解碼器416上的數(shù)據(jù)對(duì)準(zhǔn)器248可包括一個(gè)或多個(gè)數(shù)模轉(zhuǎn)換器(DAC)或與之相關(guān).
現(xiàn)在參考圖5，示出了根據(jù)本發(fā)明的實(shí)施例的同步分組436、440的實(shí)例。同步分組436、440包括首標(biāo)504。如同本領(lǐng)域的技術(shù)人員所理解的，首標(biāo)504提供尋址信息，并使同步分組436、440與其中插入了同步分組436、440的數(shù)據(jù)流420、424的數(shù)據(jù)分組428、432相關(guān)聯(lián)，以便允許該分組在接收端被適當(dāng)?shù)嘏判?。根?jù)本發(fā)明的實(shí)施例，該首標(biāo)可包括RTP首標(biāo)，或結(jié)合傳輸控制協(xié)議/網(wǎng)際協(xié)議(TCP/IP)分組數(shù)據(jù)傳輸使用的其它首標(biāo)。另外，同步分組436、440包括同步標(biāo)志508。根據(jù)本發(fā)明的實(shí)施例，選擇同步標(biāo)志以便其具有良好的相關(guān)特性和被數(shù)據(jù)分組428、432模仿的低可能性。結(jié)果，可以利用相關(guān)過(guò)程來(lái)執(zhí)行同步分組436、440的檢測(cè)，而不是需要讀取接收的每一個(gè)分組以確定其是否為同步分組436、440。作為一個(gè)實(shí)例，同步標(biāo)志508可包括兩個(gè)字節(jié)。根據(jù)本發(fā)明的另外實(shí)施例，該字節(jié)可具有值0xE14D，或二進(jìn)制值1110000101001101。
還示出了示意性的的同步分組436、440的有效負(fù)荷中包含基準(zhǔn)值512。包含基準(zhǔn)值512可用于允許肯定地識(shí)別在對(duì)應(yīng)的音頻和視頻數(shù)據(jù)流420、424中的對(duì)應(yīng)同步分組436、440。基準(zhǔn)值512可以是墻時(shí)鐘值的形式，所述墻時(shí)鐘值包含在插入到其各自的數(shù)據(jù)流中時(shí)添加到同步分組436、440的時(shí)間戳、計(jì)數(shù)值、或一些其它的通用基準(zhǔn)值。但是，本發(fā)明的實(shí)施例不要求同步分組436、440包括基準(zhǔn)值512。
盡管本發(fā)明的實(shí)施例用作涉及通過(guò)網(wǎng)際協(xié)議網(wǎng)絡(luò)傳輸視頻電話信號(hào)的實(shí)例情況，本發(fā)明的實(shí)施例不僅限于此。例如，在此描述的同步可以結(jié)合音頻數(shù)據(jù)流和相關(guān)視頻數(shù)據(jù)流的廣播(或萬(wàn)維網(wǎng)廣播)來(lái)執(zhí)行。此外，本發(fā)明的實(shí)施例具有到任何相關(guān)數(shù)據(jù)流的同步的應(yīng)用，還可結(jié)合任何分組數(shù)據(jù)傳送協(xié)議應(yīng)用。此外，應(yīng)當(dāng)理解的是，本發(fā)明的實(shí)施例可以結(jié)合多點(diǎn)視頻會(huì)議情況應(yīng)用。
已經(jīng)為示意和說(shuō)明目的提供了前述的對(duì)本發(fā)明的討論。此外，本說(shuō)明書(shū)不是意欲將本發(fā)明局限于在此公開(kāi)的形式。因此，在相關(guān)技術(shù)能力或知識(shí)之內(nèi)的與以上教導(dǎo)相配的變化和修改都在本發(fā)明的范圍內(nèi)。以上描述的實(shí)施例旨在進(jìn)一步解釋目前了解的實(shí)踐本發(fā)明的最佳模式，并使本領(lǐng)域的技術(shù)人員使用這些或其它實(shí)施例中的本發(fā)明，并具有本發(fā)明的特殊應(yīng)用或用途所要求的各種修改。應(yīng)當(dāng)認(rèn)識(shí)到的是，所附權(quán)利要求書(shū)包括現(xiàn)有技術(shù)允許范圍的可選實(shí)施例。
權(quán)利要求
1.一種用于同步分組數(shù)據(jù)流的方法，包括生成第一同步分組，其中所述第一同步分組具有包含同步標(biāo)志的有效負(fù)荷；將所述第一同步分組插入到第一數(shù)據(jù)流中；生成第二同步分組，其中所述第二同步分組具有包含同步標(biāo)志的有效負(fù)荷，并且其中所述第二同步分組對(duì)應(yīng)于所述第一同步分組；將所述第二同步分組插入到第二數(shù)據(jù)流中，其中所述第一和第二數(shù)據(jù)流彼此相關(guān)。
2.根據(jù)權(quán)利要求1的方法，其中所述生成第一和第二同步分組并將所述第一和第二同步分組分別插入到第一和第二數(shù)據(jù)流中是在第一網(wǎng)絡(luò)實(shí)體處執(zhí)行的，所述方法進(jìn)一步包括在第二網(wǎng)絡(luò)實(shí)體處接收所述第一和第二數(shù)據(jù)流；在所述第一數(shù)據(jù)流中檢測(cè)所述第一同步分組；在所述第二數(shù)據(jù)流中檢測(cè)所述第二同步分組；確定所述第一和第二同步分組相互對(duì)應(yīng)；將包含在所述第一同步分組附近的所述第一數(shù)據(jù)流中的分組與包含在所述第二同步分組附近的所述第二數(shù)據(jù)流中的分組對(duì)準(zhǔn)。
3.根據(jù)權(quán)利要求1的方法，其中所述第一數(shù)據(jù)流包括多個(gè)包含音頻信息的數(shù)據(jù)分組，并且其中所述第二數(shù)據(jù)流包括多個(gè)包含視頻信息的數(shù)據(jù)分組。
4.根據(jù)權(quán)利要求1的方法，其中同步分組被周期性地插入到所述第一數(shù)據(jù)流中，并且其中同步分組被周期性地插入到所述第二數(shù)據(jù)流中。
5.根據(jù)權(quán)利要求1的方法，其中所述第一和第二同步分組的有效負(fù)荷包括基準(zhǔn)值。
6.根據(jù)權(quán)利要求1的方法，其中所述同步標(biāo)志具有良好的相關(guān)特性。
7.根據(jù)權(quán)利要求1的方法，其中所述生成第一和第二同步分組并將所述第一和第二同步分組分別插入到第一和第二數(shù)據(jù)流中是在第一網(wǎng)絡(luò)實(shí)體處執(zhí)行的，所述方法進(jìn)一步包括在第二網(wǎng)絡(luò)實(shí)體中生成第三同步分組，其中所述第三同步分組具有包含同步標(biāo)志的有效負(fù)荷；將所述第三同步分組插入到第三數(shù)據(jù)流中；生成第四同步分組，其中所述第四同步分組具有包含同步標(biāo)志的有效負(fù)荷；并且其中所述第四同步分組對(duì)應(yīng)于所述第三同步分組；將所述第四同步分組插入到第四數(shù)據(jù)流中；在第三網(wǎng)絡(luò)實(shí)體中接收所述第一、第二、第三和第四數(shù)據(jù)流；在所述第一數(shù)據(jù)流中檢測(cè)所述第一同步分組；在所述第二數(shù)據(jù)流中檢測(cè)所述第二同步分組；確定所述第一和第二同步分組相互對(duì)應(yīng)；將包含在所述第一同步分組附近的所述第一數(shù)據(jù)流中的分組與包含在所述第二同步分組附近的所述第二數(shù)據(jù)流中的分組對(duì)準(zhǔn)；在所述第三數(shù)據(jù)流中檢測(cè)所述第三同步分組；在所述第四數(shù)據(jù)流中檢測(cè)所述第四同步分組；確定所述第三和第四同步分組相互對(duì)應(yīng)；將包含在所述第三同步分組附近的所述第三數(shù)據(jù)流中的分組與包含在所述第四同步分組附近的所述第四數(shù)據(jù)流中的分組對(duì)準(zhǔn)。
8.根據(jù)權(quán)利要求2的方法，其中如果數(shù)據(jù)流中的數(shù)據(jù)分組是下列之一在所述同步分組和前一同步分組之間；在所述同步分組和下一同步分組之間；以及在所述同步分組的預(yù)定數(shù)量的分組之內(nèi)，則所述數(shù)據(jù)流中的數(shù)據(jù)分組在所述數(shù)據(jù)流中的同步分組的附近。
9.一種用于同步相關(guān)音頻和視頻數(shù)據(jù)流的系統(tǒng)，包括用于生成同步標(biāo)志的裝置；用于將音頻流數(shù)據(jù)編碼到第一數(shù)據(jù)分組流中的裝置；用于將視頻流數(shù)據(jù)編碼到第二數(shù)據(jù)分組流中的裝置；用于添加第一同步分組到所述第一數(shù)據(jù)分組流中，并且用于添加第二同步分組到所述第二數(shù)據(jù)分組流中的裝置，其中所述第一和第二同步分組相互對(duì)應(yīng)，且其中在以毫秒為單位的預(yù)定閾值內(nèi)，所述第一同步分組被添加到所述第一數(shù)據(jù)流中，所述第二同步分組被添加到所述第二數(shù)據(jù)流中。
10.根據(jù)權(quán)利要求9的系統(tǒng)，進(jìn)一步包括用于緩存所述第一數(shù)據(jù)分組流和所述第二數(shù)據(jù)流分組流的裝置；用于檢測(cè)所述第一數(shù)據(jù)分組流中的第一同步分組以及用于檢測(cè)所述第二數(shù)據(jù)分組流中的第二同步分組的裝置；用于響應(yīng)于所述檢測(cè)所述第一和第二同步分組，將所述第一數(shù)據(jù)分組流與所述第二數(shù)據(jù)分組流對(duì)準(zhǔn)的裝置；用于提供來(lái)自包含在所述對(duì)準(zhǔn)后的第一和第二數(shù)據(jù)分組流中的數(shù)據(jù)的輸出，作為對(duì)準(zhǔn)后的音頻流數(shù)據(jù)和視頻流數(shù)據(jù)的裝置。
全文摘要
本發(fā)明提供了相關(guān)分組數(shù)據(jù)網(wǎng)絡(luò)流的同步。同步是通過(guò)將同步分組插入到數(shù)據(jù)流中來(lái)實(shí)現(xiàn)的，在通過(guò)網(wǎng)絡(luò)發(fā)送這些數(shù)據(jù)流之后，這些數(shù)據(jù)流要相互對(duì)準(zhǔn)。具體的說(shuō)，對(duì)應(yīng)的同步分組在同一時(shí)間被插入到對(duì)應(yīng)的數(shù)據(jù)流中，以用作執(zhí)行在接收端的數(shù)據(jù)同步的標(biāo)記。對(duì)應(yīng)的數(shù)據(jù)流可包括音頻數(shù)據(jù)流和對(duì)應(yīng)的視頻數(shù)據(jù)流。
文檔編號(hào)H04L7/00GK1941916SQ20061015182
公開(kāi)日2007年4月4日 申請(qǐng)日期2006年9月13日 優(yōu)先權(quán)日2005年9月28日
發(fā)明者契利安·阿布拉哈姆, 蒂莫西·C·迪蘭尼, 內(nèi)維·因格利斯, 卡倫·菲蘭, 陸克·A·塔克爾 申請(qǐng)人:阿瓦雅技術(shù)公司