專(zhuān)利名稱(chēng)：：用于傳輸信號(hào)流的方法
技術(shù)領(lǐng)域：
：本發(fā)明公開(kāi)一般涉及音頻和視頻信號(hào)從服務(wù)器到客戶(hù)機(jī)的傳輸。技術(shù)背景常規(guī)的多媒體流系統(tǒng)通常將單個(gè)音頻流和單個(gè)關(guān)聯(lián)視頻流從通常被稱(chēng)為"服務(wù)器"的源流傳輸至通常被稱(chēng)為"客戶(hù)機(jī)"的目的地。音頻和視頻信號(hào)流的聯(lián)合帶寬定義了服務(wù)器與客戶(hù)機(jī)之間所需要的信道帶寬。如果該信道帶寬由于例如擁塞而減小，那么常規(guī)的服務(wù)器系統(tǒng)具有很少的或者不具有足夠應(yīng)對(duì)該帶寬減小問(wèn)題的手段，并且傳輸必須停止。因此，現(xiàn)代多媒體服務(wù)器系統(tǒng)采用各種這樣的技術(shù)，即該技術(shù)允許諸如服務(wù)器這樣的源適應(yīng)服務(wù)器-客戶(hù)機(jī)帶寬方面的減小。解決該問(wèn)題的一種已知的方法是使得多個(gè)備用音頻和視頻流對(duì)于服務(wù)器可用，其中備用流(alternatestream)是具有相同內(nèi)容但使用不同帶寬的編碼。這給予了服務(wù)器對(duì)用于傳輸至客戶(hù)機(jī)的最合適的音頻/視頻信號(hào)流進(jìn)行選擇的選擇權(quán)。在對(duì)該方法的進(jìn)一步提煉中，還可以對(duì)每個(gè)備用流進(jìn)行二次采樣(sub-sample)，其中服務(wù)器選擇性地僅傳輸部分的備用音頻/視頻流，從而在使音頻/視頻流帶寬適應(yīng)實(shí)際的服務(wù)器/客戶(hù)機(jī)信道容量方面允許更多的選擇。多個(gè)備用流的源不需要一定是與連接至各種客戶(hù)機(jī)以及進(jìn)行帶寬自適應(yīng)的服務(wù)器系統(tǒng)相同的系統(tǒng)的一部分。圖1中示出了提供多個(gè)備用信號(hào)流的這樣的系統(tǒng)的例子，其中編碼系統(tǒng)10對(duì)音頻信號(hào)和/或視頻信號(hào)進(jìn)行編碼，且各具有各種不同的帶寬，即在各種不同的比特率對(duì)信號(hào)進(jìn)行編碼。編碼系統(tǒng)10將所有的備用流發(fā)送至標(biāo)記為服務(wù)器的流選擇系統(tǒng)20。流選擇系統(tǒng)選擇和轉(zhuǎn)發(fā)適當(dāng)編碼(可能被二次采樣)的信號(hào)到30-1至30-N的各個(gè)客戶(hù)機(jī)，其中30-1至30-N的各個(gè)客戶(hù)機(jī)連接至流選擇系統(tǒng)20或與流選擇系統(tǒng)20進(jìn)行通信'在諸如圖1中所示的系統(tǒng)配置中，必須將特定信息從編碼系統(tǒng)10傳送至流選擇系統(tǒng)20，以便流選擇系統(tǒng)20(即服務(wù)器)知道其正在接收的是哪些流以及選項(xiàng)是什么。
發(fā)明內(nèi)容本發(fā)明的示例性實(shí)施例提供了用于傳信備用流及其二次采樣的方法，從而使得服務(wù)器系統(tǒng)具有能夠?yàn)榱讼蚩蛻?hù)機(jī)的后續(xù)傳輸而動(dòng)態(tài)選擇合適的備用流及其可能的二次采樣的所有所需的信息。通過(guò)提供具有相同內(nèi)容的備用信號(hào)流，即使帶寬變小，也可以在傳輸信道上成功傳輸信號(hào)流。對(duì)所述備用信號(hào)流進(jìn)行二次采樣以形成具有不同的相應(yīng)采樣率的幀。為各幀提供標(biāo)識(shí)符，所述標(biāo)識(shí)符標(biāo)識(shí)幀的種類(lèi)并且涉及所述幀的傳輸所需要的帶寬。在將任何信號(hào)實(shí)際提供給所述服務(wù)器之前，為所述服務(wù)器提供用于所述備用信號(hào)流的所有可能的幀的標(biāo)識(shí)符的列表。然后將所述備用信號(hào)流發(fā)送至所述服務(wù)器，在那里基于所述標(biāo)識(shí)符以及那時(shí)存在的帶寬限制，傳遞或者阻塞(block)所述備用信號(hào)流，以這樣的方式，如果所述信道的帶寬變小了，則通過(guò)選擇并未超過(guò)可用帶寬的那些幀，所述服務(wù)器仍然可以提供所述信號(hào)流。根據(jù)以下結(jié)合附圖的描述，可以更詳細(xì)地理解本發(fā)明的示例性實(shí)施例，其中圖1是對(duì)現(xiàn)有技術(shù)中已知的常規(guī)多媒體流系統(tǒng)的表示；圖2是根據(jù)本發(fā)明的示例性實(shí)施例對(duì)信號(hào)流傳輸系統(tǒng)的表示；以及圖3是根據(jù)本發(fā)明的示例性實(shí)施例對(duì)信號(hào)流傳輸系統(tǒng)的表示.具體實(shí)施方式在描述本發(fā)明的示例性實(shí)施例的特征之前，應(yīng)當(dāng)先明白一些術(shù)語(yǔ)的意田、流指的是由不同類(lèi)型的幀的序列組成的編碼。例如，在MPEG編碼的視頻流中，我們可以在I-幀、P-幀和B-幀之間進(jìn)行區(qū)分，眾所周知這與視頻lt據(jù)幀的時(shí)態(tài)(過(guò)去的和將來(lái)的)有關(guān)。如圖2所示，流創(chuàng)建器(編碼器)40總是向二次采樣器(服務(wù)器)50發(fā)送包括所有的MPEG幀類(lèi)型的完整流。舉例來(lái)說(shuō)，服務(wù)器50阻塞特定的幀類(lèi)型或者繼續(xù)傳遞特定的幀類(lèi)型給接收機(jī)(客戶(hù)機(jī))30-1.創(chuàng)建器或編碼器40理解流并且定義了僅由特定的幀類(lèi)型組成的流配置。因?yàn)榕渲糜蓭?lèi)型的子集組成，所以其還可以^L視作完整流的二次采樣版本。如創(chuàng)建器40所確定的，根據(jù)當(dāng)前使用的流配置來(lái)阻塞或傳遞輸入幀是二次采樣器50的功能。例如，在MPEG視頻的情況下，取決于B-幀的數(shù)目，創(chuàng)建器40可以定義幾個(gè)流配置"Si"。這在以下圖表中被示出。<table>tableseeoriginaldocumentpage6</column></row><table>在該例中，如果創(chuàng)建器40利用一個(gè)B-幀對(duì)MPEG視頻流進(jìn)行編碼，則創(chuàng)建器40將告知二次采樣器50可能有三種不同的二次采樣配置。如以上圖表所示，這些可能性是(l)無(wú)二次采樣，即傳遞所有的幀；(2)通過(guò)丟棄所有B-幀的二次采樣；以及(3)通過(guò)僅將I-幀傳遞至接收機(jī)的二次采樣。為了提供更大的自適應(yīng)能力并且為了克服帶寬限制問(wèn)題，諸如創(chuàng)建器40的編碼器不僅可以對(duì)單個(gè)流進(jìn)行編碼，而且可以對(duì)來(lái)自相同源的多個(gè)流進(jìn)行編碼。這些備用編碼流將具有不同的相應(yīng)比特率，從而提供給服務(wù)器50可用于匹配服務(wù)器/客戶(hù)機(jī)帶寬的更多選擇，因?yàn)槠淇梢栽诟髯跃哂卸尾蓸舆x擇的備用編碼間進(jìn)行選擇。圖3中示出了該多個(gè)備用流實(shí)施例。作為使用圖3中所示的系統(tǒng)的例子，如果編碼器或創(chuàng)建器70創(chuàng)建了具有相同源材料的兩個(gè)備用MPEG視頻流，例如，一個(gè)具有一個(gè)B-幀的備用流l，以及一個(gè)不具有B-幀的備用流O，則服務(wù)器80具有從以下列出的五個(gè)不同的配置中進(jìn)行選擇的選擇權(quán)。1.備用流l無(wú)二次采樣傳遞幀IO、PO和BO。2.阻塞備用流1的B-幀傳遞幀10和PO。3.僅傳遞備用流1的I-幀傳遞幀10。4.備用流O無(wú)二次采樣傳遞幀I1和P1。5.僅傳遞備用流O的I-幀傳遞幀Il。為了使服務(wù)器80進(jìn)行有消息的選擇，編碼系統(tǒng)(即創(chuàng)建器70)必須在實(shí)際發(fā)送備用流本身之前，預(yù)先通知服務(wù)器系統(tǒng)(即二次采樣器80)關(guān)于二次采樣器80將會(huì)接收哪些備用流。此外，因?yàn)榭梢杂煞?wù)器80對(duì)備用流進(jìn)行二次采樣，所以必須以某種方式標(biāo)記每個(gè)流中的每個(gè)樣本(即每幀)，以^J良務(wù)器80可以在轉(zhuǎn)發(fā)或者丟棄各個(gè)特定樣本之間進(jìn)行最好的選擇，如以上結(jié)合那個(gè)例子中五個(gè)可能的選擇所解釋的。為了傳信或標(biāo)識(shí)備用流，編碼系統(tǒng)70總是預(yù)先向服務(wù)器80通知備用流標(biāo)識(shí)ID，并且利用標(biāo)識(shí)其所屬的流的適當(dāng)?shù)牧鱅D來(lái)標(biāo)記所有的樣本。因而，二次采樣器80預(yù)先知道其可能會(huì)接收的所有信號(hào)流的具體ID。然而，為了傳信二次采樣，可以采用兩種不同的方法。在第一種方法中，利用樣本所屬的二次采樣流的ID列表來(lái)標(biāo)記特定的備用流的樣本.預(yù)先來(lái)自創(chuàng)建器70的信令向服務(wù)器80通知用于每個(gè)備用流的所有可能的二次采樣的ID。例如，在具有一個(gè)B-幀的MPEG視頻流中，來(lái)自創(chuàng)建器70的信令預(yù)先標(biāo)識(shí)了三種不同的流流IDO僅含I-幀、流IDl含有I和P-幀，以及流ID2含有所有的三種幀類(lèi)型，I、P和B。然后，將利用0、l和2標(biāo)記I-幀，因?yàn)镮-幀屬于所有的三種流，將利用l和2標(biāo)記P-幀，以及將利用2標(biāo)記B-幀。注意到，ID的這些列表通常本身是編碼的，以便提升帶寬效率。在第二種方法中，利用樣本類(lèi)型標(biāo)記特定的備用流(不一定是MPEG視頻流)的樣本，并且預(yù)先提供的信令通知服務(wù)器哪些樣本類(lèi)型屬于該備用流的哪些可能的二次采樣。例如，在具有一個(gè)B-幀的MPEG視頻流中，利用"0"標(biāo)記I-幀，利用"1"標(biāo)記P-幀，以及利用"2"標(biāo)記B-幀.然后，預(yù)先的信令通知服務(wù)器三種二次采樣流僅具有I-幀的一種二次采樣流，因而，流0含有幀類(lèi)型"0";具有I和P-幀的一種二次采樣流，因而，流l含有幀類(lèi)型"0"和"1";以及含有所有幀類(lèi)型的第三種二次采樣流，因而，流2含有幀類(lèi)型"0"、"1"和"2"。作為如何以及在何處向服務(wù)器提供流信息的例子，存在一種多媒體流的標(biāo)準(zhǔn)化方法，其中實(shí)時(shí)流協(xié)議(RTSP)用于控制，會(huì)話(huà)描述協(xié)議(SDP)用于先期的或預(yù)先的會(huì)話(huà)信息，以及用于實(shí)時(shí)應(yīng)用的傳輸協(xié)議(RTP)用于數(shù)據(jù)傳輸。當(dāng)使用這些協(xié)議時(shí)，通過(guò)添加延伸線(xiàn)(extensionline)，可以將備用流和二次采樣信息預(yù)先插入會(huì)話(huà)描述協(xié)議中。可以將利用二次采樣信息(二次采樣流ID或幀類(lèi)型)標(biāo)出的樣本添加到用于實(shí)時(shí)應(yīng)用標(biāo)題的傳輸協(xié)議，例如，在CSRC域中。注意到，類(lèi)似MPEG-4視頻的某些編碼標(biāo)準(zhǔn)在視頻流本身中已經(jīng)具有幀類(lèi)型指示，但是一般來(lái)說(shuō)這不是充分的信令，盡管這在系統(tǒng)被設(shè)計(jì)以應(yīng)對(duì)這一情況時(shí)是可以使用的，然而，可以對(duì)視頻數(shù)據(jù)流進(jìn)行加密，使得該信息不可訪(fǎng)問(wèn)，因而需要一些其它類(lèi)型的隱式信令。其次，盡管以上給出的例子用于MPEGI、P和B-幀，然而有可能編碼器40可以定義兩種不同類(lèi)型的I-幀，例如"全I(xiàn)-幀"和"每隔一個(gè)I-幀"。使用MPEG系統(tǒng)及其常規(guī)術(shù)語(yǔ)作為例子，提供了對(duì)示例性實(shí)施例的以上解釋.然而，本發(fā)明的原理還適用于使用某些不同術(shù)語(yǔ)的其它編碼系統(tǒng)。例如，稱(chēng)為AVC的新近視頻編碼技術(shù)具有與MPEG類(lèi)似的特征但涉及不同的幀類(lèi)型，例如IDR圖片，其是I-幀的等效物。因而，在上述討論中，幀這個(gè)詞還可以代表樣本或圖片，并且可以基于例如幀類(lèi)型對(duì)流進(jìn)4亍二次采樣。盡管文中已經(jīng)參照附圖描述了本發(fā)明的示例性實(shí)施例，然而可以理解到本發(fā)明并不限于這些示例性實(shí)施例，并且在不背離本發(fā)明的范圍和精神的情況下，本領(lǐng)域的技術(shù)人員可以對(duì)其實(shí)現(xiàn)各種其它的改變和修改。所有這樣的修改和改變都意味著包括在如所附權(quán)利要求所限定的本發(fā)明的范圍之內(nèi)。權(quán)利要求1.一種用于在具有已知的有限帶寬的傳輸路徑上傳輸信號(hào)流的方法，所述方法包括以下步驟對(duì)具有相同內(nèi)容的多個(gè)備用信號(hào)流進(jìn)行編碼，其中將所述多個(gè)備用信號(hào)流中的每一個(gè)編碼成多個(gè)幀，每幀需要用于傳輸?shù)牟煌瑤?；預(yù)先通知服務(wù)器用于所述多個(gè)備用信號(hào)流中每個(gè)流的所有可能的幀的相應(yīng)的ID;基于所iM目應(yīng)的ID以及目前可用于傳輸?shù)膸挘x擇在服務(wù)器處轉(zhuǎn)發(fā)或者阻塞所述多個(gè)幀中的每一幀；以及使得所述服務(wù)器向接收機(jī)傳輸已經(jīng)被選擇用于轉(zhuǎn)發(fā)的那些幀.2.根據(jù)權(quán)利要求1的方法，其中所述信號(hào)流是MPEG視頻流，并且所述編碼步驟包括將所述幀定義為B幀、P幀和I幀。3.根據(jù)權(quán)利要求l的方法，其中所述通知步驟包括向所述服務(wù)器提供形成所有備用信號(hào)流的幀的所有可能的二次采樣的列表.4.一種用于傳信備用流以及自適應(yīng)流選擇的方法，所述方法包括以下步驟提供具有同樣內(nèi)容的備用信號(hào)流；定義流配置，所述流配置僅由構(gòu)成所述備用信號(hào)流的特定的幀類(lèi)型組成，其中每種配置由幀類(lèi)型的子集組成；預(yù)先通知二次采樣器有可能的所有不同的二次采樣配置；以及根據(jù)當(dāng)前使用的流配置，進(jìn)行以下中的一個(gè)阻塞和傳遞輸入幀。5.根據(jù)權(quán)利要求4的方法，其中所述信號(hào)流是MPEG視頻流，并且所述幀類(lèi)型是B幀、P幀和I幀。6.根據(jù)權(quán)利要求4的方法，其進(jìn)一步包括步驟向客戶(hù)接收機(jī)傳輸在所述進(jìn)行對(duì)輸入幀的傳遞的步驟中所傳遞的信號(hào)流。7.—種用于傳輸信號(hào)流的方法，所述方法包括以下步驟使用相同的源對(duì)多個(gè)流進(jìn)行編碼，以便產(chǎn)生具有不同的相應(yīng)比特率的備用編碼，其中所述編碼產(chǎn)生所述多個(gè)流中每個(gè)流的幀；為在所述編碼步驟中產(chǎn)生的每一幀提供標(biāo)識(shí)；預(yù)先通知服務(wù)器提供給所述多個(gè)流中不同類(lèi)型的幀的標(biāo)識(shí)；基于所述標(biāo)識(shí)以及已知的傳輸帶寬，傳遞所選擇的、所述多個(gè)流的幀;阻塞在所述傳遞步驟中沒(méi)有選擇的所有的幀；以及從所述服務(wù)器向客戶(hù)機(jī)/接收機(jī)傳輸在所述傳遞步驟中選擇的所有的全文摘要當(dāng)可用傳輸帶寬變小時(shí)，通過(guò)提供來(lái)自相同源的不同比特率的備用信號(hào)流來(lái)傳輸信號(hào)流。對(duì)所述備用信號(hào)流進(jìn)行二次采樣以形成具有被添加到其中的特定標(biāo)識(shí)符的幀。在實(shí)際提供所述幀之前，預(yù)先向所述服務(wù)器通知所述標(biāo)識(shí)符。因?yàn)樗龇?wù)器知道當(dāng)前的帶寬限制并且知道所述幀的標(biāo)識(shí)符，所以所述服務(wù)器可以為了傳輸而僅傳遞能夠適合在可用傳輸帶寬內(nèi)的備用信號(hào)流的那些幀。文檔編號(hào)H04N7/32GK101123729SQ20071014022公開(kāi)日2008年2月13日申請(qǐng)日期2007年8月6日優(yōu)先權(quán)日2006年8月10日發(fā)明者C·文卡特拉馬尼,O·費(fèi)舒爾,P·H·韋斯特林克申請(qǐng)人:國(guó)際商業(yè)機(jī)器公司