專利名稱：產(chǎn)生數(shù)據(jù)流的編碼器和方法
技術(shù)領(lǐng)域：
本發(fā)明實(shí)施例涉及產(chǎn)生包括多個(gè)編碼數(shù)據(jù)塊的數(shù)據(jù)流的領(lǐng)域，其中這種流被傳輸至接收機(jī)并解碼，以呈現(xiàn)流內(nèi)的數(shù)據(jù)。具體而非限制地，本發(fā)明涉及媒體傳輸、接收和回放領(lǐng)域，本發(fā)明實(shí)施例涉及使用要調(diào)入(time-in)的第二流快速調(diào)入到IP網(wǎng)絡(luò)上的流傳輸。
背景技術(shù)：
在IP網(wǎng)絡(luò)(例如IPTV系統(tǒng))上的媒體傳輸領(lǐng)域中，以編碼和壓縮形式傳輸視頻數(shù)據(jù)，普遍的視頻壓縮標(biāo)準(zhǔn)，例如MPEG-2和JVT/H. 264/MPEG AVC,使用幀內(nèi)編碼和幀間編碼。為了正確解碼，解碼器以幀內(nèi)編碼的圖像(例如，I圖像或I幀)開始對(duì)壓縮視頻序列解碼，然后繼續(xù)對(duì)后續(xù)的幀間編碼的圖像(例如，P圖像或P幀、以及/或者B圖像或B幀) 解碼。圖像組(GOP)可以包括I圖像和多個(gè)后續(xù)P圖像和/或B圖像，其中對(duì)于相同視頻質(zhì)量，I圖像比P圖像或B圖像需要更多比特來(lái)編碼。當(dāng)在特定信道上接收到視頻流時(shí)，例如在切換到該信道之后或者在開啟接收機(jī)之后，必須等待直到接收到第一個(gè)I圖像后才能解碼。為了最小化視頻流編碼的延遲，頻繁地發(fā)送I圖像，即，在視頻流內(nèi)以固定間距(例如，每0.5秒)包括I圖像。當(dāng)前IPTV系統(tǒng)的一個(gè)問(wèn)題在于所謂的至組播IP上分發(fā)的流的調(diào)入時(shí)間。調(diào)入進(jìn)信道的初始化與呈現(xiàn)該信道的內(nèi)容之間的延遲是由于若干影響，其中，占主導(dǎo)地位的影響是客戶端預(yù)緩沖時(shí)間、以及針對(duì)要切換至的流內(nèi)隨機(jī)接入點(diǎn)的獲取時(shí)間。兩者影響直接反映了現(xiàn)代視頻編解碼方案的設(shè)計(jì)。在例如MPEG-2視頻或MPEG-4AVC/H. 264等差分視頻編碼方案中，流中只有少量圖像是自足(self-contained)的，例如，上述I圖像。這些圖像包括對(duì)整個(gè)圖像解碼所必需的所有信息。大多數(shù)其他圖像是差分編碼的，依賴于先前傳輸和解碼的一個(gè)或多個(gè)圖像，例如上述P圖像或B圖像。換言之，P圖像或B圖像不包括對(duì)整個(gè)圖像解碼所必需的所有信息，而是需要來(lái)自在前或在后圖像的附加信息。為了以給定比特率獲得最佳編碼效率，I圖像的數(shù)量應(yīng)當(dāng)較低。另一方面，I圖像用作流中可以開始解碼的位置所在的隨機(jī)接入點(diǎn)(RAP)。因此，當(dāng)調(diào)入新的流時(shí)存在延遲， 這是因?yàn)榭蛻舳?接收機(jī))在可以開始解碼并顯示視頻之前必須等待流中隨機(jī)接入點(diǎn)的到達(dá)。在差分編碼方案中，編碼視頻比特率不一定是恒定的，而是依賴于視頻場(chǎng)景 (scene)的復(fù)雜度。在視頻流內(nèi)，編碼圖像大小的變化可以較大，例如，I圖像可以與差分編碼的圖像P圖像和B圖像大許多倍。當(dāng)以恒定的信道比特率在信道上傳輸這種比特流時(shí)， 客戶端需要對(duì)進(jìn)入的圖像數(shù)據(jù)進(jìn)行預(yù)緩沖，以便能夠以與視頻采樣的速率相同的速率來(lái)播放該視頻。該緩沖器需要足夠大，以避免緩沖器上溢，并且應(yīng)該僅僅在達(dá)到一定的緩沖器填充水平時(shí)才清空，以避免播放期間的緩沖器下溢。無(wú)論何時(shí)無(wú)法將緩沖器即時(shí)填充到客戶端可以開始清空緩沖器的水平，就會(huì)在可以開始呈現(xiàn)之前出現(xiàn)延遲。該功能性是不利的，因?yàn)殚_始在特定信道上接收節(jié)目(例如，在信道改變之后或開啟接收機(jī)之后)的接收機(jī)必須等待直到接收到例如I圖像等隨機(jī)接入點(diǎn)，才能夠開始解碼。因此，主流(main stream)內(nèi)隨機(jī)接入點(diǎn)的間距是調(diào)入延遲的主要原因之一。在組播線性TV情況下減小這種延遲的一種方法是與主流并行地發(fā)送第二流， 其中，該第二流具有更高頻率的隨機(jī)接入點(diǎn)。該第二流例如被稱為“調(diào)入流”(time-in stream)或“輔助流” (side stream)。圖7示出了使用次流或調(diào)入流調(diào)入至主流。圖7沿著X軸示出了時(shí)間，并沿著Y軸示出了各個(gè)流的質(zhì)量等級(jí)。在圖7中，主流100的全質(zhì)量A是100%，輔助流或調(diào)入流102 具有較低質(zhì)量仏，該較低質(zhì)量A是中間質(zhì)量等級(jí)，比主流100的質(zhì)量等級(jí)低。當(dāng)用戶在時(shí)間、發(fā)起信道改變時(shí)，調(diào)入至輔助流102。輔助流包括更頻繁的隨機(jī)接入點(diǎn)，以便通過(guò)使用具有更頻繁的I圖像的調(diào)入流102來(lái)減小針對(duì)解碼的初始啟動(dòng)延遲(、-、)。接收機(jī)內(nèi)的解碼器從調(diào)入流102獲得針對(duì)新信道的第一 I圖像，早于主流100的第一 I圖像。然而，如上所述，調(diào)入流102的質(zhì)量比主流的質(zhì)量低，例如，圖像是以不同質(zhì)量等級(jí)編碼的，這對(duì)于限制附加的比特流是必要的，對(duì)于其中包括的I圖像比其他圖像多很多倍的調(diào)入流也是如此。因此，以較低的中間質(zhì)量等級(jí)從對(duì)調(diào)入流102進(jìn)行編碼，例如使用較低的圖像分辨率， 例如，相比于主流的全分辨率，使用四分之一的分辨率對(duì)調(diào)入流102進(jìn)行編碼。在開始于tK的過(guò)渡時(shí)段(tT-tK)期間，接收機(jī)或客戶端對(duì)從調(diào)入流102得到的圖像進(jìn)行解碼，直到在時(shí)間tT主流上全分辨率的I圖像到達(dá)為止。一旦該I圖像到達(dá)，就停止低分辨率流，并且解碼和呈現(xiàn)主流的全分辨率圖像。可以使用不同情景在客戶端或接收機(jī)處接收主流和輔助流，一種情景是向接收機(jī)同時(shí)傳輸主流和輔助流。這種方法例如在us 2007/0098079A1中有所描述，其公開作為參考合并在此。備選地，接收機(jī)可以從提供主流和輔助流兩者的服務(wù)器僅接收單一流來(lái)解碼。 當(dāng)發(fā)起信道改變時(shí)或當(dāng)開啟接收機(jī)時(shí)，向服務(wù)器轉(zhuǎn)發(fā)用于調(diào)入至特定信道的相應(yīng)請(qǐng)求，然后服務(wù)器提供基于輔助流或調(diào)入流的信息，直到主流的高質(zhì)量信息(即，第一 I圖像)變得可獲得為止。這種方法例如在US 2007/0M8165A1中有所描述，其公開作為參考合并在此。如上所述，調(diào)入流102是以顯著較低的比特率來(lái)編碼的，導(dǎo)致其視頻質(zhì)量比主流低。這可以通過(guò)降低的圖像分辨率或更多的有損編碼參數(shù)來(lái)實(shí)現(xiàn)，例如，在編碼輔助流期間使用更高的量化。雖然這種提供低質(zhì)量輔助流的方法對(duì)于如上參照?qǐng)D7所述的減小調(diào)入延遲而言是有利的，但是在短時(shí)段(即，過(guò)渡時(shí)段)上向觀看者呈現(xiàn)的調(diào)入流的信息質(zhì)量低。在常規(guī)示例中，該過(guò)渡時(shí)段可以在1到5秒的范圍內(nèi)。但是，在過(guò)渡時(shí)段結(jié)束時(shí)，即，在時(shí)刻tT，呈現(xiàn)切換到全質(zhì)量主流，調(diào)入流與主流之間的可見差別非常嚴(yán)重。例如，當(dāng)觀看由于從低質(zhì)量調(diào)入流切換到高質(zhì)量主流，靜止場(chǎng)景突然出現(xiàn)細(xì)節(jié)時(shí)，這是很容易注意到的。這種影響會(huì)導(dǎo)致較差的用戶體驗(yàn)，從而有可能降低更快調(diào)入的主觀積極效果。因此，需要提供一種在切換到主流時(shí)避免可見偽像的方法。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)實(shí)施例提供一種產(chǎn)生包括多個(gè)編碼數(shù)據(jù)塊的數(shù)據(jù)流的方法，所述多個(gè)編碼數(shù)據(jù)塊包括包含了用于對(duì)塊進(jìn)行解碼的所有信息的多個(gè)自足塊、以及僅包含用于解碼的部分信息的多個(gè)塊，其中，數(shù)據(jù)流中自足塊的間距取決于流中編碼的內(nèi)容，其中，所述
6流是主流。通過(guò)次流(secondary stream)實(shí)現(xiàn)調(diào)入至主流，所述次流至少包括主流的數(shù)據(jù)塊的子集，該子集是以與主流的數(shù)據(jù)塊的質(zhì)量不同的質(zhì)量而編碼的，其中，在主流中，在主流和次流中編碼的數(shù)據(jù)的質(zhì)量差別更不易察覺(jué)的位置處，插入主流的自足塊。本發(fā)明的另一實(shí)施例提供了一種產(chǎn)生包括多個(gè)編碼數(shù)據(jù)塊的數(shù)據(jù)流的編碼器，所述多個(gè)編碼數(shù)據(jù)塊包括包含了用于對(duì)塊進(jìn)行解碼的所有信息的多個(gè)自足塊、以及僅包含用于解碼的部分信息的多個(gè)塊，其中，編碼器配置為依據(jù)流中編碼的內(nèi)容，改變流中自足塊的間距，其中所述流是主流。通過(guò)次流實(shí)現(xiàn)調(diào)入至主流，所述次流至少包括主流的數(shù)據(jù)塊的子集，該子集是以與主流的數(shù)據(jù)塊的質(zhì)量不同的質(zhì)量而編碼的，其中，在主流中，在主流和次流中編碼的數(shù)據(jù)的質(zhì)量差別更不易察覺(jué)的位置處，插入主流的自足塊。本發(fā)明的又一實(shí)施例提供了一種調(diào)入至主流的方法，其中提供有主流和次流。主流包括多個(gè)編碼數(shù)據(jù)塊，所述多個(gè)編碼數(shù)據(jù)塊包括包含了用于對(duì)塊進(jìn)行解碼的所有信息的多個(gè)自足塊、以及僅包含用于解碼的部分信息的多個(gè)塊。次流至少包括主流的源數(shù)據(jù)的子集，該子集是以與主流的數(shù)據(jù)塊的質(zhì)量不同的、典型地更低的質(zhì)量而編碼的，其中，在主流和次流中編碼的數(shù)據(jù)的質(zhì)量差別在主觀上更不易察覺(jué)的位置處，插入主流的自足塊。當(dāng)接收到調(diào)入請(qǐng)求時(shí)，調(diào)入至次流和主流，并且對(duì)次流解碼，直到主流上的自足塊到達(dá)為止，或者直到達(dá)到所需的主流解碼器緩沖器填充水平為止。當(dāng)主流上的自足塊到達(dá)時(shí)，或者當(dāng)達(dá)到所需的主流解碼器緩沖器填充水平時(shí)，停止對(duì)次流的解碼，并且開始對(duì)主流解碼。本發(fā)明的又一實(shí)施例提供了一種用于接收編碼數(shù)據(jù)并提供解碼輸出數(shù)據(jù)的解碼器。該解碼器包括用于接收主流和次流的輸入。主流包括多個(gè)編碼數(shù)據(jù)塊，所述多個(gè)編碼數(shù)據(jù)塊包括包含了用于對(duì)塊進(jìn)行解碼的所有信息的多個(gè)自足塊、以及僅包含用于解碼的部分信息的多個(gè)塊。次流至少包括主流的數(shù)據(jù)塊的子集，該子集是以比主流的數(shù)據(jù)塊的質(zhì)量低的質(zhì)量而編碼的，其中，在主流和次流中編碼的數(shù)據(jù)的質(zhì)量差別更不易察覺(jué)的位置處，插入主流的自足塊。此外，解碼器包括用于接收調(diào)入請(qǐng)求信號(hào)的控制輸入、以及耦接至輸入和控制輸入的解碼部分，解碼部分用于產(chǎn)生解碼輸出數(shù)據(jù)。解碼部分適于在接收到調(diào)入請(qǐng)求時(shí)調(diào)入至次流，對(duì)次流解碼，直到主流上的自足塊到達(dá)為止，或者直到達(dá)到所需的主流解碼器緩沖器填充水平為止。解碼部分適于在主流上的自足塊到達(dá)時(shí)，或者在達(dá)到所需的主流解碼器緩沖器填充水平時(shí)，停止對(duì)次流的解碼，并且開始對(duì)主流解碼。本發(fā)明實(shí)施例涉及用于使用調(diào)入流來(lái)實(shí)現(xiàn)快速信道改變的多媒體分發(fā)系統(tǒng)的編碼器、流傳輸服務(wù)器、網(wǎng)絡(luò)組件和客戶端或接收機(jī)，其中，通過(guò)內(nèi)容自適應(yīng)編碼在主觀上隱藏從調(diào)入流到主流的切換。


下面參照附圖描述本發(fā)明實(shí)施例，附圖中圖1是根據(jù)本發(fā)明實(shí)施例的用于產(chǎn)生數(shù)據(jù)流的方法的流程圖；圖加是根據(jù)本發(fā)明實(shí)施例的編碼器的框圖；圖2b是圖加中分離地提供主流和輔助流的編碼器的框圖，即，該編碼器不包括復(fù)用器；圖3是根據(jù)本發(fā)明實(shí)施例的用于調(diào)入至主流的方法的流程圖；圖如是根據(jù)本發(fā)明實(shí)施例的解碼器的框圖4b是圖如中分離地接收主流和輔助流的解碼器的框圖，即，該解碼器不包括解復(fù)用器；圖fe是根據(jù)本發(fā)明另一實(shí)施例的解碼器的框圖；圖恥是圖fe中分離地接收主流和輔助流的解碼器的框圖，即，該解碼器不包括解復(fù)用器；圖6示出了使用多個(gè)調(diào)入流來(lái)調(diào)入至主流；以及圖7示出了使用調(diào)入流來(lái)調(diào)入至主流的常規(guī)方法。
具體實(shí)施例方式下面描述本發(fā)明的實(shí)施例。本發(fā)明的一個(gè)實(shí)施例涉及用于產(chǎn)生例如視頻流或音頻流等數(shù)據(jù)流的方法，其中數(shù)據(jù)流包括多個(gè)編碼數(shù)據(jù)塊，所述多個(gè)編碼數(shù)據(jù)塊包括包含了用于對(duì)塊進(jìn)行解碼的所有信息的多個(gè)自足塊、以及僅包含用于解碼的部分信息的多個(gè)塊。根據(jù)本發(fā)明的實(shí)施例，數(shù)據(jù)流可以是使用幀內(nèi)編碼和幀間編碼而編碼的視頻流。該編碼流可以包括作為隨機(jī)接入點(diǎn)的I圖像、以及P圖像和/或B圖像。在該編碼數(shù)據(jù)流中，例如I圖像等自足塊的間距依據(jù)流的內(nèi)容而變化。圖1是根據(jù)產(chǎn)生視頻流的本發(fā)明實(shí)施例的用于產(chǎn)生數(shù)據(jù)流的方法的流程圖。在步驟S100，該方法開始，并提供視頻輸入信號(hào)。該視頻輸入信號(hào)包括多個(gè)部分，例如對(duì)視頻流內(nèi)的圖像進(jìn)行定義的圖像。在步驟S110，接收視頻信息的一部分，并分析要編碼的視頻輸入信號(hào)的內(nèi)容。在參照?qǐng)D1所述的實(shí)施例中，在步驟S120，確定所分析的內(nèi)容部分是否與特定情景(scenario)相關(guān)聯(lián)，特定情景例如是場(chǎng)景內(nèi)的場(chǎng)景邊界或快速攝像機(jī)移動(dòng)。在所分析的內(nèi)容部分中無(wú)這種特定情景出現(xiàn)的情況下，方法前進(jìn)至步驟S130，在步驟S130，將所分析的部分編碼成P圖像或B圖像。另一方面，在內(nèi)容中察覺(jué)到上述情景的情況下，該方法前進(jìn)到步驟S140，在步驟S140，將所分析的部分編碼成I圖像。在步驟S150，檢查是否存在要分析的附加部分，如果存在，則該方法前進(jìn)到步驟S160，在步驟S160，選擇視頻輸入信號(hào)中要分析的下一部分，然后方法返回到步驟S110。否則，該方法在步驟S170結(jié)束，S卩，現(xiàn)在，視頻輸入信號(hào)已被編碼，并且以I圖像和P圖像和/或B圖像的序列的形式存在。上述用于確定視頻流內(nèi)I圖像的位置的方法獲得了 依據(jù)內(nèi)容在編碼視頻流中放置I圖像，從而連續(xù)I圖像之間的實(shí)際間距發(fā)生改變。因此，不是以固定間距在視頻流中插入I圖像，即，如在常規(guī)方法中使用的例如1秒或5秒的靜態(tài)GOP長(zhǎng)度不再存在。而是連續(xù) I圖像的間距發(fā)生改變。根據(jù)本發(fā)明實(shí)施例，間距可以在一定時(shí)間窗內(nèi)改變，例如，具有最大間距5秒和最小間距1秒的時(shí)間窗。該方案有利，其可以提高視頻流中的比特率效率，這是因?yàn)闊o(wú)論如何都在流中比特需求更高的位置處放置針對(duì)隨機(jī)接入點(diǎn)的I圖像，甚至對(duì)于 P圖像也是如此，例如在場(chǎng)景剪輯處或在較大攝像機(jī)運(yùn)動(dòng)期間，在這些情況下運(yùn)動(dòng)預(yù)測(cè)需要 P圖像中的較多信息。圖2是根據(jù)本發(fā)明實(shí)施例的編碼器的框圖。圖2示出了包括主編碼器202和輔助編碼器204的編碼器200。主編碼器202包括內(nèi)容分析器206。主編碼器202接收視頻輸入信號(hào)，并根據(jù)上述用于在其輸出處產(chǎn)生主流的方法進(jìn)行操作。此外，在另一實(shí)施例中，編碼器200還可以包括附加的輔助編碼器204，其基于視頻輸入信號(hào)，產(chǎn)生所謂的對(duì)應(yīng)于主流的調(diào)入流，但是該調(diào)入流編碼有更多數(shù)目的I圖像，并且該調(diào)入流典型地是以相比于主流能夠?qū)崿F(xiàn)輔助流的較低比特率的較低質(zhì)量而編碼的。此外，在實(shí)施例中，編碼器200可以包括復(fù)用器208，其接收來(lái)自主編碼器202的主流和來(lái)自輔助編碼器204的調(diào)入流，并提供組合的輸出流210 (參見圖2a)，或者提供分離的主流212和調(diào)入流214(參見圖2b)，這些流要廣播至客戶端以用于解碼和顯示。根據(jù)使用圖2所示包括兩個(gè)編碼器202和204的編碼器200的本發(fā)明實(shí)施例，針對(duì)多信道傳輸系統(tǒng)中的一信道產(chǎn)生主流，并且在這種系統(tǒng)中通過(guò)仍由編碼器200產(chǎn)生的次流、調(diào)入流或輔助流，來(lái)實(shí)現(xiàn)調(diào)入至主流。如上所述，主流包括不是以固定間距提供的多個(gè)I 圖像，連續(xù)I圖像的間距在特定時(shí)間窗內(nèi)發(fā)生改變。在編碼器202中，在編碼期間，利用內(nèi)容分析器206分析由視頻輸入信號(hào)定義的視頻內(nèi)容，并且在分辨率上的視覺(jué)差別或圖像質(zhì)量的視覺(jué)差別在主觀上大體更不易察覺(jué)的位置處，例如在場(chǎng)景邊界處或在場(chǎng)景中快速攝像機(jī)移動(dòng)期間，插入I圖像。以這種方式產(chǎn)生主流是有利的，因?yàn)樵陂_啟接收器或從另一信道改變的情況下當(dāng)調(diào)入至主流時(shí)，實(shí)現(xiàn)了從調(diào)入流到主流的平衡傳輸，這可能是觀看者完全無(wú)法察覺(jué)的。此外，該方法可以提高主流中的比特率效率，這是因?yàn)闊o(wú)論如何都在流中比特需求更高的位置處放置針對(duì)隨機(jī)接入點(diǎn)的I圖像，甚至對(duì)于P圖像也是如此。此外，可以節(jié)省用于固定間距的附加I圖像的比特，而不會(huì)損失對(duì)信道的可接入性，這是因?yàn)橥ㄟ^(guò)提供以固定間距和更高速率具有I圖像(即，如上所述，I圖像的數(shù)量大于主流中I圖像的數(shù)量)的調(diào)入流來(lái)確?？山尤胄浴＿@會(huì)使得有必要以較低質(zhì)量對(duì)調(diào)入流進(jìn)行編碼，以滿足信息傳輸?shù)谋忍芈室?。另一?yōu)點(diǎn)在于上述方案是單純的頭端方案，其優(yōu)選地存在于編碼設(shè)備202內(nèi)部，并且不需要附加的網(wǎng)絡(luò)設(shè)備等。此外，有利的是在效果上沒(méi)有添加附加的客戶端設(shè)備復(fù)雜度。客戶端必須進(jìn)行的所有操作是主動(dòng)監(jiān)視主流的第一I圖像，而不是在靜止過(guò)渡時(shí)段的情況下在調(diào)入之后計(jì)數(shù)固定數(shù)目的圖像。備選地，調(diào)入流可以包括與主流中的下一 I圖像有關(guān)的附加的信號(hào)通知(signaling)，該信號(hào)通知指示在主流中該下一 I圖像何時(shí)出現(xiàn)。這使客戶端能夠在不監(jiān)視主流的情況下切換到主流。依據(jù)內(nèi)容在主流內(nèi)放置I圖像是有利的。然而，在非常長(zhǎng)的靜止場(chǎng)景的情況下，可能會(huì)超過(guò)預(yù)定義的最大容許I圖像間距(其被設(shè)定為不超過(guò)最大過(guò)渡時(shí)段長(zhǎng)度)，從而有必要在靜止序列內(nèi)放置I圖像。在這種情況下，從低質(zhì)量調(diào)入流到高質(zhì)量主流的切換很可能是可見的。對(duì)于這種情況，即，不管內(nèi)容如何，必須放置I圖像的情況，本發(fā)明實(shí)施例提出了通過(guò)在過(guò)渡時(shí)段期間逐漸提高調(diào)入流的質(zhì)量，來(lái)修改調(diào)入流，例如，通過(guò)逐步地將量化參數(shù)步長(zhǎng)降低到主流的I圖像邊界。量化參數(shù)是編碼過(guò)程期間控制視頻質(zhì)量的主要參數(shù)之一。 更低的量化參數(shù)對(duì)應(yīng)于對(duì)編碼數(shù)據(jù)系數(shù)的粒度更精細(xì)的量化，并因此對(duì)應(yīng)于更少的例如阻擋偽像等可見的編碼失真。圖3是根據(jù)本發(fā)明實(shí)施例的用于調(diào)入至視頻主流的方法的流程圖。圖3開始于如下情況在接收機(jī)處，當(dāng)前接收到與第一信道關(guān)聯(lián)的視頻主流，并對(duì)其解碼和輸出以供顯示，如步驟S300處所示。在步驟S302，監(jiān)視是否獲得信道改變請(qǐng)求，例如切換到第二信道的請(qǐng)求。只要沒(méi)有接收到這種請(qǐng)求，就繼續(xù)解碼與第一信道關(guān)聯(lián)的視頻主流并輸出以供顯示。 然而，在步驟S302接收到信道改變請(qǐng)求的情況下，方法前進(jìn)至步驟S304。在步驟S304，停止對(duì)第一信道的主流的解碼，并且接收機(jī)調(diào)入至第二信道的調(diào)入流或輔助流以及至第二信道的主流，如步驟S306所示。在調(diào)入至第二信道的輔助流之后，在步驟S308，以接收到輔助流中的第一 I圖像為開始，開始對(duì)第二信道的輔助流進(jìn)行解碼并輸出。在步驟S310，監(jiān)視第二信道的主流，以在步驟S312確定是否已接收到第二信道的主流中的I圖像。只要沒(méi)有接收到主流中的I圖像，方法繼續(xù)解碼并輸出來(lái)自輔助流的信息，并且繼續(xù)監(jiān)視主流中的I圖像。只要接收到第二信道的主流中的第一 I圖像，并且準(zhǔn)備好解碼第一 I圖像，方法就前進(jìn)到步驟S314，在步驟S314，停止對(duì)第二信道的輔助流的接收、解碼和輸出。在步驟S316，開始對(duì)第二信道的主流進(jìn)行解碼和輸出，這實(shí)際上完成了信道改變過(guò)程。就圖3而言，針對(duì)如下情況描述了以上內(nèi)容接收機(jī)已經(jīng)在操作，并且解碼和輸出關(guān)于第一信道的信息(見步驟S300到S304)。然而，根據(jù)另一實(shí)施例，該方法也適用于如下情況開啟客戶端處的接收機(jī)并開始解碼視頻流。以在步驟S306到S316中描述的類似方式，接收機(jī)首先調(diào)入至在接收器啟動(dòng)時(shí)選擇的信道，并且解碼和輸出輔助流，直到主流中的 I圖像達(dá)到為止。由于主流中I圖像是放置在主流內(nèi)圖像質(zhì)量差別更不易察覺(jué)的位置，所以在接收到主流中的I圖像時(shí)從輔助流到主流的過(guò)渡更不易察覺(jué)，并且觀看者可能完全不會(huì)察覺(jué)。 因此，由于在基于主流內(nèi)容而確定的位置處放置了主流中的I圖像，所以從低質(zhì)量輔助流到高質(zhì)量主流的切換在主觀上被隱藏了。圖4示出了可以根據(jù)本發(fā)明實(shí)施例而使用的解碼器400的框圖。解碼器400包括輸入部402。輸入部402接收主流408和輔助流410 (參見圖4b)、或者接收組合的輸入流 406。在組合的輸入流的情況下(參見圖如)，輸入部包括解復(fù)用器204，解復(fù)用器204在其輸入處接收組合的輸入流406，利用解復(fù)用器404將組合的輸入流406拆分成主流408和輔助流410。此外，解碼器400包括解碼器部分412。解碼器部分412包括切換元件414，用于選擇性地向解碼器部分的輸入施加主流408或輔助流410。此外，解碼器部分具有用于接收例如上述信道改變請(qǐng)求信號(hào)等控制信號(hào)的控制輸入416。此外，解碼器部分412監(jiān)視主流， 如虛線418所示意性示出的。解碼器400以如上參照?qǐng)D3所述的方式進(jìn)行操作，即，只要在輸入416處沒(méi)有指示接收到信道改變請(qǐng)求的控制信號(hào)，解碼器部分412就對(duì)特定信道的主流進(jìn)行解碼。當(dāng)在控制輸入416處接收到信道改變信號(hào)時(shí)，解碼器部分通過(guò)將切換元件414切換為向解碼器部分提供輔助流410，來(lái)調(diào)入至輔助流，然后，一旦察覺(jué)輔助流內(nèi)的第一 I圖像并且該第一 I圖像準(zhǔn)備好用于解碼，解碼器部分就對(duì)輔助流進(jìn)行解碼。然后，解碼器部分412輸出解碼信號(hào) 420。同時(shí)，解碼器部分412經(jīng)由線418監(jiān)視主流408，只要在主流中察覺(jué)第一 I圖像并且該第一 I圖像準(zhǔn)備好用于解碼，則進(jìn)行切換以將主流提供給解碼器部分412，并對(duì)主流進(jìn)行解碼和在420輸出。在許多情況下，對(duì)于如上參照?qǐng)D4所述的方式進(jìn)行的從調(diào)入流到主流的切換，時(shí)間是關(guān)鍵的，以避免任何失真。因此，通常優(yōu)選的是針對(duì)調(diào)入流和主流的兩個(gè)獨(dú)立的解碼器鏈，以便能夠稍微提前一點(diǎn)開始對(duì)主流解碼，從而可以在非壓縮域中執(zhí)行切換。然而，該方法的不利之處在于使用兩個(gè)解碼器增加了客戶端復(fù)雜度。因此，需要提供單個(gè)解碼器， 其降低實(shí)現(xiàn)復(fù)雜度并允許對(duì)已有的解碼器芯片進(jìn)行再使用。因此，根據(jù)本發(fā)明實(shí)施例，對(duì)調(diào)入流和/或主流中的切換點(diǎn)進(jìn)行信號(hào)通知，以使解碼器能夠進(jìn)行切換。依據(jù)使用的傳輸層和流類型，可以實(shí)施不同的信號(hào)通知方法。對(duì)于RTP流，例如可以使用RTP首部擴(kuò)展，或者例如RTCP發(fā)送方報(bào)告。對(duì)于MPEG-2傳輸流，例如可以使用同步輔助數(shù)據(jù)(Synchronous Ancillary Data, SAD)機(jī)制，或者可以使用具有另一 PID的分離的流。對(duì)于AVC視頻流，可以使用視頻流中的SEI消息。只使用單個(gè)解碼元件并在將發(fā)生切換時(shí)向解碼元件進(jìn)行信號(hào)通知是有利的，這是因?yàn)?，首先，在客戶端設(shè)備中只需要一個(gè)解碼器，從而降低了復(fù)雜度。此外，該方法可以很好地作用于時(shí)移(延遲的)調(diào)入流。此外，不需要客戶端隱式地計(jì)算或估計(jì)正確的切換點(diǎn)。 客戶端只需要讀取來(lái)自流的信號(hào)通知消息。當(dāng)客戶端被允許切換至主流并開始對(duì)第一主流數(shù)據(jù)進(jìn)行解碼時(shí)，編碼器發(fā)送對(duì)時(shí)間點(diǎn)進(jìn)行信號(hào)通知的消息。該信號(hào)與流數(shù)據(jù)一起發(fā)送，例如，嵌入在調(diào)入流數(shù)據(jù)中(例如，作為RTP首部擴(kuò)展)，或者例如作為分離的信號(hào)流(例如， 作為RTCP消息)。客戶端設(shè)備一直監(jiān)視該信號(hào)通知，并且在消息到達(dá)時(shí)，客戶端根據(jù)該消息進(jìn)行操作，即，停止對(duì)調(diào)入流數(shù)據(jù)解碼并開始解碼主流數(shù)據(jù)。上述方法的優(yōu)點(diǎn)在于，客戶端可以避免對(duì)流數(shù)據(jù)的解析(例如，針對(duì)圖像標(biāo)識(shí)符， 解析編碼圖像數(shù)據(jù)的信息，對(duì)于例如H. 264或MPEG-2等不同的編碼方案，該標(biāo)識(shí)符是不同的)，只需要讀取信號(hào)通知消息。另一優(yōu)點(diǎn)在于客戶端不僅得到與I圖像的到達(dá)有關(guān)的信息，還得到與何時(shí)I圖像準(zhǔn)備好用于解碼(例如，當(dāng)針對(duì)主流的輸入緩沖器填充到能夠避免后續(xù)流解碼時(shí)出現(xiàn)緩沖器下溢和上溢的水平時(shí))有關(guān)的信息。參照?qǐng)D3，客戶端在步驟S310不監(jiān)視主流中的I圖像，而是在步驟S311檢測(cè)信號(hào)通知，以接收與到達(dá)(以及圖像數(shù)據(jù)的完全接收)和“準(zhǔn)備好用于解碼”狀態(tài)有關(guān)的信息。參照?qǐng)D4，解碼器部分412不經(jīng)由虛線418監(jiān)視主流，而是經(jīng)由虛線419監(jiān)視信號(hào)通知，以獲得上述信息。下面描述備選的信號(hào)通知方案。如上所述，客戶端在能夠解碼主流之前需要等待主流的第一I圖像數(shù)據(jù)。在第一I圖像數(shù)據(jù)之前接收的任何主流數(shù)據(jù)都無(wú)法使用，不得不刪除。有利的是避免接收這種數(shù)據(jù)，以最小化當(dāng)需要從客戶端接收兩個(gè)流(調(diào)入流和主流) 時(shí)的時(shí)間，從而節(jié)省客戶端至網(wǎng)絡(luò)的連接(例如，DSL線路)上的帶寬，該帶寬可能也被其他應(yīng)用所利用(相比于核心網(wǎng)帶寬，在例如DSL線路上帶寬通常是受限的)。因此，有利的是對(duì)客戶端何時(shí)可以接收到下一 I圖像(即，圖像的第一組分組/比特)進(jìn)行信號(hào)通知。該信息使客戶端能夠正好在I圖像數(shù)據(jù)將到達(dá)之前連接到主流，避免客戶端提前連接到主流(例如，與調(diào)入流并行地，如圖3步驟S306所述)?？梢耘c上述“I圖像準(zhǔn)備好用于解碼”消息類似地來(lái)進(jìn)行這種信號(hào)通知，例如，嵌入在調(diào)入流中或作為分離的數(shù)據(jù)流。此外，有用的是發(fā)送多個(gè)消息，例如“I圖像在3秒后開始”、“I圖像在2秒后開始”、“I圖像在1秒后開始”，以提供差錯(cuò)魯棒性，并使客戶端能夠處理潛在的網(wǎng)絡(luò)抖動(dòng)(即，在信號(hào)通知與流數(shù)據(jù)的傳輸之間的不同網(wǎng)絡(luò)延遲)。根據(jù)另一實(shí)施例，解碼器400可以包括后處理單元422，其可以在從調(diào)入流到主流的切換時(shí)進(jìn)一步減小調(diào)入流與主流之間的主觀差別。優(yōu)選地，后處理單元422處理主流解碼。更具體地，可以從特定時(shí)段(例如，0.5秒)上主流的第一圖像開始，對(duì)來(lái)自主流的解碼圖像施加濾波。該濾波可以獲得對(duì)圖像的模糊化，在實(shí)施例中，可以在上述時(shí)段上修改濾波器系數(shù)，以逐個(gè)圖像地減小模糊化效果或?yàn)V波效果，從而逐漸地從調(diào)入流的低質(zhì)量改變到主流的高質(zhì)量。備選地，可以通過(guò)在切換之后僅以H. 263標(biāo)準(zhǔn)中已知的作為降低分辨率更新的系數(shù)的一部分對(duì)第一圖像解碼，來(lái)實(shí)現(xiàn)后處理。在第一圖像之后，對(duì)于每一個(gè)后續(xù)圖像，使用數(shù)目增多的系數(shù)，直到應(yīng)用了全部數(shù)目的系數(shù)，并實(shí)現(xiàn)對(duì)主流的全質(zhì)量解碼為止。 該方法也造成切換之后第一圖像中圖像細(xì)節(jié)的減少，從而對(duì)從低質(zhì)量流到高質(zhì)量流的切換的主觀隱藏做出了貢獻(xiàn)。上述實(shí)施例是在同時(shí)獲得主流和輔助流的接收機(jī)的基礎(chǔ)上描述的。但是，本發(fā)明不限于上述環(huán)境，圖5是也可以根據(jù)本發(fā)明實(shí)施例使用的接收機(jī)/服務(wù)器系統(tǒng)的框圖。圖5 所示系統(tǒng)包括接收機(jī)500，接收機(jī)500包括解碼器502和用戶接口 504。此外，示出了服務(wù)器 506。服務(wù)器506包括可選的接復(fù)用器508(參見圖fe)、以及選擇器510。服務(wù)器506在解復(fù)用器508的輸入處接收針對(duì)一個(gè)信道的組合視頻流512，并利用解復(fù)用器508將組合的輸入流512分離成主流514和調(diào)入流或輔助流516。備選地，主流514和調(diào)入流或輔助流516 可以分離地接收，從而不需要解復(fù)用器(參見圖恥)。這些流輸入至選擇器510，選擇器510 輸出所選的流之一至解碼器，如518所示。此外，選擇器510連接至接收機(jī)500的用戶接口 504，如520所示。經(jīng)由線520，選擇器510可以為用戶接口 504接收改變請(qǐng)求信號(hào)。圖5所示系統(tǒng)的功能性與上述內(nèi)容類似。具體地，只要在選擇器處沒(méi)有接收到信道改變請(qǐng)求，就經(jīng)由選擇器向解碼器提供特定信道的主流，并對(duì)主流解碼和輸出。當(dāng)經(jīng)由線520接收到信道改變請(qǐng)求時(shí)，選擇器調(diào)入至調(diào)入流516，并將調(diào)入流提供給解碼器，直到獲得主流的I圖像。 一旦該I圖像出現(xiàn)，就如上所述執(zhí)行從低質(zhì)量調(diào)入流到高質(zhì)量主流的切換。也可以將主流 514直接提供給解碼器(見圖5中虛線)，即，不經(jīng)由服務(wù)器。根據(jù)本發(fā)明另一方面，可以通過(guò)提供一個(gè)或多個(gè)附加的調(diào)入流來(lái)避免從調(diào)入流到主流的切換時(shí)出現(xiàn)的簡(jiǎn)單失真，這一個(gè)或多個(gè)附加的調(diào)入流是以主流的質(zhì)量等級(jí)與第一調(diào)入流的質(zhì)量等級(jí)之間的不同質(zhì)量等級(jí)而編碼的。該方法可以與上述以變化的間距引入I圖像的方法相結(jié)合，但是使用多個(gè)調(diào)入流的方法也可以與常規(guī)的主流編碼方法一起使用，即， 與以固定間距放置I圖像(即，對(duì)I圖像的放置不考慮內(nèi)容)的這種常規(guī)主流一起使用。圖6示出了使用一個(gè)主流和兩個(gè)調(diào)入流的本發(fā)明實(shí)施例。圖6 (a)對(duì)應(yīng)于圖7，示出了只提供單個(gè)主流和單個(gè)調(diào)入流的情況。圖6(b)示出了使用兩個(gè)調(diào)入流的質(zhì)量的變化， 圖6 (c)是各個(gè)流的示意表示，其中豎線示出了各個(gè)流中I圖像的位置。從圖6 (c)可見，主流內(nèi)I圖像的數(shù)量最少，并且這些I圖像彼此之間相距較長(zhǎng)距離?？梢砸罁?jù)主流的內(nèi)容或者以固定間距在主流中放置I圖像。第一調(diào)入流具有最大數(shù)目的I圖像，而第二調(diào)入流具有的I圖像的數(shù)目在主流和調(diào)入流的I圖像數(shù)目之間。第二調(diào)入流可以用于避免在調(diào)入期間所呈現(xiàn)的圖像質(zhì)量中的任何不希望的跳變。 可以如下方式對(duì)第二調(diào)入流編碼在過(guò)渡時(shí)段的一部分期間，質(zhì)量逐漸從調(diào)入流質(zhì)量A增長(zhǎng)至主流的全質(zhì)量％(100%)，如圖6(b)所示。為了能夠在過(guò)渡時(shí)段結(jié)束時(shí)達(dá)到％，第二調(diào)入流使用主流的全分辨率。為了實(shí)現(xiàn)平滑的過(guò)渡并避免過(guò)度的比特率開銷，第二調(diào)入流可以使用比調(diào)入流的GOP周期更長(zhǎng)的周期。調(diào)入過(guò)程看起來(lái)如圖6(a)所示。在時(shí)間、處初始化調(diào)入流之后，客戶端設(shè)備首先必須等待下一 I圖像(調(diào)入流中的I圖像)到達(dá)，該I圖像在、處到達(dá)。在從、到、’ 的時(shí)段期間，解碼并呈現(xiàn)調(diào)入流。在時(shí)間tT’，第二調(diào)入流的I圖像到達(dá)并且準(zhǔn)備好用于解碼。在從t/到、的時(shí)段期間，呈現(xiàn)第二調(diào)入流。在時(shí)間tT，過(guò)渡時(shí)段結(jié)束，客戶端切換到主流。
12CN 102217272 A
說(shuō)明書
9/10 頁(yè) 此外，實(shí)施例允許僅將第二調(diào)入流以自適應(yīng)GOP長(zhǎng)度編碼，而調(diào)入流和主流可以具有固定GOP長(zhǎng)度。換言之，在這種實(shí)施例中，主流和調(diào)入流是常規(guī)地編碼的，只有第二調(diào)入流以如下方式編碼依據(jù)內(nèi)容，在第二調(diào)入流內(nèi)放置I圖像。進(jìn)一步要注意，本發(fā)明不限于只使用兩個(gè)調(diào)入流，而是除了兩個(gè)之外還可以具有N 個(gè)調(diào)入流，從而能夠在提高質(zhì)量的同時(shí)實(shí)現(xiàn)更精細(xì)的粒度和平滑性。上述實(shí)施例包括調(diào)入流或輔助流，其都包括I圖像以及P圖像或B圖像。但是，本發(fā)明不限于這種調(diào)入流。在備選實(shí)施例中，調(diào)入流可以只包括一種調(diào)入圖像，例如，輔助流可以只傳輸隨機(jī)接入點(diǎn)或I圖像。使用來(lái)自主流的數(shù)據(jù)對(duì)中間圖像進(jìn)行解碼，該信息例如是來(lái)自主流的P圖像和/或B圖像的信息。上述實(shí)施例描述了兩個(gè)分離的流，主流和調(diào)入流。但是，本發(fā)明不限于這種實(shí)施例，而是上述方法也可以適用于例如使用兩個(gè)層的可縮放視頻編碼(SVC)，這兩個(gè)層例如是具有較長(zhǎng)I圖像間距的增強(qiáng)層和具有較短I圖像間距的基本層。在這種情況下，基本層對(duì)應(yīng)于調(diào)入流，并被設(shè)計(jì)得如同上述調(diào)入流一樣。但是，上述使用多于一個(gè)調(diào)入流的方法也可以通過(guò)可縮放視頻編碼方法來(lái)實(shí)現(xiàn)，例如通過(guò)應(yīng)用具有一個(gè)基本層和兩個(gè)增強(qiáng)層的三層SVC。例如，WO 2008138546A2和US 2003/0007562中描述了可縮放視頻編碼以及使用這種用于在信道改變時(shí)調(diào)入至主流的方法，WO 2008138546A2和 US 2003/0007562的內(nèi)容作為參考合并在此。按照上述相同方式實(shí)現(xiàn)在主觀上隱藏從低質(zhì)量流到高質(zhì)量流的切換，S卩，在切換期間，只使用基本層來(lái)進(jìn)行解碼，直到接收到增強(qiáng)層中的I圖像。在接收到增強(qiáng)層中的I圖像時(shí)，基于來(lái)自增強(qiáng)層的信息進(jìn)行解碼。此外，雖然關(guān)于互聯(lián)網(wǎng)協(xié)議TV系統(tǒng)(IPTV系統(tǒng))描述了本發(fā)明的實(shí)施例，但是注意，本發(fā)明不限于這種環(huán)境。而是，上述實(shí)施例可以使用和應(yīng)用于任何多媒體分發(fā)系統(tǒng)，例如廣播系統(tǒng)。由于本發(fā)明實(shí)施例提供了純粹的頭端解決方案， 所以具有自適應(yīng)過(guò)渡時(shí)段長(zhǎng)度的調(diào)入流的解決方案也可以應(yīng)用于任何多媒體分發(fā)系統(tǒng)。根據(jù)本發(fā)明另一實(shí)施例，可以在主流中、或在調(diào)入流中、或獨(dú)立于這兩個(gè)流，來(lái)發(fā)送針對(duì)每個(gè)I圖像的附加切換圖像。該切換圖像是在相同采樣時(shí)刻的I圖像的備選編碼， 并且僅在切換之后使用。在主流的正常解碼期間，在信道接收的穩(wěn)定狀態(tài)下，使用來(lái)自主流的正常I圖像。切換圖像的編碼方式也有助于減小調(diào)入流和主流之間的視覺(jué)差別。以主流和調(diào)入流之間的質(zhì)量對(duì)切換圖像編碼。備選地，可以發(fā)送完整的“切換G0P”，而不是切換圖像，來(lái)控制從中間調(diào)入質(zhì)量到全主流質(zhì)量的“質(zhì)量斜坡上升”。此外，注意，結(jié)合視頻數(shù)據(jù)描述了實(shí)施例，但是本發(fā)明不限于傳輸視頻數(shù)據(jù)，而是上述實(shí)施例中描述的原理可以應(yīng)用于要在數(shù)據(jù)流中編碼的任何類型的數(shù)據(jù)。更具體地，上述原理也應(yīng)用于音頻數(shù)據(jù)或使用差分編碼原理的其他類型的定時(shí)的多媒體數(shù)據(jù)，其中利用數(shù)據(jù)流內(nèi)所傳輸?shù)牟煌愋偷臄?shù)據(jù)片段的原理，例如全信息(這使客戶端能夠?qū)幋a多媒體數(shù)據(jù)的全呈現(xiàn)進(jìn)行解碼)和增量(或更新)信息(該信息只包含差分信息，只有在接收到在前信息時(shí)，差分信息才能被客戶端用于對(duì)編碼多媒體數(shù)據(jù)的全呈現(xiàn))。這種多媒體數(shù)據(jù)的示例除了視頻之外，一般還有圖形數(shù)據(jù)、矢量圖形數(shù)據(jù)、3D圖形數(shù)據(jù)，例如全幀顯示 (wireframe)和紋理數(shù)據(jù)，或者2D或3D場(chǎng)景表示數(shù)據(jù)。應(yīng)該理解，依據(jù)情況，本發(fā)明實(shí)施例的方法也可以軟件實(shí)現(xiàn)?？梢栽跀?shù)字存儲(chǔ)介質(zhì)上實(shí)施，具體是具有電子可讀控制信號(hào)的盤、DVD或CD，該控制信號(hào)可以與可編程計(jì)算機(jī)系統(tǒng)交互，以執(zhí)行相應(yīng)的方法。一般而言，本發(fā)明還包括具有程序代碼的計(jì)算機(jī)程序產(chǎn)品，程
13序代碼存儲(chǔ)在機(jī)器可讀載體上，用于在計(jì)算機(jī)程序產(chǎn)品運(yùn)行在PC和/或微控制器上時(shí)執(zhí)行本發(fā)明方法。換言之，本發(fā)明因此可以實(shí)現(xiàn)為具有程序代碼的計(jì)算機(jī)程序，程序代碼用于當(dāng)計(jì)算機(jī)程序運(yùn)行在計(jì)算機(jī)和/或微控制器上時(shí)執(zhí)行方法。注意，以上描述示出了本發(fā)明原理，但是本領(lǐng)域技術(shù)人員能夠設(shè)計(jì)這里未描述或未示出的多種布置，這些布置具體體現(xiàn)本發(fā)明原理，并且不背離本發(fā)明的精神或范圍。本領(lǐng)域技術(shù)人員會(huì)理解本文所示出的框圖表示具體體現(xiàn)本發(fā)明原理的示意性電路的概念視圖。 類似地，將理解任何流程圖、傳輸圖等表示實(shí)質(zhì)上可以提供在計(jì)算機(jī)可讀媒介中并由計(jì)算機(jī)或處理器執(zhí)行的多種過(guò)程，無(wú)論這種計(jì)算機(jī)或處理器是否隱含地示出。圖中所示多種元件的功能可以通過(guò)使用專用硬件以及與適合軟件關(guān)聯(lián)的能夠執(zhí)行軟件的硬件來(lái)提供。當(dāng)由處理器提供時(shí)，可以通過(guò)單個(gè)專用處理器、單個(gè)共享處理器或多個(gè)單獨(dú)的處理器來(lái)提供這些功能，多個(gè)單獨(dú)的處理器中的一些可以是共享的。此外，術(shù)語(yǔ)“處理器”或“控制器”的顯式使用不應(yīng)視為排他性地專指能夠執(zhí)行軟件的硬件，而是可以隱含地包括，但不限于，數(shù)字信號(hào)處理器硬件、用于存儲(chǔ)軟件的只讀存儲(chǔ)器、隨機(jī)存取存儲(chǔ)器和非易失性存儲(chǔ)裝置。在多信道傳輸系統(tǒng)的情況下描述了本發(fā)明實(shí)施例，其中主流和次流與多信道傳輸系統(tǒng)的信道關(guān)聯(lián)，并且調(diào)入請(qǐng)求指示了從多信道傳輸系統(tǒng)的當(dāng)前信道改變到多信道傳輸系統(tǒng)的新信道。然而，本發(fā)明不限于這種實(shí)施例，而是本發(fā)明總體上涉及改善在調(diào)入至包括主流和至少一個(gè)次流的流時(shí)的調(diào)入特性，如上具體描述的，其中該流可以是通過(guò)例如互聯(lián)網(wǎng)等網(wǎng)絡(luò)提供給用戶的單個(gè)流?？捎煞?wù)提供商提供包含流入視頻內(nèi)容的流，以便用戶可以隨時(shí)調(diào)入至該流。在這種情況下，在接收到調(diào)入請(qǐng)求之后，由用戶接收包括主流和次流的流，并且對(duì)次流解碼， 直到主流上的自足塊到達(dá)，并且達(dá)到所需的主流解碼器緩沖器填充水平。在本發(fā)明的另一實(shí)施例中，按照用戶的需求，用戶從例如服務(wù)提供商獲得流。該流 (例如視頻點(diǎn)播)由用戶接收，并在調(diào)入至該流時(shí)開始對(duì)流進(jìn)行解碼。同樣，基于次流對(duì)該流進(jìn)行解碼，直到達(dá)到所需的主流解碼器緩沖器填充水平。盡管由于該流是按需獲得的，所以可以將該流提供給用戶，使得在調(diào)入至該流時(shí)主流中就存在I圖像，但是仍然選擇上述方法。這樣，解碼不會(huì)立即開始，而是達(dá)到預(yù)定義的主流解碼器緩沖器填充水平，以確保即使在流暫時(shí)中斷(例如，由于網(wǎng)絡(luò)業(yè)務(wù)的流分組延遲)的情況下也能夠進(jìn)行流的連續(xù)解碼。 然而，對(duì)于主流要緩沖的數(shù)據(jù)量相當(dāng)大。因此，在這種情況下，在開始時(shí)也使用次流，這是因?yàn)橐诖瘟鹘獯a器中要緩沖的信息或數(shù)據(jù)量比要在主流解碼器中要緩沖的量小。因此，當(dāng)使用次流時(shí)，解碼會(huì)開始得更早，這是因?yàn)榭焖龠_(dá)到了次流緩沖器的所需填充水平。一旦達(dá)到所需的主流解碼器緩沖器填充水平，就開始對(duì)主流解碼。在本發(fā)明實(shí)施例的描述中，將流的自足塊和非啟足塊分別稱為I圖像以及P圖像或B圖像。注意，術(shù)語(yǔ)“圖像”一般確定了編碼內(nèi)容，包括對(duì)塊的內(nèi)容進(jìn)行解碼所需的數(shù)據(jù)或信息。在I圖像的情況下，包括對(duì)塊的全部?jī)?nèi)容進(jìn)行解碼所需的所有數(shù)據(jù)或信息，而在P 圖像或B圖像的情況下，沒(méi)有包括對(duì)整個(gè)圖像進(jìn)行解碼所需的所有信息，而是需要來(lái)自在前或在后圖像的附加信息。備選地，I圖像、P圖像和B圖像可以稱為I幀、P幀和B幀。
權(quán)利要求
1.一種產(chǎn)生包括多個(gè)編碼數(shù)據(jù)塊的數(shù)據(jù)流的方法，所述多個(gè)編碼數(shù)據(jù)塊包括包含了用于解碼所述塊的所有信息的多個(gè)自足塊、以及僅包含用于解碼的部分信息的多個(gè)塊，所述方法包括根據(jù)流中編碼的內(nèi)容，改變流中自足塊的間距，其中，所述流是主流，通過(guò)次流實(shí)現(xiàn)調(diào)入至主流，所述次流至少包括主流的數(shù)據(jù)塊的子集，該子集是以與主流的數(shù)據(jù)塊的質(zhì)量不同的質(zhì)量而編碼的，其中，在主流中，在主流和次流中編碼的數(shù)據(jù)的質(zhì)量差別更不易察覺(jué)的位置處，插入自足塊。
2.根據(jù)權(quán)利要求1所述的方法，包括在對(duì)用于主流的數(shù)據(jù)進(jìn)行編碼期間，對(duì)主流的內(nèi)容進(jìn)行分析；以及基于所述分析，確定主流中自足塊的位置。
3.根據(jù)權(quán)利要求1所述的方法，其中，在主流中，在相比于其他位置內(nèi)容更加動(dòng)態(tài)的位置處插入自足塊。
4.根據(jù)權(quán)利要求3所述的方法，其中，主流的數(shù)據(jù)表示視頻內(nèi)容，以及在場(chǎng)景邊界處或在場(chǎng)景中的快速攝像機(jī)運(yùn)動(dòng)期間插入自足塊。
5.根據(jù)權(quán)利要求4所述的方法，其中，主流是使用差分視頻編碼方案編碼的，所述差分視頻編碼方案產(chǎn)生作為自足塊的多個(gè)I圖像或IDR圖像、以及多個(gè)P圖像或B圖像。
6.根據(jù)權(quán)利要求4所述的方法，其中，內(nèi)容是使用可縮放視頻編碼方案編碼的，所述可縮放視頻編碼方案產(chǎn)生作為主流的至少一個(gè)增強(qiáng)層以及作為次流的基本層，基本層中的I 圖像間距比增強(qiáng)層中的I圖像間距短。
7.根據(jù)權(quán)利要求1所述的方法，其中，流中自足塊的間距在預(yù)定義的時(shí)間窗內(nèi)變化。
8.根據(jù)權(quán)利要求1所述的方法，還包括針對(duì)主流中的每一個(gè)自足塊產(chǎn)生切換塊，或者針對(duì)主流中的每一組塊產(chǎn)生一組切換塊，其中切換塊是以主流數(shù)據(jù)塊的質(zhì)量與次流數(shù)據(jù)塊的質(zhì)量之間的質(zhì)量而編碼的。
9.一種產(chǎn)生包括多個(gè)編碼數(shù)據(jù)塊的數(shù)據(jù)流的編碼器，所述多個(gè)編碼數(shù)據(jù)塊包括包含了用于解碼所述塊的所有信息的多個(gè)自足塊、以及僅包含用于解碼的部分信息的多個(gè)塊，其中，編碼器被配置為根據(jù)流中編碼的內(nèi)容，改變流中自足塊的間距，其中，所述流是主流，通過(guò)次流實(shí)現(xiàn)調(diào)入至主流，所述次流至少包括主流的數(shù)據(jù)塊的子集，該子集是以與主流的數(shù)據(jù)塊的質(zhì)量不同的質(zhì)量而編碼的，以及，其中，在主流中，在主流和次流中編碼的數(shù)據(jù)的質(zhì)量差別更不易察覺(jué)的位置處，插入自足塊。
10.一種調(diào)入至主流的方法，所述方法包括提供主流，所述主流包括多個(gè)編碼數(shù)據(jù)塊，所述多個(gè)編碼數(shù)據(jù)塊包括包含了用于解碼所述塊的所有信息的多個(gè)自足塊、以及僅包含用于解碼的部分信息的多個(gè)塊；提供次流，所述次流至少包括主流的數(shù)據(jù)塊的子集，該子集是以比主流的數(shù)據(jù)塊的質(zhì)量低的質(zhì)量而編碼的，其中，在主流中，在主流和次流中編碼的數(shù)據(jù)的質(zhì)量差別更不易察覺(jué)的位置處，插入自足塊；在接收到調(diào)入請(qǐng)求時(shí)，調(diào)入至次流和主流；對(duì)次流進(jìn)行解碼，直到主流上的自足塊到達(dá)為止，或者直到達(dá)到所需的主流解碼器緩沖器填充水平為止；以及在主流上的自足塊到達(dá)時(shí)，或者在達(dá)到所需的主流解碼器緩沖器填充水平時(shí)，停止對(duì)次流的解碼，并開始對(duì)主流解碼。
11.根據(jù)權(quán)利要求10所述的方法，其中，將主流和次流提供給接收機(jī)，其中，次流包括多個(gè)自足塊，次流中自足塊的間距比主流中自足塊的間距短。
12.根據(jù)權(quán)利要求11所述的方法，其中，次流還包括僅包含了用于解碼的部分信息的多個(gè)塊。
13.根據(jù)權(quán)利要求10所述的方法，其中，將主流和次流經(jīng)由服務(wù)器提供給接收機(jī)，其中，響應(yīng)于調(diào)入請(qǐng)求，將次流從服務(wù)器提供給接收機(jī)以供解碼，直到主流上的自足塊到達(dá)為止，或者直到達(dá)到所需的主流解碼器緩沖器填充水平為止。
14.根據(jù)權(quán)利要求10所述的方法，還包括對(duì)解碼的主流進(jìn)行后處理，以減弱從低質(zhì)量次流到高質(zhì)量主流的過(guò)渡的突然性。
15.根據(jù)權(quán)利要求14所述的方法，其中，后處理包括對(duì)解碼的主流進(jìn)行濾波，其中，在預(yù)定數(shù)目的多個(gè)塊上對(duì)濾波器系數(shù)進(jìn)行改變，以逐漸提高質(zhì)量，或者后處理包括以數(shù)目較少的一組解碼系數(shù)開始對(duì)主流的解碼，并在預(yù)定數(shù)目的多個(gè)塊上對(duì)該組解碼系數(shù)進(jìn)行調(diào)整，以逐漸提高主流質(zhì)量。
16.根據(jù)權(quán)利要求10所述的方法，還包括提供附加的次流，所述附加的次流至少包括主流的數(shù)據(jù)塊的子集，該子集是以主流數(shù)據(jù)塊的編碼質(zhì)量與次流數(shù)據(jù)塊的編碼質(zhì)量之間的質(zhì)量而編碼的，其中，對(duì)次流進(jìn)行解碼，直到所述附加的次流上的自足塊到達(dá)為止，以及其中，對(duì)所述附加的次流進(jìn)行解碼，直到主流上的自足塊到達(dá)為止。
17.根據(jù)權(quán)利要求16所述的方法，其中，提供多個(gè)附加的次流，每個(gè)附加的次流至少包括主流的數(shù)據(jù)塊的子集，該子集是以主流數(shù)據(jù)塊的編碼質(zhì)量與次流數(shù)據(jù)塊的編碼質(zhì)量之間的不同質(zhì)量而編碼的。
18.根據(jù)權(quán)利要求10所述的方法，還包括針對(duì)主流或次流中的每一個(gè)自足塊提供切換塊，或者針對(duì)主流或次流中的每一組塊提供一組切換塊，其中切換塊是以主流數(shù)據(jù)塊的質(zhì)量與次流數(shù)據(jù)塊的質(zhì)量之間的質(zhì)量而編碼的。
19.根據(jù)權(quán)利要求18所述的方法，其中，將切換塊或所述一組切換塊與主流或次流一起提供，或者獨(dú)立于主流和次流而單獨(dú)提供。
20.根據(jù)權(quán)利要求10所述的方法，還包括將次流或主流中的切換點(diǎn)用信號(hào)通知給用于解碼次流和主流的解碼器；以及在開始解碼主流之前，將解碼器從解碼次流的模式切換到解碼主流的模式。
21.根據(jù)權(quán)利要求10所述的方法，其中，主流和次流與多信道傳輸系統(tǒng)的信道相關(guān)聯(lián)， 其中，調(diào)入請(qǐng)求指示從多信道傳輸系統(tǒng)的當(dāng)前信道改變到多信道傳輸系統(tǒng)的新信道，其中，對(duì)次流進(jìn)行解碼，直到主流上的自足塊到達(dá)為止，或者直到達(dá)到所需的主流解碼器緩沖器填充水平為止。
22.根據(jù)權(quán)利要求10所述的方法，其中，主流和次流與流相關(guān)聯(lián)，其中，調(diào)入請(qǐng)求發(fā)起至所述流的初始調(diào)入，其中，對(duì)次流進(jìn)行解碼，直到主流上的自足塊到達(dá)為止，或者直到達(dá)到所需的主流解碼器緩沖器填充水平為止。
23.根據(jù)權(quán)利要求10所述的方法，其中，主流和次流與按照用戶需求而獲得的流相關(guān)聯(lián)，其中，調(diào)入請(qǐng)求發(fā)起至所述流的初始調(diào)入，其中，對(duì)次流進(jìn)行解碼，直到達(dá)到所需的主流解碼器緩沖器填充水平為止。
24.一種用于接收編碼數(shù)據(jù)并提供解碼輸出數(shù)據(jù)的解碼器，該解碼器包括用于接收主流和次流的輸入，主流包括多個(gè)編碼數(shù)據(jù)塊，所述多個(gè)編碼數(shù)據(jù)塊包括包含了用于解碼所述塊的所有信息的多個(gè)自足塊、以及僅包含用于解碼的部分信息的多個(gè)塊，其中，次流至少包括主流的數(shù)據(jù)塊的子集，該子集是以比主流的數(shù)據(jù)塊的質(zhì)量低的質(zhì)量而編碼的，其中，在主流中，在主流和次流中編碼的數(shù)據(jù)的質(zhì)量差別更不易察覺(jué)的位置處， 插入自足塊；用于接收調(diào)入請(qǐng)求信號(hào)的控制輸入；以及耦接至所述輸入和控制輸入的解碼部分，解碼部分用于產(chǎn)生解碼輸出數(shù)據(jù)，解碼部分適于在控制輸入處接收到調(diào)入請(qǐng)求時(shí)調(diào)入至次流，以對(duì)次流解碼，直到主流上的自足塊到達(dá)為止，或者直到達(dá)到所需的主流解碼器緩沖器填充水平為止，解碼部分適于在主流上的自足塊到達(dá)時(shí)，或者在達(dá)到所需的主流解碼器緩沖器填充水平時(shí)，停止對(duì)次流的解碼，并且開始對(duì)主流解碼。
25.一種用于存儲(chǔ)指令的計(jì)算機(jī)可讀介質(zhì)，當(dāng)由計(jì)算機(jī)執(zhí)行時(shí)，所述指令執(zhí)行一種產(chǎn)生包括多個(gè)編碼數(shù)據(jù)塊的數(shù)據(jù)流的方法，所述多個(gè)編碼數(shù)據(jù)塊包括包含了用于解碼所述塊的所有信息的多個(gè)自足塊、以及僅包含用于解碼的部分信息的多個(gè)塊，其中根據(jù)流中編碼的內(nèi)容，改變流中自足塊的間距，其中，所述流是主流，通過(guò)次流實(shí)現(xiàn)調(diào)入至主流，所述次流至少包括主流的數(shù)據(jù)塊的子集，該子集是以與主流的數(shù)據(jù)塊的質(zhì)量不同的質(zhì)量而編碼的，其中，在主流中，在主流和次流中編碼的數(shù)據(jù)的質(zhì)量差別更不易察覺(jué)的位置處，插入自足塊。
全文摘要
一種產(chǎn)生數(shù)據(jù)流的方法，該流包括多個(gè)編碼數(shù)據(jù)塊。編碼數(shù)據(jù)塊包括包含了用于對(duì)塊進(jìn)行解碼的所有信息的多個(gè)自足塊、以及僅包含用于解碼的部分信息的多個(gè)塊。流中自足塊的間距根據(jù)流中編碼的內(nèi)容而改變。該流是主流，并通過(guò)次流實(shí)現(xiàn)調(diào)入至主流，次流至少包括主流的數(shù)據(jù)塊的子集，該子集是以與主流的數(shù)據(jù)塊的質(zhì)量不同的質(zhì)量而編碼的，其中，在主流中，在主流和次流中編碼的數(shù)據(jù)的質(zhì)量差別更不易察覺(jué)的位置處，插入自足塊。
文檔編號(hào)H04L29/06GK102217272SQ200980145254
公開日2011年10月12日 申請(qǐng)日期2009年11月2日 優(yōu)先權(quán)日2008年11月12日
發(fā)明者烏爾夫·延內(nèi)哈格, 史蒂芬·道爾拉, 哈拉爾德·?？怂? 尼克拉斯·費(fèi)伯爾, 赫伯特·托馬 申請(qǐng)人:弗勞恩霍夫應(yīng)用研究促進(jìn)協(xié)會(huì)