專利名稱：容錯的視頻傳輸方案的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總地涉及視頻處理，更具體地涉及用于編碼視頻以供例如在網(wǎng)絡(luò)上傳輸?shù)姆椒ê驮O(shè)備。附圖
簡述本發(fā)明的各實(shí)施例在各附圖中是以示例方式而非限定方式示出的，在附圖中相似的附圖標(biāo)記指代相似的要素。
圖I是不出用于相互依存的GOP視頻巾貞傳輸?shù)默F(xiàn)有技術(shù)方法的圖。圖2是示出根據(jù)本發(fā)明的一些實(shí)施例的如何可能傳輸視頻的框圖。圖3是示出根據(jù)ー些實(shí)施例的如何可能使用幀子序列傳輸視頻的圖。
具體實(shí)施例方式對遠(yuǎn)程、高質(zhì)量視頻傳輸?shù)男枨笳兊迷絹碓狡毡榇嬖?。例?對于諸如視頻會議、視頻點(diǎn)播、數(shù)字電視之類的實(shí)時或準(zhǔn)實(shí)時應(yīng)用以及許多其它應(yīng)用而言，需要高效的視頻流傳輸方法。大多數(shù)方法使用所謂的有損壓縮視頻傳輸技木，以滿足低帶寬環(huán)境下的定時限制。在此類技術(shù)下，信息是固有地喪失的，但視頻文件尺寸的減小總地來說在價值上高于用戶感受到的視頻觀看缺憾。采用幀間依存性的有損視頻編碼標(biāo)準(zhǔn)被普遍使用。例如，在所謂的圖象組(GOP)相互依存的組幀方案(例如MPEG-4)下，多個參考幀(通常稱為“ I ”幀)對給定幀圖像傳輸場景可見信息的絕大部分(若非全部的話)。它們散布在其它幀(所謂的“P”幀和“B”幀)內(nèi)。P幀是前向預(yù)測的幀，而B幀是雙向預(yù)測的幀。P幀和I幀可被序列幀中后續(xù)的其它幀參考。ー個B幀相對于過去的參考幀、未來的參考幀或這兩個幀予以編碼。P幀和B幀對于它們的大量場景信息是參考I幀獲得的。它們本質(zhì)上僅承載相對于相關(guān)的I幀改變的場景的諸部分。相應(yīng)地，它們能比I幀小許多(數(shù)據(jù)大小)，因此使視頻序列能被極大程度地壓縮。圖I以圖形方式示出目前如何使用相互依存的I、P和B幀對源視頻文件編碼并將其組織成幀的圖象組(GOP)序列?？?02表示來自視頻源的實(shí)際圖象的源流，該源流組成要被編碼和傳輸?shù)囊曨l。在104，幀圖象被編碼到相互依存的I、P和B幀的GOP序列中。這些幀根據(jù)視頻圖象序列本身被基本排序成單個序列。值得注意的是本說明書中的任何P或B幀在框306中繪出。雖然在此示例中使用了三個子序列，但對于一般方法而言，源視頻幀序列被劃分成兩個或更多個子序列組(子序列)。使用更多子序列通常導(dǎo)致更小的失真等，但可能更難以在解碼器中及時地還原到一起。因此，應(yīng)當(dāng)考慮這些對立因素之間的折衷。根據(jù)各種設(shè)計考量，例如平均視頻文件尺寸、所需分辨率/質(zhì)量以及硬件能力等等(這里僅提到了其中一部分)，可采用任何適當(dāng)?shù)淖有蛄袛?shù)量。如上面所討論的，在大多數(shù)情況下，每個子序列中的幀間編碼僅參考來自同一子序列的其它幀。此外，這種約束的ー個例外是當(dāng)各個子序列中的諸前導(dǎo)幀參考一共同的前導(dǎo)參考幀時。這種情況示出在圖3的框304和308中。換言之，子序列中的諸個幀應(yīng)當(dāng)僅參考來自該同一子序列的其它幀，除非例如如果它們參考共同的前導(dǎo)參考幀。在一些實(shí)施例中，當(dāng)將來自源視頻幀序列的諸幀劃分成子序列時，通過子序列交替來完成子序列/幀分配。例如，通過使用兩個子序列和H264標(biāo)準(zhǔn)，編碼器可被配置成將源文件幀劃分成兩個子序列。例如，通過使用靈活H264幀分配特征，編碼器可將“奇數(shù)”幀分配給“奇數(shù)”幀子序列，并將“偶數(shù)”幀分配給“偶數(shù)”幀子序列。從這里開始，然后編碼器分配幀間參考關(guān)系，以使奇數(shù)幀參考其它的奇數(shù)幀，且使偶數(shù)幀參考其它的偶數(shù)幀。然后編碼器產(chǎn)生H264流并在網(wǎng)絡(luò)上傳輸該H264流。作為另ー示例，對于三子序列方案(在圖3中示出)，可采用交替的三組(子序列)方案?？蓪⒌谝粠峙浣o第一子序列，將第二幀分配給第二子序列，將第三幀分配給第三子序列，將第四幀返回分配給第一子序列，第五幀分配給第二子序列，依此類推。也就是說，第N幀將去往為N/[所使用的子序列數(shù)]的余數(shù)的子序列。
在此示例的情況下，在解碼器中，可應(yīng)用鏡像相反的過程來恢復(fù)原始幀順序。gp，就對來自子序列的幀進(jìn)行解包而言，解碼過程通常與編碼幀分配過程相反。因此，在上述使用三子序列的例子中，第一幀來自子序列I的第一幀，第二整體幀來自子序列2的第一幀，第三幀來自子序列3的第一幀，第四幀來自子序列I的第二幀，第五幀來自子序列2的第二幀，依此類推。使用具有靈活幀參考能力的壓縮標(biāo)準(zhǔn)(例如H264)的好處在于，利用這ー特征，將無需不同地設(shè)計解碼器以適應(yīng)所提出的組成子序列的方法的諸實(shí)現(xiàn)方式。解碼器可如剛剛討論那樣對這些幀解包，而無需知曉或關(guān)注它們正在利用如本文中所教導(dǎo)的組成子序列的方法。通過使用這樣的多次組成子序列的編碼/解碼過程，來自有缺陷的子序列或子序列中的有缺陷的幀組的影響被最小化，這使得即使在傳輸期間發(fā)生某些幀的丟失或敗壞，也保持高的視頻質(zhì)量。例如，想象子序列得到一斷裂幀的情形。斷裂幀會影響來自其子序列的后續(xù)諸幀，但不影響其它子序列中的那些后續(xù)諸幀。這在框308中通過陰影框示出。其它子序列中的幀不依存于斷裂的子序列，因此其它子序列毫無問題地被解碼，如框310所示那樣。因此，如果在傳輸期間出現(xiàn)錯誤，且所解碼的幀具有可見矯波，則來自“斷裂”的子序列的幀將與來自另一子序列的完好幀交織。可能看起來像屏幕上的少許閃爍，但絕非如若不然則可能出現(xiàn)的缺陷，且整體視覺質(zhì)量不會明顯受損。在之前的描述中，闡述了多個具體細(xì)節(jié)。然而，應(yīng)該理解本發(fā)明的實(shí)施例可在沒有這些特定細(xì)節(jié)的情況下實(shí)施。在其它情況下，可能沒有詳細(xì)示出公知的電路、結(jié)構(gòu)和技木，以免使本說明書的理解變得晦澀。鑒于此，對“ 一個實(shí)施例”、“ー實(shí)施例”、“示例實(shí)施例”、“各實(shí)施例”等的引用表示如此描述的本發(fā)明的實(shí)施例可包括特定的特征、結(jié)構(gòu)或特性，但并非每個實(shí)施例都必須包括那些特定的特征、結(jié)構(gòu)或特性。此外，一些實(shí)施例可具有針對其 它實(shí)施例描述的特征中的ー些、全部或者不具有這些特征。例如，如本文中所教導(dǎo)，雖然示出使用子序列來傳輸視頻文件的編碼器在網(wǎng)絡(luò)上傳輸幀，但應(yīng)當(dāng)理解，不是在所有應(yīng)用中都要使用網(wǎng)絡(luò)，例如，可將本發(fā)明的編碼方案用于通過存儲介質(zhì)傳輸?shù)奈募?諸如影碟或其它存儲方法的情況)。在之前的說明書和所附權(quán)利要求書中，以下術(shù)語應(yīng)當(dāng)作如下解釋可使用術(shù)語“耦合的”和“連接的”以及其衍生詞。應(yīng)當(dāng)理解，這些術(shù)語并不意圖作為彼此的同義詞。相反，在特定實(shí)施例中，“連接”用于指示兩個或多個要素相互直接物理或電氣接觸?！榜詈稀庇糜谥甘緝蓚€或多個要素彼此合作或相互作用，但它們可以直接物理或電接觸或者不那樣。本發(fā)明不限于所描述的實(shí)施例，而能在所附權(quán)利要求書的精神和范圍內(nèi)修改和變更的情況下實(shí)施。例如，應(yīng)理解本發(fā)明能適用于所有類型的半導(dǎo)體集成電路(“1C”)芯片。這些IC芯片的示例包括但不限于處理器、控制器、芯片集組件、可編程邏輯陣列(PLA)、存儲器芯片、網(wǎng)絡(luò)芯片及類似物。應(yīng)理解，在一些附圖中，通過直線表示信號導(dǎo)體線。ー些線可能更粗，以指示更 多組成的信號路徑，ー些線可能具有數(shù)字標(biāo)記，以指示多個組成的信號路徑，和/或一些線可能在一端或更多端具有箭頭，以指示主要的信息流向。然而，這不應(yīng)當(dāng)按照限制的意義來解釋。相反，這些添加的細(xì)節(jié)可與一個或多個示例性實(shí)施例結(jié)合使用，以便更容易理解電路。任何表示的信號線(無論是否具有附加信息)可實(shí)際上包括沿多個方向傳播的ー個或多個信號，并可通過任何適當(dāng)類型的信號方案來實(shí)現(xiàn)，例如利用差分對實(shí)現(xiàn)的數(shù)字或模擬線、光纖線和/或單端線。應(yīng)理解，可能已給出示例尺寸/模型/值/范圍，盡管本發(fā)明不限于此。隨著制造技術(shù)(例如光刻法)隨時間而成熟，預(yù)期能制造更小尺寸的器件。此外，為了說明和討論簡單起見，且為了不便本發(fā)明變得晦澀，在附圖中可能示出公知的與IC芯片和其它組件的電源/接地連接也可能不予以示出。此外，以框圖形式示出配置，以避免使本發(fā)明變得晦澀，且有鑒于關(guān)于此類框圖配置的實(shí)現(xiàn)方式的細(xì)節(jié)很大程度上取決于本發(fā)明實(shí)現(xiàn)在的平臺的這一事實(shí)，即此類細(xì)節(jié)完全應(yīng)當(dāng)在本領(lǐng)域普通技術(shù)人員的視界內(nèi)。在陳述具體細(xì)節(jié)(例如電路)以描述本發(fā)明的示例實(shí)施例的情況下，對本領(lǐng)域普通技術(shù)人員應(yīng)顯而易見的是，本發(fā)明能在沒有這些具體細(xì)節(jié)或在這些具體細(xì)節(jié)的變型的情況下實(shí)施。因此這些描述被視為是說明性的而非限制性的。
權(quán)利要求
1.一種芯片，包括 圖形處理器，用于通過將幀關(guān)聯(lián)到兩個或更多個不同的子序列中來編碼視頻幀序列。
2.如權(quán)利要求I所述的芯片，其特征在于，所述兩個或更多個子序列將在網(wǎng)絡(luò)上傳輸。
3.如權(quán)利要求2所述的芯片，其特征在于，所述子序列將在不同的網(wǎng)絡(luò)分組中傳輸。
4.如權(quán)利要求I所述的芯片，其特征在于，來自所述視頻幀序列的幀分布在所述兩個或更多個子序列中，使得每個子序列包括從始至終地遍及源視頻幀序列的幀。
5.如權(quán)利要求I所述的芯片，其特征在于，使用三個子序列。
6.如權(quán)利要求I所述的芯片，其特征在于，使用MPEG-4編碼方案。
7.—種電子設(shè)備,包括 圖形處理器，所述圖形處理器具有解碼器，所述解碼器用于將源視頻幀序列的兩個或更多個不同的子序列解碼成能顯示的視頻格式。
8.如權(quán)利要求7所述的設(shè)備，其特征在于，包括網(wǎng)絡(luò)接口，所述網(wǎng)絡(luò)接口用于在網(wǎng)絡(luò)上接收所述兩個或更多個子序列。
9.如權(quán)利要求8所述的設(shè)備，其特征在于，所述子序列將在不同的網(wǎng)絡(luò)分組中傳輸。
10.如權(quán)利要求7所述的設(shè)備，其特征在于，來自所述源視頻幀序列的幀分布在所述兩個或更多個子序列中，使得每個子序列包括從始至終地遍及所述源視頻幀序列的幀。
11.如權(quán)利要求7所述的設(shè)備，其特征在于，使用MPEG-4解碼方案。
12.如權(quán)利要求11所述的設(shè)備，其特征在于，將使用H264壓縮標(biāo)準(zhǔn)。
13.—種方法,包括 將源視頻幀序列劃分成兩個或更多個子序列；以及 將用于每個子序列內(nèi)的幀的相互依存的幀參考基本上僅分配給同一子序列內(nèi)的其它幀。
14.如權(quán)利要求13所述的方法，其特征在于，包括將來自每個子序列中的幀的參考關(guān)系分配給在所述子序列之前的共同參考幀。
15.如權(quán)利要求14所述的方法，其特征在于，所述共同參考幀在所有所述子序列之外。
16.—種服務(wù)器,包括 編碼器，用于將源視頻幀序列劃分成兩個或更多個子序列，并將用于每個子序列內(nèi)的幀的相互依存的幀參考基本上僅分配給同一子序列內(nèi)的其它幀。
17.如權(quán)利要求16所述的服務(wù)器，其特征在于，所述分配包括將來自每個子序列中的幀的參考關(guān)系分配給在所述子序列之前的共同參考幀。
18.如權(quán)利要求17所述的服務(wù)器，其特征在于，所述共同參考幀在所有所述子序列之外。
19.如權(quán)利要求17所述的服務(wù)器，其特征在于，采用H264壓縮標(biāo)準(zhǔn)。
全文摘要
本文提供了一種使用多個子序列來傳遞視頻幀序列的GOP方法。
文檔編號H04N7/26GK102714719SQ201080061292
公開日2012年10月3日 申請日期2010年1月13日 優(yōu)先權(quán)日2010年1月13日
發(fā)明者V·F·切瑞潘諾夫 申請人:英特爾公司