專利名稱：視頻編碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及-見頻編碼。
技術(shù)背景視頻序列由 一 系列靜止圖像或幀構(gòu)成。視頻壓縮方法是基于減少 視頻序列的冗余和感覺上不相關(guān)的部分。視頻序列中的冗余度可以分 為光譜、空間及時間冗余度。光譜冗佘度指的是相同圖像的不同彩色 成分之間的相似性?？臻g冗余度是由圖像中相鄰像素之間的相似性所 導(dǎo)致的。由于出現(xiàn)在前一圖像中的對象也可能出現(xiàn)在當(dāng)前圖像中，因 此存在時間冗余度。通過利用這種時間冗余度并且從稱作錨點(diǎn)或參考 圖像的另一圖像來預(yù)測當(dāng)前圖像，可以實(shí)現(xiàn)壓縮。通過產(chǎn)生描述當(dāng)前 圖像和前一圖像之間運(yùn)動的運(yùn)動補(bǔ)償數(shù)據(jù)，實(shí)現(xiàn)進(jìn)一步壓縮。但是，僅通過減小序列的固有冗余度通常無法實(shí)現(xiàn)足夠的壓縮。 因此，視頻編碼器還嘗試降低視頻序列中主觀上不太重要的那些部分 的質(zhì)量。另外，通過壓縮參數(shù)和系數(shù)的有效無損編碼，減小了編碼比 特流的冗余度。主要技術(shù)是采用可變長度碼。視頻壓縮方法通常區(qū)分采用時間冗余度壓縮和不采用時間冗余度 壓縮的圖像。不采用時間冗余度壓縮方法的壓縮圖像通常稱作INTRA 或I幀或I圖像。時間上預(yù)測的圖像通常是從出現(xiàn)在當(dāng)前圖像之前的圖 像進(jìn)行正向預(yù)測，并且稱作INTER或P幀。在INTER幀的情況下， 預(yù)測的運(yùn)動補(bǔ)償圖像幾乎都不夠精確，因此把空間上壓縮的預(yù)測差錯 幀與各INTER幀相關(guān)聯(lián)。INTER圖像可以包含INTRA編碼的區(qū)域。許多視頻壓縮方案還采用了時間上雙向預(yù)測的幀，它們通常稱作B圖像或B幀。B圖像插入I和/或P幀的錨點(diǎn)圖l象對之間，并且根據(jù) 這些錨點(diǎn)圖像中任一個或兩個來進(jìn)行預(yù)測。與正向預(yù)測圖像相比，B 圖像通常得到增大的壓縮。B圖像不用作錨點(diǎn)圖像，也就是說，不根 據(jù)它們來預(yù)測其它圖像。因此，它們可以被(有意或無意地)丟棄，而 不影響后續(xù)圖像的圖像質(zhì)量。雖然與P圖像相比，B圖像可以改善壓 縮性能，但是它們的產(chǎn)生要求較大的計(jì)算復(fù)雜度和存儲器用量，并且 它們還引入額外的延遲。對于如視頻流之類的非實(shí)時應(yīng)用，這可能不 成問題，但是在如電視會議之類的實(shí)時應(yīng)用中就會產(chǎn)生問題。壓縮的視頻剪輯通常由圖像序列構(gòu)成，它們可大致分為時間上獨(dú) 立的INTRA圖像和時間上差分編碼的INTER圖像。由于INTRA圖像 中的壓縮效率通常低于INTER圖像，因此保守地使用INTRA圖像， 尤其是在較低比特率的應(yīng)用中。視頻序列可以包含許多場景或鏡頭。不同場景之間，圖像內(nèi)容可 能明顯不同，因此，場景中的第一幅圖像通常是INTRA編碼的。電視 和電影素材中存在頻繁的場景變化，而在電視會議中場景剪接相對較 少。另夕卜，通常插入INTRA圖像來停止重構(gòu)的視頻信號中的傳輸差錯 在時間上的傳播，以及向視頻比特流提供隨機(jī)存取點(diǎn)。壓縮視頻易受到傳輸差錯的破壞，主要有兩個原因。首先，由于 利用了時間預(yù)測差分編碼(INTER幀)，在空間和時間上都傳播了差錯。 實(shí)際上，這意味著一旦出現(xiàn)差錯，較長時間內(nèi)肉眼容易看到。尤其易 受影響的是低比特率的傳輸，其中只有少量INTRA編碼的幀，因此在 一段時間內(nèi)時間上的差錯傳播不會停止。其次，可變長度碼的使用增 加了對差錯的敏感度。當(dāng)比特差錯改變了碼字時，解碼器會丟失碼字 同步，并且還會對后續(xù)的無差錯碼字(包括若干比特)進(jìn)行錯誤解碼， 直到下一個同步(或開始)碼為止。同步碼是一種位^^莫式，它無法根據(jù) 其它碼字的任何合法組合來產(chǎn)生，把這些碼不時地添加到比特流中來 實(shí)現(xiàn)再同步。另外，在傳輸過程中丟失數(shù)據(jù)時會產(chǎn)生差錯。例如，在 IP網(wǎng)絡(luò)中采用不可靠的UDP傳輸協(xié)議的視頻應(yīng)用中，網(wǎng)元可能丟棄部分的編碼視頻比特流。接收機(jī)有許多方法來解決傳輸路徑中引入的訛誤。 一般，在接收 到信號時，首先檢測傳輸差錯，然后再由接收機(jī)來校正或隱藏。糾錯 是指將錯誤數(shù)據(jù)恢復(fù)到完全象以前從未引入任何差錯一樣的處理。差 錯隱藏是指隱藏傳輸差錯的影響、使得在重構(gòu)的視頻序列中幾乎看不 到這些差錯的處理。通常由源或傳輸編碼添加一定量的冗余度，以便 幫助差錯檢測、糾正以及隱藏。差錯隱藏技術(shù)大致可分為三類正向 差錯隱藏、通過后處理的差錯隱藏以及交互差錯隱藏。術(shù)語"正向差 錯隱藏"是指這樣一些技術(shù)，其中，發(fā)射機(jī)側(cè)將冗余加入所發(fā)送的數(shù) 據(jù)，以便提高編碼數(shù)據(jù)的差錯恢復(fù)力。通過后處理的差錯隱藏是指對 接收信號的特性作出響應(yīng)而在解碼器上進(jìn)行的操作。這些方法估算錯 誤接收的數(shù)據(jù)的正確表示。在交互差錯隱藏中，發(fā)射機(jī)和接收機(jī)配合 工作，以便使傳輸差錯的影響減至最小。這類方法主要利用接收機(jī)提 供的反饋信息。通過后處理的差錯隱藏也可稱作纟皮動差錯隱藏，而其 它兩類代表主動差錯隱藏的形式。現(xiàn)有大量已知的隱藏算法，在Y. Wang和Q. -F. Zhu的"視頻通 信的差錯控制和隱藏述評"(Proceedings of the IEEE，第86巻，第5 期，1998年5月，第974-997頁)中以及在P. Salama、 N. B. Shroff、 E. J.Delp才是交給正EE Journal on Selected Areas in Communications的文章 "編碼視頻中的差錯隱藏"中，對這些算法提供了述評。當(dāng)前的視頻編碼標(biāo)準(zhǔn)為自給自足的視頻比特流定義了語法。編撰 時最通用的標(biāo)準(zhǔn)是ITU-T建議H.263,"低比特率通信的視頻編碼"， 1998年2月；ISO/正C 14496-2,"視聽對象的通用編碼，第2部分 視覺，，，1999年(稱作MPEG-4);以及ITU-T建議H.262(ISO/正C 13818-2)(稱作MPEG-2)。這些標(biāo)準(zhǔn)定義了用于比特流以及相應(yīng)地用于 圖像序列和圖像的分級結(jié)構(gòu)。在H.263中，語法具有包括四層的分層結(jié)構(gòu)圖像層、圖段層、 宏塊層以及塊層。圖像層的數(shù)據(jù)包含影響整個圖像區(qū)以及圖像數(shù)挺解碼的參數(shù)。這種數(shù)據(jù)的絕大部分安排在所謂的圖像信頭中。圖段層可以是塊層組或者一個片段層。缺省情況下，各圖像被分為多個塊組。 一個塊組(GOB)通常包含16個相繼的像素行。各GOB 的數(shù)據(jù)包含可選的GOB信頭以及隨后的宏塊數(shù)據(jù)。如果使用可選的片 段結(jié)構(gòu)化模式，則各圖像神支分為若干片段而不是若干GOB。 一個片段 包含多個按掃描順序排列的相繼宏塊。每片段的數(shù)據(jù)包含片段信頭以 及隨后的宏塊數(shù)據(jù)。各GOB或片段-波分成多個宏塊。 一個宏塊涉及到亮度的16 x 16 個像素(或2x2個塊)，以及空間上相應(yīng)的色度分量的8 x 8個像素(或 塊)。 一個塊涉及到亮度或色度的8x8個像素。塊層數(shù)據(jù)包含均勻量化的離散余弦變換系數(shù)，它們按Z字形順序 被掃描，釆用游程長度編碼器來處理，并采用可變長度碼來編碼。 MPEG-2和MPEG-4層分級結(jié)構(gòu)類似于H.263中的一個。缺省情況下，這些標(biāo)準(zhǔn)一般將時間上的前一參考圖像(I或P)(又稱 作錨點(diǎn)圖像)作為運(yùn)動補(bǔ)償?shù)膮⒖?。這條信息不會一皮發(fā)送，也就是說， 比特流不包含標(biāo)識參考圖像的信息。因此，解碼器無法檢測是否丟失 了參考圖像。雖然許多傳輸編碼器將視頻數(shù)據(jù)^:入若千數(shù)據(jù)包中并將 序號與這些數(shù)據(jù)包相關(guān)聯(lián)，但這些序號不與視頻比特流相關(guān)。例如， 一部分視頻比特流可能包含P圖像P1、 B圖像B2、 P圖像P3以及P 圖像P4，它們按這種順序被捕捉(以及被顯示)。然而，該部分將會按 以下順序進(jìn)行壓縮、傳送及解碼Pl、 P3、 B2、 P4，因?yàn)锽2在能夠 被編碼或解碼之前需要Pl和P3。假定每個圖像有一個數(shù)據(jù)包，每個 數(shù)據(jù)包含有一個序號，并且攜帶B2的數(shù)據(jù)包已丟失，則接收機(jī)能夠根 據(jù)數(shù)據(jù)包序號來檢測該數(shù)據(jù)包丟失。但是，接收機(jī)無法檢測是否丟失 了 P4的運(yùn)動補(bǔ)償參考圖像或者是否丟失了 B圖像，在該情況下它能 夠正常地繼續(xù)進(jìn)行解碼。因此，解碼器通常向發(fā)射機(jī)發(fā)送INTRA請求，并凍結(jié)顯示器上的 圖像。但發(fā)射機(jī)可能不會響應(yīng)這個請求。例如在非實(shí)時視頻流應(yīng)用中，發(fā)射機(jī)無法響應(yīng)來自解碼器的INTRA請求。因此，解碼器凍結(jié)圖像， 直至接收到下一個INTRA幀。在實(shí)時應(yīng)用、如電視會議中，發(fā)射機(jī)可 能無法響應(yīng)。例如，在多方會議中，編碼器可能無法響應(yīng)各個請求。 解碼器還是凍結(jié)圖像，直到發(fā)射機(jī)輸出INTRA幀。 發(fā)明內(nèi)容根據(jù)本發(fā)明的第一方面，提供一種對表示圖像序列的視頻信號進(jìn) 行編碼的方法，該方法既采用了非時間預(yù)測又采用了時間預(yù)測，其中 所述方法包括對于構(gòu)成用于另 一圖像的時間預(yù)測的參考圖像的每個 圖像，將指示符與每個這樣的圖像相關(guān)聯(lián)，該指示符指明編碼視頻信 號中的參考圖像相對于編碼視頻信號中的其它參考圖像的時間順序。這樣，每個參考圖像(如I幀和P幀)均與序號相聯(lián)系。最好是在每 次對參考圖像進(jìn)行編碼時使指示符遞增。最佳方法是，在每次對參考 圖像進(jìn)行編碼時使指示符加一。這樣，指示符在前一參考圖像的基礎(chǔ) 上加一。如果使用多層編碼，則這個指示符最好是在相同增強(qiáng)層中的前一 參考圖像的基礎(chǔ)上加一。包含該指示符意味著解碼器能夠確定是否丟失了參考圖像并且在 有效時采取適當(dāng)?shù)男袆?。即使傳輸協(xié)議未包含與發(fā)送的數(shù)據(jù)包有關(guān)的 序列信息，或者發(fā)射機(jī)使用了變化封裝策略，情況也是如此。例如， 如果發(fā)射機(jī)在一個數(shù)據(jù)包中封裝了不定數(shù)量的GOB,則接收機(jī)即使能 夠根據(jù)數(shù)據(jù)包序號來檢測數(shù)據(jù)包丟失，也無法可靠地知道丟失了多少 GOB或者整個圖像。本發(fā)明還使解碼器能夠把B圖像丟失與參考圖像丟失區(qū)分開。因 此，解碼器在B圖像丟失之后能夠繼續(xù)進(jìn)行解碼，而不是等待下一個 INTRA圖像。另外，如果丟失了來自較高增強(qiáng)層的參考圖像，則解碼器可以繼 續(xù)對較低增強(qiáng)層進(jìn)行解碼。參考圖像序號可以與整個圖像或圖像的一部分有關(guān)。在前一種情況下，參考圖像序號通常包含在圖像信頭中。在本發(fā)明的一種最佳實(shí)現(xiàn)中，視頻信號是根據(jù)H.263標(biāo)準(zhǔn)編碼的，而指示符包含在附加增強(qiáng) 信息中。在RPON與圖像的一部分有關(guān)的情況下，參考圖像序號可以 包含在編碼圖像的圖段信頭或宏塊信頭中。根據(jù)本發(fā)明的笫二方面，提供一種對表示圖像序列的編碼視頻信 號進(jìn)行解碼的方法，該方法包括接收編碼視頻信號；對每個接收的 圖像進(jìn)行解碼；對于構(gòu)成另 一個圖像的參考圖像的每個待解碼圖像， 檢查表示參考幀的時間順序的指示符；以及如果指示符不是連續(xù)地從 緊靠前面的已解碼的參考幀得出的，則檢測丟失的參考幀。解碼器最好是向發(fā)射機(jī)發(fā)送請求，使其在指示符不是連續(xù)地從緊 靠前面的已解碼的參考幀得出的情況下，以非時間方式對圖像進(jìn)行編 碼。根據(jù)本發(fā)明的第三方面，提供一種編碼視頻信號，其中，對于構(gòu) 成用于另一圖像的時間預(yù)測的參考圖像的每個圖像，將指示符與每個 這樣的參考圖像相關(guān)聯(lián)，指示編碼視頻流中參考圖像的時間順序。根據(jù)本發(fā)明的第四方面，提供一種視頻編碼器，它包括輸入，用 于接收表示圖像序列的視頻信號以及產(chǎn)生編碼圖像，所述編碼器被設(shè) 置成既采用非時間預(yù)測又采用時間預(yù)測，其中所述編碼器^皮設(shè)置成 對于構(gòu)成用于另 一圖像的時間預(yù)測的參考圖像的每個圖像，將各參考 圖像與指示符相關(guān)聯(lián)，指示符指明編碼視頻信號中的參考圖像相對于編碼視頻信號中的其它參考圖像的時間順序。最好是在每次對參考圖像進(jìn)行編碼時使指示符遞增。 根據(jù)本發(fā)明的第五方面，提供一種視頻解碼器，它包括用于接 收表示圖像序列的編碼視頻信號的輸入；用于對每個接收的圖像進(jìn)行 解碼的解碼器，所述解碼器被設(shè)置成對于構(gòu)成另一圖像的參考圖像的 每個待解碼圖像、檢查表示參考幀的時間順序的指示符，并且在指示符不是連續(xù)地從緊靠前面的解碼參考幀得出的情況下，檢測丟失的參 考幀。本發(fā)明還涉及便攜式無線電通信裝置，其中包括上述的編碼器和/ 或解碼器。


僅以舉例的方式參照附圖來描述本發(fā)明，圖中 圖1說明一種多々某體移動通信系統(tǒng)； 圖2說明多^ 某體終端的多i某體組件的一個實(shí)例； 圖3說明視頻編解碼器的一個實(shí)例；圖4說明根據(jù)本發(fā)明的第一實(shí)施例的視頻編碼器的第一種實(shí)現(xiàn)的 操作；圖5說明根據(jù)本發(fā)明的第一實(shí)施例的視頻編碼器的第二種實(shí)現(xiàn)的操作；圖6說明根據(jù)H.263所知的比特流的語法；圖7說明根據(jù)本發(fā)明的編碼器所輸出的比特流的第 一實(shí)例；圖8說明根據(jù)本發(fā)明的編碼器所輸出的比特流的第二實(shí)例；圖9說明根據(jù)本發(fā)明的編碼器所輸出的比特流的第三實(shí)例；圖IO說明視頻編碼中用于SNR可縮;故性的增強(qiáng)層；以及圖11說明視頻編碼中用于空間可縮放性的增強(qiáng)層。
具體實(shí)施方式
圖1說明一種典型的多々某體移動通信系統(tǒng)。第一多々某體移動終端 1通過到移動通信網(wǎng)絡(luò)4的無線電鏈路3與第二多J 某體移動終端2進(jìn) 行通信。在兩個終端l、 2之間發(fā)送控制數(shù)據(jù)以及多媒體數(shù)據(jù)。圖2說明終端1的典型多力某體組件。終端包括視頻編解碼器10、 音頻編解碼器20、數(shù)據(jù)協(xié)議管理器30、控制管理器40、復(fù)用器/分用 器50以及調(diào)制解調(diào)器60(如杲需要的話)。視頻編解碼器10從終端的 視頻捕捉裝置(未標(biāo)出)(如攝像機(jī))接收要編碼的信號，以及從遠(yuǎn)程終端 2接收要解碼的信號，以供終端1在顯示器70上顯示。音頻編解碼器 20從終端1的傳聲器(未標(biāo)出)接收要編碼的信號，以及從遠(yuǎn)程終端2 接收要解碼的信號，以便通過終端1的揚(yáng)聲器(未標(biāo)出)再現(xiàn)。..10控制管理器40控制視頻編解碼器10、音頻編解碼器20以及數(shù)據(jù) 協(xié)議管理器30的操作。但是，由于本發(fā)明與視頻編解碼器10的操作 有關(guān)，因此不再對音頻編解碼器20和協(xié)議管理器30進(jìn)行討論。圖3說明根據(jù)本發(fā)明的視頻編解碼器10的實(shí)例。視頻編解碼器包 括編碼器部分100和解碼器部分200。編碼器部分100包括輸入101 ， 用于從終端1的攝像機(jī)或視頻源(未標(biāo)出)接收視頻信號。切換器102 使編碼器在編碼的INTRA模式和INTER模式之間進(jìn)行切換。在INTRA模式中，來自輸入101的視頻信號由DCT變換器103 轉(zhuǎn)換為DCT系數(shù)。然后，DCT系數(shù)^皮傳遞鄉(xiāng)合將系數(shù)量化的量化器104。 切換器102和量化器104均由視頻編解碼器的編碼控制管理器105控 制，編碼控制管理器105還通過控制管理器40從接收終端2接收反饋 控制。在INTER模式中，對切換器102進(jìn)行操作，以便從減法器106接 收來自輸入101的信號與存儲在圖像存儲器107中的前一圖像之差。 從減法器106輸出的差數(shù)據(jù)表示當(dāng)前圖像與存儲在圖像存儲器107中 的前一圖像之間的預(yù)測誤差。使量化器輸出的數(shù)據(jù)通過逆量化器108， 并將逆DCT變換109應(yīng)用于逆量化的數(shù)據(jù)，從而產(chǎn)生圖像存儲器107 中的數(shù)據(jù)。所產(chǎn)生的數(shù)據(jù)由加法器IIO加入圖像存儲器107的內(nèi)容中。 運(yùn)動估算器111可以從圖像存儲器107的數(shù)據(jù)中以傳統(tǒng)方式產(chǎn)生運(yùn)動 補(bǔ)償數(shù)據(jù)。編碼控制管理器105確定是應(yīng)用INTRA還是應(yīng)用INTER編碼， 或者完全根據(jù)減法器106的輸出或者對接收解碼器接收的反饋控制數(shù) 據(jù)作出響應(yīng)，對幀進(jìn)行編碼。在不對反々貴控制數(shù)據(jù)作出響應(yīng)時，或者 僅在編碼開始時(所有其它幀是P幀)，或者按照一定間隔，例如每5 秒，或者在減法器的輸出超過閾值時，即當(dāng)前圖像和存儲在圖像存儲 器107中的圖像大不相同時，編碼器通常將幀編碼為INTRA幀。還可 以對編碼器進(jìn)行編程，以便按特別規(guī)定的序列、如IBBPBBPBBP BBPBBIBBP等對幀進(jìn)行編碼。另外，編碼控制管理器還可以確定對某個接收的幀完全不編碼。在當(dāng)前幀和參考幀之間的相似性極高、 使得編碼器決定不對當(dāng)前幀進(jìn)行編碼時，出現(xiàn)這種情況。編碼控制管 理器相應(yīng)地操作切換器。視頻編解碼器輸出經(jīng)量化的DCT系數(shù)112a、量化索引112b(即所 用量化器的詳細(xì)資料)、表明所執(zhí)行的編碼模式(I或P/B)的 INTRA/INTER標(biāo)志112c、表明所編碼的幀的號碼的發(fā)送標(biāo)志112d以 及所編碼的圖像的運(yùn)動矢量112e。它們與其它多媒體信號共同由復(fù)用 器50復(fù)用在一起。視頻編解碼器10的解碼器部分200包括逆量化器120、逆DCT 變換器121、運(yùn)動補(bǔ)償器122、圖像存儲器123以及控制器124?？刂?器124接收由分用器50從編碼多々某體流中分用的視頻編解碼器控制信 號。實(shí)際上，編碼器的控制器105和解碼器的控制器124可以是同一 個處理器。下面說明根據(jù)本發(fā)明的編碼器的操作。視頻編解碼器IO接收待編 碼的視頻信號。視頻編解碼器的編碼器IOO通過執(zhí)行DCT變換、量化 以及運(yùn)動補(bǔ)償來對視頻信號進(jìn)行編碼。然后，經(jīng)解碼的視頻數(shù)據(jù)輸出 給復(fù)用器50。復(fù)用器50將來自視頻編解碼器10的視頻數(shù)據(jù)和來自控 制管理器40的控制數(shù)據(jù)(以及其它適當(dāng)?shù)男盘?復(fù)用為多々某體信號。終 端1將此多媒體信號經(jīng)調(diào)制解調(diào)器60(根據(jù)需要)輸出給接收終端2。在本發(fā)明的第 一實(shí)施例中，每次編碼器對可能形成后續(xù)幀的參考 幀的一幀進(jìn)行編碼時，編碼控制管理器105將所謂的參考圖像序號 (RPON)與該幀相關(guān)聯(lián)。例如，RPON與-見頻信號的每個I或P幀相關(guān) 聯(lián)，但不與B幀相關(guān)聯(lián)。每次對連續(xù)參考圖像進(jìn)行編碼時，使RPON 值遞增，最好是加l。編碼控制管理器105在輸出112f處輸出RPON碼字，指明與所編 碼的幀相關(guān)聯(lián)的參考圖像序號。由復(fù)用器將其復(fù)用到視頻比特流中。圖4說明編碼器的操作。在本實(shí)施例中，編碼器被設(shè)置成當(dāng)所編 碼的幀和參考幀之間的相似性小于第一閾值時，即減法器.〗06的輸出大于第一閾值時，輸出I幀。否則，編碼器輸出P幀。圖4的第一行 表示從捕捉輸入裝置接收并在輸入101處輸入視頻編碼器中的數(shù)據(jù)的幀。圖4的第二行表示編碼器決定編碼的輸入信號的幀和用于對各幀進(jìn)行編碼的編碼片莫式。如上所述，編碼控制管理器可以決定不對某幀進(jìn)行編碼圖4通過未對幀2、 3和11編碼的事實(shí)舉例說明這種情況。以INTRA模式對幀1進(jìn)行編碼；參考幀1將幀4編碼為P幀；參 考幀4將幀5編碼為P幀；參考幀5將幀6編碼為P幀；參考幀6將 幀7編碼為P幀；將幀8編碼為I幀；參考幀8將幀9編碼為P幀； 參考幀9將幀IO編碼為P幀；參考幀10將幀12編碼為P幀。在本實(shí)施例中，所有的(最后 一幀除外)編碼幀用作后面幀的參考 幀。因此，RPON與所有待編碼的幀相關(guān)，如圖4的第三行所示?？?以看到，RPON每次增加1 。圖4的第四行說明編碼幀的時間參考(TR)。這是一個包含在H.263 中的字段，將時間上的前一參考圖像信頭中的TR值加一，再加上自 前一發(fā)送的圖像以來跳過的圖像或非參考圖像的數(shù)目，從而形成TR 的值。因此，在圖4所示的實(shí)例中，所示各幀的TR與輸入到102的 原始信號的原始編號相同。圖5說明根據(jù)本發(fā)明的編碼器的第二實(shí)施例。在本實(shí)施例中，編 碼器被設(shè)置成按照常規(guī)的序列IBBPBBPBBPBBPBBIBBP 對幀進(jìn)行編碼。圖5的第一行表示輸入幀，第二行表示編碼幀及其編 碼才莫式，即I、 P或B。各幀是以l、 2、 3、 4、 5、 6等的順序從-f見頻捕捉裝置中接收的， 并以該順序顯示，也就是說，經(jīng)解碼的幀以II、 B2、 B3、 P4、 B5、 B6、 P7等的順序進(jìn)行顯示。但是，視頻比特流是按照以下順序II、 P4、 B2、 B3、 P7、 B5、 B6等進(jìn)行壓縮、傳送以及解碼的。這是因?yàn)槊總€ B幀在可以;波編碼/解碼之前需要前面的和后續(xù)的參考幀，也就是說， 在可以對幀B2編碼/解碼之前，幀B2要求幀II和P4先編碼/解碼。如上所迷，B幀插入I和/或P幀的錨點(diǎn)圖像對之間，并根據(jù)這些錨點(diǎn)圖像中任一個或者兩個來進(jìn)行預(yù)測。這樣，如圖5所示，以INTRA 沖莫式對幀1編碼；參考幀1和/或6將幀4編碼為B幀；參考幀1和/ 或6將幀5編碼為B幀；參考幀1將幀6編碼為P幀；參考幀6和/ 或9將幀7編碼為B幀；參考幀6和/或9將幀8編碼為B幀；參考幀 6將幀9編碼為P幀；參考幀9和/或13(未標(biāo)出)將幀10編碼為B幀； 參考幀9和/或13將幀12編碼為B幀，等等。在本實(shí)施例中，編碼序列的每個I幀和P幀用作另 一幀的參考幀。 但B幀不作為其它任何幀的參考圖像。因此，RPON與所有I幀和P 楨相關(guān)聯(lián)，如圖5的第三行所示?？梢钥吹?，RPON每次增加1。因此， 幀1(1幀)的RPON為1 ，幀4(P幀)的RPON為2,以及幀9(P幀)的RPON 為3。圖5的第四行說明編碼幀的時間參考(TR)。在圖4所示的實(shí)例中， 所示的各幀的TR與輸入到10的原始信號中出現(xiàn)的順序相同?？紤]終端1從終端2接收編碼的視頻數(shù)據(jù)，參照視頻編解碼器10 的解碼作用對其操作進(jìn)行說明。終端1從發(fā)送終端2接收多i某體信號。 分用器50對多々某體信號進(jìn)行分用，并將視頻數(shù)據(jù)傳遞給視頻編解碼器 10，以及將控制數(shù)據(jù)傳遞給控制管理器40。視頻編解碼器的解碼器200 通過對數(shù)據(jù)進(jìn)行逆量化、逆DCT變換以及運(yùn)動補(bǔ)償，對編碼的視頻數(shù) 據(jù)進(jìn)行解碼。解碼器的控制器124檢驗(yàn)所接收數(shù)據(jù)的完整性，如果檢 測到差錯，則嘗試以下述方式來隱藏該差^"。然后輸出經(jīng)過解碼、糾 錯以及隱藏的視頻數(shù)據(jù)，以便在接收終端1的顯示器70中再現(xiàn)。視頻數(shù)據(jù)中的差錯可能出現(xiàn)在圖像層、GOB層或宏塊層。差錯檢 驗(yàn)可在任何層或所有層上進(jìn)行。首先考慮如圖4所示的信號，當(dāng)根據(jù)本發(fā)明的解碼器接收這個信 號時，對該信號的每幀以傳統(tǒng)方式進(jìn)行解碼，然后顯示在顯示裝置上。 可按照傳統(tǒng)方式對經(jīng)過解碼的幀進(jìn)行糾錯及隱藏差錯。每次對幀進(jìn)行 解碼時，解碼器檢查TR字段以確定顯示該幀的時間。如果TR不是連 續(xù)的(例如，解碼器收到TR-1的幀，然后收到TR=4的幀)、,按照常規(guī)，解碼器將幀1保持在顯示器上的時間是通常幀周期的三倍。解碼器還檢查接收的幀的RPON。在圖4所示的情況下，解碼器接收幀1,并確 定該幀具有RPON-l;然后，解碼器接收TR=4且RPON=2的幀。解 碼器將當(dāng)前接收的幀的RPON與以前接收的幀的RPON進(jìn)行比較，并 計(jì)算這些RPON值之差。在這種情況下，差值為1，因此解碼器知道 在當(dāng)前幀和以前解碼的參考幀之間沒有丟失參考圖像。因此，解碼器 繼續(xù)以常規(guī)方式對信號進(jìn)行解碼。下面假定解碼器無法重構(gòu)幀5(可能是由于數(shù)據(jù)被過多破壞或完全 丟失)而且解碼器所接收并解碼的下一幀是幀6。解碼器將當(dāng)前所接收 的帕(幀6)的RPON與以前接收并解碼的幀(幀4)的RPON進(jìn)行比較， 并計(jì)算這些RPON值之差。在這種情況下，差值為2,因此，解碼器 知道在當(dāng)前幀的傳輸和前一幀的傳輸之間丟失了參考圖像。如杲解碼 器具有向發(fā)送視頻編碼器發(fā)送控制反饋數(shù)據(jù)的裝置，解碼器就可以向 發(fā)送視頻編碼器發(fā)送請求，以便將幀編碼為INTRA幀，從而停止由于 參考幀4對幀6進(jìn)行解碼而產(chǎn)生的時間差錯傳播。下面考慮如圖5所示的信號，當(dāng)根據(jù)本發(fā)明的解碼器接收這個信 號時，按常規(guī)方式對該信號的每幀進(jìn)行解碼，然后顯示在顯示裝置上。 可按常規(guī)方式對經(jīng)過解碼的幀糾錯及隱藏差錯。每次對幀進(jìn)行解碼時， 解碼器檢查TR字段以確定顯示該幀的時間。解碼器還檢查所接收的 幀的RPON。在圖5所示的情況下，解碼器接收幀1，并確定該幀具有RPON4。 解碼器按常規(guī)的INTRA才莫式對該幀進(jìn)行解碼。解碼器所接收的下一幀 則是具有TR=6且RPON=2的幀6。解碼器將當(dāng)前接收的幀(幀6)的 RPON與以前接收并解碼的參考幀(幀l)的RPON進(jìn)行比較，并計(jì)算這 些RPON之差。在這種情況下，差值為1,因此，解碼器知道在當(dāng)前 幀的傳輸和以前解碼的參考幀的傳輸之間沒有丟失參考圖像。隨后， 解碼器參考幀1對幀6進(jìn)行解碼。然后，解碼器接收具有TR-4而且沒有RPON的幀。在這種情況下，解碼器不再使用RPON,而參考經(jīng)解碼的幀1和6對幀4進(jìn)行解 碼。下面假定解碼器無法重構(gòu)幀5(這可能是由于數(shù)據(jù)被過多破壞或完 全丟失)。B幀5丟失的事實(shí)對解碼器不重要，因?yàn)锽幀不形成其它任 何幀的參考圖像，因此，它的丟失不會引入任何時間差錯傳播。下一個待4^收的幀是幀9。不過，這里々￡定解碼器無法重構(gòu)作為P 幀的幀9(可能是由于數(shù)據(jù)被過多破壞或完全丟失)。因此，解碼器可能 無法順利地對幀7、 8、 10或12中任一個進(jìn)行解碼，因?yàn)樗鼈兛赡芏?是至少部分地參考幀9來預(yù)測的。在這種情況下，解碼器通常會凍結(jié) 所顯示的圖像。解碼器所接收并解碼的下一幀是幀13。解碼器將當(dāng)前接收的參考 幀(幀13)的RPON與以前所接收并解碼的參考幀(幀6)的RPON進(jìn)行比 較，并計(jì)算這些RPON之差。在這種情況下，差值為2，因此，解碼 器知道在當(dāng)前幀和以前解碼的參考幀之間丟失了參考圖像。如果解碼 器具有向發(fā)送視頻編碼器發(fā)送控制反饋數(shù)據(jù)的裝置，解碼器就可以向 發(fā)送視頻編碼器發(fā)送請求，以便將幀編碼為INTRA幀，從而停止由于 參考幀6對幀13進(jìn)行解碼而產(chǎn)生的時間差錯傳播。下面參照H.263視頻編碼標(biāo)準(zhǔn)來說明如何可將參考圖像序號包含 在編碼信號中。圖6說明根據(jù)H.263所知的比特流的語法。以下實(shí)現(xiàn)說明了 GOB 格式，但是，本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)清楚，本發(fā)明也可按照片段格式 來實(shí)現(xiàn)。如前文所提到的，比特流具有四層圖像層、圖段層、宏塊層以 及塊層。圖像層包括圖像信頭，其后是塊組的數(shù)據(jù)，最后是可選序列 結(jié)束碼及填充位。先有技術(shù)H.263比特流纟支格式化成如圖6所示。每個部分的描迷 符如下PSC圖像開始碼(PSC)指示圖像的開始CPMPSBI TRBDBQUANT PEITR 通過把時間上的前一參考圖像信頭中的TR值加一并且加上自先前發(fā)送的一個以來跳過的或非參考圖像的數(shù) 目來形成時間參考(TR) PTYPE 其中，PTYPE包括圖像編碼類型、即INTRA或INTER 的詳細(xì)情況PQUANT指示直到由任何后續(xù)量化器信息更新為止用于圖像的 量化器的碼字用信號通知可選的連續(xù)出現(xiàn)多點(diǎn)和視頻復(fù)用(CPM)模 式的使用的碼字圖像子比特流指示符一僅在設(shè)置了 CPM時出現(xiàn) 在幀為雙向預(yù)測幀(稱作PB幀)的情況下出現(xiàn) 在雙向幀的情況下出現(xiàn)這涉及額外插入信息，并設(shè)置為"1"以表示下列可 選數(shù)據(jù)字段PSUPP和PEI的出現(xiàn)。PSUPP和PEI統(tǒng) 稱為補(bǔ)充增強(qiáng)信息，在H263的附錄L中有進(jìn)一步定 義GOBS是當(dāng)前圖像的塊組的數(shù)據(jù) ESTF 為獲得EOS之前的字節(jié)對齊而提供的填充碼字EOS 表示圖像的數(shù)據(jù)序列的結(jié)束的碼字PSTUF 供下一圖像開始碼PSC的字節(jié)對齊用的填充碼字 如圖4所示的結(jié)構(gòu)不包括可選的PLUSTYPE數(shù)據(jù)字段。PSBI僅 在CPM指示的情況下出現(xiàn)。TRB和DBQUANT僅在PTYPE指示使用 了所謂的PB幀模式的情況下出現(xiàn)(出現(xiàn)PLUSTYPE字段并且其中指示 使用了 DBQUANT的情況除外)。H.263規(guī)范中更詳細(xì)地陳述了這些事 項(xiàng)。下文概述了根據(jù)本發(fā)明第 一方面的編碼器所輸出的比特流的可能 的實(shí)現(xiàn)。參考圖像序號可以按如下方式結(jié)合到H.263比特流中。圖，說明才艮據(jù)本發(fā)明的第一種實(shí)現(xiàn)的編碼器所輸出的比特流的實(shí)例。如圖7所示，比特流包括另一個碼字RPON，這是一個表示參考圖像序號的碼 字。如上所述，它由根據(jù)本發(fā)明的編碼器插入?；蛘撸瑓⒖紙D像序號可以包含在補(bǔ)充增強(qiáng)信息PSUPP中(參閱 H.263的附錄L以及圖4)。補(bǔ)充信息可以出現(xiàn)于比特流中，即使解碼 器也許不能提供增強(qiáng)功能來使用它或者甚至是正確地解釋它。簡單地 丟棄補(bǔ)充信息是解碼器可允許的，除非發(fā)射機(jī)和接收機(jī)已協(xié)商了提供 所請求功能的需要。如果PEI設(shè)置為"1",則隨后有9位，其中包括8位數(shù)據(jù)(PSUPP) 以及另 一個指示是否隨后還有9位的PEI位，等等。PSUPP數(shù)據(jù)包括一個4位函數(shù)類型指示FTYPE，隨后有一個4位 參數(shù)數(shù)據(jù)大小規(guī)格DSIZE，隨后是函數(shù)參數(shù)數(shù)據(jù)的DSIZE字節(jié)，其后 可選地跟隨另 一個FTYPE,等等。已知采用這種PSUPP碼字來以信 號方式通知各種情況，比如指示整個圖像或部分圖像在調(diào)整或不調(diào) 整大小的情況下凍結(jié)或取消凍結(jié)請求；標(biāo)記視頻流中的特定圖像或圖 像序列以供外部使用；或者為視頻合成傳送色鍵信息。為了采用補(bǔ)充增強(qiáng)信息來實(shí)現(xiàn)本發(fā)明，另 一個FTYPE被定義為參 考圖像序號。圖8說明一個實(shí)例，其中，參數(shù)RPON包含在圖像信頭的SEI中。 FTYPE被定義為RPON。 DSIZE指定參數(shù)大小，隨后的字節(jié)是參數(shù)數(shù) 據(jù)、即RPON的值。根據(jù)該值，接收解碼器能夠確定是否丟失了參考 圖像?；蛘?，信息可以包含在附加的補(bǔ)充增強(qiáng)信息中，如"新附錄W的 草案附加補(bǔ)充增強(qiáng)信息規(guī)范，，(P. Ning和S.Wenger, ITU-T Study Group 16 Question 15 Document Ql5-1-58， 1999年11月)所述。在該提議草案中，F(xiàn)TYPE 14被定義為"圖像消息"。在設(shè)置了這 個FTYPE時，圖像消息函數(shù)指示一個或多個代表消息數(shù)據(jù)的八位字節(jié) 的出現(xiàn)。消息數(shù)據(jù)的第一個八位字節(jié)是具有如圖9所示結(jié)構(gòu)的消息信頭，即CONT、 EBIT以及MTYPE。 DSIZE等于與圖像消息函數(shù)對應(yīng) 的消息數(shù)據(jù)中八位字節(jié)的數(shù)量，包括第 一個八位字節(jié)消息信頭。繼續(xù)字段CONT如果等于1，則表示與圖像消息相關(guān)的消息數(shù)據(jù) 是與和下 一 圖像消息函數(shù)相關(guān)的消息數(shù)據(jù)相同的邏輯消息的 一部分。結(jié)束比特位置字段EBIT指定最后一個消息字節(jié)中應(yīng)忽略的最低有效 位的數(shù)量。這些字段的詳細(xì)情況可查閱上述附錄W的草案。字段MTYPE指示消息的類型。附錄W的草案中建議了各種類型 的消息。根據(jù)本發(fā)明， 一種類型、如MTYPE12被定義為RPON或圖 像編號。消息包含兩個帶有IO位圖像編號的數(shù)據(jù)字節(jié)。因此，DSIZE 應(yīng)當(dāng)為3， CONT應(yīng)為0，以及EBIT應(yīng)為6。在10位才莫運(yùn)算中，對于 每個經(jīng)編碼并發(fā)送的I或P圖像或PB或改進(jìn)的PB幀，圖像編號應(yīng)當(dāng) 加l。對于EI和EP圖像，對于相同可縮放性增強(qiáng)層內(nèi)的每個EI或EP 圖像，應(yīng)增大圖像編號。對于B圖像，應(yīng)相對于B圖像的參考層中按 比特流順序在B圖像之前(時間上在B圖像之后的圖像)的最近的非B 圖像的值來增大圖像編號。如果相同增強(qiáng)層中的相鄰圖像具有相同的 時間參考，并且如果正在使用參考圖像選擇;溪式(參見附錄N),則解碼 器應(yīng)將這種情況看作是已經(jīng)發(fā)出大致相同圖像場景內(nèi)容的冗余副本的 指示，并且所有這些圖像應(yīng)共用相同的圖像編號。如果相同增強(qiáng)層中 的兩個連續(xù)接收的非B圖像的圖像編號之差(才莫1024)不為1,并且如 果這些圖像不表示上述大致相同的圖像場景內(nèi)容，則解碼器可推斷圖 像丟失或數(shù)據(jù)損壞。在消息信頭之后的八位字節(jié)中定義RPON的值。在一個特定實(shí)例中，這種消息包含一個數(shù)據(jù)字節(jié)，即DSIZE為2， CONT為0,以及EBIT為0。參考圖像序號在以前編碼的參考圖像的相應(yīng)編號的基礎(chǔ)上加1 。 增量結(jié)果的最低有效的8位放置在與該消息相關(guān)的數(shù)據(jù)字節(jié)中。本發(fā)明還可根據(jù)H.263的附錄U來實(shí)現(xiàn)。參照對雙向預(yù)測圖像(B圖像)進(jìn)行編碼的編碼視頻流進(jìn)行^上描 述。如上所述，B圖像決不用作參考圖像。由于它們可以被丟棄而不會影響后續(xù)圖像的圖像質(zhì)量，因此，它們提供了時間可縮放性?？煽s 放性允許在一個以上的質(zhì)量等級上對壓縮視頻序列進(jìn)行解碼。換句話 說，可以對可縮放的多々某體剪輯進(jìn)行壓縮，使得它能夠以不同的數(shù)據(jù)率在信道上進(jìn)行傳遞，并且仍然可對其實(shí)時地解碼和重;^丈。因此，視頻流可以按照不同方式通過不同的解碼器進(jìn)行解碼。例 如，如果這是解碼器能夠獲取的最大解碼速率，則該解碼器可以決定 僅對信號的I和P圖像進(jìn)行解碼。不過，在解碼器有能力的情況下， 它也可以對B圖像進(jìn)行解碼，從而提高圖像顯示速率。因此，通過僅 對I和P圖像進(jìn)行解碼的解碼器，會增強(qiáng)顯示圖像的所感受圖像質(zhì)量。 通常對可縮放多媒體進(jìn)行排序，使得存在數(shù)據(jù)的分層?；鶎影?多i某體剪輯的基本表示，而增強(qiáng)層則包含處于基礎(chǔ)層之上的提煉數(shù)據(jù)。因此，增強(qiáng)層改進(jìn)了剪輯的質(zhì)量?？煽s放性是多機(jī)種、易出錯環(huán)境所需要的特性。需要這種特性以 防止某些限制，諸如比特率、顯示分辨率、網(wǎng)絡(luò)吞吐量以及解碼器復(fù) 雜度上的約束。在分層編碼與傳輸優(yōu)先化相結(jié)合的傳輸系統(tǒng)中，可縮放性能夠用 來改進(jìn)差錯恢復(fù)力。逸里，術(shù)語"傳輸優(yōu)先化"是指在傳輸中提供不 同質(zhì)量的業(yè)務(wù)的各種機(jī)制，包括不等差錯保護(hù)，以便提供具有不同差 錯/丟失率的不同信道。數(shù)據(jù)可根據(jù)其特性進(jìn)行不同的分配。例如，基 層可通過具有高度差錯保護(hù)的信道進(jìn)行傳送，而增強(qiáng)層則可通過較易 出錯的信道進(jìn)行傳送。一般來說，與不可縮放編碼相比，可縮放多々某體編碼會遇到較差 的壓縮效率。換句話說，與編碼成具有同等質(zhì)量的不可縮放單層剪輯 相比，編碼成具有增強(qiáng)層的可縮放多々某體剪輯的多+某體剪輯需要更大 的帶寬。但是，這種一般規(guī)則存在例外情況，例如視頻壓縮中的時間 上可縮》i:的B幀。本發(fā)明可應(yīng)用于其它可縮放視頻壓縮系統(tǒng)。例如，H.2634十錄O 中定義了兩種其它形式的可縮;改性信噪比(SNR)可縮;改性和空間可縮放性?？臻g可縮放性和SNR可縮放性密切相關(guān)，唯一差別在于通過空間可縮放性所提供的經(jīng)提高的空間分辨率。SNR可縮放圖像的一個實(shí)例 如圖10所示。SNR可縮放性是指創(chuàng)建多速率比特流。它允許恢復(fù)原 始圖像與其重構(gòu)圖像之間的編碼差錯或差異。這是利用更精細(xì)的量化 器對增強(qiáng)層中的差異圖像進(jìn)行編碼來實(shí)現(xiàn)的。這種附加信息增大了整 個再現(xiàn)圖像的SNR?？臻g可縮放性允許創(chuàng)建多分辨率的比特流，以滿足不同的顯示要 求和/或約束。圖ll說明一種空間上可縮放的結(jié)構(gòu)。它與SNR可縮放 性基本相同，不同之處在于空間增強(qiáng)層嘗試恢復(fù)重構(gòu)的參考層圖像 的上升抽樣形式與原始圖像的較高分辨率形式之間的編碼損失。例如， 如果參考層具有四分之一公用中間格式(QCIF)分辨率，而增強(qiáng)層具有 公用中間格式(CIF)分辨率，則參考層圖像必須相應(yīng)地進(jìn)行縮放，使得 由其可預(yù)測增強(qiáng)層圖像。對于單增強(qiáng)層，QCIF標(biāo)準(zhǔn)允許分辨率僅在垂 直方向、僅在水平方向或同時在垂直和水平方向上增大到兩倍?？梢?存在多個增強(qiáng)層，每層均在前一層上增加圖像分辨率。用于對參考層 圖像進(jìn)行上升抽樣的內(nèi)插濾波器在H.263標(biāo)準(zhǔn)中有明確的定義。除了 從參考至增強(qiáng)層的上升抽樣過程之外，空間縮放圖像的處理及語法與 SNR縮放圖像相同。無論在SNR還是在空間可縮放性中，增強(qiáng)層圖像均稱作EI或EP 圖像。如果增強(qiáng)層圖像是以參考層中的圖像為基礎(chǔ)向上預(yù)測的，則增 強(qiáng)層圖像稱作增強(qiáng)I(EI)圖像。在這種類型的可縮放性中，參考層表示 當(dāng)前增強(qiáng)層"之下，，的層。在某些情況下，當(dāng)參考層圖像的預(yù)測較差 時，在增強(qiáng)層中會出現(xiàn)圖像的靜態(tài)部分的過度編碼，產(chǎn)生不必要的過 度比特率。為了避免這種問題，在增強(qiáng)層中允許正向預(yù)測。能夠從前 一增強(qiáng)層圖像進(jìn)行正向預(yù)測或者從參考層圖像向上預(yù)測的圖像稱作增 強(qiáng)P(EP)圖像。應(yīng)當(dāng)指出，計(jì)算向上及正向預(yù)測圖像的平均'袓能夠?yàn)?EP圖像提供雙向預(yù)測。對于EI和EP兩種圖像，根據(jù)參考層圖像進(jìn)行向上預(yù)測意"木著不需要任何運(yùn)動矢量。在EP圖像的正向預(yù)測的情況 下，需要運(yùn)動矢量。根據(jù)本發(fā)明，如果編碼器能夠進(jìn)行多層編碼(如H.263的附錄O中 所述)，則為各層的參考圖像提供連續(xù)的參考圖像序號。它們可與當(dāng)前 圖像的增強(qiáng)層編號(ELNUM)相關(guān)聯(lián)。參考圖像序號是由相同增強(qiáng)層中 前一編碼參考圖像的相應(yīng)編號加1。如圖10和11所示，增強(qiáng)層的圖像可根據(jù)增強(qiáng)層的前面圖像和/或 根據(jù)基層的等效I或P圖像進(jìn)行預(yù)測。增強(qiáng)層不可根據(jù)參考層中的B 圖像進(jìn)行預(yù)測。如果同 一增強(qiáng)層中的相鄰圖^f象具有相同的時間參考，并且如果正 在使用H.263的附錄N或附錄U，則解碼器最好是將這種情況視為已 發(fā)出大致相同的圖像場景內(nèi)容的冗余副本的指示，并且所有這些圖像 共用相同的RPON。根據(jù)本發(fā)明的解碼器在接收到如上所述的多層信號時，嘗試以傳 統(tǒng)方式對該信號進(jìn)行解碼。在各層中，每次對參考圖像進(jìn)行解碼時， 解碼器檢查所解碼圖像的RPON。如果解碼器確定增強(qiáng)層中丟失了參 考圖像，則解碼器停止顯示來自增強(qiáng)層的圖像，直至接收到EI圖像。 解碼器繼續(xù)對基層進(jìn)行解碼，如上所述。本發(fā)明并未限制于上述視頻編碼協(xié)議它們僅作為示范。本發(fā)明 適用于任何可采用時間預(yù)測的視頻編碼協(xié)議。如上所述的信息增加允 許接收解碼器確定已丟失了參考圖像并采取相應(yīng)的動作。
權(quán)利要求
1.一種對表示圖像序列的視頻信號進(jìn)行編碼的方法，所述方法既采用非時間預(yù)測又采用時間預(yù)測，其中所述方法包括對于構(gòu)成用于另一圖像的時間預(yù)測的參考圖像的每個圖像，將指示符與每個這樣的圖像相關(guān)聯(lián)，所述指示符指示編碼視頻信號中的參考圖像相對于所述編碼視頻信號中的其它參考圖像的時間順序。
2. 如權(quán)利要求1所述的方法，其特征在于還包括在每次對參考圖 像進(jìn)行編碼時，使所述指示符遞增。
3. 如權(quán)利要求2所述的方法，其特征在于還包括在每次對參考圖 像進(jìn)行編碼時，將所述指示符加一。
4. 如任一上述權(quán)利要求所述的方法，其特征在于，所述指示符包 含在圖像信頭中。
5. 如權(quán)利要求3所述的方法，其特征在于，所述視頻信號是根據(jù) H.263標(biāo)準(zhǔn)進(jìn)行編碼的，而所述指示符包含在補(bǔ)充增強(qiáng)信息中。
6. —種對表示圖像序列的編碼視頻信號進(jìn)行解碼的方法，所述方 法包括接收編碼視頻信號；對每個接收圖像進(jìn)行解碼；對于構(gòu)成另 一圖像的參考圖像的每個待解碼圖像，檢查表示參考幀的時間順序的 指示符；以及當(dāng)所述指示符不是由緊靠前面的解碼參考幀連續(xù)地得出 時，檢測丟失的參考幀。
7. 如權(quán)利要求6所述的方法，其特征在于還包括在所述指示符不 是由緊靠前面的解碼參考幀連續(xù)地得出時，向發(fā)射機(jī)發(fā)送請求，以非 時間方式對圖像進(jìn)行編碼。
8. —種編碼視頻信號，其中對于每個構(gòu)成用于另一圖像的時間預(yù) 測的參考圖像的圖像，將指示符與每個這樣的參考圖像相關(guān)聯(lián)，所述 指示符指示所述編碼視頻流中參考圖像的時間順序。
9. 一種視頻編碼器，它包括輸入，用于接收表示圖像序列的視頻信號以及產(chǎn)生編碼圖像，所述編碼器設(shè)置成既采用非時間預(yù)測又采用時間預(yù)測，其中所述編碼器設(shè)置成對于構(gòu)成用于另一圖像的時間預(yù) 測的參考圖像的每個圖像，將各個參考圖像與指示符相關(guān)聯(lián)，所述指 示符指示所述編碼視頻信號中的參考圖像相對于所述編碼視頻信號中的其它參考圖像的時間順序。
10. 如權(quán)利要求9所述的視頻編碼器，其特征在于還包括用于在 每次對參考圖像進(jìn)行編碼時使所述指示符遞增的裝置。
11. 一種視頻解碼器，它包括輸入端，用于接收表示圖像序列 的編碼視頻信號；解碼器，用于對每個接收圖像進(jìn)行解碼，所述解碼 器設(shè)置成對于構(gòu)成另 一圖像的參考圖像的每個待解碼圖像，檢查表示 參考幀的時間順序的指示符，并且在所述指示符不是由緊靠前面的解 碼參考幀連續(xù)地得出時，檢測丟失的參考幀。
12. —種便攜式無線電通信裝置，它包括如權(quán)利要求9或IO所述 的編碼器和/或如權(quán)利要求11所述的解碼器。
全文摘要
一種對表示圖像序列的視頻信號進(jìn)行編碼的方法，該方法既采用非時間預(yù)測又采用時間預(yù)測，其中所述方法包括對于構(gòu)成用于另一圖像的時間預(yù)測的參考圖像的每個圖像，將指示符與每個這樣的圖像相關(guān)聯(lián)，該指示符指示編碼視頻信號中的參考圖像相對于編碼視頻信號中的其它參考圖像的時間順序。
文檔編號H03M7/36GK101252696SQ20081008532
公開日2008年8月27日 申請日期2001年5月11日 優(yōu)先權(quán)日2000年5月15日
發(fā)明者M·漢努克塞拉 申請人:諾基亞有限公司