專利名稱：視頻容錯(cuò)控制的制作方法
背景技術(shù)：
本發(fā)明涉及通信網(wǎng)上的多媒體數(shù)據(jù)傳輸。尤其涉及網(wǎng)絡(luò)中易于出錯(cuò)的視頻數(shù)據(jù)傳輸。本發(fā)明提供一種新的方法，可以減少由于數(shù)據(jù)丟失而引起的可觀察到的視頻圖像質(zhì)量的降低。
為了更好地體現(xiàn)本發(fā)明的優(yōu)點(diǎn)，我們首先回顧一下已有技術(shù)中典型的多媒體內(nèi)容創(chuàng)建與檢索系統(tǒng)的框架并引入壓縮視頻序列的特征。雖然下面的描述集中在使用基于分組的數(shù)據(jù)協(xié)議傳輸信息的網(wǎng)絡(luò)(如Internet)中存儲(chǔ)的多媒體數(shù)據(jù)檢索上，但是應(yīng)該知道，本發(fā)明同樣適用于電路交換網(wǎng)絡(luò)，如固定線路PSTN(公共服務(wù)電話網(wǎng))或移動(dòng)PLMN(公共陸地移動(dòng)網(wǎng))電話系統(tǒng)。它也適用于既使用基于分組的數(shù)據(jù)傳輸協(xié)議又使用電路交換數(shù)據(jù)傳輸協(xié)議的網(wǎng)絡(luò)中。例如，正在進(jìn)行標(biāo)準(zhǔn)化的通用移動(dòng)電話系統(tǒng)(UMTS)可以包括電路交換與基于分組的元素。本發(fā)明適用于非實(shí)時(shí)應(yīng)用，如視頻流中，也適用于實(shí)時(shí)通信應(yīng)用，如視頻電話中。
圖1中描述了一個(gè)典型的多媒體內(nèi)容創(chuàng)建與檢索系統(tǒng)。該系統(tǒng)(通常用1表示)擁有一個(gè)或多個(gè)多媒體內(nèi)容10的來源。這些來源可以包括，例如，一個(gè)視頻照相機(jī)與一個(gè)麥克風(fēng)，不過也可以包括其他元素。例如，多媒體內(nèi)容也可以包括計(jì)算機(jī)動(dòng)畫，或存儲(chǔ)在大存儲(chǔ)媒介(如網(wǎng)絡(luò)硬盤驅(qū)動(dòng)器)上的數(shù)據(jù)文件庫。
為了組成包括不同媒介類類型的多媒體片段(稱為“磁道”)，將從各種來源中捕捉或檢索的原始數(shù)據(jù)組合到一起。在圖1中顯示的多媒體創(chuàng)建與檢索系統(tǒng)中，此任務(wù)由編輯器12完成。原始多媒體數(shù)據(jù)所需的存儲(chǔ)空間是非常巨大的，通?？蛇_(dá)很多兆字節(jié)。因此，為了給多媒體檢索服務(wù)提供方便，尤其是低比特速率信道中的多媒體檢索服務(wù)，通常在編輯過程中壓縮多媒體片段。只要各種原始數(shù)據(jù)源已經(jīng)組合起來并壓縮為多媒體片段，這些片段將連接到多媒體服務(wù)器14中。通常，很多客戶端16可以通過某些網(wǎng)絡(luò)訪問服務(wù)器，不過為簡便起見，圖1中只列出了一個(gè)這樣的客戶端。
服務(wù)器14可以響應(yīng)客戶端發(fā)出的請(qǐng)求與控制命令15。服務(wù)器的主要任務(wù)是將所需的多媒體片段發(fā)送給客戶端16。只要客戶端已經(jīng)接收到該片段，將在客戶端終端設(shè)備處進(jìn)行解壓縮，多媒體內(nèi)容得以“回放”。在回放階段，多媒體片段的各個(gè)元素分別以客戶端終端設(shè)備提供的合適的回放方式18顯示，例如，視頻內(nèi)容在終端設(shè)備上展顯示，而音頻內(nèi)容由揚(yáng)聲器或類似設(shè)備重新生成。
參考圖2對(duì)多媒體片段編輯器12執(zhí)行的操作進(jìn)行進(jìn)一步解釋。由一個(gè)或多個(gè)數(shù)據(jù)源10的捕捉設(shè)備20對(duì)原始數(shù)據(jù)進(jìn)行捕捉。使用硬件、專用設(shè)備驅(qū)動(dòng)程序(即軟件)及一個(gè)通過控制其設(shè)備驅(qū)動(dòng)程序來使用硬件的捕捉應(yīng)用程序進(jìn)行數(shù)據(jù)捕捉。例如，如果數(shù)據(jù)源是一個(gè)視頻照相機(jī)，捕捉視頻數(shù)據(jù)所需的硬件可以包括連接到個(gè)人電腦上的視頻擷取卡。捕捉設(shè)備20的輸出通常為未壓縮數(shù)據(jù)流或輕微壓縮的數(shù)據(jù)流，后者與前者相比，存在不相關(guān)的質(zhì)量下降。例如，視頻擷取卡的輸出可以是未壓縮YUV 4∶2∶0格式的視頻幀，或者是運(yùn)動(dòng)-JPEG圖像格式的視頻幀。術(shù)語“流”用于表示很多情況中，多媒體數(shù)據(jù)從各種源(原始數(shù)據(jù)的連續(xù)“流”)中實(shí)時(shí)捕捉。而多媒體數(shù)據(jù)的源可以是預(yù)先存儲(chǔ)的文件形式，存儲(chǔ)在大的存儲(chǔ)媒介，如網(wǎng)絡(luò)硬件驅(qū)動(dòng)器中。
編輯器22將各個(gè)媒介源10中單獨(dú)的媒介流鏈接在同一時(shí)間軸上。例如，應(yīng)該同時(shí)回放的多媒體流，如音頻與視頻內(nèi)容，通過指示各幀所需的回放時(shí)刻鏈接起來。也可以給出其他多媒體流所需回放時(shí)刻的標(biāo)識(shí)。為了指出最初獨(dú)立的多媒體流現(xiàn)在以該方式連接，使用術(shù)語“多媒體磁道”作為描述多媒體內(nèi)容的一般術(shù)語。編輯器22也可能以不同的方式編輯多媒體磁道。例如，音頻幀速率可能降為一半或空間解析度可能下降。
在壓縮階段24中，各個(gè)媒體磁道可以以適合該媒體類型的方式進(jìn)行獨(dú)立壓縮。例如，一個(gè)未壓縮的YUV 4∶2∶0視頻磁道可以使用用于低比特速率視頻編碼的ITU-T建議H.263壓縮。在復(fù)用階段26中，對(duì)壓縮媒體磁道進(jìn)行交織，組成單一的比特流。此單一的比特流，含有大量不同的媒體類型，稱為“多媒體片段”。但是，應(yīng)該知道，對(duì)應(yīng)提供多媒體比特流來說，復(fù)用并不是必須的。該片段隨后與多媒體服務(wù)器14連接。
現(xiàn)在參考圖3的流程圖對(duì)多媒體服務(wù)器14的操作進(jìn)行更詳細(xì)的說明。通常，多媒體服務(wù)器有兩種模式的操作，非實(shí)時(shí)操作與實(shí)時(shí)操作。也就是說，多媒體服務(wù)器可以傳送預(yù)先存儲(chǔ)的多媒體片段或現(xiàn)場(chǎng)(實(shí)時(shí))多媒體流。在前一種情況中，片段必須首先存儲(chǔ)在服務(wù)器數(shù)據(jù)庫30中。在后一種情況中，多媒體片段通過編輯器12與服務(wù)器相連，作為立刻傳送給客戶端16的連續(xù)多媒體流。服務(wù)器可以消除并壓縮一些復(fù)用格式中使用的頭信息，并將媒體片段封裝成適合在網(wǎng)絡(luò)上傳遞的包。客戶端使用“控制協(xié)議”15控制服務(wù)器的操作?？刂茀f(xié)議提供的最小控制集組成選擇所需的媒體片段的函數(shù)。此外，服務(wù)器可以支持更多的高級(jí)控制。例如，客戶端16可以停止片段的傳輸，或暫停并檢索其傳輸。此外，客戶端也可以在傳輸信道的吞吐量改變時(shí)控制媒體流。在這種情況下，服務(wù)器動(dòng)態(tài)地對(duì)比特流進(jìn)行調(diào)整來利用傳輸?shù)目捎脦挕?br> 圖4中是典型的多媒體檢索客戶端16中的模塊。在從多媒體服務(wù)器中檢索壓縮與復(fù)用的多媒體片段時(shí)，為了對(duì)片段中包含的不同媒體磁道分離，客戶端首先對(duì)片段40進(jìn)行解復(fù)。然后，單獨(dú)的媒體磁道進(jìn)行解壓縮42。然后使用客戶端輸出設(shè)備18對(duì)解壓縮(重建)的媒體磁道進(jìn)行回放。除了這些操作之外，客戶端包括與終端用戶接口的控制器單元46，根據(jù)用戶輸入對(duì)回放進(jìn)行控制，并處理客戶端-服務(wù)器控制業(yè)務(wù)。而解復(fù)、解壓縮與回放操作可以在下載該片段后面部分的同時(shí)執(zhí)行。此方法一般稱為“流”?？蛻舳艘部梢韵螺d整個(gè)片段，對(duì)其進(jìn)行解復(fù)，對(duì)各個(gè)多媒體磁道解壓縮，然后才啟動(dòng)回放功能。
下面描述適合在通信網(wǎng)中傳輸?shù)臄?shù)字音頻序列的內(nèi)容。音頻序列，與膠片上錄制的普通動(dòng)畫一樣，由靜止圖像的序列組成，之所以產(chǎn)生運(yùn)動(dòng)的幻覺，是因?yàn)橐暂^快的速率(通常為15-30幀/秒)依次展現(xiàn)圖像。由于幀速率較快，連續(xù)幀中的圖像相當(dāng)類似，因此包含大量的冗余信息。例如，一個(gè)典型的場(chǎng)景包括一些靜態(tài)的元素例如背景圖面，還包括一些形式多樣的運(yùn)動(dòng)區(qū)域，例如，新聞播音員的面部，運(yùn)動(dòng)的車輛等等。而記錄場(chǎng)景的照相機(jī)本身也可能是運(yùn)動(dòng)的，這樣圖像的所有元素進(jìn)行相同地運(yùn)動(dòng)。在很多情況下，這將意味著一個(gè)視頻幀與另一個(gè)視頻幀之間的整體變化很小。當(dāng)然，這取決于其運(yùn)動(dòng)的本質(zhì)。例如，運(yùn)動(dòng)越快，一幀到相鄰幀的變化越大。類似地，如果場(chǎng)景中包括大量的運(yùn)動(dòng)元素，一幀到相鄰幀的變化要比其中只有一個(gè)元素運(yùn)動(dòng)的場(chǎng)景中的幀間變化要大。
視頻壓縮方法的基礎(chǔ)是減少視頻序列的冗余與可察覺的無關(guān)部分。視頻序列的冗余可以分為空間域上、時(shí)域上與頻域上的冗余。術(shù)語“空間域上的冗余”用于描述相鄰像素之間的相關(guān)性。術(shù)語“時(shí)域的冗余”表示出現(xiàn)在一個(gè)圖中的對(duì)象很可能出現(xiàn)在后面的圖像中，而“頻域的冗余”是指同一圖像的不同顏色的元素之間的相關(guān)性。
在給定的圖像序列中簡單地減少不同形式的冗余通常無法進(jìn)行充分有效的壓縮。因此，目前大多數(shù)視頻編碼器也減少音頻序列中那些最不重要的部分的質(zhì)量。此外，也通過對(duì)壓縮參數(shù)與系數(shù)的有效編碼降低比特流本身的冗余。通常，這可以通過使用稱為“可變長度的編碼”(VLC)技術(shù)完成。
視頻壓縮方法通常使用“運(yùn)動(dòng)補(bǔ)償時(shí)間預(yù)測(cè)”。這是一種減少時(shí)域冗余的形式，其中視頻序列中一些(經(jīng)常很多)幀的內(nèi)容可以通過跟蹤物體或幀間圖像區(qū)域的運(yùn)動(dòng)進(jìn)行“預(yù)測(cè)”。不使用減少時(shí)域冗余方法的壓縮圖像通常稱為“INTRA”或“I-幀”，而時(shí)域預(yù)測(cè)的圖像稱為“INTER”或“P-幀”。在“INTER”幀的情況下，預(yù)測(cè)(運(yùn)動(dòng)補(bǔ)償)的圖像很少足夠精確，因此，在各個(gè)“INTER”幀中，也使用空間域的壓縮預(yù)測(cè)錯(cuò)誤圖像。很多視頻壓縮方案也引入雙向預(yù)測(cè)幀，通常稱為“B-圖”或“B-幀”。如圖5所示，B-圖在參照物或“錨”圖對(duì)(I或P幀)之間插入，并且從一個(gè)或兩個(gè)錨圖中預(yù)測(cè)。從圖中可以看出，序列從INTRA或I幀50開始。B-圖(一般用52表示)與前向預(yù)測(cè)的P-圖54相比，壓縮率較高。在圖5中，箭頭51a與51b表示雙向預(yù)測(cè)過程，而箭頭53表示前向預(yù)測(cè)。B-圖并不用作錨圖，也就是說，沒有其他的幀從中預(yù)測(cè)，因此，它們可以從視頻序列中去除，不會(huì)引起所成圖片的質(zhì)量惡化。應(yīng)當(dāng)注意，盡管B-圖與P-圖相比可以增加壓縮性能，但是其構(gòu)造卻需要更多的存儲(chǔ)空間，其處理要求也更加復(fù)雜，并且其應(yīng)用也會(huì)引入附加時(shí)延。
從上述對(duì)時(shí)域預(yù)測(cè)的討論可以看出，數(shù)據(jù)丟失會(huì)惡化給定幀中的圖像內(nèi)容，這種影響將在時(shí)間上傳播，引起該幀預(yù)測(cè)的后續(xù)幀的惡化。顯然，視頻序列的編碼從INTRA幀開始，這是因?yàn)樵谛蛄械拈_始時(shí)，前面沒有幀能夠作為預(yù)測(cè)參考。但是，應(yīng)該注意，在顯示幀時(shí)，如在客戶終端設(shè)備18處顯示時(shí)，幀的回放順序不會(huì)與編碼/譯碼的順序相同。因此，盡管編碼/譯碼操作從INTRA幀開始，這并不表示幀必須從INTRA幀開始回放。
關(guān)于低比特速率視頻編碼中使用的不同圖片類型的詳細(xì)信息，請(qǐng)參考文章“H.263+Video Coding at Low Bit-rates”，G.cote，B.Erol，M.Gallant與F.Kossentini，IEEE Transactions on Circuits andSystems for Video Technology，1998年11月。
根據(jù)上述關(guān)于現(xiàn)有的多媒體檢索系統(tǒng)與視頻編碼(壓縮)技術(shù)的信息可以知道，通信網(wǎng)中的視頻序列檢索/流存在著一個(gè)重要問題。因?yàn)橐曨l幀通常是從一幀中預(yù)測(cè)另一幀，壓縮視頻序列非常容易出現(xiàn)傳輸錯(cuò)誤。如果由于網(wǎng)絡(luò)傳輸錯(cuò)誤出現(xiàn)數(shù)據(jù)丟失，視頻流的內(nèi)容信息將會(huì)丟失。傳輸錯(cuò)誤的影響可能不同。如果對(duì)視頻幀的重建非常重要的信息丟失(例如，存儲(chǔ)在圖片頭中的信息)，那么在接收客戶端將無法顯示圖像。這樣，整個(gè)幀以及從它中預(yù)測(cè)的幀序列將會(huì)丟失(即，無法重建與顯示)。如果情況沒這么糟糕，只有部分圖像內(nèi)容受到影響。但是，從壞幀中預(yù)測(cè)的幀仍然會(huì)受到影響，在傳輸下一INTRA幀并正確重建之前，錯(cuò)誤將會(huì)在圖像序列中的時(shí)域和空間域上傳播。這在比特速率很低的通信中是個(gè)嚴(yán)重的問題，這時(shí)INTRA幀可能只是在很短時(shí)間內(nèi)(如每10秒傳輸一個(gè)INTRA幀)傳輸。
傳輸錯(cuò)誤的變化取決于其通信網(wǎng)絡(luò)。在電路交換網(wǎng)絡(luò)中，如固定線路與移動(dòng)電話系統(tǒng)中，傳輸錯(cuò)誤通常是比特翻轉(zhuǎn)的形式。也就是說，表示如多媒體流的視頻內(nèi)容等的數(shù)字?jǐn)?shù)據(jù)，其錯(cuò)誤形式為1變?yōu)?，而0變?yōu)?，從而導(dǎo)致圖像內(nèi)容的錯(cuò)誤表達(dá)。在移動(dòng)電話網(wǎng)中，比特翻轉(zhuǎn)的錯(cuò)誤通常是由無線鏈接的質(zhì)量下降而引起的。
在使用分組交換數(shù)據(jù)通信的網(wǎng)絡(luò)中，傳輸錯(cuò)誤的形式包丟失。在這種網(wǎng)絡(luò)中，數(shù)據(jù)包的丟失通常是由網(wǎng)絡(luò)擁塞引起的。如果網(wǎng)絡(luò)出現(xiàn)擁塞，網(wǎng)絡(luò)元素，如網(wǎng)關(guān)路由器，可能丟棄數(shù)據(jù)包，而如果使用不可靠的傳輸協(xié)議，如UDP(用戶數(shù)據(jù)報(bào)協(xié)議)，丟失的數(shù)據(jù)包不會(huì)被重傳。此外，從網(wǎng)絡(luò)的角度看，發(fā)送包含幾百字節(jié)的相對(duì)較大的包是有益的，因此，丟失的包可能包括幾幅低比特速率序列圖。通常，多數(shù)視頻幀是時(shí)域上預(yù)測(cè)的INTER幀，因此丟失一個(gè)或多個(gè)這樣的圖在客戶終端重建時(shí)會(huì)有嚴(yán)重的視頻序列質(zhì)量問題。不但會(huì)丟失一個(gè)或多個(gè)幀，而且從這些幀中預(yù)測(cè)的所有后續(xù)圖都將破壞。
現(xiàn)有技術(shù)中有一些技術(shù)是針對(duì)傳輸錯(cuò)誤損害壓縮視頻序列問題的。通常這些方法稱為“容錯(cuò)控制”方法，分為兩類錯(cuò)誤糾正與錯(cuò)誤消除方法。錯(cuò)誤糾正是指完全檢索有錯(cuò)數(shù)據(jù)的能力，使其看起來好像根本沒有發(fā)生錯(cuò)誤。例如，重傳可以看作一種錯(cuò)誤糾正方法。錯(cuò)誤消除是指消除傳輸錯(cuò)誤帶來的影響，使之在重建的視頻信號(hào)中不易被發(fā)現(xiàn)的能力。錯(cuò)誤消除方法通常有三種前向錯(cuò)誤消除、事后處理的錯(cuò)誤消除以及交互式錯(cuò)誤消除。前向錯(cuò)誤消除技術(shù)是傳輸終端將一定程度的冗余添加到發(fā)送數(shù)據(jù)中，從而使接收端能夠在即使傳輸出現(xiàn)錯(cuò)誤時(shí)，也可以很容易地檢索數(shù)據(jù)。例如，發(fā)送視頻編碼器可以截短壓縮視頻信號(hào)的預(yù)測(cè)路徑。另一方面，事后處理的錯(cuò)誤消除完全是接收機(jī)控制的。這些方法都是盡量估計(jì)錯(cuò)誤接收數(shù)據(jù)的正確表達(dá)。為了最小化傳輸錯(cuò)誤的影響，發(fā)射機(jī)與接收機(jī)也可以協(xié)同操作。這些方法很大程度上取決于接收機(jī)提供的反饋信息。事后處理的錯(cuò)誤消除也可以稱為消極錯(cuò)誤消除，而其他兩種形式可以稱為積極錯(cuò)誤消除。本發(fā)明屬于視頻壓縮中使用的截短預(yù)測(cè)路徑的類別。需要說明的是，下面引入的方法也適用于在分組交換或電路交換網(wǎng)中傳輸?shù)膲嚎s視頻流。而其數(shù)據(jù)網(wǎng)的類型及出現(xiàn)的傳輸錯(cuò)誤類型與現(xiàn)有技術(shù)及本發(fā)明的應(yīng)用沒有必然聯(lián)系。
視頻序列中截短預(yù)測(cè)路徑的容錯(cuò)控制方法應(yīng)根據(jù)下列原則如果視頻序列包括很多INTER幀，傳輸錯(cuò)誤引起的圖像數(shù)據(jù)丟失將會(huì)導(dǎo)致后面的譯碼INTER幀遭到破壞，而錯(cuò)誤將會(huì)傳播并會(huì)在譯碼后的視頻流中看到。因此，可以通過減小視頻比特流中INTER幀序列的長度提高系統(tǒng)的容錯(cuò)控制能力?？梢圆扇〉姆椒ㄓ?.增加視頻流中INTRA幀的頻率；2.使用B-幀；3.使用參照?qǐng)D選擇；4.使用現(xiàn)有的視頻冗余編碼技術(shù)。
在視頻序列中減少預(yù)測(cè)路徑長度的現(xiàn)有方法將會(huì)引起壓縮序列比特速率的提高。這一影響是我們不希望的，尤其是在比特速率傳輸信道或所有可用帶寬必須在多個(gè)用戶間共享的信道中。比特速率的增加取決于所采用的方法以及要編碼的視頻序列的性質(zhì)。
根據(jù)上述論述，考慮多媒體檢索系統(tǒng)與壓縮視頻序列的本質(zhì)，可以看出，需要限制傳輸錯(cuò)誤對(duì)察覺到的圖像質(zhì)量的影響。雖然現(xiàn)有的有些技術(shù)通過限制壓縮視頻序列使用的預(yù)測(cè)路徑長度來解決該問題，但是在多數(shù)情況下，會(huì)導(dǎo)致編碼序列所需的比特速率的增加。因此，本發(fā)明的一個(gè)目標(biāo)是在維持可接受的低比特速率的前提下增強(qiáng)壓縮視頻序列傳輸錯(cuò)誤的容錯(cuò)能力。

發(fā)明內(nèi)容
依據(jù)上述本發(fā)明的目的，本發(fā)明的第一方面提供一種對(duì)視頻幀序列進(jìn)行編碼形成一個(gè)壓縮視頻序列的方法，所述的壓縮視頻序列包括以至少第一個(gè)壓縮視頻幀格式與第二個(gè)壓縮視頻幀格式編碼的幀，所述的第一個(gè)壓縮視頻幀格式不是時(shí)域上預(yù)測(cè)的格式，而第二個(gè)壓縮視頻幀格式是一種時(shí)域上預(yù)測(cè)的格式，其特點(diǎn)在于該方法包括下列步驟識(shí)別關(guān)于第一個(gè)視頻幀的第一個(gè)標(biāo)識(shí)，該標(biāo)識(shí)表示第一個(gè)視頻幀應(yīng)該以第一個(gè)壓縮視頻幀格式編碼；將所述的第一個(gè)標(biāo)識(shí)與第二個(gè)視頻幀相連；以所述的第一個(gè)壓縮視頻幀格式對(duì)第二個(gè)視頻幀進(jìn)行編碼；定義第一個(gè)視頻幀集合，它包括在第二個(gè)視頻幀之前出現(xiàn)的N個(gè)視頻幀；以所述的第二個(gè)壓縮視頻幀格式對(duì)所述的第一個(gè)視頻幀集合進(jìn)行編碼；定義第二個(gè)視頻幀集合，包括在所述的第二個(gè)視頻幀之后出現(xiàn)的M個(gè)視頻幀；并以所述的第二個(gè)壓縮視頻幀格式對(duì)所述的第二個(gè)視頻幀的集合進(jìn)行編碼。
依據(jù)本發(fā)明第二部分的內(nèi)容，提供一個(gè)對(duì)視頻幀序列編碼的視頻編碼器，形成壓縮視頻序列，所述的壓縮視頻序列包括以至少第一個(gè)壓縮視頻幀格式與第二個(gè)壓縮視頻幀格式編碼的幀，所述的第一個(gè)壓縮視頻幀格式不是時(shí)域預(yù)測(cè)的，而所述的第二個(gè)壓縮視頻幀格式是時(shí)域預(yù)測(cè)的，其特征在于編碼器包括一種識(shí)別與第一個(gè)視頻幀有關(guān)的第一個(gè)標(biāo)識(shí)的方法，該標(biāo)識(shí)表示所述的第一個(gè)視頻幀應(yīng)該以第一個(gè)壓縮視頻幀格式進(jìn)行編碼；連接所述的第一個(gè)標(biāo)識(shí)與第二個(gè)視頻幀的方法；以所述的第一個(gè)壓縮視頻幀格式對(duì)所述的第二個(gè)視頻幀編碼的方法；定義包括在所述的第二個(gè)視頻幀之前出現(xiàn)的N個(gè)視頻幀的第一個(gè)視頻幀集合的方法；以所述的第二個(gè)壓縮視頻幀格式對(duì)所述的第一個(gè)視頻幀的集合編碼的方法；定義包括在所述的第二個(gè)視頻幀后出現(xiàn)的M個(gè)視頻幀的第二個(gè)視頻幀集合的方法；以及以所述的第二個(gè)壓縮視頻幀格式對(duì)所述的第二個(gè)視頻幀集合編碼的方法。
依據(jù)本發(fā)明第三方面的內(nèi)容，提供一個(gè)視頻編譯碼器，包括依據(jù)本發(fā)明的第二方面內(nèi)容的視頻編碼器。
依據(jù)本發(fā)明第四方面的內(nèi)容，提供一個(gè)多媒體內(nèi)容創(chuàng)建系統(tǒng)，包括一個(gè)依據(jù)本發(fā)明第二方面內(nèi)容的視頻編碼器。
依據(jù)本發(fā)明第五方面的內(nèi)容，提供一個(gè)多媒體終端，包括依據(jù)本發(fā)明第二方面內(nèi)容的視頻編碼器。
依據(jù)本發(fā)明第六方面的內(nèi)容，提供一個(gè)依據(jù)本發(fā)明第五方面內(nèi)容的多媒體終端，其特征在于該終端是一個(gè)無線電信設(shè)備。
依據(jù)本發(fā)明第七方面的內(nèi)容，提供一種對(duì)壓縮視頻序列譯碼從而形成解壓縮后的視頻幀序列的方法，所述的壓縮視頻序列包括以至少第一個(gè)壓縮視頻幀格式及第二個(gè)壓縮視頻幀格式編碼的幀，所述的第一個(gè)壓縮視頻幀格式是一個(gè)非時(shí)域預(yù)測(cè)的格式，所述的第二個(gè)壓縮視頻幀格式是時(shí)域預(yù)測(cè)的格式，其特征在于該方法包括以下步驟識(shí)別與第一個(gè)視頻幀相關(guān)的第一個(gè)標(biāo)識(shí)，該標(biāo)識(shí)表示所述的第一個(gè)視頻幀是以所述的第一個(gè)壓縮視頻幀格式編碼；對(duì)所述的第一個(gè)視頻幀進(jìn)行譯碼；接收所述的第二個(gè)壓縮視頻幀格式的第一個(gè)N幀的集合，包括所述的第一個(gè)視頻幀之前所述的解壓縮視頻序列；對(duì)所述的第一個(gè)N個(gè)視頻幀的集合進(jìn)行譯碼；根據(jù)與第一個(gè)幀集合相關(guān)的回放信息重新對(duì)第一個(gè)幀集合的幀排序；接收所述的第二個(gè)壓縮視頻幀格式的M個(gè)視頻幀的第二個(gè)集合，包括所述的第一個(gè)視頻幀之后的解壓縮視頻序列；以及對(duì)所述的第二個(gè)視頻幀集合進(jìn)行譯碼。
依據(jù)本發(fā)明第八方面的內(nèi)容，提供一個(gè)視頻譯碼器，對(duì)壓縮視頻序列進(jìn)行譯碼，形成解壓縮視頻幀的序列，所述的壓縮視頻序列包括以至少第一個(gè)壓縮視頻幀格式及第二個(gè)壓縮視頻幀格式編碼的幀，所述的第一個(gè)壓縮視頻幀格式不是時(shí)域上預(yù)測(cè)格式，而所述的第二個(gè)壓縮視頻幀格式是時(shí)域上預(yù)測(cè)的格式，其特征在于包括識(shí)別譯碼器與第一個(gè)視頻幀相關(guān)的第一個(gè)標(biāo)識(shí)的方法，該標(biāo)識(shí)表示所述的第一個(gè)視頻幀以所述的第一個(gè)壓縮視頻幀格式編碼；以及對(duì)所述的第一個(gè)視頻幀進(jìn)行譯碼的方法。
接收所述的第二個(gè)壓縮視頻幀格式的N個(gè)幀的第一個(gè)集合的方法，用于包含所述的第一個(gè)視頻幀之前的所述解壓縮視頻序列；對(duì)所述的N個(gè)視頻幀的第一個(gè)集合譯碼的方法；依據(jù)與第一個(gè)集合幀相關(guān)的回放信息對(duì)第一個(gè)幀集合的幀進(jìn)行排序；接收所述的壓縮視頻幀格式的M個(gè)視頻幀的第二個(gè)集合，用于包含所述的第一個(gè)視頻幀后的所述解壓縮后的視頻序列；對(duì)所述的第二個(gè)視頻幀的集合譯碼的方法。
依據(jù)本發(fā)明第九方面的內(nèi)容，提供一個(gè)視頻編譯碼器，包括依據(jù)本發(fā)明第八方面內(nèi)容的視頻譯碼器。
依據(jù)本發(fā)明第十方面的內(nèi)容，提供一個(gè)多媒體內(nèi)容檢索系統(tǒng)，包括一個(gè)依據(jù)本發(fā)明第八方面的內(nèi)容的視頻譯碼器。
依據(jù)本發(fā)明第十一方面的內(nèi)容，提供一個(gè)多媒體終端，包括一個(gè)依據(jù)本發(fā)明第八方面內(nèi)容的視頻譯碼器。
依據(jù)本發(fā)明第十二方面的內(nèi)容，提供一個(gè)依據(jù)本發(fā)明第十一方面的內(nèi)容的多媒體終端，其特征在于該終端是一個(gè)無線電信設(shè)備。
依據(jù)本發(fā)明第十三方面的內(nèi)容，提供一個(gè)計(jì)算機(jī)程序，將計(jì)算機(jī)作為視頻編碼器對(duì)視頻幀序列進(jìn)行編碼從而形成一個(gè)壓縮視頻序列，所述的壓縮視頻序列包括以至少第一個(gè)壓縮視頻幀格式及第二個(gè)壓縮視頻幀格式編碼的幀，所述的第一個(gè)壓縮視頻幀格式不是時(shí)域預(yù)測(cè)格式，所述的第二個(gè)壓縮視頻幀格式是時(shí)域預(yù)測(cè)的格式，其特征在于所述的計(jì)算機(jī)程序包括識(shí)別第一個(gè)視頻幀相關(guān)的第一個(gè)標(biāo)識(shí)的計(jì)算機(jī)可執(zhí)行代碼，所述的第一個(gè)視頻幀應(yīng)該以所述的第一個(gè)壓縮視頻幀格式編碼；將所述的第一個(gè)標(biāo)識(shí)與第二個(gè)視頻幀關(guān)聯(lián)起來的計(jì)算機(jī)可執(zhí)行代碼；以所述的第一個(gè)壓縮視頻幀格式的所述第二個(gè)視頻幀進(jìn)行編碼的計(jì)算機(jī)可執(zhí)行代碼；定義包括所述的第二個(gè)視頻幀之前出現(xiàn)的N個(gè)視頻幀的第一個(gè)視頻幀集合；以所述的第二個(gè)壓縮視頻幀格式對(duì)所述第一個(gè)視頻幀集合編碼的計(jì)算機(jī)可執(zhí)行代碼；定義包括所述的第二個(gè)視頻幀之后出現(xiàn)的M個(gè)視頻幀的第二個(gè)視頻幀集合的計(jì)算機(jī)可執(zhí)行代碼；以所述的第二個(gè)壓縮視頻幀格式對(duì)所述的第二個(gè)視頻幀集合進(jìn)行編碼的計(jì)算機(jī)可執(zhí)行代碼。
依據(jù)本發(fā)明第十四方面的內(nèi)容，提供計(jì)算機(jī)程序，將計(jì)算機(jī)作為視頻譯碼器對(duì)壓縮視頻序列譯碼，形成解壓縮視頻幀序列，所述的壓縮視頻序列包括以至少第一個(gè)壓縮視頻幀格式及第二個(gè)壓縮視頻幀格式編碼的幀，所述的第一個(gè)壓縮視頻幀格式不是時(shí)域上預(yù)測(cè)的格式，而所述的第二個(gè)壓縮視頻幀格式是時(shí)域預(yù)測(cè)的格式，其特征在于所述的計(jì)算機(jī)程序包括識(shí)別與第一個(gè)壓縮視頻幀相關(guān)的第一個(gè)標(biāo)識(shí)的計(jì)算機(jī)可執(zhí)行代碼，該標(biāo)識(shí)用來表示所述的第一個(gè)視頻幀以所述的第一個(gè)壓縮視頻幀格式編碼；對(duì)所述的第一個(gè)視頻幀譯碼的計(jì)算機(jī)可執(zhí)行代碼；接收所述的第二個(gè)壓縮視頻幀格式的第一個(gè)N幀集合的計(jì)算機(jī)可執(zhí)行代碼，包括進(jìn)所述的第一個(gè)視頻幀之前的所述解壓縮視頻序列；對(duì)所述的第一個(gè)N個(gè)視頻幀集合譯碼的計(jì)算機(jī)可執(zhí)行代碼；根據(jù)第一個(gè)集合的幀相關(guān)的回放信息對(duì)第一個(gè)幀集合進(jìn)行排序的計(jì)算機(jī)可執(zhí)行代碼；接收所述的第二個(gè)壓縮視頻幀格式的第二個(gè)M個(gè)視頻幀的集合的計(jì)算機(jī)可執(zhí)行代碼，包括進(jìn)所述的第一個(gè)視頻幀后的所述解壓縮視頻序列；以及對(duì)所述的第二個(gè)視頻幀集合譯碼的計(jì)算機(jī)可執(zhí)行代碼。
依據(jù)本發(fā)明第十五方面的內(nèi)容，提供一個(gè)依據(jù)本發(fā)明第十三與第十四方面內(nèi)容的計(jì)算機(jī)程序。
依據(jù)本發(fā)明另一方面的內(nèi)容，提供一個(gè)存儲(chǔ)媒介，包括將計(jì)算機(jī)作為視頻編碼器的計(jì)算機(jī)程序，對(duì)視頻幀序列編碼，形成壓縮視頻序列，所述的壓縮視頻序列包括以至少第一個(gè)壓縮視頻幀格式及第二個(gè)壓縮視頻幀格式編碼的幀，所述的第一個(gè)壓縮視頻幀格式不是時(shí)域上預(yù)測(cè)的格式，而所述的第二個(gè)壓縮視頻幀格式是時(shí)域上預(yù)測(cè)的格式，其特征在于所述的存儲(chǔ)媒介包括識(shí)別與第一個(gè)視頻幀相關(guān)的第一個(gè)標(biāo)識(shí)的計(jì)算機(jī)可執(zhí)行代碼，該標(biāo)識(shí)用來表示所述的第一個(gè)視頻幀應(yīng)該以所述的第一個(gè)壓縮視頻幀格式編碼；將所述的第一個(gè)標(biāo)識(shí)與第二個(gè)視頻幀相關(guān)聯(lián)的計(jì)算機(jī)可執(zhí)行代碼；定義包含在所述的第二個(gè)視頻之前出現(xiàn)的N個(gè)視頻幀的第一個(gè)視頻幀集合的計(jì)算機(jī)可執(zhí)行代碼；以所述的第二個(gè)壓縮視頻幀格式對(duì)所述第一個(gè)視頻幀進(jìn)行編碼的計(jì)算機(jī)代碼；定義包含所述的第二個(gè)視頻幀之后出現(xiàn)的M個(gè)視頻幀的第二個(gè)視頻幀集合的計(jì)算機(jī)可執(zhí)行代碼；以所述的第二個(gè)壓縮幀格式對(duì)視頻幀的第二個(gè)集合編碼的計(jì)算機(jī)可執(zhí)行代碼。
依據(jù)本發(fā)明另一部分的內(nèi)容，提供一個(gè)存儲(chǔ)媒介，包括將計(jì)算機(jī)作為視頻譯碼器的計(jì)算機(jī)程序，對(duì)視頻幀序列譯碼，形成解壓縮視頻序列，所述的壓縮視頻序列包括以至少第一個(gè)壓縮視頻幀格式及第二個(gè)壓縮視頻幀格式編碼的幀，所述的第一個(gè)壓縮視頻幀格式不是時(shí)域上預(yù)測(cè)的格式，而所述的第二個(gè)壓縮視頻幀格式是時(shí)域上預(yù)測(cè)的格式，其特征在于所述的存儲(chǔ)媒介包括識(shí)別與第一個(gè)視頻幀相關(guān)的第一個(gè)標(biāo)識(shí)的計(jì)算機(jī)可執(zhí)行代碼，用來表示所述的第一個(gè)視頻幀應(yīng)該以所述的第一個(gè)壓縮視頻幀格式編碼；對(duì)所述的第一個(gè)視頻幀譯碼的計(jì)算機(jī)可執(zhí)行代碼；接收所述的第二個(gè)壓縮視頻的第一個(gè)N幀集合的計(jì)算機(jī)可執(zhí)行代碼，包括所述的第一個(gè)視頻幀之前的所述解壓縮視頻序列；對(duì)所述的第一個(gè)N視頻幀集合譯碼的計(jì)算機(jī)可執(zhí)行代碼；根據(jù)與第一個(gè)集合的幀相關(guān)的回放信息，對(duì)第一個(gè)幀集合的幀排序的計(jì)算機(jī)可執(zhí)行代碼；接收所述的第二個(gè)壓縮視頻幀格式的第二個(gè)M個(gè)視頻幀集合的計(jì)算機(jī)可執(zhí)行代碼，包括入所述的第一個(gè)視頻幀后的所述解壓縮視頻序列；對(duì)所述的第二個(gè)視頻幀集合譯碼的計(jì)算機(jī)可執(zhí)行代碼。
依據(jù)本發(fā)明進(jìn)一步的內(nèi)容，提供對(duì)視頻幀序列編碼形成壓縮幀序列的方法，所述的壓縮視頻序列包括以至少第一個(gè)壓縮視頻幀格式及第二個(gè)壓縮視頻幀格式編碼的幀，所述的第一個(gè)壓縮視頻幀格式不是時(shí)域上預(yù)測(cè)的格式，而所述的第二個(gè)壓縮視頻幀格式是時(shí)域上預(yù)測(cè)的格式，其特征在于該方法包括以下步驟識(shí)別與第一個(gè)視頻幀相關(guān)的第一個(gè)標(biāo)識(shí)，用來表示所述的第一個(gè)視頻幀應(yīng)該以所述的第一個(gè)壓縮視頻幀格式編碼；按照降低所述的壓縮視頻序列中的預(yù)測(cè)路徑長度的方法將所述的第一個(gè)標(biāo)識(shí)與第二個(gè)視頻幀進(jìn)行相關(guān)。
依據(jù)本發(fā)明的視頻編碼方法提供的編碼視頻數(shù)據(jù)流的容錯(cuò)控制能力比傳統(tǒng)的方法編碼的視頻流更強(qiáng)。尤其是，本發(fā)明提供一個(gè)視頻編碼/譯碼系統(tǒng)，其中造成時(shí)間上預(yù)測(cè)的圖像損壞的數(shù)據(jù)丟失的影響，與采用傳統(tǒng)的視頻編譯碼器相比，傳播范圍要小。依據(jù)本發(fā)明，可以通過截短視頻序列內(nèi)的預(yù)測(cè)路徑，減少時(shí)間上預(yù)測(cè)幀的的損壞程度。這可以通過有效地對(duì)INTRA編碼后的幀插入延遲來完成。例如，在周期性的INTRA幀請(qǐng)求、INTRA幀更新來自遠(yuǎn)程終端或場(chǎng)景剪切的請(qǐng)求之后。依據(jù)本發(fā)明，通常以INTRA格式編碼的幀，如與周期性INTRA請(qǐng)求、INTRA更新請(qǐng)求或場(chǎng)景剪切相關(guān)的那些幀，本身不用INTRA格式編碼。相反，后來在視頻序列中出現(xiàn)的幀選擇用INTRA格式編碼。實(shí)際上用INTRA格式編碼(稱為“實(shí)際”INTRA幀)的幀的選擇方式是使它大約位于周期性INTRA請(qǐng)求、INTRA幀請(qǐng)求或場(chǎng)景剪切之間的中點(diǎn)。在實(shí)際的INTRA幀之前出現(xiàn)的幀逆序從實(shí)際的INTRA幀開始使用時(shí)域預(yù)測(cè)編碼，而那些在它之后出現(xiàn)的幀在前向上使用時(shí)域預(yù)測(cè)。依據(jù)本發(fā)明的一個(gè)優(yōu)選實(shí)施例，那些反向預(yù)測(cè)的幀以INTER(P-幀)格式編碼。在另一個(gè)優(yōu)選實(shí)施例中，在后向預(yù)測(cè)中使用B-幀格式編碼的幀。
本發(fā)明與傳統(tǒng)的視頻編碼方法比較，提供更強(qiáng)的容錯(cuò)控制能力，其中與周期性INTRA請(qǐng)求、INTRA幀更新請(qǐng)求或場(chǎng)景剪切相關(guān)的幀本身用INTRA格式編碼。尤其是，使用依據(jù)本發(fā)明的方法時(shí)，由于傳輸錯(cuò)誤引起其的幀丟失的比例大為降低。與通過降低預(yù)測(cè)路徑長度增強(qiáng)錯(cuò)誤控制能力的傳統(tǒng)方法相比，本發(fā)明不會(huì)引起比特速率的明顯增加。
本發(fā)明可以在例如多媒體檢索系統(tǒng)中實(shí)現(xiàn)，其中在不可靠的基于分組的傳輸協(xié)議的頂端對(duì)視頻分流，如UDP。它也可以在實(shí)時(shí)視頻電話應(yīng)用中實(shí)現(xiàn)。本發(fā)明尤其適用于移動(dòng)應(yīng)用中，其中至少一部分通信鏈接通過無線信道形成。因?yàn)闊o線通信鏈接具有相對(duì)較高的比特錯(cuò)誤率，并且?guī)捠芟?，本發(fā)明提供的增強(qiáng)的錯(cuò)誤控制能力尤其具有優(yōu)勢(shì)，因?yàn)樗粫?huì)使比特速率出現(xiàn)明顯增加。
此外，需要強(qiáng)調(diào)的是網(wǎng)絡(luò)的特點(diǎn)、連接的類型及傳輸協(xié)議對(duì)于本發(fā)明的實(shí)施并不重要。網(wǎng)絡(luò)可以包括固定網(wǎng)(PSTN)與移動(dòng)電信網(wǎng)(PLMN)，其中至少一部分通信鏈接由無線信道形成。網(wǎng)絡(luò)中的數(shù)據(jù)傳輸可以完全是基于分組的、完全是電路交換的、或者可以既包括電路交換也包括分組交換數(shù)據(jù)傳輸。例如，網(wǎng)絡(luò)可以包括使用與其他使用電路交換數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)元素耦合的基于分組的數(shù)據(jù)傳輸?shù)囊恍┰?如，核心網(wǎng))。這類系統(tǒng)的一個(gè)例子是目前提出的UMTS第三代移動(dòng)電話網(wǎng)，其中至少部分網(wǎng)絡(luò)可以依靠電路交換傳輸。
影響數(shù)據(jù)流的傳輸錯(cuò)誤的本質(zhì)也與本發(fā)明的應(yīng)用不相關(guān)。此外，依據(jù)本發(fā)明的編碼、譯碼與回放方法可以用于預(yù)先存儲(chǔ)所需要的視頻與現(xiàn)場(chǎng)(實(shí)時(shí))視頻壓縮中。還應(yīng)該強(qiáng)調(diào)的是，本發(fā)明可以單獨(dú)應(yīng)用或與現(xiàn)有的錯(cuò)誤糾正、消除及控制技術(shù)聯(lián)合應(yīng)用，包括傳統(tǒng)的截短視頻序列中的預(yù)測(cè)路徑的傳統(tǒng)方法，如上述提到的那些傳統(tǒng)方法。


下面參考下面的附圖通過示例對(duì)本發(fā)明進(jìn)行描述，其中圖1描述依據(jù)現(xiàn)有技術(shù)的多媒體內(nèi)容創(chuàng)建與檢索系統(tǒng)；圖2描述典型的多媒體片段編輯器執(zhí)行的操作；圖3描述典型的多媒體服務(wù)器的輸入與輸出；圖4描述在多媒體片段檢索過程中典型的客戶端終端完成的操作；圖5描述在壓縮視頻序列中I、P與B幀之間的預(yù)測(cè)依賴關(guān)系；圖6顯示使用INTER幀編碼的視頻序列示例；圖7顯示在場(chǎng)景剪切后立刻將INTRA幀插入到視頻幀序列中的操作；圖8顯示依據(jù)本發(fā)明的視頻編碼方法產(chǎn)生的視頻序列示例；圖9是依據(jù)現(xiàn)有技術(shù)的視頻編碼器的操作流程圖；圖10是依據(jù)本發(fā)明的一個(gè)優(yōu)選實(shí)施例的視頻編碼方法流程圖；圖11是依據(jù)本發(fā)明的方法的INTRA幀處理流程圖；圖12是依據(jù)本發(fā)明的一個(gè)優(yōu)選實(shí)施例的視頻譯碼方法的過程步驟的流程圖；圖13是在視頻回放過程中依據(jù)本發(fā)明的方法操作流程圖；圖14是依據(jù)本發(fā)明的使用B幀的另一個(gè)優(yōu)選實(shí)施例的視頻編碼方法的過程步驟；圖15是包括依據(jù)本發(fā)明實(shí)現(xiàn)的視頻編碼器的多媒體內(nèi)容創(chuàng)建與檢索系統(tǒng)；圖16是普通的H.324多媒體終端的框圖，包括一個(gè)視頻編譯碼器，由一個(gè)視頻編碼器與一個(gè)視頻譯碼器組成，用于依據(jù)本發(fā)明實(shí)現(xiàn)視頻編碼與視頻譯碼。
詳細(xì)描述為了更好地理解本發(fā)明及其優(yōu)點(diǎn)，下面將通過示例及對(duì)比圖7與圖8描述依據(jù)本發(fā)明的一個(gè)視頻編碼方法的優(yōu)選實(shí)施例。圖7描述傳統(tǒng)方式下的一個(gè)壓縮視頻序列，而圖8描述依據(jù)本發(fā)明創(chuàng)建的壓縮視頻序列。這兩個(gè)序列都表示相同的圖像內(nèi)容，由一個(gè)長序列的視頻形成部分的幾個(gè)連續(xù)幀構(gòu)成。如前所述，INTRA格式編碼的幀一般用參考序號(hào)50表示，INTER幀的標(biāo)號(hào)為54。依據(jù)以前使用的慣例，創(chuàng)建INTER幀的前向預(yù)測(cè)過程的標(biāo)號(hào)為53。在兩個(gè)序列的開始處是場(chǎng)景剪切70。盡管下面的描述主要是結(jié)合視頻序列中的場(chǎng)景剪切依據(jù)本發(fā)明的方法應(yīng)用，但是本發(fā)明也同樣適用于通常會(huì)產(chǎn)生INTRA格式的幀編碼的情況中，這包括場(chǎng)景剪切、來自遠(yuǎn)程終端的INTRA幀的請(qǐng)求和周期性的INTRA幀更新操作，但是并不僅限于此。
圖7中的幀序列表示的是傳統(tǒng)的編碼方案，其中INTRA幀50在場(chǎng)景剪切70之后立刻插入到序列中。當(dāng)出現(xiàn)場(chǎng)景剪切時(shí)，剪切之后的圖像內(nèi)容與剪切之前的內(nèi)容差別較大。因此，在場(chǎng)景剪切之后根據(jù)前面的幀的前向預(yù)測(cè)立刻將幀編碼成為INTER幀是不可能也不現(xiàn)實(shí)的。這樣，依據(jù)傳統(tǒng)的編碼方案，在場(chǎng)景剪切之后立刻將INTRA幀50(I1)插入。然后后面的幀根據(jù)該INTRA幀進(jìn)行前向預(yù)測(cè)(INTER編碼)，直到出現(xiàn)例如下一個(gè)場(chǎng)景剪切、周期性INTRA請(qǐng)求和INTRA幀更新請(qǐng)求(70)為止。
如前描述，依據(jù)本發(fā)明的方法的基礎(chǔ)是INTRA幀的延遲插入，如圖8所示。依據(jù)本發(fā)明，INTRA幀并不是立即插入到視頻流中，而是對(duì)在視頻序列中后來出現(xiàn)的一幀進(jìn)行INTRA格式的編碼。在圖8中用I1表示該幀。從圖8中可以看出，場(chǎng)景剪切70與I1之間的幀(圖8中的標(biāo)號(hào)為P2和P3)從I1開始逆向預(yù)測(cè)為INTER幀，如箭頭80所示。因此，它們?cè)贗1譯碼之后才能譯碼，這跟在能夠進(jìn)行前面圖像內(nèi)容的譯碼之前必須重建I1是類似的。這就意味著，依據(jù)本發(fā)明提供的方法，在視頻序列回放過程中需要的初始緩沖器時(shí)延通常應(yīng)該比場(chǎng)景剪切與后面的INTRA幀之間的時(shí)間長。
在考慮為了能夠譯出INTER幀P5必須成功傳送多少幀的問題時(shí)，可以看出依據(jù)本發(fā)明提供的方法的主要優(yōu)點(diǎn)。使用圖7中的傳統(tǒng)的幀排序方案，P5的成功譯碼需要正確傳送并譯出I1、P2、P3、P4和P5。因此，序列中(如幀I1)早出現(xiàn)的數(shù)據(jù)丟失(如包丟失)將會(huì)引起譯碼圖片內(nèi)容的錯(cuò)誤，在序列中傳播也會(huì)到達(dá)幀P5。而在依據(jù)本發(fā)明的方法中，對(duì)P5的成功譯碼只需要I1、P4與P5正確傳輸并譯碼。也就是說，通過使用本發(fā)明的方法，圖像序列中的預(yù)測(cè)路徑可以有效降低，從而增加了幀P5正確譯碼的概率。此外，序列中錯(cuò)誤在時(shí)間上的傳播也得以降低。序列中早期出現(xiàn)的數(shù)據(jù)丟失，例如在幀P2中出現(xiàn)的數(shù)據(jù)丟失，將只會(huì)引起幀P2與P3的譯碼圖片內(nèi)容中的錯(cuò)誤。
下面對(duì)依據(jù)本發(fā)明的視頻編碼方法進(jìn)行詳細(xì)描述。依據(jù)本發(fā)明的方法實(shí)現(xiàn)的視頻編碼器的功能將與傳統(tǒng)的視頻編碼器的操作進(jìn)行對(duì)比。圖9中有傳統(tǒng)視頻編碼器的構(gòu)造90。
在現(xiàn)有技術(shù)中的視頻編碼器90中，未編碼的原始圖片首先從視頻源(例如耦合到幀擷取器的視頻照相機(jī)和存儲(chǔ)設(shè)備，如存儲(chǔ)原始視頻幀的計(jì)算機(jī)硬盤驅(qū)動(dòng)器)連接到編碼器。編碼器也可以通過將控制命令發(fā)送給視頻源和存儲(chǔ)設(shè)備來請(qǐng)求一個(gè)新幀壓縮。獲取一個(gè)視頻新幀壓縮的過程參見圖9的步驟91。未編碼幀傳送給編碼器的速率可以是固定的或可變的。
通常，可以通過跳過一些幀降低視頻序列的比特速率，也就是說，通過從視頻序列中忽略一些幀完成。視頻編碼器的比特速率控制算法決定是否對(duì)某幀編碼。此過程在圖9中用步驟92表示。如果比特速率控制邏輯確定某一給定的幀需要編碼，那么傳統(tǒng)的視頻編碼器決定幀編碼的模式。該判決過程用步驟94表示。如果已經(jīng)請(qǐng)求了周期性的INTRA更新、INTRA幀更新請(qǐng)求已經(jīng)從遠(yuǎn)程終端接收到、或者已經(jīng)出現(xiàn)場(chǎng)景剪切，那么該幀用INTRA格式編碼，如步驟98所示。否則，該幀用INTER幀格式編碼，如步驟96所示。為了便于理解，我們的描述有一定程度的簡化，此處沒有考慮其他幀類型的處理，即雙向預(yù)測(cè)的B幀。不過，這一簡化不會(huì)影響依據(jù)現(xiàn)有技術(shù)對(duì)編碼器操作的理解。
為了比較，圖10中描述了依據(jù)本發(fā)明的視頻編碼方法的程序元素。完成與現(xiàn)有技術(shù)中的上述視頻編碼器等價(jià)功能的新方法的元素的參考編號(hào)與圖9中使用的相同。
首先，未編碼的原始視頻幀連接到編碼器，或該編碼器可以請(qǐng)求新幀進(jìn)行壓縮。在圖10中用步驟91表示。然后編碼器確定(步驟94)圖像內(nèi)容是否用INTRA格式編碼，例如作為場(chǎng)景剪切的結(jié)果、周期性INTRA幀更新間隔的結(jié)束或來自遠(yuǎn)程終端的INTRA幀更新請(qǐng)求的接收。依據(jù)本發(fā)明，如果編碼器確定需要INTRA幀，那么它將記錄需要這樣的INTRA幀，如圖10的步驟101所示。這樣的標(biāo)識(shí)INTRA幀需求的記錄可以通過為幀設(shè)置標(biāo)記并將標(biāo)記存儲(chǔ)在幀緩沖器中完成。下面對(duì)請(qǐng)求INTRA幀的方法進(jìn)行更詳細(xì)的描述，不過應(yīng)該知道，對(duì)于本發(fā)明的應(yīng)用來說，采用哪種標(biāo)識(shí)INTRA請(qǐng)求的方法并不重要。之后幀進(jìn)行緩存(102)。
依據(jù)本發(fā)明的編碼器需要一個(gè)緩沖器，用于存儲(chǔ)壓縮之前的原始圖像數(shù)據(jù)。存儲(chǔ)器應(yīng)該足夠大，能夠包含對(duì)應(yīng)時(shí)間周期(T)的原始圖像幀。一些所謂的“meta”數(shù)據(jù)與每個(gè)圖像數(shù)據(jù)幀相對(duì)應(yīng)。Meta數(shù)據(jù)提供關(guān)于要進(jìn)行編碼的幀的信息，而如果產(chǎn)生請(qǐng)求，如上所述，它還可以包括INTRA幀請(qǐng)求標(biāo)識(shí)。對(duì)于用INTER格式編碼的幀，meta數(shù)據(jù)可以包括用于運(yùn)動(dòng)補(bǔ)償?shù)膮⒖紟臄?shù)量(如果參考幀不是前面已經(jīng)編碼的幀)。所有幀的meta數(shù)據(jù)包括壓縮序號(hào)CO，標(biāo)識(shí)將進(jìn)行編碼的未壓縮視頻幀的順序。每個(gè)要進(jìn)行編碼的幀存儲(chǔ)在緩沖器中。
最初，在開始編碼之前，緩沖器是空的。當(dāng)開始編碼時(shí)，緩沖器被填充，直到其中的幀數(shù)與時(shí)間段T相對(duì)應(yīng)(102)。監(jiān)控緩沖器確定它什么時(shí)候填滿(步驟103)。當(dāng)緩沖器滿時(shí)，“最老的”幀，即最先裝入緩沖器的幀，從緩沖器中去除。此操作用圖10中的步驟104標(biāo)識(shí)。編碼器確定該幀是否與INTRA幀請(qǐng)求相關(guān)(步驟105)，這可以通過例如檢查該幀相應(yīng)的meta數(shù)據(jù)并確定是否設(shè)置INTRA標(biāo)記來完成。如果幀不與INTRA請(qǐng)求相關(guān)，編碼器的比特速率控制算法確定是否應(yīng)該跳過該幀(步驟92)，或者是否應(yīng)將該幀編碼為INTER幀(步驟107)。如果某幀被跳過，并且它包含一個(gè)用來表明除了前面的幀之外的幀應(yīng)該用作運(yùn)動(dòng)補(bǔ)償?shù)膮⒖嫉臉?biāo)識(shí)，那么該標(biāo)識(shí)應(yīng)該復(fù)制到描述緩沖器中的下一幀的meta數(shù)據(jù)中。如果決定不跳過該幀，那么使用序列中前面的幀作為參考或meta數(shù)據(jù)標(biāo)識(shí)的運(yùn)動(dòng)步驟所示的幀，將該幀用INTER格式編碼(步驟107)。
如果從緩沖器得到的幀與INTRA幀請(qǐng)求相關(guān)，那么執(zhí)行INTRA幀處理程序，通常用參考編碼108表示。圖11詳細(xì)地描述了步驟108的過程元素。當(dāng)前的INTRA幀請(qǐng)求在時(shí)刻T1出現(xiàn)。INTRA幀處理過程的第一步是搜索幀緩沖器并定位下一個(gè)INTRA幀請(qǐng)求，即當(dāng)前處理的幀之后的INTRA幀請(qǐng)求。參見圖11中的步驟110。下一個(gè)INTRA請(qǐng)求的T2時(shí)刻由相應(yīng)的meta數(shù)據(jù)確定。然后，確定INTRA格式編碼的實(shí)際幀，從而令這兩個(gè)請(qǐng)求的INTRA幀的時(shí)間差大約相等。也就是說，如果當(dāng)前的INTRA請(qǐng)求與出現(xiàn)時(shí)間為T1的幀相關(guān)，從出現(xiàn)時(shí)間為T3的緩沖器中選擇一幀，令T3-T1約等于T2-T3。選用該新定位的幀進(jìn)行INTRA格式的編碼。上述過程用圖11中的參考編號(hào)112表示。需要說明的是，依據(jù)本發(fā)明，實(shí)際用INTRA格式編碼的幀(稱為“實(shí)際”INTRA幀)不是最初的INTRA編碼請(qǐng)求有關(guān)的幀，而是視頻序列中出現(xiàn)的一些其他幀。如果緩沖器沒有包含與INTRA幀請(qǐng)求相關(guān)的幀，選擇實(shí)際用INTRA格式編碼的幀，使其出現(xiàn)時(shí)刻T3與T1時(shí)刻的INTRA請(qǐng)求之間的時(shí)間差大約等于T3與緩沖其的最后一幀之間的時(shí)間差。
然后在步驟114中，實(shí)際用INTRA格式編碼的幀從緩沖器中去除，對(duì)在實(shí)際的INTRA幀之前的幀的順序進(jìn)行翻轉(zhuǎn)。標(biāo)記在實(shí)際的INTRA幀之前并與之相連的幀以及在其之后并與之相連的幀，令它們包含表明實(shí)際的INTRA幀應(yīng)該用作運(yùn)動(dòng)補(bǔ)償參考的標(biāo)識(shí)。最后，選擇進(jìn)行INTRA格式編碼的幀編碼為INTRA幀(步驟116)，而其他達(dá)到但是不包括T2對(duì)應(yīng)的幀使用運(yùn)動(dòng)補(bǔ)償時(shí)域預(yù)測(cè)編碼進(jìn)行編碼。那些在實(shí)際的INTRA幀之前出現(xiàn)的幀從實(shí)際的INTRA幀開始進(jìn)行逆序編碼，而在其之后出現(xiàn)的幀進(jìn)行前向編碼。應(yīng)該知道，翻轉(zhuǎn)在實(shí)際的INTRA幀之前的幀的順序并不一定需要物理上的緩沖器重排。緩沖器內(nèi)有效的幀翻轉(zhuǎn)可以使用分配給各幀的壓縮順序(CO)編號(hào)完成，這將在下面進(jìn)行詳細(xì)描述。
為了更好地理解上述INTRA幀處理過程，我們看下面的示例。假設(shè)視頻捕捉與檢索系統(tǒng)的視頻編碼器已經(jīng)依據(jù)本發(fā)明的方法設(shè)計(jì)。編碼器包括可以存儲(chǔ)未壓縮格式視頻數(shù)據(jù)的5秒(加一幀)的緩沖器。通過視頻幀源以25幀/秒的固定速率將未壓縮(即原始)視頻幀提供給編碼器，這樣可使連續(xù)的幀之間的時(shí)間差統(tǒng)一為40毫秒。在序列中的任一時(shí)間點(diǎn)，緩沖器的內(nèi)容如表1所示表1 視頻編碼器緩沖器內(nèi)容示例

在表1中，給定原始視頻幀的回放/捕捉時(shí)間的參考時(shí)刻t用毫秒表示。如上所述，meta數(shù)據(jù)用于存儲(chǔ)未壓縮視頻幀的附加信息，例如用于表示壓縮與解壓縮的幀的順序的壓縮順序編號(hào)(CO)。
在該例中考察的特定視頻序列中，沒有場(chǎng)景剪切，但是每隔5秒請(qǐng)求一個(gè)周期性INTRA更新。在meta數(shù)據(jù)中有每個(gè)未壓縮視頻幀提供的相應(yīng)INTRA幀請(qǐng)求標(biāo)識(shí)。從表1中可以看出，該例中假設(shè)初始INTRA請(qǐng)求在時(shí)刻t出現(xiàn)。因?yàn)镮NTRA請(qǐng)求每隔5秒出現(xiàn)一次，下一個(gè)這樣的請(qǐng)求將在t+5000ms處出現(xiàn)。未壓縮的視頻幀提供的meta數(shù)據(jù)使編碼器能夠確定進(jìn)行INTRA請(qǐng)求的時(shí)刻。
使用依據(jù)本發(fā)明的方法，編碼器并不將INTRA編碼應(yīng)用到直接與INTRA請(qǐng)求相連的幀，而是在當(dāng)前的INTRA請(qǐng)求與下一個(gè)INTRA請(qǐng)求之間的大約中點(diǎn)處選擇用INTRA格式編碼的幀。應(yīng)該知道，沒有必要一定要選擇剛好在連續(xù)的INTRA請(qǐng)求中點(diǎn)的幀，這取決于連續(xù)INTRA請(qǐng)求之間的時(shí)間間隔與視頻序列的幀速率。在此處的示例中，幀之間的距離是40ms，INTRA請(qǐng)求以固定的5000ms間隔出現(xiàn)，依據(jù)本發(fā)明，最合適以INTRA格式編碼的幀是在t+2480ms或t+2520ms出現(xiàn)的幀(參見表1)。因此，編碼器可以選擇在t+2480或t+2520ms出現(xiàn)的幀作為實(shí)際的INTRA幀。對(duì)于INTRA格式編碼來說，選擇這兩類幀同樣合適。用于決定實(shí)際的INTRA幀的選擇的準(zhǔn)則依據(jù)本發(fā)明的實(shí)施方式可以不同，但是在該示例中，假定出現(xiàn)在t+2480ms的幀選為實(shí)際的INTRA幀。
然后編碼器將壓縮順序(CO)編碼分配給緩沖器中的未壓縮幀。緩沖器中的所有幀都標(biāo)有表示實(shí)際的INTRA幀的壓縮順序號(hào)，即前面選為INTRA格式編碼的幀。此壓縮順序信息存儲(chǔ)在與各幀相關(guān)的meta數(shù)據(jù)中，如表2所示。

表2壓縮序號(hào)與參考圖選擇分配后的示例緩沖器的內(nèi)容給出編碼器的緩沖器中實(shí)際的INTRA幀之前的未壓縮幀的壓縮序號(hào)順序，可使緩沖器中出現(xiàn)較早的幀接收較大的壓縮序號(hào)。實(shí)際的INTRA幀的壓縮序號(hào)CO＝0。因此，在此處的示例中在實(shí)際的INTRA幀之前與它相鄰的幀(即在t+2440ms處出現(xiàn)的幀)的壓縮序號(hào)為CO＝1。在該幀之前的幀的序號(hào)CO＝2，再往前是CO＝3，依次類推。在此處的示例中，這種標(biāo)號(hào)方案將使緩沖器中的第一個(gè)幀的壓縮編號(hào)為CO＝62。本發(fā)明所屬領(lǐng)域的技術(shù)人員都知道，此標(biāo)號(hào)方案可以有效的標(biāo)識(shí)在實(shí)際的INTRA幀之前的幀應(yīng)該逆序從實(shí)際的INTRA幀中預(yù)測(cè)，而不是從與初始的INTRA請(qǐng)求相關(guān)的幀(即t時(shí)刻出現(xiàn)的幀)中前向預(yù)測(cè)。
在實(shí)際的INTRA幀之后相鄰幀的壓縮序號(hào)(即在t+2520ms出現(xiàn)的幀)，以及后面幀的壓縮序號(hào)，隨著從實(shí)際的INTRA幀之前的序列中最早的幀的壓縮序號(hào)開始進(jìn)行編號(hào)。因此，在此處的示例中，在編碼器的幀緩沖器中的實(shí)際INTRA幀之后立刻出現(xiàn)的未壓縮視頻幀的壓縮序號(hào)為CO＝63，它之后的幀的壓縮序號(hào)為CO＝64，再下一幀為CP＝65，依次類推。此外，依據(jù)本發(fā)明的方法，實(shí)際的INTRA幀之后相鄰的幀的編號(hào)方式應(yīng)該使其參考圖(從中預(yù)測(cè)該幀)不是前面壓縮序號(hào)的幀，而是壓縮序號(hào)為CO＝0的實(shí)際INTRA幀。此標(biāo)識(shí)包含在與實(shí)際的INTRA幀之后立刻出現(xiàn)的幀相關(guān)的meta數(shù)據(jù)中。在此處的示例中，這意味著壓縮序號(hào)CO＝63的實(shí)際INTRA幀之后立刻出現(xiàn)的幀不是從壓縮序號(hào)CO＝62的幀中預(yù)測(cè)的，而是從壓縮序號(hào)為CO＝0的實(shí)際INTRA幀本身預(yù)測(cè)的。
分配壓縮序號(hào)之后的視頻緩沖器的內(nèi)容，如表2所示。
然后編碼器從緩沖器中去除實(shí)際的INTRA幀，依據(jù)前面分配的壓縮編號(hào)對(duì)緩沖器重新排序，并對(duì)選定的(即實(shí)際的)INTRA幀進(jìn)行編碼。
需要強(qiáng)調(diào)的是，對(duì)緩沖器物理上的重新排序的需求取決于所用的緩沖器類型。如果編碼器可以搜索緩沖器并隨機(jī)訪問其內(nèi)容(即緩沖器是一個(gè)隨機(jī)接入緩沖器)，那么可以以壓縮序號(hào)所示的順序直接選擇編碼幀，不再需要物理上的重新排序。另一方面，與此例中的假設(shè)類似，如果比較容易以先入先出方法接入緩沖器，那么依據(jù)壓縮序號(hào)對(duì)幀的物理上的重新排序就很有好處。
實(shí)際的INTRA幀可以使用任何合適的方法編碼。編碼方法的準(zhǔn)確選擇可以根據(jù)如將在后面用于傳輸壓縮視頻數(shù)據(jù)的通信信道的特點(diǎn)進(jìn)行。可用的比特速率是一項(xiàng)可能的指示編碼方法選擇的準(zhǔn)則。例如，在固定線路的視頻檢索或視頻電話系統(tǒng)中，可以依據(jù)ITU-T建議H.261對(duì)選定的(實(shí)際)INTRA幀進(jìn)行編碼，這是專門設(shè)計(jì)用于在可用的比特速率為px64kbits/s的通信系統(tǒng)中提供最優(yōu)性能。如果視頻數(shù)據(jù)包括在多媒體比特流中，依據(jù)MPEG4標(biāo)準(zhǔn)的編碼可能會(huì)更適合。在極低的比特速率通信尤其是在無線信道上，ITU-T建議H.263是另一個(gè)可選的視頻編碼方案。
在上述的重新排序操作之后，緩沖器的內(nèi)容如表3所示表3 重新排序后視頻緩沖器的內(nèi)容示例

緩沖器中其余的幀(除對(duì)應(yīng)t+5000的幀之外)用INTER格式編碼，幀序列(其中的幀從一個(gè)預(yù)測(cè)出另外一個(gè))由其壓縮序號(hào)及相應(yīng)的meta數(shù)據(jù)提供的參考圖選擇信息決定。同樣，所用的INTER編碼的詳細(xì)信息對(duì)于本發(fā)明的方法應(yīng)用并不重要。因?yàn)閷?duì)視頻幀編碼的順序由其分配的壓縮序號(hào)決定，編碼過程進(jìn)行如下處理。壓縮序號(hào)CO＝1到CO＝62的幀一個(gè)接一個(gè)地順序預(yù)測(cè)，從實(shí)際的INTRA幀(壓縮號(hào)CO＝0)開始。也就是說，壓縮序號(hào)為CO＝1的幀使用實(shí)際的INTRA幀作為參考圖進(jìn)行INTER編碼，壓縮序號(hào)CO＝2的幀從譯碼INTER編碼幀中預(yù)測(cè)，其壓縮序號(hào)為CO＝1，依次類推。此過程看上去好像是前向預(yù)測(cè)的。但是，由于未壓縮幀的壓縮序號(hào)是逆序的，幀CO＝1到CO＝62從實(shí)際的INTRA幀中進(jìn)行逆序的有效預(yù)測(cè)。
此過程一直持續(xù)到到達(dá)壓縮序號(hào)CO＝63的幀為止。該幀應(yīng)該用INTER格式編碼，從實(shí)際的INTRA幀(CO＝0)處前向預(yù)測(cè)，不應(yīng)該從幀CO＝62中預(yù)測(cè)。依據(jù)本發(fā)明的方法中，這在關(guān)于幀CO＝63的meta數(shù)據(jù)中標(biāo)明。Meta數(shù)據(jù)標(biāo)識(shí)幀CO＝63的INTER前向編碼使用的參考圖的壓縮序號(hào)為CO＝0，即實(shí)際的INTRA幀。只要預(yù)測(cè)的來源重新設(shè)置為幀CO＝0，編碼器就繼續(xù)對(duì)其余的緩沖器中的未編碼幀(那些壓縮序號(hào)為CO＝63到CO＝124)一個(gè)接一個(gè)地進(jìn)行序列編碼。也就是說，幀CO＝63使用幀CO＝0(即實(shí)際的INTRA幀)作為其參考圖進(jìn)行編碼，幀CO＝64從CO＝63中預(yù)測(cè)，而幀CO＝65從CO＝64中預(yù)測(cè)，依次類推。
在前面的描述中，使用示例對(duì)依據(jù)本發(fā)明的視頻編碼方法進(jìn)行描述，在該示例中，主要根據(jù)兩個(gè)類型的視頻幀，非時(shí)域預(yù)測(cè)的INTRA幀及時(shí)域預(yù)測(cè)的INTER幀，對(duì)視頻序列進(jìn)行編碼。但是，本發(fā)明所屬領(lǐng)域的技術(shù)人員應(yīng)該知道，此方法也可以延伸到包括使用其他類型的視頻幀。尤其是，使用前向、反向或雙向時(shí)間預(yù)測(cè)的B圖也可以結(jié)合本發(fā)明使用。也就是說，實(shí)際的INTRA幀或任何逆序預(yù)測(cè)形成實(shí)際的INTRA幀的INTER格式的幀可以用作創(chuàng)建B圖的錨圖。B圖可以使用前向預(yù)測(cè)、反向預(yù)測(cè)或雙向預(yù)測(cè)創(chuàng)建。類似的，B圖也可以包含在含有從實(shí)際的INTRA幀前向預(yù)測(cè)的INTER格式幀序列部分中。
上述過程使視頻數(shù)據(jù)的各幀可以參考選定的(實(shí)際)INTRA幀以直接的方式編碼。但是，盡管視頻幀依據(jù)它們分配的壓縮序號(hào)進(jìn)行編碼有利于編碼過程，但是在幀譯碼時(shí)會(huì)產(chǎn)生一個(gè)問題。尤其是，視頻幀不可能以正確的回放順序編碼。參見表3中的回放/捕捉時(shí)間。因此，當(dāng)幀以這樣的順序經(jīng)過編碼并通過通信信道傳送給譯碼器時(shí)，譯碼器依據(jù)其回放時(shí)間對(duì)幀進(jìn)行重新排序，確保它們能夠以正確的順序回放。
后面將對(duì)這一過程進(jìn)行詳細(xì)描述，不過此處應(yīng)該說明的是，考慮到譯碼器端所需的回放時(shí)間，信息與各幀是相關(guān)的。信息與其本身的圖片數(shù)據(jù)及包含各幀的壓縮序號(hào)的meat數(shù)據(jù)傳送給譯碼器。在一定的分組交換網(wǎng)絡(luò)中，數(shù)據(jù)包不可能以與其傳送順序相同的順序到達(dá)接收端。一些傳輸協(xié)議，如RTP(可靠傳輸協(xié)議)，可以提供數(shù)據(jù)包傳送的順序標(biāo)識(shí)(“序列編號(hào)”)。這可以使數(shù)據(jù)包在接收端組合成為其正確的順序。在這類系統(tǒng)中，沒有必要將壓縮序號(hào)與視頻數(shù)據(jù)一起發(fā)送，這是因?yàn)橐曨l幀編碼的順序可以從接收的數(shù)據(jù)包的序列編號(hào)中推斷出。但是，在傳輸協(xié)議沒有提供序列編號(hào)的系統(tǒng)中，需要有壓縮順序信息的傳輸。各個(gè)視頻幀的回放時(shí)間安排信息在通過通信鏈接傳輸視頻數(shù)據(jù)時(shí)比較容易包含入文件或復(fù)用/傳輸格式頭中，并且其本身可以包含在視頻編碼格式/語法中。
因?yàn)楸景l(fā)明實(shí)質(zhì)上是在INTRA請(qǐng)求之后延遲INTRA幀的插入，因此后向預(yù)測(cè)的INTER幀也必須在INTRA格式實(shí)際編碼的幀之前顯示。在圖14所示的依據(jù)本發(fā)明的另一個(gè)方法優(yōu)選實(shí)施例中，可以使用B-幀。在壓縮視頻語法或周圍文件或傳輸格式不允許在后面的錨幀(I1)之前使用逆序預(yù)測(cè)的幀(如圖8中的INTER編碼幀P2與P3)回放時(shí)使用此方法比較有利。通常，例如在ITU-T建議H.263中，B-幀支持后向、前向或雙向的預(yù)測(cè)。因此，依據(jù)本發(fā)明的編碼方法可以使用從后面的錨幀(I1)中后向預(yù)測(cè)B-幀完成。但是，此技術(shù)與本發(fā)明前面描述的優(yōu)選實(shí)施例相比，壓縮效率較低。
參考圖14，依據(jù)本發(fā)明另一個(gè)實(shí)施例的編碼方法的過程與優(yōu)選實(shí)施例的方式類似，包括選擇實(shí)際INTRA幀的位置也是類似的。在編碼器緩沖器中實(shí)際INTRA幀之前的幀編碼為B-幀52，每個(gè)B幀直接從實(shí)際的INTRA幀中后向預(yù)測(cè)51b，如圖14所示。因?yàn)锽-幀的后向預(yù)測(cè)由視頻編碼建議如ITU-TH.263支持，在該實(shí)施例中，不必將逆序CO號(hào)分配給實(shí)際的INTRA幀前面的幀。只要標(biāo)識(shí)各幀應(yīng)該使用實(shí)際的INTRA幀作為預(yù)測(cè)參考幀進(jìn)行B-幀格式的編碼就足夠了。此信息可以包含在與實(shí)際的INTRA幀之前的各幀相關(guān)的meta數(shù)據(jù)中。隨后緩沖器中實(shí)際的INTRA幀之后的幀一個(gè)接一個(gè)的用INTER格式編碼。表明實(shí)際的INTRA幀將作為實(shí)際的INTRA幀之后與之相鄰的幀預(yù)測(cè)參考的標(biāo)識(shí)包含在該幀的meta數(shù)據(jù)中。
本發(fā)明的另一個(gè)方法實(shí)施例可以用在視頻壓縮方法不支持參考圖選擇的情況中。在這種情況下，控制或調(diào)用視頻編譯碼器的層(如控制程序)可以在實(shí)際的INTRA幀被參考之前的瞬間用實(shí)際的INTRA幀代替編譯碼器的參考幀緩沖器的內(nèi)容。在上述的示例中，這就意味著參考幀緩沖器在開始對(duì)幀CO＝63編碼或譯碼時(shí)，應(yīng)該載入幀CO＝0。為了支持本發(fā)明的該實(shí)施例，壓縮幀語法，或復(fù)用/傳輸格式應(yīng)該承載標(biāo)識(shí)實(shí)際的INTRA幀及哪些幀需要將其作為參考的信息。
下面，將對(duì)適合與視頻編碼方法一起使用的譯碼方法及視頻回放方法的優(yōu)選實(shí)施例進(jìn)行描述。圖12中是一個(gè)依據(jù)本發(fā)明的譯碼方法。在譯碼過程中譯碼器從傳輸信道中接收編碼幀并緩存(120)這些幀。然后譯碼器對(duì)緩存的幀122進(jìn)行譯碼。在這種情況下，傳輸信號(hào)可以是任何適合壓縮視頻或多媒體數(shù)據(jù)傳輸?shù)耐ㄐ判诺?。傳輸可以通過固定線路網(wǎng)絡(luò)，如Internet、ISDN或PSDN(公共交換電話網(wǎng))進(jìn)行；至少部分網(wǎng)絡(luò)也可以包含一個(gè)無線鏈接，如PLMN(公共陸地移動(dòng)網(wǎng))提供的無線鏈接。術(shù)語“傳輸信道”應(yīng)該包含存儲(chǔ)文件從存儲(chǔ)媒介(例如用于顯示或進(jìn)一步處理的計(jì)算機(jī)硬件驅(qū)動(dòng)器)檢索時(shí)進(jìn)行的數(shù)據(jù)傳輸。
本發(fā)明所屬領(lǐng)域的技術(shù)人員都知道，壓縮視頻序列的每一幀都是依據(jù)其編碼方法用基本上標(biāo)準(zhǔn)的方式譯碼。這是完全可能的，因?yàn)橐罁?jù)本發(fā)明的方法不必更改INTRA及INTER編碼幀本身的格式。因此，未壓縮視頻幀的編碼可以依據(jù)任何合適的方案進(jìn)行，無論是標(biāo)準(zhǔn)的還是私有的。
在譯碼后，未壓縮幀存儲(chǔ)(124)在回放緩沖器中。如果編碼器中使用的緩沖器長度為T(參見上面編碼階段的描述)，譯碼器中使用的緩沖器應(yīng)該能夠支持至少0.5XT秒的未壓縮視頻圖。然后，將解壓縮的視頻幀排序成其正確的回放序列。譯碼器使用與每幀相關(guān)的回放信息對(duì)幀進(jìn)行排序。如上所述，在將視頻幀存儲(chǔ)在編碼器的緩沖器中可以將該信息并入數(shù)據(jù)結(jié)構(gòu)中，并且在壓縮視頻語法中或?qū)嚎s視頻幀傳輸給譯碼器時(shí)使用復(fù)用/傳輸格式承載該信息。在一些情況中，例如在通信信道的吞吐量下降時(shí)，譯碼器實(shí)際上可以在安排的回放時(shí)間后接收該幀。如果在安排的回放時(shí)間后接收該幀，或者在回放時(shí)間前接收但是無法迅速譯碼來保證按時(shí)回放，那么這樣的幀不可能存儲(chǔ)在譯碼器的輸入緩沖器中。但是，存儲(chǔ)晚到的幀或無法在其回放時(shí)按時(shí)譯碼的幀是有用的，這是因?yàn)樗鼈兛梢杂糜谔岣咂渌麕腻e(cuò)誤消除能力等等。
圖13中是依據(jù)本發(fā)明的優(yōu)選實(shí)施例的視頻回放裝置的過程步驟?；胤叛b置的輸入為來自視頻譯碼器的緩沖器124的解壓縮后的視頻幀，根據(jù)其安排的回放時(shí)間正確排序。當(dāng)開始一個(gè)新的視頻序列的回放時(shí)，后面的視頻幀在回放緩沖器132中緩存。為了保證視頻序列的回放不被中斷，該初始緩沖時(shí)間應(yīng)該至少為05XT秒。在初始的緩沖時(shí)間之后，回放過程進(jìn)入正常的回放循環(huán)，包括步驟134、136與138。134的第一步是確定是否安排回放緩沖器中的一個(gè)幀進(jìn)行回放。如果是，那么在136中顯示。如果不是，或者剛剛顯示了一個(gè)幀，那么該過程進(jìn)入周期性等待或空閑狀態(tài)138?；胤叛h(huán)的操作速率為原始捕捉序列的(最大)幀速率。例如，如果序列以25幀/秒的速率捕捉，則回放循環(huán)每40毫秒執(zhí)行一次。
圖15是依據(jù)本發(fā)明的多媒體內(nèi)容創(chuàng)建系統(tǒng)的優(yōu)選實(shí)施例。此處，該系統(tǒng)包括三個(gè)媒體源10音頻源151a、視頻源151b及數(shù)據(jù)源151c。本發(fā)明所述領(lǐng)域的技術(shù)人員都知道，媒體源的數(shù)目并不限于此處介紹的這三個(gè)。而且每個(gè)源可以是多種形式，包括但是不限于“現(xiàn)場(chǎng)”源，即實(shí)時(shí)媒體內(nèi)容以及非實(shí)時(shí)媒體源，如大型存儲(chǔ)媒介上的媒體內(nèi)容文件，例如網(wǎng)絡(luò)硬件驅(qū)動(dòng)器等等。
依據(jù)本發(fā)明的多媒體內(nèi)容創(chuàng)建系統(tǒng)包括多媒體捕捉方法，通常用參考號(hào)20表示。在本發(fā)明的優(yōu)選實(shí)施例中，每個(gè)多媒體源提供專用捕捉裝置。因此，捕捉方法20包括音頻捕捉裝置152a、視頻捕捉裝置152b及數(shù)據(jù)捕捉裝置152c。音頻捕捉裝置可以包括如麥克風(fēng)、模擬-數(shù)字轉(zhuǎn)換器及信號(hào)處理電子裝置形成數(shù)字化的音頻數(shù)據(jù)幀。視頻捕捉裝置，如前所述，可以包括視頻擷取卡，用于從模擬視頻輸入產(chǎn)生數(shù)字視頻幀。對(duì)于每個(gè)媒體源，捕捉設(shè)備也可以包括一些軟件，如用于控制媒介源及其相應(yīng)的捕捉裝置操作的專用設(shè)備驅(qū)動(dòng)器及應(yīng)用程序。多媒體捕捉方法20的輸出是未壓縮的媒體流的集合，每個(gè)媒體流對(duì)應(yīng)一個(gè)媒體源151a-151c。
如果一個(gè)或多個(gè)媒體源提供已經(jīng)適合用于多媒體內(nèi)容編輯器22格式的內(nèi)容，那么該媒體內(nèi)容可以直接用于編輯器。例如，在媒體源是從存儲(chǔ)在大型存儲(chǔ)媒介中的文件中以數(shù)據(jù)形式檢索的音頻或視頻幀的文件時(shí)。
多媒體內(nèi)容編輯器22接收到多媒體捕捉方法提供的獨(dú)立媒體流，并將它們鏈接為統(tǒng)一的實(shí)時(shí)流。例如，應(yīng)該同時(shí)回放的多媒體流，如視頻及音頻內(nèi)容，通過提供各幀所需的回放時(shí)間的標(biāo)識(shí)鏈接起來。也可以提供所需的其他多媒體流的回放時(shí)間的標(biāo)識(shí)。只要用這種方式鏈接，多媒體內(nèi)容的每個(gè)元素都稱為“磁道”。編輯器22也可以運(yùn)用各種方式編輯媒體磁道。例如，視頻幀速率可以降低一半或者視頻圖像的空間解析度可以降低。
從編輯器22開始，通過編碼單元24接收媒體磁道。在本發(fā)明的優(yōu)選實(shí)施例中，每個(gè)磁道以適合該媒體類型的方法進(jìn)行獨(dú)立編碼，而每個(gè)媒體類型均提供單獨(dú)的編碼器。因此，在此例中，提供了三個(gè)編碼器，一個(gè)音頻編碼器157a、一個(gè)視頻編碼器157b以及數(shù)據(jù)編碼器157c。應(yīng)該知道，所用編碼器的個(gè)數(shù)對(duì)于本發(fā)明的應(yīng)用來說并不重要。而且在數(shù)據(jù)編碼器中，編碼方式可能因數(shù)據(jù)的不同而有所差異。每個(gè)編碼器去除各個(gè)媒體磁道中的冗余信息，這樣它們就可以用更簡潔的格式標(biāo)識(shí)，適合在帶寬有限的通信鏈接中傳輸。所用的壓縮技術(shù)包括無丟失與有丟失壓縮技術(shù)。音頻與數(shù)據(jù)磁道可以使用任何合適的方法編碼，其選擇可以根據(jù)用于進(jìn)一步將多媒體數(shù)據(jù)傳輸給接收客戶端的通信信道的特點(diǎn)。例如，音頻磁道可以使用GSM EFR語音編譯碼器編碼。視頻編碼器157b依據(jù)本文中前面描述的方法實(shí)現(xiàn)。它使用運(yùn)動(dòng)補(bǔ)償時(shí)間預(yù)測(cè)，并且如前所述，操作方式應(yīng)依據(jù)本發(fā)明降低圖像序列中的預(yù)測(cè)路徑，給壓縮視頻磁道提供更大的容忍數(shù)據(jù)丟失引起的錯(cuò)誤的能力。
復(fù)用器26接收編碼單元24產(chǎn)生的壓縮媒體磁道。此處它們進(jìn)行交織，形成統(tǒng)一的比特流，該比特流稱為多媒體“片段”。然后將這些片段傳遞給多媒體服務(wù)器14，通過通信鏈接進(jìn)一步傳遞給接收客戶端。
圖16是依據(jù)本發(fā)明的方法的另一種情況。該圖描述了依據(jù)ITU-T建議H.324實(shí)現(xiàn)的多媒體終端160。此終端可以作為多媒體收發(fā)機(jī)設(shè)備。它包括對(duì)通信網(wǎng)上傳輸?shù)亩嗝襟w數(shù)據(jù)流的捕捉、編碼與復(fù)用的元素，以及接收、解復(fù)用、譯碼與回放接收到的多媒體內(nèi)容的元素。ITU-T建議H.324將終端操作定義為一個(gè)整體，并參考其他的建議，控制各種終端設(shè)備元素的操作。通常，這樣的多媒體終端可以用于實(shí)時(shí)多媒體應(yīng)用中，如視頻電話中，但是并不僅限于此。例如，H.324多媒體終端也可以用作多媒體內(nèi)容檢索客戶端，從例如多媒體內(nèi)容服務(wù)器等處下載或分流多媒體內(nèi)容。
在本發(fā)明的內(nèi)容中，應(yīng)該知道，圖16中的H.324終端只是其中的一種適合用于本發(fā)明的方法中的多媒體終端設(shè)備。還應(yīng)該說明的是，也可以使用一些其他與終端設(shè)備的位置與安裝有關(guān)的技術(shù)。如圖16所示，多媒體終端可以位于與固定線路電話網(wǎng)，如模擬PSTN(公共交換電話網(wǎng))，相連的通信設(shè)備中。在這種情況中，多媒體終端配有調(diào)制解調(diào)器171，符合ITU-T建議V.8、V.34及V.8bis。多媒體終端也可以連接到外部調(diào)制解調(diào)器上。該調(diào)制解調(diào)器可以將復(fù)用的數(shù)字?jǐn)?shù)據(jù)與多媒體終端產(chǎn)生的控制信號(hào)轉(zhuǎn)換為適合在PSTN上傳輸?shù)哪M格式。它還可以使多媒體終端接收來自PSTN的模擬形式的數(shù)據(jù)及控制信號(hào)并將它們轉(zhuǎn)換為可以解復(fù)用并以合適的方法被終端處理的數(shù)字?jǐn)?shù)據(jù)流。
H.324多媒體終端也可以通過下列方式實(shí)現(xiàn)可以將其與數(shù)字固定線路網(wǎng)絡(luò)，如ISDN(綜合業(yè)務(wù)數(shù)據(jù)網(wǎng))直接相連。在此情況下，該終端依據(jù)H.324/I(ITU-T建議H.324的附錄D)實(shí)現(xiàn)，而調(diào)制解調(diào)器171依據(jù)ITU-TI.400系列建議用ISDN用戶網(wǎng)接口代替。在圖16中，該ISDN用戶網(wǎng)接口用框圖172表示。
H.324多媒體終端也可用于移動(dòng)通信應(yīng)用中。建議H.324的附錄C有一些將H.324終端用于易錯(cuò)的通信環(huán)境中的修訂。這些修訂中多數(shù)專門用于復(fù)用協(xié)議，用來合并數(shù)據(jù)流(ITU-T建議H.223)，并產(chǎn)生更健壯的比特流，抵抗信道錯(cuò)誤引起的數(shù)據(jù)丟失與破壞。盡管這些修訂的使用不限于移動(dòng)通信中，但是它們尤其適用于移動(dòng)應(yīng)用中，這是因?yàn)樵谶@一類通信鏈接中的比特錯(cuò)誤率一般較高。H.324附錄C也指出(第C.3段)在移動(dòng)應(yīng)用中，調(diào)制解調(diào)器171可以用任何合適的無線接口代替，見圖16的框圖173。因此，依據(jù)H.324附錄C實(shí)現(xiàn)的移動(dòng)多媒體終端(通常指H.324/M終端)可以接受適合用于任何當(dāng)前或未來移動(dòng)典型網(wǎng)中的無線部分。例如，H.324/M多媒體終端可以包括一個(gè)與當(dāng)前第二代GSM移動(dòng)電話網(wǎng)或提出的第三代UMTS(通用移動(dòng)電話系統(tǒng))相連的無線收發(fā)機(jī)。
無論多媒體終端怎樣安裝，無論它位于哪里，都可能需要與包括電路交換及基于分組的電信鏈接的通信網(wǎng)絡(luò)交換多媒體數(shù)據(jù)，該電信網(wǎng)可能包括具有無線鏈接的移動(dòng)電信網(wǎng)。例如，鏈接到ISDN網(wǎng)中的H.324/I多媒體終端可以在PLMN移動(dòng)電話網(wǎng)中形成與H.324/M終端的連接。通過網(wǎng)絡(luò)在終端之間傳輸?shù)亩嗝襟w數(shù)據(jù)會(huì)受到各種來源的錯(cuò)誤與數(shù)據(jù)丟失的影響。這可能包括比特翻轉(zhuǎn)錯(cuò)誤，例如由影響無線通信鏈接的干擾所引起，還可能包括核心ISDN網(wǎng)中可能的擁塞引起的包丟失。因此，盡量使通信多媒體終端的視頻編碼器的安裝能夠?yàn)橐曨l比特流提供高度的傳輸錯(cuò)誤容忍能力是很有用的。如前所述，依據(jù)本發(fā)明的視頻編碼方法使用時(shí)間預(yù)測(cè)技術(shù)壓縮可以為視頻序列提供容錯(cuò)控制能力。因此，它非常適合安裝在多媒體終端中，尤其是適合安裝在可能用于易于出錯(cuò)的通信信道中的設(shè)備中。
需要說明的是，在設(shè)計(jì)用于雙向通信(即可以發(fā)送并接收視頻數(shù)據(jù))的多媒體終端中，必須提供依據(jù)本發(fā)明安裝的視頻編碼器與視頻譯碼器。因?yàn)橐罁?jù)本發(fā)明的優(yōu)選實(shí)施例的視頻編碼器可以改變壓縮幀的順序，因此接收終端的視頻譯碼器必須在顯示之前對(duì)接收到的幀正確排序。因此，依據(jù)本發(fā)明典型的多媒體終端將包含一個(gè)能夠完成上述編碼/譯碼方法的編碼器/譯碼器對(duì)。這樣的編碼器與譯碼器對(duì)經(jīng)常作為統(tǒng)一的功能單元安裝，稱為“編譯碼器”。另一方面，如果多媒體終端只用作多媒體檢索客戶端，那么它只需要包括一個(gè)依據(jù)本發(fā)明安裝的譯碼器。
下面將參考圖16詳細(xì)描述典型的H.324多媒體終端。該多媒體終端160包括各種所謂的“終端設(shè)備”。它包括視頻、音頻及遠(yuǎn)程信息處理，通常分別用參考號(hào)161、162及163表示。視頻設(shè)備161可以包括如捕捉視頻圖像的視頻照相機(jī)、顯示接收到的視頻內(nèi)容的監(jiān)控器以及可選的視頻處理設(shè)備。音頻設(shè)備162通常包括一個(gè)麥克風(fēng)，可用于捕捉語音信息等，還包括一個(gè)揚(yáng)聲器，用于重新生成接收的音頻內(nèi)容。音頻設(shè)備也可以包括附加的音頻處理單元。遠(yuǎn)程信息處理163可以包括數(shù)據(jù)終端、鍵盤、電子書寫板或靜止圖像收發(fā)機(jī)，如傳真單元。
視頻設(shè)備耦合到視頻編譯碼器165中。該視頻編譯碼器包括一個(gè)視頻編碼器及相應(yīng)的視頻譯碼器。應(yīng)該以合適的格式對(duì)捕捉的視頻數(shù)據(jù)進(jìn)行編碼，從而在通信鏈接上進(jìn)行進(jìn)一步的傳輸，并對(duì)通信網(wǎng)中接收到的壓縮音頻內(nèi)容譯碼。在圖16的示例中，視頻編譯碼器依據(jù)ITU-T建議H.263實(shí)現(xiàn)，尤其適合用于低比特速率的視頻會(huì)議應(yīng)用，其中通信鏈接是例如可用帶寬為20kps的無線信道。
類似地，終端的音頻設(shè)備耦合到音頻編譯碼器中，用圖16的參考號(hào)166表示。在此示例中，音頻編譯碼器依據(jù)ITU-T建議G.723.1完成。與視頻編譯碼器類似，音頻編譯碼器包括一個(gè)編碼/譯碼對(duì)。它將終端音頻設(shè)備捕捉的音頻數(shù)據(jù)轉(zhuǎn)換為適合在通信鏈接上傳輸?shù)母袷?，并將從網(wǎng)絡(luò)中接收的音頻數(shù)據(jù)編碼為適合在終端揚(yáng)聲器等重新生成的格式。音頻編譯碼器的輸出傳送給延遲框167。它可以補(bǔ)償視頻編碼過程引入的延遲，從而保證音頻與視頻內(nèi)容的同步。
多媒體終端的系統(tǒng)控制框164控制連接到網(wǎng)絡(luò)的信令，建立在發(fā)送與接收終端之間操作的通用模式。H.324指出使用ITU-T建議H.245定義的控制協(xié)議執(zhí)行端到端的信令。H.245控制協(xié)議，在圖16中用參考號(hào)168表示，交換關(guān)于發(fā)送并接收終端的編碼與譯碼能力的信息，并用于進(jìn)行各種視頻編碼器的編碼模式。系統(tǒng)控制框164也依據(jù)ITU-T建議H.233控制數(shù)據(jù)加密的使用?？紤]用于數(shù)據(jù)傳輸中加密類型的信息從加密模塊169傳遞給復(fù)用器/解復(fù)用器(MUX/DEMUX單元)170。
在來自多媒體終端的數(shù)據(jù)傳輸中，MUX/DEMUX單元170將編碼與同步的視頻與音頻流與來自遠(yuǎn)程信息處理163的數(shù)據(jù)輸入合并起來，形成統(tǒng)一的比特流。加密模塊169提供的有關(guān)用于比特流的數(shù)據(jù)加密類型(如果有)的信息，用于選擇加密模式。因此，當(dāng)復(fù)用并可能加密的多媒體數(shù)據(jù)流接收到時(shí)，MUX/DEMUX單元170負(fù)載對(duì)比特流解密，將其分成多媒體元素并將這些元素傳遞給合適的編譯碼器與/或終端設(shè)備用于譯碼與重新生成。依據(jù)H.324標(biāo)準(zhǔn)，MUX/DEMUX單元170應(yīng)該執(zhí)行ITU-T建議H.223。
應(yīng)該說明的是，依據(jù)本發(fā)明，多媒體內(nèi)容創(chuàng)建系統(tǒng)、多媒體終端、多媒體檢索客戶端、視頻編碼器、譯碼器給視頻編譯碼器的功能元素可以作為軟件或?qū)Ｓ糜布騼烧呓Y(jié)合實(shí)現(xiàn)。依據(jù)本發(fā)明，視頻編碼與譯碼方法尤其適合以計(jì)算機(jī)程序的格式實(shí)現(xiàn)，程序包括計(jì)算機(jī)可讀的用于完成本發(fā)明的功能步驟的指令。類似，依據(jù)本發(fā)明的編碼器與譯碼器可以作為存儲(chǔ)在存儲(chǔ)媒介上的軟件代碼實(shí)現(xiàn)并在計(jì)算機(jī)(如個(gè)人臺(tái)式電腦)上執(zhí)行，從而可以為計(jì)算機(jī)提供視頻編碼與/或譯碼功能。
下面結(jié)合仿真試驗(yàn)的結(jié)果考察包丟失情況來更好的理解本發(fā)明的優(yōu)點(diǎn)。在這一示例中，假設(shè)為完成依據(jù)本發(fā)明的編碼方式所設(shè)計(jì)的視頻編碼器用來以10幀/秒的速率對(duì)QCIF(1/4公用中分辨率格式)視頻幀進(jìn)行編碼。周期性INTRA幀請(qǐng)求以5-秒的間隔出現(xiàn)，但是由于視頻序列中的場(chǎng)景剪切而沒有出現(xiàn)INTRA幀。表示INTRA編碼幀所需的數(shù)據(jù)量設(shè)為2000字節(jié)，而INTER幀的大小約為200字節(jié)。這些數(shù)據(jù)是典型的依據(jù)當(dāng)前使用的視頻編碼標(biāo)準(zhǔn)，如ITU-T建議H.263編碼的INTRA與INTER編碼QCIF格式幀。
用于Internet與局域網(wǎng)(LAN)中的數(shù)據(jù)傳輸?shù)牡湫妥畲蟪叽绲膮f(xié)議數(shù)據(jù)單元大約為1500字節(jié)。假設(shè)這為包的大小，典型的INTRA編碼幀的傳送需要兩個(gè)包。另一方面，一個(gè)包可以承載7個(gè)INTER幀。這就意味者，為了傳輸占用5秒視頻的50個(gè)幀，共需要9個(gè)包。假設(shè)序列從INTRA幀(這是一般情況)開始，那么典型的5-秒視頻序列組成一個(gè)INTRA幀及49個(gè)INTER編碼幀。如上所述，INTRA幀傳輸需要兩個(gè)包，而其余的40個(gè)INTER編碼幀可以用7個(gè)幀傳送，因此總共需要9個(gè)包。需要說明的是，使用大包用于Internet上的數(shù)據(jù)傳輸是有好處的。首先，在Internet骨干網(wǎng)中，包丟失的概率基本上與包的大小無關(guān)，其次，如果使用大包，包頭過大的情況就會(huì)降低。
運(yùn)用依據(jù)本發(fā)明的編碼方法，編碼器使用持續(xù)時(shí)間為5秒+1幀的緩沖器存儲(chǔ)QCIF格式的后面的視頻幀。當(dāng)開始編碼過程時(shí)，緩沖器最初為空的，然后存入未壓縮的QCIF視頻幀。序列中的第一個(gè)幀是有關(guān)INTRA請(qǐng)求的。由于該示例中的緩沖器長度的選擇與周期性INTRA更新請(qǐng)求一致，并且因?yàn)榧僭O(shè)在所考察的時(shí)間段內(nèi)沒有場(chǎng)景剪切或INTRA幀更新請(qǐng)求，存儲(chǔ)在緩沖器中的最后一幀將與下一個(gè)INTRA請(qǐng)求有關(guān)。因此，編碼器能夠定位緩沖器中的未壓縮幀，其出現(xiàn)時(shí)間約在兩個(gè)INTRA幀請(qǐng)求之間的中點(diǎn)處。此幀被選擇用于進(jìn)行INTRA格式的編碼(即選為實(shí)際的INTRA幀)，并且前面描述的編碼過程用于緩沖器中的幀。在此處考慮的仿真中，進(jìn)一步假設(shè)已經(jīng)經(jīng)過編碼壓縮的視頻幀在基于分組的通信網(wǎng)絡(luò)中傳輸，并且通信信道由于擁塞導(dǎo)致一定比例的傳輸包丟失。仿真比特速率為18880bps，Internet上的視聽流的目標(biāo)比特速率為28.8kbps調(diào)制解調(diào)器。
下表對(duì)依據(jù)本發(fā)明的編碼方法的容錯(cuò)能力與傳統(tǒng)編碼方案的進(jìn)行比較，其中所有INTRA請(qǐng)求相關(guān)的幀本身用INTRA格式編碼(即圖7所示)。表4顯示的是在平均每9幀丟失1個(gè)包(11％的包丟失率)的情況中的幀丟失數(shù)據(jù)，表5表示每9幀中丟失2個(gè)包(22％的包丟失率)的對(duì)應(yīng)數(shù)字。

表4 11％包丟失率中傳統(tǒng)方法與本發(fā)明方法的振丟失率

表5 22％包丟失率中傳統(tǒng)方法與本發(fā)明方法的振丟失率

從上述兩種情況都可以看出，使用依據(jù)本發(fā)明的方法，丟失的幀較少。
在前面的內(nèi)容中，借助優(yōu)選實(shí)施例描述了依據(jù)本發(fā)明的方法。本發(fā)明所述領(lǐng)域的技術(shù)人員都知道，本發(fā)明并不限于前面提及的優(yōu)選實(shí)施例的描述，而是可以用于其他形式，不違背其本質(zhì)屬性與特征。因此，上述優(yōu)選實(shí)施例應(yīng)該看作是示意性的，而不是限定性的。因此，本發(fā)明的應(yīng)用范圍由權(quán)利要求限定，而此處對(duì)發(fā)明內(nèi)容的一般描述僅作為標(biāo)識(shí)。
此外，此規(guī)范書(包含權(quán)利要求)與/或圖中描述的每個(gè)特征都可以與其他描述與/或示例特征互相獨(dú)立地用于本發(fā)明。本發(fā)明也可以包含任何新的特征或此處明確或概括性描述的特征的組合，而不管它是否與權(quán)利要求的內(nèi)容相關(guān)或是否是減輕了任何或所有提及的問題。
此規(guī)范書也給出本發(fā)明的摘要作為參考。
權(quán)利要求
1.一種對(duì)視頻幀序列編碼形成壓縮視頻序列的方法，所述視頻幀具有時(shí)間順序，所述的壓縮視頻序列包括以非時(shí)間域的預(yù)測(cè)視頻幀格式以及至少一個(gè)時(shí)間域的預(yù)測(cè)視頻幀格式編碼的幀，該方法包含-識(shí)別與第一個(gè)視頻幀相關(guān)聯(lián)的第一個(gè)標(biāo)識(shí)，其中應(yīng)該以所述的非時(shí)間域的預(yù)測(cè)視頻幀格式來編碼所述的第一個(gè)視頻幀以及該第一個(gè)視頻幀用作起始點(diǎn)，用于以時(shí)間域的預(yù)測(cè)視頻幀格式來預(yù)測(cè)幀；第一個(gè)視頻幀出現(xiàn)在時(shí)間順序中的第一個(gè)位置；-將所述的第一個(gè)標(biāo)識(shí)與第二個(gè)視頻幀相關(guān)聯(lián)，第二個(gè)視頻幀與所述的第一個(gè)視頻幀出現(xiàn)在時(shí)間順序中的不同位置；-對(duì)所述的第二個(gè)視頻幀以所述的非時(shí)間域的預(yù)測(cè)視頻幀格式編碼以及使用第二個(gè)視頻幀而不是第一個(gè)視頻幀作為起始點(diǎn)，用于以時(shí)間域的預(yù)測(cè)視頻幀信息來預(yù)測(cè)幀；-定義在時(shí)間順序中的所述的第二個(gè)視頻幀之前出現(xiàn)的包括N個(gè)視頻幀的第一個(gè)視頻幀集合；-對(duì)所述的第一個(gè)視頻幀集合，使用從所述第二個(gè)視頻幀開始的時(shí)間域后向預(yù)測(cè)以時(shí)間域的預(yù)測(cè)視頻幀格式編碼；-定義在時(shí)間順序中的所述的第二個(gè)視頻幀之后出現(xiàn)的包括M個(gè)視頻幀的第二個(gè)視頻幀集合；以及-對(duì)所述的第二個(gè)視頻幀集合，使用從所述第二個(gè)視頻幀開始的時(shí)間域前向預(yù)測(cè)，以時(shí)間域的預(yù)測(cè)視頻幀格式編碼；從而為第一個(gè)和第二個(gè)視頻幀集合提供預(yù)測(cè)路徑長度，該預(yù)測(cè)路徑長度比如果所述第一個(gè)視頻幀用作預(yù)測(cè)的起始點(diǎn)所獲得的預(yù)測(cè)路徑長度短。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于-所述非時(shí)間域的預(yù)測(cè)視頻幀格式是一個(gè)INTRA幀格式。
3.根據(jù)權(quán)利要求1所述的方法，包括對(duì)所述第一個(gè)視頻幀集合以INTER幀格式編碼。
4.根據(jù)權(quán)利要求1所述的方法，包括對(duì)所述第一個(gè)視頻幀集合以B幀格式編碼。
5.根據(jù)權(quán)利要求3所述的方法，包括由以下對(duì)所述第一個(gè)視頻幀集合編碼-為所述的第一個(gè)視頻幀集合的N個(gè)視頻幀的每一個(gè)分配一個(gè)序列壓縮序號(hào)，在所述時(shí)間順序中最后一個(gè)出現(xiàn)的所述第一個(gè)視頻幀集合的視頻幀分配的壓縮序號(hào)最低以及在所述時(shí)間順序中最早出現(xiàn)的所述第一個(gè)視頻幀集合的視頻幀分配的壓縮序號(hào)最高；-將所述的第二個(gè)視頻幀標(biāo)識(shí)為預(yù)測(cè)參考幀，用于對(duì)具有所述最低壓縮序號(hào)的視頻幀以INTER幀格式編碼；以及-以INTER幀格式，按照壓縮序號(hào)的升序?qū)λ龅牡谝粋€(gè)視頻幀集合的視頻幀編碼。
6.根據(jù)權(quán)利要求1所述的方法，包括為所述的第一個(gè)視頻幀集合的N個(gè)幀的每一個(gè)分配一個(gè)壓縮序號(hào)，并且按照由它們分配的壓縮序號(hào)確定的順序編碼N個(gè)幀。
7.根據(jù)權(quán)利要求4所述的方法，通過以下對(duì)所述的第一個(gè)視頻幀集合編碼為所述的第一個(gè)視頻幀集合的N個(gè)視頻幀的每一個(gè)將所述的第二個(gè)視頻幀標(biāo)識(shí)為預(yù)測(cè)參考幀；以及以關(guān)于所述第二個(gè)視頻幀的所述B幀格式對(duì)所述的第一個(gè)視頻幀集合的視頻幀編碼。
8.根據(jù)權(quán)利要求1所述的方法，包括由以下對(duì)所述的第二個(gè)視頻幀集合編碼-為所述的第二個(gè)視頻幀集合的M個(gè)視頻幀的每一個(gè)分配一個(gè)序列壓縮序號(hào)，在所述時(shí)間順序中最早出現(xiàn)的所述的第二個(gè)視頻幀集合的視頻幀分配的壓縮序號(hào)最低以及在所述時(shí)間順序中最后一個(gè)出現(xiàn)的所述的第二個(gè)視頻幀集合的視頻幀分配的壓縮序號(hào)最高；-將所述的第二個(gè)視頻幀標(biāo)識(shí)為預(yù)測(cè)參考幀，用于對(duì)具有所述最低壓縮序號(hào)的視頻幀以INTER幀格式編碼；以及-以INTER幀格式按照壓縮序號(hào)的升序?qū)λ龅牡诙€(gè)視頻幀集合的視頻幀編碼。
9.根據(jù)權(quán)利要求1所述的方法，包括為所述的第二個(gè)視頻幀集合的M個(gè)幀的每一個(gè)分配一個(gè)壓縮序號(hào)并且按照由它們分配的壓縮序號(hào)確定的順序編碼M個(gè)幀。
10.根據(jù)權(quán)利要求1所述的方法，其特征在于所述的第一個(gè)標(biāo)識(shí)是與場(chǎng)景剪切相關(guān)聯(lián)的INTRA幀請(qǐng)求。
11.根據(jù)權(quán)利要求1所述的方法，其特征在于所述的第一個(gè)標(biāo)識(shí)是周期性INTRA幀請(qǐng)求。
12.根據(jù)權(quán)利要求1所述的方法，其特征在于所述第一個(gè)標(biāo)識(shí)是作為來自接收終端反饋接收的INTRA幀更新請(qǐng)求。
13.根據(jù)權(quán)利要求1所述的方法，還包括-識(shí)別第二個(gè)標(biāo)識(shí)，其中應(yīng)該以所述的非時(shí)間域的預(yù)測(cè)視頻幀格式來編碼另一個(gè)視頻幀；以及-將所述第二個(gè)視頻幀定義為在第一個(gè)視頻幀和以所述時(shí)間順序中的所述另外視頻幀之間的基本上出現(xiàn)在中路的視頻幀。
14.根據(jù)權(quán)利要求13所述的方法，其特征在于所述的第二個(gè)標(biāo)識(shí)是與場(chǎng)景剪切相關(guān)聯(lián)的INTRA幀請(qǐng)求。
15.根據(jù)權(quán)利要求13所述的方法，其特征在于所述的第二個(gè)標(biāo)識(shí)是周期性INTRA請(qǐng)求。
16.根據(jù)權(quán)利要求13所述的方法，其特征在于所述的第二個(gè)標(biāo)識(shí)是作為來自接收終端反饋接收的INTRA幀更新請(qǐng)求。
17.根據(jù)權(quán)利要求1所述的方法，還包括關(guān)聯(lián)關(guān)于壓縮視頻序列的幀所需的回放順序的壓縮視頻序列信息。
18.根據(jù)權(quán)利要求1所述的方法，還包括關(guān)聯(lián)關(guān)于壓縮視頻序列的幀所需的回放時(shí)間的壓縮視頻序列信息。
19.根據(jù)權(quán)利要求1所述的方法，包括對(duì)在所述的第一個(gè)視頻幀集合的連續(xù)視頻幀之間的B幀編碼。
20.根據(jù)權(quán)利要求1所述的方法，包括對(duì)在所述的第二個(gè)視頻幀集合的連續(xù)視頻幀之間的B幀編碼。
21.根據(jù)權(quán)利要求1所述的方法，其特征在于第二個(gè)視頻幀在時(shí)間順序上比第一個(gè)視頻幀出現(xiàn)的較晚。
22.一種對(duì)視頻幀序列編碼形成壓縮視頻序列的視頻編碼器，視頻幀具有時(shí)間順序，所述壓縮視頻序列包括以非時(shí)間域的預(yù)測(cè)視頻幀格式和至少一個(gè)時(shí)間域的預(yù)測(cè)視頻幀格式編碼的幀，該編碼器被配置-識(shí)別與第一個(gè)視頻幀相關(guān)聯(lián)的第一個(gè)標(biāo)識(shí)，其中應(yīng)該以所述非時(shí)間域的預(yù)測(cè)視頻幀格式編碼所述第一個(gè)視頻幀，該第一個(gè)視頻幀用作起始點(diǎn)，用于以時(shí)間域的預(yù)測(cè)視頻幀格式來預(yù)測(cè)幀；第一個(gè)視頻幀出現(xiàn)在時(shí)間順序中的第一個(gè)位置；-將所述的第一個(gè)標(biāo)識(shí)與第二個(gè)視頻幀相關(guān)聯(lián)，第二個(gè)視頻幀與所述的第一個(gè)視頻幀出現(xiàn)在時(shí)間順序中的不同位置；-對(duì)所述第二個(gè)視頻幀以所述的非時(shí)間域的預(yù)測(cè)視頻幀格式編碼以及使用第二個(gè)視頻幀而不是第一個(gè)視頻幀作為起始點(diǎn)，用于以時(shí)間域的預(yù)測(cè)視頻幀格式來預(yù)測(cè)幀；-定義在時(shí)間順序中的所述的第二個(gè)視頻幀之前出現(xiàn)的包括N個(gè)視頻幀的第一個(gè)視頻幀集合；-對(duì)所述的第一個(gè)視頻幀集合使用從所述第二個(gè)視頻幀開始的時(shí)間域后向預(yù)測(cè)以時(shí)間域的預(yù)測(cè)視頻幀格式編碼；-定義在時(shí)間順序中的所述的第二個(gè)視頻幀之后出現(xiàn)的包括M個(gè)視頻幀的第二個(gè)視頻幀集合；以及-對(duì)所述的第二個(gè)視頻幀集合使用從所述第二個(gè)視頻幀開始的時(shí)間域前向預(yù)測(cè)以時(shí)間域的預(yù)測(cè)視頻幀格式編碼；從而為第一個(gè)和第二個(gè)視頻幀集合提供預(yù)測(cè)路徑長度，該預(yù)測(cè)路徑長度比如果所述第一個(gè)視頻幀用作預(yù)測(cè)的起始點(diǎn)所獲得的預(yù)測(cè)路徑長度短。
23.根據(jù)權(quán)利要求22所述的編碼器，其特征在于所述非時(shí)間域預(yù)測(cè)視頻幀格式是INTRA幀格式。
24.根據(jù)權(quán)利要求22所述的編碼器，其特征在于配置編碼器以INTER幀格式編碼所述的第一個(gè)視頻幀集合。
25.根據(jù)權(quán)利要求22所述的編碼器，其特征在于配置編碼器以B幀格式編碼所述的第一個(gè)視頻幀集合。
26.根據(jù)權(quán)利要求22所述的編碼器，其特征在于配置編碼器通過以下編碼所述的第一個(gè)視頻幀集合-為所述的第一個(gè)視頻幀集合的N個(gè)視頻幀的每一個(gè)分配一個(gè)序列壓縮序號(hào)，在所述時(shí)間順序中最后一個(gè)出現(xiàn)的所述第一個(gè)視頻幀集合的視頻幀分配的壓縮序號(hào)最低以及在所述時(shí)間順序中最早出現(xiàn)的所述第一個(gè)視頻幀集合的視頻幀分配的壓縮序號(hào)最高；-將所述的第二個(gè)視頻幀標(biāo)識(shí)為預(yù)測(cè)參考幀，用于對(duì)具有所述最低壓縮序號(hào)的視頻幀以INTER格式編碼；以及-以INTER幀格式按照壓縮序號(hào)的升序?qū)λ龅牡谝粋€(gè)視頻幀集合的視頻幀編碼。
27.根據(jù)權(quán)利要求22所述的編碼器，其特征在于配置編碼器為所述的第一個(gè)視頻幀集合的N個(gè)幀的每一個(gè)分配一個(gè)壓縮序號(hào)并且按照由它們分配的壓縮序號(hào)確定的順序編碼N個(gè)幀。
28.根據(jù)權(quán)利要求25所述的編碼器，其特征在于配置編碼器通過以下對(duì)所述的第一個(gè)視頻幀集合編碼-為所述的第一個(gè)視頻幀集合的N個(gè)視頻幀的每一個(gè)將所述的第二個(gè)視頻幀標(biāo)識(shí)為預(yù)測(cè)參考幀；以及-以關(guān)于所述第二個(gè)視頻幀的所述B幀格式對(duì)所述的第一個(gè)視頻幀集合的視頻幀編碼。
29.根據(jù)權(quán)利要求22所述的編碼器，其特征在于配置編碼器通過以下對(duì)所述的第一個(gè)視頻幀集合編碼-為所述的第二個(gè)視頻幀集合的M個(gè)視頻幀的每一個(gè)分配一個(gè)序列壓縮序號(hào)，在所述時(shí)間順序中最早出現(xiàn)的所述的第二個(gè)視頻幀集合的視頻幀分配的壓縮序號(hào)最低以及在所述時(shí)間順序中最后一個(gè)出現(xiàn)的所述的第二個(gè)視頻幀集合的視頻幀分配的壓縮序號(hào)最高；-將所述的第二個(gè)視頻幀標(biāo)識(shí)為預(yù)測(cè)參考幀，用于對(duì)具有所述最低壓縮序號(hào)的視頻幀以INTER幀格式編碼；以及-以INTER幀格式按照壓縮序號(hào)的升序?qū)λ龅牡诙€(gè)視頻幀集合的視頻幀編碼。
30.根據(jù)權(quán)利要求22所述的編碼器，其特征在于配置編碼器為所述的第二個(gè)視頻幀集合的M個(gè)幀的每一個(gè)分配一個(gè)壓縮序號(hào)并且按照由它們分配的壓縮序號(hào)確定的順序編碼N個(gè)幀。
31.根據(jù)權(quán)利要求22所述的編碼器，其特征在于所述的第一個(gè)標(biāo)識(shí)是與場(chǎng)景剪切相關(guān)聯(lián)的INTRA幀請(qǐng)求。
32.根據(jù)權(quán)利要求22所述的編碼器，其特征在于所述的第一個(gè)標(biāo)識(shí)是周期性INTRA幀請(qǐng)求。
33.根據(jù)權(quán)利要求22所述的編碼器，其特征在于所述第一個(gè)標(biāo)識(shí)是作為來自接收終端反饋接收的INTRA幀更新請(qǐng)求。
34.根據(jù)權(quán)利要求22所述的編碼器，其特征在于進(jìn)一步配置編碼器來-識(shí)別第二個(gè)標(biāo)識(shí)，其中應(yīng)該以所述的非時(shí)間域的預(yù)測(cè)視頻幀格式來編碼另一個(gè)視頻幀；以及-將所述第二個(gè)視頻幀定義為在第一個(gè)視頻幀和以所述時(shí)間順序中的所述另外視頻幀之間的基本上出現(xiàn)在中路的視頻幀。
35.根據(jù)權(quán)利要求34所述的編碼器，其特征在于所述的第二個(gè)標(biāo)識(shí)是與場(chǎng)景剪切相關(guān)聯(lián)的INTRA幀請(qǐng)求。
36.根據(jù)權(quán)利要求34所述的編碼器，其特征在于所述的第二個(gè)標(biāo)識(shí)是周期性INTRA幀請(qǐng)求。
37.根據(jù)權(quán)利要求34所述的編碼器，其特征在于所述第二個(gè)標(biāo)識(shí)是作為來自接收終端反饋接收的INTRA幀更新請(qǐng)求。
38.根據(jù)權(quán)利要求22所述的編碼器，其特征在于進(jìn)一步配置編碼器關(guān)聯(lián)關(guān)于壓縮視頻序列的幀所需的回放順序的壓縮視頻序列信息。
39.根據(jù)權(quán)利要求22所述的編碼器，其特征在于進(jìn)一步配置編碼器關(guān)聯(lián)關(guān)于壓縮視頻序列的幀所需的回放時(shí)間的壓縮視頻序列信息。
40.根據(jù)權(quán)利要求22所述的編碼器，其特征在于配置編碼器對(duì)在所述的第一個(gè)視頻幀集合的連續(xù)視頻幀之間的B幀編碼。
41.根據(jù)權(quán)利要求22所述的編碼器，其特征在于配置編碼器對(duì)在所述的第二個(gè)視頻幀集合的連續(xù)視頻幀之間的B幀編碼。
42.根據(jù)權(quán)利要求22所述的編碼器，其特征在于第二個(gè)視頻幀在時(shí)間順序上比第一個(gè)視頻幀出現(xiàn)的較晚。
43.一個(gè)視頻編譯碼器包括根據(jù)權(quán)利要求22所述的視頻編碼器。
44.一個(gè)多媒體內(nèi)容創(chuàng)建系統(tǒng)，包括根據(jù)權(quán)利要求22所述的視頻編碼器。
45.一個(gè)多媒體終端包括根據(jù)權(quán)利要求22所述的視頻編碼器。
46.根據(jù)權(quán)利要求45所述的多媒體終端，其特征在于該終端是一個(gè)無線電信設(shè)備。
47.一種對(duì)壓縮視頻序列譯碼以恢復(fù)視頻幀序列的方法，根據(jù)權(quán)利要求1的編碼方法，視頻幀具有時(shí)間順序，壓縮視頻序列包括以非時(shí)間域的預(yù)測(cè)視頻幀格式以及至少一個(gè)時(shí)間域的預(yù)測(cè)視頻幀格式編碼的幀，該譯碼方法包括-識(shí)別與第一個(gè)編碼視頻幀相關(guān)聯(lián)的第一個(gè)標(biāo)識(shí)，其中以所述的非時(shí)間域的預(yù)測(cè)視頻幀格式來編碼所述第一個(gè)編碼視頻幀；-對(duì)所述的第一個(gè)編碼視頻幀譯碼；-接收在時(shí)間順序中的所述第一個(gè)視頻幀之前出現(xiàn)的表示N個(gè)視頻幀的第一個(gè)編碼視頻幀集合，對(duì)所述的第一個(gè)編碼視頻幀集合使用從所述第一個(gè)視頻幀開始的時(shí)間域后向預(yù)測(cè)以時(shí)間域的預(yù)測(cè)視頻幀格式編碼；-對(duì)所述的第一個(gè)編碼視頻幀集合使用從所述第一個(gè)視頻幀開始的時(shí)間域后向預(yù)測(cè)譯碼；-接收在時(shí)間順序中的所述第一個(gè)視頻幀之后出現(xiàn)的表示M個(gè)視頻幀的第二個(gè)編碼視頻幀的集合，對(duì)所述的第二個(gè)編碼視頻幀集合使用從所述第一個(gè)視頻幀開始的時(shí)間域前向預(yù)測(cè)以時(shí)間域的預(yù)測(cè)視頻幀格式編碼；-對(duì)所述的第二個(gè)編碼視頻幀集合使用從所述第一個(gè)視頻幀開始的時(shí)間域前向預(yù)測(cè)譯碼。
48.根據(jù)權(quán)利要求47所述的方法，其特征在于所述非時(shí)間域預(yù)測(cè)視頻幀格式是INTRA幀格式。
49.根據(jù)權(quán)利要求47所述的方法，其特征在于以INTER幀格式編碼所述的第一個(gè)編碼視頻幀集合。
50.根據(jù)權(quán)利要求47所述的方法，其特征在于以B幀格式編碼所述的第一個(gè)編碼視頻幀集合。
51.根據(jù)權(quán)利要求47所述的方法，其特征在于以INTER幀格式編碼所述的第二個(gè)編碼視頻幀集合。
52.根據(jù)權(quán)利要求47所述的方法，包括對(duì)在從所述的第一個(gè)編碼視頻幀集合譯碼的連續(xù)視頻幀之間的B幀譯碼。
53.根據(jù)權(quán)利要求47所述的方法，包括對(duì)在從所述的第二個(gè)編碼視頻幀集合譯碼的連續(xù)視頻幀之間的B幀譯碼。
54.一種用于譯碼壓縮視頻序列恢復(fù)視頻幀序列的視頻譯碼器，根據(jù)權(quán)利要求1的方法，視頻幀具有時(shí)間順序，壓縮視頻序列包括以非時(shí)間域的預(yù)測(cè)視頻幀格式以及至少一個(gè)時(shí)間域的預(yù)測(cè)視頻幀格式編碼的幀，該譯碼器被配置為-識(shí)別與第一個(gè)編碼視頻幀相關(guān)聯(lián)的第一個(gè)標(biāo)識(shí)，其中以所述的非時(shí)間域的預(yù)測(cè)視頻幀格式來編碼所述第一個(gè)編碼視頻幀；-對(duì)所述的第一個(gè)編碼視頻幀譯碼；-接收在時(shí)間順序中的所述的第一個(gè)視頻幀之前出現(xiàn)的表示N個(gè)視頻幀的第一個(gè)編碼視頻幀集合，對(duì)所述的第一個(gè)編碼視頻幀集合使用從所述第一個(gè)視頻幀開始的時(shí)間域后向預(yù)測(cè)以時(shí)間域的預(yù)測(cè)視頻幀格式編碼；-對(duì)所述的第一個(gè)編碼視頻幀集合使用從所述第一個(gè)視頻幀開始的時(shí)間域后向預(yù)測(cè)譯碼；-接收在時(shí)間順序中的所述第一個(gè)視頻幀之后出現(xiàn)的表示M個(gè)視頻幀的第二個(gè)編碼視頻幀的集合，對(duì)所述的第二個(gè)編碼視頻幀集合使用從所述第一個(gè)視頻幀開始的時(shí)間域前向預(yù)測(cè)以時(shí)間域的預(yù)測(cè)視頻幀格式編碼；-對(duì)所述的第二個(gè)編碼視頻幀集合使用從所述第一個(gè)視頻幀開始的時(shí)間域前向預(yù)測(cè)譯碼。
55.一個(gè)視頻編譯碼器，包括根據(jù)權(quán)利要求54所述的視頻譯碼器。
56.一個(gè)多媒體內(nèi)容檢索系統(tǒng)，包括根據(jù)權(quán)利要求54所述的視頻譯碼器。
57.一個(gè)多媒體終端，包括根據(jù)權(quán)利要求54所述的視頻譯碼器。
58.根據(jù)權(quán)利要求57所述的多媒體終端，其特征在于該多媒體終端是一個(gè)無線電信設(shè)備。
59.一個(gè)將計(jì)算機(jī)作為視頻編碼器的計(jì)算機(jī)程序，用于編碼視頻幀的序列形成壓縮視頻序列，視頻幀具有時(shí)間順序，所述壓縮視頻序列包括以非時(shí)間域的預(yù)測(cè)視頻幀格式以及至少一個(gè)時(shí)間域的預(yù)測(cè)視頻幀格式編碼的幀，所述計(jì)算機(jī)程序包括-識(shí)別與第一個(gè)視頻幀相關(guān)聯(lián)的第一個(gè)識(shí)別的計(jì)算機(jī)代碼，其中應(yīng)該以所述的非時(shí)間域的預(yù)測(cè)視頻幀格式來編碼所述的第一個(gè)視頻幀以及該第一個(gè)視頻幀用作起始點(diǎn)，用于以時(shí)間域的預(yù)測(cè)視頻幀格式來預(yù)測(cè)幀；第一個(gè)視頻幀出現(xiàn)在時(shí)間順序中的第一個(gè)位置；-用于將所述第一個(gè)識(shí)別與第二視頻幀相關(guān)聯(lián)的計(jì)算機(jī)代碼，第二個(gè)視頻幀與所述的第一個(gè)視頻幀出現(xiàn)在時(shí)間順序中的不同位置；-對(duì)所述的第二個(gè)視頻幀以所述的非時(shí)間域的預(yù)測(cè)視頻幀格式編碼以及使用第二個(gè)視頻幀而不是第一個(gè)視頻幀作為起始點(diǎn)，用于以時(shí)間域的預(yù)測(cè)視頻幀格式來預(yù)測(cè)幀的計(jì)算機(jī)代碼；-定義在時(shí)間順序中的所述的第二個(gè)視頻幀之前出現(xiàn)的包括N個(gè)視頻幀的第一個(gè)視頻幀集合的計(jì)算機(jī)代碼；-對(duì)所述的第一個(gè)視頻幀集合使用從所述第二個(gè)視頻幀開始的時(shí)間域后向預(yù)測(cè)以時(shí)間域的預(yù)測(cè)視頻幀格式編碼的計(jì)算機(jī)代碼；-定義在時(shí)間順序中的所述的第二個(gè)視頻幀之后出現(xiàn)的包括M個(gè)視頻幀的第二個(gè)視頻幀集合的計(jì)算機(jī)代碼；以及-對(duì)所述的第二個(gè)視頻幀集合使用從所述第二個(gè)視頻幀開始的時(shí)間域前向預(yù)測(cè)以時(shí)間域的預(yù)測(cè)視頻幀格式編碼的計(jì)算機(jī)代碼；從而為第一個(gè)和第二個(gè)視頻幀集合提供預(yù)測(cè)路徑長度，該預(yù)測(cè)路徑度比如果所述第一個(gè)視頻幀用作預(yù)測(cè)的起始點(diǎn)所獲得的預(yù)測(cè)路徑長度短。
60.一種存儲(chǔ)介質(zhì)包括根據(jù)權(quán)利要求59所述的計(jì)算機(jī)程序。
61.一種表示視頻幀序列的編碼視頻信號(hào)，視頻幀具有時(shí)間順序，所述的壓縮視頻序列包括以非時(shí)間域的預(yù)測(cè)視頻幀格式以及至少一個(gè)時(shí)間域的預(yù)測(cè)視頻幀格式編碼的幀，編碼視頻信號(hào)由以下形成-識(shí)別與第一個(gè)視頻幀相關(guān)聯(lián)的第一個(gè)標(biāo)識(shí)，其中應(yīng)該以所述的非時(shí)間域的預(yù)測(cè)視頻幀格式來編碼所述的第一個(gè)視頻幀以及該第一個(gè)視頻幀用作起始點(diǎn)，用于以時(shí)間域的預(yù)測(cè)視頻幀格式來預(yù)測(cè)幀；第一個(gè)視頻幀出現(xiàn)在時(shí)間順序中的第一個(gè)位置；-將所述的第一個(gè)標(biāo)識(shí)與第二個(gè)視頻幀相關(guān)聯(lián)，第二個(gè)視頻幀與所述的第一個(gè)視頻幀出現(xiàn)在時(shí)間順序中的不同位置；-對(duì)所述的第二個(gè)視頻幀以所述的非時(shí)間域的視頻幀格式編碼以及使用第二個(gè)視頻幀而不是第一個(gè)視頻幀作為起始點(diǎn)，用于以時(shí)間域的預(yù)測(cè)視頻幀格式來預(yù)測(cè)幀；-定義在時(shí)間順序中的所述的第二個(gè)視頻幀之前出現(xiàn)的包括N個(gè)視頻幀的第一個(gè)視頻幀集合；-對(duì)所述的第一個(gè)視頻幀集合使用從所述第二個(gè)視頻幀開始的時(shí)間域后向預(yù)測(cè)以時(shí)間域的預(yù)測(cè)視頻幀格式編碼；-定義在時(shí)間順序中的所述的第二個(gè)視頻幀之后出現(xiàn)的包括M個(gè)視頻幀的第二個(gè)視頻幀集合；以及-對(duì)所述的第二個(gè)視頻幀集合使用從所述第二個(gè)視頻幀開始的時(shí)間域前向預(yù)測(cè)以時(shí)間域的預(yù)測(cè)視頻幀格式編碼；從而為第一個(gè)和第二個(gè)視頻幀集合提供預(yù)測(cè)路徑長度，該預(yù)測(cè)路徑長度比如果所述第一個(gè)視頻幀用作預(yù)測(cè)的起始點(diǎn)所獲得的預(yù)測(cè)路徑長度短。
全文摘要
本發(fā)明提供一種減輕視頻序列中數(shù)據(jù)丟失造成的可察覺的圖片質(zhì)量下降的方法。它采用在周期性的INTRA幀更新、INTRA更新請(qǐng)求或場(chǎng)景剪切之后對(duì)INTRA編碼幀(50)的插入進(jìn)行有效地延遲達(dá)到此目的。與INTRA幀請(qǐng)求相關(guān)的幀本身不用INTRA格式編碼，而是選擇視頻序列中后面出現(xiàn)的幀(50)進(jìn)行INTRA格式的編碼。最好選擇大約位于周期性INTRA請(qǐng)求之間的中點(diǎn)位置處的實(shí)際INTRA幀。在實(shí)際的INTRA編碼幀(50)之前出現(xiàn)的幀(P2，P3)使用時(shí)域上的預(yù)測(cè)進(jìn)行編碼，它從實(shí)際的INTRA幀開始以逆序編碼，而在INTRA編碼幀(50)之后出現(xiàn)的幀(P4、P5)使用前向的時(shí)域上的預(yù)測(cè)進(jìn)行編碼。
文檔編號(hào)H04N7/26GK1738432SQ20051009764
公開日2006年2月22日 申請(qǐng)日期2001年6月28日 優(yōu)先權(quán)日2000年6月30日
發(fā)明者M·漢努克塞拉 申請(qǐng)人:諾基亞有限公司