專利名稱：一種基于相關(guān)性優(yōu)化準則的多描述視頻編碼方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于相關(guān)性優(yōu)化準則的多描述視頻編碼方法及裝置，屬于視頻編碼技術(shù)領(lǐng)域。

背景技術(shù)：
近年來，隨著INTERNET和個人無線通信設(shè)備的普及和推廣，在包交換網(wǎng)絡(luò)和窄帶網(wǎng)絡(luò)中實時可靠地傳輸視頻已成為必然需求，視頻數(shù)據(jù)傳輸也已經(jīng)廣泛應(yīng)用于視頻電話、電話會議、遠程教學(xué)、遠程醫(yī)療、廣告、娛樂、資料檢索等領(lǐng)域。然而，互聯(lián)網(wǎng)和無線通信網(wǎng)等網(wǎng)絡(luò)信道并不十分可靠。具體地，互聯(lián)網(wǎng)中存在的信道干擾、網(wǎng)絡(luò)擁塞和路由選擇延遲等問題將導(dǎo)致數(shù)據(jù)錯誤及分組丟失等現(xiàn)象；而無線通信網(wǎng)絡(luò)信道的隨機比特錯誤和連續(xù)的突發(fā)性差錯等問題進一步惡化了信道狀況，導(dǎo)致所傳輸?shù)囊曨l數(shù)據(jù)字段大量失效或徹底丟失。這兩類問題對于數(shù)據(jù)壓縮是致命的，因為壓縮后的數(shù)據(jù)一般是由不等長碼字構(gòu)成的碼流，如果出現(xiàn)錯誤或數(shù)據(jù)包丟失，都會引起錯誤擴散等一系列問題，不但會嚴重影響視頻業(yè)務(wù)的服務(wù)質(zhì)量，甚至?xí)?dǎo)致整個視頻通信系統(tǒng)完全失效，成為限制網(wǎng)絡(luò)實時視頻技術(shù)發(fā)展的瓶頸。
傳統(tǒng)的視頻編碼方法著重于提高視頻壓縮性能，在產(chǎn)生數(shù)據(jù)傳輸錯誤后主要被動依賴于后期信道編碼的糾錯能力。新近制定的視頻編碼國際標準如MPEG-4中的精細顆粒分級編碼(FGS)(參見FGS verification model version4.0.ISO/IEC JTC1/SC29/WG11，April，2000，N3317)等，也開始試圖采用新的編碼框架，以更好地適應(yīng)網(wǎng)絡(luò)傳輸。在FGS編碼中，基本層采用較強的錯誤保護措施，如較強的FEC和ARQ，以保證傳輸?shù)目煽啃?，但是這種方法也存在如下問題，首先，基本層錯誤會導(dǎo)致解碼重建質(zhì)量的嚴重下降；其次，增強層依賴于基本層，若基本層丟失，增強層也將無用；再則，反復(fù)ARQ會導(dǎo)致延時過度，強FEC也會因其復(fù)雜度帶來額外延時，嚴重影響視頻的實時播放。
針對網(wǎng)絡(luò)實時視頻傳輸不可靠的問題提出多描述視頻編碼技術(shù)。多描述編碼(Multiple description coding，簡稱MDC)假設(shè)在信源和信宿之間有多個信道，各個信道同時出錯的概率非常低，通過生成多個同等重要、可獨立解碼的關(guān)于編碼的描述，從而保證在其中一些描述丟失的時候，仍可以得到可接受的圖像質(zhì)量，而隨著描述的增加，圖像質(zhì)量也隨之提高。由于使用部分的信息就可以重建出一個質(zhì)量可接受的圖像，因此多描述編碼在基于包的網(wǎng)絡(luò)、無優(yōu)先保護機制的INTERNET、分集通信系統(tǒng)(如多天線的無線信道)、語音編碼、圖像編碼、視頻編碼、多分布的存儲系統(tǒng)以及低延時的系統(tǒng)中將有著非常重要的應(yīng)用。與分級編碼相比，多描述編碼特別適合于不提供優(yōu)先權(quán)的網(wǎng)絡(luò)視頻傳送。
多描述編碼的歷史可以追溯到20世紀70年代，當(dāng)時Bell實驗室為了在電話網(wǎng)上提供不間斷的電話業(yè)務(wù)，將來自一個通話的信號進行奇偶信號分離，從而分離成兩路信號，并在兩個分離的信道上傳輸，隨后進行了信息理論的研究。自Vaishampayan提出第一個實用的多描述編碼方法(Multiple MescriptionScalar Quantization)(V.A.Vaishanmpayan，″Design of multipledescription scalar quantizers″，IEEE Transactions on InformationTheory，vol.39，no.3，pp.821-834，1993)后，MDC的研究開始由理論向構(gòu)造實用的MDC系統(tǒng)轉(zhuǎn)變，許多新的多描述圖像編碼方法出現(xiàn)，主要包括有基于標量量化的多描述圖像編碼方法，基于相關(guān)變換的多描述圖像編碼方法，以及基于格型矢量量化的多描述圖像編碼方法等。多描述視頻編碼的研究從1999年開始，現(xiàn)在主要集中于研究兩類方法，即基于運動補償循環(huán)的方法和基于前后處理的方法。由于多描述視頻編碼系統(tǒng)包含單路解碼器和中心解碼器這兩種解碼器，因此，編解碼器預(yù)測時所用的參考幀有可能出現(xiàn)不一致，產(chǎn)生漂移問題(drifting problem)，從而導(dǎo)致解碼質(zhì)量嚴重下降。這是多描述視頻編碼亟需解決的重要問題。
采用基于運動補償循環(huán)的方法，將預(yù)測誤差部分或全部作為冗余信息發(fā)送到解碼端，在一定程度上可以避免漂移問題的出現(xiàn)，但是隨著解碼重建質(zhì)量的提高，也付出了壓縮性能下降的代價。同時，其編碼端的復(fù)雜度也大大提高，不易與現(xiàn)有視頻標準兼容，從而限制了該方法的實際應(yīng)用。
采用基于前后處理的方法，在編碼前先將原始視頻序列進行預(yù)處理，引入冗余，并分割成多個視頻子序列，各個子序列可以獨立進行編解碼，從而有效地解決了編解碼器參考幀的誤配問題。在解碼端，隨著收到的視頻子序列的增加，可以將其進行融合從而得到更好的重建質(zhì)量。另外該方法易于與現(xiàn)有視頻標準兼容，達到較好的率失真性能，從而具有重要的實用價值。D.Wang，N.Canagarajah，D.Redmill and D.Bull，“Multiple description video codingbased on zero padding”，in Proceedings of the 2004 InternationalSymposium on Circuits and Systems 2004，ISCAS’04，2004，205-208和M.Gallant，S.Shirani and F.Kossentini，“Standard-compliant multipledescription video coding”，in 2001 IEEE International Conference onImage Processing，U.S.A.IEEE Signal Processing Society，2001，946-949中提出了基于空域亞采樣的前后處理方法，對輸入幀進行DCT變換，并向DCT系數(shù)添加零系數(shù)引入冗余，然后進行逆DCT變換產(chǎn)生過采樣幀；其后將過采樣幀按空域分解為兩個描述，例如奇行奇列和偶行偶列像素組成一個描述，其余像素組成另一個描述。兩個描述單獨由標準編碼器編碼。若兩個描述同時收到，可按上述過程的逆過程恢復(fù)視頻信號，如果只收到一個描述，則丟失像素由其同列的相鄰像素值代替。在傳統(tǒng)的時域亞采樣方法J.G.Apostolopoulos，“Error-resillient video compression through the use of multiple states”，in Proc.Image Processing Conf.，Vol.3，pp.352-355，Sept.2000中，輸入視頻序列按照奇偶數(shù)幀采樣成為兩個視頻子序列進行傳輸，并且每個視頻子序列也可以獨立解碼。該方法雖然沒有直接引入冗余，但是在亞采樣的同時也破壞了視頻序列固有的時域相關(guān)性。H.Bai等人(H.Bai，Y.Zhao，C.Zhu，“Multiple Description VideoCoding using Adaptive Temporal Sub-Sampling”，International Conference onMultimedia and Expo(ICME)，Beijing China，pp.1331-1334，July 2007)在此基礎(chǔ)上提出了自適應(yīng)時域亞采樣方案，根據(jù)視頻序列的運動特征自適應(yīng)地加入冗余信息，在一定程度上提高了單路重建質(zhì)量，但是其壓縮性能有待進一步改進。
以上文獻的實驗結(jié)果表明，冗余引入策略的優(yōu)劣，在很大程度上決定了編解碼器的率失真性能。一般來講，冗余引入多，各個描述中的相關(guān)性強，有利于降低單路失真，但是同時也會導(dǎo)致壓縮性能的下降。因此，多描述編碼器的設(shè)計重點就是要通過冗余信息的處理使得壓縮碼率和解碼失真能夠得到較好的優(yōu)化，即實現(xiàn)視頻編碼器的率失真優(yōu)化。
以兩信道三解碼器的經(jīng)典多描述編碼模型為例，多描述編碼的率失真優(yōu)化問題是研究五元函數(shù)(R1，R2，D0，D1，D2)問題。如果假設(shè)均衡信道，即R1＝R2＝R且D1＝D2＝DS，則優(yōu)化問題描述為求拉格朗日代價函數(shù)的最小值即min(J)，且J＝DS+λ1R+λ2D0。這里如果直接求解這個拉格朗日優(yōu)化問題將面臨很大的困難，這是因為，首先，確定兩個拉格朗日乘法因子的是一個很困難的問題；其次，對于每組確定的乘法因子，相應(yīng)的DS、R和D0都需要通過完整的多描述編解碼過程來獲得，這大大提高了計算的復(fù)雜度。由此可見，由于多描述編碼需要考慮各描述的碼率和失真，傳統(tǒng)的優(yōu)化方法往往帶來較高的計算復(fù)雜度，嚴重影響了實用性。
為此，我們首創(chuàng)性地提出了一種基于相關(guān)性優(yōu)化準則的多描述視頻編碼方法，較好地解決上述問題。


發(fā)明內(nèi)容
為了克服現(xiàn)有技術(shù)結(jié)構(gòu)的不足，本發(fā)明提供一種基于相關(guān)性優(yōu)化準則的多描述視頻編碼方法及裝置。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是 一種基于相關(guān)性優(yōu)化準則的多描述視頻編碼方法，其包括如下步驟 步驟1在編碼前對原始視頻序列按照相關(guān)性優(yōu)化準則進行預(yù)處理，即根據(jù)相關(guān)性優(yōu)化準則，在聯(lián)合幀內(nèi)插和幀拷貝的不同模式中選擇預(yù)處理方式； 步驟2在預(yù)處理結(jié)束后，對新生成的視頻序列，按照奇數(shù)幀偶數(shù)幀交替的方式分成兩個視頻子序列，該視頻子序列使用標準編碼器進行壓縮后作為兩個描述在兩個信道上傳輸； 步驟3在解碼器端，使用標準解碼器解碼所收到的描述； 步驟4當(dāng)同時收到兩路描述時，要按照奇數(shù)幀偶數(shù)幀的方式對兩路視頻子序列進行重新排序，然后將重排視頻序列輸入到后處理器； 步驟5在后處理階段，通過刪除冗余幀得到中心重建質(zhì)量，并輸出重建的視頻信息。
所為本發(fā)明的一種優(yōu)選方案，當(dāng)只有一路描述收到時，通過幀內(nèi)插的方法來估計丟失的信息，同時通過下采樣方法處理冗余信息。
本發(fā)明所采用的技術(shù)方案進一步包括 步驟1中所述按照相關(guān)性優(yōu)化準則是指對于兩信道的多描述編碼器而言，如果每個描述內(nèi)的相關(guān)性越大，則有利于更好地進行壓縮，從而編碼比特率也就越低，相應(yīng)的中心失真就越??；同樣地，如果兩個描述間的相關(guān)性越大，當(dāng)收到單路描述時，估計另外一個描述所得到的單路失真就越??；將所述編碼比特率R及中心失真D0轉(zhuǎn)化為每個描述內(nèi)的相關(guān)性，記為ρintra；并且將單路失真DS轉(zhuǎn)化為兩個描述間的相關(guān)性，記為ρinter，則率失真優(yōu)化問題轉(zhuǎn)化為如下的相關(guān)性準則 max{J}，且J＝ρinter+λρintra 其中，所述每個描述內(nèi)的相關(guān)性ρintra用幀間的運動補償相關(guān)性來計算；所述幀間的運動補償相關(guān)性是指前一幀運動補償后得到的重建幀與當(dāng)前幀計算得到的相關(guān)性，即 上式表示當(dāng)前幀fk和前一幀fk-1之間的相關(guān)性，其中，f′k是fk-1經(jīng)過運動補償后得到的重建幀，Cov(fk，f′k)表示fk和f′k的協(xié)方差，D(fk)和D(f′k)表示fk和f′k的方差； 而所述兩個描述間的相關(guān)性ρinter用單路估計所得到的重建幀與原始幀之間的相關(guān)性來表示，即 上式表示某一描述的原始幀fk和另一描述中對fk的重建幀fk*之間的相關(guān)性，其中，Cov(fk，fk*)表示fk和fk*的協(xié)方差，D(fk)和D(fk*)表示fk和fk*的方差，由于ρintra和ρinter為同一量綱，因此，我們可以近似的取λ＝1。
步驟1中所述預(yù)處理是指，在預(yù)處理階段，對于任意三個相鄰幀k-1，k和k+1，計算兩幀之間所有宏塊的運動矢量的最大模值‖MV‖(k-1，k)和‖MV‖(k，k+1)，這里，((x，y)為模值最大的運動矢量)，如果‖MV‖差值不小于閾值T，即|‖MV‖(k-1，k)-‖MV‖(k，k+1)|≥T，則三幀之間存在劇烈的運動，需要增加冗余幀來平滑，這里，閾值T選擇所有‖MV‖差值的平均值。
所述冗余幀的增加將按照相關(guān)性優(yōu)化準則在幀內(nèi)插和幀拷貝模式中選擇一種合理的模式，考慮到計算的復(fù)雜度以及解決實際問題的需要，僅考慮8種模式，即模式0，不增加任何冗余信息；模式1到模式3，增加一個冗余幀、該冗余幀分別是拷貝前一幀、拷貝后一幀及內(nèi)插一幀；模式4到模式7，增加兩個冗余幀，分別是內(nèi)插兩幀，拷貝前一幀及后一幀，拷貝前一幀后內(nèi)插后一幀，拷貝后一幀后內(nèi)插前一幀。
其中，內(nèi)插幀采用通用的運動補償幀內(nèi)插算法產(chǎn)生；另外，為了區(qū)分原始幀和內(nèi)插幀，分別使用符號(‘1’，‘0’)來標識原始幀和內(nèi)插幀，并在兩個信道上同時傳輸，所述標識采用熵編碼來進一步壓縮，與該方法總的比特率相比，其存儲大小忽略不計。
步驟5中所述后處理階段分為兩種 其一，經(jīng)標準解碼器解碼1和標準解碼器2解碼后的兩個描述同時輸入到后處理器后，由中心解碼器進行處理，由于視頻子序列是按照奇數(shù)幀偶數(shù)幀方式生成的，所以在中心解碼器中也要按照同樣的方式交替存取，重新排序后生成新的視頻序列，然后根據(jù)標識刪除內(nèi)插幀，從而最終得到重建的視頻； 其二，如果只收到單個描述，則首先由單路解碼器根據(jù)標識信息得到該幀在原始視頻序列中的位置信息，然后用內(nèi)插幀方法重構(gòu)丟失的幀。
一種基于相關(guān)性優(yōu)化準則的多描述視頻編碼裝置，其包括編碼器端、解碼器端、信道1和信道2，其中，編碼器端包括相似性優(yōu)化準則模塊、預(yù)處理器、奇偶幀分離器、標準編碼器1和標準編碼器2；解碼器端包括標準解碼器1、標準解碼器2、奇偶幀交織器和后處理器。
在編碼器端，所述預(yù)處理器將輸入的原始視頻序列按照相關(guān)性優(yōu)化準則進行預(yù)處理，并將預(yù)處理結(jié)果輸出到奇偶幀分離器，經(jīng)奇偶幀分離器分離成兩個視頻子序列，然后將這兩個視頻子序列分別輸入到標準編碼器1和標準編碼器2，經(jīng)兩編碼器壓縮編碼后輸出編碼信息1和編碼信息2，所述編碼信息1和編碼信息2分別經(jīng)信道1和信道2輸送到接收端；解碼器端負責(zé)接收并處理編碼器端發(fā)送來的信息，編碼器端輸出的編碼信號1和編碼信號2經(jīng)信道1和信道2輸送到標準解碼器1和標準解碼器2，經(jīng)標準解碼器1和標準解碼器2解碼后，輸出到奇偶幀交織器中進行奇偶重排，并將奇偶重排結(jié)果發(fā)送到后處理器中進行視頻信息重建，后處理器將重建后的視頻信息輸出。
所述后處理器包括中心解碼器和單路解碼器，其中所述中心解碼器交替存取由奇偶交織器發(fā)送的奇數(shù)幀信息和偶數(shù)幀信息；所述單路解碼器負責(zé)處理后處理器只接收到單個描述信息的情況。
本發(fā)明的有益效果與以往大部分的同類方法相比，本發(fā)明所提出的方法在壓縮性能及恢復(fù)視頻質(zhì)量上，都有相當(dāng)程度的提高。與基于空域亞采樣的方法相比，本發(fā)明方法能夠在同樣的傳輸碼率下獲得0.5-1.7dB的中心重建增益和0.8-1.2dB的單路重建增益；而與傳統(tǒng)的時域亞采樣方法(即完全采用模式0不增加冗余幀的方法)相比，本發(fā)明方法能夠在同樣的傳輸碼率和中心重建增益下，獲得0.5-1dB的單路重建增益；另外，本發(fā)明方法無論是中心重建增益還是單路重建增益都明顯好于單純幀拷貝或者幀內(nèi)插的方法。事實上，對某些運動信息劇烈的幀，本發(fā)明方法取得了更多的增益。其原因在于 針對不同的運動信息，使用相關(guān)性優(yōu)化準則，在保證壓縮性能的前提下，更好地保持了視頻子序列中的時域相關(guān)性，使得單路解碼器能夠更有效地恢復(fù)丟失信息，提高單路解碼的重建質(zhì)量。由于該方法的設(shè)計是基于前后處理方法進行的，對現(xiàn)有的標準信源編解碼器以及信道編解碼器沒有做任何改動，所以易于兼容現(xiàn)有的視頻標準，是一個靈活可靠、有實用價值的編解碼器。



圖1為本發(fā)明是基于相關(guān)性優(yōu)化準則的多描述視頻編碼方法的系統(tǒng)框圖； 圖2經(jīng)過預(yù)處理的單路重建質(zhì)量效果圖和沒有經(jīng)過預(yù)處理的單路重建質(zhì)量效果圖； 圖3聯(lián)合幀內(nèi)插和幀拷貝的8種模式示意圖； 圖4根據(jù)本發(fā)明的方法與空域方法性能(標準測試序列Paris.cif)的比較圖； 圖5根據(jù)本發(fā)明的方法與其它時域方法性能(標準測試序列Mobile.qcif)的比較圖； 圖6根據(jù)本發(fā)明的方法與傳統(tǒng)時域方法單路重建質(zhì)量(標準測試序列Mobile.qcif 200到300幀)的比較圖； 圖7根據(jù)本發(fā)明的預(yù)處理流程圖； 圖88種聯(lián)合幀內(nèi)插幀拷貝模式下的單路重構(gòu)示意圖。

具體實施例方式 下面結(jié)合附圖和具體實施方式
對本發(fā)明作進一步詳細描述 實施例1圖1是根據(jù)本發(fā)明所設(shè)計的基于相關(guān)性優(yōu)化準則的多描述視頻編碼方法的系統(tǒng)框圖。使用預(yù)處理過程以防止劇烈運動可能導(dǎo)致單路重建質(zhì)量的嚴重降低。圖2所出了預(yù)處理對單路重建質(zhì)量的影響，對于連續(xù)的3幀，k-1，k和k+1，黑色的圓表示運動的物體，圖中可以看到該物體的運動在上述3幀出現(xiàn)了不均勻的現(xiàn)象，因此，當(dāng)我們在單路解碼時，如果用k-1和k+1幀重構(gòu)k幀，則會出現(xiàn)明顯的失真。這時，如果采用預(yù)處理方法，在k和k+1幀中間先內(nèi)插一幀，在單路解碼時，用k-1和內(nèi)插幀重構(gòu)k幀，則可以得到較高質(zhì)量的重建圖像。
在編碼前對原始視頻序列按照相關(guān)性優(yōu)化準則進行預(yù)處理，即根據(jù)相關(guān)性優(yōu)化準則，在圖3所示的聯(lián)合幀內(nèi)插和幀拷貝的不同模式中選擇。在預(yù)處理結(jié)束以后，對新生成的視頻序列，按照奇數(shù)幀偶數(shù)幀交替的方式分成兩個視頻子序列。該子序列可以使用標準編碼器進行壓縮后作為兩個描述在兩個信道上傳輸。在接收端，使用同樣的標準解碼器解碼所收到的描述。當(dāng)兩路同時收到時，要按照奇數(shù)幀偶數(shù)幀的方式對兩路視頻子序列進行重新排序，然后進入后處理階段，在后處理階段，通過刪除冗余幀得到中心重建質(zhì)量；當(dāng)只有一路描述收到時，可以通過幀內(nèi)插的方法來估計丟失的信息，同時通過下采樣的方法處理冗余信息。具體內(nèi)容如下 (1)相關(guān)性優(yōu)化準則 對于兩信道的多描述編碼器而言，如果每個描述內(nèi)的相關(guān)性越大，則有利于更好地進行壓縮，從而編碼比特率也就越低，相應(yīng)的中心失真就越??；同樣的，如果兩個描述間的相關(guān)性越大，當(dāng)收到單路描述時，估計另外一個描述所得到的單路失真就越小。因此，本方案將編碼比特率R及中心失真D0轉(zhuǎn)化為每個描述內(nèi)的相關(guān)性，記為ρintra；并且將單路失真DS轉(zhuǎn)化為兩個描述間的相關(guān)性，記為ρinter。則率失真優(yōu)化問題可以轉(zhuǎn)化為如下的相關(guān)性準則 max{J}，并且J＝ρinter+λρintra…(1) 具體的，描述內(nèi)的相關(guān)性ρintra可以用幀間的運動補償相關(guān)性來計算。所謂幀間的運動補償相關(guān)性是指前一幀運動補償后得到的重建幀與當(dāng)前幀計算得到的相關(guān)性。即 公式(2)表示當(dāng)前幀fk和前一幀fk-1之間的相關(guān)性，其中，f′k是fk-1經(jīng)過運動補償后得到的重建幀。Cov(fk，f′k)表示fk和f′k的協(xié)方差，D(fk)和D(f′k)表示fk和f′k的方差。
描述間的相關(guān)性ρinter可以用單路估計所得到的重建幀與原始幀之間的相關(guān)性來表示。即 公式(3)表示某一描述的原始幀fk和另一描述中對fk的重建幀fk*之間的相關(guān)性，其中，Cov(fk，fk*)表示fk和fk*的協(xié)方差，D(fk)和D(fk*)表示fk和fk*的方差。
由于ρintra和ρinter為同一量綱，因此，我們可以近似的取λ＝1。
(2)預(yù)處理方法 在預(yù)處理階段，對于任意三個相鄰幀k-1，k和k+1，計算兩幀之間所有宏塊的運動矢量的最大模值‖MV‖(k-1，k)和‖MV‖(k，k+1)，這里，((x，y)為模值最大的運動矢量)。如果‖MV‖差值不小于閾值T，即|‖MV‖(k-1，k)-‖MV‖(k，k+1)|≥T，則三幀之間存在劇烈的運動，需要增加冗余幀來平滑。這里，閾值T選擇所有‖MV‖差值的平均值。
冗余幀的增加將按照相關(guān)性優(yōu)化準則在如圖3所示的幀內(nèi)插和幀拷貝模式中選擇一種合理的模式，該模式下可以滿足公式(1)。這里，考慮到計算的復(fù)雜度以及實際問題的需要，本發(fā)明只考慮了8種模式。即模式0，不增加任何冗余信息；模式1到模式3，增加一個冗余幀，該冗余幀分別是拷貝前一幀、拷貝后一幀及內(nèi)插一幀；模式4到模式7，增加兩個冗余幀，分別是內(nèi)插兩幀，拷貝前一幀及后一幀，拷貝前一幀后內(nèi)插后一幀，拷貝后一幀后內(nèi)插前一幀。
內(nèi)插幀采用通用的運動補償幀內(nèi)插算法產(chǎn)生。另外，為了區(qū)分原始幀和內(nèi)插幀，分別使用符號(‘1’，‘0’)來標識原始幀和內(nèi)插幀，并在兩個信道上同時傳輸，這些標識可以采用熵編碼來進一步壓縮，與該方法總的比特率相比，其存儲大小可以忽略不計。
(3)后處理方法 在后處理階段，中心解碼器和單路解碼器需要分別設(shè)計。設(shè)計中心解碼器時，由于兩個描述是按照奇數(shù)幀偶數(shù)幀方式生成的，所以在中心解碼器的設(shè)計中，也要按照同樣的方式設(shè)計成交替存取的方式，并經(jīng)重新排序后生成新的視頻序列；最后根據(jù)標識，刪除內(nèi)插幀，從而最終得到重建的視頻。而在設(shè)計單路解碼器時，如果只收到單個描述，則首先根據(jù)標識信息得到該幀在原始視頻序列中的位置信息；然后用內(nèi)插幀方法，重構(gòu)丟失的幀。
針對不同的運動信息，使用相關(guān)性優(yōu)化準則，在保證壓縮性能的前提下，更好的保持了視頻子序列中的時域相關(guān)性，使得單路解碼器能夠更有效的恢復(fù)丟失信息，提高單路解碼的重建質(zhì)量。如圖4所示，與基于空域亞采樣的方法相比，我們提出的方法能夠在同樣的傳輸碼率下獲得0.5-1.7dB的中心重建增益和0.8-1.2dB的單路重建增益。如圖5所示，與傳統(tǒng)的時域亞采樣方法(即完全采用模式0不增加冗余幀的方法)相比，我們提出的方法能夠在同樣的傳輸碼率和中心重建增益下，獲得0.5-1dB的單路重建增益，另外，我們所提出的方法無論是中心重建增益還是單路重建增益都明顯好于單純幀拷貝或者幀內(nèi)插的方法。事實上，對某些運動信息劇烈的幀，我們所提出的方法取得了更多的增益，如圖6所示400kbps下的單路重建質(zhì)量。
實施例2圖7所示是預(yù)處理過程的流程圖。這里需要注意的是我們只對‖MV‖差值不小于閾值T，即|‖MV‖(k-1，k)-‖MV‖(k，k+1)|≥T的情況進行模式的優(yōu)化選擇。并且在選擇的過程中也需要考慮模式0，即不增加冗余幀的情況。原因是在模式0下，雖然視頻子序列的時域相關(guān)性可能減小了，但是由于沒有增加冗余信息，可能具有較好的壓縮性能。
在進行模式選擇時，我們將首先根據(jù)圖8進行單路重構(gòu)，然后按照表1的計算方法分別計算8種模式下公式(1)的值，使得公式(1)最優(yōu)化的模式即為我們選擇的優(yōu)化模式。
表1模式選擇中ρintra和ρinter的計算

權(quán)利要求
1.一種基于相關(guān)性優(yōu)化準則的多描述視頻編碼方法，其特征是，包括如下步驟
步驟1在編碼前對原始視頻序列按照相關(guān)性優(yōu)化準則進行預(yù)處理，即根據(jù)相關(guān)性優(yōu)化準則，在聯(lián)合幀內(nèi)插和幀拷貝的不同模式中選擇預(yù)處理方式；
步驟2在預(yù)處理結(jié)束后，對新生成的視頻序列，按照奇數(shù)幀偶數(shù)幀交替的方式分成兩個視頻子序列，該視頻子序列使用標準編碼器進行壓縮后作為兩個描述在兩個信道上傳輸；
步驟3在解碼器端，使用標準解碼器解碼所收到的描述；
步驟4當(dāng)同時收到兩路描述時，按照奇數(shù)幀偶數(shù)幀的方式對兩路視頻子序列進行重新排序，然后將重排視頻序列輸入到后處理器；
步驟5在后處理階段，通過刪除冗余幀得到中心重建質(zhì)量，并輸出重建的視頻信息。
2.根據(jù)權(quán)利要求1所述的基于相關(guān)性優(yōu)化準則的多描述視頻編碼方法，其特征在于，當(dāng)只收到一路描述時，通過幀內(nèi)插的方法來估計丟失的信息，同時通過下采樣方法處理冗余信息。
3.根據(jù)權(quán)利要求1或2所述的基于相關(guān)性優(yōu)化準則的多描述視頻編碼方法，其特征在于，步驟1中所述按照相關(guān)性優(yōu)化準則是指對于兩信道的多描述編碼器而言，如果每個描述內(nèi)的相關(guān)性越大，則有利于更好地進行視頻壓縮，從而編碼比特率也就越低，相應(yīng)的中心失真就越??；同樣地，如果兩個描述間的相關(guān)性越大，當(dāng)收到單路描述時，估計另外一個描述所得到的單路失真就越?。粚⑺鼍幋a比特率R及中心失真D0轉(zhuǎn)化為每個描述內(nèi)的相關(guān)性，記為ρintra；并且將單路失真DS轉(zhuǎn)化為兩個描述間的相關(guān)性，記為ρinter，則率失真優(yōu)化問題轉(zhuǎn)化為如下的相關(guān)性準則
max{J}，且J＝ρinter+λρintra
其中，所述每個描述內(nèi)的相關(guān)性ρintra用幀間的運動補償相關(guān)性來計算；所述幀間的運動補償相關(guān)性是指前一幀運動補償后得到的重建幀與當(dāng)前幀計算得到的相關(guān)性，即
上式表示當(dāng)前幀fk和前一幀fk-1之間的相關(guān)性，其中，f′k是fk-1經(jīng)過運動補償后得到的重建幀，Cov(fk，f′k)表示fk和f′k的協(xié)方差，D(fk)和D(f′k)表示fk和f′k的方差；
而所述兩個描述間的相關(guān)性ρinter用單路估計所得到的重建幀與原始幀之間的相關(guān)性來表示，即
上式表示某一描述的原始幀fk和另一描述中對fk的重建幀fk*之間的相關(guān)性，其中，Cov(fk，fk*)表示fk和fk*的協(xié)方差，D(fk)和D(fk*)表示fk和fk*的方差，由于ρintra和ρinter為同一量綱，因此取λ＝1。
4.根據(jù)權(quán)利要求1所述的基于相關(guān)性優(yōu)化準則的多描述視頻編碼方法，其特征在于，步驟1中所述預(yù)處理是指，在預(yù)處理階段，對于任意三個相鄰幀k-1，k和k+1，計算兩幀之間所有宏塊的運動矢量的最大模值||MV||(k-1，k)和||MV||(k，k+1)，這里，((x，y)為模值最大的運動矢量)，如果||MV||差值不小于閾值T，即|||MV||(k-1，k)-||MV||(k，k+1)|≥T，則三幀之間存在劇烈的運動，需要增加冗余幀來平滑，這里，閾值T選擇所有||MV||差值的平均值。
5.根據(jù)權(quán)利要求4所述的基于相關(guān)性優(yōu)化準則的多描述視頻編碼方法，其特征在于，所述冗余幀的增加將按照相關(guān)性優(yōu)化準則在幀內(nèi)插和幀拷貝模式中選擇一種合理的模式，考慮到計算的復(fù)雜度以及解決實際問題的需要，僅考慮8種模式，即模式0，不增加任何冗余信息；模式1到模式3，增加一個冗余幀、該冗余幀分別是拷貝前一幀、拷貝后一幀及內(nèi)插一幀；模式4到模式7，增加兩個冗余幀，分別是內(nèi)插兩幀，拷貝前一幀及后一幀，拷貝前一幀后內(nèi)插后一幀，拷貝后一幀后內(nèi)插前一幀。
6.根據(jù)權(quán)利要求5所述的基于相關(guān)性優(yōu)化準則的多描述視頻編碼方法，其特征在于，內(nèi)插幀采用通用的運動補償幀內(nèi)插算法產(chǎn)生；另外，為了區(qū)分原始幀和內(nèi)插幀，分別使用符號(‘1’，‘0’)來標識原始幀和內(nèi)插幀，并在兩個信道上同時傳輸，所述標識采用熵編碼來進一步壓縮，與該方法總的比特率相比，其存儲大小忽略不計。
7.根據(jù)權(quán)利要求1所述的基于相關(guān)性優(yōu)化準則的多描述視頻編碼方法，其特征在于，步驟5中所述后處理階段分為兩種
其一，經(jīng)標準解碼器解碼1和標準解碼器2解碼后的兩個描述同時輸入到后處理器后，由中心解碼器進行處理，由于視頻子序列是按照奇數(shù)幀偶數(shù)幀方式生成的，所以在中心解碼器中也要按照同樣的方式交替存取，重新排序后生成新的視頻序列，然后根據(jù)標識刪除內(nèi)插幀，從而最終得到重建的視頻；
其二，如果只收到單個描述，則首先由單路解碼器根據(jù)標識信息得到該幀在原始視頻序列中的位置信息，然后用內(nèi)插幀方法重構(gòu)丟失的幀。
8.一種基于相關(guān)性優(yōu)化準則的多描述視頻編碼裝置，其包括編碼器端、解碼器端、信道1和信道2，其中，編碼器端包括相似性優(yōu)化準則模塊、預(yù)處理器、奇偶幀分離器、標準編碼器1和標準編碼器2；解碼器端包括標準解碼器1、標準解碼器2、奇偶幀交織器和后處理器。
9.根據(jù)權(quán)利要求8所述的基于相關(guān)性優(yōu)化準則的多描述視頻編碼裝置，其特征在于，在編碼器端，所述預(yù)處理器將輸入的原始視頻序列按照相關(guān)性優(yōu)化準則進行預(yù)處理，并將預(yù)處理結(jié)果輸出到奇偶幀分離器，經(jīng)奇偶幀分離器分離成兩個視頻子序列，然后將這兩個視頻子序列分別輸入到標準編碼器1和標準編碼器2，經(jīng)兩編碼器壓縮編碼后輸出編碼信息1和編碼信息2，所述編碼信息1和編碼信息2分別經(jīng)信道1和信道2輸送到接收端；解碼器端負責(zé)接收并處理編碼器端發(fā)送來的信息，編碼器端輸出的編碼信號1和編碼信號2經(jīng)信道1和信道2輸送到標準解碼器1和標準解碼器2，經(jīng)標準解碼器1和標準解碼器2解碼后，輸出到奇偶幀交織器中進行奇偶重排，并將奇偶重排結(jié)果發(fā)送到后處理器中進行視頻信息重建，后處理器將重建后的視頻信息輸出。
10.根據(jù)權(quán)利要求8所述的基于相關(guān)性優(yōu)化準則的多描述視頻編碼裝置，其特征在于，所述后處理器包括中心解碼器和單路解碼器，其中所述中心解碼器交替存取由奇偶交織器發(fā)送的奇數(shù)幀信息和偶數(shù)幀信息；所述單路解碼器負責(zé)處理后處理器只接收到單個描述信息的情況。
全文摘要
本發(fā)明提供一種基于相關(guān)性優(yōu)化準則的多描述視頻編碼方法及裝置，屬視頻編碼領(lǐng)域。該裝置包括編碼器端、解碼器端、信道1和信道2，其中，編碼器端包括相似性優(yōu)化準則模塊、預(yù)處理器、奇偶幀分離器、標準編碼器1和標準編碼器2；解碼器端包括標準解碼器1、標準解碼器2、奇偶幀交織器和后處理器。本視頻編碼方法使用相關(guān)性優(yōu)化準則，針對不同的運動信息，在保證各視頻序列壓縮性能的前提下，更好地保持了視頻子序列中的時域相關(guān)性，使得單路解碼器能夠更有效地恢復(fù)丟失信息，從而提高單路解碼的重建質(zhì)量。
文檔編號H04N7/66GK101626512SQ20091009080
公開日2010年1月13日 申請日期2009年8月11日 優(yōu)先權(quán)日2009年8月11日
發(fā)明者白慧慧, 耀 趙, 劉美琴 申請人:北京交通大學(xué)