專利名稱：用于在視頻編碼器和視頻解碼器之間通過無線雙向信道傳送視頻流的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于在視頻編碼器和視頻解碼器之間通過無線雙向信道傳 送視頻流的方法，以及用于實現(xiàn)該方法的視頻編碼器、視頻解碼器和無線 解碼器。
具體地，本發(fā)明應用于視頻電話，其中兩個相連的終端既是發(fā)射機又
是接收機。
背景技術(shù)：
通過無線信道傳輸視頻流在于通過視頻編碼器對由多個視頻幀組成 的視頻流進行編碼，以傳輸?shù)綗o線編碼器。然后，視頻流作為無線信號經(jīng) 由無線信道傳輸?shù)綗o線解碼器。無線解碼器將信號轉(zhuǎn)變?yōu)楸忍匾詫⑵鋫鬏?到視頻解碼器，由該視頻解碼器重建視頻流。
在已知的方式中，通過無線信道傳輸視頻流通常使用幀間預測，也稱 為運動補償。該方法在所有已使用的視頻壓縮系統(tǒng)中使用，也用于新的標 準，諸如IL264標準。
視頻壓縮在于通過使用運動矢量轉(zhuǎn)變至少一個參考幀的區(qū)域來預測 視頻幀的塊(在H.264中也稱為宏塊)。存在許多類型的宏塊。例如，被 稱為I宏塊的幀內(nèi)預測宏塊基于當前幀的空間相鄰宏塊來預測，P宏塊使 用與參考區(qū)域相關(guān)聯(lián)的單個運動矢量，B宏塊使用具有與兩個參考區(qū)域相 關(guān)聯(lián)的兩個運動矢量的雙預測運動補償方案。
每個已解碼的幀可用于未來的預測，非自然信號(artifact)傳播和擴 展是由于基于在先的已解碼的幀來預測幀的事實。考慮不可靠的雙向傳輸信道上的視頻流的壓縮，在低延時和低帶寬無 線視頻電話應用的情況下，問題在于優(yōu)化視頻傳送，尤其是避免幀間視頻 非自然信號傳播。
本發(fā)明尤其適合于無線視頻電話應用，還可以適合于單播視頻流。該
方案的實現(xiàn)不復雜(與ARQ方案相比較)，并且可以減小嚴重影響可感 知的視頻質(zhì)量的幀間非自然信號傳播的問題。
用于處理視頻非自然信號傳播的常用方案是周期性地插入I宏塊，因 為來自先前的參考幀的錯誤宏塊在預測方案中不使用。那么，幀間非自然 信號傳播就停止。該預測方法在壓縮方面的效率不高。幀內(nèi)宏塊被插入得 越頻繁，防止幀間非自然信號傳播的保護就越高，然而，由于幀內(nèi)宏塊需 要大量的帶寬，因此，壓縮效率就越低。
錯誤宏塊檢測可以通過無線解碼器在接收機側(cè)進行，然后無線解碼器
向編碼器發(fā)送請求，由編碼器重發(fā)被請求的部分。該方法不符合視頻電話
應用中所需的低延時限制。 一個關(guān)鍵點在于保持視頻與實時音頻同步(唇
同步)，從而限制分配給自動重復請求(ARQ)機制的時間，并對重發(fā)的
部分要求額外的帶寬。當經(jīng)歷高比特誤差率(BER)時，重發(fā)帶寬過大， 解碼器需要多次請求重發(fā)。
為了避免使用基于錯誤的在先幀的幀間預測，現(xiàn)有技術(shù)中的另 一個解 決方案是根據(jù)如在H.263標準中描述的來自解碼器的確認/非確認 (Acknowledgement/Non-Acknowledgement)選捧參考圖像。

發(fā)明內(nèi)容
本發(fā)明的目的是通過提出一種用于使用誤差概率估計作為運動估計算 法中的附加成本因子而在視頻編碼器和視頻解碼器之間通過無線雙向信道 傳送視頻流的方法來解決現(xiàn)有技術(shù)中的問題。
為此，根據(jù)第一個方面，本發(fā)明涉及一種用于在視頻編碼器和視頻解 碼器之間通過無線雙向信道傳送視頻流的方法，其中通過定義視頻流的視 頻幀的分區(qū)來對視頻幀進行編碼，所述編碼通過確定分區(qū)的預測來進行，預測基于
-視頻流的參考幀的至少一個參考區(qū)域；選擇所述參考區(qū)域以使成本 函數(shù)J最小化；
-與所述參考區(qū)域相關(guān)聯(lián)的一個運動矢量；以及
-與所述參考區(qū)域相關(guān)聯(lián)的加權(quán)因子； 其中，獲得分區(qū)與對應的預測分區(qū)之間的差異以建立分區(qū)殘量，具有分區(qū) 殘量的已編碼的視頻流被傳輸?shù)揭曨l解碼器，以通過使用參考區(qū)域、運動 矢量和加權(quán)因子對視頻流的預測分區(qū)進行解碼，視頻幀的已解碼的分區(qū)通 過已解碼的預測分區(qū)和對應的分區(qū)殘量相結(jié)合而形成，已解碼的分區(qū)的傳 輸誤差概率械反饋給視頻編碼器，所述傳輸誤差概率與參考幀的已解碼的 分區(qū)相關(guān)聯(lián)，并用在作為參考區(qū)域的已解碼的分區(qū)的運動估計算法的成本 函數(shù)中。
根據(jù)第二個方面，本發(fā)明涉及視頻解碼器，所述視頻解碼器包括通 過使用參考區(qū)域、運動矢量和加權(quán)因子對視頻流的預測分區(qū)進行解碼的裝 置；通過已解碼的預測分區(qū)和對應的分區(qū)殘量相結(jié)合而形成視頻幀的已解 碼的分區(qū)的裝置；以及將所述傳輸誤差概率反饋給視頻編碼器的裝置。
根據(jù)第三個方面，本發(fā)明涉及用于與視頻解碼器連接的無線解碼器， 所述無線解碼器包括根據(jù)對應的參考區(qū)域的傳輸?shù)目煽啃詷藴?，基于無 線解碼計算傳輸誤差概率的裝置。
根據(jù)第四個方面，本發(fā)明涉及視頻編碼器，所述視頻編碼器包括通 過定義視頻流的視頻幀的分區(qū)來對視頻幀進行編碼的裝置，所述編碼通過 確定分區(qū)的預測來進行，預測基于
-視頻流的參考幀的至少一個參考區(qū)域；選擇所述參考區(qū)域以使成本 函數(shù)J最小化；
-與所述參考區(qū)域相關(guān)聯(lián)的一個運動矢量；以及
畫與所述參考區(qū)域相關(guān)聯(lián)的加權(quán)因子； 所述視頻編碼器包括利用傳輸誤差概率計算成本函數(shù)的裝置，所述傳輸 誤差概率與作為參考幀的已解碼的分區(qū)相關(guān)聯(lián)。


在下面參照附圖進行的描述中，本發(fā)明的其它方面和優(yōu)點將變得明顯。 圖1表示在視頻編碼器和視頻解碼器之間進行雙向無線視頻流傳輸?shù)?簡化結(jié)構(gòu)。
具體實施例方式
在視頻電話應用中，兩個相連的終端既M射機T又是接收機Re，但 為了簡化技術(shù)方案，并未表現(xiàn)這一點。
根據(jù)本發(fā)明的用于通過無線信道傳送視頻流S的方法提出通過由視頻 編碼器1定義視頻流S的視頻幀的分區(qū)來對視頻幀進行編碼。
在所描述的實施例中，視頻編碼根據(jù)H.264標準，尤其是根據(jù)H.264 AVC1標準實現(xiàn)，每個分區(qū)是如在上述標準中定義的P或B宏塊。
由于P宏塊和B宏塊使用預測運動補償，因此，通過確定分區(qū)的預測 M來進行編碼，其中預測M基于
-視頻流的參考幀的至少一個參考區(qū)域；選擇所述參考區(qū)域以使成本 函數(shù)J最小化；
-與所述參考區(qū)域相關(guān)聯(lián)的一個運動矢量；
-與所述參考區(qū)域相關(guān)聯(lián)的加權(quán)因子。
此時，獲得分區(qū)與對應的預測分區(qū)之間的差異，以建立分區(qū)殘量。 視頻編碼器1將具有分區(qū)殘量的已編碼的視頻流轉(zhuǎn)發(fā)到無線編碼器，
接著無線編碼器通過無線信道將其作為無線信號傳輸?shù)綗o線解碼器2。 具有分區(qū)殘量的已編碼的視頻流被傳輸?shù)揭曨l解碼器3，以通過使用
參考區(qū)域、運動矢量和加權(quán)因子對視頻流的預測分區(qū)M進行解碼，視頻幀
的已解碼的分區(qū)A通過已解碼的預測分區(qū)和對應的分區(qū)殘量相結(jié)合而形成。
成本函數(shù)J的最小化是運動估計的常用方法。通常，成本函數(shù)基于拉 格朗日乘數(shù)以在編碼運動矢量所需的比特率R和在預測分區(qū)M與對應的
7解碼分區(qū)a之間的失真d之間權(quán)衡。
在成本函數(shù)j中結(jié)合已解碼的分區(qū)a的傳輸誤差概率^可以通過減少 甚至阻止幀間誤差傳播來改進用于下次傳輸?shù)倪\動估計。
為此，已解碼的分區(qū)a的傳輸誤差概率^根據(jù)可靠性標準，基于無線 解碼進行計算，并對固定數(shù)量的比特進行編碼。
可靠性標準可以4艮據(jù)以下的任意一個確定
-來自無線解碼器的對數(shù)似然比；或者
-比特誤差率估計器；或者
-簡單的循環(huán)冗余校驗碼計算。
傳輸誤差概率^還可以基于已解碼的預測分區(qū)上的視覺度量進行計算。
在更強大和/或更少限制的系統(tǒng)中，該傳輸誤差概率可以更細致和/或可 對每個像素或每個分區(qū)子部分進行計算，而不是每個分區(qū)。
傳輸誤差概率^被視頻解碼器3反饋給視頻編碼器1，所述傳輸誤差 概率用在作為參考區(qū)域的已解碼的分區(qū)a的運動估計算法的成本函數(shù)j
中。這樣，可以選擇在幀間誤差傳播和壓縮效率之間進行權(quán)衡的參考幀的 已解碼的分區(qū)作為參考區(qū)域。
在成本函數(shù)中結(jié)合了已解碼的分區(qū)a的傳輸誤差概率^的修改算法 為j^D(M-AA) + ^，其中A是拉格朗日乘數(shù)。運動估計算法選擇使函數(shù) j最小化的已解碼的分區(qū)a為參考區(qū)域。
因此，運動估計允許選擇更少的參考錯誤的參考區(qū)域的運動矢量，從 而衰減了幀間誤差傳播。
實際上，該概率在下一個幀編碼的時間內(nèi)凈皮傳送回編碼器1 (如果對 前一幀進行了運動估計，導致最好的壓縮效率)。
權(quán)利要求
1. 用于在視頻編碼器和視頻解碼器之間通過雙向無線信道傳送視頻流的方法，其中通過定義所述視頻流的視頻幀的分區(qū)來對所述視頻幀進行編碼，所述編碼通過確定所述分區(qū)的預測(M)來執(zhí)行，預測(M)基于-所述視頻流的參考幀的至少一個參考區(qū)域；選擇所述參考區(qū)域以使成本函數(shù)(J)最小化；-與所述參考區(qū)域相關(guān)聯(lián)的一個運動矢量；以及-與所述參考區(qū)域相關(guān)聯(lián)的加權(quán)因子；其中，獲得分區(qū)與對應的預測分區(qū)(M)之間的差異以建立分區(qū)殘量；具有分區(qū)殘量的已編碼的視頻流被傳輸?shù)揭曨l解碼器，以通過使用所述參考區(qū)域、所述運動矢量和加權(quán)因子對所述視頻流的預測分區(qū)(M)進行解碼；所述視頻幀的已解碼的分區(qū)(A)由已解碼的預測分區(qū)和對應的分區(qū)殘量相結(jié)合而形成；所述已解碼的分區(qū)(A)的傳輸誤差概率(PA)被反饋給所述視頻編碼器，所述傳輸誤差概率用在作為參考區(qū)域的已解碼的分區(qū)(A)的運動估計算法的成本函數(shù)(J)中。
2. 根據(jù)權(quán)利要求1的方法，其中，所述視頻編碼根據(jù)H.264標準實現(xiàn)， 特別是才艮據(jù)H.264 AVC1標準實現(xiàn)。
3. 根據(jù)權(quán)利要求2的方法，其中，每個分區(qū)是在所述標準中定義的P 宏塊或者B宏塊。
4. 根據(jù)權(quán)利要求l-3的任意一項的方法，其中，基于傳輸?shù)臒o線解碼 計算傳輸誤差概率(A)，所述計算根據(jù)已解碼的分區(qū)(A)的傳輸?shù)目?靠性標準來進行。
5. 根據(jù)權(quán)利要求4的方法，其中，可靠性標準根據(jù)以下的任意一項確定-來自無線解碼器的對數(shù)似然比；或者 -比特誤差率估計器；或者-簡單的循環(huán)冗余校驗碼計算。
6. 根據(jù)權(quán)利要求4的方法，其中，基于已解碼的預測分區(qū)上的視覺度 量計算傳輸誤差概率(A)。
7. —種視頻解碼器，用于實現(xiàn)根據(jù)上述任意一項權(quán)利要求的方法，所 述視頻解碼器包括通過使用所述參考區(qū)域、所述運動矢量和加權(quán)因子對 所述視頻流的預測分區(qū)進行解碼的裝置；通過已解碼的預測分區(qū)和對應的 分區(qū)殘量相結(jié)合而形成所述視頻幀的已解碼的分區(qū)(A)的裝置；以及將 所述傳輸誤差概率(尸,)反饋給所述視頻編碼器的裝置。
8. 根據(jù)權(quán)利要求7的視頻解碼器，還包括基于已解碼的預測分區(qū)上 的視覺度量計算傳輸誤差概率(P,)的裝置。
9. 一種無線解碼器，用于與根據(jù)權(quán)利要求7的視頻解碼器連接，所述無線解碼器包括根據(jù)已解碼的分區(qū)(A)的傳輸?shù)目煽啃詷藴?，基于無 線解碼計算傳輸誤差概率(&)的裝置。
10. —種視頻編碼器，用于實現(xiàn)根據(jù)上述任何一項權(quán)利要求的方法， 所述視頻編碼器包括通過定義所述視頻流的視頻幀的分區(qū)來對所述視頻 幀進行編碼的裝置，所述編碼通過確定所述分區(qū)的預測(M)來執(zhí)行，預 測(M)基于-所述視頻流的參考幀的至少一個參考區(qū)域；選擇所述參考區(qū)域以使 成本函數(shù)(J)最小化；誦與所述參考區(qū)域相關(guān)聯(lián)的一個運動矢量；以及 _與所述參考區(qū)域相關(guān)聯(lián)的加權(quán)因子；所述視頻編碼器包括利用傳輸誤差概率(^ )計算成本函數(shù)(J)的裝置， 其中所述傳輸誤差概率與作為參考區(qū)域的已解碼的分區(qū)(A)相關(guān)聯(lián)。
全文摘要
用于在視頻編碼器和視頻解碼器之間通過無線雙向信道傳送視頻流的方法，其中通過確定視頻流的視頻幀的已定義分區(qū)的預測(M)來對視頻幀進行編碼，預測(M)基于視頻流的參考幀的至少一個參考區(qū)域；與參考區(qū)域相關(guān)聯(lián)的一個運動矢量；以及與參考區(qū)域相關(guān)聯(lián)的加權(quán)因子；其中，獲得分區(qū)與對應的預測分區(qū)(M)之間的差異以建立分區(qū)殘量；具有分區(qū)殘量的已編碼的視頻流被傳輸?shù)揭曨l解碼器以對預測分區(qū)(M)進行解碼，視頻幀的已解碼的分區(qū)(A)由已解碼的預測分區(qū)和對應的分區(qū)殘量相結(jié)合而形成；已解碼的分區(qū)(A)的傳輸誤差概率(P_A)被反饋給視頻編碼器，傳輸誤差概率用在作為參考區(qū)域的已解碼的分區(qū)(A)的運動估計算法的成本函數(shù)(J)中。
文檔編號H04N7/26GK101483775SQ20081019083
公開日2009年7月15日 申請日期2008年12月11日 優(yōu)先權(quán)日2007年12月11日
發(fā)明者C·馬丁, Y·勒普羅沃 申請人:阿爾卡特朗訊公司