專利名稱：一種基于自適應(yīng)靈活宏塊次序的視頻容錯編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編解碼領(lǐng)域，具體涉及一種基于自適應(yīng)靈活宏塊次序(FMO)的視 頻容錯編碼方法。
背景技術(shù)：
隨著計算機(jī)技術(shù)與網(wǎng)絡(luò)通信技術(shù)的快速發(fā)展，簡單的文本信息形式已不能滿足人 們的需求，更為豐富的視頻信息已經(jīng)逐漸走進(jìn)人們?nèi)粘Ｉ畹母鱾€方面。有限的傳輸帶寬 和存儲空間必然要求對數(shù)據(jù)量巨大的原始視頻進(jìn)行壓縮，因此視頻編解碼技術(shù)與標(biāo)準(zhǔn)已成 為多媒體應(yīng)用中不可或缺的組成部分。現(xiàn)有的視頻編解碼標(biāo)準(zhǔn)非常依賴于碼流的完整性。 一旦在傳輸過程中出現(xiàn)錯誤就會導(dǎo)致視頻解碼后的觀看質(zhì)量下降，影響用戶感受。因此，在 視頻編碼過程中增強(qiáng)碼流抵御錯誤的能力，即改善碼流的容錯性，是十分必要的。靈活宏塊次序FMO (Flexible Macroblock Ordering)是 H. 264/AVC 標(biāo)準(zhǔn)采納的一 種非常有效的新容錯機(jī)制。宏塊不再必須是嚴(yán)格依據(jù)其在圖像中的光柵掃描次序被分配入 片中。通過宏塊分配圖(Macroblock allocation map，MBAmap)，一個宏塊可以被分配入任 何一個片組中去。FMO機(jī)制可以用在視頻容錯中的原因主要有兩個方面。第一個方面是其 非常適合于存在差別化傳輸保護(hù)的網(wǎng)絡(luò)環(huán)境。由于可以對宏塊進(jìn)行任意形式的片組分配， 因此重要或脆弱的區(qū)域就能夠被分配在傳輸相對于可靠的片組中，增強(qiáng)了保護(hù)的針對性， 提高了保護(hù)的效率。另一方面，F(xiàn)MO本身也具備較強(qiáng)的容錯功能。因為丟失的宏塊可能會 被其周邊其它沒有丟失的宏塊所包圍，因此利用周邊宏塊的像素或信息可以有效恢復(fù)丟失 的宏塊，十分有利于解碼器的錯誤恢復(fù)算法?，F(xiàn)有利用FMO進(jìn)行容錯編碼的方法雖然取得了一定的效果，但仍然存在的問題主 要包括沒有考慮傳輸特性；需要進(jìn)行第二次編碼或采用率失真優(yōu)化算法，計算量和結(jié)構(gòu) 不適合于實際應(yīng)用；只能在離線編碼中進(jìn)行非實時操作；在關(guān)注差別化傳輸?shù)耐瑫r，忽視 了發(fā)揮FMO本身的容錯功能，或者相反。

發(fā)明內(nèi)容
本發(fā)明提供了一種基于自適應(yīng)靈活宏塊次序(FMO)的視頻容錯編碼方法，既能夠 滿足差異化的網(wǎng)絡(luò)傳輸要求，又能夠充分發(fā)揮FMO本身的容錯功能，實現(xiàn)有效的視頻容錯； 同時，由于主要計算信息來自于編碼域，即編碼過程中產(chǎn)生的信息，因此計算效率較高。一種基于自適應(yīng)靈活宏塊次序(FMO)的視頻容錯編碼方法，包括以下步驟(1)輸入一幀圖像并編碼；(2)提取所述的圖像的運(yùn)動區(qū)域，估計運(yùn)動區(qū)域的錯誤敏感度；依據(jù)運(yùn)動區(qū)域的 錯誤敏感度，決策最優(yōu)的靈活宏塊次序編碼模式；(3)計算所有宏塊位置的累積幀間差異，當(dāng)運(yùn)動區(qū)域內(nèi)宏塊位置的累積幀間差異 大于指定的刷新閾值時，所述的宏塊位置在下一幀時被強(qiáng)制幀內(nèi)刷新，由此計算得到運(yùn)動 區(qū)域的幀內(nèi)刷新宏塊的數(shù)量與位置；
(4)根據(jù)步驟(2)得到的靈活宏塊次序編碼模式和步驟(3)得到的幀內(nèi)刷新宏塊 的數(shù)量與位置，形成下一幀圖像的編碼方案；(5)重復(fù)步驟⑵ (4)，直至編碼全部結(jié)束。步驟(2)中，所述的提取所述的圖像的運(yùn)動區(qū)域，包括(2. 1)利用運(yùn)動搜索產(chǎn)生的幀間差異信息對宏塊進(jìn)行初始運(yùn)動檢測，輸入幀和參 考幀之間的差異大于運(yùn)動檢測閾值的宏塊視為初始運(yùn)動宏塊；第η幀圖像中坐標(biāo)為(X，y)的宏塊的初始運(yùn)動標(biāo)識Minitial如式(I)所示 式(I)中，sadmvQQ為16X16運(yùn)動搜索時獲得的在零運(yùn)動矢量處的SAD(Sum of Absolute Difference)編碼信息，反映宏塊在輸入幀和參考幀之間的差異；Sadavg表示第η 幀圖像所有宏塊Sadmvt 的平均值；β (η)為運(yùn)動檢測閾值參數(shù)，[β (η) X sadavg (η)]為運(yùn)動 檢測閾值。當(dāng)宏塊的Sadmvw大于運(yùn)動檢測閾值時，初始運(yùn)動標(biāo)識Minitial為1，宏塊視為初始運(yùn) 動宏塊；反之，初始運(yùn)動標(biāo)KMinitial為0，宏塊視為非初始運(yùn)動宏塊。進(jìn)一步，所述的運(yùn)動檢測閾值隨著不同序列的特征和同一序列不同幀的特征進(jìn)行 動態(tài)調(diào)整，其中，運(yùn)動檢測閾值參數(shù)β (η)如式(II)所示 式(II)中，σ frame表示第η幀圖像所有宏塊Sadfflv00的標(biāo)準(zhǔn)差；k、ο 0、β Η、β L、σ Η和σ ^均為固定值參數(shù)；(2. 2)分析宏塊的編碼比特值，對所述的初始運(yùn)動宏塊進(jìn)行濾波，確定運(yùn)動宏塊， 并確定涵蓋所有運(yùn)動宏塊的最小的矩形為運(yùn)動區(qū)域計算每個初始運(yùn)動宏塊周邊的四個宏塊中初始運(yùn)動宏塊的數(shù)量Nmb，對于Nmb值為0或1的初始運(yùn)動宏塊，其最終運(yùn)動標(biāo)識Mfinal為
式(III)中，Bmb表示一個宏塊的編碼比特值，Bavg表示所有Nneb大于1的初始運(yùn)動 宏塊編碼比特值的平均值；Afilte為固定值參數(shù)，對于Nmb為0和1的初始運(yùn)動宏塊，Xfilte 分別設(shè)為1.4和0.7。當(dāng)宏塊的編碼比特值大于濾波閾值[λ filter X Bavg (η)]時，最終運(yùn)動標(biāo)識Mfinal為1， 為運(yùn)動宏塊；反之，最終運(yùn)動標(biāo)識Mfinal為0，為非運(yùn)動宏塊。對于非初始運(yùn)動宏塊和Nmb值大于1的其它初始運(yùn)動宏塊，
Mfinal = Minitial由此，得到所有宏塊的Mfinal值，所有最終運(yùn)動標(biāo)識Mfinal值為1的宏塊為運(yùn)動宏塊， 涵蓋所有運(yùn)動宏塊的最小的矩形為運(yùn)動區(qū)域。步驟(2)中，所述的運(yùn)動區(qū)域的錯誤敏感度，是指運(yùn)動區(qū)域在解碼器中進(jìn)行錯誤 恢復(fù)的難度，采用如下式(IV)所示的計算式估計Sma (η) = ρ (η) X T (η) X σ mb (η) X σ frame (η)(IV)式(IV)中，ρ為碼流的傳輸丟包率，較嚴(yán)重的傳輸丟包會導(dǎo)致較大的錯誤恢復(fù)難 度；T為運(yùn)動區(qū)域的紋理復(fù)雜度，復(fù)雜的紋理會加大錯誤恢復(fù)的難度；Qmb為運(yùn)動區(qū)域內(nèi)宏 塊運(yùn)動差異，宏塊間的運(yùn)動情況差異越大，錯誤恢復(fù)的難度也會越大；ο 為區(qū)域運(yùn)動強(qiáng) 度，運(yùn)動區(qū)域的總體運(yùn)動強(qiáng)度相對于背景越大，錯誤恢復(fù)的難度也會越大(區(qū)域運(yùn)動強(qiáng)度
與式(II)中相同，可以利用之前對第η幀圖像所有宏塊Sadmvtltl的標(biāo)準(zhǔn)差的計 算結(jié)果)。上述分析因素可以適應(yīng)大多數(shù)錯誤恢復(fù)方法的算法特征。式(IV)中結(jié)果越大， 說明運(yùn)動區(qū)域的錯誤敏感度越高，即錯誤恢復(fù)難度越大。所述的運(yùn)動區(qū)域的紋理復(fù)雜度T為運(yùn)動區(qū)域中所有宏塊的紋理復(fù)雜度tmb的平均 值，而一個宏塊的紋理復(fù)雜度tmb計算如下式(V)所示 式(V)中，Ω表示左邊和上邊的周邊像素都完備的4X4塊的集合，Νω表示這個集 合中4X4塊的數(shù)量，坐標(biāo)(i，j)表示一個4X4塊在其所在宏塊中的位置，sadD。44為模式?jīng)Q 策時產(chǎn)生的幀內(nèi)4X4直流模式的SAD信息，為一個4X4塊所有組成像素與周邊像素(左 邊和上邊的像素)均值的差異之和，反映該4X4塊內(nèi)部各個像素之間的差異性，差異越大 紋理越復(fù)雜。步驟(2)中，所述的依據(jù)運(yùn)動區(qū)域的錯誤敏感度，決策最優(yōu)的靈活宏塊次序編碼 模式的過程如下對非運(yùn)動區(qū)域全部使用單片組編碼；對于運(yùn)動區(qū)域，當(dāng)運(yùn)動區(qū)域的錯誤敏感度3 4大于設(shè)定的敏感度閾值Sth時，采用兩 個片組的棋盤模式編碼；當(dāng)運(yùn)動區(qū)域的錯誤敏感度Sma小于設(shè)定的敏感度閾值Sth時，采用 一個片組的平坦模式編碼。步驟(3)中，所述的宏塊位置的累積幀間差異由下式(VI)得到 式(VI)中，Iitl表示宏塊位置(x，y)前次進(jìn)行幀內(nèi)預(yù)測編碼時的圖像序列號，nQ小 于或等于η ；ρ為碼流的傳輸丟包率；步驟(3)中，所述的指定的刷新閾值DTH(n)為變值，由下式(VII)計算；Ah O) = —( VII ) 式(VII)中，Cik為固定值參數(shù)，Qframe為區(qū)域運(yùn)動強(qiáng)度。對于運(yùn)動強(qiáng)度大的幀給 予更多的刷新數(shù)量，以取得更好的自適應(yīng)性。
本發(fā)明中，對于第一幀圖像不采用FMO進(jìn)行編碼，從第二幀開始，均是通過對前一 幀編碼域信息的分析來決定下一幀的容錯編碼模式。主要計算信息都來自于編碼域，也就 是編碼過程中所產(chǎn)生的信息，避免了多次編碼，有效節(jié)省了計算資源。本發(fā)明中，在提取運(yùn)動區(qū)域時，采取16 X 16運(yùn)動搜索時在零運(yùn)動矢量處的編碼信 息SAD(Sadmvtltl)進(jìn)行初步運(yùn)動檢測，由于Sadmvtltl能夠反映輸入幀和參考幀之間的差異且可 以直接從大多數(shù)搜索算法中獲得，因此可以高效率地檢測運(yùn)動區(qū)域；在進(jìn)行了初步運(yùn)動檢 測后，還采用宏塊編碼比特值對初始運(yùn)動宏塊進(jìn)行濾波，剔除初始運(yùn)動宏塊中的噪聲宏塊， 除去殘余的噪聲。由于噪聲宏塊往往處于孤立位置，因此，通過分析孤立宏塊的編碼比特值 相對于主要運(yùn)動區(qū)域的編碼比特值大小，來確定噪聲宏塊。剔除噪聲宏塊后的初始運(yùn)動宏 塊被確定為運(yùn)動宏塊。本發(fā)明是以視頻監(jiān)控場景為基礎(chǔ)，將其最核心的運(yùn)動區(qū)域(無論是 人還是物體)作為優(yōu)先傳輸和重點保護(hù)的對象，并確定涵蓋所有運(yùn)動宏塊的最小的矩形為 運(yùn)動區(qū)域。本發(fā)明中，依據(jù)碼流的傳輸丟包率ρ、運(yùn)動區(qū)域的紋理復(fù)雜度T、運(yùn)動區(qū)域內(nèi)宏塊 運(yùn)動差異ο _和區(qū)域運(yùn)動強(qiáng)度等多個因素評估運(yùn)動區(qū)域的錯誤敏感度，能適應(yīng)大多 數(shù)錯誤恢復(fù)方法的算法特征。此外，在紋理信息的獲取時，利用模式?jīng)Q策時產(chǎn)生的幀內(nèi)4X4 直流模式的SAD信息(sadDM4)，提高了計算效率；而且，運(yùn)動區(qū)域的紋理復(fù)雜度T和運(yùn)動區(qū) 域內(nèi)宏塊運(yùn)動差異σ mb的計算都是限定在運(yùn)動區(qū)域中，降低了計算的復(fù)雜度。本發(fā)明中，最優(yōu)的FMO編碼模式的選擇充分考慮到運(yùn)動與非運(yùn)動區(qū)域的區(qū)別、以 及不同錯誤敏感度的運(yùn)動區(qū)域的區(qū)別。在各種標(biāo)準(zhǔn)FMO類型中，兩片組的類型2無疑是非 常適合區(qū)分運(yùn)動(前景)與非運(yùn)動區(qū)域(背景)的一種類型，特別適合于對圖像不同區(qū)域 的差別化傳輸保護(hù)。然而，類型2在一些情況下對運(yùn)動區(qū)域的保護(hù)并不足夠，因為它只采用 了一種平坦式的編碼方式，也就是單片組編碼運(yùn)動區(qū)域。但是該類型具有較好的壓縮效率； 相反，當(dāng)采用棋盤式的類型1時，容錯能力會顯著增強(qiáng)。但是因為相鄰宏塊之間的信息共享 性顯著降低，類型1的壓縮效率較差。因此，本發(fā)明采用了對背景全部使用單片組以提高壓 縮效率。這一方面是因為背景區(qū)域并不是關(guān)注的重點區(qū)域，另一方面是因為少動的背景相 對來說并不容易受到傳輸錯誤的影響。而為了能在壓縮效率和容錯能力之間取得平衡，依 據(jù)前景的錯誤敏感度，用一個或兩個片組對前景進(jìn)行編碼。本發(fā)明中FMO機(jī)制可以給解碼 器提供一個友好的宏塊分布結(jié)構(gòu)，因此能夠減輕錯誤蔓延。但是，F(xiàn)MO機(jī)制本身并不能完全 終止這種錯誤蔓延，因此，本發(fā)明進(jìn)一步利用幀內(nèi)宏塊刷新機(jī)制去增強(qiáng)其容錯性，合理計算 刷新的位置和數(shù)量。綜上所述，本發(fā)明的基于自適應(yīng)靈活宏塊次序(FMO)的視頻容錯編碼方法，既能 夠滿足差異化的網(wǎng)絡(luò)傳輸要求，又能夠充分發(fā)揮FMO本身的容錯功能，實現(xiàn)有效的視頻容 錯；同時，由于主要計算信息來自于編碼域，即編碼過程中產(chǎn)生的信息，因此計算效率較高。


圖1為本發(fā)明的流程圖；圖2為提取圖像的運(yùn)動區(qū)域的流程示意圖；圖3為自適應(yīng)FMO編碼模式?jīng)Q策示意圖；圖4為Salesman序列的PSNR結(jié)果；
圖5為Container序列的PSNR結(jié)果；圖6為Hal 1序列的PSNR結(jié)果。
具體實施例方式下面結(jié)合實施例和附圖來詳細(xì)說明本發(fā)明，但本發(fā)明并不僅限于此。 如圖1所示，一種基于自適應(yīng)靈活宏塊次序(FMO)的視頻容錯編碼方法，包括以下步驟:(1)輸入一幀圖像并編碼； 對于第一幀圖像不采用FMO進(jìn)行編碼，而是采用正常編碼方式。(2)提取所述的圖像的運(yùn)動區(qū)域，估計運(yùn)動區(qū)域的錯誤敏感度；并依據(jù)運(yùn)動區(qū)域 的錯誤敏感度，決策最優(yōu)的靈活宏塊次序編碼模式；
其中，所述的圖像的運(yùn)動區(qū)域的提取，包括(2. 1)利用運(yùn)動搜索產(chǎn)生的幀間差異信息對宏塊進(jìn)行初始運(yùn)動檢測，輸入幀和參 考幀之間的差異大于運(yùn)動檢測閾值的宏塊視為初始運(yùn)動宏塊；第η幀圖像中坐標(biāo)為(X，y) 的宏塊的初始運(yùn)動標(biāo)KMinitial如式(I)所示 式(I)中，Sadmvtltl為16 X 16運(yùn)動搜索時在零運(yùn)動矢量處的編碼信息，反映輸入幀 和參考幀之間的差異，可以直接從大多數(shù)搜索算法中獲得；Sadavg表示第η幀圖像所有宏塊 Sadfflv00的平均值；β (η)為運(yùn)動檢測閾值參數(shù)，[β (η) X sadavg (η)]為運(yùn)動檢測閾值。當(dāng)宏塊的Sadmvtltl大于運(yùn)動檢測閾值時，初始運(yùn)動標(biāo)識Minitial為1，宏塊視為初始運(yùn) 動宏塊；反之，初始運(yùn)動標(biāo)KMinitial為0，宏塊視為非初始運(yùn)動宏塊。進(jìn)一步，所述的運(yùn)動檢測閾值隨著不同序列的特征和同一序列不同幀的特征進(jìn)行 動態(tài)調(diào)整，其中，運(yùn)動檢測閾值參數(shù)β (η)如式(II)所示 式(II)中，σ frame表示第η幀圖像所有宏塊Sadfflv00的標(biāo)準(zhǔn)差；k、ο 0、β Η、β L、σ Η和σ ^均為固定值參數(shù)；(2. 2)在進(jìn)行了初步運(yùn)動檢測后，還要對殘余的噪聲進(jìn)行濾波，將一些初始運(yùn)動宏 塊剔除出去，因此，利用宏塊的編碼比特值，對初始運(yùn)動宏塊進(jìn)行濾波，確定運(yùn)動宏塊，并確 定涵蓋所有運(yùn)動宏塊的最小的矩形為運(yùn)動區(qū)域噪聲宏塊往往處于孤立位置，因此，先計算每個初始運(yùn)動宏塊周邊的四個宏塊中 初始運(yùn)動宏塊的數(shù)量Nneb，找到處于孤立位置的初始運(yùn)動宏塊為孤立宏塊，也即ΝηΛ值為0 或1的初始運(yùn)動宏塊；進(jìn)一步，如果孤立宏塊相對于主要運(yùn)動區(qū)域的編碼比特值不足夠大， 孤立宏塊就將被認(rèn)定為噪聲宏塊。即
對于Nmb值為0或1的初始運(yùn)動宏塊，最終運(yùn)動標(biāo)識Mfinal為 式(III)中，Bmb表示一個宏塊的編碼比特值，Bavg表示所有Nneb大于1的初始運(yùn)動 宏塊編碼比特值的平均值；Afilte為固定值參數(shù)，對于Nmb為0和1的初始運(yùn)動宏塊，Xfilte 分別設(shè)為1.4和0.7。當(dāng)宏塊的編碼比特值大于濾波閾值[λ filter X Bavg (η)]時，最終運(yùn)動標(biāo)識Mfinal為1， 為運(yùn)動宏塊；反之，最終運(yùn)動標(biāo)識Mfinal為0，為噪聲宏塊(非運(yùn)動宏塊)。對于非初始運(yùn)動宏塊和Nmb值大于1的其它初始運(yùn)動宏塊，Mfinal = Minitial由此，得到所有宏塊的Mfinal值，所有最終運(yùn)動標(biāo)識Mfinal值為1的宏塊為運(yùn)動宏塊， 涵蓋所有運(yùn)動宏塊的最小的矩形定義為運(yùn)動區(qū)域。上述步驟(2. 1)和(2. 2)為運(yùn)動區(qū)域提取的全部過程，如圖2所示。在本實施例 中，以視頻監(jiān)控場景為基礎(chǔ)，將其最核心的運(yùn)動區(qū)域(無論是人還是物體)作為優(yōu)先傳輸和 重點保護(hù)的對象，最終只有一個運(yùn)動區(qū)域被提取出來并作為前景，所有其它宏塊屬于背景， 即運(yùn)動區(qū)域與前景具有完全相同的含義。步驟(2)中，所述的運(yùn)動區(qū)域的錯誤敏感度，是指運(yùn)動區(qū)域在解碼器中進(jìn)行錯誤 恢復(fù)的難度，采用如下式(IV)所示的計算式估計Sma (η) = ρ (η) X T (η) X σ mb (η) X σ frame (η)(IV)式(IV)中，ρ為碼流的傳輸丟包率，較嚴(yán)重的傳輸丟包會導(dǎo)致較大的錯誤恢復(fù)難 度；T為運(yùn)動區(qū)域的紋理復(fù)雜度，復(fù)雜的紋理會加大錯誤恢復(fù)的難度；Qmb為運(yùn)動區(qū)域內(nèi)宏 塊運(yùn)動差異，宏塊間的運(yùn)動情況差異越大，錯誤恢復(fù)的難度也會越大；ο 為區(qū)域運(yùn)動強(qiáng) 度，運(yùn)動區(qū)域的總體運(yùn)動強(qiáng)度相對于背景越大，錯誤恢復(fù)的難度也會越大(區(qū)域運(yùn)動強(qiáng)度
與式(II)中相同，可以利用之前對第η幀圖像所有宏塊Sadmvtltl的標(biāo)準(zhǔn)差的計 算結(jié)果)。上述分析因素可以適應(yīng)大多數(shù)錯誤恢復(fù)方法的算法特征。式(IV)中結(jié)果越大， 說明運(yùn)動區(qū)域的錯誤敏感度越高，即錯誤恢復(fù)難度越大。所述的運(yùn)動區(qū)域的紋理復(fù)雜度T為運(yùn)動區(qū)域中所有宏塊的紋理復(fù)雜度tmb的平均 值，而一個宏塊的紋理復(fù)雜度tmb計算如下式(V)所示 式(V)中，Ω表示左邊和上邊像素都完備的4X4塊的集合，不考慮左邊或上邊 像素不可獲得的少數(shù)劃分塊，如處在圖像或片的邊界的塊；Νω表示這個集合中4X4塊的 數(shù)量，坐標(biāo)(i，j)表示一個4X4塊在其所在宏塊中的位置，sadD。44為模式?jīng)Q策時產(chǎn)生的幀 內(nèi)4X4直流模式的SAD信息，為一個4X4塊所有組成像素與周邊像素(左邊和上邊)均 值的差異之和，反映該4X4塊內(nèi)部各個像素之間的差異性，差異越大紋理越復(fù)雜。類似于 ο ，。mb是一個標(biāo)準(zhǔn)差，但是它的計算范圍限定在運(yùn)動區(qū)域而不是整個圖像。T和。mb 二者的計算都是限定在運(yùn)動區(qū)域中，以降低計算的復(fù)雜度。步驟(2)中，所述的依據(jù)運(yùn)動區(qū)域的錯誤敏感度，決策最優(yōu)的靈活宏塊次序編碼 模式的過程如下對非運(yùn)動區(qū)域(背景)全部使用單片組編碼以提高壓縮效率，因為背景區(qū)域并不 是關(guān)注的重點區(qū)域，而且少動的背景相對來說并不容易受到傳輸錯誤的影響；對于運(yùn)動區(qū)域，依據(jù)運(yùn)動區(qū)域(前景)的錯誤敏感度，用一個或兩個片組對前景進(jìn) 行編碼，以便在壓縮效率和容錯能力之間取得平衡。具體實現(xiàn)以FMO的類型6為基礎(chǔ)。當(dāng) 運(yùn)動區(qū)域(前景)的錯誤敏感度Sma大于設(shè)定的敏感度閾值Sth時，采用兩個片組的棋盤模 式編碼；當(dāng)運(yùn)動區(qū)域的錯誤敏感度Sma小于設(shè)定的敏感度閾值Sth時，采用一個片組的平坦 模式編碼，此時與兩片組的類型2的結(jié)構(gòu)完全相同。這兩種FMO編碼模式如圖3所示。圖 中的阿拉伯?dāng)?shù)字表示每個宏塊所屬的片組號，片組的邊界用粗線條表示，粗線條內(nèi)部為提 取出的運(yùn)動區(qū)域。(3)計算所有宏塊位置的累積幀間差異，當(dāng)運(yùn)動區(qū)域內(nèi)宏塊位置的累積幀間差異 大于指定的刷新閾值時，所述的宏塊位置在下一幀時被強(qiáng)制幀內(nèi)刷新，由此計算得到運(yùn)動 區(qū)域的幀內(nèi)刷新宏塊的數(shù)量與位置；為不顯著增加計算量，前述的Sadmvtltl信息在此將繼續(xù)被使用；同時，還需要考慮丟 包率的因素，因為嚴(yán)重的丟包會導(dǎo)致較嚴(yán)重的錯誤蔓延。所述的宏塊位置的累積幀間差異 由下式(VI)得到 式(VI)中，所述的指定的刷新閾值DTH(n)為變值，由下Iitl表示宏塊位置(x，y)前 次進(jìn)行幀內(nèi)預(yù)測編碼時的圖像序列號，n0小于或等于η ；ρ為碼流的傳輸丟包率；所述的刷新閾值由式(VII)計算； 式(VII)中，Cik為固定值參數(shù)，Qframe為區(qū)域運(yùn)動強(qiáng)度。對于運(yùn)動強(qiáng)度大的幀給 予更多的刷新數(shù)量，以取得更好的自適應(yīng)性。為了節(jié)省比特資源，幀內(nèi)刷新宏塊只從更為重要的運(yùn)動區(qū)域中選擇。幀內(nèi)宏塊刷 新機(jī)制可以終止錯誤蔓延，具有較強(qiáng)的容錯能力，可進(jìn)一步增強(qiáng)FMO機(jī)制的容錯效果。(4)根據(jù)步驟(2)得到的靈活宏塊次序編碼模式和步驟(3)得到的宏塊刷新的計 算結(jié)果，形成下一幀圖像的編碼方案；(5)重復(fù)步驟⑵ (4)，直至編碼全部結(jié)束。實驗效果采用本發(fā)明方法(AEFMO)對Salesman、Container和Hall三種標(biāo)準(zhǔn)視 頻序列進(jìn)行容錯編碼。與H. 264/AVC模型標(biāo)準(zhǔn)參考模型JM15. 1中的FMOl方法(H. 264/ AVC標(biāo)準(zhǔn)中規(guī)定的FMO類型1)和FM02方法(H. 264/AVC標(biāo)準(zhǔn)中規(guī)定的FMO類型2)進(jìn)行對 比。實驗丟包率為10%，固定值參數(shù)k、σ。、βΗ、β。Omaji, oMJ、Sth和Cik分別設(shè)為0. 1、 100、1.9、1.3、800、300、5X105*2X105。圖 4 為 Salesman 序列的峰值信噪比(PSNR)實驗 結(jié)果，曲線1、2和3分別表示FMOU FM02和AEFMO三種方法的結(jié)果。圖5為Container序 列的峰值信噪比(PSNR)實驗結(jié)果，曲線1、2和3分別表示FM01、FM02和AEFMO三種方法的結(jié)果。圖6為Hall序列的峰值信噪比(PSNR)實驗結(jié)果，曲線1、2和3分別表示FMOl、 FM02和AEFMO三種方法的結(jié)果。從圖4 6中可以看到，本發(fā)明相較于FMOl可以提高質(zhì)量 0. 03-3. 18分貝(dB)，相較于FM02可以提高質(zhì)量0. 23-5. 10分貝(dB)，取得了較好的容錯效果。
權(quán)利要求
一種基于自適應(yīng)靈活宏塊次序的視頻容錯編碼方法，其特征在于，包括以下步驟(1)輸入一幀圖像并編碼；(2)提取所述的圖像的運(yùn)動區(qū)域，估計運(yùn)動區(qū)域的錯誤敏感度；依據(jù)運(yùn)動區(qū)域的錯誤敏感度，決策最優(yōu)的靈活宏塊次序編碼模式；(3)計算所有宏塊位置的累積幀間差異，當(dāng)運(yùn)動區(qū)域內(nèi)宏塊位置的累積幀間差異大于指定的刷新閾值時，所述的宏塊位置在下一幀時被強(qiáng)制幀內(nèi)刷新，由此計算得到運(yùn)動區(qū)域的幀內(nèi)刷新宏塊的數(shù)量與位置；(4)根據(jù)步驟(2)得到的靈活宏塊次序編碼模式和步驟(3)得到的幀內(nèi)刷新宏塊的數(shù)量與位置，形成下一幀圖像的編碼方案；(5)重復(fù)步驟(2)～(4)，直至編碼全部結(jié)束。
2.根據(jù)權(quán)利要求1所述的視頻容錯編碼方法，其特征在于，所述的步驟(2)中，所述的 提取所述的圖像的運(yùn)動區(qū)域，包括(2. 1)利用運(yùn)動搜索產(chǎn)生的幀間差異信息對宏塊進(jìn)行初始運(yùn)動檢測，輸入幀和參考幀 之間差異大于運(yùn)動檢測閾值的宏塊視為初始運(yùn)動宏塊；(2. 2)分析宏塊的編碼比特值，對所述的初始運(yùn)動宏塊進(jìn)行濾波，確定運(yùn)動宏塊，并確 定涵蓋所有運(yùn)動宏塊的最小的矩形為運(yùn)動區(qū)域。
3.根據(jù)權(quán)利要求2所述的視頻容錯編碼方法，其特征在于，所述的步驟(2.1)中，所述 的運(yùn)動檢測閾值隨著不同序列的特征和同一序列不同幀的特征而進(jìn)行動態(tài)調(diào)整。
4.根據(jù)權(quán)利要求2所述的視頻容錯編碼方法，其特征在于，所述的步驟(2.2)中，對所 述的初始運(yùn)動宏塊進(jìn)行濾波的過程如下計算每個初始運(yùn)動宏塊周邊的四個宏塊中初始運(yùn)動宏塊的數(shù)量Nmb ；對于Nmb值為0或1的初始運(yùn)動宏塊，其最終的運(yùn)動標(biāo)識Mfinal定義為式(III)中，Bmb表示一個宏塊的編碼比特值，Bavg表示所有Nmb大于1的初始運(yùn)動宏塊 編碼比特值的平均值；λ filter為固定值參數(shù)，對于Nmb為0和1的初始運(yùn)動宏塊，λ filter分 別設(shè)為1. 4和0. 7 ；當(dāng)宏塊的編碼比特值大于濾波閾值[XfilteXBavg (η)]時，最終運(yùn)動標(biāo)識 Mfinal為1，為運(yùn)動宏塊；反之，最終運(yùn)動標(biāo)識Mfinal為0，為非運(yùn)動宏塊；對于非初始運(yùn)動宏塊和Nmb值大于1的其它初始運(yùn)動宏塊，Mfinal和Minitial的值相等； 由此，得到所有宏塊的Mfinal值，所有Mfinal值為1的宏塊為運(yùn)動宏塊，涵蓋所有運(yùn)動宏 塊的最小的矩形為運(yùn)動區(qū)域。
5.根據(jù)權(quán)利要求1所述的視頻容錯編碼方法，其特征在于，所述的步驟(2)中，所述的 運(yùn)動區(qū)域的錯誤敏感度，采用如下式(IV)所示的計算式估計Sma (η) = ρ (η) X T (η) X σ mb (η) X σ frame (η)(IV)式(IV)中，ρ為碼流的傳輸丟包率，T為運(yùn)動區(qū)域的紋理復(fù)雜度，Omb為運(yùn)動區(qū)域內(nèi)宏 塊運(yùn)動差異，Qfranre為區(qū)域運(yùn)動強(qiáng)度。
6.根據(jù)權(quán)利要求5所述的視頻容錯編碼方法，其特征在于，所述的運(yùn)動區(qū)域的紋理復(fù) 雜度T為運(yùn)動區(qū)域中所有宏塊的紋理復(fù)雜度tmb的平均值，而一個宏塊的紋理復(fù)雜度tmb計Xl/II IΓΧ2算如下式(V)所示 式(V)中，Ω表示左邊和上邊的周邊像素完備的4X4塊的集合，、表示這個集合中 4X4塊的數(shù)量，坐標(biāo)(i，j)表示一個4X4塊在其所在宏塊中的位置，Sadirc44為一個4X4土夬 所有組成像素與左邊和上邊的周邊像素均值的差異之和。
7.根據(jù)權(quán)利要求1所述的視頻容錯編碼方法，其特征在于，所述的步驟(2)中，所述的 依據(jù)運(yùn)動區(qū)域的錯誤敏感度，決策最優(yōu)的靈活宏塊次序編碼模式的過程如下對非運(yùn)動區(qū)域全部使用單片組編碼；對于運(yùn)動區(qū)域，當(dāng)運(yùn)動區(qū)域的錯誤敏感度3 4大于設(shè)定的敏感度閾值Sth時，采用兩個片 組的棋盤模式編碼；當(dāng)運(yùn)動區(qū)域的錯誤敏感度Sma小于設(shè)定的敏感度閾值Sth時，采用一個 片組的平坦模式編碼。
8.根據(jù)權(quán)利要求1所述的視頻容錯編碼方法，其特征在于，所述的步驟(3)中，所述的宏塊位置的累積幀間差異由下式(VI)得到 式(VI)中，nQ表示宏塊位置(x，y)前次進(jìn)行幀內(nèi)預(yù)測編碼時的圖像序列號， 小于或等于η ;p為 碼流的傳輸丟包率；所述的刷新閾值為 式(VII)中，Cik為固定值參數(shù)，為區(qū)域運(yùn)動強(qiáng)度。 權(quán)利要求書2/2頁V全文摘要
本發(fā)明公開了一種基于自適應(yīng)靈活宏塊次序的視頻容錯編碼方法，包括輸入一幀圖像并編碼；提取圖像的運(yùn)動區(qū)域，估計運(yùn)動區(qū)域的錯誤敏感度，決策最優(yōu)的靈活宏塊次序編碼模式；計算所有宏塊位置的累積幀間差異，當(dāng)運(yùn)動區(qū)域內(nèi)宏塊位置的累積幀間差異大于指定的刷新閾值時，所述的宏塊位置在下一幀時被強(qiáng)制幀內(nèi)刷新，由此計算得到運(yùn)動區(qū)域的幀內(nèi)刷新宏塊的數(shù)量與位置；根據(jù)得到的靈活宏塊次序編碼模式和宏塊刷新的計算結(jié)果，形成下一幀圖像的編碼方案；重復(fù)上述步驟，直至編碼全部結(jié)束。本發(fā)明的視頻容錯編碼方法既能夠滿足差異化的網(wǎng)絡(luò)傳輸要求，又能夠充分發(fā)揮FMO本身的容錯功能，實現(xiàn)較好的容錯效果，且計算資源消耗少。
文檔編號H04N7/26GK101917627SQ20101026208
公開日2010年12月15日 申請日期2010年8月20日 優(yōu)先權(quán)日2010年8月20日
發(fā)明者周怡然, 蔣煒, 陳耀武 申請人:浙江大學(xué)