基于多視點(diǎn)視頻整幀丟失的自適應(yīng)錯誤掩蓋方法
【專利摘要】一種基于多視點(diǎn)視頻整幀丟失的自適應(yīng)錯誤掩蓋方法，首先將丟失幀分塊，然后利用前一視點(diǎn)和后一視點(diǎn)的對應(yīng)丟失塊搜索范圍內(nèi)的視差矢量均向丟失塊投影，取得相關(guān)視差集合以確定目標(biāo)塊的視差矢量估計，計算視點(diǎn)間絕對誤差和VSAD，獲得視點(diǎn)間整幀丟失的錯誤掩蓋恢復(fù)幀，在時域上將視差矢量改為運(yùn)動矢量，采用與視點(diǎn)間相同的方式進(jìn)行投影，估計得到目標(biāo)塊的最佳運(yùn)動矢量，計算時域前一幀和后一幀的絕對差值和ISAD，獲得時域內(nèi)整幀丟失的錯誤掩蓋恢復(fù)幀，最后將視點(diǎn)間和視點(diǎn)內(nèi)的恢復(fù)幀利用塊重組方式結(jié)合，獲得最終的錯誤掩蓋恢復(fù)幀。本發(fā)明自適應(yīng)的塊模式緩解了基于塊的錯誤掩蓋方法有明顯人工痕跡的通病，提高了視頻序列的主觀質(zhì)量，相較于傳統(tǒng)的時域掩蓋法獲得了明顯改善。
【專利說明】基于多視點(diǎn)視頻整幀丟失的自適應(yīng)錯誤掩蓋方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種立體視頻的錯誤掩蓋方法。特別是涉及一種基于多視點(diǎn)視頻整幀丟失的自適應(yīng)錯誤掩蓋方法。
【背景技術(shù)】
[0002]現(xiàn)今，多視點(diǎn)視頻能夠再現(xiàn)場景的立體信息，但是由于需要多個相機(jī)從不同的角度拍攝同一場景，其數(shù)據(jù)量將會遠(yuǎn)遠(yuǎn)大于單視點(diǎn)視頻，因此也會一定程度上增加傳輸過程中的差錯。采用H.264/AVC的傳輸則進(jìn)一步強(qiáng)調(diào)了視頻幀間相關(guān)性，某個關(guān)鍵信息的丟失就可能導(dǎo)致整幀視頻解碼失敗，造成視頻整幀丟失，并在該丟失幀的相鄰視點(diǎn)和后續(xù)解碼幀中引起大范圍的誤差傳播，從而降低整個視頻圖像組的質(zhì)量。多視點(diǎn)視頻的錯誤掩蓋目的，就是為了極大程度地恢復(fù)丟失的信息，提高視頻的主觀質(zhì)量。
[0003]目前，盡管已經(jīng)存在很多基于整幀丟失的錯誤掩蓋算法，但是大多數(shù)都是以單視點(diǎn)視頻為研究對象，只考慮到時域上的錯誤掩蓋，對于多視點(diǎn)視頻不具有普遍的適用性。例如Hsieh提出的基于灰度多項(xiàng)式插值的整幀恢復(fù)方法，Liu等提出的一種雙向的運(yùn)動矢量拷貝方法，Koloda提出的基于線性預(yù)測模型掩蓋丟失幀等。
[0004]雖然單視點(diǎn)視頻整幀丟失的錯誤掩蓋技術(shù)近年來得到了極大的發(fā)展，基于MVC的多視點(diǎn)視頻整幀丟失的錯誤掩蓋仍然是一個相對新的研究領(lǐng)域。因此，如何實(shí)現(xiàn)更好的主、客觀掩蓋質(zhì)量，有效地控制誤碼傳播，是分析多視點(diǎn)視頻的錯誤掩蓋的方法一個具有挑戰(zhàn)性的問題。

【發(fā)明內(nèi)容】

[0005]本發(fā)明所要解決的技術(shù)問題是，提供一種充分利用MVC的編碼結(jié)構(gòu)，引入MVC標(biāo)準(zhǔn)以外的塊模式，以實(shí)現(xiàn)良好的主、客觀掩蓋質(zhì)量的基于多視點(diǎn)視頻整幀丟失的自適應(yīng)錯誤掩蓋方法。
[0006]本發(fā)明所采用的技術(shù)方案是:一種基于多視點(diǎn)視頻整幀丟失的自適應(yīng)錯誤掩蓋方法，首先將丟失幀分塊，然后利用前一視點(diǎn)和后一視點(diǎn)的對應(yīng)丟失塊搜索范圍內(nèi)的視差矢量均向丟失塊投影，取得相關(guān)視差集合以確定目標(biāo)塊的視差矢量估計，計算視點(diǎn)間絕對誤差和VSAD，獲得視點(diǎn)間整幀丟失的錯誤掩蓋恢復(fù)幀，接著在時域上將視差矢量改為運(yùn)動矢量，采用與視點(diǎn)間相同的方式進(jìn)行投影，估計得到目標(biāo)塊的最佳運(yùn)動矢量，計算時域前一幀和后一幀的絕對差值和ISAD，獲得時域內(nèi)整幀丟失的錯誤掩蓋恢復(fù)幀，最后，將視點(diǎn)間和視點(diǎn)內(nèi)的恢復(fù)幀利用塊重組方式結(jié)合，獲得最終的錯誤掩蓋恢復(fù)幀。具體包括如下步驟:
[0007]I)首先進(jìn)行視點(diǎn)間錯誤掩蓋:
[0008](I)假設(shè)丟失巾貞位于視點(diǎn)V的t時刻,記做ft，v,對丟失巾貞的前一視點(diǎn)V-1和后一視點(diǎn)V+1的對應(yīng)幀進(jìn)行局部視差線性外推，使得在前一視點(diǎn)中丟失幀的相鄰幀fVn和后一視點(diǎn)中丟失幀的相鄰幀ft，v+1搜索范圍內(nèi)的每個局部視差I(lǐng)dv都向丟失幀ft，v投影；定義
DK':、U為內(nèi)左上角坐標(biāo)是i，j的塊的局部視差，為該左上角坐標(biāo)是i，j的塊在ft，v上投影后與當(dāng)前考察4X4塊重疊面積內(nèi)的像素數(shù)；
[0009](2)將所有重疊塊的局部視差按照Xi1排列，得到一個相關(guān)視差的集合:
【權(quán)利要求】
1.一種基于多視點(diǎn)視頻整幀丟失的自適應(yīng)錯誤掩蓋方法，其特征在于，首先將丟失幀分塊，然后利用前一視點(diǎn)和后一視點(diǎn)的對應(yīng)丟失塊搜索范圍內(nèi)的視差矢量均向丟失塊投影，取得相關(guān)視差集合以確定目標(biāo)塊的視差矢量估計，計算視點(diǎn)間絕對誤差和VSAD，獲得視點(diǎn)間整幀丟失的錯誤掩蓋恢復(fù)幀，接著在時域上將視差矢量改為運(yùn)動矢量，采用與視點(diǎn)間相同的方式進(jìn)行投影，估計得到目標(biāo)塊的最佳運(yùn)動矢量，計算時域前一幀和后一幀的絕對差值和ISAD,獲得時域內(nèi)整幀丟失的錯誤掩蓋恢復(fù)幀，最后，將視點(diǎn)間和視點(diǎn)內(nèi)的恢復(fù)幀利用塊重組方式結(jié)合，獲得最終的錯誤掩蓋恢復(fù)幀。
2.根據(jù)權(quán)利要求1所述的基于多視點(diǎn)視頻整幀丟失的自適應(yīng)錯誤掩蓋方法，其特征在于，具體包括如下步驟: O首先進(jìn)行視點(diǎn)間錯誤掩蓋: (O假設(shè)丟失幀位于視點(diǎn)V的t時刻,記做ft，v,對丟失幀的前一視點(diǎn)V-1和后一視點(diǎn)V+1的對應(yīng)幀進(jìn)行局部視差線性外推，使得在前一視點(diǎn)中丟失幀的相鄰幀Af1和后一視點(diǎn)中丟失幀的相鄰幀ft，v+1搜索范圍內(nèi)的每個局部視差I(lǐng)dV都向丟失幀ft，v投影?，定義DV!;U為ft，v-l內(nèi)左上角坐標(biāo)是i，j的塊的局部視差，S 1為該左上角坐標(biāo)是i，j的塊在ft，v上投影后與當(dāng)前考察4X4塊重疊面積內(nèi)的像素數(shù)； (2)將所有重疊塊的局部視差按照<’么排列，得到一個相關(guān)視差的集合:
3.根據(jù)權(quán)利要求2所述的基于多視點(diǎn)視頻整幀丟失的自適應(yīng)錯誤掩蓋方法，其特征在于，步驟I)中第(I)步中所述的向丟失幀ft，v投影是，丟失幀中的待補(bǔ)4X4塊的左上角坐標(biāo)為m, η,在前一視點(diǎn)V-1和后一視點(diǎn)V+1搜索范圍內(nèi)，所有4X4塊外推在所述待補(bǔ)4X4塊的投影面積分別為S和K以及。
4.根據(jù)權(quán)利要求2所述的基于多視點(diǎn)視頻整幀丟失的自適應(yīng)錯誤掩蓋方法，其特征在于，步驟I)中第(4)步中，當(dāng)某一塊找不到局部視差對時，在兩個相關(guān)視差集合中選擇重疊面積最大的塊所對應(yīng)的DV為當(dāng)前4X4塊的局部視差；若當(dāng)前4X4塊無對應(yīng)外推塊時，認(rèn)為該塊局部視差為O。
5.根據(jù)權(quán)利要求2所述的基于多視點(diǎn)視頻整幀丟失的自適應(yīng)錯誤掩蓋方法，其特征在于，步驟2)中第(4)步中，當(dāng)某一塊無法在外推運(yùn)動矢量集合中找到最佳運(yùn)動矢量對時，取重疊面積最大的塊對應(yīng)運(yùn)動矢量為當(dāng)前塊的運(yùn)動矢量；若無外推塊與當(dāng)前4X4塊重疊，認(rèn)為該當(dāng)前4X4塊的MV為O?！?br> 【文檔編號】H04N19/895GK103856782SQ201410098309
【公開日】2014年6月11日 申請日期:2014年3月18日 優(yōu)先權(quán)日:2014年3月18日
【發(fā)明者】周圓, 龐勃, 陳瑩, 崔波, 侯春萍 申請人:天津大學(xué)