專利名稱：一種自由視點(diǎn)視頻整幀丟失錯(cuò)誤隱藏方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻錯(cuò)誤隱藏方法，尤其是涉及一種自由視點(diǎn)視頻整幀丟失錯(cuò)誤隱藏方法。
背景技術(shù)：
進(jìn)入本世紀(jì)以來(lái)，隨著多媒體技術(shù)的不斷發(fā)展，傳統(tǒng)的二維視頻系統(tǒng)在表現(xiàn)自然場(chǎng)景時(shí)，難以滿足用戶的立體感和視點(diǎn)交互等的需求。自由視點(diǎn)視頻系統(tǒng)能夠使人們自由地選擇視點(diǎn)欣賞場(chǎng)景，給人們身臨其境的感覺(jué)，因此在影視娛樂(lè)、教育、產(chǎn)品展示、醫(yī)療和安全監(jiān)控等領(lǐng)域具有非常廣闊的應(yīng)用前景，是新一代多媒體視頻系統(tǒng)的發(fā)展方向。通常，自由視點(diǎn)視頻系統(tǒng)如

圖1所示，其主要包括視頻捕獲(視頻采集)、視頻編碼、視頻解碼和3D (三維)顯示等模塊。自由視點(diǎn)視頻系統(tǒng)的核心技術(shù)是多視點(diǎn)視頻信號(hào)編解碼和實(shí)時(shí)傳輸?shù)葐?wèn)題。多視點(diǎn)視頻信號(hào)是由多個(gè)相機(jī)對(duì)同一場(chǎng)景不同角度進(jìn)行拍攝得到的數(shù)據(jù)，在自由視點(diǎn)視頻系統(tǒng)中，多視點(diǎn)視頻傳輸數(shù)據(jù)量與視點(diǎn)數(shù)成正比，相對(duì)于單視點(diǎn)視頻，多視點(diǎn)視頻傳輸數(shù)據(jù)量極大，因此必須利用數(shù)據(jù)間的冗余信息來(lái)對(duì)其進(jìn)行高效的壓縮編碼，這使得編碼的多視點(diǎn)視頻流對(duì)信道差錯(cuò)非常敏感。然而，由于自由視點(diǎn)視頻數(shù)據(jù)通過(guò)無(wú)線信道、互聯(lián)網(wǎng)等不可靠信道時(shí)，可能會(huì)出現(xiàn)比特出錯(cuò)或數(shù)據(jù)丟包現(xiàn)象，這種錯(cuò)誤不僅會(huì)對(duì)出錯(cuò)幀的視頻質(zhì)量有影響，而且由于多視點(diǎn)視頻的預(yù)測(cè)結(jié)構(gòu)關(guān)系，這種錯(cuò)誤還將擴(kuò)散到以出錯(cuò)視點(diǎn)為參考的其它視點(diǎn)后續(xù)幀中，會(huì)嚴(yán)重影響視頻的解碼重建質(zhì)量，導(dǎo)致出現(xiàn)馬賽克、黑塊、停頓等情況。因此必須對(duì)自由視點(diǎn)視頻的傳輸進(jìn)行有效的差錯(cuò)控制，目前差錯(cuò)控制的技術(shù)主要分為三類基于編碼端的差錯(cuò)控制技術(shù)、解碼端錯(cuò)誤隱藏技術(shù)、編解碼器交互式差錯(cuò)控制技術(shù)。由于解碼端錯(cuò)誤隱藏技術(shù)不會(huì)增加傳輸帶寬，且時(shí)延低，因此其是提高多視點(diǎn)視頻傳輸魯棒性行之有效的辦法?，F(xiàn)有的整幀丟失錯(cuò)誤隱藏技術(shù)集中在單通道視頻和雙目立體視頻中，由于多視點(diǎn)視頻大多采用分層B幀(HBP)的預(yù)測(cè)結(jié)構(gòu)，其預(yù)測(cè)結(jié)構(gòu)決定了不能將應(yīng)用于單通道視頻或雙目立體視頻中的錯(cuò)誤隱藏技術(shù)直接應(yīng)用到自由視點(diǎn)視頻系統(tǒng)中。而現(xiàn)有的多視點(diǎn)視頻錯(cuò)誤隱藏方法主要集中在部分宏塊丟失的情況，恢復(fù)的主要過(guò)程為通過(guò)多個(gè)可能的運(yùn)動(dòng)矢量估計(jì)值到丟失幀的參考幀中恢復(fù)出受損宏塊的若干個(gè)可能的恢復(fù)塊，然后利用邊界匹配準(zhǔn)則從這若干個(gè)可能的恢復(fù)塊中找出受損宏塊的最佳匹配恢復(fù)塊作為最終的恢復(fù)宏塊；然而，對(duì)于整幀丟失的情況，沒(méi)有可用來(lái)進(jìn)行邊界匹配的相鄰正解解碼宏塊。對(duì)自由視點(diǎn)視頻系統(tǒng)中整幀丟失進(jìn)行錯(cuò)誤隱藏的技術(shù)應(yīng)當(dāng)有別于現(xiàn)有的單通道視頻或雙目立體視頻中的錯(cuò)誤隱藏方法，這是因?yàn)橐环矫妫捎趥鹘y(tǒng)的單通道視頻或雙目立體視頻中的錯(cuò)誤隱藏方法采用了順序預(yù)測(cè)結(jié)構(gòu)(IPPP)，因此其丟失幀與前面已解參考幀是緊鄰的，其前面正解碼幀的諸多信息如運(yùn)動(dòng)信息等可以輔助丟失幀的恢復(fù)；而如圖2所示的分層B幀預(yù)測(cè)結(jié)構(gòu)由于其高效的壓縮性能現(xiàn)已成為自由視點(diǎn)視頻系統(tǒng)的主流編碼結(jié)構(gòu)，但是分層B幀預(yù)測(cè)結(jié)構(gòu)中當(dāng)某些幀丟失時(shí)，其可參考的視頻幀在時(shí)間上離丟失幀相隔可能是好幾個(gè)時(shí)刻，如何對(duì)與參考幀長(zhǎng)時(shí)間隔的丟失幀進(jìn)行錯(cuò)誤隱藏是一個(gè)亟需解決的問(wèn)題；另一方面，與IPPP結(jié)構(gòu)不同的是，HBP結(jié)構(gòu)中丟失幀有時(shí)間上前向和后向的雙向參考幀，如果當(dāng)前丟失幀為中間視點(diǎn)，則還有來(lái)自左視點(diǎn)和右視點(diǎn)的參考信息。因此，如何充分利用來(lái)自時(shí)域和視點(diǎn)間的雙向冗余信息來(lái)提高錯(cuò)誤隱藏方法的重建恢復(fù)質(zhì)量，是自由視點(diǎn)視頻系統(tǒng)傳輸過(guò)程中需要研究解決的問(wèn)題。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題是提供 一種自由視點(diǎn)視頻整幀丟失錯(cuò)誤隱藏方法，其能夠有效地提高視頻傳輸?shù)聂敯粜?，并能夠有效地提高解碼端視頻數(shù)據(jù)的重建質(zhì)量。本發(fā)明解決上述技術(shù)問(wèn)題所采用的技術(shù)方案為一種自由視點(diǎn)視頻整幀丟失錯(cuò)誤隱藏方法，其特征在于包括以下步驟①獲取S個(gè)參考視點(diǎn)的N個(gè)時(shí)刻的NX S幅顏色空間為YUV的彩色圖像，然后在編碼端根據(jù)設(shè)定的編碼預(yù)測(cè)結(jié)構(gòu)分別對(duì)S個(gè)參考視點(diǎn)的N個(gè)時(shí)刻的NXS幅顏色空間為YUV的彩色圖像進(jìn)行編碼，再將編碼后的NXS幅顏色空間為YUV的彩色圖像經(jīng)網(wǎng)絡(luò)傳輸給解碼端；在解碼端對(duì)編碼后的NX S幅顏色空間為YUV的彩色圖像進(jìn)行解碼，獲得解碼后的S個(gè)參考視點(diǎn)的N個(gè)時(shí)刻的NXS幅顏色空間為YUV的彩色圖像；其中，YUV顏色空間的三個(gè)顏色分量的第I個(gè)顏色分量為亮度分量并記為Y、第2個(gè)顏色分量為第一色度分量并記為U及第3個(gè)顏色分量為第二色度分量并記為V ；②假設(shè)解碼后的第s個(gè)參考視點(diǎn)的第t時(shí)刻的彩色圖像為丟失幀，記為
，并假設(shè)丟失巾貞的所有參考彩色圖像已正確解碼，丟失巾貞的參考彩色圖像包括時(shí)域上的后向參考彩色圖像和前向參考彩色圖像
{仏+4 ,介，4及視點(diǎn)域上的左向參考彩色圖像{ο,4和右向參考彩色圖像Kow}，其中，2彡S彡S，S的初始值為2，2彡t彡N，t的初始值為2，i = 1，2，3分別表示YUV顏色空間的第I個(gè)顏色分量即亮度分量Y、第2個(gè)顏色分量即第一色度分量U及第3個(gè)顏色分量即第二色度分量V，(x, y)表示彩色圖像中的像素點(diǎn)的坐標(biāo)位置，Gd(U)表示丟失幀{^,,(U)}中坐標(biāo)位置為U，Y)的像素點(diǎn)的第i個(gè)顏色分量的值，/Ux，J)表示第s個(gè)參考視點(diǎn)的第t-k時(shí)刻的彩色圖像中坐標(biāo)位置為(X，y)的像素點(diǎn)的第i個(gè)顏色分量的值，/UU)表示第s個(gè)參考視點(diǎn)的第t+k時(shí)刻的彩色圖像{UU)丨中坐標(biāo)位置為(X，Y)的像素點(diǎn)的第i個(gè)顏色分量的值，表示第s-Ι個(gè)參考視點(diǎn)的第t時(shí)刻的彩色圖像中坐標(biāo)位置為(x，y)的像素點(diǎn)的第i個(gè)顏色分量的值，/=(X5X)表示第S+1個(gè)參考視點(diǎn)的第t時(shí)刻的彩色圖像中坐標(biāo)位置為(x，y)的像素點(diǎn)的第i個(gè)顏色分量的值，I ^ k ^ L, L表示設(shè)定的編碼預(yù)測(cè)結(jié)構(gòu)中一個(gè)圖像組的長(zhǎng)度；③將丟失幀(y v)j分割成個(gè)互不重疊的尺寸大小為mXm的圖像塊，將
丟失巾貞PL,(U)}中的第j個(gè)圖像塊記為B」，其中，W表示彩色圖像的寬度，H表示彩色圖像
的高度，m的取值由彩色圖像的尺寸大小決定，I </S:
m m④根據(jù)丟失巾貞的后向參考彩色圖像R1-U(U)I和前向參考彩色圖像>·)丨，獲取丟失巾貞中的每個(gè)圖像塊的運(yùn)動(dòng)矢量估計(jì)值，將丟失中貞 (U)I中的第·]·個(gè)圖像塊Bj的運(yùn)動(dòng)矢量估計(jì)值記為(n); ⑤根據(jù)丟失巾貞{Κυο}的左向參考彩色圖像丨/0，_>0丨和右向參考彩色圖像{04，獲取丟失巾貞{Ου }中的每個(gè)圖像塊的視差矢量估計(jì)值,將丟失巾貞{UuO}中的第j個(gè)圖像塊B」的視差矢量估計(jì)值記為;⑥利用丟失幀中的每個(gè)圖像塊的運(yùn)動(dòng)矢量估計(jì)值，在丟失巾貞
的后向參考彩色圖像和前向參考彩色圖像中進(jìn)行雙向運(yùn)動(dòng)補(bǔ)償?shù)?br> 至IJ丟失幀丨中的每個(gè)圖像塊的時(shí)域恢復(fù)塊，將丟失頓{Uu,)丨中的第j個(gè)圖像塊Bj的時(shí)域恢復(fù)塊記為B' TJ ；⑦利用丟失頓IKxjOj中的每個(gè)圖像塊的視差矢量估計(jì)值，在丟失巾貞 的左向參考彩色圖像和右向參考彩色圖像(Λ-,4中進(jìn)行歡向視差補(bǔ)償?shù)玫絹G失巾貞{4狀4中的每個(gè)圖像塊的視點(diǎn)域恢復(fù)塊，將丟失頓丨‘.私4中的第j個(gè)圖像塊Bj的視點(diǎn)域恢復(fù)塊記為式,；⑧根據(jù)丟失幀'(/Iu(U)I中的每個(gè)圖像塊的時(shí)域恢復(fù)塊中的每個(gè)像素點(diǎn)的像素值與對(duì)應(yīng)的視點(diǎn)域恢復(fù)塊中的每個(gè)像素點(diǎn)的像素值，計(jì)算丟失幀{ihA^y)}中的每個(gè)圖像塊中的每個(gè)像素點(diǎn)的像素值，將丟失巾貞{ik,A^y)]中的第j個(gè)圖像塊B」中的所有像素點(diǎn)的像素值的集合記為■{#, (w，v)|0，v)G5,j ，
{pje 5 j = 0.5x J/7^. (w,v) (w,v) e J+ 0.5x J/ ^ (h，v) (u,v)gB'Sj J，最后得到丟失
中貞{4,0,30丨的恢復(fù)巾貞，記為，其中, ，v)表示丟失巾貞{Ux，jO丨中的第j個(gè)圖像塊Bj中坐標(biāo)位置為(U，V)的像素點(diǎn)的像素值, ，ν)表示丟失頓{Κχ,.ν)}中的第j個(gè)圖像塊B」的時(shí)域恢復(fù)塊K TJ中坐標(biāo)位置為(U，V)的像素點(diǎn)的像素值(w，v)表示丟失中貞f4'u(.Y，.v)l中的第j個(gè)圖像塊Bj的視點(diǎn)域恢復(fù)塊式,中坐標(biāo)位置為(U，V)的像素點(diǎn)的像素值，I < u < m，I < V <表示丟失巾貞的恢復(fù)巾貞{4,.
(X，y)的像素點(diǎn)的第i個(gè)顏色分量的值。所述的步驟②中丟失巾貞丨/Hv)}的后向參考彩色圖像丨.V)}和前向參考彩色圖像Piw', (χ, )，) 的確定過(guò)程為②-1、根據(jù)設(shè)定的編碼預(yù)測(cè)結(jié)構(gòu)，將設(shè)定的編碼預(yù)測(cè)結(jié)構(gòu)中一個(gè)長(zhǎng)度為L(zhǎng)的圖像組分成具有M層的分層預(yù)測(cè)結(jié)構(gòu)，其中，L=Zm-1 ；②-2、根據(jù)丟失巾貞|/丨"0，301所在的時(shí)刻t，確定丟失幀所在的層次，假設(shè)丟失幀所在的層次為第g層，則有如果t%8為O，則認(rèn)為丟失巾貞所在的層次g = 1，如果t%4為O且t%8不為O，則認(rèn)為丟失巾貞PUuOj所在的層次g = 2，如果t%2為O且t%4和t%8均不為O，則認(rèn)為丟失巾貞jUx, 所在的層次g = 3，如果t%2不
為0，則認(rèn)為丟失巾貞|/^狀3，)1所在的層次g = 4，其中，I < g < M，在此“％”表示求余運(yùn)算符號(hào);②-3、當(dāng)g=2或g=3或g=4時(shí)，令k=2M_g，將第s個(gè)參考視點(diǎn)的第t_k時(shí)刻的彩色圖像(Uu)H乍為時(shí)域上丟失巾貞{屯>，4的后向參考彩色圖像，將第s個(gè)參考視點(diǎn)的第t+k時(shí)刻的彩色圖像作為時(shí)域上丟失巾貞丨圪辦·^的前向參考彩色圖像，其中，k的初始值為I。所述的步驟③中m的值為16或32或64。所述的步驟④中丟失巾貞中的第j個(gè)圖像塊Bj的運(yùn)動(dòng)矢量估計(jì)值(H)的獲取過(guò)程為④-1、將丟失巾貞的第j個(gè)圖像塊Bj的左上角像素點(diǎn)的坐標(biāo)位置記為
( )將丟失幀{0,4的后向參考彩色圖像故-*私洵中與丟失幀故私4中的
第j個(gè)圖像塊Bj的坐標(biāo)位置對(duì)應(yīng)的且尺寸大小為mXm的區(qū)域的左上角像素點(diǎn)的坐標(biāo)位置
記為將丟失幀的前向參考彩色圖像⑷+ 介，4中與丟失幀⑷私4中的第j個(gè)圖像塊h的坐標(biāo)位置對(duì)應(yīng)的且尺寸大小為mXm的區(qū)域的左上角像素點(diǎn)的坐標(biāo)位置記為;④_2、將丟失幀中的第j個(gè)圖像塊Bj從第t時(shí)刻到第t+k時(shí)刻的運(yùn)動(dòng)位移表示為(Vy, , V,,)，將丟失幀丨匕，辦，>，)丨中的第j個(gè)圖像塊Bj從第t時(shí)刻到第t-k時(shí)刻的運(yùn)動(dòng)位移表示為(-&，-%,)，其中，i丨表示在橫坐標(biāo)方向上的位移量，'^表示在縱坐標(biāo)方向上的位移量
權(quán)利要求
1.一種自由視點(diǎn)視頻整幀丟失錯(cuò)誤隱藏方法，其特征在于包括以下步驟 ①獲取S個(gè)參考視點(diǎn)的N個(gè)時(shí)刻的NXS幅顏色空間為YUV的彩色圖像，然后在編碼端根據(jù)設(shè)定的編碼預(yù)測(cè)結(jié)構(gòu)分別對(duì)S個(gè)參考視點(diǎn)的N個(gè)時(shí)刻的NXS幅顏色空間為YUV的彩色圖像進(jìn)行編碼，再將編碼后的NXS幅顏色空間為YUV的彩色圖像經(jīng)網(wǎng)絡(luò)傳輸給解碼端；在解碼端對(duì)編碼后的NXS幅顏色空間為YUV的彩色圖像進(jìn)行解碼，獲得解碼后的S個(gè)參考視點(diǎn)的N個(gè)時(shí)刻的NXS幅顏色空間為YUV的彩色圖像；其中，YUV顏色空間的三個(gè)顏色分量的第I個(gè)顏色分量為亮度分量并記為Y、第2個(gè)顏色分量為第一色度分量并記為U及第3個(gè)顏色分量為第二色度分量并記為V ； ②假設(shè)解碼后的第s個(gè)參考視點(diǎn)的第t時(shí)刻的彩色圖像為丟失巾貞，記為PUt,.v)j，并假設(shè)丟失幀的所有參考彩色圖像已正確解碼，丟失幀的參考彩色圖像包括時(shí)域上的后向參考彩色圖像和前向參考彩色圖像及視點(diǎn)域上的左向參考彩色圖像{/二從4和右向參考彩色圖像{0,4，其中，2 < s ^S, s的初始值為2，2 < t < N，t的初始值為2，i = 1，2，3分別表示YUV顏色空間的第I個(gè)顏色分量即亮度分量Y、第2個(gè)顏色分量即第一色度分量U及第3個(gè)顏色分量即第二色度分量V，(x, y)表示彩色圖像中的像素點(diǎn)的坐標(biāo)位置,/Uu)表示丟失巾貞H(U)I中坐標(biāo)位置為(x，y)的像素點(diǎn)的第i個(gè)顏色分量的值，Am(U)表示第s個(gè)參考視點(diǎn)的第t-k時(shí)刻的彩色圖像{4—t,(U)丨中坐標(biāo)位置為(x，y)的像素點(diǎn)的第i個(gè)顏色分量的值，表示第s個(gè)參考視點(diǎn)的第t+k時(shí)刻的彩色圖像中坐標(biāo)位置為(x，y)的像素點(diǎn)的第i個(gè)顏色分量的值，表示第s-1個(gè)參考視點(diǎn)的第t時(shí)刻的彩色圖像中坐標(biāo)位置為(x, y)的像素點(diǎn)的第i個(gè)顏色分量的值，/￡!,(U)表示第s+1個(gè)參考視點(diǎn)的第t時(shí)刻的彩色圖像{0，4中坐標(biāo)位置為(x，y)的像素點(diǎn)的第i個(gè)顏色分量的值，I彡k彡L，L表示設(shè)定的編碼預(yù)測(cè)結(jié)構(gòu)中一個(gè)圖像組的長(zhǎng)度； ③將丟失幀分割成個(gè)互不重疊的尺寸大小為mXm的圖像塊，將丟失中貞中的第j個(gè)圖像塊記為Bj,其中，W表示彩色圖像的寬度，H表示彩色圖像的高度，m的取值由彩色圖像的尺寸大小決定，IS./; ④根據(jù)丟失幀 [rXJJ (X, 的后向參考彩色圖像丨rRJ—kJ (X,和前向參考彩色圖像 私4，獲取丟失巾貞{/^(^,v)}中的每個(gè)圖像塊的運(yùn)動(dòng)矢量估計(jì)值，將丟失中貞 細(xì)}中的第j個(gè)圖像塊Bj的運(yùn)動(dòng)矢量估計(jì)值記為(兔.，i); ⑤根據(jù)丟失幀的左向參考彩色圖像和右向參考彩色圖像{iZA^y)}，獲取丟失頓{4,仏4中的每個(gè)圖像塊的視差矢量估計(jì)值，將丟失巾貞{Uuo}中的第j個(gè)圖像塊Bj的視差矢量估計(jì)值記為(K)； ⑥利用丟失巾貞{/L,,(>，>，)}中的每個(gè)圖像塊的運(yùn)動(dòng)矢量估計(jì)值，在丟失巾貞{化私4的后向參考彩色圖像丨丨和前向參考彩色圖像
2.根據(jù)權(quán)利要求1所述的一種自由視點(diǎn)視頻整幀丟失錯(cuò)誤隱藏方法，其特征在于所述的步驟②中丟失巾貞丨/Uu)丨的后向參考彩色圖像丨Uu)}和前向參考彩色圖像 的確定過(guò)程為 ②-1、根據(jù)設(shè)定的編碼預(yù)測(cè)結(jié)構(gòu)，將設(shè)定的編碼預(yù)測(cè)結(jié)構(gòu)中一個(gè)長(zhǎng)度為L(zhǎng)的圖像組分成具有M層的分層預(yù)測(cè)結(jié)構(gòu)，其 ②_2、根據(jù)丟失幀y}j所在的時(shí)刻t，確定丟失幀所在的層次，假設(shè)丟失中貞Pt',(AJOj所在的層次為第g層，則有如果t%8為0，則認(rèn)為丟失巾貞所在的層次
3.根據(jù)權(quán)利要求1或2所述的一種自由視點(diǎn)視頻整幀丟失錯(cuò)誤隱藏方法，其特征在于所述的步驟③中m的值為16或32或64。
4.根據(jù)權(quán)利要求3所述的一種自由視點(diǎn)視頻整幀丟失錯(cuò)誤隱藏方法，其特征在于所述的步驟④中丟失巾貞 中的第j個(gè)圖像塊Bj的運(yùn)動(dòng)矢量估計(jì)值 的獲取過(guò)程為 ④-1、將丟失幀 的第j個(gè)圖像塊Bj的左上角像素點(diǎn)的坐標(biāo)位置記為
5.根據(jù)權(quán)利要求4所述的一種自由視點(diǎn)視頻整幀丟失錯(cuò)誤隱藏方法，其特征在于所述的步驟⑤中丟失巾貞丨/U.W)丨中的第j個(gè)圖像塊Bj的視差矢量估計(jì)值的獲取過(guò)程為 ⑤-1、將丟失幀的第j個(gè)圖像塊Bj的左上角像素點(diǎn)的坐標(biāo)位置記為(公將丟失巾貞丨/心(_'-，30}的左向參考彩色圖像{/二仏洵中與丟失巾貞{仏丸j個(gè)圖像塊Bj的坐標(biāo)位置對(duì)應(yīng)的且尺寸大小為mXm的區(qū)域的左上角像素點(diǎn)的坐標(biāo)位置記為(>.'士將丟失巾貞隊(duì),機(jī)^的右向參考彩色圖像{/二卜，4中與丟失巾貞{/心“.,4中的第j個(gè)圖像塊Bj的坐標(biāo)位置對(duì)應(yīng)的且尺寸大小為mXm的區(qū)域的左上角像素點(diǎn)的坐標(biāo)位置記為(V、)； ⑤-2、將丟失幀|/lu(x，^中的第j個(gè)圖像塊Bj在第S個(gè)參考視點(diǎn)與第s+1個(gè)參考視點(diǎn)之間的視差表示為(<，夂)，將丟失巾貞中的第j個(gè)圖像塊士在第8個(gè)參考視點(diǎn)與第s-1個(gè)參考視點(diǎn)之間的視差表示為其中，<表示在橫坐標(biāo)方向上的位移量，I表不在縱坐標(biāo)方向上的位移量，-^max ^dx_ ^xmax3-Jmax <d^ < Vmax，Xmax表示在橫坐標(biāo)方向_t的最大位移量，ymax表示在縱坐標(biāo)方向的最大位移量；然后根據(jù)(Ii, dyj )獲取丟失巾貞丨/Uu)}的右向參考彩色圖像丨/匕(丨中的搜索范圍并記作 Qsl，同樣根據(jù)〔-1i, -1i)獲取丟失幀的左向參考彩色圖像plto，JOj中的搜索范圍|-'、r夂+w， ^廠夂+OT)|—x艦 <元盧x-*，—}瓶<4 9釀}，并記作qS2;再計(jì)算Qsi和Qs2內(nèi)的所有尺寸大小為mXm的兩個(gè)區(qū)域之間所有像素點(diǎn)的像素值的絕對(duì)誤差和值，以集合形式記為{&4￡>(K )|-xmax < dXj < Xmaxj-Jmax < dyj < .Vraax}，&4D( )= Z (^1,,(x-dXj,>'-dXj)-rR%(x + dXj,>> + dXj))，其中，x <X<T +m^ _ _ -1 Bj，yBj <y< yBj + m &4￡> .，0表示在Qsi內(nèi)由位移量 ，《)所指向的尺寸大小為mXm的區(qū)域中的所有像素點(diǎn)的像素值與在Qs2內(nèi)由位移量所指向的尺寸大小為mXm的區(qū)域中的所有像素點(diǎn)的像素值的絕對(duì)誤差和值，〕.，-<)表示中坐標(biāo)位置為(1-<，7-<)的像素點(diǎn)的第1個(gè)顏色分量的值,/=如+ <，〕'，+疋;)表示|/。(_^)1中坐標(biāo)位置為(x + i^v + //J的像素點(diǎn)的第i個(gè)顏色分量的值； ⑤_3、在Qmax「U夂中，將使絕對(duì)誤差和值MD(K)最小的(K」作為丟失巾貞丨/Ux,4中的第j個(gè)圖像塊Bj的視差矢量估計(jì)值,記為(K,)。
6.根據(jù)權(quán)利要求5所述的一種自由視點(diǎn)視頻整幀丟失錯(cuò)誤隱藏方法，其特征在于所述的步驟⑥中丟失巾貞中的第j個(gè)圖像塊B」的時(shí)域恢復(fù)塊B' TJ的獲取過(guò)程為 ⑥-1、根據(jù)丟失幀{KW)}中的第j個(gè)圖像塊Bj的運(yùn)動(dòng)矢量估計(jì)m(vx,%)，在丟失巾貞丨仏狀>，)丨的后向參考彩色圖像沁,—,'仏4中找出左上角像素點(diǎn)的坐標(biāo)位置為-火，yB, -1)且尺寸大小為mXm的區(qū)域，將該區(qū)域作為后向最佳匹配區(qū)域，并記為B將后向最佳匹配區(qū)域來(lái)中的所有像素點(diǎn)的像素值的集合記為丨/#^)|(^)￡劣}，其中，表示后向最佳匹配區(qū)域鏟中坐標(biāo)位置為(u，v)的像素點(diǎn)的像素值，⑥-2、根據(jù)丟失幀f/L,(U)I中的第j個(gè)圖像塊Bj的運(yùn)動(dòng)矢量估計(jì)值(H)，在丟失巾貞(A V)}的前向參考彩色圖像, u (X, V)}中找出左上角像素點(diǎn)的坐標(biāo)位置為IxBf+^ysf +^ )且尺寸大小為mXm的區(qū)域，將該區(qū)域作為前向最佳匹配區(qū)域，并記為B將前向最佳匹配區(qū)域貨中的所有像素點(diǎn)的像素值的集合記為(w,V) (u,V) eifj ,其中，片(w,v)表示前向最佳匹配區(qū)域_中坐標(biāo)位置為(u，v)的像素點(diǎn)的像素值， ⑥-3、根據(jù){i 5(w，v)|o,V) G 句 j和{/ f ( ,v) (UyV) e BJ| ’獲取丟失巾貞(Hv)}中的第 j個(gè)圖像塊h的時(shí)域恢復(fù)塊，記為B' ，將B' 中的所有像素點(diǎn)的像素值的集合，記為
7.根據(jù)權(quán)利要求6所述的一種自由視點(diǎn)視頻整幀丟失錯(cuò)誤隱藏方法，其特征在于所述的加權(quán)系數(shù)a取值為0. 5。
8.根據(jù)權(quán)利要求6所述的一種自由視點(diǎn)視頻整幀丟失錯(cuò)誤隱藏方法，其特征在于所述的步驟⑦中丟失巾貞中的第j個(gè)圖像塊h的視點(diǎn)域恢復(fù)塊^的獲取過(guò)程為 ⑦-1、根據(jù)丟失幀{rRJJ(X，V)}中的第j個(gè)圖像塊Bj的視差矢量估計(jì)值(K )，在丟失幀{!Lj(I，力j的左向參考彩色圖像(工，>，)1中找出左上角像素點(diǎn)的坐標(biāo)位置為元)且尺寸大小為mXm的區(qū)域，將該區(qū)域作為左向最佳匹配區(qū)域，并記為歡，將左向最佳匹配區(qū)域歡中的所有像素點(diǎn)的像素值的集合記為{P1; ("，V)|("，V:) G /)； j，其中，/,(w，v)表示左向最佳匹配區(qū)域歡中坐標(biāo)位置為(u，v)的像素點(diǎn)的像素值，⑦_(dá)2、根據(jù)丟失幀{/1,,辦，4中的第j個(gè)圖像塊Bj的視差矢量估計(jì)值(之為)，在丟失幀沾
9.根據(jù)權(quán)利要求8所述的一種自由視點(diǎn)視頻整幀丟失錯(cuò)誤隱藏方法，其特征在于所述的加權(quán)系數(shù)a ’取值為0. 5。
10.根據(jù)權(quán)利要求9所述的一種自由視點(diǎn)視頻整幀丟失錯(cuò)誤隱藏方法，其特征在于所述的設(shè)定的編碼預(yù)測(cè)結(jié)構(gòu)為HBP編碼預(yù)測(cè)結(jié)構(gòu)。
全文摘要
本發(fā)明公開(kāi)了一種自由視點(diǎn)視頻整幀丟失錯(cuò)誤隱藏方法，其根據(jù)編碼預(yù)測(cè)結(jié)構(gòu)的預(yù)測(cè)關(guān)系，充分利用丟失幀時(shí)間域上的前向參考彩色圖像和后向參考彩色圖像對(duì)丟失幀中的每個(gè)圖像塊進(jìn)行進(jìn)行雙向運(yùn)動(dòng)補(bǔ)償恢復(fù)，并針對(duì)自由視頻系統(tǒng)存在多個(gè)視點(diǎn)，充分利用丟失幀視點(diǎn)域上的左向參考彩色圖像和右向參考彩色圖像對(duì)丟失幀中的每個(gè)圖像塊的雙向視差補(bǔ)償恢復(fù)，再根據(jù)雙向運(yùn)動(dòng)補(bǔ)償恢復(fù)結(jié)果和雙向視差補(bǔ)償恢復(fù)結(jié)果得到最終的恢復(fù)幀，這種恢復(fù)方式大大提高了錯(cuò)誤隱藏后圖像視頻的重建質(zhì)量；另一方面，對(duì)丟失幀不僅進(jìn)行了時(shí)域的雙向恢復(fù)，而且還進(jìn)行了視點(diǎn)間的雙向恢復(fù)，雙向的視點(diǎn)間的參考信息增加了丟失幀恢復(fù)的冗余信息，對(duì)自由視點(diǎn)視頻重建質(zhì)量有很大的提高。
文檔編號(hào)H04N7/32GK103024402SQ20121050476
公開(kāi)日2013年4月3日 申請(qǐng)日期2012年11月29日 優(yōu)先權(quán)日2012年11月29日
發(fā)明者李福翠, 郁梅, 蔣剛毅, 邵楓, 彭宗舉 申請(qǐng)人:寧波大學(xué)