專利名稱：一種基于視頻序列背景建模的虛擬視點(diǎn)繪制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及立體顯示所需的虛擬視點(diǎn)繪制方法，尤其涉及一種基于視頻序列背景建模的虛擬視點(diǎn)繪制方法。
背景技術(shù)：
從20世紀(jì)40年代電視發(fā)明以來，經(jīng)歷了從黑白電視到彩色電視的第一次革命和從模擬電視到數(shù)字電視的第二次革命，3DTV將是繼數(shù)字電視后電視技術(shù)的第三次革命。3DTV主要特點(diǎn)是立體感，即給用戶以3維畫面的視覺感受，另一個(gè)特點(diǎn)就是交互性，用戶可以選擇視點(diǎn)。
3D顯示意味著需要有兩路(stereoscopic)甚至多路視頻(multi-view)信息，這對于帶寬提出的要求是不可能滿足的。荷蘭飛利浦開發(fā)了二維+深度信息格式，在顯示端通過算法重構(gòu)出其他視點(diǎn)的信息。采用“二維+深度”方式，所需帶寬小(只比普通二維節(jié)目增加5～10％的帶寬)，適應(yīng)于廣電系統(tǒng)和網(wǎng)絡(luò)領(lǐng)域。如何有效地利用深度圖產(chǎn)生用于立體顯示的虛擬視點(diǎn)圖像是當(dāng)前3DTV的關(guān)鍵一步。
目前的虛擬視點(diǎn)生成方法多基于傳統(tǒng)的DIBR(depth-image based rendering)算法，利用相機(jī)參數(shù)通過反投影和投影完成繪制過程，算法耗時(shí)，而且當(dāng)相機(jī)排列呈會(huì)聚模型且目標(biāo)視點(diǎn)離虛擬視點(diǎn)距離加大時(shí)，產(chǎn)生的虛擬視點(diǎn)圖像存在形變問題。另外，由于DIBR算法從采集端建模，需要準(zhǔn)確知道采集時(shí)的相機(jī)模型參數(shù)，對于一般的顯示端不通用。
由于前景物體和背景物體之間存在遮擋關(guān)系，單純地將參考視圖繪制至虛擬視點(diǎn)會(huì)產(chǎn)生空洞，傳統(tǒng)方法或利用平滑深度圖，或需要有復(fù)雜的空洞填補(bǔ)算法來得到可接受的圖像質(zhì)量。深度圖平滑會(huì)導(dǎo)致圖像扭曲，復(fù)雜的空洞填補(bǔ)算法又相當(dāng)耗時(shí)。傳統(tǒng)的視頻壓縮方法表明，視頻序列在時(shí)間方向上有著非常大的相關(guān)性，序列的某些幀中被遮擋的背景一般會(huì)在其他幀中出現(xiàn)，利用算法把序列背景提取出來，是一種空洞填補(bǔ)的有效方法。利用視頻序列時(shí)間上的相關(guān)性產(chǎn)生虛擬視點(diǎn)圖像將有效提高繪制速度和質(zhì)量。
發(fā)明內(nèi)容
本發(fā)明目的是克服現(xiàn)有技術(shù)的不足，結(jié)合視頻序列時(shí)間上的相關(guān)性，提供一種基于視頻序列背景建模的虛擬視點(diǎn)繪制方法。
基于視頻序列背景建模的虛擬視點(diǎn)繪制方法包括如下步驟 (1)對參考視點(diǎn)二維視頻建立統(tǒng)計(jì)背景模型，得到背景二維圖像，對參考視點(diǎn)深度視頻建立統(tǒng)計(jì)背景模型，得到背景深度圖像； (2)對參考視點(diǎn)每一幀深度圖像做中值濾波處理； (3)將統(tǒng)計(jì)建模得到的背景深度圖像投射至視差空間，得到背景圖像各像素點(diǎn)的視差值，將每一幀中值濾波之后的深度圖投射至視差空間，得到參考圖像各像素點(diǎn)的視差值； (4)根據(jù)背景圖像各像素點(diǎn)的視差值，平移統(tǒng)計(jì)建模得到的背景二維圖像的各個(gè)通道的像素，得到目標(biāo)視點(diǎn)背景圖像； (5)根據(jù)參考圖像各像素點(diǎn)的視差值，平移參考視點(diǎn)二維圖像的各個(gè)通道的像素，得到目標(biāo)視點(diǎn)初始圖像； (6)融合目標(biāo)視點(diǎn)初始圖像和目標(biāo)視點(diǎn)背景圖像，并用均值濾波器插值填補(bǔ)空洞，得到最終目標(biāo)視點(diǎn)圖像。
所述的對參考視點(diǎn)二維視頻建立統(tǒng)計(jì)背景模型，得到背景二維圖像，對參考視點(diǎn)深度視頻建立統(tǒng)計(jì)背景模型，得到背景深度圖像步驟為 (a)對參考視點(diǎn)的二維視頻截取連續(xù)N幀圖像If，f為幀號，取值為1，2，…，N，對這N幀二維圖像中對應(yīng)每個(gè)像素坐標(biāo)位置(x，y)的N個(gè)像素值進(jìn)行升序排序，取中間位置的值即這N個(gè)像素值的中值作為背景二維圖像B(x，y)在對應(yīng)位置(x，y)的像素值； (b)對參考視點(diǎn)的深度視頻截取與步驟(a)截取二維視頻時(shí)時(shí)間維度上相同位置的連續(xù)N幀深度圖像Df，f為幀號，取值為1，2，…，N，對這N幀深度圖像中對應(yīng)每個(gè)像素坐標(biāo)位置(x，y)的N個(gè)像素值進(jìn)行升序排序，取中間位置的值即這N個(gè)像素值的中值作為背景深度圖像BD(x，y)在對應(yīng)位置(x，y)的像素值。
所述的對參考視點(diǎn)每一幀深度圖像做中值濾波處理步驟為 (c)對參考視點(diǎn)深度視頻序列的每一幀Df做7×7的中值濾波，得到濾波之后的深度圖像Df′(x，y)。
所述的將統(tǒng)計(jì)建模得到的背景深度圖像投射至視差空間，得到背景圖像各像素點(diǎn)的視差值，將每一幀中值濾波之后的深度圖投射至視差空間，得到參考圖像各像素點(diǎn)的視差值步驟為 (d)根據(jù)設(shè)定的聚焦層灰度級dF，相鄰視點(diǎn)間最大視差值maxD，以及目標(biāo)視點(diǎn)離參考視點(diǎn)的相對距離， ，計(jì)算所有的灰度級所對應(yīng)的視差值Disparity(d)，其中計(jì)算公式如下 d是深度圖中表征深度的灰度級，d＝0，1，…，255，d越大，表示深度越大，即物體離觀察者越遠(yuǎn)，d越小，深度越小，物體離觀察者越近； (e)根據(jù)步驟(d)計(jì)算得到的各灰度級所對應(yīng)的視差值Disparity(d)，將統(tǒng)計(jì)建模得到的背景深度圖像BD(x，y)映射至視差空間，得到背景圖像各像素點(diǎn)的視差值dispB(x，y)，表示如下 dispB(x，y)＝Disparity(BD(x，y))； (f)根據(jù)步驟(d)計(jì)算得到的各灰度級所對應(yīng)的視差值Disparity(d)，將每一幀中值濾波后的深度圖Df′(x，y)投射至視差空間，得到參考圖像各像素點(diǎn)的視差值dispf(x，y)，表示如下 dispf(x，y)＝Disparity(Df′(x，y))。
所述的根據(jù)背景圖像各像素點(diǎn)的視差值，平移統(tǒng)計(jì)建模得到的背景二維圖像的各個(gè)通道的像素，得到目標(biāo)視點(diǎn)背景圖像步驟為 (g)將目標(biāo)視點(diǎn)背景圖像每個(gè)像素點(diǎn)的參考像素點(diǎn)個(gè)數(shù)refNumB(x，y)初始化為0，掃描背景二維圖像B(x，y)和背景深度圖像BD(x，y)，將每個(gè)像素坐標(biāo)(x，y)根據(jù)步驟(e)得到的背景圖像視差dispB(x，y)繪制至目標(biāo)視點(diǎn)背景圖像上的非整數(shù)像素點(diǎn)(x+dispB(x，y)，y)，并求得水平方向上距離該非整數(shù)像素點(diǎn)最近的左右參考像素點(diǎn)坐標(biāo)(xBleft，y)、(xBright，y)，把(xBleft，y)的參考像素點(diǎn)個(gè)數(shù)refNumB(xBleft，y)和(xBright，y)的參考像素點(diǎn)個(gè)數(shù)refNumB(xBright，y)分別加1，并將這兩個(gè)參考像素點(diǎn)(xBleft，y)、(xBright，y)的像素值
都賦為背景二維圖像上源像素坐標(biāo)位置(x，y)的像素值B(x，y)，將這兩個(gè)參考像素點(diǎn)(xBleft，y)、(xBright，y)的深度值
都賦為背景深度圖像上源像素坐標(biāo)位置(x，y)的灰度值BD(x，y)，計(jì)算該非整像素點(diǎn)(x+dispB(x，y)，y)對(xBleft，y)的權(quán)重
對(xBright，y)的權(quán)重
計(jì)算公式表示如下
表示取小于等于·的最大整數(shù)； (h)由步驟(g)得到目標(biāo)視點(diǎn)背景圖像每個(gè)整像素坐標(biāo)(x，y)的參考像素點(diǎn)個(gè)數(shù)refNumB(x，y)，這些參考像素點(diǎn)各自的像素值Bi(x，y)，i≤refNumB(x，y)i∈Z+，深度BDi(x，y)，i≤refNumB(x，y)i∈Z+，以及權(quán)重
i≤refNumB(x，y)i∈Z+，把深度值最小像素的像素值的反距離權(quán)重加權(quán)平均值作為目標(biāo)視點(diǎn)背景圖像Bvir(x，y)在坐標(biāo)(x，y)的像素值，計(jì)算公式如下
其中HOLE表示空洞，λBi表示第i個(gè)參考點(diǎn)是否屬于深度最小的像素點(diǎn)，若是，
否則，
定義如下 (i)根據(jù)步驟(h)得到的目標(biāo)視點(diǎn)背景圖像Bvir(x，y)，對目標(biāo)視點(diǎn)背景圖像每個(gè)像素建立一個(gè)標(biāo)志位FlagB(x，y)，表示如下 所述的根據(jù)參考圖像各像素點(diǎn)的視差值，平移參考視點(diǎn)二維圖像的各個(gè)通道的像素，得到目標(biāo)視點(diǎn)初始圖像步驟為 (j)將目標(biāo)視點(diǎn)初始圖像每個(gè)像素點(diǎn)的參考像素點(diǎn)個(gè)數(shù)refNum(x，y)初始化為0，掃描參考二維圖像If(x，y)和中值濾波之后的參考深度圖像Df′(x，y)，將每個(gè)像素坐標(biāo)(x，y)通過步驟(f)得到的參考圖像的視差值dispf(x，y)繪制至目標(biāo)視點(diǎn)初始圖像上的非整數(shù)像素點(diǎn)(x+dispf(x，y)，y)，并求得水平方向上距離該非整數(shù)像素點(diǎn)最近的左右參考像素點(diǎn)(xleft，y)、(xright，y)，把(xleft，y)的參考像素點(diǎn)個(gè)數(shù)refNum(xleft，y)和(xright，y)的參考像素點(diǎn)個(gè)數(shù)refNum(xright，y)分別加1，并將這兩個(gè)參考像素點(diǎn)(xleft，y)、(xright，y)的像素值
都賦為參考二維圖像上源像素坐標(biāo)(x，y)位置的像素值If(x，y)，將這兩個(gè)像素點(diǎn)的深度值
都賦為參考深度圖像上源像素坐標(biāo)位置(x，y)的深度值Df′(x，y)，計(jì)算該非整像素點(diǎn)(x+dispf(x，y)，y)對(xleft，y)的權(quán)重
對(xright，y)的權(quán)重
表示如下
表示取小于等于·的最大整數(shù)； (k)由步驟(j)得到目標(biāo)視點(diǎn)初始圖像每個(gè)整像素點(diǎn)(x，y)的參考像素點(diǎn)個(gè)數(shù)refNum(x，y)，這些參考像素點(diǎn)各自的像素值Ifi(x，y)，i ≤ refNum(x，y)i∈Z+，深度Dfi(x，y)，i≤refNum(x，y)i∈Z+，以及權(quán)重
i≤refNum(x，y)i∈Z+，把深度值最小的像素點(diǎn)的反距離權(quán)重加權(quán)平均值作為目標(biāo)視點(diǎn)初始圖像Hvir(x，y)在坐標(biāo)(x，y)的像素值，計(jì)算公式如下
其中HOLE表示空洞，λi表示第i個(gè)參考點(diǎn)是否屬于深度最小的像素點(diǎn)，若是，λi＝1，否則，λi＝0，定義如下 (l)根據(jù)步驟(k)得到的目標(biāo)視點(diǎn)圖像Hvir(x，y)，對目標(biāo)視點(diǎn)初始圖像每個(gè)像素建立一個(gè)標(biāo)志位FlagH(x，y)，表示如下 所述的融合目標(biāo)視點(diǎn)初始圖像和目標(biāo)視點(diǎn)背景圖像，用均值濾波器插值填補(bǔ)小空洞，得到最終目標(biāo)視點(diǎn)圖像步驟為 (m)根據(jù)步驟(i)得到的目標(biāo)視點(diǎn)背景圖像每個(gè)像素的標(biāo)志位FlagB(x，y)和步驟(l)得到的目標(biāo)視點(diǎn)初始圖像每個(gè)像素的標(biāo)志位FlagH(x，y)，將步驟(h)得到的目標(biāo)視點(diǎn)背景圖像Bvir(x，y)和步驟(k)得到的目標(biāo)視點(diǎn)初始圖像Hvir(x，y)進(jìn)行融合，得到有小空洞的目標(biāo)視點(diǎn)圖像I′vir(x，y)，并對I′vir(x，y)的每個(gè)像素建立一個(gè)標(biāo)志位Flag(x，y)，融合公式定義如下 其中HOLE表示空洞； (n)根據(jù)步驟(m)得到的帶有小空洞的目標(biāo)視點(diǎn)圖像每個(gè)像素的標(biāo)志位Flag(x，y)，用均值濾波器插值填補(bǔ)步驟(m)得到的帶有小空洞的目標(biāo)視點(diǎn)圖像I′vir(x，y)，得到最終目標(biāo)視點(diǎn)圖像Ivir(x，y)，填補(bǔ)空洞公式定義如下 其中w為水平窗的窗口大小，取空洞水平方向上的最大寬度。
本發(fā)明適用于對已有一路二維視頻序列加一路深度序列的數(shù)據(jù)產(chǎn)生虛擬視點(diǎn)。以往利用深度圖生成虛擬視點(diǎn)的方法都是只考慮視點(diǎn)間相關(guān)性，基于深度圖將參考視點(diǎn)的圖像繪制至目標(biāo)視點(diǎn)，或利用平滑深度圖，或需要有復(fù)雜的空洞填補(bǔ)算法來得到可接受的圖像質(zhì)量。深度圖平滑會(huì)導(dǎo)致圖像扭曲，復(fù)雜的空洞填補(bǔ)算法又相當(dāng)耗時(shí)。本發(fā)明結(jié)合了視頻序列時(shí)間上的相關(guān)性，提取出視頻的背景信息，將背景圖像和當(dāng)前幀參考圖像同時(shí)繪制至虛擬視點(diǎn)，利用背景圖像來填補(bǔ)空洞。另外，在視點(diǎn)繪制過程中，以往方法都利用相機(jī)參數(shù)通過反投影和投影完成繪制過程，產(chǎn)生的虛擬視點(diǎn)圖像存在形變問題，而且算法耗時(shí)。本發(fā)明在深度圖基礎(chǔ)上通過平移參考視點(diǎn)像素來得到虛擬視點(diǎn)圖像，克服了這些不足。本發(fā)明算法耗時(shí)不多，且不需要相機(jī)模型參數(shù)，并且由于利用了視頻序列時(shí)間上的相關(guān)性，大大提高了繪制出來的虛擬視點(diǎn)的圖像質(zhì)量。
圖1是基于視頻序列背景建模的虛擬視點(diǎn)繪制方法的流程框圖； 圖2是參考視點(diǎn)二維圖像像素根據(jù)視差值平移得到目標(biāo)視點(diǎn)初始圖像的示意圖； 圖3(a)是Dice二維視頻的截圖； 圖3(b)是Dice深度視頻的截圖； 圖4(a)是Dice二維視頻建模得到的背景二維圖像； 圖4(b)是Dice深度視頻建模得到的背景深度圖像； 圖5是通過平移背景二維圖像的各個(gè)通道的像素得到的目標(biāo)視點(diǎn)背景圖像； 圖6是圖3截圖對應(yīng)的目標(biāo)視點(diǎn)初始圖像； 圖7是圖5目標(biāo)視點(diǎn)背景圖像和圖6目標(biāo)視點(diǎn)初始圖像融合之后的圖像。
圖8是圖7融合之后的圖像用均值濾波器插值填補(bǔ)空洞之后的目標(biāo)視點(diǎn)最終圖像。
具體實(shí)施例方式 基于視頻序列背景建模的虛擬視點(diǎn)繪制方法包括如下步驟(整體流程圖如圖1所示) (1)對參考視點(diǎn)二維視頻建立統(tǒng)計(jì)背景模型，得到背景二維圖像，對參考視點(diǎn)深度視頻建立統(tǒng)計(jì)背景模型，得到背景深度圖像； (2)對參考視點(diǎn)每一幀深度圖像做中值濾波處理； (3)將統(tǒng)計(jì)建模得到的背景深度圖像投射至視差空間，得到背景圖像各像素點(diǎn)的視差值，將每一幀中值濾波之后的深度圖投射至視差空間，得到參考圖像各像素點(diǎn)的視差值； (4)根據(jù)背景圖像各像素點(diǎn)的視差值，平移統(tǒng)計(jì)建模得到的背景二維圖像的各個(gè)通道的像素，得到目標(biāo)視點(diǎn)背景圖像； (5)根據(jù)參考圖像各像素點(diǎn)的視差值，平移參考視點(diǎn)二維圖像的各個(gè)通道的像素，得到目標(biāo)視點(diǎn)初始圖像； (6)融合目標(biāo)視點(diǎn)初始圖像和目標(biāo)視點(diǎn)背景圖像，并用均值濾波器插值填補(bǔ)空洞，得到最終目標(biāo)視點(diǎn)圖像。
所述的對參考視點(diǎn)二維視頻建立統(tǒng)計(jì)背景模型，得到背景二維圖像，對參考視點(diǎn)深度視頻建立統(tǒng)計(jì)背景模型，得到背景深度圖像步驟 (a)對參考視點(diǎn)的二維視頻截取連續(xù)N幀圖像If，f為幀號，取值為1，2，…，N，對這N幀二維圖像中對應(yīng)每個(gè)像素坐標(biāo)位置(x，y)的N個(gè)像素值進(jìn)行升序排序，取中間位置的值即這N個(gè)像素值的中值作為背景二維圖像B(x，y)在對應(yīng)位置(x，y)的像素值； (b)對參考視點(diǎn)的深度視頻截取與步驟(a)截取二維視頻時(shí)時(shí)間維度上相同位置的連續(xù)N幀深度圖像Df，f為幀號，取值為1，2，…，N，對這N幀深度圖像中對應(yīng)每個(gè)像素坐標(biāo)位置(x，y)的N個(gè)像素值進(jìn)行升序排序，取中間位置的值即這N個(gè)像素值的中值作為背景深度圖像BD(x，y)在對應(yīng)位置(x，y)的像素值。
所述的對參考視點(diǎn)每一幀深度圖像做中值濾波處理步驟為 (c)對參考視點(diǎn)深度視頻序列的每一幀Df做7×7的中值濾波，得到濾波之后的深度圖像Df′(x，y)。
深度圖中的噪聲會(huì)嚴(yán)重降低生成的虛擬視點(diǎn)圖像的質(zhì)量，中值濾波是用窗口中各點(diǎn)灰度值的中值來代替窗口中各點(diǎn)的值，能有效的濾除噪聲，窗口越大，對灰度圖的平滑效果越好，但丟失的細(xì)節(jié)也越多。
所述的將統(tǒng)計(jì)建模得到的背景深度圖像投射至視差空間，得到背景圖像各像素點(diǎn)的視差值，將每一幀中值濾波之后的深度圖投射至視差空間，得到參考圖像各像素點(diǎn)的視差值步驟為 (d)根據(jù)設(shè)定的聚焦層灰度級dF，相鄰視點(diǎn)間最大視差值maxD，以及目標(biāo)視點(diǎn)離參考視點(diǎn)的相對距離n，n＝…，-1，0，1，…，計(jì)算所有的灰度級d所對應(yīng)的視差值Disparity(d)，其中計(jì)算公式如下 d是深度圖中表征深度的灰度級，d＝0，1，…，255，d越大，表示深度越大，即物體離觀察者越遠(yuǎn)，d越小，深度越小，物體離觀察者越近； 設(shè)定的聚焦層灰度值dF為0～255的值，指恰好成像在屏幕上的灰度級，dF越小，聚焦層越靠近觀察者，相鄰視點(diǎn)間最大視差值maxD為正整數(shù)，maxD越大，相鄰視點(diǎn)間視差值越大，立體效果越明顯，但當(dāng)視差值大到超過人眼能融合的范圍時(shí)，人的雙眼會(huì)看到兩個(gè)分開的二維圖像，而不是一個(gè)融合的立體圖像。
(e)根據(jù)步驟(d)計(jì)算得到的各灰度級所對應(yīng)的視差值Disparity(d)，將統(tǒng)計(jì)建模得到的背景深度圖像BD(x，y)映射至視差空間，得到背景圖像各像素點(diǎn)的視差值dispB(x，y)，表示如下 dispB(x，y)＝Disparity(BD(x，y))； (f)根據(jù)步驟(d)計(jì)算得到的各灰度級所對應(yīng)的視差值Disparity(d)，將每一幀中值濾波后的深度圖Df′(x，y)投射至視差空間，得到參考圖像各像素點(diǎn)的視差值dispf(x，y)，表示如下 dispf(x，y)＝Disparity(Df′(x，y))。
所述的根據(jù)背景圖像各像素點(diǎn)的視差值，平移統(tǒng)計(jì)建模得到的背景二維圖像的各個(gè)通道的像素，得到目標(biāo)視點(diǎn)背景圖像步驟為 (g)將目標(biāo)視點(diǎn)背景圖像每個(gè)像素點(diǎn)的參考像素點(diǎn)個(gè)數(shù)refNumB(x，y)初始化為0，掃描背景二維圖像B(x，y)和背景深度圖像BD(x，y)，將每個(gè)像素坐標(biāo)(x，y)根據(jù)步驟(e)得到的背景圖像視差dispB(x，y)繪制至目標(biāo)視點(diǎn)背景圖像上的非整數(shù)像素點(diǎn)(x+dispB(x，y)，y)，并求得水平方向上距離該非整數(shù)像素點(diǎn)最近的左右參考像素點(diǎn)坐標(biāo)(xBleft，y)、(xBright，y)，把(xBleft，y)的參考像素點(diǎn)個(gè)數(shù)refNumB(xBleft，y)和(xBright，y)的參考像素點(diǎn)個(gè)數(shù)refNumB(xBright，y)分別加1，并將這兩個(gè)參考像素點(diǎn)(xBleft，y)、(xBright，y)的像素值
都賦為背景二維圖像上源像素坐標(biāo)位置(x，y)的像素值B(x，y)，將這兩個(gè)參考像素點(diǎn)(xBleft，y)、(xBright，y)的深度值
都賦為背景深度圖像上源像素坐標(biāo)位置(x，y)的灰度值BD(x，y)，計(jì)算該非整像素點(diǎn)(x+dispB(x，y)，y)對(xBleft，y)的權(quán)重
對(xBright，y)的權(quán)重
計(jì)算公式表示如下
表示取小于等于·的最大整數(shù)； (h)由步驟(g)得到目標(biāo)視點(diǎn)背景圖像每個(gè)整像素坐標(biāo)(x，y)的參考像素點(diǎn)個(gè)數(shù)refNumB(x，y)，這些參考像素點(diǎn)各自的像素值Bi(x，y)，i≤refNumB(x，y)i∈Z+，深度BDi(x，y)，i≤refNumB(x，y)i∈Z+，以及權(quán)重
i≤refNumB(x，y)i∈Z+，把深度值最小像素的像素值的反距離權(quán)重加權(quán)平均值作為目標(biāo)視點(diǎn)背景圖像Bvir(x，y)在坐標(biāo)(x，y)的像素值，計(jì)算公式如下
其中HOLE表示空洞，λBi表示第i個(gè)參考點(diǎn)是否屬于深度最小的像素點(diǎn)，若是，
否則，
定義如下 (i)根據(jù)步驟(h)得到的目標(biāo)視點(diǎn)背景圖像Bvir(x，y)，對目標(biāo)視點(diǎn)背景圖像每個(gè)像素建立一個(gè)標(biāo)志位FlagB(x，y)，表示如下 所述的根據(jù)參考圖像各像素點(diǎn)的視差值，平移參考視點(diǎn)二維圖像的各個(gè)通道的像素，得到目標(biāo)視點(diǎn)初始圖像步驟為 (j)將目標(biāo)視點(diǎn)初始圖像每個(gè)像素點(diǎn)的參考像素點(diǎn)個(gè)數(shù)refNum(x，y)初始化為0，掃描參考二維圖像If(x，y)和中值濾波之后的參考深度圖像Df′(x，y)，將每個(gè)像素坐標(biāo)(x，y)通過步驟(f)得到的參考圖像的視差值dispf(x，y)繪制至目標(biāo)視點(diǎn)初始圖像上的非整數(shù)像素點(diǎn)(x+dispf(x，y)，y)，并求得水平方向上距離該非整數(shù)像素點(diǎn)最近的左右參考像素點(diǎn)(xleft，y)、(xright，y)，把(xleft，y)的參考像素點(diǎn)個(gè)數(shù)refNum(xleft，y)和(xright，y)的參考像素點(diǎn)個(gè)數(shù)refNum(xright，y)分別加1，并將這兩個(gè)參考像素點(diǎn)(xleft，y)、(xright，y)的像素值
都賦為參考二維圖像上源像素坐標(biāo)位置(x，y)的像素值If(x，y)，將這兩個(gè)像素點(diǎn)的深度值
都賦為參考深度圖像上源像素坐標(biāo)位置(x，y)的深度值Df′(x，y)， 計(jì)算該非整像素點(diǎn)(x+dispf(x，y)，y)對(xleft，y)的權(quán)重
對(xright，y)的權(quán)重
表示如下
表示取小于等于·的最大整數(shù)； (k)由步驟(j)得到目標(biāo)視點(diǎn)初始圖像每個(gè)整像素點(diǎn)(x，y)的參考像素點(diǎn)個(gè)數(shù)refNum(x，y)，這些參考像素點(diǎn)各自的像素值Ifi(x，y)，i≤refNum(x，y)i∈Z+，深度Dfi(x，y)，i ≤ refNum(x，y)i∈Z+，以及權(quán)重
i≤ refNum(x，y)i∈Z+，把深度值最小的像素點(diǎn)的反距離權(quán)重加權(quán)平均值作為目標(biāo)視點(diǎn)初始圖像Hvir(x，y)在坐標(biāo)(x，y)的像素值，計(jì)算公式如下
其中HOLE表示空洞，λi表示第i個(gè)參考點(diǎn)是否屬于深度最小的像素點(diǎn)，若是，λi＝1，否則，λi＝0，定義如下 (l)根據(jù)步驟(k)得到的目標(biāo)視點(diǎn)圖像Hvir(x，y)，對目標(biāo)視點(diǎn)初始圖像每個(gè)像素建立一個(gè)標(biāo)志位FlagH(x，y)，表示如下 所述的融合目標(biāo)視點(diǎn)初始圖像和目標(biāo)視點(diǎn)背景圖像，用均值濾波器插值填補(bǔ)小空洞，得到最終目標(biāo)視點(diǎn)圖像步驟為 (m)根據(jù)步驟(i)得到的目標(biāo)視點(diǎn)背景圖像每個(gè)像素的標(biāo)志位FlagB(x，y)和步驟(l)得到的目標(biāo)視點(diǎn)初始圖像每個(gè)像素的標(biāo)志位FlagH(x，y)，將步驟(h)得到的目標(biāo)視點(diǎn)背景圖像Bvir(x，y)和步驟(k)得到的目標(biāo)視點(diǎn)初始圖像Hvir(x，y)進(jìn)行融合，得到有小空洞的目標(biāo)視點(diǎn)圖像I′vir(x，y)，并對I′vir(x，y)的每個(gè)像素建立一個(gè)標(biāo)志位Flag(x，y)，融合公式定義如下 其中HOLE表示空洞； (n)根據(jù)步驟(m)得到的帶有小空洞的目標(biāo)視點(diǎn)圖像每個(gè)像素的標(biāo)志位Flag(x，y)，用均值濾波器插值填補(bǔ)步驟(m)得到的帶有小空洞的目標(biāo)視點(diǎn)圖像I′vir(x，y)，得到最終目標(biāo)視點(diǎn)圖像Ivir(x，y)，填補(bǔ)空洞公式定義如下 其中w為水平窗的窗口大小，取空洞水平方向上的最大寬度。
融合目標(biāo)視點(diǎn)背景圖像和目標(biāo)視點(diǎn)初始圖像產(chǎn)生的目標(biāo)視點(diǎn)圖像可能還會(huì)存在小的空洞，用水平方向上均值濾波器插值可以填補(bǔ)這些小的空洞。
實(shí)施例 (1)將圖像分辨率為800×450的Dice二維+深度序列作為虛擬視點(diǎn)產(chǎn)生的視頻文件。圖3(a)(b)分別為Dice序列某一幀的二維圖像截圖和深度圖像截圖。
(2)建立統(tǒng)計(jì)背景模型，產(chǎn)生背景二維圖像和背景深度圖像。圖4(a)為Dice二維視頻建模得到的背景二維圖像，圖4(b)為Dice深度視頻建模得到的背景深度圖像。
(3)將Dice背景深度圖像換算成視差值，平移背景二維圖像的各個(gè)通道的像素，得到目標(biāo)視點(diǎn)背景圖像。圖5即為Dice視頻對應(yīng)的目標(biāo)視點(diǎn)背景圖像。
(4)對參考視頻深度圖進(jìn)行中值濾波，并換算成視差值，平移參考視點(diǎn)二維圖像的各個(gè)通道的像素，得到目標(biāo)視點(diǎn)初始圖像。圖6即為Dice視頻圖3截圖對應(yīng)的目標(biāo)視點(diǎn)初始圖像。
(5)融合目標(biāo)視點(diǎn)背景圖像和目標(biāo)視點(diǎn)初始圖像，得到目標(biāo)視點(diǎn)最終圖像，用于立體圖像的合成。圖7即為圖5目標(biāo)視點(diǎn)背景圖像和圖6目標(biāo)視點(diǎn)初始圖像融合之后的圖像。
(6)用均值濾波器插值填補(bǔ)融合之后的空洞。圖8即為空洞填補(bǔ)之后的目標(biāo)視點(diǎn)最終圖像。
權(quán)利要求
1.一種基于視頻序列背景建模的虛擬視點(diǎn)繪制方法，其特征在于包括如下步驟
(1)對參考視點(diǎn)二維視頻建立統(tǒng)計(jì)背景模型，得到背景二維圖像，對參考視點(diǎn)深度視頻建立統(tǒng)計(jì)背景模型，得到背景深度圖像；
(2)對參考視點(diǎn)每一幀深度圖像做中值濾波處理；
(3)將統(tǒng)計(jì)建模得到的背景深度圖像投射至視差空間，得到背景圖像各像素點(diǎn)的視差值，將每一幀中值濾波之后的深度圖投射至視差空間，得到參考圖像各像素點(diǎn)的視差值；
(4)根據(jù)背景圖像各像素點(diǎn)的視差值，平移統(tǒng)計(jì)建模得到的背景二維圖像的各個(gè)通道的像素，得到目標(biāo)視點(diǎn)背景圖像；
(5)根據(jù)參考圖像各像素點(diǎn)的視差值，平移參考視點(diǎn)二維圖像的各個(gè)通道的像素，得到目標(biāo)視點(diǎn)初始圖像；
(6)融合目標(biāo)視點(diǎn)初始圖像和目標(biāo)視點(diǎn)背景圖像，并用均值濾波器插值填補(bǔ)空洞，得到最終目標(biāo)視點(diǎn)圖像。
2.根據(jù)權(quán)利要求1所述的一種基于視頻序列背景建模的虛擬視點(diǎn)繪制方法，其特征在于所述的對參考視點(diǎn)二維視頻建立統(tǒng)計(jì)背景模型，得到背景二維圖像，對參考視點(diǎn)深度視頻建立統(tǒng)計(jì)背景模型，得到背景深度圖像步驟為
(a)對參考視點(diǎn)的二維視頻截取連續(xù)N幀圖像If，f為幀號，取值為1，2，…，N，對這N幀二維圖像中對應(yīng)每個(gè)像素坐標(biāo)位置(x，y)的N個(gè)像素值進(jìn)行升序排序，取中間位置的值即這N個(gè)像素值的中值作為背景二維圖像B(x，y)在對應(yīng)位置(x，y)的像素值；
(b)對參考視點(diǎn)的深度視頻截取與步驟(a)截取二維視頻時(shí)時(shí)間維度上相同位置的連續(xù)N幀深度圖像Df，f為幀號，取值為1，2，…，N，對這N幀深度圖像中對應(yīng)每個(gè)像素坐標(biāo)位置(x，y)的N個(gè)像素值進(jìn)行升序排序，取中間位置的值即這N個(gè)像素值的中值作為背景深度圖像BD(x，y)在對應(yīng)位置(x，y)的像素值。
3.根據(jù)權(quán)利要求1所述的一種基于視頻序列背景建模的虛擬視點(diǎn)繪制方法，其特征在于所述的對參考視點(diǎn)每一幀深度圖像做中值濾波處理步驟為
(c)對參考視點(diǎn)深度視頻序列的每一幀Df做7×7的中值濾波，得到濾波之后的深度圖像Df′(x，y)。
4.根據(jù)權(quán)利要求1所述的一種基于視頻序列背景建模的虛擬視點(diǎn)繪制方法，其特征在于所述的將統(tǒng)計(jì)建模得到的背景深度圖像投射至視差空間，得到背景圖像各像素點(diǎn)的視差值，將每一幀中值濾波之后的深度圖投射至視差空間，得到參考圖像各像素點(diǎn)的視差值步驟為
(d)根據(jù)設(shè)定的聚焦層灰度級dF，相鄰視點(diǎn)間最大視差值maxD，以及目標(biāo)視點(diǎn)離參考視點(diǎn)的相對距離n，n＝…，-1，0，1，…，計(jì)算所有的灰度級d所對應(yīng)的視差值Disparity(d)，其中計(jì)算公式如下
d是深度圖中表征深度的灰度級，d＝0，1，…，255，d越大，表示深度越大，即物體離觀察者越遠(yuǎn)，d越小，深度越小，物體離觀察者越近；
(e)根據(jù)步驟(d)計(jì)算得到的各灰度級所對應(yīng)的視差值Disparity(d)，將統(tǒng)計(jì)建模得到的背景深度圖像BD(x，y)映射至視差空間，得到背景圖像各像素點(diǎn)的視差值dispB(x，y)，表示如下
dispB(x，y)＝Disparity(BD(x，y))；
(f)根據(jù)步驟(d)計(jì)算得到的各灰度級所對應(yīng)的視差值Disparity(d)，將每一幀中值濾波后的深度圖Df′(x，y)投射至視差空間，得到參考圖像各像素點(diǎn)的視差值dispf(x，y)，表示如下
dispf(x，y)＝Disparity(Df′(x，y))。
5.根據(jù)權(quán)利要求1所述的一種基于視頻序列背景建模的虛擬視點(diǎn)繪制方法，其特征在于所述的根據(jù)背景圖像各像素點(diǎn)的視差值，平移統(tǒng)計(jì)建模得到的背景二維圖像的各個(gè)通道的像素，得到目標(biāo)視點(diǎn)背景圖像步驟為
(g)將目標(biāo)視點(diǎn)背景圖像每個(gè)像素點(diǎn)的參考像素點(diǎn)個(gè)數(shù)refNumB(x，y)初始化為0，掃描背景二維圖像B(x，y)和背景深度圖像BD(x，y)，將每個(gè)像素坐標(biāo)(x，y)根據(jù)步驟(e)得到的背景圖像視差dispB(x，y)繪制至目標(biāo)視點(diǎn)背景圖像上的非整數(shù)像素點(diǎn)(x+dispB(x，y)，y)，并求得水平方向上距離該非整數(shù)像素點(diǎn)最近的左右參考像素點(diǎn)坐標(biāo)(xBleft，y)、(xBright，y)，把(xBleft，y)的參考像素點(diǎn)個(gè)數(shù)refNumB(xBleft，y)和(xBright，y)的參考像素點(diǎn)個(gè)數(shù)refNumB(xBright，y)分別加1，并將這兩個(gè)參考像素點(diǎn)(xBleft，y)、(xBright，y)的像素值
都賦為背景二維圖像上源像素坐標(biāo)位置(x，y)的像素值B(x，y)，將這兩個(gè)參考像素點(diǎn)(xBlefi，y)、(xBright，y)的深度值
都賦為背景深度圖像上源像素坐標(biāo)位置(x，y)的灰度值BD(x，y)，計(jì)算該非整像素點(diǎn)(x+dispB(x，y)，y)對(xBleft，y)的權(quán)重
，對(xBright，y)的權(quán)重
，計(jì)算公式表示如下
表示取小于等于·的最大整數(shù)；
(h)由步驟(g)得到目標(biāo)視點(diǎn)背景圖像每個(gè)整像素坐標(biāo)(x，y)的參考像素點(diǎn)個(gè)數(shù)refNumB(x，y)，這些參考像素點(diǎn)各自的像素值Bi(x，y)，i≤refNumB(x，y)i∈Z+，深度BDi(x，y)，i≤refNumB(x，y)i∈Z+，以及權(quán)重
，i≤refNumB(x，y)i∈Z+，把深度值最小像素的像素值的反距離權(quán)重加權(quán)平均值作為目標(biāo)視點(diǎn)背景圖像Bvir(x，y)在坐標(biāo)(x，y)的像素值，計(jì)算公式如下
其中HOLE表示空洞，λBi表示第i個(gè)參考點(diǎn)是否屬于深度最小的像素點(diǎn)，若是，否則，定義如下
(i)根據(jù)步驟(h)得到的目標(biāo)視點(diǎn)背景圖像Bvir(x，y)，對目標(biāo)視點(diǎn)背景圖像每個(gè)像素建立一個(gè)標(biāo)志位FlagB(x，y)，表示如下
6.根據(jù)權(quán)利要求1所述的一種基于視頻序列背景建模的虛擬視點(diǎn)繪制方法，其特征在于所述的根據(jù)參考圖像各像素點(diǎn)的視差值，平移參考視點(diǎn)二維圖像的各個(gè)通道的像素，得到目標(biāo)視點(diǎn)初始圖像步驟為
(j)將目標(biāo)視點(diǎn)初始圖像每個(gè)像素點(diǎn)的參考像素點(diǎn)個(gè)數(shù)refNum(x，y)初始化為0，掃描參考二維圖像If(x，y)和中值濾波之后的參考深度圖像Df′(x，y)，將每個(gè)像素坐標(biāo)(x，y)通過步驟(f)得到的參考圖像的視差值dispf(x，y)繪制至目標(biāo)視點(diǎn)初始圖像上的非整數(shù)像素點(diǎn)(x+dispf(x，y)，y)，并求得水平方向上距離該非整數(shù)像素點(diǎn)最近的左右參考像素點(diǎn)(xleft，y)、xright，y)，把(xleft，y)的參考像素點(diǎn)個(gè)數(shù)refNum(xleft，y)和xright，y)的參考像素點(diǎn)個(gè)數(shù)refNum(xright，y)分別加1，并將這兩個(gè)參考像素點(diǎn)(xleft，y)、xright，y)的像素值
都賦為參考二維圖像上源像素坐標(biāo)位置(x，y)的像素值If(x，y)，將這兩個(gè)像素點(diǎn)的深度值
都賦為參考深度圖像上源像素坐標(biāo)位置(x，y)的深度值Df′(x，y)，計(jì)算該非整像素點(diǎn)(x+dispf(x，y)，y)對(xleft，y)的權(quán)重
，對xright，y)的權(quán)重
，表示如下
表示取小于等于·的最大整數(shù)；
(k)由步驟(j)得到目標(biāo)視點(diǎn)初始圖像每個(gè)整像素點(diǎn)(x，y)的參考像素點(diǎn)個(gè)數(shù)refNum(x，y)，這些參考像素點(diǎn)各自的像素值Ifi(x，y)，i ≤ refNum(x，y)i∈Z+，深度Dfi(x，y)，i≤refNum(x，y)i∈Z+，以及權(quán)重
，i ≤ refNum(x，y)i∈Z+，把深度值最小的像素點(diǎn)的反距離權(quán)重加權(quán)平均值作為目標(biāo)視點(diǎn)初始圖像Hvir(x，y)在坐標(biāo)(x，y)的像素值，計(jì)算公式如下
其中HOLE表示空洞，λi表示第i個(gè)參考點(diǎn)是否屬于深度最小的像素點(diǎn)，若是，λi＝1，否則，λi＝0，定義如下
(l)根據(jù)步驟(k)得到的目標(biāo)視點(diǎn)圖像Hvir(x，y)，對目標(biāo)視點(diǎn)初始圖像每個(gè)像素建立一個(gè)標(biāo)志位FlagH(x，y)，表示如下
7.根據(jù)權(quán)利要求1所述的一種基于視頻序列背景建模的虛擬視點(diǎn)繪制方法，其特征在于所述的融合目標(biāo)視點(diǎn)初始圖像和目標(biāo)視點(diǎn)背景圖像，用均值濾波器插值填補(bǔ)小空洞，得到最終目標(biāo)視點(diǎn)圖像步驟為
(m)根據(jù)步驟(i)得到的目標(biāo)視點(diǎn)背景圖像每個(gè)像素的標(biāo)志位FlagB(x，y)和步驟(1)得到的目標(biāo)視點(diǎn)初始圖像每個(gè)像素的標(biāo)志位FlagH(x，y)，將步驟(h)得到的目標(biāo)視點(diǎn)背景圖像Bvir(x，y)和步驟(k)得到的目標(biāo)視點(diǎn)初始圖像Hvir(x，y)進(jìn)行融合，得到有小空洞的目標(biāo)視點(diǎn)圖像I′vir(x，y)，并對I′vir(x，y)的每個(gè)像素建立一個(gè)標(biāo)志位Flag(x，y)，融合公式定義如下
其中HOLE表示空洞；
(n)根據(jù)步驟(m)得到的帶有小空洞的目標(biāo)視點(diǎn)圖像每個(gè)像素的標(biāo)志位Flag(x，y)，用均值濾波器插值填補(bǔ)步驟(m)得到的帶有小空洞的目標(biāo)視點(diǎn)圖像I′vir(x，y)，得到最終目標(biāo)視點(diǎn)圖像Ivir(x，y)，填補(bǔ)空洞公式定義如下
其中w為水平窗的窗口大小，取空洞水平方向上的最大寬度。
全文摘要
本發(fā)明公開了一種基于視頻序列背景建模的虛擬視點(diǎn)繪制方法，包括如下步驟(1)對參考視點(diǎn)二維視頻和深度視頻建立統(tǒng)計(jì)背景模型，得到背景二維圖像和背景深度圖像；(2)對每幀深度圖像做中值濾波；(3)將背景深度圖像和參考視點(diǎn)深度圖像投射至視差空間，得到背景圖像的視差和參考圖像的視差；(4)平移背景二維圖像像素，得到目標(biāo)視點(diǎn)背景圖像；(5)平移參考視點(diǎn)二維圖像像素，得到目標(biāo)視點(diǎn)初始圖像；(6)融合目標(biāo)視點(diǎn)初始圖像和背景圖像，填補(bǔ)空洞，得到最終目標(biāo)視點(diǎn)圖像。本發(fā)明結(jié)合視頻序列時(shí)間上的相關(guān)性，提取出背景信息，將背景圖像和當(dāng)前參考圖像同時(shí)繪制至虛擬視點(diǎn)，利用背景來填補(bǔ)空洞，提高了虛擬視點(diǎn)圖像的質(zhì)量。
文檔編號G06T7/00GK101771893SQ201010039539
公開日2010年7月7日 申請日期2010年1月5日 優(yōu)先權(quán)日2010年1月5日
發(fā)明者薛玖飛, 席明, 王梁昊, 李東曉, 張明 申請人:浙江大學(xué)