一種并行虛擬視點(diǎn)合成方法
【專利摘要】本發(fā)明公開了一種并行虛擬視點(diǎn)合成方法，包括：對(duì)讀入的輸入幀進(jìn)行分割，讓各個(gè)線程分別對(duì)不同的圖像塊進(jìn)行并行的視點(diǎn)合成，然后將各個(gè)子線程產(chǎn)生的虛擬視點(diǎn)圖像進(jìn)行拼接，產(chǎn)生一個(gè)完整的虛擬視點(diǎn)圖像輸出。在實(shí)施例中，根據(jù)每個(gè)線程時(shí)間與平均線程時(shí)間之差，計(jì)算幀內(nèi)每個(gè)分割高度調(diào)整所對(duì)應(yīng)的時(shí)間，然后以行為單位向上或者向下搜索，補(bǔ)償此時(shí)間進(jìn)而算出調(diào)整高度，實(shí)現(xiàn)負(fù)載均衡，提高虛擬視點(diǎn)的合成速度。
【專利說明】一種并行虛擬視點(diǎn)合成方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)視覺與數(shù)字圖像處理領(lǐng)域，特別涉及一種并行虛擬視點(diǎn)合成方法。

【背景技術(shù)】
[0002]自由視點(diǎn)視頻(FTV)可以為用戶提供任意視點(diǎn)的場(chǎng)景圖像，從而極大地增強(qiáng)用戶的視覺體驗(yàn)效果，因而具有廣闊的發(fā)展前景。隨著移動(dòng)互聯(lián)網(wǎng)時(shí)代的來(lái)臨，越來(lái)越多的娛樂媒體活動(dòng)慢慢地從PC機(jī)轉(zhuǎn)移到了以手機(jī)、平板為代表的移動(dòng)終端上。這種終端一個(gè)顯著的特征是其內(nèi)嵌的多核技術(shù)，大大增加了手機(jī)等移動(dòng)終端的運(yùn)行速度。如果能在移動(dòng)終端上實(shí)現(xiàn)FTV，那么其中蘊(yùn)含的價(jià)值不僅僅是經(jīng)濟(jì)意義，而且將極大地普及3D技術(shù)。
[0003]為了重建高質(zhì)量的任意視點(diǎn)圖像應(yīng)用于FTV，MPEG組織開發(fā)了 VSRS (ViewSynthesis Reference Software)參考軟件，此軟件用兩個(gè)參考視點(diǎn)紋理圖和相應(yīng)的深度圖作為輸入來(lái)生成一個(gè)合成的虛擬視點(diǎn)。VSRS —個(gè)致命的缺點(diǎn)是耗時(shí)非常長(zhǎng)，其虛擬視點(diǎn)合成速度大約是2幀/秒，遠(yuǎn)小于實(shí)時(shí)播放下要求的30幀/秒。這就造成了 VSRS在現(xiàn)實(shí)中的應(yīng)用受到了限制。


【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于解決上述現(xiàn)有技術(shù)存在的技術(shù)問題，提高虛擬視點(diǎn)的合成速度。
[0005]為此，本發(fā)明提出一種并行虛擬視點(diǎn)合成方法，包括:
[0006]對(duì)讀入的輸入幀進(jìn)行分割，讓各個(gè)線程分別對(duì)不同的圖像塊進(jìn)行并行的視點(diǎn)合成，然后將各個(gè)子線程產(chǎn)生的虛擬視點(diǎn)圖像進(jìn)行拼接，產(chǎn)生一個(gè)完整的虛擬視點(diǎn)圖像輸出。
[0007]優(yōu)選地，所述方法包括:根據(jù)當(dāng)前幀線程之間的負(fù)載情況調(diào)整下一幀的分割高度來(lái)達(dá)到負(fù)載均衡，所述調(diào)整包括以下步驟:
[0008]根據(jù)每個(gè)線程時(shí)間與平均線程時(shí)間之差，計(jì)算幀內(nèi)每個(gè)分割高度調(diào)整所對(duì)應(yīng)的時(shí)間，然后以行為單位向上或者向下搜索，補(bǔ)償此時(shí)間進(jìn)而算出調(diào)整高度，實(shí)現(xiàn)負(fù)載均衡，其中，每個(gè)線程的視點(diǎn)合成包括參考視點(diǎn)向虛擬視點(diǎn)的映射和左右映射圖像的融合，將參考視點(diǎn)向虛擬視點(diǎn)的映射所用的時(shí)間和左右映射圖像的融合所用的時(shí)間之和作為各個(gè)線程時(shí)間。
[0009]優(yōu)選地，通過以下方式確定每個(gè)線程時(shí)間:
[0010]確定參考視點(diǎn)向虛擬視點(diǎn)的映射所用的時(shí)間為:
[0011]Tporwardffarp0 = Ii1.Width.height.2,其中 Width 為線程對(duì)應(yīng)的圖像塊的寬度，height為線程對(duì)應(yīng)的圖像塊的高度，
[0012]確定左右映射圖像的融合所用的時(shí)間為:
[0013].

【權(quán)利要求】
1.一種并行虛擬視點(diǎn)合成方法，其特征在于，包括: 對(duì)讀入的輸入幀進(jìn)行分割，讓各個(gè)線程分別對(duì)不同的圖像塊進(jìn)行并行的視點(diǎn)合成，然后將各個(gè)子線程產(chǎn)生的虛擬視點(diǎn)圖像進(jìn)行拼接，產(chǎn)生一個(gè)完整的虛擬視點(diǎn)圖像輸出。
2.如權(quán)利要求1所述的方法，其特征在于，包括:根據(jù)當(dāng)前幀線程之間的負(fù)載情況調(diào)整下一幀的分割高度來(lái)達(dá)到負(fù)載均衡，所述調(diào)整包括以下步驟: 根據(jù)每個(gè)線程時(shí)間與平均線程時(shí)間之差，計(jì)算幀內(nèi)每個(gè)分割高度調(diào)整所對(duì)應(yīng)的時(shí)間，然后以行為單位向上或者向下搜索，補(bǔ)償此時(shí)間進(jìn)而算出調(diào)整高度，實(shí)現(xiàn)負(fù)載均衡，其中，每個(gè)線程的視點(diǎn)合成包括參考視點(diǎn)向虛擬視點(diǎn)的映射和左右映射圖像的融合，將參考視點(diǎn)向虛擬視點(diǎn)的映射所用的時(shí)間和左右映射圖像的融合所用的時(shí)間之和作為各個(gè)線程時(shí)間。
3.如權(quán)利要求1所述的方法，其特征在于，通過以下方式確定每個(gè)線程時(shí)間: 確定參考視點(diǎn)向虛擬視點(diǎn)的映射所用的時(shí)間為: TForwardWarpO = h.Width.height.2,其中 Width 為線程對(duì)應(yīng)的圖像塊的寬度，height為線程對(duì)應(yīng)的圖像塊的高度， 確定左右映射圖像的融合所用的時(shí)間為:
是線程對(duì)應(yīng)的圖像塊 中第i行的非空洞數(shù)目，
是線程對(duì)應(yīng)的圖像塊中所有的非空洞數(shù)


目之和， 確定執(zhí)行此圖像塊的線程時(shí)間為:
其中，kx是將所有線程中參考視點(diǎn)向虛擬視點(diǎn)的映射時(shí)間TtoradWarp。加在一起除以總
的像素點(diǎn)數(shù)，即
k2是將所有線程中左右映射圖像的融合所用時(shí)間加在一起除以總的非

空洞像素點(diǎn)數(shù)&妙即
4.如權(quán)利要求2或3所述的方法，其特征在于，通過以下步驟對(duì)圖像分割高度進(jìn)行調(diào)整: (I)計(jì)算各線程時(shí)間與線程平均時(shí)間差A(yù)ti； (II)計(jì)算各個(gè)分割高度應(yīng)該調(diào)整的時(shí)間差，其中從上往下第一分割高度4應(yīng)調(diào)整的時(shí)間差為At1，記At1 = Λ T1，第二分割高度112應(yīng)調(diào)整的時(shí)間差為At1+At2，記AtJAt2 =Λ T2,當(dāng)線程數(shù)大于兩個(gè)時(shí)依次類推； (III)對(duì)每個(gè)分割高度h分別調(diào)整:如果ATi≥O,從比-1行開始逐行向上搜索補(bǔ)償時(shí)間，直到
,,然后調(diào)整至新的高度:
如果ATi < O,從比+1行開始逐行向下搜索補(bǔ)償時(shí)間，直到
然后調(diào)整至新的高度:
Width是幀的寬度，Aheight是待調(diào)整的高度差，
是高度差





Aheight內(nèi)的非空洞數(shù)目。
5.如權(quán)利要求4所述的方法，其特征在于，如果調(diào)整后的高度Λ 不是偶數(shù)，則
【文檔編號(hào)】H04N15/00GK104079915SQ201410317820
【公開日】2014年10月1日 申請(qǐng)日期:2014年7月3日 優(yōu)先權(quán)日:2014年7月3日
【發(fā)明者】金欣, 劉站奇, 戴瓊海 申請(qǐng)人:清華大學(xué)深圳研究生院