專利名稱：：一種基于可分級塊的虛擬視點圖像繪制方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種立體電視/自由視點電視技術(shù)，尤其是涉及一種基于可分級塊的立體電視/自由視點電視的虛擬視點圖像的繪制方法。
背景技術(shù)：
：自由視點電視(FreeviewpointTV，F(xiàn)TV)是一種先進的視覺模式，它具有交互性和臨場感，可以滿足人們從不同角度觀看三維場景的需求。自由視點電視系統(tǒng)通常由多視點視頻信號采集、校正、編碼、網(wǎng)絡(luò)傳輸、解碼、繪制和顯示等幾部分組成?；诓噬珗D像的繪制是立體電視/自由視點電視系統(tǒng)的關(guān)鍵技術(shù)之一，它是從一系列已知的參考視點的彩色圖像出發(fā)繪制生成虛擬視點圖像的方法。與傳統(tǒng)的繪制技術(shù)相比，它具有不需要復(fù)雜的三維場景建模、繪制速度快、適合于合成場景和真實場景等優(yōu)點?；谏疃葓D像的繪制(D印thImageBasedRendering,DIBR)是一種利用參考視點的彩色圖像及該參考視點的彩色圖像所對應(yīng)的深度圖像繪制生成虛擬視點圖像的方法。DIBR由于將場景的深度信息引入到虛擬視點圖像繪制中，從而大大減少了虛擬視點圖像繪制所需的參考視點的數(shù)目。DIBR通過利用參考視點的彩色圖像及該參考視點的彩色圖像中的每個像素對應(yīng)的深度信息來合成三維場景的虛擬視點圖像。其過程如下首先利用深度信息將參考視點的彩色圖像中的所有像素點重投影到實際的三維空間中，然后再將這些三維空間中的點投影到目標(biāo)圖像平面即虛擬視點圖像平面上。這個從二維到三維的重投影以及從三維再到二維的投影被稱為三維圖像變換(3Dimagewarping)。虛擬視點圖像繪制質(zhì)量的好壞以及繪制的速度對于立體電視/自由視點電視系統(tǒng)的性能是至關(guān)重要的?，F(xiàn)有的基于深度圖像的虛擬視點圖像繪制算法為保證繪制的精度一般采用逐像素進行三維圖像變換(3Dimagewarping)的映射方法，因此計算復(fù)雜度過高，要滿足實時觀看需求還存在一定的困難。
發(fā)明內(nèi)容本發(fā)明所要解決的技術(shù)問題是提供一種在能夠保證繪制精度的同時，提高繪制速度的虛擬視點圖像的繪制方法。本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為一種基于可分級塊的虛擬視點圖像繪制方法，包括以下具體步驟①獲取t時刻的K個參考視點的尺寸大小為PXQ的K幅彩色圖像及其對應(yīng)的K幅深度圖像，將t時刻的第k個參考視點的彩色圖像記為IK,tkdft時刻的第k個參考視點的深度圖像記為DK,tk，將t時刻的第k個參考視點的彩色圖像IK,tk自適應(yīng)地劃分成NKk個尺寸大小為(p+Ap)X(q+Aq)的塊，并標(biāo)記各個塊的塊映射類型，塊映射類型包括逐像素映射型和整塊映射型，記t時刻的第k個參考視點的彩色圖像IK,tk中的第n個塊為B^其6中，kG[l，K]，*|j《=《，，p和q的值均為16、8、4、2、l五個值中的一個，Ap表示塊Bnk與其右相鄰塊之間重疊的像素點的列數(shù)，O《Ap《2，當(dāng)Ap二0時表示塊Bnk與其右相鄰塊不重疊或表示塊Bnk為t時刻的第k個參考視點的彩色圖像IK,tk的右邊界處的塊，Aq表示塊Bnk與其下相鄰塊之間重疊的像素點的行數(shù)，0《Aq《2，當(dāng)Aq=0時表示塊Bnk與其下相鄰塊不重疊或表示塊Bnk為t時刻的第k個參考視點的彩色圖像IK,tk的下邊界處的塊；此處，將t時刻的第k個參考視點的彩色圖像IK,tk自適應(yīng)地劃分成NKk個尺寸大小為(p+Ap)X(q+Aq)的塊并標(biāo)記各個塊的塊映射類型的具體步驟為①-1、將t時刻的第k個參考視點的深度圖像DK,tk劃分成^xg個互不重疊的161616X16塊，其中，P表示深度圖像的寬，Q表示深度圖像的高；①-2、定義當(dāng)前正在處理的16X16塊為當(dāng)前16X16塊，將當(dāng)前16X16塊記為&X&塊，或?qū)?dāng)前16X16塊分解為4個8X8塊，將4個8X8塊均記為X塊，其中，i的初始值為1;①-3、定義當(dāng)前正在處理的niXni塊為當(dāng)前niXni塊，計算當(dāng)前niXrii塊的背離值，判斷當(dāng)前niXni塊的背離值是否小于閾值，如果是，則將當(dāng)前niXrii塊記為pXq塊，p=rii，q=ni，并標(biāo)記該pXq塊的塊映射類型為整塊映射型，然后執(zhí)行步驟①-10，否則，再判斷&是否等于預(yù)設(shè)尺寸值m，其中，m《ni，當(dāng)ni=m時，將當(dāng)前niXni塊記為pXq±央，p=ni，q=rii，并標(biāo)記該pXq塊的塊映射類型為逐像素映射型，然后執(zhí)行步驟①_10，當(dāng)〉m時，繼續(xù)執(zhí)行；①-4、將當(dāng)前niXni塊分解成2個Ax,塊，分別計算2個巧x,塊的背離值，判斷2個巧x,塊的背離值是否均小于閾值，如果是，則將2個巧x,塊分別記為pxq塊，p=ni，《=f，并標(biāo)記該2個pXq塊的塊映射類型為整塊映射型，然后執(zhí)行步驟①-10，否則，繼續(xù)執(zhí)行；①_5、對當(dāng)前niXrii塊進行重新分解，分解成2個,x",塊，分別計算2個"lx",.塊的背離值，判斷2個,x"i塊的背離值是否均小于閾值，如果是，則將2個,x"i塊分別記為pXqi央，==rii，并標(biāo)記該2個pXq塊的塊映射類型為整塊映射型，然后執(zhí)行步驟①-10，否則，繼續(xù)執(zhí)行；-6、當(dāng)步驟-4中的2個",|塊中的其中一個塊的背離值小于閾值時，將背離值小于閾值的"^,塊記為pXqi央，p=rii，《-"l，標(biāo)記該pXq塊的塊映射類型為整塊映射型，并將背離值大于等于閾值的"^f塊分解為2個fxf塊，然后執(zhí)行步驟①_9;當(dāng)2個"iX"l塊的背離值均大于等于閾值時，繼續(xù)執(zhí)行；7①-7、當(dāng)步驟①-5中的2個lx"i塊中的其中一個塊的背離值小于閾值時，將背離值小于閾值的"lx"i塊記為pXq|fe，P="|，q=a,標(biāo)記該pXq塊的塊映射類型為整塊映射型，并將背離值大于等于閾值的,x"換分解為2個fxf塊，然后執(zhí)行步驟①_9;當(dāng)2個fx"i塊的背離值均大于等于閾值時，繼續(xù)執(zhí)行；①-8、對當(dāng)前niXni塊進行重新分解，分解成4個fxf塊，并繼續(xù)執(zhí)行；①-9、將i加1，然后將步驟①_6或步驟①-7或步驟①-8得到的各個,x,塊記為，x^"塊，令",-^，再返回步驟①-3繼續(xù)執(zhí)行，直至當(dāng)前niXni塊已分解為尺寸大小為預(yù)設(shè)尺寸值m的塊或分解得到的塊的背離值小于閾值為止；①-10、將當(dāng)前16X16塊中的下一個niXrii塊作為當(dāng)前niXrii塊，并將i值置為1，然后返回步驟①_3繼續(xù)執(zhí)行，直至當(dāng)前16乂16塊中的所有riiXni塊處理完畢；①-ll、將下一個16X16塊作為當(dāng)前16X16塊，并返回步驟①-2繼續(xù)執(zhí)行，直至t時刻的第k個參考視點的深度圖像DK,tk中的所有16X16塊處理完畢；①_12、根據(jù)t時刻的第k個參考視點的深度圖像DK,tk的pXq塊的劃分及各個pXq塊標(biāo)記的塊映射類型，將t時刻的第k個參考視點的彩色圖像1^k劃分成相應(yīng)的尺寸大小為(p+Ap)X(q+Aq)的塊，并標(biāo)記相應(yīng)的塊映射類型，具體過程為a.定義t時刻的第k個參考視點的深度圖像DK,tk中的第一個pXq塊為當(dāng)前pXq±央，將t時刻的第k個參考視點的彩色圖像IK,tk中坐標(biāo)位置與當(dāng)前pXq塊相同的對應(yīng)塊作為t時刻的第k個參考視點的彩色圖像IK,tk中的PXq塊；b.將t時刻的第k個參考視點的彩色圖像IK,tk中的該pXq塊向右擴展Ap個像素點且向下擴展Aq個像素點，形成t時刻的第k個參考視點的彩色圖像Iuk中的尺寸大小為(p+Ap)X(q+Aq)的塊；C.根據(jù)當(dāng)前pXq塊的塊映射類型，將該尺寸大小為(p+Ap)X(q+Aq)的塊的塊映射類型標(biāo)記為與當(dāng)前pXq塊的塊映射類型相同的塊映射類型；d.將t時刻的第k個參考視點的深度圖像Duk中的下一個pXq塊作為當(dāng)前pXq塊，返回執(zhí)行步驟a，直至t時刻的第k個參考視點的深度圖像DK,tk中的所有pXq塊處理完畢；②逐一處理t時刻的第k個參考視點的彩色圖像1^k中的N/個尺寸大小為(p+Ap)X(q+Aq)的塊，定義正在處理的t時刻的第k個參考視點的彩色圖像IK,tk中的第n個塊Bnk為當(dāng)前塊Bnk，記需繪制的虛擬視點彩色圖像為ID,tk，當(dāng)當(dāng)前塊Bnk的塊映射類型為逐像素映射型時，利用t時刻的第k個參考視點的深度圖像D^k所提供的深度信息，采用公知的三維圖像變換方法逐像素點計算當(dāng)前塊Bnk中的各個像素點在需繪制的虛擬視點彩色圖像ID,tk中的坐標(biāo)位置，并將當(dāng)前塊Bnk中的各個像素點逐像素點地映射到需繪制的虛擬視點彩色圖像ID,tk中；當(dāng)當(dāng)前塊B^的塊映射類型為整塊映射型時，選取當(dāng)前塊Bnk中的一個像素點，再利用t時刻的第k個參考視點的深度圖像Duk所提供的該像素點的深度信息，采用公知的三維圖像變換方法計算該像素點在需繪制的虛擬視點彩色圖像ID,tk中的坐標(biāo)位置，得到把該像素點從t時刻的第k個參考視點的彩色圖像IK,tk映射到需繪制的虛擬視點彩色圖像ID,tk中的坐標(biāo)映射關(guān)系，并利用該坐標(biāo)映射關(guān)系將當(dāng)前塊Bnk中的各個像素點映射到需繪制的虛擬視點彩色圖像ID,tk中；③重復(fù)步驟②將t時刻的第k個參考視點的彩色圖像IK,tk中的所有塊全部映射到需繪制的虛擬視點彩色圖像ID,tk中，得到由t時刻的第k個參考視點的彩色圖像1^k和t時刻的第k個參考視點的深度圖像DK,tk繪制成的虛擬視點彩色圖像ID,tk;④重復(fù)步驟①③直至得到由K個參考視點的彩色圖像和其對應(yīng)的深度圖像分別繪制成的K幅虛擬視點彩色圖像，K幅虛擬視點彩色圖像用集合表示為{《,|1^^};⑤采用圖像融合方法融合由K個參考視點的彩色圖像和其對應(yīng)的深度圖像分別繪制得到的K幅虛擬視點彩色圖像，得到融合后的虛擬視點彩色圖像，記融合后的虛擬視點彩色圖像為I'D,t，并對融合后的虛擬視點彩色圖像I'D,t中的空洞像素點進行填補，得到最終的虛擬視點彩色圖像，記最終的虛擬視點彩色圖像為ID,t。1Y-l12所述的背離值的計算過程為記背離值為0，通過^=1^1^￡|《，,—^、JxIjc=0少=0YAA"0x=0"0尤=0"0X一1"—I"-LZk,廠巧中的任一個公式計算得到，其中，《y為需要計算背離值的塊中坐標(biāo)為"，jk=0戶Oy)的像素點的像素值，d為需要計算背離值的塊包含的所有像素點的像素值的平均值，其—l尤-lIM值為^-^^SZ《,"XXY表示需要計算背離值的塊的尺寸大小。所述的步驟②中當(dāng)當(dāng)前塊Bnk的塊映射類型為整塊映射型時，將當(dāng)前塊Bnk中的各個像素點映射到需繪制的虛擬視點彩色圖像ID,tk中的具體過程為a.任取當(dāng)前塊Bnk中的一個像素點，記該像素點的坐標(biāo)為(X。，y。)，將該像素點到當(dāng)前塊Bnk的左邊界的距離記為Ax，將該像素點到當(dāng)前塊Bnk的下邊界的距離記為Ay，則該像素點到當(dāng)前塊Bnk的右邊界的距離為(P+Ap)-Ax-l，該像素點到當(dāng)前塊Bnk的上邊界的距離為(q+Aq)-Ay-l;b.利用t時刻的第k個參考視點的深度圖像Duk所提供的坐標(biāo)為(x。，y。)的像素點的深度信息，采用公知的三維圖像變換方法計算坐標(biāo)為(x。，y。)的像素點在需繪制的虛擬視點彩色圖像I。,tk中的坐標(biāo)位置，記計算得到的坐標(biāo)位置為(x'。，y'。)；c.計算需繪制的虛擬視點彩色圖像I。,tk中坐標(biāo)為(x'，y')的像素點的像素值，其中，(x'。-Ax)《x'《(x'c+((p+Ap)-AX-l))，(y'c-Ay)《y'《(y'c+((q+Aq)-Ay-l))，記由t時刻的第k個參考視點的彩色圖像IK,tk和t時刻的第k個參考視點的深度圖像DK,tk繪制得到的虛擬視點彩色圖像I。,tk中坐標(biāo)為(x'，y')的像素點的像素值為I。,tk(x'，y')，4(;c'，/)-4(;Cc+;c'-《,凡+j/-乂)，其中，Iuk(Xc+x'-x'c，yc+y'-y'c)為t時刻的第k個參考視點的彩色圖像Iuk中坐標(biāo)為(x。+x'-x'。，y。+y'-y'。)的像素點的像素值。所述的步驟①中的塊映射類型還包括坐標(biāo)拷貝型，在所述的步驟①-2中將當(dāng)前16X16塊直接記為&Xni塊或分解為4個8X8塊之前，先判斷當(dāng)前16X16塊的編碼模式是否為SKIP模式且運動矢量是否為0，如果編碼模式為SKIP模式且運動矢量為0，則將當(dāng)前16X16塊記為pXq塊，p=16，q=16，并標(biāo)記該pXq塊的塊映射類型為坐標(biāo)拷貝型，然后執(zhí)行步驟①-ll，否則，將當(dāng)前16X16塊直接記為riiXrii塊或分解為4個8X8塊。所述的步驟②中當(dāng)當(dāng)前塊B^的塊映射類型為坐標(biāo)拷貝型時，在將當(dāng)前塊Bnk的各個像素點從t時刻的第k個參考視點的彩色圖像IK,tk映射到需繪制的虛擬視點彩色圖像ID,tk中時，當(dāng)前塊B^的各個像素點的坐標(biāo)映射關(guān)系采用t時刻的第k個參考視點的彩色圖像IK,tk的參考幀IK,hk中與當(dāng)前塊Bnk坐標(biāo)位置相同的對應(yīng)塊中的對應(yīng)像素點的坐標(biāo)映射關(guān)系，其中，r為一非零整數(shù)且|r|〈圖像組G0P的長度。與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點在于根據(jù)參考視點的深度圖像的平滑與否自適應(yīng)地將參考視點的彩色圖像劃分成若干個尺寸大小不盡相同的塊，對于塊映射類型為整塊映射型的塊只需對該塊中的一個像素點實施三維圖像變換以確定將該像素點從參考視點的彩色圖像投影到需繪制的虛擬視點彩色圖像的坐標(biāo)映射關(guān)系，然后整個塊采用此坐標(biāo)映射關(guān)系投影到需繪制的虛擬視點彩色圖像中，由于只對一個像素點實施三維圖像變換，因而可有效提高整塊映射型塊的繪制速度；對于塊映射類型為逐像素映射型的塊，由于這些塊主要位于對象與背景的邊界區(qū)域，因此仍采用逐像素映射的三維圖像變換方法將塊中的各個像素點映射到需繪制的虛擬視點彩色圖像中，有效保證了繪制精度，這樣兩者的結(jié)合使得本發(fā)明方法在保證虛擬視點彩色圖像繪制精度的同時，大大提高了繪制的速度。另一方面，本發(fā)明方法還利用了參考視點的深度圖像的時域相關(guān)性，對于時域上前后相鄰幀中內(nèi)容不變的區(qū)域，其向虛擬視點彩色圖像投影的坐標(biāo)直接拷貝自已經(jīng)處理的參考幀，從而進一步減少了實施三維圖像變換的像素點的數(shù)量。圖1為塊Bnk與其右相鄰塊和下相鄰塊相重疊的示意圖；圖2為對t時刻的第k個參考視點的深度圖像DK,tk中的16X16塊進行自適應(yīng)分塊可能得到的具有不同尺寸大小的塊(尺寸大小為1X1的塊除外)的示意圖；圖3為一個16X16塊分塊后可能的分塊結(jié)果示意圖；圖4為將整塊映射型塊中的各個像素點采用相同的映射參數(shù)映射到需繪制的虛擬視點彩色圖像ID,tk中的過程示意圖；圖5a為"Ballet"測試序列的在虛擬視點位置實際拍攝得到的彩色圖像的局部區(qū)域圖；圖5b為采用現(xiàn)有的逐像素三維圖像變換方法繪制得到的虛擬視點彩色圖像的局部區(qū)域圖；圖5c為采用本發(fā)明方法繪制得到的虛擬視點彩色圖像的局部區(qū)域圖；圖6a為"Ballet"測試序列的在虛擬視點位置實際拍攝得到的彩色圖像的另一局部區(qū)域圖；圖6b為采用現(xiàn)有的逐像素三維圖像變換方法繪制得到的虛擬視點彩色圖像的另一局部區(qū)域圖；圖6c為采用本發(fā)明方法繪制得到的虛擬視點彩色圖像的另一局部區(qū)域圖。具體實施例方式以下結(jié)合附圖實施例對本發(fā)明作進一步詳細(xì)描述。實施例一本發(fā)明的一種基于可分級塊的虛擬視點圖像繪制方法，包括以下具體步驟①獲取t時刻的K個參考視點的尺寸大小為PXQ的K幅彩色圖像及其對應(yīng)的K幅深度圖像，將t時刻的第k個參考視點的彩色圖像記為IK,tkdft時刻的第k個參考視點的深度圖像記為U，然后根據(jù)t時刻的第k個參考視點的深度圖像D^k的區(qū)域平滑與否，對t時刻的第k個參考視點的彩色圖像1^k進行自適應(yīng)分塊并標(biāo)記塊映射類型，即將t時刻的第k個參考視點的彩色圖像IK,tk自適應(yīng)地劃分成N,個尺寸大小為(p+Ap)X(q+Aq)的±央，并標(biāo)記各個塊的塊映射類型，記t時刻的第k個參考視點的彩色圖像IK,tk中的第n個塊為Bnk，其中，kG[1，K]，0《=/l,，Cl《=《,表示所有塊的并集構(gòu)成t時刻1一WS,=1=1的第k個參考視點的彩色圖像Iuk，p和q的值均為16、8、4、2、l五個值中的一個，Ap表示塊Bnk與其右相鄰塊之間重疊的像素點的列數(shù)，O《Ap《2，當(dāng)Ap二0時表示塊Bnk與其右相鄰塊不重疊或表示塊Bnk為t時刻的第k個參考視點的彩色圖像IK,tk的右邊界處的塊，在此，右相鄰塊即位于當(dāng)前塊的正右方的相鄰塊，Aq表示塊Bnk與其下相鄰塊之間重疊的像素點的行數(shù)，0《Aq《2，當(dāng)Aq二O時表示塊Bnk與其下相鄰塊不重疊或表示塊Bnk為t時刻的第k個參考視點的彩色圖像IK,tk的下邊界處的塊，在此，下相鄰塊即位于當(dāng)前塊的正下方的相鄰塊，圖1給出了塊Bnk與其右相鄰塊和下相鄰塊相重疊的示意圖。在此，根據(jù)向需繪制的虛擬視點彩色圖像映射方式的不同，塊映射類型存在以下兩種，即逐像素映射型和整塊映射型，通常t時刻的第k個參考視點的彩色圖像IK,tk中逐像素映射型的塊的Ap=0，Aq=0。在此具體實施例中，將t時刻的第k個參考視點的彩色圖像IK,tk自適應(yīng)地劃分成N^個尺寸大小為(p+Ap)X(q+Aq)的塊并標(biāo)記各個塊的塊映射類型的總體過程為將t時刻的第k個參考視點的深度圖像DK,tk劃分成^xg個互不重疊的16X16塊，然后逐一考察t時刻的第k個參考視點的深度圖像DK,tk的各個16X16塊，依次取尚未處理的下一個16X16塊作為當(dāng)前16X16塊進行處理，將當(dāng)前16X16塊不斷一分為二或一分為四，即分解得到的i央可以是尺寸大小為16X16、16X8、8X16、8X8、8X4、4X8、4X4、4X2、2X4、2X2、2X1、1X2、1X1的塊，將每一個塊記為一個pXq塊；或者先將當(dāng)前16X16塊一分為四得到的4個8X8塊，然后將這4個8X8塊不斷一分為二或一分為四，即分解得到的塊可以是尺寸大小為8X8、8X4、4X8、4X4、4X2、2X4、2X2、2X1、1X2、1X1的土央，將每一個塊記為一個PXq塊，在上述一分為二或一分為四的塊分解過程中，某一塊不再進一步分解下去的條件是該塊的背離值小于設(shè)定的閾值，即該塊中的所有像素點的深度值較為接近，也就是說該塊中的所有像素點基本位于同一深度平面，因而該塊中的各個像素點的坐標(biāo)映射關(guān)系也基本一致；或者分解得到的塊的尺寸大小為mXm(m為預(yù)設(shè)尺寸值，為逐像素映射型的塊的尺寸)且該塊的背離值大于等于閾值T時也結(jié)束該mXm塊的分解。重復(fù)上述過程直至處理完t時刻的第k個參考視點的深度圖像DK,tk中的所有16X16塊。圖2給出了當(dāng)前16X16塊進行自適應(yīng)分塊可能得到的各種塊的形式(尺寸大小為1X1的塊除外)，圖3則給出了當(dāng)前16X16塊的可能的分塊結(jié)果。接下來依據(jù)t時刻的第k個參考視點的深度圖像DK,tk中的各個pXq塊的劃分，來劃分t時刻的第k個參考視點的彩色圖像IK,tk11的pXq塊，并進而擴展成(p+Ap)X(q+Aq)塊，即對于t時刻的第k個參考視點的深度圖像Dr,tk的1個pXq土央(可以是16X16、16X8、8X16、8X8、8X4、4X8、4X4、4X2、2X4、2X2、2X1、1X2、1X1的塊)，標(biāo)記t時刻的第k個參考視點的彩色圖像IK,tk中坐標(biāo)位置相同的對應(yīng)塊為1個pXq塊，并將t時刻的第k個參考視點的彩色圖像IK,tk中的該pXq塊向右擴展Ap個像素點，向下擴展Aq個像素點，最終形成t時刻的第k個參考視點彩色圖像IK,tk的尺寸大小為(P+Ap)X(q+Aq)的塊，然后將該(p+Ap)X(q+Aq)塊的塊映射類型標(biāo)記為第k個參考視點的深度圖像DK,tk中對應(yīng)pXq塊的塊映射類型，特別地，若對應(yīng)PXq±央為1X1塊即單像素塊，則將該(p+Ap)X(q+Aq)塊類型標(biāo)記為逐像素映射型。具體步驟如下①-l、將t時刻的第k個參考視點的深度圖像Duk劃分成^xg個互不重疊的161616X16塊，其中，P表示深度圖像的寬，Q表示深度圖像的高；①-2、定義當(dāng)前正在處理的16X16塊為當(dāng)前16X16塊，將當(dāng)前16X16塊記為&X&塊，或?qū)?dāng)前16X16塊分解為4個8X8塊，將4個8X8塊均記為X塊，其中，i的初始值為1;①-3、定義當(dāng)前正在處理的niXni塊為當(dāng)前niXni塊，計算當(dāng)前niXrii塊的背離值，判斷當(dāng)前niXni塊的背離值是否小于閾值，如果是，則將當(dāng)前niXrii塊記為pXq塊，p=rii，q=ni，并標(biāo)記該pXq塊的塊映射類型為整塊映射型，然后執(zhí)行步驟①-10，否則，再判斷&是否等于預(yù)設(shè)尺寸值m，其中，m《ni，當(dāng)ni=m時，將當(dāng)前niXni塊記為pXq±央，p=ni，q=rii，并標(biāo)記該pXq塊的塊映射類型為逐像素映射型，然后執(zhí)行步驟①_10，當(dāng)〉m時，繼續(xù)執(zhí)行；①-4、將當(dāng)前niXni塊分解成2個"'x,塊，分別計算2個"^"|塊的背離值，判斷2個"'xf塊的背離值是否均小于閾值，如果是，則將2個巧x,塊分別記為pxq塊，p=ni，《=f，并標(biāo)記該2個pXq塊的塊映射類型為整塊映射型，然后執(zhí)行步驟①-10，否則，繼續(xù)執(zhí)行；①_5、對當(dāng)前niXni塊進行重新分解，分解成2個"lx巧塊，分別計算2個,x巧塊的背離值，判斷2個"lx"i塊的背離值是否均小于閾值，如果是，則將2個,x",塊分別記為pXq±A，P="|，q=ni，并標(biāo)記該2個pXq塊的塊映射類型為整塊映射型，然后執(zhí)行步驟①-10，否則，繼續(xù)執(zhí)行；①-6、當(dāng)步驟①-4中的2個",xl塊中的其中一個塊的背離值小于閾值時，將背離值小于閾值的",xf塊記為pXq塊，p二ni，《-^，標(biāo)記該pXq塊的塊映射類型為整塊映射型，并將背離值大于等于閾值的"^f塊分解為2個"lxl塊，然后執(zhí)行步驟①-9;當(dāng)2水",x》塊的背離值均大于等于閾值時，繼續(xù)執(zhí)行；12①-7、當(dāng)步驟①-5中的2個"lx巧塊中的其中一個塊的背離值小于閾值時，將背離值小于閾值的"|><",塊記為pXq塊，p=*，q=ni，標(biāo)記該pXq塊的塊映射類型為整塊映射型，并將背離值大于等于閾值的"lx",塊分解為2個lx,塊，然后執(zhí)行步驟①-9;當(dāng)2個,x",塊的背離值均大于等于閾值時，繼續(xù)執(zhí)行；①-8、對當(dāng)前niXni塊進行重新分解，分解成4個fxf塊，并繼續(xù)執(zhí)行；①_9、將i加1，然后將步驟①_6或步驟①-7或步驟①-8得到的各個,x,塊記為fx,塊，令^=%"再返回步驟@_3繼續(xù)執(zhí)行，直至當(dāng)前niXni塊已分解為尺寸大小為預(yù)設(shè)尺寸值m的塊或分解得到的塊的背離值小于閾值為止；①-10、將當(dāng)前16X16塊中的下一個niXrii塊作為當(dāng)前niXrii塊，并將i值置為1，然后返回步驟①_3繼續(xù)執(zhí)行，直至當(dāng)前16乂16塊中的所有riiXni塊處理完畢；①-ll、將下一個16X16塊作為當(dāng)前16X16塊，并返回步驟①-2繼續(xù)執(zhí)行，直至t時刻的第k個參考視點的深度圖像DK,tk中的所有16X16塊處理完畢；①_12、根據(jù)t時刻的第k個參考視點的深度圖像DK,tk的pXq塊的劃分及各個pXq塊標(biāo)記的塊映射類型，將t時刻的第k個參考視點的彩色圖像1^k劃分成相應(yīng)的尺寸大小為(p+Ap)X(q+Aq)的塊，并標(biāo)記相應(yīng)的塊映射類型，具體過程為a.定義t時刻的第k個參考視點的深度圖像DK,tk中的第一個pXq塊為當(dāng)前pXq±央，將t時刻的第k個參考視點的彩色圖像IK,tk中坐標(biāo)位置與當(dāng)前pXq塊相同的對應(yīng)塊作為t時刻的第k個參考視點的彩色圖像IK,tk中的PXq塊；b.將t時刻的第k個參考視點的彩色圖像IK,tk中的該pXq塊向右擴展Ap個像素點且向下擴展Aq個像素點，形成t時刻的第k個參考視點的彩色圖像Iuk中的尺寸大小為(p+Ap)X(q+Aq)的塊；C.根據(jù)當(dāng)前pXq塊的塊映射類型，將該尺寸大小為(p+Ap)X(q+Aq)的塊的塊映射類型標(biāo)記為與當(dāng)前pXq塊的塊映射類型相同的塊映射類型；d.將t時刻的第k個參考視點的深度圖像Duk中的下一個pXq塊作為當(dāng)前pXq塊，返回執(zhí)行步驟a，直至t時刻的第k個參考視點的深度圖像DK,tk中的所有pXq塊處理完畢。上述具體步驟中，背離值的計算過程為記背離值為o，通過^^2:2x,,、一^^zsi《廣巧、j=i:zk,-J|、^X/:c=0y=0YAAJ義=0少=0x-0少-O^V"^S2K,廠巧"-2^l《,廣3中的任一個公式計算得到，其中，dx,y為需要計算背離值的塊中坐標(biāo)為(x，y)的像素點的像素值，d為需要計算背離值的塊包含的所有像素一1義-l1點的像素值的平均值，其值為J-V"7Z5]《y，xxY表示需要計算背離值的塊的尺寸大小。上述具體步驟中的閾值是根據(jù)計算背離值的不同方式確定的，如果在實際應(yīng)用過13程中背離值采用O"-計算得到，那么對于8XS塊、或8X4塊、或4XS塊，閾值可取l，對于其余塊閾值可取0.5。在此具體實施例中，預(yù)設(shè)尺寸值m的值可以為8、4、2、1中的任一值，如果預(yù)設(shè)尺寸值m的值取得較小，則可取得較好的劃分效果，但與m值較大時相比，計算復(fù)雜度會有所增加。在此具體實施例中，對于t時刻的第k個參考視點的彩色圖像IK,tk中的尺寸大小為(p+Ap)X(q+Aq)的塊，如果該塊的塊映射類型為逐像素映射型，則該塊的Ap=0，Aq=0。而如果塊映射類型為整塊映射型，則該塊的Ap=1，Aq=1。非零的Ap和Aq有助于減少塊映射時在塊與塊之間產(chǎn)生的空洞。由于這樣的空洞通常為一個像素的寬度，因此對于整塊映射型的(P+Ap)X(q+Aq)塊通常取Ap=1，Aq=1。②逐一處理t時刻的第k個參考視點的彩色圖像IK,tk中的NKk個尺寸大小為(p+Ap)X(q+Aq)的塊，定義正在處理的t時刻的第k個參考視點的彩色圖像IK,tk中的第n個塊Bnk為當(dāng)前塊Bnk，記需繪制的虛擬視點彩色圖像為ID,tk，當(dāng)當(dāng)前塊Bnk的塊映射類型為逐像素映射型時，利用t時刻的第k個參考視點的深度圖像DK,tk所提供的深度信息，采用公知的三維圖像變換方法逐像素點計算當(dāng)前塊Bnk中的各個像素點在需繪制的虛擬視點彩色圖像ID,tk中的坐標(biāo)位置，并將當(dāng)前塊Bnk中的各個像素點逐像素點地映射到需繪制的虛擬視點彩色圖像ID,tk中；當(dāng)當(dāng)前塊Bnk的塊映射類型為整塊映射型時，選取當(dāng)前塊Bnk中的一個像素點，再利用t時刻的第k個參考視點的深度圖像Duk所提供的該像素點的深度信息，采用公知的三維圖像變換方法計算該像素點在需繪制的虛擬視點彩色圖像ID,tk中的坐標(biāo)位置，得到把該像素點從t時刻的第k個參考視點的彩色圖像IK,tk映射到需繪制的虛擬視點彩色圖像ID,tk中的坐標(biāo)映射關(guān)系，并利用該坐標(biāo)映射關(guān)系將當(dāng)前塊Bnk中的各個像素點映射到需繪制的虛擬視點彩色圖像ID,tk中。在此具體實施例中，當(dāng)當(dāng)前塊Bnk的塊映射類型為整塊映射型時，將當(dāng)前塊Bnk中的各個像素點映射到需繪制的虛擬視點彩色圖像I。,tk中的具體過程為a.任取當(dāng)前塊Bnk中的一個像素點，記該像素點的坐標(biāo)為(X。，y。)，將該像素點到當(dāng)前塊Bnk的左邊界的距離記為Ax，將該像素點到當(dāng)前塊Bnk的下邊界的距離記為Ay，則該像素點到當(dāng)前塊Bnk的右邊界的距離為(P+Ap)-Ax-l，該像素點到當(dāng)前塊Bnk的上邊界的距離為(q+Aq)-Ay-l;b.利用t時刻的第k個參考視點的深度圖像DK,tk所提供的坐標(biāo)為(x。，y。)的像素點的深度信息，采用公知的三維圖像變換方法計算坐標(biāo)為(x。，y。)的像素點在需繪制的虛擬視點彩色圖像I。,tk中的坐標(biāo)位置，記計算得到的坐標(biāo)位置為(x'。，y'。)；c.計算需繪制的虛擬視點彩色圖像I。,tk中坐標(biāo)為(x'，y')的像素點的像素值，其中，(x'。-Ax)《x'《(x'c+((p+Ap)-Ax-l))，(y'C-Ay)《y'《(y'。+((q+Aq)-Ay-l))，記由t時刻的第k個參考視點的彩色圖像1^k和t時刻的第k個參考視點的深度圖像Duk繪制得到的虛擬視點彩色圖像ID,tk中坐標(biāo)為(x'，y')的像素點的像素值為1。？0^，y')，《')=4(^+-;<，凡+/-乂)，其中，IK,tk(x。+x'-x'。，y。+y'-y'。)為t時刻的第k個參考視點的彩色圖像IK,tk中坐標(biāo)為(x。+x'-x'。，y。+y'-y'。)的像素點的像素值。圖4給出了將整塊映射型的塊Bnk中的各個像素點采用相同的坐標(biāo)映射關(guān)系映射到需繪制的虛擬視點彩色圖像ID,tk中的示14意圖。需要說明的是，采用三維圖像變換的方法將某參考視點的彩色圖像重投影到虛擬視點彩色圖像的過程如下首先利用深度信息將參考視點的彩色圖像中的像素點重投影到實際的三維空間中，然后再將這些三維空間中的點投影到目標(biāo)圖像平面即虛擬視點圖像平面上。該過程不僅能將參考視點的彩色圖像中各個像素點重投影到虛擬視點彩色圖像中，同時也能獲取虛擬視點彩色圖像對應(yīng)的深度圖像。③重復(fù)步驟②將t時刻的第k個參考視點的彩色圖像IK,tk中的所有塊全部映射到需繪制的虛擬視點彩色圖像ID,tk中，得到由t時刻的第k個參考視點的彩色圖像1^k和t時刻的第k個參考視點的深度圖像DK,tk繪制成的虛擬視點彩色圖像ID,tk。④重復(fù)步驟①③直至得到由K個參考視點的彩色圖像和其對應(yīng)的深度圖像分別繪制成的K幅虛擬視點彩色圖像，K幅虛擬視點彩色圖像用集合表示為{《,,|1^^}。⑤采用現(xiàn)有的成熟的圖像融合方法融合由K個參考視點的彩色圖像和其對應(yīng)的深度圖像分別繪制得到的K幅虛擬視點彩色圖像，得到融合后的虛擬視點彩色圖像，記融合后的虛擬視點彩色圖像為I'D,t，并對融合后的虛擬視點彩色圖像I'。,t中的空洞像素點進行填補，例如采用公知的圖像插值的方法進行空洞填補，得到最終的虛擬視點彩色圖像，記最終的虛擬視點彩色圖像為ID,t。實施例二本實施例與實施例一的處理過程基本相同，不同之處僅在于在本實施例中根據(jù)向需繪制的虛擬視點彩色圖像映射方式的不同，塊映射類型分三種情況，即逐像素映射型、整塊映射型和坐標(biāo)拷貝型，即塊映射類型多了一種坐標(biāo)拷貝型。在這種情況下，在步驟①-2中將當(dāng)前16X16塊直接記為niXni塊或分解為4個8X8塊之前，應(yīng)先判斷當(dāng)前16X16塊的編碼模式是否為SKIP模式且運動矢量是否為0，如果編碼模式為SKIP模式且運動矢量為0，則將當(dāng)前16X16塊記為pXq塊，p=16，q=16，并標(biāo)記該pXq塊的塊映射類型為坐標(biāo)拷貝型，然后執(zhí)行步驟①-ll，否則，將當(dāng)前16X16塊直接記為riiXrii塊或分解為4個8X8塊。對于塊映射類型為坐標(biāo)拷貝型的(p+Ap)X(q+Aq)塊，該塊的Ap=0，Aq=0。在步驟②中當(dāng)當(dāng)前塊Bnk的塊映射類型為坐標(biāo)拷貝型時，在將當(dāng)前塊Bnk的各個像素點從t時刻的第k個參考視點的彩色圖像IK,tk映射到需繪制的虛擬視點彩色圖像ID,tk中時，當(dāng)前塊Bj的各個像素點的坐標(biāo)映射關(guān)系采用t時刻的第k個參考視點的彩色圖像IK,tk的參考幀IK,t-rk中與當(dāng)前塊Bnk坐標(biāo)位置相同的對應(yīng)塊中的對應(yīng)像素點的坐標(biāo)映射關(guān)系，其中，r為一非零整數(shù)且|r|〈圖像組GOP的長度。在本實施例中，參考幀為t時刻的第k個參考視點的彩色圖像Iuk在時域上的前一幀彩色圖像，即r=1。以下通過客觀比較現(xiàn)有的逐像素三維圖像變換方法與本發(fā)明方法，以證明本發(fā)明方法的有效性和可行性。表1給出了本發(fā)明實施例二所給出的方法與采用傳統(tǒng)的逐像素三維圖像變換方法相比在繪制時間上節(jié)省的情況。采用傳統(tǒng)的逐像素三維圖像變換方法平均一幀的繪制時間是41ms，表l中給出了采用本發(fā)明方法平均一幀的繪制時間(逐像素映射型的塊的預(yù)設(shè)尺寸值m=2)。由表1可見，隨著量化參數(shù)QP的增加，由于深度圖像壓縮時采用SKIP模式的塊數(shù)量的增多，本發(fā)明方法繪制一幀圖像平均所用的時間節(jié)省比例也隨之增加。在本發(fā)明中，時間節(jié)省的比例在45%57%。這里，背離值采用了O"-的計算方法，對于8X8、8X4、4X8塊閾值為l，其余塊閾值為O.5。圖5a給出了一幅"Ballet"測試序列的在虛擬視點位置實際拍攝得到的彩色圖像的局部區(qū)域圖，圖5b給出了采用現(xiàn)有的逐像素三維圖像變換方法繪制得到的虛擬視點彩色圖像的局部區(qū)域圖，圖5c給出了采用本發(fā)明實施例二的方法繪制得到的虛擬視點彩色圖像的局部區(qū)域圖，對比圖5a、圖5b及圖5c，可知圖5c得到的結(jié)果較接近于圖5a所示的圖像，而圖5b得到的結(jié)果明顯差于圖5c得到的結(jié)果；圖6a給出了一幅"Ballet"測試序列的在虛擬視點位置實際拍攝得到的彩色圖像的另一局部區(qū)域圖，圖65b給出了采用現(xiàn)有的逐像素三維圖像變換方法繪制得到的虛擬視點彩色圖像的局部區(qū)域圖，圖6c給出了采用本發(fā)明實施例二的方法繪制得到的虛擬視點彩色圖像的局部區(qū)域圖，對比圖6a、圖6b及圖6c，可知圖6c得到的結(jié)果較接近于圖6a所示的圖像，而圖6b得到的結(jié)果明顯差于圖6c得到的結(jié)果，綜合分析，可知本發(fā)明方法繪制得到的虛擬視點彩色圖像主觀質(zhì)量明顯優(yōu)于采用傳統(tǒng)的逐像素三維圖像變換方法繪制得到的虛擬視點彩色圖像。由此可見，本發(fā)明方法是有效的且是可行的，在保證虛擬視點彩色圖像繪制精度的同時，大大提高了繪制的速度。表1本發(fā)明方法與采用逐像素三維圖像變換方法相比在時間上節(jié)省的百分比<table>tableseeoriginaldocumentpage16</column></row><table>權(quán)利要求一種基于可分級塊的虛擬視點圖像繪制方法，其特征在于包括以下具體步驟①獲取t時刻的K個參考視點的尺寸大小為P×Q的K幅彩色圖像及其對應(yīng)的K幅深度圖像，將t時刻的第k個參考視點的彩色圖像記為IR，tk，將t時刻的第k個參考視點的深度圖像記為DR，tk，將t時刻的第k個參考視點的彩色圖像IR，tk自適應(yīng)地劃分成NRk個尺寸大小為(p+Δp)×(q+Δq)的塊，并標(biāo)記各個塊的塊映射類型，塊映射類型包括逐像素映射型和整塊映射型，記t時刻的第k個參考視點的彩色圖像IR，tk中的第n個塊為Bnk，其中，k∈[1，K]，p和q的值均為16、8、4、2、1五個值中的一個，Δp表示塊Bnk與其右相鄰塊之間重疊的像素點的列數(shù)，0≤Δp≤2，當(dāng)Δp＝0時表示塊Bnk與其右相鄰塊不重疊或表示塊Bnk為t時刻的第k個參考視點的彩色圖像IR，tk的右邊界處的塊，Δq表示塊Bnk與其下相鄰塊之間重疊的像素點的行數(shù)，0≤Δq≤2，當(dāng)Δq＝0時表示塊Bnk與其下相鄰塊不重疊或表示塊Bnk為t時刻的第k個參考視點的彩色圖像IR，tk的下邊界處的塊；此處，將t時刻的第k個參考視點的彩色圖像IR，tk自適應(yīng)地劃分成NRk個尺寸大小為(p+Δp)×(q+Δq)的塊并標(biāo)記各個塊的塊映射類型的具體步驟為①-1、將t時刻的第k個參考視點的深度圖像DR，tk劃分成個互不重疊的16×16塊，其中，P表示深度圖像的寬，Q表示深度圖像的高；①-2、定義當(dāng)前正在處理的16×16塊為當(dāng)前16×16塊，將當(dāng)前16×16塊記為ni×ni塊，或?qū)?dāng)前16×16塊分解為4個8×8塊，將4個8×8塊均記為ni×ni塊，其中，i的初始值為1；①-3、定義當(dāng)前正在處理的ni×ni塊為當(dāng)前ni×ni塊，計算當(dāng)前ni×ni塊的背離值，判斷當(dāng)前ni×ni塊的背離值是否小于閾值，如果是，則將當(dāng)前ni×ni塊記為p×q塊，p＝ni，q＝ni，并標(biāo)記該p×q塊的塊映射類型為整塊映射型，然后執(zhí)行步驟①-10，否則，再判斷ni是否等于預(yù)設(shè)尺寸值m，其中，m≤ni，當(dāng)ni＝m時，將當(dāng)前ni×ni塊記為p×q塊，p＝ni，q＝ni，并標(biāo)記該p×q塊的塊映射類型為逐像素映射型，然后執(zhí)行步驟①-10，當(dāng)ni＞m時，繼續(xù)執(zhí)行；①-4、將當(dāng)前ni×ni塊分解成2個塊，分別計算2個塊的背離值，判斷2個塊的背離值是否均小于閾值，如果是，則將2個塊分別記為p×q塊，p＝ni，并標(biāo)記該2個p×q塊的塊映射類型為整塊映射型，然后執(zhí)行步驟①-10，否則，繼續(xù)執(zhí)行；①-5、對當(dāng)前ni×ni塊進行重新分解，分解成2個塊，分別計算2個塊的背離值，判斷2個塊的背離值是否均小于閾值，如果是，則將2個塊分別記為p×q塊，q＝ni，并標(biāo)記該2個p×q塊的塊映射類型為整塊映射型，然后執(zhí)行步驟①-10，否則，繼續(xù)執(zhí)行；①-6、當(dāng)步驟①-4中的2個塊中的其中一個塊的背離值小于閾值時，將背離值小于閾值的塊記為p×q塊，p＝ni，標(biāo)記該p×q塊的塊映射類型為整塊映射型，并將背離值大于等于閾值的塊分解為2個塊，然后執(zhí)行步驟①-9；當(dāng)2個塊的背離值均大于等于閾值時，繼續(xù)執(zhí)行；①-7、當(dāng)步驟①-5中的2個塊中的其中一個塊的背離值小于閾值時，將背離值小于閾值的塊記為p×q塊，q＝ni，標(biāo)記該p×q塊的塊映射類型為整塊映射型，并將背離值大于等于閾值的塊分解為2個塊，然后執(zhí)行步驟①-9；當(dāng)2個塊的背離值均大于等于閾值時，繼續(xù)執(zhí)行；①-8、對當(dāng)前ni×ni塊進行重新分解，分解成4個塊，并繼續(xù)執(zhí)行；①-9、將i加1，然后將步驟①-6或步驟①-7或步驟①-8得到的各個塊記為塊，令再返回步驟①-3繼續(xù)執(zhí)行，直至當(dāng)前ni×ni塊已分解為尺寸大小為預(yù)設(shè)尺寸值m的塊或分解得到的塊的背離值小于閾值為止；①-10、將當(dāng)前16×16塊中的下一個ni×ni塊作為當(dāng)前ni×ni塊，并將i值置為1，然后返回步驟①-3繼續(xù)執(zhí)行，直至當(dāng)前16×16塊中的所有ni×ni塊處理完畢；①-11、將下一個16×16塊作為當(dāng)前16×16塊，并返回步驟①-2繼續(xù)執(zhí)行，直至t時刻的第k個參考視點的深度圖像DR，tk中的所有16×16塊處理完畢；①-12、根據(jù)t時刻的第k個參考視點的深度圖像DR，tk的p×q塊的劃分及各個p×q塊標(biāo)記的塊映射類型，將t時刻的第k個參考視點的彩色圖像IR，tk劃分成相應(yīng)的尺寸大小為(p+Δp)×(q+Δq)的塊，并標(biāo)記相應(yīng)的塊映射類型，具體過程為a.定義t時刻的第k個參考視點的深度圖像DR，tk中的第一個p×q塊為當(dāng)前p×q塊，將t時刻的第k個參考視點的彩色圖像IR，tk中坐標(biāo)位置與當(dāng)前p×q塊相同的對應(yīng)塊作為t時刻的第k個參考視點的彩色圖像IR，tk中的p×q塊；b.將t時刻的第k個參考視點的彩色圖像IR，tk中的該p×q塊向右擴展Δp個像素點且向下擴展Δq個像素點，形成t時刻的第k個參考視點的彩色圖像IR，tk中的尺寸大小為(p+Δp)×(q+Δq)的塊；c.根據(jù)當(dāng)前p×q塊的塊映射類型，將該尺寸大小為(p+Δp)×(q+Δq)的塊的塊映射類型標(biāo)記為與當(dāng)前p×q塊的塊映射類型相同的塊映射類型；d.將t時刻的第k個參考視點的深度圖像DR，tk中的下一個p×q塊作為當(dāng)前p×q塊，返回執(zhí)行步驟a，直至t時刻的第k個參考視點的深度圖像DR，tk中的所有p×q塊處理完畢；②逐一處理t時刻的第k個參考視點的彩色圖像IR，tk中的NRk個尺寸大小為(p+Δp)×(q+Δq)的塊，定義正在處理的t時刻的第k個參考視點的彩色圖像IR，tk中的第n個塊Bnk為當(dāng)前塊Bnk，記需繪制的虛擬視點彩色圖像為ID，tk，當(dāng)當(dāng)前塊Bnk的塊映射類型為逐像素映射型時，利用t時刻的第k個參考視點的深度圖像DR，tk所提供的深度信息，采用公知的三維圖像變換方法逐像素點計算當(dāng)前塊Bnk中的各個像素點在需繪制的虛擬視點彩色圖像ID，tk中的坐標(biāo)位置，并將當(dāng)前塊Bnk中的各個像素點逐像素點地映射到需繪制的虛擬視點彩色圖像ID，tk中；當(dāng)當(dāng)前塊Bnk的塊映射類型為整塊映射型時，選取當(dāng)前塊Bnk中的一個像素點，再利用t時刻的第k個參考視點的深度圖像DR，tk所提供的該像素點的深度信息，采用公知的三維圖像變換方法計算該像素點在需繪制的虛擬視點彩色圖像ID，tk中的坐標(biāo)位置，得到把該像素點從t時刻的第k個參考視點的彩色圖像IR，tk映射到需繪制的虛擬視點彩色圖像ID，tk中的坐標(biāo)映射關(guān)系，并利用該坐標(biāo)映射關(guān)系將當(dāng)前塊Bnk中的各個像素點映射到需繪制的虛擬視點彩色圖像ID，tk中；③重復(fù)步驟②將t時刻的第k個參考視點的彩色圖像IR，tk中的所有塊全部映射到需繪制的虛擬視點彩色圖像ID，tk中，得到由t時刻的第k個參考視點的彩色圖像IR，tk和t時刻的第k個參考視點的深度圖像DR，tk繪制成的虛擬視點彩色圖像ID，tk；④重復(fù)步驟①～③直至得到由K個參考視點的彩色圖像和其對應(yīng)的深度圖像分別繪制成的K幅虛擬視點彩色圖像，K幅虛擬視點彩色圖像用集合表示為{ID，tk|1≤k≤K}；⑤采用圖像融合方法融合由K個參考視點的彩色圖像和其對應(yīng)的深度圖像分別繪制得到的K幅虛擬視點彩色圖像，得到融合后的虛擬視點彩色圖像，記融合后的虛擬視點彩色圖像為I′D，t，并對融合后的虛擬視點彩色圖像I′D，t中的空洞像素點進行填補，得到最終的虛擬視點彩色圖像，記最終的虛擬視點彩色圖像為ID，t。2.根據(jù)權(quán)利要求l所述的一種基于可分級塊的虛擬視點圖像繪制方法，其特征在于所述的背離值的計算過程為記背離值為0，通過"-lT"FH]l《,廣J、<formula>formulaseeoriginaldocumentpage4</formula>CT=lSk，,—^中的任一個公式計算得到，其中，《y為需要計算背離值的塊中坐標(biāo)為(X，jc-0產(chǎn)0y)的像素點的像素值，d為需要計算背離值的塊包含的所有像素點的像素值的平均值，其—i義-1r-l值為^=1^2]1]《,，^乂￥表示需要計算背離值的塊的尺寸大小。Jx/義=0"o3.根據(jù)權(quán)利要求l或2所述的一種基于可分級塊的虛擬視點圖像繪制方法，其特征在于所述的步驟②中當(dāng)當(dāng)前塊Bnk的塊映射類型為整塊映射型時，將當(dāng)前塊Bnk中的各個像素點映射到需繪制的虛擬視點彩色圖像1。,？中的具體過程為a.任取當(dāng)前塊Bnk中的一個像素點，記該像素點的坐標(biāo)為(x。，y。)，將該像素點到當(dāng)前塊Bnk的左邊界的距離記為Ax，將該像素點到當(dāng)前塊Bnk的下邊界的距離記為Ay，則該像素點到當(dāng)前塊Bnk的右邊界的距離為(P+Ap)-Ax-l，該像素點到當(dāng)前塊Bnk的上邊界的距離為(q+Aq)-Ay-l;b.利用t時刻的第k個參考視點的深度圖像DK,tk所提供的坐標(biāo)為(x。，y。)的像素點的深度信息，采用公知的三維圖像變換方法計算坐標(biāo)為(x。，y。)的像素點在需繪制的虛擬視點彩色圖像I。,tk中的坐標(biāo)位置，記計算得到的坐標(biāo)位置為(x'。，y'。)；c.計算需繪制的虛擬視點彩色圖像I。,tk中坐標(biāo)為(x'，y')的像素點的像素值，其中，(x'。-Ax)《x'《(x'。+((p+Ap)-Ax-l))，(y'C-Ay)《y'《(y'。+((q+Aq)-Ay-l))，記由t時刻的第k個參考視點的彩色圖像1^k和t時刻的第k個參考視點的深度圖像Duk繪制得到的虛擬視點彩色圖像ID,tk中坐標(biāo)為(x'，y')的像素點的像素值為1。？"'，y')，/1((x',/)-4(A+一《,^"'-乂)，其中，IK,tk(x。+x'-x'。，y。+y'-y'。)為t時刻的第k個參考視點的彩色圖像IK,tk中坐標(biāo)為(xe+X'-x'e，ye+y'-y'e)的像素點的像素值。4.根據(jù)權(quán)利要求1所述的一種基于可分級塊的虛擬視點圖像繪制方法，其特征在于所述的步驟①中的塊映射類型還包括坐標(biāo)拷貝型，在所述的步驟①_2中將當(dāng)前16X16塊直接記為riiXrii塊或分解為4個8X8塊之前，先判斷當(dāng)前16X16塊的編碼模式是否為SKIP模式且運動矢量是否為0，如果編碼模式為SKIP模式且運動矢量為0，則將當(dāng)前16X16塊記為PXq塊，p=16，q=16，并標(biāo)記該pXq塊的塊映射類型為坐標(biāo)拷貝型，然后執(zhí)行步驟①-11，否則，將當(dāng)前16X16塊直接記為&X&塊或分解為4個8X8±央。5.根據(jù)權(quán)利要求4所述的一種基于可分級塊的虛擬視點圖像繪制方法，其特征在于所述的步驟②中當(dāng)當(dāng)前塊Bnk的塊映射類型為坐標(biāo)拷貝型時，在將當(dāng)前塊Bnk的各個像素點從t時刻的第k個參考視點的彩色圖像IK,tk映射到需繪制的虛擬視點彩色圖像ID,tk中時，當(dāng)前塊Bnk的各個像素點的坐標(biāo)映射關(guān)系采用t時刻的第k個參考視點的彩色圖像IK,tk的參考幀IK,t-rk中與當(dāng)前塊Bnk坐標(biāo)位置相同的對應(yīng)塊中的對應(yīng)像素點的坐標(biāo)映射關(guān)系，其中，r為一非零整數(shù)且|r|〈圖像組G0P的長度。全文摘要本發(fā)明公開了一種基于可分級塊的虛擬視點圖像繪制方法，優(yōu)點在于根據(jù)參考視點的深度圖像的平滑與否自適應(yīng)地將彩色圖像劃分成若干個尺寸大小不盡相同的塊，對于整塊映射型塊只需對該塊中的一個像素點實施三維圖像變換以確定將該像素點從彩色圖像投影到虛擬視點彩色圖像的坐標(biāo)映射關(guān)系，然后整個塊采用此坐標(biāo)映射關(guān)系投影到虛擬視點彩色圖像中，由于只對一個像素點實施三維圖像變換，因而可有效提高整塊映射型塊的繪制速度；對于逐像素映射型塊，由于這些塊主要位于對象與背景的邊界區(qū)域，因此仍采用逐像素映射的三維圖像變換方法將塊中的各個像素點映射到虛擬視點彩色圖像中，有效保證了繪制精度。文檔編號G06T15/00GK101695139SQ20091015332公開日2010年4月14日申請日期2009年10月14日優(yōu)先權(quán)日2009年10月14日發(fā)明者朱波,蔣剛毅,郁梅申請人:寧波大學(xué);