專利名稱：感興趣區(qū)域增強的視點繪制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視點繪制方法，特別是一種基于感興趣區(qū)域增強的新視點繪制方
法。
背景技術(shù)：
三維電視系統(tǒng)以其獨特的立體感、沉浸感及漫游特性而受到越來越多的關(guān)注。而 多視視頻已經(jīng)廣泛的應(yīng)用于三維電視系統(tǒng)，因此基于多視視頻的繪制技術(shù)也受到越來越多 的關(guān)注，根據(jù)繪制技術(shù)所采用幾何量的多少，可以分為三類無幾何信息的表示；隱含幾何 信息的表示；有明確幾何信息的表示。其中最著名的就是光場繪制，它由于不需采用任何幾 何信息，而且能在虛擬視點上生成高質(zhì)量的圖像。采樣定理表明如果我們有更多的場景信 息的話(例如深度)可以獲得更多令人滿意的圖像，因此，如果我們將原始的場景用足夠多 的深度層來繪制的話，將會得到一個好的繪制結(jié)果。但是，隨著深度層的增加計算時間將線 性上升。因此，在繪制過程中需解決繪制效果和時間復(fù)雜度的平衡。Isaksen等人在此基礎(chǔ)上引入了可移動虛擬焦平面(VFP)的概念，從而將繪制技 術(shù)推進到一個新階段。該方法可以改變攝像機焦距，合成位于任意焦平面上的場景物體。如 果物體的實際深度不在虛擬的焦平面上，那么繪制結(jié)果往往不盡如人意，產(chǎn)生模糊和重影。 為了提高繪制效果，研究者們又在此基礎(chǔ)上做出許多改進，例如將場景深度信息引入繪制 當(dāng)中，或者離線預(yù)先構(gòu)架場景模型，K. Takahashi等人提出了一種獨創(chuàng)的測度——聚焦測度 (相當(dāng)于一種代價函數(shù))來獲得完全聚焦型繪制結(jié)果，Xun Cao等人在此基礎(chǔ)上采用多個虛 擬焦平面，然后再將各個合成場景中清晰部分通過清晰度函數(shù)測量，拼合成一個全清晰的 場景圖。某些研究者也通過簡化幾何模型來減少運算所需的時間，但在實踐中發(fā)現(xiàn)精確的 幾何信息的計算非常困難。對于繪制端的重建而言，人眼始終是最終的信號接受者，因此，繪制算法應(yīng)該考慮 到人眼的視覺關(guān)注度，只有這樣才能在解碼端獲得較好主觀質(zhì)量的重建圖像。為了保證在關(guān)注度較高的區(qū)域獲得較好的主觀質(zhì)量，并且在整個視頻編碼端有較 少的傳輸帶寬，本發(fā)明提供一種感興趣區(qū)域增強的視點繪制方法。對于之前的其它方法，本 方法根據(jù)標(biāo)識出的感興趣區(qū)域?qū)ο∈璧纳疃葓D進行增強，充分考慮人眼的視覺關(guān)注度，然 后通過增強后的深度圖，根據(jù)相機參數(shù)和幾何場景進行視點繪制，從而得到新的視點圖像。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種感興趣區(qū)域增強的視點繪制方法。相對于現(xiàn)有的其它方 法，本方法根據(jù)標(biāo)識出的感興趣區(qū)域?qū)ο∈璧纳疃葓D進行增強，然后通過增強后的深度圖， 根據(jù)相機參數(shù)和幾何場景進行視點繪制，從而得到新的視點圖像。為達到上述目的，本發(fā)明的構(gòu)思是首先根據(jù)采集系統(tǒng)參數(shù)、場景幾何信息建立光場相機采集方式相機幾何模型，然 后計算出感興趣區(qū)域，通過標(biāo)識出的感興趣區(qū)域?qū)υ鞠∈璧纳疃葓D進行增強，然后通過增強后的深度圖，根據(jù)相機參數(shù)和幾何場景進行光場繪制，從而得到新的視點圖像。根據(jù)上述構(gòu)思，本發(fā)明的技術(shù)方案是一種感興趣區(qū)域增強的視點繪制方法。其特征在于首先根據(jù)采集系統(tǒng)參數(shù)，場景 幾何信息，建立相機的幾何模型。接著根據(jù)光場相機的幾何模型確定虛擬相機周圍的各個 相機。其次對鄰近的相機圖像，通過編碼端的塊匹配算法得出初始視差場，然后進行感興趣 區(qū)域分析和檢測，接著加強感興趣區(qū)域的原始深度信息。最后用相機的幾何模型和加強后 的深度信息進行虛擬視點的繪制。其具體步驟是(1)建立相機幾何模型針對采集系 統(tǒng)參數(shù)及場景信息建立相機幾何模型，并且 根據(jù)光場相機的幾何模型確定虛擬相機周圍的各個相機；(2)初始視差圖的計算、感興趣區(qū)域分析和檢測根據(jù)相機幾何模型得到最鄰近 的相機圖像，通過塊匹配算法得出初始視差圖；感興趣區(qū)域分析和檢測用經(jīng)典的Itti模 型得到感興趣區(qū)域，并進行分析；(3)基于感興趣區(qū)域深度信息的加強利用檢測到的感興趣區(qū)域?qū)υ忌疃刃畔?進行加強；(4)虛擬視點的繪制方法根據(jù)相機的幾何模型和加強后的深度信息完成虛擬視 點的繪制，生成新視點。本發(fā)明與已有技術(shù)相比較，具有如下顯而易見的實質(zhì)性突出特點和顯著優(yōu)點之 前方法大多通過復(fù)雜的深度計算或者簡化幾何模型的方法來進行重建，在實際應(yīng)用中很難 實現(xiàn)，而本發(fā)明則通過理論分析，根據(jù)人眼視覺特點采用基于感興趣區(qū)域增強的深度圖的 繪制，大大降低了重建新視點的計算復(fù)雜度，從而易于應(yīng)用實現(xiàn)。實驗驗證，可以得到良好 的重建質(zhì)量，對多視點系統(tǒng)的視點重建具有參考價值。


圖1是本發(fā)明的一種感興趣區(qū)域增強的視點繪制方法流程框圖。圖2是圖1中的建立相機幾何模型的程序框圖。圖3是圖1中的感興趣區(qū)域分析和檢測的程序框圖。圖4是圖1中的基于感興趣區(qū)域深度信息增強的程序框圖。圖5是圖1中的虛擬視的繪制方法的程序框圖。圖6是視點重建結(jié)果圖。
具體實施例方式本發(fā)明的一個實施例子結(jié)合附圖詳述如下本感興趣區(qū)域增強的視點繪制方法的具體步驟如圖1流程框圖所示。對于實際場 景通過相機采集及顯示系統(tǒng)進行實驗，圖7給出視點重建結(jié)果。參見圖1，其步驟是(1)建立相機幾何模型針對采集系統(tǒng)參數(shù)及場景信息建立相機幾何模型，并且 根據(jù)光場相機的幾何模型確定虛擬相機周圍的各個相機；(2)計算初始視差圖、感興趣區(qū)域分析和檢測根據(jù)相機幾何模型得到最鄰近的 相機圖像，通過編碼端的塊匹配算法得出初始視差圖，并用經(jīng)典的Itti模型得到參考圖像的感興趣區(qū)域，并進行分析；(3)基于感興趣區(qū)域深度信息的加強利用檢測到的感興趣區(qū)域?qū)υ忌疃刃畔?進行加強；(4)虛擬視點的繪制方法根據(jù)相機的幾何模型和加強后的深度信息完成虛擬視 點繪制，生成新視點。參見圖2，上述步驟(1)的具體過程如下(a)確定相機系統(tǒng)信息(相機分辨率、虛擬相機分辨率、相機鏡頭焦距、相機陣列 擺放姿態(tài)和相機間距)，量化相機幾何模型參數(shù)；(b)根據(jù)相機系統(tǒng)參數(shù)信息確定虛擬相機周圍的各個相機；(c)由步驟(a)和步驟(b)所得參數(shù)建立相機幾何模型，其場景及相機參數(shù)如表1 所示。表 1 經(jīng)研究發(fā)現(xiàn)，當(dāng)人們?yōu)g覽圖像時，人眼視覺系統(tǒng)會對圖像中部分感興趣的區(qū)域做 出響應(yīng)，即與周圍其他部分相比此部分內(nèi)容更具有“顯著性”，顯著部分的區(qū)域稱為顯著區(qū)， 表達了人們對顯著區(qū)圖像的關(guān)注，這個過程成為視覺感知。最經(jīng)典的感興趣區(qū)域計算模型是由美國加州大學(xué)Itti提出，用于目標(biāo)檢測與識 另IJ，根據(jù)相機幾何模型得到最鄰近的相機圖像，通過編碼端的塊匹配算法得出初始視差圖， 并用經(jīng)典的Itti模型得到參考圖像的感興趣區(qū)域，并進行分析。見圖3，上述步驟(2)中的 的具體過程如下(a)特征顯著度通過計算視點圖像I (x，y)的區(qū)域中心c和周邊s的高斯差分DOG 得到，公式如下 其中，δ。和δ s分別表示中心c和周邊s的尺度因子，這種中央和周邊的差計算 用Θ表示。(b)計算亮度關(guān)注圖I (c，s) = |l(c) Θ I(s)其中，I表示亮度，θ表示中央周邊差。
(c)計算顏色關(guān)注圖RG (c，s) = |R(c)-G(c) | Θ |G(s)-R (s)BY (c，s) = IB (c) -Y (C) | Θ |Y(s) -B (s)其中，RG表示紅色R和綠色G色差，BY表示藍色B和黃色Y色差。(d)計算方向關(guān)注度0(c，s，θ) = 0(c, θ ) 0(s, θ)
其中，0表示方向，θ表示方向角度。(e)將三個方向上的關(guān)注度進行歸一化，得到最終的顯著圖salicy Itti模型從輸入圖像中提取亮度、顏色、方向等特征然后進行分析、融合得到最終 顯著圖。在計算獲取初始視差的過程中，通常在紋理較少或者遮擋區(qū)域內(nèi)容易發(fā)生匹配誤 差，特別是感興趣區(qū)域內(nèi)部更加敏感，因此不容易獲取準(zhǔn)確的感興趣區(qū)域的深度。我們可以 用下面的方法對原始深度信息進行增強；參見圖4，上述步驟(3)的具體過程如下(a)利用編碼端的塊匹配算法來計算出某個視點相機拍攝結(jié)果相對于參考視點相 機拍攝結(jié)果的視差圖，根據(jù)分割算法對參考視點進行分割，得到各個分割塊S1Oc, y)(b)根據(jù)以下公式完成對深度圖的加強DEPTH(Si(Xj))=I Σ DEPTH {SXx, y))其中，DEPTH代表深度值，salicy表示步驟(2)中得到的顯著圖(c)利用步驟(1)確定的場景信息，將視差轉(zhuǎn)成場景深度信息，并利用采樣定理確 定最佳繪制深度 其中Z。pt是理想的繪制深度，Zfflin和Zmax表示最小和最大的景深，這是采樣定理表 明的理想的繪制深度。參見圖5，上述步驟(4)的具體過程如下(a)根據(jù)相機模型及場景幾何信息，將投影點映射到空間，利用三維圖像變換方 程，已知空間中某點P在圖像平面上的投影點P (x, y)以及P的深度值Z，則可以得到X與Y 的值，從而得到P點的世界坐標(biāo) 其中，(…，力，…與(u2，v2，l)T分別為點在圖像坐標(biāo)系下的齊次坐標(biāo)，(X， Y，Z，1)為點X在世界坐標(biāo)系下的齊次坐標(biāo)，Zcl和Z。2分別表示P點在第一個和第二個攝像 機坐標(biāo)系中的Z坐標(biāo)，P和P’分別為第一個攝像機和第二個攝像機的投影矩陣。Z代表場景的深度信息，最鄰近相機用步驟(4)得到的深度，其余鄰域相機用最佳 景深來代替。(b)那么對于空間中任意一點P，若已知它的世界坐標(biāo)P= (X，Y，Z，1)T，在步驟(a) 中消去Z。，就可以求出P在圖像平面上的像素坐標(biāo)P (u，V) 其中P為3X4的矩陣，稱為投影矩陣，由攝像機內(nèi)部參數(shù)及攝像機外部參數(shù)決定。(c)在邊界的背景區(qū)域用鄰域視點的最佳景深進行合成。生成新視點，如圖6所示。圖6中(a)、(b)分別為按照本發(fā)明所述方法生成的新視點圖像。其中(a)為相對 世界坐標(biāo)的平移向量為{365. 482469,246. 047360,4066. 908006}的虛擬相機生成的新視 點圖像，(b)為相對世界坐標(biāo)的平移向量為{365. 482469,200. 047360,4066. 908006}的虛 擬相機生成的新視點圖像。按照本發(fā)明所述方法，由圖中可以直觀地看出圖像的主觀質(zhì)量 良好，因此驗證了本發(fā)明的有效性。
權(quán)利要求
一種感興趣區(qū)域增強的視點繪制方法。其特征在于首先針對采集系統(tǒng)參數(shù)、場景幾何信息，建立相機的幾何模型；接著根據(jù)光場相機的幾何模型確定虛擬相機周圍的各個相機；其次對鄰近的相機圖像，通過編碼端塊匹配算法得出視差信息，然后進行感興趣區(qū)域分析和檢測，利用檢測到的感興趣區(qū)域?qū)υ忌疃刃畔⑦M行加強；最后用相機的幾何模型和加強后的深度信息完成虛擬視點的繪制。其具體步驟是(1)建立相機幾何模型針對采集系統(tǒng)參數(shù)及場景信息建立相機幾何模型，并且根據(jù)光場相機的幾何模型確定虛擬相機周圍的各個相機；(2)計算初始視差圖、感興趣區(qū)域分析和檢測根據(jù)相機幾何模型得到最鄰近的相機圖像，通過編碼端的塊匹配算法得出初始視差圖；并用經(jīng)典的Itti模型對參考圖像分析、檢測、得到感興趣區(qū)域；(3)基于感興趣區(qū)域深度信息的加強利用檢測到的感興趣區(qū)域?qū)υ忌疃刃畔⑦M行加強；(4)虛擬視點的繪制方法根據(jù)相機的幾何模型和加強后的深度信息完成虛擬視點的繪制，生成新視點。
2.根據(jù)權(quán)利要求1所述的感興趣區(qū)域增強的視點繪制方法，其特征在于所述步驟(1) 中的相機幾何模型的建立，具體步驟如下(a)確定相機系統(tǒng)信息_相機分辨率、虛擬相機分辨率、相機鏡頭焦距、相機陣列擺放 姿態(tài)和相機間距，量化相機幾何模型參數(shù)；(b)根據(jù)相機系統(tǒng)參數(shù)信息確定虛擬相機周圍的各個相機；(c)由步驟(a)和步驟(b)所得參數(shù)建立相機幾何模型。
3.根據(jù)權(quán)利要求1所述的感興趣區(qū)域增強的視點繪制方法，其特征在于所述步驟(2) 中的感興趣區(qū)域分析和檢測，具體步驟如下(a)特征顯著度通過計算視點圖像I(x，y)的區(qū)域中心c和周邊s的高斯差分DOG得 到，這種中央和周邊的差計算用 表示；(b)計算亮度關(guān)注圖I(c, s) = I (c) I (s)其中，I表示亮度；(c)計算顏色關(guān)注圖RG(c, s) = R(c)-G(c) | G(s)-R(s)BY(c, s) = B(c)-Y(c) | Y(s)-B(s)其中，RG表示紅色R和綠色G色差，BY表示藍色B和黃色Y色差。(d)計算方向關(guān)注度0(c，s, 0 ) = |0(c，0 ) 0(s, 0 )其中，，0表示方向，0表示方向角度。(e)將三個方向上的關(guān)注度進行歸一化，得到最終的顯著圖salicyI = N(I(c,s))C = N(RG(c,s)) + N(BY(c>S))O = YHN(O(c,s,0))) N代表對函數(shù)進行歸一化，/、c. d分別代表亮度、顏色、方向上的歸一化求和后的關(guān) 注度，salicy為最終得到的顯著圖。
4.根據(jù)權(quán)利要求3所述的感興趣區(qū)域增強的視點繪制方法，其特征在于所述步驟(3) 中的基于感興趣區(qū)域深度信息的加強，具體步驟如下(a)利用編碼端的塊匹配算法來計算出某個視點相機拍攝結(jié)果相對于參考視點相機拍 攝結(jié)果的視差圖，根據(jù)分割算法對參考視點進行分割，得到各個分割塊31(^ y)；(b)根據(jù)以下公式完成深度圖的加強 其中，DEPTH代表深度值。salicy為權(quán)利3中的顯著圖；(c)根據(jù)步驟(1)確定的場景信息，利用場景信息將視差轉(zhuǎn)成場景深度信息，并利用采 樣定理確定最佳繪制深度 其中d表示該點的視差值，d_表示場景的最大視差值，Z。pt是理想的繪制深度，Zfflin和 Z_表示最小和最大的景深。
5.根據(jù)權(quán)利要求1所述的感興趣區(qū)域增強的視點繪制方法，其特征在于所述步驟(4) 中的虛擬視點的繪制方法，具體步驟如下(a)根據(jù)相機模型及場景幾何信息將投影點映射到空間，利用三維圖像變換方程，已知 空間中某點P在參考攝像機(^平面上的投影點(Ul，Vl)Ts以及P的深度值Z，則可以得到P 點的世界坐標(biāo) 其中，(Ui，。1與(u2，v2)T分別為在參考攝像機Ci平面和目標(biāo)攝像機C2平面上的圖像 坐標(biāo)系下的齊次坐標(biāo)；(X，Y，z，i)T為點p在世界坐標(biāo)系下的齊次坐標(biāo)；z。i和z。2分別表示 p點在第一個和第二個攝像機坐標(biāo)系中的z坐標(biāo)；p和P’分別為第一個攝像機和第二個攝3像機的投影矩陣，由攝像機內(nèi)部參數(shù)及攝像機外部參數(shù)決定；Z代表場景的深度信息，最鄰近相機用步驟(4)得到的深度，其余鄰域相機用最佳景深 來代替；(b)那么對于空間中任意一點P，若已經(jīng)求得它的世界坐標(biāo)P=(X，Y，Z，1)T，在步驟(a) 中消去Z。，就可以求出P在另一圖像平面上的像素坐標(biāo)(u2，v2) (c)在邊界的背景區(qū)域用鄰域視點的最佳景深進行合成。
全文摘要
本發(fā)明的目的是提供一種感興趣區(qū)域增強的視點繪制方法。本發(fā)明針對光場相機的采集方式，首先根據(jù)采集系統(tǒng)參數(shù)、場景幾何信息建立光場相機采集方式的相機幾何模型，然后計算出感興趣區(qū)域，通過標(biāo)識出的感興趣區(qū)域?qū)υ鞠∈璧纳疃葓D進行增強；然后利用增強后的深度圖，根據(jù)相機參數(shù)和幾何場景進行光場繪制，從而得到新的視點圖像。對本方法的測試表明，本發(fā)明可以得到良好的視點重建質(zhì)量。
文檔編號H04N13/00GK101883291SQ20101021541
公開日2010年11月10日 申請日期2010年6月29日 優(yōu)先權(quán)日2010年6月29日
發(fā)明者安平, 張倩, 張兆楊 申請人:上海大學(xué)