一種集成成像系統(tǒng)的深度圖獲取方法
【專利摘要】本發(fā)明公開了一種集成成像系統(tǒng)的深度圖獲取方法，首先利用計算機(jī)重構(gòu)方法生成不同視點(diǎn)的多幅視圖；從中選擇N幅具有連續(xù)水平視差的視圖，以最左一幅視圖為參考圖像或最右一幅視圖為參考圖像，分別與其他視圖進(jìn)行立體匹配，得到N-1幅視差圖；以參考圖像的N-1幅視差圖為基礎(chǔ)，對每個像素點(diǎn)的N-1個視差值進(jìn)行正比例函數(shù)擬合，擬合的系數(shù)即為該像素與最鄰近視圖的視差值，根據(jù)視差與深度的關(guān)系式，計算得到參考圖像的深度圖。本發(fā)明簡化了深度測量過程，使得立體匹配過程比較容易實現(xiàn)，降低了視圖之間在圖像邊緣區(qū)域和深度不連續(xù)區(qū)域的誤匹配，去除由于記錄噪聲等因素產(chǎn)生的誤匹配，提高了深度圖的準(zhǔn)確度。
【專利說明】一種集成成像系統(tǒng)的深度圖獲取方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于三維深度信息獲取【技術(shù)領(lǐng)域】，尤其涉及一種集成成像系統(tǒng)的深度圖獲 取方法。

【背景技術(shù)】
[0002] 深度測量在虛擬現(xiàn)實仿真的增強(qiáng)現(xiàn)實技術(shù)、立體顯示、遠(yuǎn)程醫(yī)療、基于圖形的繪制 等方面有著廣泛的應(yīng)用。深度測量是獲取三維場景深度信息的重要步驟，是機(jī)器視覺研究 領(lǐng)域的重要難題之一。
[0003] 目前深度圖的獲取主要存在兩種方式，一種是通過深度相機(jī)進(jìn)行拍攝獲取，一種 是通過立體匹配算法獲取。由于深度相機(jī)價格昂貴且獲取的深度圖分辨率較低，所以目前 通過立體匹配算法獲取深度圖成為主要的手段。
[0004] 在經(jīng)典的機(jī)器視覺領(lǐng)域，是通過尋找兩張或多張同一空間場景不同角度的圖像之 間的匹配關(guān)系來進(jìn)行深度估算，但這類方法需要確定攝像機(jī)的幾何位置和有關(guān)參數(shù)，這一 直是傳統(tǒng)機(jī)器視覺研究領(lǐng)域中的困難所在。
[0005] 集成成像（Integral Imaging,簡稱II)，是一種用微透鏡陣列來記錄和顯示空間 場景信息的全真三維顯示技術(shù)，由于該技術(shù)具有許多顯著的優(yōu)點(diǎn)而受到三維顯示領(lǐng)域的廣 泛關(guān)注。圖1展現(xiàn)了典型的集成成像系統(tǒng)的采集和顯示部分。如圖1(a)所示，采集部分包 括微透鏡陣列和采集設(shè)備如CCD相機(jī)，3D物空間場景通過微透鏡陣列被CCD相機(jī)采集，每 個微透鏡都從不同的方向記錄一部分物體空間，相應(yīng)生成一幅幅小圖被稱為元素圖像；如 圖1 (b)所示，顯示部分中，把2D元素圖像集合放在具有同樣參數(shù)的顯示微透鏡陣列后，相 應(yīng)的微透鏡陣列把許許多多"元素圖像"透射/反射出來的光線聚集后可還原出原來的3D 空間。因為在集成成像的采集部分，每個微透鏡從不同角度把物空間場景的深度信息記錄 下來，整個過程只有一次成像過程，不存在相機(jī)的參數(shù)設(shè)置和校準(zhǔn)問題，所以，利用集成成 像技術(shù)獲取深度信息，簡化了深度測量過程，具有一定的優(yōu)勢。
[0006] 但是目前集成成像系統(tǒng)獲取深度圖的方法也存在需要解決的問題，因為每個微透 鏡產(chǎn)生的元素圖像的分辨率非常低，如果直接對多幅元素圖像進(jìn)行立體匹配來獲得深度信 息比較困難。因此，需要從充分利用集成成像技術(shù)優(yōu)勢的角度出發(fā)，研究深度信息提取方 法，提高獲取的深度圖的質(zhì)量。


【發(fā)明內(nèi)容】

[0007] 本發(fā)明實施例的目的在于提供一種集成成像系統(tǒng)的深度圖獲取方法，旨在解決集 成成像系統(tǒng)中，采用傳統(tǒng)的多目視方法通過元素圖像間的視差信息直接獲取深度圖比較困 難的問題。
[0008] 本發(fā)明實施例是這樣實現(xiàn)的，一種集成成像系統(tǒng)的深度圖獲取方法，該集成成像 系統(tǒng)的深度圖獲取方法包括以下步驟：
[0009] 第一步，對集成成像系統(tǒng)采集的2D元素圖像集合，采用計算機(jī)重構(gòu)方法生成不同 視點(diǎn)的多幅視圖，即從每個元素圖像的局部相同位置提取像素形成一幅視圖，改變從每個 元素圖像中提取像素的局部位置，即可形成不同視點(diǎn)的視圖；
[0010] 第二步，選擇N幅具有連續(xù)水平視差的視圖，相鄰的兩幅視圖抽樣距離為1個像 素，也就是在視圖生成過程時，從每個元素圖像提取像素的位置在水平方向上距離為1個 像素，以最左一幅視圖為參考圖像或最右一幅視圖為參考圖像，分別與其他視圖進(jìn)行立體 匹配，得到N-1幅視差圖；
[0011] 第二步，以參考圖像的N_1幅視差圖為基礎(chǔ)，對每個像素點(diǎn)的N_1個視差值進(jìn)行正 比例函數(shù)擬合，擬合的系數(shù)即為該像素與最鄰近視圖的視差值，根據(jù)視差與深度的關(guān)系，即 可獲得參考圖像的深度圖。
[0012] 進(jìn)一步，在第二步中，詳細(xì)步驟如下：
[0013] 步驟一，設(shè)搜索窗口大小為W、顏色相似性判定閾值為T1 ;
[0014] 步驟二，建立參考圖像中像素（i，j)的自適應(yīng)匹配窗口 W1 :根據(jù)顏色相似性原理， 以該像素為中心，分別計算搜索窗口 W內(nèi)每個像素與中心像素的顏色差值的絕對值，如果 該數(shù)值小于顏色相似性閾值T1，則對應(yīng)像素屬于自適應(yīng)匹配窗口，否則，不屬于自適應(yīng)匹配 窗口，從而建立該像素的自適應(yīng)匹配窗口 W1 ;
[0015] 步驟三，計算參考圖像中像素（i，j)與待匹配圖像中對應(yīng)像素在自適應(yīng)匹配窗口 中的相似度：用來進(jìn)行相似度測量的代價函數(shù)定義為：
[0016] Cost(i, j, d) = Ccolor(i, j, d)+Cgrad(i, j, d) (1)
[0017] 其中，像素點(diǎn)（i，j)的視差為d，（i，j)和（i，j+d)是左右圖像分別對應(yīng)的像素點(diǎn)， 左圖1為參考圖像，右圖r為待匹配圖像，C ralOT(i，j，d)為RGB三個顏色通道的絕對差值之 和，定義為式（2)，CgMd(i，j，d)為水平、垂直梯度的絕對差值之和，定義為式（3);
[0018] Cc〇i〇r(i,j,d) = Ils{i,j)~rR{i,j + d) + j)-+ d) + /^(/,7)-/^(2,7+^) ( 2 )
[0019] cgnid{ (/, j, d) = \vj' (/, j) -vxr (i, j + d)\ + \vyi' (/, j) -vyr (i, j + d)\ (3)
[0020] 計算自適應(yīng)匹配窗口 W1的像素個數(shù)為M，根據(jù)代價函數(shù)公式（1)，計算該像素與待 匹配圖像對應(yīng)像素點(diǎn)在自適應(yīng)窗口內(nèi)的匹配代價，公式如下：

【權(quán)利要求】
1. 一種集成成像系統(tǒng)的深度圖獲取方法，其特征在于，該集成成像系統(tǒng)的深度圖獲取 方法包括以下步驟： 第一步，對集成成像系統(tǒng)采集的2D元素圖像集合，采用計算機(jī)重構(gòu)方法生成不同視點(diǎn) 的多幅視圖，即從每個元素圖像的局部相同位置提取像素形成一幅視圖，改變從每個元素 圖像中提取像素的局部位置，即可形成不同視點(diǎn)的視圖； 第二步，選擇N幅具有連續(xù)水平視差的視圖，相鄰的兩幅視圖抽樣距離為1個像素，也 就是在視圖生成過程時，從每個元素圖像提取像素的位置在水平方向上距離為1個像素， 以最左一幅視圖為參考圖像或最右一幅視圖為參考圖像，分別與其他視圖進(jìn)行立體匹配， 得到N_1幅視差圖； 第三步，以參考圖像的N-1幅視差圖為基礎(chǔ)，對每個像素點(diǎn)的N-1個視差值進(jìn)行正比例 函數(shù)擬合，擬合的系數(shù)即為該像素與最鄰近視圖的視差值，根據(jù)視差與深度的關(guān)系，即可獲 得參考圖像的深度圖。
2. 如權(quán)利要求1所述的集成成像系統(tǒng)的深度圖獲取方法，其特征在于，在第二步中，詳 細(xì)步驟如下： 步驟一，設(shè)搜索窗口大小為W、顏色相似性判定閾值為T1 ; 步驟二，建立參考圖像中像素（i，j)的自適應(yīng)匹配窗口 W1 :根據(jù)顏色相似性原理，以 該像素為中心，分別計算搜索窗口 W內(nèi)每個像素與中心像素的顏色差值的絕對值，如果該 數(shù)值小于顏色相似性閾值T1，則對應(yīng)像素屬于自適應(yīng)匹配窗口，否則，不屬于自適應(yīng)匹配窗 口，從而建立該像素的自適應(yīng)匹配窗口 W1 ; 步驟三，計算參考圖像中像素（i，j)與待匹配圖像中對應(yīng)像素在自適應(yīng)匹配窗口中的 相似度：用來進(jìn)行相似度測量的代價函數(shù)定義為： Cost(i, j, d) = Ccolor(i, j, d)+Cgrad(i, j, d) (1) 其中，像素點(diǎn)（i，j)的視差為d，（i，j)和（i，j+d)是左右圖像分別對應(yīng)的像素點(diǎn)，左圖 1為參考圖像，右圖r為待匹配圖像，CMlOT (i，j，d)為RGB三個顏色通道的絕對差值之和，定 義為式（2)，CgMd(i，j，d)為水平、垂直梯度的絕對差值之和，定義為式（3); Cc〇i〇r(i,j,d)= IlR(i,j) -I'R(i,j + d) + IlG(i,j)-lQ(i,j + d) + IlB(i, j)-I'B(i,j + d) ( 2 ) Cgmd{(i,j,d) = |vv/;(i,j)-vxr(/,j + d)\ + |vv/;(/,j)-V,./--(/,j + d)\ (3) 計算自適應(yīng)匹配窗口 W1的像素個數(shù)為M，根據(jù)代價函數(shù)公式（1)，計算該像素與待匹配 圖像對應(yīng)像素點(diǎn)在自適應(yīng)窗口內(nèi)的匹配代價，公式如下： AveCost (/, /,d) = - ^Cost{i, /,d) (4) 步驟四，獲得像素點(diǎn)（i，j)的視差值：通過最小化匹配代價函數(shù)得到像素點(diǎn)（i，j)的最 佳視差值，公式如下： d(i,j) = arg mm AveCost(5) d^D 式中，D = {dmin，…，dmax}是可行的視差搜索范圍； 步驟五，重復(fù)步驟二?步驟四，獲得參考圖像與待匹配圖像的視差圖。
3.如權(quán)利要求1所述的集成成像系統(tǒng)的深度圖獲取方法，其特征在于，在第三步中，物 空間一點(diǎn)的深度Z與該點(diǎn)在視圖對之間的視差d的關(guān)系如下：
(6) 其中，Λ表示兩視圖對之間的抽樣距離，v、F分別表示微透鏡的孔徑和焦距； 對于參考圖像的某個像素點(diǎn)來說，Z、V、F都是固定值，所以視差d與抽樣距離Λ滿足 正比例函數(shù)關(guān)系，如式（7)所示：
(7 J
【文檔編號】H04N13/00GK104065947SQ201410273013
【公開日】2014年9月24日 申請日期:2014年6月18日 優(yōu)先權(quán)日:2014年6月18日
【發(fā)明者】王宇, 樸燕 申請人:長春理工大學(xué)