基于主輔協(xié)同雙光路設(shè)計的全向成像方法
【專利摘要】本發(fā)明屬于圖像信息處理領(lǐng)域，解決折反射全向成像散焦模糊問題，提供一種基于主輔協(xié)同雙光路設(shè)計的全向成像方法。首先通過主輔協(xié)同的雙光路成像系統(tǒng)對同一場景的光線通過分光裝置分別在普通孔徑和編碼孔徑相機成像；設(shè)計適用于折反射成像系統(tǒng)的編碼孔徑方案，使得系統(tǒng)能夠更準(zhǔn)確辨識全向圖像的模糊尺度；設(shè)計針對全向圖像成像特點的反卷積方法，對散焦模糊圖像進行復(fù)原得到全聚焦全向圖像。本發(fā)明將成像結(jié)構(gòu)和成像方法的共同改進緊密結(jié)合，有效提高折反射全向成像去散焦模糊效果，對于提高圖像質(zhì)量，促進其在相關(guān)領(lǐng)域的廣泛應(yīng)用具有重要意義。
【專利說明】基于主輔協(xié)同雙光路設(shè)計的全向成像方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像信息處理領(lǐng)域，具體涉及全向成像方法。
【背景技術(shù)】
[0002]全向圖像/視頻能覆蓋大范圍的寬視角場景，憑借360度視角的優(yōu)勢，近年來吸引了大量計算機視覺、光學(xué)儀器等交叉領(lǐng)域研究人員在基礎(chǔ)理論、產(chǎn)品設(shè)計、應(yīng)用開發(fā)等多方面展開研究。全景成像技術(shù)大致分為單相機旋轉(zhuǎn)式[I]、魚眼成像[2]、拼接成像[3]和折反射成像[4]等幾類。其中，反射面與折射透鏡相結(jié)合的折反射成像方式是近年來研究較為集中的成像方式，其原理是利用曲面反射鏡收集來自三維空間360度范圍內(nèi)物體的光線，并將其反射到光學(xué)成像系統(tǒng)成像。原始采集的折反射全向圖存在嚴(yán)重的同心圓環(huán)狀變形，不適合于直觀反映真實的自然界場景，在實際應(yīng)用中通常需要將其展開為更符合人眼視覺習(xí)慣的柱面全景圖像，如圖2所示。
[0003]然而，折反射全向成像固有的空間分辨率低、分辨率不均勻、散焦模糊等基礎(chǔ)問題日益成為影響全向成像清晰度的最主要因素，嚴(yán)重限制了折反射全向成像技術(shù)的發(fā)展。折反射全向成像系統(tǒng)無論聚焦內(nèi)環(huán)區(qū)域、中環(huán)區(qū)域還是外環(huán)區(qū)域，都會造成其它區(qū)域的散焦模糊，如圖3所示，圖3 (a)內(nèi)環(huán)圖像清晰，圖(b)中環(huán)圖像`清晰，圖(c)外環(huán)圖像清晰。目前，折反射散焦模糊問題的主要技術(shù)難點包括兩個方面:(1)折反射成像系統(tǒng)曲面光學(xué)結(jié)構(gòu)造成的圖像散焦模糊，很難準(zhǔn)確地辨識其模糊尺度；(2)由于折反射全向圖像的成像方式不同于普通圖像，只采用傳統(tǒng)的圖像復(fù)原反卷積算法，則很難達到更好的效果。
[0004]為了解決問題，目前廣泛采用且較為有效的方法是編碼孔徑技術(shù)[5]。如圖4所示，該技術(shù)利用特殊設(shè)計的掩膜來改進成像裝置，對還沒有到達圖像傳感器的光束進行了針對性的編碼加工，為圖像采集后的處理過程提供更多有效的信息。經(jīng)過編碼孔徑獲得的圖像，能夠更準(zhǔn)確地辨識出各個區(qū)域的模糊尺度，進而更準(zhǔn)確地利用點擴散函數(shù)的尺度和反卷積算法進行圖像復(fù)原。但編碼孔徑相機采集的單幅編碼圖像由于掩碼遮擋損失了特定頻率的信息，影響了圖像去散焦模糊的效果[6]。

【發(fā)明內(nèi)容】

[0005]本發(fā)明為解決折反射全向成像存在的散焦模糊問題，提供一種基于主輔協(xié)同雙光路設(shè)計的全向成像方法，將普通孔徑和編碼孔徑的優(yōu)勢互補，利用編碼孔徑輔助辨識圖像散焦模糊尺度，再通過對普通孔徑采集的沒有信息損失的圖像做反卷積復(fù)原得到全聚焦全向圖像，進一步提高成像效果。
[0006]為實現(xiàn)上述技術(shù)效果，本發(fā)明采用的具體技術(shù)方案是:
[0007]本發(fā)明還提供了一種基于主輔協(xié)同雙光路設(shè)計的全向成像方法，包括如下步驟:
[0008]步驟一、將同一場景的光線分成用于圖像復(fù)原的主光路和用于編碼孔徑辨識模糊尺度的輔助光路，分別在普通孔徑相機和編碼孔徑相機成像，其中主光路的光能大于輔助光路的光能；[0009]步驟二、構(gòu)建折反射全向成像散焦模糊數(shù)學(xué)模型，選擇編碼孔徑方案，辨識出折反射全向圖像各個區(qū)域的散焦模糊尺度；
[0010]步驟三、對散焦模糊圖像進行復(fù)原得到全聚焦全向圖像:
[0011]1、首先將散焦模糊圖像分成多個環(huán)狀區(qū)域；
[0012]2、提出基于全向全變分最小化的圖像復(fù)原方法，對每一塊環(huán)狀區(qū)域的散焦模糊圖像進行復(fù)原；
[0013]3、對所有復(fù)原后的環(huán)狀區(qū)域的清晰圖像進行拼接，獲得全聚焦全向圖像；
[0014]其中基于全向全變分最小化的圖像復(fù)原方法為:將全向圖像中的像素點反投影到柱面全景圖像中，在柱面全景圖像中根據(jù)梯度計算方法確定水平和垂直方向的相鄰像素點，然后正投影到全向圖像中，找到對應(yīng)像素點的相應(yīng)位置，計算該像素點的梯度值大小。
[0015]具體來講，步驟二中所述折反射全向成像散焦模糊數(shù)學(xué)模型的構(gòu)建方法如下:建立ROZ坐標(biāo)系，其中原點O在光心平面正上方，與光心平面距離為C，Z軸垂直于光心平面，R軸平行于光心平面。已知實景空間物點w和反射鏡面上一點mr(a，β)，其中α, β為反射鏡面參數(shù)，入射光線w?的單位方向向量為ei ( a，β )，經(jīng)反射鏡面上一點a，β )的反射光線的單位方向向量為ej a，β)，反射鏡面上一點mja，β)的單位法向量為nr(a, β)，根據(jù)已知的反射鏡面參數(shù)，可求得1^(0，β)，也可求得實景空間物點w經(jīng)反射鏡面上一點a，β )成的虛像we( a，β )的位置；再使用已知的Jacobian方法求得虛像wc( α，β )到點mr( α，β )的距離rc ;`當(dāng)反射鏡面上的點mr( α，β )位于主入射光線wf與鏡面的交點Hici處時,設(shè)虛像W。( α，β )所在的物點深度為Sd,則Sd為:
[0016]Sd= (dc+m0p0) sin μ
[0017](I)
[0018]其中，dc為點W。和點mQ之間的距離。進一步得到折反射全向成像散焦模型:
[0019]Y=X*Fs+n
[0020](2)
[0021]其中，Y是得到的模糊圖像，X是全聚焦的清晰圖像，F(xiàn)s是由卷積核形狀F和卷積尺度S構(gòu)成的卷積矩陣，卷積尺度S和深度Sd是一一對應(yīng)的，η為圖像的噪聲。根據(jù)以上的散焦模型，就可以根據(jù)后面編碼孔徑的卷積核形狀F，建立一套各個卷積尺度S的模糊標(biāo)準(zhǔn)，并依據(jù)標(biāo)準(zhǔn)就可以分析模糊圖像的模糊尺度，找到相匹配的卷積尺度進行反卷積做圖
像復(fù)原。
[0022]具體來講，所述編碼孔徑的選擇方法為:采用多種編碼孔徑設(shè)計方案分別繪制平方和曲線，從中選擇形狀尖銳度最高的殘差平方和曲線，該殘差平方和曲線對應(yīng)的編碼孔徑設(shè)計方案即為最優(yōu)方案。
[0023]由于較好的編碼孔徑卷積核形狀F可以較容易地辨識出不同的卷積尺度S，所以編碼孔徑設(shè)計的好壞，決定了是否可以精確確定圖像的模糊尺度，也很大程度上決定了圖像復(fù)原的優(yōu)劣。為了確定全向圖像的最優(yōu)編碼孔徑方案，對模糊圖像所有可能的模糊尺度進行反卷積，采用功率譜統(tǒng)計模型計算殘差平方和，并記錄殘差平方和最小的結(jié)果圖像所對應(yīng)的模糊尺度，即為模糊圖像的正確模糊尺度。所述功率譜統(tǒng)計模型的建立方法為:
[0024]若忽略噪聲，成像散焦模型在頻域下的表示為:
[0025]I Y I = I XF I = |X||F[0026](3)
[0027]其中，Y是模糊圖像，X是全聚焦的清晰圖像，F(xiàn)是卷積核形狀。
[0028]首先將頻譜F (U，V)轉(zhuǎn)化到極坐標(biāo)下F (W，Φ )，然后對其Φ坐標(biāo)積分，功率譜模型為:
[0029]
【權(quán)利要求】
1.一種基于主輔協(xié)同雙光路設(shè)計的全向成像方法，其特征在于，包括如下步驟: 步驟一、將同一場景的光線分成用于圖像復(fù)原的主光路和用于編碼孔徑辨識模糊尺度的輔助光路，分別在普通孔徑相機和編碼孔徑相機成像，其中主光路的光能大于輔助光路的光能； 步驟二、構(gòu)建折反射全向成像散焦模糊數(shù)學(xué)模型，選擇編碼孔徑方案，結(jié)合折反射系統(tǒng)的結(jié)構(gòu)，辨識出折反射全向圖像各個區(qū)域的散焦模糊尺度； 步驟三、對散焦模糊圖像進行復(fù)原得到全聚焦全向圖像: 1)首先將散焦模糊圖像分成多個環(huán)狀區(qū)域； 2)提出基于全向全變分最小化的圖像復(fù)原方法，對每一塊環(huán)狀區(qū)域的散焦模糊圖像進行復(fù)原； 3)對所有復(fù)原后的環(huán)狀區(qū)域的清晰圖像進行拼接，獲得全聚焦全向圖像； 其中基于全向全變分最小化的圖像復(fù)原方法為:將全向圖像中的像素點反投影到柱面全景圖像中，在柱面全景圖像中根據(jù)梯度計算方法確定水平和垂直方向的相鄰像素點，然后正投影到全向圖像中，找到對應(yīng)像素點的相應(yīng)位置，計算該像素點的梯度值大小。
2.根據(jù)權(quán)利要求1所述基于主輔協(xié)同雙光路設(shè)計的全向成像方法，其特征在于，步驟二中所述折反射全向成像散焦模糊數(shù)學(xué)模型的構(gòu)建方法如下:建立ROZ坐標(biāo)系，建立ROZ坐標(biāo)系，其中原點O在光心平面正上方，與光心平面距離為C，Z軸垂直于光心平面，R軸平行于光心平面；已知實景空間物點w和反射鏡面上一點mja，β)，其中α, β為反射鏡面參數(shù)，入射光線w?的單位方向向量為ei(a，β)，經(jīng)反射鏡面上一點πν(α，β)的反射光線的單位方向向量為eja，β)，反射鏡面上一點πν(α，β)的單位法向量為~(0，β),根據(jù)已知的反射鏡面參數(shù)，可求得\ ( a，β )，也可求得實景空間物點w經(jīng)反射鏡面上一點mr ( a，β )成的虛像W。( a，β )的位置；再使用已知的Jacobian方法求得虛像W。( α，β )到點mr( α，β )的距離rc ;當(dāng)反射鏡面上的點mr( α，β )位于主入射光線wf與鏡面的交點m0處時，設(shè)虛像W。( α，β )所在的物點深度為Sd,則Sd為:
Sd=(dc+m0p0)siny
(1) 其中，d。為點W。和點Hltl之間的距離。進一步得到折反射全向成像散焦模型: y=x*fs+ η
(2) 其中，Y是得到的模糊圖像，X是全聚焦的清晰圖像，F(xiàn)s是由卷積核形狀F和卷積尺度S構(gòu)成的卷積矩陣，卷積尺度S和深度Sd是一一對應(yīng)的，η為圖像的噪聲；根據(jù)以上的折反射全向成像散焦模型，再根據(jù)編碼孔徑的卷積核形狀F，建立一套各個卷積尺度S的模糊標(biāo)準(zhǔn)，并依據(jù)模糊標(biāo)準(zhǔn)分析模糊圖像的模糊尺度，找到相匹配的卷積尺度進行反卷積做圖像復(fù)原。
3.根據(jù)權(quán)利要求1所述基于主輔協(xié)同雙光路設(shè)計的全向成像方法，其特征在于，所述編碼孔徑的選擇方法為:采用多種編碼孔徑設(shè)計方案分別繪制平方和曲線，從中選擇形狀尖銳度最高的殘差平方和曲線，該殘差平方和曲線對應(yīng)的編碼孔徑設(shè)計方案即為最優(yōu)方`案。
4.根據(jù)權(quán)利要求1所述基于主輔協(xié)同雙光路設(shè)計的全向成像方法，其特征在于，對模糊圖像所有可能的模糊尺度進行反卷積，采用功率譜統(tǒng)計模型分別求解殘差平方和，記錄殘差平方和最小的那幅結(jié)果圖像所使用的模糊尺度，就是該模糊圖像的正確模糊尺度；所述功率譜統(tǒng)計模型的建立方法為: 若忽略噪聲，成像散焦模型在頻域下的表示為:
5.根據(jù)權(quán)利要求1-4之一所述基于主輔協(xié)同雙光路設(shè)計的全向成像方法，其特征在于，步驟三中的所述基于全向全變分最小化的圖像復(fù)原方法具體為:設(shè)全向圖像中的點I(i, j)反投影到柱面全景圖像中的點P(U，V)，首先找到柱面全景圖像中水平和垂直方向的相鄰點P(u+l，v)和P (u, v+1),再根據(jù)正投影找到全向圖像中對應(yīng)的點I(i+sl, j+tl)和I (i+s2, j+t2),則全向圖像中點I(i, j)處的梯度幅值用下式表示:
【文檔編號】G02B17/08GK103873773SQ201410076397
【公開日】2014年6月18日 申請日期:2014年3月4日 優(yōu)先權(quán)日:2014年3月4日
【發(fā)明者】劉煜, 張茂軍, 王煒, 熊志輝, 尹曉晴 申請人:中國人民解放軍國防科學(xué)技術(shù)大學(xué)