專利名稱：折反射全聚焦成像裝置與方法
技術(shù)領(lǐng)域：
本發(fā)明涉及全向視覺領(lǐng)域，特指一種折反射全聚焦成像裝置與方法。
背景技術(shù)：
由于能夠一次性獲得360度的視場范圍，折反射全向成像在很多領(lǐng)域都已經(jīng)得到了廣泛地應(yīng)用，如機器人導(dǎo)航、視頻監(jiān)控、視頻會議等領(lǐng)域，甚至在天文學(xué)方面也有較高的應(yīng)用價值，如巨型天文望遠鏡的制造就應(yīng)用了曲面反射鏡。但是，以往大部分研究工作主要集中在折反射全向成像系統(tǒng)中的反射鏡面型設(shè)計和系統(tǒng)應(yīng)用方面，相比之下，很少有研究系統(tǒng)的成像質(zhì)量。但是，隨著高分辨率圖像傳感器和大光圈成像系統(tǒng)的應(yīng)用，一個普遍存在的問題是，折反射全向成像系統(tǒng)中，由于反射鏡曲率和鏡頭光圈的大小，會導(dǎo)致散焦模糊，因此在圖像傳感器上成的像總是不能同時全部聚焦的。目前解決折反射成像散焦問題的方法主要有以下一些方法根據(jù)折反射成像特點，將全向圖像分為若干模糊條帶，采用基于邊界擴散函數(shù)的PSF (點擴散函數(shù)，Point Spread Function)建模方法辨識出各模糊條帶的PSF模型。該方法無需大量的圖像分割運算，在有限的徑向邊緣區(qū)域建立了全局的PSF模型，該類方法可以參考張帆的“全景視覺圖像質(zhì)量優(yōu)化方法研究”(哈爾濱工程大學(xué)博士論文，2010)。由于散焦的折反射全向圖像中的PSF是空間變化的，即物空間各點的退化隨位置的改變而改變。針對這種特點，馮華君等人提出了結(jié)合GRM (Gradient Ringing Metric)評價算法的總變分最小化圖像分塊復(fù)原方法，具體參考“空間變化PSF圖像復(fù)原技術(shù)的研究現(xiàn)狀與展望”(《光電工程》，2009，Vol. 36，No. I)。Sujit Kuthirummal提出的方法是將全向圖像分為很多小塊，在每個小塊里認為PSF是空間不變的，再用迭代的Richardson Lucy算法進行反卷積去模糊，相關(guān)文獻可以參考 “A deconvolution method for confocal microscopy with total variationregularization” (IEEE International Symposium on Biomedical Imaging,2004)和“Flexible Imaging for Capturing Depth and Controlling Field of View and Depthof Field，，(Columbia University thesis, 2009)。通過設(shè)計特殊的鏡頭來補償散焦帶來的影響，可以參考“Remote Reality”(http://www. remotereality. com),但是這種方法要針對具體的每一種反射鏡面型去設(shè)計。此外還可以通過減小光圈大小，增大景深的方法，但是這樣會減少系統(tǒng)通光量，增加了噪聲，在低光條件下效果較差。針對以上折反射成像散焦去模糊方法中的一些不足，如在圖像分塊的邊緣會增加人工效應(yīng)，需要確定各個塊的PSF，計算量大，普適性不強等，不能從根本上解決折反射成像散焦的問題。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題在于針對折反射全向成像散焦的特定問題，提出一種折反射全聚焦成像裝置與方法，在成像曝光時間內(nèi)，勻速移動像平面，得到一幅全局模糊的全向圖像，通過數(shù)學(xué)推導(dǎo)和實際數(shù)據(jù)驗證，此時基于時間累加的點擴散函數(shù)在數(shù)值上具有空間不變性，即實景空間各點在像平面上成像的模糊程度是相同的，最后運用反卷積算法就可以復(fù)原得到一幅內(nèi)環(huán)外環(huán)都清晰的全向圖像。為解決上述技術(shù)問題，本發(fā)明采取的技術(shù)方案包括如下步驟I、根據(jù)折反射全向成像散焦原理，計算實景空間物點w經(jīng)曲面鏡反射在像平面上成模糊區(qū)域的大小。已知實景空間的物點W，折反射成像系統(tǒng)中反射鏡面型采用雙曲面面型，這樣可以保證成像系統(tǒng)的單視點約束，根據(jù)幾何光學(xué)中的鏡面反射定律和薄透鏡成像原理，得到點W在雙曲面上的反射點III1和m2,以及虛像的位置Wfl= (wfl x, wfl y, wfl_z)和Wf2= (wf2 x, Wf2 y, Wf2 z)，像平面上像點的坐標(biāo) Wil= (wil x, Wil y, Wil z)和 Wi2= (wi2 x, wi2 y, wi2 z),最后計算得到像平面上的模糊圓直徑d_blur= Il Wil-Wi2 Il (見附圖I)。2、在一次成像曝光時間內(nèi)，通過勻速移動像平面，得到具有空間不變性的基于時間累加的點擴散函數(shù)(Accumulated PSF)。已知像平面的運動方式Vt=Vc^st,點擴散函數(shù)?！?br> 型采用均勻分布的圓盤函數(shù)=,其中，Δ(^；) =是模糊圓中的
點到模糊中心的距離。在相機一次曝光時間T內(nèi)，推導(dǎo)得出基于時間累加的點擴散函數(shù)的表達形式= f'/ (r,v,y;)t//，然后計算得到不同實景空間物點的APSF在數(shù)值上具有空
J O
間不變性(見附圖3)。3、采用反卷積算法復(fù)原得到一幅內(nèi)環(huán)外環(huán)都清晰的全向圖像。由于整幅圖像的模糊程度是相同的，采用反卷積算法(本發(fā)明采用文獻“Image restoration by sparse 3Dtransform-domain collaborative filtering，，，SPIE Electronic Imaging, 2008 中的反卷積算法)和實景空間中某一個物點的APSF對模糊圖像做復(fù)原，就可以得到一幅全聚焦清晰的全向圖像(見附圖4)。


圖I是折反射全向成像系統(tǒng)散焦示意圖；圖2是折反射全聚焦成像裝置與方法示意圖；圖3是實景空間不同物點計算得到的基于時間累加的點擴散函數(shù)曲線圖；圖4是實際系統(tǒng)實現(xiàn)的全聚焦效果圖。
具體實施例方式實施例I :以折反射全聚焦成像裝置與方法為例，結(jié)合附圖對本發(fā)明做進一步詳細說明。第一步建立如附圖I所示的二維笛卡爾坐標(biāo)系ROZ，其中i = +F2。已知mQ(xQ，y0, z0)為雙曲面反射鏡面H上的一點，w為物空間中的一點，ο為雙曲面的一個焦點，即虛擬視點，并位于坐標(biāo)系原點位置。根據(jù)單視點約束，若光線Wmci的延長線經(jīng)過虛擬視點ο,則光線wmQ經(jīng)鏡面上的點Hitl反射后的光線穿過鏡頭光心Ptl(0，O, 2c)。其中Ptl恰好位于雙曲面的另一個焦點處，C為雙曲面參數(shù)，則雙曲面方程H可以表示為式(1)，其中常數(shù)k> 2，光心平面則位于z=2c處。反射光線HiciPci稱為主光線,在像平面z=2c+v上成的像為Witl,其中V為像距。鏡面上的點IIi1處的法線為叫叫。鏡頭光圈為圓形光圈,若P1 (D cos α/2，D sin α/2，2c)和P2 (D cos(a + ji)/2,D sin ( a + ji )/2，2c)分別位于光圈的邊緣，其中D為光圈的直徑，則線段|wilWi2|的長度可以近似為模糊圓的直徑。
(r-c): (χ2 + ν _Λ,k-l、 2/2、— ' c'{—r-) C2 (-)
K.K根據(jù)薄透鏡成像原理，有式(2)，其中f為鏡頭焦距，u為物距，即可求出焦平面的位置為z=2c-u。由于點ο, IV w共線,則w的坐標(biāo)可以表示為式(3),其中為點Iiici到點
ο的距離，q為正常數(shù),且om0 ^
I I I— = - + -f 、,’ "w = -=^(xo5>o,-o)(3)根據(jù)反射定律，Iii1滿足三個約束(I)直線Wm1, Hi1Ii1和Iii1P1共面；(2)直線Wm1和Hi1Ii1的夾角等于直線Iii1P1和In1Ii1的夾角；(3)點Iii1在雙曲面鏡面H上。設(shè)反射光線IH1P1的反向延長線與焦平面交于點Wfl,由于焦平面上的點在像平面上都是精確聚焦的，因此連接Wfl與光心Ptl的直線與像平面的交點Wil，即為點w經(jīng)反射鏡面上的點Hi1反射在像平面成的像。聯(lián)立直線Hi1P1方程和焦平面方程Z=2c-U，求得Wfl的坐標(biāo)；再聯(lián)立直線WflPci方程和像平面z=2c+v,便可求得Wil的坐標(biāo)。
' (χ—χ!) _ (y-}\) ,(--Z1)< I) cos a II-X1 I) sin a! 2 - v, 2c -Z1(4)
z — 2c — u根據(jù)式(4),求得Wfl= (wfl x, wfl y, wfl_z)。
X _ y _ (z-2c)I ^fl x Wfl y Wflz-2c(5)
z-2c+ V根據(jù)式(5),求得wn=(wn—x，wn—y，wn—z)。同樣地，可以求出由物空間的點w發(fā)出的光線經(jīng)反射鏡面上的點m2反射，穿過光圈的另一個邊緣上的點P2(D cos(a + ji)/2,D sin( a + ji )/2，2c)，在像平面上成的像Wi2= (Wi2_x. Wi2y, Wi2z)。易知，Wilz=Wi2z,則物空間的點W,經(jīng)折反射成像,在像平面上成像的模糊圓的直徑表示為式(6):d. _blur = Sj(Wrl x-Wi2 x)2 +(Wa y - wi2 y)2a )第二步由于散焦模糊，折反射成像的退化模型可以用式(7)表示，其中g(shù)(x，y)為實際得到的圖像，f(x，y)是需要反卷積求得的清晰圖像，h(X，y，s, t)是點擴散函數(shù)，n(x，y)為加
性噪聲。
g(x, y) = f(x, y) h(x, 5·, t) + n(x,y)(7)如附圖2所示，調(diào)整鏡頭焦距f，使得虛像Wftl在像平面上成像于一點wiQ。若像平面移動到距離鏡頭光圈\處，此時Wftl在像平面上成像為模糊圓，模糊圓的中心為Wic/，模糊圓的直徑d可以用式(8)表示。d=I}\ -v|(H)
V .本文中釆用PSF圓盤模型來說明如何設(shè)計累加的PSF (Accumulated PSF)。PSF
圓盤模型認為模糊區(qū)域是一個均勻分布的圓形光斑，其函數(shù)形式表示為式(9)。
I r v/j = ~-Δ(—)￠9)
7vd “ d
r \\r <di2其中，= j，r是模糊圓中的點到模糊中心的距離。當(dāng)像平面沿著光軸的方向移動時，Vt是時間t的函數(shù)，表示像平面到鏡頭光圈的距離，定義累加的點擴散函數(shù)(APSF)，由式(10)表示，其中T為曝光時間。AP(r.v)= I / (/·, i·'. V, )c//UU)
Jo考慮像平面沿光軸方向勻速運動，即Vt可以表示為式(11)的形式，s為常數(shù)，表示運動速度。vt=v0+st(11)結(jié)合式(9，10，11)，得到APSF，用式(12)表示。
,η, 、 V A+δτ 24 2δτ、AP(r,v) = -—(-^~—~r—r)(P)
KsDl r a(l ατ其中dt表示在t時刻模糊圓的直徑A =72。附圖3是實景空間不同物點
得到的基于時間累加的點擴散函數(shù)曲線圖，由圖可以看出，APSF在數(shù)值上具有空間不變性。第三步由于整幅圖像的模糊程度是相同的，采用反卷積算法(本發(fā)明采用文獻“Imagerestoration by sparse 3D tr an sf orm-doma in collaborative filtering，，，SPIEElectronic Imaging, 2008中的反卷積算法)和實景空間中某一個物點的APSF對模糊圖像做復(fù)原，就可以得到一幅全聚焦清晰的全向圖像。如圖4所示為實際系統(tǒng)實現(xiàn)的全聚焦效果圖。以上實施例僅僅起到解釋本發(fā)明技術(shù)方案的作用，本發(fā)明所要求的保護范圍并不局限于上述實施例所述的實現(xiàn)方法和具體實施步驟。因此，僅對上述實施例中具體的成像模型、公式及算法進行簡單替換，但其實質(zhì)內(nèi)容仍與本發(fā)明所述方法相一致的技術(shù)方案，均應(yīng)屬于本發(fā)明的保護范圍。
權(quán)利要求
1.一種折反射全聚焦成像方法，其特征包括如下步驟1)根據(jù)折反射全向成像散焦原理，計算實景空間的物點W經(jīng)曲面鏡反射在像平面上成模糊區(qū)域的大??；2)在相機一次成像曝光時間內(nèi)，通過勻速移動像平面，得到具有空間不變性的基于時間累加的點擴散函數(shù)；3)運用反卷積算法復(fù)原得到一幅圖像內(nèi)環(huán)外環(huán)都清晰的全向圖像。
2.根據(jù)權(quán)利要求I所述折反射全聚焦成像方法，其特征是，所述步驟I)中的根據(jù)實景空間的物點w，折反射成像采用雙曲面反射鏡和透視相機組成滿足單視點約束的成像系統(tǒng)， 再依據(jù)幾何光學(xué)中的鏡面反射定律和薄透鏡成像原理，得到像平面上模糊圓直徑的計算方法。
3.根據(jù)權(quán)利要求I所述折反射全聚焦成像方法，其特征是，所述步驟2)中的通過勻速移動像平面，點擴散函數(shù)模型采用均勻分布的圓盤函數(shù)，在相機一次成像曝光時間內(nèi)，推導(dǎo)得到的基于時間累加的點擴散函數(shù)在數(shù)值上具有空間不變性的計算方法。
全文摘要
本發(fā)明涉及全向視覺領(lǐng)域，公開了一種折反射全聚焦成像裝置與方法。首先根據(jù)折反射全向成像散焦分析，計算得到實景空間物點經(jīng)曲面鏡反射在像平面上成模糊區(qū)域的大小；然后在相機一次成像曝光時間內(nèi)，通過勻速移動像平面，計算對應(yīng)于模糊全向圖像的基于時間累加的點擴散函數(shù)具有空間不變性；最后采用反卷積算法復(fù)原得到一幅內(nèi)外環(huán)均清晰的全向圖像。本發(fā)明所述方法避免了以往基于模糊條帶的點擴散函數(shù)估計方法和基于分塊思想進行散焦去模糊等方法導(dǎo)致的圖像中局部塊或條帶邊緣效果差，點擴散函數(shù)估計不精確，計算量大等問題，較好地解決了折反射成像的散焦問題。
文檔編號H04N5/225GK102932583SQ20121025036
公開日2013年2月13日 申請日期2012年7月19日 優(yōu)先權(quán)日2012年7月19日
發(fā)明者王煒, 譚樹人, 李永樂, 熊志輝, 張茂軍, 包衛(wèi)東, 徐瑋, 劉煜, 左承林, 彭楊 申請人:中國人民解放軍國防科學(xué)技術(shù)大學(xué)