一種夜景圖像窗戶鏡面反射效應去除方法
【專利摘要】本發(fā)明涉及一種夜景圖像窗戶鏡面反射效應去除方法，包括：獲取同一背景下的兩幅含有反射效應的夜景圖像；定位反射區(qū)域；判斷反射區(qū)域是否存在重疊；按照不同的情況分別進行處理；第一種，對于反射區(qū)域不重疊的情況，去除反射效應；第二種，對于反射區(qū)域存在重疊的情況，對于非重疊的反射區(qū)域，按照前述的反射區(qū)域不重疊情況進行處理；對于重疊的反射區(qū)域，進行相應的處理，最終得到總的背景圖像。本發(fā)明能夠?qū)崿F(xiàn)反射效應的快速去除，增強夜景圖像的可視質(zhì)量。
【專利說明】一種夜景圖像窗戶鏡面反射效應去除方法 所屬【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種彩色數(shù)碼照片的鏡面反射效應去除方法。

【背景技術(shù)】
[0002] 當居住在高層建筑物的消費者在室內(nèi)使用數(shù)碼相機或智能手機拍攝窗外場景時， 由于攝像頭和拍攝場景之間存在著玻璃窗戶，常受到室內(nèi)場景鏡面反射現(xiàn)象的影響。在拍 攝夜景圖像時，這種反射干擾現(xiàn)象尤為明顯。圖1所示為一幅存在鏡面反射效應的夜景圖 像，圖中右上方亮區(qū)域在背景中并不真實存在，而是由于室內(nèi)亮區(qū)域通過窗戶玻璃的反射 效應造成的。顯然，反射區(qū)域的存在嚴重影響了夜景照片的可視質(zhì)量，因此提出如何去除這 類反射效應，恢復夜景圖像的原貌是非常必要的。
[0003] 目前已有的反射效應去除方面的文獻以外文為主。早期的方法都是通過改變相機 的物理參數(shù)來獲取兩幅或多幅不同的圖像，通過分析反射分量在不同圖像的差別來分離背 景場景和反射場景。例如，文獻[1]和文獻[2]所提方法通過改變偏振鏡片的角度方式獲 取不同圖像，文獻[3]的方法中采用不同的鏡頭焦距拍攝圖像，文獻[4]使用閃光燈-非閃 光燈圖像對來降低反射效應的影響。上述方法雖然能夠有效抑制反射效應，但是通常需要 拍攝人掌握一定的攝影技巧，或者通過特定的工具，因此上述方法的通用性較差。文獻[5] 和文獻[6]借助人工輔助方式實現(xiàn)分離反射場景，這類方法只需要單幅圖像，但是需要人 工輔助輸入，另外分離過程使用的迭代算法計算量偏大，因此只適用于少量圖像的情況。
[0004] 近期的研究重點重新回到基于多幅圖像的思路，但在拍攝不同圖像時，不需要調(diào) 整相機的參數(shù)，只需改變拍攝角度，使得不同圖像的反射分量存在一定視角上的差別。文獻
[7]借助立體匹配中的深度信息來恢復背景成分，但要求拍攝的圖像只在水平方向上有位 移。文獻[8]通過計算圖像序列的統(tǒng)計特性，使用一種稀疏盲分離技術(shù)分離反射分量。文獻 [9]提出了一種基于梯度信息的反射分離方法，根據(jù)各配準處理后各圖像對應位置邊緣點 的分布情況，將邊緣點分為背景層和反射層兩類，再使用文獻[5]的方法實現(xiàn)兩層的劃分。
[0005] 參考文獻：
[0006] [1]H. Farid and E. Adelson. Separating reflections and lighting using idependent components analysis. In CVPR, pages262 - 267, 1999.
[0007] [2]Y. Schechner, J. Shamir, and N. Kiryati. Polarization-based decorrelation of transparent layers: the inclination angle ofan invisible surface. InICCV，pages814 - 819, 1999.
[0008] [3]Y. Y. Schechner, N. Kiryati, and R. Basri. Separation of transparent layers using focus. IJCV, 39(1):25 - 39,2000.
[0009] [4]A. Agrawal, R. Raskar, S. Nayar, andY. Li. Removing photography artifacts using gradient projection and flash-exposure sampling. ACM Trans. Graphics, 23 (3) : 828 - 835, 2005.
[0010] [5]A. Levin andY. Weiss. User assisted separation of reflections from a single image using a sparsity prior.IEEE TPAMI, 29(9):1647 - 1654, 2007.
[0011] [6] S. Yeung, T. Wu, and C. Tang. Extracting smooth and transparent layers from a single image. InCVPR, pagesl - 7, 2008.
[0012] [7]Y. Tsin, S. B. Kang, and R. Szeliski. Stereo matching with linear superposition of layers. TPAMI, 28(2):290 - 301, 2006.
[0013] [8]K. Gai, Z. Shi, and C. Zhang. Blind separation of super-imposed moving images using image statistics. TPAMI, 34(1):19 - 32, 2012.
[0014] [9]Y.Li，M〇 S. Brown，Exploiting Reflection Change for Automatic Reflection Removal. InICCV2013.


【發(fā)明內(nèi)容】

[0015] 本發(fā)明的目的是克服現(xiàn)有技術(shù)的上述不足，提供一種針對夜景圖像的窗戶鏡面反 射效應的去除方法，實現(xiàn)反射效應的快速去除，增強夜景圖像的可視質(zhì)量。本發(fā)明的技術(shù)方 案如下：
[0016] 一種夜景圖像窗戶鏡面反射效應去除方法，包括下面的步驟：
[0017] 步驟1 :按照下列的條件獲取同一背景下的兩幅含有反射效應的夜景圖像：
[0018] (1)需要拍攝兩幅圖像，并保證在拍攝時鏡頭的焦距、光圈、曝光度等參數(shù)保持不 變；
[0019] ⑵在拍攝兩幅圖像時，要保證兩圖像在同一個平面內(nèi)；
[0020] (3)在改變相機位置時，相機可以在同一個平面內(nèi)的水平方向或垂直方向移動，但 要求位移的大小應保證反射場景在兩圖像的位置有一定差別；
[0021] 用Ii和12分別表示同一背景下兩幅含有反射場景的夜景圖像，用B表示整個背景 分量，〇 1和ω2表示1和12中反射分量所在區(qū)域31和氏分別表示〇 1和Ω2對應區(qū)域的 背景分量，反射分量用R表示，使用加性模型來描述成像過程，即Ω i在Ii中對應的子圖像 是&+1?，〇2在12中對應的子圖像是b 2+r;
[0022] 步驟2 :定位反射區(qū)域
[0023] 確認兩幅圖像中反射區(qū)域?qū)淖钌戏健⒆钕路?、最左方和最右方位置的坐標值?進而分別得到兩圖像中反射區(qū)域和Ω 2的外接矩形位置信息；
[0024] 步驟3 :判斷反射區(qū)域是否存在重疊；
[0025] 步驟4 :按照不同的情況分別進行處理：
[0026] 第一種，對于反射區(qū)域不重疊的情況：用R表不Ω i和Ω2中的反射分量，用&表 示中的背景分量，用Β2表示〇2中的背景成分；由于0 1和Ω2區(qū)域不重疊，因此^中 應的子圖像是（R+BlL中〇2對應的子圖像是Β2 ;12中應的子圖像是&，12中 〇2對應的子圖像是（R+B2)，針對反射區(qū)域不重疊情況的反射效應去除方法如下：
[0027] 1)從L提取Ω i和Ω 2對應的子圖像，分別用（R+BJ和B2表示；
[0028] 2)從12中提取Ω i和Ω 2對應的子圖像，分別用（R+B2)和&表示；
[0029] 3)使用12中Ω i對應的子圖像&代替L中的Ω i對應的子圖像（R+BJ，處理后的 圖像用C2表不；
[0030] 4)使用L中Ω 2對應的子圖像B2代替12中的Ω 2對應的子圖像（R+B2)，處理后的 圖像用C2表不；
[0031] 5)將Q和C2求平均，得到最后的恢復圖像，用C表示；
[0032] 第二種，對于反射區(qū)域存在重疊的情況：
[0033] 用Ω。表示Ω2的重疊區(qū)域，即有Ω。= Π Ω2，由于02是用其外 接矩形表示其位置，因此Ω。也是一個矩形區(qū)域，對于0 1和02中非重疊的區(qū)域，按照前述 的反射區(qū)域不重疊情況進行處理；
[0034] 用Rra表示Ii中Ω 區(qū)域?qū)姆瓷浞至?，用、表?2中Ω 區(qū)域?qū)姆瓷浞?量，用^表示Ω ^區(qū)域?qū)谋尘胺至?，在L中的反射分量h在12中的對應區(qū)域是Ω ， 其中，Λ表示從Qjlj Ω2的位移，同理可得，在12中的反射分量'在^中的對應區(qū)域是 其中-Δ表示從馬到札的位移；在L中Ωα+Δ子圖像是中Ωα_Δ的子圖像 是RQ2+BQ_A ;12中〇。^子圖像是BQ_A，I2* Ωα+Δ的子圖像是RQ1+BQ+A，采用下面方法去除 Ω i和Ω 2重疊區(qū)域Ω 的反射分量：
[0035] 1)從L中提取3個子圖像，分別用（RQ1+BQ)、（R Q2+BQ_ Δ)和Β?+Δ表示；
[0036] 2)從12中提取3個子圖像，分別用（RQ2+B Q)、（RQ1+BQ+A)和V Δ表示；
[0037] 3)計算（RQ1+BQ_ Δ)和V Δ的差值，得到R' Q1 ;計算（RQ1+BQ)和R' Q1的差值，結(jié) 果用IV ^表不；
[0038] 4)計算（RQ2+BQ+A)和Β〇+Δ的差值，得到R' Q2 ;然后計算（RQ2+BQ)和R' Q2的差值， 用B "。表不；
[0039] 5)計算B' JPB" ^的均值，得到Ω。的背景子圖像，用^表示，即有：Bq = (B，0+B"。)/2;
[0040] 6)恢復非重疊部分的背景圖像，最終得到總的背景圖像。
[0041] 采用本發(fā)明所述方法，與現(xiàn)有技術(shù)相比，只需要用戶拍攝兩幅圖像，借助少量的用 戶輔助輸入信息，省去了復雜的反射區(qū)域檢測過程，能夠識別陰影區(qū)域是重疊還是非重疊 情況，根據(jù)不同情況采用對應的處理過程，節(jié)省了計算機處理的時間，達到了更接近實用的 效果。

【專利附圖】

【附圖說明】
[0042] 圖1是一個存在鏡面反射效應的夜景圖像實例圖
[0043] 圖2是本專利所提方法的流程圖
[0044] 圖3(a)和（b)各為一幅夜景圖像結(jié)構(gòu)示意圖。
[0045] 圖4是含有反射區(qū)域的坐標關(guān)系不意圖
[0046] 圖5(a)和（b)的兩幅夜景圖像是反射區(qū)域不重疊情況下的結(jié)構(gòu)示意圖
[0047] 圖6(a)和（b)的兩幅夜景圖像是反射區(qū)域重疊情況下的結(jié)構(gòu)示意圖
[0048] 圖7(a)_(d)的4個圖是反射效應去除結(jié)果示意圖，其中，（a)為夜景圖像1(b)為 夜景圖像2(c)為分割出來的反射重疊區(qū)域（d)為反射效應去除處理結(jié)果

【具體實施方式】
[0049] 本發(fā)明所提方法包括三個主要步驟：圖像獲取、借助用戶輔助輸入方式的反射區(qū) 域定位，反射效應去除等三個主要步驟。圖2給出了所提方法的框圖。
[0050] 步驟1:圖像獲取
[0051] 根據(jù)本專利所提方法的要求，在拍攝夜景圖像時需要做到以下三點：
[0052] (1)需要拍攝兩幅圖像，并保證在拍攝時鏡頭的焦距、光圈、曝光度等參數(shù)保持不 變；
[0053] (2)在拍攝兩幅圖像時，要保證兩圖像在同一個平面內(nèi)；
[0054] (3)在改變相機位置拍攝圖像時，相機可以在同一個平面內(nèi)的水平方向或垂直方 向移動，但要求位移的大小應保證反射場景是完整的，反射場景在兩圖像的位置有一定差 別。
[0055] 圖3所示為拍攝得到的兩幅夜景圖像結(jié)構(gòu)示意圖。一般可以假設(shè)背景到鏡頭的距 離遠大于鏡頭到成像平面的距離，因此拍攝兩圖時產(chǎn)生的位移并不影響背景在圖像中的位 置，即背景基本保持不變。但反射場景由于到鏡頭的距離較近，在兩幅圖像中反射分量的位 置有明顯變化。
[0056] 用L和12分別表示獲取同一背景下的兩幅含有反射效應的夜景圖像，用B表示整 個背景分量，Ω i和Ω2表示L和12中反射分量所在區(qū)域，Bi和B2分別表示Ω i和Ω2對應 區(qū)域的背景分量，反射分量用R表示，使用加性模型來描述成像過程，即Ω i在^中對應的 子圖像是&―!?，〇2在12中對應的子圖像是B2+R。
[0057] 步驟2 :借助用戶輔助輸入定位反射區(qū)域
[0058] 本專利需要借助用戶輸入信息，確定兩幅圖像中反射區(qū)域的位置。具體的做法是， 用戶使用鼠標（對于使用鼠標和計算機屏幕交互方式的用戶）或者手指（針對智能手機或 平板電腦等觸屏方式交互的用戶），依次確認兩幅圖像中反射區(qū)域?qū)淖钌戏?、最下方?最左方和最右方位置的坐標值，進而得到兩圖像中反射區(qū)域的外接矩形位置信息。
[0059] 圖4給出了一個含有反射區(qū)域的坐標關(guān)系示意圖。其中，圖像的坐標原點定義在 圖像左上角的點，水平方向（X方向）從左至右依次增大，垂直方向（y方向）從上至下依 次增大。用1

【權(quán)利要求】
1. 一種夜景圖像窗戶鏡面反射效應去除方法，包括下面的步驟： 步驟1 :按照下列的條件獲取同一背景下的兩幅含有反射效應的夜景圖像： (1) 需要拍攝兩幅圖像，并保證在拍攝時鏡頭的焦距、光圈、曝光度等參數(shù)保持不變； (2) 在拍攝兩幅圖像時，要保證兩圖像在同一個平面內(nèi)； (3) 在改變相機位置時，相機可以在同一個平面內(nèi)的水平方向或垂直方向移動，但要求 位移的大小應保證反射場景在兩圖像的位置有一定差別； 用L和12分別表示同一背景下兩幅含有反射場景的夜景圖像，用B表示整個背景分 量，Ω i和Ω2表示L和12中反射分量所在區(qū)域，Bi和B2分別表示Ω i和Ω2對應區(qū)域的背 景分量，反射分量用R表示，使用加性模型來描述成像過程，即Ω i在L中對應的子圖像是 Β#，Ω2在12中對應的子圖像是B2+R ; 步驟2:定位反射區(qū)域 確認兩幅圖像中反射區(qū)域?qū)淖钌戏?、最下方、最左方和最右方位置的坐標值，進而 分別得到兩圖像中反射區(qū)域〇1和Ω2的外接矩形位置信息； 步驟3 :判斷反射區(qū)域是否存在重疊； 步驟4 :按照不同的情況分別進行處理： 第一種，對于反射區(qū)域不重疊的情況：用R表示〇1和Ω2中的反射分量，用氏表示 中的背景分量，用B2表示〇2中的背景成分；由于01和Ω2區(qū)域不重疊，因此^中對應 的子圖像是（R+BD，L中〇 2對應的子圖像是B2 ;12中應的子圖像是&，12中〇2對 應的子圖像是（R+B 2)，針對反射區(qū)域不重疊情況的反射效應去除方法如下： 1) 從L提取Ω i和Ω 2對應的子圖像，分別用（R+BD和B2表示； 2) 從12中提取和Ω2對應的子圖像，分別用（R+B2)和&表示； 3) 使用12中Ω i對應的子圖像&代替L中的Ω i對應的子圖像（R+BJ，處理后的圖像 用C2表不； 4) 使用^中Ω2對應的子圖像B2代替12中的Ω2對應的子圖像（R+B 2)，處理后的圖像 用c2表不； 5) 將Q和C2求平均，得到最后的恢復圖像，用C表示； 第二種，對于反射區(qū)域存在重疊的情況： 用Ω。表示Ω，Ρ Ω2的重疊區(qū)域，即有0^= Ωι Π Ω2，由于Ω，Ρ Ω2是用其外接矩 形表示其位置，因此Ω ^也是一個矩形區(qū)域，對于Ω i和Ω 2中非重疊的區(qū)域，按照前述的反 射區(qū)域不重疊情況進行處理； 用表示L中Ω。區(qū)域?qū)姆瓷浞至?，?表示12中Ω。區(qū)域?qū)姆瓷浞至浚?用^表示Ω。區(qū)域?qū)谋尘胺至?，在L中的反射分量心在12中的對應區(qū)域是Ω&,， 其中，Λ表示從Qjlj Ω2的位移，同理可得，在12中的反射分量'在^中的對應區(qū)域是 其中-Δ表示從馬到札的位移；在L中Ω α+Δ子圖像是中Ωα_Δ的子圖像 是RQ2+B Q_A ;12中〇。^子圖像是BQ_A，I2* Ωα+Δ的子圖像是RQ1+BQ+A，采用下面方法去除 Ω i和Ω 2重疊區(qū)域Ω 的反射分量： 1) 從L中提取3個子圖像，分別用（RQ1+BQ)、（RQ2+BQ_ Λ)和BQ+A表示； 2) 從12中提取3個子圖像，分別用（RQ2+BQ)、（RQ1+B_)和V Λ表示； 3) 計算（RQ1+BQ_ Λ)和BQ_ Λ的差值，得到R' Q1 ;計算（RQ1+BQ)和R' Q1的差值，結(jié)果用 。表示； 4) 計算（RQ2+iW)和Β〇+Δ的差值，得到V Q2 ;然后計算（RQ2+BQ)和V Q2的差值，用 B"。表示； 5) 計算B'。和B"。的均值，得到Ω。的背景子圖像，用仏表示，即有：B0 = (B，0+B"。)/2; 6) 恢復非重疊部分的背景圖像，最終得到總的背景圖像。
2. 根據(jù)權(quán)利要求1所述的夜景圖像窗戶鏡面反射效應去除方法，其特征在于，步驟2 中，借助用戶輔助輸入定位反射區(qū)域。
3. 根據(jù)權(quán)利要求1所述的夜景圖像窗戶鏡面反射效應去除方法，其特征在于，步驟3 中，判斷反射區(qū)域是否存在重疊的方法如下： 1) 根據(jù)對應的外接矩形位置信息，計算反射區(qū)域二值圖BWp 2) 根據(jù)Ω2對應的外接矩形位置信息，計算反射區(qū)域二值圖BW2， 3) 計算BWi和BW2的重疊區(qū)域二值圖BW， 4) 如果則認為〇1和Ω2位置不重疊；否則，認為01和Ω2位置存在部分重疊。
【文檔編號】G06T5/50GK104091317SQ201410242762
【公開日】2014年10月8日 申請日期:2014年6月3日 優(yōu)先權(quán)日:2014年6月3日
【發(fā)明者】王建, 劉長波 申請人:天津大學