一種基于像體重建的焦點(diǎn)堆棧照片合成方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及圖像處理技術(shù)領(lǐng)域，尤其設(shè)及一種清晰照片合成技術(shù)。
【背景技術(shù)】
[0002] 目前，相機(jī)的感光元件密度不斷提高，單反相機(jī)的拍攝精度也在不斷提高。在實(shí) 際的拍攝中，特別是一些斜面壁畫(huà)或者不規(guī)則的拱形壁畫(huà)很難使得光軸完全平行于被攝表 面，該就導(dǎo)致了景深模糊問(wèn)題。
[0003] 如果用小光圈（F8、F11甚至F16)可W獲得大景深，但是卻由于衍射造成整個(gè)照 片圖像模糊或者圖像噪音的增加減小了照片的銳利程度。或者在一些要求較大景深的場(chǎng)景 中，如佛衾、佛像和縱深較大的建筑，使用大光圈可W增加圖像的質(zhì)量，但是有可能會(huì)造成 場(chǎng)景模糊的情況。
[0004] 對(duì)于該種情況的解決方法是采用更高型號(hào)的單反相機(jī)，該樣可W解決一部分場(chǎng)景 對(duì)焦不清晰的情況，但不能根本解決；此外，使用其他成像設(shè)備如光場(chǎng)相機(jī)也能夠解決該問(wèn) 題，但同時(shí)存在成像照片的分辨率不足或設(shè)備過(guò)于昂貴等其他問(wèn)題。
[0005] 隨著圖像處理技術(shù)的不斷提高，可W考慮通過(guò)拍攝多張照片，每張照片有一部分 相對(duì)清晰，根據(jù)不同照片中相對(duì)清晰的部分進(jìn)行合成，最終得到一幅各個(gè)區(qū)域都清晰的數(shù) 字圖像。
[0006] 現(xiàn)有的多張照片合成的方法大多采用在照片中尋找較為清晰的區(qū)域然后將該些 區(qū)域融合在一起的方式，不過(guò)該樣的方式還是會(huì)出現(xiàn)問(wèn)題，比如一個(gè)區(qū)域在該些照片中都 沒(méi)有清晰對(duì)焦，該樣融合出來(lái)的照片該個(gè)區(qū)域還是會(huì)有模糊的情況。
[0007] 此外，在文物和考古現(xiàn)場(chǎng)的攝影中也存在類似問(wèn)題，其解決方法一般是根據(jù)物體 的深度和鏡頭上的景深標(biāo)尺來(lái)選擇合適的光圈。使用小光圈可W加大場(chǎng)景的景深范圍，但 是每一款數(shù)碼相機(jī)都有一個(gè)可W接受的景深范圍，超過(guò)該一范圍，不可避免的會(huì)產(chǎn)生模糊 和衍射現(xiàn)象嚴(yán)重等問(wèn)題。
[000引另外，通常對(duì)于不同的被攝場(chǎng)景，對(duì)景深范圍的要求是不一樣的，當(dāng)然可W通過(guò)使 用不同的數(shù)碼單反相機(jī)的方式來(lái)達(dá)到某一個(gè)景深范圍的要求，但是該無(wú)疑又造成設(shè)備的浪 費(fèi)和成本的升高。而且對(duì)于小光圈拍攝的照片質(zhì)量對(duì)于一些有較高要求的領(lǐng)域（文物攝 影、數(shù)字化建模）是不能容忍的。

【發(fā)明內(nèi)容】

[0009] 針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于像體重建的焦點(diǎn)堆找照片合成方 法，通過(guò)方法自動(dòng)判定若干張照片中的清晰部分，最終合成一張各部分都清晰的照片?？蒞 應(yīng)用于需要大景深清晰W及中屯、和邊緣都清晰的拍攝場(chǎng)合。
[0010] 一種基于像體重建的焦點(diǎn)堆找照片合成方法，包括如下步驟：
[0011] (1)獲取若干張場(chǎng)景、焦距、光圈相同，但對(duì)焦的景深不同的焦點(diǎn)堆找照片；
[0012] (2)針對(duì)每一張對(duì)準(zhǔn)處理后的焦點(diǎn)堆找照片，計(jì)算當(dāng)前焦點(diǎn)堆找照片中每個(gè)像素 點(diǎn)的梯度值；
[0013] (3)將所有焦點(diǎn)堆找照片中同一位置處的像素點(diǎn)對(duì)應(yīng)的梯度值進(jìn)行連續(xù)性擬合， 得到的擬合曲線，并求取所述的擬合曲線最高點(diǎn)作為該像素位置的最佳景深；
[0014] (4)針對(duì)任意焦點(diǎn)堆找照片中的任意一個(gè)像素點(diǎn)，根據(jù)當(dāng)前焦點(diǎn)堆找照片對(duì)應(yīng)的 焦距、光圈W及最佳景深計(jì)算當(dāng)前焦點(diǎn)堆找照片上當(dāng)前像素點(diǎn)的模糊彌散圈半徑；
[0015] (5)針對(duì)任意一個(gè)像素點(diǎn)，W景深與最佳景深最接近的焦點(diǎn)堆找照片作為該像素 點(diǎn)的參考照片，根據(jù)參考照片上該像素點(diǎn)的像素值和模糊彌散圈半徑進(jìn)行模糊像素的清晰 度還原，即得到合成結(jié)果。
[0016] 在所有焦點(diǎn)堆找照片中，相同位置上的像素點(diǎn)稱為對(duì)應(yīng)像素點(diǎn)。對(duì)于彩色圖像而 言，可W分開(kāi)RGB=個(gè)通道分別求圖像的梯度值，也可W轉(zhuǎn)換成灰度圖像求圖像梯度。
[0017] 對(duì)若干張照片的對(duì)應(yīng)位置求梯度變換之后，可W根據(jù)該些梯度值得變換擬合出一 條變換曲線，曲線的最高點(diǎn)即為該一位置上的最佳光學(xué)成像對(duì)焦位置。由于根據(jù)光學(xué)成像 原理，像素點(diǎn)在理論最佳成像位置上沒(méi)有彌散，而離開(kāi)最佳位置越遠(yuǎn)，彌散的程度越大，模 糊程度越大，因而像素向周圍變化的速度就越慢。該樣就保證了像素值變化程度最快的位 置就是理論上的最佳光學(xué)成像景深位置，而且該個(gè)位置是唯一的。通過(guò)該樣的一組焦點(diǎn)堆 找照片每一個(gè)位置上的最佳景深估計(jì)，我們將二維的圖像擴(kuò)展到了=維的"像體"，該個(gè)像 體包括了S維坐標(biāo)（X，y，Z為景深），而第S維的數(shù)據(jù)正是接下來(lái)圖像清晰度復(fù)原的依據(jù)。 [001引本發(fā)明中要求待合成的一組照片（即步驟（1)中獲取的若干張焦點(diǎn)堆找照片）的 大小和像素位置關(guān)系完全對(duì)應(yīng)，且亮度和色彩基本一致。
[0019] 若步驟（1)中獲取的若干張焦點(diǎn)堆找照片的大小和像素位置關(guān)系不對(duì)應(yīng)，可W先 進(jìn)行對(duì)準(zhǔn)處理，然后W經(jīng)過(guò)對(duì)準(zhǔn)處理后的焦點(diǎn)堆找照片作為后續(xù)處理的對(duì)象。
[0020] 對(duì)準(zhǔn)處理時(shí)首先利用配準(zhǔn)算法配準(zhǔn)并調(diào)整若干張焦點(diǎn)堆找照片的大小和像素位 置、然后進(jìn)行亮度和色彩調(diào)整使所有焦點(diǎn)堆找照片的大小和像素位置關(guān)系完全對(duì)應(yīng)，亮度 和色彩基本一致（最好相同）。
[0021] 所述步驟（1)中獲取的焦點(diǎn)堆找照片的張數(shù)與景深具有一定的對(duì)應(yīng)關(guān)系，作為優(yōu) 選，所述步驟（1)中獲取3~50張場(chǎng)景、焦距、光圈相同，但對(duì)焦的景深不同的焦點(diǎn)堆找照 片。
[0022] 景深越大，要求張數(shù)越多，當(dāng)景深為0. 5m時(shí)，通常獲取12張焦點(diǎn)堆找照片，當(dāng)景深 為2m時(shí)通常獲取50張焦點(diǎn)堆找照片。
[0023] 所述步驟（2)中還包括根據(jù)當(dāng)前焦點(diǎn)堆找照片中每個(gè)像素點(diǎn)的梯度值構(gòu)建相應(yīng) 的梯度圖，并對(duì)構(gòu)建的梯度圖進(jìn)行去噪處理得到去噪梯度圖；
[0024] 所述步驟做中像素點(diǎn)對(duì)應(yīng)的梯度值根據(jù)去噪梯度圖獲取。
[0025] 所謂像素（即像素點(diǎn)）的清晰程度可W理解為照片細(xì)節(jié)的豐富程度，細(xì)節(jié)的豐富 程度又可W用被攝物體邊緣與周圍背景的對(duì)比程度來(lái)刻畫(huà)，對(duì)比度越大，說(shuō)明邊緣過(guò)渡越 快，該一處像素的清晰度就越高；反之，物體邊緣與背景混合在一起，則該一像素的清晰度 就低。因此，可W用圖像的梯度幅值大小來(lái)表征該一個(gè)亮度。通過(guò)對(duì)梯度圖進(jìn)行去噪處理 得到去噪梯度圖能夠去掉不理想的噪音點(diǎn)，提高拼接精度。
[0026] 作為優(yōu)選，采用高斯平滑去噪法對(duì)所述的梯度圖進(jìn)行去噪處理。
[0027] 去噪處理時(shí)針對(duì)任意一個(gè)像素點(diǎn)采用鄰域窗口為正方形，鄰域窗口的大小為3~ 9,且為奇數(shù)（單位為像素點(diǎn)）。
[002引對(duì)于每個(gè)像素而言，梯度值是在該個(gè)像素位置與鄰域一個(gè)像素之間的對(duì)比程度， 通過(guò)鄰域的平滑操作將該些像素的變化快慢連接在一起，能夠也起到了去除一些不理想的 噪音點(diǎn)的作用。顯然，無(wú)論在任何色彩空間，某像素的小鄰域內(nèi)，邊緣的變化快慢程度差別 不大，所W可W排除不同色彩空間對(duì)于清晰度衡量的干擾。
[0029] 所述步驟做中采用最小二乘擬合法進(jìn)行連續(xù)性擬合。最小二乘擬合法即采用二 次多項(xiàng)式擬合，由于像素模糊形成的單峰性原理，總會(huì)找到一個(gè)最大值可W代表該像素所 在位置的最佳對(duì)焦景深。
[0030] 像素的模糊在光學(xué)上體現(xiàn)為光子向周圍的位置上彌散，該一現(xiàn)象可W用數(shù)學(xué)上的 卷積來(lái)描述。圖像的清晰度還原過(guò)程其實(shí)就是一個(gè)反卷積的過(guò)程，在該一過(guò)程中，反卷積用 到的卷積核是用高斯核來(lái)描述，高斯核的大小可W通過(guò)彌散圈（模糊彌散圈）的半徑大小 來(lái)得到。
[0031] 作為優(yōu)選，所述步驟巧）中基于Lucy-Richardson反卷積算法進(jìn)行模糊像素的清 晰度還原。
[0032] 通過(guò)LR反卷積算法（即Lucy-Richardson反卷積算法）的過(guò)程，模糊的像素點(diǎn)可 W恢復(fù)到理論清晰的值，該樣就得到了一幅處處都清晰的全對(duì)焦（All-in-Focus)照片。
[0033] 進(jìn)行Lucy-Richardson反卷積算法時(shí)迭代次數(shù)會(huì)影響到最終的拼接效果，作為優(yōu) 選，進(jìn)行Lucy-Richardson反卷積算法時(shí)設(shè)定的最大迭代次數(shù)為10~30。進(jìn)一步優(yōu)選，最 大迭代次數(shù)為15次。
[0034] 本發(fā)明方法通過(guò)自動(dòng)判定若干張照片中的清晰像素，最終合成一張各部分都清晰 的照片，可W應(yīng)用于需要大景深W及中屯、和邊緣都清晰的拍攝場(chǎng)合，且易于實(shí)現(xiàn)，成本低 廉。
【具體實(shí)施方式】
[0035] 下面將結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行