用于產(chǎn)生全對焦圖像的方法和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明大體上涉及俘獲和處理數(shù)字圖像，且特定來說涉及產(chǎn)生具有再聚焦能力的全對焦圖像。
【背景技術(shù)】
[0002]在攝影中，取決于場景中的不同對象距相機的距離，一些對象可能呈現(xiàn)為對焦，而其它對象呈現(xiàn)為離焦或模糊。這是歸因于以下事實:在大多數(shù)視覺系統(tǒng)中，每一圖像以特定“焦距”俘獲。“焦距”指代從相機徑向延伸到圖像的場景中的距離。確切位于焦距處的圖像中的任何對象呈現(xiàn)為完全對焦。另一方面，并不位于焦距處(例如，較靠近或較遠(yuǎn)離相機)的任何對象呈現(xiàn)為模糊和離焦。任何給定場景中的不同對象可位于距相機不同距離處，因此，很可能僅一些對象完全對焦。因此，對于由視覺系統(tǒng)俘獲的典型圖像，一些對象呈現(xiàn)為在圖像中對焦，而其它對象呈現(xiàn)為離焦。
[0003]盡管人類視覺系統(tǒng)產(chǎn)生具有類似特性的圖像(例如，在任何給定圖像中)，僅位于焦距處的對象是對焦的而其它對象是模糊的，人類適于快速掃描場景、聚焦在不同對象上，且獲得物理環(huán)境的有用“復(fù)合”視覺概念。這就是我們?nèi)绾巍坝^看”世界。然而，當(dāng)我們查看所俘獲圖像(例如顯示裝置上的圖像)時，相同自然掃描和再聚焦通常不可用。實際上，我們常常在任何給定時間查看靜態(tài)圖像，其中特定對象在圖像中對焦，且特定其它對象在圖像中是模糊或離焦的。為解決這些缺點，本發(fā)明呈現(xiàn)用于實現(xiàn)檢視圖像的兩種不同方法的實施例。一種方法涉及產(chǎn)生其中所有對象均對焦的“全對焦”圖像。另一方法涉及提供“再聚焦”能力，借此用戶可選擇圖像的一部分且使其對焦。

【發(fā)明內(nèi)容】

[0004]在一個實例中，揭示一種用于圖像處理的方法。所述方法大體包含獲得不同焦距處場景的多個圖像。每一圖像可展示對焦的場景的不同部分。所述方法進(jìn)一步包含(部分)獲得與所述多個圖像相關(guān)聯(lián)的第一深度圖，以及獲得與所述多個圖像相關(guān)聯(lián)的第二深度圖。第一深度圖對應(yīng)于第一鄰域大小，且第二深度圖對應(yīng)于第二鄰域大小。在一個方面中，所述第一鄰域大小小于所述第二鄰域大小。
[0005]所述方法進(jìn)一步包含基于所述多個圖像和所述第一深度圖產(chǎn)生展示對焦的場景的兩個或兩個以上部分的合成圖像。此外，所述方法包含基于所述合成圖像和所述第二深度圖產(chǎn)生展示對焦的場景的選定部分的再聚焦圖像。
[0006]在一個方面中，所述方法進(jìn)一步包含用清晰度測量濾波器對所述多個所俘獲圖像中的每一者濾波以產(chǎn)生多個經(jīng)濾波圖像。在一個方面中，清晰度測量濾波器為拉普拉斯(Laplacian)濾波器。
[0007]在一個方面中，獲得第一深度圖可包含將基于第一鄰域大小的第一二維像素函數(shù)應(yīng)用到所述多個經(jīng)濾波圖像中的每一圖像以產(chǎn)生第一多個深度圖像。類似地，獲得第二深度圖可包含將基于第二鄰域大小的第二二維像素函數(shù)應(yīng)用到所述多個經(jīng)濾波圖像中的每一圖像以產(chǎn)生第二多個深度圖像。
[0008]在一個方面中，所述第一二維像素函數(shù)涉及計算對應(yīng)于第一鄰域中的多個像素的深度值當(dāng)中的加權(quán)平均值。在另一方面中，所述第一二維像素函數(shù)涉及對對應(yīng)于第一鄰域中的像素的深度值實行經(jīng)加權(quán)投票方案。
[0009]在一個方面中，獲得所述第一深度圖包含(部分)針對每一像素位置獲得對應(yīng)于所述第一多個深度圖像的第一多個深度值當(dāng)中的最大深度值。類似地，獲得所述第二深度圖包含(部分)針對每一像素位置獲得對應(yīng)于所述第二多個深度圖像的第二多個深度值當(dāng)中的最大深度值。
[0010]在一個方面中，所述多個圖像的不同焦距均一地分布在最小焦距值與最大焦距值之間。
[0011]在一個方面中，基于第一深度圖在運行中產(chǎn)生第二深度圖。舉例來說，可通過將加權(quán)平均值、經(jīng)加權(quán)投票方案或任何其它選擇方案應(yīng)用到對應(yīng)于第二鄰域中的多個像素的第一深度圖中的深度值來產(chǎn)生所述第二深度圖。
[0012]此外，某些方面提供一種用于圖像處理的設(shè)備。所述設(shè)備大體包含用于獲得不同焦距處場景的多個圖像的裝置。每一圖像展示對焦的場景的不同部分。所述設(shè)備進(jìn)一步包含:用于獲得與所述多個圖像相關(guān)聯(lián)的第一深度圖的裝置；用于獲得與所述多個圖像相關(guān)聯(lián)的第二深度圖的裝置;用于基于所述多個圖像和所述第一深度圖產(chǎn)生展示對焦的所述場景的兩個或兩個以上部分的合成圖像的裝置；以及用于基于所述合成圖像和所述第二深度圖產(chǎn)生展示對焦的所述場景的選定部分的再聚焦圖像的裝置。在一個方面中，第一深度圖對應(yīng)于第一鄰域大小，且第二深度圖對應(yīng)于第二鄰域大小。
[0013]某些方面提供一種用于圖像處理的非暫時性處理器可讀媒體。所述處理器可讀媒體包含(部分)處理器可讀指令，所述處理器可讀指令經(jīng)配置以致使處理器獲得不同焦距處場景的多個圖像。每一圖像展示對焦的場景的不同部分。所述指令進(jìn)一步經(jīng)配置以致使所述處理器:獲得與所述多個圖像相關(guān)聯(lián)的第一深度圖，獲得與所述多個圖像相關(guān)聯(lián)的第二深度圖，基于所述多個圖像和所述第一深度圖產(chǎn)生展示對焦的場景的兩個或兩個以上部分的合成圖像，且基于所述合成圖像和所述第二深度圖產(chǎn)生展示對焦的場景的選定部分的再聚焦圖像。在一個方面中，第一深度圖對應(yīng)于第一鄰域大小，且第二深度圖對應(yīng)于第二鄰域大小。
[0014]某些方面提供一種用于圖像處理的設(shè)備。所述設(shè)備包含(部分)至少一個處理器和耦合到所述至少一個處理器的存儲器。所述至少一個處理器經(jīng)配置以獲得不同焦距處的場景的多個圖像。每一圖像展示對焦的場景的不同部分。所述至少一個處理器進(jìn)一步經(jīng)配置以:獲得與所述多個圖像相關(guān)聯(lián)的第一深度圖，獲得與所述多個圖像相關(guān)聯(lián)的第二深度圖，基于所述多個圖像和所述第一深度圖產(chǎn)生展示對焦的場景的兩個或兩個以上部分的合成圖像，且基于所述合成圖像和所述第二深度圖產(chǎn)生展示對焦的場景的選定部分的再聚焦圖像。第一深度圖對應(yīng)于第一鄰域大小，且第二深度圖對應(yīng)于第二鄰域大小。
【附圖說明】
[0015]可通過參考以下各圖來實現(xiàn)對各種實施例的性質(zhì)及優(yōu)點的理解。在附圖中，類似組件或特征可以具有相同參考標(biāo)記。此外，可通過在參考標(biāo)記之后跟著短劃線及在類似組件當(dāng)中進(jìn)行區(qū)分的第二標(biāo)記來區(qū)分相同類型的各種組件。如果在說明書中僅使用第一參考標(biāo)記，那么描述適用于具有相同的第一參考標(biāo)記的類似組件中的任一者，而無關(guān)于第二參考標(biāo)記。
[0016]圖1說明根據(jù)本發(fā)明的某些實施例能夠俘獲和/或處理圖像的裝置的實例高級框圖。
[0017]圖2說明根據(jù)本發(fā)明的某些實施例的實例圖像組合方法。
[0018]圖3說明根據(jù)本發(fā)明的某些實施例的圖像組合方法的實例框圖。
[0019]圖4說明根據(jù)本發(fā)明的某些實施例可由裝置執(zhí)行以組合多個圖像的實例操作。
[0020]圖5A-5C說明根據(jù)本發(fā)明的某些實施例使用圖像組合方法組合的實例圖像。
[0021]圖6描述根據(jù)本發(fā)明的某些實施例可用于產(chǎn)生圖像的裝置的一個潛在實施方案。
【具體實施方式】
[0022]某些實施例呈現(xiàn)一種用于產(chǎn)生具有經(jīng)擴展景深連同稍后在圖像的所要部分處再聚焦的能力的圖像的方法。景深通常指代圖像中呈現(xiàn)可接受的清晰度的場景中的最近與最遠(yuǎn)對象之間的距離。盡管鏡頭僅可同時精確對焦在一個距離(例如，焦距)處，但清晰度的減小可在聚焦距離的每一側(cè)上為漸進(jìn)的，使得在景深內(nèi)，不清晰在正常檢視條件下不可感知。大體來說，焦距指代對象與相機之間的距離，其中對象呈現(xiàn)為在圖像中對焦。
[0023]—個實施例使用具有不同焦距的兩個或兩個以上圖像(下文稱為焦點堆疊圖像)，且處理這些焦點堆疊圖像以產(chǎn)生合成圖像。合成圖像中的大多數(shù)或所有對象可呈現(xiàn)為對焦(例如，全對焦圖像)。
[0024]如本文所描述。通過組合具有不同焦距的兩個或兩個以上圖像，合成圖像的景深可經(jīng)擴展為大于個別圖像中的每一者的景深。因此，相對遠(yuǎn)離彼此的對象可呈現(xiàn)為在合成圖像中對焦。
[0025]用戶通常通過改變相機的焦距而聚焦在場景中的不同對象上。舉例來說，在具有距相機的不同距離的兩個對象的場景中(例如，人接近相機，且建筑物在背景中較遠(yuǎn)處)。第一圖像可以第一焦距拍攝，其中人呈現(xiàn)為對焦，而建筑物呈現(xiàn)為離焦。此外，可從同一場景以第二焦距拍攝第二圖像，其中建筑物呈現(xiàn)為對焦，而人呈現(xiàn)為離焦。某些實施例提出一種組合這些圖像(以不同焦距拍攝的)以產(chǎn)生其中幾乎所有對象呈現(xiàn)為對焦的合成圖像的方法。在以上實例中，人和建筑物兩者可呈現(xiàn)為在合成圖像中對焦。此外，在一個實施例中，合成圖像可具有可用于稍后在圖像的所要部分處再聚焦的內(nèi)嵌信息。
[0026]此項技術(shù)中使用的用于合并圖像的當(dāng)前技術(shù)通常使用單一深度圖用于再聚焦和計算全對焦圖像這兩個操作。這些技術(shù)中的一些技術(shù)使用基于硬件的解決方案來俘獲光場以啟用再聚焦能力。本發(fā)明的某些實施例產(chǎn)生兩個不同深度圖(例如，掩碼)，第一深度圖可用于產(chǎn)生全對焦圖像且第二深度圖可用于再聚焦。
[0027]圖1說明根據(jù)本發(fā)明的某些實施例的圖像俘獲和/或處理裝置100的實例高級框圖。在一個實施例中，所述裝置可使用內(nèi)嵌相機