專利名稱：利用基于模型的穩(wěn)健貝葉斯估算計(jì)算較高分辨率圖像的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的實(shí)施例涉及從多個(gè)觀測(cè)的較低分辨率圖像中獲得較高分辨率(HR)圖像(或圖像序列)的信號(hào)處理技術(shù)。同時(shí)也描述了其他實(shí)施例。
背景技術(shù)：
在多數(shù)電子成像應(yīng)用中，具有較高分辨率的圖像通常是更想要的。這些是具有較大像素密度的圖像并因此比相同景物的較低分辨率圖像顯示更多的細(xì)節(jié)。HR圖像有許多應(yīng)用，包括醫(yī)學(xué)成像、衛(wèi)星成像、和計(jì)算機(jī)視覺。
HR圖像可以通過簡(jiǎn)單地增加用于獲取圖像的電子圖像傳感器芯片中的像素傳感元件的數(shù)量和/或密度來獲得。然而，這可能把芯片的尺寸增加得非常大以至于電容效應(yīng)將妨礙像素信號(hào)值的快速傳輸，從而導(dǎo)致難以獲得高速拍攝和視頻。另一個(gè)可能性是減少每一個(gè)像素傳感元件的物理尺寸；然而，這樣做可能增加所得到的像素信號(hào)值的噪聲電平。另外，增加像素傳感元件的數(shù)量將增加裝置的成本，這在許多情況下都是不希望有的(例如，安裝在其基本功能不是圖像獲取的移動(dòng)裝置上的攝像機(jī)，所述移動(dòng)裝置類似個(gè)人數(shù)字助理(PDA)和便攜式電話)，并且在其它情況下是禁止的(例如，紅外傳感器)。因此，獲得HR圖像的另一個(gè)途徑(不需要更改較低分辨率傳感器)是在由傳感器拍攝的多個(gè)較低分辨率(LR)圖像上執(zhí)行數(shù)字信號(hào)處理，以增強(qiáng)分辨率(也稱為超分辨率(SR)圖像重建)。
利用SR圖像重建，已獲得景物的多個(gè)觀測(cè)的LR圖像或幀，其實(shí)際上是相同景物的不同“面貌”。這些可以利用相同的攝像機(jī)來獲得，例如，在從幀到幀的攝像機(jī)定位中引入小的、所謂的次像素移動(dòng)，或在景物中拍攝到少量運(yùn)動(dòng)?？商鎿Q地，可以利用針對(duì)相同景物的不同攝像機(jī)來拍攝LR圖像。然后通過適當(dāng)?shù)卣{(diào)準(zhǔn)和組合LR圖像重建“結(jié)果”HR圖像，以便為結(jié)果HR圖像獲得附加的信息，例如分辨率的增加或去混疊。該過程也可以包括圖像復(fù)原，其中也執(zhí)行去模糊和去噪聲操作，以產(chǎn)生更高質(zhì)量的結(jié)果HR圖像。
然而，結(jié)果HR圖像的重建是一個(gè)難題，因?yàn)樗鼘儆谀娴?、不適定(ill-posed)的數(shù)學(xué)問題類別。所需的信號(hào)處理可以解釋為是所謂的觀測(cè)模型的反向，其是描述景物的LR圖像的構(gòu)成(依據(jù)已知的攝像機(jī)參數(shù))的數(shù)學(xué)確定方式。由于景物被自身的可接受質(zhì)量的HR圖像逼進(jìn)，觀測(cè)模型通常被定義為將景物的HR離散圖像(具有給定的分辨率和像素柵格)與其相應(yīng)的LR圖像相關(guān)聯(lián)。這種關(guān)系(其可以應(yīng)用于靜止圖像和視頻兩種構(gòu)成)可以作為幾何變換、模糊算子、和下降取樣算子、加上附加的噪聲項(xiàng)的串聯(lián)而給出。幾何變換的例子包括，全局或局部變換和旋轉(zhuǎn)，同時(shí)模糊算子試圖非理想地復(fù)制攝像機(jī)，例如焦點(diǎn)沒對(duì)準(zhǔn)、衍射極限、像差、慢動(dòng)作模糊、以及集成在空間區(qū)域的圖像傳感器(有時(shí)把全部組合成點(diǎn)擴(kuò)展功能)。下降取樣算子把HR圖像下降取樣成重疊的低分辨率圖像。這種觀測(cè)模型可以用下述數(shù)學(xué)關(guān)系表示Y＝W*f+n，(1)其中Y是觀測(cè)的LR圖像組，并且W代表HR圖像f中HR像素到Y(jié)中LR像素的線性變換(包括下降取樣、幾何變換和模糊的作用)。n代表具有隨機(jī)特性的附加噪聲，其可以表示，例如，在景物沒有任何變化以及沒有任何對(duì)攝像機(jī)或照明設(shè)置的變化時(shí)，由相同的攝像機(jī)捕獲的LR圖像間的變化(或誤差)?；诘仁?1)的觀測(cè)模型，SR圖像重建估算對(duì)應(yīng)于給定的LR圖像組Y的HR圖像f。
貝葉斯(Bayesian)估算處理(也稱作隨機(jī)的或概率的SR圖像重建)可以用于估算f，以得到上述的“結(jié)果”HR圖像。如果是那樣的話，“后驗(yàn)”概率函數(shù)(典型地，概率密度函數(shù))被數(shù)學(xué)地定義為p(f|Y)，給出觀測(cè)的LR圖像組Y，其是特定HR圖像f的概率。運(yùn)用被稱為貝葉斯定律的數(shù)學(xué)操作，最優(yōu)化問題，該操作發(fā)現(xiàn)合適的HR圖像f，例如給出一組LR圖像其具有最高概率，或者最大化p(f|Y)，可以被重寫為P(f|Y)＝p(Y|f)*p(f)， (2)其中p(f)被稱為先于任何觀測(cè)給出特定HR圖像概率的“先驗(yàn)”概率密度函數(shù)。先驗(yàn)基于，例如，不同HR圖像的全部的統(tǒng)計(jì)特性，表明什么HR圖像更可能出現(xiàn)。先驗(yàn)概率可以是聯(lián)合概率，在關(guān)于HR圖像中所有的像素上定義，并且應(yīng)當(dāng)基于來自大量圖像的統(tǒng)計(jì)數(shù)據(jù)。然而，把先驗(yàn)概率估算和描述為關(guān)于所有像素的聯(lián)合分布在計(jì)算上是不可行的。因此現(xiàn)有的方法基于在許多類型的圖像中，像素間的相關(guān)性隨著像素距離衰減得相對(duì)快這樣的事實(shí)使用適合的模型。例如先驗(yàn)可以是基于叫做馬爾可夫(Markov)隨機(jī)場(chǎng)(MRF)的概率結(jié)構(gòu)。與其采用所有HR圖像是相等可能的狀態(tài)，MRF更適合表明例如某些像素圖案(例如，逐塊連續(xù)；文本圖像)比其它的更有可能。在數(shù)學(xué)意義上圖像可以假定為球形平滑的，因而MRF典型地用于定義具有標(biāo)準(zhǔn)(高斯)概率分布的先驗(yàn)。
關(guān)于p(Y|f)，其被稱為“似然性”函數(shù)；其是定義觀測(cè)LR圖像的概率的概率密度函數(shù)，該觀測(cè)LR圖像相應(yīng)于特定的HR圖像?？梢愿鶕?jù)由在上面等式(1)中的數(shù)學(xué)關(guān)系描述的觀測(cè)模型確定似然性，其中噪聲項(xiàng)典型地假定為具有高斯概率分布。估算過程變成迭代確定試驗(yàn)HR圖像和當(dāng)存在收斂時(shí)停止中的一個(gè)，其可以表示已經(jīng)達(dá)到后驗(yàn)概率函數(shù)的最大值。


本發(fā)明的實(shí)施例經(jīng)由舉例并且并不限于結(jié)合附圖的說明，在附圖中相同的參考表示類似的部件。應(yīng)當(dāng)注意，對(duì)這個(gè)公開中本發(fā)明的“一個(gè)”實(shí)施例的參考不必要對(duì)應(yīng)相同的實(shí)施例，并且它們意味著至少一個(gè)。
圖1是穩(wěn)健和正態(tài)概率密度的曲線圖。
圖2是對(duì)于試驗(yàn)HR圖像的似然性和先驗(yàn)概率函數(shù)的曲線圖。
圖3是在超分辨率圖像重建處理中的一些操作的流程圖。
圖4是在操作彩色圖像的超分辨率圖像重建方法中一些操作的流程圖。
圖5和6示出了說明把超分辨率方法應(yīng)用到網(wǎng)絡(luò)攝像機(jī)(webcam)圖像上的結(jié)果的兩幅圖像。
圖7-11示出了說明把超分辨率方法應(yīng)用到來自掃描波束納米成像裝置的圖像上的結(jié)果的圖像。
具體實(shí)施例方式
本發(fā)明的一個(gè)實(shí)施例是用于圖像處理的方法，其中給出多個(gè)觀測(cè)的LR圖像，貝葉斯估算圖像重建方法論計(jì)算景物的結(jié)果HR圖像。結(jié)果HR圖像基于似然性概率函數(shù)，該函數(shù)為存在噪聲的LR圖像的構(gòu)成執(zhí)行觀測(cè)模型。方法論通過概率的、非高斯的、穩(wěn)健(robust)函數(shù)為噪聲建模。這種穩(wěn)健函數(shù)在統(tǒng)計(jì)估算文獻(xiàn)中被定義并且特征在于如圖1所示的概率密度函數(shù)中的長尾部。與正態(tài)或高斯分布相反，穩(wěn)健分布承認(rèn)被異乎尋常的大量噪聲影響的少數(shù)點(diǎn)的出現(xiàn)，這些點(diǎn)也稱為界外值(outlier)(其位于圖1示出的密度曲線的尾端)。對(duì)噪聲建模的改變更好地建立了來自HR圖像的LR圖像的構(gòu)成的模型，所以該方法產(chǎn)生更精確的解決方案。因此，盡管用高斯概率函數(shù)對(duì)噪聲建模時(shí)執(zhí)行SR處理更簡(jiǎn)單，但這種假定不能充分地處理包含不同級(jí)別界外值的圖像，其在SR重建中是普遍的，特別是由于圖像調(diào)準(zhǔn)中的不準(zhǔn)確性。
現(xiàn)在參考圖2，其示出了對(duì)于試驗(yàn)HR圖像的概率密度曲線圖，其中繪制出范例似然性函數(shù)和先驗(yàn)函數(shù)。最大后驗(yàn)值(MAP)與上面的等式(2)給出的先驗(yàn)和似然性成比例。在這種情況中，示出了對(duì)于兩個(gè)不同的假定噪聲分布(R)和(G)的似然性，其分別相應(yīng)于穩(wěn)健概率函數(shù)以對(duì)噪聲(R)建模，并且另一個(gè)使用正態(tài)或高斯(G)。曲線圖說明了在給定LR圖像(未示出)中界外值的影響，其轉(zhuǎn)換成試驗(yàn)HR圖像的某些區(qū)域的似然性(G)中的傾角。這個(gè)似然性(G)中的強(qiáng)傾角是由于支配似然性函數(shù)的界外值產(chǎn)生的，對(duì)于該特定的試驗(yàn)HR圖像，其表明觀測(cè)的LR圖像組的相對(duì)低的概率。然而，實(shí)際上，試驗(yàn)HR圖像可能是良好的，并且為什么似然性值低的唯一的原因是由于界外值(在一個(gè)或多個(gè)觀測(cè)的LR圖像中)。這種由界外值對(duì)似然性函數(shù)的支配被穩(wěn)健函數(shù)的應(yīng)用所取消，該穩(wěn)健函數(shù)降低觀測(cè)的LR圖像中界外值像素的作用。因此，對(duì)于觀測(cè)的LR圖像(假定是試驗(yàn)HR圖像)圖像的該特定組的計(jì)算的穩(wěn)健似然性(R)比噪聲由高斯函數(shù)建模的情況要高。
這里描述的本發(fā)明的不同實(shí)施例可以證明SR處理的穩(wěn)健性，以致于它能用在下述的不同類型的現(xiàn)實(shí)應(yīng)用中。圖3說明了SR方法中一些操作的流程圖。該方法包含被重復(fù)執(zhí)行為迭代處理的一部分以確定結(jié)果(或最終的)HR圖像104的主循環(huán)。這種過程可以試圖為誤差函數(shù)E找到一個(gè)最佳值，這里是一個(gè)最小值。更特別地，這個(gè)誤差函數(shù)可以定義為等式(2)的后驗(yàn)概率的負(fù)對(duì)數(shù)?？梢岳萌魏螛?biāo)準(zhǔn)的最小化技術(shù)來最小化這個(gè)誤差函數(shù)。例如，圖3示出了共軛梯度方法的應(yīng)用，其是一個(gè)在復(fù)雜度和收斂速度之間提供可接受的平衡的迭代方法。收斂的判別式是ΔE＜T，其測(cè)試在兩個(gè)相繼的試驗(yàn)HR圖像間，等式(2)的后驗(yàn)概率中的誤差或差值是否低于預(yù)定閾值，T(塊106)。一個(gè)可替換的測(cè)試是把ΔE定義為連續(xù)的試驗(yàn)HR圖像間的差值。
在這個(gè)實(shí)施例中共軛梯度方法計(jì)算具有兩項(xiàng)的誤差函數(shù)的梯度，一項(xiàng)對(duì)應(yīng)于似然性并且另一項(xiàng)對(duì)應(yīng)于先驗(yàn)。似然性梯度的計(jì)算(塊108)包括標(biāo)準(zhǔn)的圖像處理操作的應(yīng)用，該標(biāo)準(zhǔn)的圖像處理操作包括幾何變形、線性濾波、以及二次取樣/向上取樣(upsampling)，例如，其對(duì)LR圖像構(gòu)成過程的正向和反向建模。為了計(jì)算似然性梯度，需要一個(gè)初始的、試驗(yàn)HR圖像。這可以是，例如，一個(gè)或多個(gè)的輸入(觀測(cè)的)LR圖像序列(塊110)的組合，該LR圖像序列已被調(diào)準(zhǔn)(塊114)以產(chǎn)生具有初始調(diào)準(zhǔn)的HR圖像(塊116)。然后這種初始調(diào)準(zhǔn)的結(jié)果被用于計(jì)算似然性梯度(塊108)。再次調(diào)用SR方法假定輸入LR圖像是再取樣HR圖像的結(jié)果，并且目標(biāo)是找到HR圖像，當(dāng)依照成像觀測(cè)模型在輸入LR圖像的柵格中再取樣時(shí)，所述HR圖像很好地預(yù)測(cè)輸入(觀測(cè)的)LR圖像。
圖3中的主計(jì)算循環(huán)的另一半與先驗(yàn)梯度(塊120)有關(guān)。不同類型的概率函數(shù)可以被用于先驗(yàn)，但是就穩(wěn)健MRF來說，先驗(yàn)梯度相當(dāng)于對(duì)應(yīng)的穩(wěn)健各向異性擴(kuò)散濾波器的一個(gè)更新，如在Michael J.Black等人的“RobustAnisotropic Diffusion(穩(wěn)健的各向異性擴(kuò)散)”，Institute of Electrical and ElectronicsEngineers(電氣與電子工程師協(xié)會(huì))，IEEE Transactions on Image Processing(IEEE圖像處理學(xué)報(bào))，第7卷第3期，1998年3月中所述。也可以替換地應(yīng)用先驗(yàn)函數(shù)及其相應(yīng)的梯度的其它實(shí)施例。
在塊108和120中計(jì)算的梯度向迭代處理指明方向，在該方向上移動(dòng)以便接近似然性和先驗(yàn)函數(shù)的組合中的波峰或波谷(見圖2)。這種沿著似然性和先驗(yàn)函數(shù)曲線的移動(dòng)導(dǎo)致到下一個(gè)HR圖像的變化或更新(塊124)，其生成當(dāng)前的、試驗(yàn)HR圖像126。然后把該當(dāng)前的試驗(yàn)HR圖像126插入等式(2)，并且把等式(2)的當(dāng)前值和等式(2)的先前值之間的差值ΔE與閾值T相比較(塊106)。如果ΔE仍太高，那么重復(fù)梯度計(jì)算循環(huán)。在塊128中，可以作出關(guān)于LR圖像初始調(diào)準(zhǔn)是否需要精細(xì)化(塊116)的附加判定。可以利用任何一種常規(guī)技術(shù)來評(píng)定這種調(diào)準(zhǔn)。然后操作可以繼續(xù)進(jìn)行將LR圖像調(diào)準(zhǔn)到新的HR圖像(塊130)，其產(chǎn)生精細(xì)的調(diào)準(zhǔn)(塊134)。對(duì)似然性的下一個(gè)梯度計(jì)算可以使用具有這種精細(xì)調(diào)準(zhǔn)134的HR圖像。
應(yīng)該注意的是，如果指定正態(tài)或高斯函數(shù)來對(duì)用于計(jì)算似然性(及其梯度)的附加噪聲建模，那么HR圖像更新(塊124)可能導(dǎo)致下一個(gè)試驗(yàn)HR圖像126變化太多，這是由于在輸入LR圖像序列110中的界外值產(chǎn)生的，從而導(dǎo)致方法論選擇不是最佳的最終HR圖像104。
一種用于利用穩(wěn)健函數(shù)對(duì)觀測(cè)模型中的噪聲建模的方法論可以是如下所述的，該方法論的功能是能夠“降低權(quán)值”或在某些情況下基本上忽略SR處理中的界外值。理想地，給出一組包括HR圖像以及它們相應(yīng)的LR圖像的訓(xùn)練范例，應(yīng)該可以知道噪聲的概率分布。這種組難以獲得，并且即使是可以得到的，其可能不包含歸因于調(diào)準(zhǔn)中誤差的噪聲。為此，在多數(shù)情況下利用來自統(tǒng)計(jì)文獻(xiàn)的普通的穩(wěn)健函數(shù)是更好的。使用的穩(wěn)健函數(shù)的選擇可以依賴于關(guān)于當(dāng)前圖像中可用的知識(shí)。例如，該過程可以依賴于關(guān)于存在界外值的可用的知識(shí)，使用兩個(gè)不同穩(wěn)健函數(shù)中的一個(gè)。如果希望觀測(cè)的LR圖像具有相對(duì)少的界外值，那么用來對(duì)附加噪聲建模的穩(wěn)健函數(shù)可以是眾所周知的Huber函數(shù)。注意，可以由調(diào)準(zhǔn)誤差、模糊的不準(zhǔn)確建模、隨機(jī)噪聲、運(yùn)動(dòng)目標(biāo)、運(yùn)動(dòng)模糊、以及其它來源導(dǎo)致這種界外值。因而，如果希望一個(gè)處理具有，例如，相對(duì)準(zhǔn)確的圖像調(diào)準(zhǔn)，則Huber函數(shù)可以被用來對(duì)附加噪聲建模。Huber函數(shù)，盡管不是非常穩(wěn)健的，但其具有凸面的優(yōu)點(diǎn)，因而基本上在似然性函數(shù)中保證一個(gè)唯一的最佳值(最大值或最小值)。
另一方面，如果希望觀測(cè)的LR圖像具有相對(duì)多的界外值(例如，鹽和胡椒噪聲，和/或具有不準(zhǔn)確調(diào)準(zhǔn)的調(diào)準(zhǔn)圖像中的區(qū)域)，則穩(wěn)健函數(shù)可以被設(shè)置為被認(rèn)為是非常穩(wěn)健的Tukey函數(shù)，從而基本上消除在解決方案中界外值的所有影響。
除依賴于希望相對(duì)少還是相對(duì)多的界外值，把穩(wěn)健函數(shù)設(shè)置為不同的函數(shù)這種選擇之外，依照訓(xùn)練數(shù)據(jù)的可用性，可以估算和改變穩(wěn)健函數(shù)的形狀。例如，可以由比例因子調(diào)節(jié)穩(wěn)健函數(shù)的形狀，其中如果有以一個(gè)或多個(gè)地面實(shí)況(ground truth)HR圖像及它們相應(yīng)的LR圖像為形式的充分的訓(xùn)練數(shù)據(jù)，則從計(jì)算景物的觀測(cè)的LR圖像與它們的來自地面實(shí)況HR圖像的投影之間的誤差中獲得的取樣中估算比例因子。
另一方面，如果沒有這種訓(xùn)練數(shù)據(jù)，可以通過把當(dāng)前的、試驗(yàn)HR圖像126(圖3)視為地面實(shí)況HR圖像來估算比例因子，并且把穩(wěn)健估算值應(yīng)用為比例因子。這種穩(wěn)健估算值可以是，例如，關(guān)于中間值的余量的中間值。這里也可以替換地使用穩(wěn)健估算值的其它類型。
依照本發(fā)明的另一個(gè)實(shí)施例，先驗(yàn)函數(shù)可以如下所述。如果有關(guān)于希望的HR圖像的特定的或統(tǒng)計(jì)信息，例如對(duì)于觀測(cè)的LR圖像中獲取的結(jié)構(gòu)的計(jì)算機(jī)輔助設(shè)計(jì)(CAD)模型，那么可以使用下述專利申請(qǐng)中描述的那些類似的過程，該專利申請(qǐng)為轉(zhuǎn)讓給與本專利申請(qǐng)相同的受讓人的美國專利申請(qǐng)?zhí)?0/685867，名稱為“Model Based De-Noising of Images and Image Sequences(基于模型的圖像和圖像序列的去噪)”。那些過程在諸如使用掃描方法(例如，聚焦離子束；掃描電子顯微鏡)的硅結(jié)構(gòu)微觀成像的應(yīng)用中特別有益。那是因?yàn)樵谀欠N情況下被成像的結(jié)構(gòu)具有對(duì)應(yīng)的、基礎(chǔ)的CAD模型。
另一方面，如果沒有這種希望的HR圖像的基于模型的知識(shí)存在，那么可以使用以例如穩(wěn)健MRF為形式的普通先驗(yàn)函數(shù)。對(duì)應(yīng)于這種先驗(yàn)的梯度部分相當(dāng)于各向異性擴(kuò)散方法論的一個(gè)更新。為此，可以使用最好地適合于希望的圖像類型的多個(gè)不同的各向異性擴(kuò)散方法中的任何一個(gè)。然而，對(duì)于普通的圖像，在圖像中詳細(xì)地保存邊界的優(yōu)選方案是在4鄰近值的MRF上的Tukey函數(shù)，如Black等人的上述文章中所述。其它選擇方案包括具有適合于正在使用的濾波器類型的價(jià)值函數(shù)的鄰近值方案(例如，8鄰近值)，其可以是普通的或從訓(xùn)練圖像組中知道的。同樣見H.Scharr等人的“Image Statistics and AnisotropicDiffusion(圖像統(tǒng)計(jì)和各向異性擴(kuò)散)”，IEEE Conference on Computer Vision andPattem Recognition(計(jì)算機(jī)視覺和模式識(shí)別的IEEE會(huì)議)，840-847頁，2003年10月13-16日。期望使用在這里描述的SR方法中上述選擇方案中的任何一個(gè)以提供相對(duì)于使用高斯MRF作為普通先驗(yàn)的改善的性能。
圖像調(diào)準(zhǔn)在之前的討論中，可以假定用HR圖像126的取樣?xùn)鸥裾{(diào)準(zhǔn)觀測(cè)的或輸入LR圖像序列110中的取樣?xùn)鸥竦膸缀巫儞Q是已知的。然而，在多數(shù)情況下，這種信息并不能先驗(yàn)的知道，除非在圖像獲取裝置相對(duì)于景物中目標(biāo)的顯式控制運(yùn)動(dòng)下已獲得了LR圖像序列。因此，經(jīng)常需要這些幾何變換的估算。依照本發(fā)明的另一個(gè)實(shí)施例，可以如下估算這些幾何變換。
首先，獲得觀測(cè)的或輸入LR圖像之間的幾何變換的初始估算。這里依賴于圖像獲取裝置相對(duì)于被成像的景物的運(yùn)動(dòng)特性，可以使用不同的選擇方案。對(duì)于普通的序列，具有透視方面小的變化，使用球形仿射變換模型。對(duì)于具有透視方面大的變化的圖像，仿射模型可能不再適合，因此應(yīng)當(dāng)使用更高階的模型(例如投影)。最后，如果有景物中的物體之間的相對(duì)運(yùn)動(dòng)或透視變化以及深度的不連續(xù)性，球形模型通?？赡懿贿m合，以致于應(yīng)當(dāng)使用密集局部運(yùn)動(dòng)模型(光流)或分層模型。
一旦獲得HR圖像的合理估算(例如在4-6次迭代之后)，初始調(diào)準(zhǔn)116(圖3)可以使用當(dāng)前形式的試驗(yàn)HR圖像126來精細(xì)化(塊134)。希望后者能提供比LR到LR圖像調(diào)準(zhǔn)114更精確的結(jié)果，這是因?yàn)長R圖像受混疊的影響。對(duì)于HR圖像和幾何變換兩者來說，這種技術(shù)可以與組合貝葉斯估算相比較。
不管用于調(diào)準(zhǔn)的運(yùn)動(dòng)模型、以及調(diào)準(zhǔn)類型(即LR到LR，或是HR到HR)、基于的現(xiàn)有技術(shù)梯度、多分辨率、穩(wěn)健圖像運(yùn)動(dòng)估算方法應(yīng)當(dāng)被用來確定將被輸入到似然性梯度計(jì)算塊108(圖3)的調(diào)準(zhǔn)。
彩色圖像上述的本發(fā)明的實(shí)施例可以被假定為操作灰度級(jí)圖像。然而，這些SR方法，也可以被應(yīng)用到彩色圖像上，這些彩色圖像的每個(gè)像素通常表現(xiàn)為三個(gè)分量，對(duì)應(yīng)于紅(R)、綠(G)和藍(lán)(B)色帶。該方法可以被獨(dú)立地應(yīng)用到每一個(gè)色帶上以獲得RGB的最終HR圖像。然而，把該方法應(yīng)用到3個(gè)RGB帶對(duì)計(jì)算要求非常高。為此在圖4中示出的流程圖中描述一個(gè)替換方法，其具有較小的計(jì)算強(qiáng)度，并且產(chǎn)生在感知上等效于把該方法應(yīng)用到所有3個(gè)色帶上的結(jié)果。在這個(gè)實(shí)施例中，操作首先把輸入LR彩色圖像序列404從RGB彩色空間轉(zhuǎn)換到符合人類彩色感知的彩色空間(在這種情況下是CIELab(CommiteInternationale del’Eclairage)(塊408)。在CIELab彩色空間中，三個(gè)分量是亮度(L)和兩個(gè)對(duì)立的彩色分量(a，b)。上述的SR方法論僅被應(yīng)用到L分量序列412，而不是a、b分量416，因?yàn)槿祟愐曈X系統(tǒng)主要在亮度上，而不是在對(duì)立的彩色分量上檢測(cè)高空間頻率。因此，對(duì)于a、b對(duì)立彩色分量416，以獲得HRa、b圖像422的重建可以簡(jiǎn)單地采用調(diào)準(zhǔn)的LR圖像的平均(塊417)，在那里這種操作幫助減少分量圖像中的噪聲，然后，使用諸如雙線性內(nèi)插的標(biāo)準(zhǔn)內(nèi)插方法進(jìn)行內(nèi)插以匹配所需的HR圖像分辨率(塊418)。這種方法論比把SR方法414應(yīng)用到所有三個(gè)彩色通道上快得多，并且在多數(shù)情況下，預(yù)期其在感知上是相同的。執(zhí)行回到RGB彩色分量的轉(zhuǎn)換(塊430)以在常規(guī)RGB空間中獲得結(jié)果HR彩色圖像432。
圖4的方法論已被執(zhí)行并應(yīng)用到用相對(duì)便宜的數(shù)字?jǐn)z像機(jī)獲得的彩色圖像序列上，該數(shù)字?jǐn)z像機(jī)是用在Web交互應(yīng)用中使用的消費(fèi)產(chǎn)品種類(也稱為網(wǎng)絡(luò)攝像機(jī))。在這種情況中，當(dāng)一個(gè)人把攝像機(jī)握在手中大約1秒鐘(產(chǎn)生一個(gè)被獲取的幀序列)時(shí)記錄了LR彩色圖像序列404。用戶手的自然晃動(dòng)提供用于獲得LR圖像中不同取樣?xùn)鸥竦谋匾\(yùn)動(dòng)。如可以在圖5中看到的，圖像是來自單個(gè)LR幀的三個(gè)彩色通道的線性內(nèi)插(通過因子×3)(以匹配更高的分辨率)，然而圖6中的圖像是由SR方法對(duì)上述彩色圖像所獲得的HR重建，其中在這種情況中，將普通的Huber函數(shù)用于似然性和先驗(yàn)。顯然地，所得到的HR圖像比內(nèi)插圖像包含更多細(xì)節(jié)。
點(diǎn)擴(kuò)展函數(shù)校準(zhǔn)再調(diào)用點(diǎn)擴(kuò)展函數(shù)(PSF)對(duì)攝像機(jī)(也稱為圖像獲取系統(tǒng))的非理想化建模。盡管圖像獲取系統(tǒng)的PSF的精確知識(shí)對(duì)于SR方法工作可能不是關(guān)鍵性的，但是如果把這種知識(shí)與SR方法相結(jié)合可以進(jìn)一步改善結(jié)果HR圖像的質(zhì)量。理論上可以基于圖像獲取系統(tǒng)的規(guī)范計(jì)算PSF。例如，在視頻電荷耦合裝置(CCD)攝像機(jī)中，可以用鏡頭和CCD傳感器規(guī)范來計(jì)算PSF。然而，那種信息不總是可用的，在這種情況下PSF由校準(zhǔn)估算。
現(xiàn)有的估算PSF的方法是獲得對(duì)應(yīng)于點(diǎn)狀來源(punctual source)(例如，黑色背景上的白點(diǎn))的圖像?？商鎿Q地，該圖像可以對(duì)應(yīng)于等效的點(diǎn)狀來源，例如擴(kuò)展的激光束。因此在攝像機(jī)傳感器的圖像平面(焦平面)上投影的圖像對(duì)應(yīng)于PSF。這個(gè)光學(xué)圖像由傳感器取樣，以獲得數(shù)字形式。如果取樣頻率比PSF的最高頻率的兩倍高，那么數(shù)字形式可以被認(rèn)為是基礎(chǔ)的、連續(xù)的PSF的完全表示。然而，在超分辨率重建的情況下，取樣頻率(對(duì)于LR圖像)明顯地低于為避免混疊所需要的頻率。因此，單個(gè)的、點(diǎn)狀來源的LR圖像是有噪聲的并且是基礎(chǔ)的PSF的潛在混疊的形式。
依照本發(fā)明的實(shí)施例，利用移動(dòng)點(diǎn)狀來源的LR圖像序列，而不是單個(gè)圖像來恢復(fù)PSF的較高分辨率、無混疊形式。除了在這種情況下該過程具有結(jié)果HR圖像是點(diǎn)狀來源的圖像以及PSF不是已知的知識(shí)之外，這種方法基本上可以與上述的從LR圖像序列中獲得HR圖像的方法相同。因?yàn)樵邳c(diǎn)狀來源和PSF之間有線性關(guān)系，因此成像的景物與PSF的角色是可以互換的。因而，為恢復(fù)PSF，利用PSF作為一個(gè)點(diǎn)(或者，更通常地，用作用于校準(zhǔn)PSF的測(cè)試的已知圖像)，把上述相同的SR方法應(yīng)用到利用點(diǎn)狀來源獲得的圖像序列上是充分的。恢復(fù)的HR圖像應(yīng)當(dāng)是基礎(chǔ)的PSF的更高分辨率形式。那么這個(gè)所得到的、校準(zhǔn)的PSF可以被用在觀測(cè)模型中，用于確定早先所述的SR方法中的似然性函數(shù)。
系統(tǒng)應(yīng)用只要有足夠的計(jì)算能力以在合理的時(shí)間內(nèi)產(chǎn)生估算處理的解決方案，上述SR方法就可以被用在各種不同的系統(tǒng)應(yīng)用中。因?yàn)樾《阋说臄?shù)字圖像獲取裝置正變得普及，例如消費(fèi)者等級(jí)的數(shù)字?jǐn)z像機(jī)和網(wǎng)絡(luò)攝像機(jī)，所以可以利用由這些裝置捕獲的LR圖像執(zhí)行SR方法，以從有限的圖像獲取硬件能力中提供增強(qiáng)的數(shù)字圖像。特定的范例包括用附加于蜂窩式/移動(dòng)電話、個(gè)人數(shù)字助理、以及其它主要目的不是獲取圖像的小電子裝置上的固定狀態(tài)數(shù)字?jǐn)z像機(jī)獲得的圖像的分辨率改善。在這種應(yīng)用中，當(dāng)攝像機(jī)被用戶握住時(shí)捕獲LR圖像序列，其中用戶手的自然運(yùn)動(dòng)將產(chǎn)生生成所需的LR圖像所需的運(yùn)動(dòng)。然而，這種便攜式裝置可能缺乏用以在合理的時(shí)間內(nèi)執(zhí)行SR方法所需要的操作的計(jì)算能力。替代地，LR圖像序列要么被發(fā)送到為這種特別應(yīng)用提供計(jì)算服務(wù)(例如基于Web的服務(wù)性行業(yè)模型)的專用服務(wù)器，要么被發(fā)送到個(gè)人計(jì)算機(jī)，其中HR圖像或圖像序列可以被重建。
關(guān)于網(wǎng)絡(luò)攝像機(jī)，再次說明它們的最初目的并不是為了獲得高分辨率的圖像。因此，SR方法將把這種相對(duì)便宜的、低分辨率裝置轉(zhuǎn)換成高分辨率攝像機(jī)。例如，分辨率的增加可以允許具有640×480標(biāo)準(zhǔn)視頻圖形分辨率的網(wǎng)絡(luò)攝像機(jī)以每英寸200點(diǎn)的分辨率掃描信函大小(letter sized)的文件，其適用于以合理的質(zhì)量打印和傳真?zhèn)鬏?。那么，通過簡(jiǎn)單地把要掃描的文件放置在用戶桌上并且把網(wǎng)絡(luò)攝像機(jī)瞄準(zhǔn)該文件，當(dāng)用戶在其手中握住在文件上方的網(wǎng)絡(luò)攝像機(jī)時(shí)獲得圖像序列，可以將這種便宜的和相對(duì)通用的裝置用作臨時(shí)的文件掃描儀。不需要附加的設(shè)備來握住該攝像機(jī)，因?yàn)橛脩羰值淖匀换蝿?dòng)提供了LR圖像間的差值所需的運(yùn)動(dòng)，以使超分辨率方法工作以產(chǎn)生高分辨率圖像。
在另一個(gè)應(yīng)用中，可以實(shí)現(xiàn)分辨率改善以用于標(biāo)準(zhǔn)視頻到高清晰度視頻的轉(zhuǎn)換。在那種情況，可以從時(shí)間t到時(shí)間t+N(以幀的方式)收集N幀，其中這些幀變成用來生成對(duì)應(yīng)于時(shí)間t+N的高分辨率幀的LR圖像。在這種情況下，分辨率改善可以被限制到在收集低分辨率幀的時(shí)間間隔期間可見的景物部分。這個(gè)所得到的HR幀相對(duì)于標(biāo)準(zhǔn)視頻到高清晰度視頻的簡(jiǎn)單內(nèi)插來說具有清楚感知的改善。這個(gè)實(shí)施例可以被用來生成，例如，高清晰度電視、HDTV、來自標(biāo)準(zhǔn)視頻序列的視頻，或者用來從標(biāo)準(zhǔn)(較低分辨率)視頻序列中生成適于高清晰度打印的HR圖像。
也可以在已被掃描成像裝置(例如，掃描電子顯微鏡、聚焦的離子束、以及激光電壓探針)獲得的圖像中應(yīng)用SR方法以獲得圖像增強(qiáng)，包括去噪聲、去模糊、以及分辨率改善。為獲得SR方法所需的不同的LR圖像，這些掃描成像裝置允許掃描模式改變，因而產(chǎn)生SR方法所需的具有次像素移動(dòng)的不同取樣?xùn)鸥瘛＿@種裝置可以是用在微電子測(cè)試和制造中的工具的一部分，以成像和/或修復(fù)半導(dǎo)體結(jié)構(gòu)以及光刻掩膜。有時(shí)，需要在低于最高可能的分辨率下操作這些工具，以增加生產(chǎn)量或因?yàn)楣ぞ叩膮?shù)是對(duì)納米加工最佳而不是最佳成像。利用這些圖像，特定的先驗(yàn)?zāi)Ｐ褪强捎玫?，這適合于使得SR方法更有效。
而且，由于微電子制造工藝升級(jí)，被檢查的結(jié)構(gòu)特征正變得越來越小，以致于將來當(dāng)使用當(dāng)前的掃描成像裝置時(shí)，可以產(chǎn)生較低質(zhì)量的圖像。通過增強(qiáng)來自較舊一代掃描成像裝置的圖像，將來將可以延長這些工具的使用期限，而不需要升級(jí)或取代這些工具，因此轉(zhuǎn)化成能顯著的節(jié)約工具成本。圖7-9和10-11示出了兩個(gè)范例，分別是把SR方法應(yīng)用到重建高分辨率掃描成像裝置的圖像。在第一范例中(圖7-9)，從模擬的有噪聲低分辨率研磨(milling)序列，重建高分辨率聚焦離子束圖像。在圖7中，示出了用聚焦的離子束工具獲取的原始的HR圖像。在圖8中，示出了在低通濾波之后、具有附加噪聲的4×次取樣圖像序列中的一個(gè)LR圖像。圖9示出了SR重建。注意，在SR重建(圖9)和LR圖像(圖8)之間在細(xì)節(jié)上明顯的改善。對(duì)應(yīng)于具有移位的研磨盒(millboxes)的真實(shí)研磨序列，細(xì)節(jié)上的改善在第二個(gè)范例中也是明顯的。比較使用最近鄰域內(nèi)插放大8倍的初始的LR圖像(圖10)中的一個(gè)，和應(yīng)用SR重建之后放大8倍的結(jié)果HR圖像(圖11)。
可以利用程序控制計(jì)算機(jī)執(zhí)行上述的SR方法。計(jì)算機(jī)程序產(chǎn)品或軟件可以包括具有在其上存儲(chǔ)指令的機(jī)器或計(jì)算機(jī)可讀介質(zhì)，該指令可以用來對(duì)計(jì)算機(jī)(或其它電子裝置)編程以執(zhí)行依照本發(fā)明的實(shí)施例的處理。在其它實(shí)施例中，可以由特定的包含微碼、硬連線邏輯的硬件部件，或者由程序控制計(jì)算機(jī)部件和定制硬件部件的任何組合來執(zhí)行操作。
機(jī)器可讀介質(zhì)可以包括用于以機(jī)器(例如，計(jì)算機(jī))可讀形式存儲(chǔ)或傳送信息的任何機(jī)構(gòu)，但是并不限于軟盤、光盤、致密盤只讀存儲(chǔ)器(CD-ROM)、以及磁光盤、只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、可擦可編程只讀存儲(chǔ)器(EPROM)、電可擦可編程只讀存儲(chǔ)器(EEPROM)、磁卡或光卡、閃存、在因特網(wǎng)、電的、光學(xué)的、聲學(xué)的或其它形式上的傳播信號(hào)(例如，載波、紅外信號(hào)、數(shù)字信號(hào)，等)上的傳輸，等等。
本發(fā)明并不限于上述的特定實(shí)施例上。例如，等式(1)的觀測(cè)模型中的噪聲n，其被建模為非高斯穩(wěn)健函數(shù)，可替換地可以是先前從HR圖像和LR圖像序列對(duì)中知道的任何噪聲分布。因此，其它實(shí)施例也在權(quán)利要求的范圍內(nèi)。
權(quán)利要求
1.一種圖像處理方法，包括給出景物的多個(gè)觀測(cè)的較低分辨率(LR)圖像，使用貝葉斯估算圖像重建方法論計(jì)算景物的結(jié)果較高分辨率(HR)圖像，其中該方法論基于似然性概率函數(shù)產(chǎn)生結(jié)果HR圖像，似然性概率函數(shù)執(zhí)行存在噪聲的LR圖像構(gòu)成的模型，以及其中該方法論通過概率的、非高斯的、穩(wěn)健函數(shù)對(duì)噪聲建模。
2.如權(quán)利要求1的方法，其中該方法論基于最大后驗(yàn)概率產(chǎn)生結(jié)果HR圖像，給出觀測(cè)的LR圖像，其是未知的HR圖像的條件概率，其中該方法論基于似然性函數(shù)和先驗(yàn)概率函數(shù)的組合產(chǎn)生結(jié)果HR圖像，先驗(yàn)概率函數(shù)表明哪些HR圖像是可能的。
3.如權(quán)利要求2的方法，其中當(dāng)基于似然性函數(shù)計(jì)算試驗(yàn)HR圖像時(shí)，由穩(wěn)健函數(shù)對(duì)噪聲的建模導(dǎo)致在觀測(cè)的LR圖像中統(tǒng)計(jì)的界外值像素的作用降低，以使得所述觀測(cè)的LR圖像的計(jì)算的似然性概率比由高斯函數(shù)對(duì)噪聲建模的情況要高。
4.如權(quán)利要求3的方法，其中穩(wěn)健函數(shù)是Huber函數(shù)。
5.如權(quán)利要求4的方法，其中穩(wěn)健函數(shù)是Tukey函數(shù)。
6.如權(quán)利要求2的方法，其中在方法論中使用的先驗(yàn)函數(shù)執(zhí)行高斯馬爾可夫隨機(jī)場(chǎng)(MRF)、Huber MRF、以及Tukey MRF中的一個(gè)來表明圖像中哪些像素取哪些值的概率。
7.如權(quán)利要求3的方法，進(jìn)一步包括依賴于觀測(cè)的LR圖像是否具有相對(duì)少和相對(duì)多的界外值，把穩(wěn)健函數(shù)設(shè)置為不同的函數(shù)，其中該方法論依照訓(xùn)練數(shù)據(jù)的可用性估算穩(wěn)健函數(shù)的形狀。
8.如權(quán)利要求3的方法，其中該方法論通過選擇比例因子來估算穩(wěn)健函數(shù)的形狀，其中如果有充分的以一個(gè)或多個(gè)地面實(shí)況HR圖像和它們相應(yīng)的LR圖像為形式的訓(xùn)練數(shù)據(jù)，則從計(jì)算景物的觀測(cè)的LR圖像與它們的來自地面實(shí)況HR圖像的投影之間的誤差中獲得的取樣中估算比例因子。
9.如權(quán)利要求8的方法，其中如果有不充足的訓(xùn)練數(shù)據(jù)，則通過(1)把迭代的最大后驗(yàn)估算處理的當(dāng)前的試驗(yàn)HR圖像視為地面實(shí)況HR圖像，以及通過(2)對(duì)于比例因子的穩(wěn)健估算量來估算比例因子。
10.如權(quán)利要求3的方法，進(jìn)一步包括基于用于觀測(cè)的LR圖像中捕獲的結(jié)構(gòu)的計(jì)算機(jī)輔助設(shè)計(jì)模型來定義先驗(yàn)函數(shù)。
11.如權(quán)利要求3的方法，其中先驗(yàn)函數(shù)是基于非高斯的、穩(wěn)健馬爾可夫隨機(jī)場(chǎng)。
12.一種系統(tǒng)，包括處理器；以及具有指令的存儲(chǔ)器，當(dāng)該指令被處理器運(yùn)行時(shí)，使用貝葉斯圖像重建方法論根據(jù)執(zhí)行包括附加噪聲的LR圖像構(gòu)成的模型的似然性概率函數(shù)，基于景物的多個(gè)較低分辨率(LR)圖像生成景物的結(jié)果較高分辨率(HR)圖像，并且其中該方法論通過概率的、非高斯的、穩(wěn)健函數(shù)對(duì)附加噪聲建模。
13.如權(quán)利要求12的系統(tǒng)，其中處理器和存儲(chǔ)器是臺(tái)式和筆記本式個(gè)人計(jì)算機(jī)其中之一的一部分，以及其中存儲(chǔ)器存儲(chǔ)進(jìn)一步的指令，當(dāng)由處理器運(yùn)行該指令時(shí)，基于從數(shù)字?jǐn)z像機(jī)下載到個(gè)人計(jì)算機(jī)的圖像獲得多個(gè)LR圖像。
14.如權(quán)利要求13的系統(tǒng)，其中該指令基于從數(shù)字?jǐn)z像機(jī)下載到個(gè)人計(jì)算機(jī)上的視頻，獲得多個(gè)LR圖像作為視頻，并且其中多個(gè)結(jié)果HR圖像將被生成為景物的HR視頻。
15.如權(quán)利要求14的系統(tǒng)，其中該指令以高清晰度電視、HDTV格式生成HR視頻。
16.如權(quán)利要求12的系統(tǒng)，其中該指令基于最大化后驗(yàn)概率生成結(jié)果HR圖像，所述后驗(yàn)概率是似然性函數(shù)和先驗(yàn)概率函數(shù)的組合，先驗(yàn)函數(shù)表明哪些HR圖像是可能的。
17.一種制造產(chǎn)品，包括包含指令的機(jī)器可存取介質(zhì)，當(dāng)執(zhí)行指令時(shí)，倘若給出景物的多個(gè)觀測(cè)的較低分辨率(LR)圖像，則導(dǎo)致機(jī)器使用貝葉斯圖像重建方法論計(jì)算景物的結(jié)果較高分辨率(HR)圖像，其中該方法論基于似然性概率函數(shù)產(chǎn)生結(jié)果HR圖像，所述似然性概率函數(shù)執(zhí)行存在噪聲的LR圖像構(gòu)成的模型，以及其中該方法論通過加權(quán)函數(shù)對(duì)噪聲建模，當(dāng)基于似然性函數(shù)計(jì)算試驗(yàn)HR圖像時(shí)，其導(dǎo)致觀測(cè)的LR圖像中統(tǒng)計(jì)的界外值像素的作用降低，以使得給出試驗(yàn)HR圖像，所述觀測(cè)的LR圖像的計(jì)算的似然性概率比由高斯函數(shù)對(duì)噪聲建模的情況要高。
18.如權(quán)利要求17的制造產(chǎn)品，其中該指令是這樣的以致于方法論基于最大化后驗(yàn)概率產(chǎn)生結(jié)果HR圖像，給出關(guān)于LR圖像的觀測(cè)，其是未知的HR圖像的條件概率，其中該方法論基于似然性函數(shù)和先驗(yàn)概率函數(shù)的結(jié)合產(chǎn)生結(jié)果HR圖像，先驗(yàn)函數(shù)表明哪些HR圖像是可能的。
19.如權(quán)利要求18的制造產(chǎn)品，其中介質(zhì)包括進(jìn)一步的指令，該指令依賴于多個(gè)觀測(cè)的LR圖像是否具有相對(duì)少和相對(duì)多的界外值，把加權(quán)函數(shù)設(shè)置為不同的函數(shù)，以及其中該方法論依照訓(xùn)練數(shù)據(jù)的可用性估算加權(quán)函數(shù)的形狀。
20.如權(quán)利要求18的制造產(chǎn)品，其中該指令是這樣的以致于方法論通過選擇比例因子估算加權(quán)函數(shù)的形狀，其中如果有充分的以一個(gè)或多個(gè)地面實(shí)況HR圖像和它們相應(yīng)的LR圖像為形式的訓(xùn)練數(shù)據(jù)，則從計(jì)算景物的多個(gè)觀測(cè)的LR圖像與它們的來自地面實(shí)況HR圖像的投影之間的誤差中獲得的取樣中估算比例因子。
21.如權(quán)利要求20的制造產(chǎn)品，其中該指令是這樣的以致于如果有不充足的訓(xùn)練數(shù)據(jù)，則通過(1)把迭代的最大后驗(yàn)估算處理的當(dāng)前的試驗(yàn)HR圖像視為地面實(shí)況HR圖像，以及通過(2)對(duì)于比例因子的穩(wěn)健估算量來估算比例因子。
全文摘要
給出景物的多個(gè)觀測(cè)的較低分辨率(LR)圖像，利用貝葉斯估算圖像重建方法論計(jì)算景物的結(jié)果較高分辨率(HR)圖像。該方法論基于執(zhí)行存在噪聲的LR圖像構(gòu)成的模型的似然性概率函數(shù)產(chǎn)生結(jié)果HR圖像。通過概率的、非高斯的、穩(wěn)健函數(shù)對(duì)這個(gè)噪聲進(jìn)行建模。此外還描述并要求保護(hù)其它實(shí)施例。
文檔編號(hào)G06T5/00GK1734500SQ20051009805
公開日2006年2月15日 申請(qǐng)日期2005年6月30日 優(yōu)先權(quán)日2004年6月30日
發(fā)明者O·內(nèi)斯塔爾斯, H·W·豪澤克爾, S·M·埃廷格爾 申請(qǐng)人:英特爾公司