專利名稱：用于圖像的超分辨率的方法與設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明大體而言是關(guān)于圖像的超分辨率(super-resolution)。
背景技術(shù)：
許多的應(yīng)用，例如高清晰度電視、鑒識(shí)成像(forensic imaging)、監(jiān)控成像、衛(wèi)
星成像、醫(yī)學(xué)與科學(xué)成像，使用增加量的具有效益的分辨率(resolution)。努力達(dá)到更增 圖像分辨率是致力于所需要的光學(xué)與電子學(xué)的成本與復(fù)雜度。同樣地，為了增加圖像的 像素密度，降低感應(yīng)器中的像素尺寸，由于每個(gè)像素可獲得的光較少量，因而增加散射 噪聲(shotnoise)的效應(yīng)。經(jīng)由背景，視頻信號(hào)是圖像幀的連續(xù)流。每一個(gè)幀捕捉特定景象的暫時(shí)時(shí)刻。 由于攝影的移動(dòng)或是所捕捉景象的移動(dòng)，圖像幀之間亦可具有空間差距。例如，每一個(gè) 圖像例如低分辨率(LR)圖像，是代表具有一般實(shí)質(zhì)噪聲量的景象。噪聲可能是由于圖像 捕捉中的信息遺失，例如低分辨率圖像，以及電子或光學(xué)的其它形式，貢獻(xiàn)至圖像與實(shí) 際景象之間對(duì)應(yīng)的普遍削減的噪聲。使用空間插補(bǔ)的分辨率促進(jìn)技術(shù)-例如雙線性過濾、雙三次插(bi-cubic)過濾 以及多相過濾-獲得額外的畫素，用于使用一低分辨率圖像幀的像素的高分辨率(HR)圖 像幀。使用單一圖像幀的像素以獲得用于高分辨率圖像的額外像素，通常造成難辨的圖 像。例如，在雙線性過濾中，可平均兩個(gè)相鄰的像素，以產(chǎn)生新像素的值而插入其中 新像素為兩原始像素的平均值可能導(dǎo)入一些難辨性至圖像。視頻信號(hào)的超分辨率是通過圖像處理，將在低空間分辨率的輸入視頻幀序列轉(zhuǎn) 型成為高空間分辨率的輸出視頻幀序列的技術(shù)。相較于空間插補(bǔ)技術(shù)，來自于多重低分 辨率幀的信息用以發(fā)展高分辨率幀。使用多重低分辨率幀圖像使得超分辨率能夠產(chǎn)生具 有在單一低分辨率圖像中不可獲得的細(xì)節(jié)的高分辨率圖像。這些高分辨率圖像具有更大 的空間細(xì)節(jié)、較銳利的邊緣、較少的加工，例如模糊與失真，以及較不顯著的噪聲?？蓪⒊直媛使交蔀閿?shù)學(xué)方程式(1)顯示的倒置問題。方程式(1)表示所 觀察的景象的低分辨率圖像的序列是得自于由圖像處理噪聲與附加的隨機(jī)噪聲所完成的 景象的高分辨率圖像。Y = HX+N (1)，其中X代表未 知的高分辨率圖像、Y代表所觀察的低分辨率圖像、H是圖像處 理的系統(tǒng)矩陣，以及N是隨機(jī)附加噪聲。H代表由例如光學(xué)失真、移動(dòng)模糊、光學(xué)或電 子內(nèi)的噪聲、圖像傳輸中所導(dǎo)入的噪聲以及不足的感應(yīng)器密度所造成的空間分辨率的自 然損失。在超分辨率中，通常，目標(biāo)是從一套所觀察的圖像Y發(fā)現(xiàn)對(duì)應(yīng)的高分辨率圖像 X的估計(jì)值。超分辨率的技藝中描述數(shù)個(gè)技術(shù)。良好的概述如2003年5月Park，S.C，Park, M.K.與Kang，M.G.在IEEE信號(hào)處理雜志20(3) 21-36所發(fā)表的「超分辨率圖像重建 技術(shù)概述」，以及 2004 年 8 月 Farsiu，S., Robinson, D.，Elad, Μ.與 Milanfar，P.在圖像系統(tǒng)與技術(shù)的國(guó)際期刊，第14冊(cè)第2卷第47-57頁所發(fā)表的「超分辨率的先進(jìn)與挑戰(zhàn)」。通常，超分辨率技術(shù)可分類為以移動(dòng)為基礎(chǔ)或是無移動(dòng)。在以移動(dòng)為基礎(chǔ)的技術(shù) 中，嘗試追蹤多重低分辨率圖像的目標(biāo)，而后將目標(biāo)的這些空間偏移的變化結(jié)合成為目 標(biāo)的高分辨率圖像。在無移動(dòng)的方法中，使用例如低分辨率與高分辨率圖像的已知對(duì)應(yīng) 樣品與邊緣的線索，以獲得高分辨率細(xì)節(jié)。無移動(dòng)的技術(shù)例如1987年3月在計(jì)算機(jī)視野與圖像處理的先進(jìn)第5冊(cè)第3卷第 223-226頁中，Tsai，R.與Huang，Τ.發(fā)表的「多幀圖像回復(fù)與登錄」中所描述的頻域 (frequency-domain)方法，依賴于低分辨率幀之間的整體移動(dòng)(global motion)。其它無移 動(dòng)的方法，例如2001年12月計(jì)算機(jī)視野與圖案辨識(shí)IEEE會(huì)議第627-634頁中，Kepel， D.與Zisserman，Α.發(fā)表的「從使用學(xué)習(xí)圖像模式的多重視野的超分辨率」所描述的以學(xué) 習(xí)為基礎(chǔ)的方法，需要低分辨率與對(duì)應(yīng)的高分辨率圖像之間射頻的大規(guī)模數(shù)據(jù)庫發(fā)展。技藝中所描述以移動(dòng)為基礎(chǔ)的技術(shù)包含1998年6月計(jì)算基視野與圖案辨識(shí)公報(bào) IEEE計(jì)算機(jī)協(xié)會(huì)會(huì)議第742-746頁中，Keren，D.，Peleg, S.,與Brada，R.發(fā)表的「使 用次像素取代的圖像序列加強(qiáng)」所描述非一致的取樣方法；1989年11月美國(guó)光學(xué)協(xié)會(huì)期 干丨J，A 光學(xué)與圖像科學(xué)第6冊(cè)第1715-1726頁中，Stark，H.與Oskoui，P.發(fā)表的「從 使用凸面投射的圖像平面數(shù)組的高分辨率圖像回復(fù)」所描述的投射映對(duì)凸面集(POCS) 方法；1994年5月圖像處理IEEE會(huì)議錄第3冊(cè)第3卷第233-242頁中，Schultz，R.與 Stevenson, R.發(fā)表的「對(duì)于改善的定義貝葉斯方法用于影象擴(kuò)大」中所描述的貝葉斯 (bayesian)方法；以及1987年3月圖案辨識(shí)信件第5冊(cè)第3卷第223-226頁中，Peleg， S.、Keren, D.與Schweitzer，D.發(fā)表的「通過使用次像素移動(dòng)而改善圖像分辨率」所描 述的迭代反投影(iterative back projection，IBP)方法或是模仿與校正方法。這些方法中 的每一個(gè)都需要高量的計(jì)算復(fù)雜度。除此之外，POCS可能需要高分辨率圖像的一些特 性的先天知識(shí)，以及貝葉斯方法可能需要正確描述高分辨率圖像的可能性模式。因此，需要降低計(jì)算復(fù)雜度且不需所欲高分辨率圖像先天知識(shí)的超分辨率成像 方法。

發(fā)明內(nèi)容
在一實(shí)施例中，本發(fā)明是計(jì)算機(jī)實(shí)施方法，用以利用低分辨率圖像序列而產(chǎn)生 超分辨率圖像。所述方法包含產(chǎn)生第一估計(jì)的高分辨率圖像，對(duì)應(yīng)于從所接收的低分 辨率圖像序列選擇的第一低分辨率圖像；在所述第一估計(jì)的高分辨率圖像與來自產(chǎn)生所 述第一估計(jì)的高分辨率圖像的移動(dòng)估計(jì)結(jié)果的低分辨率圖像序列的比較圖像之間的移動(dòng) 估計(jì)；移動(dòng)補(bǔ)償背投影產(chǎn)生第二估計(jì)的高分辨率圖像的所述第一估計(jì)的高分辨率圖像； 無移動(dòng)背投影所述第二估計(jì)的高分辨率圖像，造成第一超分辨的圖像；以及輸出所述第 一超分辨的圖像。本發(fā)明的另一實(shí)施例是用于產(chǎn)生超分辨率圖像的系統(tǒng)，包含高分辨率圖像估計(jì) 模塊；移動(dòng)估計(jì)模塊；移動(dòng)補(bǔ)償背投影模塊；無移動(dòng)背投影模塊；輸入接口；以及輸出 接口。在所述輸入接口所接收的低分辨率圖像序列依序在所述高分辨率估計(jì)模塊、所述 移動(dòng)估計(jì)模塊、所述移動(dòng)補(bǔ)償背投影模塊，以及無移動(dòng)背投影模塊中處理，以及所述造 成的高分辨率圖像是通過輸出接口而傳輸。
本發(fā)明其它的實(shí)施例、特征與優(yōu)點(diǎn)以及本發(fā)明各種實(shí)施例的結(jié)構(gòu)與運(yùn)作詳述如 下并參考所附隨的圖式。


所附隨的圖式并入成為說明書的組成部分，說明本發(fā)明的實(shí)施例，并且連同以 上概述與如下的實(shí)施例詳細(xì)說明用以解釋本發(fā)明的原理。圖1說明在一實(shí)施例中低分辨率幀與輸出高分辨率超分辨的幀之間的時(shí)間關(guān) 系，其中程序幀窗口是7幀。圖2是根據(jù)實(shí)施例用以說明本發(fā)明主要處理塊的流程圖。圖3是圖2中移動(dòng)估計(jì)處理塊中階段的流程圖。圖4是根據(jù)具有7幀的處理幀窗口的實(shí)施例，進(jìn)一步詳細(xì)說明圖3中移動(dòng)估計(jì)處 理中的階段。圖5說明本發(fā)明另一實(shí)施例中，在非相鄰圖像之間計(jì)算移動(dòng)向量的方法。圖6說明圖2移動(dòng)補(bǔ)償背投影處理塊中與處理幀窗口 7的處理圖像順序。圖7是根據(jù)本發(fā)明，詳細(xì)說明移動(dòng)補(bǔ)償背投影中的一些處理。圖8是根據(jù)本發(fā)明，說明計(jì)算λ的方法，測(cè)量所偵測(cè)的移動(dòng)信賴。圖9是根據(jù)本發(fā)明，說明系統(tǒng)中的模塊。
具體實(shí)施例方式雖然本發(fā)明此處說明特定應(yīng)用的實(shí)施例，但是應(yīng)了解本發(fā)明并不因而受限。熟 知此技藝的人士得取此處所提供的揭露會(huì)理解本發(fā)明范圍內(nèi)的其它修飾、應(yīng)用與實(shí)施例 與本發(fā)明具顯著應(yīng)用的其它領(lǐng)域。熟知此技藝的人士顯然可知本發(fā)明以下所描述的本發(fā)明可被實(shí)施在許多不同的 軟件實(shí)施例中(其可包含硬件描述語言碼)、硬件、韌件，以及/或圖式中所述的物體。 實(shí)施本發(fā)明具有特化控制硬件的任何實(shí)際硬件碼并不會(huì)限制本發(fā)明。因此，經(jīng)由本發(fā)明 運(yùn)作行為的描述，得以理解實(shí)施例的修飾與變化是可能的，詳細(xì)說明如此所述。本發(fā)明的一實(shí)施例是以下所述用于視頻超分辨率的方法。熟知此技藝的人士 會(huì)理解此處所提出的教導(dǎo)可用于其它介質(zhì)，例如靜態(tài)圖像(still images)的超分辨率。 例如視頻的超分辨率，超分辨率處理的輸入是序列的低分辨率圖像(或是交替地，幀) LR(O)，LR(I)，…，其中每一個(gè)的空間分辨率為in_size_Hxin_size_V。此處in_size_ H χ in_SiZe_V中的尺寸是指低分辨率。超分辨率程序的輸出是序列的圖像SR(O)， SR(I)，....，其中每一個(gè)的空間分辨率為out_siZe_Hxout_siZe_V，這是指高分辨率。圖1是根據(jù)本發(fā)明的實(shí)施例，說明低分辨率幀與輸出高分辨率超分辨幀之間的 時(shí)間關(guān)系100。在范例說明100中，處理幀窗口是7幀。在圖1中，輸出高分辨率圖像 SRCn)在輸出圖像的序列中可與輸入低分辨率圖像LRCn)在輸入圖像的序列中具有相同 的時(shí)間位置t (η)。為了產(chǎn)生高分辨率 圖像SR(η)，通常有益的是利用來自于LRCn)的信息與來自 一些其相鄰圖像，例如 LR(n_3)、LR(n_2)、LR(n_l)、LR(n+l)、LR(n+2)與 LR(n+3) 對(duì)應(yīng)于時(shí)間槽t(n-3)...t(n+3)中的LR圖像，如圖1所示。
更特別地，在圖1中，一套七個(gè)低分辨率幀，此處是指SRCn)的處理幀窗 口，可被用于產(chǎn)生高分辨率幀SRCn)。以進(jìn)入圖像順序的特性為基礎(chǔ)，可在實(shí)施中預(yù) 先決定或是動(dòng)態(tài)預(yù)先決定處理幀窗口大小。產(chǎn)生SRCn)中所使用的低分辨率圖像為 LR(n-3)...LR(n+3)。雖然此處使用七幀的處理幀窗口作為說明，但是應(yīng)注意本發(fā)明的其 它實(shí)施例可使用不同數(shù)目的低分辨率幀與/或不同的幀時(shí)間架構(gòu)，以符合不同的限制， 例如與不同應(yīng)用相關(guān)的視覺質(zhì)量、復(fù)雜度與延遲、重復(fù)幀等。 為了達(dá)到說明的目地，本發(fā)明描述對(duì)應(yīng)于低分辨率幀LRCn)而產(chǎn)生的高分辨率 幀SR (η)。就整個(gè)程序而論，利用例如空間插補(bǔ)(spatial interpolation)，從LR (η)產(chǎn)生目 標(biāo)空間分辨率size_H χ out size_V的初估高分辨率幀PP (η)。接著，在幀PP (η)與六幀 SR(n_3)、SR(n_2)、SR(n_l)、PP (n+1) > PP (n+2)與 PP (n+3)中的每一個(gè)之間進(jìn)行移 動(dòng)估計(jì)(ME)，其中SR(n-3)、SR(n_2)與SR(n_l)是高分辨率幀，具有先前完成的轉(zhuǎn)換 成為超分辨率，分別對(duì)應(yīng)于LR(n-3)、LR(n-2)與LR(n-l)；以及PP(n+l)、PP (n+2)與 PP(n+3)是輸出高分辨率幀，分別來自LR(n+l)、LR(n+2)與LR(n+3)的空間插補(bǔ)。接著，對(duì)于LR(n+k) (k =-3，-2，-1，1，2，3)中每個(gè)像素，透過移動(dòng)估計(jì) 結(jié)果與可編程的鄰域窗口(programmable neighborhood window)，辨識(shí)PP (η)中的對(duì)應(yīng)像 素。而后根據(jù)這些高分辨率像素與對(duì)應(yīng)的LR(n+k)低分辨率像素的相符程度而更新這些 高分辨率像素。低分辨率幀LRCn)中的像素是用以調(diào)整從先前處理塊所獲得的高分辨率 圖像，以及輸出是最終高分辨率圖像SRCn)，此處亦指超分辨的圖像。根據(jù)本發(fā)明的一 實(shí)施例，達(dá)成超分辨率視頻的各個(gè)主要處理步驟詳細(xì)解釋如下。初估高分辨率圖像的產(chǎn)生圖2是本發(fā)明實(shí)施例中主要處理塊的流程圖200。在處理塊210中，低分辨 率圖像LRCn)是用以產(chǎn)生對(duì)應(yīng)的初估高分辨率圖像PPCn)，具有對(duì)應(yīng)超分辨圖像SR(η) 所要的大小。透過背景可知空間插補(bǔ)是用于從單一低分辨率圖像產(chǎn)生高分辨率圖像的 已知方法，例如雙三次插(bi-cubic)過濾以及多相過濾是可被使用的空間分辨(spatial resolution)方法。產(chǎn)生初估高分辨率圖像的輸入是低分辨率圖像LR(η)；以及輸出是升 級(jí)(up-scaled)圖像PP (η)，具有目標(biāo)分辨率為out_size_H xout_size_V。例如，使用空間 插補(bǔ)而使LRCn)空間升級(jí)造成PPCn)。PP(n)是超分辨圖像SR(η)的初估。移動(dòng)估計(jì)在產(chǎn)生ΡΡ(η)之后，在處理塊220中，對(duì)于SR(η)的處理幀窗口中各個(gè)其它時(shí) 間槽，產(chǎn)生PPCn)的移動(dòng)估計(jì)結(jié)果。在PP (η)與處理幀窗口中各時(shí)間槽先前的LR(η)的對(duì)應(yīng)高分辨率圖像之間產(chǎn)生 移動(dòng)向量。例如，假設(shè)七幀的處理幀窗口，可以在ΡΡ(η)與各個(gè)高分辨率圖像SR(n-l)、 SR(n_2)及SR(n_3)之間發(fā)展移動(dòng)向量，其中SR(n_l) ...SR(n_3)是超分辨圖像分別對(duì)應(yīng) 于低分辨率圖像LR(n-l)...LR(n-3)。在一些實(shí)施例中，中間高分辨率圖像PP(n_l)、 PP(n-2)與PP(n-3)可被分別用以代替SR(n-l)、SR(n_2)與SR(n_3)。然而，應(yīng)注意 使用SR(n-l)，...SR(n-3)對(duì)于移動(dòng)準(zhǔn)確性與計(jì)算復(fù)雜度是有利的。如此處所述，實(shí)施需要維持，例如緩沖，個(gè)別的高分辨率圖像，因而可使用 于產(chǎn)生SR(n)。亦可以在PP(n)與處理幀窗口內(nèi)LR(n)之后的每一個(gè)時(shí)間槽的對(duì)應(yīng) 高分辨率圖像，例如PP(n+l)、PP(n+2)與PP(n+3)，之間發(fā)展移動(dòng)向量。注意，PP(n+l)...PP(n+3)是初估的高分辨率圖像，分別對(duì)應(yīng)于LR(n+l)…LR(n+3)。熟知此 技藝的人士會(huì)了解需要數(shù)個(gè)處理塊中進(jìn)入圖像幀的一些流水線操作技術(shù)(pipelining)形 式，如圖2所示。例如，在一實(shí)施例中，當(dāng)在移動(dòng)塊220中處理PP(n)時(shí)，應(yīng)可獲得 LR(n+l) ...LR(n+2)的初始高分辨率估計(jì)。在處理彩色圖像中，例如，可在使用所有三要素的YUV域中進(jìn)行移動(dòng)估計(jì)。為 了降低計(jì)算復(fù)雜性，移動(dòng)估計(jì)可以只使用發(fā)光樣品。在移動(dòng)估計(jì)處理之前，RGB格式的 幀可被轉(zhuǎn)換為YUV格式。對(duì)于PP (η)與幀 SR(n_3)，SR(n_2)，SR(n_l)，PP (n+1), PP (n+2), PP(n+3)中每一個(gè)之間的移動(dòng)估計(jì)結(jié)果，移動(dòng)估計(jì)塊的輸出可表示為MER(n+k，η) (k =-3，-2，-1，1，2，3)。在一對(duì)幀之間的移動(dòng)估計(jì)中，一幀被用作為錨(anchor)，并 且被稱為“參考幀” F-以及在被稱為“目標(biāo)幀” Ft另一幀進(jìn)行搜尋。此處，我們使用 標(biāo)記MER(r，t)代表Fr與Ft之間的移動(dòng)估計(jì)結(jié)果，R作為參考幀且Ft作為目標(biāo)幀。例 如，MER(η-3, η)代表移動(dòng)估計(jì)結(jié)果，其中SR(η_3)是參考幀，以及ΡΡ(η)是目標(biāo)幀。以k = -3為例描述MER(n+k，η)格式?？紤]參考幀SR(n_3)的分害Ij (partition),其中SR(n_3)中的像素被分割為非重迭塊，大小為block_size_H χ block_size_ V，其中block size_H是塊中水平的像素?cái)?shù)目，以及block_size_V是垂直像素?cái)?shù)目。對(duì)于 SR(η-3)中塊R與其頂部左方像素位置為(bx*block sizeji，by*block_size_V)，它的移動(dòng) 估計(jì)結(jié)果記錄為 MER (η-3，η)中元素 MER(n_3，η, bx, by)。MER (n_3，n, bx, by) 可包括四個(gè)數(shù)據(jù)項(xiàng)目MVx，移動(dòng)向量的水平分量；Mvy，移動(dòng)向量的垂直分量；sad， 移動(dòng)向量的絕對(duì)差總和；以及act，塊的活動(dòng)。若塊R與T的移動(dòng)向量是(MVx，MVy)，則在參考幀SR(n_3)中(bx*block_ size_H, by*block_size_V)的塊 R 符合目標(biāo)幀 PP (η)中(bx*blocksize_H_MVx，by*block_ size_V-MVy)的塊Τ。MVx與Mvy皆為整數(shù)。高分辨率中移動(dòng)向量的整數(shù)精度 (integer-precision)暗指低分辨率中的次像素精度。數(shù)據(jù)項(xiàng)目sad代表R中像素與T中像 素之間的“絕對(duì)差總和”。數(shù)據(jù)項(xiàng)目act是塊R的活動(dòng)測(cè)量，定義為兩相水平與垂直鄰 像素之間絕對(duì)差的總和。例如，若塊大小為4x4像素，則R與T之間的sad可被定義如 方程式2 Sad = YjY^Rij-TiJl …-—--(2)
/ -1j=-\以及R的 act可被定義如方程式3 act = H _ Rmj Ι+ΣΣΚ j 八...........
i=-i y=-i =-ι j=~\Rij是指R的i、j像素，以及同樣地Ty是指T的i、j像素。塊R是矩形區(qū)域， 具有頂部左方像素R0, C1以及底部右方像素R3, 3，同樣地，塊T是矩形區(qū)域，具有頂部左 方像素Ttl, ^以及底部右方像素T3, 3。方程式(2)與(3)是表示在R與Y周圍的像素亦可 被使用于計(jì)算sad與act中。塊的活動(dòng)可被用以評(píng)估對(duì)應(yīng)移動(dòng)估計(jì)結(jié)果的可信度。為了 正確反映可信度，就絕對(duì)像素差的數(shù)目而論，act可被常態(tài)化以對(duì)抗對(duì)應(yīng)的SAD，如方程 式⑷所示
權(quán)利要求
1.一種計(jì)算機(jī)可讀取介質(zhì)，攜帶一或多個(gè)指令的一或多個(gè)序列，通過一或多個(gè)處理 器而執(zhí)行，從而執(zhí)行使用低分辨率圖像序列以產(chǎn)生超分辨率圖像的方法，當(dāng)所述一或多 個(gè)處理器執(zhí)行所述指令時(shí)，所述指令造成所述一或多個(gè)處理器(a)利用第一估計(jì)的高分辨率圖像與來自所述低分辨率圖像序列的多個(gè)比較圖像之間 的移動(dòng)估計(jì)結(jié)果，通過移動(dòng)補(bǔ)償背投影所述第一估計(jì)的高分辨率圖像，產(chǎn)生第二估計(jì)的 高分辨率圖像；以及(b)通過無移動(dòng)背投影所述第二估計(jì)的高分辨率圖像，產(chǎn)生第一超分辨的圖像。
2.如權(quán)利要求1所述的計(jì)算機(jī)可讀取介質(zhì)，其中所述第一估計(jì)的高分辨率圖像對(duì)應(yīng)于 從所述低分辨率圖像序列選擇的第一低分辨率圖像。
3.如權(quán)利要求1所述的計(jì)算機(jī)可讀取介質(zhì)，其中所述第一估計(jì)的高分辨率圖像與所述 多個(gè)比較圖像之間的所述移動(dòng)估計(jì)結(jié)果由包括以下步驟的方法產(chǎn)生(a)按時(shí)間排序第一工作序列，包含第一組的比較圖像、第二組的比較圖像以及所述 第一估計(jì)的高分辨率圖像，其中所述第一組的比較圖像中的每一個(gè)圖像具有其對(duì)應(yīng)的發(fā) 生在所述低分辨率圖像序列中的所述第一低分辨率圖像之前的低分辨率圖像，以及其中 所述第二組的比較圖像中的每一個(gè)圖像具有其對(duì)應(yīng)的發(fā)生在所述低分辨率圖像序列中的 所述第一低分辨率圖像之后的圖像；(b)計(jì)算來自所述第一工作序列的每一對(duì)鄰近圖像之間的移動(dòng)向量；(c)產(chǎn)生第一工作圖像與所述第一工作序列中其它圖像之間的估計(jì)的移動(dòng)向量組，其 中通過結(jié)合在計(jì)算每一對(duì)鄰近圖像之間的移動(dòng)向量中所產(chǎn)生的移動(dòng)向量，產(chǎn)生所述估計(jì) 的移動(dòng)向量組；以及(d)改進(jìn)所述估計(jì)的移動(dòng)向量。
4.如權(quán)利要求3所述的計(jì)算機(jī)可讀取介質(zhì)，其中結(jié)合在計(jì)算每一對(duì)鄰近圖像之間的移 動(dòng)向量中所產(chǎn)生的移動(dòng)向量，進(jìn)一步包括(a)辨識(shí)第一參考幀中的第一塊，其中所述第一塊是在所述第一參考幀中對(duì)準(zhǔn)的格；(b)辨識(shí)中間幀中的第二塊，其中所述第二塊是所述第一塊的最佳匹配塊；(c)辨識(shí)目標(biāo)幀中多個(gè)第三塊，其中所述第二塊包含來自每一個(gè)第三塊的像素，以及 其中每一個(gè)第三塊是在所述目標(biāo)幀中對(duì)準(zhǔn)的塊；以及(d)計(jì)算代表所述多個(gè)第三塊的值。
5.如權(quán)利要求4所述的計(jì)算機(jī)可讀取介質(zhì)，其中代表所述多個(gè)第三塊的所述值是所述 多個(gè)第三塊與所述第二塊之間所述移動(dòng)向量的中位數(shù)。
6.如權(quán)利要求4所述的計(jì)算機(jī)可讀取介質(zhì)，其中代表所述多個(gè)第三塊的所述值是所述 多個(gè)第三塊與所述第二塊之間所述移動(dòng)向量的算數(shù)平均數(shù)。
7.如權(quán)利要求4所述的計(jì)算機(jī)可讀取介質(zhì)，其中代表所述多個(gè)第三塊的所述值是所述 多個(gè)第三塊與所述第二塊之間所述移動(dòng)向量的絕對(duì)差的最小總和。
8.如權(quán)利要求1所述的計(jì)算機(jī)可讀取介質(zhì)，其中所述低分辨率圖像序列是視頻圖像。
9.如權(quán)利要求1所述的計(jì)算機(jī)可讀取介質(zhì)，其中所述移動(dòng)補(bǔ)償背投影包含根據(jù)多個(gè)參 考圖像，改進(jìn)所述第一估計(jì)的高分辨率圖像，其中所述參考圖像的順序是從距離所述第 一估計(jì)的高分辨率圖像在時(shí)間上最遠(yuǎn)至在時(shí)間上最接近所述第一估計(jì)的高分辨率圖像。
10.如權(quán)利要求9所述的計(jì)算機(jī)可讀取介質(zhì)，其中依照時(shí)間的先后順序，處理與所述 第一估計(jì)的高分辨率圖像有相同時(shí)間距離的所述參考圖像。
11.如權(quán)利要求10所述的計(jì)算機(jī)可讀取介質(zhì)，其中移動(dòng)補(bǔ)償背投影進(jìn)一步包含通過比 例因子，依比例確定移動(dòng)補(bǔ)償?shù)臍埩粽`差。
12.如權(quán)利要求11所述的計(jì)算機(jī)可讀取介質(zhì)，其中通過所述多個(gè)移動(dòng)估計(jì)結(jié)果的信賴 度，決定所述比例因子。
13.一種利用低分辨率圖像序列產(chǎn)生超分辨率圖像的方法，所述方法包括(a)在第一估計(jì)的高分辨率圖像與來自低分辨率圖像序列的多個(gè)比較圖像之間移動(dòng)估 計(jì)，產(chǎn)生多個(gè)移動(dòng)估計(jì)結(jié)果；(b)移動(dòng)補(bǔ)償背投影所述第一估計(jì)的高分辨率圖像，利用所述移動(dòng)估計(jì)結(jié)果，產(chǎn)生第 二估計(jì)的高分辨率圖像；以及(c)無移動(dòng)背投影所述第二估計(jì)的高分辨率圖像，以產(chǎn)生第一超分辨的圖像。
14.如權(quán)利要求13所述的方法，其中所述第一估計(jì)的高分辨率圖像對(duì)應(yīng)于從所述低分 辨率圖像序列所選擇的第一低分辨率圖像。
15. —種用于產(chǎn)生超分辨率圖像的系統(tǒng)，包括(a)高分辨率圖像估計(jì)模塊；(b)移動(dòng)估計(jì)模塊；(C)移動(dòng)補(bǔ)償背投影模塊；以及(d)無移動(dòng)背投影模塊；其中在所述高分辨率估計(jì)模塊、所述移動(dòng)估計(jì)模塊、所述移動(dòng)補(bǔ)償背投影模塊以及 所述無移動(dòng)背投影模塊中使用低分辨率圖像序列，產(chǎn)生超分辨的圖像。
全文摘要
本發(fā)明揭露利用低分辨率圖像序列，產(chǎn)生超分辨率圖像的方法。所述方法包含產(chǎn)生估計(jì)的高分辨率圖像、在所述估計(jì)的高分辨率圖像與來自所述低分辨率圖像序列的比較圖像之間移動(dòng)估計(jì)，移動(dòng)補(bǔ)償背投影以及無移動(dòng)背投影，因而得到超分辨的圖像。用于產(chǎn)生超分辨率圖像的對(duì)應(yīng)系統(tǒng)包含高分辨率圖像估計(jì)模塊、移動(dòng)估計(jì)模塊、移動(dòng)補(bǔ)償背投影模塊、無移動(dòng)背投影模塊、輸入接口以及輸出接口。
文檔編號(hào)H04N7/015GK102016915SQ200980114216
公開日2011年4月13日 申請(qǐng)日期2009年3月12日 優(yōu)先權(quán)日2008年3月17日
發(fā)明者Y·賈 申請(qǐng)人:Ati技術(shù)無限責(zé)任公司