用于執(zhí)行對輸入圖像的分層超分辨率的方法和裝置制造方法
【專利摘要】超分辨率(SR)指的是恢復給定的低分辨率(LR)圖像的丟失的高頻細節(jié)的處理。對于大多數(shù)實際應用來講，已知的單一圖像SR算法通常在計算上是難以處理的或不可使用的。本發(fā)明涉及一種用于基于自內(nèi)容鄰域分塊信息執(zhí)行分層超分辨率的方法，所述方法基于金字塔分解。輸入LR分塊鄰域的固有幾何屬性是根據(jù)輸入LR分塊及其從LR圖像的不同尺寸減小版本獲取的K個最近鄰域獲得的。
【專利說明】用于執(zhí)行對輸入圖像的分層超分辨率的方法和裝置

【技術領域】
[0001] 本發(fā)明涉及用于執(zhí)行輸入圖像的分層超分辨率的方法，以及用于執(zhí)行輸入圖像的 分層超分辨率的裝置。本發(fā)明還涉及通過使用基于塊的預測在執(zhí)行超分辨率中對像素進行 平均的方法，以及通過使用基于塊的預測在執(zhí)行超分辨率中對像素進行平均的設備。

【背景技術】
[0002] 超分辨率（SR)指的是恢復給定的低分辨率（LR)圖像的丟失的高頻細節(jié)的處理。 換言之，SR使用一個或更多個LR觀察（observation)生成具有清晰且細致的內(nèi)容的高分 辨率（HR)圖像。SR處理的一種類別涉及單一圖像超分辨率。
[0003] 已知多種圖像上采樣技術，其中包括一些使用單一低分辨率圖像的技術和一些不 使用任何外部信息或數(shù)據(jù)庫的技術。一些SR技術使用對空間紋理分塊（patch)的上采樣 來給出LR和HR圖像分塊空間的局部幾何相似度。
[0004] 以下是對當前如何解決這一問題的概述。經(jīng)典SR方法（例如[1]-[3])嘗試通過 融合一組LR圖像來恢復未知HR圖像。這些算法假定丟失的高頻信息是隱式地按LR觀察 分布的，并且如果存在足夠數(shù)目的LR圖像，則能夠成功恢復HR圖像。因此，重構(gòu)的HR圖像 的質(zhì)量高度依賴于LR圖像中的可用數(shù)據(jù)量。
[0005] 然而，實際上，LR觀察的數(shù)目不足、配準（即運動估計）誤差、以及未知的點擴散 函數(shù)（PSF)將這些多圖像SR方法的應用限制為小的分辨率增大比，在一般條件下，該分辨 率增大比小于2 [4]。
[0006] 為了克服經(jīng)典多圖像SR中的限制，已經(jīng)提出了基于示例的方法。在[5]中，從其 它自然圖像收集LR和HR圖像分塊對，并通過使用置信傳播經(jīng)由Markov網(wǎng)絡獲悉這些分塊 的低頻和高頻關系。在[6]中隨后對這一方法進行了簡化，給出了針對Markov網(wǎng)絡的快 速且近似的解決方案，其中具有通過對所收集的訓練示例的數(shù)據(jù)庫進行最近鄰域（NN)搜 索得到的HR分塊的預測序列。根據(jù)局部LR圖像信息和HR圖像的最近恢復部分的高頻分 塊相容性來估計（"虛構(gòu)"）丟失的高頻細節(jié)。在基于示例的紋理合成的情況下，大量使用 了類似的基于NN的方案（[7]-[9])，并且已經(jīng)證明了其在不同圖像處理應用中（例如，在 [10]_[12]中）是有益的。
[0007] 盡管如此，為了足以進行SR，這里需要構(gòu)造具有大量訓練LR和HR分塊對的數(shù)據(jù) 庫，從而對于大多數(shù)實際應用而言，這在計算上是難以處理的或不可使用的。


【發(fā)明內(nèi)容】

[0008] 本發(fā)明通過在不使用任何外部信息或數(shù)據(jù)庫的情況下使用根據(jù)單一低分辨率圖 像的超分辨率（SR)方法來改進已知的圖像上采樣技術。本發(fā)明的至少一個實施例主要涉 及使用空間紋理分塊，以給出低分辨率（LR)和高分辨率（HR)圖像分塊空間的局部幾何相 似度。
[0009] 本發(fā)明的至少一個實施例通過在不使用任何外部信息或數(shù)據(jù)庫的情況下使用根 據(jù)單一 LR圖像的金字塔超分辨率方法來改進圖像上采樣技術。在一個實施例中，在處理每 一個塊之前計算并減去該塊的均值，以及之后再次加上該均值。注意到，與本領域中的慣常 用法一樣，這里將術語塊和分塊作為同義詞使用。
[0010] 通常，本發(fā)明涉及固有單一圖像SR，并且依賴于LR和HR圖像分塊空間的局部幾何 相似度。從輸入LR分塊及其從LR圖像的跨尺度（即從不同的尺度）獲取的K個最近鄰域 (K-NN)獲得輸入（參見下文，已經(jīng)減去或尚未減去均值）LR分塊鄰域的固有幾何屬性。 [0011] 根據(jù)本發(fā)明的一個實施例，一種用于執(zhí)行對輸入圖像的分層SR的方法包括以下 步驟：將輸入圖像劃分成分塊；將輸入圖像空間分解到至少兩個較低分解級別，其中獲得 至少兩個較低分解級別圖像；以及生成空上采樣幀，其中針對輸入圖像的每個分塊，生成上 采樣幀中的相應上采樣分塊。然后，針對輸入圖像的每個當前分塊，該方法還包括以下步 驟：在較低分解級別圖像中搜索與當前分塊具有相同尺寸的一個或更多個相似分塊；針對 在搜索步驟中找到的每個相似分塊，確定其在下一較高分解級別中的相應母分塊；對所確 定的母分塊進行加權；累積經(jīng)過加權的所確定的母分塊，以便獲得上采樣的高分辨率分塊； 以及在上采樣幀中使用上采樣的高分辨率分塊替換與當前分塊相對應的上采樣分塊。
[0012] 在一個實施例中，本發(fā)明涉及一種相應的裝置，如權利要求12以及下文所示。
[0013] 在一個實施例中，局部LR幾何形狀是使用根據(jù)輸入LR分塊的K-NN的該輸入LR 分塊的局部線性嵌入（LLE) [13]重構(gòu)系數(shù)來線性表征的。然后，假定已經(jīng)在HR分塊空間中 保留了局部LR幾何形狀，根據(jù)輸入LR分塊的所找到的K-NN的相應的（參見下文，已經(jīng)減 去或尚未減去均值）HR母分塊來估計（"虛構(gòu)"）HR嵌入。于是通過加上輸入LR分塊的均 值獲得對當前HR分塊的估計。
[0014] 在一個實施例中，本發(fā)明涉及一種用于通過使用基于塊的預測在執(zhí)行超分辨率中 對像素進行平均的方法，其中使用了 LLE，以及其中像素來自重疊的源塊。該方法包括以下 步驟：確定源塊的稀疏度因子；以及根據(jù)加權因子對來自源塊的像素進行組合，其中每個 源塊的稀疏度因子被用作該源塊的像素的加權因子。
[0015] 在一個實施例中，本發(fā)明涉及一種用于通過使用基于塊的預測在執(zhí)行超分辨率中 對像素進行平均的裝置，其中使用了 LLE，以及其中像素來自重疊的源塊。該裝置包括用于 確定源塊的稀疏度因子的第一處理單元，以及用于根據(jù)加權因子對來自源塊的像素進行組 合的第二處理單元，其中每個源塊的稀疏度因子被用作該源塊的像素的加權因子。第一處 理單元和第二處理單元可以被實現(xiàn)為單個處理單元。
[0016] 結(jié)合附圖考慮以下描述以及所附的權利要求，本發(fā)明的其他目的、特征和優(yōu)勢將 變得顯而易見。

【專利附圖】

【附圖說明】
[0017] 下面將參照附圖描述本發(fā)明的示例性實施例，其中：
[0018] 圖1示出了為了通過跨尺度鄰域嵌入實現(xiàn)超分辨率而對單一圖像進行上采樣的 結(jié)構(gòu)；
[0019] 圖2示出了塊中的非零系數(shù)的數(shù)目與要用于該塊的歸一化加權因子之間的示例 性關系；
[0020] 圖3示出了根據(jù)本發(fā)明的一個實施例的用于執(zhí)行對輸入圖像的分層超分辨率的 方法的流程圖；
[0021] 圖4示出了在較低分解級別圖像中搜索相似分塊的步驟的具體流程圖；
[0022] 圖5示出了在上采樣幀中替換上采樣分塊的步驟的具體流程圖；
[0023] 圖6示出了根據(jù)本發(fā)明的一個實施例的用于在執(zhí)行超分辨率中對像素進行平均 的方法的流程圖；
[0024] 圖7示出了用于執(zhí)行對輸入圖像的分層超分辨率的裝置的結(jié)構(gòu)；
[0025] 圖8示出了用于在執(zhí)行超分辨率中對像素進行平均的裝置的結(jié)構(gòu)；以及
[0026] 圖9示出了根據(jù)本發(fā)明的一個實施例的方法的高級流程圖。

【具體實施方式】
[0027] 如下文所述，圖1示出了通過跨尺度鄰域嵌入的單一圖像超分辨率。為了執(zhí)行對 低分辨率輸入圖像的超分辨率，可以如下繼續(xù)算法。
[0028] 如圖9所示，算法的高級流程圖至少包括以下步驟：步驟Al，L+1個級別的金字塔 構(gòu)造；步驟A2, LR分塊估計以及相應的HR分塊重構(gòu)；以及步驟A3, LR/HR分塊估計的重疊。
[0029] 首先，描述L+1個級別的金字塔構(gòu)造過程A1。其包括以下步驟（參照圖1進行說 明）。
[0030] 通過低通濾波器以給定的比rd對輸入IJLR，金字塔級別I = 0)圖像進行濾波和 下采樣，其中獲得低頻圖像U。通過低通濾波器對之前經(jīng)過下采樣的圖像U再次進行濾 波和下采樣，其中獲得低頻圖像L 2，等等。通過重復這一過程，能夠獲得更多的空間分解級 另IJ。最終，通過低通濾波器對經(jīng)過下采樣的圖像1$ 2進行濾波和下采樣，其中獲得最終的 低頻圖像1<+1。創(chuàng)建空HR圖像L，其中^與〗。的尺寸比是I。與U的反比，即1/1。= I。/ U，或者說：上采樣因子ru是下采樣因子rd的倒數(shù)。
[0031] 最終，金字塔由以下級別組成：級別1(圖1中所示的倒置金字塔的底部），作為HR 圖像分辨率（要被重構(gòu)）；級別〇,作為輸入LR圖像；以及級別-L+2,作為最低分辨率圖像 (圖1中的倒置金字塔的頂部）。
[0032] 其次，描述步驟A2,即LR分塊估計和從最低頻分塊的HR分塊重構(gòu)。公開了兩個備 選實施例：一種稱為"基于殼度的"，另一種稱為"基于梯度的"。
[0033] 基于亮度的方案包括如下所述的LR分塊估計、HR分塊重構(gòu)和HR圖像重構(gòu)。
[0034] LR分塊估計包括以下步驟：在輸入圖像L中確定第一位置處的第一分塊？"，其中 η是L中的當前路徑的索弓丨；搜索從LR圖像L的較低尺度Ι_ρΙ_2.....獲取的K個最 接近鄰域（K-NN);以及使用根據(jù)輸入LR分塊Pn的K-NN PNn, k (具有相應的加權因子Wn, k) 的該輸入LR分塊？"的局部線性嵌入（例如來自[13]的局部線性嵌入LLE)重構(gòu)系數(shù)來進 行線性表征。K-NN是根據(jù)給定標準（例如，SAD、SSE)的K個最佳匹配的（與之前的第一分 塊P〇)分塊PN n,k。SAD (絕對差之和）和SSE (均方誤差之和）是所涉及的【技術領域】中的公 知標準。
[0035] HR分塊重構(gòu)包括根據(jù)輸入LR分塊的所找到的K-NN PNn, k (具有相應的加權因子 wn,k)的相應的HR母分塊PPNn,k來構(gòu)建（也稱為合成）HR分塊P Hn嵌入，其中L圖像的當前 HR PHn*塊與輸入圖像I。的口"分塊嚴格地對應（homologous),且源于（issue)金字塔的 I〇> I-!.....Ι_?+2圖像的HR母分塊PPNn,k與源于金字塔的I_p 1_2.....Ι_?+1圖像的PNn,k分 塊是對應的。
[0036] HR圖像重構(gòu)包括針對LR/HR圖像的分塊的所有分塊/分塊對重復LR分塊估計和 HR分塊重構(gòu)。
[0037] 基于梯度的方案（即減去亮度均值）包括如下LR分塊估計、HR分塊重構(gòu)和HR圖 像重構(gòu)。
[0038] LR分塊估計包括：在輸入圖像L中確定第一位置處的第一分塊？"，其中η是I。中 的當前路徑的索引，并且減去了塊的均值；搜索從LR圖像L的較低尺度Ι_ρ 1_2.....I_L+1 中獲取的K個最接近鄰域K-NN ;以及使用根據(jù)輸入LR分塊Pn的K-NN PNn,k(具有相應的加 權因子wn,k)的該輸入LR分塊？"的局部線性嵌入（例如LLE)重構(gòu)系數(shù)來進行線性表征。 K-NN是根據(jù)給定標準（例如，SAD、SSE)的K個最佳匹配的（與之前的第一分塊PJ分塊 PNn,k，其中在每個塊PNn,k處，害減去均值（即其自己的單獨平均）。
[0039] HR分塊重構(gòu)包括根據(jù)輸入LR分塊的所找到的K-NN PNn, k (具有相應的加權因子 wn,k)的相應的（減去均值，S卩，其自身的均值）HR母分塊PPNn, k來構(gòu)建（也稱為合成）HR分 塊PHn嵌入，其中Ii圖像的當前HR PHn分塊與輸入圖像L的Pn分塊嚴格地對應，且源于金 字塔的I。、U.....Ι_?+2圖像的HR母分塊PPNn,k與源于金字塔的If 1_2.....Ι_?+1圖像的 PNn,k分塊是對應的。最后，將輸入LR(輸入L圖像）分塊的均值添加到當前重構(gòu)的HR分 塊。
[0040] HR圖像重構(gòu)包括針對LR/HR圖像的所有分塊/分塊對重復LR分塊估計和HR分塊 重構(gòu)。
[0041] 在L+1個級別的金字塔重構(gòu)A1和LR分塊估計及HR分塊重構(gòu)A2之后，下一步驟 A3是LR/HR分塊估計的重疊，即根據(jù)最低頻分塊的合成。在一個實施例中，這包括均值平均 與稀疏度加權平均中的至少一個。
[0042] 均值平均包括，在已經(jīng)針對LR圖像I。中的每個分塊計算了 HR嵌入之后，允許分 塊之間的重疊，以便針對每個HR像素對源于重疊每個當前像素的重構(gòu)塊的所有像素貢獻 進行平均。
[0043] 稀疏度加權平均包括，為了保留主要（dominant)結(jié)構(gòu)，根據(jù)基于稀疏度的測量對 所估計的重疊區(qū)域像素進行加權。然后，根據(jù)重疊像素所源于的塊的稀疏程度來實現(xiàn)加權 平均。稀疏度加權因子可以是塊的DCT系數(shù)的數(shù)目的函數(shù)，或者更為復雜的，在諸如"匹配 追蹤"（MP)或"正交匹配追蹤"（0ΜΡ)的稀疏表示的情況中是表示塊的原子數(shù)目的函數(shù)。
[0044] 在一個實施例中，附加的最后步驟是迭代反投影（圖9中未示出）。這一步驟在于 應用已知的迭代反投影處理，這確保所恢復的HR圖像產(chǎn)生與所觀察到的相同的參考LR圖 像。該方法在于，將原始輸入LR圖像L和下采樣HRh圖像之間的經(jīng)過上采樣（以及低通 濾波）的差異遞歸地加（k次迭代）到所重構(gòu)的HR k圖像結(jié)果。將該操作重復預定義的最 大迭代次數(shù)。通常，20次迭代是足夠的。一般適用的范圍是10-30次迭代，在一些情況中， 更少的迭代也足夠了。
[0045] 可以使用多種分塊尺寸。具體地，低分辨率的有益分塊尺寸是3X3、5X5和7X7 像素（其中5X5至少針對2X2的尺寸增大給出最佳結(jié)果）。對于HR，對應尺寸是：6X6、 10X10和14X14像素。同樣，可以使用從一個圖像到下一個圖像的不同于2的多個其它子 采樣因子?？梢詫⒃摲椒〝U展用于例如3或4的因子。這一擴展通過調(diào)整LR和HR分塊尺 寸和LR圖像的尺寸減小版本來實現(xiàn)。此外，作為另一選擇，為了獲得因子4的上采樣可以 應用兩次因子為2的上采樣，或者為了獲得因子6的上采樣可以應用兩次因子為3的上采 樣，等等。
[0046] 針對LR圖像中的每個分塊，計算保留LR鄰域的局部幾何形狀的HR嵌入。為了在 目標HR圖像中實現(xiàn)局部相容性和平滑度約束，盡可能地允許分塊之間的重疊。示例性地， 分塊在每個維度重疊1個像素或2個像素。
[0047] 因此，能夠根據(jù)基于稀疏表示的加權測量對重疊區(qū)域像素進行線性組合。在這種 方法中，可通過信息庫來分解輸入LR分塊與估計的HR分塊的級聯(lián)，所述信息庫由從LR圖 像及其跨尺度所獲取的LR和HR圖像分塊構(gòu)成。
[0048] 在一個實施例中，根據(jù)分塊的表示的稀疏度來對分塊進行加權，即最稀疏的表示 給予最高權重，以此類推。在一個實施例中，權重取決于分塊的非零系數(shù)（例如DCT系數(shù)） (在閾值處理之后）的數(shù)目。在一個實施例中，如圖2所示，使用根據(jù)下式的指數(shù)函數(shù)計算 權重：
[0049] W = exp (f (非零系數(shù)的數(shù)目））
[0050] 圖2示出了塊中的非零（實際上，"非零"指的是在零附近的最小閾值之上）系數(shù) 的數(shù)目與要用于該塊的歸一化加權因子之間的示例性關系。如圖所示，塊所具有的非零系 數(shù)越多，加權因子就越低。
[0051] 如果使用分塊的稀疏表不（例如ΜΡ、0ΜΡ)，則這里在稀疏表不的情況下，"原 子"（源于由N個原子組成的信息庫）和DCT的"基本函數(shù)"相似（已知原子和基本函數(shù)是 在空域表示的）。這里，權重還取決于非零系數(shù)的數(shù)目。
[0052] 最后，為了滿足全局重構(gòu)約束（S卩，所恢復的HR圖像應該生成與所觀察到的相同 的參考LR圖像），在一個實施例中，采用迭代反投影方法[1]、[2]。從而，假定最終HR圖像 估計是反投影算法的結(jié)果S9。
[0053] 在一個實施例中，總體算法包括：
[0054] ?金字塔SR算法，例如基于LLE的，
[0055] ?加上（對所重構(gòu)的重疊塊的）稀疏平均，
[0056] ?以及（可選）+反投影。
[0057] 有益地，根據(jù)本發(fā)明的算法優(yōu)于本領域已知的算法。
[0058] 圖3示出了根據(jù)本發(fā)明的一個實施例的用于執(zhí)行對輸入圖像的分層超分辨率的 方法的流程圖。在本實施例中，用于執(zhí)行對輸入圖像L的分層超分辨率的方法10包括以 下步驟：將輸入圖像劃分S1成分塊P n ;將輸入圖像^空間分解S2到至少兩個較低分解 級別，其中獲得至少兩個較低分解級別圖像IfL2 ;以及生成S3空上采樣幀L，其中針對輸 入圖像的每個分塊Pn，生成上采樣幀L中的相應上采樣分塊。然后，針對輸入圖像1〇的每 個當前分塊P n，執(zhí)行以下步驟。
[0059] 在較低分解級別圖像U、1_2中，搜索S4與當前分塊具有相同尺寸的一個或更多個 相似分塊PN n>1、PNn,2、PNn,3。針對在搜索步驟中找到的每個相似分塊PN n>1、PNn,2、PNn,3，確定 S5其在下一較高分解級別Ip U中的相應母分塊PPNn>1、PPNn,2、PPNn, 3。使用加權因子Wl、 w2、w3對所確定的母分塊PPN^PPUPNy進行加權S6,其中獲得經(jīng)過加權的所確定的母 分塊。累積S7經(jīng)過加權的所確定的母分塊，其中獲得上采樣的高分辨率分塊。最后，在 上采樣幀L中使用上采樣高分辨率分塊PHn替換S8對應于當前分塊L的上采樣分塊。
[0060] 第一決定步驟D1確定是否已經(jīng)調(diào)查了更多潛在相似分塊（在多個較低級別中）， 以及第二決定步驟D2確定是否已經(jīng)處理了輸入圖像的全部分塊。
[0061] 注意到，在確定步驟S5中，在下一個較高分解級別Ip U中找到的母分塊PPNn>1、 PPNn,2、PPNn,3大于相應的當前分塊。
[0062] 圖4示出了在較低分解級別圖像中搜索相似分塊的步驟的一個實施例的具體流 程圖。在本實施例中，計算S41每個當前分塊的均值，并計算S42每個相似分塊的均值。從 當前分塊的每個像素值中減去S43當前分塊的均值。從相應相似分塊的每個像素值中減去 S44每個相似分塊的均值。這是在在較低分解級別圖像I_pl_2中搜索一個或更多個相似分 塊PN n>1、PNn,2、PNn,3的步驟中執(zhí)行的。注意到，步驟S43可在步驟S42之前或之后執(zhí)行。
[0063] 圖5示出了在上采樣幀中替換上采樣分塊的步驟的一個實施例的具體流程圖。在 本實施例中，將每個當前分塊的均值與對應于當前分塊的上采樣分塊的每個像素值相加 S81，然后完成在上采樣幀L中實際插入S82上采樣分塊，由此上采樣分塊替換了 HR圖像 中的默認分塊。
[0064] 圖6示出了根據(jù)本發(fā)明的一個實施例的用于在執(zhí)行SR中對像素進行平均的方法 的流程圖。用于通過使用基于塊的預測在執(zhí)行超分辨率中對像素進行平均的方法60 (其中 使用LLE，并且其中像素來自重疊的源塊）包括以下步驟：確定S6_l源塊的稀疏度因子；以 及根據(jù)加權因子對來自源塊的像素進行組合S6_2,其中每個源塊的稀疏度因子被用作該源 塊的像素的加權因子。
[0065] 圖7示出了用于執(zhí)行對輸入圖像的分層超分辨率的裝置的結(jié)構(gòu)，其中輸入圖像I。 被劃分成分塊Pn。裝置70包括空間分解單元SDU、上采樣單元UPU以及處理單元PU。其它的 單元（可以是分離的單元或處理單元的一部分）是搜索單元P_SU、母分塊確定單元？_?01 加權單元P_WU、累積單元P_AU以及分塊插入單元P_PIU (或分塊替換單元，參見上文）。 [0066] 空間分解單元SDU將輸入圖像I?？臻g分解到至少兩個較低分解級別，其中獲得具 有不同空間分辨率的至少兩個較低分解級別圖像If If
[0067] 上采樣單元UPU生成空上采樣幀L，其中針對輸入圖像的每個分塊Pn，生成上采樣 幀1:中的相應上采樣分塊。
[0068] 在一個實施例中，處理單元TO針對輸入圖像I。的每個當前分塊？"執(zhí)行以下步驟： 在較低分解級別圖像U、L 2中搜索與當前分塊具有相同尺寸的一個或更多個相似分塊PNn, i、PNn, 2、PNn,3 ;針對在搜索步驟中找到的每個相似分塊PNn>1、PNn,2、PN n,3，確定其在下一較高 分解級別1〇、U中的相應母分塊？?凡,1、？?凡, 2、？?凡,3，其中母分塊大于當前分塊；對所確定 的母分塊PPNuJPtyPPNu進行加權，其中獲得經(jīng)過加權的所確定的母分塊；累積經(jīng)過加 權的所確定的母分塊，其中獲得上采樣的高分辨率分塊P Hn ;以及在上采樣幀Ii中使用上采 樣的高分辨率分塊PHn替換對應于當前分塊1〇的上采樣分塊。
[0069] 在其它實施例中，可以使用以下分離單元中的一個或更多個。
[0070] 在一個實施例中，由搜索單元P_SU來完成在較低分解級別圖像I_p 1_2中搜索與 當前分塊具有相同尺寸的一個或更多個相似分塊PNn>1、PN n,2、PNn,3的步驟。
[0071] 在一個實施例中，由母分塊確定單元P_PDU來完成針對在搜索步驟中找到的每個 相似分塊PN n>1、PNn,2、PNn,3確定在下一較高分解級別I。、L中的相應母分塊PPN n>1、PPNn,2、 PPNn,3的步驟。注意到，一般來講，母分塊大于當前分塊（參見圖1)。
[0072] 在一個實施例中，由加權單元P_WU來完成對所確定的母分塊PPNn>1、PPN n,2、PPNn,3 進行加權以獲得經(jīng)過加權的所確定的母分塊的步驟。
[0073] 在一個實施例中，由累積單元P_AU完成為了獲得上采樣的高分辨率分塊PHn而累 積經(jīng)過加權的所確定的母分塊的步驟。
[0074] 在一個實施例中，由插入單元P_PIU完成在上采樣幀^中使用上采樣高分辨率分 塊P Hn替換對應于當前分塊的上采樣分塊的步驟。
[0075] 圖8示出了一種用于在執(zhí)行超分辨率中對像素進行平均的裝置的結(jié)構(gòu)，其中使用 了局部線性嵌入（LLE)，以及其中像素來自重疊的源塊。裝置80包括
[0076] 第一處理單元，例如稀疏度確定處理單元SFPU，用于確定源塊的稀疏度因子，以及
[0077] 第二處理單元，例如像素組合處理單元PCPU，用于根據(jù)加權因子對來自源塊的像 素進行組合，其中每個源塊的稀疏度因子被用作該源塊的像素的加權因子。
[0078] -般來講，本發(fā)明涉及以下中的至少一個
[0079] 基于自內(nèi)容鄰近分塊信息的分層SR算法，其中減去或不減去塊的均值，其中所述 自內(nèi)容鄰近分塊信息基于金字塔分解，以及
[0080] 使用稀疏度因子對基于塊的預測進行最優(yōu)像素平均，以代替在LLESR技術的背景 下的經(jīng)典平均。
[0081] 本發(fā)明的一個好處是，本發(fā)明改善了呈現(xiàn)上采樣圖像的性能。上采樣圖像能夠更 快地呈現(xiàn)，并且降低了計算量。
[0082] 本發(fā)明的可能有益應用包括視頻分發(fā)和顯示技術，以及涉及視頻壓縮（例如空間 可縮放性）和內(nèi)容表示的應用。
[0083] 所公開的方法能夠在用于執(zhí)行該方法的裝置中實現(xiàn)，該裝置具有分離的單元，每 個單元用于執(zhí)行一個步驟。此外，該方法可以是計算機實現(xiàn)的，以用于在處理器上執(zhí)行。 [0084] 在本發(fā)明的一個實施例中，一種計算機可讀存儲介質(zhì)包括程序數(shù)據(jù)，該程序數(shù)據(jù) 當在處理器上執(zhí)行時會使得處理器執(zhí)行一種用于執(zhí)行對輸入圖像的分層超分辨率的方法 (如參照圖1和3所公開的）。
[0085] 在本發(fā)明的一個實施例中，一種計算機可讀存儲介質(zhì)包括程序數(shù)據(jù)，該程序數(shù)據(jù) 當在處理器上執(zhí)行時會使得處理器執(zhí)行一種用于通過使用基于塊的預測在執(zhí)行超分辨率 中對像素進行平均的方法（如參照圖6所公開的）。
[0086] 在一個實施例中，本發(fā)明涉及一種用于基于自內(nèi)容鄰近分塊信息執(zhí)行分層超分辨 率的方法，該方法包括金字塔分解的步驟。在一個實施例中，減去塊的均值。在另一個實施 例中，不減去塊的均值。在一個實施例中，金字塔超分辨率算法包括給出了加權組合的算法 (比如鄰域嵌入算法），其中通過求解約束最小二乘問題來確定用于所述加權組合的權重。 在一個實施例中，金字塔超分辨率算法是諸如LLE或非負矩陣分解（NMF)的鄰域嵌入算法。
[0087] 在一個實施例中，本發(fā)明涉及一種用于使用稀疏度因子對基于塊的預測進行最優(yōu) 像素平均（取代經(jīng)典平均）的方法（尤其是在LLE超分辨率的情況下）。在一個實施例中， 稀疏度因子被用作加權因子。
[0088] 在本發(fā)明的一個實施例中，用于執(zhí)行對輸入圖像L的分層超分辨率的方法10包 括以下步驟：
[0089] 將輸入圖像I。劃分S1成分塊Pn，
[0090] 將輸入圖像L空間分解S2到至少兩個較低分解級別，其中獲得至少兩個較低分 解級別圖像，
[0091] 生成S3空上采樣幀L，其中針對輸入圖像的每個分塊Pn，生成上采樣幀L中的相 應上采樣分塊，以及
[0092] 針對輸入圖像L的每個當前分塊？"，執(zhí)行以下步驟，
[0093] 在較低分解級別圖像I_p 1_2中，搜索S4與當前分塊具有相同尺寸的一個或更多 個相似分塊 PNna、PNn,2、PNn,3，
[0094] 針對在搜索步驟中找到的每個相似分塊？凡,1、?凡,2、?凡, 3，確定55其在下一較高分 解級別I。、、中的相應母分塊？?凡,1、？?凡,2、？?凡, 3，其中母分塊大于當前分塊，
[0095] 使用對應的權重Wl、w2、w3對所確定的母分塊PPN n>1、PPNn,2、PPNn,3進行加權S6,其 中獲得經(jīng)過加權的所確定的母分塊，
[0096] 累積S7經(jīng)過加權的所確定的母分塊，其中獲得上采樣的高分辨率分塊，以及
[0097] 在上采樣幀^中使用上采樣的高分辨率分塊替換S8對應于當前分塊L的上 采樣分塊。
[0098] 在一個實施例中，該方法在在較低分解級別圖像中搜索相似分塊的步驟中包括： 計算每個當前分塊的均值以及每個相似分塊的均值S41、S42,以及將所計算的均值從相應 分塊的每個像素值中減去S43、S44。此外，在該替換步驟中，將每個當前分塊的均值與對應 于當前分塊的上采樣分塊的每個像素值相加 S81。
[0099] 在一個實施例中，該方法在在較低分解級別圖像中搜索一個或更多個相似分塊的 步驟中包括根據(jù)分塊中的像素的亮度值確定相似度。
[0100] 在一個實施例中，該方法在在較低分解級別圖像中搜索一個或更多個相似分塊的 步驟中包括根據(jù)分塊的亮度梯度確定相似度。
[0101] 在一個實施例中，該方法包括根據(jù)分塊的稀疏度確定用于所述加權的權重，其中 稀疏度對應于分塊中的非零DCT系數(shù)的數(shù)目。
[0102] 在一個實施例中，該方法包括輸入圖像中的分塊部分重疊，因此上采樣圖像中的 相應上采樣分塊也部分重疊。
[0103] 在一個實施例中，該方法在加權和累積的步驟中包括計算加權組合，其中通過求 解約束最小二乘問題來確定用于所述加權組合的權重。上文提及的一個示例是熟知的最小 二乘算法。
[0104] 在一個實施例中，該方法在金字塔超分辨率算法中包括鄰域嵌入算法。示例為局 部線性嵌入（LLE)或非負矩陣分解（NMF)。
[0105] 在一個實施例中，該方法包括執(zhí)行迭代反投影（IBP)的附加最終步驟。
[0106] 在一個實施例中，該方法包括根據(jù)下一較高分解級別中的母分塊的相對坐標來確 定下一較高分解級別中的母分塊。也就是說，較低級別中的分塊的相對坐標和其在較高分 解級別中的母分塊的相對坐標相同（比如，高度的10%處，以及寬度的40%處）。這在原理 上可包括：確定較低級別中的分塊的相對坐標，確定較高分解級別中的具有相同相對坐標 的位置，以及將母分塊置于較高分解級別中的所確定的位置處。
[0107] 在一個實施例中，本發(fā)明涉及用于通過使用基于塊的預測在執(zhí)行超分辨率中對像 素進行平均的方法60,其中使用了局部線性嵌入并且其中像素來自重疊的源塊。該方法包 括以下步驟：確定S6_l源塊的稀疏度因子；以及根據(jù)加權因子對來自源塊的像素進行組合 S6_2,其中每個源塊的稀疏度因子被用作該源塊像素的加權因子。
[0108] 在一個實施例中，本發(fā)明涉及一種用于執(zhí)行對輸入圖像L的分層超分辨率的裝置 70,其中輸入圖像L被劃分成分塊P n。該裝置包括
[0109] 空間分解單元SDU，用于將輸入圖像L空間分解到至少兩個較低分解級別，其中獲 得至少兩個較低分解級別圖像（ Ll、L2)，
[0110] 上采樣單元UPU，用于生成空上采樣幀Ii，其中針對輸入圖像的每個分塊Pn，生成 上采樣幀L中的相應上采樣分塊，以及
[0111] 處理單元PU，用于針對輸入圖像L的每個當前分塊？"執(zhí)行以下步驟：
[0112] 在較低分解級別圖像If L2中搜索與當前分塊具有相同尺寸的一個或更多個相 似分塊 PNna、PNn,2、PNn,3，
[0113] 針對在搜索期間找到的每個相似分塊PNml、PNn, 2、PNn,3，確定其在下一較高分解級 別I。、、中的相應母分塊？?凡, 1、？?凡,2、？?凡,3，其中母分塊大于當前分塊，
[0114] 對所確定的母分塊PPNn>1、PPNn, 2、PPNn,3進行加權，其中獲得經(jīng)過加權的所確定的 母分塊，
[0115] 累積經(jīng)過加權的所確定的母分塊，其中獲得上采樣的高分辨率分塊Ph，以及
[0116] 在上采樣幀Ii中使用上采樣的高分辨率分塊PHn替換或插入對應于當前分塊L的 上采樣分塊。一般地，該裝置還可以包括圖像劃分單元，用于將輸入圖像1〇劃分成分塊P n， 這樣也可以處理尚未被劃分的圖像。
[0117] 如上文所述，該裝置可以包括以下一個或更多個分離單元：搜索單元？_31母分 塊確定單元P_PDU、加權單元P_WU、累積單元P_AU和分塊插入單元P_PIU。
[0118] 在該裝置的一個實施例中，在用于在較低分解級別圖像If L2中搜索一個或更多 個相似分塊PNn>1、PNn, 2、PNn,3的單元中，計算每個當前分塊的均值和每個相似分塊的均值， 并將所計算的均值從相應分塊的每個像素值中減去，以及在用于分塊插入或分塊替換的單 元P_PIU中，將每個當前分塊的均值與對應于當前分塊的上采樣分塊的每個像素值相加。
[0119] 在一個實施例中，該裝置還包括附加的迭代反投影單元。
[0120] 在一個實施例中，本發(fā)明涉及通過使用基于塊的預測在執(zhí)行超分辨率中對像素進 行平均的裝置80,其中使用了局部線性嵌入以及其中像素來自重疊的源塊。該裝置包括： 第一處理單元SFPU，用于確定源塊的稀疏度因子；以及第二處理單元PCPU，用于根據(jù)加權 因子對來自源塊的像素進行組合，其中每個源塊的稀疏度因子被用作其源塊的像素的加權 因子。
[0121] 雖然本發(fā)明的主要新穎特征已經(jīng)隨著應用于本發(fā)明的優(yōu)選實施例而被示出、描述 和指出，但應該理解的是，在不偏離本發(fā)明的精神的情況下，本領域普通技術人員可以對所 描述的裝置和方法、所公開的設備的形式和細節(jié)及其操作進行多種省略、替換和改變。這里 明確表示，那些以實質(zhì)上相同的方式執(zhí)行實質(zhì)上相同的功能以實現(xiàn)相同的結(jié)果的元素的所 有組合都在本發(fā)明的范圍內(nèi)。從一個所描述的實施例到另一個所描述的實施例的元素替換 也屬于本發(fā)明所設想并想要保護的范圍。
[0122] 應該理解的是，僅僅通過示意的方式描述了本發(fā)明，在不偏離本發(fā)明的范圍的情 況下能夠?qū)毠?jié)進行修改。
[0123] 說明書和（在適當?shù)那闆r下）權利要求和附圖中所公開的每個特征可以使獨立提 供的或以任何適當?shù)慕M合提供的。在適當?shù)那闆r下，可以以硬件、軟件或二者的組合來實現(xiàn) 這些特征。在適當?shù)那闆r下，連接可以實現(xiàn)為無線連接或有線連接（不必是直接連接或?qū)?用連接）。
[0124] 參考文獻
[0125] [1] Irani,M. ,Peleg,S. ：Improving resolution by image registration. CVGIP ： Graphical Models Image Process. 53 (1991)
[0126] [2]M. Irani and S. Peleg，"Motion analysis for image enhancement ： resolution，occlusion and transparency，''JVCIP，（1993)
[0127] [3]Farsiu，S.，Robinson，M.，Elad，M.，Milanfar，P. :Fast and robust multiframe super resolution. IEEE Trans. Image Process.13(2004)
[0128] [4]Lin, Z. , Shum, Η. Y. ：Fundamental limits of reconstruction-based super resolution algorithms under local translation.IEEE Trans.Pattern Anal. Mach. (2004)
[0129] [5]Freeman, W. T. , Pasztor, E. C. , Carmichael, 0. T. ：Learning low-level vision. Int. J. Comp. Vis. 40 (2000)
[0130] [6]Freeman, W.T. , Jones, T.R. , Pasztor, E.C. ：Examp 1 e-based super-resolution. IEEE Comp. Graph. Appl. 22(2002)
[0131] [7]Efros,A. A. , Leung, T. K. ：Texture synthesis by non-parametric sampling. In :IEEE Int. Conf. Computer Vis. (1999)
[0132] [8]Wei, L. Y. , Levoy, M. ：Fast texture synthesis using tree-structured vector quantization. In ：ACM Comp. Graphics Interactive Tech. (2000)
[0133] [9]Ashikhmin，M. ：Synthesizing natural textures. In ：ACM Symp. Interactive 3D Graph. (2001)
[0134] [10]Hertzmann, A. , Jacobs, C. E. , Oliver, N. , Cur less, B. , Sales in, D. H. ： Image analogies. In ：ACM Comp. Graphics Interactive Tech. (2001)
[0135] [ll]Criminisi, A. , Perez, P. , Toyama, K. ：Region-lling and object removal by examplar-based image inpainting. IEEE Trans. Image Process.13(2004)
[0136] [12] Sugimoto, K. , Kobayashi, M. , Suzuki, Y. , Kato, S. , Boon, C. S. ：Inter frame coding with template matching spatio-temporal prediction. In ：IEEE Int.Conf. Image Process. (2004)
[0137] [13]S. Roweis and L Saul,Nonlinear dimensionality reduction by locally linear embedding''，Science，vol. 290，(2000).
【權利要求】
1. 一種用于執(zhí)行對輸入圖像（U的分層超分辨率的方法（10)，包括以下步驟： -將輸入圖像（I。）劃分（S1)成分塊（Pn); -將輸入圖像（U空間分解（S2)到至少兩個較低分解級別，其中獲得至少兩個較低分 解級別圖像（Li、L2); -生成（S3)空上采樣幀（^，其中針對輸入圖像的每個分塊（Pn)，生成上采樣幀（I) 中的相應上采樣分塊；以及 針對輸入圖像（1〇)的每個Φ2)當前分塊（Pn)，執(zhí)行以下步驟： -在較低分解級別圖像（1+L2)中，搜索（S4)與當前分塊具有相同尺寸的一個或更多 個相似分塊（PUN^PU ; -針對在搜索步驟中找到的每個（〇1)相似分塊$凡,1、?凡,2、?凡,3)，確定（55)其在下一 較高分解級別（I。、、）中的相應母分塊（--凡,1、？?凡,2、？?凡,3)，其中母分塊大于當前分塊； -對所確定的母分塊（PPtpPPNmyPPNu)進行加權（Wl、w2、w3) (S6)，其中獲得經(jīng)過加 權的所確定的母分塊； -累積（S7)經(jīng)過加權的所確定的母分塊，其中獲得上采樣的高分辨率分塊（PjJ ;以及 -在上采樣幀中使用上采樣的高分辨率分塊（PJ替換（S8)與當前分塊（g相 對應的上采樣分塊。
2. 根據(jù)權利要求1所述的方法，其中，在在較低分解級別圖像（I_i、1_2)中搜索一個或 更多個相似分塊（PN n>1、PNn,2、PNn,3)的步驟中，計算（S41、S42)每個當前分塊的均值和每個 相似分塊的均值，以及將所計算的均值從相應分塊的每個像素值中減去（S43、S44)，以及其 中在所述替換步驟中，將每個當前分塊的均值與對應于當前分塊的上采樣分塊的每個像素 值相加（S81)。
3. 根據(jù)權利要求1或2所述的方法，其中，在在較低分解級別圖像中搜索一個或更多個 相似分塊的步驟中，根據(jù)分塊中的像素的亮度確定相似度。
4. 根據(jù)權利要求1或2所述的方法，其中，在在較低分解級別圖像中搜索一個或更多個 相似分塊的步驟中，根據(jù)分塊的亮度梯度確定相似度。
5. 根據(jù)權利要求1-4中的任一項所述的方法，其中根據(jù)分塊的稀疏度確定用于所述加 權的權重，其中稀疏度對應于分塊中的非零DCT系數(shù)的數(shù)目。
6. 根據(jù)權利要求1-5中的任一項所述的方法，其中輸入圖像（IJ中的分塊部分重疊， 以及上采樣圖像中的相應上采樣分塊部分重疊。
7. 根據(jù)權利要求1-6中的任一項所述的方法，其中加權和累積步驟包括計算加權組 合，其中通過求解約束最小二乘問題來確定用于所述加權組合的權重。
8. 根據(jù)權利要求1-7中的任一項所述的方法，其中金字塔超分辨率算法是鄰域嵌入算 法。
9. 根據(jù)權利要求1-8中的任一項所述的方法，還包括執(zhí)行反投影的附加步驟。
10. 根據(jù)權利要求1-9中的任一項所述的方法，其中下一較高分解級別的母分塊根據(jù) 其相對坐標來確定。
11. 一種用于通過使用基于塊的預測在執(zhí)行超分辨率中對像素進行平均的方法（60)， 其中使用局部線性嵌入（LLE)并且其中像素來自重疊的源塊，所述方法包括以下步驟： -確定（S6 1)源塊的稀疏度因子： -根據(jù)加權因子對來自源塊的像素進行組合（S6_2)，其中每個源塊的稀疏度因子被用 作該源塊的像素的加權因子。
12. -種用于執(zhí)行對輸入圖像（U的分層超分辨率的裝置（70)，其中輸入圖像（g被 劃分成分塊（P n)，所述裝置包括： -空間分解單元（SDU)，用于將輸入圖像（IJ空間分解到至少兩個較低分解級別，其中 獲得至少兩個較低分解級別圖像（Ll、L2); -上采樣單元（UPU)，用于生成空上采樣幀^)，其中針對輸入圖像的每個分塊（Pn)，生 成上采樣幀（U中的相應上采樣分塊；以及 處理單元（PU)，用于針對輸入圖像（g的每個當前分塊（Pn)執(zhí)行以下步驟： -在搜索單元（p_su)中，在較低分解級別圖像a_i、i_2)中搜索與當前分塊具有相同尺 寸的一個或更多個相似分塊（PNmpPNmyPNu); -針對在搜索步驟中找到的每個相似分塊（PNn>1、PNn,2、PN n,3)，在母分塊確定單元（P_ rou)中確定其在下一較高分解級別a。、I_i)中的相應母分塊$?凡,1、？?凡,2、？?凡, 3)，其中 母分塊大于當前分塊； -在加權單元（P_WU)中，對所確定的母分塊（PPNn>1、PPNn,2、PPN n,3)進行加權（Wl、w2、 W3)，其中獲得經(jīng)過加權的所確定的母分塊； -在累積單元（P_AU)中，累積經(jīng)過加權的所確定的母分塊，其中獲得上采樣的高分辨 率分塊（PHn);以及 -在插入單元（P_PIU)中，在上采樣幀（Ii)中使用上采樣的高分辨率分塊（PHn)替換與 當前分塊（U相對應的上采樣分塊。
13. 根據(jù)權利要求12所述的裝置，其中在用于在較低分解級別圖像a_i、I_2)中搜索一 個或更多個相似分塊（PN n>1、PNn,2、PNn,3)的搜索單元（P_SU)中，計算每個當前分塊的均值 和每個相似分塊的均值，并將所計算的均值從相應分塊的每個像素值中減去，以及其中在 插入單元（P_PIU)中，將每個當前分塊的均值與對應于當前分塊的上采樣分塊的每個像素 值相加。
14. 一種用于通過使用基于塊的預測在執(zhí)行超分辨率中對像素進行平均的裝置（80)， 其中使用局部線性嵌入（LLE)以及其中像素來自重疊的源塊，所述裝置包括： -第一處理單元（SFPU)，用于確定源塊的稀疏度因子；以及 -第二處理單元（PCPU)，用于根據(jù)加權因子對來自源塊的像素進行組合，其中每個源 塊的稀疏度因子被用作該源塊的像素的加權因子。
15. -種計算機可讀存儲介質(zhì)，包括程序數(shù)據(jù)，所述程序數(shù)據(jù)當在處理器上執(zhí)行時會使 得處理器執(zhí)行根據(jù)權利要求1-11中的任一項所述的方法。
【文檔編號】G06T3/40GK104160421SQ201380012742
【公開日】2014年11月19日 申請日期:2013年3月4日 優(yōu)先權日:2012年3月5日
【發(fā)明者】穆罕默德·圖爾坎, 多米尼克·托羅, 菲利普·古約泰爾 申請人:湯姆遜許可公司