專利名稱：基于對偶約束的聯(lián)合學習超分辨方法
技術領域：
本發(fā)明屬于圖像處理技術領域，涉及機器學習和鄰域嵌入(Neighbor Embedding) 圖像超分辨方法，可用于自然圖像超分辨恢復。
背景技術：
在實際應用中，大多數(shù)圖像處理系統(tǒng)，如醫(yī)學診斷、模式識別、視頻監(jiān)控、生物鑒 別、高清晰電視HDTV成像等應用領域，往往需要處理高分辨圖像。高分辨率的醫(yī)學圖像為 醫(yī)生的正確診斷能提供可靠依據(jù)，高分辨視頻圖像能有效提高目標識別的精度。無疑，通過 提高電子成像設備分辨率級別是提高成像分辨率的有效途徑之一。一方面，通過改進光學 傳感器件制造技術，縮小光學傳感器感光元件的物理尺寸，從而增加物理成像單元的密度， 可提高成像分辨率。然而，采用這種方法必定會導致成像設備成本的增加，限制消費類成 像設備的應用與推廣；另一方面，通過增加光學傳感器的設計尺寸，增加單位面積像素的個 數(shù)，也可提高成像的空間分辨率，但該方法會導致成像性能的急劇下降。而且，實際應用中， 在遠距離成像環(huán)境下，如視頻監(jiān)控、遙感成像和SAR成像，即便使用高分辨率的成像設備仍 然無法獲得滿足實際應用要求的高分辨圖像。因此，需要尋求提高現(xiàn)有圖像分辨率的其它 有效方法。通過信號處理技術，設計高效的超分辨圖像重建算法，是解決該問題的關鍵技 術，即圖像超分辨重建技術。1984 年，Tsai 和 Huang 等人在文獻“T. S. Huang and R. Y. Tsai, "Multi-frame imagerestoration and registration, "Adv. Comput. Vis. Image Process. , vol. 1, PP. 317-339，1984. ”中最早提出了圖像超分辨技術的思想。他們通過低分辨率圖像間的相 對運動，在頻域建立低分辨率圖像與期望的高分辨率圖像之間的關系，采用低分辨率圖像 的離散傅里葉變換與連續(xù)的高分辨率圖像采樣之間的關系實現(xiàn)超分辨反問題求解。近三十 多年來，很多學者對超分辨問題進行了廣泛而深入的研究，大體上，超分辨重建方法可分為 三類基于插值的方法、基于多幀低分辨圖像的方法和基于實例學習的方法。1)基于插值的方法是一種直接而高效的提高圖像分辨率的方法。該方法通過一 個插值核或插值基函數(shù)估計高分辨圖像中每個像素的值。如最近鄰插值、雙線性插值和雙 立方插值等均是常見的圖像插值放大方法。具有代表性的插值超分辨方法有=Ui^nGross 在 “H. Ur, D. Gross, “ Improved resolution from sub-pixel shifted pictures,，，CVGIP : GraphicalModels and Image Processing, vol. 54, pp. 181-186,Mar. 1992.，，一文中提出的 對空間變換的低分辨率圖像合成的非均勻插值方法；Nguyen和Milanfa在“N. Nguyen and P. MilanFar. "An efficient wavelet-based algorithm for image superresolution,，，in Proc. Int. Conf. ImageProcessing, vol. 2，2000，pp 351—354” 中提出了 一種有效的基 于小波的超分辨重構算法；XinLi等人在“Χ. Li and Μ. Orchard, "New edge directed interpolation, " IEEE Trans. ImageProcess. , vol. 10, no. 10, pp. 1521-1527, Oct. 2001，， 中提出的利用低分辨圖像和待估計的高分辨圖像局部協(xié)方差幾何對偶關系估計插值像素 的方法，該方法在一定程度上保持圖像邊緣信息。然而，實際應用結果表明，隨著圖像放大倍數(shù)的增加，單個圖像中能利用的信息越來越少，直接插值生成的高分辨圖像會越來越模 糊，最終導致邊緣和紋理等高頻信息的丟失，盡管效率高，但滿足不了圖像處理系統(tǒng)的實際 應用要求。2)基于多幀低分辨圖像方法使用該類方法進行超分辨的前提是首先必須獲取 同一場景的多個低分辨圖像，每個低分辨圖像間具有亞像素大小的移動。為實現(xiàn)超分辨 重建，首先需要選擇一個低分辨圖像作為參考圖像，在假設運動模型已知的情況下，先對 圖像進行配準，然后在需要放大的高分辨圖像網(wǎng)格內(nèi)進行圖像融合，并結合一定的先驗信 息，實現(xiàn)超分辨反問題的穩(wěn)定求解。如Zhang等人在文獻“X.Zhang，Ε. Y. Lam, Ε. Χ. Wu, and K.Kffong,"Application of Tikhonov regularization to super-resolution reconstruction of brain MRIimage,，，Lecture Notes in Computer Science,vol. 4987, pp. 51-56,2008.，，中提出的Tikhonov正則化重建方法是多幀圖像超分辨重建算法中最 具代表性的正則化方法之一。該方法通過引入平滑約束項抑制重建圖像的噪聲，但同時 也損失了低分辨圖像中的細節(jié)信息。另一種具有代表性的方法是由Farsiu等人在文獻 "S.Farsiu, M. D. Robinson, Μ. Elad and P. Milanfar,"Fast and robust multi-frame super resolution, "IEEE Trans. Image Processing, vol. 13,no. 10,pp. 1327-1344,2004.，， 中提出的使用雙邊總變分(bilateral total variation,BTV)算子作為正則項，用I1范數(shù) 度量數(shù)據(jù)逼近項的穩(wěn)健超分辨率重建算法。該算法具有較好的穩(wěn)健性，邊緣保持性能優(yōu)于 傳統(tǒng)的 Tikhonov 正則化方法。X. Li 等人在文獻"X. Li, X. Gao, Y. Hu, D. Tao, and B. Ning, "A Multi-frame Image Super-Resolution Method,，，Signal Processing, vol. 90, no. 2, pp. 405-414,Feb. 2010. ”中提出了局部自適應雙邊總變分(LABTV)正則項的多幀超分辨方 法，該方法能在保持邊緣的同時有效抑制噪聲，具有很強的魯棒性。然而，由于模糊過程和 成像模型假設存在不足，很難實現(xiàn)精確的圖像配準。為克服該問題，M. Protter等人分別 在文獻"M. Protter, M. Elad, "Generalizing the nonlocal-means to super-resolution reconstruction, ” IEEE Trans. Image Process.，vol. 18, no. 1，pp. 36-51, Jan. 2009.，，禾口 "Μ. Protter,Μ. Elad,"Super Resolution With Probabilistic Motion Estimation,"IEEE Trans. Image Process.，vol. 18，no. 8，pp. 1899-1904，Aug. 2009.，，中提出了概率運動和模 糊配準的思想，通過引入非局部均值(Non-local Means)去噪的思想，利用圖像中結構的冗 余性實現(xiàn)視頻圖像的超分辨重建。主觀上，他們的方法能取得較好的超分辨效果，但由于重 建算法是逐個像素處理的，實時性低，算法性能有待進一步提高。在通常情況下，滿足多幀 超分辨重建條件的多個低分辨圖像無法獲取，而且成像模型估計不準確和配準不精確均會 導致重建質(zhì)量的下降。3)基于實例學習的方法該方法能有效克服多幀低分辨圖像超分辨存在的不足， 只需要單個低分辨圖像即可實現(xiàn)超分辨恢復。該方法利用高、低分辨率圖像間的共現(xiàn)先 驗，通過學習兩者間的對應關系預測高分辨圖像。Freeman等人最早提出實例學習的圖像 Igiilii^。 ftkil、]5feM$“W· Τ. Freeman, Ε. C. Pasztor, and 0. Τ. Carmichael, "Learning low-levelvision, " International Journal of Computer Vision, vol.40, no. 1, pp. 25-47, Oct. 2000.，，禾口 “I Τ. Freeman, Τ. R. Jones, and Ε. C. Pasztor, "Example-based super-resolution,，，IEEEComput. Graph. App 1. , vol. 22, no. 2, pp. 56-65, Mar-Apr. 2002，， 兩文中提出利用Markov網(wǎng)絡建立低分辨圖像和高分辨場景之間的關系，通過信任傳播算法實現(xiàn)高分辨圖像的最大后驗估計，具有較直接的插值方法更強的超分辨恢復能力。然而， 他們的算法依賴于實例圖像的數(shù)量和類別，對訓練圖像的類型比較敏感，泛化能力不強，且 網(wǎng)絡的訓練效率也不高。針對Freeman等人提出的實例學習算法需要學習大量實例圖像塊 的不足，Chang 等人在"H. Chang, D. -Y. Yeung, and Y. Xiong. , "Super-resolution through neighbor embedding,，，in Proc. IEEE Comput. Soc. Conf. on Computer Vision and Pattern Recognition, 2004, pp. 275-282. ” 一文中使用鄰域嵌入(Neighbor Embedding)的思想實 現(xiàn)圖像超分辨。他們假設低分辨圖像和高分辨圖像在其各自的特征空間中處在相似的幾何 拓撲結構上，即處于相似結構的流形上。基于此，提出了鄰域嵌入超分辨重建的思想，利用 局部線性嵌入LLE計算輸入的低分辨塊的q個鄰域關系，通過最小化它們之間的重構誤差 來獲得一組重建系數(shù)，通過線性組合輸入的低分辨塊的q個鄰域所對應的高分辨塊得到高 分辨估計。與Freeman等人提出的方法相比，鄰域嵌入超分辨方法能在相對較少的訓練樣 本下能獲得較好的超分辨恢復能力。然而，該方法存在主要的問題在于高、低分辨圖像塊的 相似流形結構是預先假設的。實際上，由于模糊和下采樣，同一個高分辨圖像塊可能對應多 個不同的低分辨圖像塊，使得在低分辨圖像塊的特征空間中相近的鄰域在高分辨圖像塊的 特征空間中并不處于同一個鄰域內(nèi)。因此，選擇有效的特征描述圖像塊和重構函數(shù)能改善 鄰域嵌入圖像超分辨方法的質(zhì)量。為改善鄰域嵌入算法的超分辨能力，在Chang工作的基礎上，Chan等人在“Τ. M Chan, J.Zhang, J.Pu, and H. Huang, "Neighbor embedding based super-resolution algorithm throughedge detection and feature selection,，，Pattern Recognition Letters, vol. 30，no. 5，pp. 494-502，Apr. 2009. ” 一文中，強調(diào)邊緣和特征在鄰域嵌 入超分辨算法中的關鍵作用，通過邊緣檢測和提升策略，區(qū)分對待邊緣圖像塊和非邊 緣圖像塊。對邊緣圖像塊和非邊緣圖像塊選擇不同的鄰域個數(shù)實現(xiàn)嵌入，取得了一 定的效果。K. Zhang等人在Chang和Chan等人的基礎上，在“K. Zhang, X. Gao, X. Li， and Da. Tao,"Partially supervised neighbor embedding forexample-based image super-resolution,"IEEE Journal of Selected Topic in Signal Processing2010,DOI 10. 1109/JSTSP. 2010. 2048606. ”中提出了多流形的思想，使用非監(jiān)督高斯混合模型聚類算 法預測每個塊的類別信息，并結合局部線性嵌入LLE，提出了部分監(jiān)督的鄰域嵌入超分辨重 構算法，在一定程度上克服LEE方法存在的不足。已有的鄰域嵌入超分辨重建方法主要存在以下兩個主要問題(1)假設低分辨圖像塊和高分辨圖像塊在各自的特征空間上具有相似的流形結 構。實際上，由于模糊和下采樣，低分辨圖像和高分辨圖像間存在不確定性關系，因而，通常 情況下，這種假設并不成立，導致已有的鄰域嵌入超分辨重建方法不能穩(wěn)定求解，容易導致 圖像模糊；(2)通過搜索輸入的低分辨圖像塊在訓練集中的q-近鄰，使用鄰域嵌入算法估計 最優(yōu)重構權值，將對應的高分辨圖像塊進行線性組合得到低分辨圖像塊的高分辨估計，以 達到圖像超分辨的目的。然而，該方法僅在低分辨圖像塊構成的特征空間進行鄰域嵌入，而 沒有考慮訓練集中高分辨圖像塊特征對重構結果的影響，使得在低分辨圖像塊的特征空間 的最優(yōu)重構，在高分辨圖像塊的特征空間并不是最優(yōu)的。

發(fā)明內(nèi)容
本發(fā)明目的在于克服上述已有鄰域嵌入超分辨算法的不足，提出了一種基于對偶 約束的聯(lián)合學習超分辨方法，通過構造低分辨和高分辨圖像塊的聯(lián)合特征子空間，以實現(xiàn) 鄰域嵌入實例超分辨重建，提高鄰域嵌入超分辨重建效果。實現(xiàn)本發(fā)明的技術思路是在訓練階段，使用大量的高分辨自然圖像生成訓練集， 對訓練集中每個低、高分辨圖像塊特征進行組合，構成對偶特征。對每個對偶特征，選擇K 個最近鄰對偶建立成組塊對。在測試階段，查找與輸入的低分辨圖像塊的特征向量最匹配 的成組塊對，對成組塊對中的K個低分辨圖像塊的特征向量和高分辨圖像塊的特征向量進 行聯(lián)合學習，構造低分辨和高分辨圖像塊的特征向量的投影矩陣，將輸入的低分辨圖像塊 和對應的成組塊對中高分辨圖像塊的特征向量分別投影到一個聯(lián)合特征子空間，在這個聯(lián) 合特征子空間中進行q-近鄰的選擇和重構權值的計算，最后將q-近鄰對應的高分辨圖像 塊進行線性組合，得到輸入的低分辨圖像塊的高分辨估計。具體實現(xiàn)步驟包括如下(1)采集高分辨灰度自然圖像，模擬圖像降質(zhì)過程，生成低分辨圖像，對低分辨圖 像使用雙立方插值進行2倍放大，得到插值圖像，對插值圖像和原始高分辨圖像，分別隨機 選擇大小為6X6的低分辨圖像塊和對應大小為9X9的高分辨圖像塊，并提取水平和垂直
方向上的一階和二階梯度特征，構造低分辨圖像塊訓練集足=·(χ〗1:和高分辨圖像塊訓練
集忑，以及高分辨圖像塊的高頻細節(jié)訓練集I，其中x:表示第i個低分辨圖
像塊特征向量，4表示第i個高分辨圖像塊特征向量，X表示第i個高分辨圖像塊的高頻細 節(jié)特征向量，N表示訓練集中樣本總個數(shù)；(2)將低分辨圖像塊訓練集足=Pti和高分辨圖像塊訓練集忑的每個 特征對進行組合，經(jīng)歸一化后，得到對偶特征Ci，將N個對偶特征構成對偶特征集
C = (Ci)^i，對每個對偶特征Ci，選擇K個最近鄰，構成成組塊對集合fG]:，其中Gi表示對偶
集C中第i個對偶特征Ci的K個最近鄰組成的成組塊對，K = 128 ；(3)輸入待處理的低分辨彩色圖像F，并將圖像F從紅、綠、藍的RGB顏色空間轉換 到YCbCr顏色空間，其中Y表示亮度分量，兩個色差分量Cb和Cr表示顏色信息；(4)對YCbCr顏色空間中的亮度分量Y使用雙立方插值進行2倍放大，得到插值圖 像 Iint ；(5)將插值圖像Iint自上而下、從左到右劃分成大小為6X6的圖像塊，使相鄰塊之 間重疊2個像素，提取該圖像塊在水平和垂直方向的一階和二階梯度特征構成低分辨圖像
塊測試集足=^G，其中丨表示低分辨圖像塊測試集Xt中的第j個特征向量，M表示該測
試集Xt中樣本總個數(shù)；(6)對低分辨圖像塊測試集足中每個特征向量丨，在低分辨圖像塊訓練
集足=PG:中查找與<最匹配的樣本<，得到該樣本所對應的成組塊對Gi,從該成組塊對 Gi中分離出K個低分辨圖像塊和高分辨圖像塊特征向量，分別構成低分辨圖像塊成組矩陣 J1和高分辨圖像塊成組矩陣Jh，其中Λ e i d"KJh G j ，d和m分別是低分辨圖像塊和對應
8的高分辨圖像塊特征向量的維數(shù)，K表示每個成組塊對中低、高分辨率特征向量組成的對偶 個數(shù)，d = 144，m = 324 ；(7)使用聯(lián)合學習方法分別構造低分辨圖像塊成組矩陣J1的投影矩陣P1和高分 辨圖像塊成組矩陣Jh的投影矩陣ph，將低分辨圖像塊測試集Xt中的特征向量X/通過投影矩 陣P1變換成一個i rxl (r+1 ( d)維的變換特征if X/，將高分辨圖像塊成組矩陣Jh中的K個 特征向量通過投影矩陣Ph變換成i %維的變換特征if人，將低分辨圖像塊測試集中的特征 向量χ/的變換特征if Χ/與高分辨圖像塊成組矩陣Jh的K個變換特征if人構成一個i 維 的聯(lián)合特征子空間S ；(8)在聯(lián)合特征子空間S中選擇特征向量X/的變換特征if X/的q個鄰域，使用鄰域 嵌入算法，估計最優(yōu)權值，將變換特征if <的q個鄰域在高頻細節(jié)訓練集I = [y〗G1中對應 的q個高頻細節(jié)特征向量進行線性組合，并加上輸入的低分辨圖像塊的灰度均值 ，得到低 分辨圖像塊的特征向量< 的高分辨圖像塊的估計γ，低分辨圖像塊測試集足=&/1二中所
有特征向量的高分辨圖像塊估計構成了預測結果集K =[>^二，q = 5 ；(9)按插值圖像Iint中圖像塊的劃分順序合并所有預測結果集K =[>^二，對重疊
區(qū)域的像素取平均值進行融合，得到高分辨圖像的初始化估計\ ；(10)利用全局重構約束F = DBX和反向投影算法，通過如下迭代公式進一步改善 超分辨圖像的質(zhì)量Xn+1 = Xn+ α [BtDt (F-DBXn) + μ (Xn-X0)]其中η (η > 0)表示迭代次數(shù)，X0表示高分辨圖像的初始化估計，Xn表示第η次迭 代后的高分辨圖像，Χη+1表示第η+1次迭代的高分辨圖像，F(xiàn)表示輸入的低分辨圖像，α表 示梯度下降的迭代步長，B和D分別表示模糊和下采樣操作，T表示矩陣的轉置操作，Bt和 Dt分別表示去模糊和上采樣操作，μ表示反向投影約束項與先驗懲罰項的平衡參數(shù)；(11)對輸入的低分辨彩色圖像F在YCbCr顏色空間中的兩個色差分量Cb和Cr直 接采用雙立方插值進行3倍放大，并組合亮度分量Y的超分辨估計Χη，將YCbCr顏色空間的 超分辨結果轉換到RGB顏色空間，得到輸入的低分辨圖像F被放大了 3倍的RGB圖像。與已有的鄰域嵌入超分辨重建方法相比，本發(fā)明具有以下優(yōu)點(1)本發(fā)明由于在低分辨圖像塊與對應的高分辨圖像塊的特征向量間建立了對偶 特征，在圖像超分辨恢復的變態(tài)反問題上建立了較強的約束，使得超分辨反問題能進一步 穩(wěn)定求解；(2)本發(fā)明由于對輸入的低分辨圖像塊最匹配的對偶特征構成的成組塊對進行 聯(lián)合學習，構造成組塊對中低分辨圖像塊與高分辨圖像塊的特征向量構成的聯(lián)合特征子空 間，并在該聯(lián)合特征子空間進行鄰域的選擇和最優(yōu)權值的估計，使得鄰域嵌入算法能綜合 利用低分辨和高分辨圖像塊的特征，有利于提高超分辨重建的質(zhì)量；(3)仿真結果表明，與現(xiàn)有的鄰域嵌入超分辨重建算法相比，本發(fā)明能恢復更多的 圖像細節(jié)，產(chǎn)生更加清晰的圖像邊緣和紋理，避免產(chǎn)生明顯的圖像失真和偽像。本發(fā)明的技術過程和效果可結合以下附圖詳細說明。
9


圖1是本發(fā)明基于對偶約束的聯(lián)合學習超分辨總流程圖；圖2是本發(fā)明與已有鄰域嵌入算法對人物圖像進行3倍放大后在視覺上進行對比 的結果圖；圖3是本發(fā)明與已有鄰域嵌入算法對動物圖像進行3倍放大后在視覺上進行對比 的結果圖；圖4是本發(fā)明與已有鄰域嵌入算法對花草圖像進行3倍放大后在視覺上進行對比 的結果圖。
具體實施例方式參照圖1，基于對偶約束的聯(lián)合學習超分辨方法主要包括兩個階段訓練集生成 階段和圖像超分辨階段。一 .訓練集生成階段步驟1，模擬圖像降質(zhì)過程，構建特征庫，生成訓練集。la)采集大量的高分辨灰度自然圖像，對每個高分辨圖像經(jīng)過4X4平均模糊和3 倍下采樣生成對應的低分辨圖像；lb)對每個低分辨圖像，使用雙立方插值進行2倍放大，得到插值圖像，并使用以 下4個卷積核= [_l，0，l]，f2 = [_l，0，l]T，f3 = [l，0，-2，0，l]，f4 = [1，0，_2，0，1]T 分別與
插值圖像和對應的原始高分辨圖像進行卷積，生成插值圖像和原始高分辨圖像在水平方向 和垂直方向上的一階梯度和二階梯度圖像；Ic)對插值圖像的4個梯度圖像，隨機選擇大小為6X6的梯度圖像塊，組成一個 6X6X4= 144維的特征向量，構成低分辨圖像塊訓練集足=，對原始高分辨圖像的4 個梯度圖像，選擇與插值圖像對應位置上的4個9X9的梯度圖像塊，組成一個9X9X4 = 324維的特征向量，構成高分辨圖像塊訓練集Z5 = ，N表示訓練集中樣本總個數(shù)；Id)在插值圖像中提取與1. c)相同位置上的6X6圖像塊，計算它的灰度均值，同 時提取原始高分辨圖像中對應位置上9X9的圖像塊，減去插值圖像塊的灰度均值，構成高
分辨圖像塊的高頻細節(jié)訓練集I =[y〗G，其中每個特征向量γ的維數(shù)為9X9 = 81維。步驟2，構造對偶特征，建立成組塊對集。2a)將低分辨圖像塊訓練集足=bj:和高分辨圖像塊訓練集忑=^丨^的每個特 征對fx丨，<j進行組合，使用如下公式進行歸一化
權利要求
一種基于對偶約束的聯(lián)合學習超分辨方法，包括如下步驟(1)采集高分辨灰度自然圖像，模擬圖像降質(zhì)過程，生成低分辨圖像，對低分辨圖像使用雙立方插值進行2倍放大，得到插值圖像，對插值圖像和原始高分辨圖像，分別隨機選擇大小為6×6的低分辨圖像塊和對應大小為9×9的高分辨圖像塊，并提取水平和垂直方向上的一階和二階梯度特征，構造低分辨圖像塊訓練集和高分辨圖像塊訓練集以及高分辨圖像塊的高頻細節(jié)訓練集其中表示第i個低分辨圖像塊特征向量，表示第i個高分辨圖像塊特征向量，表示第i個高分辨圖像塊的高頻細節(jié)特征向量，N表示訓練集中樣本總個數(shù)；(2)將低分辨圖像塊訓練集和高分辨圖像塊訓練集的每個特征對進行組合，經(jīng)歸一化后，得到對偶特征ci，將N個對偶特征構成對偶特征集對每個對偶特征ci，選擇K個最近鄰，構成成組塊對集合其中Gi表示對偶集C中第i個對偶特征ci的K個最近鄰組成的成組塊對，K＝128；(3)輸入待處理的低分辨彩色圖像F，并將圖像F從紅、綠、藍的RGB顏色空間轉換到YCbCr顏色空間，其中Y表示亮度分量，兩個色差分量Cb和Cr表示顏色信息；(4)對YCbCr顏色空間中的亮度分量Y使用雙立方插值進行2倍放大，得到插值圖像Iint；(5)將插值圖像Iint自上而下、從左到右劃分成大小為6×6的圖像塊，使相鄰塊之間重疊2個像素，提取該圖像塊在水平和垂直方向的一階和二階梯度特征構成低分辨圖像塊測試集其中表示低分辨圖像塊測試集Xt中的第j個特征向量，M表示該測試集Xt中樣本總個數(shù)；(6)對低分辨圖像塊測試集中每個特征向量在低分辨圖像塊訓練集中查找與最匹配的樣本得到該樣本所對應的成組塊對Gi，從該成組塊對Gi中分離出K個低分辨圖像塊和高分辨圖像塊特征向量，分別構成低分辨圖像塊成組矩陣Jl和高分辨圖像塊成組矩陣Jh，其中d和m分別是低分辨圖像塊和對應的高分辨圖像塊特征向量的維數(shù)，K表示每個成組塊對中低、高分辨率特征向量組成的對偶個數(shù)，d＝144，m＝324；(7)使用聯(lián)合學習方法分別構造低分辨圖像塊成組矩陣Jl的投影矩陣Pl和高分辨圖像塊成組矩陣Jh的投影矩陣Ph，將低分辨圖像塊測試集Xt中的特征向量通過投影矩陣Pl變換成一個(r+1≤d)維的變換特征將高分辨圖像塊成組矩陣Jh中的K個特征向量通過投影矩陣Ph變換成維的變換特征將低分辨圖像塊測試集中的特征向量的變換特征與高分辨圖像塊成組矩陣Jh的K個變換特征構成一個維的聯(lián)合特征子空間S；(8)在聯(lián)合特征子空間S中選擇特征向量的變換特征的q個鄰域，使用鄰域嵌入算法，估計最優(yōu)權值，將變換特征的q個鄰域在高頻細節(jié)訓練集中對應的q個高頻細節(jié)特征向量進行線性組合，并加上輸入的低分辨圖像塊的灰度均值得到低分辨圖像塊的特征向量的高分辨圖像塊的估計低分辨圖像塊測試集中所有特征向量的高分辨圖像塊估計構成了預測結果集q＝5；(9)按插值圖像Iint中圖像塊的劃分順序合并所有預測結果集對重疊區(qū)域的像素取平均值進行融合，得到高分辨圖像的初始化估計X0；(10)利用全局重構約束F＝DBX和反向投影算法，通過如下迭代公式進一步改善超分辨圖像的質(zhì)量Xn+1＝Xn+α[BTDT(F DBXn)+μ(Xn X0)]其中n(n≥0)表示迭代次數(shù)，X0表示高分辨圖像的初始化估計，Xn表示第n次迭代后的高分辨圖像，Xn+1表示第n+1次迭代的高分辨圖像，F(xiàn)表示輸入的低分辨圖像，α表示梯度下降的迭代步長，B和D分別表示模糊和下采樣操作，T表示矩陣的轉置操作，BT和DT分別表示去模糊和上采樣操作，μ表示反向投影約束項與先驗懲罰項的平衡參數(shù)；(11)對輸入的低分辨彩色圖像F在YCbCr顏色空間中的兩個色差分量Cb和Cr直接采用雙立方插值進行3倍放大，并組合亮度分量Y的超分辨估計Xn，將YCbCr顏色空間的超分辨結果轉換到RGB顏色空間，得到輸入的低分辨圖像F被放大了3倍的RGB圖像。FDA0000027698570000011.tif,FDA0000027698570000012.tif,FDA0000027698570000013.tif,FDA0000027698570000014.tif,FDA0000027698570000015.tif,FDA0000027698570000016.tif,FDA0000027698570000017.tif,FDA0000027698570000018.tif,FDA0000027698570000019.tif,FDA00000276985700000110.tif,FDA00000276985700000111.tif,FDA00000276985700000112.tif,FDA00000276985700000113.tif,FDA00000276985700000114.tif,FDA00000276985700000115.tif,FDA00000276985700000116.tif,FDA00000276985700000117.tif,FDA00000276985700000118.tif,FDA0000027698570000021.tif,FDA0000027698570000022.tif,FDA0000027698570000023.tif,FDA0000027698570000024.tif,FDA0000027698570000025.tif,FDA0000027698570000026.tif,FDA0000027698570000027.tif,FDA0000027698570000028.tif,FDA0000027698570000029.tif,FDA00000276985700000210.tif,FDA00000276985700000211.tif,FDA00000276985700000212.tif,FDA00000276985700000213.tif,FDA00000276985700000214.tif,FDA00000276985700000215.tif,FDA00000276985700000216.tif,FDA00000276985700000217.tif,FDA00000276985700000218.tif,FDA00000276985700000219.tif,FDA00000276985700000220.tif,FDA00000276985700000221.tif
2.根據(jù)權利1所述的聯(lián)合學習超分辨方法，其中步驟(2)所述的對每個對偶特征Ci，選擇K個最近鄰，構成成組塊對集合fG]:，按如下步驟進行(2a)對低分辨圖像塊和高分辨圖像塊訓練集足=WGjPZ5中的每一個特征對fx〗，z丨;[進行組合，建立對偶特征集C = (Ci)^i，對偶特征集C中的每個對偶特征向量Ci按下 式歸一化得到上式中，m和d分別表示低、高分辨圖像塊的特征維數(shù)；(2b)根據(jù)得到的對偶特征集C = ^二，按如下公式構造每個對偶特征向量Ci的K個近 鄰構成成組塊對Gi:
3.根據(jù)權利要求1所述的基于對偶約束的聯(lián)合學習超分辨方法，其中步驟(7)所述的 將低分辨圖像塊測試集中的特征向量X/的變換特征if X/與高分辨圖像塊成組矩陣Jh的K個 變換特征if人構成一個i 維的聯(lián)合特征子空間S，按如下步驟進行(3a)對測試集足=fx/二中的低分辨圖像塊特征向量x/，查找訓練集足=·(χ丨〔中最匹配的樣本<所對應的成組塊對Gi,從該成組塊對Gi中分離出K個低分辨和高分辨圖像3塊的特征向量，構成低分辨圖像塊成組矩陣J1和高分辨圖像塊成組矩陣Jh，其中Λ dxK, 人e j ，d和m分別是低分辨圖像塊和對應的高分辨圖像塊特征向量的維數(shù)，K表示每個 成組塊對中低、高分辨率特征組成的對偶個數(shù)；(3b)利用低分辨圖像塊成組矩陣J1和高分辨圖像塊成組矩陣Jh，使用聯(lián)合學習算法， 按如下表達式計算低分辨圖像塊成組矩陣J1的投影矩陣P1和高分辨圖像塊成組矩陣Jh的 投影矩陣Ph:fΓ^ τ'J1 0__ ι —Γ'J10 _Γ^ Ph0 Jh-I I0JhPhV_ η __ η _L JLη __ η _J其中I表示單位矩陣，T表示矩陣的轉置運算，tr(g)表示矩陣的跡； (3c)根據(jù)計算出的所述投影矩陣P1* !^將低分辨圖像塊測試集Xt中的特征向量χ/通 過投影矩陣P1變換成一個i rxl (r+1 ( d)維的變換特征if x/，將高分辨圖像塊成組矩陣Jh 中的K個特征向量通過投影矩陣Ph變換成i %維的變換特征if人，將低分辨圖像塊測試集 中的特征向量χ/的變換特征if Χ/與高分辨圖像塊成組矩陣Jh的K個變換特征if人構成一個 i 維的聯(lián)合特征子空間S。
4.根據(jù)權利要求1所述的基于對偶約束的聯(lián)合學習超分辨方法，其中步驟(8)所述的 在聯(lián)合特征子空間S中選擇特征向量X/的變換特征if X/的q個鄰域，使用鄰域嵌入算法，估計最優(yōu)權值，是通過如下表達式估計2argmin PlrXjt - ^ WijP1hJh,SNg(J)2式中Ng (j)表示測試集Xt中第j個特征向量χ/在聯(lián)合特征子空間S中的鄰域集合，且 鄰域集合中元素的個數(shù)Ing(j) I = q, Wij表示第j個輸入樣本χ/與編號為i的鄰域間的權 值，τ表示矩陣的轉置運算。全文摘要
本發(fā)明公開了一種基于對偶約束的聯(lián)合學習超分辨方法，主要解決現(xiàn)有鄰域嵌入超分辨方法導致圖像模糊的問題，其步驟是(1)使用高分辨圖像生成訓練集，建立低分辨和高分辨圖像塊的成組塊對；(2)提取低分辨圖像塊的特征向量，在訓練集中查找最匹配的成組塊對；(3)對成組塊對中低分辨和高分辨塊的特征向量，進行聯(lián)合學習，構造投影矩陣，生成聯(lián)合特征子空間；(4)在生成的聯(lián)合特征子空間中使用鄰域嵌入估計高分辨圖像塊；(5)將所有估計的高分辨圖像塊合成高分辨圖像；(6)對合成的高分辨圖像，利用全局重構約束和反向投影算法改善圖像質(zhì)量。實驗結果表明，本發(fā)明具有更強的超分辨能力，可用于低分辨自然圖像的放大。
文檔編號G06T5/50GK101976435SQ20101029856
公開日2011年2月16日 申請日期2010年10月7日 優(yōu)先權日2010年10月7日
發(fā)明者張凱兵, 李潔, 沐廣武, 王茜, 田春娜, 路文, 鄧成, 高新波 申請人:西安電子科技大學