基于k近鄰重識(shí)別的人臉超分辨率重建方法
【專利摘要】本發(fā)明公開了一種基于K近鄰重識(shí)別的人臉超分辨率重建方法，將待重建低分辨率人臉圖像、高分辨率訓(xùn)練集和低分辨率訓(xùn)練集內(nèi)樣本圖像分別劃分為相互交疊的圖像塊；對(duì)待重建低分辨率人臉圖像的各圖像塊，根據(jù)高分辨率流形的幾何信息更可信且更具有代表性這一先驗(yàn)，同時(shí)利用低分辨率流形和高分辨率流形的幾何信息對(duì)識(shí)別出的近鄰圖像進(jìn)行更新，計(jì)算由重新識(shí)別出的近鄰圖像塊進(jìn)行線性重建時(shí)的最優(yōu)權(quán)重系數(shù)；將重新識(shí)別出的近鄰圖像塊，用一一對(duì)應(yīng)的高分辨率訓(xùn)練集內(nèi)相應(yīng)圖像的相應(yīng)位置圖像塊進(jìn)行替換，加權(quán)合成高分辨率圖像塊；按照合成圖像塊在人臉上的位置，融合成高分辨率人臉圖像。本發(fā)明具有更高的重建精度和重建效率，可重建高質(zhì)量的人臉圖像。
【專利說明】基于K近鄰重識(shí)別的人臉超分辨率重建方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像超分辨率領(lǐng)域，具體涉及一種基于K近鄰重識(shí)別的人臉超分辨率
重建方法。
【背景技術(shù)】
[0002]人臉圖像，相對(duì)于其他類型的生物特征(如指紋、虹膜、視網(wǎng)膜等)，可以采用更方便、自然、直接的方式獲得。因?yàn)槿四槇D像的獲取是一種非侵入性方式，因此，基于人臉圖像的應(yīng)用得到了廣泛的開發(fā)和研究。然而，許多情況下，由于攝像機(jī)與人臉的距離很遠(yuǎn)，使得視頻所拍攝到的人臉圖像往往只有幾十像素。由于人臉圖像分辨率太低，丟失了過多的細(xì)節(jié)信息，人或者機(jī)器在識(shí)別監(jiān)控?cái)z像機(jī)拍攝的人臉過程中困難重重。因此，提高監(jiān)控錄像中低質(zhì)量人臉圖像分辨率的人臉超分辨率技術(shù)應(yīng)運(yùn)而生，它是一種由低分辨率(Low-Resolution, LR)人臉圖像產(chǎn)生高分辨率(High-Resolution, HR)人臉圖像的技術(shù),其在智能視頻監(jiān)控、公安刑事偵查、信息安全等領(lǐng)域具有廣泛的應(yīng)用背景。
[0003]根據(jù)輸入圖像的數(shù)目，超分辨率方法可以分成基于多幀低分辨率圖像的重建方法和基于單幀低分辨率圖像進(jìn)行學(xué)習(xí)的方法兩大類，其中，后者能獲得更高的放大倍數(shù)和更好的重建效果，因而更受關(guān)注。這類方法利用構(gòu)成訓(xùn)練集的高低分辨率圖像對(duì)的先驗(yàn)信息，對(duì)輸入的一張低分辨率人臉圖像，可以超分辨率重建一張高分辨率人臉圖像。
[0004]人臉超分辨方法借鑒了普通圖像超分辨方法的精華思想。例如，2004年Chang等人[1]基于著名的流形學(xué)習(xí)理論[2]，采用高低分辨率樣本庫具有相似局部幾何特征這一假設(shè)，提出一種鄰域嵌入的圖像超分辨率重建方法，首次將流形學(xué)習(xí)思想引入圖像超分辨率重建中，獲得很好的重建效果。但是，該方法所選擇的近鄰塊數(shù)是固定的，在對(duì)輸入圖像塊進(jìn)行表示時(shí)，會(huì)出現(xiàn)過擬合或擬合不當(dāng)?shù)膯栴}。
[0005]由于人臉具有結(jié)構(gòu)性較強(qiáng)的特點(diǎn)，并且人臉位置信息在人臉超分辨重建過程中具有重要作用，通過學(xué)習(xí)結(jié)構(gòu)信息可以實(shí)現(xiàn)更精確的人臉超分效果。因此，在Chang等人[1]的方法基礎(chǔ)上，人臉超分領(lǐng)域近年來提出了很多基于人臉位置塊的超分辨率方法，其中最有代表性的是2010年Ma等人ω提出的人臉超分辨率方法，該方法使用訓(xùn)練集中所有與輸入圖像塊同位置的人臉圖像塊重建高分辨率人臉圖像，避免流形學(xué)習(xí)或者特征提取等步驟，提高了效率，同時(shí)也提升了合成圖像的質(zhì)量。然而，由于該方法采用最小二乘法進(jìn)行求解，當(dāng)訓(xùn)練樣本中圖像的個(gè)數(shù)比圖像塊的維數(shù)大時(shí)，圖像塊的表示系數(shù)并不唯一。針對(duì)這一問題，2011年Jung等人Μ將稀疏約束加入到圖像塊求解表示中，提出一種基于凸優(yōu)化的位置圖像塊人臉超分辨率方法，可以解決方程的解不唯一的問題。但該方法在合成輸入的圖像塊時(shí)為了使輸入圖像塊的表示盡量稀疏，可能選取一些與輸入的圖像塊差異很大的圖像塊進(jìn)行線性重建，因此重建效果并不理想。
[0006]2012年Jiang等人[5]提出一種基于局部約束表示的人臉超分辨率重建方法，該方法在合成輸入的圖像塊時(shí)，在低分率空間比較訓(xùn)練集中的每個(gè)塊與輸入的圖像塊的相似度，并按照相似度分配權(quán)重。然而，由于低分辨圖像丟失了細(xì)節(jié)信息，在低分辨率空間相似的兩個(gè)圖像塊，它們對(duì)應(yīng)的高分辨率圖像塊可能并不相似，因此用不相似的高分辨塊重建圖像，重建效果仍然不能令人滿意。
[0007]無論是使用協(xié)作性[3]、稀疏M還是局部約束[5]，上述所有方法都是通過探索合理的先驗(yàn)知識(shí)，查找最具代表性的圖像塊從而獲得最佳的重建權(quán)重來實(shí)現(xiàn)人臉超分辨率。因此，如何獲取最合理的K近鄰是最首要問題。此外，上述方法僅考慮了一個(gè)流形空間(低分辨率塊流形)，忽略幾何信息更可信并且具有代表性的高分辨率塊流形信息。

【發(fā)明內(nèi)容】

[0008]針對(duì)現(xiàn)有技術(shù)存在的不足，本發(fā)明提供了一種基于K近鄰重識(shí)別的人臉超分辨率重建方法，具有更高的重建精度和重建效率，可提高重建的高分辨率人臉圖像質(zhì)量。
[0009]為解決上述技術(shù)問題，本發(fā)明采用如下的技術(shù)方案:
[0010]基于K近鄰重識(shí)別的人臉超分辨率重建方法，包括步驟:
[0011]步驟1，將待重建低分辨率人臉圖像、低分辨率訓(xùn)練集中低分辨率樣本圖像及高分辨率訓(xùn)練集中高分辨率樣本圖像劃分為數(shù)量相等的相互重疊圖像塊，所述的低分辨率樣本圖像和所述的高分辨率樣本圖像—對(duì)應(yīng)；
[0012]步驟2，對(duì)待重建低分辨率人臉圖像中各圖像塊V分別進(jìn)行超分辨率重建，本步驟進(jìn)一步包括子步驟:
[0013]2.1從高分辨率訓(xùn)練集和低分辨率訓(xùn)練集樣本圖像中提取與圖像塊Xf <位置相同
的圖像塊，構(gòu)成圖像塊4的高分辨率訓(xùn)練樣本圖像塊集Htl和低分辨率訓(xùn)練樣本圖像塊集Lq;`[0014]2.2從圖像塊Xqt的低分辨率訓(xùn)練樣本圖像塊集Ltl中找出圖像塊Xc!的k個(gè)近鄰圖像塊，構(gòu)成圖像塊xj的低分辨率樣本圖像塊近鄰序列η.，
[0015]2.3從圖像塊< 的高分辨率訓(xùn)練樣本圖像塊集Htl中找出與低分辨率樣本圖像塊
近鄰序列Lik對(duì)應(yīng)的圖像塊，構(gòu)成高分辨率樣本圖像塊序列Hf ;對(duì)高分辨率樣本圖像塊序
列Hl中k個(gè)圖像塊中的每一個(gè)圖像塊，從高分辨率訓(xùn)練樣本圖像塊集Htl中找出其對(duì)應(yīng)的kre個(gè)近鄰圖像塊，得到k*kM個(gè)高分辨率圖像塊；
[0016]2.4從步驟2.3得到的k*kM個(gè)高分辨率圖像塊中找出重復(fù)次數(shù)最多的前個(gè)高分辨率圖像塊，構(gòu)成高分辨率樣本圖像塊集;從低分辨率訓(xùn)練樣本圖像塊集Lq中找出
與高分辨率樣本圖像塊集中圖像塊對(duì)應(yīng)的個(gè)低分辨率圖像塊，構(gòu)成用于圖像塊Xf
重建的低分辨率樣本圖像塊集ZL.[0017]2.5采用低分辨率樣本圖像塊集Gre對(duì)圖像塊 < 進(jìn)行線性重建，獲得低分辨率樣本圖像塊集中各圖像塊對(duì)圖像塊Xf線性重建的最優(yōu)權(quán)值系數(shù)；
[0018]2.6用高分辨率樣本圖像塊集Η:中的圖像塊與步驟2.5得到的最優(yōu)權(quán)值系數(shù)加權(quán)合成圖像塊#的重建圖像塊；
[0019]步驟3，基于重建圖像塊獲得高分辨率人臉圖像。
[0020]步驟I中所述的將待重建低分辨率人臉圖像、低分辨率訓(xùn)練集中低分辨率樣本圖像及高分辨率訓(xùn)練集中高分辨率樣本圖像劃分為數(shù)量相等的相互重疊圖像塊，具體為:
[0021]以待劃分圖像左上方為起點(diǎn)，選取圖像塊，使圖像塊上方和左方與圖像已劃分部分有像素交疊，圖像塊上邊邊緣或左邊邊緣位于待劃分圖像上邊邊緣或左邊邊緣時(shí)除外；當(dāng)圖像塊超出待劃分圖像的右邊邊緣或下邊邊緣時(shí)，以待劃分圖像右邊邊緣或下邊邊緣為界，向左或上移動(dòng)圖像塊至圖像塊右邊邊緣或下邊邊緣與待劃分圖像的右邊邊緣或下邊邊緣重合。
[0022]步驟2.2中所述的從圖像塊Xf的低分辨率訓(xùn)練樣本圖像塊集Ltl中找出圖像塊Xf的k個(gè)近鄰圖像塊，具體為:
[0023]從低分辨率訓(xùn)練樣本圖像塊集Ltl中選出與圖像塊X/歐氏距離最近的k個(gè)圖像塊，
即為圖像塊 < 的k個(gè)近鄰圖像塊。
[0024]步驟2.5具體為:
[0025]圖像塊Xf線性重建的最優(yōu)權(quán)值系數(shù)滬1由下式獲得:
[0026]
【權(quán)利要求】
1.基于K近鄰重識(shí)別的人臉超分辨率重建方法，其特征在于，包括步驟: 步驟1，將待重建低分辨率人臉圖像、低分辨率訓(xùn)練集中低分辨率樣本圖像及高分辨率訓(xùn)練集中高分辨率樣本圖像劃分為數(shù)量相等的相互重疊圖像塊，所述的低分辨率樣本圖像和所述的高分辨率樣本圖像—對(duì)應(yīng)； 步驟2，對(duì)待重建低分辨率人臉圖像中各圖像塊Xf分別進(jìn)行超分辨率重建，本步驟進(jìn)一步包括子步驟: 2.1從高分辨率訓(xùn)練集和低分辨率訓(xùn)練集樣本圖像中提取與圖像塊X/位置相同的圖像塊，構(gòu)成圖像塊< 的高分辨率訓(xùn)練樣本圖像塊集Htl和低分辨率訓(xùn)練樣本圖像塊集Ltl ； 2.2從圖像塊< 的低分辨率訓(xùn)練樣本圖像塊集Ltl中找出圖像塊Xf的k個(gè)近鄰圖像塊，構(gòu)成圖像塊Y的低分辨率樣本圖像塊近鄰序列S 2.3從圖像塊:Xf的高分辨率訓(xùn)練樣本圖像塊集Htl中找出與低分辨率樣本圖像塊近鄰序列Z,對(duì)應(yīng)的圖像塊，構(gòu)成高分辨率樣本圖像塊序列H1k對(duì)高分辨率樣本圖像塊序列H:中k個(gè)圖像塊中的每一個(gè)圖像塊，從高分辨率訓(xùn)練樣本圖像塊集Hq中找出其對(duì)應(yīng)的1^個(gè)近鄰圖像塊，得到k*kM個(gè)高分辨率圖像塊； 2.4從步驟2.3得到的k*kM個(gè)高分辨率圖像塊中找出重復(fù)次數(shù)最多的前個(gè)高分辨率圖像塊，構(gòu)成高分辨率樣本圖像塊集;從低分辨率訓(xùn)練樣本圖像塊集Ltl中找出與高分辨率樣本圖像塊集?中圖`像塊對(duì)應(yīng)的個(gè)低分辨率圖像塊，構(gòu)成用于圖像塊Xf重建的低分辨率樣本圖像塊集iL ' 2.5采用低分辨率樣本圖像塊集兮對(duì)圖像塊X/進(jìn)行線性重建，獲得低分辨率樣本圖像塊集lL中各圖像塊對(duì)圖像塊4線性重建的最優(yōu)權(quán)值系數(shù)； 2.6用高分辨率樣本圖像塊集〃 7中的圖像塊與步驟2.5得到的最優(yōu)權(quán)值系數(shù)加權(quán)合成圖像塊Xf的重建圖像塊； 步驟3，基于重建圖像塊獲得高分辨率人臉圖像。
2.如權(quán)利要求1所述的基于K近鄰重識(shí)別的人臉超分辨率重建方法，其特征在于: 步驟I中所述的將待重建低分辨率人臉圖像、低分辨率訓(xùn)練集中低分辨率樣本圖像及高分辨率訓(xùn)練集中高分辨率樣本圖像劃分為數(shù)量相等的相互重疊圖像塊，具體為: 以待劃分圖像左上方為起點(diǎn)，選取圖像塊，使圖像塊上方和左方與圖像已劃分部分有像素交疊，圖像塊上邊邊緣或左邊邊緣位于待劃分圖像上邊邊緣或左邊邊緣時(shí)除外；當(dāng)圖像塊超出待劃分圖像的右邊邊緣或下邊邊緣時(shí)，以待劃分圖像右邊邊緣或下邊邊緣為界，向左或上移動(dòng)圖像塊至圖像塊右邊邊緣或下邊邊緣與待劃分圖像的右邊邊緣或下邊邊緣重合。
3.如權(quán)利要求1所述的基于K近鄰重識(shí)別的人臉超分辨率重建方法，其特征在于:步驟2.2中所述的從圖像塊< 的低分辨率訓(xùn)練樣本圖像塊集Ltl中找出圖像塊Xf的k個(gè)近鄰圖像塊，具體為: 從低分辨率訓(xùn)練樣本圖像塊集Ltl中選出與圖像塊τ/歐氏距離最近的k個(gè)圖像塊，即為圖像塊<的k個(gè)近鄰圖像塊。
4.如權(quán)利要求1所述的基于K近鄰重識(shí)別的人臉超分辨率重建方法，其特征在于: 步驟2.3中所述的對(duì)高分辨率樣本圖像塊序列町中k個(gè)圖像塊中的每一個(gè)圖像塊，從高分辨率樣本圖像塊集Htl中找出其對(duì)應(yīng)的I個(gè)近鄰圖像塊，具體為: 從高分辨率樣本圖像塊集Hq中選出與高分辨率樣本圖像塊序列中各圖像塊歐氏距離最近的個(gè)圖像塊，即為找出的個(gè)近鄰圖像塊。
5.如權(quán)利要求1所述的基于K近鄰重識(shí)別的人臉超分辨率重建方法，其特征在于: 步驟2.5具體為: 圖像塊 <線性重建的最優(yōu)權(quán)值系數(shù)》由下式獲得:
6.如權(quán)利要求5所述的基于K近鄰重識(shí)別的人臉超分辨率重建方法，其特征在于: 所述的懲罰因子采用圖像塊<和低分辨率樣本圖像塊集中圖像塊的歐式平方距離表示。
7.如權(quán)利要求1所述的基于K近鄰重識(shí)別的人臉超分辨率重建方法，其特征在于: 步驟3具體為: 將重建圖像塊按位置疊加，并除以像素交疊次數(shù)，獲得重建的高分辨率人臉圖像。
【文檔編號(hào)】G06T5/50GK103824272SQ201410074705
【公開日】2014年5月28日 申請(qǐng)日期:2014年3月3日 優(yōu)先權(quán)日:2014年3月3日
【發(fā)明者】胡瑞敏, 渠慎明, 江俊君, 王中元, 陳亮, 黃震坤, 胡金輝 申請(qǐng)人:武漢大學(xué)