人臉圖像超分辨率重建的方法和裝置制造方法
【專利摘要】本發(fā)明公開了一種人臉圖像超分辨率重建的方法和裝置，屬于圖像處理領(lǐng)域。所述方法包括：將測試人臉圖像與訓(xùn)練人臉圖像都劃分成圖像塊；將測試人臉圖像中的圖像塊分為平滑塊和非平滑塊；對(duì)每個(gè)非平滑塊再繼續(xù)劃分至不存在非平滑塊或劃分后的非平滑塊滿足預(yù)設(shè)條件；對(duì)訓(xùn)練人臉圖像按照相同方式劃分成子塊；計(jì)算測試人臉圖像中每個(gè)非平滑塊對(duì)應(yīng)的重建圖像塊；對(duì)測試人臉圖像中的每個(gè)平滑塊進(jìn)行雙三次插值得到對(duì)應(yīng)的重建圖像塊；將測試人臉圖像中各非平滑塊及各平滑塊的重建圖像塊按照位置合成為一個(gè)人臉圖像，得到測試人臉圖像的超分辨率重建人臉圖像。所述裝置包括：劃分模塊、自適應(yīng)模塊、重建模塊和合成模塊。本發(fā)明提高了重建人臉圖像的清晰度。
【專利說明】人臉圖像超分辨率重建的方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理領(lǐng)域，特別涉及一種人臉圖像超分辨率重建的方法和裝置。【背景技術(shù)】
[0002]圖像超分辨率重建(Super Resolution Reconstruction, SRR)就是利用軟件的方法，將一幅或多幅低分辨率圖像重建成一幅高分辨率圖像的過程。圖像超分辨率重建有很廣泛的應(yīng)用，如在視頻監(jiān)控、醫(yī)學(xué)圖像、遙感圖像等領(lǐng)域。現(xiàn)實(shí)生活中通過硬件技術(shù)來提高分辨率成本較大且技術(shù)難度大，故從軟件方向著手，對(duì)采集到的圖像進(jìn)行后處理，來提高圖像分辨率有重大的意義。人臉是圖像的一種特殊類型，具有高度的相似性。近年來在公共安全等領(lǐng)域，視頻監(jiān)控技術(shù)越來越普及，但是由于攝像頭離人通常較遠(yuǎn)，加上監(jiān)控設(shè)備本身分辨率低，拍攝到的人臉圖像分辨率很低，以至于無法很好的進(jìn)行人臉檢測和識(shí)別，因此人臉圖像超分辨率重建技術(shù)具有廣泛的應(yīng)用價(jià)值。
[0003]常用的圖像超分辨率重建方法包括:插值的方法、基于重建的方法和基于學(xué)習(xí)的方法。人臉圖像超分辨率重建主要是基于學(xué)習(xí)的方法，首先構(gòu)建樣本圖像，然后利用該樣本圖像來指導(dǎo)重建高分辨率的圖像，因此，這類方法對(duì)樣本圖像的質(zhì)量和數(shù)量有較高的要求。
[0004]目前，有一種人臉圖像超分辨率重建技術(shù)是，基于全局參數(shù)模型與局部馬爾科夫隨機(jī)場的非參數(shù)模型相結(jié)合的方法來學(xué)習(xí)出高分辨率人臉圖像，但是，重建的人臉圖像清晰度較低，效果較差。
【發(fā)明內(nèi)容】
[0005]有鑒于此，本發(fā)明實(shí)施例提供了一種人臉圖像超分辨率重建的方法和裝置，以提高重建的人臉圖像的清晰度。所述技術(shù)方案如下:
[0006]第一方面，提供了一種人臉圖像超分辨率重建的方法，包括:
[0007]將測試人臉圖像與訓(xùn)練人臉圖像都劃分成圖像塊，其中，所述測試人臉圖像的分辨率低于指定分辨率，所述訓(xùn)練人臉圖像包括高分辨率的訓(xùn)練人臉圖像和低分辨率的訓(xùn)練人臉圖像，所述高分辨率的訓(xùn)練人臉圖像的分辨率不低于所述指定分辨率，所述低分辨率的訓(xùn)練人臉圖像的分辨率低于所述指定分辨率；
[0008]根據(jù)平滑度將所述測試人臉圖像中的所有圖像塊分為兩類，平滑塊和非平滑塊，對(duì)每個(gè)非平滑塊再繼續(xù)劃分，直至劃分后不存在非平滑塊或劃分后的非平滑塊滿足預(yù)設(shè)條件時(shí)停止劃分；
[0009]對(duì)所述訓(xùn)練人臉圖像按照與所述測試人臉圖像中各塊的位置進(jìn)行相同的劃分得到子塊；
[0010]根據(jù)所述低分辨率的訓(xùn)練人臉圖像中的各子塊計(jì)算所述測試人臉圖像中對(duì)應(yīng)位置的各非平滑塊的權(quán)重系數(shù)，根據(jù)所述權(quán)重系數(shù)和所述高分辨率的訓(xùn)練人臉圖像中對(duì)應(yīng)位置的各子塊得到所述測試人臉圖像中各非平滑塊對(duì)應(yīng)的重建圖像塊；
[0011]對(duì)所述測試人臉圖像中的每個(gè)平滑塊進(jìn)行雙三次插值得到對(duì)應(yīng)的重建圖像塊；[0012]將所述測試人臉圖像中各非平滑塊的重建圖像塊與各平滑塊的重建圖像塊按照位置合成為一個(gè)人臉圖像，得到所述測試人臉圖像的超分辨率重建人臉圖像。
[0013]其中，所述將測試人臉圖像與訓(xùn)練人臉圖像都劃分成圖像塊，包括:
[0014]采用重疊方式分別將所述測試人臉圖像和所述訓(xùn)練人臉圖像劃分成圖像塊，且任一個(gè)訓(xùn)練人臉圖像中的圖像塊的個(gè)數(shù)與所述測試人臉圖像中的圖像塊的個(gè)數(shù)相同；所述重疊方式是指一個(gè)人臉圖像中任意兩個(gè)相鄰的圖像塊之間有重疊的部分。
[0015]其中，所述根據(jù)平滑度將所述測試人臉圖像中的所有圖像塊分為兩類，平滑塊和非平滑塊，包括:
[0016]計(jì)算所述測試人臉圖像中每個(gè)圖像塊的平滑度，并與預(yù)設(shè)的第一閾值進(jìn)行比較，若所述平滑度小于所述第一閾值，則確定該圖像塊為平滑塊；若所述平滑度大于等于所述第一閾值，則確認(rèn)該圖像塊為非平滑塊。
[0017]其中，所述預(yù)設(shè)條件為劃分后的非平滑塊的尺寸小于等于預(yù)設(shè)尺寸或劃分后的非平滑塊的平滑度小于等于預(yù)設(shè)的第二閾值。
[0018]其中，所述根據(jù)所述低分辨率的訓(xùn)練人臉圖像中的各子塊計(jì)算所述測試人臉圖像中對(duì)應(yīng)位置的各非平滑塊的權(quán)重系數(shù)，包括:
[0019]利用主元分析法將所述測試人臉圖像中的非平滑塊映射到所述低分辨率的訓(xùn)練人臉圖像中對(duì)應(yīng)位置的子塊上，得到所述測試人臉圖像中各非平滑塊的權(quán)重系數(shù)。
[0020]第二方面，提供了一種人臉圖像超分辨率重建的裝置，包括:
[0021]劃分模塊，用于將測試人臉圖像與訓(xùn)練人臉圖像都劃分成圖像塊，其中，所述測試人臉圖像的分辨率低于指定分辨率，所述訓(xùn)練人臉圖像包括高分辨率的訓(xùn)練人臉圖像和低分辨率的訓(xùn)練人臉圖像，所述高分辨率的訓(xùn)練人臉圖像的分辨率不低于所述指定分辨率，所述低分辨率的訓(xùn)練人臉圖像的分辨率低于所述指定分辨率；
[0022]自適應(yīng)模塊，用于根據(jù)平滑度將所述測試人臉圖像中的所有圖像塊分為兩類，平滑塊和非平滑塊，對(duì)每個(gè)非平滑塊再繼續(xù)劃分，直至劃分后不存在非平滑塊或劃分后的非平滑塊滿足預(yù)設(shè)條件時(shí)停止劃分；對(duì)所述訓(xùn)練人臉圖像按照與所述測試人臉圖像中各塊的位置進(jìn)行相同的劃分得到子塊；
[0023]重建模塊，用于根據(jù)所述低分辨率的訓(xùn)練人臉圖像中的各子塊計(jì)算所述測試人臉圖像中對(duì)應(yīng)位置的各非平滑塊的權(quán)重系數(shù)，根據(jù)所述權(quán)重系數(shù)和所述高分辨率的訓(xùn)練人臉圖像中對(duì)應(yīng)位置的各子塊得到所述測試人臉圖像中各非平滑塊對(duì)應(yīng)的重建圖像塊；對(duì)所述測試人臉圖像中的每個(gè)平滑塊進(jìn)行雙三次插值得到對(duì)應(yīng)的重建圖像塊；
[0024]合成模塊，用于將所述測試人臉圖像中各非平滑塊的重建圖像塊與各平滑塊的重建圖像塊按照位置合成為一個(gè)人臉圖像，得到所述測試人臉圖像的超分辨率重建人臉圖像。
[0025]其中，所述劃分模塊包括:
[0026]劃分單元，用于采用重疊方式分別將所述測試人臉圖像和所述訓(xùn)練人臉圖像劃分成圖像塊，且任一個(gè)訓(xùn)練人臉圖像中的圖像塊的個(gè)數(shù)與所述測試人臉圖像中的圖像塊的個(gè)數(shù)相同；所述重疊方式是指一個(gè)人臉圖像中任意兩個(gè)相鄰的圖像塊之間有重疊的部分。
[0027]其中，所述自適應(yīng)模塊包括:
[0028]分類單元，用于計(jì)算所述測試人臉圖像中每個(gè)圖像塊的平滑度，并與預(yù)設(shè)的第一閾值進(jìn)行比較，若所述平滑度小于所述第一閾值，則確定該圖像塊為平滑塊；若所述平滑度大于等于所述第一閾值，則確認(rèn)該圖像塊為非平滑塊。
[0029]其中，所述預(yù)設(shè)條件為劃分后的非平滑塊的尺寸小于等于預(yù)設(shè)尺寸或劃分后的非平滑塊的平滑度小于等于預(yù)設(shè)的第二閾值。
[0030]其中，所述重建模塊包括:
[0031]計(jì)算單元，用于利用主元分析法將所述測試人臉圖像中的非平滑塊映射到所述低分辨率的訓(xùn)練人臉圖像中對(duì)應(yīng)位置的子塊上，得到所述測試人臉圖像中各非平滑塊的權(quán)重系數(shù)。
[0032]本發(fā)明實(shí)施例提供的技術(shù)方案帶來的有益效果是:通過將測試人臉圖像與訓(xùn)練人臉圖像都劃分成圖像塊；根據(jù)平滑度將所述測試人臉圖像中的所有圖像塊分為兩類，平滑塊和非平滑塊，對(duì)每個(gè)非平滑塊再繼續(xù)劃分，直至劃分后不存在非平滑塊或劃分后的非平滑塊滿足預(yù)設(shè)條件時(shí)停止劃分；對(duì)所述訓(xùn)練人臉圖像按照與所述測試人臉圖像中各塊的位置進(jìn)行相同的劃分得到子塊；根據(jù)所述低分辨率的訓(xùn)練人臉圖像中的各子塊計(jì)算所述測試人臉圖像中對(duì)應(yīng)位置的各非平滑塊的權(quán)重系數(shù)，根據(jù)所述權(quán)重系數(shù)和所述高分辨率的訓(xùn)練人臉圖像中對(duì)應(yīng)位置的各子塊得到所述測試人臉圖像中各非平滑塊對(duì)應(yīng)的重建圖像塊；對(duì)所述測試人臉圖像中的每個(gè)平滑塊進(jìn)行雙三次插值得到對(duì)應(yīng)的重建圖像塊；將所述測試人臉圖像中各非平滑塊的重建圖像塊與各平滑塊的重建圖像塊按照位置合成為一個(gè)人臉圖像，得到所述測試人臉圖像的超分辨率重建人臉圖像，實(shí)現(xiàn)了人臉圖像的重建，由于基于自適應(yīng)分塊，既很好的保持了超分辨率重建人臉圖像的全局結(jié)構(gòu)，又能夠很好的恢復(fù)人臉圖像的細(xì)節(jié)信息，提高了重建人臉圖像的清晰度，增強(qiáng)了重建效果。
【專利附圖】
【附圖說明】
[0033]為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0034]圖1是本發(fā)明實(shí)施例1提供的人臉圖像超分辨率重建的方法流程圖；
[0035]圖2是本發(fā)明實(shí)施例2提供的人臉圖像超分辨率重建的方法流程圖；
[0036]圖3是本發(fā)明實(shí)施例2提供的高分辨率和低分辨率的人臉圖像的示意圖；
[0037]圖4是本發(fā)明實(shí)施例2提供的FERET人臉數(shù)據(jù)庫中部分樣本的示意圖；
[0038]圖5是本發(fā)明實(shí)施例2提供的高分辨率的訓(xùn)練人臉圖像和低分辨率的訓(xùn)練人臉圖像劃分為圖像塊的示意圖；
[0039]圖6是本發(fā)明實(shí)施例2提供的對(duì)平滑塊和非平滑塊進(jìn)行自適應(yīng)處理的示意圖；
[0040]圖7是本發(fā)明實(shí)施例2提供的步驟204的流程圖；
[0041]圖8是本發(fā)明實(shí)施例2提供的人臉圖像超分辨率重建的效果示意圖；
[0042]圖9是本發(fā)明實(shí)施例3提供的人臉圖像超分辨率重建的裝置結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0043]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明實(shí)施方式作進(jìn)一步地詳細(xì)描述。
[0044]實(shí)施例1
[0045]參見圖1，本實(shí)施例提供了一種人臉圖像超分辨率重建的方法，包括:
[0046]101:將測試人臉圖像與訓(xùn)練人臉圖像都劃分成圖像塊，其中，該測試人臉圖像的分辨率低于指定分辨率，該訓(xùn)練人臉圖像包括高分辨率的訓(xùn)練人臉圖像和低分辨率的訓(xùn)練人臉圖像，該高分辨率的訓(xùn)練人臉圖像的分辨率不低于該指定分辨率，該低分辨率的訓(xùn)練人臉圖像的分辨率低于該指定分辨率；
[0047]102:根據(jù)平滑度將測試人臉圖像中的所有圖像塊分為兩類，平滑塊和非平滑塊，對(duì)每個(gè)非平滑塊再繼續(xù)劃分，直至劃分后不存在非平滑塊或劃分后的非平滑塊滿足預(yù)設(shè)條件時(shí)停止劃分；
[0048]103:對(duì)訓(xùn)練人臉圖像按照與所述測試人臉圖像中各塊的位置進(jìn)行相同的劃分得到子塊；
[0049]104:根據(jù)該低分辨率的訓(xùn)練人臉圖像中的各子塊計(jì)算該測試人臉圖像中對(duì)應(yīng)位置的各非平滑塊的權(quán)重系數(shù)，根據(jù)該權(quán)重系數(shù)和該高分辨率的訓(xùn)練人臉圖像中對(duì)應(yīng)位置的各子塊得到該測試人臉圖像中各非平滑塊對(duì)應(yīng)的重建圖像塊；
[0050]105:對(duì)該測試人臉圖像中的每個(gè)平滑塊進(jìn)行雙三次插值得到對(duì)應(yīng)的重建圖像塊；
[0051]106:將該測試人臉圖像中各非平滑塊的重建圖像塊與各平滑塊的重建圖像塊按照位置合成為一個(gè)人臉圖像，得到該測試人臉圖像的超分辨率重建人臉圖像。
[0052]本實(shí)施例中，將測試人臉圖像與訓(xùn)練人臉圖像都劃分成圖像塊，可以包括:
[0053]采用重疊方式分別將測試人臉圖像和訓(xùn)練人臉圖像劃分成圖像塊，且任一個(gè)訓(xùn)練人臉圖像中的圖像塊的個(gè)數(shù)與測試人臉圖像中的圖像塊的個(gè)數(shù)相同；
[0054]其中，該重疊方式是指一個(gè)人臉圖像中任意兩個(gè)相鄰的圖像塊之間有重疊的部分。
[0055]本實(shí)施例中，根據(jù)平滑度將測試人臉圖像中的所有圖像塊分為兩類，平滑塊和非平滑塊，可以包括:
[0056]計(jì)算測試人臉圖像中每個(gè)圖像塊的平滑度，并與預(yù)設(shè)的第一閾值進(jìn)行比較，若所述平滑度小于該第一閾值，則確定該圖像塊為平滑塊；若所述平滑度大于等于該第一閾值，則確認(rèn)該圖像塊為非平滑塊。
[0057]本實(shí)施例中，所述預(yù)設(shè)條件為劃分后的非平滑塊的尺寸小于等于預(yù)設(shè)尺寸或劃分后的非平滑塊的平滑度小于等于預(yù)設(shè)的第二閾值。
[0058]本實(shí)施例中，根據(jù)所述低分辨率的訓(xùn)練人臉圖像中的各子塊計(jì)算所述測試人臉圖像中對(duì)應(yīng)位置的各非平滑塊的權(quán)重系數(shù)，包括:
[0059]利用主元分析法將所述測試人臉圖像中的非平滑塊映射到所述低分辨率的訓(xùn)練人臉圖像中對(duì)應(yīng)位置的子塊上，得到所述測試人臉圖像中各非平滑塊的權(quán)重系數(shù)。
[0060]本實(shí)施例中，將訓(xùn)練人臉圖像與測試人臉圖像都劃分成圖像塊之前，還可以包括:
[0061]獲取M個(gè)高分辨率的訓(xùn)練人臉圖像，其中任一個(gè)訓(xùn)練人臉圖像的分辨率不低于該指定分辨率，該M為正整數(shù)；[0062]將該M個(gè)高分辨率的訓(xùn)練人臉圖像按照退化模型處理得到對(duì)應(yīng)的M個(gè)低分辨率的訓(xùn)練人臉圖像。
[0063]本實(shí)施例提供的上述方法，通過將測試人臉圖像與訓(xùn)練人臉圖像都劃分成圖像塊；根據(jù)平滑度將所述測試人臉圖像中的所有圖像塊分為兩類，平滑塊和非平滑塊，對(duì)每個(gè)非平滑塊再繼續(xù)劃分，直至劃分后不存在非平滑塊或劃分后的非平滑塊滿足預(yù)設(shè)條件時(shí)停止劃分；對(duì)所述訓(xùn)練人臉圖像按照與所述測試人臉圖像中各塊的位置進(jìn)行相同的劃分得到子塊；根據(jù)所述低分辨率的訓(xùn)練人臉圖像中的各子塊計(jì)算所述測試人臉圖像中對(duì)應(yīng)位置的各非平滑塊的權(quán)重系數(shù)，根據(jù)所述權(quán)重系數(shù)和所述高分辨率的訓(xùn)練人臉圖像中對(duì)應(yīng)位置的各子塊得到所述測試人臉圖像中各非平滑塊對(duì)應(yīng)的重建圖像塊；對(duì)所述測試人臉圖像中的每個(gè)平滑塊進(jìn)行雙三次插值得到對(duì)應(yīng)的重建圖像塊；將所述測試人臉圖像中各非平滑塊的重建圖像塊與各平滑塊的重建圖像塊按照位置合成為一個(gè)人臉圖像，得到所述測試人臉圖像的超分辨率重建人臉圖像，實(shí)現(xiàn)了人臉圖像的重建，由于基于自適應(yīng)分塊，既很好的保持了超分辨率重建人臉圖像的全局結(jié)構(gòu)，又能夠很好的恢復(fù)人臉圖像的細(xì)節(jié)信息，提高了重建人臉圖像的清晰度，增強(qiáng)了重建效果。
[0064]實(shí)施例2
[0065]參見圖2，本實(shí)施例提供了一種人臉圖像超分辨率重建的方法，包括:
[0066]201:采用重疊方式分別將測試人臉圖像和訓(xùn)練人臉圖像劃分成圖像塊，且任一個(gè)訓(xùn)練人臉圖像中的圖像塊的個(gè)數(shù)與該測試人臉圖像中的圖像塊的個(gè)數(shù)相同。
[0067]其中，該測試人臉圖像的分辨率低于指定分辨率；上述訓(xùn)練人臉圖像包括高分辨率的訓(xùn)練人臉圖像和低分辨率的訓(xùn)練人臉圖像，該高分辨率的訓(xùn)練人臉圖像的分辨率不低于上述指定分辨率，該低分辨率的訓(xùn)練人臉圖像的分辨率低于上述指定分辨率。所述指定分辨率可以根據(jù)需要設(shè)置，本實(shí)施例對(duì)此不做具體限定。
[0068]例如，參見圖3，其中圖a為高分辨率的人臉圖像，其分辨率高于指定分辨率，其中圖b為低分辨率的人臉圖像，其分辨率低于指定分辨率。
[0069]本實(shí)施例中，測試人臉圖像為一個(gè)，可以是任一個(gè)分辨率低于指定分辨率的人臉圖像。高分辨率的訓(xùn)練人臉圖像和低分辨率的訓(xùn)練人臉圖像通常為多個(gè)，且優(yōu)選地二者的
個(gè)數(shù)相同。其中，高分辨率的訓(xùn)練人臉圖像可以表示為h =，低分辨率的訓(xùn)練人臉
圖像可以表示為I = (Uji1。其中，μ是高分辨率的訓(xùn)練人臉圖像的個(gè)數(shù)，也是低分辨率的訓(xùn)練人臉圖像的個(gè)數(shù)。
[0070]本實(shí)施例中，上述將測試人臉圖像與訓(xùn)練人臉圖像都劃分成圖像塊之前，還可以包括:
[0071]獲取M個(gè)高分辨率的訓(xùn)練人臉圖像，其中任一個(gè)訓(xùn)練人臉圖像的分辨率不低于該指定分辨率，該M為正整數(shù)；將該M個(gè)高分辨率的訓(xùn)練人臉圖像按照退化模型處理得到對(duì)應(yīng)的M個(gè)低分辨率的訓(xùn)練人臉圖像。
[0072]其中，可以采用FERET (Face Recognition Technology,美國科研人臉數(shù)據(jù)庫)人臉數(shù)據(jù)庫來獲取高分辨率的訓(xùn)練人臉圖像。FERET人臉圖像庫包括了一個(gè)通用人臉庫以及通用測試標(biāo)準(zhǔn)庫。包含14051張具有不同表情、光照、姿態(tài)和年齡的照片，是人臉圖像處理領(lǐng)域應(yīng)用最廣泛的人臉數(shù)據(jù)庫之一。例如，參見圖4，為FERET人臉數(shù)據(jù)庫中部分樣本的示意圖。具體地，可以從該FERET人臉數(shù)據(jù)庫中選取指定個(gè)數(shù)的人臉圖像作為訓(xùn)練人臉圖像。
[0073]本實(shí)施例中，可以根據(jù)需要來設(shè)置訓(xùn)練人臉圖像的個(gè)數(shù)，本實(shí)施例對(duì)M的具體取值不限定，如可以在FERET人臉數(shù)據(jù)庫中隨機(jī)選用150張不同的80x80像素的人臉圖像作為高分辨率的訓(xùn)練人臉圖像。
[0074]所述退化模型可以采用如下公式來實(shí)現(xiàn):
[0075]Y=D*H*X+n ；
[0076]其中，X表示高分辨率的訓(xùn)練人臉圖像，Y表示低分辨率的訓(xùn)練人臉圖像，D表示下米樣，H表不模糊，η表不噪聲。
[0077]例如:一個(gè)高分辨率的訓(xùn)練人臉圖像的像素為80x80，經(jīng)過倍數(shù)是2的下采樣，以及大小為5X5，方差=2的高斯模糊模板進(jìn)行高斯模糊，再加上零均值的高斯白噪聲，得到40x40的低分辨率的訓(xùn)練人臉圖像。
[0078]本實(shí)施例中，可以將上述M個(gè)低分辨率的訓(xùn)練人臉圖像與M個(gè)高分辨率的訓(xùn)練人臉圖像組成為訓(xùn)練人臉圖像庫，進(jìn)行人臉圖像的重建。
[0079]本實(shí)施例中，從FERET人臉數(shù)據(jù)庫中選出與訓(xùn)練人臉圖像不同的人臉圖像，并把上述的退化模型作用于這些人臉圖像后，得到測試人臉圖像。
[0080]本實(shí)施例中，已經(jīng)按照數(shù)字圖像處理規(guī)范對(duì)訓(xùn)練人臉圖像和測試人臉圖像進(jìn)行統(tǒng)一的圖像配準(zhǔn)操作，從而保證人臉圖像五官比例的一致性。
[0081]本實(shí)施例中，上述重疊方式是指一個(gè)人臉圖像中任意兩個(gè)相鄰的圖像塊之間有重疊的部分，包括但不限于:上下相鄰的兩個(gè)圖像塊重疊，左右相鄰的兩個(gè)圖像塊重疊等等。
[0082]在劃分成圖像塊之后，上述M個(gè)高分辨率的訓(xùn)練人臉圖像中的第i個(gè)訓(xùn)練人臉圖
像對(duì)應(yīng)的圖像塊可以表示為
【權(quán)利要求】
1.一種人臉圖像超分辨率重建的方法，其特征在于，所述方法包括: 將測試人臉圖像與訓(xùn)練人臉圖像都劃分成圖像塊，其中，所述測試人臉圖像的分辨率低于指定分辨率，所述訓(xùn)練人臉圖像包括高分辨率的訓(xùn)練人臉圖像和低分辨率的訓(xùn)練人臉圖像，所述高分辨率的訓(xùn)練人臉圖像的分辨率不低于所述指定分辨率，所述低分辨率的訓(xùn)練人臉圖像的分辨率低于所述指定分辨率； 根據(jù)平滑度將所述測試人臉圖像中的所有圖像塊分為兩類，平滑塊和非平滑塊，對(duì)每個(gè)非平滑塊再繼續(xù)劃分，直至劃分后不存在非平滑塊或劃分后的非平滑塊滿足預(yù)設(shè)條件時(shí)停止劃分； 對(duì)所述訓(xùn)練人臉圖像按照與所述測試人臉圖像中各塊的位置進(jìn)行相同的劃分得到子塊； 根據(jù)所述低分辨率的訓(xùn)練人臉圖像中的各子塊計(jì)算所述測試人臉圖像中對(duì)應(yīng)位置的各非平滑塊的權(quán)重系數(shù)，根據(jù)所述權(quán)重系數(shù)和所述高分辨率的訓(xùn)練人臉圖像中對(duì)應(yīng)位置的各子塊得到所述測試人臉圖像中各非平滑塊對(duì)應(yīng)的重建圖像塊； 對(duì)所述測試人臉圖像中的每個(gè)平滑塊進(jìn)行雙三次插值得到對(duì)應(yīng)的重建圖像塊； 將所述測試人臉圖像中各非平滑塊的重建圖像塊與各平滑塊的重建圖像塊按照位置合成為一個(gè)人臉圖像，得到所述測試人臉圖像的超分辨率重建人臉圖像。
2.根據(jù)權(quán)利要求1 所述的方法，其特征在于，所述將測試人臉圖像與訓(xùn)練人臉圖像都劃分成圖像塊，包括: 采用重疊方式分別將所述測試人臉圖像和所述訓(xùn)練人臉圖像劃分成圖像塊，且任一個(gè)訓(xùn)練人臉圖像中的圖像塊的個(gè)數(shù)與所述測試人臉圖像中的圖像塊的個(gè)數(shù)相同； 其中，所述重疊方式是指一個(gè)人臉圖像中任意兩個(gè)相鄰的圖像塊之間有重疊的部分。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)平滑度將所述測試人臉圖像中的所有圖像塊分為兩類，平滑塊和非平滑塊，包括: 計(jì)算所述測試人臉圖像中每個(gè)圖像塊的平滑度，并與預(yù)設(shè)的第一閾值進(jìn)行比較，若所述平滑度小于所述第一閾值，則確定該圖像塊為平滑塊；若所述平滑度大于等于所述第一閾值，則確認(rèn)該圖像塊為非平滑塊。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述預(yù)設(shè)條件為劃分后的非平滑塊的尺寸小于等于預(yù)設(shè)尺寸或劃分后的非平滑塊的平滑度小于等于預(yù)設(shè)的第二閾值。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述低分辨率的訓(xùn)練人臉圖像中的各子塊計(jì)算所述測試人臉圖像中對(duì)應(yīng)位置的各非平滑塊的權(quán)重系數(shù)，包括: 利用主元分析法將所述測試人臉圖像中的非平滑塊映射到所述低分辨率的訓(xùn)練人臉圖像中對(duì)應(yīng)位置的子塊上，得到所述測試人臉圖像中各非平滑塊的權(quán)重系數(shù)。
6.一種人臉圖像超分辨率重建的裝置，其特征在于，所述裝置包括: 劃分模塊，用于將測試人臉圖像與訓(xùn)練人臉圖像都劃分成圖像塊，其中，所述測試人臉圖像的分辨率低于指定分辨率，所述訓(xùn)練人臉圖像包括高分辨率的訓(xùn)練人臉圖像和低分辨率的訓(xùn)練人臉圖像，所述高分辨率的訓(xùn)練人臉圖像的分辨率不低于所述指定分辨率，所述低分辨率的訓(xùn)練人臉圖像的分辨率低于所述指定分辨率； 自適應(yīng)模塊，用于根據(jù)平滑度將所述測試人臉圖像中的所有圖像塊分為兩類，平滑塊和非平滑塊，對(duì)每個(gè)非平滑塊再繼續(xù)劃分，直至劃分后不存在非平滑塊或劃分后的非平滑塊滿足預(yù)設(shè)條件時(shí)停止劃分；對(duì)所述訓(xùn)練人臉圖像按照與所述測試人臉圖像中各塊的位置進(jìn)行相同的劃分得到子塊； 重建模塊，用于根據(jù)所述低分辨率的訓(xùn)練人臉圖像中的各子塊計(jì)算所述測試人臉圖像中對(duì)應(yīng)位置的各非平滑塊的權(quán)重系數(shù)，根據(jù)所述權(quán)重系數(shù)和所述高分辨率的訓(xùn)練人臉圖像中對(duì)應(yīng)位置的各子塊得到所述測試人臉圖像中各非平滑塊對(duì)應(yīng)的重建圖像塊；對(duì)所述測試人臉圖像中的每個(gè)平滑塊進(jìn)行雙三次插值得到對(duì)應(yīng)的重建圖像塊； 合成模塊，用于將所述測試人臉圖像中各非平滑塊的重建圖像塊與各平滑塊的重建圖像塊按照位置合成為一個(gè)人臉圖像，得到所述測試人臉圖像的超分辨率重建人臉圖像。
7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述劃分模塊包括: 劃分單元，用于采用重疊方式分別將所述測試人臉圖像和所述訓(xùn)練人臉圖像劃分成圖像塊，且任一個(gè)訓(xùn)練人臉圖像中的圖像塊的個(gè)數(shù)與所述測試人臉圖像中的圖像塊的個(gè)數(shù)相同； 其中，所述重疊方式是指一個(gè)人臉圖像中任意兩個(gè)相鄰的圖像塊之間有重疊的部分。
8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述自適應(yīng)模塊包括: 分類單元，用于計(jì)算所述測試人臉圖像中每個(gè)圖像塊的平滑度，并與預(yù)設(shè)的第一閾值進(jìn)行比較，若所述平滑度小于所述第一閾值，則確定該圖像塊為平滑塊；若所述平滑度大于等于所述第一閾值，則確認(rèn)該圖像塊為非平滑塊。
9.根據(jù)權(quán)利要 求6所述的裝置，其特征在于，所述預(yù)設(shè)條件為劃分后的非平滑塊的尺寸小于等于預(yù)設(shè)尺寸或劃分后的非平滑塊的平滑度小于等于預(yù)設(shè)的第二閾值。
10.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述重建模塊包括: 計(jì)算單元，用于利用主元分析法將所述測試人臉圖像中的非平滑塊映射到所述低分辨率的訓(xùn)練人臉圖像中對(duì)應(yīng)位置的子塊上，得到所述測試人臉圖像中各非平滑塊的權(quán)重系數(shù)。
【文檔編號(hào)】G06K9/62GK103903236SQ201410084681
【公開日】2014年7月2日 申請(qǐng)日期:2014年3月10日 優(yōu)先權(quán)日:2014年3月10日
【發(fā)明者】曹林, 劉丹, 周汐 申請(qǐng)人:北京信息科技大學(xué)