基于深度學(xué)習(xí)的解像方法和系統(tǒng)的制作方法
【專利摘要】一種解像方法和系統(tǒng)。該解像方法包括：a.利用原始高分辨率圖像集建立樣本庫；b.利用樣本庫對卷積結(jié)構(gòu)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；c.利用訓(xùn)練后的卷積結(jié)構(gòu)網(wǎng)絡(luò)對低分辨率的輸入信號進(jìn)行處理以得到高分辨率的輸出信號。根據(jù)本公開的解像方法和系統(tǒng)通過簡單擴(kuò)展硬件，不需要大的改變算法，就可實(shí)現(xiàn)對擴(kuò)容之后的數(shù)據(jù)進(jìn)行處理；將復(fù)雜算法部署為并行化設(shè)計，可以在不同服務(wù)器之間相互獨(dú)立工作；并且是模塊化設(shè)計，可以通過后期的優(yōu)化更改各功能模塊設(shè)計方案。
【專利說明】
基于深度學(xué)習(xí)的解像方法和系統(tǒng)
技術(shù)領(lǐng)域
[0001 ]本公開設(shè)及電視顯示中的圖像處理領(lǐng)域，更具體地說，設(shè)及一種基于深度學(xué)習(xí)的 人臉和圖像高分辨率解像方法和系統(tǒng)。
【背景技術(shù)】
[0002] 超解像，是針對當(dāng)前視頻信號源的分辨率不如高清電視可顯示的分辨率而提出 的。超解像技術(shù)通過將原始圖像拉伸、比較、修正從而輸出更適合在全高清(F皿，F(xiàn)ull化曲 Definition)液晶電視上顯示的圖像，增強(qiáng)視覺清晰度。與普通液晶電視只是簡單的將標(biāo)清 信號拉伸放大到高清屏幕上相比，超解像技術(shù)顯示細(xì)節(jié)更為突出，改變了人們對高清電視 看有線DVD反而不如低分辨率電視的印象。
[0003] 圖像的分辨率，又稱解像度、解像力、解析度，是指顯示器上所能顯示的像素多少， 顯示器上的像素點(diǎn)越多，其畫面就越精細(xì)。分辨率高的圖像含有的像素密度高，能提供豐富 的細(xì)節(jié)信息，對客觀場景的描述更準(zhǔn)確細(xì)致。高分辨率圖像在信息時代的需求非常廣泛，諸 如衛(wèi)星遙感圖像、視頻安全監(jiān)控、軍事偵查航拍領(lǐng)域、醫(yī)學(xué)數(shù)字影像和視頻標(biāo)準(zhǔn)轉(zhuǎn)換等領(lǐng)域 都具有十分重要的應(yīng)用。
[0004] 人臉幻化是一種由低分辨率輸入，生成一種高分辨率輸出的特定區(qū)域超解像技 術(shù)。低分辨率圖像由高分辨率圖像經(jīng)過降采樣、線性卷積處理所得到?；没夹g(shù)可理解為重 構(gòu)高頻細(xì)節(jié)，對于目前的超解像技術(shù)，很少有關(guān)于點(diǎn)在人臉幻化上的。

【發(fā)明內(nèi)容】

[0005] 在本公開的實(shí)施例中提供一種基于深度學(xué)習(xí)的人臉和圖像高分辨率解像方法和 系統(tǒng)。按照本公開的一個方面，提供一種解像方法，該方法包括下列步驟:a.利用原始高分 辨率圖像集建立樣本庫;b.利用樣本庫對卷積結(jié)構(gòu)網(wǎng)絡(luò)進(jìn)行訓(xùn)練;C .利用訓(xùn)練后的卷積結(jié) 構(gòu)網(wǎng)絡(luò)對低分辨率的輸入信號進(jìn)行處理W得到高分辨率的輸出信號。
[0006] 按照本公開的另一方面，提供一種解像系統(tǒng)，包括:樣本庫構(gòu)建裝置，被配置W利 用原始高分辨率圖像集建立樣本庫；訓(xùn)練裝置，被配置W利用樣本庫對卷積結(jié)構(gòu)網(wǎng)絡(luò)進(jìn)行 訓(xùn)練;輸出裝置，被配置W利用調(diào)整后的卷積結(jié)構(gòu)網(wǎng)絡(luò)對低分辨率的輸入信號進(jìn)行處理W 得到高分辨率的輸出信號。
[0007] 本公開的方法在利用原輸入圖像本身信息解像放大的同時，添加了人臉特征部位 相似度信息，豐富了解像后圖像中人臉的細(xì)節(jié)，使得清晰度得到明顯的提升。
[000引根據(jù)本公開的解像方法和系統(tǒng)通過簡單擴(kuò)展硬件，不需要大的改變算法，就可實(shí) 現(xiàn)對擴(kuò)容之后的數(shù)據(jù)進(jìn)行處理;將復(fù)雜算法部署為并行化設(shè)計，可W在不同服務(wù)器之間相 互獨(dú)立工作;并且是模塊化設(shè)計，可W通過后期的優(yōu)化更改各功能模塊設(shè)計方案。
【附圖說明】
[0009]圖1示出了人臉解像技術(shù)的一種通用方法。
[0010] 圖2示出了人臉解像技術(shù)的另一種通用方法。
[0011] 圖3示出了根據(jù)本發(fā)明實(shí)施例的解像方法的流程圖。
[0012] 圖4示出了根據(jù)本發(fā)明第一實(shí)施例的圖3的解像方法的具體實(shí)現(xiàn)流程。
[OOU]圖5示出了圖4的訓(xùn)練過程S405的具體實(shí)現(xiàn)過程。
[0014] 圖6示出了根據(jù)本發(fā)明第二實(shí)施例的圖3的解像方法的具體實(shí)現(xiàn)流程。
[0015] 圖7示出了圖6的第二訓(xùn)練過程S607的具體實(shí)現(xiàn)過程。
[0016] 圖8示出了根據(jù)本發(fā)明實(shí)施例的解像系統(tǒng)的方框圖。
[0017] 圖9示出了根據(jù)本發(fā)明第一實(shí)施例的圖8的解像系統(tǒng)的具體實(shí)現(xiàn)框圖。
[0018] 圖10示出了根據(jù)本發(fā)明第二實(shí)施例的圖8的解像系統(tǒng)的具體實(shí)現(xiàn)框圖。
【具體實(shí)施方式】
[0019] 通過結(jié)合附圖對本發(fā)明的示例性實(shí)施例進(jìn)行詳細(xì)描述，本發(fā)明的上述特性和優(yōu)點(diǎn) 將會變得更加清楚，附圖中相同的標(biāo)號指定相同結(jié)構(gòu)的單元。
[0020] 下面將參照附圖描述本發(fā)明的實(shí)施例。然而，本發(fā)明可W W許多不同的形式實(shí)現(xiàn)， 而不應(yīng)當(dāng)認(rèn)為限于運(yùn)里所述的實(shí)施例。在附圖中，為了清楚起見放大了組件。
[0021] 圖1示出了人臉解像技術(shù)的一種通用方法。
[0022] 如圖1所示，采用PCA(主成分分析)算法進(jìn)行人臉識別。將低分辨率圖像映射到高 分辨率圖像，并利用約束條件進(jìn)行人臉重構(gòu)，最后進(jìn)行高分辨率圖像輸出。
[0023 ]圖2示出了人臉解像技術(shù)的另一種通用方法。
[0024]如圖2所示，首先，輸入低分辨率的人臉圖像;進(jìn)行人臉部的各個特征檢測，并對檢 測到的特征(眼睛/鼻子/嘴己/)進(jìn)行標(biāo)記;然后提取臉部不同特征，得到多張不同的特征成 分模板;從運(yùn)些模板中利用高通濾波函數(shù)繼續(xù)提取，得到高頻成分，也就是圖像的高分辨率 面部成分；人臉結(jié)構(gòu)性較強(qiáng)，因此可利用結(jié)構(gòu)相似性函數(shù)，對輸入的人臉圖像進(jìn)行特征映 射，補(bǔ)充添加相似性較高的高頻細(xì)節(jié)，完成人臉的重構(gòu)。最后進(jìn)行高分辨率人臉圖像的輸 出。
[00巧]W上方法存在的問題：
[0026] 問題1:人臉高低分辨率特征圖像對映射函數(shù)中的系數(shù)是確定的、唯一的，一旦固 定，對應(yīng)的特征圖像對將不可更改，可移植性和可擴(kuò)展性不強(qiáng)；
[0027] 問題2:人臉的特征重建中細(xì)節(jié)的填充是建立在重構(gòu)的圖像上，輸出結(jié)果表現(xiàn)的較 為不自然和不真實(shí)。
[0028] 針對W上問題，本公開提出了如下解決方案：
[0029] 問題1的解決方案：
[0030] 利用深度神經(jīng)網(wǎng)絡(luò)構(gòu)建高低分辨率人臉庫的訓(xùn)練模型，模型擬合好之后，后續(xù)可 隨意更改樣本庫和數(shù)量，只需更新整個訓(xùn)練模型，獲得新的特征濾波參數(shù)即可。
[0031] 問題2的解決方案：
[0032] 在訓(xùn)練整個人臉高低分辨率模型的同時，對高分辨率人臉的主要特征進(jìn)行標(biāo)記， 通過高低通濾波器，對標(biāo)記的圖像塊進(jìn)行細(xì)節(jié)模型訓(xùn)練，獲得對應(yīng)的細(xì)節(jié)填充濾波參數(shù)。
[0033] 該方法在利用原輸入圖像本身信息解像放大的同時，添加了人臉特征部位相似度 信息，豐富了解像后圖像中人臉的細(xì)節(jié)，使得清晰度得到明顯的提升。
[0034] 圖3示出了根據(jù)本發(fā)明實(shí)施例的解像方法的流程圖。
[0035] 如圖3所示，在步驟S301，利用原始高分辨率圖像集建立樣本庫。
[0036] 在步驟S302,利用樣本庫對卷積結(jié)構(gòu)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。
[0037] 在步驟S303,利用訓(xùn)練后的卷積結(jié)構(gòu)網(wǎng)絡(luò)對低分辨率的輸入信號進(jìn)行處理W得到 高分辨率的輸出信號。
[0038] 圖4示出了根據(jù)本發(fā)明第一實(shí)施例的圖3的解像方法的具體實(shí)現(xiàn)流程。
[0039] 如圖4所示，圖3中的步驟S301進(jìn)一步包括步驟S401-S404。
[0040] 在步驟S401，對原始高分辨率圖像集進(jìn)行下采樣處理得到低分辨率圖像集。其中， 下采樣處理例如可W采取線性卷積處理等現(xiàn)有的或?qū)淼哪軌驅(qū)崿F(xiàn)相同功能的處理。
[0041] 在步驟S402,使用人臉特征提取方法提取低分辨率圖像的人臉特征信息。其中，人 臉特征提取方法可W是諸如邊緣檢測算法的現(xiàn)有的或?qū)淼哪軌驅(qū)崿F(xiàn)相同功能的方法。
[0042] 在步驟S403,對高分辨率圖像進(jìn)行人臉特征點(diǎn)標(biāo)記，W獲得高分辨率圖像的人臉 特征信息。人臉圖像的結(jié)構(gòu)化主要包括面部成分、輪廓和平滑區(qū)域組成。標(biāo)記檢測用于局部 的面部成分和輪廓。
[0043] 在步驟S404,利用低分辨率圖像的人臉特征信息和高分辨率圖像的人臉特征信息 建立包含低分辨率圖像的人臉特征信息和相關(guān)的高分辨率圖像的人臉特征信息對的人臉 特征樣本庫。
[0044] 如圖4所示，圖3中的步驟S302進(jìn)一步包括步驟S405。在步驟S405，對人臉特征樣本 庫中的低分辨率圖像和高分辨率圖像的人臉特征信息對進(jìn)行訓(xùn)練W得到第一濾波參數(shù)。所 述第一濾波參數(shù)例如是用于卷積結(jié)構(gòu)網(wǎng)絡(luò)的分類器濾波參數(shù)。
[0045] 如圖4所示，圖3中的步驟S303進(jìn)一步包括步驟S406-S408。
[0046] 在步驟S406,輸入低分辨率圖像的人臉特征信息作為輸入信號。
[0047] 在步驟S407,基于在步驟S405得到的調(diào)整后的第一濾波參數(shù)，利用卷積結(jié)構(gòu)網(wǎng)絡(luò) 對輸入的低分辨率圖像的人臉特征信息進(jìn)行處理。
[0048] 在步驟S408,輸出經(jīng)卷積結(jié)構(gòu)網(wǎng)絡(luò)處理的高分辨率圖像的人臉特征信息作為輸出 信號。
[0049] 圖5示出了圖4的訓(xùn)練過程S405的具體實(shí)現(xiàn)過程。
[0050] 如圖5所示，在步驟S501，對人臉特征樣本庫中的低分辨率圖像的人臉特征信息和 相關(guān)的高分辨率圖像的人臉特征信息對進(jìn)行相關(guān)性分析，得到卷積結(jié)構(gòu)網(wǎng)絡(luò)的第一濾波參 數(shù)。
[0051] 在步驟S502和S503,對高分辨率圖像的人臉特征信息分別進(jìn)行高通濾波和低通濾 波W得到人臉特征高頻信息作為高通濾波人臉結(jié)果和人臉特征低頻信息作為低通濾波人 臉結(jié)果。其中，高通濾波人臉特征信息可W得到高頻特征，例如，人臉部結(jié)構(gòu)輪廓信息;而低 通濾波人臉特征信息可W得到細(xì)化信息，例如，人臉部皮膚紋理/粗糖程度等細(xì)節(jié)。
[0052] 在步驟S504,將高通濾波人臉結(jié)果和低通濾波人臉結(jié)果疊加，W得到疊加的結(jié)果， 也即，提取的高頻和低頻信息的疊加(特征輪廓和細(xì)節(jié)紋理）。
[0053] 在步驟S505,對疊加的結(jié)果進(jìn)行特征分類，得到高分辨率圖像的人臉特征信息的 細(xì)節(jié)模板作為卷積結(jié)構(gòu)網(wǎng)絡(luò)的反饋信號。例如，標(biāo)記諸如a、b、c等的不同特征分別作為一個 類別，得到不同類別的細(xì)節(jié)模板。
[0054] 采用低分辨率圖像的人臉特征信息作為卷積結(jié)構(gòu)網(wǎng)絡(luò)的輸入信號，調(diào)整卷積結(jié)構(gòu) 網(wǎng)絡(luò)中的第一濾波參數(shù)，W使得在卷積結(jié)構(gòu)網(wǎng)絡(luò)中采用調(diào)整后的第一濾波參數(shù)對輸入信號 進(jìn)行處理后得到的預(yù)測結(jié)果信號與反饋信號基本相同。也即，預(yù)測結(jié)果信號與反饋信號之 間的差值小于第一闊值，第一闊值可W根據(jù)實(shí)際情況進(jìn)行設(shè)置，例如第一闊值可W小于等 于0.Ol。
[0055] 之后，基于調(diào)整后的第一濾波參數(shù)，利用卷積結(jié)構(gòu)網(wǎng)絡(luò)對低分辨率圖像的人臉特 征信息進(jìn)行處理W得到高分辨率圖像的人臉特征信息。
[0056] 如圖5所述，卷積結(jié)構(gòu)網(wǎng)絡(luò)是由多個卷積層和激勵層交替連接而成。卷積層和激勵 層的數(shù)目可W根據(jù)實(shí)際情況設(shè)定，例如2個或更多。卷積結(jié)構(gòu)網(wǎng)絡(luò)除了輸入和輸出之外，其 他每層都是將上一層的輸出作為輸入，并將本層的輸出傳遞到下一層。
[0057] 每個卷積層都可W包括多個具有可調(diào)整濾波參數(shù)的濾波單元。每個卷積層中包含 的濾波單元的個數(shù)可W相同也可W不同。
[0058] 卷積層通過卷積操作從輸入信號或者前一層的特征圖中提取特征得到卷積后的 人臉特征圖。一般地，每個濾波單元采用如下公式進(jìn)行卷積操作:F(x)=Wx+b。其中，W和b是 濾波參數(shù)，X是輸入，F(xiàn) (X)為輸出。
[0059] 激勵層用于去除人眼敏感度低的特征。激勵層例如可W采用激勵函數(shù)F(X)=Hiax (〇，x)實(shí)現(xiàn)。也即，去除人眼敏感度低的特征，即F(X)含0的特征，W找到敏感度最高的特征 圖。
[0060] 當(dāng)經(jīng)過卷積結(jié)構(gòu)網(wǎng)絡(luò)得到預(yù)測結(jié)果信號
衰示預(yù)測結(jié) 果信號（即，特征值），m表示人臉特征樣本庫中圖像集的個數(shù)，F(xiàn)Mi表示經(jīng)由最后一層激勵層 輸出的特征圖）之后，與反饋信號相比，利用如下方差函數(shù)計算出錯誤率J(W，b)，然后對每 個濾波參數(shù)計算其對錯誤率的偏導(dǎo)數(shù)，然后根據(jù)偏導(dǎo)數(shù)(梯度)調(diào)整濾波參數(shù)。
[0061]
[0062] 其中J(W，b)表示錯誤率，m表示人臉特征樣本庫中圖像集的個數(shù)，4?,表示反饋信 號，知康示預(yù)測結(jié)果信號，hw,b表示權(quán)重系數(shù)。hw,b為經(jīng)驗(yàn)值，默認(rèn)值為l，hw,浪照網(wǎng)絡(luò)復(fù)雜 程度依靠經(jīng)驗(yàn)進(jìn)行大小調(diào)整。
[0063] 圖6示出了根據(jù)本發(fā)明第二實(shí)施例的圖3的解像方法的具體實(shí)現(xiàn)流程。
[0064] 如圖6所示，圖3中的步驟S301進(jìn)一步包括步驟S601-S605。
[0065] 在步驟S601，對原始高分辨率圖像集進(jìn)行下采樣處理得到低分辨率圖像集。其中， 下采樣處理例如可W采取線性卷積處理等現(xiàn)有的或?qū)淼哪軌驅(qū)崿F(xiàn)相同功能的處理。
[0066] 在步驟S602,使用人臉特征提取方法提取低分辨率圖像的低分辨率圖像的人臉特 征信息。其中，人臉特征提取方法可W是諸如邊緣檢測算法的現(xiàn)有的或?qū)淼哪軌驅(qū)崿F(xiàn)相 同功能的方法。
[0067] 在步驟S603,對高分辨率圖像進(jìn)行人臉特征點(diǎn)標(biāo)記，W獲得高分辨率圖像的人臉 特征信息。
[0068] 在步驟S604,利用低分辨率圖像的人臉特征信息和高分辨率圖像的人臉特征信息 建立包含低分辨率圖像的人臉特征信息和相關(guān)的高分辨率圖像的人臉特征信息對的人臉 特征樣本庫。
[0069] 在步驟S605,利用低分辨率圖像和高分辨率圖像建立包含低分辨率圖像和相關(guān)的 高分辨率圖像對的圖像樣本庫。
[0070] 如圖6所示，圖3中的步驟S302進(jìn)一步包括步驟S606和S607。
[0071] 在步驟S606,對人臉特征樣本庫中的低分辨率圖像和高分辨率圖像的人臉特征信 息對進(jìn)行訓(xùn)練W得到第一濾波參數(shù)。
[0072] 在步驟S607,對圖像樣本庫中的低分辨率圖像和高分辨率圖像對進(jìn)行訓(xùn)練W得到 第二濾波參數(shù)。
[0073] 如圖6所示，圖3中的步驟S303進(jìn)一步包括步驟S608-S610。
[0074] 在步驟S608,輸入低分辨率的信息作為輸入信號。
[0075] 在步驟S609,基于在步驟S606得到的調(diào)整后的第一濾波參數(shù)W及在步驟S607得到 的調(diào)整后的第二濾波參數(shù)，利用卷積結(jié)構(gòu)網(wǎng)絡(luò)對輸入信號進(jìn)行處理。
[0076] 在步驟S610,輸出經(jīng)卷積結(jié)構(gòu)網(wǎng)絡(luò)處理的高分辨率的信息作為輸出信號。
[0077] 圖6中的第一訓(xùn)練過程S606與圖4中的訓(xùn)練過程S405相同。在次不再寶述。
[0078] 圖7示出了圖6的第二訓(xùn)練過程S607的具體實(shí)現(xiàn)過程。
[0079] 如圖7所示，在步驟S701，對圖像樣本庫中的低分辨率圖像和相關(guān)的高分辨率圖像 對進(jìn)行相關(guān)性分析，得到卷積結(jié)構(gòu)網(wǎng)絡(luò)的第二濾波參數(shù)。
[0080] 在步驟S702和S703,對高分辨率圖像分別進(jìn)行高通濾波和低通濾波W得到圖像高 頻信息作為高通濾波圖像結(jié)果和圖像低頻信息作為低通濾波圖像結(jié)果。其中，高通濾波圖 像可W得到圖像的高頻信息，也就是圖像中相對較為突出的特征;而低通濾波圖像可W得 到圖像的低頻信息，也就是圖像中的細(xì)節(jié)紋理特征。
[0081] 在步驟S704,將高通濾波人臉結(jié)果和低通濾波人臉結(jié)果疊加，W得到疊加的結(jié)果， 也即，提取的高頻和低頻信息的疊加(特征輪廓和細(xì)節(jié)紋理）。
[0082] 在步驟S705,對疊加的結(jié)果進(jìn)行特征分類，得到高分辨率圖像的細(xì)節(jié)模板作為卷 積結(jié)構(gòu)網(wǎng)絡(luò)的反饋信號。例如，標(biāo)記諸如a、b、c等的不同特征分別作為一個類別，得到不同 類別的細(xì)節(jié)模板。
[0083] 采用低分辨率圖像作為卷積結(jié)構(gòu)網(wǎng)絡(luò)的輸入信號，調(diào)整卷積結(jié)構(gòu)網(wǎng)絡(luò)中的第二濾 波參數(shù)，W使得在卷積網(wǎng)絡(luò)中采用調(diào)整后的第二濾波參數(shù)對輸入信號進(jìn)行處理后得到的預(yù) 測結(jié)果信號與反饋信號基本相同。也即，預(yù)測結(jié)果信號與反饋信號之間的差值小于第一闊 值，第一闊值可W根據(jù)實(shí)際情況進(jìn)行設(shè)置，例如第一闊值可W小于等于0.01。
[0084] 之后，基于調(diào)整后的濾波參數(shù)，利用卷積結(jié)構(gòu)網(wǎng)絡(luò)對低分辨率圖像進(jìn)行處理W得 到高分辨率圖像。
[0085] 對于第二訓(xùn)練過程S707的具體訓(xùn)練過程，其與圖4中的訓(xùn)練過程S405的具體訓(xùn)練 過程類似。其不同之處僅僅在于:將人臉特征樣本庫中的低分辨率圖像的人臉特征信息和 相關(guān)的高分辨率圖像的人臉特征信息對替換為在圖7的步驟S705中建立的圖像樣本庫中的 低分辨率圖像和高分辨率圖像對。因此，在此將不對其進(jìn)行寶述。
[0086] 圖8示出了根據(jù)本發(fā)明實(shí)施例的解像系統(tǒng)的方框圖。
[0087] 如圖8所示，解像系統(tǒng)包括:樣本庫構(gòu)建裝置801、訓(xùn)練裝置802和輸出裝置803。
[0088] 樣本庫構(gòu)建裝置801，被配置W利用原始高分辨率圖像集建立樣本庫。
[0089] 訓(xùn)練裝置802,被配置W利用樣本庫對卷積結(jié)構(gòu)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。
[0090] 輸出裝置803,被配置W利用訓(xùn)練后的卷積結(jié)構(gòu)網(wǎng)絡(luò)對低分辨率的輸入信號進(jìn)行 處理W得到高分辨率的輸出信號。
[0091] 圖9示出了根據(jù)本發(fā)明第一實(shí)施例的圖8的解像系統(tǒng)的具體實(shí)現(xiàn)框圖。
[0092] 如圖9所示，圖8中的樣本庫構(gòu)建裝置801進(jìn)一步包括:下采樣單元901、人臉解析單 元902、特征點(diǎn)標(biāo)記單元903、人臉特征樣本庫建立單元904。圖8中的訓(xùn)練裝置802進(jìn)一步包 括訓(xùn)練單元905。圖8中的輸出裝置803進(jìn)一步包括:輸入單元906、卷積結(jié)構(gòu)網(wǎng)絡(luò)907和輸出 單元908。
[0093] 下采樣單元901，被配置W對原始高分辨率圖像集進(jìn)行下采樣處理得到低分辨率 圖像集。其中，下采樣處理例如可W采取線性卷積處理等現(xiàn)有的或?qū)淼哪軌驅(qū)崿F(xiàn)相同功 能的處理。
[0094] 人臉解析單元902,被配置W使用人臉特征提取方法提取低分辨率圖像的低分辨 率圖像的人臉特征信息。其中，人臉特征提取方法可W是諸如邊緣檢測算法的現(xiàn)有的或?qū)?來的能夠?qū)崿F(xiàn)相同功能的方法。
[00%]特征點(diǎn)標(biāo)記單元903,被配置W對高分辨率圖像進(jìn)行人臉特征點(diǎn)標(biāo)記，W獲得高分 辨率圖像的人臉特征信息。人臉圖像的結(jié)構(gòu)化主要包括面部成分、輪廓和平滑區(qū)域組成。標(biāo) 記檢測用于局部的面部成分和輪廓。
[0096] 人臉特征樣本庫建立單元904,被配置W利用低分辨率圖像的人臉特征信息和高 分辨率圖像的人臉特征信息建立包含低分辨率圖像的人臉特征信息和相關(guān)的高分辨率圖 像的人臉特征信息對的人臉特征樣本庫。
[0097] 訓(xùn)練單元905,被配置W對人臉特征樣本庫中的低分辨率圖像和高分辨率圖像的 人臉特征信息對進(jìn)行訓(xùn)練W得到第一濾波參數(shù)。所述第一濾波參數(shù)例如是用于卷積結(jié)構(gòu)網(wǎng) 絡(luò)的分類器濾波參數(shù)。
[0098] 輸入單元906,被配置W輸入低分辨率圖像的人臉特征信息作為輸入信號。
[0099] 卷積結(jié)構(gòu)網(wǎng)絡(luò)907,被配置W基于調(diào)整后的第一濾波參數(shù)，利用卷積結(jié)構(gòu)網(wǎng)絡(luò)對輸 入的低分辨率圖像的人臉特征信息進(jìn)行處理。
[0100] 輸出單元908,被配置W輸出經(jīng)卷積結(jié)構(gòu)網(wǎng)絡(luò)處理的高分辨率圖像的人臉特征信 息作為輸出信號。
[0101] 圖10示出了根據(jù)本發(fā)明第二實(shí)施例的圖8的解像系統(tǒng)的具體實(shí)現(xiàn)框圖。
[0102] 如圖10所示，圖8中的樣本庫構(gòu)建裝置801進(jìn)一步包括:下采樣單元1001、人臉解析 單元1002、特征點(diǎn)標(biāo)記單元1003、人臉特征樣本庫1004、圖像樣本庫1005。圖8中的訓(xùn)練裝置 802進(jìn)一步包括第一訓(xùn)練單元1006、和第二訓(xùn)練單元1007。圖8中的輸出裝置803進(jìn)一步包 括:輸入單元1008、卷積結(jié)構(gòu)網(wǎng)絡(luò)1009和輸出單元1010。
[0103] 下采樣單元1001，被配置W對原始高分辨率圖像集進(jìn)行下采樣處理得到低分辨率 圖像集。其中，下采樣處理例如可W采取線性卷積處理等現(xiàn)有的或?qū)淼哪軌驅(qū)崿F(xiàn)相同功 能的處理。
[0104] 人臉解析單元1002,被配置W使用人臉特征提取方法提取低分辨率圖像的低分辨 率圖像的人臉特征信息。其中，人臉特征提取方法可W是諸如邊緣檢測算法的現(xiàn)有的或?qū)?來的能夠?qū)崿F(xiàn)相同功能的方法。
[0105] 特征點(diǎn)標(biāo)記單元1003，被配置W對高分辨率圖像進(jìn)行人臉特征點(diǎn)標(biāo)記，W獲得高 分辨率圖像的人臉特征信息。
[0106] 人臉特征樣本庫建立單元1004,被配置W利用低分辨率圖像的人臉特征信息和高 分辨率圖像的人臉特征信息建立包含低分辨率圖像的人臉特征信息和相關(guān)的高分辨率圖 像的人臉特征信息對的人臉特征樣本庫。
[0107] 圖像樣本庫建立單元1005,被配置W利用低分辨率圖像和高分辨率圖像建立包含 低分辨率圖像和相關(guān)的高分辨率圖像對的圖像樣本庫。
[0108] 第一訓(xùn)練單元1006,被配置W對人臉特征樣本庫中的低分辨率圖像的人臉特征信 息和高分辨率圖像的人臉特征信息對進(jìn)行訓(xùn)練W得到第一濾波參數(shù)。
[0109] 第二訓(xùn)練單元1007,被配置W對圖像樣本庫中的低分辨率圖像和高分辨率圖像對 進(jìn)行訓(xùn)練W得到第二濾波參數(shù)。
[0110] 輸入單元1008,被配置W輸入低分辨率圖像的人臉特征信息和/或圖像作為輸入 信號。
[0111] 卷積結(jié)構(gòu)網(wǎng)絡(luò)1009,被配置W基于調(diào)整后的第一和/或第二濾波參數(shù)，利用卷積結(jié) 構(gòu)網(wǎng)絡(luò)對輸入的低分辨率圖像的人臉特征信息和/或圖像進(jìn)行處理。
[0112] 輸出單元1010,被配置W輸出經(jīng)卷積結(jié)構(gòu)網(wǎng)絡(luò)處理的高分辨率圖像的人臉特征信 息和/或圖像作為輸出信號。
[0113] 對于圖9和圖10中的訓(xùn)練單元的具體訓(xùn)練過程，可參照圖5和圖7的具體訓(xùn)練過程。 因此，在此將不對其進(jìn)行寶述。
[0114] 基于深度學(xué)習(xí)的解像系統(tǒng)，包含:并行化和層次化設(shè)計訓(xùn)練模型和解像模型。具有 W下優(yōu)點(diǎn)：
[0115] 1.具有可擴(kuò)展性:通過簡單擴(kuò)展硬件，不需要大的改變算法，就可實(shí)現(xiàn)對擴(kuò)容之后 的數(shù)據(jù)進(jìn)行處理。
[0116] 2.高效性:將復(fù)雜算法部署為并行化設(shè)計，不同服務(wù)器之間相互獨(dú)立工作。
[0117] 2.多變性:模塊化設(shè)計，可W通過后期的優(yōu)化更改各功能模塊設(shè)計方案。
[011引應(yīng)當(dāng)理解，當(dāng)稱"元件""連接鄭'或"禪接"到另一元件時，它可W是直接連接或禪 接到另一元件或者可W存在中間元件。相反，當(dāng)稱元件"直接連接到"或"直接禪接到"另一 元件時，不存在中間元件。相同的附圖標(biāo)記指示相同的元件。運(yùn)里使用的術(shù)語"和/或"包括 一個或多個相關(guān)列出的項目的任何和所有組合。
[0119] 應(yīng)當(dāng)理解，盡管運(yùn)里可W使用術(shù)語第一、第二、第=等描述各個元件、組件和/或部 分，但運(yùn)些元件、組件和/或部分不受運(yùn)些術(shù)語限制。運(yùn)些術(shù)語僅僅用于將元件、組件或部分 相互區(qū)分開來。因此，下面討論的第一元件、組件或部分在不背離本發(fā)明教學(xué)的前提下可W 稱為第二元件、組件或部分。
[0120] 運(yùn)里使用的術(shù)語僅僅是為了描述特定實(shí)施例的目的，而并不意圖限制本發(fā)明。運(yùn) 里使用的單數(shù)形式"一"、"一個"和"那(運(yùn)個r也意圖包含復(fù)數(shù)形式，除非上下文中明確地 指出不包含。應(yīng)當(dāng)理解，術(shù)語"包括"當(dāng)用在本說明書中時指示所述特征、整數(shù)、步驟、操作、 元件和/或組件的存在，但并不排除一個或多個其他特征、整數(shù)、步驟、操作、元件、組件和/ 或其組合的存在或添加。
[0121] 除非另有定義，運(yùn)里使用的所有術(shù)語(包括技術(shù)和科學(xué)術(shù)語)具有與本發(fā)明所屬領(lǐng) 域的普通技術(shù)人員共同理解的相同含義。還應(yīng)當(dāng)理解，諸如在通常字典里定義的那些術(shù)語 應(yīng)當(dāng)被解釋為具有與它們在相關(guān)技術(shù)的上下文中的含義相一致的含義，而不應(yīng)用理想化或 極度形式化的意義來解釋，除非運(yùn)里明確地運(yùn)樣定義。
[0122] 運(yùn)里參照支持根據(jù)本發(fā)明實(shí)施例的方法、裝置(系統(tǒng)）的方框圖和流程圖描述本發(fā) 明示例性實(shí)施例。應(yīng)當(dāng)理解，流程圖和/或方框圖的每個方框W及流程圖和/或方框圖的方 框組合可W通過計算機(jī)程序指令實(shí)現(xiàn)。運(yùn)些計算機(jī)程序指令可W提供給通用計算機(jī)、專用 計算機(jī)或其他可編程數(shù)據(jù)處理裝置的處理器W產(chǎn)生機(jī)器，使得通過計算機(jī)或其他可編程數(shù) 據(jù)處理裝置的處理器執(zhí)行的指令創(chuàng)建實(shí)現(xiàn)流程圖和/或方框圖方框中指定功能/動作的手 段。
[0123] 運(yùn)些計算機(jī)程序指令也可W存儲在計算機(jī)可讀存儲器中，可W引導(dǎo)計算機(jī)或其他 可編程數(shù)據(jù)處理裝置W特定方式運(yùn)行，使得存儲在計算機(jī)可讀存儲器中的指令產(chǎn)生包括實(shí) 現(xiàn)流程圖和/或方框圖方框中指定功能/動作的指令手段的制造物品。
[0124] 計算機(jī)程序指令還可W加載到計算機(jī)或其他可編程數(shù)據(jù)處理裝置上，導(dǎo)致在計算 機(jī)或其他可編程裝置上執(zhí)行一系列操作步驟來產(chǎn)生計算機(jī)實(shí)現(xiàn)的處理，使得計算機(jī)或其他 可編程裝置上執(zhí)行的指令提供實(shí)現(xiàn)流程圖和/或方框圖方框中指定功能/動作的步驟。每個 方框可W表示代碼模塊、片斷或部分，其包括一個或多個用來實(shí)現(xiàn)指定邏輯功能的可執(zhí)行 指令。還應(yīng)當(dāng)注意，在其他實(shí)現(xiàn)中，方框中標(biāo)出的功能可能不按圖中標(biāo)出的順序發(fā)生。例如， 根據(jù)所設(shè)及的功能，連續(xù)示出的兩個方框可能實(shí)際上基本上并發(fā)地執(zhí)行，或者方框有時可 能W相反的順序執(zhí)行。
[0125] 上面是對本發(fā)明的說明，而不應(yīng)被認(rèn)為是對其的限制。盡管描述了本發(fā)明的若干 示例性實(shí)施例，但本領(lǐng)域技術(shù)人員將容易地理解，在不背離本發(fā)明的新穎教學(xué)和優(yōu)點(diǎn)的前 提下可W對示例性實(shí)施例進(jìn)行許多修改。因此，所有運(yùn)些修改都意圖包含在權(quán)利要求書所 限定的本發(fā)明范圍內(nèi)。應(yīng)當(dāng)理解，上面是對本發(fā)明的說明，而不應(yīng)被認(rèn)為是限于所公開的特 定實(shí)施例，并且對所公開的實(shí)施例W及其他實(shí)施例的修改意圖包含在所附權(quán)利要求書的范 圍內(nèi)。本發(fā)明由權(quán)利要求書及其等效物限定。
【主權(quán)項】
1. 一種解像方法，包括： a. 利用原始高分辨率圖像集建立樣本庫； b. 利用樣本庫對卷積結(jié)構(gòu)網(wǎng)絡(luò)進(jìn)行訓(xùn)練； C.利用訓(xùn)練后的卷積結(jié)構(gòu)網(wǎng)絡(luò)對低分辨率的輸入信號進(jìn)行處理W得到高分辨率的輸 出信號。2. 如權(quán)利要求1所述的解像方法，其中，所述樣本庫包括人臉特征樣本庫。3. 如權(quán)利要求2所述的解像方法，其中，步驟a進(jìn)一步包括： 對原始高分辨率圖像集進(jìn)行下采樣處理得到低分辨率圖像集； 使用人臉特征提取方法提取低分辨率圖像的人臉特征信息； 對高分辨率圖像進(jìn)行人臉特征點(diǎn)標(biāo)記，W獲得高分辨率圖像的人臉特征信息； 利用低分辨率圖像的人臉特征信息和高分辨率圖像的人臉特征信息建立包含低分辨 率圖像的人臉特征信息和相關(guān)的高分辨率圖像的人臉特征信息對的人臉特征樣本庫。4. 如權(quán)利要求3所述的解像方法，其中，步驟b進(jìn)一步包括： 對人臉特征樣本庫中的低分辨率圖像的人臉特征信息和相關(guān)的高分辨率圖像的人臉 特征信息對進(jìn)行相關(guān)性分析，得到卷積結(jié)構(gòu)網(wǎng)絡(luò)的第一濾波參數(shù)； 對高分辨率圖像的人臉特征信息分別進(jìn)行高通濾波和低通濾波W得到高通濾波人臉 結(jié)果和低通濾波人臉結(jié)果；將高通濾波人臉結(jié)果和低通濾波人臉結(jié)果疊加并進(jìn)行特征分 類，得到高分辨率圖像的人臉特征信息的細(xì)節(jié)模板作為卷積結(jié)構(gòu)網(wǎng)絡(luò)的反饋信號； 采用低分辨率圖像的人臉特征信息作為卷積結(jié)構(gòu)網(wǎng)絡(luò)的輸入信號，調(diào)整卷積結(jié)構(gòu)網(wǎng)絡(luò) 中的第一濾波參數(shù)，W使得采用調(diào)整后的第一濾波參數(shù)對輸入信號進(jìn)行處理后的卷積結(jié)構(gòu) 網(wǎng)絡(luò)輸出的預(yù)測結(jié)果信號與反饋信號相同。5. 如權(quán)利要求4所述的解像方法，其中，步驟C進(jìn)一步包括： 輸入低分辨率圖像的人臉特征信息； 基于調(diào)整后的第一濾波參數(shù)，利用卷積結(jié)構(gòu)網(wǎng)絡(luò)對輸入的低分辨率圖像的人臉特征信 息進(jìn)行處理； 輸出經(jīng)卷積結(jié)構(gòu)網(wǎng)絡(luò)處理的高分辨率圖像的人臉特征信息。6. 如權(quán)利要求3-5中的任何一個所述的解像方法，其中，所述樣本庫還包括圖像樣本 庫。7. 如權(quán)利要求6所述的解像方法，其中，步驟a進(jìn)一步包括： 利用低分辨率圖像集和高分辨率圖像集建立包含低分辨率圖像和相關(guān)的高分辨率圖 像對的圖像樣本庫。8. 如權(quán)利要求7所述的解像方法，其中，步驟b進(jìn)一步包括： 對低分辨率圖像和相關(guān)的高分辨率圖像對進(jìn)行相關(guān)性分析，得到卷積結(jié)構(gòu)網(wǎng)絡(luò)的第二 濾波參數(shù)； 對高分辨率圖像分別進(jìn)行高通濾波和低通濾波W得到高通濾波結(jié)果和低通濾波結(jié)果； 將高通濾波結(jié)果和低通濾波結(jié)果疊加并進(jìn)行特征分類，得到高分辨率圖像的細(xì)節(jié)模板作為 卷積結(jié)構(gòu)網(wǎng)絡(luò)的反饋信號； 采用低分辨率圖像作為卷積結(jié)構(gòu)網(wǎng)絡(luò)的輸入信號，調(diào)整卷積結(jié)構(gòu)網(wǎng)絡(luò)中的第二濾波參 數(shù)，W使得采用調(diào)整后的第二濾波參數(shù)對輸入信號進(jìn)行處理后的卷積結(jié)構(gòu)網(wǎng)絡(luò)輸出的預(yù)測 結(jié)果信號與反饋信號相同。9. 如權(quán)利要求8所述的解像方法，其中，步驟C進(jìn)一步包括： 輸入低分辨率的圖像； 基于調(diào)整后的第二濾波參數(shù)，利用卷積結(jié)構(gòu)網(wǎng)絡(luò)對輸入的低分辨率的圖像進(jìn)行處理； 輸出經(jīng)卷積結(jié)構(gòu)網(wǎng)絡(luò)處理的高分辨率的圖像。10. 如權(quán)利要求9所述的解像方法，其中，卷積結(jié)構(gòu)網(wǎng)絡(luò)是由多個卷積層和激勵層交替 連接而成。11. 如權(quán)利要求10所述的解像方法，其中，每個卷積層都可W包括多個具有可調(diào)整濾波 參數(shù)的濾波單元，其中，每個濾波單元采用公式F(x)=Wx+b進(jìn)行卷積操作，其中，W和b是濾 波參數(shù)，X是輸入，F(xiàn)(x)為輸出。12. 如權(quán)利要求11所述的解像方法，當(dāng)根據(jù)如下公式得到的J(W，b)小于第一闊值時，確 定預(yù)測結(jié)果信號與反饋信號相同，其中J(W，b)表示均方差，m表示人臉特征樣本庫中圖像集的個數(shù)，/sg:表示反饋信號， 旬表示預(yù)測結(jié)果信號，hw,b表示權(quán)重系數(shù)。13. 如權(quán)利要求12所述的解像方法，當(dāng)預(yù)測結(jié)果信號與反饋信號不相同時，對于每個濾 波參數(shù)，計算J(W，b)的偏導(dǎo)數(shù)，并根據(jù)偏導(dǎo)數(shù)調(diào)整第一濾波參數(shù)或第二濾波參數(shù)。14. 如權(quán)利要求13所述的解像方法，其中，所述第一濾波參數(shù)是用于卷積結(jié)構(gòu)網(wǎng)絡(luò)的分 類器濾波參數(shù)。15. -種解像系統(tǒng)，包括： 樣本庫構(gòu)建裝置，被配置W利用原始高分辨率圖像集建立樣本庫； 訓(xùn)練裝置，被配置W利用樣本庫對卷積結(jié)構(gòu)網(wǎng)絡(luò)進(jìn)行訓(xùn)練； 輸出裝置，被配置W利用訓(xùn)練后的卷積結(jié)構(gòu)網(wǎng)絡(luò)對低分辨率的輸入信號進(jìn)行處理W得 到高分辨率的輸出信號。16. 如權(quán)利要求15所述的解像系統(tǒng)，其中，所述樣本庫包括人臉特征樣本庫。17. 如權(quán)利要求16所述的解像系統(tǒng)，其中，樣本庫構(gòu)建裝置進(jìn)一步包括： 下采樣單元，被配置W對原始高分辨率圖像集進(jìn)行下采樣處理得到低分辨率圖像集； 人臉解析單元，被配置W使用人臉特征提取方法提取低分辨率圖像的低分辨率圖像的 人臉特征信息； 特征點(diǎn)標(biāo)記單元，被配置W對高分辨率圖像進(jìn)行人臉特征點(diǎn)標(biāo)記，W獲得高分辨率圖 像的人臉特征信息； 人臉特征樣本庫建立單元，被配置W利用低分辨率圖像的人臉特征信息和高分辨率圖 像的人臉特征信息建立包含低分辨率圖像的人臉特征信息和相關(guān)的高分辨率圖像的人臉 特征信息對的人臉特征樣本庫。18. 如權(quán)利要求17所述的解像系統(tǒng)，其中，訓(xùn)練裝置進(jìn)一步包括： 訓(xùn)練單元，被配置W對人臉特征樣本庫中的低分辨率圖像和高分辨率圖像的人臉特征 信息對進(jìn)行訓(xùn)練W得到第一濾波參數(shù)。19. 如權(quán)利要求18所述的解像系統(tǒng)，其中，輸出裝置進(jìn)一步包括： 輸入單元，被配置w輸入低分辨率圖像的人臉特征信息； 卷積結(jié)構(gòu)網(wǎng)絡(luò)，被配置W基于調(diào)整后的第一濾波參數(shù)，利用卷積結(jié)構(gòu)網(wǎng)絡(luò)對輸入的低 分辨率圖像的人臉特征信息進(jìn)行處理； 輸出單元，被配置W輸出經(jīng)卷積結(jié)構(gòu)網(wǎng)絡(luò)處理的高分辨率圖像的人臉特征信息。20. 如權(quán)利要求17-19中的任何一個所述的解像系統(tǒng)，其中，所述樣本庫還包括圖像樣 本庫。21. 如權(quán)利要求20所述的解像系統(tǒng)，其中，樣本庫構(gòu)建裝置進(jìn)一步包括： 圖像樣本庫建立單元，被配置W利用低分辨率圖像和高分辨率圖像建立包含低分辨率 圖像和相關(guān)的高分辨率圖像對的圖像樣本庫。22. 如權(quán)利要求21所述的解像系統(tǒng)，其中， 輸入單元，被進(jìn)一步配置W輸入低分辨率的人臉特征信息和/或圖像； 卷積結(jié)構(gòu)網(wǎng)絡(luò)，被進(jìn)一步配置W基于調(diào)整后的第一和/或第二濾波參數(shù)，利用卷積結(jié)構(gòu) 網(wǎng)絡(luò)對輸入的低分辨率的人臉特征信息和/或圖像進(jìn)行處理； 輸出單元，被進(jìn)一步配置W輸出經(jīng)卷積結(jié)構(gòu)網(wǎng)絡(luò)處理的高分辨率的人臉特征信息和/ 或圖像。23. 如權(quán)利要求22所述的解像系統(tǒng)，其中，卷積結(jié)構(gòu)網(wǎng)絡(luò)是由多個卷積層和激勵層交替 連接而成。24. 如權(quán)利要求23所述的解像系統(tǒng)，其中，每個卷積層都可W包括多個具有可調(diào)整濾波 參數(shù)的濾波單元，其中，每個濾波單元采用公式F(x)=Wx+b進(jìn)行卷積操作，其中，W和b是濾 波參數(shù)，X是輸入，F(xiàn)(x)為輸出。25. 如權(quán)利要求24所述的解像系統(tǒng)，當(dāng)根據(jù)如下公式得到的J(W，b)小于第一闊值時，確 定預(yù)測結(jié)果信號與反饋信號相同，其中J(W，b)表示均方差，m表示人臉特征樣本庫中圖像集的個數(shù)，4?,表示反饋信號， /is表示預(yù)測結(jié)果信號，hw,b表示權(quán)重系數(shù)。26. 如權(quán)利要求25所述的解像系統(tǒng)，當(dāng)預(yù)測結(jié)果信號與反饋信號不相同時，對于每個濾 波參數(shù)，計算J(W，b)的偏導(dǎo)數(shù)，并根據(jù)偏導(dǎo)數(shù)調(diào)整第一濾波參數(shù)或第二濾波參數(shù)。
【文檔編號】G06K9/62GK105847968SQ201610161589
【公開日】2016年8月10日
【申請日】2016年3月21日
【發(fā)明人】張麗杰, 李正龍
【申請人】京東方科技集團(tuán)股份有限公司