一種基于稀疏主成分分析和連分式插值技術(shù)的視頻超分辨率重建方法及其系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種基于稀疏主成分分析和連分式插值技術(shù)的視頻超分辨率重建方法及其系統(tǒng)，與現(xiàn)有技術(shù)相比解決了超分辨率重建方法需要獲取多幅低分辨率圖像進(jìn)行視頻圖像重建的缺陷。本發(fā)明包括以下步驟：初始化分析視頻特征；基于稀疏主成分分析進(jìn)行去噪處理；基于向量連分式插值進(jìn)行重建放大處理；檢查視頻是否處理完畢。本發(fā)明提高了重建視頻圖像的質(zhì)量和效率，提升了超分辨率重建技術(shù)在不同視頻中的應(yīng)用程度。
【專利說明】一種基于稀疏主成分分析和連分式插值技術(shù)的視頻超分辨率重建方法及其系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻超分辨率重建【技術(shù)領(lǐng)域】，具體來說是一種基于稀疏主成分分析和連分式插值技術(shù)的視頻超分辨率重建方法及其系統(tǒng)。
【背景技術(shù)】
[0002]由于超分辨率重建技術(shù)可以在不改變現(xiàn)有成像系統(tǒng)的條件下，有效的克服成像系統(tǒng)內(nèi)在的分辨率限制，同時(shí)能夠極大的降低成本，因而在很多領(lǐng)域都有著極大的應(yīng)用價(jià)值。例如:在醫(yī)學(xué)診斷中，高分辨率醫(yī)學(xué)圖像能夠更好的幫助醫(yī)生做出正確的診斷；在遙感領(lǐng)域中，高分辨率的衛(wèi)星圖像能夠幫助更好的區(qū)分地面的相似物體；在視頻監(jiān)控系統(tǒng)中，有時(shí)需要對(duì)感興趣目標(biāo)的局部特征進(jìn)行放大辨識(shí)，如汽車牌照或現(xiàn)場(chǎng)人臉等。如果能夠通過對(duì)硬盤中相關(guān)視頻信息進(jìn)行超分辨率重建處理，獲得清晰的局部特征，就能夠?qū)δ繕?biāo)進(jìn)行更好的識(shí)別判斷。
[0003]現(xiàn)階段有很多研究人員已經(jīng)提出了不同的超分辨率重建方法，并在不同的應(yīng)用場(chǎng)景下取得了一定的成功。但是由于很多方法實(shí)施的前提是需要有同一個(gè)場(chǎng)景下多幅低分辨率的圖像，這在實(shí)際的應(yīng)用中并不理想。原因在于我們只有退化的視頻，即每一幀只有一個(gè)低分辨率圖像，這些多幅低分辨率圖像如何獲得是個(gè)難題，也就是說很多超分辨率重建算法不切實(shí)際，無法廣泛的得到應(yīng)用。如何設(shè)計(jì)出一種從僅有的一幅低分辨率的圖像就可以重建出一幅高分辨率圖像的超分辨率重建方法和系統(tǒng)已經(jīng)成為當(dāng)今急需解決的技術(shù)問題。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是為了解決現(xiàn)有技術(shù)中超分辨率重建方法需要獲取多幅低分辨率圖像進(jìn)行視頻圖像重建的缺陷，提供一種基于稀疏主成分分析和連分式插值技術(shù)的視頻超分辨率重建方法及其系統(tǒng)來解決上述問題。
[0005]為了實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案如下:
[0006]一種基于稀疏主成分分析和連分式插值技術(shù)的視頻超分辨率重建方法，包括以下步驟:
[0007]初始化分析視頻特征，判斷視頻的第一幀圖像的特性，分辨該視頻是灰度視頻還是彩色視頻，若是灰度視頻，則直接進(jìn)行下一步處理，若是彩色視頻，則將彩色視頻分成R、
G、B三個(gè)通道分別按照灰度視頻來處理；
[0008]基于稀疏主成分分析進(jìn)行去噪處理，讀取視頻的下一幀圖像，構(gòu)造由稀疏主成分分析得到的正交轉(zhuǎn)換矩陣，通過訓(xùn)練樣本模塊得到中心數(shù)據(jù)集，將正交轉(zhuǎn)換矩陣應(yīng)用于中心數(shù)據(jù)集并結(jié)合線性最小均方誤差估計(jì)模型來抑制噪聲，進(jìn)行去噪處理；
[0009]基于向量連分式插值進(jìn)行重建放大處理，對(duì)去噪后的圖像構(gòu)造向量控制網(wǎng)格，由向量控制網(wǎng)格結(jié)合連分式有理插值構(gòu)造出有理插值曲面，通過插值曲面的采樣實(shí)現(xiàn)圖像的放大；[0010]檢查視頻是否處理完畢，若處理完畢，則完成視頻超分辨率重建，若未處理完畢，則繼續(xù)進(jìn)行基于稀疏主成分分析進(jìn)行去噪處理。
[0011]所述的基于稀疏主成分分析進(jìn)行去噪處理包括以下步驟:
[0012]讀取視頻下一幀圖像，即第t幀圖像像素值為G(x，y, t)，圖像用矩陣表示，矩陣的大小為mXn,其中，X(1 ≤ X ≤ m)為行，y(l ≤ y ≤ η)為列，t為幀；將獲得的低分辨率圖像作為訓(xùn)練模塊，由訓(xùn)練模塊計(jì)算中心數(shù)據(jù)集，在訓(xùn)練模塊中間設(shè)置一個(gè)變量模塊KXK(K〈m，K〈n)；
[0013]對(duì)于每一組的模塊通過解決最優(yōu)問題找到最大數(shù)量的稀疏主成分，并得到一個(gè)正交轉(zhuǎn)換矩陣；
[0014]將正交變換矩陣用于中心數(shù)據(jù)集，并結(jié)合線性最小均方誤差估計(jì)模型移除噪聲，得到去噪后的估計(jì)圖像。
[0015]所述的基于向量連分式插值進(jìn)行重建放大處理包括以下步驟:
[0016]求出上一步獲得的去噪后圖像S(x，y)的尺寸為mXn，其中，x(l≤x≤m)為行，y (1≤ y ≤η)為列；將S(x, y)擴(kuò)展為(m+1) X (η+1)的圖像S1U, y),保證放大的圖像邊界保持良好；
[0017]根據(jù)圖像的塊特征，按照從上到下，從左到右的順序，將上一步去噪后的估計(jì)圖像分塊處理，分別構(gòu)造出3X3的向量控制網(wǎng)格VmXn，矩陣大小為mXn;用
表示拓展后圖像的第i行第j列像素的灰度值向量；
[0018]構(gòu)造一個(gè)二元向量有理函數(shù)瓦,,?0 )，滿足瓦',Xn) =、，采用分塊拼接的方法構(gòu)造mXn個(gè)3X3的二元有理插值曲面；
[0019]根據(jù)放大倍數(shù)，利用映射關(guān)系找到放大后圖像某點(diǎn)對(duì)應(yīng)到原始圖像中的位置，將得到的位置坐標(biāo)帶入二元有理插值函數(shù)中，得到放大的圖像某點(diǎn)的像素值。
[0020]所述的計(jì)算中心數(shù)據(jù)集包括以下步驟:
[0021]獲取下一幀圖像得到的數(shù)據(jù)集矩陣G(x，y, t) e Rmxn,矩陣的大小為mXn，每個(gè)組成部分 g (X，y, t) k, k=l, 2，...，m 有 η 個(gè)樣本；
[0022]將退化的視頻模型定義為:G(X，y, t) =D (x, y, t) *F (x, y, t) +N (x, y, t),這里D(x, y, t)是低采樣算子，G(x, y, t)是退化的視頻,F (x, y, t)是原始視頻，N(x, y, t)是附加的噪聲；
[0023]利用以下公式求出中心數(shù)據(jù)集GChO，
[0024]
【權(quán)利要求】
1.一種基于稀疏主成分分析和連分式插值技術(shù)的視頻超分辨率重建方法，其特征在于，包括以下步驟: 11)初始化分析視頻特征，判斷視頻的第一幀圖像的特性，分辨該視頻是灰度視頻還是彩色視頻，若是灰度視頻，則直接進(jìn)行下一步處理，若是彩色視頻，則將彩色視頻分成R、G、B三個(gè)通道分別按照灰度視頻來處理； 12)基于稀疏主成分分析進(jìn)行去噪處理，讀取視頻的下一幀圖像，構(gòu)造由稀疏主成分分析得到的正交轉(zhuǎn)換矩陣，通過訓(xùn)練樣本模塊得到中心數(shù)據(jù)集，將正交轉(zhuǎn)換矩陣應(yīng)用于中心數(shù)據(jù)集并結(jié)合線性最小均方誤差估計(jì)模型來抑制噪聲，進(jìn)行去噪處理； 13)基于向量連分式插值進(jìn)行重建放大處理，對(duì)去噪后的圖像構(gòu)造向量控制網(wǎng)格，由向量控制網(wǎng)格結(jié)合連分式有理插值構(gòu)造出有理插值曲面，通過插值曲面的采樣實(shí)現(xiàn)圖像的放大； 14)檢查視頻是否處理完畢，若處理完畢，則完成視頻超分辨率重建，若未處理完畢，則繼續(xù)進(jìn)行基于稀疏主成分分析進(jìn)行去噪處理。
2.根據(jù)權(quán)利要求1所述的一種基于稀疏主成分分析和連分式插值技術(shù)的視頻超分辨率重建方法，其特征在于，所述的基于稀疏主成分分析進(jìn)行去噪處理包括以下步驟: 21)讀取視頻下一幀圖像，即第t幀圖像像素值為G(x，y,t)，圖像用矩陣表示，矩陣的大小為mXn,其中，X(I ^ X ^ m)為行，y(l ^ y ^ η)為列，t為幀；將獲得的低分辨率圖像作為訓(xùn)練模塊，由訓(xùn)練模塊計(jì)算中心數(shù)據(jù)集，在訓(xùn)練模塊中間設(shè)置一個(gè)變量模塊KXK(K〈m，K〈n)； 22)對(duì)于每一組的模塊通過解決最優(yōu)問題找到最大數(shù)量的稀疏主成分，并得到一個(gè)正交轉(zhuǎn)換矩陣； 23)將正交變換矩陣用于中心數(shù)據(jù)集，并結(jié)合線性最小均方誤差估計(jì)模型移除噪聲，得到去噪后的估計(jì)圖像。
3.根據(jù)權(quán)利要求1所述的一種基于稀疏主成分分析和連分式插值技術(shù)的視頻超分辨率重建方法，其特征在于，所述的基于向量連分式插值進(jìn)行重建放大處理包括以下步驟: 31)求出上一步獲得的去噪后圖像S(x，y)的尺寸為mXn，其中，x(l^ x ^ m)為行，y(l≤y≤η)為列；將S(x, y)擴(kuò)展為(m+1) X (η+1)的圖像S1U, y),保證放大的圖像邊界保持良好； 32)根據(jù)圖像的塊特征，按照從上到下，從左到右的順序，將上一步去噪后的估計(jì)圖像分塊處理，分別構(gòu)造出3 X 3的向量控制網(wǎng)格Vmxn ;用(O < I < /?,O < j < η)表示拓展后圖像的第i行第j列像素的灰度值向量； 33)構(gòu)造一個(gè)二元向量有理函數(shù)瓦,,V)，= ，采用分塊拼接的方法構(gòu)造mXn個(gè)3X3的二元有理插值曲面； 34)根據(jù)放大倍數(shù)，利用映射關(guān)系找到放大后圖像某點(diǎn)對(duì)應(yīng)到原始圖像中的位置，將得到的位置坐標(biāo)帶入二元有理插值函數(shù)中，得到放大的圖像某點(diǎn)的像素值。
4.根據(jù)權(quán)利要求2所述的一種基于稀疏主成分分析和連分式插值技術(shù)的視頻超分辨率重建方法，其特征在于，所述的計(jì)算中心數(shù)據(jù)集包括以下步驟: 41)獲取下一幀圖像得到的數(shù)據(jù)集矩陣G(x，y，t) e Rmxn,矩陣的大小為mXn，每個(gè)組成部分 g (X，y, t) k, k=l, 2，...，m,有 η 個(gè)樣本； 42)將退化的視頻模型定義為:G(X，y, t) =D (x, y, t) *F (x, y, t) +N (x, y, t),這里D(x, y, t)是低采樣算子，G(x, y, t)是退化的視頻,F (x, y, t)是原始視頻，N(x, y, t)是附加的噪聲； 43)利用以下公式求出中心數(shù)據(jù)集
5.根據(jù)權(quán)利要求2所述的一種基于稀疏主成分分析和連分式插值技術(shù)的視頻超分辨率重建方法，其特征在于，所述的每一組的模塊通過解決最優(yōu)問題找到最大數(shù)量的稀疏主成分，并得到一個(gè)正交的轉(zhuǎn)換矩陣包括以下步驟: 51)輸入矩陣G(X，y, t)和稀疏數(shù)k，通過解決如下最優(yōu)問題可以得到第k個(gè)稀疏的士成分W*
6.根據(jù)權(quán)利要求2所述的一種基于稀疏主成分分析和連分式插值技術(shù)的視頻超分辨率重建方法，其特征在于，所述的將正交變換矩陣用于中心數(shù)據(jù)集，并結(jié)合線性最小均方誤差估計(jì)模型移除噪聲包括以下步驟: 61)將獲得的稀疏主成分而得到的轉(zhuǎn)換矩陣~用于數(shù)據(jù)集G1.v^)，得到方程€=6吞其中&歹表示無噪聲圖像和正交變換矩陣相乘的結(jié)果，/yv為正交變換矩陣和加入的噪聲相乘的結(jié)果； 62)通過使用以下方程將得到Z5vY的第k行的線性最小均方誤差估計(jì):
7.根據(jù)權(quán)利要求3所述的一種基于稀疏主成分分析和連分式插值技術(shù)的視頻超分辨率重建方法，其特征在于，所述的構(gòu)造出3X3的向量控制網(wǎng)格Vmxn包括以下步驟: 71)將去噪后的圖像S(x，y)分塊處理，排列如下所示，其中，x(l≤ x≤m)為行，y (1 ≤ y≤ n)為列:
8.根據(jù)權(quán)利要求3所述的一種基于稀疏主成分分析和連分式插值技術(shù)的視頻超分辨率重建方法，其特征在于，所述的二元向量有理插值函數(shù)的構(gòu)造方法如下: 二元向量有理插值格式定義為:

9.一種基于稀疏主成分分析與連分式插值技術(shù)的視頻超分辨率重建系統(tǒng)，其特征在于，包括: 初始化視頻輸入模塊，用于確定輸入視頻的類型，啟動(dòng)視頻超分辨率重建系統(tǒng)，實(shí)時(shí)重建視頻圖像； 稀疏主成分分析模塊，用于進(jìn)行正交轉(zhuǎn)換矩陣的計(jì)算； 中心數(shù)據(jù)集計(jì)算模塊，用于通過訓(xùn)練樣本數(shù)據(jù)計(jì)算出中心數(shù)據(jù)集，通過稀疏主成分分析模塊用于中心數(shù)據(jù)集計(jì)算模塊，并聯(lián)合線性最小均方誤差估計(jì)模型獲得去噪后的圖像估計(jì)值； 線性最小均方誤差估計(jì)模塊，用于聯(lián)合中心數(shù)據(jù)集計(jì)算模塊來抑制噪聲，為后期重建做好準(zhǔn)備； 向量控制網(wǎng)格模塊，用于對(duì)去噪后的圖像進(jìn)行分割，產(chǎn)生多個(gè)3X3的圖像塊； 基于Newton-Thiele的有理插值模塊,用于通過向量控制網(wǎng)格模塊構(gòu)建有理插值曲面； 所述的初始化視頻輸入模塊與稀疏主成分分析模塊相連，所述的稀疏主成分分析模塊分別與中心數(shù)據(jù)集計(jì)算模塊和線性最小均方誤差估計(jì)模塊相連后與向量控制網(wǎng)格模塊相連，所述的向量控制網(wǎng)格模塊與基于Newton-Thiele的有理插值模塊相連,所述的基于Newton-Thiele的有理插值模塊連回稀疏主成分分析模塊。
【文檔編號(hào)】G06T5/50GK103903239SQ201410112226
【公開日】2014年7月2日 申請(qǐng)日期:2014年3月24日 優(yōu)先權(quán)日:2014年3月24日
【發(fā)明者】檀結(jié)慶, 何蕾, 謝成軍 申請(qǐng)人:合肥工業(yè)大學(xué)