一種多幀超分辨率成像的裝置及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及數(shù)字圖像處理領(lǐng)域，尤其設(shè)一種多帖超分辨率成像的裝置及方法。
【背景技術(shù)】
[0002] 數(shù)字圖像處理技術(shù)是一種通過計算機(jī)對圖像進(jìn)行去噪聲、增強(qiáng)、復(fù)原、分割等處理 的技術(shù)，作為數(shù)字圖像處理技術(shù)的一個基本技術(shù)，多帖超分辨率成像技術(shù)是指通過針對同 一場景的一組低分辨率圖像恢復(fù)出該場景的一張高分辨率圖像，一組低分辨率圖像中包括 多張?zhí)煌牡头直媛蕡D像。圖像分辨率的提高意味著圖像上像素密度的增大，該使得圖 像細(xì)節(jié)更加清晰，從而避免圖像放大技術(shù)中插值算法所帶來的圖像模糊問題。
[0003] 由于圖像拍攝過程中相機(jī)的抖動或者被拍攝物體的運(yùn)動等原因?qū)е碌膱D像運(yùn)動 模糊問題，會導(dǎo)致圖像質(zhì)量的降低。當(dāng)關(guān)注的圖像細(xì)節(jié)區(qū)域很小時，即使是輕微的相機(jī)抖動 也會產(chǎn)生非常顯著的圖像運(yùn)動模糊問題。
[0004] 目前，現(xiàn)有的多帖超分辨率成像技術(shù)，例如基于貝葉斯方法的適應(yīng)性視頻超分辨 率成像技術(shù)、基于去卷積點(diǎn)擴(kuò)散函數(shù)（pointspread化nction，PS巧方法的多帖圖像去模 糊技術(shù)、W及基于概率的超分辨率成像技術(shù)，僅僅假設(shè)低通模糊核已知或者是求解簡單的 參數(shù)形式，使得現(xiàn)有的多帖超分辨率成像技術(shù)無法正確處理真實情況下拍攝出來的多帖低 分辨率圖像中的運(yùn)動模糊問題。當(dāng)多帖低分辨率圖像中的運(yùn)動模糊未被正確處理時，超分 辨率成像技術(shù)利用多帖低分辨率圖像所恢復(fù)的高分辨率圖像也不可避免地存在運(yùn)動模糊 問題。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明實施例提供了一種多帖超分辨率成像的裝置及方法，W處理同一場景下多 帖低分辨率圖像中存在的運(yùn)動模糊問題，進(jìn)而利用多帖低分辨率圖像恢復(fù)出該場景的高分 辨率圖像。
[0006] 第一方面，本發(fā)明實施例提供一種多帖超分辨率成像的裝置，包括：
[0007] 位置確定模塊，用于根據(jù)待獲得的高分辨率圖像上的像素的第一像素位置，分別 確定用于獲得高分辨率圖像的每帖低分辨率圖像上與第一像素位置對應(yīng)的第二像素位 置；
[000引像素清晰度確定模塊，用于分別確定在每帖低分辨率圖像上位置確定模塊確定的 第二像素位置上的像素的像素清晰度，從而獲得像素清晰度集；
[0009] 像素值確定模塊，用于根據(jù)像素清晰度確定模塊獲得的像素清晰度集，確定高分 辨率圖像上第一像素位置上的像素的像素值，從而獲得高分辨率圖像。
[0010] 結(jié)合第一方面，在第一種可能的實現(xiàn)方式中，像素清晰度確定模塊用于：
[0011] 分別根據(jù)每帖低分辨率圖像上第二像素位置上的像素值、和第二像素位置的鄰域 內(nèi)像素的值，確定在每帖低分辨率圖像上第二像素位置上的像素的像素清晰度。
[0012] 結(jié)合第一方面的第一種可能的實現(xiàn)方式，在第一方面的第二種可能的實現(xiàn)方式 中，像素清晰度確定模塊用于：
[0013] 根據(jù)W下公式分別確定每帖低分辨率圖像上第二像素位置上的像素的像素清晰 度：
[0014]
[0015] 其中，i表示低分辨率圖像的帖序號，iG[-N，閑，N為正整數(shù)，P表示第二像素位 置，表示第i帖低分辨率圖像上第二像素位置P上的像素的像素清晰度，wxp)表示第 二像素位置P的鄰域內(nèi)所有像素的集合，Vltq表示第i帖低分辨率圖像上第二像素位置的 鄰域內(nèi)像素位置q上的像素的梯度向量，e表示防止分母為零的計算項。
[0016] 結(jié)合第一方面、第一方面的第一種或第二種任一可能的實現(xiàn)方式，在第一方面的 第=種可能的實現(xiàn)方式中，像素值確定模塊用于：
[0017] 根據(jù)像素清晰度集，分別確定像素清晰度集中的像素清晰度各自對應(yīng)的像素有效 性參數(shù)；
[0018] 根據(jù)像素清晰度各自對應(yīng)的像素有效性參數(shù)，確定高分辨率圖像上第一像素位置 的像素的像素值。
[0019] 結(jié)合第一方面的第=種可能的實現(xiàn)方式，在第一方面的第四種可能的實現(xiàn)方式 中，像素值確定模塊根據(jù)像素清晰度集，分別確定像素清晰度集中的像素清晰度各自對應(yīng) 的像素有效性參數(shù)，包括：
[0020] 像素值確定模塊根據(jù)像素清晰度集，分別確定像素清晰度集中的像素清晰度各自 對應(yīng)的累積概表示第i帖低分辨率圖像上第二像素位置P上的像素的像素清晰 度對應(yīng)的累積概率；
[0021] 利用累積概率\。和^下公式分別確定清晰度各自對應(yīng)的像素有效性參數(shù)E口 P]:
[0022]
[0023] 其中，i表示低分辨率圖像的帖序號，iG[-N，閑，N為正整數(shù)，P表示第二像素位 置，E[Zw]表示第i帖低分辨率圖像上的第二像素位置P上像素的像素清晰度對應(yīng)的像素 有效性參數(shù)，表示第一像素值與第二像素值之間的差值，第一像素值為高分辨率圖像上 的第一像素位置上的像素的像素值，第二像素值為第i帖低分辨率圖像上的第二像素位置 P上的像素的像素值，^、丫和0均為控制權(quán)重參數(shù)。
[0024] 結(jié)合第一方面的第=種可能的實現(xiàn)方式，在第一方面的第五種可能的實現(xiàn)方式 中，像素值確定模塊根據(jù)像素清晰度集，分別確定像素清晰度集中的像素清晰度各自對應(yīng) 的像素有效性參數(shù)，包括：
[0025] 對于大于或等于預(yù)設(shè)闊值的像素清晰度集中的像素清晰度，確定像素清晰度對應(yīng) 的像素有效性參數(shù)為1 ;
[0026] 對于小于預(yù)設(shè)闊值的像素清晰度集中的像素清晰度，確定像素清晰度對應(yīng)的像素 有效性參數(shù)為0。
[0027] 結(jié)合第一方面的第=種至第五種任一可能的實現(xiàn)方式，在第一方面的第六種可能 的實現(xiàn)方式中，像素值確定模塊根據(jù)像素清晰度各自對應(yīng)的像素有效性參數(shù)，確定高分辨 率圖像上第一像素位置的像素的像素值，包括：
[002引根據(jù)W下公式確定高分辨率圖像上第一像素位置的像素的像素值：
[0029]
[0030] 其中，1°表示高分辨率圖像上第一像素位置上的像素的像素值，E[Zi，p]表示第i 帖低分辨率圖像上的第二像素位置P上的像素的像素清晰度對應(yīng)的像素有效性參數(shù)，I表 示輸入的高分辨率圖像上第一像素位置上的像素的粗略像素值，中(▽〇隸示對I的平滑約 束項，S表示將高分辨率圖像下采樣到低分辨率圖像的分辨率尺寸，Ki表示運(yùn)動模糊算子，F(xiàn)。^表示運(yùn)動變換矩陣，運(yùn)動變換矩陣用于將高分辨率圖像運(yùn)動變換到第i帖低分辨率圖 像，表示第i帖低分辨率圖像上第二像素位置上的像素的像素值，A和n均表示控制權(quán) 重參數(shù)。
[0031] 結(jié)合第一方面、第一方面的第一種至第五種任一可能的實現(xiàn)方式，在第一方面的 第^；：種可能的實現(xiàn)方式中，像素清晰度確定模塊還用于：
[0032] 在分別確定在每帖低分辨率圖像上第二像素位置上的像素的像素清晰度之前，采 用光流法對不同帖的低分辨率圖像之間進(jìn)行運(yùn)動估計，得到運(yùn)動變換矩陣，運(yùn)動變換矩陣 用于像素值確定模塊確定高分辨率圖像上的像素的像素值；
[0033] 相應(yīng)的，像素值確定模塊在根據(jù)像素清晰度確定模塊獲得的像素清晰度集，確定 高分辨率圖像上第一像素位置上的像素的像素值時用于；
[0034] 根據(jù)像素清晰度確定模塊獲得的像素清晰度集和運(yùn)動變換矩陣，確定高分辨率圖 像上第一像素位置的像素的像素值。
[0035] 第二方面，本發(fā)明實施例提供一種多帖超分辨率成像的裝置，包括：
[0036] 處理器，用于根據(jù)待獲得的高分辨率圖像上的像素的第一像素位置，分別確定用 于獲得高分辨率圖像的每帖低分辨率圖像上與第一像素位置對應(yīng)的第二像素位置；分別確 定在每帖低分辨率圖像上第二像素位置上的像素的像素清晰度，從而獲得像素清晰度集； 根據(jù)像素清晰度集，確定高分辨率圖像上第一像素位置上的像素的像素值，從而獲得高分 辨率圖像；
[0037] 顯示器，用于顯示處理器獲得的高分辨率圖像。
[003引結(jié)合第二方面，在第一種可能的實現(xiàn)方式中，處理器分別確定在每帖低分辨率圖 像上第二像素位置上的像素的像素清晰度，包括：
[0039] 分別根據(jù)每帖低分辨率圖像上第二像素位置上的像素值、和第二像素位置的鄰域 內(nèi)像素的值，確定在每帖低分辨率圖像上第二像素位置上的像素的像素清晰度。
[0040] 結(jié)合第二方面的第一種可能的實現(xiàn)方式，在第二方面的第二種可能的實現(xiàn)方式 中，處理器分別根據(jù)每帖低分辨率圖像上第二像素位置上的像素、和第二像素位置的鄰域 內(nèi)所有像素的集合，確定在每帖低分辨率圖像上第二像素位置上的像素的像素清晰度，包 括：
[0041] 根據(jù)W下公式分別確定每帖低分辨率圖像上第二像素位置上的像素的像素清晰 度：
[0042]
[0043] 其中，i表示低分辨率圖像的帖序號，iG[-N，閑，N為正整數(shù)，P表示第二像素位 置，表示第i帖低分辨率圖像上第二像素位置P上的像素的像素清晰度，：AT(p)表示第 二像素位置P的鄰域內(nèi)所有像素的集合，Wiiq表示第i帖低分辨率圖像上第二像素位置的 鄰域內(nèi)像素位置q上的像素的梯度向量，e表示防止分母為零的計算項。
[0044] 結(jié)合第二方面、第二方面的第一種或第二種任一可能的實現(xiàn)方式，在第二方面的 第=種可能的實現(xiàn)方式中，處理器根據(jù)像素清晰度集，確定高分辨率圖像上的第一像素位 置的像素的像素值，包括：
[0045] 根據(jù)像素清晰度集，分別確定像素清晰度集中的像素清晰度各自對應(yīng)的像素有效 性參數(shù)；
[0046] 根據(jù)像素清晰度各自對應(yīng)的像素有效性參數(shù)，確定高分辨率圖像上第一像素位置 的像素的像素值。
[0047] 結(jié)合第二方面的第=種可能的實現(xiàn)方式，在第二方面的第四種可能的實現(xiàn)方式 中，處理器根據(jù)像素清晰度集，分別確定像素清晰度集中的像素清晰度各自對應(yīng)的像素有 效性參數(shù)，包括：
[0048] 根據(jù)像素清晰度集，分別確定像素清晰度集中的像素清晰度各自對應(yīng)的累積概率 表示第i帖低分辨率圖像上第二像素位置P上的像素的像素清晰度對應(yīng)的累積概 率.
[0049] 利用累積概率\。和^下公式分別確定清晰度各自對應(yīng)的像素有效性參數(shù)E口 P]:
[00 加]
[CK)5U其中，i表示低分辨率圖像的帖序號，iG[-N，閑，N為正整數(shù)，P表示第二像素位 置，E[Zw]表示第i帖低分辨率圖像上的第二像素位置P上像素的像素清晰度對應(yīng)的像素 有效性參數(shù)，表示第一像素值與第二像素值之間的差值，第一像素值為高分辨率圖像上 的第一像素位置上的像素的像素值，第二像素值為第i帖低分辨率圖像上的第二像素位置 P上的像素的像素值，A、丫和P均為控制權(quán)重參數(shù)。
[0052] 結(jié)合第二方面的第=種可能的實現(xiàn)方式，在第二方面的第五種可能的實現(xiàn)方式 中，處理器根據(jù)像素清晰度集，分別確定像素清晰度集中的像素清晰度各自對應(yīng)的像素有 效性參數(shù)，包括：
[0053] 對于大于或等于預(yù)設(shè)闊值的像素清晰度集中的像素清晰度，確定像素清晰度對應(yīng) 的