一種視頻圖像超分辨率重建方法
【專利摘要】本發(fā)明涉及一種視頻圖像超分辨率重建方法。1）對于通過同一場景可以獲取的多幅低分辨率圖像，選定所需視頻的連續(xù)序列幀，轉(zhuǎn)換為靜態(tài)的JPG或者BMP文件，結(jié)合場景參數(shù)，選擇一個象元內(nèi)連續(xù)多幀的亞像素圖像；2）根據(jù)多幀亞像素圖像的圖像序列幀，選擇目標(biāo)興趣點(diǎn)，并進(jìn)行塊狀目標(biāo)的運(yùn)動估計；3）根據(jù)運(yùn)動估計結(jié)果，采用非均勻內(nèi)插的重建算法，重建一副高分辨率圖像。本發(fā)明可以在不提高現(xiàn)有成像器件的圖像質(zhì)量下，提高視頻影像的在細(xì)節(jié)上的分辨力等，彌補(bǔ)傳統(tǒng)圖像復(fù)原、增強(qiáng)等方法的不足，具有簡單方便效率高的特點(diǎn)?？蔀檫@些領(lǐng)域的應(yīng)用提供優(yōu)化后的圖像數(shù)據(jù)基礎(chǔ)，從而可以拓展城市視頻信息的應(yīng)用領(lǐng)域。
【專利說明】一種視頻圖像超分辨率重建方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種視頻圖像處理方法，特別是涉及一種基于亞像素樣本序列和塊狀目標(biāo)運(yùn)動估計的視頻圖像超分辨率重建方法。
【背景技術(shù)】
[0002]隨著我國平安城市建設(shè)的開展以及智慧城市建設(shè)的啟動，遍布城市各個角落的攝像頭捕捉的各種視頻信息在保障城市安全、提高城市管理效能等方面無疑發(fā)揮了重要的作用。盡管高清攝像頭的安裝極大地提高了靜態(tài)圖像質(zhì)量，但是在一些特殊的場景下，比如雨天、霧天以及遠(yuǎn)景大范圍的細(xì)節(jié)觀測等情景下獲取的視頻圖像依然無法達(dá)到令人滿意的效果，特別是在一些對現(xiàn)場信息還原要求較高的應(yīng)用，比如刑事案件偵測、交通肇事逃逸等對車、人等目標(biāo)的信息獲取，盡管圖像質(zhì)量較以往有所提高，但依然無法滿足特殊事件的需要。因此，在現(xiàn)有的條件下，如果能夠利用某種方法從低分辨率視頻中獲得高分辨率圖像信息，則是一種經(jīng)濟(jì)、有效的方法。
[0003]視頻傳輸是通信和多媒體技術(shù)發(fā)展的一個關(guān)鍵問題，從傳輸效率的角度來說，希望信道中傳輸較少帶寬的低分辨率視頻；從視覺感受來說，希望獲得高分辨率的視覺信號。超分辨率重建是新近發(fā)展的一種圖像處理技術(shù)，利用一幅或多幅低分辨率圖像，運(yùn)用相應(yīng)的算法來獲得一幅清晰的高分辨率圖像，在接收端將低分辨率視頻轉(zhuǎn)換為高分辨率信號，可以有效的兼顧傳輸效率和視覺品質(zhì)。
[0004]現(xiàn)在的超分辨率重建方法特別是對壓縮域的視頻圖像超分辨率重建大多停留在模擬仿真階段，無法達(dá)到實(shí)用的目標(biāo)。這是由于導(dǎo)致圖像質(zhì)量下降的成像退化模型無法真實(shí)建立，現(xiàn)場環(huán)境的模擬重現(xiàn)難以實(shí)現(xiàn)，因而超分辨率重建所需要的最基本的兩個條件:病態(tài)求解和運(yùn)動估計無法滿足。
[0005]城市安防工程中所獲取的視頻數(shù)據(jù)極為龐大，堪稱海量。而如何在這些海量數(shù)據(jù)中提取到有用的信息，如用于視頻檢索、異常行為分析等，目前的工作還極為有限。

【發(fā)明內(nèi)容】

[0006]本發(fā)明針對現(xiàn)有技術(shù)不足，提出一種視頻圖像超分辨率重建方法，基于采用塊狀目標(biāo)匹配的運(yùn)動估計方法，對視頻圖像中的興趣點(diǎn)(如車輛、行人等)進(jìn)行塊狀分割，從若干幅與本場景相關(guān)的連續(xù)視頻圖像序列中重建一副高分辨率的圖像。
[0007]為了實(shí)現(xiàn)上述目的，本發(fā)明所采用的技術(shù)方案是:
一種視頻圖像超分辨率重建方法，其實(shí)現(xiàn)步驟如下:
1)對于通過同一場景可以獲取的多幅低分辨率圖像，首先根據(jù)要求選定所需視頻的連續(xù)序列巾貞，轉(zhuǎn)換為靜態(tài)的JPG或者BMP文件,結(jié)合場景參數(shù),選擇一個象元內(nèi)連續(xù)多巾貞的亞像素圖像；
2)根據(jù)多幀亞像素圖像的圖像序列巾貞，選擇目標(biāo)興趣點(diǎn)，并進(jìn)行塊狀目標(biāo)的運(yùn)動估計，其步驟如下: (1)將視頻編碼幀劃分為互不重疊的固定大小運(yùn)動塊狀目標(biāo)，在選定的匹配準(zhǔn)則下，各個運(yùn)動塊狀目標(biāo)都在參考幀中搜索與其最匹配的像塊作為預(yù)測；
(2)搜索限定在關(guān)于當(dāng)前運(yùn)動塊狀目標(biāo)位置對稱的一個局部矩形窗內(nèi)進(jìn)行，在預(yù)先定義的搜索窗內(nèi)，按像素逐塊與當(dāng)前運(yùn)動塊狀目標(biāo)比較，找到與當(dāng)前運(yùn)動塊狀目標(biāo)最相似的一塊;
(3)將搜索窗口鎖定在目標(biāo)興趣點(diǎn)上；
3)根據(jù)運(yùn)動估計結(jié)果，采用非均勻內(nèi)插的重建算法，重建一副高分辨率圖像。
[0008]所述的視頻圖像超分辨率重建方法，步驟I)中，亞像素圖像樣本提取的具體步驟如下:
(1)根據(jù)現(xiàn)場視頻監(jiān)控攝像頭照射距離和鏡頭焦距，根據(jù)光學(xué)成像幾何關(guān)系，測算特征目標(biāo)的運(yùn)行軌跡，并換成位移，根據(jù)視頻監(jiān)控的時間測算出目標(biāo)的運(yùn)行速度；
(2)根據(jù)目標(biāo)的運(yùn)行速度，結(jié)合視頻監(jiān)控攝像頭的像素分辨率，分別選取三到五幀一個象元內(nèi)的移動圖像作為重建幀，在連續(xù)的視頻幀中找到多副圖像樣本。
[0009]所述的視頻圖像超分辨率重建方法，步驟3)中，插值重建高分辨率圖像的步驟如下:
(1)首先估計各幀圖像之間的相對運(yùn)動信息，獲得超分辨率圖像在非均勻間距采樣點(diǎn)上的像素值，
(2)接著通過非均勻插值得到超分辨率圖像柵格上的像素值，采用分塊的運(yùn)算方式，把圖像分為一定大小和數(shù)量的圖像塊，對每一個圖像塊單獨(dú)進(jìn)行處理；
(3)然后再把處理后的圖像塊拼接到一起重建一副高分辨率的圖像。
[0010]所述的視頻圖像超分辨率重建方法，步驟2)中，搜索與各個運(yùn)動塊狀目標(biāo)最匹配的像塊，其匹配準(zhǔn)則是:如果運(yùn)動目標(biāo)在不同的圖像中圖像塊具有相同的形狀，且在局部范圍內(nèi)做平移運(yùn)動，則采用最小絕對誤差和最小均方誤差作為匹配準(zhǔn)則。
[0011]所述的視頻圖像超分辨率重建方法，步驟2)中，搜索與各個運(yùn)動塊狀目標(biāo)最匹配的像塊，其匹配準(zhǔn)則是:對于目標(biāo)的運(yùn)動有略微偏轉(zhuǎn)和遠(yuǎn)近不同而產(chǎn)生的光學(xué)變形的情況，考慮變形的塊匹配:首先假定一定的空間變換模型，然后利用匹配準(zhǔn)則尋求最佳的變換參數(shù)，采用相關(guān)系數(shù)法作為匹配準(zhǔn)則，通過刑事偵測場景回現(xiàn)手段獲取變形運(yùn)動目標(biāo)的幀間變形系數(shù)，反演實(shí)際場景的變化系數(shù)，以此作為運(yùn)動估計的匹配準(zhǔn)則。
[0012]發(fā)明的有益積極效果:
1、本發(fā)明提出的方法主要是針對低速塊狀運(yùn)動目標(biāo)的視頻圖像序列進(jìn)行處理，如汽車、摩托車等交通運(yùn)載工具以及行走中的行人，可廣泛應(yīng)用電子警察、刑事偵測、ETC不停車收費(fèi)等領(lǐng)域中對特定目標(biāo)的特征識別和提取用，應(yīng)用于模糊車輛車牌特征量提取、行人特征提取等。本發(fā)明采用亞像素運(yùn)動樣本序列和塊匹配運(yùn)動估計的視頻圖像超分辨率重建方法，可為這些領(lǐng)域的應(yīng)用提供優(yōu)化后的圖像數(shù)據(jù)基礎(chǔ)，從而可以拓展城市視頻信息的應(yīng)用領(lǐng)域，提高對城市的認(rèn)知和管理水平。
[0013]2、本發(fā)明可以在不提高現(xiàn)有成像器件的圖像質(zhì)量下，提高視頻影像的在細(xì)節(jié)上的分辨力等，彌補(bǔ)傳統(tǒng)圖像復(fù)原、增強(qiáng)等方法的不足，具有簡單方便效率高的特點(diǎn)。現(xiàn)有的視頻監(jiān)控影像本身的成像器件以及外部環(huán)境因素(如天氣、鏡頭污損等)，還有壓縮時所帶來的失真，都會給圖像本身帶來各種模糊特質(zhì)。本發(fā)明基于公安刑事偵查中在視頻圖像獲取中具有場景回現(xiàn)等優(yōu)勢，針對特定目標(biāo)的信息提取，通過分析視頻圖像的成像機(jī)理和工作特點(diǎn)，通過光學(xué)換算獲取運(yùn)動目標(biāo)的亞像素的連續(xù)視頻幀，對圖像中的興趣點(diǎn)進(jìn)行塊狀分害I]，鎖定目標(biāo)興趣點(diǎn)，進(jìn)而采用超值重建方法，從若干幅連續(xù)視頻圖像序列中重建一副高分辨率的圖像。
[0014]3、本發(fā)明主要是針對圖像中特定目標(biāo)的信息提取，因此完全可以采用分塊的運(yùn)算方式，把圖像分為一定大小和數(shù)量的圖像塊，對每一個圖像塊單獨(dú)進(jìn)行處理，然后再把處理后的圖像塊拼接到一起。分塊運(yùn)算方法主要是通過降低系數(shù)矩陣的維數(shù)來擺脫內(nèi)存的限制，從而可以大大提高運(yùn)算的速度。
【專利附圖】

【附圖說明】
[0015]圖1是本發(fā)明的處理方法流程圖；圖中，標(biāo)號I表示獲取的低分辨率視頻圖像序列幀，2表示亞像素圖像樣本提取的步驟，3表示基于塊狀目標(biāo)匹配的運(yùn)動估計步驟，4表示幾何均勻超值圖像重建的步驟。
[0016]圖2是本發(fā)明中移動目標(biāo)的亞像素序列幀成像示意圖；圖中標(biāo)號21表示(XD，22表示移動目標(biāo)。
[0017]圖3是本發(fā)明的平移運(yùn)動目標(biāo)的塊匹配圖。
[0018]圖4是本發(fā)明的變形運(yùn)動目標(biāo)的塊匹配示意圖。
[0019]圖5是本發(fā)明的興趣目標(biāo)約束窗口的搜索運(yùn)動估計方法。
[0020]圖6A是本發(fā)明三幀插值重建方法示意圖。
[0021 ] 圖6B是本發(fā)明四幀插值重建方法示意圖。
[0022]圖6C是本發(fā)明五幀插值重建方法示意圖。
【具體實(shí)施方式】
[0023]下面通過【具體實(shí)施方式】，對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。
[0024]實(shí)施例1
參見圖1?圖5，本發(fā)明視頻圖像超分辨率重建方法，其實(shí)現(xiàn)低分辨率視頻圖像超分辨率重建的步驟如下:
1)對于通過同一場景可以獲取的多幅低分辨率圖像，首先根據(jù)要求選定所需視頻的連續(xù)序列幀，轉(zhuǎn)換為靜態(tài)的JPG或者BMP文件，結(jié)合場景參數(shù)，如CCD像素分辨率、運(yùn)動位移與時間，選擇一個象元內(nèi)連續(xù)多幀的亞像素圖像；
2)根據(jù)多幀亞像素圖像的圖像序列巾貞，選擇目標(biāo)興趣點(diǎn)，并進(jìn)行塊狀目標(biāo)的運(yùn)動估計，其步驟如下:
(1)將視頻編碼巾貞劃分為互不重疊的固定大小運(yùn)動塊狀目標(biāo)，(MotionBlock Target,簡稱MBT)，尺寸一般為16 X 16像素，在選定的匹配準(zhǔn)則下，各個MBT都在參考幀中搜索與其最匹配的像塊作為預(yù)測；
(2)搜索限定在關(guān)于當(dāng)前運(yùn)動塊狀目標(biāo)位置對稱的一個局部矩形窗內(nèi)進(jìn)行，在預(yù)先定義的搜索窗內(nèi)，按像素逐塊與當(dāng)前運(yùn)動塊狀目標(biāo)比較，找到與當(dāng)前運(yùn)動塊狀目標(biāo)最相似的一塊；搜索范圍可以假定左邊和右邊各有X個像素，上邊和下邊各有y個像素。一般采用的水平和垂直方向的搜索范圍是相同的，S卩x=y。在此預(yù)先定義的搜索窗內(nèi)，按像素逐塊與當(dāng)前MBT比較，找到與當(dāng)前MBT最相似的一塊，這一對像塊在水平和垂直方向的位移即為MV，兩塊之間的誤差組成殘差塊；
(3)將搜索窗口鎖定在目標(biāo)興趣點(diǎn)(特定目標(biāo))上，如汽車等，其它無關(guān)區(qū)域以O(shè)或255填充，或者直接丟棄；
3)根據(jù)運(yùn)動估計結(jié)果，采用非均勻內(nèi)插的重建算法，重建一副高分辨率圖像。
[0025]實(shí)施例2
參見圖1-圖6，本實(shí)施例的視頻圖像超分辨率重建方法，與實(shí)施例1不同的是，在步驟O中，采用如下步驟進(jìn)行亞像素圖像樣本的提取:
(1)根據(jù)現(xiàn)場視頻監(jiān)控攝像頭照射距離和鏡頭焦距和光學(xué)成像幾何關(guān)系，測算特征目標(biāo)的運(yùn)行軌跡，并換成位移，根據(jù)視頻監(jiān)控的時間測算出目標(biāo)的運(yùn)行速度；
(2)根據(jù)目標(biāo)的運(yùn)行速度，結(jié)合視頻監(jiān)控CXD攝像頭的像素分辨率，分別選取三到五幀一個象元內(nèi)的移動圖像作為重建幀，在連續(xù)的視頻幀中找到多副圖像樣本。重建幀可以選取3到11幀一個象元內(nèi)的移動圖像，在不影響處理結(jié)果的情況下，為了減少運(yùn)算量，本發(fā)明選取三到五幀一個象元內(nèi)的移動圖像作為重建幀。
[0026]圖6A、圖6B、圖6C分別為三巾貞、四巾貞和五巾貞插值重建方法不意圖
目前視頻監(jiān)控中攝像頭大部分采用的成像傳感器為電荷耦合元件(其英文全稱是Charge-coupled Device,簡稱CO))。由于CO)在進(jìn)行成像的時候是采用光積分的方式,而光積分是需要時間的，例如一個540線的彩色CCD監(jiān)控攝像頭掃描一副圖像的時間大概需要0.05ms。只要在目標(biāo)運(yùn)動與CXD掃描積分之間存在時間差的時候，而且這種時間差在CXD掃描一幀圖像積分時間內(nèi)的時候，就會在連續(xù)的視頻幀中找到多副圖像樣本。
[0027]實(shí)施例3
本實(shí)施例的視頻圖像超分辨率重建方法，與實(shí)施例1或?qū)嵤├?不同的是，步驟3)中，采用如下的插值方法重建高分辨率圖像:
(1)首先估計各幀圖像之間的相對運(yùn)動信息，獲得超分辨率圖像在非均勻間距采樣點(diǎn)上的像素值，
(2)接著通過非均勻插值得到超分辨率圖像柵格上的像素值，采用分塊的運(yùn)算方式，把圖像分為一定大小和數(shù)量的圖像塊，對每一個圖像塊單獨(dú)進(jìn)行處理；
(3)然后再把處理后的圖像塊拼接到一起重建一副高分辨率的圖像。
[0028]本發(fā)明視頻圖像超分辨率重建方法，步驟2)中，搜索與各個運(yùn)動塊狀目標(biāo)最匹配的像塊的匹配準(zhǔn)則是:如果運(yùn)動目標(biāo)在不同的圖像中圖像塊具有相同的形狀，且在局部范圍內(nèi)做平移運(yùn)動，則采用最小絕對誤差和最小均方誤差作為匹配準(zhǔn)則。參見圖3。
[0029]實(shí)施例4
本實(shí)施例的視頻圖像超分辨率重建方法，與前述各實(shí)施例不同的是:步驟2)中，搜索與各個運(yùn)動塊狀目標(biāo)最匹配的像塊，對于目標(biāo)的運(yùn)動有略微偏轉(zhuǎn)和遠(yuǎn)近不同而產(chǎn)生的光學(xué)變形的情況，考慮變形的塊匹配:首先假定一定的空間變換模型，然后利用匹配準(zhǔn)則尋求最佳的變換參數(shù)，采用相關(guān)系數(shù)法作為匹配準(zhǔn)則，通過刑事偵測場景回現(xiàn)手段獲取變形運(yùn)動目標(biāo)的幀間變形系數(shù)，反演實(shí)際場景的變化系數(shù)，以此作為運(yùn)動估計的匹配準(zhǔn)則。參見圖4。
[0030]實(shí)施例5
參見圖1?圖6，本發(fā)明視頻圖像超分辨率重建方法，實(shí)現(xiàn)低分辨率視頻圖像超分辨率重建的過程如下:
1.亞像素連續(xù)圖像樣本序列的獲取
在基于超分辨率重建的空間分辨率增強(qiáng)技術(shù)中，其基本前提是通過同一場景可以獲取多幅低分辨率圖像的細(xì)節(jié)圖像。在超分辨率重建中，典型地認(rèn)為低分辨率圖像代表了同一場景的不同側(cè)面，也就是說低分辨率圖像是基于亞像素精度的平移亞采樣。如果僅僅是整數(shù)單位的像素平移，那么每幅圖像中都包含了相同的信息，這樣就不能為高分辨率圖像的復(fù)原提供新的信息。如果每幅低分辨率圖像彼此之間都是不同的亞像素平移，那么它們彼此之間就不會相互包含，在這種情況下，每一幅低分辨率圖像都會為高分辨率圖像的復(fù)原提供一些不同的信息。為了得到同一場景的不同側(cè)面，必須通過一幀接一幀的多場景或者視頻序列的相關(guān)的場景運(yùn)動。
[0031]對于給定一定場景的P幅低分辨率圖像，可以認(rèn)為它們是由一幅高分辨率圖像經(jīng)過一系列的降質(zhì)過程產(chǎn)生的。設(shè)降質(zhì)過程可以用式I表示:
【權(quán)利要求】
1.一種視頻圖像超分辨率重建方法，其特征是: 1)對于通過同一場景可以獲取的多幅低分辨率圖像，首先根據(jù)要求選定所需視頻的連續(xù)序列巾貞，轉(zhuǎn)換為靜態(tài)的JPG或者BMP文件,結(jié)合場景參數(shù),選擇一個象元內(nèi)連續(xù)多巾貞的亞像素圖像； 2)根據(jù)多幀亞像素圖像的圖像序列巾貞，選擇目標(biāo)興趣點(diǎn)，并進(jìn)行塊狀目標(biāo)的運(yùn)動估計，其步驟如下: (1)將視頻編碼幀劃分為互不重疊的固定大小運(yùn)動塊狀目標(biāo)，在選定的匹配準(zhǔn)則下，各個運(yùn)動塊狀目標(biāo)都在參考幀中搜索與其最匹配的像塊作為預(yù)測； (2)搜索限定在關(guān)于當(dāng)前運(yùn)動塊狀目標(biāo)位置對稱的一個局部矩形窗內(nèi)進(jìn)行，在預(yù)先定義的搜索窗內(nèi)，按像素逐塊與當(dāng)前運(yùn)動塊狀目標(biāo)比較，找到與當(dāng)前運(yùn)動塊狀目標(biāo)最相似的一塊; (3)將搜索窗口鎖定在目標(biāo)興趣點(diǎn)上； 3)根據(jù)運(yùn)動估計結(jié)果，采用非均勻內(nèi)插的重建算法，重建一副高分辨率圖像。
2.根據(jù)權(quán)利要求1所述的視頻圖像超分辨率重建方法，其特征在于:步驟I)中，亞像素圖像樣本提取的具體步驟如下: (1)根據(jù)現(xiàn)場視頻監(jiān)控攝像頭照射距離和鏡頭焦距，根據(jù)光學(xué)成像幾何關(guān)系，測算特征目標(biāo)的運(yùn)行軌跡，并換成位移，根據(jù)視頻監(jiān)控的時間測算出目標(biāo)的運(yùn)行速度； (2)根據(jù)目標(biāo)的運(yùn)行速度，結(jié)合視頻監(jiān)控攝像頭的像素分辨率，分別選取三到五幀一個象元內(nèi)的移動圖像作為重建幀，在連續(xù)的視頻幀中找到多副圖像樣本。
3.根據(jù)權(quán)利要求1或2所述的視頻圖像超分辨率重建方法，其特征在于:步驟3)中，插值重建高分辨率圖像的步驟如下: (1)首先估計各幀圖像之間的相對運(yùn)動信息，獲得超分辨率圖像在非均勻間距采樣點(diǎn)上的像素值， (2)接著通過非均勻插值得到超分辨率圖像柵格上的像素值，采用分塊的運(yùn)算方式，把圖像分為一定大小和數(shù)量的圖像塊，對每一個圖像塊單獨(dú)進(jìn)行處理； (3)然后再把處理后的圖像塊拼接到一起重建一副高分辨率的圖像。
4.根據(jù)權(quán)利要求3所述的視頻圖像超分辨率重建方法，其特征在于:步驟2)中，搜索與各個運(yùn)動塊狀目標(biāo)最匹配的像塊，其匹配準(zhǔn)則是:如果運(yùn)動目標(biāo)在不同的圖像中圖像塊具有相同的形狀，且在局部范圍內(nèi)做平移運(yùn)動，則采用最小絕對誤差和最小均方誤差作為匹配準(zhǔn)則。
5.根據(jù)權(quán)利要求4所述的視頻圖像超分辨率重建方法，其特征在于:步驟2)中，搜索與各個運(yùn)動塊狀目標(biāo)最匹配的像塊，其匹配準(zhǔn)則是:對于目標(biāo)的運(yùn)動有略微偏轉(zhuǎn)和遠(yuǎn)近不同而產(chǎn)生的光學(xué)變形的情況，考慮變形的塊匹配:首先假定一定的空間變換模型，然后利用匹配準(zhǔn)則尋求最佳的變換參數(shù)，采用相關(guān)系數(shù)法作為匹配準(zhǔn)則，通過刑事偵測場景回現(xiàn)手段獲取變形運(yùn)動目標(biāo)的幀間變形系數(shù)，反演實(shí)際場景的變化系數(shù)，以此作為運(yùn)動估計的匹配準(zhǔn)則。
【文檔編號】G06T7/20GK103489173SQ201310433123
【公開日】2014年1月1日 申請日期:2013年9月23日 優(yōu)先權(quán)日:2013年9月23日
【發(fā)明者】陳長寶, 楊博雄, 盧志淵, 杜紅民 申請人:百年金?？萍加邢薰?br>