專利名稱：一種運動補(bǔ)償輔助運動自適應(yīng)的去隔行方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算視頻、數(shù)字電視后處理中的去隔行方法，具體涉及一種利用人眼視覺特性的運動補(bǔ)償輔助運動自適應(yīng)的視頻去隔行方法。

背景技術(shù)：
隨著高清晰度電視、液晶電視LCD、PC機(jī)視頻、以及背投電視、等離子電視(PDP)等應(yīng)用逐行掃描格式的高清晰度大屏幕顯示器件的出現(xiàn)，傳統(tǒng)的隔行掃描技術(shù)因其固有特性而無法消除損壞圖象質(zhì)量的現(xiàn)象，已不能滿足人們的當(dāng)前需要。因此，在隔行、逐行掃描技術(shù)并存的過渡階段，視頻信號在不同傳輸與顯示設(shè)備間的格式轉(zhuǎn)換有著廣泛的需求。
去隔行處理技術(shù)是視頻信號格式轉(zhuǎn)換過程中不可或缺的部分，它能夠顯著提高圖像清晰度、改善圖像閃爍和爬行現(xiàn)象，從而有效的提高圖像質(zhì)量。早期的去隔行處理主要是采用運動自適應(yīng)方法，其特點是硬件實現(xiàn)簡單，運算量小，且具有較好的效果，因此廣泛應(yīng)用于需要實時處理的數(shù)字電視等領(lǐng)域。但運動自適應(yīng)去隔行方法也具有檢測精度不高、對清晰度影響大和易造成運動圖像模糊等缺點。特別對于具有大幅運動模式的圖像，運動自適應(yīng)的去隔行方法會顯著降低圖像清晰度。
與運動自適應(yīng)的去隔行方法相比，運動補(bǔ)償?shù)娜ジ粜蟹椒苓_(dá)到更好的圖像效果，特別是對于運動圖像可較好的抑制圖像失真，保持圖像清晰度。但是，運動補(bǔ)償去隔行方法運算復(fù)雜，需要較多的存儲器以及運算單元，因此硬件成本高，實時處理困難。因此運動補(bǔ)償去隔行方法在實時視頻處理系統(tǒng)中的應(yīng)用仍然受到諸多限制，在成本競爭激烈的消費類電子市場并未成為主流。


發(fā)明內(nèi)容
針對運動補(bǔ)償?shù)娜ジ粜蟹椒ù嬖诘膯栴}，本發(fā)明的目的在于，提供一種運算和硬件成本低，卻能顯著提高圖像主觀清晰度的運動補(bǔ)償輔助運動自適應(yīng)的去隔行方法，可在主觀視覺效果上接近于運動補(bǔ)償去隔行的整體效果，且能有效的降低硬件復(fù)雜度，使其硬件復(fù)雜度接近運動自適應(yīng)方法，從而廣泛應(yīng)用于需要實時處理的消費類電子領(lǐng)域。
為達(dá)到以上目的，本發(fā)明是采取如下技術(shù)方案予以實現(xiàn)的 一種運動補(bǔ)償輔助運動自適應(yīng)的去隔行方法，其特征在于，包括下述步驟 步驟1在當(dāng)前待插場fn的同極性前兩場fn-2中查找水平運動向量；在當(dāng)前待插場fn的非同極性前一場fn-1中查找垂直運動向量；將當(dāng)前待插場整幅圖像分成多個4×8的運動估計塊；將前一場fn-1作為參考場，求得當(dāng)前待插場運動估計塊MotionBlock與前一場fn-1中的各運動塊差值的絕對值的和F_SAD4×8；將前兩場fn-2作為參考場，求得當(dāng)前待插場運動估計塊MotionBlock與前兩場fn-2中的各運動塊差值的絕對值的和FF_SAD4×8； 步驟2分別比較所有的F_SAD4×8(v，h)和所有的FF_SAD4×8(v，h)，求出最小的值F_SADmin(v，h)和FF_SADmin(v，h)，并得到相應(yīng)的最相關(guān)的運動向量Vectors_Fmin(v，h)和Vectors_FFmin(v，h)；對運動估計信息最小的值F_SADmin(v，h)與FF_SADmin(v，h)再進(jìn)行比較，選出較小的一個，作為下式表示的運動估計信息及其相應(yīng)的運動向量 SADmin＝min(F_SADmin(v，h)，F(xiàn)F_SADmin(v，h)) Vectorsmin(v，h)＝min(Vectors_Fmin(v，h)，Vectors_Fmin(v，h))； 步驟3根據(jù)人眼視覺特性，對具有不同運動特性的場景，進(jìn)行不同的去隔行處理 對步驟2得出的運動估計信息SADmin(v，h)與快速運動閾值MCThreshold進(jìn)行比較； 若SADmin(v，h)>MCThreshold，說明該運動為快速運動，用運動補(bǔ)償去隔行方法會造成圖像較嚴(yán)重失真，因此采用運動自適應(yīng)去隔行方法；若SADmin(v，h)<MCThreshold，說明該運動為慢速運動且運動估計向量準(zhǔn)確，采用運動補(bǔ)償去隔行方法，運動補(bǔ)償去隔行方法中，對當(dāng)前場的待求像素點的運算包括對水平運動和垂直運動兩種運動向量分別進(jìn)行處理 當(dāng)FF_SADmin(v，h)<F_SADmin(v，h)，則運動估計向量為水平運動向量，進(jìn)行水平運動補(bǔ)償運算 當(dāng)FF_SADmin(v，h)>F_SADmin(v，h)，則運動估計向量為帶有垂直運動的向量，進(jìn)行含垂直運動的補(bǔ)償運算 定義以fn(i，j)為中心的3×9的參考矩陣Matrix03×9，和9×9的亞像素點矩陣MatrixA9×9； 根據(jù)亞像素點矩陣MatrixA9×9得到三個3×9矩陣A，B，C，分別為 矩陣A為MatrixA9×9的2，4，6行；矩陣B為MatrixA9×9的3，5，7行；矩陣C為MatrixA9×9的4，6，8行； 將A，B，C與參考矩陣Matrix03×9對應(yīng)的像素點的差值的絕對值的和cos A，cos B，cos C進(jìn)行比較，求出最相關(guān)的矩陣，及其最相關(guān)運動估計向量，分三種情況求出待插點 若costA為最小值，則 fn(i，j)＝fn-1(i+VectorX，j+VectorY) 若costB為最小值，則 若costC為最小值，則 上述方法中，所述步驟3的水平運動補(bǔ)償運算，包括對變速和復(fù)雜運動物體失真保護(hù)算法，在運動補(bǔ)償插值的過程中，為了防止變速運動造成的圖像失真問題，引入變速運動判斷參數(shù) 用該參數(shù)與變速運動閾值進(jìn)行比較，來完成對水平變速運動場景的運動向量誤判保護(hù)功能，若ncost(i，j)>AFThreshold，則應(yīng)用運動自適應(yīng)插值方法來防止變速運動中的運動向量的誤判，其中AFThreshold為變速運動閾值。
本發(fā)明上述方法中通用的數(shù)字標(biāo)識說明函數(shù)f均代表圖像的亮度信息；fn表示第n場(當(dāng)前待插場)的亮度信息；fn-1表示第n-1場(前一場)的亮度信息；fn-2表示第n-2場(前兩場)的亮度信息；fn+1表示第n+1場(后一場)的亮度信息；(i，j)表示圖像中第i行，第j列的像素點的空間位置；fn(i，j)表示位于第n場，即當(dāng)前場的(i，j)處采樣象素點的亮度值。
本發(fā)明針對人眼視覺系統(tǒng)對慢速運動分辨率高且較為敏感的特性，對慢速運動的物體進(jìn)行基于運動估計的運動補(bǔ)償處理，對人眼不敏感的快速運動物體進(jìn)行硬件實現(xiàn)較簡單的運動自適應(yīng)去隔行處理；由于運動補(bǔ)償算法只集中處理慢速運動物體，本發(fā)明可大幅降低算法的運算復(fù)雜度以及相應(yīng)的硬件設(shè)計成本。同時，本發(fā)明在分析隔行視頻采樣特性的基礎(chǔ)上，對經(jīng)典運動補(bǔ)償算法進(jìn)行優(yōu)化，提出在不同極性場內(nèi)查找水平和垂直運動向量，并針對隔行圖像在隔行采樣過程中對垂直方向清晰度影響嚴(yán)重的致命弱點，提出亞像素補(bǔ)償方法提高圖像垂直方向清晰度；針對傳統(tǒng)多場運動補(bǔ)償去隔行算法容易造成變速和復(fù)雜運動的失真問題，提出一種變速運動失真保護(hù)方法，在復(fù)雜運動場景中靈活的使用運動自適應(yīng)去隔行方法取代運動補(bǔ)償去隔行。此外還兼顧了邊緣保護(hù)和運動斜邊保護(hù)的性能，同時具有抑止噪聲能力和較高的穩(wěn)定性。



圖1為本發(fā)明的去隔行方法的步驟框圖。
圖2為本發(fā)明中的不同極性場運動估計示意圖。其中圖2(a)為水平方向極性場運動估計；圖2(b)為豎直方向極性場運動估計；圖中○原像素點，△待插值像素點。
圖3為圖1中防止變速運動失真的運動估計算法示意框圖。
圖4為圖1中提高垂直方向分辨率算法示意框圖。

具體實施例方式 如圖1所示，本發(fā)明運動補(bǔ)償輔助運動自適應(yīng)去隔行方法包括 步驟1在當(dāng)前待插場fn的同極性場fn-2中查找水平運動向量；在當(dāng)前待插場fn的相異極性場fn-1中查找垂直運動向量，如圖2所示。由于本發(fā)明中的運動補(bǔ)償去隔行僅處理人眼較為敏感的慢速運動物體，所以運動向量的查找區(qū)域與傳統(tǒng)運動估計相比要小得多，較為合理的取值范圍是水平24個像素點和垂直7個像素點。
步驟1.1將當(dāng)前場整幅圖像依據(jù)不同制式分成10800(NTSC制)個或者12960個(PAL制)4×8的運動估計塊， 假設(shè)在當(dāng)前場fn內(nèi)待插點fn(i，j)位于(i，j)處，位于運動估計塊MotionBlock4×8(v，h)，即第v行，第h列的運動估計塊。定義該待測運動估計塊MotionBlock4×8(v，h)為 其中，(v，h)為當(dāng)前待測塊的坐標(biāo)，(4v，4h)即為該塊的左上角坐標(biāo)值 步驟1.2求得當(dāng)前待測像素點所在的運動估計塊MotionBlock4×8(v，h)與參考場中的各運動塊差值的絕對值的和F_SAD4×8(v，h，refv，refh)(將前一場fn-1作為參考場)和FF_SAD4×8(v，h，refv，refh)(將前兩場fn-2作為參考場)，其中 (refv，refh)為上一場匹配塊的坐標(biāo)，(4refv，4refh)即為該塊的左上角坐標(biāo)值。
步驟2分別比較待測運動估計塊MotionBlock所有的F_SAD4×8(v，h)和所有的FF_SAD4×8(v，h)，求出最小的F_SADmin(v，h)和FF_SADmin(v，h)，并得到相應(yīng)的最相關(guān)的運動向量Vectors_Fmin(v，h)和Vectors_FFmin(v，h)。
步驟2.1對運動估計信息F_SADmin(v，h)與FF_SADmin(v，h)進(jìn)行比較，選出較小的一個，作為運動估計信息，及其相應(yīng)的運動向量為 SADmin＝min(F_SADmin(v，h)，F(xiàn)F_SADmin(v，h)) Vectorsmin(v，h)＝min(Vectors_Fmin(v，h)，Vectors_Fmin(v，h)) 步驟3根據(jù)人眼視覺特性，對具有不同運動特性的場景，進(jìn)行不同的去隔行處理。對SADmin(v，h)與快速運動閾值MCThreshold進(jìn)行比較，判斷待插點所處圖像塊的運動是否為快速運動。
若SADmin(v，h)>MCThreshold，說明該塊的運動為快速運動，用運動補(bǔ)償去隔行方法會造成圖像較嚴(yán)重失真，不應(yīng)使用運動補(bǔ)償去隔行，因而采用運動自適應(yīng)去隔行方法計算待插值點； 若SADmin(v，h)<MCThreshold，說明該塊的運動為慢速運動且運動估計向量準(zhǔn)確，采用運動補(bǔ)償去隔行方法。運動補(bǔ)償去隔行方法中，對當(dāng)前場的待求像素點的運算對水平運動和垂直運動兩種運動向量分別處理 情況一當(dāng)FF_SADmin(v，h)<F_SADmin(v，h)，則運動估計向量為水平運動向量，進(jìn)行水平運動補(bǔ)償運算(圖1中左邊的步驟3.1) 式中VectorX為水平運動估計向量，VectorY為垂直運動估計向量 情況二當(dāng)FF_SADmin(v，h)>F_SADmin(v，h)，則運動估計向量為帶有垂直運動的向量，進(jìn)行含垂直運動的補(bǔ)償運算(圖1中右邊的步驟3.1~3.3，圖4)。在垂直方向，由于隔行采樣造成的清晰度下降問題，本發(fā)明引采用垂直方向亞像素概運動補(bǔ)償?shù)姆椒?，使得豎直方向的運動估計更加準(zhǔn)確，提高垂直方向清晰度。
步驟3.1(SADmin(v，h)<MCThreshold) 定義3×9的參考矩陣Matrix03×9 定義亞像素點矩陣MatrixA9×9，即在原兩行像素點之間加入一行亞像素點。其中MatrixA9×9奇數(shù)行，即第1、3、5、7、9行定義如下 第1行 MatrixA9×9(1，)＝[fn-1(i-2+VectorY，j-4+VectorX)…fn-1(i-2+VectorY，j+4+VectorX)](6) 第3行 MatrixA9×9(3，)＝[fn-1(i-1+VectorY，j-4+VectorX)…fn-1(i-1+VectorY，j+4+VectorX)] (7) 第5行 MatrixA9×9(5，)＝[fn-1(i+VectorY，j-4+VectorX)…fn-1(i+VectorY，j+4+VectorX)] (8) 第7行 MatrixA9×9(7，)＝[fn-1(i+1+VectorY，j-4+VectorX)…fn-1(i+1+VectorY，j+4+VectorX)](9) 第9行 MatrixA9×9(9，)＝[fn-1(i+2+VectorY，j-4+VectorX)…fn-1(i+2+VectorY，j+4+VectorX)](10) MatrixA9×9偶數(shù)行i＝2，4，6，8為 (11) 步驟3.2定義3x9矩陣A為MatrixA9×9的2，4，6行；定義3x9矩陣B為MatrixA9×9的3，5，7行；定義3 x 9矩陣C為MatrixA9×9的4，6，8行； 步驟3.3求矩陣Matrix03×9與矩陣A對應(yīng)像素點的差的絕對值的和，定義為 求矩陣Matrix03×9與矩陣B對應(yīng)像素點的差的絕對值的和，定義為 求矩陣Matrix03×9與矩陣C對應(yīng)像素點的差的絕對值的和，定義為 求出costA，costB，costC中的最小值 若costA為最小值 fn(i，j)＝fn-1(i+VectorX，j+VectorY)(15) 若costB為最小值 (16) 若costC為最小值(17) 由于在多場運動估計中，對變速和復(fù)雜運動物體的處理容易造成圖像的嚴(yán)重失真，因此本發(fā)明步驟3中加入了對變速和復(fù)雜運動失真保護(hù)算法(圖1中左邊的步驟3.1~3.3，圖3)。
步驟3.2在運動補(bǔ)償插值的過程中，為了防止變速運動造成的圖像失真問題，引入變速運動判斷參數(shù) 比較變速運動判斷參數(shù)(ncost(i，j))與變速運動閾值(AFThreshold)的大小 若ncost(i，j)>AFThreshold，則應(yīng)用運動自適應(yīng)插值方法來防止變速復(fù)雜運動補(bǔ)償所導(dǎo)致的圖像失真(步驟3.3)。
若ncost(i，j)<AFThreshold，則直接用運動補(bǔ)償插值算法求得插值點。
其中參數(shù)ncost(i，j)是用來防止全局的水平變速運動造成的錯誤的運動估計矢量，當(dāng)ncost(i，j)>AFThreshold說明從fn-1到fn和從fn到fn+1運動的速度差別較大，會造成較大的運動估計誤差，應(yīng)用運動自適應(yīng)去隔行算法進(jìn)行處理，避免變速運動場景造成的圖像失真問題；當(dāng)ncost(i，j)<AFThreshold說明從fn-1到fn和從fn到fn+1運動的速度差別不大，可近似認(rèn)為是剛體勻速運動，得到的運動估計向量較準(zhǔn)確，適合用運動補(bǔ)償?shù)姆椒ㄟM(jìn)行去隔行處理。
根據(jù)步驟2中求得的運動估計出的最相關(guān)的運動向量(VectorX，VectorY)和參考場fn-1(i，j)，得到當(dāng)前場中通過運動補(bǔ)償?shù)玫降牟逯迭c fn(i，j)＝fn-1(i+VectorX，j+VectorY) (19) 本發(fā)明提出的方法基于人眼的視覺特性，有效利用優(yōu)化的運動補(bǔ)償算法輔助運動自適應(yīng)方法完成去隔行處理。本方法中的運動補(bǔ)償方法集中處理人眼敏感區(qū)域，從而達(dá)到以較小的運算量和硬件成本顯著提高視頻圖像主觀清晰度的效果。同時，本算法提出的運動補(bǔ)償方法，針對隔行視頻的運動估計進(jìn)行算法優(yōu)化，能有效提高圖像質(zhì)量，并抑制由變速和復(fù)雜運動引起的圖像失真。
權(quán)利要求
1、一種運動補(bǔ)償輔助運動自適應(yīng)的去隔行方法，其特征在于，包括下述步驟
步驟1在當(dāng)前待插場fn的同極性前兩場fn-2中查找水平運動向量；在當(dāng)前待插場fn的非同極性前一場fn-1中查找垂直運動向量；將當(dāng)前待插場整幅圖像分成多個4×8的運動估計塊；將前一場fn-1作為參考場，求得當(dāng)前待插場運動估計塊MotionBlock與前一場fn-1中的各運動塊差值的絕對值的和F_SAD4×8；將前兩場fn-2作為參考場，求得當(dāng)前待插場運動估計塊MotionBlock與前兩場fn-2中的各運動塊差值的絕對值的和FF_SAD4×8；
步驟2分別比較所有的F_SAD4×8(v，h)和所有的FF_SAD4×8(v，h)，求出最小的值F_SADmin(v，h)和FF_SADmin(v，h)，并得到相應(yīng)的最相關(guān)的運動向量Vectors_Fmin(v，h)和Vectors_FFmin(v，h)；對運動估計信息最小的值F_SADmin(v，h)與FF_SADmin(v，h)再進(jìn)行比較，選出較小的一個，作為下式表示的運動估計信息及其相應(yīng)的運動向量
SADmin＝min(F_SADmin(v，h)，F(xiàn)F_SADmin(v，h))
Vectorsmin(v，h)＝min(Vectors_Fmin(v，h)，Vectors_Fmin(v，h))；
步驟3根據(jù)人眼視覺特性，對具有不同運動特性的場景，進(jìn)行不同的去隔行處理
對步驟2得出的運動估計信息SADmin(v，h)與快速運動閾值MCThreshold進(jìn)行比較；
若SADmin(v，h)>MCThreshold，說明該運動為快速運動，用運動補(bǔ)償去隔行方法會造成圖像較嚴(yán)重失真，因此采用運動自適應(yīng)去隔行方法；若SADmin(v，h)<MCThreshold，說明該運動為慢速運動且運動估計向量準(zhǔn)確，采用運動補(bǔ)償去隔行方法，運動補(bǔ)償去隔行方法中，對當(dāng)前場的待求像素點的運算包括對水平運動和垂直運動兩種運動向量分別進(jìn)行處理
當(dāng)FF_SADmin(v，h)<F_SADmin(v，h)，則運動估計向量為水平運動向量，進(jìn)行水平運動補(bǔ)償運算
當(dāng)FF_SADmin(v，h)>F_SADmin(v，h)，則運動估計向量為帶有垂直運動的向量，進(jìn)行含垂直運動的補(bǔ)償運算
定義以fn(i，j)為中心的3×9的參考矩陣Matrix03×9，和9×9的亞像素點矩陣MatrixA9×9；
根據(jù)亞像素點矩陣MatrixA9×9得到三個3×9矩陣A，B，C，分別為
矩陣A為MatrixA9×9的2，4，6行；矩陣B為MatrixA9×9的3，5，7行；矩陣C為MatrixA9×9的4，6，8行；
將A，B，C與參考矩陣Matrix03×9對應(yīng)的像素點的差值的絕對值的和cosA，cosB，cosC進(jìn)行比較，求出最相關(guān)的矩陣，及其最相關(guān)運動估計向量，分三種情況求出待插點
若costA為最小值，則
fn(i，j)＝fn-1(i+VectorX，j+VectorY)
若costB為最小值，則
若costC為最小值，則
2、如權(quán)利要求1所述的運動補(bǔ)償輔助運動自適應(yīng)的去隔行方法，其特征在于，所述步驟3的水平運動補(bǔ)償運算，包括對變速和復(fù)雜運動物體失真保護(hù)算法，在運動補(bǔ)償插值的過程中，為了防止變速運動造成的圖像失真問題，引入變速運動判斷參數(shù)
用該參數(shù)與變速運動閾值進(jìn)行比較，來完成對水平變速運動場景的運動向量誤判保護(hù)功能，若ncost(i，j)>AFThreshold，則應(yīng)用運動自適應(yīng)插值方法來防止變速運動中的運動向量的誤判，其中AFThreshold為變速運動閾值。
全文摘要
本發(fā)明公開了一種運動補(bǔ)償輔助運動自適應(yīng)的去隔行方法，針對人眼視覺系統(tǒng)對慢速運動分辨率高且較為敏感的特性，對慢速運動的物體進(jìn)行基于運動估計的運動補(bǔ)償處理，對人眼不敏感的高速運動物體進(jìn)行硬件實現(xiàn)較簡單的運動自適應(yīng)去隔行處理；由于運動補(bǔ)償算法只集中處理慢速運動物體，本發(fā)明可大幅降低算法的運算復(fù)雜度以及相應(yīng)的硬件設(shè)計成本。同時，本發(fā)明在分析隔行視頻采樣特性的基礎(chǔ)上，對經(jīng)典運動補(bǔ)償算法進(jìn)行優(yōu)化，提出在不同極性場內(nèi)查找水平和垂直運動向量，并針對隔行圖像在在隔行采樣過程中對垂直方向清晰度影響嚴(yán)重的致命弱點，提出亞像素補(bǔ)償方法提高圖像垂直方向清晰度。
文檔編號H04N5/44GK101510985SQ20091002130
公開日2009年8月19日 申請日期2009年2月27日 優(yōu)先權(quán)日2009年2月27日
發(fā)明者孫宏濱, 鄭南寧, 葛晨陽, 亮 羅, 盧開芳, 超 張 申請人:西安交通大學(xué)