專利名稱：采用運(yùn)動(dòng)檢測(cè)和自適應(yīng)加權(quán)濾波的去隔行方法
技術(shù)領(lǐng)域：
本發(fā)明屬于數(shù)字電視集成電路視頻處理領(lǐng)域，具體講是涉及采用運(yùn)動(dòng)檢測(cè)和自適應(yīng)加權(quán)濾波的去隔行方法。
背景技術(shù)：
早期的電視由于技術(shù)水平的限制，基于視頻傳輸帶寬和畫質(zhì)的折中考慮，采用隔行掃描的方式，使每幅畫面的信息總量減為原來(lái)的一半，而人眼視覺(jué)暫留效應(yīng)使得觀看到的兩場(chǎng)圖像模糊成一幀圖像，從而得到了相對(duì)平滑的視覺(jué)效果。但是隨著大屏幕電視以及高清晰電視的逐步實(shí)用化，由隔行掃描所帶來(lái)的行間閃爍，場(chǎng)間閃爍以及爬行現(xiàn)象越來(lái)越明顯，從而導(dǎo)致圖像質(zhì)量的下降。為了抑制和消除傳統(tǒng)電視的缺陷，隔行轉(zhuǎn)逐行技術(shù)得到廣泛的研究。
去隔行處理是從隔行掃描到逐行掃描的格式變換處理。其基本原理是根據(jù)像素在時(shí)間和空間上的相關(guān)性，通過(guò)數(shù)字處理的方法生成空缺位置的像素點(diǎn)(插補(bǔ)像素)，連同原始像素，重構(gòu)整個(gè)幀圖像。它可以有效地提高畫面的垂直清晰度，消除行間閃爍和爬行現(xiàn)象，在很大程度上改善電視圖像的顯示效果。
去隔行方案，主要可以分為線性算法、非線性算法、運(yùn)動(dòng)自適應(yīng)算法和運(yùn)動(dòng)補(bǔ)償算法。線性算法主要有行復(fù)制、行平均、場(chǎng)復(fù)制、場(chǎng)平均等。場(chǎng)內(nèi)濾波會(huì)帶來(lái)垂直清晰度的降低，場(chǎng)間濾波會(huì)導(dǎo)致運(yùn)動(dòng)模糊和運(yùn)動(dòng)鋸齒，因此，無(wú)法在運(yùn)動(dòng)和靜止的兩種情況下都獲得較理想的去隔行效果。非線性算法主要有邊沿保護(hù)插值去隔行算法、中值濾波等算法。它的主要缺點(diǎn)是會(huì)降低垂直清晰度，引起圖像模糊，但是很強(qiáng)的適應(yīng)性和很低的硬件成本使它運(yùn)用非常廣泛。運(yùn)動(dòng)自適應(yīng)算法是根據(jù)運(yùn)動(dòng)信息來(lái)調(diào)整去隔行策略，在不同的區(qū)域采用適合該區(qū)域的算法，它可以消除運(yùn)動(dòng)鋸齒，提高圖像的垂直清晰度，但是需要逐點(diǎn)運(yùn)動(dòng)檢測(cè)，受噪聲影響太大，使得運(yùn)動(dòng)檢測(cè)不準(zhǔn)。運(yùn)動(dòng)補(bǔ)償算法是通過(guò)對(duì)圖像進(jìn)行運(yùn)動(dòng)估計(jì)(如塊匹配，光流法等)，求得運(yùn)動(dòng)位移矢量，在運(yùn)動(dòng)軌跡上進(jìn)行插值。由這種方法還原出的圖像能夠很好地保持原圖象的垂直清晰度，但是它要求估算出的運(yùn)動(dòng)矢量必須準(zhǔn)確可靠，消耗硬件資源較大，硬件實(shí)現(xiàn)復(fù)雜度高，因此在實(shí)際應(yīng)用中采用的較少。

發(fā)明內(nèi)容
雖然在眾多去隔行算法中，運(yùn)動(dòng)自適應(yīng)算法的轉(zhuǎn)換效果并不是最優(yōu)的，且由于一些最優(yōu)算法的芯片實(shí)現(xiàn)往往需要很高的代價(jià)。為克服現(xiàn)有技術(shù)的前述不足，本發(fā)明的目的是提供一種采用運(yùn)動(dòng)檢測(cè)和自適應(yīng)加權(quán)濾波的去隔行裝置和方法，彌補(bǔ)和消除運(yùn)動(dòng)自適應(yīng)算法受噪聲影響大和運(yùn)動(dòng)檢測(cè)不準(zhǔn)的缺點(diǎn)，以及運(yùn)動(dòng)補(bǔ)償算法硬件實(shí)現(xiàn)復(fù)雜度高的缺點(diǎn)，既可以保持圖像的空間特性又可以保持圖像的垂直細(xì)節(jié)，同時(shí)不需要進(jìn)行準(zhǔn)確的運(yùn)動(dòng)信息估算，可以改善去隔行效果，大大降低硬件設(shè)計(jì)的復(fù)雜度，提高設(shè)計(jì)的可靠性，易于硬件實(shí)現(xiàn)。
本發(fā)明采用的技術(shù)方案是，一種采用運(yùn)動(dòng)檢測(cè)和自適應(yīng)加權(quán)濾波的去隔行方法，依次包括下列步驟將圖像信號(hào)的先前場(chǎng)、當(dāng)前場(chǎng)和后續(xù)場(chǎng)濾波降噪后按特定格式預(yù)先存放在SDRAM里，在基于當(dāng)前場(chǎng)中待插值的像素計(jì)算先前場(chǎng)的像素和后續(xù)場(chǎng)的像素間的運(yùn)動(dòng)等級(jí)后計(jì)算用于混合的運(yùn)動(dòng)信息權(quán)值；檢測(cè)包含在要插入當(dāng)前場(chǎng)的像素所相鄰的像素值中的方向數(shù)據(jù)，按照方向數(shù)據(jù)使用相鄰像素值計(jì)算第一個(gè)插值；通過(guò)取待插值像素對(duì)應(yīng)的先前場(chǎng)的像素和后續(xù)場(chǎng)的像素及當(dāng)前場(chǎng)的相鄰像素值來(lái)計(jì)算第二個(gè)插值；通過(guò)使用查表后的用于混合的運(yùn)動(dòng)信息權(quán)值來(lái)混合第一個(gè)和第二個(gè)插值，輸出混合值。
其中，用于權(quán)值計(jì)算的方法包括通過(guò)一預(yù)定搜索區(qū)域，計(jì)算要插入當(dāng)前場(chǎng)的像素對(duì)應(yīng)的先前場(chǎng)和后續(xù)場(chǎng)之間的絕對(duì)差值的和，基于此值確定該預(yù)定搜索區(qū)域的運(yùn)動(dòng)等級(jí)的運(yùn)動(dòng)信息值；將運(yùn)動(dòng)等級(jí)值與預(yù)定的兩個(gè)閾值比較，從查找表中確定運(yùn)動(dòng)權(quán)值系數(shù)。
該搜索區(qū)域是具有預(yù)定大小的塊，以當(dāng)前場(chǎng)代插補(bǔ)像素第i行第j列P(i，j，n)為中心，在先前場(chǎng)和后續(xù)場(chǎng)找到要插值的像素的對(duì)應(yīng)像素P(i，j，n-1)和P(i，j，n+1)，分別以對(duì)應(yīng)像素P(i，j，n-1)和P(i，j，n+1)為中心，確定搜索區(qū)域單元D，搜索框大小為N×N，N為搜索框點(diǎn)數(shù)，N大于1且為奇數(shù)。
所述的絕對(duì)差值的和的計(jì)算方法包括基于下列公式計(jì)算絕對(duì)差值的和值SAD＝∑{(i，j)∈D}|f(i，j，n-1)-f(i，j，n+1)|其中，D是對(duì)應(yīng)于宏塊內(nèi)的像素(i，j)索引的集合，n代表像素所在的場(chǎng)，SAD為絕對(duì)差值的和。
所述的將運(yùn)動(dòng)等級(jí)值與預(yù)定的兩個(gè)閾值比較，方法包括對(duì)于運(yùn)動(dòng)等級(jí)值的不同值，選擇不同的運(yùn)動(dòng)信息權(quán)值，即建立運(yùn)動(dòng)程度與運(yùn)動(dòng)信息權(quán)值的對(duì)應(yīng)關(guān)系，根據(jù)細(xì)節(jié)豐富程度，進(jìn)行歸一化處理，得到下述運(yùn)動(dòng)信息權(quán)值α 其中th1，th2是兩個(gè)經(jīng)驗(yàn)運(yùn)動(dòng)等級(jí)閾值，且滿足0＜th1＜th2＜255N2，N為搜索框的大小，SAD為對(duì)于運(yùn)動(dòng)等級(jí)值，將這些對(duì)應(yīng)關(guān)系寫入一個(gè)查找表LUT中。
所述的第一個(gè)插值的計(jì)算方法中，檢測(cè)方向數(shù)據(jù)包括對(duì)當(dāng)前場(chǎng)待插入點(diǎn)的空域內(nèi)的五個(gè)方向的變化進(jìn)行估算。每個(gè)方向的每個(gè)像素對(duì)包括來(lái)自分別在所述像素相鄰的上面和下面的掃描線的以插值點(diǎn)為對(duì)稱點(diǎn)的兩個(gè)像素點(diǎn)，為每個(gè)像素對(duì)形成各自的差值，計(jì)算以待插值點(diǎn)為對(duì)稱點(diǎn)的五組像素對(duì)的差值。
所述按照方向數(shù)據(jù)，第一個(gè)方向?yàn)樗鱿袼攸c(diǎn)的垂直方向；第二個(gè)方向?yàn)榕c所述像素點(diǎn)的垂直方向成大約45度角方向；第三個(gè)方向?yàn)榕c所述像素點(diǎn)的垂直方向成大約75度角方向；第四個(gè)方向?yàn)榕c所述像素點(diǎn)的垂直方向成大約135度角方向；
第五個(gè)方向?yàn)榕c所述像素點(diǎn)的垂直方向成大約105度角方向。
按照方向數(shù)據(jù)使用相鄰像素值計(jì)算，即檢測(cè)關(guān)于所述像素的邊緣方向，在所述像素處利用檢測(cè)的邊緣方向執(zhí)行邊緣自適應(yīng)內(nèi)插；以及在所述像素處利用生成的運(yùn)動(dòng)值執(zhí)行運(yùn)動(dòng)自適應(yīng)內(nèi)插，方法包括找出各方向中像素對(duì)的插值最小，即相關(guān)性最大的方向作為插值的主方向，其像素對(duì)的均值和當(dāng)前場(chǎng)對(duì)應(yīng)于待插值像素的相鄰的上下兩個(gè)像素點(diǎn)的值加上先前場(chǎng)和后續(xù)場(chǎng)中對(duì)應(yīng)于待插值點(diǎn)的像素點(diǎn)的值，共五個(gè)值進(jìn)行中值濾波即是第一個(gè)插值的結(jié)果。
所述的第二個(gè)插值的計(jì)算方法中，進(jìn)一步包括取當(dāng)前場(chǎng)待插值點(diǎn)的相鄰的上下兩個(gè)像素點(diǎn)和前一場(chǎng)中與待插值點(diǎn)對(duì)應(yīng)的像素點(diǎn)，共三個(gè)點(diǎn)計(jì)算三點(diǎn)中值濾波插值；取當(dāng)前場(chǎng)待插值點(diǎn)的相鄰的上掃描線的對(duì)應(yīng)點(diǎn)及其左右相鄰兩個(gè)像素點(diǎn)和插值點(diǎn)相鄰的下掃描線的對(duì)應(yīng)點(diǎn)及其左右相鄰兩個(gè)像素點(diǎn)，加上前一場(chǎng)中與待插值點(diǎn)對(duì)應(yīng)的像素點(diǎn)，共七個(gè)點(diǎn)計(jì)算七點(diǎn)中值濾波插值；取當(dāng)前場(chǎng)待插值點(diǎn)的相鄰的上掃描線的對(duì)應(yīng)點(diǎn)和相鄰的下掃描線的對(duì)應(yīng)點(diǎn)，計(jì)算均值；對(duì)三個(gè)插值計(jì)算中值濾波得到第二個(gè)插值。
其中輸出混合值的方法包括根據(jù)絕對(duì)差值的和的值，在查找表中找到運(yùn)動(dòng)信息權(quán)值α后，將經(jīng)混合中值濾波插值(即第二個(gè)插值)結(jié)果乘以運(yùn)動(dòng)信息權(quán)值α；將基于邊緣保持的時(shí)空中值濾波插值，即第一個(gè)插值，結(jié)果乘以(1-α)，取兩者之和作為最終的插值結(jié)果輸出。
本發(fā)明提供的可以帶來(lái)如下效果采用前后場(chǎng)相應(yīng)區(qū)域的絕對(duì)差之和檢測(cè)運(yùn)動(dòng)，采用自適應(yīng)加權(quán)中值濾波插補(bǔ)像素的去隔行方法，彌補(bǔ)和消除了運(yùn)動(dòng)自適應(yīng)算法受噪聲影響大和運(yùn)動(dòng)檢測(cè)不準(zhǔn)的缺點(diǎn)，以及運(yùn)動(dòng)補(bǔ)償算法硬件實(shí)現(xiàn)復(fù)雜度高的缺點(diǎn)，而結(jié)合了上述算法的優(yōu)點(diǎn)，既可以保持圖像的空間特性又可以保持圖像的垂直細(xì)節(jié)，同時(shí)不需要進(jìn)行準(zhǔn)確的運(yùn)動(dòng)信息估算，可以改善去隔行效果，大大降低硬件設(shè)計(jì)的復(fù)雜度，提高設(shè)計(jì)的可靠性，易于硬件實(shí)現(xiàn)。


圖1是去隔行裝置總體實(shí)現(xiàn)架構(gòu)。
圖2是數(shù)據(jù)存儲(chǔ)架構(gòu)。
圖3是權(quán)值計(jì)算單元結(jié)構(gòu)圖。
圖4是基于邊緣保持的時(shí)空中值濾波插值單元結(jié)構(gòu)圖；圖5是混合中值濾波插值單元結(jié)構(gòu)圖。
具體實(shí)施例方式
為更好的說(shuō)明本發(fā)明，首先將各算法詳細(xì)介紹如下1線性濾波算怯最早出現(xiàn)在上世紀(jì)70年代末，具有簡(jiǎn)單易實(shí)現(xiàn)的優(yōu)點(diǎn)，仍在計(jì)算機(jī)圖形顯示領(lǐng)域內(nèi)被廣泛應(yīng)用。其基本思想是，各場(chǎng)中需要補(bǔ)齊的像素點(diǎn)等于它的若干相鄰點(diǎn)的加權(quán)和。用公式表達(dá)為
F0(x,n)=F(x,n),(x2mod2=nmod2)ΣkF1(x+kuy,n+m)h(k,m),(others)(k,m∈{...,-1,0,1,...},(k+m)mod2=1)]]>其中，uy＝(0，Δx2)為垂直方向上的單位向量，h(k，m)為加權(quán)系數(shù)。n＝( ...-2，-1，0，1，2...)為當(dāng)前場(chǎng)的序號(hào)，m為參與當(dāng)前場(chǎng)隔行轉(zhuǎn)逐行運(yùn)算的相鄰場(chǎng)序號(hào)。從上式可以看到，線性濾波的相鄰點(diǎn)包括兩類，即同一場(chǎng)上的相鄰像素(空間相鄰點(diǎn))以及相鄰場(chǎng)上的像素(時(shí)間相鄰點(diǎn))。對(duì)于相鄰點(diǎn)的分類就引出了三種不同的濾波器類型空間濾波(Spatial Filtering)，時(shí)間濾波(Temporal Filtering)，以及時(shí)-空濾波(Spatial-Temporal Filtering)。
1.1空間濾波(Spatial Filtering)所謂空間濾波，就是在求取未知點(diǎn)的時(shí)候只使用同一場(chǎng)內(nèi)相鄰點(diǎn)的信息。最簡(jiǎn)單的空間濾波就是掃描線重復(fù)(Line Repetition)，即一場(chǎng)中未知的像素點(diǎn)直接取它上面相鄰點(diǎn)的值。如果用上述公式的形式來(lái)表示的話，那就是取h(-1，0)＝1，而其它所有的h(k，m)都為0。一種稍微復(fù)雜一點(diǎn)的形式為線平均(Line Averaging)，即未知的像素點(diǎn)等于其上下兩個(gè)相鄰已知的點(diǎn)的值的平均。即h(-1，0)＝h(1，0)＝0.5，而其他所有的h(k，m)都為0?？臻g濾波有一個(gè)共同的特點(diǎn)，即它們?cè)跁r(shí)間頻率方向上是全通的，這說(shuō)明使用空間濾波器不會(huì)造成視頻運(yùn)動(dòng)信息上的損失。但是，由于其頻譜在垂直方向上的低通形狀，使得視頻信號(hào)在垂直方向上的一些高頻分量被抑制，從而降低了圖像在垂直方向上的清晰度。
1.2時(shí)間濾波(Temporal Filtering)與空間濾波正好相反，時(shí)間濾波器就是使用所有相鄰場(chǎng)內(nèi)的點(diǎn)來(lái)求取當(dāng)前場(chǎng)的未知像素。最簡(jiǎn)單的時(shí)間濾波就是場(chǎng)重復(fù)(Field Repetition)，即一場(chǎng)中未知的像素點(diǎn)用上一場(chǎng)對(duì)應(yīng)的已知像素值來(lái)代替。如果用上述公式的形式來(lái)表示的話，我們?nèi)(0，-1)＝1，而其他所有的h(k，m)都為0。如果視頻中沒(méi)有運(yùn)動(dòng)的話，這一濾波器就是最優(yōu)濾波器。
時(shí)間濾波器在垂直方向上是全通的，回此不會(huì)造成圖像垂直清晰度上的損失，但其在時(shí)間頻率上的頻譜的衰降，會(huì)造成視頻運(yùn)動(dòng)信息的損失。
1.3時(shí)空濾波(Spatial-Temporal Filtering)所謂時(shí)空濾波，就是在計(jì)算像素點(diǎn)的值的時(shí)候綜合考慮空間鄰點(diǎn)與時(shí)間鄰點(diǎn)。從理論上說(shuō)，如果視頻信號(hào)滿足采樣定理，即其頻譜沒(méi)有混疊的話，那么使用時(shí)空濾波器就能完美地從隔行信號(hào)恢復(fù)出逐行信號(hào)。一個(gè)常用的時(shí)空濾波器的系數(shù)為18h(k,m)=1,8,8,1,(k=-3,-1,1,3)∩(m=0)-5,10,-5,(k=-2,0,2)∩(m=0)0(others)]]>2.非線性算法根據(jù)上一小節(jié)的討論，我們知道在沒(méi)有運(yùn)動(dòng)的情況下，時(shí)間濾波器的性能最好。而在有運(yùn)動(dòng)，但沒(méi)有過(guò)多的垂直細(xì)節(jié)的情況下，空間濾波的效果最好。為取得更好的效果，在本發(fā)明中將兩者結(jié)合起來(lái)，根據(jù)情況有選擇地使用時(shí)間濾波或空間濾彼。
3.運(yùn)動(dòng)自適應(yīng)算法(Motion-Adaptive Algorithms)運(yùn)動(dòng)自適應(yīng)算法就是根據(jù)上述思想發(fā)展起來(lái)的。顧名思義，運(yùn)動(dòng)自適應(yīng)算法需要一個(gè)檢測(cè)圖像中是否存在運(yùn)動(dòng)的模塊，稱為運(yùn)動(dòng)檢測(cè)模塊(Motion Detector)。其輸入就是視頻信號(hào)的一個(gè)固定區(qū)域，而其輸出則是一個(gè)概率值α，表明該區(qū)域存在運(yùn)動(dòng)的可能性大小。當(dāng)然，它的輸出也可以簡(jiǎn)化為一個(gè)二進(jìn)制的結(jié)果，即有無(wú)運(yùn)動(dòng)。運(yùn)動(dòng)檢測(cè)的算法有許多，在這里只是給出運(yùn)動(dòng)檢測(cè)算法生效所必需滿足的條件◆相對(duì)信號(hào)來(lái)說(shuō)，噪聲必須足夠??；◆信號(hào)中的低頻部分的能量必須大于噪聲與頻率混疊部分。
◆視頻中的物體大小必須大于像素點(diǎn)的大小。
假設(shè)針對(duì)靜止圖像的最優(yōu)濾波器輸出值為fst(x，n)，而針對(duì)活動(dòng)圖像的最優(yōu)濾波器輸出值為fmot(x，n)，而運(yùn)動(dòng)檢測(cè)器給出的結(jié)果，即運(yùn)動(dòng)的概率值為α，則最終的自適應(yīng)濾波器為F0(x,n)=F(x,n),(x2mod2=nmod2)fst(x,n)(1-α)+fmot(x,n)α,(others)]]>由上式可見(jiàn)，當(dāng)檢測(cè)出運(yùn)動(dòng)的可能性恨大時(shí)，結(jié)果將會(huì)傾向于采用運(yùn)動(dòng)最優(yōu)濾波器，反之則會(huì)傾向于靜止最優(yōu)濾波器，從而達(dá)到了自適應(yīng)的目的。
4.中值濾波算法(Median Filtering Algorithms)在所有的非線性算法中，中值濾波算法因其實(shí)現(xiàn)簡(jiǎn)單而成為很受歡迎的一種算法。它的計(jì)算公式如下F0(x,n)=F(x,n),(x2mod2=nmod2)med(F(x-ux2,n),F(x+ux2,n),F(x,n-1)),(others)]]>其中中值函數(shù)med(A，B，C)定義為med(A,B,C)=A,(B<A<C)∩(C<A<B)B,(A≤B≤C)∩(C≤B≤A)C,(others)]]>中值濾波算法實(shí)質(zhì)上包含著運(yùn)動(dòng)自適應(yīng)的思想、這是因?yàn)槿绻麍D像區(qū)域是靜止的，則F(x，n-1)的值很有可能處在當(dāng)前場(chǎng)上下兩個(gè)像素點(diǎn)值的中間，此時(shí)根據(jù)中值函數(shù)的定義，F(xiàn)0(x，n)直接等于F(x，n-1)；反之，若圖像區(qū)域存在運(yùn)動(dòng)，則前后兩場(chǎng)之間的變化會(huì)較大，導(dǎo)致F(x，n-1)與處在當(dāng)前場(chǎng)的F(x-ux2，n)和F(x+ux2，n)差較遠(yuǎn)。此時(shí)，通過(guò)中值函數(shù)，最后相當(dāng)于切換到場(chǎng)平均濾波。
主要符號(hào)說(shuō)明P(i，j，n)在第n場(chǎng)內(nèi)坐標(biāo)為(i，j)的像素點(diǎn)；f(i，j，n)在第n場(chǎng)內(nèi)坐標(biāo)為(i，j)的像素點(diǎn)的值；D預(yù)定搜索框區(qū)域中像素點(diǎn)的集合；SAD絕對(duì)差之和；
N搜索框內(nèi)一列像素點(diǎn)的總數(shù)，N＞1；α運(yùn)動(dòng)權(quán)值系數(shù)；th1，th2用于計(jì)算權(quán)值的兩個(gè)預(yù)定經(jīng)驗(yàn)閾值；A經(jīng)基于邊緣保持的時(shí)空中值濾波插值單元計(jì)算后的第一個(gè)插值；B經(jīng)混合中值濾波插值單元計(jì)算后的第二個(gè)插值。
本發(fā)明是主要采用運(yùn)動(dòng)檢測(cè)來(lái)進(jìn)行加權(quán)中值濾波的裝置和方法，達(dá)到快速自適應(yīng)地進(jìn)行各行內(nèi)插像素。附圖1表明了本裝置的總體結(jié)構(gòu)圖。
人眼對(duì)亮度信號(hào)的細(xì)節(jié)比較敏感，而對(duì)色度信號(hào)的細(xì)節(jié)并不敏感。根據(jù)此特性，數(shù)字視頻信號(hào)多采用YUV 4:2:2的格式(即亮色分離，色度信號(hào)的信息量?jī)H為亮度信號(hào)的一半)。在去隔行模塊的設(shè)計(jì)過(guò)程中，我們也考慮了此方面的問(wèn)題對(duì)Y信號(hào)做運(yùn)動(dòng)自適應(yīng)算法處理，得到細(xì)節(jié)豐富的亮度圖像；而對(duì)U、V信號(hào)只做簡(jiǎn)單的行復(fù)制算法處理，得到垂直細(xì)節(jié)有損失的色度圖像。這樣可以顯著降低去隔行處理的運(yùn)算量，大幅節(jié)省該模塊的硬件開(kāi)銷，同時(shí)得到主觀效果幾乎一致的完美逐行圖像。實(shí)施方法如下步驟1如圖2所示，將順序輸入的視頻前一場(chǎng)、當(dāng)前場(chǎng)和下一場(chǎng)數(shù)據(jù)，以行為單位，存入SDRAM相應(yīng)的邏輯行中，通過(guò)總線管理器將SDRAM中前一場(chǎng)、當(dāng)前場(chǎng)和下一場(chǎng)相應(yīng)行的數(shù)據(jù)取出并暫存到片內(nèi)RAM中，ram1、ram2和ram3在輸出數(shù)據(jù)時(shí)，同時(shí)存入ram1a、ram2a和ram3a中，而此時(shí)存入ram1、ram2和ram3中數(shù)據(jù)為新行的數(shù)據(jù)，這樣最終實(shí)現(xiàn)ram1和ram1a、ram2和ram2a、ram3和ram3a同時(shí)輸出前一場(chǎng)、當(dāng)前場(chǎng)和下一場(chǎng)中相鄰的兩行數(shù)據(jù)，以供核心算法部分的運(yùn)算。
步驟2如圖3所示，從搜索框的左邊開(kāi)始，按列一次取先前場(chǎng)內(nèi)預(yù)定搜索框中的像素點(diǎn)的值和后續(xù)場(chǎng)內(nèi)對(duì)應(yīng)的像素點(diǎn)的值，存入數(shù)據(jù)緩存器中。依照以下公式計(jì)算幾組相應(yīng)像素對(duì)的絕對(duì)插值的和SAD＝∑{(i，j)∈D}|f(i，j，n-1)-f(i，j，n+1)|即先取先前場(chǎng)內(nèi)位于 列的N個(gè)像素點(diǎn)和后續(xù)場(chǎng)內(nèi)位于 列的N個(gè)像素點(diǎn)，將2N個(gè)像素點(diǎn)按對(duì)應(yīng)位置組成N個(gè)像素點(diǎn)對(duì)，經(jīng)列SAD計(jì)算單元分別做差，計(jì)算絕對(duì)插值的和，并保存在列SAD緩存中。
取值遍歷整個(gè)預(yù)定搜索框后，將所得的列SAD緩存中的絕對(duì)差值和經(jīng)搜索區(qū)SAD計(jì)算單元相加即為整個(gè)搜索區(qū)域的絕對(duì)差值的和SAD。
根據(jù)運(yùn)動(dòng)自適應(yīng)算法，計(jì)算一行插補(bǔ)像素NY(y，t3)所需的6行原始像素也可以理解為需要1行原始像素和N-1行運(yùn)動(dòng)量。其中，N-1行運(yùn)動(dòng)量是運(yùn)算的中間結(jié)果。另外，像素的數(shù)據(jù)量是8bit而運(yùn)動(dòng)量的數(shù)據(jù)量?jī)H為1bit。所以，我們?cè)谄獯鎯?chǔ)設(shè)備內(nèi)開(kāi)辟一塊較小的空間存儲(chǔ)N-1行運(yùn)動(dòng)量。這樣做不但可以節(jié)省片外存儲(chǔ)設(shè)備的存儲(chǔ)空間，更重要的是運(yùn)動(dòng)量的存儲(chǔ)可以避免不必要的重復(fù)運(yùn)算。在計(jì)算行插補(bǔ)像素時(shí)，所需的N行運(yùn)動(dòng)量有N-1行可以直接從片外存儲(chǔ)設(shè)備讀入，另外的1行運(yùn)動(dòng)量由2行原始像素算出。同時(shí)，新算出的1行運(yùn)動(dòng)量被送往片外存儲(chǔ)設(shè)備，更新對(duì)應(yīng)位置的運(yùn)動(dòng)量數(shù)據(jù)，以備后用。
步驟3如圖3所示，建立運(yùn)動(dòng)程度與運(yùn)動(dòng)權(quán)值的對(duì)應(yīng)關(guān)系，根據(jù)細(xì)節(jié)豐富程度，進(jìn)行歸一化處理，將加權(quán)系數(shù)α按以下公式計(jì)算后存入查找表中 且滿足0＜th1＜th2＜255N2。
將第二步得到的整個(gè)搜索區(qū)域的絕對(duì)差值的和SAD與查找表對(duì)比，找到對(duì)應(yīng)的運(yùn)動(dòng)權(quán)值系數(shù)，存入判決結(jié)果存儲(chǔ)器中。
步驟4計(jì)算第一個(gè)插值A(chǔ)，即基于邊緣保持的時(shí)空中值濾波插值。如圖4所示步驟a、檢測(cè)邊緣方向。
對(duì)當(dāng)前場(chǎng)待插入點(diǎn)的空域內(nèi)的五個(gè)方向的變化進(jìn)行估算。
以待插值像素點(diǎn)為中心，取3×5窗口內(nèi)的像素為原始數(shù)據(jù)，這些像素中隱含著待插值像素點(diǎn)的邊緣信息。將圖像可能的邊緣方向劃分為15°、45°、90°、135°和165°五個(gè)角度，基于這五個(gè)方向檢測(cè)圖像在此處的邊緣情況，即計(jì)算五個(gè)方向的像素對(duì)的絕對(duì)差值，找到絕對(duì)差值的最小方向作為邊緣保持方向。取邊緣保持方向上的像素對(duì)的均值作為定向?yàn)V波的一個(gè)值。
步驟b、將步驟a所得的像素對(duì)的均值加上待插值點(diǎn)在當(dāng)前場(chǎng)相鄰的上下兩個(gè)像素點(diǎn)，先前場(chǎng)和后續(xù)場(chǎng)中的對(duì)應(yīng)點(diǎn)共五個(gè)像素點(diǎn)的值去中值濾波作為第一個(gè)插值的結(jié)果。
5.計(jì)算第二個(gè)插值B，即混合中值濾波插值。如圖5所示步驟a、分別計(jì)算行平均插值、三點(diǎn)中值濾波插值和七點(diǎn)中值濾波的插值。
步驟i、計(jì)算行平均插值。
取待插值點(diǎn)在當(dāng)前場(chǎng)的相鄰的上下兩個(gè)像素點(diǎn)，計(jì)算其均值。
步驟ii、計(jì)算三點(diǎn)中值濾波插值。
取當(dāng)前場(chǎng)待插值點(diǎn)的相鄰的上下兩個(gè)像素點(diǎn)和前一場(chǎng)中與待插值點(diǎn)對(duì)應(yīng)的像素點(diǎn)，共三個(gè)點(diǎn)計(jì)算三點(diǎn)中值濾波插值；步驟iii、計(jì)算七點(diǎn)中值濾波插值。
取當(dāng)前場(chǎng)待插值點(diǎn)的相鄰的上掃描線的對(duì)應(yīng)點(diǎn)及其左右相鄰兩個(gè)像素點(diǎn)和插值點(diǎn)相鄰的下掃描線的對(duì)應(yīng)點(diǎn)及其左右相鄰兩個(gè)像素點(diǎn)，加上前一場(chǎng)中與待插值點(diǎn)對(duì)應(yīng)的像素點(diǎn)，共七個(gè)點(diǎn)計(jì)算七點(diǎn)中值濾波插值；步驟b、計(jì)算混合中值濾波將步驟a中計(jì)算的行平均插值、三點(diǎn)中值濾波插值和七點(diǎn)中值濾波的插值進(jìn)行中值濾波作為混合中值濾波的結(jié)果。
6.輸出插值像素點(diǎn)。將步驟4中所得的第一個(gè)插值和第二個(gè)插值，分別乘上步驟3所得的運(yùn)動(dòng)信息權(quán)值。使用下述公式f(i，j，n)＝(1-α)*A+α*Bf(i，j，n)即是待插值像素點(diǎn)的最終結(jié)果。
權(quán)利要求
1.一種采用運(yùn)動(dòng)檢測(cè)和自適應(yīng)加權(quán)濾波的去隔行方法，其特征是，依次包括下列步驟將圖像信號(hào)的先前場(chǎng)、當(dāng)前場(chǎng)和后續(xù)場(chǎng)濾波降噪后按特定格式預(yù)先存放在SDRAM里，在基于當(dāng)前場(chǎng)中待插值的像素計(jì)算先前場(chǎng)的像素和后續(xù)場(chǎng)的像素間的運(yùn)動(dòng)等級(jí)后計(jì)算用于混合的運(yùn)動(dòng)信息權(quán)值；檢測(cè)包含在要插入當(dāng)前場(chǎng)的像素所相鄰的像素值中的方向數(shù)據(jù)，按照方向數(shù)據(jù)使用相鄰像素值計(jì)算第一個(gè)插值；通過(guò)取待插值像素對(duì)應(yīng)的先前場(chǎng)的像素和后續(xù)場(chǎng)的像素及當(dāng)前場(chǎng)的相鄰像素值來(lái)計(jì)算第二個(gè)插值；通過(guò)使用查表后的用于混合的運(yùn)動(dòng)信息權(quán)值來(lái)混合第一個(gè)和第二個(gè)插值，輸出混合值。
2.根據(jù)權(quán)利要求1所述的一種采用運(yùn)動(dòng)檢測(cè)和自適應(yīng)加權(quán)濾波的去隔行方法，其特征是，用于權(quán)值計(jì)算的方法包括通過(guò)一預(yù)定搜索區(qū)域，計(jì)算要插入當(dāng)前場(chǎng)的像素對(duì)應(yīng)的先前場(chǎng)和后續(xù)場(chǎng)之間的絕對(duì)差值的和，基于此值確定該預(yù)定搜索區(qū)域的運(yùn)動(dòng)等級(jí)的運(yùn)動(dòng)信息值；將運(yùn)動(dòng)等級(jí)值與預(yù)定的兩個(gè)閾值比較，從查找表中確定運(yùn)動(dòng)權(quán)值系數(shù)。
3.根據(jù)權(quán)利要求2所述的一種采用運(yùn)動(dòng)檢測(cè)和自適應(yīng)加權(quán)濾波的去隔行方法，其特征是，該搜索區(qū)域是具有預(yù)定大小的塊，以當(dāng)前場(chǎng)代插補(bǔ)像素第i行第j列P(i，j，n)為中心，在先前場(chǎng)和后續(xù)場(chǎng)找到要插值的像素的對(duì)應(yīng)像素P(i，j，n-1)和P(i，j，n+1)，分別以對(duì)應(yīng)像素P(i，j，n-1)和P(i，j，n+1)為中心，確定搜索區(qū)域單元D，搜索框大小為N×N，N為搜索框點(diǎn)數(shù)，N大于1且為奇數(shù)。
4.根據(jù)權(quán)利要求2所述的一種采用運(yùn)動(dòng)檢測(cè)和自適應(yīng)加權(quán)濾波的去隔行方法，其特征是，所述的絕對(duì)差值的和的計(jì)算方法包括基于下列公式計(jì)算絕對(duì)差值的和值SAD＝∑{(i，j)∈D}|f(i，j，n-1)-f(i，j，n+1)|其中，D是對(duì)應(yīng)于宏塊內(nèi)的像素(i，j)索引的集合，n代表像素所在的場(chǎng)，SAD為絕對(duì)差值的和。
5.根據(jù)權(quán)利要求2所述的一種采用運(yùn)動(dòng)檢測(cè)和自適應(yīng)加權(quán)濾波的去隔行方法，其特征是，所述的將運(yùn)動(dòng)等級(jí)值與預(yù)定的兩個(gè)閾值比較，方法包括對(duì)于運(yùn)動(dòng)等級(jí)值的不同值，選擇不同的運(yùn)動(dòng)信息權(quán)值，即建立運(yùn)動(dòng)程度與運(yùn)動(dòng)信息權(quán)值的對(duì)應(yīng)關(guān)系，根據(jù)細(xì)節(jié)豐富程度，進(jìn)行歸一化處理，得到下述運(yùn)動(dòng)信息權(quán)值α 其中th1，th2是兩個(gè)經(jīng)驗(yàn)運(yùn)動(dòng)等級(jí)閾值，且滿足0＜th1＜th2＜255N2，N為搜索框的大小，SAD為對(duì)于運(yùn)動(dòng)等級(jí)值，將這些對(duì)應(yīng)關(guān)系寫入一個(gè)查找表LUT中。
6.根據(jù)權(quán)利要求1所述的一種采用運(yùn)動(dòng)檢測(cè)和自適應(yīng)加權(quán)濾波的去隔行方法，其特征是，所述的第一個(gè)插值的計(jì)算方法中，檢測(cè)方向數(shù)據(jù)包括對(duì)當(dāng)前場(chǎng)待插入點(diǎn)的空域內(nèi)的五個(gè)方向的變化進(jìn)行估算。每個(gè)方向的每個(gè)像素對(duì)包括來(lái)自分別在所述像素相鄰的上面和下面的掃描線的以插值點(diǎn)為對(duì)稱點(diǎn)的兩個(gè)像素點(diǎn)，為每個(gè)像素對(duì)形成各自的差值，計(jì)算以待插值點(diǎn)為對(duì)稱點(diǎn)的五組像素對(duì)的差值。
7.根據(jù)權(quán)利要求6所述的一種采用運(yùn)動(dòng)檢測(cè)和自適應(yīng)加權(quán)濾波的去隔行方法，其特征是，所述按照方向數(shù)據(jù)，第一個(gè)方向?yàn)樗鱿袼攸c(diǎn)的垂直方向；第二個(gè)方向?yàn)榕c所述像素點(diǎn)的垂直方向成大約45度角方向；第三個(gè)方向?yàn)榕c所述像素點(diǎn)的垂直方向成大約75度角方向；第四個(gè)方向?yàn)榕c所述像素點(diǎn)的垂直方向成大約135度角方向；第五個(gè)方向?yàn)榕c所述像素點(diǎn)的垂直方向成大約105度角方向。
8.根據(jù)權(quán)利要求1所述的一種采用運(yùn)動(dòng)檢測(cè)和自適應(yīng)加權(quán)濾波的去隔行方法，其特征是，按照方向數(shù)據(jù)使用相鄰像素值計(jì)算，即檢測(cè)關(guān)于所述像素的邊緣方向，在所述像素處利用檢測(cè)的邊緣方向執(zhí)行邊緣自適應(yīng)內(nèi)插；以及在所述像素處利用生成的運(yùn)動(dòng)值執(zhí)行運(yùn)動(dòng)自適應(yīng)內(nèi)插，方法包括找出各方向中像素對(duì)的插值最小，即相關(guān)性最大的方向作為插值的主方向，其像素對(duì)的均值和當(dāng)前場(chǎng)對(duì)應(yīng)于待插值像素的相鄰的上下兩個(gè)像素點(diǎn)的值加上先前場(chǎng)和后續(xù)場(chǎng)中對(duì)應(yīng)于待插值點(diǎn)的像素點(diǎn)的值，共五個(gè)值進(jìn)行中值濾波即是第一個(gè)插值的結(jié)果。
9.根據(jù)權(quán)利要求1所述的一種采用運(yùn)動(dòng)檢測(cè)和自適應(yīng)加權(quán)濾波的去隔行方法，其特征是，所述的第二個(gè)插值的計(jì)算方法中，進(jìn)一步包括取當(dāng)前場(chǎng)待插值點(diǎn)的相鄰的上下兩個(gè)像素點(diǎn)和前一場(chǎng)中與待插值點(diǎn)對(duì)應(yīng)的像素點(diǎn)，共三個(gè)點(diǎn)計(jì)算三點(diǎn)中值濾波插值；取當(dāng)前場(chǎng)待插值點(diǎn)的相鄰的上掃描線的對(duì)應(yīng)點(diǎn)及其左右相鄰兩個(gè)像素點(diǎn)和插值點(diǎn)相鄰的下掃描線的對(duì)應(yīng)點(diǎn)及其左右相鄰兩個(gè)像素點(diǎn)，加上前一場(chǎng)中與待插值點(diǎn)對(duì)應(yīng)的像素點(diǎn)，共七個(gè)點(diǎn)計(jì)算七點(diǎn)中值濾波插值；取當(dāng)前場(chǎng)待插值點(diǎn)的相鄰的上掃描線的對(duì)應(yīng)點(diǎn)和相鄰的下掃描線的對(duì)應(yīng)點(diǎn)，計(jì)算均值；對(duì)三個(gè)插值計(jì)算中值濾波得到第二個(gè)插值。
10.根據(jù)權(quán)利要求1所述的一種采用運(yùn)動(dòng)檢測(cè)和自適應(yīng)加權(quán)濾波的去隔行方法，其特征是，其中輸出混合值的方法包括根據(jù)絕對(duì)差值的和的值，在查找表中找到運(yùn)動(dòng)信息權(quán)值α后，將經(jīng)混合中值濾波插值(即第二個(gè)插值)結(jié)果乘以運(yùn)動(dòng)信息權(quán)值α；將基于邊緣保持的時(shí)空中值濾波插值，即第一個(gè)插值，結(jié)果乘以(1-α)，取兩者之和作為最終的插值結(jié)果輸出。
全文摘要
本發(fā)明屬于數(shù)字電視集成電路視頻處理領(lǐng)域，具體講是涉及采用運(yùn)動(dòng)檢測(cè)和自適應(yīng)加權(quán)濾波的去隔行方法。為提供一種去隔行方法，既可以保持圖像的空間特性又可以保持圖像的垂直細(xì)節(jié)，同時(shí)不需要進(jìn)行準(zhǔn)確的運(yùn)動(dòng)信息估算，可以改善去隔行效果，大大降低硬件設(shè)計(jì)的復(fù)雜度，提高設(shè)計(jì)的可靠性；本發(fā)明采用的技術(shù)方案是，依次包括下列步驟將圖像信號(hào)的先前場(chǎng)、當(dāng)前場(chǎng)和后續(xù)場(chǎng)濾波降噪后按特定格式預(yù)先存放在SDRAM里，在基于當(dāng)前場(chǎng)中待插值的像素計(jì)算先前場(chǎng)的像素和后續(xù)場(chǎng)的像素間的運(yùn)動(dòng)等級(jí)后計(jì)算用于混合的運(yùn)動(dòng)信息權(quán)值；使用查表后的用于混合的運(yùn)動(dòng)信息權(quán)值來(lái)混合兩個(gè)插值，輸出混合值。本發(fā)明主要應(yīng)用于數(shù)字視頻信號(hào)處理。
文檔編號(hào)H04N7/01GK101018286SQ200710056760
公開(kāi)日2007年8月15日 申請(qǐng)日期2007年2月9日 優(yōu)先權(quán)日2007年2月9日
發(fā)明者史再峰, 解曉東, 姚素英, 劉杰, 趙毅強(qiáng) 申請(qǐng)人:天津大學(xué)