專利名稱：用于畫面清晰度增強的自適應切割防護的制作方法
技術領域：
本發(fā)明涉及視頻處理領域，尤其是用于增強視頻圖象的方法。


圖1示出常規(guī)清晰度增強裝置100的框圖。清晰度增強裝置100包括卷積核150，功能是作為高頻濾波器來確定圖象的高頻分量。通常，電視屏幕上的一幅圖象指一幅畫面。在此處，術語圖象和畫面可互換使用，意味著包括數(shù)據(jù)集合的全部或其中的一部分，這些數(shù)據(jù)可被處理以形成對應于數(shù)據(jù)的視覺表現(xiàn)。根據(jù)一個像素的視覺特征與相鄰像素特征的比較，卷積核150計算一幅圖象中每個像素的卷積值。通常用來提供此卷積值的卷積核為0-1/40-1/4+1-1/40-1/40,]]>卷積核的中心對應于被處理的像素。在此例中，被處理的像素值乘以+1，與該像素上下左右緊鄰的像素分別乘-1/4，這些乘積值的和即為被處理像素的已確定卷積值。例如，如果該像素位于像素值不變的區(qū)域，則像素值的和減去四個類似像素值中的每個的1/4后為0。也即，在像素值不變的區(qū)域內(nèi)不做增強。反之，如果像素值為100，周圍的像素值均為40，則卷積值為60(100-10-10-10-10)。即，像素值相對鄰近像素的變化越大，卷積值越大。此卷積值C通過一個圖中170處的增益因子g進行適當?shù)某叨日{(diào)整，并與180處的原像素值Yin相加，形成清晰度增強后的像素值Yout＝Yin+g*C(1)
在此例中，確定適當增益因子g包括四個過程110-140；成本較低的系統(tǒng)可以使用更少的過程，相應地確定適當增益因子的質(zhì)量降低；也可以使用更多過程。對比度控制110確定可以使用的最大增益g1，而不會引入對比度反常。也即，如果卷積值C是正值，Yin值對應相對暗的區(qū)域(低Yin值)，則高度增強會產(chǎn)生高對比度的白色值(高Yout值)，將顯示為白點。類似地，如果卷積值C為負值，Yin值對應亮的區(qū)域(高Yin值)，高度負向增強將會出現(xiàn)黑點(低Yout值)。例如，通常使用的像素值范圍是0到255，因此允許將像素值以字節(jié)進行處理，而且在對比度控制110中通常使用的最大增益因子g1為g1＝Yin/255 如果C＞0 (2a)g1＝(255-Yin)/255如果C＜＝0(2b)動態(tài)范圍控制120確定類似的最大增益因子g2，以抑制過大的過調(diào)節(jié)，自適應去核130確定最大增益因子g3，以增強降噪性能。例如，在高噪環(huán)境中，如果卷積值C很小，最大增益因子g3保持為低值，以防止噪聲導致的變化部分過分強化，而同時允許與圖象邊緣處對應的大幅變化部分可得到一個更大的增益。
從加法器180的輸出Yout將被切割以位于像素值的最小和最大范圍內(nèi)。切割防護單元140確定最大增益因子g4，以令由于過度輸出切割所導致的混疊最小。在實施示例中，圖象被劃分為塊，用每個塊中發(fā)生的切割數(shù)來確定與每個塊有關的最大增益因子，此最大增益因子將對降低塊內(nèi)的切割數(shù)產(chǎn)生影響。根據(jù)塊增益因子的雙線性內(nèi)插，通過計算每個像素的增益因子g4將這種塊級信息傳遞給像素。為避免時域內(nèi)的迅速變化，塊增益因子被低通濾波，例如可使用先前增益的加權和實現(xiàn)。
根據(jù)標準的特定集合，用充分的探試確定這些最大增益因子g1，g2，g3，g4中的每一個，并且經(jīng)常產(chǎn)生相當不同的結果。例如，Yin值較大且卷積值C為正會產(chǎn)生相對高的增益g1(公式2a)，但Yin值大通常將導致相對小的增益g4，以令切割最小。通過一種謹慎的選擇過程對這種潛在相互矛盾的增益加以調(diào)和增益選擇器160選擇增益g1、g2、g3、g4中的最小值作為要使用的適當增益。也即，選擇最大已確定增益g1、g2、g3、g4中的最小增益，以便在試圖避免可能產(chǎn)生像素值過增強效果的同時提供最大的清晰度增強。
上述現(xiàn)有技術中處理的計算復雜度較高，而且通常需要先前圖象中導出的數(shù)據(jù)來確定在當前圖象中要使用的增益。如果一幅圖象和下一幅之間存在快速運動，則這些處理可產(chǎn)生異常的結果。同樣，現(xiàn)有技術過程需要各過程之間的通信要有很高的帶寬，特別是當一些過程用軟件完成，另一些用硬件實現(xiàn)時。特別地，由于卷積算法的一致性和重復性，卷積核150優(yōu)選地采用硬件完成；然而，由于切割防護模塊140通常采用基于探試原則的算法，因而優(yōu)選地使用軟件實現(xiàn)。通常，由于帶寬限制，無法實現(xiàn)優(yōu)選的過程劃分。例如在多媒體處理系統(tǒng)中，基于為實現(xiàn)每個特定任務的適當實施裝置，或者為便于并行處理而進行的優(yōu)選劃分由于其對處理器總線產(chǎn)生的帶寬需求通常無法實現(xiàn)。通常，應使用軟件實現(xiàn)的任務改用硬件實現(xiàn)，反之亦然，以致可令通過處理器總線傳送的數(shù)據(jù)量最小。
通過提供被配置來確定應用于每個像素的增強容限的對比度控制和切割裝置來完成這些目的以及其它目的。此容限用來限制由常規(guī)卷積核和增益控制模塊所確定的增強度。優(yōu)選地，該容限獨立于所確定的卷積值，因此可令用于畫面清晰度增強的模塊間的帶寬需求最小。所降低的帶寬需求允許有效地劃分硬件和軟件實現(xiàn)的任務，并且簡化了整個系統(tǒng)設計任務。在多媒體應用中，處理器和子部件之間傳送的數(shù)據(jù)量可大大降低，且有效的劃分便于進行并行處理。根據(jù)當前畫面中的像素值，使用計算性簡單的算法確定容限，因此可令用于畫面增強的模塊間由于時間依賴性而導致的異常最小。此外，根據(jù)包括平均增強范圍、總體噪聲測量等在內(nèi)的整個畫面級特征來動態(tài)調(diào)整清晰度增強。
圖1示出現(xiàn)有技術中畫面清晰度增強系統(tǒng)的示例框圖。
圖2示出根據(jù)本發(fā)明的一個方面的畫面清晰度增強系統(tǒng)示例框圖。
圖3示出根據(jù)本發(fā)明，便于確定每個像素的最大增強范圍的增強容限圖示例。
圖4示出根據(jù)本發(fā)明另一方面的畫面清晰度增強系統(tǒng)的框圖示例。
圖5示出擁有根據(jù)本發(fā)明的畫面清晰度增強裝置的視頻顯示系統(tǒng)框圖示例。
在這些附圖中，相同的參考編號表示類似或相同的特性或功能。
為防止切割，加到每個像素值上的增強不應產(chǎn)生超出所允許像素值范圍的輸出像素值。為便于參考和理解，盡管可以使用任何其它的值，在此處假設可允許的像素值范圍為0到2550＜＝Yin+Yenh＜＝255 (3)如果對像素所確定的卷積值C為正，則(正向)增強Yenh(＝g*C)所產(chǎn)生的和不能超過255；如果卷積值C為負，則(負向)增強Yenh所產(chǎn)生的和不能低于0。也即，公式(3)可以重新用下述公式表示如果C＞＝0 則Yenh＜＝255-Yin (4a)否則 |Yenh|＞＝Yin (4b)因此，不會引入切割的所允許最大增強Emax可表示為如果C＞＝0 則Emax＝255-Yin(5a)否則 |Emax|＝Yin (5b)正如上所述，圖1中常規(guī)卷積核150和切割防護模塊140之間所需的通信導致模塊110-190之間的帶寬需求，這會限制常規(guī)切割防護模塊140的性能，或者限制劃分視頻處理系統(tǒng)時設計的選擇。在本發(fā)明的優(yōu)選實施方案中，對比度和切割控制模塊240的運作與卷積核150基本分離，示于圖2。為提供獨立于卷積C的最大增強Emax，公式5a和5b替換為|Emax|＝Min(255-Yin，Yin)(6)也即，通過將最大增強限制為最大正向增強和最大負向增強的最小值，所得到的像素輸出值可確保在允許像素值范圍內(nèi)。
如果直接應用公式6來確定每個像素值的最大允許增強，則相鄰像素的所允許增強可能差別很大，將會產(chǎn)生相反的視覺效果。在優(yōu)選實施方案中，基于對一個區(qū)域的增強范圍進行平滑來確每個像素的最大增強，示于圖3。
在圖3中，畫面310分為塊320(320a，320b，320c，320d等)。在優(yōu)選實施方案中，塊320包含16×16個像素。與每個塊320有關的是最大塊增強330(330a，330b，330c，330d等)。由于最大增強330的目的是確保塊內(nèi)沒有像素增強到超出允許像素值范圍，所以塊增強330定義為塊內(nèi)每個像素的最大允許增強值的最小值，按(6)式對每個像素(i)確定Bmax＝Mini[Min(255-Yini，Yini)] (7)注意在前述討論中，通過將增強限制在更小的范圍，從兩個極端，黑(0)或白(255)，對塊內(nèi)每個像素的(Yin)和(255-Yin)之間的最小值影響對比度控制函數(shù)。
為便于參考和術語化，以下使用術語增強容限來定義與每個像素有關的最大允許增強幅度。將每個塊內(nèi)每個像素的增強容限限制為公式(7)中給出的Bmax，這將消除相鄰像素間的不同增強容限，但將產(chǎn)生每個塊邊界的不連續(xù)性和相應的相反視覺效果。在本發(fā)明的優(yōu)選實施方案中，用周圍塊增強值(Bmax)的雙線性內(nèi)插確定每個像素的增強容限，由示例輪廓圖340的表面(340k，3401，340m等)示出，并對應下述公式Emaxi=Σxx+1Σyy+1W(i,x,y)Bmax(x,y)---(8)]]>其中W(i，x，y)是與每個塊增強Bmax(x，y)值有關的加權，取決于像素i與每個塊(x，y)中心的距離。圖3示出像素301的增強容限(Emaxi)341，由像素301緊鄰區(qū)域中塊增強值(Bmax(x，y))330的雙線性內(nèi)插確定，增強容限341為相應于畫面310中像素301位置的輪廓表面340m上的點X。此雙線性內(nèi)插還提供增強容限的有利的低通濾波，因此可令由于畫面局部區(qū)域內(nèi)由于增強度基本不同所導致的視覺異常最小。
如圖2所示，由上述公式(8)定義的對每個像素的增強容限提供給增強限制器250。卷積核150、增益限制模塊120和130，最小增益選擇器160和乘法器170，按照如圖1所示工作，并為增強限制器250提供基于卷積的增強g*C。根據(jù)本發(fā)明，增強Yenh的幅度加到輸入像素值Yin，或從輸入像素值Yin中減去，|Yenhi|＝Min(Emaxi，|giCi|)(9)增強Yenh的符號是g*C項的符號，對應卷積值C的符號。
因此，如上所示，可以使用相對簡單的計算實現(xiàn)像素增強值的確定。注意增強容限的確定僅基于像素值和像素值的允許范圍。還注意如果n比特像素值的允許范圍跨越0到2n-1，則只執(zhí)行Yin項中n個比特的求反就可完成(MaxRange-Yin)項的計算。由于計算的簡單性，可基于當前圖象的像素值計算根據(jù)本發(fā)明公式(8)的增強容限，因此消除了切割防護中的時域數(shù)據(jù)相關性。
上述過程便于大大降低一個典型系統(tǒng)中的帶寬需求。在確定每個像素增強容限時排除每個像素的卷積值C，可大大降低圖2中模塊之間的帶寬需求，因此可如愿劃分模塊的硬件和軟件實現(xiàn)。同樣，在對比度和切割模塊240的優(yōu)選實施方案中，上述公式(8)中(Bmax(x，y))項的確定用軟件實現(xiàn)，而以這些值的雙線性內(nèi)插確定每個像素的增強值Emaxi241用硬件實現(xiàn)。這種優(yōu)選劃分可以完成，因為每個塊通常對應幾百個像素(例如，16×16個像素塊)，而對每幾百個像素項從正在執(zhí)行確定Bmax(x，y)的軟件的處理器傳送一個Bmax(x，y)項到提供每個像素內(nèi)插的硬件，可消耗相對較少的處理器可用總線帶寬。
根據(jù)本發(fā)明的另一方面，基于與整幅畫面有關的特征，使用圖3的容限圖來動態(tài)調(diào)整卷積值C，示于圖4。
圖4示出可選擇的清晰度增強系統(tǒng)200’，有畫面自適應修改模塊450，可根據(jù)塊增強因子的平均值，也可以選擇基于諸如畫面噪聲測量的其它畫面級特征來修改卷積值C。平均塊增強容限高意味著清晰度增強的潛力大，然而，平均塊增強容限低意味著如果應用清晰度增強，則很有可能發(fā)生切割。在本發(fā)明的優(yōu)選實施方案中，如果平均塊增強容限較低，則畫面-自適應修改模塊450減小卷積值C。同樣地，存在噪聲時清晰度增強通常產(chǎn)生噪聲導致的閃爍和其它異?，F(xiàn)象。在本發(fā)明的優(yōu)選實施方案中，如果與通信信道或畫面有關的噪聲測量較高，畫面-自適應修改模塊450減小卷積值C。其他探試方法，例如實際切割率，也可以用來動態(tài)調(diào)整卷積值C，以產(chǎn)生視覺愉悅的效果。同樣地，對畫面來源的識別也可以用來動態(tài)調(diào)整卷積值C。例如，來自DVD播放機的畫面很少或不需要增強，而來自電視播送設備的畫面可能需要較大程度的增強，這取決于傳輸格式和媒體。所傳輸?shù)母咔逦犬嬅嬗梢慌_兼容高清晰度的接收機處理時，可能比一個非高清晰度圖象需要的增強更少，依次類推。
圖5示出擁有根據(jù)本發(fā)明的畫面清晰度增強裝置200(或200’)的視頻顯示系統(tǒng)500的示例框圖。視頻源或其它圖象信息510提供對應畫面中每個像素的一個特征，諸如亮度的像素值陣列。如上所配置的清晰度增強模塊200可強調(diào)像素值陣列的高頻分量，由此增強圖象的邊緣特征，產(chǎn)生比原先看起來更“清晰”的圖象。通常，如開關520所示，清晰度增強的應用作為選件提供。當選擇該功能，已增強清晰度的畫面提供給視頻顯示裝置530，替代原先的畫面。注意盡管本發(fā)明對序列圖象的清晰度增強尤其適合，例如電視廣播、視頻會議和視頻播放，本發(fā)明的原理也同樣適用于靜止圖象的清晰度增強。
前述僅示出本發(fā)明的原理。盡管于此沒有明確地闡述，但是本領域技術人員將能夠設計不同的設備，實現(xiàn)本發(fā)明的原理，并且不超出所附權利要求的精神和范圍。
權利要求
1.清晰度增強系統(tǒng)(200)包括被配置來確定與像素陣列(Yin)的一個像素有關的高頻因子(C)的濾波器(150)，被配置來確定應用于高頻因子(C)以產(chǎn)生高頻增強項(gC)的增益因子(g)的一個或多個增益控制模塊(120，130)，被配置來僅根據(jù)與像素相關的值和該值的允許范圍來確定像素增強容限(Ymax)的切割控制模塊(240)，以及被配置來接收高頻增強項(gC)和像素增強容限(Ymax)，并由此產(chǎn)生便于確定清晰度增強像素輸出值(Yout)的像素增強值(Yenh)的增強限制器。
2.如權利要求1的清晰度增強系統(tǒng)(200)，其中濾波器(150)包括被配置來根據(jù)與像素相關的值和與該像素相鄰像素相關的值提供高頻因子(C)的卷積核。
3.如權利要求1的清晰度增強系統(tǒng)(200)，其中一個或多個增益控制模塊(120，130)包括動態(tài)范圍控制模塊(120)和自適應去核模塊(130)中的至少一個。。
4.如權利要求1的清晰度增強系統(tǒng)(200)，其中切割控制模塊(240)還被配置來實現(xiàn)對比度控制。
5.如權利要求4的清晰度增強系統(tǒng)(200)，其中切割控制模塊(240)被配置來根據(jù)下述兩項的最小值確定像素增強容限(Ymax)像素值減去像素最小允許值，和像素最大允許值減去像素值。
6.如權利要求1的清晰度增強系統(tǒng)(200)，其中切割控制模塊(240)被配置來根據(jù)與構成像素陣列(Yin)的多個塊(320)中的每個內(nèi)的多個像素相關的增強容限來確定像素增強容限(Ymax)。
7.如權利要求1的清晰度增強系統(tǒng)(200)，其中切割控制模塊(240)被配置來根據(jù)與像素臨近的多個塊(320)中的每個塊相關的塊增強容限(330)的雙線性內(nèi)插來確定像素增強容限(Ymax)，并且塊增強容限(330)基于多個塊(320)中的每個塊內(nèi)的像素值。
8.如權利要求7的清晰度增強系統(tǒng)(200)，其中塊增強容限(330)基于下述兩項中的最小值每個塊內(nèi)的每個像素值減去最小允許像素值，和最大允許像素值減去每個塊內(nèi)的每個像素值。
9.一種清晰度增強方法包含確定與像素陣列(Yin)的一個像素有關的高頻因子(C)，確定應用于高頻因子(C)以產(chǎn)生高頻增強項(gC)的增益因子(g)，僅根據(jù)與像素相關的值及該值的允許范圍來確定與像素有關的像素增強容限(Ymax)，根據(jù)像素增強容限(Ymax)限制高頻增強項(gC)。
10.視頻顯示系統(tǒng)(500)包含包含多個像素的畫面(Yin)源(510)，每個像素有一個相關的像素值，清晰度增強裝置(200)，其可操作地與圖象(Yin)源(510)連接，被配置來通過修改一個或多個像素值來增強圖象(Yin)的高頻分量，因此形成清晰度增強的圖象(Yout)，和顯示裝置(520)，其可操作地與清晰度增強裝置(200)連接，被配置來顯示清晰度增強的圖象(Yout)；其中清晰度增強裝置(200)包含被配置來確定與畫面(Yin)的每個像素有關的高頻因子(C)的濾波器(150)，被配置來確定應用于高頻因子(C)以產(chǎn)生與每個像素有關的高頻增強項(gC)的增益因子(g)的一個或多個增益控制模塊(120，130)，被配置來僅根據(jù)相關的像素值和該像素值的允許范圍來確定像素增強容限(Ymax)的切割控制模塊(240)，以及增強限制器，被配置來接收高頻增強項(gC)和像素增強容限(Ymax)，并由此產(chǎn)生便于確定清晰度增強的圖象(Yout)內(nèi)的已修改像素值的像素增強值(Yenh)。
11.如權利要求10的視頻顯示系統(tǒng)(500)，其中濾波器(150)包括被配置來根據(jù)每個像素值及相應的相鄰像素值來提供高頻因子(C)的卷積核。
12.如權利要求10的視頻顯示系統(tǒng)(500)，其中切割控制模塊(240)被配置來根據(jù)下述兩項中的最小值確定像素增強容限(Ymax)每個像素值減去最小允許像素值，和最大允許像素值減去每個像素值。
13.如權利要求10的視頻顯示系統(tǒng)(500)，其中切割模塊(240)被配置來根據(jù)與構成畫面(Yin)的多個塊(320)的每個相關的塊增強容限(330)來確定像素增強容限(Ymax)。
全文摘要
對比度控制和切割裝置被配置來確定可能應用于每個像素的用于畫面清晰度增強的最大增強范圍。此最大范圍用來限制由傳統(tǒng)卷積核和增益控制模塊所決定的增強。優(yōu)選地，此最大范圍與所決定的卷積值無關，因此可令用于畫面清晰度增強的模塊中對帶寬的需求最小。由于帶寬需求降低，允許有效劃分硬件和軟件裝置的任務，簡化了整個系統(tǒng)設計。在多媒體應用中，處理器和子部件之間傳送的數(shù)據(jù)量大大減少，有效的劃分便于進行并行處理。根據(jù)當前場中的像素值，使用計算簡單的算法確定增強的最大范圍，因此可令用于畫面增強的模塊間由于時間相關性而導致的異常最小。此外，根據(jù)包括平均增強范圍、總體噪聲測量等在內(nèi)的整個畫面級特征來動態(tài)調(diào)整清晰度增強。
文檔編號H04N5/66GK1411657SQ01806072
公開日2003年4月16日 申請日期2001年10月29日 優(yōu)先權日2000年11月6日
發(fā)明者M·巴克穆特斯基, J·G·詹森, E·G·T·亞斯珀斯 申請人:皇家菲利浦電子有限公司