專利名稱：通過亮度和色度暫態(tài)改進(jìn)來增強(qiáng)視頻清晰度和對(duì)比度的制作方法
背景技術(shù)：
清晰度是感觀特征，它是由人的視覺系統(tǒng)所確定。當(dāng)人眼對(duì)亮度信號(hào)比對(duì)色度信號(hào)更敏感時(shí)，諸如高清電視(HDTV)圖像這樣的高分辨率圖像需要亮度(黑和白)和色度清晰度兩個(gè)都要緊密增強(qiáng)。在彩色電視廣播標(biāo)準(zhǔn)中，諸如美國國家電視制式委員會(huì)(NTSC)和逐行倒相制式(PAL)，例如，色度和亮度信號(hào)有限的帶寬導(dǎo)致相對(duì)較慢的轉(zhuǎn)換，致使所接收圖像的邊緣拖尾。
用于清晰度增強(qiáng)的各種方法已經(jīng)使用了邊緣轉(zhuǎn)換以更好地提高圖像質(zhì)量，但是對(duì)圖像內(nèi)容、噪聲序列的降低和/或所需復(fù)雜硬件都缺乏適應(yīng)性。雖然為提高總清晰度而提高邊緣轉(zhuǎn)換，但是對(duì)圖像內(nèi)容適應(yīng)性的缺乏導(dǎo)致激化人工噪音并減少了清晰度提高的總的印象。


圖1闡述了系統(tǒng)的一個(gè)實(shí)施例。
圖2闡述了清晰度增強(qiáng)的一個(gè)實(shí)施例。
圖3闡述了小波分解的一個(gè)實(shí)施例。
圖4闡述了小波分解輸出的一個(gè)實(shí)施例。
圖5闡述了邏輯流程的一個(gè)實(shí)施例。
圖6闡述了處理過的圖像的一個(gè)實(shí)施例。
具體實(shí)施例圖1闡述了系統(tǒng)的一個(gè)實(shí)施例。圖1闡述了一個(gè)通信系統(tǒng)100的框圖，。在各種實(shí)施例中，通信系統(tǒng)100可以包括多個(gè)節(jié)點(diǎn)。節(jié)點(diǎn)通?？梢园ㄓ糜谠谕ㄐ畔到y(tǒng)100中信息通信的任何物理的或邏輯實(shí)體，以及可以根據(jù)給出的設(shè)計(jì)參數(shù)或性能約束的要求由硬件、軟件或任何它們的組合來實(shí)現(xiàn)。雖然圖1作為一個(gè)例子可以示出有限數(shù)量的節(jié)點(diǎn)，但是能夠理解對(duì)于給出的實(shí)施例可以應(yīng)用更多或更少的節(jié)點(diǎn)。
在各種實(shí)施例中，節(jié)點(diǎn)可以包括，或是由下面所述實(shí)現(xiàn)計(jì)算機(jī)系統(tǒng)、計(jì)算機(jī)子系統(tǒng)、計(jì)算機(jī)、一個(gè)設(shè)備、工作站、終端、服務(wù)器、個(gè)人計(jì)算機(jī)(PC)、便攜電腦、超便攜電腦、手持式計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、機(jī)頂盒(STB)、電話、移動(dòng)電話、蜂窩式電話、手持送受話機(jī)、無線存取點(diǎn)、基站(BS)、用戶站(SS)、移動(dòng)用戶中心(MSC)、無線電網(wǎng)絡(luò)控制器(RNC)、微處理器、諸如專用集成電路(ASIC)這樣的集成電路、可編程邏輯器件(PLD)、諸如通用處理器這樣的處理器、數(shù)字信號(hào)處理器(DSP)和/或網(wǎng)絡(luò)處理器、接口、輸入/輸出(I/O)裝置(例如鍵盤、鼠標(biāo)、顯示器、打印機(jī))、路由選擇器、集線器、網(wǎng)關(guān)、橋接器、轉(zhuǎn)換器、電路、邏輯門、寄存器、半導(dǎo)體器件、芯片、晶體管、或任何其它裝置、機(jī)器、工具、設(shè)備、部件或它們的組合。實(shí)施例不限于該范圍。
在各種實(shí)施例中，節(jié)點(diǎn)可以包括，或由下面所述實(shí)現(xiàn)軟件、軟件模塊、應(yīng)用程序、程序、子程序、指令組、計(jì)算機(jī)代碼、字、值、符號(hào)或它們的組合。節(jié)點(diǎn)可以根據(jù)預(yù)定計(jì)算機(jī)語言、方式或語法來實(shí)現(xiàn)，預(yù)定計(jì)算機(jī)語言、方式或語法用于指示處理器執(zhí)行某個(gè)功能。計(jì)算機(jī)語言的例子可以包括C、C++、Java、BASIC、Perl、Matlab、Pascal、Visual BASIC、匯編語言、機(jī)器代碼、網(wǎng)絡(luò)處理器的微代碼等等。實(shí)施例不限于該范圍。
在各種實(shí)施例中，通信系統(tǒng)100可以根據(jù)一個(gè)或多個(gè)協(xié)議來通信、管理或處理信息。協(xié)議可以包括用于管理在節(jié)點(diǎn)中間通信的一組預(yù)定規(guī)則或指令。協(xié)議可以由標(biāo)準(zhǔn)組織公布的一個(gè)或多個(gè)標(biāo)準(zhǔn)來定義，例如國際電信聯(lián)盟(ITU)、國際標(biāo)準(zhǔn)化組織(ISO)、國際電工技術(shù)委員會(huì)(IEC)、電氣與電子工程師協(xié)會(huì)(IEEE)、國際工程任務(wù)組(IETF)、運(yùn)動(dòng)圖象專家組，(MPEG)等等。例如，所描述的實(shí)施例可以根據(jù)多媒體處理標(biāo)準(zhǔn)來安排其操作，諸如NTSC、PAL、MPEG-1、MPEG-2、MPEG-4、數(shù)字視頻廣播地面(DVB-T)廣播標(biāo)準(zhǔn)、ITU/IECH.263標(biāo)準(zhǔn)、用于低比特率通信的視頻編碼、2000年11月公開的ITU-T建議H.263v3、和/或ITU/IEC H.264標(biāo)準(zhǔn)、用于非常低比特率通信的視頻編碼、2003年5月公開的ITU-T建議H.264。實(shí)施例不限于該范圍。
如圖1所示，通信系統(tǒng)100可以包括媒體處理節(jié)點(diǎn)102。在各種實(shí)施例中，媒體處理節(jié)點(diǎn)102可以包括、或由下面所述實(shí)現(xiàn)一個(gè)或多個(gè)處理系統(tǒng)、處理子系統(tǒng)、處理器、計(jì)算機(jī)、設(shè)備、編碼器、解碼器、編/解碼器(CODEC)、濾波設(shè)備(例如圖像比例設(shè)備、分塊濾波設(shè)備)、變換設(shè)備、娛樂系統(tǒng)、顯示器或任何其它的處理結(jié)構(gòu)。實(shí)施例不限于該范圍。
在各種實(shí)施例中，媒體處理節(jié)點(diǎn)102可以被安排來處理一個(gè)或多個(gè)類型的信息，諸如媒體信息和控制信息。媒體信息通?？梢灾溉魏未碛脩羲硎緝?nèi)容的數(shù)據(jù)，諸如圖像信息、視頻信息、圖形信息、音頻信息、聲音信息、文字信息、數(shù)字信息、字母數(shù)字符號(hào)、字符符號(hào)等等。控制信息通?？梢灾副硎臼棺詣?dòng)化系統(tǒng)的命令、指令或控制字的任何數(shù)據(jù)。例如，控制信息可以通過系統(tǒng)用于路由媒體信息，或命令節(jié)點(diǎn)以某種方式來處理媒體信息。實(shí)施例不限于該范圍。
在各種實(shí)施例中，媒體處理節(jié)點(diǎn)102可以被安排處理從媒體源節(jié)點(diǎn)104所接收的媒體信息。媒體源節(jié)點(diǎn)104可以包括任何具有提供諸如圖像信息、視頻信息、和/或音頻/視頻(A/V)信息的媒體信息的能力的媒體源。媒體源的一個(gè)例子可以包括諸如從計(jì)算機(jī)到顯示器的視頻信號(hào)源。媒體源的另一個(gè)例子可以包括諸如電視信號(hào)這樣的A/V信號(hào)源。媒體源可以被安排產(chǎn)生或提供標(biāo)準(zhǔn)模擬電視信號(hào)、數(shù)字電視信號(hào)、HDTV信號(hào)等等。電視信號(hào)可以包括各種類型的信息，如電視音頻信息、電視視頻信息、和電視控制信息。電視視頻信息可以包括來自視頻節(jié)目、計(jì)算機(jī)生成圖像(CGI)等等的內(nèi)容。電視音頻信息可以包括聲音、音樂、音效等等。電視控制信息可以是插入的控制信號(hào)以顯示電視視頻和/或音頻信息、商業(yè)中斷、刷新率、同步信號(hào)等等。實(shí)施例不限于該范圍。
在一些實(shí)施例中，媒體源節(jié)點(diǎn)104可以包括被安排用于提供以各種格式存儲(chǔ)的預(yù)先錄制的媒體，諸如數(shù)字化視頻光盤(DVD)設(shè)備、家用錄像系統(tǒng)(VHS)設(shè)備、數(shù)字VHS設(shè)備、數(shù)字照相機(jī)、A/V攝象機(jī)-錄象機(jī)、游戲控制臺(tái)、壓縮光盤(CD)播放器等等的設(shè)備。還在其它的例子中，媒體源節(jié)點(diǎn)104可以包括媒體分配系統(tǒng)，以向媒體處理節(jié)點(diǎn)102提供廣播或流模擬或數(shù)字電視或音頻信號(hào)。媒體分配系統(tǒng)的例子可以包括，例如，無線電(OTA)廣播系統(tǒng)、地面有線系統(tǒng)(CATV)、衛(wèi)星廣播系統(tǒng)等等。媒體源節(jié)點(diǎn)104的類型和定位不限于該范圍。
在各種實(shí)施例中，媒體處理節(jié)點(diǎn)102可以被安排接收輸入圖像。該輸入圖像可以包括從一個(gè)或多個(gè)視頻圖像中獲得或有關(guān)的任何數(shù)據(jù)。在一個(gè)實(shí)施例中，例如，該輸入圖像可以包括在視頻序列中的一個(gè)圖片，該圖片包括在水平和垂直方向上采樣的信號(hào)(例如Y、U和V)。在各種實(shí)施例中，輸入圖像可以包括一個(gè)或多個(gè)圖像數(shù)據(jù)、視頻數(shù)據(jù)、視頻序列、圖片組、圖片、圖像、區(qū)域、目標(biāo)、幀、片、宏塊、塊、象素、信號(hào)等等。分配給象素的值可以包括實(shí)數(shù)和/或整數(shù)。
在各種實(shí)施例中，媒體處理節(jié)點(diǎn)102可以被安排用于對(duì)接收到的輸入圖像執(zhí)行清晰度增強(qiáng)。例如，媒體處理節(jié)點(diǎn)102可以使用亮度暫態(tài)提高和色度暫態(tài)提高(LTI/CTI)來執(zhí)行自適應(yīng)清晰度增強(qiáng)。在各種實(shí)施例中，媒體處理節(jié)點(diǎn)102可以通過小波濾波器組分解邊緣信息以及自適應(yīng)改變邊緣的頻率-幅度分配來執(zhí)行LTI/CTI處理以增強(qiáng)所感覺的清晰度。LTI/CTI處理可以包括實(shí)時(shí)視頻清晰度增強(qiáng)，其通過使用小波變換提高邊緣轉(zhuǎn)換(例如在圖像不同部分上的可變邊緣增強(qiáng))來自適應(yīng)使圖片清晰。LTI/CTI處理可以引起所感覺清晰度的有效增強(qiáng)，同時(shí)避免人工噪聲的引入。實(shí)施例不限于該范圍。
圖2闡述了清晰度增強(qiáng)的一個(gè)實(shí)施例。圖2闡述了使用LTI/CTI處理的清晰度增強(qiáng)的一個(gè)實(shí)施例。在各種實(shí)施例中，LTI/CTI處理可以由一個(gè)系統(tǒng)(例如通信系統(tǒng)100)和/或一個(gè)節(jié)點(diǎn)(例如媒體處理節(jié)點(diǎn)102)來執(zhí)行。實(shí)施例不限于該范圍。
如圖2所示，原始邊緣(a)的清晰度可以增強(qiáng)LTI/CTI修改的邊緣(b)。當(dāng)圖片完全平滑時(shí)，所有采樣值基本上相等。原始邊緣(a)說明了當(dāng)出現(xiàn)一個(gè)邊緣(例如水平邊緣)時(shí)，水平方向采樣值經(jīng)歷一個(gè)陡峭變化。如LTI/CTI改變的邊緣(b)所示，LTI/CTI處理通過使邊緣陡峭或增加傾斜度可以使邊緣變得清晰。該實(shí)施例不限于該范圍。
在各種實(shí)施例中，LTI/CTI處理可以包括檢測一個(gè)變換，計(jì)算變換長度(例如，獲得對(duì)應(yīng)邊緣變換所需的采樣數(shù)目)，并改變變換分配。例如，LTI/CTI處理可以包括跟蹤某一方向上的象素值以檢測變換，并計(jì)算邊緣的陡度或傾斜度。在各種實(shí)施例中，通過改變象素值(如頻率成分)來改變邊緣陡度的方式提高清晰度。該實(shí)施例不限于該范圍。
再次參考圖1，媒體處理節(jié)點(diǎn)102可以包括多個(gè)模塊。該模塊根據(jù)給出的設(shè)計(jì)組或性能約束的要求可以包括，或可以由以下所述實(shí)現(xiàn)一個(gè)或多個(gè)系統(tǒng)、子系統(tǒng)、處理器、設(shè)備、機(jī)器、工具、組件、電路、寄存器、應(yīng)用程序、程序、子程序，或它們的組合。在各種實(shí)施例中，通過一個(gè)或多個(gè)通信媒體來連接該模塊。通信媒體通?？梢园ㄈ魏尉哂谐休d信息信號(hào)能力的介質(zhì)。例如，通信媒體根據(jù)所給出實(shí)施例的需要可以包括有線通信媒體、無線通信媒體或它們兩個(gè)的組合。該實(shí)施例不限于該范圍。
模塊可以包括存儲(chǔ)器，該存儲(chǔ)器可以由任何具有數(shù)據(jù)存儲(chǔ)能力的計(jì)算機(jī)可讀介質(zhì)來實(shí)現(xiàn)，包括易失和非易失存儲(chǔ)器。存儲(chǔ)介質(zhì)的例子包括隨機(jī)存儲(chǔ)器(RAM)、動(dòng)態(tài)RAM(DRAM)、雙數(shù)據(jù)率DRAM(DDRAM)、同步DRAM(SDRAM)、閃存、ROM、可編程ROM(PROM)、可擦除可編程ROM(EPROM)、電子可擦可編程序ROM(EEPROM)、閃存、相聯(lián)存儲(chǔ)器(CAM)、聚合物存儲(chǔ)器(例如，鐵電體聚合物存儲(chǔ)器、雙向開關(guān)半導(dǎo)體存儲(chǔ)器、變相或鐵電體存儲(chǔ)器)、硅氧氮氧硅(SONOS)存儲(chǔ)器、磁盤存儲(chǔ)器(例如，軟盤、硬盤驅(qū)動(dòng)器、光盤、磁盤)或卡(例如，磁卡、光卡)、或適合存儲(chǔ)信息的其它任何類型的介質(zhì)。存儲(chǔ)介質(zhì)可以包括用于存儲(chǔ)計(jì)算機(jī)程序指令和數(shù)據(jù)的機(jī)器可讀存儲(chǔ)裝置和/或各種控制器的組合。實(shí)施例不限于該范圍。
媒體處理節(jié)點(diǎn)102可以包括小波分解模塊106。在各種實(shí)施例中，分解模塊106可以被安排用于接收輸入的圖像。輸入圖像可以包括，例如，包括水平和垂直方向上采樣的信號(hào)(例如Y、U和V)的視頻序列中的圖片。實(shí)施例不限于該范圍。
在各種實(shí)施例中，小波分解模塊106可以被安排用于執(zhí)行小波分解。例如，小波分解可以包括兩維正交分解。小波分解可以自動(dòng)檢測在信號(hào)分量(例如，YUV或RGB)中任何一般方向上的邊緣信息。能夠意識(shí)到可以使用各種小波分解。實(shí)施例不限于該范圍。
在各種實(shí)施例中，小波分解可以包括確定邊緣位置和通過修改部分頻率分量來使邊緣陡峭。小波分解可以包括執(zhí)行小波分析用于邊緣檢測和/或暫態(tài)處理。例如，通過小波濾波組可以分解邊緣信息，以及自適應(yīng)地改變用于邊緣的頻率—幅度分配。小波可以包括時(shí)間特征和比例或空間特征，其能夠在時(shí)間和空間兩者之中對(duì)物理現(xiàn)象進(jìn)行分析。小波分析可以包括具有可變大小區(qū)域的窗口技術(shù)。小波分析可以允許長時(shí)間間隔的使用，其中需要更精確的低頻信息，而短區(qū)域的使用需要高頻信息。實(shí)施例不限于該范圍。
小波分解可以包括應(yīng)用小波變換。在各種實(shí)施例中，例如，小波變換可以包括諸如Debauchies小波變換這樣的離散小波變換(DWT)。在各種實(shí)施例中，為了減少小波系數(shù)計(jì)算量，小波變換可以使用跟隨在兩倍比率的幾何序列之后的二進(jìn)制比例和位置。二進(jìn)制小波變換提高了效率并通常正如精度那樣。實(shí)施例不限于該范圍。
在各種實(shí)施例中，小波分解可以包括執(zhí)行多級(jí)分解。在一個(gè)實(shí)施例中，例如，小波分解可以包括三級(jí)分解。實(shí)施例不限于該范圍。
圖3闡述了小波分解的一個(gè)實(shí)施例。圖3闡述了多級(jí)小波分解的一個(gè)實(shí)施例。在各種實(shí)施例中，應(yīng)用諸如DWT這樣的小波變換允許信號(hào)(S)在水平、垂直和對(duì)角線方向上分解為低清晰度分量(A1)和高清晰度分量(D1)。近似和細(xì)節(jié)分析可以多級(jí)復(fù)制。例如，在低清晰度分量(A1)上可以遞歸應(yīng)用DWT以在水平、垂直和對(duì)角線方向上分解為另一個(gè)低清晰度分量(A2)和另一個(gè)高清晰度分量(D2)。根據(jù)下面的方程式可以對(duì)多級(jí)分解執(zhí)行遞歸操作S＝A1+D1＝A2+D2+D1＝A3+D3+D2+D1(1)，其中S是原始圖像，Ai和Di是第i級(jí)近似和細(xì)節(jié)分解。該方程式通常能夠?qū)憺镾=Ai+Σj<iDj---(2)]]>圖4是小波分解輸出的一個(gè)實(shí)施例。圖4闡述了從小波分解中輸出的一個(gè)實(shí)施例，其中該小波分解包括亮度信號(hào)的三級(jí)、二維小波分解。在各種實(shí)施例中，圖像可以包括2維信號(hào)(x和y方向)。通過對(duì)原始圖像(a)應(yīng)用三級(jí)、二維DWT(2D-DWT)來執(zhí)行小波分解，可以產(chǎn)生第一級(jí)近似和細(xì)節(jié)(b)、第二級(jí)近似和細(xì)節(jié)(c)以及第三級(jí)近似和細(xì)節(jié)(d)。實(shí)施例不限于該范圍。
再次參考圖1，小波分解模塊106可以被安排在原始圖像108上執(zhí)行小波分解。在各種實(shí)施例中，小波分解模塊106可以執(zhí)行三級(jí)、二維小波分解(例如，2D-DWT)，以產(chǎn)生第一級(jí)近似和細(xì)節(jié)110-1、第二級(jí)近似和細(xì)節(jié)110-2以及第三級(jí)近似和細(xì)節(jié)110-3。實(shí)施例不限于該范圍。
媒體處理節(jié)點(diǎn)102可以包括一個(gè)或多個(gè)邊緣增強(qiáng)模塊，諸如水平邊緣增強(qiáng)模塊112、垂直邊緣增強(qiáng)模塊、以及對(duì)角線邊緣增強(qiáng)模塊116。在各種實(shí)施例中，水平邊緣增強(qiáng)模塊112、垂直邊緣增強(qiáng)模塊以及對(duì)角線邊緣增強(qiáng)模塊116可以被安排用于改變分解輸出(例如2D-DWT輸出)。在各種實(shí)施例中，水平、垂直和對(duì)角線增強(qiáng)可以僅僅應(yīng)用于小波分解的細(xì)節(jié)分量(高頻)，同時(shí)每級(jí)小波分解的近似分量(低頻)可以沒有任何增強(qiáng)地通過，以進(jìn)一步確保清晰度增強(qiáng)方法不響應(yīng)圖像中的低頻分量，而響應(yīng)中高頻分量。實(shí)施例不限于該范圍。
在各種實(shí)施例中，水平邊緣增強(qiáng)模塊112、垂直邊緣增強(qiáng)模塊、以及對(duì)角線邊緣增強(qiáng)模塊116可以被安排用于衰減高頻分量為多個(gè)分量，其適合分解的分量?；诿總€(gè)分解級(jí)中的相對(duì)能量，對(duì)不同的分解級(jí)可以不同地處理(軟閾值)。在各種實(shí)施例中，通過在第一級(jí)中用因子t1、在第二級(jí)中用因子t2以及在第三級(jí)中用因子t3提高在水平、垂直和對(duì)角線方向上的高頻分量，來改變2D-DWT分解，其中t1＞t2＞t3。實(shí)施例不限于該范圍。
在各種實(shí)施例中，水平邊緣增強(qiáng)模塊112可以通過第一增強(qiáng)因子th1來提高來自水平方向上的第一級(jí)近似和細(xì)節(jié)110-1的高頻分量。水平邊緣增強(qiáng)模塊112可以通過第二增強(qiáng)因子th2來提高來自水平方向上的第二級(jí)近似和細(xì)節(jié)110-2的高頻分量。水平邊緣增強(qiáng)模塊112可以通過第三增強(qiáng)因子th3來提高來自水平方向上的第三級(jí)近似和細(xì)節(jié)110-3的高頻分量(th1＞th2＞th3)。實(shí)施例不限于該范圍。
在各種實(shí)施例中，垂直邊緣增強(qiáng)模塊114可以通過第一增強(qiáng)因子tv1來提高來自垂直方向上的第一級(jí)近似和細(xì)節(jié)110-1的高頻分量。垂直邊緣增強(qiáng)模塊114可以通過第二增強(qiáng)因子tv2來提高來自垂直方向上的第二級(jí)近似和細(xì)節(jié)110-2的高頻分量。垂直邊緣增強(qiáng)模塊114可以通過第三增強(qiáng)因子tv3來提高來自垂直方向上的第三級(jí)近似和細(xì)節(jié)110-3的高頻分量(tv1＞tv2＞tv3)。實(shí)施例不限于該范圍。
在各種實(shí)施例中，對(duì)角線邊緣增強(qiáng)模塊116可以通過第一增強(qiáng)因子td1來提高來自對(duì)角線方向上的第一級(jí)近似和細(xì)節(jié)110-1的高頻分量。對(duì)角線邊緣增強(qiáng)模塊116可以通過第二增強(qiáng)因子td2來提高來自對(duì)角線方向上的第二級(jí)近似和細(xì)節(jié)110-2的高頻分量。對(duì)角線邊緣增強(qiáng)模塊116可以通過第三增強(qiáng)因子td3來提高來自對(duì)角線方向上的第三級(jí)近似和細(xì)節(jié)110-3的高頻分量(td1＞td2＞td3)。實(shí)施例不限于該范圍。
媒體處理節(jié)點(diǎn)102可以包括一個(gè)重構(gòu)模塊118。在各種實(shí)施例中，該重構(gòu)模塊118可以被安排用于使用修改的分解級(jí)來執(zhí)行重構(gòu)。在各種實(shí)施例中，重構(gòu)模塊118可以接收來自水平邊緣增強(qiáng)模塊112、垂直邊緣增強(qiáng)模塊和對(duì)角線增強(qiáng)模塊116的增強(qiáng)了的小波分解的水平、垂直和對(duì)角線細(xì)節(jié)分量。重構(gòu)模塊118可以接收來自小波分解模塊106的沒有增強(qiáng)的每級(jí)小波分解中的近似分量(低頻)。在各種實(shí)施例中，重構(gòu)模塊118可以使用亮度和色度(YUV信號(hào))的修改過的頻率分量并執(zhí)行反變換以從小波變換中獲得每個(gè)圖像。實(shí)施例不限于該范圍。
在一些情況下，如果邊緣信息是弱的，那么弱實(shí)信號(hào)會(huì)受到噪聲的干擾。在各種實(shí)施例中，可以使用本地噪聲測量技術(shù)以對(duì)出現(xiàn)的噪聲自適應(yīng)確定本地閾值來補(bǔ)救該情況。本地噪聲測量技術(shù)可以基于圖片內(nèi)容來自適應(yīng)地確定補(bǔ)償值。根據(jù)圖片特性，可以將該補(bǔ)償值設(shè)置為輸入信號(hào)(YU或V)的非常低百分比。在各種實(shí)施例中，該中心值可以設(shè)置為2-4％，以便排除差不多96％的原始值(假設(shè)有效的高斯設(shè)想)以假設(shè)一個(gè)圖像中的補(bǔ)償閾值。可以在每個(gè)分解級(jí)中本地應(yīng)用該補(bǔ)償值以測量噪聲級(jí)，并給出時(shí)域(圖像本身)和頻域(每個(gè)分解級(jí))中的本地化測量。實(shí)施例不限于該范圍。
在各種實(shí)施例中，媒體處理節(jié)點(diǎn)102可以被安排用于將輸出圖像提供給媒體目標(biāo)節(jié)點(diǎn)120。媒體目標(biāo)節(jié)點(diǎn)120可以包括具有接收諸如圖像信息、視頻信息和/或A/V信息這樣的媒體信息的能力的任何媒體目標(biāo)。在各種實(shí)施例中，媒體處理節(jié)點(diǎn)102可以包括，或可以由以下實(shí)現(xiàn)一個(gè)或多個(gè)系統(tǒng)、子系統(tǒng)、處理器、計(jì)算機(jī)、設(shè)備、娛樂系統(tǒng)、顯示器或任何其它結(jié)構(gòu)。實(shí)施例不限于該范圍。
可以參考下面的附圖和附加例子來進(jìn)一步描述各種實(shí)施例的操作。有些附圖可以包括一個(gè)邏輯流程。應(yīng)當(dāng)理解邏輯流程僅僅提供了如何實(shí)現(xiàn)所述功能的一個(gè)例子。而且，所給出的邏輯流程不需要必須以所出現(xiàn)的順序執(zhí)行，除非有其它的指示。另外，可以由硬件單元、處理器執(zhí)行的軟件單元或者它們的任何組合來實(shí)現(xiàn)該邏輯流程。實(shí)施例不限于該范圍。
圖5闡述了邏輯流程500的一個(gè)實(shí)施例。圖5闡述了用于執(zhí)行清晰度增強(qiáng)的邏輯流程500。在各種實(shí)施例中，邏輯流程500可以由系統(tǒng)(例如，通信系統(tǒng)100)和/或節(jié)點(diǎn)(例如，媒體處理節(jié)點(diǎn)102)來執(zhí)行。應(yīng)當(dāng)明白，可以由各種其它類型的硬件、軟件和/或它們的組合來實(shí)現(xiàn)該邏輯流程500。實(shí)施例不限于該范圍。
邏輯流程500可以包括接收輸入圖像(塊502)。在各種實(shí)施例中，輸入圖像可以包括視頻序列中的一個(gè)圖片，該視頻序列包括在水平和垂直兩個(gè)方向上采樣的信號(hào)(例如，Y、U和V)。實(shí)施例不限于該范圍。
邏輯流程500可以包括在輸入圖像上執(zhí)行小波分解(塊504)。在各種實(shí)施例中，小波分解可以包括兩維正交小波分解。在實(shí)施例中，執(zhí)行小波分解可以包括執(zhí)行多級(jí)分解。小波分解可以自動(dòng)檢測信號(hào)分量(例如YUV或RGB)中任何一般方向上的邊緣信息。小波分解可以確定邊緣位置，還通過改變組成頻率分量來使用邊緣陡峭。小波分解可以包括應(yīng)用小波變換(例如，DWT)。實(shí)施例不限于該范圍。
邏輯流程500可以包括對(duì)小波分解的輸出進(jìn)行增強(qiáng)(塊506)。在各種實(shí)施例中，對(duì)小波分解的細(xì)節(jié)分量(高頻)應(yīng)用水平、垂直和對(duì)角線增強(qiáng)。在各種實(shí)施例中，用更多分量衰減較高頻分量，其適合分解的分量?；诿總€(gè)分解級(jí)中的相對(duì)能量，對(duì)不同的分解級(jí)可以不同地處理(軟閾值)。在各種實(shí)施例中，通過在第一級(jí)中用因子t1、在第二級(jí)中用因子t2以及在第三級(jí)中用因子t3提高在水平、垂直和對(duì)角線方向上的高頻分量，來增強(qiáng)小波分解的輸出，其中t1＞t2＞t3。實(shí)施例不限于該范圍。
邏輯流程500可以包括重構(gòu)圖像(塊508)。在各種實(shí)施例中，可以使用修改過的分解級(jí)來執(zhí)行重構(gòu)。在各種實(shí)施例中，可以使用增強(qiáng)的小波分解的水平、垂直和對(duì)角線細(xì)節(jié)分量以及未增強(qiáng)的每級(jí)小波分解中的近似分量(低頻)來執(zhí)行重構(gòu)。重構(gòu)可以包括執(zhí)行反變換來從小波變換中獲得每個(gè)圖像。實(shí)施例不限于該范圍。
圖6說明處理過圖像的一個(gè)實(shí)施例。如圖所示，在沒有引入增加的人工噪聲的情況下，已經(jīng)增強(qiáng)了原始圖像(a)的清晰度。實(shí)施例不限于該范圍。
在各種實(shí)施例中，通過使用小波變換和重構(gòu)的LTI/CTI，所描述的實(shí)施例可以提高總清晰度印象，同時(shí)避免噪聲和人工噪聲放大。通過提高所感覺的清晰度來提高圖片質(zhì)量，同時(shí)不會(huì)因諸如混疊、抖動(dòng)或限幅這樣的人工噪聲而受損害?？梢栽鰪?qiáng)視頻序列(例如，交錯(cuò)/順序、塊/游離塊、噪聲/游離噪聲)和內(nèi)容(例如，高速運(yùn)動(dòng)內(nèi)容、人和皮膚豐富目標(biāo)、自然和合成內(nèi)容)的清晰度。即使出現(xiàn)噪聲，也可以在不將噪聲放大至超過噪聲原始級(jí)的情況下，提高總體所感覺到的清晰度。實(shí)施例不限于該范圍。
在各種實(shí)施例中，所描述的實(shí)施例可以僅僅利用當(dāng)前圖像(用于增強(qiáng)補(bǔ)償下的圖片)的二維小波分解?？梢詮囊粠袦?zhǔn)確地確定邊緣的開始和結(jié)束。因而，可能需要有效的小的存儲(chǔ)器。所描述實(shí)施例可以使閾值和分解判定適應(yīng)補(bǔ)償下的當(dāng)前圖像內(nèi)容。實(shí)施例不限于該范圍。
在各種實(shí)施例中，在沒有假設(shè)兩個(gè)邊緣方向(例如，垂直或水平)和所支持窗口(通過其上的象素?cái)?shù)目，假設(shè)已經(jīng)發(fā)生了變換)的情況下，所描述的實(shí)施例可以固有地檢測在所有方向上的邊緣。所描述的實(shí)施例可以明顯地有這樣的要求并且沒有預(yù)先對(duì)圖片內(nèi)容進(jìn)行假設(shè)。因?yàn)闆]有進(jìn)行邊緣方向上的預(yù)先假設(shè)，因此當(dāng)應(yīng)用到HDTV信號(hào)甚至是具有低分辨率圖像的HDTV的原始源(例如，SD)，所描述的實(shí)施例在清晰度增強(qiáng)方面也是有效的。實(shí)施例不限于該內(nèi)容。
在各種實(shí)施例中，所描述的實(shí)施例可以執(zhí)行小波分析。小波分析可以提供優(yōu)于傅立葉分析的優(yōu)點(diǎn)，其將信號(hào)分解為不同頻率的正弦波分量。例如，當(dāng)考慮信號(hào)的傅立葉變換時(shí)，有可能告知什么時(shí)候發(fā)生特定事件。因?yàn)閹缀跛泄逃行盘?hào)都是具有改變統(tǒng)計(jì)特性的時(shí)間的非穩(wěn)定信號(hào)，所以這是主要的缺點(diǎn)。通過將信號(hào)映射為時(shí)間和頻率的二維函數(shù)，短時(shí)傅立葉變換(STFT)克服了常規(guī)傅立葉變換的缺點(diǎn)。然而，因?yàn)橐坏?duì)時(shí)間窗口選擇了特定大小，其中所述窗口對(duì)所有頻率都相同，那么這樣的近似導(dǎo)致低精度。
在各種實(shí)施例中，所描述的實(shí)施例可以達(dá)到比峰化更好的結(jié)果。當(dāng)LTI/CTI通過把頻率分量加到轉(zhuǎn)換中來提高所感覺清晰度時(shí)，峰化通過放大高頻分量振幅來增強(qiáng)所感覺的圖像清晰度。換句話說，在LTI/CTI之后改變信號(hào)中的帶寬和頻率分量，同時(shí)對(duì)于峰化來說，沒有新的頻率分量產(chǎn)生。峰化主要通過添加第一或第二導(dǎo)數(shù)來提高較高空間頻率分量，其中所述導(dǎo)數(shù)是通過用拉普拉斯算子核卷積圖像所獲得的，同時(shí)避免了上溢(防止限幅)和/或噪聲敏感度(防止補(bǔ)償)。峰化通過將信號(hào)的第一或第二導(dǎo)數(shù)加到它本身來重新強(qiáng)調(diào)亮度信號(hào)的過沖/下沖。
在這里，闡明了許多特殊描述，以提供實(shí)施例的詳盡認(rèn)識(shí)。然而，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明白，實(shí)施例可以在沒有這些特殊描述下能夠?qū)嵤?。在其它的例子中，為了不使?shí)施例模糊不清，沒有詳細(xì)地描述眾所周知的操作、組分和電路。能夠理解，，在這里所詳細(xì)公開的特定結(jié)構(gòu)和功能可能是典型的，并不是必須限于實(shí)施例的范圍內(nèi)。
在各種實(shí)施例中，所描述的實(shí)施例可以包括，或由有線通信系統(tǒng)、無線通信系統(tǒng)或它倆的組合所組成。雖然可能為了示例而使用特殊通信媒體來說明某個(gè)實(shí)施例，但是能夠理解，可以使用各種通信媒體和附加技術(shù)來實(shí)施在這里所討論的原理和技術(shù)。
在各種實(shí)施例中，所描述的實(shí)施例可以被安排通過有線或無線通信媒體來進(jìn)行信息通信。有線通信媒體的例子可以包括電線、電纜、印刷電路板(PCB)、底板、轉(zhuǎn)換器結(jié)構(gòu)、半導(dǎo)體材料、雙絞線、同軸電纜、光導(dǎo)纖維等等。無線通信媒體的例子可以包括部分無線頻譜，諸如射頻(RF)頻譜。在這樣的實(shí)施例中，所描述的實(shí)施例可以包括適合通過所設(shè)計(jì)的無線頻譜來進(jìn)行信息信號(hào)通信的組件和接口，諸如一個(gè)或多個(gè)天線、發(fā)射器、接收器、收發(fā)器、放大器、濾波器、控制邏輯器等等。實(shí)施例不限于該內(nèi)容。
在各種實(shí)施例中，通過使用輸入/輸出(I/O)適配器把通信媒體連接到節(jié)點(diǎn)上。I/O適配器可以被安排為采用所需通信協(xié)議、服務(wù)器或操作程序集合來操作用于控制節(jié)點(diǎn)間信息信號(hào)的任何適合技術(shù)。I/O適配器還可以包括適當(dāng)?shù)奈锢斫硬寮?，以連接I/O適配器與對(duì)應(yīng)的通信媒體。I/O適配器的例子可以包括網(wǎng)絡(luò)接口、網(wǎng)絡(luò)接口卡(NIC)、線卡、磁盤控制器、視頻控制器、音頻控制器等等。
在各種實(shí)施例中，所描述實(shí)施例可以包括或由部分網(wǎng)絡(luò)組成，諸如廣域網(wǎng)絡(luò)(WAN)、局域網(wǎng)絡(luò)(LAN)、城域網(wǎng)絡(luò)(MAN)、因特網(wǎng)、萬維網(wǎng)、電話網(wǎng)絡(luò)、無線電廣播網(wǎng)絡(luò)、電視網(wǎng)絡(luò)、有線網(wǎng)絡(luò)、衛(wèi)星網(wǎng)絡(luò)、無線個(gè)人區(qū)域網(wǎng)絡(luò)(WPAN)、無線WAN(WWAN)、無線LAN(WLAN)、無線MAN(WMAN)、碼分多路訪問(CDMA)蜂窩無線電話通信網(wǎng)絡(luò)、例如寬帶CDMA(WCDMA)的第三代(3G)網(wǎng)絡(luò)，第四代(4G)網(wǎng)絡(luò)、時(shí)分多路訪問(TDMA)網(wǎng)絡(luò)、擴(kuò)展TDMA(E-TDMA)蜂窩無線電話網(wǎng)絡(luò)、全球數(shù)字移動(dòng)電話系統(tǒng)(GSM)蜂窩無線電話網(wǎng)絡(luò)、北關(guān)數(shù)字蜂窩(NADC)蜂窩無線電話網(wǎng)絡(luò)、通用移動(dòng)電話系統(tǒng)(UMTS)網(wǎng)絡(luò)和/或其它任何配置為承載數(shù)據(jù)的有線和無線通信網(wǎng)絡(luò)。實(shí)施例不限于該內(nèi)容。
例如可以使用其上存儲(chǔ)有一個(gè)指令或一組質(zhì)量的機(jī)器可讀介質(zhì)或產(chǎn)品來實(shí)施一些實(shí)施例，其中所述質(zhì)量如果由機(jī)器執(zhí)行，那么其可以使機(jī)器執(zhí)行根據(jù)實(shí)施例所述的一個(gè)方法和/或操作。這樣的機(jī)器可以包括，例如，任何適合的處理平臺(tái)、計(jì)算平臺(tái)、計(jì)算裝置、處理裝置、計(jì)算系統(tǒng)、處理系統(tǒng)、計(jì)算機(jī)、處理器等等，以及可以使用任何適合的硬件和/或軟件的組合來實(shí)現(xiàn)。機(jī)器可讀介質(zhì)或產(chǎn)品可以包括，例如，任何類型的存儲(chǔ)單元、存儲(chǔ)裝置、存儲(chǔ)產(chǎn)品、存儲(chǔ)介質(zhì)、儲(chǔ)存裝置、儲(chǔ)存產(chǎn)品、儲(chǔ)存介質(zhì)和/或儲(chǔ)存單元，例如，存儲(chǔ)器、可移動(dòng)或不可移動(dòng)媒體、可擦除或不可擦除媒體、可寫或可重寫媒體、數(shù)字或模擬媒體、硬盤、軟盤、壓縮光盤ROM(CD-ROM)、可記錄壓縮光盤(CD-R)、可重寫壓縮光盤(CD-RW)、光盤、磁媒體、光磁媒體、可移動(dòng)存儲(chǔ)卡或盤、各種類型的數(shù)字化視頻光盤(DVD)、磁帶、盒式磁帶等等。指令可以包括任何類型的代碼，諸如源代碼、編譯代碼、翻譯代碼、可執(zhí)行代碼、靜態(tài)代碼、動(dòng)態(tài)代碼等等。指令可以使用任何合適的高級(jí)、低級(jí)、面向目標(biāo)的、可視的、編譯和/或翻譯編程語言。實(shí)施例不限于該內(nèi)容。
一些實(shí)施例能夠使用根據(jù)任何因素而變換的結(jié)構(gòu)來實(shí)施，諸如所期望的計(jì)算比率、功率級(jí)、熱耐受性、處理周期預(yù)算、輸入數(shù)據(jù)率、輸出數(shù)據(jù)率、存儲(chǔ)資源、數(shù)據(jù)總線速度和其它性能約束條件。例如，一個(gè)實(shí)施例可以通過使用通用或?qū)Ｓ锰幚韴?zhí)行軟件來實(shí)現(xiàn)。在另外一個(gè)例子中，一個(gè)實(shí)施例可以通過專用硬件來實(shí)現(xiàn)，諸如電路、ASIC，PLD，DSP等等。在另外一個(gè)例子中，一個(gè)實(shí)施例可以通過編程的通用計(jì)算機(jī)部件和常規(guī)的硬件部件的任何組合來實(shí)現(xiàn)。實(shí)施例不限于該內(nèi)容。
除非有其它特別的情況，應(yīng)當(dāng)理解，諸如“處理”、“計(jì)算”、“計(jì)算”、“確定”等等術(shù)語，指的是計(jì)算機(jī)或計(jì)算系統(tǒng)或類似電子計(jì)算裝置的動(dòng)作和/或處理，其在計(jì)算系統(tǒng)的寄存器中操作和/或轉(zhuǎn)換表示為物理量(例如，電子)的數(shù)據(jù)，和/或在計(jì)算系統(tǒng)的存儲(chǔ)器、寄存器或其它這樣的信息存儲(chǔ)器、傳輸或顯示裝置中存儲(chǔ)類似地表示為物理量的數(shù)據(jù)。實(shí)施例不限于該內(nèi)容。
還應(yīng)當(dāng)注意，任何提及的“一個(gè)實(shí)施例”或“實(shí)施例”意思是與該實(shí)施例有關(guān)的特殊特征、結(jié)構(gòu)或性能至少包括在一個(gè)實(shí)施例中。在說明書多個(gè)地方中短語“在一個(gè)實(shí)施例中”的出現(xiàn)并不是都指相同的實(shí)施例。
當(dāng)在這里已經(jīng)描述了實(shí)施例的某個(gè)特征時(shí)，本領(lǐng)域技術(shù)人員將想到許多改進(jìn)、替換、變換和等效。因此應(yīng)當(dāng)明白，附加權(quán)利要求想要覆蓋所有落在實(shí)施例真實(shí)精神范圍內(nèi)的改進(jìn)和變換。
權(quán)利要求
1.一種裝置，包括用于增強(qiáng)輸入圖像清晰度的媒體處理節(jié)點(diǎn)，所述媒體處理節(jié)點(diǎn)包括用于執(zhí)行所述輸入圖像的小波分解以檢測和修改邊緣信息的小波分解模塊。
2.如權(quán)利要求1的裝置，其中所述輸入圖像包括視頻序列中的一個(gè)圖片，所述視頻序列包括在水平方向和垂直方向上采樣的信號(hào)。
3.如權(quán)利要求1的裝置，其中所述小波分解包括二維正交小波分解。
4.如權(quán)利要求1的裝置，其中所述小波分解模塊用于執(zhí)行多級(jí)分解。
5.如權(quán)利要求1的裝置，進(jìn)一步包括用于增強(qiáng)從所述小波分解模塊輸出的小波分解的邊緣增強(qiáng)模塊。
6.如權(quán)利要求5的裝置，其中所述邊緣增強(qiáng)模塊增強(qiáng)所述小波分解輸出的高頻分量。
7.如權(quán)利要求1的裝置，進(jìn)一步包括重構(gòu)模塊，通過使用所述小波分解模塊輸出的小波分解來執(zhí)行圖像重構(gòu)。
8.一種系統(tǒng)，包括源節(jié)點(diǎn)；以及連接到所述源節(jié)點(diǎn)的媒體處理節(jié)點(diǎn)，所述媒體處理節(jié)點(diǎn)包括用于執(zhí)行所述輸入圖像的小波分解以檢測和修改邊緣信息的小波分解模塊。
9.如權(quán)利要求8的系統(tǒng)，其中所述輸入圖像包括視頻序列中的一個(gè)圖片，所述視頻序列包括在水平方向和垂直方向上采樣的信號(hào)。
10.如權(quán)利要求8的系統(tǒng)，其中所述小波分解包括二維正交小波分解。
11.如權(quán)利要求8的系統(tǒng)，其中所述小波分解模塊用于執(zhí)行多級(jí)分解。
12.如權(quán)利要求8的系統(tǒng)，進(jìn)一步包括用于增強(qiáng)從所述小波分解模塊輸出的小波分解的邊緣增強(qiáng)模塊。
13.如權(quán)利要求12的系統(tǒng)，其中所述邊緣增強(qiáng)模塊增強(qiáng)所述小波分解輸出的高頻分量。
14.如權(quán)利要求8的系統(tǒng)，進(jìn)一步包括重構(gòu)模塊，通過使用所述小波分解模塊輸出的小波分解來執(zhí)行圖像重構(gòu)。
15.一種方法，包括接收輸入圖像；以及執(zhí)行所述輸入圖像的小波分解以檢測和修改邊緣信息。
16.如權(quán)利要求15的方法，其中所述輸入圖像包括視頻序列中的一個(gè)圖片，所述視頻序列包括在水平方向和垂直方向上采樣的信號(hào)。
17.如權(quán)利要求15的方法，進(jìn)一步包括執(zhí)行二維正交小波分解。
18.如權(quán)利要求15的方法，進(jìn)一步包括執(zhí)行多級(jí)分解。
19.如權(quán)利要求15的方法，進(jìn)一步包括增強(qiáng)小波分解輸出。
20.如權(quán)利要求19的方法，進(jìn)一步包括增強(qiáng)所述小波分解輸出的高頻分量。
21.如權(quán)利要求15的方法，進(jìn)一步包括使用小波分解輸出來執(zhí)行圖像重構(gòu)。
22.一種包括機(jī)器可讀存儲(chǔ)介質(zhì)的產(chǎn)品，該存儲(chǔ)介質(zhì)包含系統(tǒng)能夠執(zhí)行的指令接收輸入圖像；以及執(zhí)行所述輸入圖像的小波分解以檢測和修改邊緣信息。
23.如權(quán)利要求22的產(chǎn)品，其中所述輸入圖像包括視頻序列中的一個(gè)圖片，所述視頻序列包括在水平方向和垂直方向上采樣的信號(hào)。
24.如權(quán)利要求22的產(chǎn)品，進(jìn)一步包括如果執(zhí)行，就使得系統(tǒng)執(zhí)行二維正交小波分解的指令。
25.如權(quán)利要求22的產(chǎn)品，進(jìn)一步包括如果執(zhí)行，就使得系統(tǒng)執(zhí)行多級(jí)分解的指令。
全文摘要
描述了一種用于增強(qiáng)視頻清晰度的裝置、系統(tǒng)、方法和產(chǎn)品。該裝置可以包括增強(qiáng)輸入圖像清晰度的媒體處理節(jié)點(diǎn)。該媒體處理節(jié)點(diǎn)可以包括用于執(zhí)行所述輸入圖像的小波分解以檢測和修改邊緣信息的小波分解模塊。描述和要求了其它實(shí)施例。
文檔編號(hào)H04N9/77GK1901659SQ200610110178
公開日2007年1月24日 申請日期2006年6月20日 優(yōu)先權(quán)日2005年6月20日
發(fā)明者W·艾利 申請人:英特爾公司