塊噪聲檢測和濾波的制作方法
【專利說明】塊噪聲檢測和濾波
[0001] 本申請是PCT國際申請?zhí)枮镻CT/US2010/023775、國際申請日為2010年2月10 日、中國國家申請?zhí)枮?01080011860. 5、題為"塊噪聲檢測和濾波"的申請的分案申請。 [000引優(yōu)先權(quán)聲明
[0003] 本申請要求 2009 年 2 月 10 日提交的題為"BLOCKNOISEDETECTIONANDFILTER" 的美國臨時專利申請No. 61 /151，434的優(yōu)先權(quán)，該臨時申請的內(nèi)容明白地援弓I包含于此。
[0004] 背景
[0005] 例如圖像、音頻或視頻內(nèi)容的數(shù)字內(nèi)容的壓縮可能將偽像（arti化cts)引入被壓 縮的數(shù)字內(nèi)容中。引入偽像的類型和程度取決于數(shù)據(jù)類型與壓縮技術(shù)。壓縮偽像一般發(fā)生 在例如DVD的媒體中，例如MPEG-1、MPEG-2、MPEG-4、JPEG等壓縮的視頻格式中。尤其，塊 噪聲可能存在于數(shù)字壓縮的視頻或圖像文件中。
[0006] 附圖簡述
[0007] 圖1示出表示塊噪聲如何被引入到數(shù)字圖像和/或視頻中W及如何使用由塊噪聲 檢測器確定的控制參數(shù)應(yīng)用塊噪聲濾波器的方框圖。
[0008] 圖2給出闡述具有圖像或視頻處理器的系統(tǒng)的一個示例的方框圖，該圖像或視頻 處理器具有塊噪聲檢測器和/或塊噪聲濾波器。
[0009] 圖3給出闡述具有圖像或視頻處理器的光盤裝置的一個示例的方框圖，該圖像或 視頻處理器具有塊噪聲檢測器和/或塊噪聲濾波器。
[0010] 圖4給出闡述在塊噪聲檢測器內(nèi)的組件的一個示例的方框圖。
[0011] 圖5給出闡述在塊噪聲濾波器內(nèi)的組件的一個示例的方框圖。
[0012] 圖6給出在行或列上的差值幅度的平均的一個示例。
[0013] 圖7給出應(yīng)用于平均差值幅度的中值濾波器的輸出的一個示例。
[0014] 圖8給出具有已移除的DC電平的平均差值幅度的一個示例。
[0015] 圖9給出具有已移除的DC電平及邊緣峰值抑制的平均差值幅度的一個示例。
[0016] 圖10給出在各種塊間距和偏移處的經(jīng)歸一化總和差值幅度的一個示例。
[0017] 圖11給出針對已縮放的圖像的平均差值幅度的一個示例。
[0018] 圖12給出針對已縮放的圖像的在各塊間距和偏移處的歸一化總和差值幅度的一 個示例。
[0019] 圖13給出針對已縮放的圖像的在各種塊間距和偏移處的歸一化總和差值幅度的 一個示例，其中相鄰的非零間隔值被求和。
[0020] 圖14給出在行或列上的平均差值幅度的一個示例。
[0021] 圖15給出表現(xiàn)出在具有可變偏移的固定間距處多像素寬峰值的歸一化總和差值 幅度的一個示例。
[0022] 圖16A給出在具有可變偏移的固定間距處的歸一化總和差值幅度的一個示例，其 中相鄰非零間隔值被求和。
[0023]圖16B給出一表格，該表格具有通過控制圖15和圖16A中的總和差值幅度獲得的 值例。
[0024] 圖17-18給出將塊噪聲濾波器作用于具有和不具有縮放效果的噪聲邊界的效果 的示例。
[0025] 圖19給出用于塊噪聲檢測的示例過程的流程圖。
[0026] 圖20給出用于選擇塊噪聲濾波器的控制參數(shù)的示例過程的流程圖。
[0027] 圖21給出將塊噪聲濾波器應(yīng)用于圖像的流程圖。
[0028] 圖22示出W計算機(jī)系統(tǒng)的示例形式的機(jī)器的示意圖，在該計算機(jī)系統(tǒng)中可執(zhí)行 使機(jī)器執(zhí)行該里描述的一個或多個方法的指令集。
[002引 實施方式
[0030] 下面的描述及附圖是解說性的且不應(yīng)視為限制。描述了許多具體細(xì)節(jié)W提供公開 內(nèi)容的透徹理解。然而，在某些情況下，不對公知或慣常的細(xì)節(jié)進(jìn)行描述W避免混淆說明。 對本公開中的一個實施例的引述可W但不一定是針對同一實施例的引述；并且該些引述表 示諸實施例中的至少一個實施例。
[0031] 說明書中對于"一實施例"或"一個實施例"的引述意味著結(jié)合該實施例描述的某 一具體特征、結(jié)構(gòu)或特性包括在本公開的至少一個實施例中。說明書中各處出現(xiàn)的短語"在 一個實施例中"不一定全部指相同的實施例，也不是與其它實施例相互排斥的單獨或替代 的實施例。此外，所描述的各種特征可由一些實施例展現(xiàn)而不由其它實施例展現(xiàn)。同樣，所 描述的各種要件可能是一些實施例的要件而不是其它實施例的要件。
[0032] 在本公開的上下文中W及使用各術(shù)語的特定背景中，本說明書中使用的術(shù)語一般 具有業(yè)內(nèi)的普遍意義。用來描述公開內(nèi)容的某些術(shù)語在下文中或說明書其它部分中予W描 述，W向關(guān)于本公開內(nèi)容的實踐者提供附加引導(dǎo)。為了方便，可突出顯示某些術(shù)語，例如使 用斜體字和/或引號。使用突出顯示對術(shù)語的范圍和意義沒有任何影響；在相同背景中，不 管是否被突出顯示，該術(shù)語的范圍和意義是相同的。應(yīng)當(dāng)理解，同一事物能用一種W上的方 法予W說明。
[0033] 因此，替代性文字及同義字可用于該里記載的任何一個或多個術(shù)語，該術(shù)語是否 已在此被詳細(xì)說明或討論了并不是那么重要。已提供某些術(shù)語的同義詞。一個或多個同義 詞的引用不排除其它同義詞的使用。該里討論的任何術(shù)語在本說明書中任何位置的示例使 用僅是說明性的，并且不打算進(jìn)一步限制本公開或任何范例性術(shù)語的范圍和意義。同樣，本 公開不限于在本說明書中給出的各個實施例。
[0034] 下面給出根據(jù)本公開的實施例的儀器、裝置、方法及其關(guān)聯(lián)結(jié)果的示例，其不旨在 進(jìn)一步限制公開的范圍。注意示例中使用的標(biāo)題與副標(biāo)題是為了方便讀者，而不應(yīng)當(dāng)限制 本公開的范圍。除非另有定義，所有的技術(shù)及科學(xué)術(shù)語在該里具有本領(lǐng)域內(nèi)普通技術(shù)人員 共同理解的相同意義。在構(gòu)成沖突的情況下，W本文件（包括定義）為準(zhǔn)。
[00巧]本公開的實施例包括用于塊噪聲檢測和濾波的系統(tǒng)和方法。
[0036] 圖1示出表示塊噪聲106如何被引入到數(shù)字圖像和/或視頻102中且如何使用由 塊噪聲檢測器152確定的控制參數(shù)來應(yīng)用塊噪聲濾波器154的方框圖100。
[0037] 典型圖像或視頻壓縮方案將諸如塊噪聲的偽像引入到數(shù)字圖像/視頻102里。尤 其，通過應(yīng)用有損壓縮方案，可能將塊噪聲引入圖像/視頻106中。
[0038] 在此描述的技術(shù)涉及塊噪聲檢測器152,其分析和處理受影響的數(shù)字圖像/視頻 106并識別塊噪聲的屬性/特性（如，塊大小、偏移、邊界位置、塊噪聲的強(qiáng)度（例如塊噪聲 的嚴(yán)重性））和/或圖像特性（如，圖像中的細(xì)節(jié)量）。
[0039] 塊噪聲檢測器152可使用塊噪聲和/或圖像特性產(chǎn)生控制參數(shù)108至塊噪聲濾波 器154?？刂茀?shù)108可包括塊噪聲濾波器增益值、邊緣強(qiáng)度乘數(shù)等。塊噪聲濾波器154可 在原始圖像上工作W減少或消除塊噪聲偽像的能見度。
[0040] 在一實施例中，經(jīng)由數(shù)字壓縮引入的塊噪聲可通過僅識別圖像中W(大約）固定 的間隔隔開的唯獨垂直或唯獨水平邊緣而檢測到。檢測可通過分析水平和垂直亮度（luma) 像素差W檢測規(guī)則間隔的峰值來施行?；诖藱z測，產(chǎn)生一水平及垂直圖，該水平及垂直圖 指示塊噪聲邊界的位置。
[0041] 可從測得的亮度塊大小推導(dǎo)出色度塊大小并使用色度像素差數(shù)據(jù)為色度構(gòu)成分 離邊界圖。已在檢測前經(jīng)分辨率縮放的圖像也使用用于確定大小和偏移的修正方案來適 應(yīng)，并在塊邊界圖中作出由于此縮放的塊邊界模糊的規(guī)定。該些塊邊界圖可被傳給一噪聲 濾波器函數(shù)，該噪聲濾波器函數(shù)基于圖內(nèi)容過濾圖像中的塊噪聲。
[0042] 一般而言，塊噪聲檢測在整個圖像峽或大部分圖像峽上執(zhí)行，并且檢測結(jié)果通常 不完整，直到已分析整個峽或峽的絕大部分為止。此通過在分析中引入更多數(shù)據(jù)而提高了 檢測的統(tǒng)計可靠性。在視頻源的情況下，檢測結(jié)果可能仍不可用直至峽結(jié)束為止，從而招致 檢測過程中的1峽延遲。因此塊噪聲濾波器操作通常應(yīng)用于后面的峽周期。塊噪聲邊界的 檢測僅為空間上，非關(guān)乎時域方面，即其個別地在一視頻峽/場序中在各單個圖像峽上執(zhí) 行。
[0043] 除了水平及垂直塊邊界的位置，此函數(shù)也自動地確定用于塊噪聲濾波器功能的控 制參數(shù)。該些參數(shù)包括水平和垂直濾波器的強(qiáng)度，W及由濾波器使用W沿圖像中對象的邊 緣抑制噪聲及濾除偽像的水平和垂直梯度乘數(shù)。
[0044] 檢測塊噪聲和計算控制參數(shù)的過程將進(jìn)一步結(jié)合圖6-16和圖19-20的描述更詳 細(xì)地予W說明。
[0045] 圖2示出闡述具有圖像或視頻處理器250的系統(tǒng)200的示例的方框圖，圖像或視 頻處理器250具有塊噪聲檢測器252和/或塊噪聲濾波器254。
[0046] 系統(tǒng)200包括處理單元202、存儲器204和/或圖像/視頻處理器250。在一些實 施例中，任何上述模塊/裝置或其代表功能可整體或部分地處在系統(tǒng)200外部。
[0047] 系統(tǒng)200 -般能接收和處理起源于許多源的數(shù)字圖像、數(shù)字視頻和/或數(shù)字音頻， 許多源包括但不限于因特網(wǎng)內(nèi)容（流數(shù)據(jù)和/或在本機(jī)儲存）、由數(shù)字成像設(shè)備（如攝錄像 機(jī)、相機(jī)等等）錄制的內(nèi)容、使用者產(chǎn)生的內(nèi)容、在存儲介質(zhì)上存儲的內(nèi)容（如，V服、磁性介 質(zhì)或光學(xué)介質(zhì)）等。光學(xué)媒體格式的可兼容類型可包括但不限于CD、DVD、皿-DVD、藍(lán)光和 皿V。兼容性光盤也可W是只讀存儲器（ROM)、一寫多讀式（WORM)、交互式（I)、和/或可擦 除式巧）。具有塊噪聲的附加視頻源包括例如數(shù)字廣播電視、衛(wèi)星電視、數(shù)字有線電視等。
[0048] 系統(tǒng)200的一個實施例包括禪合至存儲器204的處理單元202。該處理單元202 可W是能執(zhí)行由系統(tǒng)200使用的指令的軟件代理和/或硬件組件的任何組合?？赏ㄟ^與存 儲器204通信而存取指令。
[0049] 在一個實施例中，處理單元202在內(nèi)部和/或外部請求并執(zhí)行必要的計算。處理 單元202可與存儲器204通信，在一些實施例中，存儲器204儲存可由處理單元202和/或 圖像處理器250執(zhí)行的指令序列。
[0050] 存儲器204可W是作為圖像處理器250的數(shù)據(jù)輸入/輸出緩沖器的軟件代理和/ 或硬件組件的任何組合。存儲器204中的數(shù)據(jù)可從系統(tǒng)200內(nèi)部和/或外部的任何實體接 收到。
[0051] 系統(tǒng)200的一個實施例包括圖像/視頻處理器250,該圖像/視頻處理器250可 禪合于存儲器204。圖像處理器250可W是軟件代理和/或硬件組件的任何組合，其能執(zhí)行 圖像和/或視頻處理，包括例如塊噪聲檢測和塊噪聲濾除。圖像處理器250的一個實施例 包括塊噪聲檢測器252和/或塊噪聲濾波器254。數(shù)字圖像/視頻可從存儲器204接收或 檢索。
[0052] 另外，對于塊噪聲檢測和/或塊噪聲濾除，進(jìn)一步參考圖6-16和圖19-20的示例 進(jìn)行描述，可由圖像處理器250應(yīng)用的處理包括作為示例而非限制的幾何變換（如，放大、 縮放、減少、旋轉(zhuǎn)等等）、色彩調(diào)整、亮度調(diào)整、對比度調(diào)整、量化、轉(zhuǎn)換至不同的色彩空間、數(shù) 字合成、光學(xué)合成、內(nèi)插、假頻減少、濾波、圖像編輯、圖像配準(zhǔn)、圖像穩(wěn)定化、圖像分離等。
[0053] 塊噪聲檢測器252的示例性組件/模塊進(jìn)一步結(jié)合圖4的示例予W說明，且塊噪 聲濾波器的示例組件進(jìn)一步結(jié)合圖5的示例予W說明。
[0054] 圖3給出闡述具有圖像或視頻處理器350的光盤裝置300的一個示例的方框圖， 圖