用于3維視頻的舒適噪聲和膠片顆粒處理的制作方法
【專利說明】用于3維視頻的舒適噪聲和膠片顆粒處理
[0001]本申請是申請日為2010年5月11日，申請?zhí)枮?01080066655.9的專利申請“用于3維視頻的舒適噪聲和膠片顆粒處理”的分案申請。
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及向數(shù)字圖像添加噪聲。
【背景技術(shù)】
[0003]隨著時間流逝，電視已經(jīng)從黑白圖像向彩色圖像發(fā)展，并且現(xiàn)在向高清發(fā)展。當(dāng)前，一些電視設(shè)備制造商已經(jīng)開始在市場上出售能夠產(chǎn)生和顯示三維(3D)圖像的產(chǎn)品。新出現(xiàn)的3D電視顯示當(dāng)前引起了多種視覺不適來源，包括:梯形失真(keystonedistort1n)、深度平面曲率、放大、縮小效果、剪切失真(shear distort1n)、串?dāng)_、柵欄效應(yīng)(picket fence effect)和圖像翻轉(zhuǎn)。此外，視覺不適還可以因缺乏深度提示(depthcue)(例如，具有高運動的畫面區(qū)域)導(dǎo)致模糊而引起。觀看者通常在觀看圖像中缺乏深度提示的區(qū)域時經(jīng)歷不舒服的感覺。與3D圖像的左眼視圖和右眼視圖中的膠片顆粒(filmgrain)相關(guān)聯(lián)的隨機噪聲的差異還可以導(dǎo)致出現(xiàn)奇怪的視覺效果。
[0004]向數(shù)字圖像添加抖動(dither)信號可以降低對編碼偽像(例如，輪廓(contouring)和塊(blocking)偽像)的人類敏感度，并且可以改善主觀質(zhì)量。向視頻添加噪聲(典型地被稱作“舒適噪聲”)用于實現(xiàn)該目標(biāo)。盡管存在用于向二維圖像添加舒適噪聲的技術(shù)，但是不存在針對3D圖像的舒適噪聲的已知技術(shù)。

【發(fā)明內(nèi)容】

[0005]簡而言之，根據(jù)本發(fā)明原理的優(yōu)選實施例，提供了一種用于向三維圖像添加噪聲的方法，包括根據(jù)圖像深度向圖像的不同區(qū)域添加噪聲的步驟。
【附圖說明】
[0006]圖1示出了根據(jù)本發(fā)明原理的用于向三維圖像添加噪聲的設(shè)備的示例性實施例；
[0007]圖2示出了根據(jù)本發(fā)明原理第一示例性實施例的用于由圖1的設(shè)備來執(zhí)行以向三維圖像添加噪聲的方法步驟的流程圖；
[0008]圖3示出了根據(jù)第二優(yōu)選實施例的用于向三維圖像添加噪聲的方法步驟的流程圖；以及
[0009]圖4示出了根據(jù)本發(fā)明原理第二優(yōu)選實施例的用于向三維圖像添加膠片顆粒的方法步驟的流程圖。
【具體實施方式】
[0010]圖1示出了根據(jù)本發(fā)明原理優(yōu)選實施例的用于向三維圖像(典型地，數(shù)字圖像)添加噪聲的設(shè)備10的示意框圖。如以下更詳細所述，噪聲可以采用“舒適”噪聲的形式，向圖像添加該類型的噪聲來減少偽像(artifacts)。備選地，在數(shù)字圖像包含源自運動畫面膠片的視頻的情況下，噪聲可以采用用于模仿運動畫面膠片的外觀的膠片顆粒的形式。在下文中，當(dāng)涉及噪聲添加時，添加的噪聲可以包括膠片顆?；蚴孢m噪聲。
[0011]設(shè)備10可以采用不同的形式。在示意實施例中，設(shè)備10包括機頂盒，機頂盒從數(shù)據(jù)源12(例如，有線系統(tǒng)首端)包含視頻和深度信息的比特流。解復(fù)用器14(在圖1中視為“解復(fù)用器”)將視頻信息和深度信息分離，以分別由視頻解碼器16和深度解碼器17解碼。舒適噪聲模塊18根據(jù)已解碼的視頻和深度信息產(chǎn)生舒適噪聲，從而獲得三維(3D)視頻輸出信號，由3D電視接收機(未示出)接收。
[0012]舒適噪聲模塊18包括:舒適噪聲產(chǎn)生器20，根據(jù)分別從視頻解碼器16和深度解碼器17提供的已解碼視頻和深度信息來產(chǎn)生舒適噪聲。實際上，噪聲產(chǎn)生器20可以采用用于執(zhí)行程序指令的處理器(未示出)的形式。以下參照圖2及其相應(yīng)描述，將更好地理解舒適噪聲產(chǎn)生器20根據(jù)已解碼視頻和深度信息產(chǎn)生舒適噪聲的方式。舒適噪聲和視頻混合器22將來自舒適噪聲產(chǎn)生器20的舒適噪聲與已解碼視頻和深度信息相結(jié)合，來獲得3D視頻輸出信號。
[0013]圖2示出了根據(jù)本發(fā)明原理優(yōu)選實施例的用于產(chǎn)生舒適噪聲的方法步驟的流程圖。換言之，圖2的方法構(gòu)成噪聲產(chǎn)生器20內(nèi)處理器的指令。圖2的方法從開始步驟200開始，在開始步驟200期間進行初始化。此后，執(zhí)行步驟202以產(chǎn)生針對左視圖的舒適噪聲值隊。如根據(jù)下文更容易理解的那樣，包含運動的典型3D視頻圖像包括畫面對，每對畫面包括左視圖和右視圖。本發(fā)明原理的噪聲產(chǎn)生技術(shù)首先針對畫面對中的左視圖畫面產(chǎn)生舒適噪聲，然后使用該值來產(chǎn)生針對畫面對中的右視圖畫面的舒適噪聲。
[0014]為了產(chǎn)生針對畫面對中的左視圖畫面的噪聲，圖1的舒適噪聲產(chǎn)生器20利用加性噪聲模型(additive noise model)，在加性噪聲模型中，針對給定畫面的噪聲(下文中被稱作“噪聲”畫面)N可以在數(shù)學(xué)上由以下關(guān)系表示:
[0015]N(k，X，y) = a (k，x，y) XN(k_l，x，y) + (l_a (k, x, y)) X β (k，x，y) XR(k，x，y)(公式1)
[0016]其中，k是幀號，x、y是像素的橫坐標(biāo)和縱坐標(biāo)。R(k，X，y)是隨機數(shù)，典型地具有高斯或拉普拉斯分布。a (k，x，y)和β (k，x，y)分別是時間相關(guān)和亮度因子，并且取0和1之間范圍中的值。a (k，x，y)取決于重構(gòu)的圖像像素或其對應(yīng)塊與先前顯示畫面中相同位置的像素或塊之間的時間相關(guān)，而β (k，x，y)取決于當(dāng)前像素或其關(guān)聯(lián)塊的亮度。在步驟202期間使用公式(1)產(chǎn)生針對左視圖畫面的舒適噪聲畫面(NJ之后，可以在步驟204期間將該噪聲畫面添加至左視圖畫面。
[0017]在步驟204之后，進行針對右視圖畫面的噪聲畫面(Nr)的合成。右視圖噪聲畫面NR的合成在多個步驟中進行。首先，在步驟206期間，對左噪聲畫面Nl進行翹曲(warping)，以獲得典型地具有“孔洞”或缺失值的右視圖噪聲畫面(NRwlthHcilJ。以下參照圖3，將清楚填充這種孔洞的方式。
[0018]翹曲3D畫面的處理典型地需要將像素從一個或多個圖像投影到新的視點(viewpoint)和參考平面。在本領(lǐng)域中存在使用場景和深度信息(可以分別從圖1的視頻解碼器16和深度解碼器17獲得)來完成3D圖像翹曲的多種技術(shù)。例如，基于深度的圖像渲染(rendering)構(gòu)成一種使用矩陣乘法根據(jù)參考圖像和關(guān)聯(lián)的深度信息來合成虛擬視圖的公知處理。
[0019]在步驟206之后，執(zhí)行圖2的步驟208，以填充右視圖噪聲畫面(NRwlthHciles)中的孔洞，以獲得更完整的右視圖噪聲畫面(Nr)。參照圖3將更好地理解進行孔洞填充的處理。然后在步驟210期間向右視圖添加右視圖噪聲畫面(Nr)。接著，執(zhí)行步驟212，檢查視頻圖像中是否存在另外的畫面供處理。如果不存在另外的畫面供處理，則處理在步驟214處結(jié)束。否則，再次執(zhí)行步驟202-212，直到不存在其他畫面為止。
[0020]圖2中示出的舒適噪聲添加方法假定左噪聲畫面和右噪聲畫面具有與視頻圖像相同的視差(disparity)。與簡單地向右視圖和左視圖添加相同噪聲或分別添加噪聲畫面相比，本發(fā)明原理的依賴于深度信息來合成噪聲畫面的舒適噪聲添加技術(shù)在經(jīng)驗上提供最佳觀看質(zhì)量。
[0021]圖3示出了根據(jù)本發(fā)明原理的用于填充右視圖噪聲畫面(NRwlthHc]1J中的孔洞(缺失值)的方法步驟的流程圖。與孔洞區(qū)域中的基礎(chǔ)真實信息(ground truth informat1n)存在但與其他視點保持非閉合(dis-occluded)的常規(guī)孔洞填充問題不同，在翹曲的噪聲畫面的孔洞區(qū)域中不存在這樣的基礎(chǔ)真實信息。為了克服該問題，本發(fā)明原理的孔洞填充方法并不傳播背景噪聲，而相反產(chǎn)生新的噪聲信息。產(chǎn)生新噪聲引起偽像減少，從而左視圖畫面和右視圖畫面在添加舒適噪聲之后看起來更自然。
[0022]圖3的方法在步驟300處開始，在步驟300期間進行初始化。接著，執(zhí)行步驟302，標(biāo)記或另外識別右視圖噪聲畫面(NRwlthHc]1J中需要填充的區(qū)域(即，“孔洞”)，即，具有需要校正的缺失值的區(qū)域。在步驟304期間，針對每個“孔洞”，圖1的舒適噪聲產(chǎn)生器20基于針對包括該孔洞的像素的圖像和深度信息來產(chǎn)生針對該孔洞的舒適噪聲。此后，將步驟304期間針對孔洞而產(chǎn)生的噪聲值復(fù)制到右視圖噪聲畫面(NRwlthHcilJ中，以獲得更完整的右噪聲畫面(Nr)。此后，處理在步驟308處結(jié)束。
[0023]在運動畫面膠片上記錄的圖像通常呈現(xiàn)可感知的顆粒。這樣的顆粒構(gòu)成已處理照片膠片的隨機光學(xué)紋理，這是由于存在從已經(jīng)接收到足夠光子的鹵化銀顯影的金屬銀的小顆粒。因此，不同畫面或視圖中的膠片顆粒彼此無關(guān)。當(dāng)按照3D模式觀看膠片時，無關(guān)的噪聲引起不適的視覺效果。
[0024]根據(jù)本發(fā)明原理的另一實施例，提取圖像中原始存在的膠片顆粒，并且用針對3D觀看而特殊合成的膠片顆粒來代替，以免不適的視覺效果。圖4示出了提取原始顆粒并基于深度信息合成膠片顆粒的方法步驟的流程圖。
[0025]圖4的方法在執(zhí)行開始步驟400時開始，在開始步驟400期間進行初始化。此后，在步驟402期間提取左視圖畫面中存在的膠片顆粒(GrainJ?，F(xiàn)有的膠片顆粒提取器(未示出)可以用來提取這種顆粒。由于膠片顆粒在時間上非相關(guān)地，但是具有一些空間相關(guān)性，因此一個或多個時間濾波器(未示出)可以去除膠片顆粒。濾波之后時間上平滑的圖像與原始圖像之間的差包括提取的膠片顆粒。在步驟402之后，執(zhí)行步驟404，在步驟404期間使用相似技術(shù)來從右視圖畫面中提取膠片顆粒(Grai