專利名稱：通過一個(gè)或者多個(gè)參數(shù)表示圖像粒度的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于模擬膠片顆粒的技術(shù)。
背景技術(shù)：
運(yùn)動(dòng)畫面膠片包括散布于乳膠中的鹵化銀晶體，其在片基上被涂以薄層。這些晶體的曝光和顯影形成了由離散的細(xì)小銀顆粒組成的攝影圖像。在彩色底片(color negative)中，在其中銀在顯影之后被以化學(xué)方法移除，染色的細(xì)小斑點(diǎn)存在于銀晶體形成的位置。這些染色的小的斑點(diǎn)在彩色膠片中通常稱為“顆?！?。顆粒因?yàn)樵谠既槟z上的銀晶體的隨機(jī)構(gòu)成而表現(xiàn)為隨機(jī)分布于所得到的圖像上。在均勻的曝光區(qū)域中，一些晶體在曝光之后顯影而其余的不顯影。
顆粒在大小和形狀上發(fā)生變化。膠片越快，銀形成的塊和染色產(chǎn)生的斑點(diǎn)越大，并且它們越趨向于以隨機(jī)圖案組合在一起。顆粒圖案典型地被稱為“粒度”。裸視不能區(qū)分從0.0002mm變化到大約0.002mm的個(gè)別顆粒。替換地，眼睛分辨顆粒組(被稱為斑點(diǎn))。觀眾識(shí)別這些斑點(diǎn)組作為膠片顆粒。當(dāng)圖像分辨率變得越大，膠片顆粒的感知度越高。在電影和高清晰度的圖像上，膠片顆粒變得清晰可見，然而在SDTV中，膠片顆粒逐漸失去了重要性，并以更小的格式而變得察覺不到。
運(yùn)動(dòng)畫面膠片典型地包含由或者曝光的物理過程和攝影膠片的顯影產(chǎn)生的、或者由圖像的后續(xù)的編輯產(chǎn)生的圖像相關(guān)干擾。該攝影膠片處理特征準(zhǔn)隨機(jī)圖案、或者結(jié)構(gòu)，從攝影乳膠的物理粒度中產(chǎn)生。換句話說，可以在計(jì)算機(jī)產(chǎn)生圖像之上來模擬類似圖案，以便利用攝影膠片混合它們。在這兩種情況下，該圖像相關(guān)干擾被稱為顆粒。非常平常的是，適度的顆粒結(jié)構(gòu)在運(yùn)動(dòng)圖畫中表現(xiàn)為期望的特征。在一些示例下，膠片顆粒提供促進(jìn)二維圖畫的正確感知的視覺線索。膠片顆粒在單個(gè)的膠片中經(jīng)常變化，以提供有關(guān)時(shí)基、視點(diǎn)等各種線索。存在許多其他的技術(shù)的和工藝的應(yīng)用，用來控制運(yùn)動(dòng)畫面工業(yè)中的顆粒結(jié)構(gòu)。因此，在整個(gè)圖像處理和傳送鏈中，保存圖像的粒狀外觀已經(jīng)變成在運(yùn)動(dòng)畫面工業(yè)中的一項(xiàng)需求。
一些商用產(chǎn)品具有模擬膠片顆粒的能力，通常用于將計(jì)算機(jī)產(chǎn)生對象混合到自然場景中。來自紐約州羅徹斯特市的Eastman柯達(dá)公司的Cineon，是首先執(zhí)行顆粒模擬的數(shù)字化膠片應(yīng)用之一，產(chǎn)生用于多種顆粒類型的非常真實(shí)的結(jié)果。但是，因?yàn)樵搼?yīng)用針對高粒度設(shè)置而產(chǎn)生的顯著斜紋，該Cineon應(yīng)用沒有產(chǎn)生用于多個(gè)高速膠片的良好性能。此外，Cineon應(yīng)用在圖像進(jìn)行先前處理的時(shí)候，未能以充分的保真度來模擬顆粒，例如當(dāng)圖像被復(fù)制或數(shù)字處理時(shí)。
另一種模擬膠片顆粒的商業(yè)產(chǎn)品是來自Visual Infinity有限公司的Grain SurgeryTM，它被用作AdobeAfter Effects的插件程序。Grain SurgeryTM產(chǎn)品表現(xiàn)為通過濾波一組隨機(jī)數(shù)而產(chǎn)生合成顆粒。該方法受到高的計(jì)算復(fù)雜度的缺陷的制約。
這些過去的方案都沒有解決在壓縮視頻恢復(fù)時(shí)恢復(fù)膠片顆粒的問題。膠片顆粒構(gòu)成高頻率準(zhǔn)隨機(jī)現(xiàn)象，其典型地不能夠經(jīng)過使用傳統(tǒng)的利用視頻序列中的冗余的空間和時(shí)間的方法的壓縮。利用MPEG-2或者ITU-T/ISO H.264壓縮技術(shù)來處理原始膠片的圖像的嘗試通常導(dǎo)致了或者不可接受的低壓縮度、或者顆粒結(jié)構(gòu)(grain texture)的完全丟失。
因此，存在對用于通過一組或多組參數(shù)來表示膠片顆粒特征的技術(shù)的需求。

發(fā)明內(nèi)容
簡要地，按照當(dāng)前原理的優(yōu)選實(shí)施例，提供了一種用于模擬膠片顆粒的技術(shù)。該方法由在圖像信息流(例如，包括膠片圖像的視頻流)中的特征化開始，以提供表示圖像信息流中的膠片顆粒的信息。該膠片顆粒信息包括一組可能的參數(shù)中的至少一個(gè)，該參數(shù)指定圖像流中的膠片顆粒的不同屬性。然后，對膠片顆粒信息進(jìn)行編碼用于后續(xù)的傳送。


圖1示出了根據(jù)當(dāng)前原理的、用于根據(jù)當(dāng)前原理來模擬膠片顆粒的系統(tǒng)的第一實(shí)施例的框圖；圖2示出了根據(jù)當(dāng)前原理的、用于根據(jù)當(dāng)前原理來模擬膠片顆粒的系統(tǒng)的第二實(shí)施例的框圖；圖3示出了根據(jù)當(dāng)前原理的、用于根據(jù)當(dāng)前原理來模擬膠片顆粒的系統(tǒng)的第三實(shí)施例的框圖；具體實(shí)施方式
圖1描述了根據(jù)當(dāng)前原理的、用于根據(jù)當(dāng)前原理執(zhí)行膠片顆粒模擬的系統(tǒng)10的第一實(shí)施例的示意方框圖。該系統(tǒng)10包括膠片顆粒移除器22，其用來從輸入視頻流12中移除膠片顆粒，以產(chǎn)生在視頻編碼器13處接收的已濾波的視頻流24。膠片顆粒移除構(gòu)成了噪聲濾波的特定情況，其中噪聲信號與圖像信號相互關(guān)聯(lián)。因此，膠片顆粒移除器22可以采用傳統(tǒng)的圖像濾波器的形式，盡管這樣的濾波器將未必提供最佳性能。該視頻編碼器13編碼已濾波的視頻流24以產(chǎn)生編碼的視頻流14，用于在視頻解碼器15處接收，該視頻解碼器解碼已編碼的流以產(chǎn)生解碼視頻流16。視頻編碼器13和視頻解碼器15利用本領(lǐng)域公知的相同的視頻編碼方案。例如，視頻編碼方案可以包括ITU-TH.264視頻編碼標(biāo)準(zhǔn)，或者另一種基于塊的編碼。利用MPEG-2和ITU-TH.264標(biāo)準(zhǔn)的編碼器和解碼器是公知的。
系統(tǒng)10還包括膠片顆粒表征器23，它接收輸入視頻流12和已濾波的視頻流24。從這些視頻流中，膠片顆粒表征器23輸出消息，在下文中稱為顆粒消息，它包括用于模擬顆粒的模型的身份，以及一組多個(gè)參數(shù)中的至少一個(gè)，包括由識(shí)別模型使用的相關(guān)性參數(shù)、強(qiáng)度無關(guān)參數(shù)和強(qiáng)度相關(guān)參數(shù)。如在下面詳細(xì)描述的，在膠片顆粒消息中的參數(shù)使用已識(shí)別模型來激活原始圖像相關(guān)噪聲的模擬。在缺少任何參數(shù)時(shí)，一個(gè)默認(rèn)值被分配給缺少的參數(shù)。(實(shí)際上，如果沒有模型被識(shí)別，將采用用于膠片顆粒的默認(rèn)模型)。在一個(gè)實(shí)施例中，膠片顆粒表征器23根據(jù)基于曝光的物理過程和攝影膠片的顯影、或者基于在后續(xù)的圖像編輯期間增加的過程的模型來產(chǎn)生參數(shù)。
在顆粒信息的產(chǎn)生之后，膠片顆粒特征信息編碼器26編碼該消息，用于從由視頻解碼器13傳送到視頻解碼器15的已編碼視頻流14的頻帶內(nèi)或頻帶外，傳送到膠片顆粒特征信息解碼器28。視頻編碼器13和膠片顆粒特征信息編碼器26使用相同的編碼方案。因而，例如，當(dāng)編碼器26利用ITU-TH.264視頻編碼標(biāo)準(zhǔn)用于編碼時(shí)，該已編碼的膠片顆粒特征信息流27可以采用膠片顆粒輔助增強(qiáng)型信息(SEI)消息的形式，如在ITU-TH.264視頻編碼標(biāo)準(zhǔn)中定義的。
該膠片顆粒特征信息解碼器28解碼已編碼的膠片顆粒信息27，以產(chǎn)生解碼的膠片顆粒特征信息流29，用于輸入到膠片顆?；謴?fù)處理器30。如在下文中詳細(xì)描述的，處理器30將使用信息中的參數(shù)來以在顆粒信息中識(shí)別的模型來模擬膠片顆粒。在缺少模型識(shí)別時(shí)，處理器30將采用默認(rèn)模式。同樣地，在缺少給定參數(shù)的特定值時(shí)，處理器30將采用針對該參數(shù)的默認(rèn)值。
在優(yōu)選實(shí)施例中，圖1的顆粒信息25典型地包括一個(gè)或者多個(gè)指定空間相關(guān)性、縱橫比、彩色相關(guān)性和時(shí)間相關(guān)性的相關(guān)性參數(shù)。這些參數(shù)中的每一個(gè)在下面將要被描述。
空間相關(guān)性在一個(gè)示范性實(shí)施例中，在空間域中的膠片顆粒中的圖像相關(guān)的相關(guān)性可以利用至少一個(gè)參數(shù)(空間相關(guān)性)來建模。該測定的空間相關(guān)性確定了斑點(diǎn)的大小。用于空間相關(guān)性的二階自動(dòng)回歸模型和卷積模型在下文中將被描述。
縱橫比理論上，膠片顆?？梢员憩F(xiàn)為各向同性的，在X和Y方向上具有相同的特性。但是，實(shí)際上，膠片顆粒實(shí)際上表現(xiàn)為在一個(gè)方向上伸展，通常由與膠片記錄相關(guān)的因素產(chǎn)生，例如使用失真光學(xué)器件或者非正方形檢測器幾何結(jié)構(gòu)。由于那些原因，當(dāng)對膠片顆粒進(jìn)行建模時(shí)，表示縱橫比因子的強(qiáng)度無關(guān)參數(shù)將補(bǔ)充空間相關(guān)性測量。該顆粒斑點(diǎn)的縱橫比將由至少一個(gè)參數(shù)來指定。
彩色相關(guān)性根據(jù)當(dāng)前原理，在彩色圖像中的膠片顆粒的層依賴性將使用彩色相關(guān)性來表示。該測量的彩色相關(guān)性決定顆粒的感知色彩。弱彩色相關(guān)性意味著在不同的彩色層中創(chuàng)建的顆粒斑點(diǎn)隨機(jī)地彼此覆蓋。因而，觀眾將感知被涂以彩色的顆粒。強(qiáng)彩色相關(guān)性意味著在一個(gè)顏色分量上的顆粒斑點(diǎn)取決于另一個(gè)顏色分量。在這種情況下，觀眾將感知單色的顆粒。
時(shí)間相關(guān)性在序列中的顆粒的時(shí)間相關(guān)性由至少一個(gè)參數(shù)表示。顆粒自身不能表現(xiàn)出幀之間的時(shí)間相關(guān)性，但是表示時(shí)間相關(guān)性的參數(shù)的引入可以幫助模擬由于膠片的編輯引起的其他觀察到的效應(yīng)。
噪聲強(qiáng)度結(jié)合在前的利用膠片圖像表示膠片顆粒的依賴性的參數(shù)的描述，存在對表示在開始于膠片顆粒的隨機(jī)過程中引起的噪聲強(qiáng)度的需求。噪聲強(qiáng)度對于每一個(gè)顏色分量是變化的，并將取決于膠片圖像。該顆粒的強(qiáng)度決定了噪聲在圖像中被感知的級別。小的顆粒強(qiáng)度級在原始圖像中引入了較小的變化，并且?guī)缀醪伙@著。高的強(qiáng)度級變得清晰可見，如疊加在圖像上的峰值。
其他參數(shù)除了上述參數(shù)，所述顆粒信息可以包括識(shí)別在其中添加膠片顆粒的顏色空間的參數(shù)、和用于混合顆粒和視頻信號的混合模式。注意，針對每一個(gè)顏色分量和針對膠片圖像的不同強(qiáng)度級，可以傳送不同參數(shù)集合。眾所周知的是，例如，膠片顆粒取決于圖像的局部亮度，并且不同的顏色分量可以具有取決于生膠片的類型的不同顆粒。
圖1的膠片顆粒表征器23根據(jù)圖像的強(qiáng)度級，可以產(chǎn)生不同參數(shù)集合。如果需要，膠片顆粒解碼器28可以將參數(shù)集合內(nèi)插到多種強(qiáng)度級，以便得到膠片顆粒特征的平穩(wěn)過渡。
為了解釋該組參數(shù)，膠片顆粒解碼器28必須具有產(chǎn)生參數(shù)的模型的規(guī)格。為了理解這樣的模型如何被指定，下述的數(shù)學(xué)關(guān)系將證明是有用的。首先，在圖像位置(x，y)、彩色通道c和幀序號為T的解碼圖像像素值表示為I(x，y，c，t)。為了方便起見，假定像素值被標(biāo)定為具有最大值1。進(jìn)一步，假定RGB圖像表達(dá)式(c＝1，2或3)為YUV表達(dá)式，盡管這個(gè)模型可以直接針對單色圖像，并且具有顯而易見的修改。
利用附加的顆粒模型，顆粒模擬將每一個(gè)像素值改變?yōu)镴(x，y，c，t)，其中J(x，y，c，t)按如下關(guān)系式給定J(x，y，c，t)＝I(x，y，c，t)+G(x，y，c，t，L(x，y，t))，其中，L(x，y，t)是圖像中的局部強(qiáng)度的測量，而G(x，y，c，t，L(x，y，t))定義了顆粒值。一個(gè)可能的實(shí)現(xiàn)是定義L為亮度，或者在所有的彩色通道上強(qiáng)度I(x，y，c，t)的加權(quán)和。
由公式(1)給定的加法模型在對數(shù)強(qiáng)度刻度被使用時(shí)是合適的。對于線性刻度，公式(1)的模型可以被下面的乘法模式替代(1a)J(x，y，c，t)＝I(x，y，c，t)*(1+G(x，y，c，t，L(x，y，t)))。
實(shí)現(xiàn)加法還是乘法顆粒模型將取決于解碼圖像的格式。通常，顆粒應(yīng)該包括最大像素值的較小的片斷。
以下將描述根據(jù)本發(fā)明用于提取一組參數(shù)的不同類型的模型的一些例子。
1、膠片顆粒圖案的自回歸模擬在一個(gè)示范性實(shí)施例中，二階自動(dòng)回歸模式可以用于對空間相關(guān)性進(jìn)行建模，且一階回歸模式可以用于對交叉彩色和時(shí)間相關(guān)性進(jìn)行建模。所有的相關(guān)性因素取決于解碼圖像的亮度。水平和垂直的空間相關(guān)性因素以恒定的縱橫比因子而關(guān)聯(lián)。在這種條件下，下面的公式將產(chǎn)生模擬的顆粒值，(2)G(x，y，c，t，L)＝p(c，L)*N+q(c，L)*(G(x-1，y，c，t，L)+A*G(x，y-1，c，t，L))+r(c，L)*A*(G(x-1，y-1，c，t，L)+G(x+1，y-1，c，t，L))+s(c，L)*(G(x-2，y，c，t，L)+A*A* (G(x，y-2，c，t，L))+u(c，L)*G(x，y，c-1，t，L)+v(c，L)*G(x，y，c，t-1，L)其中，N是歸一化高斯分布的隨機(jī)值，A是恒定像素縱橫比，p、q、r、s、u和v是相關(guān)性參數(shù)。針對第一彩色通道，參數(shù)u總是為0，無論何時(shí)當(dāng)任何指數(shù)超出范圍時(shí)，顆粒值G被假定為0。
可以從等式(2)中看出，在給定的彩色通道中，用于給定像素的顆粒值利用在先計(jì)算的顆粒值被遞歸計(jì)算。特定地，幀按照遞增幀序號的順序被計(jì)算(也就是，遞增t)。在每一幀中，彩色通道處理以遞增彩色通道序號的順序發(fā)生(也就是，遞增c)。在每一個(gè)彩色通道中，象素被以遞增x和y的順序被水平地和而后垂直地掃描。當(dāng)該順序被遵從時(shí)，自動(dòng)地預(yù)先計(jì)算由等式(2)所需的所有顆粒值。
在特定環(huán)境下，垂直的掃描證明更加實(shí)用，也就是，像素處理首先按列發(fā)生。在這樣的情況下，等式(2)將需要細(xì)小的修改而僅僅使用在先計(jì)算值(2a)G(x，y，c，t，L)＝p(c，L)*N+q(c，L)*(G(x-1，y，c，t，L)+A*G(x，y-1，c，t，L))+r(c，L)*A*(G(x-1，y-1，c，t，L)+G(x-1，y+1，c，t，L))+s(c，L)*(G(x-2，y，c，t，L)+A*A*(G(x，y-2，c，t，L))+u(c，L)*(G(x，y，c-1，t，L)+v(c，L)*(G(x，y，c，t-1，L)。
實(shí)現(xiàn)等式(2)或者等式(2a)需要特定的最小解碼能力。首先，膠片顆粒信息解碼器28必須實(shí)時(shí)地執(zhí)行所有的計(jì)算。第二，膠片顆粒信息解碼器28需要在存儲(chǔ)器中保存許多在先計(jì)算的顆粒值。特定地，為了實(shí)現(xiàn)時(shí)間相關(guān)性(也就是，在等式(2)和(2a)中的最后一項(xiàng))，膠片顆粒信息解碼器28需要保存用于全部在先幀的顆粒值。從這個(gè)觀點(diǎn)，等式(2)的模型允許利用一些保真度的降低、按比例逐漸縮小需求是很重要的。
具有輕微的低保真度的系統(tǒng)可以忽略等式(2)中的最后(時(shí)間)一項(xiàng)。這樣做將消除對保存來自在先幀的顆粒值的附加幀緩沖器的需求。進(jìn)一步節(jié)省成本將依靠忽略在等式(2)中的那些取決于s(c，L)的項(xiàng)來實(shí)現(xiàn)。這樣做可以消除將將第二在先行存儲(chǔ)在存儲(chǔ)器的需求并減少了計(jì)算的次數(shù)。忽略由項(xiàng)r(c，L)描述的對角線相關(guān)性等將實(shí)現(xiàn)進(jìn)一步減少復(fù)雜度的目的。最低質(zhì)量的顆粒模擬將僅僅使用白噪聲項(xiàng)。
無論何時(shí)當(dāng)在比例縮小的系統(tǒng)中一項(xiàng)被忽略時(shí)，益處將產(chǎn)生(如果膠片顆粒信息解碼器28調(diào)整剩余參數(shù)，從而有效的一階相關(guān)性和甚至更重要的該自相關(guān)(噪聲功率)保持與它們在由等式(2)表達(dá)的模型的滿刻度實(shí)現(xiàn)中相同)。在缺乏所有的在先顆粒值的可用性時(shí)，針對每一幀的第一行和列，相同的調(diào)整將發(fā)生。
通過針對除了第一彩色通道之外的所有通道，將參數(shù)p、q、r和s設(shè)置為零，并且將彩色相關(guān)性u(c，L)設(shè)置為1，其中c＞1，在等式(2)中表達(dá)的模型的靈活性將進(jìn)一步體現(xiàn)。在這樣的條件下，顆粒完全變?yōu)閱紊?。這組參數(shù)值可以描述依靠彩色空間的在先YUV 4:2:0變換洗凈的顏色變化的情況。
對于三種顏色的集合，等式(2)的模型描述了按照針對每一個(gè)亮度級的17個(gè)參數(shù)的組的顆粒模式，加上不取決于亮度的縱橫比?？梢葬槍Χ鄠€(gè)固定的亮度級別，對亮度相關(guān)參數(shù)進(jìn)行編碼。該解碼器將內(nèi)插針對中間亮度級別的參數(shù)值。
顆粒參數(shù)不必精確地以等式(2)的形式來表示。例如，任何一對一的參數(shù)的變換可以被使用。此外，參考強(qiáng)度級別的不同設(shè)定可以用于不同的參數(shù)，且不同的內(nèi)插模式可以被使用，等等。
2、在空間域中模擬膠片顆粒圖案的卷積在另一個(gè)示范性實(shí)施例中，膠片顆粒圖案可以通過將一組隨機(jī)數(shù)x與以下列形式定義的線性、時(shí)不變、數(shù)字濾波h進(jìn)行卷積來進(jìn)行模擬(3)h＝(h0，h1，，h2，h3，…h(huán)n)這表明濾波器輸出模擬膠片顆粒y(n)是輸入x(n)與濾波器沖激響應(yīng)h(n)的卷積。
(4)...y(n)=Σi=0nx(i)h(n-i)=(x*h)(n)]]>盡管等式(4)在一維中產(chǎn)生模擬，二維模式可以通過級聯(lián)一維中的垂直的和水平卷積而獲取。在這樣的情況下，除了縱橫比因子之外，應(yīng)該傳送濾波器的系數(shù)。
具備有限能力的膠片顆粒信息解碼器28可以限定卷積核的空間大小，這將導(dǎo)致存儲(chǔ)器和處理能力的需求的減小。
3.在變換域中模擬膠片顆粒圖案的濾波如前所述，利用濾波器h的沖激響應(yīng)與一組隨機(jī)數(shù)x的卷積可以表征膠片顆粒圖案。相同的操作也可以通過依靠沖激響應(yīng)H的傅立葉變換和隨機(jī)數(shù)x集合的傅立葉變換的頻率域乘積來描述。
(5)Y(u)＝X(u)·H(u)在頻率域內(nèi)的濾波提供了以下優(yōu)點(diǎn)因?yàn)槿绻鳛闉V波或者壓縮處理的一部分，圖像的傅立葉變換可用，計(jì)算會(huì)更快。
以下參數(shù)集合根據(jù)當(dāng)前原理產(chǎn)生了令人滿意的表示圖像相關(guān)顆粒的結(jié)果。這些參數(shù)采用模擬顆粒的一個(gè)自回歸方法。用于其他方法的參數(shù)將由類似的表來表示。
彩色空間對數(shù)RGB混合模式加法縱橫比1強(qiáng)度級數(shù)3用于R分量的參數(shù)


用于G分量的參數(shù)

用于B分量的參數(shù)

在該表格中沒有示出的相關(guān)性參數(shù)被設(shè)定為0。
在指定定義了不同的參數(shù)的彩色空間、混合模式、縱橫比和強(qiáng)度級之后，對每一個(gè)顏色分量上的膠片顆粒進(jìn)行編碼。注意，僅僅斜體的數(shù)據(jù)以及一些級別(強(qiáng)度)信息必須被傳送。
圖2描述了根據(jù)當(dāng)前原理的用于模擬膠片顆粒的系統(tǒng)10’的第二實(shí)施例。系統(tǒng)10’共享與圖1的系統(tǒng)10相同的一些元件，且相同的參考數(shù)字描述相同的元件。實(shí)際上，圖2的系統(tǒng)10’不同僅在于缺少圖1的膠片顆粒特征信息編碼器26和膠片顆粒特征信息解碼器28。圖2的系統(tǒng)10’利用視頻編碼器13和視頻解碼器15來分別解碼和編碼膠片顆粒表征器23輸出的膠片顆粒特征信息25。圖2的系統(tǒng)10’需要使用支持作為并行增強(qiáng)型信息的膠片顆粒特征信息的傳送的視頻編碼標(biāo)準(zhǔn)。
圖3描述了根據(jù)當(dāng)前原理的用于模擬膠片顆粒的系統(tǒng)10”的第三實(shí)施例。系統(tǒng)10”共享與圖2的系統(tǒng)10’相同的一些元件，且相同的參考數(shù)字描述相同的元件。實(shí)際上，圖3的系統(tǒng)10”不同僅在于缺少圖2的膠片顆粒移除器22。圖3的系統(tǒng)10”利用在視頻編碼器13上可用的重建圖像來模擬膠片顆粒的移除效果。圖3的系統(tǒng)10”與圖1的系統(tǒng)10和圖2的系統(tǒng)10’比較，提供了以下兩個(gè)優(yōu)點(diǎn)。第一，圖3的系統(tǒng)10”減少了與膠片顆粒移除相關(guān)的計(jì)算復(fù)雜度，第二，它使膠片顆粒特征適合于由視頻編碼器13抑制的膠片顆粒的數(shù)量。一旦圖3的膠片顆粒表征器處理輸入視頻12和膠片顆粒、和由視頻編碼器13產(chǎn)生的重建的視頻24，它可以完成特征化所觀察的膠片顆粒的任務(wù)。
前面描述了用于在視頻信號中模擬膠片顆粒的技術(shù)。盡管已經(jīng)結(jié)合視頻信號的編碼和解碼描述了膠片顆粒模擬技術(shù)，該技術(shù)可以具有用于其他目的的相等的適用性，例如，運(yùn)動(dòng)畫面膠片的后期產(chǎn)生。在這點(diǎn)上，原始圖像能夠以除壓縮視頻信號以外的形式的圖像信息來存在，且膠片顆粒信息能夠以除作為消息(例如SEI信息)以外的形式存在。例如，圖像信息能夠以本領(lǐng)域現(xiàn)有的各種不同格式類型中的一種的形式存在。
權(quán)利要求
1.一種提供膠片顆粒信息的方法，包括步驟對圖像信息流進(jìn)行特征化以提供表示圖像流內(nèi)的膠片顆粒的信息，所述膠片顆粒信息包括一組可能的參數(shù)中的至少一個(gè)參數(shù)，所述參數(shù)指定圖像流中的膠片顆粒的不同屬性；編碼所述膠片顆粒信息，用于后續(xù)傳輸。
2.根據(jù)權(quán)利要求1所述的方法，其中所述一組參數(shù)包括多個(gè)相關(guān)性參數(shù)和多個(gè)強(qiáng)度無關(guān)參數(shù)。
3.根據(jù)權(quán)利要求2所述的方法，其中至少一個(gè)相關(guān)性參數(shù)定義了膠片顆粒的感知圖案中的空間相關(guān)性。
4.根據(jù)權(quán)利要求2所述的方法，其中至少一個(gè)相關(guān)性參數(shù)定義了顏色層之間的相關(guān)性。
5.根據(jù)權(quán)利要求2所述的方法，其中至少一個(gè)相關(guān)性參數(shù)定義了由圖像序列的在先處理產(chǎn)生的時(shí)間相關(guān)性。
6.根據(jù)權(quán)利要求2所述的方法，其中至少一個(gè)強(qiáng)度無關(guān)參數(shù)定義了膠片顆粒的縱橫比。
7.根據(jù)權(quán)利要求1所述的方法，其中至少一個(gè)參數(shù)定義了膠片顆粒的隨機(jī)分量的強(qiáng)度。
8.根據(jù)權(quán)利要求2所述的方法，其中至少一個(gè)強(qiáng)度無關(guān)參數(shù)定義了顏色空間和用來合并模擬的膠片顆粒與圖像的混合模式操作。
9.根據(jù)權(quán)利要求1所述的方法，還包括傳送相對于圖像表示信息在頻帶外傳輸?shù)哪z片顆粒信息的步驟。
10.根據(jù)權(quán)利要求1所述的方法，還包括傳送相對于圖像表示信息在頻帶內(nèi)傳輸?shù)哪z片顆粒信息的步驟。
11.根據(jù)權(quán)利要求2所述的方法，其中所述一組參數(shù)是根據(jù)空間相關(guān)性的二階自動(dòng)回歸表示、以及交叉色和時(shí)間相關(guān)性的一階回歸表示計(jì)算出的。
12.根據(jù)權(quán)利要求3所述的方法，其中描述了顆粒的空間相關(guān)性的所述至少一個(gè)參數(shù)是根據(jù)空間卷積模型而確立的。
13.根據(jù)權(quán)利要求3所述的方法，其中描述了顆粒的空間相關(guān)性的所述至少一個(gè)參數(shù)是從濾波器在傅立葉域中的截止頻率而獲得的。
14.如權(quán)利要求1所述的方法，其中編碼步驟包括根據(jù)ITU-T H.264視頻編碼標(biāo)準(zhǔn)來編碼膠片顆粒信息。
15.一種用于提供膠片顆粒的設(shè)備，包括用于對圖像信息流進(jìn)行特征化以提供圖像流內(nèi)的膠片顆粒的信息的第一裝置，所述信息包括一組可能的參數(shù)中的至少一個(gè)參數(shù)，所述參數(shù)指定了在圖像流中的膠片顆粒的不同屬性；用于編碼膠片顆粒信息以便于后續(xù)傳送的第二裝置。
16.根據(jù)權(quán)利要求15所述的設(shè)備，其中所述一組參數(shù)包括多個(gè)相關(guān)性參數(shù)和多個(gè)強(qiáng)度無關(guān)參數(shù)。
17.根據(jù)權(quán)利要求16所述的設(shè)備，其中至少一個(gè)相關(guān)性參數(shù)定義了膠片顆粒的感知圖案中的空間相關(guān)性。
18.根據(jù)權(quán)利要求16所述的設(shè)備，其中至少一個(gè)相關(guān)性參數(shù)定義了顏色層之間的相關(guān)性。
19.根據(jù)權(quán)利要求16所述的設(shè)備，其中至少一個(gè)相關(guān)性參數(shù)定義了由圖像序列的在先處理產(chǎn)生的時(shí)間相關(guān)性。
20.根據(jù)權(quán)利要求16所述的設(shè)備，其中至少一個(gè)強(qiáng)度無關(guān)參數(shù)定義了膠片顆粒的縱橫比。
21.根據(jù)權(quán)利要求15所述的設(shè)備，其中至少一個(gè)參數(shù)定義了膠片顆粒的隨機(jī)分量的強(qiáng)度。
22.根據(jù)權(quán)利要求16所述的設(shè)備，其中至少一個(gè)強(qiáng)度無關(guān)參數(shù)定義了顏色空間和用來合并模擬的膠片顆粒與圖像的混合模式操作。
23.根據(jù)權(quán)利要求16所述的設(shè)備，其中第一裝置根據(jù)空間相關(guān)性的二階自動(dòng)回歸表示、以及交叉色和時(shí)間相關(guān)性的一階回歸表示來計(jì)算所述一組參數(shù)。
24.根據(jù)權(quán)利要求17所述的設(shè)備，其中描述了顆粒的空間相關(guān)性的所述至少一個(gè)參數(shù)是根據(jù)空間卷積模型而確立的。
25.根據(jù)權(quán)利要求17所述的設(shè)備，其中描述了顆粒的空間相關(guān)性的所述至少一個(gè)參數(shù)是從濾波器在傅立葉域中的截止頻率而獲得的。
26.根據(jù)權(quán)利要求15所述的設(shè)備，其中第二裝置根據(jù)ITU-T H.264視頻編碼標(biāo)準(zhǔn)來編碼膠片顆粒信息。
全文摘要
為了特征化膠片顆粒，膠片顆粒表征器(23)接收其中膠片顆粒已經(jīng)被移除的輸入信息流(12)和已濾波的信息流(24)。從這些流中，膠片顆粒表征器(23)輸出包含用于模擬顆粒的模型的身份、以及一組多個(gè)參數(shù)中的至少一個(gè)的信息，該參數(shù)包括由已識(shí)別模型使用的相關(guān)性參數(shù)、強(qiáng)度無關(guān)參數(shù)和強(qiáng)度相關(guān)參數(shù)。編碼器(26，13)編碼膠片顆粒信息以便后續(xù)傳輸。
文檔編號H04N5/262GK1788281SQ200480013188
公開日2006年6月14日 申請日期2004年3月30日 優(yōu)先權(quán)日2003年5月15日
發(fā)明者克里斯汀娜·吉奧米拉, 亞歷山大·科比蘭斯基 申請人:湯姆森許可貿(mào)易公司