專利名稱：膠片顆粒模擬的方法、裝置及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及膠片顆粒模擬，更具體地涉及用于有效的、低成本的膠片顆粒模擬實施的方法和系統(tǒng)。
背景技術(shù)：
在顯影處理過程中，膠片顆粒形成于運動畫面圖像中。在HD圖像中膠片顆粒是清晰可見的，并且成為獨特的電影特征，更希望通過整個圖像處理和遞送鏈來保存該特征。然而，由于不能開發(fā)出關(guān)于時間預(yù)測的壓縮增益，所以對于當(dāng)前的編碼器而言膠片顆粒保存是一種挑戰(zhàn)。由于顆粒的隨機特性，只能以非常高的位速率來達到視覺上無損編碼。有損編碼器在對典型地與噪聲和微觀組織(fine texture)相關(guān)聯(lián)的高頻進行濾波時趨向于抑制膠片顆粒。
在最近建立的H.264|MPEG-4 AVC視頻壓縮標(biāo)準中，具體地在其保真度范圍擴展(Fidelity Range Extensions)(FRExt)修改1(JVT-K051，使用修改1的ITU-T推薦H.264 IISO/IEC 14496-10國際標(biāo)準，雷蒙德，USA，2004年6月)中，已經(jīng)定義了膠片顆粒補充增強信息(Supplemental EnhancementInformation)(SEI)消息。這種消息描述關(guān)于像大小和濃度的屬性的膠片顆粒特征，并允許視頻解碼器在解碼后的畫面上模擬膠片顆粒外形(film grainlook)。H.264|MPEG-4 AVC標(biāo)準規(guī)定哪些參數(shù)出現(xiàn)在膠片顆粒SEI消息中，如何解釋它們和用于以二進制格式對SEI消息進行編碼的語法。然而，該標(biāo)準沒有規(guī)定當(dāng)接收到膠片顆粒SEI消息時用來模擬膠片顆粒的精確步驟。
膠片顆粒模擬是在用來在計算機產(chǎn)生的素材(material)上模擬膠片顆粒的后期制作(post-production)中以及在舊膠片庫存的修復(fù)(restoration)過程中使用的相對較新的技術(shù)。對于這類應(yīng)用，在市場上存在像紐約羅徹斯特的Eastman Kodak公司的Cineon以及Visual Infinity公司的Grain SurgeryTM商用軟件。這些工具要求用戶交互并且實施起來是復(fù)雜的，這使得它們不適合用于實時視頻編碼應(yīng)用。此外，這些工具中沒有一個能夠解釋如由H.264/AVC視頻編碼標(biāo)準規(guī)定的膠片顆粒SEI消息。

發(fā)明內(nèi)容
本發(fā)明有利地提供用于有效的、低成本的膠片顆粒模擬實施。
在本發(fā)明的一個實施例中，一種用于在膠片顆粒模擬處理中提供快速訪問膠片顆粒圖案的方法包括提供一高速緩沖存儲器，該高速緩沖存儲器至少具有能夠在膠片顆粒模擬處理中實施的膠片顆粒圖案的全部數(shù)目的一子集；并且響應(yīng)沒有包括在本地高速緩沖存儲器中的、在膠片顆粒模擬處理中需要的膠片顆粒圖案，使用至少包括所需膠片顆粒圖案的至少一個數(shù)據(jù)庫來更新本地高速緩沖存儲器以至少包括所需的膠片顆粒圖案。
在本發(fā)明的替代實施例中，一種用于模擬膠片顆粒的裝置包括用于至少接收編碼的圖像和包括用于膠片顆粒模擬處理的膠片顆粒特性信息的補充信息的部件；包括至少一種膠片顆粒圖案的第一存儲部件；控制器，包括用于存儲指令的存儲器和用于執(zhí)行指令的處理器。該控制器適于執(zhí)行如下步驟確定在膠片顆粒模擬處理中所需的膠片顆粒圖案是否存在于第一存儲部件中，并響應(yīng)沒有包括在第一存儲部件中的、在膠片顆粒模擬處理中所需的膠片顆粒圖案，至少使用第二存儲部件來更新第一存儲部件以至少包括所需的膠片顆粒圖案。


通過結(jié)合附圖考慮下面的詳細描述可以容易地理解本發(fā)明的教導(dǎo)，在附圖中圖1描述依據(jù)本發(fā)明一個實施例的具有膠片顆粒模擬能力的視頻解碼器子系統(tǒng)的高級方框圖；圖2描述適合用于圖1的視頻解碼器子系統(tǒng)中的RAM接口控制器的實施例的高級方框圖；以及圖3描述圖1的膠片顆粒數(shù)據(jù)庫的典型排列的高級方框圖。
應(yīng)該理解，附圖是用于解釋本發(fā)明構(gòu)思的目的，并且不是用于解釋本發(fā)明的唯一可能結(jié)構(gòu)。為了便于理解，如果可能的話，使用相同的標(biāo)號來表示圖中公用的相同元件。
具體實施例方式
本發(fā)明有利地提供用于有效的、低成本的膠片顆粒模擬實施的方法和系統(tǒng)。盡管將主要在，例如消費HD DVD播放機的IC設(shè)計中應(yīng)用的，視頻解碼器子系統(tǒng)的背景下來描述本發(fā)明，但是本發(fā)明的具體實施例不應(yīng)被當(dāng)作限制本發(fā)明的范圍。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解并且通過本發(fā)明的教導(dǎo)應(yīng)當(dāng)?shù)弥景l(fā)明的構(gòu)思可以有利地應(yīng)用在，例如媒體播放機/接收機設(shè)備、解碼器、機頂盒、電視機等中的任何膠片顆粒模擬處理中。
圖1描述了根據(jù)本發(fā)明一個實施例的具有膠片顆粒模擬能力的視頻解碼器子系統(tǒng)的高級方框圖。圖1的視頻解碼器子系統(tǒng)100示意性地包括視頻解碼器(示意性地H.264解碼器)106、視頻顯示器和圖形引擎(graphics engine)108、主機接口110、接口控制器(示意性地RAM接口控制器)112、以及存儲器(示意性地本地Ram存儲器)114，該存儲器114實施為用于存儲遠程膠片顆粒數(shù)據(jù)庫104中的一小子集膠片顆粒圖案的膠片顆粒高速緩沖存儲器。圖1還描述主機CPU102和包括膠片顆粒數(shù)據(jù)庫的永久存儲程序存儲器(示意性地遠程永久存儲存儲器)104。盡管在圖1的視頻解碼器子系統(tǒng)100中，主機CPU102和遠程膠片顆粒存儲器104被描述為包括分立組件，但是在本發(fā)明的替換實施例中，該遠程膠片顆粒數(shù)據(jù)庫104可以位于CPU102的永久存儲器中。此外，盡管在圖1的視頻解碼器子系統(tǒng)100中，視頻解碼器106、視頻顯示器和圖形引擎108、主機接口100、和接口控制器112被描述為包括分立組件，但是在本發(fā)明的替換實施例中，視頻解碼器106、視頻顯示器和圖形引擎108、主機接口100、和接口控制器112可以包括單個組件，并且可以集成在單個集成的片上系統(tǒng)(SoC)中。
此外，盡管在圖1的視頻解碼器子系統(tǒng)100中，用于存儲膠片顆粒圖案的部件被描述為本地Ram存儲器114(高速緩沖存儲器)和遠程膠片顆粒數(shù)據(jù)庫104，但是在本發(fā)明的替換實施例中，實質(zhì)上可以實施任何可訪問的存儲部件來保存膠片顆粒圖案的子集和膠片顆粒圖案的全部數(shù)目。這種部件可以包括存儲盤、磁存儲介質(zhì)、光存儲介質(zhì)或?qū)嵸|(zhì)上任何存儲部件。另外，可以為每個存儲設(shè)備實施一個或多個存儲部件。更進一步，盡管圖1的膠片顆粒數(shù)據(jù)庫104被描述為遙遠地離開Ram存儲器114，但是在本發(fā)明的替換實施例中，膠片顆粒圖案存儲部件可以彼此緊密接近或彼此遠離。
圖2描述了適用于圖1的視頻解碼器子系統(tǒng)100的RAM接口控制器的實施例的高級方框圖。圖2的RAM接口控制器112包括處理器210以及用于存儲控制程序、算法等的存儲器220。處理器210與諸如電源、時鐘電路、高速緩沖存儲器等以及幫助執(zhí)行存儲在存儲器220中的軟件例程的電路的常規(guī)輔助電路230協(xié)作。這樣，預(yù)期在此作為軟件處理討論的一些處理步驟可以在例如作為與處理器210協(xié)作用來執(zhí)行各種步驟的電路的硬件中實施。RAM接口控制器112還包括在與RAM接口控制器112進行通信的各種單獨的功能元件之間形成接口的輸入-輸出電路240。
盡管圖2的RAM接口控制器112被描述為編程執(zhí)行根據(jù)本發(fā)明的各種控制功能的通用計算機，但是本發(fā)明也可以在例如作為專用集成電路(ASIC)的硬件中實施。這樣，意欲將在此描述的處理步驟更廣地解釋為由軟件、硬件或其組合等效地執(zhí)行。
返回參考圖1的子系統(tǒng)100，遠程膠片顆粒數(shù)據(jù)庫104通過相對較大。在本發(fā)明一個實施例中，H.264視頻解碼器106、視頻顯示器和圖形引擎108、主機接口110、接口控制器112、本地存儲器114包括HD DVD播放機的組件。需要以例如HD DVD播放機的采樣速率來訪問來自遠程膠片顆粒數(shù)據(jù)庫104的膠片顆粒圖案。因此，需要對大膠片顆粒數(shù)據(jù)庫104的快速訪問。在根據(jù)本發(fā)明的圖1的子系統(tǒng)100中，在補充增強信息(SEI)膠片顆粒周期期間，只使用遠程膠片顆粒數(shù)據(jù)庫104的一小部分，該周期被增強而開發(fā)高速緩沖存儲技術(shù)以降低復(fù)雜性。
更具體地，圖1的膠片顆粒模擬處理要求對膠片顆粒SEI消息進行解碼，該膠片顆粒SEI消息是以由修改1(保真度范圍擴展)規(guī)定的國際標(biāo)準ITU-TRec.H.264|ISO/IEC 14496-10位流傳送的，在此將這兩者完整地包括作為參考。在本發(fā)明的一個實施例中，在I(幀內(nèi)編碼的)畫面之前發(fā)送膠片顆粒SEI消息，并且只有一個膠片顆粒SEI消息在特定I畫面之前。
在本發(fā)明的一個實施例中并且依據(jù)這些標(biāo)準規(guī)范，膠片顆粒圖案的遠程膠片顆粒數(shù)據(jù)庫104由4,096個膠片顆粒樣本的169種圖案構(gòu)成，每種圖案表示64×64膠片顆粒圖像。例如，圖3描述圖1的膠片顆粒數(shù)據(jù)庫的典型排列的高級方框圖。圖3描述在x軸具有i_offset(偏移)和在y軸具有j_offset(偏移)的64×64樣本膠片顆粒圖案。圖3還描述各種類型的169種膠片顆粒圖案。
在膠片顆粒數(shù)據(jù)庫104中，使用根據(jù)標(biāo)準規(guī)范的頻率濾波模型的不同的截止頻率對來合成每種膠片顆粒圖案。在膠片顆粒仿真處理期間，使用SEI消息中傳送的截止頻率來訪問膠片顆粒圖案的遠程膠片顆粒數(shù)據(jù)庫104。膠片顆粒數(shù)據(jù)庫104存儲在ROM、閃存、或諸如圖1的視頻解碼器子系統(tǒng)100的膠片顆粒數(shù)據(jù)庫104的其它永久性存儲設(shè)備中，并且典型地不發(fā)生改變。膠片顆粒數(shù)據(jù)庫104包含大量的膠片顆粒形狀與大小的隨機膠片顆粒圖案。然而，對于具體的視頻內(nèi)容序列而言，實際上只需要該數(shù)據(jù)庫的一小子集來有效地模擬膠片顆粒。本說明書將用于任何SEI消息周期的膠片顆粒圖案的數(shù)目限制為一小子集。因此，本發(fā)明實施一小的膠片顆粒高速緩沖存儲器，諸如本地Ram存儲器114，其一接收到SEI消息時就更新。
通常，遠程膠片顆粒數(shù)據(jù)庫104存儲在主機CPU102的或者在主機CPU102的位置的永久存儲器中。然而，視頻解碼器106與視頻顯示器和圖形引擎108需要快速訪問膠片顆粒數(shù)據(jù)庫104。這樣，依據(jù)本發(fā)明，提供本地存儲器114來至少快速訪問膠片顆粒圖案的一子集。即，至少將所需要的或者由現(xiàn)有SEI消息周期最常實施的膠片顆粒圖案的一小子集傳送本地存儲器114到并存儲在本地存儲器114中。
在本發(fā)明的一個實施例中，本地存儲器114大到足以存儲整個膠片顆粒數(shù)據(jù)庫104。在這個實施例中，視頻解碼器106與視頻顯示器和圖形引擎108經(jīng)由接口控制器112，立即且快速地訪問原始存儲在遠程膠片顆粒數(shù)據(jù)庫104中的所有可用膠片顆粒圖案。另外，本發(fā)明的這個實施例具有如下優(yōu)點，即本地存儲器114中的膠片顆粒高速緩沖存儲器不必一接收到SEI消息就更新。然而，這個實施例具有如下缺點，即需要更多的存儲器。然而，在一些實現(xiàn)中，已經(jīng)可獲得這種大存儲器(RAM)空間。
在本發(fā)明的替換實施例中，本地存儲器114只大到足以存儲膠片顆粒數(shù)據(jù)庫104的一子集。在這個實施例中，控制器112每次一接收到SEI消息，就啟動對本地存儲器114的高速緩沖存儲器的檢查，以確定是否需要用在新的SEI消息中選擇的遠程膠片顆粒數(shù)據(jù)庫104中的不同膠片顆粒圖案來代替已在本地存儲器114中的膠片顆粒圖案的子集的任何一個。本技術(shù)的優(yōu)點是較小的本地存儲器114分配。缺點是本地存儲器114的高速緩沖存儲器必須由控制器112來管理，并且在最壞的情況下，必須經(jīng)由例如控制器112，將整個高速緩沖存儲器的大小從遠程膠片顆粒數(shù)據(jù)庫104傳送到用于每個I幀的本地存儲器114。另外，在本發(fā)明的這種實施例中，當(dāng)設(shè)備引導(dǎo)(或復(fù)位)時，可以由控制器112利用存儲在遠程膠片顆粒數(shù)據(jù)庫104中的最普的膠片顆粒圖案來預(yù)初始化本地存儲器114(即，膠片顆粒高速緩沖存儲器)。亦即，選擇哪些膠片顆粒圖案存儲在本地存儲器114中取決于經(jīng)驗數(shù)據(jù)，該經(jīng)驗數(shù)據(jù)是基于在膠片內(nèi)容的廣泛選擇中膠片顆粒數(shù)據(jù)庫104中的什么膠片顆粒圖案是最常用的。
在任何情況下，在本發(fā)明的上述實施例中，結(jié)合控制器112，根據(jù)本發(fā)明的本地存儲器114能夠使得視頻解碼器106與視頻顯示器和圖形引擎108更快地訪問先前只包括在遠程膠片顆粒數(shù)據(jù)庫104中的膠片顆粒圖案。
盡管已經(jīng)描述了用于膠片顆粒模擬的方法、裝置和系統(tǒng)的各種實施例(它們旨在示意而非限制)，但是應(yīng)該注意，按照上述教導(dǎo)本領(lǐng)域技術(shù)人員可以作出修改和變型。因此，應(yīng)該理解，可以在由所附權(quán)利要求書概括的本發(fā)明的范圍和精神之內(nèi)的所公開的本發(fā)明的具體實施例中作出改變。雖然前文所述涉及本發(fā)明的各種實施例，但是在不偏離本發(fā)明的基本范圍的條件下，可以獲得本發(fā)明的其他和進一步的實施例。因此，根據(jù)所附權(quán)利要求書來確定本發(fā)明的適當(dāng)范圍。
權(quán)利要求
1.一種在膠片顆粒模擬處理中快速訪問膠片顆粒圖案的方法，該方法包括下列步驟提供用于存儲至少一種膠片顆粒圖案的第一存儲器；以及響應(yīng)沒有存儲在所述第一存儲器中的、所述膠片顆粒模擬處理所需的膠片顆粒圖案，更新所述第一存儲器以便至少從第二存儲器中至少獲得所需的膠片顆粒圖案。
2.如權(quán)利要求1所述的方法，其中所述第一存儲器在膠片顆粒模擬處理的本地位置。
3.如權(quán)利要求1所述的方法，其中所述第二存儲器位于距離膠片顆粒模擬處理的遠程位置。
4.如權(quán)利要求1所述的方法，其中所述第一存儲器至少存儲在所述膠片顆粒模擬處理中最常實施的膠片顆粒圖案。
5.如權(quán)利要求1所述的方法，其中所述第二存儲器存儲在所述膠片顆粒模擬處理中能夠?qū)嵤┑乃心z片顆粒圖案。
6.如權(quán)利要求1所述的方法，其中在所述膠片顆粒模擬處理期間，所述第一存儲器是膠片顆粒圖案的主要源。
7.一種在膠片顆粒模擬處理中快速訪問膠片顆粒圖案的方法，該方法包括下列步驟提供膠片顆粒模擬處理的本地位置的高速緩沖存儲器，用于至少存儲所述膠片顆粒模擬處理中的能夠?qū)嵤┑娜繑?shù)目的膠片顆粒圖案的一子集；以及響應(yīng)沒有存儲在所述本地高速緩沖存儲器中、所述膠片顆粒模擬處理中所需的膠片顆粒圖案，更新所述本地高速緩沖存儲器以從至少包括所需的膠片顆粒圖案的至少一個數(shù)據(jù)庫中至少獲得所需的膠片顆粒。
8.如權(quán)利要求7所述的方法，其中所述至少一個數(shù)據(jù)庫包括在所述膠片顆粒模擬處理中能夠?qū)嵤┑娜繑?shù)目的膠片顆粒圖案。
9.如權(quán)利要求7所述的方法，其中所述本地高速緩沖存儲器中的膠片顆粒圖案的所述子集包括在所述膠片顆粒模擬處理中最常實施的、來自所述至少一個數(shù)據(jù)庫的膠片顆粒圖案。
10.如權(quán)利要求7所述的方法，其中補充信息消息標(biāo)識在所述膠片顆粒模擬處理中所需的膠片顆粒圖案。
11.如權(quán)利要求10所述的方法，其中所述補充信息消息包括補充增強信息(SEI)消息。
12.一種模擬膠片顆粒的裝置，該裝置包括用于至少接收編碼的圖像和包括用于膠片顆粒模擬處理的膠片顆粒特性信息的補充信息的部件；用于存儲至少一種膠片顆粒圖案的第一存儲部件；控制器，所述控制器適于執(zhí)行如下步驟確定所述膠片顆粒模擬處理中所需的膠片顆粒圖案是否存儲在所述第一存儲部件中；以及響應(yīng)沒有存儲在所述第一存儲部件中的、所述膠片顆粒模擬處理中所需的膠片顆粒圖案，更新所述第一存儲部件以從至少第二存儲部件至少獲得所需膠片顆粒圖案。
13.如權(quán)利要求12所述的裝置，其中用于接收的所述部件包括解碼器。
14.如權(quán)利要求12所述的裝置，其中所述第一存儲部件包括本地高速緩沖存儲器。
15.如權(quán)利要求12所述的裝置，其中所述第二存儲部件包括遠程數(shù)據(jù)庫。
16.如權(quán)利要求12所述的裝置，其中所述控制器包括隨機存取存儲器(RAM)接口控制器。
17.如權(quán)利要求12所述的裝置，其中所述第一存儲部件至少包括在所述膠片顆粒模擬處理中最常實施的膠片顆粒圖案。
18.如權(quán)利要求12所述的裝置，其中所述第二存儲部件包括在所述膠片顆粒模擬處理中所需的所有膠片顆粒圖案。
19.如權(quán)利要求12所述的裝置，其中響應(yīng)接收到補充信息消息而發(fā)生所述確定，所述補充信息消息標(biāo)識在所述膠片顆粒模擬處理中所需的至少一種膠片顆粒圖案。
20.一種模擬膠片顆粒的系統(tǒng)，該系統(tǒng)包括用于至少接收編碼的圖像和包括用于膠片顆粒模擬處理中的膠片顆粒特征信息的補充信息的部件；用于存儲至少一種膠片顆粒圖案的第一存儲部件；用于存儲要在所述膠片顆粒模擬處理中使用的膠片顆粒圖案的第二存儲部件；控制器，包括用于至少存儲指令的存儲器和用于執(zhí)行所述指令的處理器，所述控制器適于執(zhí)行如下步驟確定在所述膠片顆粒模擬處理中所需的膠片顆粒圖案是否存儲在所述第一存儲部件中；以及響應(yīng)沒有存儲在所述第一存儲部件中的、所述膠片顆粒模擬處理中所需的膠片顆粒圖案，使得所述第一存儲部件至少從所述第二存儲部件獲得所需的膠片顆粒圖案。
21.一種模擬膠片顆粒的系統(tǒng)，該系統(tǒng)包括用于至少接收編碼的圖像和包括在膠片顆粒模擬處理中使用的膠片顆粒特征信息的補充信息消息的解碼器；至少存儲要在所述膠片顆粒模擬處理中使用的全部數(shù)目的膠片顆粒圖案的一子集的本地數(shù)據(jù)庫；存儲要在所述膠片顆粒模擬處理中使用的全部數(shù)目的膠片顆粒圖案的遠程數(shù)據(jù)庫；接口控制器，至少包括用于存儲指令的存儲器和用于執(zhí)行所述指令的處理器，所述接口控制器適于執(zhí)行如下步驟響應(yīng)接收到的補充信息消息，確定由所述膠片顆粒模擬處理所需的膠片顆粒圖案是否存儲在所述本地數(shù)據(jù)庫中；以及響應(yīng)沒有存儲在所述本地數(shù)據(jù)庫中的、由所述補充信息消息標(biāo)識的膠片顆粒圖案，更新所述本地數(shù)據(jù)庫而至少從至少所述遠程數(shù)據(jù)庫獲得標(biāo)識的膠片顆粒圖案。
全文摘要
本發(fā)明提供一種用于在膠片顆粒模擬處理中快速訪問膠片顆粒圖案的方法、裝置及系統(tǒng)，包括提供存儲至少一種膠片顆粒圖案的第一存儲器；并且響應(yīng)沒有存儲在第一存儲器中的、膠片顆粒模擬處理所需的膠片顆粒圖案，更新第一存儲器以至少從第二存儲器中至少獲得所需的膠片顆粒圖案。在一個實施例中，第一存儲器是本地高速緩沖存儲器，第二存儲器是膠片顆粒圖案數(shù)據(jù)庫，控制器為了在膠片顆粒模擬處理中所需的特定膠片顆粒圖案檢查本地高速緩沖存儲器。響應(yīng)沒有存儲在本地高速緩沖存儲器中的所需的膠片顆粒圖案，控制器使用膠片顆粒圖案數(shù)據(jù)庫來更新本地高速緩沖存儲器。
文檔編號G06T9/00GK101044511SQ200580035608
公開日2007年9月26日 申請日期2005年10月7日 優(yōu)先權(quán)日2004年10月18日
發(fā)明者杰弗里·A·庫珀, 瓊·拉赫, 克里斯蒂娜·戈米拉 申請人:湯姆森特許公司