專利名稱：數(shù)字重制2d和3d運(yùn)動畫面以呈現(xiàn)提高的視覺質(zhì)量的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明大體涉及用于增強(qiáng)運(yùn)動畫面的方法和系統(tǒng)，更具體地， 涉及提高運(yùn)動畫面的分辨率和質(zhì)量。
背景技術(shù)：
運(yùn)動畫面由以4交快的幀速率向^見看者顯示的圖 <象幀序列組成。 感知的圖像分辨率是運(yùn)動畫面的顯示質(zhì)量的關(guān)鍵指標(biāo)，它是空間分 辨率和時間分辨率相結(jié)合的結(jié)果?？臻g分辨率衡量可由^見眾感知的 每個圖4象幀內(nèi)的細(xì)節(jié)等級，并且其由顯示系統(tǒng)的質(zhì)量和運(yùn)動畫面內(nèi) 容的質(zhì)量確定。運(yùn)動畫面的時間分辨率纟纖量運(yùn)動畫面序列的運(yùn)動平 滑度等級，并且其由顯示運(yùn)動畫面圖像的幀速率確定。對于電影放 映，傳統(tǒng)運(yùn)動畫面的標(biāo)準(zhǔn)幀速率是24fps (幀每秒)。然而，存在大 量幀速率更高的運(yùn)動畫面格式。在美國專利申i青第2002/0149696 號中大體上描述了以更高幀速率數(shù)字地呈現(xiàn)運(yùn)動畫面的實(shí)例，作為 將運(yùn)動畫面進(jìn)4于臨時插值以達(dá)到更高的幀速率以<更能夠以原始的
幀速率或更高的幀速率數(shù)字地呈現(xiàn)運(yùn)動畫面的方法。幀速率內(nèi)插方
法3尋依賴于運(yùn)動矢量分析，例如，對可達(dá)的Cineon系統(tǒng)中4吏用的分析。 然而，這種系統(tǒng)沒有準(zhǔn)備對整個運(yùn)動畫面進(jìn)4于^:字重制或?yàn)殡娪皯?yīng) 用或需要相對高的視覺和聲音質(zhì)量的大格式電影應(yīng)用產(chǎn)生可接受 的圖像質(zhì)量。例如，此系統(tǒng)不提供偽像(artifact)修復(fù)或足夠的處 理速度以滿足雙歷(day and date)的發(fā)布時間表。
這種高幀速率運(yùn)動畫面格式的其4也實(shí)例包4舌Showscan (60 fps )、 ToDD-AO ( 30 fps )和IMAX HD ( 48 fps )。 IMAX HD是 15-perf/70 mm月交片格式，其以48 fJDS的幀速率獲取并顯示運(yùn)動畫面。 第一部IMAX HD電影Momentum由加拿大國家電影局(NFB) 制作并于1992年在西班牙的塞維利亞的EXP092首映。隨后，于 1993年在第135屆SMPTE技術(shù)討論會上展示了對IMAX HD技術(shù) 的研究。該研究表明，與使用24 fps的幀速率的標(biāo)準(zhǔn)IMAX⑧格式 相比，IMAX⑧HD通過提高清晰度和銳度、降低膠片顆粒噪聲以及 幾乎消除了如頻閃(strobing )和運(yùn)動才莫糊的運(yùn)動偽〗象來顯著增強(qiáng)了 圖像真實(shí)度。該研究進(jìn)一步表明，即使對于靜止鏡頭，感知圖像分 辨率也"比標(biāo)準(zhǔn)IMAX⑧(格式)大很多"。該研究提供了通過增大 幀速率而提高時間分辨率可以改善感知圖像分辨率的證據(jù)。稍后可 由兩個其他基于48 fps膠片的投影格式的試驗(yàn)作品來證實(shí)相似的分 l岸率改善歲丈果。這些格式中的 一 種是稱、作MaxiVision的 3-Perf/35mm格式，另一種是由Super Vista提供的稱作Super Dimension-70 ( SDS-70 )的5畫Per謂mm格式。
在過去的十年中，4交少的運(yùn)動畫面凈皮以高于24 fps的幀速率來 制作和呈現(xiàn)。存在防止以更高幀速率制作基于膠片的運(yùn)動畫面的經(jīng) 濟(jì)和技術(shù)兩方面的限制。在制作方面，以更高幀速率進(jìn)行拍才聶會增 加膠片成本和制作成本。由于使用更高幀速率而減少了曝光時間， 所以在裝置方面需要有更多的照明設(shè)備，這使得制作成本增加。在
呈現(xiàn)方面，以更高幀速率進(jìn)行投影大大增加了電影放映機(jī)的復(fù)雜度
和成本以及電影拷貝(film print )的成本。由于這些限制，IMAX HD 和其他提出的更高幀速率的膠片格式對于主流運(yùn)動畫面制作都不 是經(jīng)濟(jì)上可行的。
數(shù)字投影技術(shù)的改進(jìn)使得可以經(jīng)濟(jì)地以更高幀速率呈現(xiàn)運(yùn)動 畫面。由數(shù)字電影創(chuàng)導(dǎo)公司(DCI)近期7〉布的數(shù)字影院系統(tǒng)規(guī)范 包括48fps作為沖殳影選擇。然而，以48fps制作運(yùn)動畫面的成本仍 比較高。 一種解決方案是通過將圖像轉(zhuǎn)換到更高幀速率來提高運(yùn)動 畫面的時間分辨率。幀速率轉(zhuǎn)換方法實(shí)際上基于原始圖像幀來創(chuàng)建 數(shù)字地合成的圖像幀。在過去的幾十年中，針對運(yùn)動畫面和4見頻格 式轉(zhuǎn)換開發(fā)了多種幀速率轉(zhuǎn)換方法。這些方法的范圍從簡單的幀 (場)重復(fù)、幀(場)平均到諸如運(yùn)動補(bǔ)償幀插值的更加復(fù)雜的方 法。運(yùn)動補(bǔ)償(MC)方法分析相鄰圖Y象幀間的圖〗象元素的運(yùn)動并 基于所估計的運(yùn)動信息來創(chuàng)建新的合成幀與其他方法相比。MC方 法通常產(chǎn)生更平滑的運(yùn)動。
典型的MC方法具有運(yùn)動估計器，其計算圖像幀的每個圖像元 素相對于相鄰幀的運(yùn)動。圖<象元素可#:定義為用于描述對象的單個 像素、nxm個像素的塊或像素組。通常使用單個運(yùn)動矢量來表示圖
l象元素/人當(dāng)前幀到將來幀的運(yùn)動方向和強(qiáng)度。有時， -使用一對運(yùn)動 矢量來表示圖像元素從當(dāng)前幀到將來幀以及從將來幀返回到當(dāng)前 幀的運(yùn)動。這^皮稱作雙向運(yùn)動估計。運(yùn)動矢量可能不足以描述用于 描述對象的一組像素的運(yùn)動，這是因?yàn)閺漠?dāng)前幀到將來幀對象的形 狀也可能變化。在這種情況下，還將與運(yùn)動矢量一起包括一些物體 形狀變形的數(shù)學(xué)描述形式。在過去十年里，提出了用于視頻格式轉(zhuǎn) 4吳的多種MC方法。那些方法中的大多凄丈方法可利用少量人為干預(yù) 或無需人為干預(yù)而完全自動進(jìn)行。然而，那些方法都不能產(chǎn)生運(yùn)動 畫面應(yīng)用所需的足夠的圖〗象質(zhì)量。
已經(jīng)*提出了一些用于將運(yùn)動畫面轉(zhuǎn)換為場速率為每秒50/60場 的#見頻格式的算法。通常，這些應(yīng)用需要從標(biāo)準(zhǔn)3:2下拉法到基于 運(yùn)動補(bǔ)償?shù)膸俾?爭才臭(MCFRC)算法的全自動算法。MCFRC算 法可產(chǎn)生較好的圖像質(zhì)量和更平滑的運(yùn)動，但是其也產(chǎn)生由于運(yùn)動 估計誤差而導(dǎo)致的其他偽像。MCFRC算法大體上包括三類(1) 基于塊的方法；(2)基于對象的方法；以及(3)基于像素的方法。 可使用與MPEG和H.264/AVC編解碼器中的運(yùn)動估計算法類似的 普通的基于塊的運(yùn)動估計算法來實(shí)現(xiàn)該基于塊的方法。與其他方法 相比，基于對象的方法可以產(chǎn)生更少的偽像，但通常不太穩(wěn)定。在 美國專利第6,625,333號中大體上7>開了改進(jìn)的基于對象的MCFRC 算法的實(shí)例?；谙袼氐姆椒ㄍǔＳ嬎懔亢艽?。
幀速率轉(zhuǎn)換方法還用于創(chuàng)建特殊纟見覺效果(VFX),例如，創(chuàng) 建十曼動作、快動作或可變動作序列，這些特殊纟見覺效果在制作運(yùn)動 畫面、廣告和纟見頻時頻繁^f吏用。可用于這種VFX應(yīng)用的商業(yè)壽欠4牛 工具的實(shí)例包括由Realviz提供的ReTimer軟件和由Algolith提供 的TimeWarp軟件。Retimer提供了創(chuàng)建數(shù)字的"慢動作"或可變動 作的能力并使用戶能夠編輯速率曲線和運(yùn)動矢量場以達(dá)到期望的 結(jié)果。 一些這種商業(yè)專欠件工具^f吏用MC方法的一些形式。例如，在 ReTimer之后的MC算法基于塊圖^f象元素，而在TimeWarp之后的 算法基于對象圖像元素，例如，由加拿大通信研究中心(CRC)開 發(fā)以及在美國專利第6,625,333中描述的那些算法。然而，這種商 業(yè)壽欠件工具未械j殳計用于自動計算，它們依賴于人類用戶通過GUI 交互地提供用戶輸入。此外，這些軟件工具會由于諸如遮擋和運(yùn)動 估計誤差的問題而不可避免地產(chǎn)生不可接受的偽像，而它們沒有提 供有效的工具和方法來解決那些問題。雖然由熟練的人類用戶通過 手工修復(fù)可以修復(fù)所產(chǎn)生的偽像，但此過程是相當(dāng)費(fèi)力、昂貴且耗 時的。 增加每個圖 <象幀的空間分辨率也可以改善運(yùn)動畫面的感知分
辨率。拍4聶在35 mm底片上的傳統(tǒng)運(yùn)動畫面的空間分辨率凈皮限制為 約每毫米80個周期、或者對于1.85投影格式為約每畫面高度1800 行。由于標(biāo)準(zhǔn)膠片沖洗(film lab )處理產(chǎn)生的調(diào)制傳遞函數(shù)(MTF ) 的損失，發(fā)行的電影拷貝的空間分辨率降低到約每畫面高度875行 或更低。
數(shù)字影院技術(shù)的進(jìn)步消除了 MTF損失的一些主要來源，特別 是來自標(biāo)準(zhǔn)膠片沖洗處理中的那些損失，使得可以顯示具有比通常 發(fā)行的電影拷貝更高的感知分辨率的運(yùn)動畫面。DCI數(shù)字影院系統(tǒng) 規(guī)范推薦數(shù)字運(yùn)動畫面以2K或4K格式顯示。2K數(shù)字格式理論上 能夠支持不大于每畫面高度108(M于的空間分辨率，而4K凄t字格式 可支持不大于每畫面高度2160行的空間分辨率。然而，除非運(yùn)動 畫面圖<象內(nèi)容的質(zhì)量能夠與數(shù)字影院系統(tǒng)的空間分辨率相匹配，否 則不能保證數(shù)字電影顯示的質(zhì)量。因?yàn)檫\(yùn)動畫面制作和后期制作過 程的各個階,殳(包括拍纟聶、掃描、VFX和凄t據(jù)壓縮)的MTF退化， 所得到的運(yùn)動畫面的圖像內(nèi)容可具有比數(shù)字投影機(jī)能夠支持的空 間分辨率低得多的空間分辨率。
為了產(chǎn)生高質(zhì)量的電影體驗(yàn)，尤其當(dāng)運(yùn)動畫面要在大格局電影 院中》文映時，改善運(yùn)動畫面的圖 <象內(nèi)容的空間分辨率是一個大才兆 戰(zhàn)。典型的大格局影院(例如，IMAX⑧劇場)具有80英尺高的屏 幕。與在傳統(tǒng)影院中相比，在這種劇場中，觀眾坐得離屏幕更近。 在這種劇場中向》見眾傳遞滿意的^見覺體-瞼需要顯著提高諸如感知 分辨率的圖像質(zhì)量。即使當(dāng)應(yīng)用了這種增強(qiáng)方法時，很難為了按時

發(fā)明內(nèi)容
本發(fā)明的某些方面和實(shí)施例提供了用于凄t字重制運(yùn)動畫面以 達(dá)到提高的感知分辨率和視覺圖像質(zhì)量的方法。通過空間分辨率的 :提高和時間分辨率的提高可以增強(qiáng)運(yùn)動畫面的各圖^象?？臻g分辨率 的提高可以通過結(jié)合"基于運(yùn)動"和"基于學(xué)習(xí)"的空間分辨率提 高方法來實(shí)。時間分辨率可通過利用相對^奇確的運(yùn)動估計方法為 每個運(yùn)動畫面序列中的每個像素計算運(yùn)動矢量來得到。設(shè)計某些方 法，以利用有限的人為干擾以高度自動的方式來實(shí)現(xiàn)。本發(fā)明的一 些方面可以利用 一個或多個基于處理的i殳備的系統(tǒng)來實(shí)現(xiàn)。
本發(fā)明的某些方法和系統(tǒng)可應(yīng)用于二維(2D)和/或三維(3D) 運(yùn)動畫面。2D運(yùn)動畫面是圖^象幀序列，其可由才聶影才幾拍才聶或利用 計算機(jī)制圖每次獲取一幀。根據(jù)本發(fā)明的 一些實(shí)施例的增強(qiáng)方法對 數(shù)字?jǐn)?shù)據(jù)執(zhí)行處理。因此，如果運(yùn)動畫面已以諸如源母帶(source master )文件的數(shù)字格式存在，則圖像數(shù)據(jù)可直接用于增強(qiáng)處理中。 可以在增強(qiáng)處理之前對除數(shù)字之外的格式的運(yùn)動畫面進(jìn)行轉(zhuǎn)換。例 如，如果運(yùn)動畫面在月交片上，則可以將其凄t字化，以通過月交片掃描 器將其轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)。
基于立體視覺的原理，3D運(yùn)動畫面產(chǎn)生了運(yùn)動和深度的錯覺。 3D運(yùn)動畫面由兩個圖像幀序列組成， 一個序列表示來自于左眼的 視圖以及另一序列表示來自于右眼的視圖。這兩個序列通常被稱為 左眼(L)圖像和右眼(R)圖像?？梢院铣蒐圖像和R圖像，以 使來自每個序列的一幀在給定時刻從左眼和右眼的視點(diǎn)拍4聶一個 動作，并且它們形成被稱做L-R圖像對的圖像對。本發(fā)明的一些實(shí) 施例可應(yīng)用于2D和3D運(yùn)動畫面凄t悟，這是因?yàn)榭蓪和R圖傳_ 作為兩個單獨(dú)的圖 <象序列來進(jìn)行處理。本發(fā)明的其他實(shí)施例將不同 的增強(qiáng)處理應(yīng)用于3D運(yùn)動畫面翁:據(jù)，例如，4吏用來自一個眼睛圖 像的信息(例如L)以改進(jìn)另一眼睛圖〗象(例如R)的處理結(jié)果。
本發(fā)明的一些實(shí)施例提供了一種4吏用3D運(yùn)動畫面數(shù)據(jù)來增強(qiáng) 2D運(yùn)動畫面序列的方法。例如，可以創(chuàng)建L圖^f象序列或R圖4象序 列來用于輸出，但L和R圖像之間的相互關(guān)系可用于增強(qiáng)圖像序列。
根據(jù)一些實(shí)施例的數(shù)字重制處理的一個應(yīng)用(例如，空間分辨 率提高處理和時間分辨率提高處理)是增強(qiáng)24fps的傳統(tǒng)運(yùn)動畫面 以使其以48 fps以上的幀速率進(jìn)4于顯示。另一應(yīng)用是允許以更低的 幀速率(例如，12 fps)拍攝運(yùn)動畫面，以增加數(shù)據(jù)存儲設(shè)備或膠 片巻的拍攝時間。可以通過公開的數(shù)字重制處理的實(shí)施例將所得到 的圖傳4是高到24 fps的正常幀速率或更高幀速率。對于本領(lǐng)域的才支 術(shù)人員，本發(fā)明的其4也類4以應(yīng)用應(yīng)是顯而易見的。
本發(fā)明的實(shí)施例提供了用于通過滿足運(yùn)動畫面發(fā)行進(jìn)度需求 的空間分辨率提高和時間分辨率提高來提高運(yùn)動畫面的感知分辨 率的方法和系鄉(xiāng)充。


當(dāng)參考附圖閱讀以下詳細(xì)描述時，將會更好地理解本發(fā)明的這 些和其它的特征、方面、以及優(yōu)點(diǎn)，其中
圖1是4艮據(jù)本發(fā)明的一個實(shí)施例的用于凄t字重制運(yùn)動畫面的流 程圖。
圖2是根據(jù)本發(fā)明的一個實(shí)施例的用于數(shù)字重制2D運(yùn)動畫面 的流程圖。
圖3是根據(jù)本發(fā)明的一個實(shí)施例的用于數(shù)字重制3D運(yùn)動畫面 的流程圖。
圖4是才艮據(jù)本發(fā)明的一個實(shí)施例的用于凄t字重制運(yùn)動畫面的系 統(tǒng)的布置圖。
圖5是根據(jù)本發(fā)明的 一個實(shí)施例的在用于數(shù)字重制運(yùn)動畫面的 系統(tǒng)中的凄t據(jù)的流程圖。
圖6是根據(jù)本發(fā)明的一個實(shí)施例的用于增強(qiáng)運(yùn)動畫面圖像數(shù)據(jù) 的時間分辨率提高處理的流程圖。
具體實(shí)施例方式
圖1示出了用于增強(qiáng)運(yùn)動畫面圖^f象序列的處理10的一個實(shí)施 例。處理IO開始于接收運(yùn)動畫面圖像序列，該圖像序列可以是2D 或3D運(yùn)動畫面的月交片格式12或者2D或3D運(yùn)動畫面的lt字源母 帶14。如果運(yùn)動畫面是2D或3D運(yùn)動畫面月交片格式12，則^f吏用月交 片掃描處理16來進(jìn)行掃描。如果運(yùn)動畫面是數(shù)字源母帶2D或3D 運(yùn)動畫面14,則可直接4吏用數(shù)據(jù)或4吏用格式轉(zhuǎn)換18將其轉(zhuǎn)換為另 一種4fet字格式。
在月交片掃描16或才各式轉(zhuǎn)換18之后，運(yùn)動畫面序列數(shù)據(jù)包括圖 像序列或幀。然后，通過數(shù)字重制處理20來增強(qiáng)圖像序列。數(shù)字 重制處理20可以包4舌空間分辨率提高方法22和時間分辨率提高方 法24,以下將更詳細(xì)i也4苗述其實(shí)施例?？臻g分辨率提高方法22可 以通過圖像分析來創(chuàng)建圖像幀中缺少的圖像細(xì)節(jié)?？墒褂脙煞N不同 的空間分辨率提高方法以達(dá)到期望的性能。 一種方法可以是基于運(yùn) 動的方法，其中，通過分析圖像元素的運(yùn)動從附近相鄰的圖像幀中
"偷取，，附加的圖像細(xì)節(jié)。第二種方法是基于學(xué)習(xí)的方法，其中， 基于之前學(xué)習(xí)的知識通過分析圖像特征空間來"創(chuàng)建，，附加的圖像 細(xì)節(jié)。
時間分辨率提高方法24可通過經(jīng)幀插值增加合成的新圖4象幀 以增加時間采沖羊率或幀速率而改進(jìn)感知分辨率。時間分l辟率提高方 法24包括MCFRC方法，其相對精確且穩(wěn)定。時間方法24還適于 解決遮擋。
在一些數(shù)字重制處理中，運(yùn)動畫面圖像數(shù)據(jù);故分成稱作4免頭 (shot)的更小片段。鏡頭分割處理可使用編輯信息，其在運(yùn)動畫 面的最終分割被認(rèn)可之后是可用的。利用編輯信息，圖像數(shù)據(jù)可4皮 分成多個鏡頭，并且可以針對每個鏡頭單獨(dú)地進(jìn)行數(shù)字處理。在數(shù) 字重制之后，由于在每個鏡頭中增加的幀數(shù)而需要修改編輯信息 28。利用修改后的編輯信息30，可將增強(qiáng)的鏡頭片段以正確的順序 放在一起。例如，在增強(qiáng)運(yùn)動畫面數(shù)據(jù)之后，進(jìn)行確認(rèn)處理26，其 根據(jù)音軌32來使數(shù)據(jù)同步。然后，將確認(rèn)后的增強(qiáng)圖像數(shù)據(jù)轉(zhuǎn)換 為標(biāo)準(zhǔn)的數(shù)字源母帶格式34，其可以與原始的源母帶格式類似但具 有增大的幀速率。然后，基于數(shù)字源母帶文件34,可以制作數(shù)字發(fā) 行母帶文件36，以在劇場進(jìn)行顯示38或者進(jìn)一步制作成其他的發(fā) 行格式(包括視頻和廣播)。也可以結(jié)合音頻32來創(chuàng)建數(shù)字發(fā)行母 帶文件36?？梢栽趧?chuàng)建數(shù)字發(fā)行母帶文件36時應(yīng)用數(shù)據(jù)壓縮，以 符合發(fā)行平臺的存儲和帶寬的要求。
運(yùn)動畫面圖像的感知分辨率和視覺質(zhì)量的提高對于能夠真正 提供更高的圖"f象分辨率和^L覺質(zhì)量的大格局影院的運(yùn)動畫面的i文 映來^兌尤其重要。為此，來自增強(qiáng)運(yùn)動畫面的幀具有比傳統(tǒng)影院所 需像素分辨率更高的像素分辨率。將源母帶轉(zhuǎn)換為用于傳統(tǒng)影院的 發(fā)行母帶可能需要降低幀像素分辨率。還可以數(shù)字重制原始的音頻 文件，以支持大格局影院所需的更高的音頻質(zhì)量標(biāo)準(zhǔn)。也可以將數(shù) 字發(fā)行母帶文件錄制回到膠片以進(jìn)行發(fā)行。
圖2至圖3示出了創(chuàng)建具有增強(qiáng)特性的數(shù)字發(fā)行母帶文件的處 理流程。圖2示出了用于增強(qiáng)2D運(yùn)動畫面圖i象的處理，而圖3示 出了用于增強(qiáng)3D運(yùn)動畫面圖^象的處理。
圖2至圖3所示的處理開始于接4欠2D或3D運(yùn)動畫面圖^f象序 列作為圖像數(shù)據(jù)輸入102。該2D或3D圖像序列為數(shù)字格式，或者 在圖像數(shù)據(jù)為非數(shù)字格式(例如，在賽3路珞膠片上)的情況下使用 數(shù)字化處理將其轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)。
然后， 一使用場景分割處理104來劃分凄史字2D或3D運(yùn)動圖像 序列。例如，可以將圖像序列劃分成多個鏡頭，其中，每個鏡頭均 是4氣表連續(xù)動作的圖^f象幀序列。場景分割104幫助為優(yōu)選地對具有 連續(xù)動作的圖像幀序列執(zhí)行的增強(qiáng)準(zhǔn)備圖像幀序列?？梢酝ㄟ^檢測 圖像幀特性的突然改變來自動執(zhí)行場景分割104。這種特性的實(shí)例 包括顏色、密度、直方圖、結(jié)構(gòu)和運(yùn)動。如果使用自動場景分割104, 則可以將整個運(yùn)動畫面數(shù)椐處理為連續(xù)序列。
在本發(fā)明的一些實(shí)施例中，作為編輯結(jié)果，運(yùn)動畫面已凈皮分為 多個鏡頭，并且被稱作編輯判定列表(EDL)文件的鏡頭列表是可 用的。EDL記錄了關(guān)于每個鏡頭的準(zhǔn)確信息，包括表示每個鏡頭的 開始和結(jié)束的時間碼凄t據(jù)或幀凝:凄t據(jù)。EDL可用于引導(dǎo)場景分割處 理104。
空間M率提高
在場景分 割104之后，通過空間分辨率提高處理來增強(qiáng)運(yùn)動畫 面圖像序列。圖2示出了可應(yīng)用于2D圖^象序列的空間分辨率提高 處理106，而圖3示出了可應(yīng)用于3D圖4象序列的空間分辨率提高 處理206。如下所述，可不同地應(yīng)用空間分辨率提高處理106、 206, 但二者都可以包4舌基于運(yùn)動的方法和基于學(xué)習(xí)的方法。
基于運(yùn)動的空間分辨率提高
基于運(yùn)動的方法108、 208可基于運(yùn)動分析來提高圖^f象序列的 空間分辨率?；谶\(yùn)動的方法108、 208可包括三個普通步驟(1) 運(yùn)動估計；(2)運(yùn)動場調(diào)節(jié)；和(3)細(xì)節(jié)恢復(fù)。運(yùn)動估計可基于 分級運(yùn)動模式，其中，每個圖像幀都由多層金字塔式數(shù)據(jù)結(jié)構(gòu)表示。 每個金字塔式數(shù)據(jù)結(jié)構(gòu)都可以代表特定層的圖像細(xì)節(jié)。在每個金字 》荅層處，可4吏用可變大小的塊匹配算法從滑動時間窗內(nèi)的所有幀來 計算每個像素的運(yùn)動估計。利用諸如高頻特征、平滑度和質(zhì)量測量 值的約束來調(diào)節(jié)產(chǎn)生的運(yùn)動場。每個運(yùn)動估計都被分配了一個可靠 性測量值。可以考慮調(diào)節(jié)任何具有低可靠性測量值的像素，以降低 估計誤差。通過基于所計算的運(yùn)動估計將每個相鄰幀映射到當(dāng)前幀 來構(gòu)造一組合成幀。在一些實(shí)施例中，通過在時間窗內(nèi)合成幀的合 適時間插值來恢復(fù)圖像細(xì)節(jié)?？墒褂脝瓮?、多通、或迭代處理來執(zhí) 行時間濾波?？扇缬苫谔幚砥鞯脑O(shè)備(例如，智能控制器)控制 的自動分布式計算系統(tǒng)來實(shí)現(xiàn)基于運(yùn)動的空間分辨率提高方法 108、 208?；谶\(yùn)動的方法在序列號為19/474,780的美國專利申請 中進(jìn)行了詳細(xì)地描述。
對于3D運(yùn)動畫面序列，基于運(yùn)動的空間分辨率方法208可單 獨(dú)應(yīng)用于L和R圖l象序列。jt匕外，可<吏用L和R圖^f象對的4象素之 間的相關(guān)性(例如，通過估計L和R圖像序列之間的視差)進(jìn)一步 改進(jìn)空間分辨率。這種估計可包括"現(xiàn)差估計、^L差圖調(diào)節(jié)和細(xì)節(jié)恢 復(fù)。#見差估計開始于才交正兩個圖<象序列之間的水平偏差 (misalignment)-只于于一幅圖^象(例3n， L圖像)中的每個4象素， 定4立在另一圖〗象(例如，R圖〗象)中的匹配^f象素?？稍谒椒较蛏?以限定7>差進(jìn)4于匹配，以調(diào)節(jié)可能沒有消除的剩余的垂直偏差。可 以忽略未找到匹配的像素。可在兩個方向上進(jìn)4亍4見差匹配以改善產(chǎn) 生的視差圖的精確性。為每個L/R圖像對生成視差圖?？赏ㄟ^使用
與在運(yùn)動調(diào)節(jié)中使用的那些約束類似的約束去除局部異常來進(jìn)一
步改進(jìn)視差圖。然后，利用視差圖生成合成的R圖像來將其映射到 L圖像，以改進(jìn)其空間分辨率，生成合成的L圖像并將其映射到R 圖l象，以改進(jìn)其空間分辨率。
由上述處理產(chǎn)生的運(yùn)動估計包括多個分辨率運(yùn)動矢量場，其可 以坤皮儲存并用作后續(xù)的時間分辨率提高處理的初始運(yùn)動估計140。
基于學(xué)習(xí)的空間分辨率提高
基于運(yùn)動的空間分辨率提高方法108可有效i也用于具有相對可 預(yù)測運(yùn)動的圖像序列。對于具有比較復(fù)雜的運(yùn)動的圖像，細(xì)節(jié)增強(qiáng) 的影響隨著運(yùn)動估計精確度變差而減小。在圖2至圖3所示的實(shí)施 例中，基于學(xué)習(xí)的方法110、 210可用于使圖像的每個像素與預(yù)選 的具有更高分辨率的圖像圖案的庫相匹配以及用根據(jù)匹配的更高 分辨率圖案計算得到的值來代替該像素?？梢允褂冒▓D像細(xì)節(jié)等 級比原始運(yùn)動畫面圖像更高的一組所選樣本圖像來生成更高分辨 率的圖案。該更高分辨率圖案的庫是高分辨率的碼本，并且每個圖 案通過碼字來描述。
基于學(xué)習(xí)的空間分辨率110可執(zhí)行以下步驟來提高原始圖像序 列的空間分辨率。使每個原始圖像序列變大以達(dá)到預(yù)期的更高的分 辨率。然后，將匹配處理應(yīng)用于放大圖象的每個象素，以在預(yù)設(shè)的 碼本中找到匹配碼字。如果發(fā)現(xiàn)匹配，則由與匹配碼字相關(guān)聯(lián)的更 高分辨率圖像的圖案的中心像素來代替該像素。在對放大圖像的每 個像素重復(fù)了以上處理之后，所得到的增強(qiáng)圖像可能需要另外通過 時間濾波處理以確保與其他增強(qiáng)圖像幀的時間 一致。此匹配處理可 擴(kuò)展到放大圖像的像素塊。例如，每個像素塊都與一個碼字相匹配， 并且通過變換由匹配的更高分辨率圖案代替?？蓱?yīng)用混合處理以減
少塊之間的空間中斷。同4羊也可以應(yīng)用時間濾波處理以確^呆時間一 致。
類似的基于學(xué)習(xí)的空間分辨率提高處理210可應(yīng)用于3D運(yùn)動 畫面。例如，L和R圖像可共享相同的碼本。針對每只眼睛分別執(zhí) 行分辨率的提高。可以使用在基于運(yùn)動的分辨率提高階段中產(chǎn)生的 #見差圖來應(yīng)用濾波處理，以去除在所得到的L和R圖 <象之間的不一致。
以下描述碼本生成處理的一個實(shí)施方式。首先，將所有更高分 辨率的圖像圖案縮小為相同像素分辨率的運(yùn)動畫面圖像，以使其共 有相同的圖像細(xì)節(jié)等級。通過傅立葉頻語分析來測量圖像細(xì)節(jié)等 級。然后，將縮小的圖<象圖案》丈大到運(yùn)動畫面將以其進(jìn)4亍顯示的更 高像素分辨率。所得到的圖案形成具有更高分辨率的圖像圖案的 對，其根據(jù)更高分辨率的圖像圖案而產(chǎn)生。放大處理可增加圖像像 素數(shù)而并不產(chǎn)生附加的圖像細(xì)節(jié)。可對所有的圖像圖案對應(yīng)用訓(xùn)練 處理，以為來自周圍像素的每個像素從每個圖像圖案對中計算并提 取大量的圖像特征?？梢酝ㄟ^固定數(shù)量的數(shù)據(jù)字節(jié)或字來描述具有 更高的圖像細(xì)節(jié)等級的圖像特征。從每個圖像對中搜集的所有特征 形成數(shù)據(jù)集或碼字。可將原理分析處理用于去除冗余的特征屬性來 減小碼字的長度。然后，將碼字收集到數(shù)據(jù)庫或碼本中并保存在數(shù) 據(jù)存儲器中。在一些實(shí)施例中，初始碼本的大小和內(nèi)容取決于所選 圖4象圖案的大小和內(nèi)容。聚類(clustering)分析可應(yīng)用于碼本以減 小碼本大小。簇分析對具有相似圖像圖案的 <象素進(jìn)行分組。
時間M率的提高
空間分辨率提高處理110、 210的輸出#皮應(yīng)用于時間分辨率揭_ 高處理112、 212。時間分辨率提高處理112、 212可以通過增力口顯 示幀速率來增大感知分辨率。因?yàn)樵紙D像具有固定的幀速率，所
以需要基于原始圖像幀來合成新的圖像幀以實(shí)現(xiàn)幀速率的增大。在
本發(fā)明的一些實(shí)施例中，時間分，岸率提高處理112、 212可以包括「 預(yù)處理、全局運(yùn)動估計、局部運(yùn)動估計、半運(yùn)動矢量生成、幀插值、 以及利用時間一致性檢驗(yàn)進(jìn)行的偽傳 修復(fù)。基于以下參考圖2-3和 圖6描述的MCFRC方法的實(shí)施例計算的高質(zhì)量運(yùn)動估計來生成合 成幀。
預(yù)處理
首先，對圖像序列進(jìn)行預(yù)處理114。預(yù)處理114可用于從圖像 幀中計算出邊緣掩碼圖和顏色分割圖。例如并參考圖6,可通過邊 緣檢測算法602 (例如，Canny邊緣檢測器)從圖像的每個幀生成 邊緣掩碼圖612。然后，通過顏色分割算法604 (例如，Meanshift 或Watershed )從每個幀中生成顏色分割圖614。對于3D運(yùn)動畫面， 為每只眼睛生成單獨(dú)的邊^(qū)彖掩石馬圖612和顏色分割圖614。
全局運(yùn)動估計
然后，利用全局運(yùn)動估計處理116計算在相鄰幀之間的全局運(yùn) 動。全局運(yùn)動估i十116可用于實(shí)3見相對4青確的局部運(yùn)動估計。近4以 4旦正確的全局運(yùn)動估計116可用于進(jìn)4于局部運(yùn)動估計算法的普通第 一估計。4吏用全局運(yùn)動估計116,可利用相機(jī)運(yùn)動和深度信息來計 算圖像背景的運(yùn)動。如果深度信息對于例如2D或3D圖像序列不 可用，則可將全局運(yùn)動近似地建才莫為三維平面變4奐，其是三維透視j 投影變換的簡化版本并且在計算中不需要深度信息。這里示出了在 該方法中4吏用的三維平面變4灸的實(shí)例
<formula>formula see original document page 27</formula>
其中，(x, y)和(x，， y，)是來自兩個相鄰幀的一對匹配特征點(diǎn)的 位置。基于隨機(jī)追蹤的特征點(diǎn)通過配合在方程式(1)中的三維平 面模型來確定系數(shù)a!, a2, a8。基于標(biāo)準(zhǔn)2x2梯度交叉相關(guān)矩 陣來計算特征點(diǎn)。
(2)
<formula>formula see original document page 28</formula>
其中，fx和fy表示局部水平和垂直梯度，在每個像素周圍的小局部
區(qū)域(3x3， 5x5等)上計算總和?？赏ㄟ^多種方法提取特征點(diǎn)。一 種方法是計算矩陣G的最小本征值，其是Kanada-Lucas Tomasi (KLT)特征檢測器的基礎(chǔ)。另一種方法是基于矩陣G計算最大角 強(qiáng)度測量值，其是另一種已知的Harris角檢測器的基礎(chǔ)。另一種方 法是計算以下值peg、 Qeg和6eg，其從矩陣G獲得<formula>formula see original document page 28</formula>
值peg表示局部邊緣尺度，其可用于產(chǎn)生邊緣掩碼值。植Qeg 表示局部梯度改變的響應(yīng)，其可用于通過計算其局部最大值來定位 特征點(diǎn)。在具有局部最大值的像素之中，真正的特征點(diǎn)并不遠(yuǎn)，并
且可通過計算值eEC (表示局部梯度的方向)和能量測量值v并查
找局部最大值的位置來對其定位
<formula>formula see original document page 28</formula>
其中
(4)<formula>formula see original document page 29</formula>
(5)<formula>formula see original document page 29</formula>
l (eE(3)是從中心像素到局部區(qū)域邊界的投影長度。由于局部
區(qū)域通常是矩形，所以此值根據(jù)角度值而變化。 一般使用N個定向 角，并且通常將Ni殳置為16或更大。通過以上方法提取的特征點(diǎn) 需要在相鄰幀之間匹配成對。對于當(dāng)前幀中的特征點(diǎn)，其與下一幀 中的特征點(diǎn)相匹配以形成一對，它們具有最高的相關(guān)值。
一旦特征點(diǎn)凈皮配對，就可以通過從這兩個幀中隨才幾地選擇至少 四個相應(yīng)的特征對來計算用于在任意兩個相鄰幀之間對全局運(yùn)動 進(jìn)行建模的三維平面變換(1)的系數(shù)，每一對均產(chǎn)生兩個線性方 程，例如
<formula>formula see original document page 29</formula>(6)
所選取的4個特征對產(chǎn)生八個線性方程，從而可以解出系數(shù)a。 a2, ...， a8。可對所有的特征對測試所得到的三維平面變換，并且 保存該變換和內(nèi)圍層(inlier)的數(shù)量以稍后進(jìn)行使用。然后，隨機(jī) 選取接著的四對特征點(diǎn)以及計算并保存三維平面變換。重復(fù)此過程 足夠多次。在所有重復(fù)估計的所有三維平面變換之中，選出具有最大數(shù)量內(nèi)圍層的平面變換作為初始估計。內(nèi)圍層用于使用標(biāo)準(zhǔn)最小 二乘法估計第二個三維平面變換。重復(fù)這個步驟直到內(nèi)圍層的數(shù)量 變得穩(wěn)定。所得到的三維平面變換是在這兩個幀之間的主要全局運(yùn) 動的估計。如果存在其他主要全局運(yùn)動，則能夠以相同方式乂人剩余 的未分類特征點(diǎn)計算這些全局運(yùn)動。此算法所需的計算取決于特征 對的數(shù)量，而不依賴于圖像幀大小。
相鄰幀之間的最主要的運(yùn)動通常是背景運(yùn)動，其通常由相機(jī)運(yùn) 動導(dǎo)致。然而，如果對象足夠大且移動足夠快，則前景對象的運(yùn)動 可能成為主要運(yùn)動。然而，在多數(shù)情況下，基于相鄰幀之中內(nèi)圍層 的運(yùn)動和百分比的相似性，可從主要運(yùn)動中選出背景運(yùn)動。
對于3D圖〗象序列，針對每只眼睛執(zhí)4亍單獨(dú)的全局運(yùn)動估計。 在L圖像和R圖像之間的立體視差相對較小的情況下，可針對兩只 眼睛執(zhí)4于單獨(dú)的全局運(yùn)動估計。
局部運(yùn)動^f古i十
然后，可基于從基于運(yùn)動的空間分辨率提高處理108、 208接 收到的邊緣掩碼圖612、顏色分割圖614、全局運(yùn)動估計116、以及 初始運(yùn)動估計140來應(yīng)用諸如局部運(yùn)動估計118、 218的局部運(yùn)動 估計處理。局部運(yùn)動估計118、 218可包括基于金字i荅式才更票的算 法。該基于金字塔式投票的算法能夠基于所得到的局部運(yùn)動矢量來 合成新的幀。新的幀可與空間增強(qiáng)的圖^象幀相結(jié)合，以達(dá)到期望的 幀速率。
在圖像序列增強(qiáng)期間，基于金字塔式投票的算法能夠進(jìn)一步使 誤差最小化。特定的局部運(yùn)動估計算法通常對某一類型的運(yùn)動是最 佳化，而不能對其他類型的運(yùn)動保持精確。在本發(fā)明的一些實(shí)施例 中，4吏用多種局部運(yùn)動估計方法，以及采用沖殳票處理來確定最好的
估計和最小的誤差。在那些方法的一些中，來自先前的基于運(yùn)動的
空間分辨率提高的運(yùn)動估計;陂用作為初始估計。
在本發(fā)明的一個實(shí)施例中，4吏用了多達(dá)四種局部運(yùn)動估計算法 或方法。這四種算法中的一種是塊匹配方法。該塊匹配方法包4舌將 兩個相鄰圖像幀劃分為多個小塊。在一個幀中，將其全局運(yùn)動用作 初始假設(shè)并計算每個塊的平均像素位移。確定第二個幀中的起始 塊，搜索在起始塊附近的所有塊，以基于塊匹配誤差的最小值找到 最佳匹配。然后，為第一幀塊中的每個像素分配運(yùn)動矢量，這等同 于將來自第 一幀的塊移動向第二幀中的最佳匹配塊。
第二種局部運(yùn)動估計算法是特征傳播方法。該特征傳播方法估 計特征點(diǎn)的運(yùn)動并且將結(jié)果傳播至整個圖像幀的其余像素。可以使 用為全局運(yùn)動估計提取的多個特征點(diǎn)對。去除所有具有低相關(guān)值和 大初始運(yùn)動估計的特4正對。在剩余的特征對之中，還可以去除具有 雙重對應(yīng)的那些特征對。剩余的特征點(diǎn)被認(rèn)為是精確的并且可用作 種子對?；诜N子對的運(yùn)動矢量，應(yīng)用傳播算法以將該運(yùn)動傳播至 更多的^象素。在一些實(shí)施例中，記錄了來自之前分析的^f象素狀態(tài)以 幫助加快該處理。然后，基于顏色分割圖來填充缺少的矢量。
第三種局部運(yùn)動估計算法是利用控制點(diǎn)和Lorenzo函凄t的改進(jìn) 的光流(optical flow )算法。該控制點(diǎn)被限定在格柵中，以及Lorenzo 函凄t用于4戈替標(biāo)準(zhǔn)均方差(MSE)來控制i吳差。該方法為下一幀的 每個像素計算水平和垂直梯度，確定控制點(diǎn)的結(jié)構(gòu)和分布，以及計 算每個像素對于其相關(guān)控制點(diǎn)的權(quán)重。由每個像素的運(yùn)動矢量的初 始假設(shè)開始，為控制點(diǎn)計算運(yùn)動矢量修改?；谠摽刂泣c(diǎn)計算所有 像素的運(yùn)動矢量修改。利用Lorenzo函數(shù)計算能量消耗函數(shù)(運(yùn)動 跟蹤誤差)。如果改變值較小，則該方法停止，否則重復(fù)計算直到 改變值較、或達(dá)到最大重復(fù)次數(shù)。 第四種局部運(yùn)動估計算法是與多個塊尺寸相匹配的完整塊。在 這種方法中，兩個幀之間的初始運(yùn)動估計被用作基于像素的查找的 起始點(diǎn)，該基于像素的查找利用使用局部中心矩計算得到的塊相關(guān) 值。對于當(dāng)前幀中的每個像素，基于最高相關(guān)值在下一幀中找到匹 配像素。對于多種不同塊尺寸重復(fù)此過程，從而為每個像素的每種 塊大小產(chǎn)生多個運(yùn)動矢量。
圖4象幀中的每個<象素可具有前向運(yùn)動矢量和后向運(yùn)動矢量。前 者通過從下一幀中查找匹配4象素來估計，后者通過從前一幀中以相 反方向查找來估計。所討論的所有算法都適用于每個方向，從而產(chǎn) 生多個前向運(yùn)動矢量和多個后向運(yùn)動矢量。
投票處理用于為每個像素從前向和后向運(yùn)動矢量中選出最精 確的運(yùn)動矢量。在本發(fā)明的一個實(shí)施例中，投票由以下方案組成， 其中每一個都針對二個圖像幀的某一部分。方案#1是利用邊緣差值
來選擇運(yùn)動矢量，邊緣差值是基于之先前生成的邊緣掩碼來計算。 對于與 一定的塊尺寸相關(guān)聯(lián)的每個運(yùn)動矢量，通過將塊內(nèi)周圍像素 的絕對邊緣差相加，然后除以塊的絕對邊緣值來計算歸 一化的邊緣 差。選擇具有足夠小的歸一化邊緣差值的運(yùn)動矢量，并將該運(yùn)動矢 量分配給像素。如果多于一個運(yùn)動矢量具有足夠小的歸一化邊緣 差，則選擇使用最大塊尺寸而獲得的運(yùn)動矢量。利用在相應(yīng)的精確 掩碼中的相對較高的精度值來標(biāo)記所選的像素。
如果方案#1沒有找到運(yùn)動矢量，則下一方案#2用于通過相干 檢查來選擇運(yùn)動矢量。在本方案中，嘗試基于足夠小的匹配誤差為 具有前向運(yùn)動矢量的每個像素在下一幀中找到具有相應(yīng)后向矢量 的相應(yīng)^f象素以組成一對。如果找到一對，則運(yùn)動矢量對凈皮分配給兩 個像素并且利用所得到的精確掩碼中較高的精度值來對它們進(jìn)行 標(biāo)記。
如果方案#2失敗，則使用下一投票方案(方案#3),其也基于 前向-后向檢查。當(dāng)基于前向運(yùn)動矢量將像素投影到下一幀時分析相 應(yīng)的后向運(yùn)動矢量。如果后向運(yùn)動矢量具有4^f氐的^"度值，則利用 具有相反方向的前向運(yùn)動矢量來4氣替該后向運(yùn)動矢量，這是因?yàn)榍?向運(yùn)動矢量具有較高的精度值。從而，改變了在精確掩碼中的精度 值。
如果方案#3沒有產(chǎn)生運(yùn)動矢量，則4吏用下一方案#4，以基于最 小像素色差來選擇運(yùn)動矢量。如果找到這種運(yùn)動矢量，則利用精確 掩碼中較低的精度值來標(biāo)記相應(yīng)的像素。
對于剩余的像素，顏色分割圖用于計算之前在相同分割區(qū)域中 找到的所有運(yùn)動矢量的平均值。然后，將平均運(yùn)動矢量用作參考， 選擇即接近于參考運(yùn)動矢量又具有最小像素匹配誤差的運(yùn)動矢量。 最后的這種投票方法是方案#5 。
盡管公開了五種投票方案，但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)意識到可提 出其他投票方案并將其添加到該方法中，其目的在于為每個幀的每 個像素產(chǎn)生具有最高可能精度的一對前向和后向運(yùn)動矢量。
在用于3D運(yùn)動畫面的局部運(yùn)動估計處理218中，可單獨(dú)i也從 L圖像或R圖像估計運(yùn)動矢量。然而，由于在L圖像和R圖像之間 存在高相關(guān)性，所以來自一只眼睛的運(yùn)動估計可^皮用作第二只眼睛 的精確的初始運(yùn)動估計。在本發(fā)明的一個實(shí)施例中，從L圖像獲得 的運(yùn)動矢量被用作R圖像的基于金字塔式投票的運(yùn)動估計處理的 初始運(yùn)動估計。這可以改善R圖像的運(yùn)動矢量的精度并降低L圖像 和R圖像之間的不一致性。
在多層金字塔式結(jié)構(gòu)中的基于投票的局部運(yùn)動估計可以是比 較有效且精確的，在該金字塔式結(jié)構(gòu)中，上層圖像數(shù)據(jù)表示圖像數(shù) 據(jù)的低質(zhì)量版本，而最低層(0層)表示圖像數(shù)據(jù)的最精細(xì)細(xì)節(jié)。
通過對每個幀逐步進(jìn)行低通濾波和二次采樣來生成圖像序列的這
種金字塔表示。在之前論述的基于運(yùn)動的空間分辨率提高方法108、 208中實(shí)現(xiàn)類似的金字塔表示，其也產(chǎn)生多層運(yùn)動估計。
根據(jù)本發(fā)明的一些實(shí)施例的基于金字塔式投票的局部運(yùn)動估 計方法608能在每個金字塔層實(shí)現(xiàn)。例如，參考圖6，在每層處為 每個幀生成邊緣掩碼圖612、顏色分割圖614和全局運(yùn)動估計116。 基于全局運(yùn)動估計，通過變形處理606使下一幀的所有數(shù)據(jù)(圖像 數(shù)據(jù)、邊緣掩碼圖612和顏色分割圖614)被變形為當(dāng)前幀，以在 每個金字塔層處創(chuàng)建變形數(shù)據(jù)。
上述所有的投票方案都可稍加或不加^f務(wù)改地應(yīng)用于所有金字 塔層。例如，可擴(kuò)展方案#2以對由多于一種的方法產(chǎn)生的多個運(yùn)動 矢量的相干性進(jìn)行檢查。在每個金字塔層，如果來自不同方法的至 少兩個運(yùn)動矢量都具有非常小的匹配誤差，則選擇由具有較高精度 的方法所產(chǎn)生的運(yùn)動矢量或確定這些矢量的平均值，從而更新在對 應(yīng)的精確掩碼618中的精度值。
對于高于層O的任意金字塔層，運(yùn)動矢量和精確掩碼都可通過 使用雙線性插值法來逐步改進(jìn)，以作為下一金字塔層的初始假設(shè)。 精確掩碼值618被用作插值中的權(quán)重，以使在插值中具有高精度值 的運(yùn)動矢量將比具有較低精度的運(yùn)動矢量具有更大的權(quán)重。
對于金字塔層0,考慮到像素遮擋，需要被調(diào)整運(yùn)動矢量。通 過使用后向運(yùn)動矢量將來自第二圖像幀的像素投影到第 一圖像幀 來創(chuàng)建中間掩碼。然后，此掩碼被擴(kuò)大以生成第一圖像幀的可追蹤 掩碼。那些不能夠從第二圖像追溯回第 一圖像的像素被認(rèn)為是遮擋 像素。對于遮擋像素，利用基于顏色分割的平均來調(diào)整其運(yùn)動矢量。 在相反方向上(從第二圖像幀回到第一圖像幀)重復(fù)此步驟。如果
應(yīng)用變形處理606，則通過逆變形處理610使所得到的雙向運(yùn)動矢 量616和^r確掩;馬618變形回到正常。
金字塔式結(jié)構(gòu)提供選擇局部運(yùn)動估計方法性能的可能性，其范 圍從最大精度(在所有金字塔層使用所有多種方法)到最大效率(在 0層4吏用一種方法)。稱作"標(biāo)記"624的4位二進(jìn)制字^皮用于標(biāo)記 所選方法的組合。例如，具有值1010的標(biāo)記624可表示選擇了方 法弁2和方法#4而沒有選擇方法#1和方法#3。通過選擇更多種方法 實(shí)現(xiàn)了更精確的結(jié)果，但同時增加了計算成本。在上層，可使用更 多的方法。結(jié)果，在上層實(shí)現(xiàn)了較高的精度而沒有大量增加計算成 本。如果上層運(yùn)動估計是高度精確的，則也可以改善下層運(yùn)動估計 的精度，使得下層需要較少的方法。
在針對3D運(yùn)動畫面的局部運(yùn)動估計處理218中，可從基于運(yùn) 動的分辨率提高階段獲得L和R圖像的金字塔式表示，并分別在L 圖像和R圖像中執(zhí)行與基于金字塔式投票的局部運(yùn)動估計608相類 似的基于沖殳票的運(yùn)動估計方法。然而，因?yàn)樵贚圖〗象和R圖〗象之間 存在4交強(qiáng)的相關(guān)性，所以來自 一只眼睛的運(yùn)動估計可用作第二只眼 睛的精確的初始運(yùn)動估計。從L圖像荻得的運(yùn)動矢量也可以用作R 圖像的基于金字i荅式投票的運(yùn)動估計處理的初始運(yùn)動估計。
半運(yùn)動矢量生成
然后，將半運(yùn)動矢量生成處理120應(yīng)用于圖像序列，以通過以 基于期望的幀速率的時間間隔合成新的幀來將此圖像序列轉(zhuǎn)換為 更高的幀速率?；陔p向運(yùn)動矢量616和精確掩碼618創(chuàng)建半運(yùn)動 矢量620，以表示像素從現(xiàn)有幀到合成幀或其他幀的移動。這里， 術(shù)語"半"用以表示合成幀的時間間隔是在兩個原始圖〗象幀之間的 某處，而其不限制合成幀是并f確地在兩個原始圖^f象幀之間的一半處
凈皮創(chuàng)建。以類似的方式，對應(yīng)于合成幀的時間間隔同樣創(chuàng)建半津fr確
掩碼622，其可以稍后在幀插值中4吏用。
半運(yùn)動矢量生成120通常假設(shè)合成幀在第一圖像幀和第二圖像 幀之間的時間間隔處^皮創(chuàng)建。然而，當(dāng)幀速率大于兩倍并且在兩個 圖《象幀之間創(chuàng)建多于一個的合成幀時，可^f吏用半運(yùn)動矢量生成120。 通過基于前向或后向運(yùn)動矢量將現(xiàn)有幀的所有像素都投射到合成 幀來創(chuàng)建合成幀。例如，稱作"半前向運(yùn)動矢量"的新的前向運(yùn)動 矢量被從第一幀分配到合成幀，還從合成幀分配到第二幀。類似地， 稱作"半后向運(yùn)動矢量"的新的后向運(yùn)動矢量被從第二幀分配到合 成幀以及從合成幀分配到第 一 幀。如果合成幀中的像素具有半前向 運(yùn)動矢量和半后向運(yùn)動矢量，則它核^人為是津奇確的，^人而在對應(yīng)于 合成幀的半津fr確掩碼中^皮標(biāo)記。如果存在一個半運(yùn)動矢量620，則 該像素被認(rèn)為是遮擋像素并同樣在半精確掩碼622中被標(biāo)記。如果 像素既沒有半前向運(yùn)動矢量也沒有半后向運(yùn)動矢量，則它^皮認(rèn)為是 不泮fr確的，從而在半精確掩碼中^皮標(biāo)記。通過求相鄰^"確^f象素的半 運(yùn)動矢量的平均值來估計缺少的半運(yùn)動矢量。所得到的半精確掩碼 可被用于在后續(xù)的處理階段中定位潛在偽像像素。
幀插值
然后，使用半運(yùn)動矢量620和半精確掩碼622來執(zhí)行幀插值 122。在本發(fā)明的優(yōu)選實(shí)施例中，幀插值122使用兩個相鄰圖像的 金字塔式表示及其精確掩碼618。
通常，將幀插值122應(yīng)用于在第 一圖像幀和第二圖像幀之間創(chuàng) 建合成幀。首先，以相同的金字塔式結(jié)構(gòu)創(chuàng)建空白合成幀。幀插值 的任務(wù)是使每個金字塔層的合成幀的每個像素填充有正確的顏色 值。從在特定層的合成幀中的目標(biāo)像素位置處開始，對在第一幀和 第二幀中在相同位置和相同層處的像素值進(jìn)行比較。如果它們的值
足夠接近，則將平均色分配給在合成幀中的相同位置的像素。此像 素也凈皮標(biāo)i己為灃奮確。
如果不能發(fā)現(xiàn)色匹配，則利用對應(yīng)的半運(yùn)動矢量將合成幀中的 目標(biāo)像素投影到第一幀和第二幀，并獲得來自每個幀的一個顏色 值。如果這兩個顏色值足夠接近，則計算這兩個顏色值的平均值并 將其分配給目標(biāo)像素。此外，該像素被標(biāo)記為精確。如果這兩個顏
色值不足夠接近，則從其大多數(shù)鄰近像素中選擇其顏色值共享的一 個投影像素，并將該像素標(biāo)記為遮擋像素。
如果目標(biāo)^像素具有一個半運(yùn)動矢量(半前向運(yùn)動矢量或半后向 運(yùn)動矢量)，則該像素被分配有利用可用的半運(yùn)動矢量投影的像素 的顏色值。該像素^皮標(biāo)記為遮擋像素。
如果目標(biāo)像素沒有半運(yùn)動矢量，則在更高的金字塔層處在 一組 <象素內(nèi)查找精確的{象素。
一旦找到，就向該目標(biāo)^象素分配從這些精 確像素的雙線性插值中獲得的顏色值。如果在鄰域內(nèi)沒有找到精確 像素，則逐漸擴(kuò)大像素組的半徑，直到其至少包括一些精確像素， 并且向目標(biāo)^像素分配這些精確〗象素的雙線性插值。
幀插值122處理能夠從兩個現(xiàn)有圖像幀中創(chuàng)建合成圖像幀。對 整個圖像序列重復(fù)此處理，直到達(dá)到期望的幀速率。得到了包括現(xiàn) 有圖像幀和合成圖像幀的時間上增強(qiáng)的圖像序列。根據(jù)期望的幀速 率，不是所有現(xiàn)有圖像幀都可以保留在所得到的增強(qiáng)圖像序列中。 例如，為了將才示準(zhǔn)24 fps的運(yùn)動畫面序列4爭#灸為48 fps豐針出幀速率， 可在每對相鄰的圖像幀之間創(chuàng)建合成幀。因此，所得到的增強(qiáng)圖像 序列的近一半的圖像幀都是合成幀。在輸出幀速率不是正好為原始 幀速率的倍數(shù)的其他情況下，增強(qiáng)圖像序列的更高百分比(達(dá)到 100% )的圖像幀都將是合成圖像幀。
時間增強(qiáng)的運(yùn)動畫面當(dāng)以更高幀速率顯示時能夠與原始音4九 同步。將需要在圖像序列的最后的現(xiàn)有幀之后添加 一 個或多個附加 合成幀以輔助同步。通常根據(jù)最后的圖像幀來創(chuàng)建這些合成的結(jié)束 幀。存在多種根據(jù)單個圖像幀創(chuàng)建合成幀的方法。 一種方法是創(chuàng)建 兩個幀。第二種方法是生成從圖像幀到合成幀的半前向運(yùn)動矢量并 填充合成幀的所有像素。
基于多于兩個的幀的幀插值方法能夠大量減少時間不一致偽 像。通常，長度為2M+1個幀的時間窗用于限定用于生成合成幀的 圖像幀的范圍。窗的長度可根據(jù)圖像序列中的運(yùn)動而改變。小的窗 長度用于快速運(yùn)動序列，而相對大的窗長度用于緩慢運(yùn)動序列。
在在合成幀之前的一幀和每個先前幀之間，以及在合成幀之后 的一幀和每個將來幀之間進(jìn)4亍運(yùn)動估計?？稍诿繉g4吏用相同 的基于金字塔式投票的運(yùn)動估計方法，并且該方法生成前向運(yùn)動矢
量和后向運(yùn)動矢量。
4吏用與先前7>開的方法相同的方法，在合成幀與時間窗內(nèi)的每
個其他圖像幀之間生成半運(yùn)動矢量620。合成幀的像素值可通過對 存在的所有投影像素進(jìn)行加權(quán)平均來計算。
對于包括快速運(yùn)動的圖像序列，由于使用上述方法計算得到的 運(yùn)動估計精確度較差，所以提高時間分辨率變得更具挑戰(zhàn)性。本發(fā) 明的一些實(shí)施例提供了用于處理快速運(yùn)動的場景的分層方法155。 分層方法155將圖像分割成不同的運(yùn)動層以及對在相同層中共享相 似運(yùn)動的圖像元素進(jìn)行分組。
由先前的方法估計出的半運(yùn)動矢量620可用于運(yùn)動分割。每個 原始圖像幀被分成多個小塊。由仿射運(yùn)動模型來估計表示每個塊的 運(yùn)動，該仿射運(yùn)動模型是基于塊的所有像素的運(yùn)動矢量通過最小二
乘法計算得到的。計算擬合誤差以評價該運(yùn)動模型是好的擬合還是 差的擬合。對于所有好的擬合塊，收集它們的仿射運(yùn)動參數(shù)。應(yīng)用 聚類算法以將仿射運(yùn)動模型聚集為表示整個圖像中的主要運(yùn)動的 少量的類。
根據(jù)主要運(yùn)動類，將每個像素基于其運(yùn)動矢量映射到最近的運(yùn) 動類中。然后，屬于相同運(yùn)動類的所有像素被組合成段。如果分割 的區(qū)域太小，則可將其與較大的鄰近段合并。如果兩個段具有相似 的仿射運(yùn)動，則可將它們合并成一個區(qū)域。如果區(qū)域具有的仿射運(yùn) 動模型擬合誤差太大以至于不能保持為一個區(qū)域，則可以將它分成 兩個區(qū)域，每一個區(qū)域都具有不同的仿射運(yùn)動才莫型。重復(fù)此分割處 理，直到各區(qū)域變得穩(wěn)定或達(dá)到最大重復(fù)次數(shù)。
為包括所有像素的分割索引的每個幀創(chuàng)建最終運(yùn)動分割掩碼。 此分割掩碼限定每個幀的圖像像素的層結(jié)構(gòu)。
包括運(yùn)動分割掩碼和仿射運(yùn)動4莫型參^:的運(yùn)動分割結(jié)果可用 作分割下一幀的初始估計。才艮據(jù)初始估計，重復(fù)與之前描述的處理 相同的處理，直到下一幀被分割。重復(fù)該處理直到為所有原始圖像 創(chuàng)建了運(yùn)動分割掩碼。
可才艮據(jù)原始幀的運(yùn)動分割掩碼^使用"與"或"或"運(yùn)算來插入 合成幀的運(yùn)動分割掩碼。在每一層內(nèi)，計算出該層的全局運(yùn)動單應(yīng) 矩陣以及在應(yīng)用金字塔式運(yùn)動跟蹤之前基于全局運(yùn)動單應(yīng)矩陣將 每個幀彎曲變形到其相鄰幀。最終，使用跟蹤的運(yùn)動矢量在每層處 通過進(jìn)行插值來產(chǎn)生新的分層圖像。
基于運(yùn)動分割掩碼，通過合成所有分層圖像來創(chuàng)建新的合成圖 像幀。
與分層方法155相比，幀插^直方法122可^皮i人為是單層方法。 在分層方法中將全局運(yùn)動估計應(yīng)用于每個層，使得所得到的運(yùn)動矢 量相對精確。分層方法可減少在邊緣和遮擋區(qū)域中產(chǎn)生的偽像。
通過時間 一致，,查的偽傳J務(wù)復(fù)
能力的時間一致性檢查124、 224來修復(fù)。合成幀可包括偽像像素， 最明顯的偽像是與其相鄰幀(包括原始圖像幀)不一致的那些像素。 時間一致性檢查124、 224可通過檢-驗(yàn)時間一致性來自動識別并修^ 復(fù)時間上不一致的偽像。
合成幀的偽像像素是之前處理中生成的相應(yīng)半精確掩碼中除 那些被標(biāo)記為"精確，，之外的任何像素。那些偽像像素可通過其在 時間窗內(nèi)的"可見度"來進(jìn)一步分組。如果偽像像素可使用半運(yùn)動 矢量投影到另 一幀上并具有足夠小的匹配誤差，則該偽像圖像在可 乂人該幀"看見"的情況下為"可見的"。
偽4象<象素可通過其可見度來分組。例如，第一組包4舌從時間窗 內(nèi)的多凄t幀可見的^象素。第二組可包4舌從該窗內(nèi)少于50%的過去幀 可見的那些^f象素。第三組包括/人時間窗內(nèi)少于50%的將來幀可見的 那些像素?？蓪⒌谝唤M的偽像像素認(rèn)為是非遮擋像素，而可將另兩 組i人為是遮擋^f象素。半并#確掩碼可用于對偽<象<象素進(jìn)4亍分組?？勺?動去除識別出的偽俜 像素。
時間上不一致的偽傳 像素產(chǎn)生最令人不快的偽^象。雖然可通過 熟練用戶交互地利用傳統(tǒng)上色、克隆或合成軟件工具來修復(fù)這些偽 像，但是此過程是耗時且費(fèi)力的。本發(fā)明公開了用于修復(fù)時間上不 一致的偽l象的更有效的方法。
半精確掩碼622可用于對偽像像素進(jìn)行分組。對于第一組的像 素，利用時間窗內(nèi)的過去幀和將來幀中的像素的投影像素來計算像 素匹配誤差。如果某一幀的匹配誤差明顯大于其他幀的匹配誤差， 則將該像素標(biāo)記為偽像像素。對于第二組的像素，利用其在將來幀 中的沖殳影^象素來檢查^f象素匹配誤差。如果某一幀的匹配i吳差明顯大 于其他幀的匹配誤差，則將該像素標(biāo)記為偽像像素。對于第三組的 像素，對時間窗內(nèi)的過去幀進(jìn)行時間一致性才企驗(yàn)，并且如果匹配誤 差大，則將該像素標(biāo)記為偽像像素。對于所有識別出的偽像像素， 通過利用在相應(yīng)過去幀和/或?qū)韼械乃型队跋袼氐钠骄伾?值自動代替該像素來執(zhí)行修復(fù)。
3D運(yùn)動畫面的偽像修復(fù)處理224能夠根據(jù)L圖像和R圖像之 間的不一致性來<奮復(fù)偽{象，并且可以通過4企查L-R —致性來識別這 些偽<象。例如，^!尋立體匹配處理應(yīng)用于每個L-R圖4象對，并且可以 估計深度信息。在時間上插入所得到的深度圖，以創(chuàng)建合成幀的深 度圖。利用所插入的深度圖，檢查在合成的L圖像和R圖像中的像 素，以及對不一致的j象素進(jìn)4亍標(biāo)記，并4吏用來自另一只眼睛或直4妻 來自同一只眼睛的其他幀的相應(yīng)像素對其進(jìn)行修復(fù)。
通過例如合并不同版本的像素，可進(jìn)一步減少或交互地去除從 之前的時間一致性檢查124、 224中殘存下來的偽H像素。在不同 標(biāo)記下創(chuàng)建不同版本的像素，并將其合并以減少偽像。在GUI環(huán)境 下，用戶可以檢查不同版本的增強(qiáng)圖像序列，并選擇最好的版本或 將多個所選版本合并到一起以產(chǎn)生包括更少偽像的新的版本。
如以下更詳細(xì)描述的，還可以通過用戶交互126(例如，提供 對在具有允許用戶^務(wù)復(fù)數(shù)據(jù)的計算機(jī)可執(zhí)行代碼的基于處理器的 設(shè)備上的數(shù)據(jù)進(jìn)行訪問)來修復(fù)偽像。
質(zhì)量控制
質(zhì)量控制(QC) 128、 228是這樣的處理經(jīng)訓(xùn)練的操作人員 視覺上檢測增強(qiáng)圖像序列，以確定所得到的質(zhì)量是否是可接受的。 ^口圖4-斤示，可在QC5占420上執(zhí)4亍QC處理128、 228。侈'J^口， QC 站420可以是配備有高質(zhì)量顯示系統(tǒng)、足夠大的磁盤存儲器、和允 許操作者執(zhí)行QC檢查所需的所有功能的軟件的工作站。顯示系統(tǒng) 可以是2D顯示系統(tǒng)或立體的3D顯示系統(tǒng)，或者是支持2D和3D 的系統(tǒng)。 一旦完成了所需的處理，就通過由智能控制器(IC) 406 作為主機(jī)的中央服務(wù)器將增強(qiáng)圖像序列發(fā)送至QC站420，并且跟 蹤軟件告知操作者哪個序列可用于QC檢查。如果操作者識別出偽
報告回給IC406。然后，基于操作者的輸入通過調(diào)整重新處理該序 列，這可能需要通過自動處理使用 一組新的參數(shù)來重新處理某些幀 或者可能需要使用不同的偽像去除方法由操作人員來重新處理某 些幀。經(jīng)重新處理的圖像數(shù)據(jù);故IC 406帶回至QC站420以進(jìn)一步 進(jìn)行檢查。重復(fù)此過程直到所得到的質(zhì)量被認(rèn)為是可接受的，然后 完成該處理。操作者可通知IC406該序列是可接受的，然后該圖像 數(shù)據(jù)準(zhǔn)備輸出。
完成并4妻受的圖^f象序列可以是諸如IC 406的中央月良務(wù)器上的 一系列文件。這些文件具有標(biāo)準(zhǔn)化的文件格式并用作所重制的運(yùn)動 畫面的源母帶文4牛。才艮才居運(yùn)動畫面的輸出130、 230或發(fā)4亍，4尋源 母帶文件轉(zhuǎn)換為用于影院發(fā)行的發(fā)行母帶文件。發(fā)行母帶文件的格 式可以取決于劇場中采用的發(fā)行顯示平臺。對于標(biāo)準(zhǔn)化的數(shù)字電影 發(fā)行，發(fā)行母帶文件可直接用于進(jìn)行顯示。對于其他非標(biāo)準(zhǔn)化數(shù)字 發(fā)行，可將發(fā)行母帶文件轉(zhuǎn)換為適合顯示的數(shù)字文件格式。對于基 于膠片的顯示，可以將發(fā)行母帶文件(或源母帶文件)記錄成用于 電影拷貝發(fā)行為的適當(dāng)膠片格式。在數(shù)字領(lǐng)域中存在可將源母帶文 件轉(zhuǎn)換為發(fā)行母帶文件的多種文件類型和壓縮方案。在一般的發(fā)行 過程中，必須將發(fā)行母帶文件寫到f茲帶或外部存儲器中，以將其運(yùn)
送到影院或用于存檔。IC可基于用戶建立的優(yōu)先級方案來安排文件
格式轉(zhuǎn)換所需的工作。優(yōu)先級方案的實(shí)例可為以優(yōu)先級排列出現(xiàn)在
主要運(yùn)動畫面放映之前的某些序列，例如，電影預(yù)告片。通過IC
來追蹤用于每個電影放映的特定發(fā)行母帶格式、使用的壓縮方案和 優(yōu)先級方案，使得每個運(yùn)動畫面發(fā)行的位置和狀況對于整個制作來 說是已知的。
數(shù)字重制方法可被實(shí)現(xiàn)為高度自動化的制作計算系統(tǒng)。圖4示 出了被實(shí)現(xiàn)為兩個子系統(tǒng)的組合而計算系統(tǒng)400的一個實(shí)施例主 要支持需要用戶交互的應(yīng)用的前端系統(tǒng)402和能夠完全自動化的后 端系統(tǒng)404。兩個子系統(tǒng)都使用網(wǎng)絡(luò)化的軟件和硬件的組合。都通 過在服務(wù)器上的中央軟件實(shí)體或智能控制器(IC) 406來監(jiān)控和控 制硬件和軟件。
后端子系統(tǒng)404包括:IC 406、中央凝:據(jù)存卡者器408、和形成渲 染農(nóng)場的很多分布式渲染客戶機(jī)410a-n。在后端子系統(tǒng)中數(shù)據(jù)輸入 /輸出415與IC 406相關(guān)聯(lián)，以提供到用于加載諸如軟件的計算機(jī) 可執(zhí)行代碼的IC 406的訪問以及配置IC 406。后端子系統(tǒng)404也可 包括集群交換機(jī)414a-n和主干交換機(jī)417以控制在整個網(wǎng)絡(luò)上的數(shù) 據(jù)流。渲染農(nóng)場可以具有任何適當(dāng)數(shù)量的渲染客戶機(jī)410a-n?？稍?后端子系統(tǒng)404中執(zhí)行多數(shù)計算任務(wù)，這些任務(wù)可以包括自動化 的場景分割、基于運(yùn)動的空間分辨率提高、基于學(xué)習(xí)的空間分辨率 提高、以及時間分辨率提高的大多數(shù)任務(wù)。IC406執(zhí)行各種控制和 跟蹤功能。多個端口監(jiān)控程序在此服務(wù)器上運(yùn)行，從而連續(xù)監(jiān)控工 作或所需的更新并獨(dú)立;也執(zhí)4于它們。
IC能夠執(zhí)行在三個主要領(lǐng)域的功能
監(jiān)控物理石更件和數(shù)才居，多艮蹤所有正4吏用和可用的系統(tǒng)資源；
,響應(yīng)于來自用戶的查詢，提供實(shí)時報告；以及
當(dāng)需要動作且系統(tǒng)資源可用時，對數(shù)據(jù)進(jìn)行處理。
IC 406可在內(nèi)部表示用于產(chǎn)品的執(zhí)行過或正執(zhí)行的所有數(shù)據(jù) 和處理的狀態(tài)。所有運(yùn)行中的處理(為自動機(jī)器任務(wù)或手動操作者 的動作)都將其進(jìn)展和狀態(tài)報告回該IC406。其監(jiān)控用于最新可用 數(shù)據(jù)和已被處理并可準(zhǔn)備用于磁帶備份的數(shù)據(jù)的中央數(shù)據(jù)存儲器 408?？刹樵僆C 406以獲得精確的實(shí)時信息，作為產(chǎn)品或單個鏡頭 的進(jìn)展。
可利用對IC 406進(jìn)行訪問的網(wǎng)絡(luò)由任何才幾器遠(yuǎn)程訪問IC 406 4言息。例如，本i也前端工作站412a-n或者外部計算;幾或通信設(shè)備能 夠通過互聯(lián)網(wǎng)與IC 406進(jìn)行遠(yuǎn)程通信。所訪問的信息是能夠達(dá)到一 定安全等級并可對每個個體進(jìn)行訪問的用戶指定的。通過固定的報 告或允許用戶創(chuàng)建其自己的報告的私有查詢構(gòu)建器，來報告該信 息。它們能夠控制結(jié)果的搜索標(biāo)準(zhǔn)，還可以設(shè)定他們希望向匹配對 象返回什么信息。
IC406能夠跟蹤三個一般級別的處理幀、鏡頭、以及產(chǎn)品。
跟蹤幀級別的屬性的實(shí)例包括
用于運(yùn)行對幀的各種處理的渲染客戶才幾；
處理完成狀況，例如，等待運(yùn)行、已完成、以及正在運(yùn)行；
處理發(fā)生或t每個幀進(jìn)4于查詢的次K;以及
幀大小、文件類型、和位深度。
跟蹤4竟頭級別的屬性的實(shí)例包括
已對鏡頭執(zhí)行的或需要對鏡頭執(zhí)行的處理；
鏡頭信息，即，長度、外部制作者或公司可能稱呼鏡頭的其 他名稱、描述、以及當(dāng)被記錄時在膠片上的4走碼；
參數(shù)集，特別針對這些處理；
批準(zhǔn)者請求對鏡頭的跟蹤和監(jiān)控變化；
處理鏡頭的用戶標(biāo)識；
對鏡頭的任何階段或處理的完成次數(shù)；
版本控制一用戶注冊和退出；
傳送4言息；以及
電影記錄信息，例如次數(shù)和所使用的記錄器。
跟蹤產(chǎn)品層的屬性的實(shí)例包括
傳送信息；
分配給用戶的工作；
用戶過去完成的工作；以及
產(chǎn)品統(tǒng)計，例如，完成百分比、估計的完成次凄t、以及多個 版本鏡頭的頻率。
IC 406還負(fù)責(zé)運(yùn)行應(yīng)用于數(shù)據(jù)的所有處理。當(dāng)系統(tǒng)資源變得可 用時，IC 406優(yōu)選地基于需要和資源以最佳方式將處理分配給多個 分布式渲染客戶才幾410a-n。每個渲染客戶才幾410a-n —旦凈皮指示要 運(yùn)行作業(yè)，則負(fù)責(zé)從中央數(shù)據(jù)存儲器408中獲取(pull)它需要的 所有圖像數(shù)據(jù)，對每個幀執(zhí)行所需的操作，以及將增強(qiáng)圖像數(shù)據(jù)放 回到在控制器數(shù)據(jù)存儲器408的臨時位置處。對于分配給多個渲染 客戶4幾410a-n的作業(yè)，IC 406將來自渲染客戶才幾410a-n的經(jīng)渲染 的各段組合成連續(xù)鏡頭。IC 406還檢驗(yàn)在鏡頭中偶然缺少的幀或不 完整幀的組合數(shù)據(jù)的完整性。如果發(fā)現(xiàn)有缺少的幀或不完整的幀， 則IC 406向相同的渲染客戶機(jī)發(fā)送請求，以重新渲染那些幀。IC 406 和渲染客戶才幾410a-n之間的通4言對于渲染效率來i兌至關(guān)重要。
IC 406跟蹤每個渲染客戶才幾410a-n的當(dāng)前狀態(tài)并持續(xù)地監(jiān)控 可用的處理器。在渲染客戶才幾410a-n可能失效的情況下，IC 406 提高修復(fù)的警戒狀態(tài)。它將任務(wù)重新路由至給其他可用的渲染客戶 機(jī)410a-n來處理。診斷處理確保在傳送期間沒有數(shù)據(jù)丟失。如果 IC406經(jīng)歷了失效，則故障之前的系統(tǒng)狀態(tài)^皮保存。在本發(fā)明的一 個實(shí)施例中，IC 406通過取消在渲染客戶才幾410a-n上運(yùn)4亍的所有處 理來重啟，并將^f壬務(wù)重新分配^^個渲染客戶才幾410a-n。在另一實(shí) 施例中，IC406調(diào)查渲染客戶才幾410a-n的狀態(tài)，找到其當(dāng)前狀態(tài)并 重新開始控制。這是一種較復(fù)雜的重啟方案，但不需要重新渲染數(shù) 據(jù)。
在本發(fā)明的一個實(shí)施例中，IC 406包括下列軟件構(gòu)件
調(diào)座力呈序-監(jiān)控對數(shù)據(jù)運(yùn)行所需的處理。它基于預(yù)定的負(fù)載平衡 方案來管理渲染作業(yè)分發(fā)，并將作業(yè)分配給特定的渲染客戶枳i 410a-n。如果有多個可用的候選，貝'J IC406檢查渲染客戶機(jī)集群之 中的網(wǎng)絡(luò)流量負(fù)載分布，并從具有最低流量負(fù)載的一個集群(或多 個集群)中選擇一個渲染客戶才幾(或多個渲染客戶才幾)410a-n。對
于隊列中的每個作業(yè)，IC 406將該作業(yè)分配給單個渲染客戶枳i 410a-n,特別是在隊列中等待的作業(yè)數(shù)比可用的渲染客戶機(jī)數(shù)多時， 或者IC 406可將該作業(yè)分配給多個渲染客戶機(jī)410a-n，特別是當(dāng)需 要盡快完成作業(yè)時。
自動運(yùn)4亍-監(jiān)控對于處理可用的^t據(jù)。通常通過處理來收集凄t 據(jù)，并且對lt據(jù)運(yùn)4于命令。在開始制作時，動作或處理被 沒置為對 任意數(shù)量的鏡頭(或所有的電影鏡頭)運(yùn)行。由于我們的處理是自 身i殳置的，即，它們智能地分析凄t據(jù)以獨(dú)立地獲得最佳的i殳置和參 數(shù)，所以無需人的交互。然后，自動運(yùn)行監(jiān)控用于使凝:據(jù)變得可用 的物理硬件和網(wǎng)絡(luò)。 一旦所有構(gòu)件都可用，則其向調(diào)度程序提交請 求以對特定數(shù)據(jù)運(yùn)行處理。這優(yōu)化了工作流程，從而在準(zhǔn)備處理數(shù) 才居與運(yùn)4亍所需處理之間沒有'浪費(fèi)時間。
文件安裝-監(jiān)控完整的并在另 一物理位置中或以另 一格式需要 的數(shù)據(jù)。通常在制作期間，要求數(shù)據(jù)可以不同的格式利用。文件安 裝端口監(jiān)控程序監(jiān)控任意不同版本或所需格式的文件及其狀態(tài)。如 果需要，其將數(shù)據(jù)處理成需要的格式并將其物理地傳送到其他位 置。這具有一些有益的應(yīng)用。首先，它通過在最短的時間內(nèi)獲得在 所有需要的位置和以所有格式可用的數(shù)據(jù)來優(yōu)化工作流程。其也可
以用于在整個系統(tǒng)上創(chuàng)建智能高速緩存，以改善網(wǎng)絡(luò)性能并加速用 戶交互。這種實(shí)例是IC 406知道用戶在第二天將處理哪個數(shù)據(jù)以及 將使用哪個前端工作站。代理服務(wù)器版本的數(shù)據(jù)在非高峰時間被本 地地傳送到工作站以4吏用戶能立即對其進(jìn)4亍4吏用并在更忙碌時避 免資源的4吏用。
磁帶寫入程序一監(jiān)控需要備份到磁帶并寫入磁帶的最終數(shù)據(jù)。 端口監(jiān)控程序與IC 406的其他元件持續(xù)地接觸，所以當(dāng)數(shù)據(jù)被需要 且對于磁帶備份可用時可意識到。它能獨(dú)立地將數(shù)據(jù)寫入磁帶并將 磁帶名稱的相關(guān)信息和寫入次數(shù)報告回中央數(shù)據(jù)庫。
前端子系統(tǒng)402可包括多個計算才幾工作站412a-n和多個QC站 420a-n，其中的每一個都能被操作者或技術(shù)人員操縱。前端子系統(tǒng) 還可以包括網(wǎng)絡(luò)交換機(jī)421，用于控制和輔助通過網(wǎng)絡(luò)的數(shù)據(jù)流。 工作站412a-n是標(biāo)準(zhǔn)的臺式計算機(jī)，并且運(yùn)行客戶軟件和商業(yè)可購 得的應(yīng)用程序的組合。在前端子系統(tǒng)402處執(zhí)4亍的計算任務(wù)包括在 場景分割時EDL信息的輸入、空間和時間分辨率提高處理中的質(zhì) 量控制、以及偽像修復(fù)。
運(yùn)4亍在前端才幾器上的所有應(yīng)用都通過網(wǎng)絡(luò)連4妻來連接到后端 控制軟件。所作的任何改變或更新都被才艮告回后端處理，其中，存 儲每個鏡頭和整個產(chǎn)品的狀態(tài)。此通信的實(shí)例包括數(shù)據(jù)的退出和再 次注冊、對數(shù)據(jù)的人工手動任務(wù)的完成等。前端機(jī)器的操作者也可 以明確地查詢IC 406以獲得關(guān)于產(chǎn)品的處理和狀態(tài)的信息。
前端工作站412a-n提供的一個軟件應(yīng)用程序主要是用于偽像 修復(fù)的工具。操作人員可以主要強(qiáng)調(diào)問題區(qū)域并使用多種方法來去 除偽1象。這些方法包括
利用來自相同幀或者來自該序列的另 一幀的信息進(jìn)行人工 上色；
使用空間分析和/或時間分析進(jìn)行自動上色以去除不需要的 結(jié)果；以及
組合人工上色和智能地提供合適的數(shù)據(jù)以供操作者進(jìn)行上色 的自動分析，從而去除偽像。
圖5中示出了在前端和后端子系統(tǒng)之間的典型運(yùn)動畫面重制產(chǎn) 品的圖傳4t據(jù)流。整個工作流程如下。
可以將場景編輯信息、編輯描述列表(EDL)文件輸入到IC 中。這使得'自動運(yùn)行，能夠?qū)碜栽籍a(chǎn)品的輸入數(shù)字幀映射為 將在整個系統(tǒng)上運(yùn)行的離散的單個鏡頭。例如，輸入的數(shù)字?jǐn)?shù)據(jù)可 以是從膠片中掃描的 一 系列編號文件(例如，frame.OOOl.cin, frame.0002.cin...)或者可以是來自數(shù)字顏色分級處理的任意命名的 文件，其中，存在很多不同類型的文件前綴和編號方案。
用于此產(chǎn)品的IC開始監(jiān)控準(zhǔn)備執(zhí)行任務(wù)的系統(tǒng)。例如，該IC 可以獲知數(shù)據(jù)和系統(tǒng)資源是否可用于運(yùn)行重制處理以及是否需要 移動或設(shè)法重新格式化數(shù)據(jù)。
在安裝處理之后，在步驟510中，將來自源產(chǎn)品的圖像數(shù)據(jù)提 供給中央數(shù)據(jù)存儲器，其中，通過IC可查看該中央數(shù)據(jù)存儲器。 該凄t據(jù)可以諸如》茲帶格式、石茲盤驅(qū)動器或陣列的多種方式直4妾從掃 描器輸出等處得到。
在步驟515中，IC注意到凝:據(jù)為可用的并查閱為該特定產(chǎn)品車俞 入的的編輯信息。如果一些需要的數(shù)據(jù)分組在^茲盤上是完整的， (來自鏡頭的所有幀)，則基于編輯信息將源數(shù)據(jù)分割成稱作鏡頭 的類似幀的分組。 一旦原始lt據(jù)^皮分成完整的4竟頭，IC就對用于重 制的鏡頭進(jìn)行排隊(被認(rèn)為是'作業(yè)，)，以使其在分布式處理器上 運(yùn)行。'調(diào)度程序，觀察所排隊的作業(yè)以進(jìn)行處理，從而在渲染客 戶機(jī)中分割鏡頭。這意味著獲取鏡頭并對其進(jìn)行劃分以在不同的遠(yuǎn) 程處理器上分條(inpieces)單獨(dú)運(yùn)行。
在步驟520中，遠(yuǎn)程處理器或渲染客戶機(jī)接收它們的作業(yè)并返 回它們正在開始處理的報告。它們將所需的鏡頭數(shù)據(jù)(例如，已分 配給它們的來自于鏡頭范圍的幀)復(fù)制到它們的本地驅(qū)動器。渲染 客戶機(jī)能夠自動分析數(shù)據(jù)以確定運(yùn)行的最好程序以及對這些處理
的最佳設(shè)置。 一旦完成，渲染客戶機(jī)以那個數(shù)據(jù)的最佳設(shè)置來運(yùn)行 所需的處理。
在步驟525中，渲染客戶才幾將完成的數(shù)據(jù)傳送回月良務(wù)器并向IC 報告它們已經(jīng)結(jié)束了處理以及分配給該IC的幀范圍準(zhǔn)備好進(jìn)入工 作流禾呈的下一步驟。它們還向IC才艮告它們可用于更多的工作。
可選地，分析處理獨(dú)立于執(zhí)行處理。例如，首先，在渲染客戶 才幾上運(yùn)4亍通過IC^非隊的分坤斤作業(yè)并且將其結(jié)果傳回IC。然后，乂人 這一點(diǎn)開始，利用由分析建立的參數(shù)對實(shí)際處理進(jìn)行排隊，然后IC 將重制處理分離并將其分配給遠(yuǎn)程處理器。這可在一次分析每個鏡 頭、交替進(jìn)行子鏡頭參數(shù)調(diào)整中增加效率和一致性，從而在鏡頭內(nèi) 存在較大改變的情況下還可以得到較精確的結(jié)果。
在步驟530中，IC將重制幀的預(yù)覽凄t據(jù)傳送到用于質(zhì)量確保和 檢查的前端質(zhì)量控制工作站(QC站)。在系統(tǒng)的后端發(fā)生了所有工 作和數(shù)據(jù)流到此點(diǎn)。在此點(diǎn)處工作被傳遞到前端。IC通知用戶或系 統(tǒng)管理員存在等待被瀏覽的數(shù)據(jù)。經(jīng)訓(xùn)練的質(zhì)量控制操作者瀏覽數(shù) 據(jù)并具有基于他們的發(fā)現(xiàn)的少量選擇。然后，通常他們必須通過在 他們估計ft據(jù)所4吏用的前端4欠件內(nèi)"i殳置4免頭狀態(tài)來告訴IC他們的 決定。
在步驟532中，4喿作者通知IC |欠據(jù)#1精確地處理并是完整的 而因此被驗(yàn)收，或者確定數(shù)據(jù)需要進(jìn)行附加的自動化處理以及所需 的重新處理4爭小生。
如果指示進(jìn)行附加處理，則在步驟535中，鏡頭再次排隊等待 分析和處理，其中，由IC將操作者的建議翻譯為用于自動分析的 參數(shù)改變(influence )。此作頁被給予更高的優(yōu)先級以使其更早和更 快地運(yùn)行，以在整個工作流程中不會導(dǎo)致項(xiàng)目流程中的瓶頸。這兩個確定將鏡頭的控制傳遞回工作流程的后端。第三個確定將控制保 留在前端中。
如果沒有指示進(jìn)行附加處理，則在步驟550中，將數(shù)據(jù)設(shè)置為
移動到存儲器中，例如，磁帶備份、磁盤備份、膠片記錄、數(shù)字投 影母帶制作或任何種類的終端顯示操作。然后，系統(tǒng)可以通過例如
數(shù)據(jù)I/O設(shè)備來輸出數(shù)據(jù)。
在步驟538中，操作者能夠確定鏡頭需要一些前端，殘留偽像 的用戶輔助定影。然后，IC將數(shù)據(jù)傳送至必要的本地前端工作站， 用于4竟頭的用戶輔助修復(fù)。IC將任何標(biāo)記用于人工偽像修復(fù)的凝:據(jù) 分配給可用的修復(fù)操作者，這類似于它將工作分配給遠(yuǎn)程處理器或 渲染客戶機(jī)?？捎刹僮魅藛T通過或?qū)㈢R頭分割成遍布很多人的多個 工作來加快完成或最大禾呈度地4吏用空閑工作站來實(shí)現(xiàn)相同的工作 流程最優(yōu)化。
在步驟540中，修復(fù)操作者處理分配給他們的工作，當(dāng)完成時 將它們交回至IC服務(wù)器。
在步驟542中，可將數(shù)據(jù)認(rèn)為被操作人員'驗(yàn)收，或在步驟545 中，可爿夸#史據(jù)循環(huán)返回用于進(jìn)一步的質(zhì)量併3正和4企查的前端QC站。
在步驟550中，IC觀看完成的工作以及對已分割在多個工作站 上的任何鏡頭進(jìn)行組裝。 一旦一組完整的幀或鏡頭已經(jīng)完成了所有 處理并^皮i人可，則IC監(jiān)控與所需運(yùn)送相比的完整數(shù)據(jù)并將滿足標(biāo) 準(zhǔn)的任意數(shù)據(jù)傳送至最終階段。這可包括諸如用于運(yùn)送的磁帶或磁 盤備份、力交片記錄、It字顯示或4壬意數(shù)量的顯示終端處理的處理。
本發(fā)明的上述實(shí)施例的以上描述僅出于說明和闡述的目的，其 包括優(yōu)選實(shí)施例，并不用于詳盡描述或?qū)⒈景l(fā)明限定為所公開的確 切形式。對于本領(lǐng)域的技術(shù)人員來說，在不背離本發(fā)明的精神和范 圍的情況下，各種修改和改變將是顯而易見的。
權(quán)利要求
1.一種用于提高運(yùn)動畫面圖像序列的質(zhì)量的方法，所述方法包括:接收包括多個圖像幀的數(shù)字?jǐn)?shù)據(jù)的原始運(yùn)動畫面圖像序列；將空間分辨率提高處理和時間分辨率提高處理應(yīng)用于數(shù)字圖像序列以創(chuàng)建增強(qiáng)圖像序列；其中，所述提高處理被自動控制；以及其中，與所述原始圖像序列相比，所述增強(qiáng)圖像序列具有更高的幀速率，以及與所述原始圖像序列相比，所述增強(qiáng)圖像序列具有更好的圖像細(xì)節(jié)。
2. 4艮據(jù)權(quán)利要求1所述的方法，還包括將所述增強(qiáng)圖像序列同步至所述原始圖像序列的音軌。
3. 才艮據(jù)4又利要求1所述的方法，其中，所述原始運(yùn)動畫面圖4象序 列和所述增強(qiáng)圖l象序列是二維(2D)序列。
4. 根據(jù)權(quán)利要求1所述的方法，其中，所述原始運(yùn)動畫面圖像序 列和所述增強(qiáng)圖像序列是三維(3D)序列。
5. 根據(jù)權(quán)利要求1所述的方法，其中，所述原始運(yùn)動畫面圖像序 列呈3D格式，以及所述增強(qiáng)圖像序列呈2D格式。
6. 根據(jù)權(quán)利要求1所述的方法，還包括將所述原始運(yùn)動畫面圖像序列分成多個鏡頭；以及 對每個4免頭執(zhí)4于所述增強(qiáng)處理。
7. 才艮據(jù)權(quán)利要求1所述的方法，其中，所述原始運(yùn)動畫面圖像序 列是單個鏡頭。
8. 根據(jù)權(quán)利要求1所述的方法，還包括將所述增強(qiáng)圖像序列格式化為顯示呈現(xiàn)格式；以及將格式化后的增強(qiáng)圖像序列同步至所述原始圖像序列的 音軌。
9. 根據(jù)權(quán)利要求1所述的方法，其中，所述空間分辨率提高處理 包括基于運(yùn)動的空間分辨率提高處理；以及 基于學(xué)習(xí)的分辨率提高處理。
10. 根據(jù)權(quán)利要求9所述的方法，還包括將所述基于運(yùn)動的空間分辨率處理應(yīng)用于3D圖〗象序列， 其中，應(yīng)用所述基于運(yùn)動的空間分辨率處理包括#見差4古計；顯示圖調(diào)節(jié)；以及細(xì)節(jié)發(fā)現(xiàn)。
11. 根據(jù)權(quán)利要求9所述的方法，其中，所述基于學(xué)習(xí)的空間分辨 率才是高處理包才舌生成包括碼字的碼本，每個碼字均與高分辨率圖案相關(guān)聯(lián)；應(yīng)用聚類分析以減小所述碼本的尺寸；將所述原始圖像序列的原始圖像放大到更高的分辨率，所述原始圖像包括多個像素；將所放大的圖像的每個像素與碼字相匹配；以及用與所匹配的碼字相關(guān)聯(lián)的所述高分辨率圖案的中心像 素來代替每個像素。
12. 根據(jù)權(quán)利要求9所述的方法，其中，所述基于學(xué)習(xí)的空間分辨 率提高處理包括生成包括碼字的碼本，每個碼字均與高分辨率圖案相關(guān)聯(lián)；應(yīng)用聚類分析以降低所述碼本的尺寸；將所述原始圖像序列的原始圖像放大到更高的分辨率， 所述原始圖像包括至少 一個像素塊；將所放大的圖像的每個像素塊與碼字相匹配；4吏用變換處理由與所匹配的碼字相關(guān)聯(lián)的高分辨率圖案 來代替所述像素塊，以創(chuàng)建增強(qiáng)像素塊；將混合處理應(yīng)用于所述增強(qiáng)4象素塊；以及應(yīng)用時間過濾處J里。
13. 才艮據(jù)權(quán)利要求1所述的方法，其中，所述時間分辨率提高處理 包括預(yù)處理；全局運(yùn)動估計；局部運(yùn)動估計；半運(yùn)動矢量生成；幀才翁^直；以及 通過時間 一致性檢查的偽傳 修復(fù)。
14. 根據(jù)權(quán)利要求13所述的方法，其中，預(yù)處理包括根據(jù)每個圖像幀生成邊緣掩碼圖；以及 根據(jù)每個圖像幀生成顏色分割圖。
15. 根據(jù)權(quán)利要求13所述的方法，其中，每個圖像幀包括多個像 素，所述全局運(yùn)動估計包括a. 為每個像素計算梯度交叉相關(guān)矩陣；b. 基于所述梯度交叉相關(guān)矩陣計算每個像素的至少一個 特征點(diǎn)；c. 將至少 一 個所計算的特征點(diǎn)與所述圖〗象序列中的下一 幀的特征點(diǎn)進(jìn)行匹配；d. 選擇至少四個匹配的凈爭征點(diǎn)；e. 基于所選擇的特4正點(diǎn)估計全局運(yùn)動；以及f. 通過選擇不同的匹配特征點(diǎn)來交互地重復(fù)步驟d和e， 直到獲得用于每個像素的全局運(yùn)動估計。
16. 才艮才居4又利要求13所述的方法，其中，所述局部運(yùn)動處理包4舌從所述空間分辨率提高處理4妻收運(yùn)動估計； 將所述運(yùn)動估計用作初始運(yùn)動估計； 從所述預(yù)處理處理4妾收邊全彖掩碼圖和顏色分割圖； 4吏用來自所述全局運(yùn)動估計的全局運(yùn)動估計；以及 ^^艮據(jù)基于^:票的方法來計算局部運(yùn)動矢量。
17. 才艮據(jù)權(quán)利要求16所述的方法，其中，每個圖像幀包括多個像 素；以及其中，所述基于投票的方法包括將至少一種局部運(yùn)動估計方法應(yīng)用于每個像素；計算用于每種局部運(yùn)動估計方法的前向運(yùn)動矢量和 后向運(yùn)動矢量；以及利用沖殳票處理從所述前向運(yùn)動矢量和所述后向運(yùn)動 矢量中選擇每個像素的運(yùn)動矢量。
18. 根據(jù)權(quán)利要求17所述的方法，其中，局部運(yùn)動估計方法包括 以下至少一種塊匹配方法；凈爭;f正傳纟番方法；》務(wù)改的光流方法；以及整塊匹配方法。
19. 才艮據(jù)權(quán)利要求16所述的方法，其中，所述基于投票的方法是 基于金字塔式投票的方法。
20. 根據(jù)權(quán)利要求17所述的方法，其中，所述投票處理包括以下 至少一個通過不同的邊全彖值選擇運(yùn)動矢量；通過一致性檢查選擇運(yùn)動矢量；通過最小匹配i吳差選擇運(yùn)動矢量；通過前向檢查和后向4企查選擇運(yùn)動矢量；利用顏色分割圖選擇運(yùn)動矢量。
21. 根據(jù)權(quán)利要求13所述的方法，其中，半運(yùn)動矢量生成包括確定在第 一圖像幀和第二個圖像幀之間的合成圖像幀的 時間間隔；向所述合成幀的每個像素分配半前向運(yùn)動矢量和半后向 運(yùn)動矢量；以及生成對應(yīng)于所述合成幀的半精確掩碼，所述半精確掩碼 標(biāo)記每個像素的狀態(tài)。
22. 根據(jù)權(quán)利要求13所述的方法，其中，幀插值包括接收從至少兩個圖像幀生成的半運(yùn)動矢量和半精確掩碼；至少部分地基于所述半運(yùn)動矢量和半精確掩碼來創(chuàng)建合 成幀；通過插值和平均來生成所述合成幀的缺少像素； 將所述缺少像素插入到所述合成幀中；以及 生成具有所述合成圖像幀的所述增強(qiáng)圖像序列。
23. 根據(jù)權(quán)利要求22所述的方法，還包括通過添加至少 一 個合成幀來保持與所述原始圖像序列的 音軌的同步。
24. 根據(jù)權(quán)利要求22所述的方法，其中，使用金字塔式表示的圖 像對來創(chuàng)建所述合成幀。
25. 根據(jù)權(quán)利要求22所述的方法，其中，使用多于兩個的圖像來 創(chuàng)建所述合成幀。
26. 4艮據(jù)4又利要求13所述的方法，其中，通過時間一致性檢查的 偽像修復(fù)包括通過半并fr確掩碼來識別偽{象4象素；通過可見度對偽H像素進(jìn)4于分組；基于分組檢驗(yàn)時間一致性；以及自動修復(fù)時間不一致的偽像l象素。
27. 根據(jù)權(quán)利要求13所述的方法,
28. 4艮據(jù)4又利要求1所述的方法， 像。
29. 根據(jù)權(quán)利要求27所述的方法， 本的合成幀進(jìn)行合并。還包括分層的幀插值處理。 還包4舌通過用戶交互來去除偽其中，去除偽像包括將不同版
30.—種用于提高運(yùn)動畫面圖^f象序列的質(zhì)量的系統(tǒng)，所述系統(tǒng)包 括后端子系統(tǒng)，包4舌中央數(shù)據(jù)存儲器，用于存儲原始運(yùn)動畫面圖像序列 和增強(qiáng)圖{象序列，所述原始運(yùn)動畫面圖^象序列包4舌多個 圖像幀的數(shù)字?jǐn)?shù)據(jù)；渲染客戶機(jī)，被配置為對所述原始圖像序列執(zhí)行空 間分辨率提高處理和時間分辨率提高處理，以創(chuàng)建所述 增強(qiáng)圖^象序列；智能控制器，用于控制所述渲染客戶機(jī)并訪問所述 中央數(shù)據(jù)存儲器；以及其中，所述智能控制器自動控制所述提高處理；以及 其中，與所述原始圖像序列相比，所述增強(qiáng)圖像序列具 有更高的幀速率，以及與所述原始圖像序列相比，所述增強(qiáng)圖 像序列具有更好的細(xì)節(jié)。
31. 根據(jù)權(quán)利要求30所述的系統(tǒng)，還包括前端子系統(tǒng)，包括用于與所述智能控制器進(jìn)行通信的工 作站，在修復(fù)所述增強(qiáng)圖像序列中的偽像、執(zhí)行所述增強(qiáng)圖像 序列的質(zhì)量控制檢查、以及分割所述原始圖像序列時，所述工 作站適于提供用戶輸入和交互。
32. 根據(jù)權(quán)利要求31所述的系統(tǒng)，其中，所述工作站包括多個工 作站。
33. 根據(jù)權(quán)利要求32所述的系統(tǒng)，其中，所述多個工作站中的至 少 一個包括質(zhì)量控制工作站。
34. 根據(jù)權(quán)利要求30所述的系統(tǒng)，其中，所述原始運(yùn)動畫面圖像 序列和所述增強(qiáng)圖 <象序列呈2D格式。
35. 根據(jù)權(quán)利要求30所述的系統(tǒng)，其中，所述原始運(yùn)動畫面圖像 序列和所述增強(qiáng)圖<象序列呈3D格式。
36. 根據(jù)權(quán)利要求30所述的系統(tǒng)，其中，所述原始運(yùn)動畫面圖像 序列呈3D格式以及所述增強(qiáng)圖像序列呈2D格式。
37. 根據(jù)權(quán)利要求30所述的系統(tǒng)，其中，所述渲染客戶機(jī)適于檢 查所述增強(qiáng)圖像序列的質(zhì)量。
38. 才艮據(jù);K利要求30所述的系統(tǒng)，其中，所述智能控制器包括處 理器和包括可執(zhí)行代碼的存儲器，所述可執(zhí)行代碼包括 調(diào)度程序； 白動運(yùn)行； 文件安裝；以及 》茲帶寫入程序。
39. 根據(jù)權(quán)利要求30所述的系統(tǒng)，其中，所述渲染客戶機(jī)包括多 個渲染客戶才幾。
40. 根據(jù)權(quán)利要求39所述的系統(tǒng)，其中，所述智能控制器適于檢 測系統(tǒng)故障并關(guān)閉每個渲染客戶機(jī)，以及向每個渲染客戶機(jī)重 新分配作業(yè)。
41. 根據(jù)權(quán)利要求39所述的系統(tǒng)，其中，所述智能控制器適于監(jiān) 控所述渲染客戶機(jī)以防止重新渲染數(shù)據(jù)。
42. —種用于纟是高原始運(yùn)動畫面圖〗象序列的質(zhì)量的方法，所述方法 包括接收圖像序列；4妻>1欠#刀士臺運(yùn)動4古i十；應(yīng)用時間分辨率提高處理，所述處理包4舌 預(yù)處理； 全局運(yùn)動4古計； 局部運(yùn)動估計； 半運(yùn)動矢量生成； 幀才悉^直；以及通過時間 一致性才企查的偽<象4務(wù)復(fù)； 其中，所述時間分辨率提高處理被自動控制；以及其中，與所述原始圖像序列相比，所述增強(qiáng)圖像序列具 有更高的幀速率。
43. 才艮據(jù)權(quán)利要求42所述的方法， 強(qiáng)圖像序列是數(shù)字?jǐn)?shù)據(jù)。
44. 才艮據(jù)權(quán)利要求42所述的方法， 述增強(qiáng)圖像序列呈2D格式。
45. 根據(jù)權(quán)利要求42所述的方法， 述增強(qiáng)圖像序列呈3D格式。其中，所述原始圖^象序列和增 其中，所述原始圖像序列和所 其中，所述原始圖像序列和所
46. 根據(jù)權(quán)利要求42所述的方法，其中，所述原始圖像序列呈3D 格式以及所述增強(qiáng)圖像序列呈2D格式。
47. —種用于4是高原始運(yùn)動畫面圖像序列的質(zhì)量的方法，所述方法 包括接收3D原始運(yùn)動畫面圖像序列；將空間分辨率4是高處理應(yīng)用于所述3D原始圖^f象序列以 創(chuàng)建增強(qiáng)圖^f象序列；以及其中，與所述原始圖像序列相比，所述增強(qiáng)圖像序列具 有更好的細(xì)節(jié)。
48. 根據(jù)權(quán)利要求47所述的方法，其中，所述空間分辨率提高處 理包括基于運(yùn)動的空間分辨率提高處理；以及 基于學(xué)習(xí)的分辨率提高處理。
49. 根據(jù)權(quán)利要求48所述的方法，還包括將所述基于運(yùn)動的空間分辨率處理應(yīng)用于3D圖〗象序列， 其中，應(yīng)用所述基于運(yùn)動的空間分辨率處理包括視差估計；顯示圖調(diào)節(jié)；以及細(xì)節(jié)發(fā)J見。
50. 根據(jù)權(quán)利要求48所述的方法，其中，所述基于學(xué)習(xí)的空間分 辨率提高處理包4舌生成包括碼字的碼本，每個碼字均與高分辨率圖案相關(guān)聯(lián)；應(yīng)用聚類分析，以降低所述碼本的尺寸；將所述原始圖像序列的原始圖像放大到更高的分辨率， 所述原始圖像包括多個像素；將所放大的圖像的每個像素與碼字相匹配；以及用與所匹配的碼字相關(guān)聯(lián)的所述高分辨率圖案的中心傳_ 素來代替每個像素。
51. 根據(jù)權(quán)利要求48所述的方法，其中，所述基于學(xué)習(xí)的空間分 辨率提高處理包括生成包括碼字的碼本，每個碼字均與高分辨率圖案相關(guān)聯(lián)；應(yīng)用聚類分析以降低所述碼本的尺寸；將所述原始圖像序列的原始圖像放大到更高的分辨率， 所述原始圖像包括至少 一 個像素塊；將所放大的圖像的每個像素塊與碼字相匹配； 使用變換處理用與所匹配的碼字相關(guān)聯(lián)的高分辨率圖案來代替所述像素塊，以創(chuàng)建增強(qiáng)像素塊；將混合處理應(yīng)用于所述增強(qiáng)^象素塊；以及 應(yīng)用時間過濾處理。
全文摘要
本發(fā)明涉及一種用于呈現(xiàn)具有提高的感知分辨率和視覺質(zhì)量的運(yùn)動畫面的方法和系統(tǒng)。實(shí)現(xiàn)了在空間上和時間上提高感知分辨率。空間分辨率提高使用基于時間的方法和基于學(xué)習(xí)的方法創(chuàng)建圖像細(xì)節(jié)。時間分辨率提高創(chuàng)建能使運(yùn)動圖像以更高幀速率顯示的合成的新圖像幀。使用支持比原始運(yùn)動畫面所需的幀速率和或顯示分辨率更高的幀速率和/或更高顯示分辨率的投影系統(tǒng)或顯示設(shè)備來呈現(xiàn)數(shù)字增強(qiáng)的運(yùn)動畫面。
文檔編號G06T15/70GK101375315SQ200780003734
公開日2009年2月25日 申請日期2007年1月29日 優(yōu)先權(quán)日2006年1月27日
發(fā)明者保羅·朱迪肯斯, 葉劍平, 周子衡 申請人:圖象公司