專利名稱：魯棒的超分辨率視頻縮放的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻圖像的處理，特別涉及通過縮;故對視頻序列格式 進行轉(zhuǎn)換的方法及裝置。
背景技術(shù)：
視頻格式的多樣性要求將輸入視頻的格式適配成顯示設(shè)備或者 傳輸所要求的格式。在隔行掃描視頻中，每個連續(xù)圖像，也被稱為場 (field)，在時間上交替提供偶數(shù)行(even lines )和奇數(shù)行(odd lines )。 標準清晰度電視(SDTV, Standard Definition Television ),如NTSC， PAL和SECAM電視格式，都是隔行掃描的。隔行掃描監(jiān)視器，如陰 極射線管(CRT, Cathode Ray Tube)被設(shè)計用于顯示這些具有偶數(shù) 行和奇數(shù)行隔行掃描的場。逐行掃描視頻圖像格式在每幅圖像中包含 了所有行(偶數(shù)行和奇數(shù)行)。LCD視頻監(jiān)視器就是被設(shè)計用來顯示 這些逐行掃描視頻的。因此，對于隔行掃描的輸入視頻，有必要執(zhí)行 解隔行掃描操作，該操作分別計算隔行掃描視頻序列的每個場中缺失 的奇數(shù)行和偶數(shù)行，從而輸出逐行掃描視頻。 一些被采用的高清晰度 電視(HDTV, High Definition Television )格式，具有720行的720p 逐行掃描格式，或者1080行的1080i隔行掃描格式。典型地，將SDTV 視頻格式轉(zhuǎn)換到HDTV視頻格式需要執(zhí)行解隔行掃描和改變行數(shù)，比 如從NTSC格式的486行變?yōu)?20p HDTV格式的720行。
視頻序列的解隔行掃描和改變行數(shù)是一種縮放操作，該縮放操作 將定義在隔行掃描采樣網(wǎng)格(grid)上的輸入視頻轉(zhuǎn)換成定義在輸出 采樣網(wǎng)格上的輸出視頻。解隔行掃描是一種輸出采樣網(wǎng)格同時包含偶 數(shù)行和奇數(shù)行的縮放。對行數(shù)的進一步修正是對輸出采樣網(wǎng)格作進一像素值，在指定的輸出采樣網(wǎng)格上計算像素值。
第一種方法是，根據(jù)時間點t上的輸入視頻圖像，計算在時間點
t上的每個輸出視頻圖像，其方式是通過FIR濾波執(zhí)行空間插值，從
輸入采樣值計算得到輸出網(wǎng)格上的采樣。當輸入圖像是隔行掃描時，
以遠低于香農(nóng)采樣頻率(Shannon sampling rate)的頻率對該輸入圖像 進行采樣，則插值會產(chǎn)生在結(jié)果視頻中明顯可見的人為失真 (artifacts )。方向插〗直(Directional interpolation)能部分減少這些人 為失真，但不能完全杜絕，其原因是無法獲取執(zhí)行插值操作所必需的 信息。如果輸入圖像是逐行掃描的，則增加采樣密度也會產(chǎn)生模糊不 清的圖像。專利號為6，614，489的美國專利提供了該方法的一個例子。
第二種方法被稱為"運動自適應(yīng)"，當在圖像中沒有檢測到運動 時，該方法執(zhí)行時間插值(time interpolation )，當在圖像中檢測到明 顯的運動時，該方法4丸行空間插值(spatial interpolation )。當出現(xiàn)明 顯的運動時，由于該方法使用了空間插值，因而會產(chǎn)生與使用空間插 值技術(shù)時相同類型的人為失真。專利號為5,428,398的美國專利提供 了該方法的一個例子。
第三種方法被稱為"運動補償"，該方法測量圖像中的位移，并在 時域執(zhí)行插值操作，其中該插值操作考慮了所測量到的運動。通過合 并時域上多個圖像的信息，該技術(shù)能提高縮放后的圖像的空間分辨 率，并能恢復出更好的細節(jié)。因此這也被稱為超分辨率處理。然而， 已有的運動補償技術(shù)并不穩(wěn)定，并會引入可見的人為失真。事實上， 精確計算圖像像素的位移是非常困難的，特別是對于那些欠采樣的隔 行掃描圖像。當在時間插值時使用這些運動向量時，被遮住而引起的 運動不連續(xù)性(例如， 一個原本在背景中可見的物體，由于在前景中 的另 一個物體的相對運動而被遮住)，或者諸如灰塵引起的細小運動、 或者運動的透明度都會產(chǎn)生引起人為失真的運動估計誤差。為了減少 這些人為失真，當被測量的運動的可信度不夠時，運動補償?shù)目s放過 程執(zhí)行空間插值。這樣，就以引入空間縮放所產(chǎn)生的人為失真為代價， 以減少運動補償技術(shù)中引入的運動人為失真。專利號為6,940,557的美國專利提供了該方法的一個例子。
現(xiàn)有技術(shù)中，沒有任何一種視頻縮放方法完全利用了由輸入浮見頻 序列提供的空-時信息，以執(zhí)行高質(zhì)量的超分辨率縮放。因此，本發(fā) 明的一個目的就是，消除或部分減輕前文所述缺陷中的至少一部分， 以通過縮放過程對視頻序列進行轉(zhuǎn)換。

發(fā)明內(nèi)容
本發(fā)明的一個主要目的是提出了一種對輸入視頻進行魯棒的超分 辨率縮放的方法及其裝置，該發(fā)明可以包括解隔行掃描功能。
根據(jù)本發(fā)明的方法，對定義在空-時輸入網(wǎng)格上的輸入圖像的視頻信 號進行處理，并在預定義的空-時輸出網(wǎng)格上輸出視頻。在新點的空-時 新網(wǎng)格上執(zhí)行計算，這些新點是輸出網(wǎng)格中的不在輸入網(wǎng)格上的點。
本發(fā)明應(yīng)用了預定義的線性操作的參數(shù)化插值器族，對新網(wǎng)格的每 個新點的空-時鄰域中的輸入圖像值進行參數(shù)化的加權(quán)平均，以在每個新 點上輸出參數(shù)化的插值。與需要估計運動，并需要沿著所估計的運動方 向上決定采用空間插值或時間插值以計算插值的運動自適應(yīng)技術(shù)或運 動補償技術(shù)相反的是，在本發(fā)明中不需要運動估計，并且因此可以減輕 通常因為運動估計而產(chǎn)生的誤差。不同于通過運動估計來優(yōu)化插值，本 發(fā)明計算可能的插值器的一個完整的族，并用魯棒的最大似然技術(shù)選出 一個最佳插值器，該最佳插值器使得由負對數(shù)似然定義的損失最小化。
在每個新點，給定一個新點的空-時鄰域上的輸入圖像的值，該方法 估計出每個新點的值的條件概率分布。因為在這樣一個鄰域上可獲得的 數(shù)據(jù)的數(shù)量是有限的以及視頻值的變換范圍很大，因此利用區(qū)間不敏感 概率分布以獲得魯棒的結(jié)果。對于每個新點，從該新點的一個空-時鄰域 中的輸入圖像值估計出一個區(qū)間，這樣，該新點的輸出圖像值的概率密 度被估計在該區(qū)間中具有最大值。
對于每個新點，本發(fā)明為每個參數(shù)化插值，基于一個第二概率分布， 計算出 一個不敏感損失值，該第二概率分布在與所述新點相關(guān)的值的區(qū) 間內(nèi)是常數(shù)且最大。第二概率在這里也被稱為"區(qū)間不敏感"。不敏感損失可以表示為所述插值后的值相對于區(qū)間不敏感概率分布的 一 個負對 數(shù)似然，該區(qū)間不敏感概率分布根據(jù)與所述新點相關(guān)的值的區(qū)間定義。 對于每個參數(shù)化的插值器，不敏感損失被空間濾波，以在每個新點
的空間鄰域上用加權(quán)求和進行調(diào)整，該調(diào)整后的損失輸入至最小化損失
選擇過程。
對于所述新網(wǎng)格的每個新點，本發(fā)明選擇一 個最佳參數(shù)化插值， 使其在該新點上在所有參數(shù)化插值中，調(diào)整后的損失最小化。然后輸 出一個視頻，該視頻在輸出網(wǎng)格的每個輸出點上的值，當該輸出點也
在輸入網(wǎng)格中時，該輸出點上的值等于輸入圖像值；或者當該輸出點 是一個新點時，該輸出點上的值等于在該輸出點的最佳參數(shù)化插值。 在本發(fā)明中，對于每個新點，可以通過一個魯棒過程估計得到不 敏感區(qū)間，該魯棒過程將該新點的空-時鄰域劃分成一組子鄰域。對 于每個子鄰域，通過在該子鄰域中對輸入圖像值進行排序獲得的兩個
指定排序的值，估計得到一個部分的不敏感區(qū)間，并且，整個不敏感 區(qū)間可通過合并這組部分的不每文感區(qū)間獲得。
不敏感概率分布，該分布在不敏感區(qū)間的外部具有指數(shù)衰減特性。
根據(jù)本發(fā)明的方法，還包括通過總變化增量得到的一個不敏感損 失的校正(penalize)。該校正對由所選擇的最佳插值引入的振動進 行控制。對每個參數(shù)化插值器以及每個新點，在該新點的一維鄰域上， 該方法包括計算一個總變化增量，從包括輸入圖像值以及通過參數(shù)化 插值器計算得到的插值后的值的集合中計算獲得該總變化增量。該一 維鄰域可以選為水平的或垂直的。對每個參數(shù)化插值器，在每個新點 的空間鄰域中通過加權(quán)求和對該總變化增量進行空間濾波，并且調(diào)整 后的總變化增量提供給最小化損失選擇過程作為輸入。對于每個新 點，調(diào)整后的不敏感損失可以用于對在所述新點上的調(diào)整后的總變化 增量進行校正，這樣被選擇的最佳參數(shù)化方向插值使得，在該新點上 所有參數(shù)化插值中，該被校正的調(diào)整后的不敏感損失最小。
在本發(fā)明中，參數(shù)化插值器可以是參數(shù)化方向插值器，用于沿著輸入網(wǎng)格的參數(shù)化空-時方向計算線性插值。
根據(jù)本發(fā)明的方法，還可以包括通過方向匹配誤差得到不敏感損 失的校正。對于方向校正插值器，該校正確保輸入圖像值在所選擇的 最佳插值的空-時方向上幾乎沒有變化。對于每個沿參數(shù)化空-時方向 的參數(shù)化方向插值器以及每個新點，從與該新,泉沿該空-時方向?qū)R 的插值后的輸入圖像值的差值中，計算得到一個方向匹配誤差。對于 每個參數(shù)化方向插值器，在每個新點的 一 個空間鄰域中用加權(quán)求和， 以對該方向匹配誤差進行濾波，并且調(diào)整的匹配誤差被作為最小化損 失選擇過程的輸入。對于每個新點，由調(diào)整后的匹配誤差對調(diào)整后的 不敏感損失進行校正，以選擇一個最佳參數(shù)化方向插值，該插值使得 在該新點處的所有參數(shù)化插值中，被校正的調(diào)整后的不敏感損失最小 化。對于每個新點，也可以由該新點的調(diào)整后的總變化增量和調(diào)整后 的匹配誤差 一起對調(diào)整后的不敏感損失進行校正，以選擇一個最佳參 數(shù)化方向插值。
特別地，本發(fā)明的方法可應(yīng)用于將輸入為隔行掃描的視頻轉(zhuǎn)換成 輸出為逐行掃描視頻的情形。對于這樣的解隔行掃描，根據(jù)本發(fā)明的 方法還可以包括將輸入圖像分類為"電影電視膠片類型"或"隔行掃描 電視類型"，該分類還可以細分輸入圖像與"前"一幀輸入圖像最相似 或與"后"一幀輸入圖像最相似。然后，該方法根據(jù)該圖像分類，修正
在每個新點處最佳參數(shù)化方向插值的選擇，使得在該新點處被校正的 調(diào)整后的不敏感損失最小，或者是該新點的"前"或"后"一 幀圖像值的拷貝。
本發(fā)明的另 一 個方面涉及數(shù)字^f見頻縮;故方法，該方法用于處理在 一個空-時輸入網(wǎng)格的各個點上具有各自輸入圖像值的輸入視頻信 號，以產(chǎn)生在包括所述輸入網(wǎng)格的點以及新點的一個空-時輸出網(wǎng)格 的各個點上具有各自輸出圖像值的輸出視頻信號。對于每個這樣的新 點，該方法包括以下步驟。在該新點對應(yīng)的一個空-時鄰域上對輸入 圖像值應(yīng)用 一 個預定義的參數(shù)化線性插值器的族，以在該新點處為該 族中的每個插值器提供一個插值后的值。對應(yīng)于該族中的每個插值器，從輸入圖像值和在該新點的 一 個 一 維空間鄰域中用該插值器計算 得到的插值后的值的集合中，計算一個總變化增量。對應(yīng)于該族中的 每個插值器，在該新點的一個空間鄰域中，對該總變化增量進行空間 濾波。選擇該族中的一個插值器，使其滿足一個依賴于該濾波后的總 變化增量的最小化標準，其中被選擇的插值器的插值后的值作為在該 新點處的輸出圖像值。典型地，這樣的最小化標準將濾波后的總變化 增量與其他代價或損失值相結(jié)合，有利地，該代價或損失值包括如前
本發(fā)明還包括一種用于在電視顯示器上顯示圖像的電視系統(tǒng)，包 括用于接收輸入視頻信號的裝置，根據(jù)前述方法對輸入視頻信號進行 處理的處理裝置，以及顯示由該處理裝置產(chǎn)生的輸出視頻信號的裝置。
本發(fā)明還包括一種視頻縮放裝置，包括用于執(zhí)行上述方法的計算
機裝置。
本發(fā)明還包括一種計算機程序產(chǎn)品，當在計算機處理單元運行計 算機程序時，包括用于執(zhí)行上述方法的指令。


本發(fā)明的上述目的以及其它目的，本發(fā)明的多個特征，以及本發(fā)明 本身，可以通過結(jié)合附圖和下列描述得到更完整的理解，其中所涉及的
附圖包括
圖1示出了本發(fā)明的一個示例性的實施例的框圖，其中接收一個輸 入視頻，并通過最小化一個區(qū)間不敏感損失，計算獲得一個預定義輸出 網(wǎng)格上的輸出視頻。
圖2示出了本發(fā)明的一個示例性的配置的框圖，其中接收一個輸入 視頻，通過最小化一個用調(diào)整后的總變化增量進行校正的區(qū)間不敏感損 失，計算獲得一個預定義輸出網(wǎng)格上的輸出視頻。
圖3示出了本發(fā)明的一個示例性的配置的框圖，其中接收一個輸入視頻，通過最小化一個用總變化增量以及方向匹配誤差進行校正的區(qū)間 不敏感損失，計算獲得一個預定義輸出網(wǎng)格上的輸出視頻。
圖4示出了用于計算總變化增量的輸入網(wǎng)格點和新點的配置的示意
性框圖。
圖5示出了用于一個解隔行掃描系統(tǒng)計算總變化增量的輸入網(wǎng)格點 和新點的配置的示意性框圖。
圖6示出了在 一 個新點處的用于空間方向插值的輸入網(wǎng)格點的示意
性框圖。
圖7示出了在一個新點處的用于空-時方向插值的輸入網(wǎng)格點的示
意性框圖。
具體實施例方式
圖1所示的裝置是本發(fā)明的一個實施例。該裝置對定義在空-時
輸入網(wǎng)格^上的二維(2D)圖像的視頻信號進行處理。對于每個時間
下標t，其中t是一個整數(shù)參數(shù)，空-時輸入網(wǎng)格^是在R3中的坐標 是r(n!， n2，《)=,n + an2T2 + tT3 + t4(f)的點的網(wǎng)格，，其中
n = (i，o，o)和A = (o，i，o)是歸一化的水平和垂直空間矢量，
T"3 = (O，O，l)是一個沿時間方向的矢量，a④是空間位移，其取決
于該視頻是隔行掃描還是逐行掃描。如果輸入視頻是隔行掃描的，則 輸入一見頻是由在兩個時間點t和t+ 1上的兩個場組成的，其中當t是 偶數(shù)時，則第一個場包含偶數(shù)行，并且第二個場包含奇數(shù)行。在這種
情況下，輸入網(wǎng)格在R^中通過如下形式定義取a=2,并且當t是
偶數(shù)時T4(力)=(O，O，O),以及t是奇數(shù)時 (纟)=(0， l，O)。如果輸入
視頻是逐行掃描的，則取01=1，且對于所有t取Q(^ = (0，0，0)。對 于每個輸入網(wǎng)格點，' 0,輸入視頻給出 一個圖像值"(wi， ,，。
例如，對于PAL標準，整數(shù)打l、打2的取值范圍分別是從1到720以 及從1到288, a等于2并且t的一個單元對應(yīng)的時間增量是20ms。典型地，圖像值是一個多分量值。例如，在YCbCr顏色空間中， 每個網(wǎng)格點都有一個表示亮度的Y分量，和兩個共同確定顏色的色度 分量Cb和Cr。這里描述的處理過程僅僅針對單個分量，也就是說圖 像值"(％，,，*)可以用來表示任何一個單個分量的值。當然，同時處
理所有分量的替代處理方法也是可能的，并將在下文做進一步的描述。
圖1所示的超分辨率系統(tǒng)輸出定義在空-時輸出網(wǎng)格《上的二維
圖像的視頻流。在每個時間點t上，輸出網(wǎng)格^是由點 到nhfi2,《)^ainin+a2an2T2+fT3+7"5(力)組成的統(tǒng)一的空間網(wǎng)
格，其中打i、 W和t都是整數(shù)，(°^，°^是和輸入網(wǎng)格相關(guān)的空間縮
放參數(shù)，它們可能大于或小于l,而T"0則是空間位移。如果輸出網(wǎng) 格是隔行掃描網(wǎng)格，則當t是偶數(shù)時，BO = (a，o，o);當t是奇數(shù)
時，巧W = (o，i,o)。如果輸出網(wǎng)格是逐行掃描網(wǎng)格，則對于所有t, t"5(《)=(O，O，O)。在下文中，我們標記打=(m，n2)。對于每個輸出
網(wǎng)格點念(n^),輸出視頻可以用值《n,幻表示。如果輸入網(wǎng)格是隔 行掃描而輸出網(wǎng)格是逐行掃描的，則縮放系統(tǒng)是一個解隔行掃描系 統(tǒng)。如果"i == & = 1，則該縮放系統(tǒng)是具有單位縮放的解隔行掃描
系統(tǒng)。例如，對于720pHDTV標準，整數(shù)ni，^2的取值范圍分別是從 1到1280以及從1到720，如果輸入視頻是PAL標準，則參數(shù) ai = 576〃20，以及ct2 = 720/1280。
在每個時間點t，超分辨率縮放系統(tǒng)接收輸入圖像"(n，力+ ^，并
輸出圖像e(71，0,其中典型地，延遲d介于l到5之間。新網(wǎng)格《被
定義為輸出網(wǎng)格^中所有不屬于網(wǎng)格0的點 的集合。新點(new point) 指的是新網(wǎng)格中的點。
用最大似然方法計算^n，^。一個預先定義的插值器的族在每個 新點上提供了 一個圖像值的族?？梢詮拿總€新點的鄰域中所觀察到的輸入圖像值估計得到未知新點的值的條件概率分布。
該裝置包括參數(shù)化的插值模塊(101),該模塊接收輸入視頻，并應(yīng)
用一個線性插值器的族(^Vher,其下標為多參數(shù)7， 7屬于一個預
定義的參數(shù)集合r。在每個新網(wǎng)格點到71，0 e ^處，模塊(101)輸出一 個插值后的值的族^，(n，0^er。在點€ S處，線性插值器丑，y
通過對輸入圖像值"(71 4 —》(其中W的參數(shù)化加權(quán)平均，以
(1)
二維插值核K"7(X)具有有限支撐，因此當X(n'，《—S)足夠接近于到n， 0 時，可以在有限項上計算求和公式(l)。本發(fā)明中可以使用任何現(xiàn)有技 術(shù)中的插值器。下文中還將描述一 個使用方向空-時插值器的示例性 實施例?？赏ㄟ^沿不同方向的可分離的 一 維線性插值執(zhí)行插值運算。
可以通過一個FIR線性濾波計算獲得值/^)中的"處的一維線性插 值
p=—厶
其中，插值核K具有包含在一A，AJ范圍內(nèi)的支撐，且對于所有 "G [O^kA^^-A^^-rt-k典型地，厶介于1到8之間。
不敏感對數(shù)似然
有利地，可以通過對從輸入圖像值鄰域"(P，《)計算得到的負對數(shù)
似然進行最小化，以在每個新點到n，《)處選擇最優(yōu)插值?？梢栽谝粋€ 不敏感區(qū)間上估計得到已知鄰域輸入圖像值的新點圖像值的條件概 率分布，在該區(qū)間中，因為缺乏用于區(qū)分概率分布值的數(shù)據(jù)，該概率 分布被估計為最大值且是常數(shù)。點z和區(qū)間J = [a， M之間的距離可以 表示為對于區(qū)間/= k討以及e = 6 — a,區(qū)間不敏感概率分布P/(w)可
以定義為
其中，對于任何固定的€, /(0,€) = 1，并且/(W， f)是U的單調(diào)遞
減函數(shù)，調(diào)整"使得/P/(w)^^ = 、 / ，e)的任何選擇都是可能
其相當于/(e》")=exP(—")。也可以選擇/(e，w) = exp(—w/《
該裝置還包括不敏感區(qū)間估計模塊(102)，為每個新點到n，f) G ^ 計算不敏感區(qū)間J(打，0 = [a(n，《)，6(n，，其中，在到ti, i)點處的
輸出圖像值很可能就位于該區(qū)間內(nèi)，但是在該區(qū)間內(nèi)卻沒有用于區(qū)分 不同值的概率的重要的信息。從輸入圖像值v(n'，。計算得到區(qū)間
J(n， *)，輸入圖像值v(n'，《o所在的點-(W,《0在力)的 一個指定
的鄰域A^n,e)中。令C(nJ)表示該鄰域中的點的個數(shù)。在一個示例
性實施例中，定義5(^0的鄰域^("^)為滿足lf —《1 S ^的輸入 網(wǎng)格點s(n、f)的集合，而且，(n',f)的空間坐標在以到n，"的空
間坐標為中心點的寬度為2厶的空間正方形內(nèi)，其中厶是一個預定 義參數(shù)。典型地，厶介于l到5之間。在一個示例性實施例中，可以從該鄰域中所有點的均值饑(11，《)
以及標準差咖,0計算得到不敏感區(qū)間:
1
"2("， *)= *、S ( 一肌01，
模塊(102)設(shè)置7(71,。=- /^(n，《)，m(nj) + / a(打，01,
其中^是一個常數(shù)，典型地，/ 小于3。在另一個實施例中，模塊(102) 從#(71 ，"中的點的排序統(tǒng)計中估計得到 一 個不敏感區(qū)間。我們將
#(71,《)中的(7(71,《)個排序的值標記為{"fc}l^SC《"'t》，其中
2 "腫i。令P是正整數(shù)，且P < C( i，力)/2。當C(n，i)是偶數(shù)時， 則& = C〖n,《)/2 — p + 1以及& = C(n, *)/2 + p;而當C(n，《)是奇 數(shù)時，則&i-(C(n,t) + l)/2 — p以及&2-(C(n,0 + l)/2 + p。用 a(n，f)=""以及&(n，0 = "&定義一 個排序的統(tǒng)計不敏感區(qū)間 iXtiJ)=〖a(n")，6(n，"]。典型地，j 介于i到3之間。
在另 一個示例性實施例中，通過將鄰域V(71，。分割成一組互不
相交的子集V(71，。 = U^-i^"n，"以估計不敏感區(qū)間?？梢酝ㄟ^任 意計算過程，例如用平均值和標準差過程，或者排序統(tǒng)計過程從每個 A/Kn， t)計算獲得不敏感區(qū)間A(nJ)。這些不敏感區(qū)間然后被合并成
一整個不敏感區(qū)間。在一個示例性實施例中，w(n，o被分割成包括
滿足f =《的所有的點工 " 6^A/"(n，i)的集合jVi(n，0以及包括滿 足當^ - t的所有的點:c(n',f) € W(n,t)的集合^A4(狩J)。如果兩
個不敏感區(qū)間A(w， 0和*)存在非空交集，則可以將最終的不敏 感區(qū)間/(n，i)定義為該交集，否則，區(qū)間/(打，《)是上述兩個區(qū)間的并集。
該裝置還包括不敏感損失計算模塊(103)，對于每個插值器丑7以 及每個新點到71，0 S該模塊輸出》7(n， 0相對于該區(qū)間不敏感
概率分布的負對數(shù)似然，其中在區(qū)間"n^) 4^M)，fe—，t)j上計算得到該區(qū)間不敏感概率分布。其目標是使該損失最小化，因此可以從對 數(shù)似然中刪除加性常數(shù)。作為(2)的 一 個結(jié)果，對于
e(n，i) = &(n，￡) 一a(n， fc)，該損失可以表示為:
,0當"7(n，0 e /(n,t) —iog/(|%(n，《)—/(n,t)l,e(rM)) 其它
對于瓦普尼克魯棒區(qū)間不敏感概率分布(3)，該損失可表示為
10 當"7(n，t) € f(n,t)
|uy(n, f) -/(n力l 其它

空間調(diào)整模塊(io4)接收在每個新點對n，《)g《為每個7 e r計
算得到的不敏感損失"(n")作為輸入，然后執(zhí)行空間低通濾波，并在 空間鄰域^^(n，《)上，通過在該鄰域上進行求加權(quán)和的方式，計算調(diào) 整后的損失。在一個示例性實施例中，^i("，0是一個以念(n，0為中 心點的矩形，其包括固定的C!個數(shù)目的新網(wǎng)格點，并且所有權(quán)重都 設(shè)為1?？赏ㄟ^計算這些Ci個點的和得到(空間調(diào)整模塊(104)所作 的)調(diào)整，典型地，d介于16到256之間，
" = g 《70 ， 0. (4)
現(xiàn)有技術(shù)中任何快速算法都可以用來計算該和。在另一個示例性實施
例中，該和被一個加權(quán)求和替代，其中在^^i(n，"中所有權(quán)重的和等 于一個常數(shù)，該常數(shù)對所有新點念(n，" eg保持相同。
如圖1所示的裝置包括最小損失選擇模塊(105),該模塊接收針對
每個新點念(rM) e S以及所有7 e r的^(n，0作為輸入，并找到最
優(yōu)插值器的參數(shù)0(n, 0 e r,使得在所有插值器中，損失"最小
(n， 0 = n^p" ,，(n，《).損失選擇模塊(105)為每個新點輸出損失最小化插值^("，0(&^。
輸入/新網(wǎng)格整合模塊(106)接收在每個新點念(n，纟)€ ^的損失最 小化插值^(^)(A。以及輸入圖像值"(PJ)作為輸入，該模塊輸出定 義在輸出網(wǎng)格《上的超分辨率視頻。對于每個新點到7i，i) €《，整合 模塊(106)輸出損失最小化插值》(A《)=&(",t)(^M)。對于每個在輸 入網(wǎng)格中的輸出點念(7^)€ 口，整合模塊(106)輸出對應(yīng)的輸 入圖像值》(n")^"(p，0。
以上給出了根據(jù)圖1所示的一個示例性實施例的詳細描述，對于 本領(lǐng)域技術(shù)人員來說，各種變型、修改或者等同的技術(shù)方案是顯而易 見的。例如，在本發(fā)明的基礎(chǔ)上，在模塊(IOI)、 (102)、 (103)、 (104)、 (105)和(106)中，對于計算的各種優(yōu)化和順序調(diào)整，將計算進行空間 局限化，以減少內(nèi)存的需求，在不脫離本發(fā)明的精神下執(zhí)行各種相同 的功能，對于本鄰域技術(shù)人員都是顯而易見的。
以上描述的裝置對視頻圖像的單個分量進行了處理。對于多分量 圖像，可以獨立地處理所有分量。本發(fā)明還可同時處理所有分量，并 將不敏感損失模塊(103)定義為從每個分量獲得的不敏感損失的加權(quán) 求和，這樣對于在任何給定的新點上的所有分量，選擇相同的最優(yōu)插
總變化增量的校正(penalization)
根據(jù)本發(fā)明的方法還可以包括通過總變化增量對不敏感損失進 行校正。該校正對被選擇的最佳插值所引入的振動進行了控制。
圖2示出了根據(jù)本發(fā)明的另一個裝置。在該實施例中，用總的變 化增量對用于選擇參數(shù)化插值的損失函數(shù)進行校正。圖2中的模塊 (201)、 (202)、 (203)和(204)分別與圖1中的模塊(101)、 (102)、 (103) 和(104)相同。圖2中的模塊(208)也與圖1中的模塊(106)相同。
圖2所示的裝置包括總變化增量模塊(205),用于在每個新點 忠(n，t) e ^的一個鄰域中，為每個插值器^7,計算因為在輸入圖像 值的網(wǎng)格中插入插值后的新點值的網(wǎng)格而產(chǎn)生的總變化增量。在 一 個 優(yōu)選實施例中，鄰域被選成一維的，要么水平方向，要么垂直方向。對于一個解隔行掃描系統(tǒng)來說，該鄰域被選為垂直方向，以控制因為 解隔行掃描而產(chǎn)生的垂直方向上總的圖像變化增量。下面將描述一個 選擇垂直方向 一 維鄰域的示例性實施例。通過交換圖像的行和列的作 用，相同的過程可以適用于選擇水平方向的鄰域的情形。
￡(n,i) G《的垂直方向一維鄰域，是一個以點壬0^O為中心、
長度為l的垂直線段。典型地，i的值是介于1到15之間的參數(shù)。
自上而下，我們將在30^，0的該鄰域中，s的新點的垂直坐標標記為
(",將^7計算獲得的對應(yīng)的插值后的值標記為〖"h。圖4示出
了輸入點aKpJ)位于帶叉的位置上，新點^0^O用黑實心圓表示，其 它新點S(n',f)用空心圓表示， 一維垂直鄰域用垂直虛線段表示。對
于和該垂直虛線段相交的輸入圖像中的每一行，在交叉位置上，沿著 該圖像行的方向通過一 維插值操作計算得到 一個輸入圖像值。從上而
下，我們用(&^^標記這些交叉位置的垂直坐標，用{"*}&標記對應(yīng) 的輸入圖像值。在圖4中，這些插值后的點的位置用三角形進行標記。 如果輸入網(wǎng)格是隔行掃描網(wǎng)格，輸出網(wǎng)格是逐行掃描網(wǎng)格，且縮放因
子《1= 2 = 1，則新點位于和輸入點相同的列上，因此Wfc對應(yīng)于 輸入圖像值，如圖5所示。
對于在垂直坐標為&的垂直鄰域中的每個新點，要么存在兩個連 續(xù)的輸入圖像點，其坐標為hfe和&勘+l，使得hfc〉^2&fc+l，要么 這個點對應(yīng)于該垂直線段的最底部或最頂部。如果滿足第一個條件，
則因為在和"fc+i之間插入^而引起的總變化增量就等于&和區(qū)間 4 = [min(t;jfc， wfc+i)， max("fc， t^+i)]之間的距離，該距離可標記為
IA — Al。對于在垂直鄰域中的介于兩個輸入圖像點值之間的每個新
點，計算該距離。
相反地，對于在垂直坐標為^fc的垂直鄰域中每個輸入點，要么存
在兩個連續(xù)的新點，其坐標為/^和^' + 1，使得〉 2&'+l，要
么這個點對應(yīng)于該垂直線段的最底部或最頂部。因在^'-i和A'之間 插入w而引起的總變化增量就等于和區(qū)間
18/《'=[min(^，^-0，m肌(^,A,—』之間的距離，該距離可標記為
|0| —/fcl。對于每個介于兩個新點圖像值A(chǔ)'-i和W之間的"fc,計算
該距離。
估計器E"r在^ (71，"的垂直鄰域中的總變化增量測量的結(jié)果標記 為w7(n")。通過整合在該鄰域中介于兩個新點圖像值A(chǔ)'-1和A'之 間的所有輸入點叫，以及介于兩個輸入點圖像值"fe和亀+i之間的所 有插值后的值媯所獲得的總變化增量，獲得該化7(71，0。在一個示例 性實施例中，^r(n,0是上述總變化增量的加權(quán)平均值。在另一個示 例性實施例中，從所有這些總變化增量的 一 個排序統(tǒng)計中獲得該 m^(7ij)。通過所有總變化增量的排序列表中的P值獲得加7(n，化
其中P是一個固定的正整數(shù)。

圖2中示出的空間調(diào)整模塊(206)接收在每個新點到n^) € g為 每個參數(shù)化插值器E7計算得到的總變化^7(n， 0作為輸入，執(zhí)行空間 低通濾波，以在一個更大的空間鄰域上通過加權(quán)求和，計算一個調(diào)整
后的總變化增量。在一個示例性實施例中，模塊(206)在念(^，0的一
個長方形空間鄰域^^(n，幻上求和，該鄰域包括固定個數(shù)G2個新網(wǎng)格
點，典型地，Cs介于4到64之間
必7(打》《)= S 加i(p,0' (5)
在另一個示例性實施例中，該求和用 一個加權(quán)求和代替，其中， ^;(n，t)中的所有權(quán)重之和等于一個常數(shù)，并且該常數(shù)對于所有新點
念(n，€ ^都保持相同。
最小化損失選擇模塊(207)接收針對每個新點到71，0 € ^以及針 對每個插值器忍7所計算得到的調(diào)整后的區(qū)間不敏感損失"(71，"以及 調(diào)整后的總變化A，(71， 0作為輸入，并計算一個校正損失
〖7(n，《)="(n, f) + At&7(n,《) 其中，A是一個預定義的校正常數(shù)，典型地，^介于1到10之間。模塊(207)找到最佳插值器的參數(shù)^71，0 eF，使得在所有插值器 中，上述該校正損失"(&"最小
并且，該模塊還為每個新點輸出一個最小損失估計^^，^^0。
可以用總變化校正進行損失測量以改進最佳插值器的選擇，該損
失測量不同于參照圖1所描述的區(qū)間不敏感損失。因此它也可以應(yīng)用
于與本發(fā)明不同的配置中。
如圖l所示的裝置，前文所描述的裝置對視頻圖像的單個分量進
行了處理。對于多分量圖像，可以獨立地處理所有分量?？蛇x地，本
發(fā)明也包括同時處理所有分量的方式，并定義模塊(207)的校正損失為
每個分量所獲得的校正損失的加權(quán)求和，這樣就在任何給定一個新網(wǎng)
格點上為所有分量選擇同一個最佳插值器5^。
參數(shù)化方向插值
圖3示出了根據(jù)本發(fā)明的另一個實施例的裝置。沿著參數(shù)化方向 執(zhí)行插值，并且一個方向匹配損失給出了沿著這些方向輸入圖像的變 化的測量。圖3中的模塊(302)、 (303)、 (304)、 (306)分別與圖2中的 模塊(202)、 (203)、 (204)、 (206)相同，并且圖3中的模塊(311)與圖2 中的模塊(208)相同。
參數(shù)化方向插值器模塊(301)接收輸入視頻作為輸入，并在每個新 網(wǎng)格點f(n,t) € ^通過應(yīng)用一個以多參數(shù)7為下標并包含一個方向
參數(shù)的線性插值器{^^hsr的族，計算以獲得 一 個插值 {%(竹，^}7江的族。在一個優(yōu)選實施例中,通過沿著輸入圖像的行或 列方向上的一維插值，以及沿著參數(shù)化空-時方向上的方向插值，計 算出這些參數(shù)化方向插值器?，F(xiàn)有技術(shù)中的過程可應(yīng)用于上述一維插值。
方向匹配誤差模塊(307)接收輸入圖像，并在每個新網(wǎng)格點念(n,t) €化計算出與參數(shù)化方向插值器《^^hsr相關(guān)聯(lián)的一個方
向匹配誤差{ (n，。Ker的族。在一個優(yōu)選實施例中，從沿著每個參 數(shù)化方向上的輸入圖像值之間的差值中計算得到這些匹配誤差。這些 方向匹配誤差量化了每個方向插值器在空-時方向上輸入視頻的變化。
在一個優(yōu)選實施例中，用空-時方向?qū)Σ逯灯鬟M行參數(shù)化，該空-
時方向由一個空間向量W = tl^71十Ws7"2 = (WhW;2,0)和一個時間
增量s確定，該時間增量確定了輸入圖像值"(A《 一 一 和
"(IM + S),從這些值中可計算出在念(n,f)處的插值后的值。這樣， 這些插值器就由多參數(shù)值7 =(旭"幼2，5)確定，該參數(shù)從一個預定義 的空-時參數(shù)的族r中選擇。
r中時間偏移s的最大值就是超分辨率系統(tǒng)的延遲d 。為了估計 新點值 (71，0,需要直至s = d的圖像"n，《+ a,并且為了執(zhí)行
這些估計，我們必須在內(nèi)存中保留2^+1個圖像^(71^),其中 如果3=0,則通過一個空間插值器從輸入圖像"(^")計算得到
%( J)?？臻g插值通過可分離的插值進行，首先沿著一個優(yōu)選方向 進行插值，該優(yōu)選方向可以是水平方向或是垂直方向，然后再沿著空
間方向M"《W'購^進行插值。如果輸入視頻是隔行掃描的，則優(yōu)選 插值方向可以選為水平方向，其原因是行方向上的采樣分布是列方向
上的兩倍。如果輸入視頻是逐行掃描的，則當(旭i，犯s)與水平方向的 (1^)之間的夾角小于7r/4時，優(yōu)選插值方向可以選為垂直方向，此
時我們規(guī)一化購=1;當(加i,旭s)與水平方向的(i，0)之間的夾角大 于？r/4時，優(yōu)選插值方向可以選為水平方向，此時我們少見一化 = 1。
假設(shè)在念(花，^處的優(yōu)選插值方向為水平方向，并且幼-(加i，1)。如果土(n，^位于輸入網(wǎng)格的某一行中，則在力)處通過沿該行方
向上的一個一維線性插值，計算出^(nJ)。如果念0V^不在輸入網(wǎng)
格的某 一 行中，則它的位置可以表示為
念(打，t) = + Q^2Ts + 丁4(纟)+汁3,令712為滿足打2 < x2 < n2 + l的 p，一整l丈。令|/ = i《打，e) + a( i2 + l —工2)幼和之=云(n，f) —a(X2 — ^2)w 是f(n,"在方向t0上在輸入圖像正好上方的行和正好下方的行的投
影。在^處的圖像值"w可以用 一維插值對沿著該行的輸入圖像值
t;(n'，i)進行插值得到，其中^ = (|),打2),且p是變量。在z處的圖
像值V2可以用沿著該行的輸入圖像值w(狩 《)的一維插值得到，其中
^= (p，ns + l)。在一個示例性實施例中，在i(^V《)處的圖像插值定 義為"y和&之間的一個一階線性插值:
D，(fl， t) = (n2 + 1 — :2)"y + (工2 — "2)tV (6)
模塊(307)為插值器丑7在i(n，《)處計算出的方向匹配誤差，就是％和 "s之間的方向W上的方向變化
e，(n，《)- |% — (7)
其中，"> O是一個預先選擇的固定指數(shù)，典型地，等于1或2。在 以單位縮放的解隔行掃描的特殊情況下，工2 = ri2 + 1/2，因此 、(n，力)=( + t/2)/2。這種情況如圖6所示。
當優(yōu)選插值方向是垂直方向而不是水平方向時，即w = (1' W2》， 通過交換水平坐標軸和垂直坐標軸，交換輸入圖像的行和列，以及用 l取代a,相同的計算方法也適用于(垂直方向的)插值器。
如果s > 0，則念(n，"在時刻《—s和時刻t + s的圖像中的空-時 投影位于^ =到w'0 — w — 5r3和z -念《狩，《》+ w + ,3上?？梢酝ㄟ^
沿著在網(wǎng)格點T(n'， * — *)的輸入圖像值"^， * 一 s)的行和列方向上進 行可分離的插值計算得到在"處的圖像值"sr。類似地，可以通過沿著 在網(wǎng)格點;c("V + "的輸入圖像值* + s)的行和列方向上進行可分離 的插值計算得到在z處的圖像值％ 。在念(w ， ^處估計的圖像值是￡7(n^) = + w,)/2，方向匹配誤差是 (rM) = | 一 ％|"。
在一個優(yōu)選實施例中，選取所有可能方向w的集合，使得對于每 個新點到",《)在時刻* — s和時刻《+ s的投影部分^和z位于統(tǒng)一 的網(wǎng) 格中，通過采用固定因子沿著輸入圖像"(^J一s》和"(^J+一的行和 列對輸入圖像"(^'，*-s)和"(W，《+ 3)進行過采樣，以預先計算得到該網(wǎng)格。
對于 一 個解隔行掃描系統(tǒng)來說，優(yōu)選的空間插值方向是水平方
向。在一個采用單位縮放的示例性實施例中，若s = 0，則空間方向
矢量W的族是"^^，l，0)K/^fc^，其中Q是固定的整數(shù)。圖6示出 了執(zhí)行這些空間插值所需要的過采樣，其中典型的選擇是9 == 2和 K = 4。十字表示輸入圖像點-(P，"，空心圓表示中間插值點，黑實 心圓表示新點，其中顯示了 9個不同的方向?？?時方向矢量的族依
賴于時間偏移的奇偶。當S是奇數(shù)時，則空-時方向矢量的族是 {幼=(fc/g,2^0)}—/f,^^if"—iSSL,當s〉0且s是偶數(shù)時，則空畫
時方向矢量的族是{加=(&/仏2《+1，0)}—/dfeSif,,-JDSki;其中Ki可以
依賴于《或者選為一個常數(shù)，典型地，該常數(shù)介于2到8之間。典型 地，3的值介于1到8之間，L的值介于1到5之間。對于這樣的方 向矢量的族，所有投影位置》和z都在統(tǒng)一的網(wǎng)格上，且可利用因子9 通過對輸入圖像行"(W， i — s)和v(n、纟+^進行過采樣而獲得該網(wǎng)格。 圖7示出了對應(yīng)于過采樣因子g == 2的空_時插值方向。十字表示輸入
圖像點aKp，《，空心圓表示中間插值點，黑實心圓表示一個新點
i:《打,f》
圖3所示的空間調(diào)整模塊(308)接收在每個新點到n,0 e《為每 個參數(shù)化插值器E7計算得到的方向匹配誤差 (仏0作為輸入，執(zhí)行 空間低通濾波，通過在一個更大空間鄰域上的加權(quán)求和，計算得到調(diào) 整后的方向匹配誤差。在一個示例性實施例中，模塊(308)在到A"的 一個長方形空間鄰域^^"n，^上求和，該鄰域包含固定數(shù)目Cs個新網(wǎng) 格點，典型地，Ca介于16到256之間到P,《〗滿(n，t)
在另一個示例性實施例中，上述求和被一個加權(quán)求和代替，其中 ^^(nj)中的所有權(quán)重之和等于一個常數(shù)，該常數(shù)對于所有新點
*》€(wěn) 5保持相同。
對于 一 個單位縮放的解隔行掃描系統(tǒng)來說，為了對電影電視膠片 格式的輸入視頻進行解隔行掃描，需要包括用于執(zhí)行對前一幀圖像和 后一幀圖像拷貝的兩個簡單的插值器。我們將拷貝前一幀圖像的插值
器標記為芯7p，五、設(shè)置"、(^￡) =" 《一1),其中工(^，t—l)具
有和到Tl， *)相同的空間位置。我們將拷貝后一幀圖像的插值器標記為 五7 ，五7 設(shè)置％ (打，￡) = "(W, * + 1)，其中* + 1)具有和到n, *) 相同的空間位置。
對于一個解隔行掃描系統(tǒng)來說，縮放系統(tǒng)可包括一個全局電視/
電影分類器(309)，該模塊為每幀輸入圖像"(71，《)輸出 一 個圖像類型
c(O，用于確定圖像是屬于"隔行掃描電視類型(Interlaced Video Type)" 序列還是屬于"電影電視膠片類型(Telecined Film Type)"序列。"隔行 掃描電視類型"類表明該圖像是隔行掃描視頻的 一個場；"電影電視膠 片類型"類表明該輸入圖像是一個電影電視膠片的場。上述類型的每
一類又根據(jù)圖像"^， O是更接近于"前"一幀輸入圖像還是更接近于 "后，，一幀圖像進一步細分。因此得到四種分類，分別是"電影電視 膠片類型，后"、"電影電視膠片類型、前"、"隔行掃描電視類型，后"、 "隔行掃描電視類型，前"。
在第一實施例中，全局電視/電影分類器(309)擁有一個用戶界面， 允許用戶確定該圖像是"隔行掃描電視類型"圖像還是"電影電視膠片 類型，，圖像。在模塊(309)的一個自動化實施例中，通過全局的總變化
增量測量進行分類。對于每個新點念(^J),總變化增量模塊(305)輸 出對應(yīng)于每個插值器^^的總變化增量旭7(71，《)，特別地，當7"p且 7""時,對應(yīng)于拷貝前一幀圖像和后一幀圖像。模塊(309)接收這
24些總變化增量 ("，^和W、 (A 0作為輸入，并在整個新網(wǎng)格上計算 全局總變化增量
*("'"" 以及
如果
m孝、W， ，)) S m U
其中"i > 1,典型地，其取值小于10; W > 1,典型地，其取值小于
10;則設(shè)置圖像類型""為"電影電視膠片類型"圖像。否則，對于閾 值r,典型地，預先設(shè)定的1字節(jié)圖像的該閾值介于1到50之間， 如果
E |v(n,4 — 1) - v(n， ￡ + 1)| < T E 1
則設(shè)置"^也為"電影電視膠片類型"圖像。否則，設(shè)置""為"隔行掃 描電視類型"圖像。在上述任意一種情況下，如果^^"W < w、w, 則圖像的子類型是"后"，表示該圖像更接近于后一幀圖像；否則，圖 像的子類型是"前"。
最小損失選擇模塊(310)接收對每個新點到n，"以及每個插值器 ^r的調(diào)整后的區(qū)間不敏感損失枓一》0、調(diào)整后的總變化增量 (n，《)以及調(diào)整后的方向匹配誤差~(A <0作為輸入。該模塊計算校
正損失，并在給定圖像類型c《《)下，執(zhí)行條件性最小化操作，以找到 最佳插值器的參數(shù)001，0。模塊(3lO)為每個新點到n,"輸出最小損失估計^(rM)(71， 0。
如果縮放系統(tǒng)不是單位縮放的解隔行掃描系統(tǒng)，則對于每個新,*
念(^ 0 ,通過輸入總變化增量和方向匹配誤差對調(diào)整后的不敏感損失
進行校正
"(n， i) = "(n,f) + A^( i,《)+ /i (n， 0,
其中，A和A是兩個校正常數(shù)，它們的典型選擇是介于1到10之間 的數(shù)。最小損失選擇模塊(310)找到參數(shù)《，使得不包括這兩個拷貝插 值器的校正損失最小
!^w,0: mip l^n, 0 (9)
其中，設(shè)置0(Wj) =€。
如果縮放系統(tǒng)是單位縮放的解隔行掃描系統(tǒng)，則最佳插值器的選
擇依賴于全局電視/電影分類器(3 09)的輸出。如果圖像類型e")是"電 影電視膠片類型，后"，則設(shè)置^n，0-7n,其對應(yīng)于從后一幀圖
像的拷貝。如果圖像類型C(0是"電影電視膠片類型，前"，則設(shè)置 ^>，t) = <7P，其對應(yīng)于從前一幀圖像的拷貝。如果圖像類型是"隔
行掃描電視類型"，則根據(jù)公式(9)計算下標為《的插值器的最小損失。
如果圖像類型4《)是"隔行掃描電視類型，后"，則最佳插值器與本地 的電影電視膠片序列的從后 一 幀圖像插值器的拷貝進行比較。如果
其中，^是校正常數(shù)，則我《3)=€，否則-O，力)=7ti。典型地，
選擇Y介于1到IO之間。相似地，如果圖像類型堿O是"隔行掃描電 視類型，前"，則當
其中A'是校正常數(shù)，則^(n，0 =《，否則0OM) = V
如圖1和圖2所示的裝置一樣，上述描述的這些裝置對視頻圖像 的單個分量進行了處理。
對于多分量圖像，可以獨立地處理所有分量。本發(fā)明中也包括了同時處理所有分量的處理方法，此時，將校正損失模塊(310)定義為從 每個分量獲得的校正損失的加權(quán)求和，這樣就可以在任何給定的新網(wǎng) 格點為所有分量選擇相同的最佳插值器E，。
本發(fā)明可以體現(xiàn)為運行在通用目的微處理器或數(shù)字信號處理器 上的軟件，此時，如圖1~3中所描述的各個模塊可以理解為是軟件模 塊或程序，或形成軟件模塊或程序的一部分。本發(fā)明也可以用硬件加 以實施，例如通過ASIC或FPGA,此時，前面提及的才莫塊可以形成 固體組件的 一 些區(qū)域。本發(fā)明的這些實施例可以體現(xiàn)在不同形式的裝 置中，如機頂盒或者高分辨率電視機，其輸入隔行掃描的SDTV視頻， 并輸出或顯示HDTV視頻。本發(fā)明也可以體現(xiàn)在上/交叉/下轉(zhuǎn)換器中 以修改輸入視頻的格式，并輸出任何指定的3見頻格式。
以上給出了本發(fā)明的示例性實施例的詳細描迷，不同的變型、修 改或者等同的實施方案對于本領(lǐng)域普通技術(shù)人員來說都是顯而易見 的。例如，以上所描述的本發(fā)明的參數(shù)化插值器模塊或最小損失選擇 模塊的不同組成部分用于執(zhí)行某些指定的功能，本領(lǐng)域普通技術(shù)人員 在不偏離本發(fā)明的精神下，很容易想到用服務(wù)模塊的其他組成部分或
電路執(zhí)行其中的一些或全部功能。因此，上述對本發(fā)明的描述不能被 認為是對本發(fā)明所要求保護的范圍的限制，也即所附的權(quán)利要求限定 的保護范圍。
2權(quán)利要求
1. 一種用于處理輸入視頻信號以得到輸出視頻信號的數(shù)字視頻縮放方法，所述輸入視頻信號在一個空-時輸入網(wǎng)格的各個點上具有各自的輸入圖像值，所述輸出視頻信號在一個空-時輸出網(wǎng)格的各個點上具有各自的輸出圖像值，該空-時輸出網(wǎng)格的各個點包括所述輸入網(wǎng)格的點和新點，對于每個所述新點，該方法包括如下步驟(a)對所述新點所對應(yīng)的一個空-時鄰域上的輸入圖像值應(yīng)用一個預定義的參數(shù)化線性插值器的族，以在所述新點上為所述族的每個插值器提供一個插值后的值；(b)從所述新點的空-時鄰域上的輸入圖像值估計一個與所述新點相關(guān)聯(lián)的值的區(qū)間，以使得所述新點上的輸出圖像值的概率分布被估計在所述值的區(qū)間內(nèi)具有一個全局最大值；(c)基于一個在與所述新點相關(guān)聯(lián)的值的區(qū)間內(nèi)是常數(shù)且最大值的第二概率分布，為所述新點上的每個插值后的值計算一個損失值；(d)在所述新點的一個空間鄰域中，對為所述族中的每個插值器計算得到的損失值進行空間濾波；以及(e)選擇所述族中的一個插值器，該插值器滿足基于濾波后的損失值最小化標準，其中，將所選擇的插值器的插值后的值作為在所述新點處的輸出圖像值。
2. 才艮據(jù)權(quán)利要求1所述的縮放方法，其中在所述新點處為一個插值 后的值計算得到的損失值，表示為所述插值后的值相對于所述第二概率 分布的負對數(shù)似然。
3. 根據(jù)權(quán)利要求1或2所述的縮放方法，其中估計所述新點的值的 區(qū)間的步驟包括(a) 將用于估計所述值的區(qū)間的所述空-時鄰域分割成多個子鄰域；(b) 對每個所述子鄰域中的輸入圖像值進行排序；(c) 對每個所述子鄰域，從被排序的輸入圖像值中的兩個指定排序 的j直估計一個部分區(qū)間；以及(d)合并所述多個部分區(qū)間，以形成與所述新點相關(guān)聯(lián)的所述值的 區(qū)間。
4. 根據(jù)權(quán)利要求1至3中任一項所述的縮放方法，其中所述第二概 率分布在所述值的區(qū)間之外具有指數(shù)衰減。
5. 根據(jù)權(quán)利要求1至4中任一項所述的縮放方法，對于每個所述新 點以及所述族中的每個插值器，還包括以下步驟(a) 從所述輸入圖像值和所述插值后的值的集合中計算一個總變化 增量，其中所述插值后的值是在所述新點的一個一維空間鄰域上通過所 述插值器計算獲得；以及(b) 在所述新點的一個空間鄰域內(nèi)，對所述總變化增量進行空間濾波，其中，為所述新點選擇所述族中的一個插值器的所述最小化標準還依賴 于濾波后的總變化增量。
6. 根據(jù)權(quán)利要求5所述的縮放方法，其中所述一維空間鄰域是一個 垂直或水平的空間鄰域。
7. 根據(jù)權(quán)利要求5或6所述的縮放方法，其中為所述新點選擇所述 族中的 一個插值器的最小化標準包括所述濾波后的損失值和所述濾波 后的總變化增量的加權(quán)求和。
8. 根據(jù)權(quán)利要求1至7中任一項所述的縮放方法，其中所述族中的 插值器包括參數(shù)化方向插值器，用于沿著所述輸入網(wǎng)格的各自的參數(shù)化 空-時方向計算線性插值。
9. 根據(jù)權(quán)利要求8所述的縮放方法，對每個所述新點以及所述族的 每個方向插值器，還包括如下步驟(a) 從沿著與所述插值器對應(yīng)的空-時方向與所述新點對齊的插值后 的輸入圖像值的差值中，計算得到一個方向匹配誤差；以及(b) 在所述新點的一個空間鄰域中，對所述方向匹配誤差進4亍空間 濾波，其中，為所述新點選擇所述族中的 一個插值器的所述最小化標準還依賴 于濾波后的方向匹配i吳差。
10. 根據(jù)權(quán)利要求9所述的縮放方法，其中為所述新點選擇所述族 中的一個插值器的所述最小化標準包括對所述濾波后的損失值和所述 濾波后的方向匹配誤差的 一個加片又求和。
11. 根據(jù)權(quán)利要求5和9所述的縮放方法，其中，為所述新點選擇 所述族中的 一個插值器的所述最小化標準包括對所述濾波后的損失值、 所述濾波后的總變化增量以及所述濾波后的方向匹配誤差的 一個加權(quán) 求和。
12. 根據(jù)權(quán)利要求1至11中任一項所述的縮放方法，其中所述輸入 視頻信號是隔行掃描的，并且輸出視頻信號是逐行掃描的。
13. 根據(jù)權(quán)利要求12所述的縮放方法，還包括步驟(a) 將所述輸入視頻信號的每幅圖像分類為"隔行掃描電視類型"或 者"電影電視膠片類型"；(b) 確定所述圖像是否更接近于所述輸入視頻信號的前一 幀圖像 而不接近所述輸入視頻信號的后 一 幀圖像；其中，介于類型為"電影電視膠片類型"的連續(xù)圖像之間的新點的 值通過拷貝所述新點位置之前或之后的圖像合成，而類型為"隔行掃 描電視類型"的新點的值通過選擇所述族中的插值器的方式合成。
14. 一種用于在電視顯示器上顯示圖像的電視系統(tǒng)，包括用于接 收輸入視頻信號的裝置，根據(jù)上述權(quán)利要求中任一項所述方法的用于 處理輸入視頻信號的裝置，以及用于顯示由所述處理裝置產(chǎn)生的輸出 視頻信號的裝置。
15. —種視頻縮放設(shè)備，包括用于執(zhí)行根據(jù)權(quán)利要求1-13中任一 項所述的方法的計算機裝置。
16. —種計算機程序產(chǎn)品，其特征在于，當在一個計算機處理單 元運行所述計算機程序產(chǎn)品時，包括用于執(zhí)行權(quán)利要求1-13中任一 項所述的方法的指令。
全文摘要
一種用于縮放視頻圖像的方法及裝置，特別應(yīng)用于對視頻序列格式的轉(zhuǎn)換以及解隔行掃描技術(shù)。本發(fā)明包括參數(shù)化插值(101)，用于在輸出的每個新點上計算插值；不敏感區(qū)間估計(102)，用于計算一個區(qū)間，在該區(qū)間中輸出圖像值的概率分布被估計具有最大值；不敏感損失計算(103)，用于從一個區(qū)間不敏感概率分布為每個插值獲得一個負對數(shù)似然測量；在空間調(diào)整(104)之后，本發(fā)明還包括最小化損失選擇(105)，用于在每個新點處選擇損失最小的插值，并將該插值作為輸出圖像值。本發(fā)明還包括總變化增量模塊和方向匹配誤差模塊，用于校正該不敏感損失，再發(fā)送給最小化損失選擇。
文檔編號G06T3/40GK101473346SQ200680054956
公開日2009年7月1日 申請日期2006年4月12日 優(yōu)先權(quán)日2006年4月12日
發(fā)明者斯特凡娜·馬拉特, 霍安·布魯尼亞 申請人:法國卓然