專利名稱：用于改變視頻圖像序列的時間頻率的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于為了視頻圖像序列在通信網(wǎng)絡(luò)上傳輸?shù)哪康亩?改變所述視頻圖像序列的時間頻率的方法和裝置。
背景技術(shù)：
當(dāng)視頻序列例如根據(jù)MPEG-4標(biāo)準(zhǔn)使用編碼算法而被壓縮時， 解壓縮后的視頻序列的圖像質(zhì)量可能呈現(xiàn)為不好。一般來說當(dāng)視頻序列的圖像被高度紋理化并具有劇烈運動和/或 當(dāng)速率低時遭遇到這種情況。在這種狀況下，已知在時間上對視頻序列進(jìn)行下釆樣，這實際上 相當(dāng)于刪除序列中的某些圖像。因而，從下采樣得到的圖像質(zhì)量更好，這是因為壓縮率更低。如杲例如希望將一秒鐘中的50幅圖〗象壓縮為一兆比特，則可以 理解，通過因子2進(jìn)行時間下采樣，僅每秒25幅圖像被壓縮為一兆比特。由于上迷原因，施加到視頻序列的每個圖像的壓縮率被降低，從而其質(zhì)量被改善。由這種下采樣得到的流動性(fluidity)的感覺經(jīng)常不那么好， 但是在某些情況下是可以接受的。當(dāng)認(rèn)為從下采樣得到的圖像的清晰度具有優(yōu)先級，或者在視頻序 列的解壓縮之后通過時間內(nèi)插得到補(bǔ)償時，會發(fā)生上述情況。從文獻(xiàn)US 6 633 609已知改善視頻編碼的常規(guī)方法。常規(guī)上，如果編碼器的計算資源可用，則視頻序列的每幅圖像都 由編碼器編碼。可能發(fā)生這樣的情況編碼器已經(jīng)忙，因此不能處理 視頻序列的當(dāng)前圖像。在這種情況下，當(dāng)前圖像被刪除，并且當(dāng)編碼 器已處于活動時對于該序列的其他圖像也是相同。由于這些圖像刪除是不規(guī)則的，因此在序列中發(fā)生急振(jerk)。 在該文獻(xiàn)中，提出以規(guī)則的間隔刪除圖像以便避免該現(xiàn)象。 為此，所提出的方法關(guān)注于求出編碼器的圖像壓縮的平均時間，并且生成與該平均時間相符的視頻的采樣時間頻率。然而，此方法并不充分有效，因為頻率如此被生成一次并一直使用，即使編碼器的活動性隨時間變化也是如此。通過2003年1月的SPIE Conference on Image and VideoCommunications and Processing的題目為"Rate-Distortion Modelsfor Video Transcoding"的文獻(xiàn)，還已知一種利用速率-失真 (rate-distortion )才莫型的編碼方法。根據(jù)此方法，在圖像的簡單量化的情況下，使用第一速率-失真模型。在此情況下，視頻的釆樣時間頻率呈現(xiàn)為最大，并且通過該第一 模型而提供取決于想要的速率的失真的值。所述第一速率-失真模型涉及將速率和失真鏈接在一起的方程 式，該方程式簡單且為本領(lǐng)域技術(shù)人員所熟知。此方法還涉及第二速率-失真模型，所述第二速率-失真模型用于 圖像被規(guī)則地刪除，從而認(rèn)為采樣時間頻率與前迷的情況相比被降低 的情況中。關(guān)于所述第二模型，假定了相同場景的圖像是靜態(tài)的，并且丟失 的圖像(丟失的圖像由時間的觀點上最接近的解碼后的圖像代替)的 失真可以用靜態(tài)的性質(zhì)而推導(dǎo)出。為了這樣做，從參數(shù)學(xué)習(xí)階段和將視頻分段成同種場景的階段生 成分析的(analytical)時間失真模型。因而，根據(jù)此文獻(xiàn)的教導(dǎo)，這兩個速率-失真模型在一個時間間 隔中提供對失真的兩個測量值，即第 一模型以最大時間分辨率提供的 平均失真和第二模型提供的平均失真(考慮了圖像的時間下采樣)。然后將基于通過這些模型所計算的失真值來進(jìn)行關(guān)于對視頻序
列進(jìn)行下采樣的決定。要指出的是，此方法實施起來特別復(fù)雜，尤其是關(guān)于學(xué)習(xí)和分段 階段，并且涉及非常多的計算。此外，其基于內(nèi)插模型，而內(nèi)插模型 可能表現(xiàn)出低的可靠性。發(fā)明內(nèi)容本發(fā)明通過以更簡單的方式使得能夠修改視頻序列的釆樣時間 頻率，致力于減輕至少一個上述的缺點。為此，本發(fā)明涉及一種為了視頻圖像序列在通信網(wǎng)絡(luò)上傳輸?shù)哪?的而改變所迷視頻圖像序列的時間頻率的方法，其特征在于所述序列的圖像已經(jīng)以時間頻率&被釆樣，該方法包括如下步驟為了確定該 視頻序列的釆樣時間頻率fi是否可以增大，做出關(guān)于執(zhí)行對于以時間 頻率f戶&采樣的視頻序列的圖像的編碼進(jìn)行仿真的步驟的決定，該 決定是基于與能夠執(zhí)行該仿真步驟的通信設(shè)備的資源相關(guān)的至少一 個準(zhǔn)則而做出的，和/或是基于視頻序列和/或網(wǎng)絡(luò)的特性隨時間的演 變而做出的。因而，在決定增大釆樣時間頻率之前，將決定是否適宜以該頻率 執(zhí)行編碼的仿真，這根據(jù)不同的狀況而進(jìn)行。本發(fā)明因而尤其靈活，因為它使得能夠根據(jù)可能隨時間演變 (evolve)的所滿足的不同狀況而動態(tài)地改變采樣頻率。此外，本發(fā)明實現(xiàn)起來尤其簡單，并且表現(xiàn)出比涉及速率-失真 模型的現(xiàn)有技術(shù)中所用的技術(shù)更加精確。應(yīng)該指出的是，該視頻序列可以表征為可能較強(qiáng)或較弱的能量或 視頻活動性，也可以表征為可能較高或較低的視覺質(zhì)量。關(guān)于網(wǎng)絡(luò)，這可以表征為其傳輸容量(例如可用帶寬，數(shù)據(jù)傳輸 時間等)，其可能較好或較壞(例如較高或較低的帶寬、較多或較少的數(shù)據(jù)傳輸時間等)。根據(jù)一個特征，視頻序列和/或網(wǎng)絡(luò)的特性隨時間的演變關(guān)于當(dāng) 決定了使用時間頻率&用于采樣時視頻序列和/或網(wǎng)絡(luò)所呈現(xiàn)出的初 始特性是顯著的?，F(xiàn)在將對情境(context)的時間演變進(jìn)行觀察，其中，采樣時 間頻率已被修改為轉(zhuǎn)成頻率&。該情境通過給定時刻的視頻序列和/ 或網(wǎng)絡(luò)的狀態(tài)而被定義。根據(jù)一個特征，該方法在做出關(guān)于仿真步驟的執(zhí)行的決定的步驟 之前包含與視頻序列的圖像的釆樣時間頻率相關(guān)地在存儲器中存儲 給定時間的視頻序列的特性和/或網(wǎng)絡(luò)的特性的步驟。因而使得能夠在存儲器中存儲由視頻序列和/或網(wǎng)絡(luò)定義的情 境，以便能夠追隨其隨時間的演變。要指出的是，此情境在存儲器中的存儲可能在將釆樣時間頻率修 改成值f!之前或之后發(fā)生。例如用于統(tǒng)計的目的，在存儲器中的存儲可能是有用的，尤其是 由于追隨視頻情境和/或網(wǎng)絡(luò)情境的演變的原因。根據(jù)一個特征，在存儲器中進(jìn)行存儲的步驟是在已經(jīng)決定將視頻 序列的圖像的采樣時間頻率從頻率fQ降低到G之后執(zhí)行的。要指出的是，在存儲器中的存儲可以在序列的采樣時間頻率降低 時和/或如上所述在其他時候發(fā)生，例如以獲得所述情境隨時間的演變歷史。采樣頻率降低時視頻情境和/或網(wǎng)絡(luò)情境的記錄將使得能夠之后 在檢查所述情境的演變時決定是否增大該序列的采樣頻率。根據(jù)一個特征，該方法在進(jìn)行關(guān)于執(zhí)行仿真步驟的決定的步驟之 前包括以下步驟-以時間頻率f。>ft對視頻序列的圖像進(jìn)行釆樣，-對采樣的圖像進(jìn)行編碼，-確定已編碼的圖像的質(zhì)量，-相對于預(yù)定的閾值比較所確定的質(zhì)量，-根據(jù)比較結(jié)果，進(jìn)行關(guān)于將視頻序列的圖像的采樣時間頻率從頻率fo降低到頻率&的決定。因而，在估計已編碼的采樣的圖像的質(zhì)量之后，已經(jīng)進(jìn)行了將視 頻序列的采樣時間頻率降低到值&的決定。要指出的是，當(dāng)提供存儲器存儲的步驟時，可以關(guān)于前述的采樣 步驟、編碼步驟、質(zhì)量確定步驟、比較步驟和決定步驟中的任何一個 在任何時間執(zhí)行此步驟。也可以與這些步驟中的任何一個并行地發(fā)生記錄的步驟。舉例來說，當(dāng)決定將采樣頻率從f。降低到f，時，可以在進(jìn)行該 決定之前、之后，或者在頻率的修改之后，或者與頻率修改并行地， 發(fā)生記錄的步驟，根據(jù)一個特征，該方法包括在視頻序列和/或網(wǎng)絡(luò)呈現(xiàn)的當(dāng)前特 性與當(dāng)決定使用時間頻率&用于采樣時視頻序列和/或網(wǎng)絡(luò)呈現(xiàn)的初 始特性之間進(jìn)行比較的步驟。當(dāng)前特性是指與首先進(jìn)行了改變時間頻率的決定連續(xù)地，在經(jīng)過 某段時間之后，視頻序列和/或網(wǎng)絡(luò)的特性。這些當(dāng)前特性例如是在進(jìn)行關(guān)于編碼仿真的決定時存在的特性。所述比較使得能夠確定視頻序列和/或網(wǎng)絡(luò)的特征隨時間的演變。根據(jù)一個特征，比較特性的步驟特別按照以下步驟的形式來執(zhí)行將分別利用視頻序列的當(dāng)前特性(當(dāng)前情境)和初始特性(初始 情境)獲得的該視頻序列的質(zhì)量進(jìn)行比較。要指出的是，此比較步驟假設(shè)初始情境中的視頻序列的質(zhì)量已被 存儲在存儲器中，并且在當(dāng)前狀態(tài)下確定。根據(jù)一個特征，該方法包括根據(jù)比較步驟的結(jié)果，進(jìn)行關(guān)于將采樣時間頻率從&增大到f2的決定的步驟。因而能夠根據(jù)當(dāng)前特性和初始特性的比較結(jié)果，更一般地說，根 據(jù)這些特性隨時間的演變，直接決定時間頻率的增大，因而免除編碼 仿真步驟。此演變提供了近似的指示，該近似的指示使得能夠進(jìn)行快速的決 定。然而，如果根據(jù)環(huán)境情況(例如要傳輸?shù)囊曨l數(shù)據(jù)的類型)優(yōu)選 地在決定增大頻率之前獲得關(guān)于情境的演變的更多詳情，則前述的編
碼仿真的步驟是優(yōu)選的。根據(jù)一個特征，該方法包括當(dāng)視頻序列和/或網(wǎng)絡(luò)的當(dāng)前特性隨 時間而改善時增大采樣時間頻率的步驟。因而，當(dāng)視頻和/或網(wǎng)絡(luò)情境有利地演變時，能夠設(shè)想(envisage ) 直接增大采樣時間頻率，而不求助于編碼仿真步驟。這使得能夠節(jié)省時間，并且降低該方法的計算成本。根據(jù)一個特征，當(dāng)視頻序列和/或網(wǎng)絡(luò)的當(dāng)前特性隨時間改善時， 對于對以時間頻率f2> f,采樣的圖像的編碼進(jìn)行仿真的步驟的執(zhí)行取 決于通信設(shè)備的資源相對于預(yù)定閾值的狀態(tài)。當(dāng)視頻和/或網(wǎng)絡(luò)情境有利地演變時，在對執(zhí)行編碼仿真步驟做 出決定之前考慮通信設(shè)備的資源。然而，在某些環(huán)境中，可以設(shè)想不考慮這些資源而仍然執(zhí)行編碼 仿真。當(dāng)不需要快速做出增大頻率的決定時或者當(dāng)視頻數(shù)據(jù)可能被更 慢地編碼時，可設(shè)想到這點。根據(jù)一個特征，通信設(shè)備的資源的狀態(tài)低于預(yù)定閾值的情況下， 該方法包括增大采樣時間頻率而不求助于編碼仿真步驟的步驟。因而，當(dāng)通信設(shè)備的資源(計算能力、存儲空間)的狀態(tài)不足時， 可以在某些情況下被提供以免除編碼仿真并且直接增大采樣頻率。然而要指出的是，當(dāng)資源的狀態(tài)允許時，可以在對增大釆樣頻率 做出決定之前設(shè)想編碼仿真步驟，以便評估以仿真的方式被如此編碼 的視頻序列的質(zhì)量。根據(jù)一個特征，當(dāng)視頻序列和/或網(wǎng)絡(luò)的當(dāng)前特性隨時間惡化時， 不執(zhí)行編碼仿真步驟。因而，.取決于對視頻和/或網(wǎng)絡(luò)情境的之后情況，尤其是當(dāng)該情 境惡化時，可以從而推斷出編碼仿真步驟是無用的，因為增大的采樣 頻率的視頻序列的質(zhì)量將非?？赡懿蛔恪８鶕?jù)另一個特征，該方法包括當(dāng)通信設(shè)備的資源的狀態(tài)大于預(yù)定 閾值時，對以時間頻率f戶fi采樣的視頻序列的圖像的編碼進(jìn)行仿真 的步驟。
因而，當(dāng)設(shè)備的資源的狀態(tài)允許時，執(zhí)行編碼仿真。更特別地，仿真步驟被再劃分為幾個子步驟-以時間頻率f2對視頻序列的圖像進(jìn)行采樣，-對采樣的圖像的編碼進(jìn)行仿真，-確定已編碼圖像的質(zhì)量，-比較確定的質(zhì)量與預(yù)定的閾值，-在閾值被超過的情況下，增大視頻序列的圖像的采樣時間頻率。因而，如果從仿真產(chǎn)生的已編碼圖像的質(zhì)量呈現(xiàn)為不足，則保持 視頻序列的圖像的相同釆樣時間頻率。根據(jù)一個特征，視頻序列的特性是序列的視頻活動性例如預(yù)測誤 差的方差、運動矢量的方差，和/或視頻序列的質(zhì)量。視頻序列或圖像的此質(zhì)量可以關(guān)于視頻序列或圖像或編碼之后 的若干圖像的信號噪聲比而被表示。此外，網(wǎng)絡(luò)的特性例如通過網(wǎng)絡(luò)的帶寬而被定義。本發(fā)明還涉及一種為了視頻圖像序列在通信網(wǎng)絡(luò)上傳輸?shù)哪康?而改變所述視頻圖像序列的時間頻率的裝置，其特征在于所述序列的 圖像已經(jīng)以時間頻率&被采樣，該裝置包括用于為了確定該序列的 采樣時間頻率G是否可以增大，做出關(guān)于對以時間頻率f2> &采樣的 視頻序列的圖像的編碼執(zhí)行仿真的決定的裝置，該決定是基于與能夠 執(zhí)行該仿真步驟的通信設(shè)備的資源相關(guān)的至少一個準(zhǔn)則而做出的，和 /或是基于視頻序列和/或網(wǎng)絡(luò)的特性隨時間的演變而做出的。用于實現(xiàn)上述方法的裝置具有與該方法相同的優(yōu)點。本發(fā)明還涉及-計算機(jī)系統(tǒng)可讀的信息載體，可能全部或部分是可移動的，尤 其是CD-ROM或磁介質(zhì)，諸如硬盤或磁盤，或者可傳輸?shù)慕橘|(zhì)，諸 如電或光信號，所述信息載體包含計算機(jī)程序指令，其特征在于當(dāng)程 序被裝載并由計算機(jī)系統(tǒng)執(zhí)行時，它使得能夠?qū)嵤┮陨虾喪龅姆椒ā?可載入計算機(jī)系統(tǒng)的計算機(jī)程序，所述程序包含當(dāng)該程序被裝
載并由計算機(jī)系統(tǒng)執(zhí)行時使得能夠?qū)嵤┮陨虾喪龅姆椒ǖ闹噶?。其他特征和?yōu)點將在以下的描述中出現(xiàn)，以下的描述完全通過非 限制性示例而給出，并且參照附圖進(jìn)行。


圖l是其中可以實施本發(fā)明的通信設(shè)備的圖；圖2是本發(fā)明的環(huán)境的示意性表示；圖3是根據(jù)本發(fā)明的用于確定視頻圖像序列的時間頻率的算法 的示意性視圖；圖4是根據(jù)本發(fā)明第一實施例的用于確定視頻圖像序列的時間 頻率的算法的示意性視圖；圖5是根據(jù)第二實施例的用于確定視頻圖^f象序列的時間頻率的 算法的示意性視圖。
具體實施方式
如圖1中所表示，用于實施本發(fā)明的裝置110例如以連接到不同 外圍設(shè)備的微計算機(jī)的形式實施。在這些外圍設(shè)備當(dāng)中，有連接到未示出的圖形卡的數(shù)字視頻攝像 機(jī)1100，其將要處理的數(shù)據(jù)提供給裝置110。要指出的是，視頻攝像機(jī)可以由任何用于圖像獲取或存儲的裝置 替換，或者甚至由能夠?qū)?shù)據(jù)發(fā)送到裝置110的掃描儀替換。裝置110包含連接到通信網(wǎng)絡(luò)1103的通信接口 1102,數(shù)字?jǐn)?shù)據(jù) 通過所述通信網(wǎng)絡(luò)1103 ^皮傳輸。裝置110可以從網(wǎng)絡(luò)1103接收要處理的那些數(shù)據(jù)，或者可以在 處理了那些數(shù)據(jù)之后將它們通過網(wǎng)絡(luò)傳輸。裝置110還包括諸如硬盤之類的數(shù)據(jù)存儲裝置1104。在裝置110中還可以找到用于盤1106的驅(qū)動器1105，所述盤可 能是》茲盤、CD-ROM或DVD-ROM。正如對于硬盤1104那樣，盤1106可以包含^f艮據(jù)本發(fā)明被處理的 數(shù)據(jù)，以及實施本發(fā)明的一個或多個計算機(jī)程序。此一個或多個程序例如可以被包含在存儲介質(zhì)1106中，并且被 傳送到裝置110中以便被存儲在其中，例如被存儲在硬盤1104上。根據(jù)一種變型，使得裝置110能夠?qū)嵤┍景l(fā)明的所述一個或多個 程序可以被存儲在只讀存儲器1107 (ROM)中。根據(jù)另 一種變型，所述一個或多個程序可以由裝置110從通信網(wǎng) 絡(luò)1103接收，以便按照與已經(jīng)描述的方式相同的方式被存儲在其中。裝置110還連接到麥克風(fēng)1108以處理音頻數(shù)據(jù)。屏幕1109使得能夠觀看要處理的數(shù)據(jù)或者處理后的數(shù)據(jù)，或者 充當(dāng)與用戶的界面，用戶可以由此利用鍵盤1110或任何其他裝置諸 如鼠標(biāo)或其他指點裝置將某些處理模式參數(shù)化。該裝置還包含中央處理單元1111 (CPU)，其執(zhí)行與本發(fā)明的 實施相關(guān)的指令。這些指令或代碼行被存儲在只讀存儲器1107中或者其他前述的 存儲裝置中。在對該裝置供電后，根據(jù)本發(fā)明的、存儲在非易失性存儲器(例 如存儲器1107 (ROM))中的一個或多個處理程序被傳送到隨機(jī)存 取存儲器1112 (RAM)以及用于存儲本發(fā)明的實現(xiàn)所需要的變量的 寄存器中，所述隨機(jī)存取存儲器1112 (RAM)接著將包含所述一個 或多個程序的可執(zhí)行代碼。更一般地說，可由計算機(jī)或者微計算機(jī)讀取的數(shù)據(jù)存儲裝置存儲 實施根據(jù)本發(fā)明的方法的所述一個或多個程序，更具體地，所述#>據(jù) 本發(fā)明的方法為數(shù)據(jù)的編碼、傳輸以及解碼的方法。要指出的是，數(shù)據(jù)存儲裝置可以被集成或不被集成到裝置110 中，并且可能是可移除的。裝置110還包含通信總線1113,其能夠使得不同的前述組件彼 此鏈接，不論它們被集成到裝置110中還是連接到其上，因此使得能 夠在這些不同的元件之間建立通信?？偩€1113的表示不是限制性的，特別是中央處理單元1111能夠 將指令傳送到裝置110的任何組件或與其連接的組件，不論是直接還是經(jīng)由該裝置的其他組件。要指出的是，由裝置110處理的數(shù)據(jù)是來自視頻圖像序列的數(shù)據(jù)。如在圖2中表示的，本發(fā)明尤其應(yīng)用于視頻圖像序列通過通信網(wǎng) 絡(luò)從通信設(shè)備進(jìn)行的傳輸?shù)那榫持?，所述通信設(shè)備例如與圖l的裝置 110相同。在傳輸?shù)纳嫌危缫赃f送非壓縮格式的圖像的攝像機(jī)的形式提 供用于獲取視頻序列的模塊200 。在所示的示例中，假設(shè)視頻獲取的頻率是每秒30幅圖像。模塊200所獲取的圖像接著被傳送到視頻編碼模塊201，所述視 頻編碼模塊201例如是根據(jù)MPEG-4標(biāo)準(zhǔn)的視頻編碼器。由模塊201壓縮的每個圖像接著被模塊203切割成數(shù)據(jù)分組，并 且如此形成的分組經(jīng)由網(wǎng)絡(luò)被傳輸模塊204傳輸。應(yīng)該指出的是，分組經(jīng)由阿絡(luò)的傳輸是符合網(wǎng)絡(luò)的帶寬B(t)的限 制而在控制模塊205的監(jiān)督下執(zhí)行的。變量t是時間指標(biāo)，在給定時間確定的網(wǎng)絡(luò)的帶寬因而可以隨著 時間演變。還應(yīng)該指出的是，帶寬B(t)的值對于視頻編碼模塊201是已知的， 所述視頻編碼模塊201因而改變圖像的壓縮速率從而改變其質(zhì)量，以 便能夠?qū)⑺蟹纸M經(jīng)由網(wǎng)絡(luò)傳輸。當(dāng)帶寬值B(t)過低時，壓縮速率過 高，并且視頻質(zhì)量強(qiáng)烈下降。在這種情況下，使得能夠通過刪除視頻獲取模塊200所提供的圖像中的一些來改變視頻序列的采樣時間頻率。模塊202具有確定視頻序列的圖像的適當(dāng)采樣時間頻率的功能。 時間頻率已被模塊202改變一次或多次的視頻序列經(jīng)由網(wǎng)絡(luò)被傳輸。網(wǎng)絡(luò)例如是無線網(wǎng)絡(luò)。要指出的是，模塊200 ~ 205形成被稱作發(fā)送方的通信設(shè)備的一 部分。傳輸?shù)姆纸M被主數(shù)據(jù)接收模塊206以及分組接收模塊207連續(xù)地 接收，在所述分組接收模塊207中，這些分組被組裝在一起以構(gòu)成二 進(jìn)制文件。然后，構(gòu)成此文件的數(shù)據(jù)被視頻數(shù)據(jù)解碼模塊208處理。當(dāng)已執(zhí)行了視頻序列的圖像的解碼時，這些圖像，或者作為其全 部的視頻，可以經(jīng)歷后處理以便改善視覺質(zhì)量。這種處理由后處理模塊209執(zhí)行，并且例如可以通過時間內(nèi)插方 法來恢復(fù)視頻序列的初始時間頻率。模塊209可以進(jìn)一步實施抑制區(qū)組效應(yīng)(block effect)的方法和 本領(lǐng)域技術(shù)人員已知的大量的其他方法。顯示模塊210接著執(zhí)行視頻序列的顯示。模塊206-210形成被稱為接收方的通信設(shè)備的一部分，所述被稱 為接收方的通信設(shè)備例如與圖1的裝置110相同。要指出的是，在上述的情境中，視頻獲取及其編碼是實時執(zhí)行的。然而，根據(jù)本發(fā)明的視頻序列的時間頻率的改變也可以對于已經(jīng) 例如以MPEG-4或其他格式經(jīng)過壓縮的視頻執(zhí)行。在該情況下，壓縮視頻的代碼轉(zhuǎn)換則是必要的，以便使壓縮視頻的尺寸適應(yīng)于網(wǎng)絡(luò)的帶寬限制。此代碼轉(zhuǎn)換可以包括重新量化和/或修改時間頻率。圖3中所表示的算法更加詳細(xì)地示出了圖2的模塊2(K2所實施的不同功能的一部分。要指出的是，總體來說，圖2的模塊202必須基于以下將定義的準(zhǔn)則對于視頻序列的采樣所要采用的時間頻率做出決定。此決定因而導(dǎo)致視頻序列的圖像的下采樣或者導(dǎo)致采樣時間頻率的增大。圖3的算法包含例如利用攝像機(jī)獲取視頻序列的第一步驟300， 在獲取視頻序列時，其圖像以時間頻率fO被采樣。 在之后的步驟301期間，此視頻序列被編碼，并且步驟3(B使得能夠控制分配給視頻序列的每個圖像的速率。
更具體地，在步驟303期間，速率控制使得能夠考慮經(jīng)由通信網(wǎng) 絡(luò)而可用的帶寬B(t)，改變編碼參數(shù)。在之后的步驟304中，確定已采樣和編碼的圖像的視覺質(zhì)量。因而例如能夠使用PSNR (峰信號-噪聲比)作為視頻序列的圖 像的視覺質(zhì)量的度量。峰信號-噪聲比通過以下公式確定PSNR=20Log10(255/RMSE)，其中，RMSE表示MSE的平方根，MSE表示關(guān)于圖像的彩色 分量(諸如亮度或色度)的均方誤差，并且由以下公式確定，其中L 表示圖像的寬度，H表示其高度<formula>formula see original document page 17</formula>要指出的是，均方誤差可以在視頻編碼步驟301實施的量化階段 期間直接計算。在確定已編碼圖像的視覺質(zhì)量之后，在之后的步驟305期間執(zhí)行 該質(zhì)量與預(yù)定閾值S的比較。當(dāng)以頻率f0采樣并且編碼后的圖像的視覺質(zhì)量低于該預(yù)定閾值 時，這意味著圖像的空間質(zhì)量必需被改善。要指出的是，此閣值是根據(jù)經(jīng)驗確定的，并且取決于視頻數(shù)據(jù)的 類型和/或所設(shè)想的應(yīng)用。因而，例如該閾值對于關(guān)于視頻會議的應(yīng)用 可以等于29dB,并且對于祝頻監(jiān)視應(yīng)用可以更低。為此，視頻序列的圖像的采樣時間頻率應(yīng)該因此被降低。此決定在步驟306進(jìn)行。要指出的是，為了清楚的考慮，在圖3中沒有設(shè)想已編碼圖像的 視覺質(zhì)量高于閾值S的情況。然而，在這種情況下，視頻序列的采樣頻率fO不被修改。一做出將頻率f0降低到頻率fl的決定，就使得能夠在步驟307 期間記錄引起所做的該決定的條件。更具體地，在存儲器中存儲例如是由給定時間的視頻序列的特性 或性質(zhì)組成的，和/或由給定時間的網(wǎng)絡(luò)的特性或性質(zhì)組成的。
如此導(dǎo)致降低視頻序列的采樣時間頻率的情境被存儲在存儲器中，并且表示為"contextjo—record，，(要記錄的情境)的、初始具有 值0的變量被設(shè)為1。因而，在對之后的圖像進(jìn)行編碼時，如果該變量具有值l，則在 步驟304確定的質(zhì)量(例如PSNR)被記錄作為初始情境值，并且該 變量在該記錄之后被立即重置為0。要指出的是，在步驟307被存儲在存儲器中的情境例如是在頻率 和視頻活動性(預(yù)測誤差的方差、運動矢量的方差)的改變期間可用 的帶寬B(t)。進(jìn)一步對于步驟306的決定的進(jìn)行，步驟308使得能夠確定新的 降低的時間頻率&。例如，時間頻率f0除以2。因而，圖3的算法使得能夠基于給定的準(zhǔn)則對時間下采樣進(jìn)行決 定，并且將進(jìn)行該決定的情境存儲在存儲器中，所述情境在之后將用 于返回到更高的采樣時間頻率。現(xiàn)在將要描述的圖4的算法定義了根據(jù)本發(fā)明的第一實施例可 以增大采樣頻率的條件。根據(jù)此算法，對執(zhí)行對以高于fi的時間頻率f2被采樣的視頻序列的圖像的編碼進(jìn)行仿真的步驟的決定是基于與可以執(zhí)行仿真步驟 的通信設(shè)備的資源有關(guān)的至少 一個準(zhǔn)則進(jìn)行的。此仿真步驟在那里根據(jù)真實條件而精確地確定是否可以采用新 的頻率用于采樣。圖4的算法包含用攝像機(jī)獲取視頻序列的第 一步驟400，步驟401 例如^皮提供用于暫時存儲如此獲取的視頻數(shù)據(jù)。在以下步驟402期間，以降低的頻率f,執(zhí)行視頻序列的下采樣。這是因為，在圖3的步驟306，已經(jīng)進(jìn)行了將采樣頻率從fo降低 到&的決定。如此采樣的序列的圖像接著例如可以在步驟403被暫時存儲，然 后在步驟404被編碼。
之后的步驟405使得能夠例如確定如此編碼的圖像的質(zhì)量，并且將其與閾值S比較，如圖3的兩個步驟304和305所提供的。要指出的是，在此設(shè)想的處理是一幅圖像一幅圖像地進(jìn)行的。 當(dāng)獲得的質(zhì)量低于預(yù)定的閾值時，選擇新的降低的時間頻率(步驟406)，進(jìn)行降低頻率的決定的條件(情境)被存儲在存儲器中(視頻序列的特性和/或網(wǎng)絡(luò)的特性)。更具體地，變量"context—to—record"被設(shè)定為1。 要指出的是，對于更多詳情，可以參照關(guān)于圖3進(jìn)行的上述描述，其定義了在步驟307和308期間轉(zhuǎn)為更低的頻率。之后的步驟407使得能夠選擇以新的頻率采樣的序列的之后的圖像，并且然后以相同的方式執(zhí)行之后的操作 -對所述新圖像進(jìn)行編碼， -確定該已編碼的圖像的質(zhì)量，以及 -與閾值進(jìn)行比較，如剛剛已對于之前圖像描述過的。 回到步驟405，當(dāng)已編碼圖像的視覺質(zhì)量高于該閾值時，之后的步驟408使得能夠保持相同采樣頻率，并且以頻率^采樣的序列的之后的圖像如上所述被傳遞(步驟407)。與這些操作并行地，步驟409使得能夠分析通信設(shè)備的資源的狀態(tài)，并且特別地確定計算資源和存儲空間是否在該設(shè)備中可用以執(zhí)行編碼仿真。例如，該可用性可以關(guān)于一個闞值而被確定，所述闞值定義計算 單元和存儲空間的占用的最大水平。當(dāng)資源的狀態(tài)如此允許時，在離開步驟401時選擇視頻序列的某 數(shù)量的連續(xù)圖像。要指出的是，根據(jù)這些資源的狀態(tài)，可以決定通過 改變所選的圖像的數(shù)量并且例如如果資源接近該閣值則僅使用幾幅 圖像(l、 2或3)來執(zhí)行編碼仿真。用于計算這些圖像的編碼的時間 還可以分散在一段流逝時間上，這段時間長于實時所強(qiáng)加的時間。這 將在增大時間頻率的可能的決定中引起輕微的時間偏移，但是這將使 得在進(jìn)行決定的過程中能夠考慮一些更多的圖像(5或6幅圖像)。
所選擇的圖像接著在步驟410以大于用于步驟402的釆樣的頻率fj的時間頻率f2被下采樣。在步驟410施加的下采樣的水平(level)例如是在步驟402施加 的下采樣的水平的二分之一。如此下采樣的圖像例如在步驟411被暫時存儲，然后在步驟412 被編碼。要指出的是，就編碼步驟404和412使用相同的圖像來說，在第 二編碼的仿真期間，在步驟412執(zhí)行的一些計算可以之后在編碼步驟 404 ,皮再次4吏用。在之后的步驟413期間，例如通過在圖3的步驟304如上所述確 定其編碼已被仿真的每個圖像的視覺質(zhì)量而對其質(zhì)量進(jìn)行確定。在之后的步驟414期間，將已編碼圖像的質(zhì)量與閾值aS進(jìn)行比 較，其中3>1，以便確定質(zhì)量是否可觀地大于質(zhì)量閾值S。實際上，如果有若干已編碼圖像，則此步驟僅對最后一個所選圖 像執(zhí)行，以便確保用于此測試的圖像的質(zhì)量盡可能地(因而最具代表 性地可能地)穩(wěn)定代表所有所選圖像的質(zhì)量。在肯定的情況下，步驟414之后是步驟415,步驟415授權(quán)將時 間采樣頻率從fi增大到f2。例如于是在此步驟期間，下采樣的速率被除以2。返回到步驟414,當(dāng)已經(jīng)對編碼進(jìn)行了仿真的圖像的質(zhì)量呈現(xiàn)出 不足時，決定不修改采樣頻率，如已經(jīng)參照上述的步驟408說明的。因而，如剛剛在步驟409到415描述的，確定計算資源的可用性， 以及可能確定存儲空間，以便決定是否能夠與以給定時間頻率進(jìn)行的 笫一編碼(步驟404)并行地對具有更高時間頻率的第二編碼進(jìn)行仿 真。例如，如果發(fā)現(xiàn)以當(dāng)前時間頻率對一秒鐘的視頻進(jìn)行編碼使用了 機(jī)器資源的50%，則能夠在步驟410和412選擇0.5秒的視頻對第二 編碼進(jìn)行仿真。已知在視頻編碼器中，兩幅圖像之間的運動的估計呈現(xiàn)出在計算 方面開銷很大?？紤]這一點，因而能夠在編碼步驟404期間基于在編碼步驟412 估計的運動來估計兩幅圖像之間的運動。因而，如果在步驟412,在圖像I(O)和I(l)之間以及在圖像1(1) 和1(2)之間計算運動，則通過簡單相加，在編碼步驟404期間，1(0) 和1(2)之間的運動被估計并且可以作為第一近似。相反也是可以的， 即也可以在步驟412再次使用在步驟404執(zhí)行的計算。這使得能夠大大降低搜索空間和計算時間。應(yīng)該指出的是，當(dāng)進(jìn)行決定在步驟402以降低的頻率f,對圖像進(jìn) 行采樣時，圖3的步驟307和308已被執(zhí)行。因而，初始情境已被記錄(例如視頻活動性和帶寬)，并且變 量"contextjo—record"已經(jīng)被/沒置為1。然后，在以頻率&采樣的之后的圖像的視覺質(zhì)量在步驟405被確 定之前，在步驟404，對所述之后的圖像進(jìn)行編碼。盡管如此，與編碼并行或者在該編碼之后，執(zhí)行步驟416，所述 步驟416驗證前述的變量是否是值1。在肯定的情況下，之后的步驟417使得能夠?qū)⒃撟兞吭O(shè)定為0， 并且記錄在圖3的步驟304確定的最后一個視覺質(zhì)量(PSNR)的值。然而要指出的是，作為替換方案，此記錄(除了 PSNR值的記錄 之外)也可以在圖3的步驟307發(fā)生。一般來說，圖像的視覺質(zhì)量取決于視頻活動性并且取決于網(wǎng)絡(luò)的 傳輸能力。更具體地，對于給定帶寬，視頻活動性越高，其視覺質(zhì)量 越低。如果在步驟416的測試期間，變量為0，則沒有情境(PSNR) 要被記錄，這是因為這意味著采樣頻率還沒有被降低。圖5圖示了用于根據(jù)本發(fā)明第二實施例，根據(jù)視頻序列和/或網(wǎng) 絡(luò)(情境)的特性隨時間的演變來改變視頻序列的采樣頻率的算法。如以下將可看出的，在考慮前迷的情境的時間演變的同時，此算 法使得能夠(尤其在某些環(huán)境下)降低機(jī)器資源(計算單元和/或存儲
空間)的使用。圖5的算法包含獲取視頻序列的第一步驟500，所述視頻序列接 著在步驟501被存儲，根據(jù)在步驟502 (對應(yīng)于圖3的步驟306)涉 及的降低時間頻率的決定而在步驟503以頻率^被下采樣，在步驟504 被存儲，然后在步驟505被編碼。所有這些步驟與圖4的相應(yīng)的步驟400、 401、 402、 306、 403、 和404相同。類似地，與已編碼圖像質(zhì)量的閾值S進(jìn)行比較的步驟506和步驟 507涉及的降低采樣時間頻率的決定和記錄新情境，以及步驟509涉 及的保持相同釆樣頻率的決定與圖4的相應(yīng)步驟405、 406、 408相同。在這些步驟之后，在步驟508進(jìn)行之后圖像的處理，所述步驟 508與圖4的步驟407相似。在步驟505對之后圖像進(jìn)行編碼之后，提供步驟510以便確定情 境隨時間演變的方式。取決于此測試步驟的結(jié)果，將決定對以更高采樣時間頻率進(jìn)行的 第二編碼的仿真是否呈現(xiàn)出是有用的。要指出的是，當(dāng)情境由視頻活動性和/或網(wǎng)絡(luò)的傳輸能力來表征 時,步驟510可以在該算法中的其他地方發(fā)生，并不一定在編碼之后。更具體地，在步驟510期間，在決定降低采樣時間頻率時的代表 視頻序列和/或網(wǎng)絡(luò)的情境(事先記錄的情境515)、與代表當(dāng)前時間 的或不久之前的視頻序列的狀態(tài)和/或網(wǎng)絡(luò)的狀態(tài)的所謂的當(dāng)前情境 (視頻活動性和當(dāng)前帶寬512)之間進(jìn)行比較。要指出的是，在圖3的步驟307，記錄了初始情境515,記錄515 還包括在剛剛將頻率降低到ii之后(圖4的步驟417)對已編碼圖像 的視覺質(zhì)量(PSNR)的記錄。情境例如由給定時間的視頻序列和/或網(wǎng)絡(luò)所呈現(xiàn)的特性定義， 并且其例如可以是視頻或圖像的視覺質(zhì)量(例如PSNR)，視頻活動 性(例如預(yù)測誤差的方差和/或運動矢量的方差)以及參照時的可用帶 寬。
然而，在此步驟期間，能夠僅考慮圖像的視覺質(zhì)量，因而將圖4 的步驟417起初記錄的即當(dāng)決定降低視頻序列的采樣時間頻率時的圖 像的視覺質(zhì)量與步驟505處編碼的圖像的被稱為當(dāng)前的視覺質(zhì)量進(jìn)行 比較。此已編碼圖像是從以降低的頻率的采樣得到的。因而，當(dāng)情境的時間演變示出視頻序列和/或網(wǎng)絡(luò)的當(dāng)前特性已 隨時間改善時，也就是說，例如如果當(dāng)前視頻序列的視覺質(zhì)量大于初 始視頻序列的視覺質(zhì)量或者如果帶寬大于之前的帶寬，則可能更高的 采樣時間頻率的視頻序列的視覺質(zhì)量是好的。在這種情況下，該仿真可以被設(shè)想為，視頻序列的圖像的第二編 碼，其以大于步驟503的頻率&的時間頻率被采樣。然而，要指出的是，此編碼仿真可以從屬于在給定時間可用的機(jī) 器資源(計算單元和/或存儲空間)的狀態(tài)。關(guān)于預(yù)定閾值(計算單元或存儲空間的占用水平)驗證機(jī)器資源 的狀態(tài)的步驟在步驟513執(zhí)行，步驟513與圖4的步驟409相同。然而，要指出的是，也能夠執(zhí)行編碼仿真的步驟，而不考慮機(jī)器 資源的狀態(tài)。因而，在采用比步驟503處使用的釆樣頻率更大的釆樣頻率時， 執(zhí)行下采樣514、存儲515、編碼516、確定視覺質(zhì)量517、將質(zhì)量與 閾值aS進(jìn)行比較518的步驟。這些步驟與圖4的相應(yīng)的步驟410、 411、 412、 413和414相同。如果更高的頻率的視頻序列的視覺質(zhì)量被證明為充分好 (PSNR>aS),則之后的步驟519使得能夠通過選擇更高的時間頻率 來改變頻率，所述更高的時間頻率例如是執(zhí)行編碼仿真的時間頻率。另一方面，如果視覺質(zhì)量被證明為不充足(PSNRSaS)，則保 持在步驟503所用的采樣頻率(步驟509)。應(yīng)該指出的是，當(dāng)步驟513所用的機(jī)器資源的狀態(tài)被證明為小于 預(yù)定閾值(占用水平)時，能夠設(shè)想直接增大采樣時間頻率，而不求 助于步驟514及之后的步驟提供的編碼仿真。 因而節(jié)省了計算時間，并且增大了決定速度。返回比較步驟510，當(dāng)情境隨時間惡化時，其例如導(dǎo)致視覺序列 的當(dāng)前視覺質(zhì)量(PSNR)，該當(dāng)前視覺質(zhì)量小于或等于降低采樣時 間頻率時的視頻序列的視覺質(zhì)量，則更高時間頻率的視頻序列的視覺 質(zhì)量非?？赡苁遣怀渥愕?。更具體地，這通過當(dāng)前情境呈現(xiàn)為不如導(dǎo)致了時間頻率降低的情 境好的事實來解釋。在這種情況下，在步驟514和之后步驟提供的編碼仿真被證明是 無用的，并且步驟510之后是步驟520，步驟520將所確定的視覺質(zhì) 量(PSNR)的值重置為0。接著，步驟520之后是已經(jīng)在之前描述的 步驟518并且在給定PSNR的值的情況下直接導(dǎo)致保持相同釆樣頻率 的步驟509。還要指出的是，經(jīng)由變量"contextJojecord，，的對情境的記錄以 與參照圖4的步驟416和417描述的方式相同的方式執(zhí)行。應(yīng)該指出的是，當(dāng)選擇更高的采樣時間頻率時，例如當(dāng)加倍時， 當(dāng)前情境對應(yīng)于在采樣時間頻率先前降低期間記錄的情境。
權(quán)利要求
1. 一種為了視頻圖像序列在通信網(wǎng)絡(luò)上傳輸?shù)哪康亩淖兯鲆曨l圖像序列的時間頻率的方法，其特征在于所述序列的圖像已經(jīng)以時間頻率f1被采樣，該方法包括為了確定該序列的采樣時間頻率f1是否可以增大的目的，做出關(guān)于執(zhí)行對于以時間頻率f2>f1采樣的視頻序列的圖像的編碼進(jìn)行仿真的步驟的決定，該決定是基于與能夠執(zhí)行該仿真步驟(412；516)的通信設(shè)備的資源相關(guān)的至少一個準(zhǔn)則(409；513)而做出的，和/或是基于視頻序列和/或網(wǎng)絡(luò)的特性(512，515)隨時間的演變而做出的。
2. 根據(jù)權(quán)利要求l的方法，其特征在于，所述視頻序列和/或網(wǎng) 絡(luò)的特性隨時間的演變關(guān)于決定使用用于采樣的時間頻率&時的視頻 序列和/或網(wǎng)絡(luò)所呈獻(xiàn)的初始特性是顯著的。
3. 根據(jù)權(quán)利要求1或2的方法，其特征在于，其在進(jìn)行關(guān)于執(zhí) 行仿真步驟的決定的步驟之前包含與視頻序列的圖像的采樣時間頻 率相關(guān)地在存儲器中存儲(307)給定時間的視頻序列的特性和/或網(wǎng) 絡(luò)的特性的步驟。
4. 根據(jù)權(quán)利要求3的方法，其特征在于，在存儲器中存儲(307) 的步驟是在決定(306)將視頻序列的圖像的采樣時間頻率從頻率f0 降低為頻率&之后執(zhí)行的。
5. 根據(jù)權(quán)利要求1~4中之一的方法，其特征在于，其在進(jìn)行關(guān) 于執(zhí)行仿真步驟的決定的步驟之前包含以下步驟-以時間頻率f^&對視頻序列的圖像進(jìn)行采樣(300), -對采樣后的圖像進(jìn)行編碼(301)， -確定已編碼圖像的質(zhì)量(304)， -比較(305)所確定的質(zhì)量與預(yù)定的閾值， -根據(jù)比較結(jié)果，做出關(guān)于將視頻序列的圖像的采樣時間頻率從 頻率f。降低到頻率&的決定(306)。
6. 才艮據(jù)權(quán)利要求1 5中之一的方法，其特征在于其包含在視頻序列和/或網(wǎng)絡(luò)所呈現(xiàn)的當(dāng)前特性(512)與當(dāng)決定使用時間頻率A用 于采樣時的視頻序列和/或網(wǎng)絡(luò)所呈現(xiàn)的初始特性(515)之間進(jìn)行比 較(510)的步驟。
7. 根據(jù)權(quán)利要求6的方法，其特征在于，對所述特性進(jìn)行比較 (510 )的步驟具體是按照比較分別以當(dāng)前特性和初始特性獲得的視頻序列的質(zhì)量的步驟的形式來執(zhí)行的。
8. 根據(jù)權(quán)利要求6或7的方法，其特征在于其包含根據(jù)比較步 驟的結(jié)果做出關(guān)于將采樣時間頻率從&增大到&的決定(518)的步 驟。
9. 根據(jù)權(quán)利要求8的方法，其特征在于，該方法包含當(dāng)視頻序 列和/或網(wǎng)絡(luò)的當(dāng)前特性隨時間改善時增大(519)采樣時間頻率的步 服
10. 根據(jù)權(quán)利要求6或7的方法，其特征在于，當(dāng)視頻序列和/ 或網(wǎng)絡(luò)的當(dāng)前特性隨時間改善時，對于執(zhí)行對以時間頻率f2>&采樣的 圖像的編碼進(jìn)行仿真的步驟的決定取決于通信設(shè)備的資源(513)關(guān) 于預(yù)定閾值的狀態(tài)。
11. 根據(jù)權(quán)利要求10的方法，其特征在于，通信設(shè)備的資源的 狀態(tài)低于預(yù)定閾值，該方法包括不必求助于編碼仿真步驟而增大(507)采樣時間頻率的步驟。
12. 根據(jù)權(quán)利要求6或7的方法，其特征在于，當(dāng)視頻序列和/ 或網(wǎng)絡(luò)的當(dāng)前特性隨時間惡化時，不執(zhí)行所述編碼仿真步驟。
13. 根據(jù)權(quán)利要求1~10中之一的方法，其特征在于包含當(dāng)通信 設(shè)備的資源(409; 513)的狀態(tài)大于預(yù)定閾值時對以時間頻率f2>f! 采樣的視頻序列的圖像的編碼(412; 516)進(jìn)行仿真的步驟。
14. 根據(jù)權(quán)利要求13的方法，其特征在于，所述仿真的步驟被 進(jìn)一步劃分為若干個子步驟-以時間頻率f2對視頻序列的圖像進(jìn)行采樣(410; 514)， -對采樣的圖像的編碼(412; 516)進(jìn)行仿真， -確定已編碼圖4象的質(zhì)量(413; 517)，-比較(414; 518)所確定的質(zhì)量和預(yù)定的閾值， -在超過了所述閾值的情況下，增大(415; 519)視頻序列的圖 像的采樣時間頻率。
15. 根據(jù)權(quán)利要求1~14中之一的方法，其特征在于，所述視頻 序列的特性是祝頻序列的枧頻活動性和/或質(zhì)量。
16. 根據(jù)權(quán)利要求1~15中之一的方法，其特征在于，所述視頻 序列的或圖像的質(zhì)量是關(guān)于已編碼圖像或視頻序列的信噪比來表達(dá) 的。
17. 根據(jù)權(quán)利要求1 16中之一的方法，其特征在于，所述網(wǎng)絡(luò) 的特性是網(wǎng)絡(luò)的帶寬。
18. —種為了視頻圖像序列在通信網(wǎng)絡(luò)上傳輸?shù)哪康亩淖兯?視頻圖像序列的時間頻率的設(shè)備，其特征在于所述序列的圖像已經(jīng)以 時間頻率&被采樣，該設(shè)備包括為了確定該序列的采樣時間頻率& 是否可以增大的目的，做出關(guān)于執(zhí)行對于以時間頻率f2> &采樣的視 頻序列的圖像的編碼進(jìn)行仿真的決定的裝置，該決定是基于與能夠執(zhí) 行該仿真步驟的通信設(shè)備的資源相關(guān)的至少一個準(zhǔn)則而做出的，和/ 或是基于視頻序列和/或網(wǎng)絡(luò)的特性隨時間的演變而做出的。
19. 根據(jù)權(quán)利要求18的設(shè)備，其特征在于其包含與視頻序列的 圖像的采樣時間頻率相關(guān)地在存儲器中存儲給定時間的視頻序列的 特性和/或網(wǎng)絡(luò)的特性的裝置。
20. 根據(jù)權(quán)利要求18或19的設(shè)備，其特征在于，其包含 -以時間頻率&>&對視頻序列的圖像進(jìn)行采樣的裝置，-對釆樣后的圖像進(jìn)行編碼的裝置，-確定已編碼圖像的質(zhì)量的裝置，-比較所確定的質(zhì)量與預(yù)定的閾值的裝置，-進(jìn)行關(guān)于將視頻序列的圖像的釆樣時間頻率從頻率fo降低到 頻率6的決定的裝置，用于進(jìn)行決定的所述裝置適于取決于比較結(jié)果 進(jìn)行該決定。
21. 根據(jù)權(quán)利要求18~20中之一的設(shè)備，其特征在于其包含在 視頻序列和/或網(wǎng)絡(luò)所呈現(xiàn)的當(dāng)前特性和當(dāng)決定使用時間頻率&用于
22.根據(jù)權(quán)利要:，2i的設(shè)備，其特-征在于其包含進(jìn)行關(guān)于將采樣時間頻率從&增大到f2的決定的裝置，用于進(jìn)行決定的所述裝置適 于取決于比較結(jié)果進(jìn)行該決定。
23. 根據(jù)權(quán)利要求22的設(shè)備，其特征在于其包含當(dāng)視頻序列和/ 或網(wǎng)絡(luò)的當(dāng)前特性隨時間改善時增大采樣時間頻率的裝置，其適于增 大頻率。
24. 根據(jù)權(quán)利要求18~23中之一的設(shè)備，其特征在于其包含用 于對以時間頻率f2>&采樣的視頻序列的圖像的編碼進(jìn)行仿真的裝置， 該裝置適于當(dāng)通信設(shè)備的資源的狀態(tài)大于預(yù)定的閾值時對該編碼進(jìn) 行仿真。
25. 根據(jù)權(quán)利要求24的設(shè)備，其特征在于，所述仿真裝置包括-用于以時間頻率f2對視頻序列的圖像進(jìn)行采樣的裝置，-用于對采樣的圖像的編碼進(jìn)行仿真的裝置， -用于確定已編碼圖像的質(zhì)量的裝置， -用于比較所確定的質(zhì)量和預(yù)定的閾值的裝置， -用于增大視頻序列的圖像的采樣時間頻率的裝置，其適于在超 過了所述閾值的情況下增大時間頻率。
26. —種計算機(jī)系統(tǒng)可讀的信息載體，其可能全部或部分地是可 移動的，尤其是CD-ROM或磁介質(zhì)，諸如硬盤或磁盤，或者可傳輸 的介質(zhì)諸如電或光信號，所述信息載體包含計算機(jī)程序指令，其特征 在于當(dāng)程序被裝載并由計算機(jī)系統(tǒng)執(zhí)行時，它使得能夠?qū)嵤└鶕?jù)權(quán)利 要求1 ~ 17中任何一項所述的方法。
27. —種可載入計算機(jī)系統(tǒng)的計算機(jī)程序，所述程序包含當(dāng)該程 序被裝載并由計算機(jī)系統(tǒng)執(zhí)行時使得能夠?qū)嵤└鶕?jù)權(quán)利要求1 ~ 17中 任何一項所述的方法的指令。
全文摘要
本發(fā)明涉及一種為了視頻圖像序列在通信網(wǎng)絡(luò)上傳輸?shù)哪康亩淖兯鲆曨l圖像序列的時間頻率的方法，其特征在于所述序列的圖像已經(jīng)以時間頻率f₁被采樣。該方法和設(shè)備用于改變視頻圖像序列的時間頻率，該方法包括為了確定該序列的采樣時間頻率f是否可以被增大的目的，做出關(guān)于執(zhí)行對于以時間頻率f₂＞f₁采樣的視頻序列的圖像的編碼進(jìn)行仿真的步驟的決定的步驟，該決定是基于與能夠執(zhí)行該仿真步驟(412；516)的通信設(shè)備的資源相關(guān)的至少一個準(zhǔn)則(409；513)而做出的，和/或是基于視頻序列和/或網(wǎng)絡(luò)的特性(512，515)隨時間的演變而做出的。
文檔編號H04N7/26GK101401434SQ200780009006
公開日2009年4月1日 申請日期2007年3月9日 優(yōu)先權(quán)日2006年3月14日
發(fā)明者C·吉斯奎特, H·利·弗洛什 申請人:佳能株式會社