專利名稱：用于視頻內(nèi)插或外推的參考選擇的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字視頻譯碼，且更明確地說涉及用于視頻幀內(nèi)插或外推的技術(shù)。
背景技術(shù)：
已開發(fā)用于編碼數(shù)字視頻序列的許多視頻編碼技術(shù)。例如，運動圖片專家組 (MPEG)已開發(fā)了包括MPEG-l、MPEG-2及MPEG-4的若干技術(shù)。其它實例包括國際電信聯(lián)盟 (ITU)-T H. 263標(biāo)準(zhǔn)及ITU-T H. 264標(biāo)準(zhǔn)及其對應(yīng)標(biāo)準(zhǔn)IS0/IEC MPEG-4第10部分，SP，高 級視頻譯碼(AVC)。這些視頻編碼標(biāo)準(zhǔn)通過以壓縮方式編碼數(shù)據(jù)來支持視頻序列的有效傳 輸。壓縮減少了需要傳輸?shù)臄?shù)據(jù)的總量。視頻壓縮可涉及空間及/或時間預(yù)測以減少視頻序列中所固有的冗余。幀內(nèi)譯碼 使用空間預(yù)測來減少同一視頻幀內(nèi)的視頻塊之間的空間冗余。幀間譯碼使用時間預(yù)測來減 少連續(xù)視頻幀中的視頻塊之間的時間冗余。對于幀間譯碼，視頻編碼器執(zhí)行運動估計以產(chǎn) 生指示視頻塊相對于一個或一個以上參考幀中的對應(yīng)的預(yù)測視頻塊的移位的運動向量。視 頻編碼器執(zhí)行運動補償以從參考幀產(chǎn)生預(yù)測視頻塊，且通過從正被譯碼的原始視頻塊減去 預(yù)測視頻塊來形成剩余視頻塊。為了符合低帶寬要求，一些視頻應(yīng)用可以減小的幀速率編碼視頻及/或跳過一些 幀的編碼。不幸地，低幀速率視頻可產(chǎn)生呈運動急動形式的時間假影?？稍诮獯a器側(cè)處采用 幀內(nèi)插或外推以估約由編碼器跳過的幀或超出由編碼器產(chǎn)生的基本幀速率的幀的內(nèi)容。幀 內(nèi)插或外推可大體被稱作幀取代。實際上，幀取代可用以升頻轉(zhuǎn)換實際幀速率以提供較平 滑的運動的感知。幀取代可用以支持常被稱作幀速率升頻轉(zhuǎn)換(FRUC)的過程。盡管FRUC 可通過取代幀(例如，使用內(nèi)插或外推)來增強時間質(zhì)量，但一些幀的取代可引入破壞視覺 質(zhì)量的不合需要的空間假影。

發(fā)明內(nèi)容
本發(fā)明針對用于選擇待用于視頻單元的取代(例如，通過內(nèi)插或外推)的一個或 一個以上參考視頻單元的技術(shù)。視頻單元可為視頻幀、切片(slice)、塊或其它單位。視頻 譯碼器可應(yīng)用著重質(zhì)量(quality-focused)視頻模式以基于一個或一個以上質(zhì)量準(zhǔn)則的 分析來選擇參考視頻單元。質(zhì)量準(zhǔn)則可指示(例如)有可能由選定參考視頻單元產(chǎn)生的內(nèi) 插或外推質(zhì)量的水平。質(zhì)量準(zhǔn)則可包括空間及/或時間視覺質(zhì)量。如果參考視頻單元中無 一者滿足可適用的質(zhì)量準(zhǔn)則，則對于待添加的特定視頻單元，可停用取代。視頻譯碼器可應(yīng)用著重資源(resource-focused)視頻模式以基于視頻序列的運 動水平選擇性地啟用或停用對一些視頻單元的取代。如果一個或一個以上參考視頻單元 大體為靜態(tài)，則視頻解碼器或另一裝置可停用取代，因此節(jié)省資源，例如，電力、計算及/或存儲器資源。可將運動水平與閾值進(jìn)行比較，所述閾值可為固定的或可依據(jù)可用資源的水 平變化而調(diào)整。如果參考視頻單元包括實質(zhì)運動，則視頻解碼器或另一裝置可啟用取代，例 如，將質(zhì)量準(zhǔn)則用于參考視頻單元的選擇。對于延遲敏感性視頻應(yīng)用(例如，視頻電話)，視頻譯碼器或另一裝置可經(jīng)配置以 選擇視頻參考視頻單元來減少處理及呈現(xiàn)延遲。舉例來說，當(dāng)選擇未來參考視頻單元時，視 頻譯碼器可經(jīng)配置以基于距待添加的視頻單元的距離來選擇參考視頻單元。視頻譯碼器還 可經(jīng)配置以分析與已經(jīng)內(nèi)插或外推的視頻單元相關(guān)聯(lián)的一個或一個以上質(zhì)量特性，及基于 所述分析選擇性地啟用或停用視頻單元的顯示，因此節(jié)省在一些情況下需要用來顯示額外 視頻單元的資源。在一個方面中，本發(fā)明提供一種方法，其包含分析一個或一個以上候選參考視頻 單元的至少一個特性；及至少部分基于所述分析選擇所述候選參考視頻單元中的一者或一 者以上作為參考視頻單元以用于額外視頻單元的內(nèi)插或外推。在另一方面中，本發(fā)明提供一種裝置，其包含分析單元，其分析一個或一個以上 候選參考視頻單元的至少一個特性；及選擇單元，其至少部分基于所述分析選擇所述候選 參考視頻單元中的一者或一者以上作為參考視頻單元以用于額外視頻單元的內(nèi)插或外推。在額外方面中，本發(fā)明提供一種方法，其包含分析用于額外視頻單元的內(nèi)插或外 推的一個或一個以上候選參考視頻單元的運動水平；確定用于所述額外視頻單元的內(nèi)插或 外推的資源水平；及基于所述運動水平及所述資源水平選擇性地停用所述額外視頻單元的 內(nèi)插或外推。在另一方面中，本發(fā)明提供裝置，其包含運動分析器，其經(jīng)配置以分析用于額外 視頻單元的內(nèi)插或外推的一個或一個以上候選參考視頻單元的運動水平；資源監(jiān)視器，其 經(jīng)配置以確定用于所述額外視頻單元的內(nèi)插或外推的資源水平；及選擇單元，其基于所述 運動水平及所述資源水平選擇性地停用所述額外視頻單元的內(nèi)插或外推。在另一方面中，本發(fā)明提供一種視頻解碼裝置，其包含分析單元，其分析與由幀 速率升頻轉(zhuǎn)換過程產(chǎn)生的經(jīng)內(nèi)插或經(jīng)外推的視頻單元相關(guān)聯(lián)的一個或一個以上特性；及 控制單元，其基于所述分析選擇性地停用所述經(jīng)內(nèi)插或經(jīng)外推的視頻單元在顯示器上的呈 現(xiàn)。在額外方面中，本發(fā)明提供一種方法，其包含分析與由幀速率升頻轉(zhuǎn)換過程產(chǎn)生 的經(jīng)內(nèi)插或經(jīng)外推的視頻單元相關(guān)聯(lián)的一個或一個以上特性；及基于所述分析選擇性地停 用所述經(jīng)內(nèi)插或經(jīng)外推的視頻單元在顯示器上的呈現(xiàn)。本發(fā)明中描述的技術(shù)可實施于硬件、軟件、固件或其組合中。如果實施于軟件中， 則所述軟件可由一個或一個以上處理器執(zhí)行。軟件可最初存儲于計算機可讀媒體中且由處 理器加載以用于執(zhí)行。因此，本發(fā)明涵蓋包含致使一個或一個以上處理器執(zhí)行如在本發(fā)明 中描述的技術(shù)的指令的計算機可讀媒體。舉例來說，在一些方面中，本發(fā)明提供一種計算機可讀媒體，其包含致使一個或一 個以上處理器執(zhí)行以下操作的指令分析一個或一個以上候選參考視頻單元的至少一個特 性；及至少部分基于所述分析選擇所述候選參考視頻單元中的一者或一者以上作為參考視 頻單元以用于額外視頻單元的內(nèi)插或外推。在其它方面中，本發(fā)明提供一種計算機可讀媒體，其包含致使一個或一個以上處理器執(zhí)行以下操作的指令分析用于額外視頻單元的內(nèi)插或外推的一個或一個以上候選參 考視頻單元的運動水平；確定用于所述額外視頻單元的內(nèi)插或外推的資源水平；及基于所 述運動水平及所述資源水平選擇性地停用所述額外視頻單元的內(nèi)插或外推。在另一方面中，本發(fā)明提供一種計算機可讀媒體，其包含致使一個或一個以上處 理器執(zhí)行以下操作的指令分析與由幀速率升頻轉(zhuǎn)換過程產(chǎn)生的經(jīng)內(nèi)插或經(jīng)外推的視頻單 元相關(guān)聯(lián)的一個或一個以上特性；及基于所述分析選擇性地啟用及停用所述經(jīng)內(nèi)插或經(jīng)外 推的視頻單元在顯示器上的呈現(xiàn)。在附圖及以下描述中闡明了所揭示的技術(shù)的一個或一個以上方面的細(xì)節(jié)。從描述 及圖式且從權(quán)利要求書將顯而易見其它特征、目標(biāo)及優(yōu)點。


圖1為說明經(jīng)配置以選擇參考視頻單元供在視頻單元取代中使用的視頻編碼及 解碼系統(tǒng)的框圖。圖2A為說明用于視頻單元在視頻解碼器中的內(nèi)插的技術(shù)的實例的圖。圖2B為說明使用選定參考視頻單元內(nèi)插視頻單元的圖。圖2C為說明用于視頻單元在視頻解碼器中的外推的技術(shù)的實例的圖。圖2D為說明使用選定參考視頻單元外推視頻單元的圖。圖3為說明經(jīng)配置以選擇參考幀供在幀取代中使用的視頻解碼器的實例的框圖。圖4為說明經(jīng)配置以選擇參考幀供在幀取代中使用的視頻解碼器的另一實例的 框圖。圖5為說明可與如圖3或圖4中展示的視頻解碼器一起使用的分析單元的框圖。圖6為說明視頻解碼器選擇參考視頻單元用于視頻單元取代的實例技術(shù)的流程 圖。圖7為更詳細(xì)地說明用于參考視頻單元選擇的實例技術(shù)的流程圖。圖8為說明用于支持用于視頻單元取代的參考視頻單元選擇的參考視頻單元的 質(zhì)量分析的實例技術(shù)的流程圖。圖9為說明用于產(chǎn)生支持用于視頻單元取代的參考視頻單元選擇的參考視頻單 元的質(zhì)量得分的實例技術(shù)的流程圖。圖10為說明用于在著重資源模式下基于運動分析選擇性取代的實例技術(shù)的流程 圖。圖11為說明用于在著重資源模式下基于運動分析選擇性取代的另一實例技術(shù)的 流程圖。圖12為說明經(jīng)配置以選擇性啟用或停用取代幀的顯示的視頻解碼器的實例的框 圖。圖13為說明用于基于質(zhì)量分析選擇性顯示取代幀的實例技術(shù)的流程圖。圖14A為說明可與如圖12中展示的視頻解碼器一起使用的分析單元的框圖。圖14B為說明可與如圖12中展示的視頻解碼器一起使用的另一分析單元的框圖。圖15為說明用于產(chǎn)生質(zhì)量得分以支持取代幀的選擇性顯示的實例技術(shù)的流程 圖。
圖16為說明用于在視頻單元支持延遲敏感性視頻應(yīng)用時支持用于視頻單元取代 的參考視頻單元選擇的參考視頻單元的質(zhì)量分析的實例技術(shù)的流程圖。
具體實施例方式圖1為說明經(jīng)配置以選擇參考視頻單元供在視頻單元取代中使用的視頻編碼及 解碼系統(tǒng)10的框圖。在各種方面中，經(jīng)取代的視頻單元及選定參考視頻單元可為(例如) 視頻幀、視頻切片或視頻塊。如圖1中所示，系統(tǒng)10可包括視頻編碼器12及視頻解碼器 14，其每一者可大體被稱作視頻譯碼器。在圖1的實例中，視頻編碼器12編碼輸入視頻幀 16以產(chǎn)生經(jīng)編碼的視頻幀18。視頻編碼器12可經(jīng)由通信信道19將經(jīng)編碼的視頻幀18傳 輸?shù)揭曨l解碼器14。盡管本發(fā)明中描述的技術(shù)可為可適用于多種視頻單元(例如，幀、切片、塊或子 塊)的，但出于說明的目的，本發(fā)明將大體描述將所述技術(shù)應(yīng)用到視頻幀，但卻無如在本發(fā) 明中廣泛描述的此類技術(shù)的方面的限制。為減少必須在編碼器12與解碼器14之間傳輸?shù)臄?shù)據(jù)的量，且從而遵守對信道19 的減小帶寬要求，視頻編碼器12可在比源視頻單元譯碼速率小的基本視頻單元譯碼速率 下操作。舉例來說，視頻編碼器12可在減小的視頻幀速率(例如，每秒15、30、60幀(fps)) 下操作。替代地或另外，在一些情況下，視頻編碼器12可在給定視頻幀速率下操作，但任 選地，包括或選擇性啟動致使編碼器12跳過一些視頻單元的編碼的跳過單元20。舉例來 說，視頻單元跳過單元20可經(jīng)配置以致使編碼器12跳過一些幀的編碼，從而(例如)相對 于源視頻幀速率減小視頻編碼器12的有效幀速率。在圖1中，跳過的視頻幀由經(jīng)編碼的幀 18中的陰影幀說明。在跳過的幀或可經(jīng)升頻轉(zhuǎn)換的譯碼速率的情況下，可能需要在解碼器側(cè)處取代額 外視頻單元(例如，通過內(nèi)插或外推)，以將實際視頻幀速率轉(zhuǎn)換到增加的視頻幀速率。此 過程有時被稱作支持幀速率升頻轉(zhuǎn)換(FRUC)的幀取代。實際上，解碼器14可將由視頻編 碼器12產(chǎn)生的實際幀速率增加到經(jīng)升頻轉(zhuǎn)換的幀速率。作為實例，如果由編碼器12產(chǎn)生的實際幀速率(有或無幀跳過)為30fps，則解碼 器14可經(jīng)配置以取代額外幀(例如，通過內(nèi)插或外推)，以將有效幀速率從30fps增加到 60fps或120fps。實際上，用額外幀取代已經(jīng)跳過的幀或如果視頻編碼器12的基本幀譯碼 速率較大則可已包括的幀。如上所述，歸因于比源視頻速率小的基本幀速率及/或一些幀 的任選跳過(例如，通過任選跳過單元20)，由視頻編碼器12產(chǎn)生的幀速率可能較不合需 要。通過跳過一些幀或每秒譯碼較少幀(如上所述)，視頻編碼器12可以減小的幀速 率編碼視頻。然而，低幀速率視頻可產(chǎn)生呈運動急動形式的時間假影。幀取代可由解碼器 14用以估約跳過的幀或其它排除的幀的內(nèi)容，且實際上，對實際幀速率進(jìn)行升頻轉(zhuǎn)換以提 供較平滑的運動的感知。舉例來說，視頻解碼器14可包括幀速率升頻轉(zhuǎn)換(FRUC)單元22， 其內(nèi)插或外推至少一些額外視頻幀以增加經(jīng)解碼的視頻的有效幀速率。又，盡管相對于幀的有效譯碼速率的升頻轉(zhuǎn)換描述FRUC單元22，但在本發(fā)明中描 述的技術(shù)可應(yīng)用于其它視頻單元，例如，切片、塊或子塊。視頻解碼器14可解碼所接收的幀24且經(jīng)由FRUC單元22估約額外的視頻幀以產(chǎn)生輸出視頻幀26。經(jīng)解碼的輸出視頻幀26 可用以驅(qū)動顯示裝置。在圖1中，跳過的幀的實例由所接收的視頻幀24中的陰影視頻幀說明。在圖1的實例中，F(xiàn)RUC單元22經(jīng)展示于視頻解碼器14內(nèi)。在其它實施方案中， FRUC單元22可形成視頻后處理模塊的部分。視頻后處理模塊可處理視頻解碼器14的輸 出，且可執(zhí)行多種處理操作，例如，變平滑、銳化、亮度控制及/或?qū)Ρ榷仍鰪姡约癋RUC操 作。作為另一替代方案，F(xiàn)RUC單元22可形成視頻顯示處理器或移動顯示處理器(MDP)裝置 (例如，用于移動多媒體裝置)的部分。因此，出于說明的目的，在視頻解碼器14內(nèi)的FRUC 單元22的實施方案經(jīng)描繪于圖1及其它圖中，且不應(yīng)被考慮為限制在本發(fā)明中廣泛描述的 技術(shù)。運動補償(MC)視頻幀內(nèi)插(VFI)為用以增強在例如在解碼器側(cè)處的FRUC的應(yīng)用 中的視頻的時間感知質(zhì)量的技術(shù)的實例。其它內(nèi)插技術(shù)以及外推技術(shù)可應(yīng)用于估約支持 FRUC過程的額外幀。盡管FRUC技術(shù)可通過估約跳過的幀或產(chǎn)生超出視頻編碼器12的基本 幀速率的額外幀來增強時間質(zhì)量，但一些幀的內(nèi)插或外推可引入破壞視覺質(zhì)量的不合需要 的空間假影。舉例來說，經(jīng)取代的視頻幀的視覺質(zhì)量可能得不到保證且可高度地視用以執(zhí)行內(nèi) 插或外推的特定參考幀而定。另外，VFI方法可能很復(fù)雜，且消耗大量電力及其它資源，此 可阻礙將VFI用于一些裝置中的視頻應(yīng)用，例如，具有有限電力、計算及/或存儲器資源的 移動裝置。其它幀取代技術(shù)可呈現(xiàn)類似的質(zhì)量及資源問題。FRUC單元22可經(jīng)配置以分析與由視頻解碼器14接收的一個或一個以上參考視頻 幀相關(guān)聯(lián)的至少一個特性，且基于所述分析選擇所述參考視頻幀中的一者或一者以上供在 由視頻解碼器進(jìn)行的視頻幀的取代中使用?？蓮脑跁r間上駐留于待取代的幀之前或之后的 所接收的幀24選擇參考視頻幀。換句話說，F(xiàn)RUC單元22可選擇一個或一個以上先前或未 來幀24供在估約待取代的額外幀過程中使用。先前視頻幀可包括緊接在待取代的幀之前的幀或接近待取代的幀的一個或一個 以上先前幀。未來幀可包括緊跟在待取代的幀之后的幀或接近待取代的幀的一個或一個以 上幀。在通過內(nèi)插取代的情況下，一個或一個以上先前幀及一個或一個以上未來幀可用以 內(nèi)插額外的中間幀。在通過外推取代的情況下，一個或一個以上先前幀或一個或一個以上 未來幀可用于外推額外的先前或未來幀。在一些方面中，F(xiàn)RUC單元22可分析參考視頻幀的質(zhì)量以選擇一個或一個以上參 考幀供在額外視頻幀的取代中使用。以此方式，F(xiàn)RUC單元22確定哪些幀用作用于視頻幀 取代(例如，通過內(nèi)插或外推)的參考幀。在此情況下，F(xiàn)RUC單元22可選擇參考視頻幀來 增強輸出視頻幀26的空間-時間視頻質(zhì)量。在其它方面中，F(xiàn)RUC單元22可分析參考幀的 質(zhì)量及視頻解碼器14駐留于里面的裝置的資源約束兩者。在此情況下，F(xiàn)RUC單元22可增 強輸出視頻幀26的空間-時間視頻質(zhì)量，同時平衡降低電力消耗、節(jié)省計算資源及/或節(jié) 省存儲器資源過程中的利益。FRUC單元22可增強內(nèi)插或外推的幀質(zhì)量以及視頻序列的時 間質(zhì)量。大體來說，計算及存儲器資源的消耗可對增加的電力消耗以及在一些情況下的等 待時間有影響。另外，在一些方面中，F(xiàn)RUC單元22可經(jīng)配置以選擇具有偏向減少端對端處理及/或呈現(xiàn)延遲的參考視頻幀。所述延遲可尤其不合需要地來自一些實時或準(zhǔn)實時的應(yīng)用，例 如，視頻電話，其可為延遲敏感性的。舉例來說，當(dāng)未來參考視頻幀用以估約經(jīng)取代的幀時， FRUC單元22可經(jīng)配置以促成在時間上相對靠近待估約的幀的未來參考視頻幀的選擇?；?者，F(xiàn)RUC單元22可停用對所述延遲敏感性應(yīng)用的視頻幀取代。在作為說明的視頻電話應(yīng)用中，基于未來幀選擇幀外推可能較不合需要，或在視 頻幀內(nèi)插的情況下，可能需要選擇較靠近的未來幀而非在未來較遠(yuǎn)的未來幀以便減少端對 端延遲，且因此為用戶保持時間質(zhì)量。明確地說，依賴于在未來駐留得較遠(yuǎn)的未來參考幀可 導(dǎo)致歸因于需要等待解碼此類未來幀的延遲。幀在未來駐留得越遠(yuǎn)，則等待可越長，此可引 起打亂視頻電話呈現(xiàn)中的延遲。在一些方面中，視頻解碼器14可提供著重質(zhì)量幀取代模式作為第一操作模式來 基于一個或一個以上參考幀質(zhì)量準(zhǔn)則的分析選擇參考幀。另外，視頻解碼器14可提供著重 資源幀取代模式作為第二操作模式來基于資源與質(zhì)量考慮的組合選擇性啟用或停用對一 些幀的幀取代。在一些方面中，著重質(zhì)量及著重資源模式可被稱作質(zhì)量優(yōu)化及電力優(yōu)化模 式。因此，在一些方面中，視頻解碼器14可決定哪些幀用作用于視頻幀內(nèi)插或外推的參考 幀且還決定哪些幀內(nèi)插或外推以便節(jié)約電力且增強內(nèi)插的幀質(zhì)量以及視頻的時間質(zhì)量。替 代地或另外，視頻解碼器14可經(jīng)配置以基于質(zhì)量準(zhǔn)則停用取代幀從視頻緩沖器到顯示器 的傳輸，即使在已執(zhí)行了內(nèi)插或外推之后也如此。在一些方面中，可將此著重資源模式考慮為電力優(yōu)化模式，如上所論述。舉例來 說，視頻解碼器14可經(jīng)配置以平衡視覺質(zhì)量對電力節(jié)省及/或計算負(fù)載。在一些情況下， 視頻解碼器14可(例如)根據(jù)在應(yīng)用對待取代的幀的FRUC操作時可用于視頻解碼器的資 源在著重質(zhì)量模式與著重資源模式之間可選擇性切換。在著重質(zhì)量模式及/或著重資源模式下，質(zhì)量準(zhǔn)則可包括(例如)指示有可能使 用選定參考幀產(chǎn)生的經(jīng)取代的幀質(zhì)量的水平的一個或一個以上特性。換句話說，可選擇所 述特性作為使用參考幀進(jìn)行內(nèi)插或外推的幀的可能的質(zhì)量的指示。如果參考幀中無一者滿 足質(zhì)量準(zhǔn)則，則視頻解碼器14可停用針對特定幀的幀取代。因此，在著重質(zhì)量模式下，當(dāng)參 考幀中無一者有可能產(chǎn)生令人滿意(例如，在閾值之上)的內(nèi)插或外推質(zhì)量時，視頻解碼器 14可停用幀內(nèi)插或外推以節(jié)省電力。在一些方面中，可在經(jīng)取代的幀實際上由解碼器14產(chǎn)生之前或之后應(yīng)用著重質(zhì) 量準(zhǔn)則。舉例來說，可在幀內(nèi)插或外推之后應(yīng)用質(zhì)量分析，在所述情況下，可基于結(jié)果將 取代幀選擇性應(yīng)用到顯示裝置。如果經(jīng)內(nèi)插或經(jīng)外推的幀的質(zhì)量不滿足閾值質(zhì)量水平，則 FRUC單元22可拋棄經(jīng)內(nèi)插或經(jīng)外推的幀，而非將其從輸出視頻幀緩沖器發(fā)送以驅(qū)動顯示
直ο在此情況下，即使已執(zhí)行了內(nèi)插或外推，如果質(zhì)量水平不證明需要用來顯示幀的 額外資源，則拋棄幀可仍為有利的。在將幀從視頻緩沖器發(fā)送到顯示緩沖器以驅(qū)動顯示器 的過程中，可耗費相當(dāng)大量的電力。因此，拋棄取代幀(即使在已執(zhí)行了內(nèi)插或外推之后) 可節(jié)約將另外從視頻緩沖器與顯示器之間的視頻數(shù)據(jù)業(yè)務(wù)產(chǎn)生的電力消耗。在著重資源模式下，如果一個或一個以上候選參考幀的運動水平小于閾值，則視 頻解碼器14可停用幀取代。在此情況下，當(dāng)視頻場景為大體靜態(tài)時，經(jīng)內(nèi)插或經(jīng)外推的幀 與重復(fù)的幀之間的差異可為可忽略的。因此，使用幀重復(fù)而非內(nèi)插或外推可節(jié)省資源，例如，電力。運動水平閾值可為固定的或可依據(jù)視頻解碼器的資源水平或資源節(jié)約要求而調(diào) 整。在任一情況下，不管是啟動了著重質(zhì)量還是著重資源模式，如果啟用了幀取代，則可使 用一個或一個以上質(zhì)量準(zhǔn)則來選擇參考幀。用以分析候選參考幀的一個或一個以上質(zhì)量準(zhǔn)則可經(jīng)選擇作為指示有可能通過 使用所述候選參考幀產(chǎn)生的內(nèi)插或外推的質(zhì)量的特性。舉例來說，如果將考慮中的候選參 考幀用于所述額外幀的內(nèi)插或外推中，則質(zhì)量準(zhǔn)則可指示經(jīng)內(nèi)插或經(jīng)外推的幀的可能的質(zhì) 量。并且，F(xiàn)RUC單元22可分析作為參考幀質(zhì)量的另一指示的運動向量可靠性。由FRUC單 元22分析的質(zhì)量準(zhǔn)則的實例可包括量化參數(shù)(QP)值、經(jīng)譯碼的塊模式(CBP)值及與參考 視頻幀相關(guān)聯(lián)的非零變換系數(shù)的數(shù)目。如果CBP值不等于零，則可將QP值與非零系數(shù)的數(shù) 目耦合以判斷由參考幀提供的運動向量的可靠性。FRUC單元還可考慮客觀質(zhì)量度量(例如，結(jié)構(gòu)類似性度量(SSIM)、塊效應(yīng) (blockiness)及/或模糊性)以確定供在內(nèi)插或外推中使用的候選參考幀的質(zhì)量。另外， 可考慮除了用于參考幀的幀內(nèi)模式之外的類型的幀內(nèi)模式及運動向量計數(shù)。FRUC單元22可分析其它質(zhì)量準(zhǔn)則，例如，全部或部分視頻單元損失的證據(jù)，其可 大體被稱作視頻單元損失。舉例來說，F(xiàn)RUC單元22可結(jié)合針對所述幀的錯誤隱藏機制的 可用性的缺乏分析參考視頻幀的切片或幀損失。舉例來說，F(xiàn)RUC單元22可評估錯誤的水 平及錯誤隱藏機制的質(zhì)量。除了以上描述的類型的質(zhì)量準(zhǔn)則之外或作為對以上描述的類型 的質(zhì)量準(zhǔn)則的替代，可使用其它質(zhì)量準(zhǔn)則。在一些情況下，F(xiàn)RUC單元22可選擇滿足一個或一個以上質(zhì)量閾值的參考視頻幀。 在其它情況下，F(xiàn)RUC單元22可對多個參考視頻幀的質(zhì)量記分且分級，且選擇產(chǎn)生最佳得分 的一個或一個以上參考幀。如果兩個幀(例如，兩個先前幀或兩個未來幀)經(jīng)分級為大體 上相同，則可能需要選擇時間上較靠近待內(nèi)插的跳過的幀的幀。出于說明的目的，本發(fā)明大體涉及用于額外幀的內(nèi)插或外推的參考幀的選擇。然 而，在一些實施方案中，本發(fā)明更大體地涵蓋用于不同于幀的額外視頻單元的估約的參考 視頻單元的選擇。舉例來說，本發(fā)明中描述的技術(shù)可適合于分析且選擇多種參考視頻單元 中的任一者，例如，視頻幀、視頻切片或例如宏塊的視頻塊。當(dāng)例如幀、切片或塊的視頻單元由視頻編碼器12跳過時，所述技術(shù)可用以識別可 用于內(nèi)插或外推的各種候選參考幀當(dāng)中的對應(yīng)的幀、切片或塊。或者，甚至當(dāng)不跳過幀、切 片或塊時，所述技術(shù)還可用以估約額外幀以增加編碼器12的基本幀譯碼速率，例如，針對 幀速率轉(zhuǎn)換應(yīng)用。甚至當(dāng)需要估約整個幀(歸因于跳過或低幀速率)時，選擇個別切片或塊供在內(nèi) 插待估約的幀的切片或塊過程中使用也可為有利的。在此情況下，可選擇來自不同候選幀 的切片或塊來內(nèi)插或外推待估約的幀中的對應(yīng)的切片或塊。舉例來說，可逐切片或逐塊地 應(yīng)用類似于本發(fā)明中描述的質(zhì)量分析的上質(zhì)量分析以選擇用于額外視頻單元的內(nèi)插或外 推的參考視頻單元。因此，通過聚焦于用于待取代的跳過的幀的內(nèi)插或外推的參考幀的選 擇，不應(yīng)將本發(fā)明考慮為限制如廣泛地描述的方面。進(jìn)一步參看圖1，視頻編碼器12與視頻解碼器14可由傳輸信道19連接。傳輸信 道19可為有線或無線媒體，或兩者的組合，其能夠在位流內(nèi)傳送視頻幀。信道19可支持雙 向或單向視頻傳輸。系統(tǒng)10可經(jīng)配置用于視頻電話、視頻串流、視頻廣播等。因此，可在信道19的相對端上提供互逆編碼、解碼、多路復(fù)用(MUX)及解多路復(fù)用(DEMUX)組件。在一 些實施方案中，編碼器12及解碼器14可經(jīng)提供于例如經(jīng)裝備用于視頻串流、視頻廣播接收 及/或視頻電話(例如，所謂的無線視頻電話或相機電話)的無線移動終端的視頻通信裝置內(nèi)。此類無線通信裝置包括支持無線通信、音頻譯碼、視頻譯碼及用戶接口特征的各 種組件。舉例來說，無線通信裝置可包括一個或一個以上處理器、音頻/視頻編碼器/解碼 器(CODEC)、存儲器、一個或一個以上調(diào)制解調(diào)器、發(fā)射-接收(TX/RX)電路，例如，放大器、 頻率轉(zhuǎn)換器、濾波器等。另外，無線通信裝置可包括圖像及音頻俘獲裝置、圖像及音頻輸出 裝置、相關(guān)聯(lián)的驅(qū)動器、用戶輸入媒體等。可將編碼器12、解碼器14或兩者并入于如上所述的無線或有線通信裝置中。并 且，可將編碼器12、解碼器14或兩者實施為集成電路裝置，例如，集成電路芯片或芯片組， 其可并入于無線或有線通信裝置中或支持?jǐn)?shù)字視頻應(yīng)用的另一類型的裝置中，例如，數(shù)字 媒體播放器、個人數(shù)字助理(PDA)、數(shù)字電視等。系統(tǒng)10可支持根據(jù)會話起始協(xié)議(SIP)、ITU-T H. 323標(biāo)準(zhǔn)、ITU-T H. 324標(biāo)準(zhǔn)或 其它標(biāo)準(zhǔn)的視頻電話。視頻編碼器12可根據(jù)視頻壓縮標(biāo)準(zhǔn)(例如，MPEG-2、MPEG-4、ITU-T H. 263,ITU-T H. 264或MPEG-4第10部分)產(chǎn)生經(jīng)編碼的視頻數(shù)據(jù)。盡管未展示于圖1中， 但視頻編碼器12及視頻解碼器14可分別地與音頻編碼器及解碼器集成，且包括適當(dāng)?shù)挠?件及軟件組件來處置數(shù)據(jù)流的音頻及視頻部分兩者。編碼器12編碼視頻幀16，其可包括內(nèi)部幀(I幀)、預(yù)測幀(P幀)及雙向預(yù)測幀 (B幀)。I幀為使用空間譯碼技術(shù)完全編碼所有視頻信息的幀。經(jīng)編碼的幀可包含描述形 成幀的一系列視頻塊的信息。有時被稱作宏塊(MB)的視頻塊可包括界定像素值的譯碼位， 例如，在亮度(Y)、色度紅(Cr)及色度藍(lán)(Cb)色彩通道中。如上所述，編碼器12可實施幀跳過以減小經(jīng)由傳輸信道19傳輸?shù)臄?shù)據(jù)的幀速率。 明確地說，編碼器12可經(jīng)配置以(例如)通過不譯碼選定幀或不傳輸選定經(jīng)譯碼的幀而有 意地跳過選定幀?；蛘撸幋a器12可在有幀跳過或無幀跳過的情況下以小于所要幀速率的 基本幀譯碼速率產(chǎn)生幀。幀跳過或減小的幀速率譯碼可準(zhǔn)許編碼器12遵循信道19的減小 傳輸速率要求。在幀跳過的情況下，幀可由幀跳過單元20以固定速率跳過，使得在交替幀處或每 η個幀發(fā)生跳過?；蛘撸?例如)基于智能幀跳過準(zhǔn)則以變化的速率跳過幀。并且，編碼 器12可以給定幀速率在固定或自適應(yīng)地編碼幀，使得幀速率根據(jù)例如信道條件或其它要 求的考慮而變化。在任一情況下，幀速率可由解碼器14有效地升頻轉(zhuǎn)換以產(chǎn)生增加的幀速 率，例如，從 30fps 到 60fps 或 120fps。FRUC單元22可由解碼器14用以執(zhí)行幀取代以替換經(jīng)跳過的幀或產(chǎn)生額外的幀以 增加幀速率。另外，在一些實施方案中，F(xiàn)RUC單元22可用于在傳輸期間丟棄或丟失的幀。 由編碼器12跳過的幀及在傳輸期間丟棄或丟失的幀在本發(fā)明中可大體被稱作跳過的幀。 在每一情況下，為了增加有效幀速率，且因此改進(jìn)時間質(zhì)量，解碼器14的FRUC單元22可使 用視頻幀內(nèi)插或外推及參考幀選擇執(zhí)行FRUC過程以估約具有取代幀的跳過的幀中的至少 一些。如果參考視頻幀中無一者有可能支持具有足夠質(zhì)量水平的幀取代，則FRUC單元22可停用幀取代且應(yīng)用幀重復(fù)。當(dāng)停用幀取代時，解碼器14可僅重復(fù)先前或未來幀，而非 在先前幀與未來幀之間內(nèi)插或外推幀。在此情況下，解碼器14可使用先前或未來幀的復(fù)制 版本來替代跳過的幀或作為用于幀速率轉(zhuǎn)換的額外幀。通過使用幀重復(fù)，解碼器14可避免可由內(nèi)插或外推引入的不合需要的空間假影。 由于幀重復(fù)可降低視頻的所感知的時間質(zhì)量，所以當(dāng)可實現(xiàn)足夠的質(zhì)量時，通過內(nèi)插或外 推的幀取代將通常更合需要。然而，電力、計算及/或存儲器資源的過度消耗可降低取代技 術(shù)的總價值。如本發(fā)明中描述的著重資源模式可用以平衡質(zhì)量對資源消耗。在圖1的實例中，視頻編碼器12接收視頻信息的輸入幀Ie(FtfFtfFpFt^Fm)。 Ft表示歸因于由任選幀跳過單元20進(jìn)行的幀跳過或歸因于由編碼器12產(chǎn)生的基本幀速率 而在時間t處未譯碼的幀。因此，應(yīng)注意，如本發(fā)明中描述的幀取代大體指估約在由解碼器 14接收的幀中未提供(歸因于幀跳過、信道損失或編碼器12的基本幀速率)的幀F(xiàn)t的幀 Ft'的添加。如果幀跳過單元20可適用，則可根據(jù)如上所述的固定、可調(diào)整或動態(tài)幀跳過過程 而跳過幀。Ft_2及Fw表示在時間上在幀F(xiàn)t之前的過去幀，且Ft+1及Ft+2為在時間上在幀F(xiàn)t 之后的未來幀?？捎糜趲現(xiàn)t的內(nèi)插或外推的參考幀可包括在幀F(xiàn)t之前及在幀F(xiàn)t之后兩者 的許多幀。然而，為了易于說明，在圖1中僅展示在Ft之前的兩個幀及在Ft之后的兩個幀。大體來說，視頻編碼器12編碼輸入幀16作為上述I、P或B幀中的一者來產(chǎn)生經(jīng) 編碼的幀18。又，幀F(xiàn)t在時間上駐留于先前幀F(xiàn)t_2、Ft_i與未來幀F(xiàn)t+1、Ft+2之間。視頻編碼 器12經(jīng)由傳輸信道19將經(jīng)編碼的幀18 (其包括經(jīng)編碼的幀F(xiàn)t_2、Ft_i、Ft+1、Ft+2，但非幀F(xiàn)t) 傳輸?shù)揭曨l解碼器14。通常，編碼器12按預(yù)界定的序列傳輸這些幀，例如，IBBPBBPBBPBBI, 其中I、B及P分別指I幀、B幀及P幀。經(jīng)編碼的幀18可經(jīng)幀內(nèi)譯碼或幀間譯碼，且可經(jīng)解碼以產(chǎn)生在輸入幀16中存在 的視頻內(nèi)容。另外，經(jīng)編碼的幀18可充當(dāng)用于視頻序列中的其它經(jīng)幀間譯碼的幀的解碼的 參考幀，即，作為用于預(yù)測的幀的運動估計及運動補償?shù)膮⒖?。如在預(yù)測性譯碼的技術(shù)中 眾所周知，經(jīng)編碼的幀可由指示在經(jīng)編碼的幀中的塊相對于不同經(jīng)編碼的幀(其充當(dāng)參考 幀)中的類似對應(yīng)的塊的移位的運動向量表征。另外，經(jīng)編碼的幀可由指示在經(jīng)編碼的幀 中的視頻塊與在參考幀中的對應(yīng)的視頻塊之間的差異的殘余信息表征。輸入幀16的編碼及所接收的幀24的解碼可依參考幀而定，如上針對預(yù)測性譯碼 所描述。然而，在待取代的幀的情況下，如在本發(fā)明中描述的參考幀大體指用于內(nèi)插或外推 以在解碼器側(cè)處提供額外幀的幀。因此，應(yīng)注意，用于內(nèi)插或外推的參考幀在其使用中與用 于預(yù)測性譯碼的參考幀不同，即使在一些例子中，給定幀可用作用于內(nèi)插及預(yù)測性譯碼兩 者的參考幀。用于預(yù)測性譯碼的參考幀在編碼器側(cè)處經(jīng)指定且用于預(yù)測性譯碼。相反，用 于內(nèi)插或外推的參考幀可在解碼器側(cè)處經(jīng)選擇且用于額外幀的取代(例如，通過內(nèi)插或外 推)。在圖1的實例中，幀16表示在含有許多幀的視頻序列中的五個幀，且用以描述估 約在時間上駐留于經(jīng)編碼的幀18之間(例如，在先前幀F(xiàn)t_2、Ft_i與未來幀F(xiàn)t+1、Ft+2之間)的 幀F(xiàn)t的額外(即，附加的)幀F(xiàn)t'的內(nèi)插或外推。在一些方面中，可能需要添加多個幀，在 所述情況下，駐留于兩個經(jīng)傳輸?shù)膸g的一個以上幀可能需要內(nèi)插或外推。為了易于說 明，本發(fā)明將涉及使用選定參考幀內(nèi)插在先前幀與未來幀之間的單一幀F(xiàn)t'的實例情況。
視頻解碼器14經(jīng)由傳輸信道19接收幀24。所接收的幀24可大體上與由視頻編 碼器12傳輸?shù)慕?jīng)編碼的幀18等同，歸因于傳輸信道19的特性經(jīng)受切片、幀或塊損失。視 頻解碼器14可應(yīng)用標(biāo)準(zhǔn)解碼技術(shù)以解碼所接收的幀24中的每一者(FtfFtfFwItt2)，例 如，根據(jù)MPEG-U MPEG-2、MPEG-4、H. 263、H. 264或MPEG-4第10部分標(biāo)準(zhǔn)中的一者。根據(jù) 本發(fā)明，解碼器14進(jìn)一步包括FRUC單元22，其應(yīng)用于幀24以便選擇性估約額外幀F(xiàn)t ’。 通過FRUC單元22，視頻解碼器14內(nèi)插或外推幀以產(chǎn)生幀F(xiàn)t且產(chǎn)生輸出幀26，其包括經(jīng)解 碼的幀F(xiàn)t_2、Fh、Ft+1、Ft+2及待添加的幀F(xiàn)t的估約Ft ‘。FRUC單元22接收視頻序列中的連續(xù)的幀。對于待內(nèi)插的每一額外幀，存在可用 作用于內(nèi)插的參考幀的至少一個先前幀及至少一個未來幀。待內(nèi)插的幀在時間上駐留于多 個先前幀與多個未來幀之間。如果將外推用于估約(而非內(nèi)插)，則待外推的幀在時間上 可駐留于一個或一個以上參考幀之后或在時間上駐留于一個或一個以上參考幀之前。先前 及未來幀中的一些可產(chǎn)生比其它幀好的幀取代結(jié)果?？赏ㄟ^多種技術(shù)中的任一者來執(zhí)行內(nèi) 插，例如，運動補償內(nèi)插(MCI)、線性內(nèi)插、雙線性內(nèi)插、雙三次內(nèi)插、樣條(spline)內(nèi)插、最 近鄰居內(nèi)插、非線性內(nèi)插、候選幀的線性或非線性濾波等。內(nèi)插可利用單一參考幀用于單向 內(nèi)插或利用兩個或兩個以上幀用于雙向內(nèi)插。類似地，外推可利用單一參考幀或兩個或兩 個以上幀用于單向外推。FRUC單元22可分析候選先前及/或未來幀且選擇所述幀中的一者或一者以上供 用作額外幀的內(nèi)插或外推中的參考幀。FRUC單元22可經(jīng)配置以選擇更有可能產(chǎn)生有利的 幀取代結(jié)果的特定參考幀。舉例來說，F(xiàn)RUC單元22可分析候選參考幀集合的一個或一個 以上特性?？蓮囊曨l序列內(nèi)的幀的子集選擇候選參考幀。舉例來說，F(xiàn)RUC單元22可分析N 個先前幀及M個未來幀的子集，其中N與M相等或不相等。如果分析展示候選參考幀中無一者具有用于幀取代的足夠的質(zhì)量水平，則FRUC 單元22可停用幀取代。在此情況下，F(xiàn)RUC單元22可檢測潛在的FRUC失敗(就幀取代結(jié) 果的質(zhì)量來說)。替代于浪費電力及計算資源來產(chǎn)生低質(zhì)量內(nèi)插結(jié)果，舉例來說，F(xiàn)RUC單元 22可應(yīng)用幀重復(fù)以產(chǎn)生跳過的幀的估約。在幀重復(fù)的情況下，如先前所描述，解碼器14使 用先前或未來幀中的一者的復(fù)制版本替代跳過的幀。因此，在著重質(zhì)量模式下，F(xiàn)RUC單元 22可經(jīng)配置以選擇特定參考幀用于內(nèi)插或外推，及在可接受的質(zhì)量水平未必可能時停用幀 取代。當(dāng)解碼器14在著重資源模式下操作時，F(xiàn)RUC單元22可尋找較高質(zhì)量水平來證明幀 取代。在一些配置中，系統(tǒng)10可提供一個或一個以上益處。舉例來說，在一些配置中，系 統(tǒng)10可通過在不大可能產(chǎn)生有利的結(jié)果時停用幀取代來減少視頻解碼器14中的電力消 耗。另外，在一些配置中，系統(tǒng)10可通過選擇特定參考幀供在幀取代中使用來增強經(jīng)取代 的幀的質(zhì)量。供在經(jīng)取代的幀的內(nèi)插或外推中使用的較高質(zhì)量參考幀的選擇可在多種視頻 應(yīng)用中有用，例如，使用可變位速率(VBR)速率控制技術(shù)壓縮經(jīng)編碼的視頻的應(yīng)用。在VBR 的情況下，質(zhì)量可在不同幀當(dāng)中變化，使得在用作用于內(nèi)插或外推的參考幀時，一些幀可比 其它幀好。并且，視頻解碼器14可經(jīng)配置以檢測遭受切片、幀或塊損失的候選參考幀，且在 不存在所應(yīng)用的錯誤隱藏機制時，或如果可用的錯誤隱藏機制不大可能提供良好質(zhì)量幀， 則從考慮中消除此類幀。當(dāng)發(fā)生顯著的傳輸損失時，例如，在視頻電話應(yīng)用的情況下，具有不充分的錯誤隱藏的候選參考幀的消除可為有用的。在減少電力消耗同時維持合理的客觀 及主觀視頻質(zhì)量(例如，在低運動視頻片段中)的過程中，著重資源模式可為有用的。圖2A為說明用于額外幀的內(nèi)插以支持視頻解碼器14中的FRUC技術(shù)的簡單技術(shù) 的實例的圖。大體來說，為了在選定先前幀F(xiàn)t_N與選定未來幀F(xiàn)t+M之間的經(jīng)內(nèi)插的幀F(xiàn)t' 中內(nèi)插宏塊(MB) 28，視頻解碼器14可依在先前幀F(xiàn)t_N中的MB 30與未來幀F(xiàn)t+M中的對應(yīng)的 MB 32之間延伸的運動向量vM而定。在此實例中，時間t指示時間位置，S卩，待內(nèi)插的額外 幀將出現(xiàn)于視頻序列中的時間。幀F(xiàn)t_N及Ft+M為在時間上分別在需要內(nèi)插的額外幀F(xiàn)t'之 前(t-N)及之后(t+M)的幀。在圖2A的實例中，幀F(xiàn)t_N及Ft+M充當(dāng)用于額外幀F(xiàn)t'的內(nèi)插 的參考幀。N及M指示相對于時間t的時間偏移，且可彼此相等或不相等。舉例來說，如果N =1且M= 2，則幀F(xiàn)t_N可為緊接在經(jīng)內(nèi)插的幀之前的幀，且?guī)現(xiàn)t+M可為在經(jīng)內(nèi)插的幀之后 的第二幀。在N= 1且M= 1的簡單實例中，為了內(nèi)插，在幀F(xiàn)t_N與幀F(xiàn)t+M之間延伸的向量 V13可大體除以二(對于1 2幀速率轉(zhuǎn)換)以產(chǎn)生運動向量vNM/2及-v_/2，且識別待內(nèi) 插的幀F(xiàn)t'中的對應(yīng)的MB 28。因此，在此簡化實例中，MB 28的位置依據(jù)運動向量vNM/2 及-vNM/2而變，其中出于此實例的目的，N= 1且M= 1。MB 28可經(jīng)指派有對應(yīng)于MB 30或 MB 32或MB 30及32的像素值的平均值的像素值集合。對于較高或較低幀升頻轉(zhuǎn)換(例 如，1 X轉(zhuǎn)換)，可相應(yīng)地按比例縮放運動向量。對于其它情況，例如，其中N及M中的至 少一者不等于一，可使用經(jīng)由運動估計及運動向量處理獲得的不同運動向量。另外，對于一些類型的內(nèi)插，F(xiàn)RUC單元22可依多個參考幀而定，例如，兩個或兩個 以上先前幀及兩個或兩個以上未來幀。大體來說，參考幀指單獨或結(jié)合一個或一個以上其 它參考幀用以內(nèi)插幀(例如，跳過的幀)的幀。在內(nèi)插過程中，與在一個或一個以上參考幀 中存在的宏塊相關(guān)聯(lián)的像素值可用以在待內(nèi)插的額外幀中的對應(yīng)的宏塊中內(nèi)插像素值，例 如，如圖2A中所示。像素值可包括亮度及/或色度像素值。作為一個實例，經(jīng)內(nèi)插的宏塊可包括等于先前幀中的宏塊中的像素值、未來幀中 的宏塊中的像素值，或先前及未來幀中的對應(yīng)的宏塊中的像素值的平均值的像素值。在經(jīng) 內(nèi)插的幀中的宏塊可相對于參考視頻幀中的對應(yīng)的塊經(jīng)運動補償，如圖2A中所示。宏塊可 由在先前與未來幀之間延伸的運動向量識別，如圖2A中所示。圖2A中展示的內(nèi)插的說明 為一個實例，且應(yīng)被考慮為不限制在本發(fā)明中廣泛描述的技術(shù)?？蓪V泛多種不同內(nèi)插技 術(shù)用于根據(jù)本發(fā)明的幀取代。圖2B為說明使用選定參考幀內(nèi)插附加視頻幀的圖。在圖2B的實例中，F(xiàn)RUC單元 22選擇參考幀F(xiàn)w及Ft+2供在內(nèi)插額外幀F(xiàn)t'過程中使用。FRUC單元22可分析多個先前 幀F(xiàn)t_i、Ft_2及Ft_3及多個未來幀F(xiàn)t+1、Ft+2及Ft+3的一個或一個以上特性。在圖2B的實例中， 出于說明的目的，F(xiàn)RUC單元22分析三個先前參考幀及三個未來參考幀。在此實例中，F(xiàn)RUC 單元22可基于此分析選擇一個先前參考幀及一個未來參考幀供在經(jīng)內(nèi)插的幀F(xiàn)t'的內(nèi)插 中使用。然而，先前及未來參考幀的實際數(shù)目可與圖2B的實例不同。另外，由FRUC單元22 分析的先前幀的數(shù)目可與由FRUC單元分析的未來幀的數(shù)目不同。大體來說，F(xiàn)RUC單元22 可基于質(zhì)量分析選擇有可能產(chǎn)生具有可接受的質(zhì)量水平的內(nèi)插結(jié)果的先前幀及未來幀。在 圖2B的實例中，選定參考幀F(xiàn)w及Ft+2由交叉影線指示。圖2C為說明用于在視頻解碼器14中外推視頻單元的技術(shù)的實例的圖。在圖2C的實例中，使用兩個先前參考幀F(xiàn)t_M及Ft_N來外推額外幀F(xiàn)t'以支持幀取代。大體來說，為了 在選定先前幀F(xiàn)t_N及選定先前幀F(xiàn)t_M之后的幀F(xiàn)t'中外推MB 31，視頻解碼器14可依在先 前幀F(xiàn)t_N中的對應(yīng)的MB 33與在先前幀F(xiàn)t+M中的對應(yīng)的MB 35之間延伸的向量ν而定。在 此實例中，t指示時間位置，即，待內(nèi)插的額外幀將出現(xiàn)于視頻序列中的時間。幀F(xiàn)t_N及Ft+M 為在時間上分別在需要外推的額外幀F(xiàn)t'之前(t-N)及(t+M)的幀。在圖2C的實例中，先 前參考幀F(xiàn)t_N及Ft+M充當(dāng)用于額外幀F(xiàn)t'的外推的參考幀。然而，可使用一個或一個以上 先前參考幀或一個或一個以上未來參考幀外推額外幀F(xiàn)t'。換句話說，可分別使用先前幀 或未來幀來向前或向后外推額外幀。如在圖2A的實例中，圖2C中的N及M指示相對于時間t的時間偏移，且彼此可相 等或不相等。舉例來說，如果N = 2且M= 1，則幀F(xiàn)t_M可為緊接在經(jīng)外推的幀之前的幀，且 幀F(xiàn)t_N可為在經(jīng)外推的幀之前的兩個幀。MB 31可經(jīng)指派有對應(yīng)于MB 33或MB35，或MB 33及35的像素值的平均值的像素值集合。外推過程可利用運動補償外 推。如在內(nèi)插的情況下，對于外推，參考幀可指單獨或結(jié)合一個或一個以上其它參考幀用以 外推待添加到經(jīng)解碼的視頻幀的附加幀的幀。外推可通過從參考幀中的對應(yīng)的塊外推運動向量ν而經(jīng)運動補償，如圖2C中所 示。在外推過程中，與在一個或一個以上參考幀中存在的MB相關(guān)聯(lián)的像素值可用以在待外 推的額外幀中的對應(yīng)的MB中外推像素值。圖2C中展示的外推的說明為一個實例，且應(yīng)被 考慮為不限制在本發(fā)明中廣泛描述的技術(shù)?？蓪V泛多種不同外推技術(shù)用于根據(jù)本發(fā)明的 幀取代。圖2D為說明使用選定參考幀外推附加視頻幀的圖。在圖2D的實例中，F(xiàn)RUC單元 22選擇參考幀F(xiàn)w及Ft_2供在外推額外幀F(xiàn)t'過程中使用。根據(jù)是將先前還是未來幀用于 外推而定，F(xiàn)RUC單元22可分析多個先前幀F(xiàn)t_i、Ft_2及Ft_3或多個未來幀的一個或一個以 上特性。在圖2D的實例中，出于說明的目的，F(xiàn)RUC單元22分析四個先前參考幀F(xiàn)t_i、Ft_2、 Ft_3、Ft_4。在此實例中，F(xiàn)RUC單元22可基于此分析選擇兩個先前參考幀供在幀F(xiàn)t'的外推 中使用。然而，用于外推的參考幀的實際數(shù)目可與圖2D的實例不同。大體來說，F(xiàn)RUC單元 22可基于質(zhì)量分析選擇有可能產(chǎn)生具有可接受的質(zhì)量水平的外推結(jié)果的參考幀。在圖2D 中，選定參考幀F(xiàn)w及Ft_2由交叉影線指示。圖3為更詳細(xì)地說明圖1的視頻解碼器14的實例的框圖。在圖3的實例中，視頻 解碼器14包括接收幀緩沖器34、解碼單元36、幀取代單元38、輸出幀緩沖器40、FRUC分析 單元42及選擇單元44。幀取代單元38、FRUC分析單元42及選擇單元44可形成視頻解碼 器14的FRUC單元22的一部分。在圖3的實例中，F(xiàn)RUC單元22駐留于視頻解碼器14內(nèi)。 然而，如上所提及，在其它實施方案中，F(xiàn)RUC單元22可駐留于視頻解碼器14的外部，例如， 在視頻后處理器模塊或視頻顯示處理器或MDP裝置內(nèi)。接收幀緩沖器34接收且存儲經(jīng)由 信道19從視頻編碼器12傳輸?shù)慕?jīng)編碼的幀。解碼單元36使用可適用的譯碼過程解碼所 接收的幀且將經(jīng)解碼的幀放置于輸出幀緩沖器40中。所接收的幀34可排除待內(nèi)插或外推的各種幀。此類幀可包括由編碼器12跳過的 幀、在跨越信道19的傳輸期間丟失的幀或幀的部分，及編碼器12的基本幀速率不支持的 幀。為了提升空間_時間質(zhì)量，幀取代單元38可經(jīng)配置以基于分析及供在內(nèi)插或外推中使 用的特定所接收的幀的選擇內(nèi)插或外推額外幀(如可適用)。
如先前所提及，由幀取代單元38進(jìn)行的內(nèi)插可包括多種內(nèi)插技術(shù)中的任一者，例 如，運動補償內(nèi)插(MCI)、線性內(nèi)插、雙線性內(nèi)插、雙三次內(nèi)插、樣條內(nèi)插、最近鄰居內(nèi)插等。 內(nèi)插可利用單一參考幀用于單向內(nèi)插或利用兩個或兩個以上幀用于雙向內(nèi)插。同樣地，外 推可依一個或一個以上幀而定。在一些情況下，幀取代單元38可(例如)通過重復(fù)先前或 未來幀來替代待添加的幀而停用幀取代且替代地應(yīng)用幀重復(fù)。幀取代單元38將經(jīng)取代或重復(fù)的幀添加到視頻輸出幀緩沖器40。視頻輸出幀緩 沖器40中的經(jīng)解碼的幀及經(jīng)取代或重復(fù)的幀可用以驅(qū)動例如顯示器的視頻輸出裝置。作 為實例，視頻解碼器14可形成包括數(shù)字視頻能力的多種裝置(包括例如移動無線電電話的 無線通信裝置、數(shù)字媒體播放器、個人數(shù)字助理(PDA)、數(shù)字電視等)中的任一者的一部分。 或者，輸出幀緩沖器40中的幀可經(jīng)傳輸?shù)揭粋€或一個以上其它裝置以用于歸檔或顯示。在 每一情況下，由幀取代單元38產(chǎn)生的經(jīng)取代或重復(fù)的幀補充由解碼單元36解碼的幀，例 如，以增強視頻片段的時間視覺質(zhì)量。如在圖3中進(jìn)一步展示，幀取代單元38可從解碼單元36的輸出接收經(jīng)解碼的幀 供用作在內(nèi)插或外推幀過程中的參考幀。從解碼單元26接收的經(jīng)解碼的幀可為由解碼單 元36基于來自接收幀緩沖器34的經(jīng)編碼的幀產(chǎn)生的像素域幀。幀取代單元38可使用經(jīng) 解碼的參考幀作為用于額外幀的內(nèi)插或外推的參考幀。用于內(nèi)插或外推的特定參考幀可由 選擇單元44基于由FRUC分析單元42進(jìn)行的候選參考幀的分析來識別。分析單元42可經(jīng)提供以分析候選參考視頻幀。舉例來說，分析單元42可從解碼 單元36的輸出獲得像素域中的經(jīng)解碼的幀(例如)用于例如結(jié)構(gòu)類似性度量(SSIM)、塊效 應(yīng)及/或模糊性及(任選地)色溢的客觀質(zhì)量度量的分析，以確定供在內(nèi)插或外推中使用 的候選參考幀的質(zhì)量。替代地或另外，分析單元42可分析候選參考幀的譯碼信息(例如， 與候選幀相關(guān)聯(lián)的QP值及CBP值)，作為幀的相對質(zhì)量水平的指示?？?例如)通過解碼 單元36從與在接收幀緩沖器34中的幀相關(guān)聯(lián)的位流剖析例如QP值及CBP值的譯碼信息， 且將譯碼信息提供到分析單元42，如在圖2A中進(jìn)一步展示。因此，在一些實施方案中，分析 單元42可從解碼單元36的輸出接收經(jīng)解碼的像素域幀及/或位流信息(例如，由解碼單 元36從候選幀剖析的QP及CBP值)。在從解碼單元36獲得的視頻幀可由取代單元38用作用于額外幀的取代的參考幀 的意義上，可將其考慮為候選參考幀。對于待添加的每一幀，分析單元42可分析先前及/ 或未來幀的子集(相對于待添加的幀)的像素域信息及/或位流信息，且將輸出提供到選 擇單元44以識別應(yīng)經(jīng)選擇供在由取代單元38進(jìn)行的幀內(nèi)插或外推中使用的幀。選擇單元 44可經(jīng)配置以基于由分析單元42輸出的分析選擇一個或一個以上幀用于額外幀的內(nèi)插或 外推。另外，在一些情況下，選擇單元44可經(jīng)配置以指導(dǎo)取代單元38啟用或停用幀取代， 例如，當(dāng)分析指示候選參考幀中無一者適合于在可接受的質(zhì)量水平下的幀取代中使用時。如圖3中所示，選擇單元44可產(chǎn)生指導(dǎo)幀取代單元38從接收幀緩沖器34選擇幀 中的一者或一者以上供在待添加的幀的內(nèi)插或外推中使用的幀選擇信號或命令。舉例來 說，對于待添加的每一幀，選擇單元44可指導(dǎo)幀取代單元38選擇一個先前幀及一個未來幀 供在內(nèi)插中使用。幀取代單元38接著可應(yīng)用選定幀作為用于跳過的幀的內(nèi)插的參考幀。作 為說明，可使用先前幀及未來幀來基于在先前及未來幀中的對應(yīng)的塊之間延伸的運動向量 在待添加的幀中內(nèi)插塊，例如，如圖2A中所示。作為另一說明，選擇單元44可指導(dǎo)幀取代單元38選擇一對先前幀供在額外幀的外推中使用。選擇單元44還可產(chǎn)生幀取代啟用/停用命令。當(dāng)由分析單元42進(jìn)行的分析指示 候選參考幀中無一者適合于在幀取代中使用時，選擇單元44可停用由幀取代單元38進(jìn)行 的內(nèi)插或外推。并且，當(dāng)幀取代與幀重復(fù)之間的視覺差異相對感知不到時，選擇單元44可 停用在著重資源模式下的內(nèi)插。在任一情況下，幀取代單元48可重復(fù)先前或未來幀來替代 額外幀，而非執(zhí)行內(nèi)插或外推來產(chǎn)生取代幀。幀重復(fù)可比內(nèi)插或外推消耗大體上較少的電 力及計算資源。當(dāng)分析單元42指示接收幀緩沖器34含有合適的參考幀時，選擇單元44可 啟用幀取代且識別供在幀取代中使用的選定幀。經(jīng)選擇用于幀取代的參考幀可為最靠近待添加的幀的幀或較遠(yuǎn)離待添加的幀的 幀。在一些情況下，即使其將通常經(jīng)選擇用于一般的FRUC過程，最靠近的幀(即，最近的先 前及最近的未來幀)可實際上具有使其比其它參考幀不適合于在內(nèi)插或外推中使用的特 性，例如，歸因于VBR譯碼或其它因素。分析單元42分析候選參考幀以提供供在幀取代中 使用的所述幀的合適性的指示。替代于僅使用鄰近于跳過的幀的幀作為默認(rèn)的事項，分析 單元42及選擇單元44可準(zhǔn)許幀取代單元38使用提供更佳的結(jié)果的參考幀。圖4為更詳細(xì)地說明圖1的視頻解碼器14的另一實例的框圖。在圖4的實例中， 視頻解碼器14大體上對應(yīng)于圖3A的視頻解碼器。然而，圖4的視頻解碼器14的FRUC單 元22進(jìn)一步包括模式選擇單元46及資源監(jiān)視器48。另外，F(xiàn)RUC單元22可任選地包括延 遲檢測單元51。模式選擇單元46可支持FRUC單元22的兩個或兩個以上操作模式。舉例 來說，F(xiàn)RUC單元22可經(jīng)配置以在作為第一操作模式的著重質(zhì)量模式下或在作為第二操作 模式的著重資源模式下操作。在圖4的實例中，F(xiàn)RUC單元22駐留于視頻解碼器14內(nèi)。在 其它實施方案中，F(xiàn)RUC單元22可駐留于視頻解碼器14的外部，例如，在視頻后處理器模塊 或視頻顯示處理器或移動顯示處理器內(nèi)。資源監(jiān)視器48可經(jīng)配置以監(jiān)視、檢測、估計或以其它方式確定在提供視頻解碼器 14的裝置內(nèi)的可用電力、計算及/或存儲器資源。在一些情況下，資源監(jiān)視器48可經(jīng)配置 以監(jiān)視可適用于幀的處理的資源預(yù)算。因此，資源監(jiān)視器48可經(jīng)配置以監(jiān)視在幀在視頻解 碼器14內(nèi)經(jīng)處理的給定時間處可用的實際資源，或監(jiān)視相對于可適用于幀的處理的資源 預(yù)算的所估計的資源消耗。響應(yīng)于不同資源水平，資源監(jiān)視器48可觸發(fā)模式選擇單元46 選擇不同模式(例如，著重質(zhì)量或著重資源)用于FRUC單元22的操作。模式選擇單元46 可將模式選擇傳輸?shù)紽RUC分析單元42以修改候選幀的其分析用于參考幀選擇?；蛘?，如 將描述，模式選擇單元46可傳輸模式選擇以啟用或停用取代(例如，內(nèi)插或外推)。作為實例，資源監(jiān)視器48可經(jīng)配置以通過監(jiān)視或估計解碼器14中的處理資源的 消耗(相對于對處理資源的消耗的預(yù)算)來確定電力水平。大體來說，在于例如數(shù)字信號 處理器(DSP)的處理器中花費的MIPS (每秒百萬個指令)與針對DSP操作而消耗的電力之 間存在對應(yīng)性。在從外部存儲器提取的數(shù)據(jù)量與針對提取所述數(shù)據(jù)而消耗的電力之間也存 在對應(yīng)性。另外，在發(fā)送到顯示器的幀數(shù)據(jù)的量與針對此操作而花費的電力之間存在對應(yīng) 性。對于已知裝置或芯片組，此對應(yīng)性可經(jīng)可靠地建立，且接著由查找表中的項表示。舉例 來說，可將MIPS、數(shù)據(jù)提取量及顯示量用作映射到查找表中的電力消耗值項的索引。對于給定芯片組中的FRUC應(yīng)用，有可能確定就MIPS來說每一操作需要多少、從外 部存儲器提取多少數(shù)據(jù)以及將多少數(shù)據(jù)發(fā)送到顯示器。在一種情形下，資源監(jiān)視器48可經(jīng)配置以計算針對每一經(jīng)內(nèi)插或經(jīng)外推的幀的產(chǎn)生及顯示所消耗的電力，且將所消耗的電力 的水平與經(jīng)分配到幀或幀的集合的電力預(yù)算進(jìn)行比較。電力預(yù)算可為經(jīng)指定作為對于裝置 的功能單元(例如，移動無線手持機或其它裝置中的視頻解碼器(或整個CODEC))的設(shè)計 要求的預(yù)定、固定或可調(diào)整電力水平。可針對一系列幀(例如，圖片群組(GOP)或其它視頻序列)分配電力預(yù)算。隨著 處理幀且消耗電力，電力預(yù)算中的可用電力減少。資源監(jiān)視器48可經(jīng)配置以(例如)基于 經(jīng)內(nèi)插或經(jīng)外推的幀的MIPS、數(shù)據(jù)提取及顯示之間的已知對應(yīng)性(其可存儲于查找表中) 估計將需要多少電力來內(nèi)插或外推新FRUC幀。如上所提及，電力預(yù)算可為固定的(即，不 由來自裝置的反饋環(huán)路調(diào)整)，或者其可基于來自裝置的反饋環(huán)路而調(diào)整。對于給定幀，如果在電力預(yù)算中存在足夠的電力剩余來進(jìn)行內(nèi)插，則可啟用內(nèi)插 過程?；蛘?，如果在電力預(yù)算中存在不足的電力剩余，則可停用內(nèi)插過程。根據(jù)本發(fā)明的一 方面，替代于啟用及停用內(nèi)插，資源監(jiān)視器48及模式選擇單元46可經(jīng)配置以選擇不同內(nèi)插 /外推模式。明確地說，基于由資源監(jiān)視器48確定的可用資源水平，模式選擇單元46可選 擇著重質(zhì)量模式或著重資源模式。舉例來說，如果視頻序列中的先前幀的MIPS、數(shù)據(jù)提取及/或顯示已將可用電力 預(yù)算降低到低于第一預(yù)定閾值的水平，則資源監(jiān)視器48可對模式選擇單元46指示應(yīng)選擇 著重資源模式?；蛘?，如果可用電力預(yù)算高于第一預(yù)定閾值，則資源監(jiān)視器48可對模式選 擇單元46指示應(yīng)選擇著重質(zhì)量模式。在一些方面中，如果可用電力預(yù)算低于小于第一預(yù)定 閾值的第二預(yù)定閾值，則資源監(jiān)視器48可指示可停用內(nèi)插-外推以有利于幀重復(fù)，或可能 地，不應(yīng)啟用內(nèi)插、外推或幀重復(fù)，以便節(jié)省裝置中的電力。在監(jiān)視電力預(yù)算中的可用電力的過程中，資源監(jiān)視器48可追蹤每幀所耗費的 MIPS、每幀所提取的數(shù)據(jù)及在給定視頻序列上經(jīng)發(fā)送供顯示的幀數(shù)據(jù)的量。舉例來說，資源 監(jiān)視器48可維持用于特定GOP或其它視頻序列的MIPS、所提取的數(shù)據(jù)及所顯示的數(shù)據(jù)的連 續(xù)的累積的總數(shù)，且將所述值映射到對應(yīng)的電力消耗值。明確地說，資源監(jiān)視器48可將所 述值中的每一者映射到對應(yīng)的電力消耗值(例如，在一個或一個以上查找表中)，且接著對 所述值求和以產(chǎn)生總電力消耗值。作為替代方案，資源監(jiān)視器48可存取將與MIPS、所提取 的數(shù)據(jù)及所顯示的數(shù)據(jù)有關(guān)的索引的組合映射到幀或其它視頻單元的總電力消耗值的多 維查找表。作為另一替代方案，資源監(jiān)視器48可逐幀地將所述值映射到電力消耗值，且累積 地添加電力消耗值以產(chǎn)生在視頻序列上的電力消耗的累計。作為說明，如果視頻序列(例 如，三十個幀的序列)具有電力預(yù)算X，且在序列中的第η個幀處，估計MIPS、所提取的數(shù)據(jù) 及所顯示的數(shù)據(jù)已消耗了電力量Y，使得可用電力預(yù)算為X-Y = Z，則資源監(jiān)視器48可將可 用電力預(yù)算與預(yù)定第一閾值進(jìn)行比較以選擇著重質(zhì)量模式或著重電力模式。所述序列的電力預(yù)算可除以在所述序列中且以多種方式在序列的過程上經(jīng)更新 以提供在整個序列上的更均勻的分配的幀或在所述序列中可證明額外電力預(yù)算的幀的數(shù) 目，使得在視頻序列中較早期未不均勻地耗費電力預(yù)算。各種替代方案可用于估計相對于 電力預(yù)算的電力消耗，以便支持著重質(zhì)量模式或著重電力模式的選擇。因此，以上實例是出 于說明的目的而提供，且不應(yīng)被考慮為限制在本發(fā)明中廣泛描述的技術(shù)。在著重質(zhì)量模式下，F(xiàn)RUC單元22可排他地、主要地或大體上基于一個或一個以上參考幀質(zhì)量準(zhǔn)則執(zhí)行參考幀選擇。質(zhì)量準(zhǔn)則可指示(例如)有可能由選定參考幀產(chǎn)生的內(nèi) 插或外推質(zhì)量的水平。如果參考幀中無一者滿足質(zhì)量準(zhǔn)則，則對于待添加的特定幀，幀取代 可由選擇單元44停用。在此情況下，幀取代單元38可應(yīng)用幀重復(fù)而非幀內(nèi)插來估約待添 加的幀。在著重資源模式下，F(xiàn)RUC單元22可基于資源及質(zhì)量考慮兩者的組合選擇性啟用 或停用對一些幀的幀取代。舉例來說，當(dāng)FRUC分析單元42確定視頻序列在待取代的幀附 近大體靜態(tài)時，選擇單元44可停用幀取代。如果視頻序列含有低運動水平，則在執(zhí)行取代 過程中可能存在較少或不存在優(yōu)點，因為內(nèi)插或外推與幀重復(fù)之間的視覺差異可能小或甚 至感知不到。在此情況下，通過停用取代，解碼器14可在對視覺質(zhì)量具有極小影響的情況 下避免耗費用于內(nèi)插或外推的電力及資源。當(dāng)存在足夠的運動來證明在著重資源模式下的取代時，分析單元42可執(zhí)行與在 著重質(zhì)量模式下使用的質(zhì)量分析等同或類似的質(zhì)量分析。因此，著重資源及著重質(zhì)量模式 可能并非完全獨立的模式。而是，當(dāng)著重資源模式經(jīng)啟動時，著重質(zhì)量模式可僅在運動水平 足以證明內(nèi)插或外推(如可適用)的情況下繼續(xù)進(jìn)行。著重質(zhì)量模式可經(jīng)單獨啟動，或著 重資源模式可操作以停用幀取代且因此撤銷著重質(zhì)量模式或啟用取代且啟動著重質(zhì)量模 式。值得注意，即使在著重質(zhì)量模式下，如果候選參考幀中無一者滿足質(zhì)量準(zhǔn)則，則可停用 取代。作為選項，在著重資源模式下，當(dāng)啟用取代時，用于質(zhì)量分析的質(zhì)量閾值可為(例 如)可依據(jù)視頻解碼器14的資源節(jié)約要求而調(diào)整的。舉例來說，可基于視頻解碼器14的 可用內(nèi)插資源(例如，可用電力、計算資源及/或存儲器資源)調(diào)整閾值。在一些實施方案 中，可基于可用電力資源的水平(例如，與視頻解碼器14、視頻后處理器及/或例如移動顯 示處理器(MDP)的視頻顯示處理器相關(guān)聯(lián)的可用電力資源的水平)調(diào)整質(zhì)量閾值。在任一 情況下，不管閾值是固定還是可調(diào)整的，如果啟用了取代，則分析單元42可應(yīng)用一個或一 個以上質(zhì)量準(zhǔn)則以選擇參考幀或停用取代。作為實例，如果在待添加的幀附近的視頻序列由很低的運動視頻內(nèi)容表征，則視 頻幀內(nèi)插或外推的益處可能不是很顯著。因此，F(xiàn)RUC單元22可能不僅決定哪些幀用作用 于視頻幀取代的參考幀，且還決定通過幀取代添加哪些幀，即，內(nèi)插或外推哪些幀。對于一 些幀，內(nèi)插或外推的成本可能不能由時間視覺質(zhì)量的足夠的增強來證明。舉例來說，通過避 免對于一些跳過的幀的內(nèi)插，在著重資源模式下，F(xiàn)RUC單元22可在內(nèi)插的幀質(zhì)量及視頻序 列的時間視覺質(zhì)量增強的情況下平衡計算資源與相關(guān)聯(lián)的電力消耗中的節(jié)約。零運動向量 計數(shù)及/或小運動向量計數(shù)可用作用于基于運動內(nèi)容確定是內(nèi)插還是外推特定幀的決策 準(zhǔn)則。可以不同方式導(dǎo)出計數(shù)閾值。舉例來說，閾值可為固定的以用于零運動向量計數(shù)及 小運動向量計數(shù)中的一或兩者判斷運動活動性?；蛘?，可(例如)基于解碼器14的資源水 平調(diào)整閾值中的一者或兩者。在圖3及圖4的實例中，對于用于取代的參考幀的著重質(zhì)量選擇，視頻解碼器14 可依多種與質(zhì)量有關(guān)的準(zhǔn)則而定。舉例來說，F(xiàn)RUC單元22可基于參考幀的切片及/或幀 損失信息結(jié)合經(jīng)提供以重建構(gòu)參考幀的錯誤隱藏方法的可靠性及類型而選擇參考幀供在 視頻幀取代中使用。FRUC單元22可經(jīng)配置以分析歸因于損失的錯誤的水平，及可用于校正 錯誤的錯誤隱藏機制的質(zhì)量。替代地或另外，F(xiàn)RUC單元22可分析與候選幀相關(guān)聯(lián)的QP值及CBP值，作為所述幀的相對質(zhì)量水平的指示。舉例來說，可將QP值與CBP值耦合來判斷 參考幀的質(zhì)量。FRUC單元22還應(yīng)用客觀視覺質(zhì)量度量。客觀視覺空間質(zhì)量度量可為非參考度量， 例如，結(jié)構(gòu)類似性度量(SSIM)、塊效應(yīng)及/或模糊性?？陀^質(zhì)量度量可替代地或額外地包 括色溢?？陀^質(zhì)量度量可用以產(chǎn)生候選參考幀的質(zhì)量得分。質(zhì)量準(zhǔn)則的其它實例可包括在 候選參考幀中使用的幀內(nèi)模式的類型，或候選參考幀中的每一者的幀內(nèi)模式及運動向量計 數(shù)。還可按需要利用額外準(zhǔn)則。在一些方面中，如先前所描述，當(dāng)給定視頻應(yīng)用在端對端處理中需要較短的延遲 時，F(xiàn)RUC單元22可經(jīng)配置以停用幀取代或使參考視頻幀的選擇偏向先前幀而非未來幀。在 視頻電話應(yīng)用中，例如，用戶可能參加實時或準(zhǔn)實時的視頻會議，其可能需要視頻的處理及 呈現(xiàn)中的延遲的減少或消除。如果幀取代技術(shù)依未來幀而定(例如，對于內(nèi)插或外推)，則 解碼及處理所述未來幀以便產(chǎn)生額外幀過程中的延遲可能不容許。在此情況下，當(dāng)視頻應(yīng) 用強加延遲要求時，F(xiàn)RUC單元22可經(jīng)配置以停用幀取代、禁止未來候選參考幀的選擇，或 禁止不處于待添加的幀的預(yù)定數(shù)目個幀內(nèi)的未來候選參考幀的選擇。舉例來說，如圖4中所示，F(xiàn)RUC單元22可任選地包括延遲檢測單元51，其檢測由 給定視頻應(yīng)用強加的服務(wù)要求的最大延遲或其它質(zhì)量，且指導(dǎo)選擇單元44停用幀取代或 需要選擇過去的幀或早先的未來幀作為用于內(nèi)插或外推的參考幀。如果延遲檢測單元51 檢測視頻電話應(yīng)用或其它延遲敏感性視頻應(yīng)用需要最小延遲，則延遲檢測單元51可指導(dǎo) 選擇單元44停用幀取代。延遲敏感性應(yīng)用或可為延遲敏感性的類型的應(yīng)用可由延遲檢測 單元51基于從解碼器14經(jīng)嵌入于里面的裝置的特定信號的接收、在與由解碼器14接收的 視頻數(shù)據(jù)相關(guān)聯(lián)的側(cè)信息(side information)中提供的特定信號的接收，或按多種其它方 式中的任一者檢測。在延遲敏感性應(yīng)用的檢測的情況下，取代單元38可應(yīng)用幀重復(fù)或完全 地撤銷FRUC以便避免打亂可破壞針對用戶的視頻會議的質(zhì)量的延遲。或者，延遲檢測單元51可指導(dǎo)選擇單元44(及/或分析單元42)啟用幀取代，但 需要使用過去的參考幀或早先的未來幀用于內(nèi)插或外推(例如，基于時間距離要求)。因 此，延遲檢測單元51可對選擇單元44強加約束以避免選擇指示為具有足夠質(zhì)量但距待添 加的幀過多時間距離的特定未來參考幀。舉例來說，為相對于待添加的幀的未來一個或兩個幀的幀可為可接受的，供用作 幀取代的參考幀。然而，如果未來幀處于遠(yuǎn)離待添加的幀若干幀的時間距離處，則可從等待 幀被解碼及分析而產(chǎn)生的處理及呈現(xiàn)延遲可為不可接受的?？稍谫|(zhì)量分析之后或質(zhì)量分析 之前將距離分析應(yīng)用到候選參考幀。如果在質(zhì)量分析之前應(yīng)用距離分析，則如果候選參考 幀為未來幀且所述幀距待添加的幀的距離過大，則延遲檢測單元51可指導(dǎo)分析單元42暫 停對特定候選參考幀的質(zhì)量分析。作為替代方案，當(dāng)延遲為關(guān)注問題時，延遲檢測單元51可指導(dǎo)分析單元42調(diào)整其 質(zhì)量分析，使得位于距待添加的幀過多距離處的未來參考幀被給出較低質(zhì)量得分，或在質(zhì) 量分析中被排除在考慮之外。在任一情況下，效果可為一些未來參考幀被排除選擇為參考 幀，使得幀取代可繼續(xù)進(jìn)行，而不會不利地影響延遲敏感性視頻應(yīng)用(例如，視頻電話)的 延遲特性。在一些情況下，對于視頻電話或其它延遲敏感性視頻應(yīng)用，延遲要求可消除幀取 代，例如，歸因于視頻電話應(yīng)用的實時或準(zhǔn)實時的服務(wù)要求。然而，對于視頻串流及回放，延遲問題通?？刹惶P(guān)注。如上所述，在一些實施方案中，可至少部分基于候選參考視頻單元中的一者或一 者以上距額外視頻幀的時間距離選擇供在額外視頻單元的內(nèi)插或外推中使用的候選參考 視頻單元中的一者或一者以上。當(dāng)檢測延遲敏感性應(yīng)用時，可基于時間距離選擇候選參考 視頻單元?；蛘?，可定期地或響應(yīng)于某一其它觸發(fā)事件基于時間距離選擇候選參考視頻單 元。因此，在一些方面中，時間距離可形成針對選擇供在內(nèi)插或外推中使用的參考幀而應(yīng)用 的質(zhì)量分析的一部分。圖5為說明供與圖3或圖4的視頻解碼器14 一起使用的參考幀分析單元42的框 圖。如先前所提及，盡管出于說明的目的描述了參考視頻幀的分析及選擇，但分析單元42 的結(jié)構(gòu)及功能性可適合于例如切片或塊(例如，宏塊或較小塊)等其它參考視頻單元的分 析及選擇。在圖5的實例中，分析單元42包括客觀度量檢查器50、錯誤隱藏(EC)檢查器 52、量化參數(shù)(QP)檢查器54、經(jīng)譯碼的塊模式(CBP)檢查器56、質(zhì)量得分計算器58、比較單 元59及運動向量(MV)可靠性檢查器60。圖5中展示的各種單元可用于著重質(zhì)量操作模式以及著重資源操作模式(當(dāng)啟用 內(nèi)插時)中。當(dāng)(例如)通過模式選擇單元46選擇著重資源操作模式時，分析單元42可啟 動運動分析器64。另外，任選地，分析單元42可在著重資源模式下啟動模式調(diào)整單元62。 選擇單元44可考慮MV可靠性檢查器60及運動分析器64的輸出以確定是否執(zhí)行對待添加 的幀的幀取代，且如果是，則確定是否選擇正被分析的幀作為供在幀取代中使用的參考幀 來添加幀?？陀^度量檢查器50可經(jīng)配置以分析候選參考幀以確定SSIM值及/或與所述幀相 關(guān)聯(lián)的塊效應(yīng)、模糊性或色溢的程度，且基于所述確定產(chǎn)生質(zhì)量得分。當(dāng)檢測到實質(zhì)塊效 應(yīng)、模糊性及/或色溢時，對于特定候選參考幀來說，由客觀度量檢查器50產(chǎn)生的質(zhì)量得分 可為低，且當(dāng)大體上無塊效應(yīng)、模糊性及/或色溢時，質(zhì)量得分可為高。不同候選參考塊的 質(zhì)量得分可依據(jù)所述客觀視覺質(zhì)量度量特性而在高與低之間變化?；蛘?，可基于與預(yù)定閾 值的比較將質(zhì)量得分表達(dá)為高或低。當(dāng)分析單元42利用客觀度量檢查器50時，可將所述客觀度量檢查器應(yīng)用到由解 碼單元36重建構(gòu)的經(jīng)解碼的幀。因此，分析單元42可分析從接收幀緩沖器34獲得的經(jīng)編 碼的幀，且經(jīng)由客觀度量檢查器50，可接收且分析通過經(jīng)由解碼單元36解碼來自接收幀緩 沖器34的幀獲得的經(jīng)重建構(gòu)的幀?？陀^度量檢查器50可針對SSIM值、塊效應(yīng)、模糊性、色 溢或其它客觀質(zhì)量度量分析經(jīng)重建構(gòu)的候選參考幀以產(chǎn)生質(zhì)量得分。EC檢查器52分析候選參考幀以確定每一幀是否已遭受切片及/或幀損失，且如果 是，則確定可靠的錯誤隱藏機制是否可用于重建構(gòu)從所接收幀緩沖器34獲得的經(jīng)編碼的 幀。在此意義上，EC檢查器52可作為EC可靠性檢查器操作。如果損失導(dǎo)致高于預(yù)定水平 的錯誤，則EC檢查器52可評估可用于校正錯誤的錯誤隱藏機制的質(zhì)量。當(dāng)不存在切片或 幀損失，或存在充分的錯誤隱藏機制來補償切片或幀損失時，EC檢查器52可產(chǎn)生特定候選 參考幀的相對高得分。當(dāng)錯誤隱藏不足以補償切片或幀損失時，EC檢查器52可產(chǎn)生低得 分。由EC檢查器52產(chǎn)生的得分可根據(jù)切片或幀損失的量而變化，或簡單地基于與預(yù)定閾 值的比較而為高或低得分。EC檢查器52可以多種方式確定是否存在可用的充分的錯誤隱藏機制。作為實例，EC檢查器52可基于用于例如H. 264(使用來自共同定位的宏塊的運動向量)的類型的視頻 譯碼或已知待在實施解碼器14的芯片或芯片組中執(zhí)行的類型的視頻譯碼的錯誤隱藏的預(yù) 定知曉來識別錯誤隱藏的類型。EC檢查器52可依針對不同切片或幀損失情形的特定錯誤 隱藏機制的有效性的先前離線分析而定。舉例來說，可針對在應(yīng)付不同數(shù)目的損失、損失的不同位置、受影響的塊或單元的 數(shù)目、錯誤檢測時間等過程中的有效性來評定每一錯誤隱藏機制。EC檢查器52可確定與特 定切片或幀損失相關(guān)聯(lián)的以上特性(即，損失的數(shù)目、位置、錯誤檢測時間)中的一者或一 者以上，且接著確定可用錯誤隱藏機制是否將被有效地給出那些特性，且被給出在類似條 件下的此錯誤隱藏機制的性能的預(yù)先知曉。作為說明，如果在解碼器14中使用了錯誤隱藏機制X，且已知機制X有效地用于 由小于Yl的損失數(shù)目、特定區(qū)域中的損失的位置，及小于Y2的受影響的塊/單元數(shù)目、大 于時間Z的錯誤檢測處理的給定時間表征的損失，則遵循以上特性的損失應(yīng)能夠使用機制 X隱藏，在所述情況下，EC檢查器52可產(chǎn)生高EC得分。在各種情形下，如果不滿足所述特性中的任一者或如果特性的一個或一個以上組 合存在于切片或幀損失中，則錯誤隱藏可能失敗。如果損失不遵循以上特性，則EC檢查器 52可產(chǎn)生低EC得分。因此，EC檢查器52可依錯誤隱藏機制的類型的知曉及其在隱藏具有 不同的特性的切片或幀損失過程中的有效性而定。QP檢查器54分析與每一候選參考幀相關(guān)聯(lián)的量化參數(shù)(QP)值。大體來說，QP值 指示在經(jīng)編碼的視頻幀的相應(yīng)塊中的變換系數(shù)的量化步長。針對幀中的所有塊，QP值可相 同，或針對不同塊而變化。作為實例，QP檢查器54可分析形成參考幀的塊的平均QP值?；?者，QP檢查器54可分析幀的最大或最小QP值。如果幀的平均QP值高(指示在H. 264譯 碼的情況下的視頻數(shù)據(jù)的粗量化)，則QP檢查器54可產(chǎn)生相對低得分。較小的QP值指示 在H. 264譯碼中的較細(xì)量化步長及大體較高的視頻質(zhì)量。因此，對于H. 264譯碼，如果平均 QP值較低，則QP檢查器54可產(chǎn)生較高質(zhì)量得分。CBP檢查器56分析每一候選參考幀的CBP值。CBP值可為形成所述幀的塊的平均 CBP值。大體來說，CBP值指示在塊中不存在非零變換系數(shù)或在塊中存在至少一個非零系 數(shù)。變換系數(shù)可駐留于例如離散余弦變換(DCT)、小波小波變換或其它壓縮變換域的壓縮域 中。由CBP檢查器56分析的CBP值可為亮度或色度CBP值或兩者。對于給定幀，CBP檢查 器56可確定CBP值指示至少一個非零變換系數(shù)值的塊的數(shù)目。在一些方面中，可組合QP 檢查器54與CBP檢查器56。在此情況下，可基于平均QP值及CBP值產(chǎn)生經(jīng)組合得分。如果QP值低于預(yù)定QP閾值且CBP值大體為零(指示大體上塊中無一者具有非零 系數(shù))，則幀的質(zhì)量可由高得分指示。當(dāng)CBP值指示至少一個非零系數(shù)的塊的數(shù)目低于CBP 閾值時，可確定大體被視為零的CBP值?；蛘?，如果QP值高于QP閾值，則得分可為低。很 高的QP及零或中等CBP值可指示低得分。如果CBP為零且QP值低于閾值，則對塊的運動 估計很準(zhǔn)確，其應(yīng)產(chǎn)生高質(zhì)量得分。質(zhì)量得分計算器58可經(jīng)配置以基于客觀度量檢查器50、EC檢查器52、QP檢查器 54及CBP檢查器56中的一者或一者以上的輸出產(chǎn)生候選參考幀的總質(zhì)量得分。由客觀度 量檢查器50、EC檢查器52、QP檢查器54及CBP檢查器56產(chǎn)生的個別得分可簡單地建構(gòu) 為高或低質(zhì)量值，或高、中等或低質(zhì)量值?；蛘撸砂凑毡姸鄬蛹壔虼篌w上連續(xù)的級別計算得分。質(zhì)量得分計算器58可使相等加權(quán)與由客觀度量檢查器50、EC檢查器52、QP檢查器 54及CBP檢查器56產(chǎn)生的得分中的每一者一致?；蛘?，質(zhì)量得分計算器58可將預(yù)定不均 勻的加權(quán)應(yīng)用到得分，使得總質(zhì)量得分為所有得分的加權(quán)總和。作為說明，在一些實施方案中，質(zhì)量得分計算器58可將比加到由EC檢查器52及 客觀度量檢查器50輸出的得分大的權(quán)重加到由QP檢查器54及CBP檢查器56輸出的得分。 在其它實施方案中，EC檢查器52的輸出可能更重要。如上所陳述，質(zhì)量得分計算器58可 對輸出加權(quán)。作為替代方案，檢查器50、52、54、56中的每一者可經(jīng)配置以產(chǎn)生具有預(yù)指派 的權(quán)重的個別經(jīng)加權(quán)的得分。質(zhì)量得分計算器58輸出指示供在跳過的幀的內(nèi)插中使用的 候選參考幀的質(zhì)量的總得分。給定用以計算得分的質(zhì)量特性(例如，客觀度量、EC特性、QP及CBP特性)，總得 分可指示候選參考幀是否有可能產(chǎn)生具有可接受的質(zhì)量水平的幀取代結(jié)果。比較單元59 可將總得分與質(zhì)量閾值進(jìn)行比較。如果總得分令人滿意，例如，超過質(zhì)量閾值，則比較單元 59指示候選參考幀具有對于選擇作為用于額外(即，附加)幀的內(nèi)插或外推(如可適用) 的參考幀來說是可接受的質(zhì)量水平。如果總得分小于質(zhì)量閾值，則比較單元59確定所述候 選參考幀對于選擇作為用于內(nèi)插或外推(如可適用)的參考幀來說并不可接受。在每一情 況下，分析單元42可接著繼續(xù)分析用于當(dāng)前在考慮中的額外幀的下一個候選參考幀或繼 續(xù)分析用于待添加的下一個幀的參考幀。經(jīng)考慮用于特定取代幀的候選參考幀的數(shù)目可根 據(jù)設(shè)計考慮而變化。如果總得分令人滿意(例如，符合或超過質(zhì)量閾值)，則比較單元59可指示在質(zhì)量 基礎(chǔ)上考慮中的候選參考幀適合于選擇為參考幀?；蛘撸容^單元59可選擇經(jīng)分級最高的 參考幀，如上所述。在任一情況下，在一些實施方案中，為了批準(zhǔn)參考幀用于選擇，分析單元 42可進(jìn)一步包括運動向量(MV)可靠性檢查器60。MV可靠性檢查器60可分析在候選參考 幀中的運動向量的可靠性，以確保在視頻幀取代利用運動補償預(yù)測方法用于內(nèi)插或外推的 情況下選定參考幀將產(chǎn)生質(zhì)量幀取代結(jié)果。如果運動向量可靠，則MV可靠性檢查器60可對選擇單元44指示可選擇分析中的 候選參考幀作為用于幀取代的參考幀。然而，如果運動向量不可靠，則MV可靠性檢查器60 可拒絕所述候選參考幀，即使其已滿足比較單元59的質(zhì)量要求也如此。在此情況下，MV可 靠性檢查器60可對選擇單元44指示不應(yīng)選擇分析中的候選參考幀作為用于幀取代的參考 幀。在一些實施方案中，比較單元59可指示用于選擇作為參考幀的適當(dāng)?shù)膸?在對其 考慮時)。換句話說，隨著分析單元42分析每一候選參考幀，如果其識別合適的候選參考 幀，則其可指示應(yīng)選擇所述候選參考幀。過程可繼續(xù)，直到分析單元42識別足夠數(shù)目及類 型的候選參考幀為止，在所述點處，分析單元42可停止用于當(dāng)前幀的內(nèi)插或外推的候選參 考幀的分析，且繼續(xù)前進(jìn)到用于在視頻序列中待添加的下一個幀的內(nèi)插的候選參考幀的分 析。作為簡單說明，分析單元42可識別用于在時間上駐留于先前與未來幀之間的幀 的內(nèi)插的單一先前參考幀及單一未來參考幀?；蛘?，對于更復(fù)雜類型的內(nèi)插，分析單元42 可識別可經(jīng)選擇用于待添加的幀的內(nèi)插的多個先前及未來參考幀。在每一情況下，分析單 元42可分析鄰近于待添加的幀的先前及未來幀的子集，直到為進(jìn)行選擇，識別足夠數(shù)目及類型(例如，如果必要，先前及未來)為止。可分析有限數(shù)目個幀。如果所分析的幀中無一 者產(chǎn)生足夠的質(zhì)量得分，則分析單元42可指示無幀被選擇，及幀取代單元38應(yīng)應(yīng)用幀重復(fù) 而非幀取代。在一些實施方案中，分析單元42可使用其它類型的質(zhì)量準(zhǔn)則，例如，在候選參考 幀中使用的幀內(nèi)譯碼模式及/或幀內(nèi)模式的類型及候選參考幀的運動向量計數(shù)。作為實 例，如果在特定候選參考幀中的經(jīng)幀內(nèi)譯碼的塊(例如，宏塊)的數(shù)目超過模式?jīng)Q策閾值， 則分析單元42可指示所述參考幀的低內(nèi)插質(zhì)量，例如，使得不應(yīng)將所述候選參考幀用于額 外幀的內(nèi)插。模式?jīng)Q策閾值可為靜態(tài)或經(jīng)動態(tài)調(diào)整，例如，基于在候選參考幀中的具有高于 閾值的多個譯碼位的塊的數(shù)目?？墒褂脧V泛多種其它質(zhì)量準(zhǔn)則。用于質(zhì)量分析的所述信息 可經(jīng)考慮為本發(fā)明中描述的其它信息(例如，客觀質(zhì)量度量、QP及CBP特性，及EC特性)的 替代，或除了在本發(fā)明中描述的其它信息之外，可考慮用于質(zhì)量分析的所述信息。可使用與待內(nèi)插或外推的其它附近幀相同的參考幀中的一些來內(nèi)插或外推一些 額外幀。為此原因，在一些情況下，一旦針對質(zhì)量分析候選參考幀，則可能需要存儲與所述 候選參考幀的質(zhì)量有關(guān)的信息。以此方式，如果特定候選參考幀稍后被考慮為候選參考幀， 則可快速地確定其質(zhì)量，而無需再次執(zhí)行分析。候選參考幀可作為用于待在視頻序列的一 部分中內(nèi)插或外推的少許幀的潛在參考幀而相關(guān)。隨著視頻序列繼續(xù)進(jìn)行，所存儲的信息可變得過時或至少不太相關(guān)，此歸因于候 選參考幀相對于待內(nèi)插或外推的幀的增加的時間遠(yuǎn)離性。因此，在某一點可拋棄所述信息， 例如，在視頻序列已繼續(xù)進(jìn)行到大于遠(yuǎn)離候選參考幀的預(yù)定數(shù)目個幀的點之后。通過存儲 質(zhì)量信息，可能有必要對于每一候選參考幀僅在分析單元42中執(zhí)行一次質(zhì)量分析。或者， 可每當(dāng)幀經(jīng)識別為用于待添加的幀的候選參考幀時執(zhí)行質(zhì)量分析。在一些實施方案中，分析單元42可經(jīng)配置以對按有關(guān)的質(zhì)量水平分析的候選參 考幀進(jìn)行分級。舉例來說，分析單元42可包括對候選參考幀進(jìn)行分級的分級單元(67A或 67B)。在此情況下，替代于在已發(fā)現(xiàn)具有滿足質(zhì)量閾值的質(zhì)量得分的幀的合適數(shù)目及類型 時停止，分析單元42可對候選參考幀進(jìn)行分級以識別產(chǎn)生最佳質(zhì)量得分的幀。舉例來說， 分析單元42可按總質(zhì)量得分的次序?qū)M足質(zhì)量水平(例如，符合或超過質(zhì)量閾值)(如由 比較單元59指示)的候選參考幀進(jìn)行分級，且選擇分級最高的候選參考幀。作為一個選項，參看圖5，分析單元42可包括分級單元67A，其評估且分級由比較 單元59識別為令人滿意(即，為符合或超過質(zhì)量閾值)的候選參考幀。分級單元67可與 由幀取代單元38應(yīng)用的幀取代的類型所需要的參考幀的數(shù)目一致地選擇多個分級最高的 參考幀。選定(即，分級最高)的候選參考幀接著可從分級單元67A傳遞到MV可靠性檢查 器60以確定其是否具有可靠的MV內(nèi)容。如果是，則MV可靠性檢查器60可對選擇單元44 指示應(yīng)選擇所述幀供在幀取代中使用。如果分級最高的候選參考幀不具有可靠的MV內(nèi)容， 則MV可靠性檢查器60對選擇單元44指示幀取代單元38應(yīng)應(yīng)用幀重復(fù)而非幀取代。作為另一選項，由于分級可受到不可靠的MV內(nèi)容的影響，所以分析單元42可將具 有令人滿意(例如，符合或超過質(zhì)量閾值)的質(zhì)量得分的所有分級的候選參考幀傳遞到MV 可靠性檢查器60。明確地說，比較單元59可將具有傳遞得分的所有候選參考幀提供到MV 可靠性檢查器60。MV可靠性檢查器60識別具有令人滿意的質(zhì)量得分(例如，符合或超過 質(zhì)量閾值，例如，如由比較單元59指示)及可靠MV內(nèi)容兩者的候選參考幀。分析單元42可任選地包括分級單元67B，其接收MV可靠性檢查器60的輸出且按質(zhì)量得分對候選參考幀 進(jìn)行分級。分級單元67B接著可選擇多個分級最高的候選參考幀，且將選定參考幀傳達(dá)到 選擇單元44。選擇單元44可通知幀取代單元38供在幀取代中使用以添加視頻幀的選定參 考幀。MV可靠性檢查器60可忽略不具有可靠MV內(nèi)容的候選參考幀，留下剩余的候選參 考幀用于由分級單元67B分級及選擇為參考幀。明確地說，分級單元67B可向選擇單元44 識別具有可靠MV內(nèi)容的分級最高的候選參考幀，以供選擇為作為內(nèi)插的參考幀。又，所選 擇的參考幀的數(shù)目可依據(jù)由幀取代單元38使用的幀取代的類型(即，內(nèi)插或外推的類型) 及支持幀取代過程所需要的參考幀的數(shù)目而變。MV可靠性檢查器60可使用多種不同技術(shù)中的任一者來分析運動向量可靠性。作 為一個實例，MV可靠性檢查器60可經(jīng)配置以應(yīng)用基于運動差的方法。MV可靠性檢查器60 可操作以分析在視頻幀的X(水平)方向及Y(垂直)方向兩者上的運動向量信息。在此情 況下，MV可靠性檢查器60可確定在候選參考幀中的塊(例如，宏塊)的X方向上的運動向 量與在先前幀中的共同定位的塊的X方向上的運動向量之間的差是否超過閾值。在此情況 下，MV可靠性檢查器60可確定在候選參考幀中的運動向量不可靠。舉例來說，MV可靠性檢 查器60可對在候選參考幀中的不可靠的運動向量的數(shù)目進(jìn)行計數(shù)，或確定在候選參考幀 與先前參考幀中的運動向量之間的總平均差。除了確定在X (例如，水平)方向上的運動向量可靠性之外，MV可靠性檢查器60可 以類似方式確定在Y(例如，垂直)方向上的運動向量可靠性。如果MV可靠性檢查器60檢 測到X方向MV不可靠性或Y方向MV不可靠性，則MV可靠性檢查器可拒絕考慮中的當(dāng)前候 選參考幀，且對選擇單元44指示不應(yīng)將候選參考幀選擇為針對跳過的幀的內(nèi)插的參考幀。 作為替代方案，在一些實施方案中，可使用角度信息來評估運動向量量值及方向兩者。然 而，如果候選參考幀的MV可靠，則MV可靠性檢查器60對選擇單元44指示可選擇所述候選 幀作為針對附加幀的內(nèi)插或外推的參考幀。作為替代方案，MV可靠性檢查器60可使用幀到幀運動改變檢測技術(shù)分析MV可靠 性。根據(jù)此技術(shù)，MV可靠性檢查器60可經(jīng)配置以檢測當(dāng)前候選參考幀中的運動已從另一 鄰近幀(例如，先前或未來幀)中的運動大體上改變的時間。如果改變的量值大于閾值，則 MV可靠性檢查器60確定候選參考幀的MV不可靠且不應(yīng)被選擇為用于幀取代的參考幀。對于幀到幀運動改變檢測技術(shù)，為了檢測在候選參考幀及鄰近幀中的運動是否連 續(xù)，可使用以下兩個方法。第一，運動改變檢測可基于運動統(tǒng)計。在此情況下，可計算兩個 幀(即，候選參考幀及鄰近幀)的運動向量統(tǒng)計。統(tǒng)計可包括運動向量(量值及角度)平均 值及標(biāo)準(zhǔn)偏差。第二，運動改變檢測可基于運動向量標(biāo)注。在此情況下，基于統(tǒng)計的運動改 變檢測可依在幀水平上的運動的范圍而定來做出決策?？赡懿粰z測兩個幀中的每一共同定 位的宏塊的運動的差。然而，為了解決此問題，可使用基于運動向量標(biāo)注的運動改變檢測。作為另一替代方案，MV可靠性檢查器60可使用基于運動軌道的技術(shù)分析MV可靠 性。在此情況下，基于運動軌道的方法確定是否應(yīng)通過查看宏塊將在候選幀中的何處來使 用來自鄰近幀的運動向量(如果宏塊已沿著與在鄰近幀中相同的運動軌道而行)。如果由 宏塊攜載的物件具有與候選幀中的所關(guān)注區(qū)(即，丟失的宏塊的位置)的顯著重疊，則可將 其MV考慮為可靠，且應(yīng)將所述候選幀用于幀取代。否則，如果其移動遠(yuǎn)離所述所關(guān)注區(qū)，則其MV不可靠，且不應(yīng)將所述候選幀用于幀取代。由比較單元59使用的質(zhì)量閾值可經(jīng)預(yù)定及選擇以表示據(jù)信與可接受的幀取代結(jié) 果相關(guān)的質(zhì)量水平。質(zhì)量閾值可為固定的或可調(diào)整的。在一些實施方案中，舉例來說，質(zhì)量 值閾值可為可依據(jù)解碼器14操作的模式變化而調(diào)整的。在操作中，分析單元42可首先檢 查著重資源模式是開啟還是關(guān)閉。如果模式選擇單元46指示著重質(zhì)量模式，則模式調(diào)整單 元62可能不調(diào)整現(xiàn)有質(zhì)量閾值。然而，如果模式選擇單元46指示著重資源模式，則模式調(diào) 整單元62可調(diào)整質(zhì)量閾值。舉例來說，在一些實施方案中，模式調(diào)整單元62可增加質(zhì)量閾 值以需要選擇較高質(zhì)量幀作為針對幀的內(nèi)插或外推的參考幀。在一些實施方案中，當(dāng)選擇著重資源模式時，可將質(zhì)量閾值從第一值增加到第二 增加值。在其它實施方案中，當(dāng)選擇著重資源模式時，可將質(zhì)量閾值增加到依據(jù)可用資源水 平變化而計算的值。舉例來說，隨著例如可用電力或可用計算資源的資源變得較低，質(zhì)量閾 值可較高。以此方式，質(zhì)量閾值可與可用資源水平成反比，使得當(dāng)資源水平較低時，需要較 高質(zhì)量來證明幀取代的成本，即，幀內(nèi)插或外推的成本。因此，在一些實例中，在著重資源模 式下，分析單元42可應(yīng)用運動活動性閾值來確定是啟用還是停用幀取代，且當(dāng)啟用幀取代 時，使用固定質(zhì)量閾值或依據(jù)可用資源水平變化而調(diào)整的質(zhì)量閾值。如果用于特定幀的內(nèi)插或外推的候選參考幀中無一者產(chǎn)生滿足在著重資源模式 下的增加的質(zhì)量閾值的質(zhì)量得分，則無幀經(jīng)選擇用于幀的內(nèi)插或外推。在此情況下，選擇單 元44停用內(nèi)插，在所述情況下，幀取代單元38可暫停幀取代且替代地應(yīng)用幀重復(fù)。通過在 著重資源模式下需要增加的質(zhì)量閾值，模式調(diào)整單元62實際上迫使幀取代單元38停用幀 取代，除非較高質(zhì)量參考幀可用于幀取代。當(dāng)資源有限時，例如，當(dāng)電力、計算及/或存儲器資源較稀少時，模式選擇單元46 可選擇著重資源模式。當(dāng)視頻幀內(nèi)插的益處并不很顯著時，例如，在很低的運動視頻內(nèi)容的 情況下，著重資源模式可停用視頻幀內(nèi)插。以此方式，當(dāng)資源有限時，模式選擇單元46及模 式調(diào)整單元62對幀內(nèi)插或外推強加較高質(zhì)量證明。換句話說，為了證明幀取代的成本(就 資源消耗來說)，幀取代的實際結(jié)果應(yīng)具有相對高的視覺質(zhì)量。當(dāng)資源較稀少使得模式選擇 單元46選擇著重質(zhì)量模式時，模式調(diào)整單元62可減小質(zhì)量閾值。減小的質(zhì)量閾值準(zhǔn)許幀 取代更頻繁地繼續(xù)進(jìn)行，因為更多候選幀可能有可能滿足減小的質(zhì)量閾值。在著重資源模式下，模式選擇單元46還可啟動運動分析器64。在一些實施方案 中，除了啟動模式調(diào)整單元62以調(diào)整質(zhì)量閾值之外，運動分析器64可分析一個或一個以上 候選參考幀的運動活動性以確定有關(guān)視頻場景是否相對靜態(tài)。運動分析器64可分析來自 候選參考幀的運動向量數(shù)據(jù)以確定視頻場景是由很小的運動還是顯著的運動來表征。舉例 來說，運動分析器64可分析當(dāng)前錨定幀的運動向量以做出是啟用還是停用視頻幀取代的 決策。錨定幀可為鄰近于(例如，在前或在后)跳過的幀的幀。如果存在由錨定幀指示的很小的運動，使得場景相對靜態(tài)，則運動分析器64可產(chǎn) 生輸出以停用幀取代。如果場景相對靜態(tài)，則時間跳過幀的內(nèi)插通常將并非為可證明的 (相對于幀重復(fù))，即使選定參考幀將產(chǎn)生高質(zhì)量幀取代結(jié)果也如此。作為說明，當(dāng)場景相 對靜態(tài)時，由幀內(nèi)插及幀重復(fù)產(chǎn)生的視覺質(zhì)量差異可相對感知不到。為此原因，內(nèi)插及由視 頻緩沖器與顯示器之間的視頻數(shù)據(jù)業(yè)務(wù)消耗的電力的成本不由任何顯著的質(zhì)量增益來證 明，且應(yīng)被停用。在此情況下，從質(zhì)量及資源節(jié)省的觀點看來，幀重復(fù)可更合需要。當(dāng)運動分析器64指示應(yīng)停用幀取代時，可同樣地停用對于當(dāng)前考慮的參考幀的著重質(zhì)量分析。在一些實施方案中，運動分析器64可將運動活動性與閾值進(jìn)行比較。運動閾值可 為固定的或可調(diào)整的。舉例來說，運動分析器64可基于可用的電力、計算及/或存儲器資 源的水平調(diào)整運動閾值。在可調(diào)整的情況下，舉例來說，如果電力資源處于相對高水平下， 則運動活動性閾值可相對低。舉例來說，如果電力資源處于相對低水平下，則運動閾值可相 對高。在任一情況下，在閾值處或高于閾值的運動活動性可觸發(fā)內(nèi)插，經(jīng)受供在幀取代中使 用的一個或一個以上參考幀的選擇，此與著重質(zhì)量操作模式一致。對于較高電力水平，較低 閾值意味著可能需要較小的運動來觸發(fā)幀取代。然而，對于較低電力水平，較高閾值意味著 可能需要較高的運動來觸發(fā)幀取代。當(dāng)模式選擇單元46選擇著重資源模式時可啟動運動分析器64及(任選地)模式 調(diào)整單元62，且當(dāng)模式選擇單元46選擇著重質(zhì)量模式時可撤銷運動分析器64及(任選地) 模式調(diào)整單元62。在著重質(zhì)量模式下，解碼器14可操作以產(chǎn)生合需要的視覺質(zhì)量。然而， 在著重資源模式下，解碼器14可組合質(zhì)量與資源節(jié)省目標(biāo)兩者。模式選擇單元46可(例 如)通過將可用資源與一個或一個以上資源閾值進(jìn)行比較而響應(yīng)于有限資源的檢測來選 擇著重資源模式。因此，在一些實施方案中，模式選擇單元46可按默認(rèn)選擇著重質(zhì)量模式， 且基于可用資源的水平選擇著重資源模式?；蛘?，基于資源的模式可為默認(rèn)模式，在所述情 況下，當(dāng)可用資源高于一個或一個以上資源閾值時，模式選擇單元46選擇著重質(zhì)量模式。實際上，在著重資源模式下，模式選擇單元46可指導(dǎo)選擇單元44選擇性地啟用或 停用額外視頻單元的內(nèi)插或外推，且在著重質(zhì)量模式下，指導(dǎo)選擇單元啟用額外視頻單元 的內(nèi)插或外推。明確地說，在著重資源模式下，模式選擇單元46可指導(dǎo)選擇單元44通過觸 發(fā)運動分析器64來選擇性地啟用或停用內(nèi)插或外推。選擇單元44可接著基于運動分析器 64的輸出選擇性地啟用或停用內(nèi)插或外推?；蛘?，選擇單元44可指導(dǎo)選擇單元44 (例如) 通過不觸發(fā)運動分析器64而啟用內(nèi)插或外推。由選擇單元44進(jìn)行的內(nèi)插的啟用可仍經(jīng)受 由分析單元42進(jìn)行的質(zhì)量分析以在無合適的參考幀可用的情況下選擇參考幀或停用內(nèi)插 或外推。作為額外任選特征，在一些方面中，分析單元42可包括距離單元63。如上參看圖 4所描述，延遲檢測單元51可檢測延遲敏感性視頻應(yīng)用(例如，視頻電話應(yīng)用)的操作。延 遲檢測單元51可指導(dǎo)選擇單元44避免相對于待添加的幀的在未來較遠(yuǎn)的未來參考幀的選 擇，以便避免可有損視頻電話的視覺質(zhì)量的處理及呈現(xiàn)中的延遲。因此，選擇單元44可至 少部分基于所述幀距待添加的幀的時間距離的分析而拒絕一些候選參考幀，即使分析單元 42可指示所述幀的相對高質(zhì)量也如此。盡管可基于延遲敏感性應(yīng)用的檢測來觸發(fā)基于時間 距離的參考幀的選擇，但在一些實施方案中，時間距離可用于定期的參考幀選擇，即，有或 無延遲敏感性應(yīng)用的檢測。如圖5中所示，延遲特征可經(jīng)建置于分析單元42中。明確地說，替代于經(jīng)由選擇 單元44拒絕相對于待添加的幀在未來駐留得過遠(yuǎn)(S卩，基于過多的時間距離)的未來候選 參考幀，分析單元42可經(jīng)配置以將相對低質(zhì)量得分指派到所述幀。選擇單元44可能不直 接基于時間距離而是間接地基于從時間距離產(chǎn)生的低質(zhì)量得分來拒絕所述幀。在任一情況 下，選擇單元44可避免可將過多等待時間引入到幀取代過程中的時間上遙遠(yuǎn)的參考幀的 選擇。又，當(dāng)檢測到延遲敏感性應(yīng)用(例如，視頻電話)的操作時或定期地(例如，不管是否檢測到延遲敏感性應(yīng)用)，時間距離可用于選擇性地選擇參考幀。在一些情況下，可至少 部分基于時間距離定期地選擇參考幀，而無需涉及延遲敏感性應(yīng)用的檢測的操作。作為各種幀特性中的一者，距離單元63可確定未來候選參考幀距待添加的幀的 距離。距離單元63可經(jīng)配置以產(chǎn)生更遠(yuǎn)離待添加的幀的未來候選參考幀的逐漸更低的得 分。在一些情況下，如果候選參考幀比最大數(shù)目的相對于待添加的幀的未來幀多，則距離單 元63可產(chǎn)生零得分。當(dāng)檢測到延遲敏感性視頻應(yīng)用時，距離單元63可由延遲檢測單元51啟動?；蛘?， 當(dāng)檢測到延遲敏感性應(yīng)用時，延遲檢測單元51可使距離單元63的輸出攜載增加的加權(quán)。當(dāng) 例如視頻回放的應(yīng)用并非為顯著延遲敏感性的時，可停用距離單元63或其輸出得分可攜 載總質(zhì)量得分中的減小的加權(quán)。包括于圖1到圖5中的系統(tǒng)10、編碼器12及解碼器14中的各種組件、單元或模 塊，以及貫穿本發(fā)明描述的其它組件可由硬件及/或軟件的任何合適組合實現(xiàn)。在圖1到 圖5中，將各種組件描繪為獨立的組件、單元或模塊。然而，參看圖1到圖5描述的各種組件 中的全部或若干組件可經(jīng)集成到普通的硬件及/或軟件內(nèi)的組合的單元或模塊中。因此， 為了易于說明，將特征表示為組件、單元或模塊是希望突出特定功能特征，且未必需要通過 單獨的硬件或軟件組件來實現(xiàn)所述特征。在一些情況下，可將各種單元實施為由一個或一 個以上處理器執(zhí)行的可編程過程。舉例來說，在各種方面中，運動分析器、資源監(jiān)視器及選 擇單元可由單獨的硬件及/或軟件單元或相同的硬件及/或軟件單元或其組合實現(xiàn)。圖6為說明視頻解碼器14選擇參考幀用于視頻幀取代的示范性技術(shù)的流程圖。 當(dāng)啟用幀取代時，可在著重質(zhì)量模式下或在著重資源模式下執(zhí)行圖6中所示的過程。如圖 6中所示，視頻解碼器14接收輸入視頻幀(68)。在解碼器14的情況下，可接收輸入視頻幀 作為傳入的位流中的經(jīng)編碼的幀，其中歸因于幀跳過或編碼器12的基本幀速率，幀中的一 些丟失。在編碼器12的情況下，輸入視頻幀可為待由編碼器編碼的源視頻幀。時間上排除 的幀可為已由視頻編碼器12有意跳過的幀或在跨越信道19的傳輸中丟失的幀，或編碼器 12的基本幀速率不支持且需要經(jīng)額外地形成用于幀速率轉(zhuǎn)換的幀。在圖6的實例中，分析 單元42分析供在幀取代中使用的候選參考幀集合的一個或一個以上特性(70)。候選參考幀可選自相對于待添加的幀的N個先前幀及M個未來幀，其中N與M可 相等或不相等。作為一個說明，可考慮三個先前幀及三個未來幀，但特定數(shù)目個幀是出于說 明的目的，且不應(yīng)被考慮為限制性的。可考慮先前及未來幀用于雙向內(nèi)插。在一些方面中， 對于單向內(nèi)插或外推，可僅考慮先前幀或僅未來幀。幀的所述一個或一個以上特性可與幀的質(zhì)量有關(guān)，且可使用像素域值、變換域值、 位流數(shù)據(jù)或其它來分析。基于分析，分析單元42選擇所述候選幀中的一者或一者以上作為 參考幀(72)。使用選定候選幀作為參考幀，幀取代單元38通過待添加的幀的內(nèi)插(或如果 適用，外推)執(zhí)行幀取代(74)。圖6中概述的過程可由解碼器14大體上連續(xù)地重復(fù)以用于 額外視頻幀在所接收的位流中的內(nèi)插(或外推)。圖7為更詳細(xì)地說明用于參考幀選擇的實例技術(shù)的流程圖。大體來說，分析單元 42可確定例如電力節(jié)約模式等著重資源模式是開啟還是關(guān)閉。如果著重資源模式為開啟， 則運動分析器64分析候選參考幀的運動活動性。舉例來說，分析候選參考幀的所接收的運 動向量?；谶\動向量分析，做出是否內(nèi)插(或外推)待添加的幀的決策。如果決策為內(nèi)插，則與著重質(zhì)量模式一致，接下來分析參考幀的質(zhì)量。基于此分析，做出是內(nèi)插還是外推 的另一決策。如果選擇內(nèi)插或外推，則基于質(zhì)量分析選擇參考幀。接著使用至少所述選定 參考幀及可能多個參考幀來執(zhí)行視頻幀內(nèi)插或外推。對于待添加的每一幀或待添加的選定幀，可大體上連續(xù)地在由視頻解碼器14接 收的視頻序列中重復(fù)圖7中概述的過程。在圖7的實例中，解碼器14接收含有視頻序列的 經(jīng)編碼的輸入視頻幀且排除一些幀的傳入的位流(76)。對于丟失的幀的內(nèi)插或外推，視頻 解碼器14可確定著重資源模式是開啟還是關(guān)閉(78)。舉例來說，模式選擇單元46可指示 解碼器14的幀取代過程是應(yīng)在著重資源模式還是在著重質(zhì)量模式下操作。如果啟動著重資源模式(78)，則分析單元42可啟動運動分析器64以分析針對候 選參考幀中的每一者所指示的運動(80)。舉例來說，運動分析器64可分析來自候選參考幀 的運動向量數(shù)據(jù)以確定視頻場景是相對靜態(tài)還是包括顯著的移動。運動分析器64可分析 錨定幀(例如，時間上鄰近于待添加的取代幀的幀)的運動向量，以做出是啟用還是停用視 頻幀取代的決策。如果由錨定幀指示的運動水平大于或等于閾值運動水平(82)，則運動分析器64 可對選擇單元44指示運動的水平足以證明通過待添加的幀的內(nèi)插(或外推)進(jìn)行的幀取 代。在此情況下，分析單元42可繼續(xù)分析所述候選參考幀的質(zhì)量(84)。然而，如果運動水 平低于閾值運動水平，則運動分析器64對選擇單元44指示不應(yīng)使用幀取代，在所述情況 下，解碼器14可重復(fù)參考幀(92)來替代所排除的幀，而非內(nèi)插所述幀。在此情況下，可重 復(fù)先前或未來幀以有效地對視頻序列的幀速率進(jìn)行升頻轉(zhuǎn)換。在一些實施方案中，對于幀重復(fù)，分析單元42可僅選擇先前幀或未來幀且重復(fù)所 述幀替代待添加的幀。由于選擇了幀重復(fù)，所以不需要執(zhí)行針對當(dāng)前幀的著重質(zhì)量模式的 各種質(zhì)量分析操作。然而，作為替代方案，分析單元42可應(yīng)用質(zhì)量分析來從多個候選參考 幀中的一者選擇參考幀，且接著使用所述選定參考幀作為所重復(fù)的幀。明確地說，分析單元 42可選擇具有滿足(例如，符合或超過)質(zhì)量閾值的總質(zhì)量得分的參考幀且將所述選定幀 用于幀重復(fù)。因此，在一些情況下，與著重質(zhì)量模式一致的參考幀的基于質(zhì)量的選擇可不僅 用于幀內(nèi)插或外推，而是還用于幀重復(fù)。如果如上所論述，運動水平處于或高于閾值水平(82)，則分析單元42可繼續(xù)進(jìn)行 著重質(zhì)量操作模式來分析所述候選參考幀的質(zhì)量且將所得質(zhì)量得分與質(zhì)量閾值進(jìn)行比較 (86)。如上參看圖5所描述，舉例來說，質(zhì)量得分計算器58可基于由客觀度量檢查器50、 EC檢查器52、QP檢查器54及CBP檢查器56中的一者或一者以上產(chǎn)生的質(zhì)量得分計算總 質(zhì)量得分。比較單元59可接著對總質(zhì)量得分進(jìn)行比較且將其與質(zhì)量閾值進(jìn)行比較(86)。如果質(zhì)量得分令人滿意，例如，大于或等于閾值(86)，則分析單元42可對幀取代 單元38指示所述參考幀的選擇。舉例來說，選擇單元44可識別所述參考幀以用于由幀取 代單元38選擇供在待添加的幀的內(nèi)插(或外推)中使用。幀取代單元38可接著(例如) 通過使用所述選定參考幀內(nèi)插或外推幀而繼續(xù)執(zhí)行幀取代(90)。如果候選參考幀中無一者 具有令人滿意(例如，符合或超過質(zhì)量閾值(86))的總質(zhì)量得分，則比較單元59可對選擇 單元44指示無參考幀應(yīng)被選擇。在此情況下，選擇單元44可對幀取代單元38指示應(yīng)停用 幀取代，且應(yīng)應(yīng)用幀重復(fù)(92)而非幀取代。如圖7中所示，分析單元42可任選地經(jīng)配置以分級具有滿足質(zhì)量閾值的總質(zhì)量得分的候選參考幀(93)。舉例來說，對于雙向內(nèi)插，分析單元42可按質(zhì)量水平的次序分級先 前候選參考幀，按質(zhì)量水平的次序分級未來候選參考幀，其中先前幀在時間上在待添加的 幀之前且未來幀在時間上在待添加的幀之后，且接著選擇分級最高的先前幀及分級最高的 未來幀供在幀取代中使用。在于分級中大體上同等的情況下，分析單元42可選擇在時間上 最靠近待添加的幀的幀。對于單向內(nèi)插，視是將把先前還是未來幀用作參考幀而定，分析單 元42可選擇分級最高的先前幀或分級最高的未來幀。作為另一實例，在一些情況下，分級 可用以選擇分級最高的幀以用于幀重復(fù)以及幀取代。在一些實施方案中，幀的選擇可經(jīng)受由MV可靠性檢查器60進(jìn)行的MV可靠性分 析，如參看圖5所描述。另外，在一些實施方案中，質(zhì)量閾值及/或其它準(zhǔn)則或操作可在著 重質(zhì)量模式與著重資源模式之間變化。舉例來說，當(dāng)資源有限時，模式調(diào)整單元62可增加 著重資源模式下的質(zhì)量閾值以需要較高的內(nèi)插質(zhì)量來證明內(nèi)插。圖8為說明用于支持用于根據(jù)著重質(zhì)量模式的視頻幀內(nèi)插的參考幀選擇的參考 幀的質(zhì)量分析的實例技術(shù)的流程圖。大體來說，估計或分析候選參考幀的質(zhì)量?？舍槍γ?一候選參考幀給出質(zhì)量得分。候選參考幀可為相對于跳過的幀的先前或未來幀。如果特定 參考幀的質(zhì)量得分不大于或等于閾值，則不將其選擇為在視頻幀取代中使用。如果參考幀 的質(zhì)量得分足夠，則可將所述參考幀選擇為在視頻幀內(nèi)插或外推中使用。在一些實施方案 中，分析單元42可能需要與候選參考幀相關(guān)聯(lián)的運動向量為可靠的。舉例來說，如果視頻 幀取代將運動補償預(yù)測方法用于內(nèi)插或外推，則可檢查運動向量。如圖8的實例中所示，分析單元42可接連分析多個候選參考幀以識別用于幀的內(nèi) 插或外推的包括先前幀及未來幀的參考幀。在從接收幀緩沖器34檢索下一個候選參考幀 (94)之后，分析單元42即估計候選參考幀的質(zhì)量(96)且計算質(zhì)量得分(98)，例如，如上參 看圖5所描述。如果得分令人滿意(例如，大于或等于質(zhì)量閾值(100))，則比較單元59將 候選參考幀傳遞到MV可靠性檢查器60以確定幀的MV內(nèi)容是否可靠(102)。如果總質(zhì)量得分不大于或等于質(zhì)量閾值(100)，則分析單元42可將候選參考幀設(shè) 定到“關(guān)閉”以用于幀取代的選擇的目的(104)。在此情況下，選擇單元44不選擇“關(guān)閉” 幀用于由幀取代單元38進(jìn)行的取代幀的內(nèi)插或外推。如果總質(zhì)量得分大于或等于質(zhì)量閾 值(100)且MV可靠性檢查器60確定MV內(nèi)容可靠(106)，則分析單元42可將候選參考幀設(shè) 定到“開啟”以用于幀取代的選擇的目的(106)。如果分析單元42尚未考慮所有候選參考幀，即，其尚未到達(dá)在候選參考幀的預(yù)界 定的范圍中的候選參考幀的結(jié)尾(108)，則分析單元42檢索下一個候選參考幀以用于分 析。由分析單元42分析的候選參考幀的數(shù)目可經(jīng)預(yù)選擇，且可包括相對于待內(nèi)插或外推的 幀的一個或一個以上先前幀及一個或一個以上未來幀，例如，如參看圖2A到圖2D描述。當(dāng) 到達(dá)候選參考幀的結(jié)尾(108)時，選擇單元44可選擇已設(shè)定到“開啟”的候選參考幀(110) 且將選定幀傳達(dá)到幀取代單元38。幀取代單元38接著可內(nèi)插或外推待添加的幀以使用所 述選定參考幀執(zhí)行幀取代(112)。如果不存在經(jīng)設(shè)定到“開啟，，的參考幀或存在不足數(shù)目的“開啟，，幀，則選擇單元 44可指示應(yīng)停用幀取代，且?guī)〈鷨卧?8應(yīng)替代地對待添加的幀應(yīng)用幀重復(fù)。在一些實施 方案中，可選擇性地啟用或停用FRUC單元22中的FRUC過程。當(dāng)啟用FRUC時，可對于待添 加的每一幀或選定幀在由視頻解碼器14接收的視頻序列中大體上連續(xù)地重復(fù)圖8中概述的過程。又，如參看圖7所描述，圖8中展示的過程可包括分級操作，其中對滿足質(zhì)量閾值 的候選參考幀進(jìn)行分級。在此情況下，可選擇分級最高的幀作為用于幀取代的參考幀。圖9為說明用于產(chǎn)生支持用于視頻幀內(nèi)插的參考幀選擇的參考幀的質(zhì)量得分的 實例技術(shù)的流程圖。質(zhì)量得分可用以產(chǎn)生總質(zhì)量得分，例如，如參看圖5所描述。大體來 說，作為初始步驟，可檢查每一參考幀(相對于跳過的幀的未來或先前參考幀)的平均QP 值以及CBP值。如果QP值比閾值小(例如，H. 264譯碼中的較小的QP值對應(yīng)于較細(xì)量化 步長)，則可對參考幀給出高質(zhì)量得分。對于不同于H. 264的其中較小QP值對應(yīng)于較粗量 化步長的一些譯碼過程，相反情況可為真。另外，可進(jìn)行關(guān)于一個切片損失還是多個切片損失存在于候選參考幀中的確定。 如果存在損失或如果未應(yīng)用錯誤隱藏，則可減少參考幀的質(zhì)量得分。如果存在損失且隱藏 了錯誤，則可針對參考幀設(shè)定較高質(zhì)量得分。在一些實施方案中，可將客觀無參考視覺質(zhì)量 度量(例如，塊效應(yīng)、模糊性及/或色溢)應(yīng)用到經(jīng)重建構(gòu)的候選參考幀。如果所述度量提 供高結(jié)果，則可增加參考的總質(zhì)量得分。如果參考幀具有高的總質(zhì)量得分，則其可在內(nèi)插所 述時間跳過幀時使用。如圖9中所示，分析單元42從接收幀緩沖器34檢索下一個候選參考幀(114)，且 分析所述幀的QP及CBP值。在圖9的實例中，分析單元42基于QP及CBP值產(chǎn)生組合的基 于QP的得分。如果QP值小于可適用的QP閾值(QP_th)且CBP值不等于零(116)，則分析單 元42將所述幀的基于QP的得分設(shè)定到“高”(118)。如果QP值大于或等于QP閾值(QP_th) 或CBP值大致等于零(116)，則分析單元42將所述幀的基于QP的得分設(shè)定到“低”(120)。如在圖9中進(jìn)一步展示，分析單元42還可經(jīng)配置以對候選參考幀檢查切片損失 (122)。參看圖5，切片損失檢查可由EC檢查器52執(zhí)行。切片損失可從跨越信道19的損失 或一些其它損失或數(shù)據(jù)的惡化產(chǎn)生。如果存在切片損失，則分析單元42可確定充分的錯誤 隱藏(EC)機制是否可用于校正切片損失(124)。如果否，則分析單元42將候選參考幀的 基于EC的得分設(shè)定到“低”(126)。如果充分的EC機制可用(124)，則分析單元42將基于 EC的得分設(shè)定到“高”(128)。在此情況下，如果可使用EC機制重現(xiàn)丟失的切片，則候選參 考幀的質(zhì)量可適合于用作用于幀取代的參考幀。然而，如果不可重現(xiàn)切片，則不應(yīng)將候選參 考幀用于幀取代。分析單元42還可將客觀質(zhì)量度量應(yīng)用到候選參考幀(130)。舉例來說，分析單元 42可分析候選參考幀的經(jīng)解碼且經(jīng)重建構(gòu)的版本以分析多種客觀度量中的任一者，例如， 塊效應(yīng)、模糊性、色溢等。因此，可在像素域中應(yīng)用客觀度量來評估視覺質(zhì)量。分析單元42 可量化客觀度量中的每一者以用公式表示質(zhì)量度量得分QM。如果質(zhì)量度量得分QM大于可 適用的質(zhì)量度量閾值(QM_th) (132)，則分析單元42將候選參考幀的基于QM的得分設(shè)定到 “高”(134)。如果質(zhì)量度量得分QM小于或等于質(zhì)量度量閾值(QM_th)，則分析單元42將基 于QM的得分設(shè)定到“低”(136)。分析單元42可基于基于QP的得分、基于EC的得分與基于QM的得分的組合設(shè)定 候選參考幀的總質(zhì)量得分(138)?？蓪⒖傎|(zhì)量得分與閾值進(jìn)行比較以確定是否選擇所述候 選幀供在幀取代中使用。如參看圖5所描述，可根據(jù)基于QP的得分、基于EC的得分與基于 QM的得分的加權(quán)總和用公式表示總質(zhì)量得分，其中分析單元42可將不同權(quán)重加到個別得分中的每一者。獲得個別基于QP的得分、基于EC的得分及基于QM的得分的次序可與圖9 中展示的次序不同。另外，圖9中展示的特定類型的得分可經(jīng)受變化。大體來說，分析單元 42可經(jīng)配置以獲得指示候選參考幀將對具有可接受的質(zhì)量水平的內(nèi)插結(jié)果有影響的可能 性的質(zhì)量得分。圖10及圖11為說明用于在著重資源模式下的選擇性幀取代的實例技術(shù)的流程 圖。在著重資源模式下，分析單元42可使用運動活動性作為測量來確定由參考幀表示的視 頻場景是否為靜態(tài)。可將零運動向量計數(shù)及/或小運動向量計數(shù)用作決策準(zhǔn)則。大體來說， 可以兩個方式導(dǎo)出閾值。舉例來說，在非自適應(yīng)情況下，可使用針對零運動向量計數(shù)的固定 閾值及針對小運動向量計數(shù)的固定閾值來判斷運動活動性。在自適應(yīng)情況下，可基于(例 如)解碼器14的資源水平(例如，可用的電力、計算資源或存儲器的水平)調(diào)整閾值中的 一者或兩者。大體來說，當(dāng)在幀取代與幀重復(fù)的結(jié)果之間不存在實質(zhì)的可感知的差異時，例如， 當(dāng)內(nèi)插與幀重復(fù)之間的差異不足以證明內(nèi)插的使用(例如，鑒于在與解碼器14相關(guān)聯(lián)的裝 置內(nèi)的電力、計算或存儲器約束)時，著重資源模式可為斷開(即，停用)內(nèi)插或外推的選 擇性幀取代的任選模式。然而，當(dāng)運動活動性顯著時，解碼器14可實際上回復(fù)到著重質(zhì)量 模式以選擇用于幀取代的參考幀。在一些實施方案中，可將著重資源模式表征為電力節(jié)約模式或電力優(yōu)化選擇性 FRUC模式。在著重資源模式下，可將運動活動性用作測量來決定視頻場景是否為靜態(tài)。如 果算法確定場景為靜態(tài)，則可將簡單的幀重復(fù)技術(shù)而非大體計算上更密集且消耗更多電力 的視頻幀取代用于FRUC。然而，如果視頻場景并非大體靜態(tài)，則幀取代可比幀重復(fù)更合需要。為確定場景是否為靜態(tài)，可分析當(dāng)前錨定幀的運動向量以做出是啟用還是停用視 頻幀內(nèi)插或外推的決策。運動向量可直接從位流使用、在解碼器14中的位流運動向量的處 理之后獲得，或從解碼器14的運動估計模塊獲得。在一些情況下，用于運動分析的運動向 量中的一些可為用于內(nèi)插或外推的相同的運動向量。錨定幀可為鄰近于待添加的幀的幀， 例如，緊鄰于待添加的幀或接近待添加的幀的先前或未來幀。在此分析的基礎(chǔ)上，分析單元 42可做出關(guān)于是啟用還是停用對目前在考慮中的幀的視頻幀內(nèi)插的決策。在一個實例中， 在所述幀中存在的零運動向量的數(shù)目可用作決策準(zhǔn)則。零運動向量為具有零或大體上為零的值的運動向量。舉例來說，在一些實施方案 中，具有低于閾值的值的運動向量可被考慮為零運動向量。在一些實施方案中，運動向量可 為來自位流嵌入式運動向量的經(jīng)處理的值。如果零運動向量計數(shù)(即，零值運動向量的數(shù) 目)大于閾值，則可確定場景為靜態(tài)，在所述情況下，停用視頻幀內(nèi)插。對于靜態(tài)場景，可使 用幀重復(fù)。通過使用模式?jīng)Q策信息(例如，幀內(nèi)或幀間譯碼模式?jīng)Q策信息)，可添加進(jìn)一步 的增強。舉例來說，可針對非幀內(nèi)譯碼的宏塊對零運動向量的數(shù)目進(jìn)行計數(shù)以獲得更精確 的零運動向量計數(shù)。在另一實例中，除了零運動向量計數(shù)之外，可將小運動向量計數(shù)用作決策準(zhǔn)則。小 運動向量可為具有低于預(yù)定閾值的值的非零運動向量。添加小運動向量計數(shù)的一個原因在 于(例如)一些場景(即使其可能具有大量由零運動向量指示的靜態(tài)宏塊)也可含有相對 小量的快速移動物件，例如，投擲出去的球、飛翔的鳥或經(jīng)過的車輛。快速進(jìn)入或離開在一系列視頻幀上的視頻場景的新物件可在幀中產(chǎn)生顯著的運動活動性。盡管快速移動的物件可占據(jù)整個幀的小部分，但將其內(nèi)插于FRUC產(chǎn)生的幀中以 保持時間質(zhì)量可為重要的。因此，可添加視小運動向量計數(shù)(例如，小運動向量計數(shù)閾值) 而定的第二準(zhǔn)則以確保在停用幀內(nèi)插時，場景絕對靜態(tài)。此外，此準(zhǔn)則可隱含地計及快速移 動的小物件問題。在圖10的實例中，運動分析器64對幀中的零值運動向量的數(shù)目進(jìn)行計數(shù)以產(chǎn)生 零運動向量計數(shù)(Zmv_C)(140)。大體來說，幀中的每一宏塊具有運動向量。如果宏塊的運 動向量具有零值(指示無移動)，則將所述運動向量當(dāng)作零運動向量。又，在一些情況下， 如果運動向量具有低于閾值的小的非零值，則可將其當(dāng)作零值運動向量。在任一情況下，一 旦對零運動向量的數(shù)目進(jìn)行計數(shù)，則運動分析器64確定零運動向量的數(shù)目(即，零MV計數(shù) Zmv_c)是大于還是等于可適用的閾值Th(142)。如果是，則視頻場景相對靜態(tài)。在此情況 下，運動分析器64將應(yīng)停用內(nèi)插或外推及幀取代單元38應(yīng)替代地針對待添加的幀應(yīng)用幀 重復(fù)傳達(dá)到選擇單元44(144)。如先前所提及，幀重復(fù)可使用選擇最靠近的先前或未來幀的 簡單方案，或使用基于質(zhì)量的方案來選擇較高質(zhì)量參考幀作為所重復(fù)的幀。 如果零MV計數(shù)Zmv_c小于閾值(142)，則運動分析器64將應(yīng)執(zhí)行幀取代(146)傳 達(dá)到選擇單元44。在此情況下，可能或可能不執(zhí)行內(nèi)插(或外推)，作為由分析單元42執(zhí) 行的質(zhì)量分析的結(jié)果，經(jīng)受一個或一個以上合適的參考幀的選擇。實際上，當(dāng)場景并非靜態(tài) 時，如果具有用于內(nèi)插的足夠質(zhì)量的幀可用，則分析單元42可回復(fù)到著重質(zhì)量模式以選擇 一個或一個以上參考幀。如果質(zhì)量分析產(chǎn)生一個或一個以上合適的參考幀，則選擇單元44 可將選定幀傳達(dá)到幀取代單元38供在待添加的幀的內(nèi)插中使用。閾值Th(142)可為固定的。或者，可基于視頻解碼器14的可用幀取代資源(例 如，電力水平、計算資源水平及/或存儲器資源水平)調(diào)整閾值Th。如圖10中所示，在著重 資源模式下，分析單元42可任選地檢測資源水平(143)且基于所檢測的資源水平調(diào)整閾值 Th (145)。舉例來說，分析單元42可確定可用電力資源(例如，電池水平)及/或可用計算 資源、每秒可用的指令的數(shù)目及/或可用存儲器資源?？?例如)基于計算操作與資源消 耗之間的已知關(guān)系直接檢測或估計資源水平。在移動裝置的情況下，如果電池資源低，則分 析單元42可減小閾值Th，使得當(dāng)存在大量的運動時啟用幀取代。在任一情況下，不管閾值 是固定還是可調(diào)整的，如果啟用幀取代，則分析單元42可應(yīng)用一個或一個以上質(zhì)量準(zhǔn)則以 選擇參考幀或停用幀取代。在圖11的實例中，運動分析器64基于零MV計數(shù)及小MV計數(shù)兩者分析運動。如 圖11中所示，運動分析器64對幀中的零值運動向量的數(shù)目進(jìn)行計數(shù)以產(chǎn)生零運動向量計 數(shù)(Zmv_c) (148)，且對幀中的小運動向量的數(shù)目進(jìn)行計數(shù)以產(chǎn)生小運動向量計數(shù)(Smv_c) (150)。小運動向量可為具有低于閾值的非零值的運動向量。甚至當(dāng)存在占優(yōu)勢的零運動 向量時，也可存在多個非零運動向量，包括小(在其具有低于閾值的值的意義上)的非零運 動向量(在本文中稱作小運動向量)。小運動向量可與一個或一個以上小移動物件相關(guān)聯(lián)， 例如，球、鳥、汽車等。運動分析器64將零MV計數(shù)(Zmv_c)及小MV計數(shù)(Smv_c)分別與相 應(yīng)閾值Thl及Th2進(jìn)行比較(152)。如果零MV計數(shù)(Zmv_c)大于或等于閾值Thl且小MV計數(shù)(Smv_c)小于閾值Th2， 則運動分析器64指導(dǎo)選擇單元44指示應(yīng)應(yīng)用幀重復(fù)而非幀取代(154)。在此情況下，超過閾值Thl的零MV計數(shù)指示由幀呈現(xiàn)的視頻場景大體為靜態(tài)。同時，小于閾值Th2的小MV 計數(shù)指示不存在在由幀呈現(xiàn)的視頻場景內(nèi)的顯著小物件移動。鑒于幀的大體靜態(tài)內(nèi)容，幀 重復(fù)為適當(dāng)?shù)摹Ｈ绻鉓V計數(shù)(Zmv_c)小于閾值Thl或小MV計數(shù)(Smv_c)大于或等于閾值Th2， 則運動分析器64指示應(yīng)執(zhí)行幀取代(156)，其經(jīng)受作為由分析單元42執(zhí)行的質(zhì)量分析的一 部分的參考幀的選擇。在此情況下，小于閾值Thl的零MV計數(shù)指示視頻場景包括顯著的運動。即使零MV計數(shù)不小于閾值Thl，幀也可包括將通過內(nèi)插而更好地呈現(xiàn)的一個或一 個以上相對小移動物件。因此，運動分析器64可指示當(dāng)小MV計數(shù)大于或等于閾值Th2 (指 示一個或一個以上小的快速移動物件的存在)時，應(yīng)執(zhí)行內(nèi)插。所述物件大體可為小的且 比幀中的其它物件快速地移動。當(dāng)幀內(nèi)容并非大體靜態(tài)或大體靜態(tài)幀包括小移動物件時， 幀取代(例如，通過幀的內(nèi)插或外推)可為適當(dāng)?shù)?。如在圖10的實例中，圖11中的閾值Thl、Th2可為固定的或基于可用的內(nèi)插資源 而調(diào)整。明確地說，可基于所確定的資源水平調(diào)整閾值Thl、Th2中的一者或兩者。如圖11 中所示，在著重資源模式下，分析單元42可任選地檢測資源水平(143)且基于所檢測的資 源水平調(diào)整閾值(145)。又，分析單元42可檢測或估計可用電力資源(例如，移動裝置中的 電池水平)及/或可用計算資源、每秒可用的指令的數(shù)目及/或可用存儲器資源。舉例來 說，如果電池資源低，則分析單元42可減小閾值Thl且增加閾值Th2，使得當(dāng)存在大量運動 時啟用內(nèi)插。在一些情況下，用以將運動向量分類為小運動向量的閾值可為固定的或可基于格 式大小而調(diào)整。如上所論述，小運動向量可為具有低于特定閾值的值的非零運動向量。在一 些實施方案中，用以確定非零運動向量是否小的閾值可基于正經(jīng)解碼及內(nèi)插或外推的視頻 單元的格式大小而調(diào)整。舉例來說，小運動向量可由用于具有逐漸更大的格式大小的QCIF、 CIF,QVGA及VGA幀的不同閾值分類。CIF幀的小運動向量閾值的值可小于VGA幀的小運動 向量閾值的值。明確地說，考慮到較大格式幀的較大總大小，可將運動向量量值在較小格式 幀中考慮為大，但在較大格式幀中考慮為小。因此，在一些實施方案中，運動分析器64可基 于正經(jīng)內(nèi)插或外推的視頻單元的格式大小而調(diào)整小運動向量閾值。舉例來說，用于較小格 式幀的小運動向量閾值可小于用于較大格式幀的小運動向量閾值。圖12為說明經(jīng)配置以選擇性地啟用或停用取代幀的顯示(例如，基于一個或一個 以上質(zhì)量特性的分析)的視頻解碼器158的實例的框圖。舉例來說，如將描述，視頻解碼器 158可經(jīng)配置以分析與通過在視頻解碼器中的幀速率升頻轉(zhuǎn)換過程產(chǎn)生的經(jīng)內(nèi)插或經(jīng)外推 的視頻幀相關(guān)聯(lián)的一個或一個以上特性，且基于所述分析選擇性地啟用及停用經(jīng)內(nèi)插或經(jīng) 外推的視頻單元在顯示器上的呈現(xiàn)。分析可涉及廣泛多種質(zhì)量特性中的任一者的分析。質(zhì)量特性可包括像素域特性、 變換域特性及/或運動向量可靠性中的至少一者。所述一個或一個以上質(zhì)量特性可用以用 公式表示包括空間質(zhì)量度量、時間質(zhì)量度量或其它度量的質(zhì)量度量。所述質(zhì)量度量可在預(yù) 測經(jīng)內(nèi)插或經(jīng)外推的幀對視頻序列的視覺空間及/或時間質(zhì)量的影響(當(dāng)通過顯示器呈現(xiàn) 給用戶時)過程中有用。如果與取代幀相關(guān)聯(lián)的質(zhì)量水平不滿足質(zhì)量閾值，則解碼器158 可經(jīng)配置以選擇性地停用取代幀的顯示，即使取代幀已經(jīng)內(nèi)插或外推也如此。
與取代幀相關(guān)聯(lián)的質(zhì)量水平可基于取代幀自身的質(zhì)量水平。在一些實施方案中， 質(zhì)量水平可基于用以內(nèi)插或外推取代幀的一個或一個以上參考幀的質(zhì)量水平。在其它實施 方案中，質(zhì)量水平可基于取代幀及用以產(chǎn)生取代幀的一個或一個以上參考幀的質(zhì)量水平。 在每一情況下，質(zhì)量水平可大體指示可通過顯示取代幀而實現(xiàn)的視覺質(zhì)量的增強的程度。甚至當(dāng)取代幀已經(jīng)內(nèi)插或外推時，仍可能需要選擇性地停用在視頻解碼器中的取 代幀的傳輸及顯示。舉例來說，盡管已執(zhí)行內(nèi)插或外推，但通過顯示取代幀所產(chǎn)生的視覺 質(zhì)量可能不足以證明用于取代幀的傳輸及顯示的額外資源的耗費。替代地，拋棄取代幀且 重復(fù)鄰近幀(例如，通過在較長的時間周期內(nèi)固持顯示中的幀，而非傳輸新幀)可能更合需 要，從而節(jié)省將有必要用來顯示取代幀的電力或其它資源。在一些實施方案中，除了選擇性 地停用一些幀的傳輸及顯示之外，視頻解碼器158還可停用一個或一個以上后處理操作， 例如，針對取代幀的平滑、銳化、亮度控制及/或?qū)Ρ榷仍鰪娨怨?jié)省額外資源。在圖12的實例中，視頻解碼器158包括接收幀緩沖器160，其(例如)從編碼器 12接收經(jīng)編碼的幀24 ；解碼單元162，其解碼所接收的幀；輸出幀緩沖器164，其存儲經(jīng)解 碼的幀；取代單元166，其通過內(nèi)插或外推而執(zhí)行幀取代以將幀添加到輸出幀緩沖器164， 且因此支持FRUC過程；及選擇性顯示分析單元168。分析單元168可經(jīng)配置以產(chǎn)生信號或 命令。響應(yīng)于來自分析單元168的信號或命令，控制單元172可選擇性地啟用或停用取代 幀從視頻緩沖器(例如，輸出幀緩沖器164)到顯示器170以用于對用戶視覺呈現(xiàn)的傳輸。 在一些方面中，當(dāng)解碼器158處于著重資源模式下(例如，如參看圖4、圖5及圖7所描述) 時，可選擇性地啟動分析單元168。或者，在其它實施方案中，選擇性顯示分析單元168可定 期地操作以選擇性地啟用或停用由取代單元166在有或無選擇性啟動的情況下產(chǎn)生的取 代幀的顯示。取代單元166執(zhí)行幀取代(例如，幀內(nèi)插或外推)以將幀添加到存儲于輸出幀緩 沖器164中的輸出幀且因此支持FRUC過程。視頻解碼器158可能或可能不應(yīng)用參考幀選 擇技術(shù)(如在本發(fā)明中其它處所描述)來選擇特定參考幀供由取代單元166在取代幀的內(nèi) 插或外推中使用。在一些方面中，取代單元166可基于一個或一個以上參考幀的分析來選 擇所述幀，或僅使用一個或一個以上鄰近幀，來產(chǎn)生取代幀。然而，在任一情況下，分析單元 168可經(jīng)進(jìn)一步配置以分析與取代幀相關(guān)聯(lián)的質(zhì)量水平以確定是否顯示取代幀。與取代幀 相關(guān)聯(lián)的質(zhì)量可包括與取代幀自身相關(guān)聯(lián)的一個或一個以上質(zhì)量特性、與用以內(nèi)插或外推 取代幀的參考幀中的一者或一者以上相關(guān)聯(lián)的一個或一個以上質(zhì)量特性，或兩者的組合。 為了分析質(zhì)量，分析單元168可將客觀質(zhì)量度量應(yīng)用到取代(例如，經(jīng)內(nèi)插或經(jīng)外推)幀及 /或用以內(nèi)插或外推取代幀的參考幀。分析單元168可指導(dǎo)控制單元172基于質(zhì)量分析選擇性地啟用或停用來自輸出幀 緩沖器164的取代幀經(jīng)由顯示器170的顯示。舉例來說，如果用以產(chǎn)生取代幀的一個或一個 以上參考幀的質(zhì)量及/或取代幀自身的質(zhì)量不滿足可適用的質(zhì)量閾值，則分析單元168可 指導(dǎo)控制單元172停用用于在顯示器170上呈現(xiàn)的來自輸出幀緩沖器164的經(jīng)內(nèi)插的幀的 傳輸。然而，如果質(zhì)量是可接受的，則選擇性顯示分析單元168可指導(dǎo)控制單元172啟用到 顯示器170以用于經(jīng)由顯示器170呈現(xiàn)給用戶的經(jīng)內(nèi)插或經(jīng)外推的幀的傳輸。以此方式， 當(dāng)取代幀的質(zhì)量不令人滿意時，視頻解碼器158可避免顯示取代幀的額外資源的耗費。當(dāng)未將取代幀發(fā)送到顯示器170時，可(例如)通過用隨后經(jīng)解碼、內(nèi)插或外推的幀蓋寫所述幀而將其從輸出幀緩沖器164拋棄。在此情況下，顯示器170可僅重復(fù)從輸出 幀緩沖器164發(fā)送到顯示器的先前幀(例如，通過在較長的時間周期內(nèi)固持顯示中的先前 幀)，或傳輸且重復(fù)(例如，固持)跟在取代幀后的下一個幀。在此情況下，顯示器170可在 額外的時間周期內(nèi)顯示先前幀，而非在所述時間期間顯示取代幀。通過使用幀重復(fù)，視頻解 碼器159可避免傳輸且顯示取代幀的需要，因此節(jié)省電力及/或其它資源。如上所提及，可 單獨或結(jié)合如在本發(fā)明中其它處所描述的參考幀選擇技術(shù)使用取代幀的選擇性顯示。分析單元168可經(jīng)配置以分析與由取代單元166產(chǎn)生的取代幀相關(guān)聯(lián)的多種質(zhì)量 特性中的一者或一者以上。在一些實施方案中，由分析單元168分析的質(zhì)量特性可類似于 由圖5的客觀度量檢查器50評估的質(zhì)量特性。舉例來說，分析單元168可經(jīng)配置以分析與 由取代單元166產(chǎn)生的取代(例如，經(jīng)內(nèi)插或經(jīng)外推)幀相關(guān)聯(lián)的像素值，或與用以產(chǎn)生取 代幀的一個或一個以上參考幀相關(guān)聯(lián)的像素值，以確定與所述幀相關(guān)聯(lián)的塊效應(yīng)、模糊性、 色溢或其它客觀空間質(zhì)量度量的程度，且基于所述確定產(chǎn)生質(zhì)量得分。因此，可通過分析在像素域中由取代單元166產(chǎn)生的取代幀或通過分析在像素域 中由解碼單元162產(chǎn)生的經(jīng)解碼、經(jīng)重建構(gòu)的參考幀或兩者的組合來執(zhí)行質(zhì)量分析。在分 析參考幀的實施方案中，參考幀可為用以內(nèi)插或外推取代幀的參考幀。當(dāng)在由取代單元166 產(chǎn)生的特定經(jīng)內(nèi)插或經(jīng)外推的取代幀中(或在用以產(chǎn)生所述幀的一個或一個以上參考幀 中)檢測到實質(zhì)的塊效應(yīng)、模糊性及/或色溢時，所述取代幀的質(zhì)量得分可為低，且當(dāng)大體 上不存在塊效應(yīng)、模糊性及/或色溢時，質(zhì)量得分可為高。不同取代幀的質(zhì)量得分可依據(jù)所述客觀視覺質(zhì)量度量特性變化而在高與低之間 變化?；蛘撸苫谂c預(yù)定閾值的比較將質(zhì)量得分表達(dá)為高或低。在任一情況下，如果取代 幀的質(zhì)量得分不滿足(例如，小于)質(zhì)量閾值，則分析單元168可指導(dǎo)控制單元172停用幀 從輸出幀緩沖器164到顯示器170的傳輸?；蛘?，如果取代幀的質(zhì)量得分滿足(例如，大于 或等于)閾值，則分析單元168可指導(dǎo)控制單元172啟用取代幀從輸出幀緩沖器164到顯 示器170以供呈現(xiàn)給用戶的傳輸。如上所述，分析單元168可通過分析取代幀的像素值、用以通過內(nèi)插或外推產(chǎn)生 取代幀的一個或一個以上參考幀的像素值，或在取代幀附近的一個或一個以上其它幀的像 素值來分析與取代幀相關(guān)聯(lián)的質(zhì)量特性。如果分析參考幀，則取代單元166可對分析單元 168指示哪一或哪些參考幀用以內(nèi)插或外推特定取代幀。使用像素值(如上所述)，分析單元168可分析與取代幀及/或用以產(chǎn)生取代幀的 一個或一個以上參考幀相關(guān)聯(lián)的一個或一個以上空間質(zhì)量度量，例如，SSIM、塊效應(yīng)、模糊 性及/或色溢度量。在一些實施方案中，替代地或另外，可將像素值分析應(yīng)用到在時間上接 近取代幀的其它幀(除了參考幀或取代幀之外或作為對參考幀或取代幀的替代)。如果取 代幀、參考幀或另一附近幀的空間質(zhì)量度量不滿足可適用的閾值，則分析單元168可指導(dǎo) 控制單元172停用取代幀的顯示。作為簡單說明，如果由與取代幀相關(guān)聯(lián)的像素值呈現(xiàn)的塊效應(yīng)的量超過閾值，則 分析單元168可停用取代幀的顯示。以此方式，解碼器158可避免顯示可不利地影響質(zhì)量 的取代幀，或提供不足以證明額外顯示資源的耗費的質(zhì)量增強的取代幀。作為替代或額外操作，對于質(zhì)量分析，分析單元168可分析一個或一個以上時間 質(zhì)量度量，例如，空間質(zhì)量度量的時間波動。舉例來說，分析單元168可分析在取代幀與用以內(nèi)插或外推所述取代幀的一個或一個以上參考幀之間的空間質(zhì)量(例如，SSIM、塊效應(yīng)、 模糊性及/或色溢)的波動。如果時間質(zhì)量波動大于波動閾值，則分析單元168可指導(dǎo)控 制單元172停用取代幀的顯示。分析單元168可單獨或結(jié)合空間質(zhì)量度量自身考慮一個或一個以上空間質(zhì)量度 量的時間波動。舉例來說，如果空間質(zhì)量度量或時間質(zhì)量度量不滿足可適用的閾值，則分析 單元168可停用取代幀的顯示。或者，分析單元168可基于空間質(zhì)量與時間質(zhì)量值的加權(quán) 總和計算得分，且將所述和與復(fù)合閾值進(jìn)行比較。作為進(jìn)一步改進(jìn)，在一些實施方案中，分析單元168可經(jīng)配置以分析在取代幀、參 考幀或其它附近幀內(nèi)的假影的位置。假影可為可由在所顯示的幀的特定局部化區(qū)域中的塊 效應(yīng)、模糊性或色溢產(chǎn)生的不合需要的可視特征。分析單元168可分析幀的總體塊效應(yīng)、模 糊性或色溢，或在幀的局部化區(qū)域的情況下考慮所述特性。舉例來說，分析單元168可分析 幀的局部化區(qū)域(例如，3乘3像素區(qū)域)的像素值方差，以產(chǎn)生在所述區(qū)域中的紋理的指 示。大體由低方差指示的平滑區(qū)域可更易于受到由塊效應(yīng)、模糊性、色溢或其它假影引起的 可視假影的影響。然而，所述假影可在具有更多紋理的較高方差區(qū)域中不太可視。作為幀的空間質(zhì)量度量的替代或除了幀的空間質(zhì)量度量之外，分析單元168可產(chǎn) 生幀內(nèi)的多個局部化區(qū)域的局部化空間質(zhì)量度量。如果幀的局部化空間質(zhì)量度量不滿足在 平滑區(qū)域中的任一者中的可適用的閾值，其中假影將更可視，則分析單元168可停用取代 幀的顯示以減少或避免可視假影的呈現(xiàn)。然而，如果局部化空間質(zhì)量度量不滿足僅在具有 更多紋理的較高方差區(qū)域中的質(zhì)量閾值，則分析單元168可在認(rèn)識到在所述區(qū)域中假影將 對用戶來說不可視或較不可視的情況下準(zhǔn)許取代幀的顯示。作為另一替代方案，分析單元 168可將不同閾值用于不同局部化區(qū)域。在平滑低方差區(qū)域中，分析單元168可使用較高質(zhì) 量閾值，實際上，需要較高質(zhì)量來減少或避免可視假影的引入。在較高方差區(qū)域中，分析單 元168可使用較低質(zhì)量閾值，從而在僅或大體上僅在高紋理區(qū)域中出現(xiàn)顯著假影時準(zhǔn)許取 代幀的顯示。分析單元168可掃描幀以分析如上所述的局部化區(qū)域。如果局部化區(qū)域中的任一 者或預(yù)定百分比的局部化區(qū)域展現(xiàn)低方差(低于方差閾值)及低質(zhì)量度量(低于質(zhì)量閾 值)兩者，其可指示所顯示的幀中的可視假影的可能性，則分析單元168可指導(dǎo)控制單元 172停用取代幀的顯示。預(yù)定百分比可為固定或自適應(yīng)的閾值。在其它實施方案中，分析單 元168可經(jīng)配置以(例如)通過考慮具有低紋理及低質(zhì)量兩者的局部化區(qū)域是否鄰接而分 析假影可為可視的區(qū)域的大小。因此，分析單元168可分析相對于百分比閾值的具有顯著 假影的所有局部化區(qū)域的百分比及/或相對于大小閾值的所述假影(例如，由低質(zhì)量/低 紋理區(qū)域指示)中任一者的大小以確定是啟用還是停用取代幀的顯示。另外或替代地，分析單元168可使用其它類型的數(shù)據(jù)(例如，指示與用以內(nèi)插或外 推取代幀的參考幀相關(guān)聯(lián)的運動向量的可靠性的數(shù)據(jù))分析與取代幀相關(guān)聯(lián)的質(zhì)量?？捎?分析單元168用于質(zhì)量分析的數(shù)據(jù)的其它實例包括經(jīng)壓縮的域信息，例如，與同用于取代 幀的內(nèi)插或外推的一個或一個以上參考幀相關(guān)聯(lián)的離散余弦變換(DCT)或小波變換系數(shù) 有關(guān)的信息。經(jīng)壓縮的域信息可包括(例如)QP及CBP值。如圖12中所示，在一些實施方 案中，分析單元168可從解碼單元162接收QP及CBP值。QP及/或CBP值可與用以內(nèi)插 或外推取代幀的參考幀相關(guān)聯(lián)。使用QP、CBP值及/或其它經(jīng)壓縮的域信息，分析單元168可分析取代幀的質(zhì)量。作為實例，分析單元168可以類似于上述方式(例如，參看圖5及圖8)的方式評 估運動向量可靠性。如果一個或一個以上參考幀的運動向量可靠性不令人滿意，則分析單 元168可指導(dǎo)控制單元172停用取代幀的顯示。分析單元168可(例如)以類似于以上相 對于圖5的MV可靠性檢查器60描述的方式的方式應(yīng)用用于確定運動向量可靠性的多種 技術(shù)中的任一者，例如，基于運動差的方法、幀到幀運動改變檢測方法或基于運動軌道的方 法。分析單元168可單獨或結(jié)合本文中描述的其它質(zhì)量度量(例如，包括像素域質(zhì)量度量、 時間度量或局部化度量)考慮運動向量可靠性，以確定是啟用還是停用取代幀的顯示。如上所述，分析單元168可基于經(jīng)壓縮的域信息(例如，與用以內(nèi)插或外推取代幀 的參考幀相關(guān)聯(lián)的QP及/或CBP值)分析質(zhì)量?？?例如)通過剖析與所接收的幀相關(guān) 聯(lián)的位流從接收幀緩沖器160中的參考幀獲得經(jīng)壓縮的域信息。作為實例，分析單元168 可經(jīng)配置以按類似于參看圖5的QP檢查器54及CBP檢查器56及質(zhì)量得分計算器58及在 圖9的流程圖中說明的過程描述的方式的方式分析與參考幀相關(guān)聯(lián)的QP及/或CBP。如果 QP及CBP值(例如)通過將QP與QP閾值QP_th進(jìn)行比較且確定CBP值是否為非零(如 圖9中所示)而指示參考幀的相對高質(zhì)量，則分析單元168可指導(dǎo)控制單元172啟用使用 有關(guān)參考幀內(nèi)插或外推的取代幀的顯示。然而，如果QP及CBP值指示低質(zhì)量，則分析單元 168可指導(dǎo)控制單元172停用取代幀的顯示。經(jīng)壓縮的域信息及MV可靠性的分析可由分析單元168單獨或結(jié)合其它質(zhì)量信息 (例如，空間質(zhì)量信息或時間質(zhì)量信息)使用來確定是否顯示取代幀。在一些實施方案中， 分析單元168可經(jīng)配置而以組合方式分析多種質(zhì)量信息。舉例來說，分析單元168可分析 像素域中的客觀空間及/或時間質(zhì)量度量(例如，SSIM、塊效應(yīng)、模糊性及色溢及/或相關(guān) 聯(lián)的時間波動)，以及變換域信息(例如，QP及CBP值)及可能錯誤隱藏(EC)可靠性信息 以產(chǎn)生質(zhì)量得分，且接著應(yīng)用運動向量(MV)可靠性分析以確定是否顯示質(zhì)量得分可接受 的取代幀。對于錯誤隱藏(EC)可靠性，分析單元168可應(yīng)用類似于參看圖5的EC檢查器及 圖9的處理器描述的分析的EC分析。舉例來說，分析單元168可分析用以產(chǎn)生取代幀的一 個或一個以上參考幀且確定是否存在切片損失。如果是，則分析單元168可確定合適的EC 機制是否可用。如果不存在合適的EC機制，則分析單元168可指導(dǎo)控制單元172停用由顯 示器170進(jìn)行的取代幀的顯示。然而，如果可接受的EC機制可用，則分析單元168可準(zhǔn)許 取代幀的顯示。切片損失及EC機制的分析可單獨地執(zhí)行作為用于選擇性地啟用或停用取 代幀的顯示的基礎(chǔ)，或結(jié)合其它質(zhì)量特性(例如，空間質(zhì)量、時間質(zhì)量、運動向量可靠性等) 的分析而執(zhí)行。在一些實施方案中，分析單元168可經(jīng)配置以按類似于圖5的分析單元42的方式 操作，除了分析單元168確定是否顯示取代幀而非確定是否選擇特定參考幀供在內(nèi)插或外 推所述取代幀過程中使用以外。值得注意，由于取代幀已由取代單元166產(chǎn)生，所以除了分 析一個或一個以上參考幀的質(zhì)量特性之外或作為分析一個或一個以上參考幀的質(zhì)量特性 的替代，分析單元168可分析像素域中的取代幀的客觀質(zhì)量特性。舉例來說，分析單元168 可單獨地或結(jié)合一個或一個以上參考幀的質(zhì)量及/或運動向量可靠性來考慮取代幀的質(zhì) 量?；蛘撸治鰡卧?68可在不考慮取代幀的質(zhì)量的情況下考慮參考幀的質(zhì)量及/或運動向量可靠性。當(dāng)取代幀很有可能有利地對視覺及/或時間質(zhì)量有影響時，在選擇性地將所述幀 提供到顯示器170的過程中，分析單元168可為有效的。即使已執(zhí)行內(nèi)插或外推，如果質(zhì)量 水平不證明需要用來傳輸及顯示幀的額外資源，則拋棄幀仍可為有利的。可能需要大量的 電力來將取代幀從輸出幀緩沖器164傳輸?shù)斤@示器170。大體來說，分析單元168可經(jīng)配置以分析通過由視頻解碼器158中的取代單元166 執(zhí)行的FRUC過程產(chǎn)生的經(jīng)內(nèi)插或經(jīng)外推的視頻幀的一個或一個以上質(zhì)量及/或運動特性。 基于所述分析，分析單元168可指導(dǎo)控制單元172選擇性地啟用及停用用于在顯示裝置170 上呈現(xiàn)的經(jīng)內(nèi)插或經(jīng)外推的視頻幀的傳輸。盡管可針對質(zhì)量分析來分析例如SSIM、塊效應(yīng)、 模糊性及/或色溢的客觀視覺質(zhì)量度量特性，但可使用其它質(zhì)量度量。在一些方面中，解碼器158可經(jīng)配置以在不同模式下操作。在第一模式(例如，著 重資源模式)下，解碼器158可(例如)經(jīng)由控制單元172基于質(zhì)量分析選擇性地啟用及 停用用于在顯示裝置170上顯示的經(jīng)內(nèi)插或經(jīng)外推的視頻幀的傳輸。在第二操作模式下， 解碼器158的控制單元172可在不執(zhí)行質(zhì)量分析的情況下或不考慮質(zhì)量分析的結(jié)果的情況 下啟用用于在顯示裝置170上呈現(xiàn)的經(jīng)內(nèi)插或經(jīng)外推的幀的傳輸。分析單元168還可經(jīng)配置以考慮在過去一系列N個先前取代幀上已停用顯示的取 代幀的數(shù)目，其中N表示大于一的數(shù)。如果(例如)歸因于質(zhì)量特性尚未顯示最后N個幀 中大于預(yù)定數(shù)目或百分比M的先前取代幀，則分析單元168可啟用當(dāng)前取代幀的顯示。在 此情況下，可顯示當(dāng)前取代幀，即使其可能不滿足可適用的質(zhì)量閾值也如此。以此方式，分 析單元168可避免跳過長系列的取代幀的顯示。或者，替代于啟用顯示，分析單元168可減小用于當(dāng)前取代幀的一個或一個以上 可適用的質(zhì)量閾值，使得取代幀具有被顯示的較高機率。因此，在任一情況下，分析單元168 可至少部分基于在預(yù)定數(shù)目個先前幀上尚未顯示的取代幀的數(shù)目確定是否啟用當(dāng)前取代 幀的顯示。作為說明，如果考慮中的先前取代幀的數(shù)目為N = 10，且未顯示的幀的閾值數(shù)目 M為5，則如果在最后10個幀中的未顯示的幀的數(shù)目為5或更大，則分析單元168可指導(dǎo)控 制單元172準(zhǔn)許當(dāng)前取代幀的顯示。作為改進(jìn)，在一些實施方案中，并不考慮最后N個取代幀中尚未顯示的取代幀的 絕對數(shù)目，分析單元168可考慮尚未顯示的連續(xù)取代幀的數(shù)目。舉例來說，分析單元168可 應(yīng)用連續(xù)計數(shù)閾值M。如果(例如)歸因于質(zhì)量特性尚未顯示先前M+1個連續(xù)取代幀，則分 析單元可指導(dǎo)控制單元172啟用當(dāng)前取代幀的顯示。分析單元168可應(yīng)用廣泛多種閾值方 案中的任一者來基于先前取代幀的未顯示確定是否應(yīng)顯示當(dāng)前取代幀。因此，提供此描述 以用于說明的目的且無限制。圖13為說明用于選擇性顯示取代幀的實例技術(shù)的流程圖。圖12的解碼器158可 經(jīng)配置以執(zhí)行圖13的技術(shù)。如在圖13中所示，解碼器158可接收輸入視頻幀(174)、對幀 進(jìn)行解碼(176)且執(zhí)行幀取代(178)以使用所接收的幀中的一些作為用于內(nèi)插或外推的參 考幀來產(chǎn)生取代幀。分析單元(例如，提供于解碼器158中的分析單元168)可分析取代 幀中的全部或一些的一個或一個以上質(zhì)量特性(180)。在一些實施方案中，分析單元可經(jīng) 提供于視頻解碼器158、視頻后處理單元中，或視頻顯示處理單元(例如，移動顯示處理器 (MDP))中。舉例來說，分析單元168可分析由取代單元166產(chǎn)生的經(jīng)內(nèi)插或經(jīng)外推的幀中的各種客觀質(zhì)量特性，例如，SSIM、塊效應(yīng)、模糊性或色溢。如果取代幀的質(zhì)量滿足質(zhì)量閾值，例如，大于或等于質(zhì)量閾值(182)，則分析單元 168可(例如)通過啟用幀從輸出幀緩沖器164到顯示器170的傳輸而指導(dǎo)控制單元172 啟用取代幀的顯示(184)。如果質(zhì)量不滿足質(zhì)量閾值(182)，例如，小于或等于閾值，則分析 單元168可指導(dǎo)控制單元172停用取代幀的顯示(186)。在一些情況下，可(例如)基于可 用資源而自適應(yīng)地調(diào)整質(zhì)量閾值。因此，當(dāng)取代幀的質(zhì)量不令人滿意(例如，相對于預(yù)界定 的閾值質(zhì)量水平)時，即使已耗費了一些資源來產(chǎn)生取代幀，解碼器158還可避免額外資源 的消耗。在圖13的實例中，分析單元168可經(jīng)配置以分析取代幀自身的質(zhì)量以確定是否顯 示所述取代幀。因此，在一些情況下，可能不存在分析其它幀的需要。然而，在其它實施方 案中，分析單元168可分析用以產(chǎn)生取代幀的一個或一個以上參考幀的質(zhì)量作為用于確定 是否顯示取代幀的基礎(chǔ)。如由塊188指示，分析單元168可任選地單獨或結(jié)合取代幀的質(zhì) 量的分析來分析一個或一個以上參考幀的質(zhì)量。取代幀的質(zhì)量分析可大體涉及取代幀的像 素域值的分析。如上所述，參考幀的質(zhì)量分析可涉及像素域值、變換域值、MV可靠性、EC可 靠性等的分析。圖14A為說明可與如圖12中所示的視頻解碼器158 —起使用的分析單元168的 框圖。在圖14A的實例中，分析單元168經(jīng)配置以使用用于取代幀的客觀的一個或一個以 上質(zhì)量度量分析與取代幀相關(guān)聯(lián)的質(zhì)量。舉例來說，客觀度量檢查器173可分析客觀空間 質(zhì)量度量，例如，取代幀的SSIM、塊效應(yīng)、模糊性或色溢。可(例如)從取代幀的像素值獲 得所述度量。在一些實施方案中，客觀度量檢查器173可整體或在局部化區(qū)域的基礎(chǔ)上來 分析幀。質(zhì)量得分計算器175可基于所述客觀質(zhì)量度量產(chǎn)生質(zhì)量得分。比較單元177可將 質(zhì)量得分與閾值進(jìn)行比較以確定是啟用還是停用取代幀的顯示。如果質(zhì)量得分滿足質(zhì)量閾 值，則比較單元177可指導(dǎo)控制單元172準(zhǔn)許經(jīng)由顯示器170顯示取代幀。如果質(zhì)量得分 不滿足質(zhì)量閾值，則比較單元177可指導(dǎo)控制單元172停用取代幀的顯示。在此情況下，先 前或未來幀(而非所述取代幀)可由顯示器170重復(fù)。圖14B為說明可與如圖12中所示的視頻解碼器158 —起使用的另一分析單元168 的框圖。在圖14A的實例中，分析單元168經(jīng)配置以直接分析取代幀的質(zhì)量。在圖14B的 實例中，分析單元168可經(jīng)配置以分析參考幀的質(zhì)量、取代幀的質(zhì)量或兩者的組合。另外， 在圖14B中，分析單元168可經(jīng)配置以分析像素值、變換域值、運動向量及/或其它類型的 信息。大體來說，可以稍類似于圖5的分析單元42的方式配置分析單元168。舉例來說，分 析單元168可包括客觀度量檢查器173、質(zhì)量得分計算器175、比較單元177、EC檢查器179、 QP檢查器181、CBP檢查器183及MV可靠性檢查器185中的一者或一者以上?？陀^度量檢查器173可分析取代幀及/或用以產(chǎn)生所述取代幀的一個或一個以上 參考幀以產(chǎn)生客觀空間質(zhì)量及/或時間質(zhì)量的指示，如上所述。在一些實施方案中，客觀度 量檢查器173可整體或在局部化區(qū)域基礎(chǔ)上來分析幀。EC檢查器179可檢測切片損失，且 確定可接受的EC機制是否可用。QP檢查器181及CBP檢查器183可基于參考幀的QP及 CBP值產(chǎn)生質(zhì)量的指示。在一些實施方案中，質(zhì)量得分計算器175可(例如)以類似于參看圖5及圖9描 述的方式的方式計算總質(zhì)量得分以用于在取代幀的選擇性顯示中的考慮因素?？蓪γ恳蝗〈鷰卦O(shè)質(zhì)量得分。然而，如果已針對先前取代幀分析的質(zhì)量度量對當(dāng)前取代幀有用，則可 將其保留且再使用。作為一個實例，如果將同一參考幀用于另一取代幀，則可再使用已經(jīng)確 定用于用于取代幀的內(nèi)插或外推的特定參考幀的QP及CBP數(shù)據(jù)、MV可靠性數(shù)據(jù)或EC可靠 性數(shù)據(jù)。質(zhì)量得分計算器175可經(jīng)配置以基于客觀度量檢查器173、EC檢查器181、QP檢查 器181及CBP檢查器183中的一者或一者以上的輸出產(chǎn)生候選參考幀的總質(zhì)量得分。以類 似于參看圖5及圖9描述的過程的方式，由客觀度量檢查器173、EC檢查器181、QP檢查器 181及CBP檢查器183產(chǎn)生的個別得分可簡單地經(jīng)建構(gòu)為高或低質(zhì)量值，或高、中等或低質(zhì) 量值，或按照眾多層級或大體上連續(xù)的級別計算。質(zhì)量得分計算器175可使相等或不均勻 的加權(quán)與個別得分中的每一者一致，例如，使得總質(zhì)量得分為所有得分的加權(quán)總和。用以計算總得分的質(zhì)量特性(例如，客觀度量、EC特性、QP及CBP特性)可指示取 代幀是否有可能產(chǎn)生可接受的視覺質(zhì)量水平(當(dāng)由顯示器170呈現(xiàn)時)。比較單元177可 將總得分與質(zhì)量閾值進(jìn)行比較。如果總得分令人滿意(例如，符合或超過質(zhì)量閾值)，則比 較單元177指示取代幀具有對于由顯示器170呈現(xiàn)是可接受的質(zhì)量水平。如果總得分小于 質(zhì)量閾值，則比較單元177確定所述取代幀對于由顯示器170呈現(xiàn)是不可接受的。在每一 情況下，分析單元168可接著繼續(xù)分析下一個取代幀的選擇性顯示的質(zhì)量。即使質(zhì)量得分指示質(zhì)量令人滿意，MV可靠性檢查器185也可經(jīng)提供以確定與用以 產(chǎn)生取代幀的一個或一個以上參考幀相關(guān)聯(lián)的運動向量是否可靠。MV可靠性檢查器185可 分析一個或一個以上參考幀中的運動向量的可靠性以確保在幀取代利用運動補償預(yù)測方 法用于內(nèi)插或外推的情況下選定參考幀有可能產(chǎn)生質(zhì)量幀取代結(jié)果。如果運動向量可靠， 則MV可靠性檢查器185可將啟用信號傳輸?shù)娇刂茊卧?70以使取代幀由顯示器170顯示。 然而，如果運動向量不可靠，則MV可靠性檢查器185可將信號傳輸?shù)娇刂茊卧?72，使得取 代幀不由顯示器170顯示。替代地，控制單元172可停用取代幀的顯示，使得顯示器170可 重復(fù)先前或未來幀來替代取代幀。圖15為說明用于產(chǎn)生質(zhì)量得分以支持取代幀的選擇性顯示的實例技術(shù)的流程 圖。圖15的過程可類似于圖9的過程。然而，如參看圖12到圖14描述，得分過程可用于 已經(jīng)內(nèi)插或外推的取代幀的選擇性顯示，而非用于執(zhí)行內(nèi)插或外推的參考幀的選擇。如圖 15中所示，在考慮是否顯示取代幀的過程中，分析單元168可從所接收幀緩沖器160檢索用 于內(nèi)插或外推的一個或一個以上參考幀以產(chǎn)生取代幀(190)，且分析參考幀的QP及CBP值。 如在圖9的實例中，如在圖15中所示，分析單元168可基于QP及CBP值產(chǎn)生組合的基于QP 的得分。如果QP值小于可適用的QP閾值(QP_th)且CBP值不等于零(192)，則分析單元 168將所述幀的基于QP的得分設(shè)定到“高”(194)。如果QP值大于或等于QP閾值(QP_th) 或CBP值大致等于零(192)，則分析單元42將所述幀的基于QP的得分設(shè)定到“低”(196)。如在圖15中進(jìn)一步展示，分析單元168還可經(jīng)配置以對所述參考幀檢查切片損 失(198)。參看圖14B，切片損失檢查可由EC檢查器179執(zhí)行。如果存在切片損失，則分析 單元168可確定充分的錯誤隱藏(EC)機制是否可用于校正切片損失(200)。如果否，則分 析單元168將參考幀的基于EC的得分設(shè)定到“低”(202)。如果可靠且充分的EC機制可用 (124)，則分析單元168將基于EC的得分設(shè)定到“高”(204)。在此情況下，如果可使用EC機 制可靠地重現(xiàn)丟失的切片，則參考幀的質(zhì)量可指示取代幀可靠。然而，如果不可重現(xiàn)切片，則參考幀可指示取代幀可包括不應(yīng)被顯示的錯誤信息。分析單元168還可將客觀質(zhì)量度量應(yīng)用到參考幀及/或取代幀(206)。舉例來 說，分析單元168可分析參考幀的經(jīng)解碼且經(jīng)重建構(gòu)的版本以分析多種客觀度量中的任一 者，例如，塊效應(yīng)、模糊性、色溢等。另外，分析單元168可分析取代幀的像素域值。因此，可 將客觀度量應(yīng)用到像素域中的參考幀及/或取代幀以評估視覺質(zhì)量。分析單元168可量 化客觀度量中的每一者以用公式表示質(zhì)量度量得分QM。如果質(zhì)量度量得分QM大于或等于 可適用的質(zhì)量度量閾值(QM_th) (208)，則分析單元168將取代幀的基于QM的得分設(shè)定到 “高”(210)。如果質(zhì)量度量得分QM小于或等于質(zhì)量度量閾值(QM_th)，則分析單元168針 對取代幀將基于QM的得分設(shè)定到“低”(212)。分析單元168可基于基于QP的得分、基于EC的得分與基于QM的得分的組合設(shè)定 取代幀的總質(zhì)量得分(214)。可根據(jù)參考幀及/或取代幀的基于QP的得分、基于EC的得 分與基于QM的得分的加權(quán)總和用公式表示總質(zhì)量得分，其中分析單元168可將不同權(quán)重加 到個別得分中的每一者。獲得個別基于QP的得分、基于EC的得分及基于QM的得分的次序 可與圖15中展示的次序不同。另外，圖15中展示的特定類型的得分可經(jīng)受變化。大體來 說，分析單元168可經(jīng)配置以獲得指示取代幀將不破壞視覺質(zhì)量且將對證明顯示取代幀的 額外資源的耗費的一定程度的視覺質(zhì)量增強有影響的可能性的質(zhì)量得分。圖16為說明用于在視頻單元支持延遲敏感性視頻應(yīng)用時支持用于視頻單元取代 的參考視頻單元選擇的參考視頻單元的運動及/或質(zhì)量分析的實例技術(shù)的流程圖。圖16 的流程圖大體上對應(yīng)于圖8的流程圖，但進(jìn)一步包括確定由解碼器14支持的視頻應(yīng)用是否 為延遲敏感性應(yīng)用(例如，視頻電話)的操作(216)，且如果是，則確定是否符合可適用的時 間距離準(zhǔn)則(218)。在圖16的實例中，當(dāng)檢索候選參考幀(94)且檢測到延遲敏感性應(yīng)用(216)時，解 碼器14可確定所述幀相對于待添加的幀是否為未來幀。如果是，則解碼器14確定未來參 考幀的距離是否小于閾值距離。如果候選參考幀為小于遠(yuǎn)離待添加的幀的閾值距離的先前 幀或未來幀，則符合距離準(zhǔn)則(218)。在一些方面中，可按將候選參考幀與待添加的幀分開 的多個幀來表達(dá)距離。當(dāng)符合時間距離準(zhǔn)則時，解碼器14可繼續(xù)進(jìn)行質(zhì)量分析，例如，如參看圖8所描述 且在操作(96)到(112)中所展示。然而，如果不符合距離準(zhǔn)則，則解碼器14可繼續(xù)從考慮 中移除所述候選參考幀作為用于內(nèi)插的參考幀，且繼續(xù)檢索下一個候選參考幀(94)以用 于考慮。因此，將距離準(zhǔn)則應(yīng)用于延遲敏感性應(yīng)用可經(jīng)受多種不同實施方案，例如，基于距 取代幀的時間距離排除特定參考幀的選擇單元44 (圖4)的控制、部分基于距離經(jīng)由距離單 元63 (圖5)計算質(zhì)量得分，或當(dāng)不符合距離準(zhǔn)則時停用質(zhì)量分析的分析單元42的控制(例 如，如圖16中所示)。大體來說，如本發(fā)明中描述的用于選擇用于內(nèi)插的參考幀的技術(shù)可提供FRUC實 施方案，在各種方面中，所述FRUC實施方案可通過在不必要或有利時停用幀取代來降低資 源消耗，且通過選擇良好的參考幀供在幀取代中使用來增強經(jīng)內(nèi)插的幀的質(zhì)量。通過分析 QP及CBP值且基于此分析選擇高質(zhì)量參考幀，可實現(xiàn)增強的質(zhì)量的優(yōu)點，其在通過可變位 速率(VBR)控制機制壓縮的視頻中可尤其有用。另外，如果不存在錯誤隱藏機制或如果錯誤隱藏機制不提供良好質(zhì)量幀，則增強的質(zhì)量可已通過不選擇具有切片或幀損失的幀作為參考幀而實現(xiàn)。當(dāng)傳輸損失出現(xiàn)時，例 如，在視頻電話應(yīng)用的情況下，具有切片或幀損失及不充分的錯誤隱藏的幀的避免可尤其 有用。著重資源模式還可在降低電力消耗或其它資源的消耗同時大體上維持低運動視頻片 段中的客觀及主觀視頻質(zhì)量的過程中有效。本文中所描述的技術(shù)可實施于硬件、軟件、固件或其任何組合中。描述為模塊、單 元或組件的任何特征可一起實施于集成邏輯裝置中或單獨地作為離散但可共同操作的邏 輯裝置。在一些情況下，可將各種特征實施為集成電路裝置，例如，集成電路芯片或芯片組。 如果實施于軟件中，則所述技術(shù)可至少部分地由包含指令的計算機可讀媒體實現(xiàn)，在經(jīng)執(zhí) 行時，所述指令致使處理器執(zhí)行上述方法中的一者或一者以上。計算機可讀媒體可形成計算機程序產(chǎn)品的部分，計算機程序產(chǎn)品可包括封裝材 料。計算機可讀媒體可包含計算機數(shù)據(jù)存儲媒體，例如，隨機存取存儲器(RAM)、同步動態(tài)隨 機存取存儲器(SDRAM)、只讀存儲器(ROM)、非易失性隨機存取存儲器(NVRAM)、電可擦除可 編程只讀存儲器(EEPROM)、快閃存儲器、磁性或光學(xué)數(shù)據(jù)存儲媒體等。另外或替代地，所述 技術(shù)可至少部分地由計算機可讀通信媒體來實現(xiàn)，所述計算機可讀通信媒體以指令或數(shù)據(jù) 結(jié)構(gòu)的形式攜載或傳達(dá)代碼且可由計算機存取、讀取及/或執(zhí)行。代碼或指令可由一個或一個以上處理器執(zhí)行，例如，一個或一個以上DSP、通用微 處理器、ASIC、現(xiàn)場可編程邏輯陣列(FPGA)，或其它等效集成或離散邏輯電路。因此，如本 文中所使用的術(shù)語“處理器”可指前述結(jié)構(gòu)或適合于實施本文中所描述的技術(shù)的任何其它 結(jié)構(gòu)中的任一者。另外，在一些方面中，本文中描述的功能性可提供于專用軟件模塊或硬件 模塊內(nèi)。本發(fā)明還涵蓋包括實施本發(fā)明中描述的技術(shù)中的一者或一者以上的電路的多種集 成電路裝置中的任一者。可將所述電路提供于單一集成電路芯片中或在所謂的芯片組中的 多個可共同操作的集成電路芯片中。所述集成電路裝置可用于多種應(yīng)用中，其中一些可包 括在無線通信裝置(例如，移動電話手持機)中使用。已描述了所揭示的技術(shù)的各種方面。這些及其它方面處于所附權(quán)利要求書的范圍 內(nèi)。
權(quán)利要求
一種方法，其包含分析一個或一個以上候選參考視頻單元的至少一個特性；以及至少部分基于所述分析選擇所述候選參考視頻單元中的一者或一者以上作為參考視頻單元以用于額外視頻單元的內(nèi)插或外推。
2.根據(jù)權(quán)利要求1所述的方法，其中所述候選參考視頻單元中的每一者為候選參考視 頻幀，且所述額外視頻單元為額外視頻幀。
3.根據(jù)權(quán)利要求1所述的方法，其中所述至少一個特性包括指示使用所述候選參考視 頻單元中的一者或一者以上進(jìn)行內(nèi)插或外推的質(zhì)量水平的特性。
4.根據(jù)權(quán)利要求3所述的方法，其中分析所述至少一個特性包括分析所述候選參考視 頻單元中的一者或一者以上的量化參數(shù)(QP)及經(jīng)譯碼的塊參數(shù)(CBP)值。
5.根據(jù)權(quán)利要求3所述的方法，其中分析所述至少一個特性包括檢測所述候選參考視 頻單元中的一者或一者以上中的視頻單元損失，且其中選擇所述候選參考視頻單元中的一 者或一者以上作為參考視頻單元包括基于錯誤隱藏的質(zhì)量選擇所述候選參考視頻單元中 的一者或一者以上。
6.根據(jù)權(quán)利要求3所述的方法，其中分析所述至少一個特性包括分析所述候選參考視 頻單元中的一者或一者以上的一個或一個以上客觀視覺質(zhì)量度量。
7.根據(jù)權(quán)利要求3所述的方法，其中選擇所述候選參考視頻單元中的一者或一者以上 作為參考視頻單元包含選擇所述質(zhì)量水平滿足至少一個閾值的一個或一個以上候選參考 視頻單元。
8.根據(jù)權(quán)利要求7所述的方法，其進(jìn)一步包含基于所述質(zhì)量水平對滿足所述至少一個 閾值的所述候選參考視頻單元中的至少一些進(jìn)行分級，及選擇所述候選參考視頻單元中的 分級最高的一者或一者以上。
9.根據(jù)權(quán)利要求7所述的方法，其進(jìn)一步包含基于可用電力資源的水平調(diào)整所述至少 一個閾值。
10.根據(jù)權(quán)利要求1所述的方法，所述方法進(jìn)一步包含基于所述分析內(nèi)插或外推所述 額外視頻單元。
11.根據(jù)權(quán)利要求1所述的方法，其中所述至少一個特性包含指示所述候選參考視頻 單元中的一者或一者以上距所述額外視頻單元的時間距離的特性。
12.根據(jù)權(quán)利要求11所述的方法，其進(jìn)一步包含檢測延遲敏感性視頻應(yīng)用；以及當(dāng)檢測到所述延遲敏感性視頻應(yīng)用時，至少部分基于所述候選參考視頻單元中的一者 或一者以上距所述額外視頻單元的所述時間距離選擇所述候選參考視頻單元中的所述一者或一者以上。
13.根據(jù)權(quán)利要求11所述的方法，其進(jìn)一步包含至少部分基于所述候選參考視頻單元 中的一者或一者以上距所述額外視頻單元的所述時間距離選擇所述候選參考視頻單元中 的所述一者或一者以上。
14.一種裝置，其包含分析單元，其分析一個或一個以上候選參考視頻單元的至少一個特性；以及選擇單元，其至少部分基于所述分析選擇所述候選參考視頻單元中的一者或一者以上作為參考視頻單元以用于額外視頻單元的內(nèi)插或外推。
15.根據(jù)權(quán)利要求14所述的裝置，其中所述候選參考視頻單元中的每一者為候選參考 視頻幀，且所述額外視頻單元為額外視頻幀。
16.根據(jù)權(quán)利要求14所述的裝置，其中所述至少一個特性包括指示使用所述候選參考 視頻單元中的一者或一者以上進(jìn)行內(nèi)插或外推的質(zhì)量水平的特性。
17.根據(jù)權(quán)利要求16所述的裝置，其中所述分析單元分析所述候選參考視頻單元中的 一者或一者以上的量化參數(shù)(QP)及經(jīng)譯碼的塊參數(shù)(CBP)值。
18.根據(jù)權(quán)利要求16所述的裝置，其中所述分析單元檢測所述候選參考視頻單元中的 一者或一者以上中的視頻單元損失，且所述選擇單元基于錯誤隱藏的質(zhì)量選擇所述候選參 考視頻單元中的一者或一者以上。
19.根據(jù)權(quán)利要求16所述的裝置，其中所述分析單元分析所述候選參考視頻單元中的 一者或一者以上的一個或一個以上客觀視覺質(zhì)量度量。
20.根據(jù)權(quán)利要求16所述的裝置，其中所述選擇單元選擇所述質(zhì)量水平滿足至少一個 閾值的一個或一個以上候選參考視頻單元。
21.根據(jù)權(quán)利要求20所述的裝置，其中所述分析單元基于所述質(zhì)量水平對滿足所述至 少一個閾值的所述候選參考視頻單元中的至少一些進(jìn)行分級，且所述選擇單元選擇所述候 選參考視頻單元中的分級最高的一者或一者以上。
22.根據(jù)權(quán)利要求20所述的裝置，其進(jìn)一步包含調(diào)整單元，其基于可用電力資源的水 平調(diào)整所述至少一個閾值。
23.根據(jù)權(quán)利要求14所述的裝置，所述裝置進(jìn)一步包含取代單元，其基于所述分析內(nèi) 插或外推所述額外視頻單元。
24.根據(jù)權(quán)利要求14所述的裝置，其中所述至少一個特性包含指示所述候選參考視頻 單元中的一者或一者以上距所述額外視頻單元的時間距離的特性。
25.根據(jù)權(quán)利要求24所述的裝置，其進(jìn)一步包含延遲檢測單元，其檢測延遲敏感性視 頻應(yīng)用，其中當(dāng)檢測到所述延遲敏感性視頻應(yīng)用時，所述選擇單元至少部分基于所述一個 或一個以上候選參考視頻單元距所述額外視頻單元的所述時間距離選擇所述候選參考視 頻單元中的所述一者或一者以上。
26.根據(jù)權(quán)利要求24所述的裝置，其中所述選擇單元至少部分基于所述一個或一個以 上候選參考視頻單元距所述額外視頻單元的所述時間距離選擇所述候選參考視頻單元中 的所述一者或一者以上。
27.根據(jù)權(quán)利要求14所述的裝置，其中所述裝置包含無線通信裝置手持機。
28.根據(jù)權(quán)利要求14所述的裝置，其中所述裝置包含集成電路裝置。
29.一種裝置，其包含用于分析一個或一個以上候選參考視頻單元的至少一個特性的裝置；以及用于至少部分基于所述分析選擇所述候選參考視頻單元中的一者或一者以上作為參 考視頻單元以用于額外視頻單元的內(nèi)插或外推的裝置。
30.根據(jù)權(quán)利要求29所述的裝置，其中所述候選參考視頻單元中的每一者為候選參考 視頻幀，且所述額外視頻單元為額外視頻幀。
31.根據(jù)權(quán)利要求29所述的裝置，其中所述至少一個特性包括指示使用所述候選參考視頻單元中的一者或一者以上進(jìn)行內(nèi)插或外推的質(zhì)量水平的特性。
32.根據(jù)權(quán)利要求31所述的裝置，其中所述用于分析所述至少一個特性的裝置包括 用于分析所述候選參考視頻單元中的一者或一者以上的量化參數(shù)(QP)及經(jīng)譯碼的塊參數(shù) (CBP)值的裝置。
33.根據(jù)權(quán)利要求31所述的裝置，其中所述用于分析所述至少一個特性的裝置包括用 于檢測所述候選參考視頻單元中的一者或一者以上中的視頻單元損失的裝置，且所述用于 選擇的裝置包含用于基于錯誤隱藏的質(zhì)量選擇所述候選參考視頻單元中的一者或一者以 上的裝置。
34.根據(jù)權(quán)利要求31所述的裝置，其中所述用于分析所述至少一個特性的裝置包括用 于分析所述候選參考視頻單元中的一者或一者以上的一個或一個以上客觀視覺質(zhì)量度量 的裝置。
35.根據(jù)權(quán)利要求31所述的裝置，其中所述用于選擇的裝置包含用于選擇所述質(zhì)量水 平滿足至少一個閾值的一個或一個以上候選參考視頻單元的裝置。
36.根據(jù)權(quán)利要求35所述的裝置，其進(jìn)一步包含用于基于所述質(zhì)量水平對滿足所述至 少一個閾值的所述候選參考視頻單元中的至少一些進(jìn)行分級的裝置，及用于選擇所述候選 參考視頻單元中的分級最高的一者或一者以上的裝置。
37.根據(jù)權(quán)利要求35所述的裝置，其進(jìn)一步包含用于基于可用電力資源的水平調(diào)整所 述至少一個閾值的裝置。
38.根據(jù)權(quán)利要求29所述的裝置，所述裝置進(jìn)一步包含用于基于所述分析內(nèi)插或外推 所述額外視頻單元的裝置。
39.根據(jù)權(quán)利要求29所述的裝置，其中所述至少一個特性包含指示所述候選參考視頻 單元中的一者或一者以上距所述額外視頻單元的時間距離的特性。
40.根據(jù)權(quán)利要求39所述的裝置，其進(jìn)一步包含用于檢測延遲敏感性視頻應(yīng)用的裝置；以及用于在檢測到所述延遲敏感性視頻應(yīng)用時至少部分基于所述一個或一個以上候選參 考視頻單元距所述額外視頻單元的所述時間距離選擇所述候選參考視頻單元中的所述一 者或一者以上的裝置。
41.根據(jù)權(quán)利要求39所述的裝置，其進(jìn)一步包含用于至少部分基于所述一個或一個以 上候選參考視頻單元距所述額外視頻單元的所述時間距離選擇所述候選參考視頻單元中 的所述一者或一者以上的裝置。
42.一種計算機可讀媒體，其包含致使一個或一個以上處理器執(zhí)行以下操作的指令分析一個或一個以上候選參考視頻單元的至少一個特性；以及至少部分基于所述分析選擇所述候選參考視頻單元中的一者或一者以上作為參考視 頻單元以用于額外視頻單元的內(nèi)插或外推。
43.根據(jù)權(quán)利要求42所述的計算機可讀媒體，其中所述候選參考視頻單元中的每一者 為候選參考視頻幀，且所述額外視頻單元為額外視頻幀。
44.根據(jù)權(quán)利要求42所述的計算機可讀媒體，其中所述至少一個特性包括指示使用所 述候選參考視頻單元中的一者或一者以上進(jìn)行內(nèi)插或外推的質(zhì)量水平的特性。
45.根據(jù)權(quán)利要求44所述的計算機可讀媒體，其中所述指令致使一個或一個以上處理器分析所述候選參考視頻單元中的一者或一者以上的量化參數(shù)(QP)及經(jīng)譯碼的塊參數(shù) (CBP)值。
46.根據(jù)權(quán)利要求44所述的計算機可讀媒體，其中所述指令致使一個或一個以上處理 器檢測所述候選參考視頻單元中的一者或一者以上中的視頻單元損失，及基于錯誤隱藏的 質(zhì)量選擇所述候選參考視頻單元中的一者或一者以上。
47.根據(jù)權(quán)利要求44所述的計算機可讀媒體，其中所述指令致使一個或一個以上處理 器分析所述候選參考視頻單元中的一者或一者以上的一個或一個以上客觀視覺質(zhì)量度量。
48.根據(jù)權(quán)利要求44所述的計算機可讀媒體，其中所述指令致使所述一個或一個以上 處理器選擇所述質(zhì)量水平滿足至少一個閾值的一個或一個以上候選參考視頻單元。
49.根據(jù)權(quán)利要求48所述的計算機可讀媒體，其中所述指令致使所述一個或一個以上 處理器基于所述質(zhì)量水平對滿足所述至少一個閾值的所述候選參考視頻單元中的至少一 些進(jìn)行分級，及選擇所述候選參考視頻單元中的分級最高的一者或一者以上。
50.根據(jù)權(quán)利要求48所述的計算機可讀媒體，其中所述指令致使所述一個或一個以上 處理器基于可用電力資源的水平調(diào)整所述至少一個閾值。
51.根據(jù)權(quán)利要求42所述的計算機可讀媒體，其中所述指令致使所述一個或一個以上 處理器基于所述分析內(nèi)插或外推所述額外視頻單元。
52.根據(jù)權(quán)利要求42所述的計算機可讀媒體，其中所述至少一個特性包含指示所述候 選參考視頻單元中的一者或一者以上距所述額外視頻單元的時間距離的特性。
53.根據(jù)權(quán)利要求52所述的計算機可讀媒體，其中所述指令致使所述一個或一個以上 處理器檢測延遲敏感性視頻應(yīng)用；以及當(dāng)檢測到所述延遲敏感性視頻應(yīng)用時，至少部分基于所述候選參考視頻單元中的一者 或一者以上距所述額外視頻單元的所述時間距離選擇所述候選參考視頻單元中的所述一者或一者以上。
54.根據(jù)權(quán)利要求52所述的計算機可讀媒體，其中所述指令致使所述一個或一個以上 處理器至少部分基于所述候選參考視頻單元中的一者或一者以上距所述額外視頻單元的 所述時間距離選擇所述候選參考視頻單元中的所述一者或一者以上。
全文摘要
本發(fā)明描述待用于例如視頻幀等視頻單元的內(nèi)插或外推的參考視頻單元的選擇。解碼器可應(yīng)用著重質(zhì)量模式來基于質(zhì)量準(zhǔn)則選擇參考幀。所述質(zhì)量準(zhǔn)則可指示有可能由參考幀產(chǎn)生的質(zhì)量水平。如果無參考幀滿足所述質(zhì)量準(zhǔn)則，則可停用內(nèi)插或外推?？苫谫|(zhì)量分析選擇性地啟用經(jīng)內(nèi)插或經(jīng)外推的幀的顯示。解碼器可應(yīng)用著重資源幀內(nèi)插模式來基于電力及質(zhì)量考慮啟用或停用對一些幀的幀內(nèi)插或外推。在一個模式下，當(dāng)參考幀不大可能產(chǎn)生令人滿意的質(zhì)量時，可停用幀內(nèi)插以節(jié)省電力。在另一模式下，閾值可為可依據(jù)電力節(jié)約要求變化而調(diào)整的。
文檔編號H04N7/46GK101919255SQ200880125042
公開日2010年12月15日 申請日期2008年12月10日 優(yōu)先權(quán)日2007年12月10日
發(fā)明者哈立德·希勒米·埃爾-馬勒, 戴閔, 格克切·戴恩, 滕佳緣 申請人:高通股份有限公司