專利名稱：將后處理視為在解碼器中執(zhí)行的視頻編碼的制作方法
技術(shù)領(lǐng)域：
本申請(qǐng)案大體上是針對(duì)多媒體數(shù)據(jù)處理，且更明確地說，是針對(duì)使用后解碼器處理 技術(shù)來對(duì)視頻進(jìn)行編碼。
背景技術(shù)：
對(duì)將高分辨率多媒體數(shù)據(jù)傳輸?shù)斤@示裝置(例如，手機(jī)、計(jì)算機(jī)和PDA的顯示裝 置)存在不斷增長的需求。為最佳地檢視某些多媒體數(shù)據(jù)(例如，體育、視頻、電視廣 播饋入和其它此些圖像)而需要高分辨率(本文用來指示査看某些所需細(xì)節(jié)和特征所需 要的分辨率的術(shù)語)。提供高分辨率多媒體數(shù)據(jù)通常需要增加發(fā)送到顯示裝置的數(shù)據(jù)的 量，這是需要較多通信資源和傳輸帶寬的過程。
空間可縮放性是用以增強(qiáng)分辨率的典型方法，其中高分辨率信息(明確地說，高頻 率數(shù)據(jù))經(jīng)編碼目-作為增強(qiáng)層而傳輸?shù)捷^低分辨率數(shù)據(jù)的基礎(chǔ)層。然而，空間可縮放性 效率較低，因?yàn)榇诵?shù)據(jù)具有類似噪聲的統(tǒng)計(jì)特征且具有較差的編碼效率。另外，空間 可縮放性是高限制性的，因?yàn)樯先臃直媛试趧?chuàng)建/編碼增強(qiáng)層時(shí)已預(yù)先確定。因此，需 要其它方法來克服空間可縮放性和此項(xiàng)技術(shù)中已知的其它分辨率增強(qiáng)方法的不足。

發(fā)明內(nèi)容
本文中描述的設(shè)備和方法中的每一者均具有若干方面，所述方面中并無單個(gè)方面單 獨(dú)負(fù)責(zé)其理想的屬性。在不限制本發(fā)明的范圍的情況下，現(xiàn)將簡要論述本發(fā)明較突出的 特征。在考慮此論述后，且明確地說，在閱讀題為"具體實(shí)施方式
"的章節(jié)后，將理解 本發(fā)明的特征如何提供對(duì)多媒體數(shù)據(jù)處理設(shè)備和方法的改進(jìn)。
在一個(gè)方面，處理多媒體數(shù)據(jù)的方法包含識(shí)別后處理技術(shù)的指示符；對(duì)第一多媒 體數(shù)據(jù)進(jìn)行編碼以形成第一經(jīng)編碼數(shù)據(jù)；處理所述第一經(jīng)編碼數(shù)據(jù)以形成第二多媒體數(shù) 據(jù)，所述處理包括通過應(yīng)用由所述指示符識(shí)別的所述后處理技術(shù)來對(duì)所述第一經(jīng)編碼數(shù) 據(jù)進(jìn)行解碼；將所述第二多媒體數(shù)據(jù)與所述第一多媒體數(shù)據(jù)進(jìn)行比較以確定比較信息； 以及基于差異信息而產(chǎn)生第二經(jīng)編碼數(shù)據(jù)。比較以確定比較信息可包含確定指示所述第 二多媒體數(shù)據(jù)與所述第一多媒體數(shù)據(jù)之間的差異的差異信息。所述第一多媒體數(shù)據(jù)編碼 可包含對(duì)所述第一多媒體數(shù)據(jù)進(jìn)行下取樣和壓縮以形成所述第一經(jīng)編碼數(shù)據(jù)。
可使用各種后處理技術(shù)，例如包含上取樣、應(yīng)用噪聲減少技術(shù)以減少第二多媒體數(shù)據(jù)中的噪聲以及應(yīng)用強(qiáng)化第一多媒體圖像的至少一個(gè)特征的增強(qiáng)技術(shù)。所述增強(qiáng)技術(shù)可 包含應(yīng)用包括增強(qiáng)對(duì)應(yīng)于第一多媒體圖像中的皮膚特征的皮膚信息的增強(qiáng)技術(shù)。所述方 法可進(jìn)一步包括將第二經(jīng)編碼數(shù)據(jù)和第一經(jīng)編碼數(shù)據(jù)傳輸?shù)?例如)終端裝置。所述方 法可進(jìn)一步包括使用第二經(jīng)編碼數(shù)據(jù)來對(duì)第一經(jīng)編碼數(shù)據(jù)進(jìn)行解碼。對(duì)第一經(jīng)編碼數(shù)據(jù) 進(jìn)行解碼以形成第二多媒體圖像可包含使用直方圖均衡、使用邊緣增強(qiáng)技術(shù)和/或使用視 頻復(fù)原?？纱_定關(guān)于各種規(guī)模的數(shù)據(jù)的差異信息，包含通過區(qū)塊、宏區(qū)塊或促進(jìn)此方法 的特定實(shí)施例的另一大小的數(shù)據(jù)。所述差異信息包括低分辨率經(jīng)編碼數(shù)據(jù)中的現(xiàn)存信息 的一組關(guān)系；此組關(guān)系可包括等式、包含經(jīng)量化殘差系數(shù)的數(shù)量和位置的決策邏輯， 和/或包括模糊邏輯規(guī)則的決策邏輯。
在另一實(shí)施例中， 一種用于處理多媒體數(shù)據(jù)的系統(tǒng)包含編碼器，其經(jīng)配置以識(shí)別
后處理技術(shù)的指示符，il進(jìn)一步經(jīng)配置以對(duì)第一多媒體數(shù)據(jù)進(jìn)行編碼從而形成第一經(jīng)編
碼數(shù)據(jù)；第一解碼器，其經(jīng)配置以處理所述第一經(jīng)編碼數(shù)據(jù)從而形成第二多媒體數(shù)據(jù)， 所述處理包括對(duì)所述第一經(jīng)編碼數(shù)據(jù)進(jìn)行解碼以及應(yīng)用由所述指示符識(shí)別的所述后處 理技術(shù)；以及比較器，其經(jīng)配置以確定比較信息，所述編碼器進(jìn)一步經(jīng)配置以基于差異 信息而產(chǎn)生第二經(jīng)編碼數(shù)據(jù)，其中所述第二經(jīng)編碼數(shù)據(jù)隨后用于對(duì)所述第一經(jīng)編碼數(shù)據(jù) 進(jìn)行解碼。所述比較信息可包括指示所述第一多媒體數(shù)據(jù)與所述第二多媒體數(shù)據(jù)之間的 差異的差異信息。所述編碼器可經(jīng)配置以通過對(duì)所述第一多媒體數(shù)據(jù)進(jìn)行下取樣且壓縮 所得的經(jīng)下取樣的數(shù)據(jù)來對(duì)所述第一經(jīng)編碼數(shù)據(jù)進(jìn)行編碼。所述第一解碼器配置可包 含上取樣過程和解壓縮過程，用以產(chǎn)生經(jīng)編碼的圖像；以及數(shù)據(jù)存儲(chǔ)裝置，其中保存 用于形成第二多媒體圖像的解碼技術(shù)的指示符。所述后處理技術(shù)進(jìn)一步包括噪聲濾波模 塊，其經(jīng)配置以減少第二多媒體數(shù)據(jù)屮的噪聲。在一些實(shí)施例中，所述后處理技術(shù)包括 強(qiáng)化第二多媒體數(shù)據(jù)的特征的增強(qiáng)技術(shù)。
在另一實(shí)施例中， 一種用于處理多媒體數(shù)據(jù)的系統(tǒng)包含用于識(shí)別后處理技術(shù)的指 示符的裝置；用于對(duì)第一多媒體數(shù)據(jù)進(jìn)行編碼以形成第一經(jīng)編碼數(shù)據(jù)的裝置用于處理 所述第一經(jīng)編碼數(shù)據(jù)以形成第二多媒體數(shù)據(jù)的裝置，所述處理包括對(duì)所述第一經(jīng)編碼數(shù) 據(jù)進(jìn)行解碼以及應(yīng)用由所述指示符識(shí)別的所述后處理技術(shù)；用于將所述第二多媒體數(shù)據(jù) 與所述第一多媒體數(shù)據(jù)進(jìn)行比較以確定比較信息的裝置；以及用于基于所述比較信息而 產(chǎn)生第二經(jīng)編碼數(shù)據(jù)的裝置。
在另一實(shí)施例中， 一種機(jī)器可讀媒體包括用于處理多媒體數(shù)據(jù)的指令，當(dāng)執(zhí)行時(shí)，
所述指令致使機(jī)器識(shí)別后處理技術(shù)的指示符；對(duì)第一多媒體數(shù)據(jù)進(jìn)行編碼以形成第一
經(jīng)編碼數(shù)據(jù)；處理所述第一經(jīng)編碼數(shù)據(jù)以形成第二多媒體數(shù)據(jù)，所述處理包括對(duì)所述第
8一經(jīng)編碼數(shù)據(jù)進(jìn)行解碼以及應(yīng)用由所述指示符識(shí)別的所述后處理技術(shù)；將所述第二多媒 體數(shù)據(jù)與所述第一多媒體數(shù)據(jù)進(jìn)行比較以確定比較信息；以及基于差異信息而產(chǎn)生第二 經(jīng)編碼數(shù)據(jù)。
在另一實(shí)施例中， 一種用于處理多媒體數(shù)據(jù)的系統(tǒng)包含終端裝置，其經(jīng)配置以接收 第一經(jīng)編碼多媒體數(shù)據(jù)，所述第一經(jīng)編碼多媒體是從第一多媒體數(shù)據(jù)產(chǎn)生的，所述終端 裝置進(jìn)一步經(jīng)配置以接收第二經(jīng)編碼數(shù)據(jù)，所述第二經(jīng)編碼數(shù)據(jù)包括表示第一多媒體數(shù) 據(jù)的像素與第二多媒體數(shù)據(jù)的對(duì)應(yīng)像素之間的差異的信息，其中通過對(duì)所述第一多媒體 數(shù)據(jù)進(jìn)行編碼目.接著使用還用于所述終端裝置的解碼器中的后處理技術(shù)對(duì)所述經(jīng)編碼 的第一多媒體數(shù)據(jù)進(jìn)行解碼來形成所述第二多媒體數(shù)據(jù)，所述終端裝置包括解碼器，其 經(jīng)配置以對(duì)所述第二經(jīng)編碼數(shù)據(jù)進(jìn)行解碼，且使用來自所述經(jīng)解碼的第二經(jīng)編碼數(shù)據(jù)的 信息對(duì)所述第一經(jīng)編碼數(shù)據(jù)進(jìn)行解碼。
在另一實(shí)施例中， 一種處理多媒體數(shù)據(jù)的方法，所述方法包含在終端裝置中接收 第一經(jīng)編碼多媒體，所述第一經(jīng)編碼多媒體是從第一多媒體數(shù)據(jù)產(chǎn)生的在所述終端裝 置中接收第二經(jīng)編碼數(shù)據(jù)，所述第二經(jīng)編碼數(shù)據(jù)包括表示通過將第一多媒體數(shù)據(jù)與第二 多媒體數(shù)據(jù)進(jìn)行比較而產(chǎn)生的差異的信息，通過對(duì)所述第一多媒體數(shù)據(jù)進(jìn)行編碼且接著 使用還用于所述終端裝置的解碼器中的后處理技術(shù)對(duì)所述經(jīng)編碼的第一多媒體數(shù)據(jù)進(jìn) 行解碼來形成所述第二多媒體；對(duì)所述第二經(jīng)編碼數(shù)據(jù)進(jìn)行解碼以產(chǎn)生差異信息；以及 使用所述差異信息對(duì)所述第一經(jīng)編碼數(shù)據(jù)進(jìn)行解碼。


圖1是說明用于傳遞多媒體的通信系統(tǒng)的框圖。 圖2是說明用于對(duì)多媒體進(jìn)行編碼的通信系統(tǒng)的特定組件的框圖。 圖3是說明用于對(duì)多媒體進(jìn)行編碼的通信系統(tǒng)的特定組件的另一實(shí)施例的框圖。 圖4是說明用于對(duì)多媒體進(jìn)行編碼的特定組件的另一實(shí)施例的框圖。 圖5是說明具有經(jīng)配置以用于對(duì)多媒體數(shù)據(jù)進(jìn)行編碼的處理器的編碼裝置的框圖。 圖6是說明具有經(jīng)配置以用于對(duì)多媒體數(shù)據(jù)進(jìn)行編碼的處理器的編碼裝置的另一實(shí) 施例的框圖。
圖7是說明對(duì)多媒體數(shù)據(jù)進(jìn)行編碼的過程的流程圖。 圖8是說明內(nèi)插濾波器系數(shù)因子的實(shí)例的表。
圖9是說明用以指定將在解碼器處執(zhí)行的后處理操作的類型及其參數(shù)的指示符的表。圖10是說明通過重新映射多媒體數(shù)據(jù)的至少一部分的像素亮度值來對(duì)多媒體數(shù)據(jù) 進(jìn)行編碼的過程的流程圖。
圖11是具有經(jīng)配置以在編碼前修改多媒體數(shù)據(jù)的預(yù)處理器的編碼裝置的框圖。
具體實(shí)施例方式
在以下描述中，給出具體細(xì)節(jié)以提供對(duì)所描述的方面的全面理解。然而，所屬領(lǐng)域 的技術(shù)人員將理解，可在沒有這些具體細(xì)節(jié)的情況下實(shí)踐所述方面。舉例來說，電路可 能以框圖的形式展示，以便不會(huì)在不必要的細(xì)節(jié)方面使所述方面模糊。在其它情況下， 可能不詳細(xì)地展示眾所周知的電路、結(jié)構(gòu)和技術(shù)，以便不會(huì)使所述方面模糊。
本文中對(duì)"一個(gè)方面"、"一方面"、"一些方面"或"某些方面"以及使用術(shù)語"實(shí) 施例"的類似短語的提及意味著結(jié)合所述方面而描述的特定特征、結(jié)構(gòu)或特性中的一者 或一者以上可包含在至少一個(gè)方面中。在本說明書中各處出現(xiàn)此些短語未必全部指代同 一方面，也不是與其它方面相互排斥的單獨(dú)或替代方面。此外，描述可通過一些方面而 不是通過其它方面展現(xiàn)的各種特征。類似地，描述可能是對(duì)一些方面而不是其它方面的 要求的各種要求。
如本文中所使用的"多媒體數(shù)據(jù)"或僅"多媒體"是廣義術(shù)語，其包含視頻數(shù)據(jù)(其 可包含音頻數(shù)據(jù))、音頻數(shù)據(jù)或視頻數(shù)據(jù)和音頻數(shù)據(jù)兩者，且還可包含圖形數(shù)據(jù)。如本 文中所使用的"視頻數(shù)據(jù)"或"視頻"是廣義術(shù)語，其指代含有文本信息或圖像信息和 /或音頻數(shù)據(jù)的圖像的序列。
為了將所需的高分辨率多媒體數(shù)據(jù)提供給一個(gè)或一個(gè)以上顯示裝置，空間可縮放性 和上取樣算法通常包含圖像或邊緣增強(qiáng)技術(shù)，所述技術(shù)使用邊緣檢測(cè)接著使用線性或自 適應(yīng)(有時(shí)為非線性)濾波過程。然而，無法通過具有高百分比的置信度的這些機(jī)制來 檢測(cè)在編碼器處在壓縮和下取樣期間丟失的關(guān)鍵和細(xì)微細(xì)節(jié)邊緣，或者在解碼和上取樣 期間無法有效地重新創(chuàng)建關(guān)鍵和細(xì)微細(xì)節(jié)邊緣。本文中所描述的方法和系統(tǒng)的某些特征 包含用以識(shí)別與由于壓縮而丟失的多媒體數(shù)據(jù)的細(xì)節(jié)有關(guān)的信息的過程。其它特征與通 過使用此信息在經(jīng)解碼的多媒體數(shù)據(jù)中復(fù)原此些細(xì)節(jié)有關(guān)。進(jìn)一步關(guān)于圖l到圖7來描 述和說明此處所介紹的此些系統(tǒng)和方法。在一個(gè)示范性實(shí)施例中，為了促進(jìn)對(duì)多媒體數(shù) 據(jù)進(jìn)行編碼的過程，編碼方法可使用與后處理或解碼過程(例如，在顯示裝置處)有關(guān) 的信息來對(duì)多媒體數(shù)據(jù)進(jìn)行編碼，以解決由特定的編碼和/或解碼過程(例如，在編碼器 中實(shí)施的下取樣和/或在解碼器中實(shí)施的上取樣算法)產(chǎn)生的數(shù)據(jù)不一致。
在一個(gè)實(shí)例中，首先對(duì)多媒體數(shù)據(jù)進(jìn)行編碼(例如，下取樣和壓縮)，從而形成隨后將被傳輸?shù)街辽僖粋€(gè)顯示裝置的經(jīng)壓縮數(shù)據(jù)。使用解碼器的已知解碼和上取樣算法來 對(duì)經(jīng)編碼數(shù)據(jù)的拷貝進(jìn)行解壓縮和上取樣，且將所得數(shù)據(jù)與原始接收到的(未經(jīng)壓縮的) 多媒體數(shù)據(jù)進(jìn)行比較。將原始多媒體數(shù)據(jù)與經(jīng)解壓縮的經(jīng)上取樣的數(shù)據(jù)之間的差異表示 為"差異信息"。并入后處理技術(shù)(例如，下取樣和上取樣濾波器)中的增強(qiáng)過程可移 除噪聲、增強(qiáng)特征(例如，皮膚、面部特征、指示"快速移動(dòng)"對(duì)象的數(shù)據(jù)中的快速改 變區(qū))，或減小所產(chǎn)生的差異信息中的熵。將差異信息編碼為"輔助信息"。輔助信息還 被傳輸?shù)浇獯a器，在解碼器處，輔助信息用以增強(qiáng)在編碼期間可能已經(jīng)降級(jí)的經(jīng)解碼圖 像的細(xì)節(jié)?？山又鴮⒔?jīng)增強(qiáng)的圖像呈現(xiàn)在顯示裝置上。
圖1是用于傳遞流式傳輸或其它類型的多媒體數(shù)據(jù)的通信系統(tǒng)10的框圖。此技術(shù) 可應(yīng)用于數(shù)字傳輸設(shè)施12中，數(shù)字傳輸設(shè)施12將數(shù)字經(jīng)壓縮多媒體數(shù)據(jù)傳輸?shù)皆S多顯 示裝置或終端16。由傳輸設(shè)施12接收的多媒體數(shù)據(jù)可以是數(shù)字視頻源，例如，數(shù)字電 纜饋入或經(jīng)數(shù)字化的模擬高信號(hào)/比源。在傳輸設(shè)施12中處理視頻源，并將其調(diào)制到載 波上以供在網(wǎng)絡(luò)14上傳輸?shù)揭粋€(gè)或一個(gè)以上終端16。
網(wǎng)絡(luò)14可以是適合傳輸數(shù)據(jù)的任一類型的有線或無線網(wǎng)絡(luò)，包含以太網(wǎng)、電話(例 如，POTS)、電纜、電力線和光纖系統(tǒng)和/或無線系統(tǒng)中的一者或一者以上，其中無線系 統(tǒng)包括以下系統(tǒng)中的一者或一者以上碼分多址(CDMA或CDMA2000)通信系統(tǒng)、 頻分多址(FDMA)系統(tǒng)、正交頻分多重(orthogonal frequency division multiple, OFDM) 接入系統(tǒng)、例如GSM/GPRS (通用無線分組業(yè)務(wù))/EDGE (增強(qiáng)型數(shù)據(jù)GSM環(huán)境)的 時(shí)分多址(TDMA)系統(tǒng)、TETRA (陸地中繼無線電)移動(dòng)電話系統(tǒng)、寬帶碼分多址 (WCDMA)系統(tǒng)、高數(shù)據(jù)速率(lxEV-DO或lxEV-DO黃金多播)系統(tǒng)、IEEE 802.11 系統(tǒng)、MediaFLOTM系統(tǒng)、DMB系統(tǒng)或DVB-H系統(tǒng)。舉例來說，所述網(wǎng)絡(luò)可以是蜂窩 式電話網(wǎng)絡(luò)、例如因特網(wǎng)的全球計(jì)算機(jī)通信網(wǎng)絡(luò)、廣域網(wǎng)、城域網(wǎng)、局域網(wǎng)和衛(wèi)星網(wǎng)絡(luò)， 以及這些和其它類型網(wǎng)絡(luò)的部分或組合。
從網(wǎng)絡(luò)14接收經(jīng)編碼的多媒體數(shù)據(jù)的每一終端16可以是任一類型的通信裝置，包 含(但不限于)無線電話、個(gè)人數(shù)字助理(PDA)、個(gè)人計(jì)算機(jī)、電視機(jī)、機(jī)頂盒、桌 上型、膝上型或掌上型計(jì)算機(jī)(PDA)、視頻/圖像存儲(chǔ)裝置(例如盒式磁帶錄像機(jī)(video cassette recorder, VCR)、數(shù)字錄像機(jī)(DVR)等)以及這些和其它裝置的部分或組合。
圖2是說明用于對(duì)多媒體進(jìn)行編碼的數(shù)字傳輸設(shè)施12中的通信系統(tǒng)的特定組件的
框圖。傳輸設(shè)施12包含多媒體源26，多媒體源26經(jīng)配置以基于其(例如)從存儲(chǔ)裝置
接收到或以其它方式可以使用的多媒體，將多媒體數(shù)據(jù)提供給編碼裝置20。編碼裝置
20 (至少部分地)基于與解碼算法有關(guān)的信息來對(duì)多媒體數(shù)據(jù)進(jìn)行編碼，所述解碼算法
11隨后用于或可用于例如終端16的下游接收裝置中。
編碼裝置20包含用于對(duì)多媒體數(shù)據(jù)進(jìn)行編碼的第一編碼器21。第一編碼器21將經(jīng) 編碼的多媒體數(shù)據(jù)提供給通信模塊25，用于傳輸?shù)浇K端16中的一者或一者以上。第一 編碼器21還將經(jīng)編碼數(shù)據(jù)的拷貝提供給解碼器22。解碼器22經(jīng)配置以對(duì)經(jīng)編碼的數(shù)據(jù) 進(jìn)行解碼，且應(yīng)用優(yōu)選還在接收裝置中的解碼過程中使用的后處理技術(shù)。解碼器22將 經(jīng)解碼的數(shù)據(jù)提供給比較器23。
識(shí)別指示符以供解碼器22使用，所述指示符指示后處理技術(shù)。如在前述句子中使 用的"識(shí)別"指解碼器保存、存儲(chǔ)、選擇或可以使用指示符。在一些實(shí)施例中，所述指 示符可保存或存儲(chǔ)在解碼器22的存儲(chǔ)器裝置中，或保存或存儲(chǔ)在與解碼器22通信的另 一裝置中。在一些實(shí)施例中，所述指示符可選自多個(gè)指示符，每一指示符指示后處理技 術(shù)。在一些實(shí)施例中，在不知道接收裝置中的解碼器所使用的具體處理技術(shù)的情況下， 解碼器22還可使用其它已知或典型的處理技術(shù)。
解碼器22可經(jīng)配置以執(zhí)行一種或一種以上后處理技術(shù)。在一些實(shí)施例中，解碼器 22經(jīng)配置以基于指示使用哪一技術(shù)的輸入而使用多種后處理技術(shù)中的一者。通常，由于 用于對(duì)多媒體數(shù)據(jù)進(jìn)行編碼的第一編碼器21中所使用的壓縮和下取樣過程，以及用于 對(duì)多媒體數(shù)據(jù)進(jìn)行解碼的解碼器22中所使用的解壓縮和上取樣過程，經(jīng)解碼的數(shù)據(jù)將 可能與原始多媒體數(shù)據(jù)至少有些不同(且從原始多媒體數(shù)據(jù)降級(jí))。比較器23經(jīng)配置以 接收并比較原始多媒體數(shù)據(jù)與經(jīng)解碼的多媒體數(shù)據(jù)，且確定比較信息。比較信息可包含 通過將原始多媒體數(shù)據(jù)與經(jīng)解碼的多媒體數(shù)據(jù)進(jìn)行比較而確定的任何信息。在一些實(shí)施 例中，比較數(shù)據(jù)包括兩個(gè)數(shù)據(jù)組中的差異且被稱為"差異信息"。舉例來說，可在逐幀 基礎(chǔ)上產(chǎn)生差異信息。還可在逐區(qū)塊基礎(chǔ)上進(jìn)行所述比較。本文中所提及的區(qū)塊可從一 個(gè)像素的"區(qū)塊"(lxl)變化為MxN任意大小的像素"區(qū)塊"。區(qū)塊的形狀未必是正方 形的。
"差異信息"表示由于編碼/解碼過程而在終端16處顯示的多媒體數(shù)據(jù)中看見的圖像 降級(jí)。比較器23將比較信息提供給第二編碼器24。在第二編碼器24中對(duì)比較信息進(jìn)行 編碼，且將經(jīng)編碼的"輔助信息"提供給通信模塊25。通信模塊25可將包括經(jīng)編碼多 媒體和經(jīng)編碼輔助信息的數(shù)據(jù)18傳輸?shù)浇K端裝置16 (圖1)。終端裝置中的解碼器使用 使用所述"輔助信息"來將增強(qiáng)添加(例如，將細(xì)節(jié)添加)到在編碼和解碼期間受到影 響或降級(jí)的經(jīng)解碼的多媒體數(shù)據(jù)。這增強(qiáng)了接收到的經(jīng)編碼多媒體數(shù)據(jù)的圖像質(zhì)量，目. 使得可將較高分辨率的經(jīng)解碼圖像呈現(xiàn)在顯示裝置上。在一些實(shí)施例中，可將第一編碼 器21和第二編碼器24實(shí)施為單個(gè)編碼器。后處理技術(shù)可包括增強(qiáng)多媒體數(shù)據(jù)中的某些特征(例如，皮膚和面部特征)的一種 或一種以上技術(shù)。將經(jīng)編碼的差異信息傳輸?shù)浇邮昭b置。接收裝置使用輔助信息將細(xì)節(jié) 添加到經(jīng)解碼的圖像，以補(bǔ)償在編碼和解碼期間受到影響的細(xì)節(jié)。因此，可將較高分辨 率和/或較高質(zhì)量的圖像呈現(xiàn)在接收裝置上。
將差異信息識(shí)別為主要經(jīng)編碼位流中的輔助信息?？捎脩魯?shù)據(jù)或"填充符(filler)" 分組來使經(jīng)編碼數(shù)據(jù)的大小適合于經(jīng)編碼媒體數(shù)據(jù)的傳輸協(xié)議分組大小(例如，IP數(shù)據(jù) 報(bào)或MTU)的大小以輸送輔助信息。在一些實(shí)施例中，可將差異信息識(shí)別為低分辨率 經(jīng)編碼數(shù)據(jù)中的現(xiàn)存信息的一組關(guān)系(例如，等式、決策邏輯、經(jīng)量化殘差系數(shù)的數(shù)目 和位置、模糊邏輯規(guī)則)，且可將進(jìn)入這些關(guān)系中的索引編碼為輔助信息。由于并非所 有差異信息都必定被編碼且可將此信息的格式簡化為關(guān)系的査詢表的索引，所以對(duì)元數(shù) 據(jù)進(jìn)行編碼器輔助的上取樣更高效地編碼，且利用接收裝置中的信息以減小需要被傳輸 的信息的熵。
還預(yù)期所描述的編碼裝置20的其它配置。舉例來說，圖3說明使用一個(gè)編碼器31 替代兩個(gè)編碼器(如圖2中所示)的編碼裝置30的替代實(shí)施例。在此實(shí)施例中，比較 器23將差異信息提供給單個(gè)編碼器31以用于編碼。編碼器31將經(jīng)編碼的多媒體數(shù)據(jù) (例如，第一經(jīng)編碼數(shù)據(jù))和經(jīng)編碼的輔助信息(例如，第二經(jīng)編碼數(shù)據(jù))提供給通信 模塊25以用于傳輸?shù)浇K端16。
圖4是說明圖2和圖3中所示的系統(tǒng)的一部分(明確地說是編碼器21、解碼器40 和比較器23)的實(shí)例的框圖。解碼器40經(jīng)配置以用于對(duì)經(jīng)編碼的多媒體數(shù)據(jù)進(jìn)行解碼， 且應(yīng)用接收終端16 (圖1)中所使用的后處理技術(shù)?？稍诒疚闹兴枋龅木幋a器(例如， 圖2和圖3中所說明的解碼器22)中實(shí)施解碼器40的功能性。解碼器22從編碼器21 接收經(jīng)編碼的多媒體數(shù)據(jù)。解碼器40中的解碼器模塊41對(duì)經(jīng)編碼的多媒體數(shù)據(jù)進(jìn)行解 碼，且將經(jīng)解碼的數(shù)據(jù)提供給解碼器40中的后處理模塊。在此實(shí)例中，后處理模塊包 含噪聲抑制器(denoiser)模塊42和數(shù)據(jù)增強(qiáng)器模塊43。
通常假定視頻序列中的噪聲為加性白高斯。然而，視頻信號(hào)在時(shí)間和空間上都高度 相關(guān)。因此，通過在時(shí)間上和空間上利用其白度，有可能從信號(hào)部分移除噪聲。在一些 實(shí)施例中，噪聲抑制器模塊42包含時(shí)間降噪，例如，卡爾曼(Kalman)濾波器。噪聲 抑制器模塊42可包含其它降噪過程，例如，小波收縮濾波器和/或小波維納(Wiener) 濾波器。小波是用以使給定信號(hào)定位在空間域和比例縮放域兩者中的一類功能。小波后 面的基礎(chǔ)理念是分析不同標(biāo)度或分辨率下的信號(hào)，使得小波表示的小幅改變產(chǎn)生原始信 號(hào)的對(duì)應(yīng)的小幅改變。還可將小波收縮或小波維納濾波器應(yīng)用為噪聲抑制器41。小波收縮降噪可涉及小波變換域中的收縮，且通常包括三個(gè)步驟線性正向小波變換、非線性 收縮降噪和線性反向小波變換。維納濾波器是MSE最優(yōu)線性濾波器，其可用以改進(jìn)因 加性噪聲和混亂而降級(jí)的圖像。在一些方面，降噪濾波器是基于(4,2)雙正交三次B樣條 小波濾波器((4, 2) bi-orthogonal cubic B-spline wavelet filter)的一方面的。
噪聲抑制器模塊42將經(jīng)降噪的經(jīng)解碼數(shù)據(jù)提供給數(shù)據(jù)增強(qiáng)器模塊43。數(shù)據(jù)增強(qiáng)器 模塊43可經(jīng)配置以增強(qiáng)被認(rèn)為是檢視(例如)皮膚、面部特征和快速改變數(shù)據(jù)(例如， 對(duì)于與體育事件相關(guān)聯(lián)的多媒體數(shù)據(jù))所需要的數(shù)據(jù)的某些特征。數(shù)據(jù)增強(qiáng)器模塊的主 要功能是在數(shù)據(jù)的重放或消耗期間提供圖像或視頻增強(qiáng)。典型的圖像增強(qiáng)包含銳化、色 域/飽和度/色調(diào)改進(jìn)、對(duì)比度改進(jìn)、直方圖均衡和高頻加強(qiáng)。關(guān)于增強(qiáng)皮膚特征，存在 若干膚色檢測(cè)方法。 一旦在圖像中識(shí)別到具有膚色的區(qū)域，就可修改對(duì)應(yīng)于此區(qū)域的色 度分量以改進(jìn)色調(diào)，從而適合所需的調(diào)色板。
關(guān)于改進(jìn)面部特征，如果在面部特征中檢測(cè)到振鈴噪聲(ringing noise)(例如通過 膚色檢測(cè)而識(shí)別到)，那么可應(yīng)用去振鈴(de-ringing)濾波器和/或適當(dāng)?shù)钠交?噪聲減少 濾波器來使這些假象減到最小，且執(zhí)行上下文/內(nèi)容選擇性圖像增強(qiáng)。視頻增強(qiáng)包含閃爍 減少、幀速率提高等。在視頻中的一組幀上發(fā)送平均亮度的指示符可幫助與閃爍減少有 關(guān)的解碼器/后解碼器/后處理。閃爍常由DC量化造成，DC量化導(dǎo)致在原始存在的具有 相同發(fā)光條件/亮度的那些幀上平均亮度等級(jí)有波動(dòng)的經(jīng)重構(gòu)的視頻。閃爍減少通常涉及 鄰接幀的平均亮度(例如，DC直方圖)的計(jì)算，以及應(yīng)用平均濾波器，以使每一幀的 平均亮度返回到在所述幀上所計(jì)算出的平均亮度。在此情況下，差異信息可以是待應(yīng)用 于每一幀的經(jīng)預(yù)計(jì)算的平均亮度偏移。數(shù)據(jù)增強(qiáng)器模塊43將經(jīng)增強(qiáng)的經(jīng)解碼多媒體數(shù) 據(jù)提供給比較器23。
圖5是說明具有經(jīng)配置以用于對(duì)多媒體數(shù)據(jù)進(jìn)行編碼的處理器51的編碼裝置50的 實(shí)例的框圖。編碼裝置50可在傳輸設(shè)施(例如，數(shù)字傳輸設(shè)施12 (圖l))中實(shí)施。編 碼裝置50包含存儲(chǔ)媒體58，其經(jīng)配置以與處理器51通信且經(jīng)配置以與通信模塊59通 信。在一些實(shí)施例中，處理器51經(jīng)配置以便以與圖2中所說明的編碼器20類似的方式 對(duì)多媒體數(shù)據(jù)進(jìn)行編碼。處理器51使用第一編碼器模塊52對(duì)接收到的多媒體數(shù)據(jù)進(jìn)行 編碼。接著使用解碼器模塊53對(duì)經(jīng)編碼的多媒體進(jìn)行解碼，解碼器模塊53經(jīng)配置以使 用在終端16(圖1)中實(shí)施的至少一種后處理技術(shù)來對(duì)多媒體數(shù)據(jù)進(jìn)行解碼。處理器51 使用噪聲抑制器模塊55來移除經(jīng)解碼的多媒體數(shù)據(jù)中的噪聲。處理器51可包含數(shù)據(jù)增 強(qiáng)器模塊56，其經(jīng)配置以增強(qiáng)經(jīng)解碼的多媒體數(shù)據(jù)，以用于例如面部特征或皮膚的預(yù)定 特征。通過比較器模塊54來確定經(jīng)解碼的(且經(jīng)增強(qiáng)的)多媒體數(shù)據(jù)與原始多媒體數(shù)據(jù)之間的差異，比較器模塊54產(chǎn)生表示經(jīng)解碼的多媒體數(shù)據(jù)與原始多媒體數(shù)據(jù)之間的差異的差異信息。通過第二編碼器57對(duì)經(jīng)增強(qiáng)的差異信息進(jìn)行編碼。第二編碼器57產(chǎn)生提供給通信模塊59的經(jīng)編碼的輔助信息。經(jīng)編碼的多媒體數(shù)據(jù)也被提供給通信模塊59。將經(jīng)編碼的多媒體數(shù)據(jù)和輔助信息兩者傳送到顯示裝置(例如，圖1的終端16)，顯示裝置使用輔助信息來對(duì)多媒體數(shù)據(jù)進(jìn)行解碼以產(chǎn)生經(jīng)增強(qiáng)的多媒體數(shù)據(jù)。
圖6是說明具有經(jīng)配置以用于對(duì)多媒體數(shù)據(jù)進(jìn)行編碼的處理器61的編碼裝置60的另一實(shí)施例的框圖。此實(shí)施例可以類似于圖5的方式來對(duì)多媒體數(shù)據(jù)進(jìn)行編碼，只是處理器61含有對(duì)多媒體數(shù)據(jù)和差異信息兩者進(jìn)行編碼的一個(gè)編碼器62。接著通過通信模塊59將經(jīng)編碼的多媒體數(shù)據(jù)和輔助信息兩者傳送到顯示裝置(例如，圖1中的終端16)。顯示裝置中的解碼器接著使用輔助信息對(duì)多媒體數(shù)據(jù)進(jìn)行解碼，以產(chǎn)生經(jīng)增強(qiáng)的分辨率數(shù)據(jù)并顯示此數(shù)據(jù)。
下文列出可在解碼器中實(shí)施的某些后處理技術(shù)的實(shí)例，然而，對(duì)這些實(shí)例的描述并不意味著使本發(fā)明限于僅所描述的那些技術(shù)。如上文所述，解碼器22可實(shí)施許多后處理技術(shù)中的任一者來識(shí)別差異信息并產(chǎn)生對(duì)應(yīng)的輔助信息。
色度處理
后處理技術(shù)的一個(gè)實(shí)例是色度處理，其涉及與待顯示的多媒體數(shù)據(jù)的色度有關(guān)的操作。色彩空間轉(zhuǎn)換是一個(gè)這樣的實(shí)例。典型的壓縮操作(解碼、解塊等)和一些后處理操作(例如，獨(dú)立于色度來修改由亮度或Y分量表示的強(qiáng)度的功能，例如，直方圖均衡)發(fā)生在YCbCr或YUV域或色彩空間中，而顯示器通常在RGB色彩空間中操作。在后處理器和顯示處理器中執(zhí)行色彩空間轉(zhuǎn)換以解決此差異。如果維持相同的位深度，那么RGB與YCC/YUV之間的數(shù)據(jù)轉(zhuǎn)換可能導(dǎo)致數(shù)據(jù)壓縮，因?yàn)楫?dāng)R、 G和B中的強(qiáng)度信息變換為Y分量時(shí)，R、 G和B中的強(qiáng)度信息的冗余減少，從而導(dǎo)致源信號(hào)的相當(dāng)大的壓縮。因此，任何基于后處理的壓縮都將潛在地在YCC/YUV域中操作。
色度子取樣涉及對(duì)亮度(的數(shù)量表示)比對(duì)色彩(的數(shù)量表示)實(shí)施較多的分辨率的實(shí)踐。色度子取樣在許多視頻編碼方案(模擬和數(shù)字)中使用且還在JPEG編碼中使用。在色度子取樣中，將亮度和色度分量形成為經(jīng)伽馬校正的(三色激勵(lì)的)R'G'B'分量的加權(quán)和，而不是線性的(三色激勵(lì)的)RGB分量的加權(quán)和。通常將子取樣方案表達(dá)為三部分比率(例如，4:2:2),但有時(shí)也表達(dá)為四個(gè)部分(例如，4:2:2:4)。所述四個(gè)部分是(按其相應(yīng)的次序)第一部分亮度水平取樣參考(最初，在NTSC電視系統(tǒng)中為3.579 MHz的倍數(shù))；第二部分Cb和Cr (色度)水平因子(相對(duì)于第一數(shù)字)；與第二
15數(shù)字相同(除了為零時(shí)，零指示Cb和Cr被垂直地2:l子取樣)的第三部分以及如果 存在的話，與亮度數(shù)字相同的第四部分(指示a"鍵(key)"分量)。后處理技術(shù)可包含 色度上取樣(例如，將4:2:0數(shù)據(jù)轉(zhuǎn)換為4:2:2數(shù)據(jù))或下取樣(例如，將4:4:4數(shù)據(jù)轉(zhuǎn) 換為4:2:0數(shù)據(jù))。通常對(duì)4:2:0視頻執(zhí)行低到中等位速率壓縮。如果源多媒體數(shù)據(jù)具有 比4:2:0高的色度(例如，4:4:4或4:2:2)，那么可在后處理操作期間將其下取樣到4:2:0、 編碼、傳輸、解碼且接著上取樣回到原始色度。在顯示裝置處，當(dāng)變換為RGB以供顯 示時(shí)，使色度復(fù)原到其完整的4:4:4比率。解碼器22可配置有此些后處理操作以重復(fù)可 能發(fā)生在下游顯示裝置處的解碼/處理操作。 圖形操作
與圖形處理有關(guān)的后處理技術(shù)也可在解碼器22中實(shí)施。 一些顯示裝置包含圖形處 理器，例如，支持多媒體和2D或3D游戲的顯示裝置。圖形處理器的功能性可包含像 素處理操作，可合適地應(yīng)用所述操作中的一些(或全部)操作以改進(jìn)視頻質(zhì)量或可將所 述操作中的一些(或全部)操作潛在地并入包含壓縮/解壓縮的視頻處理中。
a混合
a混合是兩個(gè)場景之間的轉(zhuǎn)變中或GUI上的現(xiàn)存屏幕上的視頻的重疊中通常使用的 操作，a混合是也可在解碼器22中實(shí)施的像素操作后處理技術(shù)的一個(gè)實(shí)例。在a混合中， 色碼中的a的值在從O.O到l.O的范圍內(nèi)，其中O.O表示完全透明的色彩，而1.0表示完 全不透明的色彩。為了 "混合"，使從圖片緩沖器讀取到的像素乘以"a"。使從顯示緩 沖器讀取到的像素乘以--個(gè)負(fù)a。將上述兩者加在一起并顯示結(jié)果。視頻內(nèi)容含有各種 形式的轉(zhuǎn)變效應(yīng)，包含從/到黑色或其它均勻/恒定色彩的淡化轉(zhuǎn)變(fade transition)、 場景之間的交叉淡化(cross fade)以及內(nèi)容的類型之間的接合點(diǎn)(例如，動(dòng)畫到商業(yè)視 頻等)。H.264標(biāo)準(zhǔn)具有使用用于轉(zhuǎn)變的幀數(shù)目或POC (圖片序號(hào))來傳送a值以及對(duì) 開始和停止點(diǎn)的指示符的規(guī)定。還可指定用于轉(zhuǎn)變的均勻色彩。
轉(zhuǎn)變區(qū)域可能難以編碼，因?yàn)槠洳⒎峭蝗坏膱鼍案淖儯谕蝗坏膱鼍案淖冎?，可?新場景的開始(第一幀)編碼為I幀，且將隨后的幀編碼為預(yù)測(cè)幀。由于解碼器中通常 所使用的運(yùn)動(dòng)估計(jì)/補(bǔ)償技術(shù)的性質(zhì)，可將運(yùn)動(dòng)作為數(shù)據(jù)塊來跟蹤，且恒定的亮度偏移被 吸收到殘差中(加權(quán)預(yù)測(cè)可在某一程度上解決此問題)。交叉淡化具有較大的問題，因 為亮度發(fā)生改變且正被跟蹤的運(yùn)動(dòng)并非真實(shí)的運(yùn)動(dòng)，而是從一個(gè)圖像到另一圖像的逐漸 切換，從而導(dǎo)致較大的殘差。這些較大的殘差在量化(低位速率的進(jìn)程)后導(dǎo)致大規(guī)模 運(yùn)動(dòng)和區(qū)塊假象(blocking artifact)。對(duì)界定轉(zhuǎn)變區(qū)域的完整圖像進(jìn)行編碼且指定a混合
配置以影響淡化/交叉淡化將導(dǎo)致轉(zhuǎn)變的無假象重放和壓縮效率/比率的改進(jìn)或位速率的
16減小，以相對(duì)于引起區(qū)塊假象的情況而獲得類似或較佳的知覺/視覺質(zhì)量。
在編碼器處知曉解碼器的a混合能力可促進(jìn)將轉(zhuǎn)變效應(yīng)編碼為元數(shù)據(jù)而不是通過常規(guī)編碼將位花費(fèi)在較大的殘差上。除了a值之外，此些元數(shù)據(jù)的一些實(shí)例還包含進(jìn)入解碼器/后處理器處所支持的一組轉(zhuǎn)變效應(yīng)(例如，縮放、旋轉(zhuǎn)、漸隱和淡化)中的索弓l。透明度
"透明度"是可包含在編碼裝置20的解碼器22中的另一相對(duì)簡單的后處理像素操作。在透明度過程中，從顯示緩沖器讀出像素值，且從圖片緩沖器讀出另一像素值(待顯示的幀)。如果從圖片緩沖器讀出的值匹配透明度值，那么將從顯示緩沖器讀取的值寫入顯示器。否則，將從圖片緩沖器讀取的值寫入顯示器。
視頻按比例縮放(x2、 /2、 /4、任意比例)
視頻按比例縮放("按比例放大(叩scaling)"或"按比例縮小(downscaling)")的
意圖通常是在將以一種信號(hào)格式或分辨率傳達(dá)的信息遷移到另一不同信號(hào)格式或分辨率的同時(shí)，保存同樣多的原始信號(hào)信息和質(zhì)量。視頻按比例縮放在二 (2)或四(4)倍的按比例縮小中起作用，且通過像素值的簡單求平均來執(zhí)行。按比例放大涉及內(nèi)插濾波器，且可在兩個(gè)軸上進(jìn)行。對(duì)Y值執(zhí)行雙三次內(nèi)插，且對(duì)色度值執(zhí)行最近相鄰濾波。舉例來說，可通過以下等式來計(jì)算Y的內(nèi)插值
Y[i ^-Y[i-3，j] + 9Y[卜l，j] + 9Y[i + l,j]-Y[i + 3，j]
16 等式i
對(duì)于一行中的每一內(nèi)插的Y,以及
Yfi "-Y[i,j-3] + 9Y[i,j-l]+9Y[i，j + l]-Y[i，j + 3〗
16 等式2
對(duì)于一列中的每一內(nèi)插的Y。
從并排比較，雙線性和雙三次內(nèi)插方案展示非常小的可視差異。雙三次內(nèi)插導(dǎo)致稍
微較清晰的圖像。必須建立較大的線緩沖器，以便進(jìn)行雙三次內(nèi)插。所有的雙三次濾波
器都是一維的，其中系數(shù)僅視縮放比率而定。在一個(gè)實(shí)例中，8個(gè)位足以對(duì)系數(shù)進(jìn)行編
碼以保證圖像質(zhì)量。僅需將所有的系數(shù)編碼為不帶正負(fù)號(hào)的，且用電路可能難以對(duì)正負(fù)
號(hào)進(jìn)行編碼。對(duì)于雙二次內(nèi)插，系數(shù)的正負(fù)號(hào)始終為[-++-]。
圖8展示對(duì)于給定比例縮放因子的濾波器的各種選擇。圖8中列出的比例縮放因子是在移動(dòng)裝置中最常遇到的比例縮放因子的實(shí)例。對(duì)于每一比例縮放因子，可基于檢測(cè) 到的邊緣的類型和所需的滾降(roll off)特征來選擇濾波器的不同相位。對(duì)于某些紋理
和邊緣區(qū)域， 一些濾波器比其它濾波器更好地起作用?；趯?shí)驗(yàn)結(jié)果和視覺評(píng)估得出濾
波器分接頭(filtertap)。在一些實(shí)施例中，在接收器(解碼器/顯示器驅(qū)動(dòng)器)處的適度 復(fù)雜的按比例縮放器可在區(qū)塊/小片(tile)基礎(chǔ)上自適應(yīng)性地在濾波器之間進(jìn)行選擇。 在知道接收器的按比例縮放器中的特征的情況下，編碼器可指示(基于與原始的比較) 針對(duì)每一區(qū)塊選擇濾波器中的哪一者(例如，提供進(jìn)入濾波器表格中的索引)。此方法 可以是對(duì)解碼器通過邊緣檢測(cè)對(duì)適當(dāng)?shù)臑V波器作出決策的替代方案。此方法使解碼器中 的處理循環(huán)和功率減到最少，因?yàn)槠洳⒉槐貓?zhí)行與邊緣檢測(cè)相關(guān)聯(lián)的決策邏輯(例如， 消耗許多處理器循環(huán)的修剪和定向操作)。 伽馬校正
伽馬校正、伽馬非線性、伽馬編碼或常簡稱為伽馬是用以對(duì)視頻或靜態(tài)圖像系統(tǒng)中 的亮度或三色激勵(lì)值進(jìn)行編碼和解碼的非線性操作的名稱，且其也是可在解碼器22中 實(shí)施的另一后處理技術(shù)。伽馬校正控制圖像的整體光亮度。未經(jīng)適當(dāng)校正的圖像可能看 起來變白了或者太暗。嘗試準(zhǔn)確地再現(xiàn)色彩還需要對(duì)伽馬校正有些了解。改變伽馬校正 的量不僅改變光亮度，而且改變紅對(duì)綠對(duì)藍(lán)的比率。在最簡單的情況下，伽馬校正由以
下冪定律表達(dá)式定義
其中輸入和輸出值是非負(fù)實(shí)值，通常在例如o到1的預(yù)定范圍內(nèi)。通常將7〈i的情
況稱為伽馬壓縮，且將7〉M爾為伽馬擴(kuò)展。在解碼器后處理包含伽馬校正的實(shí)施方案中，
可在解碼器22中實(shí)施對(duì)應(yīng)的伽馬后處理技術(shù)6通常，在LCD面板內(nèi)的模擬域中進(jìn)行伽 馬校正。通常，抖動(dòng)(dithering)在伽馬校正之后進(jìn)行，盡管在一些情況下，首先執(zhí)行 抖動(dòng)。
直方圖均衡
直方圖均衡是使用像素值的直方圖來修改圖像中的像素的動(dòng)態(tài)范圍的過程。通常， 圖像中的信息并非均勻地分布在可能的值范圍上?？赏ㄟ^用圖表表示像素的數(shù)目(y軸) 與每一像素的光亮度(例如，對(duì)于八位單色圖像為從0到255) (x軸)的關(guān)系以形成圖 像直方圖，來說明圖像的此像素強(qiáng)度頻率分布。圖像直方圖展示圖像內(nèi)有多少像素落入
18各種光亮度等級(jí)邊界中的圖形表示。動(dòng)態(tài)范圍是直方圖的占據(jù)部分的寬度的測(cè)量值。通常，具有較小動(dòng)態(tài)范圍的圖像也具有較低的對(duì)比度，且具有較大動(dòng)態(tài)范圍的圖像具有較高的對(duì)比度。使用映射操作(例如，直方圖均衡、對(duì)比度或伽馬調(diào)整或者另一重新映射操作)可改變圖像的動(dòng)態(tài)范圍。當(dāng)圖像的動(dòng)態(tài)范圍減小時(shí)，可使用較少的位表示(并編碼)所得的"展平"圖像。
可對(duì)像素強(qiáng)度范圍(例如，像素光亮度值的范圍)執(zhí)行動(dòng)態(tài)范圍調(diào)整。盡管通常對(duì)整個(gè)圖像執(zhí)行，但還可對(duì)圖像的一部分(例如，所識(shí)別的表示所述圖像的一部分的像素強(qiáng)度范圍)進(jìn)行動(dòng)態(tài)范圍調(diào)整。在一些實(shí)施例中，圖像可具有兩個(gè)或兩個(gè)以上所識(shí)別的部分(例如，通過不同的圖像主題內(nèi)容、空間位置或通過圖像直方圖的不同部分而區(qū)分)，且可單獨(dú)地調(diào)整每一部分的動(dòng)態(tài)范圍。
直方圖均衡可用以增加圖像的局部對(duì)比度，尤其當(dāng)圖像的可用數(shù)據(jù)由接近的對(duì)比度值表示時(shí)。通過此調(diào)整，可使強(qiáng)度更好地分布在直方圖上。此情形允許較低局部對(duì)比度的區(qū)域獲得較高的對(duì)比度，而不影響整體對(duì)比度。直方圖均衡通過有效地展開像素強(qiáng)度值來實(shí)現(xiàn)此目的。所述方法在具有都為亮或都為暗的背景與前景的圖像中有用。
盡管直方圖均衡改進(jìn)了對(duì)比度，但其也降低了圖像的壓縮效率。在一些編碼方法中，在編碼之前可使用直方圖均衡特性的"反向"特性來大體改進(jìn)壓縮效率。在反向直方圖均衡過程中，重映射像素光亮度值以減小對(duì)比度；所得的圖像直方圖具有較小的(經(jīng)壓縮的)動(dòng)態(tài)范圍。在此過程的一些實(shí)施例中，可在對(duì)圖像進(jìn)行編碼前得出每一圖像的直方圖。多媒體圖像中的像素的亮度范圍可經(jīng)按比例縮放，以有效地將圖像直方圖壓縮到較窄的亮度值范圍。因此，可減小圖像的對(duì)比度。當(dāng)壓縮此圖像時(shí)，由于較低/較小的亮度值范圍，編碼效率高于無直方圖壓縮的情況下的編碼效率。當(dāng)在終端裝置處對(duì)所述圖像進(jìn)行解碼時(shí)，在所述終端裝置上運(yùn)行的直方圖均衡過程將圖像的對(duì)比度復(fù)原到原始分布。在一些實(shí)施例中，編碼器可保存(或接收)識(shí)別用于終端裝置處的解碼器中的直方圖均衡算法的指示符。在此情況下，編碼器可使用直方圖均衡算法的反向算法來改進(jìn)壓縮效率，且接著將足夠的信息提供給解碼器以用于對(duì)比度的復(fù)原。
圖11說明編碼裝置1120的實(shí)施例，其可在對(duì)多媒體數(shù)據(jù)進(jìn)行編碼之前減小多媒體數(shù)據(jù)的動(dòng)態(tài)范圍，以便使用較少的位來對(duì)多媒體數(shù)據(jù)進(jìn)行編碼。在圖11中，多媒體源1126將多媒體數(shù)據(jù)提供給編碼裝置1120。編碼裝置1120包含預(yù)處理器1118,其接收多媒體數(shù)據(jù)且減小所述多媒體數(shù)據(jù)中所含的至少一個(gè)圖像的動(dòng)態(tài)范圍。所得的數(shù)據(jù)"壓縮"減小了多媒體數(shù)據(jù)的大小，且相應(yīng)地減少了需要編碼的多媒體數(shù)據(jù)的量。將所得的數(shù)據(jù)提供給編碼器1121。編碼器1121對(duì)經(jīng)調(diào)整的多媒體數(shù)據(jù)進(jìn)行編碼，且將經(jīng)編碼的數(shù)據(jù)提供給通信模塊 1125，以用于傳輸?shù)饺鐖D1中所說明的終端裝置16 (例如，手持機(jī))。在一些實(shí)施例中， 還將與動(dòng)態(tài)范圍調(diào)整相關(guān)聯(lián)的信息提供給編碼器1121。可將所述信息保存在編碼裝置 1121中作為指示對(duì)像素強(qiáng)度范圍進(jìn)行的修改的指示符。如果提供了與動(dòng)態(tài)范圍調(diào)整相關(guān) 聯(lián)的信息(或指示符)，那么編碼器H21還可對(duì)此信息進(jìn)行編碼，并將其提供給通信模 塊1125，以用于傳輸給終端裝置16。隨后，終端裝置16在顯示圖像之前重新映射(擴(kuò) 展)所述圖像的動(dòng)態(tài)范圍。在一些實(shí)施例中，例如圖2的編碼器21的編碼器可經(jīng)配置 以執(zhí)行此預(yù)處理動(dòng)態(tài)范圍調(diào)整。在一些實(shí)施例中，除了其它編碼實(shí)施例(包含本文中例 如參考圖1到圖9所描述的編碼實(shí)施例)之外，還可執(zhí)行預(yù)處理動(dòng)態(tài)范圍調(diào)整。
圖9中說明用以指定將在解碼器處執(zhí)行的后處理操作的類型以及所述后處理操作的 參數(shù)的元數(shù)據(jù)(或指示符)。用于按比例縮放的選項(xiàng)是圖9中所描述的用于內(nèi)插濾波器 的不同系數(shù)組。功能指定符是圖9中所說明的表的第2列中所列出的一組后處理功能的 索引。編碼器可從此組選擇產(chǎn)生待編碼的差異信息的最小熵的功能(在區(qū)塊基礎(chǔ)上)。 任選地，選擇標(biāo)準(zhǔn)還可以是最高質(zhì)量的，質(zhì)量是通過一些客觀手段(例如，PSNR、SSIM、 PQR等)來測(cè)量的。另外，對(duì)于每一指定的功能，基于用于此功能的方法而提供一組選 項(xiàng)。舉例來說，使用邊緣檢測(cè)方法(例如， 一組索伯爾(Sobel)濾波器或者3x3或5x5 高斯掩模)，接著使用高頻加強(qiáng)，邊緣增強(qiáng)可在回路外發(fā)生。在一些實(shí)施例中，使用回 路內(nèi)解塊器電路，邊緣增強(qiáng)可在回路內(nèi)發(fā)生。在后者情況下，回路內(nèi)解塊期間所使用的 邊緣檢測(cè)方法用以識(shí)別邊緣，且對(duì)由解塊濾波器進(jìn)行的常規(guī)低通濾波的補(bǔ)充功能將是用 以增強(qiáng)邊緣的銳化濾波器。類似地，直方圖均衡具有在全范圍的強(qiáng)度值或部分強(qiáng)度值上 均衡的選項(xiàng)，且伽馬校正具有用于抖動(dòng)的選項(xiàng)。
圖7說明通過編碼結(jié)構(gòu)(例如，編碼裝置20(圖2)、編碼裝置30(圖3)、編碼裝 置40 (圖4)和編碼裝置50 (圖5))對(duì)多媒體數(shù)據(jù)進(jìn)行編碼的過程70的實(shí)例。在狀態(tài) 71處，所述過程保存后處理技術(shù)的指示符。舉例來說，所述后處理技術(shù)可在顯示裝置(例 如，終端16 (圖l))的解碼器中使用。元數(shù)據(jù)還可在不具體知曉接收顯示裝置處所執(zhí) 行的后處理技術(shù)(如果有的話)的情況下，指示眾所周知或普遍的處理技術(shù)。在狀態(tài)72 處，對(duì)接收到的第一多媒體數(shù)據(jù)進(jìn)行編碼以形成第一經(jīng)編碼多媒體數(shù)據(jù)。
在狀態(tài)73處，通過對(duì)第一經(jīng)編碼多媒體數(shù)據(jù)進(jìn)行解碼且應(yīng)用由所述指示符識(shí)別的
后處理技術(shù)，過程70產(chǎn)生第二多媒體數(shù)據(jù)。所述后處理技術(shù)可以是本文中所描述的后
處理技術(shù)中的一者或另一后處理技術(shù)。在狀態(tài)74處，過程70將第二多媒體數(shù)據(jù)與第一
多媒體數(shù)據(jù)進(jìn)行比較以確定比較信息。所述比較信息可以是指示所述第二多媒體數(shù)據(jù)與
20所述第一多媒體數(shù)據(jù)之間的差異的差異信息。在狀態(tài)75處，過程70接著對(duì)所述比較信息進(jìn)行編碼以形成輔助信息(第二經(jīng)編碼數(shù)據(jù))。隨后可將輔助信息和經(jīng)編碼的多媒體數(shù)據(jù)傳送到顯示裝置，所述顯示裝置可使用所述輔助信息對(duì)多媒體數(shù)據(jù)進(jìn)行解碼。
圖10是說明通過在對(duì)多媒體數(shù)據(jù)進(jìn)行編碼之前減小至少一部分多媒體數(shù)據(jù)的像素亮度強(qiáng)度范圍來對(duì)多媒體數(shù)據(jù)進(jìn)行編碼(例如，由圖11的編碼器1120執(zhí)行)的過程1000的流程圖。在狀態(tài)1005處，過程IOOO識(shí)別多媒體數(shù)據(jù)中的像素亮度強(qiáng)度范圍。舉例來說，如果多媒體數(shù)據(jù)包括圖像，那么過程IOOO可識(shí)別或確定所述圖像的像素強(qiáng)度范圍。如果多媒體數(shù)據(jù)包括圖像序列(例如，視頻)，那么可針對(duì)所述圖像中的一者或一者以上而識(shí)別像素強(qiáng)度范圍。舉例來說，像素強(qiáng)度范圍可以是圖像中含有卯％(或者，例如，95%或99%)亮度值的像素的亮度值的范圍。在一些實(shí)施例中，如果圖像序列中的圖像是類似的，那么可針對(duì)所述圖像序列中的所有(或至少許多)圖像而識(shí)別相同的像素強(qiáng)度范圍。在一些實(shí)施例中，可識(shí)別兩個(gè)或兩個(gè)以上圖像的像素亮度強(qiáng)度范圍并求其平均值。
在狀態(tài)1010處，過程IOOO修改多媒體數(shù)據(jù)的一部分以減小像素亮度強(qiáng)度范圍。通常，圖像的像素亮度值集中在可用強(qiáng)度范圍的一部分上。減小(或重新映射)像素值以覆蓋較小的范圍可大大地減少圖像中的數(shù)據(jù)量，這促進(jìn)了較高效率的數(shù)據(jù)編碼和傳輸。減小像素亮度強(qiáng)度范圍的實(shí)例包含"反向"直方圖均衡、伽馬校正或?qū)碜?全"范圍(例如，對(duì)于八位圖像為0到255)的亮度值重新映射到原始強(qiáng)度范圍的僅一部分的減小的范圍。
在狀態(tài)1015處，過程IOOO對(duì)經(jīng)修改的多媒體數(shù)據(jù)進(jìn)行編碼以形成經(jīng)編碼的數(shù)據(jù)?？蓪⒔?jīng)編碼的數(shù)據(jù)傳輸?shù)綄?duì)經(jīng)編碼的數(shù)據(jù)進(jìn)行解碼的終端裝置16 (圖1)。終端裝置中的解碼器執(zhí)行用于擴(kuò)展多媒體數(shù)據(jù)的強(qiáng)度范圍的過程。舉例來說，在一些實(shí)施例中，解碼器執(zhí)行直方圖均衡、伽馬校正或另一圖像重新映射過程，以在像素強(qiáng)度范圍上擴(kuò)展多媒體數(shù)據(jù)的像素值。所得的經(jīng)擴(kuò)展的多媒體數(shù)據(jù)可看起來類似于其原始外觀，或者至少在終端裝置的顯示器上檢視起來令人愉快。在一些實(shí)施例中，可產(chǎn)生指示強(qiáng)度范圍減小的指示符、對(duì)其進(jìn)行編碼并將其傳輸?shù)浇K端裝置。終端裝置中的解碼器可使用所述指示符作為用于對(duì)接收到的多媒體數(shù)據(jù)進(jìn)行解碼的輔助信息。
注意，可將所述方面描述為過程，將所述過程描繪為流程圖、流程圖表、結(jié)構(gòu)圖或框圖。雖然流程圖可將所述操作描述為循序過程，但可并行或同時(shí)執(zhí)行所述操作中的許多操作。另外，可重新排列所述操作的次序。當(dāng)過程的操作完成時(shí)，所述過程終止。過程可對(duì)應(yīng)于方法、函數(shù)、程序、子例行程序、子程序等。當(dāng)過程對(duì)應(yīng)于函數(shù)時(shí)，其終止
21對(duì)應(yīng)于所述函數(shù)返回到調(diào)用函數(shù)或主函數(shù)。
所屬領(lǐng)域的技術(shù)人員還應(yīng)明白，可在不影響裝置的操作的情況下，重新布置本文中所揭示的裝置的一個(gè)或一個(gè)以上元件。類似地，可在不影響裝置的操作的情況下，組合本文中所揭示的裝置的一個(gè)或一個(gè)以上元件。所屬領(lǐng)域的技術(shù)人員將理解，可使用多種不同技術(shù)和技法中的任一者來表示信息和信號(hào)。所屬領(lǐng)域的技術(shù)人員將進(jìn)一步了解，可將結(jié)合本文中所揭示的實(shí)例而描述的各種說明性邏輯區(qū)塊、模塊和算法步驟實(shí)施為電子硬件、固件、計(jì)算機(jī)軟件、中間件、微碼或其組合。為了清楚地說明硬件與軟件的這種可互換性，上文已經(jīng)大體上根據(jù)各種說明性組件、區(qū)塊、模塊、電路和步驟的功能性描述了各種說明性組件、區(qū)塊、模塊、電路和步驟。將此功能性實(shí)施為硬件還是軟件取決于特定應(yīng)用和強(qiáng)加于整個(gè)系統(tǒng)的設(shè)計(jì)限制。熟練的技術(shù)人員可針對(duì)每個(gè)特定應(yīng)用以不同的方式來實(shí)施所描述的功能性，但此類實(shí)施決策不應(yīng)被解釋為導(dǎo)致與所揭示方法的范圍偏離。
結(jié)合本文所揭示的實(shí)施例而描述的方法或算法的步驟可直接在硬件中、在由處理器執(zhí)行的軟件模塊中或在所述兩者的組合中實(shí)施。軟件模塊可駐存在RAM存儲(chǔ)器、快閃存儲(chǔ)器、ROM存儲(chǔ)器、EPROM存儲(chǔ)器、EEPROM存儲(chǔ)器、寄存器、硬盤、可移除盤、CD-ROM或此項(xiàng)技術(shù)中已知的任何其它形式的存儲(chǔ)媒體中。示范性存儲(chǔ)媒體耦合到處理器，使得處理器可從存儲(chǔ)媒體讀取信息和向存儲(chǔ)媒體寫入信息。在替代方案中，存儲(chǔ)媒體可與處理器成 一 體式。處理器和存儲(chǔ)媒體可駐存在專用集成電路(Application SpecificIntegrated Circuit, ASIC)中。ASIC可駐存在無線調(diào)制解調(diào)器中。在替代方案中，處理器和存儲(chǔ)媒體可作為離散組件駐存在無線調(diào)制解調(diào)器中。
另外，可用以下裝置來實(shí)施或執(zhí)行結(jié)合本文所揭示的實(shí)施例而描述的各種說明性邏輯區(qū)塊、組件、模塊和電路通用處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)或其它可編程邏輯裝置、離散門或晶體管邏輯、離散硬件組件或其經(jīng)設(shè)計(jì)以執(zhí)行本文所述的功能的任一組合。通用處理器可以是微處理器，但在替代方案中，處理器可以是任一常規(guī)處理器、控制器、微控制器或狀態(tài)機(jī)。處理器還可實(shí)施為計(jì)算裝置的組合，例如DSP與微處理器的組合、多個(gè)微處理器、結(jié)合DSP核心的一個(gè)或一個(gè)以上微處理器或任何其它此類配置。
提供對(duì)所揭示實(shí)例的先前描述是為了使所屬領(lǐng)域的技術(shù)人員能夠制作或使用所揭
示的方法和設(shè)備。所屬領(lǐng)域的技術(shù)人員將容易明白對(duì)這些實(shí)例的各種修改，且可在不脫
離所揭示的方法和設(shè)備的精神或范圍的情況下，將本文所界定的原理應(yīng)用于其它實(shí)例，
且可添加額外元件。對(duì)所述方面的描述既定為是說明性的，且不限制權(quán)利要求書的范圍。
權(quán)利要求
1. 一種處理多媒體數(shù)據(jù)的方法，所述方法包括識(shí)別后處理技術(shù)的指示符；對(duì)第一多媒體數(shù)據(jù)進(jìn)行編碼以形成第一經(jīng)編碼數(shù)據(jù)；處理所述第一經(jīng)編碼數(shù)據(jù)以形成第二多媒體數(shù)據(jù)，所述處理包括通過應(yīng)用由所述指示符識(shí)別的所述后處理技術(shù)來對(duì)所述第一經(jīng)編碼數(shù)據(jù)進(jìn)行解碼；將所述第二多媒體數(shù)據(jù)與所述第一多媒體數(shù)據(jù)進(jìn)行比較，以確定比較信息；以及基于所述比較信息而產(chǎn)生第二經(jīng)編碼數(shù)據(jù)。
2. 根據(jù)權(quán)利要求1所述的方法，其中所述確定比較信息的比較包括確定指示所述第 二多媒體數(shù)據(jù)與所述第一多媒體數(shù)據(jù)之間差異的差異信息。
3. 根據(jù)權(quán)利要求2所述的方法，其中所述第一多媒體數(shù)據(jù)編碼包括對(duì)所述第一多媒體數(shù)據(jù)進(jìn)行下取樣和壓縮以形成所述第一經(jīng)編碼數(shù)據(jù)。
4. 根據(jù)權(quán)利要求2所述的方法，其中所述后處理技術(shù)包括上取樣。
5. 根據(jù)權(quán)利要求2所述的方法，其中所述后處理技術(shù)包括應(yīng)用噪聲減少技術(shù)來減少 所述第二多媒體數(shù)據(jù)中的噪聲。
6. 根據(jù)權(quán)利要求2所述的方法，其中所述后處理技術(shù)包括應(yīng)用強(qiáng)化第一多媒體圖像的至少一個(gè)特征的增強(qiáng)技術(shù)。
7. 根據(jù)權(quán)利要求6所述的方法，其中應(yīng)用增強(qiáng)技術(shù)包括增強(qiáng)對(duì)應(yīng)于所述第一多媒體圖像中的皮膚特征的皮膚信息。
8. 根據(jù)權(quán)利要求7所述的方法，其進(jìn)一步包括將所述第一經(jīng)編碼數(shù)據(jù)和所述第二經(jīng)編 碼數(shù)據(jù)傳輸?shù)浇K端裝置。
9. 根據(jù)權(quán)利要求2所述的方法，其中對(duì)所述第一經(jīng)編碼數(shù)據(jù)進(jìn)行解碼以形成第二多媒 體圖像包括使用直方圖均衡。
10. 根據(jù)權(quán)利要求2所述的方法，其中對(duì)所述經(jīng)編碼數(shù)據(jù)進(jìn)行解碼以形成第二多媒體圖 像包括使用邊緣增強(qiáng)。
11. 根據(jù)權(quán)利要求2所述的方法，其中對(duì)所述經(jīng)編碼數(shù)據(jù)進(jìn)行解碼以形成第二多媒體圖 像包括使用視頻復(fù)原。
12. 根據(jù)權(quán)利要求2所述的方法，其中在區(qū)塊基礎(chǔ)上確定所述差異信息。
13. 根據(jù)權(quán)利要求2所述的方法，其中所述差異信息包括低分辨率經(jīng)編碼數(shù)據(jù)中的一組 關(guān)系。
14. 根據(jù)權(quán)利要求13所述的方法，其中所述組關(guān)系包括等式。
15. 根據(jù)權(quán)利要求13所述的方法，其中所述組關(guān)系包括決策邏輯，所述決策邏輯包含 經(jīng)量化殘差系數(shù)的數(shù)量和位置。
16. 根據(jù)權(quán)利要求13所述的方法，其中所述組關(guān)系決策邏輯包括模糊邏輯規(guī)則。
17. —種用于處理多媒體數(shù)據(jù)的系統(tǒng)，其包括編碼器，其經(jīng)配置以識(shí)別后處理技術(shù)的指示符，且進(jìn)一步經(jīng)配置以對(duì)第一多媒體數(shù)據(jù)進(jìn)行編碼以形成第一經(jīng)編碼數(shù)據(jù)；第一解碼器，其經(jīng)配置以處理所述第一經(jīng)編碼數(shù)據(jù)以形成第二多媒體數(shù)據(jù)，所述 處理包括對(duì)所述第一經(jīng)編碼數(shù)據(jù)進(jìn)行解碼以及應(yīng)用由所述指示符識(shí)別的所述后處 理技術(shù)；以及比較器，其經(jīng)配置以將所述第一多媒體數(shù)據(jù)與所述第二多媒體數(shù)據(jù)迸行比較以確 定比較信息；所述編碼器進(jìn)一步經(jīng)配置以基于所述比較信息而產(chǎn)生第二經(jīng)編碼數(shù)據(jù)。
18. 根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述比較信息包括指示所述第一多媒體數(shù)據(jù)與 所述第二多媒體數(shù)據(jù)之間差異的差異信息。
19. 根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述編碼器經(jīng)配置以通過對(duì)所述第一多媒體數(shù)據(jù)進(jìn)行下取樣且對(duì)所述所得的經(jīng)下取樣的數(shù)據(jù)進(jìn)行壓縮來對(duì)所述第一經(jīng)編碼數(shù)據(jù) 進(jìn)行編碼。
20. 根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述第一解碼器配置包括上取樣過程和解壓縮過程，用以產(chǎn)生經(jīng)編碼的圖像，以及數(shù)據(jù)存儲(chǔ)裝置，用以在其中保存用于形成第二多媒體圖像的解碼技術(shù)的指示符。
21. 根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述后處理技術(shù)進(jìn)一步包括噪聲濾波模塊，所 述噪聲濾波模塊經(jīng)配置以減少所述第二多媒體數(shù)據(jù)中的噪聲。
22. 根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述后處理技術(shù)包括強(qiáng)化所述第二多媒體數(shù)據(jù) 的特征的增強(qiáng)技術(shù)。
23. 根據(jù)權(quán)利要求22所述的系統(tǒng)，其進(jìn)一步包括通信模塊，所述通信模塊經(jīng)配置以將 所述第一經(jīng)編碼數(shù)據(jù)和所述第二經(jīng)編碼數(shù)據(jù)信息傳輸?shù)降诙獯a器，所述第二解碼 器使用輔助信息來對(duì)所述第一經(jīng)編碼數(shù)據(jù)進(jìn)行解碼。
24. —種用于處理多媒體數(shù)據(jù)的系統(tǒng)，其包括用于識(shí)別后處理技術(shù)的指示符的裝置；用于對(duì)第一多媒體數(shù)據(jù)進(jìn)行編碼以形成第一經(jīng)編碼數(shù)據(jù)的裝置； 用于處理所述第一經(jīng)編碼數(shù)據(jù)以形成第二多媒體數(shù)據(jù)的裝置，所述處理包括對(duì)所述第一經(jīng)編碼數(shù)據(jù)進(jìn)行解碼以及應(yīng)用由所述指示符識(shí)別的所述后處理技術(shù)；用于將所述第二多媒體數(shù)據(jù)與所述第一多媒體數(shù)據(jù)進(jìn)行比較以確定比較信息的裝置；以及用于基于差異信息而產(chǎn)生第二經(jīng)編碼數(shù)據(jù)的裝置。
25. 根據(jù)權(quán)利要求24所述的系統(tǒng)，其中所述比較裝置確定包括指示所述第二多媒體數(shù) 據(jù)與所述第一多媒體數(shù)據(jù)之間差異的差異信息的比較信息。
26. 根據(jù)權(quán)利要求25所述的系統(tǒng)，其中所述編碼裝置包括編碼器。
27.根據(jù)權(quán)利要求25所述的系統(tǒng)，其中所述解碼裝置包括解碼器。
28. 根據(jù)權(quán)利要求25所述的系統(tǒng)，其中所述比較裝置包括比較器模塊，所述比較器模 塊經(jīng)配置以確定所述第一多媒體數(shù)據(jù)與所述第二多媒體數(shù)據(jù)之間的差異信息。
29. —種機(jī)器可讀媒體，其包含存儲(chǔ)在上面的指令，其中所述指令可在一個(gè)或一個(gè)以上 機(jī)器上執(zhí)行，且其中所述指令包括用于識(shí)別后處理技術(shù)的指示符的指令；用于對(duì)第一多媒體數(shù)據(jù)進(jìn)行編碼以形成第一經(jīng)編碼數(shù)據(jù)的指令；用于處理所述第一經(jīng)編碼數(shù)據(jù)以形成第二多媒體數(shù)據(jù)的指令，所述處理包括對(duì)所述第一經(jīng)編碼數(shù)據(jù)進(jìn)行解碼以及應(yīng)用由所述指示符識(shí)別的所述后處理技術(shù)；用于將所述第二多媒體數(shù)據(jù)與所述第一多媒體數(shù)據(jù)進(jìn)行比較以確定比較信息的 指令以及用于基于差異信息而產(chǎn)生第二經(jīng)編碼數(shù)據(jù)的指令。
30. 根據(jù)權(quán)利要求29所述的機(jī)器可讀媒體，其中所述比較信息包括指示所述第二多媒體數(shù)據(jù)與所述第一多媒體數(shù)據(jù)之間差異的差異信息。
31. —種用于處理多媒體數(shù)據(jù)的系統(tǒng)，其包括終端裝置，其經(jīng)配置以接收第一經(jīng)編碼多媒體數(shù)據(jù)，所述第一經(jīng)編碼多媒體是從 第一多媒體數(shù)據(jù)產(chǎn)生的，所述終端裝置進(jìn)一步經(jīng)配置以接收第二經(jīng)編碼數(shù)據(jù)，所述 第二經(jīng)編碼數(shù)據(jù)包括表示所述第一多媒體數(shù)據(jù)與第二多媒體數(shù)據(jù)之間差異的信息， 其中通過對(duì)所述第一多媒體數(shù)據(jù)進(jìn)行編碼且接著使用后處理技術(shù)對(duì)所述經(jīng)編碼的 第一多媒體數(shù)據(jù)進(jìn)行解碼來形成所述第二多媒體數(shù)據(jù)，所述終端裝置包括解碼器， 所述解碼器經(jīng)配置以對(duì)所述第二經(jīng)編碼數(shù)據(jù)進(jìn)行解碼，且使用來自所述經(jīng)解碼的第 二經(jīng)編碼數(shù)據(jù)的信息對(duì)所述第一經(jīng)編碼數(shù)據(jù)進(jìn)行解碼。
32. —種處理多媒體數(shù)據(jù)的方法，所述方法包括在終端裝置中接收第一經(jīng)編碼多媒體，所述第一經(jīng)編碼多媒體是從第一多媒體數(shù) 據(jù)產(chǎn)生的在所述終端裝置中接收第二經(jīng)編碼數(shù)據(jù)，所述第二經(jīng)編碼數(shù)據(jù)包括表示通過將所 述第一多媒體數(shù)據(jù)與第二多媒體數(shù)據(jù)進(jìn)行比較而產(chǎn)生的差異的信息，所述第二多媒 體是通過對(duì)所述第一多媒體數(shù)據(jù)進(jìn)行編碼且接著使用還在所述終端裝置的解碼器中使用的后處理技術(shù)對(duì)所述經(jīng)編碼的第一多媒體數(shù)據(jù)進(jìn)行解碼而形成的 對(duì)所述第二經(jīng)編碼數(shù)據(jù)進(jìn)行解碼以產(chǎn)生所述差異信息；以及使用所述差異信息對(duì)所述第一經(jīng)編碼數(shù)據(jù)進(jìn)行解碼。
全文摘要
本申請(qǐng)案包含用于基于編碼器輔助的后處理來處理多媒體數(shù)據(jù)以在接收器處產(chǎn)生增強(qiáng)質(zhì)量的多媒體數(shù)據(jù)的裝置和方法。在一個(gè)方面，處理多媒體數(shù)據(jù)包含識(shí)別后處理技術(shù)的指示符；對(duì)第一多媒體數(shù)據(jù)進(jìn)行編碼以形成第一經(jīng)編碼數(shù)據(jù)；處理所述第一經(jīng)編碼數(shù)據(jù)以形成第二多媒體數(shù)據(jù)，所述處理包括對(duì)所述第一經(jīng)編碼數(shù)據(jù)進(jìn)行解碼以及應(yīng)用由所述指示符識(shí)別的所述后處理技術(shù)；將所述第二多媒體數(shù)據(jù)與所述第一多媒體數(shù)據(jù)進(jìn)行比較，以確定指示所述第二多媒體數(shù)據(jù)與所述第一多媒體數(shù)據(jù)之間差異的差異信息；以及基于所述差異信息而產(chǎn)生第二經(jīng)編碼數(shù)據(jù)。
文檔編號(hào)H04N7/26GK101491102SQ200780027133
公開日2009年7月22日 申請(qǐng)日期2007年7月19日 優(yōu)先權(quán)日2006年7月20日
發(fā)明者維賈雅拉克希米·R·拉溫德朗 申請(qǐng)人:高通股份有限公司