專利名稱：應用基層編碼信息改進精確顆?？啥藞D像的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在標題是″SYSTEM AND METHOD FOR FINE GRANULARSCALABLE VIDEO WITH SELECTIVE QUALITY ENHANCEMENT″的美國專利申請(卷號No.700752)所公開內(nèi)容，其被同時提交并且被共同指定給本發(fā)明的受讓人。該相關(guān)專利申請的公開內(nèi)容被結(jié)合在此，如在其中詳細闡述那樣供所有目的參考。
總的來說，本發(fā)明涉及圖像編碼系統(tǒng)，更具體地說涉及對于視頻數(shù)據(jù)進行數(shù)據(jù)流的一個編碼系統(tǒng)。
近年來，經(jīng)過包括互聯(lián)網(wǎng)絡(luò)的數(shù)據(jù)網(wǎng)絡(luò)而實時地串流多媒體內(nèi)容已經(jīng)逐漸地變成一個通常應用。在其它應用當中，大范圍的交互性和非交互性的多媒體應用，例如新聞點播、現(xiàn)場網(wǎng)絡(luò)電視可見視頻會議，依靠的是端對端串流視頻技術(shù)。不同于可首先以″非實″時檢索而稍后以″實″時觀看或播放的″下載″圖像文件，數(shù)據(jù)流視頻應用要求一個圖像發(fā)射機編碼一個視頻信號并且經(jīng)一個數(shù)據(jù)網(wǎng)絡(luò)發(fā)送到一個圖像信號接收機，而該圖像信號接收機必須以實時方式解碼和顯示該視頻信號。
可定標視頻編碼是許多使用在采用具有大范圍處理能力譯碼器的系統(tǒng)中的多媒體應用和業(yè)務的一個所希望的特征?？啥诵栽试S具有低計算能力的處理器只解碼該可定標視頻數(shù)據(jù)流的一個子集?？啥藞D像的另一應用是在具有可變傳輸帶寬的環(huán)境中。在那些環(huán)境中，具有低接入帶寬的接收機接收并且從而解碼該可定標視頻數(shù)據(jù)流的一個子集，其中該子集的量正比于該可用帶寬。
主要的視頻壓縮標準，比如MPEG-2和MPEG-4已經(jīng)采用了若干圖像可定標性方案。在這些標準中已經(jīng)定義了時間的、空間的和質(zhì)量的(例如信號噪聲比(SNR))的可定標類型。所有的的這些方案都包括一個基層(BL)和一個增強層(EL)?？偟膩碚f，該可定標視頻數(shù)據(jù)流的基層部分表示為了解碼該數(shù)據(jù)流所需要的數(shù)據(jù)的最小量。該數(shù)據(jù)流的增強層部分表示附加信息，因此當由接收機解碼時增強該視頻信號的顯示效果。
例如，在互聯(lián)網(wǎng)絡(luò)的一個可變帶寬系統(tǒng)中，基層傳輸速率能以該可變帶寬系統(tǒng)的最小保證傳輸速率建立。因此，如果用戶具有256kbps的一個最小保證帶寬，則基層速率也能以256kbps建立。如果該實際可用帶寬是384kbps，則帶寬的額外128kbps可以由增強層使用，以便改進以該基層速率發(fā)送的基本信號。
針對圖像可定標性的每一類型，標識一個確定的可定標性的結(jié)構(gòu)。該可定標性結(jié)構(gòu)定義了在基層圖像和增強層圖像當中的關(guān)系。可定標性的一個等級是精確顆?？啥诵?。借此可定標性類型編碼的圖像能夠被逐級解碼。換言之，解碼器能僅以用于編碼該圖像的數(shù)據(jù)的一個子集的解碼并且顯示該圖像。隨著更多的數(shù)據(jù)的接收，該解碼圖像的質(zhì)量逐漸增強，直到全部信息被接收、解碼和顯示。
新建議的MPEG-4標準是針對以非常低的比特率編碼為基礎(chǔ)的應用中的新視頻數(shù)據(jù)流，例如電視電話、移動多媒體和視聽通信、多媒體電子郵件、遙感交互性的游戲等等。在該MPEG-4標準之內(nèi)，精確顆?？啥诵?FGS)已經(jīng)被認為是用于網(wǎng)絡(luò)圖像分配的基本技術(shù)。FGS主要瞄準的是其中的圖像經(jīng)不同類網(wǎng)絡(luò)實時數(shù)據(jù)流的應用場合。通過在一個比特率的范圍對內(nèi)容一次編碼而提供帶寬自適應性，并且允許該視頻傳輸服務器動態(tài)地改變傳輸速率，而無須該視頻比特數(shù)據(jù)流的深入了解或分析。
在普通的FGS技術(shù)中的一個重要優(yōu)勢是改進編碼效率和幀內(nèi)編碼的增強層的視頻質(zhì)量。有必要調(diào)整FGS技術(shù)的采用，用于該增強層的壓縮，代替非可定標(例如單層)或少顆粒的(例如多的電平SNR可定標性)編碼方法。
當前采用作為FGS基準的壓縮方案的局限性在于無力利用該基層編碼信息來改進該增強層的壓縮效率。當前采用的FGS方案的另一缺點在于該增強層幀的編碼彼此無關(guān)(即″幀內(nèi)″編碼)。為了誤差恢復力和按傳輸時間易于改變比特率，需要該增強層的幀內(nèi)編碼。但是，由于每一增強幀在其自身擁有的范圍內(nèi)被最佳編碼，所以常常引入不連貫性或連續(xù)幀的圖像質(zhì)量之間的不一致。這引起FGS增強圖像可能有通過該幀的″快速的″人工失真。當與多個″可視穩(wěn)定″單層編碼圖像比較時，這將特別令人討厭和很顯見。
因此，本專業(yè)中需要應用在數(shù)據(jù)流圖像系統(tǒng)中的改進的編碼器和編碼技術(shù)。進一步需要編碼器和編碼技術(shù)，不易受快速人工失真和其它相關(guān)幀序列中的連續(xù)幀質(zhì)量的不連貫的信號源的影響。具體地說，本專業(yè)需要這樣的編碼器，其相對于活動量或在原始視頻圖像中選擇的特性而有選擇地分配該增強層數(shù)據(jù)。
針對上述討論的已有技術(shù)的不足，本發(fā)明的一個主要目的是提供一個對于改進增強層壓縮方案的編碼效率的一個新技術(shù)。該建議的編碼技術(shù)使用一個或者多個取自該基層壓縮信息的參數(shù)(例如運動矢量、基層量化誤差、速率控制信息等)，以便改進該增強層的圖像質(zhì)量。而且，根據(jù)觀察，在針對特定比特率的優(yōu)化圖像質(zhì)量中的單層編碼通常干得好，本發(fā)明能以多比特率使用單層編碼作為用于FGS編碼的″指南″。該新壓縮技術(shù)的應用能與在基層和增強層中選擇的變換無關(guān)(例如離散余弦變換(DCT)或小波變換)。但是，如果在基層和增強層采用不同的編碼方案，則使用確定的基層或單層信息很少有直接的效果。
因此，在本發(fā)明的提供了供圖像編碼器用的有益實施例中，該圖像編碼器包括一個基層電路，能夠接收視一個頻幀的輸入數(shù)據(jù)流，并且從其中產(chǎn)生壓縮的基層視頻幀，適于以一個基層比特速率發(fā)送到一個數(shù)據(jù)流視頻信號接收機；和一個增強層電路，能夠接收視頻幀和該壓縮的基層視頻幀解碼型式的輸入數(shù)據(jù)流，并且從其中產(chǎn)生增強層視頻數(shù)據(jù)，與該壓縮的基層視頻幀相關(guān)并且分配到該壓縮的基層視頻幀，并且適于以一個可修正的增強層比特速率傳輸?shù)皆摂?shù)據(jù)流視頻信號接收機，以及一個用于控制該增強層視頻數(shù)據(jù)的傳輸?shù)难b置。該裝置包括一個基層參數(shù)監(jiān)視器，能夠接收至少一個基層參數(shù)，并且響應該基層參數(shù)修改在對應壓縮的基層視頻幀當中的增強層視頻數(shù)據(jù)的分配。
在本發(fā)明的一個實施例中，該視頻編碼器包括一個運動估計電路，能夠接收該視頻幀的輸入數(shù)據(jù)流，并且從其中確定與在該視頻幀的輸入數(shù)據(jù)流中的至少一個所選幀序列相關(guān)的一個基層運動參數(shù)。
在本發(fā)明的再一個實施例中，該基層參數(shù)監(jiān)視器接收該基層運動參數(shù)，并且響應該運動參數(shù)，根據(jù)在由該基層運動參數(shù)指示的至少一個所選幀序列中的運動等級而修改該增強層視頻數(shù)據(jù)的分配。
在本發(fā)明的另一實施例中，該視頻編碼器包括一個量化電路，能夠接收和量化與視頻幀的輸入數(shù)據(jù)流相關(guān)的變換數(shù)據(jù)，以便從而降低該變換數(shù)據(jù)的大小，并且能夠進一步確定與該量化變換數(shù)據(jù)相關(guān)的一個基層量化誤差參數(shù)。
在本發(fā)明進一步的實施例中，該基層參數(shù)監(jiān)視器接收該基層量化誤差參數(shù)，并且響應該基層量化誤差參數(shù)，根據(jù)由該基層量化誤差參數(shù)指示的一個量化誤差修改該增強層視頻數(shù)據(jù)的分配。
在本發(fā)明更進一步的實施例中，該視頻編碼器包括一個基層速率分配電路，能夠確定該基層比特速率，其中該基層比特速率被設(shè)置在一個該壓縮基層視頻幀被發(fā)送到該數(shù)據(jù)流視頻信號接收機的預定最小速率，并且從其中產(chǎn)生一個與該基層比特速率相關(guān)的基層比特速率參數(shù)。
在本發(fā)明一個進一步的實施例中，該基層參數(shù)監(jiān)視器接收該基層比特速率參數(shù)，并且響應該基層比特速率參數(shù)，根據(jù)在該壓縮的基層視頻幀和與大于預定最小速率的第二基層比特速率相關(guān)的估計壓縮基層視頻幀之間的一個估計差而修改該增強層視頻數(shù)據(jù)的分配。
上文已經(jīng)相當概括地概述了本發(fā)明的特征和技術(shù)上的優(yōu)點，使得本領(lǐng)域技術(shù)人員可以更好地理解本發(fā)明隨后的詳細描述。下文將被描述的本發(fā)明的附加特征和優(yōu)點形成本發(fā)明權(quán)利要求的主題。本領(lǐng)域技術(shù)人員應該理解，使用公開的構(gòu)思和具體的實施例作為基礎(chǔ)，可以容易地修改或設(shè)計用于執(zhí)行本發(fā)明相同目標的其它結(jié)構(gòu)。在不背離本發(fā)明的精神和概括形式的本發(fā)明的范圍的條件下，本領(lǐng)域技術(shù)人員也將實現(xiàn)這種等價結(jié)構(gòu)。
在進行詳細描述之前，對此整個專利文件使用的某些措詞和詞組做定義是有益的，術(shù)語″包含″和″包括″以及導出詞，是指無局限性的包含；術(shù)語″或″包含″和/或″的意思；詞組″與…相關(guān)″和″與其相關(guān)″以及導出詞組可以意味著被包含在…之中、與…互連、含有、被含有在…之中、連接到或與…連接、耦合到或與…耦合、可與…交流、與…配合、交錯進行、并置、最近似于、受限于或以…為界、具有、具有一個…的性質(zhì)，等等。術(shù)語″控制器″是指任何裝置、系統(tǒng)或其部分，其控制至少一個操作，這樣的裝置能由硬件、固件或軟件實現(xiàn)，或某些它們的至少兩個的組合實現(xiàn)。應該注意，不論是本地或遠距，與任何特定控制器相關(guān)的功能都可以是集中或分布的方式。用于某些單詞和詞組的定義被貫穿此專利文件提供，本領(lǐng)域普通技術(shù)人員將理解，即使不是大多數(shù)情況，許多這樣的定義應用于這種定義的單詞和詞組的以前以及未來的使用。
為了更完全地理解本發(fā)明以及其優(yōu)點，下面結(jié)合附圖進行描述，其中相同的編號表示相同的目標，其中

圖1示出根據(jù)本發(fā)明一個實施例的數(shù)據(jù)流視頻的端對端傳輸，從一個數(shù)據(jù)流視頻發(fā)送器通過一個數(shù)據(jù)網(wǎng)絡(luò)到一個數(shù)據(jù)流視頻信號接收機；圖2示出根據(jù)已有技術(shù)的一個實施例的視頻編碼器；圖3示出根據(jù)本發(fā)明的一個實施例的示例性視頻編碼器；以及圖4是一個流程圖，說明根據(jù)本發(fā)明的一個實施例的示例性視頻編碼器的操作。
下面討論的圖1至4以及用于描述此專利文件中的本發(fā)明的原理的各種實施例僅是作為說明方式，而不以任何方式解釋為對于本發(fā)明范圍的限制。本領(lǐng)域技術(shù)人員將理解，本發(fā)明的原理能以任何適用于視頻編碼器的設(shè)計而實現(xiàn)。
圖1示出根據(jù)本發(fā)明一個實施例的數(shù)據(jù)流視頻的端對端傳輸，從一個數(shù)據(jù)流視頻發(fā)送器110通過一個數(shù)據(jù)網(wǎng)絡(luò)120到一個數(shù)據(jù)流視頻信號接收機130。根據(jù)該應用，數(shù)據(jù)流視頻發(fā)送器110可以是多種視頻幀信號源的任何之一，包括數(shù)據(jù)網(wǎng)絡(luò)服務器、電視臺、電纜網(wǎng)絡(luò)、臺式個人計算機(PC)等等。
數(shù)據(jù)流視頻發(fā)送器110包括視頻幀信源112、視頻編碼器114和編碼器緩存器116。視頻幀信源112可以是能夠產(chǎn)生一個未壓縮視頻幀序列的任何裝置，包括一個電視天線以及接收機單元、一個錄象重放裝置、一個攝像機、一個能夠存儲″原生″視頻文件集的磁盤存儲器等等。該未壓縮的視頻幀以一個給定圖像速率(或″數(shù)據(jù)流速率″)輸入視頻編碼器114，并且根據(jù)任何已知的壓縮算法或裝置，例如MPEG-4編碼器，而被壓縮。視頻編碼器114則將該壓縮的視頻幀發(fā)送到用于緩存的編碼器緩存器116，以準備用于通過數(shù)據(jù)網(wǎng)絡(luò)120傳輸。數(shù)據(jù)網(wǎng)絡(luò)120可以是任何適當?shù)木W(wǎng)絡(luò)，并且可以包含兩種公用數(shù)據(jù)網(wǎng)的一些部分，例如互聯(lián)網(wǎng)絡(luò)，以及專用數(shù)據(jù)網(wǎng)，例如企業(yè)擁有的局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)。
數(shù)據(jù)流視頻信號接收機130包括解碼器緩存器132、視頻解碼器134和視頻顯示器136。解碼器緩存器132接收并存儲來自數(shù)據(jù)網(wǎng)絡(luò)120的數(shù)據(jù)流的壓縮視頻幀。解碼器緩存器132則按照要求把壓縮的視頻幀發(fā)送到視頻解碼器134。視頻解碼器134以和視頻編碼器114壓縮該圖像幀的相同的速率(理想速率)解壓縮該視頻幀。視頻解碼器134把該解壓縮幀發(fā)送到視頻顯示器136，用于在視頻顯示器134的屏幕上重放。
圖2示出根據(jù)已有技術(shù)的一個實施例的視頻編碼器200。視頻編碼器200包括基層編碼單元和增強層編碼單元250。視頻編碼器200接收轉(zhuǎn)移到基層編碼單元210的用于基層比特數(shù)據(jù)流的產(chǎn)生、以及轉(zhuǎn)移到增強層編碼單元250的用于增強層比特數(shù)據(jù)流的產(chǎn)生的原始的視頻信號。
基層編碼單元210包括一個主處理支路，由運動估計器212、變換電路214、量化電路216、熵編碼器218以及緩存器220組成，產(chǎn)生基層比特數(shù)據(jù)流?；鶎泳幋a單元210包括基層速率分配器222，用于調(diào)整基層編碼單元210的量化系數(shù)?；鶎泳幋a單元210還包括由反向量化電路224、逆變換電路226以及幀存儲電路228組成的一個反饋支路。
運動估計器212接收該原始的視頻信號，并且估計在一個基準幀和按照由像素特性中的改變表示的當前視頻幀之間的運動量。例如，該MPEG標準規(guī)定，運動信息能以該幀的每16×16子數(shù)據(jù)塊的1到4個空間運動矢量表示。變換電路214接收來自運動估計器212的結(jié)果運動差估計輸出，并且使用已知的解相關(guān)技術(shù)，例如使用離散余弦變換(DCT)將其從空間域變換到頻域。
量化電路216從變換電路214接收該DCT系數(shù)輸出，并且從基層速率分配器電路322接收一個定標因數(shù)，使用熟知的量化技術(shù)進一步壓縮該運動補償預測信息。量化電路216利用來自基層速率分配器電路222的定標因數(shù)，以便確定將要應用于該變換輸出的量化的除法系數(shù)。隨后，熵編碼器電路218從量化電路216接收該量化的DCT系數(shù)，并且使用可變長度碼技術(shù)進一步壓縮該數(shù)據(jù)，該可變長度碼技術(shù)以一個相對短的編碼表示具有高出現(xiàn)概率的區(qū)域，而以一個相對較長的編碼表示具有低出現(xiàn)概率的區(qū)域。緩存器220接收熵編碼器218的輸出并且提供用于該壓縮基層比特數(shù)據(jù)流的輸出所需要的緩存。另外，緩存器220提供一個反饋信號，作為用于基層速率分配器222的基準輸入?；鶎铀俾史峙淦?22從緩沖區(qū)220接收該反饋信號，并且使用該反饋信號確定提供到量化電路216的除法因素。
反向量化電路224對該量化電路216的輸出解量化，以便產(chǎn)生一個信號，表示對量化電路216的變換輸入。逆變換電路226解碼該反向量化電路224的輸出，以便產(chǎn)生一個信號，其按照由變換和量化處理的修改而提供該原始視頻信號的一個幀顯示。幀存儲電路228從逆變換電路226接收該解碼的代表幀，并且把該幀存儲為輸出到運動估計器電路212和增強層編碼單元250的一個基準。運動估計器電路212使用產(chǎn)生的存儲幀信號作為輸入基準信號，用于確定的在原始視頻信號中的運動改變。
增強層編碼單元250包括一個主處理支路，由余數(shù)計算器252、變換電路254、和精確顆?？啥诵?FGS)編碼器256組成。增強層編碼單元250還包括增強速率分配器258。余數(shù)計算器電路252從該原始視頻信號接收幀信號，并且將其與在幀存儲器228中的解碼(或重建)的基層幀比較，以便產(chǎn)生表示作為變換和量化處理的結(jié)果在基層幀中丟失的圖像信息的一個殘留信號。余數(shù)計算器電路252的輸出被稱為余數(shù)數(shù)據(jù)或殘留誤差數(shù)據(jù)。
變換電路254從余數(shù)計算器252接收輸出并且使用一個已知的變換技術(shù)，例如DCT，壓縮該數(shù)據(jù)。盡管DCT用作針對此實施方案的示例性變換，不過變換電路254不要求具有如基層變換214同樣的的變換處理。
FGS幀編碼器電路256從變換電路254和增強速率分配器258接收輸出。FGS幀編碼器256按照由增強速率分配器258的調(diào)節(jié)編碼和壓縮DCT系數(shù)，以便產(chǎn)生用于該增強層比特數(shù)據(jù)流的壓縮輸出。增強速率分配器258從變換電路254接收該DCT系數(shù)，并且利用該DCT系數(shù)產(chǎn)生應用到FGS幀編碼器電路256的一個速率分配控制。
圖2中描述的已有技術(shù)實施方案產(chǎn)生一個增強層余數(shù)壓縮信號，表示在原始視頻信號和解碼基層數(shù)據(jù)之間的差值，而被處理的全部余數(shù)與基層編碼單元310的內(nèi)部參數(shù)無關(guān)。如下面描述的那樣，本發(fā)明使用一個或者多個取自該基層的參數(shù)(例如運動矢量、基層量化誤差、速率控制信息等)，以便改進該增強層的操作。該新壓縮技術(shù)的應用能與在基層和增強層中選擇的變換無關(guān)(例如離散余弦變換(DCT)或小波變換)。
圖3更詳細地示出根據(jù)本發(fā)明的一個實施例的視頻編碼器114。在很大程度上，視頻編碼器114類似于已有技術(shù)的視頻編碼器200。視頻編碼器114包括基層編碼單元310和增強層編碼單元350。視頻編碼器114接收轉(zhuǎn)移到基層編碼單元310的用于基層比特數(shù)據(jù)流的產(chǎn)生、以及轉(zhuǎn)移到增強層編碼單元350的用于增強層比特數(shù)據(jù)流的產(chǎn)生的原始的視頻信號。
基層編碼單元310包括一個主處理支路，由運動估計器312、變換電路314、量化電路316、熵編碼器318以及緩存器320組成，產(chǎn)生基層比特數(shù)據(jù)流?；鶎泳幋a單元310還包括基層速率分配器322，用于分配來自基層編碼單元310的基層數(shù)據(jù)?；鶎泳幋a單元310還包括由反向量化電路324、逆變換電路326以及幀存儲電路328組成的一個反饋支路。
增強層編碼單元350包括一個主處理支路，由余數(shù)計算器352、變換電路354、和精確顆?？啥诵?FGS)編碼器356組成。增強層編碼單元350還包括增強層速率分配器358。
但是，不象已有技術(shù)的視頻編碼器200，在圖像編碼器114中的增強層編碼單元350還包括基層參數(shù)監(jiān)視器300。在基層編碼單元310和增強層編碼單元350中的標記A、B和C表示在基層編碼單元310中的成份與在增強層編碼單元350中的成份的互連的信號行。為了清楚，該信號行被省略。如標記A表明，示例的基層參數(shù)監(jiān)視器300可以從基層速率分配器322接收一個或者多個基層比特速率參數(shù)。如標記B表明，示例的基層參數(shù)監(jiān)視器300還可以從量化電路316接收一個或者多個基層量化誤差參數(shù)。最終，如標記C表明，示例的基層參數(shù)監(jiān)視器300可以從運動估計器312接收一個或者多個基層運動參數(shù)。
在包括操作不同基層速率的多個編碼器的服務器環(huán)境中，基層參數(shù)監(jiān)視器300還可以從任意地標記為″高BL速率編碼器1″至″高BL速率編碼器N″、操作在基層速率分配器322的高速率的N個其它基層編碼器的一個或者多個接收一個或者多個基層參數(shù)。
基層參數(shù)監(jiān)視器300使用來自基層編碼單元310和高BL速率編碼器1-N的基層參數(shù)作為基準信號，產(chǎn)生一個或者多個控制該增強分配器358的操作的輸出信號。來自基層參數(shù)監(jiān)視器300的輸出信號調(diào)節(jié)或修改增強速率分配器電路358的操作，以重新分配方式，在數(shù)據(jù)塊、數(shù)據(jù)塊組和基層幀中分配增強層數(shù)據(jù)。
在本發(fā)明的另一實施例中，基層參數(shù)監(jiān)視器300還可以包括比較器電路，能夠以基層編碼單元310操作的高速率從N個其它基層編碼器的一個或者多個接收基層幀，并且將其與在基層編碼單元310中的基層幀比較?；鶎訁?shù)監(jiān)視器300從這些輸入中產(chǎn)生一個基層差信號，用作一個基層參數(shù)，通過重新指定在數(shù)據(jù)塊、數(shù)據(jù)塊組和基層幀中分配增強層數(shù)據(jù)的方式而調(diào)節(jié)或修改增強速率分配器電路358的操作。
應該注意，上述基層參數(shù)僅是示例性的參數(shù)而不是全部參數(shù)。它們不應該被解釋為排除其它適于改善增強層視頻比特數(shù)據(jù)流的基層參數(shù)信號的應用。
增強速率分配器電路358從基層參數(shù)監(jiān)視器300接收一個或幾個參數(shù)輸出信號，并且從變換電路354接收一個輸出。增強速率分配器358使用該接收的變換和參數(shù)信號作為用于生成輸出到FGS幀編碼器電路356的該速率分配的基礎(chǔ)。
增強層編碼單元350利用一個或多個基層參數(shù)和/或基層速率編碼器輸出，以便生成利用人的眼睛對于視頻誤差的某些類型的靈敏度的一個改進的增強層比特數(shù)據(jù)流。例如，增強層編碼單元350可以使用基層比特速率參數(shù)作為用于在特定視頻幀之內(nèi)或兩個或多個視頻幀之間分配附加位的指南，使得圖像質(zhì)量局部或總體地接近以高傳輸速率操作的一個系統(tǒng)的質(zhì)量。產(chǎn)生的圖像提供一種在感覺上更好的圖像質(zhì)量。類似的處理可能用來確保連續(xù)幀之間的更一致的圖像質(zhì)量。
以類似的方式，增強層編碼單元350可以使用基層量化誤差參數(shù)作為分類由該基層量化處理引入的殘留誤差的手段。FGS幀編碼器電路356則通過添加比特，作為對于標識的殘留誤差等級的補償而改進產(chǎn)生的可視圖像。而且，增強層編碼單元350可以通過把不同傳輸優(yōu)先級指定到不同剩余系數(shù)而最小化由該量化處理引入的數(shù)據(jù)塊間的失真。增強層編碼單元350使用該產(chǎn)生的優(yōu)先級化的剩余系數(shù)作為基礎(chǔ)，用于重建感覺更舒適的低比特率圖像，其特征在于更平滑的數(shù)據(jù)塊間的過渡。
增強層編碼單元350可以使用該基層運動參數(shù)作為基礎(chǔ)，以由幀之間的運動程度進行圖像分類，利用該運動分類確定針對特定圖像的壓縮量。因為快速移動的圖像中的相差很少為人眼所見，所以FGS幀編碼器356可以通過減少表示運動圖像的比特數(shù)量來增加表示快速運動圖像的數(shù)據(jù)壓縮。反過來，F(xiàn)GS幀編碼器356可以分配更多的比特用于具有慢的或很少運動的區(qū)域，因此改進這些圖像的視覺效果。
從高BL速率編碼器1-N接收的基層比特速率參數(shù)提供了由來自基層編碼單元310的內(nèi)在基層比特速率參數(shù)所提供的該增強能力的擴展。基層參數(shù)監(jiān)視器300監(jiān)視該高速率編碼器1-N的基層比特速率參數(shù)，并且使用該信息來提供表示最吻合圖像質(zhì)量和速率的一個輸出。增強速率分配器358使用基層參數(shù)監(jiān)視器300的輸出，以便調(diào)整由FGS幀編碼器356接收的變換數(shù)據(jù)。
可以通過以增加的比特速率執(zhí)行和記錄附加單層編碼操作過程、并且隨后重復使用這些重建信號作為用于在該增強層的速率分配的準則來實現(xiàn)一個具體的實施例。該視頻首先以目標基層比特率編碼。隨后，以增加的比特速率執(zhí)行附加編碼操作過程，并且記錄用于全部增加的編碼操作過程的重建信號。
冗余的單層編碼操作過程的所選數(shù)目應該是在提高視頻質(zhì)量和一致性以及相關(guān)的復雜性之間的良好的取舍。但是，在該情況中，脫機執(zhí)行編碼以及該編碼器的復雜性在整個系統(tǒng)設(shè)計中不是主要約束因素，能夠允許更大數(shù)目的冗余單層編碼循環(huán)。
在已介紹的改進中的一個重要部分是由編碼器/解碼器的同步形成的。在編碼時間上作出的選擇應該可能在用于充分重建的解碼器上再生。例如，如果圖像的某些區(qū)域被不同地編碼(例如得到一個較高優(yōu)先級)，該感興趣的具體區(qū)域的形式和位置應該被發(fā)送到解碼器作為輔助信息。但是，發(fā)送器此輔助信息(即編碼器選擇)將導致附加編碼的額外開銷。因此，一個選擇是以例如基層信息為基礎(chǔ)定義編碼器和解碼器之間的互相協(xié)議，使得由該增強編碼器作出的選擇由該增強解碼器類似地再現(xiàn)，無需另外一側(cè)(同步)信息傳輸。其中該編碼器和解碼器可以同步而不必輔助信息的發(fā)送的一個例子是，能夠根據(jù)已針對基層重建(見上述的)發(fā)送的運動矢量或能夠在該基層圖像的解碼成分上執(zhí)行一個具體目標的分割，該編碼器和解碼器都已經(jīng)存在。
圖4是一個流程圖400，示出根據(jù)本發(fā)明的一個實施例的示例性視頻編碼器114的操作?；鶎訁?shù)監(jiān)視器300從基層編碼單元310或高BL速率編碼器1-N接收一個或者多個基層參數(shù)(處理步驟405)。基層參數(shù)可以包括基層比特率參數(shù)、基層量化誤差參數(shù)、基層運動參數(shù)C或其它可能的描述參數(shù)的一個或多個。
基層參數(shù)監(jiān)視器300使用該基層參數(shù)來標識(或分類)該基層中的一個或多個誤差或包括可視遮蔽系數(shù)的粗劣圖象質(zhì)量指示符(處理步驟410)?；鶎訁?shù)監(jiān)視器300還根據(jù)該基層幀和在該基層幀之內(nèi)的數(shù)據(jù)塊確定增強層數(shù)據(jù)的當前分配(處理步驟415)。最終，基層參數(shù)監(jiān)視器300控制增強速率分配器358，其控制方式是修改在象素數(shù)據(jù)塊和該基層數(shù)據(jù)幀當中的該增強層的分配。這將產(chǎn)生標識誤差和/或粗劣圖象質(zhì)量指示符的降低或消除(步驟420)。FGS幀編碼器356生成的輸出提供一個增強層比特數(shù)據(jù)流，其通過使用以基層參數(shù)為基礎(chǔ)的識別技術(shù)改進了感覺。
雖然已經(jīng)詳細描述了本發(fā)明，但是本領(lǐng)域技術(shù)人員應該理解，在不背離廣義形式的本發(fā)明的精神范圍的條件下，能夠進行各種改變、代替和變更。
權(quán)利要求
1．一個圖像編碼器(114)包括1)一個基層電路(310)，能夠接收一個視頻幀的輸入數(shù)據(jù)流，并且從其中產(chǎn)生壓縮的基層視頻幀，適于以一個基層比特速率發(fā)送到一個數(shù)據(jù)流視頻接收機；和2)一個增強層電路(350)，能夠接收視頻幀的所說的輸入數(shù)據(jù)流和所說的壓縮基層視頻幀的一個解碼的型式，并且從其中產(chǎn)生增強層視頻數(shù)據(jù)，與所說的對應的壓縮基層視頻幀相關(guān)并且分配到該壓縮的基層視頻幀，并且適于以一個可修正的增強層比特速率傳輸?shù)剿f的數(shù)據(jù)流視頻接收機，一個用于控制所說的增強層視頻數(shù)據(jù)的傳輸?shù)难b置，包括一個基層參數(shù)監(jiān)視器(300)，能夠接收至少一個基層參數(shù)，并且響應所說的基層參數(shù)修改在對應所說的壓縮的基層視頻幀當中的所說的增強層視頻數(shù)據(jù)的分配。
2．權(quán)利要求1中闡明的裝置，其中所說的視頻編碼器(114)包括一個運動估計電路(312)，能夠接收所說的視頻幀的輸入數(shù)據(jù)流，并且從其中確定與在所說的視頻幀的輸入數(shù)據(jù)流中的至少一個所選幀序列相關(guān)的一個基層運動參數(shù)。
3．權(quán)利要求2中闡明的裝置，其中所說的基層參數(shù)監(jiān)視器(300)接收該基層運動參數(shù)，并且響應該運動參數(shù)，根據(jù)在由所說的基層運動參數(shù)指示的至少一個所選幀序列中的運動等級而修改所說的增強層視頻數(shù)據(jù)的分配。
4．權(quán)利要求1中闡明的裝置，其中所說的視頻編碼器(114)包括一個量化電路(316)，能夠接收和量化與視頻幀的所說的輸入數(shù)據(jù)流相關(guān)的變換數(shù)據(jù)，以便從而降低所說的變換數(shù)據(jù)的大小，并且能夠進一步確定與所說的量化變換數(shù)據(jù)相關(guān)的一個基層量化誤差參數(shù)。
5．權(quán)利要求4中闡明的裝置，其中所說的基層參數(shù)監(jiān)視器(300)接收所說的基層量化誤差參數(shù)，并且響應該量化誤差參數(shù)，根據(jù)在由所說的基層量化誤差參數(shù)指示的一個量化誤差而修改所說增強層視頻數(shù)據(jù)的所說的分配。
6．權(quán)利要求1中闡明的裝置，其中所說的視頻編碼器(114)包括一個基層速率分配電路(322)，能夠確定的所說的基層比特速率，其中該基層比特速率被設(shè)置在一個所說壓縮基層視頻幀被發(fā)送到所說數(shù)據(jù)流視頻信號接收機的預定最小速率，并且從其中產(chǎn)生一個與所說基層比特速率相關(guān)的基層比特速率參數(shù)。
7．權(quán)利要求6中闡明的裝置，其中所說的基層參數(shù)監(jiān)視器(300)接收所說的基層比特速率參數(shù)，并且響應該基層比特速率參數(shù)，根據(jù)在所說壓縮的基層視頻幀和與大于所說預定最小速率的第二基層比特速率相關(guān)的估計壓縮基層視頻幀之間的一個估計差而修改所說增強層視頻數(shù)據(jù)的所說的分配。
8．一個數(shù)據(jù)網(wǎng)絡(luò)，包括能夠接收數(shù)據(jù)流視頻數(shù)據(jù)的多個接點、能夠發(fā)射所說的數(shù)據(jù)流視頻數(shù)據(jù)到一個或多個所說接點的一個數(shù)據(jù)流視頻發(fā)射機(110)，所說的數(shù)據(jù)流視頻發(fā)射機(110)包括一個視頻幀信號源(112)，能夠產(chǎn)生一個視頻幀的原始數(shù)據(jù)流；和一個視頻編碼器(114)包括一個基層電路(310)能夠接收所說的視頻幀的原始數(shù)據(jù)流，并且從其中產(chǎn)生適于以基層比特速率發(fā)送到所說的一個或多個所說節(jié)點的壓縮的基層視頻幀；一個增強層電路(350)，能夠接收所說視頻幀的原始數(shù)據(jù)流和所說壓縮基層視頻幀的解碼型式，并且從其中產(chǎn)生與所說壓縮基層視頻幀的對應之一相關(guān)的而且分配到該壓縮基層視頻幀的增強層視頻數(shù)據(jù)，并且適于以可修正的增強層比特速率傳輸?shù)剿f的一個或多個所說的節(jié)點；和一個用于控制所說的增強層視頻數(shù)據(jù)的傳輸?shù)难b置，包括一個基層參數(shù)監(jiān)視器(300)，能夠接收至少一個基層參數(shù)，并且響應所說的基層參數(shù)修改在對應所說的壓縮的基層視頻幀當中的所說的增強層視頻數(shù)據(jù)的分配。
9．權(quán)利要求8中闡明的該數(shù)據(jù)流視頻發(fā)射機(110)，其中所說的視頻編碼器(114)包括一個運動估計電路(312)，能夠接收所說的視頻幀的輸入數(shù)據(jù)流，并且從其中確定與在所說的視頻幀的輸入數(shù)據(jù)流中的至少一個所選幀序列相關(guān)的一個基層運動參數(shù)。
10．權(quán)利要求9中闡明的該數(shù)據(jù)流視頻發(fā)射機(110)，其中所說的基層參數(shù)監(jiān)視器(300)接收所說的基層運動參數(shù)，并且響應該運動參數(shù)，根據(jù)在由所說的基層運動參數(shù)指示的至少一個所選幀序列中的運動等級而修改所說的增強層視頻數(shù)據(jù)的所說的分配。
11．權(quán)利要求8中闡明的該數(shù)據(jù)流視頻發(fā)射機(110)，其中所說的視頻編碼器(114)包括一個量化電路(316)，能夠接收和量化與視頻幀的所說的輸入數(shù)據(jù)流相關(guān)的變換數(shù)據(jù)，從而降低所說的變換數(shù)據(jù)的大小，并且能夠進一步確定與所說的量化變換數(shù)據(jù)相關(guān)的一個基層量化誤差參數(shù)。
12．權(quán)利要求11中闡明的該數(shù)據(jù)流視頻發(fā)射機(110)，其中所說的基層參數(shù)監(jiān)視器(300)接收所說基層的量化誤差參數(shù)，并且響應該量化誤差參數(shù)，根據(jù)在由所說的基層量化誤差參數(shù)指示的一個量化誤差而修改所說的增強層視頻數(shù)據(jù)的所說的分配。
13．權(quán)利要求8中闡明的該數(shù)據(jù)流視頻發(fā)射機(110)，其中所說的視頻編碼器(114)包括一個基層速率分配電路(322)，能夠確定的該基層比特速率，其中該基層比特速率被設(shè)置在一個所說壓縮基層視頻幀被發(fā)送到所說數(shù)據(jù)流視頻接收機的預定最小速率，并且從其中產(chǎn)生一個與所說基層比特速率相關(guān)的基層比特速率參數(shù)。
14．權(quán)利要求13中闡明的該數(shù)據(jù)流視頻發(fā)射機(110)，其中所說的基層參數(shù)監(jiān)視器(300)接收所說的基層比特速率參數(shù)，并且響應該基層比特速率參數(shù)，根據(jù)在所說壓縮的基層視頻幀和與大于所說預定最小速率的第二基層比特速率相關(guān)的估計壓縮基層視頻幀之間的一個估計差而修改所說增強層視頻數(shù)據(jù)的所說的分配。
15．一個圖像編碼器(114)包括1)一個基層電路(310)，能夠接收一個視頻幀的輸入數(shù)據(jù)流，并且從其中產(chǎn)生壓縮的基層視頻幀，適于以一個基層比特速率發(fā)送到一個數(shù)據(jù)流視頻信號接收機；和2)一個增強層電路(350)，能夠接收視頻幀的輸入數(shù)據(jù)流和壓縮基層視頻幀的一個解碼的型式，并且從其中產(chǎn)生增強層視頻數(shù)據(jù)，與對應的壓縮基層視頻幀相關(guān)并且分配到該壓縮的基層視頻幀，并且適于以一個可修正的增強層比特速率傳輸?shù)皆摂?shù)據(jù)流視頻接收機，一個用于控制該增強層視頻數(shù)據(jù)的傳輸?shù)姆椒?，包括步驟監(jiān)視至少一個基層參數(shù)；和響應該被監(jiān)視的至少一個基層參數(shù)的值，修改在對應壓縮的基層視頻幀當中的增強層視頻數(shù)據(jù)的分配。
16．權(quán)利要求15中闡明的方法，其中該視頻編碼器(114)包括一個運動估計電路(312)，能夠接收該視頻幀的輸入數(shù)據(jù)流，并且從其中確定與在該視頻幀的輸入數(shù)據(jù)流中的至少一個所選幀序列相關(guān)的一個基層運動參數(shù)。
17．權(quán)利要求16中闡明的方法，進一步包括步驟監(jiān)視該基層運動參數(shù)，并且響應該運動參數(shù)，根據(jù)在由該基層運動參數(shù)指示的至少一個所選幀序列中的運動等級而修改該增強層視頻數(shù)據(jù)的分配。
18．權(quán)利要求15中闡明的方法，其中該視頻編碼器(114)包括一個量化電路(316)，能夠接收和量化與視頻幀的輸入數(shù)據(jù)流相關(guān)的變換數(shù)據(jù)，從而降低該變換數(shù)據(jù)的大小，并且能夠進一步確定與該量化變換數(shù)據(jù)相關(guān)的一個基層量化誤差參數(shù)。
19．權(quán)利要求18中闡明的方法，進一步包括步驟監(jiān)視該基層量化誤差參數(shù)，并且響應該基層量化誤差參數(shù)，根據(jù)由該基層量化誤差參數(shù)指示的一個量化誤差修改該增強層視頻數(shù)據(jù)的分配。
20．權(quán)利要求15中闡明的方法，其中該視頻編碼器(114)包括一個基層速率分配電路(322)，能夠確定的該基層比特速率，其中該基層比特速率被設(shè)置在該壓縮基層視頻幀被發(fā)送到該數(shù)據(jù)流視頻接收機的預定最小速率，并且從其中產(chǎn)生一個與該基層比特速率相關(guān)的基層比特速率參數(shù)。
21．權(quán)利要求20中闡明的方法，進一步包括步驟監(jiān)視該基層比特速率參數(shù)，并且響應該基層比特速率參數(shù)，根據(jù)在該壓縮的基層視頻幀和與大于該預定最小速率的第二基層比特速率相關(guān)的估計壓縮基層視頻幀之間的一個估計差而修改該增強層視頻數(shù)據(jù)的分配。
全文摘要
公開一種用于控制器增強層視頻數(shù)據(jù)發(fā)送的裝置,供包含一個基層編碼器和一個增強層編碼器的一個視頻編碼器使用。該基層編碼器接收輸入的視頻幀并產(chǎn)生適于以基層比特速率傳輸?shù)揭粋€數(shù)據(jù)流視頻接收機的壓縮的基層視頻幀。增強層編碼器把該輸入的視頻幀與該壓縮基層視頻幀的處理型式比較,并且產(chǎn)生適于以一個可修正的增強層比特速率發(fā)送到數(shù)據(jù)流視頻接收機的增強層視頻數(shù)據(jù)。該裝置包括:一個基層參數(shù)監(jiān)視器,用于接收至少一個基層參數(shù),并且響應該基層參數(shù),修改在對應壓縮的基層視頻幀當中的增強層視頻數(shù)據(jù)的分配。
文檔編號H04N7/26GK1321399SQ00801843
公開日2001年11月7日 申請日期2000年7月3日 優(yōu)先權(quán)日1999年7月6日
發(fā)明者M·范德沙爾, Y·陳, H·拉德哈 申請人:皇家菲利浦電子有限公司