專利名稱：一種基于avs的并行的模式?jīng)Q策裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字視頻編解碼技術(shù)領(lǐng)域，更具體地，本發(fā)明涉及一種基于AVS的并行的模式?jīng)Q策裝置和方法。
背景技術(shù)：
AVS標(biāo)準(zhǔn)是我國擁有獨立產(chǎn)權(quán)和自主創(chuàng)新的新型視頻編碼技術(shù)，目前視頻部分 (AVS-P2)已經(jīng)成為國家標(biāo)準(zhǔn)。AVS視頻編碼面向高清廣播電視和音響視盤，由于在實時編碼中單位時間處理大量的數(shù)據(jù)信息，使得純軟件編碼實現(xiàn)幾乎不可能，需要對編碼器進行硬件加速。在第二代視頻標(biāo)準(zhǔn)中，引入了率失真優(yōu)化(Rate Distortion Optimizaton, RDO) 決策準(zhǔn)則。該準(zhǔn)則給每種模式的預(yù)測數(shù)據(jù)建立一個代價函數(shù)cost = D+XR，其中D表示預(yù)測數(shù)據(jù)的失真度，R表示預(yù)測數(shù)據(jù)的碼率。在實時編碼系統(tǒng)中，該準(zhǔn)則用在模式?jīng)Q策部分。 由于模式?jīng)Q策需要處理的數(shù)據(jù)量龐大，包括幀間(inter)模式、幀內(nèi)(intra)模式和直接 (direct)模式的預(yù)測值，并且基于率失真優(yōu)化的決策準(zhǔn)則本身復(fù)雜度也很高，從而嚴(yán)重影響編碼器的效率。

發(fā)明內(nèi)容
為克服現(xiàn)有編碼器數(shù)據(jù)處理大、編碼效率低的缺陷，本發(fā)明提出一種基于AVS的并行的模式?jīng)Q策裝置和方法。根據(jù)本發(fā)明的一個方面，提出了一種基于AVS的并行的模式?jīng)Q策裝置，包括數(shù)據(jù)選擇裝置、失真度處理裝置、預(yù)編碼裝置和決策裝置；其中，所述數(shù)據(jù)選擇裝置用于從外部裝置inter、intra和direct選擇預(yù)測數(shù)據(jù)； 失真度處理裝置用來接收所述數(shù)據(jù)選擇裝置發(fā)送的預(yù)測數(shù)據(jù)來計算預(yù)測數(shù)據(jù)的失真度；預(yù)編碼裝置根據(jù)失真度處理裝置發(fā)送的量化后的預(yù)測數(shù)據(jù)來計算預(yù)測數(shù)據(jù)的比特數(shù)；決策裝置根據(jù)預(yù)測數(shù)據(jù)的失真度和比特數(shù)來進行模式?jīng)Q策。其中，所述決策裝置根據(jù)代價函數(shù)cost = D+λ R實現(xiàn)模式?jīng)Q策，其中D表示預(yù)測數(shù)據(jù)的失真度，R表示預(yù)測數(shù)據(jù)的比特數(shù)，選擇cost最小的模式。其中，所述數(shù)據(jù)選擇裝置在選擇intra亮度塊的預(yù)測數(shù)據(jù)的間隔中選擇其它模式的預(yù)測數(shù)據(jù)，其中，其他模式的預(yù)測數(shù)據(jù)包括inter 16x 16，inter 16x8，inter8x 16和 inter8x8預(yù)測數(shù)據(jù)、directl6X16的預(yù)測數(shù)據(jù)以及intra的色度塊的預(yù)測數(shù)據(jù)。根據(jù)本發(fā)明的另一個方面，提供基于AVS的并行的模式?jīng)Q策方法，包括步驟10)、從外部裝置inter、intra和direct選擇預(yù)測數(shù)據(jù)；步驟20)、根據(jù)所述預(yù)測數(shù)據(jù)來計算預(yù)測數(shù)據(jù)的失真度；步驟30)、根據(jù)量化后的預(yù)測數(shù)據(jù)來計算預(yù)測數(shù)據(jù)的比特數(shù)；步驟40)、根據(jù)預(yù)測數(shù)據(jù)的失真度和比特數(shù)來進行模式?jīng)Q策。其中，步驟40)中，根據(jù)代價函數(shù)cost = D+ λ R實現(xiàn)模式?jīng)Q策，其中D表示預(yù)測數(shù)據(jù)的失真度，R表示預(yù)測數(shù)據(jù)的比特數(shù)，選擇cost最小的模式。其中，步驟10)中，在選擇intra亮度塊的預(yù)測數(shù)據(jù)的間隔中選擇其它模式的預(yù)測數(shù)據(jù)，其中，其他模式的預(yù)測數(shù)據(jù)包括interl6xl6，interl6x8, inter8xl6和inter8x8預(yù)測數(shù)據(jù)、direCtl6X16的預(yù)測數(shù)據(jù)以及intra的色度塊的預(yù)測數(shù)據(jù)。本發(fā)明利用一種基于AVS的并行的模式?jīng)Q策裝置，合理改變決策模式的先后次序，提高編碼器對時間的利用率，并且采用高并行度的處理，顯著提高了數(shù)據(jù)處理的效率， 使其滿足高清實時編碼的要求。


圖1是根據(jù)本發(fā)明的模式?jīng)Q策部分硬件裝置圖；圖2是視頻編碼中宏塊的4 2 0的宏塊劃分示意圖；圖3是失真度處理裝置的組成結(jié)構(gòu)圖。
具體實施例方式下面結(jié)合附圖和具體實施例對本發(fā)明提供的一種基于AVS的并行的模式?jīng)Q策裝置和方法進行詳細描述。模式?jīng)Q策中需要處理的數(shù)據(jù)包括interl6xl6，interl6x8, inter8xl6, inter8x8, intra和directl6X16等6種模式。其中，intra預(yù)測中具有一定的相關(guān)性，導(dǎo)致在模式?jīng)Q策過程中，intra亮度的決策存在一定的等待時間間隔。除了 intra的其他5種模式，數(shù)據(jù)之間沒有相關(guān)性。從而，為了控制硬件資源的使用成本，在模式?jīng)Q策部分僅使用一條流水線，分別接收上述6種模式的數(shù)據(jù)輸入進行模式?jīng)Q策。在本申請的裝置中，模式?jīng)Q策處理的數(shù)據(jù)包括6種模式的數(shù)據(jù)，在處理這6種模式的數(shù)據(jù)時，每個時鐘輸入8個像素。在模式?jīng)Q策部分的內(nèi)部各個模塊，需要滿足8像素并行的流水線設(shè)計，每個時鐘有8個像素輸入和8個像素輸出。本發(fā)明采用了編解碼匹配的思想，利用編碼端的原始像素和解碼端的重構(gòu)像素相比較。編碼端編碼需要殘差模塊、正變換模塊和量化模塊；解碼端的重構(gòu)像素需要反量化模塊，反變換模塊和重構(gòu)模塊。本發(fā)明提供的AVS并行的模式?jīng)Q策裝置如圖1所示，包括數(shù)據(jù)選擇裝置、失真度處理裝置、預(yù)編碼裝置和決策裝置。數(shù)據(jù)選擇裝置用于選擇需要處理的數(shù)據(jù)，將上述6種模式的數(shù)據(jù)分為3類，并與之對應(yīng)為3個外部裝置inter、intra和direct。對于模式?jīng)Q策裝置， 在任意時刻該3類裝置的輸出數(shù)據(jù)最多只能有1個有效。這3個裝置的每個與數(shù)據(jù)選擇裝置均有8個像素的數(shù)據(jù)連線，數(shù)據(jù)選擇裝置的輸出與殘差裝置輸入相連，輸出的數(shù)據(jù)為8像素并行。失真度處理裝置用來計算代價函數(shù)中的D，具體包括殘差裝置、正變換裝置、量化裝置、反量化裝置、反變換裝置、重構(gòu)裝置和失真度計算裝置，這些裝置的數(shù)據(jù)接口是8像素輸入或輸出。預(yù)編碼裝置用來計算代價函數(shù)中的R，預(yù)編碼裝置的數(shù)據(jù)接口為8像素并行的輸入，每個時鐘輸入8個像素；預(yù)編碼裝置的輸出為每8個時鐘輸出1個數(shù)據(jù)，該數(shù)據(jù)表示 8x8塊的比特數(shù)。決策裝置根據(jù)代價函數(shù)cost = D+λ R實現(xiàn)模式?jīng)Q策，其中D表示預(yù)測數(shù)據(jù)的失真度，R表示預(yù)測數(shù)據(jù)的比特數(shù)，然后比較每種模式的COst，COSt最小的模式也就是被選擇的模式。
進一步，參考圖1，詳細描述各裝置的結(jié)構(gòu)和運行。其中，數(shù)據(jù)選擇裝置是模式?jīng)Q策部分的數(shù)據(jù)輸入裝置，進行預(yù)測數(shù)據(jù)的選擇。模式?jīng)Q策部分的數(shù)據(jù)主要包括6種，這6種模式的數(shù)據(jù)主要來自3個裝置裝置inter，用來得到interl6xl6, interl6x8, inter8xl6和 inter8x8的預(yù)測數(shù)據(jù)；裝置direct，用來得到directl6X16的預(yù)測數(shù)據(jù)；裝置intra，用來得到intra的各個色度和亮度塊的預(yù)測數(shù)據(jù)。數(shù)據(jù)選擇裝置的輸入接口與inter裝置、direct裝置和intra裝置的輸出接口相連。這3個裝置各自與數(shù)據(jù)選擇裝置存在8像素并行的數(shù)據(jù)接口。數(shù)據(jù)選擇裝置的輸出接口為8像素并行的數(shù)據(jù)接口。數(shù)據(jù)選擇裝置的功能是在inter裝置，direct裝置和intra 裝置中選擇1個裝置的預(yù)測數(shù)據(jù)進行處理。根據(jù)AVS協(xié)議規(guī)定，如圖2所示，每個宏塊包括4個亮度塊，2個色度塊。在intra 執(zhí)行預(yù)測時，亮度塊決策的先后順序是有一定的相關(guān)性，這個順序為0，1，2，3。另外，由于模式?jīng)Q策本身需要一定的時鐘周期來處理，這樣就會帶來一定的流水線空閑。例如，在執(zhí)行完 intra的亮度0塊后，需要等待一定時間才能決策完畢，決策完畢后才能執(zhí)行intra的亮度 1塊，這個等待的時間帶來了硬件流水線的空閑。為了利用這個空閑時間，本申請?zhí)岢鰧⑵渌Ｊ降奶幚眄樞蚧蛘唛g隔插入到intra亮度塊等待間隔中。例如，可以安排如下模式的 Α τJ1Kii :intra^t&Oi^, interl6xl6, interl6x8, intra^tfM 1 雙，inter8xl6, inter8x8, intra 亮度 2 塊，directl6xl6, intra 色度塊，intra 亮度 3 塊。由于intra亮度塊的預(yù)測存在一定的相關(guān)性，這種相關(guān)性嚴(yán)重影響了模式?jīng)Q策部分的效率。本發(fā)明提出了通過數(shù)據(jù)選擇裝置將各種模式的預(yù)測數(shù)據(jù)插入到intra亮度塊的預(yù)測數(shù)據(jù)的間隔中執(zhí)行。例如，次序依次為intra亮度0塊，directl6xl6, interl6xl6, intra 亮度 1 塊，interl6x8, inter8xl6, intra 亮度 2 塊，inter8x8, intra 色度塊，intra 亮度3塊。參考圖3，在失真度處理裝置中，殘差裝置、正變換裝置和量化裝置用來完成數(shù)據(jù)的殘差計算、AVS整數(shù)變換和量化處理。殘差裝置的輸入為數(shù)據(jù)選擇裝置的輸出，輸出為殘差數(shù)據(jù)，輸入輸出均為8像素并行的數(shù)據(jù)接口。具體實現(xiàn)為殘差像素=原始像素-預(yù)測像素；輸出殘差像素的位寬為9 比特。正變換裝置的輸入為殘差裝置的輸出，輸出為經(jīng)過AVS整數(shù)變換處理后的數(shù)據(jù)。 輸入輸出均為8像素并行接口。變換的目的是為了將殘差系數(shù)由時域分布轉(zhuǎn)化為空域分布。具體的數(shù)學(xué)形式為Y = T · X · Tt ；其中，T為AVS整數(shù)變換的變換矩陣，X為殘差裝置輸出的殘差數(shù)據(jù)，Y為經(jīng)過變換之后的數(shù)據(jù)，也就是變換裝置的輸出數(shù)據(jù)。殘差裝置的輸入像素位寬為9比特，輸出像素的位寬為16比特。量化裝置的輸入為正變換裝置的輸出，輸出為量化后的數(shù)據(jù)，輸入輸出均為8像素并行的數(shù)據(jù)接口，量化是為了降低空域殘差系數(shù)的幅值。由于AVS的量化是基于乘法和移位實現(xiàn)的運算方式，對于小于一定幅值的系數(shù)會量化為0，從而提高了整個編碼器的壓縮效率。按照AVS工作組提供的參考代碼，量化的數(shù)學(xué)形式為q = (((scale[QP] Xdct_coeff+ (1 << 18)) >> 19) Xvalue[QP]+qpConst) > > 15其中，scale [QP]和value [QP]是關(guān)于量化參數(shù)QP的函數(shù)，可以通過查表得到。qpConst是ー個常數(shù)。dct_coeff是正變換裝置的輸出像素值，q為量化裝置的輸出像素值。 量化裝置的輸入像素位寬為16比特，輸出像素位寬為12比持。其中，量化裝置的輸出數(shù)據(jù)分為兩路，其中一路發(fā)送到反量化裝置進行反量化，另 外一路送給預(yù)編碼裝置進行比特數(shù)計算。由此，在計算失真度和比特數(shù)吋，共用殘差裝置、 正變換裝置和量化裝置。量化裝置的輸出數(shù)據(jù)分為兩路，一路送往反量化裝置，另外一路送往預(yù)編碼裝置， 這兩路的數(shù)據(jù)均為8像素并行。參考圖3，在失真度處理裝置中，反量化裝置、反變換裝置和重構(gòu)裝置用來完成殘 差數(shù)據(jù)的反量化處理，反變換處理，得到時域的殘差像素后，計算像素的重構(gòu)值。反量化裝置的輸入為量化裝置的輸出，輸出為反量化后的空域數(shù)據(jù)。輸入輸出均 為8像素并行的數(shù)據(jù)接ロ。與解碼端對應(yīng)，反量化是為了對量化數(shù)據(jù)的恢復(fù)。AVS標(biāo)準(zhǔn)制定 了利用乘法和移位實現(xiàn)反量化的方法，其數(shù)學(xué)形式為iq = (qX Dequant [QP]+2shift[QP]_1) >> shift [QP]其中，q為經(jīng)過量化之后的像素值，Dequant [QP]和shift [QP]為關(guān)于量化參數(shù)QP 的函數(shù)，可以利用查表得到。反量化裝置的輸入像素位寬為12比特，輸出像素的位寬為14 比持。反變換裝置的輸入為反量化裝置的輸出，輸出為經(jīng)過反變換處理的時域殘差，這 個殘差在本申請中稱為“有失真的殘差”。反變換裝置的功能就是完成像素值空域向時域的 轉(zhuǎn)換，將8X8變換系數(shù)矩陣iq轉(zhuǎn)換為8X8殘差樣值矩陣的過程，步驟如下第一歩，對變換系數(shù)矩陣進行如下水平反變換-M、=iqベ其中，T8是8X8反變換矩陣，r/T 8T是T8的轉(zhuǎn)置矩陣，H表示水平反變換后的中 間結(jié)果。
權(quán)利要求
1.一種基于AVS的并行的模式?jīng)Q策裝置，包括數(shù)據(jù)選擇裝置、失真度處理裝置、預(yù)編碼裝置和決策裝置；其中，所述數(shù)據(jù)選擇裝置用于從外部裝置inter、intra和direct選擇預(yù)測數(shù)據(jù)；失真度處理裝置用來接收所述數(shù)據(jù)選擇裝置發(fā)送的預(yù)測數(shù)據(jù)來計算預(yù)測數(shù)據(jù)的失真度；預(yù)編碼裝置根據(jù)失真度處理裝置發(fā)送的量化后的預(yù)測數(shù)據(jù)來計算預(yù)測數(shù)據(jù)的比特數(shù)；決策裝置根據(jù)預(yù)測數(shù)據(jù)的失真度和比特數(shù)來進行模式?jīng)Q策。
2.權(quán)利要求1的裝置，其中，所述決策裝置根據(jù)代價函數(shù)cost= D+ λ R實現(xiàn)模式?jīng)Q策， 其中D表示預(yù)測數(shù)據(jù)的失真度，R表示預(yù)測數(shù)據(jù)的比特數(shù)，選擇cost最小的模式。
3.權(quán)利要求1的裝置，其中，所述數(shù)據(jù)選擇裝置在選擇intra亮度塊的預(yù)測數(shù)據(jù)的間隔中選擇其它模式的預(yù)測數(shù)據(jù)，其中，其他模式的預(yù)測數(shù)據(jù)包括inter16xl6，interl6x8, inter8xl6和inter8x8預(yù)測數(shù)據(jù)、directl6xl6的預(yù)測數(shù)據(jù)以及intra的色度塊的預(yù)測數(shù)據(jù)。
4.權(quán)利要求1的裝置，其中，所述失真度處理裝置包括分別用來實現(xiàn)數(shù)據(jù)的殘差計算、 AVS整數(shù)變換和量化處理的殘差裝置、正變換裝置和量化裝置以及分別用來完成殘差數(shù)據(jù)的反量化處理、反變換處理并在得到時域的殘差像素后計算像素的重構(gòu)數(shù)據(jù)的反量化裝置、反變換裝置和重構(gòu)裝置。
5.權(quán)利要求4的裝置，其中，所述失真度處理裝置還包括失真度計算裝置，用于接收重構(gòu)數(shù)據(jù)來計算每個塊的失真度(原始像素u-重構(gòu)像素u)2。/=0 J=O
6.權(quán)利要求4的裝置，其中，所述殘差裝置根據(jù)數(shù)據(jù)選擇裝置輸出的選擇數(shù)據(jù)來輸出為殘差像素數(shù)據(jù)，殘差像素=原始像素-預(yù)測像素；所述正變換裝置根據(jù)殘差裝置輸出的殘差像素經(jīng)過AVS整數(shù)變換，將殘差系數(shù)由時域分布轉(zhuǎn)化為空域分布；所述量化裝置用于降低正變換裝置輸出的空域分布的殘差系數(shù)的幅值。
7.權(quán)利要求6的裝置，其中，所述量化裝置基于AVS來實現(xiàn)q = (((scale[QP] Xdct_coeff+ (1 << 18)) >> 19) Xvalue[QP]+qpConst) >>15其中，scale [QP]和value [QP]是關(guān)于量化參數(shù)QP的函數(shù)，qpConst是常數(shù)，dct_coeff 是正變換裝置的輸出像素值，q為量化裝置的輸出像素值。
8.權(quán)利要求4的裝置，其中，所述量化裝置的輸出數(shù)據(jù)發(fā)送到反量化裝置進行反量化并且發(fā)送到預(yù)編碼裝置進行比特數(shù)計算，即在計算失真度和比特數(shù)時，共用殘差裝置、正變換裝置和量化裝置。
9.權(quán)利要求4的裝置，其中，所述重構(gòu)裝置用來完成重構(gòu)像素的計算重構(gòu)像素=有失真的殘差+預(yù)測像素。
10.權(quán)利要求1的裝置，其中，所述預(yù)編碼裝置接收量化數(shù)據(jù)并依據(jù)AVS的視頻編解碼標(biāo)準(zhǔn)采用類2D-Golomb的熵編碼方法來計算編碼每個塊所需要的比特數(shù)。
11.一種基于AVS的并行的模式?jīng)Q策方法，包括步驟10)、從外部裝置inter、intra和direct選擇預(yù)測數(shù)據(jù)；步驟20)、根據(jù)所述預(yù)測數(shù)據(jù)來計算預(yù)測數(shù)據(jù)的失真度；步驟30)、根據(jù)量化后的預(yù)測數(shù)據(jù)來計算預(yù)測數(shù)據(jù)的比特數(shù)；步驟40)、根據(jù)預(yù)測數(shù)據(jù)的失真度和比特數(shù)來進行模式?jīng)Q策。
12.權(quán)利要求11的方法，其中，步驟40)中，根據(jù)代價函數(shù)cost= D+λ R實現(xiàn)模式?jīng)Q策，其中D表示預(yù)測數(shù)據(jù)的失真度，R表示預(yù)測數(shù)據(jù)的比特數(shù)，選擇cost最小的模式。
13.權(quán)利要求11的方法，其中，步驟10)中，在選擇intra亮度塊的預(yù)測數(shù)據(jù)的間隔中選擇其它模式的預(yù)測數(shù)據(jù)，其中，其他模式的預(yù)測數(shù)據(jù)包括interl6xl6，interl6x8, inter8xl6和inter8x8預(yù)測數(shù)據(jù)、directl6xl6的預(yù)測數(shù)據(jù)以及intra的色度塊的預(yù)測數(shù)據(jù)。
14.權(quán)利要求11的方法，其中，步驟20)包括實現(xiàn)數(shù)據(jù)的殘差計算、AVS整數(shù)變換和量化處理；完成殘差數(shù)據(jù)的反量化處理、反變換處理并在得到時域的殘差像素后計算像素的重構(gòu)數(shù)據(jù)，并且根據(jù)重構(gòu)數(shù)據(jù)來計算每個塊的失真度= ΣΣ (原始像素U-重構(gòu)像素/=0 J=O
15.權(quán)利要求14的方法，其中，步驟20)中，根據(jù)選擇數(shù)據(jù)來輸出為殘差像素數(shù)據(jù)，殘差像素=原始像素-預(yù)測像素；根據(jù)殘差像素經(jīng)過AVS整數(shù)變換，將殘差系數(shù)由時域分布轉(zhuǎn)化為空域分布；通過量化來降低空域分布的殘差系數(shù)的幅值。
16.權(quán)利要求15的方法，其中，所述量化基于AVS來實現(xiàn)q = (((scale[QP] Xdct_coeff+ (1 << 18)) >> 19) Xvalue[QP]+qpConst) >>15 其中，scale [QP]和value [QP]是關(guān)于量化參數(shù)QP的函數(shù)，qpConst是常數(shù)，dct_coeff 是空域分布的像素值，q為量化后的像素值。
17.權(quán)利要求11的方法，其中，步驟30)中，接收量化數(shù)據(jù)并依據(jù)AVS的視頻編解碼標(biāo)準(zhǔn)采用類2D-Golomb的熵編碼方法來計算編碼每個塊所需要的比特數(shù)。
全文摘要
本發(fā)明提供一種基于AVS的并行的模式?jīng)Q策裝置，包括數(shù)據(jù)選擇裝置用于從外部裝置inter、intra和direct選擇預(yù)測數(shù)據(jù)；失真度處理裝置用來接收所述數(shù)據(jù)選擇裝置發(fā)送的預(yù)測數(shù)據(jù)來計算預(yù)測數(shù)據(jù)的失真度；預(yù)編碼裝置根據(jù)失真度處理裝置發(fā)送的量化后的預(yù)測數(shù)據(jù)來計算預(yù)測數(shù)據(jù)的比特數(shù)；決策裝置根據(jù)預(yù)測數(shù)據(jù)的失真度和比特數(shù)來進行模式?jīng)Q策。本發(fā)明利用合理的改變決策模式的先后次序，提高編碼器對時間的利用率；另一方面采用高并行度處理，顯著提高了數(shù)據(jù)處理的效率，使其滿足高清實時編碼的要求。
文檔編號H04N7/26GK102340659SQ20101023515
公開日2012年2月1日 申請日期2010年7月23日 優(yōu)先權(quán)日2010年7月23日
發(fā)明者呼大明, 宋益波, 王佳薇, 鄧?yán)? 鄭海鷗 申請人:聯(lián)合信源數(shù)字音視頻技術(shù)(北京)有限公司