本公開(kāi)提供了用于圖像壓縮的有效神經(jīng)網(wǎng)絡(luò)模塊。該結(jié)構(gòu)可以提供合理的壓縮性能，同時(shí)大幅降低圖像壓縮模型的復(fù)雜度。

背景技術(shù)：

1、目前，iso/iec?mpeg(jtc?1/sc?29/wg?11)一直在積極尋找未來(lái)視頻編碼技術(shù)標(biāo)準(zhǔn)化的潛在需求。iso/iec?jpeg成立了jpeg-ai小組，專注于使用深度神經(jīng)網(wǎng)絡(luò)(deepneural?network，dnn)進(jìn)行基于ai的端到端(end-to-end，e2e)神經(jīng)圖像壓縮。中國(guó)avs標(biāo)準(zhǔn)還成立了avs-ai專項(xiàng)小組，致力于神經(jīng)圖像和視頻壓縮技術(shù)。與此同時(shí)，團(tuán)隊(duì)也資助了針對(duì)nic的專項(xiàng)研究項(xiàng)目。最近這些方法的成功為先進(jìn)神經(jīng)圖像和視頻壓縮技術(shù)帶來(lái)了越來(lái)越多的工業(yè)興趣。

2、傳統(tǒng)的混合視頻編解碼器難以優(yōu)化。單個(gè)模塊的改進(jìn)可能不會(huì)在整體性能上帶來(lái)編碼增益。相比之下，在基于人工神經(jīng)網(wǎng)絡(luò)的視頻/圖像編碼框架中，通過(guò)執(zhí)行機(jī)器學(xué)習(xí)過(guò)程，可以從輸入到輸出聯(lián)合優(yōu)化不同模塊以改善最終目標(biāo)(例如，率失真性能)，從而實(shí)現(xiàn)端到端優(yōu)化的神經(jīng)圖像壓縮(neural?image?compression，nic)。

3、因此，由于這些原因，人們渴望獲得計(jì)算機(jī)技術(shù)中出現(xiàn)的此類問(wèn)題的技術(shù)解決方案。

技術(shù)實(shí)現(xiàn)思路

1、根據(jù)本公開(kāi)的一個(gè)方面，存在一種裝置，并且類似地，存在一種方法和計(jì)算機(jī)可讀介質(zhì)，該裝置包括：至少一個(gè)存儲(chǔ)器，該至少一個(gè)存儲(chǔ)器被配置為存儲(chǔ)計(jì)算機(jī)程序代碼；以及至少一個(gè)處理器，該至少一個(gè)處理器被配置為訪問(wèn)該計(jì)算機(jī)程序代碼并按照該計(jì)算機(jī)程序代碼的指示操作，該計(jì)算機(jī)程序代碼包括：接收代碼，該接收代碼被配置為使該至少一個(gè)處理器接收包括當(dāng)前圖片中的當(dāng)前塊的視頻碼流；以及重建代碼，該重建代碼被配置為使該至少一個(gè)處理器通過(guò)由包括多個(gè)上采樣模塊和激活模塊的神經(jīng)網(wǎng)絡(luò)對(duì)該當(dāng)前塊進(jìn)行變換來(lái)重建該當(dāng)前塊，并且激活模塊的至少一個(gè)激活模塊包括leakyrelu函數(shù)和卷積函數(shù)。

2、此外，在激活模塊的至少一個(gè)激活模塊中，leakyrelu函數(shù)的輸出可以是卷積函數(shù)的輸入。

3、此外，在激活模塊的至少一個(gè)激活模塊中，卷積函數(shù)的輸出可以是激活模塊的至少一個(gè)激活模塊的乘法函數(shù)的輸入。

4、此外，在激活模塊的至少一個(gè)激活模塊中，乘法函數(shù)的輸出可以是激活模塊的至少一個(gè)激活模塊的加法函數(shù)的輸入。

5、此外，在激活模塊的至少一個(gè)激活模塊中，卷積函數(shù)的輸出可以是激活模塊的至少一個(gè)激活模塊的加法函數(shù)的輸入。

6、此外，在激活模塊的至少一個(gè)激活模塊中，卷積函數(shù)的輸出可以是激活模塊的至少一個(gè)激活模塊的第二leakyrelu函數(shù)的輸入。

7、此外，在激活模塊的至少一個(gè)激活模塊中，第二leakyrelu函數(shù)的輸出可以是激活模塊的至少一個(gè)激活模塊的乘法函數(shù)的輸入。

8、此外，在激活模塊的至少一個(gè)激活模塊中，乘法函數(shù)的輸出可以是激活模塊的至少一個(gè)激活模塊的加法函數(shù)的輸入。

9、此外，卷積函數(shù)可以包括1x1卷積核。

10、此外，上采樣模塊中的至少一個(gè)上采樣模塊可以包括像素重排(pixel?shuffle)層。

技術(shù)特征：

1.一種視頻解碼的方法，由至少一個(gè)處理器執(zhí)行，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述激活模塊的所述至少一個(gè)激活模塊中，所述leakyrelu函數(shù)的輸出是所述卷積函數(shù)的輸入。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述激活模塊的所述至少一個(gè)激活模塊中，所述卷積函數(shù)的輸出是所述激活模塊的所述至少一個(gè)激活模塊的乘法函數(shù)的輸入。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，在所述激活模塊的所述至少一個(gè)激活模塊中，所述乘法函數(shù)的輸出是所述激活模塊的所述至少一個(gè)激活模塊的加法函數(shù)的輸入。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述激活模塊的所述至少一個(gè)激活模塊中，所述卷積函數(shù)的輸出是所述激活模塊的所述至少一個(gè)激活模塊的加法函數(shù)的輸入。

6.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述激活模塊的所述至少一個(gè)激活模塊中，所述卷積函數(shù)的輸出是所述激活模塊的所述至少一個(gè)激活模塊的第二leakyrelu函數(shù)的輸入。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，在所述激活模塊的所述至少一個(gè)激活模塊中，所述第二leakyrelu函數(shù)的輸出是所述激活模塊的所述至少一個(gè)激活模塊的乘法函數(shù)的輸入。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，在所述激活模塊的所述至少一個(gè)激活模塊中，所述乘法函數(shù)的輸出是所述激活模塊的所述至少一個(gè)激活模塊的加法函數(shù)的輸入。

9.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述卷積函數(shù)包括1x1卷積核。

10.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述上采樣模塊中的至少一個(gè)上采樣模塊包括像素重排層。

11.一種裝置，包括：

12.根據(jù)權(quán)利要求11所述的裝置，其特征在于，在所述激活模塊的所述至少一個(gè)激活模塊中，所述leakyrelu函數(shù)的輸出是所述卷積函數(shù)的輸入。

13.根據(jù)權(quán)利要求12所述的裝置，其特征在于，在所述激活模塊的所述至少一個(gè)激活模塊中，所述卷積函數(shù)的輸出是所述激活模塊的所述至少一個(gè)激活模塊的乘法函數(shù)的輸入。

14.根據(jù)權(quán)利要求13所述的裝置，其特征在于，在所述激活模塊的所述至少一個(gè)激活模塊中，所述乘法函數(shù)的輸出是所述激活模塊的所述至少一個(gè)激活模塊的加法函數(shù)的輸入。

15.根據(jù)權(quán)利要求12所述的裝置，其特征在于，在所述激活模塊的所述至少一個(gè)激活模塊中，所述卷積函數(shù)的輸出是所述激活模塊的所述至少一個(gè)激活模塊的加法函數(shù)的輸入。

16.根據(jù)權(quán)利要求12所述的裝置，其特征在于，在所述激活模塊的所述至少一個(gè)激活模塊中，所述卷積函數(shù)的輸出是所述激活模塊的所述至少一個(gè)激活模塊的第二leakyrelu函數(shù)的輸入。

17.根據(jù)權(quán)利要求16所述的裝置，其特征在于，在所述激活模塊的所述至少一個(gè)激活模塊中，所述第二leakyrelu函數(shù)的輸出是所述激活模塊的所述至少一個(gè)激活模塊的乘法函數(shù)的輸入。

18.根據(jù)權(quán)利要求17所述的裝置，其特征在于，在所述激活模塊的所述至少一個(gè)激活模塊中，所述乘法函數(shù)的輸出是所述激活模塊的所述至少一個(gè)激活模塊的加法函數(shù)的輸入。

19.根據(jù)權(quán)利要求12所述的裝置，其特征在于，所述卷積函數(shù)包括1x1卷積核。

20.一種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，存儲(chǔ)有程序，所述程序使得計(jì)算機(jī)執(zhí)行下述操作：

技術(shù)總結(jié)
一種包括計(jì)算機(jī)代碼的方法和裝置，所述計(jì)算機(jī)代碼被配置為使一個(gè)或多個(gè)處理器接收包括當(dāng)前圖片中的當(dāng)前塊的視頻碼流，以及通過(guò)由包括多個(gè)上采樣模塊和激活模塊的神經(jīng)網(wǎng)絡(luò)對(duì)所述當(dāng)前塊進(jìn)行變換來(lái)重建所述當(dāng)前塊，并且所述激活模塊中的至少一個(gè)激活模塊包括LeakyReLu函數(shù)和卷積函數(shù)。

技術(shù)研發(fā)人員：丁鼎,許曉中,劉杉
受保護(hù)的技術(shù)使用者：騰訊美國(guó)有限責(zé)任公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/5