所公開的實(shí)施方式總體上涉及視頻編碼，包括但不限于用于改進(jìn)時(shí)間濾波器中的窗口誤差估計(jì)的系統(tǒng)和方法。

背景技術(shù)：

1、數(shù)字視頻由各種電子設(shè)備例如數(shù)字電視、膝上型計(jì)算機(jī)或臺式計(jì)算機(jī)、平板計(jì)算機(jī)、數(shù)字?jǐn)z像裝置、數(shù)字記錄設(shè)備、數(shù)字媒體播放器、視頻游戲控制臺、智能電話、視頻電話會議設(shè)備、視頻流設(shè)備等支持。電子設(shè)備跨通信網(wǎng)絡(luò)發(fā)送和接收或以其他方式傳送數(shù)字視頻數(shù)據(jù)，以及/或者將數(shù)字視頻數(shù)據(jù)存儲在存儲設(shè)備上。由于通信網(wǎng)絡(luò)的有限帶寬容量和存儲設(shè)備的有限存儲器資源，視頻編碼可以用于在傳送或存儲視頻數(shù)據(jù)之前根據(jù)一個或更多個視頻編碼標(biāo)準(zhǔn)來壓縮視頻數(shù)據(jù)。視頻編碼可以由提供云服務(wù)的電子/客戶端設(shè)備或服務(wù)器上的硬件和/或軟件來執(zhí)行。

2、視頻編碼通常使用利用視頻數(shù)據(jù)中固有的冗余的預(yù)測方法(例如，幀間預(yù)測、幀內(nèi)預(yù)測等)。視頻編碼旨在將視頻數(shù)據(jù)壓縮成使用較低比特率的形式，同時(shí)避免視頻質(zhì)量的劣化或使視頻質(zhì)量劣化最小化。開發(fā)了多種視頻編解碼器標(biāo)準(zhǔn)。例如，高效視頻編碼(high-efficiency?video?coding，hevc/h.265)是作為mpeg-h(moving?picture?experts?group-h，mpeg-h)項(xiàng)目的一部分而設(shè)計(jì)的視頻壓縮標(biāo)準(zhǔn)。itu-t(internationaltelecommunication?union-telecommunication?standardization?sector，itu-t)和iso/iec(international?organization?for?standardization/internationalelectrotechnical?commission，iso/iec)于2013年(版本1)、2014年(版本2)、2015年(版本3)、2016年(版本4)發(fā)布了hevc/h.265標(biāo)準(zhǔn)。通用視頻編碼(versatile?video?coding，vvc/h.266)是視頻壓縮標(biāo)準(zhǔn)，旨在作為hevc的繼承者。itu-t和iso/iec于2020年(版本1)和2022年(版本2)發(fā)布了vvc/h.266標(biāo)準(zhǔn)。aomedia?video?1(alliance?for?open?media?video?1，av1)是被設(shè)計(jì)為hevc的替選的開放式視頻編碼格式。在2019年1月8日，發(fā)布了帶有規(guī)范勘誤表1的驗(yàn)證版本1.0.0。

技術(shù)實(shí)現(xiàn)思路

1、本公開內(nèi)容描述了改進(jìn)時(shí)間濾波器中的窗口誤差估計(jì)。例如，改進(jìn)的窗口誤差估計(jì)考慮了要被時(shí)間濾波的塊的分區(qū)。通過將相應(yīng)的權(quán)重應(yīng)用于不同的預(yù)測樣本來獲得濾波塊中的時(shí)間濾波樣本。應(yīng)用于相應(yīng)預(yù)測樣本的相應(yīng)權(quán)重取決于與相應(yīng)預(yù)測樣本相關(guān)聯(lián)的窗口誤差和塊誤差兩者。當(dāng)要被濾波的塊不包含分區(qū)時(shí)，生成附加的鄰近樣本以提供足夠的樣本，以用于進(jìn)行更好的窗口誤差估計(jì)。當(dāng)要被濾波的塊包含分區(qū)時(shí)，在分區(qū)級別而不是塊級別上應(yīng)用誤差裁剪，以考慮分區(qū)邊界處不同運(yùn)動矢量的影響。另外地或替選地，針對特定分區(qū)生成附加的鄰近樣本以提供足夠的樣本，以用于進(jìn)行更好的窗口誤差估計(jì)。

2、根據(jù)一些實(shí)施方式，提供了一種視頻編碼的方法。該方法包括：(a)接收包括當(dāng)前塊的視頻數(shù)據(jù)，其中，當(dāng)前塊具有n×m個像素的大小，n和m是正整數(shù)；(b)針對當(dāng)前塊生成比該當(dāng)前塊大的預(yù)測塊(例如，放大的預(yù)測塊)，其中，預(yù)測塊具有(n+w)x(m+w)個像素的大小，w是正整數(shù)；(c)使用所生成的預(yù)測塊(例如，放大的預(yù)測塊)來確定當(dāng)前塊的樣本的樣本窗口的窗口誤差。

3、根據(jù)一些實(shí)施方式，一種視頻編碼的方法包括：(i)接收包括當(dāng)前塊的視頻數(shù)據(jù)，其中，該當(dāng)前塊具有兩個或更多個分區(qū)，并且所述兩個或更多個分區(qū)中的每個分區(qū)對應(yīng)于不同的預(yù)測器；(ii)識別所述兩個或更多個分區(qū)中的樣本所位于的分區(qū)；(iii)針對該樣本生成樣本窗口；(iv)針對位于所識別的分區(qū)外部和當(dāng)前塊的邊界外部的一個或更多個窗口樣本執(zhí)行誤差裁剪；以及(v)在執(zhí)行誤差裁剪之后，確定樣本窗口的窗口誤差。

4、根據(jù)一些實(shí)施方式，一種視頻編碼的方法包括：(i)接收包括當(dāng)前塊的視頻數(shù)據(jù)，其中，該當(dāng)前塊具有兩個或更多個分區(qū)，并且所述兩個或更多個分區(qū)中的每個分區(qū)對應(yīng)于不同的預(yù)測器；(ii)識別所述兩個或更多個分區(qū)中的樣本所位于的分區(qū)，其中，該分區(qū)具有n×m個像素的大小，n和m是正整數(shù)；(iii)針對該分區(qū)生成比當(dāng)前分區(qū)大的預(yù)測塊(例如，放大的預(yù)測塊)，其中，預(yù)測塊具有(n+w)x(m+w)個像素的大小，w是正整數(shù)，并且其中，預(yù)測塊使用該分區(qū)的運(yùn)動矢量信息來生成；以及(iv)使用所生成的預(yù)測塊(例如，放大的預(yù)測塊)確定樣本的樣本窗口的窗口誤差。

5、根據(jù)一些實(shí)施方式，提供了一種計(jì)算系統(tǒng)，例如流式傳輸系統(tǒng)、服務(wù)器系統(tǒng)、個人計(jì)算機(jī)系統(tǒng)或其他電子設(shè)備。該計(jì)算系統(tǒng)包括控制電路系統(tǒng)和存儲一組或更多組指令的存儲器。一組或更多組指令包括用于執(zhí)行本文描述的方法中的任何方法的指令。在一些實(shí)施方式中，計(jì)算系統(tǒng)包括編碼器部件和解碼器部件(例如，轉(zhuǎn)碼器)。

6、根據(jù)一些實(shí)施方式，提供了一種非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)。非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)存儲用于由計(jì)算系統(tǒng)執(zhí)行的一組或更多組指令。一組或更多組指令包括用于執(zhí)行本文描述的方法中的任何方法的指令。

7、因此，公開了利用用于對視頻進(jìn)行編碼和解碼的方法的設(shè)備和系統(tǒng)。這樣的方法、設(shè)備和系統(tǒng)可以補(bǔ)充或替代用于視頻編碼/解碼的常規(guī)方法、設(shè)備和系統(tǒng)。說明書中描述的特征和優(yōu)點(diǎn)并不一定全部包括在內(nèi)，并且特別地，鑒于本公開內(nèi)容中提供的附圖、說明書和權(quán)利要求書，一些附加的特征和優(yōu)點(diǎn)對于本領(lǐng)域普通技術(shù)人員而言將是明顯的。此外，應(yīng)當(dāng)注意，說明書中使用的語言主要是出于可讀性和指導(dǎo)性的目的而選擇的，并不一定是為了描繪或限制本文所描述的主題而選擇的。

技術(shù)特征：

1.一種在計(jì)算系統(tǒng)處執(zhí)行的視頻編碼的方法，所述計(jì)算系統(tǒng)具有存儲器和一個或更多個處理器，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，還包括：

3.根據(jù)權(quán)利要求2所述的方法，其中，所述兩個或更多個分區(qū)包括兩個或更多個分區(qū)級別，并且其中，所識別的所述分區(qū)是最小分區(qū)級別。

4.根據(jù)權(quán)利要求1所述的方法，其中，確定所述窗口誤差包括導(dǎo)出所述樣本窗口的平方誤差之和(sse)。

5.根據(jù)權(quán)利要求1所述的方法，其中，確定所述窗口誤差包括導(dǎo)出所述樣本窗口的絕對差之和(sad)。

6.根據(jù)權(quán)利要求1所述的方法，其中，所述當(dāng)前塊的所述窗口誤差作為向所述當(dāng)前塊應(yīng)用時(shí)間濾波器的一部分來確定。

7.根據(jù)權(quán)利要求1所述的方法，還包括使用所確定的所述窗口誤差導(dǎo)出所述當(dāng)前塊的預(yù)測權(quán)重。

8.根據(jù)權(quán)利可要求7所述的方法，其中，所述預(yù)測權(quán)重對應(yīng)于使用所述當(dāng)前塊的相應(yīng)參考幀進(jìn)行的預(yù)測；并且

9.根據(jù)權(quán)利要求1所述的方法，其中，所述當(dāng)前塊具有32×32個像素的大小。

10.一種計(jì)算系統(tǒng)，包括：

11.根據(jù)權(quán)利要求10所述的計(jì)算系統(tǒng)，其中，所述一組或更多組指令還包括用于下述操作的指令：根據(jù)確定所述當(dāng)前塊具有兩個或更多個分區(qū)：

12.根據(jù)權(quán)利要求11所述的計(jì)算系統(tǒng)，其中，所述兩個或更多個分區(qū)包括兩個或更多個分區(qū)級別，并且其中，所識別的所述分區(qū)是最小分區(qū)級別。

13.根據(jù)權(quán)利要求10所述的計(jì)算系統(tǒng)，其中，確定所述窗口誤差包括導(dǎo)出所述樣本窗口的平方誤差之和(sse)或絕對差之和(sad)。

14.根據(jù)權(quán)利要求10所述的計(jì)算系統(tǒng)，其中，所述一組或更多組指令還包括用于下述操作的指令：使用所確定的窗口誤差導(dǎo)出所述當(dāng)前塊的預(yù)測權(quán)重。

15.根據(jù)權(quán)利要求10所述的計(jì)算系統(tǒng)，其中，所述當(dāng)前塊具有32×32個像素的大小。

16.一種非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)，其存儲被配置用于由具有控制電路系統(tǒng)和存儲器的計(jì)算設(shè)備執(zhí)行的一組或更多組指令，所述一組或更多組指令包括用于下述操作的指令：

17.根據(jù)權(quán)利要求16所述的非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)，其中，所述一組或更多組指令還包括用于下述操作的指令：根據(jù)確定所述當(dāng)前塊具有兩個或更多個分區(qū)：

18.根據(jù)權(quán)利要求17所述的非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)，其中，所述兩個或更多個分區(qū)包括兩個或更多個分區(qū)級別，并且其中，所識別的所述分區(qū)是最小分區(qū)級別。

19.根據(jù)權(quán)利要求16所述的非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)，其中，確定所述窗口誤差包括導(dǎo)出所述樣本窗口的平方誤差之和(sse)或絕對差之和(sad)。

20.根據(jù)權(quán)利要求16所述的非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)，其中，所述一組或更多組指令還包括用于下述操作的指令：使用所確定的窗口誤差導(dǎo)出所述當(dāng)前塊的預(yù)測權(quán)重。

技術(shù)總結(jié)
本文描述的各種實(shí)現(xiàn)方式包括用于對視頻進(jìn)行編碼的方法和系統(tǒng)。在一個方面，方法包括：接收包括當(dāng)前塊的視頻數(shù)據(jù)，其中，該當(dāng)前塊具有N×M個像素的大小，N和M是正整數(shù)。該方法包括：針對當(dāng)前塊生成比當(dāng)前塊大的預(yù)測塊，其中，預(yù)測塊具有(N+W)x(M+W)個像素的大小，W是正整數(shù)；并且該方法包括：使用所生成的預(yù)測塊來確定當(dāng)前塊的樣本的樣本窗口的窗口誤差。

技術(shù)研發(fā)人員：王彪,趙欣,劉杉
受保護(hù)的技術(shù)使用者：騰訊美國有限責(zé)任公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19