本公開一般涉及視頻圖像編碼和解碼。特別地，但不完全地，本公開的涉及將與透明和非透明像素信息相關(guān)聯(lián)的視頻圖像的樣本編碼到比特流中/從比特流中解碼與透明和非透明像素信息相關(guān)聯(lián)的視頻圖像的樣本。

背景技術(shù)：

1、本節(jié)旨在向讀者介紹領(lǐng)域的各方面，這些方面可能與下面描述和/或請求保護的本公開的至少一個示例性實施例的各方面相關(guān)。此討論被認(rèn)為有助于向讀者提供背景信息，以便更好地理解本公開的各方面。因此，應(yīng)該理解，這些陳述將從這個角度來解讀，而不是作為對現(xiàn)有技術(shù)的承認(rèn)。

2、透視顯示器("see-through?display,"wikipedia,the?free?encyclopedia,https://en.wikipedia.org/w/index.php？title＝see-through_display&oldid＝1020482150,2021年8月30日訪問)，通常指的是顯示技術(shù)，使觀看者既可以看到屏幕上顯示的視頻內(nèi)容，也可以看到屏幕后面的物理對象。因此，這些屏幕的一個特點是能夠顯示圖像，同時讓來自屏幕后面的光穿過屏幕并擊中觀看者的眼睛。

3、從歷史上看，透視顯示器的第一個版本是在21世紀(jì)10年代使用lcd顯示技術(shù)。然而，lcd透明屏幕只是過濾來自電視后面的入射光來照亮像素，這實際上意味著這些屏幕無法在黑暗的房間里工作。這就是為什么基于oled的透視顯示器迅速成為一種更有前途的方法的原因之一，因為oled屏幕支持自發(fā)光像素。也就是說，oled屏幕的每個像素都包含其光源。簡而言之，基于oled的透視顯示器是由普通的oled屏幕制成的，制造商在屏幕上打了很多孔，這樣光就可以從后面穿過屏幕。注意，由于oled屏幕只在一個方向上發(fā)光，屏幕后面的觀看者將無法看到屏幕上顯示的內(nèi)容。

4、在應(yīng)用方面，這種類型的屏幕可以配備有眼鏡，這樣用戶就可以看到周圍的世界，同時接收到額外的信息。這些應(yīng)用屬于增強現(xiàn)實類別。透視顯示器也可以內(nèi)置到電視機中，在這種情況下，它們通常被稱為透明屏幕或透明電視。這些屏幕的第一類應(yīng)用是用于商店、貿(mào)易展覽等的廣告目的。這樣可以展示產(chǎn)品，吸引顧客的眼球。

5、最近，電視制造商開始將電視模型轉(zhuǎn)移到屏幕是透明屏幕的大眾市場。

6、另一種類型的透視顯示器屬于頭戴式顯示器的類別。在這些設(shè)備上，屏幕上的信息覆蓋在用戶看到的內(nèi)容之上，但覆蓋的信息在空間上與用戶周圍的世界未對齊。與ar眼鏡相反，ar眼鏡可以跟蹤用戶周圍的環(huán)境，并以增強用戶所看到的世界的方式在眼鏡上顯示內(nèi)容。

7、對于lcd和基于oled的透明屏幕，觀看者能夠感知電視后面的場景或部分場景的事實是由像素的值決定的。有兩個極端的示例。第一個是當(dāng)用戶根本看不到屏幕后面是什么時，即完全不透明。第二種是用戶完全看到電視后面是什么，并且屏幕上沒有顯示其他圖像，即完全透明。在這兩種情況之間，有透明度水平的連續(xù)譜，其中用戶看到覆蓋在屏幕后面的場景之上在屏幕上顯示的圖像。所有這些情況，完全不透明、完全透明和中間透明都可以用于整個屏幕，或者為了最好的透視顯示技術(shù)也可以局限到像素的粒度，諸如目前的oled顯示器。

8、根據(jù)lcd或oled技術(shù)，上面討論的每一種效果，即完全不透明、完全透明和中間透明，都以不同的方式實現(xiàn)。

9、對于lcd，當(dāng)來自光源的盡可能多的光被阻止時，像素就是黑色的。因此，黑暗的像素將不會讓來自屏幕后面的光穿過，并且對觀看者來說將顯得不透明。相反，當(dāng)所有的光通過所有的次彩色像素形成白光束時，像素就是白色的。因此，來自后面的光也可以通過孔穿過像素，并且因此后面的對象對觀看者來說可能是可見的，從而產(chǎn)生透明效果。在透明lcd屏幕上不可能顯示白色像素。

10、在透明oled上，黑色像素(光關(guān)閉)讓來自后面的光穿過屏幕。這實際上意味著，在此簡單版本的透明oled屏幕中，不可能在透明oled屏幕上顯示黑色像素。

11、有一種oled電視模型，在屏幕后面放置了額外的層。此額外的層負(fù)責(zé)使來自后面的光變暗。此調(diào)光層的目的是以如下方式改善基于oled的透明屏幕，通過激活此層，暗像素也可以變得不透明。此層的另一個用途是在傳統(tǒng)的不透明電視模式到透明電視模式之間切換。確實存在這樣的情況，即內(nèi)容不適合透明屏幕并導(dǎo)致糟糕的用戶體驗，在這種情況下，能夠切換到傳統(tǒng)的不透明電視模式對用戶是有利的。到目前為止，似乎可以以不同的調(diào)光強度水平激活此調(diào)光層，但只能一次用于整個屏幕。也就是說，調(diào)光層似乎還不能局限到屏幕的某些區(qū)域/像素。然而，此特征可以在未來的商業(yè)化版本中實現(xiàn)。

12、從內(nèi)容創(chuàng)作者的角度來看，制作內(nèi)容時需要支持多種類型的屏幕，即傳統(tǒng)(不透明)屏幕、lcd透明屏幕和oled透明屏幕。為這3個類別創(chuàng)建視頻信號意味著產(chǎn)生3個不同的視頻信號：一個用于傳統(tǒng)屏幕；一個用于透明屏幕，其中清晰像素(clear?pixel)為白色像素(例如lcd)；以及一個用于透明屏幕，其中清晰像素為黑色像素(例如oled)。這會導(dǎo)致更高的生產(chǎn)成本，更高的分布鏈存儲成本(例如，在內(nèi)容分發(fā)網(wǎng)絡(luò)(cdn)中，視頻內(nèi)容以3種變體復(fù)制)，更高的網(wǎng)絡(luò)使用量，因為內(nèi)容不同，不能在傳統(tǒng)屏幕和透明屏幕之間緩存，并且還導(dǎo)致編碼視頻信號的計算成本。

13、要解決的問題是產(chǎn)生、壓縮和傳輸單個視頻信號，該單個視頻信號通常可用于任何類型的透明屏幕，以符合內(nèi)容創(chuàng)作者意圖的方式渲染視頻內(nèi)容。

14、國際專利申請wo2105618cn提出以一些有信號元數(shù)據(jù)的形式信令與編碼的視頻圖像相關(guān)聯(lián)的透明掩碼。例如，此元數(shù)據(jù)可以采用二進制或整數(shù)值掩碼的形式，指示屏幕的每個像素的透明度值。通常，二進制掩碼值0可以指透明像素，而二進制掩碼值1可以指不透明像素。

15、使用二進制或整數(shù)掩碼來信令像素透明度的缺點之一是與所述掩碼的信令相關(guān)聯(lián)的速率成本的增加，這可能表示在編碼的視頻圖像數(shù)據(jù)的比特流上的非常顯著的開銷?；旧希菈嚎s或無損編碼用于編碼掩碼，導(dǎo)致比特流比特率增加了1比特/像素率的額外成本。

16、在美國專利10,204,596中，提出了一種在透明屏幕上顯示圖像的方法，其中對圖像進行處理以調(diào)整在屏幕上顯示圖像數(shù)據(jù)的透明度和不透明度方面。透明度顯示控制器基于用戶輸入(例如，用戶將在顯示的圖像中圍繞不透明像素繪制區(qū)域)，或基于自動確定(例如，檢測為靜態(tài)的區(qū)域被設(shè)置為不透明，檢測為動態(tài)的區(qū)域被設(shè)置為透明)，或基于顯示控制器傳輸?shù)挠脕碇甘緢D像中的背景和前景區(qū)域的二進制掩碼，其用于定義前景和背景區(qū)域中的像素的透明度和不透明度(例如，靜態(tài)是不透明的，動態(tài)是透明的)，修正圖像數(shù)據(jù)。

17、當(dāng)使用二進制掩碼時，此現(xiàn)有技術(shù)的缺點之一就出現(xiàn)了，因為接收相同圖像的每個設(shè)備都必須執(zhí)行相同的過程來確定二進制掩碼，由于二進制掩碼并非由設(shè)備接收的。另一個缺點是不透明和透明區(qū)域的定義在具有不同算法的不同設(shè)備和之間變化很大。另一個缺點是，不透明和透明區(qū)域的定義很可能不符合內(nèi)容創(chuàng)作者意圖。此外，掩碼僅表示背景和前景區(qū)域，這使得透明度調(diào)整過程在哪些區(qū)域透明或不透明方面模棱兩可。這暗示了首先要對圖像進行分析，這在渲染管道中引入了延遲。當(dāng)傳輸視頻并對多個視頻圖像進行分析時(對于背景/前景檢測，這是典型的)，這會導(dǎo)致更大的顯示延遲。此外，該算法需要實時運行，這意味著對常規(guī)傳輸?shù)囊曨l流進行每秒60幀的分析。對于超高清hfr內(nèi)容，幀率甚至可以要達到每秒120幀。

18、考慮到上述情況，設(shè)計了本公開的至少一個示例性實施例。

技術(shù)實現(xiàn)思路

1、以下部分給出至少一個實施例的簡化摘要，以便提供對本技術(shù)的某些方面的基本理解。本摘要不是對實施例的廣泛概述。它不意在識別實施例的關(guān)鍵或重要元素。下面的概要僅以簡化形式呈現(xiàn)至少一個示例性實施例的一些方面，作為本文檔中的其他地方提供的更詳細(xì)描述的前言。

2、根據(jù)本公開的第一方面，提供了一種將視頻圖像編碼到編碼的視頻圖像數(shù)據(jù)的比特流中的方法，該視頻圖像包括代表屏幕的像素值的樣本的至少一個分量(component)。該方法包括：通過將特定值分配與透明像素相關(guān)聯(lián)的一個分量的樣本，從透明度貼圖中獲得修正后的視頻圖像，所述特定值不同于與非透明像素相關(guān)聯(lián)的所述分量的樣本值；并對修正后的視頻圖像進行編碼。

3、根據(jù)本公開的第二方面，提供了一種用于從編碼的視頻圖像數(shù)據(jù)的比特流中解碼視頻圖像的方法，該視頻圖像包括代表屏幕的像素值的樣本的至少一個分量。該方法包括：通過解碼編碼的視頻圖像數(shù)據(jù)的比特流，獲得代表與像素相關(guān)聯(lián)的樣本的解碼的視頻圖像數(shù)據(jù)；以及當(dāng)與像素相關(guān)聯(lián)的一個分量的樣本等于特定值時，基于透明度信息數(shù)據(jù)調(diào)整與所述像素相關(guān)聯(lián)的每個分量的每個樣本。

4、在一個示例性實施例中，當(dāng)在有限值范圍內(nèi)表示視頻圖像時，特定值在所述有限值范圍之外。

5、在一個示例性實施例中，使用有限值范圍的下動態(tài)余量(footroom)和/或上動態(tài)余量(headroom)來指示以下信息中的至少一項：透明度像素存在數(shù)據(jù)；與透明像素相關(guān)聯(lián)的樣本值的子區(qū)間的透明度值上限；與透明像素相關(guān)聯(lián)的樣本值的子區(qū)間的透明度值下限；用于信令關(guān)于透明像素的信息的樣本值的至少一個子區(qū)間；用于指示透明度查找表的條目的值區(qū)間；透明度水平；

6、在一個示例性實施例中，通過修正與透明像素相關(guān)聯(lián)的樣本的值的至少一個最后有效位來獲得特定樣本。

7、在一個示例性實施例中，分配給與透明像素相關(guān)聯(lián)的樣本的特定值具有給定的奇偶校驗位(parity)，所述特定值從所述樣本的值獲得。

8、在一個示例性實施例中，該方法還包括將透明度信息數(shù)據(jù)信令到比特流，透明度信息數(shù)據(jù)指示分配給修正的視頻圖像或解碼的視頻圖像的一個分量的樣本的特定值的含義。

9、在一個示例性實施例中，透明度信息數(shù)據(jù)指示以下信息中的至少一項：在視頻圖像中或在視頻中存在至少一個透明像素；與透明像素相關(guān)聯(lián)的樣本值的子區(qū)間的透明度值上限；與透明像素相關(guān)聯(lián)的樣本值的子區(qū)間的透明度值下限；用于信令關(guān)于透明像素的信息的樣本值的至少一個子區(qū)間；用于指示透明度查找表的條目的值區(qū)間；透明度水平。

10、在一個示例性實施例中，對視頻圖像進行分割以最大化僅與透明像素或僅與非透明像素相關(guān)聯(lián)的樣本塊的數(shù)量。

11、在一個示例性實施例中，將相同的特定值分配給與透明像素相關(guān)聯(lián)的所有樣本塊的所有樣本。

12、根據(jù)本公開的第三方面，提供了由根據(jù)本公開的第一方面的方法之一生成的視頻圖像數(shù)據(jù)的比特流。

13、根據(jù)本公開的第四方面，提供了一種用于將視頻圖像編碼到編碼的視頻圖像數(shù)據(jù)的比特流中的裝置。該裝置包括用于執(zhí)行根據(jù)本公開的第一方面的方法之一的構(gòu)件。

14、根據(jù)本公開的第五方面，提供了一種用于從編碼的視頻圖像數(shù)據(jù)的比特流解碼視頻圖像的裝置。該裝置包括用于執(zhí)行根據(jù)本公開的第二方面的方法之一。

15、根據(jù)本公開的第六方面，提供了一種計算機程序產(chǎn)品，包括指令，當(dāng)程序由一個或多個處理器執(zhí)行時，該指令使得一個或多個處理器執(zhí)行根據(jù)本公開的第一方面的方法。

16、根據(jù)本公開的第七方面，提供了一種非暫時性存儲介質(zhì)，其攜帶用于執(zhí)行根據(jù)本公開的第一方面的方法的程序代碼的指令。

17、根據(jù)本公開的第八方面，提供了一種計算機程序產(chǎn)品，包括指令，當(dāng)程序由一個或多個處理器執(zhí)行時，該指令使得一個或多個處理器執(zhí)行根據(jù)本公開的第二方面的方法。

18、根據(jù)本公開的第九方面，提供了一種非暫時性存儲介質(zhì)，其攜帶用于執(zhí)行根據(jù)本公開的第二方面的方法的程序代碼指令。

19、實施例中的至少一個的具體性質(zhì)以及該實施例中的至少一個的其他目的、優(yōu)點、特征和用途將從以下結(jié)合附圖對示例的描述中變得顯而意見。