專利名稱：用于比特深度可分級(jí)的視頻編解碼器的色調(diào)映射的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及可分級(jí)的視頻編解碼器。
背景技術(shù)：
可分級(jí)的視頻編解碼器能夠根據(jù)用戶喜歡的服務(wù)類型而將不同的圖像 質(zhì)量級(jí)別傳遞給不同的用戶。與較高質(zhì)量的視頻服務(wù)相比，較低質(zhì)量的視 頻服務(wù)便宜。
在可分級(jí)的視頻編解碼器中，將較低的比特深度稱為基線層，而將較 高的比特深度稱為增強(qiáng)層。比特深度越大，視頻質(zhì)量就越好。
在可分級(jí)的視頻編解碼器中，可以將編碼器和解碼器作為一個(gè)單元來 提供。在一些情況下，僅提供了編碼器，而在另一些情況下，僅提供了解 碼器?？煞旨?jí)的視頻編解碼器使得系統(tǒng)能夠至少對(duì)基線層進(jìn)行操作。因此， 在低成本的系統(tǒng)中，可以僅采用基線層，而在較高成本的更為高級(jí)的系統(tǒng) 中，可以采用增強(qiáng)層。
從基線層推導(dǎo)出增強(qiáng)層是有利的。為了實(shí)現(xiàn)該目的，可以利用逆色調(diào)
映射(inverse tone mapping)來將基線層的比特深度增加到增強(qiáng)層的比特深 度。在一些情況下，例如，基線層可以是每像素8比特，而增強(qiáng)層可以是 每像素IO、 12或更多比特。


圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的編碼器和解碼器系統(tǒng)的示意性圖示； 圖2是根據(jù)本發(fā)明另一實(shí)施例的編碼器和解碼器系統(tǒng)的圖示；以及 圖3是本發(fā)明另一實(shí)施例的系統(tǒng)圖示。
具體實(shí)施例方式
參考圖l,可分級(jí)的視頻編解碼器包括編碼器10，編碼器10可以通過視頻傳輸或視頻存儲(chǔ)14而與解碼器12進(jìn)行通信。圖1示出了一個(gè)編解碼 器的編碼器、以及另一個(gè)編解碼器的解碼器。
舉例而言，網(wǎng)絡(luò)計(jì)算機(jī)可以通過網(wǎng)絡(luò)與另一計(jì)算機(jī)進(jìn)行通信。每個(gè)計(jì) 算機(jī)可以具有包括編碼器和解碼器兩者的編解碼器，從而可以在一個(gè)節(jié)點(diǎn) 上對(duì)信息進(jìn)行編碼，通過網(wǎng)絡(luò)將編碼后的信息傳輸?shù)搅硪还?jié)點(diǎn)，然后所述 另一節(jié)點(diǎn)對(duì)編碼后的信息進(jìn)行解碼。
圖1中所示的編解碼器是可分級(jí)的視頻編解碼器(SVC)。這意味著它 能夠使用不同的比特深度來對(duì)信息進(jìn)行編碼和/或解碼。視頻源16和26可 以連接到編碼器IO。視頻源16可以使用N-比特的視頻數(shù)據(jù)，而視頻源26 可以提供M-比特的視頻數(shù)據(jù)，這里，比特深度M大于比特深度N。在其它 實(shí)施例中，可以提供具有兩個(gè)以上比特深度的兩個(gè)以上的源。
在每種情況下，將來自視頻源的信息提供給編碼器。在具有較低比特 深度的視頻源16的情況下，將該信息提供給基線編碼器18。在具有較高比 特深度的視頻源26的情況下，采用增強(qiáng)層編碼器28。
然而，為了在增強(qiáng)層編碼中使用，對(duì)在B處的來自基線編碼器18的經(jīng) 過基線解碼的信息進(jìn)行逆色調(diào)映射，以將它的比特深度增加到M個(gè)比特。 這樣，在一個(gè)實(shí)施例中，將解碼后的N-比特視頻提供給逆色調(diào)映射單元20。 逆色調(diào)映射20增加比特深度，并產(chǎn)生了到增強(qiáng)層編碼器28的M-比特輸出。 解碼后的流B還被提供給色調(diào)映射推導(dǎo)24。色調(diào)映射推導(dǎo)24還從M -比特 的視頻源26接收信息。色調(diào)映射推導(dǎo)24的輸出用于逆色調(diào)映射20。
同時(shí)，在A處的來自編碼器18的經(jīng)過編碼的輸出被輸出至視頻傳輸或 視頻存儲(chǔ)14。
作為將解碼后的流B用于色調(diào)映射推導(dǎo)器24的結(jié)果，可以減小在增強(qiáng) 層編碼器28中的編碼殘差，因?yàn)榫幋a器28中的更好的預(yù)測(cè)，在一些情況 下這提高了編碼效率。
圖1的編碼器例如符合H.264 (先進(jìn)視頻編解碼器(AVC)和MPEG-4 第10部分)壓縮標(biāo)準(zhǔn)。H.264標(biāo)準(zhǔn)已經(jīng)由聯(lián)合視頻工作組(JVT)制定， 該聯(lián)合視頻工作組包括ITU-T SG16 Q.6 (也稱為VCEG (視頻編碼專家組)) 和ISO-IECJTC/SC29/WG11 (2003)(也稱為MPEG (運(yùn)動(dòng)圖像專家組))。 舉幾個(gè)例子，化264被設(shè)計(jì)為應(yīng)用在數(shù)字1￥廣播、直播衛(wèi)星視頻、數(shù)字用戶線視頻、交換式存儲(chǔ)媒體、多媒體消息、數(shù)字地面TV廣播以及遠(yuǎn)程視頻 監(jiān)控等領(lǐng)域中。
盡管一個(gè)實(shí)施例可以符合H.264視頻編碼，但是本發(fā)明并不局限于此。 相反，這些實(shí)施例可以用于各種視頻壓縮系統(tǒng)，包括MPEG-2 (ISO/正C 13818-1 (2000)MPEG-2，可從瑞士日內(nèi)瓦的國際標(biāo)準(zhǔn)化組織獲得該ISO/IEC 13818-1 (2000) MPEG畫2)以及VC1 (SMPTE421M (2006)，可從SMPTE White Plains, NY， 10601獲得該SMPTE 421M (2006))。
編碼器通過視頻傳輸或視頻存儲(chǔ)14提供信息，以供解碼器使用?？商?供的信息可以包括基線(BL)層視頻流、逆色調(diào)映射(ITM)信息、來自 自適應(yīng)濾波24的濾波器抽頭(filter tap)以及增強(qiáng)層(EL)視頻流。該信 息中的一些可以包含在分組報(bào)頭中。例如，逆色調(diào)映射(ITM)信息和濾波 器抽頭信息可以在分組化數(shù)據(jù)傳輸中在合適的報(bào)頭中提供。
一旦在解碼器12中接收到合適的信息，基線解碼器30就解碼該信息， 以便由顯示器32顯示N-比特視頻。然而，如果作為替代提供了增強(qiáng)層裝置， 則可以提供較高比特深度的顯示器40。(通常，不會(huì)包括兩個(gè)顯示器)。使 用逆色調(diào)映射單元34將N-比特的基線解碼器輸出轉(zhuǎn)換為M-比特視頻，還 向逆色調(diào)映射單元34提供與在編碼器10中進(jìn)行的逆色調(diào)映射相關(guān)的ITM 信息。
視頻解碼器是自推導(dǎo)式(self-deriving)的，這是因?yàn)槭褂媒獯a器可獲 得的信息來進(jìn)行編碼。解碼器可以訪問該相同的信息來對(duì)編碼后的信息進(jìn) 行解碼，而無需從編碼器搜索該信息。
通常，可以采用任何類型的色調(diào)映射來增加基線層視頻的比特密度， 包括基于塊的逆縮放以及分段的逆線性映射。
圖1中的色調(diào)映射推導(dǎo)24尋找在較高/較低比特深度視頻之間的關(guān)系。 通常，通過編碼器端的原始高比特深度視頻和原始較低比特深度視頻的統(tǒng) 計(jì)特征，推導(dǎo)該映射關(guān)系。
使用較低比特深度N輸入的像素x以及較高比特深度M輸入的相同位 置的像素y來建立查詢表(LUT)。借助于"相同位置"，旨在查詢?cè)趤碜?源16和26的兩個(gè)圖像中的相同位置處的像素。
對(duì)于在較低比特深度輸入中的每個(gè)像素&以及在較高比特深度輸入中的相同位置的像素yi，令 sumk-=I 一)
numk+= D I 一) 那么，第j湘LUT[j]=sumj/numj。
如果(numj=0)，則LUT[j]是LUT[j-]和LUT[j+]的加權(quán)平均，其中如 果可以獲得j.和j+，則j.和j+是第j項(xiàng)的最接近的非零鄰居。
不使用較低比特深度的源16的輸入像素，而是將來自基層編碼器18
的經(jīng)解碼的輸出像素與較高比特深度的源26的輸入一起使用來得到映射
LUT。像素z是解碼后的較低比特深度N輸出，而相同位置的輸入像素y
是較高比特深度M輸入。對(duì)于在較低比特深度的解碼后輸出中的每個(gè)像素
Zi以及在較高比特深度輸入中的相同位置的像素yi，令 sumk —=不乂 I (一
numk+= I (")
那么，第j項(xiàng)LUT[j]-sumj/numj。
如果(numj=0),則LUT[j]是LUT[j.]和LUT[j+]的加權(quán)平均，其中如
果可以獲得j.和j+，則j-和j+是第j項(xiàng)的最接近的非零鄰居。
在圖2中，內(nèi)容自適應(yīng)技術(shù)推導(dǎo)出色調(diào)映射LUT，該內(nèi)容自適應(yīng)技術(shù) 使用內(nèi)容分析和濾波42。像素z是解碼后的較低比特深度N輸出，而相同 位置的輸入像素y來自于較高比特深度M。如果在目標(biāo)像素z的周圍鄰域 中不存在邊緣像素，則可以用濾波后的像素f來替代該目標(biāo)像素z，以推導(dǎo) 出色調(diào)映射LUT。
對(duì)于在較低比特深度的解碼后的輸出中的每個(gè)像素&以及在較高比特 深度輸入中的相同位置的像素yi，如果在Xi的鄰域中不存在邊緣像素，則: 設(shè)置fl = filter (Xi) sumk-=I (/,="
numk+= $ I 第j項(xiàng)LUT。]=sumj/numj。
如果(numj-0)，則LUT[j]是LUT[j.]和LUT[j+]的加權(quán)平均，其中如果可以獲得j-和j + ，貝U j.和j+是第j項(xiàng)的最接近的非零鄰居。
在一個(gè)實(shí)施例中，將Sobd邊緣算子用于內(nèi)容分析和濾波42。假定目
標(biāo)像素Z:
1_2-r匿-i01 —二2-1 o-力-1-2—
000五—V-_202—10 110一l
12i_10101 2210
目標(biāo)像素z的邊緣度量(EM)用公式表示為以下等式中的加權(quán)與其3 X3鄰域NH9(z)的巻積，如EM(z) = |NH9(z)*E_h| + |NH9(z)*E—v|+ |NH9(z)*E—P45| + |NH9(z)*E—N45|。
對(duì)于很多應(yīng)用而言，使用兩個(gè)方向E—v和E_h就足夠了。在45度上的 檢測(cè)進(jìn)一歩改善了邊緣檢測(cè)，但是帶來了更大的計(jì)算復(fù)雜度。
對(duì)于邊緣檢測(cè)，可以使用其它內(nèi)容分析技術(shù)，例如Canny算法和基于 導(dǎo)數(shù)的算法。
在圖2中，使用來自鄰域像素的濾波器支持(filter support)來對(duì)目標(biāo) 像素進(jìn)行濾波。在一些實(shí)施例中，可以將線性濾波器或平均濾波器與邊緣 檢測(cè)器一起使用。
鄰域的定義可以與在諸如SVC和H.264等通用視頻編碼標(biāo)準(zhǔn)中的指定 的塊大小的定義自然對(duì)齊。舉例而言，所述塊大小可以是4X4、 8X4、 4 X8和8X8。利用該對(duì)齊，色調(diào)映射推導(dǎo)24是內(nèi)容自適應(yīng)的并且是基于塊 的。盡管可以使用3X3鄰域，但也可以使用其它鄰域像素。
可以分別基于亮度通道和色度通道來推導(dǎo)色調(diào)映射表。亮度LUT可以 用于亮度像素的映射，色度LUT可以用于色度像素的映射。在一些方案中， Cb通道和Cr通道兩者共享一個(gè)色度表，或者可以分別使用Cb和Cr各自 的表。
在一些實(shí)施例中，使用色調(diào)映射關(guān)系，以便借助于使用較低比特深度 的解碼后像素和較高比特深度的相同位置的輸入像素來預(yù)測(cè)較高比特深度 的像素。通過使用較低比特深度的解碼后像素取代較低比特深度的輸入像 素，在一些實(shí)施例中可以減小編碼殘差并且實(shí)現(xiàn)更好的編碼效率。
內(nèi)容自適應(yīng)技術(shù)利用相鄰像素產(chǎn)生濾波后的像素，作為未經(jīng)濾波的解 碼后像素的替代，以推導(dǎo)出色調(diào)映射關(guān)系。借助于鄰域分析，消除了另一邊界上的像素，以便在一些實(shí)施例中產(chǎn)生更為平滑的像素并且更好地預(yù)測(cè) 較高比特深度的像素。這樣，在一些情況下實(shí)現(xiàn)了更加有效的編碼效率。 由于在視頻解碼器端獲得的自推導(dǎo)，因此在一些實(shí)施例中不需要將額外的 開銷從視頻編碼器端發(fā)送到視頻解碼器端。
參考圖3，在一個(gè)實(shí)施例中，圖1和圖2中所示的編碼器和解碼器可以 是圖形處理器112的一部分。在一些實(shí)施例中，圖1和圖2中所示的編碼 器和解碼器可以用硬件實(shí)現(xiàn)，而在其它實(shí)施例中，它們可以用軟件或固件 來實(shí)現(xiàn)。在軟件實(shí)現(xiàn)的情況下，相關(guān)代碼可以存儲(chǔ)在任何合適的半導(dǎo)體、 磁存儲(chǔ)器或光存儲(chǔ)器中，包括主存儲(chǔ)器132。因此，在一個(gè)實(shí)施例中，源代 碼139可以存儲(chǔ)在機(jī)器可讀介質(zhì)中，例如存儲(chǔ)在主存儲(chǔ)器132中，以便由 諸如處理器100或圖形處理器112等處理器執(zhí)行。
計(jì)算機(jī)系統(tǒng)130可以包括硬盤驅(qū)動(dòng)器134和可移動(dòng)介質(zhì)136，它們通過 總線104耦合到芯片組內(nèi)核邏輯110。在一個(gè)實(shí)施例中，該內(nèi)核邏輯可以耦 合到圖形處理器112 (經(jīng)由總線105)和主處理器100。圖形處理器112還 可以通過總線106耦合到幀緩沖器114。幀緩沖器114可以通過總線107耦 合到顯示器屏幕118，顯示器屏幕118進(jìn)而通過總線108耦合到諸如鍵盤或 鼠標(biāo)120之類的常規(guī)組件。
圖1和圖2中所示的塊可以構(gòu)成硬件或軟件組件。在軟件組件的情況 下，該圖可以表示可存儲(chǔ)在諸如半導(dǎo)體集成電路存儲(chǔ)器、光存儲(chǔ)設(shè)備或磁 存儲(chǔ)設(shè)備之類的機(jī)器可讀介質(zhì)中的指令序列。在牝情況下，所述指令可由 計(jì)算機(jī)或基于處理器的系統(tǒng)執(zhí)行，所述計(jì)算機(jī)或基于處理器的系統(tǒng)從存儲(chǔ) 器中得到所述指令并執(zhí)行所述指令。在一些情況下，所述指令可以是固件, 其可以存儲(chǔ)在合適的存儲(chǔ)介質(zhì)中。上述指令的執(zhí)行結(jié)果是最終顯示在顯示 器屏幕上的圖像質(zhì)量得到了改善。
本說明書通篇引用的"一個(gè)實(shí)施例"或"實(shí)施例"意思是結(jié)合該實(shí)施 例所述的特定特征、結(jié)構(gòu)或特性可以包括在本發(fā)明范圍內(nèi)包含的至少一種 實(shí)現(xiàn)方式中。這樣，出現(xiàn)的短語"一個(gè)實(shí)施例"或"在實(shí)施例中"并非一 定指的是同一實(shí)施例。此外，所述特定特征、結(jié)構(gòu)或特性可以用除所述的 特定實(shí)施例之外的其它合適形式來替代，并且所有這些形式都包含在本申 請(qǐng)權(quán)利要求的范圍內(nèi)。 '雖然已經(jīng)針對(duì)有限數(shù)量的實(shí)施例描述了本發(fā)明，但是本領(lǐng)域技術(shù)人員 應(yīng)該意識(shí)到從中得到的各種修改和變型。目的在于使所附的權(quán)利要求覆蓋 落入本發(fā)明的真實(shí)精神和范圍之內(nèi)的所有這些修改和變型。
權(quán)利要求
1、一種方法，包括使用解碼后的較低比特深度的視頻來進(jìn)行逆色調(diào)映射，以便用于較高比特深度的編碼。
2、 如權(quán)利要求1所述的方法， 比特深度。
3、 如權(quán)利要求2所述的方法，提供給增強(qiáng)層編碼器。
4、 如權(quán)利要求l所述的方法，
5、 如權(quán)利要求1所述的方法， 頻來進(jìn)行色調(diào)映射推導(dǎo)。
6、 如權(quán)利要求1所述的方法， 出來進(jìn)行逆色調(diào)映射。包括增加編碼后的基線層視頻信息的包括將所述比特深度增加的視頻信息包括使用自推導(dǎo)式解碼。 包括使用解碼后的較低比特深度的視包括使用基線層編碼器的解碼后的輸包括:
7、 如權(quán)利要求1所述的方法，包括使用在較低比特深度的視頻和較 高比特深度的視頻中相同位置的像素來進(jìn)行色調(diào)映射推導(dǎo)。
8、 如權(quán)利要求l所述的方法，包括使用在較低比特深度的視頻中的 經(jīng)濾波的像素來進(jìn)行色調(diào)映射推導(dǎo)。
9、 如權(quán)利要求1所述的方法，包括在逆色調(diào)映射之前，對(duì)所述解碼 后的較低比特深度的視頻進(jìn)行濾波。
10、 如權(quán)利要求9所述的方法，包括使用對(duì)相鄰像素的分析來進(jìn)行逆色調(diào)映射。
11、 如權(quán)利要求10所述的方法，包括使用所述相鄰像素以及在所述 較低比特深度的視頻和較高比特深度的視頻中相同位置的像素來建立色調(diào) 映射査詢表。
12、 一種裝置，包括較低比特深度的編碼器，其具有編碼后的視頻輸出和解碼后的視頻輸 出；以及設(shè)備，其使用來自所述解碼后的視頻輸出的視頻來增加編碼后的視頻 信息的比特深度。
13、 如權(quán)利要求12所述的裝置，其中，所述設(shè)備包括逆色調(diào)映射。
14、 如權(quán)利要求12所述的裝置，其中，所述裝置是編碼器。
15、 如權(quán)利要求12所述的裝置，其中，所述裝置包括解碼器。
16、 如權(quán)利要求15所述的裝置，其中，所述解碼器是自推導(dǎo)式的。
17、 如權(quán)利要求12所述的裝置，包括耦合到所述設(shè)備的基線編碼器。
18、 如權(quán)利要求13所述的裝置，包括耦合到所述濾波器的增強(qiáng)層編 碼器。
19、 如權(quán)利要求12所述的裝置，包括用于對(duì)所述解碼后的視頻輸出 進(jìn)行濾波的濾波器。
20、 如權(quán)利要求19所述的裝置，包括逆色調(diào)映射和色調(diào)映射推導(dǎo)，其中，所述濾波器的輸出耦合到所述逆色調(diào)映射和所述色調(diào)映射推導(dǎo)。
21、 一種視頻編碼器，包括 基線層編碼器，其具有解碼后的輸出； 逆色調(diào)映射，其耦合到所述解碼后的輸出；以及 增強(qiáng)層編碼器，其耦合到所述逆色調(diào)映射。
22、 如權(quán)利要求21所述的編碼器，包括耦合到所述基線層編碼器的 色調(diào)映射推導(dǎo)，所述色調(diào)映射推導(dǎo)耦合到所述逆色調(diào)映射并且耦合到增強(qiáng) 層視頻源。
23、 如權(quán)利要求22所述的編碼器，其中，所述逆色調(diào)映射推導(dǎo)使用在 基線層視頻和增強(qiáng)層視頻中的像素來建立色調(diào)映射查詢表。
24、 如權(quán)利要求22所述的編碼器，所述逆色調(diào)映射使用在所述基線層 視頻和所述增強(qiáng)層視頻中的相同位置的像素。
25、 如權(quán)利要求23所述的編碼器，所述逆色調(diào)映射推導(dǎo)使用在所述基 線層視頻和所述增強(qiáng)層視頻中的相鄰像素來建立色調(diào)映射查詢表。
26、 如權(quán)利要求21所述的編碼器，包括耦合到所述解碼后的輸出的
27、 如權(quán)利要求26所述的編碼器，其中，所述逆色調(diào)映射耦合到所述 濾波器的輸出。
28、 如權(quán)利要求27所述的編碼器，包括耦合到所述濾波器的所述輸 出的色調(diào)映射推導(dǎo)。
29、 一種視頻解碼器，包括 基線層解碼器；以及 .自推導(dǎo)式增強(qiáng)層解碼器，其耦合到所述基線層解碼器。
30、 如權(quán)利要求29所述的解碼器，包括耦合到所述基線層解碼器的 增強(qiáng)層解碼器。
31、 如權(quán)利要求30所述的解碼器，包括位于所述增強(qiáng)層解碼器與所述基線解碼器之間的內(nèi)容分析和濾波。
全文摘要
本發(fā)明公開了用于比特深度可分級(jí)的視頻編解碼器的色調(diào)映射?？煞旨?jí)的視頻編解碼器可以使用經(jīng)解碼的較低比特深度的視頻來進(jìn)行色調(diào)映射和色調(diào)映射推導(dǎo)，從而將較低比特深度的視頻轉(zhuǎn)換為較高比特深度的視頻。該轉(zhuǎn)換還可以使用經(jīng)濾波的較低比特深度的視頻來進(jìn)行色調(diào)映射和色調(diào)映射推導(dǎo)。
文檔編號(hào)H04N7/26GK101577828SQ20091013275
公開日2009年11月11日 申請(qǐng)日期2009年4月16日 優(yōu)先權(quán)日2008年4月16日
發(fā)明者L·徐, Y-J·秋, 洪 江 申請(qǐng)人:英特爾公司