深度查詢表的編碼方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，更具體地涉及3D視頻處理和3D視頻編碼領(lǐng)域中的 一種深度查詢表（DLT)的編碼方法和裝置以及深度查詢表的解碼方法和裝置。
【背景技術(shù)】
[0002] 在3D視頻中，深度數(shù)據(jù)通常被表示為對(duì)應(yīng)于每個(gè)紋理視頻幀的一套深度圖。深度 圖中每個(gè)點(diǎn)的強(qiáng)度描述該點(diǎn)表示的視覺場(chǎng)景與照相機(jī)之間的距離?；蛘撸梢允褂靡暡顖D， 其值與深度圖的值成反比，可用來導(dǎo)出深度圖。
[0003] 在3D視頻編碼中，除常規(guī)的視頻數(shù)據(jù)之外，每個(gè)視圖的深度圖都需要編碼。相比 于視頻數(shù)據(jù)，這些深度圖顯示不同的信號(hào)特征，因?yàn)樗鼈儼蓤?jiān)固邊緣劃界的分段光滑 區(qū)域。因?yàn)樯疃葓D通常是從紋理數(shù)據(jù)中估計(jì)得來或者進(jìn)行了預(yù)處理，它們的柱狀圖可能會(huì) 比較稀疏。因此，提出深度查詢表（DLT)【F.Jager，"3D-CE6.h關(guān)于一種使用可選深度查 詢表的簡(jiǎn)化深度編碼的研究成果"，聯(lián)合協(xié)作小組關(guān)于ITU-TVCEG和IS0/IECMPEG的3D 視頻編碼擴(kuò)展開發(fā)（JCT-3V)的研究，上海，中國，JCT3V-B0036, 2012年】以僅通過標(biāo)示DLT 的差值索引來利用柱狀圖特征，而不是通過標(biāo)示剩余深度值本身來利用柱狀圖特征。通過 這種方法，可以降低這些剩余值的位深，因此帶來較高編碼效率。
[0004] 通過對(duì)原始的、未壓縮的深度圖的柱狀圖進(jìn)行分析，在編碼器中構(gòu)造DLT。然后將 該DLT傳送到解碼器，以實(shí)現(xiàn)索引與實(shí)際深度值之間的映射。深度圖的柱狀圖值可以隨時(shí) 間變化，因此，需要更新機(jī)制。此外，在多視圖編碼場(chǎng)景下，多個(gè)深度圖可以有不同的深度圖 柱狀圖，在這種情況下，此類更新機(jī)制也有利于整體編碼性能。
[0005] 在高性能視頻編碼 3D擴(kuò)展開發(fā)【G.Tech，K.Wegner，Y.Chen，和S.Yea，"3D-HEVC 測(cè)試模型2"，聯(lián)合協(xié)作小組關(guān)于3D視頻編碼擴(kuò)展開發(fā)的文件，JCT3V-B1005, 2012年10月】 的最新說明書中，在序列參數(shù)集（SPS)中，DLT每序列只發(fā)送一次，分別用于所有視圖。該 方法使得DLT標(biāo)示開銷保持較低。
[0006] 另外，提出了在基本視圖的每個(gè)I切片的切片頭中對(duì)DLT進(jìn)彳丁標(biāo)不【I.Lim， H.C.Wey和D.S.Park，"3D-CE6.h相關(guān)：改善的深度查詢表（DLT) "，聯(lián)合協(xié)作小組關(guān)于 ITU-TVCEG和IS0/IECMPEG的3D視頻編碼擴(kuò)展開發(fā)（JCT-3V)的研究，日內(nèi)瓦，瑞士， JCT3V-C0093，2013年】。在該方法中，在時(shí)間維度對(duì)DLT值進(jìn)行了更有規(guī)律的更新，從而允 許柱狀圖隨時(shí)間變化。在這種情況下，假設(shè)所有視圖的深度圖柱狀圖都一樣，則所有相關(guān)視 圖都繼承基本視圖的DLT。
[0007] 此外，另一種標(biāo)示DLT值的方法，稱為范圍受限位圖（RCBM)編碼方法800,如圖8 所不，其在【KaiZhang、JichengAn和ShawminLei，"3D-CE6.h相關(guān)：3DVC中一種高效的 DLT編碼方法"，聯(lián)合協(xié)作小組關(guān)于3D視頻編碼擴(kuò)展開發(fā)的文件，JCT3V-C0142, 2013年1月】 中提出。該方法800采用對(duì)存在于DLT中（參見圖8)的深度值的范圍進(jìn)行標(biāo)示：min_dlt_ value和diff_max_dlt_value被編碼為無符號(hào)整數(shù)來限制DLT的范圍。DLT中的最小值是 min_dlt_value，最大值是MaxDltValue，其等于min_dlt_value+diff_max_dlt_value。然 后，二進(jìn)制串bit_map_flag用于標(biāo)示該范圍內(nèi)的深度值是否存在于DLT中。如果bit_map_flag中的一個(gè)比特位等于1，則對(duì)應(yīng)于二進(jìn)制串中該位置的深度值屬于或者存在于DLT中， 否則，該深度值不屬于或者不存在于DLT中。
[0008] 現(xiàn)有技術(shù)中的DLT標(biāo)示的編碼方法沒有充分利用該信號(hào)特征，因此，仍然存在進(jìn) 一步提尚DLT的編碼效率的可能。
[0009] 每序列只對(duì)DLT標(biāo)示一次，單獨(dú)用于每個(gè)視圖，這樣用于DLT值的開銷非常低，但 是時(shí)間和空間上（視圖間）的更新相對(duì)不靈活。
[0010] 在基本視圖的I切片的切片頭中對(duì)DLT進(jìn)行標(biāo)示，且相關(guān)視圖繼承該DLT，此備 用方案不具備在時(shí)間維度對(duì)查詢表進(jìn)行更有規(guī)律的更新的能力，也不不支持DLT視圖間更 新。所有已編碼的視圖的DLT值總是一樣的這一假設(shè)在多數(shù)情況下存在太大的局限性，并 且導(dǎo)致相關(guān)視圖的深度圖質(zhì)量下降。如果相關(guān)視圖的深度圖顯示的柱狀圖特征不同于基礎(chǔ) 視圖的柱狀圖特征，則由于對(duì)非最佳DLT的簡(jiǎn)單復(fù)制，該深度圖的重建不能得到所有原始 的深度值。

【發(fā)明內(nèi)容】

[0011] 本發(fā)明的目標(biāo)在于為深度查詢表提供一種改善的編碼/解碼技術(shù)。
[0012] 該目的是通過獨(dú)立權(quán)利要求的特征來實(shí)現(xiàn)的。結(jié)合獨(dú)立權(quán)利要求、說明書和附圖 會(huì)使具體實(shí)施形式更易于理解。
[0013] 本發(fā)明基于如下發(fā)現(xiàn)：DLT預(yù)測(cè)可以為深度查詢表提供一種改善的編碼/解碼技 術(shù)。不是將當(dāng)前DLT的所有值都標(biāo)示出來，只要將當(dāng)前DLT與參考DLT的差值標(biāo)示出來即 可。因此，例如，可以利用DLT查詢表的時(shí)間和視圖間的多余信息來降低DLT所需的比特率。 在DLT預(yù)測(cè)的另一種形式中，單個(gè)標(biāo)志用于標(biāo)示當(dāng)前DLT查詢表和參考DLT查詢表之間的 零差值。
[0014] 在所描述的一些DLT編碼/解碼的預(yù)測(cè)場(chǎng)景下，可以利用DLT查詢表間不同的時(shí) 間和空間（視圖間）的依存關(guān)系。提出了降低傳輸錯(cuò)誤對(duì)基于預(yù)測(cè)的編碼/解碼方法的影 響的一些方法。根據(jù)這些方法，對(duì)較高編碼級(jí)別（例如，PPS)中的值的位長(zhǎng)進(jìn)行標(biāo)示，在專 用SEI消息中發(fā)送丟失的參考DLT。提出了基于X0R邏輯運(yùn)算符來計(jì)算當(dāng)前DLT查詢表和 參考DLT查詢表之間的差值的一個(gè)簡(jiǎn)便方法。
[0015] 為詳細(xì)描述本發(fā)明，會(huì)使用以下術(shù)語、縮寫和符號(hào)：
[0016] HEVC-High-EfficiencyVideoCoding高性能視頻編碼
[0017] CU-CodingUnit編碼單元
[0018] DLT-DepthLookupTable深度查詢表
[0019] RAP-RandomAccessPoint隨機(jī)接入點(diǎn)
[0020] SEI-SupplementalEnhancementInformation補(bǔ)充增強(qiáng)信息
[0021] SH-S1iceHeader切片頭
[0022] SPS-SequenceParameterSet序列參數(shù)集
[0023] PPS-PictureParameterSet圖像參數(shù)集
[0024] 視頻序列一系列呈現(xiàn)動(dòng)態(tài)圖像的后續(xù)幀。
[0025] 3D視頻包括兩個(gè)紋理視圖及其對(duì)應(yīng)的深度圖或視差圖的信號(hào)。
[0026] 視覺場(chǎng)景用3D視頻表現(xiàn)的真實(shí)世界或合成場(chǎng)景。
[0027] 深度圖灰度圖像，圖像中的每一個(gè)點(diǎn)的值確定該點(diǎn)表示的視覺場(chǎng)景與照相機(jī)之 間的距離?；蛘撸梢允褂靡暡顖D來表示或?qū)С錾疃葓D，其值與深度圖的值成反比。
[0028] 紋理視圖以一個(gè)特定的視角獲得的視頻，包含視覺場(chǎng)景的顏色和紋理信息；通常 用RGB或YUV格式表示。
[0029] 隨機(jī)接入點(diǎn)視頻序列結(jié)構(gòu)中定義的點(diǎn)，其中解碼器能夠在不了解視頻流的前面 部分的情況下從該點(diǎn)開始對(duì)所述序列進(jìn)行解碼。
[0030] SPS以包含視頻流正確解碼所需的基本信息的結(jié)構(gòu)化的消息的形式發(fā)送的參數(shù) 集合；必須在每個(gè)隨機(jī)接入點(diǎn)的起點(diǎn)標(biāo)示出來。
[0031] PPS以包含視頻序列中的圖像正確解碼所需的基本信息的結(jié)構(gòu)化的消息的形式 發(fā)送的參數(shù)的集合。
[0032] 圖像包含視頻序列的整個(gè)圖像的視頻序列結(jié)構(gòu)，也稱為幀。
[0033] 切片包含視頻序列的一部分或整個(gè)圖像的視頻序列結(jié)構(gòu)。
[0034] 切片頭描述切片的并在切片的起點(diǎn)發(fā)送的參數(shù)集合。
[0035] ⑶一個(gè)預(yù)定義大小的視頻序列的基本編碼結(jié)構(gòu)，包含圖像（例如64X64像素） 的一部分。
[0036] I切片所有編碼單元都是幀內(nèi)預(yù)測(cè)的切片，因此可以不參照其他圖像。
[0037] SEI可以在視頻序列流中進(jìn)行標(biāo)示的消息，包含關(guān)于視頻序列、編碼工具等的附 加或可選信息。
[0038] 根據(jù)第一方面，本發(fā)明涉及一種深度查詢表的編碼方法，所述深度查詢表包括至 少一部分3D圖像的深度值信息，所述方法包括：選擇參考深度查詢表；基于待編碼的深度 查詢表的深度值信息與所述參考深度查詢表的深度值信息之間的對(duì)比來確定差值深度查 詢表；根據(jù)預(yù)先確定的編碼規(guī)則對(duì)所述差值深度查詢表的深度值信息進(jìn)行編碼。
[0039] 這種編碼也可以稱為預(yù)測(cè)編碼、差值編碼或差分編碼。
[0040] 在一種實(shí)現(xiàn)形式中，"差分編碼"涵蓋DLT預(yù)測(cè)（例如，時(shí)間和視圖）和DLT更新 (例如，針對(duì)單視圖/基礎(chǔ)視圖）兩者。
[0041] 在一種實(shí)現(xiàn)形式中，所述深度值信息可以是表示深度值的索引（表示為二進(jìn)制串 或表示為整數(shù)索引值序列）或深度值本身。DLT的選項(xiàng)或表述都可以稱為DLT。DLT用于對(duì) 深度圖進(jìn)行編碼和解碼。
[0042] 術(shù)語"3D圖像"可理解為單視圖的紋理信息（例如，RGB等）和深度信息。其與對(duì) 應(yīng)的只包括紋理信息的2D圖像的不同之處在于附加的深度信息。
[0043] -種實(shí)現(xiàn)形式涵蓋3D視頻（3D圖像序列）、單一的3D圖像和3D圖像或3D圖像序 列的"部分"（例如，切片、編碼單元和宏塊）的DTL，并在一個(gè)特定的或極端的情況下，一個(gè) DLT具體用于一個(gè)時(shí)刻、一個(gè)視圖和一個(gè)"部分"）。在實(shí)現(xiàn)形式中，可將DLT與紋理信息一 起進(jìn)行編碼或單獨(dú)進(jìn)行編碼。在進(jìn)一步的實(shí)現(xiàn)形式中，只對(duì)DLT進(jìn)行編碼。
[0044] 在一種實(shí)現(xiàn)形式中，所述選擇參考深度查詢表，例如參考DLT，是基于選擇標(biāo)準(zhǔn)來 進(jìn)行的。
[0045] 在一種實(shí)現(xiàn)形式中，所述選擇標(biāo)準(zhǔn)是預(yù)先確定的，即是固定的。在一種實(shí)現(xiàn)形式 中，所述選擇標(biāo)準(zhǔn)是可以被采用的。
[0046] 在一種實(shí)現(xiàn)形式中，所述確定差值深度查詢表，例如A-DLT，是基于待編碼的深度 查詢表，例如當(dāng)前DLT，的深度值信息與所述參考深度查詢表，例如參考DLT，包括的深度值 信息之間的對(duì)比來進(jìn)行的。
[0047] 在一種實(shí)現(xiàn)形式中，預(yù)先確定的編碼規(guī)則與用于對(duì)參考DLT進(jìn)行編碼的編碼規(guī)則 相同，即"全部DLT的正常編碼"，例如，用于對(duì)參考DLT和差值DLT進(jìn)行編碼的范圍受限位 圖編碼。
[0048] 新提出的深度查詢表編碼/解碼方法在降低DLT所需的比特率的同時(shí)為編碼器/ 解碼器帶來了高度靈活性。由于不同序列之間甚至相同序列內(nèi)（幀間和視圖間）的深度圖 特征可能明顯不同，DLT編碼/解碼的高靈活性通過實(shí)現(xiàn)該方法提供。
[0049] 為了利用表示不同時(shí)刻的值（在視頻序列的情況下）或不同時(shí)刻和視圖（在多視 圖序列的情況下）的DLT查詢表間的相似性，因此而提出的DLT編碼/解碼的新方法采用 DLT值的DLT預(yù)測(cè)，以減少需要通過編碼/解碼來表示DLT查詢表的信息量。
[0050] 根據(jù)第一方面，在所述方法的第一種可能的實(shí)現(xiàn)形式中，所述差值深度查詢表包 括存在于待編碼的深度查詢表中且不存在于所述參考深度查詢表中的深度值信息，并且包 括存在于所述參考深度查詢表中且不存在于所述