用于分層vdr編碼的有效架構(gòu)的制作方法
【專利摘要】在分層視覺動(dòng)態(tài)范圍（VDR）編碼中，層間預(yù)測需要輸入VDR與標(biāo)準(zhǔn)動(dòng)態(tài)范圍（SDR）信號之間的若干顏色格式變換。呈現(xiàn)編碼和解碼架構(gòu)，其中在基于SDR的顏色格式變換中執(zhí)行層間預(yù)測，因此在不折衷編碼效率或編碼質(zhì)量的情況下，減小在編碼器和解碼器二者中的計(jì)算復(fù)雜度。
【專利說明】用于分層VDR編碼的有效架構(gòu)
[0001]對相關(guān)申請的交叉引用
[0002]本申請要求2011年5月16日提出的美國臨時(shí)專利申請N0.61/486，703的優(yōu)先權(quán)，其通過引用全部合并于此。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明一般涉及圖像。更具體地，本發(fā)明的實(shí)施例涉及在高動(dòng)態(tài)范圍的分層編碼中的有效顏色空間變換。
【背景技術(shù)】
[0004]如這里使用的，術(shù)語‘動(dòng)態(tài)范圍’(DR)可以涉及人類視覺系統(tǒng)(HVS)察覺圖像中的強(qiáng)度(例如，發(fā)光度、亮度)范圍的能力，例如，從最黑的黑暗到最亮的光亮。在這種意義上講，DR涉及‘關(guān)于場景’的強(qiáng)度。DR也可以涉及顯示設(shè)備充分地或近似地渲染特定寬度的強(qiáng)度范圍的能力。在這種意義上講，DR涉及‘關(guān)于顯示器’的強(qiáng)度。除非在這里的說明書中的任一點(diǎn)特定意義被明確地指定具有特定的重要性，否則應(yīng)該推斷術(shù)語可以例如可互換地用于任一意義。
[0005]如這里使用的，術(shù)語高動(dòng)態(tài)范圍(HDR)涉及跨越人類視覺系統(tǒng)(HVS)的一些14_15個(gè)數(shù)量級的DR寬度。例如，具有實(shí)質(zhì)上正常的(例如，在統(tǒng)計(jì)、生物測定或眼科意義中的一個(gè)或更多意義上)最佳適應(yīng)的人類具有跨越大約15個(gè)數(shù)量級的強(qiáng)度范圍。適應(yīng)的人類可以察覺如僅僅少數(shù)光子一樣少的暗光源。然而，這些相同的人類可以察覺在沙漠、?；蜓┲姓缣柕膸缀跬纯嗟孛髁恋膹?qiáng)度(乃至看一眼太陽，但是短暫地以防止損害)。此跨越可以用來‘適應(yīng)’的人類，例如，那些其HVS具有復(fù)位和調(diào)整的時(shí)間周期的人。
[0006]相反，與HDR相比，人類可以在強(qiáng)度范圍中同時(shí)察覺密集寬度的DR可以被稍微地截?cái)唷Ｈ邕@里使用的，術(shù)語‘視覺動(dòng)態(tài)范圍’或‘可變動(dòng)態(tài)范圍’(VDR)可以分別或可互換地涉及由HVS同時(shí)可察覺的DR。如這里使用的，VDR可以涉及跨越5-6個(gè)數(shù)量級的DR。因此雖然或許與涉及真實(shí)場景的HDR相比稍微窄，但是VDR表示寬的DR寬度。如這里使用的，術(shù)語‘同時(shí)動(dòng)態(tài)范圍’可以涉及VDR。
[0007]直到最近，顯示器已經(jīng)具有比HDR或VDR顯著窄的DR。使用一般陰極射線管(CRT)、具有恒定螢光白背景光的液晶顯示器(LCD)或等離子屏幕技術(shù)的電視機(jī)(TV)和計(jì)算機(jī)監(jiān)控器裝置可以被局限于它們的近似三個(gè)數(shù)量級的DR渲染能力。因此，與VDR和HDR相比，此類常規(guī)顯示器代表低動(dòng)態(tài)范圍(LDR),也被稱為是標(biāo)準(zhǔn)動(dòng)態(tài)范圍(SDR)。
[0008]但是它們的基礎(chǔ)技術(shù)的發(fā)展使得更現(xiàn)代的顯示器設(shè)計(jì)，對在不那么現(xiàn)代的顯示器上渲染的相同內(nèi)容，能夠在各種質(zhì)量特性方面具有重要改善地渲染圖像和視頻內(nèi)容。例如，更現(xiàn)代的顯示設(shè)備可以能渲染高清晰度(HD)內(nèi)容和/或可以根據(jù)諸如圖像縮放之類的各種顯示能力縮放的內(nèi)容。而且，一些更現(xiàn)代的顯示器能夠渲染具有比常規(guī)顯示器的SDR高的DR的內(nèi)容。
[0009]例如，一些現(xiàn)代的IXD顯示器具有包括發(fā)光二極管(LED)陣列的背光單元(BLU)?？梢耘c有源IXD元件的偏振態(tài)的調(diào)制分離地調(diào)制BLU陣列的LED。此雙重調(diào)制方法是可擴(kuò)展的(例如，擴(kuò)展到N-調(diào)制層，其中N包括大于二的整數(shù))，諸如在BLU陣列和IXD屏幕元件之間具有可控的插入層。它們的基于LED陣列的BLU和雙重(或N-)調(diào)制有效地增加具有此類特征的IXD監(jiān)控器的關(guān)于顯示器的DR。
[0010]此類常常被稱為的“HDR顯示器”(盡管實(shí)際上，它們的能力可以更接近地近似VDR的范圍)和與傳統(tǒng)SDR顯示器相比它們能夠?qū)崿F(xiàn)的DR擴(kuò)展代表在顯示圖像、視頻內(nèi)容及其他視覺信息的能力方面的重要進(jìn)步。此類HDR顯示器可以渲染的色域也可以顯著地超出更多常規(guī)顯示器的色域，甚至達(dá)到有能力渲染寬色域(WCG)的程度。諸如可以由“下一代”電影和TV攝像機(jī)生成的有關(guān)場景的HDR或VDR和WCG圖像內(nèi)容現(xiàn)在可以利用“HDR”顯示器(以下簡稱‘HDR顯示器’)被更如實(shí)并有效地顯示。
[0011]如同可分級視頻編碼和HDTV技術(shù)一樣，擴(kuò)展圖像DR —般包含分叉方法。例如，利用現(xiàn)代的有HDR能力的照相機(jī)捕獲的有關(guān)場景的HDR內(nèi)容可以用來生成可以內(nèi)容的SDR版本，其可以被顯示在傳統(tǒng)的SDR顯示器上。在一個(gè)方法中，從捕獲的VDR版本生成SDR版本可以包含將色調(diào)映射算子(TMO)施加到HDR內(nèi)容中的有關(guān)強(qiáng)度(例如，發(fā)光度、亮度)的像素值。在第二方法中，如由W.Gish等的美國臨時(shí)申請61/376，907“Extending Image DynamicRange”中描述的(其全部通過引用合并于此)，生成SDR圖像可以包含對VDR數(shù)據(jù)施加可逆算子(或預(yù)測算子)。為了保存帶寬或?yàn)榱似渌紤]，實(shí)際捕獲的VDR內(nèi)容的傳輸可能不是最佳方法。
[0012]因此，與原始TMO相比逆化的逆色調(diào)映射算子(iTMO)，或與原始預(yù)測算子相比的逆算子，可以被應(yīng)用于生成的SDR內(nèi)容版本，其允許VDR內(nèi)容的版本能夠被預(yù)測。預(yù)測的VDR內(nèi)容版本可以與最初捕獲的HDR內(nèi)容相比。例如，從原始VDR版本中減去預(yù)測的VDR版本可以生成殘差圖像。編碼器可以將生成的SDR內(nèi)容作為基本層(BL)發(fā)送，并且將生成的SDR內(nèi)容版本、任何殘差圖像、以及iTMO或其它預(yù)測算子封裝為增強(qiáng)層(EL)或?yàn)樵獢?shù)據(jù)。
[0013]在比特流中發(fā)送具有它的SDR內(nèi)容、殘差和預(yù)測算子的EL和元數(shù)據(jù)一般比將HDR和SDR內(nèi)容兩個(gè)直接地發(fā)送到比特流中耗費(fèi)的帶寬更少。接收由編碼器發(fā)送的比特流的兼容解碼器可以在常規(guī)顯示器上解碼并且渲染SDR。然而兼容解碼器也可以使用殘差圖像、iTMO預(yù)測算子、或元數(shù)據(jù)來由此計(jì)算HDR內(nèi)容的預(yù)測的版本，以便在更有能力的顯示器上可以使用。
[0014]在此類分層的VDR編碼中，可以在不同的位深度、在不同的色空間、和以不同的色度二次抽樣格式表示信號，所有這些可以強(qiáng)迫從第一顏色格式到第二顏色格式的各種計(jì)算機(jī)密集的變換。
[0015]如這里使用的，術(shù)語“顏色格式”涉及包括兩個(gè)變量的顏色表示:a)顏色空間變量(例如:RGB、YUV、YCbCr、等等)和色度二次抽樣變量(例如:4:4:4、4:2:0、等等)。例如，VDR信號可以具有RGB4:4:4顏色格式，而SDR信號可以具有YCbCr4:2:0顏色格式。這里呈現(xiàn)與在VDR分層編碼中用于有效的顏色格式處理的方法和架構(gòu)相關(guān)的實(shí)施例。
[0016]在示例實(shí)施例中，在編碼器中，SDR到VDR預(yù)測器和殘差非線性均衡器以SDR顏色格式操作。這允許解碼器需要少得多的有關(guān)顏色格式的計(jì)算，而在視頻質(zhì)量方面沒有降低。
[0017]在本節(jié)中描述的方法是可以采取的方法，但不一定是先前已經(jīng)構(gòu)思或采取的方法。因此，除非另有指明，不應(yīng)當(dāng)假定本節(jié)中描述的任何方法僅僅憑借其在本節(jié)中的包括就獲得先有技術(shù)的承認(rèn)。類似地，除非另有陳述，關(guān)于一個(gè)或多個(gè)方法確定的問題不應(yīng)該基于本節(jié)就假定已經(jīng)獲得在任何先有技術(shù)中的承認(rèn)。
【專利附圖】

【附圖說明】
[0018]本發(fā)明的實(shí)施例以示例的方式而不是通過限制的方式示出在附圖的圖中，并且其中類似的參考數(shù)字涉及類似的元件并且其中:
[0019]圖1描述根據(jù)本發(fā)明的實(shí)施例的用于VDR-SDR系統(tǒng)的示例數(shù)據(jù)流；
[0020]圖2描述根據(jù)本發(fā)明的示例分層VDR編碼系統(tǒng)；
[0021]圖3描述根據(jù)本發(fā)明的實(shí)施例的示例分層VDR解碼系統(tǒng)；
[0022]圖4A描述在分層VDR編碼系統(tǒng)中的顏色格式處理的示例；
[0023]圖4B描述在分層VDR解碼系統(tǒng)中的顏色格式處理的示例；
[0024]圖5A描述根據(jù)本發(fā)明的一個(gè)實(shí)施例的在分層VDR編碼系統(tǒng)中的顏色格式處理的示例；
[0025]圖5B描述根據(jù)本發(fā)明的一個(gè)實(shí)施例的在分層VDR解碼系統(tǒng)中的顏色格式處理的示例。
【具體實(shí)施方式】
[0026]假定一對對應(yīng)的VDR和SDR圖像，諸如表示相同場景的圖像，每個(gè)在不同級別的動(dòng)態(tài)范圍中，實(shí)現(xiàn)在分層VDR編碼中的殘差信號的改善的編碼。通過組合基本層(例如，SDR圖像)和如增強(qiáng)層的殘差來編碼VDR圖像。在實(shí)施例中，增強(qiáng)層包括原始VDR圖像和例如從基本層預(yù)測的其版本之間的差異。在下面的說明書中，為了說明目的，闡述許多的細(xì)節(jié)以便提供對本發(fā)明的徹底的理解。但是，本領(lǐng)域技術(shù)人員顯然可知，不用這些特定的細(xì)節(jié)可以實(shí)踐本發(fā)明。在其它實(shí)例中，不詳盡地描述公知的結(jié)構(gòu)和設(shè)備，以避免不必要地阻隔、模糊、或妨礙本發(fā)明。
[0027]總覽
[0028]這里描述的示例實(shí)施例涉及具有高動(dòng)態(tài)范圍的圖像的分層編碼。實(shí)施例在SDR信號的顏色格式中應(yīng)用層預(yù)測和殘差的非線性量化，因此減少與顏色格式變換相關(guān)的計(jì)算復(fù)雜度而不損害圖像質(zhì)量或編碼效率。
[0029]示例VDR-SDR 系統(tǒng)
[0030]圖1描述根據(jù)本發(fā)明的實(shí)施例的在VDR-SDR系統(tǒng)100中的示例數(shù)據(jù)流。利用HDR照相機(jī)110捕獲HDR圖像或視頻序列。在捕獲之后，由主處理來處理捕獲的圖像或視頻以創(chuàng)建目標(biāo)VDR圖像125。主處理可以合并各種處理步驟，諸如:編輯、初級和次級顏色校正、顏色變換、和噪聲濾波。此處理的VDR輸出125表示導(dǎo)演的關(guān)于捕獲的圖像將如何被顯示在目標(biāo)VDR顯示器上的意圖。
[0031]主處理也可以輸出對應(yīng)的SDR圖像145，表示導(dǎo)演的關(guān)于捕獲的圖像將如何被顯示在傳統(tǒng)SDR顯示器上的意圖。SDR輸出145可以直接被從主電路120中提供或它可以由單獨(dú)的VDR到SDR轉(zhuǎn)換器140生成。
[0032]在示例實(shí)施例中，VDR125和SDR145信號被輸入到編碼器130中。編碼器130創(chuàng)建減少發(fā)送VDR和SDR信號所需的帶寬的編碼的比特流。此外，編碼器130操作以對信號進(jìn)行編碼，其允許對應(yīng)的解碼器150解碼并且渲染或者SDR或者VDR信號分量。在示例實(shí)施方式中，編碼器130可以是分層編碼器，諸如由MPEG-2和H.264編碼標(biāo)準(zhǔn)定義的那些中的一個(gè)，其將它的輸出表示為基本層、可選的增強(qiáng)層、和元數(shù)據(jù)。如這里定義的，術(shù)語“元數(shù)據(jù)”涉及被發(fā)送為編碼的比特流的一部分的任何輔助信息并且輔助解碼器渲染解碼的圖像。此類元數(shù)據(jù)可以包括但是不局限于諸如如下數(shù)據(jù):顏色空間或色域信息、動(dòng)態(tài)范圍信息、色調(diào)映射信息、或其它預(yù)測算子和量化算子，諸如這里描述的那些。
[0033]在接收器上，根據(jù)目標(biāo)顯示器的能力，解碼器150使用接收的編碼的比特流和元數(shù)據(jù)來渲染或者SDR圖像或者VDR圖像。例如，SDR顯示器可以僅僅使用基本層和元數(shù)據(jù)來渲染SDR圖像。相反，VDR顯示器可以使用來自所有輸入層和元數(shù)據(jù)的信息以渲染VDR信號。
[0034]圖2描述合并此發(fā)明的方法的編碼器130的示例實(shí)施方式。在圖2中，VDR輸入205可以被表示為16位(固定點(diǎn)或浮點(diǎn))RGB4:4:4，而SDR輸入207通常是8位YCbCr(或YUV)、4:2:0、ITU Rec.709數(shù)據(jù)；但是此實(shí)施例的方法也應(yīng)用于其它VDR和SDR表示。例如，一些實(shí)施方式可以使用增強(qiáng)的SDR輸入、SDR’，其可以具有與SDR相同的顏色空間(原色和白點(diǎn))，但是可以使用高精度，所述的每像素12位，在全空間分辨率具有全部顏色分量(例如，4:4:4RGB)0 SDR輸入207應(yīng)用于壓縮系統(tǒng)240。根據(jù)應(yīng)用，壓縮系統(tǒng)240可以是或者有損耗的，諸如根據(jù)H.264或MPEG-2標(biāo)準(zhǔn)，或者無損耗的。壓縮系統(tǒng)240的輸出可以被作為基本層225發(fā)送。為了減少編碼的和解碼的信號之間的偏差，編碼器130可以遵循具有對應(yīng)的解壓縮處理230的壓縮處理240。信號235表示將由解碼器接收的SDR輸入。如由G_M.Su等在美國臨時(shí)申請US61/475, 359“Multiple color channel multiple regression predictor”中描述的，利用輸入VDR205和SDR235數(shù)據(jù)的預(yù)測器250將創(chuàng)建表示輸入VDR205的近似或估計(jì)的信號257。加法器260從原始VDR205中減去預(yù)測的VDR257以形成輸出殘差信號265。殘差265也可以由另一個(gè)有損耗的或無損耗的編碼器220進(jìn)行編碼，諸如由MPEG標(biāo)準(zhǔn)定義的那些，并且可以在輸出比特流中被復(fù)用并且被作為增強(qiáng)層發(fā)送到解碼器。
[0035]預(yù)測器250也可以提供被用在預(yù)測處理中作為元數(shù)據(jù)255的預(yù)測參數(shù)。由于預(yù)測參數(shù)可以在編碼處理期間變化，例如，以逐個(gè)幀為基礎(chǔ)上、或以逐個(gè)場景為基礎(chǔ)，因此這些元數(shù)據(jù)可以作為數(shù)據(jù)的一部分被發(fā)送到解碼器，其也包括基本層和增強(qiáng)層。
[0036]殘差265表示兩個(gè)VDR信號之間的差異，因此預(yù)期通過每個(gè)顏色分量超過8位來表示它。在許多可能的實(shí)施方式中，編碼器220可以不能支持此殘差信號的全動(dòng)態(tài)范圍。在示例實(shí)施方式中，殘差可以是16位并且殘差編碼器220可以是標(biāo)準(zhǔn)的H.264,8位編碼器。為了編碼器220適應(yīng)殘差265的動(dòng)態(tài)范圍，量化器210將殘差265從它的原始位深度表示(所述12或16位)量化到較低的位深度表示。量化器參數(shù)也可以被多路復(fù)用到元數(shù)據(jù)比特流255中。
[0037]在一個(gè)可能的實(shí)施方式中，可以由非線性的量化器預(yù)處理殘差265，諸如在由G-MSu 等的美國臨時(shí)申請 61/478，836“Non Linear VDR Residual Quantizer”中描述的一個(gè)。
[0038]圖3更詳細(xì)地描述解碼器150的示例實(shí)施方式。解碼系統(tǒng)300接收可以組合基本層337、增強(qiáng)層(或殘差)332、和元數(shù)據(jù)335的編碼的比特流，它們在解壓縮330被提取。例如，在VDR-SDR系統(tǒng)中，基本層337可以表示編碼信號的SDR表示并且元數(shù)據(jù)335可以包括有關(guān)在編碼器中使用的預(yù)測(250)和量化(210)步驟的信息。殘差332被解碼(340)、解量化(350)、并且被加到預(yù)測器390的輸出395以生成輸出的VDR信號370。如在編碼器中，可以利用不同的顏色格式表示VDR和SDR信號，諸如用于VDR信號的RGB4:4:4和用于SDR信號的 YCbCr (或 YUV) 4:2:O。
[0039]顏色格式變換
[0040]如在圖2中描述的，到編碼器130的SDR和VDR輸入信號可以具有不同的顏色格式表示。編碼器130的目標(biāo)是不僅盡可能有效地壓縮信號，而且保存圖像質(zhì)量。當(dāng)在亮度-色度顏色空間(諸如YUV或YCbCr)中表示輸入信號時(shí)，壓縮塊240和220更有效地操作?’然而，預(yù)測器250和量化器210可以在VDR或者在SDR顏色空間中操作。然而，不管選擇什么顏色格式空間，編碼器和解碼器二者將被要求執(zhí)行顏色格式變換。減少用于此類顏色格式變換的計(jì)算需求是本發(fā)明的一個(gè)目標(biāo)。
[0041]圖4A描述當(dāng)預(yù)測器250在VDR顏色格式中操作時(shí)的顏色格式變換操作。在圖4A中，在塊410中，SDR輸入407被變換以匹配VDR顏色格式。例如，如果VDR輸入405處于RGB4:4:4格式并且SDR輸入407處于YCbCr4:2:0格式，則塊410可以以如下兩個(gè)步驟將SDRYCbCr4:2:0轉(zhuǎn)換到SDR RGB4:4:4:a)利用任何眾所周知的上采樣和內(nèi)插技術(shù)來色度上采樣YCbCr4:2:0到Y(jié)CbCr4:4:4，和b)利用眾所周知的顏色變換操作來顏色變換YCbCr4:4:4 到 RGB4:4:4。
[0042]從圖4A中，預(yù)測器的輸出425和殘差435也將處于VDR顏色格式(所述的RGB4:4:4)。殘差編碼器可以是以YCbCr4:2:0格式操作的MPEG (所述的MPEG-2，MPEG-4，或H.264)編碼器。此類實(shí)施方式需要?dú)埐?35被變換以匹配殘差編碼器的顏色格式。塊440將輸入信號從VDR輸入格 式(所述的RGB4:4:4)變換到殘差編碼器的顏色格式(所述的YCbCr4:2:0 )。例如，如果殘差編碼器的顏色格式是YCbCr4:2:0，則塊440可以以如下兩個(gè)步驟將RGB4:4:4轉(zhuǎn)換到Y(jié)CbCr4:2:0中:a)利用眾所周知的顏色變換操作來顏色變換RGB4:4:4 到 YCbCr4:4:4，和 b)色度下采樣 YCbCr4:4:4 到 YCbCr4:2:0。
[0043]塊440可以被安置在量化器450之前(如描述的)或在量化器450之后(未顯示)。由于在塊440中的顏色二次采樣，將顏色格式變換塊440安置在量化器450之前也顯著地減少在量化器上的計(jì)算。
[0044]圖4B描述在與在圖4A中描述的編碼器對應(yīng)的解碼器上的顏色格式操作。因?yàn)榫幋a器預(yù)測器420以VDR顏色格式在解碼器上操作，所以預(yù)測器485也需要以VDR顏色格式操作。此配置需要兩個(gè)顏色格式變換操作:a)塊475，其將基本層從SDR顏色格式變換到VDR顏色格式，和b)塊490，其將解量化的殘差從殘差編碼器的顏色格式變換到VDR顏色格式。
[0045]從圖4A和4B中，此VDR編碼實(shí)施方式需要在編碼器中的兩個(gè)顏色格式變換和在解碼器中的兩個(gè)顏色格式變換。在圖5A和5B中描述根據(jù)我們發(fā)明的示例實(shí)施例的更有效的配置。
[0046]圖5A描述當(dāng)預(yù)測器250 (520)以SDR顏色格式操作時(shí)用于VDR編碼器的示例顏色格式變換處理。在此實(shí)施方式中，在SDR輸入上沒有顏色格式變換。作為替代，變換塊510將VDR輸入的顏色格式變換以匹配SDR輸入的顏色格式。例如，如果VDR輸入處于RGB4:4:4并且SDR輸入處于YCbCr4:2:0，則塊510將保持VDR信號的比特精度，但是將它將變換到Y(jié)CbCr4:2:0.。在此實(shí)施方式中，預(yù)測器520的輸出525和殘差輸出535 二者將以YCbCr4:2:0格式。如果殘差編碼器以SDR輸入(所述的YCbCr4:2:0)的相同的顏色格式操作，則在編碼器中不需要附加顏色格式變換。
[0047]圖5B描述在與圖5A中描述的編碼器對應(yīng)的解碼器上的顏色格式操作。編碼的殘差信號567由殘差解碼器570解碼并且然后由解量化器580解量化。由于編碼器預(yù)測器520以SDR顏色格式操作，因此預(yù)測器585也需要以SDR顏色格式操作。因此表示添加到預(yù)測器585的輸出的增強(qiáng)層567的輸出信號597也將處于SDR顏色格式。最后，在塊590中的變換操作將信號597從SDR顏色格式(所述的YCbCr4:2:0)變換到用于輸出VDR信號598的期望的顏色格式。最終輸出格式可以與輸入VDR顏色格式(所述的RGB4:4:4)相同，或是不同的，例如匹配目標(biāo)VDR顯示器的需要的一個(gè)。
[0048]在不例實(shí)施方式中，假定VDR輸入處于RGB4:4:4顏色格式并且SDR輸入處于YCbCr4:2:0格式，比較基于VDR顏色格式的編碼方法(400)與基于SDR顏色格式的編碼方法(500)之間的計(jì)算需要，我們可以得出下列計(jì)算節(jié)省:
[0049]在編碼器上:(a)由于色度二次采樣，與預(yù)測器420和加法器430相比，預(yù)測器520和加法器530對色度像素樣本的一半操作，和(b)與編碼器500A相比，編碼器400A需要附加的“匹配VDR顏色格式”塊。
[0050]在解碼器上:(a)由于色度二次采樣，與預(yù)測器485和加法器495相比，預(yù)測器585和加法器595對色度像素樣本的一半操作，和(b)與解碼器500B相比，解碼器400B需要附加的“匹配VDR顏色格式”塊。此外，在解碼器500B中，根據(jù)接收輸出VDR信號598的設(shè)備的應(yīng)用和需要，顏色格式變換塊590可以被另一個(gè)顏色變換塊消除或與其組合。
[0051]示例計(jì)算機(jī)系統(tǒng)實(shí)施方式
[0052]可以利用計(jì)算機(jī)系統(tǒng)、配置在電子線路中的系統(tǒng)和組件、諸如微控制器之類的集成電路(IC)設(shè)備、現(xiàn)場可編程門陣列(FPGA)、或另一個(gè)可配置的或可編程的邏輯設(shè)備(PLD)、離散時(shí)間或數(shù)字信號處理器(DSP)、專用IC (ASIC)、和/或包括一個(gè)或多個(gè)此類系統(tǒng)、設(shè)備或組件的裝置執(zhí)行本發(fā)明的實(shí)施例。計(jì)算機(jī)和/或IC可以執(zhí)行、控制或執(zhí)行與顏色格式變換有關(guān)的指令，諸如這里描述的那些。計(jì)算機(jī)和/或IC可以計(jì)算涉及如這里描述的顏色格式變換的各種參數(shù)或值中的任何一個(gè)?？梢栽谟布?、軟件、固件和其各種組合中執(zhí)行圖像和視頻動(dòng)態(tài)范圍擴(kuò)展實(shí)施例。
[0053]本發(fā)明的某些實(shí)施方式包括運(yùn)行使得處理器執(zhí)行本發(fā)明的方法的軟件指令的計(jì)算機(jī)處理器。例如，顯示器中的一個(gè)或多個(gè)處理器、編碼器、機(jī)頂盒、代碼轉(zhuǎn)換器等可以通過執(zhí)行處理器能訪問的程序存儲(chǔ)器中的軟件指令來執(zhí)行如上所述的顏色格式變換方法。本發(fā)明還可以按照程序產(chǎn)品的形式提供。程序產(chǎn)品可以包括攜帶計(jì)算機(jī)可讀信號的集合的任何介質(zhì)，該計(jì)算機(jī)可讀信號包括在由數(shù)據(jù)處理器運(yùn)行時(shí)使得數(shù)據(jù)處理器執(zhí)行本發(fā)明的方法的指令。根據(jù)本發(fā)明的程序產(chǎn)品可以是多種形式中的任何一個(gè)。程序產(chǎn)品可以包括例如物理介質(zhì)，諸如包括軟盤、硬盤驅(qū)動(dòng)器的磁數(shù)據(jù)存儲(chǔ)媒體、包括CD ROM、DVD的光數(shù)據(jù)存儲(chǔ)介質(zhì)、包括ROM、閃速RAM的電子數(shù)據(jù)存儲(chǔ)介質(zhì)，等等。程序產(chǎn)品上的計(jì)算機(jī)可讀信號可以可選地被壓縮或加密。
[0054]當(dāng)上面提及組件(例如，軟件模塊、處理器、部件、設(shè)備、電路等等)時(shí)，除非另有說明，對該組件的提及(包括對“裝置”的提及)應(yīng)當(dāng)被理解為包括執(zhí)行所述組件的功能(例如，功能上等效)的任何組件作為該組件的等價(jià)物、包括在結(jié)構(gòu)上不等效于公開的結(jié)構(gòu)但是執(zhí)行本發(fā)明的示出的示例實(shí)施例中的功能的組件。[0055]相等物、擴(kuò)展、可替換和其他
[0056]因此描述涉及在編碼和解碼VDR和SDR圖像中應(yīng)用顏色格式變換的示例實(shí)施例。在上述說明書中，已經(jīng)參考可以逐個(gè)實(shí)施方式變化的許多細(xì)節(jié)描述本發(fā)明的實(shí)施例。因此，本發(fā)明的、并且本發(fā)明 申請人:預(yù)期的唯一和排外的指示是從本申請發(fā)布的權(quán)利要求組，其以此類權(quán)利要求發(fā)布的特定形式，包括任何隨后修正。這里明確地闡述的用于包含在此類權(quán)利要求書中的術(shù)語的任何定義將支配如用在權(quán)利要求書中的此類術(shù)語的意義。因此，在權(quán)利要求書中沒有明確敘述的局限性、元件、性質(zhì)、特征、優(yōu)點(diǎn)或?qū)傩圆粦?yīng)該以任何方式限定此類權(quán)利要求書的范圍。因此，說明書和附圖應(yīng)當(dāng)被認(rèn)為是說明性的，而不是限制的意義上的。
【權(quán)利要求】
1.一種在編碼視覺動(dòng)態(tài)范圍(VDR)的信號中的方法，包括: 接收具有第一動(dòng)態(tài)范圍和第一顏色格式的第一信號； 接收具有第二動(dòng)態(tài)范圍和第二顏色格式的第二信號，其中第二動(dòng)態(tài)范圍小于第一動(dòng)態(tài)范圍并且第二顏色格式不同于第一顏色格式； 生成第三信號，其中第一信號被變換以匹配第二信號的顏色格式； 利用基本層和增強(qiáng)層編碼第一信號，其中基本層包括第二信號的編碼的表示并且增強(qiáng)層包括第三信號和預(yù)測的信號之間的殘差的編碼的表示。
2.如權(quán)利要求1所述的方法，其中第一信號包括VDR信號并且第二信號包括標(biāo)準(zhǔn)動(dòng)態(tài)范圍(SDR)信號。
3.如權(quán)利要求2所述的方法，其中VDR信號包括RGB4:4:4顏色格式并且SDR信號包括YUV或YCbCr4:2:0顏色格式。
4.如權(quán)利要求1所述的方法，還包括: 解碼基本層； 解碼增強(qiáng)層； 生成具有第一動(dòng)態(tài)范圍的中間輸出，其中組合基本層和增強(qiáng)層，其中基本層和增強(qiáng)層為第二顏色格式并且在不執(zhí)行任何中間色格式變換的情況下被組合； 生成第一信號的解碼的版本，其中中間輸出被從第二顏色格式變換到最終輸出格式，其中最終輸出格式不同于第二顏色格式。
5.如權(quán)利要求4所述的方法，其中最終輸出格式和第一顏色格式匹配。
6.一種裝置，包括處理器并且被配置為執(zhí)行如權(quán)利要求1-5所述的方法中的任何一個(gè)。
7.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，在其上存儲(chǔ)有用于執(zhí)行根據(jù)權(quán)利要求1-5中的任何一個(gè)所述的方法的計(jì)算機(jī)可執(zhí)行指令。
【文檔編號】H04N19/30GK103535038SQ201280023331
【公開日】2014年1月22日 申請日期:2012年5月11日 優(yōu)先權(quán)日:2011年5月16日
【發(fā)明者】蘇冠銘, 曲晟, 李臻, 沃爾特·C·吉什 申請人:杜比實(shí)驗(yàn)室特許公司