本發(fā)明涉及這樣的方法和設備,其用于在高動態(tài)范圍場景(hdr)圖像,尤其是包括若干連續(xù)hdr圖像的視頻的輸入編碼中優(yōu)化像素的顏色,尤其是其輝度(luminance),以便當優(yōu)化的圖像在峰值視亮度(brightness)(pb_d)與參考顯示器不相等的任何實際顯示器上再現(xiàn)時,對于具有特定顯示峰值視亮度的顯示器獲得如創(chuàng)建圖像內(nèi)容的顏色分級者所希望的正確的藝術外觀,該外觀與如針對參考顯示器,例如高峰值視亮度(pb)主控(mastering)顯示器所分級的hdr圖像的參考hdr外觀相應,與所述參考顯示器相應,進行hdr圖像的分級。讀者將會理解,相應的外觀不一定意味著對于觀看者而言完全相同的外觀,因為較低峰值視亮度(或者動態(tài)范圍)的顯示器永遠不能實際地完全再現(xiàn)可在較高峰值視亮度的顯示器上再現(xiàn)的所有圖像外觀,而是相反地在至少一些對象像素的顏色中存在某種折衷,下文的技術允許分級者做出所述顏色調(diào)節(jié)。但是,編碼的預期圖像和實際再現(xiàn)的圖像將看起來足夠相似。描述了規(guī)定這樣的外觀的編碼側方法和設備以及被布置成計算和再現(xiàn)優(yōu)化的外觀的諸如例如顯示器或電視之類的接收側設備,以及傳送用于通過進行顏色變換控制優(yōu)化的信息的方法和技術。
背景技術:
近來,若干公司開始研究和公布(wo2007082562,atwo-imagemethodwitharesiduallayer;wo2005104035,asomewhatsimilarmethodinwhichonecanformaratioimageforboostingalowdynamicrange(ldr)re-gradingofanhdrscene)它們?nèi)绾慰梢跃幋a至少一張靜止圖片或者具有若干所謂的高動態(tài)范圍圖像的視頻,所述hdr圖像通過以下所述表征:它們典型地編碼或者能夠編碼至少1000尼特(nit)的至少一些對象輝度,但是也編碼例如低于0.1尼特的暗輝度,并且具有足夠的質(zhì)量以便在所謂的hdr顯示器上再現(xiàn),所述hdr顯示器具有典型地高于800nit或者甚至1000nit以及潛在地例如2000或5000或者甚至10000尼特的峰值視亮度(為顯示器白色的輝度,即最亮的可再現(xiàn)顏色)。當然,比如電影的這些圖像可以并且必須也可以在具有典型地大約100尼特的峰值視亮度的ldr顯示器上顯示,例如當觀看者想要在他的便攜式顯示器上繼續(xù)觀看電影時,并且典型地,在ldr與hdr圖像編碼中需要一些不同的對象輝度和/或顏色(例如,hrd分級中對象在范圍[0,1]上的相對輝度可能需要遠低于ldr分級圖像,因為它將用亮得多的背光顯示)。無需說,與靜止圖像編碼相比,視頻編碼也可能具有附加的要求,例如以便允許廉價的實時處理等等。
因此,典型地,內(nèi)容創(chuàng)建者制作hdr圖像版本或者外觀,其典型地為主分級(從其開始可以創(chuàng)建進一步的分級的起點,這些分級是需要在具有不同峰值視亮度能力的顯示器上再現(xiàn)時的相同場景的外觀,并且這典型地通過給予直接來自照相機的圖像中的不同對象良好的藝術顏色以便傳達例如某種情緒而完成)。即,“分級”表示圖像由人類顏色分級者這樣定制,使得對象的顏色對于給定的預期再現(xiàn)情景對于分級者而言看起來是藝術上正確的(例如,他可以制作暗的地下室,其中陰影中的對象幾乎不可見,然而在天花板上也存在明亮地照耀的單個燈,并且那些不同的再現(xiàn)的輝度可能需要巧妙地協(xié)調(diào)以便給予觀看者最優(yōu)的體驗),并且在下文中,我們教導給定我們的hdr編碼限制,允許實現(xiàn)得到也稱為分級的分級圖像的分級過程的技術部件。然后,分級者典型地也制作傳統(tǒng)的ldr圖像(也稱為標準sdr圖像),其可以用來服務傳統(tǒng)ldr顯示器,其可能在未來的長時間內(nèi)仍然處于本領域中。這些可替換地可以作為例如像互聯(lián)網(wǎng)那樣的視頻通信網(wǎng)絡或者dvb-t信道上的單獨的圖像通信而傳輸?;蛘撸瑆o2007082562和wo2005104035教導了可縮放編碼方法,其中hdr圖像在接收側可從ldr圖像、其上的某種色調(diào)映射以及殘余hdr圖像重構以便充分地接近hdr原始圖像。這樣的可縮放編碼然后可以共存在像例如固態(tài)記憶棒那樣的存儲器產(chǎn)品上,并且接收側設備,例如電視或機頂盒(stb)于是可以確定哪一個是用于其連接的電視的最合適的版本。
即,人們在存儲器的一個扇區(qū)中存儲基本的ldr圖像,并且在另一個扇區(qū)中存儲hdr圖像,或者可以根據(jù)其從相同時刻的相應ldr圖像開始計算hdr圖像的諸如輝度增強圖像之類的校正圖像。例如,對于至多700尼特的電視,進行要在該電視上再現(xiàn)的最終圖像的計算的無論什么單元都可以使用ldr分級圖像,并且在700尼特以上,它可以使用hdr圖像(例如通過輪詢連接了何種pb的何種顯示器或者在顯示器本身進行最佳的圖像選擇的情況下知道這點)。
雖然這允許對于兩個特定的再現(xiàn)情景,例如5000尼特電視和ldr電視(其標準具有100尼特pb),形成hdr場景的兩個藝術上理想的參考分級,但是很少進行和公布關于可以如何處理峰值視亮度介于與可以在圖像數(shù)據(jù)接收側取回或確定的兩幅藝術分級圖像相應的峰值視亮度之間的居間電視的研究(當輸入最大代碼時,例如對于10比特輸入1023,例如對于5000尼特分級外觀,5000尼特,編碼的相應峰值視亮度被限定為參考顯示器上的要再現(xiàn)輝度),其無疑很快也將部署在市場上,例如1800尼特電視。申請人已經(jīng)做過實驗,其表明對于任何中間的或者超范圍的顯示器,要具有真正良好的、令人信服的藝術外觀(例如獲得低于典型地可以為100尼特的最低分級的50尼特外觀),hdr或者ldr圖像對于該中間峰值視亮度顯示器(我們將在下文中稱其為中間動態(tài)范圍(mdr)顯示器)都不是真正良好的。再者,可能消費者具有存在于在他的起居室中的實際電視或其他顯示器,其比作為用于接收的hdr圖像分級的最優(yōu)預期顯示器的參考顯示器的峰值視亮度更亮,即例如10000尼特對5000尼特,那么可能希望的是也具有用于這些較高視亮度顯示器的改進的分級,盡管內(nèi)容創(chuàng)建者認為只需要對于高達5000尼特pb的顯示器規(guī)定其在hdr場景上的外觀。例如,申請人發(fā)現(xiàn),在關鍵的場景中,例如黑暗中的人臉在使用hdr圖像時由于對于較低峰值視亮度顯示器再現(xiàn)而言該hdr圖像的對比度不適當?shù)馗叩脑蚨赡茏兊锰?,然而ldr圖像在許多地方太亮,劇烈地改變例如夜間場景的情緒。圖14示出了我們想要能夠?qū)崿F(xiàn)的典型hdr場景圖像處理的一個實例。1401示出了原始場景,或者至少其如何在主hdr分級中被逼近(因為人們典型地不會將太陽編碼為以其原始10億尼特視亮度在顯示器上再現(xiàn),而是相反地編碼為例如5000尼特像素)。我們看到這樣的場景,其具有一些相對較暗,但是典型地不是真暗,例如介于1和200尼特之間的室內(nèi)對象,以及一些通過窗口,比如房屋,看到的晴天室外對象,其在真實生活中可以具有數(shù)千尼特的輝度,但是其對于夜間室內(nèi)電視觀看而言在例如1000尼特附近更佳地再現(xiàn)。在我們將稱為hdr分級的第一分級中,所述分級僅僅在該實例中具有與例如5000尼特的hdr峰值視亮度pb_h相應的第一圖像的峰值視亮度pb_im1,我們將發(fā)現(xiàn)在相對輝度軸上將室內(nèi)對象放置得相對較低(使得在絕對輝度軸上,它們將以大約30尼特的輝度再現(xiàn))是有用的,并且取決于分級者對于例如電影或者廣播等等中的該鏡頭的偏好,外部對象將在輝度范圍的中間附近或者上面的某處(在生活廣播的情況下,分級可以像在開始播出之前僅僅調(diào)整非常少的參數(shù)那樣簡單,例如使用hdr與ldr外觀之間的大致固定的映射,但是添加例如用于允許顯示調(diào)整的單個參數(shù)gpm)。哪些實際代碼與希望的輝度相應不僅取決于編碼的pb,而且取決于使用的代碼分配函數(shù)的形狀,該函數(shù)有時也稱為光電轉(zhuǎn)換或傳遞函數(shù)(oecf;oetf),并且其對于hdr編碼而言典型地具有陡峭的形狀,該形狀比ldr的伽馬1/2.2函數(shù)更陡峭(技術人員將會理解,可以以任一表示明確表達技術,因此在下文中為了簡單起見以輝度表示闡述我們的構思的地方,至少一些步驟加上必要的修改可以應用于亮度,即輝度的例如10比特編碼)。
人們需要一種相應的ldr外觀(僅僅在該實例中稱為im_grad_lxdr),對于其而言,當然,較大輝度動態(tài)范圍的所有不同對象都必須擠壓到與100尼特pb相應的較小動態(tài)范圍中。分級者將限定顏色變換策略,典型地為至少對于未來幾年保持視頻通信集成電路簡單的簡單函數(shù),其限定如何重新放置所有對象的輝度(例如,如可以看出的,人們將需要將房屋放置成靠近輝度范圍以及相應的代碼范圍的最大值,以便保持它看起來與室內(nèi)相比足夠明亮,這對于某些實施例而言可以例如用軟剪切色調(diào)映射完成)。這是在內(nèi)容創(chuàng)建側,在分級設備1402上規(guī)定的東西,并且使用設備的內(nèi)容可能需要基于其通過某個圖像通信介質(zhì)(1403)接收的分級外觀(s_im)、不同對象針對具有一定峰值視亮度的實際顯示器應當具有哪些最優(yōu)輝度的信息而確定,所述峰值視亮度不等于與典型地兩個接收的藝術分級中的任何一個(或者至少哪些圖像的數(shù)據(jù))相應的峰值視亮度。在該實例中,這可以涉及各種不同的策略。例如,暗室內(nèi)對象可以很好地在任何pb,甚至100尼特的顯示器上再現(xiàn),因此,對于無論什么預期的pb,顏色優(yōu)化都可以將它們保持在30尼特處或者附近。房屋可能需要獲得介于ldr與hdr分級之間的某個要再現(xiàn)的輝度,并且太陽可以給予任何連接的或者要連接的顯示器上的可能的最明亮的顏色(即pb)。
現(xiàn)在,我們要強調(diào),如后面將變得清楚的是,我們已經(jīng)開發(fā)了一種策略,其可以令人驚奇地將hdr場景(這是我們引入措詞場景的原因)實際地編碼為ldr圖像(+顏色變換元數(shù)據(jù)),因此,雖然為了理解簡單起見,可以利用其中im_1,要傳送至接收側的圖像為應當可重分級為ldr圖像的hdr圖像的情景闡述我們的不同構思和技術元結構,但是在im_1實際為ldr分級的情況下,相同的原理也是可用的,并且應當用于其他重要的市場情景中(所述ldr分級可以在接收側重分級為hdr圖像或者任何中間動態(tài)范圍圖像mdr或者在傳送的ldr和hdr分級的范圍之外的任何圖像)。
申請人已經(jīng)在wo2012127401中一般性地教導了基于可用分級圖像生成不同附加分級的構思,該文獻教導了所有或者至少較大類別的實際實施例所需的、顯示調(diào)整中需要的主要構思。然而,提供符合例如ic復雜度、分級者工作能力等等的實際限制的簡單編碼變型仍然是個問題,發(fā)明人在對于這樣的實際hdr圖像處理修正一些共同的基本原理之后可能做出所述變型。僅僅稍稍相關的另一個現(xiàn)有技術文件是wo2013/046095,其僅僅教導了可能存在若干不同種類的hdr編碼(即,具有不同的pb_h值,例如照相機捕獲的原始hdr場景的5000尼特或者僅僅2000尼特變型),以及要服務的具有不同顯示峰值視亮度(pb_d)值的不同輸出顯示器,但是再一次地,這僅僅教導了所需的技術框架,并沒有下文的所有細節(jié)。相應地,仍然存在如何提供一種用于允許內(nèi)容創(chuàng)建者調(diào)節(jié)藝術上優(yōu)化的分級以適應接收側的至少一個實際的現(xiàn)有顯示器的匹配的簡單技術的問題。
技術實現(xiàn)要素:
特別地,我們開發(fā)了一種基于乘法的非常有用的輝度映射技術(至少輝度映射,其中我們暫時忽略了紅色和藍色的彩色維度)。如果處理線性rgb顏色信號,那么可以以增強那些顏色的輝度的類似方式增強這些信號(通過將分量乘以單個合成乘數(shù)gt)。即,內(nèi)容創(chuàng)建者于是可以規(guī)定他想要一種輝度映射策略,該策略可以由不同的映射策略形成,例如一般的視亮度增強、細調(diào)的任意形狀的函數(shù)(cc)等等。無需說且對于我們的當前技術一定的是,只需一個這樣的函數(shù)規(guī)定,在一些實施例中,其甚至不針對輸入圖像的所有可能的輝度,并且在我們稱之為cc的情況下,它也可以是某個其他函數(shù)。
由于它不是眾所周知的,我們在圖16中闡述原理。假設我們在這里具有一個s形函數(shù)以將任何可能的輸入輝度y_in(其相應于接收的且要被處理的輸入圖像im_in的亮度代碼,例如950)變換成輸出輝度值,為了簡單起見,該輸出輝度值也將假設為0.0與1.0之間的規(guī)格化值。于是,與單位變換(即對角線)相比,也可以將該函數(shù)寫成可以導出的乘法運算。如果要將例如hdrim_in變換為自己,我們將應用單位變換。如果想要將hdr相對輝度變換為ldr相對輝度(或者簡稱輝度),那么可以應用s形函數(shù)。但是,我們可以等效地用例如右邊曲線的g因子乘以該y_in值。這樣的乘法策略使得hdr技術相對更簡單,例如級聯(lián)各種不同的所需的變換,但是作為本申請的問題,顯示調(diào)整情景,以便對于任何實際連接的顯示器達到大致與主hdr外觀相應的最優(yōu)外觀的圖像。
因此,作為一種實際的hdr(以及事實上同時為可用于在傳統(tǒng)ldr顯示器上直接顯示的ldr分級外觀)圖像編碼方法,申請人發(fā)明了一種系統(tǒng),該系統(tǒng)將hdr和ldr圖像中的僅僅一個作為原本(principal)圖像存儲(或者傳輸),該圖像實際依照經(jīng)典的壓縮技術編碼,即包含hdr場景的捕獲的對象的像素顏色紋理,即,它包含所有對象形狀的幾何組成以及其中的紋理的某種編纂(codification),并且允許任何希望的再現(xiàn)或者相應的顏色調(diào)節(jié)以便重構圖像的該幾何方面。進一步,我們的hdr場景圖像編纂包含至少一個(并且鑒于分級成本,典型地通常只有一個)其他分級,該分級典型地不編碼為第二圖像,而是編碼為(典型地有限的,因為解碼的ic需要理解和實現(xiàn)所有顏色變換)用于原本圖像的像素顏色的函數(shù)變換集合。因此,如果原本圖像(im_in)為hdr圖像(例如以5000尼特的峰值視亮度為參考),那么顏色變換函數(shù)(或者算法)將允許根據(jù)它計算ldr圖像(典型地作為100尼特的標準化的sdr)。技術人員將知道如何可以容易地以所需的少量比特編纂這樣的變換,例如具有線性第一部分以及隨后朝向(1.0,1.0)的彎曲部分的函數(shù)可以通過給出斜率(黑色斜坡)的實值或者其他參數(shù)和線性部分的停止點以及限定上部的形狀所需的無論什么參數(shù)編碼。
圖1給出了這樣的顏色變換和所述(至少一個)另外的分級的相應的基于變換的編碼的一個典型的然而僅僅非限制性的說明性的可能的實施例,熟練的讀者應當理解這不是我們可以與其一起使用我們的下文的新穎實施例的唯一系統(tǒng)。
在該實例中,假設hdr圖像被編碼為紋理圖像(并且接收為im_in),并且ldr分級可以在任何視頻接收側根據(jù)它通過將顏色變換應用到它的像素顏色而構件。然而,當例如基于原本圖像重構hdr圖像時,同樣的技術推理適用,所述原本圖像是ldr圖像,即適合于在ldr顯示器上直接再現(xiàn),即當在ldr顯示器上再現(xiàn)時,給定ldr顯示器的峰值視亮度限制,示出用于圖像中的不同對象的適當?shù)囊暳炼群蛯Ρ榷取T谠撉闆r下,顏色變換將根據(jù)ldr圖像限定hdr圖像。應當指出的是,在一些實施例中,(盡管不是必需的),處理單元的順序在編碼器和解碼器處可以顛倒,例如當編碼器減小動態(tài)范圍并且將原本圖像編碼為ldr圖像時,那么輝度(或者亮度)處理的順序可以在解碼器側根據(jù)相應的ldr原本圖像重構hdr分級時顛倒,即首先應用自定義曲線,然后是相反方向上應用的單元110的曝光調(diào)節(jié),等等。
出于解釋的目的,現(xiàn)在假設顏色變換設備201是任何接收設備(其可以是電視、計算機、移動電話、劇院數(shù)字電影服務器、安全系統(tǒng)控制室的觀察間等等)的部分,但是在任何編碼或者轉(zhuǎn)碼設備的編碼側,可以存在相同的技術部件以便檢查什么是可行的并且可以被編碼用于傳輸。圖像信號或者更典型地視頻信號s_im經(jīng)由輸入103接收,該輸入可連接至不同的圖像源,比如例如bd讀取器、天線、互聯(lián)網(wǎng)連接等等。視頻信號s_im一方面包括具有輸入顏色的像素的圖像(或者具有不同時刻的若干圖像的視頻)im_in,并且另一方面包括元數(shù)據(jù)met,該元數(shù)據(jù)可以包括不同的數(shù)據(jù),但是尤其是用于在接收側唯一地構件顏色映射函數(shù)的數(shù)據(jù),可能地還有一些描述數(shù)據(jù),這些描述數(shù)據(jù)涉及例如輸入圖像針對什么峰值視亮度分級以及允許實現(xiàn)下文的不同實施例所需的任何東西。視頻圖像的編碼典型地可以在類似mpeg的編碼策略中進行,所述編碼策略例如現(xiàn)有的mpeg-hevc,即ycbcr像素顏色的基于dct的編碼,因為我們的借助于基于顏色變換的重分級技術的動態(tài)范圍外觀編碼實質(zhì)上與注意適當?shù)馗袷交瘓D像以便存儲或傳輸?shù)膲嚎s部分中的實際使用的顏色策略無關。因此,雖然本發(fā)明的不同實施例可以在各種不同的其他輸入顏色定義,比如例如有利的yuv上起作用,但是在該實例中,第一顏色轉(zhuǎn)換器104被布置成將ycbcr表示轉(zhuǎn)換為線性rgb表示。第二顏色轉(zhuǎn)換器105可以進行從第一rgb表示到第二rgb表示的映射。這是因為顏色分級者可以進行分級,并且觀察在第一顏色空間,比如例如rec.709中在發(fā)生什么,然而圖像數(shù)據(jù)依照第二顏色空間進行編碼。例如,可以使用數(shù)字電影倡導組織的基色p3:紅色=(0.68,0.32),綠色=(0.265,0.69),藍色=(0.15,0.06),白色=(0.314,0.351)。或者,可以以近來的rec.2020顏色格式等等編碼。例如,圖像可以以rec.2020顏色空間中限定的顏色表示傳輸,但是分級者在dci-p3顏色空間中進行其顏色分級,這意味著接收器將在進行所有顏色變換之前首先轉(zhuǎn)換到p3顏色空間,例如以便根據(jù)hdr圖像獲得ldr分級或者反之亦然。由于分級者在其如上所述為例如rec.709的分級顏色空間中將其hdr圖像重分級為ldr圖像(假設所有值都規(guī)格化到[0,1]),在數(shù)學式在接收端重計算分級之前,第二顏色轉(zhuǎn)換器105變換到該rec.709顏色空間(技術人員知道,可以應用各種不同的變換策略,例如在一些情況下可以使用相對比色映射,或者可以倒置的某種飽和度壓縮策略可能已經(jīng)使用,等等)。然后,典型地,元數(shù)據(jù)應用顏色優(yōu)化策略,其在該簡單實用的實施例中假設由顏色飽和度處理器106執(zhí)行。存在分級者應用特定飽和度策略的各種不同的原因(例如以便以特定的方式對明亮顏色去飽和以使得它們適合rgb色域中的較高輝度位置,或者以便增大由于hdr-ldr映射的原因而變得較暗的顏色的彩色度,等等)。例如,分級者可以發(fā)現(xiàn)天空中的比如夜間場景的暗藍色應當稍微去飽和,并且因此他可能在進行輝度優(yōu)化變換以便獲得ldr外觀之前已經(jīng)預先增大了它們在線性hdr圖像中的飽和度(這是特別有趣的,因為我們的典型實施例進行輝度變換,其保持顏色的色品不變,即純粹影響顏色的輝度方面)。在該簡化的實例實施例中,假設飽和度是用于顏色的簡單縮放(即相同,而不論它們的色調(diào)、輝度或者初始飽和度如何),具有從傳送和接收的元數(shù)據(jù)met讀取的值s。在更簡單的實施例中,我們將僅僅著眼于顏色變換的輝度方面,留下顏色處理作為該單一預處理步驟,但是技術人員應當理解,其他飽和度策略是可能的,并且可以巧妙地與輝度處理協(xié)調(diào)。現(xiàn)在,顏色具有其用于進行純粹輝度方向的處理的正確(r,g,b)值。
如圖1所示的這樣的顏色變換實施例的一個關鍵屬性是,可以進行顏色的純粹縮放(即僅僅改變顏色屬性,其是輝度相關的,即測量顏色的顏色矢量的長度,同時保持決定顏色的色品的顏色分量的比值的任何度量,其中顏色變換的數(shù)學式當然可以例如在如圖所示的線性rgb分量上以各種不同的方式實施),所述顏色變換可以如所解釋的在三個顏色分量上類似地重新明確表達為常見的多重縮放變換(實數(shù)g例如為0.753,或者可以轉(zhuǎn)換為實數(shù)的其任何編纂,例如int(1000*g))。這至少在涉及圖像對象的輝度方面——這是動態(tài)范圍轉(zhuǎn)換中的主導關切——的地方限定了我們的hdr-ldr映射(或者類似地我們的ldr-hdr映射,或者第一動態(tài)范圍的任何第一分級圖像到顯著不同的第二動態(tài)范圍的映射,二者在其關聯(lián)的參考顯示器的其關聯(lián)的峰值視亮度,即與n比特編纂中的最大代碼相應的輝度方面不同,典型地至少4倍,即2光圈,或者至少1.5或2倍,可能地若干更多的光圈)。
在圖1的闡述的實例中,處理如下。最大值計算器107對于每個像素顏色計算rgb分量中的哪個最高,例如紅色分量為0.7(我們將稱其為rmax)。這將是顏色矢量的長度的度量,即輝度相關量的實施例。輝度映射器102對該最大分量應用一系列變換,這些變換的編纂在元數(shù)據(jù)met中接收,其最終相當于總的輝度函數(shù)變換。該變換編纂hdr圖像的規(guī)格化為1的輝度應當如何全部變化以便得到具有藝術上正確的分級ldr外觀的ldr圖像。例如,典型地,應用以下變換,編碼/內(nèi)容創(chuàng)建側的分級者通過在其分級軟件上分級并且在滿足ldr外觀時點擊保存按鈕而規(guī)定這些變換給出良好的ldr外觀。首先,增益乘法器108將最大分量(比如rmax)乘以接收的增益因子(gai),得到rmax_1,這是對于每個像素而言介于0和1之間的不同值(例如,在一些實施例中,分級者可能將hdr輝度的70%水平設置為ldr輝度的100%水平,或者某個其他的希望的分級)。應當指出的是,所述處理實際上在三個顏色分量的最大值上進行,而不是例如在顏色的輝度上進行,盡管可能傳送了輝度變換行為。然后,冪函數(shù)應用單元109計算當前結果rmax_1的gam次冪,該數(shù)gam再次從接收的元數(shù)據(jù)中讀取,得到結果rmax_2。然后,曝光調(diào)節(jié)單元110比如例如通過應用下式而應用全局曝光修改變換:
rmax_3=ln((lg-1)*rmax_2+1)/ln(lg)
其中l(wèi)g再次為接收的分級者優(yōu)化的數(shù),并且ln是底為2.71的neperian對數(shù),得到rmax_4。然后,由輝度映射器111應用自定義曲線,得到rmax_4=cc(rmax_3)。即,該曲線可以例如作為一定數(shù)量的(比如6個)特性點(輸入亮度/輸出亮度坐標配對)而傳輸,介于其間的中間點可以在接收側通過某個傳輸?shù)幕蛘哳A先約定的插值策略(例如線性插值)計算,并且然后應用該函數(shù):例如,如果rmax_3=0.7,那么該特定的傳送的函數(shù)對于該值得到rmax_4=0.78。最后,顯示變換定形器112依照使用的典型ldr顯示器的伽馬,即典型地rec.709的逆伽馬變換(對于獲得線性坐標下的輸入的顯示器而言,該最后的顯示變換定形器也可以是可選的)。技術人員應當理解這些方程如何可以通過等效的策略,例如通過形成應用到[0,1]中的max(r,g,b)的所有可能的輸入值的單個lut而相等。應當理解,可以跳過一些所述單元,例如,可以將增益gai設置為1.0,這實際上移除了它,因為它具有恒等處理結果。當然,也可以使用其他的變換函數(shù),例如僅僅應用自定義曲線,但是我們的研究發(fā)現(xiàn),該實例看起來是一種分級者高效地達到良好的ldr外觀的務實方式。對于我們下文的實施例重要的是,可以如所希望的構建任何輝度處理策略,在此描述的策略僅僅是一種實踐中非常良好的策略。
于是,最后,通過將所有這些變換的結果,即例如f(rmax),除以輸入rgb分量的最大值本身,即例如rmax,計算共同乘法因子。該因子g被計算為能夠?qū)⑤x度變換呈現(xiàn)為乘法策略。最后,為了相對地獲得希望的輸出顏色及其希望的ldr視亮度,縮放乘法器114將輸入rgb值或者在該實例中由(可選的)飽和度處理(顏色飽和度處理器106)所產(chǎn)生的值乘以所述共同乘法因子g以得到用于所有圖像對象的或者事實上這些對象中的所有圖像像素的正確的輝度調(diào)節(jié)的顏色。即,在該實例中,這得到作為線性rgb圖像的ldr分級外觀,其起始于s_im中輸入的hdr圖像,其像素顏色(r2,g2,b2)通過圖像輸出115輸出。當然,技術人員應當理解,具有用于ldr圖像的正確比色外觀,它的顏色此時仍然可以依照無論什么原理進行編碼以供進一步使用,就像圖像本身可以的那樣(例如,一個應用將通過來自計算ic的總線將信號發(fā)送至lcd閥驅(qū)動器,而另一個應用可以通過hdmi連接將圖像發(fā)送至電視以便直接地或者利用另外的特定于顯示器供應商的細調(diào)處理進行再現(xiàn),由此潛在地傳送的視頻信號包括一些另外的元數(shù)據(jù)以便引導所述細調(diào))。
現(xiàn)在,讀者應當清楚地理解我們的hdr編碼和使用技術的另外的重要原理。迄今,利用圖1,我們僅僅解釋了如何可以編碼hdr場景的不同動態(tài)范圍的兩個外觀(即所有對象視亮度相應地協(xié)調(diào)),即如何編碼由內(nèi)容創(chuàng)建者分級的兩幅原始圖像。我們?yōu)槭裁茨菢幼?。如果僅僅存在一個(100尼特)ldr顯示器,特別是在不同內(nèi)容觀看者的處所全世界只有一種(例如5000尼特)hdr顯示器在那里,那么一切將會是簡單的。ldr顯示器于是將顯示ldr分級,并且hdr顯示器,無論它是什么,都將顯示“hdr分級”。這對于適度地偏離其接收以用于再現(xiàn)的圖像的峰值視亮度的顯示峰值視亮度很好地起作用,但是對于大的偏離很可能不會給出良好的結果。特別地,什么圖像將需要1000尼特顯示器、100尼特顯示器或者5000尼特顯示器顯示?,F(xiàn)在,可以利用與圖1中完全相同的技術很好地對至少還有一幅圖像分級,例如確定用于實際地計算用于大約1000尼特的pb_d的顯示器的最佳外觀的分級的顏色變換函數(shù)。至少對于一些關鍵的hdr場景,可能在大約500尼特或者2500尼特處,外觀仍然是不合適的(例如,黑暗中的妖怪可能對于它而言變得太暗而不能仍然見到,或者相反,它可能變得不切實際地明亮,或者灰霧中的另一個妖怪的對比度可能變得如此低,使得它變得不可見,等等)。在許多情景(以及尤其是實時廣播應用)中,分級者可能不在乎利用met_tr2中的第二顏色變換函數(shù)進行第三分級,他甚至可能不想花費許多時間詳細地創(chuàng)建分級的第二外觀(例如根據(jù)主hdr創(chuàng)建ldr)。因此,引入以下原理:一方面,就峰值視亮度尺度的典型設想的用途而言,人們根據(jù)觀看典型地處于極端的兩個分級非常了解hdr場景的實際語義。例如,人們看到與ldr場景相比,爆炸在hdr場景中視亮度增強,其中在充分地再現(xiàn)場景其余部分所需的那些代碼之上,不存在許多的可用代碼(或者反之亦然,人們可以看到,與其在hdr圖像中的明亮印象版本相比,爆炸在ldr中被調(diào)暗了)。這不一定告知了應當如何針對特定pb_d增強所述爆炸,例如,所述增強是否應當立即積極開始或者僅僅針對例如高于2000尼特pb的高質(zhì)量hdr顯示器,但是至少人們知道,對于中間分級(mdr)而言,需要增強爆炸火球?,F(xiàn)在,技術上需要什么取決于情形,例如hdr場景類型的復雜性以及特定用戶的批判性,平衡該應用領域的共同點,可花費的時間和成本等等。原理在于,接收側,例如機頂盒或者tvic,本身可以典型地利用來自創(chuàng)建側的一些另外的引導、利用元數(shù)據(jù)導出其他所需的分級(介于接收的兩個分級之間或者甚至在該范圍之外),所述元數(shù)據(jù)性質(zhì)上不同于用來創(chuàng)建實際的第二原始分級的顏色變換,即作為分級者規(guī)定和簽名的原始藝術材料。由于用于該所謂的顯示調(diào)整階段的物理和技術要求也將不同。應當指出的是,雖然我們將描述其中創(chuàng)建者實際地傳送依照其特定愿望對于當前hdr場景最優(yōu)的參數(shù)的版本,我們也教導了相同的原理可以僅僅應用在接收側,例如其中接收設備進行圖像分析以得到適當?shù)睦鏶pr或gpm顯示調(diào)整參數(shù)值。對于一些場景而言,不同圖像對象的最終再現(xiàn)的灰度如何不是那么關鍵,例如,房間中的光在真實生活中可能也只是稍微更亮,并且因此通過窗口看到的外部世界的光也可以相對較亮或者較昏暗。在這樣的情況下,所述設備或者分級者可以利用非常簡單的技術工具決定將外觀調(diào)整為至少對于輝度范圍的某個部分而言,與利用參考算法出現(xiàn)的結果相比,其只是稍微更亮(例如在某個范圍上3個單位的步階)。對于一些更關鍵的場景而言,例如自動地改進圖像或者給予用戶更巧妙的影響外觀的用戶接口控件的顯示器制造商或者分級者可能希望更精確地控制hdr場景的不同部分(特別是不同的視亮度范圍,但是在一些情景中,可能例如存在允許標識特定對象的信息,在這種情況下,可以執(zhí)行依賴于對象的顯示調(diào)整),對于可能的顯示峰值視亮度的范圍的不同子范圍,一切當然都符合對于這些種類的技術的典型硬件約束。
對于限定至少兩幅分級圖像的比色外觀的這樣的共同縮放(乘法)處理,下面闡述的發(fā)明解決了以下問題:用于要與用于再現(xiàn)的優(yōu)化圖像連接并且一起提供的實際顯示器的中間分級(中間動態(tài)范圍mdr(半)自動重分級的外觀)可以在接收側通過顏色變換設備(201)計算,以便從具有與第一圖像峰值視亮度(pb_im1)相應的最大亮度的輸入圖像(im_in)的像素的輸入顏色(r,g,b)開始,計算用于具有顯示峰值視亮度(pb_d)的顯示器的輸出圖像(im_mdr)的像素的合成顏色(r2,g2,b2),所述第一圖像峰值視亮度不同于顯示峰值視亮度,特征在于,所述顏色變換設備包括:
-顏色變換確定單元(102),被布置成根據(jù)經(jīng)由元數(shù)據(jù)輸入(116)接收的包括用于至少一定范圍的像素輝度的至少一個色調(diào)映射函數(shù)(cc)的顏色處理規(guī)定數(shù)據(jù)(met_1)確定顏色變換(tmf;g),所述顏色變換規(guī)定具有與其最大亮度代碼相應的第二圖像峰值視亮度(pb_im2)的圖像(im_grad_lxdr)的至少一些像素顏色的計算,所述第二圖像峰值視亮度不同于顯示峰值視亮度(pb_d)和第一圖像峰值視亮度(pb_im1),并且由此第一圖像峰值視亮度除以第二圖像峰值視亮度大于2或者小于1/2;
-縮放因子確定單元(200),被布置成通過包括以下單元而確定合成共同乘法因子(gt):
-能力指標(metric)確定單元(1303),被布置成確定用于定位顯示峰值視亮度在第一圖像峰值視亮度(pb_im1)與第二圖像峰值視亮度(pb_im2)之間以及在該范圍之外的位置的指標;以及
-合成乘數(shù)確定單元(1310),被布置成根據(jù)顯示峰值視亮度(pb_d)、所述指標和顏色變換確定合成共同乘法因子(gt),并且其中所述顏色變換設備(201)進一步包括:
-縮放乘法器(114),被布置成將輸入顏色的線性rgb顏色表示乘以合成共同乘法因子(gt)。
計算輸出圖像的合成顏色所需的合成共同乘法因子(gt)的計算的一個示例性實施例包括首先計算比值(gp):首先顯示器,尤其是要在其上再現(xiàn)圖像的連接的顯示器的峰值視亮度(pb_d)和與輸入圖像相應的參考峰值視亮度(pb_im1,例如pb_h)的比值的對數(shù),除以參考峰值視亮度(pb_h)和與輝度動態(tài)范圍至少按倍數(shù)1.5不同于輸入圖像的輝度動態(tài)范圍的圖像(im_ldr)相應的峰值視亮度(pb_im2,例如為ldr分級的pb_l)的比值的對數(shù),所述輸入圖像典型地為hdr場景的第二接收的分級。之后,顏色變換設備將合成共同乘法因子(gt)計算為初始共同乘法因子g(其根據(jù)用來在典型地可以為hdr和ldr外觀圖像的第一和第二分級之間轉(zhuǎn)換的所有部分顏色變換的總體確定)的所述比值(gp)次冪。
可以存在其他這樣的指標,但是所述指標不能什么都行:它應當用來定位顯示器的中間峰值視亮度(pb_d)應當確切地或者近似地落入pb_h與pb_l之間的何處,使得mdr外觀在pb_d顯示器上再現(xiàn)時令人滿意(并且特別地,如果所述指標在范圍[pb_im1,pb_im2]之外外推外觀時給出良好的結果,那么也是有用的)。
因此,所述設備或方法首先確定兩幅編碼/接收的外觀圖像(im_in與im_grad_lxdr,其中im_grad_lxdr可以是hdr或者ldr圖像,并且另一幅圖像于是具有相當不同的動態(tài)范圍)之間的顏色變換為哪個,在各個不同的實施例中哪個顏色變換可以被實際地表示并且作為例如(規(guī)格化輸入和輸出輝度之間的)函數(shù)或者一個或一組乘法因子g傳送至進行所述計算的單元。
在許多實施例中,只是mdr輸出圖像的所有顏色都可以通過該方法計算,但是在其他實施例中,只有一些像素被重新計算。例如,所述方法可以從比如ldr圖像拷貝一些風景或者一些文本或圖形元素,并且僅僅增強與火球或者向外看到室外的窗口等等相應的那些像素。在這樣的情況下,也可能僅僅在可能的輝度等等的范圍的一部分上限定函數(shù)。
最后,無論從比如hdr圖像導出mdr圖像所需的顏色處理的計算如何,所述設備都將此轉(zhuǎn)換成用于與輸入顏色相乘的乘法值集合,所述輸入顏色典型地可以為線性rgb顏色表示(或者類似地,可以例如乘以其中u’和v’為cie1976色度坐標的lu’v’表示的l分量,但是那些細節(jié)對于理解顯示調(diào)整的不同實施例是不相關的)。
因此,所述設備首先需要能力指標確定單元(1030)確定需要哪個指標以便在pb_im1與pb_im2值之間定位pb_d值。該指標典型地是非線性的,并且在一些有利的情景中,利用所述調(diào)整參數(shù)中的一些,所述設備在內(nèi)容分級者的引導之下可以進一步影響非線性的形式。這尤其是因為甚至在非線性人類視覺的表象之下,顯示調(diào)整也不僅僅是基于顯示物理學的調(diào)適,而是因為特別是為了從(尤其是非常高的dr)hdr移到ldr,可能需要進行復雜的優(yōu)化以便將所有對象輝度擠壓在一起并且仍然得到良好的協(xié)調(diào)的外觀(在第二圖像也為hdr圖像或者至少具有足夠高的pb的mdr圖像的情況下,事情可能更容易)。然而,理想地,我們喜歡系統(tǒng)實施例合理簡單,利用幾個參數(shù)快速地得到hdr內(nèi)容的類別所需的至少大部分外觀調(diào)整控制。
能力指標確定單元(1303)可以做某件事情,其就像僅僅使用預先固定的指標(其例如在ic中硬編碼)那樣簡單,或者在其他實施例中,它可以根據(jù)它經(jīng)由預先約定的元數(shù)據(jù)字段中的接收的信號s_im從內(nèi)容創(chuàng)建者接收的指標類型指示器(cod_metr)確定所需的外觀。由于不同的hdr場景可以不同地處理,分級者可以例如傳送對于晴天室外行動的電影中的第一場景,要使用的指標為對數(shù)比值(以及可能與輸入輝度軸正交的垂直方向,參見下文),但是然后當下一個場景變成夜晚場景時,為了得到一定程度上更明亮的外觀,內(nèi)容創(chuàng)建者可以規(guī)定顯示調(diào)整應當利用基于oetf的指標(并且例如在與恒等對角線正交的方向上,或者換言之在離輸入輝度軸135度的方向上)進行?;蛘撸Q于是否應當實時地對內(nèi)容進行mdr重分級(或者例如為以后的觀看者處理并且存儲在觀看者處所的hdd上),例如stb中的顏色變換設備可以進行一些計算,看看圖像統(tǒng)計,并且考慮所述指標應當稍微改變或者pb_d應當改變,就好像預期的顯示器只是稍微更暗,導致一定程度上更明亮的圖像,或者顯示調(diào)整影響參數(shù)的任何變化,直到mdr外觀被人類或者自動圖像質(zhì)量分析算法判斷為令人滿意。接收側設備能力指標確定單元可以例如根據(jù)電影的圖像集合的統(tǒng)計分析構建它自己的指標,但是典型地它將僅僅選擇預編程選項集合中的一個選項。
合成乘數(shù)確定單元(1310)通常將如下面的實例所闡述的于是將指標置于輝度變換圖上(或者實際上在其計算中做等效的事情),確定顯示峰值視亮度落在編碼的圖像之間的何處(即,至少對于像素顏色的某個子范圍或者輸入圖像im_in的像素的某個子集,需要更多hdr還是更多l(xiāng)dr的mdr圖像),并且然后通過看看總的輝度變換函數(shù)的形狀,對于每個可能的輸入輝度確定需要哪個合成共同乘法因子gt計算用于mdr圖像中的相應像素的相應的輸出輝度或者事實上輸出顏色。
因此,代替使用初始共同乘法因子(g),其依照分級者關于他想要兩個動態(tài)范圍外觀看起來如何的藝術愿望,通過使用我們的技術顏色變換函數(shù)參數(shù)從捕獲的場景的第一動態(tài)范圍外觀(例如作為原本圖像的5000尼特hdr)變換到第二外觀,例如ldr(用于驅(qū)動100尼特傳統(tǒng)顯示器),編纂用于圖像對象的輝度映射,并且其利用圖1進行闡述,其于是根據(jù)第一參考分級的圖像僅僅得到第二藝術參考分級,計算新的合成共同乘法因子(gt),該新的合成共同乘法因子表征給出mdr圖像的重分級的適當視亮度縮放或者顯示調(diào)整的版本。例如,所述設備或方法可以從hdr原本圖像降級(這可以如上所述明確表達為利用共同因子在rgb像素顏色上的單個乘法動作)。這得到中間分級圖像(mdr),其具有用于例如1250尼特的中間峰值視亮度的可連接顯示器的適當外觀,即,捕獲的圖像中的所有hdr場景對象都以合理的視亮度(如內(nèi)容創(chuàng)建者所希望的,并且觀看起來令人愉悅,不管它們是冷陰影區(qū)、夢幻池塘、被警察訊問的罪犯的被照亮的臉等等)在該顯示器上,在任何給定的顯示器上并且潛在地將像觀看環(huán)境等等那樣的其他因素考慮在內(nèi)地再現(xiàn)。在實施例中,除了圖像對象的像素顏色的視亮度之外,像素顏色的彩色度也可以通過應用例如所需的去飽和的適當縮放的版本如所希望的優(yōu)化,以便在ldr分級中創(chuàng)建明亮的彩色對象。對于顯著不同的峰值視亮度的顯示器獲得正確分級的圖像的一個主要要求是,至少不同對象的輝度對于每個顯示器都被正確優(yōu)化。否則,觀看者可能看到例如圖像的一些部分太暗,并且可能甚至不能充分辨別。或者,一些對象可能具有錯誤的對比度,例如具有太小的對比度。但是,由于我們發(fā)現(xiàn)一種將輝度變換明確表達為與g因子相乘的方式,相同的構思也可以應用于顏色飽和度處理。當需要針對顯著不同的輝度動態(tài)范圍的顯示器在圖像之間轉(zhuǎn)換時,顏色飽和度變換也是一種有用的處理,因為例如當場景在例如100與600尼特之間的低峰值視亮度的顯示器上再現(xiàn)時,分級者可能想要針對場景的最暗部分提高彩色度。
gt的計算在接收側進行,但是它典型地也可以在創(chuàng)建側進行,以便驗證接收器將做什么。甚至在一些實施例中,創(chuàng)建者可能否決gt值的任何接收側計算,并且針對例如電影的一個或多個鏡頭直接規(guī)定它們,但是我們在闡述中將著眼于更簡單的計算實施例。
人們可以區(qū)分用于不同峰值視亮度(和/或動態(tài)范圍)的關聯(lián)顯示器的“自然”外觀或者更精確地說一族外觀以及依照某些原理進一步調(diào)整的重新調(diào)節(jié)的外觀。在接收側重新調(diào)整可能存在各種不同的原因,對于其而言,顯示器的觀看參數(shù)、環(huán)境、觀看者的適應等等最終決定外觀應當是什么,但是典型地在hdr圖像或者視頻處理鏈中,至少要在其上再現(xiàn)圖像的顯示器的峰值視亮度是最重要的。另一方面,圖像創(chuàng)建-消費鏈中的若干方可能對于最優(yōu)的外觀會是什么樣具有發(fā)言權(例如,終端消費者可能對于這件事或者需求具有特殊的看法)??梢约僭O一些系統(tǒng)——我們可以使用其闡述我們的實施例——將允許內(nèi)容創(chuàng)建者在最終將顯示內(nèi)容的無論什么接收端顯示器上最優(yōu)的“自然”外觀應當如何方面保持某種發(fā)言權,如果他希望這樣的話。我們的最簡單實施例允許這樣,因為外觀的主要部分已經(jīng)編碼到顏色變換規(guī)定中,其在與圖像關聯(lián)的第一元數(shù)據(jù)met_1中傳送(例如在相同的光盤或者包含圖像的介質(zhì)上,或者經(jīng)由相同的圖像通信連接),并且如果此時簡單地對此調(diào)節(jié)以適應接收顯示器的特定峰值視亮度,那么分級者對于成像的場景的大部分看法在最終再現(xiàn)的外觀上仍然存在并且可察覺。事實上,如果顏色變換設備只是按原樣應用所述指標,即不利用像gpr那樣的外觀變化限定參數(shù)進一步細調(diào),并且然后基于接收的顏色變換確定hdr-mdr顏色變換函數(shù)(所述tmf決定從例如hdr到ldr的映射),那么mdr僅僅通過如編碼到hdr-ldr變換函數(shù)中的分級差異確定。
然而,其他方也可以對于外觀具有發(fā)言權,并且這可以利用不同實施例的完全相同的技術部件確定,典型地作為自然外觀的重新確定。例如,設備制造商,比如電視制造商,也可以具有關于某些類型的hdr場景再現(xiàn)(或者與其相應的mdr再現(xiàn))應當看起來如何的許多知識和/或優(yōu)選的看法。例如,他可能希望使得暗地下室稍微更亮,或者可能甚至更暗,因為他想要強調(diào)他的顯示器的超出平均的暗再現(xiàn)能力?;蛘撸赡芟M绕骄闆r更飽和或者相反地不那么飽和的外觀。或者,他可能針對其他顯示器硬件特點,或者像供應商典型的顏色外觀那樣的供應商偏好等等進行顏色處理。在過去,這將在接收的圖像上在電視分析它之后完全盲進行,或者只是利用固定函數(shù)進行,所述固定函數(shù)總是給出合理的結果,例如飽和度增加,而不管創(chuàng)建者怎么考慮相同成像場景上的外觀應當如何在不同再現(xiàn)情景之間變化(因此,顏色變得過飽和,而不是漂亮的粉彩),但是利用我們的當前方法,設備制造商的進一步處理可以與藝術創(chuàng)建者如何考慮場景(如編碼到他的顏色變換中以便從如傳送的第一外觀圖像中所編碼的外觀,比如5000尼特hdr轉(zhuǎn)到第二參考外觀,比如傳統(tǒng)100尼特ldr)協(xié)調(diào)。特別地,根據(jù)hdr場景的至少還有一個動態(tài)范圍分級的該函數(shù)重新規(guī)定,設備制造商(例如電視制造商)具有多得多的相關語義信息,因為人類分級者基于場景及其圖像的巧妙特點做出選擇,基于所述特點,接收設備可以進行更巧妙的最優(yōu)重分級計算。通常,甚至存在第三方,其可以通過我們的新外觀重分級技術被提供關于圖像的最終外觀的發(fā)言權。如果觀看者認為例如當前圖像部分太暗,因為他的妻子正在他旁邊閱讀圖書,那么他可以經(jīng)由他的遙控器1122例如典型地稍微細調(diào)所述外觀(可能甚至以比如高達3光圈的變化的大步階,但是此時僅僅在輝度范圍的部分上,例如10%最暗的顏色上)。
因此,我們的顏色變換設備主要依賴于分級者將什么規(guī)定為他的顏色變換函數(shù)(在元數(shù)據(jù)met中,更精確地說,在與傳送的圖像im_in關聯(lián)的met_1中),以及哪些在ic中實現(xiàn)簡單,以及哪些可能無需來自分級者的額外分級關注。在一些實施例中,他的僅有的動作只不過是(快速地)檢查這樣的顯示調(diào)整的mdr視頻,例如具有烈日燦爛的行星的科幻電影或者具有不同光效的電視節(jié)目,在分級者選擇的中間峰值視亮度顯示器上是否看起來良好,例如,1000尼特對于5000hdr/100ldr編碼而言是良好的中間(mdr)顯示器,因為它在5000以下大約2光圈并且在ldr以上大約3光圈,并且甚至該檢查都可以免除,如果分級者完全依賴于接收端進一步調(diào)整其自然外觀的話(即,他只是規(guī)定他的顏色變換除了他的主要原本外觀,比如ldr100尼特之外僅僅對一個另外的參考外觀分級,并且然后所有另外的重分級都由電器制造商,例如運行在計算機上的顏色改進軟件等等負責)。
在他確實對于重分級優(yōu)選地應當如何在接收側發(fā)生進行某種驗證或者或多或少特別地規(guī)定的情況下,分級者于是接受他(或者自動建議)當前選擇的進一步分級優(yōu)化方法,其通過例如以下方式給出令人愉悅的mdr圖像:將顏色變換函數(shù)和原本圖像與在接收側應用調(diào)整到特定可連接顯示器所需的無論什么信息一起存儲在藍光光盤或者中間服務器以便以后提供給顧客(其在更簡單的實施例中將僅僅為用于根據(jù)原本圖像對第二圖像分級的函數(shù),即用于計算共同乘法因子(g)或者與其相應的輝度映射函數(shù)tmf的數(shù)據(jù),但是在更高級的實施例中,將是規(guī)定更精確的優(yōu)化策略的附加參數(shù))。接收側于是可以針對例如1250峰值視亮度自主地確定第三分級,并且例如在經(jīng)由互聯(lián)網(wǎng)將顏色變換設備合并到專業(yè)視頻供應服務器中時,存儲該第三分級圖像以備某個顧客或者一群或一類顧客需要它時。
顏色變換設備得到與優(yōu)化的mdr圖像一起提供的顯示器的峰值視亮度pb_d的值,例如,如果僅僅連接了單個顯示器(例如,所述設備合并到電視中),那么pb_d可以是存儲在某個ic存儲器部分的固定數(shù)。如果所述設備為例如stb,那么它可以從連接的tv輪詢pb_d。顏色變換設備然后評估該pb_d如何和與兩幅分級的hdr和ldr圖像相應的峰值視亮度有關,即對于其而言這些分級被創(chuàng)建為看起來最優(yōu)的相應參考顯示器的pb。該關系可以例如被計算為對數(shù)比值gp,或者等效地相對差異。該比值用來得到最優(yōu)的好看的中間(半)自動重分級策略。因此,本發(fā)明的原理可以應用于僅僅輝度變換路徑或者僅僅顏色飽和度處理路徑,或者通過應用相同的合適的依賴于顯示器的調(diào)節(jié)原理兩次,但是根據(jù)情形或者分級者對于任何hdr圖像或視頻的需求,具有不同的顏色變換規(guī)定而應用于二者。
有利的是,顏色變換設備(201)包括顯示數(shù)據(jù)輸入(117),該輸入被布置成從連接的顯示器接收顯示器的峰值視亮度(pb_d),使得它可以在接收側潛在地通過在觀看視頻時即時地進行計算而確定用于任何可用和/或連接的顯示器的正確分級。該實施例也可以駐留在顯示器——例如電視——本身內(nèi)部,使得該顯示器可以根據(jù)我們的hdr編碼的數(shù)據(jù)(例如存儲在存儲器中的pb_d)確定它自己的優(yōu)化分級。通過這樣的方式,我們的hdr編碼技術事實上在hdr場景上編碼了一束外觀,其可以比作例如多視圖系統(tǒng)如何可以在場景上編碼各種不同角度的視圖,但是現(xiàn)在迥然不同的是,差異發(fā)生在顏色空間。對比實施例可以駐留在例如專業(yè)視頻服務器中,所述服務器預先計算若干用于具有特定pb_d類別值附近的峰值視亮度的不同類型的顯示器的分級,以便以后提供給消費者,或者由另外的顏色分級者關于其外觀進行細調(diào),等等。
實施例可以確定顯示調(diào)整的另外的變量,例如,顏色變換設備(201)可以進一步包括被布置成確定關于輸入顏色的輝度軸的方向(dir)的方向確定單元(1304),并且使得縮放因子確定單元(200)包括被布置成根據(jù)輸入圖像(im_in)的像素的輝度通過沿著方向(dir)定位所述指標而確定用于輸出圖像(im_mdr)的像素的輝度。作為一個有用的實例,我們的技術可以在水平方向上插值,即在輝度變換圖上確定哪個輸出輝度與x軸上的輸入輝度相應。我們的進一步研究表明,旋轉(zhuǎn)用于確定與pb_d相應的中間mdr應當位于何處以及它應當如何進行顏色處理的插值方向可能是有用的,因為不同的輝度變換具有不同的定義和行為,并且這樣的不同調(diào)整可以在輝度的至少某個子范圍內(nèi)例如創(chuàng)建更明亮的外觀(例如,一些函數(shù)可以利用具有不同的輝度變換行為的分段之間的節(jié)點限定,例如,具有固定輸入輝度位置的暗灰色的拉伸,并且然后方向插值可以對此改變)。特別地,已經(jīng)發(fā)現(xiàn)離輸入輝度軸135度的位置是個有趣的位置,因為此時與恒等變換相比正交地調(diào)整,并且例如與該對角線相比,外推于是可以最初限定為大致鏡像對稱)。我們將在下文中示出此時如何沿著該方向dir部署所述指標,并且技術人員此時應當理解如何可以據(jù)此通過幾何方法導出數(shù)學方程。
再一次地,該方向可以例如通過接收側設備例如基于其對于hdr圖像類型的分類自主地確定,或者它可以從內(nèi)容創(chuàng)建側作為方向指示器cod_dir而傳送。我們將示出一個有利的實施例,其可以通過方向插值單元1312執(zhí)行的包含輝度變換函數(shù)的圖的旋轉(zhuǎn)而進行所述計算。
共同乘數(shù)確定單元(1311)此時將轉(zhuǎn)換所需的顏色變換以便在用于乘以輸入顏色的不同的所需gt因子下獲得mdr外觀。
有利的是,顏色變換設備(201)使得其縮放因子確定單元(200)進一步被布置成根據(jù)第二顏色處理規(guī)定數(shù)據(jù)(met_2)獲得調(diào)整參數(shù)(gpr;gpm),并且被布置成計算與所述指標上的不同位置相應的合成共同乘法因子(gt),該不同位置不同于用于顯示峰值視亮度(pb_d)的位置,所述不同位置基于調(diào)整參數(shù)的值。如上所述,在其沒有從例如內(nèi)容創(chuàng)建者或者另外的圖像分析和一般的特定于供應商的hdr知識接收任何東西的情況下,所述指標確定什么應當是大致合理的mdr外觀,即此時mdr外觀已經(jīng)對于許多種類的hdr場景而言大致是良好的,精確地說,因為它已經(jīng)基于接收的顏色變換函數(shù)(例如自定義曲線cc)而最優(yōu)地確定,所述顏色變換函數(shù)決定hdr場景的不同分級至少從第一pb范圍端點(例如pb_h)到第二(pb_im2為例如此時pb_l)應當如何變化。然而,對于一些圖像,或者甚至某種與像暗地下室那樣的區(qū)域或?qū)ο笙鄳囊恍﹫D像的一些部分而言,可能需要對于ldr外觀的更快速、更積極的變化,并且對于其他情形而言,根據(jù)pb_d與pb_im1的偏離,可能需要比“平均”(如通過僅僅使用所述指標和方向鎖確定的)更不積極的變化。這應當由分級者以盡可能容易的方式規(guī)定。在我們的技術的最簡單的實施例中,分級者可以使用一個單一參數(shù)(gpr)指示與接收側設備通過將pb_d置于指標上而進行“盲”計算相比,與mdr計算點相應的要使用的m_pb_u點應當在多大程度上更靠近例如pb_h地位于所述指標上。
例如,在一些實施例中,縮放因子確定單元(200)被布置成通過應用單調(diào)函數(shù)確定不同的位置,所述函數(shù)根據(jù)位于最小值——例如用于外推的負mn_gpr或者0——與最大值(mx_gpr)之間的至少一個輸入?yún)?shù)(gpr)并且當然也根據(jù)與現(xiàn)實情形相關的某個輸入值,即pb_d,給出指標上的規(guī)格化位置作為輸出(gpr可以是例如圖15的線性部分周圍彎曲的曲線的曲率的度量等等)。在直接確定指標上的位置的情況下,輸入值可以是pb_d本身,或者它可以是該pb_d的某個函數(shù),例如使用的指標。該gpr值可以通過分級者例如通過旋鈕1510設置,或者通過接收端的人工智能圖像分析計算。由于可以將獲得mdr外觀所需的變化(至少針對插值,并且當需要外推時,可以相應地對此調(diào)適)明確表達為一種顏色變換,其在理論上計算hdr分級時為恒等式,或者通常為從它本身接收的原本分級,并且范圍的另一極端,即例如100尼特ldr外觀可以通過應用傳送的輝度變換(即“完全”)獲得,可以將此看作在根本沒有——即乘以1.0,或者完全程度上——即乘以與用于根據(jù)接收的hdr圖像計算ldr外觀的接收的元數(shù)據(jù)相應的g——之間應用乘法變化。據(jù)此,無論用于不同輸入輝度的實際乘法值如何,都可以限定像圖15中所例示的連續(xù)函數(shù),其根據(jù)表征顯示情景的輸入以及表征人們希望的重分級種類的所述至少一個gpr值,在完全程度上(m_mt_norm=1)應用或者根本不應用或者介于之間應用顏色變換。
在具有其中縮放因子確定單元(200)使用基于對數(shù)的指標并且通過將g值升高到計算的校正比值而計算gt因子的顏色變換設備(201)的實施例的情況下,熟練的讀者可以理解,校正該比值可能是有利的。這可以務實地通過例如根據(jù)顏色處理規(guī)定數(shù)據(jù)(met)獲得調(diào)整參數(shù)(gpm)并且然后計算調(diào)整的冪值(gpp)而完成,所述冪值為來自pb_d與什么相應的對數(shù)指標計算的比值(gp)的調(diào)整參數(shù)(gpm)次冪,并且然后計算共同乘法因子(gtu)的另外的調(diào)整版本,其是初始共同乘法因子(g)的某次冪,該冪等于調(diào)整的冪值(gpp),所述gtu通常由縮放乘法器(114)用來與線性rgb輸入顏色相乘。應該不用說,但我們會說以便使得熟練的讀者完全清楚的是,盡管該冪值gpm看起來像伽馬值,它絕對與從顯示器或者從一般圖像亮化獲悉的伽馬無關,因為現(xiàn)在這是一個用于根據(jù)hdr場景的特點以及例如獲得合理ldr分級所需的藝術優(yōu)化類型朝著用于與某個pb_d相應的某種所需mdr圖像顏色的另外的分級外觀的所需調(diào)整的積極性的控制參數(shù)。事實僅僅在于,冪函數(shù)是一種設計像圖15中所闡述的類型的行為的務實方式,并且一些數(shù)學函數(shù)可普遍地部署這一事實只是數(shù)學上的巧合。
優(yōu)選地,也提供一種允許內(nèi)容創(chuàng)建者具有關于中間分級將看起來如何的甚至進一步的發(fā)言權的技術解決方案。一方面,我們?yōu)樵摻鉀Q方案引入這樣的約束:分級者不應當被太多的附加分級所困擾,因為分級時間是昂貴的,并且例如一些制作在后期制作之前可能已經(jīng)超出預算,并且分級者已經(jīng)花費相當多的時間創(chuàng)建主hdr分級(然而,如果幾乎沒有任何人在其實際的顯示器上看到這點,那么不完全忽略最后的再現(xiàn)問題就有道理),以及隨后與它關聯(lián)的ldr外觀(或者來自例如電影版的ldr外觀,然后是用于hdr電視觀看的相應hdr外觀或者其他工作流程替代方案)。另一方面,盡管當已經(jīng)將一定的分級復雜性置于用于不同pb_d值的所需中間分級的范圍的任一側(再次指出,本發(fā)明及其實施例并不限于該闡述性典型情景,因為所述技術也可以作用來從主5000尼特向上分級,分級至例如20000尼特,其從用于降級且適當?shù)馗淖兯鼈兊南嗤瘮?shù)開始或者利用元數(shù)據(jù)中傳輸?shù)挠糜谏壍母郊雍瘮?shù)等等)時,即當已經(jīng)具有hdr和ldr分級時,中間分級的確定可能更簡單。然而,表面上且大體上,特別是在mdr分級以及任一端的原始分級——ldr和hdr——的峰值視亮度之間存在大量光圈的情況下,中間分級的確定可能仍然相對復雜。因此,理想情況下,分級者應當徹底地或者至少足夠徹底地創(chuàng)建第三mdr分級,這可以利用我們的更高級的實施例進行。然而,我們提供了若干簡單的解決方案,他可以轉(zhuǎn)而、單獨地使用這些解決方案,或者如果需要的話,在對于用于中間分級圖像生成的全局輝度映射的例如部分進行小的附加細調(diào)(或者作為利用另外的函數(shù)從我們上面的優(yōu)化方法得到的圖像上的后期校正),或者關鍵并且不簡單地如我們的簡單實施例所正確分級所產(chǎn)生的某個對象的局部細調(diào)的情況下使用這些解決方案。
在該實施例中,分級者可以通過規(guī)定僅僅一個另外的調(diào)整參數(shù)gpm或gpr而快速地創(chuàng)建中間mdr,所述參數(shù)也在元數(shù)據(jù)met中傳送并且規(guī)定中間分級在多大程度上看起來像ldr或hdr分級,或者換言之,當經(jīng)過預期連接的顯示器的不同中間峰值視亮度時,中間mdr分級多快地從hdr外觀變化到ldr外觀或者在另一個方向上的相反情況(例如,當顯示峰值視亮度保持增加時,特定暗對象保持多亮)。
當然,除了1參數(shù)細調(diào)函數(shù)(用于在從起點,例如pb_h移除pb_d時更快或者更慢地轉(zhuǎn)到另一個分級)之外,可以限定另外的參數(shù),這些參數(shù)規(guī)定依賴于場景的或多或少積極的顯示調(diào)整應當多準確地發(fā)生,例如圖15的gptt。原則上,在我們的技術框架下,可以限定當偏離純粹的基于指標的方法時,對于不同的中間pb_d位置,外觀應當如何在hdr與ldr外觀之間移動的任意復雜的規(guī)定。
有利的是,顏色變換設備(201)的另一實施例使得縮放因子確定單元(200)進一步被布置成獲得區(qū)分輸入圖像的像素顏色的第一輝度范圍(或者相應的亮度(luma))和第二輝度范圍的至少一個輝度值(lt),并且其中該縮放因子確定單元(200)被布置成對于第一和第二輝度范圍中的至少一個計算調(diào)整的共同乘法因子(gtu),即,合成共同乘法因子gt的更特別地確定的實施例。當我們說亮度時,我們意指輝度或者任何其他像素視亮度度量(與顏色矢量的長度相關)的任何編纂,所述值可以等效地計算為彼此。例如,在一些實際的實施例中,可能有利的是使得該lt值稱為value劃界器,其中value被限定為max(r,g,b),即輸入顏色的顏色分量中最高的分量。即,當最高的顏色分量,比如紅色分量高于例如0.3時,將該顏色分類到第一范疇(regime)中,否則,分類到第二范疇中。
利用該實施例,分級者可以選擇原本圖像(以及因此經(jīng)由顏色變換,還有可導出圖像,例如ldr圖像)的輝度范圍的特定的有趣的子范圍,并且不同地對待它們。在上面的討論中,我們主要著眼于應當多快地從hdr分級移到ldr分級(或者如果原本圖像im_in為ldr圖像的話,相反的情況),以及在一些實際的實施例中這如何可以通過甚至1個單一的控制參數(shù)gpr或gpm在技術上實現(xiàn)。該調(diào)適于是典型地對于輸入圖像中的所有像素顏色這樣進行,即無論其原始視亮度如何,我們都假設它們可以類似地進行顯示調(diào)整,因為方法的差異已經(jīng)大致編碼到輝度變換的形狀中以便在分級者的原始hdr與ldr外觀之間分級。然而,在hdr場景中可能存在不同的語義部分,例如露天劇場的相對較暗區(qū)域中的彩色服裝以及通過露天劇場的入口看到的明亮外部,并且典型地可能存在涉及的映射例如相對較小的ldr輝度范圍內(nèi)的不同部分,同時仍然形成藝術上令人信服的圖像的不同優(yōu)化?;蛘?,暗區(qū)域可能在夜間場景中非常關鍵,并且分級者可能希望通過以下方式保持它們相當明亮:保持接近ldr外觀、高達像例如800尼特那樣的相對較高的峰值視亮度的輝度子范圍,同時保持上面的區(qū)域中的良好的hdr對比度,所述區(qū)域例如靠近燈桿的房屋部分或者通過屋頂?shù)牧芽p落下的陽光照射的地窖的部分,或者彩色背光商業(yè)盒等等。因此,在我們的更高級的實施例中,分級者可能想要對于場景的不同部分,尤其是不同像素輝度的圖像的部分,以不同的方式規(guī)定所述調(diào)整,特別是對于連續(xù)的pb_d步階mdr分級如何積極地移向第二圖像分級,并且因此仍然有利的是具有允許分級者進一步規(guī)定其在那個方面的希望的控制的機制。
分級者典型地對于對亮度值(lt)劃界的所述至少一個區(qū)域的任一側規(guī)定不同的gpm值,并且在沿著所述范圍規(guī)定另外的區(qū)域的情況下,規(guī)定更多的值(例如暗、中亮和亮以及超亮)。兩個區(qū)域之一可以使用默認值,例如gpm=1,這意味著使用我們的第一實施例的策略,這意味著在一些實施例中,分級者只需為具有l(wèi)t任一側的輝度的兩個區(qū)域之一規(guī)定一個特定的gpm值。但是,他也可以規(guī)定和傳輸用于兩側的專用gpm值:gpm_1和gpm_2。
顏色變換設備(201)的另一實施例使得縮放因子確定單元(200)進一步被布置成確定位于所述至少一個亮度值(lt)周圍的平滑亮度范圍,并且被布置成在其在所述至少一個亮度值(lt)的任一側確定的值之間對調(diào)整的共同乘法因子(gtu)插值。為了保證可能不是每個hdr場景和mdr計算情景所需的平滑過渡行為以及沒有用于中間分級的任何對象的不適當?shù)南袼剌x度(這特別地可能對于例如天空中的一些梯度或者照亮的球形對象是關鍵的),該實施例允許分級者規(guī)定過渡區(qū)域。他可以根據(jù)插值策略在lt任一側有多不同,即用于例如低輝度的gpm_1和用于高輝度的gpm_2有多不同(典型地用于任一個的良好的值可以位于1.5與1/1.5之間)而規(guī)定所述插值,尤其是確定插值區(qū)域的寬度作為另一參數(shù)i_w,以及它是否應當例如對稱地位于lt周圍或者非對稱地僅僅應用到lt之上的輝度(可替換地,接收設備可以通過使用關于合成曲線的細節(jié)自主地確定插值策略,所述細節(jié)例如它應當單調(diào)遞增,或者關于特定瞬間上或者特定區(qū)間上的導數(shù)的希望的約束,即,它將提出至少一個策略,直到滿足這些約束,等等)。再者,在一些實施例中,他可以通過在元數(shù)據(jù)中傳輸計算用于原本圖像中的每個可能的輝度的所需gpm值的函數(shù)而規(guī)定某個希望的插值策略,但是默認地,這將是為插值區(qū)域任一側傳輸?shù)膅pp值之間的線性插值。
現(xiàn)在,給定了可以利用本發(fā)明的原理設計的顏色變換設備的一些闡述性實施例,我們在下文中描述不同應用情景中的一些其中可以包括該基本顏色計算設備的另外的設備變型,例如消費側、內(nèi)容創(chuàng)建者一側、內(nèi)容傳輸公司地點、例如電纜頭端或者衛(wèi)星中的設備,或者通過用于對例如消費者的視頻,例如婚禮或假日視頻等等重分級的基于互聯(lián)網(wǎng)的服務。
在編碼器一側,我們的實施例可以用于創(chuàng)建高動態(tài)范圍圖像(im_src)的編碼的系統(tǒng)中,該系統(tǒng)包括:
-輸入,用于接收高動態(tài)范圍圖像(im_src);
-圖像轉(zhuǎn)換器(303),被布置成將高動態(tài)范圍圖像(im_src)轉(zhuǎn)換成高動態(tài)范圍圖像(im_src)的主分級(m_xdr);
-如上面的顏色變換設備權利要求中的任何一項所述的顏色變換設備(201),被布置成從作為主分級(m_xdr)的輸入圖像(im_in)的像素的輸入顏色開始,通過應用顏色變換(tmf;g)計算第二分級圖像(m_x2dr)的像素的合成顏色;
-該顏色變換設備被布置成獲得至少一個參數(shù)(gpm)并且使用該參數(shù)和顏色變換計算與峰值視亮度相應的第二圖像(im_mdr),該峰值視亮度不同于與主分級(m_xdr)相應的峰值視亮度以及與第二分級圖像(m_x2dr)相應的峰值視亮度;
-信號格式化單元(310),被布置成將第二分級圖像(m_x2dr)和主分級(m_xdr)一起轉(zhuǎn)換成適合于圖像存儲和/或傳輸并且包括主分級(m_xdr)的像素顏色數(shù)據(jù)、對顏色變換編碼的元數(shù)據(jù)以及所述至少一個參數(shù)(gpm)的格式化的高動態(tài)范圍圖像(sf_x2dr);以及
-圖像輸出(320),用于輸出格式化的高動態(tài)范圍圖像(sf_x2dr)。
典型地,這些部件將形成接收側的部件的鏡像,但是現(xiàn)在人類分級者(或者自動重分級人工智能系統(tǒng))具有確定接收器應當做什么以便依照分級者的愿望創(chuàng)建最完美的中間分級的另外的技術部件。
在這里,分級者典型地從原始hdr材料(im_src)開始,讓我們說直接從像red照相機那樣的hdr照相機或者甚至具有由相同場景圖像經(jīng)由分束器供應的兩個不同曝光的照相機的系統(tǒng)開始。分級者典型地想要如利用圖14的實例所解釋的對此進行主hdr分級,他想要在圖14左邊的5000尼特輝度軸上定位不同圖像對象的輝度及其相應的亮度代碼。他也想要進行與該相同主hdr圖像外觀相應的ldr分級。繼續(xù)原本圖像(im_in)的特定實例,該圖像實際地作為hdr圖像典型地經(jīng)過dct壓縮或者未經(jīng)壓縮地傳送,在該情景中,從第一分級輸出的分級圖像m_xdr將是hdr圖像,并且于是該hdr圖像將與顏色處理函數(shù)元數(shù)據(jù)一起添加至圖像信號,并且例如寫到bd或者另一個物理存儲器(321)或者任何其他圖像通信構件。在該情景中,分級者將根據(jù)主hdr分級創(chuàng)建至少一個輝度映射函數(shù)(比如例如cc)以便獲得在這種情況下為ldr圖像的m_x2dr,即對于其而言代碼將映射到100尼特的pb_l的圖像。
然而,我們也具有一種版本和相應的顯示調(diào)整實施例,我們稱之為模式2,其中hdr場景的“hdr”圖像實際地被編碼為ldr100尼特圖像。在這種情況下,來自確定原本圖像的初始分級的m_xdr可以是ldr圖像。在該模式下,分級者規(guī)定的函數(shù)(cc等)將該ldr圖像映射為hdr圖像,其典型地為希望的主hdr外觀圖像的非常接近的、近乎相等的近似。在該模式2下,存儲在圖像或視頻信號s_im中的im_in將是ldr圖像,并且輝度變換(以及飽和度變換)函數(shù)將是在接收側導出hdr圖像的升級函數(shù),并且m_x2dr也將是hdr圖像。在任何情況下,分級者典型地將在三個典型顯示器上檢查三幅圖像,即他的原始ldr和hdr外觀圖像以及mdr圖像的外觀,所述顯示器具有與這些圖像相應的適當選擇的顯示峰值視亮度。
因此,依照我們的hdr技術的格式化的高動態(tài)范圍圖像sf_x2dr事實上編碼了關于場景的hdr外觀,而不顧它是否實際上包含hdr或ldr原本圖像。
該系統(tǒng)典型地也將輸出至少一個調(diào)整參數(shù)(gpm)。
根據(jù)分級者是否想要花費更多或者更少的時間,可能涉及不同的迭代之一。對于實時傳輸而言,分級者可能例如僅僅在三個參考顯示器上觀察這些外觀(對于這些外觀而言,hdr和ldr分級此時典型地也將涉及少數(shù)操作,例如恰在生成主分級的展示開始之前基于場景的特性的單一對數(shù)狀或者s曲線變換設置,以及獲得第二相關分級,例如來自hdr主分級的ldr的第二設置)是否具有足夠合理的質(zhì)量,并且他可能偶爾粗略地調(diào)整簡單的撥號,這例如改變gpm參數(shù)。但是,當涉及離線重新主控時,分級者可能投入大量時間以達到若干分級的編碼,所述分級例如hdr與ldr之間的2個附加的mdr分級,任一側一個(超hdruhdr和子ldrsldr)等等,它們中的任一個由顯示調(diào)整實施例編碼,或者它們中的某個由原始動態(tài)范圍外觀圖像共編碼實施例通過元數(shù)據(jù)中的完整顏色變換并且在其上針對超過兩個原始傳送的分級之間的中間pb_d位置進行顯示調(diào)整而編碼。尤其是對于圖像通信鏈中間的公司——例如具有在用于不同類別的接收器的重新主控動作中進一步對現(xiàn)有的內(nèi)容銷售、傳輸、優(yōu)化等等的業(yè)務的公司——中的一些更流行的節(jié)目而言,可能存在人類分級者投入更多時間創(chuàng)建若干更高級的重分級情景以及那些不同顏色變換的數(shù)學參數(shù)的附加分級預算。
有用的還有一種根據(jù)輸入圖像(im_in)的像素的輸入顏色計算像素的合成顏色的方法,特征在于,該方法包括:
-根據(jù)經(jīng)由元數(shù)據(jù)輸入(116)接收的顏色處理規(guī)定數(shù)據(jù)(met)確定初始共同乘法因子(g),
-通過以下方式確定合成共同乘法因子(gt):首先,計算首先顯示器的峰值視亮度(pb_d)和與輸入圖像相應的參考峰值視亮度(pb_h)的比值的對數(shù)以及其次參考峰值視亮度(pb_h)和根據(jù)顏色處理規(guī)定數(shù)據(jù)(met)獲得并且與將顏色處理規(guī)定數(shù)據(jù)應用到輸入圖像的像素顏色時得到的圖像(im_ldr)相應的峰值視亮度(pb_l)的比值的對數(shù)的比值(gp),并且隨后,將合成共同乘法因子(gt)計算為初始共同乘法因子(g)的所述比值(gp)次冪,以及
-將輸入顏色的線性rgb顏色表示乘以作為合成共同乘法因子(gt)的乘法因子。
有用的還有一種如權利要求7所述的計算像素的合成顏色的方法,包括從連接的顯示器接收顯示器的峰值視亮度(pb_d)的步驟。
有用的還有一種計算像素的合成顏色的方法,包括:從顏色處理規(guī)定數(shù)據(jù)(met)獲得調(diào)整參數(shù)(gpm),計算調(diào)整的冪值(gpp),該冪值為所述比值(gp)的調(diào)整參數(shù)(gpm)次冪,確定調(diào)整的共同乘法因子(gtu),該因子是初始共同乘法因子(g)的某次冪,該冪等于調(diào)整的冪值(gpp),以及將輸入顏色的線性rgb顏色表示乘以作為調(diào)整的合成共同乘法因子(gtu)的乘法因子。
有用的還有一種計算像素的合成顏色的方法,包括:獲得區(qū)分輸入圖像的像素顏色的第一亮度范圍和第二亮度范圍的至少一個亮度值(lt),以及對于第一和第二亮度范圍中的至少一個計算調(diào)整的共同乘法因子(gtu)。另一個子范圍于是可以例如使用根據(jù)上面針對最寬的實施例提到的規(guī)定pb_d、pb_h和pb_l的輝度關系的對數(shù)比值所確定的默認gt參數(shù)。該方法或設備的一些實施例可以根據(jù)手邊的情形使用所述實施例中的任一個作為前綴或者可選擇的它們中的任一個,其典型地將與另外的表征代碼一起編碼到元數(shù)據(jù)中。
有用的還有一種計算像素的合成顏色的方法,包括:確定位于所述至少一個亮度值(lt)周圍的過渡亮度范圍,以及在其在所述至少一個亮度值(lt)的任一側確定的值之間對調(diào)整的共同乘法因子(gtu)插值。
熟練的讀者將會認識到,所有實施例都可以實現(xiàn)為許多其他的變型、方法、信號,不論其通過網(wǎng)絡連接傳輸,還是存儲在某個存儲器產(chǎn)品、計算機程序中以及各種不同的組合和修改等等中。
例如,在一些實施例中,內(nèi)容創(chuàng)建側可以控制任何接收側顯示器如何基于分級者就不同動態(tài)范圍分級應當看起來如何做的決定再現(xiàn)(中間)外觀,這通過將此作為編碼的高動態(tài)范圍圖像信號(s_im)而傳送,該圖像信號包括:
-像素顏色數(shù)據(jù),其編碼作為主分級(m_xdr)的原本圖像;
-元數(shù)據(jù)(met),其包括規(guī)定根據(jù)主分級(m_xdr)計算第二分級圖像(m_x2dr)的顏色變換的參數(shù),特征在于,編碼的高動態(tài)范圍圖像信號(s_im)進一步包括要用于從主分級(m_xdr)的像素的輸入顏色開始通過以下方式計算像素的合成顏色的調(diào)整參數(shù)(gpm):
-根據(jù)顏色變換確定初始共同乘法因子(g);
-計算首先顯示器的峰值視亮度(pb_d)和與輸入圖像相應的參考峰值視亮度(pb_h)的比值的對數(shù)以及其次參考峰值視亮度(pb_h)和根據(jù)元數(shù)據(jù)(met)獲得并且與將顏色處理規(guī)定數(shù)據(jù)應用到輸入圖像的像素顏色時得到的圖像(im_ldr)相應的峰值視亮度(pb_l)的比值的對數(shù)的比值(gp);
-計算調(diào)整的冪值(gpp),該冪值為所述比值(gp)的調(diào)整參數(shù)(gpm)次冪;
-確定調(diào)整的共同乘法因子(gtu),該因子是初始共同乘法因子(g)的某次冪,該冪等于調(diào)整的冪值(gpp);以及
-將主分級(m_xdr)的輸入顏色的線性rgb顏色表示乘以作為調(diào)整的合成共同乘法因子(gtu)的乘法因子。該信號可以包括進一步規(guī)定使得任何接收側設備能夠應用我們的實施例中的任何一個,諸如例如一個或多個輝度劃界器lt等等的元數(shù)據(jù)。
有用的還有一種用于創(chuàng)建高動態(tài)范圍圖像的編碼的系統(tǒng),包括允許人類分級者規(guī)定所述至少一個參數(shù)(gpm)的用戶接口(330)以及用于連接具有顯示峰值視亮度(pb_d)的顯示器(313)的圖像輸出(311)。
有用的還有一種用于確定要再現(xiàn)的顏色的系統(tǒng)(1130),包括顏色變換設備(201)以及用于輸入至少一個用戶規(guī)定的參數(shù)的用戶接口(1120),所述參數(shù)改變要由顏色變換設備使用的所述指標、調(diào)整參數(shù)(gpr;gpm)或者顯示峰值視亮度(pb_d)中的至少一個。
有用的還有一種從輸入圖像(im_in)的像素的線性三分量輸入顏色(r,g,b)開始,計算用于具有顯示峰值視亮度(pb_d)的顯示器的輸出圖像(im_mdr)的像素的合成顏色(r2,g2,b2)的方法,所述輸入圖像具有與不同于顯示峰值視亮度的第一圖像峰值視亮度(pb_im1)相應的最大亮度代碼,該方法包括:
-根據(jù)包括用于至少一定范圍的像素輝度的至少一個色調(diào)映射函數(shù)(cc)的顏色處理規(guī)定數(shù)據(jù)(met_1)確定顏色變換(tmf;g),所述顏色變換規(guī)定具有與其最大亮度代碼相應的第二圖像峰值視亮度(pb_im2)的圖像(im_grad_lxdr)的至少一些像素顏色的計算,所述第二圖像峰值視亮度不同于顯示峰值視亮度(pb_d)和第一圖像峰值視亮度(pb_im1),并且由此第一圖像峰值視亮度除以第二圖像峰值視亮度大于2或者小于1/2;
-通過執(zhí)行以下步驟而確定合成共同乘法因子(gt):
-確定用于定位顯示峰值視亮度在第一圖像峰值視亮度(pb_im1)與第二圖像峰值視亮度(pb_im2)之間以及在該范圍之外的位置的指標;以及
-根據(jù)顯示峰值視亮度(pb_d)、所述指標和顏色變換確定合成共同乘法因子(gt);并且
-所述方法進一步包括將線性三分量輸入顏色(r,g,b)乘以合成共同乘法因子(gt)以獲得合成顏色(r2,g2,b2)。
有用的還有一種方法,進一步包括確定關于輸入顏色(r,g,b)的輝度軸的方向(dir),并且其中所述確定合成共同乘法因子(gt)包括根據(jù)輸入圖像(im_in)的像素的輝度通過沿著方向(dir)定位所述指標而確定用于輸出圖像(im_mdr)的像素的輝度。
有用的還有一種方法,進一步包括根據(jù)第二顏色處理規(guī)定數(shù)據(jù)(met_2)獲得調(diào)整參數(shù)(gpr;gpm),以及計算與所述指標上的不同位置相應的合成共同乘法因子(gt),該不同位置不同于用于顯示峰值視亮度(pb_d)的位置,所述不同位置基于調(diào)整參數(shù)的值。
有用的還有一種方法,包括獲得區(qū)分輸入圖像的像素顏色的第一輝度范圍和第二輝度范圍的至少一個輝度值(lt,ltr1),以及對于第一和第二輝度范圍中的至少一個計算合成共同乘法因子(gt)。
為了能夠?qū)⑺璧男畔纳伤囆g上合適的外觀的創(chuàng)建側傳送至那些圖像的任何使用地點,有用的是具有高動態(tài)范圍圖像信號(s_im)的技術規(guī)定,包括:
-像素顏色數(shù)據(jù),其編碼作為高動態(tài)范圍場景的主分級(m_xdr)的原本圖像;
-元數(shù)據(jù)(met),其包括規(guī)定根據(jù)主分級(m_xdr)計算第二分級圖像(m_x2dr)的顏色變換的參數(shù);特征在于,編碼的高動態(tài)范圍圖像信號(s_im)進一步包括要用于從主分級(m_xdr)的像素的輸入顏色開始通過確定合成共同乘法因子(gt)計算像素的合成顏色的調(diào)整參數(shù)(gpm),該合成共同乘法因子基于與包括具有合成顏色的像素的圖像一起提供的顏色變換和調(diào)整參數(shù)以及用于顯示器的顯示峰值視亮度(pb_d)進行確定。
該信號可以在任何信號通信技術上行進,或者駐留在包括像素顏色數(shù)據(jù)、元數(shù)據(jù)(met)和調(diào)整參數(shù)(gpm)的任何存儲器產(chǎn)品中。
雖然一些實施例允許分級者在更大或更小程度上控制用于任何再現(xiàn)情形的任何重分級,所述情形典型地至少涉及特定顯示峰值視亮度和與傳送的圖像關聯(lián)的參考顯示器的顯示峰值視亮度不相等,但是其他實施例(不管分級者是否希望傳送任何重分級規(guī)定,即除了他的顏色變換之外的任何東西,以便將傳送的圖像重分級為一個只在參數(shù)上傳送的另外的動態(tài)范圍外觀,例如根據(jù)hdr重分級為ldr)允許接收設備本身特別是借助于包括圖像分析單元(1110)的顏色變換設備(201)實施例進一步重分級用于預期再現(xiàn)特性,例如mdr1500尼特顯示器的外觀,所述圖像分析單元被布置成分析輸入圖像(im_in)中的對象的顏色,并且據(jù)此依照允許規(guī)定最終的乘法參數(shù)g_fin的我們的實施例中的任何一個確定用于要用在合成共同乘法因子(gt)的計算中的調(diào)整參數(shù)(gpm或gpr等等)或者顯示器的峰值視亮度(pb_d)或者指標或者方向或者任何參數(shù)或者參數(shù)組合中的至少一個的值,以便獲得最終的重分級圖像的顏色(r,g,b)_radj。
特別地,也可能有用的是所述設備具有允許最終的觀看者(例如家庭中的電視觀看者)通過以下方式對外觀有影響的構件:例如通過自己重新規(guī)定gpr參數(shù),例如通過在任一方向上給予它小的偏移,例如gpr_v=gpr+k*0.1,k選自{-3,-2,….,3},或者一般地gpr+k*n,n為小步長。這允許在一定程度上改變外觀,但是與內(nèi)容分級者在對場景重分級時,即依照他在與(視頻)圖像相應的元數(shù)據(jù)中傳送的他的hdr-ldr顏色變換函數(shù),規(guī)定為與該場景相關的東西協(xié)調(diào)。
附圖說明
依照本發(fā)明的方法和設備的這些和其他方面根據(jù)以下參照附圖描述的實現(xiàn)方式和實施例將是清楚明白的,并且將參照這些實現(xiàn)方式和實施例進行闡述,讀者應當理解,所述附圖僅僅用作例示可以以其他方式實現(xiàn)的一般構思的非限制性特定示例性圖示,并且在附圖中,虛線用來指示部件是可選的,非虛線部件不一定是必需的。虛線也可以用于指示被解釋為必需的元件隱藏在對象內(nèi)部或者用于無形的東西,諸如例如對象/區(qū)域(以及它們可以如何在顯示器上顯示)的選擇。熟練的讀者應當清楚,考慮到事情的復雜性以及可以做出的各種可替換實現(xiàn),為了教導的簡潔起見,我們僅僅在一些圖像中示出了一些部件,但是那些部件經(jīng)必要修改也可以添加到其他不同的實施例。也應當清楚的是,一些圖在任意更高的抽象水平下,例如在技術框架水平下描述了實施例的方面。
在附圖中:
圖1示意性地圖示出一種用于創(chuàng)建具有與輸入主分級(其為了理解簡單起見可以是例如hdr主分級)不同的動態(tài)范圍的次級(來自創(chuàng)建者的原始外觀,規(guī)定場景在符合像特定峰值視亮度那樣的某些特定能力的參考顯示器上再現(xiàn)的情況下應當看起來如何)分級的示例性設備,申請人想要利用本申請中的附加技術部件對其改進,以便容易地允許創(chuàng)建另外的分級,即用于其他動態(tài)范圍的正確外觀;
圖2示意性地圖示出一個示例性核心計算部分,其允許根據(jù)規(guī)定兩個初始分級的信息創(chuàng)建至少一個另外的分級(我們將稱之為mdr分級),所述初始分級可以經(jīng)由某個圖像通信構件從內(nèi)容創(chuàng)建側接收或者在相同側創(chuàng)建,其中至少一個為hdr分級;
圖3示意性地圖示出這樣的一種用于計算另外的分級的計算系統(tǒng),當在用于闡述本發(fā)明的一些方面的示例性系統(tǒng)中實施時,所述系統(tǒng)允許分級者規(guī)定這樣的至少三個分級,并且對用于它們的信息編碼,允許在接收側例如通過消費電視或者計算機系統(tǒng)重構所述三個分級;
圖4示意性地圖示出使用用于創(chuàng)建(如內(nèi)容創(chuàng)建者的顏色分級者所創(chuàng)建的原始ldr與hdr分級之間的)三個示例性中間分級的簡單實施例的結果,其表示為(相對,即規(guī)格化到1.0)輝度映射曲線,用于根據(jù)用于從主分級生成第二分級的輝度映射曲線將輸入hdr分級輝度y_hdr映射為用于希望的第三mdr分級的輸出輝度y_l,所述第二分級在該實例中為用于100尼特顯示器的ldr分級;
圖5示意性地圖示出一個更高級的實施例,其允許進一步調(diào)整中間分級曲線的形狀,特別地,不管它們在沿著可能再現(xiàn)的輝度軸的輝度分布特性上更多地與hdr分級相應,還是更多地與ldr分級相應;
圖6示意性地圖示出一個甚至更復雜的實施例,其允許在至少兩個輝度子區(qū)域中更精確地規(guī)定曲線,即允許根據(jù)應當針對其計算最優(yōu)的mdr外觀圖像的對象的輝度不同地規(guī)定重分級行為;
圖7示意性地圖示出我們的實施例如何可以至少在某個輝度子范圍內(nèi)使得用于具有特定峰值視亮度的任何預期的例如可連接的顯示器的第三分級看起來更像hdr,或者更像ldr分級;
圖8示意性地圖示出實施例如何也可以從輸入分級圖像開始,找到用于中間峰值視亮度的顯示器的mdr分級的像素顏色的適當?shù)闹虚g顏色飽和度(除了像素顏色的輝度之外,可以保持色品對于所有外觀都完全相同,但是在一些實施例中,人們想要至少也調(diào)整顏色飽和度,典型地留下色調(diào)不變);
圖9示意性地圖示出將我們的實施例作為如分級者所規(guī)定的hdr與ldr之間的色調(diào)映射應用到特定外觀關系的另一個實例;
圖10示意性地圖示出用于具有中間峰值視亮度的若干顯示器的特定重分級的我們的實施例的可能的另一個實例,其組合朝著用于具有第一輝度子范圍內(nèi)的輝度的第一像素區(qū)域的ldr外觀的快進以及用于具有第二輝度子范圍內(nèi)的輝度的第二像素區(qū)域的更平滑的變化;
圖11示意性地圖示出僅僅作為當前技術的一些可能應用的一個闡述性實例的接收器的一些可能的實施例,其能夠依照我們的原理確定它們自己的希望的重分級規(guī)定(并且特別地,該圖也例示了在那些設備中的一些中,接收側用戶如何可以對于至少一個設想的再現(xiàn)情景影響至少一幅mdr圖像的外觀);
圖12示意性地圖示出快速地調(diào)整重分級外觀的粗略對比度的示例性處理;
圖13示意性地圖示出在高級別部件水平上,導出mdr圖像的典型顯示調(diào)整設備將包括什么;
圖14示出了比如電影的可能的hdr場景的一個實例,以便向讀者闡述我們的hdr技術鏈和問題處理的一些所需的基本構思;
圖15示出了如何可以例如由人類顏色分級者從內(nèi)容創(chuàng)建側,即典型地在實際觀看圖像之前一定時間,進一步影響計算的mdr圖像的外觀;
圖16通過一個實例解釋了我們在我們的框架下如何可以將所需的顏色處理看作乘法數(shù)學公式;
圖17示出了人們可能具有的例如依照hdr場景的特點以各種不同的方式創(chuàng)建重分級的或者顯示調(diào)整的mdr圖像的可能性的闡述;
圖18示出了相同的實例,但是現(xiàn)在在數(shù)學坐標系統(tǒng)下觀看,其相應于關于hdr場景的接收的hdr和ldr圖像外觀的ldr分級,并且在該實例中示出了一種可能的方向mdr輝度變換函數(shù)確定;
圖19相應地示出了這樣的特定mdr導出實施例如何可以在旋轉(zhuǎn)尺度上明確表達,并且解釋了隨后的技術后果和發(fā)明人決定的解決方案;
圖20解釋了可以如何看出可以與本發(fā)明一起使用的一個可能的指標的意義;
圖21闡述了如何可以在mdr生成過程中考慮在參數(shù)上限定的hdr-ldr或者ldr-hdr顏色處理函數(shù)的參數(shù),以及如何可以在需要時盲目地或者有引導地改變那些參數(shù),例如特定輝度劃界器點的位置,以及mdr顏色的計算此時如何遵循這樣的技術表達;
圖22示出了例如由顏色分級者規(guī)定mdr外觀生成比色行為的另一個可能性,所述顏色分級者可以將該信息傳送至任何或者若干接收地點;以及
圖23為一個曲線圖,其示出了如何可以在規(guī)格化表示之間縮放,這些表示將1.0相對輝度引用為絕對輝度的不同值(典型地為其計算重分級的顯示器的pb_d)。
具體實施方式
圖2示出了我們的新穎顏色變換設備的一個可能的實施例的示例性闡述,我們目前假設所述設備包括在某個接收側設備(例如電視或計算機等)中。除了我們在這里也公開了一個進行不同的空間局部化映射的潛在實施例選項之外,假設輝度映射部分與圖1中相同。可能存在傳送和接收的另外的元數(shù)據(jù),其允許分割單元222將第一類型像素與第二類型像素區(qū)別開來。例如,通過小側窗看到的天空的部分可以獲得與通過大的主要窗口看到的相同天空一定程度上不同的輝度映射。即,在空間位置(x,y)_1處或附近,具有顏色(y_sky,u’_sky,v’_sky),即尤其是具有擁有一定范圍內(nèi)的y_sky值,例如比閾值輝度更明亮的輝度的像素——其中x和y為藍色天空像素的空間像素坐標,y為輝度并且u’和v’為cie1976uv坐標——獲得有別于具有甚至相同的輸入(y_sky,u_sky,v_sky)顏色,但是駐留在不同的空間位置(x,y)_2的像素的到另一個y_sky_out_2的另一個變換。如果分割單元僅僅對像素分類,并且根據(jù)是否將像素分類為第一與第二標識的區(qū)域而加載不同的映射參數(shù)以便達到初始共同增益因子,處理的其余部分可以與對圖1的解釋相同(例如,可以與預先計算的lut等等一起使用兩個平行的計算路徑)。讀者應當理解,用于根據(jù)傳送的圖像(比如hdr)獲得第二原始分級圖像(例如ldr)的處理不必與用于確定顯示調(diào)整的mdr圖像的局部處理相同,這并不簡單意味著函數(shù)和參數(shù)的確切值當然可以不同,而是導致影響的高級別變換形狀的原理可能不同,但是至少如果接收到允許分割典型地語義上特殊的圖像對象中的特定像素集合的元數(shù)據(jù)中的信息,那么也可以單獨地進行適于那些區(qū)域或?qū)ο蟮娘@示調(diào)整,例如,在顯示器的pb_d已經(jīng)允許某種hdr效果再現(xiàn)的情況下,朝著hdr外觀更快地,即比可以在不同的可能中間pb_d值上更漸進地調(diào)整的場景的其余部分更快速地增強火球。再一次地,從元數(shù)據(jù)讀取不同的參數(shù)gai、cc等等,并且將其發(fā)送至用于進行顏色計算(特別是輝度改變計算)的不同單元,但是現(xiàn)在,例如第二區(qū)域得到其自己的一般形狀的輝度映射曲線cc_2,而主要區(qū)域(通過窗口看到的天空的較大部分以及例如房間內(nèi)部的所有像素)利用曲線cc進行變換。pb_h和pb_l有利地存儲為規(guī)定所述兩個分級的元數(shù)據(jù)(特別是分級的代碼確切表示的東西,或者換言之,針對其進行那些分級的參考再現(xiàn)條件),并且也從元數(shù)據(jù)讀取并且發(fā)送至縮放因子確定單元200,該單元被布置成不管pb_d值來自何處(例如,典型地,連接的顯示器經(jīng)由數(shù)據(jù)輸入117傳送其峰值視亮度),都基于pb_l和pb_h以及該pb_d計算合成共同乘法因子(gt)。
高級的實施例允許內(nèi)容創(chuàng)建者規(guī)定和傳輸決定分級優(yōu)化的另一參數(shù),即調(diào)整參數(shù)(gpm),其典型地將為實數(shù),例如1.253(或者其代碼話,例如乘以1000并且取整到最近的整數(shù),等等)。典型地,高達1.5和低至0.6的值對于從事通過改變?nèi)缦挛乃緵Q定gt值的冪而修改對數(shù)指標的實施例將是足夠的,但是一般而言,顏色分級者的軟件將具有合理的限制,超過所述限制,重分級行為就變得太極端(不要預期,對于300尼特顯示器,人們應當立即實現(xiàn)高質(zhì)量hdr圖像的外觀,即利用該外觀的規(guī)格化輝度驅(qū)動它,因為這樣的顯示器不能忠實地對此再現(xiàn),分級者會將其看作例如太暗的區(qū)域,因此無論所述限制如何,在實踐中,他都絕不會想要將所述值選擇得如此高)。
圖4給出了我們的hdr圖像顯示優(yōu)化的一個非常簡單的實施例的實例。假設需要將作為輸入的hdr圖像(即,原本圖像為1600尼特分級)的輸入輝度y_hdr映射為用于任何希望的分級的輸出輝度(在該曲線圖中稱為y_l)。例如,曲線405給出用于輝度映射以便為100尼特顯示器創(chuàng)建令人愉悅的圖像的總策略(其與圖1的執(zhí)行其輝度變換的所有單元相應,即合成輝度在鏈的開始處從輸入輝度開始;注意:具有這樣的鏈的原因在于,據(jù)研究,hdr圖像操作具有可以影響的不同的分量變換在實踐中是有用的,并且在顯示調(diào)整中,也可以在用于不同情景的任何不同的實施例中特別地利用任何這樣的特定部分重分級信息)。
在該實例中,我們看到可能的策略中的一個可能策略,其中較暗輝度被增強(相對地,在規(guī)格化尺度上?。沟迷诎?00尼特顯示器上存在那些區(qū)域的足夠的可見度,因為這些區(qū)域在hdr原本分級中被分級為超暗,因為該分級針對明亮的例如1600尼特顯示器而分級。剩余的明亮輝度于是在該實例中以線性的方式分布在仍然可用的上面的范圍(在該實例中,再現(xiàn)的輸出峰值視亮度的50%以上,可以指出,其由于人類視覺非線性性質(zhì)的原因不是那么多,但是這僅僅是個說明)上,但是,當然,分級者可以使用例如s彎曲或者軟剪切曲線以用于較高輸入輝度,以便在圖像的一些區(qū)域中創(chuàng)建例如更多的對比度等等。hdr圖像在轉(zhuǎn)換為自身(無需實際地這樣做,但是這是對沒有pb_h峰值視亮度的圖像的所有實際顏色變換的理論端點)時等效于斜率為45度的恒等變換,因此,我們在圖中將此繪制成能夠示出保持接近hdr外觀的分級。用于每個輸入輝度y_hdr的共同乘法因子可以從曲線中讀取,例如,增強b(0.2)作為g乘法器將值y_hdr=0.2映射為希望的y_ldr=0.6,其對于該輸入輝度相應于等于3的共同乘法因子g?,F(xiàn)在,如果想要獲得用于800尼特峰值視亮度監(jiān)視器(曲線402)的最優(yōu)分級,由于這在心理視覺屬性方面相對接近1600尼特監(jiān)視器(對于其而言,接收的hdr分級在該實例中將看起來最優(yōu))并且仍然可用顯示相對較高動態(tài)范圍的內(nèi)容,因而人們將計算相對接近恒等變換的800尼特重分級(mdr_800),即,在這里為b800(0.2)的合成共同乘法因子gt應當接近1,并且對于所有其他輸入輝度類似。用于400尼特(曲線403)和200尼特(曲線404)預期或連接的顯示器峰值視亮度pb_d的最優(yōu)重分級應當具有漸進地接近ldr映射(曲線405)的曲線和共同乘法因子。
我們的實施例用來導出任何中間分級的方程為:
gp=log(pb_h/pb_d;2.71)/log(pb_h/pb_l;2.71)
gt=power(g,gp)[方程1]。
熟練的讀者可以驗證,這允許計算用于任何輸入y_hdr的所需的輸出y_l,因為合成共同乘法因子可以一方面基于接收側或者圖像使用側的固定比值gp(取決于我們需要在其上再現(xiàn)的顯示器,我們此時假設其典型地將是消費者處所的單一顯示器)并且另一方面根據(jù)可從輸入y_hdr計算的初始g以及當其被接收時用于即ldr與hdr外觀上的顏色變換函數(shù)的元數(shù)據(jù)進行確定。如可以通過填充所述值進行驗證的,gp在pb_d=pb_h的情況下log(1)=0與pb_d=pb_l的情況下的1之間變化,即,在pb_d=pb_l的情況下,這將使用整個g值,并且在pb_d=pb_h的情況下通過將rgb值乘以1而執(zhí)行恒等變換。
我們想在這里停留片刻,使得讀者已經(jīng)根據(jù)該第一簡單實施例設想和理解典型地發(fā)生了什么,并且不與絕對不同的事情混淆。一方面,我們具有將像素的輸入輝度(相乘地)映射為輸出輝度的行為。該行為接收自內(nèi)容創(chuàng)建者,特別是他的顏色分級者,因為典型地任何接收器都將接收用于確定兩幅分級圖像(典型地關于相同hdr場景的hdr和ldr外觀)的所有所需的信息。因此,接收器可以知道無論什么形式的,但是尤其是保持顏色的色品恒定的同時的輸入輝度的乘法形式的這些圖像之間的變換(實際上,他典型地已經(jīng)得到這些函數(shù),因此在任何接收器中將它們用于任何另外的應用將是容易的)。另一方面,由于分級對于在沒有和與所述兩個分級關聯(lián)的pb相同的峰值視亮度的顯示器上再現(xiàn)可能至少不是完全最優(yōu)的,接收器可能附加地需要根據(jù)所有的該信息計算新的最優(yōu)mdr中間重分級。這也可能涉及在其上確定乘法因子的指標以及可以類似地變換成乘法gt值的輝度變換函數(shù)等等,但是原始分級編碼與計算顯示調(diào)整的mdr圖像的這兩個因子盡管典型地是相關的,其有時在較小程度上絕對不相同,因此,非常不同的技術設計理念可能導致非常不同的解決方案(即使在一些實施例中,一些部件具有相同的名稱,比如例如伽馬值)。可以將顯示調(diào)整看作分級配對上的某種細調(diào),盡管重分級需要多精細和容易視情況而定,但是其后的設計觀點之一是,不應當利用為相同的hdr場景實際地創(chuàng)建無數(shù)的原始分級打擾分級者(即,人們會希望內(nèi)容創(chuàng)建者存在于消費者的每一個不同的電視中以便即時地創(chuàng)建藝術上最漂亮的定制圖像,但是以盡可能自動的方式,分級者所需的附加工作盡可能少,這同樣地取決于情景和他的愿望,即,然而,在那些圖像的消費者的高度非線性的視覺系統(tǒng)和圖像處理的非常復雜的領域中,不同的實施例至少提供一些所需的控制以達到正確的外觀)。
當然,在實踐中,無需一直計算這些gp和gt值,但是典型地,由于分級可能例如每拍攝n幅圖像就改變,因而可以恰好在需要它們以用于對進來的圖像重分級之前構建lut,其例如針對連接的400尼特顯示器應用如圖4中的所需的映射函數(shù)(并且至少及時地接收元數(shù)據(jù),例如提前5幅圖像)。
在那種情況下,單元200將查找所需的合成共同乘法因子gt,即例如b800(0.75)。
在原本圖像為需要升級為例如6000尼特hdr的ldr圖像或者用于中間峰值視亮度的任何重分級圖像的情況下,在本實施例中使用稍微不同的相似方程:
gp=log(pb_d/pb_l;2.71)/log(pb_h/pb_l;2.71)
gt=power(g,gp)[方程2]。
縮放乘法器114現(xiàn)在類似于圖1中那樣執(zhí)行,但是將三rgb顏色分量乘以gt而不是g,得到希望的顏色外觀。
然而,可能分級者對于復雜的場景或者視頻圖像鏡頭想要不同的重分級策略,例如更長時間(即針對更多顯示峰值視亮度高于ldr100尼特)保持接近ldr函數(shù)形狀的策略。他需要以非常簡單的方式對此進行規(guī)定,以便使用不太多的昂貴分級時間,理想情況下,他確定例如僅僅1個單一參數(shù),即調(diào)整參數(shù)gpm。
因此,我們的縮放因子確定單元200的一個更高級的實施例應用以下方程:
gpp=power(gp,gpm)
gtu=power(g,gpp)[方程3]。
如果gpm低于1,那么較低峰值視亮度重分級在其外觀(和映射曲線)中表現(xiàn)得更像ldr,并且反之亦然,它們針對高于1的gpm表現(xiàn)得更像hdr,內(nèi)容創(chuàng)建者或者分級者選擇的gpm越高,就越是這樣。
圖5中圖示出該行為。應當再次指出的是,gmp在沿著x軸的(經(jīng)典)冪感測方向上不起作用(因為表示分級,即場景的所有對象輝度之間的關系的曲線的形狀不應當顯著地變化,然而,在心理視覺上允許小的變化,比如某個部分稍微增加,因為這些變化相應于主要的希望的輝度/對比度外觀修改,小變換的其余部分被大腦中的視覺解釋的適應所接受),但是對于y_hdr值起作用,因此,在y_l方向上可以這么說。事實上,gpm所做的是朝著ldr分級函數(shù)或者相反地朝著hdr單位映射函數(shù)拉伸或者壓縮曲線族,即確定“所需重分級外觀變化的積極性”。
在圖5中,選擇了等于1.3的gpm值,并且看到共同乘法因子(現(xiàn)在稱為調(diào)整的共同乘法因子gtu)或者輝度映射的所得到的曲線(503)變得與hdr恒等變換曲線更加相似。類似地,對于例如0.8的因子,所得到的曲線將位于曲線403之上,即更接近ldr外觀曲線405。這例如在該場景中存在重要的暗對象的情況下可能是有用的,所述對象例如臉,謹慎的做法是長時間保持它們足夠明亮,即直到指示再現(xiàn)顯示器足夠明亮,例如高于800尼特的時候。
然而,這仍然是一種全局調(diào)整(在以下意義上:所有輝度y_hdr都以僅僅由hdr-ldr輝度轉(zhuǎn)換函數(shù)的形狀和gpm參數(shù)決定的簡單相關的方式處理)。我們的策略的一個較大的影響可能來自允許對于輸入輝度(以及因此通過映射,還有輸出輝度)的不同子區(qū)域不同地調(diào)整的實施例。例如,如果我們調(diào)整曲線403,使得它對于較暗輝度變得更亮(更像ldr),那么它必然對于較亮的輝度也變得更亮(因為為了保持外觀,對于任何重分級而言,這些輝度都應當具有高于圖像的暗區(qū)域的輝度的輸出輝度),并且這可能是不適當?shù)牧痢@?,明亮外部區(qū)域可能失去太多的對比度,并且對于某些關鍵的場景,分級者可能將它們感知為令人厭煩的褪色。即,他會想要使得場景的較暗部分更明亮并且因此有反差且可見,然而同時保持上面的區(qū)域例如接近hdr外觀。
該希望的行為利用圖7以另一種方式示出。在這里,示出了ldr分級圖像中有多少對任何中間mdr分級的外觀產(chǎn)生貢獻,所述中間mdr分級相應于pb_l與pb_h之間的任何預期的顯示峰值視亮度。方程1的默認行為為曲線圖701。可以看到,我們將更大的權重給予沿著針對mdr分級中的不同中間峰值視亮度的變化路徑的任一分級。例如,曲線702示出了這樣的情形,其中mdr分級保持接近ldr分級,直到相對較亮的中間峰值視亮度pb_d,并且僅僅對于最亮的顯示器,開始顯示hdr外觀(在下文的基于使用的指標的解釋中,這將相應于標簽標記對于不同的pb_d值落下的地方,即例如高達(pb_h+pb_l)/2的那些是否全部落在一起,即接近ldr分級位置pb_l)。是否以及在什么程度上選擇這樣的曲線將取決于hdr與ldr分級之間的關系,即在這二者之間進行顏色變換的函數(shù)。分級者可能做了不同的事情,諸如例如使ldr分級中的較暗部分變亮,對較亮部分軟剪切,增大某個中間部分的對比度,對五顏六色的彩色玻璃窗進行某種特定的飽和度處理,等等,但是例如如果存在例如關鍵的暗區(qū)域,那么像702那樣的曲線可能被分級者選擇,并且它的gpm值在s_im中或者可與s_im關聯(lián)地傳輸至不同的接收器。另一方面,曲線703是甚至對于相對較暗的連接的顯示器也快速地引入hdr外觀的大部分的曲線。
在圖6的實例中,分級者指示對在該實例中等于0.43的(亮度或者)輝度值(lt)劃界的優(yōu)化范疇。在該值lt以下,他規(guī)定了第一gpm值,例如gpm_1=0.3,即對于具有輝度y_hdr<=lt的所有輸入顏色,如利用圖5解釋的利用該gpm_1值計算所得到的曲線。在lt以上,分級者想要轉(zhuǎn)到新的重分級范疇,并且在該實例中,對于較亮的顏色,他想要具有hdr外觀。他確定大于1的值,在該實例中為gpm_2=2.0,使得較亮的像素得到相當強烈的hdr外觀,其比通常必要的更強烈,但是針對這個實例。在該實例中,代替立即將gpm_2=2.0用于lt以上的y_hdr值的是,他規(guī)定一種創(chuàng)建平滑過渡區(qū)域的插值。這可以以各種不同的方式規(guī)定,在該闡述性實例中通過規(guī)定過渡范疇的上面的輝度lt2=0.72以簡單的方式規(guī)定。在0.72以上,要用于例如創(chuàng)建曲線的lut的調(diào)整的共同乘法因子gtu在該實例中將通過使用gpm_2=2.0或者gpp_r=0.25來確定。在過渡區(qū)域中,將使用一種插值策略,其例如通過以下方式實施:首先,計算該過渡的任一側的將在后面用于確定分別用于暗和亮輸入輝度的共同乘法因子gtu的冪值,并且然后通過計算例如下式對過渡區(qū)域中的那些輝度插值:
gpp_l=power(gp,gpm_1)
gpp_r=power(gp,gpm_2)
gpp_i=gpp_l+(y_hdr-lt)*(gpp_r-gpp_l)/(lt2-lt)[方程4]。
當然,可以使用其他的插值策略,如果分級者希望這樣的話。
該gpp_i值然后將用于類似于利用圖3所解釋的確定用于過渡區(qū)域中的每個輸入輝度的gtu值(即gtu=power(g,gpp_i)),同時在過渡的任一側,對應的gpp_l或gpp_r值用在關于g的冪函數(shù)中,并且利用該公式,可以根據(jù)由利用圖4所解釋的方法得到的曲線403計算像例如603那樣的合成曲線,或者在實踐中直接計算該合成曲線。與800尼特顯示器相應,更簡單的曲線402的等效物現(xiàn)在是曲線602,其事實上看起來對于較暗的像素表現(xiàn)得非常像ldr,而對于較亮的像素表現(xiàn)得很像hdr。應當清楚,對于這樣的實施例,單元200將得到gt的等效物gtu,否則,對于不同的實施例可能性,一切都可以是相似的。在該實例中,通過事實上對限定它的gpp值插值而對要用于共同乘法的gtu值插值,但是可替換的實施例也可以對gtu值插值,在過渡的任一側導致本身。典型地,編碼者將規(guī)定使用哪種方法。例如,他可以指示解碼者應當在[lt1,lt2]區(qū)間任一側計算gtu值,然后在該區(qū)間的缺失點處對該曲線線性插值,并且將此存儲為用于對當前圖像鏡頭進行輝度處理的最終lut。
利用這些實施例,分級者因此可以簡單地針對任何甚至復雜的hdr場景編碼限定用于本領域中的不同的可能顯示器的相當高級的外觀重分級策略。在簡單的情況下,他只需對一個gpm值編碼,因為例如默認情況下,對于這樣的情景,上面的值gpm_2可以被任何接收器理解為是固定的1.0?;蛘撸诓淮驍_分級者的情況下,但是可以肯定沒有較不兼容的接收器誤解分級者的意圖,在分級者僅僅例如設置較低的gpm_1值和閾值lt的情況下,那么編碼器默認填充gpm_2=1.0。在分級者對于高于lt的輝度僅僅規(guī)定gpm_2冪值的情況下,編碼器默認對于gpm_1填充1.0。典型地,編碼器也可以自動地確定它認為應當看起來良好(至少得到單調(diào)遞增的mdr分級曲線)的插值策略,,并且分級者可以通過什么都不做接受元數(shù)據(jù)中的該策略的編碼(例如作為lt值),或者改為重新規(guī)定看起來更漂亮的插值策略(如果需要的話,分級者也可以在lt任一側細調(diào)gpm值)。通常,依照我們的新原理,編纂hdr與ldr分級之間的分級差異的每個共同乘法因子g都可以用于通過限定用于每個輸入y_hdr的適當冪值gp而確定優(yōu)化的分級,所述冪值gp可以通過以任何方式編纂為元數(shù)據(jù)的任何曲線以及代替任一側的例如固定gpm或者gpp值,在lt2與lt3之間的輸入輝度子范圍上的線性或者拋物線演進等等規(guī)定,所述曲線例如具有用于當前圖像鏡頭中的有趣視亮度范疇的三個lt點的曲線,并且然后通過將gtu=power(g,gt)用于作為輸入的任何y_hdr并且將該gtu應用到當前處理的像素顏色的任何線性顏色編碼計算重分級圖像。
因此,如利用圖2所解釋的,得到不同元數(shù)據(jù)的任何接收器都可以實現(xiàn)如內(nèi)容創(chuàng)建側所規(guī)定的顯示調(diào)整的優(yōu)化的希望的實施例。總之,需要具有像素顏色的至少一幅分級圖像作為實際編碼的和傳輸?shù)膱D像并且作為起點,例如2000尼特分級(其實際地被傳輸和接收,例如典型地被mpeg壓縮,我們將稱為原本圖像)。然后,將存在確定至少一個另外的分級(例如ldr,如果原本圖像為例如hdr2000或者5000尼特的話)的函數(shù)的定義,其如分級者通過使用不同的可能的全局或局部函數(shù)定義的那樣準確(我們主要解釋了輝度處理方面,它是輝度動態(tài)范圍重分級的主要方面——即,對于具有至少包括峰值視亮度在內(nèi)的不同動態(tài)范圍能力的顯示器確定關于場景的另一個外觀——但是典型地,也可以涉及顏色變換,比如至少一些圖像對象的飽和度處理,以及潛在地甚至色調(diào)變化)。該變換可以例如經(jīng)由至少限定為自定義曲線cc的任意y_hdr至y_l映射傳送,所述自定義曲線例如限定如何將2000尼特分級變換為理論上對于500或者10000尼特峰值視亮度(參考或目標)顯示器或者其附近的值而言最優(yōu)的分級。然后,如果例如因為一定程度上不同的峰值視亮度顯示器存在于接收側,或者因為用戶使用其遙控器控制最大視亮度低于10000尼特的理論最大值(類似于創(chuàng)建一種新的顯示器),需要對接收的hdr圖像的變換,那么可以存在幾個關于如何創(chuàng)建例如用于8000尼特的新的重分級的復雜實施例。更簡單的版本可以為大致自動的,并且在一定程度上忽略hdr場景的圖像鏡頭的比色和語義細節(jié),以及更精確地,分級者關于它必須或者將必須說的,即他想要看到對于例如較低視亮度的改變?nèi)绾伟l(fā)生在沿著輝度軸直到可用峰值視亮度的不同對象的相對視亮度的分布上。不同圖像對象視亮度的分布將決定場景的所謂的外觀(例如,無論是否是多變的、大多是黑夜的場景,但是仍然傳達對于房屋形狀的充分一瞥),這尤其歸因于內(nèi)部對象對比度的影響(例如,彩色玻璃窗是彩色的,但是仍然足夠比教堂內(nèi)部明亮),并且典型地將涉及一些需要的優(yōu)化,因為即使在用于再現(xiàn)特定成像的場景的顯示器上存在足夠的動態(tài)范圍,人們典型地也在處理外觀族的藝術確定,而不是像在原始捕獲的場景本身中那樣沿著輝度軸的對象輝度的確切分布(即,例如分級者可能選擇使得陽光明媚的外部僅僅比內(nèi)部亮幾個光圈,以便具有對于室外效果的充分仿真,而不是例如5個光圈)。也應當指出的是,藝術創(chuàng)建適當?shù)耐饷?,并且人類視覺高度復雜,因此人們希望具有這樣的技術,其同時合理地簡單(否則,它不會被采納),然而足夠強大以便以充分的方式處理至少大多數(shù)情景(否則,內(nèi)容創(chuàng)建者不能滿意地使用它),并且這是發(fā)明人應當專心的事情。如上面所教導的,分級者可以使用不同的參數(shù)以便教導重分級應當如何取決于預期顯示器的峰值視亮度所在的區(qū)間的至少一側的分級,即分級曲線如何變換成彼此。利用一個或幾個參數(shù),分級者具有對于接收器將如何計算不同的潛在地需要的重分級的快速但是強大的控制。接收器將僅僅把數(shù)學運算應用到原本圖像的輸入顏色上。盡管我們教導了一個對線性rgb像素顏色起作用的務實簡單的實施例,技術人員應當理解,我們的原理也可以等效地應用到例如yu’v’顏色表示上,其中例如uv分量保持恒定,并且y根據(jù)需要或者通過使用像valuev=max(r,g,b)那樣的y相關量進行變換,二者均是可以類似地進行乘法縮放的線性顏色系數(shù)的線性組合,等等。也應當指出,我們闡述了基于預期顯示器的pb_d的我們的實施例的基本知識,在例如電視供應商具有關于用于hdr效果觀賞性改進的更復雜處理——比如例如局部對比度增強等等——的看法的情況下,他可以經(jīng)必要修改在合成顯示調(diào)整中使該處理與來自內(nèi)容創(chuàng)建者的信息協(xié)調(diào),所述信息例如輝度映射函數(shù)的局部梯度、對象分割信息等等。
圖3示出了應用在圖像或視頻創(chuàng)建和編碼側,例如電影工作室的后期制作室或者廣播公司的制作室中或者甚至以其最簡單的形式在生活電視制作卡車中等等的我們的技術的一個實例。數(shù)據(jù)服務器301具有經(jīng)由輸入302供應起始圖像im_src(其典型地為hdr圖像,即至少具有高視亮度,例如1000尼特以上要再現(xiàn)的輝度的對象,經(jīng)常也具有暗對象,盡管在一些實施例中,原始圖像可以是某個較低動態(tài)范圍的圖像,其中分級者仍然需要通過利用計算機圖形學數(shù)學計算例如火球而創(chuàng)建hdr效果,所述火球可以表示為一幅或多幅小圖像)或者視頻序列的存儲裝置。非限制性地,可以假設這是例如原始照相機鏡頭。圖像轉(zhuǎn)換器303被布置成將該原始數(shù)據(jù)轉(zhuǎn)換成例如5000尼特hdr原本圖像,其可再現(xiàn)輝度與顏色代碼(包括亮度以及編纂顏色的色彩方面的另兩個分量)之間的關系由預先選擇的、典型地固定的、但是潛在地可變的電光傳遞函數(shù)(eotf)決定。典型地,內(nèi)容創(chuàng)建者可以以顯示引用方式限定圖像,即限定它應當如何在5000尼特參考顯示器上顯示,并且來自照相機的場景輝度或者等效地顏色坐標的轉(zhuǎn)換典型地將涉及藝術分級,我們稱之為主分級m_xdr(例如,可以將20000尼特的燈編碼為用于在應用eotf之后再現(xiàn)5000尼特的代碼,并且諸如照相機的相對曝光設置之類的因素于是也不再一定是重要的)。此外,圖像轉(zhuǎn)換器303包括被布置成執(zhí)行希望的任意一組顏色變換以便形成良好的主分級的顏色變換單元304。用于這些變換的參數(shù)不必存儲,因為從那里開始的系統(tǒng),即也有接收側的解碼,可以完全從該主分級(其典型地將存儲在圖像信號s_im中,該圖像信號可以依照例如像mpeg_hevc那樣的常規(guī)視頻編碼技術格式化,即主分級是存儲為dct變換的ycbcr分量圖像集合的原本圖像和例如作為sei消息的元數(shù)據(jù))開始,但是一些實施例也可以存儲來自該主分級的一些元數(shù)據(jù)。其次,依照我們的發(fā)明,分級者也將對第二動態(tài)范圍外觀im_grad_ldr,例如用于100尼特顯示器的ldr分級,因為該信息是后面的實際顯示優(yōu)化所需的。用于該映射的函數(shù)確實需要存儲,即顏色變換單元304將把相應的參數(shù)(例如gai,cc)寫入s_im的元數(shù)據(jù)中。來自分級者的所需輸入可以經(jīng)由連接至顏色規(guī)定用戶接口構件330的數(shù)據(jù)輸入331輸入,所述構件比如例如鍵盤,其可以是用于顏色分級的專用控制臺。在該示例性實施例中,假設hdr主分級m_xdr作為原本圖像與允許在接收側計算ldr分級的降級函數(shù)一起存儲或者傳輸,但是可替換地,也可以將次級分級ldr分級作為原本圖像與用于在接收側重構hdr主分級的至少足夠接近的近似的升級函數(shù)一起存儲/傳輸,或者中間分級可以用作原本圖像,具有獲得在編碼側創(chuàng)建的ldr和hdr分級的函數(shù),等等。
在單元104、105、106、102等等中對原本圖像的處理再次與利用圖2所解釋的類似,因為編碼器需要為分級者模仿在解碼側實際會發(fā)生什么。然而,現(xiàn)在,典型地,不同顏色處理單元的參數(shù)(gai,cc,等等)的值通過人類分級者的適當調(diào)整輸入,但是其他的實施例也可以類似于它如何在圖1中發(fā)生而從元數(shù)據(jù)中讀取它們,例如在某個分級者可能地在另一時間利用另一個顏色變換單元執(zhí)行降級的情況下。例如,他可能已經(jīng)使用了具有限定第二分級的其他數(shù)學變換的顏色轉(zhuǎn)換程序,并且中間轉(zhuǎn)換單元可以利用我們的任何實施例的任何組合顏色處理子單元將那些顏色處理轉(zhuǎn)換為近似相等的外觀結果處理以便進行hdr-ldr轉(zhuǎn)換或者其他動態(tài)范圍轉(zhuǎn)換。縮放因子確定單元200典型地可以最初預先裝載有等于1的單個gpm。在那種情況下,所述仿真應用方程1或2創(chuàng)建mdr分級。依照我們的實施例中的任何選擇的實施例,分級者可以通過在顯示輸出311上輸出相關圖像而例如并行地(或者順序地以便不同地調(diào)適其視覺等等)觀看三個顯示器,即示出在這種情況下為原本圖像,也稱為主分級的hdr分級的hdr顯示器312,示出100尼特ldr分級且典型地為100尼特參考監(jiān)視器的ldr顯示器314,以及用于示出重分級的最優(yōu)中間分級的適當選擇的mdr顯示器313。該mdr顯示313可以例如在典型地可用的兩個分級ldr和hdr的中間附近用對數(shù)方式選擇。如果分級者例如工作于典型地對于hdr分級標準地使用2000尼特峰值視亮度的格式下,他可以選擇具有400尼特(4x100,并且近似2000/4)的峰值視亮度的mdr顯示器。由于優(yōu)化近似為二階外觀調(diào)節(jié),檢查是否在例如500或者600尼特mdr顯示器上進行不是關鍵。再者,分級者可以在內(nèi)容創(chuàng)建時選擇使用例如流行的顯示器。如果本領域中的大多數(shù)顯示器具有大約800尼特的峰值視亮度,那么分級者可以選擇這樣的800尼特mdr顯示器(即使他可能為其中將存在更好的顯示器的未來對5000尼特母片分級,但是,當然,他目前也會想要他的電影在當前的800尼特顯示器上看起來良好)。通常,有利的是在用于mdr顯示器的中點附近的某處,因為那是預期需要最大量的重分級的地方。但是,分級者例如也可以也在能夠提供一定程度上更有反差的外觀的顯示器上選擇用于檢查任何帶ldr的外觀的關鍵性的第二ldr顯示器,因此,在該情況下,mdr顯示器可以例如高于100尼特僅僅一個或者1.5個光圈。在分級者對外觀滿意的情況下,他可以按下“完成”按鈕。在該實例中,這可以例如經(jīng)由圖像輸出320將信號s_im(即原本圖像和用于降級的元數(shù)據(jù))和先前的實例中的gpm值1.0,但是在更高級的實施例中,將更高級的mdr分級優(yōu)化數(shù)據(jù)存儲在像例如藍光光盤(bd)那樣的存儲器產(chǎn)品321上。技術人員應當理解,類似地,可以將數(shù)據(jù)例如存儲在服務器上以便以后通過例如互聯(lián)網(wǎng)提供,或者實時地廣播,等等。在更高級的實施例中,分級者可以使用應用例如函數(shù)503作為起點的mdr分級的計算。然后,他可以進一步分級以便獲得對該簡單重分級原理改進的精確的第三外觀(即,他將再次使用原始分級編碼技術的至少一些工具,但是可以從達到第三原始分級的顯示調(diào)整的mdr重分級而不是主分級以及要傳送至某個接收器的一組顏色變換函數(shù)開始)。例如,他可以確定鏡頭的圖像的區(qū)域,并且向其應用另一自定義曲線以便特別地處理這些子區(qū)域/對象。這可以用在例如黑暗中的臉是關鍵的情況下,簡單的重分級函數(shù)使得它是合理的,從而像眼睛和臉部表情那樣的一切東西都可以很好地感知,但是現(xiàn)在相當挑剔的分級者仍然不滿足(在所有的努力領域中,一些人可能不那么挑剔,其他人甚至非常挑剔)。就周圍環(huán)境——例如黑暗街道——而言,選擇的簡單重分級函數(shù)可能對于例如500尼特導致良好的mdr分級,因為那些周圍環(huán)境觀看起來不那么挑剔,但是分級者可能想要使得臉更健康并且應用某個另外的函數(shù)。用于該第三(部分)分級的元數(shù)據(jù)然后也可以作為一個或多個函數(shù)存儲在藍光光盤上,或者作為附加的元數(shù)據(jù)傳輸,等等??梢陨婕耙粋€或多個信號格式化單元310以便以所需的格式格式化所有數(shù)據(jù)。例如,為了驅(qū)動顯示器,可以使用另一種編碼,其遵循顯示連接的有限帶寬,而不是用于存儲在例如bd上,在這種情況下,格式化的高動態(tài)范圍圖像sf_x2dr可以依照任何hdr編碼方案進行編碼,但是優(yōu)選地,所述方案為這樣的方案,其中原本圖像由元數(shù)據(jù)補充,該元數(shù)據(jù)編纂用于根據(jù)原本圖像計算第二動態(tài)范圍圖像的顏色變換,這兩幅圖像用于具有顯著不同的動態(tài)范圍——即典型地至少相差2倍——的顯示器。在該實例中,已經(jīng)假設輝度處理管道(實施為102)包含到典型的ldr格式的映射(比如單元112執(zhí)行的逆709),但是mdr顯示器可以具有格式化單元310可以滿足其需要的另一種源格式等等。這不是我們的新穎教導的主導部分應當為技術人員所清楚,并且將不進一步詳述。
圖8描述了優(yōu)化原理如何可以起作用以便類似于上面解釋的輝度處理,獲得用于驅(qū)動中間峰值視亮度的mdr顯示器的像素顏色的正確顏色飽和度。在一些實施例中,人們可能寧愿進行優(yōu)化的輝度和飽和度縮放,但是其他的實施例可能僅僅使用輝度縮放。輸入顏色具有輸入飽和度,或者更精確地說,色度c_in,參見作為白色的零值。存在飽和度的若干定義,例如像在hvc中那樣規(guī)格化到[0,1]的飽和度或者像在cie1976uv中那樣的其他飽和度,但是它們都具有以下屬性:顏色的飽和度通過在像d65那樣的預定白色中開始并且在一定距離上延伸的矢量限定。假定在hdr輸入圖像中具有這樣的像素,其具有飽和度cs并且其將增大到值cf。這可以通過乘法因子s限定,該因子是與上面描述的初始共同乘法因子g相似的因子。如果ldr比hdr圖像更飽和(這例如可能因為由于顯示器的較少峰值視亮度能力而引起的再現(xiàn)的圖像區(qū)域的輝度的每次降低相應于必須通過分級者規(guī)定的飽和度處理反向糾正的彩色度的降低),那么有用的是也增大mdr分級的飽和度,但是在更小的程度上,即以一定因子st,該因子是gt的一個實施例。具有飽和度處理能力的設備典型地將具有顏色飽和度處理器106,該處理器不是使用固定飽和度乘數(shù)s的簡單處理器,而是相反地被布置成提供適當縮放的飽和度。飽和度處理可以在整個輝度上固定,這可以利用單一乘法值s完成,但是仍然需要對于每個連接的mdr顯示器,顯示優(yōu)化至最優(yōu)的值,但是典型地,對于動態(tài)范圍轉(zhuǎn)換,人們可能想要更復雜的飽和度處理。例如,飽和度可以根據(jù)輝度或者value減去輝度和/或輸入飽和度等等變化。然而,重要的是用于每個輸入像素的所需的飽和度重分級(即hdr與ldr圖像之間)由分級者規(guī)定,并且在元數(shù)據(jù)met中傳送,它可以在接收器處確定并且然后適當?shù)乜s放。典型地,顏色飽和度處理器106將具有確定s的某種查找表機制。例如,如果輸入顏色(ri,gi,bi)=(0.2,0.3,0.7),那么lut得到例如s=1.1,或者在去飽和的情況下,例如s=0.5,并且對于另一個輸入顏色,可以存在相同或者不同的s值。顏色飽和度處理器106于是包括用于計算合成飽和度乘法因子(st)的單元,該因子是合成共同乘法因子gt的一個實施例,所述單元與單元200相似并且計算st=power(s,sp)。對于飽和度而言,比值sp可以稍微不同于針對輝度處理的情況,但是典型地它將仍然取決于pb_d、pb_h和pb_l之間的關系,并且通常,無需使其不同于gp如何計算(但是,當然,可以將不同的gpm值用于飽和度和輝度處理,使得mdr外觀的輝度更像例如ldr外觀,然而使得飽和度看起來更像hdr圖像的飽和度,等等)。如圖8中看到的,也可能有意義的是使用通過例如飽和度劃界器lt(其實際上可以是允許將像素顏色分類成兩個或更多個不同的類別以用于不同的飽和度處理的任何劃界信息)限定的不同飽和度范疇,例如以便規(guī)定用于處理低峰值視亮度的重分級中的高視亮度的去飽和區(qū)域以及用于增強較暗顏色的彩色度的區(qū)域,等等。
有利的是典型地如下執(zhí)行飽和度處理:
ro=st*(rin-y)+y
go=st*(gin-y)+y
bo=st*(bin-y)+y[方程5]
其中ri、gi、bi為線性輸入顏色分量,并且ro、go、bo為飽和度處理之后的合成輸出顏色分量,y為線性輝度,即利用預定常數(shù)a、b和c的線性組合a*ri+b*gi+c*bi,但是可以使用其他等效的處理。
圖9給出了關于如何可以已經(jīng)甚至利用我們的最簡單的實施例遵循分級者希望的有時復雜的依賴于場景的優(yōu)化的特點的另一實例,所述實施例僅僅駐留在接收設備中的簡單重分級中并且分級者例如不關心就其進行任何進一步檢查。對于該實例,我們使用方程1的依賴于對數(shù)預期再現(xiàn)顯示峰值視亮度的縮放。我們看到,該方法已經(jīng)可以在場景中需要它們的地方非常好地設置所需的輝度和對比度。例如,在該實例中,一定程度上高于最大值(即白色)——假設其在hdr圖像上限定——的60%(線性)的區(qū)域典型地在該再現(xiàn)中可能需要某種亮化。另一方面,在該實例中,也存在50%附近的關鍵圖像區(qū)域,其可以例如是相對明亮地照亮的場景部分中的演員的臉。另一方面,在該實例中,在圖像的較暗區(qū)域中,看起來不存在太多令人很感興趣的對象,因為ldr外觀可以承受強烈地軟剪切那些較暗區(qū)域。這可能是這樣的場景,其中在例如陽光普照的風景中具有例如發(fā)生很多事情的外部以及可以在藝術上決定相當程度地暗化的某種內(nèi)部,比如可能是谷倉或者通過小門看見的寺廟的內(nèi)部,并且因此,由于區(qū)域尺寸小的原因,那里有什么不是那么相干,甚至在hdr顯示器上的hdr再現(xiàn)中,視覺系統(tǒng)可以快速地將此作為“不感興趣的黑色”而丟棄,并且因此利用相同的分級理念,分級者可能決定也在ldr中近似地使得它成為被看作黑色的東西(應當指出,我們的方法應當能夠在更精確以及不太關鍵的分級變型中起作用,并且典型地對于更容易和更困難的hdr場景起作用,前者為例如其確切的平均輝度在任何mdr分級中不那么重要的圖像的兩個空間區(qū)域,后者具有例如非常精確的再現(xiàn)要求,比如例如妖怪部分地隱藏在霧中)。重要的屬性是,即使利用我們的最簡單的實施例,也可以對于所有中間動態(tài)范圍(mdr)很好地近似得到良好的視亮度外貌以及所有相應的可確定的對比度(即,選擇的有意義像素1和2的輝度或者有意義的區(qū)域1和2——例如暗角落和通過房間的窗口看到的外部的部分——的平均輝度之間)。在該圖9中,曲線909為應用來將5000尼特hdr外觀變換成100尼特ldr外觀的輝度變換,不變地變換到自身的hdr當然與對角線相應,并且其他曲線為對于要提供優(yōu)化的外觀圖像的5000與100尼特之間的不同峰值視亮度的顯示器重分級到不同mdr分級所需的變換。
圖10示出了我們的實施例所允許的另一個更高級的實例(不管它由人類分級者在內(nèi)容創(chuàng)建側(部分地)控制,還是通過特定接收器,例如hdr電視進行的自動重分級)。該實例示出了在具有以簡單的方式確定(例如通過分級者并且被傳送,或者通過僅僅駐留在接收器中的圖像分析單元)為單一輝度(或亮度)劃界器lrc的關于不同圖像區(qū)域的更多語義信息的情況下如何可以巧妙地重分級。在該實例中,較亮的區(qū)域可能非常關鍵,并且較暗的區(qū)域可能難于同時優(yōu)化(即,對于圖像鏡頭中的整個暗范圍的可能的像素輝度維持例如足夠的對比度,同時需要輝度范圍的足夠大的部分用于較低mdr圖像以便以足夠的視覺質(zhì)量再現(xiàn)較亮的圖像區(qū)域),即,可以以特定的方式快速地決定去降低其質(zhì)量??焖僖馕吨踔翆τ诮咏黨drpb的mdr峰值視亮度(pb),例如如果pb_h=2800尼特并且pb_mdr為2500尼特,那么較低范圍完全或者主要地依照模仿ldr100尼特外觀的策略映射。然而,較亮的區(qū)域可以在2800與100尼特之間的不同mdrpb上更漸進地朝著ldr外觀調(diào)整。該策略可以由分級者至少部分地或者作為初始引導策略而確定,但是也可以由接收器本身確定(例如通過否決分級者規(guī)定的任何東西,例如他可能對于鏡頭的圖像的較暗和較亮區(qū)域二者都規(guī)定朝著ldr外觀的平滑重分級)。
在利用其中涉及人類分級者,即人類分級者被那些hdr圖像通信系統(tǒng)實施例允許對于他的圖像的最終再現(xiàn)具有發(fā)言權的實施例情景闡述了上面的實例的情況下,可替換地,一種計算機算法也可以用作自動分級者。這可以發(fā)生在創(chuàng)建側,其中該算法可以非實時地進行非常巧妙的圖像分析,例如標識區(qū)域、特定種類的紋理或者甚至標識對象的類別,比如人類、某些動物、在其金屬上具有鏡面反射的陽光下的汽車,等等,并且該算法基于關于分級者典型地如何希望對這些種類的場景及其對象分級的統(tǒng)計信息。然而,自動分級單元也可以駐留在接收器中,并且應用編纂比如電視制造商幾十年來開發(fā)的圖像質(zhì)量知識(并且可能構成其簽名外觀)的圖像增強處理?,F(xiàn)在,新的解決方案是將此合并到我們當前的hdr重分級技術中。圖11利用比如例如合并到電視或機頂盒或者超市或戶外活動等等中提供商業(yè)顯示的計算機中的接收器的顏色變換單元1130的一個示例性實施例闡述了這點。
視頻的圖像以及進行自然顏色重分級(例如借助于利用圖1解釋的對數(shù)縮放,利用創(chuàng)建側人類分級者選擇的對于該場景最優(yōu)的參數(shù)以及還有限定例如自定義色調(diào)映射曲線的多線性形狀的參數(shù)p_cc,從作為輸入圖像im_in的5000尼特hdr到100尼特ldr)的元數(shù)據(jù)經(jīng)由該實例中的圖像通信網(wǎng)絡1101(比如例如經(jīng)由互聯(lián)網(wǎng)連接的視頻服務器,或者在移動電話網(wǎng)絡上廣播或者組播的電視服務)接收。然后,縮放因子確定單元1102應用規(guī)定為最優(yōu)的色調(diào)映射規(guī)定以便將比如hdr的預期范圍一端的外觀映射(但是相同的原理原則上也可以用來一定程度上進入范圍邊界之外)另一范圍端參考外觀,比如100尼特ldr,并且因此確定進行線性(或者潛在地甚至非線性)rgb縮放的初始縮放因子g_nat。第二縮放因子確定單元1103確定用在當前情形下的最終縮放因子g_fin,但是現(xiàn)在,在該實施例中,該因子可以通過接收設備圖像增強知識確定。此外,包括圖像分析單元1110,其可以包括各種不同的圖像分析單元(其典型地可以是例如各種不同的圖像分析軟件組件,或者其硬件實現(xiàn))。在該簡單闡述性實例中,描述了直方圖分析單元1112和對象識別單元1112。直方圖分析單元1112可以被布置成分析圖像的輝度分布,并且確定存在例如大量暗像素,或者可能語義上重要的像素是暗的(因為這些單元可以一起工作)。然后,它可以確定例如暗區(qū)域的劃界器以及預期的亮化策略。對象識別單元1112可以包括例如臉檢測器,其可以檢測具有不同視亮度的臉,因為演員站在場景的各個不同照射的部分中。根據(jù)所有這些知識,策略參數(shù)確定單元1113依照我們公開的不同實施例中的哪一個駐留在第二縮放因子確定單元1103中而確定相應的參數(shù)(應當指出,一些功能可以駐留在一些設備或系統(tǒng)中的其他部件中,但是我們在功能上描述它)。例如,策略參數(shù)確定單元1113傳送它想要例如比分級者的自然方法(其可以像應用我們的方程1那么簡單,沒有來自人類分級者的任何特定重分級信息,或者可以部分地遵循或者大致否決的更高級的策略)更多地亮化場景以及尤其是較暗顏色的一種邏輯方法可以通過規(guī)定新的gpm值進行(當然,所述設備的一些實施例也可以限定用于限定原始hdr與ldr分級之間的映射的函數(shù)的的新值,例如底部斜率,但是一些實施例可以考慮來自內(nèi)容提供商的也無需修改的神圣信息,因為其專用外觀可以作為后處理實現(xiàn);如果需要任何函數(shù)形狀調(diào)適,那么至少這可以僅僅針對mdr計算部分實現(xiàn),例如,代替圖19中描述的純粹乘法縮放的是,電視可以針對最暗值將彎曲應用到合成mdr輝度映射函數(shù),或者任何可替換的函數(shù)重定義,例如與電視確定的特定固定或者依賴于圖像的函數(shù)的校正值相乘)。如果圖像分析單元1110例如利用其對最暗區(qū)域中的演員的直方圖分析和標識確定,依照接收器制造商,最暗部分對于在例如連接的1100尼特顯示器上再現(xiàn)自然太暗,那么可以朝著ldr外觀稍微升高gpm(因為朝著ldr移動典型地可以具有粗略地并且現(xiàn)在依賴于場景地與亮化相應的行為)??梢詡魉洼x度劃界器ltr1以便僅僅對于hdr輝度的最暗子范圍做該策略。存在其中圖像分析單元1110可以將其所需重分級的愿望作為第二元數(shù)據(jù)met_2傳送的其他方式。例如,它可以假裝連接的顯示器不是1100尼特,而是傳送例如1300或者900的pbf值,并且在對數(shù)比值計算中類似于pb_d使用該值。或者,它可以已經(jīng)傳送對數(shù)比值,并且讓單元1103向它應用gpm值,等等?;蛘?,它可以調(diào)節(jié)pb_h和pb_l值。因此,用于計算最終的g_fin的值與如圖像分析單元1110所確定的正確值的任何所需的組合都可以在met_2中傳送至單元1103。除了純粹分析圖像im_in之外,可能非常有利的是看看分級者將何種機巧置于顏色變換函數(shù)的形狀中。此外,在一些實施例中,可以包括色調(diào)映射分析單元1114,其被布置成分析第一和第二參考外觀,即典型地為hdr和ldr之間的總色調(diào)映射的函數(shù)形狀。例如,該單元可以適合三個區(qū)域,并且檢查對較亮顏色進行了什么(例如軟剪切)處理,對中間范圍顏色進行了哪種處理(例如對比度增強)以及對暗色進行了哪種處理。如果例如在色調(diào)映射中發(fā)現(xiàn)快速彎曲,像在圖9的實例中那樣大約50%的強烈斜坡部分,那么色調(diào)映射分析單元1114可以確定那里的劃界點ltr1。該信息任何可以由單元1113用來確定用于那些中間色調(diào)的巧妙重分級,其依照接收器制造商的偏好優(yōu)化對比度,然而考慮到關于分級者的分級規(guī)定中存在的關于場景的語義知識并且在不同的實施例中至少一定程度上與分級者的該重分級意圖保持一致,因為這些實施例將重分級應用于如g_nat中所編纂的原始重分級意圖。
應當指出,在該較簡單的實例中,我們假設不存在指示來自分級者的對于重分級的特定愿望的另外的元數(shù)據(jù)參數(shù)(例如gmp值),然而,如果分級者在輸入信號s_im中規(guī)定了這樣的元數(shù)據(jù),也可以將其傳送至單元1110。該單元然后可以例如通過在小的公差內(nèi),例如在5%或者10%內(nèi),或者僅僅在輝度范圍的有限子范圍上改變gpm值而好好滿足這個愿望,例如,僅僅改變10%的最暗顏色的外觀,同時保持內(nèi)容創(chuàng)建分級者對于較亮顏色的原始愿望,或者可替換地甚至完全忽略分級者的gpm值,并且確定其自己的用于單元1103的gpm值。
一些更高級的實施例也可以允許觀看者具有關于最終外觀的發(fā)言權。典型地,經(jīng)由到遙控器1122的輸入連接1121以及經(jīng)由用戶接口1120,他可以給出一些簡單的重分級命令。例如,他可以具有亮化圖像的5點尺度。這可以作為信號b_rel={-2,-1,0,1,2}傳送,其可以由單元1113轉(zhuǎn)換為例如10%最暗顏色上的一定數(shù)量光圈的視亮度增加,以及最終一個或多個gpm值和可能地一個或多個劃界器(ltr1,ltr2)以進行相應的亮化,這將為觀看者創(chuàng)建適當?shù)耐庥^。任何這樣的聯(lián)系可以通過不同的接收器實施例形成,例如-1可以相應于pb_d的10%增加,作為pbf值傳送,等等。
上面已經(jīng)闡述了利用當前的實施例如何可以確定與視亮度的重要視覺參數(shù)相關的重分級,并且利用圖12,我們將簡化地闡述如何可以利用我們的不同實施例在圖像語義上確定最終的mdr再現(xiàn)外觀的不同對比度變化。動態(tài)范圍或者確切地說對比度比值是一個簡單的概念:圖像中的最暗顏色對最亮顏色。心理視覺相關的對比度是一個更復雜的參數(shù)。它仍然可以利用我們的上面描述的圖像自適應實施例相對簡單地確定。典型地,場景中的最終對比度可以根據(jù)兩個因素粗略地估計:對象內(nèi)對比度,其決定對象的紋理如何很好地可見(例如臉部表情或者該臉的粗糙度或者木材表面的顆粒);以及特別是在涉及高對比度比值的圖像時,對象間對比度。在許多hdr場景中,可能僅僅存在一些、經(jīng)常只有2個不同地照亮的區(qū)域。例如,室內(nèi)平均輝度與室外?;蛘?,平均夜間街道輝度與幾盞燈的輝度。在hdr中,可能存在不同的這樣的平均輝度子范圍,因為例如5000尼特顯示器的輝度范圍足夠大。例如,可能存在若干不同的白色,例如室內(nèi)的紙白色、燈附近的白色以及燈本身的甚至更亮的白色以及可能地甚至更亮的燈。在ldr中,不是所有這些不同視亮度區(qū)域都可以忠實地映射。實際上,傳統(tǒng)ldr編碼非常適合編碼相對于白色的所有顏色,或者類似地,相關的18%中間灰度(一方面不管我們在噪聲和/或代碼量化方面有多深都結束,但是另一方面,適應的視覺系統(tǒng)將看作黑色,例如白色的5%線性以下),但是不適合于這么多的不同照射的區(qū)域。對于一些圖像而言,分級者可能針對ldr外觀必須選擇將所有不同的白色區(qū)域剪切為相同ldr白色(r=g-b=255),而不是冒著一些燈將看起來為灰色的風險。因此,例如,100尼特ldr監(jiān)視器上用于室內(nèi)像素的平均視亮度外貌與感知室外有多明亮(其中該室外可能也需要非常飽和,而不是更亮但是柔和化),即用于那兩個區(qū)域的對象內(nèi)對比度之間的平衡根據(jù)處理的圖像可能是關鍵的。
圖12解釋了接收者如何可以平衡這樣的區(qū)域中的不同對比度以及因而再現(xiàn)的圖像的總對比度外貌。曲線1201規(guī)定了分級者如何規(guī)定獲得100尼特ldr圖像的色調(diào)映射。我們看到對最亮顏色軟剪切的區(qū)域、其中許多似乎正在發(fā)生的中間范圍區(qū)域,即那里可能存在若干關鍵對象(比如3個不同地照亮的演員),因為在色調(diào)映射曲線的該部分中存在若干關鍵彎曲點,并且存在用于較暗顏色的優(yōu)選映射。如果圖像分析單元1110確定用于這些重要子區(qū)域的兩個劃界器ltr1和ltr2,那么它現(xiàn)在可以提出各種不同的對比度平衡方法。例如,它可以確定對于較亮顏色,曲線1210給出更優(yōu)的對比度。這可以改變例如晴朗的外部區(qū)域的外觀,因為現(xiàn)在該子區(qū)域的最暗像素可能對于比如1200尼特mdr圖像而言比到1200尼特mdr的自然重分級提出的更暗,但是這也可能是接收器制造商所希望的。在該實例中,接收者選擇大致忽略用于中間范圍的分級的細節(jié)(這對于最終再現(xiàn)的外觀的質(zhì)量可能是明智的或者可能不明智,但是取決于應用情景,可以進行或者可以不進行),但是仍然存在某種自適應性,因為接收者提出的色調(diào)映射曲線的斜率大約在中間范圍部分1211的中途改變。在該實例中,用于最暗像素的對比度比值對于接收者提出的mdr外觀與對于分級者提出的ldr外觀是相同的,然而,該對比度不同地分布,因為較低部分1212的曲線形狀非常不同于分級者的意圖(在該實例中,因為理想情況下接收者可能想要至少大致遵循原始形狀)。利用這些技術,可以依照接收者在其對進入的圖像im_in的分析之后的愿望優(yōu)化不同的對象間和對象內(nèi)的對比度。例如,曲線的上面部分1210(不管這是如分級者所提出的用于1200尼特mdr的結果,還是已經(jīng)來自單元1110的第一確定的結果)可能沒有足夠的對比度,即外部看起來太溫和。然后,可以確定另一個明亮部分的部分曲線1220,其具有更多對比度比值和更多對比度。這可能意味著中間部分可能需要較少的對比度,但是當然也可以提出一種策略,其將不同的y_hdr值映射到相同的y_l值。通過這種方式,可以優(yōu)化第二對象內(nèi)對比度c_intr2和第三對象內(nèi)對比度c_intr3。但是,這也將確定對象間對比度,比如第一對象間對比度c_gl(例如在較亮和較暗子區(qū)域的中間點輝度之間限定,或者通過像素出現(xiàn)加權,等等),其相反地也可以主要地通過自身優(yōu)化,潛在地犧牲一定的對象內(nèi)對比度,例如c_intr3。
圖13示出了用于計算色調(diào)映射的一般實施例。信號去格式化器1301獲得所有必要的信息。cod_dir和cod_metr規(guī)定使用哪個插值方向(dir)和指標計算中間顯示峰值視亮度的位置(例如如分級者在內(nèi)容創(chuàng)建側所規(guī)定的),并且我們將假設那些為135度和將在下文中進一步詳細解釋的基于oetf的指標。色調(diào)映射確定單元1302經(jīng)由元數(shù)據(jù)輸入116獲得構建輸入圖像(比如hdr圖像)的輝度與相應的第二分級(ldr)之間的最終色調(diào)映射的所有信息。由于我們的方法的第二部分是我們需要建立關于hdr場景的兩個典型外觀,典型地hdr與例如100尼特ldr外觀之間的顏色變換函數(shù)。經(jīng)由輸出1308,它可以以適當?shù)男问交蛘咴谄渌麑嵤├幸砸唤Mg乘數(shù)提供該輝度映射函數(shù)(tmf),但是我們將在這里假設,輸入hdr與分級ldr輸出輝度之間的函數(shù)形狀被傳送,即我們將假設這只是一個函數(shù),其將被解釋為輝度之間的圖形圖,但是可以用技術例如作為lut傳送。該tmf將是用于縮放因子確定單元(200)的輸入,該單元將進行獲得mdr圖像所需的變換的計算,并且對于每個要處理的像素顏色作為用于乘法的適當gt因子(例如1.53或0.872等等)而提供它。
在我們可以解釋細節(jié)之前,首先給予讀者關于正發(fā)生的事情的一些進一步的理解。
圖17利用相當簡單化的分級實例示出了我們想要利用顯示調(diào)整實現(xiàn)的東西。我們將數(shù)學運算顯示為絕對(參考5000尼特)輝度軸上的絕對視圖,然而,應當指出,它們已經(jīng)依照我們的光電傳遞函數(shù)(p-oetf)在知覺上均勻化。因此,在該表示下在代碼空間中而不是像其他曲線圖中那樣在相對輝度空間中是線性的。讀者可以近似認為這些軸是對數(shù)的,但是該實例中5000尼特的參考顯示器的相對[0.0,1.0]亮度坐標與實際的相應輸出之間的確切映射通過(飛利浦eotf)確定:
y=lm*power((rho^v-1)/(rho-1);gam)[方程6]。
在該方程中,v為相對亮度(讀者可以將此與ldr信號的亮度——即例如[0,255]圖像值除以255——相比較),我們將假設其為實值數(shù),rho為例如33的常數(shù),gam為常數(shù)2.4,lm在該情景中為圖像編碼的pb,即5000,并且^和power指示冪函數(shù)。應當指出,在我們想要限定終止于其他例如更高ph_h值(或者在該方程中,更高的lm,例如10000)的eotf的情況下,那么我們必須通過下式計算另一個rho值:
rho_2=(33-1)*(pb_h/5000)^(1/gam)+1[方程7]。
因此,圖17的例如x軸上的[0.0,1.0]中的等距值通過利用上面的方程的計算被轉(zhuǎn)換為實際的輝度。該函數(shù)具有以下屬性:v值在hdr顯示輝度的典型范圍上對于非線性人眼而言更均勻,即,可以在概念上將這看作心理明度(lightness)近似。
我們的飛利浦hdroetf(p-oetf)被限定為該函數(shù)的逆:
v=1/log(rho)*log(1+(rho-1)*(y/lm)^1/gam)[方程8]。
現(xiàn)在,如果想要對于比如100尼特顯示器進行分級,讀者可以在概念上將這看作在5000尼特顯示器上顯示,但是不創(chuàng)建高于100尼特的任何輝度(這在5000尼特顯示器上,而不是在100尼特顯示器上是可能的)。用于實現(xiàn)ldr外觀(原始分級的)圖像的一種可能的(質(zhì)量相當差,但是對于解釋的目的很好的)輝度變換是曲線1702?;旧?,我們利用該曲線將直到100尼特的(像im_in那樣的接收的hdr圖像的)所有像素輝度再現(xiàn)為與在將輸入圖像再現(xiàn)于其相應參考顯示器上的情況下對它們再現(xiàn)的完全相同,針對所述參考顯示器并且典型地在該參考顯示器上輸入圖像被分級,該參考顯示器即5000尼特顯示器。但是,所有更高的輝度,我們都僅僅剪切為100。
如果要(在理論上)應用輝度變換以便完全從我們已經(jīng)從顏色分級者接收的已經(jīng)是5000尼特的im_in獲得5000尼特重分級,那么當然典型地將應用恒等變換1701?,F(xiàn)在,如果我們想要針對比如500尼特mdr顯示器確定中間重分級,會發(fā)生什么。
當然,我們可以剪切500以上的所有輝度,但是這很可能不是我們可以為該顯示器做出的最佳重分級,即使我們具有內(nèi)容創(chuàng)建者限定的這樣的差剪切的hdr-ldr輝度變換。我們在hdrim_in中具有所有最亮的對象紋理的信息,因此對于較高pb_d顯示器而言,即如果我們有能力,我們將愿意顯示該信息中的一些,不管它是否在與5000尼特再現(xiàn)質(zhì)量降低的版本中(即較少視亮度增強,不那么印象深的對比度,較少的閃耀和光澤,這取決于hdr場景和圖像)。如果認為直到100尼特的所有對象都完美地再現(xiàn)(并且這“意外地”是個有趣的劃界點,在此之下,對象應當以相同的輝度再現(xiàn)在所有實際的顯示器上),那么一個選項是計算曲線1711。但是,我們也可以應用另一個策略(其將相應于利用另一個指標和/或插值方向和/或用于重分級積極性(gpm,gpr)的細調(diào)函數(shù)進行計算),其移動其中停止進行相等輝度映射并且開始在最亮hdr對象中擠壓至l_kn的點。這將得到用于為pb_d=500尼特的實際顯示器生成mdr分級的mdr輝度映射曲線1703。
讀者將會理解,我們想要哪種情景以及我們愿意在100尼特以上移動l_kn多遠將取決于圖像中有什么。如果像廣播經(jīng)常發(fā)生的那樣不存在太多令人感興趣的外部,對于其而言,通過窗口所看到的目前典型地已經(jīng)被剪切或者軟剪切,那么人們可以接受較少量的可再現(xiàn)輝度用于那些室外對象(范圍r_sm)。這在室內(nèi)對象輝度不確切地終止于100尼特(這當然可能取決于分級者進行的認真分級)的情況下可能尤其如此,但是例如他需要(在該極端實例中硬剪切)剪切比如桌子上的一些反射對象的一些較亮部分。由于這可能是觀看者聚精會神地看的場景的主要部分,可能確實有道理的是如圖14中看到的,以通過窗口看到的陽光照射的房屋的顏色的質(zhì)量為代價,通過將那些對象包括在等輝度(對角線)部分,直到其最大輝度或者至少更接近它而也給予它們漂亮的輝度和紋理對比度。這也在人們對圖像沒有額外的了解的情況下可能尤其如此(當然,如果分級者規(guī)定使用cod_metr和cod_dir,那么這已經(jīng)一定程度上傳達了人們具有哪種情形,但是假設分級者僅僅產(chǎn)生tmf,并且接收設備必須在更簡單的顯示調(diào)整策略中自主地決定一切,然而其仍然應當給出用于mdr圖像的盡可能合理的視覺質(zhì)量),因為此時人們可以假設很可能將存在幾個高于低質(zhì)量100尼特值的有意義的輝度,由于這是hdr場景,因此,人們不妨通過使得l_kn點稍高于任意的100尼特而劃分錯誤(分級者可能已經(jīng)在其hdr主分級中滿足室內(nèi)輝度的需要,即令人滿意地照亮它們,并且由于使得它們完全適合ldr/hdr框架,將室內(nèi)分級為適當?shù)妮x度不是那么容易,但是并不總是確定他已經(jīng)在主hdr分級中將室內(nèi)對象完全置于ldr子范圍內(nèi))。
然而,在其中分級者知道所有較暗像素區(qū)域落入100尼特部分并且在高于100尼特的部分中的某處存在重要的紋理——其需要最大對比度或者最大量的可能可用亮度代碼和輝度(用于任意輝度映射函數(shù))——的可替換情景中,分級者可能想要對于所有mdr重分級將l_kn保持在100尼特處。因此,讀者理解,如果希望的話,可以使得顯示調(diào)整(也稱為可調(diào)整性)是簡單的,但是人們可能喜歡用于也在更困難的情況下,然而仍然以對于可能需要確定所有因子和參數(shù)的分級者而言盡可能簡單的方式允許復雜的hdr場景和圖像的一些附加的技術手段。
現(xiàn)在,如果我們想要看看在特定顯示器,比如pb_d=500尼特顯示器的參考幀中發(fā)生了什么,我們可以從圖17中的圖中僅僅截取延伸至y_out=500尼特的部分。該表示的最大值于是為可以在500尼特顯示器上再現(xiàn)的最大值,即應當通過將最大亮度代碼v=1.0提供給它而完成的。因此,為了清楚起見忽略我們置于圖中的尼特標簽,可以將圖17的重分級規(guī)定看作亮度代碼空間中的規(guī)定,即使雖然在輸入軸上,可以很好地讀取等距亮度代碼,當然,在該表示中的y軸上,v=1.0將對于具有不同pb_d的不同顯示器落在不同的高度(讀者可以為了理解起見假設在5000尼特顯示器上全部模擬了這些不同的顯示器,其因此根據(jù)模擬的顯示器的pb_d能力必須在某個亮度vx處停止再現(xiàn))。
圖18示出了相同的示例性變換,但是現(xiàn)在在這樣的軸系統(tǒng)上,根據(jù)該系統(tǒng),我們可以從與視頻信號s_im關聯(lián)的元數(shù)據(jù)中接收的hdr-ldr顏色變換規(guī)定開始,開始導出所需的hdr-mdr輝度變換函數(shù)。水平軸相同,因為這些是我們的5000尼特im_in的可能的像素輝度。垂直軸應當再次在利用我們的p-oetf在知覺上均勻化的尺度,即在零與值l1之間確定重分級的mdr像素顏色的相對輝度(或者換言之,其相應的亮度代碼)。對于100尼特分級而言,與最大亮度代碼,例如10比特下的1023或者12比特下的4095,相應的該l1值將是100尼特。我們再次看到,對于直到100尼特的hdr輝度,依照分級者,它們應當以與5000尼特圖像所規(guī)定的完全相同的輝度再現(xiàn)在100尼特ldr顯示器上,并且在那以上,ldr分級將一切剪切為pb_l=100尼特。
我們也看到,在該表示下,為了在ldr顯示器上對于暗灰度得到與hdr顯示器上相同的再現(xiàn)的輝度,需要增大ldr圖片的亮度(其在該圖中也可以在與v=1.0相應的l1與0之間均勻地讀?。?,我們需要與相對hdr值(在這里,在示為對角線的“錯誤的”100尼特軸上,因為它們需要終止于5000尼特的軸以便知道什么與輸入圖像或者通過進行恒等變換而在理論上計算的輸出圖像的最大亮度相應)相比,按角度b增大暗斜率或增益?,F(xiàn)在,我們?nèi)绾吾槍m_in的任何y_in導出用于最小值與最大值之間的相對驅(qū)動的所需的mdr映射曲線1803(最小和最大亮度現(xiàn)在對于該pb_d=500尼特顯示器分別相應于0和500尼特,這在圖的右邊示為y_out_mdr),即該y_out_mdr。我們繪出與對角線(hdr5000-hdr5000映射1701)正交的線,并且在其上放置指標(1850)。該指標將具有無輝度變化或者“0”與“完全”變化(或者“1”)之間的值,得到ldr分級?,F(xiàn)在,我們可以在該指標上定位與任何pb_d相應的位置m_pb_d(參見下文的計算實例)。在我們想要外觀看起來(對于具有pb_d的該實際顯示器,但是特別關鍵的場景,其在從pb_l=100尼特向上移動pb_d時需要更長時間地看起來更多l(xiāng)dr)更像ldr的情況下,我們可以例如利用如下文所描述的實施例確定另一個點m_pb_u。就其外觀,即其hdr能力而言,可以將“中途”點看作與這樣的顯示器相應,該顯示器就其pb_d而言(非線性地)大約在pb_h和pb_l參考顯示器之間的中途?,F(xiàn)在,假定彎曲點pbe在該實例中由于有限的pb_l100尼特值的原因?qū)嶋H上并不簡單地像剪切開始的地方,而是分級中的特殊關鍵點(其可能通過至少一個參數(shù)(元數(shù)據(jù)中的參數(shù),其規(guī)定來自分級者的ldr和hdr原始分級的顏色變換關系)傳送,例如它在y_in軸上的0.0與1.0之間的相對位置及其在y_out_ldr軸上的高度)?,F(xiàn)在,我們看到,在該旋轉(zhuǎn)插值版本中,該語義上重要的點不必停留在與垂直插值實施例相同的y_in位置,而是可以移動一定偏移量dp,這使得該特定方式的顯示調(diào)整對于某些情景而言是優(yōu)雅的(它可能例如對于在ldr分級中將低于hdr輝度l_hb的黑色剪切為0的hdr-ldr函數(shù)也是有用的)。
在圖19中,在旋轉(zhuǎn)的框架下示出了如何可以導出完整的mdr輝度變換函數(shù)1803,該函數(shù)用于從限定ldr分級的函數(shù)(1802)開始獲得mdr圖像。技術人員應當清楚方向插值單元(1312)如何可以計算與y-in坐標相應的新延伸x坐標rc以及如何可以旋轉(zhuǎn)函數(shù)。該函數(shù)可以保持在例如臨時存儲器中?,F(xiàn)在,我們需要確定乘法縮放值s,例如0.63(定義將如下),并且這將給出mdr曲線的所需的點。作為一個實例,我們示出了彎曲點如何移到新位置(m_pb_d,如果將指標置于那里的話),但是所有其他的點,無論函數(shù)的形狀如何,都按照相同的乘法原理改變。因此,如果采取延伸的坐標rc并且相應的ldr輝度映射函數(shù)為fr_l(rc),那么用于hdr-mdr顏色變換函數(shù)的所需值將確定為fr_m(rc)=s*fr_l(rc)。其后,該曲線再次旋轉(zhuǎn),使得我們得到圖18框架下的值,并且這些值可以再次置于存儲器中。逐像素處理實際所需的是增益值,因此縮放因子確定單元(200)的實施例典型地將為所有可能的y_in值存儲gt值的lut(或者事實上,在我們的優(yōu)選實施例中,我們使用rgbmax值,但是它們在0.0與1.0之間相似地變化)。
這些gt值的計算可以通過對于所有輸入值都將用于待服務pb_d顯示器的計算的mdr輝度變換函數(shù)的高度與對角線的高度相比較,并且然后通過如圖16中所示將這兩者相除獲得乘法值來完成。
現(xiàn)在,圖20示出了如何限定用于獲得縮放因子s的性能良好的指標。
假定我們想要導出用于例如pb_d=500尼特的顯示器的mdr圖像(以及確定在具有輸入圖像輝度或亮度值時所需的亮度值的函數(shù))。我們需要縮放驅(qū)動值,以便得到相對于用于ldr的驅(qū)動曲線正確的所有對象輝度。因此,我們在該sdr輝度映射函數(shù)2002的典型地總是100尼特的框架下引用一切(因為這是傳統(tǒng)的標準化的值,但是事情在將來可能變化,并且我們的技術原理將保持相同)?,F(xiàn)在,假定我們想要例如對于所有三種顯示器(hdr、ldr和mdr)都保持較暗的視亮度看起來相同,我們必須在多大程度上向下,然后朝著與hdr分級相應的對角線或者朝著水平輸入軸移動點p1或p2,以便在mdr曲線上得到正確的點p3。
由于需要在右邊的500軸上讀取該mdr曲線,我們將引入下列數(shù)學方程:
a=p_oetf(lm/pb_l,pb_l)
b=p_oetf(lm/pb_d,pb_d)[方程9]。
這些是我們上面限定的對數(shù)伽馬hdroetf函數(shù),但是現(xiàn)在不終止于5000尼特,而是終止于逗號之后的第二值,例如pb_l=100尼特(典型地)。
即,這生成具有對于例如100尼特停止于1.0處的延伸的坐標的知覺軸,其是該圖的y軸。lm在該情景中是im_in的5000尼特值,但是對于其他的主hdr編碼可以不同。
圖23以另一種方式示出了基本轉(zhuǎn)換尺度因子(a,b)的物理意義。我們也可以將p_oetf看作重新規(guī)格化的函數(shù),其不終止于1,而是轉(zhuǎn)到例如5.0(然后,由于這僅僅是最大值的乘法,如果需要比值的話,可以在規(guī)格化到1的版本中實現(xiàn)相同效果)。因此,我們需要變換hdr-ldr分級輝度映射曲線2303,以便得到適當?shù)膍dr曲線。這不應當是曲線2304,因為這僅僅將ldr分級應用到較亮pb_d顯示器,這將給出太亮的外觀。為了等外觀(即對于任何mdr顯示器以及hdr和ldr參考顯示器上的那些例如10%的最暗顏色具有相同的再現(xiàn)的輝度)縮放圖像中的較暗輝度將得到用于新規(guī)格化版本(即1.0相應于例如500尼特)的知覺軸的與根據(jù)白色(1.0)確定該值相同的拉伸因子。在這里,我們現(xiàn)在不以規(guī)格化到1.0的相對軸系統(tǒng),而是以5000尼特參考輝度軸上的絕對量示出我們的顏色變換的行為。為了自然地(僅僅應用ldr曲線,不考慮較高的pb_d)變換100尼特輝度(例如白色)——純粹關于軸重新規(guī)格化,因此尚未考慮分級者規(guī)定的輝度變換曲線的任何細節(jié),或者像gpr那樣的關于輝度插值的任何控制參數(shù)——我們必須將顏色2301增強到它的5000尼特等效物(即尚未考慮巧妙重分級的適當?shù)姆聪騽幼鳎?/p>
即,我們必須在p-oetf知覺化y軸上確定利用哪個量拉伸矢量。如果百尼特與1.0相應,那么通過乘以比如1.7找到值2302。如果我們讀取曲線的500尼特引用表示,即其中500尼特與最大可能亮度(1.0)相應的表示上的點,那么可以做相同的事情。如果將該輝度變換為5000尼特表示的版本,那么得到比如1.3的b因子?,F(xiàn)在,我們實際感興趣的是如何將針對ldr分級,即在100尼特系統(tǒng)(例如,500尼特的輸入hdr輝度應當ldr再現(xiàn)為30尼特)中確定的顏色2305變換到500尼特顯示器的參考系統(tǒng)中。例如,如果我們不改變從所述變換產(chǎn)生的值,那么對500尼特(其是圖18中的右側軸y_out_mdr)的新引用中的那些值將意味著什么。
可以看到,將y值2305乘以s^-1以獲得值2306相應于將它乘以a/b。但是,這不會給出相等外觀,因為此時一切只是在線性尺度上變得5倍亮,并且在知覺化尺度上為x倍。因此,為了保持相等外觀約束,應當將值2305乘以s=b/a(以便在從ldr驅(qū)動曲線開始時具有正確縮放的mdr驅(qū)動曲線,但是現(xiàn)在在其中500nite為1.0最大亮度或相對輝度的軸系統(tǒng)中引用,這不得到點曲線2304,而是將為希望的mdr分級曲線,但是現(xiàn)在在500軸中而不是其原始100尼特y軸中解釋的曲線2303)。由于所有這些都是相對乘法操作,因而可以假裝所有這些都發(fā)生在其中1.0相應于100尼特的軸系統(tǒng)中進行這些操作,但是如果需要實際的再現(xiàn)的輝度,那么在y_out_mdr軸上讀取它。
因此,當在垂直方向上朝著x軸縮放時,將得到尺度因子s=b/a。
重要的是無論pb_d值如何,都可以限定尺度因子(如果希望的話,甚至可以外推),并且因此可以形成指標。
如果我們的目標顯示器為pb_d=pb_h=5000(=lm),那么需要達到hdr分級的p4點(恒等變換),即當從乘法的觀點看它時,需要為該輸入(x軸上的hdrim_in輝度50)縮放ldr值,對于該分級,同樣通過尺度s=c/a縮放左邊ldry軸上的a=50尼特,其中c=p_oetf(lm/pb_h,5000)??梢钥吹?,由于這將得到用于光輝度輸入(規(guī)格化的)1.0的v值,并且假設該對角線hdr分級使得所有輝度給出相等的輝度(即對于hdr分級獲得5000尼特中的亮度1.0,將相應地得到用于線上所有其他點的正確值,即也用于該例如50尼特的值,其正好是要進行顏色變換的輸入點處的hdr_5000尼特尺度[未示出]的矢量大?。?/p>
現(xiàn)在,可以在數(shù)學上證明,如果想要在對角線上,更特別地在135度下插值,那么縮放函數(shù)變成ss=[(b-1)/(b+1)/(a-1)/(a+1)]。
也可以像我們在圖18中所做的那樣將hdr輝度點p4與ldr輝度點p1之間的線上的指標位置與此關聯(lián)。這將相應于指標偏移,或者一般而言延伸的坐標ms,其在垂直實施例中可以表述為y_mdr=y_hdr+ms*(y_ldr-y_hdr)。再者,在一般情形下,這樣的坐標ms將在針對pb_d=pb_h的ms=0,即需要與hdr分級相同的mdr分級時與需要ldr分級時的1.0之間延伸。
就像該簡單的闡述一樣,讀者可以理解,如果具有根據(jù)作為輸入的hdr分級限定ldr分級的一般tmf函數(shù)2001,那么將適用相同的變換方案。
因此,在我們的圖13的構建示意圖中,方向插值單元(1312)將旋轉(zhuǎn)接收的函數(shù)(做相應的數(shù)學,例如對于圖19的輸入軸獲得旋轉(zhuǎn)的值的lut),確定適當?shù)目s放因子ss,如上面所解釋的在旋轉(zhuǎn)的框架下計算與mdr重分級相應的函數(shù),并且重新旋轉(zhuǎn)到其中y_in軸為水平的框架。因此,此時例如在lut中具有用于輸入值y_in的函數(shù)值y_out_mdr。然后,共同乘數(shù)確定單元(1311)將該函數(shù)轉(zhuǎn)換為gt乘數(shù)的相應集合(lut),因為我們的典型顏色變換框架將如解釋的對這些乘數(shù)起作用。
到目前為止,我們描述了不可知道顏色變換函數(shù)如何被限定以及特別是被參數(shù)化的實施例。上面的處理可以對任何函數(shù)值起作用,并且我們將它們解釋成就像它們是純粹的lut。
然而,在分級者限定函數(shù)的方式中可能存在有趣的語義信息。例如,他可能限定多分段輝度處理函數(shù),較低分段用于處理較暗顏色,例如室內(nèi)顏色,并且第二較高分段規(guī)定對于較亮分段,例如室外顏色應當做什么。該輝度變換行為可以通過例如參數(shù)lt傳送至接收器,該參數(shù)此時也是室外與室內(nèi)輝度之間的劃界器。許多可替換的參數(shù)化理念是可能的??赡苄枰辽賹τ谀承╊愋偷膆dr圖像、至少在一些mdr分級中移動該閾值的輝度位置(例如代替想要保持室內(nèi)顏色在所有顯示器上看起來相同的是,分級者可以決定使用hdr顯示器的較高能力中的一點,比如高于1500尼特,以便也在一定程度上亮化那些室內(nèi)顏色)。既沿著x軸又沿著y軸的移動可能是有利的。它完全取決于圖像中存在哪些顏色以及分級者想要哪些外觀對比度等等。
我們將給出用于闡述一個可能的參數(shù)實施例的一個有意義的實例。
圖21示出了我們置于基本工具包中的有趣的hdr-ldr輝度變換策略的一個實例,該策略限定我們的hdr外觀束編碼技術(這將相應于單元111的自定義曲線的特定實施例,但是代替作為lut傳送的是,我們將該函數(shù)作為5個參數(shù)傳送)?,F(xiàn)在,我們在該曲線圖上示出了規(guī)格化的(例如10比特)亮度,以及與它相對的頂部的用于5000尼特hdr輸入圖像的相應輝度,以及緊挨在右邊的可以根據(jù)hdr輸入圖像計算的mdr500尼特輸出圖像的輝度,現(xiàn)在移除了100尼特細節(jié)(其在上文中用于容易地解釋我們的構思)。
分級者再一次地規(guī)定hdr-ldr(即100尼特)曲線2100,但是現(xiàn)在利用該特定函數(shù)公式。它包含決定最暗的顏色在ldr分級圖像上看起來多亮的暗增益(斜率dg)。這是重要的,因為如果在hdr場景中,存在像燈那樣的在hdr亮度中仍然忠實地捕獲的非常明亮的對象,那么相同場景的陰影區(qū)域可能深深地落在規(guī)格化軸上,并且因此可能需要在ldr分級中相當程度地增強以便仍然能夠看出那里發(fā)生著什么。該暗范疇終止于點2101處。對于最亮的顏色,存在具有高亮增益hg的相似線性分段。在中間,存在寬度與線性部分的端點相應的拋物線分段。這可以控制居間的灰色對象的對比度。
現(xiàn)在,我們看到,參數(shù)上傳送的特殊點在mdr輝度變換曲線2103上具有變化的位置??梢允褂梅较騞ir以及尤其是所述指標計算這些變化的位置。
midx=(1-hg)/(dg-hg)
然后,計算具有坐標newmidx和newmidy的新中點pm2:
x0=midx;x1=dg*midx;y0=dg*midx;y1=midx
m=(y1-y0)/(x1-x0)
b=(x1*y0-x0*y1)/(x1-x0)
newmidx=((x1-x0)/2)*(1-ss)+x0
newmidy=m*newmidx+b
由此,可以計算拋物線區(qū)域的新寬度以及因此線性分段的兩個終止點:
newwidth=(1-p-oetf(ss,pb_h))*old_width
其中old_width為如分級者所確定的該曲線的參數(shù),即拋物線分段的寬度,即來自非對稱或者對稱地投影到兩側的寬度,線性分段從所述兩側的繼續(xù)部分在所謂的中點相遇。此時,當然,也可以計算新的暗增益和高亮增益:
newgg=newmidy/newmidx
nwhg=max((newmidy-1)/(newmidx-1),0)
讀者可以理解,可以設計用于其他情景的輝度變換函數(shù)的其他參數(shù)或者有意義的點的重新計算策略。
知道如何進行這些基本的計算(簡單的實施例可以應用這些計算,所述實施例大體不知道圖像細節(jié)和分級者的愿望,然而仍然需要為可用的顯示器產(chǎn)生合理的mdr重分級圖像),我們現(xiàn)在給出關于分級者如何可以通過結合再多一些適于當前hdr場景的細節(jié)的技術控制參數(shù)對此變化的幾個更明確的實施例。
圖22示出了如何可以對于特定hdr場景或者圖像鏡頭立即編碼哪個ms值將相應于哪個可用pb_d。根據(jù)上文應當理解的是,對于我們的mdr輝度映射(或者一般而言顏色變換)推導而言,首先需要將點m_pb_u置于所述指標上(即0.0與1.0之間或者甚至該范圍之外以便外推)的手段,這可以利用規(guī)格化坐標ms完成。然后,根據(jù)該值,可以將用于執(zhí)行hdr-ldr(或者在像模式2那樣的其他情景中,ldr-hdr)顏色變換的無論什么形狀的輝度映射函數(shù)轉(zhuǎn)換成計算mdr圖像所需的函數(shù)?,F(xiàn)在,如果具有例如作為lut傳送的顯式的指標位置確定函數(shù)(2201)或者簡單的方程,那么原則上甚至不需要基本的指標定義。可能有利的是,分級者可以以容易的方式確定這樣的函數(shù),例如可以使用冪定律,對于該冪定律而言,分級者可以通過例如轉(zhuǎn)動旋鈕改變冪。此時,他會在他的mdr顯示器上立即看到圖像的總外觀如何變化或者專注于關鍵區(qū)域,比如例如黑暗中的妖怪,他想要其在合理程度上可見,以便確保它將在觀看者的處所的所有其他實際顯示器上類似合理地可見。
但是,當具有良好的指標時,也可以設計如利用圖15所示的細調(diào)變型。在這里,m_mt_norm_in是用于我們的特定選擇的指標的ms值,即,它將再次在0.0與1.0之間運行。因此,我們可以計算用于pb_d峰值視亮度的特定顯示器的值。如果分級者沒有規(guī)定任何東西,那么作為輸出的合成m_mt_norm將相同,并且像在上面解釋的任何實施例中那樣的標準自動顯示調(diào)整將適用。然而,分級者可以規(guī)定優(yōu)選地平滑地偏離該形狀并且終止與0.0和1.0坐標的函數(shù)。例如,他可以設計冪函數(shù),其冪參數(shù)gpr決定如圖所示,甚至對于非常高pb_d的顯示器(即m_mt_norm_in接近0),mdr重分級應當看起來例如多強烈地像ldr分級,或者相反的情況(如通過以dgr偏移的合成m_pb_u點的位置看到的)。他甚至可以明確規(guī)定復雜的函數(shù),這些函數(shù)對于特定峰值視亮度以上的顯示器可以具有例如不同的行為,所述行為可以通過第二參數(shù)gptt或者例如限定曲線的線性較低部分等等的甚至更多的參數(shù)編纂。
因此,讀者應當理解,我們的技術可以采用若干指標(例如粗略地相應于相等的明度步階的若干相對相似的oetf定義,或者對分級的這樣的明度行為建模的其他函數(shù)),以及還有若干插值方向,以及確定它們的若干方式。例如,在簡單設備中,它可能固定在硬件中,并且通過在例如處理器上執(zhí)行計算而這樣確定,并且更復雜的實施例可以例如在接收自內(nèi)容創(chuàng)建側的來自人類分級者的、典型地作為一個或者幾個容易的參數(shù)的傳送的控制原理下,例如按電源中的畫面鏡頭(或者甚至對于圖像的部分,例如,較低的視亮度可以利用一個指標或者甚至一個方向插值,并且較高的視亮度利用另一個指標插值,并且根據(jù)場景,在所有插值的顏色投影的地方,可能不這樣挑剔)例如在mdr計算策略之間切換,但是,所述控制原理確實對于mdr圖像的外觀具有主要的影響。
本文中公開的算法組件可以(全部地或者部分地)在實踐中實現(xiàn)為硬件(例如專用ic的部分)或者實現(xiàn)為運行在專用數(shù)字信號處理器或者通用處理器等等上的軟件。存儲器產(chǎn)品可以例如為諸如藍光光盤或者固態(tài)記憶棒之類的便攜式存儲器,但是也可以是例如異地服務器中的存儲器,視頻或者圖像可以從該異地服務器下載到使用該視頻或者圖像的遠程位置。
技術人員根據(jù)我們的介紹應當可理解哪些部件可以是可選的改進并且可以與其他部件組合地實現(xiàn),以及(可選的)方法步驟如何與設備的各構件相應以及相反的情況。在本申請中,措詞“設備”在其最廣泛的意義上使用,即允許實現(xiàn)特定目的的一組構件,并且因此可以例如為ic(的小電路部分)或者專用電器(例如具有顯示器的電器)或者聯(lián)網(wǎng)的系統(tǒng)的部分等等?!安贾谩币差A期在最廣泛的意義上使用,因此它可以除別的以外還包括單個設備,設備的部分,協(xié)作設備(的部分)的集合等等。
計算機程序產(chǎn)品外延應當被理解為涵蓋命令集合的任何物理實現(xiàn),這些命令在將命令輸入到處理器中的一系列加載步驟(其可以包括中間轉(zhuǎn)換步驟,例如翻譯成中間語言和最終的處理器語言)之后使得通用或?qū)S锰幚砥髂軌驁?zhí)行發(fā)明的任何特有功能。特別地,計算機程序產(chǎn)品可以實現(xiàn)為諸如例如盤或帶之類的載體上的數(shù)據(jù)、存儲器中存在的數(shù)據(jù)、經(jīng)由網(wǎng)絡連接(有線的或者無線的)行進的數(shù)據(jù),或者紙上的程序代碼。除了程序代碼之外,程序所需的特性數(shù)據(jù)也可以實施為計算機程序產(chǎn)品。
方法操作所需的一些步驟可能已經(jīng)存在于處理器的功能中,而不是在計算機程序產(chǎn)品中描述,例如數(shù)據(jù)輸入和輸出步驟。
應當指出的是,上述實施例說明了而不是限制了本發(fā)明。在技術人員可以容易地實現(xiàn)權利要求書的給出的實例到其他區(qū)域的映射的情況下,我們?yōu)榱撕啙嵠鹨姏]有深入地提及所有這些選項。除了如在權利要求書中組合的本發(fā)明的元件的組合之外,這些元件的其他組合也是可能的。元件的任何組合可以在單個專用元件中實現(xiàn)。
在權利要求中,括號之間的任何附圖標記并不預期用于限制該權利要求。措詞“包括/包含”并沒有排除存在權利要求中未列出的元件或方面。元件之前的措詞“一”或“一個”并沒有排除存在多個這樣的元件。