用于多視圖自動立體顯示器的深度圖傳送格式的制作方法
【專利說明】用于多視圖自動立體顯示器的深度圖傳送格式
[0001]對相關(guān)申請的交叉引用
[0002]本申請要求2013年4月4日提交的美國臨時(shí)申請N0.61/808422的優(yōu)先權(quán)，其全部內(nèi)容通過引用并入本文。
技術(shù)領(lǐng)域
[0003]本發(fā)明一般地涉及圖像。更特別地，本發(fā)明的實(shí)施例涉及用于多視圖自動立體顯示器的深度圖的傳送的格式。
【背景技術(shù)】
[0004]不管是在電影院還是在家中，三維(3D)視頻系統(tǒng)在增強(qiáng)用戶體驗(yàn)方面都廣受關(guān)注。這些系統(tǒng)使用立體或自動立體的表現(xiàn)方法，包括:立體影片、線偏振、圓偏振、快門眼鏡和光譜分離。
[0005]當(dāng)今市場上可獲得的大多數(shù)3D顯示器是立體電視(TV)，需要用戶佩戴快門3D眼鏡從而體驗(yàn)3D效果。將3D內(nèi)容傳送到這些顯示器需要輸送兩個(gè)分離的視圖:左視圖和右視圖。即將出現(xiàn)自動立體(無眼鏡)顯示器的大規(guī)模使用。這些顯示器提供一定量的運(yùn)動視差(parallax);觀看者可以輕微四處移動他/她的頭以從極其不同的角度觀看對象。
[0006]傳統(tǒng)的立體顯示器提供單一的3D視圖；然而自動立體顯示器(也被稱為多視圖顯示器)基于該顯示器的設(shè)計(jì)來提供多個(gè)視圖，諸如5個(gè)視圖、9個(gè)視圖、28個(gè)視圖等。當(dāng)常規(guī)立體內(nèi)容被提供至自動立體顯示器時(shí)，該顯示器提取深度圖并基于該深度圖來創(chuàng)建或呈現(xiàn)多個(gè)視圖。如本文所使用的，術(shù)語“深度圖”表示包含與從視點(diǎn)到場景物體的表面的距離相關(guān)的信息的圖像或者其他比特流。如以下更詳細(xì)解釋的，深度圖可以被容易地轉(zhuǎn)換為視差圖(disparity map)，并且在本文的上下文中，術(shù)語深度圖和視差圖相同并且可互換。
[0007]深度圖信息還可以被用于定制用于具有不同分辨率和顯示器尺寸(例如1SOp顯示器或4K顯示器)的不同顯示器類型的3D體驗(yàn)。已有多個(gè)研究表明針對3D電影院設(shè)計(jì)的深度的量不適于較小的移動設(shè)備，并且反之亦然。深度圖可以被用于重新呈現(xiàn)視圖以改變感知的深度并且做出額外的調(diào)整。如本文中發(fā)明人所理解的，期待用于與內(nèi)容一起傳送深度圖的改進(jìn)的技術(shù)以改進(jìn)使用自動立體和立體顯示器的用戶體驗(yàn)。進(jìn)一步被理解的，這些改進(jìn)的技術(shù)優(yōu)選地與現(xiàn)有的單一視圖(2D)和3D系統(tǒng)反向可兼容。
[0008]本節(jié)中描述的方法是可以被尋求的方法，但不一定是以前設(shè)想過或?qū)で筮^的方法。因此，除非另外指出，否則不應(yīng)當(dāng)僅僅因?yàn)楸竟?jié)描述的任何方法被包括在本節(jié)中就假定它們是現(xiàn)有技術(shù)。類似地，除非另外指出，否則不應(yīng)該基于本節(jié)假設(shè)任何現(xiàn)有技術(shù)中已經(jīng)認(rèn)識到相對于一個(gè)或多個(gè)方法確定的問題。
【附圖說明】
[0009]在附圖中的圖中通過示例的方式而不是限制的方式來描述本發(fā)明的實(shí)施例，并且附圖中相同的附圖標(biāo)記表示類似的元件，其中:
[0010]圖1示出了根據(jù)本發(fā)明的實(shí)施例的用于傳送3D視頻和相關(guān)聯(lián)深度數(shù)據(jù)的示例系統(tǒng)；
[0011]圖2示出了非對稱單一層深度圖傳送格式的示例。
[0012]圖3示出了根據(jù)本發(fā)明的實(shí)施例的使用旋轉(zhuǎn)深度圖的非對稱深度圖傳送格式的示例。
[0013]圖4A和圖4B示出了根據(jù)本發(fā)明的實(shí)施例的深度圖傳送格式的示例。
[0014]圖5示出了根據(jù)本發(fā)明的實(shí)施例的用于使用深度圖旋轉(zhuǎn)和深度圖段兩者來生成圖像數(shù)據(jù)和深度圖數(shù)據(jù)區(qū)段的示例過程。
【具體實(shí)施方式】
[0015]本文描述了用于立體和自動立體(多視圖)顯示器的深度圖的傳送格式。這些格式支持多種視頻傳送情景，包括傳統(tǒng)的線纜、衛(wèi)星或空中(over the air)廣播和過頂(overthe top)傳送。在以下描述中，出于解釋的目的，解釋多個(gè)具體的細(xì)節(jié)從而提供對本發(fā)明的透徹的理解。然而清楚的是，即使沒有這些具體的細(xì)節(jié)，本發(fā)明也可以被實(shí)現(xiàn)。在其它實(shí)例中，公知的結(jié)構(gòu)和設(shè)備未被無遺漏地描述以避免不必要地模糊本發(fā)明。
[0016]概述
[0017]此處描述的示例實(shí)施例涉及用于多視圖顯示器的深度圖信息的傳送格式。給定3D輸入圖片和對應(yīng)的輸入深度圖數(shù)據(jù)，可以創(chuàng)建組合圖像數(shù)據(jù)區(qū)段和深度圖數(shù)據(jù)區(qū)段的多路復(fù)用的非對稱的輸出圖像幀，其中該圖像數(shù)據(jù)區(qū)段具有與深度圖數(shù)據(jù)區(qū)段不同的尺寸。該圖像數(shù)據(jù)區(qū)段包含3D輸入的輸入視圖中的一個(gè)或多個(gè)，而深度圖區(qū)段至少包含相對于多路復(fù)用的輸出圖像幀中的圖像數(shù)據(jù)的取向而旋轉(zhuǎn)的輸入深度圖數(shù)據(jù)的一部分。
[0018]在一些實(shí)施例中，深度圖數(shù)據(jù)還可以被分段為一個(gè)或多個(gè)深度圖段，所述一個(gè)或多個(gè)深度圖段可以在被多路復(fù)用為輸出圖像幀的深度圖部分之前被重新布置。
[0019]針對3D的示例傳送格式
[0020]圖1示出了根據(jù)本發(fā)明的實(shí)施例的用于編碼和解碼3D數(shù)據(jù)和相關(guān)聯(lián)深度數(shù)據(jù)的示例系統(tǒng)。如圖1中所示，根據(jù)將在本文中描述的方法，輸入立體信號(105)和相關(guān)聯(lián)深度數(shù)據(jù)Z(107)的左視圖和右視圖(105-1,105-2)被圖像數(shù)據(jù)和深度格式化器(110)首先格式化并且多路復(fù)用為3D+Z信號(112)。
[0021]在本發(fā)明的一個(gè)實(shí)施例中，深度數(shù)據(jù)(107)表示左視圖和右視圖之間的視差。如本文所使用的，術(shù)語“視差”表示立體圖像的左視圖和右視圖中對象的位置之間橫向距離的差異。在立體視頻成像中，視差通常表示一個(gè)視圖(例如左圖像)中的圖像特征當(dāng)在另一視圖(例如右圖像)中被觀看時(shí)的(例如向左或者向右的)水平位移。例如，在左圖像中位于水平位置匕并且在右圖像中位于水平位置h R的點(diǎn)可被表示為具有h「hR像素的視差。雖然可以使用替代的表示，但是視差數(shù)據(jù)還可以被表示為深度或“輸入Z”數(shù)據(jù)，通常被表示為[0，255]范圍中的8比特灰度數(shù)據(jù)。
[0022]依賴于編碼格式，3D+Z信號(112)可以包含一個(gè)或多個(gè)層，諸如基層和一個(gè)或多個(gè)增強(qiáng)層。3D+Z信號(112)由編碼器(120)編碼以生成編碼的比特流(122)。編碼器(120)可以是已知視頻編碼器中的任一個(gè)，諸如由IS0/IEC MPEG-2、MPEG-4 part 2, MPEG-4, part
10(H.264/AVC)或HEVC標(biāo)準(zhǔn)規(guī)定的那些編碼器或其他編碼器(諸如VP8、VC-1)等。在存儲或傳輸之前，編碼的比特流(122)可以與額外的輔助數(shù)據(jù)或元數(shù)據(jù)(未示出)一起被多路復(fù)用，以輔助合適的解碼器從而解碼并解復(fù)用立體圖像數(shù)據(jù)和它們對應(yīng)的深度數(shù)據(jù)。
[0023]在諸如機(jī)頂盒、電視等之類的接收器中，解碼器(130)(例如，MPEG-2或H.264解碼器)可以解碼由編碼器(120)編碼的比特流并且生成解碼的3D+Z信號，針對有損壓縮，該信號是傳輸?shù)?D+Z信號(112)的較接近的近似。解復(fù)用器(140)提取深度圖數(shù)據(jù)(147)和一個(gè)或多個(gè)圖像視圖(142)，并且可以將它們傳遞至隨后的處理，諸如與顯示器管理和顯示器有關(guān)的處理。老式接收器可以忽略深度數(shù)據(jù)和第二視圖，從而僅顯示單一視圖作為傳統(tǒng)2D圖像；然而其他解碼器可以使用所有可獲得的信息來重新生成3D信號(105)的一個(gè)或多個(gè)視圖。
[0024]圖2示出了單一層3D+Z信號傳送格式(200)的示例。格式化的3D+Z信號
(212)包含輝度或亮度分量(212-Y)和對應(yīng)的色度分量(212-UV)。例如，在某些實(shí)施例中，信號(212)可以被以4:2:0YUV格式編碼。在某些其他實(shí)施例中，信號(212)可以被以4:2:OYCbCr格式編碼。如圖2所示，信號(212)的色度分量可以具有比亮度分量低的像素分辨率；然而，本文描述的所有方法適用于其中色度可能與亮度分量具有相同分辨率(例如，4:4: 4YCbCr或4:4: 4YUV)的顏色格式。
[0025]傳送格式(200)可以使用非對稱