深度信令數(shù)據(jù)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于提供三維[3D]視頻信號以供傳送到3D目的地設(shè)備的3D源設(shè)備。3D視頻信號包括表示3D顯示器上的左眼視圖的第一視頻信息和表示3D顯示器上的右眼視圖的第二視頻信息。3D目的地設(shè)備包括用于接收3D視頻信號的接收機(jī)和用于提供目的地深度圖以使得能夠形變(warp)用于3D顯示器的視圖的目的地深度處理器。3D源設(shè)備包括用于生成3D視頻信號和用于將3D視頻信號傳送到3D目的地設(shè)備的輸出單元。
[0002]本發(fā)明還涉及提供3D視頻信號以供傳送到3D目的地設(shè)備的方法。
[0003]本發(fā)明涉及在源設(shè)備(例如廣播方、互聯(lián)網(wǎng)網(wǎng)站服務(wù)器、創(chuàng)作系統(tǒng)、藍(lán)光盤制造商，等等)處生成3D視頻信號并將其傳送到需要深度圖以用于呈現(xiàn)多個(gè)視圖的3D目的地設(shè)備(例如藍(lán)光盤播放器、3D電視機(jī)、3D顯示器、移動(dòng)計(jì)算設(shè)備，等等)的領(lǐng)域。
【背景技術(shù)】
[0004]文獻(xiàn)“Real-time free-viewpoint viewer from multiview video plus depthrepresentat1n coded by H.264/AVC MVC extens1n (來自根據(jù) H.264/AVC MVC 擴(kuò)展編碼的多視圖視頻加深度表示的實(shí)時(shí)自由視點(diǎn)觀看器)，by Shinya Shimizu, HideakiKimata, andYoshimitsu Ohtani, NTT Cyber Space Labortories, NTT corporat1n(NTT網(wǎng)絡(luò)空間實(shí)驗(yàn)室，NTT公司)，3DTV-C0N, IEEE 2009”除了描述MPEG編碼視頻傳送信號，還描述了 3D視頻技術(shù)，尤其是用于將深度圖納入視頻格式中的多視圖編碼(MVC)擴(kuò)展。用于納入深度圖視頻編碼的MVC擴(kuò)展允許構(gòu)建表示具有相關(guān)的多個(gè)補(bǔ)充視圖(即深度圖視圖)的多個(gè)視圖的比特流。根據(jù)該文獻(xiàn)，可以將深度圖添加到具有表示3D顯示器上的左眼視圖的第一視頻信息和表示3D顯示器上的右眼視圖的第二視頻信息的3D視頻數(shù)據(jù)流。在解碼器側(cè)的深度圖使得能夠生成除了左右視圖以外的、例如用于自動(dòng)立體感顯示的另外的視圖。

【發(fā)明內(nèi)容】

[0005]視頻材料可以被提供有深度圖。另外，有許多現(xiàn)有3D視頻材料并不具有深度圖數(shù)據(jù)。對于這樣的材料，目的地設(shè)備可以具有用于基于第一和第二視頻信息來生成所生成的深度圖的立體到深度轉(zhuǎn)換器。
[0006]本發(fā)明的目的是提供用于提供深度信息并傳送該深度信息的、對于增強(qiáng)3D視頻呈現(xiàn)來說更為靈活的系統(tǒng)。
[0007]為此目的，根據(jù)本發(fā)明的第一方面，如開頭段落中描述的源設(shè)備包括用于提供深度信令數(shù)據(jù)的源深度處理器，該深度信令數(shù)據(jù)表示用于使目的地深度圖或視圖的形變適配于3D顯示器的處理?xiàng)l件，并且輸出單元布置用于將該深度信令數(shù)據(jù)包括在3D視頻信號中。
[0008]該方法包括:生成3D視頻信號；提供深度信令數(shù)據(jù)，該深度信令數(shù)據(jù)表示用于使目的地深度圖或視圖的形變適配于3D顯示器的處理?xiàng)l件；以及將深度信令數(shù)據(jù)包括在3D視頻信號中。
[0009]3D視頻信號包括深度信令數(shù)據(jù)，該深度信令數(shù)據(jù)表示用于使目的地深度圖或視圖的形變適配于3D顯示器的處理?xiàng)l件。
[0010]在目的地設(shè)備中，接收機(jī)布置用于從3D視頻信號獲取深度信令數(shù)據(jù)。目的地深度處理器布置用于根據(jù)該深度信令數(shù)據(jù)而使目的地深度圖或視圖的形變適配于3D顯示器。
[0011]這些措施具有以下效果:使得目的地設(shè)備能夠使用3D視頻信號中的深度信令數(shù)據(jù)而使目的地深度圖或視圖的形變適配于3D顯示器。因此，在可用之時(shí)和可用之處，深度信令數(shù)據(jù)被應(yīng)用來增強(qiáng)目的地深度圖或形變。有效地，在源的控制之下向目的地設(shè)備提供附加深度信令數(shù)據(jù)，例如處理參數(shù)或指令，該數(shù)據(jù)使得源能夠控制和增強(qiáng)在3D顯示器中基于目的地深度圖形變視圖。
[0012]有利地，在處理資源可用并且離線生成被允許的源處，生成深度信令數(shù)據(jù)。因?yàn)獒槍ο鄳?yīng)的顯示器優(yōu)化了深度圖和視圖的形變，所以降低了目的地側(cè)的處理要求并且增強(qiáng)了3D效果。
[0013]本發(fā)明還基于以下認(rèn)識。發(fā)明人已經(jīng)看到，在目的地側(cè)的深度圖處理或生成以及后續(xù)的視圖形變通常提供非常令人愉快的結(jié)果。然而，鑒于3D顯示器的能力(諸如在不同深度處的圖像的銳度)，在一些時(shí)刻或位置，可以通過操縱深度(例如通過向目的地深度圖應(yīng)用偏移量)來將實(shí)際視頻內(nèi)容更好地展現(xiàn)給觀眾。可以在源處預(yù)見用于在特定3D顯示器處的這樣的操縱的需求、量和/或參數(shù)，并且將所述深度信令數(shù)據(jù)添加作為處理?xiàng)l件使得能夠在目的地側(cè)增強(qiáng)深度圖或視圖形變，同時(shí)限制必須傳送的深度信令數(shù)據(jù)的量。
[0014]可選地，在3D源設(shè)備中，源深度處理器布置用于提供深度信令數(shù)據(jù)作為處理?xiàng)l件，該深度信令數(shù)據(jù)包括以下各項(xiàng)中的至少一個(gè):偏移量、增益、縮放的類型、邊緣的類型。當(dāng)該偏移量應(yīng)用于目的地深度圖時(shí)，相對于顯示器的平面向后或向前有效地移動(dòng)對象。有利地，發(fā)信號通知該偏移量使得源側(cè)能夠?qū)⒅匾獙ο笠苿?dòng)到靠近3D顯示器平面的位置。當(dāng)該增益應(yīng)用于目的地深度圖時(shí)，離開或朝向3D顯示器的平面有效地移動(dòng)對象。有利地，發(fā)信號通知該增益使得源側(cè)能夠控制重要對象相對于3D顯示器平面的移動(dòng)，即圖片中深度的量。該縮放的類型指示深度圖中的值將如何轉(zhuǎn)換成當(dāng)形變視圖時(shí)將要使用的實(shí)際值(例如雙線性縮放、雙三次縮放)或如何適配視角錐(viewing cone)。深度信息中的該邊緣的類型指示3D視頻中對象的屬性，比如，例如來自從計(jì)算機(jī)生成的內(nèi)容推導(dǎo)的深度的銳利邊緣、例如來自自然源的軟邊緣、例如來自經(jīng)處理的視頻材料的模糊邊緣、等等。有利地，當(dāng)處理目的地深度數(shù)據(jù)以用于形變視圖時(shí)可以使用3D視頻的屬性。
[0015]可選地，源深度處理器布置用于根據(jù)3D視頻信號中的鏡頭來提供針對一段時(shí)間的深度信令數(shù)據(jù)。有效地，深度信令數(shù)據(jù)應(yīng)用于具有相同的3D配置(例如特定攝像機(jī)和縮小放大(zoom)配置)的一段時(shí)間的3D視頻信號。通常該配置在視頻節(jié)目的一個(gè)鏡頭期間基本上穩(wěn)定。鏡頭邊界可以是已知的或者可以容易地在源側(cè)檢測到，并且有利地，針對對應(yīng)于該鏡頭的時(shí)間段來裝配一組深度信令數(shù)據(jù)。
[0016]可選地，源深度處理器布置用于提供包括感興趣區(qū)域的區(qū)域數(shù)據(jù)的深度信令數(shù)據(jù)作為處理?xiàng)l件，以使得能夠在3D顯示器的優(yōu)選深度范圍內(nèi)顯示該感興趣區(qū)域。有效地，該感興趣區(qū)域由被假定成吸引了觀眾注意力的3D視頻材料中的元素或?qū)ο髽?gòu)成。感興趣區(qū)域可以是已知的或者可以容易地在源側(cè)檢測到，并且有利地，裝配一組深度信令數(shù)據(jù)以用于指示對應(yīng)于該感興趣區(qū)域的位置、區(qū)塊或深度范圍，這使得視圖的形變能夠適配于靠近3D顯示器的最優(yōu)深度范圍(例如靠近顯示器平面)而顯示感興趣區(qū)域。
[0017]可選地，源深度處理器還可以布置用于根據(jù)感興趣區(qū)域的變化超過預(yù)定閾值(諸如面部的深度位置的實(shí)質(zhì)性變化)來更新區(qū)域數(shù)據(jù)。此外，源深度處理器還可以布置用于提供指示感興趣區(qū)域的深度范圍的區(qū)域深度數(shù)據(jù)，作為區(qū)域數(shù)據(jù)。區(qū)域深度數(shù)據(jù)使得目的地設(shè)備能夠形變視圖同時(shí)將這樣的深度范圍中的對象移動(dòng)到3D顯示器設(shè)備的優(yōu)選深度范圍。源深度處理器還可以布置用于提供指示與3D視頻信號中的至少一個(gè)宏塊對齊的感興趣區(qū)域區(qū)塊的面積的區(qū)域面積數(shù)據(jù)，作為區(qū)域數(shù)據(jù)，該宏塊表示壓縮視頻數(shù)據(jù)的預(yù)定塊。這樣的區(qū)域面積數(shù)據(jù)將被高效地編碼和處理。
[0018]可選地，3D視頻信號包括深度數(shù)據(jù)。源深度處理器還可以布置用于提供包括深度數(shù)據(jù)類型的深度信令數(shù)據(jù)作為處理?xiàng)l件，該處理?xiàng)l件被應(yīng)用于目的地深度圖以用于調(diào)整視圖的形變。深度數(shù)據(jù)類型可以包括以下各項(xiàng)中的至少一個(gè):
-指示基于聚焦數(shù)據(jù)生成的深度數(shù)據(jù)的聚焦指示符；
-指示基于透視數(shù)據(jù)生成的深度數(shù)據(jù)的透視指示符；
-指示基于運(yùn)動(dòng)數(shù)據(jù)生成的深度數(shù)據(jù)的運(yùn)動(dòng)指示符；
-指示源自特定源的深度數(shù)據(jù)的源指示符；
-指示由特定算法處理的深度數(shù)據(jù)的算法指示符；
-指示在深度數(shù)據(jù)中的對象的邊界處使用的擴(kuò)張的量的擴(kuò)張指示符。各個(gè)指示符使得在目的地側(cè)的深度處理器能夠相應(yīng)地解釋和處理3D視頻信號中包括的深度數(shù)據(jù)。
[0019]在所附的權(quán)利要求中給出了根據(jù)本發(fā)明的設(shè)備和方法的另外的優(yōu)選實(shí)施例，其公開內(nèi)容通過引用合并于此。
【附圖說明】
[0020]根據(jù)在下面的描述中作為示例描述的實(shí)施例和附圖，本發(fā)明的這些和其他方面將是顯而易見的，并且進(jìn)一步參考在下面的描述中作為示例描述的實(shí)施例以及參考附圖，本發(fā)明的這些和其他方面被闡明，在附圖中:
圖1示出用于處理3D視頻數(shù)據(jù)和顯示該3D視頻數(shù)據(jù)的系統(tǒng)；
圖2示出使用深度信令數(shù)據(jù)的3D解碼器；
圖3示出提供深度信令數(shù)據(jù)的3D編碼器；
圖4示出自動(dòng)立體顯示設(shè)備和形變多個(gè)視圖；
圖5不出雙視圖立體顯不設(shè)備和形變增強(qiáng)的視圖；
圖6示出3D視頻信號中的深度信令數(shù)據(jù)；
圖7示出3D視頻信號中的感興趣區(qū)域深度信令數(shù)據(jù)；
圖8示出用于多個(gè)3D顯示器的深度信令數(shù)據(jù)；以及圖9示出用于適配視角錐的縮放。
[0021]這些圖純粹是概略的并且未按比例繪制。在這些圖中，對應(yīng)于已經(jīng)描述的元素的元素可以具有相同的參考數(shù)字。
【具體實(shí)施方式】
[0022]存在許多不同的方式，其中3D視頻信號可以根據(jù)所謂的3D視頻格式而被格式化和傳送。一些格式基于使用2D信道來另外攜帶立體信息。在3D視頻信號中，圖像由二維像素陣列中的圖像值表示。例如，左右視圖可以交錯(cuò)或者可以并排或頂-底(彼此上下)放置在幀中。此外，深度圖可以被傳送，可能地另外的3D數(shù)據(jù)，像遮掩(occlus1n)或透明數(shù)據(jù)可以被傳送。在本文中，視差圖也被認(rèn)為是一種類型的深度圖。深度圖具有同樣在對應(yīng)于圖像的二維陣列