無線3d流式傳輸服務器的制造方法
【專利摘要】一種裝置、系統(tǒng)、方法以及計算機程序產(chǎn)品，用于將3D內(nèi)容從無線設備流式傳輸至遠程3D顯示器以便在較大的屏幕上觀看3D內(nèi)容。在一些方面，無線流式傳輸服務器可以以特定格式對3D影片內(nèi)容進行編碼，其中每一個圖像幀包括與深度信息的互補幀并排鏈接的2D視圖。2D視圖和深度信息的結(jié)合能夠由客戶端顯示器進行處理以生成表示3D視圖的立體圖像。
【專利說明】無線3D流式傳輸服務器
【技術領域】
[0001]本公開內(nèi)容一般涉及無線通信，更具體地說，涉及3D圖像的無線流式傳輸(streaming)。
【背景技術】
[0002]3D影片(motion picture)正變得日益普及，其結(jié)果是，3D內(nèi)容的可獲得性正快速地增長。傳統(tǒng)2D內(nèi)容的諸多觀看者會希望將其內(nèi)容轉(zhuǎn)換為3D內(nèi)容。此外，移動設備(諸如無線用戶設備(UE))的諸多用戶會希望隨身攜帶該內(nèi)容，使得在外出時可享受3D內(nèi)容并且與同事、朋友、家人和商業(yè)伙伴分享3D內(nèi)容。
[0003]然而，如果3D內(nèi)容存儲在UE上，UE通常包括很小的顯示屏，則這使得用戶在UE上觀看3D電影不那么的令人享受。此外，當前極少有電話可用于具有3D顯示器或支持3D呈現(xiàn)。
[0004]因此，在本領域內(nèi)存在對涉及3D內(nèi)容的用戶體驗和移動性的持續(xù)改善的推動。

【發(fā)明內(nèi)容】

[0005]本公開內(nèi)容的一些方面為用戶設備(UE)提供了有效的方式來將3D內(nèi)容流式傳輸?shù)竭h程3D顯示器以便在較大的屏幕上觀看3D電影。因此，UE變成了無線3D流式傳輸服務器，而遠程顯示器變成了用于3D影片的客戶端。
[0006]在本公開內(nèi)容的一個方面，流式傳輸服務器可以以特定格式對3D影片內(nèi)容進行編碼，其中每個圖像幀包括與深度信息的互補幀并排鏈接的2D視圖。2D視圖和深度信息的結(jié)合能夠由客戶端顯示器進行處理以生成表示3D視圖的立體圖像。
[0007]包括并排的2D視圖和深度信息的鏈接幀可以被無線地從流式傳輸服務器流式傳輸?shù)娇蛻舳?。使用上述的編碼，用于流式傳輸?shù)乃鑾捪鄬τ诹Ⅲw圖像的流式傳輸有所減少，因為深度信息可以被視為單色圖像，其中與每個像素相關聯(lián)的深度由單個數(shù)字表示。
[0008]該格式的特征在于深度信息可以簡單地被刪截，并且2D圖像可以被顯示。例如，在早期的(legacy) 2D客戶端顯示器中，可忽略深度信息。
[0009]另一個特征在于在遠程客戶端3D顯示器正在顯示3D圖像的同時無線流式傳輸服務器(UE)可在它的本地顯示器上顯示與半個鏈接幀相對應的2D電影。
[0010]在本公開內(nèi)容的另一個方面，包括并排格式的鏈接幀可以使用會話描述協(xié)議(SDP)的擴展進行編碼。以這一方式，可保持對符合SDP的早期設備的后向兼容性，因為即使幀的深度信息部分在那里它們也無法感知到，并且會正常地顯示2D圖像部分。
[0011]在本公開內(nèi)容的另一個方面，SDP被進一步擴展以提供關于流式傳輸內(nèi)容實際上是3D內(nèi)容的指示。因此，附加的信息元被包括在SDP流中以指示流是3D的。
[0012]在本公開內(nèi)容的方面，從流式傳輸服務器流式傳輸媒體內(nèi)容的方法包括:在所述流式傳輸服務器處提供三維(3D)媒體內(nèi)容；在所述流式傳輸服務器與流式傳輸客戶端之間建立流式傳輸會話；以及在所述流式傳輸會話上向所述流式傳輸客戶端發(fā)送所述媒體內(nèi)容，以用于3D圖像的遠程呈現(xiàn)和顯示。
[0013]在本公開內(nèi)容的另一個方面，流式傳輸服務器包括:文件解析器，其被配置為從內(nèi)容源中提取3D媒體內(nèi)容；多媒體消息傳送服務模塊，其被配置為建立與流式傳輸客戶端的流式傳輸會話；以及無線發(fā)射機，其被配置為在所述流式傳輸會話上向所述流式傳輸客戶端流式傳輸所述3D媒體內(nèi)容。
[0014]在本公開內(nèi)容的另一個方面，無線通信的方法包括:在無線流式傳輸會話上從流式傳輸服務器接收媒體內(nèi)容，所述媒體內(nèi)容包括二維(2D)圖像和對應的深度圖；基于所述2D圖像和所述深度圖來合成三維(3D)圖像；以及在顯示器上呈現(xiàn)所述3D圖像。
[0015]在本公開內(nèi)容的另一個方面，流式傳輸客戶端包括:無線接收機，其被配置為從流式傳輸服務器接收包括三維(3D)媒體內(nèi)容的流，所述3D媒體內(nèi)容包括二維(2D)圖像和對應的深度圖；3D過濾器，其用于分離所述2D圖像和所述對應的深度圖；基于深度圖像的呈現(xiàn)(DIBR)模塊，其用于基于所述2D圖像和所述對應的深度圖來生成立體圖像；以及顯示驅(qū)動器，其用于在顯示器上呈現(xiàn)所述立體圖像。
[0016]在本公開內(nèi)容的另一個方面，用于從流式傳輸服務器流式傳輸媒體內(nèi)容的裝置包括:用于在所述流式傳輸服務器處提供三維(3D)媒體內(nèi)容的單元；用于在所述流式傳輸服務器與流式傳輸客戶端之間建立流式傳輸會話的單元；以及用于在所述流式傳輸會話上向所述流式傳輸客戶端發(fā)送所述媒體內(nèi)容，以用于3D圖像的遠程呈現(xiàn)和顯示的單元。
[0017]在本公開內(nèi)容的另一個方面，用于無線通信的裝置包括:用于在無線流式傳輸會話上從流式傳輸服務器接收媒體內(nèi)容的單元，所述媒體內(nèi)容包括二維(2D)圖像和對應的深度圖；用于基于所述2D圖像和所述深度圖來合成三維(3D)圖像的單元；以及用于在顯示器上呈現(xiàn)所述3D圖像的單元。
[0018]在本公開內(nèi)容的另一個方面，計算機程序產(chǎn)品包括計算機可讀介質(zhì)，所述計算機可讀介質(zhì)具有:用于在流式傳輸服務器處提供三維(3D)媒體內(nèi)容的代碼；用于在所述流式傳輸服務器和流式傳輸客戶端之間建立流式傳輸會話的代碼；以及用于在所述流式傳輸會話上向所述流式傳輸客戶端發(fā)送所述媒體內(nèi)容，以用于3D圖像的遠程呈現(xiàn)和顯示的代碼。
[0019]在本公開內(nèi)容的另一個方面，計算機程序產(chǎn)品包括計算機可讀介質(zhì)，所述計算機可讀介質(zhì)具有:用于在無線流式傳輸會話上從流式傳輸服務器接收媒體內(nèi)容的代碼，所述媒體內(nèi)容包括二維(2D)圖像和對應的深度圖；用于基于所述2D圖像和所述深度圖來合成三維(3D)圖像的代碼；以及用于在顯示器上呈現(xiàn)所述3D圖像的代碼。
[0020]在本公開內(nèi)容的另一個方面，用于從流式傳輸服務器流式傳輸媒體內(nèi)容的裝置包括處理器和耦接到所述處理器的存儲器，其中所述處理器被配置為:在所述流式傳輸服務器處提供三維(3D)媒體內(nèi)容；在所述流式傳輸服務器與流式傳輸客戶端之間建立流式傳輸會話；以及在所述流式傳輸會話上向所述流式傳輸客戶端發(fā)送所述媒體內(nèi)容，以用于3D圖像的遠程呈現(xiàn)和顯示。
[0021]在本公開內(nèi)容的另一個方面，用于無線通信的裝置包括處理器和耦接到所述處理器的存儲器，
[0022]其中所述處理器被配置為:在無線流式傳輸會話上從流式傳輸服務器接收媒體內(nèi)容，所述媒體內(nèi)容包括二維(2D)圖像和對應的深度圖；基于所述2D圖像和所述深度圖來合成三維(3D)圖像；以及在顯示器上呈現(xiàn)所述3D圖像。【專利附圖】

【附圖說明】
[0023]圖1是示出了使用處理系統(tǒng)的裝置的硬件實現(xiàn)的例子的概念圖。
[0024]圖2A-圖2C是示出了分別用于生成鏈接的2D+深度文件、流式傳輸鏈接的2D+深度文件、以及接收并將鏈接的2D+深度文件顯示為3D圖像的示例性裝置的簡化框圖。
[0025]圖3是示出了根據(jù)本公開內(nèi)容的方面的鏈接的2D+深度幀的一個例子的圖。
[0026]圖4A-圖4C是示出了分別用于生成分離的2D+深度文件、流式傳輸分離的2D+深度文件、以及接收分離的2D+深度文件并顯示3D圖像的示例性裝置的簡化框圖。
[0027]圖5是示出了根據(jù)本公開內(nèi)容的方面的流式傳輸服務器的特定實現(xiàn)的進一步細節(jié)的框圖。
[0028]圖6是示出了根據(jù)本公開內(nèi)容的方面的流式傳輸客戶端的特定實現(xiàn)的進一步細節(jié)的框圖。
[0029]圖7是示出了根據(jù)本公開內(nèi)容的方面的用于從流式傳輸服務器流式傳輸媒體內(nèi)容的過程的流程圖。
[0030]圖8是示出了根據(jù)本公開內(nèi)容的方面的用于無線通信的過程的流程圖。
【具體實施方式】
[0031]以下結(jié)合附圖而給出的詳細說明旨在作為對各種配置的說明，而非旨在表示可以在其中實施本文所描述的構(gòu)思的僅有的配置。詳細的說明包括具體的細節(jié)，以便提供對各種構(gòu)思的透徹理解。然而，對本領域技術人員來說顯而易見的是，可以不用這些具體細節(jié)來實施這些構(gòu)思。在一些實例中，以框圖形式示出公知的結(jié)構(gòu)和組件以便避免使這些構(gòu)思模糊不清。
[0032]現(xiàn)在將參照各種裝置和方法來呈現(xiàn)電信系統(tǒng)的若干方面。這些裝置和方法將在以下詳細的說明中進行描述并在附圖中通過各種框、模塊、組件、電路、步驟、過程、算法等(統(tǒng)稱為“要素”)予以示出。這些要素可使用電子硬件、計算機軟件或其任意組合來實現(xiàn)。究竟這些要素是實現(xiàn)為硬件還是軟件取決于特定的應用和施加到整體系統(tǒng)上的設計約束。
[0033]舉例而言，要素或者要素的任何部分或者要素的任意組合可以用包括一個或多個處理器的“處理系統(tǒng)”來實現(xiàn)。處理器的例子包括微處理器、微控制器、數(shù)字信號處理器(DSP)、現(xiàn)場可編程門陣列(FPGA)、可編程邏輯器件(PLD)、狀態(tài)機、門控邏輯、分立硬件電路和被配置為執(zhí)行貫穿本公開內(nèi)容所描述的各種功能的其它適當?shù)挠布Ｌ幚硐到y(tǒng)中的一個或多個處理器可以執(zhí)行軟件。無論是稱作為軟件、固件、中間件、微代碼、硬件描述語言或是其它，軟件應廣義地理解為表示指令、指令集、代碼、代碼段、程序代碼、程序、子程序、軟件模塊、應用、軟件應用、軟件包、例程、子例程、對象、可執(zhí)行程序、執(zhí)行線程、過程、函數(shù)等。軟件可駐留在計算機可讀介質(zhì)上。計算機可讀介質(zhì)可以是非暫時性計算機可讀介質(zhì)。非暫時性計算機可讀介質(zhì)包括，舉例而言，磁存儲設備(例如，硬盤、軟盤、磁條)、光盤(例如壓縮光盤(CD )、數(shù)字多功能光盤(DVD ))、智能卡、閃存設備(例如，卡、棒、鑰匙式驅(qū)動器)、隨機存取存儲器(RAM)、只讀存儲器(ROM)、可編程ROM (PR0M)、可擦除PROM (EPR0M)、電可擦除PROM (EEPR0M)、寄存器、可移動磁盤、以及用于存儲由計算機可訪問和讀取的軟件和/或指令的任何其它適當?shù)慕橘|(zhì)。計算機可讀介質(zhì)可駐留在處理系統(tǒng)中、在處理系統(tǒng)外部或分布于包括處理系統(tǒng)的多個實體中。計算機可讀介質(zhì)可以體現(xiàn)在計算機程序產(chǎn)品中。舉例而言，計算機程序產(chǎn)品可以包括封裝材料中的計算機可讀介質(zhì)。本領域技術人員應當認識到，如何最佳地實現(xiàn)貫穿于本公開內(nèi)容呈現(xiàn)的所描述的功能取決于特定應用和施加在整個系統(tǒng)上的整體設計約束。
[0034]圖1是示出了使用處理系統(tǒng)114的裝置100的硬件實現(xiàn)的例子的概念圖。在該例子中，處理系統(tǒng)114可以用通常由總線102表示的總線架構(gòu)來實現(xiàn)。取決于處理系統(tǒng)114的具體應用和整體設計約束，總線102可以包括任意數(shù)量的互連總線和橋接器。總線102將各種電路連接在一起，所述各種電路包括通常由處理器104表示的一個或多個處理器和通常由計算機可讀介質(zhì)106表示的計算機可讀介質(zhì)。總線102還可以連接各種其它電路，諸如定時源、外設、電壓調(diào)節(jié)器和電源管理電路，這些在本領域中是公知的，因此將不再深入進行描述?？偩€接口 108提供了總線102與收發(fā)機110之間的接口。收發(fā)機110提供了用于在傳輸介質(zhì)上與各種其它裝置通信的方式。取決于裝置的特征，還可以提供用戶接口112 (例如，鍵盤、顯示器、揚聲器、麥克風、操縱桿)。
[0035]處理器104負責管理總線102和常規(guī)的處理，這包括執(zhí)行存儲在計算機可讀介質(zhì)106上的軟件。軟件在由處理器104執(zhí)行時使處理系統(tǒng)114執(zhí)行以下所描述的用于任何特定裝置的各種功能。計算機可讀介質(zhì)106還可用于存儲在執(zhí)行軟件時由處理器104操作的數(shù)據(jù)。
[0036]在本公開內(nèi)容中，對二維(2D)和三維(3D)圖像進行了廣泛地討論。這里，圖像可以指單一的靜止圖像、或指適用于作為影片按順序進行觀看的多個圖像。
[0037]根據(jù)原始的2D內(nèi)容來合成3D圖像通常可以使用兩個替代選擇中的一個來實現(xiàn)。第一，合成的3D內(nèi)容可以包括與對應的深度圖鏈接的2D視圖。第二，合成的3D內(nèi)容可以包括兩個視圖，即具有左視圖和右視圖的立體圖像。立體內(nèi)容可經(jīng)處理以生成鏈接的2D+深度圖圖像。
[0038]將以下所討論的本公開內(nèi)容的各個方面應用到用于合成的3D內(nèi)容的替代選擇或用于合成的3D內(nèi)容的任何其它適當?shù)倪x擇。盡管以下詳述的具體實現(xiàn)著重于第一選擇，即2D視圖和對應的深度圖，但利用本領域普通技術人員可輕易實現(xiàn)的些許變化，可實現(xiàn)使用立體圖像的3D流式傳輸。
[0039]在合成的3D流中，2D圖像可以被并排地或從上至下地與深度信息相鏈接，并且鏈接幀可以一起被壓縮和/或編碼用于傳輸。另一方面，2D圖像和對應的深度圖可被提供作為兩個壓縮文件或兩個流，例如在單一容器文件內(nèi)用于傳輸。在具有適當?shù)奶幚砟芰Φ南到y(tǒng)中，可使用這些方案的即時(on-the-fly)變型。當然，為減少編碼器所需的處理資源，并且為減少流的傳輸所需的帶寬，可以以降低的幀速率對影片進行編碼。
[0040]提供3D圖像作為鏈接的2D+深度幀并且對這些幀一起進行編碼以便被存儲在單一的容器文件(例如MP4文件)內(nèi)會減少同步立體位流的需求。此外，即使在傳輸出錯的情況下，當使用2D+深度幀時可以較容易與流重新同步。此外，在用戶將2D+深度信息存儲在鏈接幀中時，可能不需要留意2D圖像與對應的深度信息之間的配對，并且該單一文件可被用于3D回放以及通過簡單地刪截深度信息用于2D回放。然而，將信息鏈接在一起可以對2D圖像和深度圖之間的位速率分配提供有限的控制。
[0041]圖2A是根據(jù)本公開內(nèi)容的一些方面，用于合成包含被鏈接在一起(例如并排)的2D圖像和深度圖的文件的裝置的簡化框圖。如圖2中所示出的，視頻源302可以將2D或立體圖像提供給深度估計器304。這里，深度估計器304可以根據(jù)2D或3D圖像來生成深度估計(Z)。該深度估計隨后可以通過方框306并排地與2D圖像(或在立體視頻源的情況下兩個視圖中的一個)鏈接成單一的壓縮文件。這里，壓縮文件可使用符合標準的容器格式(諸如MP4)來生成，使得可以使用常規(guī)的軟件和硬件組件來播放并且流式傳輸具有極少變化(如果有變化的話)的該文件的內(nèi)容。例如，常規(guī)設備的變化可能包括將文件標識為2D+深度源。
[0042]在本公開內(nèi)容的一些方面，該處理可在移動設備上完成，或者可以被輸出到在另一個系統(tǒng)上執(zhí)行。此外，該處理可以被離線地完成，即在內(nèi)容的流式傳輸之前，或者說可以被實時地或即時地執(zhí)行。
[0043]圖3是對鏈接的2D+深度圖像幀的舉例說明，它可以由圖2A的裝置生成。在所示出的例子中，左手側(cè)的圖像302是2D圖像，而右手側(cè)的圖像304是對應于2D圖像的深度圖。深度信息包括單色的灰階值。在該方面，為了最佳效率應當使用適當?shù)膲嚎s設置以用于對幀的壓縮。例如，如果使用符合H.264的編碼器，則鏈接幀可以通過將深度圖的模式限制為僅幀內(nèi)來進行編碼，并且深度圖可以使用較低的QP值來進行編碼以提高它的質(zhì)量。
[0044]移動設備可以被用作為流式傳輸源(例如服務器)，用于將內(nèi)容流式傳輸?shù)竭h程客戶端，遠程客戶端具有3D顯示器或比移動設備上可用的顯示器更大的顯示器。圖2B是根據(jù)本公開內(nèi)容的一些方面的用于流式傳輸2D+Z內(nèi)容的流式傳輸服務器的簡化框圖。方框208是2D+Z文件源，其可以是由圖2A中的方框206生成的2D+Z壓縮文件。2D+Z文件源208可以將2D+Z文件提供給文件解析器210。這里，文件解析器210可以從壓縮文件中提取媒體和元數(shù)據(jù)。視頻分接(tap-out)方框212可以將解析的內(nèi)容傳送給傳出視頻流方框218，以便使用適當?shù)耐ㄐ沤涌趯⑵淞魇絺鬏數(shù)竭h程客戶端。此外，視頻分接方框212可以將解析的內(nèi)容傳送給本地視頻解碼器214，本地視頻解碼器214可以本地地對視頻進行解碼并且將解碼的內(nèi)容提供給視頻呈現(xiàn)器216。因此，視頻呈現(xiàn)器216可以在本地顯示器上呈現(xiàn)待顯示的視頻內(nèi)容。在本公開內(nèi)容的一些方面，本地解碼、呈現(xiàn)以及視頻內(nèi)容的顯示可以被省略或禁用。
[0045]基于存儲在文件中的信息，流式傳輸服務器可以向遠程客戶端設備發(fā)送關于內(nèi)容的格式(例如，內(nèi)容為2D+Z，并且處于并排格式)的指示。例如，可以使用會話描述協(xié)議(SDP)向客戶端提供指示。
[0046]在SDP中，每個媒體源通常被描述為“軌(track)”。軌的屬性(強制或可選的)可以用SDP屬性行來描述。在本公開內(nèi)容的一個方面，在流式傳輸2D+Z內(nèi)容時,流式傳輸服務器可以將可選的屬性添加到SDP描述。這里，由于具有2D顯示的媒體播放器會忽略可選的屬性，因此媒體播放器不會將鏈接幀視為與常規(guī)的2D幀有任何不同。然而，對于知曉2D+Z格式的符合3D的播放器來說，可對該屬性進行解析使得客戶端可確定內(nèi)容是處于2D+Z格式并且著手進一步的處理(例如解碼和呈現(xiàn))。
[0047]圖2C是示出了根據(jù)本公開內(nèi)容的一些方面用于接收2D+Z流并顯示3D內(nèi)容的流式傳輸客戶端的簡化框圖。方框220表示傳入視頻流，其可以由來自圖2B中所示出的流式傳輸服務器的傳出視頻流方框218提供。傳入視頻流220可以包括鏈接的2D+Z內(nèi)容和對應的元數(shù)據(jù)，元數(shù)據(jù)描述了內(nèi)容正處于2D+Z格式。可以將傳入視頻流220提供給視頻解碼器222，視頻解碼器222可以因此對傳入流進行解碼并將解碼的數(shù)據(jù)流傳送給2D+深度幀提取器224。幀提取器224可將2D幀和深度幀分離開，并且可以因此將分離的幀傳送給3D視圖合成器226，3D視圖合成器226使用深度信息和2D信息來生成3D圖像。
[0048]在本公開內(nèi)容的方面，基于所提取的2D幀和深度幀的3D圖像的合成可以根據(jù)基于深度圖像的呈現(xiàn)(DIBR)。這里，虛擬視圖是通過將設置(setup)建模為具有相同相機參數(shù)的位移傳感器立體像對并且將2D圖像的點投影到由虛擬視圖根據(jù)模型和點的深度而限定的平面上來生成的。DIBR的額外細節(jié)對于本領域技術人員來說是已知的，并且在本公開內(nèi)容中被省略。
[0049]如上文所描述的，在本公開內(nèi)容的另一個方面，2D圖像和它對應的深度圖可以被提供作為一對的兩個壓縮的和/或編碼的文件或者兩個流，而不是使用鏈接的2D+Z格式。在一些例子中，可在單一的容器文件(例如MP4容器文件)內(nèi)提供兩個文件以用于傳輸。
[0050]分開地對2D圖像和深度圖進行編碼可以提供增強的靈活性和效率。這里，由于圖像序列類似于任何常規(guī)的視頻片段，因此可使用標準的H.264編碼選項對2D圖像部分進行編碼。至于深度圖，可適當?shù)匦薷木幋a設置以利用它可以僅包含灰度值的事實。這些編碼器設置中的一些包括增加用于深度圖的色度分量的QP值，以及定期插入內(nèi)(I)幀。本領域普通技術人員應當了解附加的設置用于優(yōu)化深度圖的編碼。此外，分開地對2D圖像和深度圖進行編碼可以提供改善的速率控制以滿足潛在的網(wǎng)絡帶寬限制，并且在深度圖流出現(xiàn)差錯或完全受損的情況下，相對簡單地回退至2D回放。然而，盡管簡單，與鏈接幀不同的是，分開的2D圖像和深度圖文件可能需要同步以用于3D視頻的適當回放。此外，對于給定的2D圖像文件來說，可能需要某種形式的識別機制來識別所對應的深度圖。
[0051]根據(jù)本公開內(nèi)容的一些方面，圖4A是用于對分別包含2D圖像和深度圖的兩個文件進行合成的裝置400A的簡化框圖。這里，2D或3D視頻源402將視頻信息提供給深度估計方框404，深度估計方框404從而根據(jù)相應的視頻產(chǎn)生深度圖并且生成兩個分開的文件，即2D文件406和深度(Z)文件408。2D文件406和Z文件408可以是壓縮文件。可以使用適當?shù)臋C制對相應的2D文件406和Z文件408進行配對，例如使用命名規(guī)則來關聯(lián)對應的文件，或者將配對信息嵌入于文件自身。在本公開內(nèi)容的方面，2D文件406和Z文件408可以被存儲在一個容器中，例如通過將不同的視頻對象存儲在MP4容器文件中。在本公開內(nèi)容的另一個方面，2D文件406和Z文件408可以被存儲在兩者之間具有通過如上文描述的文件名或?qū)ο驣D方式的關聯(lián)性的分開的文件容器中。
[0052]圖4B是根據(jù)本公開內(nèi)容的一些方面的用于流式傳輸2D圖像文件和深度圖文件的流式傳輸服務器400B的簡化框圖。使用該方案，流式傳輸服務器可以建立兩個并行的過程:一個用于處理具有2D內(nèi)容的文件，而另一個用于處理深度(Z)內(nèi)容。此外流式傳輸服務器可以向請求方客戶端通知相應的待發(fā)送視頻流。這里，2D文件源410可以是由圖4A中所示出的2D+Z合成輸出的2D文件406。此外，Z文件源422可以是由圖4A中所示出的2D+Z合成輸出的Z文件408。來自2D文件源410的2D文件被輸入到第一文件解析模塊412以解析存儲在2D文件中的2D內(nèi)容并且將解析的2D內(nèi)容傳送給第一視頻分接方框414。類似地，來自Z文件源422的Z文件被輸入到第二文件解析模塊424以解析存儲在Z文件中的深度內(nèi)容并且將解析的深度內(nèi)容傳送給第二視頻分接方框424。如果流式傳輸服務器中的本地顯示器支持2D視頻顯示，則第一視頻分接方框414可以分流內(nèi)容并且將它發(fā)送給用于對解析的2D視頻內(nèi)容進行解碼的本地視頻解碼器416。視頻解碼器416隨后可以將解碼的視頻內(nèi)容傳送給用于呈現(xiàn)和顯示2D視頻內(nèi)容的視頻呈現(xiàn)器418。如果流式傳輸服務器中的本地顯示器支持3D視頻顯示，則第二分接方框424可以類似地分流深度內(nèi)容以用于本地3D解碼和呈現(xiàn)(未示出)。視頻分接方框414和424可以對應地將相應的解析的內(nèi)容轉(zhuǎn)發(fā)到傳出視頻流式傳輸模塊420和426，傳出視頻流式傳輸模塊420和426隨后可以向遠程客戶端發(fā)送相應的視頻流。
[0053]在本公開內(nèi)容的進一步的方面，對應的或相關聯(lián)的2D+Z數(shù)據(jù)(例如，通過幀編號或序列編號字段相關聯(lián))可以在同一個實時流式傳輸協(xié)議(RTSP )會話的不同的實時傳輸協(xié)議(RTP)端口上進行流式傳輸。在另一個方面，可以首先初始化2D文件的路徑，以及取決于客戶端是否請求它，隨后可以是Z文件的路徑。
[0054]圖4C是示出了根據(jù)本公開內(nèi)容的一些方面的用于接收2D圖像流和深度流并且顯示3D內(nèi)容的流式傳輸客戶端的簡化框圖。這里，在接收到包括2D圖像流的第一傳入視頻流428和包括深度流的第二傳入視頻流438后，將相應的視頻流輸入到用于解碼2D圖像流的第一視頻解碼器430和用于解碼深度流的第二視頻解碼器440。將相應的解碼的幀提供給2D幀處理器432和深度幀處理器442，處理器432和處理器442處理相應的解碼的幀并且同步相應的2D幀和深度幀以將它們傳送給用于生成3D視圖的3D視圖合成器434。3D視圖合成器434隨后生成3D視圖并且將它發(fā)送給用于顯示3D視圖的3D顯示器436。
[0055]在根據(jù)本公開內(nèi)容的一些方面的另一個實現(xiàn)中，從流式傳輸服務器向流式傳輸客戶端流式傳輸包含兩個視頻流(即，一個用于2D內(nèi)容而另一個用于Z內(nèi)容)的單一的容器文件。這里，在流式傳輸服務器處，單一的解析器模塊對兩個視頻流進行饋送，兩個視頻流從而被發(fā)送給流式傳輸客戶端。
[0056]回到圖2B，其示出了用于流式傳輸鏈接的2D+Z內(nèi)容的流式傳輸服務器，圖5是示出了根據(jù)本公開內(nèi)容的方面的流式傳輸服務器的特定實現(xiàn)的進一步細節(jié)的框圖。也就是說，所示出的例子示出了使用微軟視窗媒體播放器502的實現(xiàn)，微軟視窗媒體播放器502使用了 DirectShow多媒體框架。在所示出的例子和以下相關聯(lián)的討論中，假定流式傳輸?shù)膬?nèi)容是在流式傳輸服務器上正被本地回放的相同內(nèi)容。然而，在本公開內(nèi)容的一個方面，用戶可以獨立于本地正被播放的內(nèi)容、選擇對流式傳輸服務器來說可得到的任何內(nèi)容用于流式傳輸。
[0057]在圖5中，媒體播放器應用502與包括2D+Z文件源504、多媒體適配器和解析器506、分接過濾器508、解碼過濾器514和視頻呈現(xiàn)器516的媒體路徑進行通信。在一個例子中，流式傳輸服務器的用戶可以調(diào)用媒體播放器502來播放包含2D+Z內(nèi)容的文件(例如來自2D+Z文件源504)。媒體播放器502隨后可以建立使用各種過濾器組件的DirectShow過濾器圖(filter graph)，如所示出的。解析器506可以從2D+Z內(nèi)容中提取元數(shù)據(jù)信息，并且將元數(shù)據(jù)傳送給分接過濾器508，分接過濾器508可以將元數(shù)據(jù)分流給多媒體消息傳送服務(麗S)應用510。這里，麗S應用510可以使得流式傳輸服務器能夠充當RTSP流式傳輸服務器。也就是說，當遠程流式傳輸客戶端和流式傳輸服務器之間建立了 RTSP會話時，MMS應用510可以將所采集的元數(shù)據(jù)信息作為SDP描述發(fā)送給WiFi模塊512，WiFi模塊512隨后可以向流式傳輸客戶端發(fā)送該信息。該描述可以包括關于要被流式傳輸?shù)膬?nèi)容包括2D+Z圖像內(nèi)容的指示，使得流式傳輸客戶端可以將流作為3D流進行處理。例如，可以通過在SDP中提供用以指示內(nèi)容包括2D+Z內(nèi)容的附加字段來包括指示。例如,指示可被包括在SDP描述中作為:
[0058]a=DepthZ:0x280, OxlEO
[0059]解析器506還可以從2D+Z文件中提取視頻和音頻內(nèi)容，并將視頻內(nèi)容轉(zhuǎn)發(fā)到分接過濾器508。分接過濾器508還可以將解析的2D+Z內(nèi)容提供給RTP服務器510，其從而被提供給WiFi收發(fā)機512以便被流式傳輸?shù)搅魇絺鬏斂蛻舳?。分接過濾器508還可以將解析的信息提供給解碼過濾器514。當內(nèi)容附加地包括音頻信息時，可以將該音頻內(nèi)容對應地轉(zhuǎn)發(fā)到相應的音頻解碼過濾器(未示出)作為并行的流。視頻呈現(xiàn)器516隨后可以呈現(xiàn)要被本地地呈現(xiàn)在流式傳輸服務器上的來自解碼過濾器514的解碼內(nèi)容。
[0060]現(xiàn)在回到圖2C，其示出了用于接收2D+Z流并且顯示3D內(nèi)容的流式傳輸客戶端，圖6是示出了根據(jù)本公開內(nèi)容的方面的流式傳輸客戶端的特定實現(xiàn)的進一步細節(jié)的框圖。也就是說，所示出的例子示出了使用微軟視窗媒體播放器602的實現(xiàn)，微軟視窗媒體播放器602使用了 DirectShow多媒體框架。
[0061]在圖6中，媒體播放器應用602建立過濾器圖來接收并且處理所接收的2D+Z內(nèi)容，過濾器圖包括RTSP/RTP過濾器606、解碼過濾器608和MMS-3D過濾器(CSC)610。流式傳輸服務器還包括WiFi模塊602、基于深度信息的呈現(xiàn)(DIBR)模塊612和3D顯示驅(qū)動器614。
[0062]在一個例子中，流式傳輸客戶端在WiFi模塊602處接收從流式傳輸服務器發(fā)送的流，這包括2D+Z內(nèi)容和被包括在SDP信息中的元數(shù)據(jù)。RTSP/RTP過濾器604從WiFi模塊601接收內(nèi)容并將它路由給解碼過濾器608，使得解碼過濾器608可以對內(nèi)容進行解碼并且將經(jīng)解碼的內(nèi)容提供給MMS-3D過濾器610。這里，MMS-3D過濾器610可以使用SDP信息來從解碼的幀中分離視頻和深度部分，并且將它們傳送給DIBR模塊612作為分別表示2D圖像流和對應的深度信息的兩個幀。DIBR模塊612可以使用該信息來生成包括左視圖和右視圖的立體圖像，左視圖和右視圖從而被提供給3D顯示驅(qū)動器614。3D顯示驅(qū)動器614隨后可以呈現(xiàn)這兩個視圖來顯示3D圖像。
[0063]圖7是示出了根據(jù)本公開內(nèi)容的某些方面的用于從流式傳輸服務器流式傳輸媒體內(nèi)容的過程700的流程圖。在本公開內(nèi)容的各個方面，所示出的過程可以由圖1中示出的處理系統(tǒng)114、圖2A和圖2B或者圖4A和圖4B中示出的流式傳輸服務器、或用于流式傳輸媒體內(nèi)容的任何適當?shù)难b置來執(zhí)行。在所示出的過程中，在框702，在流式傳輸服務器處提供3D媒體內(nèi)容。這里，3D媒體內(nèi)容可以包括立體圖像、或2D圖像和對應的深度幀。在框704，過程確定流式傳輸服務器是否將回放媒體內(nèi)容的本地副本。如果是的話，則在框706，流式傳輸服務器可以呈現(xiàn)媒體內(nèi)容用于本地回放。過程隨后移動到框708，其中，如果3D媒體內(nèi)容是立體內(nèi)容并且缺少深度幀，則過程可以基于立體圖像來合成深度幀。在框710，可以將深度幀與對應的2D圖像相鏈接。在框712，過程可以提取與媒體內(nèi)容相對應的元數(shù)據(jù)，元數(shù)據(jù)指示媒體內(nèi)容包括3D內(nèi)容。在框714，過程在流式傳輸服務器與流式傳輸客戶端之間建立流式傳輸會話，在框716,過程在流式傳輸會話上向流式傳輸客戶端發(fā)送媒體內(nèi)容和相關聯(lián)的元數(shù)據(jù)。
[0064]圖8是示出了根據(jù)本公開內(nèi)容的某些方面的用于無線通信的過程800的流程圖。在本公開內(nèi)容的各個方面，所示出的過程可以由圖1中示出的處理系統(tǒng)114、圖2C、圖4C、圖5或圖6中示出的流式傳輸客戶端、或用于接收媒體內(nèi)容的任何適當?shù)难b置來執(zhí)行。在所示出的過程中，在框802，流式傳輸客戶端可以在無線流式傳輸會話上從流式傳輸服務器接收媒體內(nèi)容和相關聯(lián)的元數(shù)據(jù)，媒體內(nèi)容包括2D圖像和對應的深度圖。在框804，過程可以將鏈接的圖像+深度幀分離成分開的2D圖像和對應的深度圖。在框806，過程基于2D圖像和深度圖來合成3D圖像。在框808，過程可以使用基于深度信息的呈現(xiàn)來生成表示3D圖像的立體圖像，在框810，過程可以呈現(xiàn)3D圖像。
[0065]現(xiàn)在參考圖1、圖2A-圖2B和圖4A-圖4B，在一個配置下，用于從流式傳輸服務器流式傳輸媒體內(nèi)容的裝置100可以包括:用于在所述流式傳輸服務器處提供三維(3D)媒體內(nèi)容的單元；用于在所述流式傳輸服務器與流式傳輸客戶端之間建立流式傳輸會話的單元；用于在所述流式傳輸會話上向所述流式傳輸客戶端發(fā)送所述媒體內(nèi)容，以用于3D圖像的遠程呈現(xiàn)和顯示的單元；用于在所述流式傳輸服務器處呈現(xiàn)所述媒體內(nèi)容用于本地回放的單元；用于基于所述3D媒體內(nèi)容來呈現(xiàn)二維(2D)圖像的單元；用于提取關于所述媒體內(nèi)容的信息以適用于指示所述媒體內(nèi)容包括3D內(nèi)容的單元；用于在所述流式傳輸會話上向所述流式傳輸客戶端發(fā)送關于所述媒體內(nèi)容的信息的單元；用于在所述媒體內(nèi)容的會話描述協(xié)議(SDP)描述中提供信息元的單元；用于根據(jù)所述2D圖像幀來合成所述深度幀的單元；用于根據(jù)表示立體圖像的一對2D圖像來合成所述深度幀的單元；和/或用于使用所述一對2D圖像中的一個作為所述2D圖像幀的單元。在本公開內(nèi)容的一些方面，上述的單元可以是被配置為執(zhí)行由上述單元所列舉的功能的處理系統(tǒng)114。如前文所描述的，處理系統(tǒng)114可以包括視頻源202/402、深度估計器204/404、文件源208/410/422、文件解析模塊210/412/424、視頻分接212/414/424、視頻解碼器214/416、視頻呈現(xiàn)器216/418、和/或傳出視頻流方框218/420/426。因此，在一個配置下，上述的單元可以是被配置為執(zhí)行由上述單元所列舉的功能的視頻源202/402、深度估計器204/404、文件源208/410/422、文件解析模塊210/412/424、視頻分接212/414/424、視頻解碼器214/416、視頻呈現(xiàn)器216/418、和/或傳出視頻流方框218/420/426。
[0066]現(xiàn)在參考圖1、圖2C、圖4C和圖6，在另一個配置下，用于無線通信的裝置100可以包括:用于在無線流式傳輸會話上從流式傳輸服務器接收媒體內(nèi)容的單元，所述媒體內(nèi)容包括二維(2D)圖像和對應的深度圖；用于基于所述2D圖像和所述深度圖來合成三維(3D)圖像的單元；用于在顯示器上呈現(xiàn)所述3D圖像的單元；用于從所述流式傳輸服務器接收關于所述媒體內(nèi)容的信息的單元；用于將所述鏈接幀分離成所述2D圖像和所述對應的深度圖的單元；和/或用于使用基于深度信息的呈現(xiàn)(DIBR)來生成表示所述3D圖像的立體圖像的單元。在本公開內(nèi)容的一些方面，上述的單元可以是被配置為執(zhí)行由上述單元所列舉的功能的處理系統(tǒng)114。如前文所描述的，處理系統(tǒng)114可以包括媒體播放器602、視頻解碼器222/430/440、2D和深度幀提取器224、2D幀處理器432、深度幀處理器442、3D視圖合成器226/434、3D顯示器436、WiFi604、過濾器606、解碼過濾器608、MMS_3D過濾器610、DIBR模塊612、和/或3D顯示驅(qū)動器614。因此，在一個配置下，上述的單元可以是被配置為執(zhí)行由上述單元所列舉的功能的媒體播放器602、視頻解碼器222/430/440、2D和深度幀提取器224,2D幀處理器432、深度幀處理器442、3D視圖合成器226/434、3D顯示器436、WiFi604、過濾器606、解碼過濾器608、MMS-3D過濾器610、DIBR模塊612、和/或3D顯示驅(qū)動器614。
[0067]應當明白，公開的過程中的步驟的特定次序或?qū)哟问菍κ纠苑椒ǖ呐e例說明。基于設計偏好，應當明白，可以對這些過程中步驟的特定次序或?qū)哟芜M行重新排列。所附方法權(quán)利要求以示例性次序給出了各種步驟的要素，并不意味著要限于所給出的特定次序或?qū)哟巍?br> [0068]提供前面的描述以使本領域任何技術人員能夠?qū)嵤┍疚拿枋龅母鱾€方面。對這些方面的各種修改對于本領域技術人員都將是顯而易見的，并且本文定義的通用原理可以應用于其它方面。因此，權(quán)利要求書并不旨在限于本文示出的方面，而是與符合書面權(quán)利要求書的整個范圍相一致，其中，除非特別說明，否則以單數(shù)形式提及要素并不旨在表示“一個且唯一一個”，而是表示“一個或多個”。除非另外特別說明，否則術語“一些”是指一個或多個。與貫穿本公開內(nèi)容描述的各個方面的要素等效的全部結(jié)構(gòu)和功能(其對于本領域普通技術人員而言是公知的或即將公知的)通過引用方式明確并入本文，并且旨在被權(quán)利要求所涵蓋。此外，本文公開的內(nèi)容并不是要奉獻給公眾的，不管這種公開內(nèi)容是否明確記載在權(quán)利要求中。除非明確地使用短語“用于……的單元”來敘述元素或者在方法權(quán)利要求的情況下使用短語“用于……的步驟”來敘述 元素，否則不應依據(jù)35U.S.C.§ 112第6段的規(guī)定來解釋任何權(quán)利要求的要素。
【權(quán)利要求】
1.一種從流式傳輸服務器流式傳輸媒體內(nèi)容的方法，包括: 在所述流式傳輸服務器處提供三維(3D)媒體內(nèi)容； 在所述流式傳輸服務器與流式傳輸客戶端之間建立流式傳輸會話；以及 在所述流式傳輸會話上向所述流式傳輸客戶端發(fā)送所述媒體內(nèi)容，以用于3D圖像的遠程呈現(xiàn)和顯示。
2.根據(jù)權(quán)利要求1所述的方法，還包括:在所述流式傳輸服務器處呈現(xiàn)所述媒體內(nèi)容用于本地回放。
3.根據(jù)權(quán)利要求2所述的方法，其中，所述呈現(xiàn)包括基于所述3D媒體內(nèi)容來呈現(xiàn)二維(2D)圖像。
4.根據(jù)權(quán)利要求1所述的方法，還包括:提取關于所述媒體內(nèi)容的信息，以適用于指示所述媒體內(nèi)容包括3D內(nèi)容。
5.根據(jù)權(quán)利要求4所述的方法，其中，所述信息包括與所述媒體內(nèi)容相關聯(lián)的元數(shù)據(jù)。
6.根據(jù)權(quán)利要求4所述的方法，其中，所述信息適用于指示所述3D媒體內(nèi)容包括二維(2D)圖像和對應的深度圖。
7.根據(jù)權(quán)利要求4所述的方法，還包括:在所述流式傳輸會話上向所述流式傳輸客戶端發(fā)送關于所述媒體內(nèi)容的信息。
8.根據(jù)權(quán)利要求7所述的方法，其中，所述發(fā)送關于所述媒體內(nèi)容的信息包括在所述媒體內(nèi)容的會話描述協(xié)議(SDP)描述中提供信息元。
9.根據(jù)權(quán)利要求1所述的方法，其中，所述流式傳輸會話包括實時流式傳輸協(xié)議(RTSP)會話。
10.根據(jù)權(quán)利要求1所述的方法，其中，所述3D媒體內(nèi)容包括二維(2D)圖像幀和對應的深度幀。
11.根據(jù)權(quán)利要求10所述的方法，還包括:根據(jù)所述2D圖像幀來合成所述深度幀。
12.根據(jù)權(quán)利要求10所述的方法，還包括: 根據(jù)表示立體圖像的一對2D圖像來合成所述深度幀；以及 使用所述一對2D圖像中的一個圖像作為所述2D圖像幀。
13.根據(jù)權(quán)利要求10所述的方法，還包括:將所述2D圖像幀與所述深度幀相鏈接(710)以提供鏈接的2D+Z幀。
14.一種流式傳輸服務器,包括: 文件解析器，其被配置為從內(nèi)容源中提取3D媒體內(nèi)容； 多媒體消息傳送服務模塊，其被配置為建立與流式傳輸客戶端的流式傳輸會話；以及 無線發(fā)射機，其被配置為在所述流式傳輸會話上向所述流式傳輸客戶端流式傳輸所述3D媒體內(nèi)容。
15.根據(jù)權(quán)利要求13所述的流式傳輸服務器，還包括:存儲器，其中所述內(nèi)容源包括所述存儲器。
16.根據(jù)權(quán)利要求13所述的流式傳輸服務器，其中，所述多媒體消息傳送服務模塊被配置為建立與所述流式傳輸客戶端的實時流式傳輸協(xié)議(RTSP )會話。
17.根據(jù)權(quán)利要求13所述的流式傳輸服務器，其中，所述文件解析器還被配置為從所述內(nèi)容源中提取與所述3D媒體內(nèi)容相對應的元數(shù)據(jù)。
18.根據(jù)權(quán)利要求17所述的流式傳輸服務器，其中，所述多媒體消息傳送服務模塊還被配置為在所述流式傳輸會話上向所述流式傳輸客戶端發(fā)送所述元數(shù)據(jù)。
19.根據(jù)權(quán)利要求13所述的流式傳輸服務器，還包括: 顯示設備；以及 分接模塊，其被配置為將所述3D媒體內(nèi)容分流給所述顯示設備。
20.一種無線通信的方法，包括: 在無線流式傳輸會話上從流式傳輸服務器接收媒體內(nèi)容，所述媒體內(nèi)容包括二維(2D )圖像和對應的深度圖； 基于所述2D圖像和所述深度圖來合成三維(3D)圖像；以及 在顯示器上呈現(xiàn)所述3D圖像。
21.根據(jù)權(quán)利要求20所述的方法，其中，所述無線流式傳輸會話包括實時流式傳輸協(xié)議(RTSP)會話。
22.根據(jù)權(quán)利要求20所述的方法，還包括:從所述流式傳輸服務器接收關于所述媒體內(nèi)容的信息。
23.根據(jù)權(quán)利要求22所述的方法，其中，所述信息包括元數(shù)據(jù)，所述元數(shù)據(jù)適用于指示所述媒體內(nèi)容包括3D內(nèi)容。
24.根據(jù)權(quán)利要求20所述的方法，其中，2D圖像和所對應的深度圖被鏈接成鏈接幀。
25.根據(jù)權(quán)利要求24所述的方法，還包括:將所述鏈接幀分離成所述2D圖像和所述對應的深度圖。
26.根據(jù)權(quán)利要求20所述的方法，其中，所述合成包括使用基于深度信息的呈現(xiàn)(DIBR)來生成表示所述3D圖像的立體圖像。
27.—種流式傳輸客戶端,包括: 無線接收機，其被配置為從流式傳輸服務器接收包括三維(3D)媒體內(nèi)容的流，所述3D媒體內(nèi)容包括二維(2D)圖像和對應的深度圖； 3D過濾器，其用于分離所述2D圖像和所述對應的深度圖； 基于深度圖像的呈現(xiàn)(DIBR)模塊，其用于基于所述2D圖像和所述對應的深度圖來生成立體圖像；以及 顯示驅(qū)動器，其用于在顯示器上呈現(xiàn)所述立體圖像。
28.一種用于從流式傳輸服務器流式傳輸媒體內(nèi)容的裝置，包括: 用于在所述流式傳輸服務器處提供三維(3D)媒體內(nèi)容的單元； 用于在所述流式傳輸服務器與流式傳輸客戶端之間建立流式傳輸會話的單元；以及用于在所述流式傳輸會話上向所述流式傳輸客戶端發(fā)送所述媒體內(nèi)容，以用于3D圖像的遠程呈現(xiàn)和顯示的單元。
29.根據(jù)權(quán)利要求28所述的裝置，還包括:用于在所述流式傳輸服務器處呈現(xiàn)所述媒體內(nèi)容用于本地回放的單元。
30.根據(jù)權(quán)利要求29所述的裝置，其中，所述用于呈現(xiàn)的單元包括用于基于所述3D媒體內(nèi)容來呈現(xiàn)二維(2D)圖像的單元。
31.根據(jù)權(quán)利要求28所述的裝置，還包括:用于提取關于所述媒體內(nèi)容的信息，以適用于指示所述媒體內(nèi)容包括3D內(nèi)容的單元。
32.根據(jù)權(quán)利要求31所述的裝置，其中，所述信息包括與所述媒體內(nèi)容相關聯(lián)的元數(shù)據(jù)。
33.根據(jù)權(quán)利要求31所述的裝置，其中，所述信息適用于指示所述3D媒體內(nèi)容包括二維(2D)圖像和對應的深度圖。
34.根據(jù)權(quán)利要求31所述的裝置，還包括:用于在所述流式傳輸會話上向所述流式傳輸客戶端發(fā)送關于所述媒體內(nèi)容的信息的單元。
35.根據(jù)權(quán)利要求34所述的裝置，其中，所述用于發(fā)送關于所述媒體內(nèi)容的信息的單元包括用于在所述媒體內(nèi)容的會話描述協(xié)議(SDP)描述中提供信息元的單元。
36.根據(jù)權(quán)利要求28所述的裝置，其中，所述流式傳輸會話包括實時流式傳輸協(xié)議(RTSP)會話。
37.根據(jù)權(quán)利要求28所述的裝置，其中，所述3D媒體內(nèi)容包括二維(2D)圖像幀和對應的深度幀。
38.根據(jù)權(quán)利要求37所述的裝置，還包括:用于根據(jù)所述2D圖像幀來合成所述深度幀的單元。
39.根據(jù)權(quán)利要求37所述的裝置，還包括: 用于根據(jù)表示立體圖像的一對2D圖像來合成所述深度幀的單元；以及 用于使用所述一對2D圖像中的一個圖像作為所述2D圖像幀的單元。
40.根據(jù)權(quán)利要求37所述的裝置，其中，將所述2D圖像幀與所述深度幀相鏈接以提供鏈接的2D+Z幀。
41.一種用于無線通信的裝置，包括: 用于在無線流式傳輸會話上從流式傳輸服務器接收媒體內(nèi)容的單元，所述媒體內(nèi)容包括二維(2D)圖像和對應的深度圖； 用于基于所述2D圖像和所述深度圖來合成三維(3D)圖像的單元；以及 用于在顯示器上呈現(xiàn)所述3D圖像的單元。
42.根據(jù)權(quán)利要求41所述的裝置，其中，所述無線流式傳輸會話包括實時流式傳輸協(xié)議(RTSP)會話。
43.根據(jù)權(quán)利要求41所述的裝置，還包括:用于從所述流式傳輸服務器接收關于所述媒體內(nèi)容的信息的單元。
44.根據(jù)權(quán)利要求43所述的裝置，其中，所述信息包括元數(shù)據(jù)，所述元數(shù)據(jù)適用于指示所述媒體內(nèi)容包括3D內(nèi)容。
45.根據(jù)權(quán)利要求41所述的裝置，其中，2D圖像和所對應的深度圖被鏈接成鏈接幀。
46.根據(jù)權(quán)利要求45所述的裝置，還包括:用于將所述鏈接幀分離成所述2D圖像和所述對應的深度圖的單元。
47.根據(jù)權(quán)利要求41所述的裝置，其中，所述用于合成的單元包括用于使用基于深度信息的呈現(xiàn)(DIBR)來生成表示所述3D圖像的立體圖像的單元。
48.一種計算機程序產(chǎn)品，包括: 計算機可讀介質(zhì)，其包括: 用于在流式傳輸服務器處提供三維(3D)媒體內(nèi)容的代碼； 用于在所述流式傳輸服務器和流式傳輸客戶端之間建立流式傳輸會話的代碼；以及 用于在所述流式傳輸會話上向所述流式傳輸客戶端發(fā)送所述媒體 內(nèi)容，以用于3D圖像的遠程呈現(xiàn)和顯示的代碼。
49.根據(jù)權(quán)利要求48所述的計算機程序產(chǎn)品，其中，所述計算機可讀介質(zhì)還包括用于在所述流式傳輸服務器處呈現(xiàn)所述媒體內(nèi)容用于本地回放的代碼。
50.根據(jù)權(quán)利要求49所述的計算機程序產(chǎn)品，其中，所述用于呈現(xiàn)的代碼包括用于基于所述3D媒體內(nèi)容來呈現(xiàn)二維(2D)圖像的代碼。
51.根據(jù)權(quán)利要求48所述的計算機程序產(chǎn)品，其中，所述計算機可讀介質(zhì)還包括用于提取關于所述媒體內(nèi)容的信息，以適用于指示所述媒體內(nèi)容包括3D內(nèi)容的代碼。
52.根據(jù)權(quán)利要求51所述的計算機程序產(chǎn)品，其中，所述信息包括與所述媒體內(nèi)容相關聯(lián)的元數(shù)據(jù)。
53.根據(jù)權(quán)利要求51所述的計算機程序產(chǎn)品，其中，所述信息適用于指示所述3D媒體內(nèi)容包括二維(2D)圖像和對應的深度圖。
54.根據(jù)權(quán)利要求51所述的計算機程序產(chǎn)品，其中，所述計算機可讀介質(zhì)還包括用于在所述流式傳輸會話上向所述流式傳輸客戶端發(fā)送關于所述媒體內(nèi)容的信息的代碼。
55.根據(jù)權(quán)利要求54所述的計算機程序產(chǎn)品，其中，所述用于發(fā)送關于所述媒體內(nèi)容的信息的代碼包括用于在所述媒體內(nèi)容的會話描述協(xié)議(SDP)描述中提供信息元的代碼。
56.根據(jù)權(quán)利要求48所述的計算機程序產(chǎn)品，其中，所述流式傳輸會話包括實時流式傳輸協(xié)議(RTSP)會話。
57.根據(jù)權(quán)利要求48所述的計算機程序產(chǎn)品，其中，所述3D媒體內(nèi)容包括二維(2D)圖像幀和對應的深度幀。
58.根據(jù)權(quán)利要求57所述的計算機程序產(chǎn)品，其中，所述計算機可讀介質(zhì)還包括用于根據(jù)所述2D圖象幀來合成所述深度幀的代碼。
59.根據(jù)權(quán)利要求57所述的計算機程序產(chǎn)品，其中，所述計算機可讀介質(zhì)還包括: 用于根據(jù)表示立體圖像的一對2D圖像來合成所述深度幀的代碼；以及 用于使用所述一對2D圖像中的一個圖像作為所述2D圖像幀的代碼。
60.根據(jù)權(quán)利要求57所述的計算機程序產(chǎn)品，其中，將所述2D圖象幀與所述深度幀相鏈接以提供鏈接的2D+Z幀。
61.一種計算機程序產(chǎn)品，包括: 計算機可讀介質(zhì)，其包括: 用于在無線流式傳輸會話上從流式傳輸服務器接收媒體內(nèi)容的代碼，所述媒體內(nèi)容包括二維(2D)圖像和對應的深度圖； 用于基于所述2D圖像和所述深度圖來合成三維(3D)圖像的代碼；以及 用于在顯示器上呈現(xiàn)所述3D圖像的代碼。
62.根據(jù)權(quán)利要求61所述的計算機程序產(chǎn)品，其中，所述無線流式傳輸會話包括實時流式傳輸協(xié)議(RTSP )會話。
63.根據(jù)權(quán)利要求61所述的計算機程序產(chǎn)品，其中，所述計算機可讀介質(zhì)還包括用于從所述流式傳輸服務器接收關于所述媒體內(nèi)容的信息的代碼。
64.根據(jù)權(quán)利要求63所述的計算機程序產(chǎn)品，其中，所述信息包括元數(shù)據(jù)，所述元數(shù)據(jù)適用于指示所述媒體內(nèi)容包括3D內(nèi)容。
65.根據(jù)權(quán)利要求61所述的計算機程序產(chǎn)品，其中，2D圖像和所對應的深度圖被鏈接成鏈接幀。
66.根據(jù)權(quán)利要求65所述的計算機程序產(chǎn)品，其中，所述計算機可讀介質(zhì)還包括用于將所述鏈接幀分離成所述2D圖像和所述對應的深度圖的代碼。
67.根據(jù)權(quán)利要求61所述的計算機程序產(chǎn)品，其中，所述用于合成的代碼包括用于使用基于深度信息的呈現(xiàn)(DIBR)來生成表示所述3D圖像的立體圖像的代碼。
68.—種用于從流式傳輸服務器流式傳輸媒體內(nèi)容的裝置,包括: 處理器和耦接到所述處理器的存儲器，其中所述處理器被配置為: 在所述流式傳輸服務器處提供三維(3D)媒體內(nèi)容； 在所述流式傳輸服務器與流式傳輸客戶端之間建立流式傳輸會話；以及 在所述流式傳輸會話上向所述流式傳輸客戶端發(fā)送所述媒體內(nèi)容，以用于3D圖像的遠程呈現(xiàn)和顯示。
69.根據(jù)權(quán)利要求68所述的裝置，其中，所述處理系統(tǒng)還被配置為在所述流式傳輸服務器處呈現(xiàn)所述媒體內(nèi)容用于本地回放。
70.根據(jù)權(quán)利要求69所述的裝置，其中，所述呈現(xiàn)包括基于所述3D媒體內(nèi)容來呈現(xiàn)二維(2D)圖像。
71.根據(jù)權(quán)利要求68所述的裝置，其中，所述處理系統(tǒng)還被配置為提取關于所述媒體內(nèi)容的信息，以適用于指示所述媒體內(nèi)容包括3D內(nèi)容。
72.根據(jù)權(quán)利要求71所述的裝置，其中，所述信息包括與所述媒體內(nèi)容相關聯(lián)的元數(shù)據(jù)。
73.根據(jù)權(quán)利要求71所述的裝置，其中，所述信息適用于指示所述3D媒體內(nèi)容包括二維(2D)圖像和對應的深度圖。
74.根據(jù)權(quán)利要求71所述的裝置，其中，所述處理系統(tǒng)還被配置為在所述流式傳輸會話上向所述流式傳輸客戶端發(fā)送關于所述媒體內(nèi)容的信息。
75.根據(jù)權(quán)利要求74所述的裝置，其中，所述發(fā)送關于所述媒體內(nèi)容的信息包括在所述媒體內(nèi)容的會話描述協(xié)議(SDP)描述中提供信息元。
76.根據(jù)權(quán)利要求68所述的裝置，其中，所述流式傳輸會話包括實時流式傳輸協(xié)議(RTSP)會話。
77.根據(jù)權(quán)利要求68所述的裝置，其中，所述3D媒體內(nèi)容包括二維(2D)圖像幀和對應的深度幀。
78.根據(jù)權(quán)利要求77所述的裝置，其中，所述處理系統(tǒng)還被配置為根據(jù)所述2D圖像幀來合成所述深度幀。
79.根據(jù)權(quán)利要求77所述的裝置，其中，所述處理系統(tǒng)還被配置為: 根據(jù)表示立體圖像的一對2D圖像來合成所述深度幀；以及 使用所述一對2D圖像中的一個圖像作為所述2D圖像幀。
80.根據(jù)權(quán)利要求77所述的裝置，其中，將所述2D圖像幀與所述深度幀相鏈接以提供鏈接的2D+Z幀。
81.一種用于無線通信的裝置，包括:處理器和耦接到所述處理器的存儲器，其中所述處理器被配置為: 在無線流式傳輸會話上從流式傳輸服務器接收媒體內(nèi)容，所述媒體內(nèi)容包括二維(2D )圖像和對應的深度圖； 基于所述2D圖像和所述深度圖來合成三維(3D)圖像；以及 在顯示器上呈現(xiàn)所述3D圖像。
82.根據(jù)權(quán)利要求81所述的裝置，其中，所述無線流式傳輸會話包括實時流式傳輸協(xié)議(RTSP)會話。
83.根據(jù)權(quán)利要求81所述的裝置，其中，所述處理器還被配置為從所述流式傳輸服務器接收關于所述媒體內(nèi)容的信息。
84.根據(jù)權(quán)利要求83所述的裝置，其中，所述信息包括元數(shù)據(jù)，所述元數(shù)據(jù)適用于指示所述媒體內(nèi)容包括3D內(nèi)容。
85.根據(jù)權(quán)利要求81所述的裝置，其中，2D圖像和所對應的深度圖被鏈接成鏈接幀。
86.根據(jù)權(quán)利要求85所述的裝置，其中，所述處理器還被配置為將所述鏈接幀分離成所述2D圖像和所述對應的深度圖。
87.根據(jù)權(quán)利要求81所述的裝置，其中，所述合成包括使用基于深度信息的呈現(xiàn)(DIBR)來生成表示所述3D圖像的立體圖像。
【文檔編號】H04N13/00GK103650515SQ201280034958
【公開日】2014年3月19日 申請日期:2012年7月13日 優(yōu)先權(quán)日:2011年7月14日
【發(fā)明者】S·V·謝特, V·R·拉韋恩德朗, J·馬丁內(nèi)斯包薩, P·K·巴米迪帕蒂, X·羅 申請人:高通股份有限公司