專(zhuān)利名稱(chēng)：根據(jù)輸送協(xié)議封裝三維視頻數(shù)據(jù)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻數(shù)據(jù)處理，且更特定來(lái)說(shuō)，涉及用于呈現(xiàn)給觀看者的視頻數(shù)據(jù)的遞送。
背景技術(shù)：
視頻顯示裝置呈現(xiàn)視頻數(shù)據(jù)以供用戶(hù)觀看。通常，由顯示裝置呈現(xiàn)的視頻數(shù)據(jù)包含預(yù)期用于以給定速率(例如，每秒四.97個(gè)幀，如國(guó)家電視系統(tǒng)委員會(huì)(NTSC)標(biāo)準(zhǔn)中所闡述)重放的一系列連續(xù)視頻幀。因?yàn)榇艘曨l數(shù)據(jù)并不含有任何深度信息，所以所述視頻數(shù)據(jù)特征化為二維OD)視頻數(shù)據(jù)。呈現(xiàn)此2D視頻數(shù)據(jù)的顯示裝置常稱(chēng)作“2D顯示器”。當(dāng)前，正開(kāi)發(fā)三維(3D)顯示裝置以呈現(xiàn)三維(3D)視頻數(shù)據(jù)。這些所謂的“3D顯示器”可能需要額外觀看附件(例如，快門(mén)式眼鏡、偏光式眼鏡或雙色眼鏡(例如，具有一個(gè)紅色透鏡及一個(gè)綠色透鏡的眼鏡))以適當(dāng)?shù)赜^看所呈現(xiàn)的3D視頻數(shù)據(jù)。需要額外觀看附件的3D顯示裝置常稱(chēng)作“眼鏡式立體3D顯示器”。被稱(chēng)作“裸眼式立體3D顯示器”的其它 3D顯示裝置能夠呈現(xiàn)可由觀看者觀看的3D視頻數(shù)據(jù)，而無(wú)需任何額外觀看附件。不管是眼鏡式立體3D顯示器還是裸眼式立體3D顯示器，不同制造商的3D顯示器通常需要遵照供貨商或制造商特定的輸入文件格式的3D視頻數(shù)據(jù)。舉例來(lái)說(shuō)，一種所提議的3D視頻數(shù)據(jù)格式包含2D視頻數(shù)據(jù)加上深度信息，且稱(chēng)作“2D+深度”?！?D+深度”顯示裝置僅可呈現(xiàn)以“2D+深度” 3D視頻數(shù)據(jù)格式提供的3D視頻數(shù)據(jù)。其它類(lèi)型的3D顯示器可需要呈多視圖2D串流格式的3D視頻數(shù)據(jù)。多視圖2D串流格式封裝多個(gè)2D串流，其中所述2D串流各自是通過(guò)不同俘獲元件(例如，相機(jī))同時(shí)(理想地，同步)從同一場(chǎng)景獲取。由于這些不同且通常專(zhuān)屬的3D視頻數(shù)據(jù)格式，來(lái)自一個(gè)制造商的給定3D顯示裝置僅可呈現(xiàn)根據(jù)此制造商的專(zhuān)屬3D視頻數(shù)據(jù)格式而格式化的3D視頻數(shù)據(jù)。

發(fā)明內(nèi)容
大體來(lái)說(shuō)，描述用于實(shí)現(xiàn)跨平臺(tái)三維(3D)視頻數(shù)據(jù)重放的技術(shù)。術(shù)語(yǔ)“平臺(tái)”大體上指代特定視頻顯示裝置及/或例如音頻/視頻接收器等任何支持裝置的軟件及硬件計(jì)算框架結(jié)構(gòu)，及關(guān)于視頻解碼及重放的此框架結(jié)構(gòu)的限制及功能性。在各種方面中，所述技術(shù)可以實(shí)現(xiàn)在不同3D視頻重放平臺(tái)上重放的方式將視頻數(shù)據(jù)變換成3D視頻數(shù)據(jù)，而不管所述視頻數(shù)據(jù)為二維OD)視頻數(shù)據(jù)還是3D視頻數(shù)據(jù)。就此來(lái)說(shuō)，所述技術(shù)可在各種方面中促成跨平臺(tái)3D視頻重放。在一個(gè)方面中，一種設(shè)備包含多媒體處理模塊，其產(chǎn)生3D視頻內(nèi)容的視頻數(shù)據(jù)區(qū)段、音頻數(shù)據(jù)區(qū)段及深度數(shù)據(jù)區(qū)段；輸送協(xié)議模塊，其根據(jù)輸送協(xié)議將所述視頻數(shù)據(jù)區(qū)段、所述音頻數(shù)據(jù)區(qū)段及所述深度數(shù)據(jù)區(qū)段中的每一者封裝于多個(gè)包中的不同者中，且將元數(shù)據(jù)添加到所述多個(gè)包中的至少一者以用于增強(qiáng)所述3D視頻內(nèi)容的重放；及無(wú)線(xiàn)模塊， 其將所述包發(fā)射到所述設(shè)備外部的3D顯示裝置。在另一方面中，一種方法包含通過(guò)設(shè)備的多媒體處理模塊產(chǎn)生3D視頻內(nèi)容的視頻數(shù)據(jù)區(qū)段、音頻數(shù)據(jù)區(qū)段及深度數(shù)據(jù)區(qū)段；通過(guò)所述設(shè)備的輸送協(xié)議模塊根據(jù)輸送協(xié)議將所述視頻數(shù)據(jù)區(qū)段、所述音頻數(shù)據(jù)區(qū)段及所述深度數(shù)據(jù)區(qū)段中的每一者封裝于多個(gè)包中的不同者中，且將元數(shù)據(jù)添加到所述多個(gè)包中的至少一者以用于增強(qiáng)所述3D視頻內(nèi)容的重放；及通過(guò)所述設(shè)備的無(wú)線(xiàn)模塊將所述包發(fā)射到所述設(shè)備外部的3D顯示裝置。在另一方面中，一種設(shè)備包含用于產(chǎn)生3D視頻內(nèi)容的視頻數(shù)據(jù)區(qū)段、音頻數(shù)據(jù)區(qū)段及深度數(shù)據(jù)區(qū)段的裝置；用于根據(jù)輸送協(xié)議將所述視頻數(shù)據(jù)區(qū)段、所述音頻數(shù)據(jù)區(qū)段及所述深度數(shù)據(jù)區(qū)段中的每一者封裝于多個(gè)包中的不同者中且將元數(shù)據(jù)添加到所述多個(gè)包中的至少一者以用于增強(qiáng)所述3D視頻內(nèi)容的重放的裝置；及用于將所述包發(fā)射到所述設(shè)備外部的3D顯示裝置的裝置。在另一方面中，一種計(jì)算機(jī)可讀存儲(chǔ)媒體包含若干指令，所述指令使處理器產(chǎn)生 3D視頻內(nèi)容的視頻數(shù)據(jù)區(qū)段、音頻數(shù)據(jù)區(qū)段及深度數(shù)據(jù)區(qū)段；根據(jù)輸送協(xié)議將所述視頻數(shù)據(jù)區(qū)段、所述音頻數(shù)據(jù)區(qū)段及所述深度數(shù)據(jù)區(qū)段中的每一者封裝于多個(gè)包中的不同者中， 且將元數(shù)據(jù)添加到所述多個(gè)包中的至少一者以用于增強(qiáng)所述3D視頻內(nèi)容的重放；且將所述包發(fā)射到設(shè)備外部的3D顯示裝置。在附圖及下文描述中闡述所述技術(shù)的一個(gè)或一個(gè)以上方面的細(xì)節(jié)。所述技術(shù)的其它特征、目標(biāo)及優(yōu)點(diǎn)將從所述描述及所述圖式及從權(quán)利要求書(shū)而顯而易見(jiàn)。


圖1為說(shuō)明一系統(tǒng)的框圖，在所述系統(tǒng)中，移動(dòng)裝置實(shí)施本發(fā)明的技術(shù)的各種方面以促成跨平臺(tái)視頻數(shù)據(jù)重放。圖2為更詳細(xì)地說(shuō)明圖1的移動(dòng)裝置的框圖。圖3為更詳細(xì)地說(shuō)明圖2的移動(dòng)裝置的變換模塊及離線(xiàn)處理模塊的框圖。圖4A及4B為說(shuō)明一裝置在實(shí)施本發(fā)明中所描述的技術(shù)的各種方面時(shí)的實(shí)例操作的流程圖。圖5為說(shuō)明實(shí)施本發(fā)明中所描述的技術(shù)的各種方面的實(shí)例裝置的框圖。
圖6為說(shuō)明一移動(dòng)裝置在執(zhí)行本發(fā)明中所描述的技術(shù)的各種方面時(shí)的實(shí)例操作的流程圖。圖7為說(shuō)明三維(3D)視頻內(nèi)容的框圖，所述三維(3D)視頻內(nèi)容已根據(jù)本發(fā)明中所描述的技術(shù)的各種方面而格式化。圖8A到8C為說(shuō)明實(shí)例區(qū)段的框圖，在所述實(shí)例區(qū)段中，已根據(jù)本發(fā)明中所描述的技術(shù)的各種方面而嵌入元數(shù)據(jù)。圖9為說(shuō)明無(wú)線(xiàn)顯示器(WD)主機(jī)單元在執(zhí)行本發(fā)明中所描述的技術(shù)的格式化方面時(shí)的實(shí)例操作的流程圖。圖IOA到IOE為說(shuō)明各種系統(tǒng)的框圖，所述系統(tǒng)實(shí)施本發(fā)明中所描述的技術(shù)的一個(gè)或一個(gè)以上方面以促成跨平臺(tái)視頻重放。
具體實(shí)施例方式本發(fā)明是針對(duì)促成跨平臺(tái)三維(3D)視頻重放的技術(shù)。術(shù)語(yǔ)“平臺(tái)”大體上指代一特定視頻顯示裝置及/或例如音頻/視頻接收器等任何支持裝置的軟件及硬件計(jì)算框架結(jié)構(gòu)，及關(guān)于視頻解碼及重放的此框架結(jié)構(gòu)的限制及功能性。二維OD)顯示裝置通常提供借以接收、解碼并呈現(xiàn)根據(jù)動(dòng)畫(huà)專(zhuān)家組(MPEG)標(biāo)準(zhǔn)第二部分(通常稱(chēng)為“MPEG-2”)格式化的視頻數(shù)據(jù)的平臺(tái)。能夠呈現(xiàn)2D視頻數(shù)據(jù)與三維(3D)視頻數(shù)據(jù)兩者的其它混合顯示裝置可提供能夠接收、解碼并呈現(xiàn)根據(jù)MPEG-2標(biāo)準(zhǔn)及特定3D視頻數(shù)據(jù)格式(例如，專(zhuān)屬制造商特定格式)格式化的視頻數(shù)據(jù)的混合平臺(tái)。專(zhuān)屬格式的實(shí)例包括“2D+深度”格式(其可稱(chēng)作“2D+z”格式，其中“ζ”代表深度)、“2D+深度、遮蔽及全局效果”(其中透明度為特定類(lèi)型的全局效果)及多視圖2D串流格式。僅3D顯示裝置通常提供借以接收、解碼并呈現(xiàn)根據(jù)制造商特定3D格式中的一者格式化的3D視頻數(shù)據(jù)的平臺(tái)。所述技術(shù)通過(guò)實(shí)現(xiàn)在若干不同3D視頻平臺(tái)上進(jìn)行3D視頻重放而促成跨平臺(tái)3D 視頻重放。當(dāng)前，沒(méi)有一個(gè)制造商特定的、專(zhuān)屬的或甚至開(kāi)放源碼或其它“自由” 3D視頻格式得以標(biāo)準(zhǔn)化或得到產(chǎn)業(yè)范圍接受。實(shí)情為，與這些各種格式中的每一者相關(guān)聯(lián)的制造商正試圖在市場(chǎng)中促成此標(biāo)準(zhǔn)化。此外，歸因于不同格式之間的競(jìng)爭(zhēng)，這些3D視頻格式中沒(méi)有一者支持跨平臺(tái)3D視頻重放?？缙脚_(tái)3D視頻重放大體上指代一個(gè)平臺(tái)重放經(jīng)格式化以用于不同平臺(tái)的3D視頻數(shù)據(jù)的能力。因此，以一種格式格式化的3D視頻數(shù)據(jù)通常無(wú)法由提供接收、解碼并呈現(xiàn)以另一不同格式格式化的3D視頻數(shù)據(jù)的平臺(tái)的3D顯示裝置顯示。就此來(lái)說(shuō)，本發(fā)明的技術(shù)可通過(guò)將3D視頻數(shù)據(jù)從一種格式變換成另一格式而促成跨平臺(tái)3D 視頻重放?？缙脚_(tái)3D視頻重放還涉及將2D視頻數(shù)據(jù)變換成3D視頻數(shù)據(jù)以用于在3D顯示裝置上重放。術(shù)語(yǔ)“跨平臺(tái)”因此還可包括2D平臺(tái)以及3D平臺(tái)，其中所述技術(shù)可包含接收2D 視頻數(shù)據(jù)且將此2D視頻數(shù)據(jù)變換成根據(jù)由特定3D顯示裝置或混合2D/3D顯示裝置支持的 3D視頻數(shù)據(jù)格式而格式化的3D視頻數(shù)據(jù)。混合2D/3D顯示裝置包含能夠進(jìn)行2D視頻解碼及重放與3D視頻解碼及重放兩者的顯示裝置。所述技術(shù)可在若干方面中促成跨平臺(tái)3D視頻重放。在一個(gè)方面中，所述技術(shù)可促進(jìn)視頻顯示器詢(xún)問(wèn)以根據(jù)詢(xún)問(wèn)確定由視頻顯示裝置支持的3D視頻數(shù)據(jù)格式?？勺詣?dòng)地發(fā)生此詢(xún)問(wèn)，或在無(wú)除用以選擇用于詢(xún)問(wèn)的一個(gè)或一個(gè)以上3D顯示裝置的初始用戶(hù)輸入外的用戶(hù)輸入的情況下發(fā)生此詢(xún)問(wèn)。在自動(dòng)地確定3D顯示裝置的此3D視頻數(shù)據(jù)格式之后， 所述技術(shù)可涉及根據(jù)所述自動(dòng)確定的3D視頻數(shù)據(jù)格式自動(dòng)地(例如，在無(wú)任何用戶(hù)輸入的情況下)配置將2D視頻數(shù)據(jù)轉(zhuǎn)換成3D視頻數(shù)據(jù)的一個(gè)或一個(gè)以上模塊，以便產(chǎn)生3D視頻數(shù)據(jù)。所述經(jīng)配置的模塊接著接收2D視頻數(shù)據(jù)且將此2D視頻數(shù)據(jù)變換或以其它方式轉(zhuǎn)換成遵照顯示裝置的自動(dòng)確定的輸入格式的3D視頻數(shù)據(jù)。此3D視頻數(shù)據(jù)發(fā)送到3D顯示裝置，所述3D顯示裝置進(jìn)行解碼并呈現(xiàn)此3D視頻數(shù)據(jù)以供用戶(hù)觀看。在另一方面中，所述技術(shù)可通過(guò)基于所監(jiān)視的參數(shù)而重新配置將視頻數(shù)據(jù)變換成 3D視頻數(shù)據(jù)的所述模塊中的一者或一者以上來(lái)促成跨平臺(tái)3D視頻重放，所述所監(jiān)視的參數(shù)反映在通過(guò)特定3D顯示裝置重放3D視頻數(shù)據(jù)期間3D視頻數(shù)據(jù)的3D可視化的質(zhì)量。可在視頻數(shù)據(jù)的變換期間動(dòng)態(tài)地發(fā)生此重新配置。所述模塊的重新配置精細(xì)化3D視頻數(shù)據(jù)的產(chǎn)生，以動(dòng)態(tài)地改善由3D顯示裝置產(chǎn)生的3D可視化的質(zhì)量。所述模塊的重新配置還可用于降低可接受的3D視頻質(zhì)量的處理復(fù)雜性的目的?？赏ㄟ^(guò)根據(jù)所述重新配置參數(shù)停用所述模塊中的一些模塊的執(zhí)行或選擇較簡(jiǎn)單的過(guò)程來(lái)執(zhí)行相同功能性來(lái)降低處理復(fù)雜性。 較簡(jiǎn)單的過(guò)程可誘發(fā)降低的3D視頻質(zhì)量，所述降低的3D視頻質(zhì)量根據(jù)用戶(hù)定義的準(zhǔn)則仍應(yīng)被視為可接受的。降低處理復(fù)雜性可降低電力消耗或可加速執(zhí)行所述模塊的功能性。值得注意的是，可近實(shí)時(shí)地發(fā)生或在將3D視頻數(shù)據(jù)流式傳輸?shù)?D顯示裝置的同時(shí)發(fā)生參數(shù)的監(jiān)視與用以將視頻數(shù)據(jù)(2D視頻數(shù)據(jù)或3D視頻數(shù)據(jù))變換成經(jīng)格式化以用于特定3D顯示裝置的3D視頻數(shù)據(jù)的模塊的重新配置。在另一方面中，所述技術(shù)可促成提供無(wú)線(xiàn)接口的某一類(lèi)別的3D顯示裝置進(jìn)行跨平臺(tái)3D視頻重放。實(shí)施所述技術(shù)的此方面的裝置可包含用以存儲(chǔ)視頻數(shù)據(jù)的第一模塊； 及確定便攜式裝置外部的顯示裝置的一個(gè)或一個(gè)以上顯示參數(shù)的無(wú)線(xiàn)顯示器主機(jī)模塊。這些顯示參數(shù)可包含顯示裝置的顯示分辨率、由顯示裝置支持的文件格式、由顯示裝置支持的視頻數(shù)據(jù)編碼器/解碼器技術(shù)(所謂的“視頻編解碼器”)、由顯示裝置支持的音頻編解碼器、顯示裝置是否支持3D視頻數(shù)據(jù)重放，及關(guān)于顯示裝置的能力或額外方面的其它參數(shù)。 實(shí)施所述技術(shù)的此方面的裝置還可包括第三模塊，其基于所述所確定的顯示參數(shù)而制備視頻數(shù)據(jù)以產(chǎn)生用于在外部顯示裝置上重放的視頻數(shù)據(jù)；及無(wú)線(xiàn)模塊，其將3D視頻數(shù)據(jù)無(wú)線(xiàn)地發(fā)射到外部顯示裝置。在一些例子中，可由便攜式裝置實(shí)施所述技術(shù)的各種方面，所述便攜式裝置包括無(wú)線(xiàn)蜂窩式手持機(jī)(其常稱(chēng)作蜂窩式或移動(dòng)電話(huà))。可實(shí)施所述技術(shù)的各種方面的其它便攜式裝置包括所謂的“智能電話(huà)”、極易便攜式計(jì)算裝置(稱(chēng)作“迷你筆記型計(jì)算機(jī)”)、膝上型計(jì)算機(jī)、便攜式媒體播放器(PMP)，及個(gè)人數(shù)字助理(PDA)。還可由例如以下各者的大體上非便攜式的裝置實(shí)施所述技術(shù)桌上型計(jì)算機(jī)、機(jī)頂盒(STB)、工作站、視頻重放裝置(例如，數(shù)字視頻光盤(pán)或DVD播放器)、2D顯示裝置及3D顯示裝置。因此，雖然在本發(fā)明中關(guān)于移動(dòng)或便攜式裝置來(lái)描述所述技術(shù)的各種方面，但可由能夠接收視頻數(shù)據(jù)并將視頻數(shù)據(jù)轉(zhuǎn)發(fā)到外部顯示裝置的任何計(jì)算裝置實(shí)施所述技術(shù)的各種方面。圖1為說(shuō)明系統(tǒng)10的框圖，在系統(tǒng)10中，移動(dòng)裝置12實(shí)施本發(fā)明的技術(shù)的各種方面以促成跨平臺(tái)視頻數(shù)據(jù)重放。如圖1的實(shí)例中所展示，系統(tǒng)10包括源裝置14及顯示裝置16，所述源裝置14與顯示裝置16兩者分別經(jīng)由無(wú)線(xiàn)通信信道13及15與移動(dòng)裝置12 通信。源裝置14可包括通用多媒體裝置，例如個(gè)人計(jì)算機(jī)、工作站、個(gè)人數(shù)字助理(PDA)、移動(dòng)電話(huà)(包括所謂的“智能電話(huà)”)，或包含能夠執(zhí)行軟件(且特定來(lái)說(shuō)，多媒體軟件)的通用處理器的任一其它類(lèi)型的裝置。源裝置14或者可包含專(zhuān)用多媒體裝置，例如視頻攝錄一體機(jī)、數(shù)字視頻光盤(pán)(DVD)播放器、電視機(jī)、機(jī)頂盒(STB)、壓縮光盤(pán)(⑶)播放器、數(shù)字媒體播放器(例如，所謂的“MP3”播放器或組合MP3/MP4播放器，以及播放其它格式的其它媒體播放器，包括高級(jí)音頻譯碼(AAC)、WindoWS媒體視頻(WMV)及波形音頻視頻(WAV)格式)、 數(shù)字視頻記錄器(DVR)、全球定位系統(tǒng)(GPQ裝置，或?qū)Ｓ糜谝唤M一個(gè)或一個(gè)以上多媒體應(yīng)用且通常并不實(shí)現(xiàn)對(duì)多媒體軟件的加載及執(zhí)行的用戶(hù)控制的任一其它裝置。顯示裝置16大體上表示能夠經(jīng)由顯示器進(jìn)行視頻重放的任一裝置。顯示裝置16 可包含電視機(jī)(TV)顯示器，其可取決于顯示裝置16支持2D視頻數(shù)據(jù)重放、3D視頻數(shù)據(jù)重放還是2D與3D視頻數(shù)據(jù)重放的組合而被稱(chēng)作2D視頻顯示裝置、3D視頻顯示裝置或混合 2D/3D視頻顯示裝置。顯示裝置16或者可包含具有顯示器的任一其它裝置，例如膝上型計(jì)算機(jī)、個(gè)人媒體播放器(PMP)、桌上型計(jì)算機(jī)、工作站、PDA，及便攜式數(shù)字媒體播放器(例如，便攜式DVD播放器)。出于說(shuō)明的目的，假定顯示裝置16表示與移動(dòng)裝置12無(wú)線(xiàn)地通信的無(wú)線(xiàn)電視機(jī)。然而，本發(fā)明的技術(shù)不應(yīng)限于無(wú)線(xiàn)電視機(jī)。源裝置14包括存儲(chǔ)模塊18，其存儲(chǔ)2D視頻內(nèi)容20及3D視頻內(nèi)容22中的一者或一者以上。存儲(chǔ)模塊18可包含存儲(chǔ)器(易失性或非易失性存儲(chǔ)器)，包括隨機(jī)存取存儲(chǔ)器(RAM)、靜態(tài)RAM (SRAM)、動(dòng)態(tài)RAM (DRAM)、快閃存儲(chǔ)器、只讀存儲(chǔ)器(ROM)、可編程 ROM(PROM)、可擦除PROM(EPROM)，及電可擦除PROM(EEPROM)。存儲(chǔ)模塊18或者可包含存儲(chǔ)裝置，例如硬盤(pán)驅(qū)動(dòng)器、光驅(qū)、磁帶驅(qū)動(dòng)器及磁盤(pán)驅(qū)動(dòng)器。在一些例子中，存儲(chǔ)模塊18可包含一個(gè)或一個(gè)以上存儲(chǔ)器及一個(gè)或一個(gè)以上存儲(chǔ)裝置的組合。2D視頻內(nèi)容20表示根據(jù)特定2D視頻數(shù)據(jù)文件格式而格式化的2D視頻數(shù)據(jù)。實(shí)例2D視頻數(shù)據(jù)文件格式可包括由動(dòng)畫(huà)專(zhuān)家組(MPEG)4第14部分所定義的MP4文件格式。 MP4文件格式是通常用以存儲(chǔ)數(shù)字音頻及數(shù)字視頻串流的容器文件格式。其它容器文件格式包含MP4文件格式的簡(jiǎn)化版本(稱(chēng)作3GP)、高級(jí)系統(tǒng)格式(ASF)、高級(jí)視頻交錯(cuò)(AVI)文件格式、DivX媒體格式(DMF)、增強(qiáng)型視頻對(duì)象(EVO)文件格式，及快閃視頻文件格式。在此方面或其它方面中，文件格式還可指代關(guān)于特定輸送及/或應(yīng)用層協(xié)議(例如，實(shí)時(shí)輸送協(xié)議(RTP)及串流控制傳輸協(xié)議(SCTP))而使用的文件格式。3D視頻內(nèi)容22表示根據(jù)特定3D視頻數(shù)據(jù)文件格式而格式化的經(jīng)譯碼的3D視頻數(shù)據(jù)。示范性3D視頻數(shù)據(jù)格式包含“2D+深度”(其通常稱(chēng)作“2D+z”格式)、“2D+深度、遮蔽及全局效果”或多視圖2D串流文件格式。就此來(lái)說(shuō)，視頻數(shù)據(jù)文件格式大體上指代封裝視頻數(shù)據(jù)的標(biāo)準(zhǔn)方式(不管視頻數(shù)據(jù)是否經(jīng)編碼)。因此，視頻數(shù)據(jù)文件格式可定義大體上封裝視頻數(shù)據(jù)或其部分以促進(jìn)視頻數(shù)據(jù)的存儲(chǔ)及/或發(fā)射的方式。可使用例如以下各者的多種編解碼器來(lái)編碼視頻數(shù)據(jù)MPEG-2或任一其它編解碼器，包括國(guó)際電信聯(lián)盟標(biāo)準(zhǔn)化部門(mén)(ITU-T)H. 264/MPEG-4第10部分高級(jí)視頻譯碼(AVC)標(biāo)準(zhǔn)(在下文中稱(chēng)作“H.沈4/ MPEG-4AVC”標(biāo)準(zhǔn))中所定義的編解碼器。在一些例子中，還可使用稱(chēng)作H.沈5(或，根據(jù)其名稱(chēng)，稱(chēng)作下一代視頻譯碼(NGVC))的編解碼器來(lái)編碼視頻數(shù)據(jù)，所述編解碼器是由ITU-T 視頻譯碼專(zhuān)家組(VCEG)開(kāi)發(fā)。在本發(fā)明中使用術(shù)語(yǔ)“視頻內(nèi)容”來(lái)指代根據(jù)特定視頻數(shù)據(jù)文件格式封裝的經(jīng)譯碼的視頻數(shù)據(jù)。雖然為了便于說(shuō)明而在圖1中未展示，但源裝置14可包括額外模塊，例如用于俘獲2D視頻內(nèi)容20及3D視頻內(nèi)容22的視頻俘獲模塊?；蛘撸囱b置14可充當(dāng)用于存儲(chǔ)內(nèi)容20、22的歸檔存儲(chǔ)單元或儲(chǔ)集器。在一些例子中，源裝置14可經(jīng)由源裝置14內(nèi)所包括的接口 M而無(wú)線(xiàn)地接收內(nèi)容20、22。即，源裝置14包括借以與外部裝置無(wú)線(xiàn)地通信的接口 24。在一些例子中，這些外部裝置可經(jīng)由接口對(duì)與源裝置14介接以將內(nèi)容20、22存儲(chǔ)到存儲(chǔ)模塊18。出于說(shuō)明性目的，顯示裝置16 (如上文所注明，其可表示無(wú)線(xiàn)電視機(jī)顯示器)包括接口 26、文件格式模塊27、視頻解碼器觀及顯示器30。接口 26 (類(lèi)似于接口 24)表示顯示裝置16外部的裝置可借以與顯示裝置16通信的接口。在此實(shí)例中，假定接口對(duì)及沈中的每一者表示無(wú)線(xiàn)接口。文件格式模塊27表示實(shí)施上文所描述的文件格式中的一者或一者以上的硬件或硬件與軟件模塊的組合。通常，文件格式模塊27執(zhí)行解封裝以移除封裝經(jīng)譯碼的視頻數(shù)據(jù)的文件格式標(biāo)頭且借以輸出經(jīng)譯碼的視頻數(shù)據(jù)。視頻解碼器觀可表示實(shí)施用于解碼經(jīng)譯碼的視頻數(shù)據(jù)的一個(gè)或一個(gè)以上視頻編解碼器的硬件或組合硬件與軟件模塊。值得注意的是，使用術(shù)語(yǔ)“編解碼器”，而不管視頻解碼器觀是否實(shí)施給定編解碼器的編碼(即，壓縮)與解碼(即，解壓縮)方面兩者。因此， 可將視頻解碼器觀解釋為通過(guò)僅實(shí)施編解碼器的解壓縮方面而實(shí)施此編解碼器。就此來(lái)說(shuō)，視頻解碼器觀可實(shí)施編解碼器，而不管視頻解碼器觀是實(shí)施編解碼器的壓縮與解壓縮方面兩者還是僅實(shí)施編解碼器的解壓縮方面。雖然在圖1的實(shí)例中未展示，但顯示裝置16還可包括表示實(shí)施一個(gè)或一個(gè)以上音頻編解碼器的硬件或硬件與軟件的組合的其它模塊。在一些例子中，視頻模塊與音頻模塊可組合于同一模塊中，所述同一模塊通常稱(chēng)作音頻/視頻(A/V)解碼器。顯示器30可包含任何類(lèi)型的顯示器，包括有機(jī)發(fā)光二極管(OLED)顯示器、發(fā)光二極管(LED)顯示器、等離子顯示器，及陰極射線(xiàn)管(CRT)顯示器。在圖1的實(shí)例中，移動(dòng)裝置12還包括一個(gè)或一個(gè)以上接口 32，其大體上類(lèi)似于相應(yīng)源裝置14及顯示裝置16的接口對(duì)及沈。移動(dòng)裝置12還包括實(shí)施本發(fā)明中所描述的技術(shù)的一個(gè)或一個(gè)以上方面的控制單元34?？刂茊卧?4可包含一個(gè)或一個(gè)以上處理器(圖1 中未展示)，所述一個(gè)或一個(gè)以上處理器執(zhí)行存儲(chǔ)到例如以下各者的計(jì)算機(jī)可讀存儲(chǔ)媒體 (在圖1中也未展示)的軟件指令(例如，用以定義軟件或計(jì)算機(jī)程序的軟件指令)存儲(chǔ)裝置(例如，磁盤(pán)驅(qū)動(dòng)器或光驅(qū))或存儲(chǔ)器(例如，快閃存儲(chǔ)器、隨機(jī)存取存儲(chǔ)器，或RAM)， 或存儲(chǔ)指令(例如，呈計(jì)算機(jī)程序或其它可執(zhí)行程序的形式)以使可編程處理器執(zhí)行本發(fā)明中所描述的技術(shù)的任一其它類(lèi)型的易失性或非易失性存儲(chǔ)器。或者，控制單元34可包含專(zhuān)用硬件，例如一個(gè)或一個(gè)以上集成電路、一個(gè)或一個(gè)以上專(zhuān)用集成電路(ASIC)、一個(gè)或一個(gè)以上專(zhuān)用特殊處理器(ASSP)、一個(gè)或一個(gè)以上現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)，或用于執(zhí)行本發(fā)明中所描述的技術(shù)的專(zhuān)用硬件的上述實(shí)例的任一組合。控制單元34包括變換模塊36、參數(shù)發(fā)現(xiàn)模塊38及人類(lèi)視覺(jué)系統(tǒng)(HW)反饋模塊 40 ( “HVS反饋模塊40”)。根據(jù)本發(fā)明中所描述的技術(shù)的各種方面，變換模塊36表示將2D 視頻內(nèi)容20與3D視頻內(nèi)容22中的一者或兩者變換成可為顯示裝置16接受或與顯示裝置16兼容的視頻數(shù)據(jù)的一個(gè)或一個(gè)以上可配置硬件模塊或一個(gè)或一個(gè)以上硬件與軟件可配置模塊的組合。當(dāng)所得的經(jīng)變換的視頻數(shù)據(jù)是根據(jù)由視頻解碼器觀支持的視頻編解碼器來(lái)編碼且根據(jù)由文件格式模塊27支持的文件格式來(lái)格式化時(shí)，視頻數(shù)據(jù)可與顯示裝置16 “兼容”。根據(jù)本發(fā)明中所描述的技術(shù)的一個(gè)或一個(gè)以上方面，參數(shù)發(fā)現(xiàn)模塊38表示與顯示裝置16介接以發(fā)現(xiàn)顯示裝置16的一個(gè)或一個(gè)以上參數(shù)42 (包括由顯示裝置16支持的一個(gè)或一個(gè)以上文件格式)的一個(gè)或一個(gè)以上硬件模塊，所述一個(gè)或一個(gè)以上硬件模塊中的一些模塊可執(zhí)行軟件。這些格式通常包含由顯示裝置16的文件格式模塊27支持的一個(gè)或一個(gè)以上文件格式。通常，格式42暗示由視頻解碼器觀支持的一個(gè)或一個(gè)以上類(lèi)型的編解碼器且因此參數(shù)發(fā)現(xiàn)模塊38還可發(fā)現(xiàn)由視頻解碼器觀支持的特定編解碼器。除文件格式外，參數(shù)42可包括所支持的分辨率、當(dāng)前分辨率、所支持的對(duì)比度、當(dāng)前對(duì)比度、顯示器或屏幕大小、由顯示裝置16支持的音頻及視頻編解碼器、接口沈的列表、 當(dāng)前清晰度、所支持的清晰度、所支持的色溫、當(dāng)前色溫、所支持的亮度、當(dāng)前亮度、所支持的顯示格式、當(dāng)前顯示格式、所支持的色彩設(shè)定、當(dāng)前色彩設(shè)定、所支持的輸入格式、顯示器類(lèi)型、顯示器制造商、所支持的深度范圍、當(dāng)前深度范圍、會(huì)聚平面的所支持的位置、會(huì)聚平面的當(dāng)前位置、所支持的背景對(duì)象平滑度、當(dāng)前背景對(duì)象平滑度、所支持的目距配置、當(dāng)前目距配置、所支持的優(yōu)勢(shì)眼配置、當(dāng)前優(yōu)勢(shì)眼配置、所支持的視圖數(shù)目、當(dāng)前視圖數(shù)目、所支持的觀看距離、當(dāng)前觀看距離、所支持的觀看角度、當(dāng)前觀看角度、在屏幕內(nèi)的3D視頻內(nèi)容的所支持的顯示位置、及在屏幕內(nèi)的3D視頻內(nèi)容的當(dāng)前位置，及與顯示裝置16及其能力有關(guān)的任何其它參數(shù)。在任一情況下，參數(shù)發(fā)現(xiàn)模塊38發(fā)現(xiàn)格式，所述格式可包括文件格式與譯碼格式或技術(shù)(例如，所支持的編解碼器)兩者。舉例來(lái)說(shuō)，發(fā)現(xiàn)稱(chēng)作“2D+深度”的3D文件格式暗示視頻解碼器觀支持3D視頻編解碼器，所述3D視頻編解碼器能夠解碼根據(jù)(例如) MPEG-2標(biāo)準(zhǔn)譯碼的“2D+深度”文件格式的經(jīng)譯碼的2D視頻數(shù)據(jù)部分，同時(shí)還解碼“2D+深度”文件格式的深度部分以再現(xiàn)3D視頻數(shù)據(jù)以用于經(jīng)由顯示裝置30重放。HVS反饋模塊40表示分析關(guān)于由顯示裝置16進(jìn)行的3D視頻數(shù)據(jù)的顯示的定性及定量度量的一個(gè)或一個(gè)以上硬件模塊或硬件與軟件模塊的組合。根據(jù)本發(fā)明中所描述的技術(shù)的各種方面，HVS反饋模塊40可分析定性及定量度量且接著重新配置變換模塊36以改善輸入視頻數(shù)據(jù)(例如，2D視頻內(nèi)容20或3D視頻內(nèi)容22)到遵照由參數(shù)發(fā)現(xiàn)模塊38發(fā)現(xiàn)的輸入格式的視頻數(shù)據(jù)的變換。HVS反饋模塊40可與顯示裝置16介接以檢索由顯示裝置16的視頻解碼器觀輸出的視頻數(shù)據(jù)44，HVS反饋模塊40接著分析所述視頻數(shù)據(jù)44以確定這些定性及定量度量。HVS反饋模塊40可經(jīng)由變換模塊36的此重新配置而促成較佳質(zhì)量的3D視頻數(shù)據(jù)重放。根據(jù)本發(fā)明中所描述的技術(shù)的一個(gè)方面，移動(dòng)裝置12自動(dòng)地確定3D顯示裝置的 3D輸入文件格式且將2D視頻內(nèi)容20變換成3D視頻數(shù)據(jù)以便遵照所述3D輸入文件格式。 出于說(shuō)明的目的，假定顯示裝置16包含能夠呈現(xiàn)2D視頻內(nèi)容20與3D視頻內(nèi)容22兩者的混合2D/3D無(wú)線(xiàn)電視機(jī)。移動(dòng)裝置12的參數(shù)發(fā)現(xiàn)模塊38可經(jīng)由無(wú)線(xiàn)通信信道15與顯示裝置16介接以詢(xún)問(wèn)文件格式模塊27，以便確定由文件格式模塊27支持以接收3D視頻數(shù)據(jù)的至少一個(gè)輸入文件格式。如上文所描述，文件格式可包含一個(gè)或一個(gè)以上3D文件格式 (例如，“2D+深度”或多視圖2D串流格式)，以及由視頻解碼器觀實(shí)施以解碼3D視頻數(shù)據(jù)的一個(gè)或一個(gè)以上編解碼器(其可通過(guò)所確定的文件格式來(lái)暗示)。值得注意的是，顯示裝置16可實(shí)施第一文件格式，而圖1中未展示的其它顯示裝置可實(shí)施不同于所述第一文件格式的多個(gè)不同文件格式。所述多個(gè)不同文件格式可防止2D 視頻數(shù)據(jù)(但更特定來(lái)說(shuō)，3D視頻數(shù)據(jù))的跨平臺(tái)重放，這是因?yàn)?D視頻文件格式尚未得以標(biāo)準(zhǔn)化或大體上未在產(chǎn)業(yè)內(nèi)采用。通過(guò)發(fā)現(xiàn)顯示文件格式且接著將任何輸入或源視頻數(shù)據(jù)變換成所發(fā)現(xiàn)的文件格式可克服當(dāng)試圖在接受第二不同文件格式的顯示裝置上解碼并呈現(xiàn)以第一文件格式格式化的3D視頻數(shù)據(jù)時(shí)可能出現(xiàn)的跨平臺(tái)重放問(wèn)題。最初，移動(dòng)裝置12的用戶(hù)或其它操作者可與由用戶(hù)接口模塊(為便于說(shuō)明，在圖 1中未展示)呈現(xiàn)的用戶(hù)接口介接，以選擇或以其它方式發(fā)現(xiàn)顯示裝置16。用戶(hù)接口可呈現(xiàn)位于移動(dòng)裝置12的給定范圍內(nèi)的或連接到移動(dòng)裝置12同樣連接的網(wǎng)絡(luò)(例如，802. Ilx 無(wú)線(xiàn)網(wǎng)絡(luò)、超寬帶(UWB)網(wǎng)絡(luò)，及/或Bluetooth 網(wǎng)絡(luò))的裝置的列表。操作者可與用戶(hù)接口介接以選擇裝置(例如，顯示裝置16)，此后用戶(hù)接口模塊向參數(shù)發(fā)現(xiàn)模塊38通知選定的顯示裝置16。雖然可以此方式發(fā)生手動(dòng)選擇，但參數(shù)發(fā)現(xiàn)模塊38可自動(dòng)地與列表中的每一裝置介接以發(fā)現(xiàn)用于列表上的每一裝置的參數(shù)(例如，文件形式)。用戶(hù)接口可接著呈現(xiàn)所述列表且接收來(lái)自操作者或其它用戶(hù)的選擇所述裝置中的一者的輸入。換句話(huà)說(shuō)，參數(shù)發(fā)現(xiàn)模塊38可響應(yīng)于用戶(hù)選擇移動(dòng)裝置12可介接的裝置的列表上的給定裝置或并不等待此選擇而自動(dòng)地發(fā)現(xiàn)參數(shù)(包括格式)。在無(wú)任何其它用戶(hù)輸入的情況下發(fā)生發(fā)現(xiàn)的意義上，發(fā)現(xiàn)可為“自動(dòng)的”。參數(shù)發(fā)現(xiàn)模塊38可與顯示裝置16介接，(例如)詢(xún)問(wèn)文件格式模塊27 且接收由顯示裝置16支持的格式作為參數(shù)42中的一者，而無(wú)需任何用戶(hù)輸入。參數(shù)發(fā)現(xiàn)模塊38經(jīng)由接口 32中的一個(gè)適當(dāng)接口與顯示裝置16介接，所述適當(dāng)接口經(jīng)由通信信道15耦合到顯示裝置16的接口 26。參數(shù)發(fā)現(xiàn)模塊38可實(shí)施借以與文件格式模塊27通信的詢(xún)問(wèn)協(xié)議。舉例來(lái)說(shuō)，參數(shù)發(fā)現(xiàn)模塊38可實(shí)施顯示接口協(xié)議或標(biāo)準(zhǔn)(例如， 高清多媒體接口(HDMI)協(xié)議或無(wú)線(xiàn)HDMI (WHDMI)協(xié)議)的各種方面，所述顯示接口協(xié)議或標(biāo)準(zhǔn)提供借以確定各種參數(shù)的通信信道，所述各種參數(shù)可特征化為顯示裝置16的能力及特性。雖然尚未闡述定義WHDMI的特定標(biāo)準(zhǔn)，但期望HDMI的有線(xiàn)版本，如日期為2006年11 月10日的題目為“高清多媒體接口規(guī)范1. 3A版(High-Definition Multimedia Interface Specification Version 1. 3A) ”的規(guī)范(所述規(guī)范借此以全文引用的方式并入本文中)中所闡述，存在借以詢(xún)問(wèn)或以其它方式確定顯示裝置16的參數(shù)42 (包括所支持的文件格式) 的顯示數(shù)據(jù)信道(DDC)。雖然在本發(fā)明中關(guān)于HDMI及WHDMI來(lái)描述所述技術(shù)，但所述技術(shù)可根據(jù)開(kāi)放標(biāo)準(zhǔn) (例如，非專(zhuān)屬標(biāo)準(zhǔn))以及并非受具體支持或尚未并入到任一標(biāo)準(zhǔn)中的其它規(guī)范(專(zhuān)屬的或開(kāi)放的)來(lái)實(shí)施。舉例來(lái)說(shuō)，參數(shù)發(fā)現(xiàn)模塊38可實(shí)施移動(dòng)顯示數(shù)字接口(MDDI)，其為在由視頻電子標(biāo)準(zhǔn)協(xié)會(huì)支持的開(kāi)放標(biāo)準(zhǔn)中定義的接口?；蛘?，或結(jié)合MDDI，參數(shù)發(fā)現(xiàn)模塊38可實(shí)施MDDI的無(wú)線(xiàn)擴(kuò)展(稱(chēng)作無(wú)線(xiàn)MDDI (WMDDI))。此外，所述技術(shù)可關(guān)于移動(dòng)產(chǎn)業(yè)處理器接口(MIPI)來(lái)實(shí)施。就此來(lái)說(shuō)，所述技術(shù)因此不應(yīng)限于任一個(gè)標(biāo)準(zhǔn)接口(例如，HDMI)，而是可關(guān)于…來(lái)實(shí)施。在以此方式發(fā)現(xiàn)格式42之后，參數(shù)發(fā)現(xiàn)模塊38接著與變換模塊36介接以配置變換模塊36，如上文所描述，變換模塊36表示將2D視頻數(shù)據(jù)與3D視頻數(shù)據(jù)兩者轉(zhuǎn)換成遵照所確定的輸入格式42的3D視頻數(shù)據(jù)的一個(gè)或一個(gè)以上模塊。參數(shù)發(fā)現(xiàn)模塊38可確定配置數(shù)據(jù)且將此配置數(shù)據(jù)加載到變換模塊36中以便配置變換模塊36，以將視頻內(nèi)容(例如，2D視頻內(nèi)容20)變換成根據(jù)輸入格式42格式化的3D視頻內(nèi)容。上文所描述但為便于說(shuō)明而在圖1中未展示的用戶(hù)接口還可呈現(xiàn)另一裝置列表 (其可稱(chēng)作“源列表”)以區(qū)分此列表與顯示器列表(其可特征化為“目的地列表”)，所述 “源列表”包括視頻內(nèi)容的源。移動(dòng)裝置12可經(jīng)由接口 32發(fā)現(xiàn)這些裝置，類(lèi)似于發(fā)現(xiàn)目的地列表的裝置。作為一個(gè)實(shí)例，移動(dòng)裝置12經(jīng)由接口 32及通信信道13發(fā)現(xiàn)源裝置14，其中用戶(hù)接口呈現(xiàn)包括源裝置14的源列表。假定操作者選擇源裝置14，則控制單元34可指示接口 32與源裝置14介接以確定存儲(chǔ)到源裝置14的存儲(chǔ)模塊18的內(nèi)容20及22?？刂茊卧?4的用戶(hù)接口可接著呈現(xiàn)代表所確定的2D視頻內(nèi)容20及3D視頻內(nèi)容22的文件名、 圖像或其它數(shù)據(jù)。操作者可選擇2D視頻內(nèi)容20或3D視頻內(nèi)容22以用于顯示于選定的目的地裝置(例如，顯示裝置16)上。假定操作者選擇2D視頻內(nèi)容20以用于以3D顯示于選定的顯示裝置16上，則變換模塊36開(kāi)始接收2D視頻內(nèi)容20，所述2D視頻內(nèi)容20可以上文所描述的2D文件格式中的一者來(lái)格式化且根據(jù)第一編解碼器來(lái)譯碼。經(jīng)配置的變換模塊36可動(dòng)態(tài)地(可能實(shí)時(shí)地或近實(shí)時(shí)地)將2D視頻內(nèi)容20 (其包含經(jīng)格式化的文件及經(jīng)譯碼的視頻數(shù)據(jù))轉(zhuǎn)換成以遵照自動(dòng)確定的輸入格式42的文件格式譯碼并格式化的3D視頻數(shù)據(jù)。變換模塊36接著經(jīng)由通信信道15及接口 32 J6將以遵照自動(dòng)確定的輸入格式42的文件格式譯碼并格式化的動(dòng)態(tài)產(chǎn)生的3D視頻數(shù)據(jù)(在圖1中展示為3D視頻內(nèi)容48)轉(zhuǎn)發(fā)到顯示裝置16。顯示裝置16的文件格式模塊27接收3D視頻內(nèi)容48，其包含根據(jù)由視頻解碼器 28支持的編解碼器譯碼且接著根據(jù)由文件格式模塊27支持的3D文件格式而格式化的3D 視頻數(shù)據(jù)。文件格式模塊27 (歸因于兼容文件格式化)解封裝3D視頻內(nèi)容48以產(chǎn)生經(jīng)譯碼的3D視頻數(shù)據(jù)50。視頻解碼器觀接著使用適當(dāng)編解碼器解碼經(jīng)譯碼的3D視頻數(shù)據(jù)50 以產(chǎn)生3D視頻數(shù)據(jù)44，顯示器30呈現(xiàn)所述3D視頻數(shù)據(jù)44以供觀看者(例如，移動(dòng)裝置 12的操作者)消耗。以此方式，所述技術(shù)的此方面通過(guò)以下操作來(lái)促進(jìn)跨平臺(tái)3D視頻重放動(dòng)態(tài)地配置變換模塊36以從2D視頻內(nèi)容20產(chǎn)生3D視頻數(shù)據(jù)以使得所述3D視頻數(shù)據(jù)遵照由顯示裝置16支持的格式42。通常，此2D視頻內(nèi)容20可限于2D平臺(tái)且雖然可假定混合2D/3D 顯示裝置16可利用混合2D/3D平臺(tái)的2D部分來(lái)呈現(xiàn)2D視頻內(nèi)容20，但在無(wú)根據(jù)本發(fā)明中所描述的技術(shù)執(zhí)行的移動(dòng)裝置12的介入或中間變換能力的情況下，觀看者將被拒絕3D觀看體驗(yàn)。就此來(lái)說(shuō)，本發(fā)明的技術(shù)使移動(dòng)裝置12能夠通過(guò)促進(jìn)2D視頻內(nèi)容20在3D視頻重放平臺(tái)上重放來(lái)促成跨平臺(tái)視頻重放。當(dāng)變換模塊36變換2D視頻內(nèi)容20以產(chǎn)生呈由顯示裝置16支持的格式的3D視頻數(shù)據(jù)(在圖1中展示為3D視頻內(nèi)容48)且將所變換的3D視頻內(nèi)容48轉(zhuǎn)發(fā)到顯示裝置 16時(shí)，HVS反饋模塊40可使用HVS模型確定一個(gè)或一個(gè)以上度量，所述一個(gè)或一個(gè)以上度量關(guān)于人類(lèi)視覺(jué)系統(tǒng)反映所產(chǎn)生的3D視頻內(nèi)容48的3D可視化的質(zhì)量。更特定來(lái)說(shuō)，在一些實(shí)例中，HVS反饋模塊40與顯示裝置16介接以確定3D視頻數(shù)據(jù)44，且使用所述HVS模型分析3D視頻數(shù)據(jù)44以確定所述一個(gè)或一個(gè)以上度量。所述一個(gè)或一個(gè)以上度量可包含通過(guò)3D視頻數(shù)據(jù)44描繪的一個(gè)或一個(gè)以上對(duì)象中的每一者的大小及/或深度度量(其中，在一些例子中，深度度量可隨時(shí)間而變來(lái)表達(dá))、 通過(guò)3D視頻數(shù)據(jù)44描繪的一個(gè)或一個(gè)以上陰影中的每一者的陰影度量、背景對(duì)比度度量、清晰度度量、空間頻率度量以及廣泛各種其它度量，所述度量中的每一者更詳細(xì)描述于下文中。另外，HVS反饋模塊40可與參數(shù)發(fā)現(xiàn)模塊38介接以接收由參數(shù)發(fā)現(xiàn)模塊38確定的一個(gè)或一個(gè)以上參數(shù)，例如所支持的分辨率、當(dāng)前分辨率、所支持的對(duì)比度、當(dāng)前對(duì)比度、顯示器或屏幕大小、文件格式或與顯示裝置16及其能力有關(guān)的任何其它參數(shù)。HVS反饋模塊 40可使變換模塊38的重新配置至少部分地基于這些參數(shù)42。HVS反饋模塊40還可存儲(chǔ)定義例如以下各者的一個(gè)或一個(gè)以上用戶(hù)偏好的用戶(hù)偏好數(shù)據(jù)所要的清晰度、所要的對(duì)比度、所要的顯示格式、所要的色溫、所要的色彩設(shè)定、 所要的亮度、所要的最大深度范圍、會(huì)聚平面的所要的位置、所要的背景對(duì)象平滑度、所要的目距配置、所要的優(yōu)勢(shì)眼配置、所要的視圖數(shù)目、所要的觀看距離、所要的觀看角度、在屏幕內(nèi)的3D視頻內(nèi)容的所要的顯示位置及分辨率，或與由顯示裝置(例如，顯示裝置16)進(jìn)行的2D或3D視覺(jué)顯示有關(guān)的任一其它偏好。此外，HVS反饋模塊40還可至少部分基于這些用戶(hù)偏好而重新配置變換模塊38。S卩，HVS反饋模塊40可包含HVS模型，所述HVS模型是根據(jù)用戶(hù)偏好數(shù)據(jù)而配置以便產(chǎn)生用以至少部分基于這些用戶(hù)偏好而重新配置變換模塊38的配置數(shù)據(jù)。以此方式，當(dāng)變換模塊36當(dāng)前正變換2D視頻內(nèi)容20 (或，在替代例子中，3D視頻內(nèi)容22)時(shí)，HVS反饋模塊40與變換模塊36介接，以至少基于經(jīng)由3D視頻數(shù)據(jù)44的分析而確定的度量來(lái)重新配置變換模塊36，以精細(xì)化3D視頻內(nèi)容48的產(chǎn)生。就此來(lái)說(shuō)，HVS反饋模塊40可動(dòng)態(tài)地重新配置變換模塊36以自動(dòng)地精細(xì)化(且很可能改善)3D視頻內(nèi)容48 的所感知的視覺(jué)質(zhì)量。如果此精細(xì)化除基于從3D視頻數(shù)據(jù)44確定的度量外還基于用戶(hù)偏好數(shù)據(jù)，則HVS反饋模塊40可針對(duì)特定用戶(hù)或逐個(gè)用戶(hù)地自動(dòng)地重新配置變換模塊36以精細(xì)化3D視頻內(nèi)容48的所感知的質(zhì)量。因此，所述技術(shù)可不僅促進(jìn)跨平臺(tái)視頻重放，而且促成跨平臺(tái)視頻重放所需的任何變換的動(dòng)態(tài)精細(xì)化，以潛在地逐個(gè)用戶(hù)地改善觀看體驗(yàn)。在一些例子中，移動(dòng)裝置12經(jīng)由無(wú)線(xiàn)通信媒體與顯示裝置16介接。給定顯示裝置16表示混合2D/3D無(wú)線(xiàn)顯示裝置的上述假定，則移動(dòng)裝置12與顯示裝置16無(wú)線(xiàn)地介接。 當(dāng)與顯示裝置16無(wú)線(xiàn)地介接時(shí)，參數(shù)發(fā)現(xiàn)模塊38可特征化為確定顯示裝置16的一個(gè)或一個(gè)以上顯示參數(shù)42的無(wú)線(xiàn)顯示器(WD)主機(jī)。參數(shù)發(fā)現(xiàn)模塊38接著以一方式配置變換模塊36以使得變換模塊36基于顯示參數(shù)而制備視頻數(shù)據(jù)以便產(chǎn)生3D視頻內(nèi)容48。此制備可涉及根據(jù)輸送協(xié)議格式化(或更具體來(lái)說(shuō)，封裝)3D視頻數(shù)據(jù)。所述輸送協(xié)議定義視頻數(shù)據(jù)區(qū)段、音頻數(shù)據(jù)區(qū)段及深度數(shù)據(jù)區(qū)段中的每一者在多個(gè)包中的一不同者中的封裝。在一些例子中，可依序地將視頻、音頻及深度數(shù)據(jù)存儲(chǔ)于單一包內(nèi)。輸送協(xié)議模塊將用于增強(qiáng)3D視頻內(nèi)容的重放的元數(shù)據(jù)添加于所述多個(gè)包中的一者的標(biāo)頭中的任選數(shù)據(jù)字段內(nèi)。此元數(shù)據(jù)可提供促進(jìn)在具有特定能力的裝置上重放的提示或其它指示。元數(shù)據(jù)還可定義用于產(chǎn)生或以其它方式變換3D視頻數(shù)據(jù)以實(shí)現(xiàn)在具有特定能力或參數(shù)的不同 2D或3D顯示裝置上重放的技巧或規(guī)范。執(zhí)行此制備的輸送協(xié)議單元可包含實(shí)時(shí)輸送協(xié)議(RTP)單元，實(shí)時(shí)輸送協(xié)議 (RTP)單元包含硬件或硬件與軟件的組合，其為應(yīng)用層(且還稱(chēng)為“層7”或“L7”)協(xié)議單元。術(shù)語(yǔ)“層”指代開(kāi)放系統(tǒng)互連參考模型(“0SI模型”)內(nèi)的層。通常，將輸送協(xié)議視為屬于OSI模型的輸送層(其還稱(chēng)作“層4”或“L4”)內(nèi)。RTP依賴(lài)于稱(chēng)作通用數(shù)據(jù)報(bào)協(xié)議 (UDP)的輸送層協(xié)議來(lái)使用應(yīng)用層功能性提供增強(qiáng)的輸送協(xié)議。在此意義上，雖然事實(shí)為RTP駐留于應(yīng)用層而非輸送層，但可將RTP視為輸送協(xié)議。術(shù)語(yǔ)“輸送協(xié)議”因此不應(yīng)限于輸送層協(xié)議，而是可包括OSI模型中提供輸送層功能性的任一層的任一協(xié)議。在以上文所描述的方式制備3D視頻內(nèi)容48之后，變換模塊36將內(nèi)容轉(zhuǎn)發(fā)到接口 32中的一個(gè)無(wú)線(xiàn)接口，所述無(wú)線(xiàn)接口將包發(fā)射到顯示裝置16。顯示裝置16接收包，解格式化所述包以解封裝經(jīng)編碼的音頻、經(jīng)編碼的視頻及深度數(shù)據(jù)以及元數(shù)據(jù)，根據(jù)元數(shù)據(jù)解碼經(jīng)編碼的音頻及經(jīng)編碼的視頻數(shù)據(jù)以產(chǎn)生音頻及增強(qiáng)的視頻數(shù)據(jù)，且經(jīng)由音頻重放模塊 (圖1中未展示)及顯示器30呈現(xiàn)音頻及增強(qiáng)的視頻數(shù)據(jù)以供觀看者消耗。視頻數(shù)據(jù)得以 “增強(qiáng)”，這是因?yàn)樵獢?shù)據(jù)可改善得益于元數(shù)據(jù)而解碼的所得視頻數(shù)據(jù)的解碼及重放。就此來(lái)說(shuō)，所述技術(shù)的各種方面促成內(nèi)聚跨平臺(tái)視頻重放系統(tǒng)。在一個(gè)方面中，以上文所描述的方式發(fā)現(xiàn)文件格式且使用所述文件格式來(lái)配置變換模塊36以改善跨平臺(tái)的重放。在另一方面中，所述技術(shù)經(jīng)由使用HVS模型所確定的動(dòng)態(tài)反饋來(lái)促進(jìn)重放的質(zhì)量，以便在變換期間精細(xì)化3D視頻重放的質(zhì)量。在又一方面中，自動(dòng)地確定參數(shù)且使用所述參數(shù)來(lái)制備用于由3D顯示裝置重放的3D視頻數(shù)據(jù)的遞送。此制備可涉及將元數(shù)據(jù)嵌入到用于將3D視頻內(nèi)容無(wú)線(xiàn)地發(fā)射到顯示裝置的包中，其中此元數(shù)據(jù)可定義促進(jìn)3D視頻內(nèi)容的解碼及進(jìn)一步變換的參數(shù)。在一些方面中，可嵌入此元數(shù)據(jù)以使得其對(duì)于并不支持3D視頻重放的顯示器(例如，僅2D顯示裝置)來(lái)說(shuō)為透明的。雖然展示為單獨(dú)的裝置，但源裝置12及移動(dòng)裝置16可包含并入有源裝置12的功能性及移動(dòng)裝置16的功能性的單一裝置。在一些例子中，移動(dòng)裝置12可并入有源裝置14 的功能性。就此來(lái)說(shuō)，所述技術(shù)不應(yīng)限于圖1中所展示的實(shí)例。此外，雖然上文關(guān)于移動(dòng)裝置12來(lái)描述所述技術(shù)，但可由能夠進(jìn)行與本發(fā)明中所描述的技術(shù)一致的視頻變換的任一裝置實(shí)施所述技術(shù)。這些裝置在本文中大體上可稱(chēng)作 “視頻處理裝置”。此外，就此來(lái)說(shuō)，所述技術(shù)不應(yīng)限于圖1中所展示的實(shí)例。圖2為更詳細(xì)地說(shuō)明圖1的移動(dòng)裝置12的實(shí)例的框圖。在圖2的實(shí)例中，移動(dòng)裝置12包括多個(gè)接口 32，例如無(wú)線(xiàn)接口 32A及有線(xiàn)接口 32B。無(wú)線(xiàn)接口 32A可包含以下接口中的一者或一者以上無(wú)線(xiàn)因特網(wǎng)接口(例如，通過(guò)IEEE 802. Ilx標(biāo)準(zhǔn)套件定義的接口)、 Bluetooth 無(wú)線(xiàn)接口、無(wú)線(xiàn)HDMI接口、紅外線(xiàn)無(wú)線(xiàn)接口，或可借以發(fā)生無(wú)線(xiàn)通信的任一其它接口。有線(xiàn)接口 32B可包括以下接口中的一者或一者以上通用串行總線(xiàn)(USB)接口、微型USB接口、HDMI接口、復(fù)合電纜接口、同軸電纜接口、視頻圖形陣列接口，或可借以發(fā)生有線(xiàn)通信的任一其它接口。移動(dòng)裝置12還包括視頻俘獲裝置50、本地存儲(chǔ)模塊52及內(nèi)部顯示器M。視頻俘獲裝置50表示實(shí)施用于記錄3D視頻數(shù)據(jù)的眼鏡式立體3D視頻相機(jī)或用于記錄2D視頻數(shù)據(jù)的2D視頻相機(jī)的一個(gè)或一個(gè)以上硬件模塊，所述一個(gè)或一個(gè)以上硬件模塊中的一些硬件模塊可執(zhí)行軟件。本地存儲(chǔ)模塊52表示用于在本地存儲(chǔ)數(shù)據(jù)(包括2D視頻數(shù)據(jù)及3D 視頻數(shù)據(jù)，或如果經(jīng)譯碼及格式化，則包括經(jīng)譯碼及格式化的內(nèi)容)的硬件或硬件與軟件模塊的組合。本地存儲(chǔ)模塊52可包含靜態(tài)或動(dòng)態(tài)存儲(chǔ)器及/或存儲(chǔ)裝置，例如上文關(guān)于控制單元34所列出的存儲(chǔ)器及/或存儲(chǔ)裝置中的任一者。內(nèi)部顯示器M表示呈現(xiàn)視頻數(shù)據(jù)及圖像數(shù)據(jù)以供內(nèi)部顯示器討的觀看者消耗的硬件或硬件與軟件模塊的組合。內(nèi)部顯示器M可包含上文關(guān)于顯示裝置16的顯示器30所注明的顯示器中的任一者。視頻俘獲裝置50、本地存儲(chǔ)模塊52及內(nèi)部顯示器M中的每一者耦合到控制單元34，控制單元34已在圖2中加以進(jìn)一步詳細(xì)說(shuō)明。在圖2的實(shí)例中，控制單元34包含變換模塊36、參數(shù)發(fā)現(xiàn)模塊38及HVS反饋模塊40，其與關(guān)于圖1所展示者相同。然而，這些模塊36到40在圖2的實(shí)例中進(jìn)一步被詳細(xì)展示為包括若干子模塊及數(shù)據(jù)。舉例來(lái)說(shuō)，變換模塊36包括預(yù)處理模塊56、2D到3D處理模塊58、后處理模塊60、再現(xiàn)模塊62及顯示格式模塊64。雖然關(guān)于圖3更詳細(xì)描述這些模塊中的每一者，但簡(jiǎn)要來(lái)說(shuō)，預(yù)處理模塊56表示執(zhí)行預(yù)處理以確定用于執(zhí)行從一個(gè)平臺(tái)到另一平臺(tái)的視頻數(shù)據(jù)轉(zhuǎn)換的信息的一個(gè)或一個(gè)以上硬件模塊，所述一個(gè)或一個(gè)以上硬件模塊中的一些硬件模塊可執(zhí)行軟件。2D到3D處理模塊58表示用于(如名稱(chēng)表明)基于由預(yù)處理模塊56確定的信息執(zhí)行2D視頻數(shù)據(jù)到3D 視頻數(shù)據(jù)的轉(zhuǎn)換的一個(gè)或一個(gè)以上硬件模塊，所述一個(gè)或一個(gè)以上硬件模塊中的一些硬件模塊可執(zhí)行軟件，其中此信息可稱(chēng)作“預(yù)處理信息”。后處理模塊60表示修改或以其它方式調(diào)整所產(chǎn)生的3D視頻數(shù)據(jù)(例如，深度圖)以精細(xì)化3D視頻重放的質(zhì)量的一個(gè)或一個(gè)以上硬件模塊，所述一個(gè)或一個(gè)以上硬件模塊中的一些硬件模塊可執(zhí)行軟件。再現(xiàn)模塊62表示模型化3D場(chǎng)景、產(chǎn)生額外視圖且以其它方式進(jìn)一步精細(xì)化3D視頻重放的一個(gè)或一個(gè)以上硬件模塊，所述一個(gè)或一個(gè)以上硬件模塊中的一些硬件模塊可執(zhí)行軟件。顯示格式模塊 64表示根據(jù)給定文件格式將所產(chǎn)生且隨后精細(xì)化的3D視頻數(shù)據(jù)格式化的一個(gè)或一個(gè)以上硬件模塊，所述一個(gè)或一個(gè)以上硬件模塊中的一些硬件模塊可執(zhí)行軟件。作為另一實(shí)例，HVS反饋模塊40可包括定性評(píng)估模塊66及定量評(píng)估模塊68。定性評(píng)估模塊66表示對(duì)由移動(dòng)裝置12外部的顯示裝置(例如，外部顯示裝置16的視頻解碼器28)解碼的3D視頻數(shù)據(jù)44執(zhí)行定性分析以確定度量70中的一者或一者以上的一個(gè)或一個(gè)以上硬件模塊，所述一個(gè)或一個(gè)以上硬件模塊中的一些硬件模塊可執(zhí)行軟件，所述度量70關(guān)于人類(lèi)視覺(jué)系統(tǒng)部分地定義3D視頻數(shù)據(jù)44的3D可視化的質(zhì)量的所感知的質(zhì)量。 定量評(píng)估模塊68對(duì)由變換模塊36的各種子模塊(例如，后處理模塊60、再現(xiàn)模塊62及顯示格式模塊64)產(chǎn)生的3D視頻數(shù)據(jù)執(zhí)行定量分析。此分析可導(dǎo)致確定度量70中的額外度量。這些度量70可接著形成用于后續(xù)修改或重新配置形成變換模塊36的模塊56到64中的一者或一者以上以精細(xì)化由變換模塊36產(chǎn)生的3D視頻內(nèi)容48的基礎(chǔ)。此精細(xì)化可依據(jù)定性度量70與定量度量70兩者引起3D視頻數(shù)據(jù)44的改善的重放。控制單元34還包括先前關(guān)于圖1的實(shí)例未展示的兩個(gè)額外模塊離線(xiàn)處理模塊 72及用戶(hù)接口模塊74。離線(xiàn)處理模塊72表示大體上關(guān)于屬性(例如，照明類(lèi)型及照明方向、對(duì)象反射率、紋理效果及氛圍效果)執(zhí)行圖像(或視頻幀)的描述符的統(tǒng)計(jì)分析及模型化的一個(gè)或一個(gè)以上硬件模塊，所述一個(gè)或一個(gè)以上硬件模塊中的一些硬件模塊可執(zhí)行軟件。這些描述符可包含遵照定義用于多媒體內(nèi)容描述符的標(biāo)準(zhǔn)的MPEG-7標(biāo)準(zhǔn)(有時(shí)稱(chēng)作多媒體內(nèi)容描述接口)的描述符。在任何情況下，描述符大體上可表示定義通過(guò)視頻數(shù)據(jù)描繪的視覺(jué)特征的描述的數(shù)據(jù)。通常，描述符描述這些視覺(jué)特征的基本特性，例如與這些特征相關(guān)聯(lián)的形狀、色彩、紋理或運(yùn)動(dòng)。用戶(hù)接口模塊74表示呈現(xiàn)用戶(hù)接口的一個(gè)或一個(gè)以上硬件模塊或硬件與軟件模塊的組合，移動(dòng)裝置12的操作者與所述用戶(hù)接口互動(dòng)以輸入并接收來(lái)自移動(dòng)裝置12的數(shù)據(jù)。通常，用戶(hù)接口模塊74將圖形用戶(hù)接口(⑶I)呈現(xiàn)給內(nèi)部顯示器M，內(nèi)部顯示器M可將⑶I提供給用戶(hù)。在一些例子中，內(nèi)部顯示器M可包含所謂的“觸控式屏幕”，用戶(hù)可通過(guò)所述“觸控式屏幕”與內(nèi)部顯示器M互動(dòng)以輸入定義由GUI呈現(xiàn)的各種項(xiàng)目的選擇的數(shù)據(jù)。在此意義上，與內(nèi)部顯示器M在圖2的實(shí)例中與用戶(hù)接口模塊74分離的示范性描繪相反，可將內(nèi)部顯示器M視為用戶(hù)接口模塊74的一部分。最初，移動(dòng)裝置12的操作者可與由用戶(hù)接口模塊74呈現(xiàn)的用戶(hù)接口介接，以選擇一個(gè)或一個(gè)以上源，所述一個(gè)或一個(gè)以上源包括操作者希望經(jīng)由一個(gè)或一個(gè)以上目的地顯示器顯示的視頻內(nèi)容。這些源可包括視頻俘獲裝置50及本地存儲(chǔ)模塊52，以及經(jīng)由無(wú)線(xiàn)接口 32A及有線(xiàn)接口 32B( “接口 32”)以通信方式耦合到移動(dòng)裝置12的源裝置，例如圖1 的實(shí)例中所展示的源裝置14，其經(jīng)由無(wú)線(xiàn)通信信道13以通信方式耦合到接口 32。目的地顯示器可包含內(nèi)部顯示器M及以通信方式耦合到接口 32的一個(gè)或一個(gè)以上目的地顯示裝置，例如圖1的實(shí)例中所展示的目的地顯示裝置16，其經(jīng)由無(wú)線(xiàn)通信信道15以通信方式耦合到接口 32。在選擇一個(gè)或一個(gè)以上源之后，操作者還可與此用戶(hù)接口或由用戶(hù)接口模塊74 呈現(xiàn)的另一用戶(hù)接口介接，以選擇由選定源存儲(chǔ)的特定內(nèi)容。舉例來(lái)說(shuō)，操作者可選擇源裝置12作為視頻內(nèi)容的源。響應(yīng)于此，用戶(hù)接口模塊74可與源裝置12介接以確定由源裝置 14存儲(chǔ)于存儲(chǔ)模塊18內(nèi)的內(nèi)容20及22。用戶(hù)接口模塊74可接著更新當(dāng)前用戶(hù)接口或呈現(xiàn)借以顯示可用于由目的地重放的內(nèi)容20、22的另一用戶(hù)接口。操作者可與所呈現(xiàn)的用戶(hù)接口互動(dòng)以選擇2D視頻內(nèi)容20及3D視頻內(nèi)容22中的一者或一者以上。出于說(shuō)明的目的， 假定操作者選擇2D視頻內(nèi)容20。在選擇2D視頻內(nèi)容20之后，操作者可與當(dāng)前用戶(hù)接口、先前用戶(hù)接口或另一用戶(hù)接口介接，以選擇一個(gè)或一個(gè)以上目的地。此外，出于說(shuō)明的目的，假定操作者與此目的地用戶(hù)接口互動(dòng)以輸入選擇顯示裝置16的數(shù)據(jù)。在選擇顯示裝置16作為由源裝置14存儲(chǔ)到存儲(chǔ)模塊18的選定的2D視頻內(nèi)容20的目的地后，用戶(hù)接口模塊74即刻接收指示所述選擇的此數(shù)據(jù)，且指示適當(dāng)接口 32開(kāi)始接收選定的2D視頻內(nèi)容20并傳送經(jīng)由由變換模塊 36進(jìn)行的2D視頻內(nèi)容20的變換而產(chǎn)生的3D視頻內(nèi)容48。用戶(hù)接口模塊74還可與參數(shù)發(fā)現(xiàn)模塊38介接以向參數(shù)發(fā)現(xiàn)模塊38指示選定的目的地，以使得參數(shù)發(fā)現(xiàn)模塊38可根據(jù)本發(fā)明中所描述的技術(shù)與適當(dāng)目的地介接以確定參數(shù)76。移動(dòng)裝置12的操作者還可與先前用戶(hù)接口、當(dāng)前用戶(hù)接口或可能的由用戶(hù)接口模塊74呈現(xiàn)的不同用戶(hù)接口介接，以輸入指定一個(gè)或一個(gè)以上用戶(hù)偏好78( “用戶(hù)偏好 78，，)的數(shù)據(jù)。用戶(hù)偏好78可包括優(yōu)勢(shì)眼偏好、對(duì)比度偏好、清晰度偏好、色調(diào)偏好、色溫偏好，或與視頻數(shù)據(jù)的顯示有關(guān)的任何其它偏好。用戶(hù)偏好78還可包括音頻偏好(例如，環(huán)繞聲偏好及音量偏好)，且所述技術(shù)不應(yīng)限于僅視頻用戶(hù)偏好。用戶(hù)接口模塊74將這些用戶(hù)偏好78轉(zhuǎn)發(fā)到HVS反饋模塊40，所述HVS反饋模塊40可根據(jù)本發(fā)明中所描述的技術(shù)在配置或重新配置變換模塊36時(shí)使用這些偏好78。在任何情況下，在選擇源裝置12及目的地顯示裝置16及潛在的存儲(chǔ)到源裝置12 的內(nèi)容20及22中的一者或一者以上之后，參數(shù)發(fā)現(xiàn)模塊38可與選定的目的地(例如，顯示裝置16)介接以確定參數(shù)76。參數(shù)發(fā)現(xiàn)模塊76可(例如)經(jīng)由遵照所注明的HDMI標(biāo)準(zhǔn)的有線(xiàn)接口 32與顯示裝置16介接。使用HDMI標(biāo)準(zhǔn)的各種方面，參數(shù)發(fā)現(xiàn)模塊76可確定參數(shù)76，例如由文件格式模塊27支持以用于接收3D視頻內(nèi)容的輸入文件格式。其它參數(shù) 76包括上文所注明的與顯示器30的各種能力或參數(shù)有關(guān)的參數(shù)，例如所支持的分辨率、當(dāng)前分辨率、顯示大小、所支持的色溫、當(dāng)前色溫，或與顯示器30及視頻解碼有關(guān)的任何其它參數(shù)(包括由視頻解碼器觀支持的編解碼器)。如下文更詳細(xì)描述，參數(shù)發(fā)現(xiàn)模塊38還可特征化為無(wú)線(xiàn)顯示器(WD)主機(jī)，其代管借以無(wú)線(xiàn)地發(fā)現(xiàn)這些參數(shù)的會(huì)話(huà)。通常，當(dāng)實(shí)施這些無(wú)線(xiàn)顯示器主機(jī)技術(shù)時(shí)，參數(shù)發(fā)現(xiàn)模塊 38實(shí)施稱(chēng)作“無(wú)線(xiàn)HDMI，，或“WHDMI，，的形式的HDMI。在發(fā)現(xiàn)參數(shù)76之后，參數(shù)發(fā)現(xiàn)模塊38可與變換模塊36的顯示格式模塊64介接以配置顯示格式模塊64，以便根據(jù)由選定的目的地顯示裝置16的文件格式模塊27支持的文件格式適當(dāng)?shù)馗袷交?D視頻數(shù)據(jù)。參數(shù)發(fā)現(xiàn)模塊38可自動(dòng)地執(zhí)行參數(shù)76 (其包括輸入文件格式)的發(fā)現(xiàn)與顯示格式模塊64的配置兩者。如上文所注明，術(shù)語(yǔ)“自動(dòng)地”的使用通常指示執(zhí)行表示為自動(dòng)地發(fā)生的那些動(dòng)作無(wú)需操作者介入。然而，此術(shù)語(yǔ)的使用并不意味著表明起始所注明的自動(dòng)操作可不需要操作者或用戶(hù)輸入。為了說(shuō)明，考慮操作者與各種用戶(hù)接口互動(dòng)以選擇源、內(nèi)容及裝置的上述實(shí)例。與用戶(hù)接口的互動(dòng)并不減損確定參數(shù)76及顯示格式模塊64的自動(dòng)性。因?yàn)樵谏鲜鰧?shí)例中不需要用戶(hù)提供指定參數(shù)發(fā)現(xiàn)模塊38確定這些參數(shù)76且接著配置顯示格式模塊64 的任何輸入或數(shù)據(jù)，所以操作者可能未意識(shí)到這些自動(dòng)操作。就此來(lái)說(shuō)，從操作者的觀點(diǎn)來(lái)說(shuō)，因?yàn)椴僮髡呶粗鲃?dòng)地指示執(zhí)行這些操作，所以可將自動(dòng)操作解釋為顯而易見(jiàn)地發(fā)生。參數(shù)發(fā)現(xiàn)模塊38可經(jīng)由應(yīng)用程序編程接口(API)調(diào)用來(lái)配置顯示格式模塊64，參數(shù)發(fā)現(xiàn)模塊38可通過(guò)所述應(yīng)用程序編程接口(API)調(diào)用來(lái)指定顯示裝置16的所確定的輸入文件格式。在接收2D視頻內(nèi)容20之前，HVS反饋模塊40還可與預(yù)處理模塊56、2D到3D 處理模塊58、后處理模塊60、再現(xiàn)模塊62及顯示格式模塊64介接，以基于用戶(hù)偏好78而配置這些模塊56到64。舉例來(lái)說(shuō)，用戶(hù)偏好78中的一者可定義優(yōu)選清晰度，HVS反饋模塊 40可在配置2D到3D處理模塊58時(shí)利用所述優(yōu)選清晰度。HVS反饋模塊40可利用優(yōu)選清晰度作為2D到3D處理模塊58計(jì)算在清晰圖像不連續(xù)性下的深度值的準(zhǔn)確度的指示。在另一實(shí)例中，用戶(hù)偏好78中的一者可定義會(huì)聚平面的優(yōu)選位置或優(yōu)選深度范圍，HVS反饋模塊40可在配置再現(xiàn)模塊62時(shí)利用會(huì)聚平面的所述優(yōu)選位置或所述優(yōu)選深度范圍。HVS 反饋模塊40可利用優(yōu)選會(huì)聚平面位置或深度范圍來(lái)調(diào)整模塊62的再現(xiàn)參數(shù)。在任何情況下，參數(shù)發(fā)現(xiàn)模塊38與HVS反饋模塊40兩者可配置變換模塊36的模塊56到64中的一者或一者以上。變換模塊36 —旦經(jīng)配置便可接收2D視頻內(nèi)容20，2D 視頻內(nèi)容20可包含單視圖或多視圖2D視頻數(shù)據(jù)。單視圖2D視頻數(shù)據(jù)可包含來(lái)自單一視頻俘獲裝置的單視圖拍攝。多視圖2D視頻數(shù)據(jù)可包含來(lái)自多個(gè)視頻俘獲裝置的多視圖拍攝。通常，多視圖2D視頻數(shù)據(jù)實(shí)現(xiàn)所述多個(gè)視圖中的任一者的重放且觀看者通?？稍谥胤牌陂g在所述多個(gè)視圖之間切換，然而，2D顯示裝置通常并不將所述多個(gè)視圖中的兩者或兩者以上彼此同時(shí)地呈現(xiàn)。預(yù)處理模塊56通常接收2D視頻內(nèi)容20。離線(xiàn)處理模塊72并不接收2D視頻內(nèi)容，而是以下文關(guān)于圖3所描述的方式來(lái)支持預(yù)處理模塊56。簡(jiǎn)要來(lái)說(shuō)，離線(xiàn)處理模塊72 通常實(shí)施如上文所注明的借以執(zhí)行統(tǒng)計(jì)分析及模型化以產(chǎn)生用于供預(yù)處理模塊56使用的模型的各種算法。預(yù)處理模塊56接收2D視頻內(nèi)容20且確定關(guān)于形成2D視頻內(nèi)容20的各種圖像或幀的全局信息。此全局信息可與2D視頻內(nèi)容20的單一圖像或幀或若干圖像或幀有關(guān)。舉例來(lái)說(shuō)，全局信息可定義氛圍效果(例如，指示雨、雪、風(fēng)等的存在的信息)。預(yù)處理模塊 56還可確定2D視頻內(nèi)容的給定圖像或幀的局部信息。用以確定所述局部信息的此局部處理可涉及確定與以下各者有關(guān)的信息邊緣的位置及強(qiáng)度、邊緣的分類(lèi)、對(duì)象的分段、照明屬性的檢測(cè)，及感興趣的區(qū)域的檢測(cè)。在預(yù)處理并確定全局及局部信息之后，預(yù)處理模塊56 將2D視頻內(nèi)容20以及全局及局部信息轉(zhuǎn)發(fā)到2D到3D處理模塊58。2D到3D處理模塊58處理所接收的2D視頻內(nèi)容20以提取深度信息。2D到3D處理模塊58可基于由預(yù)處理模塊56確定的全局及局域信息而提取深度信息。舉例來(lái)說(shuō)，2D 到3D處理模塊58可從幾何線(xiàn)性信息(例如，通過(guò)預(yù)處理模塊56所確定的信息而定義的邊緣信息)提取深度信息。2D到3D處理模塊58可實(shí)施若干深度提取算法以(例如)從以下各者提取深度信息或值幾何結(jié)構(gòu)及運(yùn)動(dòng)、聚焦/散焦、著色及陰影，及上文所注明的幾何線(xiàn)性信息。2D到3D處理模塊58可合并經(jīng)由這些算法中的一者或一者以上所提取的深度以產(chǎn)生深度圖。所述深度圖可將深度值指派給2D視頻內(nèi)容20的每一圖像或幀的每一像素， 借以產(chǎn)生3D視頻數(shù)據(jù)，2D到3D處理模塊58將所述3D視頻數(shù)據(jù)轉(zhuǎn)發(fā)到后處理模塊60。后處理模塊60接收由2D到3D處理模塊58產(chǎn)生的此3D視頻數(shù)據(jù)且修改所述3D 視頻數(shù)據(jù)以精細(xì)化深度圖。舉例來(lái)說(shuō)，后處理模塊60可修改深度圖，以改善所得的經(jīng)變換的3D視頻內(nèi)容48在經(jīng)由顯示裝置16顯示時(shí)的可視化的質(zhì)量。此修改可涉及全局地使深度圖平滑或選擇性地修改對(duì)應(yīng)于深度圖的幀中的感興趣的特定區(qū)域的深度信息。在以此方式精細(xì)化深度圖之后，后處理模塊60將經(jīng)精細(xì)化的3D視頻數(shù)據(jù)轉(zhuǎn)發(fā)到再現(xiàn)模塊62。再現(xiàn)模塊62接收經(jīng)精細(xì)化的3D視頻數(shù)據(jù)且針對(duì)需要一個(gè)或一個(gè)以上視圖的情形 (例如在顯示裝置16的所確定的輸入格式為多視圖串流格式時(shí)或顯示裝置16以其它方式支持多個(gè)“2D+深度(ζ) ”視圖時(shí)的狀況)而模型化3D場(chǎng)景。在此視圖再現(xiàn)之后，再現(xiàn)模塊 62將潛在的多視圖3D視頻數(shù)據(jù)轉(zhuǎn)發(fā)到顯示格式模塊64，顯示格式模塊64進(jìn)行根據(jù)由顯示裝置16支持的經(jīng)配置的輸入文件格式而格式化多視圖3D視頻數(shù)據(jù)以產(chǎn)生經(jīng)變換的3D視頻內(nèi)容48。顯示格式模塊64接著將經(jīng)變換的3D視頻內(nèi)容48轉(zhuǎn)發(fā)到顯示裝置16以用于呈現(xiàn)給觀看者。當(dāng)以上文所描述的方式變換2D視頻內(nèi)容20時(shí)，HVS反饋模塊40與顯示裝置16介接以檢索由顯示裝置16的視頻解碼器觀輸出的3D視頻數(shù)據(jù)44。HVS反饋模塊40接著執(zhí)行經(jīng)解碼的3D視頻數(shù)據(jù)44的定性及定量評(píng)估。更具體來(lái)說(shuō)，定性評(píng)估模塊66執(zhí)行與經(jīng)解碼的3D視頻數(shù)據(jù)44的可視化質(zhì)量有關(guān)的定性評(píng)估，以確定度量70 (可稱(chēng)作“定性度量70”) 中的一者或一者以上。此可視化質(zhì)量還可包括給定觀看者在觀看3D視頻數(shù)據(jù)44時(shí)的舒適度(如通過(guò)用戶(hù)偏好78定義)。為了說(shuō)明，考慮右眼優(yōu)勢(shì)觀看者在觀看3D視頻數(shù)據(jù)44時(shí)喜歡用其右眼。在此狀況下，定性評(píng)估模塊66可分析3D視頻數(shù)據(jù)44以確保右眼串流比左眼串流有利。即，如果觀看者為右眼優(yōu)勢(shì)，則定性評(píng)估模塊66可在確定給定幀或圖片群組的總度量時(shí)將右眼串流度量高于左眼串流度量而加權(quán)。定量評(píng)估模塊68可執(zhí)行3D視頻數(shù)據(jù)44的定量分析以確定度量78 (其可稱(chēng)作“定量度量78”)中的一者或一者以上。舉例來(lái)說(shuō)，定量評(píng)估模塊68可評(píng)估由后處理模塊60、 再現(xiàn)模塊62及顯示格式模塊64中的一者或一者以上產(chǎn)生的3D視頻數(shù)據(jù)的一個(gè)或一個(gè)以上幀中的對(duì)象的深度與大小之間的關(guān)系。定量度量78可包括對(duì)象的深度與大小之間的此關(guān)系作為一個(gè)度量。其它定量度量78可包括與基于深度圖像的再現(xiàn)有關(guān)的度量，例如，過(guò)濾功效度量、可見(jiàn)不連續(xù)性度量及內(nèi)插功效度量。定量度量78還可包括在深度的正規(guī)化中有用的度量。定量度量78因此可包括與以下各者有關(guān)的至少一個(gè)度量通過(guò)3D視頻數(shù)據(jù)定義的對(duì)象的深度與大小之間的關(guān)系、3D視頻數(shù)據(jù)的深度不連續(xù)性與平均區(qū)域色彩不連續(xù)性之間的關(guān)系、過(guò)濾功效度量、內(nèi)插功效度量、在深度的正規(guī)化中有用的度量，及與測(cè)量沿著時(shí)間的深度不連續(xù)性有關(guān)的度量。定量評(píng)估模塊68可進(jìn)一步測(cè)量由模塊60到64產(chǎn)生的視頻數(shù)據(jù)的沿著時(shí)間的深度不連續(xù)性，且執(zhí)行大量其它形式的定量分析。使用定性評(píng)估模塊66及/或定量評(píng)估模塊68，HVS反饋模塊40可執(zhí)行大量的分析。如上文部分注明，此分析可涉及測(cè)量及調(diào)整由模塊56到64中的一者或一者以上產(chǎn)生或從顯示裝置16接收作為3D視頻數(shù)據(jù)44的3D視頻數(shù)據(jù)的給定幀或圖像中的任一對(duì)象的深度與大小之間的關(guān)系。所述分析還可涉及測(cè)量沿著時(shí)間的深度不連續(xù)性、陰影或著色效果、背景對(duì)比度及空間頻率。基于這些度量，HVS反饋模塊40可接著基于度量70而確定配置數(shù)據(jù)80且與變換模塊36的模塊56到64中的一者或一者以上介接，以重新配置這些模塊56到64以便精細(xì)化經(jīng)變換的3D視頻內(nèi)容48的所感知的視覺(jué)質(zhì)量。除基于度量70而確定配置數(shù)據(jù)80外， HVS反饋模塊40還可基于參數(shù)發(fā)現(xiàn)模塊38可轉(zhuǎn)發(fā)到HVS反饋模塊40的參數(shù)76而確定配置數(shù)據(jù)80。此外，HVS反饋模塊40可確定或以其它方式定制配置數(shù)據(jù)80以適應(yīng)用戶(hù)偏好 78。因此可根據(jù)廣泛多種度量、參數(shù)及偏好來(lái)確定配置數(shù)據(jù)80。作為一個(gè)實(shí)例，HVS反饋模塊80可定制配置數(shù)據(jù)80以修正缺乏眼追蹤功能性的顯示裝置的聚焦線(xiàn)索。聚焦線(xiàn)索包含針對(duì)不同焦距描述跨越給定幀的圖像的明確度的數(shù)據(jù)。 在此實(shí)例中，參數(shù)76可指示顯示裝置16缺乏眼追蹤功能性。在此情形下，為了修正聚焦線(xiàn)索(其可包含HVS借以解譯聚焦的在3D視頻內(nèi)容48中的線(xiàn)索)，HVS反饋模塊40可確定用于2D到3D處理模塊58及/或再現(xiàn)模塊62的配置數(shù)據(jù)80，以便約束由2D到3D處理模塊58執(zhí)行的深度提取及/或約束由再現(xiàn)模塊62進(jìn)行的多視圖再現(xiàn)的深度解譯。HVS反饋模塊40可基于指示顯示裝置16的顯示器30的大小的參數(shù)76而產(chǎn)生此配置數(shù)據(jù)80，這是因?yàn)榫劢箍扇Q于視場(chǎng)及標(biāo)準(zhǔn)觀看距離，視場(chǎng)與標(biāo)準(zhǔn)觀看距離兩者可從顯示器的大小來(lái)導(dǎo)出。聚焦還可取決于眼間隔(其通常經(jīng)定義為左眼與右眼之間的距離) 且用戶(hù)偏好78可存儲(chǔ)標(biāo)準(zhǔn)眼間隔偏好。HVS反饋模塊80因此可存取用戶(hù)偏好78與參數(shù) 76兩者以產(chǎn)生配置數(shù)據(jù)80，以便修正不具有借以提供上述反饋(例如，實(shí)際觀看距離、實(shí)際眼位置，及實(shí)際眼間隔)的眼追蹤機(jī)構(gòu)的顯示裝置30中的聚焦誤用線(xiàn)索。如果可經(jīng)由顯示裝置16利用眼追蹤，則HVS反饋模塊40可經(jīng)由HVS反饋模塊40 借以接收3D視頻內(nèi)容44的同一接口接收此反饋。此機(jī)構(gòu)可為耦合到顯示裝置16的外部裝置?；蛘?，此眼追蹤機(jī)構(gòu)可整合于顯示裝置16內(nèi)。名稱(chēng)“眼追蹤”在一些實(shí)例中可為誤稱(chēng)，這是因?yàn)樗鰴C(jī)構(gòu)無(wú)需追蹤眼移動(dòng)但可更大體上追蹤每一用戶(hù)的位置，在所述狀況下， 可導(dǎo)出觀看距離及眼位置。在一些例子中，HVS反饋模塊40可產(chǎn)生配置數(shù)據(jù)80，以按不同方式修正眼鏡式立體顯示器及裸眼式立體顯示器的聚焦線(xiàn)索。顯示裝置16為眼鏡式立體顯示裝置(需要例如快門(mén)式眼鏡等額外觀看設(shè)備來(lái)適當(dāng)?shù)爻尸F(xiàn)3D視頻數(shù)據(jù)的顯示裝置)還是裸眼式立體顯示裝置(不需要額外觀看設(shè)備來(lái)適當(dāng)?shù)爻尸F(xiàn)3D視頻數(shù)據(jù)的顯示裝置)可由參數(shù)發(fā)現(xiàn)模塊 38來(lái)確定且作為參數(shù)38中的一者來(lái)存儲(chǔ)。
考慮稱(chēng)作“體積型顯示器”的特定類(lèi)型的裸眼式立體顯示器(其再次可經(jīng)由參數(shù) 38中的一者來(lái)指示)。體積型顯示器可能不能夠呈現(xiàn)用于多個(gè)同時(shí)視點(diǎn)(其中每一視點(diǎn)用于一不同觀看者)的真實(shí)光場(chǎng)。因此，這些體積型顯示器在用作裸眼式立體顯示器時(shí)通常無(wú)法正確地呈現(xiàn)視圖相依的照明(例如，遮蔽、單向反射及反射)。HVS反饋模塊40可配置變換模塊36的各種模塊56到64以校正觀看位置，以便改善體積型顯示器的立體感知。眼鏡式立體顯示器與裸眼式立體顯示器之間的其它差異可擔(dān)保不同配置且HVS 反饋模塊40可基于這些參數(shù)78而定制配置數(shù)據(jù)80。舉例來(lái)說(shuō)，在裸眼式立體顯示器與眼鏡式立體顯示器之間通常存在深度感知與深度性能之間的差異。HVS反饋模塊40可基于這些裝置能力或參數(shù)差異而以不同方式定制配置數(shù)據(jù)80。如上文所注明，HVS反饋模塊40可基于顯示裝置18的不同形狀因數(shù)(且更特定來(lái)說(shuō)，顯示器30的大小)而定制配置數(shù)據(jù)80以約束聚焦線(xiàn)索。內(nèi)部顯示器M通常具有遠(yuǎn)小于外部顯示裝置16的顯示器30的形狀因數(shù)的形狀因數(shù)，且這些不同形狀因數(shù)可暗示建置及顯示立體圖像的方式的差異。此外，形狀因數(shù)可指示觀看觀眾量的潛在的大小，其中較小形狀因數(shù)可表明單一觀看者，而較大顯示器可表明多個(gè)觀看者。HVS反饋模塊40可產(chǎn)生配置數(shù)據(jù)80以便考慮這些不同形狀因數(shù)。具體來(lái)說(shuō)，在一個(gè)實(shí)例中，HVS反饋模塊40可充分利用HVS的已知方面來(lái)基于形狀因數(shù)產(chǎn)生配置數(shù)據(jù)80。在一個(gè)方面中，通過(guò)人眼的空間及聚焦分辨率來(lái)規(guī)定最佳立體像素分布。給定人眼的此已知限制，則HVS反饋模塊40基于顯示器的類(lèi)型(眼鏡式立體或裸眼式立體，包括此兩種類(lèi)型的3D顯示技術(shù)的不同子類(lèi)別)及顯示器的大小而確定特定空間及聚焦分辨率。HVS反饋模塊40可接著產(chǎn)生用于2D到3D處理模塊56的配置數(shù)據(jù)80以修改深度處理。HVS反饋模塊40還可基于關(guān)于顯示裝置16的觀看者的特定視軸線(xiàn)或觀看角度而精細(xì)化或潛在地最優(yōu)化如通過(guò)度量70中的一者指示的空間頻率。此視軸線(xiàn)或觀看角度可通過(guò)3D視覺(jué)數(shù)據(jù)44來(lái)提供，或參數(shù)發(fā)現(xiàn)模塊38可與顯示裝置16介接以發(fā)現(xiàn)作為參數(shù)76 中的一者的此視軸線(xiàn)或觀看角度(因?yàn)槠渑c整合于顯示裝置16內(nèi)的眼或觀看者追蹤設(shè)備有關(guān))。HVS反饋模塊40還可利用指定當(dāng)前顯示分辨率的參數(shù)76中的一者或一者以上，這是因?yàn)榇孙@示分辨率可影響聚焦線(xiàn)索。HVS反饋模塊40可接著基于這些參數(shù)76而產(chǎn)生配置數(shù)據(jù)80。在另一實(shí)例中，HVS反饋模塊40可產(chǎn)生配置數(shù)據(jù)80以精細(xì)化或潛在地最優(yōu)化基于深度圖像的再現(xiàn)(DIBR)。HVS反饋模塊40可分析3D視頻數(shù)據(jù)44及由后處理模塊60、 再現(xiàn)模塊62及顯示格式模塊64產(chǎn)生的3D視頻數(shù)據(jù)以精細(xì)化DIBR的各種方面。在一個(gè)例子中，HVS反饋模塊40分析此視頻數(shù)據(jù)44或由模塊60到64中的一者或一者以上產(chǎn)生的視頻數(shù)據(jù)，以確保深度維度的適當(dāng)過(guò)濾，以最小化且可能潛在地消除視覺(jué)假象。常常，深度過(guò)濾精細(xì)化涉及特定顯示技術(shù)或能力，所述特定顯示技術(shù)或能力再次可由參數(shù)發(fā)現(xiàn)模塊38 發(fā)現(xiàn)且因此經(jīng)由參數(shù)76中的一者或一者以上而知曉。為了說(shuō)明，考慮歸因于未經(jīng)深度過(guò)濾的再現(xiàn)而產(chǎn)生的可見(jiàn)不連續(xù)性潛在地在相減式顯示器中大得多，這是因?yàn)檫@些顯示器可使來(lái)自背光的直接照明可見(jiàn)。HVS反饋模塊40因此可產(chǎn)生配置數(shù)據(jù)80以調(diào)整深度過(guò)濾，以便考慮不同顯示能力。HVS反饋模塊40還可基于與用于填充孔的目的(例如，內(nèi)插，其可在調(diào)整2D視頻內(nèi)容20的分辨率以適應(yīng)當(dāng)前分辨率時(shí)出現(xiàn))的過(guò)濾有關(guān)的度量70而產(chǎn)生配置數(shù)據(jù)80以精細(xì)化DIBR的各種方面。過(guò)濾可包含高斯過(guò)濾或基于邊緣的過(guò)濾。HVS反饋模塊40還可基于與特定文件格式(例如，稱(chēng)作P3D的文件格式)有關(guān)的度量70而產(chǎn)生配置數(shù)據(jù)80以精細(xì)化DIBR，以便使特定像素的深度值強(qiáng)制為零(其中預(yù)期在給定圖像或幀中發(fā)生遮蔽)。仍關(guān)于精細(xì)化DIBR，HVS反饋模塊40可基于與陰影效果及著色有關(guān)的度量70而產(chǎn)生配置數(shù)據(jù)80，以便使用可見(jiàn)相鄰像素增加區(qū)域中的陰影效果/著色。HVS反饋模塊40 還可增大邊緣以經(jīng)由高頻增強(qiáng)(HFE)精細(xì)化DIBR，以最小化歸因于深度過(guò)濾而產(chǎn)生的模糊，所述模糊往往使邊緣不連續(xù)性平滑。另外，HVS反饋模塊40可通過(guò)產(chǎn)生配置數(shù)據(jù)80來(lái)精細(xì)化DIBR，以促進(jìn)深度圖的動(dòng)態(tài)范圍再成形，借此此配置數(shù)據(jù)80擴(kuò)大較高深度值且壓縮較低深度值。在一些例子中，HVS反饋模塊40可基于給定觀看者的HVS的感知力或靈敏度 (如通過(guò)用戶(hù)偏好78中的一者定義)而調(diào)制擴(kuò)大及壓縮的范圍。還可通過(guò)HVS反饋模塊40產(chǎn)生配置數(shù)據(jù)80而發(fā)生此DIBR精細(xì)化，所述配置數(shù)據(jù) 80基于與眼偏好或優(yōu)勢(shì)有關(guān)的用戶(hù)偏好78中的一者或一者以上而調(diào)整DIBR。為了說(shuō)明， 考慮針對(duì)任一視圖，觀看者可為左眼優(yōu)勢(shì)或右眼優(yōu)勢(shì)，且觀看者可將此優(yōu)勢(shì)作為用戶(hù)偏好 78中的一者來(lái)指示。值得注意的是，觀看者可經(jīng)歷經(jīng)由用戶(hù)接口呈現(xiàn)的測(cè)試以確定優(yōu)勢(shì)或可僅選擇所述優(yōu)勢(shì)。在任何情況下，HVS反饋模塊40可產(chǎn)生配置數(shù)據(jù)80，其基于與眼優(yōu)勢(shì)、 靈敏度或感知力差異有關(guān)的用戶(hù)偏好78中的若干偏好而調(diào)整各種視圖，以使得視圖在沿著視軸線(xiàn)+/-20度或高達(dá)50度的范圍內(nèi)細(xì)化以獲得高達(dá)120色彩像素密度(cpd)的優(yōu)良立體像素分辨率。在適當(dāng)?shù)那闆r下，HVS反饋模塊40可產(chǎn)生配置數(shù)據(jù)80以采用不對(duì)稱(chēng)質(zhì)量， 以便改善深度感知，其中此不對(duì)稱(chēng)質(zhì)量表示左眼視圖的所感知質(zhì)量與右眼視圖的所感知質(zhì)量不對(duì)稱(chēng)或不相等。在又一實(shí)例中，HVS反饋模塊40可基于與眼靈敏度有關(guān)的用戶(hù)偏好78以及與內(nèi)容類(lèi)型、照度級(jí)及其類(lèi)似者有關(guān)的度量70中的一者或一者以上而產(chǎn)生配置數(shù)據(jù)80以正規(guī)化深度。由HVS反饋模塊40進(jìn)行的深度的正規(guī)化也可取決于最大深度，所述最大深度是基于視頻數(shù)據(jù)44及與場(chǎng)景改變、內(nèi)容類(lèi)型及構(gòu)成(例如，如果存在處于無(wú)限焦距下的對(duì)象)有關(guān)的度量70來(lái)確定。由HVS反饋模塊40進(jìn)行的深度的正規(guī)化除了取決于與再現(xiàn)方法有關(guān)的定量度量70外還可取決于參數(shù)76 (例如，顯示器類(lèi)型)。在另一實(shí)例中，HVS反饋模塊40可產(chǎn)生配置數(shù)據(jù)80以精細(xì)化3D可視化，以便最小化壓力(例如，眼疲勞及惡心)。在一些方面中，HVS反饋模塊40可產(chǎn)生配置數(shù)據(jù)80以最優(yōu)化3D可視化，以便最小化壓力(例如，眼疲勞及惡心)。HVS反饋模塊40可約束深度以最小化壓力，基于場(chǎng)景中的對(duì)象的類(lèi)型而執(zhí)行選擇性深度提取，對(duì)場(chǎng)景中感興趣的特定對(duì)象執(zhí)行用于特定深度提取的選擇性深度再現(xiàn)，或僅提取高于特定置信等級(jí)的深度值。以此方式，HVS反饋模塊40可基于度量70、參數(shù)76及用戶(hù)偏好78而產(chǎn)生配置數(shù)據(jù)40，且重新配置變換模塊36的一個(gè)或一個(gè)以上模塊56到64以便精細(xì)化(如果不可能改善或甚至最優(yōu)化)2D視頻內(nèi)容20到3D視頻內(nèi)容48的變換。變換模塊36的經(jīng)重新配置的模塊56到64可接著繼續(xù)根據(jù)配置數(shù)據(jù)80將2D視頻內(nèi)容20變換成3D視頻內(nèi)容48。變換模塊36可接著在此動(dòng)態(tài)重新配置之后開(kāi)始將經(jīng)精細(xì)化的3D視頻內(nèi)容48轉(zhuǎn)發(fā)到顯示裝置16，此后，顯示裝置16便可經(jīng)由顯示器30呈現(xiàn)此經(jīng)精細(xì)化的3D視頻內(nèi)容48以供一個(gè)或一個(gè)以上觀看者消耗。此反饋機(jī)構(gòu)，在此反饋機(jī)構(gòu)中，HVS反饋模塊40可在2D視頻內(nèi)容20到3D視頻內(nèi)容48的整個(gè)變換期間繼續(xù)以便持續(xù)地精細(xì)化此視頻數(shù)據(jù)，或在一些方面中最優(yōu)化此視頻數(shù)據(jù)，以用于在由操作者選擇的特定平臺(tái)(例如，顯示裝置16)上重放。就此來(lái)說(shuō)，HVS反饋模塊40可實(shí)現(xiàn)透明(從觀看者的觀點(diǎn)來(lái)說(shuō))的實(shí)時(shí)或近實(shí)時(shí)動(dòng)態(tài)反饋，所述透明的實(shí)時(shí)或近實(shí)時(shí)動(dòng)態(tài)反饋以定制3D視頻內(nèi)容 48以用于在具體選定的顯示裝置(例如，顯示裝置16)上重放給特定觀看者的方式精細(xì)化且潛在地改善(如果并不最優(yōu)化)3D視頻內(nèi)容48，如通過(guò)用戶(hù)偏好78定義。下文闡述HVS 反饋模塊40產(chǎn)生配置數(shù)據(jù)80且根據(jù)配置數(shù)據(jù)80重新配置變換模塊36的模塊56到64中的各種模塊的實(shí)例。HVS反饋模塊40還可實(shí)現(xiàn)透明(從觀看者的觀點(diǎn)來(lái)說(shuō))的實(shí)時(shí)或近實(shí)時(shí)動(dòng)態(tài)反饋，所述透明的實(shí)時(shí)或近實(shí)時(shí)動(dòng)態(tài)反饋可用以重新配置模塊56到64，以使得計(jì)算復(fù)雜性降低同時(shí)保留根據(jù)用戶(hù)偏好的可接受的3D視頻質(zhì)量。圖3為更詳細(xì)地說(shuō)明圖2的移動(dòng)裝置12的變換模塊38及離線(xiàn)處理模塊72的框圖。如圖3的實(shí)例中所展示，模塊56到62中的每一者包含執(zhí)行2D或3D視頻內(nèi)容到經(jīng)變換的3D視頻內(nèi)容48的變換的各種方面的額外單元。舉例來(lái)說(shuō)，預(yù)處理模塊56包含至少三個(gè)全局處理單元82A到82C，其在圖3的實(shí)例中展示為氛圍效果檢測(cè)單元82A( “氛圍效果檢測(cè)單元82A”)、場(chǎng)景改變檢測(cè)單元82B及相機(jī)運(yùn)動(dòng)檢測(cè)單元82C。將這些模塊視為全局處理單元，這是因?yàn)槠淙值胤治?D視頻內(nèi)容20的整個(gè)幀或多個(gè)幀(例如)以檢測(cè)相應(yīng)的氛圍效果、場(chǎng)景改變及相機(jī)運(yùn)動(dòng)。預(yù)處理模塊56還包括局部處理單元84A到84C，其分別每次處理用于單一幀內(nèi)的相鄰像素的給定區(qū)域的輸入視頻數(shù)據(jù)20或22 (此處理被視為局部化或局部處理)，以檢測(cè)感興趣的區(qū)域(ROI)、邊緣及對(duì)比度及/或照明。在圖3的實(shí)例中，將這些局部處理單元84A 到84C展示為ROI檢測(cè)單元84A、邊緣檢測(cè)單元84B及對(duì)比度/照明檢測(cè)單元84C( “對(duì)比度/照明檢測(cè)單元84C”)。ROI檢測(cè)單元84A表示檢測(cè)ROI (例如，面部或人體)的一個(gè)或一個(gè)以上硬件模塊，所述一個(gè)或一個(gè)以上硬件模塊中的一些硬件模塊可執(zhí)行軟件。邊緣檢測(cè)單元84B表示定位邊緣并將其分類(lèi)(例如，將邊緣分類(lèi)為限定實(shí)際對(duì)象的邊界、分類(lèi)為定義陰影邊界，或分類(lèi)為定義著色效果)的一個(gè)或一個(gè)以上硬件模塊，所述一個(gè)或一個(gè)以上硬件模塊中的一些硬件模塊可執(zhí)行軟件。此分類(lèi)還可涉及確定邊緣的強(qiáng)度。對(duì)比度/照明檢測(cè)單元84C表示檢測(cè)照明屬性的一個(gè)或一個(gè)以上硬件模塊，所述一個(gè)或一個(gè)以上硬件模塊中的一些硬件模塊可執(zhí)行軟件。雖然出于便于說(shuō)明的目的在圖3中未展示，但預(yù)處理模塊56可包括額外的全局或局部處理單元。舉例來(lái)說(shuō)，預(yù)處理模塊56可包括另一局部處理單元，其基于給定圖像或幀的色度分量、所述圖像或幀的色彩分量或所述圖像或幀的色度分量與色彩分量?jī)烧叨鴪?zhí)行對(duì)象的分段。本發(fā)明中所闡述的技術(shù)因此不應(yīng)限于圖3中所展示的實(shí)例，而是可包括額外的全局及局部處理單元?？蓪⒂蓡卧?2A到82C及84A到84C提取的各種信息轉(zhuǎn)發(fā)到2D 到3D處理以促進(jìn)深度提取。2D到3D處理模塊58包括用以執(zhí)行多幀深度提取技術(shù)與單幀深度提取技術(shù)兩者的若干單元。多幀深度提取單元包括相機(jī)模型化單元86A及移動(dòng)對(duì)象模型化單元86B。相機(jī)模型化單元86A表示模型化幾何結(jié)構(gòu)及運(yùn)動(dòng)(例如，模型化俘獲幾何結(jié)構(gòu)及運(yùn)動(dòng)的相機(jī)) 以提取深度值的一個(gè)或一個(gè)以上硬件模塊，所述一個(gè)或一個(gè)以上硬件模塊中的一些硬件模塊可執(zhí)行軟件。移動(dòng)對(duì)象模型化單元86B表示將獨(dú)立移動(dòng)對(duì)象的背景分段以提取深度值的一個(gè)或一個(gè)以上硬件模塊，所述一個(gè)或一個(gè)以上硬件模塊中的一些硬件模塊可執(zhí)行軟件。單幀提取單元包括透鏡模型化單元88A、遮蔽模型化單元88B、照明模型化單元 88C及幾何模型化單元88D。透鏡模型化單元88A表示基于在給定幀或圖像中檢測(cè)到的聚焦及散焦線(xiàn)索而提取深度值的一個(gè)或一個(gè)以上硬件模塊，所述一個(gè)或一個(gè)以上硬件模塊中的一些硬件模塊可執(zhí)行軟件。遮蔽模型化單元88B表示將給定幀或圖像中的各種對(duì)象之間的遮蔽模型化或以其它方式檢測(cè)給定幀或圖像中的各種對(duì)象之間的遮蔽且基于這些遮蔽提取深度值的一個(gè)或一個(gè)以上硬件模塊，所述一個(gè)或一個(gè)以上硬件模塊中的一些硬件模塊可執(zhí)行軟件。照明模型化單元88C表示基于所檢測(cè)的陰影及著色效果而提取單一幀或圖像的深度值的一個(gè)或一個(gè)以上硬件模塊，所述一個(gè)或一個(gè)以上硬件模塊中的一些硬件模塊可執(zhí)行軟件。幾何模型化單元88D表示基于單一幀或圖像內(nèi)的幾何線(xiàn)性透視圖的模型化而提取所述單一幀或圖像的深度值的一個(gè)或一個(gè)以上硬件模塊，所述一個(gè)或一個(gè)以上硬件模塊中的一些硬件模塊可執(zhí)行軟件。如上文所注明，這些單元86A到86B及88A到88D中的許多單元依賴(lài)于由預(yù)處理模塊56的單元82A到82C及84A到84C提取的信息。舉例來(lái)說(shuō)，照明模型化單元88C可使深度的提取基于由對(duì)比度/照明檢測(cè)單元84C及邊緣檢測(cè)單元84B確定的對(duì)比度/照明信息。作為另一實(shí)例，遮蔽模型化單元88B可使用由邊緣檢測(cè)單元84B檢測(cè)到的邊緣信息來(lái)模型化遮蔽。作為又一實(shí)例，透鏡模型化單元88A可使深度提取基于由邊緣檢測(cè)單元84B確定的邊緣信息。作為另一實(shí)例，幾何模型化單元88D可基于由邊緣檢測(cè)單元84B確定的邊緣信息而提取深度值。相機(jī)模型化單元86A及移動(dòng)對(duì)象模型化單元86B可基于由氛圍效果檢測(cè)單元82A、場(chǎng)景改變檢測(cè)單元82B及相機(jī)運(yùn)動(dòng)檢測(cè)單元82C確定的信息而提取深度值。 以此方式，2D到3D處理模塊58可從2D視頻內(nèi)容20與3D視頻內(nèi)容22兩者提取深度值。值得注意的是，針對(duì)多視圖串流，變換模塊36可包括多個(gè)2D到3D處理模塊(例如，可調(diào)用多個(gè)2D到3D處理模塊)以處理同時(shí)從多個(gè)俘獲系統(tǒng)獲取或俘獲的一不同串流的每一幀。甚至針對(duì)單視圖串流，變換模塊36還可包含借以處理兩個(gè)或兩個(gè)以上連續(xù)幀或圖像的多個(gè)2D到3D處理模塊。在此單視圖串流例子中，所述多個(gè)2D到3D處理模塊中的每一者將提取特征點(diǎn)及用于這些點(diǎn)的描述符。這些描述符將接著用以設(shè)定不同幀中的特征點(diǎn)之間的對(duì)應(yīng)性，其中對(duì)應(yīng)點(diǎn)的位置將與由相機(jī)模型化單元86A實(shí)施的投影幾何相機(jī)模型一起使用以提取深度值。關(guān)于通過(guò)不同相機(jī)單元(每一相機(jī)位于一不同空間點(diǎn)處，具有相同或不同的相機(jī)參數(shù))同時(shí)獲取每一視圖的多視圖串流，2D到3D處理單元58可包括類(lèi)似于透鏡模型化單元88A的多個(gè)相機(jī)模型化單元。這些透鏡模型化單元88A中的每一者處理一不同多視圖的一幀，其中這些幀中的每一者是同時(shí)俘獲。針對(duì)單視圖串流，2D到3D處理單元58可調(diào)用相機(jī)模型化單元88A以每次處理所述單視圖串流的單一圖像或幀。在使用多幀處理單元86A到86B及單幀處理單元88A到88D中的一者或一者以上確定深度值之后，2D到3D處理模塊58可合并來(lái)自各種多幀及單幀處理單元86A到86B及 88A到88D的深度值或以其它方式整合這些深度值，以針對(duì)給定視圖串流(或，在多視圖串流的狀況下，針對(duì)所述視圖串流中的每一者)的每一幀建立復(fù)合深度圖。所述深度圖將深度值指派給給定幀或圖像的每一像素。關(guān)于“2D+深度”文件格式，作為一個(gè)實(shí)例，將每一幀的深度圖表示為灰階圖像，其中所述灰階圖像的每一 8位像素值定義幀中的對(duì)應(yīng)像素的深度值。HVS反饋模塊40可產(chǎn)生配置數(shù)據(jù)80以配置2D到3D處理模塊，以便約束由多幀及單幀深度提取處理單元86A到86B及88A到88D中的一者或一者以上進(jìn)行的深度提取。作為一個(gè)實(shí)例，HVS反饋模塊40可產(chǎn)生配置數(shù)據(jù)80以配置相機(jī)模型化單元86A，以使得用以模型化相機(jī)系統(tǒng)的線(xiàn)性方程式體系通過(guò)使用來(lái)自其它單元(例如，單元86B及88A到88D) 的結(jié)果而消除歧義且加速，以約束一組有效對(duì)應(yīng)點(diǎn)。HVS反饋模塊40還可產(chǎn)生配置數(shù)據(jù)80以影響由多幀及單幀處理單元86A到86B 及88A到88D產(chǎn)生的深度圖的合并。舉例來(lái)說(shuō)，2D到3D處理模塊58可使用加權(quán)平均合并函數(shù)來(lái)合并這些深度圖，所述加權(quán)平均合并函數(shù)將不同權(quán)重指派給所述所確定或所提取的深度圖中的每一者。HVS反饋模塊40可產(chǎn)生配置數(shù)據(jù)80以修改或配置這些權(quán)重以調(diào)整所得復(fù)合深度圖。此調(diào)整可改善經(jīng)變換的3D視頻內(nèi)容48的可視化質(zhì)量，或以其它方式降低與觀看經(jīng)變換的3D視頻內(nèi)容48相關(guān)聯(lián)的壓力。在以此方式處理2D視頻內(nèi)容20之后，2D到3D處理模塊58將2D視頻內(nèi)容20及所述所產(chǎn)生的一個(gè)或一個(gè)以上(如在多視圖串流的狀況下)復(fù)合深度圖轉(zhuǎn)發(fā)到后處理模塊 60。后處理模塊60包括深度感知單元90，其修改所述所得一個(gè)或一個(gè)以上深度圖以精細(xì)化經(jīng)變換的3D視頻內(nèi)容48的可視化質(zhì)量。在一些例子中，深度感知單元90修改所述所得一個(gè)或一個(gè)以上深度圖以改善經(jīng)變換的3D視頻內(nèi)容48的可視化質(zhì)量。深度感知單元90可在代表變換模塊36的模塊56到64的管線(xiàn)中引入一單元，借此HVS反饋模塊40可進(jìn)行調(diào)解以精細(xì)化深度圖。為了說(shuō)明，深度感知單元90可表示HVS反饋模塊40可與之互動(dòng)以加載配置數(shù)據(jù)80以使得HVS反饋模塊40可在所述管線(xiàn)中進(jìn)行調(diào)解以執(zhí)行深度圖的后處理的接口。在一個(gè)實(shí)例中，HVS反饋模塊40可產(chǎn)生用于深度感知單元90的配置數(shù)據(jù)80，以便配置深度感知單元90以執(zhí)行以下操作全局地使深度圖跨越多個(gè)幀或整個(gè)3D視頻數(shù)據(jù)而平滑，及/或選擇性地修改由ROI檢測(cè)單元84A識(shí)別的感興趣的特定區(qū)域的深度信息。在另一實(shí)例中，HVS反饋模塊40可基于配置深度感知單元90以執(zhí)行以下操作的參數(shù)76而產(chǎn)生配置數(shù)據(jù)80 修改及約束深度值的范圍，以使得這些值經(jīng)定制以用于特定顯示器(例如， 顯示裝置16)。在另一實(shí)例中，HVS反饋模塊40可基于配置深度感知單元90以執(zhí)行以下操作的度量70而產(chǎn)生配置數(shù)據(jù)80 動(dòng)態(tài)地修改深度圖以促進(jìn)經(jīng)變換的3D視頻數(shù)據(jù)的定量改
業(yè)
口 ο在精細(xì)化所述一個(gè)或一個(gè)以上深度圖之后，后處理模塊60將2D視頻內(nèi)容及所述一個(gè)或一個(gè)以上經(jīng)精細(xì)化的深度圖轉(zhuǎn)發(fā)到再現(xiàn)模塊62。再現(xiàn)模塊62包括3D模型化單元 92、照明模型化單元94( “照明模型化單元94”)及內(nèi)插單元96。3D模型化單元92、照明模型化單元94及內(nèi)插單元96中的每一者表示模型化3D場(chǎng)景的各種方面以便實(shí)現(xiàn)從2D視頻內(nèi)容20產(chǎn)生一個(gè)或一個(gè)以上額外視圖的一個(gè)或一個(gè)以上硬件模塊，所述一個(gè)或一個(gè)以上硬件模塊中的一些硬件模塊可執(zhí)行軟件。3D模型化單元92可利用來(lái)自后處理模塊60的深度圖來(lái)促進(jìn)3D場(chǎng)景的產(chǎn)生及一個(gè)或一個(gè)以上額外視圖的后續(xù)產(chǎn)生。照明模型化單元94可利用由照明模型化單元88C及/ 或?qū)Ρ榷?照明檢測(cè)單元84C確定的照明信息來(lái)促進(jìn)3D場(chǎng)景的產(chǎn)生及一個(gè)或一個(gè)以上額外視圖的后續(xù)產(chǎn)生。內(nèi)插單元96可利用2D視頻數(shù)據(jù)的像素信息來(lái)促進(jìn)3D場(chǎng)景的產(chǎn)生及一個(gè)或一個(gè)以上額外視圖的后續(xù)產(chǎn)生。就此來(lái)說(shuō)，再現(xiàn)模塊62產(chǎn)生額外視圖以便實(shí)現(xiàn)從單視圖2D視頻內(nèi)容20產(chǎn)生呈多視圖串流格式的3D視頻內(nèi)容。雖然為便于說(shuō)明而未將顯示格式模塊64展示為包含類(lèi)似于模塊56到62的額外單元，但顯示格式模塊64可調(diào)用各種單元以根據(jù)由參數(shù)發(fā)現(xiàn)模塊38確定的輸入文件格式 98格式化從再現(xiàn)模塊62接收的3D視頻數(shù)據(jù)。在一個(gè)實(shí)例中，顯示格式模塊64調(diào)用色彩交錯(cuò)單元，以按不同色彩分量(在需要時(shí)，例如，根據(jù)互補(bǔ)色(anaglyph)文件格式)交錯(cuò)不同視圖。作為另一實(shí)例，顯示格式模塊62調(diào)用空間交錯(cuò)單元以按不同像素位置交錯(cuò)不同視圖。當(dāng)產(chǎn)生多個(gè)視圖時(shí)，顯示格式模塊64可調(diào)用在時(shí)間上多路復(fù)用各種視圖以用于幀切換式顯示的多視圖單元，所述幀切換式顯示可通過(guò)配置數(shù)據(jù)80來(lái)指示且經(jīng)由參數(shù)76中的一者而獲悉。除顯示格式要求外，HVS反饋模塊40還可基于配置顯示格式模塊64以強(qiáng)調(diào)、過(guò)濾或大體上修改3D視頻串流的度量70及/或用戶(hù)偏好78而產(chǎn)生配置數(shù)據(jù)80。離線(xiàn)處理模塊72大體上可關(guān)于訓(xùn)練集合的各種屬性執(zhí)行訓(xùn)練集合的各種幀或圖像的特定描述符的統(tǒng)計(jì)分析及模型化。各種屬性可包括照明的類(lèi)型及照明的方向、對(duì)象反射率、紋理及氛圍效果。離線(xiàn)處理模塊72通過(guò)建立供預(yù)處理模塊56的各種單元82A到82C 及84A到84C使用的一個(gè)或一個(gè)以上模型來(lái)提供對(duì)預(yù)處理模塊的支持。離線(xiàn)處理模塊72包括機(jī)器學(xué)習(xí)單元100以執(zhí)行統(tǒng)計(jì)分析及模型化。機(jī)器學(xué)習(xí)單元100可定義且模型化一考慮歸因于著色而產(chǎn)生的跨越邊緣的強(qiáng)度變化的描述符(作為一個(gè)實(shí)例)或一考慮由陰影造成的跨越邊緣的強(qiáng)度變化的描述符(在另一實(shí)例中)。在另一實(shí)例中，機(jī)器學(xué)習(xí)單元100可定義且模型化一考慮在特定照明條件下的場(chǎng)景中的對(duì)象的反射率屬性的描述符。機(jī)器學(xué)習(xí)單元100使用訓(xùn)練集合(圖3中未展示)離線(xiàn)地模型化每一描述符的統(tǒng)計(jì)行為。此訓(xùn)練集合可由一組圖像組成，所述組圖像是在影響每一描述符的屬性的所有潛在變化下獲得。由機(jī)器學(xué)習(xí)單元100在使用訓(xùn)練集合經(jīng)歷訓(xùn)練之后建立的模型因此俘獲描述符針對(duì)給定情況條件(例如，給定照明方向)為特定值的概率。統(tǒng)計(jì)行為的模型接著由預(yù)處理模塊56的單元在線(xiàn)使用。預(yù)處理模塊56利用這些模型來(lái)確定以下情況的最大似然性針對(duì)從預(yù)處理模塊56當(dāng)前正處理的所述一個(gè)或一個(gè)以上圖像或幀獲得的給定描述符的特定值，場(chǎng)景的條件為特定條件(例如，特定照明方向)?？蓪⑦@些模型不僅擴(kuò)展到照明相關(guān)情況，而且擴(kuò)展到場(chǎng)景中的氛圍效果(霾、雨、 雪等)或紋理變化。所述描述符還可為局部的(如果其俘獲像素的鄰域內(nèi)的信息)或全局的(如果其俘獲整個(gè)圖像的信息)。所述模型可使用馬爾可夫隨機(jī)場(chǎng)(Markov random field)俘獲若干描述符之間的關(guān)系的統(tǒng)計(jì)行為。就此來(lái)說(shuō)，離線(xiàn)處理模塊72可通過(guò)產(chǎn)生供預(yù)處理模塊56使用的模型的機(jī)器學(xué)習(xí)單元100來(lái)支持預(yù)處理模塊56。值得注意的是，機(jī)器學(xué)習(xí)單元100可接收新訓(xùn)練集合，所述新訓(xùn)練集合可實(shí)現(xiàn)改善的模型化及后續(xù)變換。圖4A及4B為說(shuō)明移動(dòng)裝置(例如，圖2的移動(dòng)裝置12)在實(shí)施本發(fā)明中所描述的技術(shù)的各種方面時(shí)的實(shí)例操作的流程圖。首先參看圖4A，移動(dòng)裝置12的控制單元34內(nèi)所包括的用戶(hù)接口模塊74最初可呈現(xiàn)一用戶(hù)接口，移動(dòng)裝置12的用戶(hù)或其它操作者可與所述用戶(hù)接口互動(dòng)以輸入定義用戶(hù)偏好78的數(shù)據(jù)。用戶(hù)接口模塊74接收定義用戶(hù)偏好78的此數(shù)據(jù)且將用戶(hù)偏好78轉(zhuǎn)發(fā)到HVS反饋模塊40以用于配置或重新配置變換模塊36 (102)。用戶(hù)接口模塊74還可呈現(xiàn)同一用戶(hù)接口或另一用戶(hù)接口，用戶(hù)可與所述同一用戶(hù)接口或另一用戶(hù)接口互動(dòng)以選擇一個(gè)或一個(gè)以上源裝置及一個(gè)或一個(gè)以上目的地裝置。 用戶(hù)接口模塊74可接著接收選擇一個(gè)或一個(gè)以上源裝置(例如，圖1的實(shí)例中所展示的源裝置14)及一個(gè)或一個(gè)以上目的地裝置(例如，外部顯示裝置16)的數(shù)據(jù)(104)。基于這些選擇，用戶(hù)接口模塊74可與無(wú)線(xiàn)接口 32A及有線(xiàn)接口 32B中的各種接口介接，以分別與所述選定的一個(gè)或一個(gè)以上源裝置(例如，源裝置14)及所述選定的一個(gè)或一個(gè)以上目的地裝置(例如，外部顯示裝置16)建立通信鏈路或信道13及15。在確保建立這些信道13 及15之后，用戶(hù)接口模塊74可接著與參數(shù)發(fā)現(xiàn)模塊38介接以起始關(guān)于顯示裝置16的能力的參數(shù)76的發(fā)現(xiàn)。參數(shù)發(fā)現(xiàn)模塊38以上文所描述的方式經(jīng)由已建立的通信信道15與顯示裝置16 介接以確定參數(shù)76 (106)。參數(shù)發(fā)現(xiàn)模塊38可將這些參數(shù)76轉(zhuǎn)發(fā)到HVS反饋模塊40，HVS 反饋模塊40又可在配置或重新配置變換模塊36時(shí)使用這些參數(shù)76。參數(shù)76中的一者可包含由外部顯示裝置16支持的一個(gè)或一個(gè)以上輸入文件格式以接受2D及/或3D視頻內(nèi)容。參數(shù)發(fā)現(xiàn)模塊38可與變換模塊36 (且，更具體來(lái)說(shuō)，顯示格式模塊64)介接以根據(jù)所確定的輸入文件格式配置顯示格式模塊64，以格式化經(jīng)變換的3D視頻數(shù)據(jù)48(108)?；蛘撸?HVS反饋模塊40可與顯示格式模塊64介接，以按上文關(guān)于參數(shù)發(fā)現(xiàn)模塊38所描述的方式配置顯示格式模塊64。HVS反饋模塊40還可與其它模塊56到62介接，以最初基于參數(shù)76 及用戶(hù)偏好78而配置變換模塊36的這些模塊56到62，以便根據(jù)用戶(hù)偏好78定制用于由外部顯示裝置16呈現(xiàn)的3D視頻內(nèi)容48的產(chǎn)生。變換模塊36 —旦經(jīng)配置便經(jīng)由通信信道13與源裝置12介接，以從源裝置12檢索2D及/或3D視頻內(nèi)容20、22(110)。在接收到(例如)2D視頻內(nèi)容20后，變換模塊36 即刻將2D視頻內(nèi)容20的視頻數(shù)據(jù)轉(zhuǎn)換成3D視頻內(nèi)容48，所述3D視頻內(nèi)容48是根據(jù)所確定的輸入文件格式而格式化(11 。變換模塊36接著將根據(jù)所確定的輸入文件格式而格式化的3D視頻數(shù)據(jù)作為3D視頻內(nèi)容48輸出，移動(dòng)裝置12將3D視頻內(nèi)容48轉(zhuǎn)發(fā)到顯示裝置 16(114,116)ο參看圖4B，在接收到3D視頻內(nèi)容48的至少一部分之后，顯示裝置16通過(guò)移除輸入文件格式化標(biāo)頭來(lái)解封裝所接收的3D視頻內(nèi)容48以產(chǎn)生經(jīng)譯碼的3D視頻數(shù)據(jù)50。顯示裝置16接著解碼經(jīng)譯碼的3D視頻數(shù)據(jù)50以產(chǎn)生3D視頻數(shù)據(jù)44，顯示裝置16經(jīng)由顯示器30向一個(gè)或一個(gè)以上觀看者呈現(xiàn)3D視頻數(shù)據(jù)44以供其消耗。當(dāng)呈現(xiàn)此視頻數(shù)據(jù)44時(shí)且當(dāng)變換模塊36將2D視頻內(nèi)容20轉(zhuǎn)換成3D視頻內(nèi)容48時(shí)，HVS反饋模塊40與顯示裝置16介接以檢索視頻數(shù)據(jù)44(118)。如上文所描述，HVS反饋模塊40 (且，更具體來(lái)說(shuō)，HVS反饋模塊40的定性評(píng)估模塊66)分析經(jīng)解碼的視頻數(shù)據(jù)44以確定如上文所描述的定性度量70，其中這些定性度量 70描述經(jīng)解碼的視頻數(shù)據(jù)44的可視化質(zhì)量(119)。HVS反饋模塊40還可使用定量評(píng)估模塊66來(lái)確定定量度量70，定量度量70在定量方面描述經(jīng)解碼的視頻數(shù)據(jù)44的質(zhì)量。基于這些度量70，HVS反饋模塊40重新配置變換模塊36的模塊56到64以精細(xì)化經(jīng)解碼的視頻數(shù)據(jù)44的可視化質(zhì)量(120)。HVS反饋模塊40還可使模塊56到64的此重新配置基于度量70、參數(shù)76及用戶(hù)偏好78中的兩者或兩者以上的組合。舉例來(lái)說(shuō)，給定與用戶(hù)的優(yōu)選對(duì)比度等級(jí)有關(guān)的用戶(hù)偏好78中的一個(gè)特定用戶(hù)偏好，則HVS反饋模塊40可鑒于此優(yōu)選對(duì)比度等級(jí)來(lái)分析度量78 (例如，所感知的對(duì)比度等級(jí))，且產(chǎn)生精細(xì)化3D視頻內(nèi)容48的后續(xù)產(chǎn)生的配置數(shù)據(jù)，以使得視頻數(shù)據(jù)44展現(xiàn)接近(如果不等于)所述優(yōu)選對(duì)比度等級(jí)的對(duì)比度等級(jí)。HVS反饋模塊40還可鑒于參數(shù)76來(lái)分析度量78以便精細(xì)化3D視頻內(nèi)容48的產(chǎn)生，以使得從后續(xù)視頻數(shù)據(jù)44進(jìn)行的度量78分析關(guān)于通過(guò)參數(shù)78定義的特定顯示能力得以改善。在一些例子中，可以上述方式使用度量70、參數(shù)76及用戶(hù)偏好78全部三者以產(chǎn)生3D視頻內(nèi)容48 的后續(xù)產(chǎn)生，所述3D視頻內(nèi)容48是在給定參數(shù)76及用戶(hù)偏好78的情況下相對(duì)于度量70 而精細(xì)化。在以上文所描述的方式重新配置變換模塊36之后，變換模塊36繼續(xù)將2D視頻內(nèi)容20轉(zhuǎn)換成3D視頻內(nèi)容48 (122)。變換模塊36接著輸出3D視頻內(nèi)容48，所述3D視頻內(nèi)容48包含根據(jù)所確定的輸入格式而格式化的3D視頻數(shù)據(jù)(124)。移動(dòng)裝置12將3D視頻內(nèi)容48轉(zhuǎn)發(fā)到外部顯示裝置16(1沈)。上述過(guò)程可以可特征化為一反復(fù)過(guò)程的此方式繼續(xù)，以使得針對(duì)反復(fù)中的每一者，相對(duì)于定義視頻數(shù)據(jù)44的可視化的所感知質(zhì)量的度量70 來(lái)精細(xì)化視頻內(nèi)容48 (118到126)。雖然上文關(guān)于HVS反饋模塊40分析經(jīng)解碼的3D視頻數(shù)據(jù)來(lái)描述，但HVS反饋模塊40或者可分析經(jīng)譯碼的3D視頻數(shù)據(jù)。此外，顯示裝置16可包括其自身的類(lèi)似于HVS反饋模塊40的HVS反饋模塊，其分析經(jīng)譯碼的3D視頻數(shù)據(jù)或經(jīng)解碼的3D視頻數(shù)據(jù)。以此方式，顯示裝置16可自身分析3D視頻數(shù)據(jù)且將通過(guò)其自身的HVS反饋模塊確定的所述一個(gè)或一個(gè)以上度量轉(zhuǎn)發(fā)到HVS反饋模塊40，所述HVS反饋模塊40可使用這些度量來(lái)調(diào)整視頻數(shù)據(jù)到3D視頻數(shù)據(jù)的變換。所述技術(shù)因此不應(yīng)限于此方面。圖5為說(shuō)明實(shí)施本發(fā)明中所描述的技術(shù)的各種方面的實(shí)例移動(dòng)裝置128的框圖。 移動(dòng)裝置1 可大體上類(lèi)似于圖1的移動(dòng)裝置12。雖然關(guān)于特定裝置(例如，移動(dòng)裝置 128)來(lái)描述所述技術(shù)，但所述技術(shù)可由任一類(lèi)型的裝置實(shí)施，包括上文注明為能夠?qū)嵤╆P(guān)于移動(dòng)裝置12所描述的技術(shù)的各種方面的那些其它裝置。類(lèi)似于圖2的實(shí)例中所展示的移動(dòng)裝置12，移動(dòng)裝置1 包括無(wú)線(xiàn)接口 32A、有線(xiàn)接口 32B、視頻俘獲模塊50、本地存儲(chǔ)模塊52及用戶(hù)接口模塊74。無(wú)線(xiàn)接口 32A、有線(xiàn)接口 32B、視頻俘獲模塊50及本地存儲(chǔ)模塊52中的每一者可為視頻數(shù)據(jù)及/或內(nèi)容的“源”(即， 提供視頻數(shù)據(jù)及/或內(nèi)容)，且由于此原因，其可大體上被稱(chēng)作“源”。這些源可提供視頻數(shù)據(jù)130，所述視頻數(shù)據(jù)130可包含2D視頻數(shù)據(jù)或3D視頻數(shù)據(jù)(其可包括2D視頻數(shù)據(jù)+額外深度信息，或2D視頻數(shù)據(jù)+額外深度及遮蔽區(qū)信息，或2D視頻數(shù)據(jù)+深度、遮蔽區(qū)及全局效果信息)。移動(dòng)裝置1 還包括圖像/視頻處理單元132、圖像/視頻編碼器單元134、圖像/ 視頻緩沖器單元136、顯示處理單元138、內(nèi)部顯示器140、無(wú)線(xiàn)顯示器(WD)主機(jī)單元142， 及無(wú)線(xiàn)顯示接口 144。圖像/視頻處理器單元132表示處理視頻數(shù)據(jù)130以產(chǎn)生3D視頻數(shù)據(jù)146的硬件單元或組合硬件與軟件單元。圖像/視頻編碼器單元134表示根據(jù)由圖像/ 視頻編碼器單元134支持的一個(gè)或一個(gè)以上編解碼器中的一者編碼視頻數(shù)據(jù)146以產(chǎn)生經(jīng)編碼的視頻數(shù)據(jù)148的硬件單元或硬件單元與軟件單元的組合。雖然展示為編碼器，但圖像/視頻編碼器單元134還可執(zhí)行解碼。編碼器單元134輸出存儲(chǔ)到圖像/視頻緩沖器單元136的經(jīng)編碼的視頻數(shù)據(jù)148，所述圖像/視頻緩沖器單元136可包含存儲(chǔ)器或存儲(chǔ)裝置 (例如，上文所描述的存儲(chǔ)器與存儲(chǔ)裝置兩者的實(shí)例)。
在一些例子中，移動(dòng)裝置1 提供借以在在內(nèi)部顯示器140上本地預(yù)覽3D視頻數(shù)據(jù)146的預(yù)覽模式，所述內(nèi)部顯示器140可包含發(fā)光二極管(LED)顯示器、有機(jī)LED(OLED) 顯示器、陰極射線(xiàn)管顯示器、等離子顯示器、液晶顯示器(LCD)或任一其它類(lèi)型的顯示器。 在此預(yù)覽模式中，圖像/視頻處理單元132可產(chǎn)生預(yù)覽視頻數(shù)據(jù)150A、150B( “預(yù)覽視頻數(shù)據(jù)150”)。預(yù)覽視頻數(shù)據(jù)150A可包含形成3D視頻數(shù)據(jù)146的右眼透視圖的右眼視頻數(shù)據(jù)。 預(yù)覽視頻數(shù)據(jù)150B可包含形成3D視頻數(shù)據(jù)146的左眼透視圖的左眼視頻數(shù)據(jù)。當(dāng)視頻俘獲裝置50包含3D視頻俘獲裝置時(shí)，此3D視頻俘獲裝置50可產(chǎn)生右眼視頻數(shù)據(jù)150A與左眼視頻數(shù)據(jù)150B兩者，圖像/視頻處理單元132可將所述右眼視頻數(shù)據(jù)150A與所述左眼視頻數(shù)據(jù)150B轉(zhuǎn)發(fā)到顯示處理單元138。顯示處理單元138表示處理經(jīng)緩沖的視頻數(shù)據(jù)152以根據(jù)由外部顯示裝置中的一者或一者以上(例如，外部顯示裝置154A到154N( “外部顯示裝置巧4”)中的一者或一者以上)支持的輸入格式而格式化經(jīng)緩沖的視頻數(shù)據(jù)152的硬件單元或硬件單元與軟件單元的組合。顯示處理單元138可將此經(jīng)格式化的經(jīng)緩沖的視頻數(shù)據(jù)152作為3D視頻內(nèi)容156 輸出。顯示處理單元138可包括借以確定由外部顯示裝置154中的一者或一者以上支持的輸入文件格式的顯示格式接口(DFI)，出于便于說(shuō)明的目的，在圖5中未展示所述顯示格式接口(DFI)。顯示處理單元138還可接收預(yù)覽視頻數(shù)據(jù)150中的一者或一者以上且格式化此預(yù)覽視頻數(shù)據(jù)150以用于由內(nèi)部顯示器140呈現(xiàn)。顯示處理單元138可將此經(jīng)格式化的預(yù)覽視頻數(shù)據(jù)150A、150B作為預(yù)覽視頻內(nèi)容158A、158B( “預(yù)覽視頻內(nèi)容158”)輸出，內(nèi)部顯示器140可與將3D視頻內(nèi)容156輸出到外部顯示裝置154中的一者或一者以上同時(shí)而將預(yù)覽視頻內(nèi)容158A、158B中的一者或兩者呈現(xiàn)給移動(dòng)裝置128的用戶(hù)。在內(nèi)部顯示器140支持3D視頻內(nèi)容重放的例子中，預(yù)覽視頻數(shù)據(jù)150可包含顯示處理單元138進(jìn)行格式化以用于由內(nèi)部顯示器140顯示或呈現(xiàn)的3D視頻數(shù)據(jù)。在內(nèi)部顯示器140支持3D視頻內(nèi)容重放與2D視頻內(nèi)容重放兩者的例子中，圖像/視頻處理單元132 可基于以下各者而確定將預(yù)覽視頻數(shù)據(jù)150作為2D視頻數(shù)據(jù)還是作為3D視頻數(shù)據(jù)產(chǎn)生 用戶(hù)偏好、應(yīng)用類(lèi)型(例如，2D視頻數(shù)據(jù)通常對(duì)于電子郵件/文本來(lái)說(shuō)優(yōu)選，而計(jì)算機(jī)圖形 (CG)通常再現(xiàn)為3D視頻數(shù)據(jù))、操作功率模式、可用電池電力，及通常影響此類(lèi)型的決策的其它偏好、度量及參數(shù)。圖像/視頻處理單元132、圖像/視頻編碼器單元1；34及顯示處理單元138可包含以下各者中的一者或一者以上例如執(zhí)行存儲(chǔ)到計(jì)算機(jī)可讀媒體的一個(gè)或一個(gè)以上指令的通用處理器(其可稱(chēng)作計(jì)算機(jī)處理單元或CPU)的處理器、數(shù)字信號(hào)處理器(DSP)、圖形處理單元(GPU)，或任一其它類(lèi)型的處理器?；蛘撸瑘D像/視頻處理單元132可包含專(zhuān)用硬件，例如現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)及專(zhuān)用集成電路(ASIC)。在一些例子中，可將專(zhuān)用硬件與一個(gè)或一個(gè)以上處理器兩者組合以提供本發(fā)明中關(guān)于單元132、134及138所描述的各種操作。雖然上文描述根據(jù)由外部顯示裝置巧4支持的輸入文件格式而格式化經(jīng)緩沖的視頻數(shù)據(jù)152以產(chǎn)生3D視頻內(nèi)容156，但顯示處理單元138 —般僅支持用于有線(xiàn)接口的文件格式，例如HDMI、DVI及其它有線(xiàn)文件格式。特定來(lái)說(shuō)，考慮到迄今為止尚不存在任何正式或標(biāo)準(zhǔn)化的無(wú)線(xiàn)文件格式，顯示處理單元138不可支持無(wú)線(xiàn)文件格式。然而，WD主機(jī)單元142可支持無(wú)線(xiàn)顯示文件格式且提供到這些無(wú)線(xiàn)顯示器的接口以便確定外部顯示裝置154 中的一者或一者以上是否支持無(wú)線(xiàn)文件格式。WD主機(jī)單元142因此可表示提供借以確定由外部顯示裝置154中的一者或一者以上支持的無(wú)線(xiàn)顯示格式的接口且接著根據(jù)所確定的無(wú)線(xiàn)顯示格式而格式化經(jīng)緩沖的3D視頻數(shù)據(jù)152的硬件單元或硬件單元與軟件單元的組合。因此，WD主機(jī)單元142可通過(guò)使移動(dòng)裝置1 能夠根據(jù)由一個(gè)或一個(gè)以上外部顯示裝置1 支持的無(wú)線(xiàn)文件格式無(wú)線(xiàn)地發(fā)射3D視頻內(nèi)容來(lái)促進(jìn)跨平臺(tái)重放。WD主機(jī)單元142可(例如)實(shí)施上文所描述的WHDMI或WMDDI協(xié)議以確定關(guān)于外部顯示裝置154中包含無(wú)線(xiàn)顯示器的那些顯示裝置的能力的無(wú)線(xiàn)顯示參數(shù)，包括所支持的無(wú)線(xiàn)文件格式。WD主機(jī)單元142可接收來(lái)自顯示處理單元138的經(jīng)緩沖的3D視頻數(shù)據(jù) 152，根據(jù)無(wú)線(xiàn)輸入文件格式中的一個(gè)所確定的無(wú)線(xiàn)輸入文件格式而格式化或重新格式化 (在顯示處理單元138最初格式化此數(shù)據(jù)的狀況下)經(jīng)緩沖的3d視頻數(shù)據(jù)152，且將3D視頻內(nèi)容156返回到顯示處理單元138。顯示處理單元138將此3D視頻內(nèi)容156轉(zhuǎn)發(fā)到無(wú)線(xiàn)顯示接口 144，所述無(wú)線(xiàn)顯示接口 144可包含無(wú)線(xiàn)接口 32B中的一者，但出于說(shuō)明的目的而展示為分離的。無(wú)線(xiàn)顯示接口 144接著將此3D視頻內(nèi)容156轉(zhuǎn)發(fā)到外部顯示裝置154中的一者或一者以上。雖然展示為包括于移動(dòng)裝置128內(nèi)，但WD主機(jī)單元142可駐留于移動(dòng)裝置1 外部且經(jīng)由無(wú)線(xiàn)接口 32A或有線(xiàn)接口 32B中的一者與移動(dòng)裝置1 介接。當(dāng)WD主機(jī)單元142 位于移動(dòng)裝置1 外部時(shí)，WD主機(jī)單元142可包含類(lèi)似于無(wú)線(xiàn)顯示接口 144的無(wú)線(xiàn)顯示接口或促進(jìn)與WD客戶(hù)端單元(其更詳細(xì)描述于下文中)的通信的另一類(lèi)似接口。在一些例子中，WD主機(jī)單元142可包含由顯示處理單元138執(zhí)行以便顯示處理單元138執(zhí)行無(wú)線(xiàn)文件格式化的軟件模塊。就顯示處理單元138包括上述例子中用以執(zhí)行WD主機(jī)單元142的硬件來(lái)說(shuō)，可將WD主機(jī)單元142視為包括硬件單元與軟件單元兩者。在一些例子中，WD主機(jī)單元142可識(shí)別選定的目的地裝置(例如，外部顯示裝置 154)中的兩者支持不同的無(wú)線(xiàn)文件格式。在此例子中，WD主機(jī)單元142產(chǎn)生根據(jù)第一確定的無(wú)線(xiàn)文件格式而格式化的第一 3D視頻內(nèi)容156及根據(jù)第二確定的無(wú)線(xiàn)文件格式而格式化的第二 3D視頻內(nèi)容156。無(wú)線(xiàn)顯示接口 144接著將第一及第二 3D視頻內(nèi)容156轉(zhuǎn)發(fā)到外部顯示裝置154中的適當(dāng)者。因此，雖然在圖5的實(shí)例中展示為僅發(fā)送單一 3D視頻內(nèi)容 156，但3D視頻內(nèi)容156可包含第一及第二版本或，更大體來(lái)說(shuō)，3D視頻內(nèi)容156的多個(gè)版本，其中每一版本是根據(jù)不同的無(wú)線(xiàn)文件格式而格式化。一種無(wú)線(xiàn)格式可包含充分利用例如實(shí)時(shí)輸送協(xié)議(RTP)的輸送協(xié)議來(lái)將3D視頻內(nèi)容的視頻數(shù)據(jù)區(qū)段、音頻數(shù)據(jù)區(qū)段及深度數(shù)據(jù)區(qū)段封裝于多個(gè)包中的一不同者中的格式。此外，所述格式可充分利用此輸送協(xié)議來(lái)封裝對(duì)應(yīng)于遮蔽信息及/或全局效果信息的額外信息區(qū)段，如下文關(guān)于圖8的實(shí)例所展示。WD主機(jī)單元142包括輸送單元158，其實(shí)施此輸送協(xié)議以將3D視頻內(nèi)容156的各種區(qū)段封裝于多個(gè)包中的一不同者中。在將各種區(qū)段封裝到不同包之后，輸送單元158將用于增強(qiáng)3D視頻內(nèi)容156的重放的元數(shù)據(jù)添加于所述多個(gè)包中的一者的標(biāo)頭中的任選數(shù)據(jù)字段內(nèi)。此元數(shù)據(jù)可定義促進(jìn)額外視圖的再現(xiàn)的參數(shù)及促成特定顯示器上的重放的參數(shù)。元數(shù)據(jù)還可定義用戶(hù)偏好，例如所要的對(duì)比度、清晰度、色溫、2D或3D屏幕分辨率，及2D或3D重放格式(加左右黑邊(pillared box)、拉伸、 原始狀態(tài)等)。
在根據(jù)涉及輸送協(xié)議的此文件格式而格式化3D視頻數(shù)據(jù)152之后，WD主機(jī)單元 142可將所得3D視頻內(nèi)容156轉(zhuǎn)發(fā)到無(wú)線(xiàn)顯示接口 144，所述無(wú)線(xiàn)顯示接口 144將所述包發(fā)射到外部顯示裝置154中的一者或一者以上。當(dāng)無(wú)線(xiàn)顯示接口 144將此內(nèi)容156發(fā)射到外部顯示裝置154中的兩者或兩者以上時(shí)，所述發(fā)射可稱(chēng)作3D視頻內(nèi)容156的“WD多播”。 在任何情況下，此發(fā)射可與經(jīng)由內(nèi)部顯示器140進(jìn)行的預(yù)覽視頻數(shù)據(jù)150的顯示同時(shí)發(fā)生。 通常，將預(yù)覽視頻數(shù)據(jù)150與3D視頻內(nèi)容156的呈現(xiàn)同步?；蛘?，可在由外部顯示裝置154 中的一者或一者以上進(jìn)行的3D視頻內(nèi)容156的呈現(xiàn)之前發(fā)生預(yù)覽視頻數(shù)據(jù)150的呈現(xiàn)。圖6為說(shuō)明移動(dòng)裝置(例如，圖5的實(shí)例中所展示的移動(dòng)裝置128)在執(zhí)行本發(fā)明中所描述的技術(shù)的各種方面時(shí)的實(shí)例操作的流程圖。最初，移動(dòng)裝置128的用戶(hù)或其它操作者可與由用戶(hù)接口模塊74呈現(xiàn)的用戶(hù)接口互動(dòng)，以輸入選擇視頻內(nèi)容的一個(gè)或一個(gè)以上源及外部顯示裝置154中支持無(wú)線(xiàn)視頻內(nèi)容遞送的一者或一者以上(其可稱(chēng)作“外部無(wú)線(xiàn)顯示裝置”)的數(shù)據(jù)。用戶(hù)接口模塊74因此接收選擇所述一個(gè)或一個(gè)以上源及外部無(wú)線(xiàn)顯示裝置154中的一者或一者以上的數(shù)據(jù)(162)。用戶(hù)接口模塊74將外部無(wú)線(xiàn)顯示裝置 154中的選定的一者或一者以上的所述選擇轉(zhuǎn)發(fā)到WD主機(jī)單元140。WD主機(jī)單元140接著經(jīng)由無(wú)線(xiàn)顯示接口(例如，無(wú)線(xiàn)顯示接口 144)與外部無(wú)線(xiàn)顯示裝置154中的所述選定者介接，以確定定義外部無(wú)線(xiàn)顯示裝置154中的所述選定者的一個(gè)或一個(gè)以上能力的參數(shù)(164)。這些參數(shù)可類(lèi)似于由參數(shù)發(fā)現(xiàn)模塊38發(fā)現(xiàn)的參數(shù)76。 一個(gè)實(shí)例參數(shù)可包括由外部無(wú)線(xiàn)顯示裝置154中的所述選定者支持的無(wú)線(xiàn)輸入文件格式。同時(shí)，圖像/視頻處理單元132可接收來(lái)自選定源32A、32B、50及52中的一者或一者以上的視頻數(shù)據(jù)130(166)。依據(jù)源50 (其在圖5中展示為“視頻俘獲裝置50”)，視頻俘獲裝置50可包含具有兩個(gè)圖像傳感器的立體相機(jī)，所述兩個(gè)圖像傳感器同時(shí)俘獲同時(shí)入射于所述兩個(gè)傳感器上的圖像以提供給定圖像(或在視頻俘獲的狀況下，圖像系列)的兩個(gè)視點(diǎn)。視頻俘獲裝置50可以若干方式來(lái)以同步方式俘獲視頻數(shù)據(jù)。在第一方式中，使用通過(guò)緩沖器進(jìn)行的快速串行俘獲或并行俘獲中的任一者經(jīng)由同一存儲(chǔ)器總線(xiàn)接收源自所述兩個(gè)傳感器的數(shù)據(jù)。在串行俘獲的狀況下，圖像/視頻處理單元132考慮在深度提取期間的兩個(gè)不同視圖的串行俘獲之間的時(shí)間偏移。在第二方式中，經(jīng)由不同存儲(chǔ)器總線(xiàn)接收源自所述兩個(gè)傳感器的數(shù)據(jù)以避免當(dāng)在所述兩個(gè)傳感器之間共享單一總線(xiàn)時(shí)出現(xiàn)復(fù)雜化。 在第三方式中，源自所述兩個(gè)傳感器的數(shù)據(jù)通常呈流式傳輸格式，且寫(xiě)入到顯示緩沖器以在嵌入式或外部顯示器上預(yù)覽。在此預(yù)覽模式中，通?？蓛H預(yù)覽所述兩個(gè)2D視點(diǎn)中的一者，或換句話(huà)說(shuō)，可預(yù)覽來(lái)自所述兩個(gè)傳感器中的一者的數(shù)據(jù)串流，以節(jié)省存儲(chǔ)器帶寬及/或電力。經(jīng)由用戶(hù)接口模塊74輸入的用戶(hù)偏好可指示是2D還是3D (例如，一個(gè)視點(diǎn)或兩個(gè)視點(diǎn)被發(fā)送到顯示處理器)?？舍槍?duì)給定視頻記錄或圖像俘獲會(huì)話(huà)實(shí)時(shí)地或近實(shí)時(shí)地鍵入用戶(hù)輸入或可將用戶(hù)輸入指定為一般偏好。用戶(hù)偏好也可基于給定應(yīng)用而指示是以2D來(lái)呈現(xiàn)數(shù)據(jù)還是以3D來(lái)呈現(xiàn)數(shù)據(jù)，以使得(如上文所描述)2D用于文本、電子郵件及網(wǎng)頁(yè)瀏覽且3D用于攝錄一體機(jī)及媒體播放器。圖像/視頻處理單元132可基于可用電池電力或電源管理設(shè)定(在具有或無(wú)用戶(hù)輸入/介入的情況下，無(wú)用戶(hù)輸入/介入可稱(chēng)作“自動(dòng)地”發(fā)生)而確定是將視頻數(shù)據(jù)130變換成2D視頻數(shù)據(jù)還是3D視頻數(shù)據(jù)。
在3D預(yù)覽的狀況下(其中，內(nèi)部顯示器140以3D來(lái)呈現(xiàn)預(yù)覽視頻數(shù)據(jù)150)，顯示處理單元138可接收作為兩個(gè)單獨(dú)串流(例如，預(yù)覽視頻數(shù)據(jù)150A及150B)的兩個(gè)視點(diǎn)的原始(未經(jīng)壓縮)3D或圖像數(shù)據(jù)。顯示處理單元138還可接收直接來(lái)自傳感器的2D視頻數(shù)據(jù)130及來(lái)自圖像/視頻處理單元132、圖像/視頻編碼器單元134或來(lái)自3D經(jīng)譯碼圖像/視頻文件的3D深度信息。顯示處理單元138還可接收來(lái)自3D編碼圖像/視頻文件 (例如，存儲(chǔ)到本地存儲(chǔ)模塊52)的經(jīng)壓縮的3D數(shù)據(jù)，所述經(jīng)壓縮的3D數(shù)據(jù)可經(jīng)由有線(xiàn)接口或無(wú)線(xiàn)接口 32A、32B而串流到外部顯示裝置154中的一者。在此狀況下，如果啟用顯示器鏡射，則內(nèi)部顯示器140可獲得來(lái)自傳感器/信號(hào)處理器的未經(jīng)壓縮但經(jīng)處理的視頻串流。任選地，內(nèi)部顯示器140可僅再現(xiàn)2D圖像(例如，預(yù)覽視頻數(shù)據(jù)150中的一者)。顯示處理單元138還可接收來(lái)自視頻俘獲裝置50的單一傳感器的2D數(shù)據(jù)，其中圖像/視頻處理單元132可包含類(lèi)似于圖2中所展示的變換模塊36的2D到3D變換模塊58的2D到3D 處理模塊，其將2D數(shù)據(jù)轉(zhuǎn)換成3D數(shù)據(jù)。在任何情況下，圖像/視頻處理單元132可將所接收的視頻數(shù)據(jù)130變換成3D視頻數(shù)據(jù)或以其它方式精細(xì)化3D視頻數(shù)據(jù)以產(chǎn)生3D視頻數(shù)據(jù)146及潛在的預(yù)覽視頻數(shù)據(jù) 150 (167)。圖像/視頻處理單元132接著將此數(shù)據(jù)轉(zhuǎn)發(fā)到3D圖像/視頻編碼器，所述3D圖像/視頻編碼器編碼3D視頻數(shù)據(jù)146以輸出經(jīng)編碼的3D視頻數(shù)據(jù)148。圖像/視頻緩沖器單元136緩沖或以其它方式存儲(chǔ)經(jīng)編碼的3D視頻數(shù)據(jù)148，且顯示處理單元138從圖像 /視頻緩沖器單元136檢索經(jīng)緩沖的視頻數(shù)據(jù)152以用于根據(jù)輸入文件格式進(jìn)行格式化。 顯示處理單元138 (如上文所注明)還可接收預(yù)覽視頻數(shù)據(jù)150，且與經(jīng)緩沖的3D視頻數(shù)據(jù) 152的格式化同時(shí)地將此視頻數(shù)據(jù)格式化以用于顯示于內(nèi)部顯示器140上。然而，給定顯示處理單元138可能不支持用于將3D視頻數(shù)據(jù)152遞送到外部無(wú)線(xiàn)顯示器巧4中的所述選定者的無(wú)線(xiàn)3D文件格式，則顯示處理單元138將數(shù)據(jù)152轉(zhuǎn)發(fā)到WD 主機(jī)單元142。WD主機(jī)單元142接著以上文所描述的方式根據(jù)所確定的參數(shù)制備3D視頻數(shù)據(jù)152(168)。特定來(lái)說(shuō)，WD主機(jī)單元142可根據(jù)由外部無(wú)線(xiàn)顯示裝置154中的所述選定者中的一者或一者以上支持的無(wú)線(xiàn)3D文件格式而格式化3D視頻數(shù)據(jù)152。WD主機(jī)單元142接著將所制備的3D視頻數(shù)據(jù)轉(zhuǎn)發(fā)回到顯示處理單元138，所述顯示處理單元138將此所制備的3D視頻數(shù)據(jù)(其還可稱(chēng)作“3D視頻內(nèi)容156”)轉(zhuǎn)發(fā)到無(wú)線(xiàn)顯示接口 144。無(wú)線(xiàn)顯示接口 144與外部無(wú)線(xiàn)顯示裝置154中的所述選定的一者或一者以上介接，以將此所制備的3D視頻數(shù)據(jù)156無(wú)線(xiàn)地發(fā)射到外部無(wú)線(xiàn)顯示裝置巧4中的此一者或一者以上(170)?；蛘?，如上文所注明，WD主機(jī)單元142可與無(wú)線(xiàn)顯示接口 144整合，此后顯示處理單元138將經(jīng)緩沖的3D視頻數(shù)據(jù)152轉(zhuǎn)發(fā)(不執(zhí)行任何格式化)到無(wú)線(xiàn)顯示接口 144。在此例子中，WD主機(jī)單元142根據(jù)由外部無(wú)線(xiàn)顯示裝置154中的所述選定者支持的所確定的無(wú)線(xiàn)文件格式而格式化經(jīng)緩沖的3D視頻數(shù)據(jù)152。無(wú)線(xiàn)顯示接口 144接著將此所制備的 3D視頻數(shù)據(jù)156轉(zhuǎn)發(fā)到外部無(wú)線(xiàn)顯示裝置154中的所述選定者。圖7為說(shuō)明已根據(jù)本發(fā)明中所描述的技術(shù)的各種方面而格式化的3D視頻內(nèi)容 (例如，關(guān)于圖5的實(shí)例所展示的3D視頻內(nèi)容156)的框圖。特定來(lái)說(shuō)，WD主機(jī)單元142的輸送單元158已根據(jù)RTP而格式化3D視頻內(nèi)容156。輸送單元158接收經(jīng)緩沖的3D視頻數(shù)據(jù)152，所述經(jīng)緩沖的3D視頻數(shù)據(jù)152包含若干不同部分172A到172N( “部分172”)。這些部分可包含經(jīng)緩沖的3D視頻數(shù)據(jù)152的一部分，且可對(duì)應(yīng)于數(shù)據(jù)152的一幀、一片段、 一圖片群組、一個(gè)或一個(gè)以上宏塊、一個(gè)或一個(gè)以上塊、一個(gè)或一個(gè)以上像素值或任一其它部分，而不管是經(jīng)定義的(例如，通過(guò)標(biāo)頭或其它標(biāo)記定義)還是未經(jīng)定義的。雖然未展示， 但緩沖器單元136還可緩沖音頻數(shù)據(jù)，所述音頻數(shù)據(jù)可與經(jīng)緩沖的視頻數(shù)據(jù)152—起轉(zhuǎn)發(fā)。部分172中的每一者可包含經(jīng)緩沖的視頻數(shù)據(jù)152的各種區(qū)段，包括視頻區(qū)段 174A到174N( “視頻區(qū)段174”)與深度區(qū)段176A到176N( “深度區(qū)段176”)兩者，以及經(jīng)緩沖的音頻數(shù)據(jù)的區(qū)段178A到178N( “音頻區(qū)段178”)。輸送單元158為這些部分172 中的每一者指派對(duì)應(yīng)時(shí)間戳記180A到180N( “時(shí)間戳記180”)，其在圖7的實(shí)例中展示為 "TS 1”到“TS N”。輸送單元158接著將區(qū)段174、176及178中的每一者與指派給駐留區(qū)段 174到178中的每一者的部分172中的對(duì)應(yīng)一者的時(shí)間戳記180中的對(duì)應(yīng)一者一起封裝。舉例來(lái)說(shuō)，輸送單元158將時(shí)間戳記180A“TS 1”指派給駐留區(qū)段174A到178A的部分172A。輸送單元158接著將區(qū)段174A、176A及178A中的每一者與時(shí)間戳記180A“TS 1” 一起封裝，從而產(chǎn)生圖7的實(shí)例中所展示的經(jīng)封裝的區(qū)段。此封裝可符合RTP。輸送單元158還可根據(jù)RTP將區(qū)段174到178中的每一者與其它標(biāo)頭信息一起封裝，以形成含有區(qū)段174到178中的一不同者的包，而且，產(chǎn)生上文所描述的元數(shù)據(jù)并將元數(shù)據(jù)嵌入于這些包中的每一者的標(biāo)頭中，此情形關(guān)于圖8更詳細(xì)描述于下文中。關(guān)于RTP及根據(jù)RTP的包的形成的更多信息可見(jiàn)于以下意見(jiàn)請(qǐng)求(RFC)中日期為1998年1月的題為“用于MPEG1/MPEG2視頻的RTP有效負(fù)載格式(RTP Payload Format for MPEG1/MPEG2 Video) ”的RFC2250 ；日期為1999年12月的題為"RTP有效負(fù)載格式規(guī)范的作者指南(Guidelines for Writers of RTP Payload Format Specification) ” 的 RFC 2736 ；日期為2000年11月的題為“用于MPEG-4音頻/視覺(jué)串流的RTP有效負(fù)載格式 (RTP Payload Format for MPEG-4 Audio/Visual Mreams) ”的 RFC 3016 ；日期為 2003 年 7月的題為“RTP 用于實(shí)時(shí)應(yīng)用的輸送協(xié)議(RTP :A transport Protocol for Real-Time Applications)"的RFC 3550 ；日期為2003年11月的題為“用于MPEG-4基本串流的輸送的 RTP 有效負(fù)載格式(RTP Payload Format for Transport of MPEG-4 Elementary Streams)，，的RFC 3640 ；日期為2005年2月的題為“用于H. 264視頻的RTP有效負(fù)載格式 (RTP Payload Format for H. 264 Video) ”的 RFC 3984 ；及日期為 2009 年 10 月的題為“用于具有MPEG環(huán)繞多通道音頻的基本串流的RTP有效負(fù)載格式(RTP Payload Format for Elementary Streams with MPEG Surround Multi-Channel Audio) "^RFC 5691, Ijfi^RFC 中的每一者以全文引用的方式并入本文中。以此方式充分利用RTP來(lái)產(chǎn)生格式化為RTP串流的3D視頻內(nèi)容156可在以下意義上促進(jìn)向后兼容性?xún)H2D顯示裝置可接收此3D視頻內(nèi)容156且僅呈現(xiàn)視頻區(qū)段174而不考慮深度區(qū)段176。S卩，此僅2D顯示裝置可丟棄深度區(qū)段176或以其它方式不辨識(shí)深度區(qū)段176且僅呈現(xiàn)作為視頻區(qū)段174發(fā)送的2D視頻數(shù)據(jù)。就此來(lái)說(shuō)，充分利用RTP的擴(kuò)展性來(lái)遞送與僅2D顯示裝置向后兼容的深度區(qū)段176的上述文件格式可通過(guò)此向后兼容性而促成跨平臺(tái)3D視頻重放。圖8A到8C為說(shuō)明實(shí)例區(qū)段181A到181C的框圖，在所述實(shí)例區(qū)段181A到181C 中，已根據(jù)本發(fā)明中所描述的技術(shù)的各種方面而嵌入元數(shù)據(jù)。圖8A為說(shuō)明根據(jù)本發(fā)明中所描述的技術(shù)的各種方面存儲(chǔ)深度元數(shù)據(jù)的實(shí)例區(qū)段181A的框圖。區(qū)段181A包括有效負(fù)載類(lèi)型字段182A( “有效負(fù)載類(lèi)型182A”)、深度范圍字段182B( “深度范圍182B”)、深度分辨率字段182C( “深度分辨率182C”)、相機(jī)模型參數(shù)字段182D( “相機(jī)模型參數(shù)182D”)、最佳觀看參數(shù)字段182E( “最佳觀看參數(shù)182E”)及壓縮類(lèi)型字段182F( “壓縮類(lèi)型182F”)。有效負(fù)載類(lèi)型字段182A存儲(chǔ)被存儲(chǔ)到所述區(qū)段的數(shù)據(jù)(其在此實(shí)例中指示深度數(shù)據(jù))的類(lèi)型，所述數(shù)據(jù)還可稱(chēng)作“有效負(fù)載”以區(qū)別此數(shù)據(jù)與封裝所述有效負(fù)載的標(biāo)頭數(shù)據(jù)。深度范圍字段182B存儲(chǔ)針對(duì)給定3D視頻圖像或視頻的深度平面的寬度及大小的數(shù)據(jù)。深度平面的大小可與當(dāng)前圖像的大小相同或小于當(dāng)前圖像的大小。相機(jī)模型參數(shù)字段 182D存儲(chǔ)與非固有及固有相機(jī)模型參數(shù)有關(guān)的數(shù)據(jù)。最佳觀看參數(shù)字段182E存儲(chǔ)針對(duì)以下各者的數(shù)據(jù)通過(guò)觀看屏幕的大小及觀看距離定義的觀看角度，以及會(huì)聚平面、上文所注明的深度范圍、亮度及若干其它有關(guān)參數(shù)。壓縮類(lèi)型字段182F存儲(chǔ)描述用于視頻或音頻區(qū)段的有效負(fù)載中的壓縮的類(lèi)型的數(shù)據(jù)，其可指示JPEG、H. 264或?qū)賶嚎s算法。圖8B為說(shuō)明根據(jù)本發(fā)明中所描述的技術(shù)的各種方面存儲(chǔ)遮蔽元數(shù)據(jù)的實(shí)例區(qū)段 181B的框圖。區(qū)段181B包括有效負(fù)載類(lèi)型字段184A( “有效負(fù)載類(lèi)型184A”)、基線(xiàn)字段 184B(“基線(xiàn)184B”)、遮蔽分辨率字段184C(“遮蔽分辨率184C”)及壓縮類(lèi)型字段182D(“壓縮類(lèi)型182D”)。有效負(fù)載類(lèi)型字段184A存儲(chǔ)被存儲(chǔ)到所述區(qū)段的數(shù)據(jù)(其在此實(shí)例中指示遮蔽數(shù)據(jù))的類(lèi)型，所述數(shù)據(jù)還可稱(chēng)作“有效負(fù)載”以區(qū)別此數(shù)據(jù)與封裝所述有效負(fù)載的標(biāo)頭數(shù)據(jù)?；€(xiàn)字段184B存儲(chǔ)定義關(guān)于第一視圖(當(dāng)前圖像已從所述第一視圖獲取)的位置而移位的水平距離的數(shù)據(jù)。遮蔽分辨率字段184C存儲(chǔ)定義遮蔽平面的寬度及大小的數(shù)據(jù)，遮蔽平面的大小可與當(dāng)前圖像的大小相同或小于當(dāng)前圖像的大小。壓縮類(lèi)型184D可大體上類(lèi)似于壓縮類(lèi)型182F。圖8C為說(shuō)明根據(jù)本發(fā)明中所描述的技術(shù)的各種方面存儲(chǔ)全局效果元數(shù)據(jù)的實(shí)例區(qū)段181C的框圖。區(qū)段181C包括有效負(fù)載類(lèi)型字段186( “有效負(fù)載類(lèi)型186”)及多個(gè)參數(shù)188A到188N( “參數(shù)188”)。有效負(fù)載類(lèi)型字段184A存儲(chǔ)被存儲(chǔ)到所述區(qū)段的數(shù)據(jù) (其在此實(shí)例中指示全局效果數(shù)據(jù))的類(lèi)型，所述數(shù)據(jù)還可稱(chēng)作“有效負(fù)載”以區(qū)別此數(shù)據(jù)與封裝所述有效負(fù)載的標(biāo)頭數(shù)據(jù)。參數(shù)188存儲(chǔ)對(duì)應(yīng)于全局效果(例如，霾、雨、雪及煙) 的數(shù)據(jù)。參數(shù)188中的每一者可與不同類(lèi)型的全局效果有關(guān)且指定給定全局效果的類(lèi)型、 密度、位置及重復(fù)。參數(shù)188可存儲(chǔ)此信息，以按類(lèi)似于在計(jì)算機(jī)圖形中描述這些全局效果的方式的方式來(lái)定義全局效果。圖9為說(shuō)明無(wú)線(xiàn)顯示器(WD)主機(jī)單元(圖5的實(shí)例中所展示的WD主機(jī)單元142) 在執(zhí)行本發(fā)明中所描述的技術(shù)的格式化方面時(shí)的實(shí)例操作的流程圖。最初，WD主機(jī)單元 142可接收來(lái)自顯示處理單元138的經(jīng)緩沖的3D視頻數(shù)據(jù)152及音頻數(shù)據(jù)Q00)。在接收到3D視頻數(shù)據(jù)后，WD主機(jī)單元142的輸送單元158即刻確定3D視頻數(shù)據(jù)的視頻區(qū)段及深度區(qū)段002)，例如圖7的實(shí)例的視頻區(qū)段174及深度區(qū)段176(202)。同樣，輸送單元158 確定音頻數(shù)據(jù)的音頻區(qū)段(例如，音頻區(qū)段180) (204) 0輸送單元158接著確定視頻數(shù)據(jù)152及音頻數(shù)據(jù)的部分172中的每一者的時(shí)間戳記180，如上文所描述(206)。輸送單元158將部分172中的同一者的區(qū)段174到178與時(shí)間戳記180中的對(duì)應(yīng)一者一起封裝以形成包，也如上文所描述008)。WD主機(jī)單元142可以上文所描述的方式確定元數(shù)據(jù)，此后輸送單元158將所確定的元數(shù)據(jù)嵌入于所述包的標(biāo)頭中010、212)。具有嵌入的元數(shù)據(jù)的所得包可類(lèi)似于圖8的實(shí)例中所展示的包。在嵌入元數(shù)據(jù)之后，輸送單元158將所述包轉(zhuǎn)發(fā)到無(wú)線(xiàn)裝置接口 144，所述無(wú)線(xiàn)裝置接口 144進(jìn)行將所述包轉(zhuǎn)發(fā)到外部無(wú)線(xiàn)顯示裝置154中的所述選定者(214)。圖IOA到IOE為說(shuō)明各種系統(tǒng)216A到216E的框圖，所述系統(tǒng)216A到216E實(shí)施本發(fā)明中所描述的技術(shù)的一個(gè)或一個(gè)以上方面以促成跨平臺(tái)視頻重放。更具體來(lái)說(shuō)，圖IOA 為說(shuō)明系統(tǒng)216A的框圖，所述系統(tǒng)216A包括外部WD主機(jī)單元218及外部WD客戶(hù)端單元 222，所述外部WD主機(jī)單元218與所述外部WD客戶(hù)端單元222兩者實(shí)施本發(fā)明中所描述的技術(shù)的各種方面。外部WD主機(jī)單元218可包含與系統(tǒng)216A的移動(dòng)裝置217介接的裝置。 移動(dòng)裝置217可類(lèi)似于圖5的移動(dòng)裝置128，但移動(dòng)裝置217不包括類(lèi)似于移動(dòng)裝置1 的 WD主機(jī)單元142的整合式WD主機(jī)單元或內(nèi)部WD主機(jī)單元。外部WD主機(jī)單元218可包含所謂的“硬件鎖”，其經(jīng)由類(lèi)似于移動(dòng)裝置128的有線(xiàn)接口 32B中的一者的有線(xiàn)接口與移動(dòng)裝置217介接。舉例來(lái)說(shuō)，外部WD主機(jī)單元218可經(jīng)由通用系統(tǒng)總線(xiàn)(USB)或微型USB有線(xiàn)接口與移動(dòng)裝置217介接。外部WD客戶(hù)端單元222同樣包含與系統(tǒng)216A的顯示平臺(tái)223介接的裝置。類(lèi)似于外部WD主機(jī)單元218，外部WD客戶(hù)端222可包含所謂的“硬件鎖”，其經(jīng)由有線(xiàn)接口(例如，USB接口、復(fù)合音頻/視頻(A/V)接口、HDMI接口或任一其它有線(xiàn)接口)與顯示平臺(tái)223 介接。顯示平臺(tái)223可表示與系統(tǒng)216A的3D顯示裝置2 介接的裝置，例如數(shù)字視頻光盤(pán)(DVD)播放器、音頻/視頻接收器、Bluray 光盤(pán)播放器、多媒體播放器、數(shù)字視頻記錄器 (DVR)，或提供用于與3D顯示裝置2 介接的平臺(tái)的任一其它裝置。在一些例子中，顯示平臺(tái)223可包含個(gè)人計(jì)算機(jī)(例如，膝上型計(jì)算機(jī)或桌上型計(jì)算機(jī))，或?qū)Ｓ糜趫?zhí)行2D到3D 轉(zhuǎn)換的裝置。3D顯示裝置2 可類(lèi)似于圖5的實(shí)例中所展示的外部顯示裝置154。雖然展示為與3D顯示裝置2 分開(kāi)，但顯示平臺(tái)223可整合到3D顯示裝置228中。如上文所注明，迄今為止尚不存在借以將視頻數(shù)據(jù)無(wú)線(xiàn)地轉(zhuǎn)發(fā)到顯示裝置的任何標(biāo)準(zhǔn)化的無(wú)線(xiàn)顯示協(xié)議。給定標(biāo)準(zhǔn)化的無(wú)線(xiàn)顯示協(xié)議的此缺乏，則大多數(shù)顯示平臺(tái)(例如， 顯示平臺(tái)22 不支持無(wú)線(xiàn)視頻數(shù)據(jù)接收或發(fā)射。外部WD主機(jī)單元218及外部WD客戶(hù)端單元222的使用可克服此限制。為了說(shuō)明，考慮移動(dòng)裝置217可為2D視頻數(shù)據(jù)221的源，外部WD主機(jī)單元218可經(jīng)由移動(dòng)裝置217與外部WD主機(jī)單元218之間的有線(xiàn)連接(上文所注明)接收所述2D視頻數(shù)據(jù)221。外部WD主機(jī)單元218可與外部WD客戶(hù)端單元222建立無(wú)線(xiàn)鏈路220且接著經(jīng)由無(wú)線(xiàn)鏈路220建立會(huì)話(huà)。此會(huì)話(huà)可包含RTP會(huì)話(huà)。當(dāng)外部WD主機(jī)單元218接收到2D 視頻數(shù)據(jù)221時(shí)，WD主機(jī)單元218根據(jù)由外部WD客戶(hù)端單元222支持的無(wú)線(xiàn)顯示協(xié)議格式化2D視頻數(shù)據(jù)221。舉例來(lái)說(shuō)，WD主機(jī)單元218可通過(guò)根據(jù)圖7的實(shí)例中所展示的文件格式而格式化2D視頻數(shù)據(jù)221來(lái)制備2D視頻數(shù)據(jù)218，但以下情況除外2D視頻數(shù)據(jù)221 不包括任何深度區(qū)段，且因此所得的經(jīng)格式化的數(shù)據(jù)不包括任何深度包，從而使得每一部分僅具有視頻及音頻區(qū)段。外部WD主機(jī)單元218還可與外部WD客戶(hù)端單元222介接，以確定定義顯示平臺(tái) 223及/或3D顯示裝置228的能力的參數(shù)。外部WD主機(jī)單元218可與外部WD客戶(hù)端單元 222介接以請(qǐng)求這些參數(shù)。響應(yīng)于此請(qǐng)求，外部WD客戶(hù)端單元222可經(jīng)由有線(xiàn)接口與顯示平臺(tái)223介接，以按上文所描述的方式(例如，使用WHDMI)發(fā)現(xiàn)顯示平臺(tái)223的能力。當(dāng)顯示平臺(tái)223使用(例如)HDMI與3D顯示裝置2 介接時(shí)，顯示平臺(tái)223還可能已發(fā)現(xiàn)3D 顯示裝置228的參數(shù)。顯示平臺(tái)223可接著返回描述顯示平臺(tái)223及3D顯示裝置228中的一者或兩者的能力的參數(shù)，外部WD客戶(hù)端單元222將所述參數(shù)轉(zhuǎn)發(fā)到外部WD主機(jī)單元 218。外部WD主機(jī)單元218可接著基于這些參數(shù)而產(chǎn)生元數(shù)據(jù)且將此元數(shù)據(jù)嵌入到各種包的標(biāo)頭中，如上文所描述。在任何情況下，WD主機(jī)單元218經(jīng)由無(wú)線(xiàn)鏈路220將經(jīng)格式化的2D視頻數(shù)據(jù)221 發(fā)射到外部WD客戶(hù)端單元222。在接收到此經(jīng)格式化的2D視頻數(shù)據(jù)221后，外部WD客戶(hù)端單元222可解封裝各種區(qū)段以重新形成2D視頻數(shù)據(jù)221，而且，提取嵌入于包標(biāo)頭中的元數(shù)據(jù)。外部WD客戶(hù)端單元22接著將重新形成的2D視頻數(shù)據(jù)221連同元數(shù)據(jù)一起轉(zhuǎn)發(fā)到顯示平臺(tái)223。如圖IOA的實(shí)例中所展示，顯示平臺(tái)223包括可類(lèi)似于圖2的2D到3D處理模塊 58及顯示格式模塊64的2D到3D處理模塊2M及顯示格式模塊226。雖然類(lèi)似，但2D到 3D處理模塊2M及顯示格式模塊64可具有較有限的特性在于2D到3D處理模塊2M僅可支持特定3D視頻數(shù)據(jù)(例如，與另一視圖相對(duì)比的深度)的產(chǎn)生，且顯示格式模塊又可支持特定裝置特定3D輸入文件格式(例如，與多視圖串流相對(duì)比的“2D+Z”)。雖然2D 到3D處理模塊2M與顯示格式模塊2 兩者具有較有限的特性，但模塊2M與2 兩者可配置達(dá)特定程度且可利用經(jīng)轉(zhuǎn)發(fā)的元數(shù)據(jù)來(lái)改善從所接收的2D視頻數(shù)據(jù)221產(chǎn)生3D視頻內(nèi)容227。3D顯示裝置2 接收并呈現(xiàn)3D視頻內(nèi)容227。2D到3D處理模塊2M可包含(作為一個(gè)實(shí)例)用于基于硬件或基于軟件的媒體播放器的插件程序或其它軟件模塊。顯示格式模塊2 也可包含(在一個(gè)實(shí)例中)用于基于硬件或基于軟件的媒體播放器的插件程序或其它軟件模塊。顯示格式模塊2 可執(zhí)行顯示格式交錯(cuò)，所述顯示格式交錯(cuò)可為多視圖顯示所必要的。如上文所描述，2D到3D處理模塊2 通過(guò)提取深度信息來(lái)將2D視頻數(shù)據(jù)221轉(zhuǎn)換成3D視頻內(nèi)容227的3D視頻數(shù)據(jù)。此深度提取可涉及識(shí)別來(lái)自2D視頻數(shù)據(jù)221的一個(gè)或一個(gè)以上幀的大型及小型特征且將其分段。深度提取還涉及將2D視頻數(shù)據(jù)221分類(lèi)成若干區(qū)域，例如背景區(qū)域、遮蔽區(qū)域及前景區(qū)域。一旦經(jīng)分類(lèi)，深度提取便基于2D視頻數(shù)據(jù)221中的結(jié)構(gòu)及運(yùn)動(dòng)而識(shí)別3D模型中的移動(dòng)對(duì)象的位置及定位。深度提取的結(jié)果為用于2D視頻數(shù)據(jù)221的2D圖像(或幀)中的每一像素的深度值，其是作為用于每一幀的N 位位像來(lái)存儲(chǔ)?；蛘撸僧a(chǎn)生用于每一區(qū)域的深度圖且在再現(xiàn)期間在運(yùn)行中構(gòu)成場(chǎng)景。在采用經(jīng)“2D+深度”格式化的3D視頻內(nèi)容227作為輸入的眼鏡式立體顯示器的狀況下，將深度圖中的信息及2D視頻數(shù)據(jù)221格式化成“2D+z”文件格式以輸入到3D顯示裝置228。如果3D顯示裝置228的顯示輸入文件格式為多串流文件格式(其中視頻的多個(gè)串流或視圖封裝于單一容器中)，則2D到3D處理模塊2M可基于2D視頻幀及相關(guān)聯(lián)的深度圖而產(chǎn)生對(duì)應(yīng)于2D視頻數(shù)據(jù)221的一個(gè)或一個(gè)以上額外輔助視點(diǎn)(secondary viewpoint) 0 顯示格式模塊2 接著取決于所需的觀看角度、視圖的數(shù)目及經(jīng)定義以用于顯示或由用戶(hù)定義的其它參數(shù)(例如，作為元數(shù)據(jù))而通過(guò)輔助視圖交錯(cuò)原始2D視頻數(shù)據(jù)或2D視頻數(shù)據(jù) 221。圖IOB為說(shuō)明系統(tǒng)216B的框圖，所述系統(tǒng)216B包括外部WD主機(jī)單元218及內(nèi)部 WD客戶(hù)端單元230，所述外部WD主機(jī)單元218與所述內(nèi)部WD客戶(hù)端單元230兩者實(shí)施本發(fā)明中所描述的技術(shù)的各種方面。系統(tǒng)216B大體上類(lèi)似于系統(tǒng)216A，但以下情況除外顯示平臺(tái)223'包括內(nèi)部WD客戶(hù)端單元230(而不是如同圖IOA中的狀況，與外部WD客戶(hù)端裝置介接，在圖IOA中，顯示平臺(tái)223與外部WD客戶(hù)端單元222介接)。由于此原因，通過(guò)緊接于參考數(shù)字“223”之后的一個(gè)撇號(hào)來(lái)表示顯示平臺(tái)223'。內(nèi)部WD客戶(hù)端單元230可以大體上類(lèi)似于外部WD客戶(hù)端單元222的方式操作，但經(jīng)由有線(xiàn)接口與顯示平臺(tái)223'介接除外。實(shí)情為，內(nèi)部WD客戶(hù)端裝置230整合于顯示平臺(tái)223'內(nèi)且借以避免在外部與顯示平臺(tái)223'介接。圖IOC為說(shuō)明另一系統(tǒng)216C的框圖，所述系統(tǒng)216C包括外部WD主機(jī)單元218及外部WD客戶(hù)端單元222，所述外部WD主機(jī)單元218與所述外部WD客戶(hù)端單元222兩者實(shí)施本發(fā)明中所描述的技術(shù)的各種方面。系統(tǒng)216C類(lèi)似于系統(tǒng)216A，但系統(tǒng)216C的顯示平臺(tái) 223"包括深度到多視圖(Z到MV)處理模塊234。為了指示此差異，通過(guò)在參考數(shù)字“223” 之后的兩個(gè)撇號(hào)來(lái)表示顯示平臺(tái)223"。系統(tǒng)216A與216C之間的另一差異在于移動(dòng)裝置217輸出根據(jù)“2D+Z”文件格式而格式化的3D視頻數(shù)據(jù)232。移動(dòng)裝置217可接收來(lái)自上文所描述的所述源中的任一者的2D視頻數(shù)據(jù)且非實(shí)時(shí)或?qū)崟r(shí)或近實(shí)時(shí)地執(zhí)行2D到3D處理?；蛘?，移動(dòng)裝置217可接收3D視頻內(nèi)容且將3D視頻內(nèi)容變換成“2D+z”格式(如MPEG-C第3部分中所指定)。移動(dòng)裝置217可使用現(xiàn)有文件格式(例如，MP4)封裝此3D視頻數(shù)據(jù)232，所述現(xiàn)有文件格式已經(jīng)修改以每一幀載運(yùn)一額外包以用于深度圖(或“ζ”)信息。用于深度包的封裝標(biāo)頭可為文件格式規(guī)范中作為信息元素而經(jīng)指定以用于用戶(hù)數(shù)據(jù)的標(biāo)頭。使用此信息元素可實(shí)現(xiàn)與2D視頻顯示器的向后兼容性。此MP4無(wú)線(xiàn)顯示協(xié)議中的深度包可經(jīng)由時(shí)序/同步信息而與對(duì)應(yīng)視頻包相關(guān)聯(lián)， 或者，經(jīng)由用于視頻包的幀唯一識(shí)別信息(例如，序號(hào))同樣可用于所述相關(guān)聯(lián)。在系統(tǒng)216C中，外部WD主機(jī)單元218接收3D視頻數(shù)據(jù)232且根據(jù)無(wú)線(xiàn)顯示協(xié)議而格式化此數(shù)據(jù)232，從而產(chǎn)生類(lèi)似于圖7中所展示的3D視頻數(shù)據(jù)的經(jīng)格式化的3D視頻數(shù)據(jù)232。WD主機(jī)單元218可在用于MP4文件的剖析器處截取3D視頻數(shù)據(jù)232且檢索視頻、音頻及深度包。WD主機(jī)單元218接著重新封裝這些包與RTP標(biāo)頭以形成RTP串流，WD 主機(jī)單元218經(jīng)由實(shí)時(shí)流式傳輸協(xié)議(RTSP)將所述RTP串流流式傳輸?shù)酵獠縒D客戶(hù)端裝置222?？筛鶕?jù)上文關(guān)于圖7的實(shí)例所描述的格式化而格式化這些串流。實(shí)際上，WD主機(jī)單元218修改輸送協(xié)議(例如，RTP)以載運(yùn)“2D+z”3D視頻數(shù)據(jù)232。外部WD客戶(hù)端單元222經(jīng)由無(wú)線(xiàn)鏈路220接收這些串流，解封裝所述串流以重新形成根據(jù)“2D+z”編碼而編碼的3D視頻數(shù)據(jù)232且將此3D視頻數(shù)據(jù)232轉(zhuǎn)發(fā)到Z到MV 處理模塊234。Z到MV處理模塊234通過(guò)從3D視頻數(shù)據(jù)232再現(xiàn)多視圖而將3D視頻數(shù)據(jù) 232從“2D+z”編碼格式轉(zhuǎn)換成多視圖串流編碼格式。顯示格式模塊2 接著以上文所描述的方式交錯(cuò)這些多視圖以產(chǎn)生3D視頻內(nèi)容236，3D顯示裝置2 接收且呈現(xiàn)所述3D視頻內(nèi)容236以供一個(gè)或一個(gè)以上觀看者消耗。圖IOD為說(shuō)明另一系統(tǒng)216D的框圖，所述系統(tǒng)216D包括外部WD主機(jī)單元218及內(nèi)部WD客戶(hù)端單元230，所述外部WD主機(jī)單元218與所述內(nèi)部WD客戶(hù)端單元230兩者實(shí)施本發(fā)明中所描述的技術(shù)的各種方面。如圖IOD中所展示，系統(tǒng)216D類(lèi)似于系統(tǒng)216B在于系統(tǒng)216B與21D兩者包括移動(dòng)裝置217、外部WD主機(jī)單元218、內(nèi)部WD客戶(hù)端單元230 及一個(gè)或一個(gè)以上3D顯示裝置228。然而，系統(tǒng)216D包括移動(dòng)多媒體裝置237，所述移動(dòng)多媒體裝置237包括內(nèi)部WD客戶(hù)端單元230，而在系統(tǒng)216B中，顯示平臺(tái)223'包括內(nèi)部 WD客戶(hù)端單元230。由于此原因，通過(guò)在參考數(shù)字“223”之后的三個(gè)撇號(hào)來(lái)表示顯示平臺(tái) 223以識(shí)別此差異。移動(dòng)多媒體裝置237可包括移動(dòng)多媒體處理器(圖IOD中未展示)，其包括內(nèi)部 WD客戶(hù)端單元230及Z到圖形處理單元(GPU)處理模塊238 ( "Z到GPU處理模塊238”)。 所述多媒體處理器可包括GPU。在此意義上，可將WD客戶(hù)端單元230及Z到GPU處理模塊 238視為代管于具有GPU的多媒體處理器上。Z到GPU處理模塊238執(zhí)行深度到多視圖轉(zhuǎn)換過(guò)程，以便將根據(jù)“2D+z”格式編碼的3D視頻數(shù)據(jù)232轉(zhuǎn)換成多視圖編碼格式。內(nèi)部WD 客戶(hù)端單元230與外部WD主機(jī)單元218可以與上文關(guān)于圖IOB的系統(tǒng)216B中的這些相同單元所描述的方式相同的方式彼此通信，唯一不同在于所述通信涉及如關(guān)于圖IOC的系統(tǒng)216C所描述的3D視頻數(shù)據(jù)232。在任何情況下，內(nèi)部WD客戶(hù)端單元230接收根據(jù)無(wú)線(xiàn)顯示協(xié)議而格式化的經(jīng)封裝的3D視頻數(shù)據(jù)232，且解封裝此經(jīng)封裝的3D視頻數(shù)據(jù)232以重新形成3D視頻數(shù)據(jù)232。 內(nèi)部WD客戶(hù)端單元230將此數(shù)據(jù)232轉(zhuǎn)發(fā)到Z到GPU處理模塊238，所述Z到GPU處理模塊238將GPU用作借以執(zhí)行轉(zhuǎn)換過(guò)程以產(chǎn)生根據(jù)多視圖編碼格式而格式化的3D視頻數(shù)據(jù) 242的通用計(jì)算引擎。將GPU用作通用計(jì)算引擎可涉及使用OpenCL，其包含用于撰寫(xiě)跨越由CPU及GPU組成的異質(zhì)平臺(tái)執(zhí)行的程序的框架結(jié)構(gòu)。OpenCL包括用于撰寫(xiě)在OpenCL裝置上執(zhí)行的函數(shù)的語(yǔ)言，加上用以定義且接著控制平臺(tái)的應(yīng)用程序設(shè)計(jì)器接口(API)。Z到GPU處理模塊238可使用GPU執(zhí)行實(shí)時(shí)或近實(shí)時(shí)深度到多視圖轉(zhuǎn)換，且借以可實(shí)現(xiàn)與接受呈不同格式(例如，“2D+z”格式及多串流視頻格式)的3D內(nèi)容的異質(zhì)顯示器介接。舉例來(lái)說(shuō)，Z到GPU處理模塊238可產(chǎn)生根據(jù)“2D+z”格式而格式化的3D視頻數(shù)據(jù)MO，3D顯示器228A可直接接受所述3D視頻數(shù)據(jù)240而無(wú)需顯示平臺(tái)223 “進(jìn)行介入處理。Z到GPU處理模塊238還可產(chǎn)生根據(jù)多視圖格式而格式化的3D視頻數(shù)據(jù)M1，且將此數(shù)據(jù)241轉(zhuǎn)發(fā)到顯示平臺(tái)223"“。顯示平臺(tái)223" ’的顯示格式模塊2 可交錯(cuò)來(lái)自經(jīng)多視圖格式化的3D視頻數(shù)據(jù)241的串流以產(chǎn)生3D視頻數(shù)據(jù)M2，3D顯示裝置228B可接收且呈現(xiàn)所述3D視頻數(shù)據(jù)M2。圖IOE為說(shuō)明另一系統(tǒng)216E的框圖，所述系統(tǒng)216E執(zhí)行本發(fā)明中所描述的技術(shù)的一個(gè)或一個(gè)以上方面。系統(tǒng)216E可類(lèi)似于圖IOD的系統(tǒng)216D，但移動(dòng)多媒體裝置237' 包括內(nèi)部WD客戶(hù)端單元230及2D到3D處理模塊224除外。為了表示此差異，移動(dòng)多媒體裝置237'包括在參考數(shù)字“237”之后的一個(gè)撇號(hào)。在任何情況下，移動(dòng)裝置217可將2D視頻內(nèi)容或3D視頻內(nèi)容244轉(zhuǎn)發(fā)到外部WD 主機(jī)單元218，所述外部WD主機(jī)單元218以上文所描述的方式根據(jù)無(wú)線(xiàn)顯示協(xié)議封裝此內(nèi)容244且經(jīng)由無(wú)線(xiàn)鏈路220將經(jīng)格式化的內(nèi)容244轉(zhuǎn)發(fā)到內(nèi)部WD客戶(hù)端單元230。如果所述內(nèi)容為2D視頻內(nèi)容M4，則內(nèi)部WD客戶(hù)端單元230可接著將此數(shù)據(jù)244轉(zhuǎn)發(fā)到2D到 3D處理單元224以執(zhí)行實(shí)時(shí)或近實(shí)時(shí)2D到3D轉(zhuǎn)換(例如，深度提取)。如果顯示器228A、 228B中的一者或兩者需要，則2D到3D處理模塊2 可將3D視頻數(shù)據(jù)轉(zhuǎn)發(fā)到Z到GPU處理模塊238以產(chǎn)生經(jīng)多視圖格式化的3D視頻數(shù)據(jù)，如上文所描述?；蛘?，如果內(nèi)部WD客戶(hù)端單元230接收3D視頻內(nèi)容244且顯示器228A、2^B中的一者或兩者需要多視圖文件格式，則內(nèi)部WD客戶(hù)端單元230可將3D視頻內(nèi)容244轉(zhuǎn)發(fā)到Z到GPU處理模塊238，所述Z到GPU處理模塊238產(chǎn)生根據(jù)多視圖文件格式而格式化的3D視頻數(shù)據(jù)Ml。移動(dòng)多媒體裝置237'可接著將內(nèi)容240轉(zhuǎn)發(fā)到3D顯示裝置228A，如上文所描述。或者，移動(dòng)多媒體裝置237'可將3D視頻數(shù)據(jù)241轉(zhuǎn)發(fā)到顯示平臺(tái)223〃 ’，如上文所描述。顯示平臺(tái)223"‘(再次如上文所描述)可使用顯示格式模塊2 交錯(cuò)多個(gè)視圖且將所得3D視頻內(nèi)容242轉(zhuǎn)發(fā)到3D顯示裝置228B。在系統(tǒng)216E中，移動(dòng)裝置217可選擇經(jīng)由通過(guò)外部WD主機(jī)單元218及內(nèi)部WD客戶(hù)端單元230實(shí)施的無(wú)線(xiàn)顯示協(xié)議來(lái)驅(qū)動(dòng)2D或3D視頻內(nèi)容。如上文所注明，WD主機(jī)單元218與WD客戶(hù)端單元230可交換描述連接到客戶(hù)端的顯示器(一個(gè)或一個(gè)以上，經(jīng)由鏡射)的參數(shù)，其中這些參數(shù)包括由這些顯示器支持的3D內(nèi)容格式。取決于無(wú)線(xiàn)鏈路220上的可用帶寬，WD客戶(hù)端單元230可執(zhí)行2D到3D轉(zhuǎn)換過(guò)程(而不是移動(dòng)裝置217執(zhí)行所述過(guò)程)。在移動(dòng)多媒體裝置237'內(nèi)執(zhí)行轉(zhuǎn)換還可促成較佳用戶(hù)體驗(yàn)及視覺(jué)質(zhì)量。此外，取決于3D顯示器的參數(shù)，執(zhí)行深度到多視圖轉(zhuǎn)換過(guò)程。另外，移動(dòng)多媒體裝置237'可執(zhí)行從無(wú)線(xiàn)顯示協(xié)議到顯示格式的格式轉(zhuǎn)換。在所有系統(tǒng)216A到216E中，各種組件可利用WD主機(jī)及客戶(hù)端單元來(lái)使傳統(tǒng)上有線(xiàn)的顯示器能夠變成無(wú)線(xiàn)顯示器或至少變成可經(jīng)由無(wú)線(xiàn)連接存取。因此，各種內(nèi)部及外部 WD主機(jī)及客戶(hù)端單元可通過(guò)將有線(xiàn)顯示器轉(zhuǎn)換成無(wú)線(xiàn)顯示器而促成跨平臺(tái)3D視頻重放。 此外，各種WD主機(jī)及客戶(hù)端單元并不強(qiáng)制實(shí)行特定3D內(nèi)容格式，而是僅提供借以高效率地?zé)o線(xiàn)地發(fā)射3D視頻數(shù)據(jù)同時(shí)仍實(shí)現(xiàn)與僅2D顯示裝置的向后兼容性的無(wú)線(xiàn)顯示輸送協(xié)議。 就此來(lái)說(shuō)，各種內(nèi)部及外部WD主機(jī)及客戶(hù)端單元可進(jìn)一步促成跨平臺(tái)3D視頻重放?？梢杂布?、固件或其任一組合實(shí)施本文中所描述的技術(shù)。在一些例子中，硬件也可執(zhí)行軟件。描述為模塊、單元或組件的任何特征可一起實(shí)施于整合式邏輯裝置中或分離地實(shí)施為離散但可互操作的邏輯裝置。在一些狀況下，各種特征可實(shí)施為集成電路裝置，例如集成電路芯片或芯片組。如果以軟件實(shí)施，則可至少部分通過(guò)計(jì)算機(jī)可讀媒體來(lái)實(shí)現(xiàn)所述技術(shù)，所述計(jì)算機(jī)可讀媒體包含在執(zhí)行時(shí)使處理器執(zhí)行上文所描述的方法中的一者或一者以上的指令。計(jì)算機(jī)可讀媒體可形成計(jì)算機(jī)程序產(chǎn)品的一部分，其可包括封裝材料。計(jì)算機(jī)可讀媒體可包含計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)媒體，例如隨機(jī)存取存儲(chǔ)器(RAM)、同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器 (SDRAM)、只讀存儲(chǔ)器(ROM)、非易失性隨機(jī)存取存儲(chǔ)器(NVRAM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、快閃存儲(chǔ)器、磁性或光學(xué)數(shù)據(jù)存儲(chǔ)媒體及其類(lèi)似者。另外或其它，所述技術(shù)可至少部分通過(guò)計(jì)算機(jī)可讀通信媒體來(lái)實(shí)現(xiàn)，所述計(jì)算機(jī)可讀通信媒體載運(yùn)或傳達(dá)呈指令或數(shù)據(jù)結(jié)構(gòu)的形式的代碼且可由計(jì)算機(jī)存取、讀取及/或執(zhí)行。可由以下各者執(zhí)行代碼或指令一個(gè)或一個(gè)以上處理器(例如一個(gè)或一個(gè)以上 DSP)、通用微處理器、ASIC、現(xiàn)場(chǎng)可編程邏輯陣列(FPGA)或其它等效集成或離散邏輯電路。 因此，如本文中所使用的術(shù)語(yǔ)“處理器”可指代上述結(jié)構(gòu)中的任一者或適合于實(shí)施本文中所描述的技術(shù)的任一其它結(jié)構(gòu)。另外，在一些方面中，本文中所描述的功能性可提供于專(zhuān)用軟件模塊或硬件模塊內(nèi)。本發(fā)明還預(yù)期多種集成電路裝置中的任一者，所述集成電路裝置包括用以實(shí)施本發(fā)明中所描述的技術(shù)中的一者或一者以上的電路。此電路可提供于單一集成電路芯片中或所謂的芯片組中的多個(gè)可互操作的集成電路芯片中。這些集成電路裝置可用于多種應(yīng)用中，其中一些可包括用于無(wú)線(xiàn)通信裝置(例如，移動(dòng)電話(huà)手持機(jī))中。
已描述本發(fā)明的各種實(shí)例。這些及其它實(shí)例在所附權(quán)利要求書(shū)的范圍內(nèi)。
權(quán)利要求
1.一種設(shè)備，其包含多媒體處理模塊，其產(chǎn)生3D視頻內(nèi)容的視頻數(shù)據(jù)區(qū)段、音頻數(shù)據(jù)區(qū)段及深度數(shù)據(jù)區(qū)段；輸送協(xié)議模塊，其根據(jù)輸送協(xié)議將所述視頻數(shù)據(jù)區(qū)段、所述音頻數(shù)據(jù)區(qū)段及所述深度數(shù)據(jù)區(qū)段中的每一者封裝于多個(gè)包中的不同者中，且將元數(shù)據(jù)添加到所述多個(gè)包中的至少一者以用于增強(qiáng)所述3D視頻內(nèi)容的重放；及無(wú)線(xiàn)模塊，其將所述包發(fā)射到所述設(shè)備外部的3D顯示裝置。
2.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述輸送協(xié)議模塊將所述元數(shù)據(jù)添加于所述多個(gè)包中的所述至少一者的標(biāo)頭中的任選數(shù)據(jù)字段內(nèi)。
3.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述輸送協(xié)議包含應(yīng)用層輸送協(xié)議，且其中所述應(yīng)用層輸送協(xié)議包含實(shí)時(shí)輸送協(xié)議RTP。
4.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述元數(shù)據(jù)包含定義深度范圍、深度分辨率、相機(jī)模型參數(shù)、最佳觀看參數(shù)及壓縮類(lèi)型中的一者或一者以上的深度元數(shù)據(jù)。
5.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述元數(shù)據(jù)包含定義遮蔽分辨率及壓縮類(lèi)型中的一者或一者以上的遮蔽元數(shù)據(jù)。
6.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述元數(shù)據(jù)包含定義多個(gè)全局效果參數(shù)中的一者或一者以上的全局效果元數(shù)據(jù)，其中全局效果參數(shù)描述與雨、霾、雪及煙中的一者或一者以上有關(guān)的視頻效果，包括密度、位置及重復(fù)率。
7.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述多媒體處理模塊包含變換模塊，且所述設(shè)備進(jìn)一步包含參數(shù)發(fā)現(xiàn)模塊，其確定定義由所述3D顯示裝置支持的能力的一個(gè)或一個(gè)以上參數(shù)，其中所述一個(gè)或一個(gè)以上參數(shù)包括由所述3D顯示裝置支持的輸入格式；且根據(jù)所述所確定的輸入格式配置所述變換模塊以將二維2D視頻數(shù)據(jù)變換成3D視頻數(shù)據(jù)以便產(chǎn)生所述3D 視頻數(shù)據(jù)，其中所述無(wú)線(xiàn)模塊接收2D視頻數(shù)據(jù)，且其中所述變換模塊將所述2D視頻數(shù)據(jù)變換成3D視頻數(shù)據(jù)以使得所述3D視頻數(shù)據(jù)遵照所述所確定的輸入格式。
8.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述多媒體處理模塊包含變換模塊，且所述設(shè)備進(jìn)一步包含參數(shù)發(fā)現(xiàn)模塊，其根據(jù)定義由所述3D顯示裝置支持的能力的參數(shù)配置所述變換模塊以產(chǎn)生三維3D視頻數(shù)據(jù)，其中所述變換模塊變換視頻數(shù)據(jù)以產(chǎn)生所述3D視頻數(shù)據(jù)，且其中所述無(wú)線(xiàn)模塊將所述3D視頻數(shù)據(jù)轉(zhuǎn)發(fā)到所述3D顯示裝置；及人類(lèi)視覺(jué)系統(tǒng)HVS反饋模塊，其在所述變換模塊變換所述視頻數(shù)據(jù)時(shí)使用HVS模型確定一個(gè)或一個(gè)以上度量，所述一個(gè)或一個(gè)以上度量關(guān)于人類(lèi)視覺(jué)系統(tǒng)反映所述所產(chǎn)生的3D 視頻數(shù)據(jù)的3D可視化質(zhì)量；且再次在所述變換模塊變換所述視頻數(shù)據(jù)時(shí)，基于所述所確定的一個(gè)或一個(gè)以上度量而重新配置所述一個(gè)或一個(gè)以上模塊以精細(xì)化所述3D視頻數(shù)據(jù)的所述產(chǎn)生。
9.根據(jù)權(quán)利要求1所述的設(shè)備，其進(jìn)一步包含用于存儲(chǔ)所述視頻數(shù)據(jù)區(qū)段的模塊；及無(wú)線(xiàn)顯示器主機(jī)模塊，其確定所述設(shè)備外部的所述顯示裝置的一個(gè)或一個(gè)以上顯示參數(shù)，且基于所述所確定的顯示參數(shù)而制備所述視頻數(shù)據(jù)區(qū)段以產(chǎn)生3D視頻數(shù)據(jù)。
10.一種方法，其包含通過(guò)設(shè)備的多媒體處理模塊產(chǎn)生3D視頻內(nèi)容的視頻數(shù)據(jù)區(qū)段、音頻數(shù)據(jù)區(qū)段及深度數(shù)據(jù)區(qū)段；通過(guò)所述設(shè)備的輸送協(xié)議模塊根據(jù)輸送協(xié)議將所述視頻數(shù)據(jù)區(qū)段、所述音頻數(shù)據(jù)區(qū)段及所述深度數(shù)據(jù)區(qū)段中的每一者封裝于多個(gè)包中的不同者中，且將元數(shù)據(jù)添加到所述多個(gè)包中的至少一者以用于增強(qiáng)所述3D視頻內(nèi)容的重放；及通過(guò)所述設(shè)備的無(wú)線(xiàn)模塊將所述包發(fā)射到所述設(shè)備外部的3D顯示裝置。
11.根據(jù)權(quán)利要求10所述的方法，其進(jìn)一步包含將所述元數(shù)據(jù)添加于所述多個(gè)包中的所述至少一者的標(biāo)頭中的任選數(shù)據(jù)字段內(nèi)。
12.根據(jù)權(quán)利要求10所述的方法， 其中所述輸送協(xié)議包含應(yīng)用層輸送協(xié)議，且其中所述應(yīng)用層輸送協(xié)議包含實(shí)時(shí)輸送協(xié)議RTP。
13.根據(jù)權(quán)利要求10所述的方法，其中所述元數(shù)據(jù)包含定義深度范圍、深度分辨率、相機(jī)模型參數(shù)、最佳觀看參數(shù)及壓縮類(lèi)型中的一者或一者以上的深度元數(shù)據(jù)。
14.根據(jù)權(quán)利要求10所述的方法，其中所述元數(shù)據(jù)包含定義遮蔽分辨率及壓縮類(lèi)型中的一者或一者以上的遮蔽元數(shù)據(jù)。
15.根據(jù)權(quán)利要求10所述的方法，其中所述元數(shù)據(jù)包含定義多個(gè)全局效果參數(shù)中的一者或一者以上的全局效果元數(shù)據(jù)，其中全局效果參數(shù)描述與雨、霾、雪及煙中的一者或一者以上有關(guān)的視頻效果，包括密度、位置及重復(fù)率。
16.根據(jù)權(quán)利要求10所述的方法，其進(jìn)一步包含確定定義由所述3D顯示裝置支持的能力的一個(gè)或一個(gè)以上參數(shù)，其中所述一個(gè)或一個(gè)以上參數(shù)包括由所述3D顯示裝置支持的輸入格式；且根據(jù)所述所確定的輸入格式配置變換模塊以將二維2D視頻數(shù)據(jù)變換成3D視頻數(shù)據(jù)以便產(chǎn)生所述3D視頻數(shù)據(jù)； 接收2D視頻數(shù)據(jù)；及將所述2D視頻數(shù)據(jù)變換成3D視頻數(shù)據(jù)以使得所述3D視頻數(shù)據(jù)遵照所述所確定的輸入格式。
17.根據(jù)權(quán)利要求10所述的方法，其進(jìn)一步包含根據(jù)定義由所述3D顯示裝置支持的能力的參數(shù)配置所述多媒體處理模塊的變換模塊以產(chǎn)生三維3D視頻數(shù)據(jù)；通過(guò)所述經(jīng)配置的變換模塊變換視頻數(shù)據(jù)以產(chǎn)生所述3D視頻數(shù)據(jù)， 其中發(fā)射所述包包含將所述3D視頻數(shù)據(jù)轉(zhuǎn)發(fā)到所述3D顯示裝置；及在所述變換模塊變換所述視頻數(shù)據(jù)時(shí)，通過(guò)所述設(shè)備的人類(lèi)視覺(jué)系統(tǒng)HVS反饋模塊使用HVS模型確定一個(gè)或一個(gè)以上度量，所述一個(gè)或一個(gè)以上度量關(guān)于人類(lèi)視覺(jué)系統(tǒng)反映所述所產(chǎn)生的3D視頻數(shù)據(jù)的3D可視化質(zhì)量；及在所述變換模塊變換所述視頻數(shù)據(jù)時(shí)，基于所述所確定的一個(gè)或一個(gè)以上度量而重新配置所述變換模塊以精細(xì)化所述3D視頻數(shù)據(jù)的所述產(chǎn)生。
18.根據(jù)權(quán)利要求10所述的方法，其進(jìn)一步包含存儲(chǔ)所述視頻數(shù)據(jù)區(qū)段；通過(guò)無(wú)線(xiàn)顯示器主機(jī)確定所述設(shè)備外部的所述顯示裝置的一個(gè)或一個(gè)以上顯示參數(shù)；及通過(guò)所述無(wú)線(xiàn)顯示器主機(jī)基于所述所確定的顯示參數(shù)而制備所述視頻數(shù)據(jù)區(qū)段以產(chǎn)生3D視頻數(shù)據(jù)。
19.一種設(shè)備，其包含用于產(chǎn)生3D視頻內(nèi)容的視頻數(shù)據(jù)區(qū)段、音頻數(shù)據(jù)區(qū)段及深度數(shù)據(jù)區(qū)段的裝置； 用于根據(jù)輸送協(xié)議將所述視頻數(shù)據(jù)區(qū)段、所述音頻數(shù)據(jù)區(qū)段及所述深度數(shù)據(jù)區(qū)段中的每一者封裝于多個(gè)包中的不同者中且將元數(shù)據(jù)添加到所述多個(gè)包中的至少一者以用于增強(qiáng)所述3D視頻內(nèi)容的重放的裝置；及用于將所述包發(fā)射到所述設(shè)備外部的3D顯示裝置的裝置。
20.根據(jù)權(quán)利要求19所述的設(shè)備，其進(jìn)一步包含用于將所述元數(shù)據(jù)添加于所述多個(gè)包中的所述至少一者的標(biāo)頭中的任選數(shù)據(jù)字段內(nèi)的裝置。
21.根據(jù)權(quán)利要求19所述的設(shè)備， 其中所述輸送協(xié)議包含應(yīng)用層輸送協(xié)議，且其中所述應(yīng)用層輸送協(xié)議包含實(shí)時(shí)輸送協(xié)議RTP。
22.根據(jù)權(quán)利要求19所述的設(shè)備，其中所述元數(shù)據(jù)包含定義深度范圍、深度分辨率、相機(jī)模型參數(shù)、最佳觀看參數(shù)及壓縮類(lèi)型中的一者或一者以上的深度元數(shù)據(jù)。
23.根據(jù)權(quán)利要求19所述的設(shè)備，其中所述元數(shù)據(jù)包含定義遮蔽分辨率及壓縮類(lèi)型中的一者或一者以上的遮蔽元數(shù)據(jù)。
24.根據(jù)權(quán)利要求19所述的設(shè)備，其中所述元數(shù)據(jù)包含定義多個(gè)全局效果參數(shù)中的一者或一者以上的全局效果元數(shù)據(jù)，其中全局效果參數(shù)描述與雨、霾、雪及煙中的一者或一者以上有關(guān)的視頻效果，包括密度、位置及重復(fù)率。
25.根據(jù)權(quán)利要求19所述的設(shè)備，其進(jìn)一步包含用于進(jìn)行以下操作的裝置確定定義由所述3D顯示裝置支持的能力的一個(gè)或一個(gè)以上參數(shù)，其中所述一個(gè)或一個(gè)以上參數(shù)包括由所述3D顯示裝置支持的輸入格式；且根據(jù)所述所確定的輸入格式配置變換模塊以將二維2D視頻數(shù)據(jù)變換成3D視頻數(shù)據(jù)以便產(chǎn)生所述 3D視頻數(shù)據(jù)；用于接收2D視頻數(shù)據(jù)的裝置；及用于將所述2D視頻數(shù)據(jù)變換成3D視頻數(shù)據(jù)以使得所述3D視頻數(shù)據(jù)遵照所述所確定的輸入格式的裝置。
26.根據(jù)權(quán)利要求19所述的設(shè)備，其進(jìn)一步包含用于根據(jù)定義由所述3D顯示裝置支持的能力的參數(shù)配置所述設(shè)備的變換模塊以產(chǎn)生三維3D視頻數(shù)據(jù)的裝置，其中所述經(jīng)配置的變換模塊變換視頻數(shù)據(jù)以產(chǎn)生所述3D視頻數(shù)據(jù)， 其中所述用于發(fā)射所述包的裝置包含用于將所述3D視頻數(shù)據(jù)轉(zhuǎn)發(fā)到所述3D顯示裝置的裝置；及用于在所述變換模塊變換所述視頻數(shù)據(jù)時(shí)使用人類(lèi)視覺(jué)系統(tǒng)HVS模型確定一個(gè)或一個(gè)以上度量的裝置，所述一個(gè)或一個(gè)以上度量關(guān)于人類(lèi)視覺(jué)系統(tǒng)反映所述所產(chǎn)生的3D視頻數(shù)據(jù)的3D可視化質(zhì)量；及用于在所述變換模塊變換所述視頻數(shù)據(jù)時(shí)基于所述所確定的一個(gè)或一個(gè)以上度量而重新配置所述變換模塊以精細(xì)化所述3D視頻數(shù)據(jù)的所述產(chǎn)生的裝置。
27.根據(jù)權(quán)利要求19所述的設(shè)備，其進(jìn)一步包含用于存儲(chǔ)所述視頻數(shù)據(jù)區(qū)段的裝置；用于確定所述設(shè)備外部的所述顯示裝置的一個(gè)或一個(gè)以上顯示參數(shù)的裝置；及用于基于所述所確定的顯示參數(shù)而制備所述視頻數(shù)據(jù)區(qū)段以產(chǎn)生3D視頻數(shù)據(jù)的裝置。
28.一種計(jì)算機(jī)可讀存儲(chǔ)媒體，其包含若干指令，所述指令使處理器 產(chǎn)生3D視頻內(nèi)容的視頻數(shù)據(jù)區(qū)段、音頻數(shù)據(jù)區(qū)段及深度數(shù)據(jù)區(qū)段；根據(jù)輸送協(xié)議將所述視頻數(shù)據(jù)區(qū)段、所述音頻數(shù)據(jù)區(qū)段及所述深度數(shù)據(jù)區(qū)段中的每一者封裝于多個(gè)包中的不同者中且將元數(shù)據(jù)添加到所述多個(gè)包中的至少一者以用于增強(qiáng)所述3D視頻內(nèi)容的重放；且將所述包發(fā)射到設(shè)備外部的3D顯示裝置。
29.根據(jù)權(quán)利要求觀所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述指令進(jìn)一步使所述處理器將所述元數(shù)據(jù)添加于所述多個(gè)包中的所述至少一者的標(biāo)頭中的任選數(shù)據(jù)字段內(nèi)。
30.根據(jù)權(quán)利要求觀所述的計(jì)算機(jī)可讀存儲(chǔ)媒體， 其中所述輸送協(xié)議包含應(yīng)用層輸送協(xié)議，且其中所述應(yīng)用層輸送協(xié)議包含實(shí)時(shí)輸送協(xié)議RTP。
31.根據(jù)權(quán)利要求觀所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述元數(shù)據(jù)包含定義深度范圍、深度分辨率、相機(jī)模型參數(shù)、最佳觀看參數(shù)及壓縮類(lèi)型中的一者或一者以上的深度元數(shù)據(jù)。
32.根據(jù)權(quán)利要求觀所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述元數(shù)據(jù)包含定義遮蔽分辨率及壓縮類(lèi)型中的一者或一者以上的遮蔽元數(shù)據(jù)。
33.根據(jù)權(quán)利要求觀所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述元數(shù)據(jù)包含定義多個(gè)全局效果參數(shù)中的一者或一者以上的全局效果元數(shù)據(jù)，其中全局效果參數(shù)描述與雨、霾、雪及煙中的一者或一者以上有關(guān)的視頻效果，包括密度、位置及重復(fù)率。
34.根據(jù)權(quán)利要求觀所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述指令進(jìn)一步使所述處理器確定定義由所述3D顯示裝置支持的能力的一個(gè)或一個(gè)以上參數(shù)，其中所述一個(gè)或一個(gè)以上參數(shù)包括由所述3D顯示裝置支持的輸入格式；且根據(jù)所述所確定的輸入格式配置變換模塊以將二維2D視頻數(shù)據(jù)變換成3D視頻數(shù)據(jù)以便產(chǎn)生所述3D視頻數(shù)據(jù)；接收2D視頻數(shù)據(jù)；且將所述2D視頻數(shù)據(jù)變換成3D視頻數(shù)據(jù)以使得所述3D視頻數(shù)據(jù)遵照所述所確定的輸入格式。
35.根據(jù)權(quán)利要求觀所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述指令進(jìn)一步使所述處理器根據(jù)定義由所述3D顯示裝置支持的能力的參數(shù)配置多媒體處理模塊的變換模塊以產(chǎn)生三維3D視頻數(shù)據(jù)，其中所述經(jīng)配置的變換模塊變換視頻數(shù)據(jù)以產(chǎn)生所述3D視頻數(shù)據(jù)； 將所述3D視頻數(shù)據(jù)轉(zhuǎn)發(fā)到所述3D顯示裝置；且在所述變換模塊變換所述視頻數(shù)據(jù)時(shí)，使用人類(lèi)視覺(jué)系統(tǒng)HVS模型確定一個(gè)或一個(gè)以上度量，所述一個(gè)或一個(gè)以上度量關(guān)于人類(lèi)視覺(jué)系統(tǒng)反映所述所產(chǎn)生的3D視頻數(shù)據(jù)的3D 可視化質(zhì)量；且在所述變換模塊變換所述視頻數(shù)據(jù)時(shí)，基于所述所確定的一個(gè)或一個(gè)以上度量而重新配置所述變換模塊以精細(xì)化所述3D視頻數(shù)據(jù)的所述產(chǎn)生。
36.根據(jù)權(quán)利要求觀所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述指令進(jìn)一步使所述處理器存儲(chǔ)所述視頻數(shù)據(jù)區(qū)段；通過(guò)無(wú)線(xiàn)顯示器主機(jī)確定所述設(shè)備外部的所述顯示裝置的一個(gè)或一個(gè)以上顯示參數(shù)；且通過(guò)所述無(wú)線(xiàn)顯示器主機(jī)基于所述所確定的顯示參數(shù)而制備所述視頻數(shù)據(jù)區(qū)段以產(chǎn)生3D視頻數(shù)據(jù)。
全文摘要
大體來(lái)說(shuō)，描述用于根據(jù)輸送協(xié)議封裝三維視頻數(shù)據(jù)的技術(shù)。作為一個(gè)實(shí)例，包含多媒體處理模塊、輸送協(xié)議模塊及無(wú)線(xiàn)模塊的設(shè)備實(shí)施所述技術(shù)。所述多媒體處理模塊產(chǎn)生3D視頻內(nèi)容的視頻數(shù)據(jù)區(qū)段、音頻數(shù)據(jù)區(qū)段及深度數(shù)據(jù)區(qū)段。所述輸送協(xié)議模塊根據(jù)輸送協(xié)議將所述視頻數(shù)據(jù)區(qū)段、所述音頻數(shù)據(jù)區(qū)段及所述深度數(shù)據(jù)區(qū)段中的每一者封裝于多個(gè)包中的不同者中，且將元數(shù)據(jù)添加到所述多個(gè)包中的至少一者以用于增強(qiáng)所述3D視頻內(nèi)容的重放。所述無(wú)線(xiàn)模塊將所述包發(fā)射到所述設(shè)備外部的3D顯示裝置。
文檔編號(hào)H04N13/00GK102474661SQ201080034957
公開(kāi)日2012年5月23日 申請(qǐng)日期2010年8月4日 優(yōu)先權(quán)日2009年8月6日
發(fā)明者維賈雅拉克希米·R·拉韋恩德拉恩, 胡迪特·馬蒂內(nèi)·包薩, 薩米爾·薩利布·索利曼 申請(qǐng)人:高通股份有限公司