專利名稱：用于將二維內(nèi)容轉(zhuǎn)換為三維內(nèi)容的設(shè)備和方法
技術(shù)領(lǐng)域：
與示例性實(shí)施例一致的設(shè)備和方法涉及ー種用于轉(zhuǎn)換內(nèi)容的設(shè)備和方法及其計(jì)算機(jī)可讀介質(zhì)，更具體地說，涉及一種用于將ニ維(2D)內(nèi)容轉(zhuǎn)換為三維(3D)內(nèi)容的設(shè)備和方法及其計(jì)算機(jī)可讀介質(zhì)。
背景技術(shù)：
在電視、個(gè)人計(jì)算機(jī)、智能電話、智能平板電腦、便攜式多媒體播放器(PMP)、MP3播放器等能夠再現(xiàn)內(nèi)容的顯示設(shè)備中再現(xiàn)諸如電影、戲劇、運(yùn)動(dòng)等的視頻內(nèi)容。隨著近期針對(duì)三維(3D)圖像的顯示技術(shù)的發(fā)展，這樣的內(nèi)容已被制成3D內(nèi)容并·被能夠顯示3D圖像的顯示設(shè)備再現(xiàn)。然而，由于為了制作這樣的3D內(nèi)容需要大規(guī)模的設(shè)備和開發(fā)人力并消耗高成本和大量時(shí)間，因此高質(zhì)量3D內(nèi)容存在缺點(diǎn)。此外，即使在當(dāng)前提供的3D內(nèi)容的情況下，也僅使用具有預(yù)設(shè)質(zhì)量的3D內(nèi)容，而具有滿足用戶喜好的多種質(zhì)量的3D內(nèi)容不能得到。

發(fā)明內(nèi)容
因此，一個(gè)或多個(gè)示例性實(shí)施例提供能夠提供具有滿足用戶喜好的多種質(zhì)量的3D內(nèi)容的設(shè)備和方法及其計(jì)算機(jī)可讀介質(zhì)。根據(jù)示例性實(shí)施例的一方面，提供了一種通過內(nèi)容轉(zhuǎn)換設(shè)備將2D內(nèi)容轉(zhuǎn)換為3D內(nèi)容的方法，所述方法包括確定將從作為視頻內(nèi)容并包括多個(gè)幀的2D內(nèi)容轉(zhuǎn)換的3D內(nèi)容的質(zhì)量；從所述多個(gè)幀中的幀中提取對(duì)象；將深度分配給提取的對(duì)象；對(duì)具有分配了深度的對(duì)象的幀執(zhí)行用于轉(zhuǎn)換到3D內(nèi)容的渲染(rendering)，其中，根據(jù)確定的3D內(nèi)容的質(zhì)量執(zhí)行提取對(duì)象的操作、分配深度的操作和執(zhí)行渲染的操作中的至少ー個(gè)操作。提取對(duì)象的操作、分配深度的操作和執(zhí)行渲染的操作中的至少ー個(gè)操作可包括執(zhí)行根據(jù)預(yù)設(shè)參考信息實(shí)施的自動(dòng)操作；執(zhí)行根據(jù)用戶輸入實(shí)施的手動(dòng)操作，確定3D內(nèi)容的質(zhì)量的步驟包括確定性能程度，所述性能程度指示在對(duì)應(yīng)的提取對(duì)象的操作、分配深度的操作和執(zhí)行渲染的操作中的至少ー個(gè)操作中實(shí)施的手動(dòng)操作和自動(dòng)操作中的每個(gè)的百分比。確定性能程度的步驟可包括從根據(jù)性能程度分類的多個(gè)質(zhì)量模式中選擇ー個(gè)質(zhì)量模式。執(zhí)行手動(dòng)操作的步驟可包括顯示根據(jù)選擇的質(zhì)量模式被選擇性激活的至少ー個(gè)圖形用戶界面(GUI)項(xiàng)作為用于在手動(dòng)操作中接收用戶輸入的GUI項(xiàng)?？筛鶕?jù)關(guān)于將要處理的巾貞中的場(chǎng)景的內(nèi)容和發(fā)展(development)的信息來執(zhí)行提取對(duì)象的操作和分配深度的操作中的至少ー個(gè)操作。所述方法還可包括從多個(gè)幀中選擇關(guān)鍵幀，其中，對(duì)選擇的關(guān)鍵幀執(zhí)行選擇對(duì)象的操作和分配深度的操作，所述方法還包括對(duì)所述多個(gè)幀中的不是關(guān)鍵幀的另ー幀執(zhí)行跟蹤。所述方法還可包括對(duì)渲染的幀執(zhí)行3D圖片質(zhì)量處理。根據(jù)另ー示例性實(shí)施例的一方面，提供了ー種用于將2D內(nèi)容轉(zhuǎn)換為3D內(nèi)容的設(shè)備，所述設(shè)備包括轉(zhuǎn)換器，從作為視頻內(nèi)容的2D內(nèi)容的多個(gè)幀中的幀提取對(duì)象，將深度分配給提取的對(duì)象，對(duì)具有分配了深度的對(duì)象的幀執(zhí)行用于轉(zhuǎn)換到3D內(nèi)容的渲染，其中，轉(zhuǎn)換器確定3D內(nèi)容的質(zhì)量并根據(jù)確定的3D內(nèi)容的質(zhì)量執(zhí)行提取對(duì)象的操作、分配深度的操作和執(zhí)行渲染的操作中的至少ー個(gè)操作。所述設(shè)備還可包括用戶輸入?yún)g元，接收用戶的輸入，其中，轉(zhuǎn)換器執(zhí)行基于預(yù)設(shè)參考信息的自動(dòng)操作和基于用戶輸入的手動(dòng)操作，以實(shí)施提取對(duì)象的操作、分配深度的操作和執(zhí)行渲染的操作中的至少ー個(gè)操作，并且轉(zhuǎn)換器通過確定性能程度確定3D內(nèi)容的質(zhì)量，所述性能程度指示在對(duì)應(yīng)的提取對(duì)象的操作、分配深度的操作和執(zhí)行渲染的操作中的至少ー個(gè)操作中實(shí)施的手動(dòng)操作和自動(dòng)操作中的每個(gè)的百分比。 轉(zhuǎn)換器可通過從根據(jù)性能程度分類的多個(gè)質(zhì)量模式中選擇ー個(gè)質(zhì)量模式來確定性能程度。轉(zhuǎn)換器可顯示根據(jù)選擇的質(zhì)量模式被選擇性激活的至少ー個(gè)圖形用戶界面(GUI)項(xiàng)作為用于在手動(dòng)操作中接收用戶輸入的GUI項(xiàng)。轉(zhuǎn)換器可根據(jù)關(guān)于將要處理的幀中的場(chǎng)景的內(nèi)容和發(fā)展的信息來執(zhí)行提取對(duì)象的操作和分配深度的操作中的至少ー個(gè)操作。轉(zhuǎn)換器可從多個(gè)幀中選擇關(guān)鍵幀，并對(duì)選擇的關(guān)鍵幀執(zhí)行提取對(duì)象的操作和分配深度的操作，并且轉(zhuǎn)換器可對(duì)所述多個(gè)幀中的不是關(guān)鍵幀的另ー幀執(zhí)行跟蹤。轉(zhuǎn)換器可對(duì)渲染的幀執(zhí)行3D圖片質(zhì)量處理。根據(jù)另ー示例性實(shí)施例的一方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述介質(zhì)具有可由計(jì)算機(jī)執(zhí)行的指令，其中，當(dāng)所述指令由計(jì)算機(jī)的處理器實(shí)施時(shí)，所述指令執(zhí)行將2D內(nèi)容轉(zhuǎn)換為3D內(nèi)容的方法，所述方法包括確定將從作為視頻內(nèi)容并包括多個(gè)幀的2D內(nèi)容轉(zhuǎn)換的3D內(nèi)容的質(zhì)量；從所述多個(gè)幀中的幀中提取對(duì)象；將深度分配給提取的對(duì)象；對(duì)具有分配了深度的對(duì)象的幀執(zhí)行用于轉(zhuǎn)換到3D內(nèi)容的渲染，其中，根據(jù)確定的3D內(nèi)容的質(zhì)量執(zhí)行提取對(duì)象的操作、分配深度的操作和執(zhí)行渲染的操作中的至少ー個(gè)操作。提取對(duì)象的操作、分配深度的操作和執(zhí)行渲染的操作中的至少ー個(gè)操作可包括執(zhí)行基于預(yù)設(shè)參考信息實(shí)施的自動(dòng)操作；執(zhí)行基于用戶輸入實(shí)施的手動(dòng)操作，確定3D內(nèi)容的質(zhì)量的步驟可包括確定性能程度，所述性能程度指示在對(duì)應(yīng)的提取對(duì)象的操作、分配深度的操作和執(zhí)行渲染的操作中的至少ー個(gè)操作中實(shí)施的手動(dòng)操作和自動(dòng)操作中的每個(gè)的百分比。確定性能程度的步驟可包括從根據(jù)性能程度分類的多個(gè)質(zhì)量模式中選擇ー個(gè)質(zhì)量模式。執(zhí)行手動(dòng)操作的步驟可包括顯示根據(jù)選擇的質(zhì)量模式被選擇性激活的至少ー個(gè)圖形用戶界面(GUI)項(xiàng)作為用于在手動(dòng)操作中接收用戶輸入的GUI項(xiàng)?？筛鶕?jù)關(guān)于將要處理的幀中的場(chǎng)景的內(nèi)容和發(fā)展的信息來執(zhí)行提取對(duì)象的操作和分配深度的操作中的至少ー個(gè)操作。所述方法還可包括從多個(gè)幀中選擇關(guān)鍵幀，其中，可對(duì)選擇的關(guān)鍵幀執(zhí)行選擇對(duì)象的操作和分配深度的操作，所述方法還可包括對(duì)所述多個(gè)幀中的不是關(guān)鍵幀的另ー幀執(zhí)行跟蹤。所述方法還可包括對(duì)渲染的幀執(zhí)行3D圖片質(zhì)量處理。


從下面結(jié)合附圖的示例性實(shí)施例的描述，上述和/或其它方面將變得清楚和更容易通解，其中圖I是示出根據(jù)示例性實(shí)施例的內(nèi)容轉(zhuǎn)換設(shè)備的配置的框圖；圖2是示出根據(jù)示例性實(shí)施例的內(nèi)容轉(zhuǎn)換設(shè)備的操作的流程圖；圖3是示出根據(jù)另ー示例性實(shí)施例的內(nèi)容轉(zhuǎn)換設(shè)備的操作的流程圖；·圖4是示出根據(jù)示例性實(shí)施例的內(nèi)容轉(zhuǎn)換設(shè)備中的多個(gè)質(zhì)量模式的示例的表；圖5是示出根據(jù)另ー示例性實(shí)施例的內(nèi)容轉(zhuǎn)換設(shè)備的操作的流程圖。
具體實(shí)施例方式以下，將參照附圖詳細(xì)描述示例性實(shí)施例。在下文，諸如“......中的至少ー個(gè)”
的表達(dá)在位于一列元素之后吋，修飾該列元素的整體而不是修飾該列的單個(gè)元素。圖I是示出根據(jù)示例性實(shí)施例的內(nèi)容轉(zhuǎn)換設(shè)備I的配置的框圖。內(nèi)容轉(zhuǎn)換設(shè)備I將ニ維(2D)內(nèi)容轉(zhuǎn)換為三維(3D)內(nèi)容。在本示例性實(shí)施例中，內(nèi)容包括運(yùn)動(dòng)圖片內(nèi)容，例如，電影、戲劇、運(yùn)動(dòng)等。內(nèi)容轉(zhuǎn)換設(shè)備I可從預(yù)定2D內(nèi)容提供器(未示出)接收將被轉(zhuǎn)換為3D內(nèi)容的2D內(nèi)容。內(nèi)容轉(zhuǎn)換設(shè)備I可通過預(yù)定網(wǎng)絡(luò)(未示出)從2D內(nèi)容提供器接收2D內(nèi)容。例如，2D視頻提供器可以是存儲(chǔ)2D視頻的網(wǎng)絡(luò)服務(wù)器，并根據(jù)內(nèi)容轉(zhuǎn)換設(shè)備I的請(qǐng)求將2D視頻發(fā)送到內(nèi)容轉(zhuǎn)換設(shè)備I。根據(jù)另ー示例性實(shí)施例，內(nèi)容轉(zhuǎn)換設(shè)備I可通過數(shù)據(jù)傳輸方法或除了網(wǎng)絡(luò)之外的機(jī)制從2D內(nèi)容提供器接收2D內(nèi)容。例如，2D內(nèi)容提供器可以是用于存儲(chǔ)2D內(nèi)容的設(shè)置有存儲(chǔ)單元(諸如硬盤、閃速存儲(chǔ)器等)的裝置，所述裝置本地連接到內(nèi)容轉(zhuǎn)換設(shè)備I并根據(jù)內(nèi)容轉(zhuǎn)換設(shè)備I的請(qǐng)求將2D內(nèi)容發(fā)送到內(nèi)容轉(zhuǎn)換設(shè)備I。在這種情況下，對(duì)本地連接內(nèi)容轉(zhuǎn)換設(shè)備I和2D內(nèi)容提供器的方法沒有限制，只要該方法是用于發(fā)送2D內(nèi)容的數(shù)據(jù)。例如，本地連接方法可包括通用串行總線(USB)等。根據(jù)另ー示例性實(shí)施例，內(nèi)容轉(zhuǎn)換設(shè)備I可從3D內(nèi)容提供器(未示出)接收2D內(nèi)容。例如，3D內(nèi)容提供器可將2D內(nèi)容發(fā)送到內(nèi)容轉(zhuǎn)換設(shè)備1，接收由內(nèi)容轉(zhuǎn)換設(shè)備I轉(zhuǎn)換的3D內(nèi)容，并將接收到的3D內(nèi)容提供給預(yù)定用戶終端(未示出)。用戶終端能夠?qū)膬?nèi)容轉(zhuǎn)換設(shè)備I接收的3D內(nèi)容顯示為3D圖像。例如，用戶終端可包括電視(TV)、個(gè)人計(jì)算機(jī)(PC)、智能電話、智能平板電腦、PMP、MP3播放器等。根據(jù)另ー示例性實(shí)施例，內(nèi)容轉(zhuǎn)換設(shè)備I可將轉(zhuǎn)換的3D內(nèi)容發(fā)送到能夠?qū)?D內(nèi)容顯示為3D圖像的用戶終端。例如，內(nèi)容轉(zhuǎn)換設(shè)備I可通過網(wǎng)絡(luò)將3D內(nèi)容提供給用戶終端。在根據(jù)本示例性實(shí)施例的網(wǎng)絡(luò)中，對(duì)網(wǎng)絡(luò)通信方法(例如，有線和/或無線通信方法)沒有限制，只要該方法是用于發(fā)送2D內(nèi)容和3D內(nèi)容中的至少ー個(gè)的數(shù)據(jù)通信。網(wǎng)絡(luò)通信方法包括任何已知的通信方法。如圖I中所示，內(nèi)容轉(zhuǎn)換設(shè)備I可包括轉(zhuǎn)換器11和通信單元14。轉(zhuǎn)換器11將2D內(nèi)容轉(zhuǎn)換為3D內(nèi)容。2D內(nèi)容包括多個(gè)視頻幀(在下文稱為“幀”)。3D內(nèi)容基于觀看者的雙目視差，3D內(nèi)容可包括多個(gè)左眼幀和多個(gè)右眼幀。在多個(gè)左眼幀和多個(gè)右眼幀中，可從2D內(nèi)容的多個(gè)幀中的至少ー個(gè)對(duì)應(yīng)幀分別轉(zhuǎn)換包括左眼幀和右眼幀的對(duì)。下面將詳細(xì)描述由轉(zhuǎn)換器11執(zhí)行的從2D內(nèi)容到3D內(nèi)容的轉(zhuǎn)換(在下文稱為“2D-3D轉(zhuǎn)換”)。通信単元14可執(zhí)行2D內(nèi)容提供器和內(nèi)容轉(zhuǎn)換設(shè)備I之間的數(shù)據(jù)通信、3D內(nèi)容提供器和內(nèi)容轉(zhuǎn)換設(shè)備I之間的數(shù)據(jù)通信、用戶終端和內(nèi)容轉(zhuǎn)換設(shè)備I之間的數(shù)據(jù)通信中的至少ー個(gè)數(shù)據(jù)通信。轉(zhuǎn)換器11可包括存儲(chǔ)單元111、隨機(jī)存取存儲(chǔ)器(RAM) 112和中央處理單元(CPU) 113。存儲(chǔ)單元111可存儲(chǔ)用于執(zhí)行2D-3D轉(zhuǎn)換的轉(zhuǎn)換程序114、將被轉(zhuǎn)換的2D內(nèi)容115、從2D內(nèi)容轉(zhuǎn)換的3D內(nèi)容116。存儲(chǔ)單元111可由非易失性存儲(chǔ)器(諸如硬盤、閃速存儲(chǔ)器等)實(shí)現(xiàn)。當(dāng)轉(zhuǎn)換器111工作吋，RAM 112被載入轉(zhuǎn)換程序114的至少一部分，并且·CPU 113執(zhí)行載入RAM 112的轉(zhuǎn)換程序114。轉(zhuǎn)換程序114具有可被CPU 113執(zhí)行的指令。存儲(chǔ)單元111是計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的示例。圖2是示出根據(jù)示例性實(shí)施例的內(nèi)容轉(zhuǎn)換設(shè)備I的操作的流程圖。內(nèi)容轉(zhuǎn)換設(shè)備I的操作(在下文稱為“2D-3D轉(zhuǎn)換處理”)可與由轉(zhuǎn)換程序114的指令執(zhí)行的內(nèi)容轉(zhuǎn)換方法對(duì)應(yīng)。在本示例性實(shí)施例中，2D-3D轉(zhuǎn)換處理可包括3D內(nèi)容質(zhì)量確定操作201、對(duì)象提取操作202、深度分配操作203以及渲染操作204。首先，在3D內(nèi)容質(zhì)量確定操作201中，確定將被轉(zhuǎn)換的3D內(nèi)容的質(zhì)量。在本示例性實(shí)施例中，可根據(jù)3D內(nèi)容的質(zhì)量執(zhí)行2D-3D轉(zhuǎn)換處理。也就是說，可基于確定的3D內(nèi)容的質(zhì)量執(zhí)行對(duì)象提取操作202、深度分配操作203以及渲染操作204中的至少ー個(gè)。將在下面更詳細(xì)地描述3D內(nèi)容質(zhì)量確定操作201。在對(duì)象提取操作202中，針對(duì)將被處理的幀的圖像來提取將被反映3D效果的對(duì)象。所述對(duì)象可以是包含在每幀的場(chǎng)景中的主圖像，例如，可以是主人公出現(xiàn)的場(chǎng)景中的主人公的圖像、在車輛移動(dòng)的場(chǎng)景中的車輛的圖像等。在對(duì)象提取操作202中，對(duì)應(yīng)幀的圖像被分割從而對(duì)象的邊界可從分割結(jié)果中提取。在深度分配操作203中，深度被分配給通過對(duì)象提取操作202提取的對(duì)象。所述深度是用于實(shí)現(xiàn)3D視覺效果的參數(shù)，用于在生成的對(duì)應(yīng)的左眼幀和右眼幀中將所述對(duì)象向左和向右移動(dòng)分配的參數(shù)。在深度分配操作203中，可將預(yù)先給定的標(biāo)準(zhǔn)化模板用于深度分配。在渲染操作204中，針對(duì)從深度分配操作203得來的左眼幀和右眼幀來執(zhí)行對(duì)于完成的3D圖像的圖像處理。例如，渲染操作204可包括用于填充由于在幀的圖像中移動(dòng)對(duì)象而產(chǎn)生的空白區(qū)域的處理(S卩，潤(rùn)飾(inpainting))等。以下，將詳細(xì)描述3D內(nèi)容質(zhì)量確定操作201。根據(jù)示例性實(shí)施例的2D-3D轉(zhuǎn)換處理操作中的至少ー個(gè)操作可包括根據(jù)用戶輸入實(shí)施的手動(dòng)操作以及根據(jù)預(yù)設(shè)參考信息實(shí)施的自動(dòng)操作。例如，在對(duì)象提取操作202、深度分配操作203等操作中，可通過手動(dòng)操作處理ー些幀，而可通過自動(dòng)操作處理其他幀。在手動(dòng)操作中，可根據(jù)用戶(或執(zhí)行內(nèi)容轉(zhuǎn)換操作的開發(fā)者)輸入執(zhí)行轉(zhuǎn)換處理操作。內(nèi)容轉(zhuǎn)換設(shè)備I還可包括用于用戶輸入的用戶輸入?yún)g元12 (諸如鍵盤、鼠標(biāo)、書寫板等)。此外，內(nèi)容轉(zhuǎn)換設(shè)備I還可包括顯示正被轉(zhuǎn)換的圖像的顯示單元13 (諸如監(jiān)視器等)，從而用戶可觀察轉(zhuǎn)換處理的進(jìn)度。為了有效地接收用戶輸入，內(nèi)容轉(zhuǎn)換設(shè)備I可在顯示單元13上顯示包含處理過的幀的圖像、預(yù)定輸入菜單等的圖形用戶界面(⑶I，未示出)。用戶可在確定在顯示單元13上顯示的幀的圖像的同時(shí)通過GUI的輸入菜單等輸入用于轉(zhuǎn)換處理的輸入。例如，用戶可在確定包含在幀的圖像中的對(duì)象的同時(shí)通過⑶I的輸入菜單等輸入用于提取對(duì)象的輸入。在自動(dòng)操作中，基于預(yù)設(shè)參考信息執(zhí)行操作。例如，在對(duì)象提取操作202中，內(nèi)容轉(zhuǎn)換設(shè)備I可分析幀的圖像并選擇對(duì)象作為將被提取的對(duì)象，所述對(duì)象的邊界上的像素值的變化等于或高于預(yù)定閾值。這里，參考信息可以是對(duì)象的邊界上的像素值的變化的閾值，通過該閾值可選擇將要提取的對(duì)象。在特定2D-3D轉(zhuǎn)換處理中，3D內(nèi)容的質(zhì)量可指示手動(dòng)操作和自動(dòng)操作中的每個(gè)的百分比是多少。例如，在對(duì)象提取操作202中，手動(dòng)操作和自動(dòng)操作中的每個(gè)可構(gòu)成對(duì)象提取操作202的一半。3D內(nèi)容的質(zhì)量可被表示為整個(gè)特定2D-3D轉(zhuǎn)換處理中的自動(dòng)操作(或·手動(dòng)操作)的比例(在下文稱為“構(gòu)成比例”或“性能程度”)。圖3是示出根據(jù)另ー示例性實(shí)施例的示出內(nèi)容轉(zhuǎn)換設(shè)備I的操作的流程圖。首先，在操作301，內(nèi)容轉(zhuǎn)換設(shè)備I考慮到3D內(nèi)容的質(zhì)量確定自動(dòng)操作(或手動(dòng)操作)的性能程度。接著，在操作302，基于確定的性能程度確定是在特定2D-3D轉(zhuǎn)換處理中執(zhí)行自動(dòng)操作還是手動(dòng)操作。在操作302，可以每幀確定是執(zhí)行自動(dòng)操作還是執(zhí)行手動(dòng)操作。如果確定執(zhí)行自動(dòng)操作，則在操作303，通過自動(dòng)操作執(zhí)行相應(yīng)的2D-3D轉(zhuǎn)換處理操作。另ー方面，如果確定執(zhí)行手動(dòng)操作，則在操作304,通過手動(dòng)操作執(zhí)行相應(yīng)的2D-3D轉(zhuǎn)換處理操作。3D內(nèi)容的質(zhì)量可包括多個(gè)質(zhì)量模式。因此，可對(duì)應(yīng)于從多個(gè)質(zhì)量模式中選擇的一個(gè)模式執(zhí)行2D-3D轉(zhuǎn)換處理。圖4是示出根據(jù)示例性實(shí)施例的內(nèi)容轉(zhuǎn)換設(shè)備I中的多個(gè)質(zhì)量模式的示例的表。如圖4中所示，多個(gè)質(zhì)量模式按照低質(zhì)量到高質(zhì)量的次序可包括簡(jiǎn)單模式、基礎(chǔ)模式、高級(jí)模式和專家模式。例如，這些質(zhì)量模式可在整個(gè)相應(yīng)操作中分別具有多于85 %、85 %、70 %和50 %的自動(dòng)操作的性能百分比。此外，多個(gè)質(zhì)量模式可與根據(jù)產(chǎn)生3D內(nèi)容的成本對(duì)應(yīng)(表示為圖4的表中的“很低”、“低”、“中等”和“中等+”)?？筛鶕?jù)2D內(nèi)容的類型或格式確定3D內(nèi)容的質(zhì)量。例如，如果2D內(nèi)容是最近發(fā)布的電影，則可針對(duì)該2D內(nèi)容確定較高的質(zhì)量。另ー方面，如果2D內(nèi)容是老電影，則可針對(duì)該2D內(nèi)容確定較低的質(zhì)量。根據(jù)另ー示例性實(shí)施例，如果電影是廣泛的流行佳作，則可針對(duì)該電影確定較高的質(zhì)量。另ー方面，可針對(duì)敘事型電影確定較低質(zhì)量。根據(jù)另ー示例性實(shí)施例，可根據(jù)內(nèi)容的體裁(諸如運(yùn)動(dòng)、電影、戲劇等)來確定3D內(nèi)容的質(zhì)量。可根據(jù)用戶輸入確定3D內(nèi)容的質(zhì)量?？赏ㄟ^用戶輸入單元12接收用于確定3D內(nèi)容的質(zhì)量的用戶輸入。在這種情況下，用戶可以是例如開發(fā)相應(yīng)內(nèi)容的轉(zhuǎn)換的開發(fā)者?？蛇x擇地，顯示單元13可將輸入菜單顯示為用于確定3D內(nèi)容的⑶I。例如，用于確定3D內(nèi)容的質(zhì)量的輸入菜單可包括具有分別與“簡(jiǎn)單模式”、“基礎(chǔ)模式”、“高級(jí)模式”和“專家模式”對(duì)應(yīng)的GUI項(xiàng)的下拉菜單。如果在所述下拉菜單中的多個(gè)GUI項(xiàng)中選擇ー個(gè)，則可僅激活包括在GUI輸入菜單中的與每個(gè)2D-3D轉(zhuǎn)換處理對(duì)應(yīng)的多個(gè)GUI項(xiàng)中的具有用于選擇的質(zhì)量模式的操作的GUI項(xiàng)，并且可不激活與不需要的操作對(duì)應(yīng)的GUI項(xiàng)。
可選擇地，可通過通信単元14從請(qǐng)求轉(zhuǎn)換3D內(nèi)容的另ー裝置(例如，用戶終端(未示出))接收用于確定3D內(nèi)容的質(zhì)量的用戶輸入。在這種情況下，用戶可以是例如請(qǐng)求轉(zhuǎn)換相應(yīng)的內(nèi)容并使用轉(zhuǎn)換的3D內(nèi)容的用戶。如上所述，根據(jù)示例性實(shí)施例，將要轉(zhuǎn)換的3D內(nèi)容設(shè)置有多種質(zhì)量，從而可在滿足用戶各種喜好的同時(shí)提供相對(duì)于成本具有有效質(zhì)量的內(nèi)容。圖5是示出根據(jù)另ー示例性實(shí)施例的內(nèi)容轉(zhuǎn)換設(shè)備I的流程圖。針對(duì)參照?qǐng)D5描述的內(nèi)容轉(zhuǎn)換設(shè)備1，將省略與參照?qǐng)DI到圖3所述的內(nèi)容轉(zhuǎn)換設(shè)備I相同或相似的配置。本示例性實(shí)施例中的2D-3D轉(zhuǎn)換處理操作可包括3D內(nèi)容質(zhì)量確定操作501、關(guān)鍵幀選擇操作502、對(duì)象提取操作503、深度分配操作504、跟蹤操作505、渲染操作506以及3D圖片質(zhì)量操作507。在3D內(nèi)容質(zhì)量確定操作501中，確定將要轉(zhuǎn)換的3D內(nèi)容的質(zhì)量。對(duì)于關(guān)鍵幀，可在2D內(nèi)容的多個(gè)幀中選擇表示圖像的內(nèi)容的幀。例如，關(guān)鍵幀可包括切換場(chǎng)景的幀、給場(chǎng) 景的主人公特寫的幀等?？苫谙鄳?yīng)的幀中的圖像的運(yùn)動(dòng)來選擇關(guān)鍵幀。例如，可將圖像的運(yùn)動(dòng)等于或高于預(yù)定值的幀選為關(guān)鍵幀。在對(duì)象提取操作503中，針對(duì)選擇的關(guān)鍵幀提取將被反映3D效果的對(duì)象。在深度分配操作504中，將深度分配給在對(duì)象提取操作503中提取的對(duì)象。在跟蹤操作505中，對(duì)應(yīng)于除關(guān)鍵幀之外的其它幀生成左眼幀和右眼幀?？蓞⒄諏?duì)關(guān)鍵幀302執(zhí)行的對(duì)象提取操作503和深度分配操作504來執(zhí)行跟蹤505。如上所述，對(duì)重要的關(guān)鍵幀執(zhí)行對(duì)象提取操作503和深度分配操作504，并且參照關(guān)鍵幀對(duì)其它幀執(zhí)行跟蹤操作，從而可在保持高質(zhì)量的同時(shí)執(zhí)行在成本和時(shí)間上有效率的轉(zhuǎn)換處理。在渲染操作506中，針對(duì)由深度分配操作504和跟蹤操作505產(chǎn)生的左眼幀和右眼幀執(zhí)行用于完成的3D圖像的圖像處理。在3D圖片質(zhì)量操作507中，針對(duì)由渲染操作506產(chǎn)生的幀執(zhí)行3D圖片質(zhì)量處理。3D圖片質(zhì)量操作507可包括對(duì)比增強(qiáng)、細(xì)節(jié)增強(qiáng)等中的至少ー個(gè)。通過3D圖片質(zhì)量操作507，可在實(shí)際顯示3D內(nèi)容時(shí)實(shí)現(xiàn)圖片質(zhì)量的改善，從而可優(yōu)化到顯示設(shè)備的圖片質(zhì)量。此外，根據(jù)本示例性實(shí)施例，可基于關(guān)于將被處理的幀的場(chǎng)景的內(nèi)容和發(fā)展的信息(在下文稱為“講故事信息”)執(zhí)行至少ー個(gè)2D-3D轉(zhuǎn)換處理操作操作。講故事信息是用于實(shí)現(xiàn)與根據(jù)內(nèi)容制作人的意圖的內(nèi)容的故事發(fā)展對(duì)應(yīng)的3D視覺效果的信息。在本示例性實(shí)施例中，可基于講故事信息執(zhí)行對(duì)象提取操作503、深度分配操作504等。作為使用講故事信息的示例，在兩個(gè)人物彼此進(jìn)行會(huì)話的場(chǎng)景中，如果另ー個(gè)主人公在所述兩個(gè)人物的后面通過，則可將該主人公提取為對(duì)應(yīng)幀的對(duì)象，或者可將深度完全應(yīng)用到提取的該主人公的対象。在本示例中，講故事信息可包括用于提取對(duì)象的關(guān)于另ー個(gè)主人公的圖像的信息，或用于分配深度的表示故事發(fā)展的重要程度的值等，這些可對(duì)應(yīng)于相關(guān)幀被預(yù)先提供并被存儲(chǔ)在存儲(chǔ)單元111中。轉(zhuǎn)換器11可參照存儲(chǔ)在存儲(chǔ)單元111中的講故事信息執(zhí)行操作。如上所述，可以提供滿足用戶喜好的具有各種質(zhì)量的3D內(nèi)容。雖然不限制于此，但是示例性實(shí)施例可實(shí)施為計(jì)算機(jī)可讀記錄介質(zhì)上的計(jì)算機(jī)可讀代碼。計(jì)算機(jī)可讀記錄介質(zhì)是可存儲(chǔ)之后可被計(jì)算機(jī)系統(tǒng)讀取的數(shù)據(jù)的任何數(shù)據(jù)存儲(chǔ)裝置。計(jì)算機(jī)可讀記錄介質(zhì)的示例包括只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、CD-ROM、磁帶、軟盤和光學(xué)數(shù)據(jù)存儲(chǔ)裝置。計(jì)算機(jī)可讀記錄介質(zhì)還可通過網(wǎng)絡(luò)連接的計(jì)算機(jī)系統(tǒng)分布從而計(jì)算機(jī)可讀代碼可以以分布方式來存儲(chǔ)和執(zhí)行。此外，示例性實(shí)施例可被編寫為通過計(jì)算機(jī)可讀傳輸介質(zhì)(諸如載波)傳輸并被執(zhí)行程序的通用數(shù)字計(jì)算機(jī)或?qū)Ｓ脭?shù)字計(jì)算機(jī)接收和實(shí)施的計(jì)算機(jī)程序。此外，內(nèi)容轉(zhuǎn)換設(shè)備I的一個(gè)或多個(gè)單元可包括執(zhí)行存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)程序的處理器或微處理器。雖然顯示和描述了ー些示例性實(shí)施例，但是本領(lǐng)域的技術(shù)人員將理解，在不脫離本發(fā)明構(gòu)思的原理和精神的情況下，可以對(duì)這些示例性實(shí)施例進(jìn)行改變，其中，本發(fā)明構(gòu)思的范圍由權(quán)利要求及其等同物限定。例如，在前述示例性實(shí)施例中，3D內(nèi)容的質(zhì)量針對(duì)諸如對(duì)象提取操作202、深度分配操作203等的操作而改變，盡管另ー示例性實(shí)施例不限于此。例如，根據(jù)ー個(gè)或多個(gè)其它示例性實(shí)施例，可根據(jù)3D內(nèi)容的質(zhì)量執(zhí)行不同的操作(諸如關(guān)鍵幀選擇操作502、渲染操作506等。·
權(quán)利要求
1.一種通過內(nèi)容轉(zhuǎn)換設(shè)備將二維(2D)內(nèi)容轉(zhuǎn)換為三維(3D)內(nèi)容的方法，所述方法包括 確定從作為視頻內(nèi)容并包括多個(gè)幀的2D內(nèi)容轉(zhuǎn)換的3D內(nèi)容的質(zhì)量； 從所述多個(gè)幀中的幀中提取對(duì)象； 將深度分配給提取的對(duì)象； 對(duì)具有分配了深度的對(duì)象的幀執(zhí)行用于轉(zhuǎn)換到3D內(nèi)容的渲染， 其中，根據(jù)確定的3D內(nèi)容的質(zhì)量執(zhí)行提取對(duì)象的操作、分配深度的操作和執(zhí)行渲染的操作中的至少一個(gè)操作。
2.如權(quán)利要求I所述的方法，其中，提取對(duì)象的操作、分配深度的操作和執(zhí)行渲染的操作中的至少一個(gè)操作包括 執(zhí)行根據(jù)預(yù)設(shè)參考信息實(shí)施的自動(dòng)處理； 執(zhí)行根據(jù)用戶輸入實(shí)施的手動(dòng)處理， 確定3D內(nèi)容的質(zhì)量的步驟包括確定性能程度，所述性能程度指示在對(duì)應(yīng)的提取對(duì)象的操作、分配深度的操作和執(zhí)行渲染的操作中的至少一個(gè)操作中實(shí)施的手動(dòng)處理和自動(dòng)處理中的每個(gè)的百分比。
3.如權(quán)利要求2所述的方法，其中，確定性能程度的步驟包括從根據(jù)性能程度分類的多個(gè)質(zhì)量模式中選擇一個(gè)質(zhì)量模式。
4.如權(quán)利要求3所述的方法，其中，執(zhí)行手動(dòng)處理的步驟包括顯示根據(jù)選擇的質(zhì)量模式被選擇性激活的至少一個(gè)圖形用戶界面(GUI)項(xiàng)作為用于在手動(dòng)處理中接收用戶輸入的⑶I項(xiàng)。
5.如權(quán)利要求I所述的方法，其中，根據(jù)關(guān)于將要處理的幀中的場(chǎng)景的內(nèi)容和發(fā)展的信息來執(zhí)行提取對(duì)象的操作和分配深度的操作中的至少一個(gè)操作。
6.如權(quán)利要求I所述的方法，還包括從多個(gè)幀中選擇關(guān)鍵幀， 其中，對(duì)選擇的關(guān)鍵幀執(zhí)行選擇對(duì)象的操作和分配深度的操作， 所述方法還包括對(duì)所述多個(gè)幀中的不是關(guān)鍵幀的另一幀執(zhí)行跟蹤。
7.如權(quán)利要求I所述的方法，還包括對(duì)執(zhí)行了渲染的多個(gè)幀執(zhí)行3D圖片質(zhì)量處理。
8.一種用于將2D內(nèi)容轉(zhuǎn)換為3D內(nèi)容的設(shè)備，所述設(shè)備包括轉(zhuǎn)換器，從作為視頻內(nèi)容的2D內(nèi)容的多個(gè)幀中的幀提取對(duì)象，將深度分配給提取的對(duì)象，對(duì)具有分配了深度的對(duì)象的幀執(zhí)行用于轉(zhuǎn)換到3D內(nèi)容的渲染， 其中，轉(zhuǎn)換器確定3D內(nèi)容的質(zhì)量并根據(jù)確定的3D內(nèi)容的質(zhì)量執(zhí)行提取對(duì)象的操作、分配深度的操作和執(zhí)行渲染的操作中的至少一個(gè)操作。
9.如權(quán)利要求8所述的設(shè)備，還包括用戶輸入單元，接收用戶的輸入， 其中，轉(zhuǎn)換器執(zhí)行基于預(yù)設(shè)參考信息的自動(dòng)處理和基于用戶輸入的手動(dòng)處理，以實(shí)施提取對(duì)象的操作、分配深度的操作和執(zhí)行渲染的操作中的至少一個(gè)操作， 其中，轉(zhuǎn)換器通過確定性能程度確定3D內(nèi)容的質(zhì)量，所述性能程度指示在對(duì)應(yīng)的提取對(duì)象的操作、分配深度的操作和執(zhí)行渲染的操作中的至少一個(gè)操作中實(shí)施的手動(dòng)處理和自動(dòng)處理中的每個(gè)的百分比。
10.如權(quán)利要求9所述的設(shè)備，其中，轉(zhuǎn)換器通過從根據(jù)性能程度分類的多個(gè)質(zhì)量模式中選擇一個(gè)質(zhì)量模式來確定性能程度。
11.如權(quán)利要求10所述的設(shè)備，其中，轉(zhuǎn)換器顯示根據(jù)選擇的質(zhì)量模式被選擇性激活的至少一個(gè)圖形用戶界面(GUI)項(xiàng)作為用于在手動(dòng)處理中接收用戶輸入的⑶I項(xiàng)。
12.如權(quán)利要求8所述的設(shè)備，其中，轉(zhuǎn)換器根據(jù)關(guān)于將要處理的幀中的場(chǎng)景的內(nèi)容和發(fā)展的信息來執(zhí)行提取對(duì)象的操作和分配深度的操作中的至少一個(gè)操作。
13.如權(quán)利要求8所述的設(shè)備，其中，轉(zhuǎn)換器從多個(gè)幀中選擇關(guān)鍵幀，并對(duì)選擇的關(guān)鍵幀執(zhí)行提取對(duì)象的操作和分配深度的操作， 其中，轉(zhuǎn)換器可對(duì)所述多個(gè)幀中的不是關(guān)鍵幀的另一幀執(zhí)行跟蹤。
14.如權(quán)利要求8所述的設(shè)備，其中，轉(zhuǎn)換器對(duì)執(zhí)行了渲染的多個(gè)幀執(zhí)行3D圖片質(zhì)量處理。
全文摘要
提供了一種用于將二維內(nèi)容轉(zhuǎn)換為三維內(nèi)容的設(shè)備和方法。通過內(nèi)容轉(zhuǎn)換設(shè)備將2D內(nèi)容轉(zhuǎn)換為3D內(nèi)容的方法包括確定將從作為視頻內(nèi)容并包括多個(gè)幀的2D內(nèi)容轉(zhuǎn)換的3D內(nèi)容的質(zhì)量；從所述多個(gè)幀中的幀中提取對(duì)象；將深度分配給提取的對(duì)象；對(duì)具有分配了深度的對(duì)象的幀執(zhí)行用于轉(zhuǎn)換到3D內(nèi)容的渲染，其中，根據(jù)確定的3D內(nèi)容的質(zhì)量執(zhí)行提取對(duì)象的操作、分配深度的操作和執(zhí)行渲染的操作中的至少一個(gè)操作。因此，可以提供滿足用戶喜好的具有多種質(zhì)量的3D內(nèi)容。
文檔編號(hào)G06T15/00GK102789648SQ201210032399
公開日2012年11月21日 申請(qǐng)日期2012年2月10日 優(yōu)先權(quán)日2011年5月17日
發(fā)明者權(quán)五允 申請(qǐng)人:三星電子株式會(huì)社