2d到3d圖像轉(zhuǎn)換裝置及方法
【專利說明】2D到3D圖像轉(zhuǎn)換裝置及方法
[0001]本申請已以一個(gè)命名為“2D到3D視頻轉(zhuǎn)換”的暫定的專利申請書向其他國家作過優(yōu)先權(quán)申請，申請于2013年10月3日，申請?zhí)枮?1/886602，所述申請通過引用并入本申請中。
發(fā)明領(lǐng)域
[0002]本申請公開涉及圖像轉(zhuǎn)換領(lǐng)域，更具體地，涉及一種二維到三維圖像轉(zhuǎn)換裝置及方法。
【背景技術(shù)】
[0003]三維(“3D”)顯示器件在消費(fèi)性電子產(chǎn)品(例如液晶顯示屏、等離子顯示屏、便攜式電話等)領(lǐng)域越來越普遍存在，在消費(fèi)性電子產(chǎn)品上生成用于顯示的三維內(nèi)容成為一個(gè)極具研宄和發(fā)展價(jià)值的領(lǐng)域。因此，各種實(shí)時(shí)的二維(“2D”)到3D圖像的轉(zhuǎn)換技術(shù)已發(fā)展到從現(xiàn)有的2D視頻內(nèi)容源(如DVD、藍(lán)光光碟和無線廣播等)獲得3D內(nèi)容。然而，目前的技術(shù)由于其高計(jì)算復(fù)雜性和/或不令人滿意的圖像質(zhì)量而無法接受長期使用。
[0004]現(xiàn)有技術(shù)的2D到3D視頻轉(zhuǎn)換使用幀到幀移動(dòng)從視頻內(nèi)容分析中獲得重建的3D對象。此外，運(yùn)動(dòng)矢量可進(jìn)一步與其他公開技術(shù)，如線性透視和基于顏色的分割結(jié)合而得到定性的深度圖。然而，計(jì)算運(yùn)動(dòng)矢量和語義視頻內(nèi)容分析顯著增加計(jì)算復(fù)雜性。由于上述原因，亟需一種新的具有較低計(jì)算復(fù)雜性和實(shí)施成本的2D到3D圖像轉(zhuǎn)換方法和裝置。

【發(fā)明內(nèi)容】

[0005]簡要地說，本申請公開涉及一種轉(zhuǎn)換二維(“2D”)圖像內(nèi)容至三維(“3D”)圖像內(nèi)容以在顯示設(shè)備上顯示的方法，包括以下步驟:分析二維圖像內(nèi)容的預(yù)定指標(biāo)并為每個(gè)所述預(yù)定指標(biāo)生成一深度圖，根據(jù)生成的深度圖確定一組合深度圖，并根據(jù)組合深度圖生成用于在顯示設(shè)備上顯示的三維圖像內(nèi)容。
【附圖說明】
[0006]本申請公開的上述事項(xiàng)和其他方面可以更好地結(jié)合以下實(shí)施例的詳細(xì)描述和附圖理解。
[0007]圖1示出一 2D到3D圖像轉(zhuǎn)換器的框圖。
[0008]圖2示出一場景分析器的框圖。
[0009]圖3示出從2D圖像內(nèi)容生成3D圖像內(nèi)容的流程圖。
[0010]圖4示出從2D圖像內(nèi)容的細(xì)節(jié)深度生成深度圖的框圖。
[0011]圖5示出從2D圖像內(nèi)容的顏色深度生成深度圖的框圖。
[0012]圖6示出從2D圖像內(nèi)容的模式深度生成深度圖的框圖。
[0013]圖7示出一示例深度模式的曲線圖。
【具體實(shí)施方式】
[0014]在以下具體實(shí)施例的詳細(xì)描述中，參照附圖，這些附圖形成其一部分，并且通過附圖示出本申請公開內(nèi)容可以實(shí)施的具體實(shí)施例的方式。
[0015]圖1示出一 2D到3D圖像轉(zhuǎn)換器的框圖。該2D到3D圖像內(nèi)容轉(zhuǎn)換器可以包括一等比例縮小塊10，一場景分析器12，一等比例放大塊14，一深度后處理塊16，一基于深度渲染塊18，提高3D濾波器20和22，和一個(gè)深度輸出塊24。2D圖像內(nèi)容(例如幀數(shù)據(jù))可以被輸入到等比例縮小模塊10以通過一預(yù)定義的系數(shù)(例如2，4，8，或另一預(yù)定數(shù)字)按比例縮小2D圖像內(nèi)容。該2D圖像內(nèi)容可以在YUV顏色空間、RGB顏色空間、PMS顏色空間、NCS顏色空間、TSL顏色空間或其他圖像顏色空間中被格式化。例如，該2D圖像內(nèi)容在YUV顏色空間被格式化，且每次可被處理一幀。因此，2D到3D轉(zhuǎn)換可以在幀處理中完成。當(dāng)然，其他顏色空間也可在本申請公開中使用。
[0016]按比例縮小的2D圖像內(nèi)容被輸入到場景分析器12來識別在等比例縮小模塊10中2D圖像內(nèi)容的預(yù)定指標(biāo)(例如區(qū)域、對象、顏色、型號、亮度值等)。例如預(yù)定區(qū)域、預(yù)定對象、預(yù)定義的顏色、預(yù)定義的模式、預(yù)定亮度值和/或其它預(yù)定義的指標(biāo)均可以被識別。一旦確定，2D圖像內(nèi)容的深度信息即可根據(jù)識別的預(yù)定指標(biāo)生成。
[0017]之后，該深度信息被輸入到等比例放大塊14中以將深度信息按比例放大為2D圖像內(nèi)容的原始格式大小。按比例放大的深度信息被輸入到深度后處理塊16，該深度后處理塊16可以把無限脈沖響應(yīng)(“IIR”)運(yùn)用到按比例縮小的2D圖像內(nèi)容中以加強(qiáng)深度信息。也可以應(yīng)用一個(gè)有限脈沖響應(yīng)(或其他濾波器)來提供靈活性和滿足性能需求。接著，深度后處理塊16輸出一左視圖，一左視圖深度信息，一右視圖和一右視圖深度信息。
[0018]左視圖和左視圖深度信息被輸入到提高3D濾波器20，該提高3D濾波器20可以提高(例如銳化)YUV左視圖，并且輸出提高后的左視圖至深度輸出塊24。此外，右視圖和右視圖深度信息被輸入提高3D濾波器22，該提高3D濾波器22可以提高(例如銳化)YUV右視圖，并且輸出提高后的右視圖至深度輸出塊24。深度輸出塊24可接收提高的左視圖和右視圖，并且根據(jù)選擇的適合顯示設(shè)備格式的輸出方式類型輸出3D圖像內(nèi)容。
[0019]當(dāng)然，本實(shí)施例中按比例縮小和按比例放大可以任選成分。按比例縮小和按比例放大有助于降低計(jì)算復(fù)雜性。然而，一個(gè)沒有按比例縮小的2D圖像內(nèi)容也可以結(jié)合實(shí)施例使用。此外，本實(shí)施例中后處理塊和過濾塊也是可選的部件。本實(shí)施例中對按比例縮小、按比例放大、后處理以及過濾的描述并不是將本發(fā)明限制到這些具體的實(shí)施方式。
[0020]圖2示出了一個(gè)場景分析器的框圖。場景分析器12包括一細(xì)節(jié)分析器40，一顏色分析器42，一模式分析器44，一亮度分析器46，一混合器48，和一規(guī)整器50。本領(lǐng)域的普通技術(shù)人員可以理解，場景分析器可包括一個(gè)或多個(gè)用于分析預(yù)訂數(shù)量的場景指標(biāo)的分析儀?；旌掀?8和規(guī)整器50也可以由其它組件取代或完全省略。因此，圖2的圖示決不意味著限制本發(fā)明。
[0021]參照圖2，該2D圖像內(nèi)容可以被輸入至每個(gè)分析器40-46。細(xì)節(jié)分析器40檢測2D圖像內(nèi)容中任何有圖像特征的區(qū)域，然后相應(yīng)地生成一個(gè)細(xì)節(jié)深度圖。顏色分析器42檢測2D圖像內(nèi)容中任何有預(yù)定顏色的區(qū)域，然后相應(yīng)地生成一個(gè)顏色深度圖。模式分析器44為2D圖像內(nèi)容選擇一個(gè)場景模式，然后相應(yīng)地生成一個(gè)模式深度圖。亮度值分析器46檢測2D圖像內(nèi)容中任何超出一個(gè)或多個(gè)預(yù)定亮度值的區(qū)域，然后相應(yīng)地生成一個(gè)亮度深度圖。
[0022]細(xì)節(jié)深度圖、顏色深度圖、模式深度圖以及亮度深度圖被輸入到混合器48，該混合器48可以將加權(quán)算法運(yùn)用到各種深度圖中以產(chǎn)生混合深度圖。該混合深度圖被輸出至規(guī)整器50，該規(guī)整器50規(guī)格化混合深度圖，并輸出規(guī)范化的深度圖作為深度信息。
[0023]圖3示出從2D圖像內(nèi)容生成3D圖像內(nèi)容的流程圖。通過分析2D圖像內(nèi)容來檢測場景指標(biāo)30，可以將2D圖像內(nèi)容轉(zhuǎn)換為3D圖像內(nèi)容。根據(jù)被檢測的場景指標(biāo)，為每個(gè)場景指標(biāo)生成一深度圖。接著，根據(jù)生成的深度圖32可以確定一組合深度圖34。最后，根據(jù)組合深度圖34可以生成3D圖像內(nèi)容，所生成的3D圖像內(nèi)容可以被顯示在3D顯示設(shè)備上。
[0024]圖4示出從2D圖像內(nèi)容中生成細(xì)節(jié)深度圖的框圖。細(xì)節(jié)分析器40包括一水平邊緣檢測器80，一垂直邊緣檢測器82，一混合器84，一低通濾波器86，一第二預(yù)定濾波器88和一個(gè)剪切塊90。2D圖像內(nèi)容可以被輸入至水平邊緣檢測器80和垂直邊緣檢測器82，水平邊緣檢測器80在該2D圖像內(nèi)容中檢測水平邊緣，垂直邊緣檢測器82在該2D圖像內(nèi)容中檢測垂直邊緣。被檢測到的水平邊緣和垂直邊緣進(jìn)行加權(quán)，然后由混合器84混合。例如，被輸入混合器84之前，被檢測到的垂直邊緣可以比被檢測到的水平邊緣進(jìn)行更多的加權(quán)。
[0025]之后，混合器84可以混合被檢測到的邊緣，并輸出該混合數(shù)據(jù)到低通濾波器86。該低通濾波器86過濾混合數(shù)據(jù)并將濾波數(shù)據(jù)輸出至第二預(yù)定濾波器88。低通濾波器86可能不足以提供穩(wěn)定的結(jié)果。因此，第二預(yù)定義濾波器88施加更強(qiáng)的過濾至濾波數(shù)據(jù)，并輸出進(jìn)一步濾波的數(shù)據(jù)到剪