專利名稱：三維影像處理系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明是有關(guān)ー種三維(3D)影像系統(tǒng)，特別是關(guān)于一種可檢測(cè)及降低假影(artifact)的三維影像處理系統(tǒng)及方法。
背景技術(shù)：
圖I顯示傳統(tǒng)三維影像系統(tǒng)的方塊圖，深度產(chǎn)生器10根據(jù)ニ維(2D)影像輸入以產(chǎn)生深度消息。接著，深度影像成像器(depth-image-based rendering,DIBR) 12處理深度消息及ニ維影像以產(chǎn)生左場(chǎng)影像(L)及右場(chǎng)影像(R)，經(jīng)顯示讓觀者觀看。上述的深度消息(例如深度圖(depth map)) 一般是通過算法得到，因此通常會(huì)在 影像邊緣附近產(chǎn)生非連續(xù)現(xiàn)象。非連續(xù)的深度圖經(jīng)深度影像成像器(DIBR) 12處理后會(huì)產(chǎn)生擾人的鋸齒狀假影或錯(cuò)誤。鑒于傳統(tǒng)三維影像系統(tǒng)(特別是根據(jù)ニ維影像所導(dǎo)出的深度圖以產(chǎn)生三維影像的系統(tǒng))無(wú)法有效呈現(xiàn)三維影像，因此亟需提出一種新穎機(jī)制，用以降低三維影像中的鋸齒狀假影。

發(fā)明內(nèi)容
鑒于上述，本發(fā)明實(shí)施例的目的之ー在于提出一種三維影像處理系統(tǒng)及方法，用以有效檢測(cè)假影像素位置及實(shí)質(zhì)地降低假影。根據(jù)本發(fā)明實(shí)施例，三維影像處理系統(tǒng)包含深度產(chǎn)生器、深度影像成像(DIBR)單元、假影檢測(cè)單元及假影降低単元。深度產(chǎn)生器根據(jù)ニ維影像以產(chǎn)生深度圖。深度影像成像(DIBR)単元根據(jù)深度圖及ニ維影像以產(chǎn)生至少ー左場(chǎng)影像及至少ー右場(chǎng)影像，且根據(jù)深度圖以提供像素的空洞消息及像差值。假影檢測(cè)單元根據(jù)空洞消息及像差值以定位出假影像素位置。假影降低單元于該至少ー左場(chǎng)影像及該至少ー右場(chǎng)影像的假影像素位置處降低假影。本發(fā)明提供了一種三維影像處理系統(tǒng)，包含一深度產(chǎn)生器，其根據(jù)一二維影像以產(chǎn)生一深度圖；一深度影像成像単元，其根據(jù)該深度圖及該ニ維影像以產(chǎn)生至少ー左場(chǎng)影像及至少ー右場(chǎng)影像，該深度影像成像単元根據(jù)該深度圖以提供像素的空洞消息及像差值；ー假影檢測(cè)單元，其根據(jù)該空洞消息及該像差值以定位出ー假影像素位置；及ー假影降低単元，其于該至少ー左場(chǎng)影像及該至少ー右場(chǎng)影像的該假影像素位置處降低假影。本發(fā)明還提供了一種三維影像處理方法，包含根據(jù)一二維影像以產(chǎn)生一深度圖；以深度影像成像方法，根據(jù)該深度圖及該ニ維影像以產(chǎn)生至少ー左場(chǎng)影像及至少ー右場(chǎng)影像；以深度影像成像方法，根據(jù)該深度圖以提供像素的空洞消息及像差值；根據(jù)該空洞消息及該像差值以定位出ー假影像素位置；及于該至少ー左場(chǎng)影像及該至少ー右場(chǎng)影像的該假影像素位置處降低假影。


圖I顯示傳統(tǒng)三維影像系統(tǒng)的方塊圖。圖2顯示本發(fā)明實(shí)施例的三維影像處理系統(tǒng)的方塊圖，用以降低三維影像當(dāng)中的假影。圖3顯示本發(fā)明實(shí)施例的檢測(cè)假影像素位置的方法流程圖。圖4顯示本發(fā)明實(shí)施例的決定邊緣方向的方法 流程圖。圖5A顯示部分像素。圖5B顯示與圖5A相同的像素，并標(biāo)示以個(gè)別的像素值。圖6顯示低通濾波的方法流程，沿著圖4所決定的邊緣方向?qū)ο袼剡M(jìn)行低通濾波。[主要元件標(biāo)號(hào)說明]10 深度產(chǎn)生器 12深度影像成像器(DIBR)20 深度產(chǎn)生器 22深度影像成像(DIBR)単元220 像差產(chǎn)生器 24假影檢測(cè)單元26 假影降低単元 31-34 步驟41-46步驟51正I點(diǎn)方向52 負(fù)I點(diǎn)方向53正1/2點(diǎn)方向54 負(fù)1/2點(diǎn)方向 61-66 步驟L 左場(chǎng)影像R右場(chǎng)影像L’ 左場(chǎng)處理影像 R’右場(chǎng)處理影像
具體實(shí)施例方式圖2顯示本發(fā)明實(shí)施例的三維影像處理系統(tǒng)的方塊圖，用以降低三維影像當(dāng)中產(chǎn)生的假影(例如鋸齒狀假影)或錯(cuò)誤。在本實(shí)施例中，深度產(chǎn)生器20接收ニ維影像，并據(jù)以產(chǎn)生深度圖。于所產(chǎn)生的深度圖中，每ー像素或區(qū)塊具有相應(yīng)的深度值。例如，靠近觀者的對(duì)象具有較大的深度值，而遠(yuǎn)離觀者的對(duì)象具有較小的深度值。所產(chǎn)生的深度圖傳送給深度影像成像(DIBR)単元22，其根據(jù)深度圖及ニ維影像以產(chǎn)生(或合成)至少ー左場(chǎng)影像(L)及至少ー右場(chǎng)影像(R)。DIBR単元22的實(shí)施可使用傳統(tǒng)技術(shù)，例如 Christoph Fehn 所揭露的“A 3D_TVApproachUsing Depth-Image-BasedRendering(DIBR) ”。再者，DIBR單元22可產(chǎn)生包含ニ或多個(gè)不同視角影像的多重顯示(multi-view)影像。除了產(chǎn)生左、右場(chǎng)影像，DIBR單元22使用像差(disparity)產(chǎn)生器220，以產(chǎn)生或?qū)С鱿袼氐南癫钪?。在本說明書中，(像素的)“像差”是指左場(chǎng)影像與右場(chǎng)影像之間的水平差距。觀者即根據(jù)左場(chǎng)影像與右場(chǎng)影像之間存在的像差以感知三維影像的深度。DIBR單元22還提供像素的空洞消息。在本說明書中，“空洞”是指未指定有適當(dāng)像素值的像素。接著，假影(例如鋸齒狀假影)檢測(cè)單元24接收像差值或/且空洞消息，據(jù)以定位出假影像素位置。圖3顯示本發(fā)明實(shí)施例于左、右場(chǎng)影像檢測(cè)假影像素位置的方法流程圖。步驟31-34的執(zhí)行順序可作改變調(diào)整。于步驟31，決定左或右場(chǎng)影像的目前(待決定)像素及至少ー相鄰像素是否為空洞。步驟31可表示如下if (hole (i，j) = = l&(hole (i, j_l) == l//hole(i, j+1) ==1),
其中，DIBR単元22所提供的holeO邏輯值，當(dāng)為“I”時(shí)表示存在有空洞，當(dāng)為“O”時(shí)表示不存在有空洞。如果步驟31的結(jié)果為“是”，則目前像素為假影像素位置，表示目前像素位置極有可能存在假影(例如鋸齒狀假影)。否則，流程進(jìn)入步驟32。于步驟32，決定與目前像素相鄰的ニ像素是否皆為空洞。步驟32可表示如下if (hole (i, j-1) == IMhole (i, j+1) == I)。如果步驟32的結(jié)果為“是”，則目前像素為假影像素位置，表示目前像素位置極有 可能存在假影(例如鋸齒狀假影)。否則，流程進(jìn)入步驟33。于步驟33，決定目前像素分別與二相鄰像素的像差絕對(duì)差值是否都大于預(yù)設(shè)第一臨界值TL。步驟33可表示如下if(abs(disparity(i, j)-disparity(i, j-1)) > TL&&abs(disparity(i, j)-disparity(i, j-1)) > TL)，其中，disparity ()為像差值，由DI BR單元22所提供。如果步驟33的結(jié)果為“是”，則目前像素為假影像素位置，表示目前像素位置極有可能存在假影(例如鋸齒狀假影)。否則，流程進(jìn)入步驟34。于步驟34，決定目前像素與其中一個(gè)相鄰像素的像差絕對(duì)差值是否大于預(yù)設(shè)第二臨界值TS。在本實(shí)施例中，第一臨界值TL小于第二臨界值TS。步驟34可表示如下if (abs (disparity (i, j)-disparity (i, j-1)) > TS//abs (disparity (i, j)-disparity (i, j-1)) > TS)。如果步驟34的結(jié)果為“是”，則目前像素為假影像素位置，表示目前像素位置極有可能存在假影(例如鋸齒狀假影)。否則，結(jié)束流程。接著，DIBR単元22所產(chǎn)生的左場(chǎng)影像(L)及右場(chǎng)影像(R)以及假影檢測(cè)單元24所檢測(cè)的假影像素位置被饋至假影降低単元26，其于左、右場(chǎng)影像的假影像素位置處降低或消除假影或錯(cuò)誤，因而輸出左場(chǎng)處理影像(じ)及右場(chǎng)處理影像(R’)。于進(jìn)行假影降低之前，假影降低単元26決定ー特定方向或角度，根據(jù)該方向或角度以進(jìn)行假影的降低。圖4顯示本發(fā)明實(shí)施例的決定(影像)邊緣方向的方法流程圖。步驟41-46的執(zhí)行優(yōu)先級(jí)可作改變調(diào)整。圖4所示流程可適用于左場(chǎng)影像(L)，若將步驟43、44順序互換，將步驟45、46順序互換，則可適用于右場(chǎng)影像(R)。參閱圖4，于步驟41，決定垂直邊緣是否存在。步驟41可表示如下水平亮度差值> 垂直亮度差值+Tl，其中，Tl為預(yù)設(shè)臨界值，水平/垂直亮度差為水平/垂直像素之間的亮度差值。如果步驟41的結(jié)果為“是”，表示存在垂直邊緣，則流程進(jìn)入圖6的步驟61。否則，流程進(jìn)入步驟42。于步驟42，決定水平邊緣是否存在。步驟42可表示如下垂直亮度差值> 水平亮度差值+T2，其中，T2為預(yù)設(shè)臨界值。如果步驟42的結(jié)果為“是”，表示存在水平邊緣，則流程進(jìn)入圖6的步驟62。否則，流程進(jìn)入步驟43。圖5A顯示部分像素，排列為列A、列B及列C，水平方向由左至右分別標(biāo)示為-2、-1、0、+1、+2。圖5B顯示與圖5A相同的像素，并標(biāo)示以個(gè)別的像素值。如果目前像素位于B(O)，則垂直方向定義為連接A(O)及C(O)的方向，水平方向則定義為連接B (-1)及B(+l)的方向。正I點(diǎn)方向51定義為連接右上方像素A(+1)及左下方像素C(-l)的方向；負(fù)I點(diǎn)方向52定義為連接左上方像素A(-1)及右下方像素C(+1)的方向。正1/2點(diǎn)方向53更定義為介于垂直方向與正I點(diǎn)方向51之間的方向；負(fù)1/2點(diǎn)方向54定義為介于垂直方向與負(fù)I點(diǎn)方向52之間的方向。參閱圖4，于步驟43，決定負(fù)1/2點(diǎn)邊緣是否存在。步驟43可表示如下負(fù)1/2點(diǎn)方向亮度差值< min(水平亮度差值，垂直亮度差值)+T3，其中，T3為預(yù)設(shè)臨界值，min O為最小值運(yùn)算子，且負(fù)1/2點(diǎn)方向亮度差值表示沿負(fù)1/2點(diǎn)方向的像素間的亮度差值。 如果步驟43的結(jié)果為“是”，表示存在負(fù)1/2點(diǎn)邊緣，則流程進(jìn)入圖6的步驟63。否則，流程進(jìn)入步驟44。于步驟44，決定正1/2點(diǎn)邊緣是否存在。步驟44可表示如下正1/2點(diǎn)方向亮度差值< min(水平亮度差值，垂直亮度差值)+T4，其中，T4為預(yù)設(shè)臨界值，且正1/2點(diǎn)方向亮度差值表示沿正1/2點(diǎn)方向的像素間的亮度差值。如果步驟44的結(jié)果為“是”，表示存在正1/2點(diǎn)邊緣，則流程進(jìn)入圖6的步驟64。否則，流程進(jìn)入步驟45。于步驟45，決定負(fù)I點(diǎn)邊緣是否存在。步驟45可表示如下負(fù)I點(diǎn)方向亮度差值< min(水平亮度差值，垂直亮度差值)+T5，其中，T5為預(yù)設(shè)臨界值，且負(fù)I點(diǎn)方向亮度差值表示沿負(fù)I點(diǎn)方向的像素間的亮
度差值。如果步驟45的結(jié)果為“是”，表示存在負(fù)I點(diǎn)邊緣，則流程進(jìn)入圖6的步驟65。否貝丨J，流程進(jìn)入步驟46。于步驟46，決定正I點(diǎn)邊緣是否存在。步驟46可表示如下正I點(diǎn)方向亮度差值< min(水平亮度差值，垂直亮度差值)+T6，其中，T6為預(yù)設(shè)臨界值，且正I點(diǎn)方向亮度差值表示沿正I點(diǎn)方向的像素間的亮
度差值。如果步驟46的結(jié)果為“是”，表示存在正I點(diǎn)邊緣，則流程進(jìn)入圖6的步驟66。否貝IJ，結(jié)束流程。于決定出邊緣方向后，假影降低単元26沿著所決定的邊緣方向?qū)ο袼剡M(jìn)行假影降低處理。在本實(shí)施例中，假影降低単元26使用低通濾波以降低假影。圖6顯示低通濾波的方法流程，沿著圖4所決定的邊緣方向，于假影像素位置對(duì)像素進(jìn)行低通濾波。于以下的說明中，假設(shè)目前像素為B(O)(圖5A)。于步驟61，沿垂直方向?qū)Χ鄠€(gè)(例如三個(gè))像素進(jìn)行低通濾波。例如，濾波處理后的像素可表示為(A0*Wa+B0*Wb+C0*Wc)/T，其中，Wa、Wb及Wc分別為像素AO、BO及CO的權(quán)重，且Wa+Wb+Wc = T，T為定值。于步驟62，沿水平方向?qū)Χ鄠€(gè)(例如五個(gè))像素進(jìn)行低通濾波。例如，濾波處理后的像素可表示為(B_2*W_2+B_1*W_1+B0*W0+B1*W1+B2*W2)/T，其中，W_2、W_l、WO、Wl 及 W2分別為像素 B_2、B_l、B0、BI 及 B2 的權(quán)重，且 W_2+W_1+W0+W1+W2 = T。
于步驟63，沿負(fù)1/2點(diǎn)方向54對(duì)多個(gè)(例如五個(gè))像素進(jìn)行低通濾波。例如，濾波處理后的像素可表示為(A_1*W_1+A0*WA0+B0*WB0+C0*WC0+C1*W1)/T，其中，W_l、WA0、WBO、WCO 及 Wl 分別為像素 A_l、AO、B0、CO 及 Cl 的權(quán)重，且 W_1+WA0+WB0+WC0+W1 = T。于步驟64，沿正1/2點(diǎn)方向53對(duì)多個(gè)(例如五個(gè))像素進(jìn)行低通濾波。例如，濾波處理后的像素可表示為(C_1*W_1+C0*WC0+B0*WB0+A0*WA0+A1*W1)/T，其中，W_l、WC0、WBO、WAO 及 Wl 分別為像素 C_l、CO、BO、AO 及 Al 的權(quán)重，且 W_1+WC0+WB0+WA0+W1 = T。于步驟65，沿負(fù)I點(diǎn)方向52對(duì)多個(gè)(例如三個(gè))像素進(jìn)行低通濾波。例如，濾波處理后的像素可表示為(A_1*W_1+B0*W0+C1*W1)/T，其中，V_U WO及Wl分別為像素A_l、BO 及 Cl 的權(quán)重，且 W_1+W0+W1 = T0于步驟66，沿正I點(diǎn)方向51對(duì)多個(gè)(例如三個(gè))像素進(jìn)行低通濾波。例如,濾波處理后的像素可表示為(C_1*W_1+B0*W0+A1*W1)/T，其中，V_U WO及Wl分別為像素C_l、BO 及 Al 的權(quán)重，且 W_1+W0+W1 = T0 以上所述僅為本發(fā)明的較佳實(shí)施例而已，并非用以限定本發(fā)明的權(quán)利要求范圍；凡其它未脫離發(fā)明所掲示的精神下所完成的等效改變或修飾，均應(yīng)包含在上述的權(quán)利要求范圍內(nèi)。
權(quán)利要求
1.一種三維影像處理系統(tǒng)，包含 一深度產(chǎn)生器，其根據(jù)一二維影像以產(chǎn)生一深度圖； 一深度影像成像單元，其根據(jù)該深度圖及該二維影像以產(chǎn)生至少一左場(chǎng)影像及至少一右場(chǎng)影像，該深度影像成像單元根據(jù)該深度圖以提供像素的空洞消息及像差值； 一假影檢測(cè)單元，其根據(jù)該空洞消息及該像差值以定位出一假影像素位置；及 一假影降低單元，其于該至少一左場(chǎng)影像及該至少一右場(chǎng)影像的該假影像素位置處降低假影。
2.根據(jù)權(quán)利要求I所述的三維影像處理系統(tǒng)，其中該假影檢測(cè)單元根據(jù)以下決定以定位出該假影像素位置 決定一目前像素及至少一相鄰像素是否為空洞。
3.根據(jù)權(quán)利要求I所述的三維影像處理系統(tǒng)，其中該假影檢測(cè)單元根據(jù)以下決定以定位出該假影像素位置 決定一目前像素的二相鄰像素是否皆為空洞。
4.根據(jù)權(quán)利要求I所述的三維影像處理系統(tǒng)，其中該假影檢測(cè)單元根據(jù)以下決定以定位出該假影像素位置 決定一目前像素分別與二相鄰像素的像差絕對(duì)差值是否都大于一預(yù)設(shè)第一臨界值。
5.根據(jù)權(quán)利要求I所述的三維影像處理系統(tǒng)，其中該假影檢測(cè)單元根據(jù)以下決定以定位出該假影像素位置 決定一目前像素與其中一相鄰像素的像差絕對(duì)差值是否大于一預(yù)設(shè)第二臨界值。
6.根據(jù)權(quán)利要求I所述的三維影像處理系統(tǒng)，其中該假影降低單元根據(jù)以下步驟以降低假影 決定一邊緣方向；及 沿著該決定的邊緣方向，對(duì)該假影像素位置的像素進(jìn)行低通濾波。
7.根據(jù)權(quán)利要求6所述的三維影像處理系統(tǒng)，其中該邊緣方向?yàn)橐韵轮淮怪边吘?、水平邊緣、?fù)1/2點(diǎn)邊緣、正1/2點(diǎn)邊緣、負(fù)I點(diǎn)邊緣及正I點(diǎn)邊緣。
8.根據(jù)權(quán)利要求I所述的三維影像處理系統(tǒng)，其中該深度影像成像單元包含一像差產(chǎn)生器，用以產(chǎn)生該像差值。
9.一種三維影像處理方法，包含 根據(jù)一二維影像以產(chǎn)生一深度圖； 以深度影像成像方法，根據(jù)該深度圖及該二維影像以產(chǎn)生至少一左場(chǎng)影像及至少一右場(chǎng)影像； 以深度影像成像方法，根據(jù)該深度圖以提供像素的空洞消息及像差值； 根據(jù)該空洞消息及該像差值以定位出一假影像素位置；及 于該至少一左場(chǎng)影像及該至少一右場(chǎng)影像的該假影像素位置處降低假影。
10.根據(jù)權(quán)利要求9所述的三維影像處理方法，其中該假影像素位置是根據(jù)以下決定而定位 決定一目前像素及至少一相鄰像素是否為空洞。
11.根據(jù)權(quán)利要求9所述的三維影像處理方法，其中該假影像素位置是根據(jù)以下決定而定位決定一目前像素的二相鄰像素是否皆為空洞。
12.根據(jù)權(quán)利要求9所述的三維影像處理方法，其中該假影像素位置是根據(jù)以下決定而定位 決定一目前像素分別與二相鄰像素的像差絕對(duì)差值是否都大于一預(yù)設(shè)第一臨界值。
13.根據(jù)權(quán)利要求9所述的三維影像處理方法，其中該假影像素位置是根據(jù)以下決定而定位 決定一目前像素與其中一相鄰像素的像差絕對(duì)差值是否大于一預(yù)設(shè)第二臨界值。
14.根據(jù)權(quán)利要求9所述的三維影像處理方法，其中該假影的降低包含以下步驟 決定一邊緣方向；及 沿著該決定的邊緣方向，對(duì)該假影像素位置的像素進(jìn)行低通濾波。
15.根據(jù)權(quán)利要求14所述的三維影像處理方法，其中該邊緣方向?yàn)橐韵轮淮怪边吘墶⑺竭吘?、?fù)1/2點(diǎn)邊緣、正1/2點(diǎn)邊緣、負(fù)I點(diǎn)邊緣及正I點(diǎn)邊緣。
全文摘要
一種三維影像處理系統(tǒng)及方法。深度產(chǎn)生器根據(jù)二維影像以產(chǎn)生深度圖。深度影像成像(DIBR)單元根據(jù)深度圖及二維影像以產(chǎn)生至少一左場(chǎng)影像及至少一右場(chǎng)影像，且根據(jù)深度圖以提供像素的空洞消息及像差值。假影檢測(cè)單元根據(jù)空洞消息及像差值以定位出假影像素位置。假影降低單元于該至少一左場(chǎng)影像及該至少一右場(chǎng)影像的假影像素位置處降低假影。
文檔編號(hào)H04N13/00GK102811357SQ20111014831
公開日2012年12月5日 申請(qǐng)日期2011年6月3日 優(yōu)先權(quán)日2011年6月3日
發(fā)明者陳瀅如 申請(qǐng)人:奇景光電股份有限公司