多視點圖像生成裝置以及方法
【專利摘要】本發(fā)明提供一種能夠不受遮蔽的影響，得到?jīng)]有失真的多視點圖像信號的多視點圖像生成裝置以及方法。視點位置判定部（61）判定視點排列信號表示的視點接近左眼視點和右眼視點的哪一個。系數(shù)發(fā)生部（62）基于視點排列信號來發(fā)生系數(shù)。選擇部（63）選擇左眼視點圖像信號和右眼視點圖像信號的某一個。選擇部（64）選擇左眼視點深度值（DPT_L）和右眼視點深度值（DPT_R）的某一個。乘法器（65）在左眼視點深度值（DPT_L）或右眼視點深度值（DPT_R）上乘以系數(shù)。像素遷移部（66）根據(jù)從乘法器（65）輸出的深度值，對左眼視點圖像信號以及右眼視點圖像信號進(jìn)行像素遷移，生成多視點圖像信號。
【專利說明】多視點圖像生成裝置以及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及基于2視點的圖像信號生成3視點以上的多視點圖像信號的多視點圖像生成裝置以及方法。
【背景技術(shù)】
[0002]例如在專利文獻(xiàn)I中提出了基于左眼視點圖像信號和右眼視點圖像信號的2視點的圖像信號生成3視點以上的多視點圖像信號的多視點圖像生成裝置。在專利文獻(xiàn)I中記載的多視點圖像生成裝置中，生成表示從2視點的圖像信號中提取出的視點圖像間的視差的視差圖，使用視差圖生成多視點圖像信號。
[0003]專利文獻(xiàn)1:日本特開2001-346226號公報

【發(fā)明內(nèi)容】

[0004]在2視點的圖像中，存在從一個視點能夠看見但從另一視點無法看見的區(qū)域，SP存在所謂的遮蔽。因此，存在無法根據(jù)2視點的圖像信號生成適當(dāng)?shù)囊暡顖D，在使用視差圖生成的多視點圖像信號中產(chǎn)生失真的問題。
[0005]鑒于這種問題，本發(fā)明目的在于提供一種能夠不受遮蔽的影響地得到?jīng)]有失真的多視點圖像信號的多視點圖像生成裝置以及方法。
[0006]本發(fā)明為了解決上述現(xiàn)有技術(shù)的問題，提供多視點圖像生成裝置，其中，具備:基本深度模型生成部(1)，其生成表示預(yù)定的場景構(gòu)造的畫面內(nèi)的深度值的基本深度模型；左眼視點圖像對象信息生成部(2)，其基于左眼視點圖像信號推測圖像內(nèi)的被攝體的凹凸信息，生成左眼視點凹凸值；右眼視點圖像對象信息生成部(3)，其基于右眼視點圖像信號推測圖像內(nèi)的被攝體的凹凸信息，生成右眼視點凹凸值；第一加法器(4)，其將所述基本深度模型和所述左眼視點凹凸值相加，生成左眼視點深度值；第二加法器(5)，其將所述基本深度模型和所述右眼視點凹凸值相加，生成右眼視點深度值；視點排列信號生成部(7)，其根據(jù)畫面內(nèi)的像素的位置，生成表示是多個視點中的哪個視點的視點排列信號；以及多視點圖像信號生成部(6)，其基于所述左眼視點圖像信號、所述右眼視點圖像信號、所述左眼視點深度值、所述右眼視點深度值、所述視點排列信號，生成3視點以上的多視點圖像信號，所述多視點圖像信號生成部具有:視點位置判定部(61)，其判定所述視點排列信號表示的視點接近左眼視點和右眼視點的哪一個；系數(shù)發(fā)生部(62)，其基于所述視點排列信號，在所述左眼視點或所述右眼視點的右側(cè)的視點，發(fā)生隨著從所述左眼視點或所述右眼視點遠(yuǎn)離而向正方向增大的系數(shù)，在所述左眼視點或所述右眼視點的左側(cè)的視點，發(fā)生隨著從所述左眼視點或所述右眼視點遠(yuǎn)離而向負(fù)方向增大的系數(shù)；第一選擇部(63)，其基于所述視點位置判定部的判定結(jié)果，選擇所述左眼視點圖像信號和所述右眼視點圖像信號的某一個；第二選擇部(64)，其基于所述視點位置判定部的判定結(jié)果，選擇所述左眼視點深度值和所述右眼視點深度值的某一個；乘法器(65)，其在通過所述第二選擇部選擇的所述左眼視點深度值或所述右眼視點深度值上乘以所述系數(shù)發(fā)生部所發(fā)生的系數(shù)；以及像素遷移部(66)，其根據(jù)從所述乘法器輸出的深度值，對通過所述第一選擇部選擇的所述左眼視點圖像信號以及所述右眼視點圖像信號進(jìn)行像素遷移，生成多視點圖像信號。
[0007]在上述多視點圖像生成裝置中，理想的是所述基本深度模型生成部，從作為基本的表示多個場景構(gòu)造的各自的畫面內(nèi)的深度值的多個基本深度模型中選擇任意一個，或者組合所述多個基本深度模型來生成基本深度模型。
[0008]在上述多視點圖像生成裝置中，理想的是所述基本深度模型生成部，根據(jù)畫面內(nèi)的預(yù)定區(qū)域中包含的高頻成分的程度，從所述多個基本深度模型中選擇任意一個，或者組合所述多個基本深度模型。
[0009]在上述多視點圖像生成裝置中，理想的是所述左眼視點圖像對象信息生成部以及所述右眼視點圖像對象信息生成部分別基于紅色信號來推測所述被攝體的凹凸信息。
[0010]另外，本發(fā)明為了解決上述現(xiàn)有技術(shù)的問題，提供一種多視點圖像生成方法，其中，基于左眼視點圖像信號推測圖像內(nèi)的被攝體的凹凸信息，生成左眼視點凹凸值；基于右眼視點圖像信號推測圖像內(nèi)的被攝體的凹凸信息，生成右眼視點凹凸值；將表示預(yù)定的場景構(gòu)造的畫面內(nèi)的深度值的基本深度模型和所述左眼視點凹凸值相加，生成左眼視點深度值；將所述基本深度模型和所述右眼視點凹凸值相加，生成右眼視點深度值；根據(jù)畫面內(nèi)的像素的位置，生成表示是多個視點中的哪個視點的視點排列信號；判定所述視點排列信號表示的視點接近左眼視點和右眼視點的哪一個；基于所述視點排列信號，在所述左眼視點或所述右眼視點的右側(cè)的視點，發(fā)生隨著從所述左眼視點或所述右眼視點遠(yuǎn)離而向正方向增大的系數(shù)，在所述左眼視點或所述右眼視點的左側(cè)的視點，發(fā)生隨著從所述左眼視點或所述右眼視點遠(yuǎn)離而向負(fù)方向增大的系數(shù)；基于接近左眼視點和右眼視點的哪一個的判定結(jié)果，選擇所述左眼視點圖像信號和所述右眼視點圖像信號的某一個；基于所述判定結(jié)果，選擇所述左眼視點深度值和所述右眼視點深度值的某一個；在所選擇的所述左眼視點深度值或所述右眼視點深度值上乘以所述系數(shù)；根據(jù)乘以所述系數(shù)而得的所述左眼視點深度值或所述右眼視點深度值，對所述左眼視點圖像信號以及所述右眼視點圖像信號進(jìn)行像素遷移，生成多視點圖像信號。
[0011]根據(jù)本發(fā)明的多視點圖像生成裝置以及方法，能夠不受遮蔽的影響地得到?jīng)]有失真的多視點圖像信號。
【專利附圖】

【附圖說明】
[0012]圖1是表示一個實施方式的多視點圖像生成裝置的框圖。
[0013]圖2是表示圖1中的基本深度模型生成部I生成的基本深度模型(類型I)的立體構(gòu)造的一例的圖。
[0014]圖3是表示圖1中的基本深度模型生成部I生成的基本深度模型(類型2)的立體構(gòu)造的一例的圖。
[0015]圖4是表示圖1中的基本深度模型生成部I生成的基本深度模型(類型3)的立體構(gòu)造的一例的圖。
[0016]圖5是表示圖1中的基本深度模型生成部I合成基本深度模型時的合成比例決定條件的一例的圖。
[0017]圖6是表示顯示多視點圖像信號的立體圖像顯示裝置的圖。[0018]圖7是用于說明7視點的多視點圖像信號的視點位置的例子的圖。
[0019]圖8是表示根據(jù)觀看立體圖像顯示裝置的面部的位置可以觀看的視點位置的例子的圖。
[0020]圖9是表示圖1中的多視點圖像信號生成部6的具體的結(jié)構(gòu)例的框圖。
[0021]圖10是用于說明圖9中的視點位置判定部61中的判定動作的圖。
[0022]圖11是用于說明圖9中的系數(shù)發(fā)生部62發(fā)生的系數(shù)的圖。
[0023]符號說明
[0024]I基本深度模型生成部
[0025]2左眼視點圖像對象信息生成部
[0026]3右眼視點圖像對象信息生成部
[0027]4、5加法器
[0028]6多視點圖像信號生成部
[0029]7視點排列信號生成部
[0030]61視點位置判定部
[0031]62系數(shù)發(fā)生部
[0032]63、64 選擇部
[0033]65乘法器
[0034]66像素遷移部
【具體實施方式】
[0035]以下，參照【專利附圖】

【附圖說明】一個實施方式的多視點圖像生成裝置以及方法。如圖1所示，一個實施方式的多視點圖像生成裝置具備:基本深度模型生成部1、左眼視點圖像對象信息生成部2、右眼視點圖像對象信息生成部3、加法器4、加法器5、多視點圖像信號生成部6以及視點排列信號生成部7。
[0036]基本深度模型生成部I例如存儲圖2?圖4所示那樣的基本深度模型。將圖2?圖4所示的基本深度模型分別設(shè)為類型1、類型2、類型3。圖2、圖3、圖4分別表示基本深度模型的類型1、類型2、類型3的立體構(gòu)造的一例。圖2、圖3所示的類型1、類型2的基本深度模型是凹面類型的基本深度模型。圖4所示的類型3的基本深度模型是非凹面的平面類型的基本深度模型。
[0037]所謂基本深度模型是用于決定畫面全體的視差值的模型。基本深度模型是用于將平面上的各個像素向圖2?圖4所示那樣的非平面形狀的特性具有的超出方向或進(jìn)入方向(深度方向)遷移的數(shù)據(jù)。基本深度模型生成部I可以預(yù)先存儲基本深度模型，也可以通過計算來發(fā)生?；旧疃饶Ｐ妥鳛橐焕梢杂赏ㄟ^從白到黑的灰階來表現(xiàn)超出方向或深度方向的亮度信號構(gòu)成。
[0038]向基本深度模型生成部I輸入左眼視點圖像信號和右眼視點圖像信號?；旧疃饶Ｐ蜕刹縄基于左眼視點圖像信號或右眼視點圖像信號，或者基于左眼視點圖像信號以及右眼視點圖像信號來選擇類型I?3的某一種基本深度模型?；旧疃饶Ｐ蜕刹縄可以對類型I?3的基本深度模型中的2個或全部進(jìn)行合成。
[0039]基本深度模型生成部I例如如下這樣選擇或合成基本深度模型?；旧疃饶Ｐ蜕刹縄評價各個幀的上部約20%的區(qū)域中含有多大程度的高頻成分(預(yù)定統(tǒng)計量)。具體來說，基本深度模型生成部I將上部約20%的區(qū)域分割為水平8像素、垂直8像素的塊，在各個塊中計算如下的式(1)，將塊的平均設(shè)為上部高頻成分評價值top_act。
[0040][數(shù)學(xué)式I]
【權(quán)利要求】
1.一種多視點圖像生成裝置，其特征在于， 具備: 基本深度模型生成部，其生成表示預(yù)定的場景構(gòu)造的畫面內(nèi)的深度值的基本深度模型； 左眼視點圖像對象信息生成部，其基于左眼視點圖像信號推測圖像內(nèi)的被攝體的凹凸信息，生成左眼視點凹凸值； 右眼視點圖像對象信息生成部，其基于右眼視點圖像信號推測圖像內(nèi)的被攝體的凹凸信息，生成右眼視點凹凸值； 第一加法器，其將所述基本深度模型和所述左眼視點凹凸值相加，生成左眼視點深度值； 第二加法器，其將所述基本深度模型和所述右眼視點凹凸值相加，生成右眼視點深度值； 視點排列信號生成部，其根據(jù)畫面內(nèi)的像素的位置，生成表示是多個視點中的哪個視點的視點排列信號；以及 多視點圖像信號生成部，其基于所述左眼視點圖像信號、所述右眼視點圖像信號、所述左眼視點深度值、所述右眼視點深度值、所述視點排列信號，生成3視點以上的多視點圖像信號， 所述多視點圖像信號生成部具有: 視點位置判定部，其判定所述視點排列信號表示的視點接近左眼視點和右眼視點的哪一個； 系數(shù)發(fā)生部，其基于所述視點排列信號，在所述左眼視點或所述右眼視點的右側(cè)的視點，發(fā)生隨著從所述左眼視點或所述右眼視點遠(yuǎn)離而向正方向增大的系數(shù)，在所述左眼視點或所述右眼視點的左側(cè)的視點，發(fā)生隨著從所述左眼視點或所述右眼視點遠(yuǎn)離而向負(fù)方向增大的系數(shù)； 第一選擇部，其基于所述視點位置判定部的判定結(jié)果，選擇所述左眼視點圖像信號和所述右眼視點圖像信號的某一個； 第二選擇部，其基于所述視點位置判定部的判定結(jié)果，選擇所述左眼視點深度值和所述右眼視點深度值的某一個； 乘法器，其在通過所述第二選擇部選擇的所述左眼視點深度值或所述右眼視點深度值上乘以所述系數(shù)發(fā)生部所發(fā)生的系數(shù)；以及 像素遷移部，其根據(jù)從所述乘法器輸出的深度值，對通過所述第一選擇部選擇的所述左眼視點圖像信號以及所述右眼視點圖像信號進(jìn)行像素遷移，生成多視點圖像信號。
2.根據(jù)權(quán)利要求1所述的多視點圖像生成裝置，其特征在于， 所述基本深度模型生成部，從作為基本的表示多個場景構(gòu)造的各自的畫面內(nèi)的深度值的多個基本深度模型中選擇任意一個，或者組合所述多個基本深度模型來生成基本深度模型。
3.根據(jù)權(quán)利要求2所述的多視點圖像生成裝置，其特征在于， 所述基本深度模型生成部，根據(jù)畫面內(nèi)的預(yù)定區(qū)域中包含的高頻成分的程度，從所述多個基本深度模型中選擇任意一個，或者組合所述多個基本深度模型。
4.根據(jù)權(quán)利要求1至3中任意一項所述的多視點圖像生成裝置，其特征在于， 所述左眼視點圖像對象信息生成部以及所述右眼視點圖像對象信息生成部分別基于紅色信號來推測所述被攝體的凹凸信息。
5.一種多視點圖像生成方法，其特征在于， 基于左眼視點圖像信號推測圖像內(nèi)的被攝體的凹凸信息，生成左眼視點凹凸值；基于右眼視點圖像信號推測圖像內(nèi)的被攝體的凹凸信息，生成右眼視點凹凸值；將表示預(yù)定的場景構(gòu)造的畫面內(nèi)的深度值的基本深度模型和所述左眼視點凹凸值相加，生成左眼視點深度值； 將所述基本深度模型和所述右眼視點凹凸值相加，生成右眼視點深度值； 根據(jù)畫面內(nèi)的像素的位置，生成表示是多個視點中的哪個視點的視點排列信號； 判定所述視點排列信號表示的視點接近左眼視點和右眼視點的哪一個；基于所述視點排列信號，在所述左眼視點或所述右眼視點的右側(cè)的視點，發(fā)生隨著從所述左眼視點或所述右眼視點遠(yuǎn)離而向正方向增大的系數(shù)，在所述左眼視點或所述右眼視點的左側(cè)的視點，發(fā)生隨著從所述左眼視點或所述右眼視點遠(yuǎn)離而向負(fù)方向增大的系數(shù)；基于接近左眼視點和右眼視點的哪一個的判定結(jié)果，選擇所述左眼視點圖像信號和所述右眼視點圖像信號的某一個； 基于所述判定結(jié)果，選擇所述左眼視點深度值和所述右眼視點深度值的某一個； 在所選擇的所述左眼視點深度值或所述右眼視點深度值上乘以所述系數(shù)； 根據(jù)乘以所述系數(shù)而得的所述左眼視點深度值或所述右眼視點深度值，對所述左眼視點圖像信號以及所述右眼視點圖像信號進(jìn)行像素遷移，生成多視點圖像信號。
【文檔編號】H04N13/00GK103716610SQ201310451760
【公開日】2014年4月9日 申請日期:2013年9月27日 優(yōu)先權(quán)日:2012年9月28日
【發(fā)明者】久保田賢治 申請人:Jvc建伍株式會社