專利名稱：多視點(diǎn)數(shù)據(jù)生成裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種生成多視點(diǎn)數(shù)據(jù)的多視點(diǎn)數(shù)據(jù)生成裝置以及方法。
技術(shù)背景在影像設(shè)備和家庭用游戲機(jī)等CG (計(jì)算機(jī)圖形)描繪裝置中， 一般是 通過(guò)實(shí)時(shí)進(jìn)行CG渲染，來(lái)描繪字符等三維CG圖像。另外，已知有被稱 作"精靈(sprite)"的技術(shù)，該技術(shù)是將CG圖像本身作為圖像準(zhǔn)備好，在 描繪時(shí)將該圖像紋理映射到制作CG圖像的形狀的板多邊形上(例如參照 非專利文獻(xiàn)l)。通過(guò)使用該精靈技術(shù)，不必對(duì)構(gòu)成三維字符等的許多多邊 形進(jìn)行描繪處理，能夠高速地進(jìn)行描繪，因此對(duì)于具有復(fù)雜形狀的情況而 言是特別有用的方法。另外，已知有一維整體成像方式的三維顯示器，這種三維顯示器通過(guò) 在液晶顯示器上重疊雙凸透鏡片而能夠顯示在水平方向上有視差的影像 (例如參照非專利文獻(xiàn)2)。在這種三維顯示器中，也與上述描繪裝置同樣 進(jìn)行CG圖像的描繪，但對(duì)各個(gè)像素需要描繪多個(gè)CG圖像。而且，為了 描繪出給觀察者以立體感的精靈，需要將對(duì)于各個(gè)視點(diǎn)來(lái)說(shuō)不同的紋理圖 像紋理映射到板多邊形上，從而提出了各種技術(shù)(例如參照專利文獻(xiàn)1). 下面，將描繪對(duì)于各個(gè)視點(diǎn)來(lái)說(shuō)不同的紋理圖像的技術(shù)稱作"多視點(diǎn)精靈"。根據(jù)上述的多視點(diǎn)精靈，能夠描繪出給觀察者以立體感的影像(立體 影像)。但是，若僅僅靠在板多邊形上粘貼對(duì)于各個(gè)視點(diǎn)來(lái)說(shuō)不同的紋理圖 像，由于在描繪多邊形時(shí)的進(jìn)深判定中要使用板多邊形的深度值，所以有 時(shí)不能使用與立體圖像對(duì)應(yīng)的對(duì)西那個(gè)的實(shí)際深度值。因此，有在特定的 多視點(diǎn)精靈與其它多視點(diǎn)精靈之間、以及多邊形對(duì)象與多視點(diǎn)精靈之間， 不能正常進(jìn)行進(jìn)深判定的問(wèn)題。關(guān)于上述精靈，已知有被稱作"深度精靈"的技術(shù)，該技術(shù)中，用精 靈的像素單位在保持顏色信息的基礎(chǔ)上保持從描繪板多邊形的深度值得到
的差分即深度值，在描繪板多邊形時(shí)，以像素單位進(jìn)行深度值的修正，從而實(shí)現(xiàn)正確的進(jìn)深判定(例如參照非專利文獻(xiàn)3)。即使在多視點(diǎn)精靈中， 也可以考慮用針對(duì)各視點(diǎn)的紋理圖像的像素單位保持顏色信息和深度值， 利用與深度精靈同樣的方法來(lái)進(jìn)行進(jìn)深判定。另外，以往作為深度值的導(dǎo)出方法采取的是下述方法對(duì)作為代表的 一個(gè)視點(diǎn)進(jìn)行繪制，從而生成顏色信息緩沖區(qū)和深度值緩沖區(qū)。然后，對(duì) 該深度值緩沖區(qū)，從新的視點(diǎn)位置向屏幕上的各像素方向進(jìn)行光線循跡處 理，求出最近的深度緩沖區(qū)上的像素位置和深度值，從而就對(duì)應(yīng)于新視點(diǎn) 位置的各像素進(jìn)行深度值緩沖區(qū)的生成(例如參照非專利文獻(xiàn)4)。這是被稱作浮雕貼圖的方法(例如參照非專利文獻(xiàn)5)。非專利文獻(xiàn)l:川西裕幸譯，實(shí)時(shí)繪制第二版(日語(yǔ)版)，株式會(huì)社求一yf、-夕少，第269-283頁(yè)，2006年非專利文獻(xiàn)2:福島，平山，"鑒賞者參加型的三維影像顯示器"，信息處理，Vol.47， No.4， 第368-373頁(yè)(2006) 專利文獻(xiàn)1:日本特開(kāi)2004-5228號(hào)公報(bào)非專利文獻(xiàn)3:川西裕幸譯實(shí)時(shí)繪制第二版(日語(yǔ)版)、株式會(huì)社求一 yf-夕》第285-287頁(yè)(2006)非專利文獻(xiàn)4:宮澤篤等，"面向娛樂(lè)的實(shí)時(shí)&交互三維電腦立體圖像的制作與評(píng)價(jià)(了^二一父^ y卜向(t y 7Vk夕^厶&^ y夕，夕x^:/3次元^yt:。二一夕7亍^才夕、、，7一 O試作S評(píng)価)"，2006年影像信息 媒體學(xué)會(huì)，立體影像技術(shù)時(shí)限研究會(huì)，2006年10月17日非專禾!j文獻(xiàn)5: Fabio Policarpo， et al, "Real-Time Relief Mapping on Arbitrary Polygonal Surfaces", ACMI3D， 2005。但是，在將非專利文獻(xiàn)3的技術(shù)應(yīng)用于多視點(diǎn)數(shù)據(jù)的情況下，需要對(duì) 各個(gè)視點(diǎn)位置存儲(chǔ)像素單位上的深度值，所以有用來(lái)存儲(chǔ)深度值的存儲(chǔ)量 變多的問(wèn)題。另外，在非專利文獻(xiàn)4的技術(shù)中，為了在描繪時(shí)針對(duì)各點(diǎn) 圖像的各像素獲得深度值，需要求解高次函數(shù)方程式，有處理繁雜而且運(yùn) 算處理量大的問(wèn)題。而且，由于生成來(lái)自作為代表的一個(gè)視點(diǎn)的深度值緩 沖區(qū)，所以從該視點(diǎn)起隱藏于陰影之中，有存在不能準(zhǔn)確復(fù)原的形狀的問(wèn) 題。 發(fā)明內(nèi)容本發(fā)明是鑒于上述問(wèn)題而作出的，其目的在于提供一種能夠針對(duì)各視 點(diǎn)位置高效地導(dǎo)出像素單位上的深度值的多視點(diǎn)數(shù)據(jù)生成裝置以及方法。為了解決上述課題，實(shí)現(xiàn)本發(fā)明的目的，本發(fā)明是一種多視點(diǎn)數(shù)據(jù)生 成裝置，其特征在于，包括第1接收單元，接收多視點(diǎn)攝像機(jī)信息，該 多視點(diǎn)攝像機(jī)信息至少包含與配置有多個(gè)攝像機(jī)的各視點(diǎn)位置相關(guān)的信 息、和由該各個(gè)攝像機(jī)拍攝的幀區(qū)域的像素?cái)?shù)；第2接收單元，接收表示 CG目標(biāo)的形狀以及色彩的形狀數(shù)據(jù)；像素指針生成單元，依次生成上述幀 區(qū)域中的規(guī)定區(qū)域內(nèi)所包含的各像素的像素指針；顏色信息生成單元，基 于上述多視點(diǎn)攝像機(jī)信息以及形狀數(shù)據(jù)，針對(duì)每個(gè)上述像素指針生成與上 述CG目標(biāo)的上述幀區(qū)域內(nèi)的上述各視點(diǎn)位置相對(duì)應(yīng)的顏色信息組；深度 值生成單元，基于上述多視點(diǎn)攝像機(jī)信息以及形狀數(shù)據(jù)，針對(duì)每個(gè)上述像 素指針生成與上述CG目標(biāo)的上述幀區(qū)域內(nèi)的上述各視點(diǎn)位置相對(duì)應(yīng)的深 度值組；深度參數(shù)排列生成單元，針對(duì)每個(gè)像素指針導(dǎo)出將上述各視點(diǎn)位置與上述深度值組之間的關(guān)系近似化了的近似函數(shù)，并生成排列了該近似函數(shù)的參數(shù)的深度參數(shù)排列；以及多視點(diǎn)數(shù)據(jù)生成單元，基于每個(gè)上述像 素指針的上述顏色信息組和深度參數(shù)排列，生成與上述視點(diǎn)位置數(shù)對(duì)應(yīng)的 視差圖像量的多視點(diǎn)數(shù)據(jù)。另外，本發(fā)明是一種多視點(diǎn)數(shù)據(jù)生成方法，其特征在于，包括第1 接收步驟，由第1接收單元接收多視點(diǎn)攝像機(jī)信息，該多視點(diǎn)攝像機(jī)信息 至少包含與配置有多個(gè)攝像機(jī)的各視點(diǎn)位置相關(guān)的信息、和由該各個(gè)攝像 機(jī)拍攝的幀區(qū)域的像素?cái)?shù)；第2接收步驟，由第2接收單元接收表示CG 目標(biāo)的形狀以及色彩的形狀數(shù)據(jù)；像素指針生成步驟，由像素指針生成單 元依次生成上述幀區(qū)域中的規(guī)定區(qū)域內(nèi)所包含的各像素的像素指針；顏色 信息生成步驟，由顏色信息生成單元基于上述多視點(diǎn)攝像機(jī)信息以及形狀 數(shù)據(jù)，針對(duì)每個(gè)上述像素指針生成與上述CG目標(biāo)的上述幀區(qū)域內(nèi)的上述 各視點(diǎn)位置相對(duì)應(yīng)的顏色信息組；深度值生成步驟，由深度值生成單元基 于上述多視點(diǎn)攝像機(jī)信息以及形狀數(shù)據(jù)，針對(duì)每個(gè)上述像素指針生成與上 述CG目標(biāo)的上述幀區(qū)域內(nèi)的上述各視點(diǎn)位置相對(duì)應(yīng)的深度值組；深度參 數(shù)排列生成步驟，由深度參數(shù)排列生成單元針對(duì)每個(gè)像素指針導(dǎo)出將上述 各視點(diǎn)位置與上述深度值組之間的關(guān)系近似化了的近似函數(shù)，并生成排列了該近似函數(shù)的參數(shù)的深度參數(shù)排列；以及多視點(diǎn)數(shù)據(jù)生成步驟，由多視 點(diǎn)數(shù)據(jù)生成單元基于每個(gè)上述像素指針的上述顏色信息組和深度參數(shù)排 列，生成與上述視點(diǎn)位置數(shù)對(duì)應(yīng)的視差圖像量的多視點(diǎn)數(shù)據(jù)。進(jìn)而，本發(fā)明的特征在于，使計(jì)算機(jī)作為下述單元發(fā)揮作用第l接收單元，接收多視點(diǎn)攝像機(jī)信息，該多視點(diǎn)攝像機(jī)信息至少包含與配置有 多個(gè)攝像機(jī)的各視點(diǎn)位置相關(guān)的信息、和由該各個(gè)攝像機(jī)拍攝的幀區(qū)域的像素?cái)?shù)；第2接收單元，接收表示CG目標(biāo)的形狀以及色彩的形狀數(shù)據(jù)； 像素指針生成單元，依次生成上述幀區(qū)域中的規(guī)定區(qū)域內(nèi)所包含的各像素 的像素指針；顏色信息生成單元，基于上述多視點(diǎn)攝像機(jī)信息以及形狀數(shù) 據(jù)，針對(duì)每個(gè)上述像素指針生成與上述CG目標(biāo)的上述幀區(qū)域內(nèi)的上述各 視點(diǎn)位置相對(duì)應(yīng)的顏色信息組；深度值生成單元，基于上述多視點(diǎn)攝像機(jī) 信息以及形狀數(shù)據(jù)，針對(duì)每個(gè)上述像素指針生成與上述CG目標(biāo)的上述幀 區(qū)域內(nèi)的上述各視點(diǎn)位置相對(duì)應(yīng)的深度值組；深度參數(shù)排列生成單元，針 對(duì)每個(gè)像素指針導(dǎo)出將上述各視點(diǎn)位置與上述深度值組之間的關(guān)系近似化 了的近似函數(shù)，并生成排列了該近似函數(shù)的參數(shù)的深度參數(shù)排列；以及多 視點(diǎn)數(shù)據(jù)生成單元，基于每個(gè)上述像素指針的上述顏色信息組和深度參數(shù) 排列，生成與上述視點(diǎn)位置數(shù)對(duì)應(yīng)的視差圖像量的多視點(diǎn)數(shù)據(jù)。根據(jù)本發(fā)明，針對(duì)各視點(diǎn)位置，以排列了作為近似函數(shù)的參數(shù)的深度 參數(shù)排列的狀態(tài)處理像素單位上的深度值，因此，能夠削減所使用的存儲(chǔ) 器量，并且能夠抑制給運(yùn)算處理量造成的負(fù)荷，能夠?qū)Ω鱾€(gè)視點(diǎn)位置高效 地導(dǎo)出像素單位上的深度值。


圖1是表示多視點(diǎn)數(shù)據(jù)生成裝置的結(jié)構(gòu)的圖。 圖2是表示顯示部的結(jié)構(gòu)的圖。圖3是表示多視點(diǎn)數(shù)據(jù)生成裝置的功能性結(jié)構(gòu)的一個(gè)例子的圖。 圖4是用于說(shuō)明多視點(diǎn)攝像機(jī)信息的圖。 圖5是用于說(shuō)明多視點(diǎn)攝像機(jī)信息的圖。
圖6是用于說(shuō)明多視點(diǎn)攝像機(jī)信息的圖。 圖7是用于說(shuō)明形狀數(shù)據(jù)的圖。圖8是表示多視點(diǎn)顏色信息生成處理的流程的流程圖。圖9是用來(lái)說(shuō)明多視點(diǎn)顏色信息生成處理的圖。圖IO是表示多視點(diǎn)深度值生成處理的流程的流程圖。圖11是表示深度參數(shù)排列生成處理的流程的流程圖。圖12是用于說(shuō)明深度參數(shù)排列生成處理的圖。圖13是表示深度值復(fù)原處理的流程的流程圖。圖14是表示進(jìn)深判定處理的流程的流程圖。圖15是表示多視點(diǎn)數(shù)據(jù)生成處理的流程的流程圖。圖16是表示多視點(diǎn)數(shù)據(jù)生成裝置的功能性結(jié)構(gòu)的一個(gè)例子的圖。圖17是表示綜合多視點(diǎn)精靈數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)的圖。圖18是表示綜合多視點(diǎn)精靈數(shù)據(jù)保存處理的流程的流程圖。圖19是表示多視點(diǎn)數(shù)據(jù)生成裝置的功能性結(jié)構(gòu)的一個(gè)例子的圖。圖20是表示多視點(diǎn)精靈顯示屬性信息的一個(gè)例子的圖。圖21是表示幀與精靈區(qū)域的關(guān)系的圖。圖22是表示多視點(diǎn)數(shù)據(jù)生成處理的流程的流程圖。
具體實(shí)施方式
下面參照附圖對(duì)多視點(diǎn)數(shù)據(jù)生成裝置、方法以及程序的最佳實(shí)施方式 進(jìn)行詳細(xì)說(shuō)明。第1實(shí)施方式圖1是表示本實(shí)施方式的多視點(diǎn)數(shù)據(jù)生成裝置100的硬件結(jié)構(gòu)的方框 圖。如圖1所示，多視點(diǎn)數(shù)據(jù)生成裝置100具備控制部1、操作部2、顯示 部3、 ROM (只讀存儲(chǔ)器)4、 RAM (隨機(jī)存取存儲(chǔ)器)5、存儲(chǔ)部6、通信部 7等，各部分通過(guò)總線8連接。另外，對(duì)于后述的多視點(diǎn)數(shù)據(jù)生成裝置200、 300，也具備與多視點(diǎn)數(shù)據(jù)生成裝置100同樣的硬件結(jié)構(gòu)?？刂撇?由CPU (中央處理單元)和GPU (圖形處理單元)等運(yùn)算裝置 構(gòu)成，將RAM5的規(guī)定區(qū)域作為工作區(qū)域，通過(guò)與R0M4或者存儲(chǔ)部6中預(yù) 先存儲(chǔ)的各種控制程序協(xié)同作用來(lái)執(zhí)行各種處理，全盤控制構(gòu)成多視點(diǎn)數(shù)
據(jù)生成裝置100的各部分的動(dòng)作。另外，控制部通過(guò)與R0M4或者存儲(chǔ)部6 中預(yù)先存儲(chǔ)的規(guī)定程序協(xié)同作用來(lái)實(shí)現(xiàn)后述的各種功能部分的功能。操作部2是鼠標(biāo)和鍵盤等輸入裝置，將由用戶操作輸入的信息作為指 示信號(hào)接收并將該指示信號(hào)輸出到控制部1。顯示部3具有LCD (液晶顯示器)等顯示裝置和雙凸透鏡等光線控制元 件，是借助后述顯示控制部17的控制來(lái)顯示規(guī)定視點(diǎn)數(shù)量的立體影像的三 維顯示裝置。圖2是概略表示顯示部3的結(jié)構(gòu)的立體圖。這里是以視點(diǎn)數(shù)量n二9的 情況為例進(jìn)行說(shuō)明。如圖2所示，在顯示部3中，在以矩陣形狀排列有子 像素301的顯示面的前表面上，作為光線控制元件而配置有由光學(xué)開(kāi)口在 垂直方向上延伸的圓筒透鏡構(gòu)成的雙凸透鏡板303。在顯示面上，縱橫比為3: 1的子像素301在橫向上以直線形狀排成一 行，各子像素301排列成，在同一行內(nèi)，紅(R)、綠(G)、藍(lán)(B)在橫向 上交替排列。另一方面，子像素在垂直方向上也以直線狀排成一列，而且 也排列成，在同一列內(nèi)，R、 G、 B交替排列。子像素行的縱周期(3Pp)是 子像素301的橫周期Pp的三倍。在一般的彩色圖像顯示裝置中，用橫向排列的RGB這三個(gè)子像素301 構(gòu)成1個(gè)實(shí)效像素，即構(gòu)成能夠任意設(shè)定輝度和顏色的最小單位，所以， 子像素的縱橫比為3: 1。在圖2的顯示面中，由縱向排列的RGB這三個(gè)子 像素301構(gòu)成一個(gè)實(shí)效像素302 (用黑框表示)。作為光線控制元件的雙凸透鏡板303的圓筒透鏡配置在實(shí)效像素302 的大致正面。另外，圓筒透鏡的水平間距(Ps)是排列在顯示面內(nèi)的子像 素的橫向周期(Pp)的9倍。根據(jù)這樣的結(jié)構(gòu)，擴(kuò)大到超過(guò)圓筒透鏡的程 度而可見(jiàn)的子像素對(duì)應(yīng)于水平位置的觀察位置的變動(dòng)而進(jìn)行切換。即，通 過(guò)顯示在實(shí)效像素302中的視差圖像的觀察方式的切換，能夠使得觀察者 能夠辨認(rèn)立體影像。返向到圖1， R0M4以不能重寫的方式存儲(chǔ)與多視點(diǎn)數(shù)據(jù)生成裝置100 的控制相關(guān)的程序和各種設(shè)定信息等。RAM5是SDRAM等易失性存儲(chǔ)裝置，作為控制部1的動(dòng)作區(qū)域和視頻存 儲(chǔ)器而發(fā)揮作用。具體而言，除了作為后述的多視點(diǎn)幀深度值保持部5K多視點(diǎn)幀顏色信息保持部52起作用以外，在進(jìn)行與多視點(diǎn)數(shù)據(jù)的生成相關(guān) 的處理時(shí)還起到暫時(shí)存儲(chǔ)各種變量和參數(shù)的值的緩沖區(qū)等的作用。存儲(chǔ)部6具有能夠以磁或光學(xué)方式進(jìn)行存儲(chǔ)的存儲(chǔ)介質(zhì)，以能夠重寫 的方式存儲(chǔ)與多視點(diǎn)數(shù)據(jù)生成裝置100的控制有關(guān)的程序和各種信息。具 體而言，存儲(chǔ)部6存儲(chǔ)后述的進(jìn)深判定條件式61等。通信部7是與外部裝置之間進(jìn)行通信的接口，將接收到的各種信息輸 出到控制部1，并且將從控制部1輸出的各種信息向外部裝置發(fā)送。圖3是表示通過(guò)控制部1與預(yù)先存儲(chǔ)在R0N4或者存儲(chǔ)部6中的規(guī)定程 序的協(xié)同作用而實(shí)現(xiàn)的、多視點(diǎn)數(shù)據(jù)生成裝置100的功能性結(jié)構(gòu)的圖。如 該圖所示，多視點(diǎn)數(shù)據(jù)生成裝置100具備幀像素指針生成部11、多視點(diǎn)顏 色信息生成部12、多視點(diǎn)深度值生成部13、多視點(diǎn)深度參數(shù)排列生成部14、 多視點(diǎn)深度值復(fù)原部15、多視點(diǎn)進(jìn)深判定部16、和顯示控制部17。而且， 利用RAM5來(lái)實(shí)現(xiàn)多視點(diǎn)幀深度值保持部51和多視點(diǎn)幀顏色信息保持部52 的功能。另外，在存儲(chǔ)部6中存儲(chǔ)著進(jìn)深判定條件式61。在多視點(diǎn)數(shù)據(jù)生成裝置100中，在生成多視點(diǎn)數(shù)據(jù)之前，后述的多視 點(diǎn)攝像機(jī)信息91被輸入到幀像素指針生成部11、多視點(diǎn)顏色信息生成部 12以及多視點(diǎn)深度值生成部13。而且，后述的形狀數(shù)據(jù)92被輸入到多視 點(diǎn)顏色信息生成部12以及多視點(diǎn)深度值生成部13中。另外，對(duì)多視點(diǎn)攝 像機(jī)信息91以及形狀數(shù)據(jù)92的輸入方式?jīng)]有特別限定。例如，可以采用 經(jīng)由通信部7從外部裝置輸入的方式。而且，還可以采取下述方式將多 視點(diǎn)攝像機(jī)信息91以及形狀數(shù)據(jù)92預(yù)先存儲(chǔ)在存儲(chǔ)部6中，通過(guò)從該存 儲(chǔ)部6讀出來(lái)輸入到各功能部分中。首先，參照?qǐng)D4至圖6，對(duì)多視點(diǎn)攝像機(jī)信息91進(jìn)行說(shuō)明。圖4是表 示多視點(diǎn)攝像機(jī)信息91的一個(gè)例子的圖。在用于提示立體影像的多視點(diǎn)數(shù) 據(jù)生成中，需要針對(duì)各個(gè)幀從多個(gè)視點(diǎn)描繪CG圖像。因此，在多視點(diǎn)攝像 機(jī)信息91中，包含與對(duì)應(yīng)于各視點(diǎn)位置的多個(gè)攝像機(jī)相關(guān)的信息(攝像機(jī) 信息)。另外，在本實(shí)施方式中，水平方向采用的是平行射影透鏡移動(dòng)攝像 機(jī)，垂直方向采用的是透視射影攝像機(jī)，但并不限于此，可以根據(jù)三維顯 示器的規(guī)格進(jìn)行變更。如圖4所示，在多視點(diǎn)攝像機(jī)信息91中定義了與總視點(diǎn)數(shù)相對(duì)應(yīng)的攝 像機(jī)總數(shù)Nc。另外，針對(duì)每個(gè)攝像機(jī)，定義表示攝像機(jī)的拍攝位置的攝像 機(jī)視點(diǎn)位置Cn、用于表示攝像機(jī)的朝向的注視點(diǎn)位置Ln、表示攝像機(jī)的天 地(上下)方向的上方矢量Un。另外，在多視點(diǎn)攝像機(jī)信息91中，定義了幀的縱向像素?cái)?shù)Fheight、 橫向像素?cái)?shù)Fwidth，作為幀像素?cái)?shù)。而且，定義了所有攝像機(jī)通用的垂直 方向的視場(chǎng)角A、和水平方向的視場(chǎng)角尺寸W。水平方向的視場(chǎng)角尺寸W表示向幀的水平方向射影的寬度。圖5、圖6是用于說(shuō)明多視點(diǎn)攝像機(jī)信息91所含的各種信息的圖。其 中，圖5是對(duì)從攝像機(jī)的正上方觀察的XZ平面進(jìn)行展示的圖。圖6是對(duì)從 攝像機(jī)的橫向觀察的YZ平面進(jìn)行展示的圖。在圖5、圖6中，表示Nc臺(tái)攝像機(jī)中第m臺(tái)和第n臺(tái)這兩臺(tái)攝像機(jī)的 攝像機(jī)視點(diǎn)位置Cm、 Cn與作為各攝像機(jī)的攝像區(qū)域的幀之間的關(guān)系。在這 個(gè)例子中，假定的是幀存在于XY平面上的情況，將其中心位置作為原點(diǎn)O。 另外，各攝像機(jī)的視點(diǎn)位置存在于XZ平面，Cm= (Cmx， 0， D)， Cn= (Cnx， 0， D)。這里，"D"表示幀與攝像機(jī)之間的距離的Z分量。即，幀的垂直方 向的視場(chǎng)角尺寸用2XDtan (A/2)表示。從攝像機(jī)視點(diǎn)位置Cm、 Cn與幀之間的配置關(guān)系導(dǎo)出的水平方向(X軸 方向)的視場(chǎng)角尺寸W，由于采用的是平行射影透鏡移動(dòng)攝像機(jī)，所以如圖 5所示那樣表示。另外，垂直方向(Y軸方向)的視場(chǎng)角A，由于采用的是 透視射影攝像機(jī)，所以如圖6所示那樣表示。另外，將所有攝像機(jī)的注視 點(diǎn)位置Ln作為原點(diǎn)O，將所有攝像機(jī)的上方向矢量設(shè)為U0二Ul…UnFUn…二U (0， 1， 0)。接著，參照?qǐng)D7對(duì)形狀數(shù)據(jù)92進(jìn)行說(shuō)明。圖7是概念性表示形狀數(shù)據(jù) 92的一個(gè)例子的圖。如圖7所示，在形狀數(shù)據(jù)92中，定義了用由多邊形構(gòu) 成的多邊形集合表示的CG目標(biāo)921、被映射到CG目標(biāo)921的多邊形表面上 的紋理圖像922、以及作為CG目標(biāo)921的基準(zhǔn)刻度的基準(zhǔn)幀923等。在圖7的例子中，基準(zhǔn)幀923存在于XY平面上，用B0、 Bl、 B2、 B3 表示其四個(gè)角上的點(diǎn)。另外，CG目標(biāo)921存在于基準(zhǔn)幀923上的三維空間 中，其形狀在Z軸方向?yàn)橥剐巍＿@里，CG目標(biāo)921表示的立體形狀、紋理圖像922表示的表面圖像與
由顯示部3提示的立體影像相對(duì)應(yīng)。另外，CG目標(biāo)921的形狀和紋理圖像 922的色彩、花紋是可以任意設(shè)定的。另外，由形狀數(shù)據(jù)92定義的立體物 不限于一個(gè)，也可以采取定義多個(gè)立體物的方式。而且，輸入的形狀數(shù)據(jù) 個(gè)數(shù)不限于一個(gè)，也可以采取依次輸入多個(gè)形狀數(shù)據(jù)的方式。這種情況下， 每次輸入形狀數(shù)據(jù)都進(jìn)行后述的多視點(diǎn)顏色信息生成處理、多視點(diǎn)深度值 生成處理。返回到圖3，幀像素指針生成部11將多視點(diǎn)攝像機(jī)信息91作為輸入， 基于多視點(diǎn)攝像機(jī)信息91，依次生成幀所包含的各像素的坐標(biāo)分量(指針)， 作為幀像素指針Fi (Fi= (Px， Py))依次輸出到多視點(diǎn)顏色信息生成部12 以及多視點(diǎn)深度值生成部13。具體來(lái)說(shuō)，幀像素指針生成部11參照由上述多視點(diǎn)攝像機(jī)信息91定 義的幀的像素?cái)?shù)(Fwidth， Fheight)，依次生成和輸出該幀所含的所有像 素量的指針。例如，在(Fwidth， Fheight) = (320， 240)的情況下，從 相當(dāng)于幀的左上方的(Px， Py) = (0， 0)開(kāi)始，到相當(dāng)于幀的右下方的 (Px， Py) = (319， 239)，以此將(Px， Py) = (0， 0)，…，(319， 0)， (0， 1)，…，(319， 1)，…，(0， 239)，…，(319， 239)作為幀像素指 針Fi逐個(gè)輸出。多視點(diǎn)顏色信息生成部12輸入多視點(diǎn)攝像機(jī)信息91、形狀數(shù)據(jù)92以 及幀像素指針Fi，基于這各個(gè)信息，導(dǎo)出將幀像素指針Fi映射到由形狀數(shù) 據(jù)92定義的基準(zhǔn)幀923上的幀像素指針對(duì)應(yīng)點(diǎn)Fp。另外，多視點(diǎn)顏色信息生成部12分別導(dǎo)出連結(jié)幀像素指針對(duì)應(yīng)點(diǎn)Fp 和各攝像機(jī)視點(diǎn)位置Cn的直線與由形狀數(shù)據(jù)92定義的CG目標(biāo)921的多邊 形面相交所得的交點(diǎn)Qn。另外，多視點(diǎn)顏色信息生成部12求出針對(duì)導(dǎo)出的各個(gè)交點(diǎn)Qn也就是 各個(gè)攝像機(jī)視點(diǎn)位置Cn的顏色信息(多視點(diǎn)顏色信息)Color (n)，并與 輸入的幀像素指針Fi對(duì)應(yīng)起來(lái)輸出到多視點(diǎn)進(jìn)深判定部16。以下，參照?qǐng)D8和圖9，對(duì)多視點(diǎn)顏色信息生成部12的動(dòng)作進(jìn)行說(shuō)明。 這里，圖8是表示由多視點(diǎn)顏色信息生成部12執(zhí)行的多視點(diǎn)顏色信息生成 處理的流程的流程圖。另外，圖9是用于說(shuō)明對(duì)圖7所示的形狀數(shù)據(jù)92實(shí) 施多視點(diǎn)顏色信息生成處理所得的結(jié)果的圖。這里所說(shuō)的多視點(diǎn)顏色信息 生成處理是指，對(duì)各視點(diǎn)位置的攝像機(jī)進(jìn)行一般的光線追蹤處理。首先，多視點(diǎn)顏色信息生成部12基于形狀數(shù)據(jù)92的基準(zhǔn)幀923導(dǎo)出 將幀像素指針Fi映射到基準(zhǔn)幀923上所得的坐標(biāo)Fp (Fp= (Fx， Fy， Fz)) (步驟Sll)。下面，將坐標(biāo)Fp稱作幀像素指針對(duì)應(yīng)點(diǎn)Fp。例如，在形狀數(shù)據(jù)92處于圖9所示狀態(tài)的情況下，基準(zhǔn)幀923面存在 于XY面，所以幀像素指針對(duì)應(yīng)點(diǎn)Fp的Z分量(Fz)為0。這種情況下，幀 像素指針對(duì)應(yīng)點(diǎn)Fp可以使用下述式(1)導(dǎo)出。式1、<formula>formula see original document page 15</formula>接著，多視點(diǎn)顏色信息生成部12將0代入到用于對(duì)攝像機(jī)視點(diǎn)位置Cn 進(jìn)行計(jì)數(shù)的變量n中，進(jìn)行變量n的初始化(步驟S12)。接下來(lái)，多視點(diǎn)顏色信息生成部12基于多視點(diǎn)攝像機(jī)信息91和形狀 數(shù)據(jù)92導(dǎo)出交點(diǎn)Qn (Qn二 (Qnx， Qny， Qnz))，該交點(diǎn)Qn是連結(jié)對(duì)應(yīng)于變 量n的值的攝像機(jī)視點(diǎn)位置Cn和幀像素指針對(duì)應(yīng)點(diǎn)Fp的直線與由形狀數(shù) 據(jù)92定義的CG目標(biāo)921的多邊形面相交的交點(diǎn)(步驟S13)。使用圖9對(duì)步驟S13的處理進(jìn)行說(shuō)明。如圖9所示，攝像機(jī)視點(diǎn)位置 Cn、幀像素指針對(duì)應(yīng)點(diǎn)Fp存在于圖中表示的位置。此時(shí)，多視點(diǎn)顏色信息 生成部12將連結(jié)攝像機(jī)視點(diǎn)位置Cn和幀像素指針對(duì)應(yīng)點(diǎn)Fp的直線與構(gòu)成 CG目標(biāo)921的多邊形面之間的交點(diǎn)求出，作為交點(diǎn)Qn。在存在多個(gè)交點(diǎn)的 情況下，求出攝像機(jī)視點(diǎn)位置Cn與幀像素指針對(duì)應(yīng)點(diǎn)Fp之間的距離最短 的一個(gè)交點(diǎn)，將該交點(diǎn)作為Qn。返回到圖8，多視點(diǎn)顏色信息生成部12就在步驟S13中導(dǎo)出的交點(diǎn)Qn 的位置對(duì)由形狀數(shù)據(jù)92定義的紋理圖像922進(jìn)行抽樣，導(dǎo)出與該Qn的位 置相對(duì)應(yīng)的顏色信息、即與攝像機(jī)視點(diǎn)位置Cn相對(duì)應(yīng)的顏色信息Color(n) (步驟S14)。這里，顏色信息由紅(R)、綠(G)、藍(lán)(B)這各種成分構(gòu)成。 即，Color (n) 二(ColorR(n)，ColorG(n)， ColorB (n))。接著，多視點(diǎn)顏色信息生成部12將變量n的值加l (步驟S15)，并判 定變量n的值是否達(dá)到了攝像機(jī)總數(shù)Nc (步驟S16)。這里，在判定n〈Nc 的情況下(步驟S16:否)，再次返回到步驟S13，對(duì)下一個(gè)視點(diǎn)位置導(dǎo)出
交點(diǎn)Qn。另外，在步驟S16中判斷為n=Nc的情況下(步驟S16:是)，多視點(diǎn)顏 色信息生成部12將把幀像素指針Fi與針對(duì)各攝像機(jī)視點(diǎn)位置Cn的顏色信 息Color (n)對(duì)應(yīng)起來(lái)的(Fi， (Color (0)， Color (1)，…，Color (Nc 一l))輸出到多視點(diǎn)進(jìn)深判定部16 (步驟S17)，結(jié)束本處理。下面，將針 對(duì)各攝像機(jī)視點(diǎn)位置Cn的顏色信息Color(n)的集合稱作多視點(diǎn)顏色信息。返回到圖3，多視點(diǎn)深度值生成部13將多視點(diǎn)攝像機(jī)信息91、形狀數(shù) 據(jù)92以及幀像素指針Fi作為輸入，基于這各個(gè)信息，導(dǎo)出上述的幀像素 指針對(duì)應(yīng)點(diǎn)Fp。另外，多視點(diǎn)深度值生成部13導(dǎo)出連結(jié)幀像素指針對(duì)應(yīng)點(diǎn)Fp和各攝 像機(jī)視點(diǎn)位置Cn的直線與由形狀數(shù)據(jù)92定義的CG目標(biāo)921的多邊形面相 交的交點(diǎn)Qn。而且，多視點(diǎn)深度值生成部13求出針對(duì)導(dǎo)出的各交點(diǎn)Qn的深度值dn， 并與幀像素指針Fi對(duì)應(yīng)起來(lái)輸出到多視點(diǎn)深度參數(shù)排列生成部14。以下，參照?qǐng)D10，對(duì)多視點(diǎn)深度值生成部13的動(dòng)作進(jìn)行說(shuō)明。圖10 是表示由多視點(diǎn)深度值生成部13執(zhí)行的多視點(diǎn)深度值生成處理的流程的流 程圖。另外，這里說(shuō)明的多視點(diǎn)深度值生成處理與上述多視點(diǎn)顏色信息生 成處理同樣，是指對(duì)各視點(diǎn)位置的攝像機(jī)進(jìn)行一般的光線追蹤處理。首先，多視點(diǎn)深度值生成部13基于形狀數(shù)據(jù)92導(dǎo)出將幀像素指針Fi 映射到由形狀數(shù)據(jù)92定義的基準(zhǔn)幀923上的坐標(biāo)Fp，也就是幀像素指針對(duì) 應(yīng)點(diǎn)Fp (步驟S21)。這里，幀像素指針對(duì)應(yīng)點(diǎn)Fp的導(dǎo)出方法與上述多視 點(diǎn)顏色信息生成部12的方法同樣，所以省略詳細(xì)說(shuō)明。接下來(lái)，多視點(diǎn)深度值生成部13將0代入到用來(lái)對(duì)攝像機(jī)視點(diǎn)位置Cn 進(jìn)行計(jì)數(shù)的變量n，進(jìn)行變量n的初始化(步驟S22)。然后，多視點(diǎn)深度值生成部13基于多視點(diǎn)攝像機(jī)信息91和形狀數(shù)據(jù) 92，導(dǎo)出連結(jié)對(duì)應(yīng)于變量n的值的攝像機(jī)視點(diǎn)位置Cn與幀像素指針對(duì)應(yīng)點(diǎn) Fp的直線和由形狀數(shù)據(jù)92定義的多邊形面相交的點(diǎn)，將該點(diǎn)作為交點(diǎn)Qn (步驟S23)。在存在多個(gè)交點(diǎn)的情況下，求出將攝像機(jī)視點(diǎn)位置Cn與幀像 素指針對(duì)應(yīng)點(diǎn)Fp之間的距離最小的一個(gè)交點(diǎn)，將該點(diǎn)作為交點(diǎn)Qn。接著，多視點(diǎn)深度值生成部13基于作為進(jìn)深判定的基準(zhǔn)的基準(zhǔn)軸，導(dǎo)
出由形狀數(shù)據(jù)92定義的基準(zhǔn)幀923上的三維空間中的交點(diǎn)Qn的深度值dn (步驟S24)。例如，在形狀數(shù)據(jù)92處于圖9所示狀態(tài)的情況下，可以以Z軸為基準(zhǔn) 表示CG目標(biāo)921的進(jìn)深。這種情況下，Qn的Z分量為深度值，所以將Qn =(Qnx， Qny， Qnz)的Z分量的符號(hào)顛倒后的"一Qnz"作為深度值導(dǎo)出。 這種情況下，接近視點(diǎn)的點(diǎn)的深度值較小，越遠(yuǎn)離視點(diǎn)則深度值越大。返回到圖10，多視點(diǎn)深度值生成部13將變量n的值加1 (步驟S25)， 判定變量n的值是否達(dá)到了攝像機(jī)總數(shù)Nc (步驟S26)。這里，在判定為n 〈Nc的情況下(步驟S26:否)，再次返回步驟S23，對(duì)下一視點(diǎn)位置導(dǎo)出 交點(diǎn)Qn。另外，在步驟S26中，如果判定為『Nc (步驟S26:是)，則多視點(diǎn)深 度值生成部13將把幀像素指針Fi與對(duì)應(yīng)于各交點(diǎn)Qn的深度值即針對(duì)各攝 像機(jī)視點(diǎn)位置Cn的深度值dn對(duì)應(yīng)起來(lái)的(Fi， (dO，dl…，dNc-1))輸出到 多視點(diǎn)深度參數(shù)排列生成部14 (步驟S27)，結(jié)束本處理。以下，將針對(duì)各 攝像機(jī)視點(diǎn)位置Cn的深度值dn的集合稱作多視點(diǎn)深度值。另外，利用上述的步驟S21、 S23的處理導(dǎo)出的幀像素指針對(duì)應(yīng)點(diǎn)Fp 以及交點(diǎn)Qn，與上述多視點(diǎn)顏色信息生成處理的步驟Sll、 S13中導(dǎo)出的幀 像素指針對(duì)應(yīng)點(diǎn)Fp以及交點(diǎn)Qn的值相同。因此，也可以采取將某一處理 中求得的幀像素指針對(duì)應(yīng)點(diǎn)Fp以及交點(diǎn)Qn用于另一處理的方式。返回圖3，多視點(diǎn)深度參數(shù)排列生成部14將從多視點(diǎn)深度值生成部13 輸出的幀像素指針Fi與多視點(diǎn)深度值的組作為輸入，用函數(shù)D (n)定義由 各攝像機(jī)視點(diǎn)位置Cn和多視點(diǎn)深度值所包含的一系列深度值dn表示的曲 線。另外，多視點(diǎn)深度參數(shù)排列生成部14導(dǎo)出用近似式表示函數(shù)D (n)的 函數(shù)E (n)，將該函數(shù)E (n)所含的各參數(shù)的組作為深度參數(shù)排列，與幀 像素指針Fi對(duì)應(yīng)起來(lái)輸出到多視點(diǎn)深度值復(fù)原部15。以下，參照?qǐng)D11、圖12，對(duì)多視點(diǎn)深度參數(shù)排列生成部14的動(dòng)作進(jìn) 行說(shuō)明。圖11是表示由多視點(diǎn)深度參數(shù)排列生成部14執(zhí)行的深度參數(shù)排 列生成處理的流程的流程圖。首先，多視點(diǎn)深度參數(shù)排列生成部14用將對(duì)應(yīng)于各攝像機(jī)視點(diǎn)位置的
視點(diǎn)指針n作為變量的函數(shù)D (n)定義多視點(diǎn)深度值所含的一系列深度值 dn (步驟S31)。其次，多視點(diǎn)深度參數(shù)排列生成部14導(dǎo)出作為在步驟S31 中定義的函數(shù)D (n)的近似式的函數(shù)E (n)，生成構(gòu)成函數(shù)E (n)的參數(shù) 的組(步驟S32)。圖12是用來(lái)對(duì)深度參數(shù)排列生成處理的步驟S31、 S32的處理進(jìn)行說(shuō) 明的圖。在圖12中，縱軸表示深度值，橫軸表示攝像機(jī)視點(diǎn)位置Cn (0《n 《Nc-1)。這里，多視點(diǎn)深度值所包含的深度值dn的排列為在圖中處于用 白圈表示的狀態(tài)的表示。在步驟S31的處理中，用將表示各攝像機(jī)視點(diǎn)位 置的視點(diǎn)指針n作為變量的函數(shù)D (n)來(lái)定義按照n的升序連結(jié)這些白圈 的各個(gè)點(diǎn)而表示的曲線(圖中，對(duì)應(yīng)于連結(jié)白圈的虛線)。接著在步驟S32的處理中，求出作為函數(shù)D(n)的近似式的函數(shù)E(n) 的參數(shù)的組。例如，如果將函數(shù)E ( n )設(shè)為連接多個(gè)控制點(diǎn)Pn二 (t (n) ， r (n)) 而構(gòu)成的區(qū)分一次式也就是折線函數(shù)，那么函數(shù)E (n)的參數(shù)為 (t(n)，r(n))。圖12的實(shí)線表示的曲線表示控制點(diǎn)Pn的個(gè)數(shù)為4時(shí)的函數(shù)E (n)，將 各控制點(diǎn)Pl至P4的分量設(shè)為((t (0) ， r (0)) ， (t (1) ， r (1)) ， (t (2) ， r (2))， (t(3)，r(3)))。這里，t(n)是視點(diǎn)指針，對(duì)應(yīng)于各個(gè)攝像機(jī)視點(diǎn)位置Cn。 另外，r (n)表示對(duì)應(yīng)于t(n)的深度值dn。在圖12中，將控制點(diǎn)Pl的t(O)設(shè)為攝像機(jī)視點(diǎn)位置CO (t(0)=0)， 將控制點(diǎn)P2的t (1)設(shè)為攝像機(jī)視點(diǎn)位置C2( t (1) =2),將控制點(diǎn)P3的t (2) 設(shè)為攝像機(jī)視點(diǎn)位置CNc-3 (t (2) 二Nc-3)，將控制點(diǎn)P4的t (3)設(shè)為攝像機(jī) 視點(diǎn)位置CNc-l (t(3)=Nc-1)。也就是說(shuō)，表示的是用連接四個(gè)控制點(diǎn)構(gòu)成 的折線函數(shù)對(duì)由有Nc-l個(gè)深度值dn的組表示的曲線進(jìn)行近似表示的例子。另外，對(duì)深度參數(shù)排列(t (n) ， r (n))的各個(gè)值的導(dǎo)出方法沒(méi)有特別限 制，例如，可以采用以下方法。首先，預(yù)先確定控制點(diǎn)的個(gè)數(shù)Np，在視點(diǎn) 指針0到視點(diǎn)指針Nc-l之間分配t(0)，t(l)，…，t(Np-1)。接著，設(shè)成 r(0)二D(0),r(Np-l)=D(Nc-1)，從r (1)到r (Np-2)采用滿足下述式(2) 的值。這里，k是0以上的整數(shù)。式2<formula>formula see original document page 19</formula>(2)另外，對(duì)t (n)向攝像機(jī)視點(diǎn)位置分配的方法沒(méi)有特別限制。例如， 可以采取在各深度值的變化量微小的范圍內(nèi)等間隔分配的方式，也可以采 取根據(jù)深度值dn變化的強(qiáng)弱來(lái)改變分配的個(gè)數(shù)的方式。返回圖11，在步驟S33中，多視點(diǎn)深度參數(shù)排列生成部14將把幀像素 指針Fi與深度參數(shù)排列(t(n)，r(n))對(duì)應(yīng)起來(lái)的 (Fi， (t (0) ， r (0)) ， (t (1) ， r (1))，...)輸出給多視點(diǎn)深度值復(fù)原部15 (步驟 S33)，結(jié)束本處理。這樣，在本深度參數(shù)排列生成處理中，通過(guò)將針對(duì)各攝像機(jī)視點(diǎn)位置 Cn的深度值dn變換成函數(shù)E (n)的參數(shù)的組，能夠針對(duì)各視點(diǎn)位置用較 少的數(shù)據(jù)量表示像素單位上的深度值。另外，在本實(shí)施方式中，將表示函數(shù)D (n)的近似式的函數(shù)E (n)設(shè) 為一次式的集合，但并不限于此，也可以采取利用貝塞爾函數(shù)或樣條函數(shù) 的方式，對(duì)于次數(shù)，也可以采用二次、三次等高次的函數(shù)。返回圖3，多視點(diǎn)深度值復(fù)原部15將從多視點(diǎn)深度參數(shù)排列生成部14 輸出的幀像素指針Fi和深度參數(shù)排列的組作為輸入，對(duì)表示各攝像機(jī)視點(diǎn) 位置的視點(diǎn)指針n生成排列了函數(shù)E (n)的值的深度值排列。另外，多視點(diǎn)深度值復(fù)原部15將生成的深度值排列與幀像素指針Fi 對(duì)應(yīng)起來(lái)輸出到多視點(diǎn)進(jìn)深判定部16。下面，參照?qǐng)D13，對(duì)多視點(diǎn)深度值復(fù)原部15的動(dòng)作進(jìn)行說(shuō)明。圖13 是表示由多視點(diǎn)深度值復(fù)原部15執(zhí)行的深度值復(fù)原處理的流程的流程圖。首先，多視點(diǎn)深度值復(fù)原部15基于所輸入的深度參數(shù)排列(t(n)， r(n))，針對(duì)對(duì)應(yīng)于各攝像機(jī)視點(diǎn)位置Cn的各視點(diǎn)指針n算出函數(shù)E (n) 的值，生成排列了這些值的深度值排列(E(0)，E(l)，…，E(Nc-1))(步驟 S41)。接著，多視點(diǎn)深度值復(fù)原部15將把幀像素指針Fi與深度值排列 (E(0),E(l)，…，E(Nc-1))對(duì)應(yīng)起來(lái)的(Fi， (E(0)，E(l)，…，E(Nc-l)))
輸出到多視點(diǎn)進(jìn)深判定部16 (步驟S42)，結(jié)束本處理。返回到圖3，多視點(diǎn)進(jìn)深判定部16將與幀像素指針Fi對(duì)應(yīng)起來(lái)的多視 點(diǎn)顏色信息和深度值排列作為輸入，對(duì)各攝像機(jī)視點(diǎn)位置Cn，將深度值排 列所包含的深度值E (n)與多視點(diǎn)幀深度值保持部51所保持的深度值之間 的關(guān)系代入到后述的進(jìn)深判定條件式61，判定其真?zhèn)巍６?，在進(jìn)深判定條件式61的判定結(jié)果為真時(shí)，多視點(diǎn)進(jìn)深判定部16 將所輸入的深度值E (n)與對(duì)應(yīng)于該深度值E (n)的幀像素指針Fi及攝 像機(jī)視點(diǎn)位置Cn的后述描繪用幀的像素對(duì)應(yīng)起來(lái)，保持(存儲(chǔ))到多視點(diǎn) 幀深度值保持部51中。而且，多視點(diǎn)進(jìn)深判定部16將對(duì)應(yīng)于該深度值E (n)的幀像素指針Fi及攝像機(jī)視點(diǎn)位置Cn的多視點(diǎn)信息所包含的顏色信 息，與對(duì)應(yīng)于該顏色信息的幀像素指針Fi及攝像機(jī)視點(diǎn)位置Cn的描繪用 幀的像素對(duì)應(yīng)起來(lái)，保持(存儲(chǔ))在多視點(diǎn)幀顏色信息保持部52中。這里，多視點(diǎn)幀深度值保持部51是與幀緩沖區(qū)中的Z緩沖區(qū)相當(dāng)?shù)木?沖區(qū)域，對(duì)于針對(duì)各個(gè)攝像機(jī)視點(diǎn)位置Cn確保的描繪用幀，用與各描繪用 幀所包含的幀像素指針Fi對(duì)應(yīng)的像素單位保持(存儲(chǔ))深度值。另外，多 視點(diǎn)幀顏色信息保持部52是相當(dāng)于幀緩沖區(qū)中的彩色緩沖區(qū)的緩沖區(qū)域， 在針對(duì)每個(gè)攝像機(jī)視點(diǎn)位置Cn確保的描繪用幀中，用與各描繪用幀所包含 的幀像素指針Fi對(duì)應(yīng)的像素單位保持(存儲(chǔ))顏色信息。以下，參照?qǐng)D14，對(duì)多視點(diǎn)進(jìn)深判定部16的動(dòng)作進(jìn)行說(shuō)明。圖14是 表示由多視點(diǎn)進(jìn)深判定部16執(zhí)行的進(jìn)深判定處理的流程的流程圖。本處理的前提是，對(duì)于多視點(diǎn)幀深度值保持部51的各描繪用幀所包含 的所有像素，都預(yù)先保持了表示無(wú)線遠(yuǎn)點(diǎn)的深度值。而且，對(duì)于多視點(diǎn)幀 顏色信息保持部52的各描繪用幀所包含的所有像素，都預(yù)先保持了表示描 繪時(shí)的背景色(例如透明)的顏色信息。首先，多視點(diǎn)進(jìn)深判定部16將0代入到用于對(duì)攝像機(jī)視點(diǎn)位置Cn進(jìn) 行計(jì)數(shù)的變量n (步驟S51)。接著，多視點(diǎn)進(jìn)深判定部16讀出對(duì)應(yīng)于多視 點(diǎn)幀深度值保持部51所保持的攝像機(jī)視點(diǎn)位置Cn的描繪用幀的、與幀像 素指針Fi相對(duì)應(yīng)的像素的深度值，并代入到變量u (步驟S52)。接著，多視點(diǎn)進(jìn)深判定部16將與作為此次處理的對(duì)象的幀像素指針Fi 的攝像機(jī)視點(diǎn)位置Cn相對(duì)應(yīng)的深度值E (n)、變量u代入到進(jìn)深判定條件
式61中(步驟S53)，判定是否滿足該進(jìn)深判定條件式61的條件(步驟S54)。這里，進(jìn)深判定條件式61是用于對(duì)從對(duì)應(yīng)于變量n的值的攝像機(jī)視點(diǎn) 位置Cn觀察的、變量u和深度值E (n)的與進(jìn)深有關(guān)的前后關(guān)系進(jìn)行判定 的關(guān)系式。例如，如果多視點(diǎn)幀深度值保持部51中保持的值越小則表示像 素距離攝像機(jī)視點(diǎn)位置越近，那么進(jìn)深判定條件式61設(shè)成E (n) <u即可。 在本實(shí)施方式中，作為進(jìn)深判定條件式61使用的是E (n) 〈u的條件式， 但并不限于這一個(gè)例子。在步驟S54中，如果進(jìn)深判定條件式61為"偽"，g卩，E (n) (步 驟S54:否)，則直接轉(zhuǎn)移到步驟S57的處理。另一方面，如果在步驟S54 中，進(jìn)深判定條件式61為"真"，即，E (n) <u (步驟S54:是)，則轉(zhuǎn)移 到步驟S55的處理。接著，在步驟S55中，多視點(diǎn)進(jìn)深判定部16將E (n)代入到對(duì)應(yīng)于多 視點(diǎn)幀深度值保持部51的攝像機(jī)視點(diǎn)位置Cn的描繪用幀的、與幀像素指 針Fi對(duì)應(yīng)的像素的深度值，保持該值(步驟S55)。接著，多視點(diǎn)進(jìn)深判定部16將Color (n)代入到對(duì)應(yīng)于多視點(diǎn)幀顏色 信息保持部52的攝像機(jī)視點(diǎn)位置Cn的描繪用幀的、與幀像素指針Fi對(duì)應(yīng) 的像素的顏色信息，保持該值(步驟S56)。接著，多視點(diǎn)進(jìn)深判定部16將變量n的值加1運(yùn)算(步驟S57)，判定 變量n的值是否達(dá)到了攝像機(jī)總數(shù)Nc (步驟S58)。這里，如果判定為rK Nc (步驟S58:否)，則再次返回到步驟S52。如果在步驟S58中判定為n =Nc (步驟S58:是)，則結(jié)束本處理。返回到圖3，顯示控制部17基于保持于多視點(diǎn)幀顏色信息保持部52 的與各攝像機(jī)視點(diǎn)位置相對(duì)應(yīng)的描繪用幀的像素單位的顏色信息，生成對(duì) 應(yīng)于攝像機(jī)視點(diǎn)位置Cn的數(shù)目的視差圖像量，也就是幀整體量的多視點(diǎn)數(shù) 據(jù)。另外，顯示控制部n通過(guò)將生成的多視點(diǎn)數(shù)據(jù)顯示在三維顯示裝置也就是顯示部3中，來(lái)進(jìn)行與形狀數(shù)據(jù)92相對(duì)應(yīng)的立體影像的提示。下面，使用圖15，對(duì)由多視點(diǎn)數(shù)據(jù)生成裝置100的各功能部分執(zhí)行的 多視點(diǎn)數(shù)據(jù)生成處理進(jìn)行說(shuō)明。這里，圖15是表示多視點(diǎn)數(shù)據(jù)生成處理的 流程的流程圖。
首先，輸入多視點(diǎn)攝像機(jī)信息91和形狀數(shù)據(jù)92后，幀像素指針生成 部11基于與多視點(diǎn)攝像機(jī)信息91包含的幀的像素?cái)?shù)相關(guān)的信息，生成幀 像素指針Fi，并輸出到多視點(diǎn)顏色信息生成部12以及多視點(diǎn)深度值生成部13 (步驟S61)。然后，多視點(diǎn)顏色信息生成部12根據(jù)多視點(diǎn)攝像機(jī)信息91、形狀數(shù)據(jù) 92和幀像素指針Fi，執(zhí)行圖8中說(shuō)明的多視點(diǎn)顏色信息生成處理，將組合 了幀像素指針Fi與多視點(diǎn)顏色信息的信息輸出到多視點(diǎn)進(jìn)深判定部16(步 驟S62)。另外，多視點(diǎn)深度值生成部13根據(jù)多視點(diǎn)攝像機(jī)信息91、形狀數(shù)據(jù) 92和幀像素指針Fi，執(zhí)行圖10中說(shuō)明的多視點(diǎn)深度值生成處理，將組合 了幀像素指針Fi與多視點(diǎn)深度值的信息輸出到多視點(diǎn)深度參數(shù)排列生成部14 (步驟S63)。接著，多視點(diǎn)深度參數(shù)排列生成部14根據(jù)從多視點(diǎn)深度值生成部13 輸入的信息，執(zhí)行圖11中說(shuō)明的深度參數(shù)排列生成處理，將組合了幀像素 指針Fi與深度參數(shù)排列的信息輸出到多視點(diǎn)深度值復(fù)原部15 (步驟S64)。接著，多視點(diǎn)深度值復(fù)原部15根據(jù)從多視點(diǎn)深度參數(shù)排列生成部14 輸入的信息，執(zhí)行圖13中說(shuō)明的深度值復(fù)原處理，將組合了幀像素指針Fi 與深度值排列的信息輸出到多視點(diǎn)進(jìn)深判定部16 (步驟S65)。接著，多視點(diǎn)進(jìn)深判定部16根據(jù)從多視點(diǎn)深度值復(fù)原部15輸入的信 息，執(zhí)行圖14中說(shuō)明的進(jìn)深判定處理，對(duì)于每一個(gè)攝像機(jī)視點(diǎn)位置Cn的 幀，將對(duì)應(yīng)于各幀像素指針Fi的像素的深度值保持在多視點(diǎn)幀深度值保持 部51中，并且，將對(duì)應(yīng)于各幀像素指針Fi的像素的顏色信息保持在多視 點(diǎn)幀顏色信息保持部52中(步驟S66)。然后，顯示控制部17，以保持在多視點(diǎn)幀顏色信息保持部52中的各攝 像機(jī)視點(diǎn)位置Cn的描繪用幀所包含的像素單位的顏色信息為基礎(chǔ)，生成對(duì) 應(yīng)于攝像機(jī)視點(diǎn)位置Cn的總數(shù)的多視點(diǎn)數(shù)據(jù)(步驟S67)。并且，顯示控制 部17通過(guò)將該多視點(diǎn)數(shù)據(jù)顯示在顯示部3中來(lái)提示與形狀數(shù)據(jù)92相對(duì)應(yīng) 的立體影像(步驟S68)，結(jié)束本處理。如上所述，根據(jù)本實(shí)施方式，相對(duì)于CG目標(biāo)921的形狀數(shù)據(jù)92，針對(duì) 各視點(diǎn)位置，以排列了作為近似式的函數(shù)E (n)的參數(shù)的深度參數(shù)排列的
狀態(tài)處理像素單位上的深度值。由此，能夠削減所使用的存儲(chǔ)器量，并且 能夠抑制給運(yùn)算處理量造成的負(fù)荷，能夠?qū)Ω鱾€(gè)視點(diǎn)位置高效地導(dǎo)出像素 單位上的深度值。而且，在從深度參數(shù)排列復(fù)原深度值之后，對(duì)各個(gè)視點(diǎn)位置進(jìn)行像素 單位上的進(jìn)深判定，將針對(duì)根據(jù)該判定結(jié)果獲得的各視點(diǎn)位置而基于像素 單位上的顏色信息描繪的多視點(diǎn)數(shù)據(jù)顯示在顯示部3上。由此，能夠提示 高精度的立體影像，并且能夠通過(guò)目視確認(rèn)近似的精度。第2實(shí)施方式下面對(duì)第2實(shí)施方式的多視點(diǎn)數(shù)據(jù)生成裝置進(jìn)行說(shuō)明。對(duì)于與上述第1 實(shí)施方式同樣的結(jié)構(gòu)標(biāo)注同樣的附圖標(biāo)記并省略說(shuō)明。在第1實(shí)施方式中，對(duì)基于所輸入的多視點(diǎn)攝像機(jī)信息91以及形狀數(shù) 據(jù)92生成幀單位的多視點(diǎn)數(shù)據(jù)的方式進(jìn)行了說(shuō)明。在本實(shí)施方式中，對(duì)生 成精靈單位的多視點(diǎn)數(shù)據(jù)的多視點(diǎn)數(shù)據(jù)生成裝置200進(jìn)行說(shuō)明。圖16是表示通過(guò)控制部1與預(yù)先存儲(chǔ)在R0N4或者存儲(chǔ)部6中的規(guī)定 程序的協(xié)同作用而實(shí)現(xiàn)的、多視點(diǎn)數(shù)據(jù)生成裝置200的功能性結(jié)構(gòu)的圖。 如圖16所示，多視點(diǎn)數(shù)據(jù)生成裝置200具備幀像素指針生成部21、多視點(diǎn) 顏色信息生成部22、多視點(diǎn)深度值生成部23、多視點(diǎn)深度參數(shù)排列生成部 24、綜合多視點(diǎn)精靈數(shù)據(jù)保持控制部25。而且，利用RAM5來(lái)實(shí)現(xiàn)綜合多視 點(diǎn)精靈數(shù)據(jù)保持部53的功能。在多視點(diǎn)數(shù)據(jù)生成裝置200中，多視點(diǎn)攝像機(jī)信息94被輸入到幀像素 指針生成部21、多視點(diǎn)顏色信息生成部22以及多視點(diǎn)深度值生成部23。 而且，形狀數(shù)據(jù)92被輸入到多視點(diǎn)顏色信息生成部22以及多視點(diǎn)深度值 生成部23中。這里，在多視點(diǎn)攝像機(jī)信息中，代替幀像素?cái)?shù)(Fwidth， Fheight)， 包含有定義了精靈區(qū)域的縱向像素?cái)?shù)Sheight和橫向像素?cái)?shù)Swidth的精靈 像素?cái)?shù)(Swidth， Sheight)。另外，在幀=精靈區(qū)域的情況下，當(dāng)然，與 第1實(shí)施方式中采用的多視點(diǎn)攝像機(jī)信息91相同。精靈像素指針生成部21輸入多視點(diǎn)攝像機(jī)信息93，基于多視點(diǎn)攝像機(jī) 信息93生成存在于精靈區(qū)域上的各像素的指針，作為精靈像素指針Si (Si=(Sx，Sy))依次輸出。 具體來(lái)說(shuō)，精靈像素指針生成部21參照由上述多視點(diǎn)攝像機(jī)信息93 所含的精靈區(qū)域的像素?cái)?shù)(Swidth， Sheight)，依次輸出該精靈區(qū)域所含 的所有像素的分量(精靈像素指針)。例如，在(Swidth， Sheight) = (200， 100)的情況下，從相當(dāng)于精靈區(qū)域的左上方的(Sx， Sy) 二 (0， 0)開(kāi)始， 到相當(dāng)于精靈的右下方的(Sx， Sy) : (199, 99)，依次將(Sx， Sy)= (0， 0)，…，(199， 0)， (0， 1)，…，(199， 1)，…，(0， 99)，…，(199， 99)逐個(gè)輸出。多視點(diǎn)顏色信息生成部22具有與上述多視點(diǎn)顏色信息生成部12同樣 的功能，基于多視點(diǎn)攝像機(jī)信息93、形狀數(shù)據(jù)92以及精靈像素指針Si， 導(dǎo)出將精靈像素指針Si映射到由形狀數(shù)據(jù)92定義的基準(zhǔn)幀923上的精靈 像素指針對(duì)應(yīng)點(diǎn)Sp。另外，多視點(diǎn)顏色信息生成部22分別導(dǎo)出連結(jié)精靈像素指針對(duì)應(yīng)點(diǎn)Sp 和各攝像機(jī)視點(diǎn)位置Cn的直線與由形狀數(shù)據(jù)92定義的CG目標(biāo)921的多邊 形面相交所得的交點(diǎn)Qn。另外，多視點(diǎn)顏色信息生成部22求出針對(duì)導(dǎo)出的各個(gè)交點(diǎn)Qn的顏色 信息Color (n)也就是多視點(diǎn)顏色信息，并與精靈像素指針Si對(duì)應(yīng)起來(lái)輸 出到綜合多視點(diǎn)精靈數(shù)據(jù)保持控制部25。另外，由多視點(diǎn)顏色信息生成部22執(zhí)行的多視點(diǎn)顏色信息生成處理與 第1實(shí)施方式中說(shuō)明的多視點(diǎn)顏色信息生成部12的多視點(diǎn)顏色信息生成處 理相同，所以省略其說(shuō)明。多視點(diǎn)深度值生成部23具有與上述多視點(diǎn)深度值生成部13同樣的功 能，基于多視點(diǎn)攝像機(jī)信息93、形狀數(shù)據(jù)92以及精靈像素指針Si，導(dǎo)出 精靈像素指針對(duì)應(yīng)點(diǎn)Sp。另外，多視點(diǎn)深度值生成部23導(dǎo)出連結(jié)精靈像素指針對(duì)應(yīng)點(diǎn)Sp和各 攝像機(jī)視點(diǎn)位置Cn的直線與由形狀數(shù)據(jù)92定義的CG目標(biāo)921的多邊形面 之間相交的交點(diǎn)Qn。而且，多視點(diǎn)深度值生成部23求出針對(duì)導(dǎo)出的各交點(diǎn)Qn的深度值dn 即多視點(diǎn)深度值，并與精靈像素指針Si對(duì)應(yīng)起來(lái)輸出到多視點(diǎn)深度參數(shù)排 列生成部24。另外，由多視點(diǎn)深度值生成部23執(zhí)行的多視點(diǎn)深度值生成處理與第1 實(shí)施方式中說(shuō)明的多視點(diǎn)深度值生成部13的多視點(diǎn)深度值生成處理相同， 所以省略其說(shuō)明。多視點(diǎn)深度參數(shù)排列生成部24具有與上述多視點(diǎn)深度參數(shù)排列生成部 14同樣的功能，將精靈像素指針Si和多視點(diǎn)深度值的組作為輸入，在用函 數(shù)D (n)定義多視點(diǎn)深度值所包含的一系列深度值dn所表示的曲線后，導(dǎo) 出用近似式表示該函數(shù)D (n)的函數(shù)E (n)。另外，多視點(diǎn)深度參數(shù)排列生成部24將函數(shù)E (n)所含的各參數(shù)的組 作為深度參數(shù)排列，與精靈像素指針Si對(duì)應(yīng)起來(lái)輸出到綜合多視點(diǎn)精靈數(shù) 據(jù)保持控制部25。另外，由多視點(diǎn)深度參數(shù)排列生成部24執(zhí)行的多視點(diǎn)深度參數(shù)生成處 理與第1實(shí)施方式中說(shuō)明的多視點(diǎn)深度參數(shù)排列生成部14的多視點(diǎn)深度參 數(shù)生成處理相同，所以省略其說(shuō)明。綜合多視點(diǎn)精靈數(shù)據(jù)保持控制部25將從多視點(diǎn)顏色信息生成部22輸 出的精靈像素指針Si與多視點(diǎn)顏色信息的組、以及從多視點(diǎn)深度參數(shù)排列 生成部24輸出的精靈像素指針Si和深度參數(shù)排列作為輸入。并且，綜合多視點(diǎn)精靈數(shù)據(jù)保持控制部25相對(duì)于賦予的多視點(diǎn)精靈名 94將把各精靈像素指針Si和對(duì)應(yīng)的多視點(diǎn)顏色信息以及深度參數(shù)排列關(guān) 聯(lián)起來(lái)的綜合多視點(diǎn)精靈數(shù)據(jù)保持在綜合多視點(diǎn)精靈數(shù)據(jù)保持部53中。這 里，綜合多視點(diǎn)精靈數(shù)據(jù)保持部53是RAM5的規(guī)定的存儲(chǔ)區(qū)域(視頻存儲(chǔ) 器等)。在本實(shí)施方式中，采取的是RAM5作為綜合多視點(diǎn)精靈數(shù)據(jù)保持部 53起作用的方式，但不限于此，也可以采取存儲(chǔ)部6作為綜合多視點(diǎn)精靈 數(shù)據(jù)保持部53起作用的方式。另外，多視點(diǎn)精靈名94既可以是從外部經(jīng) 由通信部7輸入的方式，也可以是利用綜合多視點(diǎn)精靈數(shù)據(jù)保持控制部25 進(jìn)行綜合多視點(diǎn)精靈數(shù)據(jù)生成時(shí)自動(dòng)賦予的方式。圖17是示意性表示保持在綜合多視點(diǎn)精靈數(shù)據(jù)保持部53中的綜合多 視點(diǎn)精靈數(shù)據(jù)531的數(shù)據(jù)結(jié)構(gòu)的圖。如圖17所示，綜合多視點(diǎn)精靈數(shù)據(jù)531 由多視點(diǎn)精靈名5311、精靈像素指針表5312、多視點(diǎn)顏色信息表5313、多 視點(diǎn)深度參數(shù)排列表5314構(gòu)成。其中，多視點(diǎn)精靈名5311對(duì)應(yīng)于多視點(diǎn)精靈名94，是用來(lái)識(shí)別該綜合 多視點(diǎn)精靈數(shù)據(jù)531的識(shí)別信息。因此，優(yōu)選對(duì)多視點(diǎn)精靈名5311賦予每
個(gè)綜合多視點(diǎn)精靈數(shù)據(jù)531固有的文字列。精靈像素指針表5312是存儲(chǔ)各精靈像素指針Si的表。另外，多視點(diǎn) 顏色信息表5313是存儲(chǔ)多視點(diǎn)顏色信息Color (n)的表。而多視點(diǎn)深度參 數(shù)排列表5314是存儲(chǔ)深度參數(shù)排列(t (n), :r (n))的表。多視點(diǎn)顏色信息表5313、多視點(diǎn)深度參數(shù)排列表5314中存儲(chǔ)的多視點(diǎn) 顏色信息Color (n)和深度參數(shù)排列(t (n) ， r (n))分別與存儲(chǔ)在精靈像素指 針表5312中的對(duì)應(yīng)的精靈象素指針Si關(guān)聯(lián)起來(lái)存儲(chǔ)。艮口，根據(jù)存儲(chǔ)在精靈像素指針表5312中的精靈象素指針Si，能夠分別 從多視點(diǎn)顏色信息表5313和多視點(diǎn)深度參數(shù)排列表5314讀出與該精靈像 素指針Si對(duì)應(yīng)的多視點(diǎn)顏色信息Color (n)和深度參數(shù)排列(t (n), r (n))。 另外，圖17中表示的箭頭表示對(duì)應(yīng)于一個(gè)精靈像素指針Si的多視點(diǎn)顏色 信息Color (n)和深度參數(shù)排列(t(n)，r(n))。下面，利用圖18，對(duì)由多視點(diǎn)數(shù)據(jù)生成裝置200的各功能部分執(zhí)行的 綜合多視點(diǎn)精靈數(shù)據(jù)保存處理進(jìn)行說(shuō)明。這里，圖18是表示多視點(diǎn)數(shù)據(jù)生 成處理的流程的流程圖。首先，輸入多視點(diǎn)攝像機(jī)信息93和形狀數(shù)據(jù)92后，精靈像素指針生 成部21基于與多視點(diǎn)攝像機(jī)信息91包含的精靈的像素?cái)?shù)相關(guān)的信息，依 次生成精靈像素指針Si，并輸出到多視點(diǎn)顏色信息生成部22以及多視點(diǎn)深 度值生成部23 (步驟S71)。然后，多視點(diǎn)顏色信息生成部22根據(jù)多視點(diǎn)攝像機(jī)信息93、形狀數(shù)據(jù) 92和精靈像素指針Si，針對(duì)精靈象素指針Si執(zhí)行與圖8中說(shuō)明的多視點(diǎn) 顏色信息生成處理同樣的處理，將組合了精靈像素指針Si與多視點(diǎn)顏色信 息的信息輸出到綜合多視點(diǎn)精靈數(shù)據(jù)保持控制部25 (步驟S72)。另外，多視點(diǎn)深度值生成部23根據(jù)多視點(diǎn)攝像機(jī)信息93、形狀數(shù)據(jù) 92和精靈像素指針Si，針對(duì)精靈像素指針Si執(zhí)行與圖10中說(shuō)明的多視點(diǎn) 深度值生成處理同樣的處理，將該處理得到的多視點(diǎn)深度值與精靈像素指 針Si對(duì)應(yīng)起來(lái)輸出到多視點(diǎn)深度參數(shù)排列生成部24 (步驟S73)。接著，多視點(diǎn)深度參數(shù)排列生成部24根據(jù)從多視點(diǎn)深度值生成部23 輸入的信息，針對(duì)精靈像素指針Si執(zhí)行與圖11中說(shuō)明的深度參數(shù)排列生 成處理同樣的處理，將該處理得到的深度參數(shù)排列與精靈像素指針Si對(duì)應(yīng)
起來(lái)輸出到綜合多視點(diǎn)精靈數(shù)據(jù)保持控制部25 (步驟S74)。接著，綜合多視點(diǎn)精靈數(shù)據(jù)保持控制部25將從多視點(diǎn)顏色信息生成部 22以及多視點(diǎn)深度參數(shù)排列生成部24輸入的精靈像素指針Si、多視點(diǎn)顏 色信息以及深度參數(shù)排列的組與多視點(diǎn)精靈名94關(guān)聯(lián)起來(lái)，作為綜合多視 點(diǎn)精靈數(shù)據(jù)存儲(chǔ)在綜合多視點(diǎn)精靈數(shù)據(jù)保持部53中(步驟S75)后，結(jié)束 本處理。如上所述，根據(jù)本實(shí)施方式，相對(duì)于CG目標(biāo)921的形狀數(shù)據(jù)92，針對(duì) 各視點(diǎn)位置，以排列了作為近似式的函數(shù)E (n)的參數(shù)的深度參數(shù)排列的 狀態(tài)來(lái)處理像素單位上的深度值。由此，能夠削減所使用的存儲(chǔ)器量，并 且能夠抑制給運(yùn)算處理量造成的負(fù)荷，能夠?qū)Ω鱾€(gè)視點(diǎn)位置高效地導(dǎo)出像 素單位上的深度值。而且，針對(duì)一個(gè)多視點(diǎn)精靈名，將把精靈像素指針Si和多視點(diǎn)顏色信 息以及深度參數(shù)排列的組關(guān)聯(lián)起來(lái)的綜合多視點(diǎn)精靈數(shù)據(jù)保持在綜合多視 點(diǎn)精靈數(shù)據(jù)保持部53中。由此，能在不增加存儲(chǔ)器量以及運(yùn)算處理量的情 況下，針對(duì)各視點(diǎn)位置高效地保持像素單位上的深度值。第3實(shí)施方式下面對(duì)第3實(shí)施方式的多視點(diǎn)數(shù)據(jù)生成裝置進(jìn)行說(shuō)明。對(duì)于與上述第 1、第2實(shí)施方式同樣的結(jié)構(gòu)標(biāo)注同樣的附圖標(biāo)記并省略說(shuō)明。在本實(shí)施方式中，對(duì)使用由第2實(shí)施方式的多視點(diǎn)數(shù)據(jù)生成裝置200 生成的多視點(diǎn)精靈數(shù)據(jù)生成用于立體影像顯示的多視點(diǎn)數(shù)據(jù)的多視點(diǎn)數(shù)據(jù) 生成裝置300進(jìn)行說(shuō)明。圖19是表示通過(guò)控制部1與預(yù)先存儲(chǔ)在R0M4或者存儲(chǔ)部6中的規(guī)定 程序的協(xié)同作用而實(shí)現(xiàn)的、多視點(diǎn)數(shù)據(jù)生成裝置300的功能性結(jié)構(gòu)的圖。 如圖19所示，多視點(diǎn)數(shù)據(jù)生成裝置300具備像素指針生成部31、多視點(diǎn)顏 色信息讀出部32、多視點(diǎn)深度參數(shù)排列讀出部33、多視點(diǎn)深度值復(fù)原部15、 多視點(diǎn)進(jìn)深判定部16、和顯示控制部17。而且，利用RAM5來(lái)實(shí)現(xiàn)多視點(diǎn) 幀深度值保持部51、多視點(diǎn)幀顏色信息保持部52和綜合多視點(diǎn)精靈數(shù)據(jù)保 持部53的功能。另外，在存儲(chǔ)部6中存儲(chǔ)著進(jìn)深判定條件式61。在多視點(diǎn)數(shù)據(jù)生成裝置300中，生成多視點(diǎn)數(shù)據(jù)之前，多視點(diǎn)攝像機(jī) 信息91被輸入到像素指針生成部31、多視點(diǎn)顏色信息讀出部32以及多視
點(diǎn)深度參數(shù)排列讀出部33中。另外，作為用于從綜合多視點(diǎn)精靈數(shù)據(jù)保持部53讀出特定的綜合多視 點(diǎn)精靈數(shù)據(jù)的指示信息，多視點(diǎn)精靈名94被輸入到多視點(diǎn)顏色信息讀出部 32以及多視點(diǎn)深度參數(shù)排列讀出部33中。多視點(diǎn)精靈名94既可以采取經(jīng) 由通信部7從外部裝置輸入的方式，還可以采取下述方式將多視點(diǎn)精靈 名94預(yù)先存儲(chǔ)在存儲(chǔ)部6中，通過(guò)從該存儲(chǔ)部6讀出來(lái)輸入到各功能部分 中。另外，定義了顯示多視點(diǎn)精靈數(shù)據(jù)時(shí)的屬性的多視點(diǎn)精靈顯示屬性信 息95被輸入到像素指針生成部31。這里，使用圖20對(duì)多視點(diǎn)精靈顯示屬 性信息95進(jìn)行說(shuō)明。圖20是表示多視點(diǎn)精靈顯示屬性信息95的一個(gè)例子的圖。如圖20所 示，在多視點(diǎn)精靈顯示屬性信息95中，定義了表示幀內(nèi)的多視點(diǎn)精靈的相 對(duì)顯示位置(精靈區(qū)域)的顯示相對(duì)位置(Soffsetx， Soffsety)。在本實(shí) 施方式中，在多視點(diǎn)精靈顯示屬性信息95中僅包含顯示相對(duì)位置，但不限 于此，也可以采取包含多視點(diǎn)精靈的顯示尺寸(比例參數(shù))、用于仿射變換 的參數(shù)的方式。返回圖19，像素指針生成部31基于多視點(diǎn)攝像機(jī)信息91和多視點(diǎn)精 靈顯示屬性信息95，生成將精靈像素指針Si與對(duì)應(yīng)于該精靈像素指針Si 的幀像素指針Fi對(duì)應(yīng)起來(lái)的像素指針Gi，并輸出到多視點(diǎn)顏色信息讀出部 32以及多視點(diǎn)深度參數(shù)排列讀出部33。具體來(lái)說(shuō)，像素指針生成部31基于多視點(diǎn)攝像機(jī)信息91所包含的幀 的像素?cái)?shù)(Fwidth， Fheight)和多視點(diǎn)精靈顯示屬性信息95的顯示相對(duì) 位置(Soffsetx， Soffsety)，對(duì)精靈區(qū)域的所有像素依次輸出將精靈像素 指針Si與對(duì)應(yīng)于該精靈像素指針Si的幀像素指針Fi對(duì)應(yīng)起來(lái)的像素指針 Gi= ((Px，Py)， (Sx，Sy))。這里，對(duì)于幀內(nèi)包含的像素中的沒(méi)有與精靈區(qū) 域的像素對(duì)應(yīng)的像素，不輸出幀像素指針Fi。例如，如圖21所示，假設(shè)幀象素?cái)?shù)(Fwidth， Fheight) 二 (320， 240)， 在多視點(diǎn)精靈顯示屬性信息95中定義為(Soffsetx， Soffsety) = (200， 100)。這種情況下，像素指針生成部31設(shè)為像素指針Gi = ((Px，Py)， (Sx，Sy))，依次輸出((Px，Py)， (Sx, Sy) ) = ((200， 100)， (0，O))， ((201, 100)， (1， O))， ((202， 100)， (2， O))，…，((319， 100)， (119， O))， ((200， 101)， (0， l))，."， ((200， 239)， (0， 139))，…， ((319， 239)， (119， 139))。返回圖19，多視點(diǎn)顏色信息讀出部32從綜合多視點(diǎn)精靈數(shù)據(jù)保持部 53參照對(duì)應(yīng)于多視點(diǎn)精靈名94的綜合多視點(diǎn)精靈數(shù)據(jù)531，從多視點(diǎn)顏色 信息表5313讀出從像素指針生成部31輸入的像素指針Gi二 ((Px，Py)， (Sx，Sy))的、對(duì)應(yīng)于(Sx，Sy)的多視點(diǎn)顏色信息Color (n)。另外，多視點(diǎn)顏色信息讀出部32將讀出的多視點(diǎn)顏色信息Color (n) 與像素指針Gi的(Px，Py)、即對(duì)應(yīng)于(Sx，Sy)的幀像素指針Fi對(duì)應(yīng)起來(lái)， 輸出到多視點(diǎn)進(jìn)深判定部16。多視點(diǎn)深度參數(shù)排列讀出部33從綜合多視點(diǎn)精靈數(shù)據(jù)保持部53參照 對(duì)應(yīng)于多視點(diǎn)精靈名94的綜合多視點(diǎn)精靈數(shù)據(jù)531，從多視點(diǎn)深度參數(shù)排 列表5314讀出從像素指針生成部31輸入的像素指針Gi = ((Px，Py)， (Sx，Sy))的、對(duì)應(yīng)于(Sx，Sy)的深度參數(shù)排列(t(n)，r(n))。另外，多視點(diǎn)深度參數(shù)排列讀出部33將讀出的深度參數(shù)排列 (t(n)，r(n))與像素指針Gi的(Px， Py)、即對(duì)應(yīng)于(Sx， Sy)的幀像素指 針Fi對(duì)應(yīng)起來(lái)，輸出到多視點(diǎn)深度值復(fù)原部15。在多視點(diǎn)深度值復(fù)原部15中，基于從多視點(diǎn)深度參數(shù)排列讀出部33 輸入的幀像素指針Fi和深度參數(shù)排列(t(n)，:r(n))的組生成深度值排列， 與像素指針Gi對(duì)應(yīng)起來(lái)輸出到多視點(diǎn)進(jìn)深判定部16。另外，由多視點(diǎn)深度 值復(fù)原部15執(zhí)行的多視點(diǎn)深度值復(fù)原處理與在第1實(shí)施方式中說(shuō)明的多視 點(diǎn)深度值復(fù)原處理同樣，所以省略其說(shuō)明。多視點(diǎn)進(jìn)深判定部16基于從多視點(diǎn)顏色信息讀出部32以及多視點(diǎn)深 度值復(fù)原部15輸入的幀像素指針Fi和多視點(diǎn)顏色信息Color (n)以及深 度參數(shù)排列(t(n)，r(n))，對(duì)與幀像素指針Fi對(duì)應(yīng)的每個(gè)像素判定針對(duì)各 攝像機(jī)視點(diǎn)位置Cn的進(jìn)深。由多視點(diǎn)進(jìn)深判定部16執(zhí)行的進(jìn)深判定處理 與第1實(shí)施方式中說(shuō)明的進(jìn)深判定處理同樣，所以省略其說(shuō)明。顯示控制部17利用上述各個(gè)功能部處理所有幀像素指針Fi(包括精靈 像素指針Si分量)的組后，基于對(duì)應(yīng)于各攝像機(jī)視點(diǎn)位置的描繪用幀的像 素單位的顏色信息，生成與攝像機(jī)視點(diǎn)位置Cn的數(shù)量相對(duì)應(yīng)的視差像素量
的多視點(diǎn)數(shù)據(jù)，即，生成包含精靈區(qū)域的多視點(diǎn)數(shù)據(jù)(多視點(diǎn)精靈數(shù)據(jù)) 的所有幀量的多視點(diǎn)數(shù)據(jù)。另外，顯示控制部17通過(guò)將生成的多視點(diǎn)數(shù)據(jù)顯示在作為三維顯示裝 置的顯示部3中，而以對(duì)應(yīng)于精靈區(qū)域的部分描繪了立體影像(多視點(diǎn)精 靈數(shù)據(jù))的狀態(tài)來(lái)提示幀整體。下面，利用圖22，對(duì)由多視點(diǎn)數(shù)據(jù)生成裝置300的各功能部分執(zhí)行的 多視點(diǎn)數(shù)據(jù)生成處理進(jìn)行說(shuō)明。這里，圖22是表示多視點(diǎn)數(shù)據(jù)生成處理的 流程的流程圖。首先，輸入多視點(diǎn)攝像機(jī)信息91、多視點(diǎn)精靈名94以及多視點(diǎn)精靈顯 示屬性信息95后，像素指針生成部31基于與多視點(diǎn)攝像機(jī)信息91和多視 點(diǎn)精靈顯示屬性信息95，生成將精靈像素指針Si和對(duì)應(yīng)于該精靈像素指針 Si的幀像素指針Fi對(duì)應(yīng)起來(lái)的像素指針Gi，并輸出到多視點(diǎn)顏色信息讀 出部32以及多視點(diǎn)深度參數(shù)排列讀出部33 (步驟S81)。然后，多視點(diǎn)顏色信息讀出部32參照保持在綜合多視點(diǎn)精靈數(shù)據(jù)保持 部53中的與多視點(diǎn)精靈名94對(duì)應(yīng)的綜合多視點(diǎn)精靈數(shù)據(jù)531，將與像素指 針Gi所包含的精靈像素指針Si對(duì)應(yīng)的多視點(diǎn)顏色信息從多視點(diǎn)顏色信息 表5313讀出(步驟S82)。接著，多視點(diǎn)顏色信息讀出部32將在步驟S82中讀出的多視點(diǎn)顏色信 息與像素指針Gi所包含的幀像素指針Fi對(duì)應(yīng)起來(lái)輸出到多視點(diǎn)進(jìn)深判定 部16 (步驟S83)另外，多視點(diǎn)深度參數(shù)排列讀出部33參照保持在綜合多視點(diǎn)精靈數(shù)據(jù) 保持部53中的與多視點(diǎn)精靈名94對(duì)應(yīng)的綜合多視點(diǎn)精靈數(shù)據(jù)531，將與像 素指針Gi所包含的精靈像素指針Si對(duì)應(yīng)的深度參數(shù)排列從多視點(diǎn)深度參 數(shù)排列表5314讀出(步驟S84)。接著，多視點(diǎn)深度參數(shù)排列讀出部33將在步驟S84中讀出的深度參數(shù) 排列與像素指針Gi所包含的幀像素指針Fi對(duì)應(yīng)起來(lái)輸出到多視點(diǎn)深度值 復(fù)原部15 (步驟S85)。接著，多視點(diǎn)深度值復(fù)原部15基于從多視點(diǎn)深度參數(shù)排列讀出部33 輸入的信息，執(zhí)行圖13中說(shuō)明的深度值復(fù)原處理，將組合了像素指針Gi 所包含的幀像素指針Fi和深度值排列的信息輸出到多視點(diǎn)進(jìn)深判定部16(步驟S86)。然后，多視點(diǎn)進(jìn)深判定部16基于從多視點(diǎn)深度值復(fù)原部15輸入的信 息執(zhí)行圖14中說(shuō)明的進(jìn)深判定處理。這里，多視點(diǎn)進(jìn)深判定部16將判定 為比多視點(diǎn)幀深度值保持部51中存儲(chǔ)的深度值更靠近近前側(cè)的深度值E (n)與存儲(chǔ)在多視點(diǎn)幀深度值保持部51中的對(duì)應(yīng)的描繪用幀的像素對(duì)應(yīng) 起來(lái)，并加以保持。另外，多視點(diǎn)進(jìn)深判定部16將對(duì)應(yīng)于該深度值E (n) 的幀像素指針Fi以及攝像機(jī)視點(diǎn)位置Cn的顏色信息與存儲(chǔ)在多視點(diǎn)幀顏 色信息保持部52中的對(duì)應(yīng)的描繪用幀的像素對(duì)應(yīng)起來(lái)，并加以保持(步驟 S87)。然后，顯示控制部17基于與各攝像機(jī)視點(diǎn)位置相對(duì)應(yīng)的描繪用幀的像 素單位的顏色信息，生成與攝像機(jī)視點(diǎn)位置Cn的數(shù)量對(duì)應(yīng)的視差圖像，也 就是包含精靈區(qū)域量的多視點(diǎn)精靈數(shù)據(jù)在內(nèi)的所有幀量的多視點(diǎn)數(shù)據(jù)(步 驟S88)。隨后，顯示控制部17通過(guò)將該多視點(diǎn)數(shù)據(jù)顯示在顯示部3中，來(lái) 以將立體影像描繪于與該幀的精靈區(qū)域相對(duì)應(yīng)的部分中的狀態(tài)提示幀整體 (步驟S89)，結(jié)束本處理。另外，相對(duì)于多個(gè)綜合多視點(diǎn)精靈數(shù)據(jù)進(jìn)行了本處理時(shí)，在進(jìn)行了進(jìn) 深判定的基礎(chǔ)上，將正確重合了的多個(gè)精靈作為立體圖像提示在幀內(nèi)。如上所述，根據(jù)本實(shí)施方式，對(duì)一個(gè)多視點(diǎn)精靈名，從綜合多視點(diǎn)精 靈數(shù)據(jù)保持部53讀出將精靈像素指針Si與多視點(diǎn)顏色信息以及深度參數(shù) 排列的組關(guān)聯(lián)起來(lái)的多視點(diǎn)精靈數(shù)據(jù)，針對(duì)各視點(diǎn)位置，以排列了作為近 似式的函數(shù)E (n)的參數(shù)的深度參數(shù)排列的狀態(tài)處理像素單位上的深度值。 由此，能夠削減所使用的存儲(chǔ)器量，并且能夠抑制給運(yùn)算處理量造成的負(fù) 荷，能夠?qū)Ω鱾€(gè)視點(diǎn)位置高效地導(dǎo)出像素單位上的深度值。而且，在從深度參數(shù)排列復(fù)原深度值以后，針對(duì)各視點(diǎn)位置進(jìn)行像素 單位上的進(jìn)深判定，針對(duì)根據(jù)該判定結(jié)果獲得的各視點(diǎn)位置，將基于像素 單位上的顏色信息描繪的多視點(diǎn)數(shù)據(jù)顯示在顯示部3中。由此，能夠提示高精度的立體影像，并且能夠通過(guò)目視確認(rèn)近似的精度。以上，對(duì)本發(fā)明的實(shí)施方式進(jìn)行了說(shuō)明，但本發(fā)明并不限于此，在不脫離本發(fā)明主旨的范圍內(nèi)，可以進(jìn)行各種變更、置換、追加等。例如，也可以采取下述方式將執(zhí)行前面所述的多視點(diǎn)數(shù)據(jù)生成裝置 100、 200、 300中的各處理的程序以可裝載的形式或可執(zhí)行的形式存儲(chǔ)在 CD—R0M、軟(R)盤片(FD)、 DVD等可由計(jì)算機(jī)讀取的記錄介質(zhì)中，來(lái)加 以提供。另外，也可以構(gòu)成為，將執(zhí)行多視點(diǎn)數(shù)據(jù)生成裝置100、 200、 300中 的各處理的程序存儲(chǔ)在與因特網(wǎng)等網(wǎng)絡(luò)連接的計(jì)算機(jī)上，經(jīng)由網(wǎng)絡(luò)下載該 程序來(lái)加以提供。這種情況下，在多視點(diǎn)數(shù)據(jù)生成裝置100、 200、 300中，通過(guò)從上述 記錄介質(zhì)讀出并執(zhí)行程序來(lái)將程序裝載在RAM5上，在RAM5上生成用上述 軟件結(jié)構(gòu)說(shuō)明的各部。
權(quán)利要求
1、一種多視點(diǎn)數(shù)據(jù)生成裝置，其特征在于，包括第1接收單元，接收多視點(diǎn)攝像機(jī)信息，該多視點(diǎn)攝像機(jī)信息至少包含與配置有多個(gè)攝像機(jī)的各視點(diǎn)位置相關(guān)的信息、和由該各個(gè)攝像機(jī)拍攝的幀區(qū)域的像素?cái)?shù)；第2接收單元，接收表示CG目標(biāo)的形狀以及色彩的形狀數(shù)據(jù)；像素指針生成單元，依次生成上述幀區(qū)域中的規(guī)定區(qū)域內(nèi)所包含的各像素的像素指針；顏色信息生成單元，基于上述多視點(diǎn)攝像機(jī)信息以及形狀數(shù)據(jù)，針對(duì)每個(gè)上述像素指針生成與上述CG目標(biāo)的上述幀區(qū)域內(nèi)的上述各視點(diǎn)位置相對(duì)應(yīng)的顏色信息組；深度值生成單元，基于上述多視點(diǎn)攝像機(jī)信息以及形狀數(shù)據(jù)，針對(duì)每個(gè)上述像素指針生成與上述CG目標(biāo)的上述幀區(qū)域內(nèi)的上述各視點(diǎn)位置相對(duì)應(yīng)的深度值組；深度參數(shù)排列生成單元，針對(duì)每個(gè)像素指針導(dǎo)出將上述各視點(diǎn)位置與上述深度值組之間的關(guān)系近似化了的近似函數(shù)，并生成排列了該近似函數(shù)的參數(shù)的深度參數(shù)排列；以及多視點(diǎn)數(shù)據(jù)生成單元，基于每個(gè)上述像素指針的上述顏色信息組和深度參數(shù)排列，生成與上述視點(diǎn)位置數(shù)對(duì)應(yīng)的視差圖像量的多視點(diǎn)數(shù)據(jù)。
2、 如權(quán)利要求1所述的多視點(diǎn)數(shù)據(jù)生成裝置，其特征在于，上述深度 參數(shù)排列生成單元針對(duì)每個(gè)上述像素指針，用以上述視點(diǎn)位置為變量的函 數(shù)定義上述各視點(diǎn)位置與上述深度值組所包含的各深度值之間的關(guān)系，并 通過(guò)將該函數(shù)近似化來(lái)導(dǎo)出上述近似函數(shù)。
3. 如權(quán)利要求1所述的多視點(diǎn)數(shù)據(jù)生成裝置，其特征在于， 還包括深度值存儲(chǔ)單元，就針對(duì)每個(gè)上述視點(diǎn)位置確保的描繪用的描繪用幀， 以該各描繪用幀中包含的像素單位存儲(chǔ)上述深度值；以及顏色信息存儲(chǔ)單元，就針對(duì)每個(gè)上述視點(diǎn)位置確保的描繪用的描繪用 幀，以該各描繪用幀中包含的像素單位存儲(chǔ)上述顏色信息， 其中上述多視點(diǎn)數(shù)據(jù)生成單元包括復(fù)原單元，將上述深度參數(shù)排列代入到上述近似函數(shù)中，針對(duì)每個(gè)上 述像素指針復(fù)原上述各視點(diǎn)位置與復(fù)原深度值的組；進(jìn)深判定單元，對(duì)與上述各像素指針相對(duì)應(yīng)的各視點(diǎn)位置的復(fù)原深度 值與上述深度值存儲(chǔ)單元中存儲(chǔ)的與上述視點(diǎn)位置以及像素指針相對(duì)應(yīng)的 像素的深度值進(jìn)行比較，在判定該復(fù)原深度值表示比存儲(chǔ)在上述深度值存 儲(chǔ)單元中的深度值更靠近近前側(cè)的情況下，將該復(fù)原深度值與與該復(fù)原深 度值的像素指針以及視點(diǎn)位置相對(duì)應(yīng)的描繪用幀的像素對(duì)應(yīng)起來(lái)存儲(chǔ)在上 述深度值存儲(chǔ)單元中，并且，將與該復(fù)原深度值的像素指針以及視點(diǎn)位置 相對(duì)應(yīng)的上述顏色信息組中包含的顏色信息與與該像素指針以及視點(diǎn)位置相對(duì)應(yīng)的描繪用幀的像素對(duì)應(yīng)起來(lái)存儲(chǔ)到上述顏色信息存儲(chǔ)單元中；以及 生成單元，基于上述顏色信息存儲(chǔ)單元中存儲(chǔ)的上述描繪用幀，生成 上述多視點(diǎn)數(shù)據(jù)。
4. 如權(quán)利要求1所述的多視點(diǎn)數(shù)據(jù)生成裝置，其特征在于，還包括綜 合數(shù)據(jù)存儲(chǔ)單元和存儲(chǔ)控制單元，該存儲(chǔ)控制單元，針對(duì)每個(gè)上述像素指針將綜合數(shù)據(jù)與用于識(shí)別該綜 合數(shù)據(jù)的識(shí)別信息關(guān)聯(lián)起來(lái)存儲(chǔ)到上述綜合數(shù)據(jù)單元中，所述綜合數(shù)據(jù)將 與該像素指針相對(duì)應(yīng)的上述顏色信息組和深度參數(shù)排列關(guān)聯(lián)起來(lái)。
5. 如權(quán)利要求4所述的多視點(diǎn)數(shù)據(jù)生成裝置，其特征在于， 還包括深度值存儲(chǔ)單元，就針對(duì)每個(gè)上述視點(diǎn)位置確保的描繪用的描繪用幀， 以該各描繪用幀中包含的像素單位存儲(chǔ)上述深度值；以及顏色信息存儲(chǔ)單元，就針對(duì)每個(gè)上述視點(diǎn)位置確保的描繪用的描繪用 幀，以該各描繪用幀中包含的像素單位存儲(chǔ)上述顏色信息，其中上述多視點(diǎn)數(shù)據(jù)生成單元包括第3接收單元，接收指示上述幀區(qū)域中的一部分或全部區(qū)域的顯示屬 性信息的輸入；第4接收單元，接收作為讀出對(duì)象的讀出識(shí)別信息的輸入；讀出單元，從上述綜合數(shù)據(jù)存儲(chǔ)單元中存儲(chǔ)的綜合數(shù)據(jù)，參照與上述 讀出識(shí)別信息一致的上述識(shí)別信息的綜合數(shù)據(jù)，針對(duì)用上述顯示屬性信息指示的區(qū)域中包含的各像素的各像素指針，依次讀出上述顏色信息組以及深度參數(shù)排列；復(fù)原單元，將上述深度參數(shù)排列代入到上述近似函數(shù)中，針對(duì)每個(gè)上 述像素指針復(fù)原上述各視點(diǎn)位置與復(fù)原深度值的組；進(jìn)深判定單元，對(duì)與上述各像素指針相對(duì)應(yīng)的各視點(diǎn)位置的復(fù)原深度 值與上述深度值存儲(chǔ)單元中存儲(chǔ)的與上述視點(diǎn)位置以及像素指針相對(duì)應(yīng)的 像素的深度值進(jìn)行比較，在判定該復(fù)原深度值表示比存儲(chǔ)在上述深度值存 儲(chǔ)單元中的深度值更靠近近前側(cè)的情況下，將該復(fù)原深度值與與該復(fù)原深 度值的像素指針以及視點(diǎn)位置相對(duì)應(yīng)的描繪用幀的像素對(duì)應(yīng)起來(lái)存儲(chǔ)在上 述深度值存儲(chǔ)單元中，并且，將與該復(fù)原深度值的像素指針以及視點(diǎn)位置 相對(duì)應(yīng)的上述顏色信息組中包含的顏色信息與與該像素指針以及視點(diǎn)位置 相對(duì)應(yīng)的描繪用幀的像素對(duì)應(yīng)起來(lái)存儲(chǔ)到上述顏色信息存儲(chǔ)單元中；以及生成單元，基于上述顏色信息存儲(chǔ)單元中存儲(chǔ)的上述描繪用幀，生成 上述多視點(diǎn)數(shù)據(jù)。
6. 如權(quán)利要求3或5所述的多視點(diǎn)數(shù)據(jù)生成裝置，其特征在于，上述 深度值存儲(chǔ)單元在初始狀態(tài)下將表示無(wú)限遠(yuǎn)的進(jìn)深的深度值與上述描繪用 幀中包含的各像素對(duì)應(yīng)起來(lái)加以存儲(chǔ)，上述顏色信息存儲(chǔ)單元在初始狀態(tài)下將表示上述描繪用幀的背景色的 顏色信息與上述描繪用幀中包含的各像素對(duì)應(yīng)起來(lái)加以存儲(chǔ)。
7. 如權(quán)利要求3或5所述的多視點(diǎn)數(shù)據(jù)生成裝置，其特征在于， 還包括存儲(chǔ)進(jìn)深判定條件式的判定式存儲(chǔ)單元，該進(jìn)深判定條件式用來(lái)判定上述復(fù)原深度值和存儲(chǔ)于上述深度值存儲(chǔ)單元中的深度值之間的與 進(jìn)深相關(guān)的前后關(guān)系，上述進(jìn)深判定單元將與上述各像素指針相對(duì)應(yīng)的各視點(diǎn)位置的復(fù)原深 度值與與該視點(diǎn)位置以及像素指針相對(duì)應(yīng)的存儲(chǔ)于上述深度值存儲(chǔ)單元中 的描繪用幀的像素的深度值代入到上述進(jìn)深判定式中，并基于該進(jìn)深判定 條件式的計(jì)算結(jié)果來(lái)進(jìn)行判定。
8. —種多視點(diǎn)數(shù)據(jù)生成方法，該方法在多視點(diǎn)數(shù)據(jù)生成裝置中執(zhí)行， 其特征在于，包括第1接收步驟，由第1接收單元接收多視點(diǎn)攝像機(jī)信息，該多視點(diǎn)攝像機(jī)信息至少包含與配置有多個(gè)攝像機(jī)的各視點(diǎn)位置相關(guān)的信息、和由該 各個(gè)攝像機(jī)拍攝的幀區(qū)域的像素?cái)?shù)；第2接收步驟，由第2接收單元接收表示CG目標(biāo)的形狀以及色彩的 形狀數(shù)據(jù)；像素指針生成步驟，由像素指針生成單元依次生成上述幀區(qū)域中的規(guī) 定區(qū)域內(nèi)所包含的各像素的像素指針；顏色信息生成步驟，由顏色信息生成單元基于上述多視點(diǎn)攝像機(jī)信息 以及形狀數(shù)據(jù)，針對(duì)每個(gè)上述像素指針生成與上述CG目標(biāo)的上述幀區(qū)域 內(nèi)的上述各視點(diǎn)位置相對(duì)應(yīng)的顏色信息組；深度值生成步驟，由深度值生成單元基于上述多視點(diǎn)攝像機(jī)信息以及 形狀數(shù)據(jù)，針對(duì)每個(gè)上述像素指針生成與上述CG目標(biāo)的上述幀區(qū)域內(nèi)的 上述各視點(diǎn)位置相對(duì)應(yīng)的深度值組；深度參數(shù)排列生成步驟，由深度參數(shù)排列生成單元針對(duì)每個(gè)像素指針 導(dǎo)出將上述各視點(diǎn)位置與上述深度值組之間的關(guān)系近似化了的近似函數(shù)， 并生成排列了該近似函數(shù)的參數(shù)的深度參數(shù)排列；以及多視點(diǎn)數(shù)據(jù)生成步驟，由多視點(diǎn)數(shù)據(jù)生成單元基于每個(gè)上述像素指針 的上述顏色信息組和深度參數(shù)排列，生成與上述視點(diǎn)位置數(shù)對(duì)應(yīng)的視差圖 像量的多視點(diǎn)數(shù)據(jù)。
全文摘要
本發(fā)明提供一種能夠針對(duì)各個(gè)視點(diǎn)位置高效地導(dǎo)出像素單位上的深度值的多視點(diǎn)數(shù)據(jù)生成裝置以及方法。針對(duì)包含在規(guī)定區(qū)域中的各像素的像素指針，生成對(duì)應(yīng)于各視點(diǎn)位置的CG目標(biāo)的顏色信息組和深度值組，基于該深度值組導(dǎo)出將視點(diǎn)位置與深度值之間的關(guān)系近似化了的近似函數(shù)，以排列了該近似函數(shù)的參數(shù)的深度參數(shù)排列的狀態(tài)處理深度值組。
文檔編號(hào)G06T19/00GK101398939SQ20081021575
公開(kāi)日2009年4月1日 申請(qǐng)日期2008年9月9日 優(yōu)先權(quán)日2007年9月25日
發(fā)明者山內(nèi)康晉, 杉田馨 申請(qǐng)人:株式會(huì)社東芝