專利名稱：圖像處理裝置以及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置以及圖像處理方法，尤其涉及通過將基于圖像數(shù)據(jù)的圖 像紋理映射到計(jì)算機(jī)圖形圖像上來進(jìn)行圖像合成的圖像處理裝置等。
背景技術(shù)：
在三維圖形系統(tǒng)中，將三維坐標(biāo)分解為三角形等多邊形(多角形)，并通過繪制該 多邊形來繪制整個(gè)圖像。因此，在此情況下，可以說三維圖像是用多邊形的組合定義的。但 是，身邊大多物體的表面具有由復(fù)雜的模樣重復(fù)構(gòu)成的圖案，而且模樣或圖案越是復(fù)雜、精 細(xì)，越是難以用三角形等對(duì)各模樣或圖案建模。因此，作為解決上述問題的手段而使用紋理 映射(Texture Mapping)。紋理映射是通過將使用掃描儀等獲取的圖像數(shù)據(jù)貼在物體表面上來用少的頂點(diǎn) 數(shù)實(shí)現(xiàn)真實(shí)性高的圖像，其定義從對(duì)象(Object)坐標(biāo)系向紋理(Texture)坐標(biāo)系的映射， 并且求出從窗口(Window)坐標(biāo)系向紋理坐標(biāo)系的映射，從而求出與窗口坐標(biāo)系中的各像 素(Pixel，Picture Cell Element)對(duì)應(yīng)的紋理的元素、即紋元(Texel，Texture Cell Element)。使用在紋理上的圖像數(shù)據(jù)保存在被稱為紋理存儲(chǔ)器的存儲(chǔ)器區(qū)域中。因此，當(dāng)進(jìn) 行使用運(yùn)動(dòng)圖像數(shù)據(jù)隨時(shí)更新紋理存儲(chǔ)器的處理時(shí)，可基于運(yùn)動(dòng)圖像進(jìn)行紋理映射處理。例如，專利文獻(xiàn)1中記載了一種字幕產(chǎn)生裝置，該字幕產(chǎn)生裝置識(shí)別希望在立體 視覺圖像中提供字幕的立體視覺對(duì)象，并向字幕施加與該立體視覺對(duì)象相對(duì)應(yīng)的視差，由 此不妨礙整體的立體視覺。另外，例如在專利文獻(xiàn)2中記載了能夠進(jìn)行與三維對(duì)象在時(shí)間 上同步的文字編輯和/或顯示的三維圖像編輯顯示裝置。在先技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)1 日本專利文獻(xiàn)特開2006-325165號(hào)公報(bào)；專利文獻(xiàn)2 日本專利文獻(xiàn)特開2002-015339號(hào)公報(bào)。

發(fā)明內(nèi)容
發(fā)明要解決的問題以往的字幕/疊加(superimposition)在作為目標(biāo)的圖像中插入文字串的圖像。 當(dāng)對(duì)被紋理映射到CG對(duì)象的表面上的圖像通過疊加來插入文字串時(shí)，根據(jù)紋理映射面的 狀況，例如在紋理映射面發(fā)生了旋轉(zhuǎn)、縮小、變形等的情況下，將難以辨認(rèn)文字串。例如，圖 28的(a)示出了紋理映射面旋轉(zhuǎn)了的情況，另外圖28的(b)示出了紋理映射面被縮小的情 況。在這些情況下，難以辨認(rèn)出文字串“二一 >^一力” 7°”。在制作CG時(shí)，如果將文字串制作為CG對(duì)象并顯示為虛擬三維空間的圖像，則該文 字能夠容易辨認(rèn)。但是，當(dāng)在應(yīng)用時(shí)切換要紋理映射的圖像的時(shí)候，難以隨著切換而顯示與 各個(gè)圖像對(duì)應(yīng)的文字串。另外，在直播等應(yīng)用時(shí)，文字串的插入是通過操作被稱為效果轉(zhuǎn)換
4器(effect switcher)的鍵控功能的部分來進(jìn)行的，并且希望能夠可靠地操作。本發(fā)明的目的在于，在將制作的CG利用于直播等的情況下能夠?qū)⑴c被紋理映射 的圖像相對(duì)應(yīng)的文字串容易觀看地插入到與該圖像對(duì)應(yīng)的位置處。解決問題的手段本發(fā)明的概念在于一種圖像處理裝置，包括圖像生成單元，其基于計(jì)算機(jī)圖形描述數(shù)據(jù)來生成計(jì)算機(jī)圖形圖像；圖像映射單元，其將所述圖像生成單元繪制的計(jì)算機(jī)圖形圖像的對(duì)象或者該對(duì)象 的一部分作為紋理映射目標(biāo)，并將紋理映射圖像紋理映射到該紋理映射目標(biāo)的表面上；以 及疊加單元，其基于所述計(jì)算機(jī)圖形圖像中的所述紋理映射目標(biāo)的位置信息，將疊 加圖像疊加到在所述圖像映射單元中被紋理映射了的計(jì)算機(jī)圖形圖像的與所述紋理映射 目標(biāo)相對(duì)應(yīng)的位置上。在本發(fā)明中，圖像生成單元基于計(jì)算機(jī)圖形描述數(shù)據(jù)來生成計(jì)算機(jī)圖形圖像。在 此情況下，通過將三維坐標(biāo)分解為三角形等多邊形(多角形)，并繪制該多邊形來進(jìn)行圖像 整體的繪制。另外，圖像映射單元將由圖像生成單元繪制的計(jì)算機(jī)圖形的對(duì)象或者該對(duì)象 的一部分作為紋理映射目標(biāo)，并將紋理映射圖像紋理映射到該紋理映射目標(biāo)的表面上。例如，通過紋理映射圖像數(shù)據(jù)選擇單元從多個(gè)輸入圖像數(shù)據(jù)中選擇一個(gè)圖像數(shù) 據(jù)。圖像映射單元將基于由該紋理映射圖像數(shù)據(jù)選擇單元選擇的圖像數(shù)據(jù)的紋理映射圖像 紋理映射到紋理映射目標(biāo)的表面上。在此情況下，操作者通過改變由紋理映射圖像選擇單 元選擇的圖像數(shù)據(jù)，能夠改變要被紋理映射的圖像。另外，疊加單元將疊加圖像疊加到在圖像映射單元中被紋理映射了的計(jì)算機(jī)圖形 圖像上。在此情況下，基于計(jì)算機(jī)圖形圖像中的所述紋理映射目標(biāo)的位置信息，將疊加圖像 疊加到與紋理映射目標(biāo)相對(duì)應(yīng)的位置上。例如，通過疊加圖像數(shù)據(jù)選擇單元從多個(gè)輸入圖像數(shù)據(jù)中選擇一個(gè)圖像數(shù)據(jù)。疊 加單元疊加基于由該疊加圖像數(shù)據(jù)選擇單元選擇的圖像數(shù)據(jù)的疊加圖像。在此情況下，操 作者通過改變由疊加圖像選擇單元選擇的圖像數(shù)據(jù)，能夠改變要被疊加的圖像(文字串等 圖像)。另外，例如通過疊加圖像生成單元生成疊加圖像作為計(jì)算機(jī)圖形對(duì)象。如此，將紋理映射圖像紋理映射到紋理映射目標(biāo)的表面上。另外，基于紋理映射目 標(biāo)的位置信息，將疊加圖像疊加到紋理映射了紋理映射圖像的計(jì)算機(jī)圖形圖像中與紋理映 射目標(biāo)相對(duì)應(yīng)的位置上。從而，能夠?qū)⑴c被紋理映射的圖像對(duì)應(yīng)的文字串容易觀看地插入 到與該圖像對(duì)應(yīng)的位置上。另外，在本發(fā)明中例如還可以包括信息設(shè)定單元，其設(shè)定紋理映射圖像中的一個(gè) 或多個(gè)系列與疊加圖像的一個(gè)或多個(gè)系列之間的對(duì)應(yīng)關(guān)系，并且所述疊加單元基于由信息 設(shè)定單元設(shè)定的對(duì)應(yīng)關(guān)系，將與被紋理映射到紋理映射目標(biāo)的表面上的紋理映射圖像相對(duì) 應(yīng)的疊加圖像疊加到與該紋理映射目標(biāo)對(duì)應(yīng)的位置上。在此情況下，當(dāng)具有多個(gè)系列的紋 理映射圖像或疊加圖像時(shí)，也能夠?qū)⑴c紋理映射的圖像對(duì)應(yīng)的文字串容易觀看地插入到與 該圖像對(duì)應(yīng)的位置上。另外，在本發(fā)明中例如還可以包括表面指定單元，其通過計(jì)算機(jī)圖形描述數(shù)據(jù)中 的預(yù)定屬性的值被選擇來指定紋理映射目標(biāo)，并且表面指定單元針對(duì)紋理映射圖像的每個(gè)系列指定紋理映射目標(biāo)。屬性例如是材質(zhì)定義、材質(zhì)定義所帶的表面信息等。另外，在本發(fā)明中例如還可以包括模式切換單元，其切換使用經(jīng)紋理映射的計(jì)算 機(jī)圖形圖像的第一模式、和使用與該計(jì)算機(jī)圖形圖像不同的其他圖像的第二模式，并且所 述疊加單元在被切換到所述第一模式時(shí)，基于計(jì)算機(jī)圖形圖像中的紋理映射目標(biāo)的位置信 息，將疊加圖像疊加到在圖像映射單元中被紋理映射了的計(jì)算機(jī)圖形圖像的與紋理映射目 標(biāo)相對(duì)應(yīng)的圖像位置上，而在被切換到第二模式時(shí)，則將疊加圖像疊加到其他圖像的預(yù)定 位置上。發(fā)明效果根據(jù)本發(fā)明，基于紋理映射目標(biāo)的位置信息，將疊加圖像疊加到通過將紋理映射 圖像紋理映射在紋理映射目標(biāo)的表面上而得到的計(jì)算機(jī)圖形圖像中的、與該紋理映射目標(biāo) 相對(duì)應(yīng)的位置上，從而能夠?qū)⑴c被紋理映射的圖像相對(duì)應(yīng)的文字串容易觀看地插入到與該 圖像對(duì)應(yīng)的位置上。


圖1是示出作為第一實(shí)施方式的圖像處理裝置的構(gòu)成例的框圖；圖2是示出材質(zhì)所帶的表面信息的例子的圖；圖3是示出構(gòu)成合成切換操作輸入部的控制面板的外觀的一個(gè)示例的圖；圖4是示出圖像生成單元和圖像映射單元的具體構(gòu)成例的框圖；圖5是示出圖像生成單元和圖像映射單元的功能框的構(gòu)成例的圖；圖6的(a)和(b)是示出進(jìn)行紋理映射時(shí)的紋理圖像和UV圖的一個(gè)例子的圖；圖7是示出對(duì)CG對(duì)象的每個(gè)面(多邊形的部分集合)賦予不同屬性的圖；圖8的(a) (d)是示出位置信息的含義和本發(fā)明的動(dòng)作示例的圖；圖9是用于說明圖像生成單元中的位置信息的計(jì)算方法的一個(gè)示例的圖；圖10是用于說明圖像生成單元中的位置信息的計(jì)算方法的另一個(gè)示例的圖；圖11是用于說明圖像生成單元中的位置信息的計(jì)算方法的又一個(gè)示例的圖；圖12的(a)和(b)是示出在紋理映射了紋理映射圖像的CG圖像上疊加文字串的 疊加圖像的示例圖；圖13是示出作為第二實(shí)施方式的圖像處理裝置的構(gòu)成例的圖；圖14是示出具有圖像選擇操作單元的控制面板的一個(gè)例子的外觀的圖；圖15的(a)和(b)是示出在分配指定按鈕行時(shí)顯示的GUI顯示例以及在選擇輸 出總線時(shí)顯示的⑶I顯示例的圖；圖16是示出輸出總線的總線編號(hào)和映射輸入Tl T4之間的對(duì)應(yīng)關(guān)系的映射輸 入對(duì)應(yīng)表的一個(gè)示例的圖；圖17的(a)和(b)是示出映射輸入Tl T4和屬性的值(名稱)之間的對(duì)應(yīng)關(guān) 系的圖像分配表的一個(gè)示例的圖；圖18的(a) (f)是示出紋理映射圖像和疊加圖像之間的對(duì)應(yīng)關(guān)系的圖像對(duì)應(yīng) 表的一個(gè)示例的圖；圖19是示出圖像映射單元的對(duì)應(yīng)于一幀的處理步驟的流程圖；圖20是示出疊加單元的對(duì)應(yīng)于一幀的處理步驟的流程圖21是示出在與圖像映射單元不同的部分(不同的微型計(jì)算機(jī))中進(jìn)行坐標(biāo)的 計(jì)算時(shí)的通信等的順序圖；圖22是示出作為第三實(shí)施方式的圖像處理裝置的構(gòu)成例的框圖；圖23是示出作為第四實(shí)施方式的圖像處理裝置的構(gòu)成例的框圖；圖24的(a) (e)是用于說明動(dòng)畫的嵌入合成的圖；圖25的(a) (f)是用于說明CG圖像的變化(運(yùn)動(dòng))和嵌入合成的圖；圖26是示出圖像處理裝置的另一構(gòu)成例的框圖；圖27是示出圖像處理裝置的又一構(gòu)成例的框圖；圖28的(a)和(b)是示出對(duì)被紋理映射到CG對(duì)象的表面上的圖像通過疊加而插 入了文字串時(shí)的圖像示例的圖。
具體實(shí)施例方式下面對(duì)用于實(shí)施發(fā)明的方式(下面稱為“實(shí)施方式”)進(jìn)行說明。說明按以下順序 進(jìn)行。1.第一實(shí)施方式
2.第二實(shí)施方式
3.第三實(shí)施方式
4.第四實(shí)施方式
5.變形例
<1.第一實(shí)施方式[圖像處理裝置的構(gòu)成]對(duì)本發(fā)明的第一實(shí)施方式進(jìn)行說明。圖1示出了作為第一實(shí)施方式的圖像處理裝 置100的構(gòu)成例。該圖像處理裝置100具有CG(C0mputer Graphics 計(jì)算機(jī)圖形)制作單 元110、表面指定單元120、網(wǎng)絡(luò)130、圖像生成單元140以及圖像映射單元150。另外，該圖 形處理裝置100包括輔助輸出部160、圖像合成切換部170、位置發(fā)送單元180、合成切換控 制部190、以及合成切換操作輸入部195。CG制作單元110、表面指定單元120、圖像生成單 元140以及位置發(fā)送單元180分別與網(wǎng)絡(luò)130連接。CG制作單元110由帶有CG制作軟件的個(gè)人計(jì)算機(jī)(PC personal Computer)構(gòu) 成。該CG制作單元110輸出預(yù)定格式的CG描述數(shù)據(jù)。CG描述數(shù)據(jù)的格式例如有Collada(注 冊(cè)商標(biāo))。Collada是用于在XML (Extensible Markup Language，可擴(kuò)展標(biāo)記語言)的基礎(chǔ) 上實(shí)現(xiàn)3D的CG數(shù)據(jù)交換的描述定義。在CG描述數(shù)據(jù)中例如描述有如下的信息。(a)材質(zhì)的定義該材質(zhì)的定義是CG對(duì)象的表面性質(zhì)(外貌)。該材質(zhì)的定義中包含色彩、反射方 式、發(fā)光、凹凸等信息。并且，該材質(zhì)的定義中有時(shí)包含紋理映射的信息。紋理映射如上所述 是將圖像貼到CG對(duì)象上的方法，其能夠減輕處理系統(tǒng)的負(fù)荷的同時(shí)表現(xiàn)出復(fù)雜的模樣等。 圖2示出了材質(zhì)所帶的表面信息的例子。另外，代替色彩，有時(shí)也指定紋理映射。(b)幾何學(xué)信息Geometry的定義該幾何學(xué)信息Geometry的定義中包含關(guān)于多邊形網(wǎng)格的位置坐標(biāo)、頂點(diǎn)坐標(biāo)等 的信息。
(c)攝像機(jī)的定義該攝像機(jī)的定義中包含攝像機(jī)的參數(shù)。(d)動(dòng)畫的定義該動(dòng)畫的定義中包含動(dòng)畫的各關(guān)鍵幀中的各種值的信息。另外，該動(dòng)畫的定義中 包含動(dòng)畫的各關(guān)鍵幀的時(shí)間信息。各種信息例如是對(duì)應(yīng)的對(duì)象(節(jié)點(diǎn))的關(guān)鍵幀點(diǎn)的時(shí)間、 位置或頂點(diǎn)的坐標(biāo)值、大小、切線向量、插值方法、各種信息在動(dòng)畫中的變化等的信息。
質(zhì)定義

(e)場(chǎng)景中的節(jié)點(diǎn)(對(duì)象)的位置、方向、大小、對(duì)應(yīng)的幾何學(xué)信息定義、對(duì)應(yīng)的材
這些信息并不零散，例如被如下對(duì)應(yīng)起來。
節(jié)點(diǎn)…幾何學(xué)信息 節(jié)點(diǎn)…材質(zhì)(多個(gè)) 幾何學(xué)信息…多邊形集合(多個(gè)) 多邊形集合…材質(zhì)(與節(jié)點(diǎn)對(duì)應(yīng)的材質(zhì)中的一個(gè)) 動(dòng)畫…節(jié)點(diǎn)
構(gòu)成一個(gè)畫面的描述被稱為場(chǎng)景。各個(gè)定義被稱為庫，并且在場(chǎng)景中被參考。例 如，在存在兩個(gè)長方體的對(duì)象的情況下，每個(gè)對(duì)象分別被描述為一個(gè)節(jié)點(diǎn)，并且各節(jié)點(diǎn)可聯(lián) 想材質(zhì)定義中的某一個(gè)。其結(jié)果是，每個(gè)長方體的對(duì)象可聯(lián)想材質(zhì)定義，從而可用依照各材 質(zhì)定義的色彩和反射特性來繪制。或者，在長方體的對(duì)象通過多個(gè)多邊形集合來描述、并且多邊形集合可聯(lián)想材質(zhì) 定義的情況下，每個(gè)多邊形集合可用不同的材質(zhì)定義來繪制。例如，長方體具有6個(gè)面，但 有時(shí)長方體的對(duì)象用三個(gè)多邊形集合描述，例如，其中的三個(gè)面為一個(gè)多邊形集合，一個(gè)面 為一個(gè)多邊形集合，兩個(gè)面為一個(gè)多邊形集合。由于各個(gè)多邊形集合能夠聯(lián)想不同的材質(zhì) 定義，因此也可以用不同的色彩來繪制每個(gè)面。在后述的圖像映射單元中，對(duì)象或?qū)ο蟮囊?部分(面或者多邊形網(wǎng)格的分割單元等)被設(shè)為紋理映射的目標(biāo)。下面示出了作為CG描述數(shù)據(jù)的Collada文件的實(shí)例(部分摘錄例)。例如，在該 實(shí)例中，定義了名稱(值)為“OlMatDefault”的材質(zhì)。并且，該材質(zhì)的實(shí)際內(nèi)容描述了應(yīng) 參考“01MatDefault-fx”的效果。另外，在該實(shí)例的<library_visual_scenes>中，描述了 對(duì)〃 #Box01-lib〃的幾何學(xué)信息定義結(jié)合“OlMatDefault"的材質(zhì)定義來進(jìn)行繪制。[Collada文件的實(shí)例]<library_materials>〈material id = 〃 OlMatDefault" name=" OlMatDefault" > 材質(zhì)定義<instance_effect url = " #01MatDefault_fx〃 /> 參考效果〈/material〉</library_materials><library_effects>〈effect id = " 01MatDefault-fx〃 name = " OlMatDefault" >這是材質(zhì)的內(nèi)容<profile_C0MM0N>〈technique sid =〃 standard" ><phong>0096]
0097]
0098]
0099]
0100] 0101] 0102]
0103]
0104]
0105]
0106]
0107]
0108]
0109]
0110] 0111] 0112]
0113]
0114]
0115]
0116]
0117]
0118]
0119]
0120] 0121] 0122]
0123]
0124]
0125]
0126]
0127]
0128]
0129]
0130]
0131]
0132]
0133]
0134]
〈emission〉
〈color sid = “ emissionX). 0000000. 0000000. 0000001. 000000</color
</emission〉 〈ambient〉在這里著色
〈color sid=" ambient" >0. 588235 0. 952941 0. 9215691. 000000</color> </ambient> <diffuse>
〈color sid = " diffuse" >0. 588235 0.952941 0. 9215691. 000000</color> 〈/diffuse〉 <specular>
〈color sid=" specular" >0. 000000 0. 000000 0. 000000 1. 000000</color> </specular) <shininess>
〈float sid=" shininess" >2. 000000</f loat> </shininess> <reflective>
〈color sid=" reflective" >0. 000000 0. 000000 0. 000000 1. 000000</color> </reflective> <reflectivity>
〈float sid=" reflectivity" >1. 000000</f loat> </reflectivity> <transparent>
〈color sid = " transparent" >1. 000000 1. 000000 1. 000000 1. 000000</colo
r>
</transparent) <transparency>
<float sid =" transparency" >0. 000000</float> </transparency) </phong> </technique) </profile_C0MM0N> 〈/effect〉 </library_effects> <library_geometries> 〈geometry id=" BoxOl-Iib" name=" BoxOlMesh" > <mesh>
<source id =" Box01-lib_Position〃 >
<f loat_array id = " BoxOl-Iib-Positi on-arr ay " count=" 24" > 位
9置信息的陣列
-L1. 673016-8.585480 0.000000
4.673016-8.585480 0.000000
-L1. 6730168.585480 0.000000
4.6730163. 585480 0. 000000
-L1. 673016-8.585480 10.185543
4.673016-8.585480 10.185543
-L1. 6730168.585480 10.185543
4.6730163. 585480 10. 185543
</loat_array>
<technique_common>
〈accessor source = " #Box01_lib_Position_array " count=〃 8"stride =‘3" >
<param name = “ X〃 type = " float" />位置信息的陣列的排列說明
<param name = “ Y" type=" float" />
<param name = " 1" type = " float" />
</accessor>
</technique_common>
</source>
〈source id=" BoxOl-Iib-UVO" >
<float_array id = " BoxO 1-1 ib-UV0-array" count=" 24〃 >UV坐標(biāo)的陣列
0.0000000.000000由于是單純的立方體，因此只有0和1
1.0000000.000000
0.0000001.000000
1.0000001.000000
0.0000000.000000
1.0000000.000000
0.0000001.000000
1.0000001.000000
0.0000000.000000
1.0000000.000000
0.0000001.000000
1.0000001.000000
</loat_array>
<technique_common>
〈accessorsource = “ #Box01-lib-UV0-array“ count = " 12" stride = “ 2" >
UV坐標(biāo)的說明
<param name = “ S" type = “ float“ />0172]<param name = “ T〃 tyPe = “ float “ />
0173]</accessor>
0174]</technique_common>
0175]</source)
0176]〈vertices id =〃 BoxOl-lib-Vertex" >
0177]〈input semantic = " POSITION" source = " #Box02-lib-Position〃 />
0178]</vertices>
0179]〈polygons material = 〃 OlMatDefault" count=" 12〃 >
0180]<input semantic = " VERTEX" offset = " 0〃 source = " #Box01-lib_Vertex〃 /
0181]>
0182]〈input semantic = 〃 NORMAL" offset = " 1〃 source = " #Box01-lib-Normal
0183]0〃 />
0184]〈input semantic = " TEXC00RD" offset = " 2" set = " 0〃 source = " #Box0
0185]1-lib-UVO" />
0186]
00921113210</p> 頂點(diǎn)信息
331014 ^^ 059</p>
46B 5978ll</p>
791161010 4118</p>
012411355147</p>
515741660174</p>
l18031917203</p>
721352221230</p>
324422556267</p>
627772 863294</p>
2300031143 23</p>
433363422350</p>
0198]</polygons>
0199]</mesh>
0200]</geeometry>
0201]</library_geometries>
0202]<library_animations>
0203]<animation id=" BoxOl-anim" name = " BoxOl" >
0204]〈animation〉
0205]<source id = " Box01-translate-animation_inputX〃 >
0206]<float_array id = " BoxOl-translate-animation-inputX-array" count = " 4〃 >
0207]0. 000000 1. 000000 1. 033333 1. 333333 動(dòng)畫中的 X 坐標(biāo)值變化的時(shí)刻
0208]</float_array>
0209]<technique_common>
0210]〈accessor source = 〃 SBoxOl-translate-animation-inputX-array" count=" 4〃
11
><param name = " TIME" type=" float" /></accessor></technique_common></source><source id = " Box01-translate-animation_outputX〃 ><float_array id = " BoxOl-translate-animation-xiutputX-array" count=" 4〃 >-43. 404125 -43. 404125 -23. 897228 13. 150181 動(dòng)畫中的 X 坐標(biāo)值本身</float_array><technique_common>〈accessor source = 〃 SBoxOl-translate-animation-outputX-array" count = "4〃 ><param name = “ X〃 type=" float" /></accessor></technique_common></source><source id = " BoxOl-translate-animation-intanX" ><float_array id = " BoxOl-translate-animation-intanX-array" count=" 4〃 >0.000000 0.000000 1.884578 _0. 000000</float_array><technique_common>〈accessor source = 〃 #Box01-translate-animation-intanX-array" count=" 4〃><param name = “ X〃 type=" float" /></accessor></technique_common></source><source id =" BoxOl-translate-animation-outtanX" ><float_array id = " BoxOl-translate-animation-xiuttanX-array" count=" 4〃 >0.000000 0.000000 16. 961202 0.000000</float_array><technique_common>〈accessor source = 〃 #Box01-translate-animation-xiuttanX-array" count=" 4" ><param name = “ X〃 type=" float" /></accessor></technique_common></source><source id = " BoxO1-translate-animation-interpoIationX" >
<Name_array id =“ BoxOl-translate-animation-interpolationX-array" count=" 4〃 >BEZIER BEZIER BEZIER BEZIER</Name_array><technique_common>〈accessor source = 〃 SBoxOl-translate-animation-interpolationX-array" count = 〃 4" ><param type=" name" /></accessor></technique_common></source><sampIer id = " BoxOl-translate-animationX" ><input semantic =" INPUT" source =" #Box01-translate-animation-inputX" /><input semantic =" OUTPUT" source =" #Box01-translate-animation-outputX" /><input semantic = " IN_TANGENT〃 source = " #Box01-translate-animation-intanX" /><input semantic =" 0UT_TANGENT〃 source =" #Box01-translate-animation-outtanX" /><input semantic = " INTERPOLATION" source = " #Box01-translate_animation-interpolationX" /></sampler>〈channel source = 〃 SBoxOl-translate-animationX" target = " BoxOl/translate.X〃 />這里確定(target)以上是什么動(dòng)畫信息〈/animation〉<library_visual_scenes><visual_scene id=" RootNode" name = " RootNode" >〈node id = 〃 BoxOl 〃 name=" BoxOl 〃 ><translate sid =" translate" >-43. 404125 0. 6970370. 000000</translate>〈rotate sid=" rotateZ" >0 O 1 0. 000000</rotate>〈rotate sid=" rotateY" >0 1 O 0. 000000</rotate>〈rotate sid =〃 rotateX" >10 0 0.000000</rotate>〈scale sid =〃 scale" >1.000000 1.000000 1.000000</scale><instance_geometry url = " #Box01_lib〃 > 參考幾何學(xué)信息定義<bind_material><technique_common><instance_material symbol = " OlMatDefault" target = " #0IMatDefault" />參考材質(zhì)
</technique_common></bind_material></instance_geometry></node></visual_scene></library_visual_scenes>返回到圖1，圖像合成切換部170具有輸入選擇部171、鍵處理器(圖像加工 部)176、混合器177。輸入選擇部171選擇輸入進(jìn)來的多個(gè)圖像數(shù)據(jù)并與多個(gè)輸出通道連 接。即，輸入選擇部171將從外部輸入多個(gè)圖像數(shù)據(jù)的9條輸入線選擇性地連接到鍵源總 線172a、鍵填充總線172b、背景A總線172c、背景B總線172d以及預(yù)備輸入總線174上。 輸入選擇部171的鍵源總線172a、鍵填充總線172b的部分構(gòu)成了疊加圖像數(shù)據(jù)選擇單元。預(yù)備輸入總線174具有與其他總線相同的功能，但無法從合成切換操作輸入部 195直接指定輸入選擇。該預(yù)備輸入總線174是不讓操作者直接看到存在的內(nèi)部用途總線。 在該實(shí)施方式中，在將文字串等疊加圖像疊加到CG圖像上的CG輸出模式下，預(yù)備輸入總線 174與輸入線“9”連接。9條輸入線在圖中沿一個(gè)方向排列，“1” “8”的每條輸入線被輸入來自VTRJS 頻攝像機(jī)等的圖像數(shù)據(jù)?！?”的輸入線被輸入從圖像生成單元140輸出的CG圖像數(shù)據(jù)。鍵 源總線172a、鍵填充總線172b、背景A總線172c、背景B總線172d以及預(yù)備輸入總線174 與輸入線交叉地沿其他方向排列。交叉點(diǎn)開關(guān)組173a在9條輸入線和鍵源總線172a交叉的各個(gè)交叉點(diǎn)處執(zhí)行各自 的連接。交叉點(diǎn)開關(guān)組173b在9條輸入線和鍵填充總線172b交叉的各個(gè)交叉點(diǎn)處執(zhí)行 各自的連接。鍵源總線172a所提取的鍵源信號(hào)被發(fā)送給鍵處理器176。另外，鍵填充總線 172b所提取的鍵填充信號(hào)被發(fā)送給鍵處理器176。鍵填充信號(hào)是重疊在背景圖像上作為前 景的信號(hào)，鍵源信號(hào)是指定重疊鍵填充信號(hào)的區(qū)域、切除背景圖像而形成的形狀、鍵填充信 號(hào)相對(duì)于背景圖像的濃度等的信號(hào)。交叉點(diǎn)開關(guān)組173c在9條輸入線和背景A總線172c交叉的各個(gè)交叉點(diǎn)處執(zhí)行各 自的連接。交叉點(diǎn)開關(guān)組173d在9條輸入線和背景B總線172d交叉的各個(gè)交叉點(diǎn)處執(zhí)行 各自的連接。并且，交叉點(diǎn)開關(guān)組175在9條輸入線和預(yù)備輸入總線174交叉的各個(gè)交叉 點(diǎn)處執(zhí)行各自的連接。被提取到背景A總線172c上的背景A數(shù)據(jù)和被提取到背景B總線 172d上的背景B數(shù)據(jù)被發(fā)送給混合器177。另外，被提取到預(yù)備輸入總線174上的CG圖像 數(shù)據(jù)被發(fā)送給混合器177。鍵處理器176基于用于進(jìn)行鍵控的各種參數(shù)、即鍵調(diào)整值來調(diào)整、加工鍵源信號(hào) 和鍵填充信號(hào)以使其適于鍵控。這里，鍵調(diào)整值例如是用于調(diào)整鍵填充信號(hào)相對(duì)于背景圖 像的濃度的值、用于調(diào)整應(yīng)辨別為鍵源信號(hào)的圖像的信號(hào)電平的閾值的值、與背景圖像的 邊界線有關(guān)的調(diào)整值等。經(jīng)鍵處理器176調(diào)整、加工了的鍵填充信號(hào)和鍵源信號(hào)被發(fā)送給 混合器177?；旌掀?77基于來自鍵處理器176的鍵填充信號(hào)和鍵源信號(hào)，通過鍵控將前景圖 像疊加到背景圖像或者CG圖像上。在該混合器177中得到的圖像數(shù)據(jù)通過輸出線178被 輸出到外部。混合器177和上述鍵處理器176構(gòu)成了疊加單元。
14
輔助輸出部160進(jìn)行輔助輸出的選擇。輔助輸出部160將從外部輸入多個(gè)圖像數(shù) 據(jù)的9條輸入線選擇性地連接到輔助輸出總線161上。交叉點(diǎn)開關(guān)組162在9條輸入線和 輔助輸出選擇總線161交叉的各個(gè)交叉點(diǎn)處執(zhí)行各自的連接。提取到該輔助輸出選擇總線 161上的圖像數(shù)據(jù)作為紋理映射圖像數(shù)據(jù)Tl而被發(fā)送到圖像映射單元150。該輔助輸出部 160構(gòu)成了紋理映射圖像數(shù)據(jù)選擇單元。合成切換控制部190基于來自合成切換操作輸入部195的控制信號(hào)來控制混合器 177、輸入選擇部171以及輔助輸出部160的處理動(dòng)作。來自操作輸入部195的控制信號(hào)例 如包括指定混合器177中的處理模式的圖案指定信息、對(duì)各交叉點(diǎn)開關(guān)組中的輸入圖像的 選擇切換動(dòng)作進(jìn)行指示的選擇指示信息等。另外，合成切換控制部190具有CG模式切換單元191。該CG模式切換單元191基 于來自合成切換操作輸入部195的控制信號(hào)對(duì)CG輸出模式和全畫面輸出模式進(jìn)行切換。這 里，CG輸出模式是使用在圖像映射單元150被紋理映射了紋理映射圖像的CG圖像的模式。 另外，全畫面輸出模式是使用與CG圖像不同的其他圖像的模式。合成切換操作輸入部195具有用于指示混合器177中的處理模式和前進(jìn)比率鍵控 合成動(dòng)作、以及輸入選擇部171和輔助輸出部160中的輸入圖像的選擇動(dòng)作等的開關(guān)類。合 成切換操作輸入部195依據(jù)操作者的操作輸入來生成用于控制混合器177、輸入選擇部171 和輔助輸出部160的處理動(dòng)作的控制信號(hào)，并將該控制信號(hào)發(fā)送給合成切換控制部190。例如，通過數(shù)字鍵或按鈕開關(guān)等來指定混合器177中的處理模式的編號(hào)。另外，例 如通過數(shù)字鍵或按鈕開關(guān)等來指定在輸入選擇部171、輔助輸入部160中使各總線連接的 輸入線的編號(hào)。另外，例如通過推軌(fader switch)的移動(dòng)來指定混合器177中的前進(jìn)比 率(progression ratio)。另外，例如通過開關(guān)類的操作來設(shè)定混合器177中的處理模式的 內(nèi)容。該合成切換操作輸入部195具有由按鈕開關(guān)等構(gòu)成的開啟操作單元196。該開啟 操作單元196被用于供操作者在上述CG輸出模式下開啟或關(guān)閉通過混合器177將作為前 景圖像的疊加圖像疊加(重疊)在作為背景圖像的CG圖像上的處理。圖3示出了構(gòu)成合成切換操作輸入部195的控制面板的外觀的一個(gè)例子。在控制面板上大致設(shè)置有按鈕配置部21和運(yùn)行狀態(tài)操作部24。在按鈕配置部21 上設(shè)置有用于選擇提取到鍵源總線、鍵填充總線上的圖像信號(hào)的鍵選擇部21a、用于選擇提 取到背景A總線上的圖像信號(hào)的背景A選擇部21b、以及用于選擇提取到背景B總線上的圖 像信號(hào)的背景B選擇部21c。另外，在按鈕配置部21上設(shè)置有用于選擇提出到輔助輸出選 擇總線161上的圖像信號(hào)的輔助輸出選擇部21d。各選擇部由用于對(duì)9條輸入線的每一個(gè)和對(duì)應(yīng)的輸出總線的連接進(jìn)行選擇的擇 一式按鈕構(gòu)成，選中的按鈕被點(diǎn)亮。例如，在圖3的例子中，通過鍵選擇部21a選擇輸入線 “8”，通過背景A選擇部21b選擇輸入線“3”、通過背景B選擇部21c選擇輸入線“5”，通過 輔助輸出選擇部21d選擇輸入線“5”。另外，在設(shè)置于各按鈕開關(guān)的上部的文字顯示部21e 中顯示用于識(shí)別向各輸入線輸入的輸入圖像的名稱。在鍵選擇部21a中，通過按下一個(gè)按鈕開關(guān)，鍵源總線、鍵填充總線兩者的連接被 切換。假定預(yù)先設(shè)定了此時(shí)針對(duì)各總線是選擇輸入線中相同的線還是選擇不同的線。例如 進(jìn)行如下的設(shè)定當(dāng)選擇按鈕開關(guān)“ 1 ”時(shí)，鍵源總線被連接到輸入線“ 1 ”，而鍵填充總線則被連接到相鄰的輸入線“2”。在前進(jìn)狀態(tài)操作部24中設(shè)置有推桿24a。通過從滑動(dòng)范圍的一端向另一端滑動(dòng)該 推桿24a，可改變混合器177中的處理的前進(jìn)狀態(tài)。另外，在前進(jìn)狀態(tài)操作部24的上部設(shè)置 有轉(zhuǎn)換目標(biāo)選擇部24b，該轉(zhuǎn)換目標(biāo)選擇部24b通過按鈕開關(guān)來選擇將通過滑桿24a的操作 而轉(zhuǎn)變的目標(biāo)作為鍵信號(hào)還是作為背景圖像信號(hào)。另外，在前進(jìn)狀態(tài)操作部24的上部還設(shè) 置有方向設(shè)定部24c，該方向設(shè)定部24c通過按鈕開關(guān)來設(shè)定轉(zhuǎn)變的方向。圖像生成單元140基于由CG制作單元110制作的CG描述數(shù)據(jù)來生成三維空間圖 像、即CG圖像。該圖像生成單元140不進(jìn)行耗費(fèi)時(shí)間的渲染處理，而是按照動(dòng)畫幀的實(shí)際 時(shí)間生成圖像。圖像生成單元140在讀入CG描述數(shù)據(jù)后，將各種定義等信息保存在存儲(chǔ)器 中，并且這些信息之間的對(duì)應(yīng)關(guān)系也作為數(shù)據(jù)結(jié)構(gòu)而被保存。另外，圖像生成單元140還將用于執(zhí)行動(dòng)畫的關(guān)鍵幀中的各種值保存在存儲(chǔ)器 中。例如，當(dāng)繪制存在于某個(gè)節(jié)點(diǎn)的幾何學(xué)信息中的多邊形集合時(shí)，參考該幾何學(xué)信息和對(duì) 應(yīng)起來的材質(zhì)定義并依照其色彩等的指定來繪制該多邊形集合。在動(dòng)畫的情況下，使當(dāng)前 時(shí)刻逐個(gè)幀地前進(jìn)，并通過對(duì)當(dāng)前時(shí)刻前后的關(guān)鍵幀中的各值進(jìn)行內(nèi)插來確定各值，由此 進(jìn)行繪制。從表面指定單元120向該圖像生成單元140發(fā)送作為要紋理映射輸入圖像的目標(biāo) 的CG的對(duì)象或者對(duì)象的一部分(面或者多邊形網(wǎng)格的分割單元等)的指定信息。圖像生 成單元140控制圖像映射單元150，以便將輸入圖像紋理映射到該指定信息所示的預(yù)定的 多邊形(多邊形集合)的表面上。圖像映射單元150將輸入圖像紋理映射到圖像生成單元140所繪制的CG中由表 面指定單元120指定的紋理映射目標(biāo)的表面上。該圖像映射單元150與上述的圖像生成單 元140被安裝成一體。該圖像映射單元150可通過CPU (Central Processing Unit，中央處 理器)上的基于軟件的控制、以及GPU(Graphics Processing Unit，圖形處理器)等的基于 硬件的動(dòng)作來實(shí)現(xiàn)?？刂栖浖付ㄟM(jìn)行紋理映射的多邊形集合并將其指示給硬件。[圖像生成單元以及圖像映射單元的構(gòu)成例]圖4示出了圖像生成單元140和圖像映射單元150的具體構(gòu)成例。圖像生成單 元140和圖像映射單元150包括圖像輸入輸出部141、GPU 142、本地存儲(chǔ)器143、CPU 144 以及主存儲(chǔ)器145。另外，圖像生成單元140和圖像映射單元150包括外圍設(shè)備控制部 146、硬盤驅(qū)動(dòng)器(HDD) 147、以太網(wǎng)電路148a以及網(wǎng)絡(luò)端子148b。另外，圖像生成單元 140和圖像映射單元150包括USB (Universal Serial Bus，通用串行總線)端子149以及 SDRAM(SynchronousDRAM,同步動(dòng)態(tài)隨機(jī)存儲(chǔ)器)151?！耙蕴W(wǎng)”是注冊(cè)商標(biāo)。圖像輸入輸出部141輸入用于進(jìn)行紋理映射的圖像數(shù)據(jù)，并且輸出被適當(dāng)?shù)丶y理 映射了基于圖像數(shù)據(jù)的圖像的CG圖像的圖像數(shù)據(jù)。該圖像輸入輸出部141最大能夠輸 入四個(gè)系列的圖像數(shù)據(jù)，并且最大能夠輸出四個(gè)系列的圖像數(shù)據(jù)。這里被處理的圖像數(shù) 據(jù)例如是由 SMPTE 292M 規(guī)定的 HD-SDI (High Definition television-Serial Digital Interface，高清串行信號(hào)接口)規(guī)格的圖像數(shù)據(jù)。GPU 142和主存儲(chǔ)器145能夠同等地對(duì) 圖像輸入輸出部141進(jìn)行存取。主存儲(chǔ)器145起到CPU 144的工作區(qū)域的功能，并且暫時(shí)存儲(chǔ)從圖像輸入輸出部 141輸入的圖像數(shù)據(jù)。CPU 144控制圖像生成單元140和圖像映射單元150的整體。該CPU
16144與外圍設(shè)備控制部146連接。該外圍設(shè)備控制部146進(jìn)行CPU 144和外圍設(shè)備之間的 接口處理。CPU 144經(jīng)由外圍設(shè)備控制部146與內(nèi)置的硬盤驅(qū)動(dòng)器147連接。另外，CPU 144 經(jīng)由外圍設(shè)備控制部146、以太網(wǎng)電路148a與網(wǎng)絡(luò)端子148b連接。另外，CPU 144經(jīng)由外 圍設(shè)備控制部146與USB端子149連接。并且，CPU 144經(jīng)由外圍設(shè)備控制部146與SDRAM 151連接。CPU 144進(jìn)行紋理坐標(biāo)的控制。即，該CPU 144針對(duì)輸入圖像數(shù)據(jù)進(jìn)行用于將基于 該輸入圖像數(shù)據(jù)的圖像紋理映射到GPU 142所繪制的多邊形的表面上的處理。GPU 142基 于保存在硬盤驅(qū)動(dòng)器147等中的CG描述數(shù)據(jù)生成來CG圖像，并且根據(jù)需要將輸入圖像紋 理映射到被指定的紋理映射目標(biāo)的表面上。本地存儲(chǔ)器143在起到GPU 142的工作區(qū)域的 功能的同時(shí)，暫時(shí)存儲(chǔ)由GPU 142制作的CG圖像的圖像數(shù)據(jù)。CPU 144除了能夠?qū)χ鞔鎯?chǔ)器145進(jìn)行存取之外，也能夠?qū)Ρ镜卮鎯?chǔ)器143進(jìn)行 存取。同樣，GPU 142能夠?qū)Ρ镜卮鎯?chǔ)器143進(jìn)行存取，并且也能夠?qū)χ鞔鎯?chǔ)器145進(jìn)行存 取。由GPU 142生成并起初存儲(chǔ)在本地存儲(chǔ)器143中的CG圖像數(shù)據(jù)從該本地存儲(chǔ)器143 中依次被讀出，并從圖像輸入輸出部141輸出。圖5示出了上述圖像生成單元140和圖像映射單元150的功能框的構(gòu)成例。該圖 像生成單元140和圖像映射單元150包括圖像輸入部152、紋理圖像存儲(chǔ)部153、CG控制部 154、CG繪制部155、紋理坐標(biāo)控制部156、幀緩沖器157以及圖像輸出部158的功能框。圖像輸入部152和圖像輸出部158由圖像輸入輸出部141構(gòu)成。另外，紋理圖像 存儲(chǔ)部153由主存儲(chǔ)器145構(gòu)成。另外，CG控制部154和紋理坐標(biāo)控制部156由CPU 144 構(gòu)成。另外，CG繪制部155由GPU 142構(gòu)成。另外，幀緩沖器157由本地存儲(chǔ)器143構(gòu)成。通過成對(duì)地增加圖像輸入部152和紋理圖像存儲(chǔ)部153，能夠增加圖像輸入的系 列。另外，通過成對(duì)地增加幀緩沖器157和圖像輸出部158，能夠增加圖像輸出的系列。圖6的(a)和(b)示出了進(jìn)行紋理映射時(shí)的紋理圖像和UV圖的一個(gè)示例。圖6 的(a)表示紋理圖像，圖6的(b)表示UV圖。這里，UV圖是表示當(dāng)將某個(gè)對(duì)象(節(jié)點(diǎn))的 表面考慮為紙面時(shí)由在該紙面上的坐標(biāo)表示的地圖。當(dāng)平面地?cái)U(kuò)展該地圖時(shí)，該平面上的 點(diǎn)(x，y)與對(duì)象的表面上的點(diǎn)(u，v)相對(duì)應(yīng)。因此，通過進(jìn)行將紋理圖像貼在UV圖上的處 理，能夠進(jìn)行將紋理圖像貼到對(duì)象的表面上的紋理映射。圖6的(b)示出了將紋理圖像貼 在UV圖上的狀態(tài)。返回到圖1，如上所述，表面指定單元120指定輸入圖像被紋理映射的紋理映射目 標(biāo)。并且，表面指定單元120經(jīng)由網(wǎng)絡(luò)130向圖像生成單元140發(fā)送該指定信息。該表面 指定單元120例如由GUI (Graphical User Int erface，圖形用戶界面)實(shí)現(xiàn)。表面指定單元120顯示CG描述數(shù)據(jù)中的被賦予給對(duì)象或?qū)ο蟮囊徊糠值膶傩缘?值(名稱)作為選擇項(xiàng)以供操作者從中選擇，由此選擇作為紋理映射目標(biāo)的對(duì)象或?qū)ο蟮?一部分。表面指定單元120將CG描述數(shù)據(jù)中被賦予給紋理映射目標(biāo)的屬性的值作為紋理 映射目標(biāo)的指定信息而發(fā)送給圖像生成單元140。在本實(shí)施方式中，在CG描述數(shù)據(jù)中，紋理映射目標(biāo)通過與材質(zhì)定義對(duì)應(yīng)起來而被 賦予材質(zhì)定義所帶的表面信息等的屬性。例如，在將材質(zhì)定義對(duì)應(yīng)到CG對(duì)象上的情況下， CG對(duì)象的所有面具有相同的表面屬性(色彩等)。例如在石頭或湯匙形狀的金屬制品的情況下，能夠通過這樣的對(duì)應(yīng)關(guān)系來制成CG。另一方面，多數(shù)物品針對(duì)其每個(gè)面而具有不同的表面屬性，例如即使是鉛筆，針對(duì) 其周圍、芯、被削的木紋等也分別具有不同的表面屬性。在用CG制作這樣的物品的情況下， 也可以將各個(gè)部分制成不同的CG對(duì)象并將它們進(jìn)行組合。但是，在在此情況下，如圖7所 示，將物品作為一個(gè)CG對(duì)象并對(duì)每個(gè)面(多邊形的部分集合)賦予不同的屬性來制作CG 的作業(yè)也是較容易的。一般來說，在CG對(duì)象的制成作業(yè)中進(jìn)行如下的操作將構(gòu)成表面的多邊形集合分 割為若干個(gè)部分，將材質(zhì)定義對(duì)應(yīng)到每一個(gè)部分上，并為目標(biāo)多邊形的每個(gè)定點(diǎn)決定用于 紋理映射的UV坐標(biāo)值。生成與上述操作對(duì)應(yīng)的CG描述數(shù)據(jù)。通過在這樣的CG描述數(shù)據(jù) 中應(yīng)用本發(fā)明，能夠?qū)⑤斎雸D像紋理映射到CG對(duì)象的表面的一部分上。位置發(fā)送單元180將從圖像生成單元140經(jīng)由網(wǎng)絡(luò)130發(fā)來的紋理映射目標(biāo)的位 置信息發(fā)送給上述圖像合成切換部170的鍵處理器176。鍵處理器176調(diào)整鍵填充信號(hào)和 鍵源信號(hào)，以使要疊加的文字串等疊加圖像被疊加到作為背景圖像的CG圖像數(shù)據(jù)中與紋 理映射目標(biāo)相對(duì)應(yīng)的位置。當(dāng)隨著動(dòng)畫的前進(jìn)而紋理映射目標(biāo)發(fā)生了移動(dòng)時(shí)，位置信息按 照發(fā)生了移動(dòng)的每一幀(通常逐幀或逐場(chǎng)地)從圖像生成單元140被發(fā)送給位置發(fā)送單元 180，進(jìn)而被發(fā)送給鍵處理器176。[位置信息的說明]進(jìn)一步對(duì)位置信息進(jìn)行說明。圖8的(a) (d)示出了位置信息的含義和該發(fā)明 的動(dòng)作示例。圖8的(a)是說明畫面上的位置坐標(biāo)的圖。橫向χ和縱向y同時(shí)被設(shè)置為以_100 至+100占據(jù)畫面的大小的值。由于是相對(duì)的坐標(biāo)，因此在X和y上即使坐標(biāo)差相同，實(shí)際 畫面上的長度也不同。圖8的(b)是前景圖像(要進(jìn)行疊加的疊加圖像)的例子。圖8的(c)是示出根據(jù)位置信息(50、20)疊加(重疊)了圖8的(b)所示的前景 信息的結(jié)果的圖。不過，疊加(重疊)了的圖像的虛線框?qū)嶋H上不被繪出。為了進(jìn)行說明， 用虛線示出了框。背景中的長方體是CG生成圖的例子。圖8的(d)是示出根據(jù)位置信息(50、20)疊加了圖8的(b)所示的前景圖像的圖。 在該例子中，將前景圖像縮小到50%并移動(dòng)后進(jìn)行了疊加。這樣的縮小處理與位置信息沒 有關(guān)系，而是從合成切換操作輸入部195等另外單獨(dú)設(shè)定，并且由合成切換控制部190控制 鍵處理器176來執(zhí)行。對(duì)圖像生成單元140中的位置信息的計(jì)算例子進(jìn)行說明。在該實(shí)施方式中，確定屬性值一致的CG對(duì)象的面作為紋理映射的目標(biāo)面。位置發(fā) 送單元180向鍵處理器176發(fā)送該面的坐標(biāo)值作為位置信息。作為一個(gè)例子，坐標(biāo)值的計(jì) 算如下進(jìn)行。目標(biāo)面通常不是上述如圖8的(C)、(d)所示的簡(jiǎn)單的矩形，而是更復(fù)雜的由多邊 形集合形成的虛擬空間立體，構(gòu)成該立體的各個(gè)頂點(diǎn)分別被投影到畫面上并被顯示在某個(gè) 坐標(biāo)上。盡管作為頂點(diǎn)的集合，存在很多坐標(biāo)值，但通過這些x、y各自的最大值和最小值能 夠得到圖9所示的所謂的邊界框。圖像生成單元140求出該邊界框的中心(最大值和最小 值的正中央的坐標(biāo)值)作為位置信息。對(duì)位置信息的計(jì)算方法的另一例子進(jìn)行說明。目標(biāo)面的多邊形集合的各個(gè)頂點(diǎn)被賦予進(jìn)行紋理映射時(shí)的紋理坐標(biāo)。紋理坐標(biāo)如圖10所示也被稱為UV坐標(biāo)等，與χ坐標(biāo)相 當(dāng)?shù)腢、與y坐標(biāo)相當(dāng)?shù)腣也具有從0到1的范圍內(nèi)的值。從而被紋理映射的圖像的正中央 被繪制在(U，V)坐標(biāo)值為(0. 5,0. 5)的位置。圖像生成單元140計(jì)算與UV正好為(0. 5， 0.5)的頂點(diǎn)相當(dāng)?shù)淖鴺?biāo)值，作為位置信息。在沒有UV正好為(0.5，0.5)的點(diǎn)的情況下，通 過對(duì)頂點(diǎn)間進(jìn)行線性插值來求出與(0.5，0. 5)相當(dāng)?shù)淖鴺?biāo)值。在上述圖10中，連接紋理坐標(biāo)值為(0，1)的頂點(diǎn)和(1，0)的頂點(diǎn)的線段的中央是 紋理坐標(biāo)為(0.5，0.5)的點(diǎn)。在圖11的情況下，連接紋理坐標(biāo)值(0，1)的頂點(diǎn)和(0.8，0) 的頂點(diǎn)的線段的中央是紋理坐標(biāo)為(0.4，0. 5)的點(diǎn)，從該點(diǎn)向U方向移動(dòng)了 0.1(到0.8的 1/4)的位置是紋理坐標(biāo)為(0.5，0.5)的點(diǎn)。多邊形中UV坐標(biāo)值為(0.5，0.5)的位置并不 限于一處，因此在該方式中，如果有多個(gè)這樣的位置，則將其中一個(gè)作為位置信息。也可以構(gòu)成為在如上述各例那樣算出的位置信息上加以一定值后用于疊加。例 如，能夠?qū)⒃诋嬅嫔舷蛳路交蛏戏狡屏艘欢ㄖ档奈恢米鳛橹丿B位置?；蛘咴诘谝焕又校?也可以將對(duì)邊界框的高度(y方向的長度)乘以固定值而得的值(例如一半)加在位置信 息y上。對(duì)于χ方向或傾斜方向也一樣。另外，當(dāng)位置信息所示的值超出了畫面的范圍(-100到+100)、或者例如超出 了 -80到+80的范圍時(shí)，也可以進(jìn)行修正，以使其落入所述范圍內(nèi)(例如，超過100時(shí)設(shè)為 100等)。由于目的是用于疊加，因此即使在為了恰當(dāng)?shù)丿B加到畫面上而實(shí)施這些簡(jiǎn)單的修 正(變換)的情況下，從圖像生成單元140得到位置信息的優(yōu)點(diǎn)也不變。[圖像處理裝置的動(dòng)作例]對(duì)圖1所示的圖像處理裝置100的動(dòng)作例進(jìn)行說明。在CG制作單元110中，通過CG制作軟件而生成用于生成預(yù)定的CG圖像的CG描 述數(shù)據(jù)。如此在CG制作單元110中生成的CG描述數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)130被發(fā)送給圖像生成單 元140和表面指定單元120。在表面指定單元(GUI) 120中，將CG描述數(shù)據(jù)中的對(duì)象或被賦予給對(duì)象的屬性的 值(名稱)作為選擇項(xiàng)，并通過操作者的操作來指定要紋理映射輸入圖像的紋理映射目標(biāo)。 該指定信息(屬性的值)從表面指定單元120發(fā)送給圖像生成單元140。這里，對(duì)處于CG輸出模式、并且對(duì)CG圖像的前景圖像的疊加被設(shè)定為開啟的情況 進(jìn)行說明。 圖像生成單元140基于由CG制作單元110制作的CG描述數(shù)據(jù)生成三維空間圖像、 即CG圖像。另外，如上所述，從表面指定單元120向該圖像生成單元140發(fā)送作為紋理映 射目標(biāo)的對(duì)象或?qū)ο蟮囊徊糠值闹付ㄐ畔?。該圖像生成單元140控制圖像映射單元150，以 便將從輔助輸出部160提供而來的輸入圖像(基于圖像數(shù)據(jù)Tl的圖像)紋理映射到紋理 映射目標(biāo)的表面上。圖像映射單元150在圖像生成單元140的控制下，將基于由輔助輸出部160得到 的圖像數(shù)據(jù)Tl的圖像紋理映射在紋理映射目標(biāo)的表面上。并且，在紋理映射目標(biāo)的表面上 紋理映射了基于圖像數(shù)據(jù)Tl的圖像的CG圖像的圖像數(shù)據(jù)Vout被輸出到從圖像生成單元 140引出的輸出端子140a上。該圖像數(shù)據(jù)Vout被輸入到輸入線“9”上。如上所述，圖像合成切換部170的輸入 選擇部171的預(yù)備輸入總線174通過交叉點(diǎn)開關(guān)組175而與輸入線“9”連接。因此，上述CG圖像的圖像數(shù)據(jù)Vout被提取到該預(yù)備輸入總線174上，從而該圖像數(shù)據(jù)Vout作為背景 數(shù)據(jù)被送給混合器177。另外，圖像生成單元140求出紋理映射目標(biāo)的位置信息，該位置信息從位置發(fā)送 單元180被發(fā)送給圖像合成切換部170的鍵處理器176。該鍵處理器176基于位置信息進(jìn) 行被疊加至CG圖像的文字串等疊加圖像的移動(dòng)調(diào)整。即，調(diào)整鍵填充信號(hào)、鍵源信號(hào)，以使 得疊加圖像被疊加在與紋理映射目標(biāo)對(duì)應(yīng)的位置上。如此經(jīng)鍵處理器176調(diào)整的鍵填充信號(hào)、鍵源信號(hào)被發(fā)送給混合器177?；旌掀?177使用CG圖像的圖像數(shù)據(jù)Vout、以及鍵填充信號(hào)、鍵源信號(hào)，將文字串等疊加圖像疊加到 作為背景圖像的CG圖像上。此時(shí)，疊加圖像被疊加在與CG圖像的紋理映射目標(biāo)相對(duì)應(yīng)的 位置上。通過來自操作者的合成切換操作輸入部195的操作，被提取到其他背景A總線 172c、背景B總線172d上的圖像數(shù)據(jù)也根據(jù)需要而被用于混合器177的合成處理中。在該 混合器177得到的圖像數(shù)據(jù)作為最終輸出通過輸出線178被輸出到外部。接著，對(duì)處于整體畫面模式下的情況進(jìn)行說明。在此情況下，在混合器177中不使 用從預(yù)備輸入總線174傳來的圖像數(shù)據(jù)、即從圖像生成單元140輸出的CG圖像數(shù)據(jù)。另外， 在鍵處理器176中不使用從位置發(fā)送單元180傳來的位置信息。即，在鍵處理器176中不 進(jìn)行疊加圖像的移動(dòng)調(diào)整?；蛘?，在鍵處理器176中根據(jù)從合成切換操作輸入部195等進(jìn) 行指示的其他的移動(dòng)指示來進(jìn)行疊加圖像的移動(dòng)調(diào)整?；旌掀?77使用背景A數(shù)據(jù)、背景B數(shù)據(jù)、以及鍵填充信號(hào)、鍵源信號(hào)，將文字串等 疊加圖像疊加到背景圖像上。由該混合器177得到的圖像數(shù)據(jù)作為最終輸出通過輸出線 178被輸出到外部。對(duì)整體畫面模式下的另一動(dòng)作例進(jìn)行說明。在處于整體畫面模式的情況下，與上 述動(dòng)作例不同，混合器177可使用從預(yù)備輸入總線174傳來的圖像數(shù)據(jù)。但是，與預(yù)備輸入 總線174連接的輸入線不是從圖像生成單元140輸入CG圖像數(shù)據(jù)的輸入線“9”，而是通過 操作者的操作被設(shè)置為其他的輸入線。在此情況下，從圖像生成單元140輸出的CG圖像數(shù) 據(jù)也不被使用。如上所述，在CG輸出模式和整體畫面模式的任一模式下都疊加相同的前景圖像。 但是，僅根據(jù)CG模式切換單元191的操作來判斷是否將該疊加位置匹配到與紋理映射目標(biāo) 對(duì)應(yīng)的位置上，并且自動(dòng)地與是否使用CG圖像是否被使用聯(lián)動(dòng)，由此提高了操作性。在圖1所示的圖像處理裝置100中，將紋理映射圖像紋理映射在紋理映射目標(biāo)的 表面上。另外，基于紋理映射目標(biāo)的位置信息，將文字串等疊加圖像疊加在紋理映射了紋理 映射圖像的CG圖像的與該紋理映射目標(biāo)相對(duì)應(yīng)的位置上。因此，在該圖像處理裝置100中， 能夠?qū)⑴c被紋理映射的圖像相對(duì)應(yīng)的文字串等容易觀看地插入到與該圖像對(duì)應(yīng)的位置。圖12的(a)和(b)示出了在紋理映射了紋理映射圖像的CG圖像上疊加了疊加圖 像的例子。圖12的(a)示出了紋理映射面旋轉(zhuǎn)了的情況，但文字串卻以直立的狀態(tài)被插入 在與紋理映射圖像對(duì)應(yīng)的位置上。另外，圖12的(b)示出了紋理映射面被縮小了的情況， 但文字串卻以未被縮小且直立的狀態(tài)被插入在與紋理映射圖像相對(duì)應(yīng)的位置上。另外，在圖1所示的圖像處理裝置100中，通過輔助輸出部160，選擇性地提取被輸 入到9條輸入線的圖像數(shù)據(jù)中的某一個(gè)而得的圖像數(shù)據(jù)作為紋理映射圖像數(shù)據(jù)Tl被提供
20給圖像映射單元150。因此，操作者通過利用合成切換操作輸入部195進(jìn)行的操作來改變由 輔助輸出部160提取的圖像數(shù)據(jù)，由此能夠在任意的定時(shí)將紋理映射圖像改變?yōu)槠谕膱D像。另外，在圖1所示的圖像處理裝置100中，通過圖像合成切換部170的輸入選擇部 171來選擇性地提取被輸入到9條輸入線的圖像數(shù)據(jù)中的某一個(gè)，并將其作為疊加圖像數(shù) 據(jù)(鍵填充信號(hào)、鍵源信號(hào))。因此，操作者通過利用合成切換操作輸入部195進(jìn)行的操作 來改變由輸入選擇部171提取的圖像數(shù)據(jù)，由此能夠在任意的定時(shí)將疊加圖像改變?yōu)槠谕?的圖像。關(guān)于切換CG模式和整體畫面模式時(shí)的動(dòng)作，除如上述僅在CG輸出模式下使用位 置信息之外，也可以根據(jù)另外設(shè)定的縮小值來進(jìn)行縮小處理。即，在CG輸出模式下，在按照 設(shè)定值縮小要疊加的前景圖像后，再根據(jù)位置信息移動(dòng)該前景圖像來進(jìn)行疊加。<2.第二實(shí)施方式>[圖像處理裝置的構(gòu)成]對(duì)本發(fā)明的第二實(shí)施方式進(jìn)行說明。圖13示出了作為第二實(shí)施方式的圖像處理 裝置100A的構(gòu)成例。在該圖13中，對(duì)于與圖1對(duì)應(yīng)的部分標(biāo)注相同標(biāo)號(hào)并適當(dāng)?shù)厥÷云?說明。該圖像處理裝置100A具有CG制作單元110、表面指定單元120A、網(wǎng)絡(luò)130、圖像 生成單元140A以及圖像映射單元150a。另外，該圖形處理裝置100A包括矩陣開關(guān)210、圖 像選擇操作單元230以及疊加單元240。CG制作單元110、表面指定單元120A、圖像生成單 元140A以及圖像選擇操作單元230分別與網(wǎng)絡(luò)130連接。CG制作單元110由帶有CG制作軟件的個(gè)人計(jì)算機(jī)(PC personal Co mputer)構(gòu) 成。該CG制作單元110輸出預(yù)定格式的CG描述數(shù)據(jù)。該CG制作單元110是與上述圖1 所示的圖像處理裝置100的CG制作單元110同樣的。矩陣開關(guān)210構(gòu)成了圖像選擇單元，該圖像選擇單元從多個(gè)輸入圖像數(shù)據(jù)中選擇 性地提取一個(gè)圖像數(shù)據(jù)。該矩陣開關(guān)210包括9條輸入線、8條輸出總線211 218、以及 交叉點(diǎn)開關(guān)組221 228。輸出總線211 214是用于向圖像映射單元150A提供紋理映射 圖像數(shù)據(jù)Tl T4的總線。另外，輸出總線215 218是用于向疊加單元240提供疊加圖 像數(shù)據(jù)Sl S4的總線。9條輸入線在圖中沿一個(gè)方向排列，“1” “9”的每條輸入線被輸入來自VTRJS 頻攝像機(jī)等的圖像數(shù)據(jù)。8條輸出總線211 218與輸入線交叉地沿其他方向排列。交叉 點(diǎn)開關(guān)組221 224在9條輸入線和輸出總線211 214交叉的各個(gè)交叉點(diǎn)處執(zhí)行各自的 連接。基于用戶的圖像選擇操作，該交叉點(diǎn)開關(guān)組221 224的連接被控制，從而輸入到9 條輸入線上的圖像數(shù)據(jù)中的某一個(gè)被選擇性地輸出到輸出總線211 214上。該輸出總線 211 214構(gòu)成紋理映射圖像數(shù)據(jù)(映射輸入)Tl T4的輸出線。另外，交叉點(diǎn)開關(guān)組225 228在9條輸入線和輸出總線215 218交叉的各個(gè)交 叉點(diǎn)處執(zhí)行各自的連接?；谟脩舻膱D像選擇操作，該交叉點(diǎn)開關(guān)組225 228的連接被控 制，從而輸入到9條輸入線上的圖像數(shù)據(jù)中的某一個(gè)被選擇性地輸出到輸出總線215 218 上。該輸出總線215 218構(gòu)成疊加圖像數(shù)據(jù)Sl S4的輸出線。交叉點(diǎn)開關(guān)組221 228 的各個(gè)交叉點(diǎn)開關(guān)的接通/斷開動(dòng)作由于對(duì)由連續(xù)的幀數(shù)據(jù)結(jié)構(gòu)的圖像數(shù)據(jù)進(jìn)行切換，因此在作為幀的斷開處的垂直消隱區(qū)間內(nèi)進(jìn)行。圖像選擇操作單元230接受發(fā)給上述矩陣開關(guān)210的指示的操作輸入。該圖像選 擇操作單元230具有控制面板260，所述控制面板260具有對(duì)矩陣開關(guān)210的各交叉點(diǎn)開關(guān) 組的開關(guān)的接通/斷開進(jìn)行操作的按鈕行。圖14示出了控制面板260的一個(gè)例子的外觀。該控制面板260被設(shè)置成沿左右 方向延伸的兩行按鈕行271、272在上下方向上排列。按鈕行272被用于對(duì)矩陣開關(guān)210的 各交叉點(diǎn)開關(guān)組的開關(guān)的接通/斷開進(jìn)行操作。該按鈕行272由對(duì)輸入線的每一個(gè)和對(duì)應(yīng) 的輸出總線的連接進(jìn)行選擇的擇一式按鈕構(gòu)成，選中的按鈕被點(diǎn)亮。在控制面板260上與按鈕行272相對(duì)應(yīng)設(shè)置有文字顯示部273。在該文字顯示 部273上顯示用于識(shí)別向各個(gè)輸入線輸入的輸入圖像的文字。該文字顯示部273例如由 LCD (Liquid Crystal Display，液晶顯示器)等顯示元件構(gòu)成。按鈕行271是指定按鈕行，用于指定將按鈕行272用于那個(gè)輸出總線的圖像數(shù)據(jù) 的選擇操作。該按鈕行271通過擇一式按鈕構(gòu)成，選中的按鈕被點(diǎn)亮。在控制面板260上與 按鈕行271相對(duì)應(yīng)設(shè)置有文字顯示部274。在該文字顯示部274上顯示表示按鈕行271的 各按鈕被用于哪個(gè)輸出總線的圖像數(shù)據(jù)的選擇操作的文字。該文字顯示部274例如由LCD 等顯示元件構(gòu)成。例如可通過⑶I (Graphical User Interface)來實(shí)現(xiàn)將按鈕行271的各按鈕使用 于哪個(gè)輸出總線的圖像數(shù)據(jù)的選擇操作上。圖15的(a)示出了在分配按鈕行(指定按鈕 行)271時(shí)顯示的⑶I顯示例。在該⑶I顯示中，按鈕行271的8個(gè)按鈕用“1” “8”表示。 操作者通過操作與該“1” “8”相對(duì)應(yīng)的“選擇按鈕”來顯示輸出總線的選擇項(xiàng)，并從該選 擇項(xiàng)中選擇期望的輸出總線，由此能夠?qū)⑵谕妮敵隹偩€分配給各個(gè)按鈕。圖15的(b)示出了在選擇該輸出總線時(shí)顯示的⑶I顯示例。在該⑶I顯示中，構(gòu) 成疊加圖像數(shù)據(jù)Sl S4的輸出線的輸出總線215 218通過“Si” “S4”顯示為選擇項(xiàng)。 另外，在該GUI顯示中，為了向構(gòu)成紋理映射圖像數(shù)據(jù)(映射輸入)Tl T4的輸出線的輸 出總線211 214分配按鈕，顯示預(yù)定屬性的值(名稱)作為選擇項(xiàng)。作為屬性，通過操作 者的操作，例如從材質(zhì)定義、材質(zhì)定義所帶的表面信息等中設(shè)定任意的屬性。這里，操作者 設(shè)定用于指定紋理映射目標(biāo)(對(duì)象或者對(duì)象的一部分)的屬性?；蛘撸部梢灶A(yù)先在系統(tǒng) 中設(shè)定一個(gè)屬性。圖像選擇操作單元230從由CG制作單元110生成的CG描述數(shù)據(jù)中提取出所設(shè)定 的屬性的值(名稱)，并將該值顯示到GUI顯示中作為選擇項(xiàng)。在圖15的(b)的GUI顯示 例中，示出了設(shè)定材質(zhì)定義作為屬性的情況，材質(zhì)定義的名稱被顯示為選擇項(xiàng)。在該GUI顯 示例中，"Metal-I ”、“Metal-2 ”、"Material-Defl ”、“Material_Def2 ”、“Material_Def3 ” 是 材質(zhì)定義的名稱。在圖15的(a)的⑶I顯示例中，針對(duì)“ 1 ” “4”選擇了“Si” “S4”。另外，針對(duì) “5”、“6” 選擇了 “Metal-1”、“Material-Dei^”。針對(duì) “7”、“8” 沒有進(jìn)行任何選擇。如上所述，矩陣開關(guān)210具有8條輸出總線，各個(gè)輸出總線用總線編號(hào)“1” “8” 指定。另外，如上所述，矩陣開關(guān)210的第一個(gè)到第四個(gè)輸出總線向圖像映射單元150A輸 入映射輸入(紋理映射圖像數(shù)據(jù))Tl T4。圖像選擇操作單元230或者其外圍的微型計(jì)算 機(jī)具有存儲(chǔ)了該連線狀態(tài)的如圖16所示的映射輸入對(duì)應(yīng)表。該映射輸入對(duì)應(yīng)表被存儲(chǔ)為與連線對(duì)應(yīng)的設(shè)定，只要連線沒有改變就不改變。當(dāng)如圖15的(a)的“5”、“6”那樣對(duì)某個(gè)按鈕選擇了預(yù)定屬性的值(名稱)時(shí)， 圖像選擇操作單元230將該按鈕分配給總線編號(hào)1 4中尚未被分配的輸出總線。在此情 況下，該輸出總線成為用于輸出下述圖像的圖像數(shù)據(jù)的輸出總線，所述圖像是要被紋理映 射到被賦予了選中的預(yù)定屬性的值(名稱)的對(duì)象或者對(duì)象的一部分的表面上的圖像。并 且，圖像選擇操作單元230將選中的預(yù)定屬性的值(名稱)的信息、以及表示基于分配目標(biāo) 的輸出總線的映射輸入是映射輸入Tl T4中的哪一個(gè)的信息經(jīng)由網(wǎng)絡(luò)130發(fā)送給表面指 定單元120A。如圖15 的(a)所示，以對(duì)“5” 選擇“Metal-1”、之后對(duì)“6” 選擇“Material-Def^” 的情況為例，進(jìn)一步進(jìn)行說明。首先，當(dāng)對(duì)“5”選擇了 “Metal-Ι”時(shí)，圖像選擇操作單元230將“5”的按鈕分配給 輸出總線211。輸出總線211成為用于輸出下述圖像的圖像數(shù)據(jù)的數(shù)據(jù)總線，所述圖像是與 材質(zhì)定義“Metal-Γ’對(duì)應(yīng)起來的對(duì)象或者對(duì)象的一部分被作為紋理映射目標(biāo)、從而要被紋 理映射到該對(duì)象或者對(duì)象的一部分的表面上的圖像。并且，圖像選擇操作單元230將材質(zhì) 定義“Metal-Ι”和映射輸入Tl的信息經(jīng)由網(wǎng)絡(luò)130發(fā)送給表面指定單元120A。接著，當(dāng)對(duì)“6”選擇了 “Material-Def3”時(shí)，圖像選擇操作單元230將“6”的按鈕 分配給輸出總線212。輸出總線212成為用于輸出下述圖像的圖像數(shù)據(jù)的輸出總線，所述 圖像是與材質(zhì)定義“Material-Def3”對(duì)應(yīng)起來的對(duì)象或者對(duì)象的一部分被作為紋理映射目 標(biāo)、從而要被紋理映射到對(duì)象或者對(duì)象的一部分的表面上的圖像。并且，圖像選擇操作單元 230將材質(zhì)定義“Material-Def3”和映射輸入T2的信息經(jīng)由網(wǎng)絡(luò)130發(fā)送給表面指定單元 120A。在上述的說明中，說明了對(duì)于按鈕行271的某個(gè)按鈕，僅能夠選擇一個(gè)預(yù)定屬性 的值(名稱)。但是也可以考慮對(duì)某個(gè)按鈕允許選擇多個(gè)預(yù)定屬性的值(名稱)的構(gòu)成。在 此情況下，與選中的多個(gè)屬性值對(duì)應(yīng)起來的對(duì)象或者對(duì)象的一部分被作為紋理映射目標(biāo)， 并在其表面上紋理映射基于被分配某個(gè)按鈕的輸出總線的輸出圖像數(shù)據(jù)的圖像。在此情況 下，在與某個(gè)按鈕對(duì)應(yīng)的文字顯示部274上顯示多個(gè)屬性值(名稱)。但是，如果難以顯示 多個(gè)屬性值(名稱)，則顯示一個(gè)或可顯示的個(gè)數(shù)的屬性值。表面指定單元120A如上所述基于從圖像選擇操作單元230傳來的、選中的屬性的 值(名稱)和映射輸入的對(duì)應(yīng)信息來制作表示屬性的值(名稱)和映射輸入之間的對(duì)應(yīng)關(guān) 系的圖像分配表。并且，表面指定單元120A經(jīng)由網(wǎng)絡(luò)130將該圖像分配表設(shè)定在圖像生成 單元140A中。表面指定單元120A如此設(shè)定圖像分配表，由此針對(duì)輸出映射輸入Tl T4的每個(gè) 輸出總線，指定被紋理映射基于其映射輸入的圖像的紋理映射目標(biāo)。在此情況下，被紋理映 射基于其映射輸入的圖像的紋理映射目標(biāo)(對(duì)象或者對(duì)象的一部分)通過屬性的值(名 稱)來指定。圖17的(a)示出了圖像分配表的一個(gè)例子。該例子是如上述在圖像選擇操作單元 230中如圖15的(a)所示那樣對(duì)“5”選擇“Metal-Ι”并對(duì)“6”選擇了“Material_Def3”時(shí) 的例子。另外，圖17的(b)示出了圖像分配表的另一例子。該例子是如上述在圖像選擇操 作單元 230 中對(duì)“5”選擇“Metal-Γ，和“Material_Def3”、并對(duì)“6”選擇了“Material_Def3，，時(shí)的例子。在該圖像分配表中，Tl T4構(gòu)成圖像標(biāo)識(shí)符。在圖13的圖像處理裝置100A中，從矩陣開關(guān)210的輸出總線211 214向圖像 映射單元150A發(fā)送四個(gè)系列的圖像數(shù)據(jù)Tl T4。另外，在圖13的圖像處理裝置100A中， 從矩陣開關(guān)210的輸出總線215 218向疊加單元240發(fā)送四個(gè)系列的圖像數(shù)據(jù)Sl S4。 表面指定單元120A制作紋理映射圖像和疊加圖像的對(duì)應(yīng)關(guān)系，并將表示該對(duì)應(yīng)關(guān)系的圖 像對(duì)應(yīng)表經(jīng)由網(wǎng)絡(luò)130設(shè)定在圖像生成單元140A中。表面指定單元120A例如使操作者從 疊加圖像數(shù)據(jù)Sl S4中選擇要與紋理映射圖像數(shù)據(jù)Tl T4的每一個(gè)對(duì)應(yīng)起來的疊加圖 像數(shù)據(jù)，并生成對(duì)應(yīng)關(guān)系。圖18的(a) (f)示出了圖像對(duì)應(yīng)表的一個(gè)例子。在圖18的(a)中，圖像數(shù)據(jù) Sl被對(duì)應(yīng)到圖像數(shù)據(jù)Tl。在該對(duì)應(yīng)關(guān)系下，當(dāng)基于圖像數(shù)據(jù)Tl的圖像被紋理映射到與其 對(duì)應(yīng)的紋理映射目標(biāo)的表面上時(shí)，基于圖像數(shù)據(jù)Si的圖像被疊加到與該圖像相對(duì)應(yīng)的位置上。在圖18的(b)中，圖像數(shù)據(jù)S1、S2被對(duì)應(yīng)到圖像數(shù)據(jù)Tl。在該對(duì)應(yīng)關(guān)系下，當(dāng)基 于圖像數(shù)據(jù)Tl的圖像被紋理映射到與其對(duì)應(yīng)的紋理映射目標(biāo)的表面上時(shí)，基于圖像數(shù)據(jù) S1、S2的圖像被疊加到與該圖像相對(duì)應(yīng)的位置上。在圖18的(c)中，圖像數(shù)據(jù)Sl被對(duì)應(yīng)到圖像數(shù)據(jù)Tl，圖像數(shù)據(jù)S2被對(duì)應(yīng)到圖像 數(shù)據(jù)T4。在該對(duì)應(yīng)關(guān)系下，當(dāng)基于圖像數(shù)據(jù)Tl的圖像被紋理映射到與其對(duì)應(yīng)的紋理映射目 標(biāo)的表面上時(shí)，基于圖像數(shù)據(jù)Sl的圖像被疊加到與該圖像對(duì)應(yīng)的位置上。另外，當(dāng)基于圖 像數(shù)據(jù)T4的圖像被紋理映射到與其對(duì)應(yīng)的紋理映射目標(biāo)的表面上時(shí)，基于圖像數(shù)據(jù)S2的 圖像被疊加到與該圖像對(duì)應(yīng)的位置上。在圖18的(d)中，圖像數(shù)據(jù)Sl被對(duì)應(yīng)到圖像數(shù)據(jù)Tl T4。該對(duì)應(yīng)關(guān)系下，當(dāng)基 于圖像數(shù)據(jù)Tl T4的圖像被紋理映射到與其對(duì)應(yīng)的紋理映射目標(biāo)的表面上時(shí)，基于圖像 數(shù)據(jù)Sl的圖像被疊加到與該圖像對(duì)應(yīng)的位置上。在圖18的(e)中，圖像數(shù)據(jù)Si、S2被對(duì)應(yīng)到圖像數(shù)據(jù)Tl，圖像數(shù)據(jù)S2被對(duì)應(yīng)到 圖像數(shù)據(jù)T3。在該對(duì)應(yīng)關(guān)系下，當(dāng)基于圖像數(shù)據(jù)Tl的圖像被紋理映射到與其對(duì)應(yīng)的紋理映 射目標(biāo)的表面上時(shí)，基于圖像數(shù)據(jù)S1、S2的圖像被疊加到與該圖像對(duì)應(yīng)的位置上。另外，當(dāng) 基于圖像數(shù)據(jù)T3的圖像被紋理映射到與其對(duì)應(yīng)的紋理映射目標(biāo)的表面上時(shí)，基于圖像數(shù) 據(jù)S2的圖像被疊加到與該圖像相對(duì)應(yīng)的位置上。在圖18的(f)中，圖像數(shù)據(jù)Sl S4被對(duì)應(yīng)到圖像數(shù)據(jù)T3。在該對(duì)應(yīng)關(guān)系下，當(dāng) 基于圖像數(shù)據(jù)T3的圖像被紋理映射到與其對(duì)應(yīng)的紋理映射目標(biāo)的表面上時(shí)，基于圖像數(shù) 據(jù)Sl S4的圖像被疊加到與該圖像對(duì)應(yīng)的位置上。圖像生成單元140A基于由CG制作單元110制作的CG描述數(shù)據(jù)來生成三維空間 圖像、即CG圖像。圖像生成單元140A在讀入CG描述數(shù)據(jù)后，將各個(gè)定義等信息保存在存 儲(chǔ)器中，并且這些信息之間的對(duì)應(yīng)關(guān)系也作為數(shù)據(jù)結(jié)構(gòu)而被保存。另外，圖像生成單元140A 將用于執(zhí)行動(dòng)畫的關(guān)鍵幀中的各種值也保存在存儲(chǔ)器上。例如，當(dāng)繪制某個(gè)節(jié)點(diǎn)的幾何學(xué)信息中的多邊形集合時(shí)，參考該幾何學(xué)信息和對(duì) 應(yīng)起來的材質(zhì)定義，并根據(jù)其色彩等的指定來繪制該多邊形集合。在動(dòng)畫的情況下，使當(dāng)前 時(shí)刻逐個(gè)幀地前進(jìn)，并通過對(duì)當(dāng)前時(shí)刻前后的關(guān)鍵幀中的各值進(jìn)行內(nèi)插來確定各值，由此 進(jìn)行繪制。
24
在該圖像生成單元140A中，如上所述，通過表面指定單元120A來設(shè)定圖像分配 表(參考圖17的(a)、(b))。圖像生成單元140A基于該圖像分配表來控制圖像映射單元 150A。在此情況下，圖像生成單元140A進(jìn)行控制，使得在被賦予了表中存在的各屬性的值 的紋理映射目標(biāo)的表面上紋理映射基于與該屬性的值(名稱)成對(duì)的映射輸入的圖像。另外，在該圖像生成單元140A中，如上所述，通過表面指定單元120A來設(shè)定圖像 對(duì)應(yīng)表(參考圖18的(a) (f))。圖像生成單元140A基于該圖像對(duì)應(yīng)表來控制疊加單元 240。在此情況下，圖像生成單元140A進(jìn)行控制，使得當(dāng)映射了基于表中存在的紋理映射圖 像數(shù)據(jù)的圖像時(shí)，疊加基于與該圖像數(shù)據(jù)成對(duì)的疊加圖像數(shù)據(jù)的圖像。圖像映射單元150A對(duì)圖像生成單元140A所繪制的多邊形中由表面指定單元120A 指定的多邊形的表面進(jìn)行紋理映射。在此情況下，圖像映射單元150A在被賦予了圖像分配 表中存在的各屬性的值的紋理映射目標(biāo)的表面上，紋理映射基于與該屬性的值(名稱)成 對(duì)的映射輸入的圖像。該圖像映射單元150A與上述圖像生成單元140A被安裝成一體，并 且可通過CPU上的基于軟件的控制和GPU等的基于硬件的動(dòng)作來實(shí)現(xiàn)?？刂栖浖付ㄟM(jìn)行 紋理映射的多邊形集合并將其指示給硬件。疊加單元240將疊加圖像疊加到在圖像映射單元150A中進(jìn)行了紋理映射的CG圖 像上。此時(shí)，在基于圖像對(duì)應(yīng)表中存在的紋理映射圖像數(shù)據(jù)的圖像被紋理映射了的情況下， 疊加單元240疊加基于與該紋理映射圖像數(shù)據(jù)成對(duì)的疊加圖像數(shù)據(jù)的圖像。與上述圖1所示的圖像處理裝置100的圖像生成部140同樣地，圖像生成單元 140A計(jì)算在圖像映射單元150A中被紋理映射基于各圖像數(shù)據(jù)Tl T4的圖像的目標(biāo)的位 置信息(參考圖9 圖11)。疊加單元240基于紋理映射目標(biāo)的位置信息，將基于疊加圖像 數(shù)據(jù)的圖像疊加到與該紋理映射目標(biāo)對(duì)應(yīng)的位置上。該疊加單元240與上述圖像生成單元 140A被安裝成一體。另外，也可以設(shè)置操作輸入單元，以能夠針對(duì)每個(gè)疊加圖像數(shù)據(jù)，操作疊加的開啟 和關(guān)閉。在進(jìn)行對(duì)應(yīng)的紋理映射的情況下，也能夠通過手動(dòng)操作來指示是否進(jìn)行疊加。[圖像處理裝置的動(dòng)作例]對(duì)圖13所示的圖像處理裝置100A的動(dòng)作例進(jìn)行說明。在CG制作單元110中，通 過CG制作軟件而生成用于生成預(yù)定的CG圖像的CG描述數(shù)據(jù)。如此在CG制作單元110中 生成的CG描述數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)130被發(fā)送給圖像生成單元140A和表面指定單元230A。圖像選擇操作單元230通過操作者的操作來向構(gòu)成圖像數(shù)據(jù)(映射輸入)Tl T4 的輸出線的輸出總線211 214分配控制面板260的按鈕行(指定按鈕行)271的按鈕。在 此情況下，通過選擇預(yù)定屬性的值(名稱)來從輸出總線211起依次進(jìn)行分配。該圖像選擇操作單元230通過操作者的操作來設(shè)定用于指定紋理映射目標(biāo)(對(duì)象 或者對(duì)象的一部分)的屬性。這里，屬性是材質(zhì)定義、材質(zhì)定義所帶的表面信息等。上述的 預(yù)定屬性即是如此通過操作者的操作來設(shè)定的屬性，選中的屬性的值(名稱)是從由CG制 作單元110生成的CG描述數(shù)據(jù)中提取的。關(guān)于矩陣開關(guān)210的輸出總線211 214中被分配了控制面板260的按鈕行271 的按鈕的輸出總線，通過按鈕行272的操作，能夠改變?cè)撦敵隹偩€的輸出圖像數(shù)據(jù)(映射輸 入)。在此情況下，作為輸出圖像數(shù)據(jù)，選擇性地輸出被輸入到9條輸入線的圖像數(shù)據(jù)中的 某一個(gè)。
當(dāng)通過圖像選擇操作單元230向輸出總線211 214的某一個(gè)分配了控制面板 260的按鈕行271的按鈕時(shí)，從圖像選擇操作單元230向表面指定單元120A經(jīng)由網(wǎng)絡(luò)130 發(fā)送信息。該信息包括被選中的預(yù)定屬性的值(名稱)的信息、以及表示基于分配目標(biāo)的 輸出總線的映射輸入是映射輸入Tl T4中的哪一個(gè)的信息。表面指定單元120A基于從圖像選擇操作單元230傳來的、選中的屬性的值(名 稱)和映射輸入的對(duì)應(yīng)信息，設(shè)定表示屬性的值(名稱)和映射輸入之間的對(duì)應(yīng)關(guān)系的圖 像分配表(參考圖17的(a)和(b))。該圖像分配表經(jīng)由網(wǎng)絡(luò)130被設(shè)定在圖像生成單元 140A中。表面指定單元120A根據(jù)該圖像分配表的設(shè)定，來使用屬性的值(名稱)指定要紋 理映射基于各映射輸入的圖像的目標(biāo)(對(duì)象或者對(duì)象的一部分)。另外，表面指定單元120A制作紋理映射圖像和疊加圖像之間的對(duì)應(yīng)關(guān)系，并將表 示該對(duì)應(yīng)關(guān)系的圖像對(duì)應(yīng)表經(jīng)由網(wǎng)絡(luò)130設(shè)定在圖像生成單元140A中。在此情況下，表面 指定單元120A例如使操作者從疊加圖像數(shù)據(jù)Sl S4中選擇要與紋理映射圖像數(shù)據(jù)Tl T4的每一個(gè)對(duì)應(yīng)起來的疊加圖像數(shù)據(jù)，并生成對(duì)應(yīng)關(guān)系。圖像生成單元140A基于由CG制作單元110制作的CG描述數(shù)據(jù)來生成三維空間 圖像、即CG圖像。在該圖像生成單元140A中，如上所述，通過表面指定單元120A來設(shè)定圖 像分配表。圖像映射單元150A在圖像生成單元140A的控制下進(jìn)行紋理映射。S卩，圖像映 射單元150A在被賦予了圖像分配表中存在的各屬性的值(名稱)的紋理映射目標(biāo)的表面 上，紋理映射基于與該屬性的值(名稱)成對(duì)的映射輸入的圖像。另外，在該圖像生成單元140A中，如上所述，通過表面指定單元120A來設(shè)定圖像 對(duì)應(yīng)表。疊加單元240在圖像生成單元140A的控制下，將疊加圖像疊加到在圖像映射單元 150A被紋理映射了的CG圖像上。即，當(dāng)映射了基于圖像對(duì)應(yīng)表中存在的紋理映射圖像數(shù)據(jù) 的圖像時(shí)，疊加單元240疊加基于與該紋理映射圖像數(shù)據(jù)成對(duì)的疊加圖像數(shù)據(jù)的圖像。圖像生成單元140A計(jì)算CG圖像中的紋理映射目標(biāo)的位置信息。疊加單元240基 于紋理映射目標(biāo)的位置信息，將基于疊加圖像數(shù)據(jù)的圖像疊加到與該紋理映射目標(biāo)相對(duì)應(yīng) 的位置上。并且，紋理映射了紋理映射圖像并且在與該圖像對(duì)應(yīng)的位置上疊加了對(duì)應(yīng)的疊 加圖像的CG圖像數(shù)據(jù)Vout被輸出到從圖像生成單元140A引出的輸出端子140a上。圖19的流程圖示出了圖像映射單元150A的對(duì)應(yīng)于一幀的處理步驟。圖像映射單元150A在步驟STl中開始處理，之后轉(zhuǎn)移到步驟ST2的處理。在該步 驟ST2中，圖像映射單元150A從圖像生成單元140A接收針對(duì)每個(gè)圖像輸入所選擇的屬性 值的信息。該信息如上所述存在于被設(shè)定在圖像生成單元140A中的圖像分配表中。接著，圖像映射單元150A在步驟ST3中將圖像輸入編號(hào)i設(shè)定為1。并且，圖像映 射單元150A在步驟ST4中將第i個(gè)圖像輸入Ti紋理映射到屬性值一致的CG對(duì)象或CG對(duì) 象的一部分(紋理映射目標(biāo))的表面上。并且，圖像映射單元150A在步驟ST5中將被紋理映射的面的畫面上的坐標(biāo)Pi作 為位置信息發(fā)送給疊加單元240。當(dāng)對(duì)第i個(gè)圖像輸入Ti沒有選擇屬性值時(shí)，圖像映射單 元150A對(duì)該第i個(gè)圖像輸入Ti不進(jìn)行上述的步驟ST4和步驟ST5的處理。接著，圖像映射單元150A在步驟ST6中判斷輸入編號(hào)i是否小于輸入數(shù)目。當(dāng)輸 入編號(hào)i小于輸入數(shù)目時(shí)，由于對(duì)所有紋理映射圖像輸入的處理尚未完成，因此圖像映射 單元150A在步驟ST7中使輸入編號(hào)i遞增，之后返回到步驟ST4的處理。另一方面，當(dāng)輸入編號(hào)i大于或等于輸入數(shù)目時(shí)，由于已完成了對(duì)所有紋理映射圖像輸入的處理，因此圖 像映射單元150A在步驟ST8中結(jié)束處理。圖20的流程圖示出了疊加單元240的對(duì)應(yīng)于一幀的處理步驟。疊加單元240在步驟STll中開始處理，之后轉(zhuǎn)移到步驟ST12的處理。在步驟ST12 中，疊加單元240從圖像映射單元150A接收坐標(biāo)Pi (i = 1、…、(輸入數(shù)目))。接著，疊加單元240在步驟ST13中將輸入編號(hào)i設(shè)定為1。并且，疊加單元240在 步驟ST14中根據(jù)坐標(biāo)Pi來決定疊加位置(重疊位置)。并且，疊加單元240在步驟ST15 中將基于與圖像輸入Ti相對(duì)應(yīng)的疊加圖像輸入的圖像重疊到在步驟ST14中決定的重疊位 置上。接著，疊加單元240在步驟ST16中判斷輸入編號(hào)i是否小于輸入數(shù)目。當(dāng)輸入編 號(hào)i小于輸入數(shù)目時(shí)，由于對(duì)于所有紋理映射圖像輸入的處理尚未完成，因此疊加單元240 在步驟ST17中使輸入編號(hào)i遞增，之后返回到步驟ST14的處理。另一方面，當(dāng)輸入編號(hào)i 大于或等于輸入數(shù)目時(shí)，由于已完成了對(duì)所有紋理映射圖像輸入的處理，因此疊加單元240 在步驟ST18中結(jié)束處理。在上述圖19、圖20所示的例子中，坐標(biāo)Pi的計(jì)算在圖像生成單元140中與繪制 (紋理映射)同時(shí)進(jìn)行。但也可以采用與此不同的安裝方法。圖21示出了表示在與圖像映射單元150A不同的部分(不同的微型計(jì)算機(jī))中進(jìn) 行坐標(biāo)的計(jì)算時(shí)的通信等的順序。由CG制作單元110制作的CG描述數(shù)據(jù)被發(fā)送給表面指 定單元120A，同時(shí)被發(fā)送給疊加單元240。在表面指定單元120A中例如將圖像標(biāo)識(shí)符和材質(zhì)定義對(duì)應(yīng)起來，生成圖像分配 表。該圖像分配表被發(fā)送給圖像生成單元140A，從而與CG描述數(shù)據(jù)一起被利用于圖像生成 單元的動(dòng)作中。在該例子中，圖像分配表同時(shí)被發(fā)送給疊加單元240。疊加單元240得到CG描述數(shù)據(jù)和圖像分配表，并通過進(jìn)行與圖像生成單元140A 及其中的圖像映射單元150A中的處理相同的處理，而得到與材質(zhì)定義對(duì)應(yīng)的CG對(duì)象的面 的坐標(biāo)值。在疊加單元240中，除此之外的面的位置計(jì)算處理由于不需要因此不進(jìn)行。疊加 單元240根據(jù)得到的坐標(biāo)值來與圖20的處理步驟同樣地執(zhí)行疊加。即，在哪個(gè)微型計(jì)算機(jī) 中計(jì)算位置(坐標(biāo))在本發(fā)明的實(shí)施中是能夠適當(dāng)變更的。當(dāng)圖像生成單元140A的繪制處理等根據(jù)動(dòng)畫動(dòng)作的時(shí)間等而發(fā)生變化時(shí)，將同 樣的信息還發(fā)送給疊加單元240，使得根據(jù)相同的參數(shù)來進(jìn)行動(dòng)作。其原因如下如果不這 樣，則在動(dòng)畫動(dòng)作中，針對(duì)不同時(shí)間的處理被執(zhí)行，從而導(dǎo)致錯(cuò)位。在圖13所示的圖像形成裝置100A中，將紋理映射圖像紋理映射到紋理映射目標(biāo) 的表面上。另外，基于紋理映射對(duì)像的位置信息，將文字串等疊加圖像疊加在紋理映射了紋 理映射圖像的CG圖像的與該紋理映射目標(biāo)相對(duì)應(yīng)的位置上。因此，在該圖像處理裝置100A 中，能夠與上述圖1所示的圖像處理裝置100同樣地，將與被紋理映射的圖像相對(duì)應(yīng)的文字 串等容易觀看地插入到與該圖像對(duì)應(yīng)的位置。另外，在圖13所示的圖像處理裝置100A中，通過表面指定單元120A，將表示紋理 映射圖像和疊加圖像的對(duì)應(yīng)關(guān)系的圖像對(duì)應(yīng)表設(shè)定在圖像生成單元140A中。并且，疊加單 元240基于該對(duì)應(yīng)關(guān)系來決定要疊加到與紋理映射圖像相對(duì)應(yīng)的位置上的圖像。因此，當(dāng)存在多個(gè)系列的紋理映射圖像或疊加圖像時(shí)，也能夠?qū)⑴c被紋理映射的圖像相對(duì)應(yīng)的文字 串等疊加圖像容易觀看地插入到與該紋理映射圖像相對(duì)應(yīng)的位置上。另外，在圖13所示的圖像處理裝置100A中，通過矩陣開關(guān)210選擇性地提取的圖 像數(shù)據(jù)作為紋理映射圖像數(shù)據(jù)Tl T4被提供給圖像映射單元150A。因此，操作者通過利 用圖像選擇操作單元230進(jìn)行的操作來改變由矩陣開關(guān)210提取的圖像數(shù)據(jù)Tl T4，由此 能夠在任意的定時(shí)將紋理映射圖像改變?yōu)槠谕膱D像。另外，在圖13所示的圖像處理裝置100A中，通過矩陣開關(guān)210選擇性地獲取被輸 入到9條輸入線的圖像數(shù)據(jù)中的某一個(gè)以作為疊加圖像數(shù)據(jù)Sl S4。因此，操作者通過利 用圖像選擇操作單元230進(jìn)行的操作來改變由矩陣開關(guān)210提取的圖像數(shù)據(jù)Sl S4,由此 能夠在任意的定時(shí)將疊加圖像改變?yōu)槠谕膱D像。<3.第三實(shí)施方式>[圖像處理裝置的構(gòu)成]對(duì)本發(fā)明的第三實(shí)施方式進(jìn)行說明，圖22示出了作為第三實(shí)施方式的圖像處理 裝置100B的構(gòu)成例。在該圖22中，對(duì)于與圖1對(duì)應(yīng)的部分標(biāo)注相同符號(hào)，并適當(dāng)?shù)厥÷云?說明。該圖像處理裝置100B具有CG制作單元110、表面指定單元120、網(wǎng)絡(luò)130、圖像生 成單元140B以及圖像映射單元150B。另外，該圖形處理裝置100B包括輔助輸出部160B、 圖像合成切換部170B、位置發(fā)送單元180B、合成切換控制部190、以及合成切換操作輸入部 195。CG制作單元110、表面指定單元120B、圖像生成單元140B以及位置發(fā)送單元180B分 別與網(wǎng)絡(luò)130連接。圖像合成切換部170B具有輸入選擇部171B、鍵處理器176a 176b、以及混合器 177B。上述圖1的圖像處理裝置100的圖像合成切換部170僅具有一個(gè)疊加功能部(keyer， 鍵控器)。S卩，具有一個(gè)鍵處理器176，并且該鍵處理器176與鍵源總線172a、鍵填充總線 172b連接。圖像合成切換部170B具有四個(gè)疊加功能部(鍵控器)。即，具有四個(gè)鍵處理器 176a、176b、176c、176d。并且，鍵處理器176a與鍵源總線172al、鍵填充總線172bl連接， 鍵處理器176b與鍵源總線172a2、鍵填充總線172b2連接。并且，鍵處理器176c與鍵源 總線172a3、鍵填充總線172b3連接，鍵處理器176d與鍵源總線172a4、鍵填充總線172b4 連接。在輸入選擇部171B中，與各鍵源總線、各鍵填充總線相對(duì)應(yīng)地設(shè)置有交叉點(diǎn)開關(guān)組 173al 173a4、173bl 173b4?；旌掀?77B使用來自各鍵處理器的鍵填充信號(hào)和鍵源信號(hào)，通過鍵控將前景圖 像疊加到背景圖像或者CG圖像上。這里，將與鍵處理器176a、176b、176c、176d相關(guān)的疊加 圖像數(shù)據(jù)(前景圖像數(shù)據(jù))分別設(shè)為Si、S2、S3、S4。由該混合器177B得到的圖像數(shù)據(jù)通 過輸出線178被輸出到外部。混合器177B和上述鍵處理器176a 176d構(gòu)成了疊加單元。圖像合成切換部170B的其他部分與上述圖1的圖像處理裝置100的圖像合成切 換部170同樣地構(gòu)成。輔助輸出部160B進(jìn)行輔助輸出的選擇。輔助輸出部160B將從外部輸入多個(gè)圖像 數(shù)據(jù)的9條輸入線選擇性地連接到4條輔助輸出總線161a、161b、161c、161d上。交叉點(diǎn)開 關(guān)組162a、162b、162c、162d在9條輸入線和輔助輸出選擇總線161a、161b、161c、161d交叉的各個(gè)交叉點(diǎn)處執(zhí)行各自的連接。被提取到該輔助輸出選擇總線161a、161b、161c、161d上 的圖像數(shù)據(jù)作為紋理映射圖像數(shù)據(jù)Tl、T2、T3、T4被發(fā)送給圖像映射單元150B。該輔助輸 出部160B構(gòu)成了紋理映射圖像數(shù)據(jù)選擇單元。表面指定單元120B例如根據(jù)操作者的操作來生成表示屬性的值(名稱)和映射 輸入的對(duì)應(yīng)關(guān)系的圖像分配表(參考圖17的(a)、(b))，并經(jīng)由網(wǎng)絡(luò)130將該圖像分配表設(shè) 定在圖像生成單元140B中。表面指定單元120B如此設(shè)定圖像分配表，由此針對(duì)輸出映射輸 入Tl T4的每個(gè)輸出總線，指定被紋理映射基于其映射輸入的圖像的紋理映射目標(biāo)。在 此情況下，被紋理映射基于該映射輸入的圖像的紋理映射目標(biāo)(對(duì)象或者對(duì)象的一部分) 通過屬性的值(名稱)來指定。另外，表面指定單元120B制作紋理映射圖像和疊加圖像的對(duì)應(yīng)關(guān)系，并將表示該 對(duì)應(yīng)關(guān)系的圖像對(duì)應(yīng)表(參考圖18)經(jīng)由網(wǎng)絡(luò)130設(shè)定在圖像生成單元140B中。表面指 定單元120B例如使操作者從疊加圖像數(shù)據(jù)Sl S4中選擇要與紋理映射圖像數(shù)據(jù)Tl T4 的每一個(gè)對(duì)應(yīng)起來的疊加圖像數(shù)據(jù)，并生成對(duì)應(yīng)關(guān)系。疊加圖像數(shù)據(jù)Sl S4如上述那樣 分別是與鍵處理器176a 176d相關(guān)的疊加圖像數(shù)據(jù)。圖像生成單元140B基于由CG制作單元110制作的CG描述數(shù)據(jù)來生成三維空間圖 像、即CG圖像。該圖像生成單元140B在讀入CG描述數(shù)據(jù)后，將各個(gè)定義等信息保存在存 儲(chǔ)器中，并且這些信息之間的對(duì)應(yīng)關(guān)系也作為數(shù)據(jù)結(jié)構(gòu)而被保存。另外，圖像生成單元140B 還將用于執(zhí)行動(dòng)畫的關(guān)鍵幀中的各種值保存在存儲(chǔ)器中。該圖像生成單元140B中的生成 CG圖像的功能與上述圖1所示的圖像處理裝置100的圖像生成單元140或者上述圖13所 示的圖像處理裝置100A的圖像生成單元140A中的生成CG圖像的功能相同。在該圖像生成單元140B中，如上所述，通過表面指定單元120B來設(shè)定圖像分配 表。圖像生成單元140B基于該圖像分配表來控制圖像映射單元150B。在此情況下，圖像生 成單元140B進(jìn)行控制，使得在被賦予了表中存在的各屬性的值的紋理映射目標(biāo)的表面上 紋理映射基于與該屬性的值(名稱)成對(duì)的映射輸入的圖像。另外，在該圖像生成單元140B中，如上所述，通過表面指定單元120B來設(shè)定圖像 對(duì)應(yīng)表(參考圖18的(a) (f))。圖像生成單元140B基于該圖像對(duì)應(yīng)表，通過位置發(fā)送 單元180B向合成切換控制部190發(fā)送疊加控制信號(hào)。該控制信號(hào)是用于在紋理映射基于 圖像對(duì)應(yīng)表中存在的紋理映射圖像數(shù)據(jù)的圖像的情況下使基于與該圖像數(shù)據(jù)成對(duì)的疊加 圖像數(shù)據(jù)的圖像被疊加的控制信號(hào)。另外，該圖像生成單元140B計(jì)算在圖像映射單元150B中被紋理映射基于各圖像 數(shù)據(jù)Tl T4的圖像的目標(biāo)(對(duì)象或者對(duì)象的一部分)的位置信息(參考圖9 圖11)。 這與上述圖1所示的圖像處理裝置100的圖像生成單元140、或者上述圖13所示的圖像處 理裝置100A的圖像生成單元140A —樣。圖像生成單元140B通過位置發(fā)送單元180B將該 位置信息發(fā)送給合成切換控制部190。合成切換控制部190基于該紋理映射目標(biāo)的位置信息來控制鍵處理器176a 176d，調(diào)整各疊加圖像的重疊位置。合成切換控制部190進(jìn)行調(diào)整，使得當(dāng)紋理映射圖像被 映射到預(yù)定的紋理映射目標(biāo)時(shí)，將與圖像對(duì)應(yīng)表中示出的與該圖像對(duì)應(yīng)的疊加圖像疊加到 與該圖像相對(duì)應(yīng)的位置上。位置發(fā)送單元180B如上述那樣將從圖像生成單元140B輸出的疊加控制信號(hào)發(fā)送給合成切換控制部190。另外，該位置發(fā)送單元180B如上述那樣將由圖像生成單元140B算 出的位置信息發(fā)送給合成切換控制部190。與這些分開，還可以在合成切換控制部195中設(shè) 置用于與Sl S4的每一個(gè)相對(duì)應(yīng)地操作輸入開啟和關(guān)閉的指示的按鈕等操作輸入單元， 并使得可手動(dòng)控制疊加的開啟和關(guān)閉。另外，也可以根據(jù)裝置的應(yīng)用來設(shè)定是優(yōu)先這些手 動(dòng)控制還是優(yōu)先根據(jù)有無紋理映射(上述的控制信號(hào))而進(jìn)行的控制。該圖22的圖像處理裝置100B的其他部分與圖1所示的圖像處理裝置100同樣地 構(gòu)成。[圖像處理裝置的動(dòng)作例]對(duì)圖22所示的圖像處理裝置100B的動(dòng)作例進(jìn)行說明。這里，對(duì)處于CG輸出模式、 并且對(duì)CG圖像的前景圖像的疊加被設(shè)定為開啟的情況進(jìn)行說明。在CG制作單元110中，通過CG制作軟件而生成用于生成預(yù)定的CG圖像的CG描 述數(shù)據(jù)。如此在CG制作單元110中生成的CG描述數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)130被發(fā)送給圖像生成單 元140B和表面指定單元120B。在表面指定單元120B中設(shè)定表示指定紋理映射目標(biāo)的屬性的值(名稱)和映射 輸入的對(duì)應(yīng)關(guān)系的圖像分配表(參考圖17的(a)、(b))。該圖像分配表經(jīng)由網(wǎng)絡(luò)130被設(shè) 定在圖像生成單元140B中。另外，在表面指定單元120B中，制作紋理映射圖像和疊加圖 像的對(duì)應(yīng)關(guān)系，并將表示該對(duì)應(yīng)關(guān)系的圖像對(duì)應(yīng)表經(jīng)由網(wǎng)絡(luò)130設(shè)定在圖像生成單元140B 中。圖像生成單元140B基于由CG制作單元110制作的CG描述數(shù)據(jù)來生成三維空間 圖像、即CG圖像。在該圖像生成單元140B中，如上所述通過表面指定單元120B來設(shè)定圖 像分配表。圖像映射單元150B在圖像生成單元140B的控制下進(jìn)行紋理映射。S卩，圖像映 射單元150B在被賦予了圖像分配表中存在的各屬性的值(名稱)的紋理映射目標(biāo)的表面 上紋理映射基于與該屬性的值(名稱)成對(duì)的映射輸入的圖像?；趫D像數(shù)據(jù)Tl T4的圖像被紋理映射在紋理映射目標(biāo)的表面上的CG圖像的 圖像數(shù)據(jù)Vout被輸出到從圖像生成單元140B引出的輸出端子140a上。該圖像數(shù)據(jù)Vout 被輸入到輸入線“9”上。圖像合成切換部170B的輸入選擇部171B的預(yù)備輸入總線174通 過交叉點(diǎn)開關(guān)組175與輸入線“9”連接。因此，上述CG圖像的圖像數(shù)據(jù)Vout被提取到該 預(yù)備輸入總線174上，從而該圖像數(shù)據(jù)Vout作為背景數(shù)據(jù)被發(fā)送給混合器177B?；旌掀?77B基于來自各鍵處理器176a 176d的鍵填充信號(hào)、鍵源信號(hào)，通過鍵 控將基于疊加圖像數(shù)據(jù)Si、S2、S3、S4的疊加圖像疊加到CG圖像上。在該混合器177B中 得到的圖像數(shù)據(jù)作為最終輸出通過輸出線178被輸出到外部。在此情況下，從圖像生成單元140B基于圖像對(duì)應(yīng)表而向合成切換控制部190發(fā)送 疊加控制信號(hào)。因此，當(dāng)在CG圖像上紋理映射了基于圖像對(duì)應(yīng)表中存在的紋理映射圖像數(shù) 據(jù)的圖像時(shí)，基于與該圖像數(shù)據(jù)成對(duì)的疊加圖像數(shù)據(jù)的圖像被疊加。另外，該圖像生成單元140B計(jì)算在圖像映射單元150B中被紋理映射了基于各圖 像數(shù)據(jù)Tl T4的圖像的目標(biāo)(對(duì)象或者對(duì)象的一部分)的位置信息。該位置信息從圖像 生成單元140B通過位置發(fā)送單元180被發(fā)送給合成切換控制部190。并且，合成切換控制 部190基于該紋理映射目標(biāo)的位置信息來控制鍵處理器176a 176d，以調(diào)整各疊加圖像的 重疊位置。因此，當(dāng)紋理映射圖像被映射在預(yù)定的紋理映射目標(biāo)上時(shí)，圖像對(duì)應(yīng)表所示的與
30該圖像對(duì)應(yīng)的疊加圖像被疊加到與該圖像相對(duì)應(yīng)的位置上。在圖22所示的圖像處理裝置100B中，將紋理映射圖像紋理映射到紋理映射目標(biāo) 的表面上。另外，圖像合成切換部170B基于紋理映射目標(biāo)的位置信息，將疊加圖像疊加到 紋理映射了紋理映射圖像的CG圖像的與該紋理映射目標(biāo)相對(duì)應(yīng)的位置上。因此，該圖像處 理裝置100B能夠與上述圖1所示的圖像處理裝置100和圖13所示的圖像處理裝置100A 同樣地，將與被紋理映射的圖像相對(duì)應(yīng)的文字串等容易觀看地插入到與該圖像對(duì)應(yīng)的位置 上。另外，在圖22所示的圖像處理裝置100B中，通過表面指定單元120B將表示紋理 映射圖像和疊加圖像的對(duì)應(yīng)關(guān)系的圖像對(duì)應(yīng)表設(shè)定在圖像生成單元140B中。并且，混合器 177B基于該對(duì)應(yīng)關(guān)系，決定被疊加到與紋理映射圖像相對(duì)應(yīng)的位置處的圖像。因此，當(dāng)存在 多個(gè)系列的紋理映射圖像或疊加圖像時(shí)，也能夠?qū)⑴c被紋理映射的圖像相對(duì)應(yīng)的疊加圖像 容易觀看地插入到與該紋理應(yīng)映射圖像對(duì)應(yīng)的位置上。另外，在圖22所示的圖像處理裝置100B中，除此之外，具有與圖1所示的圖像處 理裝置100和圖13所示的圖像處理裝置100A相同的構(gòu)成，因此能夠獲得相同的效果。通過鍵處理器176a 176d以及混合器177B實(shí)現(xiàn)的疊加功能不限于隨著紋理映 射而進(jìn)行的動(dòng)作，在圖像合成切換部170B完全不使用VoutjP CG圖像的情況下，也能夠用 于通過手動(dòng)在背景圖像上重疊字幕等的用途上。<4.第四實(shí)施方式〉[圖像處理裝置的構(gòu)成]對(duì)本發(fā)明的第四實(shí)施方式進(jìn)行說明。圖23示出了作為第四實(shí)施方式的圖像處理 裝置100C的構(gòu)成例。在該圖23中，對(duì)于與圖1對(duì)應(yīng)的部分標(biāo)注相同標(biāo)號(hào)，并適當(dāng)?shù)厥÷云?說明。該圖像處理裝置100C具有CG制作單元110、表面指定單元120、網(wǎng)絡(luò)130、圖像生 成單元140C以及圖像映射單元150。另外，該圖形處理裝置100C包括輔助輸出部160、圖 像選擇操作單元330、開啟操作單元310、文字生成操作單元320。CG制作單元110、表面指 定單元120、圖像生成單元140C、開啟操作單元310以及文字生成操作單元320分別與網(wǎng)絡(luò) 130連接。輔助輸出部160將從外部輸入多個(gè)圖像數(shù)據(jù)的9條輸入線選擇性地連接到輔助輸 出總線161上。交叉點(diǎn)開關(guān)組162在9條輸入線和輔助輸出選擇總線161交叉的各個(gè)交叉 點(diǎn)處執(zhí)行各自的連接。被提取到該輔助輸出選擇總線161上的圖像數(shù)據(jù)作為紋理映射圖像 數(shù)據(jù)Tl被發(fā)送給圖像映射單元150。該輔助輸出部160構(gòu)成了紋理映射圖像數(shù)據(jù)選擇單兀。圖像選擇操作單元330接受發(fā)給上述輔助輸出部160的指示的操作輸入。該圖像 選擇操作單元330具有控制面板(圖中沒有示出)，該控制面板具有對(duì)輔助輸出部160的各 交叉點(diǎn)開關(guān)組162的開關(guān)的接通/斷開進(jìn)行操作的按鈕行。表面指定單元120指定要紋理映射輸入圖像的紋理映射目標(biāo)。并且，表面指定單 元120將該指定信息經(jīng)由網(wǎng)絡(luò)130發(fā)送給圖像生成單元140C。表面指定單元120將CG描 述數(shù)據(jù)中的被賦予給對(duì)象或者對(duì)象的一部分的屬性的值顯示為選擇項(xiàng)，并通過使操作者從 中進(jìn)行選擇，來選擇作為紋理映射目標(biāo)的對(duì)象或者對(duì)象的一部分。表面指定單元120將CG描述數(shù)據(jù)中的被賦予給紋理映射目標(biāo)的屬性的值作為紋理映射目標(biāo)的指定信息發(fā)送給圖 像生成單元140C。圖像生成單元140C基于由CG制作單元110制作的CG描述數(shù)據(jù)來生成三維空間 圖像、即CG圖像。該圖像生成單元140C還將用于執(zhí)行動(dòng)畫的關(guān)鍵幀中的各種值保存在存 儲(chǔ)器上。例如，當(dāng)繪制某個(gè)節(jié)點(diǎn)的幾何學(xué)信息中的多邊形集合時(shí)，參考該幾何學(xué)信息和對(duì)應(yīng) 起來的材質(zhì)定義，并按照其色彩等的指定來繪制該多邊形集合。在動(dòng)畫的情況下，使當(dāng)前時(shí) 刻逐個(gè)幀地前進(jìn)，并通過對(duì)當(dāng)前時(shí)刻前后的關(guān)鍵幀中的各值進(jìn)行內(nèi)插來確定各值，由此進(jìn) 行繪制。如上所述，從表面指定單元120向該圖像生成單元140C發(fā)送作為要紋理映射輸入 圖像的目標(biāo)的CG的對(duì)象或者對(duì)象的一部分(面或者多邊形網(wǎng)格的分割單元等)的指定信 息。圖像生成單元140C控制圖像映射單元150，以便將輸入圖像紋理映射到該指定信息所 示的預(yù)定的多邊形(多邊形集合)的表面上。圖像映射單元150將輸入圖像紋理映射到圖像生成單元140C所繪制的CG中由表 面指定單元120指定的紋理映射目標(biāo)的表面上。該圖像映射單元150與上述的圖像生成單 元140C被安裝成一體。該圖像映射單元150可通過CPU上的基于軟件的控制、以及GPU等 的基于硬件的動(dòng)作來實(shí)現(xiàn)?？刂栖浖付ㄟM(jìn)行紋理映射的多邊形集合并將其指示給硬件。文字生成操作單元320對(duì)圖像生成單元140C進(jìn)行有關(guān)文字圖像的生成內(nèi)容的指 示操作。該生成內(nèi)容包含文字串(文字代碼的排列)、要使用的字體、大小及其他屬性(粗 體、下劃線等)信息。開啟操作單元310進(jìn)行有關(guān)文字圖像的疊加(重疊)的開啟和關(guān)閉 的指示操作。當(dāng)文字圖像的疊加被開啟時(shí)，圖像生成單元140C通過文字圖像繪制功能而在 CG圖像上繪制由文字生成操作單元320指定的內(nèi)容的文字圖像。圖像生成單元140C計(jì)算在圖像映射單元150中紋理映射了基于圖像數(shù)據(jù)Tl的圖 像的目標(biāo)(對(duì)象或者對(duì)象的一部分)的位置信息(參考圖9 圖11)。這與上述圖1所示 的圖像處理裝置100的圖像生成部140相同。圖像生成單元140C在如上述那樣在CG圖像 上繪制由文字生成操作單元320指定的內(nèi)容的文字圖像時(shí)，基于算出的位置信息，在與紋 理映射目標(biāo)對(duì)應(yīng)的位置上繪制文字圖像。該圖23所示的圖像處理裝置100C的其他部分與圖1所示的圖像處理裝置100同 樣地構(gòu)成。[圖像處理裝置的動(dòng)作例]對(duì)圖23所示的圖像處理裝置100C的動(dòng)作例進(jìn)行說明。在CG制作單元110中，通 過CG制作軟件而生成用于生成預(yù)定的CG圖像的CG描述數(shù)據(jù)。如此在CG制作單元110中 生成的CG描述數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)130被發(fā)送給圖像生成單元140C和表面指定單元120。在表面指定單元(GUI) 120中，將CG描述數(shù)據(jù)中的對(duì)象或被賦予給對(duì)象的屬性的 值(名稱)作為選擇項(xiàng)，并通過操作者的操作來指定要紋理映射輸入圖像的紋理映射目標(biāo)。 該指定信息(屬性的值)從表面指定單元120發(fā)送給圖像生成單元140C。圖像生成單元140C基于由CG制作單元110制作的CG描述數(shù)據(jù)來生成三維空間圖 像、即CG圖像。另外，如上所述，從表面指定單元120向該圖像生成單元140C發(fā)送作為紋 理映射目標(biāo)的對(duì)象或者對(duì)象的一部分的指定信息。圖像映射單元150在圖像生成單元140C 的控制下，將基于由輔助輸出部160得到的圖像數(shù)據(jù)Tl的圖像紋理映射到紋理映射目標(biāo)的表面上。當(dāng)通過開啟操作單元310開啟了文字圖像的疊加時(shí)，圖像生成單元140C還繪制由 文字生成操作單元320指示的內(nèi)容的文字圖像。這里，圖像生成單元140C計(jì)算在圖像映射 單元150中紋理映射了基于圖像數(shù)據(jù)Tl的圖像的目標(biāo)(對(duì)象或者對(duì)象的一部分)的位置 信息。當(dāng)如上述繪制文字圖像時(shí)，圖像生成單元140C基于該位置信息，將文字圖像繪制到 與紋理映射目標(biāo)對(duì)應(yīng)的位置上。并且，在紋理映射目標(biāo)的表面上紋理映射了基于圖像數(shù)據(jù)T 1的圖像、并根據(jù)需 要還繪制了文字圖像的CG圖像的圖像數(shù)據(jù)Vout被輸出到從圖像生成單元140C引出的輸 出端子140a輸出。在圖23所示的圖像處理裝置100C中，將紋理映射圖像紋理映射到紋理映射目標(biāo) 的表面上。并且，基于紋理映射目標(biāo)的位置信息，將文字圖像繪制(疊加)到紋理映射了紋 理映射圖像的CG圖像的與該紋理映射目標(biāo)相對(duì)應(yīng)的位置上。因此，該圖像處理裝置100C 能夠?qū)⑴c被紋理映射的圖像對(duì)應(yīng)的文字圖像容易觀看地插入到與該圖像對(duì)應(yīng)的位置上。另外，在圖23所示的圖像處理裝置100C中，基于紋理映射目標(biāo)的位置信息，通過 圖像生成單元140C將文字圖像繪制(疊加)到與紋理映射目標(biāo)相對(duì)應(yīng)的位置上。因此，能 夠在不需要其他設(shè)備的情況下疊加可通過圖像生成單元140C的功能生成的文字圖像等。另外，在圖23所示的圖像處理裝置100C中，通過輔助輸出部160，選擇性地提取被 輸入到9條輸入線的圖像數(shù)據(jù)中的某一個(gè)而得的圖像數(shù)據(jù)作為紋理映射圖像數(shù)據(jù)Tl被提 供給圖像映射單元150。因此，操作者通過利用圖像選擇操作單元330進(jìn)行的操作來改變由 輔助輸出部160提取的圖像數(shù)據(jù)，由此能夠在任意的定時(shí)將紋理映射圖像改變?yōu)槠谕膱D 像。<5.變形例 >下面，說明將經(jīng)數(shù)字特效裝置縮小變形后的圖像(運(yùn)動(dòng)圖像)合成(嵌入)到CG 圖像上的技術(shù)。作為在CG圖像中嵌入縮小圖像的方法，有基于上述紋理映射的方法。該方 法雖具有能夠制作復(fù)雜圖像的優(yōu)點(diǎn)，但相應(yīng)地也具有運(yùn)動(dòng)圖像的延遲變大等的缺點(diǎn)。當(dāng)切換或合成多個(gè)圖像來使用時(shí)，同時(shí)播放的聲音優(yōu)選以固定的延遲連續(xù)播出。 如果聲音的延遲在中途發(fā)生變化，就會(huì)發(fā)生音樂等中的所謂的“跳躍”，并變成刺耳的噪音。 因此，聲音的延遲最好固定不變。在紋理映射等中延遲幀數(shù)變大的圖像與不進(jìn)行復(fù)雜處理的時(shí)候相比延遲數(shù)增加， 與聲音不同步，會(huì)話中的嘴的動(dòng)作等和聲音變得不一致。因此，對(duì)于通過攝像機(jī)或類似設(shè)備 獲取的圖像，優(yōu)選在盡可能減少延遲的情況下完成包括輸出在內(nèi)的處理。因此，不使用紋理映射而是通過以往的數(shù)字特效裝置進(jìn)行縮小變形后與CG圖像 合成的方法的延遲少，更優(yōu)選。下面，對(duì)組合了通過數(shù)字特效裝置的縮小等變形和CG圖像 生成單元的控制進(jìn)行說明。數(shù)字特效裝置是如下的裝置其與同步信號(hào)同步地，將圖像的各像素寫入存儲(chǔ)器 中或從存儲(chǔ)器中讀出并輸出，并且通過與像素寫入的時(shí)候相比改變像素的讀出順序(通過 地址變換)來對(duì)圖像實(shí)施放大縮小及其他圖像變形。該數(shù)字特效裝置被簡(jiǎn)稱為DME/DVP等。 另外，該數(shù)字特效裝置除了擴(kuò)大縮小及其他圖像變形之外，大多還具有其它特效(色調(diào)變 換)等的功能。
圖24的(a) (e)是說明這種嵌入合成圖的圖。圖24的(a)示出了 CG圖像，圖 24的(b)示出了在其中嵌入圖像(例如通過攝影室的攝影機(jī)拍攝的圖像)的框。根據(jù)圖 24的(b)的畫面中的四邊形的幾何學(xué)信息(四個(gè)頂點(diǎn)的坐標(biāo)值)，通過數(shù)字特效裝置將圖 24的(c)所示的圖像如圖24的(d)所示那樣縮小變形，然后將其與CG圖像合成，由此可得 到24的(e)所示的輸出圖像。圖25的(a) (f)對(duì)CG圖像的變化(運(yùn)動(dòng))和嵌入合成進(jìn)行說明的圖。假定通 過CG的動(dòng)畫動(dòng)作或手動(dòng)操作，CG圖像從圖25的(a)變成圖25的(b)的狀態(tài)。在此情況 下，如果與其相對(duì)應(yīng)地嵌入的通過數(shù)字特效裝置得到的圖像從圖25的(c)變成圖25的(d) 所示，則能夠得到圖25的(e)、圖25的(f)那樣的合成圖像，可得到正好紋理映射到CG圖 像中的面上時(shí)相同的結(jié)果。用于得到該圖25所示的結(jié)果的系統(tǒng)中的控制通信可考慮兩種方式。其中一個(gè)方 式如下將CG圖像生成單元側(cè)設(shè)為主體，并且向數(shù)字特效裝置發(fā)送基于動(dòng)畫隨著時(shí)間軸 (時(shí)間線)的動(dòng)作而變化或者被手動(dòng)操作的參數(shù)(例如上述四個(gè)頂點(diǎn)的坐標(biāo)值)(參考下述 1、2)。另一個(gè)方式如下將數(shù)字特效裝置側(cè)(效果轉(zhuǎn)換器側(cè))設(shè)為主體，操作嵌入圖像并將 其參數(shù)發(fā)送給CG圖像生成單元，并與其相配地移動(dòng)CG對(duì)象(參考下述3)。1.與CG動(dòng)畫的聯(lián)動(dòng)在上述圖1所示的圖像處理裝置100的構(gòu)成中，在鍵處理器(圖像加工部)176中 內(nèi)置有用于移動(dòng)和縮小圖像等的數(shù)字特效功能。作為使用在該控制中的信息，從圖像生成 單元(圖像映射單元)140不是發(fā)送單純的位置，而是發(fā)送要嵌入圖像的畫面上的幾何學(xué)信 息(在上述的圖24的(b)中為四個(gè)頂點(diǎn)的坐標(biāo)值)。鍵處理器(圖像加工部)176接收該 幾何學(xué)信息進(jìn)行動(dòng)作。作為嵌入部分的幾何學(xué)信息(二維圖形信息)除此之外還能夠使用圓的中心和半 徑、橢圓的長徑(/長半徑)和短徑(/短半徑)、或其他在x、y坐標(biāo)上定義封閉圖形的函數(shù)、 頂點(diǎn)信息的順序等。當(dāng)CG圖像通過動(dòng)畫動(dòng)作而在時(shí)間軸上的前進(jìn)中發(fā)生變化時(shí)，隨之，從圖像生成單 元(圖像映射單元)140向鍵處理器(圖像加工部)176發(fā)送的幾何學(xué)信息也發(fā)生變化。每 當(dāng)變化時(shí)，根據(jù)情況從圖像生成單元140經(jīng)由位置發(fā)送單元180向鍵處理器176逐場(chǎng)或逐 幀地發(fā)送幾何學(xué)信息。幾何學(xué)信息(參數(shù))的發(fā)送和鍵處理器176的數(shù)字特效的定時(shí)、即圖像生成單元 140和鍵處理器176中的處理定時(shí)被如下設(shè)定。即設(shè)定該處理定時(shí)，使得鍵處理器176正好 在來自圖像生成單元140的CG圖像的相應(yīng)的幀進(jìn)入效果轉(zhuǎn)換器側(cè)(圖像合成切換部170) 的定時(shí)(幀)，進(jìn)行對(duì)應(yīng)的動(dòng)作。2.自CG側(cè)的手動(dòng)操作圖26所示的圖像處理裝置100D具有與上述圖1所示的圖像處理裝置100相近的 構(gòu)成，但該構(gòu)成中，關(guān)于CG圖像生成的手動(dòng)操作單元被設(shè)置在圖像生成單元140側(cè)并接受 操作輸入。在該圖26中，作為手動(dòng)操作單元示出了操作桿350。在該圖26中，對(duì)于與圖1 對(duì)應(yīng)的部分標(biāo)注了相同符號(hào)。在上述例子中，幾何學(xué)信息(參數(shù))隨著動(dòng)畫的前進(jìn)而發(fā)生變化，但在該圖像處理 裝置100D中通過手動(dòng)操作(操作桿操作、或者光標(biāo)操作、推桿操作、鼠標(biāo)操作等)而被改
34變。例如，操作者能夠在x、y、z方向(ζ是畫面向里的方向)上自由移動(dòng)圖25的(a) (f) 所示的虛擬立體。圖像生成單元140經(jīng)由嵌入幾何學(xué)信息發(fā)送單元180D向鍵處理器(圖 像加工部)176逐場(chǎng)或逐幀地發(fā)送發(fā)生了變化的幾何學(xué)信息。其他的動(dòng)作與上述例子相同。3.自效果轉(zhuǎn)換器側(cè)的手動(dòng)操作在圖27中，圖像處理裝置100E具有與上述圖1所示的圖像處理裝置100相近的 構(gòu)成，但該構(gòu)成中，關(guān)于數(shù)字特效的手動(dòng)操作單元被設(shè)置在效果轉(zhuǎn)換器側(cè)(圖像合成切換 部170)并接受操作輸入。在該圖像處理裝置100E中，數(shù)字特效裝置360不是設(shè)置在鍵處理器(圖像加工 部)176中，而是被設(shè)置在其外部。并且，通過合成切換操作輸入部195被操作，使得通過連 接切換部370控制鍵處理器176的輸出是經(jīng)過還是不經(jīng)過數(shù)字特效裝置360。在上述圖26所示的圖像處理裝置100D等中，僅通信嵌入圖像所需的信息。但是， 在該圖像處理裝置100E的情況下，為了使通過數(shù)字特效裝置360操作的圖像與CG描述數(shù) 據(jù)中的哪個(gè)CG對(duì)象的面相對(duì)應(yīng)，需要添加對(duì)應(yīng)關(guān)系。設(shè)定對(duì)應(yīng)的CG對(duì)象的方法例如與由圖1的圖像處理裝置100的表面指定單元120 指定的紋理映射目標(biāo)的設(shè)定方法相同。即，作為一個(gè)例子，通過多邊形實(shí)體(實(shí)例)的標(biāo)識(shí) 符來指定要嵌入圖像的CG對(duì)象的表面(多邊形集合)。該CG對(duì)象成為控制目標(biāo)。作為另一個(gè)例子，指定材質(zhì)(表面屬性)，將應(yīng)用了該材質(zhì)的多邊形的面設(shè)為嵌入 目標(biāo)，并將具有該面的CG對(duì)象設(shè)為控制目標(biāo)。作為又一個(gè)例子，在制作CG描述數(shù)據(jù)時(shí)將被 指定(應(yīng)用材質(zhì))要紋理映射靜止圖像文件的多邊形的面設(shè)為目標(biāo)，并將具有該面的CG對(duì) 象設(shè)為控制目標(biāo)。通過這樣的方法，可決定作為控制目標(biāo)的CG對(duì)象。接著，對(duì)控制的流程圖進(jìn)行說明。來自操縱桿3509的控制從合成切換操作輸入部 (計(jì)算機(jī)內(nèi)置)195經(jīng)由通信路徑被發(fā)送給數(shù)字特效裝置360，從而能夠操作要嵌入的圖像 (子畫面)。同時(shí)從合成切換操作輸入部195向圖像生成單元140發(fā)送正控制數(shù)字特效裝 置360的信息(幾何學(xué)信息)，圖像生成單元140基于此而在畫面(CG的虛擬三維空間)中 移動(dòng)對(duì)應(yīng)的CG對(duì)象。數(shù)字特效裝置360的控制在原理上與CG對(duì)象的虛擬三維空間中的控制相同。艮口， 將要嵌入的圖像放置在三維空間中，并由操作者通過操作桿350或光標(biāo)等對(duì)在三維空間中 的移動(dòng)、旋轉(zhuǎn)等三維變換(3D變換)進(jìn)行操作。因此，在該圖像處理裝置100E中，與通過操 縱桿350等控制數(shù)字特效裝置360的三維變換并行地，根據(jù)相同的控制信息而在虛擬三維 空間中控制CG對(duì)象。使得數(shù)字特效裝置360正好在來自圖像生成單元140的CG圖像的相應(yīng)幀進(jìn)入到 效果轉(zhuǎn)換側(cè)(圖像合成切換部170)的定時(shí)(幀)進(jìn)行對(duì)應(yīng)的動(dòng)作。為此，對(duì)數(shù)字特效裝置 360的控制、控制信息的通信、以及圖像生成單元140的CG對(duì)象控制的處理定時(shí)進(jìn)行設(shè)定。 在此情況下，對(duì)控制需要延遲的部分施加延遲。例如，在從受到控制后直到反應(yīng)到輸出圖像 為止的延遲在圖像生成單元140中為3幀、在數(shù)字特效裝置360中為2幀的情況下，先對(duì)圖 像生成單元140施加控制，而對(duì)于數(shù)字特效裝置360延遲1幀后施加控制。在混合器177中由于兩個(gè)圖像被合成，因此作為結(jié)果可得到從輸入線選擇出的圖 像以延遲幀數(shù)較少的狀態(tài)被嵌入到期望的CG對(duì)象的面上的輸出圖像。對(duì)于本發(fā)明以上的各個(gè)例子，也能夠應(yīng)用以下的技術(shù)。
在通過手動(dòng)操作進(jìn)行疊加的開啟和關(guān)閉時(shí)，不是簡(jiǎn)單地瞬時(shí)開啟/關(guān)閉停止(切 斷)，而是能夠使其逐漸地淡入和淡出，或者使用擦除信號(hào)(wi pe signal)從畫面的一側(cè)逐 漸地進(jìn)行顯示或者抹去等。各控制定時(shí)考慮在被反映到被合成的圖像為止的延遲，向延遲少的一側(cè)施加適當(dāng) 的控制延遲，使得在合成時(shí)應(yīng)同步的控制在同一幀起作用。另外，圖像由幀的序列構(gòu)成，但被輸入到圖像映射單元150等中的圖像例如需要3 幀等的時(shí)間才被反映到圖像生成單元140等的輸出中。從而，在作為輸入源的對(duì)Tl等圖像 進(jìn)行切換的交叉點(diǎn)開關(guān)組162等進(jìn)行動(dòng)作起直到圖像被合成為止會(huì)發(fā)生延遲，因此根據(jù)需 要進(jìn)行考慮了這種延遲的控制。例如，當(dāng)要向畫面施加圖像Tl等的切換和另一個(gè)疊加開啟 等的控制時(shí)，先指示交叉點(diǎn)開關(guān)組162等的控制，然后例如在施加三幀的延遲后進(jìn)行另一 個(gè)疊加開啟等控制。另外，本發(fā)明不僅適用于通過動(dòng)畫的動(dòng)作，而且也同樣能夠適用于通過操縱桿等 手動(dòng)操作的場(chǎng)合。[產(chǎn)業(yè)上的可用性]本發(fā)明是在將制作的CG利用于直播等的情況下能夠?qū)⑴c被紋理映射的圖像相對(duì) 應(yīng)的文字串容易觀看地插入到與該圖像對(duì)應(yīng)的位置上的發(fā)明，其能夠應(yīng)用于播放系統(tǒng)中的 特效裝置等。
權(quán)利要求
一種圖像處理裝置，包括圖像生成單元，其基于計(jì)算機(jī)圖形描述數(shù)據(jù)來生成計(jì)算機(jī)圖形圖像；圖像映射單元，其將所述圖像生成單元繪制的計(jì)算機(jī)圖形圖像的對(duì)象或者該對(duì)象的一部分作為紋理映射目標(biāo)，并將紋理映射圖像紋理映射到該紋理映射目標(biāo)的表面上；以及疊加單元，其基于所述計(jì)算機(jī)圖形圖像中的所述紋理映射目標(biāo)的位置信息，將疊加圖像疊加到在所述圖像映射單元中被紋理映射了的計(jì)算機(jī)圖形圖像的與所述紋理映射目標(biāo)相對(duì)應(yīng)的位置上。
2.如權(quán)利要求1所述的圖像處理裝置，其中，還包括信息設(shè)定單元，其設(shè)定所述紋理映射圖像中的一個(gè)或多個(gè)系列與所述疊加圖像 的一個(gè)或多個(gè)系列之間的對(duì)應(yīng)關(guān)系，所述疊加單元基于由所述信息設(shè)定單元設(shè)定的所述對(duì)應(yīng)關(guān)系，將與被紋理映射到所述 紋理映射目標(biāo)的表面上的所述紋理映射圖像相對(duì)應(yīng)的所述疊加圖像疊加到與該紋理映射 目標(biāo)對(duì)應(yīng)的位置上。
3.如權(quán)利要求2所述的圖像處理裝置，其中，還包括表面指定單元，其通過所述計(jì)算機(jī)圖形描述數(shù)據(jù)中的預(yù)定屬性的值被選擇來指 定上述紋理映射目標(biāo)，所述表面指定單元針對(duì)所述紋理映射圖像的每個(gè)系列指定所述紋理映射目標(biāo)。
4.如權(quán)利要求1所述的圖像處理裝置，其中，還包括疊加圖像生成單元，其生成所述疊加圖像作為計(jì)算機(jī)圖形對(duì)象。
5.如權(quán)利要求1所述的圖像處理裝置，其中，還包括紋理映射圖像數(shù)據(jù)選擇單元，其從多個(gè)輸入圖像數(shù)據(jù)中選擇一個(gè)圖像數(shù)據(jù)， 所述圖像映射單元將基于由所述紋理映射圖像數(shù)據(jù)選擇單元選擇的圖像數(shù)據(jù)的紋理 映射圖像紋理映射到所述紋理映射目標(biāo)的表面上。
6.如權(quán)利要求1所述的圖像處理裝置，其中，還包括疊加圖像數(shù)據(jù)選擇單元，其從多個(gè)輸入圖像數(shù)據(jù)中選擇一個(gè)圖像數(shù)據(jù)， 所述疊加單元疊加基于由所述疊加圖像數(shù)據(jù)選擇單元選擇的圖像數(shù)據(jù)的疊加圖像。
7.如權(quán)利要求1所述的圖像處理裝置，其中，還包括模式切換單元，其切換使用經(jīng)所述紋理映射的計(jì)算機(jī)圖形圖像的第一模式、和 使用與該計(jì)算機(jī)圖形圖像不同的其他圖像的第二模式，所述疊加單元在被切換到所述第一模式時(shí)，基于所述計(jì)算機(jī)圖形圖像中的所述紋理映 射目標(biāo)的位置信息，將所述疊加圖像疊加到在所述圖像映射單元中被紋理映射了的計(jì)算機(jī) 圖形圖像的與所述紋理映射目標(biāo)相對(duì)應(yīng)的圖像位置上，所述疊加單元在被切換到所述第二模式時(shí)，將所述疊加圖像疊加到所述其他圖像的預(yù) 定位置上。
8.一種圖像處理方法，包括以下步驟圖像生成步驟，用于基于計(jì)算機(jī)圖形描述數(shù)據(jù)來生成計(jì)算機(jī)圖形圖像； 圖像映射步驟，用于將在所述圖像生成步驟中繪制的計(jì)算機(jī)圖形圖像的對(duì)象或該對(duì)象 的一部分作為紋理映射目標(biāo)，并將紋理映射圖像紋理映射到該紋理映射目標(biāo)的表面上；以疊加步驟，用于基于所述計(jì)算機(jī)圖形圖像中的所述紋理映射目標(biāo)的位置信息，將疊加 圖像疊加到在所述圖像映射步驟中被紋理映射了的計(jì)算機(jī)圖形圖像的與所述紋理映射目 標(biāo)相對(duì)應(yīng)的位置上。
全文摘要
本發(fā)明提供圖像處理裝置以及圖像處理方法。圖像映射單元(150)將基于由輔助輸出部(160)取出的圖像數(shù)據(jù)(T1)的圖像紋理映射到CG圖像的紋理映射目標(biāo)的表面。CG圖像數(shù)據(jù)(Vout)被取出到預(yù)備輸入總線(174)上并被提供給混合器(177)。圖像生成單元(140)求出紋理映射目標(biāo)的位置信息，將該位置信息通過位置發(fā)送單元(180)發(fā)送給鍵處理器(圖像加工部)(176)。鍵處理器(176)基于位置信息，進(jìn)行要疊加(重疊)到CG圖像上的文字串等前景圖像的移動(dòng)調(diào)整?；旌掀?177)使用CG圖像的圖像數(shù)據(jù)(Vout)、鍵填充信號(hào)和鍵源信號(hào)，將文字串等前景圖像重疊到CG圖像中與紋理映射目標(biāo)對(duì)應(yīng)的位置。
文檔編號(hào)G06T15/00GK101958002SQ20101022430
公開日2011年1月26日 申請(qǐng)日期2010年7月7日 優(yōu)先權(quán)日2009年7月14日
發(fā)明者中村泉三郎, 尾崎典雅, 柿原利政, 鵜飼健生 申請(qǐng)人:索尼公司