專利名稱：立體圖像處理方法及立體圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及立體圖像處理技術(shù)，特別是以視差圖像為基礎(chǔ)生成立體圖像的方法及裝置。
背景技術(shù)：
近年，網(wǎng)絡(luò)基礎(chǔ)設(shè)施的不完備被視為問題，但與其說迎來轉(zhuǎn)向?qū)拵У臅r期，倒不如說有效應(yīng)用寬帶的內(nèi)容的種類或數(shù)量少開始引起人們的關(guān)注。無論在任何時代，圖像都是最重要的表現(xiàn)方法，以往的組合多涉及顯示品質(zhì)或數(shù)據(jù)壓縮率的改善，與之相比較，擴大表現(xiàn)的可能性自身的技術(shù)性組合有倒退的感覺。
在這其中，立體圖像顯示(以下簡稱為立體顯示)一直以來進行了各種研究，在利用劇場用途或特殊的顯示裝置、某種程度上有限的市場中被實用化。今后，以提供更加充滿臨場感的內(nèi)容為目的，加速這方面的研究開發(fā)，可以認(rèn)為個人用戶即使在家庭中也可容易地享受到立體顯示的時代來臨。
再者，雖然立體顯示今后有望得到普及，但因此還提出了在目前的顯示裝置中想象不到的顯示方式。例如，在專利文獻(xiàn)1中，公開了將二維圖像的所選擇的部分圖像立體化并進行顯示的技術(shù)。
專利文獻(xiàn)1特開平11-39507號公報的確，根據(jù)專利文獻(xiàn)1，可以將平面圖像的所希望部分立體化并進行顯示，但還沒有認(rèn)識到實現(xiàn)立體顯示時的整個處理的高速化，必須對此進行新的研究。

發(fā)明內(nèi)容
本發(fā)明就是鑒于該課題而進行的，其目的在于提供一種實現(xiàn)立體顯示所涉及的整個處理的高速化的立體圖像處理裝置及立體圖像處理方法。
本發(fā)明的某種方式涉及立體圖像處理裝置。該裝置是以來自不同的多個視點的二維圖像為基礎(chǔ)，將假想三維空間內(nèi)的對象物進行立體顯示的立體圖像處理裝置，其中具備生成包含由多個視點分別確定的視體(viewvolume)的共同視體的視體生成部。例如，也可以假設(shè)的視點為基礎(chǔ)生成該共同視體。根據(jù)該方式，由于可以從以假設(shè)的視點為基礎(chǔ)生成的共同視體取得多個視點各自的視體，故可生成在假設(shè)視點成為立體顯示基點的多個二維圖像。因此，可實現(xiàn)高效的立體圖像處理。
該裝置還具有將對象物配置在假想三維空間內(nèi)的對象物定義部；和將假設(shè)視點配置在假想三維空間內(nèi)的假設(shè)視點配置部；視體生成部也可以以由假設(shè)視點配置部配置的假設(shè)視點為基礎(chǔ)，來生成共同視體。
該裝置還可具有對共同視體進行坐標(biāo)變換，并取得多個視點各自的視體的坐標(biāo)變換部；和將多個視點各自的視體投影到投影面上，并在各多個視點生成二維圖像的二維圖像生成部。
坐標(biāo)變換部也可通過對共同視體進行變形變換，而取得多個視點各自的視體。坐標(biāo)變換部也可通過對共同視體進行旋轉(zhuǎn)變換，而取得多個視點各自的視體。
視體生成部也可以擴大假設(shè)視點的視野角，以生成共同視體。視體生成部也可以應(yīng)用前方投影面及后方投影面，生成共同視體。視體生成部也可以應(yīng)用近置最大視差量及遠(yuǎn)置最大視差量，生成共同視體。視體生成部也可以應(yīng)用近置最大視差量或遠(yuǎn)置最大視差量之一，生成共同視體。
該裝置還可具備將共同視體變換到標(biāo)準(zhǔn)化坐標(biāo)系的標(biāo)準(zhǔn)化變換部，該標(biāo)準(zhǔn)化變換部根據(jù)距所配置的假設(shè)視點的深度方向的距離，對所配置的對象物實施深度方向的壓縮處理。標(biāo)準(zhǔn)化變換部也可實施深度方向的距離越大、深度方向的壓縮處理率越高的壓縮處理。
標(biāo)準(zhǔn)化變換部也可從所配置的假設(shè)視點向深度方向的某地點實施逐漸減小深度方向的壓縮率的壓縮處理。
該裝置還可具備在生成立體圖像時，以與在立體圖像內(nèi)表現(xiàn)的對象物的寬度和深度之比為人眼正常感知的范圍的視差相比，視差不變大的方式，控制近置最大視差量或遠(yuǎn)置最大視差量的視差控制部。
該裝置還可具備對應(yīng)該以對應(yīng)于不同視差的多個二維圖像為基礎(chǔ)顯示的立體圖像進行頻率分析的圖像判定部；和根據(jù)通過頻率分析判明的高頻成分量，調(diào)整近置最大視差量或遠(yuǎn)置最大視差量的視差控制部。視差控制部在高頻成分量多的情況下，也可進行增大近置最大視差量或遠(yuǎn)置最大視差量的調(diào)整。
該裝置還可具有檢測以對應(yīng)不同視差的多個二維圖像為基礎(chǔ)顯示的立體圖像的動作的圖像判定部；和根據(jù)立體圖像的動作量，調(diào)整近置最大視差量或遠(yuǎn)置最大視差量的視差控制部。視差控制部在立體圖像的移動量多的情況下，也可進行增大近置最大視差量或遠(yuǎn)置最大視差量的調(diào)整。
本發(fā)明的另一方式涉及立體圖像處理方法。該方法具有在假想的三維空間內(nèi)配置對象物的步驟；在假想的三維空間內(nèi)配置假設(shè)視點的步驟；以配置在假想三維空間內(nèi)的假設(shè)視點為基礎(chǔ)，生成包括由生成具有視差的二維圖像的多個視點分別決定的視體的共同視體的步驟；對共同視體進行坐標(biāo)變換，并取得多個視點各自的視體的步驟；和將多個視點各自的視體投影到投影面，并在多個視點生成二維圖像的步驟。
而且，在方法、裝置、系統(tǒng)、記錄媒體、計算機程序等之間變換以上構(gòu)成要素的任意組合、本發(fā)明的表現(xiàn)，作為本發(fā)明的方式也是有效的。
根據(jù)本發(fā)明，可實現(xiàn)高效的立體圖像處理。


圖1是表示涉及本實施方式1的立體圖像處理裝置的構(gòu)成的圖。
圖2(a)、圖2(b)是分別表示由立體圖像處理裝置的立體感調(diào)整部顯示的左眼圖像和右眼圖像的圖。
圖3是表示由立體圖像處理裝置的立體感調(diào)整部顯示的、具有不同視差的多個對象物的圖。
圖4是表示由立體圖像處理裝置的立體感調(diào)整部顯示、視差變化的對象物的圖。
圖5是表示假想照相機的照相機視場角和二維圖像的水平方向像素數(shù)之間的關(guān)系的圖。
圖6是表示假想三維空間中的近置最大視差量及遠(yuǎn)置最大視差量的圖。
圖7是表示將水平方向的偏移量變換為假想三維空間中的單位并顯示的狀態(tài)的圖。
圖8是表示以第1水平偏移量及第2水平偏移量為基礎(chǔ)，生成共同視體的狀態(tài)的圖。
圖9是表示涉及實施方式1的標(biāo)準(zhǔn)化變換后的共同視體、右眼用視體及左眼用視體的關(guān)系的圖。
圖10是表示涉及實施方式1的變形變換處理后的右眼用視體的圖。
圖11是表示涉及實施方式1的視差圖像的生成處理流程的圖。
圖12是表示擴大涉及實施方式2的假想照相機的視野角、以生成共同視體的狀態(tài)的圖。
圖13是表示涉及實施方式2的標(biāo)準(zhǔn)化變換后的共同視體、右眼用視體及左眼用視體的關(guān)系的圖。
圖14是表示涉及實施方式2的變形變換處理后的右眼用視體的圖。
圖15是表示涉及實施方式2的視差圖像的生成處理流程的圖。
圖16是表示應(yīng)用涉及實施方式3的前方投影面及后方投影面而生成共同視體的狀態(tài)的圖。
圖17是表示涉及實施方式3的標(biāo)準(zhǔn)化變換后的共同視體、右眼用視體及左眼用視體的關(guān)系的圖。
圖18是表示涉及實施方式3的變形變換處理后的右眼用視體的圖。
圖19是表示涉及實施方式4的立體圖像處理裝置的構(gòu)成的圖。
圖20是表示涉及實施方式4的標(biāo)準(zhǔn)化變換后的共同視體、右眼用視體及左眼用視體的關(guān)系的圖。
圖21是表示涉及實施方式4的視差圖像的生成處理流程的圖。
圖22是示意性表示由標(biāo)準(zhǔn)化變換部進行的深度方向壓縮處理的圖。
圖23(a)是表示關(guān)于壓縮處理的Z′軸方向的值與Z軸方向的值之間的第1關(guān)系的圖，另一方面，圖23(b)是表示關(guān)于壓縮處理的Z′軸方向的值與Z軸方向的值之間的第2關(guān)系的圖。
圖24是表示涉及實施方式8的立體圖像處理裝置的構(gòu)成的圖。
圖25是表示在顯示畫面上、觀察者觀察立體圖像的狀態(tài)的圖。
圖26是表示在立體圖像處理裝置內(nèi)確定的照相機配置的圖。
圖27是觀察者觀察由圖26所示的照相機配置取得的視差圖像的狀態(tài)的圖。
圖28是表示由圖26的照相機配置得到適宜視差的圖像、在圖25所示的觀察者位置，觀察者觀察顯示畫面的狀態(tài)的圖。
圖29是表示以圖26所示的照相機配置，拍攝自顯示畫面的距離位于A的球的最近置點的狀態(tài)的圖。
圖30是表示得到兩個照相機和照相機的光軸公差距離及圖29所示的視差所需的照相機間隔關(guān)系的圖。
圖31是表示以圖26所示的照相機配置，拍攝自顯示畫面的距離位于T-A的球的最遠(yuǎn)置點的狀態(tài)的圖。
圖32是表示得到兩個照相機和照相機的光軸公差距離以及圖31所示的視差所需的照相機間隔E2的關(guān)系的圖。
圖33是表示將立體圖像的視差設(shè)定在適當(dāng)視差范圍內(nèi)所需的照相機參數(shù)的關(guān)系的圖。
圖34是表示將立體圖像的視差設(shè)定在適當(dāng)視差范圍內(nèi)所需的照相機參數(shù)的關(guān)系的圖。
圖35是表示涉及實施方式9的立體圖像處理裝置的構(gòu)成的圖。
圖36是表示優(yōu)先遠(yuǎn)置最大視差量，并生成視體的狀態(tài)的圖。
圖37是表示關(guān)于壓縮處理的Z′軸方向的值與Z軸方向的值之間的第3關(guān)系的圖。
具體實施例方式
以下所示的實施方式1～9所涉及的立體圖像處理裝置由不同的多個視點生成成為立體顯示基點的多個二維圖像、即視差圖像。通過將該圖像放映在立體顯示器等上，從而可實現(xiàn)具有對象物好像飛出來到眼前那樣的動人力量的三維立體圖像表現(xiàn)。以賽車游戲為例，選手操作浮出到眼前并立體顯示的對象物例如汽車，并在對象物空間內(nèi)行駛，可通過與其他選手或計算機操作的汽車進行競爭，而享受三維游戲。
當(dāng)在不同的多個視點、例如每兩個照相機(以下簡稱為“真實照相機”)生成二維圖像時，該裝置首先在假想三維空間內(nèi)配置一臺照相機(以下簡稱為“假想照相機”)。其次，以該假想照相機為基礎(chǔ)，生成包含由真實照相機分別決定的視體的一個視體、即共同視體。所謂視體正如所知，是由前方斷面和后方斷面裁剪的空間，該空間所包含的對象物最終被寫入二維圖像并被立體顯示。上述真實照相機用于生成二維圖像；假想照相機僅僅用于生成共同視體。
共同視體生成后，該裝置對于共同視體應(yīng)用后述的變換矩陣進行坐標(biāo)變換，取得每個真實照相機的視體。最后，將每個真實照相機取得的兩個視體投影在投影面上，生成二維圖像。這樣，通過由共同視體取得每個真實照相機的視體，從而可生成在假想照相機中成為視差圖像基點的兩個二維圖像。其結(jié)果，可省略將真實照相機實際配置于假想三維空間內(nèi)的處理，特別是在真實照相機配置數(shù)多的情況下效果顯著。以下，在實施方式1～3中示出應(yīng)用了變形變換的坐標(biāo)變換，在實施方式4～6中示出應(yīng)用了旋轉(zhuǎn)變換的坐標(biāo)變換。
(實施方式1)圖1表示涉及本實施方式的立體圖像處理裝置100的構(gòu)成。該立體圖像處理裝置100具備以來自對應(yīng)立體顯示的圖像的用戶的響應(yīng)為基礎(chǔ)，調(diào)整立體感的立體感調(diào)整部110；保存由立體感調(diào)整部110特定的適當(dāng)視差的視差信息保持部120；配置一個假想照相機，以假想照相機及適當(dāng)視差為基礎(chǔ)生成共同視體，通過將在該共同視體上實施變形處理而生成的視體投影到投影面上，從而生成多個二維圖像、即視差圖像的視差圖像生成部130；具有取得顯示裝置本身的硬件信息、還有立體顯示方式的功能的信息取得部104；和以在信息取得部104中取得的信息為基礎(chǔ)，將視差圖像生成部130所生成的視差圖像的形式進行變更的格式變換部102。用于將對象物和假想三維空間描繪在計算機上的三維數(shù)據(jù)被輸入到立體圖像處理裝置100。
以上構(gòu)成在硬件上可以由任意的計算機CPU、存儲器、其他的LSI來實現(xiàn)，在軟件上可以由具有GUI功能、視差圖像生成功能及其他功能的程序等來實現(xiàn)，但在此描述由這些聯(lián)合實現(xiàn)的功能塊。因此，這些功能塊可以只由硬件、只由軟件、或由這些組合以各種形式實現(xiàn)，這是本領(lǐng)域的專業(yè)人員可以理解的，對于以下的構(gòu)成其情況也相同。
立體感調(diào)整部110具備指示取得部112和視差特定部114。指示取得部112對于立體顯示的圖像，當(dāng)用戶指定適當(dāng)視差的范圍時，取得其。視差特定部114以該范圍為基礎(chǔ)，特定用戶應(yīng)用該顯示裝置時的適當(dāng)視差。適當(dāng)視差由不依賴于顯示裝置硬件的表現(xiàn)形式表示。通過實現(xiàn)適當(dāng)視差，從而可達(dá)到適合用戶生理的立體視覺。這樣來自用戶的適當(dāng)視差范圍的特定由未圖示的GUI(Graphical User Interface)進行，其詳細(xì)情況將在后面敘述。
視差圖像生成部130包括對象物定義部132、假想照相機配置部134、視體生成部136、標(biāo)準(zhǔn)化變換部137、變形變換部138、二維圖像生成部140。對象物定義部132將由模型坐標(biāo)系定義的對象物的數(shù)據(jù)坐標(biāo)變換為廣域坐標(biāo)系的數(shù)據(jù)。所謂模型坐標(biāo)系是指擁有各個對象物的坐標(biāo)空間。另一方面，所謂廣域坐標(biāo)系是指擁有假想三維空間的坐標(biāo)空間。根據(jù)這樣的坐標(biāo)變換，對象物定義部132可以將對象物配置在假想三維空間內(nèi)。
假想照相機配置部134將一個假想照相機暫定配置在假想三維空間內(nèi)，并確定假想照相機的位置及視線方向。假想照相機配置部134以使假想照相機位置成為原點、假想照相機的視線方向成為視點坐標(biāo)系的深度方向即Z軸的正方向的方式進行仿射變換。此時，廣域坐標(biāo)系的對象物數(shù)據(jù)被坐標(biāo)變換為假想照相機的視點坐標(biāo)系的數(shù)據(jù)。將該變換處理叫做觀測變換。
視體生成部136以由假想照相機配置部134配置的假想照相機、及保持在視差信息保持部120的適當(dāng)視差為基礎(chǔ)，生成包含由兩個真實照相機分別確定的視體的共同視體。采用已知的作為陰面去除算法的Z緩沖法決定共同視體的前方斷面及后方斷面的位置。Z緩沖法在按每個像素存儲對象物的Z值時，在Z軸上如果存在距視點近的Z值，則將該Z值覆蓋已經(jīng)存儲的Z值。這樣通過在按每個像素存儲的Z值中求取最大的Z值(以下簡稱為“最大Z值”)及最小的Z值(以下簡稱為“最小Z值”)，從而特定共同視體。關(guān)于應(yīng)用適當(dāng)視差、最大Z值及最小Z值的具體的共同視體的范圍特定方法將在后面敘述。
Z緩沖法因原本用于作為后處理的二維圖像生成部140進行的二維圖像生成時，故在生成共同視體的時刻，不存在最大Z值及最小Z值。因此，視體生成部136在前一幀中，應(yīng)用在二維圖像生成時求得的最大Z值及最小Z值，決定當(dāng)前幀的前方斷面及后方斷面的位置。
Z緩沖法正如所知，檢測應(yīng)立體顯示的可視面區(qū)域，即檢測作為不可視面的陰面區(qū)域，并從立體顯示的對象中除去。將由Z緩沖法檢測的可視區(qū)域作為共同視體的范圍，通過將用戶最初看不到的陰面區(qū)域從該范圍除去，從而可使共同視體的范圍最優(yōu)化。
標(biāo)準(zhǔn)化變換部137將由視體生成部136生成的共同視體變換為標(biāo)準(zhǔn)化坐標(biāo)系。將該變換處理叫做標(biāo)準(zhǔn)化變換。變形變換處理部138在由標(biāo)準(zhǔn)化變換部137進行標(biāo)準(zhǔn)化變換后，導(dǎo)出變形變換矩陣，通過對共同視體實施該變形變換矩陣，而取得每個真實照相機的視體。關(guān)于這些的具體處理將在后面敘述。
二維圖像生成部140將每個真實照相機的視體投影在屏幕上。投影后，將寫入該屏幕的二維圖像變換為顯示裝置固有的屏幕坐標(biāo)系的指定區(qū)域、即視體。所謂屏幕坐標(biāo)系是在圖像中表示像素的位置時應(yīng)用的坐標(biāo)系，與二維圖像中的坐標(biāo)系相同。這樣處理的結(jié)果是，每個真實照相機生成具有適當(dāng)視差的二維圖像，最終生成視差圖像。通過實現(xiàn)適當(dāng)視差而達(dá)到符合用戶生理的立體視覺。
信息取得部104根據(jù)來自用戶的輸入取得例如是否存在立體顯示的視點數(shù)、空間分割或時間分割等立體顯示裝置的方式、快門眼鏡的利用；是否存在多眼式情況下的二維圖像的排列方法、在視差圖像中視差反轉(zhuǎn)的二維圖像的排列等。
圖2～圖4表示用戶特定適當(dāng)視差范圍的狀態(tài)。圖2(a)、圖2(b)表示在立體圖像處理裝置100的立體感調(diào)整部110進行的適當(dāng)視差特定處理中分別顯示的左眼圖像200、右眼圖像202。在各自的圖像中顯示5個黑點，越靠近上面出現(xiàn)近置且大的視差，越靠近下面出現(xiàn)遠(yuǎn)置且大的視差。所謂“視差”是用于產(chǎn)生立體感的參數(shù)，可有各種各樣的定義，但在本實施方式中，以表示二維圖像間相同點的圖像坐標(biāo)值的差異來表現(xiàn)。
“近置”是指存在比在不同的場所配置的兩個照相機的視線即光軸的交叉位置(以下也叫做“光軸交叉位置”)的面(以下也叫做“光軸交叉面”)更靠前的立體視覺的視差的狀態(tài)?！斑h(yuǎn)置”則相反是指存在比光軸交叉面更靠后的立體視覺的視差的狀態(tài)。近置對象物的視差越大感覺越靠近用戶，遠(yuǎn)置對象物的視差越大看到離用戶越遠(yuǎn)。特別是只要沒有特別指定，視差在近置、遠(yuǎn)置中正負(fù)就不能反轉(zhuǎn)，都應(yīng)作為非負(fù)值定義，在光軸交叉面近置視差、遠(yuǎn)置視差都設(shè)為零。
圖3示意性地表示將這5個黑圓點顯示在屏幕面210上時用戶10感覺到的距離感。在同圖中，視差不同的5個圓點被同時或依次顯示，用戶10輸入是否是可以允許的視差。另一方面，在圖4中向屏幕面210的顯示本身由1個黑圓點進行，但連續(xù)變更其視差。在遠(yuǎn)置和近置各自的方向上當(dāng)達(dá)到允許的界限時，通過執(zhí)行來自用戶10的規(guī)定的輸入指示，而可以決定可允許的視差。指示是通常的鍵操作、鼠標(biāo)操作、通過聲音輸入等，其本身只要利用已知的技術(shù)即可。
在圖3、圖4的任何情況下，指示取得部112可以將適當(dāng)視差作為范圍取得，決定其近置側(cè)及遠(yuǎn)置側(cè)的界限視差。將近置側(cè)的界限視差叫做近置最大視差，將遠(yuǎn)置側(cè)的界限視差叫做遠(yuǎn)置最大視差。近置最大視差是對應(yīng)于在距自身最近的位置看到的點允許的近度的視差，遠(yuǎn)置最大視差是對應(yīng)于在距自身最遠(yuǎn)的位置看到的點允許的遠(yuǎn)度的視差。但是，一般由于用戶生理上的問題大多應(yīng)維護近置最大視差，以下也有時只將近置最大視差稱為界限視差。
如果一旦在立體圖像處理裝置100內(nèi)取得適當(dāng)視差，之后，則在立體顯示其他立體圖像時也實現(xiàn)該適當(dāng)視差。用戶也可以適當(dāng)調(diào)整顯示中的圖像的視差。也可將預(yù)先確定的視差提供給立體圖像處理裝置100。
圖5～圖11表示立體圖像處理裝置100通過以由假想照相機配置部134配置的假想照相機及適當(dāng)視差為基礎(chǔ)生成共同視體，并對該共同視體實施變形處理，而取得每個真實照相機的視體的狀態(tài)。圖5表示假想照相機22的視野角θ與最終生成的二維圖像水平方向的像素數(shù)L之間的關(guān)系。所謂視野角θ是預(yù)測假想照相機22配置于假想三維空間內(nèi)的對象物的角度。在本圖中，從假想照相機22觀察，在右方向設(shè)置X軸、上方向設(shè)置Y軸、深度方向設(shè)置Z軸。
對象物20由對象物定義部132配置，假想照相機22由假想照相機配置部134配置。上述的前方斷面、后方斷面在本圖中分別相當(dāng)于對象物最前面30、對象物最后面32。將對象物前方面30作為前面、將對象物的后方面32作為后面、將來自假想照相機22的第1視線K1作為界線的空間是假想照相機的視體(以下簡稱為“最終使用區(qū)域”)，包含于該空間的對象物最終被寫入二維圖像中。將最終使用區(qū)域深度方向的范圍表現(xiàn)為T。
如上所述，視體生成部136應(yīng)用叫做Z緩沖法的已知的陰面消除算法，決定對象物前方面30及對象物后方面32的位置。具體是，視體生成部136應(yīng)用最小Z值，決定從配置有假想照相機22的面(以下簡稱為“視點面”)204到對象物最前面30之間的距離(以下簡稱為“視點距離”)S。視體生成部136應(yīng)用最大Z值，決定從視點面204到對象物最后面32之間的距離。最終使用區(qū)域的范圍因無需嚴(yán)密性，故視體生成部136也可應(yīng)用最小Z值附近的值及最大Z值附近的值，決定對象物前方面30及對象物后方面32的位置。視體生成部136為了使視體以高準(zhǔn)確性包含對象物的整個可視部，也可以應(yīng)用比最小Z值還小的值及比最大Z值還大的值，決定對象物前方面30及對象物后方面32的位置。
將形成來自假想照相機22的視野角θ的第1視線K1與對象物前方面30交叉的位置設(shè)為第1前方交叉點P1及第2前方交叉點P2，將第1視線K1與對象物后方面32交叉的位置設(shè)為第1后方交叉點Q1及第2后方交叉點Q2。在此，第1前方交叉點P1及第2前方交叉點P2之間的間隔和第1后方交叉點Q1及第2后方交叉點Q2之間的間隔均相當(dāng)于最終生成的二維圖像的水平方向的像素數(shù)L。由第1前方交叉點P1、第1后方交叉點Q1、第2后方交叉點Q2、第2前方交叉點P2圍起來的空間是上述的最終使用區(qū)域。
圖6表示假想三維空間中的近置最大視差量M及遠(yuǎn)置最大視差量N。對與圖5相同的要素賦予相同的符號并適當(dāng)?shù)厥÷哉f明。如前所述，近置最大視差量M及遠(yuǎn)置最大視差量N由用戶通過立體感調(diào)整部110進行指定。根據(jù)由此指定的近置最大視差量M及遠(yuǎn)置最大視差量N，決定視點面204中的兩個右眼用真實照相機24a及左眼用真實照相機24b的位置。但是，因后述的理由，當(dāng)已經(jīng)決定近置最大視差量M及遠(yuǎn)置最大視差量N時，不實際配置真實照相機24，可由假想照相機22的共同視體取得每個真實照相機24的視體。
將來自右眼用真實照相機24a的第2視線K2和對象物前方面30交叉的位置作為第3前方交叉點P3及第4前方交叉點P4，將第2視線K2和對象物后方面32交叉的位置作為第3后方交叉點Q3及第4后方交叉點Q4。同樣，將來自左眼用真實照相機24b的第3視線K3和對象物前方面30交叉的位置作為第5前方交叉點P5及第6前方交叉點P6，將第3視線K3和對象物后方面32交叉的位置作為第5后方交叉點Q5及第6后方交叉點Q6。
由右眼用真實照相機24a決定的視體是由第3前方交叉點P3、第3后方交叉點Q3、第4后方交叉點Q4、第4前方交叉點P4圍起來的區(qū)域(以下簡稱為“右眼用視體”)。另一方面，由左眼用真實照相機24b決定的視體是由第5前方交叉點P5、第5后方交叉點Q5、第6后方交叉點Q6、第6前方交叉點P6圍起來的區(qū)域(以下簡稱為“左眼用視體”)。由假想照相機22決定的共同視體是由第3前方交叉點P3、第5后方交叉點Q5、第4后方交叉點Q4、第6前方交叉點P6圍起來的區(qū)域。如圖所示，共同視體包含右眼用視體及左眼用視體。
在此，對象物前方面30中的右眼用真實照相機24a的視野范圍和左眼用真實照相機24b的視野范圍的水平方向的偏移量相當(dāng)于通過上述立體感調(diào)整部110由用戶決定的近置最大視差量M。具體是，第3前方交叉點P3及第5前方交叉點P5的間隔和第4前方交叉點P4及第6前方交叉點P6的間隔相當(dāng)于近置最大視差量M。同樣，對象物后方面32中的右眼用真實照相機24a的視野范圍和左眼用真實照相機24b的視野范圍的水平方向的偏移量相當(dāng)于通過上述立體感調(diào)整部110由用戶決定的遠(yuǎn)置最大視差量N。具體是，第3后方交叉點Q3及第5后方交叉點Q5的間隔和第4后方交叉點Q4及第6后方交叉點Q6的間隔相當(dāng)于遠(yuǎn)置最大視差量N。
通過指定近置最大視差量M及遠(yuǎn)置最大視差量N，決定光軸交叉面212的位置。即，存在連接第3前方交叉點P3及第3后方交叉點Q3的線段和連接第5前方交叉點P5及第5后方交叉點Q5的線段交叉的第1光軸交叉點R1的面，是所謂的光軸交叉面212，相當(dāng)于上述的屏幕面。在該屏幕面還存在連接第4前方交叉點P4及第4后方交叉點Q4的線段和連接第6前方交叉點P6及第6后方交叉點Q6的線段交叉的第2光軸交叉點R2。屏幕面是所謂的投影面，包含于視體的對象物投影到該面上，最終被寫入二維圖像。
圖7表示將水平方向的偏移量變換為假想三維空間的單位并顯示的狀態(tài)。若將第1前方交叉點P1及第3前方交叉點P3的間隔設(shè)為第1水平偏移量d1、將第1后方交叉點Q1及第3后方交叉點Q3的間隔設(shè)為第2水平偏移量d2，則由于第1水平偏移量d1、第2水平偏移量d2分別相當(dāng)于M/2、N/2，故下式成立d1∶Stan(θ/2)＝M/2∶L/2d2∶(S+T)tan(θ/2)＝N/2∶L/2其結(jié)果，第1水平偏移量d1、第2水平偏移量d2由下式表示d1＝SMtan(θ/2)Ld2＝(S+T)Ntan(θ/2)L如上所述，近置最大視差量M及遠(yuǎn)置最大視差量N由用戶通過立體感調(diào)整部110決定，最終使用區(qū)域的范圍T及視點距離S以最大Z值及最小Z值為基礎(chǔ)來決定。近置最大視差量M及遠(yuǎn)置最大視差量N如果一次在立體圖像處理裝置100內(nèi)取得，則可決定第1水平偏移量d1及第2水平偏移量d2，不實際配置兩個真實照相機24，即可求得來自假想照相機22的共同視體。
圖8表示以第1水平偏移量d1及第2水平偏移量d2為基礎(chǔ)，生成共同視體V1的狀態(tài)。視體生成部136在對象物前方面30上，將從第1前方交叉點P1及第2前方交叉點P分X別只在水平方向向外側(cè)偏離第1水平偏移量d1的點分別設(shè)為第3前方交叉點P3、第6前方交叉點P6。另一方面，在對象物后方面32中，將從第1后方交叉點Q1、第2后方交叉點Q2在水平方向向外側(cè)只偏離第2水平偏離量d2的點分別設(shè)為第5后方交叉點Q5、第4后方交叉點Q4。視體生成部136也可以將如此求得的由第3前方交叉點P3、第5后方交叉點Q5、第4后方交叉點Q4、第6前方交叉點P6圍起來的區(qū)域設(shè)為共同視體V1。
圖9表示標(biāo)準(zhǔn)化變換后的共同視體V1、右眼用視體V2及左眼用視體V3的關(guān)系。縱軸表示Z軸、橫軸表示X軸。如圖所示，通過標(biāo)準(zhǔn)化變換部137，假想照相機22的共同視體V1被變換為標(biāo)準(zhǔn)化坐標(biāo)系。由第6前方交叉點P6、第3前方交叉點P3、第5后方交叉點Q5、第4后方交叉點Q4圍起來的區(qū)域相當(dāng)于共同視體V1。由第4前方交叉點P4、第3前方交叉點P3、第3后方交叉點Q3、第4后方交叉點Q4圍起來的區(qū)域相當(dāng)于由右眼用真實照相機24a確定的右眼用視體V2。由第6前方交叉點P6、第5前方交叉點P5、第5后方交叉點Q5、第6后方交叉點Q6圍起來的區(qū)域相當(dāng)于由左眼用真實照相機24b確定的左眼用視體V3。由第1前方交叉點P1、第2前方交叉點P2、第2后方交叉點Q2、第1后方交叉點Q1圍起來的區(qū)域是最終使用區(qū)域，包含于該區(qū)域的對象物的數(shù)據(jù)最終變換為二維圖像數(shù)據(jù)。
如圖所示，因假想照相機22和真實照相機24的視線方向不一致，故右眼用視體V2及左眼用視體V3與假想照相機22的最終使用區(qū)域不一致。因此，變形變換處理部138通過將后述的變形變換矩陣實施于共同視體V1，而使右眼用視體V2及左眼用視體V3與最終使用區(qū)域一致。在此，將連接第6前方交叉點P6和第4后方交叉點Q4的第1線段l1定義為Z＝aX+b。a、b是由第6前方交叉點P6及第4后方交叉點Q4的位置決定的常數(shù)。當(dāng)導(dǎo)出后述的變形變換矩陣時應(yīng)用該第1線段l1。
圖10表示變形變換處理后的右眼用視體V2。變形變換矩陣如下求得。將連接第6前方交叉點P6和第4后方交叉點Q4的第2線段l2定義為Z＝cX+d。c、d是由變形變換處理后的第6前方交叉點P6及第4后方交叉點Q4決定的常數(shù)。上述第1線段l1上的點坐標(biāo)((Z-b)/a、Y、Z))變換為第2線段l2上的點坐標(biāo)((Z-d)/c、Y、Z))。此時，共同視體V1內(nèi)的坐標(biāo)(Xo、Yo、Zo)變換為坐標(biāo)(X1、Y1、Z1)，因此，變換式如下表示。
X1＝Xo+{(Zo-d)/c-(Zo-b)/a}＝Xo+(1/c-1/a)Zo+(b/a-d/c)＝Xo+AZo+BY1＝Y(jié)o
Z1＝Zo其中表示A1/c-1/aBb/a-d/c據(jù)此，變形變換矩陣由下式表示。
(式1)X1Y1Z11=10AB010000100001X0Y0Z01]]>通過應(yīng)用上述變形變換矩陣的變形變換處理，第4前方交叉點P4與第2前方交叉點P2一致、第3前方交叉點P3與第1前方交叉點P1一致、第3后方交叉點Q3與第1后方交叉點Q1一致、第4后方交叉點Q4與第2后方交叉點Q2一致，作為結(jié)果右眼用視體V2與最終使用區(qū)域一致。二維圖像生成部140通過將該最終使用區(qū)域投影到屏幕面上，而生成二維圖像。即使在左眼用視體V3中，也進行與右眼用視體V2情況相同的變形變換處理。
這樣，通過對共同視體進行變形變換并取得每個真實照相機的視體，從而可生成僅在假想照相機中成為視差圖像基點的兩個二維圖像。其結(jié)果是，可省略將真實照相機實際配置于假想三維空間內(nèi)的處理，可實現(xiàn)立體圖像處理的整體高速化。特別是，在真實照相機配置數(shù)多的情況下效果明顯。
立體圖像處理裝置100在生成一個共同視體時，配置一個假想照相機即可，可以一次完成伴隨利用假想照相機配置部134的假想照相機配置的觀察變換。觀察變換的坐標(biāo)變換對象是定義于假想三維空間內(nèi)的全部對象物數(shù)據(jù)。在該全部數(shù)據(jù)中，不僅包含最終寫入二維圖像的對象物數(shù)據(jù)，還包含最終未寫入二維圖像的對象物數(shù)據(jù)。在本實施方式中，通過一次完成這樣的觀察變換，從而可減少對最終未寫入二維圖像的對象物數(shù)據(jù)進行的坐標(biāo)變換次數(shù)，可縮短變換所需要的時間。其結(jié)果是，可實現(xiàn)立體圖像處理的高效化。最終未寫入二維圖像的對象物數(shù)據(jù)的量越多，或真實照相機的配置數(shù)越多，效果越好。
雖然在生成共同視體后重新進行變形變換處理，但作為處理對象數(shù)據(jù)，加入包含于共同視體的最終寫入二維圖像的對象物數(shù)據(jù)，其數(shù)據(jù)處理量比以包含于假想三維空間的整個對象物為對象的觀察變換處理時進行處理的數(shù)據(jù)量小。因此，可實現(xiàn)立體顯示時的處理整體的高速化。
假想照相機也可以是一個。因為真實照相機是用于生成視差圖像的，而假想照相機僅僅是用于生成共同視體的，假想照相機的作用僅此就足夠了。因此，也可以應(yīng)用多個假想照相機來生成多個共同視體，但通過用一個，就可以在短時間內(nèi)取得由各個真實照相機確定的視體。
圖11表示視差圖像的生成處理流程。該處理在每幀反復(fù)進行。立體圖像處理裝置100取得三維數(shù)據(jù)(S10)。對象物定義部132以由立體圖像處理裝置100取得的三維數(shù)據(jù)為基礎(chǔ)，將對象物配置在假想的三維空間內(nèi)(S12)。假想照相機配置部134將假想照相機配置在假想的三維空間內(nèi)(S14)。由假想照相機配置部134配置假想照相機后，視體生成部136導(dǎo)出第1水平偏移量d1及第2水平偏移量d2，并生成共同視體V1(S16)。
標(biāo)準(zhǔn)化變換部137將共同視體V1變換到標(biāo)準(zhǔn)化坐標(biāo)系(S18)。變形變換部138導(dǎo)出變形變換矩陣(S20)，并根據(jù)該變形變換矩陣進行對應(yīng)于共同視體V1的變形變換處理，取得由真實照相機24確定的視體(S22)。二維圖像生成部140將每個真實照相機的視體投影到屏幕面，以生成多個二維圖像即視差圖像(S24)。當(dāng)沒有生成真實照相機24個數(shù)份的二維圖像時(S26為否)，反復(fù)進行變形變換矩陣導(dǎo)出以后的處理。當(dāng)生成真實照相機24個數(shù)份的二維圖像時(S26為是)，1幀處理結(jié)束。
(實施方式2)實施方式2與實施方式1不同之處在于立體圖像處理裝置100通過擴大假想照相機的視角而生成共同視體。這樣的處理可以以與圖1所示的立體圖像處理裝置100相同的構(gòu)成實現(xiàn)，但視體生成部136還具有擴大假想照相機的視角、生成共同視體的功能。即使關(guān)于二維圖像生成部140，也還具有根據(jù)假想照相機視野角的擴大，擴大水平方向的像素數(shù)并取得二維圖像，從該二維圖像中切出相當(dāng)于最終使用區(qū)域的水平方向的像素數(shù)L份的二維圖像的功能。關(guān)于具體的水平方向的像素數(shù)的擴大量在后面敘述。
圖12表示擴大假想照相機22的視角θ并生成共同視體V1的狀態(tài)。對于與圖6相同的部分賦予相同符號并適當(dāng)?shù)厥÷哉f明。來自假想照相機22的視角由視體生成部136從θ擴大到θ′。將形成假想照相機22的視角θ′的第4視線K4和對象物前方面30交叉的位置作為第7前方交叉點P7及第8前方交叉點P8，將第4視線K4和對象物后方面32交叉的位置作為第7后方交叉點Q7及第8后方交叉點Q8。在此，第7前方交叉點P8及第8前方交叉點P8分別與上述的第3前方交叉點P3及第6前方交叉點P6一致。根據(jù)第1水平偏移量d1及第2水平偏移量d2的值，有時第7后方交叉點Q7及第8后方交叉點Q8也分別與上述的第5后方交叉點Q5及第4后方交叉點Q4一致。由第7前方交叉點P7、第7后方交叉點Q7、第8后方交叉點Q8、第8前方交叉點P8圍起來的區(qū)域是涉及本實施方式的共同視體V1。如前所述，由第1前方交叉點P1、第1后方交叉點Q1、第2后方交叉點Q2、第2前方交叉點P2圍起來的空間相當(dāng)于最終使用區(qū)域。
因假想照相機22的視野角被擴大，故二維圖像生成部140需要增加水平方向的像素數(shù)并取得二維圖像。在將對應(yīng)共同視體V1而生成的二維圖像的水平方向的像素數(shù)設(shè)為L′時，與對應(yīng)最終使用區(qū)域而生成的二維圖像的水平方向的像素數(shù)L之間，以下關(guān)系式成立。
L′∶L＝Stan(θ′/2)∶Stan(θ/2)作為結(jié)果，L′由下式表示L′＝Ltan(θ′/2)/tan(θ/2)二維圖像生成部140在投影時將水平方向的像素數(shù)擴大為Ltan(θ′/2)/tan(θ/2)并取得二維圖像。在θ非常小時，也可以近似為Lθ′/θ來取得。也可以將水平方向的像素數(shù)L擴大為L+M及L+N中大的一方來取得。
圖13表示標(biāo)準(zhǔn)化變換后的共同視體V1、右眼用視體V2及左眼用視體V3之間的關(guān)系?？v軸表示Z軸、橫軸表示X軸。如圖所示，假想照相機22的共同視體V1由標(biāo)準(zhǔn)化變換部137變換為標(biāo)準(zhǔn)化坐標(biāo)系。由第7前方交叉點P7、第7后方交叉點Q7、第8后方交叉點Q8、第8前方交叉點P8圍起來的區(qū)域相當(dāng)于共同視體V1。由第4前方交叉點P4、第7前方交叉點P7、第3后方交叉點Q3、第4后方交叉點Q4圍起來的區(qū)域，相當(dāng)于由右眼用真實照相機24a確定的右眼用視體V2。由第8前方交叉點P8、第5前方交叉點P5、第5后方交叉點Q5、第6后方交叉點Q6圍起來的區(qū)域，相當(dāng)于由左眼用真實照相機24b確定的左眼用視體V3。由第1前方交叉點P1、第1后方交叉點Q1、第2后方交叉點Q2、第2前方交叉點P2圍起來的區(qū)域是最終使用區(qū)域，包含于該區(qū)域的對象物的數(shù)據(jù)最終被變換為二維圖像數(shù)據(jù)。
圖14表示變形變換處理后的右眼用視體V2。如圖所示，通過應(yīng)用上述變形變換矩陣的變形變換處理，第4前方交叉點P4與第2前方交叉點P2一致、第7前方交叉點P7與第1前方交叉點P1一致、第3后方交叉點Q3與第1后方交叉點Q1一致、第4后方交叉點Q4與第2后方交叉點Q2一致，作為結(jié)果，右眼用視體V2與最終使用區(qū)域一致。即使對于左眼用視體V3，也進行與右眼用視體V2的情況同樣的變形變換處理。
這樣，通過對共同視體進行變形變換并取得每個真實照相機的視體，從而可生成僅在假想照相機成為視差圖像基點的兩個二維圖像。其結(jié)果，可省略將真實照相機實際配置在假想三維空間的處理，可實現(xiàn)立體圖像處理的高速化。特別是，在真實照相機配置數(shù)多的情況下效果明顯。再者，可享受與實施方式1相同的效果。
圖15表示視差圖像的生成處理流程。該處理在每一幀反復(fù)進行。立體圖像處理裝置100取得三維數(shù)據(jù)(S30)。對象物定義部132以由立體圖像處理裝置100取得的三維數(shù)據(jù)為基礎(chǔ)，將對象物配置在假想的三維空間內(nèi)(S32)。假想照相機配置部134將假想照相機配置在假想的三維空間內(nèi)(S34)。由假想照相機配置部134配置假想照相機后，視體生成部136導(dǎo)出第1水平偏移量d1及第2水平偏移量d2，并將假想照相機22的視角θ擴大為θ′(S36)。視體生成部136以擴大后的假想照相機22的視角θ′為基礎(chǔ)，生成共同視體V1(S38)。
標(biāo)準(zhǔn)化變換部137將共同視體V1變換到標(biāo)準(zhǔn)化坐標(biāo)系(S40)。變形變換部138導(dǎo)出變形變換矩陣(S42)，并根據(jù)該變形變換矩陣進行對應(yīng)于共同視體V1的變形變換處理，取得由真實照相機24確定的視體(S44)。二維圖像生成部140設(shè)定投影時生成的二維圖像的水平方向的像素數(shù)(S46)。二維圖像生成部140將每個真實照相機的視體投影到屏幕面，一次生成所設(shè)定的像素數(shù)份的二維圖像，并從其中將像素數(shù)L份的圖像作為多個二維圖像即視差圖像生成(S48)。當(dāng)沒有生成真實照相機24個數(shù)份的二維圖像時(S50為否)，反復(fù)進行變形變換矩陣導(dǎo)出以后的處理。當(dāng)生成真實照相機24個數(shù)份的二維圖像時(S50為是)，1幀處理結(jié)束。
(實施方式3)在實施方式1及實施方式2中，利用Z緩沖法決定前方斷面及后方斷面的位置。在本實施方式中，將前方投影面及后方投影面設(shè)定為前方斷面及后方斷面。該處理可以以涉及實施方式2的立體圖像處理裝置100同樣的構(gòu)成實現(xiàn)，但視體生成部136代替應(yīng)用對象物前方面及對象物后方面生成共同視體，而具有應(yīng)用前方投影面及后方投影面生成共同視體的功能。在此，前方投影面及后方投影面的位置由用戶等決定為充分包含應(yīng)立體顯示的對象物。通過將這樣的前方投影面及后方投影面作為最終使用區(qū)域的范圍，從而可以以高可靠性立體顯示包含于該最終使用區(qū)域的范圍內(nèi)的對象物。
圖16表示應(yīng)用前方投影面34及后方投影面36生成共同視體的狀態(tài)。對于與圖6或圖12相同的部分賦予相同的符號并適當(dāng)省略說明。將來自配置于視點面204的假想照相機22的第4視線K4和前方投影面34交叉的位置作為第1前方投影交叉點F1及第2前方投影交叉點F2，將第4視線K4和后方投影面36交叉的位置作為第1后方投影交叉點B1及第2后方投影交叉點B2。將第1視線K1和前方投影面34交叉的位置作為第1前方投影交叉點P′1及第2前方投影交叉點P′2，將第1視線K1和后方投影面36的交叉位置作為第1后方投影交叉點Q′1及第2后方投影交叉點Q′2。將前方投影面34和對象物最前面30之間的Z軸方向的間隔表示為V、將對象物最后面32和后方投影面36之間的Z軸方向的間隔表示為W。由第1前方投影交叉點F1、第1后方投影交叉點B1、第2后方投影交叉點B2、第2前方投影交叉點F2圍起來的區(qū)域是涉及本實施方式的共同視體V1。
圖17表示標(biāo)準(zhǔn)化變換后的共同視體V1、右眼用視體V2及左眼用視體V3的關(guān)系?？v軸表示Z軸，橫軸表示X軸。如圖所示，假想照相機22的共同視體V1由標(biāo)準(zhǔn)化變換部137變換為標(biāo)準(zhǔn)化坐標(biāo)系。由第4前方交叉點P4、第7前方交叉點P7、第3后方交叉點Q3、第4后方交叉點Q4圍起來的區(qū)域相當(dāng)于由右眼用真實照相機24a確定的右眼用視體V2。由第8前方交叉點P8、第5前方交叉點P5、第5后方交叉點Q5、第6后方交叉點Q6圍起來的區(qū)域相當(dāng)于由左眼用真實照相機24b確定的左眼用視體V3。由第2前方交叉點P′2、第1前方交叉點P′1、第1后方交叉點Q′1、第2后方交叉點Q′2圍起來的區(qū)域是最終使用區(qū)域，包含于該區(qū)域的對象物的數(shù)據(jù)最終被變換為二維圖像數(shù)據(jù)。
圖18表示變形變換處理后的右眼用視體V2。如圖所示，通過應(yīng)用上述變形變換矩陣的變形變換處理，第4前方交叉點P4與第2前方交叉點P2一致、第7前方交叉點P7與第1前方交叉點P1一致、第3后方交叉點Q3與第1后方交叉點Q1一致、第4后方交叉點Q4與第2后方交叉點Q2一致。即使對于左眼用視體V3，也進行與右眼用視體V2的情況同樣的變形變換處理。
這樣，通過對共同視體進行變形變換并取得每個真實照相機的視體，從而可生成僅在假想照相機成為視差圖像基點的兩個二維圖像。其結(jié)果是，可省略將真實照相機實際配置在假想三維空間的處理，可實現(xiàn)立體圖像處理整體的高速化。特別是，在真實照相機配置數(shù)多的情況下效果明顯。再者，可享受與實施方式1相同的效果。
(實施方式4)實施方式4與實施方式1的不同點是不對共同視體進行變形變換，而是進行旋轉(zhuǎn)變換。圖19表示涉及本實施方式的立體圖像處理裝置100的構(gòu)成。以下，對與實施方式1相同的構(gòu)成賦予相同符號并適當(dāng)省略說明。在涉及本實施方式的立體圖像處理裝置100中，代替圖1所示的立體圖像處理裝置100的變形變換處理部138，新設(shè)置旋轉(zhuǎn)變換處理部150。以上構(gòu)成的處理流程與實施方式1相同。
旋轉(zhuǎn)變換處理部150與變形變換處理部138相同，導(dǎo)出后述的旋轉(zhuǎn)變換矩陣，通過對標(biāo)準(zhǔn)化變換后的共同視體V1實施該旋轉(zhuǎn)變換矩陣，而取得每個真實照相機24的視體。
在此，旋轉(zhuǎn)變換矩陣如下求得。圖20是表示標(biāo)準(zhǔn)化變換后的共同視體、右眼用視體及左眼用視體的關(guān)系的圖。本實施方式的旋轉(zhuǎn)中心是坐標(biāo)(0.5、Y、M/(M+N))，而為了方便說明，設(shè)為坐標(biāo)(Cx、Cy、Cz)。首先，旋轉(zhuǎn)變換處理部150將旋轉(zhuǎn)中心平行移動到原點。此時，共同視體V1內(nèi)的坐標(biāo)(X0、Y0、Z0)被平行移動到坐標(biāo)(X1、Y1、Z1)，因此，變換式如下表示。
(式2)X1Y1Z11=100-Cx0100001-CZ0001X0Y0Z01]]>其次，將Y軸設(shè)為旋轉(zhuǎn)軸，將坐標(biāo)(X1、Y1、Z1)只旋轉(zhuǎn)角度φ，變?yōu)樽鴺?biāo)(X2、Y2、Z2)。在圖20中，角度φ是由連接第4前方交叉點P4及第4后方交叉點Q4的線段與連接第2前方交叉點P2及第2后方交叉點Q2的線段所成的角度。該角度φ相對Y軸的正方向，將順時針旋轉(zhuǎn)作為正方向。變換式如下表示。
(式3)X2Y2Z21=cosφ0-sinφ00100sinφ0cosφ00001X1Y1Z11]]>最后，以使位于原點的旋轉(zhuǎn)中心返回到坐標(biāo)(Cx、Cy、Cz)的方式進行平行移動。
(式4)X3Y3Z31=100Cx0100001Cz0001X2Y2Z21]]>根據(jù)這樣的旋轉(zhuǎn)變換處理，通過將共同視體進行旋轉(zhuǎn)變換并取得每個真實照相機的視體，從而可生成僅在假想照相機成為視差圖像基點的兩個二維圖像。其結(jié)果，可省略將真實照相機實際配置在假想三維空間內(nèi)的處理，可實現(xiàn)立體圖像處理整體的高速化。特別是在真實照相機配置數(shù)多的情況下效果明顯。
圖21表示視差圖像的生成處理流程。該處理在每1幀反復(fù)進行。立體圖像處理裝置100取得三維數(shù)據(jù)(S60)。對象物定義部132以由立體圖像處理裝置100取得的三維數(shù)據(jù)為基礎(chǔ)，將對象物配置在假想的三維空間內(nèi)(S62)。假想照相機配置部134將假想照相機配置在假想的三維空間內(nèi)(S64)。由假想照相機配置部134配置假想照相機后，視體生成部136導(dǎo)出第1水平偏移量d1及第2水平偏移量d2，并生成共同視體V1(S66)。
標(biāo)準(zhǔn)化變換部137將共同視體V1變換到標(biāo)準(zhǔn)化坐標(biāo)系(S68)。旋轉(zhuǎn)變換處理部150導(dǎo)出旋轉(zhuǎn)變換矩陣(S70)，根據(jù)該旋轉(zhuǎn)變換矩陣進行對應(yīng)于共同視體V1的旋轉(zhuǎn)變換處理，并取得由真實照相機24確定的視體(S72)。二維圖像生成部140將每個真實照相機的視體投影到屏幕上，生成多個二維圖像即視差圖像(S74)。當(dāng)沒有生成真實照相機24個數(shù)份的二維圖像時(S76為否)，反復(fù)進行變換變形矩陣以后的處理。當(dāng)生成真實照相機24個數(shù)份的二維圖像時(S76為是)，結(jié)束1幀的處理。
(實施方式5)實施方式5與實施方式2的不同點是不對共同視體進行變形變換，而是進行旋轉(zhuǎn)變換。在涉及本實施方式的立體圖像處理裝置100中，代替涉及實施方式2的立體圖像處理裝置100的變形變換處理部138，新設(shè)上述旋轉(zhuǎn)變換處理部150。本實施方式的旋轉(zhuǎn)中心是(0.5、Y、M/(M+N))，由以上構(gòu)成進行的處理流程與實施方式2相同。由此，可享受到與實施方式2相同的效果。
(實施方式6)實施方式6與實施方式3的不同點是不對共同視體進行變形變換，而是進行旋轉(zhuǎn)變換。在涉及本實施方式的立體圖像處理裝置100中，代替涉及實施方式3的立體圖像處理裝置100的變形變換處理部148，新設(shè)上述旋轉(zhuǎn)變換處理部150。本實施方式的旋轉(zhuǎn)中心是(0.5、Y、(V+TM/(M+N))/(V+T+W)。由以上構(gòu)成進行的處理流程與實施方式3相同。由此，可享受到與實施方式3相同的效果。
(實施方式7)實施方式7與上述實施方式的不同點是向由標(biāo)準(zhǔn)化變換部137進行的共同視體V1的標(biāo)準(zhǔn)化坐標(biāo)系的變換是非線性的。而且涉及本實施方式的立體圖像處理裝置100的構(gòu)成與涉及實施方式1的立體圖像處理裝置100的構(gòu)成相同，但標(biāo)準(zhǔn)化變換部137還具有以下功能。
標(biāo)準(zhǔn)化變換部137在將共同視體V1變換到標(biāo)準(zhǔn)化坐標(biāo)系的同時，根據(jù)來自由假想照相機配置部134配置的假想照相機的深度方向的距離，對由對象物定義部132配置的對象物實施深度方向的壓縮處理。具體是，例如，標(biāo)準(zhǔn)化變換部137實施來自假想照相機的深度方向的距離越大，深度方向壓縮率越高的壓縮處理。
圖22是示意行表示標(biāo)準(zhǔn)化變換部187進行的深度方向的壓縮處理。圖22左側(cè)所示的坐標(biāo)系是以假想照相機22為原點的照相機坐標(biāo)系，Z′軸方向是深度方向。而且，Z′軸方向與Z值變大的方向相同。如圖所示，第2對象物304被配置在比第1對象物302還接近假想照相機22的位置。
另一方面，圖22右側(cè)所示的坐標(biāo)系是標(biāo)準(zhǔn)化坐標(biāo)系。如前所述，由第3前方交叉點P3、第5后方交叉點Q5、第4后方交叉點Q4、第6前方交叉點P6圍起來的區(qū)域是由標(biāo)準(zhǔn)化變換部137變換到標(biāo)準(zhǔn)化坐標(biāo)系的共同視體V1。
如圖22所示，因第1對象物302在距假想照相機遠(yuǎn)的位置上，故由標(biāo)準(zhǔn)化變換部137實施深度方向強的壓縮率的壓縮處理，圖22右側(cè)所示的標(biāo)準(zhǔn)化坐標(biāo)系中的第1對象物302的深度方向的長度變得極短。
圖23(a)表示壓縮處理相關(guān)的Z′軸方向的值與Z軸方向的值之間的第1關(guān)系，另一方面，圖23(b)表示壓縮處理相關(guān)的Z′軸方向的值與Z軸方向的值之間的第2關(guān)系。涉及實施方式7的標(biāo)準(zhǔn)化變換部137進行的深度方向的壓縮處理是根據(jù)該第1關(guān)系或第2關(guān)系而進行的。在第1關(guān)系的基礎(chǔ)下，標(biāo)準(zhǔn)化變換部137是Z′軸方向的值越大，就越對對象物實施使Z軸方向的值的增幅相對Z′軸方向的值的增幅減小的壓縮處理。另一方面，在第2關(guān)系的基礎(chǔ)下，標(biāo)準(zhǔn)化變換部137在Z′軸方向的值超過某恒定值時，對對象物實施使Z軸方向的值相對Z′軸方向的值的增加的變化為零的壓縮處理。在任何情況下，對于離開假設(shè)視點的對象物，都實施深度方向強的壓縮率的壓縮處理。
實際上，可以得到人類兩眼視差的效果可以說是從自身到20米左右的位置，使位于遠(yuǎn)處的對象物的立體感變小當(dāng)然多為自然感覺。因此，涉及本實施方式的壓縮處理的實施是有意義的。
(實施方式8)實施方式8與實施方式1的不同點是以使通過立體感調(diào)整部110得到的近置最大視差量M及遠(yuǎn)置最大視差量N變得適當(dāng)?shù)姆绞竭M行修正。圖24表示涉及實施方式8的立體圖像處理裝置100的構(gòu)成。在涉及實施方式8的立體圖像處理裝置100中，在涉及實施方式1的立體圖像處理裝置100中新設(shè)視差控制部135。以下，對與實施方式1相同的構(gòu)成賦予相同的符號，并適當(dāng)省略說明。
視差控制部135在生成立體圖像時，控制近置最大視差量M或遠(yuǎn)置最大視差量N，以使在該立體圖像內(nèi)表現(xiàn)的對象物的幅度和深度方向之比與人眼正確感知的范圍視差相比視差不變大。該情況下，視差控制部135也可在內(nèi)部具有修正按照適當(dāng)視差而設(shè)定的照相機參數(shù)的照相機配置修正部(未圖示)。在此，所謂“立體圖像”是以立體感顯示的圖像，該數(shù)據(jù)的實體是使多個圖像具有視差的“視差圖像”。視差圖像一般是多個二維圖像的集合。該近置最大視差量或遠(yuǎn)置最大視差量的控制處理是在由假想照相機配置部134將假想照相機設(shè)定在假想三維空間后進行的。
一般，例如，對于可正確看到球的正確的視差狀態(tài)，如果通過適當(dāng)視差處理判斷為視差過大的狀態(tài)，則往往通過處理使立體圖像的視差變小。此時，可以看到球向深度方向弄破似的形狀，而一般對這樣的顯示的不協(xié)調(diào)感小。人因通?？磻T平面圖像，故若視差在0的狀態(tài)和正確的視差狀態(tài)之間，則人往往感覺不到不協(xié)調(diào)。
相反，對于可正確看到球的視差狀態(tài)，如果判斷為在適當(dāng)視差處理中立體圖像的視差過小，則往往進行處理使視差變大。此時，例如可看到球向深度方向膨脹的形狀，對于這樣的顯示，人有時會感覺有較大的不協(xié)調(diào)。
當(dāng)立體顯示單體的對象物時等，容易引起上述人感覺不協(xié)調(diào)的現(xiàn)象，在建筑物和交通工具等、實際生活中映入人們眼簾的對象物的顯示中，尤其存在由該視差不同引起的看者的不協(xié)調(diào)感被明確認(rèn)識的傾向。因此，為了降低該不協(xié)調(diào)感，需要對視差變大的處理增加修正。
在生成立體圖像時，通常通過變更真實照相機的配置而可以比較容易地進行視差的調(diào)整。但是，在本說明書中，如上所述，在生成立體圖像時，真實照相機并不實際配置在假想三維空間內(nèi)。因此，以下假設(shè)配置架空的真實照相機，并修正視差、例如近置最大視差M及遠(yuǎn)置最大視差N。以下，以圖25到圖30為基礎(chǔ)，表示修正視差的順序。
圖25表示在立體圖像處理裝置100的顯示畫面400中，觀察者觀察立體圖像的狀態(tài)。顯示畫面400的畫面尺寸為L，顯示畫面400和觀察者的距離為d，眼之間的距離為e。而且，近置界限視差M和遠(yuǎn)置界限視差N由立體感調(diào)整部110預(yù)先得到，近置界限視差M和遠(yuǎn)置界限視差N之間為適當(dāng)視差。在此，為了方便理解而只顯示近置界限視差M，由該值確定最大飛出量m。所謂飛出量m是指從顯示畫面400到近置點的距離。再者，如前所述，L、M、N的單位為“像素”，與另外的d、m、e等參數(shù)不同，原來需要應(yīng)用規(guī)定的變換式進行調(diào)整，但在此為了便于說明，以相同的單位系表示。再者，在本實施方式中，二維圖像的水平方向的像素數(shù)和畫面尺寸同時等于L。
此時，為了顯示球形對象物20，以對象物20的最近置點和最遠(yuǎn)置點為基準(zhǔn)，在初始設(shè)定時使真實照相機配置如圖26那樣地決定。由右眼用真實照相機24a及左眼用真實照相機24b形成的光軸交叉距離為D，這些照相機間隔為Ec。但是，為了容易地進行參數(shù)比較，進行坐標(biāo)系的擴大縮小處理，以使光軸交叉距離的照相機的預(yù)計寬度與畫面尺寸L一致。此時，在立體圖像處理裝置100中，例如照相機間隔Ec等于眼之間的距離e，觀察距離d等于光軸交叉距離D。此時，該系統(tǒng)如圖27所示，如果觀察者從圖26所示的照相機位置進行觀察，則可正確看到對象物20。另一方面，在立體圖像處理裝置100中，例如照相機間隔Ec等于眼之間的距離e，觀察距離d比光軸交叉距離D大。此時，如果將由圖26所示的攝影系統(tǒng)生成的圖像通過立體圖像處理裝置100的顯示畫面來觀察對象物20，則如圖28所示，可觀察到整個適當(dāng)視差范圍向深度方向延伸的對象物20。
以下示出應(yīng)用該原理，判斷是否有必要對立體圖像進行修正的方法。圖29表示以圖26所示的照相機配置來拍攝距顯示畫面400的距離位于A的球的最近置點的狀態(tài)。此時，由可以分別連接右眼用真實照相機24a及左眼用真實照相機24b和距離A的位置點的條直線，可求得對應(yīng)于距離A的最大視差M。而且，圖30表示將這兩個照相機和照相機的光軸公差距離設(shè)為d時，得到圖29所示的視差M所需的照相機間隔E1。這可以叫做使照相機間隔以外的攝影系統(tǒng)的參數(shù)與觀察系統(tǒng)的參數(shù)完全一致的變換。在圖29及圖30中如下關(guān)系成立。
M∶A＝Ec∶D-AM∶A＝E1∶d-AEc＝E1(D-A)/(d-A)E1＝Ec(d-A)/(D-A)而且，當(dāng)該E1比眼間距離e大時，判斷為需要使視差變小的修正。因為只要將E1設(shè)為眼間距離e即可，故可如下式修正Ec。
Ec＝e(D-A)/(d-A)即使對于最遠(yuǎn)置點也同樣，在圖31及圖32中，若將對象物20的最近置點和最遠(yuǎn)置點的距離設(shè)為最終使用區(qū)域的范圍T，則N∶T-A＝Ec∶D+T-AN∶T-A＝E2∶d+T-AEc＝E2(D+T-A)/(d+T-A)E2＝Ec(d+T-A)/(D+T-A)而且，當(dāng)E2比眼之間距離e大時，判斷為需要修正。接著，因為只要將E2設(shè)為眼之間距離e即可，故可如下式修正Ec。
Ec＝e(D+T-A)/(d+T-A)最終，如果從最近置點和最遠(yuǎn)置點分別得到的兩個Ec中，選擇小的一方，則無論對于近置及遠(yuǎn)置的任何一個，視差都不會過大。將該選擇的Ec返回到原三維坐標(biāo)系并設(shè)定照相機。
而且，一般可設(shè)定照相機間隔Ec，使以下兩式同時滿足。
Ec＜e(D-A)/(d-A)Ec＜e(D+T-A)/(d+T-A)這表示在圖33及圖34中，在觀察距離d的位置上，眼之間距離e的間隔的、在二維圖像生成時實際上沒有配置，但在連接右眼用真實照相機24a及左眼用真實照相機24b和對象物的最近置點的兩個光軸K5上、或者在連接右眼用真實照相機24a及左眼用真實照相機24b和對象物的最遠(yuǎn)置點的兩個光軸K6上配置兩個照相機時的間隔為照相機間隔Ec的上限。也就是說以包含于圖33中的兩個光軸K5的間隔、或者圖34中的兩個光軸K6的間隔中窄的一方的光軸間的方式來決定照相機參數(shù)。
視差控制部135在這樣修正了照相機間隔Ec時，導(dǎo)出對應(yīng)于該修正后的照相機間隔Ec的近置最大視差量M或遠(yuǎn)置最大視差量N。即，作為近置最大視差量M，設(shè)定M＝EcA/(D-A)同樣，作為遠(yuǎn)置最大視差量N，設(shè)定N＝Ec(T-A)/(D+T-A)由視差控制部135修正近置最大視差量M或遠(yuǎn)置最大視差量N后，進行上述的共同視體生成處理，之后進行與實施方式1相同的處理。
再者，在此雖然不對光軸交叉距離進行變更，而只對照相機間隔進行修正；但也可以變更光軸交叉距離、變更對象物的位置，還可以變更照相機間隔及光軸交叉距離兩者。根據(jù)實施方式8，可以降低立體圖像觀察者感覺到的不協(xié)調(diào)感。
(實施方式9)實施方式9與實施方式8的不同點是根據(jù)頻率分析或?qū)ο笪镆苿拥臓顟B(tài)修正通過立體感調(diào)整部110得到的近置最大視差量M及遠(yuǎn)置最大視差量N。圖35表示涉及實施方式9的立體圖像處理裝置100的構(gòu)成。在涉及實施方式9的立體圖像處理裝置100中，在涉及實施方式8的立體圖像處理裝置100中新設(shè)圖像判定部190。而且，涉及實施方式9的視差控制部135還具有以下功能。以下，對于與實施方式8相同的構(gòu)成賦予相同的符號，并適當(dāng)省略說明。
圖像判定部190對以對應(yīng)于不同視差的多個二維圖像為基礎(chǔ)顯示的立體圖像進行頻率分析。視差控制部135根據(jù)由頻率分析判明的高頻成分的量，調(diào)整近置最大視差量M或遠(yuǎn)置最大視差量N。具體是，視差控制部135在高頻成分量多時，進行增大近置最大視差量M或遠(yuǎn)置最大視差量N的調(diào)整。在此，所謂二維圖像是構(gòu)成視差圖像的各圖像，也可以稱為具有分別對應(yīng)的視點的“視點圖像”。即，若由多個二維圖像構(gòu)成視差圖像，并顯示其，則作為立體圖像進行顯示。
再者，圖像判定部190檢測以對應(yīng)于不同視差的多個二維圖像為基礎(chǔ)顯示的立體圖像的移動。此時，視差控制部135根據(jù)立體圖像的移動量，調(diào)整近置最大視差量M或遠(yuǎn)置最大視差量N。具體是，當(dāng)立體圖像的移動量多時，視差控制部135進行增大近置最大視差量M或遠(yuǎn)置最大視差量N的調(diào)整。
觀察者感覺到不協(xié)調(diào)的視差界限因圖像而不同。一般，在形狀和顏色變化少的圖像中，邊緣突出的圖像，若視差大則失真顯著。而且，邊緣兩側(cè)的輝度差大的圖像也是若視差強則失真顯著。也就是，在應(yīng)立體顯示的圖像即視差圖像、以及視點圖像中，高頻成分少的情況下，用戶在看該圖像時感覺到有不協(xié)調(diào)的傾向。在此，以付里葉變換的方法頻率分析圖像，根據(jù)該分析結(jié)果得到的頻率成分分布，可對適當(dāng)視差加以修正。也就是說，對于高頻成分多的圖像進行使視差比適當(dāng)視差還大的修正。
再者，移動多的圖像失真不顯著。一般，通過調(diào)整文件名的后綴，從而往往可了解文件的種類是動態(tài)圖像還是靜止圖像。在此，當(dāng)判斷為動態(tài)像時，通過移動矢量等已知移動檢測方法檢測移動狀態(tài)，根據(jù)該狀態(tài)可對適當(dāng)視差量加以修正。在移動多的圖像情況或想要強調(diào)移動的情況等下，施加使視差比原來的視差還大的修正。另一方面，對動作少的圖像施加使視差比原來的視差還小的修正。而且，適當(dāng)視差的修正是一例，如果在預(yù)先決定的視差范圍內(nèi)無論任何情況都可修正。
再者，也可以將這些分析結(jié)果記錄于文件頭部區(qū)域，立體圖像處理裝置讀取該頭部，在下次之后的立體圖像的顯示時利用。而且，高頻成分的量和移動分布也可以由圖像制作者或用戶根據(jù)實際立體視覺進行分級，或以多個評價者的立體視覺進行分級，也可以利用其平均值而不管其分級的方法。由視差控制部135修正近置最大視差量M或遠(yuǎn)置最大視差量N后，進行上述共同視體生成處理，之后進行與實施方式1相同的處理。
將涉及本發(fā)明和實施方式的構(gòu)成的對應(yīng)作為示例?！凹僭O(shè)視點配置部”對應(yīng)于假想照相機配置部134，“坐標(biāo)變換部”對應(yīng)于變形變換處理部138及旋轉(zhuǎn)變換處理部150。
以上，以實施方式為基礎(chǔ)說明了本發(fā)明。該實施方式是示例，這些各構(gòu)成要素和各處理過程的組合可有各種變形例，而且這樣的變形例也在本發(fā)明的范圍內(nèi)，這是本領(lǐng)域的技術(shù)人員可以理解的。以下說明這樣的變形例。
在實施方式中，通過確定近置最大視差量M或遠(yuǎn)置最大視差量N，而唯一決定光軸交叉面212的位置。作為變形例，光軸交叉面212也可由用戶決定為所希望的位置。由此，用戶可將所希望的對象物置于屏幕面上，進行操作，以使該對象物不會飛出。在用戶決定光軸交叉面212的位置時，有可能該位置與由近置最大視差量M或遠(yuǎn)置最大視差量N唯一決定的光軸交叉面212的位置不同。因此，如果對象物被投影到這樣的光軸交叉面212，則有時不能生成實現(xiàn)近置最小視差量M和遠(yuǎn)置最大視差量N的二維圖像。因此，當(dāng)光軸交叉面212的位置固定為所希望的位置時，視體生成部136如后所述，優(yōu)先近置最大視差量M或遠(yuǎn)置最大視差量N中的任何一個，根據(jù)優(yōu)先的一方的最大視差量，生成共同視體。
圖36表示優(yōu)先遠(yuǎn)置最大視差，并生成視體的狀態(tài)。對于與圖6相同的內(nèi)容賦予相同的符號并適當(dāng)省略說明。如圖所示，當(dāng)優(yōu)先遠(yuǎn)置最大視差時，第3前方交叉點P3及第5前方交叉點P5的間隔比近置最大視差量M小。據(jù)此，可生成不超過界限視差的二維圖像。另一方面，視體生成部136通過優(yōu)先近置最大視差量M，也可決定共同視體。
視體生成部136通過判斷光軸交叉面212的位置是在最終使用區(qū)域范圍T的較前方還是較后方，從而也可決定近置最大視差量M或遠(yuǎn)置最大視差量N中哪一個優(yōu)先。為了更加正確，對于從近置最大視差量M或遠(yuǎn)置最大視差量N中導(dǎo)出的光軸交叉面212的位置，通過判斷用戶所希望的光軸交叉面212是在前方還是在后方，從而也可決定近置最大視差量M或遠(yuǎn)置最大視差量N中哪一個優(yōu)先。此時，光軸交叉面212的位置是在最終使用區(qū)域范圍T的較前方時，視體生成部136優(yōu)先遠(yuǎn)置最大視差量N，在較后方時，優(yōu)先近置最大視差量M。這是因為光軸交叉面212的位置在最終使用區(qū)域范圍T的較前方，如果優(yōu)先近置最大視差量M，則光軸交叉面212和對象物最后面32之間的距離比較大，故第3后方交叉點Q3及第5后方交叉點Q5的間隔超過遠(yuǎn)置最大視差量N的范圍的可能性變高。
在實施方式中，假想照相機22只是用于生成共同視體V1，但作為變形例，假想照相機22在生成共同視體V1的同時還可生成二維圖像。據(jù)此，可生成奇數(shù)張二維圖像。
在實施方式中，在水平方向配置照相機，但也可以在垂直方向配置照相機，可享受與水平方向情況相同的效果。
在實施方式中，預(yù)先設(shè)定近置最大視差量M及遠(yuǎn)置最大視差量N，但作為變形例，這些量沒有必要一定預(yù)先設(shè)定。立體圖像處理裝置100對于設(shè)定在所定位置的多個照相機的配置條件，也可以生成包含每個真實照相機的視體的共同視體，此時，只要計算出相當(dāng)于近置最大視差量M或遠(yuǎn)置最大視差量N的值即可。
在實施方式7中，對象物深度方向的位置離假想照相機越遠(yuǎn)，就越對該對象物施加深度方向強的壓縮率的壓縮處理，但作為變形例，舉出與該壓縮處理不同的壓縮處理。涉及本變形例的標(biāo)準(zhǔn)化變形部137從由假想照相機配置部134配置的假想照相機向深度方向的某地點施加使深度方向壓縮率逐漸減小的壓縮處理，從某地點向深度方向?qū)嵤┲饾u增大深度方向壓縮率的壓縮處理。
圖37是表示壓縮處理相關(guān)的Z′軸方向的值與Z軸方向的值之間的第3關(guān)系的圖。根據(jù)第3關(guān)系，Z′軸方向的值從某值變得越小，標(biāo)準(zhǔn)化變換部137就越可以對對象物實施使Z方向的值的減小幅度相對Z′軸方向的值的減小幅度變小的壓縮處理。另一方面，Z′軸方向的值從某值變得越大，標(biāo)準(zhǔn)化變換部137就越可對對象物實施使Z方向的值的增大幅度相對Z′軸方向的值的增大幅度變小的壓縮處理。
例如，在每1幀動作的對象物存在于假想三維空間內(nèi)的情況下，有時該對象物的一部分從標(biāo)準(zhǔn)化變換前的共同視體V1飛向眼前或深度方向。本變形例在這樣的情況下特別有效，根據(jù)本變形例，可控制來自變換到標(biāo)準(zhǔn)化坐標(biāo)系的共同視體V1的動態(tài)對象物的一部分的飛出。而且，到底應(yīng)用涉及實施方式7的兩個壓縮處理以及涉及本變形例的壓縮處理的哪一個，可由立體圖像處理裝置100內(nèi)部的程序自動決定，部的程序自動決定，或也可由用戶選擇。
權(quán)利要求
1.一種立體圖像處理裝置，其是以來自不同的多個視點的二維圖像為基礎(chǔ)，將假想的三維空間內(nèi)的對象物進行立體顯示的立體圖像處理裝置，其特征在于，具備生成包含由上述多個視點分別確定的視體的共同視體的視體生成部。
2.根據(jù)權(quán)利要求1所述的立體圖像處理裝置，其特征在于，還具備將對象物配置在假想三維空間內(nèi)的對象物定義部；和將假設(shè)視點配置在上述假想三維空間內(nèi)的假設(shè)視點配置部；上述視體生成部以由上述假設(shè)視點配置部配置的假設(shè)視點為基礎(chǔ)，生成上述共同視體。
3.根據(jù)權(quán)利要求1或2所述的立體圖像處理裝置，其特征在于，還具備對上述共同視體進行坐標(biāo)變換，以取得上述多個視點各自的視體的坐標(biāo)變換部；和將上述多個視點各自的視體投影到投影面上，并在每個上述多視點生成上述二維圖像的二維圖像生成部。
4.根據(jù)權(quán)利要求1～3中任一項所述的立體圖像處理裝置，其特征在于，上述視體生成部生成一個上述共同視體。
5.根據(jù)權(quán)利要求1～4中任一項所述的立體圖像處理裝置，其特征在于，上述坐標(biāo)變換部通過對上述共同視體進行變形變換，而取得上述多個視點各自的視體。
6.根據(jù)權(quán)利要求1～4中任一項所述的立體圖像處理裝置，其特征在于，上述坐標(biāo)變換部通過對上述共同視體進行旋轉(zhuǎn)變換，而取得上述多個視點各自的視體。
7.根據(jù)權(quán)利要求1～6中任一項所述的立體圖像處理裝置，其特征在于，上述視體生成部擴大上述假設(shè)視點的視野角，以生成上述共同視體。
8.根據(jù)權(quán)利要求1～7中任一項所述的立體圖像處理裝置，其特征在于，上述視體生成部應(yīng)用前方投影面及后方投影面，生成上述共同視體。
9.根據(jù)權(quán)利要求1～8中任一項所述的立體圖像處理裝置，其特征在于，上述視體生成部應(yīng)用近置最大視差量及遠(yuǎn)置最大視差量，生成上述共同視體。
10.根據(jù)權(quán)利要求1～8中任一項所述的立體圖像處理裝置，其特征在于，上述視體生成部應(yīng)用近置最大視差量或遠(yuǎn)置最大視差量之一，生成上述共同視體。
11.根據(jù)權(quán)利要求2～10中任一項所述的立體圖像處理裝置，其特征在于，還具備將上述共同視體變換到標(biāo)準(zhǔn)化坐標(biāo)系的標(biāo)準(zhǔn)化變換部；該標(biāo)準(zhǔn)化變換部根據(jù)距上述配置的假設(shè)視點的深度方向的距離，對上述所配置的對象物實施深度方向的壓縮處理。
12.根據(jù)權(quán)利要求11所述的立體圖像處理裝置，其特征在于，上述深度方向的距離越大，上述標(biāo)準(zhǔn)化變換部就越實施深度方向的壓縮率高的壓縮處理。
13.根據(jù)權(quán)利要求11所述的立體圖像處理裝置，其特征在于，上述標(biāo)準(zhǔn)化變換部從上述配置的假設(shè)視點向深度方向的某地點實施逐漸減小深度方向的壓縮率的壓縮處理。
14.根據(jù)權(quán)利要求9或10所述的立體圖像處理裝置，其特征在于，還具備視差控制部，其在生成立體圖像時，控制上述近置最大視差量或上述遠(yuǎn)置最大視差量，以便與在上述立體圖像內(nèi)表現(xiàn)的對象物的寬度和深度之比為人眼正常感知的范圍的視差相比，視差不變大。
15.根據(jù)權(quán)利要求9或10所述的立體圖像處理裝置，其特征在于，還具備對應(yīng)以對應(yīng)于不同視差的多個二維圖像為基礎(chǔ)顯示的立體圖像進行頻率分析的圖像判定部；和根據(jù)通過上述頻率分析判明的高頻率成分量，調(diào)整上述近置最大視差量或上述遠(yuǎn)置最大視差量的視差控制部。
16.根據(jù)權(quán)利要求15所述的立體圖像處理裝置，其特征在于，上述視差控制部在上述高頻成分量多的情況下，進行增大上述近置最大視差量或上述遠(yuǎn)置最大視差量的調(diào)整。
17.根據(jù)權(quán)利要求9或10所述的立體圖像處理裝置，其特征在于，還具備檢測以對應(yīng)于不同視差的多個二維圖像為基礎(chǔ)進行顯示的立體圖像移動的圖像判定部；和根據(jù)上述立體圖像移動量，調(diào)整上述近置最大視差量或上述遠(yuǎn)置最大視差量的視差控制部。
18.根據(jù)權(quán)利要求17所述的立體圖像處理裝置，其特征在于，上述視差控制部在上述立體圖像移動量多的情況下，進行增大上述近置最大視差量或上述遠(yuǎn)置最大視差量的調(diào)整。
19.一種立體圖像處理方法，其特征在于，具有在假想的三維空間內(nèi)配置對象物的步驟；在上述假想的三維空間內(nèi)配置假設(shè)視點的步驟；以配置在上述假想三維空間的假設(shè)視點為基礎(chǔ)，生成包含由生成具有視差的二維圖像的多個視點分別決定的視體的共同視體的步驟；將上述共同視體進行坐標(biāo)變換，并取得上述多個視點各自的視體的步驟；和將上述多個視點各自的視體投影到投影面，并在每個上述多個視點生成二維圖像的步驟。
全文摘要
本發(fā)明提供一種立體圖像處理方法及立體圖像處理裝置。立體圖像處理裝置(100)首先根據(jù)配置在假想三維空間內(nèi)的一個假想照相機，生成包含由各個真實照相機確定的視體的共同視體。之后該裝置(100)對于共同視體進行變形變換，取得每個真實照相機的視體。最后，將在每個真實照相機取得的兩個視體投影到投影面，生成具有視差的二維圖像。這樣，通過由共同視體取得每個真實照相機的視體，從而可生成僅在假想照相機成為視差圖像基點的二維圖像。其結(jié)果，可省略實際配置真實照相機的處理，可實現(xiàn)整個處理的高速化。
文檔編號G06T11/00GK1696978SQ200510071239
公開日2005年11月16日 申請日期2005年5月13日 優(yōu)先權(quán)日2004年5月13日
發(fā)明者增谷健 申請人:三洋電機株式會社