專利名稱：立體圖像處理方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及立體圖像處理技術(shù)，特別涉及以視差圖像為基礎(chǔ)、生成或顯示立體圖像的方法和裝置。
背景技術(shù)：
近年來，網(wǎng)絡(luò)基本設(shè)施的不完備雖然成為問題，但是迎來向?qū)拵н^渡的時(shí)期，反而有效活用寬帶域的內(nèi)容種類或數(shù)目的少開始顯著起來。圖像在任何時(shí)代都是最重要的表現(xiàn)手段，但是，至今為止的大多數(shù)努力都涉及顯示品質(zhì)或數(shù)據(jù)壓縮率的改善，與這些比較，擴(kuò)大表現(xiàn)的可能性自身的技術(shù)性的努力，有落后一步的感覺。
在這樣的過程中，立體圖像顯示(下面，簡單稱為立體顯示)從以前開始就進(jìn)行過各種研究，在劇場用途或利用特殊顯示裝置的、限制為某種程度的市場中得以實(shí)用化。今后，以充滿臨場感的內(nèi)容的提供為目標(biāo)，加速這一方面的開發(fā)研究，使個(gè)人用戶即使在家庭中也可以欣賞立體顯示的時(shí)代即將來臨。
另外，雖然期待立體顯示今后普及，但也提出一種在目前的顯示裝置中無法想象的顯示方式。例如，公開有將二維圖像的被選擇部分圖像立體化而進(jìn)行顯示的技術(shù)(例如，參照特開平11-39507號公報(bào))。
在那些趨勢中，指出一直以來在立體顯示中就存在的幾個(gè)問題。例如，成為創(chuàng)造立體感的原因的視差的合理化困難。原來，不是真正地放映三維目標(biāo)，而是相對左右兩眼睛以像素為單位偏移其圖像而進(jìn)行投影的技術(shù)，難以在其人工性立體感上賦予自然感。
另外，過多地賦予視差有時(shí)也成為問題，有立體圖像的觀察者(下面簡稱為用戶)申訴輕微不快感的情況。當(dāng)然，這不僅是立體顯示，還有被顯示的場景和自己周圍狀況乃至感覺不一致等的各種重要因素?？墒?，從經(jīng)驗(yàn)來說，那些問題在視差過大、換言之立體感過強(qiáng)的情況下容易觀察到。
以上是人類生理上的道理，其他的還有阻礙立體圖像的內(nèi)容或應(yīng)用程序普及的技術(shù)要因。立體視覺是由視差來實(shí)現(xiàn)的，但假設(shè)即使用左右圖像的像素的偏移量來實(shí)現(xiàn)視差，由于顯示裝置硬件的差異，有時(shí)也會存在可以適當(dāng)?shù)亓Ⅲw觀察相同的立體圖像的情況和無法立體觀察的情況。表現(xiàn)遠(yuǎn)方的視差如果超過眼睛之間距離，則理論上不能實(shí)現(xiàn)立體視覺。如今，顯示裝置的分辨率或屏幕尺寸在PC(個(gè)人用計(jì)算機(jī))、電視機(jī)、移動電話機(jī)等的多樣化中，考慮各種硬件，為了立體顯示，制作最佳內(nèi)容是個(gè)難題，或更確切地說，對此還沒有給出方法論。
另外假設(shè)，即使給出其方法論，期待一般的程序設(shè)計(jì)者理解它、利用在內(nèi)容或應(yīng)用程序的制作上還是困難的。
在上述文獻(xiàn)中公開的技術(shù)，是作為解決上述問題的一種方法而提出的，但是，為了今后普及立體顯示，有必要提出更多的方法，積累新的技術(shù)，同時(shí)使那些技術(shù)聯(lián)合而應(yīng)用在產(chǎn)品上。

發(fā)明內(nèi)容
本發(fā)明是借鑒這樣的背景而進(jìn)行的，其目的在于，提出一種立體顯示的新的表現(xiàn)方法。其他目的在于，即使顯示對象圖像或顯示裝置變化，也向用戶生成或顯示適當(dāng)?shù)牧Ⅲw圖像。另一目的在于，在進(jìn)行立體顯示中時(shí)，以簡單的操作來調(diào)整立體感。又一目的在于，在制作適當(dāng)?shù)牧Ⅲw顯示可能的內(nèi)容或應(yīng)用程序時(shí)，減輕程序設(shè)計(jì)者的負(fù)擔(dān)。再一目的在于，將實(shí)現(xiàn)適當(dāng)?shù)牧Ⅲw顯示的技術(shù)作為商業(yè)模型來提供。
構(gòu)成本發(fā)明的基礎(chǔ)的發(fā)明人的想法是從顯示裝置的硬件或用戶與顯示裝置的距離等要素(下面，將這些統(tǒng)稱為「硬件」)中暫時(shí)分開合理視差。即，通過以后述的相機(jī)間隔和光軸交叉位置使合理視差一般化，暫時(shí)以不依靠硬件的通用形式來記述。所謂「不依靠硬件」是指原則上不需要顯示裝置固有的硬件信息的讀出的意思，如果完成該通用性的記述，其后，只要根據(jù)其合理視差生成或調(diào)整視差圖像，就可以實(shí)現(xiàn)所要的立體顯示。
在合理視差的取得和圖像的立體顯示時(shí)，通過用程序庫提供其實(shí)現(xiàn)合理視差的控制，從而若一般的程序設(shè)計(jì)者調(diào)用該程序庫，即使未意識到復(fù)雜的立體視覺原理或程序，也可以實(shí)現(xiàn)適當(dāng)?shù)牧Ⅲw顯示。
本發(fā)明的各種實(shí)施方式中的第一組是以用戶的應(yīng)答為基礎(chǔ)、取得合理視差的技術(shù)作為基本。本技術(shù)可以利用在用戶進(jìn)行的視差的「初始設(shè)定」中，如果在裝置內(nèi)一次取得合理視差，則以后在其他圖像的顯示時(shí)就可以實(shí)現(xiàn)其合理視差。但是，本技術(shù)不限于初始設(shè)定，也可以利用在用戶調(diào)整適當(dāng)顯示中的圖像視差的「手動調(diào)整」內(nèi)。下面，涉及第一組。
本發(fā)明涉及立體圖像處理裝置，其中包括取得以對應(yīng)于不同視差的多個(gè)視點(diǎn)圖像為基礎(chǔ)進(jìn)行顯示的立體圖像相對的用戶應(yīng)答的指示取得部；以所取得的應(yīng)答為基礎(chǔ)，特定其用戶相關(guān)的合理視差的視差特定部。
指示取得部例如提供為GUI(圖示用戶接口，以下同)，首先，一邊改變視點(diǎn)圖像之間的視差一邊進(jìn)行顯示。用戶在成為自己喜歡的立體感時(shí)，利用按鈕操作來輸入其意思。
所謂「立體圖像」是指具有立體感而進(jìn)行顯示的圖像，其數(shù)據(jù)的實(shí)體是在多個(gè)圖像中具有視差的「視差圖像」。視差圖像一般為多個(gè)二維圖像的集合。構(gòu)成視差圖像的各圖像是分別具有對應(yīng)視點(diǎn)的「視點(diǎn)圖像」。即，由多個(gè)視點(diǎn)圖像構(gòu)成視差圖像，若顯示它，就作為立體圖像來顯示。將立體圖像的顯示簡稱為「立體顯示」。
所謂「視差」就是用于產(chǎn)生立體感的參數(shù)，可以有各種定義，作為一例，可以用表示視點(diǎn)圖像間的相同點(diǎn)的像素的移位量來表現(xiàn)。下面，在本說明書中，沒有預(yù)先說明的情形就是按照該定義。
合理視差可以進(jìn)行范圍指定。在這種情況下，將其范圍的兩端叫做「界限視差」?！负侠硪暡畹奶囟ā箍梢杂煤笫龅淖鳛榻媚繕?biāo)視差可以允許的最大值來進(jìn)行。
本發(fā)明的立體圖像處理裝置還可以包括實(shí)施處理，以使特定的合理視差在其他圖像顯示時(shí)也可以實(shí)現(xiàn)的視差控制部。在其他圖像為以三維數(shù)據(jù)為起點(diǎn)而生成的立體圖像時(shí)，視差控制部按照所述合理視差，決定生成其立體圖像的多個(gè)視點(diǎn)，也是可以的。更具體地，可以決定多個(gè)視點(diǎn)間的距離和從這些視點(diǎn)估計(jì)目標(biāo)的光軸交叉位置。這些處理的一例由后述的相機(jī)配置決定部來進(jìn)行。如果將這些處理實(shí)時(shí)地進(jìn)行，則總可以實(shí)現(xiàn)最佳的立體顯示。
視差控制部可以對成為顯示對象的規(guī)定的基本三維空間進(jìn)行控制，以便實(shí)現(xiàn)合理視差。該處理的一例由后述的投影處理部來進(jìn)行。
視差控制部可以是在三維空間中，對最近置的目標(biāo)的坐標(biāo)和最遠(yuǎn)置的目標(biāo)的坐標(biāo)進(jìn)行控制，以便實(shí)現(xiàn)所述合理視差。該處理的一例由后述的投影處理部來進(jìn)行。目標(biāo)可以是靜態(tài)的。
所謂「近置」是指附加比分別放置在多個(gè)視點(diǎn)的相機(jī)的視線，即位于光軸交叉位置(下面，也稱「光軸交叉位置」)的面(下面，也稱「光軸交叉面」)靠前的立體視覺的視差的狀態(tài)。相反地，「遠(yuǎn)置」是指附加比光軸交叉面靠后的立體視覺的視差的狀態(tài)。近置目標(biāo)的視差越大，感覺越靠近用戶，遠(yuǎn)置目標(biāo)的視差越大，感覺越遠(yuǎn)離用戶。即，只要沒有特別說明，視差不是在近置、遠(yuǎn)置中正負(fù)反向，而是都定義為非負(fù)值，在光軸交叉面，近置視差、遠(yuǎn)置視差都為零。
對于被顯示的目標(biāo)或空間中、沒有視差的部分，光軸交叉面與顯示裝置的屏幕面一致。這是因?yàn)闆]有附加視差的像素從左右兩眼估計(jì)的視線正好到達(dá)屏幕面內(nèi)的相同位置即在那里交叉的緣故。
在所述其他圖像為已經(jīng)賦予視差的多個(gè)二維圖像的情況下，視差控制部可以按照合理視差，決定那多個(gè)二維圖像的水平方向的移位量。在該方式中，用于立體顯示的輸入不是以三維數(shù)據(jù)為起點(diǎn)、具有高自由度地形成，而是已經(jīng)生成的視差圖像，視差已被固定。在這種情況下，無法回到原來的三維空間或?qū)嶋H攝影的實(shí)際空間，變更相機(jī)位置，重新繪圖或重新攝影。因此，向水平移位構(gòu)成視差圖像的視點(diǎn)圖像或包含其中的像素，以調(diào)整視差。
在所述其他圖像為賦予深度信息的平面圖像(下面也稱「帶有深度信息的圖像」)的情況下，視差控制部也可以按照合理視差調(diào)整其深度。該處理的一例由后述的第三立體圖像處理裝置的二維圖像生成部來進(jìn)行。
該立體圖像處理裝置還包括記錄合理視差的視差保持部，視差控制部可以在規(guī)定的定時(shí)、例如在該置的啟動時(shí)或該置所具備的立體圖像處理功能或其一部分啟動時(shí)，讀入合理視差，將其值作為初始值來實(shí)施處理。即，「啟動」可以是硬件上的含義也可以是軟件上的含義。根據(jù)該方式，用戶一旦決定合理視差，在以后，就可以實(shí)現(xiàn)立體感調(diào)整用的自動處理。這是叫做「合理視差的初始設(shè)定」的功能。
本發(fā)明的其他實(shí)施方式涉及立體圖像處理方法，其中包括向用戶顯示由不同視差而產(chǎn)生的多個(gè)立體圖像的步驟；以用戶對被顯示的立體圖像的應(yīng)答為基礎(chǔ)，特定該用戶相關(guān)的合理視差的步驟。
本發(fā)明的另一實(shí)施方式涉及立體圖像處理方法，其中包括取得依存于用戶的合理視差的步驟；在顯示前對圖像加以處理，以實(shí)現(xiàn)所取得合理視差的步驟。在此，所謂「取得」可以是積極特定的處理，也可以是從所述的視差保持部等讀入的處理。
若構(gòu)成為將這些步驟作為立體顯示用程序庫的功能來安裝，能將該程序庫的功能作為函數(shù)而從多個(gè)程序中調(diào)用，則程序設(shè)計(jì)者沒有必要考慮一個(gè)一個(gè)的立體顯示裝置的硬件而記述程序，是有效的。
本發(fā)明的第二組是以用戶的指示為基礎(chǔ)而調(diào)整視差的技術(shù)作為基本。本技術(shù)可以利用在由用戶進(jìn)行的視差的「手動調(diào)整」，用戶可以適當(dāng)變更顯示中的圖像的立體感。但是，本技術(shù)不限于手動調(diào)整，也可以利用在立體顯示某圖像之際，讀入所述合理視差而自動調(diào)整其圖像的視差時(shí)。和第一組的自動調(diào)整的不同點(diǎn)在于，第二組的自動調(diào)整對二維視差圖像或帶有深度信息的圖像作用，追溯到三維數(shù)據(jù)而變更視差的情況下，利用第一組技術(shù)。下面，涉及第二組。
本發(fā)明的某一方式涉及立體圖像處理裝置，其中包括取得相對從多個(gè)視點(diǎn)圖像顯示立體圖像的用戶指示的指示取得部；按照所取得的指示，改變所述多個(gè)視點(diǎn)圖像間的視差量的視差控制部。該處理的一例在后述的圖45中表示，是「手動調(diào)整」的典型例。用戶的指示例如是以按鈕操作等簡單的GUI來提供的話，則方便性高。
本發(fā)明的其他方式涉及立體圖像處理裝置，其中包括檢測從多個(gè)視點(diǎn)圖像顯示立體圖像時(shí)所產(chǎn)生的第一視差量的視差量檢測部；改變所述多個(gè)視點(diǎn)圖像之間視差量，以使第一視差量進(jìn)入作為用戶允許視差量的第二視差量范圍內(nèi)的視差控制部。這是「自動調(diào)整」的典型例，作為第二視差量可以利用所述合理視差。該處理的一例在后述的圖46中表示。
視差量檢測部可以檢測第一視差量的最大值，視差控制部改變多個(gè)視點(diǎn)圖像間的視差量，以使其最大值不超過第二視差量的最大值。為了避免由于過度附加視差的過度立體感，意圖保持視差量的最大值即界限視差。在此所說的最大值可以認(rèn)為是近置側(cè)的最大值。
視差量檢測部可以在多個(gè)視點(diǎn)圖像間計(jì)算對應(yīng)點(diǎn)匹配，來檢測第一視差量，或檢測多個(gè)視點(diǎn)圖像的任一標(biāo)題上預(yù)先記錄的第一視差量。這些處理的一例在后述的圖47中表示。
視差控制部可以通過移位多個(gè)視點(diǎn)圖像的合成位置，來改變多個(gè)視點(diǎn)圖像間的視差量。這在圖45～47中是共同的。合成位置的移位是以像素或像素全體為單位的水平或垂直方向的移位。在輸入為帶有深度信息的圖像的情況下，視差控制部可以調(diào)整深度信息來改變視差量。
本發(fā)明的其他方式涉及立體圖像處理方法，其中包括取得相對以多個(gè)視點(diǎn)圖像為基礎(chǔ)而進(jìn)行顯示的立體圖像的用戶指示的步驟；按照所取得的指示，改變所述多個(gè)視點(diǎn)圖像之間的視差量的步驟。
本發(fā)明的另一方式也涉及立體圖像處理方法，其中包括檢測從多個(gè)視點(diǎn)圖像顯示立體圖像時(shí)所產(chǎn)生的第一視差量的步驟；改變所述多個(gè)視點(diǎn)圖像之間的視差量，以使第一視差量進(jìn)入作為用戶允許視差量的第二視差量范圍的步驟。
可以構(gòu)成為將這些步驟作為立體顯示用程序庫的功能來安裝，能從多個(gè)程序中將該程序庫的功能作為函數(shù)而調(diào)用。
本發(fā)明的第三組以根據(jù)圖像內(nèi)的位置來修正視差的技術(shù)作為基本。該「自動修正」以減輕用戶對立體顯示的不協(xié)調(diào)感或拒絕感的方式進(jìn)行作用，可以和第一、第二組的技術(shù)并用。指出一般在立體顯示時(shí)，越靠近圖像端部，越將多個(gè)視點(diǎn)圖像觀察為錯(cuò)開，或容易產(chǎn)生不協(xié)調(diào)感等技術(shù)上或生理上的問題。在第三組中，通過在靠近圖像端的部分減少視差，或使目標(biāo)從近位置側(cè)向遠(yuǎn)位置側(cè)移動的方式來調(diào)整視差等處理，從而減輕該問題。下面，涉及第三組。
本發(fā)明的某一方式涉及立體圖像處理裝置，其中包括修正用來顯示立體圖像的多個(gè)視點(diǎn)圖像之間的視差的視差控制部；保持視差控制部在進(jìn)行該處理時(shí)應(yīng)參照的修正圖像的圖像保持部，該修正圖像記述為根據(jù)視點(diǎn)圖像內(nèi)的位置來修正視差。在修正圖像里有視差修正圖像、距離感修正圖像等。
視差控制部例如以在多個(gè)視點(diǎn)圖像的邊緣部減小視差或感覺目標(biāo)距離用戶遠(yuǎn)的方式來改變視差。視差控制部通過對多個(gè)視點(diǎn)圖像的任一個(gè)選擇性地實(shí)施處理，從而改變視差。
在多個(gè)視點(diǎn)圖像為從三維數(shù)據(jù)生成的圖像，即回到三維空間可以生成視點(diǎn)圖像的情況下，視差控制部在生成多個(gè)視點(diǎn)圖像時(shí)，可以控制相機(jī)參數(shù)來改變視差。作為相機(jī)參數(shù)，有左右相機(jī)的間隔、從相機(jī)到估計(jì)目標(biāo)的角度或光軸交叉位置等。
同樣，在多個(gè)視點(diǎn)圖像從三維數(shù)據(jù)生成的情況下，視差控制部在生成多個(gè)視點(diǎn)圖像時(shí)，可以通過將三維空間自體例如在宇宙坐標(biāo)系中畸變來改變視差。另一方面，多個(gè)視點(diǎn)圖像從帶有深度信息的圖像生成的情況下，視差控制部可以通過操作其深度信息來改變視差。
本發(fā)明的其他方式涉及立體圖像處理方法，其中包括取得用于顯示立體圖像的多個(gè)視點(diǎn)圖像的步驟；根據(jù)那些視點(diǎn)圖像內(nèi)的位置來改變所取得所述多個(gè)視點(diǎn)圖像之間的視差的步驟?？梢詷?gòu)成為將這些步驟作為立體顯示用程序庫的功能來安裝，能從多個(gè)程序中作為函數(shù)調(diào)用這些程序庫的功能。
本發(fā)明的第四組涉及將第一～第三組及其關(guān)聯(lián)功能作為軟件程序庫來提供，以減輕程序設(shè)計(jì)者和用戶的負(fù)擔(dān)，促進(jìn)立體圖像顯示應(yīng)用程序普及的技術(shù)。下面，涉及第四組。
本發(fā)明的某一方式涉及立體圖像處理方法，其中將立體圖像顯示關(guān)聯(lián)的信息保持在存儲器上，在多個(gè)不同的程序中共有該被保持的信息，在那些程序中的任一個(gè)顯示立體圖像時(shí)，參照被保持的信息，決定應(yīng)輸出的圖像的狀態(tài)。圖像狀態(tài)的例子是在視差圖像中已賦予某種程度視差等的程度。
「被保持信息」可以包括輸入導(dǎo)立體圖像顯示裝置的格式、視點(diǎn)圖像的顯示順序、視點(diǎn)圖像間的視差量的任一信息。另外，在共有被保持信息的基礎(chǔ)上，多個(gè)程序還可以共有立體圖像顯示固有的處理?！噶Ⅲw圖像顯示固有的處理」的一例是用來決定被保持信息的處理。另一例是用來決定合理視差的圖示用戶接口相關(guān)處理、支援合理視差狀態(tài)的實(shí)現(xiàn)的視差調(diào)整用畫面的顯示處理、檢測用戶的頭部位置并進(jìn)行追蹤的處理、顯示用來調(diào)整立體顯示裝置的圖像的處理等。
本發(fā)明的其他方式涉及立體圖像處理裝置，其中包括向用戶提供用來調(diào)整立體顯示圖像的圖示用戶接口的立體感調(diào)整部；以保持判明用戶的立體感調(diào)整結(jié)果的界限視差的形式，生成視差圖像的視差控制部。
該裝置還可以包括取得為了合理化立體圖像顯示而應(yīng)參照的信息的信息檢測部；按照所取得的信息，變換所述視差控制部中生成的視差圖像格式的變換部。
視差控制部可以根據(jù)三維數(shù)據(jù)來控制相機(jī)參數(shù)，一邊保持界限視差一邊生成視差圖像；也可以控制帶有深度信息的圖像的深度來生成視差圖像；也可以決定有視差的多個(gè)二維圖像的水平移位量后生成視差圖像。
本發(fā)明的第五組涉及利用了上述立體圖像處理技術(shù)或其關(guān)聯(lián)技術(shù)的一個(gè)應(yīng)用程序或商業(yè)模型。能利用第四組的軟件程序庫。下面，涉及第五組。
本發(fā)明的某方式涉及立體圖像處理方法，其中將用來立體顯示視差圖像的合理視差暫時(shí)變換為不依靠顯示裝置硬件的表現(xiàn)形式，并使該表現(xiàn)形式的合理視差在不同的顯示裝置間流通。
本發(fā)明的其他方式涉及立體圖像處理方法，其中包括將由第一顯示裝置取得的用戶的合理視差讀入第二顯示裝置的步驟；根據(jù)所述合理視差，在第二顯示裝置中調(diào)整視差圖像間的視差的步驟；從第二顯示裝置輸出調(diào)整后的視差圖像的步驟。例如，第一顯示裝置為用戶通常使用的裝置，第二顯示裝置為設(shè)在其他場所的裝置。另外，還可以包括將第一顯示裝置的硬件相關(guān)信息讀入第二顯示裝置的步驟；以讀入的第一顯示裝置的相關(guān)硬件信息和第二顯示裝置的相關(guān)硬件信息為基礎(chǔ)，將在調(diào)整視差圖像的視差的步驟中調(diào)整過視差的視差圖像，在第二顯示裝置中，根據(jù)合理視差修正視差的步驟。
另外，硬件相關(guān)信息可以包含顯示畫面大小、顯示裝置的最佳觀察距離、顯示裝置的圖像分離性能等中的至少任一個(gè)。
本發(fā)明的另一方式涉及立體圖像處理裝置，其中包括通過網(wǎng)絡(luò)連接的第一顯示裝置、第二顯示裝置和服務(wù)器，第一顯示裝置將由該裝置取得的用戶的合理視差信息發(fā)送到服務(wù)器，服務(wù)器接收合理視差信息后，將這個(gè)信息與用戶加以關(guān)聯(lián)進(jìn)行記錄，在用戶利用第二顯示裝置要求圖像數(shù)據(jù)的輸出時(shí)，該裝置從服務(wù)器讀出其用戶的合理視差信息而調(diào)整視差后，輸出視差圖像。
本發(fā)明的第六組將提出利用立體圖像的新的表現(xiàn)方法的技術(shù)作為基本。
本發(fā)明的某方式涉及立體圖像處理裝置。該立體圖像處理裝置是以對應(yīng)于不同視差的多個(gè)視點(diǎn)圖像為基礎(chǔ)，顯示立體圖像的立體圖像處理裝置，其中包括在利用該立體圖像顯示裝置顯示所述立體圖像時(shí)，取得被推薦視差范圍的推薦視差取得部；設(shè)定視差，以使所述立體顯示圖像顯示在所取得的推薦視差范圍內(nèi)的視差控制部。
另外，還可以包括由用戶接受包含在所述立體圖像中的規(guī)定目標(biāo)指定的目標(biāo)指定部；設(shè)定所述光軸交叉位置，以使分別與所述多個(gè)視點(diǎn)圖像建立關(guān)系的光軸交叉位置和被指定的目標(biāo)位置對應(yīng)，同時(shí)，被指定的目標(biāo)表現(xiàn)在顯示立體圖像的顯示畫面位置附近的光軸交叉位置設(shè)定部。
此外，還可以包括指定信息附加部，其針對被指定目標(biāo)，將其目標(biāo)與所述光軸交叉位置對應(yīng)，且將記述所述目標(biāo)表現(xiàn)在顯示畫面位置附近的意思的光軸對應(yīng)信息與所述目標(biāo)加以關(guān)聯(lián)。
另外，光軸交叉位置設(shè)定部也可以是取得光軸對應(yīng)信息，光軸交叉位置對應(yīng)于記述在所取得的光軸對應(yīng)信息的目標(biāo)，同時(shí)，將對應(yīng)了光軸交叉位置的目標(biāo)，表現(xiàn)在顯示所述立體圖像的顯示畫面位置附近。
再有，還可以包括識別信息取得部，其取得與生成所述立體圖像時(shí)所利用的圖像數(shù)據(jù)相關(guān)聯(lián)，且包括是否應(yīng)該在包含所述立體圖像所含目標(biāo)中的應(yīng)立體顯示目標(biāo)的基本表現(xiàn)空間內(nèi)表現(xiàn)的信息的識別信息，視差控制部可以在立體圖像中表現(xiàn)目標(biāo)時(shí)反映所取得的識別信息。
還有，識別信息還可以包含在基本表現(xiàn)空間內(nèi)表現(xiàn)所述目標(biāo)時(shí)的定時(shí)相關(guān)的信息，識別信息取得部可以在立體圖像中表現(xiàn)目標(biāo)時(shí)，反映所取得的定時(shí)。
本發(fā)明的其他方式涉及立體圖像處理方法。該立體圖像處理方法，能夠選擇以對應(yīng)于不同視差的多個(gè)視點(diǎn)圖像為基礎(chǔ)顯示的立體圖像內(nèi)所含的規(guī)定目標(biāo)，在選擇完目標(biāo)的情況下，使分別與所述多個(gè)視點(diǎn)圖像建立聯(lián)系的光軸交叉位置與被選擇的目標(biāo)位置上對應(yīng)，同時(shí)，使其光軸交叉位置和顯示立體圖像的顯示畫面位置一致。根據(jù)該立體圖像處理方法，可以將顯示畫面設(shè)定在遠(yuǎn)位置空間和近位置空間的邊界上，目標(biāo)超越顯示畫面而朝向觀察者的表現(xiàn)成為可能。
另外，指定目標(biāo)具有規(guī)定的界面，光軸交叉位置設(shè)定部可以在界面上對應(yīng)光軸交叉位置。此外，立體圖像可以以三維數(shù)據(jù)為起點(diǎn)而生成。在三維數(shù)據(jù)為起點(diǎn)而生成立體圖像的情況下，容易在立體圖像中增加各種效果。例如，在某一目標(biāo)表現(xiàn)為越過界面即顯示畫面時(shí)，可以增加使其顯示畫面變形的效果。
本發(fā)明的另一方式也涉及立體圖像處理方法。該立體圖像處理方法，在顯示以對應(yīng)于不同視差的多個(gè)視點(diǎn)圖像為基礎(chǔ)生成的立體圖像的顯示畫面附近，作為立體圖像的一部分，設(shè)定空間與空間隔開的界面，同時(shí)，將其界面作為近位置空間與遠(yuǎn)位置空間的邊界，來表現(xiàn)立體圖像。另外，界面可以是物質(zhì)與物質(zhì)的邊界面，也可以是薄板。作為薄板，有玻璃板或紙等。
本發(fā)明的其他方式也涉及立體圖像處理方法。該立體圖像處理方法，還包括在近位置或遠(yuǎn)位置方向變更包含在以對應(yīng)于不同視差的多個(gè)視點(diǎn)圖像為基礎(chǔ)而生成的立體圖像中、且在包含應(yīng)立體顯示目標(biāo)的基本表現(xiàn)空間內(nèi)應(yīng)表現(xiàn)的目標(biāo)的移動速度的步驟。
本發(fā)明的另一方式也涉及立體圖像處理方法。該立體圖像處理方法在以對應(yīng)于不同視差的多個(gè)視點(diǎn)圖像為基礎(chǔ)來生成立體圖像時(shí)，以便表現(xiàn)為將包含應(yīng)立體顯示目標(biāo)的基本表現(xiàn)空間內(nèi)應(yīng)表現(xiàn)目標(biāo)收納在規(guī)定的視差范圍內(nèi)，一邊將所述基本表現(xiàn)空間的最前面或最后面的至少一個(gè)面設(shè)定在目標(biāo)不存在的位置上。
本發(fā)明的又一方式也涉及立體圖像處理方法。該立體圖像處理方法在一對應(yīng)于不同視差的多個(gè)視點(diǎn)圖像為基礎(chǔ)來生成立體圖像之際，在計(jì)算包含應(yīng)立體顯示目標(biāo)的基本表現(xiàn)空間內(nèi)應(yīng)表現(xiàn)目標(biāo)的視差時(shí)，替換為目標(biāo)的實(shí)際尺寸之后，作為包含目標(biāo)的前方擴(kuò)展區(qū)域的尺寸而計(jì)算目標(biāo)的視差。另外，通過以包含目標(biāo)的前方擴(kuò)展區(qū)域的形式，移動目標(biāo)，從而在位于基本表現(xiàn)空間的最前面后，目標(biāo)進(jìn)一步向前方移動的情況下，可以將目標(biāo)表現(xiàn)為移動前方擴(kuò)展區(qū)域。
本發(fā)明的再一方式也涉及立體圖像處理方法。該立體圖像處理方法在以對應(yīng)于不同視差的多個(gè)視點(diǎn)圖像為基礎(chǔ)而生成立體圖像之際，在計(jì)算包含應(yīng)立體顯示目標(biāo)的基本表現(xiàn)空間內(nèi)應(yīng)表現(xiàn)目標(biāo)的視差時(shí)，替換為目標(biāo)的實(shí)際尺寸之后，作為包含目標(biāo)的后方擴(kuò)展區(qū)域的尺寸而計(jì)算目標(biāo)的視差。另外，通過以包含目標(biāo)的前方擴(kuò)展區(qū)域的形式來移動目標(biāo)，從而在位于基本表現(xiàn)空間的最后面后，目標(biāo)進(jìn)一步向后方移動的情況下，可以將目標(biāo)表現(xiàn)為移動后方擴(kuò)展區(qū)域。
本發(fā)明的第七組以根據(jù)圖像的狀態(tài)，調(diào)整應(yīng)設(shè)定視差的技術(shù)作為基本。
本發(fā)明的某一方式涉及立體圖像處理裝置。該立體圖像處理裝置具備視差控制部，其在由三維數(shù)據(jù)生成立體圖像時(shí)，進(jìn)行控制，以使視差不比表現(xiàn)在所述立體圖像內(nèi)的目標(biāo)的寬度與深度之比被人類眼睛正確感知范圍內(nèi)的視差大的視差控制部。
本發(fā)明的其他方式也涉及立體圖像處理裝置。這個(gè)立體圖像處理裝置具備視差控制部，其在用賦予了深度信息的二維圖像來生成立體圖像時(shí)，進(jìn)行控制，以使視差不比表現(xiàn)在所述立體圖像內(nèi)的目標(biāo)的寬度與深度之比被人類眼睛正確知覺范圍內(nèi)的視差大的視差控制部。
本發(fā)明的又一方式也涉及立體圖像處理裝置。該立體圖像處理裝置具備將以對應(yīng)于不同視差的多個(gè)視點(diǎn)圖像為基礎(chǔ)應(yīng)顯示的立體圖像，進(jìn)行頻率分析的圖像判定部；根據(jù)由頻率分析判明的高頻成分的量，調(diào)整視差量的視差控制部。另外，視差控制部在高頻成分的量多的情況下，可以進(jìn)行增大視差量的調(diào)整。
本發(fā)明的另一方式也涉及立體圖像處理裝置。該立體圖像處理裝置具備檢測以對應(yīng)于不同視差的多個(gè)視點(diǎn)圖像為基礎(chǔ)進(jìn)行顯示的立體圖像的動向的圖像判定部；根據(jù)所述立體圖像的動向的量，調(diào)整視差量的視差控制部。另外，視差控制部可以在所述立體圖像的動向的量少的情況下，進(jìn)行減小視差量的調(diào)整。
本發(fā)明的又一方式也涉及立體圖像處理裝置。該立體圖像處理裝置是在用數(shù)據(jù)生成立體圖像時(shí)，在變更為了生成視差圖像而設(shè)定的相機(jī)配置相關(guān)參數(shù)的情況下，控制相機(jī)參數(shù)，以使所述參數(shù)變動收納在預(yù)先設(shè)定的閾值以內(nèi)。根據(jù)該裝置，可以減少視差急劇變化而令立體圖像的觀察者感到不協(xié)調(diào)感的現(xiàn)象。
本發(fā)明的再一方式也涉及立體圖像處理裝置。該立體圖像處理裝置在用賦予了深度信息的二維動態(tài)圖像來生成立體圖像時(shí)，控制伴隨二維動態(tài)圖像的進(jìn)展而產(chǎn)生的、包含在深度信息內(nèi)的深度的最大值或最小值的變動，以使其收納在預(yù)先設(shè)定的閾值以內(nèi)。根據(jù)該裝置，可以減少視差急劇變化而使立體圖像的觀察者感到不協(xié)調(diào)感的現(xiàn)象。
本發(fā)明的另一方式涉及立體圖像處理方法。該立體圖像處理方法以一個(gè)場景為單位設(shè)定以對應(yīng)于不同視差的多個(gè)視點(diǎn)圖像為基礎(chǔ)而進(jìn)行顯示的立體圖像的合理視差。
本發(fā)明的其他方式涉及立體圖像處理方法。該立體圖像處理方法以規(guī)定時(shí)間間隔為單位設(shè)定以對應(yīng)于不同視差的多個(gè)視點(diǎn)圖像為基礎(chǔ)而顯示的立體圖像的合理視差。
本發(fā)明的又一方式涉及立體圖像處理裝置。該立體圖像處理裝置包括在輸入成為立體圖像的起點(diǎn)的初始數(shù)據(jù)時(shí)，設(shè)定用于生成多個(gè)視點(diǎn)圖像的多個(gè)假想相機(jī)配置的相機(jī)配置設(shè)定部；判定在分別對應(yīng)于假想相機(jī)而生成的視點(diǎn)圖像中是否產(chǎn)生不存在應(yīng)顯示目標(biāo)信息的區(qū)域的目標(biāo)區(qū)域判定部；產(chǎn)生不存在應(yīng)顯示目標(biāo)信息的區(qū)域的情況下，調(diào)整假想相機(jī)的視場角、相機(jī)間隔、和光軸交叉位置中的至少一個(gè)，以便消除不存在目標(biāo)信息區(qū)域的相機(jī)參數(shù)調(diào)整部。
另外，上述構(gòu)成要素的任意組合，在方法、裝置、系統(tǒng)、記錄介質(zhì)、計(jì)算機(jī)程序之間變換本發(fā)明的表現(xiàn)，作為本發(fā)明的方式也是有效的。


上述目的和其他目的、特征以及優(yōu)點(diǎn)通過下面要敘述的最佳實(shí)施方式和附圖可以更清楚。
圖1是表示可以實(shí)現(xiàn)理想的立體視覺的用戶、屏幕、再生目標(biāo)14的位置關(guān)系的圖。
圖2是表示實(shí)現(xiàn)圖1狀態(tài)的攝影系統(tǒng)的例子的圖。
圖3是表示實(shí)現(xiàn)圖1狀態(tài)的攝影系統(tǒng)的其他例子的圖。
圖4是表示實(shí)現(xiàn)圖1狀態(tài)的攝影系統(tǒng)的其他例子的圖。
圖5是表示利用在第一立體圖像處理裝置中的模型坐標(biāo)系的圖。
圖6是表示利用在第一立體圖像處理裝置中的宇宙坐標(biāo)系的圖。
圖7是表示利用在第一立體圖像處理裝置中的相機(jī)坐標(biāo)系的圖。
圖8是表示利用在第一立體圖像處理裝置中的視量的圖。
圖9是表示圖8的量的透視變換后的坐標(biāo)系的圖。
圖10是表示利用在第一立體圖像處理裝置中的屏幕坐標(biāo)系的圖。
圖11是第一立體圖像處理裝置的構(gòu)成圖。
圖12是第二立體圖像處理裝置的構(gòu)成圖。
圖13是第三立體圖像處理裝置的構(gòu)成圖。
圖14(a)、圖14(b)分別表示由第一立體圖像處理裝置的立體感調(diào)整部顯示的左眼圖像和右眼圖像的圖。
圖15是表示由第一立體圖像處理裝置的立體感調(diào)整部顯示的、具有不同視差的多個(gè)目標(biāo)的圖。
圖16是表示由第一立體圖像處理裝置的立體感調(diào)整部顯示的、視差變化的目標(biāo)的圖。
圖17是表示實(shí)現(xiàn)合理視差時(shí)的表示相機(jī)視場角、圖像尺寸、視差之間關(guān)系的圖。
圖18是表示實(shí)現(xiàn)圖17狀態(tài)的攝影系統(tǒng)的位置關(guān)系的圖。
圖19是表示實(shí)現(xiàn)圖17狀態(tài)的攝影系統(tǒng)的位置關(guān)系的圖。
圖20是表示用合理視差生成多視點(diǎn)圖像時(shí)的相機(jī)配置的圖。
圖21是表示第一立體圖像處理裝置的畸變處理部所利用的視差修正圖像的圖。
圖22是表示按照圖21的視差修正圖像來生成視差圖像時(shí)的相機(jī)視點(diǎn)的圖。
圖23是表示按照圖21的視差修正圖像而生成視差圖像時(shí)的其他相機(jī)視點(diǎn)的圖。
圖24是表示第一立體圖像處理裝置的畸變處理部所利用的視差修正圖像的圖。
圖25是表示按照圖24的視差修正圖像而生成視差圖像時(shí)的相機(jī)視點(diǎn)的圖。
圖26是表示第一立體圖像處理裝置的畸變處理部所利用的距離感修正圖像的圖。
圖27是表示按照圖26的距離感修正圖像而生成視差圖像時(shí)的相機(jī)視點(diǎn)的圖。
圖28是表示第一立體圖像處理裝置的畸變處理部所利用的距離感修正圖像的圖。
圖29是表示按照圖28的距離感修正圖像而生成視差圖像時(shí)的相機(jī)視點(diǎn)的圖。
圖30(a)、圖30(b)、圖30(c)、圖30(d)、圖30(e)、圖30(f)都是第一立體圖像處理裝置的畸變處理部對三維空間實(shí)施處理的結(jié)果所得到的視差分布的俯視圖。
圖31是表示第一立體圖像處理裝置的畸變處理部所進(jìn)行的處理的原理的圖。
圖32是具體表示圖31的處理的圖。
圖33是具體表示圖31的處理的圖。
圖34是具體表示圖31的處理的圖。
圖35是表示第一立體圖像處理裝置的畸變處理部所進(jìn)行的處理的其他例子的圖。
圖36是具體表示圖35的處理的圖。
圖37是表示深度圖像的圖。
圖38是表示由第三立體圖像處理裝置的畸變處理部所進(jìn)行的處理的例子的圖。
圖39是表示由第三立體圖像處理裝置的畸變處理部進(jìn)行的處理而生成的深度圖像的圖。
圖40是表示由第三立體圖像處理裝置的畸變處理部進(jìn)行的處理的其他例子的圖。
圖41是表示第二立體圖像處理裝置的二維圖像生成部所進(jìn)行的處理的例子的圖。
圖42是表示視差圖像的例子的圖。
圖43是表示由第二立體圖像處理裝置的二維圖像生成部移位合成位置的視差圖像的圖。
圖44是表示第二立體圖像處理裝置的圖像端調(diào)整部的處理的圖。
圖45是表示第二立體圖像處理裝置的處理的圖。
圖46是表示第二立體圖像處理裝置的其他處理的圖。
圖47是表示第二立體圖像處理裝置的其他處理的圖。
圖48是表示附加了深度圖像的平面圖像的圖。
圖49是表示深度圖像的圖。
圖50是表示在第二立體圖像處理裝置的二維圖像生成部中，以深度圖像為基礎(chǔ)，生成視差圖像的形態(tài)的圖。
圖51是表示在第二立體圖像處理裝置的二維圖像生成部中所修正的深度圖像的圖。
圖52是表示將實(shí)施方式的立體圖像處理裝置程序庫化之后利用的形態(tài)的圖。
圖53是將立體顯示程序庫組裝在三維數(shù)據(jù)軟件中的構(gòu)成圖。
圖54是表示將立體顯示程序庫利用在網(wǎng)絡(luò)利用型系統(tǒng)中的形態(tài)的圖。
圖55是表示在顯示畫面上顯示由三維數(shù)據(jù)所構(gòu)成的圖像的狀態(tài)的圖。
圖56是表示在顯示畫面上顯示由三維數(shù)據(jù)所構(gòu)成的圖像的其他狀態(tài)的圖。
圖57是表示在顯示畫面上顯示由三維數(shù)據(jù)所構(gòu)成的圖像的其他狀態(tài)的圖。
圖58是表示使具有應(yīng)顯示目標(biāo)的界面和顯示畫面一致的方法的圖。
圖59是表示使兩個(gè)假想相機(jī)的光軸交叉位置與水槽的一個(gè)面一致而攝影圖像的其他方式的圖。
圖60是第四立體圖像處理裝置的構(gòu)成圖。
圖61是涉及用第四立體圖像處理裝置顯示的圖像，對基本表現(xiàn)空間T簡單表示的圖。
圖62是表示使不存在任何目標(biāo)的區(qū)域包含在基本表現(xiàn)空間T內(nèi)而進(jìn)行表現(xiàn)的圖。
圖63是表示使不存在任何目標(biāo)的區(qū)域包含在基本表現(xiàn)空間T內(nèi)而進(jìn)行表現(xiàn)的圖。
圖64是表示作為計(jì)算視差的對象，以不僅是鳥還包括其前后空間的形式，形成移動目標(biāo)的形態(tài)的圖。
圖65是表示移動目標(biāo)越過前方投影面之后，將預(yù)先包含的空間向鳥330移動的形態(tài)的圖。
圖66是表示在顯示畫面中，觀察者觀察立體圖像的形態(tài)的圖。
圖67是表示由相機(jī)配置決定部決定的相機(jī)配置的圖。
圖68是表示觀察者觀察圖67的相機(jī)配置中所獲得的視差圖像的形態(tài)的圖。
圖69是表示將圖67的相機(jī)配置中獲得合理視差的圖像，在圖66所示的觀察者的位置，觀察者觀察顯示畫面的形態(tài)的圖。
圖70是表示在圖67所示的相機(jī)配置中，攝影位于從顯示畫面的距離為A的球的最近位置點(diǎn)的形態(tài)的圖。
圖71是表示兩個(gè)相機(jī)與相機(jī)的光軸公差距離和獲得圖70所示的視差所必需的相機(jī)間隔之間的關(guān)系的圖。
圖72是表示在圖67所示的相機(jī)配置中，攝影位于從顯示畫面的距離為T-A的球的最遠(yuǎn)位置點(diǎn)的形態(tài)的圖。
圖73是表示兩個(gè)相機(jī)與相機(jī)的光軸公差距離和獲得圖72所示的視差所必需的相機(jī)間隔E1之間的關(guān)系的圖。
圖74是表示在合理視差范圍內(nèi)設(shè)定立體圖像的視差所必需的相機(jī)參數(shù)之間的關(guān)系的圖。
圖75是表示在合理視差范圍內(nèi)設(shè)定立體圖像的視差所必需的相機(jī)參數(shù)之間的關(guān)系的圖。
圖76是第五立體圖像處理裝置的構(gòu)成圖。
圖77是表示由制作三維數(shù)據(jù)的制作者設(shè)定的臨時(shí)相機(jī)位置、視場角、和從第一到第三目標(biāo)之間的關(guān)系的圖。
圖78是由圖77中所決定的臨時(shí)相機(jī)位置為基礎(chǔ)，配置兩個(gè)假想相機(jī)的狀態(tài)的圖。
圖79是表示調(diào)整相機(jī)配置，以便不產(chǎn)生沒有存在目標(biāo)信息的區(qū)域的狀態(tài)的圖。
圖80是表示視場角調(diào)整的處理的圖。
圖81是表示在娛樂設(shè)施或照相館等中，攝影立體相片的立體相片攝影裝置與被拍攝體之間的關(guān)系的圖。
圖82是第六立體圖像處理裝置的構(gòu)成圖。
圖83是表示用遙控操作來操作相機(jī)，以立體圖像顯示裝置觀察所攝影的圖像的形態(tài)的圖。
圖84是表示利用具備第六立體圖像處理裝置的立體圖像攝影裝置攝影的一例的圖。
圖85是表示用照度計(jì)測定圖像分辨率的形態(tài)的圖。
圖86是表示在圖像分辨率的測定中利用的莫爾條紋(干涉條紋)圖像的圖。
圖87是表示合理視差的變形例的圖。
圖88是表示合理視差的其他變形例的圖。
圖89是表示簡易決定視差和基本表現(xiàn)空間時(shí)利用的表格的圖。
發(fā)明的
具體實(shí)施例方式
圖1表示用戶10、屏幕12、被立體顯示的再生目標(biāo)14之間的位置關(guān)系。用戶10的兩眼間距離為E，用戶10與屏幕12距離為D，被顯示時(shí)的再生目標(biāo)14的寬度為W。因?yàn)樵偕繕?biāo)14被立體顯示，故具有比屏幕12還要近地感知的像素、即近置的像素；和比屏幕12還要遠(yuǎn)地感知的像素、即遠(yuǎn)置的像素。由于在屏幕12上從兩眼正好看到相同的位置，故沒有附加視差的像素在屏幕12上被感知。
圖2表示用來生成圖1的理想顯示的攝影系統(tǒng)。設(shè)兩臺相機(jī)22、24的間隔為E，從那些到看到現(xiàn)實(shí)目標(biāo)20時(shí)的光軸交叉位置為止的距離(叫做光軸交叉距離)為D，若以和屏幕12相同的寬度估計(jì)視場角，攝影寬度實(shí)際為W的目標(biāo)20，則從兩臺相機(jī)可以獲得視差圖像。將其顯示在圖1的屏幕12上，實(shí)現(xiàn)圖1的理想狀態(tài)。
圖3、圖4分別表示將圖2的位置關(guān)系放大A倍(A＜1)、B倍(B＞1)的狀態(tài)。在從這些位置關(guān)系得到的視差圖像中也可以實(shí)現(xiàn)圖1的理想狀態(tài)。即，理想的立體顯示的基本是從使W:D:E恒定開始的。該關(guān)系也成為視差附加方法的基礎(chǔ)。
圖5至圖10表示在實(shí)施方式中，到以目標(biāo)20的三維數(shù)據(jù)為基礎(chǔ)進(jìn)行立體顯示為止的處理的主要內(nèi)容。
圖5是模型坐標(biāo)系，即每一個(gè)三維目標(biāo)20所具有的坐標(biāo)空間。在該空間中，提供模型化目標(biāo)20時(shí)的坐標(biāo)。通常將目標(biāo)20的中心作為原點(diǎn)。
圖6表示宇宙坐標(biāo)系。宇宙空間是配置目標(biāo)20或地板、墻壁而形成一個(gè)場景的廣闊的空間。到圖5的模型化和圖6的宇宙坐標(biāo)系的確定為止，可以理解為「三維數(shù)據(jù)的構(gòu)筑」。
圖7表示相機(jī)坐標(biāo)系。通過從宇宙坐標(biāo)系的任意的位置以任意視場角沿任意方向安裝相機(jī)22，而變換為相機(jī)坐標(biāo)系。相機(jī)的位置、方向、視場角為相機(jī)參數(shù)。在立體顯示的情況下，由于針對兩個(gè)相機(jī)決定參數(shù)，故也要決定相機(jī)間隔和光軸交叉位置。并且，為了使兩個(gè)相機(jī)的中點(diǎn)變?yōu)樵c(diǎn)，也進(jìn)行原點(diǎn)移動。
圖8、圖9表示透視坐標(biāo)系。首先，如圖8所示，以前方投影面30和后方投影面32剪輯(clipping)應(yīng)顯示的空間。如后所述，實(shí)施方式的一個(gè)特征在于，將具有近位置最大視差點(diǎn)的面作為前方投影面30，將具有遠(yuǎn)位置最大視差點(diǎn)的面作為后方投影面32。剪輯后，如圖9所示，將該視量變換為長方體。將圖8和圖9的處理也稱為投影處理。
圖10表示屏幕坐標(biāo)系。在立體顯示的情況下，將多個(gè)相機(jī)各自的圖像變換為各自屏幕所具有的坐標(biāo)系，生成多個(gè)二維圖像即視差圖像。
圖11、圖12、圖13分別表示一部分不同的立體圖像處理裝置100的構(gòu)成。為了方便，下面將這些立體圖像處理裝置100也分別稱為第一、第二、第三立體圖像處理裝置100。這些立體圖像處理裝置100雖然能一體地組裝到裝置內(nèi)，但在此，為了避免圖的復(fù)雜，而分為三個(gè)。第一立體圖像處理裝置100在應(yīng)繪圖目標(biāo)和空間可以從三維數(shù)據(jù)階段取得的情況下有效，因此，將三維數(shù)據(jù)作為主要的輸入。第二立體圖像處理裝置100在已經(jīng)提供視差的多個(gè)二維圖像、即已經(jīng)存在視差圖像的視差調(diào)整中有效，因此，輸入二維的視差圖像。第三立體圖像處理裝置100是操作帶有深度信息的圖像的深度信息而實(shí)現(xiàn)合理視差的裝置，因此，將帶有深度信息的圖像作為主要輸入。將這三種輸入統(tǒng)稱，并記載為「原始數(shù)據(jù)」。
在一體化安裝第一～第三立體圖像處理裝置100的情況下，作為這些的前處理部，設(shè)置「圖像形式判定部」，可以在判定了三維數(shù)據(jù)、視差圖像、帶有深度信息的圖像后，啟動第一～第三立體圖像處理裝置100中的最合適的裝置。
第一立體圖像處理裝置100除了設(shè)定相對立體顯示的立體感以外，還具有「初始設(shè)定」和「自動調(diào)整」的功能。如果用戶對被立體顯示的圖像范圍指定自己的合理視差，則在系統(tǒng)中取得其，以后在顯示其他立體圖像時(shí)，以預(yù)先實(shí)現(xiàn)該合理視差的方式實(shí)施變換處理而被顯示。因此，利用第一立體圖像處理裝置100，用戶原則上只經(jīng)過一次的設(shè)定手續(xù)，以后就可以欣賞適合自己的立體顯示了。
第一立體圖像處理裝置100還具有人工緩和圖像端邊緣部的視差的「視差修正」的副功能。如已經(jīng)敘述的，隨著接近圖像端部，多個(gè)視點(diǎn)圖像的偏移容易被識別為「雙像」。這主要因?yàn)橐暡钭钃鯇?parallax barrier)或顯示裝置的屏幕彎曲等機(jī)構(gòu)誤差。因此，在圖像的邊緣部，實(shí)施如下各種方法1)同時(shí)減少近位置視差和遠(yuǎn)位置視差；2)減少近位置視差而遠(yuǎn)位置視差保持原樣；3)不管近位置視差、遠(yuǎn)位置視差，全體向遠(yuǎn)位置視差一方移位等。另外，在第三立體圖像處理裝置100也有該「視差修正」功能，但由于輸入數(shù)據(jù)的不同而其處理也不同。
第一立體圖像處理裝置100包括以用戶針對立體顯示圖像的應(yīng)答為基礎(chǔ)調(diào)整立體感的立體感調(diào)整部112；保存以立體感調(diào)整部112特定的合理視差的視差信息保持部120；從視差信息保持部120讀出合理視差，從原始數(shù)據(jù)生成具有合理視差的視差圖像的視差控制部114；具有取得顯示裝置的硬件信息，并取得立體顯示的方式的功能的信息取得部118；和以信息取得部118所取得的信息為基礎(chǔ)，變更視差控制部114中所生成的視差圖像的形式的格式變換部116。雖然將原始數(shù)據(jù)簡單稱為三維數(shù)據(jù)，但是嚴(yán)密地說，宇宙坐標(biāo)系中記述的目標(biāo)和空間數(shù)據(jù)相當(dāng)于這些。
作為在信息取得部118中取得的信息的例子，有立體顯示的視點(diǎn)數(shù)、空間分割或時(shí)間分割等的立體顯示裝置的方式、有無快門眼鏡(shutterglasses)的利用、多眼式情況中的視點(diǎn)圖像的排列方式、在視差圖像中是否有視差反轉(zhuǎn)的視點(diǎn)圖像的排列、標(biāo)題跟蹤的結(jié)果等。另外，只是標(biāo)題跟蹤的結(jié)果特殊，通過圖中未示出的路徑，直接輸入到相機(jī)配置決定部132，在那里被處理。
上述的構(gòu)成在硬件上可以用任意計(jì)算機(jī)的CPU、存儲器、其他的LSI來實(shí)現(xiàn)，在軟件上可以用具有GUI功能、視差控制功能和其他功能的程序來實(shí)現(xiàn)，但是，在此，描繪的是利用這些的協(xié)作來實(shí)現(xiàn)的功能塊。因此，同業(yè)人員可以理解這些功能塊可以只利用硬件、只利用軟件或這些的組合的形式來實(shí)現(xiàn)。對于以后的構(gòu)成也是同樣。
立體感調(diào)整部112具有指示取得部122和視差特定部124。指示取得部122在用戶針對立體顯示的圖像指定合理視差的范圍時(shí)，取得這些。視差特定部124是以其范圍為基礎(chǔ)，特定用戶利用該顯示裝置時(shí)的合理視差。合理視差以不依靠顯示裝置硬件的表現(xiàn)形式來表示。通過實(shí)現(xiàn)合理視差，從而適合于用戶生理的立體視覺成為可能。
視差控制部114包括首先臨時(shí)設(shè)定相機(jī)參數(shù)的相機(jī)臨時(shí)配置部130；按照合理視差修正臨時(shí)設(shè)定過的相機(jī)參數(shù)的相機(jī)配置決定部132；決定了相機(jī)參數(shù)時(shí)，進(jìn)行應(yīng)將多個(gè)相機(jī)的中點(diǎn)作為原點(diǎn)的原點(diǎn)移動處理的原點(diǎn)移動部134；進(jìn)行所述投影處理的投影處理部138；投影處理后，進(jìn)行向屏幕坐標(biāo)系的變換處理而生成視差圖像的二維圖像生成部142。另外，根據(jù)需要，在相機(jī)臨時(shí)配置部130與相機(jī)配置決定部132之間設(shè)有為了緩和圖像邊緣部視差，而進(jìn)行空間畸變變換(下面，只稱為畸變變換)的畸變處理部136。畸變處理部136從修正圖像保持部140讀出后述的修正圖像并加以利用。
另外，為了立體顯示，如果有必要調(diào)整顯示裝置，則可以附加為此的圖中未示出的GUI。在該GUI中，可以進(jìn)行上、下、左、右微小移位被顯示的視差圖像全體而確定最佳顯示位置等的處理。
圖12的第二立體圖像處理裝置100將多個(gè)視差圖像作為輸入。將其簡稱為輸入圖像。第二立體圖像處理裝置100讀入第一立體圖像處理裝置100先前所取得的合理視差，調(diào)整輸入圖像的視差，以收納在合理視差范圍內(nèi)，并輸出。在該意義上，第二立體圖像處理裝置100具有視差的「自動調(diào)整」功能。但是，不只是那些，同時(shí)還具有在實(shí)際進(jìn)行立體顯示之際用戶想要變更立體感時(shí)，提供GUI功能，按照用戶的指示，變更視差的「手動調(diào)整」的功能。
已經(jīng)生成完的視差圖像的視差通常并不是可以變更的視差，但根據(jù)第二立體圖像處理裝置100，通過移位構(gòu)成視差圖像的視點(diǎn)圖像的合成位置，從而可以以充分實(shí)用的水準(zhǔn)來變更立體感。第二立體圖像處理裝置100即使在輸入數(shù)據(jù)沒有追溯到三維數(shù)據(jù)的狀況下，也可以發(fā)揮良好的立體感調(diào)整功能。下面，以與第一立體圖像處理裝置100的不同點(diǎn)為中心進(jìn)行敘述。
立體感調(diào)整部112利用于手動調(diào)整。指示取得部122例如在屏幕上實(shí)現(xiàn)「+n」「-n」等的數(shù)值輸入，將該值作為視差的變更量，在視差特定部124中特定。與指示為數(shù)值的立體感之間的關(guān)系，可以考慮幾種。例如，「+n」是加強(qiáng)立體感的指示、「-n」是減弱的指示，n越大則可以使相對立體感的變更量越大。另外，可以是「+n」是向近位置方向全體移動目標(biāo)的指示，「-n」是向遠(yuǎn)位置方向全體移動目標(biāo)的指示。作為其他方法，也可以構(gòu)成為不指定n的值，而只顯示「+」「-」的按鈕，每一次點(diǎn)擊時(shí)，變更視差。
第二立體圖像處理裝置100具有視差量檢測部150和視差控制部152。在輸入圖像為多個(gè)視差圖像的情況下，視差量檢測部150檢查這些視差圖像的標(biāo)題區(qū)域，如果有以像素?cái)?shù)的形式記述的視差量、特別是近位置最大視差像素?cái)?shù)和遠(yuǎn)位置最大視差像素?cái)?shù)，則取得其。如果沒有記述視差量，則匹配部158利用塊匹配等已知的方法，通過在視差圖像間檢測對應(yīng)點(diǎn)，而特定視差量。匹配部158可以只在圖像的中央部等重要區(qū)域?qū)嵤┨幚?，也可以縮小到最重要的近位置最大視差像素?cái)?shù)，進(jìn)行檢測。以像素?cái)?shù)的形式將檢測到的視差量發(fā)送到視差控制部152。
一般，在想要在移動電話機(jī)的顯示畫面上顯示立體圖像的情況下，可以設(shè)想立體感相關(guān)的個(gè)人差小，用戶有時(shí)可能感到輸入合理視差麻煩。另外，即使在在不特定用戶使用的立體顯示裝置中，也可能會感到合理視差的輸入反而不便。這種情況下，可以是立體圖像顯示裝置的制造者或立體圖像顯示裝置應(yīng)顯示內(nèi)容的制作者決定合理視差范圍，或按照一般性的準(zhǔn)則等其他方法來決定。例如，反映立體圖像相關(guān)的業(yè)界團(tuán)體或?qū)W術(shù)團(tuán)體所指定的準(zhǔn)則或標(biāo)準(zhǔn)等。作為其他例子，如果有「在15英寸的顯示畫面中，最大視差為20mm左右」的準(zhǔn)則，則可以舉出按照其準(zhǔn)則或以其準(zhǔn)則為基礎(chǔ)而進(jìn)行修正等的處理。這種情況下，不需要立體感調(diào)整部112。
視差控制部152的位置移位部160向水平方向移位構(gòu)成視差圖像的視點(diǎn)圖像的合成位置，以使視點(diǎn)圖像間的視差量變?yōu)楹侠硪暡睢Ｒ莆豢梢詫θ我灰朁c(diǎn)圖像進(jìn)行。位置移位部160具有其他動作模式，在用戶通過立體感調(diào)整部112指示視差的增加或減少時(shí)，單純按照該指示變更圖像合成位置。即，位置移位部160具有向合理視差的自動調(diào)整和由用戶的手動調(diào)整功能的兩個(gè)功能。
視差寫入部164是為了所述視差量檢測部150或?yàn)榱似渌猛荆跇?gòu)成視差圖像的多個(gè)視點(diǎn)圖像的任一標(biāo)題區(qū)域，以像素?cái)?shù)來寫入視差量。圖像端調(diào)整部168填補(bǔ)由于位置移位部160的移位所引起的在圖像端產(chǎn)生的像素的欠缺。
圖13的第三立體圖像處理裝置100將帶有深度信息的圖像作為輸入。第三立體圖像處理裝置100調(diào)整深度，以便實(shí)現(xiàn)合理視差。并且，具有所述「視差修正」功能。視差控制部170的畸變處理部174按照保存在修正圖像保持部176內(nèi)的修正圖像，以后述的要領(lǐng)，實(shí)施畸變變換?；冏儞Q后的深度信息和圖像輸入二維圖像生成部178，并在此生成視差圖像。該二維圖像生成部178不同于第一立體圖像處理裝置100的二維圖像生成部142，在這里考慮合理視差。由于作為圖像，帶有深度信息的圖像也是二維，故雖然沒有圖示，但二維圖像生成部178在內(nèi)部具有類似于第二立體圖像處理裝置100的位置移位部160的功能，按照深度信息，向水平方向移位圖像內(nèi)的像素，而生成立體感。此時(shí)，利用后面要敘述的處理，實(shí)現(xiàn)合理視差。
上述構(gòu)成的每一個(gè)立體圖像處理裝置100的各部的處理動作和其原理如下所述。
圖14(a)、圖14(b)表示在利用第一立體圖像處理裝置100的立體感調(diào)整部112的合理視差特定過程中，被分別顯示的左眼圖像200和右眼圖像202。在各圖像中顯示五個(gè)黑圓，越朝上就越是近位置且附加大的視差，越朝下就越是遠(yuǎn)位置且附加大的視差。
圖15是示意性地表示顯示這五個(gè)黑圓時(shí)用戶10所感知的距離感。用戶10應(yīng)答這五個(gè)距離感的范圍為「合理」，指示取得部122取得該應(yīng)答。在圖15中，視差不同的五個(gè)黑圓同時(shí)或按順序顯示，用戶10輸入這是否可以允許的視差。另一方面，在圖16中，顯示自體雖然是用一個(gè)黑圓圈來進(jìn)行，但是，連續(xù)變更其視差，用戶在各自遠(yuǎn)位置和近位置方向上到達(dá)允許界限時(shí)進(jìn)行應(yīng)答。應(yīng)答可以利用通常的按鍵操作、鼠標(biāo)操作、利用聲音的輸入等其自體已知的技術(shù)。
另外，也可以利用更簡單的方法來進(jìn)行視差的決定。同樣，基本表現(xiàn)空間設(shè)定范圍的決定也可以利用更簡易的方法來進(jìn)行。圖89是視差和基本表現(xiàn)空間的簡易決定時(shí)所利用的表格?；颈憩F(xiàn)空間的設(shè)定范圍從多設(shè)定近位置空間到只設(shè)定遠(yuǎn)位置空間為止，分為A～D四個(gè)階段的等級(rank)，進(jìn)而，各自的視差分為1～5的五個(gè)階段的等級。在這里，例如，喜歡最強(qiáng)的立體感、喜歡更要飛起的立體顯示的情況下，使等級為5A。另外，沒有必要一定一邊確認(rèn)立體顯示一邊決定等級，可以只顯示決定等級的按鈕。那些附近有立體感確認(rèn)用按鈕，通過按下這些按鈕，從而可以顯示確認(rèn)立體感的圖像。
圖15、圖16的任一情況下，指示取得部122可以將合理視差作為范圍而取得，決定其近位置側(cè)和遠(yuǎn)位置側(cè)的界限視差。近位置最大視差是對應(yīng)于允許可看到的最近于自己位置的點(diǎn)的距離的視差，遠(yuǎn)位置最大視差是對應(yīng)于允許可看到的最遠(yuǎn)于自己位置的點(diǎn)的距離的視差。但是，一般是由于用戶的生理上的問題，多數(shù)只注意近位置最大視差，所以，下面有時(shí)只將最近位置視差叫做界限視差。
圖17表示在立體顯示的圖像為從三維數(shù)據(jù)取出的情況下，實(shí)際調(diào)整兩視點(diǎn)的視差的原理。首先，將用戶所決定的界限視差變換為臨時(shí)配置相機(jī)的估計(jì)角。如圖17所示，近位置和遠(yuǎn)位置的界限視差可以用像素?cái)?shù)表示為M和N，因?yàn)橄鄼C(jī)的視場角θ相當(dāng)于顯示畫面的水平像素L，作為界限視差像素?cái)?shù)的估計(jì)角的近位置最大估計(jì)角φ和遠(yuǎn)位置最大估計(jì)角ψ，可以用θ、M、N、L來表示。
tan(φ/2)＝M tan(θ/2)/Ltan(ψ/2)＝N tan(θ/2)/L
下面，將這個(gè)信息應(yīng)用在三維空間內(nèi)中的兩視點(diǎn)圖像的取出中。如圖18所示，首先決定基本表現(xiàn)空間T(其深度方向也用T來記述)。在這里，基本表現(xiàn)空間T由相對目標(biāo)配置的限制來決定。將從作為基本表現(xiàn)空間T的前面的前方投影面30到相機(jī)配置面即視點(diǎn)面208為止的距離設(shè)為S。T或S可以由用戶指定。視點(diǎn)為兩個(gè)，將這些光軸交叉面210與視點(diǎn)面208距離設(shè)為D。將光軸交叉面210到前方投影面30為止的距離設(shè)為A。
下面，如果將基本表現(xiàn)空間T內(nèi)的近位置和遠(yuǎn)位置的界限視差分別設(shè)為P、Q，則E∶S＝P∶AE∶S+T＝Q∶T-A成立。E是視點(diǎn)間距離。現(xiàn)在，作為沒有附加視差的像素的點(diǎn)G位于來自兩個(gè)相機(jī)的光軸K2在光軸交叉面210上交叉的位置，光軸交叉面210變?yōu)槠聊幻娴奈恢?。產(chǎn)生近位置最大視差P的光線K1在前方投影面30交叉，產(chǎn)生遠(yuǎn)位置最大視差Q的光線K3在后方投影面32交叉。
如圖19所示，P和Q用φ、ψ表示為P＝2(S+A)tan(φ/2)Q＝2(S+A)tan(ψ/2)，其結(jié)果，可以得到E＝2(S+A)tan(θ/2)·(SM+SN+TN)/(LT)A＝STM/(SM+SN+TN)。
現(xiàn)在，S和T是已知，故A和E自動決定，因此，光軸交差距離D和相機(jī)間距離E自動決定，相機(jī)參數(shù)確定。如果相機(jī)配置決定部132按照這些參數(shù)決定相機(jī)配置，則以后通過對每一個(gè)相機(jī)的圖像，獨(dú)立進(jìn)行投影處理部138、二維圖像生成部142的處理，而可以生成和輸出具有合理視差的視差圖像。如上所述，E和A不包含硬件的信息，可以實(shí)現(xiàn)不依靠硬件的表現(xiàn)形式。
以后，在立體顯示別的圖像時(shí)，只要保持A或D和E的形態(tài)配置相機(jī)，也可以自動實(shí)現(xiàn)合理視差。由于從合理視差的特定到理想立體顯示為止的過程可以全部自動化，故如果作為軟件程序庫來提供這個(gè)功能，則制作內(nèi)容或應(yīng)用程序的程序設(shè)計(jì)者沒有必要理解立體顯示用程序。另外，如果L、M、N以像素?cái)?shù)表示，則因?yàn)長是顯示范圍，可以用L來指示用全畫面的顯示或是用畫面的一部分的顯示。L也是不依靠硬件的參數(shù)。
圖20表示利用四臺相機(jī)22、24、26、28的四眼式的相機(jī)配置。正確的應(yīng)該以使第一相機(jī)22與第二相機(jī)24之間等、鄰接的相機(jī)之間變?yōu)楹侠硪暡畹姆绞絹頉Q定所述A和E，但是，作為簡易處理，將更靠近中央的第二相機(jī)24與第三相機(jī)26間所決定的A和E，利用在其他相機(jī)間，也可以得到同樣的效果。
另外，T作為相對目標(biāo)配置的限制，但是，可以作為基本的三維空間的大小，而由程序來決定。這種情況下，通過程序全體，一定可以只在這個(gè)基本表現(xiàn)空間T內(nèi)配置目標(biāo)，為了進(jìn)行有效的顯示，有時(shí)故意向目標(biāo)提供視差，以便空間飛起，也是可以的。
作為其他例，也可以相對三維空間的目標(biāo)中的最近位置的部分和最遠(yuǎn)位置部分的坐標(biāo)，決定T，若實(shí)時(shí)進(jìn)行該處理，則目標(biāo)一定可以配置在基本表現(xiàn)空間T內(nèi)。作為目標(biāo)總是進(jìn)入基本表現(xiàn)空間T內(nèi)的例外，如果運(yùn)用「只要恒定時(shí)間的平均位置位于基本表現(xiàn)空間T內(nèi)就可以」的緩和條件，則可以制作短時(shí)間的例外。另外，決定基本表現(xiàn)空間T的目標(biāo)可以限制為靜態(tài)圖像，這種情況下，可以賦予動態(tài)目標(biāo)溢出基本表現(xiàn)空間T的特殊動作。作為其他的例子，可以進(jìn)行將已經(jīng)配置了目標(biāo)的空間縮小為基本表現(xiàn)空間T的尺寸的變換，也可以組合已經(jīng)敘述的操作。而且，后面要敘述故意使目標(biāo)顯示為從基本表現(xiàn)空間飛起的方法。
另外，第一立體圖像處理裝置100的立體感調(diào)整部112，作為顯示給用戶的圖像，如果容易變?yōu)殡p像，則將界限視差決定為小的，可以減少顯示其他圖像時(shí)的雙像的出現(xiàn)頻率。作為容易出現(xiàn)雙像的圖像，已知目標(biāo)與背景之間的顏色或亮度鮮明的圖像，只要在特定界限視差的階段即初始設(shè)定時(shí)，利用這樣的圖像就可以。
從圖21至圖36為止，表示用第一立體圖像處理裝置100的畸變處理部136的處理及其原理。
圖21是概念性表示收納在第一立體圖像處理裝置100的修正圖像保持部140中的修正圖像的一例。該圖像是直接修正視差的圖像，其全體直接對應(yīng)于視差圖像，隨著向邊緣部，而變?yōu)樾∫暡?。圖22表示按照該修正圖像，畸變處理部136決定相機(jī)配置，接受其的相機(jī)配置決定部132所進(jìn)行的相機(jī)參數(shù)操作的結(jié)果而產(chǎn)生的視差變化。從兩個(gè)相機(jī)的左右視點(diǎn)位置看正面方向時(shí)附加「通常視差」，另一方面，看遠(yuǎn)離正面方向時(shí)附加「小視差」。實(shí)際上，隨著朝向邊緣，相機(jī)配置決定部132使相機(jī)間隔變近。
圖23表示相機(jī)配置決定部132按照畸變處理部136的指示，改變相機(jī)配置而改變視差的其他例子。在這里，一邊只移動兩個(gè)相機(jī)中的左側(cè)的相機(jī)，隨著向圖像邊緣移動，視差變化為「通常視差」→「中視差」→「小視差」。該方法的計(jì)算成本低于圖22的方法。
圖24表示修正圖像的其他例子。該圖像也變更視差，圖像的中央附近保持通常視差而不觸及，在其以外的視差修正區(qū)域中，使視差慢慢變小。圖25表示相機(jī)配置決定部132按照該圖像而改變的相機(jī)位置。相機(jī)方向遠(yuǎn)離正面時(shí)，左相機(jī)位置開始靠近右相機(jī)，附加有「小視差」。
圖26概念性表示修正圖像的其他例子。該圖像使修正從視點(diǎn)到目標(biāo)為止的距離感的圖像，為了實(shí)現(xiàn)它，相機(jī)配置決定部132調(diào)整兩個(gè)相機(jī)的光軸交差距離。若隨著向邊緣行進(jìn)而使光軸交差距離變小，則目標(biāo)看成是相對地朝向遠(yuǎn)位置方向深處，故特別在減小近位置視差的意義上達(dá)到目的。為了減小光軸交差距離，相機(jī)配置決定部132只要改變相機(jī)的光軸方向就可以，即改變?nèi)我灰环降南鄼C(jī)方向即可。圖27表示用圖26的圖像生成二維圖像時(shí)的光軸交叉位置或光軸交叉面210的變化。越是圖像的邊緣，光軸交叉面210越靠近相機(jī)。
圖28表示距離感相關(guān)的其他修正圖像，圖29表示根據(jù)圖28的圖像，相機(jī)配置決定部132按照畸變處理部136的指示改變光軸交叉面210的形態(tài)。在該例中，在圖像中央位置中不進(jìn)行修正而將目標(biāo)配置在通常位置上，在圖像邊緣區(qū)域修正目標(biāo)的位置。為了達(dá)到其目的，在圖29中，在圖像中央附近中光軸交叉面210沒有變化，而光軸交叉面210從超過某一點(diǎn)開始就靠近相機(jī)。在圖29中，只是左相機(jī)對應(yīng)地改變方向。
圖30(a)～圖30(f)表示畸變處理部136所進(jìn)行的其他畸變變換。和至今為止的例子不同，不改變相機(jī)位置，而是在相機(jī)坐標(biāo)系中直接畸變?nèi)S空間自體。在圖30(a)～圖30(f)中，長方形區(qū)域表示原來空間的俯視圖，斜線區(qū)域表示變換后的空間的俯視圖。例如，圖30(a)的原來空間的點(diǎn)U移到變換后的點(diǎn)V。這意味著該點(diǎn)向遠(yuǎn)位置方向移動。在圖30(a)中，空間越朝向邊緣部，則在深度方向越向箭頭方向壓碎，不管是近位置情況還是遠(yuǎn)位置情況，如圖30(a)的點(diǎn)W所示，都賦予接近恒定距離感的距離感。其結(jié)果，變?yōu)樵趫D像邊緣部使距離感一致，特別是近置的目標(biāo)也消失，在解決二重像問題的同時(shí)，成為易適合于用戶生理的表現(xiàn)。
圖30(b)、圖30(c)、圖30(d)、圖30(e)都表示在圖像邊緣部使距離感接近恒定值的變換的變形例，圖30(f)表示將所有點(diǎn)向遠(yuǎn)位置方向變換的例子。
圖31表示用來實(shí)現(xiàn)30(a)的變換的原理。長方體空間228包含進(jìn)行第一相機(jī)22和第二相機(jī)24的投影處理的空間。第一相機(jī)22的視量由其相機(jī)的視場角、前方投影面230和前方投影面232決定，第二相機(jī)24的視量由其相機(jī)的視場角、前方投影面234和前方投影面236所決定。畸變處理部136在該長方體空間228實(shí)施畸變變換。以長方體空間228的中心作為原點(diǎn)。在多眼式的情況下，只是增加相機(jī)，其變換原理相同。
圖32是畸變變換的一例，采用Z方向的縮小變換。實(shí)際上是對空間內(nèi)的每一個(gè)目標(biāo)進(jìn)行處理。圖33是仿照視差修正凸現(xiàn)來表現(xiàn)該變換的圖，Y軸上為通常視差，X的絕對值越增加則視差變得越小，X＝±A變?yōu)闊o視差。在此，由于只是Z方向的縮小變換，變換式如下[公式1](X1,Y1,Z1,1)=(X0,Y0,Z0,1)1000010000Sz00001]]>用圖34說明變換。首先，考慮X≥0且Z≥0的范圍。點(diǎn)(X0，Y0，Z0)根據(jù)縮小處理而移動到(X0，Y0，Z1)時(shí)，縮小率Sz為Sz＝Z1/Z0＝CE/CD。
C的坐標(biāo)是(X0，Y0，0)，D的坐標(biāo)是(X0，Y0，B)。
E是直線與平面的交點(diǎn)，假設(shè)其坐標(biāo)為(X0，Y0，Z2)，則Z2可以如下所示地求出。
Z＝B-X×B/A(平面)X＝X0，Y＝Y(jié)0 (直線)Z2＝B-X0×B/A因此，Sz＝CE/CD＝(B-X0×B/A)/B＝1-X0/A對X一般變?yōu)镾z＝1-X/A。
對于X和Z的其他范圍也進(jìn)行同樣的計(jì)算，可以獲得如下結(jié)果，可以驗(yàn)證變換。
當(dāng)X≥0時(shí)，Sz＝1-X/A當(dāng)X＜0時(shí)，Sz＝1+X/A圖35表示畸變變換的其他例子。更嚴(yán)密地，考慮從相機(jī)輻射狀地進(jìn)行攝影，也組合X軸、Y軸方向的縮小處理。在這里，將兩個(gè)相機(jī)的中心作為相機(jī)位置的代表來進(jìn)行變換，變換公式如下。
(X1,Y1,Z1,1)=(X0,Y0,Z0,1)Sx0000Sy0000Sz00001]]>圖36驗(yàn)證該變換。在這里，也考慮X≥0且Z≥0的范圍。根據(jù)縮小處理，點(diǎn)(X0，Y0，Z0)移動到(X1，Y1，Z1)時(shí)，縮小率Sx、Sy、Sz變?yōu)镾x＝(X1-X2)/(X0-X2)＝(X4-X2)/(X3-X2)
Sy＝(Y1-Y2)/(Y0-Y2)＝(Y4-Y2)/(Y3-Y2)Sz＝(Z1-Z2)/(Z0-Z2)＝(Z4-Z2)/(Z3-Z2)。
由于E是平面與直線的交點(diǎn)，故與上述同樣，可以求出Sx、Sy、Sz。
另外，如上所述，如果以平面的集合來表示變換后的空間，則以面之間的切線為邊界，處理變化，根據(jù)情況不同可能產(chǎn)生不協(xié)調(diào)感。這種情況下，可以用曲面連接或只用曲面構(gòu)成空間。計(jì)算只改變求曲面與直線的交點(diǎn)E而已。
另外，在上述的例子中，縮小率在同一直線上變?yōu)橄嗤?，但也可以進(jìn)行加權(quán)。例如，可以在Sx、Sy、Sz上乘以相對從相機(jī)的距離L的加權(quán)函數(shù)G(L)。
圖37至圖40表示第三立體圖像處理裝置100的畸變處理部174所進(jìn)行的處理及其原理。
圖37表示輸入到第三立體圖像處理裝置100的帶有深度信息的圖像的深度圖像，在這里，假設(shè)深度的范圍具有K1～K2的值。在此，用正的表示近位置的深度，用負(fù)的表示遠(yuǎn)位置的深度。
圖38表示原來的深度范圍240和變換后的深度范圍242的關(guān)系。深度值隨著向邊緣部行進(jìn)，而接近恒定的值。畸變處理部174以按照該修正的方式變換深度圖像。在垂直方向上也具有視差的情況下也同樣。該變換也只是Z方向的縮小，可以用下式進(jìn)行表示[公式3](X0,Y0,Gxy,1)=(X,Y,Hxy,1)1000010000Sz00001]]>另外，Sz是根據(jù)X值的大小，分為兩種情況，變?yōu)楫?dāng)X≥0時(shí)，Sz＝1-2X/L
當(dāng)X＜0時(shí)，Sz＝1+2X/L。
根據(jù)上述變換，生成圖39所示的具有新的要素的新深度圖像。
圖40表示相對深度圖像的其他畸變變換的原理。更嚴(yán)密地講，由于從用戶輻射狀來觀察空間，故也組合X軸、Y軸方向的縮小處理。在此，以眼睛之間的中心作為觀察位置。具體的處理變?yōu)楹蛨D36情況相同的公式。另外，原來的深度圖像只具有Z值，但在進(jìn)行該計(jì)算的情況下，變?yōu)橐脖３諼值和Y值。雖然Z值變換為X方向或Y方向的像素移位量，但是，只要X值和Y值作為相對那些的偏移量來保持即可。
總之，在畸變處理部174變換的深度圖像和原來的圖像輸入到二維圖像生成部178，在這里進(jìn)行向水平方向移位的合成處理，以便變?yōu)楹侠硪暡?。其詳?xì)內(nèi)容后述。
圖41～圖51表示第二立體圖像處理裝置100的位置移位部160和可以理解為其延長的第三立體圖像處理裝置100的二維圖像生成部178的處理。
圖41表示位置移位部160進(jìn)行的兩個(gè)視差圖像的合成位置的移位原理。如圖41所示，在初始狀態(tài)中，右眼圖像R和左眼圖像L的位置一致?？墒?，如圖41的上部所示，如果相對地向右移位左眼圖像L，則近位置點(diǎn)的視差增加，而遠(yuǎn)位置點(diǎn)的視差減少。相反，如圖41的下部所示，如果相對地向左移位左眼圖像L，則近位置點(diǎn)的視差減少，而遠(yuǎn)位置點(diǎn)的視差增加。
上述就是視差圖像移位的視差調(diào)整的本質(zhì)。圖像的移位可以是一方的，也可以是雙方的相反方向的移位。另外，從這個(gè)原理，可以清楚立體顯示方式不管眼鏡方式或無眼鏡方式，可以應(yīng)用在利用視差的所有方式中。即使對于多視點(diǎn)圖像或垂直方向的視差，也能進(jìn)行同樣的處理。
圖42用像素等級表示移位處理。在左眼圖像200和右眼圖像202中，都映現(xiàn)第一四角形250和第二四角形252。在第一四角形250附加近位置視差，如果用正數(shù)表示其視差量，則變?yōu)椤?像素」。與此相反，在第二四角形252附加遠(yuǎn)位置視差，如果用負(fù)數(shù)表示其視差量，就變?yōu)椤?6像素」。在此，假設(shè)其視差量分別為F2、F1。
另一方面，假設(shè)已知用戶所保有的顯示裝置的合理視差為J1～J2。位置移位部160使兩個(gè)圖像的合成開始位置相互移位(J2-F2)。圖43在結(jié)束其移位的狀態(tài)下，現(xiàn)在假設(shè)F1＝-6、F2＝6；且J1＝-5、J2＝4，則變?yōu)楹铣砷_始位置互相錯(cuò)開-2像素，即在遠(yuǎn)位置方向，向全體移位方向錯(cuò)開。如圖43所示，最終的視差量變?yōu)镋1＝-8、E2＝4，至少在近位置方向收納在界限視差內(nèi)。一般，由于和遠(yuǎn)位置方向比較，近位置方向的雙像的不協(xié)調(diào)感更強(qiáng)，并且，多在被拍攝體配置于近位置方向的狀態(tài)下進(jìn)行攝影，故基本上將近位置方向的視差收納在界限內(nèi)為理想。下面，說明處理例子。
1.在近位置點(diǎn)為界限視差外、遠(yuǎn)位置點(diǎn)為界限視差內(nèi)的情況下，將近位置點(diǎn)向界限視差點(diǎn)移位。但是，如果遠(yuǎn)位置點(diǎn)的視差達(dá)到眼睛之間距離就停止處理。
2.在近位置點(diǎn)為界限視差外、遠(yuǎn)位置點(diǎn)為界限視差外的情況下，將近位置點(diǎn)向界限視差點(diǎn)移位。但是，如果遠(yuǎn)位置點(diǎn)的視差達(dá)到眼睛之間距離就停止處理。
3.在近位置點(diǎn)和遠(yuǎn)位置點(diǎn)均為界限視差內(nèi)的情況下，不進(jìn)行處理。
4.在近位置點(diǎn)為界限視差內(nèi)、遠(yuǎn)位置點(diǎn)為界限視差外的情況下，將遠(yuǎn)位置點(diǎn)向界限視差點(diǎn)移位，但是，在處理過程中如果近位置點(diǎn)達(dá)到界限視差點(diǎn)就停止處理。
圖44表示由于合成位置移位的圖像端的欠缺。在此，左眼圖像200和右眼圖像202的移位量為一個(gè)像素，在左眼圖像200的右端和右眼圖像202的左端，分別產(chǎn)生一個(gè)像素寬度的欠缺部分260。圖像端調(diào)整部168在此時(shí)，如圖44所示，復(fù)制圖像端的像素列而補(bǔ)償水平像素?cái)?shù)。
除了這種方法以外，欠缺部分260也可以用黑色或白色等特定的顏色來顯示，或可以不顯示。進(jìn)而，也可以實(shí)施切除或附加處理，以便變?yōu)楹统跏紙D像相同的尺寸。另外，還可以考慮預(yù)先使初始圖像尺寸大于實(shí)際的顯示尺寸，以使欠缺部分260對顯示不造成影響。
圖45是第二立體圖像處理裝置100進(jìn)行的視差的手動調(diào)整的流程。如圖45所示，首先作為視差圖像，以人工制作左右圖像(S10)，用網(wǎng)絡(luò)或其他路線分配該圖像(S12)。第二立體圖像處理裝置100接受其(S14)，在本圖的例子中，首先是以其原來狀態(tài)、沒有移位的通常狀態(tài)，合成圖像而進(jìn)行顯示(S16)。即，在這里，考慮還沒有取得合理視差的情況或沒有使位置移位部160動作的情況。接著，對立體顯示的視差圖像，用戶通過立體感調(diào)整部112指示視差的調(diào)整，位置移位部160將這個(gè)接受為「手動調(diào)整模式」，調(diào)整圖像合成位置而進(jìn)行顯示(S18)。另外，S10和S12是圖像創(chuàng)造者的手續(xù)270，S14以后是第二立體圖像處理裝置100的手續(xù)272。另外，雖然圖中未示出，但若將挨移位量記錄在標(biāo)題中，從下一次開始參照這個(gè)而合成的話，可以節(jié)省再調(diào)整的時(shí)間和勞力。
圖46表示第二立體圖像處理裝置100所進(jìn)行的自動調(diào)整的流程。作為圖像創(chuàng)造者的手續(xù)270的、左右圖像的生成(S30)和圖像分配(S32)和圖45相同。另外，第二立體圖像處理裝置100的手續(xù)272中的圖像接收(S34)也同樣。其次，用視差量檢測部150的匹配部158檢測視差圖像間預(yù)先附加的視差、特別是最大視差(S36)，而另一方面，從視差信息保持部120取得合理視差特別是界限視差(S38)。然后，位置移位部160利用上述的處理移位合成位置，以便滿足界限視差(S40)，經(jīng)過視差寫入部164、圖像端調(diào)整部168、格式變換部116的處理而進(jìn)行立體顯示(S42)。
圖47表示第二立體圖像處理裝置100所進(jìn)行的其他自動調(diào)整的流程。在圖像創(chuàng)造者的手續(xù)270中生成左右圖像(S50)后，在此刻，檢測最大視差(S52)，記錄在視差圖像的任一視點(diǎn)圖像的標(biāo)題中(S54)。該檢測可以用對應(yīng)點(diǎn)匹配來實(shí)施，但是，在創(chuàng)作者人工操作來生成視差圖像時(shí)，因?yàn)樵谄渚庉嬤^程中當(dāng)然已知它，故只要記錄這個(gè)就可以。然后，分配圖像(S56)。
另一方面，在第二立體圖像處理裝置100的手續(xù)272中，接受圖像(S58)和圖46同樣。其次，用視差量檢測部150的標(biāo)題檢查部156，從標(biāo)題讀出所述最大視差(S60)。另一方面，從視差信息保持部120取得界限視差(S62)，往下的處理S64、S66分別和圖46的處理S40、S42相同。根據(jù)該方法，沒有必要計(jì)算最大視差。并且，對圖像全體可以實(shí)現(xiàn)合適的立體感。進(jìn)一步，因?yàn)橐莆涣靠梢杂涗浽跇?biāo)題中，沒有損傷原圖像自體的危險(xiǎn)。另外，雖然圖中未示出，但即使在圖46中，只要將檢測出的最大視差記錄在標(biāo)題中，之后就可以按照圖47的手續(xù)來處理。
而且，在多眼式中也能進(jìn)行同樣的處理，對各自的鄰接的視點(diǎn)圖像間的視差量進(jìn)行同樣處理即可。但在實(shí)際上，可以將那些多個(gè)視點(diǎn)圖像間的視差中的最大視差視為全視點(diǎn)圖像間的「最大視差」，來決定合成位置的移位量。
標(biāo)題信息可以是多視點(diǎn)圖像中的至少一個(gè)，但是，在將多視點(diǎn)圖像合成為一張圖像的情況下，利用其圖像的標(biāo)題就可以。
進(jìn)而，也有將已經(jīng)合成完的圖像進(jìn)行分配的情況，但在這種情況下，可以以一次逆變換處理來分離圖像，計(jì)算合成位置移位量而進(jìn)行再合成，或進(jìn)行像素的改變排列處理，以使結(jié)果與其相同。
圖48～圖51表示針對帶有深度信息的圖像進(jìn)行合成位置的移位的處理。這是由第三立體圖像處理裝置100的二維圖像生成部178來進(jìn)行的。圖48、圖49分別是構(gòu)成帶有深度信息的圖像的平面圖像204和深度圖像。在這里，用正表示近位置深度、用負(fù)表示遠(yuǎn)位置深度。作為目標(biāo)，存在第一四角形250、第二四角形252、第三四角形254，第一四角形250深度為「4」、第二四角形252深度為「2」、第三四角形254深度為「-4」。第一四角形250位于最近位置點(diǎn)、第二四角形252位于中間近位置點(diǎn)、第三四角形254位于最遠(yuǎn)位置點(diǎn)。
二維圖像生成部178以原來的平面圖像204為基礎(chǔ)，首先進(jìn)行將每一個(gè)像素只移位深度圖像的值份的處理，生成另一方的視點(diǎn)圖像。如果以左眼圖像作為基準(zhǔn)，則原來的平面圖像204直接變?yōu)樽笱蹐D像。向左移位第一四角形250四個(gè)像素、向左移位第二四角形252兩個(gè)像素、向右移位第一四角形250四個(gè)像素，如圖50所示，制作右眼圖像202。圖像端調(diào)整部168用視差為「0」的、判斷為背景的近接像素來填埋由于目標(biāo)的移動而產(chǎn)生的像素信息的欠缺部分260。
接著，二維圖像生成部178計(jì)算滿足合理視差的深度。如果深度的范圍為K1～K2，每一個(gè)像素的深度值為Gxy，則深度圖像變?yōu)閳D37的Hxy變更為Gxy的形式。另外，假設(shè)已知用戶保有的顯示裝置的合理視差為J1～J2。這種情況下，在其深度圖像中，每一個(gè)像素的深度值G如下所示地進(jìn)行變換，獲得新的深度值Fxy。
Fxy＝J1+(Gxy-K1)×(J2-J1)/(K2-K1)。
在上述例子中，假設(shè)K1＝-4、K2＝4，并且，J1＝-3、J2＝2，則根據(jù)該變換公式，圖49的深度圖像變換為圖51的深度圖像。即「4」變換為「2」、「2」變換為「1」、「-4」變換為「-3」。K1和K2之間的中間值變換為J1和J2之間。例如，第二四角形252變?yōu)镚xy＝2、Fxy＝0.75。在Fxy沒有變?yōu)檎麛?shù)的情況下，可以實(shí)施四舍五入或減小近位置視差的處理。
另外，上述變換公式是線形變換的例子，但是還可以考慮乘以相對于Gxy的加權(quán)函數(shù)(Gxy)或其他各種非線形變換。此外，可以從原來的平面圖像204將目標(biāo)互相反方向移位而生成新的左右圖像。在多眼式的情況下，多次進(jìn)行同樣的處理，生成多視點(diǎn)圖像也可以。
上述是實(shí)施方式的立體圖像處理裝置100的構(gòu)成和動作。
立體圖像處理裝置100是作為裝置進(jìn)行了說明，但可以是硬件和軟件的組合，也可以只是軟件的構(gòu)成。這種情況下，將立體圖像處理裝置100的任意部分程序庫化之后，從各種程序可以調(diào)用的話，方便性高。程序設(shè)計(jì)者可以跳讀立體顯示的知識成為必需的部分的程序。對用戶來說，由于不依靠軟件或內(nèi)容，立體顯示相關(guān)的操作即GUI變?yōu)楣餐?，所設(shè)定的信息即使在其他軟件中也可以共有，故可以節(jié)省再設(shè)定時(shí)間和勞力。
另外，不僅是立體顯示相關(guān)的處理，在多個(gè)程序之間共有信息的一點(diǎn)上也有用。各種程序可以參照其信息來決定圖像的狀態(tài)。被共有的信息的例子是所述的立體圖像處理裝置100信息取得部118所取得的信息?？梢詫⑦@個(gè)信息保持在圖中未示出的記錄部或修正圖像保持部140等中。
圖52～圖54表示將上述立體圖像處理裝置100作為程序庫來利用的一例。圖52表示立體顯示程序庫300的用途。立體顯示程序庫300以從多個(gè)程序A302、程序B304、程序C306調(diào)用函數(shù)的形式而被參照。在參數(shù)文件318中除了上述信息以外，還存儲有用戶的合理視差等。立體顯示程序庫300通過API(應(yīng)用程序接口)310，可以利用在多個(gè)裝置A312、裝置B314、裝置C316中。
作為程序A302等的例子，考慮游戲、所謂叫做Web3D的三維應(yīng)用程序、三維桌面畫面、三維地圖、作為二維圖像的視差圖像的觀測儀、帶有深度信息的圖像等的觀測儀。即使在游戲中，當(dāng)然也有坐標(biāo)使用方法不同的情況，但是，立體顯示程序庫300可以與之對應(yīng)。
另一方面，作為裝置A312等的例子，有兩眼或多眼的視差阻擋層式、快門眼鏡方式、偏振光眼鏡方式等、利用視差的任意的立體顯示裝置。
圖53表示在三維數(shù)據(jù)軟件402上組裝立體顯示程序庫300的例子。三維數(shù)據(jù)軟件402包括程序主體404、為此實(shí)現(xiàn)合理視差的立體顯示程序庫300和攝影指示處理部406。程序主體404通過用戶接口410與用戶聯(lián)絡(luò)。攝影指示處理部406按照用戶的指示，將程序主體404動作中的規(guī)定場面，假想地進(jìn)行相機(jī)攝影。被攝影的圖像記錄在圖像記錄裝置412中。并且，向立體顯示裝置408輸出。
例如，設(shè)三維數(shù)據(jù)軟件402為游戲軟件。這種情況下，用戶可以在游戲中一邊利用立體顯示程序庫300體驗(yàn)合適的立體感一邊執(zhí)行游戲。在游戲中，用戶想要保留在記錄中的情況下，例如對戰(zhàn)型戰(zhàn)斗游戲中獲得全勝時(shí)，用戶通過用戶接口410向攝影指示處理部406發(fā)出指示，記錄其場面。此時(shí)，利用立體顯示程序庫300生成視差圖像，以便以后在立體顯示裝置408中再生時(shí)變?yōu)楹侠硪暡?，并將其記錄在圖像記錄裝置412的電子相冊等中。另外，通過以叫做視差圖像的二維圖像來進(jìn)行記錄，從而程序主體404所具有的三維數(shù)據(jù)自體不會流出，可以照顧到著作權(quán)保護(hù)方面。
圖54表示將圖53的三維數(shù)據(jù)軟件402安裝在網(wǎng)絡(luò)利用型系統(tǒng)430中的例子。
游戲機(jī)432通過圖中未示出的網(wǎng)絡(luò)連接在服務(wù)器436和用戶終端機(jī)434上。游戲機(jī)432是所謂拱廊游戲(arcade game)用，包括通信部442、三維數(shù)據(jù)軟件402和局部顯示游戲的立體顯示裝置440。三維數(shù)據(jù)軟件402是圖53所示的構(gòu)成。從三維數(shù)據(jù)軟件402顯示在立體顯示裝置440上的視差圖像是預(yù)先相對立體顯示裝置440最佳設(shè)定的。如后所述，三維數(shù)據(jù)軟件402的視差調(diào)整在通過通信部442向用戶發(fā)送圖像時(shí)利用。這里利用的顯示裝置只要具有調(diào)整視差而生成立體圖像的功能即可，不一定是可以立體顯示的裝置。
用戶終端機(jī)434包括通信部454、用來看立體圖像的取景器程序(viewer program)452和局部顯示立體圖像的任意的尺寸及形式的立體顯示裝置450。在取景器程序452中安裝有立體圖像處理裝置100。
服務(wù)器436包括通信部460、記錄用戶針對游戲假想攝影圖像的圖像保持部462以及將用戶的合理視差信息、用戶的電子郵件地址等其他個(gè)人信息與用戶加以對應(yīng)進(jìn)行記錄的用戶信息保持部464。服務(wù)器436具有例如作為游戲的公式段功能，記錄游戲執(zhí)行中用戶想要的場面或有名的動態(tài)圖像或靜止圖像。立體顯示在動態(tài)圖像或靜止圖像中均能進(jìn)行。
上述構(gòu)成中的圖像攝影的一例以如下的要領(lǐng)來進(jìn)行。用戶預(yù)先用用戶終端機(jī)434的立體顯示裝置450進(jìn)行立體顯示，以立體圖像處理裝置100的功能為基礎(chǔ)取得合理視差，通過通信部454向服務(wù)器436通知該視差，并收納在用戶信息保持部464中。該合理視差是與用戶所保有的硬件無關(guān)的、通用的記述。
用戶在任意時(shí)間用游戲機(jī)432進(jìn)行游戲。其間，在立體顯示裝置440上進(jìn)行最初設(shè)定的視差或用戶手動調(diào)整的視差的立體顯示。在游戲的游玩中或重玩中，如果用戶希望記錄圖像，則內(nèi)置在游戲機(jī)432的三維數(shù)據(jù)軟件402的立體顯示程序庫300，通過通信部442、460，從服務(wù)器436的用戶信息保持部464取得該用戶的合理視差，并與之配合，以生成視差圖像，再通過通信部442、460向圖像保持部462存儲假想攝影的圖像相關(guān)的視差。用戶回到家后，若向用戶終端機(jī)434下載該視差圖像，就可以用所要的立體感來進(jìn)行立體顯示。此時(shí)，利用取景器程序452所具有的立體圖像處理裝置100能進(jìn)行視差的手動調(diào)整。
如上所述，根據(jù)該應(yīng)用例，原來必須設(shè)定在每一個(gè)顯示裝置的硬件中、每一個(gè)用戶的立體感相關(guān)的程序，集中在立體圖像處理裝置100和立體顯示程序庫300內(nèi)，游戲軟件設(shè)計(jì)者沒有必要在意立體顯示相關(guān)的復(fù)雜的要件。這不限于游戲軟件，對利用立體顯示的任意的軟件都同樣，消除了利用立體顯示的內(nèi)容或應(yīng)用程序開發(fā)的制約。因此，可以飛躍地促進(jìn)這些的普及。
特別是，在原來存在三維的CG數(shù)據(jù)的游戲和其他應(yīng)用程序的情況下，在以往，編碼正確的立體顯示困難成為重要原因，雖然特意具有三維數(shù)據(jù)，但大多沒有利用在立體顯示中。根據(jù)實(shí)施方式的立體圖像處理裝置100或立體顯示程序庫300，可以消除這樣的弊病，可以對立體顯示應(yīng)用程序的充實(shí)化作出貢獻(xiàn)。
另外，在圖54中是將用戶的合理視差登記在服務(wù)器436中，但是，用戶也可以攜帶記錄了該信息的IC卡，來利用游戲機(jī)432。在該卡中，也可以記錄游戲相關(guān)的得分或想要的圖像。
以上，以實(shí)施方式為基礎(chǔ)說明了本發(fā)明。該實(shí)施方式是個(gè)例子，本領(lǐng)域人員可以理解對這些各構(gòu)成要素或各處理過程的組合，能有各種變形例，且這些變形例也在本發(fā)明的范圍內(nèi)。下面，舉出這些例子。
第一立體圖像處理裝置100通過輸入三維數(shù)據(jù)，而能以高精度進(jìn)行處理。可是，也可以將三維數(shù)據(jù)臨時(shí)降低到帶有深度信息的圖像，對此利用第三立體圖像處理裝置100生成視差圖像。根據(jù)情況，這樣的方法計(jì)算成本低。同樣，即使在輸入多個(gè)視點(diǎn)圖像時(shí)，也能利用高精度的對應(yīng)點(diǎn)匹配來制作深度圖像，這樣，可以降低到帶有深度信息的圖像，對此利用第三立體圖像處理裝置100來生成視差圖像。
在第一立體圖像處理裝置100中，雖然將相機(jī)臨時(shí)配置部130作為立體圖像處理裝置100的構(gòu)成，但這可以是立體圖像處理裝置100的前處理。這是因?yàn)榈较鄼C(jī)的臨時(shí)配置為止，可以與合理視差無關(guān)地進(jìn)行處理的緣故。同樣，構(gòu)成第一、第二、第三立體圖像處理裝置100的任意的處理單元可以拿到立體圖像處理裝置100的外部，本領(lǐng)域人員可以理解立體圖像處理裝置100的構(gòu)成自由度高。
在實(shí)施方式中，說明了在水平方向進(jìn)行視差控制的情況，同樣的處理在垂直方向也可以實(shí)施。
也可以設(shè)置在立體顯示程序庫300或立體圖像處理裝置100的動作中將文字?jǐn)?shù)據(jù)放大處理的單元。例如，在水平二視點(diǎn)的視差圖像的情況下，用戶的眼睛能看的圖像的水平分辨率變?yōu)?/2。其結(jié)果，因?yàn)槲淖值目勺x性降低，故向水平方向延伸文字2倍的處理是有效的。在垂直方向也有視差的情況下，同樣，向垂直方向延伸文字2倍的處理也是有效的。
也可以設(shè)置立體顯示程序庫300或立體圖像處理裝置100的工作中，「3D」等文字或標(biāo)記進(jìn)入顯示的圖像中的「動作中顯示部」。這種情況下，用戶可以知道是否為能進(jìn)行視差調(diào)整的圖像。
也可以設(shè)置立體顯示/通常顯示轉(zhuǎn)換單元。該單元包括GUI，如果用戶點(diǎn)擊規(guī)定的按鈕，則顯示從立體顯示轉(zhuǎn)換為通常的二維顯示，若做成其反向也能進(jìn)行的構(gòu)成，則是方便的。
信息取得部118不一定根據(jù)用戶的輸入來取得信息，也可以是利用即插即用等功能可以自動取得的信息。
在實(shí)施方式中，采取了導(dǎo)出E和A的方法，但是，也可以采用固定這些，而導(dǎo)出其他參數(shù)的方法，參數(shù)的指定是自由的。
對于立體顯示，提出其他表現(xiàn)方法。在一般性的平面的圖像顯示中，進(jìn)行「目標(biāo)通過某一界面」的、特別是在深度方向的表現(xiàn)，在現(xiàn)實(shí)感上有限。另外，使觀察者難以理解在窗戶的面上有實(shí)際隔開空間與空間的界面。因此，如下面所說明的，通過在立體圖像顯示裝置顯示立體性物體，從而能夠認(rèn)為畫面或叫做框的實(shí)體和圖像內(nèi)表現(xiàn)的目標(biāo)上的界面一致，利用這樣的顯示可以產(chǎn)生新的表現(xiàn)方法。一般，由于顯示畫面或其邊緣的框在視覺上是可以辨識的，故考慮如窗戶那樣利用這些的顯示方法，有必要進(jìn)行在其面上配置空間與空間的界面或板狀目標(biāo)的指定。這種情況下，在圖18所示的位置關(guān)系中，光軸交叉位置D被指定。
在圖18所示的位置關(guān)系中，設(shè)基本表現(xiàn)空間T內(nèi)的近位置和遠(yuǎn)位置的界限視差分別為P、Q，則得到關(guān)系式E∶S＝P∶AE∶S+T＝Q∶T-A如果對近位置的界限視差、遠(yuǎn)位置的界限視差，分別求解這些關(guān)系式，則得到E＝PS/AE＝Q(S+T)/(T-A)通過選擇這兩個(gè)E中的小的E，而獲得合理視差范圍的立體圖像。
圖55表示由三維數(shù)據(jù)構(gòu)成的圖像顯示在顯示畫面400上的狀態(tài)。該圖像是水槽410的一個(gè)玻璃面401與顯示畫面400一致，表現(xiàn)金魚301在水槽410內(nèi)游動。如果進(jìn)行處理，以使從顯示畫面400往里為遠(yuǎn)位置空間、往前為近位置空間，則如圖56所示，金魚301通常顯示為在遠(yuǎn)位置空間游動，并且，如圖57所示，偶爾可以表現(xiàn)為「金魚301沖破顯示畫面400而出現(xiàn)在近位置空間」。并且，在金魚301穿越顯示畫面400時(shí)，例如，可以表現(xiàn)為「如果從顯示畫面400的邊緣飛濺水花，金魚301穿越顯示畫面400，則再生界面」。作為其他表現(xiàn)例子，例如，可以表現(xiàn)為「因?yàn)樵陲@示畫面的前面的近位置空間沒有水，如果金魚301在近位置空間游一段就呼吸困難，則再度穿透界面即顯示畫面400，而回到遠(yuǎn)位置空間」。
另外，沒有必要在物體通過界面后，再生物體通過時(shí)所破壞的界面，而當(dāng)然可以實(shí)現(xiàn)保持界面被破壞的狀態(tài)，或配合物體的沖突而界面變形，但不通過；進(jìn)而，此時(shí)只傳達(dá)沖擊的作為圖像上的效果例如還有電沖擊等界面與物體相互作用相關(guān)的各種表現(xiàn)。另外，界面可以是單純的面，也可以配置如玻璃那樣的板狀物體或紙等薄的物體。此外，界面沒有必要和顯示畫面完全一致，只要在其附近就可以。很清楚如上所述的表現(xiàn)效果在平面性的圖像中是不能向觀察者充分傳達(dá)這些狀況的。特別是，如果成為立體圖像起點(diǎn)的原始數(shù)據(jù)為三維數(shù)據(jù)，則用來表現(xiàn)如上效果的編輯變?yōu)槿菀住?br> 這種使應(yīng)表現(xiàn)的目標(biāo)所具有的界面與顯示畫面一致的表現(xiàn)可以利用圖58所示的方法來生成。即，在三維空間里配置假想的水槽410，從其左側(cè)配置的兩個(gè)假想相機(jī)430、440，生成具有視差的兩個(gè)圖像。此時(shí)，使兩個(gè)假想相機(jī)430、440的光軸交叉位置和水槽的一個(gè)面一致。另外，這種圖像可以如圖59所示地進(jìn)行攝影。在實(shí)際的水槽410上面，配置兩臺假想相機(jī)430、440來攝影水槽410。此時(shí)，使兩臺相機(jī)的光軸交叉位置和水面一致。
圖60表示用來實(shí)現(xiàn)上述處理的第四立體圖像處理裝置100的構(gòu)成。該立體圖像處理裝置100是在圖11所示的第一立體圖像處理裝置100的立體感調(diào)整部112中還設(shè)置目標(biāo)指定部180的構(gòu)成。該目標(biāo)指定部180進(jìn)行使接受用戶指定的目標(biāo)的界面位于顯示畫面附近位置或一致的處理。在此，作為用戶可以設(shè)想立體圖像的創(chuàng)作者，上述處理在立體圖像的制作或編輯時(shí)進(jìn)行。而且，用戶可以是觀察者。
首先，對于圖60所示的立體圖像處理裝置100，說明其處理順序。目標(biāo)指定部180利用鼠標(biāo)等規(guī)定的輸入裝置，從用戶接受對應(yīng)于兩個(gè)假想相機(jī)430、440的光軸交叉面的目標(biāo)的指定，將指定過的目標(biāo)通知給視差控制部114。視差控制部114更具體地是相機(jī)配置決定部132調(diào)整從用戶指定的目標(biāo)所具有的平面，以便變?yōu)閮蓚€(gè)假想相機(jī)430、440的光軸交叉面。該處理以外的工作可以和圖11所示的立體圖像處理裝置100的工作相同。在這樣決定的目標(biāo)中，附加表示顯示在顯示畫面附近的信息。在顯示時(shí)，適當(dāng)讀出它而決定交叉距離D，利用前面敘述的處理來決定相機(jī)間距離E。
另外提出其他表現(xiàn)方法。在有多個(gè)應(yīng)顯示在顯示畫面上的目標(biāo)的情況下，不一定要將所有的目標(biāo)總是收納在合理視差內(nèi)。有時(shí)，為了有效地進(jìn)行顯示，在某種條件下，例如，只是在一定期間內(nèi)，可以使一部分目標(biāo)脫離合理視差的條件而進(jìn)行顯示。作為該方法，上面敘述了對靜止目標(biāo)決定基本表現(xiàn)空間的方法，更詳細(xì)地說，只要使每一個(gè)目標(biāo)具備辨別是否為應(yīng)立體顯示目標(biāo)所含基本表現(xiàn)空間內(nèi)應(yīng)表現(xiàn)的目標(biāo)的信息(下面只稱「識別信息」)即可。另外，將應(yīng)表現(xiàn)在基本表現(xiàn)空間內(nèi)的對象，也叫做「基本表現(xiàn)空間的計(jì)算對象」。然后，可以以該識別信息為基礎(chǔ)隨時(shí)決定基本表現(xiàn)空間。
如果構(gòu)成為可以根據(jù)需要適當(dāng)變更識別信息，則可以靈活地設(shè)定脫離合理視差的條件。例如，如果在識別信息里記述有脫離合理視差條件的時(shí)間的指定，則可以作到只要經(jīng)過被指定的時(shí)間，就自動地回到合理視差范圍。
而且，下面表示這樣暫時(shí)將一部分目標(biāo)脫離合理視差條件而顯示在顯示畫面上的方法。例如，在圖11所示的第一立體圖像處理裝置100中，相機(jī)配置決定部132按照合理視差修正臨時(shí)設(shè)定的相機(jī)參數(shù)，但如下擴(kuò)展其功能也可以。即，相機(jī)配置決定部132讀出與每一個(gè)目標(biāo)關(guān)聯(lián)的識別信息，以反映其識別信息的形式，配置相機(jī)參數(shù)。
再有，提出其他表現(xiàn)方法。如果由某一目標(biāo)來決定基本表現(xiàn)空間的前面和背面即作為近位置界限的前方投影面和作為遠(yuǎn)位置界限的后方投影面，則不能進(jìn)行對應(yīng)于目標(biāo)的空間的前后空間的移動表現(xiàn)。圖61是針對利用第四立體圖像處理裝置100進(jìn)行顯示的圖像，簡單地表示深度方向、特別是基本表現(xiàn)空間T。在圖61的左側(cè)設(shè)有前方投影面310，在右側(cè)設(shè)有后方投影面312，前方投影面310和后方投影面312之間成為基本表現(xiàn)空間T。在基本表現(xiàn)空間T的范圍內(nèi)，作為靜止目標(biāo)在前方投影面310側(cè)表現(xiàn)房子350，在后方投影面312側(cè)表現(xiàn)樹370。并且，作為動態(tài)目標(biāo)的鳥330在這兩個(gè)靜止目標(biāo)的上方空間內(nèi)向前移動。若鳥330在基本表現(xiàn)空間T范圍內(nèi)移動，則可以表現(xiàn)其動向，但到達(dá)前方投影面310或后方投影面312的情況下，以后，如圖61左側(cè)所示，鳥330變?yōu)槲挥谇胺酵队懊婊驁D中未示出的后方投影面312位置的目標(biāo)，鳥330固定在最大視差，不能在實(shí)際空間內(nèi)進(jìn)一步向前或向后移動。如果至少可以表現(xiàn)為移動目標(biāo)，則能變?yōu)榫哂邢鄬δ繕?biāo)的臨場感。
如上所述，考慮使動態(tài)目標(biāo)脫離基本表現(xiàn)空間T對象的處理，但是，如上所述，在想獲得某種效果以外的情況下，用戶有感覺到不協(xié)調(diào)感的可能性，故大多優(yōu)選表現(xiàn)在基本表現(xiàn)空間T范圍內(nèi)。
因此，如圖62所示，使不存在任何目標(biāo)的區(qū)域包含在基本表現(xiàn)空間T內(nèi)。圖62是表示在前方的靜止目標(biāo)房子350的更前方，作為基本表現(xiàn)空間T的一部分設(shè)置不存在任何(目標(biāo))的區(qū)域，作為動態(tài)目標(biāo)的鳥330可以在房子350前方移動的圖。圖63是表示進(jìn)一步地在后方的靜止目標(biāo)樹370的后方，作為基本表現(xiàn)空間T的一部分設(shè)置不存在任何(目標(biāo))的區(qū)域。由此，例如，作為動態(tài)目標(biāo)的鳥330，從后方移動過來，即使超過相當(dāng)于房子350前面的位置，也因?yàn)轼B330位于基本表現(xiàn)空間T的范圍內(nèi)，故即使移動到更前方也可以表現(xiàn)為合理視差，作為用戶的觀察者不會感到對其移動的不協(xié)調(diào)感。
另外，如圖64所示，例如，不僅是鳥330自體而且包含其前后的空間的形式，作為計(jì)算視差的對象，形成移動目標(biāo)390。當(dāng)移動目標(biāo)390最前面到達(dá)前方投影面310的情況下，只移動鳥330。這種情況下，例如，通過使鳥330的移動速度低于原來速度，從而可以延遲原來鳥330立即到達(dá)前方投影面310，而其以后不能表現(xiàn)移動的時(shí)間。
另外，如圖65所示，例如，移動目標(biāo)390越過前方投影面310之后，也可以在預(yù)先包含的空間中移動鳥330。由此，由于最大視差由移動目標(biāo)390來決定，鳥330是逐漸地接近最大視差，故在實(shí)際空間內(nèi)繼續(xù)向前移動成為可能。只要判定根據(jù)目標(biāo)即鳥330的位置進(jìn)行移動的事情有效還是無效，就可以實(shí)現(xiàn)。移動速度可以設(shè)定為原來設(shè)想的移動速度或快的速度、慢的速度的任一個(gè)，通過對移動速度賦予靈活性，從而各種表現(xiàn)成為可能。例如，通過越接近移動目標(biāo)390的端部，越使移動速度變慢地進(jìn)行變更，從而可以既防止視差量隨著前后方向過大的現(xiàn)象，又可以表現(xiàn)向前的移動。
另外，如果其他的目標(biāo)出現(xiàn)在其前后的情況下，最大視差在這一回變?yōu)橐来嬗谄淠繕?biāo)，故讓鳥330逐漸地回到移動目標(biāo)390的原來的位置。
其次，以前面所示的圖17和圖18為基礎(chǔ)，說明一邊改變最大視差，防止急劇的視差變化的原理。如上所述，tan(φ/2)＝M tan(θ/2)/LE∶S＝P∶AP＝2(S+A)tan(φ/2)。
的關(guān)系成立，根據(jù)這些公式，在某一相機(jī)的設(shè)定中，某一目標(biāo)的近位置側(cè)的視差量可以表示為M＝LEA/(2S(A+S)tan(θ/2))。
在這里，若該目標(biāo)向前方移動，若不變更相機(jī)設(shè)定，則因?yàn)锳變大而S變小，從而視差量變大。
在這里，目標(biāo)移動到前方時(shí)，假設(shè)M變?yōu)镸′、S變?yōu)镾′、A變?yōu)锳′，則可以表示為M′＝LEA′/(2S′(A′+S′)tan(θ/2))M＜M′。
在相機(jī)設(shè)定中，變更E和A′’，則變換為M″＝LE″A″/(2S′(A″+S′)tan(θ/2))，此時(shí)，如果滿足M＜M″＜M′的關(guān)系，則在立體顯示向觀察者移動的目標(biāo)時(shí)，可以防止急劇的視差量的變化。另外，可以只變更E或A′的任一個(gè)。此時(shí)，M″可以表示為M″＝LE″A′/(2S′(A′+S′)tan(θ/2))，或M″＝LEA″/(2S′(A″+S′)tan(θ/2))。
對于目標(biāo)的向里面的動向，為了防止視差量的急劇變化，只要滿足關(guān)系M＞M″＞M′就可以。
另外，對于遠(yuǎn)位置側(cè)的視差量N，同樣是
N＝LE(T-A)/(2(T+S)(A+S)tan(θ/2))，同樣，求出N′＝LE(T-A′)/(2(T+S′)(A′+S′)tan(θ/2))，N″＝LE″(T-A″)/(2(T+S′)(A″+S′)tan(θ/2))。
在此，只要滿足N＞N″＞N′，則對于向目標(biāo)的觀察者的動向，現(xiàn)實(shí)坐標(biāo)上的移動速度可以防止急劇的視差量的變化，另外，只要滿足N＞N″＞N′，則對于向目標(biāo)里面的動向，可以防止視差量的急劇變化。
以上說明了實(shí)現(xiàn)圖61至圖65所示的表現(xiàn)方法的立體圖像處理裝置100的構(gòu)成。在該立體圖像處理裝置100中，可以用圖60所示的立體圖像處理裝置100來實(shí)現(xiàn)。但是，相機(jī)配置決定部132還具有在按照合理視差修正臨時(shí)設(shè)定的相機(jī)參數(shù)時(shí)，從原始數(shù)據(jù)中讀出成為基本表現(xiàn)空間計(jì)算對象范圍相關(guān)的信息或目標(biāo)的視差量變更相關(guān)的信息，并使其反映為相機(jī)參數(shù)的功能。該信息可以是附加在原始數(shù)據(jù)自身上，例如也可以保持在視差信息保持部120中。
在實(shí)施方式中，例如相對可以正確看見球的正確的視差狀態(tài)，如果根據(jù)合理視差處理而判斷為處于視差過大的狀態(tài)，則處理成使立體圖像的視差變小。此時(shí)，看成為球在深度方向被壓碎的形狀，但是，一般對這樣的顯示的不協(xié)調(diào)感是小的。因?yàn)槿送ǔＡ?xí)慣看平面圖像，只要視差在0的狀態(tài)與正確的視差狀態(tài)之間，人不會感覺不協(xié)調(diào)感的情形多。
相反，對于可以正確看見球的視差狀態(tài)，如果根據(jù)合理視差處理而判斷為立體圖像的視差過小，則處理成使立體圖像的視差變大。此時(shí)，例如，看成為球在深度方向膨脹的形狀，對于這種顯示，人感覺不協(xié)調(diào)感是大的。
在立體顯示單體的目標(biāo)等時(shí)，容易發(fā)生如上所述的人感覺不協(xié)調(diào)感的現(xiàn)象，在建筑物或交通工具等實(shí)際生活中看得見的物體的顯示中，尤其會產(chǎn)生由于該視差的不同而導(dǎo)致明確地識別到觀看方法的不協(xié)調(diào)感的傾向。因此，為了減少其不協(xié)調(diào)感，對于增大視差的處理，有必要加以修正。
在由三維數(shù)據(jù)生成立體圖像的情況下，通過變更相機(jī)配置，而可以比較容易地進(jìn)行視差調(diào)整。以圖66至圖71為基礎(chǔ)，表示視差的修正順序。另外，該視差的修正可以用上述的第一至第四立體圖像處理裝置100來進(jìn)行。在這里，設(shè)想利用圖11所示的第一立體圖像處理裝置100，由三維數(shù)據(jù)生成立體圖像的情形。另外，后面要敘述的第四、第六立體圖像處理裝置100中也可以實(shí)現(xiàn)上述的修正處理。
圖66表示在某一個(gè)立體圖像處理裝置100的顯示畫面400中，觀察者觀察立體圖像的形態(tài)。顯示畫面400的尺寸為L、顯示畫面400與觀察者之間的距離為d、眼睛之間的距離為e。并且，近位置界限視差M和遠(yuǎn)位置界限視差N預(yù)先用立體感調(diào)整部112來獲得，近位置界限視差M與遠(yuǎn)位置界限視差N之間成為合理視差。在此，為了容易理解，而只表示近位置界限視差M，從該值決定最大飛出量m。所謂最大飛出量m就是指從顯示畫面400到近位置點(diǎn)的距離。另外，L、M、N的單位是「像素」，和其他的d、m、e等參數(shù)不同，原來雖然需要利用規(guī)定的變換公式進(jìn)行調(diào)整，但在此，為了容易說明，用相同的單位表示。
此時(shí)，為了顯示球21，以球21的近位置點(diǎn)和遠(yuǎn)位置點(diǎn)為基準(zhǔn)，用視差控制部114的相機(jī)配置決定部132，如圖67所示地決定相機(jī)配置。兩個(gè)相機(jī)22、24的光軸交差距離為D、那些相機(jī)之間間隔為Ec。但是，為了易于進(jìn)行參數(shù)的比較，進(jìn)行了坐標(biāo)系的放大縮小處理，以使光軸交差距離中的相機(jī)的估計(jì)寬度與畫面尺寸L一致。此時(shí)，例如設(shè)相機(jī)間隔Ec等于眼睛之間距離e，光軸交差距離D小于觀察距離d。這樣，如圖68所示，這個(gè)系統(tǒng)如果觀察者從圖67所示的相機(jī)位置進(jìn)行觀察，則可以正確看見球21。如果用以這種攝影系統(tǒng)中生成的圖像為基礎(chǔ)的立體圖像處理裝置100觀察球21，則如圖69所示，觀察到遍及合理視差全體范圍向深度方向延伸的球21。
下面表示利用這個(gè)原理，判斷對立體圖像有無必要進(jìn)行修正的方法。圖70表示在圖67所示的相機(jī)配置中，攝影位于從顯示畫面400的距離為A的球的最近位置點(diǎn)的形態(tài)。此時(shí)，根據(jù)可以連結(jié)與兩個(gè)相機(jī)22、24距離分別為A的位置點(diǎn)的兩條直線，求出對應(yīng)于距離A的最大視差M。并且，圖71表示在兩個(gè)相機(jī)22、24與相機(jī)的光軸公差距離為d時(shí)，獲得圖70所示的視差M所必需的相機(jī)間隔E1。這可以進(jìn)行使相機(jī)間隔以外的攝影系統(tǒng)的參數(shù)和所有觀察系統(tǒng)參數(shù)一致的變換。在圖70和圖71中，成立如下關(guān)系
M∶A＝Ec∶D-AM∶A＝E1∶d-AEc＝E1(D-A)/(d-A)E1＝Ec(d-A)/(D-A)。
并且，在該E1小于眼睛之間距離e時(shí)，判斷為有必要進(jìn)行使視差變的小修正。由于使E1變?yōu)閑就可以，所以如下式地進(jìn)行修正即可Ec＝e(D-A)/(d-A)。
對最遠(yuǎn)位置點(diǎn)也同樣，在圖72和圖73中，如果球21的最近位置點(diǎn)與最遠(yuǎn)位置點(diǎn)的距離為作為基本表現(xiàn)空間的T，則有N∶T-A＝Ec∶D+T-AN∶T-A＝E2∶d+T-AEc＝E2(D+T-A)/(d+T-A)E2＝Ec(d+T-A)/(D+T-A)。
并且，在該E2大于眼睛之間距離e時(shí)，判斷為有必要進(jìn)行修正。接著，使E2變?yōu)閑即可，所以如下式Ec＝e(D+T-A)/(d+T-A)地修正Ec就可以。
最終，如果選擇從最近位置點(diǎn)、最遠(yuǎn)位置點(diǎn)分別獲得的兩個(gè)Ec中小的一方，則對于近位置和近位置的任一都不會使視差過大?；氐揭栽摫贿x擇的Ec為基礎(chǔ)的三維空間坐標(biāo)系而設(shè)定相機(jī)。
由此，一般同時(shí)滿足如下兩式來設(shè)定相機(jī)間隔Ec就可以Ec＜e(D-A)/(d-A)E1＜e(D+T-A)/(d+T-A)。
這是表示在圖74和圖75中，在連結(jié)以眼睛之間距離e置于觀察距離d位置的兩個(gè)相機(jī)22、24和目標(biāo)的最近位置點(diǎn)的兩個(gè)光軸K4上，或是在連結(jié)上述兩個(gè)相機(jī)22、24和目標(biāo)的最遠(yuǎn)位置點(diǎn)的兩個(gè)光軸K5上，配置兩個(gè)相機(jī)時(shí)的間隔為相機(jī)間隔Ec的上限。即，可以配置兩個(gè)相機(jī)22、24，以便包含在圖74的兩個(gè)光軸K4的間隔或圖75的兩個(gè)光軸K5，的間隔中的窄的光軸之間。
另外，在此是不變更光軸交差距離而只進(jìn)行相機(jī)間隔的修正，但也可以是變更光軸交差距離來變更目標(biāo)的位置，也可以是變更相機(jī)間隔和光軸交差距離雙方。
在利用深度圖像的情況下也有必要進(jìn)行修正。深度圖像值用像素?cái)?shù)來表示其點(diǎn)的偏移量，如果初始值、一般記述在原始數(shù)據(jù)中的值為實(shí)現(xiàn)最佳立體感的狀態(tài)，則在合理視差處理中，在產(chǎn)生使深度圖像值范圍變大的必要時(shí)不進(jìn)行上述處理，只是在產(chǎn)生使深度圖像值范圍變小的必要時(shí)即產(chǎn)生使視差變小的必要時(shí)，進(jìn)行上述處理即可。
另外，在將初始值的視差設(shè)定為小的情況下，將最大允許值保持在圖像的標(biāo)題區(qū)域等中，進(jìn)行合理視差處理，以便收納在其最大允許值內(nèi)。這些情況下，關(guān)于合理距離，硬件信息成為必要，但是，和前面所示的不依靠硬件信息的情況相比，可以實(shí)現(xiàn)更高性能的處理。以上的處理不僅利用為自動設(shè)定視差的情況而且還可以利用在手動設(shè)定視差的情況下的處理。
另外，觀察者感覺不協(xié)調(diào)感的視差的界限根據(jù)圖像而不同。一般，在樣子或顏色變化少的圖像中，如果在邊界明顯的圖像上附加大視差，則交調(diào)失真明顯。此外，如果在邊界兩側(cè)的亮度差大的圖像上附加大的視差，則交調(diào)失真也明顯。即，在應(yīng)立體顯示的圖像即視差圖像，甚至視點(diǎn)圖像中，高頻成分少的情況下，用戶看其圖像時(shí)，有感覺不協(xié)調(diào)感的傾向。因此，用傅立葉變換的方法對圖像進(jìn)行頻率分析，根據(jù)其分析結(jié)果所獲得的頻率成分的分布，實(shí)施修正合理視差就可以。即，對于高頻成分的量多的圖像，實(shí)施視差大于合理視差的修正。
另外，動向更少的圖像交調(diào)失真明顯。一般，多通過查詢文件名的后綴，從而知道文件種類為動態(tài)圖像還是靜止圖像。因此，在判定為動態(tài)圖像的情況下，可以以動向矢量等已知的動向檢測方法來檢測動向狀態(tài)，并根據(jù)其狀態(tài)，對合理視差量實(shí)施修正。即，對動向少的圖像實(shí)施使視差比原來視差變小的修正。另一方面，對動向多的圖像不實(shí)施視差修正。另外，在想要強(qiáng)調(diào)動向等情況下，也可以實(shí)施使視差比原來視差大的修正。再有，合理視差的修正是一個(gè)例子，只要是預(yù)先決定的視差范圍，對任何情況都可以進(jìn)行修正。另外，可以修正深度圖像，也可以修正視差圖像的合成位置的偏移量。
另外，可以將這些分析結(jié)果記錄在文件的標(biāo)題區(qū)域之后，立體圖像處理裝置讀取其標(biāo)題，利用在下次以后的立體圖像的顯示中。
此外，高頻成分量或動向分布也可以是由圖像的制作者或用戶根據(jù)實(shí)際的立體視覺來附加等級，以多數(shù)評價(jià)者的立體視覺來進(jìn)行等級附加，可以利用其平均值而不管其等級附加方法。
另外，合理視差沒有必要嚴(yán)密保守，相機(jī)參數(shù)的計(jì)算沒有必要總進(jìn)行，可以每隔一定時(shí)間或每改變場景時(shí)等進(jìn)行。特別是，在由處理能力低的裝置來進(jìn)行的情況下有效。例如，在每隔一定時(shí)間計(jì)算相機(jī)參數(shù)的情況下，在從三維數(shù)據(jù)生成立體圖像情形中是在第一立體圖像處理裝置100中，視差控制部114利用內(nèi)部定時(shí)器，每隔一定周期對相機(jī)配置決定部132指示再度計(jì)算相機(jī)參數(shù)數(shù)據(jù)即可。內(nèi)部定時(shí)器可以利用立體圖像處理裝置100的進(jìn)行計(jì)算處理的CPU的基準(zhǔn)頻率；也可以單獨(dú)設(shè)置專用定時(shí)器。
圖76表示實(shí)現(xiàn)根據(jù)圖像狀態(tài)來計(jì)算合理視差的第五體圖像處理裝置100的構(gòu)成。在這里，在圖11所示的第一體圖像處理裝置100中設(shè)有新的圖像判定部190。其他的構(gòu)成和動作是相同的，所以主要說明不同點(diǎn)。該圖像判定部190包括分析圖像的頻率成分而求出高頻成分量，并向視差控制部114通知適合于其圖像的視差的頻率成分檢測部192；如果原始數(shù)據(jù)為動態(tài)圖像，則通過檢測場景改變或檢測圖像內(nèi)動向，來向視差控制部114通知相機(jī)參數(shù)計(jì)算定時(shí)的場景判定部194。場景改變的檢測可以利用已知的方法來進(jìn)行。
在原始數(shù)據(jù)為動態(tài)圖像時(shí)，如果總進(jìn)行利用圖像高頻成分量的合理視差調(diào)整處理，則頻率成分檢測部192的處理負(fù)擔(dān)變大。如果使用與處理負(fù)荷相稱的計(jì)算處理裝置，則有增加立體圖像處理裝置100成本的憂慮。如上所述，沒有必要總是嚴(yán)守合理視差，故通過構(gòu)成為以圖像判定部190的檢測結(jié)果為基礎(chǔ)，在場景改變等圖像大變化時(shí)，分析圖像的頻率成分，而可以減輕圖像判定部190的負(fù)擔(dān)。
在三維空間內(nèi)配置多個(gè)假想相機(jī)，分別生成對應(yīng)于假想相機(jī)的視差圖像時(shí)，這些視差圖像內(nèi)產(chǎn)生不存在目標(biāo)信息的區(qū)域的現(xiàn)象。下面，以三維數(shù)據(jù)為起點(diǎn)生成立體圖像的情況為例，說明視差圖像內(nèi)產(chǎn)生不存在目標(biāo)信息的區(qū)域的原理，同時(shí)，說明其消除方法。圖77表示由制作三維數(shù)據(jù)的制作者設(shè)定的臨時(shí)相機(jī)位置S(Xs、Ys、Zs)、視場角θ、和第一至第三目標(biāo)700、702、704的關(guān)系。
臨時(shí)相機(jī)位置S(Xs、Ys、Zs)在以多個(gè)假想相機(jī)為基礎(chǔ)分別生成視差圖像時(shí)，成為假想相機(jī)的中心(下面，也稱相機(jī)群中心位置S)。第一目標(biāo)700相當(dāng)于背景。在此，制作者在視場角θ內(nèi)收納第二目標(biāo)702和第三目標(biāo)704，同時(shí)，根據(jù)作為背景圖像的第一目標(biāo)700，設(shè)定視場角θ和相機(jī)群中心位置S，以使目標(biāo)信息存在于視場角θ內(nèi)。
接著，利用規(guī)定的程序，決定兩個(gè)相機(jī)722、724的參數(shù)，具體而言決定相機(jī)位置和各自的光軸，以便獲得圖78所示的所要視差、進(jìn)一步獲得作為近位置和遠(yuǎn)位置的基準(zhǔn)的光軸交叉位置A(Xa、Ya、Za)。此時(shí)，在視場角θ等于前面所決定的值的情況下，在兩個(gè)相機(jī)722、724的相機(jī)位置中，例如根據(jù)作為背景圖像的第一目標(biāo)的大小，如圖78所示，產(chǎn)生不存在目標(biāo)信息的第一和第二零目標(biāo)區(qū)域740、742。
用角度表示第一零目標(biāo)區(qū)域740為α、第二零目標(biāo)區(qū)域742為β，在這些角度范圍內(nèi)不存在目標(biāo)信息。因此，如圖79所示，可以調(diào)整視場角θ，以便沒有這些α和β。即，從視場角θ減去α和β中的大的值。此時(shí)，為了使光軸方向不發(fā)生變更，為了從視場角θ的左右兩個(gè)方向減去應(yīng)減法運(yùn)算的值，而將新的視場角θ1由θ1＝θ1-2×α或θ1-2×β來決定。但有時(shí)不能從視差圖像立即判明α或β，故可以逐漸調(diào)整視場角θ，每一次都確認(rèn)視差圖像內(nèi)是否產(chǎn)生不存在目標(biāo)信息的區(qū)域。另外，目標(biāo)的不存在信息區(qū)域的有無，實(shí)際上是只要確認(rèn)是否有應(yīng)該輸入顯示畫面像素的數(shù)據(jù)即可。此外，不限于只調(diào)整視場角θ，以便調(diào)整為全部像素內(nèi)存在目標(biāo)信息，也可以變更相機(jī)間隔E或光軸交叉位置A。
圖80是表示視場角調(diào)整處理的流程圖。該視場角調(diào)整處理是能用圖11所示的第一立體圖像處理裝置100來實(shí)現(xiàn)。首先，如果在立體圖像處理裝置100中輸入成為立體圖像起點(diǎn)的原始數(shù)據(jù)，則相機(jī)臨時(shí)配置部130決定相機(jī)群中心位置S(S110)。接著，相機(jī)配置決定部132以其相機(jī)群中心位置S為基礎(chǔ)，決定相機(jī)視場角θ(S112)、相機(jī)間隔E(S114)、假想相機(jī)的光軸交叉位置A(S116)。進(jìn)一步，相機(jī)配置決定部132根據(jù)相機(jī)間隔E和光軸交叉位置A，對原始數(shù)據(jù)進(jìn)行坐標(biāo)變換處理(S118)，判定顯示畫面的全部像素是否存在目標(biāo)信息(S120)。
在存在沒有目標(biāo)信息的像素的情況下(S120的否)，則進(jìn)行稍微變窄視場角θ的修正(S122)之后，回到S114的處理，以后繼續(xù)S114到S120的處理，直到全部像素內(nèi)存在目標(biāo)信息為止。但是，在只用視場角θ的修正來進(jìn)行調(diào)整，以使全部像素內(nèi)存在目標(biāo)信息的情況下，跳過S114的相機(jī)間隔E決定處理和S116的決定光軸交叉位置A的處理。在全部像素存在目標(biāo)信息的情況下(S120的是)，結(jié)束該視場角調(diào)整處理。
在上述實(shí)施方式中，主要說明了三維數(shù)據(jù)為起點(diǎn)生成的立體圖像。下面，說明以實(shí)際拍照圖像為起點(diǎn)來表現(xiàn)立體圖像的方法。以三維數(shù)據(jù)為起點(diǎn)的情況和以實(shí)際拍照圖像為起點(diǎn)的不同點(diǎn)在于在以實(shí)際拍照圖像為起點(diǎn)的情況下沒有基本表現(xiàn)空間的深度方向T的概念。這可以換句話說成能進(jìn)行合理視差顯示的深度方向范圍T。
如圖17和圖18所示，用來生成立體圖像的相機(jī)設(shè)定所必需的參數(shù)是相機(jī)間隔E、光軸交叉位置A、視場角θ、從作為基本表現(xiàn)空間前面的前方投影面30到相機(jī)配置面即視點(diǎn)面208為止的距離S、光軸交叉面210到視點(diǎn)面208的距離D、深度方向范圍T六種。并且，在這些之間滿足如下關(guān)系式E＝(S+A)tan(θ/2)·(SM+SN+TN)/(LT)A＝STM/(SM+SN+TN)D＝S+A。
因此，如果指定六種參數(shù)E、A、θ、S、D、T中的三種，則可以計(jì)算剩余的參數(shù)。一般，指定哪個(gè)參數(shù)雖然是自由的，但在前面敘述的實(shí)施方式中指定θ、S、T，而計(jì)算E、A、D。由于若自動變更θ或S則放大率有變化，故有不能表現(xiàn)程序設(shè)計(jì)者或攝影者的意圖的危險(xiǎn)，因此，自動決定這些是不理想的情形居多。對于T，也可以說成表示表現(xiàn)范圍限制的參數(shù)，最好預(yù)先決定。并且，在三維數(shù)據(jù)的情況下，改變?nèi)我粎?shù)都需要相同的時(shí)間和勞力。但是，實(shí)際拍照的情況是不同的。根據(jù)相機(jī)的構(gòu)造價(jià)格大不相同，而且操作性也有變化，所以最好是按照用途改變所指定的參數(shù)為佳。
圖81表示在娛樂設(shè)施或照相館等中攝影立體照片的立體照片攝影裝置510與被照相體552之間的關(guān)系。該立體照片攝影裝置510構(gòu)成為包括照相機(jī)550和立體圖像處理裝置100。在這里，固定攝影環(huán)境。即，預(yù)先決定照相機(jī)550的位置和被拍攝體552的位置，作為參數(shù)，θ、S、T已決定。該攝影系統(tǒng)是將圖18所示的例子改換為實(shí)際的照相機(jī)550的狀態(tài)，兩個(gè)透鏡522、524安裝在一臺照相機(jī)550上，只用照相機(jī)550就可以攝影成為立體圖像起點(diǎn)的兩個(gè)視差圖像。
圖82表示進(jìn)行該處理的第六立體圖像處理裝置100的構(gòu)成。該立體圖像處理裝置100是在圖12所示的立體圖像處理裝置100中，以相機(jī)控制部151來替換視差量檢測部150的裝置。相機(jī)控制部151具有透鏡間隔調(diào)整部153和光軸調(diào)整部155。
透鏡間隔調(diào)整部153通過調(diào)整兩個(gè)透鏡522、524位置來調(diào)整相機(jī)間隔E，更詳細(xì)地說是調(diào)整透鏡間隔E。另外，光軸調(diào)整部155變更兩個(gè)透鏡522、524各自的光軸方向來調(diào)整D。被拍攝體552通過存儲器或卡等能移動的記錄介質(zhì)或互聯(lián)網(wǎng)等通信手段，輸入自宅等中保有的立體圖像顯示裝置的合理視差。信息取得部118接受該合理視差的輸入，并向相機(jī)控制部151通知。接受其通知，相機(jī)控制部151計(jì)算E、A、D，通過調(diào)整透鏡522、524，從而相機(jī)550以合理視差進(jìn)行攝影?？梢酝ㄟ^根據(jù)程序庫，將顯示被拍攝體的立體顯示裝置與立體照片攝影裝置510之間的處理共通化來實(shí)現(xiàn)這個(gè)。
另外，在顯示時(shí)想要在畫面上配置被拍攝體的情況下，也預(yù)先決定D、A，使被拍攝體位于D之后即可進(jìn)行攝影，這種情況下，在近位置和遠(yuǎn)位置分別進(jìn)行合理視差的計(jì)算，選擇E變小的一方就可以。另外，T可以大于被拍攝體所占的范圍。在有背景的情況下，可以包含背景而決定T。
此外，合理視差信息沒有必要一定是用作為被拍攝體的用戶所擁有的立體圖像顯示裝置來查詢的信息。例如，可以是在攝影現(xiàn)場用典型的立體圖像顯示裝置選擇喜歡的立體感。能用立體感調(diào)整部112來進(jìn)行該選擇。或者可以只從「畫面上/遠(yuǎn)位置/近位置」、「立體感大/中/小」等項(xiàng)目中選擇，利用對應(yīng)于這些而保持在視差信息保持部120中的預(yù)先決定的相機(jī)參數(shù)。另外，光軸交叉位置的變更可以用機(jī)構(gòu)結(jié)構(gòu)來進(jìn)行變更，但可以利用分辨率高的CCD(電荷耦合器件Charge Coupled Device)，通過改變作為圖像利用的范圍來實(shí)現(xiàn)。在該處理中可以使用位置移位部160的功能。
圖83表示在人不能進(jìn)去的場所內(nèi)設(shè)置能移動的相機(jī)550，根據(jù)使用遙控器519的遠(yuǎn)距離操作來操作該相機(jī)550，用立體圖像顯示裝置511來觀察攝影圖像的形態(tài)。在立體圖像顯示裝置511中組裝有圖82所示構(gòu)成的立體圖像顯示裝置100。
在相機(jī)550中備有可以自動調(diào)整透鏡間隔E的機(jī)構(gòu)。并且，在該相機(jī)550中具有光學(xué)變焦或電子變焦功能，由此來決定θ。但是，視差量由于該變焦操作而變化。一般地，越是攝影遠(yuǎn)處，顯示時(shí)的視點(diǎn)間的光軸形成的角度就越變小，故在其透鏡間隔E中視差變小，而缺乏立體感。因此，有必要適當(dāng)?shù)刈兏哥R間隔E或變焦量等相機(jī)設(shè)定。在這里，這種情況下，自動控制相機(jī)設(shè)定，大幅度減輕繁雜的相機(jī)設(shè)定。另外，可以使用遙控器519來調(diào)整相機(jī)設(shè)定。
首先，操作者如果使用遙控器519操作光學(xué)變焦或電子變焦，θ就被決定。其次，移動相機(jī)550將想要攝影的被拍攝體顯示在立體圖像顯示裝置511的中央。相機(jī)550利用自動調(diào)焦功能來與被拍攝體對焦，同時(shí)取得距離。在初始狀態(tài)中，使該距離成為D。即，自動設(shè)定相機(jī)550，以便被拍攝體被看成位于顯示畫面附近位置。T可以用手動來變更范圍，操作者預(yù)先指定想要將握前后關(guān)系的物體的深度方向的分布。這樣，決定θ、D、T。由此，由上述的三個(gè)關(guān)系式來決定E、A、S，適當(dāng)自動調(diào)整相機(jī)550。在該例的情況下，由于S后決定，故T最終變?yōu)楹畏秶遣淮_定的。因此，優(yōu)選間T設(shè)定為某種程度的大。
另外，在想將被拍攝體顯示在畫面端的情況下，先將被拍攝體顯示在中央，按住規(guī)定按鈕，使焦點(diǎn)和D變?yōu)榭梢怨潭?，然后，變更相機(jī)550的方向就可以。此外，如果可以手動變更焦點(diǎn)和D，則可以自由改變被拍攝體的深度方向位置。
圖84表示用立體圖像攝影裝置510攝影的一例。立體圖像攝影裝置510具有圖82所示的構(gòu)成。在該相機(jī)550中通過能攜帶的存儲器等記錄介質(zhì)或互聯(lián)網(wǎng)等通信手段，輸入攝影者預(yù)先保持的立體圖像顯示裝置的合理視差。在這里，作為相機(jī)550，設(shè)想為具有簡單的結(jié)構(gòu)、能低價(jià)格購入的相機(jī)。在此，相機(jī)間隔E、光軸交差距離D、視場角θ已被固定，由上述的三個(gè)關(guān)系式?jīng)Q定A、S、T。由于從這些值可以計(jì)算到被拍攝體的距離的適當(dāng)范圍，故實(shí)時(shí)測定到被拍攝體為止的距離，可以用信息或燈的顏色來向攝影者通知被計(jì)算的距離是否適當(dāng)。到被拍攝體的距離可以利用自動調(diào)焦的距離測定功能等已知的技術(shù)來取得。
如上所述，將相機(jī)參數(shù)的任一作為變數(shù)或常數(shù)的組合是自由的，與用途配合，有各種形態(tài)。另外，相機(jī)550除了上述以外還可以考慮安裝在顯微鏡、醫(yī)療用內(nèi)視鏡、便攜式終端機(jī)等各種機(jī)器上的形態(tài)。
另外，如果對特定的立體顯示裝置實(shí)施視差的最佳化，則有時(shí)在其他的立體顯示裝置中的立體顯示變?yōu)槔щy?？墒?，裝置的性能一般是在提高，對下一次購入的立體顯示裝置而言，很難說視差過大。反而，為了避免由于攝影裝置的設(shè)定不完備，與立體顯示裝置的性能無關(guān)而立體視覺變?yōu)槔щy的危險(xiǎn)，進(jìn)行如上所述的調(diào)整是重要的。另外在此，所謂立體顯示裝置是指具備用來實(shí)現(xiàn)立體視覺的立體圖像處理裝置的構(gòu)成。
從第一至第六立體圖像處理裝置100的立體感調(diào)整部112中所獲得的合理視差，是用戶一邊對特定的立體圖像處理裝置100立體視覺而一邊決定的相機(jī)參數(shù)，在該立體圖像處理裝置100中，以后保存其合理視差。在該立體感調(diào)整操作中，還加進(jìn)立體顯示裝置固有的「圖像分析性能」和觀察者固有的「生理性界限」的兩個(gè)因素。所謂「圖像分析性能」是表示分離多個(gè)視點(diǎn)圖像性能的客觀的因素，該性能低的立體顯示裝置幾乎不能附加視差，同時(shí)，容易感知交調(diào)失真，多數(shù)觀察者進(jìn)行調(diào)整情況下的合理視差的范圍平均變窄。相反，如果圖像分離性能高，則即使附加大的視差，也幾乎不會感知交調(diào)失真，而有合理視差的范圍平均變寬的傾向。另一方面，所謂「生理性界限」是主觀性因素，例如，即使圖像分離性能非常高而完全分離圖像，但由于觀察者不同而感覺不協(xié)調(diào)感的視差范圍也不同。這是作為相同立體圖像處理裝置100的合理視差的不均勻來表現(xiàn)的。
圖像分離性能又稱為分離度，如圖85所示，可以在最佳觀察距離，利用一邊沿水平方向移動照度計(jì)570一邊測定基準(zhǔn)圖像572的照度的方法來決定。此時(shí)，在兩眼式的情況下，例如，在左眼圖像上顯示全白而在右眼圖像上顯示全黑。如果圖像完全分離，則看見右眼圖像位置的照度變?yōu)?。對此，通過測定左眼圖像的白的欠缺程度，而可以得到圖像分離性能。圖85右端的曲線表示測定結(jié)果的例子。另外，由于該測定幾乎和測定莫爾條紋的濃淡等價(jià)，故即使通過以能觀察圖86所示的莫爾條紋的距離，取入莫爾條紋圖像，分析其濃淡，也可以測定圖像分離性能。
在眼鏡式立體顯示裝置等中也同樣，通過測定漏光而可以測定圖像分離性能。另外，實(shí)際上，將使左右兩方圖像全黑時(shí)的測定值作為背景而加進(jìn)計(jì)算也可以。此外，圖像分離性能可以由多數(shù)觀察者等級附加評價(jià)的平均值來決定。
這樣，由于可以對立體顯示裝置的圖像分離性能提供客觀的數(shù)值等的判斷基準(zhǔn)，故例如，只要知道用戶保有的圖54的立體顯示裝置450的等級和用戶相對該立體顯示裝置450的的合理視差，就可以變換合理視差，以符合其他的立體顯示裝置440的等級。另外，在立體顯示裝置中也有畫面尺寸、像素間隔、最佳觀察距離等成為固有值的參數(shù)，這些參數(shù)的信息也利用于合理視差的變換。
下面，對合理視差的變換例，利用圖87和圖88按照每一個(gè)參數(shù)順序進(jìn)行說明。在此，合理視差由N/L和M/L來保持。在此，M是近位置界限視差、N是遠(yuǎn)位置界限視差、L是畫面尺寸。這樣，通過以比值來表示，而可以無視立體顯示裝置間的像素間隔的不同。因此，在下面使用的圖中，為了說明方便，而作為像素間隔相同來進(jìn)行說明。
首先，說明相對畫面尺寸不同的變換。如圖87所示，優(yōu)選以不管畫面尺寸如何而不改變視差的絕對值的方式進(jìn)行處理。即，使前后方向的立體表現(xiàn)范圍相同。如從圖上側(cè)所示狀態(tài)到圖下側(cè)所示的狀態(tài)那樣，使畫面尺寸變?yōu)閍倍。此時(shí)，通過使N/L變換為N/(aL)，使M/L變換為M/(aL)，從而即使在畫面尺寸不同的情況下，也可以實(shí)現(xiàn)合理視差。在圖87中表示最近位置點(diǎn)的例子。
其次，說明相對觀察距離不同的變換。如圖88所示，優(yōu)選如果最佳觀察距離d變?yōu)閎倍，則視差的絕對值也變?yōu)閎倍。即一定保持眼睛估計(jì)視差的角度。因此，通過使N/L變換為bN/L、M/L變換為bM/L，則即使在最佳觀察距離不同的情況下，也可以實(shí)現(xiàn)合理視差。在圖88中表示最近位置點(diǎn)的例。
最后，對加進(jìn)圖像分離性能因素的方法進(jìn)行說明。在此，假設(shè)圖像分離性能的等級r為0以上的整數(shù)，越是不能附加視差的、性能不好的為0。并且，假設(shè)第一立體顯示裝置的圖像分離性能為r0、第二立體顯示裝置的圖像分離性能為r1，則作為c＝r1/r0，將N/L變換為cN/L、M/L變換為cM/L。由此，即使在圖像分離性能不同的立體顯示裝置中也可以實(shí)現(xiàn)合理視差。另外，這里表示的導(dǎo)出c的公式是一例，也可以利用其他數(shù)學(xué)公式導(dǎo)出。
如果全部進(jìn)行上述處理，則其結(jié)果N/L變換為bcN/(aL)、M/L變換為bcM/(aL)。而且，該變換可以應(yīng)用在水平方向的視差和垂直方向的視差的任一中。另外，上述合理視差的變換可以用圖52、圖53和圖54所示的構(gòu)成來實(shí)現(xiàn)。
另外，基本表現(xiàn)空間的前面和背面可以利用Z緩沖器來決定。Z緩沖器是以陰面處理的方法，獲得從相機(jī)看到的目標(biāo)群的深度圖像?？梢詫⒃揨值以外的最小值和最大值作為最前面、最后面的位置來利用。作為處理，追加從假想相機(jī)取得Z值的處理。在該處理中由于不需最終的分辨率，故若減少像素?cái)?shù)而進(jìn)行處理，則可以縮短處理時(shí)間。利用該方法，可以無視被隱藏的部分，而有效利用合理視差范圍。另外，即使有多個(gè)目標(biāo)，也容易處理。
再有，視差控制部114可以在由三維數(shù)據(jù)生成立體圖像時(shí)，為了生成視差圖像而設(shè)定的相機(jī)配置相關(guān)的參數(shù)有變更的情況下，控制所述相機(jī)參數(shù)，以便將對所述相機(jī)參數(shù)的變動收納在預(yù)先設(shè)置的閾值之內(nèi)。另外，視差控制部114在由提供深度信息的二維動態(tài)圖像生成立體圖像時(shí)，進(jìn)行控制，以使伴隨二維動態(tài)圖像進(jìn)展而產(chǎn)生的、包含在深度信息內(nèi)的最大值或最小值的變動收納在預(yù)先設(shè)置的閾值之內(nèi)，也是可以的。利用在這些控制中的閾值可以保持在視差信息保持部120內(nèi)。
在由三維數(shù)據(jù)生成立體圖像時(shí)，如果從視界內(nèi)存在的目標(biāo)決定基本表現(xiàn)空間，則由于目標(biāo)的急速移動或進(jìn)入屏幕、離開屏幕，基本表現(xiàn)空間的大小急劇變化，從而相機(jī)配置相關(guān)參數(shù)有大的變動。在該變動大于預(yù)先決定的閾值的情況下，將閾值作為限度許可變動，也是可以的。另外，即使在由提供深度信息的二維動態(tài)圖像來生成立體圖像時(shí)，如果從深度的最大值或最小值來決定視差量的最大值或最小值，也考慮同樣的不便。也可以對該變動設(shè)置閾值。
根據(jù)本實(shí)施方式，有如下效果。
1.可以生成或顯示容易適合人體生理的立體圖像。
2.即使改變顯示對象圖像，也可以生成或顯示容易適合用戶的立體圖像。
3.可以以簡單的操作調(diào)整立體顯示的立體感。
4.在制作能進(jìn)行適當(dāng)?shù)牧Ⅲw顯示的內(nèi)容或應(yīng)用程序時(shí)，可以減輕程序設(shè)計(jì)者的時(shí)間和勞力。
5.可以減輕用戶的最佳化立體顯示的時(shí)間和勞力。
6.通常，可以容易實(shí)現(xiàn)不成為即插即用功能的對象的立體感調(diào)整或標(biāo)題跟蹤信息；如后付的視差阻擋層，對原理上不能即插即用的裝置也同樣。
(工業(yè)上的可利用性)如上所述，本發(fā)明可以利用在立體圖像處理方法和立體圖像處理方法裝置等中。
權(quán)利要求
1.一種立體圖像處理裝置，其特征在于，包括取得用戶對以對應(yīng)于不同視差的多個(gè)視點(diǎn)圖像為基礎(chǔ)而進(jìn)行顯示的立體圖像的應(yīng)答的指示取得部；和以所取得的應(yīng)答為基礎(chǔ)，特定其用戶相關(guān)的合理視差的視差特定部。
2.根據(jù)權(quán)利要求1所述的立體圖像處理裝置，其特征在于，還包括實(shí)施處理，以便在其他圖像顯示時(shí)也可以實(shí)現(xiàn)所述特定合理視差的視差控制部。
3.根據(jù)權(quán)利要求2所述的立體圖像處理裝置，其特征在于，所述其他圖像是以三維數(shù)據(jù)為起點(diǎn)生成的立體圖像，所述視差控制部按照所述合理視差來決定生成其立體圖像的多個(gè)視點(diǎn)。
4.根據(jù)權(quán)利要求3所述的立體圖像處理裝置，其特征在于，所述視差控制部決定所述多個(gè)視點(diǎn)間的距離和從那些視點(diǎn)估計(jì)目標(biāo)的光軸的交叉位置。
5.根據(jù)權(quán)利要求2～4中任一項(xiàng)所述的立體圖像處理裝置，其特征在于，所述視差控制部對成為顯示對象的規(guī)定的基本三維空間進(jìn)行控制，以便實(shí)現(xiàn)所述合理視差。
6.根據(jù)權(quán)利要求2～4中任一項(xiàng)所述的立體圖像處理裝置，其特征在于，所述視差控制部對基本三維空間中的最近位置的目標(biāo)坐標(biāo)和最遠(yuǎn)位置的目標(biāo)坐標(biāo)進(jìn)行控制，以便實(shí)現(xiàn)所述合理視差。
7.根據(jù)權(quán)利要求2所述的立體圖像處理裝置，其特征在于，所述其他圖像是已經(jīng)賦予視差的多個(gè)二維圖像，所述視差控制部按照所述合理視差，來決定那多個(gè)二維圖像的水平方向的移位。
8.根據(jù)權(quán)利要求2所述的立體圖像處理裝置，其特征在于，所述其他圖像是已經(jīng)賦予深度信息的平面圖像，所述視差控制部按照所述合理視差，調(diào)整該平面圖像的深度信息。
9.根據(jù)權(quán)利要求2～8中任一項(xiàng)所述的立體圖像處理裝置，其特征在于，還包括記錄所述合理視差的視差保持部，所述視差控制部在規(guī)定定時(shí)內(nèi)讀出所述合理視差，并將該值作為初始值來實(shí)施所述處理。
10.根據(jù)權(quán)利要求1～9中任一項(xiàng)所述的立體圖像處理裝置，其特征在于，還包括從用戶接受包含在所述立體圖像內(nèi)的規(guī)定目標(biāo)指定的目標(biāo)指定部；和光軸交叉位置設(shè)定部，其使分別與所述多個(gè)視點(diǎn)圖像相關(guān)聯(lián)的光軸交叉位置對應(yīng)于指定目標(biāo)的位置，同時(shí)，以所述指定目標(biāo)表現(xiàn)在所述立體圖像所顯示的顯示畫面位置附近的方式設(shè)定所述光軸交叉位置。
11.根據(jù)權(quán)利要求10所述的立體圖像處理裝置，其特征在于，所述指定目標(biāo)具有規(guī)定的界面，所述光軸交叉位置設(shè)定部將所述光軸交叉位置對應(yīng)于所述界面上。
12.根據(jù)權(quán)利要求10或11所述的立體圖像處理裝置，其特征在于，還包括指定信息附加部，其針對所述指定的目標(biāo)，將其目標(biāo)和所述光軸交叉位置加以對應(yīng)，且將記述所述目標(biāo)表現(xiàn)在顯示畫面位置附近的意思的光軸對應(yīng)信息與所述目標(biāo)加以關(guān)聯(lián)。
13.根據(jù)權(quán)利要求12所述的立體圖像處理裝置，其特征在于，光軸交叉位置設(shè)定部取得所述光軸對應(yīng)信息，相對于記述在所取得的光軸對應(yīng)信息內(nèi)的目標(biāo)，使所述光軸交叉位置對應(yīng)，同時(shí)，將加以對應(yīng)了所述光軸交叉位置的目標(biāo)表現(xiàn)在所述立體圖像被顯示的顯示畫面位置附近。
14.根據(jù)權(quán)利要求1～13中任一項(xiàng)所述的立體圖像處理裝置，其特征在于，還包括識別信息取得部，其取得與生成所述立體圖像時(shí)所利用的圖像數(shù)據(jù)相關(guān)聯(lián)，且包括是否應(yīng)該在包含所述立體圖像所含目標(biāo)中的應(yīng)立體顯示目標(biāo)的基本表現(xiàn)空間內(nèi)表現(xiàn)的信息的識別信息；和以所述所取得的識別信息為基礎(chǔ)，使視差量反映在目標(biāo)上的視差控制部。
15.根據(jù)權(quán)利要求1～14中任一項(xiàng)所述的立體圖像處理裝置，其特征在于，所述視差控制部進(jìn)一步進(jìn)行控制，以使視差不會比表現(xiàn)在所述立體圖像內(nèi)的目標(biāo)的寬度與深度之比被人類眼睛正確感知范圍內(nèi)的視差還大。
16.根據(jù)權(quán)利要求1～15中任一項(xiàng)所述的立體圖像處理裝置，其特征在于，還具有在輸入成為所述立體圖像起點(diǎn)的原始數(shù)據(jù)時(shí)，設(shè)定用于生成多個(gè)視點(diǎn)圖像的多個(gè)假想相機(jī)的配置的相機(jī)配置設(shè)定部；判定在與所述假想相機(jī)分別對應(yīng)生成的視點(diǎn)圖像中是否產(chǎn)生不存在應(yīng)顯示的目標(biāo)信息的區(qū)域的目標(biāo)區(qū)域判定部；和產(chǎn)生不存在應(yīng)顯示的目標(biāo)信息的區(qū)域的情況下，調(diào)整所述假想相機(jī)的視場角、相機(jī)間隔、和光軸交叉位置的至少任一個(gè)，以便消除目標(biāo)信息不存在的區(qū)域的相機(jī)參數(shù)調(diào)整部。
17.根據(jù)權(quán)利要求1～16中任一項(xiàng)所述的立體圖像處理裝置，其特征在于，在所述立體圖像為以三維數(shù)據(jù)為起點(diǎn)而生成的情況下，所述視差控制部在生成所述立體圖像之際，在為生成視差圖像而設(shè)定的相機(jī)配置相關(guān)參數(shù)被變更的情況下，控制相機(jī)參數(shù)，以使其收納在相對所述參數(shù)變動預(yù)先設(shè)置的閾值內(nèi)。
18.根據(jù)權(quán)利要求1～17中任一項(xiàng)所述的立體圖像處理裝置，其特征在于，在所述立體圖像為以賦予了深度信息的二維動態(tài)圖像為起點(diǎn)而生成的情況下，所述視差控制部進(jìn)行控制，以使伴隨所述二維動態(tài)圖像的進(jìn)展而產(chǎn)生的包含在所述深度信息內(nèi)的深度最大值或最小值的變動收納在預(yù)先設(shè)置的閾值內(nèi)。
19.根據(jù)權(quán)利要求1～18中任一項(xiàng)所述的立體圖像處理裝置，其特征在于，還具有以一個(gè)場景為單位分析所述立體圖像的圖像判定部。
20.一種立體圖像處理方法，其特征在于，包括向用戶顯示由不同視差而產(chǎn)生的多個(gè)立體圖像的步驟；和以用戶相對被顯示的立體圖像的應(yīng)答作為基礎(chǔ)，特定其用戶相關(guān)的合理視差的步驟。
21.一種立體圖像處理方法，其特征在于，包括取得依存于用戶的合理視差的步驟；和在顯示前對圖像加以處理，以便實(shí)現(xiàn)所取得合理視差的步驟。
22.根據(jù)權(quán)利要求20或21所述的立體圖像處理方法，其特征在于，構(gòu)成為將所述各步驟作為立體顯示用程序庫的功能來安裝，能從多個(gè)程序中作為函數(shù)來調(diào)用該程序庫的功能。
23.根據(jù)權(quán)利要求20～22中任一項(xiàng)所述的立體圖像處理方法，其特征在于，還包括將應(yīng)表現(xiàn)在包含所述立體圖像內(nèi)應(yīng)立體顯示的目標(biāo)的基本表現(xiàn)空間內(nèi)的目標(biāo)的移動速度，向最近位置方向或最遠(yuǎn)位置方向變更的步驟。
24.根據(jù)權(quán)利要求20～23中任一項(xiàng)所述的立體圖像處理方法，其特征在于，還包括通過一邊表現(xiàn)在包含應(yīng)立體顯示目標(biāo)的基本表現(xiàn)空間內(nèi)應(yīng)表現(xiàn)的目標(biāo)，以便收納在規(guī)定的視差范圍內(nèi)，一邊將所述基本表現(xiàn)空間的最前面或最后面的至少一個(gè)面設(shè)定為目標(biāo)不存在的位置，從而調(diào)整所述合理視差的步驟。
25.一種計(jì)算機(jī)程序，其特征在于，使計(jì)算機(jī)執(zhí)行向用戶顯示由不同視差而產(chǎn)生的多個(gè)立體圖像的步驟；和以用戶相對被顯示的立體圖像的應(yīng)答作為基礎(chǔ)，特定其用戶相關(guān)的合理視差的步驟。
26.一種立體圖像處理裝置，其特征在于，包括修正立體圖像顯示用的多個(gè)視點(diǎn)圖像之間視差的視差控制部；和保持所述視差控制部進(jìn)行該處理時(shí)應(yīng)參照的修正圖像的圖像保持部；所述修正圖像記述為根據(jù)視點(diǎn)圖像內(nèi)的位置，修正所述視差。
27.根據(jù)權(quán)利要求26所述的立體圖像處理裝置，其特征在于，所述視差控制部改變所述視差，以便在所述多個(gè)視點(diǎn)圖像的邊緣部視差變小，或感知為目標(biāo)從用戶更遠(yuǎn)離。
28.根據(jù)權(quán)利要求26或27所述的立體圖像處理裝置，其特征在于，所述視差控制部通過對所述多個(gè)視點(diǎn)圖像的任一個(gè)選擇性地實(shí)施處理來改變所述視差。
29.根據(jù)權(quán)利要求26～28中任一項(xiàng)所述的立體圖像處理裝置，其特征在于，所述多個(gè)視點(diǎn)圖像是以三維數(shù)據(jù)為起點(diǎn)而生成的視點(diǎn)圖像，所述視差控制部在生成所述多個(gè)視點(diǎn)圖像時(shí)，控制相機(jī)參數(shù)，以改變所述視差。
30.根據(jù)權(quán)利要求26或27中任一項(xiàng)所述的立體圖像處理裝置，其特征在于，所述多個(gè)視點(diǎn)圖像是以三維數(shù)據(jù)為起點(diǎn)而生成的視點(diǎn)圖像，所述視差控制部在生成所述多個(gè)視點(diǎn)圖像時(shí)，通過使三維空間自體畸變來改變所述視差。
31.根據(jù)權(quán)利要求26或27所述的立體圖像處理裝置，其特征在于，所述多個(gè)視點(diǎn)圖像是從賦予了深度信息的平面圖像生成的圖像，所述視差控制部通過操作其深度信息來改變所述視差。
32.一種立體圖像處理方法，其特征在于，包括取得用于顯示立體圖像的多個(gè)視點(diǎn)圖像的步驟；和根據(jù)那些視點(diǎn)圖像內(nèi)的位置，改變所取得的所述多個(gè)視點(diǎn)圖像之間的視差的步驟。
33.根據(jù)權(quán)利要求32所述的立體圖像處理方法，其特征在于，構(gòu)成為將所述各步驟作為立體顯示用程序庫的功能來安裝，且能從多個(gè)程序中作為函數(shù)來調(diào)用該程序庫功能。
34.一種計(jì)算機(jī)程序，其特征在于，使計(jì)算機(jī)執(zhí)行取得用于顯示立體圖像的多個(gè)視點(diǎn)圖像的步驟；和根據(jù)那些視點(diǎn)圖像內(nèi)的位置，改變所取得的所述多個(gè)視點(diǎn)圖像之間的視差的步驟。
35.一種立體圖像處理方法，其特征在于，包括將第一顯示裝置所取得的用戶的合理視差讀入第二顯示裝置的步驟；按照所述合理視差，用第二顯示裝置調(diào)整視差圖像的視差的步驟；和從第二顯示裝置輸出調(diào)整后的視差圖像的步驟。
36.根據(jù)權(quán)利要求35所述的立體圖像處理方法，其特征在于，還包括將所述第一顯示裝置的硬件相關(guān)信息讀入第二顯示裝置的步驟；以讀入的所述第一顯示裝置的硬件相關(guān)信息和所述第二顯示裝置的硬件相關(guān)信息為基礎(chǔ)，將在調(diào)整所述視差圖像的步驟中調(diào)整過的視差圖像，按照所述合理視差，在第二顯示裝置中進(jìn)行修正的步驟。
37.根據(jù)權(quán)利要求36所述的立體圖像處理方法，其特征在于，所述硬件相關(guān)信息包括顯示畫面大小。
38.根據(jù)權(quán)利要求36或37所述的立體圖像處理方法，其特征在于，所述硬件相關(guān)信息包括所述顯示裝置的最佳觀察距離。
39.根據(jù)權(quán)利要求36～39中任一項(xiàng)所述的立體圖像處理方法，其特征在于，所述硬件相關(guān)信息包括顯示裝置的圖像分離性能相關(guān)的信息。
40.一種立體圖像處理裝置，其特征在于，包括通過網(wǎng)絡(luò)連接的第一顯示裝置、第二顯示裝置和服務(wù)器，第一顯示裝置將該裝置所取得的用戶的合理視差信息發(fā)送到服務(wù)器；服務(wù)器接收合理視差信息之后，將該信息與用戶加以關(guān)聯(lián)并進(jìn)行記錄；在用戶利用第二顯示裝置要求圖像數(shù)據(jù)的輸出時(shí)，該裝置從服務(wù)器讀出其用戶的合理視差信息而調(diào)整視差之后，輸出視差圖像。
41.一種立體圖像處理方法，其特征在于，將用于立體顯示視差圖像的合理視差臨時(shí)變換為不依靠顯示裝置硬件的表現(xiàn)形式，將該表現(xiàn)形式的合理視差流通在不同的顯示裝置之間。
42.一種立體圖像處理裝置，其特征在于，包括從多個(gè)視點(diǎn)圖像取得針對所顯示的立體圖像的用戶指示的指示取得部；和按照所取得的指示，改變所述多個(gè)視點(diǎn)圖像之間的視差量的視差控制部。
43.一種立體圖像處理裝置，其特征在于，包括檢測從多個(gè)視點(diǎn)圖像顯示立體圖像時(shí)所產(chǎn)生的第一視差量的視差量檢測部；改變所述多個(gè)視點(diǎn)圖像之間視差量，以使第一視差量進(jìn)入作為用戶允許視差量的第二視差量范圍內(nèi)的視差控制部。
44.根據(jù)權(quán)利要求43所述的立體圖像處理裝置，其特征在于，所述視差量檢測部檢測視差量的最大值，所述視差量控制部改變所述多個(gè)視點(diǎn)圖像之間的視差量，以使其最大值不超過所述第二視差量的最大值。
45.根據(jù)權(quán)利要求43或44所述的立體圖像處理裝置，其特征在于，所述視差量檢測部通過在所述多個(gè)視點(diǎn)圖像之間計(jì)算對應(yīng)點(diǎn)匹配來檢測所述第一視差量。
46.根據(jù)權(quán)利要求43～45中任一項(xiàng)所述的立體圖像處理裝置，其特征在于，所述視差量檢測部檢測并讀出預(yù)先記錄在所述多個(gè)視點(diǎn)圖像的任一個(gè)的標(biāo)題中的所述第一視差量。
47.根據(jù)權(quán)利要求42～46中任一項(xiàng)所述的立體圖像處理裝置，其特征在于，所述視差控制部通過移位所述多個(gè)視點(diǎn)圖像合成位置，來改變所述多個(gè)視點(diǎn)圖像間的視差量。
48.根據(jù)權(quán)利要求47所述的立體圖像處理裝置，其特征在于，還包括將最終確定的合成位置寫入規(guī)定記錄區(qū)域的視差量寫入部。
49.根據(jù)權(quán)利要求48所述的立體圖像處理裝置，其特征在于，所述記錄區(qū)域是所述多個(gè)視點(diǎn)圖像的任一個(gè)的標(biāo)題。
50.根據(jù)權(quán)利要求42～44所述的立體圖像處理裝置，其特征在于，所述視差控制部通過調(diào)整成為生成所述多個(gè)視點(diǎn)圖像的基礎(chǔ)的深度信息，來改變所述多個(gè)視點(diǎn)圖像間的視點(diǎn)量。
51.根據(jù)權(quán)利要求42～50中任一項(xiàng)所述的立體圖像處理裝置，其特征在于，還包括圖像端調(diào)整部，其減輕改變所述多個(gè)視點(diǎn)圖像之間的視差量時(shí)，若顯示所述立體圖像則可能產(chǎn)生的像素的欠缺。
52.一種立體圖像處理方法，其特征在于，包括取得用戶相對以多個(gè)視點(diǎn)圖像為基礎(chǔ)而進(jìn)行顯示的立體圖像的指示的步驟；和按照該指示，改變所述多個(gè)視點(diǎn)圖像間的視差量的步驟。
53.一種立體圖像處理方法，其特征在于，包括檢測從多個(gè)視點(diǎn)圖像顯示立體圖像時(shí)所產(chǎn)生的第一視差量的步驟；和改變所述多個(gè)視點(diǎn)圖像之間的視差量，以使第一視差量進(jìn)入作為用戶允許視差量的第二視差量范圍內(nèi)的步驟。
54.根據(jù)權(quán)利要求52或53所述的立體圖像處理方法，其特征在于，構(gòu)成為將所述各步驟作為立體顯示用程序庫的功能來安裝，并能從多數(shù)程序中作為函數(shù)來調(diào)用該程序庫的功能。
55.一種計(jì)算機(jī)程序，其特征在于，使計(jì)算機(jī)執(zhí)行取得用戶相對以多個(gè)視點(diǎn)圖像為基礎(chǔ)所顯示的立體圖像的指示的步驟；和按照該指示，改變所述多個(gè)視點(diǎn)圖像之間的視差量的步驟。
56.一種立體圖像處理方法，其特征在于，將立體圖像顯示所必需的信息保持在存儲器上，在多個(gè)不同的程序間共有其保持的信息，在這些程序的任一個(gè)顯示立體圖像時(shí)，參照所述被保持的信息，來決定應(yīng)輸出的圖像的狀態(tài)。
57.根據(jù)權(quán)利要求56所述的立體圖像處理方法，其特征在于，所述被保持的信息包含輸入立體圖像處理裝置的圖像的格式、立體圖像的顯示順序、立體圖像的視差量的任一信息。
58.根據(jù)權(quán)利要求56或57所述的立體圖像處理方法，其特征在于，在所述多個(gè)程序中，共有所述被保持的信息的基礎(chǔ)上，還共有立體圖像顯示固有的處理。
59.根據(jù)權(quán)利要求58所述的立體圖像處理方法，其特征在于，所述立體圖像顯示固有的處理是用來決定所述被保持的信息的處理。
60.根據(jù)權(quán)利要求58所述的立體圖像處理方法，其特征在于，所述立體圖像顯示固有的處理包含決定立體顯示的合理視差的圖示用戶接口相關(guān)的處理、支援合理視差狀態(tài)的實(shí)現(xiàn)的視差調(diào)整用畫面的顯示處理、檢測用戶的頭位置之后跟蹤的處理、顯示用來調(diào)整立體顯示裝置的圖像的處理、中的任一個(gè)。
61.一種立體圖像處理裝置，其特征在于，包括向用戶提供用來調(diào)整立體顯示圖像的立體感的圖示用戶接口的立體感調(diào)整部；和以保存判明用戶的立體感調(diào)整結(jié)果的界限視差的形式，生成視差圖像的視差控制部。
62.根據(jù)權(quán)利要求61所述的立體圖像處理裝置，其特征在于，還包括取得為了合理化立體圖像顯示而應(yīng)參照的信息的信息檢測部；和按照所取得的信息，變換所述視差控制部中生成的視差圖像的格式的變換部。
63.根據(jù)權(quán)利要求62所述的立體圖像處理裝置，其特征在于，所述信息檢測部取得視差圖像的視點(diǎn)數(shù)、視差圖像的排列方法、立體顯示方式、用戶的頭位置跟蹤信息中的任一信息。
64.根據(jù)權(quán)利要求61～63中任一項(xiàng)所述的立體圖像處理裝置，其特征在于，所述視差控制部根據(jù)三維數(shù)據(jù)，控制相機(jī)參數(shù)，一邊保存所述界限視差一邊生成所述視差圖像。
65.根據(jù)權(quán)利要求61～63中任一項(xiàng)所述的立體圖像處理裝置，其特征在于，所述視差控制部輸入賦予了深度信息的平面圖像，控制其深度信息，以生成所述視差圖像。
66.根據(jù)權(quán)利要求61～63中任一項(xiàng)所述的立體圖像處理裝置，其特征在于，所述視差控制部輸入預(yù)先賦予了視差的多個(gè)二維圖像，決定這多個(gè)二維圖像的水平方向移位量，以生成所述視差圖像。
67.一種計(jì)算機(jī)程序，其特征在于，構(gòu)成為能從多個(gè)程序中以函數(shù)形式調(diào)用利用圖示用戶接口，特定對立體圖像的顯示有影響的參數(shù)的功能；和按照所特定的參數(shù)，生成視差圖像的功能。
68.一種計(jì)算機(jī)程序，其特征在于，使計(jì)算機(jī)執(zhí)行向用戶提供用來調(diào)整立體顯示圖像的立體感的圖示用戶接口的步驟；和以保存判明用戶的立體感調(diào)整結(jié)果的界限視差的形式，生成視差圖像的步驟。
全文摘要
立體感調(diào)整部(112)向用戶顯示立體圖像。如果被顯示的目標(biāo)達(dá)到界限視差，則用戶應(yīng)答給立體感調(diào)整部(112)。按照所取得的合理視差信息，視差控制部(114)在以后的立體顯示中以實(shí)現(xiàn)該合理視差的方式生成視差圖像。視差的控制通過利用追溯三維數(shù)據(jù)并最佳設(shè)定相機(jī)參數(shù)來實(shí)現(xiàn)。將實(shí)現(xiàn)合理視差的功能程序化并提供。
文檔編號H04N13/02GK1643939SQ03807159
公開日2005年7月20日 申請日期2003年3月27日 優(yōu)先權(quán)日2002年3月27日
發(fā)明者增谷健, 濱岸五郎, 竹本賢史 申請人:三洋電機(jī)株式會社