專利名稱：三維圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于在生成三維顯示的圖像數(shù)據(jù)時向圖像數(shù)據(jù)添加屬性信息的 三維圖像生成裝置，還涉及用于再現(xiàn)該數(shù)據(jù)的三維圖像再現(xiàn)裝置。本發(fā)明還涉及三維圖像處理裝置、三維圖像處理程序及記錄有該程序的記錄介 質(zhì)，其目的在于當(dāng)由于三維圖像的尺寸放大或縮小造成視差量改變，以致?lián)淖兊秒y以將 放大的三維圖像表示為立體圖像，或顯現(xiàn)立體效果時警告使用者，并且如果能夠改善立體 效果則進(jìn)行校正。
背景技術(shù)：
按常規(guī)，已經(jīng)提出了顯示三維圖像的各種方法。其中，通常采用使用雙目視差的 “雙目方法”。具體地講，通過提供具有雙目視差的左和右眼圖像，并將它們分別分開投射到 左和右眼來實現(xiàn)立體視圖。圖16是說明作為典型的雙目方法之一的“隔行掃描系統(tǒng)(alternating-field system)”的概念圖。在該隔行掃描系統(tǒng)中，左眼圖像和右眼圖像在如圖16所示的一個像素的交替水 平行上被交錯，以致左眼圖像和右眼圖像被交替地切換和顯示。因此，與正常的2維顯示模 式中的垂直分辨率相比，左眼圖像和右眼圖像具有一半的垂直分辨率。觀察者應(yīng)該戴上與 顯示的切換周期同步地打開和關(guān)閉的光柵鏡。當(dāng)在此使用的光柵在顯示左眼圖像時打開左 眼側(cè)并關(guān)閉右眼側(cè)，而在顯示右眼圖像時關(guān)閉左眼圖像并打開右眼圖像。利用這種安排，僅 用左眼觀察左眼圖像，同時僅用右眼觀察右眼圖像，以實現(xiàn)立體視圖。圖17是用于說明雙目方法的另一種典型方案，即“視差阻擋系統(tǒng)”的概念圖。圖17(a)是表示造成視差的原理的示意圖。圖17(b)是表示在視差阻擋系統(tǒng)中顯 示的圖像幀的示意圖。在圖17(a)中，在圖像顯示面板401上顯示左眼圖像和右眼圖像在如圖17(b)所 示一個像素的交替垂直行上被交錯的圖像，同時，具有間隙的視差阻擋402被放置在圖像 顯示面板401前，間隙的寬度小于同視點的像素之間的間隔，由此僅用左眼觀察左眼圖像， 同時僅用右眼觀察右眼圖像，以實現(xiàn)立體視圖。順便指出，還有另一種方法，即用于實現(xiàn)如圖17(b)所示的圖像 的三維顯示的“雙 凸透鏡系統(tǒng)”該系統(tǒng)與視差阻擋系統(tǒng)類似。日本專利申請公開Hei 11-41627揭示了雙凸透 鏡系統(tǒng)中使用的記錄數(shù)據(jù)格式的一個實例。圖18是表示雙凸透鏡系統(tǒng)的記錄數(shù)據(jù)格式的一個實例的概念圖。如圖18(a)中 所示的左眼圖像501和如圖18(b)所示的右眼圖像502相對于水平方向各變薄一半，并形成和記錄如圖18(c)所示的一幀復(fù)合圖像503。在再現(xiàn)時，重新排列該復(fù)合圖像503，以形 成如圖17(b)所示的合成圖像。雖然不限于三維圖像，日本專利申請公開No. 2001-337994公開了一種存儲小圖 片圖像的標(biāo)識的附加信息，并在顯示設(shè)備上顯示位于小圖片圖像上的附加信息的方法。在上述方式中，在通過使左和右眼觀察不同圖像來實現(xiàn)立體視圖的方法中，當(dāng)左 和右圖像的對應(yīng)點的距離(下文稱之為“視差”)落入某個固定范圍時，能夠?qū)崿F(xiàn)舒服的立 體視圖。然而，隨著視差變大，兩眼的圖像將不合并成立體圖像。該點的視差幅度在例如 The Mechanical SocialSystem Foundation于2002年出版的“三維圖像指南的計劃草案” 中已經(jīng)報告。日本專利公開2000-78615和日本專利公開Hei 10-221775公開了便于實現(xiàn)三維 圖像顯示的方法，當(dāng)其雙目圖像由于上面的視差的大小而造成難以合并成立體視圖時，通 過在立體顯示器移位左和右圖像的顯示位置來調(diào)節(jié)視差。如上所述，在傳統(tǒng)的三維顯示系統(tǒng)中，以固定的記錄數(shù)據(jù)格式進(jìn)行數(shù)據(jù)的記錄，以 便適合于在播放裝置側(cè)確定的顯示方案，因此沒有考慮記錄數(shù)據(jù)的通用性。三維顯示包括除顯示方案外的各種所需要的信息，例如圖像的變薄方法，所謂的 “多視圖方案”中視點的數(shù)量等，在使用單個顯示方案時，這些信息沒有被作為記錄數(shù)據(jù)記 錄。如果總是僅使用一種相同的顯示方案確實是這樣，不需要總是記錄這些信息，但是記錄 數(shù)據(jù)的通用性由于這個原因而明顯降低。僅參考要記錄視差阻擋系統(tǒng)(或雙凸透鏡系統(tǒng)) 的數(shù)據(jù)的有限情況，左眼圖像和右眼圖像可以被作為分開的序列記錄，該數(shù)據(jù)可以被作為 混合圖像記錄，其中左眼圖像和右眼圖像在如圖18(c)所示的一幀中被一半一半地水平排 列，或者該數(shù)據(jù)可以被作為合成圖像記錄，其中左眼圖像和右眼圖像在如圖17(b)中所示 的一個像素的交替垂直行上被交錯。當(dāng)然，不同的記錄格式應(yīng)該用不同的顯示過程來處理， 但是由于不能從記錄的數(shù)據(jù)中了解數(shù)據(jù)的格式，存在著當(dāng)?shù)谌说玫皆摂?shù)據(jù)時，不能了解 為了顯示應(yīng)該如何處理該數(shù)據(jù)的問題。另外，在現(xiàn)有技術(shù)中，沒有考慮從彼此獨立的不同視點來記錄圖像數(shù)據(jù)以便于只 讀出和再現(xiàn)所需視點的圖像。在現(xiàn)有技術(shù)中，也沒有充分地考慮與現(xiàn)有裝置之間的可互換性。具體地講，在日本 專利申請公開2001-337994中公開的系統(tǒng)中，已經(jīng)處理了能夠解譯單獨的附加信息的顯示 系統(tǒng)，但是該附加信息對不能對其進(jìn)行解譯的顯示系統(tǒng)沒有用途。此外，當(dāng)放大或縮小基于上述現(xiàn)有技術(shù)的三維圖像時，三維圖像的隆起量和縱深 量改變，因此，出現(xiàn)了不能獲得所希望的立體效果的問題。下面首先參考圖39和40，通過針對左和右眼顯示分開的圖像對表現(xiàn)立體視圖的 立體顯示原理進(jìn)行簡要說明。這兩幅圖是表示雙目距離為d的使用者正在觀察立體顯示器 1的情況的頂視圖。通常，假設(shè)d[m]表示使用者兩眼之間的距離，D[m]表示從使用者到立體顯示器1 的距離，W[m]表示顯示器的寬度，P[dot]表示顯示器的分辯率，1(字母1) [dot]表示三維 圖像的左和右對應(yīng)點之間的距離。三維圖像向外突出的隆起量z[m]則由下面的等式1給出ζ = (l*W/P)*D/(d+(l*W/P))…等式(1)。
當(dāng)三維圖像收縮的縱深量ζ [m]由下面的等式(2)給出ζ = (l*W/P)*D/(d_(l*W/P))…等式(2)。視差θ由等式(3)給出 θ = tarTHl/^D)*〗…等式(3)。對于該立體顯示器，當(dāng)放大或縮小三維圖像時，左和右圖像之間的不一致的程度 改變，因此所得到的圖像的立體效果也被改變。參考圖39(a)中放大前的三維圖像和圖 39(b)中放大后的三維圖像對此進(jìn)行說明。當(dāng)放大如圖39(a)所示具有從立體顯示器向前 隆起的三維圖像時，隆起量如圖39(b)所示變得更大。在此，1’表示放大之后的左和右對 應(yīng)點，ζ’表示放大后的隆起量。另一方面，當(dāng)放大和顯示如圖40(a)所示從立體顯示器向內(nèi)收縮的三維圖像時， 縱深量變得更大，對于某些放大率，由于左和右眼的視圖沒有聚焦，變得不能表現(xiàn)立體視 圖。相反，當(dāng)減小三維圖像的尺寸時，左和右圖像之間的不一致變得更小，隆起量或縱深量 變得更小，表現(xiàn)出較弱的立體效果。這樣，在放大或縮小三維圖像時，隨著圖像被放大時由于視差變得更大，隆起因此 變得更大，相反圖像被縮小時由于視差變得更小，縱深變得更小，因此立體效果改變。因此， 如果以與通常的二維圖像相同的方式放大和縮小三維圖像，則會出現(xiàn)不能獲得希望的立體 視圖，造成模糊，或不舒適的立體視圖造成眼睛緊張的問題。為了解決上述問題設(shè)計了本發(fā)明，因此，本發(fā)明的一個目的是提供一種三維圖像 生成裝置，能夠使用于三維顯示的圖像數(shù)據(jù)通用，并允許有效選擇任意視點的圖像，以及用 于再現(xiàn)該數(shù)據(jù)的三維圖像再現(xiàn)裝置。本發(fā)明的另一個目的是提供一種三維圖像處理裝置，三維圖像處理程序和記錄有 該程序的記錄介質(zhì)，能夠向使用者發(fā)出警告并進(jìn)行校正，以便在因三維圖像的尺寸放大或 縮小造成視差量改變，以致?lián)碾y以獲得立體視圖或立體效果時，提供舒適的立體視圖。

發(fā)明內(nèi)容
本發(fā)明的三維圖像生成裝置包括主圖像生成器，用于針對多視點生成圖像信息 的主圖像；小圖片圖像生成器，用于生成小圖片圖像；三維控制信息生成器，用于生成實施 主圖像的三維顯示的三維控制信息；和多路復(fù)用器，用于多路復(fù)用主圖像，小圖片圖像和三 維控制信息。在此，小圖片圖像生成器的特征在于通過縮小主圖像來生成小圖片圖像，通過從 主圖像提取一個視點圖像片段來生成小圖片圖像，把指示包括三維圖像的符號嵌入小圖片 圖像，或生成由主圖像的縮小圖像和從主圖像提取的一個視點圖像的縮小圖像并以畫中畫 的方式貼在其中而構(gòu)成的小圖片圖像。另外，本發(fā)明提供一種三維圖像再現(xiàn)裝置，去復(fù)用器，用于從輸入的圖像數(shù)據(jù)中分 離主圖像數(shù)據(jù)，小圖片數(shù)據(jù)和三維控制信息；和小圖片生成器，用于在主圖像數(shù)據(jù)表示三維 圖像時，輸出具有疊加在小圖片數(shù)據(jù)上、指示包括三維圖像的符號的小圖片。本發(fā)明還提供一種三維圖像處理裝置，包括視差范圍獲取裝置，用于獲取能夠有 立體視圖的視差范圍；視差量獲取裝置，用于獲取三維圖像的視差量；和決定裝置，用于決 定三維圖像的視差量是否落入視差范圍之內(nèi)。
另外，本發(fā)明還提供一種三維圖像處理裝置，包括視差范圍獲取裝置，用于獲取能夠有立體視圖的視差范圍；視差量獲取裝置，用于獲取三維圖像的視差量；比例獲取裝 置，用于獲取三維圖像放大或縮小的比例；和決定裝置，用于決定已經(jīng)根據(jù)該比例被放大或 縮小的三維圖像的視差量是否落入視差范圍之內(nèi)。在此，決定裝置的特征在于根據(jù)三維圖像的部分區(qū)域作出決定處理過程。本發(fā)明的特征在于包括警告裝置，用于警告使用者，或視差調(diào)節(jié)裝置，用于在決定 裝置確定視差量超出視差區(qū)域時調(diào)節(jié)三維圖像的視差量。在此，視差量獲取裝置的特征在于使用用于顯示三維圖像的立體顯示器的分辯率 和/或尺寸。另外，視差范圍獲取裝置的特征在于使用用于顯示三維圖像的立體顯示器分 離左和右圖像的能力。另外，視差量獲取裝置的特征在于使用預(yù)先標(biāo)記到三維圖像的數(shù)據(jù)。另外，本發(fā)明還提供一種三維圖像處理程序，其特征在于使計算機(jī)起到上述每一 個裝置的作用。此外，本發(fā)明還提供一種計算機(jī)可讀記錄介質(zhì)，其中記錄有上述程序。根據(jù)本發(fā)明，為了主圖像的三維顯示而生成三維控制信息，將其小圖片圖像和三 維控制信息多路復(fù)用，由此能夠輸出小圖片圖像，以便在主圖像是三維圖像時輸出用于有 效地檢驗圖像內(nèi)容的小圖片圖像。根據(jù)本發(fā)明，通過直接縮小主圖像來生成小圖片圖像使其能夠以三維提供小圖片 圖像的顯示。根據(jù)本發(fā)明，通過從主圖像提取一個視點圖像的片段來生成小圖片圖像，使其能 夠顯示小圖片圖像而不失真。根據(jù)本發(fā)明，將表示包括三維圖像的符號嵌入小圖片圖像，甚至使不能解譯三維 控制信息的傳統(tǒng)三維圖像再現(xiàn)裝置能夠從小圖片鑒別所選擇的文件是3D文件。根據(jù)本發(fā)明，生成由主圖像的縮小圖像和從主圖像提取的一個視點圖像、并以畫 中畫的方式將其粘貼在其中的縮小圖像構(gòu)成的小圖片圖像，使其能夠同時從無失真圖像檢 驗圖像內(nèi)容和主圖像的實際記錄的圖像配置二者。根據(jù)本發(fā)明，當(dāng)主圖像的數(shù)據(jù)表示三維圖像時，輸出具有指示包括重疊在小圖片 數(shù)據(jù)上的三維圖像的符號的圖像。從而能夠從其小圖片表明所選擇的文件是2D還是3D。根據(jù)本發(fā)明，由于其決定三維圖像的視差量是否落入能夠產(chǎn)生立體視圖的視差范 圍，能夠針對不能生成立體視圖的情況采取對應(yīng)的措施。對應(yīng)措施的例子包括警告使用者 和三維圖像的視差量調(diào)節(jié)。另外，放大或縮小三維圖像時，決定三維圖像的視差量是否落入 允許生成立體視圖的視差范圍，如果結(jié)果表明難以提供立體視圖，能夠采取該措施。此外，當(dāng)難以實現(xiàn)立體視圖時，能夠調(diào)節(jié)視差，以便通過從全部或部分三維圖像來 考慮視差量(例如，隆起最大量和縱深最大量)以及允許在立體顯示器上顯示舒適的立體 視圖的視差范圍來提供盡可能舒適的立體視圖。如上所述，根據(jù)本發(fā)明，允許使用者正確地檢驗三維圖像的內(nèi)容，并且向使用者顯 現(xiàn)三維圖像的內(nèi)容，即使它們被放大或縮小，從而能夠提供能夠舒適地觀察三維圖像的三 維圖像再現(xiàn)裝置，或圖像數(shù)據(jù)處理裝置。


圖1是表示第一實施例的三維圖像生成裝置的示意圖。圖2是表示針對多視點的成像設(shè)備的設(shè)置實施例的示意圖。圖3是表示如何分配視點編號的實施例的示意圖。圖4是表示結(jié)合兩個視點的實施例的示意圖。圖5是表示多視像的格柵狀布置的示意圖。圖6是表示3D信息的格式實施例的示意圖。圖7是表示圖像數(shù)據(jù)的文件格式的示意圖。圖8是表示在現(xiàn)有格式的文件中存儲圖像數(shù)據(jù)時的一個格式實例的示意圖。圖9是表示在新格式的文件中存儲圖像數(shù)據(jù)時的一種格式實例的示意圖。圖10是表示在分開的文件中記錄在多視點的圖像數(shù)據(jù)時的圖像數(shù)據(jù)的存儲實例 的示意圖。圖11是表示3D信息格式實例的示意圖。圖12是表示3D信息設(shè)置值的一個實施例的示意圖。圖13是表示管理信息格式實例的示意圖。
圖14是表示在分開的文件中記錄在多視點的圖像數(shù)據(jù)時的一個實例的示意圖。圖15是表示第三實施例中三維圖像再現(xiàn)裝置的配置示意圖。圖16是表示隔行掃描系統(tǒng)中圖像顯示格式的示意圖。圖17是說明視差阻擋系統(tǒng)的概念示意圖。圖18是說明視差阻擋系統(tǒng)的圖像顯示格式的示意圖。圖19是表示第二實施例中三維圖像生成裝置的配置的示意圖。圖20是表示第四實施例中三維圖像再現(xiàn)裝置的配置的示意圖。圖21是表示記錄三維顯示的小圖片圖像數(shù)據(jù)的圖像文件格式的示意圖。圖22是表示主圖像和縮小到160像素*120像素的小圖片圖像的組合的示意圖。圖23是表示其中嵌入有指示包括3D圖像數(shù)據(jù)的符號的小圖片圖像的示意圖。圖24是表示主圖像與嵌入有指示包括3D圖像數(shù)據(jù)的符號的小圖片圖像的示意圖。圖25表示以畫中畫方式再現(xiàn)的小圖片的實施例的示意圖。圖26是表示第六實施例中用于再現(xiàn)記錄有小圖片的文件的三維圖像再現(xiàn)裝置的 配置的示意圖。圖27是表示第七實施例中可在3D顯示和2D顯示之間切換的三維圖像再現(xiàn)裝置 的配置的示意圖。圖28是表示第五實施例中將小圖片圖像記錄到文件中的三維圖像生成裝置的配 置的示意圖。圖29是表示第八實施例中三維圖像的⑶I圖像幀的示意圖。圖30是表示第八實施例中的處理過程的流程圖。圖31是表示第九實施例中三維圖像的⑶I圖像幀的示意圖。圖32是表示第九實施例中的處理過程的流程圖。圖33是表示校正過程中三維圖像的視差量的示意圖。圖34是解釋通過改變左和右圖像之間的位移量來校正立體效果的示意圖。
圖35是表示在第十實施例中的處理過程的流程圖。圖36是表示在第十實施例中的步驟17的處理過程的流程圖。圖37是解釋改變區(qū)域以獲取視差量的方法的示意圖。圖38是表示第i^一實施例中三維圖像處理裝置的方框圖。圖39是解釋三維圖像的隆起的示意圖。圖40是解釋三維圖像的縱深的示意圖。 具體實施例下面參考附圖描述本發(fā)明的實施例。<第一實施例>圖1是表示根據(jù)第一實施例的三維圖像生成裝置的配置的方框圖。在圖1中，三 維圖像生成裝置100包括圖像結(jié)合單元101，用于確定從多個視點看到的圖像1到K的布 置模式(K表示視點的編號，在此K是等于或大于2的整數(shù))，并通過將這些連續(xù)的圖像相互 結(jié)合來產(chǎn)生結(jié)合圖像；控制器102，用于選擇是否要結(jié)合圖像1到K (結(jié)合的有/無)，是否 縮小圖像1到K的尺寸(縮小的有/無)，要用于2D顯示的一個圖像(2D選擇)，以及視點 的數(shù)量和圖像布置順序；3D信息生成單元103，用于通過格式化縮小的有/無，結(jié)合的有/ 無，圖像布置模式，2D選擇和視點數(shù)量的信息來生成3D信息；和多路復(fù)用器104，具有存取 記錄介質(zhì)和通信線路，并多路復(fù)用圖像信息和3D信息以及輸出圖像數(shù)據(jù)的裝置。下面描述所構(gòu)成的三維圖像生成裝置100的操作。由連續(xù)幀組成的圖像信號被逐幀地輸入到三維圖像生成裝置。在此，在一個平面 內(nèi)以格柵狀的形式排列將圖像輸入到三維圖像生成裝置100的成像設(shè)備，其中水平排列M 個單元，垂直排列N個單元，向每個成像設(shè)備分配一個編號(視點編號)(在此，M和N是等 于或大于1的整數(shù))。圖2示出了 8個視點的設(shè)置實施例(從后上方看去排成陣列的成像設(shè)備的視圖)。 在此，從左向右和從上向下分配視點編號。具體地講，1分配給成像設(shè)備301，2分配給成像 設(shè)備302，3分配給成像設(shè)備303，4分配給成像設(shè)備304。與此相似，將5至8分別分配給成 像設(shè)備305至308。在所有實施例中，由視點編號k指定的成像設(shè)備攝取的圖像應(yīng)該被稱為 圖像k (k是等于或大于1的整數(shù))?？刂破?02指定縮小的有/無，結(jié)合的有/無，2D選擇，水平方向的視點數(shù)量M, 和垂直方向的視點數(shù)量N，以及圖像布置順序。在此，縮小的有/無取值為“縮小”或“未縮 小”，結(jié)合的有/無取值為“未結(jié)合”或“結(jié)合”。2D選擇取視點編號的值或取值為“未指定 的”。對于圖像布置順序，利用視點編號指定圖像的順序。在圖2的實例中，視點的數(shù)量應(yīng) 該為M = 4和N = 2。假設(shè)從控制器102輸入的結(jié)合的有/無指示“未結(jié)合”時，圖像結(jié)合單元101應(yīng)該 根據(jù)由控制器102指定的圖像布置順序依次輸出已經(jīng)并行輸入的圖像1至K。作為替換，也 可以這樣設(shè)置，即視點圖像的輸出總是從由2D選擇指定的視點編號的輸出開始。當(dāng)結(jié)合的有/無指示指示為“結(jié)合”時，圖像結(jié)合單元101選擇輸入圖像1至K的 布置順序。可以有三種布置模式水平排列多視像的水平布置；在上下方向排列多視 像的垂直布置；在水平和垂直兩個方向排列多視像的格柵狀布置。
在此，圖像的布置模式可以與成像設(shè)備的設(shè)置方式一致或不一致。當(dāng)圖像的布置 與成像設(shè)備的設(shè)置方式一致時，M = 1和N彡2產(chǎn)生垂直布置，M彡2和N = 1產(chǎn)生水平布 置，其他情況產(chǎn)生格柵狀布置。對于布置不一致的情況，能夠進(jìn)行自適應(yīng)，以致在M = 1和 N彡2或M彡2和N=I時能夠選擇垂直布置或水平布置中的一種。一旦確定了布置，根據(jù)從控制器102輸入的圖像布置順序結(jié)合這些圖像。圖3示 出了當(dāng)通過成像設(shè)備如圖2所示提取的圖像以格柵狀方式排列時圖像布置順序的實例。在 圖3中，每個單元表示一個圖像，數(shù)字表示視點編號。圖3(a)示出了將圖像布置順序指定 為1，2，3，4，5，6，7和8的情況，或者該順序與分配給成像設(shè)備的視點編號的順序相同。圖 3(b)示出了將圖像布置順序指定為2，3，1，4，6，7，5和8的情況。如果從控制器輸入的縮小的有/無表示“縮小”。則縮小每個視點的輸入圖像?？s 小圖像時，不固定縮小比率，但應(yīng)該根據(jù)視點的數(shù)量確定。具體地講，圖像在水平方向縮小 到1/M，在垂直方向縮小到1/N。圖4和5示出了由圖像結(jié)合單元101結(jié)合的結(jié)果的例子。圖4示出了由圖2所示 的 成像設(shè)備中的例如視點編號為1和2設(shè)備指定的兩個視點的情況。圖5示出了使用所有 成像設(shè)備的情況。圖4(a)示出了“未縮小”和“未結(jié)合”的情況；圖4(b)示出了“未縮小”和“結(jié)合 (水平布置)”的情況；圖4(c)示出了“未縮小”和“結(jié)合(垂直布置)”的情況；圖4(d)示 出了 “縮小”和“未結(jié)合”的情況；圖4 (e)示出了 “縮小”和“結(jié)合(水平布置)，，的情況；圖 4(f)示出了“縮小”和“結(jié)合(垂直布置)”的情況。在此，對于“縮小”的情況，通過使像素 變薄而將水平或垂直分辨率縮小到一半。圖5示出了多視像的格柵狀布置的實例，特別是，圖5(a)示出了縮小的有/ 無指示“無縮小”的情況。在此，H和V表示縮小前每個視點圖像的水平方向中的像素數(shù)量， 和垂直方向的行數(shù)。圖5(b)示出了縮小的有/無指示“縮小”的情況?？s小比例相對于水 平方向是1/4，相對于垂直方向是1/2，縮小后的圖像由寬度為H像素和高度為V行構(gòu)成，以 使其尺寸與縮小前的每個視點圖像的尺寸相同。對于圖像布置，以與設(shè)置成像設(shè)備相同的 方式排列圖像，在水平方向具有四個圖像，在垂直方向具有兩個圖像。在此，附連到圖像的 數(shù)字指示視點編號。以視點編號上升的順序排列圖像左上是由成像單元301攝取的圖像 (視點編號1)，右下是由成像單元308攝取的圖像(視點編號8)。在此以水平和垂直方向固定的縮小比例來進(jìn)行說明，但是可以對此進(jìn)行改變。當(dāng) 縮小比可變時，應(yīng)該將其記錄在3D信息中。當(dāng)結(jié)合的有/無指示“未結(jié)合”時，可以在每個 視點針對每個圖像指定縮小比。三維信息生成單元103通過格式化縮小的有/無，結(jié)合的有/無，2D選擇，水平方 向的視點數(shù)量和垂直方向的視點數(shù)量，圖像布置順序和布置模式來生成3D信息。圖6示出了這種情況下的3D信息的一個實例。在此，圖像的順序指示以“視點編 號順序”或“任意順序”中的一種方式排列圖像。此后，記錄多個視點編號。這些視點編號 指示當(dāng)結(jié)合的有/無指示“結(jié)合”時在結(jié)合的圖像中排列圖像的方式。在圖3(b)所示的實 例中，第一視點編號是2，隨后是3，1，4，6，7，5，和8。當(dāng)結(jié)合的有/無指示“未結(jié)合”時，該 順序指示多路復(fù)用信息的圖像的順序。當(dāng)圖像的順序指示“視點編號順序”時，可以省略這 些視點編號。為了生成3D信息，可以按原樣使用設(shè)定值，或者可以通過固定長度編碼或可變長度編碼來進(jìn)行編碼。多路復(fù)用器104以預(yù)定格式將圖像信息，3D信息和管理信息轉(zhuǎn)換成數(shù)據(jù)，并向外輸出。在未結(jié)合圖像時，從圖像結(jié)合單元101輸出的順序與如上所述由控制器102指定的 圖像布置順序一致。因此，在圖像布置順序中也被多路復(fù)用在圖像信息。雖然圖1中沒有 表示，如果要對話音和音樂進(jìn)行多路復(fù)用，這些內(nèi)容的數(shù)據(jù)也在多路復(fù)用器104中被多路 復(fù)用?！吹诙嵤├翟诖?，到多路復(fù)用器104的輸入可以是編碼的圖像信息。圖19示出了涉及這種情 況的三維圖像生成裝置110的配置。三維圖像生成裝置110與圖1所示的三維圖像生成裝 置100的區(qū)別在于包括編碼器105。來自多路復(fù)用器104的輸出被連接到諸如IC存儲器、磁光盤、磁帶、硬盤之類的記 錄設(shè)備，和/或諸如LAN、調(diào)制解調(diào)器之類的通信設(shè)備。在此，假設(shè)IC存儲器連接到多路復(fù) 用器104。接下來，說明這種情況下使用的記錄格式。通常，在使用IC存儲器作為記錄介質(zhì)時，諸如FAT (文件分配表)等之類的文件系 統(tǒng)被構(gòu)成在IC存儲器上，并將數(shù)據(jù)作為文件記錄。對于在此使用的文件格式，可以使用現(xiàn) 有的文件格式或新定義的特有的格式。圖7是表示用于記錄圖像數(shù)據(jù)的文件格式的示意圖。在圖7中，假設(shè)以圖中所示 的從上到下的順序?qū)?shù)據(jù)記錄到文件中。圖7(a)示出了使用現(xiàn)有格式的情況；圖7(b)示 出了使用新格式的一個實例。當(dāng)使用現(xiàn)有格式時，3D信息被記錄為現(xiàn)有的首部部分的一部分，使用擴(kuò)展為現(xiàn)有 格式提供的首部部分的一般功能。在此，擴(kuò)展的首部被稱為擴(kuò)展首部。例如，文件首部對應(yīng) 于JPEG中的應(yīng)用數(shù)據(jù)段，因此，新應(yīng)用數(shù)據(jù)段被定義到3D信息。在MPEG-4中，文件首部對 應(yīng)可視對象序列或/和視頻對象層，以便將3D信息作為使用者數(shù)據(jù)記錄在其中。當(dāng)使用現(xiàn)有格式時，應(yīng)該直接采用通常使用的擴(kuò)展名。例如，在JPEG文件的情況 下通常使用擴(kuò)展名“.jpg” ；在MPEG文件的情況下體通常使用擴(kuò)展名“.mpg”或“.mp4” ；在 MWV(Window(R)Media Video)的情況下通常使用“.wmv”。這樣使其能夠甚至對沒有3D圖 像顯示功能的傳統(tǒng)播放器也能將該文件識別為現(xiàn)有格式的文件，并作為二維圖像顯示。另一方面，當(dāng)采用新格式時，可以將3D信息記錄在如圖7(b)所示的文件的開始 處。另外，為了使該文件被理解為新格式，應(yīng)該添加使其區(qū)別于現(xiàn)有格式的文件的特有的擴(kuò) 展名。應(yīng)該用圖7(a)和7(b)中的管理信息來記錄諸如生成日期，生成器等之類不直接涉 及三維圖像的一些信息。首先，描述結(jié)合的有/無指示“未結(jié)合”時如何存儲多視像。當(dāng)使用圖7(a)所 示的具有現(xiàn)有格式的文件時，從多個視點看到的多個圖像被分開記錄在圖7(a)中的圖像 信息區(qū)中。在記錄運(yùn)動畫面時，針對每個視點記錄多個數(shù)據(jù)幀。圖8示出了這種情況下存 儲的一個實例。對于運(yùn)動畫面，針對每個視點記錄多個數(shù)據(jù)幀。這種情況下，可以相互獨立 地將每幀編碼在運(yùn)動JPEG中，或者利用幀間預(yù)測將畫面之間的差別編碼為MPEG-4。下面說明使用具有圖7(b)所示的新格式的文件的情況。在新格式的使用中，存在 兩種情況，一種是采用針對圖7(b)中的文件首部和圖像信息部分采用現(xiàn)有的格式(JPEG， 位圖等)，另一種是采用特有的新格式。因此，為了澄清格式中的差別，應(yīng)該在3D信息中記錄分類信息(稱為圖像類型)。參考記錄圖像數(shù)據(jù)的方式，在圖7(b)的圖像信息區(qū)中記錄在多個視點的多個圖 像數(shù)據(jù)。在運(yùn)動畫面的情況下，針對每個視點記錄多個數(shù)據(jù)幀。圖9示出當(dāng)結(jié)合的有/無 指示“未結(jié)合”時的存儲實例和3D信息的實例。格式化圖9中的文件首部和圖像信息的K 個片段，以便能夠?qū)⒚總€部分識別為現(xiàn)有格式的文件。當(dāng)具體描述其采取位圖文件的實例 時，圖像1至K分別被記錄為獨立的位圖文件，并配置格式，以便依次連接3D信息，管理信 息，圖像1的位圖到圖像K的位圖。在此，當(dāng)結(jié)合的有/無指示“未結(jié)合”時，可以將有關(guān)多個視點的圖像信息記錄為 分開的圖像數(shù)據(jù)文件。這種情況下，當(dāng)使用現(xiàn)有格式時可以以圖7(a)所示的格式記錄每個 視點的圖像信息，當(dāng)使用新格式時可以以圖7(b)所示的格式記錄每個視點的圖像信息。在 記錄這些文件時，可以單獨使用現(xiàn)有格式或新格式，或者將兩種格式混合并使用。圖10示 出了采用現(xiàn)有格式的一個實例。由于有K個視點，生成了 K個文件。這種情況下，3D信息生成單元103生成與視點的數(shù)量一樣多的3D信息。在此，由 于一個圖像信息被記錄在單個文件中，省略圖像的順序，并記錄表明文件和視點編號之間 的對應(yīng)關(guān)系的視點編號。圖11示出了這種情況下的3D信息的一個實例。圖12是表示當(dāng)視點數(shù)量是2時3D信息的一個實例的示意圖。在此，假設(shè)在圖2 所示的成像設(shè)備中，使用由視點編號1和2指定的成像設(shè)備。由于視點的數(shù)量是2，因此生 成了圖12(a)和(b)中所示的兩個3D信息?！?”的左側(cè)表示3D信息的項，右側(cè)表示對應(yīng) 的設(shè)定值。對布置模式，水平方向的視點數(shù)量和垂直方向的視點數(shù)量，以及2D選擇這些所 有項，在圖12(a)和(b) 二者中記錄了相同的值。除上述項之外的其它項是不同的具體地 講，圖12(a)示出了該圖像的視點數(shù)量為1并且沒有縮小尺寸，圖12(b)示出該圖像的視點 數(shù)量為2并且縮小了尺寸。當(dāng)將多個視點的圖像信息記錄為分開的文件時，在記錄的文件數(shù)量中，需要識別 與來自相同的成像裝置攝取的多視像的視點對應(yīng)的文件。在此，例如，能夠使多路復(fù)用 器104適應(yīng)于把用于識別由相同的成像裝置攝取的不同視點的圖像的文件的信息記錄到 上述管理信息。圖13是表示這種情況的管理信息的一個實例的示意圖，其中記錄了表示記 錄介質(zhì)上記錄的多視像文件和名稱之間的關(guān)系的信息。在圖13中，文件配置取值為 “分開”或“整合”“分開”表示每個視點圖像被作為分開的文件記錄，而“整合”表示所有的 視點圖像被記錄在一個文件中。為了從視點編號獲取圖像數(shù)據(jù)的文件名的知識，與文件名 對應(yīng)地記錄每個視點編號。另外，為了表示成像設(shè)備采取的多視像屬于相同的組，可以根據(jù)預(yù)定的命名 規(guī)則分配文件名。例如，在上述具有兩個視點的情況下，由圖像1和圖像2構(gòu)成的一組可以 被分配給文件名“stereol_l.jpg”和“stere0l_2. jpg”，另一組圖像可以被分配給文件名 "stereo2_l. jpgl，，和"stereo2_2. jpg",以便相互區(qū)分。另外，關(guān)聯(lián)文件中記錄的3D信息或管理信息中存在著冗余。例如，在如圖12所示 的3D信息的例子中，除縮小的有/無和視點編號外，出現(xiàn)了同樣的信息。在圖13所示的管 理信息的實例中，管理信息的內(nèi)容對所有文件的共同的。 因此，這些共同信息(共同信息)可以只記錄在一個文件中，其它文件可以用于 記錄圖像數(shù)據(jù)本身所固有的信息(單獨的信息)。圖14示出了這種情況的一個實例。圖14(a)示出了其中記錄有單獨信息和共同信息的文件。圖14(b)示出了僅具有單獨信息的 文件。在該實例中，以現(xiàn)有格式記錄圖14(a)的文件，以新格式記錄圖14(b)的文件，以便 能夠使用文件擴(kuò)展名從僅記錄有單獨信息的其它文件中區(qū)分出記錄有共同信息的文件，另 夕卜，記錄有共同信息的文件的文件名可以被記錄為如圖14(b)所示記錄有單獨管理信息。 該結(jié)構(gòu)便于從僅記錄有單獨信息的文件區(qū)分記錄有共同信息的文件。
在此，除上面說明的之外，也可以通過使用上述命名規(guī)則以便可從其它內(nèi)容區(qū)分 出每個視點的圖像文件，把共同信息記錄到例如由2D選擇指定的具有特點視點編號的圖 像文件來實現(xiàn)這些文件之間的區(qū)分。作為替換，可以整合冗余信息以生成管理文件，同時使每個圖像文件適應(yīng)于僅記 錄有固有信息。管理文件應(yīng)該具有與圖像文件不同的特有擴(kuò)展名。另外，諸如上述FAT之類的文件系統(tǒng)使用目錄，以便管理所有文件。還可以把不同 視點生成的一組圖像文件(可以包括其管理文件，如果有的話)記錄在相同目錄中。當(dāng)結(jié)合的有/無指示“結(jié)合”時，將一個整合圖像的圖像信息記錄在圖7(a)和圖 7(b)中的圖像信息區(qū)中。對于運(yùn)動畫面，記錄各由與多視像對應(yīng)的結(jié)合幀構(gòu)成的多個 圖像。通過配置上述實施例，使得圖像的布置順序可以被任意改變，同時固定視點編號 的分配方式，并且可以任意改變視點編號的分配方式，同時固定圖像的布置順序。另外，成 像設(shè)備的排列不限于格柵狀排列，而是可以任意排列。這種情況下，選擇參考成像設(shè)備(其 視點被設(shè)置為1)，并用以參考設(shè)備的位置作為原點的坐標(biāo)系統(tǒng)表示該位置。把成像設(shè)備在 每個視點的位置坐標(biāo)按視點編號的順序記錄到3D信息中。在上面的實施例中，配置新格式的文件，使得3D信息和管理信息被記錄在文件的 開始。然而，新格式的文件不限于此。它們的位置可以位于文件首部之后，或圖像信息之后， 或者可以與圖7(a)中所示的現(xiàn)有格式相同?！吹谌龑嵤├到酉聛恚枋鲲@示由三維圖像生成裝置100生成的圖像數(shù)據(jù)作為三維圖像的再現(xiàn)裝置。圖15是表示根據(jù)本發(fā)明實施例的三維圖像再現(xiàn)裝置的配置的方框圖。在圖15中， 三維圖像再現(xiàn)裝置包括去復(fù)用器201，3D信息分析器202和圖像轉(zhuǎn)換器203。去復(fù)用器201從記錄設(shè)備或通信設(shè)備讀取已經(jīng)以預(yù)定格式多路復(fù)用的圖像數(shù)據(jù)， 并將其分離成圖像信息，3D信息和管理信息。雖然圖15中沒有表示，當(dāng)已經(jīng)多路復(fù)用了話 音和/或音樂時，也通過去復(fù)用器201分離這些數(shù)據(jù)。三維信息分析器202以預(yù)定格式分析3D信息，并提取對每一項設(shè)定值?？梢詫⒕哂胁煌@示格式的各種顯示設(shè)備連接到圖像轉(zhuǎn)換器203，例如使用普通 CRT的二維顯示設(shè)備，液晶面板，使用透鏡技術(shù)的立體顯示設(shè)備，視差阻擋技術(shù)，時分方法等。下面說明有關(guān)所配置的三維圖像再現(xiàn)裝置200的操作。在此，假設(shè)IC存儲器連接 到去復(fù)用器201。正如已經(jīng)描述的。呈現(xiàn)有格式和新格式的圖像文件以及管理被記錄在IC 存儲器中。圖像文件和管理文件之間的區(qū)別由其文件擴(kuò)展名來區(qū)分。在此，假設(shè)使用者選 擇通過未示出的選擇裝置選擇一個圖像文件或管理文件。
首先，說明所選擇的文件是圖像文件的情況。這種情況下，由于可從文件的擴(kuò)展名 區(qū)分現(xiàn)有格式和新格式，當(dāng)要再現(xiàn)的文件是圖7(a)所示的現(xiàn)有文件格式文件時，去復(fù)用器 201從文件首部的擴(kuò)展區(qū)讀取3D信息。當(dāng)文件格式是圖7(b)所示的新格式時，從文件的開 始處讀出3D信息。三維信息分析器202分析3D信息，并提取縮小的有/無，視點的數(shù)量，布置模式， 2D選擇和其它的設(shè)定值。還確定用于顯示三維圖像的圖像視點編號。為了從多視像數(shù) 據(jù)顯示三維圖像，應(yīng)該從多視像選擇表現(xiàn)視差的兩個視點的圖像并且可以用作左眼和 右眼圖像。例如，在由圖2所示的成像設(shè)備記錄的數(shù)據(jù)的圖像的情況下，可以選擇水平排列 的設(shè)備對，例如，1和2，1和3，1和4，2和3，2和4，以及其它排列。如果在顯示時將圖像旋 轉(zhuǎn)90度，可以選擇設(shè)備對1和5，2和6，3和7，以及4和8，以實現(xiàn)三維圖像顯示。當(dāng)結(jié)合的有/無指示“未結(jié)合”時，所選擇的文件記錄有如圖10所示僅在一個視 點的圖像信息，或記錄如圖8所示針對所有視點的未結(jié)合的分開圖像信息。通過根據(jù)3D信息的分析結(jié)果檢驗3D信息是否包含有關(guān)圖像順序的信息能夠在這 些文件之間進(jìn)行區(qū)分。如果3D信息包含圖像順序，該文件是后一種情況，并且應(yīng)該從3D信 息中記錄的第一到第K個視點編號選擇能夠有立體視圖的任意視點組合。否則，文件是前 一種情況，選擇能夠與3D信息中記錄的視點編號i (在此i是一個等于或大于1的整數(shù)) 的組合以產(chǎn)生立體視圖的另一個視點編號。所選擇的視點編號輸出到去復(fù)用器201。去復(fù)用器201從文件中讀出由輸入的視點編號指定的圖像信息，并將其輸出到圖 像轉(zhuǎn)換器203。如果在文件中沒有找到輸入的視點編號的圖像信息，應(yīng)該借助管理信息和如 上所述的命名規(guī)則定位具有其中記錄的圖像信息的文件，并讀出。還可以參考管理信息中的文件配置，以便檢驗該文件是否僅具有一個視點圖像的 記錄或具有所有視點的圖像的記錄。如果文件配置表明是“分開的”，則記錄一個視點圖像 的圖像信息，如果表明是“整合的”，則記錄所有視點的圖像信息。另一方面，當(dāng)結(jié)合的有/無指示“結(jié)合”時，該文件具有僅有一個結(jié)合圖像的記錄， 因此能夠選擇任意的視點編號。這種情況下，將視點編號輸出到圖像轉(zhuǎn)換器203?！吹谒膶嵤├荡藭r，在已經(jīng)對圖像信息編碼時，應(yīng)該在去復(fù)用后對數(shù)據(jù)解碼。圖20示出了這種 情況下的三維圖像再現(xiàn)裝置210的配置。三維圖像再現(xiàn)裝置210與圖15中的三維圖像再 現(xiàn)裝置200區(qū)別在于包括了解碼器204。圖像轉(zhuǎn)換器203根據(jù)從3D信息分析器202輸入的結(jié)合的有/無，縮小的有/無， 2D選擇和視點編號，把去復(fù)用器201分開的圖像信息轉(zhuǎn)換成顯示格式。在該過程中，如果結(jié) 合的有/無指示“未結(jié)合”，該轉(zhuǎn)換在已經(jīng)提取視點編號指定的所有圖像信息時開始。如果 因文件刪除或其它原因造成不能獲得任何圖像信息，可以使用在最靠近原始編號的視點編 號指定的圖像代替，或可以實施二維顯示。當(dāng)結(jié)合的有/無指示“結(jié)合”時，從結(jié)合的圖像 裁剪出由視點編號指定的視點圖像，并轉(zhuǎn)換。參考向顯示格式的轉(zhuǎn)換，例如，如果視差阻擋顯示設(shè)備連接到三維圖像再現(xiàn)裝置 200，圖4(e)所示的形式最容易處理。這種情況下，來自左和右圖像的一個像素的垂直行在 水平方向被重新排列。在圖4(b)所示的情況下，左和右圖像相對于在水平方向交替地重新 排列一個像素的垂直行之前的水平方向各變薄一半。在兩種情況中的任何一種情況下，圖像數(shù)據(jù)附連有3D信息，以便能夠把該數(shù)據(jù)轉(zhuǎn)換成適合于該顯示設(shè)備的顯示格式。在此，以參考編碼圖像信息的視差阻擋系統(tǒng)的情況為例，當(dāng)對具有圖4(e)所示的 排列的圖像執(zhí)行編碼時，能夠明顯地改善編碼效率，即使要顯示的實際圖像是如圖17(b) 中所示的圖像。這是由于圖4(e)所示的狀態(tài)在相鄰像素之間的相關(guān)比圖17(b)中所示狀 態(tài)的相關(guān)高。為了把圖4(e)的圖像的編碼數(shù)據(jù)應(yīng)用到視差阻擋系統(tǒng)，在圖20的三維圖像 再現(xiàn)裝置210中，應(yīng)該由解碼器204首先將該數(shù)據(jù)解碼成其圖形形式，然后應(yīng)該由圖像轉(zhuǎn)換 器203將該圖像重新排列成圖17(b)所示的形式。如果操作模式切換到二維顯示模式，同時正在顯示三維圖像，則顯示由2D選擇指 定的視點編號的圖像。此刻，如果縮小的有/無表示“未縮小”，直接顯示該圖像。在“縮小” 的情況下，圖像被放大兩倍并顯示。然而。當(dāng)該圖像未被正在顯示時，選擇并顯示正在被 顯示的圖像之一。該選擇可以通過例如選擇具有最后或最大的視點編號的方法，相對于成 像設(shè)備的排列或結(jié)合的圖像中與2D選擇指定的視點編號的圖像距離最接近的方法，用于 左眼圖像的方法，用于右眼圖像的方法，或任何其它方法來進(jìn)行。在此，對該選擇沒有特定 的限制。如果2D選擇沒有選擇到用于二維顯示的圖像，則利用預(yù)定的方法選擇要顯示的圖 像。當(dāng)連接到二維顯示裝置時，顯示由2D選擇指定的圖像。以與三維顯示設(shè)備中的二 維顯示相同的方式進(jìn)行顯示。當(dāng)使用者選擇的文件是管理文件時，3D信息中記錄的結(jié)合的有/無肯定表示“未結(jié)合”；可以并且應(yīng)該選擇能夠有立體視圖的視點編號的任意組合。從由圖像文件讀出圖像 數(shù)據(jù)到轉(zhuǎn)換成顯示格式的操作與如上所述的操作相同，因此在此省略對其的描述?，F(xiàn)在參考將視點編號和文件名記錄到管理信息中的情況解釋上述實施例，也可以 提供下面的配置。就是說，配置三維圖像生成裝置100將指示圖像信息屬于相同的成像裝 置攝取的多視像組的識別編號記錄到共同信息和單獨信息二者中，和配置三維圖像再 現(xiàn)裝置200僅在文件名和識別編號二者一致時讀出圖像信息?？梢詫⑾嗤淖R別變化分配 給多視像組，或?qū)⒉煌木幪柗峙浣o每個視點。該配置能夠防止因為文件名的虛構(gòu)而 造成的誤操作。如上所述，由于可以用統(tǒng)一的方式處理由不同的三維成像方案生成的各種數(shù)據(jù)， 并且由于能夠在沒有三維圖像顯示功能的傳統(tǒng)播放器上正確地顯示二維圖像，因此能夠提 供通用性。存在著將小圖片圖像記錄在如圖21(a)所示的圖像文件中的一些情況。根據(jù) DCF(Design rule for Camera File System 攝像文件系統(tǒng)的設(shè)計規(guī)則)標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)的建 立是為了確保圖像文件之間的可互換性，以便在不能再現(xiàn)主圖像(圖像信息)的情況下保 證為了再現(xiàn)的最小可互換性，約定小圖片圖像的存儲。在DCF標(biāo)準(zhǔn)中，對主圖像的像素尺寸 沒有限制，但小圖片圖像的像素尺寸被限定為一種，即160像素xl20像素。為了記錄沿著該思路進(jìn)行三維顯示的信息的文件，可以考慮圖21(b)所示的格 式。就是說，該文件具有把3D信息加到具有圖21 (a)的格式的圖像文件的形式，圖21(b) 中的主圖像被假設(shè)為3D圖像。在此，假設(shè)如圖4(e)所示，該圖像由兩個視點圖像構(gòu)成，每個圖像在水平方向縮 小到一半并相互結(jié)合，在圖21(b)中該圖像作為主圖像存儲，像素尺寸是640像素x480像素。還假設(shè)用從主圖像直接縮小到160像素xl20像素的圖像作為小圖片圖像。在上述假 設(shè)下，所得到的文件包含如圖22(a)中所示的圖像。這種情況下，可以說主圖像和小圖片圖 像是以3D圖像的形式給出的。因此，當(dāng)給出具有如圖22 (a)所示的圖像的文件時，能夠解譯3D信息并實現(xiàn)3D顯 示的三維圖像再現(xiàn)裝置通過在小圖片圖像上重寫指示該文件支持3D數(shù)據(jù)的信息來提供如 圖23(c)所示的小圖片顯示。當(dāng)以3D顯示小圖片時，還可以通過以與轉(zhuǎn)換主圖像相同的方 式轉(zhuǎn)換小圖片圖像來以3D顯示小圖片。此外，當(dāng)指示包括3D圖像的符號(例如，圖23(c) 中的字符“ 3D，，)被提供有視差以實現(xiàn)3D顯示時，能夠增強(qiáng)通用性。當(dāng)以3D顯示給出小圖片時，與縮小解碼的主圖像并用于3D顯示相比，使用圖 22(a)所示的小圖片圖像能夠高速表現(xiàn)。這是由于小圖片圖像較小，因此能夠被快速解碼， 而與大圖像，即主圖像的情況不同，最初需要被解碼。
在此，由于小圖片圖像不必是從主圖像直接縮小的圖像，也可以是主圖像與小圖 片圖像的組合，如圖22(b)所示。圖22(b)中的主圖像與圖22(a)中的相同，而小圖片圖像 是通過從主圖像提取一個視點圖像的片段并將其縮小到160像素xl20像素獲得的圖像。在 圖22(b)中，由于主圖像在水平方向縮小到一半，或換句話說，水平比例與垂直比例之間的 比率是1 2，應(yīng)該通過提取一個視點圖像的片段并在水平方向?qū)⑵浞糯笠槐秮砩尚D 片圖像。當(dāng)給出具有如圖22(b)所示的圖像的文件時，能夠解譯3D信息并實現(xiàn)3D顯示的 三維圖像再現(xiàn)裝置通過在小圖片圖像上重寫指示該文件支持3D數(shù)據(jù)的信息來提供如圖 23(b)所示的小圖片顯示。通過從如圖22(b)所示的主圖像提取一個視點圖像的片段來準(zhǔn) 備小圖片圖像能夠迅速無失真地顯示小圖片。即使在給出如圖22(a)所示的小圖片圖像時，通過根據(jù)小圖片顯示提取一個視點 的片段能夠顯示如圖23(b)所示的小圖片，在水平方向?qū)⑵浞糯笠槐叮缓笤谛D片圖像 上重寫用于存儲3D指示的信息。雖然圖22示出了主圖像中結(jié)合的有/無指示“結(jié)合”的情況，主圖像可以由如圖 4(a)所示的“未結(jié)合”的圖像組成。當(dāng)主圖像的結(jié)合的有/無表示“未結(jié)合”時，可以縮小 為主圖像記錄的多個圖像之一并記錄為小圖片圖像。作為替換，無論主圖像的結(jié)合的有/ 無表示“結(jié)合”或“未結(jié)合”，可以提取由已經(jīng)解釋的“2D選擇”指定的一個視點圖像來生成 其小圖片圖像或提供小圖片顯示。如至此所描述的，只要三維圖像再現(xiàn)裝置能夠解譯3D信息，當(dāng)接收到如圖21 (b) 所示的文件時，能夠正確地處理該文件?，F(xiàn)在，應(yīng)該考慮不能解譯3D信息的老式三維圖像 再現(xiàn)裝置。該三維圖像再現(xiàn)裝置沒有圖20中的3D信息分析器202和圖像轉(zhuǎn)換器，并且不 能連接到三維顯示器。該三維圖像再現(xiàn)裝置不能解譯3D信息，因此不能告知文件中存儲的 圖像信息是2D圖像還是3D圖像。即使通過一些未規(guī)定的裝置已經(jīng)發(fā)現(xiàn)該文件支持3D圖 像，由于該裝置沒有圖像轉(zhuǎn)換器，因此它也不能正確地再現(xiàn)該圖像信息。即使在這種情況下，如果已經(jīng)根據(jù)上述DCF標(biāo)準(zhǔn)或類似思路記錄了小圖片圖像， 至少能夠期待小圖片圖像的顯示。因此，在本發(fā)明中，記錄了嵌入有指示該文件包含3D圖像的符號的小圖片圖像。 例如，如圖23(a)所示，可以使用在圖像右下方重寫有圖示符號“3D”的圖像作為小圖片圖像，或如圖23(b)所示，可以使用在其角部嵌入透明的文本“3D”的圖像作為小圖片圖像。作 為替換，如果將如圖23(c)所示的圖像記錄為小圖片圖像，至少能夠識別該文件是包含3D 圖像的文件。當(dāng)把表示3D內(nèi)容的符號嵌入小圖片圖像時，能夠允許使用者在記錄時選擇嵌入 符號的位置和尺寸。另外，還能夠從預(yù)先準(zhǔn)備的多個符號中選擇所希望的符號。此外，在生 成小圖片圖像時自動定位背景區(qū)，以使符號可以被寫入背景區(qū)。另外，當(dāng)把表示3D內(nèi)容的 符號自動嵌入如上所述的小圖片圖像時，能夠允許使用者檢驗曾經(jīng)記錄的小圖片圖像，并 且如果符號的位置和/或尺寸不是優(yōu)選的，可以重新生成小圖片。圖24示出了主圖像和所記錄的圖像文件的小圖片圖像的組合的實例。在此，與圖 22的情況類似，假設(shè)由兩個視點圖像構(gòu)成、如圖4(e)所示在水平方向縮小一半的結(jié)合的圖 像被作為主圖像存儲，其像素尺寸是640像素x480像素。另外，還假設(shè)從主圖像縮小到160 像素xl20像素并且嵌入指示包括3D圖像的符號的圖像，并用該圖像作為小圖片圖像。利 用該假設(shè)，存儲如圖23(c)所示的小圖片圖像產(chǎn)生了如圖24(a)的組合，存儲圖23(b)所示 的小圖片圖像產(chǎn)生圖24(b)所示的組合。符號本身可以是文本，標(biāo)記，或特定圖像，只要其能夠指示3D內(nèi)容的存在。另外， 對符號在小圖片圖像中的位置沒有限制。然而，在任何一種情況下，應(yīng)該記錄該符號作為小 圖片圖像的一部分。相反，符號不與小圖片圖像分開記錄。這是很關(guān)鍵的。為了在不能解譯3D信息的三維圖像再現(xiàn)裝置中提供有效的小圖 片顯示，需要在文件中預(yù)先記錄圖23中所示的圖像作為小圖片圖像。該排列使得三維圖像 再現(xiàn)裝置能夠通過再現(xiàn)其小圖片圖像，以與2D圖像文件相同的方式來檢驗3D圖像的文件 的圖像內(nèi)容，并由此在2D圖像文件和3D圖像文件之間進(jìn)行區(qū)分。順便指出，即使是能夠解譯3D信息的三維圖像再現(xiàn)裝置也不總是支持各種數(shù)據(jù) 格式。例如，對于僅支持四透鏡系統(tǒng)的3D圖像的三維圖像再現(xiàn)裝置，如果其接收到雙透鏡 系統(tǒng)的3D圖像數(shù)據(jù)，則不能提供正確的顯示。這種情況下，能夠通過小圖片圖像的顯示來 檢驗圖像內(nèi)容。由于能夠解譯3D信息的三維圖像再現(xiàn)裝置能夠通過分析3D信息來判斷 文件中包含的主圖像是否能夠被正確地再現(xiàn)，如果文件具有不能被正確再現(xiàn)的無效數(shù)據(jù)格 式，可以配置該裝置顯示小圖片圖像，并且還顯示消息或類似內(nèi)容，通知“該文件具有不支 持的3D數(shù)據(jù)格式”。
〈第五實施例〉現(xiàn)在，圖28示出了用于在文件中記錄小圖片圖像的三維圖像生成裝置的實例。圖 28中的三維圖像生成裝置120具有小圖片圖像生成器106，并通過在多路復(fù)用器104中將 小圖片數(shù)據(jù)與編碼數(shù)據(jù)(或未壓縮的圖像信息)一起3D信息多路復(fù)用來生成文件。文件的 輸出可以被傳送到諸如IC存儲器，磁光盤，磁帶，硬盤等之類的記錄設(shè)備，和/或諸如LAN， 調(diào)制解調(diào)器等之類的通信設(shè)備。雖然在DCF標(biāo)準(zhǔn)中將小圖片圖像的尺寸定義為160像素 xl20像素，通常，小圖片圖像的尺寸不限于該尺寸。〈第六實施例〉接下來，圖26示出了三維圖像再現(xiàn)裝置的實例，該三維圖像再現(xiàn)裝置從如圖22所 示的小圖片圖像實現(xiàn)如圖23所示的小圖片顯示。在圖26中，與圖20中的三維圖像再現(xiàn)裝 置210具有相同功能的部件被分配相同的參考標(biāo)號并且省略對其的描述。在如圖26所示的三維圖像再現(xiàn)裝置220中，由去復(fù)用器221分離小圖片數(shù)據(jù)。如果要再現(xiàn)的數(shù)據(jù)表示3D 圖像，小圖片生成器225根據(jù)來自3D信息分析器202的指示，對從小圖片數(shù)據(jù)解碼(如果 該數(shù)據(jù)未被壓縮則不需要解碼)的小圖片圖像實現(xiàn)小圖片顯示，所述小圖片數(shù)據(jù)是通過疊 加指示3D圖像存在的符號形成的。如果以3D顯示小圖片，小圖片生成器225對小圖片圖 像實施與圖像轉(zhuǎn)換器對主圖像進(jìn)行的轉(zhuǎn)換方式相同的處理?！吹谄邔嵤├祱D27示出了能夠以可切換的方式輸出3D顯示圖像和2D顯示圖像的三維圖像再 現(xiàn)裝置的實例。在圖27中，與圖26中的三維圖像再現(xiàn)裝置220具有相同功能的部件被分 配相同的參考標(biāo)號并且省略對其的描述。在圖27所示的三維圖像再現(xiàn)裝置230中，當(dāng)輸入 如圖24所示的主圖像和小圖片圖像的編碼圖像數(shù)據(jù)時，由解碼器204解碼的圖像信息被發(fā) 送到圖像轉(zhuǎn)換器203以及小圖片生成器225。控制器226給出向圖像轉(zhuǎn)換器203和小圖片 生成器225輸出3D顯示圖像還是2D顯示圖像的指示。當(dāng)以2D顯示小圖片時，小圖片生成 器225可以直接輸出如圖24所示的小圖片圖像(這種情況下，還顯示表示3D的符號)，或 者可以通過縮小輸入的主圖像和實施與圖像轉(zhuǎn)換器203類似的處理來輸出小圖片圖像，而 沒有指示3D存在的符號。如果以3D顯示小圖片，可以并且應(yīng)該縮小輸入的主圖像，并且受 到與圖像轉(zhuǎn)換器203中相同的處理。
在至此的描述中，配置3D文件以便利用疊加的、指示3D存在的符號來顯示其小圖 片圖像。然而，也可以照3D文件的原樣顯示小圖片圖像，同時可以通過疊加指示2D的符號 來執(zhí)行2D文件的小圖片圖像的顯示。另外，不僅可以將在3D文件的小圖片圖像上指示3D的符號的顯示，而且可以將3D 信息中包含的諸如視點的數(shù)量，視點編號等之類的數(shù)據(jù)的顯示疊加在小圖片圖像上。此外， 3D信息中包含的數(shù)據(jù)和指示3D存在的符號的顯示可以被疊加在小圖片圖像上，但可以在 小圖片圖像附近的預(yù)定位置給出。圖25示出了該文件中存儲的小圖片圖像的其它實例。小圖片圖像由第一圖像和 第二圖像組成。第一圖像由來自不同視點的兩個或多個圖像構(gòu)成，第二圖像是通過從第一 圖像中僅裁出一個視點圖像構(gòu)成，然后將第一圖像和第二圖像以畫中畫的方式生成小圖片 圖像。在圖25(a)中，第一圖像是主要圖像，第二圖像是子圖像。如圖26(b)所示，主要圖 像和子圖像可以互換。圖25(c)和圖25(d)示出了圖25(a)和圖25(b)的各個圖像，每個 圖像嵌入有指示3D存在的符號。對于圖25(c)和(d)，可以輸出指示3D存在的符號并在小 圖片顯示時疊加，而不是將其記錄在小圖片圖像中。使用如圖25所示的小圖片顯示允許無 圖像失真地檢驗圖像內(nèi)容并且確認(rèn)記錄為主圖像的實際圖像形式。下面參考

本發(fā)明的實施例?！吹诎藢嵤├翟诒景l(fā)明的第八實施例中，使用用于三維圖像顯示的GUI應(yīng)用軟件，個人計算機(jī) (下文縮寫為PC)實施立體顯示處理，以便在立體顯示器上實現(xiàn)立體顯示。具體地講，PC上 的CPU根據(jù)諸如CE-R0M，硬盤等之類的記錄介質(zhì)上記錄的立體顯示應(yīng)用軟件執(zhí)行運(yùn)動畫面 和?；蜢o止圖像的處理，以便在立體顯示器上實現(xiàn)立體顯示。另外，隨著使用者通過鼠標(biāo)或 鍵盤給出進(jìn)行立體處理的指示，CPU根據(jù)這些指示來執(zhí)行處理。圖29是解釋第八實施例的立體顯示器上的顯示圖像的示意圖，其中三維圖像顯示應(yīng)用將管理顯示圖像2顯示在顯示器1上。三維圖像顯示應(yīng)用的管理顯示圖像2由三維 圖像顯示區(qū)3，放大比例調(diào)節(jié)條4和警告顯示區(qū)5構(gòu)成。從用于描述現(xiàn)有技術(shù)的圖39和40可以理解，當(dāng)放大并顯示三維圖像時，從立體顯 示器向外突出的隆起量和相對于立體顯示器向內(nèi)降低的縱深量都被放大，當(dāng)他們大于其對 應(yīng)的某個閾值時，不能產(chǎn)生立體視圖。這種情況下，如果預(yù)先知道三維圖像的隆起和縱深的 最大量，能夠從等式(1)和(2)根據(jù)放大比例確定三維圖像的隆起和縱深量在什么程度上 改變。在本實施例中，例如，如果三維圖像的隆起變得較強(qiáng)，因此長時間的觀看會給使用者 造成負(fù)擔(dān)，將給予使用者一個警告。下面參考圖30所示的流程圖，描述第八實施例的處理流程。在步驟S1，獲取顯示信息。在此提到的顯示信息包括顯示器的寬度W[m]，顯示器 的分辨率P[dot]，和使用者與顯示器之間的距離D[m]。使用者與顯示器之間的距離可以利 用位置傳感器等準(zhǔn)確地獲得。然而，使用來自數(shù)據(jù)庫的、預(yù)先已經(jīng)累積的值更方便，該值記 錄了使用者相對于顯示器的尺寸和類型的一般距離，如果顯示器的尺寸是15英寸，作為到 使用者的距離的例子，該距離可以是1米。對于通過在左和右眼上投射不同的圖像來產(chǎn)生立體效果的立體顯示器，如同在 HMD的情況，當(dāng)把絕對獨立的顯示設(shè)備用于左和右眼時，左和右圖像之間不發(fā)生混合。然而， 在基于視差阻擋系統(tǒng)和雙凸系統(tǒng)的立體顯示器中，針對使用者的右眼的圖像的微小成分可 以與左眼看到的圖像混合。將此稱為串?dāng)_。一般情況下，串?dāng)_越少，立體顯示越好。隨著串 擾變大，能夠產(chǎn)生舒適的立體視圖的范圍變窄。為此，有關(guān)串?dāng)_的信息被包括在顯示信息 中，如下面要描述的，當(dāng)串?dāng)_較強(qiáng)時，視差的范圍可以變得較小，以便在立體顯示器上提供 舒適的立體圖像。為此目的，在步驟S2獲取能夠有立體視圖的視差范圍。PC的CPU根據(jù)左和右圖像之間的差異，利用等式(1)，(2)和(3)，計算能夠產(chǎn)生 舒適的立體視圖的范圍中的視差量，以便確定落在能夠有舒適的立體視圖的范圍中的隆起 量th_f[dot]和縱深量th_b[dot]。在此，由立體顯示屏幕上左和右對應(yīng)點之間的距離(視 差)來把th_f^Pth_b。如從圖39和40看到的，在從屏幕向外突出的圖像中，左眼圖像相 對于右眼圖像位于右側(cè)，而在從屏幕向后的圖像中，左眼圖像相對于右眼圖像位于左側(cè)。因 此，在本發(fā)明中，確定右眼圖像與左眼圖像之間不一致的程度作為參考，以使視差的正值表 示隆起(左眼圖像位于右側(cè))，和視差的負(fù)值表示縱深(左眼圖像位于左側(cè))。視差的值落入從th_f到th_b的范圍可以說是能夠有舒適立體視圖的立體顯示器 的最大視差范圍，并且th_f到th_b表示最大視差范圍的閾值。通過各種研究已經(jīng)憑經(jīng)驗確定了允許舒適立體視圖的視差量e，并且了解到它與 立體顯示器和尺寸和串?dāng)_相關(guān)。例如，當(dāng)假設(shè)在15英寸的立體顯示器中能夠有舒適立體 視圖的視差量9的范圍針對隆起和縱深二者是35分鐘，并且使用者的眼睛之間的距離是 60mm，規(guī)定立體顯示器的最大視差范圍的閾值是大約th_f = 25和th_b = -25 [dot]。因 此，能夠有立體視圖的視差范圍是-25≤ θ ≤ 25。當(dāng)然，這些值根據(jù)在步驟S1獲取的有 關(guān)顯示的信息而改變。另外，由于這些值最多是憑經(jīng)驗確定的，而不是用等式(1)，(2)和 (3)確定的，自然會考慮CPU可以使用憑經(jīng)驗獲得的立體顯示器的顯示性能的測量值，這些 測量值已經(jīng)預(yù)先存儲在數(shù)據(jù)庫等中。
在步驟S3，顯示三維圖像的最大隆起量f [dot]和最大縱深量b [dot]，一句話，從 三維圖像的標(biāo)記信息獲取三維圖像的最大視差量。在此，標(biāo)記信息是指分開地附連到三維 圖像的附加信息，例如當(dāng)攝取圖像時的拍攝條件。在本實施例中，假設(shè)有關(guān)三維圖像的隆起 最大量和縱深最大量的信息被作為標(biāo)記信息預(yù)先給出。然而，存在著通過立體匹配自動確 定有關(guān)f 和b的信息的方法，這意味著獲取方法不限于使用標(biāo)記信息。還是在這種情況下， 將f 和b表示為立體顯示器屏幕上的視差量。這些值表示三維圖像的視差(視差范圍)的 范圍。在步驟S4，使用者利用放大比例調(diào)節(jié)條4輸入三維圖像的放大或縮小比例E [ % ]。 放大比例的輸入不限于使用放大比例調(diào)節(jié)條，而是可以通過按下特定的盤鍵修改，或通過 鼠標(biāo)利用滾動條。另外，假設(shè)本發(fā)明不僅涉及放大處理，而且涉及縮小處理，并假設(shè)在步驟 S5獲得放大或縮小比例。在步驟S5，確定三維圖像的視差量是否落入能夠有立體視圖的視差范圍。按在步 驟S4獲得的放大比例]來乘以都是在步驟S3確定的隆起f的最大量和縱深b的最 大量，以便確定放大的三維圖像的隆起的最大量f，=Ef [dot]，和放大的三維圖像的縱深 的最大量b’ = Eb[dot]。將所得到的值與在步驟S3確定的th_f和th_b比較，以便在步 驟S5決定這些值是否落入能夠有立體視圖的視差范圍。如果三維圖像的視差量落入上述 的視差范圍，該過程結(jié)束。如果三維圖像的視差量超出該視差范圍，操作進(jìn)行到步驟S6。在步驟S6，PC的CPU根據(jù)三維圖像的視差量脫離能夠有立體視圖的視差范圍的程 度，確定諸如“隆起太強(qiáng)”，“縱深太強(qiáng)”，“隆起太弱”，“縱深太弱”之類的消息，并將其顯示在 警告顯示區(qū)5上。在此，通過話音消息，通過改變?nèi)S圖像顯示區(qū)3的顏色或通過任何其它 方法向使用者發(fā)出警告，而不應(yīng)該限于在警告顯示區(qū)5上顯示消息。在本實施例中，雖然根據(jù)視差量[dot]或左和右圖像的對應(yīng)點之間的差異來決定 三維圖像的隆起量，很顯然，可以將從如圖39和40所示的顯示器給出的隆起量z[m]用于 該決定。<第九實施例>下面描述本發(fā)明的第九實施例。第九實施例中的立體顯示器的管理顯示圖像6由三維圖像顯示區(qū)3，放大比例調(diào) 節(jié)條4和警告顯示區(qū)5構(gòu)成，如圖31所示。下面參考圖32的流程圖描述第九實施例的操作流程。步驟S1至步驟S5與第八 實施例中的相同。在步驟S16，如圖33所示對隆起的量進(jìn)行校正(視差量調(diào)節(jié))。圖33 (a)示出了放 大前的三維圖像的視差范圍，(b)示出了放大后的三維圖像的視差范圍，(c)示出了校正處 理后的三維圖像的視差范圍。在圖33中，橫軸表示左和右圖像的立體對應(yīng)點之間的差異， 影線表示獲得舒適的立體視圖的視差范圍。關(guān)于符號，f和b表示放大前的三維圖像的隆 起和縱深的最大量，f'和b’表示放大后的三維圖像的隆起和縱深的最大量，th_f 和th_b 表示能夠在立體顯示器上獲得舒適的立體視圖之間的隆起和縱深的最大量。即使放大后的 圖像的隆起最大量f’比th_f大，如果f’ -b，小于th_f-th_b，右眼圖像作為整體可以被移 位f_th_f’，如圖34所示，以便相對于立體顯示器將三維圖像作為整體的顯現(xiàn)位置向后設(shè) 置，從而校正立體效果。在圖34中，由虛線包圍的部分6表示原始圖像，由實線包圍的部分7表示移位后的圖像。然而，如果f’ _b’大于th_f_th_b，不再能夠通過將右眼圖像作為整 體簡單地移位來校正隆起。同樣，在處理縱深的情況下，當(dāng)圖像放大后的縱深b’的最大量小于th_f_th_b時， 將右眼圖像作為整體移位b’_th_b，以顯示從立體顯示器突出的整個三維圖像，使其能夠提 供舒適的立體視圖。應(yīng)該指出，當(dāng)移位量為正時，右眼圖像作為整體被向右移位，當(dāng)移位量 為負(fù)時，右眼圖像作為整體被向左移位。在本實施例中，雖然是通過移位右眼圖像來校正整個三維圖像的隆起量，移位方 式不限于右眼圖像，而是可以固定右眼圖像移位左眼圖像，或者同時移位兩眼的圖像。另外，當(dāng)f’ -b’大于th_f_th_b時，在警告區(qū)顯示“太強(qiáng)而不能校正”，或者左和右 圖像之一在三維圖像顯示區(qū)中的顯示使其能夠向使用者表明三維圖像不舒適，雖然不強(qiáng)迫 提供警告顯示區(qū)或任何其它警告。本實施例不限于根據(jù)放大來校正立體效果，也可以在作 為縮小尺寸的結(jié)果導(dǎo)致三維圖像缺乏立體效果時，通過將圖像作為整體隆起或收縮來增強(qiáng) 三維圖像的立體效果。例如，當(dāng)在步驟S4確定放大比例小于1時，在步驟S6將縮小后的三 維圖像移位f_f’，以使圖像相對于顯示器向外突出，并相對于縮小前均衡縮小后的最大隆 起的位置，由此使得縮小后的三維圖像給出從屏幕向外隆起或突出更大的感覺。相反，還可 以均衡縱深量，以使隆起的最大位置不保持固定，而固定縱深的最大位置?！吹谑畬嵤├?下面描述本發(fā)明的第十實施例。本發(fā)明的第十實施例是第九實施例的改進(jìn)，其中改進(jìn)了在步驟S16的隆起校正處 理(視差量調(diào)節(jié))。本實施例即使在通過三維圖像的總移位也不能獲得舒適的立體視圖時，通過對三 維圖像的中央部分給予優(yōu)先來調(diào)節(jié)立體效果，能夠使顯示器容易地被觀察到立體視圖。該 實施例利用了人的視覺感受的特征，或人的視覺在中央周圍比視野外圍更清楚的事實。除了用步驟S17的視差量調(diào)節(jié)代替不步驟S16的視差量調(diào)節(jié)外，第十實施例從步 驟S1到步驟S5與圖32中所示的第九實施例的流程相同。圖示說明，實施圖35中所示的從步驟S21到步驟S26的過程。參考圖35所示的 流程圖描述該處理的流程。在步驟S21，以整個圖像初始化要處理的目標(biāo)三維圖像中的視差量獲取區(qū)。在步驟S22，針對視差量獲取區(qū)中每個像素比較隆起量和縱深量，以獲取該視差量 獲取區(qū)隆起的最大量f’和縱深的最大量b’。在本實施例中，假設(shè)有關(guān)圖像的每個像素的隆 起量和縱深量的信息被預(yù)先作為標(biāo)記信息給出。然而，存在著通過立體匹配自動確定每個 像素的量的方法，意味著獲取方法不限于標(biāo)記信息的使用。作為替換，不需要獲得所有像素 的隆起和縱深量；可以從視差量獲取區(qū)中的一些區(qū)分像素提取這些值。在步驟S23，確定通過將三維圖像作為整體移位來調(diào)節(jié)視差量是否能夠獲得立體 視圖。通過從如圖34所示的具有f-th_f’移位的立體顯示收縮整個三維圖像，能夠生成舒 適的立體視圖顯示。然而，當(dāng)f’ _b’大于f_th_b時，僅簡單地左或右移動整個圖像不能很 好地校正隆起。因此，當(dāng)f’ -b，大于f_th_b時，PC的CPU通過調(diào)節(jié)視差量，在步驟S24去掉視差 量獲取區(qū)，并重復(fù)從步驟S22起的過程，確定不能獲得立體視圖。在本實施例中，如圖37所示，整個三維圖像被設(shè)置為初始范圍L1 (寬度wl，和高度h2)。當(dāng)沒有以L1進(jìn)行校正處 理時，設(shè)置用于校正的修改范圍L2(寬度w2，和高度h2)。當(dāng)沒有以L2進(jìn)行校正處理時， 重復(fù)地設(shè)置用于校正的修改范圍L3(寬度w3，和高度h3)。在此假設(shè)wn = 0. 9x wn-1，和 hn = 0. 9x hn-1，但是重復(fù)公式不應(yīng)該局限于此。這樣，當(dāng)在步驟S23確定通過調(diào)節(jié)視差量能夠獲得立體視圖時，PC的CPU通過在 步驟S25移位三維圖像來進(jìn)行視差量調(diào)節(jié)。代替圖像幀的中央，作為進(jìn)行立體效果調(diào)節(jié)的區(qū)，預(yù)先指定具有最大隆起的對象 或最具有標(biāo)記價值的對象作為可觀察的點，并且對可觀察的點和其附近給予優(yōu)先來進(jìn)行有 關(guān)立體視圖的調(diào)節(jié)，由此能夠生成舒適的立體顯示。<第—^一實施例>至此描述的任何實施例不限于在PC上的應(yīng)用程序上執(zhí)行，而是可以在電視裝置， PDA，蜂窩電話或其它設(shè)備上執(zhí)行。下面描述對這些設(shè)備的應(yīng)用作為本發(fā)明的第十一實施 例。如圖38所示，第十一實施例由三維圖像數(shù)據(jù)源10，臨時數(shù)據(jù)處理存儲器11，三維 圖像顯示單元12，放大比例選擇器13，視差調(diào)節(jié)單元14和警告決定單元15，以及警告顯示 單元16構(gòu)成。首先，傳送來自三維圖像數(shù)據(jù)源10的每個像素的三維圖像數(shù)據(jù)的顏色數(shù)據(jù)和視 差數(shù)據(jù)，來自三維圖像顯示單元12的顯示設(shè)備的尺寸和分辯率以及串?dāng)_的幅度，并存儲在 數(shù)據(jù)處理存儲器11中。在此，作為三維圖像數(shù)據(jù)源10，可以考慮磁盤，半導(dǎo)體存儲器，經(jīng)有 線或無線網(wǎng)絡(luò)的數(shù)據(jù)傳輸或其它方式。作為臨時數(shù)據(jù)處理存儲裝置，可以考慮半導(dǎo)體存儲 器，磁盤和內(nèi)置于PDA，蜂窩電話等其它方式。接下來，使用者通過放大比例選擇器13選擇用于三維圖像顯示的放大比例，作為 放大比例選擇器13，可以考慮按鈕，刻度盤，或放大和縮小的其它方式。在視差調(diào)節(jié)單元14中，對數(shù)據(jù)處理存儲裝置11中存儲的三維圖像數(shù)據(jù)進(jìn)行與第 八實施例中的步驟S1至S5相同的處理。具體地講，獲取數(shù)據(jù)處理存儲裝置11中存儲的顯 示信息以便獲取能夠獲得三維圖像數(shù)據(jù)的立體視圖的視差范圍，然后將三維圖像的視差量 與該視差范圍進(jìn)行比較，由此決定三維圖像的視差量是否落入允許立體視覺的視差范圍。如果落在能夠有立體視圖的視差范圍之外，警告處理器15在三維圖像顯示單元 12上給出警告。顯示警告的文字存儲在數(shù)據(jù)處理存儲裝置12中，警告處理器15根據(jù)三維 圖像的視差量脫離能夠有立體視圖的視差范圍的程度進(jìn)行判斷。以這種方式，將警告文字 存儲在數(shù)據(jù)處理存儲裝置11中并且疊加顯示在三維圖像顯示單元12上以給出警告。除了三維圖像顯示單元12外，可以使用分開的專用警告顯示單元來給出警告，或 者可以利用揚(yáng)聲器或耳機(jī)通過聲音等方式給出警告。工業(yè)實用性本發(fā)明提供用于顯示三維圖像的三維圖像生成裝置和三維圖像處理裝置，能夠使 使用者以適當(dāng)?shù)姆绞酱_認(rèn)三維圖像的內(nèi)容，并且使裝置適合于向使用者呈現(xiàn)三維圖像的內(nèi) 容，即使三維圖像被放大或縮小。
2權(quán)利要求
一種三維圖像處理裝置，包括視差量獲取裝置，用于獲取三維圖像的視差量；決定裝置，用于決定三維圖像的視差量是否落入適于立體視圖的視差范圍；和警告裝置，用于警告使用者，其中當(dāng)決定裝置確定視差量落在視差范圍之外時，所述警告裝置警告使用者。
2.—種三維圖像處理裝置，包括視差量獲取裝置，用于獲取三維圖像的視差量；決定裝置，用于決定三維圖像的視差量是否落入適于立體視圖的視差范圍；視差調(diào)節(jié)裝置，用于調(diào)節(jié)三維圖像的視差量；和指定裝置，用于指定用于視差量調(diào)節(jié)的可觀察點，其中當(dāng)決定裝置確定視差量落在視差范圍之外時，視差調(diào)節(jié)裝置通過對所述可觀察點 周圍的區(qū)域給予優(yōu)先來調(diào)節(jié)視差量。
3.根據(jù)權(quán)利要求1或2所述的三維圖像處理裝置，還包括放大比例選擇裝置，用于顯示 三維圖像的放大或縮小視圖，其中決定裝置確定已經(jīng)根據(jù)所選擇的放大比例來放大或縮小 的三維圖像的視差量是否落入視差范圍內(nèi)。
4.根據(jù)權(quán)利要求1或2所述的三維圖像處理裝置，其中決定裝置根據(jù)三維圖像的部分 區(qū)域來進(jìn)行決定處理過程。
5.根據(jù)權(quán)利要求1或2所述的三維圖像處理裝置，其中視差量獲取裝置使用用于顯示 三維圖像的立體顯示器的分辨率，用于顯示三維圖像的立體顯示器的尺寸，或用于顯示三 維圖像的立體顯示器的分辨率和尺寸。
6.根據(jù)權(quán)利要求1或2所述的三維圖像處理裝置，還包括視差范圍獲取裝置，用于確定 和獲取適于立體視圖的視差范圍，其中，視差范圍獲取裝置通過使用用于顯示三維圖像的立體顯示器分開左和右圖像的 能力來確定并獲取所述視差范圍。
7.根據(jù)權(quán)利要求1或2所述的三維圖像處理裝置，其中視差量獲取裝置使用預(yù)先標(biāo)記 到三維圖像的數(shù)據(jù)。
全文摘要
一種三維圖像處理裝置，包括視差量獲取裝置，用于獲取三維圖像的視差量；決定裝置，用于決定三維圖像的視差量是否落入適于立體視圖的視差范圍；和警告裝置，用于警告使用者，其中當(dāng)決定裝置確定視差量落在視差范圍之外時，所述警告裝置警告使用者。根據(jù)本發(fā)明，由于其決定三維圖像的視差量是否落入能夠產(chǎn)生立體視圖的視差范圍，能夠針對不能生成立體視圖的情況采取對應(yīng)的措施。
文檔編號H04N13/00GK101841728SQ20101011409
公開日2010年9月22日 申請日期2004年4月16日 優(yōu)先權(quán)日2003年4月17日
發(fā)明者內(nèi)海端, 北浦龍二, 大原一人, 鹽井正宏, 矢部博明, 野村敏男 申請人:夏普株式會社