專利名稱：圖像合成裝置及圖像檢索方法
技術(shù)領域：
本發(fā)明涉及圖像合成裝置及圖像檢索方法、存儲有程序的記錄介質(zhì)。
背景技術(shù)：
例如日本特開2004-134950號公報所述，以往在由數(shù)字攝像機等拍攝到的圖像上合成素材圖像的技術(shù)已為眾所周知。另外，如日本特開平11-341522號公報所述，通過準備在雙方間存在視差的左右一對圖像，也就是圖像內(nèi)同一物體的位置向左右偏移后的左眼用圖像和右眼用圖像，使觀看者用左眼觀看左眼用圖像，且用右眼觀看右眼用圖像，而令其立體地看見圖像(立體觀看)的技術(shù)已為眾所周知。然而，即便是利用專利文獻2所述的技術(shù)來立體觀看的圖像(下面稱為立體圖像)，構(gòu)成該圖像的左眼用圖像和右眼用圖像也是和由數(shù)字攝像機等拍攝到的圖像相同的靜止圖像。從而，可以針對某個立體圖像，例如從其他的立體圖像，剪切與人物等那樣的作為獨立的物體來識別的部分(下面稱為對象)相當?shù)牟糠謭D像(下面稱為對象圖像)，合成剪切后的部分圖像。也就是說，只要在作為背景的構(gòu)成立體圖像的左眼用圖像上覆蓋并合成對象圖像的左眼用圖像，且在作為背景的構(gòu)成立體圖像的右眼用圖像上覆蓋并合成對象圖像的右眼用圖像，就可以獲得新的立體圖像。但是，在立體圖像中，存在立體觀看該立體圖像時的距離感相互不同的多個對象的時候，若感覺為相對存在于近前的對象的一部分被感覺為相對存在于深處的其他對象所遮擋，則立體圖像變得令人非常不舒適。因此，在預先準備好的多個立體圖像的某一個上合成任意的對象圖像的情況下，需要考慮與合成后的立體圖像內(nèi)的其他對象之間的距離感的不同等，而選擇適合于合成的背景用立體圖像。因此，當進行背景用立體圖像的選擇時，例如需要通過由操作者立體觀看對象圖像和作為背景候選的各個立體圖像，來預先確認合成后的立體圖像內(nèi)有無不適感。從而，致使在背景用立體圖像的選擇中耗費很多的人力，存在操作者的負擔增大這樣的問題。

發(fā)明內(nèi)容
因此，本發(fā)明的目的是提供一種圖像合成裝置及圖像檢索方法、程序，在作為背景的其他立體圖像上合成作為立體圖像的素材圖像時，操作者方面選擇適合于素材圖像合成的其他立體圖像的操作較為容易。本發(fā)明的圖像合成裝置，其特征為，具備
取得部，取得作為對象來立體觀看的素材圖像中存在的視差；檢索部，從分別被立體觀看的多個立體圖像之中，檢索滿足規(guī)定條件的立體圖像來作為選擇候選；以及合成部，在由上述檢索部作為選擇候選檢索到的立體圖像上合成上述素材圖像，上述多個立體圖像各自包含至少一個對象，上述檢索部從上述多個立體圖像之中以如下的上述規(guī)定條件檢索作為上述選擇候選的立體圖像，該規(guī)定條件為，上述多個立體圖像之中作為上述選擇候選的立體圖像中包含的上述至少一個對象，都是比由上述取得部所取得的上述素材圖像的視差更小的第1 視差對象。本發(fā)明的圖像合成裝置，其特征為，具備取得部，取得作為對象來立體觀看的素材圖像中存在的視差；檢索部，從分別被立體觀看的多個立體圖像之中，檢索滿足規(guī)定條件的立體圖像來作為選擇候選；以及合成部，在由上述檢索部作為選擇候選檢索到的立體圖像上合成上述素材圖像，上述多個立體圖像各自包含至少一個對象，上述檢索部從上述多個立體圖像之中以如下的上述規(guī)定條件檢索作為上述選擇候選的立體圖像，該規(guī)定條件為，上述多個立體圖像之中作為上述選擇候選的立體圖像中包含的上述至少一個對象，是與由上述取得部所取得的上述素材圖像的視差相同或者比該視差更大的第2視差對象，且該素材圖像具有能夠配置在除了上述第2視差對象以外的區(qū)域上的形狀及尺寸。本發(fā)明的圖像合成裝置，其特征為，具備取得部，取得作為對象來立體觀看的素材圖像中存在的視差；檢索部，從分別被立體觀看的多個立體圖像之中，檢索滿足規(guī)定條件的立體圖像來作為選擇候選；以及合成部，在由上述檢索部作為選擇候選檢索到的立體圖像上合成上述素材圖像，上述多個立體圖像各自包含至少一個對象，上述檢索部從上述多個立體圖像之中以如下的上述規(guī)定條件檢索作為上述選擇候選的立體圖像，該規(guī)定條件為，上述多個立體圖像之中作為上述選擇候選的立體圖像中包含的上述至少一個對象，是與由上述取得部所取得的上述素材圖像的視差相同或者比該視差更大的第2視差對象，且該素材圖像具有能夠配置為與上述第2視差對象整體重合的形狀及尺寸。本發(fā)明的圖像檢索方法，具有取得步驟，取得作為對象來立體觀看的素材圖像中存在的視差；檢索步驟，從分別被立體觀看的多個立體圖像之中，檢索滿足規(guī)定條件的立體圖像來作為選擇候選；以及合成步驟，在由上述檢索步驟作為選擇候選檢索到的立體圖像上合成上述素材圖像，
上述多個立體圖像各自包含至少一個對象，上述檢索步驟從上述多個立體圖像之中以如下的上述規(guī)定條件檢索作為上述選擇候選的立體圖像，該規(guī)定條件為，上述多個立體圖像之中作為上述選擇候選的立體圖像中包含的上述至少一個對象，都是比由上述取得步驟所取得的上述素材圖像的視差更小的第1視差對象。本發(fā)明的圖像檢索方法，具有取得步驟，取得作為對象來立體觀看的素材圖像中存在的視差；檢索步驟，從分別被立體觀看的多個立體圖像之中，檢索滿足規(guī)定條件的立體圖像來作為選擇候選；以及合成步驟，在由上述檢索步驟作為選擇候選檢索到的立體圖像上合成上述素材圖像，上述多個立體圖像各自包含至少一個對象，上述檢索步驟從上述多個立體圖像之中以如下的上述規(guī)定條件檢索作為上述選擇候選的立體圖像，該規(guī)定條件為，上述多個立體圖像之中作為上述選擇候選的立體圖像中包含的上述至少一個對象，是與由上述取得步驟所取得的上述素材圖像的視差相同或者比該視差更大的第2視差對象，且該素材圖像具有能夠配置在除了上述第2視差對象以外的區(qū)域上的形狀及尺寸。本發(fā)明的程序，具有取得處理，取得作為對象來立體觀看的素材圖像中存在的視差；檢索處理，從分別被立體觀看的多個立體圖像之中，檢索滿足規(guī)定條件的立體圖像來作為選擇候選；以及合成處理，在由上述檢索處理作為選擇候選檢索到的立體圖像上合成上述素材圖像，上述多個立體圖像各自包含至少一個對象，上述檢索處理從上述多個立體圖像之中以如下的上述規(guī)定條件檢索作為上述選擇候選的立體圖像，該規(guī)定條件為，上述多個立體圖像之中作為上述選擇候選的立體圖像中包含的上述至少一個對象，都是比由上述取得處理所取得的上述素材圖像的視差更小的第1視差對象。本發(fā)明的程序，使計算機執(zhí)行取得處理，取得作為對象來立體觀看的素材圖像中存在的視差；檢索處理，從分別被立體觀看的多個立體圖像之中，檢索滿足規(guī)定條件的立體圖像來作為選擇候選；以及合成處理，在由上述檢索處理作為選擇候選檢索到的立體圖像上合成上述素材圖像，上述多個立體圖像各自包含至少一個對象，上述檢索處理從上述多個立體圖像之中以如下的上述規(guī)定條件檢索作為上述選擇候選的立體圖像，該規(guī)定條件為，上述多個立體圖像之中作為上述選擇候選的立體圖像中包含的上述至少一個對象，是與由上述取得處理所取得的上述素材圖像的視差相同或者比該視差更大的第2視差對象，且該素材圖像具有能夠配置在除了上述第2視差對象以外的區(qū)域上的形狀及尺寸。本發(fā)明的優(yōu)點將在下面的詳細說明部分中列出，并且，它們根據(jù)說明部分也將是顯而易見的，或者可以通過實施本發(fā)明來獲悉。本發(fā)明的優(yōu)點可以借助于下面具體給出的手段和組合方式來實現(xiàn)和獲得。


附圖是說明書的一部分，它們示出了本發(fā)明的實施例，并且，與上面給出的概要說明和下面給出的實施例詳細說明一起，闡明本發(fā)明的原理。圖1是數(shù)字相框的外觀圖，圖IA是主視圖，圖IB是側(cè)視圖。圖2是數(shù)字相框的系統(tǒng)結(jié)構(gòu)圖。圖3是顯示于顯示部上的畫面的說明圖，圖3A是電源為接通狀態(tài)時的說明圖，圖 3B是選擇了圖像編輯時的說明圖。圖4是說明圖像合成處理所用的流程圖。圖5是顯示于顯示部上的畫面的說明圖，圖5A例示對象圖像選擇畫面、圖5B例示背景圖像選擇畫面、圖5C例示圖像合成區(qū)域選擇畫面、圖5D例示圖像配置調(diào)整畫面。圖6是說明背景候選檢索處理所用的流程圖。圖7是說明視差的導出處理所用的流程圖。圖8是拉普拉斯過濾器的說明圖，圖8A是3 X 3矩陣的過濾器結(jié)構(gòu)圖，圖8B是5 X 5 矩陣的過濾器結(jié)構(gòu)圖。圖9是通過二值化處理得到的邊緣圖像數(shù)據(jù)的說明圖。圖10是說明對象圖像制作處理所用的流程圖。圖11是顯示于顯示部上的畫面的說明圖，圖IlA例示被提取圖像選擇畫面、(b)例示對象選擇畫面。
具體實施例方式本發(fā)明的具體實施方式
將參照附圖加以解釋。下面，對于用來實施本發(fā)明的方式進行說明。本實施方式涉及具備作為本發(fā)明圖像合成裝置的功能的數(shù)字相框。這里，數(shù)字相框是以顯示鑒賞用圖像為主要目的的裝置，該圖像例如由數(shù)字攝像機拍攝并且作為圖像數(shù)據(jù)被記錄。另外，本實施方式的數(shù)字相框還具備將由左眼用和右眼用組成的左右一組圖像顯示為立體圖像的功能、以及合成立體圖像的功能。下面，參照附圖來說明本實施方式的數(shù)字相框。圖1是表示本實施方式數(shù)字相框1的外觀圖，圖IA是主視圖，圖IB是側(cè)視圖。如圖1所示，本實施方式的數(shù)字相框1具備顯示部2，設置于主體部20的前表面； 電源開關(guān)3a ；觸摸面板北，其配置為與顯示部2重合；媒體安裝部5，安裝存儲有各種圖像數(shù)據(jù)的卡式存儲媒體4。另外，在數(shù)字相框1的主體部20的背面，以能夠使主體部20向后方稍稍傾斜地放置的方式，配備相對于主體部20開閉自如的支架21。圖2是表示數(shù)字相框1電結(jié)構(gòu)的系統(tǒng)結(jié)構(gòu)圖。如圖2所示，數(shù)字相框1除了上述的顯示部2、電源開關(guān)3a、觸摸面板北及媒體安裝部5以外，還具備內(nèi)置存儲器6、控制部7和通信控制部31。媒體安裝部5具體而言是控制存儲媒體4和控制部7之間的數(shù)據(jù)輸入輸出的輸入輸出接口，由所需的電路構(gòu)成。在存儲媒體4中存儲著多個圖像數(shù)據(jù)。在存儲媒體4中所存儲的圖像數(shù)據(jù)里，包括例如由數(shù)字攝像機通過攝影所取得的圖像數(shù)據(jù)和立體圖像數(shù)據(jù)。由數(shù)字攝像機所取得的圖像數(shù)據(jù)例如是對采用JPEG (Joint Photographic Expert Group，聯(lián)合圖像專家組)方式壓縮后的圖像數(shù)據(jù)主體，與該圖像數(shù)據(jù)主體的尺寸 (縱向及橫向的像素數(shù))等的基本信息一起，附加攝影日期與時間、及縮略圖像(縮小圖像)數(shù)據(jù)等的附加信息，并作為圖像文件被存儲的數(shù)據(jù)。另外，立體圖像數(shù)據(jù)是表現(xiàn)立體圖像的圖像數(shù)據(jù)，例如是由將通過靜止攝像機拍攝到的左右一對照片(左眼用圖像和右眼用圖像)分別加以數(shù)字數(shù)據(jù)化后的左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)所組成的數(shù)據(jù)，或是從單個圖像數(shù)據(jù)利用圖像處理技術(shù)所生成的左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)。立體圖像數(shù)據(jù)例如在采用JPEG方式壓縮后的圖像數(shù)據(jù)主體中附加縮略圖像數(shù)據(jù)等的附加信息，并作為立體圖像文件而被存儲。立體圖像數(shù)據(jù)主體由左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)構(gòu)成，且縮略圖像數(shù)據(jù)也由左眼用縮略圖像數(shù)據(jù)和右眼用縮略圖像數(shù)據(jù)構(gòu)成。再者，在立體圖像數(shù)據(jù)中，與立體圖像數(shù)據(jù)(左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù))的尺寸等基本信息一起，附加有表示其是立體圖像數(shù)據(jù)的識別信息等。顯示部2例如是包括背景燈在內(nèi)的液晶顯示模塊或有機EL顯示模塊。顯示部2 顯示基于下述圖像數(shù)據(jù)的通常的二維圖像或立體圖像，以及包括1個或者多個操作用的圖像(下面稱為軟鍵)在內(nèi)的各種顯示菜單等，上述圖像數(shù)據(jù)是通過媒體安裝部5從存儲媒體4所讀入的。再者，顯示部2還顯示基于由控制部7所生成的立體圖像數(shù)據(jù)的立體圖像。這里，在數(shù)字相框1中使用的立體圖像的顯示方式例如是所謂視差屏障 (parallax barrier)方式或分時顯示方式。視差屏障方式是沿左右方向交替配置并顯示根據(jù)左眼用圖像數(shù)據(jù)進行灰度控制的第1像素和根據(jù)右眼用圖像數(shù)據(jù)進行灰度控制的第2像素，另一方面，使處于指定觀看位置的用戶，通過視差屏障只用左眼看見第1像素，且通過視差屏障只用右眼看見第2像素。 從而，采用視差屏障方式的設備的結(jié)構(gòu)為，顯示部2在顯示畫面的近前，具備顯示(形成) 視差屏障的液晶面板等屏障顯示元件。另外，分時顯示方式是交替地分時顯示基于左眼用圖像數(shù)據(jù)的左眼用圖像和基于右眼用圖像數(shù)據(jù)的右眼用圖像，另一方面，與左眼用圖像和右眼用圖像的顯示定時同步，交替遮斷用戶左眼的視場和右眼的視場的方式。從而，采用分時顯示方式的設備中，需要在立體圖像的觀看時另行使用戶佩帶眼鏡等的視場控制裝置，所述眼鏡等的視場控制裝置與左眼用圖像和右眼用圖像的顯示定時同步，交替遮斷左右的視場。觸摸面板北是在顯示部2上顯示出1個或者多個軟鍵的狀態(tài)下，檢測顯示部2的顯示畫面內(nèi)用戶的觸摸位置來作為輸入信息的輸入裝置。在觸摸面板北中，可以使用例如電阻膜方式的觸摸面板或靜電電容方式的觸摸面板。電阻膜方式是通過測量由透明電極的電阻產(chǎn)生的分壓比來檢測觸摸位置的方式， 該透明電極由透明度比較高的ITOandium Tin Oxide，銦錫氧化物)構(gòu)成。靜電電容方式是以由ITO膜所形成的相互交叉進行延展的多根透明的電極圖案為傳感器，通過捕獲表面電荷的變化來檢測觸摸位置的方式。內(nèi)置存儲器6是即便切斷電源仍保存存儲內(nèi)容，且能夠改寫存儲數(shù)據(jù)的閃存器， 更為具體而目是 EEPROM (Electric Erasable Programmable Read Only Memory，電可擦可編程只讀存儲器)。在內(nèi)置存儲器6中，如下所述存儲著在數(shù)字相框1中生成的立體圖像數(shù)據(jù)和對象圖像數(shù)據(jù)等。還有，雖然詳細情況將在下面說明，但是對象圖像數(shù)據(jù)是表現(xiàn)人物等作為特定對象來立體觀看的立體圖像(素材圖像)的立體圖像數(shù)據(jù)，是由左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)組成的一組圖像數(shù)據(jù)。另外，左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)分別是彩色圖像數(shù)據(jù)，所述彩色圖像數(shù)據(jù)按每個顯示坐標，作為顏色成分具有紅色成分、綠色成分及藍色成分的灰度值?？刂撇?包括CPU (Central Processing Unit，中央處理單元)8、存儲有由CPU8執(zhí)行的控制程序的R0M9(Read Only Memory，只讀存儲器)以及成為工作區(qū)域的RAM10 (Random Access memory，隨機存取存儲器)等。R0M9是存儲著用于使CPU8控制系統(tǒng)整體的多種程序或數(shù)據(jù)的存儲器。在R0M9所存儲的程序中，包含在本實施方式中將CPU8作為取得機構(gòu)、檢索機構(gòu)、合成機構(gòu)及圖像制作機構(gòu)使之發(fā)揮作用的立體圖像合成程序。RAM10是當CPU8進行數(shù)字相框1的控制時，暫時存儲各種數(shù)據(jù)的工作用存儲器， 具體而言是SDRAM (Synchronous dynamic random-access memory，同步云力態(tài)隨機存儲器)寸。通信控制部31進行通信處理，該通信處理例如通過利用有線或者無線的通信線路將數(shù)字相框1根據(jù)需要連接到因特網(wǎng)等的網(wǎng)絡上，從存在于網(wǎng)絡上的服務器接收各種圖像數(shù)據(jù)。由通信控制部31接收的圖像數(shù)據(jù)是由數(shù)字攝像機等所取得的圖像數(shù)據(jù)、立體圖像數(shù)據(jù)及對象圖像數(shù)據(jù)，接收到的圖像數(shù)據(jù)被存儲于存儲媒體4或內(nèi)置存儲器6中。下面，說明由上面的結(jié)構(gòu)形成的數(shù)據(jù)相框1中的動作。在數(shù)字相框1上，當由用戶操作電源開關(guān)3a而電源成為接通狀態(tài)時，CPU8開始基于R0M9中所存儲的程序的控制，立即使功能選擇菜單顯示于顯示部2上。圖3A是表示顯示于顯示部2上的功能選擇菜單Gl的一例的附圖。功能選擇菜單 Gl包括被分配圖像檢索功能的軟鍵11a、被分配幻燈片演示功能的軟鍵lib、被分配圖像編輯功能的軟鍵11c、被分配下載功能的軟鍵Ild和被分配各種設定功能后的軟鍵lie。這里，圖像檢索功能是從在存儲媒體4中作為圖像數(shù)據(jù)所存儲的圖像中，選擇所希望的圖像，并使選擇出的圖像顯示在顯示部2上的功能?；脽羝菔竟δ苁前匆?guī)定的順序以幻燈片演示的形式對在存儲媒體4中作為圖像數(shù)據(jù)存儲的多個圖像進行顯示的功能。 圖像編輯功能是編輯存儲為圖像數(shù)據(jù)的圖像的功能。下載功能是從上述網(wǎng)絡下載各種圖像數(shù)據(jù)的功能。各種設定功能是設定與數(shù)字相框1具有的各種功能有關(guān)的動作內(nèi)容的功能。在顯示出功能選擇菜單Gl的期間，若由用戶觸摸了任一個軟鍵Ila lld，也就是說，在觸摸面板北上與任一個軟鍵Ila Ild對應的區(qū)域內(nèi)的位置被檢測為觸摸位置， CPU8轉(zhuǎn)而進行與分配給所觸摸到的軟鍵的功能相應的處理。此時，若由用戶觸摸了被分配圖像編輯功能的軟鍵11c，則CPU8使圖所示的那種編輯內(nèi)容選擇菜單G2顯示于顯示部2上。編輯內(nèi)容選擇菜單G2包括被分配繪畫風格變換功能的軟鍵llf、被分配圖像合成功能的軟鍵Ilg及記載了 “返回”的軟鍵llh。所謂的繪畫風格變換功能指的是，從在存儲媒體4中作為圖像數(shù)據(jù)存儲的圖像中，使用戶選擇所希望的圖像，通過對選擇出的圖像(圖像數(shù)據(jù))實施圖像處理，將原來的圖像變換為繪畫風格圖像的功能。還有，繪畫風格圖像是具備日本畫風格、西洋畫風格、水彩畫風格、水墨畫風格及工筆畫風格等特定風格(繪畫的特征)的圖像。所謂的圖像合成功能指的是，合成在存儲媒體4或內(nèi)置存儲器6中作為立體圖像數(shù)據(jù)存儲的不同的2個立體圖像的功能。還有，有關(guān)圖像合成功能的詳細情況將在下面說明。在數(shù)字相框1上，若在編輯內(nèi)容選擇菜單G2上由用戶觸摸了被分配繪畫風格變換功能的軟鍵llf·，則CPU8轉(zhuǎn)而進行與繪畫風格變換功能相應的處理。另外，若觸摸了記載為 “返回”的軟鍵llh，則CPU8使功能選擇菜單Gl再次顯示于顯示部2上。然后，若在編輯內(nèi)容選擇菜單G2上由用戶觸摸了被分配圖像合成功能的軟鍵llg，則CPU8執(zhí)行與圖像合成功能相應的、將在下面說明的圖像合成處理。本實施方式中的圖像合成處理是將由用戶選擇的任意的對象圖像(素材圖像)， 作為前景圖像覆蓋并合成在由用戶作為背景用選擇出的任意的立體圖像一部分上。這里， 在圖像合成處理中使用的立體圖像及對象圖像是在存儲媒體4或內(nèi)置存儲器6中作為立體圖像數(shù)據(jù)所存儲的圖像。下面，根據(jù)圖4所示的流程圖，說明CPU8執(zhí)行的圖像合成處理的具體處理過程。在圖像合成處理中，CPU8首先使圖5A所示的對象圖像選擇畫面G3顯示于顯示部 2上(步驟SAl)。對象圖像選擇畫面G3例如包括“請選擇對象圖像”等的消息12a、表示對象圖像的選擇候選的圖像列表13a、記載為“確定”的軟鍵lli、記載為“對象制作”的軟鍵 Ilj和記載為“返回”的軟鍵Ilk。這里，當進行對象圖像選擇畫面G3的顯示時，CPU8以存儲在存儲媒體4及內(nèi)置存儲器6中的對象圖像數(shù)據(jù)為選擇對象，在圖像列表13a上進行列表顯示。被列表顯示的對象圖像數(shù)據(jù)例如是在下述步驟SA5的對象圖像制作處理中由CPU8制作出的，是表現(xiàn)素材圖像的數(shù)據(jù)，該素材圖像是在任意的立體圖像上作為前景圖像進行覆蓋并合成而使用的。若更為具體地說明，就是被列表顯示的對象圖像數(shù)據(jù)例如是從存儲在存儲媒體4 中的立體圖像數(shù)據(jù)(左眼用圖像數(shù)據(jù)及右眼用圖像數(shù)據(jù))剪切出的數(shù)據(jù)，是表現(xiàn)下述區(qū)域的圖像的圖像數(shù)據(jù)，該區(qū)域與存在于由立體圖像數(shù)據(jù)表現(xiàn)的立體圖像中的任意對象對應。還有，在圖5A中為了方便，作為圖像列表13a，表示出對存儲著對象圖像數(shù)據(jù)的圖像文件的文件名進行列表顯示的例子。但是，實際上優(yōu)選的是，對下述縮略圖像進行列表顯示，該縮略圖像是由附加在對象圖像數(shù)據(jù)中的縮略圖像數(shù)據(jù)來表現(xiàn)、作為立體圖像來觀看的縮略圖像，或是由左眼用縮略圖像數(shù)據(jù)或右眼用縮略圖像數(shù)據(jù)的任一個來表現(xiàn)、作為二維圖像來觀看的縮略圖像。在顯示出對象圖像選擇畫面G3的期間，在由用戶觸摸(操作)了記載為“返回”的軟鍵Ilk時(步驟SA4 是)，CPU8立即結(jié)束圖像合成處理，使編輯內(nèi)容選擇菜單G2再次顯示于顯示部2上。另外，在顯示對象圖像選擇畫面G3的期間，CPU8在由用戶觸摸了記載為“對象制作”的軟鍵Ilj時(步驟SA3 是)，執(zhí)行對象圖像制作處理(步驟SA5)。
詳細情況將在下面說明，對象圖像制作處理是用于從存儲在存儲媒體4中的立體圖像數(shù)據(jù)剪切出對象圖像數(shù)據(jù)，并使剪切出的對象圖像數(shù)據(jù)預先存儲于內(nèi)置存儲器6中的處理。還有，顯示對象圖像選擇畫面G3的期間，CPU8若通過觸摸面板北的觸摸操作，由用戶在圖像列表13a中選擇顯示中的某一個圖像文件名，則對選擇出的圖像文件名進行突出顯不。然后，若在選擇出圖像列表13a上所顯示的某一個圖像文件名(對象圖像數(shù)據(jù)) 后的狀態(tài)下，觸摸了記載為“確定”的軟鍵Ili (步驟SA2 是)，則CPU8取得被用戶選擇出的對象圖像數(shù)據(jù)中所附加的下述附加信息(步驟SA6)。在步驟SA6的處理中CPU8取得的附加信息是分別表示對象圖像數(shù)據(jù)的尺寸、形狀和視差的數(shù)據(jù)。這里，表示尺寸的數(shù)據(jù)是對象圖像數(shù)據(jù)的像素數(shù)(面積)。另外，表示形狀的數(shù)據(jù)是在剪切出對象圖像數(shù)據(jù)后的立體圖像數(shù)據(jù)(左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)的任一個)中表現(xiàn)出對象的邊緣的像素群的每個像素的坐標位置數(shù)據(jù)。另外，表示視差的數(shù)據(jù)是由上面所說明的剪切出對象圖像數(shù)據(jù)后的左眼用圖像數(shù)據(jù)表現(xiàn)的左眼用圖像和由右眼用圖像數(shù)據(jù)表現(xiàn)的右眼用圖像之間的對象的左右方向的位置偏移量。也就是說，對象圖像數(shù)據(jù)中所附加的視差是在觀看由對象圖像數(shù)據(jù)表現(xiàn)的對象圖像(立體觀看)時，將對于特定的對象感知的距離感加以定量化后的信息。此后，CPU8根據(jù)在步驟SA6的處理中所取得的對象圖像數(shù)據(jù)的尺寸、形狀和視差， 執(zhí)行背景候選檢索處理(步驟SA7)。背景候選檢索處理用來從存儲媒體4及內(nèi)置存儲器 6中所存儲的多個立體圖像數(shù)據(jù)之中，檢索并提取立體圖像數(shù)據(jù)，該立體圖像數(shù)據(jù)表現(xiàn)適合于由對象圖像數(shù)據(jù)表現(xiàn)的對象圖像之合成的背景用立體圖像。圖6是表示由CPU8做出的背景候選檢索處理的處理過程的流程圖。在背景候選檢索處理中，CPU8按預先設定的順序讀出存儲媒體4及內(nèi)置存儲器6中所存儲的多個立體圖像數(shù)據(jù)(步驟SBl)，以所讀出的立體圖像數(shù)據(jù)為對象執(zhí)行視差導出處理(步驟SB2)。視差導出處理是按由立體圖像數(shù)據(jù)表現(xiàn)的立體圖像內(nèi)存在的每個對象，取得構(gòu)成立體圖像數(shù)據(jù)的左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)之間存在的視差所需的處理。也就是說，CPU8按每個對象取得的視差和對象圖像數(shù)據(jù)中所附加的視差相同，是在觀看立體圖像時(立體觀看時)，將對于立體圖像內(nèi)的各個對象感知的距離感加以定量化后的信息。下面，根據(jù)圖7所示的流程圖，詳細說明CPU8執(zhí)行的視差導出處理的具體處理過程。在此，主要說明立體圖像數(shù)據(jù)為彩色圖像數(shù)據(jù)的情形。在視差導出處理中，CPU8例如使用下述的[數(shù)學式1]對左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)分別進行灰階變換(步驟SC1)。[數(shù)學式1]Y(i) = 0. 298912XR(i)+0. 586611 XG(i)+0. 114478XB(i)還有，在[數(shù)學式1]中，Y(i)被四舍五入處理為整數(shù)，并且i表示出進行灰度控制的像素的坐標位置。接下來，CPU8針對灰階變換后的左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)，分別實施拉普拉斯過濾處理，生成強調(diào)了圖像之邊緣的左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)(步驟 SC2)。作為拉普拉斯過濾器，例如可以使用圖8A所示的那種3X3矩陣的數(shù)字過濾器，或圖 8B所示的那種5X5矩陣的數(shù)字過濾器。
接下來，CPU8通過針對強調(diào)了邊緣的左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)，以規(guī)定的灰度閾值為邊界分別進行二值化處理，來生成提取了圖像的邊緣后的作為邊緣圖像數(shù)據(jù)的左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)(步驟SC3)。在下面的說明中，通過將根據(jù)左眼用圖像數(shù)據(jù)所生成的邊緣圖像數(shù)據(jù)稱為左眼側(cè)邊緣圖像數(shù)據(jù)，將根據(jù)右眼用圖像數(shù)據(jù)所生成的邊緣圖像數(shù)據(jù)稱為右眼側(cè)邊緣圖像數(shù)據(jù)，來區(qū)別雙方。圖9是表示通過二值化處理得到的左眼側(cè)邊緣圖像數(shù)據(jù)14L和右眼側(cè)邊緣圖像數(shù)據(jù)14R的例子的附圖。這里，在左眼側(cè)邊緣圖像數(shù)據(jù)14L和右眼側(cè)邊緣圖像數(shù)據(jù)14R中，可以作為表現(xiàn)相互對應的對象(人物等作為獨立的對象來識別的部分區(qū)域)的輪廓，分別獲得框狀的邊緣。也就是說，如圖9所示，在立體圖像內(nèi)存在3個對象的情況下，在左眼側(cè)邊緣圖像數(shù)據(jù)14L中獲得3個框狀的邊緣Lfa、Lfb、Lfc,且在右眼側(cè)邊緣圖像數(shù)據(jù)14R中獲得3個框狀的邊緣Rfa、Rfb、Rfc0這里，在左眼側(cè)邊緣圖像數(shù)據(jù)14L和右眼側(cè)邊緣圖像數(shù)據(jù)14R之間，由邊緣Lfa表現(xiàn)的區(qū)域Lda和由邊緣Rfa表現(xiàn)的區(qū)域Rda，與存在于立體圖像中的同一對象A對應，另外， 由邊緣Lfb表現(xiàn)的區(qū)域Ldb和由邊緣Rfb表現(xiàn)的區(qū)域Rdb，與存在于立體圖像中的同一對象 B對應，再者，由邊緣Lfc表現(xiàn)的區(qū)域Ldc和由邊緣Rfc表現(xiàn)的區(qū)域Rdc，與存在于立體圖像中的同一對象C對應。而且，存在于相互對應的邊緣Lfa和邊緣Rfa之間的圖像內(nèi)的左右方向的位置偏移量是一個對象A的視差，同樣地，存在于相互對應的邊緣Lfb和邊緣Rfb之間的圖像內(nèi)的左右方向的位置偏移量是另一個對象B的視差，同樣地，存在于相互對應的邊緣Lfc和邊緣 Rfc之間的圖像內(nèi)的左右方向的位置偏移量是另一個對象C的視差。因此，在實施二值化處理之后，CPU8分別取得例如存在于左眼側(cè)邊緣圖像數(shù)據(jù) 14L中的邊緣Lfa、Lfb、Lfc的坐標位置，并且通過使用塊匹配等方法的圖案匹配處理，分別取得存在于右眼側(cè)邊緣圖像數(shù)據(jù)14R中的、與邊緣Lfa、Lfb、Lfc對應的邊緣Rfa、Rfb、Rfc 的坐標位置(步驟SC4)。此后，CPU8根據(jù)邊緣Lfa和邊緣Rfa的坐標位置，運算邊緣Lfa和邊緣Rfa之間的左右方向的位置偏移量，導出運算結(jié)果來作為一個對象A的視差，根據(jù)邊緣Lfb和邊緣Rfb 的坐標位置，運算邊緣Lfb和邊緣Rfb之間的左右方向的位置偏移量，導出運算結(jié)果來作為另一個對象B的視差，根據(jù)邊緣Lfc和邊緣Rfc的坐標位置，運算邊緣Lfc和邊緣Rfc之間的左右方向的位置偏移量，導出運算結(jié)果來作為另一個對象C的視差(步驟SC5)。還有，在通過二值化處理得到的邊緣圖像數(shù)據(jù)是圖9所示的那種左眼側(cè)邊緣圖像數(shù)據(jù)14L和右眼側(cè)邊緣圖像數(shù)據(jù)14R的情況下，對于未由框狀的邊緣包圍的區(qū)域Lrufoi，作為沒有視差的圖像區(qū)域而將位置偏移量設為零。CPU8若結(jié)束了上述的視差導出處理，則返回圖6的處理，接著進行下面的處理。首先，CPU8判斷在視差導出處理中所導出的全部對象是否是其視差比被用戶選擇出的對象圖像數(shù)據(jù)(下面也稱為選擇中的對象圖像)的視差更小的第1視差對象(步驟SB!3)。換言之，CPU8判斷處理對象的立體圖像數(shù)據(jù)是否滿足如下的第1條件，該第1條件是指處理對象的立體圖像數(shù)據(jù)表現(xiàn)不存在如下對象的立體圖像，該對象具有的視差與選擇中的對象圖像的視差相同、或者比該視差更大。然后，CPU8在判斷為全部的對象是其視差比選擇中的對象圖像的視差更小的第1視差對象，處理對象的立體圖像數(shù)據(jù)是滿足第1條件的數(shù)據(jù)時(步驟SB3 是)，立即追加處理對象的立體圖像數(shù)據(jù)來作為選擇候選(步驟SB6)。若具體地說明，就是CPU8將處理對象的立體圖像數(shù)據(jù)的文件名儲存于RAMlO中。另外，CPU8在處理對象的立體圖像數(shù)據(jù)不是滿足第1條件的數(shù)據(jù)時(步驟SB3 否)，判斷處理對象的立體圖像數(shù)據(jù)是否滿足第2條件，該第2條件是指處理對象的立體圖像數(shù)據(jù)表現(xiàn)在除去如下第2視差對象的區(qū)域上能夠配置對象圖像的立體圖像，該第2視差對象與對象圖像數(shù)據(jù)相比視差相同、或者與該對象圖像數(shù)據(jù)相比視差更大(步驟SB4)。然后，CPU8在判斷為處理對象的立體圖像數(shù)據(jù)滿足第2條件時(步驟SB4 是)， 追加處理對象的立體圖像數(shù)據(jù)來作為選擇候選(步驟SB6)。具體說明滿足第2條件的立體圖像數(shù)據(jù)的例子。在此，說明下述情形，由處理對象的立體圖像數(shù)據(jù)表現(xiàn)的立體圖像例如前面說明視差導出處理時圖9所示的那樣，存在3個對象A、B、C，某一個對象是視差與選擇中的對象圖像相同或者視差比該對象圖像更大的第 2視差對象。這種情況下，如果1個對象A是第2視差對象，且圖9所示的由區(qū)域Ldb (或者區(qū)域Rdb)、區(qū)域Ldc (或者區(qū)域Rdc)和區(qū)域Ln (或者區(qū)域1 )組成的區(qū)域是收納選擇中的對象圖像的像素尺寸，且是收納該對象圖像的形狀，則處理對象的立體圖像數(shù)據(jù)滿足第2條件。另外，如果2個對象B、C是第2視差對象，且圖9所示的由區(qū)域Lda (或者區(qū)域Rda)和區(qū)域Ln (或者區(qū)域1 )組成的區(qū)域是收納選擇中的對象圖像的像素尺寸，且是收納該對象圖像的形狀，則處理對象的立體圖像數(shù)據(jù)滿足第2條件。再者，CPU8在處理對象的立體圖像數(shù)據(jù)不滿足第1或第2條件的任一個時(步驟 SB4 否)，判斷處理對象的立體圖像數(shù)據(jù)是否滿足第3條件，該第3條件是指處理對象的立體圖像數(shù)據(jù)是表現(xiàn)下述立體圖像的數(shù)據(jù)，該立體圖像能夠以不與1個或多個第2視差對象的一部分重合、且與另1個或多個第2視差對象整體重合的狀態(tài)配置選擇中的對象圖像 (步驟SB5)。然后，CPU8在判斷為處理對象的立體圖像數(shù)據(jù)滿足第3條件時(步驟SB5 是)， 追加處理對象的立體圖像數(shù)據(jù)來作為選擇候選(步驟SB6)。具體說明滿足第3條件的立體圖像數(shù)據(jù)例。在此，說明下述情形，由處理對象的立體圖像數(shù)據(jù)表現(xiàn)的立體圖像例如前面說明視差導出處理時圖9所示的那樣，存在3個對象 A、B、C，2個對象B、C是視差與選擇中的對象圖像相同或者視差比該對象圖像更大的第2視
差對象。這種情況下，如果例如圖9所示的由區(qū)域Lda (或者區(qū)域Rda)、區(qū)域Ldc (或者區(qū)域 Rdc)和區(qū)域Ln(或者區(qū)域1 )組成的區(qū)域是收納選擇中的對象圖像的像素尺寸，且是收納該對象圖像的形狀，同時能夠以與一個對象C整體重合的方式配置該對象圖像，則處理對象的立體圖像數(shù)據(jù)滿足第3條件。還有，雖然未圖示，但是對于表現(xiàn)下述立體圖像的立體圖像數(shù)據(jù)來說也滿足第3 條件，該立體圖像例如存在4個以上或者只存在2個視差與選擇中的對象圖像相同或者視差比該對象圖像更大的第2視差對象，可以以不與一個第2視差對象的一部分重合，而與剩下的第2視差對象整體重合的方式配置選擇中的對象圖像。隨后，CPU8針對存儲媒體4及內(nèi)置存儲器6的全部立體圖像數(shù)據(jù)，確認上述步驟SB2以后的處理是否已完成(步驟SB7)。另外，在處理對象的立體圖像數(shù)據(jù)不滿足第1 第3條件的任一條件時(步驟SB5 否)，CPU8立即針對存儲媒體4及內(nèi)置存儲器6的全部立體圖像數(shù)據(jù)確認上述步驟SB2以后的處理是否已完成(步驟SB7)。然后，如果未完成針對全部立體圖像數(shù)據(jù)的處理(步驟SB7 否)，CPU8返回步驟 SBl的處理，讀出新的立體圖像數(shù)據(jù)，并且以所讀出的立體圖像數(shù)據(jù)為對象重復上述步驟 SB2以后的處理。另外，CPU8若針對存儲媒體4及內(nèi)置存儲器6的全部立體圖像數(shù)據(jù)完成了上述步驟SB2以后的處理(步驟SB7 是)，則在該時刻，結(jié)束背景候選檢索處理，并返回圖4的處理。也就是說，在背景候選檢索處理中，當將選擇中的對象圖像覆蓋并合成在立體圖像上時，在該立體圖像中至少存在1個第2視差對象的情況下，CPU8提取滿足下述某一個條件的立體圖像數(shù)據(jù)來作為選擇候選，上述第2視差對象是指其具有的視差與選擇中的對象圖像相同或者比該對象圖像更大，上述條件為，能夠不與全部的第2視差對象重合地進行配置，或者能夠不與一個第2視差對象重合地進行配置且能夠配置為與其他的第2視差對象的整體重合。這里，作為選擇候選而由CPU8取得的立體圖像數(shù)據(jù)之中，滿足第1條件的立體圖像數(shù)據(jù)為，在以由其表現(xiàn)的立體圖像為背景，覆蓋并合成選擇中的對象圖像的情況下，相對于合成后的立體圖像來說，用戶(觀看者)能夠?qū)D像內(nèi)的對象獲得自然的距離感，而與對象圖像的合成位置無關(guān)。另外，滿足第2或者第3條件的立體圖像數(shù)據(jù)為，在以由其表現(xiàn)的立體圖像為背景，覆蓋并合成選擇中的對象圖像的情況下，只要適當調(diào)整對象圖像的合成位置，相對于合成后的立體圖像來說，用戶(觀看者)就能夠?qū)D像內(nèi)的對象獲得自然的距離感。也就是說，在背景候選檢索處理中提取的立體圖像數(shù)據(jù)是表現(xiàn)適合于與選擇中的對象圖像合成的立體圖像的立體圖像數(shù)據(jù)。換言之，在背景候選檢索處理中提取的立體圖像數(shù)據(jù)是排除了下述數(shù)據(jù)以外的立體圖像數(shù)據(jù)，該被排除的數(shù)據(jù)在以由其表現(xiàn)的立體圖像為背景、覆蓋并合成選擇中的對象圖像的情況下，即使調(diào)整對象圖像的合成位置，合成后的立體圖像仍為用戶(觀看者)對多個對象感知不自然的距離感(感覺不適)的立體圖像。另一方面，在結(jié)束了上述的背景候選檢索處理之后，CPU8返回圖4的處理，首先使顯示部2顯示圖5B所示的背景圖像選擇畫面G4。背景圖像選擇畫面G4包括“請選擇背景圖像”等的消息12b、表示在背景候選檢索處理中檢索(提取)到的立體圖像數(shù)據(jù)選擇候選的圖像列表13b、記載為“確定”的軟鍵Ilm和記載為“返回”的軟鍵lln。還有，在圖5B中為了方便，作為圖像列表13b，表示出對存儲著立體圖像數(shù)據(jù)的圖像文件的文件名進行列表顯示的例子。但是，實際上優(yōu)選的是，對下述縮略圖像進行列表顯示，該縮略圖像由附加在立體圖像數(shù)據(jù)中的縮略圖像數(shù)據(jù)來表現(xiàn)、并作為立體圖像來觀看， 或者由左眼用縮略圖像數(shù)據(jù)或右眼用縮略圖像數(shù)據(jù)的任一個來表現(xiàn)、并作為二維圖像來觀看。這里，在圖像列表13b中用圖像文件名進行列表顯示的立體圖像數(shù)據(jù)僅僅是滿足前面所說明的第1 第3條件的某一個條件的特定立體圖像數(shù)據(jù)。也就是說，是表現(xiàn)適合于與由用戶選擇出的對象圖像合成的背景用立體圖像的立體圖像數(shù)據(jù)。從而，用戶不需要實施例如通過立體觀看選擇中的對象圖像和存儲媒體4及內(nèi)置存儲器6中所存儲的各個立體圖像，來按每個立體圖像，確認合成后的立體圖像有無不適感之類麻煩的工作。因此，可以大幅削減合成處理所需要的時間及人工。還有，CPU8在顯示出背景圖像選擇畫面G4的期間，若通過觸摸面板北的觸摸操作，由用戶在圖像列表13b中選擇顯示中的某一個圖像文件名，則對選擇出的圖像文件名進行突出顯示。另外，CPU8在顯示出背景圖像選擇畫面G4的期間，觸摸了記載為“返回”的軟鍵Ilo時(步驟SAlO 是)，返回步驟SA的處理，使對象圖像選擇畫面G3再次顯示于顯示部2上。然后，CPU8若在由用戶通過觸摸面板北選擇出某一個立體圖像數(shù)據(jù)作為背景圖像的狀態(tài)下，觸摸記載為“確定”的軟鍵Ilm時(步驟SA9 是)，則首先，以用戶選擇出的立體圖像數(shù)據(jù)為對象，執(zhí)行視差導出處理(步驟SA11)。步驟SAll的視差導出處理是和在步驟SA7的背景候選檢索處理中實施過的視差導出處理相同的處理(參見圖7)。也就是說，CPU8按照已經(jīng)說明的步驟，在由被用戶選擇出的立體圖像數(shù)據(jù)表現(xiàn)的立體圖像內(nèi)存在的每個對象中，取得構(gòu)成立體圖像數(shù)據(jù)的左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)之間存在的視差。此后，CPU8使圖5C所示的圖像合成區(qū)域選擇畫面G5顯示于顯示部2上(步驟 SA12)。圖像合成區(qū)域選擇畫面G5包括“請選擇合成區(qū)域”等的消息12c、基于在背景圖像選擇畫面G4上由用戶選擇出的立體圖像數(shù)據(jù)的立體圖像1 和記載為“返回”的軟鍵llo。當進行圖像合成區(qū)域選擇畫面G5的顯示時，CPU8實施下面的處理。也就是說， CPU8根據(jù)在步驟SAll的視差導出處理中所取得的每個對象的視差信息，在由用戶選擇出的立體圖像數(shù)據(jù)所表現(xiàn)的立體圖像內(nèi)，確認視差比選擇中的對象圖像更小的特定區(qū)域(包括不存在對象的背景的圖像區(qū)域)。然后，CPU8將由用戶選擇出的立體圖像數(shù)據(jù)所表現(xiàn)的立體圖像14a，在能夠?qū)⒋_認出的特定區(qū)域與其他區(qū)域相區(qū)別的狀態(tài)下顯示于圖像合成區(qū)域選擇畫面G5上。關(guān)于能夠?qū)⑻囟▍^(qū)域與其他區(qū)域相區(qū)別的方法是任意的，例如有使特定區(qū)域的亮度減少一定比例，或者對特定區(qū)域進行灰階顯示(只以亮度來表現(xiàn))的方法。還有，圖5C所示的圖像合成區(qū)域選擇畫面G5的例子為，由用戶選擇出的立體圖像數(shù)據(jù)所表現(xiàn)的立體圖像Ha是圖9所示的存在3個對象A、B、C的立體圖像，對象A是其視差比選擇中的對象圖像的視差更小的第1視差對象，且對象B、C是其視差與選擇中的對象圖像的視差相同或者比該對象圖像的視差更大的第2視差對象的情形。而且，附圖中用斜線所示的由對象A和背景部分的圖像區(qū)域D構(gòu)成的區(qū)域是上述的特定區(qū)域。也就是說，所謂的特定區(qū)域指的是，只要在其區(qū)域內(nèi)，則即便在覆蓋并合成選擇中的對象圖像的情況下， 也沒有立體觀看合成后的立體圖像時產(chǎn)生不適感的情況的區(qū)域。在顯示出上面的圖像合成區(qū)域選擇畫面G5之后，CPU8逐次確認是否由用戶觸摸 (指定)了立體圖像14a的任意的坐標位置，以及是否觸摸了記載為“返回”的軟鍵llo (步驟 SA13、SA14)。然后，在沒有由用戶觸摸立體圖像14a的任意的坐標位置，而觸摸了記載為“返回”的軟鍵Ilo時(步驟SA14 是)，CPU8返回步驟SA8的處理，使圖5B所示的背景圖像選擇畫面G4再次顯示于顯示部2上。另一方面，在由用戶觸摸了立體圖像14a的任意的坐標位置時(步驟SA13 是)，使圖5D所示的圖像配置調(diào)整畫面G6顯示于顯示部2上(步驟SAM)。在圖像配置調(diào)整畫面G6上，例如包括“請調(diào)整圖像配置”等的消息12d、在圖像合成區(qū)域選擇畫面G5上顯示出的立體圖像14a上，使選擇中的對象圖像14b與由用戶觸摸后的位置重合的狀態(tài)的圖像、記載為“確定”的軟鍵lip、及記載為“返回”的軟鍵llq。接著，在顯示出圖像配置調(diào)整畫面G6的期間，CPU8通過由用戶將手指觸碰在顯示著對象圖像14b的位置上并進行移動，以使該手指在觸摸面板3上滑動，由此對應于該動作，調(diào)整對象圖像14b相對于立體圖像14a的配置位置。這里，因為根據(jù)上述第1至第3條件之中，立體圖像1 滿足哪個條件，對象圖像 14b相對于立體圖像14a的配置位置的調(diào)整方法不同，所以對此進行說明。在立體圖像14a滿足上述第1條件時，也就是在不存在如下的對象的立體圖像的情況下，可以在立體圖像14a的任意區(qū)域上配置對象圖像14b，上述對象是指具有的視差與對象圖像14b的視差相同或者比該對象圖像14b的視差更大的對象。從而，對象圖像14b 只要由CPU8限制該對象圖像14b的配置，使之配置于立體圖像14a的整個區(qū)域內(nèi)就可以， 除此之外不需要由CPU8限制該對象圖像14b的配置。在立體圖像1 不滿足上述第1條件，而滿足第2條件時，也就是在立體圖像Ha 中存在第2視差對象，且能夠在除該第2視差對象以外的區(qū)域配置對象圖像14b的情況下， 需要由CPU8限制該對象圖像14b的配置，以便在除了該第2視差對象以外的區(qū)域配置對象圖像14b，上述第2視差對象是視差與對象圖像14b相同或者視差比該對象圖像數(shù)據(jù)更大的對象。從而，當按照用戶手指的動作，對象圖像14b的任意的坐標位置從不與第2視差對象的任意的坐標位置重合的區(qū)域移動到與該第2視差對象的任意的坐標位置重合的區(qū)域時，在剛向與該第2視差對象的任意的坐標位置重合的區(qū)域移動之前的坐標上，固定顯示對象圖像14b，再者，當按照用戶手指的動作，從與該第2視差對象的任意的坐標位置重合的區(qū)域移動到不與該第2視差對象的任意的坐標位置重合的區(qū)域時，可以在與該手指的接觸位置相對應的位置上，重新顯示對象圖像14b。在立體圖像1 不滿足上述第1至第2條件，而滿足第3條件時，也就是在立體圖像1 中存在第2視差對象且能夠在立體圖像Ha上以與該第2視差對象的整體重合的方式配置對象圖像14b的情況下，需要由CPU8限制該對象圖像14b的配置，以便對象圖像14b 不與第2視差對象重合，或者對象圖像14b與第2視差對象整體重合，上述第2視差對象是視差與對象圖像14b相同或者視差比該對象圖像數(shù)據(jù)更大的對象。從而，當按照用戶手指的動作，對象圖像14b的任意的坐標位置從不與第2視差對象的任意的坐標位置重合的區(qū)域移動到與該第2視差對象的任意的坐標位置重合的區(qū)域時，由CPU8變更(限制)對象圖像14b的配置，以使對象圖像14b與第2視差對象整體重合，再者，當按照用戶手指的動作，從與該第2視差對象的任意的坐標位置重合的區(qū)域移動到不與該第2視差對象的任意的坐標位置重合的區(qū)域時，可以在與該手指的接觸位置相應的位置上，重新顯示對象圖像14b。然后，若觸摸了記載為“確定”的軟鍵Ilp (步驟SA16 是)，則CPU8通過將最終重合著對象圖像14b的區(qū)域的立體圖像14a內(nèi)各像素的灰度值，從原來的灰度值置換處理為對象圖像14b的像素的灰度值，生成表現(xiàn)在立體圖像1 上合成對象圖像14b后的新的立體圖像的立體圖像數(shù)據(jù)，并對所生成的立體圖像數(shù)據(jù)賦予規(guī)定的文件名，使之存儲于內(nèi)置存儲器6中(步驟SA18)。據(jù)此，CPU8結(jié)束圖像合成處理，在數(shù)字相框1上，返回圖3A所示的將功能選擇菜單Gl顯示到顯示部2上的狀態(tài)。還有，CPU8在圖像配置調(diào)整畫面G6上，操作了記載為“返回”的軟鍵Ilq時(步驟SA17 是)，返回步驟SA8的處理，使圖5B所示的背景圖像選擇畫面G4再次顯示于顯示部2上。下面，根據(jù)圖10所示的流程圖，詳細說明在圖5A所示的對象圖像選擇畫面G3上， 由用戶操作了記載為“對象制作”的軟鍵Ilj時CPU8執(zhí)行的處理，也就是前面所述的步驟 SA5的對象圖像制作處理的具體內(nèi)容。在對象圖像制作處理中，CPU8使圖IlA所示的被提取圖像選擇畫面G7立即顯示于顯示部2上(步驟SDl)。被提取圖像選擇畫面G7例如包括“請選擇要提取對象的圖像” 等的消息15a、作為被提取圖像的選擇候選而表示存儲媒體4中所存儲的立體圖像數(shù)據(jù)的圖像列表16a、記載為“確定”的軟鍵17a和記載為“返回”的軟鍵17b。還有，在圖IlA中為了方便，作為圖像列表16a，表示出對存儲著立體圖像數(shù)據(jù)的圖像文件的文件名進行列表顯示的例子。但是，實際上優(yōu)選的是，對下述縮略圖像進行列表顯示，該縮略圖像由附加在立體圖像數(shù)據(jù)中的縮略圖像數(shù)據(jù)來表現(xiàn)、并作為立體圖像來觀看，或者由左眼用縮略圖像數(shù)據(jù)或右眼用縮略圖像數(shù)據(jù)的任一個來表現(xiàn)、并作為二維圖像來觀看。另外，在從上述的圖像合成處理之時開始在存儲媒體4中存儲的立體圖像數(shù)據(jù)沒有變化的情況下，在被提取圖像選擇畫面G7上顯示的圖像列表16a的內(nèi)容與圖5B所示的在背景圖像選擇畫面G4上顯示的圖像列表13a的內(nèi)容一致。另外，若在顯示出被提取圖像選擇畫面G7的期間，通過觸摸面板北的觸摸操作， 由用戶在圖像列表16a中選擇顯示中的某一個圖像文件名來作為被提取圖像，則CPU8對選擇出的圖像文件名進行突出顯示。還有，在被提取圖像選擇畫面G7上，觸摸了記載為“返回”的軟鍵17b時(步驟SD3 是)，CPU8立即結(jié)束對象圖像制作處理，使對象圖像選擇畫面 G3顯示于顯示部2上(步驟SAl)。然后，若在選擇出圖像列表16a中顯示的某一個圖像文件名(立體圖像數(shù)據(jù))來作為被提取圖像的狀態(tài)下，觸摸記載為“確定”的軟鍵17a時(步驟SD2 是)，則CPU8執(zhí)行對象檢測處理(步驟SD4)。對象檢測處理是對如下對象進行檢測的處理，該對象是存在于由立體圖像數(shù)據(jù)表現(xiàn)的被提取圖像(立體圖像)中的、構(gòu)成立體圖像數(shù)據(jù)的左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)之間具有視差的對象。在對象檢測處理中，CPU8首先以作為被提取圖像選擇出的立體圖像數(shù)據(jù)為目標， 實施與已經(jīng)說明的步驟SAl 1及步驟SB2相同的視差導出處理(參見圖7)，由此暫且檢測出被提取圖像中存在的1個或多個對象，按檢測到的每個對象導出視差。此后，CPU8只提取視差不為“0”的對象，最終作為對象。接下來，CPU8使圖IlB所示的對象選擇畫面G8顯示于顯示部2上(步驟SD5)。 對象選擇畫面G8包括“請選擇對象”等的消息15b、強調(diào)顯示在對象檢測處理中所提取的對象18a、18b的狀態(tài)的被提取圖像18和記載為“返回”的軟鍵17c。還有，CPU8通過將被提取圖像18中對象的強調(diào)顯示，例如僅僅將對象維持彩色顯示，對對象以外的圖像區(qū)域進行灰階顯示，而更加易于將對象和其他圖像區(qū)域區(qū)別。接著，若在對象選擇畫面G8上，通過觸摸面板北由用戶指定某一個對象時(步驟 SD6 是)，則CPU8維持與所指定的對象對應的區(qū)域的圖像數(shù)據(jù)，并且生成將其他圖像區(qū)域的圖像數(shù)據(jù)刪除后的對象圖像數(shù)據(jù)，再者，還給該對象圖像數(shù)據(jù)賦予規(guī)定的文件名，使之存儲于內(nèi)置存儲器6中(步驟SD8)。據(jù)此，CPU8結(jié)束對象圖像制作處理，使對象圖像選擇畫面G3顯示于顯示部2上 (步驟SAl)。還有，當在步驟SD8的處理中使對象圖像數(shù)據(jù)存儲于內(nèi)置存儲器6中時，CPU8在對象圖像數(shù)據(jù)中，附加分別表示該對象圖像數(shù)據(jù)的尺寸、形狀和視差的數(shù)據(jù)等，來作為附加 fn息ο另外，在對象選擇畫面G8上，操作了記載為“返回”的軟鍵17c時(步驟SD7 是)， CPU8使被提取圖像選擇畫面G7顯示于顯示部2上。這里，在上面說明的本實施方式中，當在圖像合成處理中，在檢索適合與被用戶選擇出的對象圖像合成的背景用立體圖像來作為選擇候選時，檢索了滿足上述第1 第3條件的某一條件的特定的立體圖像數(shù)據(jù)。但是，作為選擇候選來檢索的立體圖像(特定的立體圖像數(shù)據(jù))既可以只設為例如滿足第1條件的立體圖像，也可以只設為滿足第1或第2 條件的立體圖像。再者，也可以采用例如能夠由用戶根據(jù)需要設定應當設為選擇候選的立體圖像的檢索條件那樣的結(jié)構(gòu)。也就是說，至于將應當檢索的立體圖像只設為滿足第1條件的立體圖像，或設為滿足第1或第2條件的立體圖像，或設為滿足第1 第3條件的某一個條件的立體圖像，是可以由用戶設定的。即便在將應當作為選擇候選的立體圖像的檢索條件如上進行了變更時，成為選擇候選的立體圖像也只是成為適合于與用戶選擇出的對象圖像合成的立體圖像。從而，用戶不需要實施例如通過立體觀看選擇中的對象圖像和存儲媒體4及內(nèi)置存儲器6中所存儲的各個立體圖像，來按每個立體圖像確認合成后的立體圖像內(nèi)有無不適感之類麻煩的工作。 因此，可以大幅削減合成處理所需要的時間和人工。還有，在上述的實施方式中，進行圖像合成處理或?qū)ο髨D像制作處理時顯示于顯示部2上的圖像既可以使用左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)進行顯示，以便能夠立體地看見圖像，也可以只使用左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)之中的一個進行顯示，以便能夠在二維平面上看見圖像。更進一步，還可以構(gòu)成為能夠由用戶選擇是否立體地進行顯示。另外，在上述的實施方式中，說明了在針對存儲媒體4及內(nèi)置存儲器6中所存儲的各個立體圖像導出圖像內(nèi)存在的每個對象的視差時，對于左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)分別檢測對象的輪廓，根據(jù)該輪廓的坐標位置的不同來導出每個對象的視差的情形，但是每個對象的視差也可以采用其他的方法加以導出。例如，還可以從左眼用圖像數(shù)據(jù)和右眼用圖像數(shù)據(jù)的任一個直接提取考慮了顏色信息等的特征部分，從另一個圖像數(shù)據(jù)檢測與該提取的特征部分對應的圖像，隨后，導出相互坐標位置的位置偏移量來作為視差。總之，立體圖像中每個對象的視差是將觀看者感知的距離感加以定量化后的信息，只要能夠在與對象圖像(單個的對象)之間導出能夠比較的視差，則視差也可以采用其他的方法取得。還有，關(guān)于這一點，對于對象圖像的視差而言也相同，對象圖像的視差采用和本實施方式不同的方法導出也可以。另外，在上述實施方式中，說明了在作為背景的立體圖像中合成作為前景的對象圖像時，以將對象圖像維持成相等倍數(shù)的原狀在立體圖像上進行合成的情形，但是在立體圖像上，也可以合成在維持視差的同時放大或縮小圖像尺寸的對象圖像。另外，在上述實施方式中，說明了在作為背景的立體圖像中進行合成的作為前景的對象圖像(素材圖像)是在數(shù)字相框1上制作出的圖像的情形，但是對象圖像既可以是由數(shù)字相框1以外的任意裝置制作出的圖像，也可以是從存在于網(wǎng)絡上的服務器所取得的圖像。再者，對象圖像也可以是例如從單個圖像使用圖像處理技術(shù)制作出的圖像。另外，對于作為背景的立體圖像來說，也可以使用從存在于網(wǎng)絡上的服務器所取得的圖像。另外，在上述實施方式中，雖然說明了將本發(fā)明的圖像合成裝置在數(shù)字相框中實施的情形，但是本發(fā)明也可以適用于數(shù)字攝像機或移動電話等其他的電子設備。另外，本發(fā)明在通用的個人計算機中也可以實施，該情況下，只要根據(jù)規(guī)定的應用軟件(程序)使個人計算機進行動作就可以。對于本領域技術(shù)人員來說，其他優(yōu)點和變通是很容易聯(lián)想得到的。因此，本發(fā)明就其較寬方面而言，并不限于本申請給出和描述的具體細節(jié)和說明性實施例。因此，在不偏離所附權(quán)利要求及其等同物定義的總發(fā)明構(gòu)思精神或保護范圍的前提下，可以做出各種修改。
權(quán)利要求
1.一種圖像合成裝置，其特征為， 具備取得部，取得作為對象來立體觀看的素材圖像中存在的視差； 檢索部，從分別被立體觀看的多個立體圖像之中，檢索滿足規(guī)定條件的立體圖像來作為選擇候選；以及合成部，在由上述檢索部作為選擇候選檢索到的立體圖像上合成上述素材圖像， 上述多個立體圖像各自包含至少一個對象，上述檢索部從上述多個立體圖像之中以如下的上述規(guī)定條件檢索作為上述選擇候選的立體圖像，該規(guī)定條件為，上述多個立體圖像之中作為上述選擇候選的立體圖像中包含的上述至少一個對象，都是比由上述取得部所取得的上述素材圖像的視差更小的第1視差對象。
2.如權(quán)利要求1所述的圖像合成裝置，其特征為，上述合成部在上述立體圖像上合成上述素材圖像時，以將上述素材圖像配置在上述立體圖像的整個區(qū)域內(nèi)的方式，限制上述素材圖像的配置。
3.一種圖像合成裝置，其特征為， 具備取得部，取得作為對象來立體觀看的素材圖像中存在的視差； 檢索部，從分別被立體觀看的多個立體圖像之中，檢索滿足規(guī)定條件的立體圖像來作為選擇候選；以及合成部，在由上述檢索部作為選擇候選檢索到的立體圖像上合成上述素材圖像， 上述多個立體圖像各自包含至少一個對象，上述檢索部從上述多個立體圖像之中以如下的上述規(guī)定條件檢索作為上述選擇候選的立體圖像，該規(guī)定條件為，上述多個立體圖像之中作為上述選擇候選的立體圖像中包含的上述至少一個對象，是與由上述取得部所取得的上述素材圖像的視差相同或者比該視差更大的第2視差對象，且該素材圖像具有能夠配置在除了上述第2視差對象以外的區(qū)域上的形狀及尺寸。
4.如權(quán)利要求3所述的圖像合成裝置，其特征為，上述多個立體圖像各自包含作為上述第2視差對象的多個上述對象， 上述檢索部從上述多個立體圖像之中以如下的上述規(guī)定條件檢索作為上述選擇候選的立體圖像，該規(guī)定條件為，上述素材圖像具有能夠配置在除了全部上述多個第2視差對象以外的區(qū)域上的形狀及尺寸。
5.如權(quán)利要求4所述的圖像合成裝置，其特征為，上述合成部在將上述素材圖像合成到上述立體圖像上時，以使上述素材圖像配置在除了上述第2視差對象以外的區(qū)域上的方式，限制上述素材圖像的配置。
6.如權(quán)利要求3所述的圖像合成裝置，其特征為，上述多個立體圖像各自包含作為上述第2視差對象的多個上述對象， 上述檢索部從上述多個立體圖像之中以如下的上述規(guī)定條件檢索作為上述選擇候選的立體圖像，該規(guī)定條件為，上述素材圖像具有如下形狀及尺寸，該形狀及尺寸能夠使該素材圖像配置在除了多個上述第2視差對象之中的一個上述第2視差對象以外的區(qū)域上，從而使該素材圖像與不同于上述一個第2視差對象的其他上述第2視差對象整體重合。
7.如權(quán)利要求6所述的圖像合成裝置，其特征為，上述合成部在將上述素材圖像合成到上述立體圖像上時，以使上述素材圖像配置為與上述第2視差對象整體重合的方式，限制上述素材圖像的配置。
8.一種圖像合成裝置，其特征為， 具備取得部，取得作為對象來立體觀看的素材圖像中存在的視差； 檢索部，從分別被立體觀看的多個立體圖像之中，檢索滿足規(guī)定條件的立體圖像來作為選擇候選；以及合成部，在由上述檢索部作為選擇候選檢索到的立體圖像上合成上述素材圖像， 上述多個立體圖像各自包含至少一個對象，上述檢索部從上述多個立體圖像之中以如下的上述規(guī)定條件檢索作為上述選擇候選的立體圖像，該規(guī)定條件為，上述多個立體圖像之中作為上述選擇候選的立體圖像中包含的上述至少一個對象，是與由上述取得部所取得的上述素材圖像的視差相同或者比該視差更大的第2視差對象，且該素材圖像具有能夠配置為與上述第2視差對象整體重合的形狀及尺寸。
9.如權(quán)利要求8所述的圖像合成裝置，其特征為，上述合成部在將上述素材圖像合成到上述立體圖像上時，以使上述素材圖像配置為與上述第2視差對象整體重合的方式，限制上述素材圖像的配置。
10.一種圖像檢索方法，其特征為， 具有取得步驟，取得作為對象來立體觀看的素材圖像中存在的視差； 檢索步驟，從分別被立體觀看的多個立體圖像之中，檢索滿足規(guī)定條件的立體圖像來作為選擇候選；以及合成步驟，在由上述檢索步驟作為選擇候選檢索到的立體圖像上合成上述素材圖像， 上述多個立體圖像各自包含至少一個對象，上述檢索步驟從上述多個立體圖像之中以如下的上述規(guī)定條件檢索作為上述選擇候選的立體圖像，該規(guī)定條件為，上述多個立體圖像之中作為上述選擇候選的立體圖像中包含的上述至少一個對象，都是比由上述取得步驟所取得的上述素材圖像的視差更小的第1 視差對象。
11.一種圖像檢索方法，其特征為， 具有取得步驟，取得作為對象來立體觀看的素材圖像中存在的視差； 檢索步驟，從分別被立體觀看的多個立體圖像之中，檢索滿足規(guī)定條件的立體圖像來作為選擇候選；以及合成步驟，在由上述檢索步驟作為選擇候選檢索到的立體圖像上合成上述素材圖像， 上述多個立體圖像各自包含至少一個對象，上述檢索步驟從上述多個立體圖像之中以如下的上述規(guī)定條件檢索作為上述選擇候選的立體圖像，該規(guī)定條件為，上述多個立體圖像之中作為上述選擇候選的立體圖像中包含的上述至少一個對象，是與由上述取得步驟所取得的上述素材圖像的視差相同或者比該視差更大的第2視差對象，且該素材圖像具有能夠配置在除了上述第2視差對象以外的區(qū)域上的形狀及尺寸。
12.如權(quán)利要求11所述的圖像檢索方法，其特征為，合成上述素材圖像的上述合成步驟包括下述處理在將上述素材圖像合成到上述立體圖像上時，以使上述素材圖像配置在除了上述第2視差對象以外的區(qū)域上的方式，限制上述素材圖像的配置。
13.如權(quán)利要求11所述的圖像檢索方法，其特征為，合成上述素材圖像的上述合成步驟包括下述處理在將上述素材圖像合成到上述立體圖像上時，以使上述素材圖像配置為與不同于上述第2視差對象的其他第2視差對象整體重合的方式，限制上述素材圖像的配置。
全文摘要
一種圖像合成裝置，具備取得部，取得作為對象來立體觀看的素材圖像中存在的視差；檢索部，從分別被立體觀看的多個立體圖像之中，檢索滿足規(guī)定條件的立體圖像來作為選擇候選；以及合成部，在由上述檢索部作為選擇候選檢索到的立體圖像上合成上述素材圖像，上述多個立體圖像各自包含至少一個對象，上述檢索部從上述多個立體圖像之中以如下的上述規(guī)定條件檢索作為上述選擇候選的立體圖像，該規(guī)定條件為，上述多個立體圖像之中作為上述選擇候選的立體圖像中包含的上述至少一個對象，都是比由上述取得部所取得的上述素材圖像的視差更小的第1視差對象。
文檔編號H04N13/00GK102572464SQ20111030997
公開日2012年7月11日 申請日期2011年10月13日 優(yōu)先權(quán)日2010年10月15日
發(fā)明者荻島清志 申請人:卡西歐計算機株式會社