專利名稱：圖像處理裝置以及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置以及圖像處理方法。
背景技術(shù)：
作為現(xiàn)有技術(shù)，在特開平11-282100號公報中，記載了通過按照使連續(xù)拍攝的多個圖像的相同的特征點一致的方式來實施合成該多個圖像的數(shù)據(jù)，由此生成全景圖像等的寬范圍的圖像的數(shù)據(jù)的技術(shù)。但是，一般地，在多個圖像彼此間，難以使陰影帶來的影響、快門按鈕的按下時機、 攝像元件的曝光的時機等的攝像條件完全一致。因此，在合成多個圖像的數(shù)據(jù)來生成I張寬范圍的圖像的數(shù)據(jù)的情況下，合成后的圖像的數(shù)據(jù)受到多個圖像各自的攝像條件的差異引起的曝光值的差的影響。另外，還有一邊二維地移動攝像裝置一邊拍攝多個圖像，合成這些多個圖像的數(shù)據(jù)來生成寬范圍的圖像的數(shù)據(jù)的情況。這種情況下，即使應(yīng)用上述專利文獻I的合成技術(shù)，生成的寬范圍的圖像的數(shù)據(jù)也會由于多個圖像彼此間的各自的曝光值不同，而無法正確地進行特征點的位置對準，產(chǎn)生在圖像的相連的部分出現(xiàn)亮度不均勻的情況。因此，若顯示合成后的寬范圍的圖像，會有讓鑒賞者覺得不諧調(diào)的擔心。

發(fā)明內(nèi)容
本發(fā)明鑒于這樣的情況而提出，目的在于降低合成的寬范圍的圖像的相連部分的不諧調(diào)。為了達成上述目的，本發(fā)明的一個形態(tài)的圖像處理裝置，特征在于，具備能量計算單元，其基于一個圖像和成為該一個圖像的合成對象的其它圖像，分別計算與所述一個圖像內(nèi)的各關(guān)注像素對應(yīng)的能量；能量最小路徑搜索單元，其搜索所述能量計算單元所分別計算出的關(guān)注像素的能量成為最小的所述一個圖像中的路徑；范圍搜索單元，其在所述一個圖像內(nèi)，搜索具有與所述能量最小路徑搜索單元搜索到的路徑上的所述一個圖像的各關(guān)注像素的值相似的值的像素范圍；混合寬度決定單元，其基于所述范圍搜索單元搜索到的像素范圍，來決定以所述路徑為起點的所述一個圖像和所述其它圖像的混合寬度；透射率設(shè)定單元，其基于所述混合寬度決定單元所決定的混合寬度，來設(shè)定合成時的所述一個圖像和所述其它圖像之間的透射率；合成單元，其基于所述混合寬度、和由所述透射率設(shè)定單元設(shè)定的透射率，來合成所述一個圖像和所述其它圖像。


圖1是表示本發(fā)明的一個實施方式所涉及的攝像裝置的硬件構(gòu)成的框圖。圖2是表示寬幅圖像(wide image)的數(shù)據(jù)的生成手法的一例的示意圖。圖3是表示攝像裝置的寬幅圖像合成處理的概略的示意圖。圖4是表示寬幅圖像合成處理中的垂直方向合成處理的概略的示意圖。
圖5是表示圖1的攝像裝置的功能的構(gòu)成中的用于執(zhí)行寬幅圖像合成處理的功能性構(gòu)成的功能框圖。圖6是表示能量分布圖生成部中的能量分布圖的生成手法的一例的示意圖。圖7是表不能量最小路徑搜索部中的搜索能量最小路徑的手法的一例的不意圖。圖8是表示對具有與范圍搜索部的能量最小路徑中的一個圖像的數(shù)據(jù)內(nèi)的各關(guān)注像素的值相似的值的像素范圍進行搜索的手法 的一例的示意圖。圖9是表示用于決定a混合寬度決定部中的混合寬度的手法的一例的示意圖。圖10是表示用于生成a混合分布圖生成部中的a混合分布圖的手法的一例的示意圖。圖11是說明攝像裝置所執(zhí)行的寬幅圖像合成處理的流程的流程圖。圖12是說明攝像裝置所執(zhí)行的垂直方向合成處理的流程的流程圖。
具體實施例方式下面，關(guān)于本發(fā)明的實施方式，作為圖像處理裝置的一例，使用附圖對攝像裝置I進行說明。圖1是表示本發(fā)明的一個實施方式所涉及的攝像裝置I的硬件構(gòu)成的框圖。攝像裝置I例如由數(shù)碼照相機構(gòu)成。攝像裝置I 具備CPU (Central Processing Unit,中央處理單兀)11、R0M(ReadOnly Memory,只讀存儲器)12、RAM (Random Access Memory,隨機存取存儲器)13、圖像處理部14、總線15、輸入輸出接口 16、攝像部17、加速度傳感器18、輸入部19、輸出部20、存儲部21、通信部22、以及驅(qū)動器23。CPUll按照記錄在ROM 12中的程序或從存儲部21加載到RAM 13中的程序來執(zhí)行各種處理。在RAM13中，還適當存儲有在CPUll執(zhí)行各種處理上所需要的數(shù)據(jù)等。圖像處理部14由DP S (Digital Signal Processor,數(shù)字信號處理器)、VRAM (Video Random Access Memory,視頻隨機存取存儲器)等構(gòu)成，與CPUll聯(lián)動來對圖像的數(shù)據(jù)實施各種圖像處理。CPUlU R0M12, RAM 13以及圖像處理部14介由總線15而相互連接。在該總線15還連接有輸入輸出接口 16。在輸入輸出接口 16連接有攝像部17、加速度傳感器18、輸入部19、輸出部20、存儲部21、通信部22以及驅(qū)動器23。攝像部17雖未圖示，但具備光學(xué)鏡頭部和圖像傳感器。光學(xué)鏡頭部為了拍攝被攝體，由會聚光的透鏡例如聚焦透鏡或變焦透鏡等構(gòu)成。聚焦透鏡是用于使被攝體像成像于圖像傳感器的受光面的透鏡。變焦透鏡是使焦距在一定的范圍內(nèi)變化的透鏡。光學(xué)鏡頭部還根據(jù)需要而設(shè)有調(diào)整焦點、曝光、白平衡等的設(shè)定參數(shù)的周邊電路。圖像傳感器由光電變換元件、AFE(Analog Front End,模擬前端)等構(gòu)成。光電變換兀件例如由CMOS(Complementary Metal Oxide Semiconductor,互補金屬氧化物半導(dǎo)體)型的光電變換元件等構(gòu)成。從光學(xué)鏡頭部將被攝體像入射到光電變換元件。由此，光電變換元件對被攝體像進行光電變換(拍攝)并使圖像信號積蓄一定時間，將積蓄的圖像信號作為模擬信號而依次提供給AFE。AFE對該模擬的圖像信號執(zhí)行A/D (Analog/Digital，模擬/數(shù)字)變換處理等的各種信號處理。通過各種信號處理，生成數(shù)字信號，并將其作為攝像部17的輸出信號而輸出。在此，將通過I次的攝像動作而從攝像部17輸出的輸出信號在下面稱作“幀圖像的數(shù)據(jù)”。即，由于所謂連拍動作是多次的攝像動作的反復(fù)，因此，通過連拍動作將多個幀圖像的數(shù)據(jù)從攝像部17輸出。在本實施方式中，作為幀圖像，采用縱橫比(aspect ratio)為4 3的通常圖像。加速度傳感器18構(gòu)成為能檢測攝像裝置I的速度和加速度。
輸入部19由各種按鈕構(gòu)成，用于按照用戶的指示操作來輸入各種信息。輸出部20由顯不器、揚聲器等構(gòu)成,輸出圖像、聲音。在本實施方式的輸出部20設(shè)有縱橫比(aspect ratio)為4 3的顯示器，以使得能顯示通常圖像的畫面整體。存儲部21由硬盤或DRAM (Dynamic Random Access Memory,動態(tài)隨機存取存儲器)等構(gòu)成，用來存儲各種圖像的數(shù)據(jù)。通信部22介由包含因特網(wǎng)在內(nèi)的網(wǎng)絡(luò)而控制與其它的裝置(未圖示)之間進行的通信。在驅(qū)動器23中適當?shù)匕惭b有由磁盤、光盤、光磁盤或半導(dǎo)體存儲器等構(gòu)成的可移動介質(zhì)31。由驅(qū)動器23從可移動介質(zhì)31中讀取的程序根據(jù)需要而安裝在存儲部21上。另外，可移動介質(zhì)31還能與存儲部21相同地，存儲存儲部21中所存儲的通信的數(shù)據(jù)等的各種數(shù)據(jù)。具有這樣的構(gòu)成的攝像裝置I能執(zhí)行寬幅圖像合成處理。在本實施方式中，所謂“寬幅圖像合成處理”是指，使攝像部17進行連拍動作，通過對作為結(jié)果而獲得的多張幀圖像的數(shù)據(jù)進行合成來生成多張的全景圖像的數(shù)據(jù)，通過對這些生成的多張全景圖像的數(shù)據(jù)進行合成來生成寬幅圖像的一系列的處理。在此，為了使寬幅圖像合成處理的理解變得容易，說明寬幅圖像合成處理的概要。在寬幅圖像合成處理的概要的說明中，首先參照圖2來說明攝像裝置I中的寬幅圖像的數(shù)據(jù)的生成手法的概略，接下來，參照圖3來說明攝像裝置I中的寬幅圖像合成處理的概略，參照圖4來說明寬幅圖像合成處理中的垂直方向合成處理的概略。圖2是表示寬幅圖像的數(shù)據(jù)生成手法的一例的示意圖。在圖2中圖示了用戶拍攝建筑物作為寬幅圖像的情況的示例。在本實施方式中，將從左側(cè)向右側(cè)或從右側(cè)向左側(cè)的方向稱作“水平方向”，將從上側(cè)向下側(cè)或從下側(cè)向上側(cè)的方向稱作“垂直方向”。另外，在本實施方式中，對通過在水平方向上合成多張的幀圖像的數(shù)據(jù)而生成的圖像稱作“全景圖像”，將通過在垂直方向上合成多張全景圖像的數(shù)據(jù)而生成的寬范圍的圖像稱作“寬幅圖像”。在本實施方式中，作為攝像裝置I的動作模式，存在拍攝通常圖像的模式(下面稱作“通常模式”)、和拍攝寬幅圖像的模式(下面稱作“寬幅模式”)。由此，用戶通過對輸入部19進行規(guī)定的操作，來將攝像裝置I的動作模式切換為寬幅模式。接下來，用戶以保持攝像裝置I的狀態(tài)，進行將輸入部19的未圖示的快門開關(guān)按下到下限的操作(下面稱作“全按下操作”)。由此，開始寬幅圖像合成處理。攝像裝置I開始攝像部17的連拍動作。接下來，在維持快門開關(guān)的全按下操作的狀態(tài)下，首先，在圖2中上側(cè)，使攝像裝置I從左側(cè)向右側(cè)的方向移動，接下來，在圖2中下側(cè)，在使攝像裝置I移動后，使攝像裝置I從右側(cè)向左側(cè)的方向移動。攝像裝置I在移動中，基于加速度傳感器18的檢測結(jié)果來檢測移動量，每當該移動量到達規(guī)定量，就使攝像部17拍攝被攝體，并存儲所得到的結(jié)果的幀圖像的數(shù)據(jù)，如此反復(fù)進行?！ぞ唧w地，在本例中，攝像裝置I在從攝像的開始位置(開始全按下操作的位置)起的水平方向的移動量到達了規(guī)定量時，進行第I次的拍攝，存儲第I幀圖像的數(shù)據(jù)。進而，攝像裝置I在從第I次的攝像位置起的移動量到達了規(guī)定量時，進行第2次的拍攝，存儲第2幀圖像的數(shù)據(jù)。進而，攝像裝置I在從第2次的攝像位置起的移動量到達了規(guī)定量時，進行第3次的拍攝，存儲第3幀圖像的數(shù)據(jù)。之后，攝像裝置I在檢測到規(guī)定量以上的垂直方向的移動后，存儲水平方向的移動的總量(從開始全按下操作的位置起的累計移動量)。然后，接下來，攝像裝置I在從檢測到規(guī)定量以上的垂直方向的移動的位置起的水平方向的移動量到達規(guī)定量時，進行第4次拍攝，存儲第4幀圖像的數(shù)據(jù)。進而，攝像裝置I在從第4次的攝像位置起的移動量到達了規(guī)定量時，進行第5次的拍攝，存儲第5幀圖像的數(shù)據(jù)。進而，攝像裝置I在從第5次的攝像位置起的移動量到達了規(guī)定量時，進行第6次的拍攝，存儲第6幀圖像的數(shù)據(jù)。之后，攝像裝置I檢測到與檢測規(guī)定量以上的垂直方向的移動的之前的移動量相同量的移動后，結(jié)束攝像部17的連拍動作。于是，攝像裝置I對所存儲的第I到第6幀圖像的數(shù)據(jù)進行寬幅圖像合成處理，生成寬幅圖像的數(shù)據(jù)。圖3是表示攝像裝置I的寬幅圖像合成處理的概略的示意圖。攝像裝置I通過全景圖像數(shù)據(jù)生成處理，按拍攝順序?qū)λ鎯Φ牡贗到第3幀圖像的數(shù)據(jù)進行合成，從而生成上側(cè)全景圖像的數(shù)據(jù)。另外，攝像裝置I通過全景圖像數(shù)據(jù)生成處理，按拍攝順序?qū)λ鎯Φ牡?到第6的幀圖像的數(shù)據(jù)進行合成，從而生成下側(cè)全景圖像的數(shù)據(jù)。然后，攝像裝置I通過垂直方向合成處理，將上側(cè)全景圖像的數(shù)據(jù)和下側(cè)全景圖像的數(shù)據(jù)進行合成，生成寬幅圖像的數(shù)據(jù)。圖4是表示寬幅圖像合成處理中的垂直方向合成處理的概略的示意圖。在垂直方向合成處理中，攝像裝置I根據(jù)上側(cè)全景圖像的數(shù)據(jù)和下側(cè)全景圖像的數(shù)據(jù)來生成能量分布圖。在本實施方式中，“能量分布圖”如下那樣地生成。即，對上側(cè)全景圖像的數(shù)據(jù)，計算上側(cè)全景圖像內(nèi)的特定的像素(關(guān)注像素)和其它的像素的相似度、以及下側(cè)全景圖像內(nèi)的與該關(guān)注像素對應(yīng)的位置的像素(對應(yīng)像素)和其它的像素的相似度。然后，基于這些相似度，對每一個像素計算能量。計算出的每個像素的能量是表示二維平面上的分布的“能量分布圖”，在后述的a混合分布圖的生成中使用。另外，在本實施方式中，像素越相似，“能量”成為越小的值，像素越不相似，“能量”成為越大的值。在此，“關(guān)注像素”是指，應(yīng)作為處理對象而關(guān)注的像素，按照所謂的光柵順序來依次設(shè)定用以構(gòu)成處理對象的全景圖像(例如本實施方式中為上側(cè)全景圖像)的各像素。接下來，攝像裝置I對能量分布圖進行分析，生成a混合分布圖。在本實施方式中，“ a混合分布圖”是對合成上側(cè)全景圖像的數(shù)據(jù)和下側(cè)全景圖像的數(shù)據(jù)時的用于設(shè)定下側(cè)全景圖像相對于上側(cè)全景圖像的透射率的圖，是與幀圖像分辨率相同、由具有透射率作為像素值的各像素所構(gòu)成的圖像(每個像素的透射率的二維平面上的分布)。例如，在下面說明在上側(cè)全景圖像的數(shù)據(jù)上重疊下側(cè)全景圖像的數(shù)據(jù)的情況下的a混合分布圖的功能。另外，在下面的說明中，為了說明的方便，以0 100的數(shù)值來說明透射率。
“透射率為0”是指，在進行合成時，表示相對于上側(cè)全景圖像的數(shù)據(jù)，直接應(yīng)用下側(cè)全景圖像的數(shù)據(jù)?！巴干渎蕿?00”是指，在進行合成時，表示相對于上側(cè)全景圖像的數(shù)據(jù)，完全不應(yīng)用下側(cè)全景圖像的數(shù)據(jù)。若透射率為0和100之間的值，則表示在進行合成時，與該值相應(yīng)地來混合上側(cè)全景圖像的數(shù)據(jù)和下側(cè)全景圖像的數(shù)據(jù)。所謂“與該值相應(yīng)”，例如在是接近于0的值的情況下，使下側(cè)全景圖像的數(shù)據(jù)的要素多于上側(cè)全景圖像的數(shù)據(jù)的要素地進行混合。另外，在是接近于100的值的情況下，使上側(cè)全景圖像的數(shù)據(jù)的要素多于下側(cè)全景圖像的數(shù)據(jù)的要素地進行混合。在圖4的a混合分布圖中，黑色部分B的透射率為0，陰影部分G的透射率為0和100之間的值，白色部分W的透射率為100。攝像裝置I使用該a混合分布圖來合成上側(cè)全景圖像的數(shù)據(jù)和下側(cè)全景圖像的數(shù)據(jù)，生成寬幅圖像的數(shù)據(jù)。由此，寬幅圖像的數(shù)據(jù)成為如下數(shù)據(jù)在黑色部分B直接應(yīng)用下側(cè)全景圖像的數(shù)據(jù)，在陰影部分G應(yīng)用將上側(cè)全景圖像的數(shù)據(jù)和下側(cè)全景圖像的數(shù)據(jù)混合而得到的數(shù)據(jù)，在白色部分W直接應(yīng)用上側(cè)全景圖像的數(shù)據(jù)。接下來，參照圖5來說明用于執(zhí)行這樣的寬幅圖像合成處理的攝像裝置I的構(gòu)成。圖5是表示圖1的攝像裝置I的功能性構(gòu)成中的用于執(zhí)行寬幅圖像合成處理的功能性構(gòu)成的功能塊的圖。在攝像裝置I執(zhí)行寬幅圖像合成處理的情況下，在CPUll中，攝像控制部(合成控制部)40發(fā)揮作用，在該攝像控制部40的控制下，在圖像處理部14中，全景圖像數(shù)據(jù)生成部50、取得部51、能量計算部52、能量分布圖生成部53、能量最小路徑搜索部54、范圍搜索部55、a混合寬度決定部56、a混合分布圖生成部57、透射率設(shè)定部58、合成部59發(fā)揮作用。攝像控制部40控制攝像部17的拍攝的時機。具體地，在寬幅模式的狀態(tài)下，若用戶保持著攝像裝置I的狀態(tài)下進行全按下操作，則開始寬幅圖像合成處理。即，攝像控制部40開始攝像部17的連拍動作。之后，用戶以維持輸入部19的快門開關(guān)的全按下操作的狀態(tài)，使攝像裝置I在水平方向的例如從被攝體的左側(cè)到右側(cè)移動。接下來，用戶以維持快門開關(guān)的全按下操作的狀態(tài)，使攝像裝置I在垂直方向的例如從被攝體的上側(cè)向下側(cè)移動。接下來，用戶以維持快門開關(guān)的全按下操作的狀態(tài)，使攝像裝置I在水平方向的例如從被攝體的右側(cè)向左側(cè)移動。攝像控制部40基于加速度傳感器18的檢測結(jié)果，在維持全按下操作的期間，每當攝像裝置I的水平方向的移動量到達一定量，就使攝像部17進行拍攝，將作為其結(jié)果得到的幀圖像的數(shù)據(jù)暫時存儲在存儲部21的幀緩存器中，如此反復(fù)進行。另外，攝像控制部40檢測到攝像裝置I的規(guī)定量以上的垂直方向的移動時，存儲水平方向的總移動量(從開始全按下操作的位置起的累計移動量)。 之后，攝像控制部40在攝像裝置I的垂直方向的移動后，當水平方向的總移動量到達所存儲的總移動量(檢測出垂直方向的移動之前的移動量的總量)，則使攝像部17的連拍動作結(jié)束。全景圖像數(shù)據(jù)生成部50通過按照拍攝順序?qū)τ蓴z像部17拍攝并暫時存儲在幀緩存器中的幀圖像的數(shù)據(jù)進行合成，由此生成全景圖像的數(shù)據(jù)。詳細地，全景圖像數(shù)據(jù)生成部50在快門開關(guān)的全按下操作后，取得直到檢測出攝像裝置I的垂直方向的移動為止的期間中所拍攝的多個幀圖像的數(shù)據(jù)。全景圖像數(shù)據(jù)生成部50對這些幀圖像的數(shù)據(jù)進行合成，生成I張的全景圖像的數(shù)據(jù)(例如圖3所示的上側(cè)全景圖像的數(shù)據(jù))。另外，全景圖像數(shù)據(jù)生成部50在檢測到攝像裝置I的垂直方向的移動后，取得直到攝像部17的連拍動作結(jié)束為止的期間所拍攝的多個幀圖像的數(shù)據(jù)。全景圖像數(shù)據(jù)生成部50在水平方向上合成這些幀圖像的數(shù)據(jù)，生成I張的全景圖像的數(shù)據(jù)(例如，圖3所示的下側(cè)全景圖像的數(shù)據(jù))。以下說明的圖像處理部14中的取得部51、能量計算部52、能量分布圖生成部53、能量最小路徑搜索部54、范圍搜索部55、a混合寬度決定部56、a混合分布圖生成部57、透射率設(shè)定部58以及合成部59是攝像裝置I用于執(zhí)行在垂直方向上合成全景圖像數(shù)據(jù)生成部50所生成的多個全景圖像的數(shù)據(jù)的處理的功能性構(gòu)成。取得部51取得全景圖像數(shù)據(jù)生成部50生成的多個全景圖像的數(shù)據(jù)。能量計算部52基于取得部51所取得的多個全景圖像的數(shù)據(jù)中的一個圖像的數(shù)據(jù)與成為該一個圖像的合成對象的其它圖像的數(shù)據(jù)，分別計算出與一個圖像的數(shù)據(jù)內(nèi)的關(guān)注像素對應(yīng)的能量。具體地，能量計算部52針對取得部51所取得的多個全景圖像的數(shù)據(jù)中的成為合成對象的2個圖像數(shù)據(jù)(例如圖3所示的上側(cè)全景圖像的數(shù)據(jù)以及下側(cè)全景圖像的數(shù)據(jù))中的一方的圖像數(shù)據(jù)(例如上側(cè)全景圖像的數(shù)據(jù))，基于一方的圖像(例如上側(cè)全景圖像)內(nèi)的關(guān)注像素和其它的像素的相似度、以及另一方的圖像(例如下側(cè)全景圖像)內(nèi)的其它的像素與關(guān)注像素的相似度，來對每個像素求取能量。能量分布圖生成部53生成由能量計算部52計算出的每個關(guān)注像素的能量在二維平面上的分布，作為能量分布圖。圖6是表示能量分布圖生成部53的能量分布圖的生成手法的一例的示意圖。圖6A表示上側(cè)全景圖像的數(shù)據(jù)的一部分。
圖6B表示下側(cè)全景圖像的數(shù)據(jù)的一部分。圖6C表示將圖6A所示的上側(cè)全景圖像的數(shù)據(jù)和圖6B所示的下側(cè)全景圖像的數(shù)據(jù)之間的關(guān)注像素與其周邊像素的相似度表示為能量的能量分布圖的一部分。另外，圖6以及后述的圖7 圖10分別表示在X(水平方向)以及Y(垂直方向)上排列的多個格子。每個格子表示I個像素。如圖6C所示，能量分布圖生成部53在圖6C中從左側(cè)向右側(cè)依次計算各像素的能量，生成能量分布圖。對能量分布圖生成部53在能量分布圖的生成中計算各像素的能量的手法的一例進行說明。
能量分布圖生成部53如以下那樣生成圖6C所示的能量E。能量分布圖生成部53基于圖6A所示的上側(cè)全景圖像的關(guān)注像素(坐標(x，y))、和與該關(guān)注像素在周邊上相鄰的像素(坐標(x+n，y+m))之間的相似度，計算相似度能量
Eo0例如，周邊像素也可以如圖6所示那樣僅使用周邊的一部分的像素。另外，能量分布圖生成部53基于圖6B所述的下側(cè)全景圖像的數(shù)據(jù)中的配置在與上側(cè)全景圖像的關(guān)注像素的配置位置對應(yīng)的位置的對應(yīng)關(guān)注像素(坐標(x，y))、和在水平方向上與該對應(yīng)關(guān)注像素相鄰的像素(坐標(x+n，y+m))之間的相似度，求取對應(yīng)相似度能
量Ec。例如，周邊像素也可以如圖6所示那樣僅使用周邊的一部分的像素。進而，能量分布圖生成部53計算在圖6C中的能量分布圖中已經(jīng)計算出能量的像素中的本次要計算能量E的像素的前一列與該像素相鄰的像素(相鄰像素)、和該相鄰像素的上下的像素的能量當中的最小的能量Emin。另外，在本實施方式中，能量分布圖生成部53并不限于計算前一列的3個像素中的最小的能量Emin。例如，還能按照下側(cè)全景圖像的數(shù)據(jù)和上側(cè)全景圖像的數(shù)據(jù)的特性，計算前一列的5個像素中的最小的能量Emin。能量分布圖生成部53基于計算出的相似度能量Eo、對應(yīng)相似度能量Ec以及能量Emin,來計算能量E。在此，在本實施例中，以上側(cè)全景圖像的關(guān)注像素為基準來計算Eo、Ec、Emin，從而求取能量E，但也可以以下側(cè)全景圖像的關(guān)注像素為基準來計算Eo、Ec、Emin，從而求取能量E。返回圖5，能量最小路徑搜索部54在能量分布圖生成部53所生成的能量分布圖的水平方向上，搜索能量成為最小的能量最小路徑。圖7是表不能量最小路徑搜索部54中的搜索能量最小路徑的手法的一例的不意圖。在圖7中示出能量分布圖生成部53所生成的能量分布圖。能量最小路徑搜索部54對能量計算部52分別計算出的關(guān)注像素的數(shù)據(jù)的能量成為最小的路徑進行搜索。詳細而言，能量最小路徑搜索部54在X方向(水平方向)上，朝向由能量分布圖生成部53生成能量分布圖的方向相反的方向來搜索能量最小路徑。S卩，在能量分布圖中，從能量分布圖生成部53最后計算出能量的列起，朝向最初計算出能量的列來搜索能量最小路徑。
具體而言，能量最小路徑搜索部54在能量分布圖生成部53最后計算出能量的列中搜索能量為最小的像素。接下來，能量最小路徑搜索部54對與搜索到的像素相鄰的像素、和該相鄰的像素的上下的像素的能量中的最小的能量的像素進行搜索。能量最小路徑搜索部54通過直到能量分布圖生成部53最初計算出能量的列為止進行同樣的搜索，來搜索能量最小路徑R。另外，能量最小路徑R的搜索并不限于上述的方法，例如也可以通過圖分害I] (graph cut)技術(shù)來進行。關(guān)于圖分割技術(shù)，例如由于在“Interactive DigitalPhotomontage” A. Agarwala et al. ACM SIGGRAPH, 2004 中進行了公開，因此在本實施例中不再詳細說明。返回圖5，范圍搜索部55對具有與能量最小路徑搜索部54搜索到的能量最小路徑中的一個圖像的數(shù)據(jù)內(nèi)的各關(guān)注像素的值相似的值的像素范圍進行搜索。另外，范圍搜索部55在與能量分布圖生成部53生成的能量分布圖的規(guī)定方向進行正交的方向上來搜索能量成為最小的路徑。 圖8是表示范圍搜索部55的對具有與能量最小路徑中的一個圖像的數(shù)據(jù)內(nèi)的各關(guān)注像素的值相似的值的像素范圍進行搜索的手法的一例的示意圖。在圖8中，示出能量分布圖生成部53所生成的能量分布圖、和在該能量分布圖中由能量最小路徑搜索部54搜索到的能量最小路徑R。范圍搜索部55朝向能量分布圖的Y方向(垂直方向)來搜索與能量最小路徑R中的各像素的能量之間的能量的差分為規(guī)定的平坦程度以內(nèi)的像素。范圍搜索部55對能量最小路徑R中的每個像素分別搜索規(guī)定的平坦程度以內(nèi)的像素，由此搜索出規(guī)定的平坦程度以內(nèi)的范圍R'。在本實施方式中，“規(guī)定的平坦程度”例如被稱作與能量最小路徑R中的各像素的能量之間的能量的差分為規(guī)定值以內(nèi)。另外，“能量的差分”例如除了能利用像素中的亮度值的差的絕對值以外，還能用色相值或色差值的差異。S卩，范圍搜索部55搜索具有與能量最小路徑R中的各像素的值(亮度值、色相值、色差值等)相似(收斂在規(guī)定值以內(nèi))的值的像素的寬度作為范圍R'。另外，范圍搜索部55還能進行加權(quán)地搜索規(guī)定的平坦程度以內(nèi)的范圍。“加權(quán)”例如能通過將與能量最小路徑R中的各像素的能量的大小相應(yīng)的值、或與距能量最小路徑R的距離相應(yīng)的值和實際的能量的差分相乘、或相加來進行。返回圖5，a混合寬度決定部56基于范圍搜索部55搜索到的像素的范圍，來決定以能量最小路徑R為起點的混合寬度。詳細而言，a混合寬度決定部56在能量分布圖的規(guī)定方向上，搜索與能量最小路徑搜索部54搜索到的路徑之間能量的差分為規(guī)定的平坦程度以內(nèi)的范圍，作為具有相似的值的像素范圍，然后決定混合寬度。圖9是表示a混合寬度決定部56中的決定混合寬度的手法的一例的示意圖。在圖9中，示出了能量分布圖生成部53所生成的能量分布圖、和在該能量分布圖中由能量最小路徑搜索部54搜索到的能量最小路徑R、和由范圍搜索部55搜索到的規(guī)定的平坦程度以內(nèi)的范圍R'。a混合寬度決定部56計算以能量最小路徑R為一端且成為a混合寬度的另一端的a混合寬度終點路徑R"。具體而言，a混合寬度決定部56將在合成多個全景圖像的數(shù)據(jù)的方向、即Y方向(垂直方向)上與成為能量最小路徑R的起點的像素相鄰的像素作為a混合寬度終點路徑R"的始點。a混合寬度決定部56從該成為起點的像素的周邊的像素起，向與能量最小路徑R相同的方向，搜索用于形成a混合寬度終點路徑R"的像素。a混合寬度決定部56用相同的手法，在與能量最小路徑R相同的方向上，從搜索到的像素的周邊的像素起依次搜索用于形成a混合寬度終點路徑R"的像素。a混合寬度決定部56例如基于能量分布圖的規(guī)定的列中的與能量最小路徑R為規(guī)定的平坦程度以內(nèi)的范圍R'的像素的能量的大小來搜索用于形成a混合寬度終點路徑R"的像素。另外，a混合寬度決定部56也可以進行加權(quán)地決定混合寬度?！凹訖?quán)”例如將與能量最小路徑R中的各像素的能量的大小相應(yīng)的值、或與距能量最小路徑R的距離相應(yīng)的值，和與能量分布圖的規(guī)定的列中的能量最小路徑R為規(guī)定的平坦程度以內(nèi)的范圍R'的 像素的能量的差分相乘、或相加來進行。另外，“加權(quán)”能通過將與攝像裝置I中的拍攝條件相應(yīng)的值和與能量分布圖的規(guī)定的列中的能量最小路徑R為規(guī)定的平坦程度以內(nèi)的范圍R'的像素的能量相乘、或相加來進行。在此“拍攝條件”例如是拍攝時是否使用閃光燈等。返回圖5, a混合分布圖生成部57基于由a混合寬度決定部56決定的混合寬度，生成用于設(shè)定下側(cè)全景圖像相對于上側(cè)全景圖像的透射率的a混合分布圖。圖10是表示a混合分布圖生成部57中的用于生成a混合分布圖的手法的一例的示意圖。在圖10中，在使用a混合分布圖生成部57所生成的a混合分布圖中示出了說明中使用的能量最小路徑搜索部54搜索到的能量最小路徑R、和a混合寬度決定部56計算出的a混合寬度終點路徑R"。a混合分布圖生成部57在像素的各列中，從形成能量最小路徑R的像素起，朝向Y方向(垂直方向)，直到形成a混合寬度終點路徑R"為止之間，生成透射率變化的a混合分布圖。具體而言，a混合分布圖生成部57對每個像素的列，在形成能量最小路徑R的像素和形成a混合寬度終點路徑R"的像素之間，生成透射率從0到100變化的a混合分布圖。即，透射率的變化的程度因形成能量最小路徑R的像素和形成a混合寬度終點路徑R"的像素之間距離不同而不同。返回圖5，透射率設(shè)定部58設(shè)定與由a混合分布圖生成部57生成的分布圖對應(yīng)的透射率。即，透射率設(shè)定部58基于由a混合寬度決定部56決定的a混合寬度,設(shè)定下側(cè)全景圖像相對于上側(cè)全景圖像的透射率。合成部59使用a混合分布圖生成部57所生成的a混合分布圖，即基于由a混合寬度決定部56決定的a混合寬度和由透射率設(shè)定部58設(shè)定的透射率，在垂直方向上合成上側(cè)全景圖像和下側(cè)全景圖像的各數(shù)據(jù)，生成寬幅圖像的數(shù)據(jù)(參照圖4)。接下來，使用圖11來說明具有這樣的圖5的功能構(gòu)成的圖1的攝像裝置執(zhí)行的處理中的寬幅圖像合成處理的流程。圖11是說明攝像裝置I所執(zhí)行的寬幅圖像合成處理的流程的流程圖。在本實施方式中，寬幅圖像合成處理在攝像裝置I的動作模式切換為寬幅模式后，以用戶對輸入部19的未圖示的快門開關(guān)進行了全按下操作來進行攝像的指示為契機而開始。在步驟SI，全景圖像數(shù)據(jù)生成部50通過按照攝像順序合成由攝像部17拍攝、并暫時存儲在幀緩存器中的幀圖像的數(shù)據(jù)來生成全景圖像的數(shù)據(jù)。在步驟S2中，合成控制部40判定是否滿足規(guī)定的條件，在判定為滿足規(guī)定的條件的情況下，將處理移轉(zhuǎn)到步驟S3，在判定為不滿足規(guī)定的條件的情況下，使處理返回步驟
SI。在本實施方式中，“規(guī)定的條件”是指，將攝像裝置I在水平方向上移動，之后，在垂直方向上移動，進而再在水平方向上移動，由此生成2張全景圖像的數(shù)據(jù)。在步驟S3中，圖像處理部14中的取得部51、能量計算部52、能量分布圖生成部
53、能量最小路徑搜索部54、范圍搜索部55、a混合寬度決定部56、a混合分布圖生成部57、透射率設(shè)定部58以及合成部59聯(lián)動來執(zhí)行垂直方向合成處理。更詳細在后面敘述，但在垂直方向合成處理中，取得部51、能量計算部52、能量分布圖生成部53、能量最小路徑搜索部54、范圍搜索部55、a混合寬度決定部56、a混合分布圖生成部57、透射率設(shè)定部58以及合成部59對在步驟SI中由全景圖像數(shù)據(jù)生成部50生成的全景圖像的數(shù)據(jù)進行合成，生成寬幅圖像的數(shù)據(jù)。在步驟S4中，合成控制部40將在步驟S3中生成的寬幅圖像的數(shù)據(jù)存儲在可移動介質(zhì)31中。接下來，參照圖12，來說明圖11所示的寬幅圖像合成處理中的垂直方向合成處理。圖12是說明攝像裝置I所執(zhí)行的垂直方向合成處理的流程的流程圖。在步驟S31中，取得部51取得在步驟SI中由全景圖像數(shù)據(jù)生成部50生成的多個全景圖像的數(shù)據(jù)(例如圖3所示的上側(cè)全景圖像的數(shù)據(jù)以及下側(cè)全景圖像的數(shù)據(jù))。在步驟S32中，能量計算部52基于在步驟S31中取得部51取得的多個全景圖像中的上側(cè)全景圖像的數(shù)據(jù)和下側(cè)全景圖像的數(shù)據(jù)，分別計算與上側(cè)全景圖像的數(shù)據(jù)內(nèi)的關(guān)注像素對應(yīng)的能量。然后，能量分布圖生成部53生成由能量計算部52計算出的每個關(guān)注像素的能量在二維平面上的分布，作為能量分布圖(參照圖6)。在步驟S33中，能量最小路徑搜索部54搜索在步驟S32中由能量計算部52分別計算出的關(guān)注像素的數(shù)據(jù)的能量成為最小的路徑。詳細而言，能量最小路徑搜索部54在步驟S32中由能量分布圖生成部53生成的能量分布圖的水平方向上，搜索能量成為最小的能量最小路徑R (參照圖7)。在步驟S34中，范圍搜索部55搜索具有與步驟S33中由能量最小路徑搜索部54搜索到的能量最小路徑中的上側(cè)全景圖像的數(shù)據(jù)內(nèi)的各關(guān)注像素的值相似的值的像素范圍。具體地，范圍搜索部55在能量分布圖的垂直方向(進行合成多個全景圖像的數(shù)據(jù)的方向)上，搜索與步驟S33中由能量最小路徑搜索部54搜索到的能量最小路徑R之間的能量的差分為規(guī)定的平坦程度以內(nèi)的范圍R'(參照圖8)。在步驟S35中，a混合寬度決定部56基于步驟S34中由范圍搜索部55搜索到的像素范圍，決定以能量最小路徑為起點的混合寬度。詳細而言，a混合寬度決定部56基于步驟S34中由范圍搜索部55搜索到的規(guī)定的平坦 程度以內(nèi)的范圍R'，來決定以在步驟S33中由能量最小路徑搜索部54搜索到的能量最小路徑R為起點的混合寬度(參照圖9)。在圖9中，R"為R和R'的大致中間位置，這種情況下，a混合寬度決定部56將R和R"之間的像素決定為混合寬度。在步驟S36中，a混合分布圖生成部57基于在步驟S 35中由a混合寬度決定部56決定的混合寬度，生成用于設(shè)定下側(cè)全景圖像相對于上側(cè)全景圖像的透射率的a混合分布圖(參照圖10)。透射率設(shè)定部58設(shè)定與a混合分布圖生成部57所生成的a混合分布圖對應(yīng)的透射率。在此，作為透射率的設(shè)定的方法，設(shè)定下側(cè)全景圖像相對于上側(cè)全景圖像的透射率，但本實施方式并不限于此。S卩，也可以設(shè)定上側(cè)全景圖像相對于下側(cè)全景圖像的透射率。
在步驟S 37中，合成部59使用步驟S36中由a混合分布圖生成部57生成的a混合分布圖，即基于步驟S35中由a混合寬度決定部56決定的a混合寬度和步驟36中由透射率設(shè)定部58設(shè)定的透射率，在垂直方向上合成上側(cè)全景圖像和下側(cè)全景圖像的各數(shù)據(jù)，生成寬幅圖像的數(shù)據(jù)(參照圖4)。如以上說明那樣，本實施方式的攝像裝置I在圖像處理部14中具備能量計算部
52、能量分布圖生成部53、能量最小路徑搜索部54、范圍搜索部55、a混合寬度決定部56、a混合分布圖生成部57、透射率設(shè)定部58以及合成部59。攝像裝置I是在規(guī)定方向上合成多個圖像的數(shù)據(jù)來生成寬幅圖像的圖像處理裝置。能量計算部52基于多個圖像的數(shù)據(jù)中的一個圖像和成為該一個圖像的合成對象的其它圖像，分別計算與一個圖像內(nèi)的關(guān)注像素對應(yīng)的能量。能量最小路徑搜索部54搜索能量計算部52所分別計算出的關(guān)注像素的能量成為最小的能量最小路徑R。范圍搜索部55搜索具有與能量最小路徑搜索部54搜索到的能量最小路徑R中的一個圖像內(nèi)的各關(guān)注像素的值相似的值的像素范圍。a混合寬度決定部56基于范圍搜索部55搜索到的像素范圍，決定以能量最小路徑為起點的混合寬度。透射率設(shè)定部58基于由a混合寬度決定部56決定的混合寬度,設(shè)定一個圖像相對于其它圖像的透射率。合成部59基于混合寬度、和由透射率設(shè)定部58設(shè)定的透射率，來合成一個圖像和其它圖像。由此，能基于作為合成對象的其它圖像，根據(jù)與一個圖像內(nèi)的關(guān)注像素對應(yīng)的能量來搜索成為多個圖像的數(shù)據(jù)相連部分的能量最小路徑。然后，能設(shè)定該以能量最小路徑為起點的混合寬度中的另一方圖像相對于一方圖像的透射率，來合成多個圖像的數(shù)據(jù)。因此，能降低合成后的寬范圍的圖像的相連的部分的不諧調(diào)。能量分布圖生成部53生成由能量計算部52計算出的每個關(guān)注像素的能量在二維平面上的分布，作為能量分布圖。范圍搜索部55在與能量分布圖生成部53生成的能量分布圖的規(guī)定方向正交的方向上，搜索能量成為最小的路徑。由此，能從能量分布圖中，搜索成為多個圖像的數(shù)據(jù)的相連部分的能量最小路徑。然后，設(shè)定以該能量最小路徑為起點的混合寬度中的另一方的圖像相對于一方圖像的透射率，進而合成多個圖像的數(shù)據(jù)。因此，能降低合成后的寬范圍的圖像的相連部分的不諧調(diào)。a混合寬度決定部56在能量分布圖的規(guī)定的方向上，搜索與能量最小路徑搜索部54搜索到的能量最小路徑R之間的能量的差分為規(guī)定的平坦度以內(nèi)的范圍，作為具有相似的值的像素范圍。由此，能將與能量最小路徑之間的能量的差分為規(guī)定的平坦程度以內(nèi)的范圍決定為混合寬度。因此，通過將規(guī)定的平坦程度的范圍決定為混合寬度，能進一步降低合成后的寬范圍的圖像的相連的部分的不諧調(diào)。a混合分布圖生成部57生成透射率設(shè)定部58為了設(shè)定透射率的a混合分布圖。
·
透射率設(shè)定部58設(shè)定與a混合分布圖生成部57所生成的a混合分布圖對應(yīng)的透射率。由此，設(shè)定與a混合分布圖對應(yīng)的透射率，合成多個圖像的數(shù)據(jù)。因此，能降低合成后的寬范圍的圖像的相連部分的不諧調(diào)。a混合分布圖生成部57以能量最小路徑R為起點，朝向多個圖像的數(shù)據(jù)的合成方向，生成透射率進行變化的混合分布圖。因此，通過使混合分布圖的混合寬度中的透射率進行變化，能進一步降低合成后的寬范圍的圖像的相連部分的不諧調(diào)。另外，攝像裝置I由于在垂直方向上合成多個圖像數(shù)據(jù)的至少一部分來生成寬幅圖像的數(shù)據(jù)，因此，在垂直方向合成多個圖像的數(shù)據(jù)的情況下，能降低合成后的寬范圍的圖像的相連部分的不諧調(diào)。另外，本發(fā)明并不限于上述的實施方式，在能達成本發(fā)明的目的的范圍內(nèi)的變形、改良等也包含在本發(fā)明中。例如，在上述的實施方式中，使攝像裝置I在水平方向上移動，之后，使其在垂直方向上移動，進而再使其在水平方向上移動，由此生成2張全景圖像的數(shù)據(jù)，但并不限于此。例如，也可以使攝像裝置I在水平方向上移動，再使其在垂直方向上移動，然后再在水平方向上移動，之后，再一次使其在垂直方向上移動，然后再在水平方向上移動，由此生成3張的全景圖像的數(shù)據(jù)。同樣地，也可以通過使攝像裝置I夾著n次(n為整數(shù))的垂直移動來進行n+1次的向水平方向的移動，來生成n+1張的全景圖像的數(shù)據(jù)。另外，在上述的實施方式中，將能量計算部52、能量分布圖生成部53、能量最小路徑搜索部54、范圍搜索部55、a混合寬度決定部56、a混合分布圖生成部57、透射率設(shè)定部58以及合成部59作為攝像裝置I執(zhí)行在垂直方向上合成全景圖像的數(shù)據(jù)生成部50所生成的多個全景圖像的數(shù)據(jù)的處理的功能性構(gòu)成來進行說明，但并不限于此。例如，也可以將能量計算部52、能量分布圖生成部53、能量最小路徑搜索部54、范圍搜索部55、a混合寬度決定部56、a混合分布圖生成部57、透射率設(shè)定部58以及合成部59作為用于執(zhí)行在水平方向上合成多個圖像的數(shù)據(jù)的處理的功能性構(gòu)成。這種情況下，能量計算部52朝向垂直方向而一次計算各像素的能量，能量分布圖生成部53通過能量計算部52所計算出的能量來生成能量分布圖。能量最小路徑搜索部54在垂直方向上，朝向能量分布圖生成部53生成能量分布圖的方向的相反方向來搜索能量最小路徑。范圍搜索部55在能量分布圖的水平方向(合成多個全景圖像的數(shù)據(jù)的方向)上，搜索與能量最小路徑搜索部54搜索到的能量最小路徑之間的能量的差分為規(guī)定的平坦程度以內(nèi)的范圍。a混合寬度決定部56在與能量最小路徑相同的方向上(垂直方向)，搜索用于形成a混合寬度終點路徑的像素，決定混合寬度。a混合分布圖生成部57基于由a混合寬度決定部56決定的混合寬度,例如生成用于設(shè)定左側(cè)的圖像相對于右側(cè)的圖像的透射率的a混合分布圖。透射率設(shè)定部58通過由a混合分布圖生成部57生成的a混合分布圖來設(shè)定透 射率。合成部59基于a混合寬度、和由透射率設(shè)定部58設(shè)定的透射率，在水平方向上合成右側(cè)的圖像和左側(cè)的圖像，生成寬幅圖像的數(shù)據(jù)。另外，在上述的實施方式中，應(yīng)用本發(fā)明的攝像裝置I以數(shù)碼照相機為例進行了說明，但并不限于此。例如，本發(fā)明一般能應(yīng)用在具有顯示控制功能的電子設(shè)備。具體地，例如本發(fā)明能應(yīng)用在筆記本型的個人計算機、打印機、電視接收機、視頻攝像機、便攜式導(dǎo)航裝置、便攜式電話機、掌上游戲機等中。上述的一系列的處理能通過硬件來執(zhí)行，也能通過軟件來執(zhí)行。換言之，圖5的功能性構(gòu)成只不過是例示，并沒有特別限定。即，只要具備能將上述的一系列的處理作為整體來執(zhí)行的功能的攝像裝置I即可，為了實現(xiàn)該功能而使用怎樣的功能塊則并不特別限定于圖5。例如，也可以使在CPUll中發(fā)揮作用的功能塊在圖像處理裝置14中發(fā)揮作用，反之，也可以使在圖像處理部14中發(fā)揮作用的功能塊在CPUll中發(fā)揮作用。另外，既可以以硬件單體來構(gòu)成I個功能塊，也可以以軟件單體來構(gòu)成，還能以軟硬件組合來構(gòu)成。通過軟件來執(zhí)行一系列的處理的情況下，將構(gòu)成該軟件的程序從網(wǎng)絡(luò)或記錄介質(zhì)安裝到計算機等的網(wǎng)絡(luò)中。計算機也可以是嵌入到專用的硬件中的計算機。另外，計算機也可以是通過安裝各種程序來執(zhí)行各種功能的計算機，例如泛用的個人計算機。包含這樣的程序的記錄介質(zhì)不僅能通過為了將程序提供給用戶而與裝置主體分開來進行分發(fā)的圖1所示的可移動介質(zhì)31構(gòu)成，還能由以裝入裝置主體的狀態(tài)來向用戶提供程序的記錄介質(zhì)等構(gòu)成?？梢苿咏橘|(zhì)31例如由磁盤(包含軟盤)、光盤、或光磁盤等構(gòu)成。光盤例如由 CD-ROM (Compact Disk-read Only Memory,只讀光盤)、DVD (digitalVersatile Disk,多功能盤)等構(gòu)成。光磁盤由MD (Min1-Disk,迷你光磁盤)等構(gòu)成。另夕卜，以預(yù)先裝入裝置主體的狀態(tài)來向用戶提高程序的記錄介質(zhì)例如由記錄有程序的圖1的ROMl2或包含在圖1的存儲部21中的硬盤等構(gòu)成。另外，在本說明書中，記述在記錄介質(zhì)中記錄程序的步驟當然包含沿著其順序在時間序列上進行的處理，但也不一定非要時間序列地進行處理，也可以包含并行或個別地執(zhí)行的處理。
以上，說明的本發(fā)明的幾個實施方式，但這些實施方式只不過是例示，本發(fā)明的技術(shù)的范圍并不受到限定。本發(fā)明還能采用其它的各種的實施方式，進而，能在不脫離本發(fā)明 的要旨的范圍內(nèi)進行省略、置換等各種變更。這些實施方式或變形也包含在本說明書所記載的發(fā)明的范圍和要旨中，并包含在權(quán)利要求的范圍所記載的發(fā)明和與其等同的范圍內(nèi)。
權(quán)利要求
1.一種圖像處理裝置，其特征在于，具備 能量計算單元，其基于一個圖像和成為該一個圖像的合成對象的其它圖像，分別計算與所述一個圖像內(nèi)的各關(guān)注像素對應(yīng)的能量； 能量最小路徑搜索單元，其搜索所述能量計算單元所分別計算出的關(guān)注像素的能量成為最小的所述一個圖像中的路徑； 范圍搜索單元，其在所述一個圖像內(nèi)，搜索具有與所述能量最小路徑搜索單元搜索到的路徑上的所述一個圖像內(nèi)的各關(guān)注像素的值相似的值的像素范圍； 混合寬度決定單元，其基于所述范圍搜索單元搜索到的像素范圍，來決定以所述路徑為起點的所述一個圖像和所述其它圖像的混合寬度； 透射率設(shè)定單元，其基于所述混合寬度決定單元所決定的混合寬度，來設(shè)定合成時的所述一個圖像和所述其它圖像之間的透射率； 合成單元，其基于所述混合寬度、和由所述透射率設(shè)定單元設(shè)定的透射率，來合成所述一個圖像和所述其它圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述圖像處理裝置還具備能量分布圖生成單元， 所述能量分布圖生成單元生成所述能量計算單元所計算出的每個關(guān)注像素的能量在二維平面上的分布，作為能量分布圖， 所述范圍搜索單元在與所述能量分布圖生成單元生成能量分布圖的所述規(guī)定方向正交的方向上，搜索所述能量成為最小的路徑。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 所述混合寬度決定單元在所述能量分布圖的所述規(guī)定方向上，搜索與所述能量最小路徑搜索單元搜索到的路徑中的關(guān)注像素之間的能量的差分為規(guī)定的平坦程度的像素范圍，作為具有所述相似的值的像素范圍。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述圖像處理裝置還具備分布圖生成單元， 所述分布圖生成單元生成用于所述透射率設(shè)定單元設(shè)定透射率的分布圖， 所述透射率設(shè)定單元設(shè)定與所述分布圖生成單元生成的分布圖對應(yīng)的透射率。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述分布圖生成單元以所述能量最小路徑搜索單元搜索到的路徑為起點，朝向所述規(guī)定方向，生成所述透射率進行變化的分布圖。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述規(guī)定方向是垂直方向， 所述合成單元在垂直方向上合成所述一個圖像和所述其它圖像。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述圖像處理裝置還具備 攝像單兀；和 生成單元，其根據(jù)所述攝像單元所拍攝到的圖像，生成第I全景圖像和第2全景圖像， 所述一個圖像是所述第I全景圖像，所述其它圖像是所述第2全景圖像。
8.一種圖像處理方法，由圖像處理裝置執(zhí)行，其特征在于，具備能量計算步驟，基于一個圖像和成為該一個圖像的合成對象的其它圖像，分別計算與所述一個圖像內(nèi)的各關(guān)注像素對應(yīng)的能量； 能量最小路徑搜索步驟，搜索所述能量計算步驟中所分別計算出的關(guān)注像素的能量成為最小的所述一個圖像中的路徑； 范圍搜索步驟，在該一個圖像內(nèi)，搜索具有與所述能量最小路徑搜索步驟中搜索到的路徑中的所述一個圖像內(nèi)的各關(guān)注像素的值相似的值的像素范圍； 混合寬度決定步驟，基于所述范圍搜索步驟中搜索到的像素范圍，來決定以所述路徑為起點的所述一個圖像和所述其它圖像的混合寬度； 透射率設(shè)定步驟，基于所述混合寬度決定步驟中決定的混合寬度，來設(shè)定合成時的所述一個圖像和所述其它圖像之間的透射率；和 合成步驟，基于所述混合寬度、和所述透射率設(shè)定步驟中設(shè)定的透射率，來合成所述一個圖像和所述其它圖像。
全文摘要
攝像裝置具備能量計算部，其基于一個圖像和成為該一個圖像的合成對象的其它圖像，來分別計算與所述一個圖像內(nèi)的各關(guān)注像素對應(yīng)的能量；能量最小路徑搜索部，其搜索分別計算出的關(guān)注像素的能量成為最小的所述一個圖像中的路徑；范圍搜索部在所述一個圖像內(nèi)搜索具有與搜索到的路徑中的該一個圖像內(nèi)的各關(guān)注像素的值相似的值的像素范圍；α混合寬度決定部，其基于搜索到的像素范圍，決定以所述路徑為起點的所述一個圖像和所述其它圖像的混合寬度；透射率設(shè)定部，其基于所決定的混合寬度來設(shè)定合成時的所述一個圖像以及所述其他的圖像之間的透射率；合成部，其基于所述混合寬度、和所設(shè)定的透射率，來合成所述一個圖像和所述其它圖像。
文檔編號H04N5/91GK103002210SQ20121032571
公開日2013年3月27日 申請日期2012年9月5日 優(yōu)先權(quán)日2011年9月8日
發(fā)明者松本康佑, 宮本直知 申請人:卡西歐計算機株式會社