專利名稱：圖像處理設(shè)備、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本公開涉及一種用于生成全景(panoramic)圖像的圖像處理設(shè)備和圖像處理方法以及用于實現(xiàn)其的程序。
背景技術(shù)：
如在日本專利申請?zhí)亻_No. 2010-161520中所描述的，已知用于從多個圖像來生成ー個全景圖像的圖像處理。在合成多個成像后圖像(多個幀圖像數(shù)據(jù))以生成全景圖像的過程中，如果在成像后場景中存在運動對象，則這變?yōu)閳D像爆裂(crash)或降級的圖像質(zhì)量的緣由，例如，一部分運動對象是分離的或模糊的。
因而，已提出了一種用于檢測運動對象并在避開運動對象的同時確定形成全景圖像的接合處(接縫)的方法。

發(fā)明內(nèi)容
當在避免特定對象的同時確定接縫并合成每個圖像吋，出現(xiàn)下述問題。為了對于整個全景圖像確定最適宜的接合處，參考要合成的所有圖像幀的信息(位置、像素、運動對象、人臉檢測等中的至少ー個)來確定接合處。因而，在對所有圖像幀的處理(成像、對準、各種檢測處理等)完成之前，將不開始確定接合處的處理。這意味著，在用于執(zhí)行全景合成的系統(tǒng)中，在完成對最終成像后圖像的處理之前，要保存包括所有圖像的像素信息的所有信息。因為在全景合成中通常合成具有較寬范圍的重疊區(qū)域的大量靜止圖像，所以成像后圖像的數(shù)據(jù)量是最終全景圖像的數(shù)據(jù)量的幾倍至幾十倍。因此，特別是在對存儲器容量具有嚴格限制的合成設(shè)備中，這可能變成降低全景圖像的圖像質(zhì)量或引發(fā)全景場角變窄的因素。例如，除非采取諸如降低成像后圖像的分辨率或減少成像后圖像的數(shù)量的措施，否則在ー些情況下可能不能實現(xiàn)全景圖像的生成，并且，很難生成具有高分辨率、高圖像質(zhì)量和寬場角的全景圖像。因為在完成所有圖像的成像之前不開始接縫的確定，所以同時增加了全景合成時間。就這樣的問題來看，希望實現(xiàn)在全景圖像的生成中，利用較低的存儲器容量和較短的處理時間、在避免運動對象的接合處執(zhí)行合成的過程。根據(jù)本公開，提供了ー種圖像處理設(shè)備，包括對象信息檢測部分，用于在用來生成全景圖像的一系列n個幀圖像數(shù)據(jù)的輸入過程中檢測關(guān)于幀圖像數(shù)據(jù)的對象信息；以及接縫確定處理部分，用于在輸入過程中依序執(zhí)行如下處理，即通過使用對于每m+l(m < n)幀圖像數(shù)據(jù)組由對象信息檢測部分檢測的對象信息的最佳位置確定處理，來獲得要變成相鄰幀圖像數(shù)據(jù)之間的接合處的m個接合處中的每ー個的位置并確定m或更少個接合處。
其可以進一歩包括圖像合成部分，用于通過基于由接縫確定處理部分確定的接合處合成每個幀圖像數(shù)據(jù)，來使用n個幀圖像數(shù)據(jù)而生成全景圖像數(shù)據(jù)。根據(jù)本公開，提供了ー種圖像處理方法，包括，在用來生成全景圖像的一系列n(m< n)個幀圖像數(shù)據(jù)的輸入過程中，依序執(zhí)行如下處理檢測關(guān)于幀圖像數(shù)據(jù)的對象信息；以及通過使用對于每m+1幀圖像數(shù)據(jù)組由對象信息檢測部分檢測的對象信息的最佳位置確定處理，來獲得要變成相鄰幀圖像數(shù)據(jù)之間的接合處的m個接合處中的每ー個的位置并確定m或更少個接合處。根據(jù)本公開，提供了一種用于使得計算處理單元在用來生成全景圖像的一系列n(m < n)個幀圖像數(shù)據(jù)的輸入過程中，依序執(zhí)行如下處理的程序檢測關(guān)于幀圖像數(shù)據(jù)的對象信息；以及通過使用對于每m+1幀圖像數(shù)據(jù)組由對象信息檢測部分檢測的對象信息的最佳位置確定處理，來獲得要變成相鄰幀圖像數(shù)據(jù)之間的接合處的m個接合處中的每ー個的位置并確定m或更少個接合處。
根據(jù)上述本公開的實施例，當通過合成n個幀圖像數(shù)據(jù)生成全景圖像時，在這樣的n個幀圖像數(shù)據(jù)的輸入過程中依序確定接合處(接縫)。換句話說，對于每m+1幀圖像數(shù)據(jù)組，關(guān)于m+1幀圖像數(shù)據(jù)的相鄰圖像之間的m個接縫全面地獲得最佳接合處位置。然后，確定m或更少個接合處(至少ー個或更多個接合處)。在幀圖像數(shù)據(jù)的輸入過程中重復執(zhí)行該處理以確定每個接縫。因此，能夠在完成所有n個幀圖像數(shù)據(jù)的輸入之前進行接縫確定處理。此外，因為在其中確定接縫的幀圖像數(shù)據(jù)中已經(jīng)確定了不用于全景合成的圖像部分，所以要存儲的圖像容量可以被減小。此外，可以通過利用m+1幀圖像數(shù)據(jù)組來獲得每個接縫，而執(zhí)行考慮全部多個幀圖像數(shù)據(jù)的接縫確定。根據(jù)本公開的實施例，可以在全景圖像的生成中利用較低的存儲器容量和較短的處理時間來實現(xiàn)在避免運動對象的接合處執(zhí)行合成的過程。因為就m+1幀圖像數(shù)據(jù)組中的全部多個幀圖像數(shù)據(jù)來獲得最佳接縫，所以所確定的接縫變?yōu)楦m當?shù)奈恢谩?br>

圖I是根據(jù)本公開的實施例的成像設(shè)備的框圖；圖2是在全景成像中得到的圖像組的示范性視圖；圖3是全景成像的幀圖像數(shù)據(jù)中的接縫的示范性視圖；圖4是全景圖像的示范性視圖；圖5是實施例的全景合成過程的示范性視圖；圖6是實施例的成本函數(shù)(cost function)的示范性視圖；圖7是其中在實施例的成本函數(shù)上反映空間條件的示范性視圖；圖8是實施例的幀之間的成本函數(shù)的關(guān)系的示范性視圖；圖9是實施例的全景合成過程示例I的流程圖；圖10是實施例的接縫前后的混合過程的示范性視圖；、圖11是在實施例的輸入過程中的接縫確定的示范性視圖；圖12是要在實施例的接縫確定之后保存的區(qū)域的示范性視圖13是與實施例的幀次序?qū)?yīng)的接合處設(shè)置范圍的示范性視圖；圖14A是實施例的全景合成過程示例II的流程圖；圖14B是實施例的全景合成過程示例II的流程圖；并且圖15是實施例的全景合成過程示例III的流程圖。
具體實施例方式下面，將參考附圖詳細描述本公開的優(yōu)選實施例。注意，在本說明書和附圖中，用相同的參考數(shù)字來表示具有基本相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略對這些結(jié)構(gòu)元件的重復解釋。下面將按以下次序描述實施例。在本文檔中，有時將圖14A和圖14B簡單指示為圖14，并且當對它們進行區(qū)分時用符號A、B來指示。在實施例中，將通過示例的方式來描 述安裝有本公開的圖像處理設(shè)備的成像設(shè)備?！碔.成像設(shè)備的構(gòu)造〉<2.全景合成功能的概述><3.實施例的全景合成算法〉<4.全景合成過程示例I〉<5.全景合成過程示例II〉<6.全景合成過程示例III〉<7.程序〉<8.變體 >〈I.成像設(shè)備的構(gòu)造〉圖I示出成像設(shè)備I的構(gòu)造示例。成像設(shè)備I包括透鏡單元100、成像元件101、圖像處理部分102、控制部分103、顯示部分104、存儲器部分105、記錄設(shè)備106、操作部分107和傳感器部分108。透鏡單元100收集對象的光圖像。透鏡單元100具有用于調(diào)整焦距、物距(subjectdistance)、光圈等的機制，以使得根據(jù)來自控制部分103的指令獲得適當圖像。成像元件101對由透鏡單元100收集的光圖像進行光電轉(zhuǎn)換以轉(zhuǎn)換成電信號。具體地，通過CCD (電荷耦合器件)圖像傳感器、CMOS (互補金屬氧化物半導體)圖像傳感器等來實現(xiàn)成像元件101。圖像處理部分102包括采樣電路，用于對來自成像元件101的電信號進行采樣；A/D轉(zhuǎn)換器電路，用于將模擬信號轉(zhuǎn)換成數(shù)字信號；圖像處理電路，用于對數(shù)字信號執(zhí)行預定的圖像處理；等等。這里，圖像處理部分102適于執(zhí)行隨后將描述的用于通過成像元件101中的成像來獲得幀圖像數(shù)據(jù)的處理及用于合成全景圖像的處理。圖像處理部分102不僅包括專用的硬件電路，還包括能夠執(zhí)行軟件處理以負責靈活的圖像處理的CPU(中央處理單元)和DSP(數(shù)字信號處理器)?？刂撇糠?03包括CPU及控制程序，并且控制成像設(shè)備I的每個單元?？刂瞥绦蜃陨韺嶋H被存儲在存儲器部分105中，并且由CPU執(zhí)行。通過控制部分103和圖像處理部分102來執(zhí)行本實施例的用于合成全景圖像的過程(隨后將描述的全景合成過程I、II、III等)。
顯示部分104包括D/A轉(zhuǎn)換器電路，用于將由圖像處理部分102處理并存儲在存儲器部分105中的圖像數(shù)據(jù)轉(zhuǎn)換成模擬形式；視頻編碼器，用于將模擬形式的圖像信號編碼成適于后級中的顯示設(shè)備的形式的視頻信號；以及顯示設(shè)備，用于顯示與輸入的視頻信號相對應(yīng)的圖像。例如通過IXD(液晶顯示器)、有機EL(電致發(fā)光)面板等來實現(xiàn)顯示設(shè)備，并且顯示設(shè)備還具有用作取景器(finder)的功能。存儲器部分105包括諸如DRAM(動態(tài)隨機存取存儲器)的半導體存儲器，并且臨時記錄由圖像處理部分102處理的圖像數(shù)據(jù)、控 制部分103中的控制程序及各種類型的數(shù)據(jù)。記錄設(shè)備106包括諸如半導體存儲器的記錄介質(zhì)，包括閃速存儲器(閃存)、磁盤、光盤及磁光盤；以及關(guān)于這些記錄媒體的記錄和再現(xiàn)系統(tǒng)電路/機制。在成像設(shè)備I的成像中，由圖像處理部分102編碼成JPEG(聯(lián)合圖片專家組)格式并且存儲在存儲器部分105中的JPEG圖像數(shù)據(jù)被記錄在記錄媒體上。在再現(xiàn)中，保存在記錄媒體中的JPEG圖像數(shù)據(jù)被讀取到存儲器部分105中，并且經(jīng)歷圖像處理部分102的解碼過程?？梢詫⒔獯a的圖像數(shù)據(jù)顯示在顯示部分104中，或者可以通過外部接ロ(未示出)將其輸出到外部設(shè)備。操作部分107包括諸如快門按鈕、操作盤的硬件鍵以及諸如觸摸板的輸入設(shè)備，并且適于檢測拍攝者(用戶)的輸入操作及將其發(fā)送到控制部分103。控制部分103根據(jù)用戶的輸入操作來確定成像設(shè)備I的操作，并且執(zhí)行控制使得每個單元執(zhí)行期望的操作。傳感器部分108包括陀螺儀傳感器、加速傳感器、地磁傳感器、GSP (全球定位系統(tǒng))傳感器等，并且適于執(zhí)行對各種類型的信息的檢測。這樣的信息作為元數(shù)據(jù)被添加到成像后圖像數(shù)據(jù)，此外，在各種圖像處理和控制過程中被使用。通過總線109使圖像處理部分102、控制部分103、顯示部分104、存儲器部分105、記錄設(shè)備106、操作部分107和傳感器部分108相互連接，使得可以交換圖像數(shù)據(jù)、控制信號
坐寸o<2.全景合成功能的概述>現(xiàn)在將描述成像設(shè)備I的全景合成功能的概述。本實施例的成像設(shè)備I能夠通過關(guān)于在拍攝者繞某個選擇軸旋轉(zhuǎn)地移動成像設(shè)備I的同時成像時獲得的多個靜止圖像(幀圖像數(shù)據(jù))來執(zhí)行合成過程，生成全景圖像。圖2A示出全景成像時的成像設(shè)備I的移動。由于當合成全景圖像時長距離視圖和短距離視圖的視差導致接合處的不自然，所以期望成像時的旋轉(zhuǎn)中心是不產(chǎn)生被稱為節(jié)點(nodal point)的視差的、對透鏡來說卩隹一的點。成像設(shè)備I在全景成像時的旋轉(zhuǎn)移動被稱為“掃視(swe印)”。圖2A是當對通過成像設(shè)備I的掃視而獲得的多個靜止圖像執(zhí)行適當對準時的概念圖。利用按照成像的時間次序的成像中獲得的每個靜止圖像，將從時間0至時間n-1成像的幀圖像數(shù)據(jù)指示為幀圖像數(shù)據(jù)FM#0、FM#1、. . .、FM# (n-1)。當從n個靜止圖像生成全景圖像時，如圖I中所示，對依序成像的一系列n幀圖像數(shù)據(jù)FM#0至FM# (n-1)執(zhí)行合成過程。如圖2A中所示，每個成像后圖像數(shù)據(jù)必須與相鄰的幀圖像數(shù)據(jù)具有重疊的部分，并且因此要適當設(shè)置成像設(shè)備I的每個幀圖像數(shù)據(jù)的成像時間間隔及拍攝者進行掃視的速度的上限值。以此方式對準的幀圖像數(shù)據(jù)組具有許多重疊部分，并且因此應(yīng)關(guān)于每個幀圖像數(shù)據(jù)確定用于最后的全景圖像的區(qū)域。換句話說，要確定全景合成過程中的圖像的接合部分(接縫)。在圖3A和圖3B中，示出了接縫SM的ー個示例。接縫可以是如圖3A中所示的垂直于掃視方向的線或可以如圖3B中所示是非線性(曲線等)的。在圖3A和圖3B中，接縫SMO示出了在幀圖像數(shù)據(jù)FM#0、FM#1之間的接合處，接縫SMl示出了在幀圖像數(shù)據(jù)FM#1、FM#2之間的接合處，,以及接縫SM(n-2)示出了在幀圖像數(shù)據(jù)FM# (n-2)、FM# (n-1)之間的接合處。
這樣的接縫SMO至SM (n-2)在合成時變成相鄰的圖像之間的接合處，使得每個幀圖像數(shù)據(jù)中的陰影部分變成在最后的全景圖像中不使用的圖像區(qū)域。當執(zhí)行全景合成時，為了降低接縫周圍的圖像的不自然，有時對在接縫之前和之后的圖像區(qū)域執(zhí)行混合(blend)過程。隨后將在圖9中描述混合過程。通過在較寬范圍上執(zhí)行混合過程可以接合每個幀圖像數(shù)據(jù)的共同部分，或可以從共同部分中針對每個像素選擇對全景圖像做出貢獻的像素，其中在這些情況中不明顯存在接縫，但是在本說明書中這樣的較寬范圍的接合部分也被認為與接縫相同。如圖2B中所示，作為每個幀圖像數(shù)據(jù)的對準的結(jié)果，一般不僅識別出在掃視方向上而且在垂直于掃視的方向上的輕微移動。這是由于在掃視時拍攝者的手抖動等發(fā)生的移位。通過確定每個幀圖像數(shù)據(jù)的接縫、通過對其邊界區(qū)域執(zhí)行混合過程來接合、以及最后考慮手抖動量來修剪在垂直于掃視的方向上的不必要部分，來獲得具有以掃視方向作為長邊方向的寬視場角的全景圖像，如圖4中所示。在圖4中，垂直線示出接縫，其中示范性示出了分別在接縫SMO至SM(n_2)處接合n個幀圖像數(shù)據(jù)FM#0至FM#(n-l)以生成全景圖像的狀態(tài)。<3.實施例的全景合成算法〉現(xiàn)在將描述本實施例的成像設(shè)備I的全景合成過程的細節(jié)。圖5示出用于全景合成過程的在作為功能構(gòu)造的圖像處理部分102和控制部分103中執(zhí)行的過程、以及由這些功能構(gòu)造站點執(zhí)行的過程。如用點劃線所示的，功能構(gòu)造包括對象信息檢測部分20、接縫確定處理部分21、圖像合成部分22以及全景合成準備處理部分23。對象信息檢測部分20在生成全景圖像中使用的一系列n個幀圖像數(shù)據(jù)的輸入過程中對于每個幀圖像數(shù)據(jù)檢測對象信息。在該示例中，執(zhí)行運動對象檢測處理202和檢測/識別處理203。接縫確定處理部分21執(zhí)行使用在對象信息檢測部分20中檢測的對象信息、通過最佳位置確定過程來對于每m+1 (m < n)幀圖像數(shù)據(jù)組獲得變成相鄰幀圖像數(shù)據(jù)之間的接縫的m個接縫中的每ー個的位置的過程(接縫確定過程205)，以及確定m或更少個接合處。在一系列n個幀圖像數(shù)據(jù)的輸入過程中依序執(zhí)行接縫確定過程205。
圖像合成部分22執(zhí)行用于通過基于在接縫確定處理過程21中確定的接縫來合成每個幀圖像數(shù)據(jù)而使用n個幀圖像數(shù)據(jù)來生成全景圖像數(shù)據(jù)的縫合過程206。全景合成準備處理部分23執(zhí)行例如預處理200、圖像配準處理201及重投影處理204，作為用于準確執(zhí)行全景合成的準備過程。安排對象信息檢測部分20、接縫確定處理部分21及圖像合成部分22被安排為實現(xiàn)本實施例的特征操作。然而，圖像合成部分22的操作可以由外部設(shè)備來執(zhí)行，在該情況下，在本實施例的圖像處理設(shè)備中至少安排對象信息檢測部分20和接縫確定處理部分21?，F(xiàn)在將描述每個過程。變成預處理200的目標的輸入圖像組是在拍攝者正利用成像設(shè)備I執(zhí)行全景成像時依序獲得的幀圖像數(shù)據(jù)FM#0、FM#UFM#2...。首先，在全景合成準備處理部分23中，關(guān)于由拍攝者的全景成像操作所成像的圖像(每個幀圖像數(shù)據(jù))(這里假定圖像經(jīng)歷類似于正常成像時的圖像處理)來執(zhí)行用于全景合成過程的預處理200?；谕哥R單元100的屬性，輸入圖像受色差影響。具體地，透鏡的失真色差不利地影響圖像配準處理201，并使對準的精度降級。失真色差也導致合成后的全景圖像的接縫周圍的偽像，并且因而在預處理200中校正失真色彩。可以通過校正失真色彩來提高運動對象檢測處理202和檢測/識別處理203的準確性。全景合成準備處理部分23對經(jīng)歷預處理200的圖像數(shù)據(jù)執(zhí)行圖像配準處理201。在全景合成中將多個幀圖像數(shù)據(jù)坐標變換到單個坐標系中，其中這樣的單個坐標系被稱為全景坐標系。圖像配準處理201是輸入兩個連續(xù)的幀圖像數(shù)據(jù)、并且在全景坐標系中執(zhí)行對準的過程。通過圖像配準處理201獲得的關(guān)于兩個幀圖像數(shù)據(jù)的信息僅是兩個圖像坐標之間的相對關(guān)系，但是可以通過選擇多個圖像坐標系中的ー個(例如第一幀圖像數(shù)據(jù)的坐標系)并且將其固定為全景坐標系來將所有幀圖像數(shù)據(jù)的坐標系轉(zhuǎn)換到全景坐標系。將在圖像配準處理201中執(zhí)行的具體處理廣泛地分成下面的兩個過程。I.檢測圖像中的局部運動2.從所獲得的局部運動信息中獲得整個圖像的全局運動在過程I中， 塊匹配 諸如Harris、Hessian、SIFT、SURF、FAST的特征點提取和特征點匹配通常用于獲得圖像的特征點的局部矢量。在過程2中，魯棒的估計方法，諸如 最小平方法*M 估計 最小中值法(LMedS)
、
RANSAC (RANdom 樣本一致)被用于獲得最佳仿射變換矩陣和投影變換矩陣(Homography)，其中以在過程I中獲得的局部矢量組作為輸入來描述兩個坐標系之間的關(guān)系。在本說明書中，將這樣的信息稱為圖像配準信息。
全景合成準備處理部分23執(zhí)行重投影處理204。在重投影處理204中，所有幀圖像數(shù)據(jù)基于由圖像配準處理201獲得的圖像配準信息經(jīng)歷在單個平面或諸如圓柱表面或球形表面的單個曲面上的投影處理。同吋，運動對象信息和檢測/識別信息也經(jīng)歷在同一平面或曲面上的投影處理。就像素優(yōu)化處理而言，可以作為縫 合處理206的前一級處理或作為縫合處理206的一部分來執(zhí)行幀圖像數(shù)據(jù)的重投影處理204。其也可以簡單地在圖像配準處理201之前執(zhí)行，例如作為預處理200的一部分。更簡單地，可以不執(zhí)行處理本身，并且可以作為圓柱投影處理的近似來處理該處理本身。對象信息檢測部分20對經(jīng)歷預處理200的每個幀圖像數(shù)據(jù)執(zhí)行運動對象檢測處理202和檢測/識別處理203。在全景合成過程中，由于合成多個幀圖像數(shù)據(jù)的屬性，所以如果在成像場景中存在運動對象，則運動對象的存在變?yōu)閳D像爆裂或降級的圖像質(zhì)量的緣由，例如，一部分運動對象是分離的或模糊的。因而，優(yōu)選地是，檢測運動對象然后在避開運動對象的同時確定全
景的接縫。運動對象檢測處理202是輸入兩個或更多個連續(xù)的幀圖像數(shù)據(jù)并且執(zhí)行對運動對象的檢測的過程。在特定過程的示例中，如果利用由圖像配準處理201獲得圖像的配準信息實際執(zhí)行對準的兩個幀圖像數(shù)據(jù)的像素的差值大于或等于閾值，則將對象被確定為運動對象。替選地，可以使用在圖像配準處理201的魯棒估計時被確定為離體物(outlier)的特征點信息來進行確定。在檢測/識別處理203中，檢測成像后幀圖像數(shù)據(jù)中的人、動物等的面部和身體的位置信息。人和動物很可能是運動對象，并且即使他們不是運動的，如果將全景的接縫確定在該對象上，與其他物體相比，也通常提供視覺方面的不舒服感覺，因此優(yōu)選在避開這些對象的同時確定接縫。也就是說，在檢測/識別處理203中獲得的信息用于補償運動對象檢測處理202的信息。通過接縫確定處理部分21的接縫確定處理205是如下過程即利用來自重投影處理204的圖像數(shù)據(jù)、來自圖像配準處理201的圖像配準信息、來自運動對象檢測處理202的運動對象信息、以及來自檢測/識別處理203的檢測/識別信息作為輸入，確定對于全景圖像具有較少爆裂的適當接縫。這里，將描述其中要獲得的接縫限于垂直于掃視方向的線、如圖3A所示的方法。首先，將參考圖6描述重疊區(qū)域中的成本函數(shù)的定義。在全景坐標系中，掃視方向上的坐標軸是X軸，以及垂直于X軸的軸是y軸。假定在區(qū)域ak彡X彡bk中在時間k成像的幀圖像數(shù)據(jù)FM# (k)和在時間k+1成像的幀圖像數(shù)據(jù)FM#(k+1)重疊，如圖6A中所示。將成本函數(shù)fk(x)定義為將在重疊區(qū)域(ak至bk)中的來自運動對象檢測處理202的運動對象信息和來自檢測/識別處理203的檢測/識別信息適當加權(quán)、按X軸方向投影、并且然后對于所有信息進行累計(integrate)。換句話說，[等式I]
權(quán)利要求
1.一種圖像處理設(shè)備，包括 對象信息檢測部分，用于在用來生成全景圖像的一系列η個幀圖像數(shù)據(jù)的輸入過程中檢測關(guān)于幀圖像數(shù)據(jù)的對象信息；以及 接縫確定處理部分，用于在輸入過程中依序執(zhí)行如下處理，即通過使用對于每m+1 (m< η)幀圖像數(shù)據(jù)組由所述對象信息檢測部分檢測的對象信息的最佳位置確定處理，來獲得要變成相鄰幀圖像數(shù)據(jù)之間的接合處的m個接合處中的每一個的位置并確定m或更少個接合處。
2.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，進一步包括圖像合成部分，用于通過基于由所述接縫確定處理部分確定的接合處合成每個幀圖像數(shù)據(jù)，來使用η幀圖像數(shù)據(jù)而生成全景圖像數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備， 其中，在通過所述接縫確定處理部分確定η-i個接合處之后，所述圖像合成部分使用所述η個幀圖像數(shù)據(jù)來生成全景圖像數(shù)據(jù)。
4.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備， 其中，每當所述接縫確定處理部分在輸入過程中確定一個或多個接合處時，所述圖像合成部分基于所確定的接合處來執(zhí)行多個幀圖像數(shù)據(jù)的合成。
5.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備， 其中，所述接縫確定處理部分在所述最佳位置確定處理中，根據(jù)對象信息來計算反映對象信息的成本函數(shù)值，并且執(zhí)行用于優(yōu)化所述成本函數(shù)值以獲得m個接合處中的每一個的位置的計算。
6.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其中， 用于優(yōu)化所述成本函數(shù)的計算是獲得m個接合處中的每一個的計算，其中每個接合處的成本函數(shù)值之和對于m個接合處中的每一個變成最小值，所述m個接合處中的每一個處于基于接合處設(shè)置范圍內(nèi)的成本函數(shù)值而選擇的接合處位置，在所述接合處設(shè)置范圍中對象在相鄰幀圖像數(shù)據(jù)之間重疊。
7.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備， 其中，所述接縫確定處理部分將用于獲得所述成本函數(shù)值的成本函數(shù)假定為反映圖像的空間條件的函數(shù)。
8.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備， 其中，所述接縫確定處理部分將用于獲得所述成本函數(shù)值的成本函數(shù)假定為反映所述對象信息的可靠性的函數(shù)。
9.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備， 其中，所述接縫確定處理部分將用于獲得所述成本函數(shù)值的成本函數(shù)假定為反映所述m+1幀圖像數(shù)據(jù)組中的幀次序的函數(shù)。
10.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備， 其中，所述接縫確定處理部分依據(jù)所述m+1幀圖像數(shù)據(jù)組中的幀次序、改變基于所述成本函數(shù)值來獲得相鄰幀圖像數(shù)據(jù)之間的接合處的約束條件。
11.根據(jù)權(quán)利要求10所述的圖像處理設(shè)備， 其中，所述約束條件是其中對象在相鄰幀圖像數(shù)據(jù)之間重疊的接合處設(shè)置范圍的設(shè)置。
12.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備， 其中，所述對象信息檢測部分執(zhí)行運動對象檢測以用于所述對象信息的檢測。
13.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備， 其中，所述對象信息檢測部分執(zhí)行人臉檢測以用于所述對象信息的檢測。
14.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備， 其中，所述對象信息檢測部分執(zhí)行人體檢測以用于所述對象信息的檢測。
15.—種圖像處理方法,包括 在用來生成全景圖像的一系列n (m < η)個幀圖像數(shù)據(jù)的輸入過程中，依序執(zhí)行以下處理 檢測關(guān)于幀圖像數(shù)據(jù)的對象信息；以及 通過使用對于每m+1幀圖像數(shù)據(jù)組由對象信息檢測部分檢測的對象信息的最佳位置確定處理，來獲得要變成相鄰幀圖像數(shù)據(jù)之間的接合處的m個接合處中的每一個的位置并確定m或更少個接合處。
16.一種用于使得計算處理單元在用來生成全景圖像的一系列n (m< η)個幀圖像數(shù)據(jù)的輸入過程中，依序執(zhí)行如下處理的程序 檢測關(guān)于幀圖像數(shù)據(jù)的對象信息；以及 通過使用對于每m+1幀圖像數(shù)據(jù)組由對象信息檢測部分檢測的對象信息的最佳位置確定處理，來獲得要變成相鄰幀圖像數(shù)據(jù)之間的接合處的m個接合處中的每一個的位置并確定m或更少個接合處。
全文摘要
提供了一種圖像處理設(shè)備，包括對象信息檢測部分，用于在用來生成全景圖像的一系列n個幀圖像數(shù)據(jù)的輸入過程中檢測關(guān)于幀圖像數(shù)據(jù)的對象信息；以及接縫確定處理部分，用于在輸入過程中依序執(zhí)行如下處理，即通過使用對于每m+1(m＜n)幀圖像數(shù)據(jù)組由所述對象信息檢測部分檢測的對象信息的最佳位置確定處理，來獲得要變成相鄰幀圖像數(shù)據(jù)之間的接合處的m個接合處中的每一個的位置并確定m或更少個接合處。
文檔編號H04N5/232GK102739980SQ201210097648
公開日2012年10月17日 申請日期2012年4月5日 優(yōu)先權(quán)日2011年4月12日
發(fā)明者木村篤史 申請人:索尼公司