技術領域

本發(fā)明涉及對使用魚眼透鏡拍攝到的魚眼圖像的失真進行校正并顯示的圖像顯示裝置和圖像顯示方法。

背景技術：

在數字靜態(tài)照相機等攝像裝置中采用的魚眼透鏡例如雖然能夠進行視角為大致180°這樣的廣范圍的攝像，但由于采用了投影方式，所以由魚眼透鏡拍攝到的圖像(魚眼圖像)具有從其中心部越朝向端部(周邊部)則失真越大這樣的特征。作為顯示使用這樣的魚眼透鏡拍攝到的魚眼圖像的技術，公開有以下這樣的圖像處理裝置：如實用新型注冊第3066594號公報這樣，從魚眼圖像內截取規(guī)定區(qū)域內的圖像，通過對該截取到的區(qū)域內的圖像實施對畸變進行校正的處理從而向用戶提供沒有失真的圖像(校正圖像)(參照專利文獻1)。

根據上述專利文獻的技術，在使用魚眼透鏡進行了廣范圍的攝像的情況下，也能夠針對從其一部分中截取出的區(qū)域內的圖像得到沒有失真的圖像，但是在從由魚眼透鏡拍攝到的圖像(魚眼圖像)中截取規(guī)定區(qū)域內的圖像時，根據其截取方式的不同，有時校正后的圖像的天地方向會不同。

技術實現要素：

本發(fā)明的課題在于，在顯示從魚眼圖像內截取其一部分并進行了失真校正的圖像的情況下，對于用戶來說，能夠正確地確認該截取出的圖像的天地方向。

本發(fā)明提供一種圖像顯示裝置，其特征在于，具備：

截取單元，其從使用魚眼透鏡拍攝到的魚眼圖像內將其一部分作為截取區(qū)域對圖像進行截??；

校正單元，其對通過所述截取單元而截取的圖像的失真進行校正；

顯示單元，其顯示通過所述校正單元校正后的校正圖像；

確定單元，其基于所述魚眼圖像攝像時的姿勢信息來確定通過所述截取單元而截取并通過所述校正單元校正后的校正圖像的天地方向；以及

顯示控制單元，其在使所述顯示單元顯示所述校正圖像時，基于通過所述確定單元而確定的天地方向來進行使所述顯示單元顯示所述校正圖像的控制。

本發(fā)明提供一種圖像顯示裝置中的圖像顯示方法，其特征在于，包括如下步驟：

從使用魚眼透鏡拍攝到的魚眼圖像內將其一部分作為截取區(qū)域對圖像進行截??；

對所截取的圖像的失真進行校正；

顯示校正后的校正圖像；

基于所述魚眼圖像攝像時的姿勢信息來確定所述校正圖像的天地方向；以及

在顯示所述校正圖像時，進行基于所確定的天地方向來進行顯示的控制。

發(fā)明效果

根據本發(fā)明，在顯示從魚眼圖像內截取其一部分并進行了失真校正的圖像的情況下，對于用戶來說，能夠正確地確認該截取出的圖像的天地方向。

附圖說明

附圖與說明書結合并組成了說明書的一部分，對本發(fā)明的實施方式進行說明，并與上述概述和以下詳細的實施方式的說明一起，闡明了發(fā)明的原理。

圖1A是表示將構成作為圖像顯示裝置來應用的數碼照相機的攝像裝置10和主體裝置20一體地組合的狀態(tài)的外觀圖。

圖1B是表示將攝像裝置10與主體裝置20分離的狀態(tài)的外觀圖。

圖2A是表示攝像裝置10的構成的框圖。

圖2B是表示主體裝置20的構成的框圖。

圖3A～C是用于說明攝像裝置10的各種姿勢的圖。

圖3D是表示以圖3C所示的攝像裝置10的姿勢(照相機朝向)拍攝到的魚眼圖像與攝像時的地面方向之間的關系的圖。

圖4A是例示由魚眼透鏡16B拍攝到的圖像(魚眼圖像)的圖。

圖4B是表示在將魚眼圖像顯示于觸摸顯示部26的狀態(tài)下，觸摸該魚眼圖像上的期望的任意的位置的情況的圖。

圖5是例示顯示了對截取區(qū)域內的圖像實施了失真校正后的校正圖像的狀態(tài)的圖。

圖6是表示切換成再現模式時開始執(zhí)行的動作的流程圖。

圖7是用于詳述基于觸摸位置來確定魚眼圖像上的截取區(qū)域的處理(圖5的步驟A7)的流程圖。

圖8是用于詳述識別攝像時的照相機朝向來對截取區(qū)域內的圖像進行截取的處理(圖5的步驟A8)的流程圖。

圖9是用于詳述顯示處理(圖6的步驟A11)的流程圖。

圖10A、圖10B是用于具體說明確定截取區(qū)域的處理的圖。

圖11是用于說明顯示形式表23C的圖。

圖12A是顯示形式A的顯示例。

圖12B是顯示形式B的顯示例。

圖12C是表示顯示形式C的顯示例的圖。

具體實施方式

本發(fā)明的實施方式參照附圖來說明。

以下，參照圖1～圖12來說明本發(fā)明的實施方式。

本實施方式例示出作為圖像顯示裝置而應用于數碼照相機的情況，該數碼照相機是能夠分離成具備后述的攝像部的攝像裝置10和具備后述的顯示部的主體裝置20的分離型數碼照相機。圖1A表示將攝像裝置10和主體裝置20一體地組合的狀態(tài)，圖1B是表示將攝像裝置10和主體裝置20分離的狀態(tài)的圖。構成該分離型數碼照相機的攝像裝置10和主體裝置20能夠使用各自所能利用的無線通信進行配對(無線連接識別)，作為無線通信，使用無線LAN(Wi-Fi)或Bluetooth(注冊商標)。在主體裝置20側，接收取得在攝像裝置10側拍攝到的圖像，并顯示該攝像圖像(實時取景圖像)。

圖2A是表示攝像裝置10的構成的框圖，圖2B是表示主體裝置20的構成的框圖。

在圖2A中，攝像裝置10具備：控制部11、電源部12、存儲部13、通信部14、操作部15、攝像部16、姿勢檢測部17?？刂撇?1通過來自電源部(二次電池)12的電力供給進行動作，按照存儲部13內的各種程序來控制該攝像裝置10的整體動作，在該控制部11設置未圖示的CPU(中央運算處理裝置)、存儲器等。存儲部13例如是具有ROM、閃速存儲器等的構成，保存用于實現本實施方式的程序、各種應用等。通信部14將拍攝到的圖像發(fā)送到主體裝置20側，或接收來自主體裝置20的操作指示信號等。操作部15具備電源開關等基本的操作按鍵(硬件按鍵)。

攝像部16構成能高精細地拍攝被攝體的照相機部，在該攝像部16的透鏡組件16A設置魚眼透鏡16B、攝像元件16C等。另外，在本實施方式的照相機中，通常的攝像透鏡(省略圖示)和魚眼透鏡16B能夠互換，圖示的例子示出取代通常的攝像透鏡(省略圖示)而裝配了魚眼透鏡16B的狀態(tài)。該魚眼透鏡16B例如由3片結構的透鏡系統(tǒng)構成，是能夠實現視角為大致180°這樣的廣范圍的拍攝的圓周魚眼透鏡(全周魚眼透鏡)，由該魚眼透鏡16B拍攝到的圖像的整體是圓形的圖像。

在該情況下，由于采用投影方式，所以由魚眼透鏡16B拍攝到的圖像(魚眼圖像)成為從其中心越朝向端部則失真越大的圖像。若來自該魚眼透鏡16B的被攝體像(光學像)成像于攝像元件(例如，CMOS或CCD)16C，則由攝像元件16C進行了光電轉換的圖像信號(模擬值的信號)在由省略圖示的A/D轉換部轉換成數字信號(圖像信號)，并且實施了規(guī)定的圖像顯示處理后，被發(fā)送至主體裝置20側并進行監(jiān)視器顯示。

姿勢檢測部17利用檢測施加至攝像裝置10的加速度的壓電電阻型或者靜電電容檢測型等3軸加速度傳感器來檢測彼此正交的3軸方向(X·Y·Z方向)的重力加速度，將根據攝像裝置10的姿勢而檢測到的X·Y·Z方向的各加速度分量提供給控制部11。控制部11基于表示從姿勢檢測部17輸出的加速度分量的信號，來檢測攝像裝置10的各種姿勢(后述)。姿勢檢測部17雖然將所檢測出的重力方向、或相對于重力方向為規(guī)定角度范圍內的方向檢測為天地方向，但此時例如將重力方向設為負方向，即，將負方向作為地面方向。另外，上述的規(guī)定角度考慮了地面的傾斜，也可以通過用戶操作任意進行變更。

在圖2B中，主體裝置20具有對使用魚眼透鏡等拍攝到的圖像進行再現的再現功能，具備控制部21、電源部22、存儲部23、通信部24、操作部25、觸摸顯示部26、姿勢檢測部27?？刂撇?1通過來自電源部(二次電池)22的電力供給進行動作，按照存儲部23內的各種程序來控制該主體裝置20的整體動作，在該控制部21設置未圖示的CPU(中央運算處理裝置)、存儲器等。存儲部23例如是具有ROM、閃速存儲器等的構成，且具有：保存用于實現本實施方式的程序、各種應用等的程序存儲器23A；暫時存儲該主體裝置20為了進行動作而需要的各種信息(例如，標志等)的工作存儲器23B；和后述的顯示形式表23C等。

另外，存儲部23例如可以是包含記錄保存魚眼圖像等的SD卡、IC卡等能自由裝卸的可移動型存儲器(記錄介質)的構成，雖然未圖示，但是在經由通信功能與網絡連接的狀態(tài)下，也可以包含規(guī)定的服務器裝置側的存儲區(qū)域。通信部24在與攝像裝置10之間進行各種數據的收發(fā)。操作部25具備電源按鈕、釋放按鈕、設定曝光和快門速度等攝影條件的設定按鈕等按壓按鈕式的各種按鍵，控制部21執(zhí)行與來自該操作部25的輸入操作信號相應的處理，或者將輸入操作信號對攝像裝置10發(fā)送。

觸摸顯示部26是在高精細液晶等顯示器26A上層疊配置了觸摸面板26B的構成，分配配置各種軟件按鍵(觸摸按鍵)并顯示其功能名，或感測手指等的觸摸操作來輸入與該觸摸位置相應的操作信號。觸摸顯示部26的顯示畫面成為將由魚眼透鏡16B拍攝到的圖像(魚眼圖像)等實時地顯示的監(jiān)視器畫面(實時取景畫面)，或成為對攝影完畢圖像(魚眼圖像)等進行再現的再現畫面。姿勢檢測部27是檢測施加至主體裝置20的加速度的3軸加速度傳感器，檢測彼此正交的3軸方向(X·Y·Z方向)的重力加速度，將根據主體裝置20的姿勢檢測到的X·Y·Z方向的各加速度分量提供給控制部21。控制部21基于從姿勢檢測部27輸出的表示加速度分量的信號，來檢測主體裝置20的各種朝向(構成觸摸顯示部26的畫面的各種朝向)。

圖3是用于說明攝像裝置10的姿勢的圖。

攝像裝置10例如成為以下構成：其整體形成箱型，在其正面中央部配置魚眼透鏡16B。圖3A示出照相機的正面方向(魚眼透鏡16B的光軸方向)朝向天的狀態(tài)，即，使魚眼透鏡16B的光軸方向相對于重力方向成為大致相反方向而進行了拍攝的情況(進行了水平拍攝的情況)，B示出魚眼透鏡16B的光軸方向相對于重力方向大致正交的狀態(tài)，即，使照相機相對于地面成為大致垂直而進行了拍攝的情況(進行了垂直拍攝的情況)，進一步地，圖中，以虛線示出的半球表示視角為大致180°這樣的魚眼透鏡16B的攝像范圍。

圖3C示出進行了垂直拍攝的情況下的攝像裝置10的朝向(照相機朝向)，圖示的例子示出：其下表面a成為地面方向的情況下的照相機的朝向、右側面b成為地面方向的情況下的照相機的朝向、左側面c成為地面方向的情況下的照相機的朝向、上表面d成為地面方向的情況下的照相機的朝向。圖3D是表示以圖3C所示的各照相機朝向拍攝到的魚眼圖像與地面方向之間的關系的圖。另外，圖中，各箭頭方向表示與各攝像裝置10的朝向相應的地面方向。例如，在進行了垂直拍攝時的照相機的下表面a成為地面方向的情況(在圖3C的照相機朝向中，地面方向為a的情況)下，圖3D的魚眼圖像中的a的方向成為地面方向。攝像裝置10的控制部11在攝像時基于姿勢檢測部17的檢測結果來檢測圖3A的水平拍攝(水平放置)、圖3B的垂直拍攝(垂直放置)、圖3C的各照相機朝向a～d，作為攝像裝置10的姿勢。該照相機的姿勢信息在記錄保存由主體裝置20側拍攝到的圖像時，即，在對拍攝到的圖像實施規(guī)定的圖像處理(顯像處理等)來生成攝影圖像并記錄保存時，將攝像時的照相機的姿勢信息附加于該攝影圖像來記錄保存。

圖4A是例示由魚眼透鏡16B拍攝到的圖像(魚眼圖像)的圖，表示在主體裝置20側的觸摸顯示部26的再現畫面上顯示的狀態(tài)。

該魚眼圖像表示在圖3A所示的水平拍攝下拍攝到的圖像，圖示的例子示出在建筑物成排建設的街中朝向天空來拍攝該建筑群的情況。在該情況下，作為魚眼透鏡16B，由于采用了能夠進行其視角為大致180°這樣的廣范圍的攝像的圓周魚眼透鏡，所以魚眼圖像(具有特征性失真的魚眼圖像)的整體成為圓形的圖像。

圖4B是表示在圖4A的魚眼圖像顯示于觸摸顯示部26的再現畫面的狀態(tài)下，用手指等來觸摸用戶期望的任意的位置(魚眼圖像上的任意的位置)的情況的圖。

如圖4A所示，從魚眼圖像的中心部離開的周邊部(端部)成為在廣范圍內拍攝而發(fā)生很大失真，并且相比魚眼圖像的中心部，該周邊部被縮小的圖像，所以即使用戶想要詳細地目視確認該周邊部的內容，其確認也極為困難。

在該情況下，若用戶用手指等觸摸魚眼圖像上的任意的位置(想要確認細節(jié)的位置)，例如如圖4B所示，若用戶用手指等觸摸從魚眼圖像的中心部離開的周邊部上的任意的位置，則控制部1將包含該觸摸位置的區(qū)域(例如，大致梯形)確定為截取區(qū)域，對該截取區(qū)域內的圖像實施失真校正。另外，所謂“截取區(qū)域”是表示從魚眼圖像內將其一部分圖像作為顯示對象而讀出的范圍(讀出區(qū)域或讀取區(qū)域)，但是也可以是從魚眼圖像內將該區(qū)域內的圖像抽出(提取)的范圍(以下同樣)。

圖5是例示了對從如圖3A所示在水平拍攝下拍攝到的魚眼圖像內截取出的圖像實施了失真校正后的校正圖像的圖，是切換成圖4A所示的魚眼圖像的整體顯示，將該校正圖像放大顯示的情況。另外，圖示的例子示出通過校正后的圖像(校正圖像)的放大顯示，從而在魚眼圖像的整體顯示下目視確認困難的建筑名(AB)也能夠清晰地進行目視確認的情況。

作為對魚眼圖像的畸變進行校正的處理，在本實施方式中，例如，使用將在虛擬球面模型上的任意點處相切的平面作為屏幕，通過將虛擬球面模型上的點坐標轉換成平面屏幕上的點從而對魚眼圖像的失真進行校正的技術，對該魚眼圖像的失真進行校正的處理(魚眼失真校正處理)由于利用在圖像處理中所一般使用的周知技術，所以省略其具體的說明。這樣的魚眼失真校正處理不限于上述技術，而是任意的。

在校正圖像內，附加顯示表示地面方向的地面標記()。這里，在如圖3所示對魚眼圖像進行了水平拍攝的情況下，從該魚眼圖像內截取出的圖像的地面方向成為從魚眼圖像的中心朝向其端部的方向。即，由于不管魚眼圖像的攝像時的地面方向如何，從魚眼圖像的中心朝向其端部的方向都成為截取出的圖像的地面方向，所以在校正圖像內在該方向上附加地面標記()。

接著，參照圖6～圖9所示的流程圖來說明本實施方式中的數碼照相機的動作概念。這里，這些流程圖中記述的各功能以能讀取的程序代碼的形式被保存，且逐次執(zhí)行遵循該程序代碼的動作。此外，還能夠逐次執(zhí)行遵循經由網絡等傳送介質傳送來的上述程序代碼的動作。即，除了記錄介質以外，還能夠利用經由傳送介質進行外部供給的程序/數據來執(zhí)行本實施方式特有的動作。另外，圖6是表示數碼照相機的整體動作之中本實施方式的特征部分的動作概要的流程圖，在從該圖6的流程中跳出時，返回到整體動作的主流程(省略圖示)中。

這里，在說明主體裝置20側的特征性的動作前，簡單說明攝像時的攝像裝置10與主體裝置20之間的收發(fā)動作。

若從主體裝置20側對攝像裝置10發(fā)送攝影指示，則攝像裝置10響應該攝影指示而將拍攝到的圖像發(fā)送至主體裝置20側，此時，在攝像裝置10側，將在攝像時由姿勢檢測部17檢測到的照相機的姿勢信息附加至該攝像圖像而發(fā)送。若在主體裝置20側從攝像裝置10接收到帶姿勢信息的攝像圖像，則在對該攝像圖像進行顯像處理而生成攝影圖像，并且實施圖像壓縮處理而轉換成標準的文件形式后，將其記錄保存在存儲部23的記錄介質中。

圖6是表示在切換成再現模式時開始執(zhí)行的動作的流程圖。

首先，主體裝置20的控制部21使利用魚眼透鏡16B等攝像并記錄保存的各種圖像(保存圖像)的一覽進行菜單顯示，若通過用戶操作而從該一覽顯示(菜單顯示)之中將期望的圖像(例如，魚眼圖像)選擇為顯示對象(步驟A1)，則使該選擇圖像(魚眼圖像)顯示于觸摸顯示部26的再現畫面(步驟A2)。在該狀態(tài)下，控制部21調查有無對正顯示的選擇圖像(魚眼圖像)上的觸摸(步驟A3)，或調查是否指示了再現結束(是否進行了解除再現模式的操作)(步驟A4)，或調查是否進行了指示選擇圖像(魚眼圖像)的切換的切換操作(步驟A5)。

這里，在指示了再現結束的情況下(步驟A4“是”)，從圖6的流程中跳出，但在進行了魚眼圖像的切換操作的情況下(步驟A5“是”)，返回到最初的步驟A1。另外，若觸摸操作、指示再現結束的操作、指示魚眼圖像的切換的操作都未進行(步驟A3～A5“否”)，則返回到上述的步驟A3，成為該操作等待狀態(tài)?，F在，在為了從魚眼圖像內任意截取其一部分的圖像而觸摸了魚眼圖像上的任意的位置的情況下(步驟A3“是”)，確定觸摸面板26B上的觸摸位置(步驟A6)，并且進行基于該確定出的觸摸位置來確定魚眼圖像上的截取區(qū)域的處理(步驟A7)。

圖7是用于詳述基于觸摸位置來確定截取區(qū)域的處理(圖5的步驟A7)的流程圖。圖10A示出在如圖4A所示使用魚眼透鏡16B進行了水平拍攝的情況下，為了從該拍攝到的魚眼圖像內確定截取區(qū)域而描繪的3種虛擬線，圖10B是示出根據該3種虛擬線確定的截取區(qū)域的圖。

首先，控制部21基于觸摸位置將連結觸摸位置和魚眼圖像的中心點的線段描繪為第1虛擬線(直線)(步驟B1)。接著，在魚眼圖像上描繪一對第2虛擬線(直線)(步驟B2)。即，將魚眼圖像的中心點作為三角形的頂點并且將以第1虛擬線為中線而將其頂角(θ)二等分的一對邊描繪為第2虛擬線。進一步地，在魚眼圖像上描繪一對第3虛擬線(向外側稍稍膨出的曲線)(步驟B3)。即，將以觸摸位置為邊界在魚眼圖像的中心方向和其相反方向上隔開規(guī)定距離(1/2H)的一對線段(向外側稍稍膨出的曲線)描繪為第3虛擬線。然后，將連結一對第2虛擬線和第3虛擬線的交點A、B、C、D的大致梯形的區(qū)域確定為截取區(qū)域(步驟B4)。

由于魚眼圖像具有隨著從其中心離開(朝向端部)而攝影范圍變廣等特征，所以通過使截取區(qū)域為梯形或大致梯形，使其上底朝向魚眼圖像的中心側，使下底朝向魚眼圖像的端部側，從而利用梯形失真校正轉換成長方形的圖像時，能夠防止在與梯形的下底部分相當的圖像部分，像素分量不足的情況。

若這樣來確定截取區(qū)域的處理(圖6的步驟A7)結束，則轉移到下一步驟A8，在進行了識別攝像時的照相機的姿勢信息，并對截取區(qū)域內的圖像進行截取的處理(后述的圖8所示的處理)后，對該截取區(qū)域內的圖像進行梯形失真校正處理(投影轉換處理)(步驟A9)。該梯形失真校正處理不限于截取區(qū)域為梯形的情況，在接近大致梯形的長方形的情況下也進行。另外，作為梯形失真校正處理，由于利用在圖像處理中所一般使用的周知技術，所以省略其具體的說明。進一步地，進行對魚眼圖像的失真進行校正的處理(步驟A10)。另外，該魚眼失真校正處理如上所述，將在虛擬球面模型上的任意的點處相切的平面作為屏幕來進行坐標轉換。然后，轉移至顯示魚眼圖像和其校正圖像的處理(后述的圖9所示的處理)(步驟A11)。

圖8是用于詳述識別攝像時的照相機朝向并對截取區(qū)域內的圖像進行截取的處理(圖6的步驟A8)的流程圖。

首先，控制部21在選擇圖像(魚眼圖像)正顯示于觸摸顯示部26的再現畫面的狀態(tài)下，讀出預先附加給該魚眼圖像的攝像時的照相機的姿勢信息(步驟C1)，基于該姿勢信息，調查是檢測到進行了水平拍攝，還是檢測到進行了垂直拍攝(步驟C2)，在對魚眼圖像進行了垂直拍攝的情況下(步驟C1中垂直拍攝)，從所確定的截取區(qū)域(大致梯形區(qū)域)內截取圖像(步驟C3)，并且將該照相機朝向a～d的方向確定為地面方向(步驟C4)。

另一方面，在基于照相機的姿勢信息檢測到對魚眼圖像進行了水平拍攝的情況下(步驟C1中水平拍攝)，從所確定的截取區(qū)域(大致梯形區(qū)域)內截取圖像(步驟C5)，并且將從魚眼圖像的中心朝向其端部的方向確定為該截取出的圖像的地面方向(步驟C6)。即，無論魚眼圖像的攝像時的地面方向如何，都將從魚眼圖像的中心朝向其端部的方向確定為截取出的圖像的地面方向。然后，進行將該截取出的圖像向所確定的地面方向旋轉的處理(步驟C7)。另外，在檢測是垂直拍攝還是水平拍攝時，只要根據附加在該魚眼圖像上的姿勢信息(加速度傳感器的測定值)是否超過了某規(guī)定的閾值來判定是垂直拍攝還是水平拍攝即可，當然也可以采用這以外的方法來檢測。

圖9是用于詳述顯示處理(圖6的步驟A11)的流程圖。

首先，控制部21讀出附加在魚眼圖像上的照相機的姿勢信息(步驟D1)，基于該姿勢信息來確定校正圖像的地面方向(步驟D2)。即，若照相機的姿勢信息是“水平拍攝”，則將魚眼圖像的外側方向(從中心離開的方向)確定為校正圖像的地面方向。此外，若照相機的姿勢信息是“垂直拍攝”且該照相機朝向為a～d，則將該朝向a～d確定為校正圖像的地面方向。并且，在校正圖像上附加表示地面方向的地面標記(印記)(步驟D3)。然后，控制部21參照顯示形式表23C，判別截取區(qū)域內的圖像(校正后的圖像)的顯示形式(步驟D4)。

圖11是用于說明顯示形式表23C的圖，是存儲多個在顯示截取魚眼圖像內的一部分圖像并實施了失真校正后的校正圖像的情況下，用于顯示截取了魚眼圖像內的哪個部分(位置)的顯示形式的結構，具有“顯示形式”、“內容”、“選擇標志”的各項目?！帮@示形式”表示顯示形式的種類，圖示的例子是存儲了“A”、“B”、“C”作為3種顯示形式的情況?！皟热荨北硎舅鶎娘@示形式的內容，顯示形式“A”表示對魚眼圖像和校正圖像進行切換顯示的形式，顯示形式“B”表示將魚眼圖像重疊于校正圖像的一部分來進行顯示的形式，顯示形式“C”表示在魚眼圖像上的截取區(qū)域的位置處重疊校正圖像進行顯示的形式。

“選擇標志”表示3種顯示形式之中預先由用戶任意選擇指定的顯示方式，圖中，與顯示形式“B”對應附隨的“1(標志有效)”表示是通過用戶操作選擇出的顯示方式，“0(標志無效)”表示是未被選擇的顯示方式。該情況下，若在將預先決定的多個顯示形式一覽顯示(菜單顯示)在觸摸顯示部26上的狀態(tài)下，從該菜單畫面之中觸摸(選擇)任意的顯示形式，則控制部21訪問顯示形式表23C，將與該選擇出的顯示形式對應的“選擇標志”設為有效(“1”)。

現在，在顯示形式“A”被用戶選擇(選擇標志為有效)的情況下(步驟D1)，在每次進行切換操作時，控制部21將魚眼圖像和帶地面標記(印記)的校正圖像切換顯示在觸摸顯示部26的再現畫面上(步驟D5)。該情況下，使魚眼圖像或校正圖像的地面方向對準再現畫面的下方向來對魚眼圖像和校正圖像進行切換顯示。圖12A是示出顯示形式A下的切換顯示的例子的圖。在該情況下，截取區(qū)域內的圖像(校正圖像)被放大顯示到再現畫面的整體，所以對于用戶來說，即使是其詳細部分也都能夠確認，并且能夠通過地面標記(印記)的附加而容易地確認地面方向。

在顯示形式“B”被戶選擇(選擇標志為有效)的情況下(步驟D1)，在將帶地面標記(印記)的校正圖像放大顯示到再現畫面的整體的狀態(tài)下，控制部21在該再現畫面(校正圖像)的角部重疊將魚眼圖像縮小成規(guī)定尺寸的圖像來使其同時顯示(步驟D6)。在該情況下，使魚眼圖像或校正圖像的地面方向對準再現畫面的下方向。圖12B是表示顯示形式B下的同時顯示的例子的圖。對于用戶來說，即使是校正圖像的詳細部分也都能夠確認，并且能夠通過地面標記(印記)的附加而容易地確認地面方向。

在顯示形式“C”被用戶選擇(選擇標志為有效)的情況下(步驟D1)，在魚眼圖像上的截取區(qū)域的位置處重疊顯示校正圖像(步驟D7)。在該情況下，截取區(qū)域內的圖像(校正圖像)例如被變更成魚眼圖像的整體的1/8或1/12程度的尺寸，并且使該校正圖像的中心對準觸摸位置，并且，按照使校正圖像的地面方向成為魚眼圖像的外側方向(在從魚眼圖像的中心連結截取區(qū)域的中心的線上，從魚眼圖像的中心離開的方向)的方式使魚眼圖像重疊顯示。圖12C是例示顯示形式C下的同時顯示的狀態(tài)的圖，控制部21按照使校正圖像的地面方向朝向魚眼圖像的外側的方式來控制其顯示朝向。由此，對于用戶來說，能夠通過重疊顯示于魚眼圖像上的校正圖像來確認截取出了魚眼圖像上的哪個部分(位置)，而且能夠同時確認校正圖像，并且能夠通過地面標記(印記)的附加而同時確認地面方向。

若這樣而使顯示處理(圖5的步驟A11)結束，則調查是否指示了再現結束(是否進行了解除再現模式的操作)(步驟A12)，或調查是否進行了指示選擇圖像(魚眼圖像)的切換的切換操作(步驟A13)。這里，在指示了再現結束的情況下(步驟A12“是”)，從圖6的流程跳出，而在進行了圖像的切換操作的情況下(步驟A13“是”)，返回到最初的步驟A1，以下，重復上述的動作。

如上，在本實施方式中，主體裝置20的控制部21在從使用攝像裝置10的魚眼透鏡16B拍攝到的圖像(魚眼圖像)內將其一部分的圖像截取為顯示對象并對該截取區(qū)域內的圖像實施失真校正來進行顯示的情況下，基于附加在魚眼圖像上的攝像時的姿勢信息來確定校正圖像的天地方向，在使校正圖像顯示時，基于所確定出的天地方向，使該校正圖像在觸摸顯示部26上旋轉來進行顯示，所以在顯示從魚眼圖像內截取其一部分并進行了失真校正的圖像的情況下，對于用戶來說，無論進行了什么樣的截取都能夠正確地確認該截取出的圖像的天地方向。

主體裝置20的控制部21在將表示是使魚眼透鏡16B的光軸方向相對于地面成為大致垂直而進行了拍攝的水平拍攝的姿勢信息附加給魚眼圖像的情況下，在從魚眼圖像的中心連結截取區(qū)域(觸摸位置)的線上，將從魚眼圖像的中心離開的方向確定為校正圖像的地面方向，所以能夠準確地確定從水平拍攝的魚眼圖像截取出的圖像的地面方向。

主體裝置20的控制部21在將校正圖像重疊顯示在水平拍攝到的魚眼圖像內的截取區(qū)域的位置時，按照使校正圖像的地面方向朝向魚眼圖像的外側的方式來控制其顯示朝向，所以對于用戶來說，能夠容易地確認校正圖像的地面方向。

攝像裝置10具備使用魚眼透鏡16B來攝像的攝像部16和檢測攝像裝置10的姿勢的姿勢檢測部27，在使用魚眼透鏡16B拍攝到的圖像(魚眼圖像)上附加由姿勢檢測部27檢測到的姿勢信息，所以能夠容易的根據魚眼圖像的姿勢信息來確定從魚眼圖像截取出的圖像的姿勢。

主體裝置20的控制部21在同時顯示魚眼圖像和校正圖像時，使魚眼圖像的天地方向和校正圖像的天地方向一致來顯示，所以能夠容易地對魚眼圖像和校正圖像進行對比。

主體裝置20的控制部21在對魚眼圖像和校正圖像進行切換來顯示時，使魚眼圖像的天地方向和校正圖像的天地方向一致來顯示，所以能夠在畫面整體顯示校正圖像，即使是校正圖像的詳細部分也都能夠確認。

由于識別顯示校正圖像的天地方向，所以對于用戶來說，能夠容易地確認其天地方向。

由于在校正圖像內附加了表示其天地方向的標記，所以對于用戶來說，能夠直觀地確認其天地方向。

另外，在上述實施方式中，雖然在校正圖像內識別顯示了其地面方向，但也可以識別顯示天空方向。

在識別顯示校正圖像的天地方向時，雖然附加了標記，但是該識別顯示的方法是任意的，例如，也可以使校正圖像的一部分閃爍顯示，或著色顯示，進一步地，不限于顯示，例如，也可以作為聲音消息來輸出右上角部、左下角部、下中央部等從而指引校正圖像的天地方向。此外，在上述實施方式中，雖然能夠通過向校正圖像上附加地面標記(印記)來確認地面方向，但是也可以省略地面標記，并且使校正圖像的地面?zhèn)仁冀K為顯示畫面的總是規(guī)定方向側，例如使校正圖像的地面?zhèn)瘸蔀轱@示畫面的下側，這樣來顯示。

在上述實施方式中，作為顯示形式A，示出了在每次切換操作時對魚眼圖像和從該圖像中截取并進行了失真校正后的校正圖像進行切換顯示的情況，但是也可以并列顯示魚眼圖像和校正圖像。此外，也可以構成為通過用戶操作來對以下模式進行切換：在每次切換操作時對魚眼圖像和從該圖像中截取并進行了失真校正后的校正圖像進行切換顯示的模式；和將魚眼圖像和校正圖像并列顯示的情況的模式。

在上述實施方式中，在確定截取區(qū)域的情況下，截取區(qū)域不限于梯形，是任意的，但是由于例如魚眼圖像具有隨著從其中心離開(朝向端部)而攝影范圍變廣等特征，所以考慮該特征，為了越遠(越朝向端部)則越增多像素分量，也可以如梯形這樣使截取區(qū)域變廣等，根據距魚眼圖像的中心的距離來使截取區(qū)域的大小分別不同。

此外，在上述實施方式中，在按照觸摸位置來確定截取區(qū)域的情況下，雖然確定為使觸摸位置成為截取區(qū)域的中心，但是也可以預先將魚眼圖像的整體在邏輯上分割為多個區(qū)域，當在魚眼圖像上進行了觸摸時，將被分割的各區(qū)域之中該觸摸位置所屬的區(qū)域確定為截取區(qū)域。另外，在將魚眼圖像的整體預先分割成多個區(qū)域的情況下，也可以考慮魚眼透鏡16B的特征，按照距魚眼圖像的中心的距離而使各分割區(qū)域的大小不同。

在上述實施方式中，在顯示形式“C”的情況下，如圖12C所示，使校正圖像的中心與魚眼圖像上的觸摸位置對準，并且，使校正圖像的地面方向成為魚眼圖像的外側方向，這樣來進行重疊顯示，但是也可以與此相反，使校正圖像的地面方向與魚眼圖像的內側方向(中心方向)對準而進行重疊顯示。此外，在圖12C的顯示例中，例示了在魚眼圖像上重疊顯示一個校正圖像的情況，但是在魚眼圖像上觸摸了多個位置的情況下，也可以按每個觸摸位置來重疊顯示在該位置處截取并進行了失真校正的圖像。

此外，在上述實施方式中，說明了應用于將攝像裝置10和主體裝置20分體化的分離類型的照相機的情況，但也可以應用于將它們一體化的緊湊型照相機中，此外，也可以應用于固定地裝配了魚眼透鏡16B的魚眼專用照相機中。

在上述實施方式中，示出作為圖像顯示裝置而應用于數碼照相機的情況，但并不限于照相機，也可以是具備顯示功能的個人計算機、PDA(面向個人的便攜式信息通信設備)、平板終端裝置、智能手機等便攜式電話機、電子游戲機、電子表、音樂播放器等。

此外，在上述實施方式中示出的“裝置”、“部”可以按功能分離成多個框體，并不限于單一的框體。此外，上述流程圖中記述的各步驟并不限于時間序列的處理，也可以并行地處理多個步驟，或分別獨立地進行處理。

以上，說明了本發(fā)明的實施方式，但本發(fā)明并不限于此，而是包含權利要求書中記載的發(fā)明和其均等的范圍。