圖像處理裝置、攝像裝置、圖像處理方法及圖像處理程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理裝置、攝像裝置、圖像處理方法及圖像處理程序。
【背景技術(shù)】
[0002] 作為數(shù)碼相機(jī)，除了使用相位差檢測(cè)方式、對(duì)比度檢測(cè)方式的自動(dòng)對(duì)焦外，具備使 用者能夠以手動(dòng)進(jìn)行調(diào)焦的所謂的手動(dòng)對(duì)焦模式的數(shù)碼相機(jī)也廣為人知。
[0003] 作為具有手動(dòng)對(duì)焦模式的數(shù)碼相機(jī)，已知有采用了如下方法的相機(jī)：以能夠?qū)Ρ?攝體進(jìn)行確認(rèn)并進(jìn)行調(diào)焦的方式設(shè)置反射鏡并使用顯示目視的相位差的分裂式微棱鏡屏。 另外，也已知有采用了對(duì)目視的對(duì)比度進(jìn)行確認(rèn)的方法的數(shù)碼相機(jī)。
[0004] 然而，在近年來(lái)普及的省略了反射鏡的數(shù)碼相機(jī)中，由于沒有反射鏡，因此沒有顯 示相位差并對(duì)被攝體像進(jìn)行確認(rèn)的方法，必須依靠對(duì)比度檢測(cè)方式。但是，在該情況下，不 能顯示IXD(liquid crystal display:液晶顯示器）等顯示裝置的分辨率以上的對(duì)比度， 必須采用進(jìn)行局部放大等而顯示的方法。
[0005] 因此，近年來(lái)，為了在手動(dòng)對(duì)焦模式時(shí)操作者容易地進(jìn)行對(duì)被攝體對(duì)焦的作業(yè)，將 裂像顯示在即時(shí)預(yù)覽圖像（也稱作實(shí)時(shí)取景圖像）內(nèi)。所謂裂像是例如顯示區(qū)域被分割成 多個(gè)的分割圖像（例如沿上下方向分割的各圖像），是指如下的分割圖像：根據(jù)焦點(diǎn)的偏移 而在視差產(chǎn)生方向（例如左右方向）上偏移，如果是對(duì)焦的狀態(tài)則視差產(chǎn)生方向的偏移消 失。操作者（例如攝影者）對(duì)手動(dòng)聚焦環(huán)（以下稱為"聚焦環(huán)"）進(jìn)行操作而進(jìn)行對(duì)焦，以 使裂像（例如沿上下方向分割的各圖像）的偏移消失。
[0006] 日本特開2009-147665號(hào)公報(bào)（以下稱為"專利文獻(xiàn)1"）所記載的攝像裝置生成 對(duì)第一被攝體像以及第二被攝體像分別進(jìn)行光電轉(zhuǎn)換而成的第一圖像以及第二圖像，上述 第一被攝體像以及第二被攝體像由來(lái)自攝像光學(xué)系統(tǒng)的光束中的、被光瞳分割部分割后的 光束形成。并且，使用這些第一圖像及第二圖像來(lái)生成裂像，并且對(duì)第三被攝體像進(jìn)行光電 轉(zhuǎn)換而生成第三圖像，上述第三被攝體像由未被光瞳分割部分割的光束形成。并且，將第三 圖像顯示于顯示部，并且在第三圖像內(nèi)顯示所生成的裂像，且將從第三圖像提取的顏色信 息附加于裂像。通過(guò)如此將從第三圖像提取的顏色信息附加于裂像，能夠使裂像的視覺確 認(rèn)性良好。
[0007] 日本特開2011-223562號(hào)公報(bào)（以下稱為"專利文獻(xiàn)2"）所記載的攝像裝置對(duì)通 過(guò)了攝影光學(xué)系統(tǒng)的左右方向的不同區(qū)域的光分別進(jìn)行受光，通過(guò)進(jìn)行光電轉(zhuǎn)換而取得左 右的視點(diǎn)圖像，并使對(duì)于左右的視點(diǎn)圖像的陰影校正量不同而對(duì)左右的視點(diǎn)圖像進(jìn)行陰影 校正。
[0008] 日本特開2012-75079號(hào)公報(bào)（以下稱為"專利文獻(xiàn)3"）所記載的攝像裝置的特 征是，對(duì)使用單一的攝影光學(xué)系統(tǒng)拍攝到的左右的視差圖像施加各自不同的陰影校正，以 減輕左右的視差圖像之間的亮度差。
[0009] W02012/036019公報(bào)（以下稱為"專利文獻(xiàn)4"）所記載的攝像裝置具備：對(duì)透鏡 所具有的陰影進(jìn)行校正的二維校正表、對(duì)單眼3D引起的陰影進(jìn)行校正的一維校正表。

【發(fā)明內(nèi)容】

[0010] 發(fā)明所要解決的課題
[0011] 然而，一般，裂像通過(guò)即時(shí)預(yù)覽而連續(xù)地顯示，但在該情況下，由于通常圖像與稱 為相位差圖像的特定的不同的圖像混合存在，因此需要對(duì)各圖像進(jìn)行圖像處理，處理負(fù)荷 變大。當(dāng)進(jìn)行這種處理負(fù)荷較大的圖像處理時(shí)，有可能有損顯示的實(shí)時(shí)性。即，存在從進(jìn) 行攝像到顯示攝像所得到的圖像的時(shí)間變長(zhǎng)、每單位時(shí)間顯示的圖像的張數(shù)減少這樣的擔(dān) 憂。因此，為了確保裂像的顯示的實(shí)時(shí)性，而要求簡(jiǎn)單的圖像處理。
[0012] 本發(fā)明鑒于這樣的實(shí)際情況而提出，其目的是提供能夠以簡(jiǎn)單的結(jié)構(gòu)確保對(duì)焦圖 像用的圖像的顯示的實(shí)時(shí)性的圖像處理裝置、攝像裝置、圖像處理方法及圖像處理程序。
[0013] 用于解決課題的方案
[0014] 為了實(shí)現(xiàn)上述目的，本發(fā)明的第一技術(shù)方案的圖像處理裝置包含：圖像取得部，取 得基于從攝像元件輸出的第一圖像信號(hào)和第二圖像信號(hào)的第一圖像和第二圖像，上述攝像 元件具有通過(guò)使通過(guò)了攝像透鏡的第一區(qū)域和第二區(qū)域的被攝體像進(jìn)行光瞳分割并分別 成像而輸出上述第一圖像信號(hào)和上述第二圖像信號(hào)的第一像素組和第二像素組；靈敏度取 得部，取得上述第一像素組的光瞳分割方向的像素對(duì)經(jīng)由上述第一區(qū)域而入射的光的靈敏 度和上述第二像素組的光瞳分割方向的像素對(duì)經(jīng)由上述第二區(qū)域而入射的光的靈敏度；校 正部，基于由上述靈敏度取得部取得的靈敏度，對(duì)上述第一圖像和上述第二圖像分別求算 線性近似的靈敏度校正系數(shù)，并基于所求出的靈敏度校正系數(shù)來(lái)校正上述第一圖像和上述 第二圖像的亮度；生成部，基于從上述攝像元件輸出的圖像信號(hào)來(lái)生成第一顯示用圖像，并 且基于由上述校正部校正后的上述第一圖像和上述第二圖像來(lái)生成用于對(duì)焦確認(rèn)的第二 顯示用圖像；顯示部，顯示圖像；及顯示控制部，進(jìn)行如下控制：使上述顯示部連續(xù)地顯示 由上述生成部生成的上述第一顯示用圖像作為動(dòng)態(tài)圖像，并且在上述第一顯示用圖像的顯 示區(qū)域內(nèi)連續(xù)地顯示由上述生成部生成的上述第二顯示用圖像作為動(dòng)態(tài)圖像。由此，與不 具有本結(jié)構(gòu)的情況相比，能夠以簡(jiǎn)單的結(jié)構(gòu)確保對(duì)焦圖像用的圖像的顯示的實(shí)時(shí)性。
[0015] 為了實(shí)現(xiàn)上述目的，本發(fā)明的第二技術(shù)方案的圖像處理裝置包含：圖像取得部，取 得基于從攝像元件輸出的第一圖像信號(hào)和第二圖像信號(hào)的第一圖像和第二圖像，上述攝像 元件具有通過(guò)使通過(guò)了攝像透鏡的第一區(qū)域和第二區(qū)域的被攝體像進(jìn)行光瞳分割并分別 成像而輸出上述第一圖像信號(hào)和上述第二圖像信號(hào)的第一像素組和第二像素組；靈敏度取 得部，取得上述第一像素組的光瞳分割方向的至少兩端部的像素對(duì)經(jīng)由上述第一區(qū)域而入 射的光的靈敏度和上述第二像素組的光瞳分割方向的像素對(duì)經(jīng)由上述第二區(qū)域而入射的 光的靈敏度；校正部，基于由上述靈敏度取得部取得的靈敏度，對(duì)上述第一圖像和上述第二 圖像分別求算線性近似的靈敏度校正系數(shù)，并基于所求出的靈敏度校正系數(shù)來(lái)校正上述第 一圖像和上述第二圖像的亮度；生成部，基于從上述攝像元件輸出的圖像信號(hào)來(lái)生成第一 顯示用圖像，并且基于由上述校正部校正后的上述第一圖像和上述第二圖像來(lái)生成用于對(duì) 焦確認(rèn)的第二顯示用圖像；顯示部，顯示圖像；及顯示控制部，進(jìn)行如下控制：抑制上述顯 示部對(duì)由上述生成部生成的上述第一顯示用圖像作為動(dòng)態(tài)圖像的連續(xù)顯示，并且使上述顯 示部連續(xù)地顯示由上述生成部生成的上述第二顯示用圖像作為動(dòng)態(tài)圖像。由此，與不具有 本結(jié)構(gòu)的情況相比，能夠以簡(jiǎn)單的結(jié)構(gòu)確保對(duì)焦圖像用的圖像的顯示的實(shí)時(shí)性。
[0016] 本發(fā)明的第三技術(shù)方案在本發(fā)明的第一技術(shù)方案或第二技術(shù)方案的基礎(chǔ)上，也可 以是，上述靈敏度校正系數(shù)是進(jìn)一步使上述第一像素組和上述第二像素組各自的光瞳分割 方向的中央部所包含的對(duì)應(yīng)的像素間的靈敏度差比上述第一像素組和上述第二像素組各 自的光瞳分割方向的兩端部所包含的對(duì)應(yīng)的像素間的靈敏度差小的靈敏度校正系數(shù)。由 此，與不具有本結(jié)構(gòu)的情況相比，能夠以簡(jiǎn)單的結(jié)構(gòu)，使對(duì)焦確認(rèn)用的圖像的與光瞳分割方 向相當(dāng)?shù)姆较虻闹醒氩克南袼亻g的亮度差比兩端部的亮度差小。
[0017] 本發(fā)明的第四技術(shù)方案在本發(fā)明的第一技術(shù)方案至第三技術(shù)方案中的任一技術(shù) 方案的基礎(chǔ)上，也可以是，上述校正部使用上述靈敏度校正系數(shù)對(duì)由上述圖像取得部取得 的上述第一圖像和上述第二圖像的亮度進(jìn)行校正，并將校正后的亮度乘以預(yù)定系數(shù)而進(jìn)行 調(diào)整。由此，與不具有本結(jié)構(gòu)的情況相比，能夠以簡(jiǎn)單的結(jié)構(gòu)使對(duì)焦確認(rèn)用的圖像的整體的 亮度接近作為目標(biāo)的亮度。
[0018] 本發(fā)明的第五技術(shù)方案在本發(fā)明的第一技術(shù)方案至第四技術(shù)方案中的任一技術(shù) 方案基礎(chǔ)上，也可以是，上述校正部基于攝影條件導(dǎo)出上述靈敏度校正系數(shù)，并使用所導(dǎo)出 的上述靈敏度校正系數(shù)對(duì)由上述圖像取得部取得的上述第一圖像和上述第二圖像的亮度 進(jìn)行校正。由此，與未使用基于攝影條件而導(dǎo)出的靈敏度校正系數(shù)的情況相比，能夠抑制對(duì) 焦確認(rèn)用的圖像的亮度由于攝影條件而背離作為目標(biāo)的亮度。
[0019] 本發(fā)明的第六技術(shù)方案在本發(fā)明的第五技術(shù)方案的基礎(chǔ)上，也可以是，上述校正 部以基于上述攝影條件而確定的目標(biāo)靈敏度為參考來(lái)導(dǎo)出上述靈敏度校正系數(shù)，并使用所 導(dǎo)出的上述靈敏度校正系數(shù)對(duì)由上述圖像取得部取得的上述第一圖像和上述第二圖像的 亮度進(jìn)行校正。由此，與不具有本結(jié)構(gòu)的情況相比，能夠以簡(jiǎn)單的結(jié)構(gòu)抑制對(duì)焦確認(rèn)用的圖 像的亮度由于攝影條件而背離作為目標(biāo)的亮度。
[0020] 本發(fā)明的第七技術(shù)方案在本發(fā)明的第六技術(shù)方案的基礎(chǔ)上，也可以是，將上述攝 影條件設(shè)為光圈值，在對(duì)于預(yù)先確定的多個(gè)光圈值的各光圈值以上述目標(biāo)靈敏度為參考而 預(yù)先導(dǎo)出了上述靈敏度校正系數(shù)的狀態(tài)下，在由上述圖像取得部取得基于上述多個(gè)光圈值 以外的光圈值的上述第一圖像和上述第二圖像的情況下，上述校正部對(duì)與上述多個(gè)光圈值 中的至少兩個(gè)光圈值的各光圈值相關(guān)的上述靈敏度校正系數(shù)進(jìn)行插值，并使用插值后的上 述靈敏度校正系數(shù)對(duì)由上述圖像取得部取得的上述第一圖像和上述第二圖像的亮度進(jìn)行 校正。由此，與不具有本結(jié)構(gòu)的情況相比，在無(wú)級(jí)地設(shè)定光圈值的情況下，也能夠抑制對(duì)焦 確認(rèn)用的圖像的亮度由于光圈值而背離作為目標(biāo)的亮度。
[0021] 本發(fā)明的第八技術(shù)方案在本發(fā)明的第一技術(shù)方案至第七技術(shù)方案中的任一技術(shù) 方案的基礎(chǔ)上，也可以是，上述靈敏度取得部取得上述第一像素組和上述第二像素組各自 的光瞳分割方向的中央部所包含的多個(gè)像素的靈敏度。由此，與不取得第一及第二像素組 各自的光瞳分割方向的中央部所包含的多個(gè)像素的靈敏度的情況相比，能夠高精度地校正 對(duì)焦確認(rèn)用的圖像的中央部的亮度。
[0022] 本發(fā)明的第九技術(shù)方案在本發(fā)明的第一技術(shù)方案至第八技術(shù)方案中的任一技術(shù) 方案的基礎(chǔ)上，也可以是，上述攝像元件還具有第三像素組，上述第三像素組使透過(guò)了上述 攝影透鏡的被攝體像不進(jìn)行光瞳分割而成像并輸出第三圖像信號(hào)，上述生成部基于從上述 第三像素組輸出的上述第三圖像信號(hào)來(lái)生成上述第一顯示用圖像。與不具有本結(jié)構(gòu)的情況 相比，能夠以簡(jiǎn)單的結(jié)構(gòu)提高第一顯示用圖像的畫質(zhì)。
[0023] 為了實(shí)現(xiàn)上述目的，本發(fā)明的第十技術(shù)方案的攝像裝置包含：本發(fā)明的第一技術(shù) 方案至第九技術(shù)方案中的任一技術(shù)方案的圖像處理裝置；攝像元件，具有上述第一像素組 和上述第二像素組；及存儲(chǔ)部，存儲(chǔ)基于從上述攝像元件輸出的圖像信號(hào)而生成的圖像。由 此，與不具有本結(jié)構(gòu)的情況相比，能夠以簡(jiǎn)單的結(jié)構(gòu)確保對(duì)焦圖像用的圖像的顯示的實(shí)時(shí) 性。
[0024] 為了實(shí)現(xiàn)上述目的，本發(fā)明的第十一技術(shù)方案的圖像處理方法包含：取得基于從 攝像元件輸出的第一圖像信號(hào)和第二圖像信號(hào)的第一圖像和第二圖像，上述攝像元件具有 通過(guò)使通過(guò)了攝像透鏡的第一區(qū)域和第二區(qū)域的被攝體像進(jìn)行光瞳分割并分別成像而輸 出上述第一圖像信號(hào)和上述第二圖像信號(hào)的第一像素組和第二像素組，取得上述第一像素 組的光瞳分割方向的像素對(duì)經(jīng)由上述第一區(qū)域而入射的光的靈敏度和上述第二像素組的 光瞳分割方向的像素對(duì)經(jīng)由上述第二區(qū)域而入射的光的靈敏度，基于所取得的靈敏度，對(duì) 上述第一圖像和上述第二圖像分別求算線性近似的靈敏度校正系數(shù)，并基于所求出的靈敏 度校正系數(shù)來(lái)校正上述第一圖像和上述第二圖像的亮度，基于從上述攝像元件輸出的圖像 信號(hào)來(lái)生成第一顯示用圖像，基于校正后的上述第一圖像和上述第二圖像來(lái)生成用于對(duì)焦 確認(rèn)的第二顯示用圖像，進(jìn)行如下控制：使顯示圖像的顯示部連續(xù)地顯示所生成的上述第 一顯示用圖像作為動(dòng)態(tài)圖像，并且在上述第一顯示用圖像的顯示區(qū)域內(nèi)連續(xù)地顯示所生成 的上述第二顯示用圖像作為動(dòng)態(tài)圖像。由此，與不具有本結(jié)構(gòu)的情況相比，能夠以簡(jiǎn)單的結(jié) 構(gòu)確保對(duì)焦圖像用的圖像的顯示的實(shí)時(shí)性。
[0025] 為了實(shí)現(xiàn)上述目的，本發(fā)明的第十二技術(shù)方案的圖像處理方法包含：取得基于從 攝像元件輸出的第一圖像信號(hào)和第二圖像信號(hào)的第一圖像和第二圖像，上述攝像元件具有 通過(guò)使通過(guò)了攝像透鏡的第一區(qū)域和第二區(qū)域的被攝體像進(jìn)行光瞳分割并分別成像而輸 出上述第一圖像信號(hào)和上述第二圖像信號(hào)的第一像素組和第二像素組，取得上述第一像素 組的光瞳分割方向的像素對(duì)經(jīng)由上述第一區(qū)域而入射的光的靈敏度和上述第二像素組的 光瞳分割方向的像素對(duì)經(jīng)由上述第二區(qū)域而入射的光的靈敏度，基于所取得的靈敏度，對(duì) 上述第一圖像和上述第二圖像分別求算線性近似的靈敏度校正系數(shù)，基于所求出的靈敏度 校正系數(shù)來(lái)校正上述第一圖像和上述第二圖像的亮度，基于從上述攝像元件輸出的圖像信 號(hào)來(lái)生成第一顯示用圖像，基于校正后的上述第一圖像和上述第二圖像來(lái)生成用于對(duì)焦確 認(rèn)的第二顯示用圖像，進(jìn)行如下控制：抑制顯示部對(duì)所生成的上述第一顯示用圖像作為動(dòng) 態(tài)圖像的連續(xù)顯示，并且使上述顯示部連續(xù)地顯示所生成的上述第二顯示用圖像作為動(dòng)態(tài) 圖像。由此，與不具有本結(jié)構(gòu)的情況相比，能夠以簡(jiǎn)單的結(jié)構(gòu)確保對(duì)焦圖像用的圖像的顯示 的實(shí)時(shí)性。
[0026] 為了實(shí)現(xiàn)上述目的，本發(fā)明的第十三技術(shù)方案的圖像處理程序用于使計(jì)算機(jī)作為 本發(fā)明的第一技術(shù)方案至第九技術(shù)方案中的任一技術(shù)方案的圖像處理裝置的上述圖像取 得部、上述靈敏度取得部、上述校正部及上述顯示控制部而發(fā)揮功能。由此，與不具有本結(jié) 構(gòu)的情況相比，能夠以簡(jiǎn)單的結(jié)構(gòu)確保對(duì)焦圖像用的圖像的顯示的實(shí)時(shí)性。
[0027] 發(fā)明效果
[0028] 根據(jù)本發(fā)明，可得到能夠以簡(jiǎn)單的結(jié)構(gòu)確保對(duì)焦圖像用的圖像的顯示的實(shí)時(shí)性這 樣的效果。
【附圖說(shuō)明】
[0029] 圖1是表示第一~三實(shí)施方式的作為可換鏡頭相機(jī)的攝像裝置的外觀的一例的 立體圖。
[0030] 圖2是表示圖1所示的攝像裝置的背面?zhèn)鹊暮笠晥D。
[0031] 圖3是表示第一~三實(shí)施方式的攝像裝置的電氣系統(tǒng)的結(jié)構(gòu)的一例的框圖。
[0032] 圖4是表示設(shè)于第一~三實(shí)施方式的攝像裝置所包含的攝像元件上的濾色器的 配置的一例的概略配置圖。
[0033] 圖5是表示第一~三實(shí)施方式的攝像裝置所包含的攝像元件中的相位差像素的 配置的一例的概略結(jié)構(gòu)圖。
[0034] 圖6是表示第一~三實(shí)施方式的攝像裝置的攝像元件所包含的相位差像素（第一 像素及第二像素）的結(jié)構(gòu)的一例的概略結(jié)構(gòu)圖。
[0035] 圖7是表示第一~三實(shí)施方式的攝像裝置所包含的圖像處理部的主要部分功能 的一例的功能框圖。
[0036] 圖8是表示第一~三實(shí)施方式的圖像處理部所包含的生成部的主要部分功能的 一例的功能框圖。
[0037] 圖9是表示第一~三實(shí)施方式的攝像裝置的主要部分功能的一例的功能框圖。
[0038] 圖10是表示利用通常像素對(duì)第一~三實(shí)施方式的攝像裝置所包含的攝像元件的 相位差像素進(jìn)行插值的形態(tài)的一例的示意圖。
[0039] 圖11A是顯示于第一~三實(shí)施方式的攝像裝置的顯示部的即時(shí)預(yù)覽圖像，是表示 未對(duì)焦的狀態(tài)的即時(shí)預(yù)覽圖像的一例的畫面圖。
[0040] 圖11B是顯示于第一~三實(shí)施方式的攝像裝置的顯示部的即時(shí)預(yù)覽圖像，是表示 對(duì)焦的狀態(tài)的即時(shí)預(yù)覽圖像的一例的畫面圖。
[0041] 圖12是表示第一~三實(shí)施方式的攝像裝置所包含的顯示裝置中的裂像的顯示區(qū) 域及通常圖像的顯示區(qū)域的位置的一例的示意圖。
[0042] 圖13是表示向第一~三實(shí)施方式的攝像裝置所包含的第一及第二像素的各像素 入射的光束的路徑的一例的不意圖。
[0043] 圖14是表示光瞳分割方向的線性的減光特性給左眼圖像及右眼圖像的各圖像中 的與光瞳分割方向相當(dāng)?shù)姆较虻母飨袼氐牧炼葞?lái)的影響的一例的坐標(biāo)圖。
[0044] 圖15是表示第一實(shí)施方式的圖像輸出處理的流程的一例的流程圖。
[0045] 圖16是表示第一實(shí)施方式的靈敏度校正系數(shù)取得處理的流程的一例的流程圖。
[0046] 圖17是表示在第一實(shí)施方式的靈敏度校正系數(shù)取得處理中使用的第一靈敏度比 曲線、第二靈敏度比曲線、第一近似直線、第二近似直線及目標(biāo)靈敏度比的一例的坐標(biāo)圖。
[0047] 圖18是表示使用進(jìn)行第一實(shí)施方式的靈敏度校正系數(shù)取得處理而得到的靈敏度 校正系數(shù)進(jìn)行了校正的光瞳分割方向的像素的靈敏度比的一例的坐標(biāo)圖。
[0048] 圖19是表示校正前后的右眼圖像及左眼圖像所受到的減光特性的影響的一例的 示意圖。
[0049] 圖20是表示第二實(shí)施方式的靈敏度校正系數(shù)取得處理的流程的一例的流程圖。
[0050] 圖21是表示在設(shè)定為F2. 0的狀態(tài)下不考慮光圈值而校正靈敏度比的情況下使用 的第一及第二近似直線的一例的坐標(biāo)圖及校正后的靈敏度比的一例的坐標(biāo)圖。
[0051] 圖22是表示在設(shè)定為F5. 6的狀態(tài)下不考慮光圈值而校正靈敏度比的情況下使用 的第一及第二近似直線的一例的坐標(biāo)圖及校正后的靈敏度比的一例的坐標(biāo)圖。