圖像處理裝置、攝像裝置、圖像處理方法及程序的制作方法
【專利摘要】本發(fā)明具備：圖像獲取單元(112)，獲取對(duì)被攝體進(jìn)行攝像所得的攝像圖像；平滑化單元(114)，通過(guò)對(duì)攝像圖像進(jìn)行平滑化而生成平滑化圖像；噪聲提取單元(116)，從攝像圖像與平滑化圖像的差分提取差分噪聲成分；噪聲附加單元(118)，向平滑化攝像圖像加上差分噪聲成分；映射獲取單元(120)，獲取表示對(duì)攝像圖像的模糊強(qiáng)度的分布的模糊強(qiáng)度映射；及圖像合成單元(122)，基于模糊強(qiáng)度映射來(lái)合成攝像圖像和平滑化圖像，生成輸出圖像。
【專利說(shuō)明】圖像處理裝置、攝像裝置、圖像處理方法及程序

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理裝置、攝像裝置、圖像處理方法及程序，特別是涉及生成模糊強(qiáng)調(diào)圖像的技術(shù)。

【背景技術(shù)】
[0002]在數(shù)碼相機(jī)等攝像裝置、圖像處理裝置的領(lǐng)域中，對(duì)通過(guò)所謂的包圍式對(duì)焦攝影而得到的攝像圖像進(jìn)行對(duì)應(yīng)點(diǎn)檢測(cè)和圖像變形，并基于這些結(jié)果對(duì)攝像圖像施加模糊，從而生成景深較淺的圖像。
[0003]在例如專利文獻(xiàn)I中，基于包圍式對(duì)焦圖像算出適用于基準(zhǔn)圖像的高斯濾光片的濾光特性，并基于該特性對(duì)基準(zhǔn)圖像進(jìn)行局部平滑化，從而生成對(duì)模糊進(jìn)行了強(qiáng)調(diào)后的圖像。
[0004]另外，在專利文獻(xiàn)2中記載了如下技術(shù)方案:在圖像中適用噪聲附加濾光時(shí)，對(duì)人物等不希望附加噪聲的區(qū)域進(jìn)行檢測(cè)，對(duì)該區(qū)域進(jìn)行軟焦點(diǎn)處理，在該區(qū)域外進(jìn)行噪聲附加處理。
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)1:日本特開(kāi)2008-271240號(hào)公報(bào)
[0007]專利文獻(xiàn)2:日本特開(kāi)2007-241424號(hào)公報(bào)


【發(fā)明內(nèi)容】

[0008]發(fā)明要解決的課題
[0009]在利用上述專利文獻(xiàn)那樣的現(xiàn)有技術(shù)對(duì)圖像進(jìn)行模糊處理的情況下，在使用平滑化濾光等一般性的方法中，圖像中的模糊處理后的部分與沒(méi)有進(jìn)行模糊處理的部分噪聲的量會(huì)產(chǎn)生差而變得不均勻，成為存在不協(xié)調(diào)感的圖像。在上述專利文獻(xiàn)I中，針對(duì)與模糊處理相伴而產(chǎn)生的圖像中的噪聲量的差沒(méi)有進(jìn)行考慮。另外，在上述專利文獻(xiàn)2中，在特定的區(qū)域附加噪聲，但是在包含人物等而不希望附加噪聲的區(qū)域，噪聲根據(jù)軟焦點(diǎn)處理的濾光特性而減少，另一方面，在除此以外的區(qū)域附加噪聲，因此存在處理后的圖像中產(chǎn)生噪聲的差的問(wèn)題。
[0010]本發(fā)明基于這種情形而提出，目的在于提供能夠減輕模糊的部分與不模糊的部分的噪聲量的差并生成自然的模糊強(qiáng)調(diào)圖像的圖像處理裝置、攝像裝置、圖像處理方法及程序。
[0011]用于解決課題的手段
[0012]為了達(dá)到上述的目的，本發(fā)明提供一種圖像處理裝置，具備:圖像獲取單元，獲取對(duì)被攝體進(jìn)行攝像所得的攝像圖像；平滑化單元，通過(guò)對(duì)攝像圖像進(jìn)行平滑化而生成平滑化圖像；噪聲提取單元，從攝像圖像與平滑化圖像的差分提取差分噪聲成分；噪聲附加單元，向平滑化圖像加上差分噪聲成分；映射獲取單元，獲取模糊強(qiáng)度映射，該模糊強(qiáng)度映射表示對(duì)攝像圖像的模糊強(qiáng)度的分布；及圖像合成單元，基于模糊強(qiáng)度映射來(lái)合成攝像圖像和平滑化圖像，生成輸出圖像。在此，“差分噪聲成分”表示通過(guò)對(duì)攝像圖像進(jìn)行平滑化而從攝像圖像降低后的噪聲。另外，所謂“噪聲”是指圖像的混亂(噪聲成分)，是與被攝體像無(wú)關(guān)的成分。
[0013]如上述那樣，通過(guò)對(duì)攝像圖像進(jìn)行平滑化而生成平滑化圖像，從攝像圖像與平滑化圖像的差分提取差分噪聲成分，向平滑化圖像加上差分噪聲成分，基于模糊強(qiáng)度映射來(lái)合成攝像圖像和平滑化圖像，生成輸出圖像，因此能夠得到減輕了模糊的部分與沒(méi)有模糊的部分的噪聲量的差、并且局部的噪聲量的差難以變得明顯而更加自然的模糊強(qiáng)調(diào)圖像。
[0014]在一實(shí)施方式中，平滑化單元通過(guò)以多個(gè)不同的平滑化強(qiáng)度中的各平滑化強(qiáng)度對(duì)攝像圖像進(jìn)行平滑化而生成平滑化強(qiáng)度不同的多個(gè)平滑化圖像，噪聲提取單元從攝像圖像與多個(gè)平滑化圖像中的各平滑化圖像的差分提取與多個(gè)平滑化圖像分別對(duì)應(yīng)的多個(gè)差分噪聲成分，噪聲附加單元通過(guò)向多個(gè)平滑化圖像中的各平滑化圖像加上多個(gè)差分噪聲成分中的對(duì)應(yīng)的差分噪聲成分，使多個(gè)平滑化圖像間的噪聲相等，圖像合成單元基于模糊強(qiáng)度映射來(lái)合成攝像圖像和多個(gè)平滑化圖像，生成輸出圖像。
[0015]在一實(shí)施方式中，模糊強(qiáng)度映射對(duì)應(yīng)攝像圖像的每個(gè)像素或每個(gè)像素區(qū)域表示模糊強(qiáng)度的分布，圖像合成單元對(duì)應(yīng)攝像圖像的每個(gè)像素或每個(gè)區(qū)域，基于模糊強(qiáng)度映射的模糊強(qiáng)度，從攝像圖像和附加了差分噪聲成分的多個(gè)平滑化圖像之中選擇多個(gè)圖像，從攝像圖像和多個(gè)平滑化圖像之中選擇多個(gè)圖像，通過(guò)進(jìn)行所選擇的該多個(gè)圖像的加權(quán)平均而生成輸出圖像。
[0016]在一實(shí)施方式中，平滑化單元具有通過(guò)像素間拔進(jìn)行圖像尺寸的縮小的間拔單元和通過(guò)像素插值進(jìn)行圖像尺寸的放大的放大單元，通過(guò)多次重復(fù)進(jìn)行相同平滑化強(qiáng)度的平滑化和間拔單元的像素間拔，生成平滑化強(qiáng)度和圖像尺寸不同的多個(gè)平滑化圖像，由放大單元將該多個(gè)平滑化圖像轉(zhuǎn)換為平滑化強(qiáng)度不同而圖像尺寸相同的多個(gè)平滑化圖像。
[0017]在一實(shí)施方式中，模糊強(qiáng)度映射對(duì)應(yīng)攝像圖像的每個(gè)像素或每個(gè)像素區(qū)域表示模糊強(qiáng)度的分布，平滑化單元基于模糊強(qiáng)度映射中的最大的模糊強(qiáng)度，確定對(duì)攝像圖像的平滑化的平滑化強(qiáng)度。
[0018]另外，本發(fā)明提供一種圖像處理裝置，具備:圖像獲取單元，獲取對(duì)被攝體進(jìn)行攝像所得的攝像圖像；噪聲圖像獲取單元，獲取表示攝像圖像中包含的噪聲的噪聲圖像；平滑化單元，通過(guò)對(duì)攝像圖像進(jìn)行平滑化而生成平滑化圖像，且通過(guò)以在攝像圖像的平滑化中使用的平滑化強(qiáng)度對(duì)噪聲圖像進(jìn)行平滑化而生成平滑化噪聲圖像；噪聲提取單元，從噪聲圖像與平滑化噪聲圖像的差分提取差分噪聲成分；噪聲附加單元，向平滑化圖像加上差分噪聲成分；映射獲取單元，獲取模糊強(qiáng)度映射，該模糊強(qiáng)度映射表示對(duì)攝像圖像的模糊強(qiáng)度的分布；及圖像合成單元，基于模糊強(qiáng)度映射來(lái)合成攝像圖像和平滑化圖像，生成輸出圖像。在此，所謂“差分噪聲成分”表示通過(guò)對(duì)攝像圖像進(jìn)行平滑化而從攝像圖像降低后的的噪聲。
[0019]噪聲圖像優(yōu)選為是由與攝像圖像中包含的噪聲相同的噪聲構(gòu)成的圖像。在此，所謂與攝像圖像中包含的噪聲“相同”，包含大致相同的情況，是正規(guī)分布的寬度(方差或標(biāo)準(zhǔn)偏差)之差為5%以內(nèi)，或噪聲強(qiáng)度之差為10%以內(nèi)等。
[0020]在一實(shí)施方式中，平滑化單元通過(guò)以多個(gè)不同的平滑化強(qiáng)度中的各平滑化強(qiáng)度對(duì)攝像圖像進(jìn)行平滑化而生成平滑化強(qiáng)度不同的多個(gè)平滑化圖像，并且，通過(guò)以在攝像圖像的平滑化中使用的多個(gè)不同的平滑化強(qiáng)度中的各平滑化強(qiáng)度對(duì)噪聲圖像進(jìn)行平滑化而生成平滑化強(qiáng)度不同的多個(gè)平滑化噪聲圖像，噪聲提取單元從噪聲圖像與多個(gè)平滑化噪聲圖像中的各平滑化噪聲圖像的差分提取與多個(gè)平滑化圖像分別對(duì)應(yīng)的多個(gè)差分噪聲成分，噪聲附加單元通過(guò)向多個(gè)平滑化圖像中的各平滑化圖像加上多個(gè)差分噪聲成分中的對(duì)應(yīng)的差分噪聲成分，使多個(gè)平滑化圖像間的噪聲相等，圖像合成單元基于模糊強(qiáng)度映射來(lái)合成攝像圖像和多個(gè)平滑化圖像，生成輸出圖像。
[0021]在一實(shí)施方式中，模糊強(qiáng)度映射對(duì)應(yīng)攝像圖像的每個(gè)像素或每個(gè)像素區(qū)域表示模糊強(qiáng)度的分布，圖像合成單元對(duì)應(yīng)攝像圖像的每個(gè)像素或每個(gè)區(qū)域，基于模糊強(qiáng)度映射的模糊強(qiáng)度，從攝像圖像和附加了差分噪聲成分后的多個(gè)平滑化圖像之中選擇多個(gè)圖像，通過(guò)進(jìn)行所選擇的多個(gè)圖像的加權(quán)平均而生成輸出圖像。
[0022]在一實(shí)施方式中，平滑化單元具有通過(guò)像素間拔進(jìn)行圖像尺寸的縮小的間拔單元和通過(guò)像素插值進(jìn)行圖像尺寸的放大的放大單元，通過(guò)多次重復(fù)進(jìn)行相同平滑化強(qiáng)度的平滑化和間拔單元的像素間拔，生成平滑化強(qiáng)度和圖像尺寸不同的多個(gè)平滑化圖像，由放大單元將該多個(gè)平滑化圖像轉(zhuǎn)換為平滑化強(qiáng)度不同而圖像尺寸相同的多個(gè)平滑化圖像，且通過(guò)多次重復(fù)進(jìn)行相同平滑化強(qiáng)度的平滑化和間拔單元的像素間拔，生成平滑化強(qiáng)度和圖像尺寸不同的多個(gè)平滑化噪聲圖像，由放大單元將該多個(gè)平滑化噪聲圖像轉(zhuǎn)換為平滑化強(qiáng)度不同而圖像尺寸相同的多個(gè)平滑化噪聲圖像。
[0023]在一實(shí)施方式中，模糊強(qiáng)度映射對(duì)應(yīng)攝像圖像的每個(gè)像素或每個(gè)像素區(qū)域表示模糊強(qiáng)度的分布，平滑化單元基于模糊強(qiáng)度映射中的最大的模糊強(qiáng)度，確定對(duì)攝像圖像和噪聲圖像的平滑化的平滑化強(qiáng)度。
[0024]在一實(shí)施方式中，平滑化單元在噪聲圖像和攝像圖像中使平滑化強(qiáng)度一致。
[0025]在一實(shí)施方式中，噪聲圖像獲取單元基于攝像圖像生成噪聲圖像。
[0026]在一實(shí)施方式中，噪聲圖像獲取單元基于攝像圖像的攝像條件或?qū)z像圖像進(jìn)行攝像的攝像裝置的攝像特性，生成噪聲圖像。
[0027]在一實(shí)施方式中，映射獲取單元獲取距離映射作為模糊強(qiáng)度映射，該距離映射表示攝像圖像中的每個(gè)像素或每個(gè)區(qū)域的距離的分布，圖像合成單元基于距離映射，生成具有與攝像圖像中的距離的分布相應(yīng)的模糊強(qiáng)度的分布的輸出圖像。
[0028]另外，本發(fā)明提供具備上述的圖像處理裝置的攝像裝置。
[0029]另外，本發(fā)明一種圖像處理方法，使用:圖像獲取單元，獲取對(duì)被攝體進(jìn)行攝像所得的攝像圖像；及映射獲取單元，獲取模糊強(qiáng)度映射，該模糊強(qiáng)度映射表示對(duì)攝像圖像的模糊強(qiáng)度的分布，圖像處理方法具備:平滑化步驟，通過(guò)對(duì)攝像圖像進(jìn)行平滑化而生成平滑化圖像；噪聲提取步驟，從攝像圖像與平滑化圖像的差分提取差分噪聲成分；噪聲附加步驟，向平滑化圖像加上差分噪聲成分；圖像合成步驟，基于模糊強(qiáng)度映射來(lái)合成攝像圖像和平滑化圖像，生成輸出圖像。
[0030]另外，本發(fā)明提供一種圖像處理方法，使用:圖像獲取單元，獲取對(duì)被攝體進(jìn)行攝像所得的攝像圖像；噪聲圖像獲取單元，獲取表示攝像圖像中包含的噪聲的噪聲圖像；及映射獲取單元，獲取模糊強(qiáng)度映射，該模糊強(qiáng)度映射表示對(duì)攝像圖像的模糊強(qiáng)度的分布，圖像處理方法具備:通過(guò)對(duì)攝像圖像進(jìn)行平滑化而生成平滑化圖像的步驟；通過(guò)以在攝像圖像的平滑化中使用的平滑化強(qiáng)度對(duì)噪聲圖像進(jìn)行平滑化而生成平滑化噪聲圖像的步驟；噪聲提取步驟，從噪聲圖像與平滑化噪聲圖像的差分提取差分噪聲成分；噪聲附加步驟，向平滑化圖像加上差分噪聲成分；及圖像合成步驟，基于模糊強(qiáng)度映射來(lái)合成攝像圖像和平滑化圖像，生成輸出圖像。
[0031]另外，本發(fā)明提供一種程序，使用:圖像獲取單元，獲取對(duì)被攝體進(jìn)行攝像所得的攝像圖像；及映射獲取單元，獲取模糊強(qiáng)度映射，該模糊強(qiáng)度映射表示對(duì)攝像圖像的模糊強(qiáng)度的分布，使計(jì)算機(jī)執(zhí)行如下步驟:平滑化步驟，通過(guò)對(duì)攝像圖像進(jìn)行平滑化而生成平滑化圖像；噪聲提取步驟，從攝像圖像與平滑化圖像的差分提取差分噪聲成分；噪聲附加步驟，向平滑化圖像加上差分噪聲成分；及圖像合成步驟，基于模糊強(qiáng)度映射來(lái)合成攝像圖像和平滑化圖像，生成輸出圖像。
[0032]另外，本發(fā)明提供一種程序，使用:圖像獲取單元，獲取對(duì)被攝體進(jìn)行攝像所得的攝像圖像；噪聲圖像獲取單元，獲取表示攝像圖像中包含的噪聲的噪聲圖像；及映射獲取單元，獲取模糊強(qiáng)度映射，該模糊強(qiáng)度映射表示對(duì)攝像圖像的模糊強(qiáng)度的分布，使計(jì)算機(jī)執(zhí)行如下步驟:通過(guò)對(duì)攝像圖像進(jìn)行平滑化而生成平滑化圖像的步驟；通過(guò)以在攝像圖像的平滑化中使用的平滑化強(qiáng)度對(duì)噪聲圖像進(jìn)行平滑化而生成平滑化噪聲圖像的步驟；噪聲提取步驟，從噪聲圖像與平滑化噪聲圖像的差分提取差分噪聲成分；噪聲附加步驟，向平滑化圖像加上差分噪聲成分；及圖像合成步驟，基于模糊強(qiáng)度映射來(lái)合成攝像圖像和平滑化圖像，生成輸出圖像。
[0033]發(fā)明效果
[0034]根據(jù)本發(fā)明，能夠生成一種模糊的部分與沒(méi)有模糊的部分的噪聲量的差減輕的、自然的模糊強(qiáng)調(diào)圖像。

【專利附圖】

【附圖說(shuō)明】
[0035]圖1是表示適用了本發(fā)明所涉及的圖像處理裝置的攝像裝置的結(jié)構(gòu)例的框圖。
[0036]圖2是示意性地表示本發(fā)明所涉及的圖像處理的一例的概要的示意圖。
[0037]圖3是表示圖2的圖像處理的一例的流程的流程圖。
[0038]圖4是表示第一實(shí)施例的圖像處理裝置的結(jié)構(gòu)的框圖。
[0039]圖5是表示在第一實(shí)施例中進(jìn)行多級(jí)平滑化的情況下的圖像處理裝置的主要部分結(jié)構(gòu)的框圖。
[0040]圖6是表示第一實(shí)施例中的模糊強(qiáng)調(diào)處理的一例的流程的流程圖。
[0041]圖7是在以多級(jí)進(jìn)行平滑化處理的作用的效果的說(shuō)明中所使用的說(shuō)明圖。
[0042]圖8是在以多級(jí)進(jìn)行平滑化處理的作用的效果的說(shuō)明中所使用的說(shuō)明圖。
[0043]圖9是表示在第一實(shí)施例中檢測(cè)最大模糊強(qiáng)度的情況下的模糊強(qiáng)調(diào)處理的一例的流程的流程圖。
[0044]圖10是表示第二實(shí)施例的圖像處理裝置的結(jié)構(gòu)的框圖。
[0045]圖11是表示在第二實(shí)施例中進(jìn)行多級(jí)平滑化的情況下的圖像處理裝置的主要部分結(jié)構(gòu)的框圖。
[0046]圖12是表示第二實(shí)施例中的模糊強(qiáng)調(diào)處理的一例的流程的流程圖。
[0047]圖13是表不噪聲圖像生成處理的一例的流程的流程圖。
[0048]圖14是噪聲成分提取的說(shuō)明中所使用的說(shuō)明圖。
[0049]圖15是噪聲成分提取的說(shuō)明中所使用的說(shuō)明圖。
[0050]圖16是表示在第二實(shí)施例中檢測(cè)最大模糊強(qiáng)度的情況下的模糊強(qiáng)調(diào)處理的一例的流程的流程圖。
[0051]圖17是表示第三實(shí)施例的圖像處理裝置的結(jié)構(gòu)的框圖。
[0052]圖18是表示在第三實(shí)施例中進(jìn)行多級(jí)平滑化的情況下的圖像處理裝置的主要部分結(jié)構(gòu)的框圖。
[0053]圖19是表示第三實(shí)施例中的模糊強(qiáng)調(diào)處理的一例的流程的流程圖。
[0054]圖20是表示在第三實(shí)施例中檢測(cè)最大模糊強(qiáng)度的情況下的模糊強(qiáng)調(diào)處理的一例的流程的流程圖。
[0055]圖21是作為本發(fā)明所涉及的圖像處理裝置的其他實(shí)施方式的智能手機(jī)的外觀圖。
[0056]圖22是表示上述智能手機(jī)的結(jié)構(gòu)的框圖。

【具體實(shí)施方式】
[0057]以下，按照附圖對(duì)用于實(shí)施本發(fā)明所涉及的圖像處理裝置、方法及程序的形態(tài)詳細(xì)地進(jìn)行說(shuō)明。
[0058][攝像裝置的結(jié)構(gòu)]
[0059]圖1是表示適用了本發(fā)明所涉及的圖像處理裝置的攝像裝置10的結(jié)構(gòu)例的框圖。攝像裝置10的裝置整體的動(dòng)作由中央處理裝置(0?山40集中控制，將0?況0的動(dòng)作所需的程序(包括用于后述的圖像處理的程序)、參數(shù)存儲(chǔ)于EEPROM(ElectronicalIy Erasableand Programmable Read Only Memory:帶電可擦寫可編程只讀存儲(chǔ)器)46等非暫時(shí)性的存儲(chǔ)介質(zhì)。
[0060]在攝像裝置10設(shè)有快門按鈕、模式撥盤、重放按鈕、菜單/OK鍵、十字鍵、返回鍵等操作部38。來(lái)自該操作部38的信號(hào)被輸入到CPU40，CPU40基于輸入信號(hào)如后述那樣對(duì)攝像裝置10的各電路進(jìn)行控制。
[0061]快門按鈕是輸入攝影開(kāi)始的指示的操作按鈕，由具有在半按時(shí)接通的SI開(kāi)關(guān)和全按時(shí)接通的S2開(kāi)關(guān)的二級(jí)行程式的開(kāi)關(guān)構(gòu)成。模式撥盤是對(duì)靜止畫面/動(dòng)畫攝影模式、手動(dòng)/自動(dòng)攝影模式和攝影場(chǎng)景等進(jìn)行選擇的單元，另外，能夠進(jìn)行攝影感光度(例如IS0100、400、800、1600 等)的設(shè)定。
[0062]重放按鈕是用于切換為將所攝影記錄的圖像的靜止畫面或動(dòng)態(tài)圖像在液晶監(jiān)視器30(LCD)上顯示的重放模式的按鈕。菜單/OK鍵是兼具用于在液晶監(jiān)視器30的畫面上進(jìn)行顯示菜單的指令的功能和對(duì)選擇內(nèi)容的確定和執(zhí)行等進(jìn)行指令的功能的操作鍵。十字鍵是輸入上下左右四個(gè)方向的指示的操作部，作為光標(biāo)移動(dòng)操作單元、變焦開(kāi)關(guān)、重放模式時(shí)的逐幀播放按鈕等而發(fā)揮功能。返回鍵在選擇項(xiàng)目等期望的對(duì)象的取消、指示內(nèi)容的取消或返回到前一個(gè)操作狀態(tài)時(shí)等而使用。這些按鈕、鍵也能夠在用戶對(duì)模糊處理的程度進(jìn)行指定的情況下等在模糊處理、噪聲附加處理時(shí)所需的操作中使用。
[0063]在攝影模式時(shí)，表示被攝體的圖像光經(jīng)由攝影透鏡12、光圈14而在攝像元件(本例中使用CXD傳感器，以下稱作“CXD”)16的受光面成像。另外，攝像元件不限于CXD傳感器，也可以使用MOS傳感器等其他攝像傳感器。
[0064]攝影透鏡12包含聚焦透鏡、變焦透鏡，由被CPU40所控制的透鏡驅(qū)動(dòng)部36驅(qū)動(dòng)，進(jìn)行聚焦控制、變焦控制等。
[0065]透鏡驅(qū)動(dòng)部36按照來(lái)自CPU40的指令，使聚焦透鏡沿光軸方向移動(dòng)，使焦點(diǎn)位置可變。另外，透鏡驅(qū)動(dòng)部36按照來(lái)自CPU40的指令，使變焦透鏡沿光軸方向進(jìn)退動(dòng)作，使焦距發(fā)生變更。
[0066]另外，CPU40經(jīng)由光圈驅(qū)動(dòng)部34而對(duì)光圈14進(jìn)行控制，并且經(jīng)由CXD控制部32而進(jìn)行CCD16中的電荷累積時(shí)間(快門速度)、來(lái)自CCD16的圖像信號(hào)的讀出控制等。蓄積于CCD16的信號(hào)電荷基于從CCD控制部32施加的讀出信號(hào)作為與信號(hào)電荷對(duì)應(yīng)的電壓信號(hào)而被讀出，并施加于模擬信號(hào)處理部20。
[0067]模擬信號(hào)處理部20針對(duì)從(XD16輸出的電壓信號(hào)通過(guò)相關(guān)雙重米樣處理而對(duì)各像素中的每個(gè)像素的R、G、B信號(hào)進(jìn)行采樣保持，并在增幅后施加于A/D轉(zhuǎn)換器21。A/D轉(zhuǎn)換器21將依次輸入的模擬的R、G、B信號(hào)轉(zhuǎn)換為數(shù)字的R、G、B信號(hào)而輸出到圖像輸入控制器22。
[0068]數(shù)字信號(hào)處理部24針對(duì)經(jīng)由圖像輸入控制器22而輸入的數(shù)字的圖像信號(hào)，進(jìn)行偏置處理、包含白平衡校正和感光度校正的增益/控制處理、伽瑪校正處理、YC處理等預(yù)定的信號(hào)處理。
[0069]由數(shù)字信號(hào)處理部24所處理的圖像數(shù)據(jù)被輸入到VRAM50。在VRAM50包含對(duì)分別表示一幀量的圖像的圖像數(shù)據(jù)進(jìn)行存儲(chǔ)的A區(qū)域和B區(qū)域，由A區(qū)域和B區(qū)域交替地對(duì)表示一幀量的圖像的圖像數(shù)據(jù)進(jìn)行改寫，從對(duì)圖像數(shù)據(jù)進(jìn)行改寫的區(qū)域以外的區(qū)域，讀出所寫入的圖像數(shù)據(jù)。從VRAM50讀出的圖像數(shù)據(jù)在視頻/編碼器28中被編碼而輸出到液晶監(jiān)視器30，由此被攝體像在液晶監(jiān)視器30上顯示。
[0070]另外，若存在操作部38的快門按鈕的第一階段的按下(半按)，則CPU40開(kāi)始AF動(dòng)作和AE動(dòng)作，經(jīng)由透鏡驅(qū)動(dòng)部36而進(jìn)行攝影透鏡12的對(duì)焦控制。另外，在快門按鈕的半按時(shí)從A/D轉(zhuǎn)換器21輸出的圖像數(shù)據(jù)被讀入到AE檢測(cè)部44。
[0071]CPU40利用從AE檢測(cè)部44輸入的G信號(hào)的積算值算出被攝體的明亮度(攝影Ev值)，并基于該攝影Ev值來(lái)確定光圈14的光圈值和CCD16的電子快門(快門速度)，基于該結(jié)果對(duì)光圈14和CCD16的電荷累積時(shí)間進(jìn)行控制。
[0072]AF處理部42是進(jìn)行對(duì)比度AF處理或相位AF處理的部分。在進(jìn)行對(duì)比度AF處理的情況下，以對(duì)預(yù)定的聚焦區(qū)域內(nèi)的圖像數(shù)據(jù)的高頻成分進(jìn)行積分而算出的、表示對(duì)焦?fàn)顟B(tài)的AF評(píng)價(jià)值成為極大的方式，對(duì)攝影透鏡12內(nèi)的聚焦透鏡進(jìn)行控制。另外，在進(jìn)行相位差A(yù)F處理的情況下，以從圖像數(shù)據(jù)中的預(yù)定的聚焦區(qū)域內(nèi)的主像素、副像素的圖像數(shù)據(jù)的相位差求出的離焦量為O的方式，對(duì)攝影透鏡12內(nèi)的聚焦透鏡進(jìn)行控制。
[0073]若AE動(dòng)作和AF動(dòng)作結(jié)束且存在快門按鈕的第二階段的按下(全按)，則響應(yīng)該按下而將從A/D轉(zhuǎn)換器21輸出的圖像數(shù)據(jù)從圖像輸入控制器22輸入到存儲(chǔ)器(SDRAM) 48，并暫時(shí)性地進(jìn)行存儲(chǔ)。
[0074]在向存儲(chǔ)器48進(jìn)行暫時(shí)存儲(chǔ)后，經(jīng)由數(shù)字信號(hào)處理部24中的YC處理等信號(hào)處理、壓縮擴(kuò)展處理部26中的向JPEG(joint photographic experts group:聯(lián)合圖像專家小組)形式的壓縮處理等而生成圖像文件，該圖像文件由媒介控制器52讀出而記錄于存儲(chǔ)卡54。記錄于存儲(chǔ)卡54的圖像能夠通過(guò)對(duì)操作部38的重放按鈕進(jìn)行操作而由液晶監(jiān)視器30進(jìn)行重放顯示。
[0075][攝像裝置中的圖像處理的整體的流程]
[0076]接下來(lái)，對(duì)本發(fā)明所涉及的圖像處理的一例的整體的流程進(jìn)行說(shuō)明。
[0077]圖2是示意性地表示本發(fā)明所涉及的圖像處理的一例的整體的概要的示意圖。圖3是表示圖2的圖像處理的一例的整體的流程的流程圖。
[0078]本例的圖像處理如圖2和圖3所示，大體分為:⑴包圍式對(duì)焦攝影(圖2 (a)、圖3的步驟SlO?S16)；⑵對(duì)應(yīng)點(diǎn)檢測(cè)和對(duì)位(圖2的(b)和(C)、圖3的步驟S18?S24)、
(3)模糊強(qiáng)度映射獲取(圖2(d)、圖3的步驟S26)、(4)模糊強(qiáng)調(diào)(圖2(e)、圖3的步驟S28)這五個(gè)階段。以下，對(duì)各階段的處理進(jìn)行說(shuō)明。
[0079]在此，考慮如圖2的例子那樣在背景前站立人物并對(duì)背景進(jìn)行模糊處理的情況。
[0080](I)包圍式對(duì)焦攝影
[0081]若開(kāi)始本處理，則在步驟SlO中，確定包圍式對(duì)焦攝影中所包含的預(yù)定的多次攝影中的各攝影中的焦點(diǎn)位置和基準(zhǔn)焦點(diǎn)位置，在步驟S12中CPU40使透鏡12移動(dòng)而與最初的焦點(diǎn)位置對(duì)焦，在步驟S14中進(jìn)行攝影。在攝影未達(dá)到預(yù)定次數(shù)的情況下(步驟S16中否)，返回到步驟S12，使透鏡12移動(dòng)而與下一個(gè)焦點(diǎn)位置對(duì)焦并重復(fù)攝影。若攝影達(dá)到預(yù)定次數(shù)(步驟S16中是)，則進(jìn)入到步驟S18。
[0082](2)對(duì)應(yīng)點(diǎn)檢測(cè)和對(duì)位
[0083]首先，步驟S18中，將通過(guò)包圍式對(duì)焦攝影(步驟SlO?S16)得到的多個(gè)圖像中的、基準(zhǔn)焦點(diǎn)位置處的攝影圖像設(shè)定為基準(zhǔn)圖像Ιο。接下來(lái)，在步驟S20中，將基準(zhǔn)圖像I。以外的圖像作為非基準(zhǔn)圖像I1而選擇。接下來(lái)，在步驟S22中，在基準(zhǔn)圖像Itl中對(duì)特征點(diǎn)進(jìn)行提取，在非基準(zhǔn)圖像I1中對(duì)與基準(zhǔn)圖像Itl的特征點(diǎn)對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)進(jìn)行檢測(cè)，以非基準(zhǔn)圖像I1的對(duì)應(yīng)點(diǎn)的位置與基準(zhǔn)圖像Itl的特征點(diǎn)的位置一致的方式進(jìn)行對(duì)位(步驟S22)。如此進(jìn)行對(duì)位，是因?yàn)橛袝r(shí)在包圍式對(duì)焦的各攝影中攝影時(shí)機(jī)微妙地不同而引起視場(chǎng)角偏離。以特征點(diǎn)和對(duì)應(yīng)點(diǎn)重合的方式使非基準(zhǔn)圖像I1變形而生成變形圖像I/，從而進(jìn)行對(duì)位。對(duì)非基準(zhǔn)圖像I1的全部進(jìn)行步驟S20?S22的處理(步驟S24中否的期間)。
[0084](3)模糊強(qiáng)度映射獲取
[0085]若對(duì)位結(jié)束(步驟S24中是)，則向步驟S26推進(jìn)而根據(jù)基準(zhǔn)圖像I。和變形圖像I/生成(獲取)模糊強(qiáng)度映射12。模糊強(qiáng)度映射(本例中是距離圖像)表示后述的模糊強(qiáng)調(diào)處理中的對(duì)基準(zhǔn)圖像的模糊強(qiáng)度的分布。另外，在圖2(d)的示意圖中由黑(近前側(cè))和白(里側(cè))兩種顏色表示模糊強(qiáng)度映射I2，但是模糊強(qiáng)度映射I2未必限于二值的圖像。
[0086](3)模糊強(qiáng)調(diào)處理
[0087]在步驟S28中，基于直至步驟S26所生成的模糊強(qiáng)度映射I2中所包含的模糊強(qiáng)度的分布的信息，對(duì)基準(zhǔn)圖像Itl進(jìn)行模糊處理。在模糊處理中能夠使用各種濾光片。例如，使用由下式I所表達(dá)的高斯濾光片。
[0088][數(shù)學(xué)式I]
[0089]f (x) = (2 η σ 2”/2 X e X P (-X2/(2 σ 2))
[0090]上式中，ο表示基于模糊強(qiáng)調(diào)處理的模糊強(qiáng)調(diào)的程度，σ越小則模糊強(qiáng)調(diào)的程度越小，σ越大則模糊強(qiáng)調(diào)的程度越大。另外，在高斯濾光片的適用中能夠使用3X3、5X5等各種尺寸的內(nèi)核。適用這種高斯濾光片，基于模糊強(qiáng)度映射對(duì)基準(zhǔn)圖像Itl進(jìn)行模糊處理而生成模糊圖像Ιο’。例如，對(duì)于距離較近的像素，減小高斯濾光片的O而減小模糊強(qiáng)調(diào)的程度，對(duì)于距離較遠(yuǎn)的像素，增大σ而增大模糊強(qiáng)調(diào)的程度。
[0091]另外，在步驟S28的模糊強(qiáng)調(diào)處理中，在僅進(jìn)行模糊處理的情況下，基準(zhǔn)圖像I。的背景區(qū)域與用于模糊處理的濾光特性(上述例中為高斯濾光片的σ的強(qiáng)度)對(duì)應(yīng)而發(fā)生模糊，但是與該模糊處理相伴，在背景區(qū)域中，能夠降低原始的基準(zhǔn)圖像Itl中包含的噪聲。另一方面，不進(jìn)行模糊處理(或模糊處理的程度較弱)的人物區(qū)域的噪聲不被降低。即，在僅進(jìn)行模糊處理的情況下，例如進(jìn)行模糊處理的背景區(qū)域和不進(jìn)行模糊處理的人物區(qū)域中，產(chǎn)生噪聲量的差。因此，在本發(fā)明所涉及的圖像處理中，在模糊強(qiáng)調(diào)處理中，為了減輕進(jìn)行模糊處理(平滑化)的區(qū)域和不進(jìn)行模糊處理的區(qū)域之間的噪聲的差，而進(jìn)行噪聲提取和噪聲附加。
[0092][模糊強(qiáng)調(diào)處理的實(shí)施例]
[0093]接下來(lái)，對(duì)模糊強(qiáng)調(diào)處理(圖3的步驟S28)的實(shí)施例進(jìn)行說(shuō)明。
[0094]<第一實(shí)施例>
[0095]圖4是表示第一實(shí)施例的圖像處理裝置的結(jié)構(gòu)的框圖。以下，以本發(fā)明適用于圖1的攝像裝置10的情況為例對(duì)圖4的圖像處理裝置100進(jìn)行說(shuō)明。
[0096]在圖4中，圖像處理裝置100具備:圖像獲取單元112，獲取對(duì)被攝體進(jìn)行攝像所得的攝像圖像；平滑化單元114，通過(guò)對(duì)由圖像獲取單元112獲取的攝像圖像的整體均一地進(jìn)行平滑化而生成平滑化圖像；噪聲提取單元116，從攝像圖像與平滑化圖像的差分(以下也稱作“差分圖像”)提取差分噪聲成分；噪聲附加單元118，通過(guò)向平滑化圖像加上差分噪聲成分，利用平滑化圖像和由圖像獲取單元112所獲取的攝像圖像而使噪聲相等；映射獲取單元120，獲取模糊強(qiáng)度映射；圖像合成單元122，基于模糊強(qiáng)度映射而對(duì)攝像圖像和平滑化圖像進(jìn)行合成，從而生成與模糊強(qiáng)度映射對(duì)應(yīng)的模糊強(qiáng)度的分布的輸出圖像(模糊強(qiáng)調(diào)圖像)。
[0097]本例的平滑化單元114通過(guò)將由圖像獲取單元112所獲取的攝像圖像(輸入圖像)按照多個(gè)不同的平滑化強(qiáng)度中的各平滑化強(qiáng)度進(jìn)行平滑化，生成平滑化強(qiáng)度相互不同的多個(gè)平滑化圖像。
[0098]本例的噪聲提取單元116生成表示攝像圖像(輸入圖像)與多個(gè)平滑化圖像中的各平滑化圖像的差分的多個(gè)差分圖像，并從該多個(gè)差分圖像，對(duì)與多個(gè)平滑化圖像分別對(duì)應(yīng)的多個(gè)差分噪聲成分(差分噪聲圖像)進(jìn)行提取。本例的“差分噪聲成分”包含攝像圖像中所包含的噪聲與平滑化圖像中所包含的噪聲的差分，表示通過(guò)對(duì)攝像圖像進(jìn)行平滑化而從攝像圖像降低后的噪聲。另外，所謂“噪聲”，是圖像的混亂(噪聲成分)，是與被攝體像不相關(guān)的成分。
[0099]本例的噪聲附加單元118通過(guò)向多個(gè)平滑化圖像中的各平滑化圖像加上多個(gè)差分噪聲成分中的對(duì)應(yīng)的差分噪聲成分，而使多個(gè)平滑化圖像間的噪聲相等。
[0100]本例的圖像合成單元122基于模糊強(qiáng)度映射來(lái)合成攝像圖像和多個(gè)平滑化圖像，從而生成與模糊強(qiáng)度映射對(duì)應(yīng)的模糊強(qiáng)度的分布的輸出圖像(模糊強(qiáng)調(diào)圖像)。
[0101]圖像獲取單元112例如包含圖1的(XD16(攝像元件)和圖像輸入控制器22而構(gòu)成。也可以由圖1的媒介控制器52構(gòu)成圖像獲取單元112，從存儲(chǔ)卡54輸入攝像圖像。映射獲取單元120例如由圖1的CPU40構(gòu)成，通過(guò)由CPU40生成模糊強(qiáng)度映射而獲取模糊強(qiáng)度映射。也可以由圖1的媒介控制器52構(gòu)成映射獲取單元120，并從存儲(chǔ)卡54獲取模糊強(qiáng)度映射。平滑化單元114、噪聲提取單元116、噪聲附加單元118和圖像合成單元122例如由圖1的CPU40構(gòu)成。
[0102]平滑化單元114對(duì)輸入圖像的平滑化原理上也可以是一級(jí)(生成一個(gè)平滑化圖像)。即，如果存在原始的攝像圖像(輸入圖像)和一張平滑化圖像，則能夠通過(guò)圖像合成而生成與模糊強(qiáng)度映射所示的目標(biāo)模糊強(qiáng)度的分布對(duì)應(yīng)的輸出圖像(模糊強(qiáng)調(diào)圖像)。可是，從輸出圖像的畫質(zhì)的觀點(diǎn)出發(fā)，優(yōu)選為兩級(jí)以上(平滑化強(qiáng)度不同的平滑化圖像生成兩個(gè)以上)。
[0103]圖5是表示進(jìn)行多級(jí)平滑化的情況下的圖像處理裝置100的一例的主要部分的框圖。在圖5中，為了使多級(jí)平滑化的理解容易，而示出了在圖像處理裝置100中設(shè)有多個(gè)平滑化單元114a、114b、114c、多個(gè)噪聲提取單元116a、116b、116c和多個(gè)噪聲附加單元118a、118b、118c的情況。多個(gè)平滑化單元114a、114b、114c的平滑化強(qiáng)度相互不同，第一平滑化單元114a以第一平滑化強(qiáng)度對(duì)輸入圖像的整體進(jìn)行平滑化而生成第一平滑化圖像，第二平滑化單元114b以第二平滑化強(qiáng)度對(duì)輸入圖像的整體進(jìn)行平滑化而生成第二平滑化圖像，第三平滑化單元114c以第三平滑化強(qiáng)度對(duì)輸入圖像的整體進(jìn)行平滑化而生成第三平滑化圖像。
[0104]S卩，輸入到第一噪聲提取單元116a和第一噪聲附加單元118a的第一平滑化圖像、輸入到第二噪聲提取單元116b和第二噪聲附加單元118b的第二平滑化圖像及輸入到第三噪聲提取單元116c和第三噪聲附加單元118c的第三平滑化圖像彼此的模糊強(qiáng)度(平滑化強(qiáng)度)不同。因此，從第一噪聲附加單元118a輸出的第一模糊圖像、從第二噪聲附加單元118b輸出的第二模糊圖像及從第三噪聲附加單元118c輸出的第三模糊圖像彼此的模糊強(qiáng)度(平滑化強(qiáng)度)不同。
[0105]圖6是表示圖4的圖像處理裝置100中的模糊強(qiáng)調(diào)處理的一例的流程的流程圖。本處理由圖1的CPU40按照程序執(zhí)行。
[0106]另外，設(shè)為已經(jīng)由圖像獲取單元112獲取輸入圖像(原始的攝像圖像)，且由映射獲取單元120獲取模糊強(qiáng)度映射。另外，作為模糊強(qiáng)度映射，例如獲取表示攝像圖像中的每個(gè)像素或每個(gè)區(qū)域的距離的分布的距離映射。
[0107]首先，將表示是第幾級(jí)平滑化的變量η初始設(shè)定為I (步驟S102)。
[0108]接下來(lái)，由平滑化單元114對(duì)成為模糊強(qiáng)調(diào)的對(duì)象的輸入圖像(原始的攝像圖像)進(jìn)行第η次平滑化處理(步驟S104:平滑化步驟)。即，由平滑化單元114對(duì)攝像圖像的整體以第η平滑化強(qiáng)度均一地進(jìn)行平滑化，從而生成第η平滑化圖像。例如，作為平滑化處理，使用高斯濾光片。平滑化單元114能夠以相互不同的多個(gè)平滑化強(qiáng)度σ 1、σ 2、σ 3(0 I
<σ 2 < σ 3)中的各平滑化強(qiáng)度，對(duì)攝像圖像的整體均一地進(jìn)行平滑化。
[0109]接下來(lái)，由噪聲提取單元116生成輸入圖像(原始的攝像圖像)與第η平滑化圖像的差分(差分圖像)，從該差分圖像提取差分噪聲成分，從而對(duì)與第η平滑化圖像對(duì)應(yīng)的第η差分噪聲成分進(jìn)行提取(步驟S106:噪聲提取步驟)。由此，將通過(guò)第η平滑化強(qiáng)度的平滑化而從攝像圖像降低后的噪聲成分(稱作“差分噪聲成分”)作為差分噪聲圖像而提取。
[0110]另外，在輸入圖像和平滑化圖像的差分圖像現(xiàn)實(shí)上包含噪聲成分以外的表示被攝體像的真信號(hào)。由此，優(yōu)選為，不將差分圖像本身作為差分噪聲成分，而是通過(guò)從差分圖像排除噪聲成分以外的成分而僅對(duì)噪聲成分進(jìn)行提取。具體來(lái)說(shuō)，第一，進(jìn)行邊緣檢測(cè)而將邊緣成分除去，第二，將圖像中所包含的信號(hào)成分的振幅(像素值)與閾值進(jìn)行比較，并將比該閾值大的振幅的信號(hào)成分除去等。針對(duì)這種適當(dāng)?shù)脑肼暢煞值奶崛?，以后進(jìn)行說(shuō)明。其中，有時(shí)無(wú)法從差分圖像將噪聲以外的成分全部除去。即，本發(fā)明中的“差分噪聲成分”中有時(shí)包含與被攝體像相關(guān)的真信號(hào)。另外，有時(shí)無(wú)法從差分圖像將輸入圖像的噪聲與平滑化圖像的噪聲的差分全部提取。即，本發(fā)明中的“差分噪聲成分”中有時(shí)僅包含輸入圖像的噪聲與平滑化圖像的噪聲的差分的一部分。
[0111]接下來(lái)，由噪聲附加單元118向第η平滑化圖像加上第η差分噪聲成分，從而生成第η模糊圖像(步驟S108:噪聲附加步驟)。由此，通過(guò)第η平滑化強(qiáng)度的平滑化將從攝像圖像降低后的噪聲(差分噪聲成分)加算到攝像圖像而返回。即，在輸入圖像的信號(hào)成分中，生成對(duì)噪聲成分以外的信號(hào)成分進(jìn)行平滑化后的模糊圖像(噪聲成分未被平滑化的模糊圖像)。
[0112]接下來(lái)，判定變量η是否達(dá)到重復(fù)次數(shù)N (N是級(jí)數(shù))(步驟S110)。
[0113]在η < N的情況下，使變量η遞增(加“I”)(步驟SI 12)，返回到步驟S104。
[0114]在η彡N的情況下(η達(dá)到N的情況下)，通過(guò)圖像合成單元122，基于模糊強(qiáng)度映射來(lái)合成輸入圖像(原始的攝像圖像)和第一?第N模糊圖像(是加上差分噪聲圖像后的平滑化圖像)，從而生成與模糊強(qiáng)度映射對(duì)應(yīng)的模糊強(qiáng)度的分布的輸出圖像(步驟S114:圖像合成步驟)。
[0115]圖像合成單元122通過(guò)參照模糊強(qiáng)度映射，獲取輸入圖像的像素單位的模糊強(qiáng)度(平滑化強(qiáng)度)。從輸入圖像和第一?第N模糊圖像中例如選擇兩個(gè)圖像，通過(guò)這些所選擇的兩個(gè)圖像(例如模糊圖像a和模糊圖像b)的平滑化強(qiáng)度oa、ob(稱作“多級(jí)平滑化強(qiáng)度”)，而由下式表達(dá)輸入圖像的關(guān)注像素p0(x，y)的平滑化強(qiáng)度σ (稱作“目標(biāo)平滑化強(qiáng)度”)。
[0116][數(shù)學(xué)式2]
[0117]σ = wX σ a+(l — w) X σ b ( σ a < σ ( σ b)
[0118]在此，w是加權(quán)系數(shù)。在本例中，輸入圖像以平滑化強(qiáng)度“ σ O”進(jìn)行平滑化，從σ O、σ 1、σ 2、σ 3中選擇兩個(gè)平滑化強(qiáng)度σ a、σ b。如上述那樣滿足σ a彡σ ( σ b的條件，作為例外在成為σ > σ 3的情況下,進(jìn)行設(shè)為例如Oa= σ b = σ 3的對(duì)應(yīng)。
[0119]通過(guò)算出滿足數(shù)學(xué)式2的加權(quán)平均W，而如以下數(shù)學(xué)式3那樣進(jìn)行像素值的加權(quán)平均，實(shí)現(xiàn)與以目標(biāo)平滑化強(qiáng)度σ進(jìn)行平滑化的情況大致同等的模糊量(模糊強(qiáng)度)。
[0120][數(shù)學(xué)式3]
[0121]c (x, y) = wXa(x, y) + (l-w) Xb(x, y)
[0122]如此，通過(guò)合成平滑化強(qiáng)度不同的多個(gè)圖像(在本例中，為輸入圖像和多個(gè)模糊圖像)，能夠生成目標(biāo)模糊強(qiáng)調(diào)圖像，并且通過(guò)使用加上了因平滑化而喪失的噪聲成分后的平滑化圖像組，能夠生成局部的噪聲特性差異不明顯的模糊強(qiáng)調(diào)圖像。
[0123]另外，在作為模糊強(qiáng)度映射使用距離圖像等距離映射的情況下，圖像合成單元122基于距離映射生成具有與攝像圖像中的距離的分布相應(yīng)的模糊強(qiáng)度的分布的輸出圖像(模糊強(qiáng)調(diào)圖像)。
[0124]接下來(lái)，對(duì)如圖5和圖6那樣以多級(jí)進(jìn)行平滑化處理的情況的作用效果進(jìn)行說(shuō)明。本發(fā)明中，原理上如果存在一幀的輸入圖像和一幀的平滑化圖像，則通過(guò)這兩圖像的合成能夠生成兩圖像的中間性的平滑化強(qiáng)度的圖像，但是從畫質(zhì)的觀點(diǎn)出發(fā)，優(yōu)選為生成平滑化強(qiáng)度不同的兩幀以上的平滑化圖像而進(jìn)行圖像合成。以下對(duì)其理由進(jìn)行說(shuō)明。
[0125]圖7表示對(duì)δ函數(shù)的信號(hào)乘以強(qiáng)度不同的高斯濾光片后的結(jié)果。圖7(a)是δ函數(shù)的輸入信號(hào)SgO，圖7(b)是以強(qiáng)度σ I進(jìn)行平滑化后的情況下的輸出信號(hào)(平滑化信號(hào)Sgl)，圖7(c)是以強(qiáng)度σ 2進(jìn)行平滑化后的情況下的輸出信號(hào)(平滑化信號(hào)Sg2)，圖7(d)是以強(qiáng)度σ 3進(jìn)行平滑化后的情況下的輸出信號(hào)(平滑化信號(hào)Sg3)。在此，是σ I < σ 2
<σ 3。如圖7(a)?(d)所示，隨著平滑化強(qiáng)度變大，輸出信號(hào)(Sgl?Sg3)的振幅降低，處于成為底部展寬的傾向。另一方面，圖8是以將輸入信號(hào)SgO和平滑化信號(hào)Sg3合成后的合成信號(hào)Sg4的峰值與平滑化信號(hào)Sgl相同的方式進(jìn)行合成后的圖。根據(jù)本圖，可知:雖然峰值(峰值位置的信號(hào)強(qiáng)度)一致，但是信號(hào)的展寬存在差異。本方法是通過(guò)平滑化強(qiáng)度不同的多個(gè)平滑化信號(hào)的合成而生成期望的平滑化信號(hào)的近似方法，但是圖8所示的合成結(jié)果表示將平滑化強(qiáng)度較大不同的信號(hào)合成，由此近似精度降低、信號(hào)特性產(chǎn)生差異。由此，為了實(shí)現(xiàn)期望的平滑化強(qiáng)度，優(yōu)選為，通過(guò)以多級(jí)進(jìn)行平滑化處理，生成平滑化強(qiáng)度不同的多個(gè)攝像圖像(平滑化圖像)，通過(guò)使用了該多個(gè)平滑化圖像的圖像合成而生成輸出圖像(模糊強(qiáng)調(diào)圖像)。
[0126]圖9是表示對(duì)最大模糊強(qiáng)度進(jìn)行檢測(cè)的情況下的模糊強(qiáng)調(diào)處理的一例的流程的流程圖。在本例中，模糊強(qiáng)度映射對(duì)應(yīng)輸入圖像(原始的攝像圖像)的每個(gè)像素或每個(gè)像素區(qū)域表示模糊強(qiáng)度的分布。在圖9中，首先，由平滑化單元114從模糊強(qiáng)度映射檢測(cè)最大的模糊強(qiáng)度σ MAX，確定對(duì)攝像圖像的平滑化的平滑化強(qiáng)度(步驟S100)。步驟S102?S114與圖6所示的處理同樣。其中，在步驟S104中，使用由步驟SlOO確定的平滑化強(qiáng)度進(jìn)行對(duì)攝像圖像的平滑化。
[0127]<第二實(shí)施例>
[0128]圖10是表示第二實(shí)施例的圖像處理裝置的主要部分結(jié)構(gòu)的框圖。以下，以本發(fā)明適用于圖1的攝像裝置10的情況為例對(duì)圖10的圖像處理裝置100進(jìn)行說(shuō)明。另外，在圖4(第一實(shí)施例)中已經(jīng)示出的結(jié)構(gòu)要素上標(biāo)注相同附圖標(biāo)記。以下僅對(duì)與第一實(shí)施例不同的事項(xiàng)進(jìn)行說(shuō)明。
[0129]在圖10中，噪聲圖像獲取單元113獲取表示輸入圖像(原始的攝像圖像)中所包含的噪聲的噪聲圖像。
[0130]本例的噪聲圖像由與輸入圖像中包含的噪聲相同的噪聲構(gòu)成。在此，所謂與輸入圖像中所包含的噪聲“相同”包括噪聲并非完全相同而是大致相同的情況。例如，正態(tài)分布的寬度(方差或標(biāo)準(zhǔn)偏差)之差為5%以內(nèi)，或噪聲強(qiáng)度(依賴于空間頻率f的噪聲強(qiáng)度M(f))之差為10%以內(nèi)。
[0131]本例的噪聲圖像獲取單元113由圖1的CPU40構(gòu)成，生成噪聲圖像。
[0132]在本例中，如果獲取輸入圖像，則基于該輸入圖像生成噪聲圖像，從而獲取噪聲圖像，但是也可以預(yù)先生成噪聲圖像并存儲(chǔ)于存儲(chǔ)器48或存儲(chǔ)卡54等存儲(chǔ)單元，若獲取輸入圖像，則從存儲(chǔ)器48等存儲(chǔ)單元獲取與該輸入圖像對(duì)應(yīng)的噪聲圖像。另外，噪聲圖像生成的各種方式以后詳述。
[0133]第二實(shí)施例的平滑化單元114具有對(duì)攝像圖像的整體均一地進(jìn)行平滑化的攝像圖像平滑化功能和對(duì)噪聲圖像的整體均一地進(jìn)行平滑化的噪聲圖像平滑化功能。本例的平滑化單元114通過(guò)以多個(gè)不同的平滑化強(qiáng)度中的各平滑化強(qiáng)度對(duì)攝像圖像進(jìn)行平滑化，從而生成平滑化強(qiáng)度不同的多個(gè)平滑化圖像，且通過(guò)以在攝像圖像的平滑化中所使用的多個(gè)不同的平滑化強(qiáng)度中的各平滑化強(qiáng)度對(duì)噪聲圖像進(jìn)行平滑化，從而生成平滑化強(qiáng)度不同的多個(gè)平滑化噪聲圖像。
[0134]圖11是表示進(jìn)行多級(jí)平滑化的情況下的圖像處理裝置100的主要部分的一例的框圖。在圖11中，為了使多級(jí)平滑化的理解容易，而示出了在圖像處理裝置100中設(shè)有多個(gè)平滑化單元114a、114b、114c、114d、114e、114f、多個(gè)噪聲提取單元116a、116b、116c和多個(gè)噪聲附加單元118a、118b、118c的情況。
[0135]攝像圖像平滑化用的多個(gè)平滑化單元114a、114b、114c的平滑化強(qiáng)度彼此不同，噪聲圖像平滑化用的平滑化單元114d、114e、114f的平滑化強(qiáng)度彼此不同。第一平滑化單元114a以第一平滑化強(qiáng)度對(duì)輸入圖像的整體進(jìn)行平滑化而生成第一平滑化圖像，第二平滑化單元114b以第二平滑化強(qiáng)度對(duì)輸入圖像的整體進(jìn)行平滑化而生成第二平滑化圖像，第三平滑化單元114c以第三平滑化強(qiáng)度對(duì)輸入圖像的整體進(jìn)行平滑化而生成第三平滑化圖像。第四平滑化單元114d以上述的第一平滑化強(qiáng)度對(duì)噪聲圖像的整體進(jìn)行平滑化而生成第一平滑化噪聲圖像，第五平滑化單元114e以上述的第二平滑化強(qiáng)度對(duì)噪聲圖像的整體進(jìn)行平滑化而生成第二平滑化噪聲圖像，第六平滑化單元114f以上述的第三平滑化強(qiáng)度對(duì)噪聲圖像的整體進(jìn)行平滑化而生成第三平滑化噪聲圖像。
[0136]第一噪聲提取單元116a從噪聲圖像與由第四平滑化單元114d生成的第一平滑化噪聲圖像的差分(差分圖像)提取第一差分噪聲成分，第二噪聲提取單元116b從噪聲圖像與由第五平滑化單元114e生成的第二平滑化噪聲圖像的差分(差分圖像)提取第二差分噪聲成分，第三噪聲提取單元116c從噪聲圖像與由第六平滑化單元114f生成的第三平滑化噪聲圖像的差分(差分圖像)提取第三差分噪聲成分。本例的“差分噪聲成分”包含噪聲圖像中所包含的噪聲與平滑化噪聲圖像中所包含的噪聲的差分，表示通過(guò)對(duì)攝像圖像進(jìn)行平滑化而從攝像圖像降低后的噪聲。
[0137]第一噪聲附加單元118a對(duì)由第一平滑化單元114a生成的第一平滑化圖像附加由第一噪聲提取單元116a提取出的第一差分噪聲成分而生成第一模糊圖像，第二噪聲附加單元118b對(duì)由第二平滑化單元114b生成的第二平滑化圖像附加由第二噪聲提取單元116b提取出的第二差分噪聲成分而生成第二模糊圖像，第三噪聲附加單元118c對(duì)由第三平滑化單元114c生成的第三平滑化圖像附加由第三噪聲提取單元116c提取出的第三差分噪聲成分而生成第三模糊圖像。
[0138]圖像合成單元122對(duì)應(yīng)輸入圖像(原始的攝像圖像)的每個(gè)像素或者攝像圖像的每個(gè)區(qū)域，基于模糊強(qiáng)度映射所示的模糊強(qiáng)度，而從攝像圖像和第一?第三模糊圖像(是分別附加了第一?第三差分噪聲成分后的第一?第三平滑化圖像)中選擇多個(gè)(本例中為兩個(gè))圖像，以所選擇的多個(gè)圖像進(jìn)行像素值的加權(quán)平均，從而將輸出圖像(模糊強(qiáng)調(diào)圖像)輸出。
[0139]圖12是表示圖10的圖像處理裝置100中的模糊強(qiáng)調(diào)處理的一例的流程的流程圖。本處理由圖1的CPU40按照程序執(zhí)行。
[0140]另外，設(shè)為已經(jīng)由圖像獲取單元112獲取輸入圖像(原始的攝像圖像)，且由映射獲取單元120獲取模糊強(qiáng)度映射。
[0141]首先，獲取噪聲圖像(步驟S202)。本例的噪聲圖像由與輸入圖像所包含的噪聲大致相同的噪聲構(gòu)成。
[0142]接下來(lái)，將表示是第幾級(jí)平滑化的變量η初始設(shè)為I (步驟S204)。
[0143]接下來(lái)，由平滑化單元114對(duì)成為模糊強(qiáng)調(diào)的對(duì)象的輸入圖像(原始的攝像圖像)進(jìn)行第η次平滑化處理(步驟S206:生成平滑化圖像的步驟)。即，由平滑化單元114以第η平滑化強(qiáng)度對(duì)攝像圖像的整體均一地進(jìn)行平滑化，從而輸出第η平滑化圖像。該步驟S206與第一實(shí)施方式的步驟S104同樣。
[0144]接下來(lái)，由平滑化單元114對(duì)噪聲圖像進(jìn)行第η次平滑化處理(步驟S208:生成平滑化噪聲圖像的步驟)。即，由平滑化單元114以輸入圖像(原始的攝像圖像)的第η次平滑化中所使用的第η平滑化強(qiáng)度對(duì)噪聲圖像的整體均一地進(jìn)行平滑化，從而輸出第η平滑化噪聲圖像。在此，利用第η平滑化圖像和第η平滑化噪聲圖像，使平滑化強(qiáng)度一致，從而使空間頻率特性一致。
[0145]接下來(lái)，由噪聲提取單元116從噪聲圖像與第η平滑化噪聲圖像的差分(差分圖像)提取噪聲(差分噪聲)成分，從而生成與第η平滑化圖像對(duì)應(yīng)的第η差分噪聲圖像(步驟S210:噪聲提取步驟)。由此，將通過(guò)第η平滑化強(qiáng)度的平滑化而從輸入圖像(原始的攝像圖像)降低后的噪聲(差分噪聲)成分作為差分噪聲圖像而提取。本例的差分噪聲圖像是將噪聲圖像和第η平滑化噪聲圖像的差分噪聲成分與第η平滑化圖像同樣地以像素單位表示的圖像。
[0146]接下來(lái)，由噪聲附加單元118向第η平滑化圖像加上第η差分噪聲圖像(差分噪聲成分)，從而生成第η模糊圖像(步驟S212:噪聲附加步驟)。該步驟S212與第一實(shí)施方式的步驟S108同樣。由此，將通過(guò)第η平滑化強(qiáng)度的平滑化而從輸入圖像降低后的噪聲(差分噪聲)成分返還到輸入圖像。即，生成對(duì)輸入圖像的信號(hào)成分中噪聲以外的信號(hào)成分進(jìn)行平滑化后的圖像(模糊圖像)。
[0147]接下來(lái)，判定變量η是否達(dá)到重復(fù)次數(shù)Ν(步驟S214)。
[0148]在η < N的情況下，使變量η遞增(加“ I”)(步驟S216)，而返回到步驟S206。
[0149]在η彡N的情況下(η達(dá)到N的情況下)，通過(guò)圖像合成單元122，基于模糊強(qiáng)度映射來(lái)合成輸入圖像(原始的攝像圖像)和第一?第N模糊圖像(加上差分噪聲成分后的平滑化圖像)，而生成與模糊強(qiáng)度映射對(duì)應(yīng)的模糊強(qiáng)度的分布的輸出圖像(步驟S218:圖像合成步驟)。
[0150]在本例中，對(duì)應(yīng)輸入圖像的每個(gè)像素(或者攝像圖像的每個(gè)區(qū)域)，基于模糊強(qiáng)度映射所示的模糊強(qiáng)度，從輸入圖像和第一?第N模糊圖像(是分別附加了第一?第N差分噪聲成分后的第一?第N平滑化圖像)中選擇多個(gè)(例如兩個(gè))圖像，以所選擇的多個(gè)圖像進(jìn)行像素值的加權(quán)平均，從而將輸出圖像(模糊強(qiáng)調(diào)圖像)輸出。
[0151]<噪聲圖像生成>
[0152]接下來(lái)，對(duì)噪聲圖像生成的各種方式進(jìn)行說(shuō)明。
[0153](噪聲圖像生成的一方式)
[0154]作為噪聲圖像生成的一方式，具有通過(guò)從輸入圖像(原始的攝像圖像)提取噪聲而生成噪聲圖像的方式。
[0155]圖13是表示噪聲圖像生成處理的一例的流程的流程圖。本處理由CPU40按照程序執(zhí)行。
[0156]首先，對(duì)輸入圖像(原始的攝像圖像)進(jìn)行平滑化(步驟S40)。具體來(lái)說(shuō)，將高斯濾光片等LPF (低通濾光片)作為平滑化濾光片而使用，以最大的平滑化強(qiáng)度對(duì)輸入圖像進(jìn)行平滑化，從而作為平滑化圖像生成最大模糊的攝像圖像(以最大的平滑化強(qiáng)度被平滑化后的攝像圖像)。在本例中，作為最大的平滑化強(qiáng)度，使用比輸入圖像平滑化(圖12的步驟S206)中所使用的第一?第N平滑化強(qiáng)度的任一平滑化強(qiáng)度都大的平滑化強(qiáng)度(最大平滑化強(qiáng)度)而對(duì)輸入圖像進(jìn)行平滑化。
[0157]接下來(lái)，對(duì)輸入圖像(原始的攝像圖像)與步驟S40中被平滑化的輸入圖像(平滑化圖像)的差分進(jìn)行提取(步驟S42)。在本例中，以像素單位對(duì)輸入圖像的像素值與平滑化圖像的像素值的差分進(jìn)行提取，從而生成由輸入圖像的中/高頻成分構(gòu)成的差分圖像。
[0158]接下來(lái)，對(duì)差分圖像進(jìn)行邊緣檢測(cè)(步驟S44)。
[0159]具體來(lái)說(shuō)，對(duì)差分圖像(輸入圖像與平滑化圖像的差分)乘以HPF(高通濾光片)或BPF(帶通濾光片)，而進(jìn)行邊緣檢測(cè)。例如，以像素單位，在水平方向(O度)、垂直方向(90度)、右上傾斜方向(45度)、左上傾斜方向(135度)的四個(gè)方向，乘以HPF(高通濾光片)或BPF(帶通濾光片)。特別是，一次微分濾光(例如[一 1:0:1])、二次微分濾光(例如[一 1:2: — I])較為有效。求取水平方向、垂直方向、右上傾斜方向、左上傾斜方向的濾光輸出值的絕對(duì)值Hh、Hv、Hne、Hnw中的最大值(最大值Hmax),將該最大值Hmax和閾值hpf — thl進(jìn)行比較，
[0160](a)若Hmax > hpf_thl則判定為關(guān)注像素是邊緣成分，
[0161](b)若Hmax ( hpf_thl則判定為關(guān)注像素是噪聲成分。即，判定差分圖像的信號(hào)成分是邊緣成分還是噪聲成分。
[0162]接下來(lái)，基于邊緣檢測(cè)結(jié)果，生成噪聲圖像(步驟S46)。即，從差分圖像除去邊緣成分。
[0163]另外，在差分圖像中不僅包含噪聲信號(hào)(噪聲)，也包含表示被攝體像的真信號(hào)(被攝體像成分)。
[0164]因此，設(shè)為微小振幅的信號(hào)是噪聲信號(hào)，將閾值a以下的振幅(像素值)的信號(hào)判定為噪聲信號(hào)，將振幅超過(guò)閾值a的信號(hào)除去。這與使差分圖像通過(guò)例如圖14所示的非線形函數(shù)并將其輸出作為噪聲圖像等價(jià)。如此，能夠生成由與輸入圖像(原始的攝像圖像)中包含的噪聲相同的噪聲構(gòu)成的噪聲圖像。
[0165]另外，若由圖14所示的非線形函數(shù)進(jìn)行噪聲成分提取，則在閾值a附近產(chǎn)生信號(hào)的不連續(xù)。因此，利用圖15所示的非線形函數(shù)進(jìn)行噪聲成分提取較為合適。在圖15的非線形函數(shù)中，根據(jù)振幅將閾值a以上而小于閾值b的信號(hào)除去(以振幅越大則輸出成分變得越小的方式除去)，且將振幅超過(guò)閾值b的信號(hào)完全除去。在使用圖15的非線形函數(shù)的情況下，并非將比閾值a更大的振幅的信號(hào)除去，而是隨著振幅從a接近于b (> a)，輸出接近于零。
[0166]另外，圖13所示的噪聲圖像生成的步驟S42能夠適用于圖6和圖9所示的第一實(shí)施方式的步驟S106。具體來(lái)說(shuō)，在第一實(shí)施方式的步驟S106(差分噪聲提取)中，如使用圖13、圖14和圖15進(jìn)行說(shuō)明那樣，通過(guò)進(jìn)行邊緣檢測(cè)(步驟S44)和噪聲成分以外的成分的除去(步驟S46)，而能夠從差分圖像(輸入圖像與平滑化圖像的差分)提取真的差分噪聲成分。
[0167](噪聲圖像生成的其他方式)
[0168]作為噪聲圖像生成的其他方式是如下方式:不從輸入圖像(原始的攝像圖像)提取噪聲，而基于攝像圖像的攝像條件(攝影透鏡12的聚焦條件、變焦條件、光圈14的光圈條件、攝像元件(例如CCD16)的驅(qū)動(dòng)條件、模擬信號(hào)處理部20等的信號(hào)處理?xiàng)l件等)或?qū)z像圖像進(jìn)行攝像的攝像裝置10的攝像特性(攝影透鏡12的特性、攝像元件(例如CCD16)的特性、模擬信號(hào)處理部20等的信號(hào)處理的特性等)生成噪聲圖像。
[0169]作為基于攝像裝置10的攝像特性的噪聲圖像生成例，也可以按照攝像裝置10的模型而生成噪聲圖像。根據(jù)攝像裝置10中的噪聲的產(chǎn)生和傳播的模型而確定噪聲的量。通常，由攝像元件(例如圖1的CCD16)所產(chǎn)生的噪聲量相對(duì)于光電二極管的受光量單調(diào)地增力口。由于光電二極管的受光量是攝像圖像的像素值，因此能夠?qū)⒃肼暳縵考慮為以像素值V為參數(shù)的函數(shù)。由攝像元件所產(chǎn)生的噪聲每次受到各種信號(hào)處理，其特性發(fā)生變化。關(guān)于信號(hào)處理中的噪聲傳播，在此沒(méi)有涉及，但將相對(duì)于像素值V的噪聲量設(shè)為fn (v)。并且，從基于攝像圖像的像素值而推測(cè)的噪聲量fn(v)生成噪聲圖像。
[0170]圖16是表示檢測(cè)最大模糊強(qiáng)度的情況下的模糊強(qiáng)調(diào)處理的一例的流程的流程圖。在本例中，模糊強(qiáng)度映射對(duì)應(yīng)輸入圖像(原始的攝像圖像)的每個(gè)像素或每個(gè)像素區(qū)域表示輸出圖像(模糊強(qiáng)調(diào)圖像)中的模糊強(qiáng)度(目標(biāo)模糊強(qiáng)度)的分布。在圖16中，首先由平滑化單元114從模糊強(qiáng)度映射檢測(cè)最大的模糊強(qiáng)度0祖乂(步驟3201)。接下來(lái)，基于最大的模糊強(qiáng)度σ MAX，確定處理次數(shù)N、攝像圖像及對(duì)噪聲圖像的平滑化的平滑化強(qiáng)度(步驟S205)。在本例中，基于強(qiáng)度σ MAX，確定平滑化強(qiáng)度，并且也確定平滑化、噪聲提取和噪聲附加的重復(fù)次數(shù)(級(jí)數(shù))。步驟S206?S218與圖12所示的處理同樣。其中，在步驟S206中，使用由步驟S205確定出的平滑化強(qiáng)度而進(jìn)行對(duì)攝像圖像的平滑化，在步驟S208中，使用由步驟S205確定出的平滑化強(qiáng)度而進(jìn)行對(duì)噪聲圖像的平滑化。
[0171]<第三實(shí)施例>
[0172]圖17是表示第三實(shí)施例的圖像處理裝置的主要部分結(jié)構(gòu)的框圖。以下，以本發(fā)明適用于圖1的攝像裝置10的情況為例對(duì)圖17的圖像處理裝置100進(jìn)行說(shuō)明。另外，在圖4(第一實(shí)施例)中已經(jīng)示出的結(jié)構(gòu)要素上標(biāo)注相同附圖標(biāo)記。以下，僅對(duì)與第一實(shí)施例不同的事項(xiàng)進(jìn)行說(shuō)明。
[0173]在圖17中，平滑化單元114具有通過(guò)像素間拔而進(jìn)行圖像尺寸(縱尺寸和橫尺寸)的縮小的平滑化間拔單元142 (間拔單元)和通過(guò)像素插值而進(jìn)行圖像尺寸(縱尺寸和橫尺寸)的放大的放大單元144。
[0174]本例的平滑化單元114由平滑化間拔單元142多次重復(fù)相同平滑化強(qiáng)度的平滑化和相同縮小倍率的像素間拔，生成平滑化強(qiáng)度和圖像尺寸不同的多個(gè)平滑化圖像。另外，本例的平滑化單元114由放大單元144將平滑化強(qiáng)度和圖像尺寸不同的多個(gè)平滑化圖像轉(zhuǎn)換為平滑化強(qiáng)度不同而圖像尺寸相同的多個(gè)平滑化圖像。
[0175]圖18是表示進(jìn)行多級(jí)平滑化的情況下的圖像處理裝置100的主要部分的一例的框圖。另外，對(duì)與圖5所示的第一實(shí)施例的圖像處理裝置100的要素相同的要素標(biāo)注了相同附圖標(biāo)記。在此僅對(duì)與第一實(shí)施例不同的事項(xiàng)進(jìn)行說(shuō)明。
[0176]在圖18中，為了使多級(jí)平滑化的理解容易，示出了在圖像處理裝置100中設(shè)有多個(gè)平滑化間拔單元142a、142b、142c、多個(gè)放大單元144a、144b、144c、多個(gè)噪聲提取單元116a、116b、116c及多個(gè)噪聲附加單元118a、118b、118c的情況。
[0177]在多個(gè)平滑化間拔單元142a、142b、142c中，平滑化強(qiáng)度和圖像尺寸的縮小倍率相同。另外，在多個(gè)放大單元144a、144b、144c中，圖像尺寸的放大倍率相同。例如，縮小倍率是1/4，放大倍率是4倍，縮小倍率X放大倍率=I。
[0178]在圖18中，由于為三級(jí)，因此由第一平滑化間拔單元142a生成以1/4倍縮小后的第一平滑化圖像，由第二平滑化間拔單元142b生成以1/16倍縮小后的第二平滑化圖像，由第三平滑化間拔單元142c生成以1/64倍縮小后的第三平滑化圖像。另外，由第一放大單元144a將第一平滑化圖像放大到4倍，由第二放大單元144b將第二平滑化圖像放大到16倍，由第三放大單元144c將第三平滑化圖像放大到64倍，從而將第一?第三平滑化圖像的圖像尺寸返回到與輸入圖像相同的圖像尺寸。
[0179]圖19是表示圖17的圖像處理裝置100中的模糊強(qiáng)調(diào)處理的流程的流程圖。本處理由CPU40按照程序執(zhí)行。
[0180]另外，設(shè)為已經(jīng)由圖像獲取單元112獲取輸入圖像(原始的攝像圖像)，且由映射獲取單元120獲取模糊強(qiáng)度映射。
[0181]首先，將輸入圖像設(shè)為第O縮小圖像，將輸入圖像的相對(duì)于縱尺寸和橫尺寸的縮小倍率初始設(shè)定為“I”(步驟S302)。
[0182]接下來(lái)，將變量η初始設(shè)定為I (步驟S304)。
[0183]接下來(lái)，由平滑化間拔單元142對(duì)第(η — I)縮小圖像進(jìn)行第η次平滑化處理和像素間拔，從而將第(η — I)縮小圖像的圖像尺寸(縱尺寸和橫尺寸)以一定的縮小倍率(本例中，縱尺寸1/2倍X橫尺寸1/2倍=1/4倍)縮小，而生成第η縮小圖像(步驟S306)。
[0184]接下來(lái)，由放大單元144對(duì)第η縮小圖像進(jìn)行像素插值，從而將第η縮小圖像的圖像尺寸放大到輸入圖像的圖像尺寸，生成第η平滑化圖像(步驟S308)。
[0185]接下來(lái)，由噪聲提取單元116從輸入圖像(原始的攝像圖像)與第η平滑化圖像的差分(差分圖像)提取噪聲成分(差分噪聲成分)，從而生成與第η平滑化圖像對(duì)應(yīng)的第η差分噪聲圖像(步驟S310)。該處理與第一實(shí)施方式的步驟S106相同。
[0186]接下來(lái)，由噪聲附加單元118向第η平滑化圖像加上第η差分噪聲圖像，從而生成第η模糊圖像(加上差分噪聲圖像后的平滑化圖像)(步驟S312)。該處理與第一實(shí)施方式的步驟S108相同。
[0187]接下來(lái)，判定變量η是否達(dá)到重復(fù)次數(shù)Ν(處理次數(shù))(步驟S314)。
[0188]在η < N的情況下，將變量η遞增(加“I”)(步驟S316)，并返回到步驟S306。
[0189]在η彡N的情況下(η達(dá)到N的情況下)，通過(guò)圖像合成單元122，基于模糊強(qiáng)度映射來(lái)合成輸入圖像(原始的攝像圖像)和第一?第N模糊圖像(加上差分噪聲圖像后的平滑化圖像)，從而生成與模糊強(qiáng)度映射對(duì)應(yīng)的模糊強(qiáng)度的分布的輸出圖像(步驟S318)。
[0190]圖20是表示檢測(cè)最大模糊強(qiáng)度的情況下的模糊強(qiáng)調(diào)處理的一例的流程的流程圖。在本例中，模糊強(qiáng)度映射對(duì)應(yīng)輸入圖像(原始的攝像圖像)的每個(gè)像素或每個(gè)像素區(qū)域表示模糊強(qiáng)度的分布。在圖20中，由平滑化單元114從模糊強(qiáng)度映射檢測(cè)最大的模糊強(qiáng)度σΜΑΧ (步驟S303)。另外，基于最大的模糊強(qiáng)度σ MAX，確定處理次數(shù)N和對(duì)攝像圖像的平滑化的平滑化強(qiáng)度(步驟S305)。步驟S306?S318與圖19所示的處理同樣。但是，在步驟S306中，使用步驟S305中確定出的平滑化強(qiáng)度而進(jìn)行對(duì)攝像圖像的平滑化。
[0191]通常，在增大平滑化強(qiáng)度的情況下，需要較大抽頭數(shù)的濾光處理，電路規(guī)模增大，但是，在第三實(shí)施例中，通過(guò)多次重復(fù)進(jìn)行抽頭數(shù)小的濾光處理(平滑化處理)和像素間拔而能夠抑制電路規(guī)模，并且通過(guò)生成平滑化強(qiáng)度不同的多個(gè)平滑化圖像而能夠得到與第一實(shí)施例同樣的效果。其中，由于通過(guò)間拔縮小了圖像，因此進(jìn)行放大到與輸入圖像相同尺寸的處理。
[0192]另外，在第三實(shí)施例中，以在第一實(shí)施例追加間拔和放大的處理的情況為例進(jìn)行了說(shuō)明，但是本發(fā)明不限于此。也可以將由第三實(shí)施例中所說(shuō)明的間拔和放大的處理追加到第二實(shí)施例，這是不言而喻的。
[0193]<智能手機(jī)的結(jié)構(gòu)>
[0194]圖21是表示作為將本發(fā)明所涉及的圖像處理裝置適用于便攜式電子設(shè)備的其他實(shí)施方式的一例的智能手機(jī)500的外觀的圖。圖21所不的智能手機(jī)500具有平板狀的殼體502，并具備在殼體502的一面作為顯示部的顯示面板521和作為輸入部的操作面板522成為一體的顯示輸入部520。另外，殼體502具備揚(yáng)聲器531、麥克風(fēng)532、操作部540和相機(jī)部541。另外，殼體502的結(jié)構(gòu)不限于此，例如，也能夠采用顯示部和輸入部獨(dú)立的結(jié)構(gòu)，或具有折疊構(gòu)造、滑動(dòng)機(jī)構(gòu)的結(jié)構(gòu)。
[0195]圖22是表示圖21所示的智能手機(jī)500的結(jié)構(gòu)的框圖。如圖22所示，作為智能手機(jī)的主要的結(jié)構(gòu)要素，具備無(wú)線通信部510、顯示輸入部520、通話部530、操作部540、相機(jī)部541、存儲(chǔ)部550、外部輸入輸出部560、GPS(Global Posit1ning System:全球定位系統(tǒng))接收部570、運(yùn)動(dòng)傳感器部580、電源部590和主控制部501。另外，作為智能手機(jī)500的主要的功能，具備進(jìn)行經(jīng)由基地站裝置BS和移動(dòng)通信網(wǎng)NW的移動(dòng)無(wú)線通信的無(wú)線通信功能。
[0196]無(wú)線通信部510按照主控制部501的指示，而對(duì)收納于移動(dòng)通信網(wǎng)NW的基地站裝置BS進(jìn)行無(wú)線通信。使用該無(wú)線通信，進(jìn)行聲音數(shù)據(jù)、圖像數(shù)據(jù)等各種文件數(shù)據(jù)、電子郵件數(shù)據(jù)等的收發(fā)、Web數(shù)據(jù)、流數(shù)據(jù)等的接收。
[0197]顯示輸入部520是通過(guò)主控制部501的控制對(duì)圖像(靜止畫面像和動(dòng)態(tài)圖像)、文字信息等進(jìn)行顯示而視覺(jué)地向用戶傳遞信息并且檢測(cè)針對(duì)所顯示的信息的用戶操作的所謂的操作面板，具備顯示面板521和操作面板522。
[0198]顯不面板521 是將 LCD (Liquid Crystal Display:液晶顯不器)、OELD (OrganicElectro-Luminescence Display:有機(jī)電致發(fā)光顯示器)等作為顯示裝置而使用的器件。操作面板522對(duì)顯示面板521的顯示面上所顯示的圖像能夠視覺(jué)認(rèn)知地進(jìn)行載置，是對(duì)由用戶的手指、尖筆所操作的I個(gè)或多個(gè)坐標(biāo)進(jìn)行檢測(cè)的器件。若利用用戶的手指、尖筆對(duì)該器件進(jìn)行操作，則將因操作而產(chǎn)生的檢測(cè)信號(hào)輸出到主控制部501。接下來(lái)，主控制部501基于接收到的檢測(cè)信號(hào)，對(duì)顯示面板521上的操作位置(坐標(biāo))進(jìn)行檢測(cè)。
[0199]雖然如圖21所示智能手機(jī)500的顯示面板521和操作面板522成為一體而構(gòu)成顯示輸入部520，但是操作面板522成為對(duì)顯示面板521完全地進(jìn)行覆蓋那樣的配置。在采用了該配置的情況下，操作面板522也可以對(duì)于顯示面板521以外的區(qū)域也具有對(duì)用戶操作進(jìn)行檢測(cè)的功能。換言之，操作面板522也可以具備關(guān)于與顯示面板521重合的重疊部分的檢測(cè)區(qū)域(以下，稱作顯示區(qū)域)和關(guān)于除此以外的不與顯示面板521重合的外邊緣部分的檢測(cè)區(qū)域(以下，稱作非顯示區(qū)域)。
[0200]另外，雖然也可以使顯示區(qū)域的大小和顯示面板521的大小完全一致，但是沒(méi)有必要必須使兩者一致。另外，操作面板522也可以具備外邊緣部分和除此以外的內(nèi)側(cè)部分這兩個(gè)感應(yīng)區(qū)域。此外，根據(jù)殼體502的大小等而適當(dāng)設(shè)計(jì)外邊緣部分的寬度。此外，另外，作為操作面板522所采用的位置檢測(cè)方式，能夠列舉出矩陣開(kāi)關(guān)方式、電阻膜方式、表面彈性波方式、紅外線方式、電磁感應(yīng)方式和靜電電容方式等，也能夠采用其中任一種方式。
[0201]通話部530具備揚(yáng)聲器531和麥克風(fēng)532，將通過(guò)麥克風(fēng)532而輸入的用戶的聲音轉(zhuǎn)換為能夠由主控制部501處理的聲音數(shù)據(jù)而輸出到主控制部501，對(duì)由無(wú)線通信部510或外部輸入輸出部560接收到的聲音數(shù)據(jù)進(jìn)行解碼而從揚(yáng)聲器531輸出。另外，如圖21所示，例如，能夠?qū)P(yáng)聲器531搭載在與設(shè)有顯示輸入部520的面相同的面。另外，能夠?qū)Ⅺ溈孙L(fēng)532搭載在殼體502的側(cè)面。
[0202]操作部540是使用鍵開(kāi)關(guān)等的硬件鍵，接受來(lái)自用戶的指示。例如，如圖21所示是如下那樣的按壓按鈕式的開(kāi)關(guān):操作部540搭載在智能手機(jī)500的殼體502的顯示部的下部、下側(cè)面，若利用手指等按下則接通，若使手指離開(kāi)則通過(guò)彈簧等的恢復(fù)力而成為斷開(kāi)狀態(tài)。
[0203]存儲(chǔ)部550對(duì)主控制部501的控制程序、控制數(shù)據(jù)、應(yīng)用軟件、與通信對(duì)方的名稱、電話號(hào)碼等建立對(duì)應(yīng)關(guān)系的地址數(shù)據(jù)、所收發(fā)的電子郵件的數(shù)據(jù)、利用Web瀏覽而下載的Web數(shù)據(jù)、所下載的內(nèi)容數(shù)據(jù)進(jìn)行存儲(chǔ)，并且對(duì)流數(shù)據(jù)等暫時(shí)性地進(jìn)行存儲(chǔ)。另外，存儲(chǔ)部550由智能手機(jī)內(nèi)置的內(nèi)部存儲(chǔ)部551和具有裝卸自如的外部存儲(chǔ)器插槽的外部存儲(chǔ)部552構(gòu)成。另外，構(gòu)成存儲(chǔ)部550的各個(gè)內(nèi)部存儲(chǔ)部551和外部存儲(chǔ)部552使用閃存型(flash memory type)、硬盤型(hard disk type)、縮微多媒體卡型(multimedia cardmicro type)、卡型的存儲(chǔ)器(例如,Micro SD(注冊(cè)商標(biāo))存儲(chǔ)器等)、RAM (Random AccessMemory:隨機(jī)訪問(wèn)存儲(chǔ)器)、ROM (Read Only Memory:只讀存儲(chǔ)器)等存儲(chǔ)介質(zhì)而實(shí)現(xiàn)。
[0204]外部輸入輸出部560起到與連接在智能手機(jī)500的所有外部設(shè)備的界面的作用，用于通過(guò)通信等(例如，通用串行總線(USB) ,IEEE1394等)或網(wǎng)絡(luò)(例如互聯(lián)網(wǎng)、無(wú)線LAN、藍(lán)牙(Bluetooth (注冊(cè)商標(biāo)))、RFID (Rad1 Frequency Identificat1n:無(wú)線射頻識(shí)別)、紅外線通信(Infrared Data Associat1n:IrDA)(注冊(cè)商標(biāo))、UWB (Ultra Wideband:超寬帶)(注冊(cè)商標(biāo))、紫蜂(ZigBee)(注冊(cè)商標(biāo))等)與其他外部設(shè)備直接或間接地連接。
[0205]作為與智能手機(jī)500連接的外部設(shè)備，例如具有:有線/無(wú)線頭戴式耳機(jī)、有線/無(wú)線外部充電器、有線/無(wú)線數(shù)據(jù)端口、經(jīng)由卡插座而連接的存儲(chǔ)卡(Memory card)、SIM (Subscriber Identity Module Card)/UIM (User Identity Module Card)卡、經(jīng)由音頻/視頻l/0(lnput/0utput)端子而連接的外部音頻/視頻設(shè)備、無(wú)線連接的外部音頻/視頻設(shè)備、有線/無(wú)線連接的智能手機(jī)、有線/無(wú)線連接的個(gè)人計(jì)算機(jī)、有線/無(wú)線連接的PDA、有線/無(wú)線連接的個(gè)人計(jì)算機(jī)、耳機(jī)等。外部輸入輸出部能夠?qū)倪@種外部設(shè)備接受傳送后的數(shù)據(jù)傳遞到智能手機(jī)500的內(nèi)部的各結(jié)構(gòu)要素，并能夠?qū)⒅悄苁謾C(jī)500的內(nèi)部的數(shù)據(jù)傳送到外部設(shè)備。
[0206]GPS接收部570按照主控制部501的指示，接收從GPS衛(wèi)星STl?STn發(fā)送的GPS信號(hào)，執(zhí)行基于接收到的多個(gè)GPS信號(hào)的測(cè)位運(yùn)算處理，對(duì)該智能手機(jī)500的由緯度、經(jīng)度、高度構(gòu)成的位置進(jìn)行檢測(cè)。GPS接收部570在能夠從無(wú)線通信部510、外部輸入輸出部560 (例如無(wú)線LAN)獲取位置信息時(shí)，也能夠使用該位置信息對(duì)位置進(jìn)行檢測(cè)。
[0207]運(yùn)動(dòng)傳感器部580例如具備三軸加速度傳感器等，因此能夠按照主控制部501的指示對(duì)智能手機(jī)500的物理性的移動(dòng)進(jìn)行檢測(cè)。通過(guò)對(duì)智能手機(jī)500的物理性的移動(dòng)進(jìn)行檢測(cè)，能夠檢測(cè)智能手機(jī)500的移動(dòng)方向、加速度。能夠?qū)⒃摍z測(cè)結(jié)果輸出到主控制部501。
[0208]電源部590按照主控制部501的指示向智能手機(jī)500的各部供給蓄積于蓄電池(未圖示)的電力。
[0209]主控制部501具備微處理器，按照存儲(chǔ)部550所存儲(chǔ)的控制程序、控制數(shù)據(jù)而動(dòng)作，對(duì)智能手機(jī)500的各部集中地進(jìn)行控制。另外，主控制部501為了通過(guò)無(wú)線通信部510進(jìn)行聲音通信、數(shù)據(jù)通信而具備對(duì)通信系統(tǒng)的各部進(jìn)行控制的移動(dòng)通信控制功能和應(yīng)用處理功能。
[0210]按照存儲(chǔ)部550所存儲(chǔ)的應(yīng)用軟件使得主控制部501動(dòng)作從而實(shí)現(xiàn)應(yīng)用處理功能。作為應(yīng)用處理功能，例如，具有:對(duì)外部輸入輸出部560進(jìn)行控制而與相向設(shè)備進(jìn)行數(shù)據(jù)通信的紅外線通信功能、進(jìn)行電子郵件的收發(fā)的電子郵件功能、閱覽Web網(wǎng)頁(yè)的Web瀏覽功能等。
[0211]另外，主控制部501具備基于接收數(shù)據(jù)、下載的流數(shù)據(jù)等圖像數(shù)據(jù)(靜止畫面像、動(dòng)態(tài)圖像的數(shù)據(jù))而將影像在顯示輸入部520顯示等的圖像處理功能。所謂圖像處理功能是指，主控制部501對(duì)上述圖像數(shù)據(jù)進(jìn)行解碼，對(duì)該解碼結(jié)果實(shí)施圖像處理而將圖像在顯示輸入部520上顯示的功能。
[0212]此外，主控制部501執(zhí)行對(duì)顯示面板521的顯示控制和對(duì)通過(guò)了操作部540、操作面板522的用戶操作進(jìn)行檢測(cè)的操作檢測(cè)控制。
[0213]通過(guò)顯示控制的執(zhí)行，主控制部501對(duì)用于啟動(dòng)應(yīng)用軟件的圖標(biāo)、滾動(dòng)條等軟件鍵進(jìn)行顯示，或顯示用于生成電子郵件的窗口。另外，所謂滾動(dòng)條，是指對(duì)于沒(méi)有完全收納到顯示面板521的顯示區(qū)域的較大的圖像等用于接受使圖像的顯示部分移動(dòng)的指示的軟件鍵。
[0214]另外，通過(guò)操作檢測(cè)控制的執(zhí)行，主控制部501對(duì)通過(guò)了操作部540的用戶操作進(jìn)行檢測(cè)，通過(guò)操作面板522接受對(duì)上述圖標(biāo)的操作、對(duì)上述窗口的輸入欄的文字列的輸入，或者接受通過(guò)了滾動(dòng)條的顯示圖像的滾動(dòng)要求。
[0215]此外，通過(guò)操作檢測(cè)控制的執(zhí)行，主控制部501具備判定對(duì)操作面板522的操作位置是與顯示面板521重疊的重疊部分(顯示區(qū)域)還是除此以外的不與顯示面板521重疊的外邊緣部分(非顯示區(qū)域)，并對(duì)操作面板522的感應(yīng)區(qū)域、軟件鍵的顯示位置進(jìn)行控制的觸摸面板控制功能。
[0216]另外，主控制部501能夠檢測(cè)對(duì)操作面板522的手勢(shì)操作，根據(jù)檢測(cè)出的手勢(shì)操作，能夠執(zhí)行預(yù)先設(shè)定的功能。所謂手勢(shì)操作并非以往的單純的觸摸操作，而是指利用手指等描繪軌跡對(duì)多個(gè)位置同時(shí)進(jìn)行指定、或?qū)⑺鼈兘M合而從多個(gè)位置對(duì)至少一個(gè)位置描繪軌跡的操作。
[0217]相機(jī)部541 是使用 CMOS (Complementary Metal Oxide Semiconductor:互補(bǔ)性金屬氧化物半導(dǎo)體)、CCD (Charge-Coupled Device:電荷稱合設(shè)備)等攝像元件進(jìn)行電子攝影的數(shù)碼相機(jī)。另外，相機(jī)部541能夠通過(guò)主控制部501的控制，將通過(guò)攝像所得到的圖像數(shù)據(jù)轉(zhuǎn)換為例如JPEG (Joint Photographic coding Experts Group:聯(lián)合圖像專家小組)等壓縮后的圖像數(shù)據(jù)，并記錄于存儲(chǔ)部550，或通過(guò)外部輸入輸出部560、無(wú)線通信部510而輸出。在圖21所不的智能手機(jī)500中，相機(jī)部541搭載在與顯不輸入部520相同的面,但相機(jī)部541的搭載位置不限于此，也可以搭載在顯示輸入部520的背面，或者也可以搭載多個(gè)相機(jī)部541。另外，在搭載多個(gè)相機(jī)部541的情況下，也能夠?qū)μ峁z影的相機(jī)部541進(jìn)行切換而單獨(dú)地進(jìn)行攝影，或同時(shí)使用多個(gè)相機(jī)部541而進(jìn)行攝影。
[0218]另外，相機(jī)部541能夠用于智能手機(jī)500的各種功能。例如，能夠在顯示面板521顯示由相機(jī)部541獲取的圖像，作為操作面板522的操作輸入之一能夠利用相機(jī)部541的圖像。另外，在GPS接收部570對(duì)位置進(jìn)行檢測(cè)時(shí)，也能夠?qū)?lái)自相機(jī)部541的圖像進(jìn)行參照而對(duì)位置進(jìn)行檢測(cè)。此外，也能夠參照來(lái)自相機(jī)部541的圖像，不使用三軸加速度傳感器或與三軸加速度傳感器并用，而判斷智能手機(jī)500的相機(jī)部541的光軸方向、判斷當(dāng)前的使用環(huán)境。也能夠在應(yīng)用軟件內(nèi)利用來(lái)自相機(jī)部541的圖像，這是不言而喻的。
[0219]主控制部501具備前述的圖1的CPU40、圖4、圖10、圖16的平滑化單元114、噪聲提取單元116、噪聲附加單元118、圖像合成單元122等的功能。
[0220]此外，也能夠向靜止畫面或動(dòng)態(tài)畫面的圖像數(shù)據(jù)附加由GPS接收部570獲取的位置信息、由麥克風(fēng)532獲取的聲音信息(也可以由主控制部等進(jìn)行聲音文本轉(zhuǎn)換而成為文本信息)、由運(yùn)動(dòng)傳感器部580獲取的姿勢(shì)信息等而記錄于存儲(chǔ)部550，或者也能夠通過(guò)外部輸入輸出部560、無(wú)線通信部510而輸出。
[0221]另外，本發(fā)明不限于本說(shuō)明書中說(shuō)明的例子、附圖所圖示的例子，可以在不脫離本發(fā)明的主旨的范圍內(nèi)進(jìn)行各種的設(shè)計(jì)變更、改良，這是不言而喻的。
[0222]附圖標(biāo)記說(shuō)明
[0223]10:攝像裝置、16:攝像元件(CCD)、38:操作部、40:CPU(中央處理裝置)、48:存儲(chǔ)器、100:圖像處理裝置、112:攝像圖像獲取單元、114:平滑化單元、116:噪聲提取單元、118:噪聲附加單元、120:映射獲取單元、122:圖像合成單元、142:平滑化間拔單元、144 --放大單元
【權(quán)利要求】
1.一種圖像處理裝置，具備: 圖像獲取單元，獲取對(duì)被攝體進(jìn)行攝像所得的攝像圖像； 平滑化單元，通過(guò)對(duì)所述攝像圖像進(jìn)行平滑化而生成平滑化圖像； 噪聲提取單元，從所述攝像圖像與所述平滑化圖像的差分提取差分噪聲成分； 噪聲附加單元，向所述平滑化圖像加上所述差分噪聲成分； 映射獲取單元，獲取模糊強(qiáng)度映射，該模糊強(qiáng)度映射表示對(duì)所述攝像圖像的模糊強(qiáng)度的分布；及 圖像合成單元，基于所述模糊強(qiáng)度映射來(lái)合成所述攝像圖像和所述平滑化圖像，生成輸出圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述平滑化單元通過(guò)以多個(gè)不同的平滑化強(qiáng)度中的各平滑化強(qiáng)度對(duì)所述攝像圖像進(jìn)行平滑化而生成平滑化強(qiáng)度不同的多個(gè)平滑化圖像， 所述噪聲提取單元從所述攝像圖像與所述多個(gè)平滑化圖像中的各平滑化圖像的差分提取與所述多個(gè)平滑化圖像分別對(duì)應(yīng)的多個(gè)差分噪聲成分， 所述噪聲附加單元通過(guò)向所述多個(gè)平滑化圖像中的各平滑化圖像加上所述多個(gè)差分噪聲成分中的對(duì)應(yīng)的差分噪聲成分，使所述多個(gè)平滑化圖像間的噪聲相等， 所述圖像合成單元基于所述模糊強(qiáng)度映射來(lái)合成所述攝像圖像和所述多個(gè)平滑化圖像，生成輸出圖像。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中， 所述模糊強(qiáng)度映射對(duì)應(yīng)所述攝像圖像的每個(gè)像素或每個(gè)像素區(qū)域表示所述模糊強(qiáng)度的分布， 所述圖像合成單元對(duì)應(yīng)所述攝像圖像的每個(gè)像素或每個(gè)區(qū)域，基于所述模糊強(qiáng)度映射的模糊強(qiáng)度，從所述攝像圖像和附加了所述差分噪聲成分的所述多個(gè)平滑化圖像之中選擇多個(gè)圖像，通過(guò)進(jìn)行所選擇的該多個(gè)圖像的加權(quán)平均而生成所述輸出圖像。
4.根據(jù)權(quán)利要求2或3所述的圖像處理裝置，其中， 所述平滑化單元具有通過(guò)像素間拔進(jìn)行圖像尺寸的縮小的間拔單元和通過(guò)像素插值進(jìn)行圖像尺寸的放大的放大單元，通過(guò)多次重復(fù)進(jìn)行相同平滑化強(qiáng)度的平滑化和所述間拔單元的像素間拔，生成平滑化強(qiáng)度和圖像尺寸不同的所述多個(gè)平滑化圖像，由所述放大單元將該多個(gè)平滑化圖像轉(zhuǎn)換為平滑化強(qiáng)度不同而圖像尺寸相同的所述多個(gè)平滑化圖像。
5.根據(jù)權(quán)利要求1?4中任一項(xiàng)所述的圖像處理裝置，其中， 所述模糊強(qiáng)度映射對(duì)應(yīng)所述攝像圖像的每個(gè)像素或每個(gè)像素區(qū)域表示所述模糊強(qiáng)度的分布， 所述平滑化單元基于所述模糊強(qiáng)度映射中的最大的模糊強(qiáng)度，確定對(duì)所述攝像圖像的平滑化的平滑化強(qiáng)度。
6.一種圖像處理裝置，具備: 圖像獲取單元，獲取對(duì)被攝體進(jìn)行攝像所得的攝像圖像； 噪聲圖像獲取單元，獲取表示所述攝像圖像中包含的噪聲的噪聲圖像； 平滑化單元，通過(guò)對(duì)所述攝像圖像進(jìn)行平滑化而生成平滑化圖像，且通過(guò)以在所述攝像圖像的平滑化中使用的平滑化強(qiáng)度對(duì)所述噪聲圖像進(jìn)行平滑化而生成平滑化噪聲圖 像； 噪聲提取單元，從所述噪聲圖像與所述平滑化噪聲圖像的差分提取差分噪聲成分； 噪聲附加單元，向所述平滑化圖像加上所述差分噪聲成分； 映射獲取單元，獲取模糊強(qiáng)度映射，該模糊強(qiáng)度映射表示對(duì)所述攝像圖像的模糊強(qiáng)度的分布；及 圖像合成單元，基于所述模糊強(qiáng)度映射來(lái)合成所述攝像圖像和所述平滑化圖像，生成輸出圖像。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中， 所述平滑化單元通過(guò)以多個(gè)不同的平滑化強(qiáng)度中的各平滑化強(qiáng)度對(duì)所述攝像圖像進(jìn)行平滑化而生成平滑化強(qiáng)度不同的多個(gè)平滑化圖像，并且，通過(guò)以在所述攝像圖像的平滑化中使用的所述多個(gè)不同的平滑化強(qiáng)度中的各平滑化強(qiáng)度對(duì)所述噪聲圖像進(jìn)行平滑化而生成平滑化強(qiáng)度不同的多個(gè)平滑化噪聲圖像， 所述噪聲提取單元從所述噪聲圖像與所述多個(gè)平滑化噪聲圖像中的各平滑化噪聲圖像的差分提取與所述多個(gè)平滑化圖像分別對(duì)應(yīng)的多個(gè)差分噪聲成分， 所述噪聲附加單元通過(guò)向所述多個(gè)平滑化圖像中的各平滑化圖像加上所述多個(gè)差分噪聲成分中的對(duì)應(yīng)的差分噪聲成分，而使所述多個(gè)平滑化圖像間的噪聲相等， 所述圖像合成單元基于所述模糊強(qiáng)度映射來(lái)合成所述攝像圖像和所述多個(gè)平滑化圖像，生成輸出圖像。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中， 所述模糊強(qiáng)度映射對(duì)應(yīng)所述攝像圖像的每個(gè)像素或每個(gè)像素區(qū)域表示所述模糊強(qiáng)度的分布， 所述圖像合成單元對(duì)應(yīng)所述攝像圖像的每個(gè)像素或每個(gè)區(qū)域，基于所述模糊強(qiáng)度映射的模糊強(qiáng)度，從所述攝像圖像和附加了所述差分噪聲成分的所述多個(gè)平滑化圖像之中選擇多個(gè)圖像，通過(guò)進(jìn)行所選擇的該多個(gè)圖像的加權(quán)平均而生成所述輸出圖像。
9.根據(jù)權(quán)利要求7或8所述的圖像處理裝置，其中， 所述平滑化單元具有通過(guò)像素間拔進(jìn)行圖像尺寸的縮小的間拔單元和通過(guò)像素插值進(jìn)行圖像尺寸的放大的放大單元，通過(guò)多次重復(fù)進(jìn)行相同平滑化強(qiáng)度的平滑化和所述間拔單元的像素間拔，生成平滑化強(qiáng)度和圖像尺寸不同的所述多個(gè)平滑化圖像，由所述放大單元將該多個(gè)平滑化圖像轉(zhuǎn)換為平滑化強(qiáng)度不同而圖像尺寸相同的所述多個(gè)平滑化圖像，且通過(guò)多次重復(fù)進(jìn)行相同平滑化強(qiáng)度的平滑化和所述間拔單元的像素間拔，生成平滑化強(qiáng)度和圖像尺寸不同的所述多個(gè)平滑化噪聲圖像，由所述放大單元將該多個(gè)平滑化噪聲圖像轉(zhuǎn)換為平滑化強(qiáng)度不同而圖像尺寸相同的所述多個(gè)平滑化噪聲圖像。
10.根據(jù)權(quán)利要求6?9中任一項(xiàng)所述的圖像處理裝置，其中， 所述模糊強(qiáng)度映射對(duì)應(yīng)所述攝像圖像的每個(gè)像素或每個(gè)像素區(qū)域表示所述模糊強(qiáng)度的分布， 所述平滑化單元基于所述模糊強(qiáng)度映射中的最大的模糊強(qiáng)度，確定對(duì)所述攝像圖像和所述噪聲圖像的平滑化的平滑化強(qiáng)度。
11.根據(jù)權(quán)利要求6?10中任一項(xiàng)所述的圖像處理裝置，其中， 所述平滑化單元在所述噪聲圖像和所述攝像圖像中使平滑化強(qiáng)度一致。
12.根據(jù)權(quán)利要求6?11中任一項(xiàng)所述的圖像處理裝置，其中， 所述噪聲圖像獲取單元基于所述攝像圖像生成所述噪聲圖像。
13.根據(jù)權(quán)利要求6?11中任一項(xiàng)所述的圖像處理裝置，其中， 所述噪聲圖像獲取單元基于所述攝像圖像的攝像條件或?qū)λ鰯z像圖像進(jìn)行攝像的攝像裝置的攝像特性，生成所述噪聲圖像。
14.根據(jù)權(quán)利要求1?13中任一項(xiàng)所述的圖像處理裝置，其中， 所述映射獲取單元獲取距離映射作為所述模糊強(qiáng)度映射，所述距離映射表示所述攝像圖像中的每個(gè)像素或每個(gè)區(qū)域的距離的分布， 所述圖像合成單元基于所述距離映射，生成具有與所述攝像圖像中的距離的分布相應(yīng)的模糊強(qiáng)度的分布的所述輸出圖像。
15.一種攝像裝置，具備權(quán)利要求1?14中任一項(xiàng)所述的圖像處理裝置。
16.一種圖像處理方法，使用:圖像獲取單元，獲取對(duì)被攝體進(jìn)行攝像所得的攝像圖像；及映射獲取單元，獲取模糊強(qiáng)度映射，該模糊強(qiáng)度映射表示對(duì)所述攝像圖像的模糊強(qiáng)度的分布， 所述圖像處理方法具備: 平滑化步驟，通過(guò)對(duì)所述攝像圖像進(jìn)行平滑化而生成平滑化圖像； 噪聲提取步驟，從所述攝像圖像與所述平滑化圖像的差分提取差分噪聲成分； 噪聲附加步驟，向所述平滑化圖像加上所述差分噪聲成分； 圖像合成步驟，基于所述模糊強(qiáng)度映射來(lái)合成所述攝像圖像和所述平滑化圖像，生成輸出圖像。
17.一種圖像處理方法，使用:圖像獲取單元，獲取對(duì)被攝體進(jìn)行攝像所得的攝像圖像；噪聲圖像獲取單元，獲取表示所述攝像圖像中包含的噪聲的噪聲圖像；及映射獲取單元，獲取模糊強(qiáng)度映射，該模糊強(qiáng)度映射表示對(duì)所述攝像圖像的模糊強(qiáng)度的分布， 所述圖像處理方法具備: 通過(guò)對(duì)所述攝像圖像進(jìn)行平滑化而生成平滑化圖像的步驟； 通過(guò)以在所述攝像圖像的平滑化中使用的平滑化強(qiáng)度對(duì)所述噪聲圖像進(jìn)行平滑化而生成平滑化噪聲圖像的步驟； 噪聲提取步驟，從所述噪聲圖像與所述平滑化噪聲圖像的差分提取差分噪聲成分； 噪聲附加步驟，向所述平滑化圖像加上所述差分噪聲成分 '及圖像合成步驟，基于所述模糊強(qiáng)度映射來(lái)合成所述攝像圖像和所述平滑化圖像，生成輸出圖像。
18.—種程序，使用:圖像獲取單元，獲取對(duì)被攝體進(jìn)行攝像所得的攝像圖像；及映射獲取單元，獲取模糊強(qiáng)度映射，該模糊強(qiáng)度映射表示對(duì)所述攝像圖像的模糊強(qiáng)度的分布， 使計(jì)算機(jī)執(zhí)行如下步驟: 平滑化步驟，通過(guò)對(duì)所述攝像圖像進(jìn)行平滑化而生成平滑化圖像； 噪聲提取步驟，從所述攝像圖像與所述平滑化圖像的差分提取差分噪聲成分； 噪聲附加步驟，向所述平滑化圖像加上所述差分噪聲成分 '及圖像合成步驟，基于所述模糊強(qiáng)度映射來(lái)合成所述攝像圖像和所述平滑化圖像，生成輸出圖像。
19.一種程序，使用:圖像獲取單元，獲取對(duì)被攝體進(jìn)行攝像所得的攝像圖像；噪聲圖像獲取單元，獲取表示所述攝像圖像中包含的噪聲的噪聲圖像；及映射獲取單元，獲取模糊強(qiáng)度映射，該模糊強(qiáng)度映射表示對(duì)所述攝像圖像的模糊強(qiáng)度的分布， 使計(jì)算機(jī)執(zhí)行如下步驟: 通過(guò)對(duì)所述攝像圖像進(jìn)行平滑化而生成平滑化圖像的步驟； 通過(guò)以在所述攝像圖像的平滑化中使用的平滑化強(qiáng)度對(duì)所述噪聲圖像進(jìn)行平滑化而生成平滑化噪聲圖像的步驟； 噪聲提取步驟，從所述噪聲圖像與所述平滑化噪聲圖像的差分提取差分噪聲成分； 噪聲附加步驟，向所述平滑化圖像加上所述差分噪聲成分 '及圖像合成步驟，基于所述模糊強(qiáng)度映射來(lái)合成所述攝像圖像和所述平滑化圖像，生成輸出圖像。
【文檔編號(hào)】G06T5/20GK104350735SQ201380028660
【公開(kāi)日】2015年2月11日 申請(qǐng)日期:2013年5月22日 優(yōu)先權(quán)日:2012年5月28日
【發(fā)明者】田中康一 申請(qǐng)人:富士膠片株式會(huì)社