專利名稱：圖像處理裝置以及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及進(jìn)行與被攝物的圖像有關(guān)的處理的裝置，尤其涉及進(jìn)行與 影子有關(guān)的處理的裝置。
背景技術(shù)：
近些年，利用影子("影"shadow)的圖像處理方法不斷被推廣。例 如，在非專利文獻(xiàn)1中提出了一種利用來(lái)自己知形狀的被攝物的"影"也就是 利用被攝物的投影(cast shadow)的明暗分布來(lái)推定實(shí)際照明光源分布的方 法。該方法是由光源和被攝物以及影子的關(guān)系在幾何學(xué)上和光學(xué)上被模型 化而得來(lái)的。通過(guò)將此想法利用于已知光源信息的環(huán)境中，從而可以根據(jù) 影子來(lái)推定被攝物的三維形狀。
并且，在圖像處理中也采用了影子的校正處理，即，在攝影圖像的一 部分由于逆光或影子的影響而亮度降低的情況下，通過(guò)僅對(duì)影子這一區(qū)域 的亮度進(jìn)行校正，來(lái)表現(xiàn)美麗的圖像。
在此，"影子"是指立體物體被光照射時(shí)產(chǎn)生的"影(shadow)"，包括"陰 影(attached shadow)"和"投影(cast shadow)"。"陰影"是指因受光方式的不 同，而立體的被攝物本身所產(chǎn)生的"影"，"投影"是指由于立體的被攝物本身 將光遮住，而在其他的平面或其他的立體物體上產(chǎn)生的"影"。
由于非專利文獻(xiàn)l中的方法是僅利用投影區(qū)域來(lái)推定光源分布的，而 當(dāng)在將陰影區(qū)域判斷為投影區(qū)域進(jìn)行處理的情況下，則不能正確地推定光 源的分布。
并且，在進(jìn)行影子校正處理的情況下，由于陰影區(qū)域是使被攝物產(chǎn)生 立體感的要素，因此所希望的是僅對(duì)投影區(qū)域進(jìn)行校正，而不對(duì)陰影區(qū)域 進(jìn)行處理。
為此，將影子區(qū)域分類為陰影區(qū)域和投影區(qū)域是非常重要的。 為了將影子區(qū)域分類為陰影區(qū)域和投影區(qū)域，在非專利文獻(xiàn)2中，利
8用受到了各種方向的光源照射的被攝物的圖像，合成不產(chǎn)生鏡面反射的理 想狀態(tài)的圖像的線性化圖像，并利用該線性化圖像來(lái)對(duì)影子區(qū)域進(jìn)行分類。 非專利文獻(xiàn)l佐藤^主。、佐藤洋一、池內(nèi)克史共著"物體O陰影 (二基力'<光源環(huán)境推定(根據(jù)物體的影子來(lái)推定光源環(huán)境)"，情報(bào)処理學(xué) 會(huì)論文誌- >匕。- 一夕匕'- 3 > t < 乂 一 、7' 乂于W T (信息處理學(xué)會(huì)論
文雜志計(jì)算機(jī)視覺(jué)和圖像媒體)，VoL41，No.SIG10 (CVIMl)，pp.31-40，2000
非專利文獻(xiàn)2石井育規(guī)、福井孝太郎、向川康博、尺長(zhǎng)健"光學(xué)現(xiàn)象
O分類(基，'〈畫像O線形化(根據(jù)光學(xué)現(xiàn)象分類的圖像的線性化)"，情 報(bào)處理學(xué)會(huì)論文志- >匕'- 一夕K' '7' 3 > i 4 乂 一 ^ j于W 7 (信息處
理學(xué)會(huì)論文雜志計(jì)算機(jī)視覺(jué)和圖像媒體)， Vol.44,No.SIG5(CV腦)，pp.ll-21，2003
然而，在上述非專利文獻(xiàn)2中，由于需要受到各種方向的光源照射的 被攝物的圖像，因此造成使裝置的規(guī)模變大的問(wèn)題。并且，能夠進(jìn)行影子 分類的影子僅為由移動(dòng)光源產(chǎn)生的影子，而對(duì)于由不改變位置的光源產(chǎn)生 的影子則不能進(jìn)行分類。為此，對(duì)于室外由太陽(yáng)光產(chǎn)生的影子或室內(nèi)照明 所利用的日光燈產(chǎn)生的影子區(qū)域就不能分類。

發(fā)明內(nèi)容
因此，本發(fā)明的目的在于提供一種圖像處理裝置，其可以在一般的環(huán) 境中，不需要諸如使光源變動(dòng)的大規(guī)模的系統(tǒng)，就能夠從如拍攝快照這樣 拍攝下來(lái)的圖像中抽出陰影區(qū)域和投影區(qū)域。
為了達(dá)成上述的目的，涉及本發(fā)明的圖像處理裝置，該圖像處理裝置，
進(jìn)行與被攝物的圖像中的影子有關(guān)的處理，其中包括圖像信息取得部， 取得與被攝物圖像有關(guān)的包含亮度信息以及偏振光信息的信息，所述亮度 信息是指與來(lái)自所述被攝物的光的亮度有關(guān)的信息，所述偏振光信息是指
與來(lái)自所述被攝物的光的偏振光有關(guān)的信息；影子區(qū)域抽出部，根據(jù)在所
述圖像信息取得部取得的亮度信息以及偏振光信息，從所述被攝物圖像中 抽出陰影區(qū)域以及投影區(qū)域，所述陰影區(qū)域是指因光的照射方式而在被攝 物的表面產(chǎn)生的區(qū)域，所述投影區(qū)域是指因被攝物本身將光遮住而在其他
9的物體上產(chǎn)生的區(qū)域；以及輸出部，輸出確定在所述影子區(qū)域抽出部抽出 的陰影區(qū)域以及投影區(qū)域的信息。
更具體而言，在本發(fā)明著眼于陰影區(qū)域和投影區(qū)域的偏振光特性的不 同。在本發(fā)明通過(guò)關(guān)注作為偏振光信息的偏振度和偏振光推定誤差等偏振 光特性的不同，從而抽出陰影區(qū)域和投影區(qū)域。并且，由于要想將黑色的 被攝物與影子分離是困難的，因此在本發(fā)明中，針對(duì)包含了影子區(qū)域和低 反射率區(qū)域的低亮度區(qū)域進(jìn)行區(qū)域抽出。據(jù)此，通過(guò)利用偏振光信息，從 而可以針對(duì)包含影子區(qū)域的低亮度區(qū)域簡(jiǎn)單地抽出陰影區(qū)域以及投影區(qū) 域。
并且，本發(fā)明不僅可以作為圖像處理裝置來(lái)實(shí)現(xiàn)，也可以作為圖像處 理方法來(lái)實(shí)現(xiàn)，還可以作為使計(jì)算機(jī)執(zhí)行該方法中所包含的步驟的程序來(lái) 實(shí)現(xiàn)，還可以作為記錄這些程序的DVD等計(jì)算機(jī)可讀取的記錄介質(zhì)來(lái)實(shí) 現(xiàn)。
根據(jù)本發(fā)明，可以通過(guò)利用被攝物的偏振光信息來(lái)抽出陰影區(qū)域以及 投影區(qū)域。據(jù)此，可以在一般的環(huán)境中，不需要諸如使光源變動(dòng)的大規(guī)模 的系統(tǒng)，就能夠從如拍攝快照這樣拍攝下來(lái)的圖像中抽出陰影區(qū)域和投影 區(qū)域。
因此，通過(guò)本發(fā)明可以簡(jiǎn)單地抽出被攝物的陰影區(qū)域和投影區(qū)域，由 此可以使圖像變得更清晰，尤其在因光學(xué)系統(tǒng)或攝像元件的小型化而帶來(lái) 圖像清晰度問(wèn)題的帶照相機(jī)的移動(dòng)電話、數(shù)碼相機(jī)、數(shù)碼攝影機(jī)等移動(dòng)型 攝像裝置普及的今天，具有非常高的實(shí)用意義。


圖1是本發(fā)明的實(shí)施例1中的光學(xué)系統(tǒng)上的區(qū)域劃分裝置的功能構(gòu)成 方框圖。
圖2是搭載了本發(fā)明的實(shí)施例1、 2 、 4中的光學(xué)系統(tǒng)上的區(qū)域劃分 裝置的攝像機(jī)的構(gòu)成圖。
圖3是示出圖2所示的攝像機(jī)所具備的圖案偏振器和攝像元件之間關(guān) 系的模式圖。
圖4是本發(fā)明的實(shí)施例1中的光學(xué)系統(tǒng)上的區(qū)域劃分裝置所進(jìn)行的處
10理的流程圖。
圖5是用于說(shuō)明圖2所示的攝像機(jī)所具備的圖案偏振器的排列狀態(tài)的 模式圖。
圖6是用于說(shuō)明正弦函數(shù)亮度變化和觀測(cè)亮度點(diǎn)的模式圖。 圖7(a)示出了球體的被攝物，即示出了塑料球，(b) (d)分別示出了以
偏振度p、偏振光相位cp、偏振光推定誤差E拍攝該被攝物時(shí)的圖像。 圖8(a) (d)分別是對(duì)圖7(a) 圖7(d)的濃淡明了化后的模式圖。 圖9中的圖表示出了對(duì)于被攝物的折射率11=1.1， 1.3， 1.5， 2.0時(shí)的
鏡面反射成分的入射角的偏振度。
圖10中的圖表示出了對(duì)于被攝物的折射率11=1.1， 1.3， 1.5， 2.0時(shí)的
漫反射成分的射出角的偏振度。
圖11是用于說(shuō)明被分類為陰影區(qū)域和投影區(qū)域的影子區(qū)域的模式圖。
圖12是用于說(shuō)明陰影區(qū)域中的多次反射光的入射的模式圖。
圖13是用于說(shuō)明投影區(qū)域中的多次反射光的入射的模式圖。
圖14是本發(fā)明的實(shí)施例1中的區(qū)域劃分部的詳細(xì)構(gòu)成的功能方框圖。
圖15是本發(fā)明的實(shí)施例1中的區(qū)域劃分部的處理流程圖。
圖16(a)、 (b)、 (c)示出了通過(guò)本發(fā)明的實(shí)施例l中的區(qū)域劃分部，在
光學(xué)上的區(qū)域劃分結(jié)果。
圖17是本發(fā)明的實(shí)施例1中的漫反射鏡面反射分類處理的流程圖。 圖18示出了通過(guò)本發(fā)明的實(shí)施例1中的區(qū)域劃分部的區(qū)域劃分的具體例子。
圖19示出了由區(qū)域劃分部進(jìn)行區(qū)域劃分時(shí)的判斷基準(zhǔn)的具體例子。 圖20是本發(fā)明的實(shí)施例1的變形例所涉及的區(qū)域劃分部的功能構(gòu)成方 框圖。
圖21是圖20所示的區(qū)域劃分部進(jìn)行漫反射鏡面反射分類處理的流程圖。
圖22是本發(fā)明的實(shí)施例1的變形例所涉及的區(qū)域劃分部的功能構(gòu)成方 框圖。
圖23是圖22所示的區(qū)域劃分部進(jìn)行的處理的流程圖。 圖24是本發(fā)明的實(shí)施例1的變形例所涉及的區(qū)域劃分部的功能構(gòu)成方
ii框圖。
圖25是圖24所示的區(qū)域劃分部進(jìn)行的處理的流程圖。 圖26是在本發(fā)明所涉及的圖像處理裝置中附加了法線信息生成部的裝
置的功能構(gòu)成方框圖。
圖27是圖26所示的光學(xué)上的區(qū)域劃分裝置以及法線信息生成部進(jìn)行
的處理的流程圖。
圖28是圖26所示的法線信息生成部的詳細(xì)構(gòu)成方框圖。 圖29是圖26所示的法線信息生成部進(jìn)行的處理的流程圖。 圖30是利用了閃光設(shè)備的實(shí)施例1的變形例中的光學(xué)上的區(qū)域劃分裝
置的功能構(gòu)成方框圖。
圖31是圖30所示的光學(xué)上的區(qū)域劃分裝置進(jìn)行影子檢測(cè)處理的流程圖。
圖32是本發(fā)明的實(shí)施例2所涉及的光學(xué)上的區(qū)域劃分裝置的功能構(gòu)成 方框圖。
圖33是本發(fā)明的實(shí)施例2所涉及的光學(xué)上的區(qū)域劃分裝置以及法線信 息生成部進(jìn)行的處理的流程圖。
圖34是本發(fā)明的實(shí)施例2中的區(qū)域劃分部的詳細(xì)的功能構(gòu)成方框圖。 圖35是本發(fā)明的實(shí)施例2中的區(qū)域劃分部進(jìn)行的處理的流程圖。 圖36是本發(fā)明的實(shí)施例2中的法線信息生成部進(jìn)行的處理流程圖。 圖37是本發(fā)明的實(shí)施例3中的光學(xué)上的區(qū)域劃分裝置的功能構(gòu)成方框圖。
圖38是本發(fā)明的實(shí)施例3中的攝像條件判定部的詳細(xì)的功能構(gòu)成方框圖。
圖39示出了搭載了本發(fā)明的實(shí)施例3中的光學(xué)上的區(qū)域劃分裝置的攝 像機(jī)的一個(gè)例子。
圖40是本發(fā)明的實(shí)施例3中的光學(xué)上的區(qū)域劃分裝置以及法線信息生
成部進(jìn)行的處理的流程圖。
圖41是本發(fā)明的實(shí)施例3中的法線信息生成部進(jìn)行的處理的流程圖。 圖42示出了搭載了利用了聲納的本發(fā)明實(shí)施例3的變形例中的光學(xué)上
的區(qū)域劃分裝置的攝像機(jī)的構(gòu)成例子。
12圖43是本發(fā)明的實(shí)施例3中的攝像條件判定部的詳細(xì)的功能構(gòu)成方框圖。
圖44是圖42所示的光學(xué)上的區(qū)域劃分裝置以及法線信息生成部進(jìn)行 的處理的流程圖。
圖45是本發(fā)明的實(shí)施例4中的光學(xué)上的區(qū)域劃分裝置的功能構(gòu)成方框圖。
圖46是本發(fā)明的實(shí)施例4中的光學(xué)上的區(qū)域劃分裝置以及法線信息生 成部進(jìn)行的處理的流程圖。
圖47是本發(fā)明的實(shí)施例4中的攝像條件判定部的詳細(xì)的功能構(gòu)成方框圖。
圖48是利用被攝物的形狀信息來(lái)評(píng)價(jià)光學(xué)上的區(qū)域劃分結(jié)果的可靠性 的本發(fā)明變形例所涉及的光學(xué)上的區(qū)域劃分裝置的功能構(gòu)成方框圖。
圖49是具備圖48所示的光學(xué)上的區(qū)域劃分裝置的可靠性判定部的詳 細(xì)的功能構(gòu)成方框圖。
圖50示出了搭載了圖48所示的光學(xué)上的區(qū)域劃分裝置的攝像機(jī)的硬 件構(gòu)成的例子。
圖51是圖48所示的光學(xué)上的區(qū)域劃分裝置進(jìn)行的光學(xué)上的區(qū)域劃分 處理的流程圖。
圖52是用于說(shuō)明攝像機(jī)坐標(biāo)系中的法向矢量的圖。
圖53(a)、(b)示出了內(nèi)藏有本發(fā)明所涉及的圖像處理裝置的應(yīng)用制品的 例子。
圖54是本發(fā)明的變形例所涉及的光學(xué)上的區(qū)域劃分裝置進(jìn)行的影子檢 測(cè)處理的流程圖。
圖55(a)是被攝物的油畫圖像，(b)示出了與(a)所示出的圖像相對(duì)應(yīng)的 偏振度p (偏振信息)。
圖56示出了由該光學(xué)上的區(qū)域劃分裝置抽出的投影區(qū)域。 符號(hào)說(shuō)明
100、 100 a 100e光學(xué)上的區(qū)域劃分裝置 101偏振光圖像撮像部 102偏振光信息生成部
13103、 103a 103c、 1031 區(qū)域劃分部
104、 1041法線信息生成部 105發(fā)光部
106、 106 a 撮像條件判定部
107、 107 a 可靠性判定部 110圖像信息取得部
120影子區(qū)域抽出部 130輸出部
200、 200a 200c攝像機(jī) 201圖案偏振器 202攝像元件 203存儲(chǔ)器
204 CPU (中央處理單元)
205角度感應(yīng)器
206撮像單位
207發(fā)光裝置
208表示部
209揚(yáng)聲器
210 聲納
211形狀信息生成部
301影子區(qū)域檢測(cè)部
302數(shù)據(jù)庫(kù)(DB)
303偏振度比較部
304偏振光推定誤差比較部
305區(qū)域判斷部
306蓄積部
307區(qū)域參照部
308漫反射假定法線信息生成部
309鏡面反射假定法線信息生成部
310亮度比較部
14311低亮度像素檢測(cè)部 312光軸方向檢測(cè)部 313光軸方向比較部 314陰影區(qū)域存在判斷部 315撮像環(huán)境檢測(cè)部 316撮像環(huán)境識(shí)別部 317法線信息生成部 318相位信息比較部
具體實(shí)施例方式
以下，參照附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行說(shuō)明。并且，在本實(shí)施例中， 以光學(xué)上的區(qū)域劃分裝置作為本發(fā)明所涉及的圖像處理裝置的一個(gè)例子來(lái) 說(shuō)明。
(實(shí)施例1 )
首先，對(duì)本發(fā)明的實(shí)施例l中的光學(xué)上的區(qū)域劃分裝置的概要進(jìn)行說(shuō)明。
圖1是本實(shí)施例中的光學(xué)上的區(qū)域劃分裝置100的功能構(gòu)成方框圖。 該光學(xué)上的區(qū)域劃分裝置100是進(jìn)行與被攝物的圖像中的影子有關(guān)的處理
的圖像處理裝置，在此為通過(guò)對(duì)被攝物進(jìn)行攝像，而對(duì)被攝物的表面進(jìn)行
光學(xué)上的區(qū)域劃分的裝置，其中包括圖像信息取得部iio、影子區(qū)域抽出
部120以及輸出部130。
圖像信息取得部no是取得與被攝物圖像相關(guān)的信息的處理部，具有 偏振光圖像攝像部101以及偏振光信息生成部102，所述與被攝物圖像相
關(guān)的信息包括亮度信息和偏振光信息，所述亮度信息是指與來(lái)自被攝物的 光的亮度有關(guān)的信息，所述偏振光信息是指與來(lái)自被攝物的光的偏振有關(guān)
的信息。并且，該圖像信息取得部110按照每個(gè)構(gòu)成被攝物圖像的單位圖
像，取得亮度信息以及偏振光信息。
圖像信息取得部110中的偏振光圖像攝像部101是通過(guò)接受透過(guò)多個(gè)
偏振器的光，來(lái)取得被攝物的偏振光圖像的處理部，所述多個(gè)偏振器的偏 振光主軸角度各不相同。
15圖像信息取得部110中的偏振光信息生成部102是一處理部，其根據(jù) 由偏振光圖像攝像部101取得的偏振光圖像，利用多個(gè)偏振器的偏振光主 軸角度和透過(guò)多個(gè)偏振器的光的亮度的對(duì)應(yīng)關(guān)系，針對(duì)構(gòu)成所述偏振光圖 像的各個(gè)圖像區(qū)域生成偏振光信息，該偏振光信息是與接受的偏振光有關(guān) 的信息。
影子區(qū)域抽出部120是一處理部，其根據(jù)在圖像信息取得部110取得 的亮度信息以及偏振光信息，按照每個(gè)單位圖像，從被攝物圖像中抽出陰 影區(qū)域以及投影區(qū)域，所述陰影區(qū)域是指因接受光的各種照射方式而在被 攝物表面產(chǎn)生的"影"的區(qū)域，所述投影區(qū)域是指因被攝物本身將光遮擋住而 在其他的物體上產(chǎn)生的"影"的區(qū)域，并且，在本實(shí)施例中，作為一個(gè)例子示 出了影子區(qū)域抽出部120具有進(jìn)行區(qū)域劃分的區(qū)域劃分部103。
影子區(qū)域抽出部120中的區(qū)域劃分部103是一處理部，其利用偏振光 圖像的亮度信息和在偏振光信息生成部102生成的偏振光信息的類似性 (共通性)，將偏振光圖像劃分為由在光學(xué)上共通的圖像區(qū)域的集合構(gòu)成的 多個(gè)區(qū)域。此時(shí)，區(qū)域劃分部103對(duì)圖像區(qū)域的亮度和預(yù)先規(guī)定的閾值進(jìn) 行比較，在亮度比閾值小的情況下，對(duì)該圖像區(qū)域進(jìn)行區(qū)域劃分，劃分為 包含影子區(qū)域(陰影區(qū)域以及投影區(qū)域)的低亮度區(qū)域(在本實(shí)施例中為 影子區(qū)域)。
并且，該區(qū)域劃分部103雖然對(duì)圖像(在此為偏振光圖像)進(jìn)行區(qū)域 劃分，但是在本發(fā)明中作為影子區(qū)域抽出部的工作并非受區(qū)域劃分所限， 也可以是區(qū)域抽出(即，確定圖像的一部分區(qū)域的處理)。也就是說(shuō)，在本 說(shuō)明書中，為了便于對(duì)發(fā)明的理解，僅以區(qū)域抽出作為一個(gè)例子，對(duì)將圖 像的全部區(qū)域劃分為包含陰影區(qū)域和投影區(qū)域的多個(gè)種類的區(qū)域中的某一 個(gè)的區(qū)域劃分進(jìn)行說(shuō)明，不過(guò)，作為本發(fā)明所涉及的圖像處理裝置并非限 于這種區(qū)域劃分，也可以是對(duì)圖像的一部分區(qū)域進(jìn)行確定的區(qū)域抽出。因 此，在本說(shuō)明書中的"區(qū)域劃分(區(qū)域的劃分)"也可以稱為"區(qū)域抽出(區(qū) 域的抽出)"。并且，在本說(shuō)明書中"區(qū)域檢測(cè)(區(qū)域的檢測(cè))"與"區(qū)域抽出 (區(qū)域的抽出)"具有相同的意義。
輸出部130是輸出用于確定在影子區(qū)域抽出部120抽出的陰影區(qū)域以 及投影區(qū)域的信息的處理部，具有標(biāo)識(shí)符附加部131以及影子區(qū)域輸出部
16132。
在輸出部130中的標(biāo)識(shí)符附加部131針對(duì)構(gòu)成在影子區(qū)域抽出部120 抽出的陰影區(qū)域以及投影區(qū)域的單位圖像，分別附加表示陰影區(qū)域以及投 影區(qū)域的標(biāo)識(shí)符，并輸出附加的標(biāo)識(shí)符。
輸出部130中的影子區(qū)域輸出部132輸出被攝物圖像中的陰影區(qū)域和 投影區(qū)域所分別對(duì)應(yīng)的部分(圖像)，以作為確定在影子區(qū)域抽出部120抽 出的陰影區(qū)域和影子區(qū)域的信息。
圖2示出了搭載了本實(shí)施例中的光學(xué)上的區(qū)域劃分裝置100的攝像機(jī) 200的硬件構(gòu)成的例子。圖3是示出圖2所示的圖案偏振器201和攝像元 件202之間的關(guān)系的模式圖。此攝像機(jī)200是具有對(duì)攝像圖像進(jìn)行光學(xué)上 區(qū)域劃分功能的攝像裝置，其包括圖案偏振器201、攝像元件202、存儲(chǔ) 器203、 CPU204以及發(fā)光裝置207。
如圖3所示，圖案偏振器201是將偏光主軸角度^Pi二0。、 45°、 90°、 135。的四種偏振器編為一組，并排列成二維狀的偏振器的集合。
如圖3所示，攝像元件202是接受透過(guò)構(gòu)成圖案偏振器201的各個(gè)偏 振器的光的被排列成二維狀的像素(受光元件)的集合，并且最好是被設(shè) 置成與攝像元件202的攝像面平行。并且，圖案偏振器201中的四個(gè)(四 種)偏振器和攝像元件202中對(duì)應(yīng)的四個(gè)像素(受光元件)構(gòu)成攝像單位 206。通過(guò)此攝像單位206而得到的圖像為偏振光信息生成部102以及區(qū) 域劃分部103中的各個(gè)處理的單位("單位圖像")。即，光學(xué)上的區(qū)域劃分 裝置100按照各個(gè)依據(jù)攝像單位206得到的單位圖像(以下也稱為"像素")， 進(jìn)行偏振光信息的生成以及區(qū)域劃分。
存儲(chǔ)器203包括作為CPU204的工作區(qū)域的RAM以及存儲(chǔ)程序等的 ROM。
CPU204是執(zhí)行被存儲(chǔ)在存儲(chǔ)器203中的程序，并訪問(wèn)存儲(chǔ)器203、 控制攝像元件202以及發(fā)光裝置207的處理器。 發(fā)光裝置207是照射被攝物的閃光設(shè)備。
并且，圖1所示的偏振光圖像攝像部101是由圖2所示的圖案偏振器 201以及攝像元件202實(shí)現(xiàn)的。圖1所示的偏振光信息生成部102以及區(qū) 域劃分部103是由圖2所示的CPU204執(zhí)行在存儲(chǔ)器203中存儲(chǔ)的程序來(lái)
17實(shí)現(xiàn)的。并且，存儲(chǔ)器203也被作為存儲(chǔ)由偏振光圖像攝像部101取得的 偏振光圖像、由偏振光信息生成部102生成的偏振光信息、以及臨時(shí)產(chǎn)生 的各種參數(shù)等的工作區(qū)域來(lái)使用。
圖4是本實(shí)施例中的光學(xué)上的區(qū)域劃分裝置100進(jìn)行的處理的流程圖。 首先，偏振光圖像攝像部101通過(guò)圖案偏振器201，以攝像元件拍攝被攝 物，從而攝像包含偏振光信息的偏振光圖像(SIOI)。偏振光信息生成部 102利用在偏振光圖像攝像部101拍攝的偏振光圖像的亮度變化，生成偏 振光信息(S102)。區(qū)域劃分部103利用在偏振光信息生成部102生成的 偏振光信息或在偏振光圖像攝像部101取得的亮度信息，將圖像劃分為漫 反射區(qū)域、鏡面反射區(qū)域以及低亮度區(qū)域(在本實(shí)施例中為陰影區(qū)域以及 投影區(qū)域)(S103)。
以下，對(duì)本實(shí)施例中的光學(xué)上的區(qū)域劃分裝置100的各個(gè)構(gòu)成要素的 詳細(xì)功能進(jìn)行說(shuō)明。
首先，對(duì)偏振光圖像攝像部101的詳細(xì)功能進(jìn)行說(shuō)明。偏振光圖像攝 像部101使來(lái)自被攝物的光通過(guò)圖案偏振器201在攝像元件202受光，從 而取得包含偏振光信息的偏振光圖像。圖5是從入射光方向看到的圖3所 示的攝像單位206的模式圖。在該圖中各個(gè)偏振器(各個(gè)像素)中的直線 表示被設(shè)置在各個(gè)像素上的微小起偏板的偏振光主軸方向。即，此攝像單 位206是具有偏振光光軸的回轉(zhuǎn)角為0^=0°、 45°、 90°、 135°)的四種偏振 光方向的像素。圖案偏振器示出了使TM波透過(guò)、使TE波反射(不透過(guò)) 的偏振特性。
這種特性例如可以利用非專利文獻(xiàn)3所記載的光子晶體作成(非專利 文獻(xiàn)3 :『川島、佐藤、川上、長(zhǎng)島、太田、青木、共著"八。夕一>化偏光 子奮用^t偏光^ 乂一">夕'7"、<》i利用技術(shù)o開(kāi)発(利用圖案化偏 振器的偏振光成像裝置和利用技術(shù)的開(kāi)發(fā))"，電子情報(bào)通信學(xué)會(huì)2006年 総合全國(guó)大會(huì)(電子信息通信學(xué)會(huì)2006年綜合全國(guó)大會(huì))，No.D— 11一52， P52， 2006)。在光子晶體的情況下，在表面形成的溝槽，具有平行振動(dòng)面 的光成為TE波，具有垂直振動(dòng)面的光成為TM波。
在攝影該偏振光信息時(shí)，亮度的動(dòng)態(tài)范圍和位(bit)數(shù)最好是盡量大 (例如16位)。
18以下，對(duì)偏振光信息生成部102的詳細(xì)功能進(jìn)行說(shuō)明。偏振光信息生 成部102是利用在偏振光圖像攝像部101取得的偏振光圖像來(lái)生成偏振光 信息的處理部。
透過(guò)偏振器的亮度是根據(jù)偏振器的偏振光主軸角度而發(fā)生變化的。圖6 示出了透過(guò)不同的偏振光主軸角度為Wi=0°、 45°、 90°、 135。的四種偏振 器的亮度401、 402、 403、 404形成的一條正弦函數(shù)曲線。艮卩，該正弦函 數(shù)曲線示出了圖5中的點(diǎn)501的偏振光特性。并且，偏振光主軸角度在O。 和108° (ii)是相同的。并且，在求此正弦函數(shù)曲線時(shí)，最好是使用攝影 伽馬=1的攝像機(jī)，或通過(guò)校正線性來(lái)校正成攝影伽馬=1。這四個(gè)點(diǎn)正好 被描畫在一條正弦函數(shù)曲線上，其實(shí)，作為由多個(gè)觀測(cè)點(diǎn)構(gòu)成180度周期 的正弦函數(shù)的最佳值，最好是以一條正弦函數(shù)曲線來(lái)表示。
此偏振光信息生成部102生成此曲線的振幅和相位信息以作為偏振光 信息。具體而言，針對(duì)圖案偏振器201的主軸角w的反射光亮度I如以下 這樣近似。
/(^) = Isin2(y — B) + C (公式i )
在此，如圖6所示，公式1中的A、 B、 C為常數(shù)，分別表示通過(guò)偏振
器的亮度的變動(dòng)曲線的振幅、相位、平均值。不過(guò)，公式l可以如下展開(kāi)。
/(y) = a sin+ 6 cos+ C
(公式2 )
另外，
爿=Va2 sin(,=T1LT C0S(-2丑)="
(公式3)
2
UJ (公式4) 艮P，在四個(gè)像素的采樣(iyi 、 I i )中，只要求出使以下公式5成為 最小的A、 B、 C，就可以實(shí)現(xiàn)正弦函數(shù)(公式l )近似。不過(guò)，I i表示 起偏板回轉(zhuǎn)角W i時(shí)的觀測(cè)亮度。并且，N為采樣數(shù)，在此為4。
19<formula>formula see original document page 20</formula>
'° (公式5) 通過(guò)以上的處理，確定正弦函數(shù)近似的A、 B、 C這三個(gè)參數(shù)。 利用這樣求出的參數(shù)，偏振光信息生成部102生成以下所示的某個(gè)或 多個(gè)，以作為偏振光信息。 '偏振度p
/ _/ 爿 ^
p = i maxJ min — 二 "
(公式6 )
-偏振光相位<p(0°^^180°)
4
(公式7)
-偏振光推定誤差E
w—i
, =0
(公式8)
在此，偏振度是表示光偏振了多少的指標(biāo)，偏振光相位是指依存于偏 振光主軸角度并變化的亮度成為最大的角度，偏振光推定誤差是指觀測(cè)四 個(gè)像素的采樣的亮度和通過(guò)近似而得到的由上述的正弦函數(shù)決定的亮度的 差的合計(jì)。
圖7是將拍攝作為球體的塑料球的被攝物時(shí)的偏振度p、偏振光相位cp 以及偏振光推定誤差E作為圖像來(lái)表示的圖。在該圖中，圖7(a)是作為被 攝物的塑料球的圖像，圖7(b)示出了針對(duì)圖7(a)的被攝物的偏振度p，圖 7(c)示出了針對(duì)圖7(a)的被攝物的偏振光相位cp (0°為黑，180°為白)，圖 7(d)示出了針對(duì)7(a)的被攝物的偏振光推定誤差E。并且，圖8是圖7中 各個(gè)圖的模式圖(使?jié)獾髁嘶膱D)。不論在圖7還是在圖8中，亮度高 的值就大，在球的被遮擋邊緣附近偏振度大，在沒(méi)有被被攝物的投影覆蓋 的區(qū)域，偏振光相位以180。周期在球體的周圍逆時(shí)針單調(diào)增加。此偏振光
20相位是成為回轉(zhuǎn)并發(fā)生了變化的亮度的最大值的角度，也是被攝物漫反射 時(shí)的射出面的信息。
以下，對(duì)區(qū)域劃分部103的詳細(xì)功能進(jìn)行說(shuō)明。區(qū)域劃分部103利用 在偏振光信息生成部102生成的偏振光信息和在偏振光圖像攝像部101取 得的亮度信息，將圖像劃分為漫反射區(qū)域、鏡面反射區(qū)域、陰影區(qū)域以及 投影區(qū)域。
在此，對(duì)漫反射和鏡面反射進(jìn)行說(shuō)明。被攝物表面的反射特性是以作 為"光亮"的鏡面反射成分和作為無(wú)光澤的反射成分的漫反射成分的和來(lái)表 現(xiàn)的。漫反射成分是不論照射被攝物的光源在哪個(gè)方向上都能夠觀測(cè)到的 成分，鏡面反射成分是對(duì)于被攝物的法線方向和視線方向，幾乎只有在光 源存在與正反射方向上時(shí)才能觀測(cè)到的對(duì)方向依存性強(qiáng)的成分。在偏振光 特性中也是如此。
在被攝物是「光亮」的產(chǎn)生鏡面反射的物體的情況下，當(dāng)光從各個(gè)方 向照射時(shí)，被攝物會(huì)受到很強(qiáng)的來(lái)自作為正反射成分的鏡面反射的影響(例 如，關(guān)于透明物體可參照非專利文獻(xiàn)4 :齊藤灼〈"辦、佐藤洋一、池內(nèi)克 史、柏木寬，""^ ， <卜o偏光解析^ i i d <透明物體o表面形狀測(cè)定 (根據(jù)光亮的偏振光分析的透明物體的表面形狀測(cè)定)"電子情報(bào)通信學(xué)會(huì) 論文誌(電子信息通信學(xué)會(huì)論文雜志)D—II， Vol.J82—D—II， No.9， pp,1383—1390， 1999)。
圖9和圖lO的圖表分別示出了被攝物的折射率為n-l.l、 1.3、 1.5、 2.0時(shí)的鏡面反射成分以及漫反射成分的偏振度(例如，參照非專利文獻(xiàn) 5 : "L. B. Wolff and T. E. Boult， "Constraining object features using a polarization reflectance model" 、 IEEE Transactions on Pattern Analysis and Machine Intelligence、 Vol.l3， No.7， pp.635 — 657, 1991")。在此，圖9的橫軸表示入射角，縱軸表示偏振度。并且，圖10的 橫軸表示射出角，縱軸表示偏振度。通過(guò)這些圖可知，光在從各個(gè)方向入 射的情況下，與漫反射成分相比，鏡面反射成分的偏振度高。據(jù)此，對(duì)于 偏振光特性而言，也可以推測(cè)出是鏡面反射成分占優(yōu)勢(shì)。這在射出角接近 90。和遮擋邊緣等除外的情況也適用。
以下，對(duì)陰影區(qū)域和投影區(qū)域進(jìn)行說(shuō)明。圖ll是用于說(shuō)明陰影區(qū)域和
21投影區(qū)域(影子區(qū)域的分類)的模式圖。在此示出了，在某一個(gè)面1002上 放置有一個(gè)球狀物體的被攝物1001，并且該被攝物1001由光源1003照 射。在該圖中，區(qū)域1004和區(qū)域1005均表示影子區(qū)域。區(qū)域1004是由 于被攝物1001的法線沒(méi)有朝向光源1003而產(chǎn)生的"陰影區(qū)域"，區(qū)域1005 是由作為遮擋物的被攝物1001將光遮擋后而在面1002上產(chǎn)生的"投影區(qū) 域"。
以下，對(duì)陰影區(qū)域和投影區(qū)域的偏振光特性的不同之處進(jìn)行說(shuō)明。首 先，假定在滿足條件1的攝像場(chǎng)面進(jìn)行攝影，該條件1是指在地上攝影的 幾乎所有的攝像場(chǎng)面中都能成立的條件。
條件i :在被攝物所在的攝像場(chǎng)面中，存在有物體，在該物體的近旁
有寬廣的面，且該寬廣的面在該物體的一側(cè)，在該物體的相反一側(cè)存在有 光源。
上述的條件例如出現(xiàn)在以下的攝像場(chǎng)面。
1. 在室內(nèi)場(chǎng)面中，在桌子上放置有作為被攝物的球。并且，該球被 設(shè)置在天花板上的螢光燈照射。
2. 在室內(nèi)場(chǎng)面中，作為被攝物的人物坐在在地板上放置的椅子上。 并且，該人物被從窗戶射入的太陽(yáng)光照射。
3. 在室外場(chǎng)面中，作為被攝物的汽車行駛在道路上。并且，該被攝 物被太陽(yáng)光照射。
并且，由于墻壁或建筑物也具有寬廣面，因此上述條件在地上的攝影 的幾乎所有的攝像場(chǎng)面中均成立。
在此條件l成立的情況下，首先對(duì)陰影區(qū)域進(jìn)行說(shuō)明。如圖11所示， 陰影區(qū)域是被攝物的法線與光源的方向相反而產(chǎn)生的影子(影)區(qū)域。在 此，根據(jù)條件l可以考慮到，在與光源的相反的方向上存在寬廣的面，并 且在影子區(qū)域中實(shí)際上存在多次繞過(guò)的光(多次反射光)，據(jù)此可以想到在 陰影區(qū)域中被入射有來(lái)自各個(gè)方向的多次反射光。也就是說(shuō)可以考慮到對(duì) 于攝像機(jī)200和陰影區(qū)域所產(chǎn)生的像素的法線，存在成為正反射的多次反 射光。圖12是示出上述狀態(tài)的模式圖。在該圖中，攝像機(jī)1006是搭載了 本實(shí)施例中的光學(xué)上的區(qū)域劃分裝置100的攝像機(jī)，面1007是上述的寬廣 的面。
22不過(guò)，如以前所述鏡面反射成分的偏振度比漫反射成分高。為此，示 出鏡面反射成分的反射特性的陰影區(qū)域的偏振度相對(duì)比較高。
以下，對(duì)投影區(qū)域進(jìn)行說(shuō)明。如圖11所示，投影區(qū)域是因某種遮擋物 將光遮擋住而產(chǎn)生的影子(影)區(qū)域。在此若考慮條件l，則投影區(qū)域容 易形成在具有與寬廣的面接近的法線方向的面上。為此，與陰影區(qū)域相比， 多次反射光僅從比較有限的方向入射。據(jù)此，可以考慮到在正反射方向上
存在光源的可能性比較低。圖13是上述狀態(tài)的模式圖。
而且，如圖10所示，漫反射成分的偏振度相對(duì)比較低。據(jù)此可知投影 區(qū)域的偏振光成分比較少。在影子區(qū)域，由于亮度本身比較小，因此推定 較小的偏振光成分是比較困難的。為此，投影區(qū)域的偏振光推定誤差就會(huì) 變得非常大。
歸納以上所述，影子區(qū)域的偏振光特性可以分類為以下這樣。 (1)陰影區(qū)域
-偏振度高，偏振光推定誤差小。 -大多情況表示的是鏡面反射特性。 (2 )投影區(qū)域
，偏振度低，偏振光推定誤差大。 -大多情況表示的是漫反射特性。
通過(guò)利用此分類基準(zhǔn)，從而可以將影子區(qū)域分類為陰影區(qū)域和投影區(qū) 域。例如，可以將偏振光信息為鏡面反射的偏振光特性(偏振度高，或偏 振光推定誤差小)的低亮度區(qū)域分類為陰影區(qū)域。以下，對(duì)利用這樣的性 質(zhì)進(jìn)行區(qū)域劃分的區(qū)域劃分部103進(jìn)行詳細(xì)說(shuō)明。
圖14是圖1所示的光學(xué)上的區(qū)域劃分裝置100的區(qū)域劃分部103的 詳細(xì)功能構(gòu)成方框圖。該區(qū)域劃分部103是進(jìn)行區(qū)域劃分的處理部，其利 用在偏振光信息生成部102生成的偏振光信息和在偏振光圖像攝像部101 取得的亮度信息，將圖像劃分為漫反射區(qū)域、鏡面反射區(qū)域、陰影區(qū)域以 及投影區(qū)域，該區(qū)域劃分部103包括影子區(qū)域檢測(cè)部301、 DB (數(shù)據(jù)庫(kù)) 302、偏振度比較部303、偏振光推定誤差比較部304、區(qū)域判斷部305、 以及蓄積部306。
影子區(qū)域檢測(cè)部301是推定由偏振光圖像攝像部101取得的圖像中的
23像素是否為影子區(qū)域的處理部。
DB302是預(yù)先存儲(chǔ)由偏振度比較部303參照的閾值Th—PDS以及由 偏振光推定誤差比較部304參照的閾值Th_Eir的存儲(chǔ)器等。
偏振度比較部303是一處理部，從DB302中讀出閾值Th_PDS，對(duì) 于在影子區(qū)域檢測(cè)部301被推定為不是影子區(qū)域的像素中的成為對(duì)象的像 素的偏振度和閾值Th_PDS進(jìn)行比較。
偏振光推定誤差比較部304是一處理部，從DB302中讀出閾值 Th—Err，對(duì)于在影子區(qū)域檢測(cè)部301被推定為是影子區(qū)域的像素，對(duì)成為 對(duì)象的像素的偏振光推定誤差E和閾值Th_Err進(jìn)行比較。
區(qū)域判斷部305按照在偏振度比較部303以及偏振光推定誤差比較部 304的比較結(jié)果，判斷成為對(duì)象的像素是漫反射區(qū)域、鏡面反射區(qū)域、投 影區(qū)域以及陰影區(qū)域中的哪一個(gè)，并將結(jié)果蓄積到蓄積部306。
蓄積部306是存儲(chǔ)由區(qū)域判斷部305判斷的區(qū)域劃分結(jié)果的存儲(chǔ)器等。
圖15是該區(qū)域劃分部103進(jìn)行處理的流程圖。首先，影子區(qū)域檢測(cè)部 301推定由偏振光像素?cái)z像部101取得的圖像中的像素是否為低亮度區(qū)域 (在本實(shí)施例中為影子區(qū)域)(S201)。這是因?yàn)?，例如利用影子區(qū)域中的 亮度值低這一特性，可以將亮度值或通過(guò)偏振器的亮度的變動(dòng)曲線的振幅 在閾值以下的像素推定為影子區(qū)域。像這種用于推定影子區(qū)域的閾值可以 通過(guò)實(shí)驗(yàn)來(lái)決定，例如對(duì)于16位的單色圖像的亮度值可以設(shè)定為256。這 樣的閾值可以保持在DB302。圖16(a)是針對(duì)圖7(a)的圖像(其模式圖為 圖8(a))進(jìn)行影子檢測(cè)處理后的結(jié)果。圖中的黑色區(qū)域是作為影而被檢測(cè) 出的結(jié)果。
在像素不是影子區(qū)域的情況下(S201的"否")，偏振度比較部303判 斷在該像素中是漫反射成分占優(yōu)勢(shì)還是鏡面反射成分占優(yōu)勢(shì)(S202)。圖 17是由該偏振度比較部303進(jìn)行漫反射和鏡面反射的分類處理(S202)的 流程圖。在此，偏振度比較部303利用上述的"鏡面反射的偏振度高"這一 特性，來(lái)判斷像素是漫反射占優(yōu)勢(shì)還是鏡面反射占優(yōu)勢(shì)。首先，偏振度比 較部303調(diào)查像素的偏振度比閾值Th一PDS小還是大(S211)。在像素的 偏振度比閾值Th—PDS小的情況下(S211的"是")，區(qū)域判斷部305則判 斷在該像素中是漫反射占優(yōu)勢(shì)(該像素是漫反射區(qū)域)(S212)。另外，在
24偏振度比閾值Th一PDS大的情況下(S211的"否")，區(qū)域判斷部305則判 斷在該像素中是鏡面反射占優(yōu)勢(shì)(該像素是鏡面反射區(qū)域)(S213)。區(qū)域 判斷部305將區(qū)域劃分的結(jié)果蓄積到蓄積部306。
并且，閾值Th—PDS可以根據(jù)被攝物的折射率或被攝物的法線方向、 光源方向、視線方向等來(lái)設(shè)定。如圖9和圖10所示，被攝物的鏡面反射成 分偏振度或漫反射成分偏振度可以通過(guò)求折射率和入射角、射出角來(lái)決定。 因此，可以將在圖9和圖IO求出的鏡面反射成分偏振度或漫反射成分偏振 度作為Th—PDS來(lái)利用。并且，在被攝物的折射率或被攝物的法線方向、 光源方向、視線方向等信息不能得到的情況下，可以根據(jù)漫反射成分偏振 度能夠取得的最大值來(lái)決定閾值Th—PDS。例如，假設(shè)不存在折射率為2.0 以上的被攝物，根據(jù)圖10，可以考慮到漫反射成分偏振度的最大值為0.6 左右，因此可以將閾值Th一PDS設(shè)定為0.7左右。像這樣的閾值可以保持 在DB302中。
在漫反射和鏡面反射的分類處理(S202)結(jié)束后，區(qū)域判斷部305檢 査所有的像素的光學(xué)上的分類是否結(jié)束(S203)。在存在還沒(méi)有進(jìn)行分類的 像素的情況下(S203的"否")，影子區(qū)域檢測(cè)部301檢測(cè)其他的像素是否 為影子區(qū)域(S201)。并且，在所有的像素在光學(xué)上的分類結(jié)束的情況下 (S203的"是，，)，區(qū)域劃分部103結(jié)束處理。
另一方面，像素為影子區(qū)域的情況下(S201的"是")，偏振光推定誤差 比較部304評(píng)價(jià)在上述公式8中定義的偏振光推定誤差E的大小(S204)。 即，偏振光推定誤差比較部304對(duì)偏振光推定誤差E的大小和閾值Th_Err 進(jìn)行比較。在比較結(jié)果為，偏振光推定誤差E的大小比閾值Tl^EiT大的 情況下(S204的"是")，區(qū)域判斷部305將該像素判斷為是投影區(qū)域 (S205)，另外，在偏振光推定誤差E的大小比閾值Th—Err小的情況下 (S204的"否")，區(qū)域判斷部305則將該像素判斷為是陰影區(qū)域(S206)。 區(qū)域判斷部305將區(qū)域劃分結(jié)果蓄積到蓄積部306。
此時(shí)的閾值Th—Err可以以攝影圖像的亮度值或公式2中的振幅成分 A、偏離成分C為基準(zhǔn)來(lái)決定。例如，在以振幅成分A為基準(zhǔn)決定閾值 Th一Err的情況下，可以決定為以下這樣。
257% _ &r = (T7z — E)2 (2 j)2 ^ (公式9 )
該公式示出偏振光推定誤差E與振幅成分A有多大的不同。在此， Th—E是一個(gè)適當(dāng)?shù)卣某?shù)，可以試行決定，例如決定為0.3。并且，N 是上述的采樣數(shù)。像這樣的閾值可以保持在DB302中。
圖16(b)以及圖16(C)分別示出了以上述的方法求出的投影區(qū)域以及陰 影區(qū)域。在該圖中，黑色區(qū)域是被選擇的區(qū)域。通過(guò)對(duì)于像這樣求出的投 影區(qū)域和陰影區(qū)域進(jìn)行在圖像處理中被廣泛使用的區(qū)域的收縮擴(kuò)大處理， 從而可以將投影區(qū)域和陰影區(qū)域進(jìn)行分離。
圖18示出了由區(qū)域劃分部103進(jìn)行的區(qū)域劃分的例子。在此，示出了 對(duì)于構(gòu)成偏振光圖像的各個(gè)像素的像素位置、振幅A、偏振度p、偏振光相 位(p、偏振光推定誤差E的具體值以及區(qū)域劃分結(jié)果。在此所示的區(qū)域劃 分中的判斷基準(zhǔn)如圖19所示。即，是漫反射區(qū)域還是鏡面反射區(qū)域或是影 子區(qū)域是根據(jù)振幅A是否在256以上來(lái)判斷的(圖15的S201)，是漫反 射區(qū)域還是鏡面反射區(qū)域是根據(jù)偏振度p是否比0.7小來(lái)判斷的(圖17的 S211)，是投影區(qū)域還是陰影區(qū)域是根據(jù)偏振光推定誤差E是否比上述公 式9所示的閾值Th—Err大來(lái)判斷的(圖15的S204)。以這樣的判斷基準(zhǔn) 判斷的結(jié)果如圖18所示，像素(141、 117)被判斷為屬于漫反射區(qū)域，像 素(151、 138)被判斷為屬于鏡面反射區(qū)域，像素(111、 144)被判斷為 屬于陰影區(qū)域，像素(98、 151)被判斷為屬于投影區(qū)域，像素(165、 144) 被判斷為屬于漫反射區(qū)域。
并且，在圖15所示的處理中，雖然對(duì)于在像素中是漫反射成分還是鏡 面反射成分占優(yōu)勢(shì)的判斷利用了偏振度(S202)，不過(guò)也可以利用亮度值。 圖20是利用亮度值來(lái)判斷是漫反射還是鏡面反射的變形例所涉及的區(qū)域劃 分部103a的詳細(xì)功能構(gòu)成方框圖。該區(qū)域劃分部103a包括影子區(qū)域檢 測(cè)部301、 DB302、偏振光推定誤差比較部304、區(qū)域判斷部305、蓄積 部306以及亮度比較部310。并且，對(duì)于在該圖20中與圖14相同的構(gòu)成 要素賦予相同的符號(hào)，在此省略詳細(xì)說(shuō)明。
亮度比較部310是一處理部，從DB302中讀出閾值TH—IDS，并對(duì) 成為對(duì)象的像素的亮度值和閾值TH—IDS進(jìn)行比較。
26圖21是該區(qū)域劃分部103a的處理流程圖。并且對(duì)于圖21中與圖17 相同的步驟賦予相同的符號(hào)，在此省略詳細(xì)說(shuō)明。亮度比較部310調(diào)查像 素的亮度值比閾值TH—IDS大還是小(S214)。在像素的亮度值比閾值 TH—IDS小的情況下(S214的"是")，區(qū)域判斷部305將該像素判斷為是 漫反射占優(yōu)勢(shì)(S212)。另夕卜，在亮度值比閾值TH—IDS大的情況下(S214 的"否")，區(qū)域判斷部305則判斷該像素是鏡面反射占優(yōu)勢(shì)(S213)。這樣， 利用亮度值判斷了在該像素中是漫反射占優(yōu)勢(shì)還是鏡面反射占優(yōu)勢(shì)。
并且，在圖15所示的處理中，雖然是利用偏振光推定誤差來(lái)判斷像素 是陰影區(qū)域還是投影區(qū)域的(S204)，不過(guò)也可以不利用偏振光推定誤差， 而可以利用偏振度來(lái)進(jìn)行判斷。圖22是利用偏振度來(lái)判斷是陰影區(qū)域還是 投影區(qū)域的變形例所涉及的區(qū)域劃分部103b的詳細(xì)的功能構(gòu)成方框圖。該 區(qū)域劃分部103b包括影子區(qū)域檢測(cè)部301、DB302、偏振度比較部303、 區(qū)域判斷部305以及蓄積部306。并且，對(duì)于在圖22中與圖14相同的構(gòu) 成要素賦予相同的符號(hào)，在此省略詳細(xì)說(shuō)明。
圖23是該區(qū)域劃分部103b的處理流程圖。并且，對(duì)于在圖23中與 圖15相同的步驟賦予相同的符號(hào)，在此省略詳細(xì)說(shuō)明。
在由影子區(qū)域檢測(cè)部301判斷像素是影子區(qū)域的情況下(S201的 "是")，偏振度比較部303對(duì)公式6所定義的偏振度p和閾值Th一P進(jìn)行比 較，以判斷該像素是陰影區(qū)域還是投影區(qū)域(S207)。當(dāng)判斷結(jié)果為，偏振 度p比閾值Th_P小的情況下(S207的"是")，區(qū)域判斷部305判斷該像 素為投影區(qū)域(S205),并且，在偏振度p比閾值T1UP大的情況下(S207 的"否")，則區(qū)域判斷部305判斷該像素為陰影區(qū)域(S206)。這樣，利用 偏振度判斷了像素是陰影區(qū)域還是投影區(qū)域。
并且，閾值Th一P可以根據(jù)被攝物的折射率或被攝物的法線方向、光 源方向、視線方向等來(lái)設(shè)定。如圖9以及圖10所示，被攝物的鏡面反射成 分偏振度或漫反射成分偏振度可以通過(guò)求出折射率和入射角、射出角來(lái)決 定。因此，可以將在圖9以及圖10所求出的鏡面反射成分偏振度或漫反射 成分偏振度作為Th—P來(lái)利用。并且，在不能得到被攝物的折射率或被攝 物的法線方向、光源方向、視線方向等信息的情況下，可以根據(jù)漫反射成 分偏振度能夠取得的最大值來(lái)決定Th—P。例如，假設(shè)不存在折射率在2.0
27以上的被攝物的情況下，由于根據(jù)圖io可以考慮到漫反射成分偏振度的最
大值為0.6左右，因此可以將閾值Th_P設(shè)定為0.7左右。
并且，在圖15所示的處理中，在判斷該像素是陰影區(qū)域還是投影區(qū)域 之時(shí)(S204)，可以不是利用偏振光推定誤差和偏振度的某一個(gè)，而是可以 利用這兩個(gè)。圖24是既利用偏振光推定誤差又利用偏振度來(lái)判斷像素是陰 影區(qū)域還是投影區(qū)域的變形例所涉及的區(qū)域分割部103c的詳細(xì)功能構(gòu)成方 框圖。該區(qū)域劃分部103c包括影子區(qū)域檢測(cè)部301、 DB302、偏振度比 較部303、偏振光推定誤差比較部304、區(qū)域判斷部305以及蓄積部306。 并且，對(duì)于圖24中與圖14相同的構(gòu)成要素賦予相同的符號(hào)，在此省略詳 細(xì)說(shuō)明。該區(qū)域劃分部103c雖然與圖14所示的區(qū)域劃分部103的構(gòu)成要 素相同，但是區(qū)域判斷部305的區(qū)域劃分中的判斷基準(zhǔn)與區(qū)域劃分部103 不同。
圖25是該區(qū)域劃分部103c的處理流程圖。并且，對(duì)于圖25中與圖 15相同的步驟賦予相同的符號(hào)，在此省略詳細(xì)說(shuō)明。在由影子區(qū)域檢測(cè)部 301判斷為成為對(duì)象的像素是影子區(qū)域的情況下(S201的"是")，偏振光推 定誤差比較部304以及偏振度比較部303分別評(píng)價(jià)在公式8定義的偏振光 推定誤差E和在公式6定義的偏振度p，來(lái)判斷該像素是陰影區(qū)域還是投 影區(qū)域。即，偏振光推定誤差比較部304對(duì)偏振光推定誤差E和閾值 Th_Err進(jìn)行比較，偏振度比較部303對(duì)偏振度p和閾值Th_P進(jìn)行比較。
在其結(jié)果為，偏振光推定誤差E比閾值Th—Err大并且偏振度p的大 小比閾值Th_P小的情況下(S208的"是")，區(qū)域判斷部305判斷該像素 為投影區(qū)域(S205)，另外，在偏振光推定誤差E的大小比閾值Th—Err 小且偏振度p的大小比閾值Th_P大的情況下(S208的"否")，則區(qū)域判斷 部305判斷該像素為陰影區(qū)域(S206)。這樣，在判斷像素是陰影區(qū)域還 是投影區(qū)域中，既利用了偏振光推定誤差又利用了偏振度。
并且，偏振光推定誤差E的閾值Th_Err可以取比僅以圖15所示的處 理的偏振光推定誤差判斷的情況大的值，偏振度p的閾值Th_P可以取比 僅以圖23所示的處理的偏振度判斷的情況小的值。并且，在區(qū)域判斷部 305進(jìn)行的判斷(S208)中，也可以在偏振光推定誤差E的大小比閾值 Th_Err大且偏振度p的大小比閾值Th_P小的情況下，判斷該像素為投影
28區(qū)域。
并且，在圖15的處理中，雖然在判斷像素是陰影區(qū)域還是投影區(qū)域中 利用了偏振光推定誤差(S204)，不過(guò)也可以利用陰影區(qū)域的偏振光特性為 鏡面反射這一特性來(lái)進(jìn)行判斷。例如，可以利用公式7所定義的偏振光相 位cp。偏振光相位cp示出了被攝物的法線的一個(gè)成分，偏振光相位cp和被 攝物的法線的一個(gè)成分的關(guān)系成為，根據(jù)被攝物是鏡面反射成分占優(yōu)勢(shì)還 是漫反射成分占優(yōu)勢(shì)，相位將相差90度，對(duì)此將在以后敘述。例如，通過(guò) 圖7(c)(其模式圖為圖8(c))可知，陰影區(qū)域的偏振光相位信息和旁邊的偏 振光相位信息大不相同。這是因?yàn)?，陰影區(qū)域示出的是鏡面反射成分這一 偏振光特性，而其旁邊區(qū)域示出的是漫反射成分這一偏振光特性。因此， 通過(guò)評(píng)價(jià)被攝物的偏振光相位的連續(xù)性，來(lái)檢測(cè)示出鏡面反射成分的偏振 光特性，從而檢測(cè)陰影區(qū)域。
并且，本發(fā)明不僅可以作為圖1所示的光學(xué)上的區(qū)域劃分裝置100單 體來(lái)實(shí)現(xiàn)，而且還可以作為將利用光學(xué)上的區(qū)域劃分裝置100的輸出來(lái)生 成法線信息的處理部附加到光學(xué)上的區(qū)域劃分裝置100的構(gòu)成來(lái)實(shí)現(xiàn)。
圖26是將生成法線信息的處理部(法線信息生成部)附加到作為本發(fā) 明所涉及的圖像處理裝置的一個(gè)例子的光學(xué)上的區(qū)域劃分裝置100的裝置 的功能構(gòu)成方框圖。法線信息生成部104是一處理部，利用在偏振光信息 生成部102生成的偏振光信息，并按照在區(qū)域劃分部103劃分的區(qū)域，來(lái) 生成用于確定對(duì)應(yīng)的被攝物的表面的法線的法線信息。
圖27是圖26所示的光學(xué)上的區(qū)域劃分裝置以及法線信息生成部的處 理流程圖。該圖相當(dāng)于，在圖4所示的流程的步驟S103之后附加上法線信 息的處理步驟S104。在區(qū)域劃分處理(S103)之后，法線信息生成部104 利用在偏振光信息生成部102生成的偏振光信息，并按照在區(qū)域劃分部103 劃分的區(qū)域，來(lái)生成用于確定對(duì)應(yīng)的被攝物的表面的法線的法線信息 (Sl04)。
在此，對(duì)根據(jù)偏振光信息來(lái)生成法線信息的算法進(jìn)行說(shuō)明。已知的方 法是，根據(jù)偏振光相位cp，求出被攝物的法線信息中的包含光的入射和反射 的光線的射出面(入射角)的角度的一個(gè)自由度。但是，根據(jù)被攝物是鏡 面反射占優(yōu)勢(shì)還是漫反射占優(yōu)勢(shì)，法線信息的求出方法是完全不同的(例如，
29參照非專利文獻(xiàn)6 : "Ondfej Drbohlav and Sara Radim ， 'Using polarization to determine intrinsic surface properties', Proc. SPIE Vol.3826， pp.253—263， 1999")。在漫反射成分占優(yōu)勢(shì)的情況下，可以將 漫反射的射出面的信息作為起偏板回轉(zhuǎn)后亮度變化成為亮度的最大值的角 度來(lái)求。并且，在鏡面反射成分占優(yōu)勢(shì)的情況下，可以將漫反射的入射面 信息作為起偏板回轉(zhuǎn)后亮度變化成為亮度的最小值的角度來(lái)求。在此，若 偏振光亮度的變動(dòng)曲線為180。周期的正弦函數(shù)，則在不考慮是漫反射占優(yōu) 勢(shì)還是鏡面反射占優(yōu)勢(shì)的情況下生成法線信息時(shí)，被推定的法線的一個(gè)自 由度具有90°的誤差。因此，對(duì)漫反射和鏡面反射進(jìn)行分類在根據(jù)偏振光信 息生成法線信息的處理中是非常重要的。
圖28是圖26所示的法線信息生成部104的詳細(xì)的功能構(gòu)成方框圖。 該法線信息生成部104是根據(jù)區(qū)域劃分部103所進(jìn)行的區(qū)域劃分結(jié)果，從 偏振光信息生成法線信息的處理部，其包括蓄積部306、區(qū)域參照部307、 漫反射假定法線信息生成部308以及鏡面反射假定法線信息生成部309。 并且，對(duì)于該圖中與圖14相同的構(gòu)成要素賦予相同的符號(hào)，在此省略詳細(xì) 說(shuō)明。
區(qū)域參照?qǐng)D307是一處理部，通過(guò)參照被蓄積在蓄積部306中的區(qū)域 劃分結(jié)果，判斷在成為對(duì)象的像素中是漫反射成分占優(yōu)勢(shì)(是否為漫反射 區(qū)域)還是鏡面反射成分占優(yōu)勢(shì)(是否為鏡面反射區(qū)域)，或者判斷該像素 是否為陰影區(qū)域。
漫反射假定法線信息生成部308是針對(duì)漫反射區(qū)域的像素以假定的漫 反射生成法線信息的處理部。具體而言，將通過(guò)上述的近似法而得到的正 弦函數(shù)中的亮度為最大的偏振光主軸角，作為與該像素相對(duì)應(yīng)的被攝物的 射出面的法線信息來(lái)生成。
鏡面反射假定法線信息生成部309是針對(duì)鏡面反射區(qū)域以及陰影區(qū)域 的像素以假定的鏡面反射生成法線信息。具體而言，將通過(guò)上述的近似法 而得到的正弦函數(shù)中的亮度為最小的偏振光主軸角，作為與該像素相對(duì)應(yīng) 的被攝物的射出面的法線信息來(lái)生成。
圖29是該法線信息生成部104的處理流程圖。首先，區(qū)域參照部307 根據(jù)區(qū)域劃分部103所檢測(cè)出的光學(xué)上的區(qū)域劃分的結(jié)果，判斷像素是否
30為漫反射成分占優(yōu)勢(shì)(S301)。該處理可以是從蓄積了區(qū)域判斷部305的 結(jié)果的蓄積部306中讀出區(qū)域劃分結(jié)果。在被判斷為是漫反射成分占優(yōu)勢(shì) 的情況下(S301的"是")，漫反射假定法線信息生成部308以假定的漫反 射生成關(guān)于該像素的法線信息(S302)。具體而言，將射出面中的法線的一 個(gè)自由度作為起偏板回轉(zhuǎn)亮度變化成為最大值的角度來(lái)求。即，將通過(guò)上 述的近似法而得到的正弦函數(shù)中的亮度為最大的偏振光主軸角，作為與該 像素相對(duì)應(yīng)的被攝物的射出面的法線信息來(lái)生成。
并且，在被判斷為像素是漫反射成分占優(yōu)勢(shì)的情況下(S301的"否")， 區(qū)域參照部307判斷是否為鏡面反射成分占優(yōu)勢(shì)(是否為鏡面反射區(qū)域) 或者判斷像素是否為陰影區(qū)域(S303)。在其結(jié)果為，在判斷為是鏡面反射 成分占優(yōu)勢(shì)或者在判斷為像素是陰影區(qū)域的情況下(S303的"是")，鏡面反 射假定法線信息生成部309針對(duì)該像素以假定的鏡面反射生成法線信息 (S304)。具體而言，將入射面中的法線的一個(gè)自由度作為起偏板回轉(zhuǎn)亮度 變化成為最小值的角度來(lái)求。g卩，將通過(guò)上述的近似法而得到的正弦函數(shù) 中的亮度為最小的偏振光主軸角，作為與該像素相對(duì)應(yīng)的被攝物的入射面 的法線信息來(lái)生成。
另一方面，在判斷為像素是投影區(qū)域的情況下，也就是說(shuō)既不是漫反 射成分占優(yōu)勢(shì)也不是鏡面反射成分占優(yōu)勢(shì)，更不是陰影區(qū)域的情況下(S303 的"否")，則判斷為像素偏振光信息是誤差占優(yōu)勢(shì)，不能生成正確的法線信 息，則該法線信息生成部104不進(jìn)行法線信息生成處理(S305)。
如以上所述，通過(guò)將作為后處理部的法線信息生成部附加到本發(fā)明所 涉及的圖像處理裝置，從而實(shí)現(xiàn)了按照包含影子區(qū)域的光學(xué)上的區(qū)域來(lái)自 動(dòng)生成法線信息的法線信息生成裝置。
并且，圖14等所示出的影子區(qū)域檢測(cè)部301也可以利用被搭載在攝像 機(jī)200上的發(fā)光裝置207 (閃光設(shè)備等)。
這是因?yàn)椋窈诖昂熯@種反射率非常小的被攝物存在的情況下，僅利 用上述的亮度值來(lái)進(jìn)行判斷是很難區(qū)別影子區(qū)域和黑窗簾的。以下利用附 圖，對(duì)利用了這種閃光設(shè)備的本實(shí)施例的變形例所涉及的光學(xué)上的區(qū)域劃 分裝置進(jìn)行詳細(xì)說(shuō)明。.
圖30是上述的變形例所涉及的光學(xué)上的區(qū)域劃分裝置100a的功能構(gòu)
31成方框圖。在此，示出了光學(xué)上的區(qū)域劃分裝置100a以及利用光學(xué)上的區(qū) 域劃分裝置100a的處理結(jié)果的法線信息生成部104。該光學(xué)上的區(qū)域劃分 裝置100a在圖1所示的光學(xué)上的區(qū)域劃分裝置100的基礎(chǔ)上附加了發(fā)光 部105。并且，對(duì)于圖30中與圖26相同的構(gòu)成要素賦予相同的符號(hào)，在 此省略詳細(xì)說(shuō)明。
發(fā)光部105是與光學(xué)上的區(qū)域劃分裝置100a的攝像工作連動(dòng)的并將光 投到被攝物的閃光設(shè)備。此時(shí)，該發(fā)光部105控制閃光設(shè)備的點(diǎn)亮。偏振 光圖像攝像部101與發(fā)光部105連動(dòng)，拍攝兩張閃光設(shè)備發(fā)光的狀態(tài)和不 發(fā)光的狀態(tài)的圖像。此時(shí)，使被攝物與攝像機(jī)200的位置關(guān)系不發(fā)生變化， 而進(jìn)行攝影。像這種攝影例如可以使用攝像機(jī)200的連拍功能等。
圖31是本變形例所涉及的光學(xué)上的區(qū)域劃分裝置100a所進(jìn)行影子檢 測(cè)處理的流程圖。即示出了與圖15中的影子區(qū)域檢測(cè)處理(S201)不同 的方法的流程圖。首先，影子區(qū)域檢測(cè)部301調(diào)查閃光設(shè)備不發(fā)光的狀態(tài) 下的像素的亮度值(S401)。在像素的亮度值比閾值高的情況下(S401的 "否")，影子區(qū)域檢測(cè)部301判斷像素不是低亮度區(qū)域(在此為影子區(qū)域) (S402)，則結(jié)束處理。
另外，在像素的亮度值在閾值以下的情況下(S401的"是")，由于像素 為影子區(qū)域的可能性比較高，因此，影子區(qū)域檢測(cè)部301制作使閃光設(shè)備 發(fā)光的狀態(tài)下拍攝的使用閃光設(shè)備的攝影圖像和不使閃光設(shè)備發(fā)光的狀態(tài) 下拍攝的通常的攝影圖像的差分圖像(S403)。閃光設(shè)備的發(fā)光位置和攝像 元件的位置十分接近，幾乎相同的情況下，由閃光設(shè)備所產(chǎn)生的影不會(huì)出 現(xiàn)在攝影圖像上。這是因?yàn)橐暰€方向和光源方向一致的緣故。為此，在沒(méi) 有使閃光設(shè)備發(fā)光的狀態(tài)下的影子區(qū)域，通過(guò)使閃光設(shè)備發(fā)光，從而存在 直接光。因此，影子區(qū)域的亮度值顯著地增大。
另外，在像素不是影子區(qū)域而是反射率很小的黑窗簾的情況下，即使 使閃光設(shè)備發(fā)光反射率也很小，因此亮度值幾乎不變化。也就是說(shuō)，在通 過(guò)利用閃光設(shè)備差分圖像的亮度值在閾值以上的情況下(S404的"是")，影 子區(qū)域檢測(cè)部301判斷該像素為影子區(qū)域(S405)，結(jié)束處理。并且，在 通過(guò)利用閃光設(shè)備差分圖像的亮度值比閾值小的情況下，影子區(qū)域檢測(cè)部 301判斷該像素不是影子區(qū)域，而是低反射率區(qū)域(或低反射率像素)
32(S406)，結(jié)束處理。
這樣，即使是存在像黑窗簾這樣反射率很小的被攝物，也能夠正確地 檢測(cè)出影子區(qū)域，并能夠?qū)⒂白訁^(qū)域分類為陰影區(qū)域和投影區(qū)域。在此， 關(guān)于陰影區(qū)域，可以通過(guò)假定鏡面反射來(lái)生成正確的法線信息。并且，關(guān) 于偏振光信息誤差較多且即使是生成了法線信息精確度也非常低的投影區(qū) 域，可以通過(guò)不進(jìn)行法線信息生成處理，在盡可能的廣區(qū)域內(nèi)生成高精確 度的法線信息。
如以上所述，根據(jù)本實(shí)施例所涉及的光學(xué)上的區(qū)域劃分裝置，可以在 一般的環(huán)境中，不需要諸如使光源變動(dòng)的大規(guī)模的系統(tǒng)，就能夠從如拍攝 快照這樣拍攝下來(lái)的圖像中，將影子區(qū)域分類為陰影區(qū)域和投影區(qū)域。
并且，在本實(shí)施例中，雖然在圖案偏振器201采用了光子晶體，不過(guò) 也可以是薄膜型的偏振光元件，或?qū)Ь€柵格型或利用其他的原理的偏振光 元件。并且，也可以不利用圖案偏振器，而使攝像機(jī)200的鏡頭前安裝的 起偏器邊回轉(zhuǎn)邊攝影，從而在時(shí)間序列上取得偏振光主軸不同的亮度。此 方法例如在專利文獻(xiàn)1中公開(kāi)。
專利文獻(xiàn)l :日本特開(kāi)平11 —211433號(hào)公報(bào) (實(shí)施例2 )
以下，對(duì)本發(fā)明的實(shí)施例2所涉及的光學(xué)上的區(qū)域劃分裝置進(jìn)行說(shuō)明。 圖32是本實(shí)施例中的光學(xué)上的區(qū)域劃分裝置100b的構(gòu)成方框圖。該 光學(xué)上的區(qū)域劃分裝置100b是通過(guò)攝像被攝物從而對(duì)被攝物的表面進(jìn)行 光學(xué)上的區(qū)域劃分的裝置，所具有的特征是將低亮度區(qū)域分類為"陰影區(qū)域 或低反射率區(qū)域"和投影區(qū)域，與圖1所示的光學(xué)上的區(qū)域劃分裝置100的 不同之處在于，以區(qū)域劃分部1031取代了區(qū)域劃分部103。在此，示出了 光學(xué)上的區(qū)域劃分裝置100b以及利用光學(xué)上的區(qū)域劃分裝置100b的處理 結(jié)果的法線信息生成部1041。該法線信息生成部1041雖然不是本發(fā)明所 涉及的圖像處理裝置中所必需的構(gòu)成要素，但是作為利用本發(fā)明所涉及的 圖像處理裝置的處理結(jié)果的后處理的一個(gè)例子在此示出。并且，對(duì)于圖32 中與圖26相同的構(gòu)成要素賦予相同的符號(hào)，在此省略詳細(xì)說(shuō)明。
區(qū)域劃分部1031是一處理部，其利用偏振光圖像的亮度信息和在偏振 光信息生成部102生成的偏振光信息的類似性(共通性)，將偏振光圖像劃
33分為由在光學(xué)上共通的圖像區(qū)域的集合構(gòu)成的多個(gè)區(qū)域。此時(shí)，區(qū)域劃分
部1031對(duì)圖像區(qū)域的亮度和預(yù)先規(guī)定的閾值進(jìn)行比較，在亮度比閾值小的 情況下，對(duì)該圖像區(qū)域進(jìn)行區(qū)域劃分，劃分為包含影子區(qū)域(在本實(shí)施例 中為包含"陰影區(qū)域或低反射率區(qū)域"和投影區(qū)域的區(qū)域)的低亮度區(qū)域。在 本實(shí)施例中區(qū)域劃分部1031將低亮度區(qū)域分類為"陰影區(qū)域或低反射率區(qū) 域"和投影區(qū)域，據(jù)此，將圖像劃分為漫反射區(qū)域、鏡面反射區(qū)域、"陰影區(qū) 域或低反射率區(qū)域"以及投影區(qū)域。
法線信息生成部1041是按照在區(qū)域劃分部1031劃分的區(qū)域，從偏振 光信息中生成法線信息的處理部。該法線信息生成部1041與在實(shí)施例1說(shuō) 明的法線信息生成部104不同之處在于，將陰影區(qū)域作為"陰影區(qū)域或低反 射率區(qū)域"來(lái)生成法線信息。
圖33是本實(shí)施例中的光學(xué)上的區(qū)域劃分裝置100b以及法線信息生成 部1041進(jìn)行處理的流程圖。并且，對(duì)于圖33中與實(shí)施例1中的圖4的共 同的步驟賦予相同的符號(hào)，在此省略詳細(xì)說(shuō)明。
區(qū)域劃分部1031利用在偏振光信息生成部102生成的偏振光信息或在 偏振光圖像攝像部101取得的亮度信息，將圖像劃分為漫反射區(qū)域、鏡面 反射區(qū)域以及低亮度區(qū)域(在本實(shí)施例中為"陰影區(qū)域或低反射率區(qū)域"以及 投影區(qū)域)(S1031)。
法線信息生成部1041如后述那樣，根據(jù)區(qū)域劃分部1031進(jìn)行的區(qū)域 劃分結(jié)果，從偏振光信息中生成法線信息(S104)。此時(shí)，關(guān)于投影區(qū)域， 由于偏振光信息中誤差較多，因此不進(jìn)行法線信息生成處理。
首先，對(duì)反射率小的被攝物的偏振光特性的不同之處進(jìn)行說(shuō)明。在表 面光滑且反射率小的被攝物，由于內(nèi)部反射幾乎為O，因此，漫反射成分變 得非常小。另外，在正反射條件中，對(duì)光進(jìn)行反射，鏡面反射變大。艮P, 在低反射率區(qū)域可以考慮到漫反射成分小，而鏡面反射成分相對(duì)占優(yōu)勢(shì)。 這是因?yàn)椋瓷渎市〉奈矬w具有與以下所示的陰影區(qū)域同樣的偏振光特性。
(l)"陰影區(qū)域或低反射率區(qū)域"
偏振度高，偏振光推定誤差小。
-大多情況表示的是鏡面反射特性。 (2 )投影區(qū)域
34-偏振度低，偏振光推定誤差大。 -大多情況表示的是漫反射特性。
通過(guò)利用該分類基準(zhǔn)，可以將低亮度區(qū)域分類為"陰影區(qū)域或低反射率 區(qū)域"和投影區(qū)域。以下，利用附圖對(duì)該處理進(jìn)行詳細(xì)說(shuō)明。
圖34是圖32所示的光學(xué)上的區(qū)域劃分裝置100b的區(qū)域劃分部1031 的詳細(xì)功能構(gòu)成方框圖。該區(qū)域劃分部1031包括DB302、偏振度比較部 303、偏振光推定誤差比較部304、區(qū)域判斷部305、蓄積部306以及低亮 度像素檢測(cè)部311。并且，對(duì)于圖34中與實(shí)施例1中的圖14的共同的步 驟賦予相同的符號(hào)，在此省略詳細(xì)說(shuō)明。
低亮度像素檢測(cè)部311是推定偏振光圖像攝像部101所取得的圖像中 的某像素是否為低亮度區(qū)域(包含"陰影區(qū)域或低反射率區(qū)域"以及投影區(qū)域 的區(qū)域)的處理部。
圖35是該區(qū)域劃分部1031進(jìn)行處理的流程圖。首先，低亮度像素檢 測(cè)部311評(píng)價(jià)偏振光圖像攝像部101所取得的圖像中的某些像素的亮度值 (S501)。這與以前所述的步驟S201同樣，評(píng)價(jià)亮度值是否在閾值以下。 像這種用于推定低亮度區(qū)域的閾值可以通過(guò)實(shí)驗(yàn)來(lái)決定，例如對(duì)于16位的 單色圖像的亮度值可以設(shè)定為256。這樣的閾值可以保持在DB302。在亮 度值比閾值大的情況下(S501的"否")，區(qū)域劃分部1031與以前所述的步 驟S202采用同樣的方法(偏振度比較部303所進(jìn)行的比較)，判斷該像素 中是漫反射成分占優(yōu)勢(shì)還是鏡面反射成分占優(yōu)勢(shì)(S502)。在漫反射和鏡面 反射的分類處理(S502)結(jié)束后，區(qū)域判斷部305檢査所有的像素的光學(xué) 上的分類是否結(jié)束(S203)。在存在還沒(méi)有進(jìn)行分類的像素的情況下(S503 的"否")，低亮度像素檢測(cè)部311評(píng)價(jià)其他的像素的亮度值。(S501)。并且， 在所有的像素在光學(xué)上的分類結(jié)束的情況下(S503的"是")，區(qū)域劃分部 1031結(jié)束處理。
另外，在像素的亮度值在閾值以下的情況下(S501的"是")，判斷該像 素是"陰影區(qū)域或低反射率區(qū)域"還是投影區(qū)域(S504)。這與以前所述同樣， 是通過(guò)偏振光推定誤差比較部304對(duì)公式8所定義的偏振光推定誤差E的 大小進(jìn)行評(píng)價(jià)(對(duì)偏振光推定誤差E和閾值Th—Err進(jìn)行比較)而實(shí)現(xiàn)的。 在比較結(jié)果為，偏振光推定誤差E的大小比閾值Th一Err大的情況下(S504
35的"是")，區(qū)域判斷部305將該像素判斷為是投影區(qū)域(S505),另外，在 偏振光推定誤差E的大小比閾值Th—Err小的情況下(S504的"否")，區(qū) 域判斷部305則將該像素判斷為是"陰影區(qū)域或低反射率區(qū)域"(S506)。此 時(shí)的閾值Th一Err可以通過(guò)以前的方法來(lái)決定。進(jìn)行了區(qū)域劃分的結(jié)果被蓄 積到蓄積部306。
法線信息生成部1041根據(jù)區(qū)域劃分部1031進(jìn)行的區(qū)域劃分結(jié)果，從 偏振光信息中生成法線信息。該法線信息生成部1041的構(gòu)成要素與實(shí)施例 1中說(shuō)明的法線信息生成部104相同，即如圖26所示那樣，包括蓄積部 306、區(qū)域參照部307、漫反射假定法線信息生成部308以及鏡面反射假定 法線信息生成部309。不過(guò)，該法線信息生成部1041與在實(shí)施例1說(shuō)明的 法線信息生成部104不同之處在于，將陰影區(qū)域作為"陰影區(qū)域或低反射率 區(qū)域"來(lái)生成法線信息。
圖36是該法線信息生成部1041的處理流程圖。并且對(duì)于圖36中與 圖29相同的步驟賦予相同的符號(hào)，在此省略詳細(xì)說(shuō)明。
首先，法線信息生成部1041的區(qū)域參照部307根據(jù)區(qū)域劃分部1031 所檢測(cè)出的光學(xué)上的區(qū)域劃分的結(jié)果，判斷像素是否為漫反射成分占優(yōu)勢(shì) (S301)。該處理可以是從蓄積了區(qū)域判斷部305的結(jié)果的蓄積部306中 讀出區(qū)域劃分結(jié)果。在被判斷為是漫反射成分占優(yōu)勢(shì)的情況下(S301的 "是")，漫反射假定法線信息生成部308以假定的漫反射生成關(guān)于該像素的 法線信息(S302)。具體而言，將射出面中的法線的一個(gè)自由度作為起偏板 回轉(zhuǎn)亮度變化成為最大值的角度來(lái)求。并且，在像素不是漫反射成分占優(yōu) 勢(shì)的情況下(S301的"否")，若在鏡面反射成分占優(yōu)勢(shì)或?yàn)?陰影區(qū)域或低 反射率區(qū)域"的情況下(S306的"是")，鏡面反射假定法線信息生成部309 以假定的鏡面反射來(lái)生成該像素的法線信息(S304)。具體而言，將入射面 中的法線的一個(gè)自由度作為起偏板回轉(zhuǎn)亮度變化成為最小值的角度來(lái)求。 另外，在像素是投影區(qū)域的情況下(S303的"否")，則判斷為像素的偏振光 信息為誤差占優(yōu)勢(shì)，不能生成正確的法線信息，法線信息生成部1041不進(jìn) 行法線信息生成處理(S305)。
如以上所述，根據(jù)本實(shí)施例所涉及的光學(xué)上的區(qū)域劃分裝置，可以在 一般的環(huán)境中，不需要諸如使光源變動(dòng)的大規(guī)模的系統(tǒng)，就能夠從如拍攝
36快照這樣拍攝下來(lái)的圖像中，將低亮度區(qū)域分類為"陰影區(qū)域或低反射率區(qū) 域"和投影區(qū)域。并且，關(guān)于"陰影區(qū)域或低反射率區(qū)域"，可以通過(guò)假定鏡 面反射，由法線信息生成部來(lái)生成正確的法線信息。并且，關(guān)于偏振光信 息誤差較多且即使是生成了法線信息精確度也非常低的投影區(qū)域，可以通 過(guò)不進(jìn)行法線信息生成處理，在盡可能的廣區(qū)域內(nèi)生成高精確度的法線信 息。
并且，在步驟S504為了判斷該像素是"陰影區(qū)域或低反射率區(qū)域"還是 投影區(qū)域，可以不利用偏振光推定誤差，而是與實(shí)施例1同樣，利用偏振 度、偏振光推定誤差和偏振度這雙方、以及偏振光相位。 (實(shí)施例3)
以下對(duì)本發(fā)明的實(shí)施例3中的光學(xué)上的區(qū)域劃分裝置進(jìn)行說(shuō)明。
圖37是本實(shí)施例中的光學(xué)上的區(qū)域劃分裝置lOOc的構(gòu)成方框圖。該 光學(xué)上的區(qū)域劃分裝置100c是通過(guò)攝像被攝物從而對(duì)被攝物的表面進(jìn)行光 學(xué)上的區(qū)域劃分的裝置，所具有的特征是只有在能夠正確地生成法線信息 的情況下才生成法線信息，除具有與圖1所示的光學(xué)上的區(qū)域劃分裝置100 的構(gòu)成以外，還包括攝像條件判斷部106。在此，示出了光學(xué)上的區(qū)域劃 分裝置100c以及利用光學(xué)上的區(qū)域劃分裝置100c的處理結(jié)果的法線信息 生成部104。該法線信息生成部104雖然不是本發(fā)明所涉及的圖像處理裝 置中所必需的構(gòu)成要素，但是作為利用本發(fā)明所涉及的圖像處理裝置的處 理結(jié)果的后處理的一個(gè)例子在此示出。并且，對(duì)于圖37中與圖26相同的 構(gòu)成要素賦予相同的符號(hào)，在此省略詳細(xì)說(shuō)明。
攝像條件判定部106是一處理部，判斷偏振光圖像攝像部101將要拍 攝的成為攝像對(duì)象的攝像場(chǎng)面，是否滿足作為區(qū)域劃分部103能夠正確進(jìn) 行區(qū)域劃分的攝像條件的預(yù)先規(guī)定的攝像條件。
圖38是該攝像條件判定部106的詳細(xì)的功能構(gòu)成方框圖。該攝像條件 判定部106包括DB302、光軸方向檢測(cè)部312以及光軸方向比較部313。
光軸方向檢測(cè)部312是檢測(cè)光學(xué)上的區(qū)域劃分裝置100c的光軸方向的 角度感應(yīng)器等。
光軸方向比較部313是判斷光學(xué)上的區(qū)域劃分裝置100c是否朝向水平 面(地平面)上方的處理部。
37在此，本發(fā)明的實(shí)施例與實(shí)施例l中的說(shuō)明一樣，攝像場(chǎng)面需要滿足 條件l。
條件i :在被攝物所在的攝像場(chǎng)面中，存在有物體，在該物體的近旁 有寬廣的面，且該寬廣的面在該物體的一側(cè)，在該物體的相反一側(cè)存在有 光源。但是，在被放置有光學(xué)上的區(qū)域劃分裝置100c的情況下，不限于滿
足上述的條件l。于是，在本實(shí)施例中，攝像條件判定部106判定是否滿
足上述的條件i。在此，若光源大多處于上方的情況下，條件i不滿足以
下的條件2 。
條件2 :"攝像者拍攝上方"
此條件2例如出現(xiàn)在以下的攝像場(chǎng)面。
1. 在室外的場(chǎng)面中，拍攝天空或月亮、星辰等。
2. 在室內(nèi)的場(chǎng)面中，拍攝具有正在發(fā)光的螢光燈的天花板方向。
以下探討上述的攝像場(chǎng)面1的情況，例如拍攝新月。新月的影子區(qū)域 可以被視為是陰影區(qū)域。但是，該影子區(qū)域具有由被稱為地球反射的來(lái)自 地球的多次反射的反射光而帶來(lái)的亮度。為此，雖然是陰影區(qū)域，由于多 次反射光的入射方向僅限于地球，因此可以考慮到幾乎不存在作為正反射
成分的鏡面反射成分。為此，光學(xué)上的區(qū)域劃分裝置100c不能正確發(fā)揮功 能。于是，攝像條件判定部106判斷光學(xué)上的區(qū)域劃分裝置100c是否能夠 正確地發(fā)揮功能(能夠正確地進(jìn)行區(qū)域劃分)，在能夠正確發(fā)揮功能的情況 下，進(jìn)行陰影區(qū)域和投影區(qū)域的劃分處理，在不能正確地發(fā)揮功能的情況 下，中止影子區(qū)域的劃分處理，并中止從影子區(qū)域中生成法線信息的處理。
圖39示出了搭載了本實(shí)施例中的光學(xué)上的區(qū)域劃分裝置100c的攝像 機(jī)200a的硬件構(gòu)成的例子。此攝像機(jī)200a是具有對(duì)攝像圖像進(jìn)行光學(xué)上 區(qū)域劃分功能的攝像裝置，其包括圖案偏振器201、攝像元件202、存儲(chǔ) 器203、 CPU204、角度感應(yīng)器205、表示部208以及揚(yáng)聲器209。并且， 對(duì)于圖39中與圖2相同的構(gòu)成要素賦予相同的符號(hào)，在此省略詳細(xì)說(shuō)明。
角度感應(yīng)器205檢測(cè)攝像機(jī)200a的光軸方向，并輸出該信息。
表示部208在攝像場(chǎng)面由攝像條件判定部106判斷為不滿足上述的條 件1的情況下，將此消息顯示在顯示器上。
揚(yáng)聲器209在攝像場(chǎng)面由攝像條件判定部106判斷為不滿足上述的條
38件1的情況下，將此消息以聲音輸出。
并且，圖38所示的光軸方向檢測(cè)部312是通過(guò)圖39所示的角度感應(yīng) 器205而被實(shí)現(xiàn)的。圖38所示的光軸方向比較部313是通過(guò)圖39所示的 CPU204執(zhí)行被存儲(chǔ)在存儲(chǔ)器203中的程序而被實(shí)現(xiàn)的。
圖40是本實(shí)施例中的光學(xué)上的區(qū)域劃分裝置100c以及法線信息生成 部1041進(jìn)行處理的流程圖。并且對(duì)于圖40中與圖4相同的步驟賦予相同 的符號(hào)，在此省略詳細(xì)說(shuō)明。
在本實(shí)施例中，光軸方向檢測(cè)部312 (角度感應(yīng)器205)取得表示光學(xué) 上的區(qū)域劃分裝置100c(攝像機(jī)200a)的光軸方向的光軸方向信息(S106)。 利用這樣求出的光軸方向信息，判斷攝像場(chǎng)面是否為能夠生成法線信息的 環(huán)境(S107)。這將由光軸方向比較部313判斷光學(xué)上的區(qū)域劃分裝置100c (攝像機(jī)200a)的光軸方向是否朝向上方來(lái)進(jìn)行。光軸方向比較部313例 如在光軸朝向水平方向以上45度的情況下，判斷光軸方向?yàn)槌蛏戏健４?閾值45度可以通過(guò)實(shí)驗(yàn)來(lái)決定，并且這樣的閾值可以保持在DB302。在 此，在光軸方向被判斷為朝向上方的情況下，攝像條件判定部106判斷攝 像場(chǎng)面是否滿足條件l (S107的"否")，區(qū)域劃分部103利用在偏振光信 息生成部102生成的偏振光信息或在偏振光圖像攝像部101取得的亮度信 息，將圖像分類為漫反射區(qū)域、鏡面反射區(qū)域、影子區(qū)域(S108)。在此例 子中，由于不滿足條件l，因此不將影子區(qū)域分類為陰影區(qū)域和投影區(qū)域。 接著，法線信息生成部104根據(jù)區(qū)域劃分部103進(jìn)行的區(qū)域劃分結(jié)果，從 偏振光信息中生成法線信息。圖41是該處理(S109)的詳細(xì)流程圖。并 且對(duì)于圖41中與圖29相同的步驟賦予相同的符號(hào)，在此省略詳細(xì)說(shuō)明。
首先，法線信息生成部104根據(jù)區(qū)域劃分部103所檢測(cè)出的光學(xué)上的 區(qū)域劃分的結(jié)果，判斷像素是否為漫反射成分占優(yōu)勢(shì)(S301)。在被判斷為 是漫反射成分占優(yōu)勢(shì)的情況下(S301的"是")，法線信息生成部104以假 定的漫反射來(lái)生成該像素的法線信息(S302)。具體而言，將射出面中的法 線的一個(gè)自由度作為起偏板回轉(zhuǎn)亮度變化成為最大值的角度來(lái)求。并且， 在像素不是漫反射成分占優(yōu)勢(shì)的情況下(S301的"否")，若在鏡面反射成分 占優(yōu)勢(shì)的情況下(S307的"是")，法線信息生成部104以假定的鏡面反射 來(lái)生成該像素的法線信息(S304)。具體而言，將入射面中的法線的一個(gè)自
39由度作為起偏板回轉(zhuǎn)亮度變化成為最小值的角度來(lái)求。另一方面，在判斷 為像素是影子區(qū)域的情況下，也就是說(shuō)既不是漫反射成分占優(yōu)勢(shì)也不是鏡
面反射成分占優(yōu)勢(shì)的情況下(S307的"否")；則判斷為像素偏振光信息是誤 差占優(yōu)勢(shì)，不能生成正確的法線信息，則該法線信息生成部104不進(jìn)行法 線信息生成處理(S305)。
另外，在光軸方向被判斷為不朝向上方的情況下(S107的"是")，攝像 條件判定部106判斷攝像場(chǎng)面滿足條件1 ，區(qū)域劃分部103不進(jìn)行光學(xué)上 的區(qū)域劃分處理(S103)，接著，法線信息生成部104生成法線信息(S104)。
并且，在攝像場(chǎng)面由攝像條件判定部106判定為滿足條件1的情況下， 表示部208將"不能進(jìn)行區(qū)域劃分"等在顯示器上顯示，揚(yáng)聲器209發(fā)出聲 音信號(hào)，將同樣的消息傳達(dá)給攝像者。
不過(guò)，在攝像場(chǎng)面由攝像條件判定部106判定為不滿足條件l的情況 下，不是不進(jìn)行光學(xué)上的區(qū)域劃分處理或法線信息生成處理，而是可以進(jìn) 行以下的處理，即關(guān)于陰影區(qū)域，以假定的漫反射來(lái)生成法線信息，表 示部208將"區(qū)域劃分處理不穩(wěn)定"等顯示在顯示器，揚(yáng)聲器209以聲音信 號(hào)將同樣的消息傳達(dá)給攝像者。
并且，在攝像場(chǎng)面由攝像條件判定部106判斷為不滿足條件1的情況 下，法線信息生成部104可以利用近旁的法線信息，通過(guò)內(nèi)插處理等對(duì)影 子區(qū)域合成法線信息。關(guān)于內(nèi)插處理可以利用以往的方法。
并且，攝像條件判定部106不僅限于利用光軸方向檢測(cè)部312，例如 也可以利用具有能夠識(shí)別安裝了光學(xué)上的區(qū)域劃分裝置100c的環(huán)境的功能 的處理部。例如，可以通過(guò)利用聲納等來(lái)實(shí)現(xiàn)。以下，對(duì)具有這種環(huán)境識(shí) 別功能的本實(shí)施例的變形例所涉及的光學(xué)上的區(qū)域劃分裝置進(jìn)行說(shuō)明。
圖2示出了搭載了這種變形例所涉及的光學(xué)上的區(qū)域劃分裝置的攝像 機(jī)200b的硬件構(gòu)成的例子。該攝像機(jī)200b與圖39所示的本實(shí)施例所涉 及的攝像機(jī)200a的構(gòu)成的不同之處在于，不具備角度感應(yīng)器205而具備聲 納210。并且，對(duì)于在圖42中與圖39相同的構(gòu)成要素賦予相同的符號(hào)， 在此省略詳細(xì)說(shuō)明。
圖43是具備本變形例所涉及的光學(xué)上的區(qū)域劃分裝置的攝像條件判定 部106a的詳細(xì)的功能構(gòu)成方框圖。并且，此變形例所涉及的光學(xué)上的區(qū)域
40劃分裝置與圖37所示的本實(shí)施例中的光學(xué)上區(qū)域劃分裝置100c的構(gòu)成的 區(qū)別在于，不具備攝像條件判定部106而具備攝像條件判定部106a。該攝 像條件判定部106a具有聲納，該聲納通過(guò)發(fā)出聲波并接收聲波的反射波來(lái) 測(cè)定到周圍的對(duì)象物的距離，且該攝像條件判定部106a的特點(diǎn)是，利用聲 納來(lái)判斷該光學(xué)上的區(qū)域劃分裝置的近旁是否有物體，在判斷為沒(méi)有物體 的情況下，判定攝像場(chǎng)面不滿足攝像條件，并且，該攝像條件判定部106a 在功能上具有DB302、攝像環(huán)境檢測(cè)部315以及攝像環(huán)境識(shí)別部316。 并且，對(duì)于在圖43中與圖38相同的構(gòu)成要素賦予相同的符號(hào)，在此省略 詳細(xì)說(shuō)明。
攝像環(huán)境檢測(cè)部315是一處理部，測(cè)定到周圍的對(duì)象物的距離，并將 該距離信息作為攝像環(huán)境信息來(lái)生成，相當(dāng)于圖42所示的聲納210。
攝像環(huán)境識(shí)別部316是利用來(lái)自攝像環(huán)境檢測(cè)部315的攝像環(huán)境信息，
來(lái)判斷攝像場(chǎng)面是否為能夠?qū)崿F(xiàn)光學(xué)上的區(qū)域劃分的環(huán)境。
圖44是本變形例所涉及的光學(xué)上的區(qū)域劃分裝置以及法線信息生成部 104進(jìn)行處理的流程圖。并且對(duì)于圖44中與圖40相同的步驟賦予相同的 符號(hào)，在此省略詳細(xì)說(shuō)明。
在本變形例所涉及的光學(xué)上的區(qū)域劃分裝置中，攝像環(huán)境檢測(cè)部315 以聲納210來(lái)取得攝像環(huán)境信息(Slll)。該聲納210是主動(dòng)聲納，發(fā)生 超音波或音波，并通過(guò)接受其反射波來(lái)測(cè)定到周圍的對(duì)象物的距離的裝置。 因此，通過(guò)利用聲納210，將攝像機(jī)200b的周圍是否有物體以及在有物體 的情況下到該物體的距離信息作為攝像環(huán)境信息來(lái)取得。并且，聲納210 被廣泛利用于魚群探測(cè)器等，由于這是周知技術(shù)，因此省略詳細(xì)說(shuō)明。
這樣，利用求出的攝像環(huán)境信息，判斷攝像場(chǎng)面是否為能夠?qū)崿F(xiàn)光學(xué) 上的區(qū)域劃分的環(huán)境(S107)。這可以通過(guò)攝像環(huán)境識(shí)別部316對(duì)攝像機(jī) 200b的近旁是否有物體的判斷來(lái)實(shí)現(xiàn)。具體而言，攝像環(huán)境檢測(cè)部315取 得到攝像機(jī)200b的周圍(全方位)的物體的距離信息，只要評(píng)價(jià)距離比一 定的值TH_S短且立體角大即可。在這樣的立體角的大小比閾值TH—SR 小的情況下，攝像條件判定部106判斷攝像場(chǎng)面不滿足條件l (S107的 "否")，區(qū)域劃分部103利用偏振光信息生成部102生成的偏振光信息和偏 振光圖像攝像部101所取得的亮度信息，將圖像分類為漫反射區(qū)域、鏡面
41反射區(qū)域、影子區(qū)域(S108)。由于沒(méi)有滿足條件l，因此不將影子區(qū)域分 類為陰影區(qū)域和投影區(qū)域。進(jìn)而，法線信息生成部104根據(jù)區(qū)域劃分部103 所進(jìn)行的區(qū)域劃分結(jié)果，從偏振光信息中生成法線信息(S109)。另外，在 這樣的立體角的大小比閾值TH一SR大的情況下，攝像條件判定部106判 定攝像場(chǎng)面滿足條件l (S108的"是")，由區(qū)域劃分部103進(jìn)行光學(xué)上的 區(qū)域劃分處理，之后由法線信息生成部104生成法線信息。
并且，這樣的閾值TH—S、 TH—SR可以通過(guò)實(shí)驗(yàn)求出，并且可以保持 在DB302。
如以上所述，根據(jù)本實(shí)施例所涉及的光學(xué)上的區(qū)域劃分裝置，可以在 一般的環(huán)境中，不需要諸如使光源變動(dòng)的大規(guī)模的系統(tǒng)，就能夠從如拍攝 快照這樣拍攝下來(lái)的圖像中，將低亮度像素分類為陰影區(qū)域和投影區(qū)域。 并且，在分類困難的情況下，不是求出精確度低的結(jié)果，而是將不能進(jìn)行 處理之消息傳達(dá)給攝像者，據(jù)此可以進(jìn)行可靠性高的區(qū)域劃分處理。 (實(shí)施例4)
以下，對(duì)本發(fā)明的實(shí)施例4中的光學(xué)上的區(qū)域劃分裝置進(jìn)行說(shuō)明。 圖45是本實(shí)施例中的光學(xué)上的區(qū)域劃分裝置100d的構(gòu)成方框圖。該 光學(xué)上的區(qū)域劃分裝置100d是通過(guò)攝像被攝物從而對(duì)被攝物的表面進(jìn)行 光學(xué)上的區(qū)域劃分的裝置，所具有的特征是不生成可靠性低的區(qū)域劃分結(jié) 果以及法線信息，除具備圖1所示的光學(xué)上的區(qū)域劃分裝置100以外，還 具備可靠性判定部107。在此，示出了光學(xué)上的區(qū)域劃分裝置100d以及利 用光學(xué)上的區(qū)域劃分裝置100d的處理結(jié)果的法線信息生成部104。該法線 信息生成部104雖然不是本發(fā)明所涉及的圖像處理裝置中所必需的構(gòu)成要 素，但是作為利用本發(fā)明所涉及的圖像處理裝置的處理結(jié)果的后處理的一 個(gè)例子在此示出。并且，對(duì)于圖45中與圖26相同的構(gòu)成要素賦予相同的 符號(hào)，在此省略詳細(xì)說(shuō)明。并且，搭載了本實(shí)施例中的光學(xué)上的區(qū)域劃分 裝置100d的攝像機(jī)具有與圖2所示的實(shí)施例1中的攝像機(jī)200相同的硬 件。
可靠性判定部107利用由區(qū)域劃分部103進(jìn)行的光學(xué)上的區(qū)域劃分結(jié) 果，評(píng)價(jià)光學(xué)上的區(qū)域劃分結(jié)果的可靠性，在沒(méi)有可靠性的情況下，廢棄 光學(xué)上的區(qū)域劃分結(jié)果以及法線信息。其結(jié)果是，沒(méi)有可靠性的區(qū)域的區(qū)
42域劃分結(jié)果以及法線信息被廢棄。
圖46是本實(shí)施例中的光學(xué)上的區(qū)域劃分裝置lOOd以及法線信息生成 部104進(jìn)行處理的流程圖。并且對(duì)于圖46中與圖4以及圖40相同的步驟 賦予相同的符號(hào)，在此省略詳細(xì)說(shuō)明。可靠性判定部107利用區(qū)域劃分部 103的光學(xué)上的區(qū)域劃分結(jié)果，評(píng)價(jià)是否滿足上述的條件1 ，即評(píng)價(jià)光學(xué) 上的區(qū)域劃分結(jié)果的可靠性(S107)。在沒(méi)有可靠性的情況下(S107的 "否")，可靠性判定部107廢棄光學(xué)上的區(qū)域劃分結(jié)果以及由法線信息生成 部104生成的法線信息(SllO)。
在此，為了判斷是否滿足條件l，可以判斷是否存在陰影區(qū)域，該陰 影區(qū)域是由于受到影子區(qū)域內(nèi)的正反射多次反射光的影響而成為鏡面反射 成分占優(yōu)勢(shì)的區(qū)域。為此，說(shuō)明利用被攝像的偏振光圖像的偏振度和亮度 值評(píng)價(jià)可靠性的方法。在影子區(qū)域，示出鏡面反射偏振光特性的圖像不存 在的情況下，即被攝像的圖像上不存在陰影區(qū)域的情況下，可以判斷為不 滿足條件1。
圖47是可靠性判定部107的詳細(xì)功能構(gòu)成方框圖?？煽啃耘卸ú?07 包括DB302、蓄積部306以及陰影區(qū)域存在判斷部314。 蓄積部306蓄積由區(qū)域劃分部103進(jìn)行的區(qū)域劃分結(jié)果。 陰影區(qū)域存在判斷部314是一處理部，其參照被蓄積在蓄積部306中 的區(qū)域劃分結(jié)果，判斷是否能夠劃分成具有充分大小(預(yù)先規(guī)定的閾值以 上)的陰影區(qū)域。
圖46所示的可靠性判定部107的處理(S107、 S110)詳細(xì)流程如以 下所示。
陰影區(qū)域存在判斷部314參照被蓄積在蓄積部306中的區(qū)域劃分結(jié)果， 判斷是否可以劃分成具有充分大小的陰影區(qū)域(S107)。其結(jié)果為，攝像圖 像中不存在具有充分大小的陰影區(qū)域的情況下(S107的"否")，可靠性判定 部107判斷攝像場(chǎng)面不滿足條件1 ，廢棄與影子區(qū)域有關(guān)的光學(xué)上的區(qū)域 劃分結(jié)果以及法線信息(S110)，所述具有充分大小的陰影區(qū)域例如是VGA 圖像中的100像素以上的區(qū)域。此時(shí)，表示部208將"不能實(shí)現(xiàn)區(qū)域劃分" 等顯示在顯示器上，揚(yáng)聲器209通過(guò)發(fā)出聲音信號(hào)將此消息傳達(dá)給攝像者。 另夕卜，在攝像圖像中存在陰影區(qū)域的情況下(S107的"是")，可靠性判定部
43107判斷攝像場(chǎng)面滿足條件l，并輸出生成的法線信息。在此，陰影區(qū)域 的大小的閾值可以通過(guò)實(shí)驗(yàn)來(lái)決定，并且這樣的閾值可以保持在DB302。
如以上所述，根據(jù)本發(fā)明的光學(xué)上的區(qū)域劃分裝置，可以在一般的環(huán) 境中，不需要諸如使光源變動(dòng)的大規(guī)模的系統(tǒng)，就能夠從如拍攝快照這樣 拍攝下來(lái)的圖像中，將低亮度像素分類為陰影區(qū)域和投影區(qū)域。并且，在 分類困難的情況下，不是求出精確度低的結(jié)果，而是將不能進(jìn)行處理之消 息傳達(dá)給攝像者，據(jù)此可以進(jìn)行可靠性高的區(qū)域劃分處理。
以上，雖然對(duì)本發(fā)明所涉及的圖像處理裝置，采用實(shí)施例l到實(shí)施例 4以及變形例進(jìn)行了說(shuō)明，但是本發(fā)明并非受這些實(shí)施例以及變形例所限。
將各個(gè)實(shí)施例以及變形例中的任意的構(gòu)成要素組合而實(shí)現(xiàn)的其他的實(shí) 施方式，以及本領(lǐng)域技術(shù)人員所能夠想到的對(duì)于本發(fā)明中的各個(gè)實(shí)施例以 及變形例的變形均屬于本發(fā)明的范疇。
并且，在由可靠性判定部107判斷為攝像場(chǎng)面不滿足條件1的情況下， 不是不進(jìn)行法線信息生成處理，而進(jìn)行的處理是，表示部208將"區(qū)域劃分 處理不穩(wěn)定"等顯示在顯示器上，揚(yáng)聲器209通過(guò)發(fā)出聲音信號(hào)將這一消息 傳達(dá)給攝像者。
并且，在由可靠性判定部107判斷為攝像場(chǎng)面不滿足條件1的情況下， 不是僅廢棄影子區(qū)域，而是廢棄所有的光學(xué)上的區(qū)域劃分結(jié)果以及法線信 息。
并且，在上述實(shí)施例以及變形例的一部分中，雖然示出了光學(xué)上的區(qū) 域劃分裝置以及法線信息生成部，本發(fā)明所涉及的圖像處理裝置可以具有 法線信息生成部也可以不具有法線信息生成部。法線信息生成部只不過(guò)是 利用由區(qū)域劃分部進(jìn)行的區(qū)域劃分的處理結(jié)果的處理部的一個(gè)例子。作為 利用區(qū)域劃分結(jié)果的其他的例子，可以考慮到的是，生成對(duì)被攝物的形狀 進(jìn)行模式化的各種形狀信息，或者通過(guò)校正影子區(qū)域來(lái)生成具有立體感的 美麗圖像的處理等。
并且，在實(shí)施例4中，是利用區(qū)域劃分部103所進(jìn)行的光學(xué)上的區(qū)域 劃分結(jié)果來(lái)評(píng)價(jià)光學(xué)上的區(qū)域劃分結(jié)果的可靠性的，不過(guò)并非受可靠性的 評(píng)價(jià)方法所限定，例如也可以是利用被攝物的形狀信息來(lái)評(píng)價(jià)光學(xué)上的區(qū) 域劃分結(jié)果的可靠性。
44圖48是利用被攝物的形狀信息來(lái)評(píng)價(jià)光學(xué)上的區(qū)域劃分結(jié)果的可靠性 的本發(fā)明變形例所涉及的光學(xué)上的區(qū)域劃分裝置lOOe的功能構(gòu)成方框圖。 該光學(xué)上的區(qū)域劃分裝置100e是通過(guò)拍攝被攝物而將被攝物的表面進(jìn)行 光學(xué)上的區(qū)域劃分的裝置，所具有的特征是不輸出可靠性低的區(qū)域劃分結(jié) 果，其除具有與圖1所示的光學(xué)上的區(qū)域劃分裝置100相同的構(gòu)成外，還 具有可靠性判定部107a。
可靠性判定部107a是一處理部，生成被攝物的形狀信息，并利用生 成的形狀信息來(lái)評(píng)價(jià)由區(qū)域劃分部103進(jìn)行的光學(xué)上的區(qū)域劃分結(jié)果的可 靠性，在沒(méi)有可靠性的情況下，廢棄光學(xué)上的區(qū)域劃分結(jié)果，并且如圖49 所示，該可靠性判定部107 a包括DB302、法線信息生成部317以及相 位信息比較部318。
DB302是存儲(chǔ)相位信息比較部318在進(jìn)行比較時(shí)所使用的閾值的存儲(chǔ)部。
法線信息生成部317是一處理部，通過(guò)利用在形狀信息生成部211生 成的形狀信息，將偏振光圖像的各個(gè)像素所對(duì)應(yīng)的法向矢量(nx、 ny、 nz) 作為法線信息來(lái)生成，并從生成的法向矢量中算出投射到圖案偏振器表面 的法向矢量的一個(gè)自由度的信息cpN。
相位信息比較部318是一處理部，針對(duì)存在于影子區(qū)域中的所有像素， 對(duì)在偏振光信息生成部102生成的偏振光相位(p和在法線信息生成部317 算出的法向矢量的一個(gè)自由度信息cpN進(jìn)行比較，并通過(guò)判斷比較的差是否 比DB302中所存儲(chǔ)的閾值小來(lái)判斷這些值是否十分接近。
圖50示出了搭載了這種光學(xué)上的區(qū)域劃分裝置100e的攝像機(jī)200c 的硬件構(gòu)成的例子。此攝像機(jī)200c是具有對(duì)攝像圖像進(jìn)行光學(xué)上區(qū)域劃分 功能的攝像裝置，其包括圖案偏振器201、攝像元件202、存儲(chǔ)器203、 CPU204、角度感應(yīng)器205、表示部208、揚(yáng)聲器209以及形狀信息生成部 211。此構(gòu)成相當(dāng)于在圖39所示的攝像機(jī)200a上附加了形狀信息生成部 211。
形狀信息生成部211生成被攝物的形狀信息，例如是范圍取景器或立 體攝影機(jī)等。并且，圖49中所示的法線信息生成部317是由圖50所示的 形狀信息生成部211、 CPU204以及存儲(chǔ)器203等來(lái)實(shí)現(xiàn)的，相位信息比
45較部318是由圖50所示的CPU204以及存儲(chǔ)器203等來(lái)實(shí)現(xiàn)的。
圖51是這種光學(xué)上的區(qū)域劃分裝置100e所進(jìn)行的光學(xué)上的區(qū)域劃分 處理的流程圖。并且，該流程圖相當(dāng)于在圖27所示的流程圖中附加了步驟 S120到S123。并且，在此示出了將圖27中的步驟S103分成S103a以及 S103b。以下說(shuō)明步驟S120到S123。
可靠性判定部107a的法線信息生成部317通過(guò)利用在形狀信息生成部 211生成的形狀信息，從而將偏振光圖像的各個(gè)像素所對(duì)應(yīng)的法向矢量(nx、 ny、 nz)作為法線信息來(lái)生成(S120)。在此，被生成的法向矢量被表現(xiàn) 為，以光軸方向的焦點(diǎn)位置作為原點(diǎn)，以攝像元件202的光軸方向作為Zc 方向的攝像機(jī)坐標(biāo)系(Xc—Yc-Zc)。并且，圖案偏振器201的主軸角ijr 和偏振光相位cp與iy=(P= 0 。中的攝像機(jī)坐標(biāo)系的Xc軸一致，并且與w =cp=9 0。中的攝像機(jī)坐標(biāo)系的Yc軸一致。圖52是該坐標(biāo)系的模式圖。 法線信息生成部317進(jìn)一步通過(guò)根據(jù)像以上這樣生成的法向矢量并按照以 下的公式l 0進(jìn)行計(jì)算，從而推定被投射到圖案偏振器表面的法向矢量的 一個(gè)自由度信息cpN (S121)。
、^乂 (公式l0)
但是，像這樣求出的法向矢量的一個(gè)自由度信息cpN在漫反射成分占優(yōu) 勢(shì)的情況下等于偏振光相位cp。 S卩，在影子區(qū)域中存在的所有的像素中，在 偏振光相位cp和根據(jù)形狀信息生成部211的形狀信息求出的法向矢量的一 個(gè)自由度信息(pN十分接近的情況下，則判斷為影子區(qū)域內(nèi)的像素全部為漫 反射成分占優(yōu)勢(shì)，并且不存在正反射多次反射光的影響。于是，相位信息 比較部318對(duì)在偏振光信息生成部102生成的偏振光相位(p和在法線信息 生成部317算出的法向矢量的一個(gè)自由度信息(pN進(jìn)行比較，通過(guò)判斷比 較的差是否比被存儲(chǔ)在DB302中的閾值小，來(lái)判斷這些值是否十分接近
(5122) 。在十分接近的情況下(S122的"是")，可靠性判定部107a判斷 攝像場(chǎng)面不滿足上述條件1，廢棄關(guān)于影子區(qū)域的光學(xué)上的區(qū)域劃分結(jié)果
(5123) 。另外，在攝像圖像中存在陰影區(qū)域的情況下，可靠性判定部107a 判斷攝像場(chǎng)面滿足條件l (S122的"否")，輸出有關(guān)影子區(qū)域的光學(xué)上的區(qū) 域劃分結(jié)果。如以上所述，可以知道根據(jù)在被攝物中是鏡面反射成分占優(yōu)
46勢(shì)還是漫反射成分占優(yōu)勢(shì)，偏振光相位將會(huì)相差90。，因此，將這種用于比 較相位信息的閾值設(shè)定為45°即可。當(dāng)然，用于比較相位信息的閾值可以通 過(guò)實(shí)驗(yàn)來(lái)決定。這樣的閾值可以保持在DB302。
并且，作為光學(xué)上的區(qū)域劃分裝置100e所具備的法線信息生成部317， 不僅限于利用在形狀信息生成部211生成的形狀信息來(lái)生成法線信息，也 可以根據(jù)偏振光信息來(lái)生成法線信息。即，該光學(xué)上的區(qū)域劃分裝置100e 可以不具備法線信息生成部317，而是具備實(shí)施例l中的法線信息生成部 104。
并且，本發(fā)明不僅可以作為圖像處理裝置來(lái)實(shí)現(xiàn)，而且可以像圖53所 示那樣，作為內(nèi)藏本發(fā)明所涉及的圖像處理裝置的數(shù)字靜態(tài)相機(jī)或數(shù)字?jǐn)z 影機(jī)等應(yīng)用制品來(lái)實(shí)現(xiàn)。
并且，圖14等所示的影子區(qū)域檢測(cè)部301為了檢測(cè)投影區(qū)域，首先利 用亮度值對(duì)影子區(qū)域進(jìn)行了判斷(圖15的S201等)，不過(guò)本發(fā)明并非受 此順序所限，可以僅以在偏振光信息生成部102生成的偏振光信息來(lái)檢測(cè) 投影區(qū)域。像這樣的處理，對(duì)于像油畫等知道存在投影區(qū)域而不存在陰影 區(qū)域的被攝物是有效的。這是因?yàn)?，像黑色顏料這種反射率非常小的被攝 物存在的情況下，僅利用上述的亮度值來(lái)進(jìn)行判斷是很難區(qū)別影子區(qū)域和 黑色顏料的。以下利用附圖，對(duì)本實(shí)施例的變形例所涉及的光學(xué)上的區(qū)域 劃分裝置進(jìn)行詳細(xì)說(shuō)明。
表示這種變形例所涉及的光學(xué)上的區(qū)域劃分裝置的構(gòu)成的功能方框圖 由于與圖26相同，因此省略構(gòu)成說(shuō)明。
圖54是這樣變形例所涉及的光學(xué)上的區(qū)域劃分裝置所進(jìn)行的影子檢測(cè) 處理的流程圖。即示出了與圖15所示的影子區(qū)域檢測(cè)處理(S201、 S202、 S204 S206)不同的其他的方法的流程圖。如圖54所示，偏振光比較部 303調(diào)査像素的偏振度比閾值TILPS小還是大(S407)。在像素的偏振度 比閾值TH—PDS大的情況下(S407的"否")，影子區(qū)域檢測(cè)部301判斷該 像素不是投影區(qū)域(S402),判定該像素中是漫反射占優(yōu)勢(shì)還是鏡面反射占 優(yōu)勢(shì)(S202)，結(jié)束處理。另夕卜，在偏振度比閾值TH一PS小的情況下(S407 的"是")，影子區(qū)域檢測(cè)部301判斷該像素為投影區(qū)域(S405)，結(jié)束處理。
圖55示出了將拍攝油畫這一被攝物時(shí)的偏振度p作為圖像來(lái)表示的
47圖。在該圖中，圖55(a)表示作為被攝物的油畫的圖像，圖55(b)表示與圖 55(a)所示的圖像相對(duì)應(yīng)的偏振度p (即由偏振光信息生成部102生成的偏 振光信息)。并且，在圖56示出了，由這種變形例所涉及的光學(xué)上的區(qū)域 劃分裝置利用圖55(b)所示的偏振度p，來(lái)針對(duì)圖55(a)所示的圖像抽出投 影區(qū)域。在該圖中的黑色區(qū)域?yàn)楸怀槌龅耐队皡^(qū)域。并且，可以將像這樣 抽出的投影區(qū)域作為最終的投影區(qū)域來(lái)輸出，或者，可以通過(guò)針對(duì)像這樣 被抽出的投影區(qū)域進(jìn)行在圖像處理中被廣泛使用的區(qū)域的收縮擴(kuò)大處理， 從而將重新再次定義的區(qū)域作為最終的投影區(qū)域來(lái)輸出。
像這樣的變形例所涉及的光學(xué)上的區(qū)域劃分裝置所進(jìn)行的圖像處理的 優(yōu)點(diǎn)如以下所示。在圖55和圖56中，區(qū)域A表示投影區(qū)域，區(qū)域B表示 黑色顏料區(qū)域。在圖55(a)所示的圖像中，由于這些區(qū)域A和區(qū)域B的亮 度值幾乎相同，因此很難分離區(qū)域A和區(qū)域B。但是，通過(guò)利用圖55(b) 的偏振光信息，從而可以如圖56所示那樣，能夠正確地抽出區(qū)域，即可以 知道區(qū)域A為投影區(qū)域，區(qū)域b不為投影區(qū)域。
本發(fā)明所涉及的圖像處理裝置作為進(jìn)行與被攝物的圖像中的影子有關(guān) 的處理的圖像處理裝置，例如作為生成被攝物的三維形狀信息的裝置或作 為利用這些信息使圖像高清晰化的裝置，在數(shù)字靜態(tài)相機(jī)、數(shù)字?jǐn)z影機(jī)、 監(jiān)視器等中有用。
48
權(quán)利要求
1.一種圖像處理裝置，進(jìn)行與被攝物的圖像中的影子有關(guān)的處理，其特征在于，包括圖像信息取得部，取得與被攝物圖像有關(guān)的包含亮度信息以及偏振光信息的信息，所述亮度信息是指與來(lái)自所述被攝物的光的亮度有關(guān)的信息，所述偏振光信息是指與來(lái)自所述被攝物的光的偏振光有關(guān)的信息；影子區(qū)域抽出部，根據(jù)在所述圖像信息取得部取得的亮度信息以及偏振光信息，從所述被攝物圖像中抽出陰影區(qū)域以及投影區(qū)域，所述陰影區(qū)域是指因光的照射方式而在被攝物的表面產(chǎn)生的陰影區(qū)域，所述投影區(qū)域是指因被攝物本身將光遮住而在其他的物體上產(chǎn)生的投影區(qū)域；以及輸出部，輸出確定在所述影子區(qū)域抽出部抽出的陰影區(qū)域以及投影區(qū)域的信息。
2. 如權(quán)利要求l所述的圖像處理裝置，其特征在于， 所述被攝物圖像由多個(gè)單位圖像構(gòu)成；所述圖像信息取得部按照每個(gè)所述單位圖像取得所述亮度信息以及所 述偏振光信息；所述影子區(qū)域抽出部以所述單位圖像為單位，抽出所述陰影區(qū)域以及 所述投影區(qū)域；所述輸出部針對(duì)構(gòu)成在所述影子區(qū)域抽出部抽出的陰影區(qū)域以及投影 區(qū)域的單位圖像，分別賦予表示陰影區(qū)域以及投影區(qū)域的標(biāo)識(shí)符，并輸出 賦予的標(biāo)識(shí)符。
3. 如權(quán)利要求l所述的圖像處理裝置，其特征在于， 所述輸出部分別輸出與所述被攝物圖像中的陰影區(qū)域以及投影區(qū)域?qū)?yīng)的部分，以分別作為確定陰影區(qū)域以及投影區(qū)域的信息。
4. 如權(quán)利要求l所述的圖像處理裝置，其特征在于， 所述圖像信息取得部具有偏振光圖像攝像部，通過(guò)接受透過(guò)多個(gè)偏振器的光，來(lái)取得具有所述亮度信息的被攝物的偏振光圖像，所述多個(gè)偏振器的偏振光主軸角度不同; 以及偏振光信息生成部，利用所述多個(gè)偏振器的偏振光主軸角度和透過(guò)所 述多個(gè)偏振器的光的亮度的對(duì)應(yīng)關(guān)系，從取得的所述偏振光圖像中生成針 對(duì)構(gòu)成該偏振光圖像的各個(gè)單位圖像的所述偏振光信息；所述影子區(qū)域抽出部根據(jù)所述偏振光圖像的亮度信息，按照每個(gè)所述 單位圖像，對(duì)該單位圖像的亮度與預(yù)先規(guī)定的閾值進(jìn)行比較，在所述亮度 比所述閾值小的情況下，判斷該單位圖像屬于包含陰影區(qū)域以及投影區(qū)域 的低亮度區(qū)域，并針對(duì)屬于所述低亮度區(qū)域的單位圖像，根據(jù)所述偏振光 信息生成部所生成的偏振光信息，來(lái)判斷該單位圖像是陰影區(qū)域還是投影 區(qū)域，從而抽出所述陰影區(qū)域以及所述投影區(qū)域。
5. 如權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述偏振光圖像攝像部由用于取得所述偏振光圖像的多個(gè)攝像單位構(gòu)成；所述多個(gè)攝像單位分別具有多個(gè)偏振器，具有不同的偏振光主軸角度； 多個(gè)像素，接受通過(guò)所述多個(gè)偏振器的每一個(gè)偏振器的光； 所述偏振光信息生成部將由所述攝像單位得到的圖像作為所述單位圖 像來(lái)生成偏振光信息。
6. 如權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述影子區(qū)域抽出部針對(duì)屬于所述低亮度區(qū)域的單位圖像，判斷所述偏振光信息是否表示鏡面反射的偏振光特性，在所述偏振光信息表示鏡面 反射的偏振光特性的情況下，將該單位圖像作為陰影區(qū)域抽出。
7. 如權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述偏振光信息生成部生成偏振度以作為所述偏振光信息，所述偏振度是示出光偏振了多少的指標(biāo)；所述影子區(qū)域抽出部對(duì)屬于所述低亮度區(qū)域的單位圖像中的偏振度與 預(yù)先規(guī)定的閾值進(jìn)行比較，在所述偏振度比所述閾值小的情況下，將該單 位圖像作為投影區(qū)域抽出，在所述偏振度在所述閾值以上的情況下，將該 單位圖像作為陰影區(qū)域抽出。
8. 如權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述偏振光信息生成部生成偏振光推定誤差以作為所述偏振光信息，所述偏振光推定誤差是指，在所述變更圖像攝像部得到的亮度與根據(jù)近似 了所述偏振光主軸角度和所述亮度的對(duì)應(yīng)關(guān)系的正弦函數(shù)而決定的亮度的 差；所述影子區(qū)域抽出部進(jìn)一步對(duì)屬于低亮度區(qū)域的單位圖像中的偏振光 推定誤差和預(yù)先規(guī)定的閾值進(jìn)行比較，在所述偏振光推定誤差比所述閾值 大的情況下，將該單位圖像作為投影區(qū)域抽出，在所述偏振光推定誤差在 所述閾值以下的情況下，將該單位圖像作為陰影區(qū)域抽出。
9. 如權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述偏振光圖像攝像部取得第一偏振光圖像和第二偏振光圖像，所述第一偏振光圖像是閃光設(shè)備針對(duì)所述被攝物發(fā)光的情況下的偏振光圖像，所述第二偏振光圖像是閃光設(shè)備針對(duì)被攝物沒(méi)有發(fā)光的情況下的偏振光圖像；所述影子區(qū)域抽出部針對(duì)屬于低亮度區(qū)域的單位圖像算出所述第一偏 振光圖像以及所述第二偏振光圖像中的亮度的差分，并將算出的差分與預(yù) 先規(guī)定的閾值進(jìn)行比較，在所述差分比所述閾值大的情況下，將該單位圖 像作為陰影區(qū)域或作為投影區(qū)域抽出。
10.如權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述影子區(qū)域抽出部針對(duì)屬于所述低亮度區(qū)域的單位圖像，判斷所述 偏振光信息是否表示鏡面反射的偏振光特性，在所述偏振光信息表示鏡面 反射的偏振光特性的情況下，將該單位圖像作為"陰影區(qū)域或低反射率區(qū)域" 抽出。
11.如權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述偏振光信息生成部生成偏振度以作為所述偏振光信息，該偏振度是表示光偏振了多少的指標(biāo)；所述影子區(qū)域抽出部進(jìn)一步對(duì)屬于低亮度區(qū)域的單位圖像中的偏振度和預(yù)先規(guī)定的閾值進(jìn)行比較，在所述偏振度比所述閾值小的情況下，將該單位圖像作為投影區(qū)域抽出，在所述偏振度在所述閾值以上的情況下，將該單位圖像作為"陰影區(qū)域或低反剁率區(qū)域"抽出。
12. 如權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述偏振光信息生成部生成偏振光推定誤差以作為所述偏振光信息，所述偏振光推定誤差是指在所述變更圖像攝像部得到的亮度與根據(jù)近似了 所述偏振光主軸角度和所述亮度的對(duì)應(yīng)關(guān)系的正弦函數(shù)而決定的亮度的 差；所述影子區(qū)域抽出部進(jìn)一步對(duì)屬于低亮度區(qū)域的單位圖像的偏振光推 定誤差和預(yù)先規(guī)定的闊值進(jìn)行比較，在所述偏振光推定誤差比所述閾值大 的情況下，將該單位圖像作為投影區(qū)域抽出，在所述偏振光推定誤差在所 述閾值以下的情況下，將該單位圖像作為"陰影區(qū)域或低反射率區(qū)域"抽出。
13. 如權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述圖像處理裝置進(jìn)一步具有攝像條件判定部，判定成為所述偏振光圖像攝像部的拍攝對(duì)象的攝像場(chǎng)面是否滿足預(yù)先規(guī)定的攝像條件，該預(yù)先 規(guī)定的攝像條件是指所述影子區(qū)域抽出部能夠正確地進(jìn)行區(qū)域抽出的攝像 條件；在由所述攝像條件判定部判定為不滿足攝像條件的情況下，所述影子 區(qū)域抽出部停止對(duì)低亮度區(qū)域的區(qū)域抽出。
14. 如權(quán)利要求l 3所述的圖像處理裝置，其特征在于， 預(yù)先規(guī)定的所述攝像條件是在被攝物所在的攝像場(chǎng)面中，存在有物體，在該物體的近旁有寬廣的面，且該寬廣的面在該物體的一側(cè)，在該物體的相反一側(cè)存在有光源。
15.如權(quán)利要求l 3所述的圖像處理裝置，其特征在于， 所述攝像條件判定部具有檢測(cè)所述偏振光圖像攝像部的攝像方向的角 度感應(yīng)器，在由所述角度感應(yīng)器檢測(cè)出所述偏振光圖像攝像部朝向水平面 的上方的情況下，則判定所述攝像場(chǎng)面不滿足所述攝像條件。
16.如權(quán)利要求l 3所述的圖像處理裝置，其特征在于， 所述攝像條件判定部具有聲納，該聲納通過(guò)發(fā)出聲波并接收所述聲波 的反射波，來(lái)測(cè)定到周圍的對(duì)象物的距離，所述攝像條件判定部通過(guò)所述 聲納來(lái)判斷該圖像處理裝置的近旁是否有物體存在，在判斷為沒(méi)有物體存 在的情況下，判定所述攝像場(chǎng)面不滿足所述攝像條件。
17.如權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述圖像處理裝置進(jìn)一步具有可靠性判定部，該可靠性判定部通過(guò)評(píng) 價(jià)所述影子區(qū)域抽出部進(jìn)行的區(qū)域抽出的結(jié)果，來(lái)判定區(qū)域抽出的可靠性， 在判定為沒(méi)有可靠性的情況下，廢棄所述影子區(qū)域抽出部進(jìn)行的區(qū)域抽出 的結(jié)果。
18.如權(quán)利要求l 7所述的圖像處理裝置，其特征在于， 可靠性判定部根據(jù)所述影子區(qū)域抽出部進(jìn)行的區(qū)域抽出的結(jié)果，判斷在低亮度區(qū)域是否存在陰影區(qū)域，在低亮度區(qū)域不存在陰影區(qū)域的情況下，判定所述區(qū)域抽出沒(méi)有可靠性。
19. 一種圖像處理方法，進(jìn)行與被攝物的圖像中的影子有關(guān)的處理， 包括以下步驟圖像信息取得步驟，取得與被攝物圖像有關(guān)的包含亮度信息以及偏振 光信息的信息，所述亮度信息是指與來(lái)自所述被攝物的光的亮度有關(guān)的信 息，所述偏振光信息是指與來(lái)自所述被攝物的光的偏振光有關(guān)的信息；影子區(qū)域抽出步驟，根據(jù)在所述圖像信息取得步驟取得的亮度信息以及偏振光信息，從所述被攝物圖像中抽出陰影區(qū)域以及投影區(qū)域，所述陰 影區(qū)域是指因光的照射方式而在被攝物的表面產(chǎn)生的陰影區(qū)域，所述投影 區(qū)域是指因被攝物本身將光遮住而在其他的物體上產(chǎn)生的投影區(qū)域；以及 輸出步驟，輸出確定在所述影子區(qū)域抽出步驟抽出的陰影區(qū)域以及投 影區(qū)域的信息。
20.—種程序，是用于進(jìn)行與被攝物的圖像中的影子有關(guān)的處理的 程序，其特征在于，使計(jì)算機(jī)執(zhí)行權(quán)利要求l 9所述的圖像處理方法中所 包含的步驟。
全文摘要
提供一種圖像處理裝置等，不需要諸如使光源變動(dòng)的大規(guī)模的系統(tǒng)，就能夠從如拍攝快照這樣拍攝下來(lái)的圖像中，抽出陰影區(qū)域和投影區(qū)域。進(jìn)行與被攝物的圖像中的影子有關(guān)的處理的圖像處理裝置(100)包括圖像信息取得部(110)，取得與被攝物圖像有關(guān)的包含亮度信息和偏振光信息的信息，所述亮度信息是與來(lái)自被攝物的光的亮度有關(guān)的信息，所述偏振光信息是與來(lái)自被攝物的光的偏振光有關(guān)的信息；影子區(qū)域抽出部(120)，根據(jù)在圖像信息取得部(110)取得的亮度信息和偏振光信息，從被攝物圖像中抽出陰影區(qū)域和投影區(qū)域，所述陰影區(qū)域是因光的照射方式而在被攝物的表面產(chǎn)生的區(qū)域，所述投影區(qū)域是因被攝物本身將光遮住而在其他的物體上產(chǎn)生的區(qū)域；以及輸出部(130)，輸出用于確定在影子區(qū)域抽出部(120)抽出的陰影區(qū)域以及投影區(qū)域的信息。
文檔編號(hào)G06T1/00GK101542233SQ200880000489
公開(kāi)日2009年9月23日 申請(qǐng)日期2008年8月7日 優(yōu)先權(quán)日2007年8月7日
發(fā)明者中田干也, 佐藤智, 金森克洋 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社