圖像處理裝置和圖像處理方法
【專(zhuān)利摘要】本發(fā)明提出了一種圖像處理裝置和圖像處理方法，其能夠獲得圖案照射紅外線(xiàn)圖像以及無(wú)圖案照射紅外線(xiàn)圖像，以通過(guò)控制紅外線(xiàn)圖案照射定時(shí)來(lái)獲得更準(zhǔn)確的深度信息。[解決方案]本發(fā)明提供了一種圖像處理裝置，其包括：圖案照射單元，所述圖案照射單元將紅外線(xiàn)圖案照射到目標(biāo)物體的表面上；以及紅外線(xiàn)圖像捕捉單元，所述紅外線(xiàn)圖像捕捉單元捕捉紅外線(xiàn)圖像。所述圖案照射單元在與紅外線(xiàn)圖像捕捉單元的圖像捕捉定時(shí)對(duì)應(yīng)的預(yù)定定時(shí)處進(jìn)行照射。所述紅外線(xiàn)圖像捕捉單元獲得：圖案投影紅外線(xiàn)圖像，在所述圖案投影紅外線(xiàn)圖像中，將由所述圖案照射單元照射的所述圖案投影到所述目標(biāo)物體上；以及無(wú)圖案紅外線(xiàn)圖像，在所述無(wú)圖案紅外線(xiàn)圖像中，未將所述圖案投影到所述目標(biāo)物體上。
【專(zhuān)利說(shuō)明】
圖像處理裝置和圖像處理方法
技術(shù)領(lǐng)域
[0001]本公開(kāi)涉及一種圖像處理裝置和圖像處理方法。
【背景技術(shù)】
[0002]近年來(lái)，作為生成物體的三維圖像的方法，比如專(zhuān)利文獻(xiàn)I中所公開(kāi)的系統(tǒng)，發(fā)出紅外(IR)線(xiàn)并且獲得物體的深度信息從而生成三維圖像的系統(tǒng)已經(jīng)得到廣泛認(rèn)可。
[0003]具體地，利用人眼不可見(jiàn)的紅外線(xiàn)的特點(diǎn)，該系統(tǒng)通過(guò)使用紅外線(xiàn)將圖案照射到物體的表面上并且利用紅外線(xiàn)攝像機(jī)捕捉圖像，從而基于捕捉到的圖像更詳細(xì)地并且更準(zhǔn)確地獲得物體的表面形狀。
[0004]引用列表
[0005]專(zhuān)利文獻(xiàn)
[0006]專(zhuān)利文獻(xiàn)1:JP2008-537190 A

【發(fā)明內(nèi)容】

[0007]技術(shù)問(wèn)題
[0008]然而，存在如下問(wèn)題:將紅外線(xiàn)圖案照射到物體上可能會(huì)引起信息損失，諸如，物體的輪廓以及在物體的表面上的圖案(它們是物體最初具有的特征)，并且，取決于條件，可能無(wú)法獲得準(zhǔn)確的物體形狀。
[0009]雖然也存在另外使用用于捕捉紋理的可見(jiàn)光攝像機(jī)的系統(tǒng)，但是在該情況下，除了用于檢測(cè)深度的紅外線(xiàn)攝像機(jī)之外，還需要其它類(lèi)型的攝像機(jī)，并且出現(xiàn)了系統(tǒng)成本增加的問(wèn)題。此外，出現(xiàn)了如下問(wèn)題:由于用于準(zhǔn)確地匹配由多種類(lèi)型的攝像機(jī)捕捉到的捕捉圖像的位置的信號(hào)處理的增加，系統(tǒng)變得非常大。
[0010]此外，存在如下問(wèn)題:如果由投影儀投影的可見(jiàn)光圖像與物體重疊，那么即使利用可見(jiàn)光攝像機(jī)，也無(wú)法獲得準(zhǔn)確的物體形狀。
[0011]因此，本公開(kāi)提出了一種圖像處理裝置和圖像處理方法，其能夠獲得圖案照射紅外線(xiàn)圖像以及無(wú)圖案照射紅外線(xiàn)圖像，以通過(guò)控制紅外線(xiàn)圖案照射定時(shí)來(lái)獲得更準(zhǔn)確的深度信息。
[0012]問(wèn)題的解決方案
[0013]根據(jù)本公開(kāi)，提供了一種圖像處理裝置，其包括:圖案照射單元，該圖案照射單元將紅外線(xiàn)圖案照射到目標(biāo)物體的表面上；以及紅外線(xiàn)圖像捕捉單元，該紅外線(xiàn)圖像捕捉單元捕捉紅外線(xiàn)圖像。圖案照射單元在與紅外線(xiàn)圖像捕捉單元的圖像捕捉定時(shí)對(duì)應(yīng)的預(yù)定定時(shí)處進(jìn)行照射。紅外線(xiàn)圖像捕捉單元獲得:圖案投影紅外線(xiàn)圖像，在該圖案投影紅外線(xiàn)圖像中，將由圖案照射單元照射的圖案投影到目標(biāo)物體上；以及無(wú)圖案紅外線(xiàn)圖像，在該無(wú)圖案紅外線(xiàn)圖像中，未將圖案投影到目標(biāo)物體上。
[0014]根據(jù)本公開(kāi)，提供了一種圖像處理方法，其包括:通過(guò)圖案照射單元將紅外線(xiàn)圖案照射到目標(biāo)物體的表面上；以及通過(guò)紅外線(xiàn)圖像捕捉單元捕捉紅外線(xiàn)圖像。圖案照射單元在與紅外線(xiàn)圖像捕捉單元的圖像捕捉定時(shí)對(duì)應(yīng)的預(yù)定定時(shí)處進(jìn)行照射。紅外線(xiàn)圖像捕捉單元獲得:圖案投影紅外線(xiàn)圖像，在該圖案投影紅外線(xiàn)圖像中，將由圖案照射單元照射的圖案投影到目標(biāo)物體上；以及無(wú)圖案紅外線(xiàn)圖像，在該無(wú)圖案紅外線(xiàn)圖像中，未將圖案投影到目標(biāo)物體上。
[0015]效果
[0016]如上面所描述的，根據(jù)本公開(kāi)，通過(guò)控制照射紅外線(xiàn)圖案的定時(shí)，可以獲得圖案照射紅外線(xiàn)圖像和無(wú)圖案照射紅外線(xiàn)圖像，以獲得更準(zhǔn)確的深度信息。
[0017]此外，上述效果并不一定是限制性的，連同這些效果或者替代這些效果，可以展示出期望被引入本說(shuō)明書(shū)的任何效果或者可以從本說(shuō)明書(shū)中期望的其它效果。
【附圖說(shuō)明】
[0018]圖1是示出了根據(jù)第一實(shí)施例的圖像處理裝置的配置的框圖。
[0019]圖2是示出了根據(jù)第一實(shí)施例的IR隨機(jī)圖案照射單元的結(jié)構(gòu)的示意圖。
[0020]圖3是用于圖示根據(jù)第一實(shí)施例的通過(guò)立體圖像匹配單元進(jìn)行的塊匹配方法的示意圖。
[0021]圖4示出了根據(jù)第一實(shí)施例的通過(guò)切掉從定時(shí)控制單元輸出的脈沖波形的部分而獲得的示意圖。
[0022]圖5是用于圖示通過(guò)使用單目IR攝像機(jī)來(lái)檢測(cè)深度信息的情況的示意圖。
[0023]圖6是示出了根據(jù)第二實(shí)施例的圖像處理裝置的配置的框圖。
[0024]圖7示出了根據(jù)第二實(shí)施例的通過(guò)切掉從定時(shí)控制單元輸出的脈沖波形的部分而獲得的示意圖。
[0025]圖8是示出了根據(jù)第三實(shí)施例的圖像處理裝置的配置的框圖。
[0026]圖9是示出了計(jì)算量減少的情況和計(jì)算量未減少的情況的深度圖像的示例的示意圖。
[0027]圖10是根據(jù)第三實(shí)施例的用于圖示高分辨率深度圖像的生成的示意圖。
【具體實(shí)施方式】
[0028]在下文中，將參照附圖來(lái)詳細(xì)描述本公開(kāi)的實(shí)施例。在本說(shuō)明書(shū)和附圖中，使用相同的附圖標(biāo)記來(lái)表示具有大體上相同的功能和結(jié)構(gòu)的元件，從而省略了重復(fù)描述。
[0029]另外，將按照以下順序進(jìn)行描述。
[0030]1、根據(jù)第一實(shí)施例的圖像處理裝置_] 卜1、配置
[0032]1-2、操作
[0033]1-3、補(bǔ)充
[0034]1-4、效果
[0035]2、根據(jù)第二實(shí)施例的圖像處理裝置
[0036]2-1、配置
[0037]2-2、操作
[0038]2-3、效果
[0039]3、根據(jù)第三實(shí)施例的圖像處理
[0040]3-1、配置
[0041]3-2、操作
[0042]3-3、效果
[0043]4、概述
[0044]《1、根據(jù)第一實(shí)施例的圖像處理裝置》
[0045]〈1-1、配置〉
[0046]首先，下面將參照?qǐng)D1來(lái)描述根據(jù)本公開(kāi)的第一實(shí)施例的圖像處理裝置10-1的配置。圖1是示出了根據(jù)第一實(shí)施例的圖像處理裝置10-1的配置的框圖。
[0047]如圖1所示，根據(jù)本實(shí)施例的圖像處理裝置10-1具有定時(shí)控制單元101、IR立體攝像機(jī)102、IR隨機(jī)圖案照射單元103、IR照射單元104、隨機(jī)圖案LR圖像存儲(chǔ)單元105、IR圖像存儲(chǔ)單元106、立體圖像匹配單元107、深度圖像存儲(chǔ)單元108、圖像識(shí)別單元109、以及識(shí)別結(jié)果存儲(chǔ)單兀110。
[0048](定時(shí)控制單元)
[0049]定時(shí)控制單元101由控制電路組成，該控制電路將脈沖輸出至IR立體攝像機(jī)102、IR隨機(jī)圖案照射單元103和IR照射單元104。定時(shí)控制單元101控制IR隨機(jī)圖案照射單元103和IR照射單元104來(lái)在，例如，IR立體攝像機(jī)102捕捉圖像的定時(shí)處交替地進(jìn)行照射，從而能夠交替地捕捉圖案照射圖像和無(wú)圖案照射圖像。稍后將參照?qǐng)D4來(lái)描述通過(guò)定時(shí)控制單元1I進(jìn)行的圖像捕捉和照射定時(shí)的具體操作控制。
[0050](IR立體攝像機(jī))
[0051]IR立體攝像機(jī)102是紅外線(xiàn)圖像捕捉單元的示例，該紅外線(xiàn)圖像捕捉單元由能夠僅僅捕捉IR(紅外線(xiàn))區(qū)域的兩個(gè)攝像機(jī)組成。具體地，IR立體攝像機(jī)102可以捕捉僅僅IR區(qū)域的圖像，例如，通過(guò)安裝可見(jiàn)光截止濾光器。另外，按照生成足夠視差的間隔來(lái)定位組成IR立體攝像機(jī)1 2的兩個(gè)攝像機(jī)。在這兩個(gè)攝像機(jī)中，因?yàn)樵趤?lái)自定時(shí)控制單元1I的IR立體攝像機(jī)控制脈沖201(參見(jiàn)圖4)的上升邊沿釋放快門(mén)(捕捉圖像)，所以在兩個(gè)攝像機(jī)之間的圖像捕捉中未發(fā)生時(shí)滯。
[0052](IR隨機(jī)圖案照射單元)
[0053]IR隨機(jī)圖案照射單元103是將紅外線(xiàn)(IR)圖案照射到目標(biāo)物體的表面上的圖案照射單元的示例，并且其照射IR隨機(jī)圖案。此處，圖2示出了根據(jù)第一實(shí)施例的IR隨機(jī)圖案照射單元103的結(jié)構(gòu)。
[0054]如圖2所述，IR隨機(jī)圖案照射單元103具有光發(fā)射控制單元301、IR光源302、IR隨機(jī)圖案掩模303、以及投影透鏡304。
[0055]光發(fā)射控制單元301根據(jù)從定時(shí)控制單元101輸入的IR隨機(jī)圖案照射單元控制脈沖(參見(jiàn)圖4)的上升，通過(guò)使電流流至IR光源302—段時(shí)間來(lái)控制光發(fā)射。在本實(shí)施例中，光發(fā)射控制單元301在IR隨機(jī)圖案照射單元控制脈沖202為高的同時(shí)使恒定電流流動(dòng)。
[0056]例如，IR光源302是紅外線(xiàn)發(fā)射單元并且利用紅外線(xiàn)LED(發(fā)光二極管)來(lái)實(shí)現(xiàn)。當(dāng)光發(fā)射控制單元301使電流流動(dòng)時(shí)，IR光源302照射紅外線(xiàn)波長(zhǎng)(例如，大約850nm的波長(zhǎng))。從IR光源302照射的紅外線(xiàn)穿過(guò)隨機(jī)圖案掩模303。
[0057]例如，利用已經(jīng)經(jīng)過(guò)通過(guò)電鑄而進(jìn)行的微小的并且隨機(jī)的鉆孔處理的金屬網(wǎng)板來(lái)實(shí)現(xiàn)隨機(jī)圖案掩模303。例如，通過(guò)隨機(jī)地對(duì)點(diǎn)進(jìn)行定位并且然后將這些點(diǎn)作為生成器來(lái)生成Voronoi圖，來(lái)實(shí)現(xiàn)隨機(jī)網(wǎng)。雖然，另外，也可以例如通過(guò)在薄膜上打印隨機(jī)圖案或者點(diǎn)或者在玻璃上使用蝕刻來(lái)投影微小隨機(jī)圖案，但是，通過(guò)使用通過(guò)電鑄而進(jìn)行的微小鉆孔處理，紅外線(xiàn)能夠穿過(guò)隨機(jī)圖案而不減弱。
[0058]投影透鏡304使由穿過(guò)隨機(jī)圖案掩模303的紅外線(xiàn)形成的IR隨機(jī)圖案310投影到目標(biāo)物體上。雖然，在圖2所示的示例中，為了簡(jiǎn)單起見(jiàn)，將投影透鏡304示出為單個(gè)透鏡，但是根據(jù)既定用途(諸如，必要的視角和聚焦距離)，投影透鏡實(shí)際上可以由多個(gè)凹透鏡和凸透鏡組成。
[0059](IR照射單元)
[0060]IR照射單元具有發(fā)出無(wú)圖案紅外線(xiàn)的功能。因?yàn)镮R照射單元104的具體結(jié)構(gòu)是通過(guò)從圖2所示的IR隨機(jī)圖案照射單元103移除隨機(jī)圖案掩模303而獲得的，并且除了該部件之外的部件都相同，所以此處將省略對(duì)其的描述。在配置中包括進(jìn)IR照射單元104提供了可以獲得更明亮的IR圖像的效果。
[0061]IR照射單元104并不是根據(jù)本實(shí)施例的圖像處理裝置10-1中的必要部件，并且，如果存在適度地包括紅外線(xiàn)的環(huán)境光(諸如，燈泡)，那么可以省略該IR照射單元104。另外，因?yàn)镮R照射單元104不需要照射IR隨機(jī)圖案310，所以，如果存在可以均勻發(fā)出紅外線(xiàn)的環(huán)境(諸如，當(dāng)在目標(biāo)物體(對(duì)象)與IR照射單元104之間的距離足夠近時(shí))，那么也可以省略光學(xué)透鏡(諸如，投影透鏡304)。
[0062](隨機(jī)圖案LR圖像存儲(chǔ)單元)
[0063]當(dāng)IR隨機(jī)圖案照射單元103投影IR隨機(jī)圖案310時(shí)，隨機(jī)圖案LR圖像存儲(chǔ)單元105存儲(chǔ)由IR立體攝像機(jī)102捕捉到的兩個(gè)IR隨機(jī)圖案照射圖像(L圖像和R圖像)，該IR立體攝像機(jī)102由兩個(gè)紅外線(xiàn)攝像機(jī)(左攝像機(jī)、右攝像機(jī))組成。
[0064](立體圖像匹配單元)
[0065]立體圖像匹配單元107是通過(guò)使用在隨機(jī)圖案LR圖像存儲(chǔ)單元105中存儲(chǔ)的LR圖像來(lái)生成具有深度信息的深度圖像的深度計(jì)算單元。雖然可以使用各種傳統(tǒng)所熟知的技術(shù)作為生成深度圖像的方法，但是此處使用塊匹配方法作為示例。在下文中，將參照?qǐng)D3來(lái)詳細(xì)描述該方法。
[0066]圖3是用于圖示了根據(jù)第一實(shí)施例的通過(guò)立體圖像匹配單元107進(jìn)行的塊匹配方法的示意圖。在圖3所示的示例中，針對(duì)每個(gè)塊，匹配由組成IR立體攝像機(jī)102的右側(cè)攝像機(jī)捕捉到的隨機(jī)圖案R圖像701和由左側(cè)攝像機(jī)捕捉到的隨機(jī)圖案L圖像702。
[0067]具體地，當(dāng)按照每8X8的塊進(jìn)行圖像匹配時(shí)，從L圖像702搜索在由右攝像機(jī)捕捉至IJ的R圖像701中以目標(biāo)像素704為中心靠近8 X 8像素的塊705的塊，從而獲得視差。更加具體地，立體圖像匹配單元107為在L圖像702中的搜索范圍706中的所有水平像素中的每個(gè)像素，在隨機(jī)圖案R圖像中的8 X 8的塊705與在隨機(jī)圖案L圖像中的8 X 8的塊707像素之間進(jìn)行圖像比較。例如，當(dāng)搜索范圍706具有64個(gè)像素時(shí)，為作為輸入圖像的R圖像701的每個(gè)像素進(jìn)行64次塊圖像匹配，并且為作為輸入圖像的R圖像701的所有像素進(jìn)行此操作。
[0068]由此，當(dāng)立體圖像匹配單元107以每個(gè)塊為基礎(chǔ)進(jìn)行右圖像和左圖像的匹配時(shí)，SP使是表面無(wú)特征(平坦無(wú)圖案)的目標(biāo)物體，諸如，例如，到目前為止還尚未經(jīng)過(guò)匹配的白盒，也可以通過(guò)使用IR隨機(jī)圖案照射圖像來(lái)準(zhǔn)確地進(jìn)行匹配。
[0069]進(jìn)一步地，對(duì)組成IR立體攝像機(jī)102的右攝像機(jī)和左攝像機(jī)進(jìn)行固定，進(jìn)而固定攝像機(jī)之間的距離(基線(xiàn)長(zhǎng)度)。因此，可以基于通過(guò)塊匹配而獲得的視差以及基線(xiàn)長(zhǎng)度來(lái)獲得深度。
[0070]通過(guò)對(duì)所有像素進(jìn)行上述匹配處理，可以獲得整個(gè)畫(huà)面的深度圖像。
[0071](深度圖像存儲(chǔ)單元)
[0072]深度圖像存儲(chǔ)單元108存儲(chǔ)由立體圖像匹配單元107獲得的深度圖像。
[0073](IR圖像存儲(chǔ)單元)
[0074]當(dāng)IR照射單元104進(jìn)行照射時(shí)，IR圖像存儲(chǔ)單元106存儲(chǔ)由IR立體攝像機(jī)102捕捉至IJ的IR圖像(無(wú)圖案照射圖像)。此處，在IR圖像存儲(chǔ)單元106中存儲(chǔ)的IR圖像可以是由組成IR立體攝像機(jī)102的左攝像機(jī)或者右攝像機(jī)捕捉到的圖像。具體地，僅僅可以使用由左攝像機(jī)捕捉到的L圖像或者僅僅可以使用由右攝像機(jī)捕捉到的R圖像，或者可替代地，可以根據(jù)用途來(lái)存儲(chǔ)和使用由兩個(gè)攝像機(jī)捕捉到的LR圖像。
[0075](圖像識(shí)別單元)
[0076]圖像識(shí)別單元109基于在IR圖像存儲(chǔ)單元106中存儲(chǔ)的IR圖像(無(wú)圖案紅外線(xiàn)圖像)來(lái)進(jìn)行傳統(tǒng)所熟知的圖像識(shí)別處理(例如，利用差分濾波器的邊沿檢測(cè)處理)，包括:識(shí)別目標(biāo)物體的輪廓和進(jìn)行字符識(shí)別。
[0077]具體地，在比如組成字符的線(xiàn)是重要信息的字符識(shí)別等圖像處理的情況下，如果使用了在隨機(jī)圖案LR圖像存儲(chǔ)單元105中存儲(chǔ)的、在其上投影有隨機(jī)圖案的圖像，那么隨機(jī)圖案使得在該字符上生成意外的陰影，從而導(dǎo)致識(shí)別率下降。另外，如果使用了隨機(jī)圖案照射圖像，那么在邊沿檢測(cè)處理(諸如，差分濾波)中不僅檢測(cè)到對(duì)象的輪廓，還檢測(cè)到隨機(jī)圖案的輪廓，并且無(wú)法準(zhǔn)確地獲得對(duì)象的輪廓。因此，圖像識(shí)別單元109使用在IR圖像存儲(chǔ)單元106中存儲(chǔ)的、在其上未照射有隨機(jī)圖案的IR圖像，從而準(zhǔn)確地識(shí)別出寫(xiě)在目標(biāo)物體的表面上的字符(諸如，書(shū)名)以及目標(biāo)物體的輪廓。
[0078]進(jìn)一步地，當(dāng)在物體的輪廓是識(shí)別目標(biāo)物體的形狀的重要信息的圖像處理中使用可見(jiàn)光攝像機(jī)時(shí)，其可以使輪廓的識(shí)別率下降。例如，如果將可見(jiàn)光圖像從投影儀投影到桌子等上，并且用戶(hù)進(jìn)行針對(duì)投影到桌子上的圖像而手動(dòng)輸入的操作，那么將手的位置、手的形狀、以及手形狀的變化等用作操作輸入信息。在這種情況下，如果使用了可見(jiàn)光攝像機(jī)，那么在作為目標(biāo)物體的手的表面上反射出投影圖像，并且因此，手的形狀和輪廓的識(shí)別率下降。因此，根據(jù)本實(shí)施例的圖像識(shí)別單元109使用由利用紅外線(xiàn)攝像機(jī)實(shí)現(xiàn)的IR立體攝像機(jī)102捕捉的IR圖像，從而準(zhǔn)確地識(shí)別手的形狀和輪廓，而不受在手表面上反射出的投影可見(jiàn)光圖像的影響。
[0079](識(shí)別結(jié)果存儲(chǔ)單元)
[0080]識(shí)別結(jié)果存儲(chǔ)單元110存儲(chǔ)在圖像識(shí)別單元109中識(shí)別到的結(jié)果。
[0081]具有上述配置的圖像處理裝置10-1可以識(shí)別并且輸出目標(biāo)物體(對(duì)象)的三維形狀(深度圖像)、寫(xiě)在目標(biāo)物體的表面上的字符、以及目標(biāo)物體的輪廓。接下來(lái)，將參照?qǐng)D4來(lái)具體描述通過(guò)定時(shí)控制單元101進(jìn)行的圖像捕捉和照射定時(shí)的操作控制。
[0082]〈1-2、操作〉
[0083]圖4是通過(guò)切掉從定時(shí)控制單元101輸出的脈沖波形的部分而獲得的示意圖。如圖4所示，控制脈沖201是發(fā)送至IR立體攝像機(jī)102的控制脈沖，并且IR立體攝像機(jī)102設(shè)計(jì)為在該脈沖的上升邊沿處釋放快門(mén)(捕捉圖像)。
[0084]另外，控制脈沖202和203是分別發(fā)送至IR隨機(jī)圖案照射單元103和IR照射單元104的控制脈沖，并且照射單元設(shè)計(jì)為在這些脈沖的上升邊沿處接通IR光源一段時(shí)間。IR隨機(jī)圖案照射單元103和IR照射單元104的控制定時(shí)設(shè)置為在IR立體攝像機(jī)控制脈沖201的半周期內(nèi)交替地引起光發(fā)射，如圖4所示。具體地，隨機(jī)圖案照射單元103在IR立體攝像機(jī)控制脈沖201的奇數(shù)定時(shí)或者偶數(shù)定時(shí)(IR立體攝像機(jī)102捕捉圖像的定時(shí))處進(jìn)行照射(發(fā)射光)，并且IR照射單元104在與隨機(jī)圖案照射單元103進(jìn)行光發(fā)射的定時(shí)不同的定時(shí)處發(fā)射光。
[0085]這樣，IR立體攝像機(jī)102可以及時(shí)交替地獲得其上照射有隨機(jī)圖案的目標(biāo)物體的圖像(圖案投影紅外線(xiàn)圖像)以及其上未照射有任何圖案的IR的目標(biāo)物體的圖像。
[0086]IR隨機(jī)圖案照射單元103和IR照射單元104的照射控制定時(shí)并不限于圖4所示的示例。根據(jù)用途，也可以在與IR立體攝像機(jī)102(IR立體攝像機(jī)控制脈沖201)進(jìn)行圖像捕捉的定時(shí)對(duì)應(yīng)的預(yù)定定時(shí)處輸出這些照射控制定時(shí)。例如，如果期望更準(zhǔn)確地識(shí)別出快速移動(dòng)的目標(biāo)物體(例如，手)的形狀，那么使隨機(jī)圖案照射單元103進(jìn)行的照射的定時(shí)的數(shù)量增加，并且使IR照射單元在與隨機(jī)圖案照射單元103進(jìn)行照射的定時(shí)不同的定時(shí)處進(jìn)行照射。具體地，將控制脈沖輸出至隨機(jī)圖案照射單元103，該控制脈沖使隨機(jī)圖案照射單元103按照預(yù)定間隔(諸如，連續(xù)進(jìn)行多次照射，并且然后保持一次暫停的間隔)進(jìn)行照射，并且將控制脈沖輸出至IR照射單元104，在隨機(jī)圖案照射單元103進(jìn)行多次照射之后，該控制脈沖使IR照射單元104進(jìn)行一次照射。
[0087]在任何情況下，定時(shí)控制單元101都可以使IR立體攝像機(jī)102能夠及時(shí)在不同的定時(shí)處獲得其上照射有隨機(jī)圖案的目標(biāo)物體的圖像(圖案投影紅外線(xiàn)圖像)以及其上進(jìn)行了無(wú)圖案IR照射的目標(biāo)物體的圖像(無(wú)圖案紅外線(xiàn)圖像)。
[0088]在獲得圖像之后，如上面所描述的，當(dāng)圖像識(shí)別單元109進(jìn)行圖像處理(諸如，字符識(shí)別)時(shí)，立體圖像匹配單元107生成深度圖像。
[0089]〈1-3、補(bǔ)充〉
[0090]接下來(lái)，將對(duì)本實(shí)施例做出補(bǔ)充闡釋。雖然在上述實(shí)施例中通過(guò)使用IR立體攝像機(jī)102來(lái)檢測(cè)深度信息，但是本實(shí)施例并不限于此，并且也可以通過(guò)使用單目IR攝像機(jī)來(lái)檢測(cè)深度信息。
[0091 ]在這種情況下，圖像處理裝置10-1提前存儲(chǔ)用于IR照射的隨機(jī)圖案并且在存儲(chǔ)的隨機(jī)圖案與由一個(gè)IR攝像機(jī)捕捉到的圖像之間進(jìn)行塊匹配，從而計(jì)算深度。在下文中，將參照?qǐng)D5進(jìn)行描述。
[0092]圖5是用于圖示通過(guò)使用單目IR攝像機(jī)112來(lái)檢測(cè)深度信息的情況的示意圖。圖5所示的單目IR攝像機(jī)112與IR隨機(jī)圖案照射單元103之間的距離d是已知的。
[0093]圖像處理單元10-1基于在由IR攝像機(jī)112捕捉到的圖像上的經(jīng)過(guò)匹配的隨機(jī)圖案的坐標(biāo)值，并且具體地，基于在目標(biāo)物體S上反射出的隨機(jī)圖案的坐標(biāo)位置，通過(guò)使用已知距離d，來(lái)計(jì)算深度。更加具體地，圖像處理裝置10-1估計(jì)圖案的坐標(biāo)位置，如果目標(biāo)物體S不存在，那么在墻表面上反射出該圖案，并且根據(jù)在估計(jì)的坐標(biāo)位置與在目標(biāo)物體S上反射出的隨機(jī)圖案的坐標(biāo)位置之間的視差來(lái)檢測(cè)深度信息。
[0094]〈1-4、效果〉
[0095]如上面所描述的，利用第一實(shí)施例，即使物體在其表面上無(wú)特征，也可以通過(guò)將紅外線(xiàn)隨機(jī)圖案照射到物體上來(lái)獲得準(zhǔn)確的深度信息。進(jìn)一步地，通過(guò)獲得其上未照射有隨機(jī)圖案的紅外線(xiàn)圖像，也可以精確地進(jìn)行圖像處理，該圖像處理不要求隨機(jī)圖案或者在準(zhǔn)確度方面受隨機(jī)圖案的影響。
[0096]進(jìn)一步地，因?yàn)榘凑辗謺r(shí)方式使用攝像機(jī)來(lái)獲得深度并且處理圖像，所以不需要調(diào)整兩個(gè)攝像機(jī)的位置，并且可以容易地匹配兩個(gè)產(chǎn)生的位置。
[0097]進(jìn)一步地，通過(guò)交替地接通IR隨機(jī)圖案照射單元103和IR照射單元104以與快門(mén)定時(shí)(圖像捕捉的定時(shí))同步，延長(zhǎng)了照射單元的光發(fā)射間隔，并且可以減小光發(fā)射占空比。然后，由于可以減小光發(fā)射占空比，所以可以增加一詞流動(dòng)的電流量并且可以提供更明亮的光發(fā)射。這樣，可以獲得對(duì)在圖像捕捉之后的圖像處理有效的效果，諸如，能夠使快門(mén)速度增加或者使增益減小以抑制噪音。
[0098]《2、根據(jù)第二實(shí)施例的圖像處理裝置》
[0099]接下來(lái)，將參照?qǐng)D6和圖7來(lái)描述根據(jù)第二實(shí)施例的圖像處理裝置10-2。
[0100]〈2-1、配置〉
[0101]圖6是示出了根據(jù)第二實(shí)施例的圖像處理裝置10-2的配置的框圖。如圖6所示，圖像處理裝置10-2具有定時(shí)控制單元401、IR立體攝像機(jī)402、IR攝像機(jī)403、IR隨機(jī)圖案照射單元404、IR照射單元405、隨機(jī)圖案LR圖像存儲(chǔ)單元105、IR圖像存儲(chǔ)單元106a、立體圖像匹配單元107、深度圖像存儲(chǔ)單元108、圖像識(shí)別單元109、以及識(shí)別結(jié)果存儲(chǔ)單元110。
[0102]因?yàn)殡S機(jī)圖案LR圖像存儲(chǔ)單元105、立體圖像匹配單元107、深度圖像存儲(chǔ)單元108、圖像識(shí)別單元109、以及識(shí)別結(jié)果存儲(chǔ)單元110與參照?qǐng)D1描述的在第一實(shí)施例中的這些單元相似，所以此處將省略對(duì)它們的描述。
[0103](定時(shí)控制單元)
[0104]定時(shí)控制單元401由控制電路組成，該控制電路將脈沖輸出至IR立體攝像機(jī)402、IR攝像機(jī)403、IR隨機(jī)圖案照射單元404、以及IR照射單元405。稍后將參照?qǐng)D7來(lái)描述通過(guò)定時(shí)控制單元401而進(jìn)行的圖像捕捉和照射定時(shí)的控制。
[0105](IR隨機(jī)圖案照射單元)
[0106]雖然IR隨機(jī)圖案照射單元404的結(jié)構(gòu)與參照?qǐng)D2所描述的第一實(shí)施例的IR隨機(jī)圖案照射單元103相似，但是其與IR隨機(jī)圖案照射單元103的不同之處在于:選擇光源以使IR光源302的波長(zhǎng)變成，例如，850nmo
[0107](IR照射單元)
[0108]雖然IR照射單元405的結(jié)構(gòu)也與根據(jù)第一實(shí)施例的IR照射單元104相似，但其與IR照射單元104的不同之處在于:選擇光源以使IR光源的波長(zhǎng)變成，例如，750nm。
[0109](IR立體攝像機(jī))
[0110]IR立體攝像機(jī)402具有帶通濾波器、低通濾波器或者允許例如在IR(紅外線(xiàn))區(qū)域中的大約850nm的波長(zhǎng)穿過(guò)的高通濾波器，并且IR立體攝像機(jī)402具有結(jié)構(gòu)，在該結(jié)構(gòu)中，具有除了850nm之外的光具有降低的密度并且不容易被暴露。這樣，IR立體攝像機(jī)402可以捕捉其上疊加有從IR隨機(jī)圖案照射單元404照射的隨機(jī)圖案的目標(biāo)物體的圖像。
[0111](IR 攝像機(jī))
[0112]IR攝像機(jī)403具有帶通濾波器、低通濾波器或者允許例如在IR(紅外線(xiàn))區(qū)域中的大約750nm的波長(zhǎng)穿過(guò)的高通濾波器，并且IR攝像機(jī)403具有結(jié)構(gòu)，在該結(jié)構(gòu)中，具有除了750nm之外的光具有降低的密度并且不容易被暴露。這樣，因?yàn)镮R攝像機(jī)403切斷了從隨機(jī)圖案照射單元404照射的波長(zhǎng)，所以可以捕捉(無(wú)圖案)圖像，在該圖像中，未將隨機(jī)圖案疊加在對(duì)象上。
[0113]可以利用至少一個(gè)紅外線(xiàn)攝像機(jī)來(lái)實(shí)現(xiàn)IR攝像機(jī)403。
[ΟΙ14] (IR圖像存儲(chǔ)單元)
[0115]IR圖像存儲(chǔ)單元106a存儲(chǔ)由利用至少一個(gè)紅外線(xiàn)攝像機(jī)實(shí)現(xiàn)的IR攝像機(jī)403捕捉到的一個(gè)圖像。
[0116]具有上述配置的圖像處理裝置10-2可以識(shí)別和輸出目標(biāo)物體(對(duì)象)的三維形狀(深度圖像)、寫(xiě)在目標(biāo)物體的表面上的字符以及目標(biāo)物體的輪廓，如同第一實(shí)施例。
[0117]〈2-2、操作〉
[0118]接下來(lái)，將參照?qǐng)D7來(lái)詳細(xì)描述通過(guò)定時(shí)控制單元401而進(jìn)行的圖像捕捉和照射定時(shí)的操作控制。
[0119]圖7是通過(guò)切掉從定時(shí)控制單元401輸出的脈沖波形中的部分而獲得的示意圖。如圖7中的定時(shí)波形所示，輸入至塊的控制脈沖501至504是同步脈沖。
[0120]IR立體攝像機(jī)402和IR攝像機(jī)403設(shè)計(jì)為在同步脈沖的上升邊沿處釋放它們的快門(mén)。另外，IR立體攝像機(jī)402和IR攝像機(jī)403設(shè)計(jì)為在同步脈沖的上升邊沿處打開(kāi)IR光源一段時(shí)間。
[0121]換言之，根據(jù)本實(shí)施例的定時(shí)控制單元401將IR立體攝像機(jī)402和IR攝像機(jī)403進(jìn)行圖像捕捉的定時(shí)以及IR隨機(jī)圖案照射單元404和IR照射單元405進(jìn)行照射的定時(shí)控制為相同的定時(shí)。
[0122]即使IR立體攝像機(jī)402在通過(guò)IR隨機(jī)圖案照射單元404照射隨機(jī)圖案的定時(shí)處捕捉圖像，IR攝像機(jī)403也具有用于切斷如上所描述的隨機(jī)圖案的照射波長(zhǎng)的濾波器，并且因此，可以捕捉(無(wú)圖案)圖像，在該圖像中，未將隨機(jī)圖案疊加在對(duì)象上。這樣，可以獲得具有圖案的紅外線(xiàn)圖像以及無(wú)圖案紅外線(xiàn)圖像，但不生成時(shí)滯。
[0123]在獲得圖像之后，如同第一實(shí)施例，當(dāng)圖像識(shí)別單元109進(jìn)行圖像處理(諸如，字符識(shí)別)時(shí)，立體圖像匹配單元107生成深度圖像。
[0124]〈2-3、效果〉
[0125]由于具有上述配置的第二實(shí)施例，如同第一實(shí)施例，可以獲得如下效果:計(jì)算物體在其表面無(wú)特征，也可以獲得準(zhǔn)確的深度信息，并且可以準(zhǔn)確地進(jìn)行根據(jù)準(zhǔn)確性等的不需要隨機(jī)圖案或者受到隨機(jī)圖案的影響的圖像處理。
[0126]進(jìn)一步地，在第二實(shí)施例中，不像第一實(shí)施例，按照預(yù)定波長(zhǎng)照射IR隨機(jī)圖案，并且捕捉圖像，從而使安裝有預(yù)定波長(zhǎng)穿過(guò)的光學(xué)濾波器的IR立體攝像機(jī)402與安裝有切斷預(yù)定波長(zhǎng)的光學(xué)濾波器的IR攝像機(jī)403同步。這產(chǎn)生了如下效果:在沒(méi)有在其上投影有隨機(jī)圖案的圖像與其上未投影有隨機(jī)圖案的圖像之間產(chǎn)生時(shí)滯的情況下，兩個(gè)圖像處理結(jié)果更加容易同步和相關(guān)聯(lián)。
[0127]《3、根據(jù)第三實(shí)施例的圖像處理裝置》
[0128]接下來(lái)，將參照?qǐng)D8至圖10來(lái)描述根據(jù)第三實(shí)施例的圖像處理裝置10-3。由于本實(shí)施例，可以減輕通過(guò)根據(jù)上述實(shí)施例的立體圖像匹配單元107而進(jìn)行的計(jì)算處理的負(fù)載并且也生成高分辨率深度圖像。
[0129]〈3-1、配置〉
[0130]圖8是示出了根據(jù)第三實(shí)施例的圖像處理裝置10-3的配置的框圖。如圖8所示，圖像處理裝置10-3具有定時(shí)控制單元101、IR立體攝像機(jī)102、IR隨機(jī)圖案照射單元103、IR照射單元104、隨機(jī)圖案LR圖像存儲(chǔ)單元105、IR圖像存儲(chǔ)單元106、立體圖像匹配單元107a、深度圖像存儲(chǔ)單元108a、圖像識(shí)別單元109、識(shí)別結(jié)果存儲(chǔ)單元110、高分辨率深度計(jì)算單元609、以及高分辨率深度圖像存儲(chǔ)單元610。
[0131 ]因?yàn)槎〞r(shí)控制單元101、IR立體攝像機(jī)102、IR隨機(jī)圖案照射單元103、IR照射單元104、隨機(jī)圖案LR圖像存儲(chǔ)單元105、IR圖像存儲(chǔ)單元106、圖像識(shí)別單元109、以及識(shí)別結(jié)果存儲(chǔ)單元110與參照?qǐng)D1描述的第一實(shí)施例中的這些單元相似，所以此處將省略對(duì)它們的描述。
[0132](立體圖像匹配單元)
[0133]立體圖像匹配單元107a基于其上投影有隨機(jī)圖案的在隨機(jī)圖案LR圖像存儲(chǔ)單元105中存儲(chǔ)的目標(biāo)物體的LR圖像來(lái)生成深度圖像。此處，雖然生成深度圖像的各種方法是可能的，但是如果使用了已經(jīng)參照?qǐng)D3而描述的塊匹配方法，那么對(duì)作為輸入圖像的R圖像701中的所有像素進(jìn)行匹配，并且存在計(jì)算量非常大的問(wèn)題。因此，如果這種計(jì)算處理由軟件實(shí)現(xiàn)，那么無(wú)法對(duì)齊進(jìn)行實(shí)時(shí)處理，并且如果其由專(zhuān)用軟件(諸如，LSI(大規(guī)模集成))實(shí)現(xiàn)，那么增加電路的規(guī)模，從而導(dǎo)致LSI的成本增加。
[0134]鑒于此，為了減小塊匹配中的計(jì)算量，可以執(zhí)行減小作為輸入圖像的R圖像701和L圖像702的大小的方法、以及減小匹配次數(shù)的方法，從而通過(guò)對(duì)每?jī)蓚€(gè)像素或者四個(gè)像素，但是并不是R圖像701中的所有像素進(jìn)行水平匹配和垂直匹配來(lái)使匹配次數(shù)下降。然而，雖然這些方法對(duì)減小計(jì)算量有很好的效果，但是它們具有使獲得的深度信息的分辨率降低的問(wèn)題。在下文中，圖9示出了根據(jù)計(jì)算量的深度圖像的示例。在圖9所示的深度圖像801、802a和803b中，圖像中的較深的顏色指示離攝像機(jī)遠(yuǎn)，然而，較淺的顏色指示離攝像機(jī)近。
[0135]圖9是示出了在計(jì)算量未減少時(shí)和在計(jì)算量減少時(shí)獲得的深度圖像的示例的示意圖。如圖9所示，在計(jì)算量未減少時(shí)獲得的(高分辨率)深度圖像801中，如果捕捉到手作為目標(biāo)物體，那么甚至可以識(shí)別出手指的形狀。
[0136]另一方面，在捕捉到作為相同目標(biāo)物體的手的圖像并且計(jì)算量減小時(shí)獲得的(低分辨率)深度圖像802a中，無(wú)法識(shí)別出手指的形狀。深度圖像802a是在減小作為輸入圖像的R圖像701和L圖像702的大小的方法用作減小計(jì)算量的方法時(shí)生成的低分辨率深度圖像。進(jìn)一步地，在圖9所示的示例中，也示出了通過(guò)放大深度圖像802a而獲得的深度圖像802b，以與深度圖像801進(jìn)行比較。
[0137]由此，當(dāng)計(jì)算量減小時(shí)，無(wú)法識(shí)別出目標(biāo)物體的形狀，并且因此，當(dāng)手指的形狀是重要信息時(shí)，其變得特別不確定。因此，在本實(shí)施例中，下述高分辨率深度計(jì)算單元609使IR圖像的輪廓圖像與低分辨率深度圖像同步，從而生成高分辨率深度圖像。
[0138](深度圖像存儲(chǔ)單元)
[0139]深度圖像存儲(chǔ)單元108a存儲(chǔ)在立體圖像匹配單元107a中生成并且計(jì)算量減小的低分辨率深度圖像。
[0140](高分辨率深度計(jì)算單元)
[0141]高分辨率深度計(jì)算單元609從識(shí)別結(jié)果存儲(chǔ)單元110獲得基于IR圖像而識(shí)別出的目標(biāo)物體的輪廓信息。如在第一實(shí)施例中所描述的，識(shí)別結(jié)果存儲(chǔ)單元110存儲(chǔ)由圖像識(shí)別單元109基于IR圖像而識(shí)別出的目標(biāo)物體的輪廓信息。另外，高分辨率深度計(jì)算單元609從深度圖像存儲(chǔ)單元108a獲得基于已經(jīng)減小以減小計(jì)算量的的LR圖像而生成的低分辨率深度圖像。
[0142]然后，高分辨率深度計(jì)算單元609基于目標(biāo)物體的輪廓信息和低分辨率深度圖像來(lái)生成高分辨率深度圖像。在下文中，將參照?qǐng)D10來(lái)做出描述。
[0143]圖10是根據(jù)本實(shí)施例的用于圖示高分辨率深度圖像的生成的示意圖。圖10所示的IR圖像901是在IR照射單元104進(jìn)行照射的時(shí)候已經(jīng)由IR立體攝像機(jī)102捕捉到并且在IR圖像存儲(chǔ)單元106中存儲(chǔ)的無(wú)隨機(jī)圖案IR圖像。另外，輪廓圖像902是具有由圖像識(shí)別單元109基于在IR圖像存儲(chǔ)單元106中存儲(chǔ)的IR圖像901，通過(guò)應(yīng)用差分濾波器而獲得的目標(biāo)物體的輪廓信息的圖像。在識(shí)別結(jié)果存儲(chǔ)單元110中存儲(chǔ)這種輪廓圖像902。
[0144]另一方面，低分辨率深度圖像802a是由立體圖像匹配單元107a通過(guò)減小作為輸入圖像的L圖像和R圖像以減小計(jì)算量而生成的深度圖像。作為輸入的L圖像和R圖像是具有在IR隨機(jī)圖案照射單元103進(jìn)行照射的時(shí)候由IR立體攝像機(jī)102捕捉到的隨機(jī)圖案的IR圖像。在深度圖像存儲(chǔ)單元108a中存儲(chǔ)由立體圖像匹配單元107a生成的深度圖像802a。
[0145]然后，高分辨率深度計(jì)算單元609獲得并且同步在深度圖像存儲(chǔ)單元108a中存儲(chǔ)的低分辨率深度圖像802a和在識(shí)別結(jié)果存儲(chǔ)單元110中存儲(chǔ)的IR圖像的輪廓圖像902。具體地，高分辨率深度計(jì)算單元609擴(kuò)大在圖10中所示的低分辨率深度圖像802a，并且使放大的深度圖像802b與輪廓圖像902同步。
[0146]在圖10所示的同步圖像903中，可以通過(guò)輪廓來(lái)識(shí)別手指的形狀。此處，高分辨率深度計(jì)算單元609在輪廓內(nèi)利用具有從深度圖像802b中獲得的有效深度值的最外邊緣像素的值來(lái)代替無(wú)有效深度值的深色區(qū)域，以填充該區(qū)域，從而獲得高分辨率深度圖像904。
[0147]在高分辨率深度圖像存儲(chǔ)單元610中存儲(chǔ)具有由高分辨率深度計(jì)算單元609生成的高清輪廓信息的深度圖像904。
[0148]〈3-2、操作〉
[0149]已經(jīng)具體描述了根據(jù)本實(shí)施例的圖像處理裝置10-3的配置以及高分辨率深度圖像的生成。通過(guò)圖像處理裝置10-3的定時(shí)控制單元101而進(jìn)行的圖像捕捉和照射定時(shí)的控制與參照?qǐng)D4所描述的第一實(shí)施例相似，并且因此，此處將省略對(duì)其的描述。
[0150]〈3-3.效果〉
[0151]如上面所描述，由于第三實(shí)施例，可以減小在深度計(jì)算方面的計(jì)算量，例如，通過(guò)減小輸入圖像或者進(jìn)行降低，并且獲得高分辨率深度圖像。
[0152]另外，如同第一實(shí)施例，通過(guò)基于其上投影有IR隨機(jī)圖案的圖像來(lái)獲得深度信息，可以甚至從無(wú)圖案的平坦對(duì)象獲得深度信息。進(jìn)一步地，通過(guò)使用其上未投影有IR隨機(jī)圖案的圖像，可以準(zhǔn)確地進(jìn)行目標(biāo)物體的邊沿處理。
[0153]根據(jù)第三實(shí)施例的第三圖像處理裝置10-3的配置并不限于圖8所示的示例。例如，圖像處理裝置10-3可以具有在第二實(shí)施例中所示的定時(shí)控制單元401、IR隨機(jī)圖案照射單元404、IR立體攝像機(jī)402、IR攝像機(jī)403、IR照射單元405和IR圖像存儲(chǔ)單元106a，來(lái)代替定時(shí)控制單元101、IR隨機(jī)圖案照射單元103、IR立體攝像機(jī)102、IR照射單元104和IR圖像存儲(chǔ)單元106。
[0154]《4、總結(jié)》
[0155]如上面所描述，根據(jù)本公開(kāi)的實(shí)施例的圖像處理裝置10-1至10-3控制紅外線(xiàn)圖案照射的定時(shí)，從而獲得其上照射有圖案的紅外線(xiàn)圖像以及其上未照射有圖案的紅外線(xiàn)圖像，以獲得更加準(zhǔn)確的深度信息。
[0156]上面已經(jīng)參照附圖描述了本公開(kāi)的優(yōu)選實(shí)施例，同時(shí)，本公開(kāi)并不限于上述示例。本領(lǐng)域技術(shù)人員可以發(fā)現(xiàn)在所附權(quán)利要求書(shū)的范圍內(nèi)的變更和修改，并且應(yīng)該理解，它們將天生在本公開(kāi)的技術(shù)范圍內(nèi)。
[0157]例如，可以創(chuàng)建用于使集成到上述圖像處理裝置10-1至10-3中的硬件(諸如，CPU、ROM和RAM)能夠進(jìn)行圖像處理裝置10-1至10-3的功能的計(jì)算機(jī)程序。
[0158]進(jìn)一步地，在第二實(shí)施例和第三實(shí)施例中，也可以按照與在第一實(shí)施例的補(bǔ)充中所描述的方式相似的方式來(lái)進(jìn)行基于由單目IR攝像機(jī)112捕捉到的IR圖像以及預(yù)先存儲(chǔ)的隨機(jī)圖案來(lái)生成深度信息。
[0159]另外，本說(shuō)明書(shū)中所描述的效果僅僅是說(shuō)明性和示范性的，而不是限制性的。換言之，根據(jù)本公開(kāi)的技術(shù)可以呈現(xiàn)對(duì)本領(lǐng)域技術(shù)人員顯而易見(jiàn)的其它效果連同基于本說(shuō)明書(shū)的效果，而不是顯示基于本說(shuō)明書(shū)的效果。
[0160]另外，本技術(shù)還可以如下配置。
[0161](I)
[0162]一種圖像處理裝置，其包括:
[0163]圖案照射單元，該圖案照射單元將紅外線(xiàn)圖案照射到目標(biāo)物體的表面上；以及
[0164]紅外線(xiàn)圖像捕捉單元，該紅外線(xiàn)圖像捕捉單元捕捉紅外線(xiàn)圖像，其中，
[0165]圖案照射單元在與紅外線(xiàn)圖像捕捉單元的圖像捕捉定時(shí)對(duì)應(yīng)的預(yù)定定時(shí)處進(jìn)行照射，并且
[0166]高紅外線(xiàn)圖像捕捉單元獲得:圖案投影紅外線(xiàn)圖像，在該圖案投影紅外線(xiàn)圖像中，將由圖案照射單元照射的圖案投影到目標(biāo)物體上；以及無(wú)圖案紅外線(xiàn)圖像，在該無(wú)圖案紅外線(xiàn)圖像中，未將圖案投影到目標(biāo)物體上。
[0167](2)
[0168]根據(jù)(I)所述的圖像處理裝置，其中，圖案照射單元按照紅外線(xiàn)圖像捕捉單元的圖像捕捉定時(shí)的預(yù)定間隔同時(shí)照射。
[0169](3)
[0170]根據(jù)(2)所述的圖像處理裝置，其中，圖案照射單元在紅外線(xiàn)圖像捕捉單元的圖像捕捉定時(shí)的奇數(shù)定時(shí)或者偶數(shù)定時(shí)處照射。
[0171](4)
[0172]根據(jù)(2)或者(3)所述的圖像處理裝置，其進(jìn)一步包括:
[0173]紅外線(xiàn)照射單元，該紅外線(xiàn)照射單元無(wú)圖案，其中，
[0174]在紅外線(xiàn)圖像捕捉單元的圖像捕捉定時(shí)中，紅外線(xiàn)照射單元在與圖案照射單元的照射定時(shí)不同的定時(shí)處照射無(wú)圖案紅外線(xiàn)。
[0175](5)
[0176]根據(jù)(4)所述的圖像處理裝置，其中，紅外線(xiàn)照射單元與圖案照射單元交替地照射無(wú)圖案紅外線(xiàn)。
[0177](6)
[0178]根據(jù)(I)至(5)中的任一項(xiàng)所述的圖像處理裝置，其進(jìn)一步包括:
[0179]第一深度計(jì)算單元，該第一深度計(jì)算單元基于由紅外線(xiàn)圖像捕捉單元捕捉到的圖像投影紅外線(xiàn)圖像以及預(yù)先存儲(chǔ)的并且由圖案照射單元照射的圖案來(lái)進(jìn)行塊匹配，以計(jì)算目標(biāo)物體的深度信息。
[0180](7)
[0181]根據(jù)(I)至(5)中的任一項(xiàng)所述的圖像處理裝置，其中，
[0182]紅外線(xiàn)圖像捕捉單元包括兩個(gè)或者多個(gè)紅外線(xiàn)圖像捕捉單元，并且
[0183]圖像處理裝置進(jìn)一步包括:
[0184]第二深度計(jì)算單元，該第二深度計(jì)算單元基于由該兩個(gè)或者多個(gè)紅外線(xiàn)圖像捕捉單元從多個(gè)視點(diǎn)捕捉到的圖案投影紅外線(xiàn)圖像來(lái)進(jìn)行塊匹配，以計(jì)算目標(biāo)物體的深度信息。
[0185](8)
[0186]根據(jù)(I)所述的圖像處理裝置，其中，
[0187]圖案照射單元通過(guò)使用預(yù)定波長(zhǎng)的紅外線(xiàn)來(lái)照射圖案，
[0188]紅外線(xiàn)圖像捕捉單元包括第一紅外線(xiàn)圖像捕捉單元和第二紅外線(xiàn)圖像捕捉單元，
[0189]第一紅外線(xiàn)圖像捕捉單元包括允許被圖案照射單元照射的波長(zhǎng)附近的紅外線(xiàn)穿過(guò)的帶通濾波器、低通濾波器以及高通濾波器中的至少一個(gè)，并且
[0190]第二紅外線(xiàn)圖像捕捉單元包括切斷具有被圖案照射單元照射的波長(zhǎng)的紅外線(xiàn)的帶通濾波器、低通濾波器以及高通濾波器中的至少一個(gè)。
[0191](9)
[0192]根據(jù)(8)所述的圖像處理裝置，其進(jìn)一步包括:
[0193]紅外線(xiàn)照射單元，該紅外線(xiàn)照射單元無(wú)圖案，其中，
[0194]該第二紅外線(xiàn)圖像捕捉單元包括允許由圖案照射單元照射的波長(zhǎng)附近的紅外線(xiàn)穿過(guò)的帶通濾波器、低通濾波器以及高通濾波器中的至少一個(gè)。
[0195](10)
[0196]根據(jù)(9)所述的圖像處理裝置，其中，第一紅外線(xiàn)圖像捕捉單元和第二紅外線(xiàn)圖像捕捉單元進(jìn)行圖像捕捉的定時(shí)以及紅外線(xiàn)照射單元和圖案照射單元進(jìn)行照射的定時(shí)全部是相同的定時(shí)。
[0197](11)
[0198]根據(jù)(I)至5和8至(10)中的任一項(xiàng)所述的圖像處理裝置，其進(jìn)一步包括:
[0? 99]第三深度計(jì)算單元，該第三深度計(jì)算單元基于由紅外線(xiàn)圖像捕捉單元捕捉到的圖像投影紅外線(xiàn)圖像以及預(yù)先存儲(chǔ)的并且由圖案照射單元照射的圖案來(lái)進(jìn)行需要減少的計(jì)算量的塊匹配，以計(jì)算目標(biāo)物體的低分辨率深度信息。
[0200] (12)
[0201]根據(jù)(I)至5和8至(10)中的任一項(xiàng)所述的圖像處理裝置，其中，
[0202]紅外線(xiàn)圖像捕捉單元包括兩個(gè)或者多個(gè)紅外線(xiàn)圖像捕捉單元，并且
[0203]圖像處理裝置進(jìn)一步包括:
[0204]第四深度計(jì)算單元，該第四深度計(jì)算單元基于由兩個(gè)或者多個(gè)紅外線(xiàn)圖像捕捉單元從多個(gè)視點(diǎn)捕捉到的圖案投影紅外線(xiàn)圖像來(lái)進(jìn)行需要減少的計(jì)算量的塊匹配，以計(jì)算目標(biāo)物體的低分辨率深度信息。
[0205](13)
[0206]根據(jù)(12)所述的圖像處理裝置，其進(jìn)一步包括:
[0207]高分辨率深度計(jì)算單元，該高分辨率深度計(jì)算單元基于由第四深度計(jì)算單元計(jì)算得到的低分辨率深度信息以及從無(wú)圖案紅外線(xiàn)圖像中提取到的目標(biāo)物體的輪廓信息，來(lái)計(jì)算目標(biāo)物體的高分辨率深度信息。
[0208](14)
[0209]根據(jù)(I)至(14)中的任一項(xiàng)所述的圖像處理裝置，其中，圖案是隨機(jī)圖案。
[0210](15)
[0211]根據(jù)(I)至(14)中的任一項(xiàng)所述的圖像處理裝置，其中，圖案是通過(guò)使紅外線(xiàn)穿過(guò)電鑄形成的掩模而形成。
[0212](16)
[0213]一種圖像處理方法，其包括:
[0214]通過(guò)圖案照射單元將紅外線(xiàn)圖案照射到目標(biāo)物體的表面上；以及
[0215]通過(guò)紅外線(xiàn)圖像捕捉單元捕捉紅外線(xiàn)圖像，其中，
[0216]圖案照射單元在與紅外線(xiàn)圖像捕捉單元的圖像捕捉定時(shí)對(duì)應(yīng)的預(yù)定定時(shí)處進(jìn)行照射，并且
[0217]紅外線(xiàn)圖像捕捉單元獲得:圖案投影紅外線(xiàn)圖像，在該圖案投影紅外線(xiàn)圖像中，將由圖案照射單元照射的圖案投影到目標(biāo)物體上；以及無(wú)圖案紅外線(xiàn)圖像，在該無(wú)圖案紅外線(xiàn)圖像中，未將圖案投影到目標(biāo)物體上。
[0218]附圖標(biāo)記列表
[0219]10-1、10-2、10-3 圖像處理裝置
[0220]101、401定時(shí)控制單元
[0221]102,402 IR立體攝像機(jī)
[0222]112單目IR攝像機(jī)
[0223]403 IR攝像機(jī)
[0224]103,404 IR隨機(jī)圖案照射單元
[0225]104 IR照射單元
[0226]105隨機(jī)圖案LR圖像存儲(chǔ)單元
[0227]106、106a IR圖像存儲(chǔ)單元
[0228]107、107a立體圖像匹配單元
[0229]108、108a深度圖像存儲(chǔ)單元
[0230]109圖像識(shí)別單元
[0231]HO識(shí)別結(jié)果存儲(chǔ)單元
[0232]201,501 IR立體攝像機(jī)控制脈沖
[0233]202,503 IR隨機(jī)圖案照射單元控制脈沖
[0234]203、504 IR照射單元控制脈沖
[0235]301光發(fā)射控制單元
[0236]302 IR光源
[0237]303 IR隨機(jī)圖案掩模
[0238]304投影透鏡
[0239]310 IR隨機(jī)圖案
[0240]502 IR攝像機(jī)控制脈沖
[0241]609高分辨率深度計(jì)算單元
[0242]610高分辨率深度圖像存儲(chǔ)單元
[0243]801在計(jì)算量減小時(shí)獲得的深度圖像
[0244]802a在計(jì)算量未減小時(shí)獲得的深度圖像
[0245]802b在計(jì)算量減小時(shí)獲得的(放大的)深度圖像
[0246]901 IR 圖像
[0247]902輪廓圖像
[0248]903同步圖像
[0249]904高分辨率深度圖像。
【主權(quán)項(xiàng)】
1.一種圖像處理裝置，其包括: 圖案照射單元，所述圖案照射單元將紅外線(xiàn)圖案照射到目標(biāo)物體的表面上；以及 紅外線(xiàn)圖像捕捉單元，所述紅外線(xiàn)圖像捕捉單元捕捉紅外線(xiàn)圖像，其中， 所述圖案照射單元在與所述紅外線(xiàn)圖像捕捉單元的圖像捕捉定時(shí)對(duì)應(yīng)的預(yù)定定時(shí)處進(jìn)行照射，并且 所述紅外線(xiàn)圖像捕捉單元獲得:圖案投影紅外線(xiàn)圖像，在所述圖案投影紅外線(xiàn)圖像中，將由所述圖案照射單元照射的所述圖案投影到所述目標(biāo)物體上；以及無(wú)圖案紅外線(xiàn)圖像，在所述無(wú)圖案紅外線(xiàn)圖像中，所述圖案未被投影到所述目標(biāo)物體上。2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖案照射單元按照所述紅外線(xiàn)圖像捕捉單元的圖像捕捉定時(shí)的預(yù)定間隔同時(shí)照射。3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述圖案照射單元在所述紅外線(xiàn)圖像捕捉單元的圖像捕捉定時(shí)的奇數(shù)定時(shí)或者偶數(shù)定時(shí)處照射。4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其進(jìn)一步包括: 紅外線(xiàn)照射單元，所述紅外線(xiàn)照射單元無(wú)圖案，其中， 在所述紅外線(xiàn)圖像捕捉單元的圖像捕捉定時(shí)中，所述紅外線(xiàn)照射單元在與所述圖案照射單元的照射定時(shí)不同的定時(shí)處照射無(wú)圖案紅外線(xiàn)。5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述紅外線(xiàn)照射單元與所述圖案照射單元交替地照射所述無(wú)圖案紅外線(xiàn)。6.根據(jù)權(quán)利要求1所述的圖像處理裝置，其進(jìn)一步包括: 第一深度計(jì)算單元，所述第一深度計(jì)算單元基于由所述紅外線(xiàn)圖像捕捉單元捕捉到的所述圖像投影紅外線(xiàn)圖像以及預(yù)先存儲(chǔ)的并且由所述圖案照射單元照射的圖案來(lái)進(jìn)行塊匹配，以計(jì)算所述目標(biāo)物體的深度信息。7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述紅外線(xiàn)圖像捕捉單元包括兩個(gè)或者多個(gè)紅外線(xiàn)圖像捕捉單元，并且 所述圖像處理裝置進(jìn)一步包括: 第二深度計(jì)算單元，所述第二深度計(jì)算單元基于由所述兩個(gè)或者多個(gè)紅外線(xiàn)圖像捕捉單元從多個(gè)視點(diǎn)捕捉到的圖案投影紅外線(xiàn)圖像來(lái)進(jìn)行塊匹配，以計(jì)算所述目標(biāo)物體的深度?目息O8.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述圖案照射單元通過(guò)使用預(yù)定波長(zhǎng)的紅外線(xiàn)來(lái)照射所述圖案， 所述紅外線(xiàn)圖像捕捉單元包括第一紅外線(xiàn)圖像捕捉單元和第二紅外線(xiàn)圖像捕捉單元，所述第一紅外線(xiàn)圖像捕捉單元包括允許由所述圖案照射單元照射的波長(zhǎng)附近的紅外線(xiàn)穿過(guò)的帶通濾波器、低通濾波器以及高通濾波器中的至少一個(gè)，并且 所述第二紅外線(xiàn)圖像捕捉單元包括切斷具有由所述圖案照射單元照射的波長(zhǎng)的紅外線(xiàn)的帶通濾波器、低通濾波器以及高通濾波器中的至少一個(gè)。9.根據(jù)權(quán)利要求8所述的圖像處理裝置，其進(jìn)一步包括: 紅外線(xiàn)照射單元，所述紅外線(xiàn)照射單元無(wú)圖案，其中， 所述第二紅外線(xiàn)圖像捕捉單元包括允許由所述圖案照射單元照射的波長(zhǎng)附近的紅外線(xiàn)穿過(guò)的帶通濾波器、低通濾波器以及高通濾波器中的至少一個(gè)。10.根據(jù)權(quán)利要求9所述的圖像處理裝置，其中，所述第一紅外線(xiàn)圖像捕捉單元和所述第二紅外線(xiàn)圖像捕捉單元進(jìn)行圖像捕捉的定時(shí)以及所述紅外線(xiàn)照射單元和所述圖案照射單元進(jìn)行照射的定時(shí)全部是相同的定時(shí)。11.根據(jù)權(quán)利要求1所述的圖像處理裝置，其進(jìn)一步包括: 第三深度計(jì)算單元，所述第三深度計(jì)算單元基于由所述紅外線(xiàn)圖像捕捉單元捕捉到的所述圖像投影紅外線(xiàn)圖像以及預(yù)先存儲(chǔ)的并且由所述圖案照射單元照射的圖案來(lái)進(jìn)行需要減少的計(jì)算量的塊匹配，以計(jì)算所述目標(biāo)物體的低分辨率深度信息。12.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述紅外線(xiàn)圖像捕捉單元包括兩個(gè)或者多個(gè)紅外線(xiàn)圖像捕捉單元，并且 所述圖像處理裝置進(jìn)一步包括: 第四深度計(jì)算單元，所述第四深度計(jì)算單元基于由所述兩個(gè)或者多個(gè)紅外線(xiàn)圖像捕捉單元從多個(gè)視點(diǎn)捕捉到的圖案投影紅外線(xiàn)圖像來(lái)進(jìn)行需要減少的計(jì)算量的塊匹配，以計(jì)算所述目標(biāo)物體的低分辨率深度信息。13.根據(jù)權(quán)利要求12所述的圖像處理裝置，其進(jìn)一步包括: 高分辨率深度計(jì)算單元，所述高分辨率深度計(jì)算單元基于由所述第四深度計(jì)算單元計(jì)算得到的所述低分辨率深度信息以及從所述無(wú)圖案紅外線(xiàn)圖像中提取到的所述目標(biāo)物體的輪廓信息，來(lái)計(jì)算所述目標(biāo)物體的高分辨率深度信息。14.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖案是隨機(jī)圖案。15.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖案是通過(guò)使紅外線(xiàn)穿過(guò)電鑄形成的掩模而形成。16.—種圖像處理方法，所述圖像處理方法包括: 通過(guò)圖案照射單元將紅外線(xiàn)圖案照射到目標(biāo)物體的表面上；以及 通過(guò)紅外線(xiàn)圖像捕捉單元捕捉紅外線(xiàn)圖像，其中， 所述圖案照射單元在與紅外線(xiàn)圖像捕捉單元的圖像捕捉定時(shí)對(duì)應(yīng)的預(yù)定定時(shí)處進(jìn)行照射，并且 所述紅外線(xiàn)圖像捕捉單元獲得:圖案投影紅外線(xiàn)圖像，在所述圖案投影紅外線(xiàn)圖像中，將由所述圖案照射單元照射的所述圖案投影到所述目標(biāo)物體上；以及無(wú)圖案紅外線(xiàn)圖像，在所述無(wú)圖案紅外線(xiàn)圖像中，所述圖案未被投影到所述目標(biāo)物體上。
【文檔編號(hào)】G01B11/25GK105829829SQ201480069661
【公開(kāi)日】2016年8月3日
【申請(qǐng)日】2014年10月31日
【發(fā)明人】永田政晴, 松井康浩
【申請(qǐng)人】索尼公司