專利名稱：一種圖像深度計(jì)算方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理、激光三角測(cè)距、自然交互技術(shù)領(lǐng)域，具體涉及一種圖像深度計(jì)算方法。
背景技術(shù)：
自然和諧的人機(jī)交互方式是人類對(duì)操控機(jī)器的理想目標(biāo)，使機(jī)器能讀懂人在自然狀態(tài)所傳遞的命令。利用圖像處理技術(shù)獲取深度信息進(jìn)行三維圖像的實(shí)時(shí)識(shí)別及動(dòng)作捕捉，使人能以表情、手勢(shì)、體感動(dòng)作等自然方式與終端進(jìn)行交互成為可能。通過(guò)高精度的圖像深度信息獲取也是機(jī)器視覺(jué)系統(tǒng)發(fā)展的技術(shù)難點(diǎn)之一。圖像深度信息獲取技術(shù)已逐步從游戲機(jī)外設(shè)拓展到其它智能終端，包括智能電視、智能手機(jī)、PC、平板電腦等，為用戶帶來(lái)“科幻”般的操控方式和全新的人機(jī)交互體驗(yàn)，在游戲娛樂(lè)、消費(fèi)電子、醫(yī)療、教育等領(lǐng)域都有廣泛的應(yīng)用前景?；诮Y(jié)構(gòu)光的主動(dòng)視覺(jué)模式可以較為準(zhǔn)確地獲取圖像的深度信息，該模式相比雙目立體攝像頭，具有獲取的深度圖信息更穩(wěn)定可靠、不受環(huán)境光影響、立體匹配過(guò)程簡(jiǎn)單、算法計(jì)算量小等優(yōu)勢(shì)。如微軟的體感交互設(shè)備Kinect就是采用紅外結(jié)構(gòu)光的主動(dòng)視覺(jué)模式，即通過(guò)紅外激光投射固定模式的圖像到物體表面,經(jīng)物體表面的漫反射形成散斑點(diǎn)，由圖像傳感器采集獲得散斑圖像，再通過(guò)圖像深度傳感器芯片計(jì)算獲得物體的深度信息。上述方法雖然能準(zhǔn)確地獲得深度信息，然而其算法的實(shí)現(xiàn)依賴于昂貴的硬件設(shè)備，給實(shí)際應(yīng)用帶來(lái)困難。

發(fā)明內(nèi)容
本發(fā)明提供一種圖像深度計(jì)算方法，避免了復(fù)雜的深度計(jì)算公式，需要的硬件結(jié)構(gòu)簡(jiǎn)單，可實(shí)現(xiàn)高分辨深度信息的實(shí)時(shí)快速獲取。為解決上述技術(shù)問(wèn)題，本發(fā)明采用的技術(shù)方案是提供一種圖像深度計(jì)算方法，其特征在于，包括以下步驟
1)采集具有已知深度信息的標(biāo)準(zhǔn)散斑圖，作為基準(zhǔn)；
2)由圖像傳感器采集目標(biāo)物體的輸入散斑圖序列；
3)將所述輸入散斑圖序列中的各輸入散斑圖與標(biāo)準(zhǔn)散斑圖進(jìn)行匹配，生成輸入散斑圖中各圖像塊的運(yùn)動(dòng)向量；
4)獲得輸入散斑圖中每一圖像塊的運(yùn)動(dòng)向量所對(duì)應(yīng)的深度信息；
5 )對(duì)所述輸入散斑圖中的所有圖像塊的深度信息進(jìn)行組合，得到所述目標(biāo)物體的深度圖。本發(fā)明提供的圖像深度計(jì)算方法，基于結(jié)構(gòu)光的主動(dòng)視覺(jué)模式，采用塊匹配運(yùn)動(dòng)估計(jì)方法提高了匹配精度，通過(guò)激光三角測(cè)距法或者查找表的方式獲得目標(biāo)物體的高分辨深度信息，避免了復(fù)雜的深度計(jì)算公式，實(shí)現(xiàn)了深度信息的快速準(zhǔn)確獲取，簡(jiǎn)化了硬件結(jié)構(gòu)，易于實(shí)現(xiàn)，有利于大規(guī)模推廣。


圖1是本發(fā)明一個(gè)實(shí)施例的激光三角測(cè)距原理示意 圖2是本發(fā)明另一個(gè)實(shí)施例的深度計(jì)算查找表方式示意 圖3是本發(fā)明另一個(gè)實(shí)施例的位移量與深度距離的曲線擬合方法示意 圖4是本發(fā)明另一個(gè)實(shí)施例的塊匹配運(yùn)動(dòng)估計(jì)示意圖。
具體實(shí)施例方式下面結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)說(shuō)明。在一個(gè)實(shí)施例中，提供一種圖像深度計(jì)算方法，包括以下步驟
1)采集具有已知深度信息的標(biāo)準(zhǔn)散斑圖，作為基準(zhǔn)；
2)由圖像傳感器采集目標(biāo)物體的輸入散斑圖序列；
3 )將所述輸入散斑圖序列中的各輸入散斑圖與標(biāo)準(zhǔn)散斑圖進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)，生成輸入散斑圖中圖像塊的運(yùn)動(dòng)向量；
4)獲得輸入散斑圖中每一圖像塊的運(yùn)動(dòng)向量所對(duì)應(yīng)的深度信息；
5 )對(duì)所述輸入散斑圖中的所有圖像塊的深度信息進(jìn)行組合，得到所述目標(biāo)物體的深度圖。其中標(biāo)準(zhǔn)散斑圖的獲取可以通過(guò)如下方式實(shí)現(xiàn)將固定圖案的激光束(紅外、可見(jiàn)光、紫外線、不可見(jiàn)光)投射到與散斑投射器的中心軸(Z軸)相垂直的、且已知深度信息為
的標(biāo)準(zhǔn)平面，由圖像傳感器采集平面上所形成的散斑圖即為標(biāo)準(zhǔn)散斑圖。輸入散斑圖也
可以采用上述方法獲取，輸入散斑圖中含有要測(cè)量深度信息的目標(biāo)物體，其深度信息未知。上述標(biāo)準(zhǔn)平面及目標(biāo)物體需在散斑照射的有效距離范圍內(nèi)，并盡可能涵蓋固定圖案形成的整幅散斑圖像。本發(fā)明中，如未特別說(shuō)明，圖像塊的深度^/均是指該圖像塊所在的、與散斑投射器中心軸(Z軸)垂直的平面到散斑投射器前端的垂直距離。優(yōu)選的，在另一個(gè)實(shí)施例中，所述輸入散斑圖和所述標(biāo)準(zhǔn)散斑圖是通過(guò)將固定圖案的激光束分別投射至目標(biāo)物體和深度信息已知的物體表面而獲得。就該實(shí)施例而言，其僅僅用于限定一種散斑圖的獲得方式。優(yōu)選的，在另一個(gè)實(shí)施例中，對(duì)于所述步驟4)，其特征在于根據(jù)每一圖像塊的運(yùn)動(dòng)向量，在已知圖像傳感器焦距和傳感器像素點(diǎn)點(diǎn)距參數(shù)的情況下，利用該運(yùn)動(dòng)向量結(jié)合激光三角測(cè)距方法求取深度的相對(duì)變化值，該相對(duì)變化值可正可負(fù)，該相對(duì)變化值加上標(biāo)準(zhǔn)散斑圖的已知深度信息即可得到該圖像塊對(duì)應(yīng)的深度信息。圖1是該實(shí)施例的激光三角測(cè)距原理示意圖。根據(jù)每一圖像塊的位移量(Ar，Ajr)，在已知圖像傳感器焦距/和傳感器像素點(diǎn)點(diǎn)距參數(shù)的情況下，利用該位移量結(jié)合激光三角測(cè)距方法求取深度的相對(duì)變化值,該變化值可正可負(fù)，加上標(biāo)準(zhǔn)散斑
圖的已知深度信息rf，即可得到該圖像塊對(duì)應(yīng)的深度信息，其中當(dāng)該相對(duì)變化值為
正值時(shí)，該圖像塊對(duì)應(yīng)的深度信息大于標(biāo)準(zhǔn)散斑圖的已知深度信息；當(dāng)該相對(duì)變化值為負(fù)值時(shí)，該圖像塊對(duì)應(yīng)的深度信息小于標(biāo)準(zhǔn)散斑圖的已知深度信息；當(dāng)該相對(duì)變化值為零時(shí)，該圖像塊對(duì)應(yīng)的深度信息等于標(biāo)準(zhǔn)散斑圖的已知深度信息。
為進(jìn)一步簡(jiǎn)化深度信息的獲取方式，在另一個(gè)實(shí)施例中，在上述步驟3 )及步驟4 )之間增加一個(gè)建立運(yùn)動(dòng)向量與深度信息的對(duì)應(yīng)關(guān)系的查找表的步驟，利用查找表法求取輸入散斑圖中圖像塊的深度，該查找表根據(jù)標(biāo)準(zhǔn)散斑圖不同位移量及其對(duì)應(yīng)的深度值建立。具體地，查找表中水平位移量Ar或垂直位移量與深度的對(duì)應(yīng)關(guān)系可由以下方法獲得由多個(gè)不同深度距離rf (如…)的標(biāo)準(zhǔn)散斑圖兩兩進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)，得到不同標(biāo)準(zhǔn)散斑圖之間的位移量，如水平位移量Axl) Axu5Axg或垂直位移量AJi2==Af2.3…一；經(jīng)曲線擬合方法可得到水平位移量At或垂直位移量Af與物體深度距離的關(guān)系；依據(jù)該曲線方程即可生成任意水平位移量Ar或任意垂直位移量知與深度距離rf對(duì)應(yīng)的查找表。根據(jù)該查找表可獲得任意水平位移量Al或垂直位移量知所對(duì)應(yīng)的該圖像塊的深度信肩d圖2是本實(shí)施例深度計(jì)算查找表方式的示意圖。經(jīng)對(duì)輸入散斑圖所有圖像塊的深度進(jìn)行查找并組合，即可得到該輸入散斑圖所對(duì)應(yīng)的深度圖。優(yōu)選地,深度圖用灰度圖來(lái)表示，比如灰度值越大表示越近，即今1. 3值約??；灰度值越小表示越遠(yuǎn)、即今 3值越大。也可采用相反方式用灰度圖來(lái)表示深度圖。也就是說(shuō)，本發(fā)明實(shí)現(xiàn)了查找表方式求取深度rfhrf，例如在具體實(shí)施中，將水平
位移量Ac或垂直位移量Ajr作為查找表的輸入值，得到輸出值深度從而避免了復(fù)雜的深度計(jì)算公式，實(shí)現(xiàn)了硬件結(jié)構(gòu)的簡(jiǎn)化和硬件資源的節(jié)省。進(jìn)一步地，在另一個(gè)實(shí)施例中，提供一種位移量與深度信息之間關(guān)系的曲線擬合方法(參見(jiàn)圖3)，以水平位移量Al為例，在散斑投射器的有效范圍內(nèi)，將經(jīng)散斑投射器投
射散斑圖案到與散斑投射器中心軸(Z軸)相垂直、且一定的深度距離毛的平面上，通過(guò)選
取一組相互平行且間距相等的平面，經(jīng)圖像傳感器采集獲得對(duì)應(yīng)的一組不同深度距離的標(biāo)準(zhǔn)散斑圖，然后對(duì)相鄰的標(biāo)準(zhǔn)散斑圖兩兩之間進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)，獲取一組水平位移量
Axl2l = ……，由公式= Axu +il'3— +變換，從而得到一組深度距離跟水
平位移量的數(shù)據(jù)對(duì)O)……，用一類與數(shù)據(jù)對(duì)相適應(yīng)的解析表達(dá)式rf=/(A*;c)來(lái)反映水平位移量Ar與深度距離d的依賴關(guān)系。本實(shí)例中Ac與rf是非線性關(guān)系，式中待定參數(shù)^色々=---e >用一定的衡量擬合優(yōu)度的標(biāo)準(zhǔn)(如最小二乘法)計(jì)算得至|J。表達(dá)式rf =/(Al 確定后，就可得到任意水平位移量Ac下對(duì)應(yīng)的深度距離rf，由此可生成查找表。在本發(fā)明所提出的計(jì)算方法中，輸入散斑圖的運(yùn)動(dòng)向量(用水平位移量Ar和垂直位移量Ajr表示)的精度直接關(guān)系到深度距離的精度。最佳地，在如下實(shí)施例中，提供一個(gè)可獲取高分辨獲取輸入散斑圖運(yùn)動(dòng)向量的塊匹配運(yùn)動(dòng)估計(jì)方法。具體包括以下步驟在輸入散斑圖中提取大小為的圖像塊
;在標(biāo)準(zhǔn)散斑圖中，以圖像塊Mt所對(duì)應(yīng)位置為中心、大小為(MxiV)的搜索窗march_hiockMxS內(nèi)，按搜索策略和相似度測(cè)量指標(biāo)來(lái)尋找該圖像塊的最優(yōu)的匹配塊，其
中,#、N、n、m都是整數(shù),且麗> 、從而獲得該圖像塊的位移量(Ar，細(xì))，即運(yùn)動(dòng)向量。 優(yōu)選地，搜索窗內(nèi)匹配塊的搜索策略是先按水平方向移動(dòng)塊、再在垂直方向增加行數(shù)，逐個(gè)匹配塊進(jìn)行搜索，其匹配插值精度可達(dá)到子像素級(jí)。 在本實(shí)施例中，輸入散斑圖序列中的散斑圖案可認(rèn)為是由標(biāo)準(zhǔn)散斑圖的散斑圖案經(jīng)縮放、平移等操作得到，求取對(duì)應(yīng)散斑圖像塊的運(yùn)動(dòng)向量(即位移量)，結(jié)合查找表即可獲得該散斑圖像塊的深度信息。該塊匹配運(yùn)動(dòng)估計(jì)方法不同于傳統(tǒng)的塊匹配算法。在匹配過(guò)程中，傳統(tǒng)的運(yùn)動(dòng)估計(jì)匹配算法其匹配塊的步長(zhǎng)I等于匹配塊的大小，從輸入散斑圖中提取的圖像塊的步長(zhǎng)I也可小于匹配塊的大小，經(jīng)塊匹配求取的運(yùn)動(dòng)向量只代表了運(yùn)動(dòng)塊中心區(qū)域、步長(zhǎng)I范圍內(nèi)像素點(diǎn)(圖2中的陰影區(qū)域)的運(yùn)動(dòng)向量，以此方法可取得運(yùn)動(dòng)向量的準(zhǔn)確率和細(xì)小物體運(yùn)動(dòng)向量誤匹配現(xiàn)象的折衷。雖然上述的實(shí)施例在特定的裝置系統(tǒng)中完成，然其并非限定本發(fā)明，本領(lǐng)域技術(shù)人員很容易想到，將上述類似的方法應(yīng)用到相似的圖案投射或其他圖像深度計(jì)算系統(tǒng)中。因而在不脫離本發(fā)明的精神和范圍內(nèi)的修改和完善，均應(yīng)包含在上述的權(quán)利要求范圍內(nèi)。
權(quán)利要求
1.一種圖像深度計(jì)算方法，其特征在于，包括以下步驟1)采集具有已知深度信息的標(biāo)準(zhǔn)散斑圖，作為基準(zhǔn)；2)由圖像傳感器采集目標(biāo)物體的輸入散斑圖序列；3 )將所述輸入散斑圖序列中的各輸入散斑圖與標(biāo)準(zhǔn)散斑圖進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)，生成輸入散斑圖中圖像塊的運(yùn)動(dòng)向量；4)獲得輸入散斑圖中每一圖像塊的運(yùn)動(dòng)向量所對(duì)應(yīng)的深度信息；5 )對(duì)所述輸入散斑圖中的所有圖像塊的深度信息進(jìn)行組合，得到所述目標(biāo)物體的深度圖。
2.如權(quán)利要求1所述的方法，其中，所述輸入散斑圖和所述標(biāo)準(zhǔn)散斑圖是通過(guò)將固定圖案的激光束分別投射至目標(biāo)物體和深度信息已知的物體表面而獲得。
3.如權(quán)利要求1所述的方法，對(duì)于所述步驟4)，其特征在于根據(jù)每一圖像塊的運(yùn)動(dòng)向量，在已知圖像傳感器焦距和傳感器像素點(diǎn)點(diǎn)距參數(shù)的情況下，利用該運(yùn)動(dòng)向量結(jié)合激光三角測(cè)距方法求取深度的相對(duì)變化值，該相對(duì)變化值加上標(biāo)準(zhǔn)散斑圖的已知深度信息即可得到該圖像塊對(duì)應(yīng)的深度信息，其中當(dāng)該相對(duì)變化值為正值時(shí)，該圖像塊對(duì)應(yīng)的深度信息大于標(biāo)準(zhǔn)散斑圖的已知深度信息；當(dāng)該相對(duì)變化值為負(fù)值時(shí)，該圖像塊對(duì)應(yīng)的深度信息小于標(biāo)準(zhǔn)散斑圖的已知深度信息；當(dāng)該相對(duì)變化值為零時(shí)，該圖像塊對(duì)應(yīng)的深度信息等于標(biāo)準(zhǔn)散斑圖的已知深度信息。
4.如權(quán)利要求1所述的方法，其特征在于步驟3)和步驟4)之間還有一個(gè)建立運(yùn)動(dòng)向量與深度信息之間對(duì)應(yīng)關(guān)系的查找表的步驟，所述圖像塊的深度信息通過(guò)查找表法求取。
5.如權(quán)利要求4所述的方法，其特征在于所述查找表根據(jù)標(biāo)準(zhǔn)散斑圖的不同位移量及其對(duì)應(yīng)的深度信息建立。
6.如權(quán)利要求4 5任一項(xiàng)所述的方法，其特征在于所述查找表由以下方法建立將多個(gè)具有不同深度信息的標(biāo)準(zhǔn)散斑圖兩兩進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)，得到不同深度信息所對(duì)應(yīng)的標(biāo)準(zhǔn)散斑圖之間的位移量；經(jīng)曲線擬合，計(jì)算水平位移量 Ar或垂直位移量細(xì)與其對(duì)應(yīng)的深度信息rf的曲線方程；依據(jù)該曲線方程建立任意水平位移量Ar或任意垂直位移量Af與深度信息d對(duì)應(yīng)的查找表。
7.如權(quán)利要求1 5任一項(xiàng)所述的方法，其中，所述塊匹配運(yùn)動(dòng)估計(jì)包括如下步驟在輸入散斑圖中提取大小為)的圖像塊;在標(biāo)準(zhǔn)散斑圖中，以圖像塊所對(duì)應(yīng)位置為中心、大小為(Mxitfr)的搜索窗·內(nèi)，按搜索策略和相似度測(cè)量指標(biāo)來(lái)尋找該圖像塊對(duì)應(yīng)的最優(yōu)匹配塊，其中，見(jiàn)#、n、m都是整數(shù)，且麗> 、從而獲得該圖像塊與其匹配塊之間的位移量(Ar , AF )，即該圖像塊的運(yùn)動(dòng)向量。
8.如權(quán)利要求7所述的方法，其中所述搜索策略為先按水平方向移動(dòng)塊、再在垂直方向增加行數(shù)，逐個(gè)匹配塊進(jìn)行搜索。
9.如權(quán)利要求7或8所述的方法，其特征在于從輸入散斑圖中提取的圖像塊的步長(zhǎng)小于其對(duì)應(yīng)的匹配塊的大小。
全文摘要
本發(fā)明提供的圖像深度計(jì)算方法，基于結(jié)構(gòu)光的主動(dòng)視覺(jué)模式，采用塊匹配運(yùn)動(dòng)估計(jì)方法提高了匹配精度，通過(guò)激光三角法或者查找表的方式獲得目標(biāo)物體的高分辨深度信息，避免了復(fù)雜的深度計(jì)算公式，實(shí)現(xiàn)了深度信息的快速準(zhǔn)確獲取，簡(jiǎn)化了硬件結(jié)構(gòu)，易于實(shí)現(xiàn)，有利于大規(guī)模推廣。
文檔編號(hào)G06T7/00GK102999910SQ20121049025
公開(kāi)日2013年3月27日 申請(qǐng)日期2012年11月27日 優(yōu)先權(quán)日2012年11月27日
發(fā)明者葛晨陽(yáng), 姚慧敏, 李倩敏, 葛瑞龍, 李偉, 江豪 申請(qǐng)人:西安交通大學(xué)