一種三維空間中的手勢(shì)識(shí)別系統(tǒng)及其識(shí)別方法
【專利摘要】本發(fā)明公開了一種三維空間中的手勢(shì)識(shí)別系統(tǒng)，包括圖像采集單元，圖像處理單元，圖像比較單元和手勢(shì)識(shí)別單元。本發(fā)明還公開了一種實(shí)現(xiàn)三維空間中的手勢(shì)識(shí)別系統(tǒng)的手勢(shì)識(shí)別方法，包括以下步驟：步驟1、紅外照明模塊照亮手勢(shì)操作區(qū)域；步驟2、手勢(shì)采集模塊中各個(gè)攝像頭采集用戶手勢(shì)操作圖像；步驟3、圖像處理單元對(duì)多個(gè)攝像頭所采集的圖像進(jìn)行處理，提取出各個(gè)攝像頭在同一時(shí)刻采集到的用戶手勢(shì)；步驟4、圖像比較單元對(duì)比同一時(shí)刻所提取的各個(gè)用戶手勢(shì)圖像，依照選取規(guī)則，選擇其中最優(yōu)的手勢(shì)圖像；步驟5、輸出識(shí)別結(jié)果。具有真正使用戶能夠在實(shí)際空間中靈活地對(duì)物件進(jìn)行非接觸手勢(shì)操作等優(yōu)點(diǎn)。
【專利說明】一種三維空間中的手勢(shì)識(shí)別系統(tǒng)及其識(shí)別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像識(shí)別技術(shù)，特別涉及一種三維空間中的手勢(shì)識(shí)別系統(tǒng)及其識(shí)別方法。
【背景技術(shù)】
[0002]隨著人機(jī)交互技術(shù)的發(fā)展，自然和諧的人機(jī)交互方式日益受到人們的重視.在人機(jī)交互領(lǐng)域中，非接觸手勢(shì)交互方式擺脫了遙控器，鼠標(biāo)等的束縛，為人們提供了一種更加方便的交互方法.基于視覺的非接觸手勢(shì)識(shí)別技術(shù)，以其自然性、簡(jiǎn)潔性和直接性的特點(diǎn)，提供了一個(gè)自然的人機(jī)接口，受到了人們的普遍關(guān)注。
[0003]現(xiàn)有的手勢(shì)識(shí)別技術(shù)可以分為兩大類:基于三維手勢(shì)建模的方法和基于表現(xiàn)建模的方法。其中，基于表現(xiàn)的手勢(shì)識(shí)別方法直接從圖像中提取相應(yīng)的特征進(jìn)行識(shí)別，受視角和手指遮掩等因素影響較大，可有效識(shí)別的手勢(shì)種類較少。而目前已有的三維手勢(shì)建模的方法主要是使用深度攝像頭(如kinect等)，或者使用雙目或多目攝像頭進(jìn)行建模。用戶在使用此類方法進(jìn)行手勢(shì)識(shí)別時(shí)，需要對(duì)著特定的方向進(jìn)行操作，如果用戶操作超出圖像采集區(qū)域，就會(huì)造成丟失，降低用戶體驗(yàn)。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的首要目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種三維空間中的手勢(shì)識(shí)別系統(tǒng)，該系統(tǒng)操作簡(jiǎn)單方便。
[0005]本發(fā)明的另一目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種實(shí)現(xiàn)三維空間中的手勢(shì)識(shí)別系統(tǒng)的識(shí)別方法，該方法使手勢(shì)識(shí)別的精度高，誤識(shí)別率低。
[0006]本發(fā)明的首要目的通過下述技術(shù)方案實(shí)現(xiàn):一種三維空間中的手勢(shì)識(shí)別系統(tǒng)，包括圖像采集單元，圖像處理單元和圖像比較單元，手勢(shì)識(shí)別單元。圖像采集單元包括紅外照明模塊和手勢(shì)采集模塊；圖像處理單元包括圖像預(yù)處理模塊，區(qū)域分割模塊和特征提取模塊；圖形比較單元為手勢(shì)選取模塊；手勢(shì)識(shí)別單元包括手勢(shì)數(shù)據(jù)庫(kù)及手勢(shì)匹配模塊，手勢(shì)識(shí)別模塊。
[0007]所述紅外照明模塊用于提供復(fù)雜環(huán)境下的可靠照明，確保采集圖像的質(zhì)量。
[0008]所述手勢(shì)采集模塊，具體為多個(gè)攝像頭，用于對(duì)用戶手勢(shì)圖像進(jìn)行采集。
[0009]所述圖像處理單元用于對(duì)所采集圖像的處理，并提取出用戶的手勢(shì)。
[0010]所述圖像比較單元用于對(duì)所述圖像處理單元所提取的用戶手勢(shì)進(jìn)行對(duì)比，確定最優(yōu)的用戶手勢(shì)。
[0011]所述手勢(shì)數(shù)據(jù)庫(kù)及手勢(shì)匹配模塊，用于圖像比較單元所選取的最優(yōu)手勢(shì)與手勢(shì)數(shù)據(jù)庫(kù)的匹配。
[0012]所述手勢(shì)識(shí)別模塊，用于對(duì)最優(yōu)圖像的圖像處理并進(jìn)行手勢(shì)識(shí)別，并輸出識(shí)別結(jié)
果O
[0013]本發(fā)明的另一目的通過以下技術(shù)方案實(shí)現(xiàn)，一種實(shí)現(xiàn)三維空間中的手勢(shì)識(shí)別系統(tǒng)的識(shí)別方法，包括以下步驟:
[0014]1、紅外照明模塊照亮手勢(shì)操作區(qū)域；
[0015]2、手勢(shì)采集模塊中各個(gè)攝像頭采集用戶手勢(shì)操作圖像；
[0016]3、圖像處理單元對(duì)多個(gè)攝像頭所采集的圖像進(jìn)行處理，提取出各個(gè)攝像頭在同一時(shí)刻采集到的用戶手勢(shì)；
[0017]4、圖像比較單元對(duì)比同一時(shí)刻所提取的各個(gè)用戶手勢(shì)圖像，依照選取規(guī)則，選擇其中最優(yōu)的手勢(shì)圖像；所述特定的選取規(guī)則可以根據(jù)實(shí)際需要靈活設(shè)定，比如面積最大選取或者手勢(shì)特征值最優(yōu)選取。具體可為:三維空間中的手勢(shì)識(shí)別系統(tǒng)包括圖像采集單元，圖像處理單元，圖像比較單元和手勢(shì)識(shí)別單元。其中，圖像采集單元通過三維空間中的多攝像頭進(jìn)行手勢(shì)圖像的采集；圖像處理單元?jiǎng)t通過圖像預(yù)處理，區(qū)域分割，特征提取等方式對(duì)采得的圖像數(shù)據(jù)進(jìn)行處理，進(jìn)而獲得相應(yīng)的手勢(shì)數(shù)據(jù)；圖像比較單元，用于選取其中最優(yōu)的手勢(shì)特征值；最后，手勢(shì)識(shí)別單元?jiǎng)t根據(jù)已有的手勢(shì)數(shù)據(jù)庫(kù)進(jìn)行比較分析最后完成對(duì)手勢(shì)類型的識(shí)別。本發(fā)明中，通過多方位，多角度的攝像頭對(duì)手勢(shì)進(jìn)行捕捉，為用戶擺脫攝像頭對(duì)操作的束縛提供了條件，真正使用戶能夠在實(shí)際空間中靈活地對(duì)物件進(jìn)行非接觸手勢(shì)操作；
[0018]5、手勢(shì)識(shí)別單元對(duì)最優(yōu)手勢(shì)圖像進(jìn)行匹配和識(shí)別，并輸出識(shí)別結(jié)果。
[0019]本發(fā)明的工作原理:通過布置在三維空間中的多個(gè)攝像頭進(jìn)行手勢(shì)圖像采集，依照特定的選取原則，從同一時(shí)間采集的多個(gè)手勢(shì)圖像中選取最優(yōu)的手勢(shì)圖像，并對(duì)該手勢(shì)圖像進(jìn)行識(shí)別，輸出識(shí)別結(jié)果。
[0020]本發(fā)明相對(duì)于現(xiàn)有技術(shù)具有如下的優(yōu)點(diǎn)及效果:
[0021]1、使用者進(jìn)行非接觸手勢(shì)識(shí)別時(shí)不必對(duì)著特定的攝像頭進(jìn)行手勢(shì)識(shí)別，可以更加自然的姿態(tài)進(jìn)行非接觸手勢(shì)操作，操作簡(jiǎn)單方便；
[0022]2、一定程度上解決了超過識(shí)別區(qū)域所造成的手勢(shì)跟丟現(xiàn)象，提升用戶體驗(yàn)；
[0023]3、提取多個(gè)手勢(shì)圖像并進(jìn)行最優(yōu)選擇，使得手勢(shì)識(shí)別的精確高，誤識(shí)別率低。
【專利附圖】

【附圖說明】
[0024]圖1是本發(fā)明的三維空間中非接觸式手勢(shì)識(shí)別系統(tǒng)框架圖。
[0025]圖2是本發(fā)明的識(shí)別方法的識(shí)別流程圖。
【具體實(shí)施方式】
[0026]下面結(jié)合實(shí)施例及附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)的描述，但本發(fā)明的實(shí)施方式不限于此。
[0027]實(shí)施例
[0028]如圖2所示，用戶按照以下步驟進(jìn)行操作:1、紅外照明模塊照亮手勢(shì)操作區(qū)域;
2、手勢(shì)采集模塊采集多個(gè)用戶手勢(shì)操作圖像；3、圖像對(duì)多個(gè)手勢(shì)圖像進(jìn)行處理，提取出各個(gè)圖像的用戶手勢(shì)；4、圖像比較單元對(duì)比同一時(shí)刻所提取的各個(gè)手勢(shì)圖像，選擇其中最優(yōu)的手勢(shì)圖像；5、手勢(shì)識(shí)別模塊對(duì)該手勢(shì)圖像進(jìn)行識(shí)別。
[0029]如圖1所示，圖像采集單元中的手勢(shì)采集模塊主要通過多方位、多角度的攝像頭進(jìn)行用戶手勢(shì)圖像的采集工作，并且在采集時(shí)必須運(yùn)用紅外照明模塊以有效獲得圖像數(shù)據(jù)。在圖像處理單元中，圖像采集及預(yù)處理模塊是通過多攝像頭的聯(lián)網(wǎng)匯總接口收集所捕捉了的圖像數(shù)據(jù)并進(jìn)行初步的A/D轉(zhuǎn)換。同時(shí)，由于所采集的圖像由于光照和背景等原因，可能會(huì)存在噪點(diǎn)，為了減小圖像在區(qū)域分割時(shí)產(chǎn)生的誤差，需要對(duì)采集的圖像進(jìn)行預(yù)處理，采用圖像中值濾波對(duì)圖像進(jìn)行平滑和濾波處理。具體方法如下:
[0030]用某種結(jié)構(gòu)的二維滑動(dòng)模板，將板內(nèi)像素按照像素值的大小進(jìn)行排序，生成單調(diào)上升(或下降)的為二維數(shù)據(jù)序列。二維中值濾波輸出為g(x，y) = med{f (x-k, y-1), (k,I e w)}，其中f(x，y)，g(x，y)分別為原始圖像和處理后圖像。W為二維模板，通常為2X2，3X3區(qū)域，也可以是不同的的形狀，如線狀，圓形，十字形，圓環(huán)形等。
[0031]區(qū)域分割和手勢(shì)特征提取用于檢測(cè)圖像中是否有手勢(shì)，若存在手勢(shì)則將手勢(shì)區(qū)域與背景分離，從而得到手勢(shì)識(shí)別分析的具體區(qū)域，便于下一步對(duì)手勢(shì)進(jìn)行比較識(shí)別。具體方法如下:
[0032]為了削弱光照情況對(duì)手勢(shì)的影響，采用轉(zhuǎn)換色彩空間的方法將RGB空間轉(zhuǎn)HSV空間，得到更為明顯的膚色聚類特征。
[0033]從RGB到HSL或HSV的轉(zhuǎn)換
[0034]設(shè)(r，g，b)分別是一個(gè)顏色的紅、綠和藍(lán)坐標(biāo)，它們的值是在O到I之間的實(shí)數(shù)。設(shè)maX等價(jià)于r,g和b中的最大者。設(shè)min等于這些值中的最小值。要找到在HSL空間中的(h，s，I)值，這里的h e [0,360)是角度的色相角，而s，l e [0,1]是飽和度和亮度，計(jì)
算為:
[0035]O。60。
max - mm
-+0。，
if max = minif max = r and g > b
60
60
max-min
b-rmax- min
廠-g
max-min
-+ 360。， if max = r and g <b
+ 120%+ 240，
if max = gif max = b
[0036]/ = - (max+ min)
[0037]
max-min
max
min
otherwise
max
max
[0038]v=max
[0039]以上公式采用轉(zhuǎn)換色彩空間的方法將RGB空間轉(zhuǎn)HSV空間，以得到更為明顯的膚色聚類特征。其中，(r, g，b)分別是一個(gè)顏色的紅、綠和藍(lán)坐標(biāo)，它們的值是在O到I之間的實(shí)數(shù)。(h，S，I)分別是色相角，飽和度和亮度。色相角的值介于O到360度，飽和度和亮度的值介于O到1.max為r, g和b中的最大值。min為r, g和b中的最小值。[0040]將RGB空間轉(zhuǎn)化到HSV空間后，使用Hue色度分量來構(gòu)建閾值分割模型并引入色度信息。在此實(shí)施例中，我們使用的分割模型為:
[0041]0〈Hue < 360，
[0042]350 < Hue < 360,
[0043]設(shè)置Hue色度分量用于構(gòu)建閾值分割模型并引入色度信息。
[0044]應(yīng)用這種閾值分割模型對(duì)一個(gè)手勢(shì)圖像進(jìn)行分割。為了使分割效果進(jìn)一步提升，在分割后進(jìn)行連通性去噪，從而得到二值的手勢(shì)圖，實(shí)現(xiàn)復(fù)雜背景下的膚色分割。
[0045]而在圖像比較單元中，以經(jīng)過區(qū)域分割和特征提取的手勢(shì)圖像數(shù)據(jù)為基礎(chǔ)，通過計(jì)算及比較分割提取后的手勢(shì)面積，我們選取面積最大的圖像作為最佳手勢(shì)圖像以供手勢(shì)識(shí)別使用。
[0046]手勢(shì)識(shí)別即在獲得最佳判別的手勢(shì)圖像后，對(duì)其采用梯度方向直方圖方法提取手勢(shì)特征，具體步驟如下:
[0047]將二值化圖像劃分為2X2的單元；
[0048]分別在水平和垂直方向上，利用一維離散微分模板計(jì)算出每個(gè)單元的梯度；
[0049]統(tǒng)計(jì)每一個(gè)單元的梯度直方圖；
[0050]將若干個(gè)單元組成一個(gè)區(qū)間，一幅圖像由若干個(gè)區(qū)間構(gòu)成；
[0051]利用L2范數(shù)為因子在區(qū)間中進(jìn)行梯度歸一化:
【權(quán)利要求】
1.一種三維空間中的手勢(shì)識(shí)別系統(tǒng)，其特征在于，包括圖像采集單元，圖像處理單元，圖像比較單元和手勢(shì)識(shí)別單元。
2.根據(jù)權(quán)利要求1所述的手勢(shì)識(shí)別系統(tǒng)，其特征在于，所述圖像采集單元包括紅外照明模塊和手勢(shì)采集模塊；所述紅外照明模塊用于提供；所述手勢(shì)采集模塊具有若干個(gè)攝像頭，所述手勢(shì)采集模塊用于對(duì)用戶手勢(shì)圖像進(jìn)行采集。
3.根據(jù)權(quán)利要求1所述的手勢(shì)識(shí)別系統(tǒng)，其特征在于，所述圖像處理單元包括圖像預(yù)處理模塊，區(qū)域分割模塊和特征提取模塊；所述圖像處理單元用于對(duì)所采集圖像的預(yù)處理，提取出用戶的手勢(shì)，并進(jìn)行手勢(shì)的特征提取。
4.根據(jù)權(quán)利要求1所述的手勢(shì)識(shí)別系統(tǒng)，其特征在于，所述圖形比較單元為手勢(shì)選取模塊；所述圖像比較單元用于對(duì)圖像處理單元所提取的用戶手勢(shì)進(jìn)行對(duì)比，以確定用戶手勢(shì)圖像。
5.根據(jù)權(quán)利要求1所述的手勢(shì)識(shí)別系統(tǒng)，其特征在于，所述手勢(shì)識(shí)別單元包括手勢(shì)數(shù)據(jù)庫(kù)及手勢(shì)匹配模塊，手勢(shì)識(shí)別模塊；所述手勢(shì)數(shù)據(jù)庫(kù)及手勢(shì)匹配模塊，用于圖像比較單元所選取的最優(yōu)手勢(shì)與手勢(shì)數(shù)據(jù)庫(kù)的匹配；所述手勢(shì)識(shí)別模塊，用于對(duì)最優(yōu)圖像的圖像處理并進(jìn)行手勢(shì)識(shí)別，并輸出識(shí)別結(jié)果。
6.一種實(shí)現(xiàn)權(quán)利要求1所述的三維空間中的手勢(shì)識(shí)別系統(tǒng)的手勢(shì)識(shí)別方法，其特征在于，包括以下步驟:步驟1、紅外照明模塊照亮手勢(shì)操作區(qū)域；步驟2、手勢(shì)采集模塊中各個(gè)攝像頭采集用戶手勢(shì)操作圖像；步驟3、圖像處理單元對(duì)多個(gè)攝像頭所采集的圖像進(jìn)行處理，提取出各個(gè)攝像頭在同一時(shí)刻采集到的用戶手勢(shì)；步驟4、圖像比較單元對(duì)比同一時(shí)刻所提取的各個(gè)用戶手勢(shì)圖像，依照選取規(guī)則，選擇同一時(shí)刻所提取的各個(gè)用戶手勢(shì)圖像中最優(yōu)的手勢(shì)圖像；步驟5、手勢(shì)識(shí)別單元對(duì)所述最優(yōu)的手勢(shì)圖像進(jìn)行匹配和識(shí)別，并輸出識(shí)別結(jié)果。
【文檔編號(hào)】G06K9/00GK103440035SQ201310364900
【公開日】2013年12月11日 申請(qǐng)日期:2013年8月20日 優(yōu)先權(quán)日:2013年8月20日
【發(fā)明者】范偉龍, 徐向民, 裘索, 劉曉 申請(qǐng)人:華南理工大學(xué)