專利名稱：動態(tài)手勢識別系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明關(guān)于一種動態(tài)手勢識別系統(tǒng)及方法，特別是涉及一種基于不變性結(jié)構(gòu)特征的動態(tài)手勢識別系統(tǒng)及方法。
背景技術(shù)：
現(xiàn)有的手勢識別方法主要有兩種，一種是基于3D模型的手勢模型方法，另一種是基于表觀的手勢模型方法?；?D模型的手勢模型是確定手掌的位置和關(guān)節(jié)角度，其能夠反映手勢的局部細節(jié)信息，一般是把三維模型映射到圖像平面，對模型的運動參數(shù)進行搜索匹配。然而，由于3D模型具有很高的特征矢量維度，造成計算量過大，并且在跟蹤的過程中會由于誤差的不斷積累導致跟蹤的精度不高甚至丟失目標?；诒碛^的手勢模型，可分為基于區(qū)域的跟蹤、基于活動輪廓或變形模板的跟蹤以及基于其他圖像特征的跟蹤方法， 它們都是完全基于圖像表觀的非模型方法，由于未能保證所跟蹤的特征，如興趣點、輪廓、2D區(qū)域等特征具有不變性，很容易受到遮擋或者條件變化等因素的影響。

發(fā)明內(nèi)容
為克服上述現(xiàn)有技術(shù)的不足，本發(fā)明之目的在于提供一種動態(tài)手勢識別系統(tǒng)及方法，其利用手勢固有的形狀結(jié)構(gòu)特征進行手勢分割，提取手勢的尺度不變性、旋轉(zhuǎn)不變性特征，再采用基于仿射變換的塊匹配法對動態(tài)手勢進行跟蹤，以達到速度快、精度高的目的。為達上述及其它目的，本發(fā)明提出一種動態(tài)手勢識別系統(tǒng)，用于對視頻中動態(tài)手勢進行識別，至少包括靜態(tài)手勢識別模組，檢測視頻幀內(nèi)運動區(qū)域，得到膚色區(qū)域，并針對五指張開的手勢，提取幾何特征，采用手形的相對幾何特征，利用SVM分類器進行分類，從而從膚色區(qū)域中定位出手勢部分；以及動態(tài)手勢跟蹤模組，采用基于仿射變換的塊匹配法，通過計算相鄰幀的運動參數(shù)進行手勢跟蹤。進一步地，該靜態(tài)手勢識別模組包括運動區(qū)域檢測模組，提取幀內(nèi)運動區(qū)域，排除背景干擾，同時縮小檢測區(qū)域；特征提取模組，針對五指張開的手勢，提取幾何特征，采用手形的相對幾何特征，利用SVM分類器進行分類，從而從膚色區(qū)域中定位出手勢部分；以及特征識別模組，選取若干幅人手正樣本以及若干副樣本作為訓練樣本，利用SVM分類器進行學習，再將學習后的分類器對視頻幀進行手勢識別選取。進一步地，該運動區(qū)域檢測模組將相鄰的圖像幀之間的像素進行差分并閾值化，提取出圖像中的運動區(qū)域。進一步地，該特征識別模組選取2000幅人手正樣本以及2000副負樣本作為訓練樣本。進一步地，該特征提取模組包括
掌心位置及大小計算模組，利用距離變換得到膚色分類器給出的手形區(qū)域中掌心位置及掌心大??；手指位置計算模組，利用手勢凸包、外輪廓，計算手指位置以及最大缺陷的位置；以及
特征向量形成模組，根據(jù)手形特征構(gòu)成特征向量。進一步地，該動態(tài)手勢跟蹤模組將手勢區(qū)域作為跟蹤對象，進行圖像分塊，通過將各個小塊的運動參數(shù)累加，從而得到手區(qū)域在相鄰兩幀之間的運動向量為達到上述及其他目的，本發(fā)明還提供一種動態(tài)手勢識別方法，用于對視頻中動態(tài)手勢進行識別，包括如下步驟步驟一，檢測運動區(qū)域，得到膚色區(qū)域；步驟二，利用距離變換得到膚色分類器給出的手形區(qū)域中掌心位置及掌心大小；步驟三，利用手勢凸包、外輪廓，計算手指位置以及最大缺陷的位置；步驟四，根據(jù)手形特征構(gòu)成特征向量；步驟五，選取若干幅人手正樣本以及若干副樣本作為訓練樣本，利用SVM分類器進行學習，再將學習后的分類器對視頻幀進行手勢識別；以及步驟六，利用基于仿射變換的圖像塊匹配方法進行手形跟蹤。進一步地，于步驟一中，將相鄰的圖像幀之間的像素進行差分并閾值化，提取出圖像中的運動區(qū)域。進一步地，步驟三中，判斷手指及缺陷坐標的規(guī)則如下I)從左至右遍歷凸缺陷，尋找缺陷開始點，最大點以及缺陷結(jié)束點，并計算最大缺陷值，得到DO、Dl、D2、D3、D4、D5六個缺陷點坐標及最大缺陷值；2)當缺陷值大于設(shè)定閾值時，則判定該缺陷為手指間的缺陷。將缺陷的開始點、結(jié)束點分別標定位兩手指坐標，缺陷位置為指間缺陷坐標；3)除大拇指以及小拇指以外，剩余指尖由于缺陷開始點及結(jié)束點不一定重合，則當不重合時，取兩者的平均值作為指尖坐標，從而得到指尖坐標；4)將相鄰最大缺陷點相連，線段的中點被認為是五指的指根坐標，從而通過指尖與指根可以計算出五指的長度。進一步地，于步驟四中，長度特征向量為指長與手掌半徑的比值，角度特征向量為向量手指之間的夾角。與現(xiàn)有技術(shù)相比，本發(fā)明一種動態(tài)手勢識別系統(tǒng)及方法通過利用手勢固有的形狀結(jié)構(gòu)特征進行手勢分割，提取手勢的尺度不變性、旋轉(zhuǎn)不變性特征，再采用基于仿射變換的塊匹配法對動態(tài)手勢進行跟蹤，實現(xiàn)了快速、高精度動態(tài)識別手勢的目的。


圖I為本發(fā)明一種動態(tài)手勢識別系統(tǒng)的系統(tǒng)架構(gòu)圖；圖2為本發(fā)明較佳實施例中五指張開的手勢模型示意圖；圖3為本發(fā)明較佳實施例中手形長度特征向量示意圖；圖4為本發(fā)明較佳實施例中手形角度特征向量示意圖；圖5為本發(fā)明較佳實施例中的塊匹配示意圖6為本發(fā)明一種動態(tài)手勢識別方法的步驟流程圖。
具體實施例方式以下通過特定的具體實例并結(jié)合

本發(fā)明的實施方式，本領(lǐng)域技術(shù)人員可由本說明書所揭示的內(nèi)容輕易地了解本發(fā)明的其它優(yōu)點與功效。本發(fā)明亦可通過其它不同的具體實例加以施行或應(yīng)用，本說明書中的各項細節(jié)亦可基于不同觀點與應(yīng)用，在不背離本發(fā)明的精神下進行各種修飾與變更。圖I為本發(fā)明一種動態(tài)手勢識別系統(tǒng)的系統(tǒng)架構(gòu)圖。如圖I所不，本發(fā)明一種動態(tài)手勢識別系統(tǒng)，至少包括靜態(tài)手勢識別模組10及動態(tài)手勢跟蹤模組11。其中靜態(tài)手勢識別模組10利用幀間差分法，檢測幀內(nèi)運動區(qū)域，得到膚色區(qū)域，并針對五指張開的手勢，提取幾何特征，采用手形的相對幾何特征(如指長與手掌半徑的比值，相鄰手指夾角)，再利用SVM (support vector machine支持向量機)分類器進行分類，從而從膚色區(qū)域中定位出手勢部分。具體來說，靜態(tài)手勢識別模組10進一步包括運動 區(qū)域檢測模組101、特征提取模組102以及特征識別模組103。運動區(qū)域檢測模組101利用幀間差分法，提取幀內(nèi)運動區(qū)域，排除背景干擾，同時縮小檢測區(qū)域，有效提高運行速度。在本發(fā)明較佳實施例中，將相鄰的圖像幀之間的像素進行差分并閾值化，提取出圖像中的運動區(qū)域。SfiU, y)為視頻中第i幀，為fH(x，y)第i_l幀。幀間差分CliU,y)為d'(x,y)^\(I)
0,f (x,y)-f (Xv)I <r特征提取模組102，針對五指張開的手勢，提取幾何特征，采用手形的相對幾何特征(如指長與手掌半徑的比值，相鄰手指夾角)，再利用SVM分類器進行分類，從而從膚色區(qū)域中定位出手勢部分。在本發(fā)明較佳實施例中，手形的相對幾何特征具有尺度不變形以及旋轉(zhuǎn)不變性的特點。特征識別模組103選取若干幅人手正樣本以及若干副樣本作為訓練樣本，利用SVM分類器進行學習，再將學習后的分類器對視頻幀進行手勢識別選取。在本發(fā)明較佳實施例中，特征識別模組103選取2000幅人手正樣本以及2000副負樣本作為訓練樣本。在本發(fā)明較佳實施例中，特征提取模組102還包括掌心位置及大小計算模組301、手指位置計算模組302以及特征向量形成模組303。掌心位置及大小計算模組301利用距離變換得到膚色分類器給出的膚色區(qū)域中封閉區(qū)域的中心點以及該點到邊界的平均距離，即掌心位置及掌心大小。對于手勢區(qū)域而言，掌心是離背景點最遠的位置，因此距離變換圖像的最大值的點即為掌心。而掌心到邊界的平均距離記為r，表示手掌的半徑。設(shè)f(x，y)為一副二值圖像，由前景A以及背景B兩部分組成。則前景A中的像素P的歐式距離變換定義為D(p) = min {d (P，q) q e B}(2)其中d(p，q)為p，q兩個像素點之間的歐式距離。手指位置計算模組302利用手勢凸包、外輪廓，計算手指位置以及最大缺陷的位置。手勢缺陷如圖2所示I)從左至右遍歷凸缺陷。尋找缺陷開始點，最大點以及缺陷結(jié)束點，并計算最大缺陷值，得到DO、Dl、D2、D3、D4、D5六個缺陷點坐標及最大缺陷值。2)當缺陷值大于設(shè)定閾值時，則判定該缺陷為手指間的缺陷。將缺陷的開始點、結(jié)束點分別標定位兩手指坐標，缺陷位置為指間缺陷坐標。
3)除大拇指以及小拇指以外，剩余指尖由于缺陷開始點及結(jié)束點不一定重合。貝IJ當不重合時，取兩者的平均值作為指尖坐標，從而得到指尖坐標FI、F2、F3、F4、F5。4)將相鄰最大缺陷點相連，線段的中點被認為是五指的指根坐標，從而通過指尖與指根可以計算出五指的長度LI、L2、L3、L4、L5。特征向量形成模組303，根據(jù)手形特征構(gòu)成特征向量，長度特征為指長與手掌半徑r的比值Q/r，i = 1，2. ..5。角度特征為向量手指之間的夾角Θ ^ i = 1，2. . . 5。如圖3及圖4所示。動態(tài)手勢跟蹤模組11采用基于仿射變換的塊匹配法，通過計算相鄰幀的運動參數(shù)進行跟蹤。對于動態(tài)手勢識別而言，相鄰兩幀中所包含的手部區(qū)域可能由于運動、光照等影響而產(chǎn)生形變，因此本發(fā)明采用基于仿射變換的塊匹配法，通過計算相鄰幀的運動參數(shù)進行跟蹤。圖5為本發(fā)明較佳實施例中的塊匹配示意圖。圖5中的圖像塊R為第f幀的圖像塊，由于相鄰幀內(nèi)存在相關(guān)性，因此將f_l幀R塊周邊的B*B鄰域定為搜素區(qū)域。第f幀R塊中像素P(x，y，z)與下一幀對應(yīng)的像素P’(x’，y’，z’ )之間存在著公式(3)表示的仿射
變換關(guān)系。

權(quán)利要求
1.一種動態(tài)手勢識別系統(tǒng)，用于對視頻中動態(tài)手勢進行識別，至少包括 靜態(tài)手勢識別模組，檢測視頻幀內(nèi)運動區(qū)域，得到膚色區(qū)域，并針對五指張開的手勢，提取幾何特征，采用手形的相對幾何特征，利用SVM分類器進行分類，從而從膚色區(qū)域中定位出手勢部分；以及 動態(tài)手勢跟蹤模組，采用基于仿射變換的塊匹配法，通過計算相鄰幀的運動參數(shù)進行手勢跟蹤。
2.如權(quán)利要求I所述的動態(tài)手勢識別系統(tǒng)，其特征在于，該靜態(tài)手勢識別模組包括 運動區(qū)域檢測模組，提取幀內(nèi)運動區(qū)域，排除背景干擾，同時縮小檢測區(qū)域； 特征提取模組，針對五指張開的手勢，提取幾何特征，采用手形的相對幾何特征，利用SVM分類器進行分類，從而從膚色區(qū)域中定位出手勢部分；以及 特征識別模組，選取若干幅人手正樣本以及若干副樣本作為訓練樣本，利用SVM分類器進行學習，再將學習后的分類器對視頻幀進行手勢識別選取。
3.如權(quán)利要求2所述的動態(tài)手勢識別系統(tǒng)，其特征在于該運動區(qū)域檢測模組將相鄰的圖像幀之間的像素進行差分并閾值化，提取出圖像中的運動區(qū)域。
4.如權(quán)利要求3所述的動態(tài)手勢識別系統(tǒng)，其特征在于該特征識別模組選取2000幅人手正樣本以及2000副負樣本作為訓練樣本。
5.如權(quán)利要求2所述的動態(tài)手勢識別系統(tǒng)，其特征在于，該特征提取模組包括 掌心位置及大小計算模組，利用距離變換得到膚色分類器給出的手形區(qū)域中掌心位置及掌心大??； 手指位置計算模組，利用手勢凸包、外輪廓，計算手指位置以及最大缺陷的位置；以及 特征向量形成模組，根據(jù)手形特征構(gòu)成特征向量。
6.如權(quán)利要求5所述的動態(tài)手勢識別系統(tǒng)，其特征在于該動態(tài)手勢跟蹤模組將手勢區(qū)域作為跟蹤對象，進行圖像分塊，通過將各個小塊的運動參數(shù)累加，從而得到手區(qū)域在相鄰兩幀之間的運動向量。
7.一種動態(tài)手勢識別方法，用于對視頻中動態(tài)手勢進行識別，包括如下步驟 步驟一，檢測運動區(qū)域，得到膚色區(qū)域； 步驟二，利用距離變換得到膚色分類器給出的手形區(qū)域中掌心位置及掌心大??； 步驟三，利用手勢凸包、外輪廓，計算手指位置以及最大缺陷的位置； 步驟四，根據(jù)手形特征構(gòu)成特征向量； 步驟五，選取若干幅人手正樣本以及若干副樣本作為訓練樣本，利用SVM分類器進行學習，再將學習后的分類器對視頻幀進行手勢識別；以及 步驟六，利用基于仿射變換的圖像塊匹配方法進行手形跟蹤。
8.如權(quán)利要求7所述的一種動態(tài)手勢識別方法，其特征在于于步驟一中，將相鄰的圖像幀之間的像素進行差分并閾值化，提取出圖像中的運動區(qū)域。
9.如權(quán)利要求7所述的一種動態(tài)手勢識別方法，其特征在于，于步驟三中，判斷手指及缺陷坐標的規(guī)則如下 1)從左至右遍歷凸缺陷，尋找缺陷開始點，最大點以及缺陷結(jié)束點，并計算最大缺陷值，得到DO、Dl、D2、D3、D4、D5六個缺陷點坐標及最大缺陷值； 2)當缺陷值大于設(shè)定閾值時，則判定該缺陷為手指間的缺陷。將缺陷的開始點、結(jié)束點分別標定位兩手指坐標，缺陷位置為指間缺陷坐標； 3)除大拇指以及小拇指以外，剩余指尖由于缺陷開始點及結(jié)束點不一定重合，則當不重合時，取兩者的平均值作為指尖坐標，從而得到指尖坐標； 4)將相鄰最大缺陷點相連，線段的中點被認為是五指的指根坐標，從而通過指尖與指根可以計算出五指的長度。
10.如權(quán)利要求7所述的一種動態(tài)手勢識別方法，其特征在于于步驟四中，長度特征向量為指長與手掌半徑的比值，角度特征向量為向量手指之間的夾角。
全文摘要
本發(fā)明公開了一種動態(tài)手勢識別系統(tǒng)及方法，該方法包括如下步驟檢測運動區(qū)域，得到膚色區(qū)域；利用距離變換得到膚色分類器給出的手形區(qū)域中掌心位置及掌心大??；利用手勢凸包、外輪廓，計算手指位置以及最大缺陷的位置；根據(jù)手形特征構(gòu)成特征向量；選取若干幅人手正樣本以及若干副樣本作為訓練樣本，利用SVM分類器進行學習，再將學習后的分類器對視頻幀進行手勢識別；以及步驟六，利用基于仿射變換的圖像塊匹配方法進行手形跟蹤，本發(fā)明可實現(xiàn)快速、高精度動態(tài)識別手勢的目的。
文檔編號G06K9/66GK102938060SQ201210521108
公開日2013年2月20日 申請日期2012年12月7日 優(yōu)先權(quán)日2012年12月7日
發(fā)明者趙瑩 申請人:上海電機學院