一種基于knn和像素比梯度特征的靜態(tài)手語(yǔ)識(shí)別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于靜態(tài)手語(yǔ)識(shí)別技術(shù)領(lǐng)域，特別設(shè)及一種圖像分割、定位、特征提取和模 式識(shí)別的靜態(tài)手語(yǔ)識(shí)別方法。
【背景技術(shù)】
[0002] 據(jù)了解，我國(guó)聽(tīng)力、語(yǔ)言殘障人±超過(guò)2000萬(wàn)人，而且每年還在W2萬(wàn)~3萬(wàn)名的 速度遞增。對(duì)手語(yǔ)一一該類(lèi)人群最重要的交際手段一一進(jìn)行研究，不僅有助于改善和提高 該些殘疾人±的生活、學(xué)習(xí)和工作條件，為他們提供更好的服務(wù)，同時(shí)也可W應(yīng)用于計(jì)算機(jī) 輔助啞語(yǔ)教學(xué)、電視節(jié)目雙語(yǔ)播放、虛擬人研究、電影制作中的特技處理、動(dòng)畫(huà)制作、醫(yī)療研 究、游戲娛樂(lè)等諸多方面。
[0003] 計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展設(shè)及到多學(xué)科領(lǐng)域，內(nèi)容相當(dāng)廣泛，與光學(xué)、信號(hào)處理、人 工智能、模式識(shí)別、圖像處理及計(jì)算機(jī)技術(shù)等都相關(guān)。隨著信號(hào)處理理論、計(jì)算理論、視覺(jué)理 論、等相關(guān)技術(shù)的發(fā)展，計(jì)算機(jī)視覺(jué)也得到了快速的發(fā)展，并W其非接觸性、自動(dòng)化、可視 化、實(shí)時(shí)性和智能性等特點(diǎn)廣泛地應(yīng)用于工業(yè)生產(chǎn)、醫(yī)療衛(wèi)生、航空航天、科學(xué)研究及國(guó)防 建設(shè)等各個(gè)領(lǐng)域，受到很多國(guó)家和行業(yè)的高度重視。
[0004] 根據(jù)手勢(shì)輸入途徑的差異，可將手語(yǔ)識(shí)別分為基于數(shù)據(jù)手套和基于計(jì)算機(jī)視覺(jué) 兩大類(lèi)。在基于數(shù)據(jù)手套的手語(yǔ)識(shí)別中，人體做出各種手勢(shì)動(dòng)作時(shí)，數(shù)據(jù)手套能夠通過(guò)位 置跟蹤器較準(zhǔn)確地將手部各關(guān)節(jié)部位的位置信息傳遞給計(jì)算機(jī)W作后續(xù)處理。該種實(shí)現(xiàn)方 式獲取到的數(shù)據(jù)更精確，適合大量詞匯的識(shí)別，識(shí)別率也較高。但是，該種方法要求用戶 佩戴厚重的數(shù)抓手套等數(shù)據(jù)收集工具，便捷性較差，而且該些工具價(jià)值昂貴。在基于計(jì)算 機(jī)視覺(jué)的手語(yǔ)識(shí)別中，使用數(shù)字?jǐn)z像設(shè)備獲取手勢(shì)圖像，利用計(jì)算機(jī)視覺(jué)和數(shù)字圖像處理 相關(guān)技術(shù)對(duì)圖像進(jìn)行處理，得到手勢(shì)特征，最后利用模式識(shí)別的技術(shù)對(duì)手語(yǔ)進(jìn)行識(shí)別。該 方法能使人機(jī)交互自然便捷，同時(shí)只使用到數(shù)字?jǐn)z像設(shè)備等一些廉價(jià)設(shè)備，經(jīng)濟(jì)投入低； 但是，受限于當(dāng)前計(jì)算機(jī)視覺(jué)和圖形學(xué)的發(fā)展現(xiàn)狀，通過(guò)數(shù)字?jǐn)z像設(shè)備得到的直觀數(shù)據(jù) 還不夠精確，導(dǎo)致后續(xù)特征提取和檢測(cè)階段魯椿性無(wú)保證。因而較少應(yīng)用于大量詞匯的識(shí) 另IJ。但基于計(jì)算機(jī)視覺(jué)的手語(yǔ)識(shí)別將是手語(yǔ)識(shí)別技術(shù)發(fā)展的趨勢(shì)，隨著計(jì)算機(jī)技術(shù)W及成 像技術(shù)的發(fā)展，伴隨著模式識(shí)別技術(shù)的成熟，基于計(jì)算機(jī)視覺(jué)的手語(yǔ)識(shí)別途徑將能夠克服 魯椿性差W及檢測(cè)跟蹤效率低的問(wèn)題，實(shí)現(xiàn)高度人工性智能的視覺(jué)的手語(yǔ)識(shí)別。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的缺點(diǎn)，提供一種識(shí)別率高、魯椿性強(qiáng)、廉價(jià) 便捷的基于腳W和像素比梯度特征的靜態(tài)手語(yǔ)識(shí)別方法。該方法將攝像設(shè)備拍攝的靜態(tài)手 語(yǔ)圖像輸入計(jì)算機(jī)，對(duì)圖像進(jìn)行處理后可識(shí)別出靜態(tài)手語(yǔ)并轉(zhuǎn)化為文本輸出。
[0006] 本發(fā)明的目的是通過(guò)W下技術(shù)方案來(lái)實(shí)現(xiàn)的。
[0007] 為改善手語(yǔ)系統(tǒng)的識(shí)別效果，本發(fā)明提出一種基于腳W和像素比梯度特征的靜態(tài) 手語(yǔ)識(shí)別方法。方法的前提是做手語(yǔ)者戴上藍(lán)色手套，該方法包含W下步驟：步驟1;拍攝 彩色圖像并輸入計(jì)算機(jī)；步驟2;基于圖像的顏色特征對(duì)圖像進(jìn)行二值化；步驟3;基于圖 像的形狀特征定位手的位置，并分割出來(lái)；步驟4;對(duì)分割后的圖像進(jìn)行歸一化；步驟5;提 取圖像的像素比和梯度特征作為圖像的特征向量；步驟6;計(jì)算輸入的特征向量與標(biāo)準(zhǔn)手 語(yǔ)圖像特征庫(kù)的加權(quán)歐氏距離；步驟7 ;基于腳W算法確定最佳匹配結(jié)果；步驟8 ;將識(shí)別結(jié) 果輸出。
[000引進(jìn)一步地，所述步驟2包含W下子步驟；步驟21:計(jì)算彩色圖像每個(gè)像素點(diǎn)的RGB值；步驟22 ;通過(guò)像素點(diǎn)的RGB值判斷其顏色是否為藍(lán)色；步驟23 ;將步驟22中判斷為藍(lán) 色的像素點(diǎn)的RGB都賦為255,其他像素點(diǎn)的RGB值賦為0,得到二值化圖像。
[0009] 進(jìn)一步地，所述步驟3包含W下步驟：
[0010] 步驟31 ;對(duì)二值化圖像進(jìn)行膨脹；
[0011] 步驟32 ;遍歷圖像中的所有輪廓，用一個(gè)最小矩形將輪廓區(qū)域框出；
[0012] 步驟33 ;計(jì)算所有矩形區(qū)域的長(zhǎng)、寬和面積，判斷該區(qū)域是否為手部區(qū)域，判斷準(zhǔn) 則為：
[001引包圍輪廓的所述最小矩形的長(zhǎng)度length滿足；len_min<length<len_max，
[0014] 包圍輪廓的最小矩形的寬度hei曲t滿足；hgh_min<hei曲t<hgh_max，滿足該準(zhǔn)則 的判定為手部區(qū)域；
[0015] 步驟34;將判定為手區(qū)域的輪廓分割出來(lái)。
[0016] 進(jìn)一步優(yōu)化地，len_min= 150,len_max= 250 ;hgh_min= 100,hgh_max= 200。 所述步驟4中的圖像歸一化將圖像統(tǒng)一成20*36大小。
[0017] 進(jìn)一步地，所述步驟5包含W下步驟：
[001引步驟S51 ;將分割后的歸一化圖像按4*4均分為16個(gè)小矩形，，即每個(gè)小矩形的尺 寸為5蝴；
[0019] 步驟S52 ;計(jì)算每個(gè)小矩形中的像素點(diǎn)個(gè)數(shù)，白色像素點(diǎn)的個(gè)數(shù)存入數(shù)組an,總像 素點(diǎn)的個(gè)數(shù)存入數(shù)組bn;
[0020] 步驟S53 ;計(jì)算分割出所述16個(gè)小矩形的6條均分線上的像素點(diǎn)個(gè)數(shù)，白色像素 點(diǎn)的個(gè)數(shù)存入數(shù)組an,總像素點(diǎn)的個(gè)數(shù)存入數(shù)組bn;
[002U 步驟S54;將an/bn作為圖像的像素比和梯度特征向量。
[0022] 進(jìn)一步地，所述步驟6計(jì)算特征向量與標(biāo)準(zhǔn)手語(yǔ)圖像特征庫(kù)的歐氏距離時(shí)，要考 慮加大梯度特征的權(quán)重，假設(shè)輸入的手語(yǔ)圖像的特征向量為；=的，心a,，...手語(yǔ) 圖像特征庫(kù)的某個(gè)模板的特征向量為完=輯，&2，如..4，..點(diǎn)22)，則它們之間的加權(quán)歐氏距離 計(jì)算公式如下：
[0023]
【主權(quán)項(xiàng)】
1. 一種基于KNN和像素比梯度特征的靜態(tài)手語(yǔ)識(shí)別方法，其特征在于，包括以下步驟： 步驟1 :拍攝彩色圖像并輸入計(jì)算機(jī)； 步驟2 :基于圖像的顏色特征對(duì)圖像進(jìn)行二值化； 步驟3 :基于圖像的形狀特征定位手的位置，并分割出來(lái)； 步驟4 :對(duì)分割后的圖像進(jìn)行歸一化； 步驟5 :提取圖像的像素比和梯度特征作為圖像的特征向量； 步驟6 :計(jì)算輸入的特征向量與標(biāo)準(zhǔn)手語(yǔ)圖像特征庫(kù)的歐氏距離； 步驟7 :基于KNN算法確定最佳匹配結(jié)果； 步驟8:將識(shí)別結(jié)果輸出。
2. 如權(quán)利要求1所述的基于KNN和像素比梯度特征的靜態(tài)手語(yǔ)識(shí)別方法，其特征在于， 所述步驟3包含以下步驟： 步驟31 :對(duì)二值化圖像進(jìn)行膨脹； 步驟32 :遍歷圖像中的所有輪廓，用一個(gè)最小矩形將輪廓區(qū)域框出； 步驟33 :計(jì)算所有矩形區(qū)域的長(zhǎng)、寬和面積，判斷該區(qū)域是否為手部區(qū)域，判斷準(zhǔn)則 為： 包圍輪廓的所述最小矩形的長(zhǎng)度length滿足：len_min〈length〈len_max， 包圍輪廓的最小矩形的寬度height滿足：1^11_1]1；[11〈11618111:〈1^11_1]^1，滿足該準(zhǔn)則的判 定為手部區(qū)域； 步驟34 :將判定為手區(qū)域的輪廓分割出來(lái)。
3. 如權(quán)利要求1所述的基于KNN和像素比梯度特征的靜態(tài)手語(yǔ)識(shí)別方法，其特征在 于： len-min = 150, len-max = 250 ;hgh-min = 100, hgh-max = 200〇
4. 如權(quán)利要求1所述的基于KNN和像素比梯度特征的靜態(tài)手語(yǔ)識(shí)別方法，其特征在于： 所述步驟4中的圖像歸一化將圖像統(tǒng)一成20*36大小。
5. 如權(quán)利要求1所述的基于KNN和像素比梯度特征的靜態(tài)手語(yǔ)識(shí)別方法，其特征在于， 所述步驟5包含以下步驟： 步驟S51 :將分割后的歸一化圖像按4*4均分為16個(gè)小矩形，即每個(gè)小矩形的尺寸為 5*9 ; 步驟S52 :計(jì)算每個(gè)小矩形中的像素點(diǎn)個(gè)數(shù)，白色像素點(diǎn)的個(gè)數(shù)存入數(shù)組an，總像素點(diǎn) 的個(gè)數(shù)存入數(shù)組bn; 步驟S53 :計(jì)算分割出所述16個(gè)小矩形的6條均分線上的像素點(diǎn)個(gè)數(shù)，白色像素點(diǎn)的 個(gè)數(shù)存入數(shù)組an，總像素點(diǎn)的個(gè)數(shù)存入數(shù)組bn ; 步驟S54 :將an/bn作為圖像的像素比和梯度特征向量。
6. 如權(quán)利要求1所述的基于KNN和像素比梯度特征的靜態(tài)手語(yǔ)識(shí)別方法，其特征在于， 所述步驟6計(jì)算特征向量與標(biāo)準(zhǔn)手語(yǔ)圖像特征庫(kù)的歐氏距離時(shí)，要考慮加大梯度特征的權(quán) 重，假設(shè)輸入的手語(yǔ)圖像的特征向量為《 = 4,...，標(biāo)準(zhǔn)手語(yǔ)圖像特征庫(kù)的模 板的特征向量為5 =汍辦次，..七，..力22),則它們之間的加權(quán)歐氏距離計(jì)算公式如下：
【專(zhuān)利摘要】本發(fā)明公開(kāi)一種基于KNN和像素比梯度特征的靜態(tài)手語(yǔ)識(shí)別方法。該方法包括：步驟1：拍攝彩色圖像；步驟2：基于圖像的顏色特征對(duì)圖像進(jìn)行二值化；步驟3：基于圖像的形狀特征定位手的位置，并分割出來(lái)；步驟4：對(duì)分割后的圖像進(jìn)行歸一化；步驟5：提取圖像的像素比和梯度特征作為圖像的特征向量；步驟6：計(jì)算輸入的特征向量與標(biāo)準(zhǔn)手語(yǔ)圖像特征庫(kù)的歐氏距離；步驟7：基于KNN算法確定最佳匹配結(jié)果；步驟8：將識(shí)別結(jié)果輸出。本發(fā)明結(jié)合了圖像顏色特征、形狀特征和像素比梯度特征，并且利用了KNN算法來(lái)進(jìn)行特征匹配，提高了識(shí)別率和對(duì)不同環(huán)境的適應(yīng)性，而且算法相對(duì)較簡(jiǎn)單，復(fù)雜度低，系統(tǒng)運(yùn)行速度快，設(shè)備成本低廉。
【IPC分類(lèi)】G06K9-00
【公開(kāi)號(hào)】CN104866826
【申請(qǐng)?zhí)枴緾N201510254132
【發(fā)明人】李兆海, 徐向民, 青春美, 倪浩淼, 黃愛(ài)發(fā)
【申請(qǐng)人】華南理工大學(xué)
【公開(kāi)日】2015年8月26日
【申請(qǐng)日】2015年5月17日