一種聾啞人交流智能輔助系統(tǒng)及交流的方法
【專利摘要】本發(fā)明公開了一種聾啞人交流智能輔助系統(tǒng)，包括左手采集傳輸層和右手采集傳輸層，左手采集傳輸層和右手采集傳輸層均與應(yīng)用層連接，應(yīng)用層與云管理層連接。還公開了利用上述聾啞人交流智能輔助系統(tǒng)交流的方法。本發(fā)明的一種聾啞人交流智能輔助系統(tǒng)，能夠有效促進(jìn)聾啞人與健聽人之間的溝通交流，還為聾啞人提供個性化手語定制、手語字典查詢、課堂同步學(xué)習(xí)等擴(kuò)展功能。本發(fā)明的一種聾啞人交流智能輔助系統(tǒng)，結(jié)構(gòu)簡單、佩戴方便、使用人性化。
【專利說明】
一種聾啞人交流智能輔助系統(tǒng)及交流的方法
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于通信系統(tǒng)技術(shù)領(lǐng)域，具體涉及一種聾啞人交流智能輔助系統(tǒng)，還涉及利用上述輔助系統(tǒng)交流的方法。
【背景技術(shù)】
[0002]中國是世界人口數(shù)量最大的國家，相對應(yīng)的聾啞人等具有聽力語言障礙的人員數(shù)量也是相當(dāng)巨大的，他們需要國家及全社會的關(guān)心和幫助的。而手語是聽力語言障礙者最重要的交際手段，但是由于健聽人不懂手語，導(dǎo)致聾啞人無法與健聽人進(jìn)行交流，縮小了聾啞人的交流圈子，使他們更難融入社會。因此，有必要對聾啞人等語言障礙人士使用的手語進(jìn)行相關(guān)智能化處理，讓他們更方便地與健聽人進(jìn)行交流，從而幫助他們更好地融入社會。
[0003]目前現(xiàn)有的數(shù)據(jù)手套大致歸為兩類，一類是通過手部或腰部等其他部位同時佩戴設(shè)備，進(jìn)行數(shù)據(jù)采集，一定程度上提高了手語識別精度和詞匯量，但是要求用戶佩戴設(shè)備過多，過于繁瑣影響舒適度，造成用戶體驗(yàn)感差；另一類是只在手部布設(shè)傳感器設(shè)備，這樣減少了佩戴設(shè)備，但同時只集中在對手部動作的采集，而忽略手部位置的采集，造成采集數(shù)據(jù)不完整，影響手語識別精度。如果要提高識別率，就必須增加額外的設(shè)備，無疑增加了成本，降低了用戶體驗(yàn)度。因此，本發(fā)明針對手語手勢特點(diǎn)進(jìn)行精確分析，減少不必要的設(shè)備，科學(xué)合理布設(shè)傳感器，通過自主訓(xùn)練建立自定義規(guī)則，提高手語的識別效率，以及通過個性化手語定制功能提高交流效率，并采用WiFi自組網(wǎng)方式進(jìn)行無線數(shù)據(jù)傳輸，克服了藍(lán)牙一對一傳輸速度慢的問題。同時能夠?qū)⒔÷犝叩脑捳Z實(shí)時轉(zhuǎn)換為文字顯示輸出，實(shí)現(xiàn)了聾啞人與健聽人之間的雙向交流。此外，本發(fā)明還為聾啞用戶提供了手語字典查詢以及課堂同步學(xué)習(xí)等增值服務(wù)。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種聾啞人交流智能輔助系統(tǒng)，解決了現(xiàn)有手語識別設(shè)備結(jié)構(gòu)繁瑣、識別精度低的問題。
[0005]本發(fā)明的目的還在于提供利用上述輔助系統(tǒng)交流的方法。
[0006]本發(fā)明所采用的第一種技術(shù)方案是，一種聾啞人交流智能輔助系統(tǒng)，包括左手采集傳輸層和右手采集傳輸層，左手采集傳輸層和右手采集傳輸層均與應(yīng)用層連接，應(yīng)用層與云管理層連接。
[0007]本發(fā)明的特點(diǎn)還在于:
[0008]左手采集傳輸層包括依次連接的數(shù)據(jù)采集傳感器組A、轉(zhuǎn)換電路組A、A/D模數(shù)采集模塊A、串口轉(zhuǎn)WiFi模塊A，串口轉(zhuǎn)WiFi模塊A與應(yīng)用層通過WiFi局域網(wǎng)連接；
[0009]右手采集傳輸層包括依次連接的數(shù)據(jù)采集傳感器組a、轉(zhuǎn)換電路組a、A/D模數(shù)采集模塊a、串口轉(zhuǎn)WiFi模塊a，串口轉(zhuǎn)WiFi模塊a與應(yīng)用層通過WiFi局域網(wǎng)連接。
[0010]數(shù)據(jù)采集傳感器組A包括位于左手手套的大拇指背部的第一彎曲傳感器A、位于左手手套的食指背部的第二彎曲傳感器A、位于左手手套的中指背部的第三彎曲傳感器A、位于左手手套的無名指背部的第四彎曲傳感器A、位于左手手套的小拇指背部的第五彎曲傳感器A，以及位于左手手套的大拇指指腹部的第一壓力傳感器A、位于左手手套的食指靠近中指一側(cè)的側(cè)面的第二壓力傳感器A、位于左手手套的中指靠近無名指一側(cè)的側(cè)面的第三壓力傳感器A、位于左手手套的無名指靠近小拇指一側(cè)的側(cè)面的第四壓力傳感器A、位于左手手背靠近手腕處的加速度傳感器A ；
[0011]轉(zhuǎn)換電路組A包括與第一彎曲傳感器A連接的第一轉(zhuǎn)換電路A、與第二彎曲傳感器A連接的第二轉(zhuǎn)換電路A、與第三彎曲傳感器A連接的第三轉(zhuǎn)換電路A、與第四彎曲傳感器A連接的第四轉(zhuǎn)換電路A、與第五彎曲傳感器A連接的第五轉(zhuǎn)換電路A、與第一壓力傳感器A連接的第六轉(zhuǎn)換電路A、與第二壓力傳感器A連接的第七轉(zhuǎn)換電路A、與第三壓力傳感器A連接的第八轉(zhuǎn)換電路A、與第四壓力傳感器A連接的第九轉(zhuǎn)換電路A，第一轉(zhuǎn)換電路A、第二轉(zhuǎn)換電路A、第三轉(zhuǎn)換電路A、第四轉(zhuǎn)換電路A、第五轉(zhuǎn)換電路A、第六轉(zhuǎn)換電路A、第七轉(zhuǎn)換電路A、第八轉(zhuǎn)換電路A、第九轉(zhuǎn)換電路A、加速度傳感器A的XYZ軸3個輸出通道均與A/D模數(shù)采集模塊A的采集通道對應(yīng)連接。
[0012]數(shù)據(jù)采集傳感器組a包括位于右手手套的大拇指背部的第一彎曲傳感器a、位于右手手套的食指背部的第二彎曲傳感器a、位于右手手套的中指背部的第三彎曲傳感器a、位于右手手套的無名指背部的第四彎曲傳感器a、位于右手手套的小拇指背部的第五彎曲傳感器a，以及位于右手手套的大拇指指腹部的第一壓力傳感器a、位于右手手套的食指靠近中指一側(cè)的側(cè)面的第二壓力傳感器a、位于右手手套的中指靠近無名指一側(cè)的側(cè)面的第三壓力傳感器a、位于右手手套的無名指靠近小拇指一側(cè)的側(cè)面的第四壓力傳感器a、位于右手手背靠近手腕處的加速度傳感器a;
[0013]轉(zhuǎn)換電路組a包括與第一彎曲傳感器a連接的第一轉(zhuǎn)換電路a、與第二彎曲傳感器a連接的第二轉(zhuǎn)換電路a、與第三彎曲傳感器a連接的第三轉(zhuǎn)換電路a、與第四彎曲傳感器a連接的第四轉(zhuǎn)換電路a、與第五彎曲傳感器a連接的第五轉(zhuǎn)換電路a、與第一壓力傳感器a連接的第六轉(zhuǎn)換電路a、與第二壓力傳感器a連接的第七轉(zhuǎn)換電路a、與第三壓力傳感器a連接的第八轉(zhuǎn)換電路a、與第四壓力傳感器a連接的第九轉(zhuǎn)換電路a，第一轉(zhuǎn)換電路a、第二轉(zhuǎn)換電路
a、第三轉(zhuǎn)換電路a、第四轉(zhuǎn)換電路a、第五轉(zhuǎn)換電路a、第六轉(zhuǎn)換電路a、第七轉(zhuǎn)換電路a、第八轉(zhuǎn)換電路a、第九轉(zhuǎn)換電路a、加速度傳感器a的XYZ軸3個輸出通道均與A/D模數(shù)采集模塊a的采集通道對應(yīng)連接。
[0014]本發(fā)明所采用的第二種技術(shù)方案是，利用上述一種聾啞人交流智能輔助系統(tǒng)交流的方法，具體按照以下步驟實(shí)施:
[0015]步驟1:數(shù)據(jù)采集傳感器組A和數(shù)據(jù)采集傳感器組a分別測量左手和右手手指的彎曲程度、手指之間的并攏分散狀態(tài)及手部位置空間坐標(biāo)的數(shù)據(jù)信息；
[0016]步驟2:將步驟I測量到的數(shù)據(jù)信息分別經(jīng)過轉(zhuǎn)換電路組A和轉(zhuǎn)換電路組a之后，經(jīng)A/D模數(shù)采集模塊A和A/D模數(shù)采集模塊a進(jìn)行數(shù)據(jù)采集，對采集到的模擬量數(shù)據(jù)進(jìn)行轉(zhuǎn)換或換算，分別得到各個彎曲傳感器和各個壓力傳感器的數(shù)字量電壓值，及得到加速度傳感器A及加速度傳感器a的XYZ軸的坐標(biāo)數(shù)據(jù)；
[0017]步驟3:將步驟2得到的數(shù)據(jù)信息發(fā)送至串口轉(zhuǎn)WiFi模塊A和串口轉(zhuǎn)WiFi模塊a的串口，再通過socket通信連接將串口轉(zhuǎn)WiFi模塊A和串口轉(zhuǎn)WiFi模塊a的串口得到的數(shù)據(jù)均通過WiFi局域網(wǎng)發(fā)送到應(yīng)用層并進(jìn)行解析；
[0018]步驟4:應(yīng)用層將步驟3解析后的數(shù)據(jù)進(jìn)行手語智能識別，形成手勢動作對應(yīng)的編碼值，根據(jù)該編碼值在云管理層中的手語字典表或應(yīng)用層中的本地離線手語字典表進(jìn)行檢索，獲得對應(yīng)編碼值代表的手語語義文本，并將該文本轉(zhuǎn)成語音進(jìn)行播放。
[0019]本發(fā)明所采用的第二種技術(shù)方案的特點(diǎn)還在于:
[0020]步驟I中手指的彎曲程度及手指之間的并攏分散狀態(tài)具體為:
[0021]根據(jù)《中國手語》對手指手形狀態(tài)進(jìn)行分檔，建立本地狀態(tài)規(guī)則表，主要用于存儲對手指手形狀態(tài)的量化值以及傳感器在對應(yīng)手指手形狀態(tài)下的基準(zhǔn)電壓值范圍:
[0022]左手及右手的大拇指彎曲程度進(jìn)行量化，均分為3種狀態(tài):O、1、2;
[0023]左手及右手的食指彎曲程度進(jìn)行量化，均分為4種狀態(tài):O、1、2、3;
[0024]左手及右手的中指彎曲程度進(jìn)行量化，均分為4種狀態(tài):O、1、2、3;
[0025]左手及右手的無名指彎曲程度進(jìn)行量化，均分為4種狀態(tài):0、1、2、3;
[0026]左手及右手的小拇指彎曲程度進(jìn)行量化，均分為4種狀態(tài):O、1、2、3;
[0027]其中，大拇指彎曲傳感器的O表示手指處于伸直或放松狀態(tài)，I表示手指處于伸直與全部彎曲之間的彎曲狀態(tài)，2表示手指全部彎曲的狀態(tài);其余手指彎曲傳感器的O均表示手指處于伸直或放松狀態(tài)，I均表示手指如手勢“9”時食指的彎曲程度，2均表示該手指與大拇指接觸時的彎曲狀態(tài)如手勢“7”中的中指的彎曲程度，3表示手指全部彎曲的狀態(tài)；
[0028]左手的大拇指指腹第一壓力傳感器A、食指側(cè)面第二壓力傳感器A、中指側(cè)面第三壓力傳感器A、無名指側(cè)面第四壓力傳感器A、及右手的大拇指指腹第一壓力傳感器a、食指側(cè)面第二壓力傳感器a、中指側(cè)面第三壓力傳感器a、無名指側(cè)面第四壓力傳感器a均分為2種狀態(tài):O、I，其中所有壓力傳感器的O表示分散不接觸的狀態(tài)，I表示手指并攏相接觸的狀態(tài)；
[0029]數(shù)據(jù)采集傳感器組A和數(shù)據(jù)采集傳感器組a采集左手和右手上所有手指的彎曲程度、手指之間的并攏分散狀態(tài)的實(shí)時數(shù)據(jù)值及手部位置空間坐標(biāo)數(shù)據(jù)，在本地建立實(shí)時數(shù)據(jù)表。
[0030]步驟3中串口轉(zhuǎn)WiFi模塊A和串口轉(zhuǎn)WiFi模塊a通過WiFi熱點(diǎn)與應(yīng)用層建立連接具體為:
[0031]設(shè)置左手采集傳輸層的A/D模數(shù)采集模塊A和右手采集傳輸層的A/D模數(shù)采集模塊a的串口通信參數(shù)的波特率為9600、數(shù)據(jù)位為8、停止位為1、無校驗(yàn)，串口轉(zhuǎn)WiFi模塊A和串口轉(zhuǎn)WiFi模塊a的串口通信參數(shù)的波特率為9600、數(shù)據(jù)位為8、停止位為1、無校驗(yàn)，設(shè)置串口轉(zhuǎn)WiFi模塊A和串口轉(zhuǎn)WiFi模塊a為透明傳輸模式，網(wǎng)絡(luò)工作模式為TCP/client，并設(shè)置所要連接的WiFi熱點(diǎn)的SSID、密碼以及服務(wù)端IP地址和端口號，同時在應(yīng)用層的移動終端建立WiFi熱點(diǎn)，將該熱點(diǎn)的SSID和密碼設(shè)置為與串口轉(zhuǎn)WiFi模塊A和串口轉(zhuǎn)WiFi模塊a中的相同，WiFi熱點(diǎn)建立之后串口轉(zhuǎn)WiFi模塊A和串口轉(zhuǎn)WiFi模塊a將自動與該熱點(diǎn)建立連接，左手采集傳輸層和右手采集傳輸層與應(yīng)用層的移動終端之間就組成了一個WiFi無線局域網(wǎng)；
[0032]步驟3中在應(yīng)用層進(jìn)行解析數(shù)據(jù)具體為:
[0033]將應(yīng)用層得到的流數(shù)據(jù)包轉(zhuǎn)換成字符串格式，對字符包進(jìn)行分割，通過字符串提取獲得每個通道對應(yīng)的傳感器電壓數(shù)據(jù)的字符串，最后將該字符串轉(zhuǎn)成float類型的浮點(diǎn)數(shù)，這樣就將每個A/D模數(shù)采集模塊A和A/D模數(shù)采集模塊a各個通道采集到的數(shù)據(jù)提取出來了。
[0034]步驟4中云管理層中的手語字典表具體為:
[0035]包括字段手語編碼值、語義、圖片、描述、分類，將《中國手語》的所有詞匯通過語義、圖片、描述、分類等字段存儲到表中，根據(jù)狀態(tài)規(guī)則表對手語手勢進(jìn)行編碼，形成手語編碼值，按照拇指、中指、無名指、小拇指彎曲程度，拇指、食指與中指、中指與無名指、無名指與小拇指之間的壓力傳感器是否接觸依次進(jìn)行手語語義的編碼；
[0036]應(yīng)用層中的本地離線手語字典表字段包括手語編碼值、語義、分類，本地離線手語字典表能夠同步云管理層上的手語字典表，通過離線手語字典表能夠提高手語詞匯搜索速度。
[0037]步驟4中手語智能識別具體為:
[0038]將應(yīng)用層的移動終端掛在用戶的胸前，實(shí)時采集移動終端中的加速度傳感器的XYZ軸坐標(biāo)數(shù)據(jù)，將移動終端的加速度傳感器的XYZ軸坐標(biāo)數(shù)據(jù)作為位置原點(diǎn)，將步驟2中得到的加速度傳感器A及加速度傳感器a的XYZ軸的坐標(biāo)數(shù)據(jù)與位置原點(diǎn)坐標(biāo)數(shù)據(jù)進(jìn)行比較，當(dāng)加速度傳感器A及加速度傳感器a的實(shí)時Z軸數(shù)據(jù)與移動終端的實(shí)時Z軸數(shù)據(jù)誤差大于0.5時，判定為未進(jìn)行手語表達(dá)，繼續(xù)進(jìn)行實(shí)時采集;否則，判定為處于手語表達(dá)狀態(tài)，則對手勢進(jìn)行識別，具體為:將步驟3中應(yīng)用層解析出的各個彎曲傳感器、壓力傳感器電壓數(shù)據(jù)與狀態(tài)規(guī)則表中的對應(yīng)的基準(zhǔn)電壓值進(jìn)行匹配，依次輸出各個彎曲傳感器和各個壓力傳感器對應(yīng)每個手指手形的狀態(tài)量化值，并將這些狀態(tài)量化值進(jìn)行編碼，獲取該手形對應(yīng)的編碼值，將得到的手形對應(yīng)的編碼值作為手語語義檢索的關(guān)鍵字，在建立的手語字典表中進(jìn)行查詢，查找到該編碼值所代表的手語含義，并獲取該含義的文本信息，實(shí)現(xiàn)了手語的智能識別；
[0039]步驟4中轉(zhuǎn)成語音進(jìn)行輸出具體為:將手語智能識別之后得到的手語語義文本信息合成語音并輸出。
[0040]還包括語音識別:將健聽人表達(dá)的話語進(jìn)行實(shí)時錄音監(jiān)聽，并將監(jiān)聽到的語音快速翻譯成文本并顯示在應(yīng)用層的移動終端的界面上，提供給聾啞用戶，方便聾啞用戶快速理解健聽人表達(dá)的內(nèi)容；
[0041]還包括手語字典及課堂同步學(xué)習(xí)的增值服務(wù)，手語字典具體為:用戶通過查詢云管理層中的手語字典表，獲得手語的語義信息、手勢圖片以及手勢做法描述信息進(jìn)行學(xué)習(xí)，通過手語字典查詢提高用戶對手語的掌握程度；
[0042]課堂同步學(xué)習(xí)，具體為:通過語音識別方法，對課堂上老師講課內(nèi)容進(jìn)行錄音并實(shí)時轉(zhuǎn)換為文字，同時保存在課堂信息表中，方便用戶課堂學(xué)習(xí)及課后復(fù)習(xí)；
[0043]還包括自主訓(xùn)練建立規(guī)則，具體為:引導(dǎo)用戶按照用戶自己的手勢動作習(xí)慣建立個人的狀態(tài)規(guī)則表，即采集并記錄用戶動作所對應(yīng)的各個彎曲傳感器及各個壓力傳感器實(shí)時電壓數(shù)據(jù)范圍，將該數(shù)據(jù)范圍作為用戶該手指狀態(tài)下的基準(zhǔn)電壓數(shù)據(jù)范圍存入對應(yīng)的狀態(tài)規(guī)則表中，形成新的狀態(tài)規(guī)則表，用戶在以后做手語時就以新的狀態(tài)規(guī)則表作為手語手勢量化的標(biāo)準(zhǔn)；
[0044]還包括個性化手語定制，具體為:用戶自己設(shè)計(jì)手勢，定義手勢含義，將常用的復(fù)雜語句快速用手語表達(dá)，采集該手勢下的傳感器數(shù)據(jù)，同時與狀態(tài)規(guī)則表中的基準(zhǔn)電壓值范圍匹配，匹配后依次輸出該事實(shí)電壓數(shù)據(jù)所對應(yīng)的狀態(tài)量化值，由這些狀態(tài)量化值生成一個新的手語編碼值，生成手語編碼值后，用戶輸入該編碼值所代表的語義的文本信息，并保存到本地手語字典表中，形成一條新的手語語義記錄。
[0045]本發(fā)明的有益效果是:本發(fā)明一種聾啞人交流智能輔助系統(tǒng)，是針對聾啞人與健聽人交流溝通困難的問題，設(shè)計(jì)實(shí)現(xiàn)了一套用于輔助聾啞人與健聽人溝通的軟件及相應(yīng)外設(shè)。聾啞人可以通過佩戴無線數(shù)據(jù)手套進(jìn)行手語實(shí)時表達(dá)，通過WiFi局域網(wǎng)與移動終端進(jìn)行實(shí)時無線通信，將采集到的手勢數(shù)據(jù)信息通過客戶端軟件智能識別轉(zhuǎn)換為對應(yīng)的語音信息，并由移動終端輸出，這樣健聽人就能夠理解聾啞人所要表達(dá)的內(nèi)容。同時，通過移動終端的客戶端軟件把健聽人的語音表達(dá)實(shí)時的轉(zhuǎn)化為文本文字，顯示在智能手機(jī)屏幕上，便于聾啞人快速理解，實(shí)現(xiàn)雙向交流。通過該系統(tǒng)的實(shí)現(xiàn)，解決了健聽人與聾啞人交流時因不懂手語含義而導(dǎo)致溝通不暢的問題，有效地促進(jìn)了聾啞人與健聽人之間的溝通交流。同時，本發(fā)明對傳統(tǒng)的手語轉(zhuǎn)換設(shè)備進(jìn)行了創(chuàng)造性的改造，使得結(jié)構(gòu)更加簡單、佩戴更加方便、使用更加人性化，此外本發(fā)明還提供個性化手語定制、手語字典查詢、課堂同步學(xué)習(xí)等擴(kuò)展功能，提高了聾啞人的參與程度，為聾啞人更好的融入社會提供了一種新的途徑。
【附圖說明】
[0046]圖1是本發(fā)明一種聾啞人交流智能輔助系統(tǒng)的結(jié)構(gòu)示意圖；
[0047]圖2是本發(fā)明一種聾啞人交流智能輔助系統(tǒng)中各個傳感器在左手手套上的位置布設(shè)圖；
[0048]圖3是本發(fā)明一種聾啞人交流智能輔助系統(tǒng)中各個傳感器在右手手套上的位置布設(shè)圖；
[0049]圖4是本發(fā)明一種聾啞人交流智能輔助系統(tǒng)中各個傳感器的外圍轉(zhuǎn)換電路圖。
[0050]圖中，100.左手采集傳輸層，101.第一彎曲傳感器A，102.第二彎曲傳感器A，103.第三彎曲傳感器A，104.第四彎曲傳感器A,105.第五彎曲傳感器A,106.第一壓力傳感器A，107.第二壓力傳感器A,108.第三壓力傳感器A，109?第四壓力傳感器A,110.加速度傳感器A，111.第一轉(zhuǎn)換電路A，112.第二轉(zhuǎn)換電路A，113.第三轉(zhuǎn)換電路A，114.第四轉(zhuǎn)換電路A，115.第五轉(zhuǎn)換電路A，116.第六轉(zhuǎn)換電路A，117.第七轉(zhuǎn)換電路A，118.第八轉(zhuǎn)換電路A，119.第九轉(zhuǎn)換電路A，120.A/D模數(shù)采集模塊A，121.串口轉(zhuǎn)WiFi模塊A;
[0051 ] 200.左手采集傳輸層，201.第一彎曲傳感器a，202.第二彎曲傳感器a，203.第三彎曲傳感器a，204.第四彎曲傳感器a，205.第五彎曲傳感器a，206.第一壓力傳感器a，207.第二壓力傳感器a，208.第三壓力傳感器a，209 ?第四壓力傳感器a ,210.加速度傳感器a ,211.第一轉(zhuǎn)換電路a，212.第二轉(zhuǎn)換電路a，213.第三轉(zhuǎn)換電路a，214.第四轉(zhuǎn)換電路a，215.第五轉(zhuǎn)換電路a，216.第六轉(zhuǎn)換電路a，217.第七轉(zhuǎn)換電路a，218.第八轉(zhuǎn)換電路a，219.第九轉(zhuǎn)換電路a，220.A/D模數(shù)采集模塊a，221.串口轉(zhuǎn)WiFi模塊a;
[0052]300.應(yīng)用層，400.云管理層，401.通信服務(wù)器，402.數(shù)據(jù)服務(wù)器，403.Web服務(wù)器。
【具體實(shí)施方式】
[0053]下面結(jié)合附圖和【具體實(shí)施方式】對本發(fā)明進(jìn)行詳細(xì)說明。
[0054]本發(fā)明一種聾啞人交流智能輔助系統(tǒng)，結(jié)構(gòu)如圖1所示，包括左手采集傳輸層100和右手采集傳輸層200，左手采集傳輸層100和右手采集傳輸層200均與應(yīng)用層300連接，應(yīng)用層300與云管理層400連接。
[0055]其中，左手采集傳輸層100包括依次連接的數(shù)據(jù)采集傳感器組A、轉(zhuǎn)換電路組A、A/D模數(shù)采集模塊A120、串口轉(zhuǎn)WiFi模塊A121，串口轉(zhuǎn)WiFi模塊A121與應(yīng)用層300通過WiFi局域網(wǎng)連接;右手采集傳輸層200包括依次連接的數(shù)據(jù)采集傳感器組a、轉(zhuǎn)換電路組a、A/D模數(shù)采集模塊a220、串口轉(zhuǎn)WiFi模塊a221，串口轉(zhuǎn)WiFi模塊a221與應(yīng)用層300通過WiFi局域網(wǎng)連接。
[0056]如圖2所示，數(shù)據(jù)采集傳感器組A包括位于左手手套的大拇指背部的第一彎曲傳感器A101、位于左手手套的食指背部的第二彎曲傳感器A102、位于左手手套的中指背部的第三彎曲傳感器A103、位于左手手套的無名指背部的第四彎曲傳感器A104、位于左手手套的小拇指背部的第五彎曲傳感器A105，以及位于左手手套的大拇指指腹部的第一壓力傳感器A106、位于左手手套的食指靠近中指一側(cè)的側(cè)面的第二壓力傳感器A107、位于左手手套的中指靠近無名指一側(cè)的側(cè)面的第三壓力傳感器A108、位于左手手套的無名指靠近小拇指一側(cè)的側(cè)面的第四壓力傳感器A109、位于左手手背靠近手腕處的加速度傳感器A110;轉(zhuǎn)換電路組A包括與第一彎曲傳感器AlOl連接的第一轉(zhuǎn)換電路Alll、與第二彎曲傳感器A102連接的第二轉(zhuǎn)換電路Al 12、與第三彎曲傳感器A103連接的第三轉(zhuǎn)換電路Al 13、與第四彎曲傳感器A104連接的第四轉(zhuǎn)換電路A114、與第五彎曲傳感器A105連接的第五轉(zhuǎn)換電路A115、與第一壓力傳感器A106連接的第六轉(zhuǎn)換電路A116、與第二壓力傳感器A107連接的第七轉(zhuǎn)換電路A117、與第三壓力傳感器A108連接的第八轉(zhuǎn)換電路A118、與第四壓力傳感器A109連接的第九轉(zhuǎn)換電路A119，第一轉(zhuǎn)換電路A111、第二轉(zhuǎn)換電路A112、第三轉(zhuǎn)換電路A113、第四轉(zhuǎn)換電路A114、第五轉(zhuǎn)換電路A115、第六轉(zhuǎn)換電路A116、第七轉(zhuǎn)換電路A117、第八轉(zhuǎn)換電路A118、第九轉(zhuǎn)換電路A119、加速度傳感器AllO的XYZ軸3個輸出通道均與A/D模數(shù)采集模塊A120的采集通道對應(yīng)連接。
[0057]如圖3所示，數(shù)據(jù)采集傳感器組a包括位于右手手套的大拇指背部的第一彎曲傳感器a201、位于右手手套的食指背部的第二彎曲傳感器a202、位于右手手套的中指背部的第三彎曲傳感器a203、位于右手手套的無名指背部的第四彎曲傳感器a204、位于右手手套的小拇指背部的第五彎曲傳感器a205，以及位于右手手套的大拇指指腹部的第一壓力傳感器a206、位于右手手套的食指靠近中指一側(cè)的側(cè)面的第二壓力傳感器a207、位于右手手套的中指靠近無名指一側(cè)的側(cè)面的第三壓力傳感器a208、位于右手手套的無名指靠近小拇指一側(cè)的側(cè)面的第四壓力傳感器a209、位于右手手背靠近手腕處的加速度傳感器a210;轉(zhuǎn)換電路組a包括與第一彎曲傳感器a201連接的第一轉(zhuǎn)換電路a211、與第二彎曲傳感器a202連接的第二轉(zhuǎn)換電路a212、與第三彎曲傳感器a203連接的第三轉(zhuǎn)換電路a213、與第四彎曲傳感器a204連接的第四轉(zhuǎn)換電路a214、與第五彎曲傳感器a205連接的第五轉(zhuǎn)換電路a215、與第一壓力傳感器a206連接的第六轉(zhuǎn)換電路a216、與第二壓力傳感器a207連接的第七轉(zhuǎn)換電路a217、與第三壓力傳感器a208連接的第八轉(zhuǎn)換電路a218、與第四壓力傳感器a209連接的第九轉(zhuǎn)換電路a219，第一轉(zhuǎn)換電路a211、第二轉(zhuǎn)換電路a212、第三轉(zhuǎn)換電路a213、第四轉(zhuǎn)換電路a214、第五轉(zhuǎn)換電路a215、第六轉(zhuǎn)換電路a216、第七轉(zhuǎn)換電路a217、第八轉(zhuǎn)換電路a218、第九轉(zhuǎn)換電路a219、加速度傳感器a210的XYZ軸3個輸出通道均與A/D模數(shù)采集模塊a220的采集通道對應(yīng)連接。
[0058]上述所有彎曲傳感器均主要測量手指的彎曲程度，而第一壓力傳感器A106、第一壓力傳感器a206主要判斷兩個拇指是否與其他部位接觸以及兩個拇指分別與兩個食指的并攏分散狀態(tài)，其他六個壓力傳感器主要用于判斷食指、中指、無名指、小拇指相鄰的兩兩之間的并攏分散狀態(tài)。
[0059]本發(fā)明所述的彎曲傳感器與壓力傳感器均屬于柔性電阻型傳感器，必須通過轉(zhuǎn)換電路組A及轉(zhuǎn)換電路組a將傳感器因擠壓形變或彎曲形變導(dǎo)致的電阻值變化轉(zhuǎn)換為電壓值的變化，接法如圖4所示，圖中Ti(i = l，-_，9)分別對應(yīng)左手的第一彎曲傳感器AlOl?第五彎曲傳感器A105、第一壓力傳感器A106?第四壓力傳感器A109及右手的第一彎曲傳感器a201?第五彎曲傳感器a205、第一壓力傳感器a206?第四壓力傳感器a209，Ri可選用9ΚΩ?15K Ω之間的定值電阻，則通過測量Ri兩端輸出電壓來度量傳感器的實(shí)時電壓值。
[0060]第一彎曲傳感器AlOl?第五彎曲傳感器A105、第一壓力傳感器A106?第四壓力傳感器A109及第一彎曲傳感器a201?第五彎曲傳感器a205、第一壓力傳感器a206?第四壓力傳感器a209經(jīng)轉(zhuǎn)換電路組A及轉(zhuǎn)換電路組a之后與A/D模數(shù)采集模塊A120、A/D模數(shù)采集模塊a220連接，A/D模數(shù)采集模塊A120、A/D模數(shù)采集模塊a220將模擬量的電壓值轉(zhuǎn)換成對應(yīng)的數(shù)字量數(shù)據(jù)，為后續(xù)處理提供數(shù)據(jù)，加速度傳感器Al 10、加速度傳感器a210分別與A/D模數(shù)采集模塊A120、A/D模數(shù)采集模塊a220連接，通過A/D模數(shù)采集模塊A120、A/D模數(shù)采集模塊a220將XYZ軸的模擬量電壓值轉(zhuǎn)換成數(shù)字量數(shù)據(jù)并換算成實(shí)際的XYZ軸坐標(biāo)數(shù)據(jù)。A/D模數(shù)采集模塊A120、A/D模數(shù)采集模塊a220均通過RS232串口分別與串口轉(zhuǎn)WiFi模塊A121、串口轉(zhuǎn)WiFi模塊a221連接。串口轉(zhuǎn)WiFi模塊A121、串口轉(zhuǎn)WiFi模塊a221均設(shè)置為透明傳輸、TCP客戶端的工作模式，串口轉(zhuǎn)WiFi模塊A121、串口轉(zhuǎn)WiFi模塊a221再分別與應(yīng)用層300中的移動終端自建的WiFi熱點(diǎn)連接，組成一個自適應(yīng)的局域網(wǎng)A/D模數(shù)采集模塊A120、A/D模數(shù)采集模塊a220采集到的數(shù)據(jù)采用socket通信方式通過無線局域網(wǎng)傳輸，傳輸?shù)綉?yīng)用層300的移動終端客戶端軟件中處理解析，將手勢動作實(shí)時轉(zhuǎn)換成語音輸出。
[0061]應(yīng)用層300的移動終端能夠?qū)崿F(xiàn)手語識別、手語字典、課堂同步等功能。
[0062]云管理層400包括通信服務(wù)器401、數(shù)據(jù)服務(wù)器402和Web服務(wù)器403。用于手語字典表、用戶表、設(shè)備信息表、課堂信息表等數(shù)據(jù)的更新，以及移動終端客戶端軟件的更新與維護(hù)，從而為聾啞用戶提供個性化定制服務(wù)。
[0063]建立數(shù)據(jù)庫:狀態(tài)規(guī)則表、實(shí)時數(shù)據(jù)表、手語字典表、用戶表、設(shè)備信息表、課堂信息表
[0064]根據(jù)《中國手語》對手指手形狀態(tài)進(jìn)行分檔，建立本地狀態(tài)規(guī)則表，主要用于存儲對手指手形狀態(tài)的量化值以及傳感器在對應(yīng)手指手形狀態(tài)下的基準(zhǔn)電壓值范圍:
[0065]左手及右手的大拇指彎曲程度進(jìn)行量化，均分為3種狀態(tài):O、1、2，對應(yīng)基準(zhǔn)電壓值范圍分別為:2.01 ?2.17、2.3?2.68、2.7?2.9;
[0066]左手及右手的食指彎曲程度進(jìn)行量化，均分為4種狀態(tài):0、1、2、3，對應(yīng)基準(zhǔn)電壓值范圍分別為:1.87 ?2.2、2.47?2.5、2.6?2.7、2.98?3.1;
[0067]左手及右手的中指彎曲程度進(jìn)行量化，均分為4種狀態(tài):O、1、2、3，對應(yīng)基準(zhǔn)電壓值范圍分別為:1.87 ?2.48、2.5?2.76、2.86?3.0、3.1?3.24;
[0068]左手及右手的無名指彎曲程度進(jìn)行量化，均分為4種狀態(tài):0、1、2、3，對應(yīng)基準(zhǔn)電壓值范圍分別為:1.82 ?2.13、2.2?2.53、2.64?2.84、2.81?3.0;
[0069]左手及右手的小拇指彎曲程度進(jìn)行量化，均分為4種狀態(tài):O、1、2、3，對應(yīng)基準(zhǔn)電壓值范圍分別為:2.0?1.3、2.7?2.8、2.9?3.15、3.3?3.55;
[0070]其中，大拇指彎曲傳感器的O表示手指處于伸直或放松狀態(tài)，I表示手指處于伸直與全部彎曲之間的彎曲狀態(tài)，2表示手指全部彎曲的狀態(tài);其余手指彎曲傳感器的O均表示手指處于伸直或放松狀態(tài)，I均表示手指如手勢“9”時食指的彎曲程度，2均表示該手指與大拇指接觸時的彎曲狀態(tài)如手勢“7”中的中指的彎曲程度，3表示手指全部彎曲的狀態(tài)；
[0071]左手的大拇指指腹第一壓力傳感器A106、食指側(cè)面第二壓力傳感器A107、中指側(cè)面第三壓力傳感器A108、無名指側(cè)面第四壓力傳感器A109、及右手的大拇指指腹第一壓力傳感器a206、食指側(cè)面第二壓力傳感器a207、中指側(cè)面第三壓力傳感器a208、無名指側(cè)面第四壓力傳感器a209均分為2種狀態(tài):O、I，對應(yīng)基準(zhǔn)電壓值范圍分別為:0.5?4.9、5，其中所有壓力傳感器的O表示分散不接觸的狀態(tài)，I表示手指并攏相接觸的狀態(tài);根據(jù)這些對手指手形狀態(tài)進(jìn)行離散量化，為后續(xù)編碼準(zhǔn)備。
[0072]數(shù)據(jù)采集傳感器組A和數(shù)據(jù)采集傳感器組a測量左手和右手上所有手指的彎曲程度及手指之間的并攏分散狀態(tài)的實(shí)時數(shù)據(jù)值和手部位置空間坐標(biāo)數(shù)據(jù)，在本地建立實(shí)時數(shù)據(jù)表，主要用于存儲左手和右手上所有傳感器的實(shí)時數(shù)據(jù)值，為后續(xù)的手語智能識別提供數(shù)據(jù)基礎(chǔ)。
[0073]根據(jù)《中國手語》以及狀態(tài)規(guī)則表，在云服務(wù)器400的數(shù)據(jù)服務(wù)器402的數(shù)據(jù)庫中建立手語字典表，主要字段有手語編碼值、語義、圖片、描述、分類等。將《中國手語》的所有詞匯通過語義、圖片、描述、分類等字段存儲到表中，根據(jù)狀態(tài)規(guī)則表對手語手勢進(jìn)行編碼，形成手語編碼值。按照拇指、中指、無名指、小拇指彎曲程度，拇指、食指與中指、中指與無名指、無名指與小拇指之間的壓力傳感器是否接觸依次進(jìn)行手語語義的編碼。例如，手勢字母“A”的編碼值為033330111，手勢字母“B”的編碼值為200000111。同時在客戶端軟件中建立本地離線手語字典表，主要字段有手語編碼值、語義、分類等，該表能夠同步云服務(wù)器上的手語字典表，通過離線手語字典表能夠提高手語詞匯搜索速度。
[0074]在云服務(wù)器400的數(shù)據(jù)服務(wù)器402的數(shù)據(jù)庫中建立用戶表、設(shè)備信息表、課堂信息表等數(shù)據(jù)表，用戶表主要用于存儲用戶的基本信息，如用戶名、密碼、性別、年齡等，方便后期針對不同用戶需求提供不同服務(wù)以及對用戶進(jìn)行管理;設(shè)備信息表主要用于存儲手套設(shè)備的基本信息，如設(shè)備ID、編號、工作狀態(tài)等，方便實(shí)現(xiàn)對設(shè)備的管理維護(hù);課堂信息表主要用于存儲用戶課堂錄音以及轉(zhuǎn)換后的文本信息，方便用戶課堂學(xué)習(xí)及課后復(fù)習(xí)。
[0075]設(shè)置左手采集傳輸層100的A/D模數(shù)采集模塊A120和右手采集傳輸層200的A/D模數(shù)采集模塊a220的串口通信參數(shù)的波特率為9600、數(shù)據(jù)位為8、停止位為1、無校驗(yàn)，串口轉(zhuǎn)WiFi模塊A121和串口轉(zhuǎn)WiFi模塊a221的串口通信參數(shù)的波特率為9600、數(shù)據(jù)位為8、停止位為1、無校驗(yàn)，設(shè)置串口轉(zhuǎn)WiFi模塊Al 21和串口轉(zhuǎn)WiFi模塊a221為透明傳輸模式，網(wǎng)絡(luò)工作模式為TCP/client，并設(shè)置所要連接的WiFi熱點(diǎn)的SSID(Service Set Identifier，服務(wù)集標(biāo)識)、密碼以及服務(wù)端IP地址和端口號，即設(shè)定為這個WiFi局域網(wǎng)中手機(jī)的地址和端口號，比如IP地址192.168.43.1，端口6553。同時在應(yīng)用層300的移動終端建立WiFi熱點(diǎn)，將該熱點(diǎn)的SSID和密碼設(shè)置為與串口轉(zhuǎn)WiFi模塊Al21和串口轉(zhuǎn)WiFi模塊a221中的相同，WiFi熱點(diǎn)建立之后串口轉(zhuǎn)WiFi模塊A121和串口轉(zhuǎn)WiFi模塊a221將自動與該熱點(diǎn)建立連接，左手采集傳輸層100和右手采集傳輸層200與應(yīng)用層300的移動終端之間就組成了一個WiFi無線局域網(wǎng)。
[0076]利用一種聾啞人交流智能輔助系統(tǒng)交流的方法，具體按照以下步驟實(shí)施:
[0077]步驟I:左手采集傳輸層100的A/D模數(shù)采集模塊A120和右手采集傳輸層200的A/D模數(shù)采集模塊a220分別發(fā)送采集命令，數(shù)據(jù)采集傳感器組A和數(shù)據(jù)采集傳感器組a分別測量左手和右手手指的彎曲程度、手指之間的并攏分散狀態(tài)及手部位置空間坐標(biāo)的數(shù)據(jù)信息；
[0078]步驟2:將步驟I測量到的數(shù)據(jù)信息分別經(jīng)過轉(zhuǎn)換電路組A和轉(zhuǎn)換電路組a之后，經(jīng)A/D模數(shù)采集模塊A120和A/D模數(shù)采集模塊a220進(jìn)行數(shù)據(jù)采集，對采集到的模擬量數(shù)據(jù)進(jìn)行轉(zhuǎn)換或換算，分別得到各個彎曲傳感器和各個壓力傳感器的數(shù)字量電壓值，及得到加速度傳感器Al 1及加速度傳感器a210的XYZ軸的坐標(biāo)數(shù)據(jù)；
[0079]步驟3:將步驟2得到的數(shù)據(jù)信息輪詢發(fā)送至串口轉(zhuǎn)WiFi模塊A121和串口轉(zhuǎn)WiFi模塊a221的串口，再通過socket通信連接將串口轉(zhuǎn)WiFi模塊A121和串口轉(zhuǎn)WiFi模塊a221的串口得到的數(shù)據(jù)均通過WiFi局域網(wǎng)發(fā)送到應(yīng)用層300。其中，socket通信連接的實(shí)現(xiàn)過程為:在移動終端的客戶端軟件中建立socket服務(wù)端通信子程序，新建ServerSocket對象并且指定端口號如6553，通過偵聽方式等待接收客戶端發(fā)送數(shù)據(jù)，在程序的配置文件中將該子程序設(shè)置為service工作模式，該服務(wù)將隨著客戶端軟件的啟動自動執(zhí)行，生命周期將隨著程序的結(jié)束而終止。通過該子程序?qū)崿F(xiàn)對連接客戶端實(shí)時偵聽，并將通過無線傳輸獲取的數(shù)據(jù)包存入手機(jī)的緩存區(qū)，等待進(jìn)一步的處理。
[0080]對上述采集傳輸?shù)骄彺鎱^(qū)的傳感器數(shù)據(jù)包進(jìn)行實(shí)時解析，將應(yīng)用層300得到的流數(shù)據(jù)包轉(zhuǎn)換成字符串格式，對字符包進(jìn)行分割，通過字符串提取獲得每個通道對應(yīng)的傳感器電壓數(shù)據(jù)的字符串，最后將該字符串轉(zhuǎn)成float類型的浮點(diǎn)數(shù)，這樣就將每個A/D模數(shù)采集模塊A120和A/D模數(shù)采集模塊a220各個通道采集到的數(shù)據(jù)提取出來了，數(shù)據(jù)解析成功后將各個通道的數(shù)據(jù)存儲到建立在本地實(shí)時數(shù)據(jù)表中的對應(yīng)字段中。
[0081]步驟4:應(yīng)用層300將步驟3解析后的數(shù)據(jù)進(jìn)行手語智能識別，形成手勢動作對應(yīng)的編碼值，根據(jù)該編碼值在云管理層400中的手語字典表或應(yīng)用層300中的本地離線手語字典表進(jìn)行檢索，獲得對應(yīng)編碼值代表的手語語義文本，并將該文本轉(zhuǎn)成語音進(jìn)行播放。
[0082]其中，手語智能識別具體為:將應(yīng)用層300的移動終端掛在用戶的胸前，實(shí)時采集移動終端中內(nèi)置的加速度傳感器的XYZ軸坐標(biāo)數(shù)據(jù)，將移動終端的加速度傳感器的XYZ軸坐標(biāo)數(shù)據(jù)作為位置原點(diǎn)，將步驟2中得到的加速度傳感器AllO及加速度傳感器a210的XYZ軸坐標(biāo)數(shù)據(jù)與位置原點(diǎn)坐標(biāo)數(shù)據(jù)進(jìn)行比較，當(dāng)加速度傳感器AllO及加速度傳感器a210的實(shí)時Z軸數(shù)據(jù)與移動終端的實(shí)時Z軸數(shù)據(jù)誤差大于0.5時，判定為未進(jìn)行手語表達(dá)，繼續(xù)進(jìn)行實(shí)時采集;否則，判定為處于手語表達(dá)狀態(tài)，則對手勢進(jìn)行識別，具體為:將步驟3中應(yīng)用層300解析出的各個彎曲傳感器、壓力傳感器的電壓數(shù)據(jù)與狀態(tài)規(guī)則表中的對應(yīng)的基準(zhǔn)電壓值進(jìn)行匹配，依次輸出各個彎曲傳感器和各個壓力傳感器對應(yīng)每個手指手形的狀態(tài)量化值，并將這些狀態(tài)量化值進(jìn)行編碼，獲取該手形對應(yīng)的編碼值，例如使用左手輸入字母“A”時，各傳感器的狀態(tài)量化值和對應(yīng)采集到實(shí)時電壓數(shù)據(jù)依次為:0，2.1;3，3.2;3，3.1;3，3.17;3，3.26;0，5;1，3.6;1，4.5;1，2.3。通過程序自動生成1”的編碼為033330111。將得到的手形對應(yīng)的編碼值作為手語語義檢索的關(guān)鍵字，在建立的手語字典表中進(jìn)行查詢，查找到該編碼值所代表的手語含義，并獲取該含義的文本信息，實(shí)現(xiàn)了手語的智能識別；例如，使用上述“A”的編碼033330111作為關(guān)鍵字在手語字典表中進(jìn)行查詢，便可查到一條記錄，該記錄中包含了該手勢對應(yīng)的字母“A”的信息。
[0083]對上述智能識別后獲得的語義文本信息，進(jìn)行語音輸出:調(diào)用語音識別引擎的SDK進(jìn)行語音合成，首先創(chuàng)建SpeechSynthesizer對象，再采用StartSpeakingO方法進(jìn)行合成，最后將上述獲取的文本信息合成語音并輸出，模擬健全人開口說話。同時，聾啞用戶也可直接在程序中輸入想要表達(dá)的文字，通過調(diào)用該子程序?qū)⑽淖趾铣蔀檎Z音并且輸出，進(jìn)行語音播報，實(shí)現(xiàn)與健聽人的交流。
[0084]本發(fā)明還可以進(jìn)行語音識別，即對輸入的語音信息進(jìn)行識別，以文字形式顯示出來:調(diào)用語音識別引擎的SDK進(jìn)行語音聽寫，首先創(chuàng)建SpeechRecognizer對象，再建立監(jiān)聽器RecognizerListener對象，通過startListening()方法進(jìn)行聽寫，實(shí)現(xiàn)對健聽人表達(dá)的話語進(jìn)行實(shí)時錄音監(jiān)聽，并將監(jiān)聽到的語音快速翻譯成文本并顯示在應(yīng)用層300的移動終端的界面上，提供給聾啞用戶，方便聾啞用戶快速理解健聽人表達(dá)的內(nèi)容。
[0085]本發(fā)明還設(shè)計(jì)了手語字典及課堂同步學(xué)習(xí)等增值服務(wù)。實(shí)現(xiàn)手語字典查詢，具體在客戶端軟件中設(shè)計(jì)手語字典查詢子程序，該子程序向用戶提供手語搜索功能，用戶可以通過查詢云管理層400中云服務(wù)器端的手語字典表，可以獲得手語的語義信息、手勢圖片以及手勢做法描述等信息進(jìn)行學(xué)習(xí)，通過手語字典查詢能夠提高用戶對手語的掌握程度。實(shí)現(xiàn)課堂同步學(xué)習(xí)，具體在客戶端軟件中設(shè)計(jì)課堂同步學(xué)習(xí)子程序，可以通過上述的語音識別方法，對課堂上老師講課內(nèi)容進(jìn)行錄音并實(shí)時轉(zhuǎn)換為文字，同時保存在課堂信息表中，方便用戶課堂學(xué)習(xí)及課后復(fù)習(xí)，為聾啞用戶提供一種走出特殊教育融入正常社會，與健聽人一起進(jìn)行學(xué)習(xí)的方法。
[0086]該設(shè)備的具體工作模式如下:首先佩戴手套設(shè)備，將手機(jī)掛于胸前位置，設(shè)備上電工作后與移動終端客戶端軟件通過WiFi局域網(wǎng)建立socket連接，然后通過A/D模數(shù)采集?！缐?20和A/D模數(shù)采集模塊a220進(jìn)行數(shù)據(jù)采集，再對采集到的數(shù)據(jù)進(jìn)行解析，然后通過手語智能識別得到所做手形對應(yīng)的編碼值，并檢索到該編碼值所代表的手語含義，再將手語含義的文本信息轉(zhuǎn)換成語音并進(jìn)行語音播報，至此就實(shí)現(xiàn)了對手語的翻譯，這樣健聽人就能夠理解聾啞人所要表達(dá)的意思。同時，移動終端客戶端軟件可以將健聽人所說的話語實(shí)時轉(zhuǎn)換成文字并在軟件界面顯示，從而實(shí)現(xiàn)了雙向溝通。
[0087]本發(fā)明的一大亮點(diǎn)是用戶可以根據(jù)自己的手形通過自主訓(xùn)練建立自定義規(guī)則，實(shí)現(xiàn)對狀態(tài)規(guī)則表中手語手形狀態(tài)量化值的校正。上述狀態(tài)規(guī)則表是根據(jù)多數(shù)人的手形習(xí)慣建立的普遍性規(guī)則，為了提高手語的識別準(zhǔn)確率，聾啞用戶可以根據(jù)自己的手勢動作習(xí)慣建立個人的狀態(tài)規(guī)則表。具體是在客戶端軟件中設(shè)計(jì)自定義規(guī)則的子程序?qū)崿F(xiàn)，該子程序能夠引導(dǎo)用戶按照上述的狀態(tài)規(guī)則表規(guī)定的手指狀態(tài)做出對應(yīng)的手勢動作，采集并記錄該動作所對應(yīng)的彎曲傳感器及壓力傳感器實(shí)時電壓數(shù)據(jù)范圍，最后將該數(shù)據(jù)范圍作為用戶該手指狀態(tài)下的基準(zhǔn)電壓數(shù)據(jù)范圍存入對應(yīng)的狀態(tài)規(guī)則表中，形成新的狀態(tài)規(guī)則表，用戶在以后做手語時就以新的狀態(tài)規(guī)則表作為手語手勢量化的標(biāo)準(zhǔn)。通過用戶自主訓(xùn)練可以根據(jù)個人手部動作的特點(diǎn)實(shí)現(xiàn)規(guī)則的自主定制，最終提高手語翻譯精度。
[0088]本發(fā)明的另一大亮點(diǎn)是可以針對不同用戶實(shí)現(xiàn)個性化手語定制，用戶可自己設(shè)計(jì)手勢，定義手勢含義，將常用的復(fù)雜語句快速用手語表達(dá)，有效地提高手語交流效率。具體是在客戶端軟件中設(shè)計(jì)自定義手語子程序，該子程序能夠引導(dǎo)用戶通過手套自定義一個手勢，并采集該手勢下的傳感器數(shù)據(jù)，同時與狀態(tài)規(guī)則表中的基準(zhǔn)電壓值范圍匹配，匹配后依次輸出該實(shí)時電壓數(shù)據(jù)所對應(yīng)的狀態(tài)量化值，由這些狀態(tài)量化值生成一個新的手語編碼值。生成手語編碼值后，用戶輸入該編碼值所代表的語義的文本信息，并保存到本地手語字典表中，形成一條新的手語語義記錄。用戶再次做該動作時，就可以直接進(jìn)行識別并輸出語音。這樣可以將復(fù)雜語義信息所代表的手語手勢簡化，減少手勢動作的時間，實(shí)現(xiàn)快速播報自定義的常用語，節(jié)省交流時間，使雙方交流更加通暢。
【主權(quán)項(xiàng)】
1.一種聾啞人交流智能輔助系統(tǒng)，其特征在于，包括左手采集傳輸層(100)和右手采集傳輸層(200)，左手采集傳輸層(100)和右手采集傳輸層(200)均與應(yīng)用層(300)連接，應(yīng)用層(300)與云管理層(400)連接。2.根據(jù)權(quán)利要求1所述的一種聾啞人交流智能輔助系統(tǒng)，其特征在于，所述左手采集傳輸層(100)包括依次連接的數(shù)據(jù)采集傳感器組A、轉(zhuǎn)換電路組A、A/D模數(shù)采集模塊A (120)、串口轉(zhuǎn)WiFi模塊A(121)，串口轉(zhuǎn)WiFi模塊A(121)與所述應(yīng)用層(300)通過WiFi局域網(wǎng)連接； 所述右手采集傳輸層(200)包括依次連接的數(shù)據(jù)采集傳感器組a、轉(zhuǎn)換電路組a、A/D模數(shù)采集模塊a(220)、串口轉(zhuǎn)WiFi模塊a(221)，串口轉(zhuǎn)WiFi模塊a(221)與所述應(yīng)用層(300)通過WiFi局域網(wǎng)連接。3.根據(jù)權(quán)利要求2所述的一種聾啞人交流智能輔助系統(tǒng)，其特征在于，所述數(shù)據(jù)采集傳感器組A包括位于左手手套的大拇指背部的第一彎曲傳感器A(1l)、位于左手手套的食指背部的第二彎曲傳感器A(102)、位于左手手套的中指背部的第三彎曲傳感器A(103)、位于左手手套的無名指背部的第四彎曲傳感器A(104)、位于左手手套的小拇指背部的第五彎曲傳感器A(105)，以及位于左手手套的大拇指指腹部的第一壓力傳感器A(106)、位于左手手套的食指靠近中指一側(cè)的側(cè)面的第二壓力傳感器A(107)、位于左手手套的中指靠近無名指一側(cè)的側(cè)面的第三壓力傳感器A(1S)、位于左手手套的無名指靠近小拇指一側(cè)的側(cè)面的第四壓力傳感器A(109)、位于左手手背靠近手腕處的加速度傳感器A(IlO); 轉(zhuǎn)換電路組A包括與第一彎曲傳感器A (I OI)連接的第一轉(zhuǎn)換電路A (111 )、與第二彎曲傳感器A(102)連接的第二轉(zhuǎn)換電路A(112)、與第三彎曲傳感器A(103)連接的第三轉(zhuǎn)換電路A(113)、與第四彎曲傳感器A(104)連接的第四轉(zhuǎn)換電路A(114)、與第五彎曲傳感器A(105)連接的第五轉(zhuǎn)換電路A(115)、與第一壓力傳感器A(106)連接的第六轉(zhuǎn)換電路A(116)、與第二壓力傳感器A(107)連接的第七轉(zhuǎn)換電路A(117)、與第三壓力傳感器A(108)連接的第八轉(zhuǎn)換電路A( 118)、與第四壓力傳感器A( 109)連接的第九轉(zhuǎn)換電路A( 119)，第一轉(zhuǎn)換電路A(111)、第二轉(zhuǎn)換電路A(112)、第三轉(zhuǎn)換電路A(113)、第四轉(zhuǎn)換電路A(114)、第五轉(zhuǎn)換電路A(115)、第六轉(zhuǎn)換電路A(116)、第七轉(zhuǎn)換電路A(117)、第八轉(zhuǎn)換電路A(118)、第九轉(zhuǎn)換電路A(119)、所述加速度傳感器A( 110)的XYZ軸3個輸出通道均與所述A/D模數(shù)采集模塊A( 120)的采集通道對應(yīng)連接。4.根據(jù)權(quán)利要求3所述的一種聾啞人交流智能輔助系統(tǒng)，其特征在于，所述數(shù)據(jù)采集傳感器組a包括位于右手手套的大拇指背部的第一彎曲傳感器a(201)、位于右手手套的食指背部的第二彎曲傳感器a(202)、位于右手手套的中指背部的第三彎曲傳感器a(203)、位于右手手套的無名指背部的第四彎曲傳感器a(204)、位于右手手套的小拇指背部的第五彎曲傳感器a(205)，以及位于右手手套的大拇指指腹部的第一壓力傳感器a(206)、位于右手手套的食指靠近中指一側(cè)的側(cè)面的第二壓力傳感器a(207)、位于右手手套的中指靠近無名指一側(cè)的側(cè)面的第三壓力傳感器a(208)、位于右手手套的無名指靠近小拇指一側(cè)的側(cè)面的第四壓力傳感器a(209)、位于右手手背靠近手腕處的加速度傳感器a(210); 轉(zhuǎn)換電路組a包括與第一彎曲傳感器a (201)連接的第一轉(zhuǎn)換電路a (211 )、與第二彎曲傳感器a (20 2)連接的第二轉(zhuǎn)換電路a (212 )、與第三彎曲傳感器a (203)連接的第三轉(zhuǎn)換電路a(213)、與第四彎曲傳感器a(204)連接的第四轉(zhuǎn)換電路a(214)、與第五彎曲傳感器a(205)連接的第五轉(zhuǎn)換電路a(215)、與第一壓力傳感器a(206)連接的第六轉(zhuǎn)換電路a(216)、與第二壓力傳感器a(207)連接的第七轉(zhuǎn)換電路a(217)、與第三壓力傳感器a(208)連接的第八轉(zhuǎn)換電路a(218)、與第四壓力傳感器a(209)連接的第九轉(zhuǎn)換電路a(219)，第一轉(zhuǎn)換電路a(211)、第二轉(zhuǎn)換電路a(212)、第三轉(zhuǎn)換電路a(213)、第四轉(zhuǎn)換電路a(214)、第五轉(zhuǎn)換電路a(215)、第六轉(zhuǎn)換電路a(216)、第七轉(zhuǎn)換電路a(217)、第八轉(zhuǎn)換電路a(218)、第九轉(zhuǎn)換電路a(219)、所述加速度傳感器a (210)的XYZ軸3個輸出通道均與所述A/D模數(shù)采集模塊a (220)的采集通道對應(yīng)連接。5.利用如權(quán)利要求4所述的一種聾啞人交流智能輔助系統(tǒng)交流的方法，其特征在于，具體按照以下步驟實(shí)施: 步驟1:數(shù)據(jù)采集傳感器組A和數(shù)據(jù)采集傳感器組a分別測量左手和右手手指的彎曲程度、手指之間的并攏分散狀態(tài)及手部位置空間坐標(biāo)的數(shù)據(jù)信息； 步驟2:將步驟I測量到的數(shù)據(jù)信息分別經(jīng)過轉(zhuǎn)換電路組A和轉(zhuǎn)換電路組a之后，經(jīng)A/D模數(shù)采集模塊A (120)和A/D模數(shù)采集模塊a (220)進(jìn)行數(shù)據(jù)采集，對采集到的模擬量數(shù)據(jù)進(jìn)行轉(zhuǎn)換或換算，分別得到各個彎曲傳感器和各個壓力傳感器的數(shù)字量電壓值，及得到加速度傳感器A (110)及加速度傳感器a (210)的XYZ軸的坐標(biāo)數(shù)據(jù)； 步驟3:將步驟2得到的數(shù)據(jù)信息發(fā)送至串口轉(zhuǎn)WiFi模塊A( 121)和串口轉(zhuǎn)WiFi模塊a(221)的串口，再通過socket通信連接將串口轉(zhuǎn)WiFi模塊A(121)和串口轉(zhuǎn)WiFi模塊a(221)的串口得到的數(shù)據(jù)均通過WiFi局域網(wǎng)發(fā)送到應(yīng)用層(300)并進(jìn)行解析； 步驟4:應(yīng)用層(300)將步驟3解析后的數(shù)據(jù)進(jìn)行手語智能識別，形成手勢動作對應(yīng)的編碼值，根據(jù)該編碼值在云管理層(400)中的手語字典表或應(yīng)用層(300)中的本地離線手語字典表進(jìn)行檢索，獲得對應(yīng)編碼值代表的手語語義文本，并將該文本轉(zhuǎn)成語音進(jìn)行播放。6.利用如權(quán)利要求5所述的一種聾啞人交流智能輔助系統(tǒng)交流的方法，其特征在于，所述步驟I中手指的彎曲程度及手指之間的并攏分散狀態(tài)具體為: 根據(jù)《中國手語》對手指手形狀態(tài)進(jìn)行分檔，建立本地狀態(tài)規(guī)則表，主要用于存儲對手指手形狀態(tài)的量化值以及傳感器在對應(yīng)手指手形狀態(tài)下的基準(zhǔn)電壓值范圍: 左手及右手的大拇指彎曲程度進(jìn)行量化，均分為3種狀態(tài):O、1、2; 左手及右手的食指彎曲程度進(jìn)行量化，均分為4種狀態(tài):O、1、2、3; 左手及右手的中指彎曲程度進(jìn)行量化，均分為4種狀態(tài):O、1、2、3; 左手及右手的無名指彎曲程度進(jìn)行量化，均分為4種狀態(tài):O、1、2、3; 左手及右手的小拇指彎曲程度進(jìn)行量化，均分為4種狀態(tài):O、1、2、3; 其中，大拇指彎曲傳感器的O表示手指處于伸直或放松狀態(tài)，I表示手指處于伸直與全部彎曲之間的彎曲狀態(tài)，2表示手指全部彎曲的狀態(tài);其余手指彎曲傳感器的O均表示手指處于伸直或放松狀態(tài)，I均表示手指如手勢“9”時食指的彎曲程度，2均表示該手指與大拇指接觸時的彎曲狀態(tài)如手勢“7”中的中指的彎曲程度，3表示手指全部彎曲的狀態(tài)； 左手的大拇指指腹第一壓力傳感器A(106)、食指側(cè)面第二壓力傳感器A(107)、中指側(cè)面第三壓力傳感器A(1S)、無名指側(cè)面第四壓力傳感器A(109)、及右手的大拇指指腹第一壓力傳感器a(206)、食指側(cè)面第二壓力傳感器a(207)、中指側(cè)面第三壓力傳感器a(208)、無名指側(cè)面第四壓力傳感器a(209)均分為2種狀態(tài):0、1，其中所有壓力傳感器的O表示分散不接觸的狀態(tài)，I表示手指并攏相接觸的狀態(tài)； 數(shù)據(jù)采集傳感器組A和數(shù)據(jù)采集傳感器組a采集左手和右手上所有手指的彎曲程度、手指之間的并攏分散狀態(tài)的實(shí)時數(shù)據(jù)值及手部位置空間坐標(biāo)數(shù)據(jù)，在本地建立實(shí)時數(shù)據(jù)表。7.利用如權(quán)利要求6所述的一種聾啞人交流智能輔助系統(tǒng)交流的方法，其特征在于，所述步驟3中串口轉(zhuǎn)WiFi模塊A(121)和串口轉(zhuǎn)WiFi模塊a(221)通過WiFi熱點(diǎn)與應(yīng)用層(300)建立連接具體為: 設(shè)置左手采集傳輸層(100)的A/D模數(shù)采集模塊A (120)和右手采集傳輸層(200)的A/D模數(shù)采集模塊a(220)的串口通信參數(shù)的波特率為9600、數(shù)據(jù)位為8、停止位為1、無校驗(yàn)，串口轉(zhuǎn)WiFi模塊A( 121)和串口轉(zhuǎn)WiFi模塊a(221)的串口通信參數(shù)的波特率為9600、數(shù)據(jù)位為8、停止位為1、無校驗(yàn)，設(shè)置串口轉(zhuǎn)WiFi模塊A(121)和串口轉(zhuǎn)WiFi模塊a (221)為透明傳輸模式，網(wǎng)絡(luò)工作模式為TCP/client，并設(shè)置所要連接的WiFi熱點(diǎn)的SSID、密碼以及服務(wù)端IP地址和端口號，同時在應(yīng)用層(300)的移動終端建立WiFi熱點(diǎn)，將該熱點(diǎn)的SSID和密碼設(shè)置為與串口轉(zhuǎn)WiFi模塊A( 121)和串口轉(zhuǎn)WiFi模塊a(221)中的相同，WiFi熱點(diǎn)建立之后串口轉(zhuǎn)WiFi模塊A(121)和串口轉(zhuǎn)WiFi模塊a(221)將自動與該熱點(diǎn)建立連接，左手采集傳輸層(100)和右手采集傳輸層(200)與應(yīng)用層(300)的移動終端之間就組成了一個WiFi無線局域網(wǎng)； 步驟3中在應(yīng)用層(300)進(jìn)行解析數(shù)據(jù)具體為: 將應(yīng)用層(300)得到的流數(shù)據(jù)包轉(zhuǎn)換成字符串格式，對字符包進(jìn)行分割，通過字符串提取獲得每個通道對應(yīng)的傳感器電壓數(shù)據(jù)的字符串，最后將該字符串轉(zhuǎn)成float類型的浮點(diǎn)數(shù)，這樣就將每個A/D模數(shù)采集模塊A (120)和A/D模數(shù)采集模塊a (220)各個通道采集到的數(shù)據(jù)提取出來了。8.利用如權(quán)利要求6所述的一種聾啞人交流智能輔助系統(tǒng)交流的方法，其特征在于，所述步驟4中云管理層(400)中的手語字典表具體為: 包括字段手語編碼值、語義、圖片、描述、分類，將《中國手語》的所有詞匯通過語義、圖片、描述、分類等字段存儲到表中，根據(jù)狀態(tài)規(guī)則表對手語手勢進(jìn)行編碼，形成手語編碼值，按照拇指、中指、無名指、小拇指彎曲程度，拇指、食指與中指、中指與無名指、無名指與小拇指之間的壓力傳感器是否接觸依次進(jìn)行手語語義的編碼； 應(yīng)用層(300)中的本地離線手語字典表字段包括手語編碼值、語義、分類，本地離線手語字典表能夠同步云管理層(400)上的手語字典表，通過離線手語字典表能夠提高手語詞匯搜索速度。9.利用如權(quán)利要求6所述的一種聾啞人交流智能輔助系統(tǒng)交流的方法，其特征在于，所述步驟4中手語智能識別具體為: 將應(yīng)用層(300)的移動終端掛在用戶的胸前，實(shí)時采集移動終端中的加速度傳感器的XYZ軸坐標(biāo)數(shù)據(jù)，將移動終端的加速度傳感器的XYZ軸坐標(biāo)數(shù)據(jù)作為位置原點(diǎn)，將步驟2中得到的加速度傳感器A(IlO)及加速度傳感器a(210)的XYZ軸的坐標(biāo)數(shù)據(jù)與位置原點(diǎn)坐標(biāo)數(shù)據(jù)進(jìn)行比較，當(dāng)加速度傳感器A(IlO)及加速度傳感器a( 210)的實(shí)時Z軸數(shù)據(jù)與移動終端的實(shí)時Z軸數(shù)據(jù)誤差大于0.5時，判定為未進(jìn)行手語表達(dá)，繼續(xù)進(jìn)行實(shí)時采集;否則，判定為處于手語表達(dá)狀態(tài)，則對手勢進(jìn)行識別，具體為:將步驟3中應(yīng)用層(300)解析出的各個彎曲傳感器、壓力傳感器電壓數(shù)據(jù)與狀態(tài)規(guī)則表中的對應(yīng)的基準(zhǔn)電壓值進(jìn)行匹配，依次輸出各個彎曲傳感器和各個壓力傳感器對應(yīng)每個手指手形的狀態(tài)量化值，并將這些狀態(tài)量化值進(jìn)行編碼，獲取該手形對應(yīng)的編碼值，將得到的手形對應(yīng)的編碼值作為手語語義檢索的關(guān)鍵字，在建立的手語字典表中進(jìn)行查詢，查找到該編碼值所代表的手語含義，并獲取該含義的文本信息，實(shí)現(xiàn)了手語的智能識別； 步驟4中轉(zhuǎn)成語音進(jìn)行輸出具體為:將手語智能識別之后得到的手語語義文本信息合成語音并輸出。10.利用如根據(jù)權(quán)利要求6所述的一種聾啞人交流智能輔助系統(tǒng)交流的方法，其特征在于，還包括語音識別:將健聽人表達(dá)的話語進(jìn)行實(shí)時錄音監(jiān)聽，并將監(jiān)聽到的語音快速翻譯成文本并顯示在應(yīng)用層(300)的移動終端的界面上，提供給聾啞用戶，方便聾啞用戶快速理解健聽人表達(dá)的內(nèi)容； 還包括手語字典及課堂同步學(xué)習(xí)的增值服務(wù)，手語字典具體為:用戶通過查詢云管理層(400)中的手語字典表，獲得手語的語義信息、手勢圖片以及手勢做法描述信息進(jìn)行學(xué)習(xí)，通過手語字典查詢提高用戶對手語的掌握程度； 課堂同步學(xué)習(xí)，具體為:通過語音識別方法，對課堂上老師講課內(nèi)容進(jìn)行錄音并實(shí)時轉(zhuǎn)換為文字，同時保存在課堂信息表中，方便用戶課堂學(xué)習(xí)及課后復(fù)習(xí)； 還包括自主訓(xùn)練建立規(guī)則，具體為:引導(dǎo)用戶按照用戶自己的手勢動作習(xí)慣建立個人的狀態(tài)規(guī)則表，即采集并記錄用戶動作所對應(yīng)的各個彎曲傳感器及各個壓力傳感器實(shí)時電壓數(shù)據(jù)范圍，將該數(shù)據(jù)范圍作為用戶該手指狀態(tài)下的基準(zhǔn)電壓數(shù)據(jù)范圍存入對應(yīng)的狀態(tài)規(guī)則表中，形成新的狀態(tài)規(guī)則表，用戶在以后做手語時就以新的狀態(tài)規(guī)則表作為手語手勢量化的標(biāo)準(zhǔn)； 還包括個性化手語定制，具體為:用戶自己設(shè)計(jì)手勢，定義手勢含義，將常用的復(fù)雜語句快速用手語表達(dá)，采集該手勢下的傳感器數(shù)據(jù)，同時與狀態(tài)規(guī)則表中的基準(zhǔn)電壓值范圍匹配，匹配后依次輸出該事實(shí)電壓數(shù)據(jù)所對應(yīng)的狀態(tài)量化值，由這些狀態(tài)量化值生成一個新的手語編碼值，生成手語編碼值后，用戶輸入該編碼值所代表的語義的文本信息，并保存到本地手語字典表中，形成一條新的手語語義記錄。
【文檔編號】G09B21/00GK106097835SQ201610393525
【公開日】2016年11月9日
【申請日】2016年6月3日 公開號201610393525.5, CN 106097835 A, CN 106097835A, CN 201610393525, CN-A-106097835, CN106097835 A, CN106097835A, CN201610393525, CN201610393525.5
【發(fā)明人】繆亞林, 肖倩, 曹雪茹, 譚偉浩, 儀孝展
【申請人】西安理工大學(xué)