代步工具的控制方法和控制裝置、代步工具系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種代步工具控制方法和控制裝置、代步工具系統(tǒng)，涉及控制領(lǐng)域，能夠無需使用腿、臂或手等身體部位的動作即可對代步工具進(jìn)行操作，解決了現(xiàn)有代步工具對于肢體不便人士操作困難的問題。本發(fā)明的方法包括：代步工具控制裝置，包括：攝像頭，用于拍攝使用者的眼部圖像；圖像處理單元，與所述攝像頭相連，用于接收所述攝像頭拍攝的眼部圖像，并從中識別出使用者的眼部動作；控制單元，用于根據(jù)識別出的所述眼部動作生成對應(yīng)的用于控制代步工具運(yùn)動的動作指令。
【專利說明】
代步工具的控制方法和控制裝置、代步工具系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及控制領(lǐng)域，尤其涉及一種代步工具控制方法和控制裝置、代步工具系 統(tǒng)。
【背景技術(shù)】
[0002] 現(xiàn)有的輪椅，用戶通常需要用手或腳推動，或者采用電力驅(qū)動并通過按壓按鍵的 方法來進(jìn)行控制，這對于肢體不便的人士而言比較困難，例如漸凍癥患者，既無法使用手 腳，也無法發(fā)聲，根本無法使用現(xiàn)有輪椅。因此，目前急需一種無需使用腿、臂或手等身體部 位的動作即可進(jìn)行操作的輪椅。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明提供一種代步工具控制方法和控制裝置、代步工具系統(tǒng)，無需使用腿、臂或 手等身體部位的動作即可進(jìn)行操作，解決了現(xiàn)有代步工具對于肢體不便人士操作困難的問 題。
[0004] 為達(dá)到上述目的，本發(fā)明的實施例采用如下技術(shù)方案：
[0005] 本發(fā)明的實施例提供一種代步工具控制裝置，包括:攝像頭，用于拍攝使用者的眼 部圖像；圖像處理單元，與所述攝像頭相連，用于接收所述攝像頭拍攝的眼部圖像，并從中 識別出使用者的眼部動作；控制單元，用于根據(jù)識別出的所述眼部動作生成對應(yīng)的用于控 制代步工具運(yùn)動的動作指令。
[0006] 可選地，還包括:眼鏡，所述攝像頭集成在所述眼鏡上。
[0007] 優(yōu)選地，所述攝像頭集成在所述眼鏡的鏡片上。
[0008] 可選地，所述圖像處理單元包括：坐標(biāo)確定子單元，用于利用人眼的眼白、虹膜和 瞳孔之間的灰度值差異，從所述攝像頭拍攝的眼部圖像中識別出瞳孔并確定瞳孔坐標(biāo);動 作確定子單元，用于將所述瞳孔坐標(biāo)與各預(yù)設(shè)樣片中的瞳孔坐標(biāo)進(jìn)行一一比對，判斷所述 瞳孔坐標(biāo)與所述預(yù)設(shè)樣片中的瞳孔坐標(biāo)的差值是否在預(yù)設(shè)范圍內(nèi)，如果在預(yù)設(shè)范圍內(nèi)，則 確定使用者做出了預(yù)設(shè)樣片中的眼部動作，所述預(yù)設(shè)樣片為預(yù)先拍攝的使用者的眼部動作 圖像。
[0009] 可選地，所述的代步工具控制裝置，還包括:動作準(zhǔn)備單元，與所述圖像處理單元 相連，用于在所述圖像處理單元識別出使用者的眼部動作，且通過所述圖像處理單元接收 使用者輸入的本次眼控開始指令之后，判斷代步工具的當(dāng)前狀態(tài)是否處于預(yù)設(shè)的動作準(zhǔn)備 狀態(tài)，并在判斷結(jié)果為否時，生成動作準(zhǔn)備指令，所述動作準(zhǔn)備指令用于指示所述代步工具 從當(dāng)前狀態(tài)調(diào)整為動作準(zhǔn)備狀態(tài)，代步工具處于所述動作準(zhǔn)備狀態(tài)時，適合執(zhí)行所述眼部 動作對應(yīng)的動作指令。
[0010] 可選地，所述代步工具控制裝置，還包括:提示單元，用于在所述圖像處理單元識 別出使用者的眼部動作之后，提示使用者是否執(zhí)行所述眼部動作對應(yīng)的動作指令;發(fā)送單 元，用于在接收使用者的確認(rèn)執(zhí)行指令后，將所述動作指令發(fā)送至代步工具的電機(jī)驅(qū)動器。
[0011]可選地，所述代步工具控制裝置，還包括:動作結(jié)束單元，用于接收使用者輸入的 本次眼控結(jié)束指令，并根據(jù)所述本次眼控結(jié)束指令生成用于指示所述代步工具停止并關(guān)閉 所述發(fā)送單元的動作結(jié)束指令。
[0012] 可選地，所述使用者的眼部動作包括:眨眼和向左、向右、向上、向下看。
[0013] 可選地，所述代步工具控制裝置，還包括:通信模塊，用于將所述攝像頭拍攝的眼 部圖像發(fā)送給所述圖像處理單元。
[0014] 本發(fā)明的實施例還提供一種代步工具系統(tǒng)，包括:代步工具和任一項所述的代步 工具控制裝置，所述代步工具包括全方位輪、驅(qū)動所述全方位輪的驅(qū)動電機(jī)以及控制所述 驅(qū)動電機(jī)的電機(jī)驅(qū)動器;所述代步工具控制裝置的動作指令輸出端與所述電機(jī)驅(qū)動器相 連。
[0015] 優(yōu)選地，所述全方位輪為麥克納姆輪。
[0016] 進(jìn)一步地，所述代步工具系統(tǒng)還包括:停止按鈕，用于接收輸入的強(qiáng)行停止指令； 安全控制板，與所述停止按鈕和所述電機(jī)驅(qū)動器相連，用于在接收到所述強(qiáng)行停止指令時， 向所述電機(jī)驅(qū)動器發(fā)送關(guān)閉所述驅(qū)動電機(jī)的指令。所述停止按鈕可以設(shè)置在代步工具上， 例如輪椅的扶手或者靠背上，也可以設(shè)置在其它方便操作的地方，本實施例不做限定。
[0017] 本發(fā)明的實施例提供一種代步工具控制方法，包括:拍攝使用者的眼部圖像;通過 圖像處理，從拍攝的眼部圖像中識別出使用者的眼部動作;根據(jù)識別出的所述眼部動作生 成對應(yīng)的用于控制代步工具運(yùn)動的動作指令。
[0018] 可選地，所述通過圖像處理，從拍攝的眼部圖像中識別出使用者的眼部動作之后， 所述根據(jù)識別出的所述眼部動作生成對應(yīng)的用于控制代步工具運(yùn)動的動作指令之前，還包 括:接收使用者輸入的本次眼控開始指令，并判斷代步工具的當(dāng)前狀態(tài)是否處于預(yù)設(shè)的動 作準(zhǔn)備狀態(tài)，并在判斷結(jié)果為否時，生成動作準(zhǔn)備指令，所述動作準(zhǔn)備指令用于指示所述代 步工具從當(dāng)前狀態(tài)調(diào)整為動作準(zhǔn)備狀態(tài)，代步工具處于所述動作準(zhǔn)備狀態(tài)時，適合執(zhí)行所 述眼部動作對應(yīng)的動作指令。
[0019] 可選地，所述根據(jù)識別出的所述眼部動作生成對應(yīng)的用于控制代步工具運(yùn)動的動 作指令之后，還包括:提示使用者是否執(zhí)行所述眼部動作對應(yīng)的動作指令;待接收到使用者 輸入的確認(rèn)執(zhí)行指令后，將所述動作指令發(fā)送至代步工具的電機(jī)驅(qū)動器。
[0020] 可選地，所述接收使用者的確認(rèn)執(zhí)行指令后，將所述動作指令發(fā)送至代步工具的 電機(jī)驅(qū)動器之后，還包括:接收使用者輸入的本次眼控結(jié)束指令，并根據(jù)所述本次眼控結(jié)束 指令生成用于指示所述代步工具停止并停止向所述代步工具發(fā)送動作指令的動作結(jié)束指 令。
[0021] 本發(fā)明提供一種代步工具控制方法和控制裝置、代步工具系統(tǒng)，所述代步工具控 制裝置包括:攝像頭、圖像處理單元和控制單元，通過攝像頭拍攝使用者的眼部圖像，圖像 處理單元接收攝像頭拍攝的眼部圖像并從中識別出使用者的眼部動作，然后由控制單元根 據(jù)識別出的眼部動作生成對應(yīng)的用于控制代步工具運(yùn)動的動作指令，可以由眼部動作控制 操作代步工具，無需使用腿、臂或手等身體部位的動作，解決了現(xiàn)有代步工具對于肢體不便 人士操作困難的問題。所述代步工具可以是輪椅等。
【附圖說明】
[0022]為了更清楚地說明本發(fā)明實施例中的技術(shù)方案，下面將對實施例中所需要使用的 附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng) 域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其它的附 圖。
[0023]圖1為本發(fā)明實施例一提供的一種代步工具控制裝置的結(jié)構(gòu)框圖；
[0024]圖2為本發(fā)明實施例一中眼鏡結(jié)構(gòu)示意圖；
[0025]圖3為本發(fā)明實施例一中第一種實施方式提供的代步工具控制裝置結(jié)構(gòu)框圖；
[0026] 圖4為本發(fā)明實施例一中預(yù)先拍攝的使用者直視前方時的眼部動作示意圖；
[0027] 圖5為本發(fā)明實施例一中預(yù)先拍攝的使用者向左看的預(yù)設(shè)樣片；
[0028] 圖6為本發(fā)明實施例一中第二種實施方式提供的代步工具控制裝置結(jié)構(gòu)框圖；
[0029] 圖7為本發(fā)明實施例一中第三種實施方式提供的代步工具控制裝置結(jié)構(gòu)框圖；
[0030] 圖8為本發(fā)明實施例一中第四種實施方式提供的代步工具控制裝置結(jié)構(gòu)框圖； [0031]圖9為本發(fā)明實施例一中提供的一種代步工具系統(tǒng)的結(jié)構(gòu)框圖；
[0032] 圖10為本發(fā)明實施例二中提供的一種輪椅系統(tǒng)的結(jié)構(gòu)示意圖；
[0033] 圖11為本發(fā)明實施例二中提供的輪椅系統(tǒng)的硬件連接示意圖；
[0034]圖12為本發(fā)明實施例二中提供的輪椅系統(tǒng)的工作流程圖；
[0035]圖13為本發(fā)明實施例二中輪椅實現(xiàn)主要移動時各麥克納姆輪配合運(yùn)動的示意圖。
【具體實施方式】
[0036]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；?本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它 實施例，都屬于本發(fā)明保護(hù)的范圍。
[0037] 實施例一
[0038] 本發(fā)明的實施例提供一種代步工具控制裝置，如圖1所示，該代步工具控制裝置包 括:攝像頭11，用于拍攝使用者的眼部圖像;圖像處理單元12,與攝像頭11相連，用于接收攝 像頭11拍攝的眼部圖像，并從中識別出使用者的眼部動作;控制單元13,用于根據(jù)識別出的 眼部動作生成對應(yīng)的用于控制代步工具運(yùn)動的動作指令。
[0039] 本實施例提供的代步工具控制裝置，可以預(yù)設(shè)一些眼部動作并建立眼部動作與對 代步工具操作的對應(yīng)關(guān)系并存儲，示例性地，以輪椅為例可以如下表所示:預(yù)設(shè)的使用者的 眼部動作可以包括：眨眼和向左、向右、向上、向下看，并且，向左看對應(yīng)的輪椅操作為輪椅 左轉(zhuǎn)，向右看對應(yīng)的輪椅操作為輪椅右轉(zhuǎn)，向上看對應(yīng)輪椅前進(jìn)，向下看對應(yīng)輪椅后退，眨 眼一次表示指令確認(rèn)，連續(xù)眨眼兩次表示輪椅停止，連續(xù)眨眼三次表示開始啟動本次眼控 操作等等?？梢岳斫獾氖?，使用者的眼部動作具體包括哪些眼部動作以及眼部動作與輪椅 操作動作的對應(yīng)關(guān)系不做具體限定，實際運(yùn)用時可以根據(jù)實際情況進(jìn)行設(shè)置。另外，可以在 出廠前預(yù)設(shè)，也可以在使用時由用戶進(jìn)行自定義。本實施例所述代步工具不限于輪椅，還可 以是平衡車、電動獨(dú)輪車等。

[0041] 以輪椅為例，上述控制裝置具體工作時，使用攝像頭11拍攝使用者的眼部圖像，攝 像頭11拍攝的眼部圖像通過有線或無線的方式傳輸給圖像處理單元12,圖像處理單元12通 過圖像處理從中識別出使用者的眼部動作，然后由控制單元13通過查詢預(yù)設(shè)的眼部動作與 輪椅操作動作的對應(yīng)關(guān)系表，由此生成使輪椅產(chǎn)生對應(yīng)動作的動作指令。例如，通過圖像處 理識別出使用者的眼部動作為向左看，則控制單元13生成指示輪椅左轉(zhuǎn)的動作指令并傳遞 給輪椅的動力機(jī)構(gòu)，以實現(xiàn)輪椅的左轉(zhuǎn)操作。
[0042] 通過本實施例提供的代步工具控制裝置，可以實現(xiàn)由眼部動作控制操作代步工 具，無需使用腿、臂或手等身體部位的動作，解決了現(xiàn)有代步工具對于肢體不便人士操作困 難的問題。
[0043] 如圖2所示，上述代步工具控制裝置還可還包括：眼鏡，上述的攝像頭11集成在眼 鏡上，一方面便于使用者佩戴，另一方面還可以遮擋使用者對代步工具操作時的眼部動作， 避免引起他人的好奇心及關(guān)注。一種優(yōu)選實施方式如圖2所示，將攝像頭11集成在眼鏡的鏡 片上，同時在眼鏡上攝像頭11旁邊的位置集成通信模塊(例如藍(lán)牙無線模塊111)以及電源 模塊(例如電池131)，電源模塊為攝像頭11和通信模塊提供電力，攝像頭11拍攝的眼部圖像 通過通信模塊發(fā)送給圖像處理單元12。
[0044]如圖3所示，在本實施例的第一種實施方式中，上述的圖像處理單元12包括:坐標(biāo) 確定子單元121，用于利用人眼的眼白、虹膜和瞳孔之間的灰度值差異，從攝像頭11拍攝的 眼部圖像中識別出瞳孔并確定瞳孔坐標(biāo);動作確定子單元122,用于將瞳孔坐標(biāo)與各預(yù)設(shè)樣 片中的瞳孔坐標(biāo)進(jìn)行一一比對，判斷瞳孔坐標(biāo)與預(yù)設(shè)樣片中的瞳孔坐標(biāo)的差值是否在預(yù)設(shè) 范圍內(nèi)，如果在預(yù)設(shè)范圍內(nèi)，則確定使用者做出了預(yù)設(shè)樣片中的眼部動作，預(yù)設(shè)樣片為預(yù)先 拍攝的使用者的眼部動作圖像。
[0045] 通過圖像處理識別出瞳孔并確定瞳孔坐標(biāo)，對本領(lǐng)域的技術(shù)人員而言，一般比較 容易實現(xiàn)，下面僅示例性地簡單敘述:步驟一、攝像頭11所拍攝的眼部圖像主要是人眼的眼 白、虹膜、瞳孔等部分，利用三者之間灰度值差異，實現(xiàn)瞳孔定位。為此，可以先利用最大類 間方差法對圖片進(jìn)行分割，實現(xiàn)二值化，確定虹膜外邊緣，隨后，用灰度投影方法確定虹膜 中心坐標(biāo)，最后利用基于圓的霍夫變換以及最小二乘法確認(rèn)瞳孔中心位置(確定出瞳孔坐 標(biāo)）；步驟二、將步驟一確定出的瞳孔坐標(biāo)與各預(yù)設(shè)樣片中的瞳孔坐標(biāo)進(jìn)行一一比對，預(yù)設(shè) 樣片為使用者在首次使用時的調(diào)試階段預(yù)先拍攝的眼部動作圖像。
[0046] 例如，如圖4所示，為預(yù)先拍攝的使用者直視前方時的眼部動作，規(guī)定此時瞳孔坐 標(biāo)為坐標(biāo)原點(diǎn)；圖5為預(yù)先拍攝的使用者向左看的預(yù)設(shè)樣片。當(dāng)眼球向左轉(zhuǎn)動，即向左看時， 瞳孔相對位置由中心原點(diǎn)向左側(cè)偏移，同理，當(dāng)向右、上、下轉(zhuǎn)動時，瞳孔位置也發(fā)生相應(yīng)偏 移，瞳孔顏色相對較深，步驟一中可以通過圖像分析的方法準(zhǔn)確識別出瞳孔在整個眼球中 的位置。步驟二中將步驟一確定出的瞳孔坐標(biāo)與預(yù)設(shè)樣片一一比對，其中如果將步驟一確 定出的瞳孔坐標(biāo)與圖5所示向左看的預(yù)設(shè)樣片比對時，步驟一確定出的瞳孔坐標(biāo)在圖5中虛 線所示的范圍內(nèi)，即認(rèn)為步驟一確定出的瞳孔坐標(biāo)與預(yù)設(shè)樣片中的瞳孔坐標(biāo)的差值在預(yù)設(shè) 范圍內(nèi)，則使用者的眼部動作確定為向左看。
[0047] 如圖6所示，在本實施例的第二種實施方式中，所述代步工具控制裝置，還包括動 作準(zhǔn)備單元14,與圖像處理單元12相連，用于在圖像處理單元12識別出使用者的眼部動作 且通過圖像處理單元12接收使用者輸入的本次眼控開始指令之后，判斷代步工具的當(dāng)前狀 態(tài)是否處于預(yù)設(shè)的動作準(zhǔn)備狀態(tài)，并在判斷結(jié)果為否時，生成動作準(zhǔn)備指令，所述動作準(zhǔn)備 指令用于指示所述代步工具從當(dāng)前狀態(tài)調(diào)整為動作準(zhǔn)備狀態(tài)，代步工具處于動作準(zhǔn)備狀態(tài) 時，適合執(zhí)行上述眼部動作對應(yīng)的動作指令。
[0048] 對代步工具進(jìn)行眼部動作所代表的操作動作前，需要確認(rèn)代步工具的當(dāng)前狀態(tài)如 何，是否適合進(jìn)行該操作動作，如果不適合，需要現(xiàn)將代步工具當(dāng)前狀態(tài)進(jìn)行調(diào)整，使之處 于能夠安全地進(jìn)行該操作動作的動作準(zhǔn)備狀態(tài)，避免出現(xiàn)安全事故。動作準(zhǔn)備狀態(tài)預(yù)先設(shè) 置，依據(jù)要執(zhí)行的動作指令而不同。例如，以輪椅為例，如果輪椅當(dāng)前處于較高速度的前進(jìn) 狀態(tài)，操作者通過眼部動作指示輪椅左轉(zhuǎn)，這時提示操作者"本次眼控是否開始?"，待操作 者通過眼部動作(例如眨眼一次)輸入本次眼控開始指令，通過攝像頭11拍攝、圖像處理單 元12圖像處理后，動作準(zhǔn)備單元14接收到使用者輸入的本次眼控開始指令，判斷輪椅的當(dāng) 前狀態(tài)速度過高，不適宜進(jìn)行左轉(zhuǎn)（即判斷輪椅當(dāng)前未處于動作準(zhǔn)備狀態(tài)），此時生成動作 準(zhǔn)備指令，動作準(zhǔn)備指令指示輪椅降低速度或停止運(yùn)動，為執(zhí)行眼部動作所代表的輪椅左 轉(zhuǎn)指令做準(zhǔn)備，避免高速左轉(zhuǎn)引發(fā)事故。代步工具可實時反饋或記錄前一動作執(zhí)行結(jié)果，獲 得代步工具的當(dāng)前狀態(tài)，動作準(zhǔn)備單元14如果判斷代步工具的當(dāng)前狀態(tài)適合進(jìn)行眼部動作 所對應(yīng)的動作指令，這時可不生成動作準(zhǔn)備指令，直接進(jìn)行下一步操作。代步工具的當(dāng)前狀 態(tài)包括但不限于代步工具目前的行駛速度、前進(jìn)方向以及代步工具各輪子的角度等。
[0049] 如圖7所示，在本實施例的第三種實施方式中，在上一實施方式的基礎(chǔ)上還進(jìn)一步 包括:提示單元15,用于在圖像處理單元12識別出使用者的眼部動作之后，提示使用者是否 執(zhí)行眼部動作對應(yīng)的動作指令;發(fā)送單元16，用于在接收使用者的確認(rèn)執(zhí)行指令后，將動作 指令發(fā)送至代步工具的電機(jī)驅(qū)動器。提示單元15可以采用語音、畫面等提示方式，通過提示 單元15進(jìn)行提示，發(fā)送單元16接收到使用者的確認(rèn)執(zhí)行指令后，再將動作指令發(fā)送的方式， 實現(xiàn)動作指令在發(fā)送前均可撤回，可以避免誤操作，提高安全性。
[0050] 如圖8所示，在本實施例的第四種實施方式中，在上一實施方式的基礎(chǔ)上還進(jìn)一步 包括:動作結(jié)束單元17，用于接收使用者輸入的本次眼控結(jié)束指令，并根據(jù)本次眼控結(jié)束指 令生成用于指示代步工具停止并關(guān)閉發(fā)送單元16的動作結(jié)束指令。在使用者輸入本次眼控 結(jié)束指令后，動作結(jié)束單元17指示代步工具停止并關(guān)閉發(fā)送單元16,可以防止誤操作。
[0051] 上述的本次眼控開始指令、確認(rèn)執(zhí)行指令以及本次眼控結(jié)束指令均可以通攝像頭 拍攝使用者的眼部圖像，經(jīng)圖像處理單元進(jìn)行圖像識別而獲得。
[0052]通過本實施例提供的代步工具控制裝置，可以實現(xiàn)由眼部動作控制操作輪椅等代 步工具，無需使用腿、臂或手等身體部位的動作，解決了現(xiàn)有代步工具對于肢體不便人士操 作困難的問題;同時安全性有保證，并可防止誤操作。
[0053]本發(fā)明的實施例還提供一種代步工具系統(tǒng)，該代步工具系統(tǒng)包括:代步工具和上 述任一項所述的代步工具控制裝置，代步工具以輪椅為例，如圖9所示，輪椅20包括全方位 輪23、驅(qū)動全方位輪23的驅(qū)動電機(jī)22以及控制驅(qū)動電機(jī)22的電機(jī)驅(qū)動器21;控制裝置10的 動作指令輸出端與電機(jī)驅(qū)動器21相連，此處的相連控制裝置10與電機(jī)驅(qū)動器21之間可以通 信，包括有線和無線方式，例如無線方式可以通過無線適配器實現(xiàn)。本實施例提供的輪椅等 代步工具系統(tǒng)，可以實現(xiàn)眼部動作控制，無需使用腿、臂或手等身體部位的動作，解決了現(xiàn) 有輪椅對于肢體不便人士操作困難的問題。
[0054] 進(jìn)一步地，上述代步工具還可包括:停止按鈕，用于接收輸入的強(qiáng)行停止指令；安 全控制板，與停止按鈕和電機(jī)驅(qū)動器21相連，用于在接收到強(qiáng)行停止指令時，向電機(jī)驅(qū)動器 21發(fā)送關(guān)閉驅(qū)動電機(jī)的指令。乘坐者一般為肢體不便人士，如果出現(xiàn)意外情況需要停止代 步工具，通過眼部動作操作比較慢，這時可以由看護(hù)者按下停止按鈕進(jìn)行緊急制動。
[0055] 實施例二
[0056] 本發(fā)明的實施例還提供一種代步工具控制方法，包括:步驟一、拍攝使用者的眼部 圖像;步驟二、通過圖像處理，從拍攝的眼部圖像中識別出使用者的眼部動作;步驟三、根據(jù) 識別出的所述眼部動作生成對應(yīng)的用于控制代步工具運(yùn)動的動作指令。
[0057]本實施例提供的代步工具控制方法，拍攝眼部圖像，然后通過圖像處理從圖像中 識別出使用者的眼部動作并轉(zhuǎn)化控制代步工具運(yùn)動的動作指令，可以實現(xiàn)用眼部動作來控 制操作代步工具，無需使用腿、臂或手等身體部位的動作，解決了現(xiàn)有輪椅對于肢體不便人 士操作困難的問題。
[0058]進(jìn)一步地，上述步驟三之前，還包括:接收使用者輸入的本次眼控開始指令，并在 接收本次眼控開始指令之后，判斷代步工具的當(dāng)前狀態(tài)是否處于預(yù)設(shè)的動作準(zhǔn)備狀態(tài)，并 在判斷結(jié)果為否時，生成動作準(zhǔn)備指令，所述動作準(zhǔn)備指令用于指示代步工具從當(dāng)前狀態(tài) 調(diào)整為動作準(zhǔn)備狀態(tài)，代步工具處于動作準(zhǔn)備狀態(tài)時，適合執(zhí)行眼部動作對應(yīng)的動作指令。 動作準(zhǔn)備指令指示代步工具降低速度或停止運(yùn)動，為執(zhí)行眼部動作所代表的代步工具左轉(zhuǎn) 指令做準(zhǔn)備，避免高速左轉(zhuǎn)引發(fā)事故。
[0059] 步驟三之后，還可包括:步驟四、提示使用者是否執(zhí)行眼部動作對應(yīng)的動作指令； 待接收到使用者輸入的確認(rèn)執(zhí)行指令后，將動作指令發(fā)送至代步工具的電機(jī)驅(qū)動器。待使 用者確認(rèn)后，再將動作指令發(fā)送，在動作指令發(fā)送前均可撤回動作指令，可以避免誤操作， 提尚安全性。
[0060] 本實施例提供的代步工具控制方法還包括:步驟五、接收使用者輸入的本次眼控 結(jié)束指令，并根據(jù)所述本次眼控結(jié)束指令生成用于指示代步工具停止并停止向代步工具發(fā) 送動作指令的動作結(jié)束指令。
[0061] 為了本領(lǐng)域技術(shù)人員更好的理解本發(fā)明實施例提供的代步工具及其控制方法，下 面通過具體的實施例對本發(fā)明提供的方案進(jìn)行詳細(xì)說明。
[0062] 如圖10和圖11所示，本發(fā)明實施例提供一種輪椅系統(tǒng)，輪椅系統(tǒng)由眼鏡18和輪椅 組成，眼鏡上集成了攝像頭11和藍(lán)牙無線模塊111以及電池131，可實時拍攝并發(fā)送眼部圖 像，輪椅包括座椅24,安裝在座椅24底部的全方位輪23(-般為四個）以及輪轂電機(jī)221、電 機(jī)驅(qū)動器21，還包括設(shè)置在座椅24上的處理器19、存儲器（圖中未示出）和藍(lán)牙無線模塊 111-2、語音提示模塊151、電源模塊以及空氣開關(guān)等。輪椅可實時接收眼部圖像并通過圖像 分析算法識別出眼部動作，同時處理器19根據(jù)眼部動作發(fā)出對應(yīng)指令，控制全方位輪23轉(zhuǎn) 動調(diào)整方向，以及控制輪椅前、后移動以及其它動作。本領(lǐng)域技術(shù)人員可以理解的是，處理 器19通過執(zhí)行設(shè)定好的軟件程序，可以實現(xiàn)實施例一中圖像處理單元12、控制單元13、動作 準(zhǔn)備單元14和動作結(jié)束單元17的功能，以及發(fā)送單元部分16的部分功能。
[0063] 示例性地，本實施例眼控輪椅根據(jù)眼部動作和輪椅操作的對應(yīng)關(guān)系如實施例一中 表1所示，表，眼睛向左、右、上、下看分別對應(yīng)輪椅左、右、前、后移動，眨眼1、2、3次分別對應(yīng) 確定、停止、啟動，支持自定義設(shè)置。
[0064] 如此，如圖12所示，本實施例輪椅系統(tǒng)工作原理如下：用戶佩戴集成了攝像頭11的 眼鏡，啟動后，攝像頭11以每秒10次的速度(該速度可以人為設(shè)定)實時拍攝眼部圖像，并通 過藍(lán)牙無線方式將圖像發(fā)送到輪椅上的處理器19,處理器19實時處理圖像并識別出眼部動 作。用戶控制輪椅前，需要連續(xù)眨眼3次以獲取控制權(quán)限。當(dāng)用戶轉(zhuǎn)動眼睛向左、或向右、或 向上、或向下看1次時，系統(tǒng)結(jié)合眼動識別結(jié)果和操作對應(yīng)表，以語音方式給出是否向左、或 向右、或向前、或向后移動的提示，用戶再眨眼一次，進(jìn)行確認(rèn)，然后輪椅開始執(zhí)行識別眼部 動作對應(yīng)的操作。持續(xù)直至用戶需要停止時，連續(xù)眨眼兩次即可該結(jié)束對輪椅的控制過程。
[0065] 需要注意的是，針對同一動作指令，各全方位輪23最后的動作并不相同。
[0066]本實施例中的全方位輪23優(yōu)選麥克納姆輪(Mecanum輪）。麥克納姆輪，又稱萬向 輪，該輪在傳統(tǒng)車輪的基礎(chǔ)上，在輪緣上再沿與軸成a角（一般為45° )方向分布著許多可自 由旋轉(zhuǎn)的小輥?zhàn)?即輥輪），這樣在車輪(即中心輪)滾動時，小輥?zhàn)泳蜁a(chǎn)生側(cè)向運(yùn)動，通過 輪椅的4個麥克納姆輪的相互配合，使得系統(tǒng)能夠?qū)崿F(xiàn)平面內(nèi)的全方位移動，除此以外該輪 組成的系統(tǒng)具有承載能力強(qiáng)、結(jié)構(gòu)簡潔、運(yùn)動控制靈活、通過性好等優(yōu)點(diǎn)，適合在輪椅上安 裝。
[0067] 如圖13所示，以麥克納姆輪為例，示出配備麥克納姆輪的輪椅實現(xiàn)主要移動時，各 輪配合運(yùn)動的情況:前進(jìn)時，各輪(輪椅的四個麥克納姆輪)均向前轉(zhuǎn)動；后退時，各輪均向 后轉(zhuǎn)動;右行時，前左輪和后右輪向前轉(zhuǎn)動，同時前右輪和后左輪向后轉(zhuǎn)動；左行時，前左輪 和后右輪向后轉(zhuǎn)動，同時前右輪和后左輪向前轉(zhuǎn)動;順時針轉(zhuǎn)動時，前左輪和后左輪向前轉(zhuǎn) 動，同時前右輪和后右輪向后轉(zhuǎn)動;逆時針轉(zhuǎn)動時，前左輪和后左輪向后轉(zhuǎn)動，同時前右輪 和后右輪向前轉(zhuǎn)動；向右前方行進(jìn)時，前左輪和后右輪向前轉(zhuǎn)動，同時前右輪和后左輪不轉(zhuǎn) 動；向左前方行進(jìn)時，前右輪和后左輪向前轉(zhuǎn)動，同時前左輪和后右輪不轉(zhuǎn)動。上述各輪的 向前、向后轉(zhuǎn)動情況均指對應(yīng)麥克納姆輪的中心輪轉(zhuǎn)動方向。
[0068] 麥克納姆輪的輥輪可各自獨(dú)立的進(jìn)行轉(zhuǎn)動，在麥克納姆輪轉(zhuǎn)動時，合速度為垂直 于輥?zhàn)臃较颍⒖蓪⑵浞纸鉃榍斑M(jìn)、橫行兩個方向。下面以右行運(yùn)動為例進(jìn)行簡單介紹，圖 13右行圖中輪子旁邊的箭頭方向分別代表各麥克納姆輪轉(zhuǎn)動方向（更具體為麥克納姆輪的 中心輪轉(zhuǎn)動方向），對各輪按前進(jìn)和橫行兩個方向為基礎(chǔ)做速度分解，可以發(fā)現(xiàn)，前進(jìn)方向 的速度被抵消，僅剩橫向（右側(cè))速度，因此，該車體可以實現(xiàn)向右側(cè)的運(yùn)動。這是本領(lǐng)域的 公知常識，不再一一詳述。
[0069] 本實施例提供的輪椅通過監(jiān)測和識別眼部動作(包括眨眼和眼球移動），實現(xiàn)對輪 椅的控制;輪椅采用了全方位輪，通過特定的眼球動作，通過各個輪之間的運(yùn)動配合，實現(xiàn) 輪椅在轉(zhuǎn)彎半徑為零的情況下，實現(xiàn)對輪椅運(yùn)動方向的控制，具體控制原理為:利用拍攝建 立的樣本（即預(yù)設(shè)樣片）與用戶實時眼部運(yùn)動做比對，通過對比瞳孔中心坐標(biāo)變化，語音提 示用戶是否會采取該動作，用戶確認(rèn)后，再由處理器發(fā)出指令，經(jīng)由電機(jī)驅(qū)動器，分別控制 各電機(jī)運(yùn)動，從而控制各全方位輪相互配合，實現(xiàn)眼部動作所對應(yīng)的動作操作。本實施例 中，眼球的左、右、上、下轉(zhuǎn)動可分別對應(yīng)輪椅的左、右、前、后移動，同時為避免眼球無意轉(zhuǎn) 動的干擾，還通過眨眼來確認(rèn)有效動作。
[0070] 在本發(fā)明實施例中，各步驟的序號并不能用于限定各步驟的先后順序，對于本領(lǐng) 域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，對各步驟的先后變化也在本發(fā)明的 保護(hù)范圍之內(nèi)。
[0071] 本說明書中的各個實施例均采用遞進(jìn)的方式描述，各個實施例之間相同相似的部 分互相參見即可，每個實施例重點(diǎn)說明的都是與其他實施例的不同之處。尤其，對于設(shè)備實 施例而言，由于其基本相似于方法實施例，所以描述得比較簡單，相關(guān)之處參見方法實施例 的部分說明即可。
[0072]本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述實施例方法中的全部或部分流程，是可以 通過計算機(jī)程序來指令相關(guān)的硬件來完成，所述的程序可存儲于一計算機(jī)可讀取存儲介質(zhì) 中，該程序在執(zhí)行時，可包括如上述各方法的實施例的流程。其中，所述的存儲介質(zhì)可為磁 碟、光盤、只讀存儲記憶體（Read-Only Memory，ROM)或隨機(jī)存儲記憶體(Random Access Memory，RAM)等。
[0073]以上所述，僅為本發(fā)明的【具體實施方式】，但本發(fā)明的保護(hù)范圍并不局限于此，任何 熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng) 涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求的保護(hù)范圍為準(zhǔn)。
【主權(quán)項】
1. 一種代步工具控制裝置，其特征在于，包括： 攝像頭，用于拍攝使用者的眼部圖像； 圖像處理單元，與所述攝像頭相連，用于接收所述攝像頭拍攝的眼部圖像，并從中識別 出使用者的眼部動作； 控制單元，與所述圖像處理單元相連，用于根據(jù)識別出的所述眼部動作生成對應(yīng)的用 于控制代步工具運(yùn)動的動作指令。2. 根據(jù)權(quán)利要求1所述的代步工具控制裝置，其特征在于，還包括:眼鏡，所述攝像頭集 成在所述眼鏡上。3. 根據(jù)權(quán)利要求2所述的代步工具控制裝置，其特征在于，所述攝像頭集成在所述眼鏡 的鏡片上。4. 根據(jù)權(quán)利要求1所述的代步工具控制裝置，其特征在于，所述圖像處理單元包括： 坐標(biāo)確定子單元，用于利用人眼的眼白、虹膜和瞳孔之間的灰度值差異，從所述攝像頭 拍攝的眼部圖像中識別出瞳孔并確定瞳孔坐標(biāo)； 動作確定子單元，用于將所述瞳孔坐標(biāo)與各預(yù)設(shè)樣片中的瞳孔坐標(biāo)進(jìn)行一一比對，判 斷所述瞳孔坐標(biāo)與所述預(yù)設(shè)樣片中的瞳孔坐標(biāo)的差值是否在預(yù)設(shè)范圍內(nèi)，如果在預(yù)設(shè)范圍 內(nèi)，則確定使用者做出了預(yù)設(shè)樣片中的眼部動作，所述預(yù)設(shè)樣片為預(yù)先拍攝的使用者的眼 部動作圖像。5. 根據(jù)權(quán)利要求1-4任一項所述的代步工具控制裝置，其特征在于，還包括： 動作準(zhǔn)備單元，與所述圖像處理單元相連，用于在所述圖像處理單元識別出使用者的 眼部動作，且通過所述圖像處理單元接收使用者輸入的本次眼控開始指令之后，判斷代步 工具的當(dāng)前狀態(tài)是否處于預(yù)設(shè)的動作準(zhǔn)備狀態(tài)，并在判斷結(jié)果為否時，生成動作準(zhǔn)備指令， 所述動作準(zhǔn)備指令用于指示所述代步工具從當(dāng)前狀態(tài)調(diào)整為動作準(zhǔn)備狀態(tài)，代步工具處于 所述動作準(zhǔn)備狀態(tài)時，適合執(zhí)行所述眼部動作對應(yīng)的動作指令。6. 根據(jù)權(quán)利要求1-4任一項所述的代步工具控制裝置，其特征在于，還包括： 提示單元，用于在所述圖像處理單元識別出使用者的眼部動作之后，提示使用者是否 執(zhí)行所述眼部動作對應(yīng)的動作指令； 發(fā)送單元，用于在接收使用者的確認(rèn)執(zhí)行指令后，將所述動作指令發(fā)送至代步工具的 電機(jī)驅(qū)動器。7. 根據(jù)權(quán)利要求6所述的代步工具控制裝置，其特征在于，還包括： 動作結(jié)束單元，用于接收使用者輸入的本次眼控結(jié)束指令，并根據(jù)所述本次眼控結(jié)束 指令生成用于指示所述代步工具停止并關(guān)閉所述發(fā)送單元的動作結(jié)束指令。8. 根據(jù)權(quán)利要求1所述的代步工具控制裝置，其特征在于，所述使用者的眼部動作包 括:眨眼和向左、向右、向上、向下看。9. 根據(jù)權(quán)利要求1所述的代步工具控制裝置，其特征在于，還包括:通信模塊，用于將所 述攝像頭拍攝的眼部圖像發(fā)送給所述圖像處理單元。10. -種代步工具系統(tǒng)，其特征在于，包括:代步工具和權(quán)利要求1-9任一項所述的代步 工具控制裝置，所述代步工具包括全方位輪、驅(qū)動所述全方位輪的驅(qū)動電機(jī)以及控制所述 驅(qū)動電機(jī)的電機(jī)驅(qū)動器； 所述代步工具控制裝置的動作指令輸出端與所述電機(jī)驅(qū)動器相連。11. 根據(jù)權(quán)利要求10所述的代步工具系統(tǒng)，其特征在于，所述全方位輪為麥克納姆輪。12. 根據(jù)權(quán)利要求10或11所述的代步工具系統(tǒng)，其特征在于，還包括： 停止按鈕，用于接收輸入的強(qiáng)行停止指令； 安全控制板，與所述停止按鈕和所述電機(jī)驅(qū)動器相連，用于在接收到所述強(qiáng)行停止指 令時，向所述電機(jī)驅(qū)動器發(fā)送關(guān)閉所述驅(qū)動電機(jī)的指令。13. -種代步工具控制方法，其特征在于，包括： 拍攝使用者的眼部圖像； 通過圖像處理，從拍攝的眼部圖像中識別出使用者的眼部動作； 根據(jù)識別出的所述眼部動作生成對應(yīng)的用于控制代步工具運(yùn)動的動作指令。14. 根據(jù)權(quán)利要求13所述的控制方法，其特征在于，所述通過圖像處理，從拍攝的眼部 圖像中識別出使用者的眼部動作之后，所述根據(jù)識別出的所述眼部動作生成對應(yīng)的用于控 制代步工具運(yùn)動的動作指令之前，還包括： 接收使用者輸入的本次眼控開始指令，并在接收所述本次眼控開始指令之后，判斷代 步工具的當(dāng)前狀態(tài)是否處于預(yù)設(shè)的動作準(zhǔn)備狀態(tài)，并在判斷結(jié)果為否時，生成動作準(zhǔn)備指 令，所述動作準(zhǔn)備指令用于指示所述代步工具從當(dāng)前狀態(tài)調(diào)整為動作準(zhǔn)備狀態(tài)，代步工具 處于所述動作準(zhǔn)備狀態(tài)時，適合執(zhí)行所述眼部動作對應(yīng)的動作指令。15. 根據(jù)權(quán)利要求13或14所述的控制方法，其特征在于，所述根據(jù)識別出的所述眼部動 作生成對應(yīng)的用于控制代步工具運(yùn)動的動作指令之后，還包括： 提示使用者是否執(zhí)行所述眼部動作對應(yīng)的動作指令； 待接收到使用者輸入的確認(rèn)執(zhí)行指令后，將所述動作指令發(fā)送至代步工具的電機(jī)驅(qū)動 器。16. 根據(jù)權(quán)利要求15所述的控制方法，其特征在于，所述接收使用者的確認(rèn)執(zhí)行指令 后，將所述動作指令發(fā)送至代步工具的電機(jī)驅(qū)動器之后，還包括： 接收使用者輸入的本次眼控結(jié)束指令，并根據(jù)所述本次眼控結(jié)束指令生成用于指示所 述代步工具停止并停止向所述代步工具發(fā)送動作指令的動作結(jié)束指令。
【文檔編號】A61G5/04GK105892691SQ201610398690
【公開日】2016年8月24日
【申請日】2016年6月7日
【發(fā)明人】張憶非, 袁佐
【申請人】京東方科技集團(tuán)股份有限公司