通過在眼窩周圍提供由智能電話圖像獲取驅(qū)動的觸覺反饋建立對周圍環(huán)境感知的系統(tǒng)和方法
【專利摘要】本發(fā)明公開一種通過在眼窩周圍提供由智能電話圖像獲取驅(qū)動的觸覺反饋建立對周圍環(huán)境感知的系統(tǒng)和方法。具體地，本發(fā)明涉及一種為視覺障礙者導(dǎo)航的系統(tǒng)和方法。本發(fā)明的所述系統(tǒng)通過提供能夠提供觸覺反饋的可穿戴設(shè)備來輔助視覺障礙者。圖像獲取設(shè)備，如智能電話的相機被用于獲取實時圖像，安裝于智能電話上的數(shù)字圖像分析模塊對所述實時圖像進行進一步分析。處理過的圖像隨后被模擬成數(shù)字視覺矩陣，其進一步傳送至所述可穿戴設(shè)備。觸覺反饋提供工具安裝在所述可穿戴設(shè)備上，可穿戴設(shè)備根據(jù)所述視覺矩陣的攔截和解讀情況啟動。本發(fā)明還公開一種通過處理所述數(shù)字圖像識別路徑中障礙的方法。
【專利說明】
通過在眼窩周圍提供由智能電話圖像獲取驅(qū)動的觸覺反饋 建立對周圍環(huán)境感知的系統(tǒng)和方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明所設(shè)及領(lǐng)域為使視覺障礙者能夠在例如智能電話等圖像獲取設(shè)備的幫助 下導(dǎo)航的視覺障礙者輔助解決方案。
[0002] 本說明書中的術(shù)語定義
[0003] 本說明書中"用戶"一詞表示但不限于需要輔助導(dǎo)航周圍環(huán)境的視覺障礙者。
[0004] 本說明書中"可穿戴系統(tǒng)"一詞表示但不限于將作為整個系統(tǒng)的一部分被所述"用 戶"佩戴的定制設(shè)備。
[0005] 本說明書中"智能電話"一詞表示但不限于至少具有操作系統(tǒng)、處理功能、相機和 藍牙的手持移動設(shè)備。
[0006] 本說明書中"觸覺反饋"一詞表示通過對用戶施加力、震動或運動來利用觸覺優(yōu)勢 的反饋技術(shù)。
[0007] 本說明書中"藍牙通信"一詞表示用于所述智能電話和所述可穿戴系統(tǒng)之間無線 通信的Bluetoo比'K'.無線技術(shù)。
[0008] W上定義是對本領(lǐng)域一般定義的補充。
【背景技術(shù)】
[0009] 世界上有許多患有視覺障礙的人。視覺障礙者日常工作中面臨的一個主要挑戰(zhàn)就 是如何導(dǎo)航通過周圍那些他們不知道的障礙。
[0010] 雖然目前市場上已經(jīng)有試圖解決運一問題的可用方案，但正如下文所述，它們都 存在運樣或那樣的不足，沒有一個具體的方案能夠有效解決運一問題。
[0011] 讓盲人看見是一項艱巨的任務(wù)，但換個角度，讓他們能感覺到周圍的環(huán)境則是可 行的。
[0012] 傳統(tǒng)方式之一是利用拐杖或經(jīng)過訓(xùn)練的狗的幫助。其它一些針對視覺障礙者的現(xiàn) 有導(dǎo)航系統(tǒng)則依賴于昂貴的對周圍環(huán)境的物理強化或是昂貴的傳感設(shè)備，因此很少得到應(yīng) 用。正在研究的實時系統(tǒng)暴露出典型的問題是：體積龐大、接合身體部位、使用特別設(shè)計的 昂貴的傳感器，W及用于準確導(dǎo)航目的的對用戶的有限輸入。其它一些系統(tǒng)則依賴于強化 各式各樣的傳感器，例如超聲傳感器，由于此類傳感器感應(yīng)范圍各不相同，加上其它聲波的 干擾，運種傳感器很容易出錯。此外，觸覺反饋被應(yīng)用于與"自然"人的視覺不相關(guān)的其他 領(lǐng)域。
[0013] 因此，需要有一種通過提供觸覺反饋來建立對周圍環(huán)境的感知的系統(tǒng)和方法克服 現(xiàn)有技術(shù)的缺陷。

【發(fā)明內(nèi)容】

[0014] 本發(fā)明的部分目的是致力于改善現(xiàn)有技術(shù)中存在的一個或多個問題，或至少提供 一種如下所述的有益選擇：
[0015] 本發(fā)明的一個目的是提供一種通過提供與物體位置和周圍環(huán)境中的運動相對應(yīng) 的策略性反饋，建立對周圍物體的感知，從而為視覺障礙者提供導(dǎo)航幫助的系統(tǒng)和方法。
[0016] 本發(fā)明的另一個目的是通過常見的智能電話獲取物體圖像，建立一種利用實時圖 像數(shù)據(jù)計算位置和方向的計算方法。
[0017] 本發(fā)明還有一個目的，就是通過利用高吞吐量的無線通信通道，如3G、4G和LTE， 實現(xiàn)云端圖像處理并生成總信號。
[0018] 通過本發(fā)明中提出的實施例將顯而易見，所述方法將用于通過設(shè)及多種因素的事 件序列對獲取圖像執(zhí)行端到端感知體驗。
[0019] 結(jié)合附圖閱讀本說明書，本發(fā)明的其他目的和優(yōu)勢會更加明顯。運些附圖并非意 在限制本發(fā)明的范圍。
[0020] 一方面，本發(fā)明提供一種通過在視覺障礙用戶眼窩周圍提供觸覺反饋建立對周圍 環(huán)境的感知的系統(tǒng)。所述系統(tǒng)包括圖像獲取設(shè)備，其用于獲取實時圖像。所述圖像獲取設(shè) 備適應(yīng)對應(yīng)于障礙物位置、方向及其組合的視覺矩陣。所述系統(tǒng)進一步包括至少一個圖像 處理模塊，其安裝于所述圖像獲取設(shè)備和云服務(wù)器中的任意一個上，所述云服務(wù)器用于處 理獲取圖像并將所述獲取圖像映射成視覺矩陣。所述系統(tǒng)還包括至少一個可穿戴眼鏡，供 所述視覺障礙用戶佩戴。所述可穿戴眼鏡適用于無線接收來自所述圖像獲取設(shè)備的所述視 覺矩陣。所述系統(tǒng)還包括多個微電機，其位于所述可穿戴眼鏡上，其中，所述多個微電機根 據(jù)所述視覺矩陣的攔截和解讀情況啟動，并向所述視覺障礙用戶提供觸覺反饋。
[0021] 另一方面，本發(fā)明提供一種向視覺障礙用戶提供觸覺反饋的方法。所述方法包括 使用圖像獲取設(shè)備獲取圖像。所述方法進一步包括：在所述圖像獲取設(shè)備中處理所述獲取 圖像，使用碰撞檢測模塊檢測碰撞點并將其劃分到碰撞高概率、中等概率和低概率區(qū)內(nèi)。所 述方法還包括根據(jù)所述碰撞檢測模塊的分類生成視覺矩陣。此外，所述方法還包括將所述 視覺矩陣發(fā)送至所述視覺障礙用戶佩戴的可穿戴眼鏡，并根據(jù)所述視覺矩陣的攔截和解讀 情況啟動位于所述可穿戴眼鏡上的多個微電機，向所述視覺障礙用戶提供觸覺反饋。
[0022] 特別地，其中所述圖像獲取設(shè)備為智能電話。
【附圖說明】
[0023] 本發(fā)明提供運樣一種系統(tǒng)和方法，其通過例如智能電話相機的圖像獲取設(shè)備獲取 圖像，向視覺障礙者提供觸覺反饋，從而建立對周圍物體的感知，下面將借助于附圖對所述 系統(tǒng)和方法進行詳細闡述，附圖中：
[0024] 圖1和2示出根據(jù)本發(fā)明的一方面，通過為視覺障礙者提供觸覺反饋建立對周圍 環(huán)境的感知的系統(tǒng)的架構(gòu)；
[00巧]圖3示出根據(jù)本發(fā)明的可佩帶系統(tǒng)的架構(gòu)；
[00%] 圖4a示出根據(jù)本發(fā)明的另一方面，通過為視覺障礙者提供觸覺反饋建立對周圍 環(huán)境的感知的方法流程圖； 陽027] 圖4b示出圖1所示系統(tǒng)的圖形展示；W及
[0028] 圖5示出圖1所示系統(tǒng)的云端架構(gòu)。
【具體實施方式】
[0029] 現(xiàn)在將結(jié)合附圖對本發(fā)明的優(yōu)選實施例進行詳細描述。所述優(yōu)選實施例不限制本 發(fā)明的范圍和界限。W下描述僅當(dāng)作示例和說明。
[0030] 結(jié)合下文中的非限制性實施例，對本發(fā)明的實施例及其各種技術(shù)特征和優(yōu)點進行 詳細解釋。為避免本發(fā)明的實施例中出現(xiàn)不必要的模糊，已省略對公知部件和處理技術(shù)的 描述。本發(fā)明所用示例的目的僅在于方便理解本發(fā)明所述實施例的實施方式，并進一步使 本領(lǐng)域技術(shù)人員能夠?qū)嵤┍景l(fā)明所述的實施例。因此，所述示例同樣不應(yīng)該被理解為限制 本發(fā)明所述實施例的范圍。
[0031] 所述系統(tǒng)和方法用于利用無線技術(shù)為視覺障礙者提供觸覺反饋從而建立對周圍 環(huán)境的感知，進而解放用戶的雙手。所述系統(tǒng)和方法在視覺障礙者眼窩周圍提供策略性反 饋，從而W多方向的方式提供一種替代視覺的更全面、自然的感覺。所述系統(tǒng)的所述可穿戴 系統(tǒng)本身很緊湊，可W像普通眼鏡一樣佩戴，因此十分輕巧、容易攜帶、快捷便利。所述系統(tǒng) 使用諸如智能電話相機的圖像獲取設(shè)備作為輸入設(shè)備，從而徹底避免了使用昂貴、附加的 實時視覺輔助設(shè)備。進一步說，所述智能電話還是一種通信工具和使用GPS、Wi-Fi及聽覺 和語音反饋的附加導(dǎo)航輸入設(shè)備，因此可W為用戶提供強化體驗。截止到目前為止，市場上 還沒有出現(xiàn)利用智能手機的相機作為"虛擬眼"處理實時圖像，使用可穿戴系統(tǒng)進行無線通 信的產(chǎn)品。所述可穿戴系統(tǒng)又在眼睛周圍提供關(guān)于障礙詳細方向和位置的觸覺反饋。
[0032] 本發(fā)明構(gòu)想一種為視覺障礙者導(dǎo)航的系統(tǒng)和方法。本發(fā)明的所述系統(tǒng)包括但不限 于識別路徑上的障礙和提供直觀、引導(dǎo)性的反饋來幫助視覺障礙者導(dǎo)航繞過所述障礙。所 述系統(tǒng)通過使用數(shù)字圖像分析算法為視覺障礙者提供直觀的觸覺反饋W輔助視覺障礙者， 所述數(shù)字圖像分析算法處理由智能電話的相機獲取的實時圖像。
[0033] 參見圖1所示，系統(tǒng)100用于為視覺障礙者提供觸覺反饋從而建立對周圍環(huán)境的 感知。所述系統(tǒng)100包括圖像獲取設(shè)備101、至少一個圖像處理模塊（未標出）、至少一個 可穿戴眼鏡103供視覺障礙用戶佩戴、W及多個微電機104。
[0034] 在優(yōu)選實施例中，所述圖像獲取設(shè)備101為智能電話。所述圖像獲取設(shè)備101獲 取實時圖像。所述圖像獲取設(shè)備101構(gòu)造為具有對應(yīng)于障礙物位置、方向及其組合的視覺 矩陣。
[0035] 所述圖像處理模塊安裝于所述圖像獲取設(shè)備101和云服務(wù)器105中的任意一個 上，所述云服務(wù)器用于處理獲取圖像并將所述獲取圖像映射成視覺矩陣。
[0036] 所述至少一個可穿戴眼鏡103供視覺障礙用戶佩戴，并適用于無線接收來自所述 圖像獲取設(shè)備的所述視覺矩陣。在一個實施例中，所述無線方式為藍牙通信102。
[0037] 所述多個微電機104安裝于所述可穿戴眼鏡103上，所述多個微電機104根據(jù)所 述視覺矩陣的攔截和解讀情況啟動，并向所述視覺障礙用戶提供觸覺反饋。所述可穿戴眼 鏡103包括策略性定位的微電機104,所述微電機104根據(jù)來自圖像獲取設(shè)備101例如智能 電話的信號內(nèi)容激活。
[003引如圖2所示，所述圖像獲取設(shè)備101，例如智能電話，位于用戶的胸部高度。所述智 能電話獲取用戶前方的實時圖像106,對所述實時圖像進行處理并將其轉(zhuǎn)換成信號。隨后， 運些信號通過無線，如藍牙通信102傳輸給由所述用戶作為"護目鏡"佩戴的所述可穿戴系 統(tǒng)/可穿戴眼鏡103。圖2還展示了、例如利用衛(wèi)星108的用于附加導(dǎo)航信息的GI^輸入 107和語音反饋等附加功能。圖2還展示了允許用戶進行接打電話等正常手機操作的藍牙 耳機。
[0039] 參見圖3,其示出根據(jù)本發(fā)明的可穿戴系統(tǒng)的架構(gòu)。所述可穿戴系統(tǒng)103包括藍牙 模塊102、微控制器109 W及一系列微電機104,它們安裝在像眼鏡一樣佩戴在眼睛周圍的 "護目鏡狀"殼體上。
[0040] 圖4a示出根據(jù)本發(fā)明的另一方面的通過為視覺障礙者提供觸覺反饋建立對周圍 環(huán)境的感知的方法200的流程圖。
[0041] 所述方法200包括使用圖像獲取設(shè)備例如智能電話獲取圖像。在運里，所述智能 電話相機是獲取實時錄影圖像運一概念的核屯、因素。
[0042] 所述方法進一步包括在所述圖像獲取設(shè)備中處理所述獲取圖像，使用碰撞檢測模 塊檢測碰撞點并將其劃分到碰撞高概率、中等概率和低概率區(qū)內(nèi)。所述方法利用碰撞檢測 模塊識別潛在的碰撞點，所述碰撞檢測模塊估計運動并確定每個框架碰撞的風(fēng)險，其中每 個框架設(shè)及對本地擴張 （local expansion)和橫向運動的計算。隨后，所述碰撞檢測模塊 計算運些區(qū)域用于碰撞高概率、中等概率和低概率。在此分析基礎(chǔ)上，生成信號矩陣并將其 通過藍牙無線傳輸給所述可穿戴系統(tǒng)。
[0043] 所述可穿戴系統(tǒng)103攔截所述信號矩陣，并根據(jù)恰當(dāng)定位于所述用戶眼睛周圍的 微電機被激活的值來解讀所述信號矩陣，從而在準確區(qū)域為所述用戶提供如所述物體位置 和方向的觸覺反饋。 W44] 圖5示出所述系統(tǒng)100的另一機制，其利用4G/LTE通道和云端系統(tǒng)。在此系統(tǒng)中， 為了更快地處理，圖像處理轉(zhuǎn)由云服務(wù)器107通過網(wǎng)絡(luò)110,即，3G/4G/LTE通信進行。接著， 云服務(wù)器又將結(jié)論性的信號發(fā)回到所述智能電話101 ;所述智能電話101又把信號發(fā)送到 所述可穿戴系統(tǒng)103。 W45] 技術(shù)優(yōu)勢
[0046] 本發(fā)明構(gòu)想的所述系統(tǒng)的技術(shù)優(yōu)勢包括實現(xiàn)了：
[0047] 1. 一種用于視覺障礙者的導(dǎo)航系統(tǒng)，其利用智能手機相機作為"虛擬眼"并與可穿 戴系統(tǒng)無線連接。
[0048] 2. -種可穿戴系統(tǒng)，其在用戶眼睛周圍為用戶提供策略性反饋（觸覺反饋），從而 使其直觀、適用。
[0049] 在本說明書中，"包括"一詞及其變形應(yīng)理解為隱含包括說明的要素、整體或步驟， 或一組要素、整體或步驟，但并不排除任何其他要素、整體或步驟，或一組要素、整體或步 驟。
[0050] 短語"至少"或"至少一個"表示使用一個或多個要素或成分或數(shù)量，本發(fā)明的示 例中可能會使用此短語W達到一個或多個理想目標或結(jié)果。
[0051] 上文對具體實施例的描述已充分披露了本發(fā)明實施例的一般性，因此通過應(yīng)用當(dāng) 前知識，其他人可容易地對運些具體實施例進行修改和/或使適應(yīng)于各種應(yīng)用而不脫離一 般概念，因此，此類適應(yīng)及修改應(yīng)該并且旨在被理解為包含在所披露實施例的等同物的含 義和范圍內(nèi)。應(yīng)當(dāng)理解的是，本發(fā)明中所使用的措辭和術(shù)語的目的都是為了描述而不是限 審IJ。因此，雖然通過優(yōu)選的實施例來描述本發(fā)明中的實施例，但是本領(lǐng)域技術(shù)人員會認同可 W在本發(fā)明所描述的實施例的主旨和范圍內(nèi)對本發(fā)明的實施例進行修改應(yīng)用。
【主權(quán)項】
1. 一種通過在視覺障礙用戶眼窩周圍生成觸覺反饋建立對周圍環(huán)境的感知的系統(tǒng)，所 述系統(tǒng)包括： 圖像獲取設(shè)備，其用于獲取實時圖像，所述圖像獲取設(shè)備具有對應(yīng)于障礙物位置、方向 及其組合的視覺矩陣； 至少一個圖像處理模塊，其安裝于所述圖像獲取設(shè)備和云服務(wù)器中的任意一個上，所 述云服務(wù)器用于處理獲取的圖像并將所述獲取圖像映射成視覺矩陣； 至少一個可穿戴眼鏡，供視覺障礙用戶佩戴，所述可穿戴眼鏡適用于無線接收來自所 述圖像獲取設(shè)備的所述視覺矩陣；以及 多個微電機，其位于所述可穿戴眼鏡上，其中，所述多個微電機根據(jù)所述視覺矩陣的攔 截和解讀情況啟動，并向所述視覺障礙用戶提供觸覺反饋。2. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述圖像獲取設(shè)備為智能電話。3. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，圖像獲取設(shè)備通過4G/LTE通道與所述云服務(wù)器 通信。4. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述圖像處理模塊為碰撞檢測模塊，其用于檢測 碰撞點并將其劃分到碰撞高概率、中等概率和低概率區(qū)內(nèi)。5. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述視覺矩陣為包括具有對應(yīng)于興趣區(qū)域的特 定值的單元格和具有〇值的其它單元格的矩陣。6. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述圖像獲取設(shè)備至少具有以下功能之一：單獨 或組合使用GPS、Wi-Fi及聽覺和語音反饋為所述用戶提供附加導(dǎo)航輸入。7. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述可穿戴眼鏡適用于通過藍牙通信模式接收 來自所述圖像獲取設(shè)備的視覺矩陣。8. -種為視覺障礙用戶提供觸覺反饋的方法，所述方法包括以下步驟： 利用圖像獲取設(shè)備獲取至少一個圖像； 在所述圖像獲取設(shè)備中處理所述獲取圖像，使用碰撞檢測模塊檢測碰撞點并將其劃分 到碰撞高概率、中等概率和低概率區(qū)內(nèi)； 根據(jù)所述碰撞檢測模塊的分類生成視覺矩陣； 將所述視覺矩陣發(fā)送至所述視覺障礙用戶佩戴的可穿戴眼鏡上；以及 根據(jù)所述視覺矩陣的攔截和解讀情況啟動位于所述可穿戴眼鏡上的多個微電機，向所 述視覺障礙用戶提供觸覺反饋。9. 根據(jù)權(quán)利要求8所述的方法，其中，所述圖像獲取設(shè)備為智能電話。10. 根據(jù)權(quán)利要求8所述的方法，其中，所述碰撞檢測模塊安裝于所述圖像獲取設(shè)備和 云服務(wù)器中的任意一個上。11. 根據(jù)權(quán)利要求8所述的方法，其中，所述可穿戴眼鏡適用于通過藍牙通信模式接收 來自所述圖像獲取設(shè)備的視覺矩陣。
【文檔編號】G06F3/01GK106066687SQ201510400271
【公開日】2016年11月2日
【申請日】2015年7月9日 公開號201510400271.0, CN 106066687 A, CN 106066687A, CN 201510400271, CN-A-106066687, CN106066687 A, CN106066687A, CN201510400271, CN201510400271.0
【發(fā)明人】K·A·博哈特
【申請人】特斯馬恒達有限公司