專利名稱：一種聲源自主搜尋定位方法
技術領域：
本發(fā)明涉及自動檢測及機器人技術，具體為一種實際的室內環(huán)境下，基
于移動機器人的聲源自主搜尋定位方法，國際專利分類號擬為Int.Cl.G01D 21/02 (2006.01)。
背景技術：
隨著各國對國家安全、社會治安等公共事業(yè)的高度重視，以防暴、反 恐、消防滅火、排險救援等為特征的危險作業(yè)移動機器人的需求日益凸現(xiàn)。 在工業(yè)上，各種危險化學反應釜、危險品儲罐及其管道的檢測與維修機器人 的需求日益增多，尤其是在石化行業(yè)，隨著我國石化工業(yè)的發(fā)展，各類化學 反應容器和輸送管道的泄漏檢測與修補已成為石化工業(yè)避免事故的關鍵技 術。但目前存在的突出問題是如何實現(xiàn)移動機器人對可疑物品的準確判斷。 在特殊環(huán)境中搜尋并跟蹤特定聲源、獲取與所跟蹤聲源的準確距離、判斷聲 源方向，同時進行聲音的識別以及為打擊武器進行自動瞄準等工作就顯得非 常重要，它對于保障人民的生命財產安全，促進經濟社會的和諧發(fā)展具有重 大現(xiàn)實意義。
這方面一個新興的研究及應用方向就是如何將聲源定位、識別與移動機 器人技術相結合，通過移動機器人來搜尋發(fā)現(xiàn)聲源，確定聲源位置，并識別 該聲源，即所謂聲源定位和識別的問題。主動搜尋可以有效地彌補傳統(tǒng)方法 (如固定傳感器網(wǎng)絡法、專業(yè)人員或經過訓練的動物到泄漏源現(xiàn)場查找等方 法)存在的缺點。 一方面，由于移動機器人的運動性，它相當于組成一個移 動傳感器網(wǎng)絡，相比固定傳感器可以覆蓋更大的范圍，且運動靈活；另一方 面，機器人可被快速開發(fā)、維護費用低、且可長時間工作，也不存在人身危 險、注意力時間有限、易疲勞等問題。
目前一般只是針對聲源定位和識別過程中的部分子問題開展相關的科學 研究，并沒有提出一套涉及聲源搜尋定位和識別的完整技術解決方案。現(xiàn)有方法/策略存在的主要問題是l.只根據(jù)單一聲音信號對目標進行定
位的方法，例如Yuki TAMAI等人(Yuki TAMAI等，基于128個傳聲器組 成陣列的實時2維聲源定位，IEEE International Workshop on Robot and Human Interactive Communication會議論文集，2004年，65-70 ; Yuki TAMAL Satoshi KAGAMI， Hiroshi MIZOGUCH1, Yutaka AMEMIYA， Koichi anathema, Tachyon TAKANO， Real-Time 2 Dimensional Sound Source Localization by 128-Channel Huge Microphone Array ， Proceedings of the 2004 IEEE International Workshop on Robot and Human Interactive Communication, 2004: 65-70)提出一種用128個傳聲器組成的陣列進行聲源定位的方法。2.只根據(jù) 視覺信號進行定位的方法，例如Hideo Morita等，基于支持向量機的室外環(huán) 境l"一白勺豐見覺定{立，International Conference Intelligent Robots and Systems, 2005:2965 _ 2970 (Hideo Morita， Michael Hild， JunMmra， Yoshiaki Shirai， View-Based Localization in Outdoor Environments Based on Support Vector Learning, International Conference Intelligent Robots and Systems, 2005:2965 — 2970)。單一的應用視覺定位存在弊端如果聲源在障礙物的后面或機器人 處于黑暗的工作環(huán)境中時，單靠視覺是不能夠對聲源進行定位的。3.單一的 對聲音信號進行識別，如Sidney D'Mdlo等， 一個人機通過語音指令交互的 機構，IEEE International Workshop on Robots and Human Interactive Communication, 2005， 184-189 (Sidney D，Mello ， Lee McCauley， James Markham， A Mechanism for Human - Robot Interaction through Informal Voice Commands ， IEEE International Workshop on Robots and Human Interactive Communication, 2005， 184-189)。這些單一的定位技術都存在著一定的缺 陷，如聲音信號定位精度不高，視覺定位易受工作環(huán)境影響等。

發(fā)明內容
針對現(xiàn)有技術的不足，本發(fā)明要解決的技術問題是，設計一種聲源自主 搜尋定位方法。該定位方法基于移動機器人，克服了單一聲音信號易受噪聲 等周圍環(huán)境影響，單一視覺定位易受障礙物和光線的影響的定位缺陷，適用 于實際狀況的室內環(huán)境，采用機器人聽覺和視覺信息融合的方法，在進行傳 聲器陣列聲源初定位后，可與系統(tǒng)的視覺信號進行融合，進一步準確定位目標
4聲源；并且，在本發(fā)明定位方法對目標聲源進行精確定位的同時，還可以實 現(xiàn)對該聲音的特征識別。
本發(fā)明解決所述定位方法技術問題的技術方案是設計一種聲源自主搜 尋定位方法，該定位方法基于移動機器人，包括以下步驟首先，利用傳聲 器陣列對目標聲源初步定位在移動機器人的擬人頭部設置4個傳聲器組成 的陣列，4個傳聲器分別布裝在機器人擬人頭部外廓圓的最大內接正方形的 四個頂點位置上，各傳聲器之間的距離相等，并構成移動機器人的左右耳， 用其分別采集目標聲源兩路聲音信號，該兩路聲音信號經基于時延的數(shù)學處 理后，即可得到目標聲源的初步位置；其次，把聽覺定位與視覺定位相融 合即在得到目標聲源的初步位置后，利用方位角度信息水平轉動機器人的 擬人頭部，利用俯仰角信息上下轉動機器人擬人頭部，或者或同時移動機器 人本體，使目標聲源處于機器人的視野范圍內；最后，利用視覺信號對目標 聲源進行精確視覺定位。
本發(fā)明所述定位方法的進一步特征是在所述的采集到目標聲源兩路聲 音信號后，對其中的一路傳聲器聲音信號采用以下步驟處理常規(guī)聲音信號
預處理后，提取其MFCC作為特征參數(shù)，采用DTW算法進行識別，并與模板 數(shù)據(jù)庫中的數(shù)據(jù)進行匹配，在完成目標聲源定位的同時，實現(xiàn)對該聲源聲音 的特征識別。
與現(xiàn)有技術相比，本發(fā)明具有如下優(yōu)點
(1) 精度高。本發(fā)明綜合運用了基于移動機器人的聽覺和視覺聲源定 位的方法，在利用聽覺實現(xiàn)聲源的初步定位后，再與本系統(tǒng)的視覺部分相結
合，可實現(xiàn)更進一歩的精確定位；
(2) 適用性強。本發(fā)明從實際應用出發(fā)，綜合考慮了工作環(huán)境對機器 人聽覺和視覺各部分的限制問題，不僅有效組合了聽覺和視覺的定位方法， 融合了傳聲器陣列的多路感知信息，而且在精確定位的同時，還能夠識別出 聲源的基本特性。


圖1為本發(fā)明聲源自主搜尋定位方法基于移動機器人融合聲覺定位和視 覺定位進行目標聲源精確定位的原理示意圖。
圖2為本發(fā)明聲源自主搜尋定位方法設計的傳聲器陣列布裝在移動機器人頭部一種實施例的結構示意圖。
圖3為本發(fā)明聲源自主搜尋定位方法采用的聽覺模塊進行目標聲源初定 位的原理示意圖。
圖4為本發(fā)明聲源自主搜尋定位方法在聲源初定位后與視覺定位進行融 合定位的原理示意圖。
圖5為本發(fā)明聲源自主搜尋定位方法采用的視覺模塊定位進行目標聲源
精確定位的原理示意圖。
圖6為本發(fā)明聲源自主搜尋定位方法一種實施例采用的計算機主控程序 原理框圖。
具體實施例方式
下面結合實施例及其附圖詳細敘述本發(fā)明。實施例是以本發(fā)明技術方案 為前提下進行實施，給出了詳細的實施方式和過程。但本發(fā)明權利要求的保 護范圍不限于下述的實施例。
下面根據(jù)本發(fā)明的技術方案給出本發(fā)明的具體實施例
本發(fā)明設計的聲源自主搜尋定位方法(簡稱定位方法，參見圖l一6) 基于移動機器人(簡稱機器人)，機器人的擬人頭部上安裝有傳感器陣列和
雙目攝像機。所述雙目攝像機布裝在機器人擬人頭部的雙眼位置上；機器人 擬人頭部可作180度的左右轉動(即360度轉動)。針對不同的實際應用環(huán)
境的地面狀況，移動機器人可采用輪式移動機器人、履帶式移動機器人或輪 履復合式移動機器人。
本發(fā)明所述定位方法采用以下步驟
首先，利用傳聲器陣列對目標聲源初歩定位。所述傳聲陣列實施例由4 個傳聲器(即M,-M4)組成。4個傳聲器M,-M4分別布裝在機器人擬人頭部外 廓圓(垂直面)的最大內接正方形的四個頂點位置上，各傳聲器之間的距離 相等，構成移動機器人的左右耳朵(參見圖2)。由于聲源到任意兩個傳聲 器的距離不一樣，因此到達時間也不一樣，到達該兩個傳聲器的時間就會有 一個時間延遲。本發(fā)明的聽覺模塊定位(參見圖3)就是基于這樣的原理來 設計的。聽覺模塊是指本發(fā)明對聲音信號處理的部分。具體說，利用傳聲器 陣列和聲源的位置關系坐標系，求得目標聲源相對傳聲器陣列的位置信息， 包括方位角、俯仰角以及距離值的表達式，計算4個傳聲器中每兩個傳聲器接收到的聲音信號的時間延遲，利用延遲數(shù)，和方位角、俯仰角以及距離值 的表達式得到聲源的初步(位置)定位。本發(fā)明的移動機器人在其工作環(huán)境 中，傳聲器陣列耳朵處于監(jiān)聽狀態(tài)，如果沒有檢測到聲音信號，就把環(huán)境噪
聲信號記錄下來，并求得兩路噪聲信號的互功率譜；當檢測到聲音信號時， 經常規(guī)數(shù)學處理后，即可得到目標聲源的初步位置。所述基于時延的數(shù)學處 理包括聲音信號先經過一系列的預處理，包括采樣、濾波、端點檢測、分 幀、加窗、預加重，快速傅立葉變換等，求得兩路聲音信號的互功率譜，并 在其中減去原來環(huán)境噪聲的互功率譜，這樣可以得到明顯的聲源信號信息。 初步去掉噪聲的兩聲源信號之間的互功率譜在頻域內給予一定的加權(頻域 加權)，并對信號和噪聲進行白化處理，增強信號中信噪比較高的頻率成
分，從而進一步抑制噪聲的影響，再經過反傅立葉變化(IFFT)轉換到時 域，得到兩聲源信號之間的廣義互相關函數(shù)；廣義互相關函數(shù)峰值對應兩傳 聲器間的時延，對廣義互相關函數(shù)峰值檢測求得時間延遲；得到每個傳聲器 對的時間延遲數(shù)據(jù)后，代入到通過幾何模型定位法得到的位置參數(shù)公式中， 就可以得到目標聲源的初步定位(位置)。實施例實現(xiàn)過程是采集到的聲
音信號通過與傳聲器連接的4路聲卡傳遞給機器人內的PC機，PC機通過依 據(jù)上述算法編寫的程序對采集到的聲音信號進行處理。
其次，把聽覺定位與視覺定位相融合。得到目標聲源的初歩定位(位 置)后，利用聲源定位結果中的方位角度信息水平轉動機器人的擬人頭部， 利用聲源定位結果中的俯仰角信息上下轉動機器人擬人頭部，使聲源處于機 器人的視野范圍內。所述方位角和俯仰角兩個數(shù)值通過控制系統(tǒng)傳給PMAC 運動控制卡，控制伺服電機帶動機器人的擬人頭部水平旋轉相應的方位角或 /和上下旋轉相應的俯仰角，或者或同時移動機器人本體，以使目標聲源位 于機器人的視野范圍之內，并對準目標聲源，即實現(xiàn)了移動機器人聽覺定位 信息和視覺定位信息的有效融合(參見圖4)。
最后，利用視覺信號對目標聲源進行精確視覺定位。在轉動機器人的頭 部使目標聲源處于機器人的視野范圍后，利用雙目攝像機采集目標聲源信 號，采集到的目標聲源信號傳送給視覺模塊，經其處理(參見圖5)，即可 得到目標聲源的精確位置。所述視覺模塊對采集到的視覺信息進行處理技術 本身為現(xiàn)有技術。所述的視覺模塊處理是指，對雙目攝像機采集的目標聲源 圖像進行去噪預處理，然后利用事先采集、處理好的模板圖像與經過預處理的圖像進行相似度計算，得到相似度最大的區(qū)域即立體匹配區(qū)域，再對立體
匹配區(qū)域進行二值化處理，利用Ca皿y邊緣檢測器獲得目標區(qū)域邊緣，通 過形心擬合算法獲得左右圖像的形心，進一歩通過雙目攝像機的左右圖像的 視差關系以及雙目相機的基線尺寸，可獲得該目標聲源中心的三維世界坐 標，即可得到目標聲源的精確視覺定位。
本發(fā)明定位方法的計算機主控程序原理框圖設計如下(參見圖6):首 先機器人處于工作空間中，機器人"耳朵"——即傳感器陣列處于監(jiān)聽狀一 —監(jiān)聽和判斷是否有聲音信號。如果沒有聲音信號，"耳朵"----直處于監(jiān)聽 狀態(tài)。如果有聲音信號，聲音信號進入聽覺定位模塊進行聽覺定位，得到目 標聲源的初步位置。初步位置數(shù)值傳給PMAC運動控制卡控制程序，以控制 機器人的頭部轉動或/和移動機器人本體，使目標聲源位于機器人的視野范 圍之內。調動視覺模塊采集視覺信號進行視覺定位，即可得到精確的聲源位 置。所述的程序依據(jù)所述的現(xiàn)有技術或算法編制，本領域技術人員依據(jù)所述 原理框圖和現(xiàn)有技術不經創(chuàng)造性勞動即可以具體完成。
本發(fā)明所述定位方法的進一步特征是在所述的采集到目標聲源兩路聲
音信號后，對其中的一路傳聲器聲音信號采用以下歩驟處理聲音信號預處
理，然后提取其MFCC作為特征參數(shù)，采用DTW算法進行識別，并與模板數(shù) 據(jù)庫中的數(shù)據(jù)進行匹配，在完成目標聲源定位的同時，實現(xiàn)對該聲源聲音的 特征識別(簡稱識別方法，參見圖3)。具體做法是，利用本發(fā)明所述定位 方法采集到目標聲源信號，并對傳聲器陣列中的一路傳聲器的信號進行預處 理后，采用以下步驟提取其MFCC作為特征參數(shù)，采用DTW算法進行識 別，并與模板數(shù)據(jù)庫中的數(shù)據(jù)進行匹配，完成該聲源聲音的識別。所述的聲 源信號預處理包括濾波、預加重、加窗和端點檢測等，其過程同于前述的定 位方法。所述的聲音識別過程包括采用建在人聽覺機理上的MFCC系數(shù)作 為其特征參數(shù)，采用DTW算法進行識別(參見圖3)。采用DTW算法主要考 慮的是工作環(huán)境的需求，識別的聲音不是很復雜，采用DTW算法既可實現(xiàn)快 速的聲音識別，又可達到精度要求。DTW算法本身為現(xiàn)有技術。
本發(fā)明的機器人自主聲源定位和識別方法能夠實時采集環(huán)境信息并加以 利用，在實現(xiàn)目標聲源的初步定位后，再與本系統(tǒng)的視覺定位部分相結合， 實現(xiàn)更進一步的精確定位，具有較高的精度和抗干擾性。本發(fā)明利用視覺信 號對聲源定位，能大大提高目標聲源的定位精度。換言之，基于傳感器陣列的聲源定位精度上低于基于雙目視覺的目標定位，存在聲音信號易受外界噪 聲等影響的不足，而視覺定位雖精度較高，但易受障礙物和光線的影響，本 發(fā)明聽覺和視覺信息融合的定位方法克服了上述單一信號定位所存在的問 題，很好地實現(xiàn)了實際工作環(huán)境(含噪)下聲源目標的精確定位。同時，本 發(fā)明聲源定位還可以與識別技術相結合，不僅可以獲得目標聲源在機器人工 作空間的精確位置，而且還能同時了解該聲源的頻率范圍等具體特性，對于 分析機器人的工作任務有很大幫助，例如，便于妥善處理機器人工作環(huán)境下 的突發(fā)事件等。
本發(fā)明未述及之處適用于現(xiàn)有技術。
權利要求
1.一種聲源自主搜尋定位方法，該定位方法基于移動機器人，包括以下步驟首先，利用傳聲器陣列對目標聲源初步定位在移動機器人的擬人頭部設置4個傳聲器組成的陣列，4個傳聲器分別布裝在機器人擬人頭部外廓圓的最大內接正方形的四個頂點位置上，各傳聲器之間的距離相等，并構成移動機器人的左右耳，用其分別采集目標聲源兩路聲音信號，該兩路聲音信號經基于時延的數(shù)學處理后，即可得到目標聲源的初步位置；其次，把聽覺定位與視覺定位相融合即在得到目標聲源的初步位置后，利用方位角度信息水平轉動機器人的擬人頭部，利用俯仰角信息上下轉動機器人擬人頭部，或者或同時移動機器人本體，使目標聲源處于機器人的視野范圍內；最后，利用視覺信號對目標聲源進行精確視覺定位。
2. 根據(jù)權利要求1所述的聲源自主搜尋定位方法，其特征在于在所述的采集到目標聲源兩路聲音信號后，對其中的一路傳聲器聲音信號采用以下步驟處理聲音信號預處理，然后提取其MFCC作為特征參數(shù)，采用DTW算 法進行識別，并與模板數(shù)據(jù)庫中的數(shù)據(jù)進行匹配，在完成目標聲源定位的同 時，實現(xiàn)對該聲源聲音的特征識別。
3. 根據(jù)權利要求1或2所述的聲源自主搜尋定位方法，其特征在于在 所述移動機器人可采用輪式移動機器人、履帶式移動機器人或輪履復合式移 動機器人。
全文摘要
本發(fā)明涉及一種聲源自主搜尋定位方法。該定位方法基于移動機器人，包括以下步驟首先，利用傳聲器陣列對目標聲源初步定位在移動機器人的擬人頭部設置4個傳聲器組成的陣列，4個傳聲器分別布裝在機器人擬人頭部外廓圓的最大內接正方形的四個頂點位置上，各傳聲器之間的距離相等，并構成移動機器人的左右耳，用其分別采集目標聲源兩路聲音信號，該兩路聲音信號經基于時延的數(shù)學處理后，即可得到目標聲源的初步位置；其次，把聽覺定位與視覺定位相融合即在得到目標聲源的初步位置后，利用方位角度信息水平轉動機器人的擬人頭部，利用俯仰角信息上下轉動機器人擬人頭部，或者或同時移動機器人本體，使目標聲源處于機器人的視野范圍內；最后，利用視覺信號對目標聲源進行精確視覺定位。
文檔編號G01S5/00GK101295016SQ200810053508
公開日2008年10月29日 申請日期2008年6月13日 優(yōu)先權日2008年6月13日
發(fā)明者呂曉玲, 孫凌宇, 張小俊, 張明路 申請人:河北工業(yè)大學