一種駕駛員安全駕駛狀態(tài)檢測方法及裝置制造方法
【專利摘要】一種駕駛員安全駕駛狀態(tài)檢測方法及裝置，該方法的步驟為：（1）、實時檢測駕駛員的當前視線方向及采集車輛行駛中駕駛員前方視野中的場景圖像信號；（2）、根據視覺注意力計算模型，對采集到的當前場景圖像信號進行處理，獲得當前道路場景下駕駛員期望注意力分布；（3）、對步驟（1）中實時檢測到的駕駛員當前視線方向與步驟（2）中計算得到的駕駛員期望注意力分布進行融合分析，判斷當前駕駛員是否處于正常駕駛狀態(tài)以及能否對突發(fā)的道路交通事件作出及時而適當的響應。該裝置用來實施上述方法。本發(fā)明具有原理簡單、易實現、可直接地反映出駕駛員真實駕駛狀態(tài)、提高駕駛安全性等優(yōu)點。
【專利說明】一種駕駛員安全駕駛狀態(tài)檢測方法及裝置
【技術領域】
[0001]本發(fā)明主要涉及到車輛主動安全設計領域，特指一種駕駛員安全駕駛狀態(tài)檢測方法及裝置。
【背景技術】
[0002]隨著汽車工業(yè)的發(fā)展，汽車越來越成為社會生產與日常生活中的重要組成部分；與此同時，汽車安全問題也逐漸成為人們關注的焦點。據統計，道路交通事故中大約有75%是由于人為失誤導致的，也就是由于駕駛員的個人因素導致的。具體又包括駕駛員對車輛運行環(huán)境估計不準，駕駛員反應滯后等等。因此，通過技術手段來檢測駕駛員的駕駛狀態(tài)是否安全，能夠有效地提高道路交通的安全性。
[0003]目前，針對駕駛員的安全駕駛狀態(tài)的檢測技術可以分為三大類:第一類是基于駕駛員生理疲勞特征檢測的方法，第二類是基于車輛相對于道路的運行關系判斷的方法，第三類是基于刺激-反應監(jiān)測的心理反應監(jiān)測方法。
[0004]第一類方法，基于駕駛員生理疲勞特征檢測的方法工作原理基于一個基本的假設:當駕駛員的精神狀態(tài)不佳時，其駕駛狀態(tài)也會不佳，從而不能安全地完成駕駛任務。通常可以用于檢測的生理疲勞特征包括眼睛閉合度、腦電波、方向盤握力等。有從業(yè)者公布了一種基于單目視覺的駕駛員疲勞檢測方法，就是利用檢測駕駛員眨眼的頻率來判斷駕駛員的精神狀態(tài)的。該方法通過在駕駛室儀表盤上方安裝一個面向駕駛員臉部的攝像機，利用攝像機采集駕駛員臉部圖像，對采集得到的每幀圖像進行人臉檢測與跟蹤，在檢測得到的人臉區(qū)域中進行人眼檢測與定位，并利用左右眼睛區(qū)域進行人眼睜閉狀態(tài)識別，最后通過連續(xù)幀的檢測狀態(tài)進行疲勞檢測。另有從業(yè)者公開了一種通過連續(xù)檢測駕駛員頭部的異?；蝿觼磉M行駕駛員精神狀態(tài)檢測的方法及系統，工作原理是利用安裝在駕駛員頭枕位置的傳感器來檢測駕駛員頭部晃動的頻率和模式，從而從異常的晃動模式中判斷駕駛員的精神狀態(tài)。綜上所述，這類方法通過駕駛員的疲勞狀態(tài)來推斷駕駛員的安全駕駛狀態(tài)，存在以下三方面的問題:一是本身是間接檢測方法，效果不可靠。僅僅以駕駛員的疲勞狀態(tài)作為駕駛員安全駕駛狀態(tài)的檢測手段，不僅很難給出疲勞狀態(tài)與駕駛員駕駛行為的安全性的直接對應關系，而且通過外在的生理特征判斷是否疲勞本身就存在一定的不確定性。二是從疲勞狀態(tài)來推斷駕駛員的駕駛狀態(tài)是否安全，能夠檢測的不安全狀態(tài)是局限的。駕駛員的處于不安全的駕駛狀態(tài)時，未必一定是處于疲勞狀態(tài)。三是從疲勞狀態(tài)來推斷駕駛員的駕駛狀態(tài)是否安全，及時性是很難保證的。當駕駛員處于疲勞狀態(tài)時，駕駛行為本身已經非常不安全了。
[0005]第二類方法，基于車輛相對于道路的運行關系判斷的方法工作原理是直接測量當前車輛與其他車輛以及與道路的關系來對即將發(fā)生的碰撞等事故進行預測。有從業(yè)者公開了一種基于單芯片的車道偏離提醒裝置，即通過對車輛的非正常越道行駛動作來檢測駕駛員的駕駛狀態(tài)。這類方法的缺點一是通常只能在危險的交通事件即將發(fā)生了才給出判斷，二是很難對正常的交通事件和異常的交通事件之間給出明確而客觀的判別方法，比如正常的超車越道行為和異常的車道跑偏行為。
[0006]第三類方法，基于刺激-反應檢測的方法的工作原理是利用特定的刺激模式對駕駛員心理反應進行評價。有從業(yè)者近期公開了一種通過視線捕捉技術進行駕駛員精神狀態(tài)檢測的方法。該方法首先生成一個人造的視覺刺激，然后使用視線捕捉技術來檢測駕駛員是否注意到該刺激，從而評價駕駛員對當前出現的突發(fā)事件的判斷能力。這類方法雖然能夠直接判斷駕駛員是否能對突發(fā)刺激做出反應，但是這類方法同樣有以下缺點:一是這樣做本身很容易分散駕駛員的注意力。二是特定模式刺激本身對駕駛員的心理活動產生了額外的刺激，增加了駕駛員的負擔。
[0007]隨著對交通事故的成因的深入研究，人們逐漸認識到導致交通事故重要原因是駕駛員處于非安全的駕駛狀態(tài)。而不安全駕駛狀態(tài)至少包括兩個類型:一是疲勞駕駛導致的反應遲鈍；二是并非疲勞駕駛，僅僅是駕駛員的注意力未得到合理分配。比如駕駛員本身的駕駛經驗不足，駕駛習慣不好，初學者過于緊張等，而未注意到應該被注意的交通事件。又比如被其他諸如廣告牌等目標吸引，看短信，思想走神等等?，F有的駕駛員的安全駕駛狀態(tài)的檢測技術很難對第二類不安全駕駛狀態(tài)進行檢測。
[0008]多年的研究，人們對駕駛員的視線方向(注視點相對與駕駛員自身的指向)與道路場景以及道路交通事件的關系的理解越來越深入。正常的駕駛狀態(tài)中，駕駛員應該能夠在不同的道路場景和道路交通事件中進行合理的注意力分配與轉換。如果駕駛員不能對隨時出現的重要交通事件進行迅速反應，則其就處于危險或者異常的駕駛狀態(tài)。
【發(fā)明內容】
[0009]本發(fā)明要解決的技術問題就在于:針對現有技術存在的技術問題，本發(fā)明提供一種原理簡單、易實現、可直接地反映出駕駛員真實駕駛狀態(tài)、提高駕駛安全性的駕駛員安全駕駛狀態(tài)檢測方法及裝置。
[0010]為解決上述技術問題，本發(fā)明采用以下技術方案:
[0011]一種駕駛員安全駕駛狀態(tài)檢測方法，其步驟為:
[0012](I)、實時檢測駕駛員的當前視線方向及采集車輛行駛中駕駛員前方視野中的場景圖像
[0013](2)、根據視覺注意力計算模型，對采集到的駕駛員前方視野中場景圖像信號進行處理，獲得當前駕駛員前方視野場景下駕駛員期望注意力分布；
[0014](3)、對步驟(I)中實時檢測到的駕駛員當前視線方向與步驟(2)中計算得到的駕駛員期望注意力分布進行融合分析，判斷當前駕駛員是否處于正常駕駛狀態(tài)以及能否對突發(fā)的道路交通事件作出及時而適當的響應。
[0015]作為本發(fā)明的進一步改進:采用定量的方式來評估駕駛員是否及時地對當前場景中的重要交通事件進行了反應；在任一時刻，定量評估具體是通過分析駕駛員的視線是否落在了場景中的重要的交通事件所在的區(qū)域，以及落入了比例和迅速程度來進行評判的。
[0016]作為本發(fā)明的進一步改進:利用一臺視線捕捉設備實時檢測駕駛員的當前視線方向，并通過一臺車載前視攝像機實時采集車輛行駛中駕駛員前方視野中的場景圖像信號。
[0017]作為本發(fā)明的進一步改進:所述步驟(2)中采用基于有意義交通事件和顯著性的駕駛員注意力計算方法，具體步驟為:[0018](6.1)、啟動圖像采集，保存當前mXn大小的前視圖像；
[0019](6.2)、生成三個動態(tài)數組Pl，P2，P3，以及用于存放中間數據的尺寸為mXn的三個矩陣:Mapl，Map2，Map3 ;前視圖像包含三種駕駛員注視區(qū)域:第一類是交通事件相關的注視區(qū)域％，第二類是前視圖像中的顯著區(qū)域Rs，第三類是駕駛員經常注視的固定區(qū)域Rqf，矩陣Mapl，Map2，Map3用于存放著上述三類區(qū)域；
[0020](6.3)、確定Rw類型注意區(qū)域,并生成第一幅注意分布圖Mapl ；
【權利要求】
1.一種駕駛員安全駕駛狀態(tài)檢測方法，其特征在于，步驟為: (1)、實時檢測駕駛員的當前視線方向及采集車輛行駛中駕駛員前方視野中的場景圖像?目號; (2)、根據視覺注意力計算模型，對采集到的當前道路場景圖像信號進行處理，獲得當前道路場景下駕駛員期望注意力分布； (3)、對步驟(1)中實時檢測到的駕駛員當前視線方向與步驟(2)中計算得到的駕駛員期望注意力分布進行融合分析，判斷當前駕駛員是否處于正常駕駛狀態(tài)以及能否對突發(fā)的道路交通事件作出及時而適當的響應。
2.根據權利要求1所述的駕駛員安全駕駛狀態(tài)檢測方法，其特征在于，采用定量的方式來評估駕駛員是否及時地對當前場景中的重要交通事件進行了反應；在任一時刻，定量評估具體是通過分析駕駛員的視線是否落在了場景中的重要的交通事件所在的區(qū)域，以及落入了比例和迅速程度來進行評判的。
3.根據權利要求1所述的駕駛員安全駕駛狀態(tài)檢測方法，其特征在于，利用一臺視線捕捉設備實時檢測駕駛員的當前視線方向，并通過一臺車載前視攝像機實時采集車輛行駛中駕駛員前方視野中的場景圖像信號。
4.根據權利要求1所述的駕駛員安全駕駛狀態(tài)檢測方法，其特征在于，所述步驟(2)中采用基于有意義交通事件和顯著性的駕駛員注意力計算方法，具體步驟為: (6.1)、啟動圖 像采集,保存當前mXn大小的前視圖像； (6.2)、生成三個動態(tài)數組Pl，P2，P3，以及用于存放中間數據的尺寸為mXn的三個矩陣:Mapl，Map2，Map3 ;前視圖像包含三種駕駛員注視區(qū)域:第一類是交通事件相關的注視區(qū)域Rtj，第二類是前視圖像中的顯著區(qū)域Rs，第三類是駕駛員經常注視的固定區(qū)域IV，矩陣Mapl，Map2，Map3用于存放著上述三類區(qū)域； (6.3)、確定Rrar類型注意區(qū)域Ww }并生成第一幅注意分布圖Mapl ；
7Mapl (X) =1，ifχ€ k else Mapl (x) =O ； (6.4)、將Mapl中的區(qū)域按照順序將這些區(qū)域的索引存入數組Pl中，其中 Pl=ZR1 R2 …}
I OF 5 OF，..” OF^ ?
s (6.5)、生成交通事件相關注意區(qū)域；使用計算機視覺方法檢測并跟蹤前方車道、車輛、行人、交通標志等％類型區(qū)域作“、其中k=l，2，3，4，分別代表前方車道、車輛、行人以及交通標志等四類區(qū)域，并生成第二幅注意分布圖:Map2(x)=l，ifx€{R；:>J；elseMap2(X)=0 ； (6.6)、將Map2中的區(qū)域按照順序將這些區(qū)域的索引存入數組P2中，其中
P2={R' ,R2 ,...,RW ,R2 …R.v;…:R1 ,R2 ,...,Re } “I"I".1… (6.7)、根據視覺顯著性算法計算前視圖像I (t)的顯著區(qū)域，并生成二值化的區(qū)域'Rs}的顯著圖 Map3:Map3 (x)=l，ifxe《R;}; else Map3 (x) =0 ； (6.8)、將Map3中的區(qū)域所對應的索引按照順序存入數組P3中，其中數組
5.根據權利要求4所述的駕駛員安全駕駛狀態(tài)檢測方法，其特征在于，所述步驟(3)中，對交通相關區(qū)域和顯著性區(qū)域與駕駛員注意力分配的互動過程進行統一建模，具體流程為: 用生理學中的神經元活性描述方法，將所述區(qū)域的“需要被關注”程度建模成區(qū)域的活性，用V表示；當駕駛員沒有關注這些區(qū)域時，該區(qū)域的活性V會按照一定的規(guī)律升高；而當駕駛員將視線投入某一區(qū)域時，該區(qū)域的活性會被迅速拉低；所述第一類區(qū)域是需要駕駛員關注的，若這些區(qū)域長時間沒有被關注時，活性V會升高很多，并在超出一定閾值的時候引起告警；所述第二類區(qū)域是不希望駕駛員長期關注的，若駕駛員長期關注這些區(qū)域，則其活性V會持續(xù)降低，并在低于一定閾值是引起告警； 對于第一類區(qū)域，將其活性隨時間的演化規(guī)律建模成如下一個動態(tài)過程:
6.根據權利要求3所述的駕駛員安全駕駛狀態(tài)檢測方法，其特征在于，對前視攝像機獲得的道路場景和視線捕捉設備捕捉到的駕駛員視線之間進行標定，使由視線捕捉設備捕捉得到的駕駛員視線所注視的場景目標的位置與該目標在前視攝像機中呈現的位置對應—致。
7.一種駕駛員安全駕駛狀態(tài)檢測裝置，其特征在于，包括: 第一模塊，用來實時檢測駕駛員的當前視線方向及采集車輛行駛中駕駛員前方視野中的場景圖像信號； 第二模塊，用來根據視覺注意力計算模型，對采集到的當前道路場景圖像信號進行處理，獲得當前道路場景下駕駛員期望注意力分布； 第三模塊，用來對實時檢測到的駕駛員當前視線方向與計算得到的駕駛員期望注意力分布進行融合分析，判斷當前駕駛員是否處于正常駕駛狀態(tài)以及能否對突發(fā)的道路交通事件作出及時而適當的響應。
【文檔編號】G08B21/24GK103770733SQ201410017252
【公開日】2014年5月7日 申請日期:2014年1月15日 優(yōu)先權日:2014年1月15日
【發(fā)明者】安向京, 李健, 吳濤, 葉磊, 孫振平, 賀漢根 申請人:中國人民解放軍國防科學技術大學