專利名稱：解釋對象的頭部和眼睛活動的方法和裝置的制作方法
技術(shù)領域：
本發(fā)明涉及自動數(shù)據(jù)處理的方法，更具體地說，本發(fā)明涉及種 自動化方法，用于分析和利用頭部和眼睛跟蹤數(shù)據(jù)，以推斷出諸如認 知與視覺分散的被觀察對象的特征，以及量化工作負荷水平。
背景技術(shù)：
正在進行的關于駕駛員疲勞、精神分散、工作負荷以及其他與形 成潛在危險駕駛情況的駕駛員狀態(tài)研究是非常重要的。大約百分之九 十五的交通事故是由于駕駛員的錯誤造成的，這不是令人吃驚的估計， 其中駕駛員的疏忽是最普通的起因因素。大量研究證明眼睛活動與較 高度的認知過程之間的關系。這些研究主要討論眼睛活動在一定程度 上反映駕駛員的認知狀態(tài)。在一些研究中，眼睛活動用來直接衡量駕 駛員的認知注意水平，另一方面用來衡量心理負荷。
駕駛員所看到的 一 般作為系統(tǒng)的重要的輸入因素而被接受，該系 統(tǒng)設計成避免車輛事故，特別是撞車事故。通過確定駕駛員所看到的，人機交互作用(HMI)系統(tǒng)能夠被優(yōu)化，并且根據(jù)駕駛員眼睛的定向和 運動能夠調(diào)節(jié)諸如向前碰撞警告(FWC)的主動安全功能。這可以作
為許多對象的脫機分析，或使用聯(lián)機或?qū)崟r算法，可能將例如FCW閾
值的事物調(diào)節(jié)到當前的駕駛員狀態(tài)。
如上所述，眼睛運動的有趣的應用是人機工程學和HMI領域。例 如，這種用途可以用來確定道路和交通信息(RTI)的最好方位顯示， 以及分析特定HMI是否比其他的提出較少的視覺需要。這些類型的分 析能夠并且由研究對象的眼睛運動作出，同時利用裝置一HMI。然而， 與當前方法相關的主要缺點在于，幾乎沒有什么用于進行分析的合適 的自動化工具；在沒有合適的自動化工具的情況下，所憑借的方法通 常是勞動繁重的人工分析。
當前眼睛運動研究的嚴重問題在于，每個研究小組似乎都在用他 們自己的定義和軟件解碼眼睛運動信號。這使得研究結(jié)果相互之間很 不一樣。因此希望有定義視覺量度和概念的標準。ISO 15007和SAE J-2396構(gòu)成這種標準的范例，因為他們規(guī)定了車內(nèi)視覺需求測量方法， 并提供了像掃視頻率、掃視時間、離開前面路面實況的時間以及掃視 持續(xù)時間這一類的視覺特征的量化規(guī)則，并提供獲得這類視覺特征的 步驟。但是，這兩個標準是基于視頻記錄技術(shù)并依靠逐個畫面定等級 人的分析，這既費時又很不可靠。由于大量的各種車內(nèi)信息和駕駛員 輔助系統(tǒng)和裝置增加，駕駛員眼睛運動的興趣和其他認知指示器也增 加。因此需要用于眼睛運動的標準化的自動的和健全的分析方法，并 且在將來會變得更加重要。
關于ISO 15007和SAE J-2396的規(guī)定，已經(jīng)令人滿意地驗證了某 些眼睛跟蹤方法和分析程序。該系統(tǒng)的物理部分可以構(gòu)造成既不是侵 入的也不十分依賴于環(huán)境。至少一個例子基于兩個設置在駕駛員前側(cè) 攝像機(立體聲磁頭)。軟件用來實時地計算凝視矢量和其他感興趣的 測量，以指示諸如頭部位置和轉(zhuǎn)動(定向)、眨眼、眨眼頻率以及眼睛睜開的程度這類事情。在這種軟件中的其他重要特征是實時的同時計 算頭部位置/轉(zhuǎn)動(定向)和凝視轉(zhuǎn)動，得到以前沒有的特征。而且， 對諸如發(fā)生在車內(nèi)的噪聲環(huán)境不敏感。尤其是，業(yè)已發(fā)現(xiàn)，數(shù)據(jù)中的 "噪聲"是由于如可變的照明條件和頭部/凝視運動這些事情影響數(shù)據(jù) 質(zhì)量變差的重要因素。
似乎在眼睛跟蹤相關研究領域中以前的工作已經(jīng)做得相當徹底。 然而，由于技術(shù)進步使眼睛跟蹤能夠更健全、更輕便，這一技術(shù)領域 繼續(xù)在擴展。但是，缺少與駕駛工作相關的駕駛員特征的路上研究， 并且到目前為止，沒有利用實時的眼睛跟蹤數(shù)據(jù)來計算諸如視覺或認 知錯亂的測量(見圖16—18)。這是手工分段的耗時性和/或與通常利 用的眼睛跟蹤系統(tǒng)的不易便攜性相關的技術(shù)困難的至少部分結(jié)果。然 而，在實驗室環(huán)境下進行的研究中，己經(jīng)開發(fā)出各種算法。已經(jīng)采用
許多不同的手段，例如，神經(jīng)網(wǎng)絡，自適應數(shù)字濾波器，Hidden Markow 模型，最小均方法，分散或基于速度的方法和其他高階導數(shù)法。然而， 許多這些方法是基于眼睛跟蹤者的典型特性，例如采樣頻率，并且不 能與其他的這種系統(tǒng)很好地工作。
因此，還沒有標準用來定義要測量的駕駛員特征是什么以及怎樣 測量這些特征。沒有涉及包括迅速掃視(saccade)、注視(fixation)和 眼睛閉合的基本視覺分段的標準。該標準僅僅涉及掃視(glance),也 就是說，掠過視野的快速眼睛運動的發(fā)生。
有趣地，當前沒有方法考慮到平穩(wěn)的眼睛運動或追蹤，即，遠離 駕駛路線有目的的觀察，例如通過路標時看(讀)路標。事實上，許 多研究，例如通過確定沒有目標追蹤，設計成以便不發(fā)生平穩(wěn)的追蹤。 當前研究的這種回避是可以理解的，因為很難區(qū)分平穩(wěn)追蹤與迅速掃 視或注視。在文獻中很少提到這些特征。不管這些特征沒有被考慮的 理由，本發(fā)明考慮了平穩(wěn)追蹤，因為這種平穩(wěn)的眼睛運動在實際駕駛 條件下相當頻繁地發(fā)生。駕駛車輛最基本的是必須使車輛對準，檢査其路線或前進方向， 并且檢査潛在的碰撞危險，無論它們是來自物體或事件。這種道路實 況意識是縱向和橫向控制車輛的先決條件。應當明白，道路中心并非 總是在車輛縱軸線前面筆直的，由于曲線而是經(jīng)常偏離中心線，這在 道路上或多或少幾乎總是存在的。既便如此，研究表明，駕駛員在大 多數(shù)時間，即百分之八十五到百分之九十五的時間，往往用他們的眼 睛主要看道路基本筆直的前面(對于道路彎曲考慮合理的偏離)。還有， 謹慎告訴一般的駕駛員，掃視遠離道路中心或行進路線被選擇最好的 時機，以便不干擾使車輛對準，并且符合發(fā)生意外事件或遇到物體的 低概率。既便如此，上述統(tǒng)計表明，即使是謹慎的駕駛員也不總是專 心地駕駛，也不是一貫地安排好他們自己的工作負荷，而是駕駛時精 神分散。
在大多數(shù)場合駕駛不是特別要求的工作。例如，據(jù)估計，在大多 數(shù)州際駕駛時，使用駕駛員的感知能力在百分之五十以下。因此，駕 駛員經(jīng)常進行次要的工作，例如撥打便攜式電話和改變收音機頻道。 當進行次要的工作時，出現(xiàn)時間共享的掃視行為，眼睛在道路和該工 作之間來回移動。視覺的暫時分享是具有單一視覺源的牽涉動作，可 以說， 一方面在觀看道路，另一方面在進行次要工作。包括撞車在內(nèi) 的問題是，在眼睛離開道路的時間間隔中可能會發(fā)生意想不到的事情， 并且對這些意想不到的事件或事物的反應變得非常慢。
這里提出的新的測量和分析技術(shù)采用這種看筆直前方或車輛路線 跡線的基本而必須的駕駛眼睛運動行為。該測量對進行視覺上、認知 上或手動需要的車內(nèi)工作的視覺影響給出精確的脫機評估，業(yè)已發(fā)現(xiàn) 這些車內(nèi)工作與常規(guī)的測量高度相關。它們也能夠與正常駕駛進行比
較。這里提出的量度也非常適合這種視覺影響的聯(lián)機計算和評估，并 且代表了能夠用于檢測精神分散和工作負荷的實時測量。

發(fā)明內(nèi)容
本發(fā)明的至少一個特征是被驗證的分析方法和算法的措施，該分 析方法和算法便于由頭部/眼睛跟蹤系統(tǒng)產(chǎn)生的眼睛運動數(shù)據(jù)的自動 化分析，基本上消除了人的評價，并且輸出過濾的、有效的特征數(shù)據(jù)， 該數(shù)據(jù)是健全的并消除了錯誤和噪聲。優(yōu)選地，這些便利是按照 ISO/SEA進行的并且是相似地被接受的現(xiàn)有和將來的標準。
另一個目的是對實時環(huán)境采用一定算法。另一個目的是識別并提 供駕駛員支撐，該支撐是基于視覺行為并且由于執(zhí)行系統(tǒng)而能夠輔助 駕駛員避免潛在的有害情況，所述執(zhí)行系統(tǒng)使駕駛員重新聚焦。
一方面，本發(fā)明提出在車內(nèi)需要有一種標準參考，其中駕駛員感 興趣的不同事物和區(qū)域能夠被相對地定位。希望有一種參考的標準框 架(該參考由在車輛內(nèi)部的相關位置/定位/定向所定義(在本公開的內(nèi) 容中，向前的斜杠符號"/"用來表示"和/或"關系))，參照該參考可 以解釋來自不同尺寸、身材和行為的操作者的頭部/臉部/眼睛跟蹤數(shù) 據(jù)，由于該參考的標準框架使為了這里描述的各種目、用于精確處理 的這些數(shù)據(jù)標準化。
在至少一個實施例中，本發(fā)明可以被定義為用于分析車輛駕駛員 的視覺和/或頭部定向特征的一種方法。應當理解，所述的分析技術(shù)或 過程預期能夠被用于儲存跟蹤數(shù)據(jù)或?qū)崟r數(shù)據(jù)，跟蹤數(shù)據(jù)通常關于時 間而被作標記，實時數(shù)據(jù)本質(zhì)上將時間作為在數(shù)據(jù)流中的定義因素；
因此是描述性的名稱，"實時"數(shù)據(jù)。在任何情況下，本發(fā)明的實施例 預計檢測并量化駕駛員的頭部相對于乘客車廂內(nèi)的空間的位置。提供 "基準點"駕駛員頭部(或其一部分)的參考基準位置，其能夠使駕 駛員感興趣的區(qū)域/事物的位置相對其相互參照。應當理解，駕駛員感 興趣的這些區(qū)域/事物可以在車輛內(nèi)部，也可以在車輛外部，并且可以
由以下兩條構(gòu)成(1)諸如聲頻控制、速度表和其他儀表的"事物"， 以及(2)諸如"道路前面"和與相鄰車道之間的改變車道的間隙空間的區(qū)域或位置。為了相對于所關心的車輛使跟蹤數(shù)據(jù)標準化，駕駛員 頭部位置的量化對于參考基準位置是標準化的，因而根據(jù)檢測的信息 能夠推導駕駛員表現(xiàn)出興趣的位置，所述信息關于下列兩項中的任一 項或兩項(1)駕駛員的視覺定向，(2)駕駛員的頭部定向。
在跟蹤信息是關于駕駛員的頭部和眼睛的特征兩者而獲得的情況 下，優(yōu)先使用關于駕駛員的視覺定向的檢測信息作為推導駕駛員所關 心的位置的基礎。當關于駕駛員的視覺定向的檢測信息的質(zhì)量降低到 規(guī)定的極限凝視置信度水平以下時， 一個開關用于關于駕駛員頭部定 向的檢測信息，作為用來推導駕駛員已經(jīng)表示出興趣的地方的基礎。 作為例子，當駕駛員的眼睛閉合時，即以防止它們被跟蹤的某種方式 被擋住或被蓋住時，這個開關可以是必須的。也可以認為閉合的狀態(tài) 包括跟蹤傳感器不能跟蹤眼睛的狀態(tài)，例如因為不能識別/定位相關的 臉部特征。例如，不能推導眼睛一到鼻子一到嘴的定向和參考(某些 跟蹤系統(tǒng)需要參考框架，用于建立臉部，以便定位要被跟蹤并且被數(shù) 據(jù)值特征化的眼睛)。當臉部沒有被適當參考時，例如，某些傳感器可 能跟蹤錯當成眼睛的對象的鼻孔，或者，戴著的已(折射地)變形的 或使眼睛圖象模糊(太陽鏡)的眼鏡。眼睛閉合的另一個例子是當駕 駛員的頭部位置離開眼睛向前(多數(shù)駕駛)的定向超過偏離允許的程 度時。在這些情況下，駕駛員的眼睛有效地在視覺上與跟蹤設備(傳 感器)被相阻擋開，所述跟蹤設備(傳感器)產(chǎn)生眼睛定向數(shù)據(jù)。
優(yōu)選地，利用數(shù)學變換實現(xiàn)駕駛員頭部位置相對參考基準位置的 量化的標準化。在車上安裝，優(yōu)選為在基本為實時的基礎上使用車載 計算機進行數(shù)學變換。
在本發(fā)明的一種發(fā)展(方案)中，規(guī)定駕駛員關心的區(qū)域/事物相 對于參考基準位置的位置。在這方面，這種規(guī)定用作樣板，貼著它或 在它上面可以讀取或覆蓋檢測數(shù)據(jù)?？蛇x地，駕駛員關心的區(qū)域/事物的可能的位置是根據(jù)檢測的駕駛 員的視覺特征、相對于參考基準位置定義的。在一個示例性的發(fā)展中， 駕駛員關心的區(qū)域/事物的可能位置相對于參考基準位置的這種定義可 以根據(jù)檢測的駕駛員凝視頻率的視覺特征建立。在這里，根據(jù)對收集 的凝視密度特征的量化建立凝視頻率。
在本發(fā)明的一個實施例中，通過將檢測的駕駛員視覺特征映射到 所述規(guī)定或定義的駕駛員關心的區(qū)域/事物相對于參考基準位置的可能 位置，駕駛員關心的區(qū)域/事物(這往往是被解釋為包含多個駕駛員關 心的區(qū)域/事物)根據(jù)駕駛員視覺特征(示例性地表示為跟蹤數(shù)據(jù))來 識別。也就是說，可以通過比較所觀察的數(shù)據(jù)(頭部和/或眼睛跟蹤數(shù) 據(jù))和上面定義的規(guī)定的樣板，或通過對照與駕駛員將可能關心的特 定事物和/或區(qū)域相關的已知數(shù)據(jù)組，作出已經(jīng)被推導作為駕駛員可能 關心的區(qū)域或事物的識別。
示例性的例子是，為特定的車輛設計一個基于區(qū)域的樣板，并且 識別駕駛員看各種定位/事物的相關頻率。例如，可能發(fā)現(xiàn)， 一般的駕 駛員在約百分之四十的駕駛時間里基本上筆直地向前看，而約百分之 二十的駕駛時間看包含速度計的各種儀表。還知道，空間上，這兩個 區(qū)域的中心的位置是一個在另一個的下面。因此，利用凝視方向數(shù)據(jù) (無論是否根據(jù)頭部定向或眼睛(視覺)定向)，對于特定的駕駛員可 以推導出道路中心和儀表組的相關位置。 一旦參考的基本框架被建立 之后，能夠推導特定車輛對現(xiàn)實的響應，并且能夠確定參考框架的移 動。還有，也能夠推導對車輛聲頻控制的掃視，例如，如果統(tǒng)計可知 道一般的駕駛員看聲頻控制大約占正常駕駛時間的百分之十。 一旦已 經(jīng)記錄"學習時間"周期，許多駕駛員關心的區(qū)域/事物的相關位置能 夠根據(jù)統(tǒng)計確定，即使獨立于事物/區(qū)域的任何已知的映射，或車輛中 的參考框架。
另一方面，本發(fā)明需要根據(jù)映射的駕駛員視覺特征由車輛執(zhí)行而適應規(guī)定的功能性。這可能簡單的如，當檢測到駕駛員視線離開道路 的時間太長時使精神分散警告發(fā)出聲音，通過自適應巡游控制系統(tǒng)以 使保持在前面車輛后面的緩沖區(qū)增加。
在一個特別有利實施例中，業(yè)已發(fā)現(xiàn)，這些駕駛員關心的區(qū)域/事 物，可以部分地根據(jù)，或?qū)ｉT地根據(jù)關于專門由凝視角量度構(gòu)成的駕 駛員視覺定向的檢測信息來識別。關于在一特定車輛(舉例性地識別 為轎車的特定標志和模型)內(nèi)的參考框架，區(qū)域/事物的角位置是特別 精確的，因為不需要考慮距離。也就是說，如果區(qū)域定位被識別為統(tǒng) 計地(概率地)表示可能的駕駛員關心的區(qū)域/事物，那么必須知道定 位在遠離該參考框架的區(qū)域的距離。這顯露出這樣一個事實，即定義 的區(qū)域從焦點張開很多，就像一個錐體從其頂點張開一樣。然而從頂 點的角度是離散的測量(見圖11)。
在本發(fā)明的一個示例性的方案中，凝視角的量度從基于眼球定向 的檢測的凝視方向矢量導出的。這可以取自一個眼球的觀察，但是優(yōu) 選取作取自兩個眼球的觀察的凝聚。因此，代表性的矢量更準確地描 述為從對象鼻梁區(qū)域發(fā)出的矢量，并定向為平行于觀察角的平均值。
雖然以上本發(fā)明就眼球角度進行了細節(jié)描述，但是也可以認為， 從基于頭部定向的相似觀察可以獲得相似的結(jié)構(gòu)?？偟膩碚f，比較可 以描述為利用鼻子指向的(基于頭部)方向，相對眼睛從該參考框架 定向的方向(該方向由參考框架的定向所定義)，根據(jù)檢測的頭部定向 定義駕駛員關心的區(qū)域/事物相對于參考基準位置的可能位置。
在至少一個實施例中，駕駛員關心的區(qū)域/事物的可能位置的定義 根據(jù)檢測的頭部定向相對于參考基準位置而確定，從該頭部定向推導 出臉部朝前的方向。在這種情況下，如同眼球跡線測量數(shù)據(jù)一樣，特
定的頭部定向和臉部朝前的方向可以利用密度映射而建立，該密度映 射指示了駕駛員看某一確定的方向的頻率。駕駛員關心的區(qū)域/事物可以使代表性的映射(因此，這也能夠從 角的直接數(shù)據(jù)完成)與駕駛員關心的區(qū)域/事物相對于參考基準位置的 規(guī)定/定義的可能位置相關而識別。
當提出基于頭部定向的分析時，凝視角的測量能夠從基于頭部定 向的檢測的凝視方向矢量得到。
在另一個實施例中，本發(fā)明采用一種方法，用于研發(fā)在評價駕駛 員活動和/或駕駛員狀況中用于比較的基準點(參考框架)。該方法包括 (包括但不限于)根據(jù)檢測的駕駛員的特征，并根據(jù)從其研發(fā)的密度 圖形而收集(其也可以包括利用記錄的數(shù)據(jù)流)凝視方向數(shù)據(jù)流，定 義基于凝視方向的參數(shù)，其對應于駕駛員可能關心的至少一個的區(qū)域。
如前所述，該方法需要利用下述兩個測量中的至少一個構(gòu)成凝視 方向數(shù)據(jù)(1)駕駛員視覺定向，(2)駕駛員頭部定向。
表示一般眼睛朝前駕駛的區(qū)域是根據(jù)來自收集的凝視方向數(shù)據(jù)的 高密度圖形而建立的。舉例來說，該區(qū)域可以定義為在二維中定義的 區(qū)域，例如拋物線，或在三維中定義的體積，例如從參考框架的頂點 發(fā)出的錐形，該頂點相對于建立的參考框架基本上位于典型駕駛員的 眼睛位置。
所收集的凝視方向數(shù)據(jù)與建立的代表性區(qū)域進行比較，從而根據(jù)
該比較識別凝視離開(gaze departure)。根據(jù)類似的比較，可以推導環(huán) 境或駕駛員的其他量。例如，凝視方向數(shù)據(jù)可以用來識別和/或測量諸 如駕駛員的認知分散、駕駛員的視覺分散，和/或駕駛員高度工作負荷 的事物。
還有，該方法預期并提供一種手段，根據(jù)確定的頻率或持續(xù)時間(根據(jù)是否發(fā)生分散的或連續(xù)的事故)用于量化駕駛員關于完成駕駛 工作所受傷害的嚴重性(程度)，其中在規(guī)定的時間段內(nèi)檢測作為凝視 離開、認知分散、(3)視覺分散和(4)駕駛員高工作負荷的指示狀況。
所關心的事故可以記錄、存儲和/或傳輸，用于由處理器進一步分 析。相反，如果進行實時傳輸，表示所關心的事故的數(shù)據(jù)也可以被就 地或遠程實時分析。
這種分析的至少一種典型應用是，當嚴重性量化超過規(guī)定的嚴重 性極限水平時，給駕駛員提供反饋。例如，當發(fā)生超過視覺分散(太 多地移開目光)或認知分散(移開目光不夠多__全神貫注時盯著前 面)的水平時，駕駛員被警告。
來自分析的輸出的另一種應用是，當嚴重性量化超過規(guī)定的嚴重 性極限水平時，處理由車輛完成的規(guī)定的功能。其中一個例子是當確 定駕駛員處于精神分散或不注意的狀態(tài)時，使自適應巡游系統(tǒng)在與前 面車輛之間設立附加的空間。
用于分析收集的凝視方向數(shù)據(jù)流的一種特別有利的模式是，利用 橫向通過數(shù)據(jù)系列的規(guī)定時間段的主要移動時間窗(統(tǒng)計分析領域的 技術(shù)人員熟知的一種分析工具)，并檢測指示駕駛時間共享活動發(fā)生的 主要移動時間窗內(nèi)的特征。其中一個例子是在移動九十二窗內(nèi)取一定 數(shù)據(jù)的平均值。當窗口沿數(shù)據(jù)系列前進時，新數(shù)據(jù)加到需要考慮的事 項，而不考慮最舊數(shù)據(jù)(根據(jù)時間，等量地新進舊出)。
這種處理的應用可以用于根據(jù)發(fā)生駕駛員時間共享活動超過閾值 的頻率識別駕駛員高工作負荷時間段。為了免去所檢測的事件效果的
窗口，當檢測到發(fā)生駕駛員時間共享活動終止時，使主要移動時間窗 的更新(刷新或重新存儲到正常)。以這種方式，在檢測和分析之后使 該事件的效果最小化，因此使該系統(tǒng)準備好用于下一次從正常的離開。正如將要在下面詳細討論的，視覺活動的若干特征可以根據(jù)觀察 的眼睛活動而識別。 一些容易由外行識別的共同特征是眨眼和掃視。 不容易被外行理解的是如根據(jù)不太知道的諸如具有可測量的定義特征 的迅速掃視、注視和轉(zhuǎn)換構(gòu)成的眼睛活動來表示特征或識別的掃視一 類的事物。
在另一個實施例中，本發(fā)明采用一種方法，用于自動分析眼睛運 動的數(shù)據(jù)，該方法包括通過將分類規(guī)則應用于數(shù)據(jù)，用基于計算機的 程序處理代表對象被觀察的眼睛運動的數(shù)據(jù)，并且因此識別至少由該 對象經(jīng)歷的視覺注視。這些規(guī)則或特征將在下面詳細討論。分析由與 該識別的注視相關的凝視方向信息構(gòu)成，因而產(chǎn)生表示在數(shù)據(jù)收集期 間對象視覺注視的方向的數(shù)據(jù)，該數(shù)據(jù)該被即刻分析。應當理解，在 當前描述的實施例中，該對象不限于車輛的駕駛員，而可以是在其他 設置中感興趣的對象。設置在駕駛環(huán)境外面的至少一個例子置是試驗 場的區(qū)域，其中，不同地設置的產(chǎn)品展示被暴露給試驗對象(舉例來 說，在一系列視頻顯示上)并且較之其他產(chǎn)品吸引他們注意的產(chǎn)品能 夠被識別。還有，在觀察期間由對象的感受而產(chǎn)生的某些作用能夠從 某些可跟蹤的眼睛活動被確定。例如，能夠確定掃視發(fā)生有多長，從 而提供由第一感受引起的相關的感興趣的指示。
在優(yōu)選實施例中，應用的分類規(guī)則至少包括定義注視和變化的準 則，更優(yōu)選地，提供定義迅速掃視準則的分類規(guī)則被附加地利用。
至少部分地根據(jù)注視的凝視方向，數(shù)據(jù)被分成定界數(shù)據(jù)組，每個 定界數(shù)據(jù)組表示在數(shù)據(jù)收集期間存在的對象感興趣的區(qū)域/事物。
在另一方面，掃視通過對數(shù)據(jù)應用至少一個掃視定義規(guī)則來識別， 每個被識別的掃視包含至少一個被識別的注視。在本發(fā)明的這方面， 定義掃視的規(guī)則是基于下列特征的至少一個，包括掃視持續(xù)時間、掃視頻率、總的掃視時間和總的工作時間。
在另一方面，相對密度由一組掃視與至少另一組掃視進行比較來 評價，根據(jù)該比較，該方法識別被比較的所表示的掃視組的對象感興 趣的區(qū)域/事物。
同樣，本發(fā)明的方法預期評價至少一組掃視在多組掃視中的相對 密度，并且根據(jù)評估的相對密度到關于這種類型設置的已知相對密度 的映射，其中收集眼睛運動數(shù)據(jù)，識別被比較掃視組的所表示的對象 感興趣的區(qū)域/事物。例如，利用在正常駕駛條件下駕駛員感興趣的某 個事物或區(qū)域已知的停止時間的典型百分比數(shù)，能夠從收集的數(shù)據(jù)中 識別這些區(qū)域或事物。
另一方面，評價從在空間上已知的設置中描述觀察的眼睛運動的 數(shù)據(jù)中產(chǎn)生的至少兩組掃視的相對密度，并且從該相對密度中確定兩 個被比較的掃視組的每一組的所表示的對象感興趣的區(qū)域/事物。然后 在已知的設置中確定所表示的對象感興趣的區(qū)域/事物的位置，從而建 立用于己知設置的參考框架，因為推導的定位能夠被映射或重疊在事 物/區(qū)域的已知定位上。
然而，在一個特定的優(yōu)選實施例中，該對象是車輛駕駛員，并且 根據(jù)至少一個掃視數(shù)據(jù)組的密度，推導眼睛向前的正常駕駛員的眼睛 定向。
本發(fā)明的又一方面，其中車輛駕駛員是對象，預期利用多個分析 協(xié)議，其選擇是根據(jù)與被處理的數(shù)據(jù)組相關的主要噪聲特性。
在一種發(fā)展方案中，預定嚴格的第一數(shù)據(jù)濾波器被應用于輸入數(shù) 據(jù)流，該數(shù)據(jù)流包括代表車輛駕駛員被觀察的眼睛運動的數(shù)據(jù)。利用 基于計算機的處理器，并且從該處理器輸出對應于該輸入數(shù)據(jù)流的第一被過濾的數(shù)據(jù)流。這種對應的概念可以是這樣的概念，其中每個輸 出值對應于輸入值，從該輸入值推導輸出值。輸出的第一過濾的數(shù)據(jù) 流的質(zhì)量由對其應用的第一認可規(guī)則評估，通過第一認可規(guī)則的被輸 出的第一過濾的數(shù)據(jù)流被輸出并構(gòu)成被認可的第一數(shù)據(jù)流。
在另一發(fā)展方案中，第二數(shù)據(jù)濾波器被應用于輸入數(shù)據(jù)流，該第 二數(shù)據(jù)濾波器比利用計算機處理器的第一數(shù)據(jù)濾波器更加嚴格(使數(shù) 據(jù)更加平滑)；從該第二數(shù)據(jù)濾波器，經(jīng)由其來自輸入數(shù)據(jù)流的共同的 導出物輸出對應于第一被過濾的數(shù)據(jù)流第二被過濾的數(shù)據(jù)流(再一次， 根據(jù)來自同一輸入數(shù)據(jù)值已經(jīng)計算的對應/比較)。該輸出的第二被過濾 的數(shù)據(jù)流的質(zhì)量由對其應用的第二認可規(guī)則評價，并且通過第二認可 規(guī)則的輸出的第二被過濾的數(shù)據(jù)流的數(shù)據(jù)被輸出并構(gòu)成被認可的第二 數(shù)據(jù)流。
從兩個被認可的數(shù)據(jù)流，組成釆集的被認可的數(shù)據(jù)流，由整個第 一被認可的數(shù)據(jù)流構(gòu)成，所述采集的被認可的數(shù)據(jù)流還由對應于輸出 的第一過濾的數(shù)據(jù)流的未認可證部分的認可的第二數(shù)據(jù)流部分構(gòu)成。
在至少一個實施例中，該第一和第二認可規(guī)則是同樣的；在另一
個實施例中，該第一和第二認可規(guī)則是根據(jù)同樣的準則，但可以是不 一樣的規(guī)則。
在另一種發(fā)展方案中，該方法包括選擇至少兩種分析協(xié)議，以從
包括下述的組中構(gòu)成多個(1)基于速度的雙閾值協(xié)議，相對該組的 其他部分，最適合含有低噪聲的眼睛和眼瞼行為數(shù)據(jù)；(2)基于距離 的分散間隔協(xié)議，相對該組的其他部分，最適合含有中等噪聲的眼睛 和眼瞼行為數(shù)據(jù)；(3)基于視覺特征的定向規(guī)則協(xié)議，相對該組的其 他部分，最適合含有高噪聲的眼睛和眼瞼行為數(shù)據(jù)。
在相關方面，對于任何給定的數(shù)據(jù)組，依據(jù)在數(shù)據(jù)組中所檢測的噪聲水平，協(xié)議的選擇偏向于三個協(xié)議之一。另一方面，定向規(guī)則協(xié) 議在注視和迅速掃視之間考慮下述一個或多個區(qū)分標準(1)注視的 持續(xù)時間必須超過150毫秒；(2)迅速掃視持續(xù)時間必須不超過200 毫秒；并且迅速掃視開始和結(jié)束是在兩個不同的位置。
在另一方面，描述眼睛運動的數(shù)據(jù)質(zhì)量根據(jù)該多個分析協(xié)議中各 自分析協(xié)議的相對應用評價?？蛇x地，與其相關，可以在整個規(guī)定時 間段考慮多個分析協(xié)議中基于時間的相應分析協(xié)議的相關應用作出質(zhì) 量評價。
如上所述，可以利用規(guī)定時間段的橫過數(shù)據(jù)流的主要時間窗，進 行收集的駕駛員眼睛凝視數(shù)據(jù)流的分析，但是在這種場合，檢測使數(shù) 據(jù)流的一部分的真實性變模糊的人為因素。在這種情況下，對輔助移 動時間窗口進行分類，該輔助移動時間窗口同時橫過該數(shù)據(jù)流并當遇 到人為現(xiàn)象時從收集的數(shù)據(jù)中產(chǎn)生高度過濾數(shù)據(jù)。規(guī)定類似的過程用 于在數(shù)據(jù)流行進期間處理質(zhì)量變差超過規(guī)定的質(zhì)量閾值的被檢測數(shù) 據(jù)。在這種情況下，對輔助移動時間窗口再一次進行分類，該輔助移 動時間窗口同時橫過該數(shù)據(jù)流并且由此當數(shù)據(jù)質(zhì)量變差超過規(guī)定的質(zhì) 量閾值時從該收集的數(shù)據(jù)流生產(chǎn)高度過濾的數(shù)據(jù)。因此，當檢測到數(shù) 據(jù)質(zhì)量變差已經(jīng)落入在規(guī)定的質(zhì)量閾值內(nèi)時，返回該主要移動時間窗 □。


圖1是脫機混合算法的示意圖； 圖2是聯(lián)機混合算法的示意圖3是曲線圖，示出定義注視和迅速掃視的閾值規(guī)則； 圖4是示意圖，示出根據(jù)信號噪聲量的分析工具選擇； 圖5是曲線圖，示出根據(jù)事實的群或密度的對象感興趣的兩個區(qū) 域/事物；
圖6是兩個眼睛運動的詳細曲線圖，示出微小迅速掃視、飄移和顫動；
圖7是眼睛運動釆樣的不同成分的特征的曲線說明圖； 圖8示出多個注視和迅速掃視的曲線圖； 圖9示出構(gòu)成掃視的眼睛運動成分； 圖10是示意圖，示出實際頭部位置向參考框架位移； 圖11是示意圖，示出凝視方向的測量；
圖12—15用各種方式圖解示出示例性地識別百分比或峰值道路 中心的日間組群或密度收集；
圖16是曲線圖，示出利用百分比道路中心，以測量不同車內(nèi)工作 的相關影響；
圖17是相對于精神分散的其他量度的絕對百分比道路中心的曲
線圖18是用于不同時間闊值的離開道路中心的百分比長掃視曲線
圖19是朝向儀表板的車輛內(nèi)的透視圖，其中有兩個"立體"跟蹤 攝像機或監(jiān)視器；
圖20是朝向儀表板的車輛內(nèi)的透視圖，其中有一個跟蹤攝像機或 監(jiān)視器；
圖21是凝視水平信號的圖解說明，其中插入有眨眼；
圖22是水平凝視的圖解說明，并且示出由于眨眼產(chǎn)生的三個下
降；
圖2 3是關于閾值的眼睛運動速度的圖解說明；
圖24是個分段凝視信號的圖解說明；
圖25是恢復的注視的圖解說明；
圖26是遠離道路前面景象的多個掃視的圖解說明；
圖27是短暫停頓的頻率分布圖，示出兩個感興趣的區(qū)域/事物；
圖28是另一種設置的示意圖，用于對定向數(shù)據(jù)的實時分析起作
用.，
圖29圖解說明道路景象前面邊界的確定；
圖30_33圖解說明由駕駛員產(chǎn)生的典型掃視狀況的各種成分；圖34 — 36圖解說明掃視數(shù)據(jù)的特定統(tǒng)計分析。
具體實施例方式
在描述作為本發(fā)明的中心內(nèi)容的實際數(shù)據(jù)處理方法之前，提供一 些關于眼睛運動基本特征的基礎信息，以及一些關于使用的典型跟蹤 系統(tǒng)的一般信息，所述跟蹤系統(tǒng)用于感測、量化和選擇地記錄描述頭 部和/或眼睛定向(位置和運動特征)的數(shù)據(jù)，以方便水平低于本領域 普通技術(shù)人員的讀者。
至少關于基于眼睛運動的系統(tǒng)，目前能夠得到的用于搜集眼運動 數(shù)據(jù)的檢測系統(tǒng)傳遞"未處理的"眼睛運動信號，這種信號具有相當 大噪聲并包括人為現(xiàn)象。正如通過閱讀本發(fā)明的內(nèi)容而變得非常明顯 的，通常，頭部定向跟蹤數(shù)據(jù)能夠用作近似法，因此經(jīng)常有效地代替 眼睛跟蹤數(shù)據(jù)。由于眼睛跟蹤數(shù)據(jù)顯然幾乎總是提供對象觀察處的更 真實的指示(與頭部跟蹤數(shù)據(jù)相比)，但是，在本發(fā)明的內(nèi)容中主要考 慮的正是眼睛跟蹤數(shù)據(jù)。
本發(fā)明的算法處理這種信息并產(chǎn)生表示這種事物的輸出作為掃視 頻率(在預定的時間段內(nèi)對目標區(qū)域掃視的次數(shù))、單次掃視持續(xù)時間、 總的掃視時間和總的工作時間的量度。算法體現(xiàn)被定義的規(guī)則以引發(fā) 不同的警告；例如，如果駕駛員看他或她的移動電話多于兩秒鐘而不 往回看道路。確切的引發(fā)規(guī)則的定義是在實時系統(tǒng)調(diào)整的產(chǎn)物，該實 時系統(tǒng)還在繼續(xù)開發(fā)。本發(fā)明在這里公開的內(nèi)容也考慮人機交互作用
(HMI)，這種人機交互作用概念的例子在2003年2月19日提交的美 國專利申請No. 10/248,798中已經(jīng)詳細地描述，該申請名稱為
"SYSTEM AND METHOD FOR MONITORING AND MANAGING DRIVER ATTENTION LOADS (用于監(jiān)控并管理駕駛員注意力負荷的 系統(tǒng)和方法)"，其整個內(nèi)容因此包含于此。其中介紹了如何引起這些 警告的概念。
25本發(fā)明的各方面引入兩個不同的基本算法， 一個用于數(shù)據(jù)收集之 后的脫機處理， 一個用于基本與數(shù)據(jù)收集同時的實時處理(在量化特 征被進行時)。它們具有基本上類似，但是實時算法具有初始化程序并 缺少某些脫機特性。脫機分析的主要目的和好處是處理已記錄或已存 儲的特征數(shù)據(jù)。實時分析的主要目的是立即處理收集的數(shù)據(jù)，并且可 以利用，基本上同時使用諸如向觀察的對象進行反饋的方法，或當觀 察的對象是車輛駕駛員時適于諸如車輛系統(tǒng)的相關系統(tǒng)。
關于駕駛員，用于脫機算法的目的之一是分析來自工作的眼睛運
動數(shù)據(jù)，例如收音機調(diào)臺，或(駕駛時)使用RTI系統(tǒng)，以確定駕駛
工作中的單個姿勢有怎樣多的視覺需要。實時算法的目的是確定駕駛
員看道路有怎樣多。本發(fā)明的一個目的是適于或能夠用實時算法，以 便其結(jié)果類似于脫機算法獲得的結(jié)果。
眼睛運動一般分成兩類迅速掃視和注視。當眼睛凝視(注視) 在某個事物上，例如某頁上的字母時發(fā)生注視。這也是當頭腦能夠吸 收解釋為被注視的事物的視覺圖像的信息時。另一方面，迅速掃視是 在注視之間的運動，g卩，改變注意點。迅速掃視是非?？斓?對于大 幅度，最大速度700。 /秒)，并且由于這時光線移動過視網(wǎng)膜太快不能 被大腦解釋，觀看者的頭腦抑制對這些事故的認知。
朝事物例如移動電話的掃視，是遠離預定的目標區(qū)域(例如道路) 的迅速掃視、掃視起始和在新目標區(qū)域(例如移動電話)注視的結(jié)合。 當遠離第二個目標區(qū)域的新的迅速掃視開始時，掃視終止。在同一個 目標區(qū)域的連續(xù)的迅速掃視和注視定義為同一掃視的一部分。
本發(fā)明的一定目的和優(yōu)點可以總結(jié)為(1)混合算法是新的，甚 至在僅僅結(jié)合基于速度和分散的算法的水平上說，特別是當結(jié)合視覺 規(guī)則時。因此，在眼睛運動分段時眼睛的物理能力不予以考慮；(2)
利用密度函數(shù)峰值作為道路中心來定位道路中心區(qū)域的構(gòu)思和方法比僅僅賦予"峰"的平均值更詳細；(3)算法作為整體和每種不同算法 部分的方式與其他的配合。百分數(shù)道路中心(PRC)和絕對百分數(shù)道路 中心(A-PRC)的概念作為駕駛員注意力的量度。算法不僅想要產(chǎn)生希 望的量度，而且能夠用于確定在ISO15007-2中所定義的所有量度，以 及在SAE J-2396中的量度。
轉(zhuǎn)動眼球的構(gòu)思進行了很好的研究， 一般來說，眼睛運動分為若 干不同的種類，舉例來說可以分為迅速掃視、微迅速掃視、平穩(wěn)追蹤、 聚散度、顫動、飄移等。但是，為了本發(fā)明的目的，眼睛運動分成兩 種基本的種類迅速掃視和注視。本發(fā)明的合理性是所有的數(shù)據(jù)點不 是迅速掃視，而是注視。這包括平穩(wěn)追蹤，平穩(wěn)追蹤在下面描述的注 視概念中在駕駛期間經(jīng)常發(fā)生。
注視定義為在眼睛能夠吸收信息的信息提供區(qū)暫停。作為有效的 注視，該暫停必須持續(xù)至少150毫秒，人的大腦利用信息所需要的時 間大約是這個時間。雖然稱之為"注視"，但是眼睛仍然移動，進行微 小的移動，例如"注視"在該區(qū)域上時的飄移、顫動、微迅速掃視。 這些微小的運動具有很小的幅度并且屬于定義的注視的一部分。圖6 是具有飄移、顫動和微小迅速掃視的典型的注視。其中，對象的兩只 眼睛的運動用曲線表示， 一個在另一個上面。橫軸表示時間，垂直軸 表示距離。所幸的是這些運動或者很慢(通常在4和200 S—"的量級)， 或者很小(通常在20 — 40英寸)。這防止被用于這種類型的用途的一 般設備所檢測。這是一個優(yōu)點，因為否則這種偏離將會看作噪聲。
其他較大的運動，但是仍然在亞迅速掃視數(shù)度，稱作平穩(wěn)追蹤。 它們是注視的子類，即在移動目標上注視，或注視在靜止(或移動) 目標上同時觀察者在運動中。當我們跟蹤目標時，眼睛用很小的迅速 掃視使視網(wǎng)膜凹斑在該目標上，然后變慢，根據(jù)目標的速度進行跟蹤 目標的連續(xù)運動。速度在大約每秒80到160度每秒范圍內(nèi)慢運動構(gòu)成 平穩(wěn)追蹤。圖示于圖7的這種行為是對象在跟蹤在用曲線(a)表示的正弦路徑上運動的點。曲線(e)表示整個眼睛運動，包括迅速掃視和 平穩(wěn)追蹤。曲線(esa)代表去除了平穩(wěn)追蹤，而曲線(esm)示出去除 迅速掃視的曲線?？偟膩碚f，整個跟蹤行為稱作平穩(wěn)追蹤，并且可以 當作滑移注視。為此，由于在運動期間信息被處理并且迅速掃視太小 以做用可得到的眼睛運動跟蹤系統(tǒng)不能檢測，對于本發(fā)明這類行為在 這里稱作注視。
迅速掃視是當人的視線在兩點之間變化時發(fā)生的快速眼睛運動。 迅速掃視運動在幅度、持續(xù)時間、速度和方向上變化。在幅度上大于 約5度的迅速掃視的持續(xù)時間大約是20 — 30毫秒，其后，對于每增加 l度可以加上約兩毫秒。峰值速度通常在從對于幅度小于0.1°的每秒 10度到對于大幅度的每秒大于700度的范圍內(nèi)。
從一個注意點到另一點的典型迅速掃視示于圖8，圖8示出實際 上沒有噪聲的很好的跟蹤測量的一個例子。所示的一個示例性的迅速 掃視在點(A)開始而在點(B)結(jié)束。而且，所示的眼睛運動僅僅包 括繞一個軸線的運動，也就是說，在水平面內(nèi)沒有檢測到迅速掃視。
在迅速掃視運動期間，由于光線在視網(wǎng)膜上移動太快，人的大腦 通常不察覺信息。但是，應當理解，事實上一些信息在迅速掃視期間 實際上正被處理。如果被觀察的事物與眼睛以同樣的速度并且沿同樣 的方向運動，僅僅產(chǎn)生認知感知作用。信息的總體缺乏迫使大腦提前 對幅度和持續(xù)時間進行計算。在這種處理中幾乎總是在某種程度上或 多或少產(chǎn)生不準確性和噪聲。這被滑移或比前一迅速掃視短得多的新 迅速掃視所校正，因此更準確。在這兒，由跡線(A)的長垂直部分表 示的范圍小的迅速掃視被表示校正的小迅速掃視(B)的短垂直部分所 校正。這種校正的迅速掃視常常是幅度很小，用已知的眼睛跟蹤設備 不能檢測，而是當作附加的噪聲。
除了這三種運動之外，還有不同種類的視覺行為，通常稱之為眨眼。人通常約每兩秒鐘眨一次眼，這個特征對凝視判斷有破壞影響。 在眨眼時眼睛實際閉合期間，凝視不能被測量，并且由于眨眼確實在 迅速掃視和注視時都會發(fā)生，當對于跟蹤設備來說眼睛再一次可見時， 很難預料眼睛將會看在什么地方。所幸的是，眨眼非常快，整個眨眼
為約200毫秒的量級。這意味著眼睛總的被閉合僅僅約100—150毫秒。
由于對象通常完全沒有意識到眨眼的發(fā)生，本發(fā)明通過抑制迅速掃視 和眨眼的認知而實現(xiàn)對現(xiàn)實更清晰、更穩(wěn)定的感知。
眼睛工作的性質(zhì)有利于分段，意味著存在提供分類規(guī)則的眼睛運
動的物理邊界。例如， 一次迅速掃視不能被間隔小于約180毫秒的另 一次迅速掃視跟著，這意味著迅速掃視的持續(xù)不能多于200毫秒。200 毫秒的迅速掃視將具有約90度的幅度，這是不常見的。還有，任何長 于約220毫秒的被測量的迅速掃視可能是兩次迅速掃視，在其之間有 一次注視。另一個有趣的事實是上面提到的對象的眨眼認知的抑制。 對象通常意識不到眨眼的發(fā)生，由于眼睛行為不被它們的發(fā)生所影響， 因此一般能夠從分析中去掉。下面構(gòu)成關于本發(fā)明的眼睛的物理邊界 注視持續(xù)至少約150毫秒；迅速掃視不能被間隔小于約180毫秒的另 一次迅速掃視跟著；人的視野有限；注視在空間上可以大(平穩(wěn)追蹤)； 迅速掃視通過視覺中心而被抑制；眨眼被視覺中心抑制。
對于車輛駕駛員來說，甚至可能存在更多的限制，例如在駕駛 時不可能有內(nèi)頂棚上的或地板上的注視，特別是工作時不可能；對象 注意力(和注視)的相當大的比例可能是在道路中心，并且平穩(wěn)追蹤 速度為低到中等速度。例如，迎面而來的交通和道路標志觸發(fā)大多數(shù) 被測量的追蹤。在本發(fā)明中，這些邊界用于定義能夠用作駕駛員眼睛 運動分段部分的框架。
根據(jù)本發(fā)明，視覺測量分成兩組，基于掃視的測量和基于非掃視 的測量。這兩組由基礎視覺分段的結(jié)果構(gòu)成，其中注視、迅速掃視和 眼睛閉合被識別。如上所述，不同的研究者有不同的分析數(shù)據(jù)和定義的注視/迅速掃 視的方法。重要的是有一致的規(guī)則和基準點，以便所有這些分析方法 能夠基于一般被接受的國際標準。這就是為什么在這種工作中的量度是基于ISO 15007-2和SAE J-2396中的定義。這兩個標準關于駕駛員 視覺行為的測量的使定義和量度標準以及方法標準化，以保證實際評 估適當?shù)剡M行。SAE文件根據(jù)ISO標準的許多術(shù)語，并且每個標準作 為另一個的補充。在描述本發(fā)明的過程中，裝置和方法都適合模擬環(huán)境也適合路上 的試驗。但是，兩種標準(ISO和SAE)都基于視頻技術(shù)，例如，利 用攝像機和記錄器，注視和迅速掃視的手工(脫機)分類由定級人完 成。手工視頻轉(zhuǎn)錄既費時又不可靠，因此，本發(fā)明所基于的自動化方 法是優(yōu)選的。結(jié)合和示例性的信賴于ISO/SAE型量度可以有利地依靠 使用任何眼睛運動分類系統(tǒng)，手工的或自動化的。下面描述基本視覺分段的三個細節(jié)，以及兩組測量?；A視覺分 段將眼睛運動分成用可得到的眼睛跟蹤系統(tǒng)能夠測量的最小量。這些 眼睛運動"塊"表示一個基礎，從該基礎推導所有的基于掃視的和統(tǒng) 計的量度?？偠灾?，它們包括(1)當從感興趣的一個區(qū)域看到另 一個區(qū)域時，定義快速運動發(fā)生的迅速掃視；(2)提出眼睛位置的對 齊或不變性的注視，以便注視發(fā)生在其上的目標的圖像落在視網(wǎng)膜上 一個給定的時間長度；(3)眼睛閉合，短時間的閉合稱作眨眼，長時 間的閉合可能是困倦的特征。為了充分理解用于ISO/SAE文件的量度，重要的是熟悉掃視的定 義，根據(jù)SAE標準，掃視被認為是在目標區(qū)域上的一系列注視，直到 眼睛對準新區(qū)域。例如，如果駕駛員起初看筆直的前面(道路上)而 然后看收音機，首先注視在顯示器上，而然后注視在音量控制上，他 或她進行兩次注視(不算第一個筆直前面)和兩個迅速掃視，所有這些構(gòu)成一次掃視。掃視當離開道路的第一次迅速掃視開始(這個迅速 掃視叫做轉(zhuǎn)換)而開始，當在收音機上的最后注視結(jié)束而結(jié)束。圖9 提供了典型的駕駛員三個掃視系列的圖解說明。其中，注視、迅速掃 視和轉(zhuǎn)換被量化成若干個掃視的成分?；趻咭暤牧慷葟倪@些定義推導并且當作眼睛運動的"高水平" 描述，眼睛運動構(gòu)成前面所述的"塊"。這些量度反映了不同的性質(zhì)，例如時間共享、工作負荷和視覺注意需要。在ISO和SAE協(xié)議中定義和使用的量度是(1)掃視持續(xù)時間，其定義為從凝視的方向移向目 標到離開該目標的瞬間的這段時間。較長的持續(xù)時間表示在該區(qū)域需 要高工作負荷；(2)掃視頻率，定義為在預定的采樣時間內(nèi)或預定工 作期間掃視目標的次數(shù)，其中每個掃視被至少一個向不同目標的掃視 分開。由于低掃視頻率與長掃視持續(xù)時間相關，這個量度應當與掃視 持續(xù)時間一起考慮；(3)總的掃視時間，定義為與該目標相關的總掃 視時間，這提供了該場所提出的視覺需要的量度；(4)掃視概率，定 義為對給定場所的掃視概率。該量度反映與該目標相關的相關注意需 求。如果對一組相互地全部的和完全的目標進行計算，這種分布能夠 用于進行統(tǒng)計比較；(5)短暫停留時間，定義為總的掃視時間減去開 始該掃視的迅速掃視時間；(6)連接值概率，定義為兩個不同場所之 間掃視轉(zhuǎn)換的概率，該量度反映了對不同目標區(qū)域之間的時間共享注 意的需要；(7)離開前面道路景觀(前面的道路景觀，不包括后視鏡 和側(cè)視鏡)的時間，定義為對前面道路景觀的兩個連續(xù)的掃視之間的 總的時間，其被向非道路目標的掃視分開；(8)轉(zhuǎn)換，定義為從一個定義的目標場所到不同的目標場所眼睛注視場所的改變，既開始掃視 的迅速掃視；(9)轉(zhuǎn)換時間，定義為在目標場所上的注視結(jié)束和另一 個目標場所上的新注視的開始之間的持續(xù)時間，由于在轉(zhuǎn)換時很少有 或沒有新信息，因此增加的轉(zhuǎn)換時間反映了減少對駕駛員新信息的可 得到性；(10)總的工作時間，定義為工作的總時間，這又定義為工作 時從第一掃視開始點到最后掃視結(jié)束的時間?；诜菕咭暤牧慷仁撬械钠渌軌蛴嬎愕牧慷?，而不是 ISO/SAE標準定義的量度。其中的兩個例子包括(1)在不同組群， 例如前面的道路景觀和移動電話內(nèi)的注視位置的平均值和標準偏差，；(2)不同組群和/或不同工作內(nèi)的注視短暫停留時間的平均值和標準偏 差。分析時對這類量度感興趣，例如，如果駕駛員被巻入數(shù)學任務中， 將高認知負荷期間的駕駛與正常駕駛進行比較。本發(fā)明的總的目的是提供健全的眼睛運動數(shù)據(jù)分析的自動化，其重點在ISO15007-2和SAE J-2396方法規(guī)定的量度，用于關于傳輸信息 和控制系統(tǒng)的駕駛員視覺行為的測量。在本發(fā)明的自動化中所用的示 例性的工具包括眼跟蹤系統(tǒng)，其另外詳細討論。有利的是，算法和補 充系統(tǒng)只需要很少的人工干預，例如裝載/存儲數(shù)據(jù)以及被檢測的組群 和遠離本體的事物的視覺檢査。本公開開頭示出了能夠用可得到的檢測系統(tǒng)進行自動化分析，具 體的研究揭示了所有量度的高度相關性。在這個例子中，信號用滑動 十三采樣中值窗口濾波器過濾以減少噪聲，消除某些遠離本體的事物 和眨眼。研發(fā)了速度閾值算法，使迅速掃視不同于注視(平穩(wěn)追蹤被 當作注視)，并且組群的人工分界提供掃視分類的基礎。該方法要求大 量的操作者輸入和注意，例如，要被過濾的信號和遠離本體的事物， 短注視和其他人為現(xiàn)象要被人工識別。由于本發(fā)明研究出本公開的要 點，這些操作者時間密集法已經(jīng)能夠被取消。起初，中值濾波器寬度對所有的對象優(yōu)化不是最佳的，長度需要 與噪聲大小成比例地保持。相應地，使用不同類型的濾波器和參數(shù)。 而且，已經(jīng)知道速度算法對噪聲很敏感。所以閾值設置成每秒340度， 這明顯高于迅速掃視開始和結(jié)束的速度。為了補償，迅速掃視之前和 之后的兩個采樣點也標記為具有迅速掃視速度。由于迅速掃視在幅度 和峰值速度上變化，所以它們的加速度也變化。因此，只有這種先驅(qū) 的方法提供迅速掃視開始和結(jié)束的很好的近似。因此，本發(fā)明的目的是提供一種更精確地識別迅速掃視/注視的健全的技術(shù)。
此外，需要自動識別掃視目標區(qū)和掃視的分組技術(shù)。 一個目的是 以自動化的方式消除遠離本體的事物和其他人為現(xiàn)象，而不是用傳統(tǒng) 的人工評估手段。
當設計檢測算法時，這里所公開的數(shù)據(jù)的來源和性質(zhì)的理解是重 要的。因此，描述了可得到的數(shù)據(jù)和用于獲得該數(shù)據(jù)的技術(shù)平臺。
關于即將到來的本發(fā)明，圖1提供了示例性的脫機分析算法的總 的概要。未處理的眼睛運動數(shù)據(jù)被輸入左上的方框中在那兒進行預處 理。舉例來說，這種預處理包括中值濾波器，降低噪聲、人為現(xiàn)象和 眨眼。還有所有的非跟蹤數(shù)據(jù)在這個功能站被去掉。
中間的大方框表示示例性的算法，如圖所示，是一種在兩個共用 的數(shù)據(jù)處理算法(雙重閾值速度檢測和分散以及分散和基于規(guī)則的檢 測)之間的混合處理。如右面中等的方框所示，應用的視覺規(guī)則是基 于已知的眼睛行為的某些方面的限制或參數(shù)，例如通常由人的視覺能 力限定的注視的最小長度(關于時間)。混合算法內(nèi)的底部方框表示自 適應分組算法，根據(jù)其一個或多個特征對注視分組，并且在實踐中使 分組趨向于當采樣的掃視數(shù)目增加時"浮動"到位。
由混合算法內(nèi)的上面方框表示的雙重閾值速度檢測算法是基于眼 睛運動速度(度/秒)。參考圖3，高閾值(頂部、平的點虛線)將在具 有低速度的眼睛運動之間的注視從迅速掃視中區(qū)分出來。下面的點劃 曲線表示實際的眼睛運動，在一維中示出，而帶尖峰的實曲線表示其 導數(shù)或眼睛運動速度。 一旦迅速掃視被檢測到，低閾值(長短劃虛線) 用于確定開始和結(jié)束點。使用兩個閾值的理由是避免由迅速掃視檢測 引起的噪聲觸發(fā)。但是，應當理解，當噪聲增加時該協(xié)議的誤差也增 加。除了迅速掃視檢測之外，分散協(xié)議與所用的視覺規(guī)則結(jié)合使用。 該規(guī)則確定什么時候被檢測的迅速掃視和注視不是自然的，也就是說， 它們的定義的數(shù)據(jù)在某種方式上超出指定分類(迅速掃視和注視)可 接收的特征參數(shù)。
這種規(guī)則的例子可以是，注視必須持續(xù)多于150毫秒，而迅速掃 視由預定的較短的時間段測量。還有，迅速掃視不能返回到它開始的 同一個區(qū)域。無論什么時候這些規(guī)則用來將注視改變成迅速掃視的一 部分或?qū)⒀杆賿咭暩淖兂勺⒁暤囊徊糠?，該分散算法確定該情況將被 怎樣處理。例如，如果在同一目標上的兩個連續(xù)的注視被檢測到在其 之間具有60毫秒的迅速掃視，那么可以推導出可能有噪聲觸發(fā)該迅速 掃視檢測。通過分散協(xié)議確定它是否是噪聲。如果兩個注視相互在一 定距離內(nèi)(分散閾值)，那么它們是同一注視的一部分，并且迅速掃視 改變成注視的一部分，否則它最可能是正確的檢測。
混合算法的主要規(guī)則是，關于哪一種處理算法(或其一部分)將 用于根據(jù)當前噪聲水平的數(shù)據(jù)，它自動地偏離"決定"。如圖4所示， 具有較高質(zhì)量的、相對無噪聲的跟蹤數(shù)據(jù)將主要用雙重閾值速度來處 理。數(shù)據(jù)噪聲/質(zhì)量的平均值或中間量增加了對該數(shù)據(jù)的分散檢測處理
的影響。最后，如圖4右側(cè)所示，當數(shù)據(jù)的噪聲很嚴重而質(zhì)量低時，
注視恢復會受影響。通常這種低質(zhì)量或有噪聲的數(shù)據(jù)將僅僅是短暫的 效果并且不會應用到整個數(shù)據(jù)流。在數(shù)據(jù)的部分質(zhì)量相當?shù)偷那闆r下， 這部分的恢復通過對相應的數(shù)據(jù)應用嚴格的濾波器發(fā)生，以便看它是 否能夠被"靜化"(平滑)到足以識別在該嚴重噪聲下的行為。當更加 嚴格的被過濾的輸出通過"有效性"規(guī)則時，恢復是通過嚴格處理部 分的"替換"實現(xiàn)的，而該"有效性"規(guī)則使不太嚴格的被過濾的數(shù)
據(jù)失效。
當所有的注視和迅速掃視的檢測已經(jīng)完成時，數(shù)據(jù)被輸入到根據(jù)
34進行的分組分析的結(jié)果識別掃視的分組算法，其示例性的細節(jié)將在下 面更詳細地說明。
圖2示出用于進行實時跟蹤數(shù)據(jù)處理的混合算法。通常以任何數(shù) 據(jù)流形式中的未處理的跟蹤數(shù)據(jù)，是從關于頭部和/或眼睛定向和運動 的檢測系統(tǒng)獲得的。由于該處理在實時基礎上發(fā)生，如果它沒有滿足 規(guī)則的準則，能夠重循環(huán)該數(shù)據(jù)用于任何進一步的過濾通過的特殊功 能將不能被享用。必須總是能夠得到最好的可能的數(shù)據(jù)。因此，實時 混合算法主要運行同一數(shù)據(jù)的兩個前后串聯(lián)的處理。如圖2所示，源 數(shù)據(jù)在上面用標準濾波器處理，同時平行地在下面用更嚴格的濾波器 處理。同時，不同被過濾的源數(shù)據(jù)用規(guī)則組處理。通常用于每個被過 濾的數(shù)據(jù)流的規(guī)則是同樣的，但是每個可能根據(jù)相應的過濾特征而設 計。
從兩個規(guī)則處理的每一個產(chǎn)生一個數(shù)據(jù)流。正如從圖2能夠理解 的，兩個輸出的被過濾的數(shù)據(jù)流的特征是不同的。優(yōu)選地，標準濾波 器關于平滑數(shù)據(jù)是很溫和的，而應用于數(shù)據(jù)流的規(guī)則組盡力確定是否 發(fā)生有效的迅速掃視或注視。如果不能滿足規(guī)則，那么不輸出數(shù)據(jù)流。 這種數(shù)據(jù)中的空白在圖2的右上角被辨別。在未能滿足所用規(guī)則的數(shù) 據(jù)流的部分中僅僅可能是噪聲太多。
在整個時間，如上所述，數(shù)據(jù)也用嚴格的濾波器處理。通常，嚴 格的濾波器以努力去掉噪聲的形式的確明顯地"平滑"數(shù)據(jù)。輸出數(shù) 據(jù)可能更平滑，但是當同樣的規(guī)則應用于對應于空白區(qū)的沒有規(guī)則適 應的標準過濾的數(shù)據(jù)部分的更高過濾的數(shù)據(jù)時，迅速掃視或注視特征 是可辨識的。當情況是這樣時，規(guī)則被通過，并且獲得該數(shù)據(jù)的有效 特征。該高過濾的數(shù)據(jù)的通過規(guī)則的部分相應于作廢的、規(guī)則破壞、 較少過濾數(shù)據(jù)區(qū)域，被合并到在標準過濾之后已經(jīng)通過的輸出數(shù)據(jù)流。 這在圖2中示出為編輯處理數(shù)據(jù)流。如果源數(shù)據(jù)具有大體上可接受的質(zhì)量(噪聲少)，那么在沒有通過 該應用規(guī)則的不同過濾的數(shù)據(jù)流處可能具有短空白部分時，該被編輯 的數(shù)據(jù)基本上是連接的。也就是說，質(zhì)量很低的數(shù)據(jù)決不能被接受， 并且通常不能過濾或處理成能夠接受的。但是，在除了某些子標準部 分外，源數(shù)據(jù)大體上能夠被接受的情況下，用于處理實時跟蹤數(shù)據(jù)的 示例性混合算法產(chǎn)生被編輯數(shù)據(jù)的輸出流，所述被編輯的數(shù)據(jù)包括適 于進一步處理的可分類的注視和迅速掃視，諸如在這里詳細描述的分 組和密度分析。
圖28示出另一種關于預處理數(shù)據(jù)的實時算法的代表性的示意圖， 前面道路識別、混合算法的分組和應用，它們一起產(chǎn)生有意義的輸出 量度。
在這個結(jié)構(gòu)中，數(shù)據(jù)處理過程以找到什么被定義為前面道路景觀 的自動起動開始。這是在駕駛員沿由這個區(qū)域的凝視密度規(guī)定的某個 方向看該區(qū)域時的情況下由形成密度面完成的。例如，駕駛員看一個 區(qū)域越多，凝視密度在這個區(qū)域?qū)⒃黾釉蕉?。駕駛員的大多數(shù)注意可 能是在叫做前面道路景觀中心的地方被發(fā)現(xiàn)，在該區(qū)域中心有"注意 尖峰"，如圖5所示。在該圖中，形成兩個尖峰的平面應當取作垂直于 相面向風擋玻璃時駕駛員的臉部。高尖峰表示前面道路景觀，而低尖 峰表示集中點。在映射的例子中，該對象需要改變該低尖峰表示的導 航系統(tǒng)的語言。在駕駛時，高(左)尖峰逐漸形成，在大約兩分鐘之
后，峰值道路中心(PRC)位置穩(wěn)定。該道路中心區(qū)域被定義為該高山 的底面，而尖峰被定義為中心。根據(jù)近似法計算的該底面的準確度認 為是95%，高山具有高斯形狀，而平均值是尖峰部分。做完這些之后， 離開前面道路部分的掃視可以被檢測，并且如下面將要描述的，因此 用峰值路面中心的定義可以計算注意力和駕駛員工作負荷。
在識別道路中心構(gòu)思的進一步研發(fā)中，數(shù)據(jù)的預處理是用純數(shù)學 轉(zhuǎn)換和旋轉(zhuǎn)以及信號濾波器完成的。由于眼睛凝視是從兩眼之間的點開始的矢量，因此它取決于頭部位置。駕駛員視野中的每個事物通過 來自駕駛員眼睛的視角定位。雖然該角度主要決定于駕駛員的頭部位 置和轉(zhuǎn)動，但是也決定于駕駛員的高度和優(yōu)選的駕駛位置。不同的頭 部位置/轉(zhuǎn)動影響凝視信號以及頭部運動的性質(zhì)。為了使這些影響最小 化，頭部位置被標準化為參考位置，取大多數(shù)駕駛員的近似平均位置 是有利的。這是經(jīng)由位于駕駛員前面的理論鏡面實現(xiàn)的，如圖IO所示。在這里被測量的凝視和頭部角度經(jīng)由該平面被投影在靜止的或參 考頭部上。在這個實施例中，它是用于該算法的靜止頭部的凝視和頭 部角度。當凝視置信度低時，例如當眼睛閉合時，該算法自動轉(zhuǎn)換到頭部 定向并用朝前的臉部指向的方向權(quán)且作為凝視矢量。結(jié)果得到的信號 被饋送給這里描述的混合算法中，并且道路中心經(jīng)由凝視密度函數(shù)定 位。初始化過程以大于70公里/小時的速度要用正常駕駛的約20秒鐘。 在這個具體的應用中，道路中心被定義為由筆直朝前看的密度函數(shù)估計定中心的20乘40度的橢圓形。但是，該道路中心的幾何形狀可以決定于速度和/或環(huán)境。上述橢圓形對于具有中等交通量的雙車道上高于70公里/小時并 低于約120公里/小時的速度是理想的。其他的幾何形狀對于在不同速 度下行駛的一些環(huán)境和用于其他應用能夠最好地工作。長掃視持續(xù)時 間的測量，即，在時間上延伸的一個掃視對于由凝視密度函數(shù)垂直定 中心的20度的水平范圍似乎能較好地工作。道路中心只定義駕駛員看到的世界事物。駕駛員或者看道路中心 或者不看。轉(zhuǎn)換延遲用來避免當凝視正好在道路中心邊緣上時的忽隱 忽現(xiàn)的信號。凝視必須在兩個事物(在道路上，或不在道路上)之一 上保持恒定大于IOO毫秒，以便記錄轉(zhuǎn)換。一旦道路中心是有效的(即凝視密度函數(shù)穩(wěn)定)，PRC (這里取做 或者峰值道路中心，或者百分比道路中心)將開始計算。在必要范圍 之外，無論什么時候沒有源跟蹤數(shù)據(jù)，該算法都暫停。還有，在優(yōu)選 實施例，無論什么時候車輛速度低于65公里/小時，都不使用該算法。
還將PRC的值重置為80%。
在PRC算法的一個方案中，最大PRC參數(shù)防止PRC超過80% 。 在正常駕駛時穩(wěn)定PRC (對一些對象正常駕駛PRC值大約在75%和 85%之間變化)，這是一種簡單的方法。利用這種限制，對于一定數(shù)目 的掃視，PRC總是落入某個水平(從80XPRC)。對于最小PRC和認 知分散，也是同樣。
較短的PRC窗口 (3—10秒)用于指示時間共享行為，即兩個目 標區(qū)之間的多個掃視。時間共享行為指示用于當該行為結(jié)束時，即輔 助工作結(jié)束時，將PRC重置為80X。
可以給出示例性的對于駕駛員的三種不同的警告/反饋。即便PRC 落到低閾值以下，在駕駛員的眼離開道路之前不發(fā)出警告(認知警告 除外)。在視覺分散的情況下，當對象稍有分散時，即當PRC低于65 %時，達到反饋水平。只有當駕駛員視線離開道路時，在10秒鐘內(nèi)最 多發(fā)出兩次警告，也就是說，在PRC已經(jīng)低于65%之后，頭兩次離開 道路的掃視時將發(fā)出警告。當對象嚴重精神分散時，即PRC低于58X 時，達到另一種警告水平，在這種情況下，警告發(fā)出之后立即將PRC 重設為正常駕駛，即80%。
在認知分散的情況下，當駕駛員處于認知分散狀態(tài)時，即當PRC 高于92%時，發(fā)出認知警告。然后PRC重設為80。無論什么時候在道 路中心之外的掃視持續(xù)超過四秒鐘，都發(fā)出長掃視(離開道路)警告。
使用時間窗口不應是最佳方案。 一分鐘時間窗口具有一分鐘時間之前所做的將影響PRC，以及當前 工作。如果駕駛員調(diào)諧收音機并且因此對收音機有四次掃視，那么由 于這四次掃視他將受到懲罰至少半分鐘，也就是說，PRC將保持在低 水平至少30秒鐘，即使駕駛員已經(jīng)回到正常駕駛中(假定該工作持續(xù)最多30秒鐘)。處理該問題有多種方式。其中之一是使用具有阻尼因子(以獲得大致同樣的窗口動態(tài)特性) 的較短的時間窗口。另一種是無論什么時候完成工作就刷新該窗口。還有，可以用相當短的時間窗口，例如3—15秒鐘，確定工作是否已 經(jīng)被完成。時間分享檢測器用來確定PRC的總和(通常是在時間窗口內(nèi)的道 路中心掃視的總時間)是否應當忽略道路上的掃視，也就是當完成工 作時，該PRC總和與離開道路中心的掃視時間成比例減少，但是忽略 在道路中心上的掃視時間，因此顯示和如同該窗口同樣的總和的動態(tài) 特性。當前算法的另一個問題是，眨眼相當經(jīng)常被解釋為向下掃視儀表 板組。由于稍稍不同于凝視信號的性質(zhì)，標準數(shù)據(jù)過濾將不過濾出眨 眼。提出的方案包括利用眼睛睜開信號以確定它是眨眼或是掃視。當 程序在"非等待模式"時，這要求在記錄的數(shù)據(jù)中有眼睛睜開信號。 可選的方案是設計眨眼檢測器。對于掃視來說眨眼太短并且因此被停 止在濾波器中。但是，這將引起系統(tǒng)延遲至少150毫秒。上述算法對于以約70—120公里/小時的速度駕駛的中等交通量的 公路是可行的。有多種方式使該算法適應于不同的速度和環(huán)境。 一種 是使道路中心區(qū)域適應于速度和環(huán)境。隨著速度的減少，道路中心的 大小將增加，主要是在水平區(qū)域。道路中心增加，從而以這個速度和 環(huán)境下的正常駕駛具有大約80%的PRC。這樣做有兩種方式。 一種是 適應聯(lián)機的每個駕駛員。另一種是對于不同的速度和環(huán)境提供預定義的道路中心幾何形狀。還有一種是根據(jù)正常駕駛的PRC水平調(diào)節(jié)警告 閾值，用于特定的速度和環(huán)境。還有一種是提供環(huán)境的描述，或至少 由駕駛員行為指示的環(huán)境的描述。
限制是如果駕駛員的頭部從道路中心轉(zhuǎn)動超過約60度，也就是， 如果駕駛員看他的肩部或側(cè)面，以看相鄰車道是否有車，該算法將失 效?？梢允褂脠D形識別以填滿這些空白。
除了直接警告之外，PRC可以用來使第三組系統(tǒng)正常操作/失效或 設置成不同模式。例如PRC能夠用來將向前碰撞警告(FCW)系統(tǒng)設 置成"敏感"模式，并且即時的眼睛在道路中心的信號可以用來確定 警告是否應當允許操作。它還可以用來調(diào)節(jié)用于自適應巡航控制 (ACC)控制回路(增加或減少安全距離)的時間間隙，或使其他警 告和系統(tǒng)能夠起作用/不能夠起作用。
這里概述的許多量度利用道路中心點(RCP)的參考計算。垂直 和水平道路中心點從例如三分鐘的數(shù)據(jù)的分段的眼睛運動數(shù)據(jù)組(分 成注視/平穩(wěn)追蹤和迅速掃視)，計算出。首先，每個注視數(shù)據(jù)點被加到 垂直和水平接受器(bin)，接受器的大小為0.98乘0.98度(128x128 用于從筆直前面的+/-30度，或零點)。其次，接受器的模式(接受器 中最大頻率)設置為道路中心垂直和水平點。這些基于數(shù)據(jù)點的測量 在圖12—15的圖示中被充分描述，其中道路中心點根據(jù)駕駛員眼睛位 置的采樣密度來識別。在筆直的兩車道的快車道上正常駕駛條件下的 眼睛運動在這些圖中描述。數(shù)據(jù)集中在道路中心點周圍，并且根據(jù)其 道路中心點設置為零。單元的頻率表示每個接受器(一個接受器等于 0.98度乘0.98度)總頻率的百分比。向左和向上眼睛運動是正的，向 右和向下眼睛運動示為負的。
在移動時間窗口中的每個步驟，例如，具有60Hz更新頻率的一分 鐘時間窗口，計算下述內(nèi)容。在時間窗口內(nèi)的每個注視數(shù)據(jù)點被分類為或者是表示"道路中心"的"1"型，或者是表示"非道路中心"的 "0"型，這種差別是根據(jù)在定義的道路中心區(qū)內(nèi)或道路中心區(qū)外而產(chǎn) 生的。例如，通過從道路中心點以度或弧度取距離和設置截止閾值， 例如，八度作為繞它的半徑范圍，計算道路中心區(qū)域。這些落入截止 閾值內(nèi)的那些固定數(shù)據(jù)點被分類為"道路中心"，而那些落入截止閾值 外的數(shù)據(jù)點被分類為"非道路中心"。在這個例子中，截止閾值定義了 道路中心區(qū)域的形狀。道路中心區(qū)域也可以以其他方式被定義為利用半徑截止閾值的可 選方案。例如，道路中心區(qū)域可以被定義為非對稱形狀。當在曲線或 繁忙道路環(huán)境駕駛下，非對稱道路中心識別是有用的。定義非對稱形 狀的一些方式為(1)閾值水平可以以每個接受器的頻率設置，例如 圖14所示的水平道路中心區(qū)域線，像圖13的輪廓的幾何形狀是這種 產(chǎn)物；(2)道路中心區(qū)域可以被定義為在例如從道路中心點的一個或 兩標準偏差之內(nèi)的數(shù)據(jù)。標準偏差可以根據(jù)中心點的半徑，或分別地 根據(jù)垂直和水平分量來定義。垂直/水平標準偏差定義將使形狀能夠被 計算為橢圓形；(3)在曲線道路環(huán)境下，大多數(shù)注視數(shù)據(jù)點圍繞車輛 的未來路徑定中心。瞬時路徑軌跡通常由車輛橫擺速率(或根據(jù)方向 盤角度的量度)計算。這種曲線路徑軌跡(轉(zhuǎn)換成視角)能夠用來定 義有效的"路徑上的注視"的區(qū)域。這種軌跡能夠用來定義，例如， 在離車輛路徑一定距離內(nèi)的掃視的"在路徑上的區(qū)域"。因此，PRC、A-PRC和PLG可以用同樣的方式計算，如上所述用在路徑上的區(qū)域替 換道路中心區(qū)域。最后，百分比計算是通過道路中心點的數(shù)目除以該 窗口內(nèi)的注視數(shù)據(jù)點的總數(shù)并將該商乘以100來計算。百分比計算忽 略迅速掃視和失去的數(shù)據(jù)。絕對百分比道路中心(A-PRC)如在上所述在同樣的時間窗口內(nèi) 被計算為與給定的PRC值的絕對差，例如正常駕駛的PRC值。圖17 示出A-PRC與一些其他通常的精神分散量度的比較。離開道路中心的百分比長掃視(PLG)，在上述同樣的窗口內(nèi)，計 算為注視數(shù)據(jù)點的百分比，該注視數(shù)據(jù)點在一定的時間閾值內(nèi)，例如
在圖18中舉例性的兩秒鐘，被分類為掃視(如用SAE J-2396標準定義 的)。
離模型道路中心的標準偏差(SD-MRC)，在如上所述的時間窗口 內(nèi)根據(jù)標準偏差公式計算，但是平均值被模型替換除外，例如
DistRoadCenter=sqrt(((VerticalPos- VerticalMode)A2)+((Horizontal-HorizontalMode)A2》
SD-MRC = sqrt(sum((DistRoadCenter)八2)/length(NonFixations))
在如上所述的同樣時間窗口內(nèi)將車輛外面百分比(POV)計算為 落入車輛外面的注視數(shù)據(jù)點和落入所述后視鏡或側(cè)視鏡的注視數(shù)據(jù)點
的百分比。車輛內(nèi)部被定義為以度或弧度的幾何形狀區(qū)。
關于本發(fā)明收集舉例的數(shù)據(jù)組。驗證研究在模擬環(huán)境進行，利用 7.5m x 2.2m的、在48Hz下具有111度視角和具有2456 x 750分辨率 的"動力墻"屏幕。14個對象參加了該項研究并且在車內(nèi)的工作不同， 例如用移動電話，收音機換臺等。根據(jù)ISO 15007-2方法(ISO 1999) 收集數(shù)據(jù)并且以視覺轉(zhuǎn)錄形式得到。在稱作GIB-T警戒研究中，在上 述環(huán)境中進行同樣的模擬，并且有12個人在輕交通量的四車道上駕駛。 每個人參加兩個場合， 一個人在正常條件下駕駛30分鐘并且大約兩小 時又一刻鐘缺少睡眠；結(jié)果用視頻記錄儀記錄。這組是16個對象參加 的較大的路上試驗的一部分。每個人在30公里駕駛中完成不同的車內(nèi) 工作并且約15分鐘的正常公路駕駛。
示例性的跟蹤系統(tǒng)跟蹤頭部位置和角度，以及相對于固定座標系 統(tǒng)的凝視角。該系統(tǒng)用立體影像，也就是兩臺設置在儀表板組前對象 駕駛員頭部前面、但是在方向盤的后面的攝像機，用于跟蹤頭部運動 和凝視，如圖19所示。可選地，并且優(yōu)選地，可以用，如圖20所示的單獨一臺攝像機。與基于非影像的方案相比，使用這種技術(shù)的比較 研究與使用某種角膜反射(±1° )的系統(tǒng)相比，具有稍微差的凝視估 計(±3° )。其他類型的基于影像的系統(tǒng)取決于單影像并且工作得不 好。本發(fā)明的系統(tǒng)一個主要的優(yōu)點是同時輸出頭部矢量和眼睛矢量。所用的系統(tǒng)用樣板匹配算法以發(fā)現(xiàn)臉部特征，例如眉毛、嘴角和 眼角。每個樣板當作三維剛體臉部模型的一部分。當若干個特征在兩 幅畫面上看到時，頭部和眼睛的三維位置用該模型轉(zhuǎn)動和平移的最小 二乘方優(yōu)化法計算。這個問題的解決方法是向跟蹤好的點偏移，這相 對于閉合、噪聲和透視失真是健全的。此外，卡爾曼濾波器用來減少 噪聲并預計在下一次迭代中的頭部姿勢，這減少下一個畫面的計算時 間。眼睛凝視估計是基于頭部一眼睛位置。利用轉(zhuǎn)動的眼球中心和虹 膜中心的量度，凝視被計算為通過這兩點的射線。當兩個眼睛是可見 的時，凝視方向被計算為兩個矢量的平均值，另外利用可見的眼睛射 線。如果沒有眼睛可被檢測到，例如當對象的頭部轉(zhuǎn)動超過60度，或 當眼睛閉上時，則臉部的法線被用作凝視方向。眼睛閉合檢測算法被用于確定什么時候?qū)ο笳Ｑ邸Ｒ匝劢侵g的 距離按比例換算的上下眼瞼之間的距離，用作眼睛閉合的量度。為了 計算這些距離，該系統(tǒng)用邊緣檢測器并且然后近似拋物線，每個眼瞼 上一個，該拋物線通過兩個眼角。眼睛閉合量度和少數(shù)其他量度(眼 睛圖像區(qū)垂直光學流、區(qū)域短暫變化速率、具有眼睛鞏膜顏色的像素 的nr和眼睛樣板相關系數(shù))然后一起被加權(quán)并且閾值確定該對象何時 眨眼。該系統(tǒng)輸出許多信號，但是只有少數(shù)在本發(fā)明中進行示例性的描 述。這些包括(1)由于濾波器參數(shù)在所有的研究中都設置為零，凝 視信號"凝視-轉(zhuǎn)動-未處理"和"凝視-轉(zhuǎn)動-過濾的"在瞬間情況下是同樣的信號。該信號包括兩個方向，俯仰和偏轉(zhuǎn)，以弧度給出。(2)"凝 視-置信度"信號提供凝視估計算法的置信度的量度。(3)"頭部-位置-過濾的"和"頭部-轉(zhuǎn)動-過濾的"唯一地確定頭部的三維位置和轉(zhuǎn)動。 由于所有的濾波器參數(shù)在可得到的數(shù)據(jù)中都設置為零，這些與"頭部-位置-偏轉(zhuǎn)和頭部-轉(zhuǎn)動-偏轉(zhuǎn)"是同樣的。(4)"跟蹤"狀態(tài)指示該系統(tǒng)
是否在跟蹤或研究模式中。(5)"眨眼"指示該對象是否在眨眼。(6) "時間"是與每個估計相關的CPU時間。
似乎是在凝視信號中的信息內(nèi)容完全不是恒定的，而是時時在變 化。在記錄時，存在朝事物偶然的掃視，該事物不大可能地被聚焦在 這一點，例如對象駕駛員的膝蓋，車輛的內(nèi)頂棚等。這些掃視中的一 些可以被稱作引起凝視信號下降的未檢測的眼睛閉合。該系統(tǒng)也可以 對不同的照明水平都是敏感的。它能夠處理背景照明的變化，但是不 是變化很快的時候，例如，車輛從陰影道路帶移動出進入陽光照耀的 道路帶時。結(jié)果是高噪聲水平，有時幾乎不存在信息內(nèi)容。直接射入 攝像機鏡頭的日光由于鏡頭閃光使信號的噪聲更大。偶爾這還會導致 損失幾秒鐘跟蹤。
上述在眼睛閉合時的"下降"毫無疑問是由于眼睛閉合引起的， 其導致近似于故障(如在介紹中所述)。該下降在俯仰信號中非常明顯，
約30 — 40度，但也能夠在偏轉(zhuǎn)信號中被發(fā)覺。典型的眨眼持續(xù)300毫 秒的量級，然而，下降僅僅持續(xù)100毫秒。因此，該估計不消失直到 眼睛幾乎閉上。該下降很容易在預處理階段用中等濾波器去掉。在實 例性的實施例中，該系統(tǒng)僅僅去掉由眨眼信號表示的眨眼部分，并線 性地在上一個已知的采樣和第一個新采樣之間插入眨眼，如在圖21中 所示例的，在那兒眨眼已經(jīng)被插入。結(jié)果是相當多的一部分數(shù)據(jù)，經(jīng) 常是幾乎300毫秒有價值的數(shù)據(jù)，被去掉并用相當不自然的圖象替代， 也就是說，用直線代替。由于眨眼經(jīng)常在迅速掃視時發(fā)生，因此不能 進行適當?shù)臏y量。為了精確測量，重新構(gòu)造這些特征會是有利的。眨眼信號不總是與實際一致。當對象進行工作時這是很明顯的， 并且按照眨眼信號，決不眨眼，但是實際上知道眨眼確實己經(jīng)發(fā)生。 在示例性的系統(tǒng)中，對象移動他們的凝視越多，眨眼信號越不精確。凝視置信度信號可以用來克服上述大部分缺陷。但是，經(jīng)驗表明， 信號質(zhì)量和凝視置信度量度不總是相關的。不僅對于不同的對象，而 且對取自同一對象的不同采樣，都可以是明顯不同的。此外，在每個 眨眼，置信度量度下降為零。在未檢測的眨眼的情況下，不能確定事 故實際上是駕駛置信度到零的眨眼，還是人為現(xiàn)象。因此，置信度信 號不可能絕對可靠。系統(tǒng)的計算速率為"約60HZ"的事實，采樣間隔不是恒定的，而 是取決于每個畫面的計算時間。但是，在示例性的系統(tǒng)中，時間是以秒和毫秒得到的，計算延遲信號以毫秒計。這種延遲在150 —200毫秒的量級。最后，不同的對象具有不同的臉部特征使他們或多或少地適合于 基于系統(tǒng)的測量。具有良好對比度的臉部特征經(jīng)常與良好的數(shù)據(jù)質(zhì)量 相關，中心在攝像機畫面的正確的頭部位置也是如此。改變檢測算法的設計總是在檢測真實性變化和避免假警告之間進 行折衷。變化的噪聲和信號性質(zhì)使凝視區(qū)更大。由于信號質(zhì)量變化， 設想使用自適應濾波器來克服這一問題。 一般來說，當提出自適應濾波器時，濾波器系數(shù)適合于用某些類型估計(例如最小均方(LMS)) 處理的信號。但是，數(shù)據(jù)信號被證明具有一些特征，例如改變的信息 內(nèi)容和奇怪的人為現(xiàn)象，這使它們不太適合于這種類型的適應。取而 代之，研發(fā)了利用兩種預處理的中等濾波器的混合算法。這在這一節(jié) 中被描述用于脫機和實時算法。但是首先簡要看一下通常用于眼睛運 動分段的一些不同算法。Salvucii和Gildberg的工作在"眼睛跟蹤協(xié)議中的識別注視和迅速 掃視"中已經(jīng)被定義，其中，已經(jīng)搜集了若干不同的技術(shù)用于識別注 視和迅速掃視?；谒俣鹊?速度閾值識別法(VT-I) HMM識別法(HMM-I) 基于分散的 分散閾值識別法(DT-I) 最小跨度樹(MST)識別法(MST-I) 基于區(qū)域的，感興趣的區(qū)域識別法(AOI-I)這三種被認為是本發(fā)明的條件和目的感興趣的，VT-I、 HMM-I和 DT-I也同樣。AOI-I和MST-I的主要問題是它們不像其他的那么早應 用于ISO/SAE標準。由于在VT-I法中已經(jīng)做了核實工作，第一種方法 是用DT-I法。DT-I算法被認為相當精確和健全，但是這里所用的眼睛 跟蹤器的不精確性和噪聲使它不太合適。由于噪聲和尖峰值，迅速掃 視被識別，而由于信號性質(zhì)，注視的開始/結(jié)束是不精確的，例如在注 視之前的偶然飄移或多或少成為定常的。另一個問題是平穩(wěn)追蹤，當 平穩(wěn)追蹤被當作一個注視時它使該算法失敗。因此分散法不能單獨使 用。另一方面，HMM-I，使利用概率分析確定最可能的識別。在HMM-I 中的HMM模式是一個兩種狀態(tài)的模式。第一種狀態(tài)表示較高的速度 迅速掃視點，第二種狀態(tài)表示較低的速度注視點。已知其轉(zhuǎn)換概率， 則該HMM-I借助于最大概率確定每個協(xié)議點的最可能的識別。如果給 出正確的參數(shù)，該算法則被認為是精確和健全的。這些是用重估計過 程估計的，HMMs的主要復雜之處在于重估計過程。這種估計的實現(xiàn) 是既復雜又冗長。VT-I算法沒有上述提到的問題。但是速度閾值在檢拾噪聲和注視 在開始和結(jié)束的識別精確性之間折衷。為了使這一問題最小化，釆用 雙閾值算法(雙VT-I)。高閾值確保合適的迅速掃視識別。如果檢測到 迅速掃視，低閾值用于計算開始和結(jié)束。VT-I算法的主要缺點是不健全。但是這在雙VT-I中被極大地改進。前面描述的識別方法無論如何沒有一個是十全十美的，它們都有 不足之處。因此選擇兩種算法和用于眼睛運動的附加規(guī)則的結(jié)合用于 這種工作，即雙VT-I和DT-I。這種結(jié)合工作作為在這種意義上的自適 應的算法，即判定自動偏向DT-I和基于規(guī)則的部分，同時當噪聲增加 時保持雙VT-I性質(zhì)。這結(jié)合雙VT-I速度閾值協(xié)議的精確性和DT-I分 散協(xié)議的健全性。 一種看著它的方法當作算法控制的規(guī)則，意味著它 們將"判斷"偏向在現(xiàn)時工作最精確的算法部分。該算法合作示于圖4。關于預處理，未處理的數(shù)據(jù)需要在分段之前進行預處理。它或多 或少是噪聲并包含眨眼和非跟蹤部分。許多研究者指出，中等濾波器和FIR-混合-中等(FHM)濾波器用 于眼睛運動是適當?shù)?。具體特征是保持清晰邊緣同時噪聲和遠離本體 的事物減弱的中等濾波器適合于迅速掃視信號。 一般的說，F(xiàn)HM或加 權(quán)的FHM濾波器被認為工作得最好。但是15采樣滑動窗口中等濾波 器足以減少噪聲。無論什么時候該對象眨眼，作為正邊效應，也抑制 所產(chǎn)生的"眨眼下降"，足以通過未檢測的分段，如圖22所示。完全不同的問題是如前所述的眨眼插入，其中凝視信號被線性插 入所替代。如果在注視時發(fā)生這個，它通常不是問題。但是人在(眼 睛)迅速掃視期間經(jīng)常發(fā)生眨眼，該迅速掃視只持續(xù)約100毫秒而200 一300毫秒用直線替代。為了解決這個問題，重新構(gòu)造是必要的。本發(fā)明采用提供適當數(shù)量掃視的簡單的、健全的方法，而基于時間測量精 確性較差。出現(xiàn)在信號中具有相同幅度的噪聲被加到具有少于5度的 分散的所有眨眼，其他所有的眨眼被標記為迅速掃視。5度的閾值是基 于所有得到的數(shù)據(jù)而設置的，而沒有檢測任何假注視。所幸的是對象 在工作時由于多個掃視往往眨眼較少。如前所述，選擇的識別算法是在速度和分散協(xié)議以及由眼睛的物 理性質(zhì)和眼睛跟蹤設備擬定的規(guī)則之間的混合。在脫機方案中，處理 順序地運行，首先使用雙重閾值的速度協(xié)議被采用，然后采用那個具 有規(guī)則的分散協(xié)議。這示于圖1。當信號的噪聲或一些其他性質(zhì)妨礙注 視的檢測時(應當按照眼睛規(guī)則)，用注視恢復算法。這被表示為一個從DT-I和基于規(guī)則的方塊向雙VT-I方塊的箭頭。還有，該自動分組算法已經(jīng)能夠被包含在混合方框中。它管理掃視檢測。將不再描述每種算法部分。導數(shù)(速度)的估計利用兩點中心差計算應用于每個凝視成分然后與平方和的根(平方之和開方) 一起加 權(quán)以形成二維速度。當微分該信號時噪聲總是問題。處理這個問題的 一種方式是低通過濾該導數(shù)。但是中心差可以依次描述為理想的微分器并且順序低通過濾。頻率響應用下述公式計算由于采樣速率設置成約60Hz，這個濾波器具有約14Hz的3dB截 止頻率。這種相當?shù)偷慕刂诡l率防止混淆，確保大于30Hz的頻率減弱 但是仍然足夠高，使迅速掃視的開始和結(jié)束不失真。雙重閾值和速度 估計示于圖23。一個找到兩點中心差的五次導數(shù)算法的試驗對比對于12比特數(shù) 據(jù)是最精確的技術(shù)。該方法的優(yōu)點是簡單、精確和快速。用于迅速掃視檢測的閾值主要通過將結(jié)果與前面進行半自動分析 的結(jié)果進行比較來設置。雖然求導(近似法是自動低通過濾的，但是它仍然是有噪聲的，噪聲水平為約70。 /s。但是由于數(shù)據(jù)收集系統(tǒng)具有至多士3。的誤差， 并且對于幅度大于約3 — 4度的迅速掃視運動的峰值速度高于100° /s， 不會出現(xiàn)問題。盡管如此，實際評估已經(jīng)表明偶然的誤差可以通過， 特別是當噪聲增加時。這些不精確的識別被檢測并且在分段處理的下 一步通過DT-I部分去掉。因此用速度估計的三個采樣的被精度的折衷 證明為可以忽略。在第二步，前面所述的物理準則和基于分散的算法的某些部分確 定是否被檢測的迅速掃視和注視是有效的(規(guī)則應用)。示例性的迅速 掃視和注視的三維表示示于圖24。當噪聲水平高時，求導近似成為比 較敏感并且混淆的人為現(xiàn)象在注視中偶爾被檢測到。它們的去掉有用 于防止誤判的少量基本規(guī)則1)如果新的注視分散小于閾值，迅速掃 視能夠被變成注視的一部分；2)如果注視的變化小于閾值，迅速掃視 能夠被變成注視的一部分。如果這些準則被實現(xiàn)，用具有一些附加噪聲的線性插入來結(jié)合兩 個注視。引進噪聲是為了避免產(chǎn)生信號非物理的那部分。原始信號經(jīng) 常包含某種類型的尖峰值以及插入。同樣，如果它們是非物理的，注視被去掉并且簡單標記為迅速掃 視，這意味著持續(xù)時間少于約150毫秒。這發(fā)生在信號的信息內(nèi)容少 的時候。在脫機方案中(當長延遲是可接受的時)，已經(jīng)研發(fā)出如圖25所 示的注視恢復算法，有時候用來補償在凝視信號中的低信息內(nèi)容。當 算法本身尚未穩(wěn)定時，這可能發(fā)生在注視的開始。這發(fā)生在假定迅速掃視不可能持續(xù)200毫秒以上的情況下并且如果情況就是這樣，最大可能是兩個迅速掃視和在其之間未檢測的注視。據(jù)此，該算法定位可 能包含未檢測的注視的迅速掃視，然后用滑動的中等濾波器過濾它們，該濾波器比在預處理中用的濾波器長一些(20個采樣)。這有時足以將 信號噪聲抑制到能夠檢測新的注視。這可能似乎是直接的、危險的方 法，或多或少強制檢測。但是，這僅僅是分段公式的自適應性質(zhì)，并 且已經(jīng)被證明為關于有效部分與實際非常相關。掃視分類算法分兩步進行。首先，所有組群根據(jù)它們總的停留時 間自動定位。在第二步，這些組群根據(jù)同樣的停留數(shù)據(jù)被自身分組， 并且形成世界模型事物。世界模型是不同的預定義觀察區(qū)的簡單描述， 例如，右后視鏡或道路筆直朝前。所有的模型被定義在當他或她看著 筆直朝前的道路時垂直于駕駛員的平面內(nèi)。在第一步，組群定位的粗略逼近用二維停留時間直方圖進行，也 就是說，根據(jù)每個注視的持續(xù)時間和平均位置在不同觀察區(qū)的總的注 視時間，如圖26和27所示。這種平均位置的運用已經(jīng)證明是減少噪 聲問題的一種簡單方法。直方圖接收器大小是3乘3度，主要依據(jù)檢 査錯誤。這形成一個很好的平滑的直方圖，其中每個尖峰表示組群的 近似位置。由于凝視數(shù)據(jù)以弧度給出，實際組群(cluster)平面不是一 個平面，而是圓柱的內(nèi)側(cè)。因此凝視角度不影響組群大小。 一旦組群 的近似位置被確定，每個平均的注視點由Euclidian法被賦予最接近的 組群點。然后，所有的組群被更新到與各自組群相關點的平均位置。該算法還產(chǎn)生分類記錄，其中每個分類的事件存儲在具有其位置、 開始、結(jié)束、持續(xù)時間、相關組群和數(shù)字編碼的類型的矩陣中，所述類型是迅速掃視或注視。該記錄矩陣是簡單的數(shù)據(jù)壓縮，后面用作統(tǒng) 計功能計算的基礎。在第二步，所有的組群被映射在世界模型上。不同的幾何區(qū)域， 例如盒子、圓或同樣形狀或其他不同形狀的組合，定義諸如鏡子、中 心堆、儀表板等的事物。若干組群通常在屬于同一掃視的同一區(qū)域內(nèi)。 這些現(xiàn)在被結(jié)合成一個組群并且重新計算它的平均位置。世界模型事 物的數(shù)目隨著工而變化。三種事物的基本模型已經(jīng)被選定用于這種工 作，基于停留時間直方圖的算法使事物"浮動"進平面內(nèi)。然后它計 算該事物中心和所有組群的位置之間距離的標準偏差。落入事物95% 置信度值內(nèi)的組群被當作它的一部分，因此事物的尺寸被調(diào)節(jié)為包圍 該組群。世界模型事物的數(shù)目經(jīng)由一個參數(shù)很容易控制。這是可能需要檢査并且有時需要來自試驗者的修正的一步。這是 因為關于什么是什么不是事物的判斷由于在未處理信號中的噪聲和非 跟蹤而變得非常之難，合格的估計必須由試驗者作出。消除需要人來 評估的一種方法是收集數(shù)據(jù)時避開陽光燦爛的白天。陽光直射入攝像 機是代表幾乎所有的注視錯位的一個原因。除了掃視分類之外，世界模型方法在其他測量方面也可以是非常 有用的，例如，在道路上和不在道路上的比例和大比例視頻掃描圖形。 當凝視信號是有噪聲的或不可靠時(由于日光)它也是很有用的，并 且注視在更大面積上散布，形成比實際多的組群。在處理中，記錄矩 陣不斷更新。感興趣的樣板區(qū)域，有兩個主要問題l)對所有每個對象都需要 校準并運行；2)由于傳感器系統(tǒng)的誤差，事物經(jīng)常需要被定義為比它 實際大。很難在檢查數(shù)據(jù)之前確定世界事物需要為多大。如果事物太 大，總是有這種可能，即遠離本體的事物被包括或者這些事物不得不 相互重疊。從這點看，當分析數(shù)據(jù)時定義世界模型并使它適于當前環(huán)境是較 為容易的。最后，用記錄矩陣產(chǎn)生統(tǒng)計量度。所述量度被定義為1)停留時 間；2)掃視持續(xù)時間；3)掃視頻率；4)總的掃視時間；5)掃視概 率；6)連接值概率；7)離開前面道路景觀的時間；8)總的工作時間； 和9)轉(zhuǎn)換時間。一旦完成掃視分類，這些量度的計算是直截了當?shù)?，因此所說計 算不被包括。一個示例性的實時執(zhí)行非常像脫機算法。不同之處在于只有"前 面道路景觀"和"其他區(qū)域"被定義為世界模型事物。對于每個任務， 輸出是在道路上和離開道路的總的掃視次數(shù)和總的掃視時間。任務的 開始和結(jié)束由注釋或時間間隙表示在記錄文件中(在記錄時由人工進 行)。在進行任何分類之前，使前面道路景觀世界事物定位。這是使用 初始化階段、校準特定對象的建立并運行來完成。前面道路景觀區(qū)通 過凝視密度函數(shù)而定位。駕駛員的大多數(shù)注意力對著這個區(qū)域并停留時間密度函數(shù)在其中心總是有明顯的峰值，如圖27所示。注視在這個區(qū)域的分布近似于高斯分布。因此用停留時間直方圖的最高點作為平 均注視位置值能夠計算標準偏差。技術(shù)上，計算的不是標準偏差，而是模態(tài)偏差。然后，前面道路景觀被看作95%置信度值。該過程對俯 仰和偏轉(zhuǎn)分別進行，因此形成表示前面道路景觀的橢圓形區(qū)域。在初始化過程中，研究區(qū)域被限制在可能是前面道路景觀的地方， 通常是具有弧度為10°并且中心在(0， 0)的圓，并且只有落入這個區(qū) 域的注視用來計算。盡管如此，95%置信度值邊界不得不被向下并向右偏移約2度，以便使它與一些對象工作；當對象的凝視跟隨道路彎曲時 特征出現(xiàn)。對于這些偏差的簡單辦法是示例性的較長的初始化時期或用 允許它跟隨曲線的時間窗口進行另外的計算。如果可得到橫擺速率，前 面道路景觀的中心可能適于這種信號并解決該問題，但是這不是目前在 車輛中的共識。初始化階段可以看圖29。該校準過程在產(chǎn)生有效值之前， 用大約5分鐘正常駕駛被調(diào)整到以最佳狀態(tài)工作。當駕駛員進行工作時產(chǎn)生相似的問題。眼睛似乎不回到前面道路 區(qū)域中心，而是有點在輔助工作(駕駛時主要工作)方向。頭部偏移 是這種行為的答案，意味著它不垂直于前面道路景觀，因此產(chǎn)生凝視 估計的偏移。對象離開前面道路景觀看得越多，凝視估計的精度越低。初始化階段一結(jié)束，雙VT-I、 DT-I和規(guī)則起作用。雙VT-I首先 識別迅速掃視-注視結(jié)合。即最短形式的掃視，然后與其掃視時間一起 發(fā)送到DT-I和規(guī)則。如果它們屬于同一區(qū)域，微小掃視，例如在一個 區(qū)域內(nèi)的一系列注視被連接。也就是說，形成根據(jù)ISO/SAE標準的掃 視。掃視時間被總計并且發(fā)送到與在前面道路上/不在前面道路上的信 號同步的計數(shù)器，該信號是如圖28所述的分組算法的輸出。該計數(shù)器 記錄屬于同一工作的所有的掃視和掃視時間，然后對于每個新工作， 計數(shù)器被重置。但是，在進行重置之前，數(shù)據(jù)被送出(處理)以便記 錄。在這種情況下，時間間隙被用來指示工作的開始和結(jié)束。利用視頻轉(zhuǎn)錄，該算法已經(jīng)對來自VDM的數(shù)據(jù)有效一一驗證研 究。該視頻轉(zhuǎn)錄按照ISO15007-2和SAE J-2396方法進行。使用7個對 象，4個量度，其中比較l)工作長度；2)掃視頻率；3)平均掃視持 續(xù)時間；和4)總的掃視時間。驗證一個工作接一個工作地被完成，每個掃視視覺上被確認以確 保正確的算法函數(shù)。少數(shù)的注視用恢復算法自動恢復，該恢復算法被 證明能很好地工作，并且實際上沒有誤算。皮爾遜積矩(Pearson product-movement)揭示對所有重要量度的 分析類型之間高相關性工作長度『=0.999，掃視頻率r: 0.998，平均 掃視持續(xù)時間r = 0.816，和總的掃視持續(xù)時間r二 0.995。這是將要與"自 動駕駛員視覺行為測量"的結(jié)果進行比較，其中相關性分別是r =0.991， r =0.997， r =0.732，和r =0.995。圖30 — 33繪出每個工作的平均和標 準偏差。實時算法已經(jīng)對于來自VDM——驗證研究的六個視頻轉(zhuǎn)錄的對 象已經(jīng)被有效。用于脫機驗證的對象之一由于缺少基線駕駛(非校準 數(shù)據(jù))必須離開。其中被比較的三個量度1)掃視數(shù)目；2)總的掃視時間；3)平 均掃視時間。每個對象的整體駕駛是通過算法順序運行的。雖然只要求5分鐘， 但是在安全側(cè)每個運行20分鐘正常公路(基線)駕駛，以校準該系統(tǒng)。 皮爾遜積矩揭示對兩個量度的分析類型之間的高度相關性掃視數(shù)目r =0.925，和總的掃視時間^0.964。但是，平均掃視時間不十分相關，r =0.301。圖34 — 36繪出每個工作的平均和標準偏差。來自驗證的結(jié)果證明該算法是非?？煽康模词巩敂?shù)據(jù)質(zhì)量不是 在其最佳水平；例如該算法對變化噪聲水平和信號精確性是健全的。 還有，用眼睛運動規(guī)則，該算法能夠重新得到在信號中幾乎被消失的 注視。除了平均掃視持續(xù)時間之外，對所有量度在0.99的區(qū)域中(脫機 方案)，分析方法之間的相關性是很高的，而平均掃視持續(xù)時間也仍然 很相關(r = 0.82)。但是基于兩個其他的量度相關性低。預處理也證明很有效。15個采樣中等濾波器保存迅速掃視的開始 /結(jié)束，同時非常有效地抑制了噪聲和眨眼。雙VT-I、和DT-I和規(guī)則的組合證明了工作超過預計的情況。雙 VT-I的精確性和DT-I的可靠性與眼睛運動物理規(guī)則的共同協(xié)作形成的 算法對瞬時傳感器置信度下降和高噪聲水平是健全的。已經(jīng)表明，有健全和可靠的實時掃視檢測是可能的。模擬揭示了 兩個測量(掃視數(shù)目和總的掃視時間)的高相關性。但是，平均掃視 時間的相關性是低的(r = 0.301)。記住，實時算法不能區(qū)別朝著反射 鏡的掃視和朝著收音機的掃視，所有的量度都可能被認為是相當?shù)偷摹?使實時算法與脫機方案一樣精確是可能的。這將通過識別最通常的看 車內(nèi)的事物來實現(xiàn)，例如，內(nèi)鏡、側(cè)鏡、儀表板組和中心堆。這些事 物在車輛內(nèi)很好地分布開，因此不會相互混淆。此外，在定義為最可能的區(qū)域，對那些事物之一只要掃視一或兩次，以對這些特定的事物 開始一個起始階段。最通?？吹氖挛锸亲羁赡馨l(fā)生錯誤的事物和最容 易檢測的事物。由于沒有其他數(shù)據(jù)組被視覺轉(zhuǎn)錄或以任何其他方式分析，它只用 來測試不同的算法部分，例如，實時初始化。但是這個工作已經(jīng)打開 了這些數(shù)據(jù)分析的大門。已經(jīng)研發(fā)出按照ISO 15007-2和SAE J-2396標準的定義和量度工 作的健全的混合算法。該方法比視頻轉(zhuǎn)錄快得多，與用該算法只要幾 分鐘相比， 一個小時的數(shù)據(jù)視頻轉(zhuǎn)錄要花約一天的時間，而且該算法 還自動適應當前噪聲水平。在本發(fā)明的研發(fā)期間，已經(jīng)看到下述成績l)預處理中等濾波器長度優(yōu)化為對于以60Hz采樣的數(shù)據(jù)是15個采樣；2)具有20個采樣 的中等濾波器用于有噪聲的信號部分，其中按照視覺規(guī)則，應當有注視。這使信號平穩(wěn)足以檢測注視；3)兩個注視/迅速掃視檢測算法的健 全混合，其適于當前噪聲水平，并且已經(jīng)研發(fā)并調(diào)整出用于60Hz數(shù)據(jù) 的判斷算法；4)眼睛運動的物理規(guī)則實現(xiàn)為智能判斷并控制算法；5) 研發(fā)出需要最小干預的自動和健全的分組方法，用于工作分析；6)已 經(jīng)研發(fā)出算法的實時方案并使其有效；7)該算法的實時方案用新穎的 構(gòu)架，其將掃視分段為"筆直的前面道路"或"其他"種類；8)已 經(jīng)實施在ISO/SAE中的所有量度。這個課題打開了幾個感興趣的車內(nèi)產(chǎn)品應用的大門，其能夠利用 要在真實路上環(huán)境被測試的眼睛運動數(shù)據(jù)。例如，工作負荷估計、注 意力估計、困倦檢測、自適應界面、自適應警告等。人類工程學評估、 HMI研究、認知工作負荷、精神分散、困倦等的研究都是這里定義的 本發(fā)明潛在的感興趣的應用。因此，打開了一條進入駕駛員精神的新道路。在現(xiàn)在的環(huán)境中， 仍然有少量人工步驟來進行加載和存儲數(shù)據(jù)、視覺檢査分段和偶爾調(diào) 節(jié)世界模型。然而，可以認為，并且本領域的技術(shù)人員也能夠理解， 按照本發(fā)明可是使這些手工工作自動化并執(zhí)行這些工作。特別是在陽 光直接射進攝像機的情況下，將使注視散布在一個大區(qū)域上，有時甚 至使組件"混合"在一起。因此分析工具變得更健全和更精確，這些 步驟中的一些將不再是必要的并且也可能進行批處理。本發(fā)明設想了一種實時算法，該實時算法健全地、智能地工作并 為車輛(和研究者)提供盡可能多的來自駕駛員眼睛的有用的信息。 該實時算法將能夠健全地、智能地將若干事物分類。世界模型事物對 真實世界的實時適應將記錄事件和數(shù)據(jù)。 一種有趣的方法是將目標區(qū) 實現(xiàn)為HMM狀態(tài)。當使得目標區(qū)域邊界更浮動時，引入這些統(tǒng)計方 法可以提高目標分類。 一種有趣的想法是當在外部或遠離其他事物的 距離處有注視被記錄時，使世界模型區(qū)意想不到地突然出現(xiàn)。世界模 型可以用事物經(jīng)歷來校準世界模型并進行智能判斷，例如，事物的完全工作驅(qū)動的識別。關于檢測算法，可以利用其他傳感器信息。在現(xiàn)代汽車中，當跟 蹤轉(zhuǎn)向角度、轉(zhuǎn)動指示器起動、車輛速度以及某個按鈕是否被按下失 靈時，CAN總線充滿可以用來估計凝視方向的傳感器信號。這也提供 關于交通環(huán)境的信息，從而優(yōu)化了用于特定交通環(huán)境的分段參數(shù)，例 如用于鄉(xiāng)下、郊區(qū)和城市。識別大量駕駛圖形的相當成功的方法也已經(jīng)完成。能夠測試其他WHM濾波器以發(fā)現(xiàn)是否存在更好的方法來減少遠離道路的注視開始時的噪聲，其中利用恢復算法。濾波器群似乎很龐大。支持算法的一種方式可以是這樣的事實，即對象的頭部經(jīng)常沿著 與眼睛相同的方向移動，至少用于橫向凝視。這種方法的缺點來自對 象個體差別。 一些對象實際上完全不移動他們的頭部，而另一些則經(jīng) 常移動他們的頭部。還有，當凝視有噪聲時，這應當是幫助分段的合 適方法。在實時算法中，下一組六個采樣的預計將增加ioo毫秒的速度。業(yè)已表明，利用五個點二次預測器以很小的誤差，可以至少在少量點 預計迅速掃視信號。速度在實時算法中是最重要的。按照上面所述，很清楚，精細地調(diào)整這些算法在將來還會繼續(xù)。一種已經(jīng)在進行的研制是GUI算法，稱作"視覺要求測量工具"或簡 稱"VDM工具"。這項工作的目的是使分析工具對希望分析眼睛運動 的任何人都容易使用。本發(fā)明分析方法的許多方面，包括方法和執(zhí)行這些方法的裝置均 已公開。分析的重要特征至少包括關于駕駛員眼睛運動的部分基礎， 和在實時基礎上進行的評估。
權(quán)利要求
1.一種研發(fā)在評估駕駛員活動和/或駕駛員狀況時用于比較的基準點的方法，所述方法包括根據(jù)被檢測的駕駛員特征，收集凝視方向數(shù)據(jù)流；根據(jù)從所述收集的凝視方向數(shù)據(jù)中評估的高密度圖形，確定表示典型的眼睛向前駕駛的區(qū)域；利用所述收集的凝視方向數(shù)據(jù)，與所述確定的典型的眼睛向前駕駛的代表性區(qū)域進行比較，以便根據(jù)所述比較識別并評估下述駕駛員惡化特征中的至少一個的嚴重性(1)駕駛員認知分散，(2)駕駛員視覺分散，和(3)駕駛員高工作負荷。
2. 如權(quán)利要求1的方法，還包括，利用(1)駕駛員眼睛定向和 (2)駕駛員頭部定向的至少其中之一的量度以便構(gòu)成所述凝視方向數(shù)據(jù)。
3. 如權(quán)利要求1的方法，還包括在駕駛員保持眼睛向前的駕駛的規(guī)定時間段內(nèi)，根據(jù)相關的時間量，計算百分比道路中心(PRC)駕駛員特征。
4. 如權(quán)利要求3的方法，還包括根據(jù)PRC計算，表示出高駕駛員時間共享活動，評估駕駛員高工作負荷的狀況。
5. 如權(quán)利要求3的方法，還包括根據(jù)PRC計算，足夠高地表示出駕駛員的全神貫注，該駕駛員的全神貫注的特征是在眼睛向前的定向中凝視前方而視線很少離開，評 估駕駛員認知分散的狀況。
6. 如權(quán)利要求3的方法，還包括根據(jù)PRC計算，足夠低地表示出駕駛員注意力分散，該駕駛員注 意力分散的特征是在規(guī)定的時期內(nèi)的太大百分比的時間視線離開眼睛 向前的定向看，評估駕駛員視覺分散的狀況。
7. 如權(quán)利要求1的方法，還包括根據(jù)所檢測的駕駛狀況，調(diào)整表示典型的眼睛向前駕駛的所述確 定區(qū)域的面積。
8. 如權(quán)利要求7的方法，其中所述檢測的駕駛狀態(tài)是(1)車輛速度和(2)駕駛環(huán)境的至少一個。
9. 如權(quán)利要求1的方法，還包括記錄被識別的認知分散、視覺分散和駕駛員高工作負荷的事故。
10. 如權(quán)利要求9的方法，還包括 存儲所述記錄的被識別事故用于將來的分析。
11. 如權(quán)利要求9的方法，還包括將所述記錄的被識別事故傳輸給處理器用于將來的分析。
12. 如權(quán)利要求ll的方法，還包括 在實時基礎上進行所述傳輸和所述分析。
13. 如權(quán)利要求3的方法，還包括當基于PRC的駕駛員惡化的嚴重程度量化超過規(guī)定的嚴重程度閾 值時，給駕駛員提供反饋。
14. 如權(quán)利要求3的方法，還包括當基于PRC的駕駛員惡化的嚴重程度量化超過規(guī)定的嚴重程度閾值時，調(diào)整由該車輛執(zhí)行的規(guī)定的功能性。
15. —種研發(fā)在評估駕駛員活動和/或駕駛員狀況時用于比較的基 準點的方法，所述方法包括根據(jù)被檢測的駕駛員特征，收集凝視方向數(shù)據(jù)流，并根據(jù)從其中 發(fā)展出的密度圖形，定義駕駛員感興趣的至少兩個區(qū)域；利用規(guī)定時間段的主要移動時間窗口來分析所述凝視方向數(shù)據(jù)流；在表示出發(fā)生高駕駛員時間共享活動的所述主要移動時間窗口內(nèi) 檢測所述至少兩個目標區(qū)域之間的多個駕駛員掃視。
16. 如權(quán)利要求15的方法，還包括根據(jù)超過閾值的駕駛員時間共享活動發(fā)生的頻率，識別駕駛員高 工作負荷的時期。
17. 如權(quán)利要求15的方法，還包括當檢測到發(fā)生駕駛員時間共享活動終止時更新所述主要移動時間 窗口。
18. —種眼睛運動數(shù)據(jù)的自動分析的方法，所述方法包括 通過將分類規(guī)則應用于數(shù)據(jù)，用基于計算機的處理器處理描述對象所觀察的眼睛運動的數(shù)據(jù)，因此至少識別由該對象經(jīng)歷的視覺注視； 分析與該所識別的注視相關的凝視方向信息，從而產(chǎn)生在數(shù)據(jù)收 集期間表示該對象視覺注視的方向的數(shù)據(jù)；至少部分地根據(jù)注視凝視方向，將產(chǎn)生的數(shù)據(jù)分成定界的數(shù)據(jù)組， 每個定界數(shù)據(jù)組表示一個在數(shù)據(jù)收集期間存在的對象感興趣的區(qū)域/事 物，并且根據(jù)從所述凝視方向信息中評估的高密度圖形，至少一個所 述定界數(shù)據(jù)組表示典型的眼睛向前駕駛的區(qū)域，并且從產(chǎn)生的表示在規(guī)定時期內(nèi)保持眼睛向前駕駛的駕駛員的相關量 化的數(shù)據(jù)中計算百分比道路中心(PRC)駕駛員特征。
19. 如權(quán)利要求18的方法，還包括利用所述產(chǎn)生的數(shù)據(jù)，與定義典型的眼睛向前駕駛的代表性區(qū)域 的所述定界數(shù)據(jù)組進行比較，以便識別并評估下述駕駛員惡化特征的 至少之一的嚴重程度(1)駕駛員認知分散，(2)駕駛員視覺分散， 和(3)高駕駛員工作負荷。
20. 如權(quán)利要求18的方法，還包括通過將至少一個掃視定義規(guī)則應用于該數(shù)據(jù)來識別掃視，每個所 述被識別的掃視包含至少一個被識別的注視。
21. 如權(quán)利要求20的方法，還包括將所述至少一個掃視定義規(guī)則建立在至少一個選自下述一組的特 征上，該組特征包括掃視持續(xù)時間、掃視頻率、總的掃視時間和總 的工作時間。
22. 如權(quán)利要求20的方法，還包括至少部分地根據(jù)在相應的掃視期間的凝視方向，將所述被識別的 掃視分成定界的掃視組，每個所述分開的掃視組表示在數(shù)據(jù)收集期間 存在的對象感興趣的區(qū)域/事物。
23. 如權(quán)利要求22的方法，還包括與至少一個其他的掃視組相比較，評估一個掃視組的相對密度， 并根據(jù)該比較，識別表示的被比較的掃視組的對象感興趣的區(qū)域/事物。
24. 如權(quán)利要求22的方法，還包括評估多個掃視組中至少一個掃視組的相對密度，并根據(jù)將所述評 估的相對密度到與眼睛運動數(shù)據(jù)被收集的該類設置相關的已知的相對 密度的映射，識別表示的該被比較的掃視組的對象感興趣的區(qū)域/事物。
25. 如權(quán)利要求22的方法，還包括從描述在已知設置中被觀察的眼睛運動的數(shù)據(jù)中，評估至少兩個 掃視組的相對密度；并且識別該兩個比較掃視組中的每個的表示的對象感興趣的區(qū)域/事 物，并確定在已知的設置中所述表示的對象感興趣的區(qū)域/事物的位置， 從建立用于已知設置的特定參考框架。
26. 如權(quán)利要求25的方法，其中所述對象是車輛駕駛員，并且根 據(jù)至少一個掃視數(shù)據(jù)組的密度，推導眼睛向前的正常駕駛員的眼睛定 向。
27. 如權(quán)利要求18方法，其中所述被應用的分類規(guī)則包括至少定 義注視和轉(zhuǎn)換的準則。
28. 如權(quán)利要求18法，其中所述被應用的分類規(guī)則還包括定義迅 速掃視的準則。
29. 如權(quán)利要求18的方法，其中所述對象是車輛駕駛員，并且該 方法還包括利用多個分析協(xié)議，所述協(xié)議取決于與被處理的數(shù)據(jù)相關 的經(jīng)常發(fā)生的噪聲的特征。
30. 如權(quán)利要求29的方法，還包括將具有預定嚴格度的第一數(shù)據(jù)濾波器應用于輸入數(shù)據(jù)流，該輸入 數(shù)據(jù)流包括描述由車輛駕駛員的被觀察的眼睛運動的所述數(shù)據(jù)，利用 基于計算機的處理器并且從該處理器輸出對應于所述輸入數(shù)據(jù)流的第一被過濾的數(shù)據(jù)流；并且通過對所述輸出的第一被過濾的數(shù)據(jù)流應用第一認可規(guī)則，評估 所述輸出的第一被過濾的數(shù)據(jù)流，并且所述輸出的第一被過濾的數(shù)據(jù) 流的數(shù)據(jù)通過所述第一認可規(guī)則而被輸出并構(gòu)成被認可的第一數(shù)據(jù) 流。
31. 如權(quán)利要求30的方法，還包括將比所述第一數(shù)據(jù)濾波器更加嚴格的第二數(shù)據(jù)濾波器應用于輸入 數(shù)據(jù)流，利用所述基于計算機的處理器并且經(jīng)由來自輸入數(shù)據(jù)流的共 同的導出輸出對應于第一被過濾的數(shù)據(jù)流的第二被過濾的數(shù)據(jù)流；通過對所述輸出的第二被過濾的數(shù)據(jù)流應用第二認可規(guī)則，評估 所述輸出的第二被過濾的數(shù)據(jù)流的質(zhì)量，并且所述輸出的第二被過濾 的數(shù)據(jù)流的數(shù)據(jù)通過第二認可規(guī)則被輸出并構(gòu)成被認可的第二數(shù)據(jù) 流。
32. 如權(quán)利要求31的方法，還包括構(gòu)成的收集的被認可的數(shù)據(jù)流由整個被認可的第一數(shù)據(jù)流構(gòu)成， 并且所述收集的被認可的數(shù)據(jù)流由對應于所述輸出的第一被過濾數(shù)據(jù) 流中未被認可部分的所述被認可的第二數(shù)據(jù)流的部分進一步構(gòu)成。
33. 如權(quán)利要求31的方法，其中所述第一和第二認可規(guī)則是相同的。
34. 如權(quán)利要求31的方法，其中所述第一和第二認可規(guī)則是基于 同樣準則的。
35. 如權(quán)利要求29的方法，還包括選擇至少兩個分析協(xié)議以構(gòu)成來自下述組的所述多個(i)基于速度的雙閾值協(xié)議，相對該組的其他部分，它最適合含有低噪聲的眼 睛行為數(shù)據(jù)；(2)基于距離的分散間隔協(xié)議，相對該組的其他部分， 它最適合含有中等噪聲的眼睛和眼瞼行為數(shù)據(jù)；(3)基于眼睛特征的 定向規(guī)則協(xié)議，相對該組的其他部分，它最適合含有高噪聲的眼睛行 為數(shù)據(jù)。
36. 如權(quán)利要求35的方法，其中用于任何給定數(shù)據(jù)組的協(xié)議的所 述選擇，不依賴于在數(shù)據(jù)組中被檢測的噪聲水平而偏向于所述三個協(xié)議中的一個。
37. 如權(quán)利要求35的方法，其中所述定向規(guī)則的協(xié)議在辨識注視和迅速掃視時考慮下列標準中的一個或多個(1)注視持續(xù)時間必須 超過150毫秒；(2)跳動持續(xù)時間必須不超過200毫秒；并且迅速掃 視在兩個不同位置開始和結(jié)束。
38. 如權(quán)利要求29的方法，還包括根據(jù)在所述的多個分析協(xié)議中各自分析協(xié)議的相對利用，評估描 述眼睛運動的所述數(shù)據(jù)的質(zhì)量。
39. 如權(quán)利要求27的方法，還包括考慮在規(guī)定的時期內(nèi)、多個分析協(xié)議中基于時間的各自分析協(xié)議 的相對利用，評估描述眼睛運動的所述數(shù)據(jù)的質(zhì)量。
40. 如權(quán)利要求18的方法，還包括利用規(guī)定時期內(nèi)的數(shù)據(jù)流轉(zhuǎn)換的主要時間窗口，分析收集的駕駛 員眼睛凝視數(shù)據(jù)流，并檢測使數(shù)據(jù)流的一部分的真實性變差的人為現(xiàn)象；并且當受到所述人為現(xiàn)象時，采用第二移動時間窗口，同時傳輸所述 數(shù)據(jù)流并從所述采集的數(shù)據(jù)中產(chǎn)生高度過濾的數(shù)據(jù)。
41. 如權(quán)利要求18的方法，還包括利用規(guī)定時期內(nèi)的數(shù)據(jù)流轉(zhuǎn)換的主要時間窗口，分析收集的駕駛員眼睛凝視數(shù)據(jù)流；并且檢測在所述主要時間窗口內(nèi)表示在數(shù)據(jù)流傳輸過程中數(shù)據(jù)質(zhì)量下 降超過規(guī)定的質(zhì)量閾值的特征。
42. 如權(quán)利要求41的方法，還包括當所述數(shù)據(jù)質(zhì)量下降超過規(guī)定的質(zhì)量閾值時，采用第二移動時間窗口，同時傳輸所述數(shù)據(jù)流并從所述采集的數(shù)據(jù)中產(chǎn)生高度過濾的數(shù) 據(jù)。
43.如權(quán)利要求42的方法，還包括當檢測到所述數(shù)據(jù)質(zhì)量下降已經(jīng)進入規(guī)定的質(zhì)量閾值之內(nèi)時，返 回到所述主要時間移動窗口。
全文摘要
用于分析對象的眼睛和/或頭部定向特征的方法。駕駛員頭部位置和/或眼睛運動的檢測和量化相對于環(huán)境進行。進行數(shù)據(jù)測試，并從該數(shù)據(jù)推導出對象感興趣的已經(jīng)歷的區(qū)域/事物的定位。當車輛駕駛員是該對象時，駕駛員感興趣的區(qū)域/事物可以在該車輛內(nèi)部或車輛外部，并且可以由(1)諸如收音機控制器、速度表和其他儀表的“事物”，和(2)諸如“前面的道路”和改變車道時相鄰車道的間隙空間的區(qū)域或位置構(gòu)成。為了使跟蹤數(shù)據(jù)關于感興趣的車輛“標準化”，駕駛員頭部位置的量化對于參考的基準位置被標準化，因而根據(jù)關于(1)駕駛員的眼睛定向和(2)駕駛員的頭部位置中的任何一個或者全部兩個的檢測信息，能夠推導駕駛員已經(jīng)表示出興趣的位置。
文檔編號G06F3/01GK101317763SQ200810109139
公開日2008年12月10日 申請日期2003年10月15日 優(yōu)先權(quán)日2002年10月15日
發(fā)明者彼得·拉松, 特倫特·維克托 申請人:沃爾沃技術(shù)公司