專利名稱：困倦判定裝置及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及困倦判定裝置及程序，尤其涉及判定車輛駕駛員的困倦狀態(tài)的困倦判定裝置及程序。
背景技術(shù)：
以前，如下清醒度下降檢測(cè)裝置(falling arousal level detection devices) 為人們所知從檢測(cè)出的眨眼中，來(lái)判定出眨眼間間隔在規(guī)定時(shí)間以內(nèi)所發(fā)生的眨眼頻發(fā)的眨眼，以及眨眼間間隔在規(guī)定時(shí)間以上的伴隨長(zhǎng)時(shí)間閉眼的眨眼，根據(jù)利用眨眼頻發(fā)的眨眼和伴隨長(zhǎng)時(shí)間閉眼的眨眼的履歷信息，來(lái)判定被檢測(cè)者的清醒度下降(專利文獻(xiàn)1)。專利文獻(xiàn)1 日本特開(kāi)2008-73335號(hào)公報(bào)

發(fā)明內(nèi)容
發(fā)明要解決的問(wèn)題然而，在上述的專利文獻(xiàn)1所記載的技術(shù)中，存在如下問(wèn)題由于不區(qū)分通常的眨眼和頻發(fā)性眨眼來(lái)提取眨眼，沒(méi)有特殊化與頻發(fā)性眨眼相關(guān)的提取方法，所以不能檢測(cè)出頻發(fā)性眨眼時(shí)多見(jiàn)的從閉眼折回到半睜眼后又返回到閉眼這樣的眨眼現(xiàn)象，從而不能高精度地檢測(cè)頻發(fā)性眨眼。本發(fā)明是為解決上述問(wèn)題而提出的，其目的在于提供一種困倦判定裝置及程序， 該困倦判定裝置及程序能夠高精度地檢測(cè)頻發(fā)性眨眼，從而能夠高精度地判定困倦狀態(tài)。用于解決問(wèn)題的手段為了實(shí)現(xiàn)所述的目的，第一發(fā)明涉及的困倦判定裝置具有拍攝單元，其對(duì)判定對(duì)象人員的包括眼睛的區(qū)域進(jìn)行連續(xù)拍攝；開(kāi)度檢測(cè)單元，其基于所述拍攝單元連續(xù)拍攝得到的圖像，來(lái)對(duì)眼瞼開(kāi)度的時(shí)序數(shù)據(jù)進(jìn)行檢測(cè)；頻發(fā)性眨眼檢測(cè)單元，其基于由所述開(kāi)度檢測(cè)單元檢測(cè)到的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，從所述眼瞼開(kāi)度持續(xù)小于規(guī)定的閾值的范圍，提取極大值和極小值，并對(duì)利用在所提取的極大值和極小值之間設(shè)定的閾值來(lái)進(jìn)行檢測(cè)的眨眼間間隔處在規(guī)定時(shí)間以內(nèi)的頻發(fā)性眨眼進(jìn)行檢測(cè)；困倦狀態(tài)判定單元，其基于所述頻發(fā)性眨眼檢測(cè)單元的檢測(cè)結(jié)果，來(lái)判定所述判定對(duì)象人員的困倦狀態(tài)。第二發(fā)明的程序是使計(jì)算機(jī)發(fā)揮開(kāi)度檢測(cè)單元、頻發(fā)性眨眼檢測(cè)單元及困倦狀態(tài)判定單元的功能的程序，所述開(kāi)度檢測(cè)單元，基于拍攝單元拍攝得到的圖像，來(lái)對(duì)眼瞼開(kāi)度的時(shí)序數(shù)據(jù)進(jìn)行檢測(cè)，所述拍攝單元用于對(duì)判定對(duì)象人員的包括眼睛的區(qū)域進(jìn)行連續(xù)拍攝；所述頻發(fā)性眨眼檢測(cè)單元，基于由所述開(kāi)度檢測(cè)單元檢測(cè)到的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，從所述眼瞼開(kāi)度持續(xù)小于規(guī)定的閾值的范圍，提取極大值和極小值，并對(duì)利用在所提取的極大值和極小值之間設(shè)定的閾值進(jìn)行檢測(cè)的眨眼間間隔處在規(guī)定時(shí)間以內(nèi)的頻發(fā)性眨眼進(jìn)行檢測(cè)；所述困倦狀態(tài)判定單元，基于所述頻發(fā)性眨眼檢測(cè)單元的檢測(cè)結(jié)果，來(lái)判定所述判定對(duì)象人員的困倦狀態(tài)。根據(jù)第一發(fā)明及第二發(fā)明，利用拍攝單元對(duì)判定對(duì)象人員的包括眼睛的區(qū)域進(jìn)行連續(xù)拍攝，并利用開(kāi)度檢測(cè)單元基于拍攝單元拍攝得到的圖像，來(lái)檢測(cè)眼瞼開(kāi)度的時(shí)序數(shù)據(jù)。然后，頻發(fā)性眨眼檢測(cè)單元基于開(kāi)度檢測(cè)單元所檢測(cè)的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，從眼瞼開(kāi)度持續(xù)小于規(guī)定的閾值的范圍，提取極大值和極小值，并對(duì)利用在所提取的極大值和極小值之間設(shè)定的閾值來(lái)進(jìn)行檢測(cè)的眨眼間間隔處在規(guī)定時(shí)間以內(nèi)的頻發(fā)性眨眼進(jìn)行檢測(cè)。困倦狀態(tài)判定單元基于頻發(fā)性眨眼檢測(cè)單元的檢測(cè)結(jié)果，來(lái)判定所述判定對(duì)象人員的困倦狀態(tài)。這樣，從眼瞼開(kāi)度持續(xù)小于規(guī)定的閾值的范圍中，提取極大值和極小值，并利用在所提取的極大值和極小值之間設(shè)定的閾值來(lái)檢測(cè)頻發(fā)性眨眼，由此能夠高精度地檢測(cè)頻發(fā)性眨眼，從而能夠高精度地判定困倦狀態(tài)。上述的規(guī)定的閾值為與眼瞼開(kāi)度相關(guān)的標(biāo)準(zhǔn)的閉眼閾值。所述頻發(fā)性眨眼檢測(cè)單元從眼瞼開(kāi)度持續(xù)小于規(guī)定的閾值且在第二規(guī)定時(shí)間以上的范圍，提取極大值和極小值，并對(duì)利用在所提取的極大值和極小值之間設(shè)定的閾值來(lái)檢測(cè)的眨眼間間隔處在所述規(guī)定時(shí)間以內(nèi)的頻發(fā)性眨眼進(jìn)行檢測(cè)。所述頻發(fā)性眨眼檢測(cè)單元從眼瞼開(kāi)度持續(xù)小于規(guī)定的閾值的范圍，針對(duì)以最小單位時(shí)間決定的多個(gè)提取區(qū)間，分別提取極大值和極小值，并對(duì)利用在所提取的極大值和極小值之間設(shè)定的閾值來(lái)檢測(cè)的眨眼間間隔處在規(guī)定時(shí)間以內(nèi)的頻發(fā)性眨眼進(jìn)行檢測(cè)。第三發(fā)明的困倦判定裝置具有拍攝單元，其對(duì)判定對(duì)象人員的包括眼睛的區(qū)域進(jìn)行連續(xù)拍攝；開(kāi)度檢測(cè)單元，其基于所述拍攝單元連續(xù)拍攝得到的圖像，來(lái)對(duì)眼瞼開(kāi)度的時(shí)序數(shù)據(jù)進(jìn)行檢測(cè)；頻發(fā)性眨眼檢測(cè)單元，其基于由所述開(kāi)度檢測(cè)單元檢測(cè)到的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，從所述眼瞼開(kāi)度持續(xù)小于規(guī)定的閾值的范圍，提取極小值，并對(duì)所提取的極小值之間的間隔在規(guī)定時(shí)間以內(nèi)的頻發(fā)性眨眼進(jìn)行檢測(cè)；困倦狀態(tài)判定單元，其基于所述頻發(fā)性眨眼檢測(cè)單元的檢測(cè)結(jié)果，來(lái)判定所述判定對(duì)象人員的困倦狀態(tài)。第四發(fā)明的程序是使計(jì)算機(jī)發(fā)揮開(kāi)度檢測(cè)單元、頻發(fā)性眨眼檢測(cè)單元及困倦狀態(tài)判定單元的功能的程序，所述開(kāi)度檢測(cè)單元，基于拍攝單元拍攝得到的圖像，來(lái)對(duì)眼瞼開(kāi)度的時(shí)序數(shù)據(jù)進(jìn)行檢測(cè)，所述拍攝單元用于對(duì)判定對(duì)象人員的包括眼睛的區(qū)域進(jìn)行連續(xù)拍攝；所述頻發(fā)性眨眼檢測(cè)單元，基于由所述開(kāi)度檢測(cè)單元檢測(cè)到的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，從所述眼瞼開(kāi)度持續(xù)小于規(guī)定的閾值的范圍，提取極小值，并對(duì)所提取的極小值之間的間隔處在規(guī)定時(shí)間以內(nèi)的頻發(fā)性眨眼進(jìn)行檢測(cè)；所述困倦狀態(tài)判定單元，基于所述頻發(fā)性眨眼檢測(cè)單元的檢測(cè)結(jié)果，來(lái)判定所述判定對(duì)象人員的困倦狀態(tài)。根據(jù)第三發(fā)明及第四發(fā)明，利用拍攝單元對(duì)判定對(duì)象人員的包括眼睛的區(qū)域進(jìn)行連續(xù)拍攝，利用開(kāi)度檢測(cè)單元基于拍攝單元拍攝得到的圖像來(lái)檢測(cè)眼瞼開(kāi)度的時(shí)序數(shù)據(jù)。然后，利用頻發(fā)性眨眼檢測(cè)單元基于由開(kāi)度檢測(cè)單元所檢測(cè)到的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，從眼瞼開(kāi)度持續(xù)小于規(guī)定的閾值的范圍，提取極小值，并對(duì)所提取的極小值之間的間隔在規(guī)定時(shí)間以內(nèi)的頻發(fā)性眨眼進(jìn)行檢測(cè)。利用困倦狀態(tài)判定單元基于頻發(fā)性眨眼檢測(cè)單元的檢測(cè)結(jié)果來(lái)判定所述判定對(duì)象人員的困倦狀態(tài)。這樣，從眼瞼開(kāi)度小于規(guī)定的閾值的范圍中提取極小值，基于所提取的極小值之間的間隔來(lái)檢測(cè)頻發(fā)性眨眼，由此能夠高精度地檢測(cè)頻發(fā)性眨眼，從而能夠高精度地判定困倦狀態(tài)。
上述的困倦判定裝置還可以包括第二頻發(fā)性眨眼檢測(cè)單元，該第二頻發(fā)性眨眼檢測(cè)單元基于開(kāi)度檢測(cè)單元所檢測(cè)的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，利用規(guī)定的閾值來(lái)提取眨眼，并基于所提取的眨眼來(lái)檢測(cè)頻發(fā)性眨眼。困倦狀態(tài)判定單元能夠基于頻發(fā)性眨眼檢測(cè)單元的檢測(cè)結(jié)果和第二頻發(fā)性眨眼檢測(cè)單元的檢測(cè)結(jié)果，來(lái)判定所述判定對(duì)象人員的困倦狀態(tài)。所述的困倦判定裝置還可以包括眨眼特征量提取單元，該眨眼特征量提取單元基于由開(kāi)度檢測(cè)單元所檢測(cè)到的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，來(lái)提取與頻發(fā)性眨眼不同的眨眼特征量。困倦狀態(tài)判定單元能夠基于頻發(fā)性眨眼檢測(cè)單元的檢測(cè)結(jié)果和眨眼特征量提取單元所提取的所述眨眼特征量，來(lái)判定所述判定對(duì)象人員的困倦狀態(tài)。發(fā)明的效果如以上說(shuō)明那樣，根據(jù)本發(fā)明的困倦判定裝置及程序，能夠獲得以下效果能夠高精度地檢測(cè)頻發(fā)性眨眼，從而能夠高精度地判定困倦狀態(tài)。


圖1是表示本發(fā)明第一實(shí)施方式的困倦判定裝置的結(jié)構(gòu)的示意圖。圖2是表示睜閉眼狀態(tài)的狀態(tài)過(guò)渡和分?jǐn)?shù)之間的關(guān)系的表格。圖3是表示眼瞼開(kāi)度的時(shí)序數(shù)據(jù)中的極大值及極小值的圖表。圖4是表示本發(fā)明第一實(shí)施方式的困倦判定裝置的計(jì)算機(jī)中的閾值計(jì)算處理過(guò)程的內(nèi)容的流程圖。圖5是表示本發(fā)明第一實(shí)施方式的困倦判定裝置的計(jì)算機(jī)中的第一頻發(fā)性眨眼檢測(cè)處理過(guò)程的內(nèi)容的流程圖。圖6是表示本發(fā)明第一實(shí)施方式的困倦判定裝置的計(jì)算機(jī)中的睜閉眼狀態(tài)判定處理過(guò)程的內(nèi)容的流程圖。圖7是表示本發(fā)明第一實(shí)施方式的困倦判定裝置的計(jì)算機(jī)中的第二頻發(fā)性眨眼檢測(cè)處理過(guò)程的內(nèi)容的流程圖。圖8是表示本發(fā)明第一實(shí)施方式的困倦判定裝置的計(jì)算機(jī)中的閉眼率提取處理過(guò)程的內(nèi)容的流程圖。圖9是表示在成為閉眼狀態(tài)的區(qū)間上設(shè)定的提取區(qū)間的圖表。圖10是表示本發(fā)明第二實(shí)施方式的困倦判定裝置的計(jì)算機(jī)中的第二頻發(fā)性眨眼檢測(cè)處理過(guò)程的內(nèi)容的流程圖。圖11是表示本發(fā)明第三實(shí)施方式的困倦判定裝置的計(jì)算機(jī)中的第二頻發(fā)性眨眼檢測(cè)處理過(guò)程的內(nèi)容的流程圖。圖12是表示眼瞼開(kāi)度的時(shí)序數(shù)據(jù)中的包絡(luò)線的圖表。
具體實(shí)施例方式以下，參照附圖詳細(xì)地說(shuō)明本發(fā)明的實(shí)施方式。另外，以將本發(fā)明應(yīng)用于裝載于車輛上的困倦判定裝置中的情況為例進(jìn)行說(shuō)明。如圖1所示，第一實(shí)施方式的困倦判定裝置10具有拍攝裝置12，其例如設(shè)置于作為判定對(duì)象人員的駕駛員的斜前方，從斜下方連續(xù)地拍攝該駕駛員的臉部；計(jì)算機(jī)20， 其基于拍攝裝置12拍攝得到的臉部圖像來(lái)判定困倦狀態(tài)，并且將判定結(jié)果顯示在顯示裝置40上。計(jì)算機(jī)20具有CPU、RAM (隨機(jī)存取存儲(chǔ)器)及ROM (只讀存儲(chǔ)器)，該ROM中存儲(chǔ)有用于執(zhí)行后述的閾值計(jì)算處理過(guò)程、閉眼率提取處理過(guò)程、第一頻發(fā)性眨眼檢測(cè)處理過(guò)程以及第二頻發(fā)性眨眼檢測(cè)處理過(guò)程的程序。該計(jì)算機(jī)20的功能結(jié)構(gòu)如下所示。計(jì)算機(jī) 20具有眼睛區(qū)域提取部22，其從臉部圖像中提取表示駕駛員的眼睛的眼睛區(qū)域；眼瞼開(kāi)度檢測(cè)部M，其檢測(cè)并記錄表示眼瞼睜開(kāi)的程度的眼瞼開(kāi)度；睜閉眼狀態(tài)判定部沈，其使用預(yù)先設(shè)定的閉眼閾值及睜眼閾值，并根據(jù)檢測(cè)出的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，來(lái)判定各眼瞼開(kāi)度的睜閉眼狀態(tài)，并記錄睜閉眼狀態(tài)的時(shí)序數(shù)據(jù)；第一頻發(fā)性眨眼檢測(cè)部觀，其根據(jù)所記錄的睜閉眼狀態(tài)的時(shí)序數(shù)據(jù)來(lái)檢測(cè)頻發(fā)性眨眼；第二頻發(fā)性眨眼檢測(cè)部30，其根據(jù)所記錄的睜閉眼狀態(tài)的時(shí)序數(shù)據(jù)及眼瞼開(kāi)度的時(shí)序數(shù)據(jù)來(lái)檢測(cè)頻發(fā)性眨眼；閉眼率提取部32， 其根據(jù)所記錄的睜閉眼狀態(tài)的時(shí)序數(shù)據(jù)來(lái)提取閉眼率；困倦判定部34，其基于第一頻發(fā)性眨眼檢測(cè)部觀及第二頻發(fā)性眨眼檢測(cè)部30的檢測(cè)結(jié)果和閉眼率提取部32所提取的閉眼率，來(lái)判定困倦狀態(tài)；顯示控制部36，其在判定為強(qiáng)烈困倦狀態(tài)時(shí)，將警報(bào)信息顯示在顯示裝置40上。另外，第一頻發(fā)性眨眼檢測(cè)部觀是本發(fā)明的第二頻發(fā)性眨眼檢測(cè)單元的一個(gè)例子，第二頻發(fā)性眨眼檢測(cè)部30是本發(fā)明的頻發(fā)性眨眼檢測(cè)單元的一個(gè)例子。眼瞼開(kāi)度檢測(cè)部M基于第一距離相對(duì)于第二距離的比例來(lái)連續(xù)檢測(cè)眼瞼開(kāi)度并記錄眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，其中，所述第一距離是指，根據(jù)眼睛區(qū)域的圖像檢測(cè)出的上眼瞼與下眼瞼之間的距離，所述第二距離是指，預(yù)先規(guī)定的完全睜開(kāi)時(shí)的上眼瞼與下眼瞼之間的距離。將眼睛完全睜開(kāi)時(shí)的眼瞼開(kāi)度設(shè)為100%，將閉眼時(shí)的眼瞼開(kāi)度設(shè)為0%，眼瞼開(kāi)度檢測(cè)部M檢測(cè)出這樣的情況下的眼瞼開(kāi)度，在如以半睜眼忍受困倦那樣的情況下，檢測(cè)出眼瞼開(kāi)度例如為約50%。另外，也可以檢測(cè)出上眼瞼與下眼瞼之間的距離作為眼瞼開(kāi)度。睜閉眼狀態(tài)判定部沈利用預(yù)先設(shè)定的固定閉眼閾值及固定睜眼閾值，根據(jù)檢測(cè)出的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)來(lái)判定各眼瞼開(kāi)度的睜閉眼狀態(tài)，并記錄睜閉眼狀態(tài)的時(shí)序數(shù)據(jù)。若眼瞼開(kāi)度在固定睜眼閾值以上，則判定為睜眼狀態(tài)，若眼瞼開(kāi)度小于固定睜眼閾值且在固定閉眼閾值以上，則判定為半睜眼狀態(tài)。另外，若眼瞼開(kāi)度小于固定閉眼閾值，則判定為閉眼狀態(tài)。此外，固定閉眼閾值及固定睜眼閾值是與眼瞼開(kāi)度相關(guān)的標(biāo)準(zhǔn)的閉眼閾值及睜眼閾值，通過(guò)現(xiàn)有已知的方法來(lái)決定即可。第一頻發(fā)性眨眼檢測(cè)部觀根據(jù)利用固定閉眼閾值及固定睜眼閾值判定出的睜閉眼狀態(tài)的時(shí)序數(shù)據(jù)來(lái)計(jì)算出眨眼次數(shù)。若所計(jì)算出的眨眼次數(shù)在例如1秒等一定時(shí)間內(nèi)為一定的值以上，則第一頻發(fā)性眨眼檢測(cè)部觀判斷為發(fā)生了頻發(fā)性眨眼，由此檢測(cè)頻發(fā)性眨眼。這里，第一頻發(fā)性眨眼檢測(cè)部28根據(jù)睜閉眼狀態(tài)的狀態(tài)過(guò)渡，每發(fā)生狀態(tài)過(guò)渡就加上如圖2所示的對(duì)各狀態(tài)過(guò)渡賦予的分?jǐn)?shù)(point)，并除以2，由此算出眨眼次數(shù)。此外，人在感到困倦時(shí)會(huì)出現(xiàn)短時(shí)間內(nèi)多次反復(fù)眨眼的現(xiàn)象。該現(xiàn)象稱為頻發(fā)性眨眼，若了解到某段時(shí)間內(nèi)發(fā)生了頻發(fā)性眨眼，就可以高精度地判定困倦狀態(tài)。這里，如圖3所示，在眨眼埋于某個(gè)閾值中不能分離時(shí)，為了檢測(cè)頻發(fā)性眨眼，需要設(shè)定比固定閉眼閾值更低的閾值。因此，第二頻發(fā)性眨眼檢測(cè)部30如以下說(shuō)明那樣進(jìn)行頻發(fā)性眨眼的檢測(cè)。首先，第二頻發(fā)性眨眼檢測(cè)部30與第一頻發(fā)性眨眼檢測(cè)部30同樣，根據(jù)利用固定閉眼閾值及固定睜眼閾值判定出的睜閉眼狀態(tài)的時(shí)序數(shù)據(jù)來(lái)提取眨眼。在所提取的眨眼的閉眼持續(xù)時(shí)間在第二規(guī)定時(shí)間即1秒以上的情況下，第二頻發(fā)性眨眼檢測(cè)部30根據(jù)該閉眼持續(xù)的區(qū)間(眼瞼開(kāi)度持續(xù)在固定閉眼閾值以下且持續(xù)時(shí)間為1秒以上的范圍)中的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，來(lái)求出包含于該區(qū)間中的極大值及極小值(例如，通過(guò)微分等根據(jù)拐點(diǎn)求出)。在閉眼持續(xù)時(shí)間為規(guī)定時(shí)間(例如1秒)以上的區(qū)間上存在多個(gè)極小值時(shí)，第二頻發(fā)性眨眼檢測(cè)部30 —邊通過(guò)從所求得的極大值(參照?qǐng)D3的極大值1)向極小值(參照?qǐng)D3的極小值1)每次向較低值滑動(dòng)某一確定的間隔的要領(lǐng)來(lái)設(shè)定可變閉眼閾值，一邊相對(duì)于各可變閉眼閾值提取往返經(jīng)過(guò)可變閉眼閾值的眨眼來(lái)，求出眨眼間間隔。若所求得的眨眼之間的間隔在規(guī)定時(shí)間以下(例如1秒以下)且在0.2秒以上， 則判斷為發(fā)生了頻發(fā)性眨眼，由此檢測(cè)頻發(fā)性眨眼。如以上所述，在第二頻發(fā)性眨眼檢測(cè)部30中，在存在閉眼持續(xù)時(shí)間長(zhǎng)的眨眼的情況下，在該眨眼間間隔的區(qū)間上設(shè)定比固定閉眼閾值低的可變閉眼閾值，來(lái)進(jìn)行頻發(fā)性眨眼的檢測(cè)。閉眼率提取部32根據(jù)利用固定閉眼閾值及固定睜眼閾值判定出的睜閉眼狀態(tài)的時(shí)序數(shù)據(jù)，來(lái)提取在一定時(shí)間內(nèi)閉眼的比例即閉眼率(Perclos)。困倦判定部34針對(duì)提取出的閉眼率進(jìn)行閾值判定，若閉眼率在與閉眼率相關(guān)的閾值以上，則判定為作為判定對(duì)象人員的駕駛員處于強(qiáng)烈困倦狀態(tài)。另外，若第一頻發(fā)性眨眼檢測(cè)部觀及第二頻發(fā)性眨眼檢測(cè)部30中的至少一個(gè)檢測(cè)出頻發(fā)性眨眼，則困倦判定部 34判定為作為判定對(duì)象人員的駕駛員處于強(qiáng)烈困倦狀態(tài)。接著，針對(duì)第一實(shí)施方式的困倦判定裝置10的作用進(jìn)行說(shuō)明。首先，通過(guò)拍攝裝置12連續(xù)拍攝駕駛員的臉部，并在計(jì)算機(jī)20中執(zhí)行圖4所示的閾值計(jì)算處理過(guò)程。在步驟100中，從拍攝裝置12取得臉部圖像，在步驟102中，根據(jù)所取得的臉部圖像來(lái)提取眼睛區(qū)域。然后，在步驟104中，基于所提取的眼睛區(qū)域的圖像，算出眼瞼開(kāi)度，并記錄在存儲(chǔ)器(省略圖示)中。在接下來(lái)的步驟106中，判定從處理開(kāi)始起是否經(jīng)過(guò)了規(guī)定時(shí)間，在未經(jīng)過(guò)規(guī)定時(shí)間時(shí)，返回步驟100，而在已經(jīng)過(guò)規(guī)定時(shí)間時(shí)，轉(zhuǎn)移到步驟108。通過(guò)所述步驟100至步驟106，在存儲(chǔ)器中記錄在規(guī)定期間內(nèi)檢測(cè)出的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)。在步驟108中，根據(jù)存儲(chǔ)器所記錄的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，算出眼瞼開(kāi)度的頻度分布，在步驟110中，利用在上述步驟110計(jì)算出的眼瞼開(kāi)度的頻度分布，分別算出標(biāo)準(zhǔn)的固定睜眼閾值和固定閉眼閾值。然后，在步驟112中，將在所述步驟110中所計(jì)算的固定睜眼閾值及固定閉眼閾值存儲(chǔ)在存儲(chǔ)器中，并結(jié)束閾值計(jì)算處理過(guò)程。若通過(guò)上述的閾值計(jì)算處理過(guò)程來(lái)計(jì)算一回固定睜眼閾值及固定閉眼閾值，則利用拍攝裝置12對(duì)駕駛員的臉部進(jìn)行連續(xù)拍攝，并且在計(jì)算機(jī)20中執(zhí)行圖5所示的第一頻發(fā)性眨眼檢測(cè)處理過(guò)程。在步驟120中，進(jìn)行睜閉眼狀態(tài)判定處理。所述步驟120是通過(guò)圖6所示的睜閉眼狀態(tài)判定處理過(guò)程來(lái)實(shí)現(xiàn)的。在步驟130中，從拍攝裝置12取得臉部圖像，在步驟132中，根據(jù)所取得的臉部圖像提取眼睛區(qū)域。然后，在步驟134中，基于所提取的眼睛區(qū)域的圖像，檢測(cè)眼瞼開(kāi)度，并記錄在存儲(chǔ)器(省略圖示)中。在接下來(lái)的步驟136中，對(duì)所述步驟134中檢測(cè)出的眼瞼開(kāi)度與各固定睜眼閾值及固定閉眼閾值進(jìn)行比較，來(lái)判定睜閉眼狀態(tài)，并記錄在存儲(chǔ)器(省略圖示)中，然后結(jié)束睜閉眼狀態(tài)判定處理過(guò)程。然后，在第一頻發(fā)性眨眼檢測(cè)處理過(guò)程的步驟122中，判定從處理開(kāi)始起是否經(jīng)過(guò)了規(guī)定時(shí)間(例如10秒)。在未經(jīng)過(guò)規(guī)定時(shí)間時(shí)，返回步驟120，但在已經(jīng)過(guò)規(guī)定時(shí)間時(shí)，轉(zhuǎn)移到步驟124。這時(shí)，將規(guī)定時(shí)間內(nèi)的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)和睜閉眼狀態(tài)的時(shí)序數(shù)據(jù)記錄在存儲(chǔ)器中。在步驟IM中，根據(jù)在所述步驟120中所記錄的睜閉眼狀態(tài)的時(shí)序數(shù)據(jù)，對(duì)眨眼次數(shù)進(jìn)行計(jì)數(shù)。在步驟126中，基于在所述步驟124中計(jì)數(shù)得到的眨眼次數(shù)，判定眨眼次數(shù)在一定時(shí)間(例如1秒)內(nèi)是否在一定的值以上，來(lái)檢測(cè)頻發(fā)性眨眼，并返回步驟120。此外，在計(jì)算機(jī)20中，執(zhí)行圖7所示的第二頻發(fā)性眨眼檢測(cè)處理過(guò)程。首先，在步驟120中，進(jìn)行睜閉眼狀態(tài)判定處理。然后，在122中，判定處理開(kāi)始起是否經(jīng)過(guò)了規(guī)定時(shí)間(例如10秒)，在未經(jīng)過(guò)規(guī)定時(shí)間時(shí)，返回步驟120，而在已經(jīng)過(guò)規(guī)定時(shí)間時(shí)，轉(zhuǎn)移到步驟 124。在步驟124中，根據(jù)在所述步驟120中所記錄的睜閉眼狀態(tài)的時(shí)序數(shù)據(jù)，對(duì)眨眼次數(shù)進(jìn)行計(jì)數(shù)。此外，上述的步驟120 124的處理與第一頻發(fā)性眨眼檢測(cè)處理過(guò)程一樣，作為共用的處理構(gòu)成即可。然后，在步驟140中，基于在所述步驟124中計(jì)數(shù)得到的眨眼次數(shù)，判定是否存在處于規(guī)定時(shí)間(例如1秒)以上的閉眼持續(xù)時(shí)間。在所計(jì)數(shù)的眨眼中，在不存在處于規(guī)定時(shí)間(例如1秒)以上的閉眼持續(xù)時(shí)間時(shí)，判斷為未發(fā)生頻發(fā)性眨眼，返回步驟120。另一方面，在存在處于規(guī)定時(shí)間(例如1秒)以上的閉眼持續(xù)時(shí)間時(shí)，則在步驟142中，根據(jù)在所述步驟120中所記錄的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)中的、持續(xù)閉眼1秒以上的區(qū)間的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，提取極大值及極小值。然后，在步驟144中，判定在所述步驟142是否已提取了多個(gè)極小值，未提取出多個(gè)極小值時(shí)，判斷為未發(fā)生頻發(fā)性眨眼，返回所述步驟120。另一方面，在根據(jù)持續(xù)閉眼1秒以上的區(qū)間的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)已提取出多個(gè)極小值時(shí)，在步驟146中，一邊以從所提取的極大值向極小值滑動(dòng)的方式設(shè)定可變閉眼閾值，一邊相對(duì)于各可變閉眼閾值提取眨眼來(lái)求出眨眼間間隔。若眨眼間間隔例如在0. 2秒以上且在1秒以下，則判斷為發(fā)生了頻發(fā)性眨眼，由此檢測(cè)頻發(fā)性眨眼。若像這樣進(jìn)行頻發(fā)性眨眼的檢測(cè)，則返回所述步驟120。此外，在計(jì)算機(jī)20中，執(zhí)行圖8所示的閉眼率提取處理過(guò)程。首先，在步驟120中， 進(jìn)行睜閉眼狀態(tài)判定處理。然后，在122中，判定從處理開(kāi)始起是否已經(jīng)過(guò)了規(guī)定時(shí)間(例如10秒)，未經(jīng)過(guò)規(guī)定時(shí)間時(shí)，返回步驟120。另一方面，經(jīng)過(guò)了規(guī)定時(shí)間時(shí)，則轉(zhuǎn)移到步驟 150。此外，所述的步驟120、122的處理與第一頻發(fā)性眨眼檢測(cè)處理過(guò)程一樣，作為共用的處理構(gòu)成即可。在步驟150中，根據(jù)所述步驟120所記錄的睜閉眼狀態(tài)的時(shí)序數(shù)據(jù)來(lái)提取閉眼率。 在接下來(lái)的步驟152中，針對(duì)所述步驟150所提取的閉眼率進(jìn)行閾值判定，判定閉眼率是否在針對(duì)閉眼率決定的閾值以上，并返回所述步驟120。如以上所述，若分別執(zhí)行第一頻發(fā)性眨眼檢測(cè)處理過(guò)程、第二頻發(fā)性眨眼檢測(cè)處理過(guò)程及閉眼率提取處理過(guò)程，則在計(jì)算機(jī)20中，取得第一頻發(fā)性眨眼檢測(cè)處理過(guò)程中的頻發(fā)性眨眼的檢測(cè)結(jié)果、第二頻發(fā)性眨眼檢測(cè)處理過(guò)程中的頻發(fā)性眨眼的檢測(cè)結(jié)果及閉眼率提取處理過(guò)程中的閾值判定的結(jié)果。此外，計(jì)算機(jī)20在檢測(cè)出頻發(fā)性眨眼或者判定為閉眼率在與閉眼率相關(guān)的閾值以上時(shí)，判斷為駕駛員處于強(qiáng)烈困倦狀態(tài)，并在顯示裝置40上顯示警告信息，提醒駕駛員注意困倦。如以上說(shuō)明的那樣，若采用第一實(shí)施方式的困倦判定裝置，則根據(jù)特定范圍的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，提取極大值及極小值，并利用在極大值及極小值之間所設(shè)定的可變閉眼閾值來(lái)檢測(cè)頻發(fā)性眨眼，所述特定范圍是指，眼瞼開(kāi)度持續(xù)小于固定閉眼閾值并處于閉眼狀態(tài)的范圍。由此，能夠高精度地檢測(cè)頻發(fā)性眨眼，從而高精度地判定困倦狀態(tài)。根據(jù)眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，能夠無(wú)遺漏地提取眨眼頻發(fā)的現(xiàn)象，其結(jié)果，能夠很好地判定駕駛員的困倦狀態(tài)。本發(fā)明將頻發(fā)性眨眼分為兩類，并用各自不同的方法來(lái)檢測(cè)。一種是，反復(fù)出現(xiàn)睜眼狀態(tài)和閉眼狀態(tài)且伴隨比較大的眼瞼開(kāi)度變化的頻發(fā)性眨眼，該頻發(fā)性眨眼可利用如下方法來(lái)提取，即，對(duì)經(jīng)過(guò)固定閉眼閾值的往返次數(shù)進(jìn)行計(jì)數(shù)。另一種是，在接近閉眼狀態(tài)的狀態(tài)下反復(fù)出現(xiàn)微小的開(kāi)度變化的頻發(fā)性眨眼。該頻發(fā)性眨眼可利用如下方法來(lái)提取，即， 在閉眼閾值以下的極大值和極小值之間進(jìn)一步設(shè)定用于檢測(cè)的可變閉眼閾值，并對(duì)經(jīng)過(guò)該可變閉眼閾值的往返次數(shù)進(jìn)行計(jì)數(shù)。由此，可以高精度地檢測(cè)作為困倦判定的指標(biāo)的頻發(fā)性眨眼。接下來(lái)，針對(duì)第二實(shí)施方式進(jìn)行說(shuō)明。另外，第二實(shí)施方式的困倦判定裝置的結(jié)構(gòu)與第一實(shí)施方式的困倦判定裝置的結(jié)構(gòu)相同，因此標(biāo)注同一附圖標(biāo)記并省略說(shuō)明。第二實(shí)施方式與第一實(shí)施方式不同之處在于，在閉眼持續(xù)時(shí)間為規(guī)定時(shí)間(例如 1秒)以上的區(qū)間中的、以最小單位時(shí)間所決定的多個(gè)提取區(qū)間中的每一區(qū)間，一邊變更可變閉眼閾值一邊提取眨眼，來(lái)檢測(cè)頻發(fā)性眨眼。在第二實(shí)施方式的困倦判定裝置的第二頻發(fā)性眨眼檢測(cè)部30中，如以下說(shuō)明的那樣進(jìn)行頻發(fā)性眨眼的檢測(cè)。首先，第二頻發(fā)性眨眼檢測(cè)部30與第一頻發(fā)性眨眼檢測(cè)部30 —樣，根據(jù)利用固定閉眼閾值及固定睜眼閾值判定出的睜閉眼狀態(tài)的時(shí)序數(shù)據(jù)來(lái)提取眨眼。在所提取的眨眼的閉眼持續(xù)時(shí)間為規(guī)定時(shí)間(例如1秒)以上時(shí)，第二頻發(fā)性眨眼檢測(cè)部30如圖9所示那樣， 在該區(qū)間內(nèi)設(shè)定多個(gè)所設(shè)定的最小單位時(shí)間的提取區(qū)間。然后，第二頻發(fā)性眨眼檢測(cè)部30針對(duì)所設(shè)定的各提取區(qū)間，求出在眼瞼開(kāi)度的時(shí)序數(shù)據(jù)中的包含于該提取區(qū)間內(nèi)的極大值及極小值。在該提取區(qū)間內(nèi)存在多個(gè)極小值時(shí)， 第二頻發(fā)性眨眼檢測(cè)部30 —邊通過(guò)從所求得的極大值向極小值每次向較低的值滑動(dòng)某一確定的間隔的要領(lǐng)來(lái)設(shè)定可變閉眼閾值，一邊相對(duì)于各可變閉眼閾值提取往返經(jīng)過(guò)可變閉眼閾值的眨眼。此外，第二頻發(fā)性眨眼檢測(cè)部30求出所提取的眨眼的眨眼間間隔，若求得的眨眼間間隔例如在0. 2秒以上且在1秒以下，則判斷為發(fā)生了頻發(fā)性眨眼，由此檢測(cè)頻發(fā)性眨眼。如以上說(shuō)明的那樣，第二頻發(fā)性眨眼檢測(cè)部30對(duì)各提取區(qū)間進(jìn)行頻發(fā)性眨眼的檢測(cè)。此外，用戶操作計(jì)算機(jī)20，能夠如所述圖9那樣變更最小單位時(shí)間的設(shè)定。由此， 通過(guò)使提取極值的提取區(qū)間發(fā)生變化，從而能夠調(diào)整計(jì)算量。
接著，針對(duì)第二實(shí)施方式的第二頻發(fā)性眨眼檢測(cè)處理過(guò)程，利用圖10來(lái)進(jìn)行說(shuō)明。此外，針對(duì)與第一實(shí)施方式相同的處理，標(biāo)注同一附圖標(biāo)記并省略說(shuō)明。首先，在步驟120中，進(jìn)行睜閉眼狀態(tài)判定處理。然后，在步驟122中，判定從處理開(kāi)始起是否已經(jīng)過(guò)了規(guī)定時(shí)間。在未經(jīng)過(guò)規(guī)定時(shí)間時(shí)，返回步驟120，在已經(jīng)過(guò)規(guī)定時(shí)間時(shí)， 轉(zhuǎn)移到步驟124。在步驟124中，根據(jù)所述步驟120所記錄的睜閉眼狀態(tài)的時(shí)序數(shù)據(jù)，對(duì)眨眼次數(shù)進(jìn)行計(jì)數(shù)。然后，在步驟140中，判定是否存在規(guī)定時(shí)間(例如1秒)以上的閉眼持續(xù)時(shí)間。 在計(jì)數(shù)得到的眨眼中，在不存在規(guī)定時(shí)間(例如1秒)以上的閉眼持續(xù)時(shí)間時(shí)，判斷為未發(fā)生頻發(fā)性眨眼，返回步驟120。另一方面，在存在規(guī)定時(shí)間(例如1秒)以上的閉眼持續(xù)時(shí)間時(shí)，在步驟200中，在閉眼持續(xù)1秒上的區(qū)間上，設(shè)定由所設(shè)定的最小單位時(shí)間而成的提取區(qū)間。在步驟202中，根據(jù)在所述步驟120所記錄的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)中的、在所述步驟200所設(shè)定的提取區(qū)間的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，提取極大值及極小值。然后，在步驟204中，判定所述步驟202是否已提取了多個(gè)極小值。在未提取出多個(gè)極小值時(shí)，判斷為未發(fā)生頻發(fā)性眨眼，返回所述步驟200，錯(cuò)開(kāi)設(shè)定提取區(qū)間。另一方面，在根據(jù)提取區(qū)間的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)已提取了多個(gè)極小值時(shí)，在步驟206中，一邊從所提取出的極大值向極小值滑動(dòng)地來(lái)設(shè)定可變閉眼閾值，一邊對(duì)于各可變閉眼閾值提取眨眼，來(lái)求出眨眼間間隔。若眨眼間間隔例如在0.2秒以上且在1秒以下， 則判斷為發(fā)生了頻發(fā)性眨眼，由此檢測(cè)頻發(fā)性眨眼。若像這樣進(jìn)行頻發(fā)性眨眼的檢測(cè)，則轉(zhuǎn)移到步驟208，判定是否針對(duì)在持續(xù)閉眼1秒以上的區(qū)間上設(shè)定的全部提取區(qū)間，進(jìn)行了上述的提取處理。在存在未進(jìn)行上述的處理的提取區(qū)間時(shí)，返回所述步驟200，錯(cuò)開(kāi)設(shè)定提取區(qū)間定。另一方面，在判定為對(duì)全部提取區(qū)間進(jìn)行了上述的處理時(shí)，返回所述步驟120。此外，第二實(shí)施方式的困倦推定裝置的其他結(jié)構(gòu)及作用與第一實(shí)施方式相同，因此省略說(shuō)明。這樣，在閉眼持續(xù)時(shí)間為規(guī)定時(shí)間以上的區(qū)間上設(shè)定多個(gè)提取區(qū)間，并針對(duì)每個(gè)提取區(qū)間，在極大值及極小值之間設(shè)定可變閉眼閾值，從而能夠更高精度地檢測(cè)頻發(fā)性眨眼。接下來(lái)，針對(duì)第三實(shí)施方式進(jìn)行說(shuō)明。此外，第三實(shí)施方式的困倦判定裝置的結(jié)構(gòu)與第一實(shí)施方式的困倦判定裝置結(jié)構(gòu)相同，因此標(biāo)注同一附圖標(biāo)記并省略說(shuō)明。第三實(shí)施方式與第一實(shí)施方式不同之處在于，基于閉眼持續(xù)時(shí)間為規(guī)定時(shí)間(例如1秒)以上的區(qū)間中的極小值之間的間隔，來(lái)檢測(cè)頻發(fā)性眨眼。在第三實(shí)施方式的困倦判定裝置的第二頻發(fā)性眨眼檢測(cè)部30中，如以下說(shuō)明那樣進(jìn)行頻發(fā)性眨眼的檢測(cè)。首先，第二頻發(fā)性眨眼檢測(cè)部30與第一頻發(fā)性眨眼檢測(cè)部30 —樣，根據(jù)利用固定閉眼閾值及固定睜眼閾值判定出的睜閉眼狀態(tài)的時(shí)序數(shù)據(jù)來(lái)提取眨眼。在所提取的眨眼的閉眼持續(xù)時(shí)間為規(guī)定時(shí)間(例如1秒)以上時(shí)，第二頻發(fā)性眨眼檢測(cè)部30針對(duì)眼瞼開(kāi)度的時(shí)序數(shù)據(jù)中的該閉眼持續(xù)的區(qū)間，求出包含于該區(qū)間的極小值。在閉眼持續(xù)時(shí)間為規(guī)定時(shí)間(例如1秒)以上的區(qū)間上存在多個(gè)極小值時(shí)，第二頻發(fā)性眨眼檢測(cè)部30求出極小值之間的間隔。若所求得的極小值之間的間隔例如為在0. 2 秒以上且在1秒以下時(shí)，則第二頻發(fā)性眨眼檢測(cè)部30判斷為發(fā)生了頻發(fā)性眨眼，來(lái)檢測(cè)頻發(fā)性眨眼。如以上那樣，在第二頻發(fā)性眨眼檢測(cè)部30中，在存在閉眼持續(xù)時(shí)間長(zhǎng)的眨眼時(shí)， 在閉眼持續(xù)的區(qū)間上，基于極小值之間的間隔，來(lái)進(jìn)行頻發(fā)性眨眼的檢測(cè)。接下來(lái)，針對(duì)第三實(shí)施方式的第二頻發(fā)性眨眼檢測(cè)處理過(guò)程，利用圖11來(lái)進(jìn)行說(shuō)明。此外，針對(duì)與第一實(shí)施方式相同的處理，標(biāo)注同一附圖標(biāo)記并省略說(shuō)明。首先，在步驟120中，進(jìn)行睜閉眼狀態(tài)判定處理。然后，在122中，判定從處理開(kāi)始起是否已經(jīng)過(guò)了規(guī)定時(shí)間。未經(jīng)過(guò)規(guī)定時(shí)間時(shí)，返回步驟120，在已經(jīng)過(guò)規(guī)定時(shí)間時(shí)，轉(zhuǎn)移到步驟124。在步驟124中，根據(jù)在所述步驟120中所記錄的睜閉眼狀態(tài)的時(shí)序數(shù)據(jù)，來(lái)對(duì)眨眼次數(shù)進(jìn)行計(jì)數(shù)。然后，在步驟140中，判定是否存在在規(guī)定時(shí)間(例如1秒)以上的閉眼持續(xù)時(shí)間。在計(jì)數(shù)得到的眨眼中，不存在規(guī)定時(shí)間(例如1秒)以上的閉眼持續(xù)時(shí)間時(shí)，判斷為未發(fā)生頻發(fā)性眨眼，返回步驟120。另一方面，存在規(guī)定時(shí)間(例如1秒)以上的閉眼持續(xù)時(shí)間時(shí)，在步驟300中，根據(jù)在所述步驟120所記錄的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)中的、持續(xù)閉眼1秒以上的區(qū)間的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，來(lái)提取極小值。然后，在步驟144中，判定在所述步驟300是否已提取了多個(gè)極小值。未提取出多個(gè)極小值時(shí)，判斷為未發(fā)生頻發(fā)性眨眼，返回所述步驟120。另一方面，在根據(jù)持續(xù)閉眼1秒以上的區(qū)間的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)已提取了多個(gè)極小值時(shí)，在步驟302中求出所提取的極小值之間的間隔。若極小值之間的間隔例如為在0. 2秒以上且在小于1秒以下，則判斷為發(fā)生了頻發(fā)性眨眼，由此檢測(cè)頻發(fā)性眨眼。若像這樣進(jìn)行頻發(fā)性眨眼的檢測(cè)，則返回所述步驟 120。此外，第三實(shí)施方式的困倦推定裝置的其他的結(jié)構(gòu)及作用與第一實(shí)施方式相同， 因此省略了說(shuō)明。這樣，根據(jù)眼瞼開(kāi)度小于固定閉眼閾值的范圍的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)來(lái)提取極小值，并基于所提取的極小值之間的間隔來(lái)檢測(cè)頻發(fā)性眨眼。由此，能夠高精度地檢測(cè)頻發(fā)性眨眼，從而能夠高精度地判定困倦狀態(tài)。接下來(lái)，針對(duì)第四實(shí)施方式進(jìn)行說(shuō)明。此外，第四實(shí)施方式的困倦判定裝置的結(jié)構(gòu)與第一實(shí)施方式的困倦判定裝置的結(jié)構(gòu)相同，因此標(biāo)注同一附圖標(biāo)記并省略說(shuō)明。第四實(shí)施方式與第一實(shí)施方式不同之處在于，對(duì)于眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，使用包絡(luò)線來(lái)分離噪聲，之后再求出極大值及極小值。在第四實(shí)施方式的困倦推定裝置的第二頻發(fā)性眨眼檢測(cè)部30中，根據(jù)利用固定閉眼閾值及固定睜眼閾值判定出的睜閉眼狀態(tài)的時(shí)序數(shù)據(jù)來(lái)提取眨眼。所提取的眨眼的閉眼持續(xù)時(shí)間為規(guī)定時(shí)間(例如1秒)以上時(shí)，第二頻發(fā)性眨眼檢測(cè)部30對(duì)于在該閉眼持續(xù)的區(qū)間中的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，如圖12所示那樣利用包絡(luò)線來(lái)分離噪聲。然后，第二頻發(fā)性眨眼檢測(cè)部30根據(jù)該閉眼持續(xù)的區(qū)間中的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)的包絡(luò)線，求出包含于該區(qū)間的極大值及極小值。第二頻發(fā)性眨眼檢測(cè)部30 —邊利用所求得的極大值及極小值，滑動(dòng)地設(shè)定可變閉眼閾值，一邊對(duì)于各可變閉眼閾值，提取往返經(jīng)過(guò)可變閉眼閾值的眨眼，來(lái)求出眨眼間間隔。第二頻發(fā)性眨眼檢測(cè)部30基于所求得的眨眼間間隔來(lái)檢測(cè)頻發(fā)性眨眼。此外，第四實(shí)施方式的困倦推定裝置的其他的結(jié)構(gòu)及作用與第一實(shí)施方式相同，因此省略了說(shuō)明。這樣，對(duì)于眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，利用包絡(luò)線來(lái)分離噪聲，從而能夠分離由噪聲引起的極大值及極小值。由此，能夠更加高精度地檢測(cè)頻發(fā)性眨眼。此外，在所述的第一實(shí)施方式 第四實(shí)施方式中，雖然舉例說(shuō)明了提取閉眼率作為眨眼特征量來(lái)進(jìn)行閾值判定的情況，但不限于此。也可以提取最大閉眼時(shí)間、眨眼次數(shù)、 睜眼時(shí)間的分散值或者最大睜眼時(shí)間作為眨眼特征量，來(lái)進(jìn)行閾值判定。此外，雖然舉例說(shuō)明了檢測(cè)有無(wú)頻發(fā)性眨眼的情況，但不限于此。也可以在檢測(cè)有無(wú)頻發(fā)性眨眼同時(shí)，還對(duì)頻發(fā)性眨眼次數(shù)進(jìn)行計(jì)數(shù)。這時(shí)，也可以根據(jù)頻發(fā)性眨眼次數(shù)來(lái)檢測(cè)眨眼頻發(fā)率(每單位時(shí)間內(nèi)的眨眼頻發(fā)數(shù))。此外，也可以將本發(fā)明的程序存儲(chǔ)在記錄媒介中來(lái)提供。附圖標(biāo)記說(shuō)明10困倦判定裝置12拍攝裝置20計(jì)算機(jī)22眼睛區(qū)域提取部24眼瞼開(kāi)度檢測(cè)部26睜閉眼狀態(tài)判定部28第一頻發(fā)性眨眼檢測(cè)部30第二頻發(fā)性眨眼檢測(cè)部32閉眼率提取部34困倦判定部
權(quán)利要求
1.一種困倦判定裝置，其特征在于，具有拍攝單元，其對(duì)判定對(duì)象人員的包括眼睛的區(qū)域進(jìn)行連續(xù)拍攝；開(kāi)度檢測(cè)單元，其基于所述拍攝單元連續(xù)拍攝得到的圖像，來(lái)對(duì)眼瞼開(kāi)度的時(shí)序數(shù)據(jù)進(jìn)行檢測(cè)；頻發(fā)性眨眼檢測(cè)單元，其基于由所述開(kāi)度檢測(cè)單元檢測(cè)到的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，從所述眼瞼開(kāi)度持續(xù)小于規(guī)定的閾值的范圍，提取極大值和極小值，并對(duì)利用在所提取的極大值和極小值之間設(shè)定的閾值來(lái)檢測(cè)的眨眼間間隔處在規(guī)定時(shí)間以內(nèi)的頻發(fā)性眨眼進(jìn)行檢測(cè)；困倦狀態(tài)判定單元，其基于所述頻發(fā)性眨眼檢測(cè)單元的檢測(cè)結(jié)果，來(lái)判定所述判定對(duì)象人員的困倦狀態(tài)。
2.如權(quán)利要求1所述的困倦判定裝置，其特征在于，所述規(guī)定的閾值為與所述眼瞼開(kāi)度相關(guān)的標(biāo)準(zhǔn)的閉眼閾值。
3.如權(quán)利要求1或2所述的困倦判定裝置，其特征在于，所述頻發(fā)性眨眼檢測(cè)單元從所述眼瞼開(kāi)度持續(xù)小于所述規(guī)定的閾值且持續(xù)時(shí)間為第二規(guī)定時(shí)間以上的范圍，提取極大值和極小值，并對(duì)利用在所提取的極大值和極小值之間設(shè)定的閾值來(lái)檢測(cè)的眨眼間間隔處在所述規(guī)定時(shí)間以內(nèi)的頻發(fā)性眨眼進(jìn)行檢測(cè)。
4.如權(quán)利要求1 3中任一項(xiàng)所述的困倦判定裝置，其特征在于，所述頻發(fā)性眨眼檢測(cè)單元從所述眼瞼開(kāi)度持續(xù)小于所述規(guī)定的閾值的范圍，針對(duì)以最小單位時(shí)間決定的多個(gè)提取區(qū)間中的每一個(gè)提取區(qū)間，分別提取極大值和極小值，并對(duì)利用在所提取的極大值和極小值之間設(shè)定的閾值來(lái)檢測(cè)的眨眼間間隔處在所述規(guī)定時(shí)間以內(nèi)的頻發(fā)性眨眼進(jìn)行檢測(cè)。
5.一種困倦判定裝置，其特征在于，具有拍攝單元，其對(duì)判定對(duì)象人員的包括眼睛的區(qū)域進(jìn)行連續(xù)拍攝；開(kāi)度檢測(cè)單元，其基于所述拍攝單元連續(xù)拍攝得到的圖像，來(lái)對(duì)眼瞼開(kāi)度的時(shí)序數(shù)據(jù)進(jìn)行檢測(cè)；頻發(fā)性眨眼檢測(cè)單元，其基于由所述開(kāi)度檢測(cè)單元檢測(cè)到的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，從所述眼瞼開(kāi)度持續(xù)小于規(guī)定的閾值的范圍提取極小值，并對(duì)所提取的極小值之間的間隔在規(guī)定時(shí)間以內(nèi)的頻發(fā)性眨眼進(jìn)行檢測(cè)；困倦狀態(tài)判定單元，其基于所述頻發(fā)性眨眼檢測(cè)單元的檢測(cè)結(jié)果，來(lái)判定所述判定對(duì)象人員的困倦狀態(tài)。
6.如權(quán)利要求1 5中任一項(xiàng)所述的困倦判定裝置，其特征在于，還具有第二頻發(fā)性眨眼檢測(cè)單元，該第二頻發(fā)性眨眼檢測(cè)單元基于由所述開(kāi)度檢測(cè)單元檢測(cè)到的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，利用所述規(guī)定的閾值來(lái)提取眨眼，并基于所提取的眨眼來(lái)對(duì)頻發(fā)性眨眼進(jìn)行檢測(cè)，所述困倦狀態(tài)判定單元基于所述頻發(fā)性眨眼檢測(cè)單元的檢測(cè)結(jié)果和所述第二頻發(fā)性眨眼檢測(cè)單元的檢測(cè)結(jié)果，來(lái)判定所述判定對(duì)象人員的困倦狀態(tài)。
7.如權(quán)利要求1 6中任一項(xiàng)所述的困倦判定裝置，其特征在于，還具有眨眼特征量提取單元，該眨眼特征量提取單元基于由所述開(kāi)度檢測(cè)單元檢測(cè)到的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，來(lái)提取與頻發(fā)性眨眼不同的眨眼特征量，所述困倦狀態(tài)判定單元基于所述頻發(fā)性眨眼檢測(cè)單元的檢測(cè)結(jié)果和所述眨眼特征量提取單元所提取的所述眨眼特征量，來(lái)判定所述判定對(duì)象人員的困倦狀態(tài)。
8.一種程序，其特征在于，使計(jì)算機(jī)發(fā)揮如下單元的功能開(kāi)度檢測(cè)單元，其基于拍攝單元拍攝得到的圖像，來(lái)對(duì)眼瞼開(kāi)度的時(shí)序數(shù)據(jù)進(jìn)行檢測(cè)， 所述拍攝單元用于對(duì)判定對(duì)象人員的包括眼睛的區(qū)域進(jìn)行連續(xù)拍攝；頻發(fā)性眨眼檢測(cè)單元，其基于由所述開(kāi)度檢測(cè)單元檢測(cè)到的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，從所述眼瞼開(kāi)度持續(xù)小于規(guī)定的閾值的范圍，提取極大值和極小值，并對(duì)利用在所提取的極大值和極小值之間設(shè)定的閾值來(lái)檢測(cè)的眨眼間間隔處在規(guī)定時(shí)間以內(nèi)的頻發(fā)性眨眼進(jìn)行檢測(cè)；困倦狀態(tài)判定單元，其基于所述頻發(fā)性眨眼檢測(cè)單元的檢測(cè)結(jié)果，來(lái)判定所述判定對(duì)象人員的困倦狀態(tài)。
9.一種程序，其特征在于，使計(jì)算機(jī)發(fā)揮如下單元的功能開(kāi)度檢測(cè)單元，其基于拍攝單元拍攝得到的圖像，來(lái)對(duì)眼瞼開(kāi)度的時(shí)序數(shù)據(jù)進(jìn)行檢測(cè)， 所述拍攝單元用于對(duì)判定對(duì)象人員的包括眼睛的區(qū)域進(jìn)行連續(xù)拍攝；頻發(fā)性眨眼檢測(cè)單元，其基于由所述開(kāi)度檢測(cè)單元檢測(cè)到的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，從所述眼瞼開(kāi)度持續(xù)小于規(guī)定的閾值的范圍提取極小值，并對(duì)所提取的極小值之間的間隔處在規(guī)定時(shí)間以內(nèi)的頻發(fā)性眨眼進(jìn)行檢測(cè)；困倦狀態(tài)判定單元，其基于所述頻發(fā)性眨眼檢測(cè)單元的檢測(cè)結(jié)果，來(lái)判定所述判定對(duì)象人員的困倦狀態(tài)。
全文摘要
根據(jù)所提取的眨眼的閉眼持續(xù)時(shí)間為規(guī)定時(shí)間(例如1秒)以上的區(qū)間中的眼瞼開(kāi)度的時(shí)序數(shù)據(jù)，求出極大值及極小值。在閉眼持續(xù)時(shí)間為1秒以上的區(qū)間上存在多個(gè)極小值時(shí)，一邊通過(guò)從所求得的極大值向極小值每次向較低的值滑動(dòng)某一確定的間隔的要領(lǐng)來(lái)設(shè)定可變閉眼閾值，一邊相對(duì)于各可變閉眼閾值提取往返經(jīng)過(guò)可變閉眼閾值的眨眼，來(lái)求出眨眼間間隔。若所求得的眨眼間間隔例如在1秒以下且在0.2秒以上，則判斷為發(fā)生了頻發(fā)性眨眼，由此檢測(cè)頻發(fā)性眨眼。能夠高精度地檢測(cè)頻發(fā)性眨眼，從而能夠高精度地判定困倦狀態(tài)。
文檔編號(hào)B60R11/04GK102356416SQ201080012708
公開(kāi)日2012年2月15日 申請(qǐng)日期2010年3月17日 優(yōu)先權(quán)日2009年3月19日
發(fā)明者依田拓, 大見(jiàn)拓寬, 田中勇彥, 角屋明 申請(qǐng)人:株式會(huì)社電裝, 愛(ài)信精機(jī)株式會(huì)社