專利名稱：：視線方向判定裝置及視線方向判定方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及判定被拍攝者的視線方向?yàn)橐?guī)定方向的視線方向判定裝置及視線方向判定方法。
背景技術(shù)：
：在判定人物的視線方向的視線方向判定裝置中，需要以外界的坐標(biāo)系表示檢測(cè)出的方向。在專利文獻(xiàn)1中，公開了事先檢測(cè)觀看特定方向時(shí)的眼球的狀態(tài)，從其結(jié)果判定是否正在觀看特定方向的視線檢測(cè)裝置。專利文獻(xiàn)1記載的裝置注視取景器內(nèi)的指標(biāo)，并補(bǔ)償此時(shí)的視軸與眼球軸之間的偏差。在專利文獻(xiàn)2中，公開了在較長(zhǎng)時(shí)間觀測(cè)駕駛中的視線方向，從其分布規(guī)定視線的基準(zhǔn)方向的駕駛狀態(tài)檢測(cè)裝置。專利文獻(xiàn)2記載的裝置從時(shí)間序列數(shù)據(jù)估計(jì)視線的基準(zhǔn)位置。這樣，在現(xiàn)有技術(shù)的視線方向判定中存在兩種系統(tǒng)的方法。一種是指示或檢測(cè)注視對(duì)象，并檢測(cè)注視狀態(tài)(例如，專利文獻(xiàn)1記載的裝置例子)；另一種從較長(zhǎng)時(shí)間的視線的分布規(guī)定視線方向的中心(例如，專利文獻(xiàn)2記載的裝置例子)?，F(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)1日本專利申請(qǐng)?zhí)亻_平4力似630號(hào)公報(bào)專利文獻(xiàn)2日本專利申請(qǐng)?zhí)亻_2005-66023號(hào)公報(bào)
發(fā)明內(nèi)容發(fā)明要解決的問題然而，這種現(xiàn)有技術(shù)的視線方向判定裝置中存在如下問題。(1)在專利文獻(xiàn)1記載的裝置中，需要指示注視對(duì)象而成為繁瑣的工作。在自動(dòng)判定中，難以判定是否真的正在觀看?？傊枰孪鹊臏y(cè)量工作，因而無法提高方便性。(2)在專利文獻(xiàn)2記載的裝置中，無法保證較長(zhǎng)時(shí)間測(cè)量時(shí)的視線分布真的是正面方向。另外，若非較長(zhǎng)時(shí)間測(cè)量后，則無法補(bǔ)償。除需要較長(zhǎng)時(shí)間的觀測(cè)外，還存在以下的課題無法保證測(cè)量出的統(tǒng)計(jì)結(jié)果恒定而不存在個(gè)人差別，所以難以在剛開始測(cè)量后進(jìn)行判定，以及難以保證精度。本發(fā)明是鑒于上述問題點(diǎn)而完成的。本發(fā)明的目的在于提供無需注視對(duì)象的指示和事先的調(diào)整作業(yè)而從剛開始測(cè)量就能夠進(jìn)行判定，能夠高精度且準(zhǔn)確地判定視線方向的視線方向判定裝置及視線方向判定方法。解決問題的方案本發(fā)明的視線方向判定裝置所采用的結(jié)構(gòu)包括攝像單元，拍攝包含兩眼的臉圖像；照射單元，通過光源照射所述兩眼的角膜；瞳孔檢測(cè)單元，從所述臉圖像檢測(cè)作為所述兩眼中的一側(cè)的眼的瞳孔的中心坐標(biāo)的第1坐標(biāo)，以及作為另一側(cè)的眼的瞳孔的中心坐標(biāo)的第2坐標(biāo)；角膜反射圖像檢測(cè)單元，從所述臉圖像檢測(cè)所述一側(cè)的眼的角膜中的作為所述光源的角膜反射圖像的中心坐標(biāo)的第3坐標(biāo)，以及所述另一側(cè)的眼的角膜中的作為所述光源的角膜反射圖像的中心坐標(biāo)的第4坐標(biāo)；線對(duì)稱位置計(jì)算單元，計(jì)算連結(jié)所述第1坐標(biāo)和所述第2坐標(biāo)的第1線段的垂直二等分線，并計(jì)算作為對(duì)于所述垂直二等分線和所述第3坐標(biāo)線對(duì)稱的位置坐標(biāo)的線對(duì)稱位置坐標(biāo)；以及視線方向判定單元，計(jì)算所述第4坐標(biāo)和所述線對(duì)稱位置坐標(biāo)之間的坐標(biāo)距離，并基于所述坐標(biāo)距離與規(guī)定的閾值的比較，判定所述兩眼的視線方向。本發(fā)明的視線方向判定方法包括以下步驟拍攝包含兩眼的臉圖像；通過光源照射所述兩眼的角膜；從所述臉圖像檢測(cè)作為所述兩眼中的一側(cè)的眼的瞳孔的中心坐標(biāo)的第1坐標(biāo)，以及作為另一側(cè)的眼的瞳孔的中心坐標(biāo)的第2坐標(biāo)；從所述臉圖像檢測(cè)所述一側(cè)的眼的角膜中的作為所述光源的角膜反射圖像的中心坐標(biāo)的第3坐標(biāo)，以及所述另一側(cè)的眼的角膜中的作為所述光源的角膜反射圖像的中心坐標(biāo)的第4坐標(biāo)；計(jì)算連結(jié)所述第1坐標(biāo)和所述第2坐標(biāo)的第1線段的垂直二等分線，并計(jì)算作為對(duì)于所述垂直二等分線和所述第3坐標(biāo)線對(duì)稱的位置坐標(biāo)的線對(duì)稱位置坐標(biāo)；以及計(jì)算所述第4坐標(biāo)和所述線對(duì)稱位置坐標(biāo)之間的坐標(biāo)距離，并基于所述坐標(biāo)距離與規(guī)定的閾值的比較，判定所述兩眼的視線方向。發(fā)明的效果根據(jù)本發(fā)明，判定上述左眼或右眼的角膜反射圖像對(duì)于左右眼的瞳孔的中心線處于線對(duì)稱的位置，從該判定結(jié)果判定特定位置的視線方向，從而能夠在視線方向判定時(shí)不需要注視對(duì)象的指示和事先的調(diào)整作業(yè)，提高方便性。另外，由于利用人的共有的特征，所以能夠?qū)崿F(xiàn)判定結(jié)果的可靠性高、與進(jìn)行統(tǒng)計(jì)處理的方法等相比更高精度的視線方向的判定。基于同樣的理由，能夠保證判定出的視線方向?yàn)闇?zhǔn)確的視線方向，所以不需要像現(xiàn)有技術(shù)例子那樣進(jìn)行較長(zhǎng)時(shí)間測(cè)定。進(jìn)而，能夠從拍攝圖像直接進(jìn)行判定，所以能夠在測(cè)量開始后，立即進(jìn)行判定。除以上的效果外，還具有以下的效果。即使不看特定的注視對(duì)象，也能夠自動(dòng)地校正檢測(cè)出的視線方向的偏差。另外，由于不需要注視，所以能夠簡(jiǎn)化處理，能夠防止錯(cuò)誤判定。這使得能夠進(jìn)行補(bǔ)償?shù)臋C(jī)會(huì)增多。進(jìn)而，只要觀看照相機(jī)方向即便一幀即可，所以具有能夠以高可靠性進(jìn)行補(bǔ)償?shù)男Ч?。圖1是表示本發(fā)明的實(shí)施方式1的視線方向判定裝置的結(jié)構(gòu)的方框圖。圖2A、圖2B是說明上述實(shí)施方式1的視線方向判定裝置的視線方向判定方法的圖。圖3是說明上述實(shí)施方式1的視線方向判定裝置的視線方向判定方法的圖。圖4A、圖4B是說明上述實(shí)施方式1的視線方向判定裝置的視線方向判定方法的圖。圖5A、圖5B是說明上述實(shí)施方式1的視線方向判定裝置的視線方向判定算法的圖。圖6是表示上述實(shí)施方式1的視線方向判定裝置的視線方向判定處理的流程圖。圖7是表示輸入到上述實(shí)施方式1的視線方向判定裝置的輸入圖像的例子的圖。圖8A、圖8B是表示在上述實(shí)施方式1的視線方向判定裝置中使用的圖像特征的例子的圖。圖9是表示本發(fā)明的實(shí)施方式2的視線方向判定裝置的結(jié)構(gòu)的方框圖。圖10是表示上述實(shí)施方式2的視線方向判定裝置的視線方向判定處理的流程圖。圖11是表示本發(fā)明的實(shí)施方式3的帶自動(dòng)校正功能的視線方向判定裝置的結(jié)構(gòu)的方框圖。圖12是表示上述實(shí)施方式3的帶自動(dòng)校正功能的視線方向檢測(cè)裝置的動(dòng)作的流程圖。圖13A、圖1是說明上述實(shí)施方式3的帶自動(dòng)校正功能的視線方向判定裝置能夠自動(dòng)地補(bǔ)償視線方向的偏移的圖。圖14是表示本發(fā)明的實(shí)施方式4的視線方向判定裝置的結(jié)構(gòu)的方框圖。圖15A、圖15B、圖15C是表示上述實(shí)施方式4的視線方向判定裝置的照射單元與攝像單元的位置關(guān)系的圖。圖16A、圖16B是表示上述實(shí)施方式4的視線方向判定裝置的角膜反射圖像與角膜投影圖像的位置關(guān)系的圖。圖17是上述實(shí)施方式4的具有警報(bào)裝置單元的視線方向判定裝置的結(jié)構(gòu)方框圖。標(biāo)號(hào)說明100、500、1400、1700視線方向判定裝置110圖像輸入單元111攝像單元112照射單元113同步單元120臉檢測(cè)單元130臉器官檢測(cè)單元140圖像特征檢測(cè)單元141瞳孔檢測(cè)單元142角膜反射圖像檢測(cè)單元150線對(duì)稱位置計(jì)算單元160評(píng)價(jià)值計(jì)算單元170視線方向判定單元501臉方向計(jì)算單元502臉視線方向判定單元600帶自動(dòng)校正功能的視線方向檢測(cè)裝置610視線方向計(jì)算單元620視線檢測(cè)校正單元630校正參數(shù)存儲(chǔ)單元640輸出單元1400視線方向判定裝置1401攝像單元1402瞳孔檢測(cè)單元1403角膜反射圖像檢測(cè)單元1404線對(duì)稱位置計(jì)算單元1405視線方向判定單元1501右眼的瞳孔1502左眼的瞳孔1503右眼的眼球1504左眼的眼球1505連結(jié)右眼的瞳孔的中心與左眼的瞳孔的中心的線段1506平面1507垂線1508垂線1509垂直二等分線1510垂線的垂足1511垂線的垂足1600臉圖像1601右眼1602左眼1603右眼的角膜1604左眼的角膜1605右眼的瞳孔1606左眼的瞳孔1607右眼的角膜反射圖像1608左眼的角膜反射圖像1609線段1610垂直二等分線1611角膜投影圖像1700視線方向判定裝置1701警報(bào)裝置單元具體實(shí)施例方式以下，參照附圖詳細(xì)說明本發(fā)明的實(shí)施方式。(實(shí)施方式1)本發(fā)明涉及以下的視線方向判定裝置，即從由具有照明單元的攝像裝置獲得到的臉圖像，檢測(cè)瞳或瞳孔的中心、以及照明的角膜反射圖像，從它們的線對(duì)稱性判定受驗(yàn)者的視線方向。這里，所謂視線方向判定，表示判定受驗(yàn)者的視線是否朝向特定的方向。但是，特定方向并非必須是一個(gè)，也可以是多個(gè)方向。本發(fā)明的實(shí)施方式1中記載以下的視線方向判定裝置，S卩從由具有照明單元的7攝像裝置獲得到的臉圖像，檢測(cè)瞳或瞳孔的中心、以及照明的角膜反射圖像，從它們的線對(duì)稱性判定受驗(yàn)者的視線方向。圖1是表示本發(fā)明的實(shí)施方式1的視線方向判定裝置的結(jié)構(gòu)的方框圖。本實(shí)施方式是對(duì)于以下的警報(bào)裝置適用了本發(fā)明的視線方向判定裝置的例子，即其設(shè)置在汽車的車廂內(nèi)，檢測(cè)駕駛者的視線方向，并在較長(zhǎng)時(shí)間未朝向正面時(shí)進(jìn)行警告。如圖1所示，視線方向判定裝置100例如能適用于汽車導(dǎo)航系統(tǒng)(CarNavigationSystem)、電視、揚(yáng)聲器等信息提示設(shè)備；駕駛者支援照相機(jī)、監(jiān)視照相機(jī)等安全狀態(tài)監(jiān)視設(shè)備；靜態(tài)照相機(jī)、攝像機(jī)等視頻記錄設(shè)備；機(jī)器人(Robot)等生活輔助設(shè)備等這些需要掌握操作者、被拍攝者正在觀看哪里的信息的設(shè)備。視線方向判定裝置100具有圖像輸入單元110、臉檢測(cè)單元120、臉器官檢測(cè)單元130、圖像特征檢測(cè)單元140、線對(duì)稱位置計(jì)算單元150、評(píng)價(jià)值計(jì)算單元160、以及視線方向判定單元170。圖像輸入單元110將由攝像單元111拍攝的圖像輸出到后述的臉檢測(cè)單元120。圖像輸入單元110具有設(shè)置在車的方向盤的上方或儀表盤上等駕駛席的正面，且設(shè)置在能夠拍攝駕駛者的位置的攝像單元111；照射駕駛者的臉的照射單元112；以及使攝像單元111與照射單元112取得同步的同步單元113。攝像單元111具有CCD(ChargeCoupledDevices,電荷耦合器)、CMOS(ComplementaryMetalOxidekmiconductor，互補(bǔ)性金屬氧化物半導(dǎo)體)等圖像傳感器，根據(jù)從同步單元113輸入的同步信號(hào)，取得圖像。另外，以下，以圖像橫方向?yàn)閄軸，圖像縱方向?yàn)閅軸，1像素為1坐標(biāo)點(diǎn)，說明所拍攝的臉圖像。照射單元112具有不可視而在攝像單元111中具有感光度的近紅外線LED，根據(jù)來自同步單元113的同步信號(hào)進(jìn)行發(fā)光。同步單元113在相當(dāng)于從攝像單元111的曝光開始到結(jié)束為止的期間，將同步信號(hào)輸出到攝像單元111和照射單元112。臉檢測(cè)單元120從由圖像輸入單元110輸入的圖像檢測(cè)作為人物的臉的圖像的臉圖像，并將臉圖像輸出到臉器官檢測(cè)單元130。臉器官檢測(cè)單元130從由臉檢測(cè)單元120輸入的臉圖像，檢測(cè)外眼角、內(nèi)眼角、瞳中心、鼻孔、嘴角、眉的兩端等臉器官，并將形成各個(gè)臉器官的輪廓的多個(gè)點(diǎn)的坐標(biāo)輸出到圖像特征檢測(cè)單元140。圖像特征檢測(cè)單元140具有從臉圖像檢測(cè)瞳孔的瞳孔檢測(cè)單元141；以及從臉圖像檢測(cè)角膜上的照射單元112的反射圖像的角膜反射圖像檢測(cè)單元142。所謂角膜反射圖像表示被稱為普爾欽圖像(Purkinjeimage)的、角膜表面的反射圖像。瞳孔檢測(cè)單元141從由圖像輸入單元110輸入的臉圖像以及從臉器官檢測(cè)單元130輸入的臉器官坐標(biāo)檢測(cè)左右眼的瞳孔，將左右瞳孔的中心坐標(biāo)輸出到線對(duì)稱位置計(jì)算單元150。角膜反射圖像檢測(cè)單元142從由圖像輸入單元110輸入的臉圖像以及由臉器官檢測(cè)單元130輸入的臉器官坐標(biāo)，檢測(cè)左右眼的、照射單元112的角膜反射圖像，將左右角膜反射圖像的中心坐標(biāo)輸出到線對(duì)稱位置計(jì)算單元150。線對(duì)稱位置計(jì)算單元150從由圖像特征檢測(cè)單元140輸入的左右眼的瞳孔中心坐標(biāo)以及角膜反射圖像中心坐標(biāo)，計(jì)算左右眼中一側(cè)的眼的角膜反射圖像中心的線對(duì)稱位置，將線對(duì)稱位置坐標(biāo)和另一側(cè)的眼的角膜反射圖像坐標(biāo)分別輸出到評(píng)價(jià)值計(jì)算單元160。所謂線對(duì)稱是指對(duì)于以左右瞳孔中心為端點(diǎn)的線段的垂直二等分線呈線對(duì)稱。評(píng)價(jià)值計(jì)算單元160從由線對(duì)稱位置計(jì)算單元150輸入的投影坐標(biāo)以及由圖像特征檢測(cè)單元140輸入的角膜反射圖像中心坐標(biāo)和線對(duì)稱位置坐標(biāo)，計(jì)算評(píng)價(jià)角膜反射圖像的線對(duì)稱性的線對(duì)稱性評(píng)價(jià)值，并將其輸出到視線方向判定單元170。視線方向判定單元170從由評(píng)價(jià)值計(jì)算單元160輸入的線對(duì)稱性評(píng)價(jià)值，判斷左右角膜反射圖像的線對(duì)稱性，在具有線對(duì)稱性時(shí)，判定為受驗(yàn)者的視線方向正朝向照相機(jī)方向；而在不具有線對(duì)稱性時(shí)，判定為未朝向照相機(jī)方向，并將判定結(jié)果輸出到未圖示的警報(bào)裝置。未圖示的警報(bào)裝置根據(jù)判定結(jié)果，在較長(zhǎng)時(shí)間未朝向照相機(jī)方向時(shí)，發(fā)出警報(bào)。該警報(bào)為包含警告消息(message)的顯示、由語音合成LSI產(chǎn)生的語音消息、LED發(fā)光、由揚(yáng)聲器等的發(fā)聲、或它們的組合。上述各個(gè)單元的功能，由微計(jì)算機(jī)執(zhí)行控制程序而實(shí)現(xiàn)。也就是說，視線方向判定裝置100具有作為控制單元的CPU、記錄了控制程序的ROM及執(zhí)行程序用的RAM等、作為攝像裝置的照相機(jī)、作為顯示和警報(bào)裝置的顯示單元，該控制單元控制視線方向判定裝置100的各個(gè)單元的動(dòng)作。圖1的各個(gè)單元明確表示為進(jìn)行控制單元所執(zhí)行的視線方向判定處理的功能塊。以下，說明如上構(gòu)成的視線方向判定裝置100的動(dòng)作。首先，說明本視線方向判定方法的基本想法。圖2至圖4是說明視線方向判定裝置100的視線方向判定方法的圖。如圖2A所示，投光器(projector)201(在圖1中為照射單元112)照射臉202的眼球203。照相機(jī)206(在圖1中為攝像單元111)獲取反射到眼球203的角膜203a上的角膜反射圖像205。如圖2B所示，通過來自投光器201的光照射，在眼球203的角膜203a上顯現(xiàn)角膜反射圖像205。視線方向判定裝置100利用臉的左右對(duì)稱性，檢測(cè)左右眼的角膜反射圖像205。也就是說，計(jì)算左右眼的角膜反射圖像205的位置，判定獲得的角膜反射圖像位置在左右眼中是否處于線對(duì)稱的位置。如圖3所示，在用左右眼獲取投光器201的角膜反射圖像205，從對(duì)于瞳孔204的反射圖像位置205的對(duì)稱性，檢測(cè)正在觀看投光器201方向的時(shí)候。另外，通過驗(yàn)證投光器201的角膜反射圖像位置的左右對(duì)稱性，判定是否正在觀看照相機(jī)206方向。具體而言，如圖4A所示，正在觀看照相機(jī)206、投光器201方向時(shí)，角膜反射圖像205的位置為左右對(duì)稱。另外，如圖4B所示，在未觀看照相機(jī)206、投光器201方向時(shí)，角膜反射圖像205的位置為左右非對(duì)稱。接著，說明視線方向判定方法的細(xì)節(jié)。[算法]1.檢測(cè)瞳孔和角膜反射圖像2.將一方的反射圖像投影到對(duì)于左右瞳孔的垂直二等分線對(duì)稱的位置3.檢測(cè)投影反射圖像與另一方反射圖像的偏差4.若偏差量在閾值以下，則將此時(shí)的視線方向判定為照相機(jī)方向圖5是說明視線方向判定算法的圖，圖5A表示臉圖像，圖5B表示臉圖像以及連結(jié)了基于臉圖像計(jì)算出的兩眼的瞳孔的線段的垂直二等分線。如圖5A所示，從臉圖像202檢測(cè)眼球203，并檢測(cè)兩眼的瞳孔204和兩眼的角膜反射圖像205。如圖5B所示，本算法將單側(cè)的反射圖像投影到對(duì)于左右瞳孔的垂直二等分線211對(duì)稱的位置。將投影到一側(cè)的眼球203(參照投影線212)的、另一側(cè)的眼的角膜反射圖像205稱為角膜投影圖像215。這里，右眼的角膜反射圖像205被投影到左眼，在左眼上，左眼的角膜反射圖像205與所投影的角膜投影圖像215接近排列。本算法計(jì)算左眼的角膜反射圖像205與所投影的角膜投影圖像215之間的偏差。若該偏差量在閾值以下，則將此時(shí)的視線方向判定為照相機(jī)方向。再者，在后面通過圖6的視線方向判定處理流程敘述本算法的實(shí)現(xiàn)方法。這樣，通過驗(yàn)證兩眼的角膜反射圖像的坐標(biāo)位置對(duì)于垂直二等分線211是否為線對(duì)稱，能夠判定視線方向。圖6是表示視線方向判定裝置100的視線方向判定處理的流程圖。圖7是表示輸入到視線方向判定裝置100的臉圖像的圖。在圖6中，通過開始本程序，圖像輸入單元110開始拍攝作業(yè)。開始拍攝作業(yè)，即可以通過人工進(jìn)行，也可以以外部的某種信號(hào)為觸發(fā)器而由視線方向判定裝置100進(jìn)行。在步驟Sl中，圖像輸入單元110從每一定期間由同步單元113取得了與照射單元112的同步的攝像單元111，獲取圖7的臉圖像300，并將該臉圖像300輸出到臉檢測(cè)單元120。例如，圖像輸入單元110假設(shè)是由具有CMOS圖像傳感器和透鏡的數(shù)碼相機(jī)以及具有近紅外線LED的投光器構(gòu)成的傳感器，由此與投光器取得同步地拍攝的PPM(PortablePixMapfileformat；便攜式像素圖文件格式)格式的圖像等被臨時(shí)存儲(chǔ)到存在于圖像輸入單元110中的圖像存儲(chǔ)單元中(例如，個(gè)人計(jì)算機(jī)的存儲(chǔ)器空間)。然后，該臨時(shí)存儲(chǔ)的圖像以PPM格式輸入到臉檢測(cè)單元120。此時(shí)，照射單元112是與攝像單元111的曝光時(shí)間取得同步而點(diǎn)亮的、同步脈沖驅(qū)動(dòng)近紅外線LED投光器。在能夠獲得為拍攝充足的光量的情況下，也可以不是同步脈沖驅(qū)動(dòng)而是經(jīng)常點(diǎn)亮。在步驟S2中，臉檢測(cè)單元120從由圖像輸入單元110輸入的臉圖像300，進(jìn)行臉區(qū)域301的檢測(cè)處理。就臉區(qū)域檢測(cè)來說，例如從輸入圖像提取構(gòu)成特征的圖像，比較提取出的構(gòu)成特征的圖像與預(yù)先準(zhǔn)備的表示臉區(qū)域的特征圖像，對(duì)于進(jìn)行了比較的圖像檢測(cè)相似度較高的圖像。就相似度來說，例如對(duì)比預(yù)先獲得到的平均臉的加博爾特征量(Gaborfeature)和掃描輸入圖像而提取出的加博爾特征量，使用該差的絕對(duì)值的倒數(shù)。此時(shí)，作為臉區(qū)域，與預(yù)先準(zhǔn)備的模板比較，在圖7的臉區(qū)域301中，從圖像中搜索相關(guān)最高的區(qū)域。另外，也可以通過從圖像中或進(jìn)行膚色區(qū)域檢測(cè)，或進(jìn)行橢圓檢測(cè)，或使用統(tǒng)計(jì)式10模式識(shí)別方法來檢測(cè)臉區(qū)域301。除此之外，只要是能夠進(jìn)行上述臉檢測(cè)的技術(shù)，可以是任何方法。在步驟S3中，臉器官檢測(cè)單元130以由臉檢測(cè)單元120輸入的臉圖像300的臉區(qū)域301為搜索區(qū)域，進(jìn)行嘴角、外眼角、內(nèi)眼角等臉器官組302的檢測(cè)處理。臉器官檢測(cè)例如使用分離度濾波器，檢測(cè)嘴角、外眼角、內(nèi)眼角等臉器官的端點(diǎn)或鼻孔等的二維坐標(biāo)。另外，既可以使學(xué)習(xí)器預(yù)先學(xué)習(xí)多個(gè)臉圖像與對(duì)應(yīng)于臉圖像的臉器官的位置的關(guān)系，在將臉圖像300輸入到學(xué)習(xí)器時(shí)，將似然度最高之處檢測(cè)為臉器官，也可以使用標(biāo)準(zhǔn)的臉器官的模板從臉圖像300內(nèi)搜索臉器官。在步驟S4中，瞳孔檢測(cè)單元141從在上述的步驟S3中通過臉器官組檢測(cè)而檢測(cè)出的眼區(qū)域中，檢測(cè)圖3的瞳孔303的中心坐標(biāo)。在臉圖像中，瞳孔的中心坐標(biāo)例如對(duì)于在上述的步驟S3中通過臉器官組檢測(cè)而檢測(cè)出的包含外眼角、內(nèi)眼角的眼區(qū)域，適用圓形分離度濾波器，將亮度的分離度最高的圓的中心的坐標(biāo)提取為瞳孔的中心坐標(biāo)。此時(shí)，考慮通過使用了索貝爾(Sobel)濾波器的邊緣檢測(cè)、使用了大津的閾值確定方法等的亮度的二值化等檢測(cè)出的眼臉，僅將夾在上下眼瞼中的區(qū)域內(nèi)作為檢測(cè)對(duì)象范圍。另外，也可以在包含外眼角、內(nèi)眼角的區(qū)域中，在水平、垂直方向取亮度和，將在垂直方向得到的亮度和在水平方向得到的亮度和為最小的點(diǎn)作為瞳孔中心。另外，檢測(cè)對(duì)象也可以不是瞳孔而是虹膜的中心、角膜的中心。除此之外，只要是能檢測(cè)上述瞳孔的中心坐標(biāo)的技術(shù)，可以采用任何檢測(cè)方法。在步驟S5中，角膜反射圖像檢測(cè)單元142從在上述的步驟S3中通過臉器官組檢測(cè)所檢測(cè)出的眼區(qū)域中，檢測(cè)圖的角膜反射圖像304的中心坐標(biāo)。就角膜反射圖像的中心坐標(biāo)來說，例如對(duì)于在上述的步驟S4中檢測(cè)出的瞳孔的中心的周圍區(qū)域，計(jì)算亮度直方圖(brightnesshistogram)，將最大亮度像素的坐標(biāo)的重心檢測(cè)為角膜反射圖像的中心坐標(biāo)。另外，也可以獲取直方圖的高位數(shù)％(例如1%)的像素的重心。此時(shí)，在最大亮度小于預(yù)先確定的閾值時(shí)，視為不存在角膜反射圖像，中止判定處理，并返回到上述的步驟Si。另外，在最大亮度的像素?cái)?shù)大于預(yù)先確定的閾值時(shí)，視為在角膜反射圖像中包含照射單元112之外的物體的反射，中止處理，并返回到上述的步驟Si。在步驟S6中，線對(duì)稱位置計(jì)算單元150計(jì)算連結(jié)了從圖像特征檢測(cè)單元140輸入的瞳孔303的中心坐標(biāo)與角膜反射圖像304的中心坐標(biāo)的線段的垂直二等分線，計(jì)算對(duì)于計(jì)算出的垂直二等分線的左右一側(cè)的角膜反射圖像的線對(duì)稱位置的中心坐標(biāo)。圖8是表示在視線方向判定裝置100中使用的圖像特征的例子的圖，圖8A表示視線朝向照相機(jī)206的方向時(shí)的圖像410，圖8B表示視線未朝向照相機(jī)206的方向時(shí)的圖像420。在圖8A中，瞳孔411與圖7中的瞳孔303相同，角膜反射圖像412與圖7中的角膜反射圖像304相同。在圖8中，線對(duì)稱位置計(jì)算單元150根據(jù)下式(1)計(jì)算連結(jié)兩眼的瞳孔411的中心坐標(biāo)的線段的垂直二等分線414。權(quán)利要求1.視線方向判定裝置，包括攝像單元，拍攝包含兩眼的臉圖像；照射單元，通過光源照射所述兩眼的角膜；瞳孔檢測(cè)單元，從所述臉圖像，檢測(cè)作為所述兩眼中的一側(cè)的眼的瞳孔的中心坐標(biāo)的第1坐標(biāo)、以及作為另一側(cè)的眼的瞳孔的中心坐標(biāo)的第2坐標(biāo)；角膜反射圖像檢測(cè)單元，從所述臉圖像，檢測(cè)所述一側(cè)的眼的角膜中的作為所述光源的角膜反射圖像的中心坐標(biāo)的第3坐標(biāo)、以及所述另一側(cè)的眼的角膜中的作為所述光源的角膜反射圖像的中心坐標(biāo)的第4坐標(biāo)；線對(duì)稱位置計(jì)算單元，計(jì)算連結(jié)所述第1坐標(biāo)和所述第2坐標(biāo)的第1線段的垂直二等分線，并計(jì)算作為對(duì)于所述垂直二等分線和所述第3坐標(biāo)線對(duì)稱的位置坐標(biāo)的線對(duì)稱位置坐標(biāo)；以及視線方向判定單元，計(jì)算所述第4坐標(biāo)和所述線對(duì)稱位置坐標(biāo)之間的坐標(biāo)距離，并基于所述坐標(biāo)距離與規(guī)定的閾值的比較，判定所述兩眼的視線方向。2.如權(quán)利要求1所述的視線方向判定裝置，連結(jié)從所述攝像單元到包含所述第1線段的平面的垂線的垂足和從所述照射單元到所述平面的垂線的垂足的第2線段與所述第1線段正交。3.如權(quán)利要求1所述的視線方向判定裝置，還包括警報(bào)裝置，所述警報(bào)裝置接受所述視線方向判定單元的判定結(jié)果，對(duì)接受了所述視線方向不是特定的方向的判定結(jié)果的次數(shù)進(jìn)行計(jì)數(shù)，在所述計(jì)數(shù)的數(shù)超過規(guī)定的次數(shù)時(shí)發(fā)出警告。4.如權(quán)利要求3所述的視線方向判定裝置，所述警報(bào)裝置在接受到所述視線方向是所述特定的方向的判定結(jié)果時(shí)，使所述計(jì)數(shù)的數(shù)為零。5.如權(quán)利要求1所述的視線方向判定裝置，還包括臉方向計(jì)算單元，基于所述臉圖像判定臉方向；以及臉視線方向判定單元，在由所述臉方向計(jì)算單元判定為所述臉方向是所述特定的方向時(shí)，基于所述坐標(biāo)距離和所述規(guī)定的閾值，判定視線方向，所述視線方向判定單元以臉的方向?yàn)閰?shù)，判定視線方向。6.如權(quán)利要求1所述的視線方向判定裝置，還包括視線方向計(jì)算單元，從由所述攝像單元獲取的所述臉圖像計(jì)算視線方向信息；以及校正單元，基于所述視線方向判定單元的判定結(jié)果以及所述視線方向計(jì)算信息，計(jì)算所述視線方向的偏差值，并基于所述偏差值校正視線方向。7.視線方向判定方法，包括拍攝包含兩眼的臉圖像；通過光源照射所述兩眼的角膜；從所述臉圖像，檢測(cè)作為所述兩眼中的一側(cè)的眼的瞳孔的中心坐標(biāo)的第1坐標(biāo)、以及作為另一側(cè)的眼的瞳孔的中心坐標(biāo)的第2坐標(biāo)；從所述臉圖像，檢測(cè)所述一側(cè)的眼的角膜中的作為所述光源的角膜反射圖像的中心坐標(biāo)的第3坐標(biāo)、以及所述另一側(cè)的眼的角膜中的作為所述光源的角膜反射圖像的中心坐標(biāo)的第4坐標(biāo)；計(jì)算連結(jié)所述第1坐標(biāo)和所述第2坐標(biāo)的第1線段的垂直二等分線，并計(jì)算作為對(duì)于所述垂直二等分線和所述第3坐標(biāo)線對(duì)稱的位置坐標(biāo)的線對(duì)稱位置坐標(biāo)；以及計(jì)算所述第4坐標(biāo)與所述線對(duì)稱位置坐標(biāo)之間的坐標(biāo)距離，并基于所述坐標(biāo)距離與規(guī)定的閾值的比較，判定所述兩眼的視線方向。全文摘要公開了能夠無需注視對(duì)象的指示和事先的調(diào)整作業(yè)而從剛開始測(cè)量就進(jìn)行判定，能夠高精度并準(zhǔn)確地判定視線方向的視線方向判定裝置及視線方向判定方法。視線方向判定裝置(100)包括對(duì)于左右眼的瞳孔的中心線，判定左眼或右眼的角膜反射圖像處于線對(duì)稱的位置的線對(duì)稱位置判定單元(150)；以及從線對(duì)稱位置判定結(jié)果判定包含攝像單元(111)或大致相同位置的照射單元(112)的設(shè)置位置的特定位置的視線方向的視線方向判定單元(170)，視線方向判定裝置判定角膜反射圖像的線對(duì)稱性，從該線對(duì)稱性判定特定的視線方向。文檔編號(hào)G06T1/00GK102149325SQ20098013546公開日2011年8月10日申請(qǐng)日期2009年9月25日優(yōu)先權(quán)日2008年9月26日發(fā)明者丸谷健介,築澤宗太郎申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社