專利名稱：：瞳孔檢測裝置及瞳孔檢測方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及瞳孔檢測裝置和瞳孔檢測方法。
背景技術(shù)：
：在如夜間或隧道內(nèi)等無法充分地確保照度的環(huán)境中從臉圖像進行視線檢測或表情檢測的情況下，為了確保照度，有時使用投光器。在使用了投光器的情況下，在眼球上觀測到因投光器映入到眼球的角膜上而產(chǎn)生的角膜反射像。在該角膜反射像的圖像(下面，有時稱為“角膜反射圖像”)和瞳孔圖像重疊的情況下，有時角膜反射圖像遮掩瞳孔圖像。在這種情況下，根據(jù)以往的以完全看到瞳孔圖像為前提的瞳孔檢測的手法，難以檢測瞳孔圖像。作為對應這種問題的第一方法，有專利文獻1中公開的方法。根據(jù)該第一方法，在眼區(qū)域內(nèi)計算亮度的微分，基于該計算結(jié)果，搜索負的邊緣(edge)和與其對應的正的邊緣。由此，即使在瞳孔圖像內(nèi)出現(xiàn)角膜反射圖像的情況下，也能夠進行瞳孔檢測。另外，作為第二方法，有專利文獻2中公開的方法。根據(jù)該第二方法，在投光器中使用SLD(superluminescentdiode，超級發(fā)光雙極管)。由此，能夠縮小映入到眼鏡或角膜上的投光器的反射像的面積，從而能夠?qū)崿F(xiàn)瞳孔檢測的穩(wěn)定化。進而，作為第三方法，有非專利文獻1中公開的方法。根據(jù)該第三方法，從瞳孔區(qū)域的邊緣產(chǎn)生多個平行四邊形，并對于各個平行四邊形的中心進行投票。然后，檢測被最多地投票的坐標作為瞳孔中心。進而，從自檢測出的瞳孔中心相等距離的邊緣檢測瞳孔輪廓?，F(xiàn)有技術(shù)文獻專利文獻專利文獻1日本專利申請?zhí)亻_平2-213322號公報專利文獻2日本專利申請?zhí)亻_平7-M8216號公報非專利文獻非專利文獻1「高速楕円検出(二基3<眼球回旋運動O計測(MeasurementofCycloductionMovementBasedonFastEllipseDetection)」，坂下祐輔,藤吉弘亙,平田豊，高丸尚教，深谷直樹，SSII2006論文集
發(fā)明內(nèi)容發(fā)明要解決的問題可是，在上述的第一方法中進行如下嘗試，S卩在瞳孔輪廓上重疊了角膜反射像的情況下，改變投光器的位置而形成瞳孔輪廓和角膜反射像不重疊的狀況。然而，在難以使用多個投光器或者改變投光器的位置的情況下，難以避免在瞳孔輪廓上重疊了角膜反射像的狀況，其結(jié)果難以進行瞳孔檢測。另外，在上述的第二方法中，通過縮小角膜反射像的物理大小，縮小角膜反射像遮掩瞳孔的區(qū)域。然而，在無法確保足夠的圖像的分辨率的情況下，不管角膜反射像的物理大小如何，角膜反射像和瞳孔圖像的大小大致相同。例如，在數(shù)字圖像的原理上，圖像上的角膜反射圖像的直徑為1像素以上，但是在分辨率低的情況下，瞳孔直徑最小也會縮小到1像素左右。因此，在角膜反射像和瞳孔重疊的情況下，瞳孔圖像被角膜反射圖像遮掩的“被遮掩面積”在圖像上變大，其結(jié)果難以進行瞳孔檢測。另外，在上述的第三方法中，通過從作為瞳孔輪廓候補的邊緣像素中每次提取4點來生成多個平行四邊形，并將成為平行四邊形的中心的狀況最多的像素作為瞳孔中心。然而，在未觀測到位于相對瞳孔中心對稱的位置的邊緣的情況下，平行四邊形的中心很少位于瞳孔中心部分。因此，在角膜反射像遮掩了瞳孔的一半以上的情況下，難以進行瞳孔檢測。本發(fā)明是鑒于這些方面而完成，其目的在于提供瞳孔檢測裝置和瞳孔檢測方法，即使在瞳孔的大部分被角膜反射像遮掩的情況下，也能夠穩(wěn)定地檢測瞳孔。解決問題的方案本發(fā)明的瞳孔檢測裝置為檢測眼區(qū)域圖像內(nèi)的瞳孔圖像的瞳孔檢測裝置，包括第一檢測單元，檢測所述眼區(qū)域圖像的高亮度圖像區(qū)域即角膜反射圖像；評價值計算單元，設(shè)定以所述角膜反射圖像內(nèi)的基準點為一端且具有規(guī)定的長度的多個線段，并基于各個線段中的各個像素的亮度和基準亮度，計算亮度評價值；確定單元，基于所述亮度評價值，從所述多個線段中確定通過所述瞳孔圖像的中心的瞳孔中心直線；以及第二檢測單元，基于所述瞳孔中心直線的周邊的亮度狀態(tài)，或者所述瞳孔中心直線上的亮度狀態(tài)，檢測所述瞳孔圖像。本發(fā)明的瞳孔檢測方法為檢測眼區(qū)域圖像內(nèi)的瞳孔圖像的瞳孔檢測方法，包括以下步驟檢測所述眼區(qū)域圖像的高亮度圖像區(qū)域即角膜反射圖像；設(shè)定以所述角膜反射圖像內(nèi)的基準點為一端且具有規(guī)定的長度的多個線段；基于各個線段中的各個像素的亮度和基準亮度，計算亮度評價值；基于所述亮度評價值，從所述多個線段中確定通過所述瞳孔圖像的中心的瞳孔中心直線；以及基于所述瞳孔中心直線的周邊的亮度狀態(tài)，或者所述瞳孔中心直線上的亮度狀態(tài)，檢測所述瞳孔圖像。發(fā)明的效果根據(jù)本發(fā)明，能夠提供瞳孔檢測裝置和瞳孔檢測方法，即使在瞳孔的大部分被角膜反射像遮掩的情況下，通過主動地利用角膜反射像的信息，也能夠穩(wěn)定地檢測瞳孔。圖1是表示本發(fā)明實施方式1的瞳孔檢測裝置的結(jié)構(gòu)的方框圖。圖2是表示眼區(qū)域檢測單元的結(jié)構(gòu)的方框圖。圖3是用于說明瞳孔檢測裝置的動作的流程圖。圖4是表示目標圖像即臉圖像的圖。圖5是用于說明角膜反射圖像檢測處理和亮度評價值計算處理的圖。圖6是表示一例亮度評價值和計算出該亮度評價值的輻射方向與基準方向形成的角度之間的對應關(guān)系的圖。圖7是用于說明亮度評價值計算處理的圖。圖8是用于說明瞳孔搜索處理的圖。圖9是表示本發(fā)明實施方式2的瞳孔檢測裝置的結(jié)構(gòu)的方框圖。圖10是用于說明瞳孔檢測裝置的動作的流程圖。圖11是表示本發(fā)明實施方式3的瞳孔檢測裝置的結(jié)構(gòu)的方框圖。圖12是用于說明瞳孔檢測裝置的動作的流程圖。圖13是表示本發(fā)明實施方式4的瞳孔檢測裝置的結(jié)構(gòu)的方框圖。圖14是表示本發(fā)明實施方式5的瞳孔檢測裝置的結(jié)構(gòu)的方框圖。圖15是用于說明瞳孔中心直線計算單元的動作的圖。圖16是表示本發(fā)明實施方式6的瞳孔檢測裝置的結(jié)構(gòu)的方框圖。圖17是用于說明瞳孔搜索單元的動作的圖。圖18是表示本發(fā)明實施方式7的瞳孔檢測裝置的結(jié)構(gòu)的方框圖。圖19是用于說明瞳孔搜索單元的動作的圖。標號說明100、600、800、1000、1100、1300、1400瞳孔檢測裝置101眼區(qū)域圖像獲取單元102角膜反射像檢測單元103瞳孔狀態(tài)預測單元104瞳孔狀態(tài)存儲單元105、601周邊狀態(tài)評價單元106、1001、1101瞳孔中心直線計算單元107、804、1301、1401瞳孔搜索單元111圖像輸入單元112眼區(qū)域檢測單元121臉檢測單元122臉器官檢測單元123眼區(qū)域決定單元602鞏膜平均亮度計算單元603鞏膜平均亮度存儲單元801照度測定單元802照明狀態(tài)存儲單元803照明狀態(tài)估計單元具體實施例方式以下，參照附圖詳細說明本發(fā)明的實施方式。另外，在實施方式中，對相同的結(jié)構(gòu)要素附加相同的標號，由于重復而省略其說明。實施方式1[瞳孔檢測裝置100的結(jié)構(gòu)]圖1是表示本發(fā)明的實施方式1的瞳孔檢測裝置100的結(jié)構(gòu)的方框圖。瞳孔檢測裝置100例如設(shè)置在汽車的車內(nèi)，與視線檢測裝置連接而使用。該視線檢測裝置基于瞳孔檢測裝置100的檢測結(jié)果決定瞳孔位置，并檢測駕駛員的視線方向。下面，特別對將瞳孔檢測裝置100應用于視線檢測裝置的情況進行說明。在圖1中，瞳孔檢測裝置100包括眼區(qū)域圖像獲取單元101、角膜反射像檢測單元102、瞳孔狀態(tài)預測單元103、瞳孔狀態(tài)存儲單元104、周邊狀態(tài)評價單元105、瞳孔中心直線計算單元106以及瞳孔搜索單元107。眼區(qū)域圖像獲取單元101獲取眼區(qū)域圖像，并將其輸出到角膜反射像檢測單元102。具體來說，眼區(qū)域圖像獲取單元101具備圖像輸入單元111和眼區(qū)域檢測單元112。圖像輸入單元111對拍攝目標(即，在此是人物)進行拍攝。該目標圖像數(shù)據(jù)被輸出到眼區(qū)域檢測單元112。圖像輸入單元111例如設(shè)置于車的方向盤上、或者儀表盤上等駕駛席的正面。由此，通過圖像輸入單元111拍攝駕駛中的駕駛者的臉。眼區(qū)域檢測單元112從自圖像輸入單元111接受的目標圖像中，檢測眼區(qū)域圖像。具體來說，如圖2所示，眼區(qū)域檢測單元112具有臉檢測單元121、臉器官檢測單元122和眼區(qū)域決定單元123。臉檢測單元121從自圖像輸入單元111接受的目標圖像中檢測臉圖像，并將臉圖像數(shù)據(jù)輸出到臉器官檢測單元122。臉器官檢測單元122從自臉檢測單元121接受的臉圖像中檢測臉器官群(即，外眼角、內(nèi)眼角等)，并將各臉器官的位置坐標向眼區(qū)域決定單元123輸出。眼區(qū)域決定單元123基于從臉器官檢測單元122接受的各臉器官的位置坐標，決定眼區(qū)域圖像的位置和大小。該眼區(qū)域圖像的位置和大小作為眼區(qū)域圖像檢測結(jié)果，與從圖像輸入單元111輸出的目標圖像一起被輸出到角膜反射像檢測單元102。此外，對左眼和右眼分別計算眼區(qū)域圖像的位置和大小。返回到圖1，角膜反射像檢測單元102從自眼區(qū)域圖像獲取單元101接受的目標圖像數(shù)據(jù)中檢測角膜反射圖像，并將有關(guān)檢測出的角膜反射圖像的信息輸出到周邊狀態(tài)評價單元105。該有關(guān)角膜反射圖像的信息中包含角膜反射圖像區(qū)域的中心的坐標。周邊狀態(tài)評價單元105計算以角膜反射圖像為基準的、反射方向的“亮度評價值”。也就是說，周邊狀態(tài)評價單元105計算亮度評價值與計算出該亮度評價值的輻射方向和基準方向形成的角度之間的對應關(guān)系。具體來說，周邊狀態(tài)評價單元105在由角膜反射像檢測單元102檢測出的角膜反射圖像內(nèi)設(shè)定基準點，并設(shè)定以該基準點為一端且具有規(guī)定的長度的多個線段。通過從基準方向開始每次旋轉(zhuǎn)規(guī)定角度，依次設(shè)定該多個線段。由于這里以角膜反射圖像和瞳孔圖像重疊的情況為前提，所以線段的規(guī)定的長度為估計的瞳孔圖像的直徑(以下，有時被稱為“估計瞳孔直徑”)。估計瞳孔直徑由瞳孔狀態(tài)預測單元103進行估計。另外，在還包含角膜反射圖像和瞳孔圖像未重復的情況而進行處理的情況下，將線段的長度設(shè)定為長于估計瞳孔直徑的長度即可。然后，周邊狀態(tài)評價單元105基于各個線段中的各個像素的亮度和基準亮度，計算亮度評價值。詳細而言，周邊狀態(tài)評價單元105將各個線段中的各個像素的亮度和基準亮度進行比較，提取具有亮度比基準亮度低的像素，并計算提取出的所有像素的亮度和基準亮度之差的總和作為亮度評價值。也就是說，使用下式(1)求亮度評價值。ν=Υ(Β<55-Β:0)…(1)L其中，V為亮度評價值，S為作為基準亮度使用的鞏膜平均亮度，B為線段上的各個像素的亮度，L為線段。瞳孔中心直線計算單元106基于由周邊狀態(tài)評價單元105計算出的亮度評價值，確定通過瞳孔圖像的中心的線段(以下，有時被稱為“瞳孔中心直線”)。具體來說，瞳孔中心直線計算單元106將由周邊狀態(tài)評價單元105計算出的亮度評價值最大的線段確定為瞳孔中心直線。瞳孔搜索單元107基于瞳孔中心直線周邊的亮度狀態(tài)，搜索瞳孔圖像。具體來說，瞳孔搜索單元107基于由瞳孔中心直線計算單元106所確定的瞳孔中心直線和包含上述的估計瞳孔直徑的直徑候補群，依次設(shè)定瞳孔圖像區(qū)域候補，并基于瞳孔圖像區(qū)域候補內(nèi)的亮度狀態(tài)，從瞳孔圖像區(qū)域候補群中檢測瞳孔圖像區(qū)域(即，瞳孔圖像區(qū)域的可能性最大的區(qū)域)，從而搜索瞳孔圖像區(qū)域。具體來說，瞳孔搜索單元107將在瞳孔中心直線上存在中心、且以直徑候補群內(nèi)的一個直徑候補作為直徑的圓設(shè)定為瞳孔圖像區(qū)域候補，并計算該瞳孔圖像區(qū)域候補內(nèi)的亮度狀態(tài)指標。作為該亮度狀態(tài)指標，這里使用在所設(shè)定的瞳孔圖像區(qū)域候補內(nèi)的像素群中，亮度比基準亮度低的像素群的平均亮度。也就是說，使用下式(求亮度狀態(tài)指標。^(B<S1B:0)X=^--…(2)P其中，X為瞳孔圖像區(qū)域候補的亮度狀態(tài)指標，P為瞳孔圖像區(qū)域候補，即為在瞳孔中心直線上存在中心、且以直徑候補群內(nèi)的一個直徑候補作為直徑的圓。也就是說，在式(2)的分母中將在瞳孔圖像區(qū)域候補內(nèi)的、亮度比基準亮度低的像素的數(shù)進行計數(shù)，而在分子中，求在瞳孔圖像區(qū)域候補內(nèi)的、亮度比基準亮度低的像素的亮度的總和。對于各個瞳孔圖像區(qū)域候補(即，中心位置和直徑候補的組合不同的各個瞳孔圖像區(qū)域候補)求該亮度狀態(tài)指標，并將在瞳孔圖像區(qū)域候補群內(nèi)的、亮度狀態(tài)指標最小的瞳孔圖像區(qū)域候補確定為瞳孔圖像區(qū)域。有關(guān)如上所確定的瞳孔圖像區(qū)域的信息(即，有關(guān)中心位置和直徑的信息)被存儲在瞳孔狀態(tài)存儲單元104，同時被用于后級的功能單元即視線檢測單元(未圖示)中的視線檢測處理。另外，這里雖然準備了多個直徑候補，但是也可以僅使用估計瞳孔直徑。由此，在瞳孔直徑的變動較少的拍攝環(huán)境中，也能夠維持瞳孔檢測的精度并降低處理量。瞳孔狀態(tài)存儲單元104將有關(guān)由瞳孔搜索單元107檢測出的瞳孔圖像區(qū)域的信息(即，有關(guān)中心位置和直徑的信息)與在瞳孔圖像區(qū)域的檢測中使用的目標圖像的拍攝時刻關(guān)聯(lián)地存儲。瞳孔狀態(tài)預測單元103根據(jù)在瞳孔狀態(tài)存儲單元104中所存儲的過去的檢測瞳孔直徑(即，瞳孔圖像區(qū)域的直徑)，對當前的瞳孔的直徑進行估計。該估計瞳孔直徑被輸出到周邊狀態(tài)評價單元105和瞳孔搜索單元107。[瞳孔檢測裝置100的動作]說明具有以上的結(jié)構(gòu)的瞳孔檢測裝置100的動作。圖3是用于說明瞳孔檢測裝置100的動作的流程圖。在圖3的流程圖中，還包含上述的視線檢測裝置中的處理流程。圖3所示的處理流程與拍攝作業(yè)同時開始。拍攝作業(yè)即可以通過用戶的操作來開始，也可以將外部的某個信號作為觸發(fā)而開始。<圖像獲取處理>在步驟S201中，圖像輸入單元111對拍攝目標(即，在此是人物)進行拍攝。由此，獲取目標圖像。作為圖像輸入單元111，例如假想為具備CMOS圖像傳感器和鏡頭的數(shù)碼攝像機。因此，由圖像輸入單元111拍攝的PPM(PortablePixMapfileformat，可移植的象素映射位圖文件格式)格式的圖像等暫時被存儲到圖像輸入單元111所包含的未圖示的圖像存儲單元(例如，PC的存儲器空間)中之后，仍以PPM格式輸出到眼區(qū)域檢測單元112?！茨槇D像檢測處理〉在步驟S202中，臉檢測單元121從自圖像輸入單元111接受的目標圖像中，檢測臉圖像。圖4是表示目標圖像即臉圖像的圖。此外，在所拍攝的臉圖像中，例如將圖像橫向設(shè)為X軸、且將圖像縱向設(shè)為Y軸，1像素為1坐標點。在臉區(qū)域檢測處理中，例如，從輸入圖像中提取成為特征的圖像的候補(即，特征圖像候補)，通過比較所提取的特征圖像候補和表示預先準備的臉區(qū)域的特征圖像，檢測出類似度高的特征圖像候補。例如，將預先獲取的平均臉的伽柏(Gabor)特征量和通過掃描輸入圖像而提取的伽柏特征量進行對照，求兩者差分的絕對值的倒數(shù)作為類似度。在該情況下，臉檢測單元121與預先準備的模板進行比較，將在圖4的圖像400中相關(guān)度最高的區(qū)域確定為臉圖像401。此外，臉區(qū)域檢測處理即可以通過從圖像中檢測膚色區(qū)域(即，膚色區(qū)域檢測)進行，也可以通過檢測橢圓部分(即，橢圓檢測)進行，也可以通過采用統(tǒng)計學的模式識別方法進行。此外，只要是能夠進行上述臉檢測的技術(shù)，可以采用任何方法。<臉器官檢測處理>在步驟S203中，臉器官檢測單元122從自臉檢測單元121接受的臉圖像中檢測臉器官群(即，嘴角、外眼角、內(nèi)眼角等)，并將各臉器官的位置坐標輸出到眼區(qū)域決定單元123。臉器官群的搜索區(qū)域是在步驟S202中所確定的臉區(qū)域401。在圖4中，分別示出臉器官群402。在臉器官群檢測處理中，例如利用分離度過濾器檢測嘴角、外眼角、內(nèi)眼角等臉器官的端點或鼻孔等的二維坐標。此外，即可以是，預先使學習器學習多個臉圖像和與臉圖像對應的臉器官的位置之間的對應關(guān)系，臉器官檢測單元122在輸入了臉圖像401時，將與該對應關(guān)系似然最高的部位作為臉器官來檢測?；蛘?，也可以是，臉器官檢測單元122利用標準的臉器官的模板，從臉圖像401中搜索臉器官?！囱蹍^(qū)域決定處理〉在步驟S204中，眼區(qū)域決定單元123從自臉檢測單元121接受的臉圖像和自臉器官檢測單元122接受的臉器官群中，決定眼區(qū)域。在眼區(qū)域決定處理中，例如在左、右各個眼中，將包含外眼角、內(nèi)眼角的矩形區(qū)域403決定為眼區(qū)域，獲取矩形的左上端點坐標和右下端點坐標作為眼區(qū)域信息。<角膜反射圖像檢測處理>在步驟S205中，角膜反射像檢測單元102從自臉檢測單元121接受的臉圖像和自眼區(qū)域決定單元123接受的眼區(qū)域信息中，檢測角膜反射圖像。具體來說，如圖5所示，角膜反射像檢測單元102在眼區(qū)域403內(nèi)檢測角膜反射圖像501的中心坐標。例如，角膜反射像檢測單元102在眼區(qū)域403內(nèi)生成亮度分布，使用所生成的亮度分布，將規(guī)定的亮度以上且區(qū)域的大小在規(guī)定的大小范圍內(nèi)的區(qū)域檢測為角膜反射圖像，并將該區(qū)域的重心作為角膜反射圖像的中心。<估計瞳孔直徑計算處理>在步驟S206中，瞳孔狀態(tài)預測單元103根據(jù)在瞳孔狀態(tài)存儲單元104中所存儲的過去的檢測瞳孔直徑，計算估計瞳孔直徑作為當前的瞳孔直徑。對于估計瞳孔直徑而言，例如，根據(jù)過去的檢測瞳孔直徑的歷史計算瞳孔直徑的變化速度，并將維持了該瞳孔直徑變化速度時的瞳孔直徑作為估計瞳孔直徑。但是，估計瞳孔直徑的計算并不限于上述方法，例如，也可以在瞳孔直徑向變小的方向變化時總是使用人的平均最大縮瞳速度，而在向變大的方向時使用最大擴瞳速度。或者，也可以通過使用卡爾曼濾波器(Kalmanfilter)等的狀態(tài)預測來求估計瞳孔直徑。<亮度評價值計算處理>在步驟S207中，周邊狀態(tài)評價單元105從包含由角膜反射像檢測單元102生成的角膜反射圖像的圖像區(qū)域的亮度分布，將亮度評價值與計算出該亮度評價值的輻射方向和基準方向形成的角度之間的對應關(guān)系進行計算。圖6表示一例亮度評價值與計算出該亮度評價值的輻射方向和基準方向形成的角度之間的對應關(guān)系。具體來說，首先，周邊狀態(tài)評價單元105計算在眼區(qū)域內(nèi)距角膜反射圖像的中心離開了平均的角膜半徑(例如為5mm)以上的區(qū)域的平均亮度作為鞏膜平均亮度。作為上述的基準亮度使用該鞏膜平均亮度。其次，如圖5所示，周邊狀態(tài)評價單元105在由角膜反射像檢測單元102檢測出的角膜反射圖像內(nèi)設(shè)定基準點(在此為角膜反射圖像區(qū)域的中心)，并設(shè)定以該基準點為一端且具有估計瞳孔直徑的長度的線段502。然后，周邊狀態(tài)評價單元105基于各個線段502的各個像素的亮度和基準亮度，計算亮度評價值。通過提取具有亮度比基準亮度低的像素，并求有關(guān)所提取的所有像素的亮度和基準亮度之差的總和，作為該亮度估計值。如圖7所示，對于通過從基準方向開始每次旋轉(zhuǎn)規(guī)定角度而依次設(shè)定的多個線段502的每一個，進行該計算處理。這里，對于與角膜對應的圖像，或者，外光映射到眼鏡或角膜上的圖像區(qū)域而言，其亮度比與瞳孔對應的圖像的亮度高。因此，通過以與鞏膜對應的圖像區(qū)域的亮度為基準，僅提取亮度低于該基準亮度的像素，能夠排除不是與瞳孔對應的圖像區(qū)域的可能性高的像素的影響。而且，僅以與瞳孔對應的圖像區(qū)域的可能性高的低亮度的像素為對象來計算亮度評價值，能夠獲取使瞳孔中心直線的檢測精度提高的評價值?！赐字行闹本€檢測處理〉在步驟S208中，瞳孔中心直線計算單元106基于由周邊狀態(tài)評價單元105計算出的亮度評價值，確定瞳孔中心直線。具體來說，瞳孔中心直線計算單元106將由周邊狀態(tài)評價單元105計算出的亮度評價值最大的線段確定為瞳孔中心直線。另外，也可以通過計算規(guī)定的角度范圍內(nèi)的亮度評價值的總和最高的范圍的加權(quán)平均，檢測瞳孔中心直線相對基準方向的角度。此時，將通過角膜反射圖像區(qū)域的中心、且在檢測角度方向伸延的直線作為瞳孔中心直線?！赐姿阉魈幚怼翟诓襟ES209中，如圖8所示，瞳孔搜索單元107基于由瞳孔中心直線計算單元106所確定的瞳孔中心直線和包含上述的估計瞳孔直徑的直徑候補群，依次設(shè)定瞳孔圖像區(qū)域候補，并基于瞳孔圖像區(qū)域候補內(nèi)的亮度狀態(tài)，從瞳孔圖像區(qū)域候補群中檢測瞳孔圖像區(qū)域(即，瞳孔圖像區(qū)域的可能性最大的區(qū)域)，從而搜索瞳孔圖像區(qū)域。另外，在圖8中，僅示出了估計瞳孔直徑的瞳孔圖像區(qū)域候補群。具體來說，瞳孔搜索單元107將在瞳孔中心直線上存在中心、且以直徑候補群內(nèi)的一個直徑候補作為直徑的圓設(shè)定為瞳孔圖像區(qū)域候補，并計算該瞳孔圖像區(qū)域候補內(nèi)的亮度狀態(tài)指標。在該亮度狀態(tài)指標上，這里使用在所設(shè)定的瞳孔圖像區(qū)域候補內(nèi)的像素群中，亮度比基準亮度低的像素群的平均亮度。<瞳孔圖像區(qū)域信息的保存方法>在步驟S210中，瞳孔狀態(tài)存儲單元104將有關(guān)由瞳孔搜索單元107所檢測的瞳孔圖像區(qū)域的信息(即，有關(guān)中心位置和直徑的信息)與瞳孔圖像區(qū)域的檢測中所使用的目標圖像的拍攝時刻關(guān)聯(lián)地存儲?！匆暰€檢測處理〉在步驟S211中，視線檢測單元(未圖示)檢測視線。視線檢測，例如根據(jù)臉朝向矢量和視線方向矢量計算，該臉朝向矢量表示根據(jù)臉器官群402的坐標計算出的臉的正面方向的朝向，該視線方向矢量為與根據(jù)外眼角、內(nèi)眼角、瞳孔中心的坐標計算出的臉的正面方向相對的矢量。臉朝向矢量例如按下面的順序計算。首先，通過將預先獲取的駕駛者的臉器官群的三維坐標旋轉(zhuǎn)及平移而進行變換。然后，將變換的三維坐標投影到瞳孔檢測中使用的目標圖像上。之后，計算與在步驟S203中檢測的臉器官群最一致的旋轉(zhuǎn)及平移參數(shù)。此時，在預先獲取了駕駛者的臉器官群的三維坐標時，表示駕駛者的臉朝著的方向的矢量和按照所決定的旋轉(zhuǎn)參數(shù)旋轉(zhuǎn)的矢量的組合，就是臉朝向矢量。此外，視線方向矢量例如按下面的順序計算。首先，預先存儲在臉朝著規(guī)定的方向的情況下，觀察與臉朝向相同的方向時的駕駛者的臉器官群和瞳孔中心的三維坐標。瞳孔中心的檢測，例如通過在眼區(qū)域內(nèi)獲取規(guī)定的亮度以下的像素的重心來進行。接著，計算從所檢測出的瞳孔的三維坐標向視線方向的相反側(cè)移動了規(guī)定的距離的位置，作為眼球中心位置。此時，作為上述規(guī)定的距離，一般的成人眼球的半徑即12mm左右較適當，但并不限于上述值，也可以采用任意的值。接著，使用在臉朝向矢量計算時獲取的臉的旋轉(zhuǎn)及平移參數(shù)，求檢測時的眼球中心的三維坐標。接著，假設(shè)瞳孔位于以眼球中心為中心、半徑為上述規(guī)定的距離的球上，并搜索所檢測的瞳孔中心位于上述球上的哪個位置。最后，計算將眼球中心和所搜索的球上的點連接起來的矢量，作為視線方向?！唇Y(jié)束判定處理〉在步驟S212中，進行結(jié)束判定。結(jié)束判定既可以通過由人工輸入結(jié)束命令來進行，也可以以外部的某種信號為觸發(fā)而由瞳孔檢測裝置100進行。在步驟S212中判定為結(jié)束的情況下，結(jié)束圖3的處理。如上所述，根據(jù)本實施方式，在瞳孔檢測裝置100中，周邊狀態(tài)評價單元105設(shè)定以角膜反射圖像內(nèi)的基準點為一端且具有規(guī)定的長度的多個線段，基于各個線段中的各個像素的亮度和基準亮度計算亮度評價值，瞳孔中心直線計算單元106基于亮度評價值，從多個線段中確定通過瞳孔圖像的中心的瞳孔中心直線，瞳孔搜索單元107基于瞳孔中心直線的周邊的亮度狀態(tài)，檢測瞳孔圖像。這樣，在基于以角膜反射圖像為基準設(shè)定的線段中的亮度評價值確定了瞳孔中心直線之后，基于該瞳孔中心直線的周邊的亮度狀態(tài)檢測瞳孔圖像，所以能夠主動地利用角膜反射像的信息且能夠?qū)崿F(xiàn)穩(wěn)定的瞳孔檢測。另外，周邊狀態(tài)評價單元105對于各個線段，將各個像素的亮度和所述基準亮度進行比較，提取具有亮度比基準亮度低的像素，并計算所提取的所有像素的亮度和基準亮度之差的總和作為亮度評價值。另外，瞳孔中心直線計算單元106將亮度評價值最大的線段確定為瞳孔中心直線。另外，作為所設(shè)定的線段的規(guī)定的長度，使用由瞳孔狀態(tài)預測單元103根據(jù)過去的檢測瞳孔直徑估計出的估計瞳孔直徑。但是，作為該規(guī)定的長度，也可以使用預先決定的規(guī)定值。另外，作為基準亮度，使用鞏膜平均亮度。實施方式2在實施方式2中，使用基于檢測瞳孔圖像剛計算出的鞏膜平均亮度作為基準亮度。圖9是表示本發(fā)明的實施方式2的瞳孔檢測裝置600的結(jié)構(gòu)的方框圖。在圖9中，瞳孔檢測裝置600包括周邊狀態(tài)評價單元601、鞏膜平均亮度計算單元602、以及鞏膜平均亮度存儲單元603。與周邊狀態(tài)評價單元105同樣，周邊狀態(tài)評價單元601計算亮度評價值與計算出該亮度評價值的輻射方向和基準方向形成的角度之間的對應關(guān)系。但是，這里，周邊狀態(tài)評價單元601使用由從鞏膜平均亮度存儲單元603接受的、基于檢測瞳孔圖像剛計算出的鞏膜平均亮度作為基準亮度。鞏膜平均亮度計算單元602使用由瞳孔搜索單元107所檢測的瞳孔中心的坐標計算鞏膜平均亮度，并將其輸出到鞏膜平均亮度存儲單元603。鞏膜平均亮度存儲單元603將由鞏膜平均亮度計算單元602計算出的鞏膜平均亮度與在該鞏膜平均亮度的計算中所使用的目標圖像的拍攝時刻關(guān)聯(lián)地存儲。下面說明具有以上的結(jié)構(gòu)的瞳孔檢測裝置600的動作。圖10是用于說明瞳孔檢測裝置600的動作的流程圖。在步驟S701中，周邊狀態(tài)評價單元601使用基于檢測瞳孔圖像剛計算出的鞏膜平均亮度作為基準亮度，計算亮度評價值與計算出該亮度評價值的輻射方向和基準方向形成的角度之間的對應關(guān)系。在步驟S702中，鞏膜平均亮度計算單元602根據(jù)目標圖像、在步驟S205中計算出的角膜反射圖像、以及在步驟S209中計算出的瞳孔中心和檢測瞳孔直徑，計算目標圖像上的鞏膜平均亮度。具體來說，在眼區(qū)域內(nèi)，將排除了具有角膜反射圖像以上的亮度的像素和屬于以瞳孔中心為中心且以檢測瞳孔直徑為直徑的圓內(nèi)的像素之后的像素的平均亮度，作為鞏膜平均亮度。在步驟S703中，鞏膜平均亮度存儲單元603將在步驟S702中計算出的鞏膜平均亮度與在該鞏膜平均亮度的計算中所使用的目標圖像的拍攝時刻關(guān)聯(lián)地存儲。如上所述，根據(jù)本實施方式2，在瞳孔檢測裝置600中，周邊狀態(tài)評價單元601將基于檢測瞳孔圖像剛計算出的鞏膜平均亮度作為基準亮度，計算亮度評價值。由此，能夠提高瞳孔檢測精度。實施方式3在實施方式3中，根據(jù)照度來調(diào)整在瞳孔搜索處理中所設(shè)定的直徑候補。圖11是表示本發(fā)明的實施方式3的瞳孔檢測裝置800的結(jié)構(gòu)的方框圖。在圖11中，瞳孔檢測裝置800包括照度測定單元801、照明狀態(tài)存儲單元802、照明狀態(tài)估計單元803、以及瞳孔搜索單元804。照度測定單元801測定目標圖像拍攝時的照度，并將其輸出到照明狀態(tài)存儲單元802和照明狀態(tài)估計單元803。照明狀態(tài)存儲單元802將從照度測定單元801接受的照度與拍攝時刻關(guān)聯(lián)地存儲。照明狀態(tài)估計單元803將從照度測定單元801接受的第一照度和在照明狀態(tài)存儲單元802中所存儲的緊靠第一照度之前測定出的第二照度進行比較，并將比較結(jié)果輸出到瞳孔搜索單元804。與實施方式1的瞳孔搜索單元107同樣，瞳孔搜索單元804基于由瞳孔中心直線計算單元106確定出的瞳孔中心直線和包含上述的估計瞳孔直徑的直徑候補群，依次設(shè)定瞳孔圖像區(qū)域候補，并基于瞳孔圖像區(qū)域候補內(nèi)的亮度狀態(tài)，從瞳孔圖像區(qū)域候補群中檢測瞳孔圖像區(qū)域(即，瞳孔圖像區(qū)域的可能性最大的區(qū)域)，從而搜索瞳孔圖像區(qū)域。但是，瞳孔搜索單元804基于從照明狀態(tài)估計單元803接受的有關(guān)比較結(jié)果的信息，調(diào)整上述的直徑候補。具體來說，瞳孔搜索單元804，在第一照度低于第二照度的情況下(即，本次的照度低于上次的照度的情況下)，使直徑候補變大，而在相反的情況下，使直徑候補變小。下面說明具有以上的結(jié)構(gòu)的瞳孔檢測裝置800的動作。圖12是用于說明瞳孔檢測裝置800的動作的流程圖。在步驟S901中，照度測定單元801測定拍攝環(huán)境的照度。在步驟S902中，照明狀態(tài)存儲單元802將在步驟S901中測定出的照度與目標圖像的拍攝時刻關(guān)聯(lián)地存儲。在步驟S903中，瞳孔搜索單元804基于從照明狀態(tài)估計單元803接受的有關(guān)比較結(jié)果的信息調(diào)整直徑候補，基于由瞳孔中心直線計算單元106所確定的瞳孔中心直線和調(diào)整過的直徑候補，依次設(shè)定瞳孔圖像區(qū)域候補，并基于瞳孔圖像區(qū)域候補內(nèi)的亮度狀態(tài)，從瞳孔圖像區(qū)域候補群中檢測瞳孔圖像區(qū)域，從而搜索瞳孔圖像區(qū)域。如上所述，根據(jù)本實施方式，在瞳孔檢測裝置800中，瞳孔搜索單元804基于目標圖像的拍攝時的照度來調(diào)整直徑候補。由此，能夠設(shè)定反映了目標圖像的拍攝時的瞳孔狀態(tài)的直徑候補，所以能夠縮短用于瞳孔檢測的時間。實施方式4實施方式4涉及從亮度評價值與計算出該亮度評價值的輻射方向和基準方向形成的角度之間的對應關(guān)系，確定瞳孔中心直線的方法的變形。圖13是表示本發(fā)明的實施方式4的瞳孔檢測裝置1000的結(jié)構(gòu)的方框圖。在圖13中，瞳孔檢測裝置1000具有瞳孔中心直線計算單元1001。瞳孔中心直線計算單元1001基于由周邊狀態(tài)評價單元105計算出的亮度評價值，確定瞳孔中心直線。具體來說，瞳孔中心直線計算單元1001—邊移位基準角度一邊依次設(shè)定具有規(guī)定的角度范圍的平均計算范圍，并對于屬于各個平均計算范圍內(nèi)的角度，計算以上述的對應關(guān)系關(guān)聯(lián)的亮度評價值的平均值。這里，例如，平均計算范圍是以基準角度為中心的士3度左右。然后，瞳孔中心直線計算單元1001將與平均值為最大的平均計算范圍的基準角度對應的線段確定成為瞳孔中心直線。這樣，通過在具有規(guī)定的角度范圍的平均計算范圍計算亮度評價值的平均值，能夠獲取不僅考慮了基準角度、還考慮了其周邊范圍的狀況的評價值。實施方式5與實施方式4同樣地，實施方式5涉及從亮度評價值與計算出該亮度評價值的輻射方向和基準方向形成的角度之間的對應關(guān)系，確定瞳孔中心直線的方法的變形。圖14是表示本發(fā)明的實施方式4的瞳孔檢測裝置1100的結(jié)構(gòu)的方框圖。在圖14中，瞳孔檢測裝置1100具有瞳孔中心直線計算單元1101。瞳孔中心直線計算單元1101基于由周邊狀態(tài)評價單元105計算出的亮度評價值，確定瞳孔中心直線。具體來說，瞳孔中心直線計算單元1101將與如下的角度范圍的中心角度對應的線段確定為瞳孔中心直線，即，在以上述的對應關(guān)系中的任意的角度為中心且具有規(guī)定的角寬度的角度范圍內(nèi)的、亮度評價值作為中心基準而對稱的多個角度范圍內(nèi)的、其中心的亮度評價值為最大的角度范圍的中心角度。也就是說，瞳孔中心直線計算單元1101將與亮度評價值的分布在周邊呈對稱的多個角度中的、亮度評價值為最大的角度對應的線段，確定為瞳孔中心直線。詳細而言，瞳孔中心直線計算單元1101對表示上述的對應關(guān)系的曲線以角度進行微分，并提取微分值的正負調(diào)換的角度。然后，瞳孔中心直線計算單元1101將與在所提取的角度群內(nèi)的、具有最大的亮度評價值的角度對應的線段，確定為瞳孔中心直線。根據(jù)如上的瞳孔中心直線的確定方法，圖15中的峰值P1201被排除，而峰值P1202被選擇。這里，由于瞳孔為略圓形，所以相對于通過瞳孔中心的直線呈線對稱的形狀。因此，亮度評價值也呈以瞳孔中心直線為中心對稱的分布。如上所述，通過利用該特性確定瞳孔中心直線，能夠減輕通過瞳孔中心的直線的角度以外的角度因圖像噪聲或睫毛等誤檢測要素而具有最大的亮度評價值所造成的誤檢測。實施方式6實施方式6涉及瞳孔搜索處理的變形。圖16是表示本發(fā)明的實施方式6的瞳孔檢測裝置1300的結(jié)構(gòu)的方框圖。在圖16中，瞳孔檢測裝置1300具有瞳孔搜索單元1301。瞳孔搜索單元1301基于瞳孔中心直線上的亮度狀態(tài)，搜索瞳孔圖像。具體來說，瞳孔搜索單元1301從由角膜反射像檢測單元102生成的圖像區(qū)域的亮度分布，計算在瞳孔中心直線上的各個點的亮度梯度(在離開角膜反射圖像的中心的方向上的亮度梯度)，并選擇亮度梯度最大的點作為瞳孔的輪廓上的點(即，瞳孔輪廓點)。然后，瞳孔搜索單元1301在瞳孔中心直線上檢測如下的點作為瞳孔中心，S卩，從瞳孔輪廓點朝向角膜反射圖像的中心、距瞳孔輪廓點離開了估計瞳孔直徑的一半(即，估計瞳孔半徑)的點。也就是說，對于亮度而言，按角膜反射圖像、角膜圖像、瞳孔圖像的順序降低。因此，如果計算在離開角膜反射圖像的中心的方向上的亮度梯度，如圖17所示，則在角膜反射圖像和瞳孔圖像的邊界處亮度梯度變低(即，亮度梯度為負)，而在瞳孔圖像和角膜(角膜反射圖像部分除外)的邊界處亮度梯度最高。因此，如上所述，通過選擇亮度梯度最大的點，能夠確定瞳孔輪廓點，而且能夠根據(jù)該瞳孔輪廓點確定瞳孔中心。實施方式7與實施方式6同樣，實施方式7涉及瞳孔搜索處理的變形。在實施方式7中，在瞳孔搜索處理中使用分離度濾波器。圖18是表示本發(fā)明的實施方式7的瞳孔檢測裝置1400的結(jié)構(gòu)的方框圖。在圖18中，瞳孔檢測裝置1400具有瞳孔搜索單元1401。瞳孔搜索單元1401基于瞳孔中心直線周邊的亮度狀態(tài)，搜索瞳孔圖像。具體來說，瞳孔搜索單元1401在將分離度濾波器的基準點設(shè)置在瞳孔中心直線上的狀態(tài)下依次移動分離度濾波器，并在基準點所在的各個點計算分離度η，并檢測分離度η最大的點作為瞳孔中心。這里，如圖19所示，分離度濾波器由以估計瞳孔直徑為直徑的圓形的區(qū)域1和其周邊區(qū)域即區(qū)域2構(gòu)成。另外，由以下式(3)表示分離度濾波器。權(quán)利要求1.檢測眼區(qū)域圖像內(nèi)的瞳孔圖像的瞳孔檢測裝置，包括第一檢測單元，檢測所述眼區(qū)域圖像的高亮度圖像區(qū)域即角膜反射圖像；評價值計算單元，設(shè)定以所述角膜反射圖像內(nèi)的基準點為一端且具有規(guī)定的長度的多個線段，并基于各個線段中的各個像素的亮度和基準亮度，計算亮度評價值；確定單元，基于所述亮度評價值，從所述多個線段中確定通過所述瞳孔圖像的中心的瞳孔中心直線；以及第二檢測單元，基于所述瞳孔中心直線的周邊的亮度狀態(tài)，或者所述瞳孔中心直線上的亮度狀態(tài)，檢測所述瞳孔圖像。2.如權(quán)利要求1所述的瞳孔檢測裝置，所述評價值計算單元對于所述各個線段，將所述各個像素的亮度和所述基準亮度進行比較，提取具有低于所述基準亮度的亮度的像素，并計算提取出的所有像素的亮度和所述基準亮度之差的總和作為所述亮度評價值。3.如權(quán)利要求2所述的瞳孔檢測裝置，所述確定單元將所述亮度評價值最大的線段確定為所述瞳孔中心直線。4.如權(quán)利要求1所述的瞳孔檢測裝置，所述第二檢測單元依次設(shè)定在所述瞳孔中心直線上存在中心的瞳孔圖像區(qū)域候補，并基于在所設(shè)定的各個瞳孔圖像區(qū)域候補內(nèi)的像素群中亮度比所述基準亮度低的像素群的平均亮度，檢測所述瞳孔圖像。5.如權(quán)利要求1所述的瞳孔檢測裝置，還包括基于由所述第二檢測單元檢測出的所述瞳孔圖像的直徑，計算在所述瞳孔圖像外存在的鞏膜的亮度的鞏膜亮度計算單元，所述評價值計算單元將由所述鞏膜亮度計算單元剛計算出的所述鞏膜的亮度作為所述基準亮度。6.如權(quán)利要求4所述的瞳孔檢測裝置，所述第二檢測單元根據(jù)照度來調(diào)整所述設(shè)定的瞳孔圖像區(qū)域候補的直徑。7.如權(quán)利要求2所述的瞳孔檢測裝置，所述確定單元每次移位具有規(guī)定的角度范圍的平均計算范圍，并基于在各個計算范圍計算出的亮度評價值的平均值，確定所述瞳孔中心直線。8.如權(quán)利要求2所述的瞳孔檢測裝置，所述確定單元將在有關(guān)各個線段計算出的亮度評價值與基準方向和各個線段形成的角度之間的對應關(guān)系中，在亮度評價值的分布在周邊呈對稱的多個角度內(nèi)的、亮度評價值最大的角度對應的線段，確定為所述瞳孔中心直線。9.如權(quán)利要求1所述的瞳孔檢測裝置，所述第二檢測單元基于所述瞳孔中心直線上的亮度梯度檢測所述瞳孔圖像的輪廓點，并檢測距所述輪廓點離開了瞳孔半徑的點作為所述瞳孔圖像的中心。10.如權(quán)利要求1所述的瞳孔檢測裝置，所述第二檢測單元對所述瞳孔中心直線上的多個點設(shè)定分離度濾波器，并基于在各個點計算出的分離度，檢測所述瞳孔圖像。11.檢測眼區(qū)域圖像內(nèi)的瞳孔圖像的瞳孔檢測方法，包括以下步驟檢測所述眼區(qū)域圖像的高亮度圖像區(qū)域即角膜反射圖像；設(shè)定以所述角膜反射圖像內(nèi)的基準點為一端且具有規(guī)定的長度的多個線段；基于各個線段中的各個像素的亮度和基準亮度，計算亮度評價值；基于所述亮度評價值，從所述多個線段中確定通過所述瞳孔圖像的中心的瞳孔中心直線；以及基于所述瞳孔中心直線的周邊的亮度狀態(tài)，或者所述瞳孔中心直線上的亮度狀態(tài)，檢測所述瞳孔圖像。全文摘要本發(fā)明公開了瞳孔檢測裝置和瞳孔檢測方法，即使在瞳孔的大部分被角膜反射像遮掩的情況下，通過主動地利用角膜反射像的信息，也能夠穩(wěn)定地檢測瞳孔。在瞳孔檢測裝置(100)中，周邊狀態(tài)評價單元(105)設(shè)定以角膜反射圖像內(nèi)的基準點為一端且具有規(guī)定的長度的多個線段，基于各個線段中的各個像素的亮度和基準亮度計算亮度評價值，瞳孔中心直線計算單元(106)基于亮度評價值，從多個線段中確定通過瞳孔圖像的中心的瞳孔中心直線，瞳孔搜索單元(107)基于瞳孔中心直線的周邊的亮度狀態(tài)，檢測瞳孔圖像。文檔編號G06T1/00GK102510734SQ20118000389公開日2012年6月20日申請日期2011年6月15日優(yōu)先權(quán)日2010年7月20日發(fā)明者岡兼司,筑澤宗太郎申請人:松下電器產(chǎn)業(yè)株式會社