一種基于人眼圖像中虹膜輪廓分析匹配的視線方向計(jì)算方法
【專(zhuān)利摘要】本發(fā)明提供一種基于人眼圖像中虹膜輪廓分析匹配的視線方向計(jì)算方法，包括：一種數(shù)據(jù)驅(qū)動(dòng)的方法，輸入人眼圖像，與虛擬眼球外觀合成數(shù)據(jù)進(jìn)行匹配，穩(wěn)定求解其三維視線方向；2種新穎的眼球外觀優(yōu)化匹配準(zhǔn)則，有效降低圖像縮放和噪聲等不可控因素對(duì)結(jié)果的影響；在連續(xù)拍攝多張人眼圖像的情況下，發(fā)明一種聯(lián)合優(yōu)化方法，進(jìn)一步提高計(jì)算精度。本發(fā)明的應(yīng)用之一是虛擬現(xiàn)實(shí)和人機(jī)交互，其原理是通過(guò)拍攝用戶的眼部圖像，計(jì)算用戶視線方向，從而與智能系統(tǒng)界面或虛擬現(xiàn)實(shí)對(duì)象進(jìn)行交互。本發(fā)明也可廣泛用于訓(xùn)練培訓(xùn)、游戲娛樂(lè)、視頻監(jiān)控、醫(yī)療監(jiān)護(hù)等領(lǐng)域。
【專(zhuān)利說(shuō)明】
一種基于人眼圖像中虹膜輪廓分析匹配的視線方向計(jì)算方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域，具體地說(shuō)是一種基于人眼圖像中虹膜輪 廓分析匹配的視線方向計(jì)算方法。
【背景技術(shù)】
[0002] 視線追蹤/眼動(dòng)追蹤對(duì)于用戶行為理解和高效人機(jī)交互具有重要意義。人類(lèi)可感 知信息中超過(guò)80 %的部分由人眼接收，而其中超過(guò)90 %的部分由視覺(jué)系統(tǒng)處理。因此，視線 是反映人與外界交互過(guò)程的重要線索。近年來(lái)，由于虛擬現(xiàn)實(shí)技術(shù)和人機(jī)交互技術(shù)的迅速 發(fā)展，視線追蹤技術(shù)的應(yīng)用價(jià)值逐漸凸顯；另一方面，視線方向計(jì)算在計(jì)算機(jī)視覺(jué)領(lǐng)域仍然 是一個(gè)極富挑戰(zhàn)性的問(wèn)題。目前的解決方法大多基于主動(dòng)光源和紅外攝像，因此需要額外 的硬件，并且對(duì)使用環(huán)境要求較高。另一類(lèi)方法不需要假設(shè)主動(dòng)光照，僅用單相機(jī)拍攝人眼 圖像并進(jìn)行視線方向計(jì)算，但需要提前獲取大量的訓(xùn)練樣本，用來(lái)學(xué)習(xí)得到回歸計(jì)算模型。 例如，Baluja和Pomerleau提出的早期的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，需要使用數(shù)千個(gè)訓(xùn)練樣本進(jìn)行訓(xùn) 練。Tan等人提出了基于局部線性插值的方法，將人眼圖像與視線坐標(biāo)進(jìn)行映射，其系統(tǒng)需 要大約兩百個(gè)訓(xùn)練樣本。
[0003] 為了減少對(duì)訓(xùn)練樣本量的需求，Williams等人提出了一種能夠同時(shí)使用標(biāo)記樣本 和無(wú)標(biāo)記樣本進(jìn)行訓(xùn)練的半監(jiān)督的方法。Lu等人提出了一個(gè)基于稀疏最優(yōu)化的自適應(yīng)回歸 框架，允許使用更少的訓(xùn)練樣本進(jìn)行計(jì)算，同時(shí)夠解決視線計(jì)算中的一系列相關(guān)問(wèn)題。 Sugano等人從視頻中抽取視覺(jué)顯著性來(lái)自動(dòng)生成訓(xùn)練樣本，并用于系統(tǒng)訓(xùn)練。以上方法的 缺點(diǎn)在于，其均假定頭部姿勢(shì)固定不動(dòng)，如果要求這些方法用于頭部姿勢(shì)改變的情況，則需 要更多的訓(xùn)練樣本來(lái)解決頭部運(yùn)動(dòng)問(wèn)題。
[0004] 為了徹底避免系統(tǒng)訓(xùn)練，考慮視線方向是由眼球朝向唯一決定的，而眼球朝向能 夠從虹膜圓盤(pán)朝向或其中心位置計(jì)算獲得，因此，Yamazoe等人和He yman等人提出了通過(guò)計(jì) 算虹膜中心和眼球中心間的相對(duì)位置實(shí)現(xiàn)視線方向計(jì)算的方法。他們的方法需要對(duì)頭部進(jìn) 行三維建模，并且精確追蹤人臉的三維特征點(diǎn)，包括眼角位置和眼球中心位置等。在現(xiàn)實(shí) 中，這些特征點(diǎn)往往難以精確提取，甚至是不可見(jiàn)的。Ishikawa等人使用基于主動(dòng)外觀模型 (AAM)的方法跟蹤人臉特征點(diǎn)，同樣面臨上述難題。另一些方法使用橢圓擬合虹膜輪廓，之 后將該橢圓反向投影為三維空間上的圓形。這是因?yàn)楹缒ぽ喞梢员唤茷閳A形，而其在 二維圖像中投影為橢圓，通過(guò)分析該橢圓形狀能夠求解虹膜在三維世界中的朝向。這是常 見(jiàn)的基于虹膜輪廓形狀的方法。但是，傳統(tǒng)的虹膜輪廓分析方法在實(shí)際應(yīng)用中并不可靠，原 因是虹膜區(qū)域在圖像中面積小、噪聲大，其輪廓難以精確提取，而對(duì)其輪廓提取的若干像素 的微小誤差即可造成非常大的視線方向計(jì)算偏差。因此，很多情況下只能通過(guò)拍攝超高分 辨率人眼圖像，或者使用可穿戴相機(jī)來(lái)提高精度，同時(shí)也增加了對(duì)硬件的要求和對(duì)實(shí)際應(yīng) 用場(chǎng)景的限制。在此前提下，本發(fā)明提供了一種基于人眼圖像中虹膜輪廓分析匹配的視線 方向計(jì)算方法，結(jié)合虹膜外觀的虛擬生成，主要用于解決在拍攝普通分辨率人眼圖像的條 件下，傳統(tǒng)的虹膜輪廓匹配方法穩(wěn)定性差，精度低的缺點(diǎn)，進(jìn)而實(shí)現(xiàn)高精度三維視線方向計(jì) 算。

【發(fā)明內(nèi)容】

[0005] 根據(jù)上述實(shí)際需求和技術(shù)難題，本發(fā)明的目的在于：提出一種三維視線的計(jì)算方 法，通過(guò)虛擬眼球外觀合成，生成不同視線方向下的虛擬眼球外觀數(shù)據(jù)集，通過(guò)與人眼圖像 匹配，實(shí)現(xiàn)對(duì)人眼三維視線方向的計(jì)算。本方法對(duì)系統(tǒng)沒(méi)有額外需求，僅使用單相機(jī)拍攝的 人眼圖像作為輸入。同時(shí)，本方法通過(guò)提出兩種虹膜輪廓形狀分析匹配技術(shù)，實(shí)現(xiàn)了相比其 它類(lèi)似方法更好的魯棒性。
[0006] 本發(fā)明技術(shù)解決方案:一種基于人眼圖像中虹膜輪廓分析匹配的視線方向計(jì)算方 法，首先，針對(duì)人眼圖像獲取，本發(fā)明包含以下流程。使用單相機(jī)，拍攝含有用戶面部區(qū)域的 圖像。利用已有人臉?lè)治龇椒ǘㄎ蛔笱刍蛴已蹍^(qū)域。對(duì)提取出的人眼圖像進(jìn)行預(yù)處理，得到 亮度修正的人眼圖像，以及通過(guò)邊緣檢測(cè)產(chǎn)生部分虹膜邊緣像素。
[0007] 其次，發(fā)明了針對(duì)不同視線方向下的虛擬眼球外觀合成和數(shù)據(jù)集建立方法。對(duì)眼 球建立三維球體模型，并在其上添加虹膜輪廓等重要細(xì)節(jié);遍歷物理可能的眼球朝向參數(shù)， 即繞水平和垂直兩軸轉(zhuǎn)動(dòng)的角度，對(duì)于每個(gè)眼球朝向，將對(duì)應(yīng)的三維虛擬眼球外觀投射到 二維平面(對(duì)應(yīng)眼球正前方向），記錄投射后的虹膜形態(tài)、眼球中心位置、虹膜中心位置等二 維坐標(biāo)信息;將所有轉(zhuǎn)角與對(duì)應(yīng)生成的二維坐標(biāo)信息保存到數(shù)據(jù)集。
[0008] 進(jìn)一步，發(fā)明了人眼圖像和合成得到的虛擬眼球外觀匹配的方法，通過(guò)最大化匹 配度，選取與人眼圖像最一致的虛擬眼球外觀，得知對(duì)應(yīng)的眼球朝向和位置。針對(duì)眼球外觀 匹配，發(fā)明了基于圓周對(duì)稱性度量和虹膜輪廓匹配度度量?jī)煞N約束的匹配算法。對(duì)于前者， 給定任意一組匹配參數(shù)(相對(duì)平移量和眼球朝向），確定其對(duì)應(yīng)的虛擬眼球虹膜輪廓及虹膜 中心位置的坐標(biāo);將這些坐標(biāo)疊加到人眼圖像上，在虹膜輪廓附近區(qū)域內(nèi)，度量人眼圖像像 素梯度的變化規(guī)律，考察以虹膜橢圓輪廓為參考的二維圓周對(duì)稱性，并以此作為準(zhǔn)則衡量 匹配效果。對(duì)于后者，給定任意一組匹配參數(shù)(相對(duì)平移量和眼球朝向），可以確定其對(duì)應(yīng)的 虛擬眼球虹膜輪廓的坐標(biāo);遍歷人眼圖像中提取的虹膜邊緣像素，計(jì)算各邊緣像素與虛擬 眼球虹膜輪廓的距離；檢查這些距離的分布，統(tǒng)計(jì)明顯與眾不同的距離的數(shù)量，該數(shù)量越 少，虹膜輪廓匹配度度量結(jié)果越好。
[0009] 另外，對(duì)于連續(xù)拍攝的人眼圖像，在假設(shè)眼球中心位置不變或已對(duì)齊的條件下，發(fā) 明了一種聯(lián)合優(yōu)化方法，能夠提高從多張人眼圖像中計(jì)算視線方向時(shí)的準(zhǔn)確性。在前述人 眼圖像與虛擬眼球外觀匹配結(jié)果的基礎(chǔ)上，對(duì)于每一張人眼圖像，分別計(jì)算得到眼球朝向 和眼球中心位置坐標(biāo);對(duì)于所有圖像的結(jié)果，排除其中明顯有偏差的眼球中心坐標(biāo)，利用剩 余坐標(biāo)，加權(quán)計(jì)算眼球中心的標(biāo)準(zhǔn)坐標(biāo);分別繼續(xù)進(jìn)行外觀匹配，同時(shí)增加一項(xiàng)優(yōu)化約束， 即匹配后的眼球中心坐標(biāo)與標(biāo)準(zhǔn)眼球中心坐標(biāo)盡可能重合。計(jì)算結(jié)果更新為各張人眼圖像 中眼球朝向的最終結(jié)果。
[0010] 本發(fā)明具體實(shí)現(xiàn)步驟如下：
[0011] (1)構(gòu)造球體眼球模型，遍歷不同的物理可能的眼球朝向，通過(guò)幾何計(jì)算，生成不 同朝向下的二維虛擬眼球外觀，將所有眼球朝向及其對(duì)應(yīng)的虛擬眼球外觀數(shù)據(jù)存儲(chǔ)于數(shù)據(jù) 集，以備具體應(yīng)用時(shí)使用；
[0012] (2)應(yīng)用時(shí)，首先拍攝用戶面部圖像，定位左眼或右眼區(qū)域，預(yù)處理人眼圖像，完成 亮度修正并提取圖像中的虹膜邊緣像素；
[0013] (3)對(duì)于拍攝并預(yù)處理的人眼圖像，以及數(shù)據(jù)集內(nèi)的虛擬眼球外觀數(shù)據(jù)，通過(guò)人眼 圖像與虛擬眼球外觀數(shù)據(jù)匹配優(yōu)化算法，進(jìn)行人眼圖像與虛擬眼球外觀數(shù)據(jù)匹配，匹配結(jié) 果確定了與人眼圖像最吻合的眼球朝向和位置；
[0014] (4)對(duì)于連續(xù)拍攝的人眼圖像，在眼球中心位置不變或人眼圖像已被對(duì)齊的條件 下，以步驟(3)的眼球外觀匹配為基礎(chǔ)，進(jìn)一步進(jìn)行聯(lián)合優(yōu)化，精確同時(shí)求解各圖像對(duì)應(yīng)的 三維視線方向。
[0015] 所述步驟（1)的虛擬眼球外觀數(shù)據(jù)生成方法如下，首先，建立眼球的三維球體模 型，并在其表面添加圓形虹膜輪廓重要元素;遍歷不同的物理可能的眼球朝向，即不同的繞 水平和垂直軸轉(zhuǎn)動(dòng)的角度，對(duì)于每個(gè)轉(zhuǎn)動(dòng)角度，將對(duì)應(yīng)的三維虛擬眼球外觀投射到二維平 面即對(duì)應(yīng)眼球正前方，記錄投射后的虹膜輪廓坐標(biāo)、眼球中心坐標(biāo)、虹膜中心坐標(biāo)二維眼球 外觀數(shù)據(jù);將所有眼球朝向及其對(duì)應(yīng)的虛擬眼球外觀數(shù)據(jù)存儲(chǔ)于數(shù)據(jù)集。
[0016] 所述步驟(3)中的人眼圖像與虛擬眼球外觀數(shù)據(jù)匹配優(yōu)化算法，具體如下:求解的 匹配參數(shù)為人眼圖像與虛擬眼球外觀在二維圖像域內(nèi)的相對(duì)平移量，以及虛擬眼球外觀對(duì) 應(yīng)的眼球朝向，通過(guò)尋找這兩個(gè)匹配參數(shù)的最佳值，最優(yōu)化人眼圖像與虛擬眼球外觀的匹 配度，從而實(shí)現(xiàn)進(jìn)行人眼圖像與虛擬眼球外觀數(shù)據(jù)匹配。
[0017] 所述匹配度由如下函數(shù)度量計(jì)算：
[0018] (31)圓周對(duì)稱性度量：當(dāng)匹配趨于理想時(shí)，人眼圖像中處于虛擬眼球虹膜輪廓附 近的像素具有更好的圓周對(duì)稱性；
[0019] (32)虹膜輪廓匹配度度量：當(dāng)匹配趨于理想時(shí)，計(jì)算人眼圖像中的虹膜邊緣各像 素與虛擬眼球虹膜輪廓的距離，這些距離趨于相同。
[0020] 步驟(31)中進(jìn)行圓周對(duì)稱性度量的方法為，對(duì)于任意一組匹配參數(shù)，可以確定其 對(duì)應(yīng)的虛擬眼球外觀虹膜輪廓及虹膜中心位置的坐標(biāo);將這些坐標(biāo)疊加到人眼圖像上，以 虹膜輪廓上的各點(diǎn)為基準(zhǔn)，沿各點(diǎn)與虛擬眼球外觀虹膜中心的連線的正負(fù)兩個(gè)方向，在人 眼圖像上進(jìn)行連續(xù)像素值采集，獲得一維像素列向量，采集范圍與虛擬眼球外觀虹膜輪廓 上各點(diǎn)到虛擬眼球外觀虹膜中心距離成正比；遍歷虛擬眼球外觀虹膜輪廓上各點(diǎn)進(jìn)行采 集，將得到的所有一維列向量組合為二維矩陣;最后，計(jì)算該矩陣或其垂直方向的梯度矩陣 的各列數(shù)值分布的一致性，一致性可用矩陣核函數(shù)、各列相關(guān)系數(shù)、奇異值集中度進(jìn)行度 量，一致性越高，圓周對(duì)稱性越好。
[0021] 步驟(32)中進(jìn)行虹膜輪廓匹配度度量的方法為，對(duì)于任意一組匹配參數(shù)，確定該 一組匹配參數(shù)對(duì)應(yīng)的虛擬眼球外觀虹膜輪廓的坐標(biāo);遍歷人眼圖像中提取的虹膜邊緣像 素，計(jì)算各邊緣像素與虛擬眼球外觀虹膜輪廓的距離;檢查這些距離的分布，統(tǒng)計(jì)明顯與眾 不同的距離的數(shù)量，該數(shù)量越少，虹膜輪廓匹配度度量結(jié)果越好。
[0022] 所述步驟(4)中聯(lián)合優(yōu)化方法，精確同時(shí)求解各圖像對(duì)應(yīng)的三維視線方向的方法 為，假設(shè)各圖像拍攝時(shí)眼球中心位置不變或已被對(duì)齊，進(jìn)行步驟(3)中人眼圖像與虛擬眼球 外觀匹配，計(jì)算得到每張人眼圖像對(duì)應(yīng)的眼球朝向和眼球中心位置坐標(biāo);排除其中明顯有 偏差的眼球中心坐標(biāo)，利用剩余坐標(biāo)，加權(quán)計(jì)算眼球中心的標(biāo)準(zhǔn)坐標(biāo);分別繼續(xù)進(jìn)行步驟 (3)的優(yōu)化，同時(shí)增加一項(xiàng)優(yōu)化約束，即匹配后的眼球中心坐標(biāo)與標(biāo)準(zhǔn)眼球中心坐標(biāo)盡可能 重合，計(jì)算結(jié)果更新為各張人眼圖像中眼球朝向即三維視線方向的最終結(jié)果。
[0023] 與其它的基于虹膜外觀分析的方法相比，本發(fā)明有益的特點(diǎn)在于：（1)發(fā)明了一種 數(shù)據(jù)驅(qū)動(dòng)的方法，通過(guò)合成虛擬的且物理可能的眼球外觀數(shù)據(jù)，將視線方向求解的難題轉(zhuǎn) 化為真實(shí)人眼圖像與合成的多朝向虛擬眼球外觀的匹配問(wèn)題，有利于穩(wěn)定求解；（2)針對(duì)虹 膜外觀匹配，發(fā)明了 2種新穎的優(yōu)化準(zhǔn)則，包括圓周對(duì)稱性度量準(zhǔn)則和虹膜輪廓匹配度度量 準(zhǔn)則，這兩種準(zhǔn)則與傳統(tǒng)方法的區(qū)別之處在于，在匹配中不要求虹膜輪廓的精確吻合，而是 靈活地衡量了虹膜輪廓在形狀上的相似性，從而有效降低圖像中縮放和噪聲等不可控因素 對(duì)結(jié)果的影響；（3)在連續(xù)拍攝多張人眼圖像的情況下，假設(shè)眼球中心位置不變或已經(jīng)對(duì) 齊，本發(fā)明提出了一種聯(lián)合優(yōu)化方法，能夠從多張人眼圖像中更精確計(jì)算其各自的視線方 向。
【附圖說(shuō)明】
[0024] 圖1是本發(fā)明的虹膜圖像與視線方向關(guān)系示意圖；
[0025] 圖2是本發(fā)明的虛擬眼球外觀生成示意圖；
[0026] 圖3是本發(fā)明的人眼圖像與虛擬眼球外觀匹配示意圖；
[0027] 圖4是本發(fā)明的基于單張人眼圖像的視線方向計(jì)算流程圖；
[0028] 圖5是本發(fā)明的基于多張人眼圖像的視線方向聯(lián)合優(yōu)化流程圖。
【具體實(shí)施方式】
[0029]下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施作詳細(xì)說(shuō)明。
[0030] 參閱圖1本發(fā)明的虹膜圖像與視線方向關(guān)系示意圖，為了從相機(jī)拍攝的人眼圖像 中計(jì)算三維視線方向，使用一種簡(jiǎn)單的三維球體模型對(duì)眼球進(jìn)行建模。具體而言，認(rèn)為眼球 為一個(gè)表面帶有圓形虹膜區(qū)域的標(biāo)準(zhǔn)球體，對(duì)于該眼球模型，模型參數(shù)僅包含眼球半徑和 虹膜直徑，因此易于分析計(jì)算。在此基礎(chǔ)上，視線方向可以近似地用一條以眼球中心為起 點(diǎn)，通過(guò)虹膜中心的射線來(lái)確定。另一方面，由基本的三維幾何規(guī)律可知，在該模型下，視線 方向與圓形的虹膜區(qū)域的法向量方向是一致的。因此，求解三維視線方向的問(wèn)題可以轉(zhuǎn)化 為求解虹膜區(qū)域的朝向(法向方向）的問(wèn)題。
[0031] 當(dāng)利用相機(jī)拍攝人眼外觀時(shí)，原本圓形的虹膜輪廓會(huì)由于透視原因，在圖像中程 橢圓形。容易證明，當(dāng)三維眼球轉(zhuǎn)動(dòng)導(dǎo)致虹膜朝向改變時(shí)，虹膜輪廓的橢圓形投影的形狀由 虹膜朝向直接確定。例如，當(dāng)眼球和虹膜正對(duì)著拍攝方向的時(shí)候，拍攝到的二維虹膜輪廓是 標(biāo)準(zhǔn)圓形；如果眼球轉(zhuǎn)動(dòng)，虹膜朝向隨之旋轉(zhuǎn)，其二維投影后的圖像將會(huì)沿著轉(zhuǎn)動(dòng)方向收 縮，體現(xiàn)為沿短軸收縮的橢圓。相應(yīng)地，通過(guò)計(jì)算橢圓虹膜輪廓的形狀（由長(zhǎng)軸和短軸確 定），即能夠恢復(fù)出虹膜的三維朝向。因此，從人眼圖像中求解三維視線方向的問(wèn)題可最終 轉(zhuǎn)化為對(duì)圖像中二維虹膜輪廓的分析計(jì)算。
[0032] 參閱圖2本發(fā)明的虛擬眼球外觀生成示意圖，為了在不進(jìn)行實(shí)際拍攝的前提下，生 成大量的物理可能的虛擬眼球外觀數(shù)據(jù)，提出在三維球體眼球模型的基礎(chǔ)上進(jìn)行計(jì)算和繪 制的方法。首先，確定虛擬數(shù)據(jù)產(chǎn)生的參數(shù)化方案。具體而言，以眼球朝向?yàn)橹笜?biāo)，并將其進(jìn) 一步分解為眼球繞X軸和Y軸的兩種轉(zhuǎn)動(dòng)方式。記兩個(gè)方向的旋轉(zhuǎn)角度分別為u和V，則眼球 轉(zhuǎn)動(dòng)的總角度可以近似為arcsin( (sin2u+sin2vr2)。此處，考慮虛擬眼球外觀的生成應(yīng)保 證其物理可能性，因此，對(duì)上述轉(zhuǎn)動(dòng)加以約束，要求眼球整體轉(zhuǎn)動(dòng)不得超過(guò)45°，即（sin 2u+ sin2vr2〈sin45°。在此基礎(chǔ)上，對(duì)于u和v，每隔5°采樣一次，對(duì)每一組u和v，通過(guò)上述公式進(jìn) 行判斷，如果整體轉(zhuǎn)動(dòng)超出45°，則舍棄該組u和v，否則將該組數(shù)據(jù)加入虛擬眼球合成的參 數(shù)集合。
[0033]對(duì)于每一組物理可行的眼球旋轉(zhuǎn)角度u和V，進(jìn)行眼球虛擬外觀合成。如前所述，本 方案采用一個(gè)標(biāo)準(zhǔn)球體，作為眼球的近似。同時(shí)，在球體表面附著一個(gè)標(biāo)準(zhǔn)圓形，作為虹膜 輪廓的近似。二者整體組成眼球的三維模型。在具體構(gòu)建中，眼球和虹膜的直徑分別記作D e 和〇:，其取值參照解剖學(xué)中的眼球標(biāo)準(zhǔn)參數(shù)，分別設(shè)為25毫米和12毫米。需要補(bǔ)充的是，不 同人之間存在個(gè)體差異，導(dǎo)致DjPDi存在差異性。本發(fā)明雖然在此處的虛擬眼球外觀模型構(gòu) 建時(shí)采用了固定參數(shù)，但后續(xù)算法將能夠有效處理個(gè)體差異。
[0034] 利用該眼球模型，配合前述的虛擬眼球合成的轉(zhuǎn)動(dòng)參數(shù)，可以生成不同視線方向 下的虛擬眼球外觀數(shù)據(jù)。首先，記8=匕辦，^]7為描述眼球朝向（即三維視線方向）的單位 三維向量，則對(duì)于任意物理可行的u和v，其對(duì)應(yīng)的g的計(jì)算方法如下： sin u
[0035] g = sin v
[(1 - sirr u - sin2
[0036] 同時(shí)，為了計(jì)算該眼球朝向下的虛擬眼球外觀，記EUhCXghPjg)表示眼球中 心、虹膜中心和虹膜輪廓上第i個(gè)點(diǎn)的三維坐標(biāo)。則EQhCXghPjg)與g之間的關(guān)系可以通 過(guò)以下公式計(jì)算：
[0039] 其中，
gx、gy、g z分別是前述視線方向g在三個(gè)坐 標(biāo)軸方向上的分量。Y是虹膜輪廓上第i個(gè)點(diǎn)相對(duì)于虹膜中心的方位角。至此，對(duì)于任意物 理可行的u和v，在給定眼球中心三維坐標(biāo)E(g)的條件下，其對(duì)應(yīng)的眼球朝向g、虹膜中心C (g)和虹膜輪廓{Pi(g)}的三維坐標(biāo)均已被計(jì)算獲得。遍歷所有的物理可行的眼球旋轉(zhuǎn)角度 u和V，可以計(jì)算得到一系列不同眼球朝向下的虛擬眼球外觀的三維坐標(biāo)描述。
[0040] 最后，為了合成二維圖像下的虛擬眼球外觀，需要將三維坐標(biāo)轉(zhuǎn)換為圖像平面上 的二維像素坐標(biāo)。利用標(biāo)準(zhǔn)相機(jī)成像公式，進(jìn)行如下計(jì)算： 1 0 0 0] p.
[0041] Z \ = K 〇 1 〇 〇 1-0 0 10-1
[0042]其中，大寫(xiě)字母P泛指任意已知的三維坐標(biāo)，可以是上述E(g)，C(g) JJg)。小寫(xiě)字 母P是其對(duì)應(yīng)的圖像上的二維像素坐標(biāo)。K是相機(jī)的內(nèi)參矩陣，可以通過(guò)實(shí)驗(yàn)標(biāo)定，也可以根 據(jù)實(shí)際情況指定。z是計(jì)算過(guò)程中產(chǎn)生的一個(gè)比例常數(shù)。
[0043] 在某些情況下，當(dāng)相機(jī)內(nèi)參K無(wú)法確定，且眼球中心三維坐標(biāo)也無(wú)指定取值時(shí)，可 以采取如下近似方法計(jì)算合成虛擬眼球外觀。首先，設(shè)e(g)為0,然后使用一個(gè)簡(jiǎn)單的變換 公式：
[0044] P = s[0 x Q\P
[0045] 這里，s是簡(jiǎn)單的縮放常數(shù)，可以通過(guò)粗略估計(jì)人眼圖像中的虹膜直徑并將其除以 Di得到。
[0046]以上實(shí)施流程實(shí)現(xiàn)了對(duì)于任意的物理可能的眼球朝向（視線方向）gn，計(jì)算其三維 眼球數(shù)據(jù)，并合成為二維像素坐標(biāo)的過(guò)程，具體得到了虹膜中心c(gn)、虹膜輪廓點(diǎn)集合{Pl (gn)}的二維圖像坐標(biāo)數(shù)據(jù)，其中，{Pl(gn)}表示在i遍歷其所有取值時(shí)對(duì)應(yīng)的 Pl(gn)組成的 集合。將所有的gn與其對(duì)應(yīng)的c(gn)、{ Pl(gn)}進(jìn)行保存，即得到了不同視線方向下的虛擬眼 球外觀合成數(shù)據(jù)集。
[0047] 參閱圖3本發(fā)明的人眼圖像與虛擬眼球外觀匹配示意圖，使用前述的不同視線方 向下的虛擬眼球外觀合成數(shù)據(jù)集，與真實(shí)拍攝的人眼圖像進(jìn)行眼球外觀匹配，實(shí)現(xiàn)了眼球 朝向即三維視線方向的查詢計(jì)算。具體實(shí)施方法如下。
[0048] 首先，對(duì)于真實(shí)拍攝的人眼圖像，在進(jìn)行視線計(jì)算之前，需要對(duì)其進(jìn)行預(yù)處理。預(yù) 處理的目標(biāo)包括兩點(diǎn)：對(duì)于不同條件下拍攝的人眼圖像進(jìn)行亮度修正，以及從人眼圖像中 獲取可信的虹膜輪廓像素。對(duì)于亮度修正，首先進(jìn)行圖像亮度直方圖調(diào)整，以加強(qiáng)較亮區(qū)域 (如鞏膜)和較暗區(qū)域(如虹膜和角膜)之間的對(duì)比度，具體通過(guò)以下操作完成：
[0051]其中，和I〃k是圖像中每個(gè)像素點(diǎn)進(jìn)行直方圖調(diào)整前后的值，medianO是計(jì)算中 值的函數(shù)。對(duì)于亮度修正之后的圖像，進(jìn)行虹膜輪廓提取，具體為:記錄圖像中像素亮度變 化幅度，以0.8的倍率作為閾值，選出最暗的區(qū)域。選擇其中面積最大的區(qū)域，用圖像膨脹操 作進(jìn)行加強(qiáng)，得到虹膜區(qū)域的大致范圍，并記其中心位置為〇。同時(shí)，從原圖像中計(jì)算一個(gè)朝 向掩模，計(jì)算方法為，對(duì)于每一個(gè)像素 k，掩模值Mk如下： 1 如果/fc的梯度和〇指向像素 fc的夾角小于_3fl:°
[0052] Mk = { 0 其他
[0053] 分析該掩摸與虹膜區(qū)域像素點(diǎn)的關(guān)聯(lián)。觀察可知，虹膜輪廓上的像素從較暗的虹 膜區(qū)域到亮的鞏膜區(qū)域的梯度方向應(yīng)當(dāng)背離虹膜中心〇。因此，對(duì)于虹膜區(qū)域內(nèi)的像素 k來(lái) 說(shuō)，如果k點(diǎn)的掩摸值Mk為1，就表示該點(diǎn)是潛在的虹膜輪廓像素點(diǎn)。此外，將可能的虹膜輪 廓區(qū)域約束在以〇為中心，向左右延伸的兩個(gè)扇形區(qū)域之間，以避免上下眼瞼邊緣的影響。 最后，得到虹膜輪廓候選結(jié)果。由于掩模的不完整性，可能導(dǎo)致孤立像素的存在，因此，判斷 所有像素的連通性，只保留非孤立像素，從而得到最終的虹膜輪廓像素集合。
[0054] 其次，從虛擬眼球外觀數(shù)據(jù)集中，選取某一眼球朝向gn下的合成外觀數(shù)據(jù)，并與亮 度修正的人眼圖像以及虹膜邊緣圖像進(jìn)行匹配。匹配使用如下兩個(gè)準(zhǔn)則：
[0055] 1)圓周對(duì)稱性度量:度量虹膜輪廓區(qū)域的人眼圖像像素梯度的圓周對(duì)稱性。計(jì)算 方法為，將圖像轉(zhuǎn)化為極坐標(biāo)表示。在極坐標(biāo)下，橫軸代表虹膜上像素點(diǎn)Pi(g n)相對(duì)虹膜中 心c(gn)的方位角，縱軸代表虹膜中心C(gn)與虹膜像素點(diǎn)Pl(g n)連線上的歐式坐標(biāo)。基于 此，利用如下方法采集數(shù)據(jù)。沿著dgrjljpdgn)的方向，在人眼圖像上，跨虹膜輪廓內(nèi)外采集 一組連續(xù)的像素值，采集區(qū)間范圍與 C(gn^ljPl(gn)的距離成正比。將這些像素值填充到極 坐標(biāo)內(nèi)，其橫坐標(biāo)同SpKgn)的方位角，其縱坐標(biāo)為該組像素從虹膜輪廓內(nèi)到外排列后的相 對(duì)坐標(biāo)，因此填充結(jié)果為縱向的一列。將極坐標(biāo)下的每一列都填充完畢之后，對(duì)其求取縱向 梯度得到極坐標(biāo)梯度圖（虹膜像素梯度矩陣）。觀察可知，理想的虹膜邊緣匹配結(jié)果將保證 梯度矩陣的各列結(jié)構(gòu)相似，即強(qiáng)度較大的值出現(xiàn)在相同的幾行。為定量衡量矩陣的各列一 致性，可使用矩陣的秩等指標(biāo)來(lái)計(jì)算。作為示例，以下集中度函數(shù)也可用來(lái)衡量該矩陣列間 的相似度：
[0057] 這里極坐標(biāo)梯度圖（PGM)是一個(gè)矩陣，{〇i}是奇異值，其中1 = 1，2,…，U和V是對(duì) PGM矩陣進(jìn)行奇異值分解后產(chǎn)生的兩個(gè)矩陣。RS值越大表示匹配越好。
[0058] 2)虹膜輪廓匹配:將人眼圖像中提取的虹膜輪廓邊緣像素集{qj}與虛擬眼球外觀 合成數(shù)據(jù)中的虹膜輪廓{Pl(gn)}進(jìn)行直接匹配。由于合成數(shù)據(jù)的虹膜和實(shí)際拍攝的虹膜在 尺寸上可能不同，本發(fā)明提出了一種魯棒的輪廓匹配技術(shù)來(lái)解決這一問(wèn)題。具體而言，提出 了以下匹配標(biāo)準(zhǔn)：
[0061] | | | |2代表2-范數(shù)計(jì)算，A是容忍微小距離誤差的一個(gè)常數(shù)，可設(shè)為2個(gè)像素。上式 計(jì)算了圖像中的虹膜輪廓邊緣點(diǎn)與虛擬眼球數(shù)據(jù)中的虹膜輪廓的距離，并統(tǒng)計(jì)其中距離值 與眾不同的情況的數(shù)量。因此，理想的匹配應(yīng)使所有的距離都相同，即ICF為0,而較差的匹 配無(wú)法做到。ICF值越大，匹配效果越差。該匹配準(zhǔn)則不要求人眼圖像的虹膜邊緣像素與合 成數(shù)據(jù)的虹膜輪廓完全重合，而僅要求各處距離相等(形狀相同），解決了二者尺寸不同的 問(wèn)題。
[0062] 結(jié)合圓周對(duì)稱性度量和虹膜輪廓匹配兩種準(zhǔn)則，綜合的人眼圖像與虛擬眼球外觀 匹配的匹配度衡量方法為RS-A ? ICF。其中A設(shè)為〇.〇1，用來(lái)平衡這兩項(xiàng)的權(quán)重。
[0063] 參閱圖4本發(fā)明的基于單張人眼圖像的視線方向計(jì)算流程圖，結(jié)合前文描述的相 關(guān)具體技術(shù)，以下介紹基于單張人眼圖像的視線方向計(jì)算的具體實(shí)施過(guò)程。
[0064]首先，輸入單張人眼圖像，并進(jìn)行圖像初始化處理，得到亮度修正的人眼圖像，并 從人眼圖像中獲取可信的虹膜輪廓邊緣像素集合。之后，為求解未知視線方向g，規(guī)定視線 方向的搜索規(guī)則和范圍，并逐一遍歷這些候選的視線方向。
[0065]假設(shè)g有新取值，則設(shè)定相對(duì)平移向量b = 0。之后，從虛擬眼球外觀合成數(shù)據(jù)集中， 選取與g最接近的視線方向所對(duì)應(yīng)的虹膜外觀等數(shù)據(jù)。計(jì)算score = RS_A ? ICF，并以score 取值最大化為標(biāo)準(zhǔn)，用梯度下降法優(yōu)化更新b，重復(fù)這一步驟，直至b取值穩(wěn)定。最后，選取下 一個(gè)g的取值。
[0066] 當(dāng)g已經(jīng)完成遍歷，沒(méi)有新的取值，則將整個(gè)計(jì)算過(guò)程中，對(duì)應(yīng)score最大值的眼球 朝向g值和相對(duì)平移向量b輸出，其中眼球朝向g也即三維視線方向，是最終輸出結(jié)果。
[0067] 整體而言，該過(guò)程求解了以下優(yōu)化問(wèn)題：
[0068] {g> b\ = Afg maxge{gn} b {RS(g, b)-A-!CF(g, b)}
[0069] A是一個(gè)權(quán)重參數(shù)，設(shè)為0.01，g和b是求解的視線方向和相對(duì)平移量。參閱圖5本發(fā) 明的基于多張人眼圖像的視線方向聯(lián)合優(yōu)化流程圖，在前文描述的基于單張人眼圖像的視 線方向計(jì)算方法基礎(chǔ)上，下面給出使用多張人眼圖像進(jìn)行視線方向聯(lián)合優(yōu)化計(jì)算的實(shí)施方 法。首先，利用同一臺(tái)相機(jī)，在短時(shí)間內(nèi)連續(xù)拍攝多張人眼圖像。由于用戶頭部姿態(tài)在短時(shí) 間內(nèi)往往較為穩(wěn)定，因此這些圖像能夠通過(guò)簡(jiǎn)單的平移旋轉(zhuǎn)準(zhǔn)確對(duì)齊。接下來(lái)，使用前述的 單張圖像視線方向計(jì)算方法，分別計(jì)算每一張圖像的視線方向&和眼球中心坐標(biāo)e m。
[0070]由于在多張人眼圖像均已對(duì)齊的條件下，眼球旋轉(zhuǎn)并不會(huì)改變眼球中心的位置， 因此所有的em都應(yīng)對(duì)應(yīng)于同一個(gè)真實(shí)的眼球中心坐標(biāo)，記為i。假定共有M張人眼圖像，可以 直接計(jì)算其平均值：
[0072] 進(jìn)一步，為獲得更高的準(zhǔn)確度，希望僅使用{&}中比較可信的一個(gè)子集。因此，對(duì) {em}中所有數(shù)據(jù)做聚類(lèi)，選取最大子集，用來(lái)做加權(quán)平均，得到I
[0073] 在獲取眼球中心坐標(biāo)色后，對(duì)每一張人眼圖像，重新進(jìn)行優(yōu)化計(jì)算，優(yōu)化方法仍然 為最大化如下函數(shù):s C〇re = RS-A ? ICF含圓周對(duì)稱性和虹膜輪廓匹配兩個(gè)優(yōu)化準(zhǔn)則。與之 前方法的區(qū)別在于，計(jì)算RS和ICF時(shí)，原本能夠自由取值的眼球中心坐標(biāo)^被強(qiáng)制固定為e% 在此基礎(chǔ)上優(yōu)化求解，由于固定了眼球中心§，相當(dāng)于將原本獨(dú)立的眼球朝向和相對(duì)平移向 量?jī)蓚€(gè)變量綁定，使得解空間大大縮小；同時(shí)利用獨(dú)立求解時(shí)的結(jié)果 gm作為初始值，在一定 浮動(dòng)范圍內(nèi)（如± 15°范圍內(nèi)）進(jìn)行優(yōu)化搜索，不需要遍歷整個(gè)解空間。因此，能夠快速獲得 最優(yōu)化的視線方向。整體而言，聯(lián)合優(yōu)化過(guò)程求解了以下問(wèn)題：
[0074] = arg max"eUfn} ,句-A 句} s.t.arccosCg .如）< 1S。
[0075] 其中，三維視線方向成n是針對(duì)第m張圖像的最終輸出。
[0076] 總之，本發(fā)明新穎的眼球外觀優(yōu)化匹配準(zhǔn)則，有效降低圖像縮放和噪聲等不可控 因素對(duì)結(jié)果的影響;在連續(xù)拍攝多張人眼圖像的情況下，發(fā)明一種聯(lián)合優(yōu)化方法，進(jìn)一步提 高計(jì)算精度。本發(fā)明的應(yīng)用之一是虛擬現(xiàn)實(shí)和人機(jī)交互，其原理是通過(guò)拍攝用戶的眼部圖 像，計(jì)算用戶視線方向，從而與智能系統(tǒng)界面或虛擬現(xiàn)實(shí)對(duì)象進(jìn)行交互。本發(fā)明也可廣泛用 于訓(xùn)練培訓(xùn)、游戲娛樂(lè)、視頻監(jiān)控、醫(yī)療監(jiān)護(hù)等領(lǐng)域。
[0077]以上所述僅為本發(fā)明的一個(gè)代表性實(shí)施例，依據(jù)本發(fā)明的技術(shù)方案所做的任何等 效變換，均應(yīng)屬于本發(fā)明的保護(hù)范圍。
【主權(quán)項(xiàng)】
1. 一種基于人眼圖像中虹膜輪廓分析匹配的視線方向計(jì)算方法，其特征在于包含以下 步驟： (1) 構(gòu)造球體眼球模型，遍歷不同的物理可能的眼球朝向，通過(guò)幾何計(jì)算，生成不同朝 向下的二維虛擬眼球外觀，將所有眼球朝向及其對(duì)應(yīng)的虛擬眼球外觀數(shù)據(jù)存儲(chǔ)于數(shù)據(jù)集， 以備具體應(yīng)用時(shí)使用； (2) 應(yīng)用時(shí)，首先拍攝用戶面部圖像，定位左眼或右眼區(qū)域，預(yù)處理人眼圖像，完成亮度 修正并提取圖像中的虹膜邊緣像素； (3) 對(duì)于拍攝并預(yù)處理的人眼圖像，以及數(shù)據(jù)集內(nèi)的虛擬眼球外觀數(shù)據(jù)，通過(guò)人眼圖像 與虛擬眼球外觀數(shù)據(jù)匹配優(yōu)化算法，進(jìn)行人眼圖像與虛擬眼球外觀數(shù)據(jù)匹配，匹配結(jié)果確 定了與人眼圖像最吻合的眼球朝向和位置； (4) 對(duì)于連續(xù)拍攝的人眼圖像，在眼球中心位置不變或人眼圖像已被對(duì)齊的條件下，以 步驟(3)的眼球外觀匹配為基礎(chǔ)，進(jìn)一步進(jìn)行聯(lián)合優(yōu)化，精確同時(shí)求解各圖像對(duì)應(yīng)的三維視 線方向。2. 根據(jù)權(quán)利要求1所述的一種基于人眼圖像中虹膜輪廓分析匹配的視線方向計(jì)算方 法，其特征在于:步驟（1)的虛擬眼球外觀數(shù)據(jù)生成方法如下，首先，建立眼球的三維球體模 型，并在其表面添加圓形虹膜輪廓重要元素;遍歷不同的物理可能的眼球朝向，即不同的繞 水平和垂直軸轉(zhuǎn)動(dòng)的角度，對(duì)于每個(gè)轉(zhuǎn)動(dòng)角度，將對(duì)應(yīng)的三維虛擬眼球外觀投射到二維平 面即對(duì)應(yīng)眼球正前方，記錄投射后的虹膜輪廓坐標(biāo)、眼球中心坐標(biāo)、虹膜中心坐標(biāo)二維眼球 外觀數(shù)據(jù);將所有眼球朝向及其對(duì)應(yīng)的虛擬眼球外觀數(shù)據(jù)存儲(chǔ)于數(shù)據(jù)集。3. 根據(jù)權(quán)利要求1所述的一種基于人眼圖像中虹膜輪廓分析匹配的視線方向計(jì)算方 法，其特征在于:所述步驟(3)中的人眼圖像與虛擬眼球外觀數(shù)據(jù)匹配優(yōu)化算法，具體如下： 求解的匹配參數(shù)為人眼圖像與虛擬眼球外觀在二維圖像域內(nèi)的相對(duì)平移量，以及虛擬眼球 外觀對(duì)應(yīng)的眼球朝向，通過(guò)尋找這兩個(gè)匹配參數(shù)的最佳值，最優(yōu)化人眼圖像與虛擬眼球外 觀的匹配度，從而實(shí)現(xiàn)進(jìn)行人眼圖像與虛擬眼球外觀數(shù)據(jù)匹配。4. 根據(jù)權(quán)利要求3所述的一種基于人眼圖像中虹膜輪廓分析匹配的視線方向計(jì)算方 法，其特征在于:所述匹配度由如下函數(shù)度量計(jì)算： (31) 圓周對(duì)稱性度量：當(dāng)匹配趨于理想時(shí)，人眼圖像中處于虛擬眼球虹膜輪廓附近的 像素具有更好的圓周對(duì)稱性； (32) 虹膜輪廓匹配度度量：當(dāng)匹配趨于理想時(shí)，計(jì)算人眼圖像中的虹膜邊緣各像素與 虛擬眼球虹膜輪廓的距離，這些距離趨于相同。5. 根據(jù)權(quán)利要求4所述的一種基于人眼圖像中虹膜輪廓分析匹配的視線方向計(jì)算方 法，其特征在于：步驟(31)中進(jìn)行圓周對(duì)稱性度量的方法為，對(duì)于任意一組匹配參數(shù)，可以 確定其對(duì)應(yīng)的虛擬眼球外觀虹膜輪廓及虹膜中心位置的坐標(biāo);將這些坐標(biāo)疊加到人眼圖像 上，以虹膜輪廓上的各點(diǎn)為基準(zhǔn)，沿各點(diǎn)與虛擬眼球外觀虹膜中心的連線的正負(fù)兩個(gè)方向， 在人眼圖像上進(jìn)行連續(xù)像素值采集，獲得一維像素列向量，采集范圍與虛擬眼球外觀虹膜 輪廓上各點(diǎn)到虛擬眼球外觀虹膜中心距離成正比；遍歷虛擬眼球外觀虹膜輪廓上各點(diǎn)進(jìn)行 采集，將得到的所有一維列向量組合為二維矩陣;最后，計(jì)算該矩陣或其垂直方向的梯度矩 陣的各列數(shù)值分布的一致性，一致性可用矩陣核函數(shù)、各列相關(guān)系數(shù)、奇異值集中度進(jìn)行度 量，一致性越高，圓周對(duì)稱性越好。6. 根據(jù)權(quán)利要求4所述的一種基于人眼圖像中虹膜輪廓分析匹配的視線方向計(jì)算方 法，其特征在于：步驟(32)中進(jìn)行虹膜輪廓匹配度度量的方法為，對(duì)于任意一組匹配參數(shù)， 確定該一組匹配參數(shù)對(duì)應(yīng)的虛擬眼球外觀虹膜輪廓的坐標(biāo);遍歷人眼圖像中提取的虹膜邊 緣像素，計(jì)算各邊緣像素與虛擬眼球外觀虹膜輪廓的距離;檢查這些距離的分布，統(tǒng)計(jì)明顯 與眾不同的距離的數(shù)量，該數(shù)量越少，虹膜輪廓匹配度度量結(jié)果越好。7. 根據(jù)權(quán)利要求1所述的一種基于人眼圖像中虹膜輪廓分析匹配的視線方向計(jì)算方 法，其特征在于:所述步驟(4)中聯(lián)合優(yōu)化方法，精確同時(shí)求解各圖像對(duì)應(yīng)的三維視線方向 的方法為，假設(shè)各圖像拍攝時(shí)眼球中心位置不變或已被對(duì)齊，進(jìn)行步驟(3)中人眼圖像與虛 擬眼球外觀匹配，計(jì)算得到每張人眼圖像對(duì)應(yīng)的眼球朝向和眼球中心位置坐標(biāo);排除其中 明顯有偏差的眼球中心坐標(biāo)，利用剩余坐標(biāo)，加權(quán)計(jì)算眼球中心的標(biāo)準(zhǔn)坐標(biāo);分別繼續(xù)進(jìn)行 步驟(3)的優(yōu)化，同時(shí)增加一項(xiàng)優(yōu)化約束，即匹配后的眼球中心坐標(biāo)與標(biāo)準(zhǔn)眼球中心坐標(biāo)盡 可能重合，計(jì)算結(jié)果更新為各張人眼圖像中眼球朝向即三維視線方向的最終結(jié)果。
【文檔編號(hào)】G06T17/00GK105913487SQ201610218355
【公開(kāi)日】2016年8月31日
【申請(qǐng)日】2016年4月9日
【發(fā)明人】陸峰, 陳小武, 趙沁平
【申請(qǐng)人】北京航空航天大學(xué)