一種基于人眼圖像中虹膜輪廓分析匹配的視線方向計算方法
【專利摘要】本發(fā)明提供一種基于人眼圖像中虹膜輪廓分析匹配的視線方向計算方法，包括：一種數(shù)據(jù)驅動的方法，輸入人眼圖像，與虛擬眼球外觀合成數(shù)據(jù)進行匹配，穩(wěn)定求解其三維視線方向；2種新穎的眼球外觀優(yōu)化匹配準則，有效降低圖像縮放和噪聲等不可控因素對結果的影響；在連續(xù)拍攝多張人眼圖像的情況下，發(fā)明一種聯(lián)合優(yōu)化方法，進一步提高計算精度。本發(fā)明的應用之一是虛擬現(xiàn)實和人機交互，其原理是通過拍攝用戶的眼部圖像，計算用戶視線方向，從而與智能系統(tǒng)界面或虛擬現(xiàn)實對象進行交互。本發(fā)明也可廣泛用于訓練培訓、游戲娛樂、視頻監(jiān)控、醫(yī)療監(jiān)護等領域。
【專利說明】
一種基于人眼圖像中虹膜輪廓分析匹配的視線方向計算方法
技術領域
[0001] 本發(fā)明涉及計算機視覺和圖像處理領域，具體地說是一種基于人眼圖像中虹膜輪 廓分析匹配的視線方向計算方法。
【背景技術】
[0002] 視線追蹤/眼動追蹤對于用戶行為理解和高效人機交互具有重要意義。人類可感 知信息中超過80 %的部分由人眼接收，而其中超過90 %的部分由視覺系統(tǒng)處理。因此，視線 是反映人與外界交互過程的重要線索。近年來，由于虛擬現(xiàn)實技術和人機交互技術的迅速 發(fā)展，視線追蹤技術的應用價值逐漸凸顯；另一方面，視線方向計算在計算機視覺領域仍然 是一個極富挑戰(zhàn)性的問題。目前的解決方法大多基于主動光源和紅外攝像，因此需要額外 的硬件，并且對使用環(huán)境要求較高。另一類方法不需要假設主動光照，僅用單相機拍攝人眼 圖像并進行視線方向計算，但需要提前獲取大量的訓練樣本，用來學習得到回歸計算模型。 例如，Baluja和Pomerleau提出的早期的神經(jīng)網(wǎng)絡系統(tǒng)，需要使用數(shù)千個訓練樣本進行訓 練。Tan等人提出了基于局部線性插值的方法，將人眼圖像與視線坐標進行映射，其系統(tǒng)需 要大約兩百個訓練樣本。
[0003] 為了減少對訓練樣本量的需求，Williams等人提出了一種能夠同時使用標記樣本 和無標記樣本進行訓練的半監(jiān)督的方法。Lu等人提出了一個基于稀疏最優(yōu)化的自適應回歸 框架，允許使用更少的訓練樣本進行計算，同時夠解決視線計算中的一系列相關問題。 Sugano等人從視頻中抽取視覺顯著性來自動生成訓練樣本，并用于系統(tǒng)訓練。以上方法的 缺點在于，其均假定頭部姿勢固定不動，如果要求這些方法用于頭部姿勢改變的情況，則需 要更多的訓練樣本來解決頭部運動問題。
[0004] 為了徹底避免系統(tǒng)訓練，考慮視線方向是由眼球朝向唯一決定的，而眼球朝向能 夠從虹膜圓盤朝向或其中心位置計算獲得，因此，Yamazoe等人和He yman等人提出了通過計 算虹膜中心和眼球中心間的相對位置實現(xiàn)視線方向計算的方法。他們的方法需要對頭部進 行三維建模，并且精確追蹤人臉的三維特征點，包括眼角位置和眼球中心位置等。在現(xiàn)實 中，這些特征點往往難以精確提取，甚至是不可見的。Ishikawa等人使用基于主動外觀模型 (AAM)的方法跟蹤人臉特征點，同樣面臨上述難題。另一些方法使用橢圓擬合虹膜輪廓，之 后將該橢圓反向投影為三維空間上的圓形。這是因為虹膜輪廓可以被近似為圓形，而其在 二維圖像中投影為橢圓，通過分析該橢圓形狀能夠求解虹膜在三維世界中的朝向。這是常 見的基于虹膜輪廓形狀的方法。但是，傳統(tǒng)的虹膜輪廓分析方法在實際應用中并不可靠，原 因是虹膜區(qū)域在圖像中面積小、噪聲大，其輪廓難以精確提取，而對其輪廓提取的若干像素 的微小誤差即可造成非常大的視線方向計算偏差。因此，很多情況下只能通過拍攝超高分 辨率人眼圖像，或者使用可穿戴相機來提高精度，同時也增加了對硬件的要求和對實際應 用場景的限制。在此前提下，本發(fā)明提供了一種基于人眼圖像中虹膜輪廓分析匹配的視線 方向計算方法，結合虹膜外觀的虛擬生成，主要用于解決在拍攝普通分辨率人眼圖像的條 件下，傳統(tǒng)的虹膜輪廓匹配方法穩(wěn)定性差，精度低的缺點，進而實現(xiàn)高精度三維視線方向計 算。

【發(fā)明內(nèi)容】

[0005] 根據(jù)上述實際需求和技術難題，本發(fā)明的目的在于：提出一種三維視線的計算方 法，通過虛擬眼球外觀合成，生成不同視線方向下的虛擬眼球外觀數(shù)據(jù)集，通過與人眼圖像 匹配，實現(xiàn)對人眼三維視線方向的計算。本方法對系統(tǒng)沒有額外需求，僅使用單相機拍攝的 人眼圖像作為輸入。同時，本方法通過提出兩種虹膜輪廓形狀分析匹配技術，實現(xiàn)了相比其 它類似方法更好的魯棒性。
[0006] 本發(fā)明技術解決方案:一種基于人眼圖像中虹膜輪廓分析匹配的視線方向計算方 法，首先，針對人眼圖像獲取，本發(fā)明包含以下流程。使用單相機，拍攝含有用戶面部區(qū)域的 圖像。利用已有人臉分析方法定位左眼或右眼區(qū)域。對提取出的人眼圖像進行預處理，得到 亮度修正的人眼圖像，以及通過邊緣檢測產(chǎn)生部分虹膜邊緣像素。
[0007] 其次，發(fā)明了針對不同視線方向下的虛擬眼球外觀合成和數(shù)據(jù)集建立方法。對眼 球建立三維球體模型，并在其上添加虹膜輪廓等重要細節(jié);遍歷物理可能的眼球朝向參數(shù)， 即繞水平和垂直兩軸轉動的角度，對于每個眼球朝向，將對應的三維虛擬眼球外觀投射到 二維平面(對應眼球正前方向），記錄投射后的虹膜形態(tài)、眼球中心位置、虹膜中心位置等二 維坐標信息;將所有轉角與對應生成的二維坐標信息保存到數(shù)據(jù)集。
[0008] 進一步，發(fā)明了人眼圖像和合成得到的虛擬眼球外觀匹配的方法，通過最大化匹 配度，選取與人眼圖像最一致的虛擬眼球外觀，得知對應的眼球朝向和位置。針對眼球外觀 匹配，發(fā)明了基于圓周對稱性度量和虹膜輪廓匹配度度量兩種約束的匹配算法。對于前者， 給定任意一組匹配參數(shù)(相對平移量和眼球朝向），確定其對應的虛擬眼球虹膜輪廓及虹膜 中心位置的坐標;將這些坐標疊加到人眼圖像上，在虹膜輪廓附近區(qū)域內(nèi)，度量人眼圖像像 素梯度的變化規(guī)律，考察以虹膜橢圓輪廓為參考的二維圓周對稱性，并以此作為準則衡量 匹配效果。對于后者，給定任意一組匹配參數(shù)(相對平移量和眼球朝向），可以確定其對應的 虛擬眼球虹膜輪廓的坐標;遍歷人眼圖像中提取的虹膜邊緣像素，計算各邊緣像素與虛擬 眼球虹膜輪廓的距離；檢查這些距離的分布，統(tǒng)計明顯與眾不同的距離的數(shù)量，該數(shù)量越 少，虹膜輪廓匹配度度量結果越好。
[0009] 另外，對于連續(xù)拍攝的人眼圖像，在假設眼球中心位置不變或已對齊的條件下，發(fā) 明了一種聯(lián)合優(yōu)化方法，能夠提高從多張人眼圖像中計算視線方向時的準確性。在前述人 眼圖像與虛擬眼球外觀匹配結果的基礎上，對于每一張人眼圖像，分別計算得到眼球朝向 和眼球中心位置坐標;對于所有圖像的結果，排除其中明顯有偏差的眼球中心坐標，利用剩 余坐標，加權計算眼球中心的標準坐標;分別繼續(xù)進行外觀匹配，同時增加一項優(yōu)化約束， 即匹配后的眼球中心坐標與標準眼球中心坐標盡可能重合。計算結果更新為各張人眼圖像 中眼球朝向的最終結果。
[0010] 本發(fā)明具體實現(xiàn)步驟如下：
[0011] (1)構造球體眼球模型，遍歷不同的物理可能的眼球朝向，通過幾何計算，生成不 同朝向下的二維虛擬眼球外觀，將所有眼球朝向及其對應的虛擬眼球外觀數(shù)據(jù)存儲于數(shù)據(jù) 集，以備具體應用時使用；
[0012] (2)應用時，首先拍攝用戶面部圖像，定位左眼或右眼區(qū)域，預處理人眼圖像，完成 亮度修正并提取圖像中的虹膜邊緣像素；
[0013] (3)對于拍攝并預處理的人眼圖像，以及數(shù)據(jù)集內(nèi)的虛擬眼球外觀數(shù)據(jù)，通過人眼 圖像與虛擬眼球外觀數(shù)據(jù)匹配優(yōu)化算法，進行人眼圖像與虛擬眼球外觀數(shù)據(jù)匹配，匹配結 果確定了與人眼圖像最吻合的眼球朝向和位置；
[0014] (4)對于連續(xù)拍攝的人眼圖像，在眼球中心位置不變或人眼圖像已被對齊的條件 下，以步驟(3)的眼球外觀匹配為基礎，進一步進行聯(lián)合優(yōu)化，精確同時求解各圖像對應的 三維視線方向。
[0015] 所述步驟（1)的虛擬眼球外觀數(shù)據(jù)生成方法如下，首先，建立眼球的三維球體模 型，并在其表面添加圓形虹膜輪廓重要元素;遍歷不同的物理可能的眼球朝向，即不同的繞 水平和垂直軸轉動的角度，對于每個轉動角度，將對應的三維虛擬眼球外觀投射到二維平 面即對應眼球正前方，記錄投射后的虹膜輪廓坐標、眼球中心坐標、虹膜中心坐標二維眼球 外觀數(shù)據(jù);將所有眼球朝向及其對應的虛擬眼球外觀數(shù)據(jù)存儲于數(shù)據(jù)集。
[0016] 所述步驟(3)中的人眼圖像與虛擬眼球外觀數(shù)據(jù)匹配優(yōu)化算法，具體如下:求解的 匹配參數(shù)為人眼圖像與虛擬眼球外觀在二維圖像域內(nèi)的相對平移量，以及虛擬眼球外觀對 應的眼球朝向，通過尋找這兩個匹配參數(shù)的最佳值，最優(yōu)化人眼圖像與虛擬眼球外觀的匹 配度，從而實現(xiàn)進行人眼圖像與虛擬眼球外觀數(shù)據(jù)匹配。
[0017] 所述匹配度由如下函數(shù)度量計算：
[0018] (31)圓周對稱性度量：當匹配趨于理想時，人眼圖像中處于虛擬眼球虹膜輪廓附 近的像素具有更好的圓周對稱性；
[0019] (32)虹膜輪廓匹配度度量：當匹配趨于理想時，計算人眼圖像中的虹膜邊緣各像 素與虛擬眼球虹膜輪廓的距離，這些距離趨于相同。
[0020] 步驟(31)中進行圓周對稱性度量的方法為，對于任意一組匹配參數(shù)，可以確定其 對應的虛擬眼球外觀虹膜輪廓及虹膜中心位置的坐標;將這些坐標疊加到人眼圖像上，以 虹膜輪廓上的各點為基準，沿各點與虛擬眼球外觀虹膜中心的連線的正負兩個方向，在人 眼圖像上進行連續(xù)像素值采集，獲得一維像素列向量，采集范圍與虛擬眼球外觀虹膜輪廓 上各點到虛擬眼球外觀虹膜中心距離成正比；遍歷虛擬眼球外觀虹膜輪廓上各點進行采 集，將得到的所有一維列向量組合為二維矩陣;最后，計算該矩陣或其垂直方向的梯度矩陣 的各列數(shù)值分布的一致性，一致性可用矩陣核函數(shù)、各列相關系數(shù)、奇異值集中度進行度 量，一致性越高，圓周對稱性越好。
[0021] 步驟(32)中進行虹膜輪廓匹配度度量的方法為，對于任意一組匹配參數(shù)，確定該 一組匹配參數(shù)對應的虛擬眼球外觀虹膜輪廓的坐標;遍歷人眼圖像中提取的虹膜邊緣像 素，計算各邊緣像素與虛擬眼球外觀虹膜輪廓的距離;檢查這些距離的分布，統(tǒng)計明顯與眾 不同的距離的數(shù)量，該數(shù)量越少，虹膜輪廓匹配度度量結果越好。
[0022] 所述步驟(4)中聯(lián)合優(yōu)化方法，精確同時求解各圖像對應的三維視線方向的方法 為，假設各圖像拍攝時眼球中心位置不變或已被對齊，進行步驟(3)中人眼圖像與虛擬眼球 外觀匹配，計算得到每張人眼圖像對應的眼球朝向和眼球中心位置坐標;排除其中明顯有 偏差的眼球中心坐標，利用剩余坐標，加權計算眼球中心的標準坐標;分別繼續(xù)進行步驟 (3)的優(yōu)化，同時增加一項優(yōu)化約束，即匹配后的眼球中心坐標與標準眼球中心坐標盡可能 重合，計算結果更新為各張人眼圖像中眼球朝向即三維視線方向的最終結果。
[0023] 與其它的基于虹膜外觀分析的方法相比，本發(fā)明有益的特點在于：（1)發(fā)明了一種 數(shù)據(jù)驅動的方法，通過合成虛擬的且物理可能的眼球外觀數(shù)據(jù)，將視線方向求解的難題轉 化為真實人眼圖像與合成的多朝向虛擬眼球外觀的匹配問題，有利于穩(wěn)定求解；（2)針對虹 膜外觀匹配，發(fā)明了 2種新穎的優(yōu)化準則，包括圓周對稱性度量準則和虹膜輪廓匹配度度量 準則，這兩種準則與傳統(tǒng)方法的區(qū)別之處在于，在匹配中不要求虹膜輪廓的精確吻合，而是 靈活地衡量了虹膜輪廓在形狀上的相似性，從而有效降低圖像中縮放和噪聲等不可控因素 對結果的影響；（3)在連續(xù)拍攝多張人眼圖像的情況下，假設眼球中心位置不變或已經(jīng)對 齊，本發(fā)明提出了一種聯(lián)合優(yōu)化方法，能夠從多張人眼圖像中更精確計算其各自的視線方 向。
【附圖說明】
[0024] 圖1是本發(fā)明的虹膜圖像與視線方向關系示意圖；
[0025] 圖2是本發(fā)明的虛擬眼球外觀生成示意圖；
[0026] 圖3是本發(fā)明的人眼圖像與虛擬眼球外觀匹配示意圖；
[0027] 圖4是本發(fā)明的基于單張人眼圖像的視線方向計算流程圖；
[0028] 圖5是本發(fā)明的基于多張人眼圖像的視線方向聯(lián)合優(yōu)化流程圖。
【具體實施方式】
[0029]下面結合附圖對本發(fā)明的具體實施作詳細說明。
[0030] 參閱圖1本發(fā)明的虹膜圖像與視線方向關系示意圖，為了從相機拍攝的人眼圖像 中計算三維視線方向，使用一種簡單的三維球體模型對眼球進行建模。具體而言，認為眼球 為一個表面帶有圓形虹膜區(qū)域的標準球體，對于該眼球模型，模型參數(shù)僅包含眼球半徑和 虹膜直徑，因此易于分析計算。在此基礎上，視線方向可以近似地用一條以眼球中心為起 點，通過虹膜中心的射線來確定。另一方面，由基本的三維幾何規(guī)律可知，在該模型下，視線 方向與圓形的虹膜區(qū)域的法向量方向是一致的。因此，求解三維視線方向的問題可以轉化 為求解虹膜區(qū)域的朝向(法向方向）的問題。
[0031] 當利用相機拍攝人眼外觀時，原本圓形的虹膜輪廓會由于透視原因，在圖像中程 橢圓形。容易證明，當三維眼球轉動導致虹膜朝向改變時，虹膜輪廓的橢圓形投影的形狀由 虹膜朝向直接確定。例如，當眼球和虹膜正對著拍攝方向的時候，拍攝到的二維虹膜輪廓是 標準圓形；如果眼球轉動，虹膜朝向隨之旋轉，其二維投影后的圖像將會沿著轉動方向收 縮，體現(xiàn)為沿短軸收縮的橢圓。相應地，通過計算橢圓虹膜輪廓的形狀（由長軸和短軸確 定），即能夠恢復出虹膜的三維朝向。因此，從人眼圖像中求解三維視線方向的問題可最終 轉化為對圖像中二維虹膜輪廓的分析計算。
[0032] 參閱圖2本發(fā)明的虛擬眼球外觀生成示意圖，為了在不進行實際拍攝的前提下，生 成大量的物理可能的虛擬眼球外觀數(shù)據(jù)，提出在三維球體眼球模型的基礎上進行計算和繪 制的方法。首先，確定虛擬數(shù)據(jù)產(chǎn)生的參數(shù)化方案。具體而言，以眼球朝向為指標，并將其進 一步分解為眼球繞X軸和Y軸的兩種轉動方式。記兩個方向的旋轉角度分別為u和V，則眼球 轉動的總角度可以近似為arcsin( (sin2u+sin2vr2)。此處，考慮虛擬眼球外觀的生成應保 證其物理可能性，因此，對上述轉動加以約束，要求眼球整體轉動不得超過45°，即（sin 2u+ sin2vr2〈sin45°。在此基礎上，對于u和v，每隔5°采樣一次，對每一組u和v，通過上述公式進 行判斷，如果整體轉動超出45°，則舍棄該組u和v，否則將該組數(shù)據(jù)加入虛擬眼球合成的參 數(shù)集合。
[0033]對于每一組物理可行的眼球旋轉角度u和V，進行眼球虛擬外觀合成。如前所述，本 方案采用一個標準球體，作為眼球的近似。同時，在球體表面附著一個標準圓形，作為虹膜 輪廓的近似。二者整體組成眼球的三維模型。在具體構建中，眼球和虹膜的直徑分別記作D e 和〇:，其取值參照解剖學中的眼球標準參數(shù)，分別設為25毫米和12毫米。需要補充的是，不 同人之間存在個體差異，導致DjPDi存在差異性。本發(fā)明雖然在此處的虛擬眼球外觀模型構 建時采用了固定參數(shù)，但后續(xù)算法將能夠有效處理個體差異。
[0034] 利用該眼球模型，配合前述的虛擬眼球合成的轉動參數(shù)，可以生成不同視線方向 下的虛擬眼球外觀數(shù)據(jù)。首先，記8=匕辦，^]7為描述眼球朝向（即三維視線方向）的單位 三維向量，則對于任意物理可行的u和v，其對應的g的計算方法如下： sin u
[0035] g = sin v
[(1 - sirr u - sin2
[0036] 同時，為了計算該眼球朝向下的虛擬眼球外觀，記EUhCXghPjg)表示眼球中 心、虹膜中心和虹膜輪廓上第i個點的三維坐標。則EQhCXghPjg)與g之間的關系可以通 過以下公式計算：
[0039] 其中，
gx、gy、g z分別是前述視線方向g在三個坐 標軸方向上的分量。Y是虹膜輪廓上第i個點相對于虹膜中心的方位角。至此，對于任意物 理可行的u和v，在給定眼球中心三維坐標E(g)的條件下，其對應的眼球朝向g、虹膜中心C (g)和虹膜輪廓{Pi(g)}的三維坐標均已被計算獲得。遍歷所有的物理可行的眼球旋轉角度 u和V，可以計算得到一系列不同眼球朝向下的虛擬眼球外觀的三維坐標描述。
[0040] 最后，為了合成二維圖像下的虛擬眼球外觀，需要將三維坐標轉換為圖像平面上 的二維像素坐標。利用標準相機成像公式，進行如下計算： 1 0 0 0] p.
[0041] Z \ = K 〇 1 〇 〇 1-0 0 10-1
[0042]其中，大寫字母P泛指任意已知的三維坐標，可以是上述E(g)，C(g) JJg)。小寫字 母P是其對應的圖像上的二維像素坐標。K是相機的內(nèi)參矩陣，可以通過實驗標定，也可以根 據(jù)實際情況指定。z是計算過程中產(chǎn)生的一個比例常數(shù)。
[0043] 在某些情況下，當相機內(nèi)參K無法確定，且眼球中心三維坐標也無指定取值時，可 以采取如下近似方法計算合成虛擬眼球外觀。首先，設e(g)為0,然后使用一個簡單的變換 公式：
[0044] P = s[0 x Q\P
[0045] 這里，s是簡單的縮放常數(shù)，可以通過粗略估計人眼圖像中的虹膜直徑并將其除以 Di得到。
[0046]以上實施流程實現(xiàn)了對于任意的物理可能的眼球朝向（視線方向）gn，計算其三維 眼球數(shù)據(jù)，并合成為二維像素坐標的過程，具體得到了虹膜中心c(gn)、虹膜輪廓點集合{Pl (gn)}的二維圖像坐標數(shù)據(jù)，其中，{Pl(gn)}表示在i遍歷其所有取值時對應的 Pl(gn)組成的 集合。將所有的gn與其對應的c(gn)、{ Pl(gn)}進行保存，即得到了不同視線方向下的虛擬眼 球外觀合成數(shù)據(jù)集。
[0047] 參閱圖3本發(fā)明的人眼圖像與虛擬眼球外觀匹配示意圖，使用前述的不同視線方 向下的虛擬眼球外觀合成數(shù)據(jù)集，與真實拍攝的人眼圖像進行眼球外觀匹配，實現(xiàn)了眼球 朝向即三維視線方向的查詢計算。具體實施方法如下。
[0048] 首先，對于真實拍攝的人眼圖像，在進行視線計算之前，需要對其進行預處理。預 處理的目標包括兩點：對于不同條件下拍攝的人眼圖像進行亮度修正，以及從人眼圖像中 獲取可信的虹膜輪廓像素。對于亮度修正，首先進行圖像亮度直方圖調整，以加強較亮區(qū)域 (如鞏膜)和較暗區(qū)域(如虹膜和角膜)之間的對比度，具體通過以下操作完成：
[0051]其中，和I〃k是圖像中每個像素點進行直方圖調整前后的值，medianO是計算中 值的函數(shù)。對于亮度修正之后的圖像，進行虹膜輪廓提取，具體為:記錄圖像中像素亮度變 化幅度，以0.8的倍率作為閾值，選出最暗的區(qū)域。選擇其中面積最大的區(qū)域，用圖像膨脹操 作進行加強，得到虹膜區(qū)域的大致范圍，并記其中心位置為〇。同時，從原圖像中計算一個朝 向掩模，計算方法為，對于每一個像素 k，掩模值Mk如下： 1 如果/fc的梯度和〇指向像素 fc的夾角小于_3fl:°
[0052] Mk = { 0 其他
[0053] 分析該掩摸與虹膜區(qū)域像素點的關聯(lián)。觀察可知，虹膜輪廓上的像素從較暗的虹 膜區(qū)域到亮的鞏膜區(qū)域的梯度方向應當背離虹膜中心〇。因此，對于虹膜區(qū)域內(nèi)的像素 k來 說，如果k點的掩摸值Mk為1，就表示該點是潛在的虹膜輪廓像素點。此外，將可能的虹膜輪 廓區(qū)域約束在以〇為中心，向左右延伸的兩個扇形區(qū)域之間，以避免上下眼瞼邊緣的影響。 最后，得到虹膜輪廓候選結果。由于掩模的不完整性，可能導致孤立像素的存在，因此，判斷 所有像素的連通性，只保留非孤立像素，從而得到最終的虹膜輪廓像素集合。
[0054] 其次，從虛擬眼球外觀數(shù)據(jù)集中，選取某一眼球朝向gn下的合成外觀數(shù)據(jù)，并與亮 度修正的人眼圖像以及虹膜邊緣圖像進行匹配。匹配使用如下兩個準則：
[0055] 1)圓周對稱性度量:度量虹膜輪廓區(qū)域的人眼圖像像素梯度的圓周對稱性。計算 方法為，將圖像轉化為極坐標表示。在極坐標下，橫軸代表虹膜上像素點Pi(g n)相對虹膜中 心c(gn)的方位角，縱軸代表虹膜中心C(gn)與虹膜像素點Pl(g n)連線上的歐式坐標?；?此，利用如下方法采集數(shù)據(jù)。沿著dgrjljpdgn)的方向，在人眼圖像上，跨虹膜輪廓內(nèi)外采集 一組連續(xù)的像素值，采集區(qū)間范圍與 C(gn^ljPl(gn)的距離成正比。將這些像素值填充到極 坐標內(nèi)，其橫坐標同SpKgn)的方位角，其縱坐標為該組像素從虹膜輪廓內(nèi)到外排列后的相 對坐標，因此填充結果為縱向的一列。將極坐標下的每一列都填充完畢之后，對其求取縱向 梯度得到極坐標梯度圖（虹膜像素梯度矩陣）。觀察可知，理想的虹膜邊緣匹配結果將保證 梯度矩陣的各列結構相似，即強度較大的值出現(xiàn)在相同的幾行。為定量衡量矩陣的各列一 致性，可使用矩陣的秩等指標來計算。作為示例，以下集中度函數(shù)也可用來衡量該矩陣列間 的相似度：
[0057] 這里極坐標梯度圖（PGM)是一個矩陣，{〇i}是奇異值，其中1 = 1，2,…，U和V是對 PGM矩陣進行奇異值分解后產(chǎn)生的兩個矩陣。RS值越大表示匹配越好。
[0058] 2)虹膜輪廓匹配:將人眼圖像中提取的虹膜輪廓邊緣像素集{qj}與虛擬眼球外觀 合成數(shù)據(jù)中的虹膜輪廓{Pl(gn)}進行直接匹配。由于合成數(shù)據(jù)的虹膜和實際拍攝的虹膜在 尺寸上可能不同，本發(fā)明提出了一種魯棒的輪廓匹配技術來解決這一問題。具體而言，提出 了以下匹配標準：
[0061] | | | |2代表2-范數(shù)計算，A是容忍微小距離誤差的一個常數(shù)，可設為2個像素。上式 計算了圖像中的虹膜輪廓邊緣點與虛擬眼球數(shù)據(jù)中的虹膜輪廓的距離，并統(tǒng)計其中距離值 與眾不同的情況的數(shù)量。因此，理想的匹配應使所有的距離都相同，即ICF為0,而較差的匹 配無法做到。ICF值越大，匹配效果越差。該匹配準則不要求人眼圖像的虹膜邊緣像素與合 成數(shù)據(jù)的虹膜輪廓完全重合，而僅要求各處距離相等(形狀相同），解決了二者尺寸不同的 問題。
[0062] 結合圓周對稱性度量和虹膜輪廓匹配兩種準則，綜合的人眼圖像與虛擬眼球外觀 匹配的匹配度衡量方法為RS-A ? ICF。其中A設為〇.〇1，用來平衡這兩項的權重。
[0063] 參閱圖4本發(fā)明的基于單張人眼圖像的視線方向計算流程圖，結合前文描述的相 關具體技術，以下介紹基于單張人眼圖像的視線方向計算的具體實施過程。
[0064]首先，輸入單張人眼圖像，并進行圖像初始化處理，得到亮度修正的人眼圖像，并 從人眼圖像中獲取可信的虹膜輪廓邊緣像素集合。之后，為求解未知視線方向g，規(guī)定視線 方向的搜索規(guī)則和范圍，并逐一遍歷這些候選的視線方向。
[0065]假設g有新取值，則設定相對平移向量b = 0。之后，從虛擬眼球外觀合成數(shù)據(jù)集中， 選取與g最接近的視線方向所對應的虹膜外觀等數(shù)據(jù)。計算score = RS_A ? ICF，并以score 取值最大化為標準，用梯度下降法優(yōu)化更新b，重復這一步驟，直至b取值穩(wěn)定。最后，選取下 一個g的取值。
[0066] 當g已經(jīng)完成遍歷，沒有新的取值，則將整個計算過程中，對應score最大值的眼球 朝向g值和相對平移向量b輸出，其中眼球朝向g也即三維視線方向，是最終輸出結果。
[0067] 整體而言，該過程求解了以下優(yōu)化問題：
[0068] {g> b\ = Afg maxge{gn} b {RS(g, b)-A-!CF(g, b)}
[0069] A是一個權重參數(shù)，設為0.01，g和b是求解的視線方向和相對平移量。參閱圖5本發(fā) 明的基于多張人眼圖像的視線方向聯(lián)合優(yōu)化流程圖，在前文描述的基于單張人眼圖像的視 線方向計算方法基礎上，下面給出使用多張人眼圖像進行視線方向聯(lián)合優(yōu)化計算的實施方 法。首先，利用同一臺相機，在短時間內(nèi)連續(xù)拍攝多張人眼圖像。由于用戶頭部姿態(tài)在短時 間內(nèi)往往較為穩(wěn)定，因此這些圖像能夠通過簡單的平移旋轉準確對齊。接下來，使用前述的 單張圖像視線方向計算方法，分別計算每一張圖像的視線方向&和眼球中心坐標e m。
[0070]由于在多張人眼圖像均已對齊的條件下，眼球旋轉并不會改變眼球中心的位置， 因此所有的em都應對應于同一個真實的眼球中心坐標，記為i。假定共有M張人眼圖像，可以 直接計算其平均值：
[0072] 進一步，為獲得更高的準確度，希望僅使用{&}中比較可信的一個子集。因此，對 {em}中所有數(shù)據(jù)做聚類，選取最大子集，用來做加權平均，得到I
[0073] 在獲取眼球中心坐標色后，對每一張人眼圖像，重新進行優(yōu)化計算，優(yōu)化方法仍然 為最大化如下函數(shù):s C〇re = RS-A ? ICF含圓周對稱性和虹膜輪廓匹配兩個優(yōu)化準則。與之 前方法的區(qū)別在于，計算RS和ICF時，原本能夠自由取值的眼球中心坐標^被強制固定為e% 在此基礎上優(yōu)化求解，由于固定了眼球中心§，相當于將原本獨立的眼球朝向和相對平移向 量兩個變量綁定，使得解空間大大縮小；同時利用獨立求解時的結果 gm作為初始值，在一定 浮動范圍內(nèi)（如± 15°范圍內(nèi)）進行優(yōu)化搜索，不需要遍歷整個解空間。因此，能夠快速獲得 最優(yōu)化的視線方向。整體而言，聯(lián)合優(yōu)化過程求解了以下問題：
[0074] = arg max"eUfn} ,句-A 句} s.t.arccosCg .如）< 1S。
[0075] 其中，三維視線方向成n是針對第m張圖像的最終輸出。
[0076] 總之，本發(fā)明新穎的眼球外觀優(yōu)化匹配準則，有效降低圖像縮放和噪聲等不可控 因素對結果的影響;在連續(xù)拍攝多張人眼圖像的情況下，發(fā)明一種聯(lián)合優(yōu)化方法，進一步提 高計算精度。本發(fā)明的應用之一是虛擬現(xiàn)實和人機交互，其原理是通過拍攝用戶的眼部圖 像，計算用戶視線方向，從而與智能系統(tǒng)界面或虛擬現(xiàn)實對象進行交互。本發(fā)明也可廣泛用 于訓練培訓、游戲娛樂、視頻監(jiān)控、醫(yī)療監(jiān)護等領域。
[0077]以上所述僅為本發(fā)明的一個代表性實施例，依據(jù)本發(fā)明的技術方案所做的任何等 效變換，均應屬于本發(fā)明的保護范圍。
【主權項】
1. 一種基于人眼圖像中虹膜輪廓分析匹配的視線方向計算方法，其特征在于包含以下 步驟： (1) 構造球體眼球模型，遍歷不同的物理可能的眼球朝向，通過幾何計算，生成不同朝 向下的二維虛擬眼球外觀，將所有眼球朝向及其對應的虛擬眼球外觀數(shù)據(jù)存儲于數(shù)據(jù)集， 以備具體應用時使用； (2) 應用時，首先拍攝用戶面部圖像，定位左眼或右眼區(qū)域，預處理人眼圖像，完成亮度 修正并提取圖像中的虹膜邊緣像素； (3) 對于拍攝并預處理的人眼圖像，以及數(shù)據(jù)集內(nèi)的虛擬眼球外觀數(shù)據(jù)，通過人眼圖像 與虛擬眼球外觀數(shù)據(jù)匹配優(yōu)化算法，進行人眼圖像與虛擬眼球外觀數(shù)據(jù)匹配，匹配結果確 定了與人眼圖像最吻合的眼球朝向和位置； (4) 對于連續(xù)拍攝的人眼圖像，在眼球中心位置不變或人眼圖像已被對齊的條件下，以 步驟(3)的眼球外觀匹配為基礎，進一步進行聯(lián)合優(yōu)化，精確同時求解各圖像對應的三維視 線方向。2. 根據(jù)權利要求1所述的一種基于人眼圖像中虹膜輪廓分析匹配的視線方向計算方 法，其特征在于:步驟（1)的虛擬眼球外觀數(shù)據(jù)生成方法如下，首先，建立眼球的三維球體模 型，并在其表面添加圓形虹膜輪廓重要元素;遍歷不同的物理可能的眼球朝向，即不同的繞 水平和垂直軸轉動的角度，對于每個轉動角度，將對應的三維虛擬眼球外觀投射到二維平 面即對應眼球正前方，記錄投射后的虹膜輪廓坐標、眼球中心坐標、虹膜中心坐標二維眼球 外觀數(shù)據(jù);將所有眼球朝向及其對應的虛擬眼球外觀數(shù)據(jù)存儲于數(shù)據(jù)集。3. 根據(jù)權利要求1所述的一種基于人眼圖像中虹膜輪廓分析匹配的視線方向計算方 法，其特征在于:所述步驟(3)中的人眼圖像與虛擬眼球外觀數(shù)據(jù)匹配優(yōu)化算法，具體如下： 求解的匹配參數(shù)為人眼圖像與虛擬眼球外觀在二維圖像域內(nèi)的相對平移量，以及虛擬眼球 外觀對應的眼球朝向，通過尋找這兩個匹配參數(shù)的最佳值，最優(yōu)化人眼圖像與虛擬眼球外 觀的匹配度，從而實現(xiàn)進行人眼圖像與虛擬眼球外觀數(shù)據(jù)匹配。4. 根據(jù)權利要求3所述的一種基于人眼圖像中虹膜輪廓分析匹配的視線方向計算方 法，其特征在于:所述匹配度由如下函數(shù)度量計算： (31) 圓周對稱性度量：當匹配趨于理想時，人眼圖像中處于虛擬眼球虹膜輪廓附近的 像素具有更好的圓周對稱性； (32) 虹膜輪廓匹配度度量：當匹配趨于理想時，計算人眼圖像中的虹膜邊緣各像素與 虛擬眼球虹膜輪廓的距離，這些距離趨于相同。5. 根據(jù)權利要求4所述的一種基于人眼圖像中虹膜輪廓分析匹配的視線方向計算方 法，其特征在于：步驟(31)中進行圓周對稱性度量的方法為，對于任意一組匹配參數(shù)，可以 確定其對應的虛擬眼球外觀虹膜輪廓及虹膜中心位置的坐標;將這些坐標疊加到人眼圖像 上，以虹膜輪廓上的各點為基準，沿各點與虛擬眼球外觀虹膜中心的連線的正負兩個方向， 在人眼圖像上進行連續(xù)像素值采集，獲得一維像素列向量，采集范圍與虛擬眼球外觀虹膜 輪廓上各點到虛擬眼球外觀虹膜中心距離成正比；遍歷虛擬眼球外觀虹膜輪廓上各點進行 采集，將得到的所有一維列向量組合為二維矩陣;最后，計算該矩陣或其垂直方向的梯度矩 陣的各列數(shù)值分布的一致性，一致性可用矩陣核函數(shù)、各列相關系數(shù)、奇異值集中度進行度 量，一致性越高，圓周對稱性越好。6. 根據(jù)權利要求4所述的一種基于人眼圖像中虹膜輪廓分析匹配的視線方向計算方 法，其特征在于：步驟(32)中進行虹膜輪廓匹配度度量的方法為，對于任意一組匹配參數(shù)， 確定該一組匹配參數(shù)對應的虛擬眼球外觀虹膜輪廓的坐標;遍歷人眼圖像中提取的虹膜邊 緣像素，計算各邊緣像素與虛擬眼球外觀虹膜輪廓的距離;檢查這些距離的分布，統(tǒng)計明顯 與眾不同的距離的數(shù)量，該數(shù)量越少，虹膜輪廓匹配度度量結果越好。7. 根據(jù)權利要求1所述的一種基于人眼圖像中虹膜輪廓分析匹配的視線方向計算方 法，其特征在于:所述步驟(4)中聯(lián)合優(yōu)化方法，精確同時求解各圖像對應的三維視線方向 的方法為，假設各圖像拍攝時眼球中心位置不變或已被對齊，進行步驟(3)中人眼圖像與虛 擬眼球外觀匹配，計算得到每張人眼圖像對應的眼球朝向和眼球中心位置坐標;排除其中 明顯有偏差的眼球中心坐標，利用剩余坐標，加權計算眼球中心的標準坐標;分別繼續(xù)進行 步驟(3)的優(yōu)化，同時增加一項優(yōu)化約束，即匹配后的眼球中心坐標與標準眼球中心坐標盡 可能重合，計算結果更新為各張人眼圖像中眼球朝向即三維視線方向的最終結果。
【文檔編號】G06T17/00GK105913487SQ201610218355
【公開日】2016年8月31日
【申請日】2016年4月9日
【發(fā)明人】陸峰, 陳小武, 趙沁平
【申請人】北京航空航天大學