專利名稱：一種基于眨眼動作的人機交互方法及系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及人機交互技術領域，特別是涉及一種基于眨眼動作的人機交互方法及系統(tǒng)。
背景技術：
隨著手機、平板電腦等各類移動終端設備的普及，特別是智能手機的發(fā)展，這些智能移動終端的作用已不再是簡單的接打電話、收發(fā)短信了，各種手機和平板電腦的應用充斥著整個網(wǎng)絡，其中最主要的應用包括接打電話、收發(fā)短信/郵件、拍照片、瀏覽網(wǎng)頁、玩游戲和閱讀電子書。用戶與設備之間的人機交互方式也越來越豐富。目前較常用的人機交互方式主要有兩種一種是按鍵型，通過按鍵來發(fā)出命令；另一種是觸摸型，觸摸屏幕采用電容屏或電阻屏，用戶通過手指觸摸屏幕發(fā)出命令。這兩種方式都是基于人手的人機交互 方式，需要手的介入，當雙手被占用時，就無法完成人與設備的交互，所以無法適用于某些特殊場合，以及一些殘障人士。隨著智能信息技術的發(fā)展，新的交互方式層出不窮，特別是出現(xiàn)了多種非接觸式的操作方式，主要有語音控制和體感控制兩種，其中語音控制、動作控制(屬于體感控制的一種)等技術已經(jīng)得到了廣泛的應用。基于語音的操作方式，需要用戶用聲音信號來控制，操作不太方便，且容易受到環(huán)境噪音干擾。基于體感的操作方式中，利用眨眼信息實現(xiàn)人機交互是一種新型的人機交互方式?，F(xiàn)有的眨眼交互方式要求原圖像分辨率高，因此圖像采集單元需要分辨率較高的攝像機或攝像頭，或者需要紅外光源，或者需要頭戴式設備如穿戴式頭盔、眼鏡框等固定在頭部或眼部。這些方法在一定程度上都增加了成本，也不適合在普通手機終端上實現(xiàn)。而且，長時間使用紅外光源會對人眼有傷害，如果是將額外設備固定在頭部或眼部也會給人體造成負擔。

發(fā)明內(nèi)容
本發(fā)明通過普通攝像頭對眨眼動作進行識別，從而實現(xiàn)對電子設備的操作，無需使用特殊攝像機或特殊攝像頭、也無需紅外光源及其他輔助裝置。本發(fā)明采用如下技術方案一種基于眨眼動作的人機交互方法，實現(xiàn)用戶對電子設備的操作，包括通過攝像頭獲取人臉圖像；對所述圖像進行人眼區(qū)域檢測，根據(jù)檢測到的人眼區(qū)域對瞳孔中心進行定位；跟蹤瞳孔中心位置；檢測眨眼動作，根據(jù)檢測到的眨眼動作發(fā)送相應的控制命令給電子設備。優(yōu)選地，所述對所述圖像進行人眼區(qū)域檢測的步驟具體包括采用直方圖投影法、Haar檢測法、幀差法或者模板匹配法對所述圖像進行人眼區(qū)域的檢測。優(yōu)選地，所述跟蹤瞳孔中心位置的步驟具體包括以所述對所述圖像進行人眼區(qū)域檢測，根據(jù)檢測到的人眼區(qū)域對瞳孔中心進行定位的步驟得到的瞳孔中心作為中心初始化搜索窗口；通過攝像頭獲取下一幀人臉圖像；在下一幀人臉圖像中的搜索窗口中對瞳孔中心進行定位。優(yōu)選地，所述搜索窗口為分別以兩個眼睛的瞳孔中心為中心的兩個矩形搜索框，所述矩形搜索框的高度為人臉圖像高度的五分之一，所述矩形搜索框的寬度為人臉圖像寬度的三分之一。優(yōu)選地，在所述通過攝像頭獲取下一幀人臉圖像的步驟之后還包括判斷所述矩形搜索框是否超出下一幀人臉圖像的范圍；當矩形搜索框超出下一幀人臉圖像的范圍時，將矩形搜索框超出下一幀人臉圖像 的部分濾除。優(yōu)選地，所述根據(jù)檢測到的人眼區(qū)域對瞳孔中心進行定位的步驟和在下一幀人臉圖像中的搜索窗口中對瞳孔中心進行定位的步驟均包括定義眼睛的等照度線；計算眼睛的等照度線曲率，得到眼睛的等照度曲線圖；計算等照度曲線圖中滿足等照度線曲率的圓的中心。優(yōu)選地，所述計算等照度曲線圖中滿足等照度線曲率的圓的中心的步驟具體包括計算等照度線的中心的位移矢量；采用投票法將所述位移矢量映射到累加器中形成等照度線中心圖；將累加器與高斯核作卷積運算，使每個位移矢量均形成一個單一的中心估計；計算每個位移矢量的權重，選取權重值較大的位移矢量對應的等照度線作為特定等照度線；選取等照度線中心圖中特定等照度線中心附近的較強響應區(qū)內(nèi)的候選響應中強度最大的點作為瞳孔中心。優(yōu)選地，所述方法還包括采用下采樣方法由通過攝像頭獲取的圖像構造出圖像金字塔，對圖像金字塔中的每一層圖像求得等照度線中心圖金字塔，將等照度線中心圖金字塔中的等照度線中心圖縮放到預定大小并線性相加得到最終的等照度線中心圖。優(yōu)選地，在所述在下一幀人臉圖像中的搜索窗口中對瞳孔中心進行定位的步驟之后還包括判斷在下一幀人臉圖像中的搜索窗口中對瞳孔中心進行定位得到的瞳孔中心位置與根據(jù)檢測到的人眼區(qū)域對瞳孔中心進行定位得到的瞳孔中心位置之間的距離是否超過預設距離L ；超過預設距離L則返回執(zhí)行通過攝像頭獲取人臉圖像的步驟。優(yōu)選地，所述檢測眨眼動作，根據(jù)檢測到的眨眼動作發(fā)送相應的控制命令給電子設備的步驟具體包括檢測是否有單只眼睛眨眼；當有單只眼睛眨眼時，檢測連續(xù)眨眼次數(shù)和眨眼眼睛類別；根據(jù)預設的連續(xù)眨眼次數(shù)和眨眼眼睛類別與控制命令的對應關系，發(fā)送相應的控制命令給電子設備。
優(yōu)選地，所述當有單只眼睛眨眼時，檢測連續(xù)眨眼次數(shù)和眨眼眼睛類別的步驟具體包括當有單只眼睛眨眼時，開始計時，檢測在預設時間t內(nèi)連續(xù)眨眼次數(shù)和眨眼眼睛類別。優(yōu)選地，所述預設的連續(xù)眨眼次數(shù)和眨眼眼睛類別與控制命令的對應關系包括當所述基于眨眼動作的人機交互方法用于閱讀電子書時，連續(xù)眨2次左眼發(fā)送向上翻頁的控制命令，連續(xù)眨2次右眼發(fā)送向下翻頁的控制命令；當所述基于眨眼動作的人機交互方法用于瀏覽網(wǎng)頁時，連續(xù)眨2次左眼發(fā)送向上瀏覽的控制命令，連續(xù)眨2次右眼發(fā)送向下瀏覽的控制命令；當所述基于眨眼動作的人機交互方法用于查看圖片或照片時，連續(xù)眨2次左眼發(fā)送查看上一張圖片或照片的控制命令，連續(xù)眨2次右眼發(fā)送查看下一張圖片或照片的控制 命令；當所述基于眨眼動作的人機交互方法用于接聽或掛斷電話時，連續(xù)眨2次左眼發(fā)送接聽電話的控制命令，連續(xù)眨2次右眼發(fā)送掛斷電話的控制命令。優(yōu)選地，所述攝像頭為電子設備自帶的前置攝像頭，所述電子設備為手機或平板電腦。本發(fā)明還提供了一種基于眨眼動作的人機交互系統(tǒng)，實現(xiàn)用戶對電子設備的操作，所述系統(tǒng)包括電子設備和攝像頭，所述系統(tǒng)采用前述的方法進行人機交互。本發(fā)明公開的基于眨眼動作的人機交互方法及系統(tǒng)，通過普通攝像頭和眼睛檢測技術，實現(xiàn)眨眼動作的判斷，通過眨眼發(fā)出控制命令實現(xiàn)對電子設備的操作，例如閱讀電子書、瀏覽網(wǎng)頁、查看圖片或照片、接聽或掛斷電話、玩簡單的互動操作游戲時，可通過眨眼實現(xiàn)向上/向下翻頁、放大/縮小、向上/向下瀏覽、查看上一張/下一張圖片或照片、接/掛電話等，使用戶對電子設備的操作簡單方便。本方案無需使用特殊攝像機或特殊攝像頭，也無需紅外光源及其他輔助裝置，易于實現(xiàn)，成本較低，且對人眼無紅外光源的傷害，也不會給人體造成額外負擔。


圖I為本發(fā)明實施例I基于眨眼動作的人機交互方法流程圖；圖2為眼睛的等照度曲線圖；圖3為本發(fā)明實施例I中瞳孔中心定位流程圖； 圖4為本發(fā)明實施例I中眼睛追蹤流程圖；圖5為本發(fā)明實施例I中控制命令發(fā)送流程圖；圖6為本發(fā)明實施例2基于眨眼動作的人機交互方法中眼睛追蹤流程圖；圖7為用于閱讀電子書的本發(fā)明實施例3基于眨眼動作的人機交互方法中控制命令發(fā)送流程圖；圖8為用于閱讀電子書的本發(fā)明實施例4基于眨眼動作的人機交互方法中控制命令發(fā)送流程圖；圖9為用于瀏覽網(wǎng)頁的本發(fā)明實施例5基于眨眼動作的人機交互方法中控制命令發(fā)送流程圖10為用于查看圖片或照片的本發(fā)明實施例6基于眨眼動作的人機交互方法中控制命令發(fā)送流程圖；圖11為用于接聽或掛斷電話的本發(fā)明實施例7基于眨眼動作的人機交互方法中控制命令發(fā)送流程圖；圖12為本發(fā)明實施例8基于眨眼動作的人機交互方法流程圖；圖13為用戶操作本發(fā)明實施例9基于眨眼動作的人機交互系統(tǒng)示意圖。
具體實施例方式為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合附圖及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
本發(fā)明實施例提供了一種基于眨眼動作的人機交互方法，實現(xiàn)用戶對電子設備的操作，包括通過攝像頭獲取人臉圖像；對所述圖像進行人眼區(qū)域檢測，根據(jù)檢測到的人眼區(qū)域對瞳孔中心進行定位；跟蹤瞳孔中心位置；檢測眨眼動作，根據(jù)檢測到的眨眼動作發(fā)送相應的控制命令給電子設備。本發(fā)明實施例還提供了一種基于眨眼動作的人機交互系統(tǒng)，實現(xiàn)用戶對電子設備的操作，該系統(tǒng)包括電子設備和攝像頭，該系統(tǒng)采用前述的方法進行人機交互。本發(fā)明實施例所使用的攝像頭可以是電子設備自帶的前置攝像頭，電子設備可以是手機、平板電腦等設備，當然，也可以是PC機、智能電視等具有視頻處理能力和攝像頭設備的終端。本發(fā)明實施例通過普通攝像頭和眼睛檢測技術，實現(xiàn)眨眼動作的判斷，通過眨眼發(fā)出控制命令實現(xiàn)對電子設備的操作，例如閱讀電子書、瀏覽網(wǎng)頁、查看圖片或照片、接聽或掛斷電話、玩簡單的互動操作游戲時，可通過眨眼實現(xiàn)向上/向下翻頁、放大/縮小、向上/向下瀏覽、查看上一張/下一張圖片或照片、接/掛電話等，使用戶對電子設備的操作簡單方便。本方案無需使用特殊攝像機或特殊攝像頭，也無需紅外光源及其他輔助裝置，易于實現(xiàn)，成本較低，且對人眼無紅外光源的傷害，也不會給人體造成額外負擔。下面以手機為例對本發(fā)明進行詳細闡述。下文中所涉及到的坐標均為二維坐標。實施例I :請參閱圖I所示，為本發(fā)明一種基于眨眼動作的人機交互方法流程圖。該方法包括下述步驟步驟SI:獲取幀圖像。該步驟可通過手機自帶的前置攝像頭實時獲取人臉圖像(圖像分辨率為widthXheight)。步驟S2:人眼區(qū)域檢測?？紤]到在使用手機時，人眼與攝像頭之間的距離一般保持在10到30厘米之間，在這個范圍內(nèi)人臉會占據(jù)整個圖像區(qū)域，所以本方法無需人臉檢測的步驟，直接進行人眼區(qū)域檢測即可。人眼區(qū)域的初定位不要求十分精確，因此可采用的方法有很多，如直方圖投影法、Haar (哈爾)檢測法、幀差法、模板匹配法等方法都可用來進行眼睛的首次定位。考慮到手機的運算能力有限，本實施例采用高效的直方圖投影法對圖像進行人眼區(qū)域的檢測。步驟S3:瞳孔中心定位。該步驟根據(jù)檢測到的人眼區(qū)域對瞳孔中心進行定位，屬于瞳孔的精確定位。本實施例結合眼睛的幾何特征與光學特征來估計瞳孔中心，對于旋轉、亮度和頭部姿態(tài)變化具有很好的魯棒性。眼睛的光學特征是指眼睛具有亮度對稱的性質，眼睛的幾何特征是指虹膜與瞳孔的形狀類似圓，并且沿異色邊緣方向亮度近似為常量，因此可以用等照度線來代表這些特征。等照度線可以理解為等亮度的輪廓線，由多條等照度線組成等照度曲線圖。如 圖2所示為眼睛的等照度曲線圖。由于等照度線之間不會相交，所以可以用一幅圖像的等照度線來表示原圖像(即步驟SI中獲取的幀圖像)。另外，等照度線對旋轉和線性光照條件改變具有獨立性。現(xiàn)有技術中的一些眼睛定位方法要求原圖像分辨率高，因此圖像采集單元需要分辨率較高的攝像機，或者需要紅外光源。不論是分辨率高的攝像機還是紅外光源，無疑都增加了成本，也不適合在普通手機終端上實現(xiàn)，且長時間使用紅外光源對人眼有傷害。本發(fā)明實施例的人眼區(qū)域檢測和瞳孔中心定位方法，只需要普通分辨率的圖像即可，因此可直接利用手機前置攝像頭，容易實現(xiàn)且成本低。步驟S4:眼睛追蹤。該步驟跟蹤圖像中瞳孔中心位置。首先初始化搜索窗口，根據(jù)步驟S3得到的瞳孔中心位置eyel (xl, yl), eyer (xr, yr),分別以eyel和eyer為中心定義兩個寬為W、高為h
的矩形搜索框Rectl和Rectr作為搜索窗口，其中h =w = ^width初始化搜索窗口
的主要目的是縮小檢測范圍，減少計算量。當下一幀圖像來到時就在這兩個矩形搜索框中精準定位瞳孔中心。對瞳孔中心的定位可采用步驟S3的方法進行。步驟S5:控制命令發(fā)送。檢測眨眼動作，根據(jù)檢測到的眨眼動作發(fā)送相應的控制命令給手機。該步驟需要區(qū)分正常眨眼與發(fā)出控制命令，一般正常眨眼時是兩只眼睛同時眨眼，即兩只眼睛同時閉合，因此正常睜眼或眨眼時檢測到的瞳孔中心個數(shù)為2個或O個?？蓪l(fā)出控制命令的眨眼動作設定為單只眼睛眨眼。當檢測到瞳孔中心個數(shù)為I個時，是單只眼睛眨眼，可認為正準備發(fā)出控制命令。在檢測到單眼連續(xù)眨眼數(shù)次后，再判斷眨眼眼睛類別(左眼還是右眼)，從而執(zhí)行相應的操作。對眼睛類別的判斷可根據(jù)眼睛坐標(即檢測到的瞳孔中心的坐標)進行判斷，例如當檢測到的瞳孔中心坐標位于Rectl內(nèi)時，判斷為左眼眨眼；當檢測到的瞳孔中心坐標位于Rectr內(nèi)時，判斷為右眼眨眼。對連續(xù)眨眼次數(shù)、眨眼眼睛類別和控制命令的對應關系可進行預設，判斷控制命令的種類時根據(jù)該預設的對應關系進行選擇即可?？刂泼羁梢园ㄏ蛏?向下翻頁、放大/縮小、向上/向下瀏覽、查看上一張/下一張圖片或照片、接/掛電話等。
請參閱圖3所示，為步驟S3瞳孔中心定位流程圖。該瞳孔中心定位方法包括下述步驟步驟S31 :定義等照度線。該步驟用于定義眼睛的等照度線。本實施例中按照公式(a)定義等照度線(isophote)
權利要求
1.一種基于眨眼動作的人機交互方法，實現(xiàn)用戶對電子設備的操作，其特征在于，包 括 通過攝像頭獲取人臉圖像； 對所述圖像進行人眼區(qū)域檢測，根據(jù)檢測到的人眼區(qū)域對瞳孔中心進行定位； 跟蹤瞳孔中心位置； 檢測眨眼動作，根據(jù)檢測到的眨眼動作發(fā)送相應的控制命令給電子設備。
2.根據(jù)權利要求I所述的方法，其特征在于，所述對所述圖像進行人眼區(qū)域檢測的步驟具體包括采用直方圖投影法、Haar檢測法、幀差法或者模板匹配法對所述圖像進行人·眼區(qū)域的檢測。
3.根據(jù)權利要求I所述的方法，其特征在于，所述跟蹤瞳孔中心位置的步驟具體包括 以所述對所述圖像進行人眼區(qū)域檢測，根據(jù)檢測到的人眼區(qū)域對瞳孔中心進行定位的步驟得到的瞳孔中心作為中心初始化搜索窗口 ； 通過攝像頭獲取下一幀人臉圖像； 在下一幀人臉圖像中的搜索窗口中對瞳孔中心進行定位。
4.根據(jù)權利要求3所述的方法，其特征在于，所述搜索窗口為分別以兩個眼睛的瞳孔中心為中心的兩個矩形搜索框，所述矩形搜索框的高度為人臉圖像高度的五分之一，所述矩形搜索框的寬度為人臉圖像寬度的三分之一。
5.根據(jù)權利要求4所述的方法，其特征在于，在所述通過攝像頭獲取下一幀人臉圖像的步驟之后還包括 判斷所述矩形搜索框是否超出下一幀人臉圖像的范圍； 當矩形搜索框超出下一幀人臉圖像的范圍時，將矩形搜索框超出下一幀人臉圖像的部分濾除。
6.根據(jù)權利要求3所述的方法，其特征在于，所述根據(jù)檢測到的人眼區(qū)域對瞳孔中心進行定位的步驟和在下一幀人臉圖像中的搜索窗口中對瞳孔中心進行定位的步驟均包括 定義眼睛的等照度線； 計算眼睛的等照度線曲率，得到眼睛的等照度曲線圖； 計算等照度曲線圖中滿足等照度線曲率的圓的中心。
7.根據(jù)權利要求6所述的方法，其特征在于，所述計算等照度曲線圖中滿足等照度線曲率的圓的中心的步驟具體包括 計算等照度線的中心的位移矢量； 采用投票法將所述位移矢量映射到累加器中形成等照度線中心圖； 將累加器與高斯核作卷積運算，使每個位移矢量均形成一個單一的中心估計； 計算每個位移矢量的權重，選取權重值較大的位移矢量對應的等照度線作為特定等照度線； 選取等照度線中心圖中特定等照度線中心附近的較強響應區(qū)內(nèi)的候選響應中強度最大的點作為瞳孔中心。
8.根據(jù)權利要求7所述的方法，其特征在于，所述方法還包括采用下采樣方法由通過攝像頭獲取的圖像構造出圖像金字塔，對圖像金字塔中的每一層圖像求得等照度線中心圖金字塔，將等照度線中心圖金字塔中的等照度線中心圖縮放到預定大小并線性相加得到最終的等照度線中心圖。
9.根據(jù)權利要求3所述的方法，其特征在于，在所述在下一幀人臉圖像中的搜索窗口中對瞳孔中心進行定位的步驟之后還包括 判斷在下一幀人臉圖像中的搜索窗口中對瞳孔中心進行定位得到的瞳孔中心位置與根據(jù)檢測到的人眼區(qū)域對瞳孔中心進行定位得到的瞳孔中心位置之間的距離是否超過預設距離L ； 超過預設距離L則返回執(zhí)行通過攝像頭獲取人臉圖像的步驟。
10.根據(jù)權利要求I所述的方法，其特征在于，所述檢測眨眼動作，根據(jù)檢測到的眨眼動作發(fā)送相應的控制命令給電子設備的步驟具體包括 檢測是否有單只眼睛眨眼； 當有單只眼睛眨眼時，檢測連續(xù)眨眼次數(shù)和眨眼眼睛類別； 根據(jù)預設的連續(xù)眨眼次數(shù)和眨眼眼睛類別與控制命令的對應關系，發(fā)送相應的控制命令給電子設備。
11.根據(jù)權利要求10所述的方法，其特征在于，所述當有單只眼睛眨眼時，檢測連續(xù)眨眼次數(shù)和眨眼眼睛類別的步驟具體包括 當有單只眼睛眨眼時，開始計時，檢測在預設時間t內(nèi)連續(xù)眨眼次數(shù)和眨眼眼睛類別。
12.根據(jù)權利要求11所述的方法，其特征在于，所述預設的連續(xù)眨眼次數(shù)和眨眼眼睛類別與控制命令的對應關系包括 當所述基于眨眼動作的人機交互方法用于閱讀電子書時，連續(xù)眨2次左眼發(fā)送向上翻頁的控制命令，連續(xù)眨2次右眼發(fā)送向下翻頁的控制命令； 當所述基于眨眼動作的人機交互方法用于瀏覽網(wǎng)頁時，連續(xù)眨2次左眼發(fā)送向上瀏覽的控制命令，連續(xù)眨2次右眼發(fā)送向下瀏覽的控制命令； 當所述基于眨眼動作的人機交互方法用于查看圖片或照片時，連續(xù)眨2次左眼發(fā)送查看上一張圖片或照片的控制命令，連續(xù)眨2次右眼發(fā)送查看下一張圖片或照片的控制命令； 當所述基于眨眼動作的人機交互方法用于接聽或掛斷電話時，連續(xù)眨2次左眼發(fā)送接聽電話的控制命令，連續(xù)眨2次右眼發(fā)送掛斷電話的控制命令。
13.根據(jù)權利要求I 12任一項所述的方法，其特征在于，所述攝像頭為電子設備自帶的前置攝像頭，所述電子設備為手機或平板電腦。
14.一種基于眨眼動作判斷的人機交互系統(tǒng)，實現(xiàn)用戶對電子設備的操作，所述系統(tǒng)包括電子設備和攝像頭，其特征在于，所述系統(tǒng)采用權利要求I 13任一項所述的方法進行人機交互。
全文摘要
本發(fā)明涉及人機交互技術領域，提供了一種基于眨眼動作的人機交互方法，實現(xiàn)用戶對電子設備的操作，包括通過攝像頭獲取人臉圖像；對圖像進行人眼區(qū)域檢測，根據(jù)檢測到的人眼區(qū)域對瞳孔中心進行定位；跟蹤瞳孔中心位置；檢測眨眼動作，根據(jù)檢測到的眨眼動作發(fā)送相應的控制命令給電子設備。本發(fā)明還提供了一種基于眨眼動作的人機交互系統(tǒng)。本發(fā)明通過攝像頭和眼睛檢測技術，實現(xiàn)眨眼動作的判斷，通過眨眼發(fā)出控制命令實現(xiàn)對電子設備的操作，使用戶對電子設備的操作簡單方便。
文檔編號G06K9/00GK102799277SQ201210261379
公開日2012年11月28日 申請日期2012年7月26日 優(yōu)先權日2012年7月26日
發(fā)明者宋展, 武照敏, 聶磊 申請人:深圳先進技術研究院