本發(fā)明涉及移動(dòng)設(shè)備通信應(yīng)用領(lǐng)域，特別是涉及一種基于眼球追蹤控制終端的方法及裝置。

背景技術(shù)：

現(xiàn)有的用戶與智能移動(dòng)終端設(shè)備進(jìn)行交互的方式，基本都是通過用戶主動(dòng)地觸摸屏幕或者鍵盤輸出以控制智能移動(dòng)終端。也就是說，操控智能移動(dòng)終端設(shè)備時(shí)，一般都需要用戶手動(dòng)地配合，例如按鍵點(diǎn)擊和觸摸屏幕等等。這種交互方式一方面比較費(fèi)力，另一方面，在用戶雙手不方便的情況下，便不能對(duì)設(shè)備進(jìn)行操控。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明主要解決的技術(shù)問題是提供一種基于眼球追蹤控制終端的方法及裝置，能夠使得用戶僅需要轉(zhuǎn)動(dòng)眼球即可實(shí)現(xiàn)對(duì)終端設(shè)備的操控，其提高了對(duì)終端操作效率，也進(jìn)一步提升設(shè)備的智能化水平，帶來一種全新的交互體驗(yàn)。

為解決上述技術(shù)問題，本發(fā)明采用的一個(gè)技術(shù)方案是：提供一種基于眼球追蹤控制終端的方法，所述方法包括：?jiǎn)?dòng)終端內(nèi)的應(yīng)用；啟動(dòng)眼球追蹤系統(tǒng)；通過眼球跟蹤系統(tǒng)而采集用戶的眼球運(yùn)動(dòng)狀態(tài)以獲取眼球狀態(tài)信息，其中，眼球狀態(tài)信息包括眼球凝視屏幕的凝視坐標(biāo)；接收用戶指令；響應(yīng)用戶指令，并根據(jù)眼球狀態(tài)信息而對(duì)應(yīng)執(zhí)行用戶指令。

其中，應(yīng)用為電子書應(yīng)用。

其中，用戶指令為語音指令或者動(dòng)作指令。

其中，用戶指令包括添加備注、選定某段文字、標(biāo)記某段文字顏色、復(fù)制和剪貼某段文字、翻頁、改變閱讀頁面的顏色和字體的指令。

其中，響應(yīng)用戶指令并根據(jù)眼球狀態(tài)信息而對(duì)應(yīng)執(zhí)行用戶指令的步驟，包括：當(dāng)用戶指令為語音指令且語音指令為添加備注時(shí)，在用戶眼球凝視屏幕的凝視坐標(biāo)位置處彈出添加備注的提示框；在提示框內(nèi)根據(jù)語音指令而添加備注內(nèi)容。

其中，響應(yīng)用戶指令并根據(jù)眼球狀態(tài)信息而對(duì)應(yīng)執(zhí)行用戶指令的步驟，包括：當(dāng)用戶指令為語音指令且語音指令為選定某段文字、標(biāo)記某段文字顏色、復(fù)制和剪貼某段文字時(shí)，獲取某段文字的起始位置和終止位置處的用戶的眼球凝視屏幕的凝視坐標(biāo)；根據(jù)文字的起始位置和終止位置處的用戶的眼球凝視屏幕的凝視坐標(biāo)而獲取從起始位置至終止位置內(nèi)的文字；根據(jù)語音指令而對(duì)選定的文字執(zhí)行相應(yīng)的操作。

其中，獲取某段文字的起始位置和終止位置處的用戶的眼球凝視屏幕的凝視坐標(biāo)的步驟，包括：發(fā)出確認(rèn)起始位置的語音提示，并采集獲取用戶的第一眼球狀態(tài)信息，其中，第一眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；保存第一眼球狀態(tài)信息；發(fā)出確認(rèn)終止位置的語音提示，并采集獲取用戶的第二眼球狀態(tài)信息，其中，第二眼球狀態(tài)信息包括終止位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；保存第二眼球狀態(tài)信息；或者，檢測(cè)用戶眼睛盯著起始位置處的時(shí)間是否大于第一時(shí)間閾值，并采集獲取用戶的第一眼球狀態(tài)信息，其中，第一眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；若大于第一時(shí)間閾值，保存第一眼球狀態(tài)信息；檢測(cè)用戶眼睛盯著終止位置處的時(shí)間是否大于第二時(shí)間閾值，并采集獲取用戶的第二眼球狀態(tài)信息，其中，第二眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；若大于第二時(shí)間閾值，保存第二眼球狀態(tài)信息。

為解決上述技術(shù)問題，本發(fā)明采用的另一個(gè)技術(shù)方案是：提供一種基于眼球追蹤控制終端的裝置，包括：應(yīng)用啟動(dòng)模塊，用于啟動(dòng)終端內(nèi)的應(yīng)用；眼球追蹤啟動(dòng)模塊，用于啟動(dòng)眼球追蹤系統(tǒng)；采集模塊，用于通過眼球跟蹤系統(tǒng)而采集用戶的眼球運(yùn)動(dòng)狀態(tài)以獲取眼球狀態(tài)信息，其中，眼球狀態(tài)信息包括眼球凝視屏幕的凝視坐標(biāo)；指令接收模塊，用于接收用戶指令；指令響應(yīng)模塊，用于響應(yīng)用戶指令，并根據(jù)眼球狀態(tài)信息而對(duì)應(yīng)執(zhí)行用戶指令。

其中，應(yīng)用啟動(dòng)模塊所啟動(dòng)的應(yīng)用為電子書應(yīng)用。

其中，指令接收模塊所接收的用戶指令為語音指令或者動(dòng)作指令。

以上方案，利用眼球跟蹤技術(shù)，采集用戶在操控終端時(shí)的眼球運(yùn)動(dòng)狀態(tài)以獲取眼球狀態(tài)信息，其中，眼球狀態(tài)信息包括眼球凝視屏幕的凝視坐標(biāo)，進(jìn)而根據(jù)眼球狀態(tài)信息響應(yīng)和執(zhí)行用戶的指令，能夠使得用戶僅需要轉(zhuǎn)動(dòng)眼球即可實(shí)現(xiàn)對(duì)終端設(shè)備的操控，提高了對(duì)終端操作效率，進(jìn)一步提升設(shè)備的智能化水平，帶來一種全新的交互體驗(yàn)。

附圖說明

圖1是本發(fā)明基于眼球追蹤控制終端的方法一實(shí)施方式的流程示意圖；

圖2是本發(fā)明基于眼球追蹤控制終端的方法另一實(shí)施方式的流程示意圖；

圖3是本發(fā)明基于眼球追蹤控制終端的方法又一實(shí)施方式的流程示意圖；

圖4是本發(fā)明基于眼球追蹤控制終端的裝置一實(shí)施方式的結(jié)構(gòu)示意圖；

圖5是本發(fā)明基于眼球追蹤控制終端的裝置另一實(shí)施方式的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施方式中的附圖，對(duì)本發(fā)明實(shí)施方式中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施方式僅是本發(fā)明的一部分實(shí)施方式，而不是全部的實(shí)施方式?；诒景l(fā)明中的實(shí)施方式，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施方式，都屬于本發(fā)明保護(hù)的范圍。

請(qǐng)參閱圖1，圖1是本發(fā)明基于眼球追蹤控制終端的方法一實(shí)施方式的流程示意圖。需注意的是，本發(fā)明的方法并不僅僅局限于圖1所示的流程順序。如圖1所示，該方法包括如下步驟：

s101：?jiǎn)?dòng)終端內(nèi)的應(yīng)用。

其中，終端可以是智能手機(jī)、平板電腦、筆記本電腦、掌上電腦、移動(dòng)互聯(lián)網(wǎng)設(shè)備(mid，mobileinternetdevice)、電子書(electronicbook，e-book)、可穿戴設(shè)備(例如智能手表、智能手環(huán))等智能移動(dòng)終端。

其中，所啟動(dòng)的應(yīng)用為可以選定和/或編輯文字的應(yīng)用，可以為電子書應(yīng)用，也可以為消息推送應(yīng)用，比如微博、朋友圈、電子郵箱、新聞?lì)^條等，還可以為wps、pdf等。

s102：?jiǎn)?dòng)眼球追蹤系統(tǒng)。

其中，眼球追蹤系統(tǒng)所采用的眼球追蹤技術(shù)的原理是，當(dāng)人的眼睛看向不同方向時(shí)，眼部會(huì)有細(xì)微的變化，這些變化會(huì)產(chǎn)生可以提取的特征，計(jì)算機(jī)可以通過圖像捕捉或掃描提取這些特征，從而實(shí)時(shí)追蹤眼睛的變化，預(yù)測(cè)用戶的狀態(tài)和需求，并進(jìn)行響應(yīng)，達(dá)到用眼睛控制設(shè)備的目的。也即是，眼球追蹤技術(shù)主要是研究眼球運(yùn)動(dòng)信息的獲取、建模和模擬。

眼球追蹤技術(shù)具體可以用三種追蹤方向，一是根據(jù)眼球和眼球周邊的特征變化進(jìn)行跟蹤，二是根據(jù)虹膜角度變化進(jìn)行跟蹤，三是主動(dòng)投射紅外線等光束到虹膜來提取特征。在本實(shí)施方式中的追蹤方向就是通過終端設(shè)備上的圖像采集設(shè)備捕捉并跟蹤用戶眼球和眼球周邊的狀態(tài)及變化(如眼球的“閃爍”以及眼網(wǎng)膜的反射等)，進(jìn)而解析出用戶當(dāng)前凝視的屏幕位置，最終通過跟蹤用戶眼球的活動(dòng)來實(shí)現(xiàn)對(duì)終端設(shè)備進(jìn)行控制的目的。其中，圖像采集設(shè)備可以是終端設(shè)備上的攝像頭。

此外，在另外一些實(shí)施方式中，眼球追蹤技術(shù)的主要設(shè)備還包括紅外設(shè)備。其中，紅外設(shè)備的投射方式能在30英寸左右的屏幕上精確到1厘米以內(nèi)，輔以眨眼識(shí)別、注視識(shí)別等技術(shù)，可以在一定程度上替代鼠標(biāo)、觸摸板。

s103：通過眼球追蹤系統(tǒng)而采集用戶的眼球運(yùn)動(dòng)狀態(tài)以獲取眼球狀態(tài)信息，其中，眼球狀態(tài)信息包括眼球凝視屏幕的凝視坐標(biāo)。

其中，在眼球跟蹤技術(shù)中，采集眼球凝視屏幕的凝視坐標(biāo)的過程是，先固定攝像機(jī)的位置、屏幕和/或光源的位置、眼球中心位置不變(假設(shè)眼球?yàn)榍驙?，且頭部不動(dòng))，普爾欽斑的絕對(duì)位置不隨眼球的轉(zhuǎn)動(dòng)而變化。但普爾欽斑相對(duì)于瞳孔和眼球的位置則是在不斷變化的，比如，當(dāng)眼睛盯著攝像頭時(shí)，普爾欽斑就在瞳孔之間；而當(dāng)抬起頭時(shí)，普爾欽斑就在瞳孔下方。此時(shí)，只要實(shí)時(shí)定位眼睛圖像上的瞳孔、和普爾欽斑的位置，計(jì)算出角膜反射向量，便能利用幾何模型，估算得到用戶的視線方向。再基于前期定標(biāo)過程，讓用戶注視屏幕上特定的點(diǎn)的過程中所建立的用戶眼睛特征與屏幕呈現(xiàn)內(nèi)容之間的關(guān)系，終端設(shè)備即可以計(jì)算出眼球凝視屏幕的凝視坐標(biāo)。其中，普爾欽斑(purkinjeimage)是眼球角膜上的一個(gè)亮光點(diǎn)，由進(jìn)入瞳孔的光線在角膜外表面上反射(cornealreflection)而產(chǎn)生。

s104：接收用戶指令。

其中，用戶的指令可以是語音指令，也可以是動(dòng)作指令。具體地，語音指令和動(dòng)作指令均可以是添加備注、選定某段文字、標(biāo)記某段文字顏色、復(fù)制和剪貼某段文字、翻頁、改變閱讀頁面的顏色和字體等指令。

進(jìn)一步地，用戶可以自己設(shè)置是通過語音指令，還是通過動(dòng)作指令來對(duì)終端設(shè)備進(jìn)行操控。其中，用戶還可以設(shè)置一部分指令通過語音指令發(fā)送，一部分指令通過動(dòng)作指令發(fā)送。例如，添加備注、選定某段文字、標(biāo)記某段文字顏色、復(fù)制和剪貼某段文字等指令通過語音指令來發(fā)送，而翻頁、改變閱讀頁面的顏色和字體等指令通過動(dòng)作指令來發(fā)送。具體地，用戶的動(dòng)作指令可以通過在映射表中查找用戶動(dòng)作所對(duì)應(yīng)的指令內(nèi)容而得到的。其中，映射表預(yù)設(shè)各個(gè)用戶動(dòng)作與指令內(nèi)容的映射關(guān)系。例如，用戶眨一下眼睛，終端設(shè)備可以執(zhí)行翻頁的指令。

s105：響應(yīng)用戶指令，并根據(jù)眼球狀態(tài)信息而對(duì)應(yīng)執(zhí)行用戶指令。

其中，終端設(shè)備所響應(yīng)和執(zhí)行的用戶指令包括添加備注、選定某段文字、標(biāo)記某段文字顏色、復(fù)制和剪貼某段文字、翻頁、改變閱讀頁面的顏色和字體等指令。

另外，當(dāng)終端設(shè)備檢測(cè)到用戶的眼睛盯著屏幕看時(shí)，終端設(shè)備不會(huì)黑屏，且終端設(shè)備的屏幕亮度可以根據(jù)周圍環(huán)境的變化而進(jìn)行調(diào)整。

本實(shí)施方式中，利用眼球跟蹤技術(shù)，采集用戶在操控終端時(shí)的眼球運(yùn)動(dòng)狀態(tài)以獲取眼球狀態(tài)信息，其中，眼球狀態(tài)信息包括眼球凝視屏幕的凝視坐標(biāo)，進(jìn)而根據(jù)眼球狀態(tài)信息響應(yīng)和執(zhí)行用戶的指令，能夠使得用戶僅需要轉(zhuǎn)動(dòng)眼球即可實(shí)現(xiàn)對(duì)終端設(shè)備的操控，提高了對(duì)終端操作效率，進(jìn)一步提升設(shè)備的智能化水平，帶來一種全新的交互體驗(yàn)。

請(qǐng)參閱圖2，圖2是本發(fā)明基于眼球追蹤控制終端的方法另一實(shí)施方式的流程示意圖。本實(shí)施方式是響應(yīng)用戶指令并根據(jù)用戶的眼球狀態(tài)信息而對(duì)應(yīng)執(zhí)行用戶指令的其中一個(gè)具體的實(shí)現(xiàn)方式，該方法包括以下步驟：

s201：當(dāng)用戶指令為語音指令且語音指令為添加備注時(shí)，在用戶眼球凝視屏幕的凝視坐標(biāo)位置處彈出添加備注的提示框。

s202：在提示框內(nèi)根據(jù)語音指令而添加備注內(nèi)容。

其中，用戶可以設(shè)置，當(dāng)終端設(shè)備收到用戶的語音指令，比如“添加備注”時(shí)，屏幕可以彈出添加備注的提示框。用戶可以語音輸入需要輸入的備注內(nèi)容，還可以手動(dòng)輸入需要輸入的備注內(nèi)容。當(dāng)終端設(shè)備收到用戶的語音指令，比如“結(jié)束添加備注”或者“結(jié)束”時(shí)，屏幕可以彈出一個(gè)是否保存該備注的提示框。用戶可以通過語音指令，比如“保存”、“不保存”等，來保存或者不保存該備注。用戶還可以通過動(dòng)作指令來選擇保存或不保存該備注。例如，用戶可以手動(dòng)選擇屏幕上彈出的是否保存該備注的提示框的某一選項(xiàng)，或者，用戶可以盯著屏幕上彈出的是否保存該備注的提示框的某一選項(xiàng)，終端設(shè)備通過采集用戶眼球凝視屏幕的凝視坐標(biāo)判斷出用戶的選擇進(jìn)而響應(yīng)和執(zhí)行用戶指令。

具體地，用戶的語音指令還可以根據(jù)自己的需要、習(xí)慣和/或喜好等隨意設(shè)置。例如，添加備注的語音指令還可以為“需要添加備注”、“此處添加備注”等；結(jié)束該備注的語音指令還可以為“over”、“以上”、“ok”等；保存?zhèn)渥⒌恼Z音指令還可以為“save”、“可以”、“好”等；不保存?zhèn)渥⒌恼Z音指令還可以為“no”、“不”、“不好”、“不可以”等。

另外，終端設(shè)備還可以記錄用戶的聲紋特征。當(dāng)發(fā)出語音指令的人的聲音的聲紋特征和終端設(shè)備記錄的聲音的聲紋特征的匹配度大于等于匹配閾值時(shí)，終端設(shè)備才會(huì)響應(yīng)該語音指令，否則，終端設(shè)備不響應(yīng)該語音指令。其中，由于每個(gè)人的語音聲學(xué)特征既有相對(duì)穩(wěn)定性，又有變異性，不是絕對(duì)的、一成不變的。這種變異可來自生理、病理、心理、模擬、偽裝，也與環(huán)境干擾有關(guān)。例如，不同的麥克風(fēng)和信道、環(huán)境噪音、混合說話人的情形等等，均會(huì)對(duì)人的聲紋特征提取進(jìn)行一定程度的干擾。因此，終端設(shè)備記錄的聲音的聲紋特征與用戶的聲音的聲紋特征的匹配度有可能達(dá)不到100％，所以終端設(shè)備會(huì)預(yù)設(shè)一個(gè)聲紋特征匹配閾值。

另外，終端設(shè)備還可以記錄用戶的人臉特征。當(dāng)發(fā)出語音指令的人的人臉特征與終端設(shè)備記錄的人臉特征匹配時(shí)，終端設(shè)備才會(huì)響應(yīng)該語音指令，否則，終端設(shè)備不響應(yīng)該語音指令。其中，人臉的特征可以是眼虹膜、鼻翼、嘴角等面像五官輪廓的大小、位置、距離等特征，進(jìn)一步計(jì)算其幾何特征量。也可以是，人臉的幾何特征量與數(shù)據(jù)庫中標(biāo)準(zhǔn)面部模板或面部器官的模板的幾何特征量的差異。另外，進(jìn)行人臉特征對(duì)比的方法有adaboost法(實(shí)質(zhì)是一種迭代算法)、特征向量法和面紋模板法等。其中，特征向量法是先確定眼虹膜、鼻翼、嘴角等面像五官輪廓的大小、位置、距離等特征，再計(jì)算出它們的幾何特征量，這些幾何特征量的集合即組成描述臉部特征的幾何特征向量。面紋模板法是在數(shù)據(jù)庫中存放一些標(biāo)準(zhǔn)面部模板或面部器官的模板，采集待測(cè)面部圖片的特征向量集等與模板的數(shù)據(jù)進(jìn)行對(duì)比。

可選地，當(dāng)發(fā)出語音指令的人的聲音的聲紋特征和人臉特征數(shù)據(jù)均與終端設(shè)備記錄的特征數(shù)據(jù)相匹配時(shí)，終端設(shè)備才會(huì)響應(yīng)該語音指令；也可以是，當(dāng)兩者中的一個(gè)特征數(shù)據(jù)與終端設(shè)備記錄的特征數(shù)據(jù)相匹配時(shí)，終端設(shè)備會(huì)響應(yīng)該語音指令，此處不做限制。

本實(shí)施方式中，利用眼球跟蹤技術(shù)，采集用戶在操控終端時(shí)的眼球運(yùn)動(dòng)狀態(tài)以獲取眼球狀態(tài)信息，其中，眼球狀態(tài)信息包括眼球凝視屏幕的凝視坐標(biāo)，進(jìn)而根據(jù)眼球狀態(tài)信息響應(yīng)和執(zhí)行用戶的指令，能夠使得用戶僅需要轉(zhuǎn)動(dòng)眼球即可實(shí)現(xiàn)對(duì)終端設(shè)備的操控，提高了對(duì)終端操作效率，進(jìn)一步提升設(shè)備的智能化水平，帶來一種全新的交互體驗(yàn)。

請(qǐng)參閱圖3，圖3是本發(fā)明基于眼球追蹤控制終端的方法又一實(shí)施方式的流程示意圖。本實(shí)施方式是響應(yīng)用戶指令并根據(jù)用戶的眼球狀態(tài)信息而對(duì)應(yīng)執(zhí)行用戶指令的另一個(gè)具體的實(shí)施方式，該方法包括以下步驟：

s301：當(dāng)用戶指令為語音指令且語音指令為選定某段文字、標(biāo)記某段文字顏色、復(fù)制和剪貼某段文字時(shí)，獲取某段文字的起始位置和終止位置處的用戶的眼球凝視屏幕的凝視坐標(biāo)。

其中，獲取某段文字的起始位置和終止位置處的用戶的眼球凝視屏幕的凝視坐標(biāo)的其中一個(gè)具體的實(shí)施方式為：發(fā)出確認(rèn)起始位置的語音提示，并采集獲取用戶的第一眼球狀態(tài)信息，其中，第一眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)。保存第一眼球狀態(tài)信息。發(fā)出確認(rèn)終止位置的語音提示，并采集獲取用戶的第二眼球狀態(tài)信息，其中，第二眼球狀態(tài)信息包括終止位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)。保存第二眼球狀態(tài)信息。

具體地，當(dāng)用戶發(fā)出語音指令，比如“確認(rèn)起始位置后”，終端設(shè)備會(huì)采集并保存起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)。然后終端設(shè)備提示用戶看向標(biāo)記的終止位置，用戶看向需要標(biāo)記的文字終止位置。當(dāng)用戶發(fā)出語音指令，比如“確認(rèn)終止位置后”，終端設(shè)備會(huì)采集并保存終止位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)。接著，屏幕會(huì)彈出一個(gè)是否選中某段文字的提示框。用戶可以通過語音指令，比如“選中”、“不選中”等，來選中或者不選中該某段文字，用戶也可以手動(dòng)選擇屏幕的提示操作。另外，用戶的語音指令還可以根據(jù)自己的需要、習(xí)慣和/或喜好等隨意設(shè)置。

可選地，當(dāng)用戶發(fā)出語音指令，比如“確認(rèn)起始位置后”，終端設(shè)備會(huì)采集并保存起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)，并選中該起始位置的凝視坐標(biāo)處的文字。然后終端設(shè)備提示用戶看向標(biāo)記的終止位置，用戶看向需要標(biāo)記的文字終止位置。當(dāng)用戶發(fā)出語音指令，比如“確認(rèn)終止位置后”，終端設(shè)備會(huì)采集并保存終止位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)，并選中該終止位置的凝視坐標(biāo)處的文字。接著，屏幕會(huì)彈出一個(gè)是否選中某段文字的提示框。

可選地，當(dāng)用戶發(fā)出語音指令，比如“確認(rèn)起始位置后”，終端設(shè)備會(huì)采集并保存起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)，并選中該起始位置的凝視坐標(biāo)處的文字。然后屏幕上的光標(biāo)會(huì)跟著眼睛的移動(dòng)方向，選中眼睛掃過的文字。直到眼睛盯著某處并發(fā)出語音指令，比如“確認(rèn)終止位置后”。然后，屏幕可以彈出一個(gè)是否選中某段文字的提示框，或者，不彈出該提示框。用戶可以根據(jù)自己的需要、習(xí)慣和/或喜好等隨意設(shè)置。

可選地，獲取某段文字的起始位置和終止位置處的用戶的眼球凝視屏幕的凝視坐標(biāo)的另外一個(gè)具體的實(shí)施方式為：檢測(cè)用戶眼睛盯著起始位置處的時(shí)間是否大于第一時(shí)間閾值，并采集獲取用戶的第一眼球狀態(tài)信息，其中，第一眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；若大于第一時(shí)間閾值，保存第一眼球狀態(tài)信息；檢測(cè)用戶眼睛盯著終止位置處的時(shí)間是否大于第二時(shí)間閾值，并采集獲取用戶的第二眼球狀態(tài)信息，其中，第二眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；若大于第二時(shí)間閾值，保存第二眼球狀態(tài)信息。其中，第一時(shí)間閾值和第二時(shí)間閾值的范圍可以一樣，也可以不一樣。第一時(shí)間閾值和第二時(shí)間閾值的范圍可以是用戶設(shè)置的，也是可以是終端設(shè)備的初始數(shù)據(jù)。

具體地，當(dāng)用戶的眼睛盯著屏幕上的起始位置處的時(shí)間大于第一時(shí)間閾值時(shí)，終端設(shè)備會(huì)采集并保存該處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)，并選中該起始位置的凝視坐標(biāo)處的文字。然后屏幕上的光標(biāo)會(huì)跟著眼睛的移動(dòng)方向，選中眼睛掃過的文字。直到用戶眼睛盯著終止位置處的時(shí)間大于第二時(shí)間閾值時(shí)，終端設(shè)備會(huì)采集并保存該處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)。然后，屏幕可以彈出一個(gè)是否選中某段文字的提示框，或者，不彈出該提示框。用戶可以根據(jù)自己的需要、習(xí)慣和/或喜好等隨意設(shè)置。

s302：根據(jù)文字的起始位置和終止位置處的用戶的眼球凝視屏幕的凝視坐標(biāo)而獲取從起始位置至終止位置內(nèi)的文字。

s303：根據(jù)語音指令而對(duì)選定的文字執(zhí)行相應(yīng)的操作。

其中，當(dāng)某段文字被選定后，用戶可以設(shè)置，當(dāng)終端設(shè)備收到用戶的語音指令，比如“添加背景顏色”時(shí)，終端設(shè)備會(huì)改變?cè)撃扯挝淖值谋尘邦伾?。若是用戶不滿意該背景顏色，繼續(xù)發(fā)出語音指令“添加背景顏色”，則終端設(shè)備會(huì)按某種顏色順序改變?cè)撃扯挝淖值谋尘邦伾?。其中，顏色順序可以是用戶設(shè)置的，也可以是終端設(shè)備系統(tǒng)內(nèi)自帶的，還可以隨機(jī)的。另外，當(dāng)終端設(shè)備收到用戶的語音指令，比如“添加紅色背景”時(shí)，終端設(shè)備會(huì)把該某段文字的背景變?yōu)榧t色。

具體地，用戶的語音指令還可以根據(jù)自己的需要、習(xí)慣和/或喜好等隨意設(shè)置。例如，為該被選中的某段文字添加背景顏色的語音指令還可以為“需要添加背景顏色”、“此處添加背景顏色”等；保存該添加的背景顏色的語音指令還可以為“save”、“可以”、“好”等；不保存該添加的背景顏色的語音指令還可以為“no”、“不”、“不好”、“不可以”等。進(jìn)一步地，用戶還可以設(shè)置屏幕彈出一個(gè)是否保存該背景顏色的提示框。其中，用戶可以手動(dòng)選擇屏幕上彈出的是否保存該背景顏色的提示框的某一選項(xiàng)，或者，用戶可以盯著屏幕上彈出的是否保存該背景顏色的提示框的某一選項(xiàng)，終端設(shè)備通過采集用戶眼球凝視屏幕的凝視坐標(biāo)判斷出用戶的選擇進(jìn)而響應(yīng)和執(zhí)行用戶指令。

可選地，還可以改變?cè)摫贿x定的某段文字的字體、字號(hào)、翻譯為某種語音、標(biāo)記文字顏色以及復(fù)制和剪貼等。用戶也可以根據(jù)自己的需要、習(xí)慣和/或喜好等隨意設(shè)置語音指令。

另外，終端設(shè)備還可以記錄用戶的聲紋特征和人臉特征，具體過程如上一實(shí)施方式所述，在此不做贅敘。

本實(shí)施方式中，利用眼球跟蹤技術(shù)，采集用戶在操控終端時(shí)的眼球運(yùn)動(dòng)狀態(tài)以獲取眼球狀態(tài)信息，其中，眼球狀態(tài)信息包括眼球凝視屏幕的凝視坐標(biāo)，進(jìn)而根據(jù)眼球狀態(tài)信息響應(yīng)和執(zhí)行用戶的指令，能夠使得用戶僅需要轉(zhuǎn)動(dòng)眼球即可實(shí)現(xiàn)對(duì)終端設(shè)備的操控，提高了對(duì)終端操作效率，進(jìn)一步提升設(shè)備的智能化水平，帶來一種全新的交互體驗(yàn)。

請(qǐng)參閱圖4，圖4是本發(fā)明基于眼球追蹤控制終端的裝置一實(shí)施方式的結(jié)構(gòu)示意圖。需要說明的是，本實(shí)施方式的裝置可以執(zhí)行上述方法中的步驟，相關(guān)內(nèi)容的詳細(xì)說明請(qǐng)參見上述方法部分，在此不再贅敘。

本實(shí)施方式中，該裝置40是上述實(shí)施方式中的裝置，該裝置40包括：應(yīng)用啟動(dòng)模塊41、眼球追蹤啟動(dòng)模塊42、采集模塊43、指令接收模塊44、指令響應(yīng)模塊44。

應(yīng)用啟動(dòng)模塊41用于啟動(dòng)終端內(nèi)的應(yīng)用。

眼球追蹤啟動(dòng)模塊42用于啟動(dòng)眼球追蹤系統(tǒng)。

采集模塊43用于通過眼球跟蹤系統(tǒng)而采集用戶的眼球運(yùn)動(dòng)狀態(tài)以獲取眼球狀態(tài)信息，其中，眼球狀態(tài)信息包括眼球凝視屏幕的凝視坐標(biāo)。

指令接收模塊44用于接收用戶指令。

指令響應(yīng)模塊44用于響應(yīng)用戶指令，并根據(jù)眼球狀態(tài)信息而對(duì)應(yīng)執(zhí)行用戶指令。

其中，應(yīng)用啟動(dòng)模塊41所啟動(dòng)的應(yīng)用為可以選定和/或編輯文字的應(yīng)用，可以是電子書應(yīng)用，也可以為消息推送應(yīng)用，比如微博、朋友圈、電子郵箱、新聞?lì)^條等，還可以為wps、pdf等。

其中，需要說明的是，要先啟動(dòng)應(yīng)用啟動(dòng)模塊41后，才可以進(jìn)一步開啟后面的模塊。

其中，接收指令模塊44所接收的用戶指令可以是語音指令，也可以是動(dòng)作指令。其中，語音指令和動(dòng)作指令均可以包括但不限于添加備注、選定某段文字、標(biāo)記某段文字顏色、復(fù)制和剪貼某段文字、翻頁、改變閱讀頁面的顏色和字體等指令。

其中，響應(yīng)指令模塊44具體包括：當(dāng)用戶指令為語音指令且語音指令為添加備注時(shí)，在用戶眼球凝視屏幕的凝視坐標(biāo)位置處彈出添加備注的提示框；在提示框內(nèi)根據(jù)語音指令而添加備注內(nèi)容。

其中，響應(yīng)指令模塊45還包括：當(dāng)用戶指令為語音指令且語音指令為選定某段文字、標(biāo)記某段文字顏色、復(fù)制和剪貼某段文字時(shí)，獲取某段文字的起始位置和終止位置處的用戶的眼球凝視屏幕的凝視坐標(biāo)；根據(jù)文字的起始位置和終止位置處的用戶的眼球凝視屏幕的凝視坐標(biāo)而獲取從起始位置至終止位置內(nèi)的文字；根據(jù)語音指令而對(duì)選定的文字執(zhí)行相應(yīng)的操作。

其中，響應(yīng)指令模塊45還包括：發(fā)出確認(rèn)起始位置的語音提示，并采集獲取用戶的第一眼球狀態(tài)信息，其中，第一眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；保存第一眼球狀態(tài)信息；發(fā)出確認(rèn)終止位置的語音提示，并采集獲取用戶的第二眼球狀態(tài)信息，其中，第二眼球狀態(tài)信息包括終止位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；保存第二眼球狀態(tài)信息。

可選地，響應(yīng)指令模塊45還包括：檢測(cè)用戶眼睛盯著起始位置處的時(shí)間是否大于第一時(shí)間閾值，并采集獲取用戶的第一眼球狀態(tài)信息，其中，第一眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；若大于第一時(shí)間閾值，保存第一眼球狀態(tài)信息；檢測(cè)用戶眼睛盯著終止位置處的時(shí)間是否大于第二時(shí)間閾值，并采集獲取用戶的第二眼球狀態(tài)信息，其中，第二眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；若大于第二時(shí)間閾值，保存第二眼球狀態(tài)信息。

本實(shí)施方式中，利用眼球跟蹤技術(shù)，采集用戶在操控終端時(shí)的眼球運(yùn)動(dòng)狀態(tài)以獲取眼球狀態(tài)信息，其中，眼球狀態(tài)信息包括眼球凝視屏幕的凝視坐標(biāo)，進(jìn)而根據(jù)眼球狀態(tài)信息響應(yīng)和執(zhí)行用戶的指令，能夠使得用戶僅需要轉(zhuǎn)動(dòng)眼球即可實(shí)現(xiàn)對(duì)終端設(shè)備的操控，提高了對(duì)終端操作效率，進(jìn)一步提升設(shè)備的智能化水平，帶來一種全新的交互體驗(yàn)。

請(qǐng)參閱圖5，圖5是本發(fā)明基于眼球追蹤控制終端的裝置另一實(shí)施方式的結(jié)構(gòu)示意圖。該裝置可以執(zhí)行上述方法中的裝置執(zhí)行的步驟。相關(guān)內(nèi)容請(qǐng)參見上述方法中的詳細(xì)說明，在此不再贅敘。

本實(shí)施方式中，該處理裝置包括：處理器51、存儲(chǔ)器52以及接收器53。

存儲(chǔ)器52用于存儲(chǔ)操作系統(tǒng)、處理器51執(zhí)行的指令以及接收到的消息等。

接收器53用于接收用戶的指令。

處理器51用于啟動(dòng)終端內(nèi)的應(yīng)用；啟動(dòng)眼球追蹤系統(tǒng)；通過眼球跟蹤系統(tǒng)而采集用戶的眼球運(yùn)動(dòng)狀態(tài)以獲取眼球狀態(tài)信息，其中，眼球狀態(tài)信息包括眼球凝視屏幕的凝視坐標(biāo)；響應(yīng)用戶指令，并根據(jù)眼球狀態(tài)信息而對(duì)應(yīng)執(zhí)行用戶指令。

具體地，處理器51還用于當(dāng)用戶指令為語音指令且語音指令為添加備注時(shí)，在用戶眼球凝視屏幕的凝視坐標(biāo)位置處彈出添加備注的提示框；在提示框內(nèi)根據(jù)語音指令而添加備注內(nèi)容。

具體地，處理器51還用于當(dāng)用戶指令為語音指令且語音指令為選定某段文字、標(biāo)記某段文字顏色、復(fù)制和剪貼某段文字時(shí)，獲取某段文字的起始位置和終止位置處的用戶的眼球凝視屏幕的凝視坐標(biāo)；根據(jù)文字的起始位置和終止位置處的用戶的眼球凝視屏幕的凝視坐標(biāo)而獲取從起始位置至終止位置內(nèi)的文字；根據(jù)語音指令而對(duì)選定的文字執(zhí)行相應(yīng)的操作。

具體地，處理器51還用于發(fā)出確認(rèn)起始位置的語音提示，并采集獲取用戶的第一眼球狀態(tài)信息，其中，第一眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；保存第一眼球狀態(tài)信息；發(fā)出確認(rèn)終止位置的語音提示，并采集獲取用戶的第二眼球狀態(tài)信息，其中，第二眼球狀態(tài)信息包括終止位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；保存第二眼球狀態(tài)信息。

可選地，處理器51還用于檢測(cè)用戶眼睛盯著起始位置處的時(shí)間是否大于第一時(shí)間閾值，并采集獲取用戶的第一眼球狀態(tài)信息，其中，第一眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；若大于第一時(shí)間閾值，保存第一眼球狀態(tài)信息；檢測(cè)用戶眼睛盯著終止位置處的時(shí)間是否大于第二時(shí)間閾值，并采集獲取用戶的第二眼球狀態(tài)信息，其中，第二眼球狀態(tài)信息包括起始位置處所對(duì)應(yīng)的眼球凝視屏幕的凝視坐標(biāo)；若大于第二時(shí)間閾值，保存第二眼球狀態(tài)信息。

其中，處理器51所啟動(dòng)的應(yīng)用為可以選定和/或編輯文字的應(yīng)用，可以是電子書應(yīng)用，也可以為消息推送應(yīng)用，比如微博、朋友圈、電子郵箱、新聞?lì)^條等，還可以為wps、pdf等。

其中，接收器53所接收的用戶指令可以為語音指令，也可以為動(dòng)作指令。其中，語音指令和動(dòng)作指令具體包括但不限于添加備注、選定某段文字、標(biāo)記某段文字顏色、復(fù)制和剪貼某段文字、翻頁、改變閱讀頁面的顏色和字體等指令。

本實(shí)施方式中，利用眼球跟蹤技術(shù)，采集用戶在操控終端時(shí)的眼球運(yùn)動(dòng)狀態(tài)以獲取眼球狀態(tài)信息，其中，眼球狀態(tài)信息包括眼球凝視屏幕的凝視坐標(biāo)，進(jìn)而根據(jù)眼球狀態(tài)信息響應(yīng)和執(zhí)行用戶的指令，能夠使得用戶僅需要轉(zhuǎn)動(dòng)眼球即可實(shí)現(xiàn)對(duì)終端設(shè)備的操控，提高了對(duì)終端操作效率，進(jìn)一步提升設(shè)備的智能化水平，帶來一種全新的交互體驗(yàn)。

以上所述僅為本發(fā)明的實(shí)施方式，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。