基于眼球追蹤技術(shù)的視頻交互方法
【專利摘要】本發(fā)明涉及一種基于眼球追蹤技術(shù)的視頻交互方法，主要包括：A1、播放到預(yù)設(shè)有外掛標(biāo)簽的視頻畫(huà)面時(shí)，通過(guò)攝像頭實(shí)時(shí)采集觀眾的眼球圖像；A2、從采集到的眼球圖像中提取出瞳孔當(dāng)前的空間坐標(biāo)，并映射到視頻界面的二維坐標(biāo)上，以確定瞳孔在視頻界面上的落點(diǎn)；所述視頻界面的坐標(biāo)的中心點(diǎn)、原點(diǎn)分別與觀眾瞳孔中心的空間坐標(biāo)、內(nèi)眼角的空間坐標(biāo)對(duì)應(yīng)；A3、瞳孔的落點(diǎn)在對(duì)應(yīng)的外掛標(biāo)簽上停留達(dá)到預(yù)設(shè)時(shí)間后，解析出并播放該外掛標(biāo)簽對(duì)應(yīng)的視頻文件。本發(fā)明可使普通視頻成為交互式視頻，并且可便捷地實(shí)現(xiàn)視頻與觀眾的交互，提高了用戶體驗(yàn)。
【專利說(shuō)明】
基于眼球追蹤技術(shù)的視頻交互方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于視頻交互技術(shù)領(lǐng)域，具體設(shè)及一種基于眼球追蹤技術(shù)的視頻交互方 法。
【背景技術(shù)】
[0002] 傳統(tǒng)的網(wǎng)絡(luò)視頻通常借助嵌在瀏覽器中的網(wǎng)絡(luò)播放器進(jìn)行播放，在播放過(guò)程中基 本都是單向輸出，觀眾僅是被動(dòng)地接收，因而缺少視頻與觀眾雙方的互動(dòng)性。運(yùn)對(duì)于廣告視 頻而言，尤其難W很好地吸引觀眾。
[0003] HTML5技術(shù)手段可將觀眾的交互體驗(yàn)融入到線性視頻中W形成新型視頻，讓觀眾 可W實(shí)現(xiàn)視頻內(nèi)部點(diǎn)擊，同時(shí)也實(shí)現(xiàn)視頻內(nèi)容的多樣化，但其最明顯的不足是觀眾必須通 過(guò)手動(dòng)去點(diǎn)擊視頻，對(duì)于用戶體驗(yàn)的提升較有限。
[0004] 此外，即使是新型視頻目前也存在許多需要改進(jìn)之處，對(duì)于廣告視頻尤其需要提 升。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的主要目的在于，基于眼球追蹤技術(shù)提出一種視頻交互方法，W更便捷的 方式實(shí)現(xiàn)視頻與觀眾的交互，提高用戶體驗(yàn)。
[0006] 為了實(shí)現(xiàn)W上目的，本發(fā)明提出一種基于眼球追蹤技術(shù)的視頻交互方法，主要包 括W下步驟：
[0007] AU播放到預(yù)設(shè)有外掛標(biāo)簽的視頻畫(huà)面時(shí)，通過(guò)攝像頭實(shí)時(shí)采集觀眾的眼球圖像； [000引A2、從采集到的眼球圖像中提取出瞳孔當(dāng)前的空間坐標(biāo)，并映射到視頻界面的二 維坐標(biāo)上，W確定瞳孔在視頻界面上的落點(diǎn);所述視頻界面的坐標(biāo)的中屯、點(diǎn)、原點(diǎn)分別與觀 眾瞳孔中屯、的空間坐標(biāo)、內(nèi)眼角的空間坐標(biāo)對(duì)應(yīng)；
[0009] A3、瞳孔的落點(diǎn)在對(duì)應(yīng)的外掛標(biāo)簽上停留達(dá)到預(yù)設(shè)時(shí)間后，解析出并播放該外掛 標(biāo)簽對(duì)應(yīng)的視頻文件。
[0010] 在本發(fā)明的進(jìn)一步優(yōu)選方案中，所述外掛標(biāo)簽W畫(huà)中畫(huà)形式顯示在對(duì)應(yīng)的視頻畫(huà) 面上。
[0011] 在本發(fā)明的進(jìn)一步優(yōu)選方案中，所述視頻界面上預(yù)建立有視線模型；所述視線模 型W3X3的形式平均分布有9個(gè)校準(zhǔn)點(diǎn)，中屯、校準(zhǔn)點(diǎn)與觀眾瞳孔中屯、的空間坐標(biāo)對(duì)應(yīng)，第1 行第1列位置上的校準(zhǔn)點(diǎn)與觀眾內(nèi)眼角的空間坐標(biāo)對(duì)應(yīng);步驟A2中基于所述視線模型對(duì)采 集到的眼球圖像中觀眾的瞳孔進(jìn)行追蹤，W提取出瞳孔當(dāng)前的空間坐標(biāo)。
[0012] 在本發(fā)明的進(jìn)一步優(yōu)選方案中，步驟A3中解析出外掛標(biāo)簽對(duì)應(yīng)的視頻文件，在所 述視頻界面W畫(huà)中畫(huà)的形式進(jìn)行播放。
[0013] 在本發(fā)明的進(jìn)一步優(yōu)選方案中，所述外掛標(biāo)簽對(duì)應(yīng)的視頻文件為相應(yīng)的視頻畫(huà)面 中對(duì)象的=維形象視頻文件。
[0014] 在本發(fā)明的進(jìn)一步優(yōu)選方案中，步驟3中解析出外掛標(biāo)簽對(duì)應(yīng)的視頻文件，所述視 頻界面直接跳轉(zhuǎn)對(duì)該視頻文件播放。
[0015] 在本發(fā)明的進(jìn)一步優(yōu)選方案中，該視頻交互是指瀏覽器上的網(wǎng)絡(luò)視頻交互;所述 視頻界面是指瀏覽器的視頻播放器的界面;所述視頻播放器基于HTML5開(kāi)發(fā)而成。
[0016] 在本發(fā)明的進(jìn)一步優(yōu)選方案中，步驟Al中外掛標(biāo)簽基于HTML5開(kāi)發(fā)而成，其鋪墊在 視頻畫(huà)面上，并與對(duì)應(yīng)的視頻文件關(guān)聯(lián)。
[0017] 在本發(fā)明的進(jìn)一步優(yōu)選方案中，所述外掛標(biāo)簽為嵌在瀏覽器頁(yè)面對(duì)應(yīng)的DIV內(nèi)的 JS文件
[0018] 本發(fā)明的有益效果至少包括：
[0019] 1、解決了傳統(tǒng)視頻的單向輸出性，使傳統(tǒng)視頻成為可交互式視頻，為視頻界添加 了新鮮的元素；
[0020] 2、僅需追蹤觀眾的眼球即可實(shí)現(xiàn)交互，極為便捷，可大大提高用戶體驗(yàn)；
[0021] 3、為VR內(nèi)容制作的基礎(chǔ)做了一個(gè)大大的鋪墊，讓VR內(nèi)容制作發(fā)展更加順楊；
[0022] 4、對(duì)于廣告視頻而言尤其意義重大，可W在播放影視的同時(shí)該播放影視畫(huà)面中設(shè) 及的對(duì)象的廣告視頻。
【附圖說(shuō)明】
[0023] 圖1是實(shí)施例提出的基于眼球追蹤技術(shù)的視頻交互方法原理示意圖。
[0024] 圖2是實(shí)施例提出的基于眼球追蹤技術(shù)的視頻交互方法流程示意圖。
[0025] 圖3是圖2步驟S200中用于確定瞳孔的落點(diǎn)的視線模型示意圖。
【具體實(shí)施方式】
[0026] 為了便于本領(lǐng)域技術(shù)人員理解，下面將結(jié)合附圖W及實(shí)施例對(duì)本發(fā)明進(jìn)行進(jìn)一步 描述。
[0027] 主要構(gòu)思
[00%]請(qǐng)參閱圖1，實(shí)施例提出的一種基于眼球追蹤技術(shù)的視頻交互方法，主要構(gòu)思是：
[0029] 1、采用HTML5技術(shù)在普通視頻(原始視頻)上相應(yīng)的視頻畫(huà)面鋪墊一層透明的外掛 標(biāo)簽(采用透明是為了減少觀看原始視頻時(shí)的干擾），使其成為交互式視頻。一個(gè)視頻畫(huà)面 上可W有多個(gè)外掛標(biāo)簽，W供不同選擇；同時(shí)預(yù)先制作或準(zhǔn)備一段與外掛標(biāo)簽關(guān)聯(lián)的視頻 文件W便調(diào)取。該外掛標(biāo)簽可參考W下VCE(Video化Oice Engine)標(biāo)簽示例：
[0030]
[0031；
[0032] W上VCE標(biāo)簽是一個(gè)很小的化vaScript庫(kù)即JS文件用來(lái)顯示交互式視頻操作，使 用JSON描述交互的文本，提供多個(gè)分支和返回點(diǎn)。該VCE標(biāo)簽可嵌在瀏覽器頁(yè)面對(duì)應(yīng)的DIV 內(nèi)，播放器將通過(guò)自動(dòng)識(shí)別瀏覽器的功能來(lái)啟用HTML5或flash模式播放視頻。
[0033] 2、在傳統(tǒng)的播放器的基礎(chǔ)上增加一個(gè)頂層視頻窗口 W實(shí)現(xiàn)插入視頻或動(dòng)畫(huà)播放。
[0034] 播放器主要WHTML5技術(shù)為平臺(tái)開(kāi)發(fā)，同時(shí)兼容flash技術(shù)，可實(shí)現(xiàn)跨平臺(tái)各瀏覽 器兼容的視頻播放，例如在Windows ,MacOS, Linux ,Windows Phone ,An化oid, IOS等任意平 臺(tái)上，通過(guò)對(duì)應(yīng)的瀏覽器播放視頻。
[0035] 播放器將通過(guò)自動(dòng)識(shí)別瀏覽器的功能來(lái)啟用HTML5或flash模式播放視頻。
[0036] 3、觀眾觀看該交互式視頻時(shí)，可通過(guò)攝像頭對(duì)觀眾的眼球進(jìn)行追蹤，W判斷觀眾 的興趣傾向，當(dāng)觀眾的瞳孔落點(diǎn)在一外掛標(biāo)簽上停留的時(shí)間超過(guò)預(yù)設(shè)時(shí)（該時(shí)間根據(jù)經(jīng)驗(yàn) 設(shè)置即可，例如1秒或幾秒，運(yùn)里不作具體限定），則可選定該外掛標(biāo)簽，并通過(guò)跳轉(zhuǎn)或W畫(huà) 中畫(huà)的方式對(duì)該外掛標(biāo)簽對(duì)應(yīng)的視頻文件進(jìn)行播放，W實(shí)現(xiàn)視頻交互。
[0037] 實(shí)施例流程
[0038] 請(qǐng)參閱圖2,本實(shí)施例W在電腦上通過(guò)瀏覽器的視頻播放器的界面上實(shí)現(xiàn)視頻交 互為例進(jìn)行介紹，其主要包括W下步驟SlOO至S200:
[0039] S100、播放到預(yù)設(shè)有外掛標(biāo)簽的視頻畫(huà)面時(shí)，通過(guò)攝像頭實(shí)時(shí)采集觀眾的眼球圖 像。
[0040] 步驟SlOO之前，可對(duì)電腦上的攝像頭狀態(tài)進(jìn)行檢測(cè)，判斷是否在觀眾的允許狀態(tài) 下，啟動(dòng)攝像頭;若攝像頭沒(méi)有啟動(dòng)，還可通過(guò)手動(dòng)實(shí)現(xiàn)視頻交互，若攝像頭已啟動(dòng)，則可通 過(guò)眼球追蹤技術(shù)實(shí)現(xiàn)視頻交互。
[0041 ]由于通常并非整部視頻的任何一張畫(huà)面都需要進(jìn)行交互，因此，外掛標(biāo)簽僅在一 部分目標(biāo)畫(huà)面中預(yù)設(shè)(該外掛標(biāo)簽可W畫(huà)中畫(huà)形式顯示在對(duì)應(yīng)的視頻畫(huà)面上，在未播放到 預(yù)設(shè)有外掛標(biāo)簽的視頻畫(huà)面時(shí)，視頻界面不會(huì)顯示外掛標(biāo)簽）。步驟Sioo中，攝像頭可在視 頻開(kāi)始播放時(shí)便對(duì)觀眾的眼球進(jìn)行追蹤，采集其圖像;但為了節(jié)省資源占用，還可優(yōu)選在播 放到預(yù)設(shè)有外掛標(biāo)簽的視頻畫(huà)面時(shí)才進(jìn)行采集。
[0042] S200、從采集到的眼球圖像中提取出瞳孔當(dāng)前的空間坐標(biāo)，并映射到視頻界面的 二維坐標(biāo)上，W確定瞳孔在視頻界面上的落點(diǎn);所述視頻界面的坐標(biāo)的中屯、點(diǎn)、原點(diǎn)分別與 觀眾瞳孔中屯、的空間坐標(biāo)、內(nèi)眼角的空間坐標(biāo)對(duì)應(yīng)。
[0043] 請(qǐng)參閱圖3,可在視頻界面上預(yù)建立有視線模型，該視線模型W3X3的形式平均分 布有9個(gè)校準(zhǔn)點(diǎn)，編號(hào)為1 -9;中屯、校準(zhǔn)點(diǎn)5與觀眾瞳孔中屯、0點(diǎn)的空間坐標(biāo)對(duì)應(yīng)，第1行第1 列位置上的校準(zhǔn)點(diǎn)1與觀眾內(nèi)眼角的空間坐標(biāo)對(duì)應(yīng);步驟S200中基于該視線模型對(duì)采集到 的眼球圖像中觀眾的瞳孔進(jìn)行追蹤，W提取出瞳孔當(dāng)前的空間坐標(biāo)。例如圖3中，觀眾的瞳 孔從0點(diǎn)移到了 N點(diǎn)，對(duì)應(yīng)在視線模型上的落點(diǎn)為校準(zhǔn)點(diǎn)1，也即從校準(zhǔn)點(diǎn)5移動(dòng)到校準(zhǔn)點(diǎn)1， 此時(shí)瞳孔相對(duì)于內(nèi)眼角移動(dòng)角度為e，視頻界面中校準(zhǔn)點(diǎn)5到校準(zhǔn)點(diǎn)1的距離為L(zhǎng)，偏移角度 為曰，如此可得到瞳孔在視頻界面上的落點(diǎn)及坐標(biāo)。
[0044] S300、瞳孔的落點(diǎn)在對(duì)應(yīng)的外掛標(biāo)簽上停留達(dá)到預(yù)設(shè)時(shí)間后，解析出并播放該外 掛標(biāo)簽對(duì)應(yīng)的視頻文件。
[0045] 本實(shí)施例中，外掛標(biāo)簽對(duì)應(yīng)的視頻文件的內(nèi)容可W是正在播放的電影或電視的不 同的劇情、不同畫(huà)面的展示，或視頻畫(huà)面中設(shè)及的對(duì)象例如生活用品的單獨(dú)展示等等。
[0046] 例1:電影A的前半部分劇情相同，但后半部分有兩個(gè)不同劇情的版本，本實(shí)施例可 在前半部最后的視頻畫(huà)面預(yù)設(shè)兩個(gè)外掛標(biāo)簽，各對(duì)應(yīng)一個(gè)版本;當(dāng)電影A播放至前半部分最 后的視頻畫(huà)面時(shí)，視頻畫(huà)面上會(huì)出現(xiàn)兩透明的外掛標(biāo)簽供觀眾選擇，各個(gè)視頻標(biāo)簽上可W 有簡(jiǎn)單的文字進(jìn)行區(qū)分及劇情提示;基于該文字的提示作用，觀眾的視線勢(shì)必會(huì)落在其所 感興趣的標(biāo)簽上，基于步驟S200及S300可W確定出觀眾瞳孔的落點(diǎn)，從而判斷出觀眾的興 趣傾向，并直接跳轉(zhuǎn)到對(duì)應(yīng)版本的畫(huà)面，對(duì)該視頻文件播放。
[0047] 例2:電影B中某一段視頻畫(huà)面將會(huì)出現(xiàn)一處風(fēng)景區(qū)，可W針對(duì)該風(fēng)景區(qū)的不同方 位視角各設(shè)置一個(gè)外掛標(biāo)簽，各個(gè)外掛標(biāo)簽對(duì)應(yīng)一個(gè)方位視角的視頻文件；當(dāng)電影B播放至 具有該風(fēng)景區(qū)的視頻畫(huà)面時(shí)，視頻畫(huà)面上可顯示"前"、"后"、"左"、"右"四個(gè)外掛標(biāo)簽，基于 步驟S200及S300可W確定出觀眾瞳孔的落點(diǎn)，從而判斷出觀眾的興趣傾向，例如觀眾的瞳 孔的落點(diǎn)在"左"運(yùn)一外掛標(biāo)簽上停留達(dá)到預(yù)設(shè)時(shí)間時(shí)，則切換至左視畫(huà)面進(jìn)行播放，使用 戶可W觀看"左面"的風(fēng)景。
[0048] 例3:電影C中的某一段視頻畫(huà)面將會(huì)出現(xiàn)了一款獨(dú)特的杯子，可W預(yù)先制作一個(gè) 關(guān)于該款杯子的廣告視頻，該廣告視頻具有該杯子的=維形象展示，包括外觀及內(nèi)部構(gòu)造 等;該廣告視頻與外掛標(biāo)簽關(guān)聯(lián)，該外掛標(biāo)簽預(yù)設(shè)在電影C中出現(xiàn)該款杯子的視頻畫(huà)面上； 當(dāng)電影B播放至該視頻畫(huà)面上，基于步驟S200及S300可W確定出觀眾瞳孔的落點(diǎn)，判斷觀眾 是否對(duì)該款杯子感興趣，若確定是(落點(diǎn)達(dá)到預(yù)設(shè)時(shí)間），則調(diào)取該廣告視頻進(jìn)行播放。運(yùn)里 為了不中斷電影C的播放，優(yōu)選對(duì)廣告視頻W畫(huà)中畫(huà)的形式進(jìn)行播放即可。
[0049] 當(dāng)然，W上例1至例3僅是其中幾個(gè)交互方案，還可W有其他各種交互方案，運(yùn)里不 再寶述。
[0050] W上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)，但并 不能因此而理解為對(duì)本發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對(duì)于本領(lǐng)域的普通技術(shù)人員 來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可W做出若干變形和改進(jìn)，運(yùn)些都屬于本發(fā)明的保 護(hù)范圍。因此，本發(fā)明專利的保護(hù)范圍應(yīng)W所附權(quán)利要求為準(zhǔn)。
【主權(quán)項(xiàng)】
1. 一種基于眼球追蹤技術(shù)的視頻交互方法，其特征在于，包括以下步驟： A1、播放到預(yù)設(shè)有外掛標(biāo)簽的視頻畫(huà)面時(shí)，通過(guò)攝像頭實(shí)時(shí)采集觀眾的眼球圖像； A2、從采集到的眼球圖像中提取出瞳孔當(dāng)前的空間坐標(biāo)，并映射到視頻界面的二維坐 標(biāo)上，以確定瞳孔在視頻界面上的落點(diǎn);所述視頻界面的坐標(biāo)的中心點(diǎn)、原點(diǎn)分別與觀眾瞳 孔中心的空間坐標(biāo)、內(nèi)眼角的空間坐標(biāo)對(duì)應(yīng)； A3、瞳孔的落點(diǎn)在對(duì)應(yīng)的外掛標(biāo)簽上停留達(dá)到預(yù)設(shè)時(shí)間后，解析出并播放該外掛標(biāo)簽 對(duì)應(yīng)的視頻文件。2. 根據(jù)權(quán)利要求1所述的基于眼球追蹤技術(shù)的視頻交互方法，其特征在于，所述外掛標(biāo) 簽以畫(huà)中畫(huà)形式顯示在對(duì)應(yīng)的視頻畫(huà)面上。3. 根據(jù)權(quán)利要求2所述的基于眼球追蹤技術(shù)的視頻交互方法，其特征在于，所述視頻界 面上預(yù)建立有視線模型;所述視線模型以3 X 3的形式平均分布有9個(gè)校準(zhǔn)點(diǎn)，中心校準(zhǔn)點(diǎn)與 觀眾瞳孔中心的空間坐標(biāo)對(duì)應(yīng)，第1行第1列位置上的校準(zhǔn)點(diǎn)與觀眾內(nèi)眼角的空間坐標(biāo)對(duì) 應(yīng);步驟A2中基于所述視線模型對(duì)采集到的眼球圖像中觀眾的瞳孔進(jìn)行追蹤，以提取出瞳 孔當(dāng)前的空間坐標(biāo)。4. 根據(jù)權(quán)利要求3所述的基于眼球追蹤技術(shù)的視頻交互方法，其特征在于，步驟A3中解 析出外掛標(biāo)簽對(duì)應(yīng)的視頻文件，在所述視頻界面以畫(huà)中畫(huà)的形式進(jìn)行播放。5. 根據(jù)權(quán)利要求4所述的基于眼球追蹤技術(shù)的視頻交互方法，其特征在于，所述外掛標(biāo) 簽對(duì)應(yīng)的視頻文件為相應(yīng)的視頻畫(huà)面中對(duì)象的三維形象視頻文件。6. 根據(jù)權(quán)利要求3所述的基于眼球追蹤技術(shù)的視頻交互方法，其特征在于，步驟3中解 析出外掛標(biāo)簽對(duì)應(yīng)的視頻文件，所述視頻界面直接跳轉(zhuǎn)對(duì)該視頻文件播放。7. 根據(jù)權(quán)利要求1至6任一項(xiàng)所述的基于眼球追蹤技術(shù)的視頻交互方法，其特征在于， 該視頻交互是指瀏覽器上的網(wǎng)絡(luò)視頻交互;所述視頻界面是指瀏覽器的視頻播放器的界 面;所述視頻播放器基于HTML5開(kāi)發(fā)而成。8. 根據(jù)權(quán)利要求7所述的基于眼球追蹤技術(shù)的視頻交互方法，其特征在于，步驟A1中外 掛標(biāo)簽基于HTML5開(kāi)發(fā)而成，其鋪墊在視頻畫(huà)面上，并與對(duì)應(yīng)的視頻文件關(guān)聯(lián)。9. 根據(jù)權(quán)利要求8所述的基于眼球追蹤技術(shù)的視頻交互方法，其特征在于，所述外掛標(biāo) 簽為嵌在瀏覽器頁(yè)面對(duì)應(yīng)的DIV內(nèi)的JS文件。
【文檔編號(hào)】H04N21/431GK106020461SQ201610322512
【公開(kāi)日】2016年10月12日
【申請(qǐng)日】2016年5月13日
【發(fā)明人】陳盛勝
【申請(qǐng)人】陳盛勝