一種校正字幕的方法及終端的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及電子技術(shù)領(lǐng)域，尤其涉及一種校正字幕的方法及終端。
【背景技術(shù)】
[0002]隨著終端的使用日益廣泛，用戶可以利用終端實(shí)現(xiàn)各種功能，例如利用終端觀看視頻，為了讓用戶更加確切地知道視頻中人物的說(shuō)話內(nèi)容，通常會(huì)在視頻中配備字幕，但是字幕的時(shí)間與用戶說(shuō)話的時(shí)間往往不一致，例如，視頻畫面已經(jīng)顯示到下一條字幕了，但是用戶還在說(shuō)上一條字幕的內(nèi)容，這樣造成說(shuō)話內(nèi)容與字幕內(nèi)容錯(cuò)亂，用戶體驗(yàn)差。

【發(fā)明內(nèi)容】

[0003]本發(fā)明實(shí)施例提供一種校正字幕的方法，可自動(dòng)調(diào)整目標(biāo)字幕的時(shí)間，提高字幕和視頻時(shí)間的一致性。
[0004]本發(fā)明實(shí)施例提供了一種校正字幕的方法，其可包括:
[0005]獲取目標(biāo)視頻所包含的視頻畫面，其中所述視頻畫面中包含人臉圖像；
[0006]對(duì)所述人臉圖像進(jìn)行嘴唇特征識(shí)別，確定所述嘴唇特征對(duì)應(yīng)的說(shuō)話內(nèi)容；
[0007]查找所述說(shuō)話內(nèi)容對(duì)應(yīng)的目標(biāo)字幕；
[0008]確定所述說(shuō)話內(nèi)容在所述目標(biāo)視頻中的目標(biāo)時(shí)間；
[0009]根據(jù)所述目標(biāo)時(shí)間，調(diào)整所述目標(biāo)字幕的時(shí)間。
[0010]本發(fā)明實(shí)施例提供了一種終端，其可包括:
[0011]獲取單元，用于獲取目標(biāo)視頻所包含的視頻畫面，其中所述視頻畫面中包含人臉圖像；
[0012]識(shí)別單元，用于對(duì)所述人臉圖像進(jìn)行嘴唇特征識(shí)別，確定所述嘴唇特征對(duì)應(yīng)的說(shuō)話內(nèi)容；
[0013]查找單元，用于查找所述說(shuō)話內(nèi)容對(duì)應(yīng)的目標(biāo)字幕；
[0014]第一確定單元，用于確定所述說(shuō)話內(nèi)容在所述目標(biāo)視頻中的目標(biāo)時(shí)間；
[0015]第一調(diào)整單元，用于根據(jù)所述目標(biāo)時(shí)間，調(diào)整所述目標(biāo)字幕的時(shí)間。
[0016]本發(fā)明實(shí)施例，獲取目標(biāo)視頻所包含的視頻畫面，該視頻畫面中包含人臉圖像，對(duì)人臉圖像進(jìn)行嘴唇特征識(shí)別，并確定嘴唇特征對(duì)應(yīng)的說(shuō)話內(nèi)容，查找與說(shuō)話內(nèi)容對(duì)應(yīng)的目標(biāo)字幕，確定說(shuō)話內(nèi)容在目標(biāo)視頻中的目標(biāo)時(shí)間，根據(jù)目標(biāo)時(shí)間，調(diào)整目標(biāo)字幕的時(shí)間，可自動(dòng)調(diào)整目標(biāo)字幕的時(shí)間，提高字幕和視頻時(shí)間的一致性。
【附圖說(shuō)明】
[0017]為了更清楚地說(shuō)明本發(fā)明實(shí)施例技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0018]圖1是本發(fā)明實(shí)施例提供的校正字幕方法的第一實(shí)施例流程示意圖；
[0019]圖2是本發(fā)明實(shí)施例提供的校正字幕方法的第二實(shí)施例流程示意圖；
[0020]圖3是本發(fā)明實(shí)施例提供的終端的第一實(shí)施例結(jié)構(gòu)示意圖；
[0021]圖4是本發(fā)明實(shí)施例提供的第一調(diào)整單元的結(jié)構(gòu)示意圖；
[0022]圖5是本發(fā)明實(shí)施例提供的識(shí)別單元的結(jié)構(gòu)示意圖；
[0023]圖6是本發(fā)明實(shí)施例提供的終端的第二實(shí)施例結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0024]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0025]具體實(shí)現(xiàn)中，本發(fā)明實(shí)施例中描述的終端可包括:手機(jī)、平板電腦或者M(jìn)P4等，上述終端僅是舉例，而非窮舉，包含但不限于上述終端。
[0026]下面將結(jié)合圖1至圖6對(duì)本發(fā)明實(shí)施例提供的校正字幕的方法及終端進(jìn)行具體描述。
[0027]請(qǐng)參照?qǐng)D1，是本發(fā)明實(shí)施例提供的校正字幕的方法的第一實(shí)施例流程示意圖。本實(shí)施例中所描述的校正字幕的方法，包括步驟:
[0028]S100，獲取目標(biāo)視頻所包含的視頻畫面，其中所述視頻畫面中包含人臉圖像；
[0029]具體實(shí)施例中，目標(biāo)視頻為待播放的且具有字幕的視頻文件，目標(biāo)視頻中包含多幀視頻畫面，多幀視頻畫面通過(guò)幀間隔進(jìn)行播放形成目標(biāo)視頻，每一幀視頻畫面中包括一種視頻場(chǎng)景，通常相鄰幀的視頻畫面之間的視頻場(chǎng)景相差很小，在視頻畫面的視頻場(chǎng)景中可能包含人臉圖像，人臉圖像即是具體包含人臉識(shí)別信息的圖像。
[0030]本發(fā)明實(shí)施例中通過(guò)人臉識(shí)別技術(shù)獲取包含人臉圖像的視頻畫面。人臉識(shí)別技術(shù)即是通過(guò)圖片獲取人臉識(shí)別信息的方法，可選的，獲取人臉識(shí)別信息的方法可以包括基于人臉特征點(diǎn)的識(shí)別算法、基于模板的識(shí)別算法和利用神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別的算法中的一種或多種，人臉識(shí)別信息可以包括五官特征信息、面部曲線信息等。
[0031]本發(fā)明實(shí)施例中，獲取目標(biāo)視頻所包含的視頻畫面時(shí)，可以是視頻解碼單元實(shí)時(shí)對(duì)目標(biāo)視頻進(jìn)行解碼形成目標(biāo)視頻流，并根據(jù)對(duì)目標(biāo)視頻中的內(nèi)容描述信息獲取目標(biāo)視頻流中的視頻畫面，其中內(nèi)容描述信息包括但不限于目標(biāo)視頻中視頻畫面的幀數(shù)以及幀間隔。
[0032]S101，對(duì)所述人臉圖像進(jìn)行嘴唇特征識(shí)別，確定所述嘴唇特征對(duì)應(yīng)的說(shuō)話內(nèi)容；
[0033]具體實(shí)施例中，視頻畫面中包含人臉圖像，通過(guò)對(duì)圖像進(jìn)行解析，提取圖像中的人臉特征，其中人臉特征中包含嘴唇特征。將視頻畫面中的嘴唇特征和數(shù)據(jù)庫(kù)中存儲(chǔ)的特征進(jìn)行比對(duì)，其中數(shù)據(jù)庫(kù)中包含了各個(gè)發(fā)音對(duì)應(yīng)的嘴型特征，通過(guò)匹配確定人臉圖像中的嘴唇特征對(duì)應(yīng)的說(shuō)話內(nèi)容，即是視頻畫面中該人臉對(duì)應(yīng)的人物所說(shuō)的說(shuō)話內(nèi)容。說(shuō)話內(nèi)容可以是一句話，也可以是幾個(gè)字，具體的存在形式不作限定。
[0034]可選的，對(duì)人臉圖像進(jìn)行嘴唇特征識(shí)別時(shí)，定位人臉圖像中的嘴唇區(qū)域，可以利用膚色模型和人臉的幾何特征檢測(cè)人臉并采用多級(jí)結(jié)構(gòu)的算法檢測(cè)嘴唇，對(duì)嘴唇輪廓進(jìn)行提取，并對(duì)嘴唇進(jìn)行唇動(dòng)跟蹤，根據(jù)嘴唇特征中的口型特征進(jìn)行唇語(yǔ)識(shí)別，從而確定嘴唇特征對(duì)應(yīng)的說(shuō)話內(nèi)容。
[0035]可選的，對(duì)視頻畫面進(jìn)行嘴唇特征識(shí)別的識(shí)別方式可以是，通過(guò)預(yù)設(shè)口型庫(kù)進(jìn)行匹配識(shí)別，將預(yù)設(shè)口型庫(kù)中與視頻畫面的嘴唇特征匹配嘴唇特征所對(duì)應(yīng)的說(shuō)話內(nèi)容確定為視頻畫面的嘴唇特征所對(duì)應(yīng)的說(shuō)話內(nèi)容。
[0036]S102，查找所述說(shuō)話內(nèi)容對(duì)應(yīng)的目標(biāo)字幕；
[0037]具體實(shí)施例中，目標(biāo)視頻中本身配備了字幕，當(dāng)確定了嘴唇特征對(duì)應(yīng)的說(shuō)話內(nèi)容后，可以生成與說(shuō)話內(nèi)容對(duì)應(yīng)的文字或者語(yǔ)音，將生成的文字或者語(yǔ)音與目標(biāo)視頻中的字幕或者該字幕對(duì)應(yīng)的語(yǔ)音進(jìn)行比對(duì)，從而從目標(biāo)視頻中查找與說(shuō)話內(nèi)容對(duì)應(yīng)的目標(biāo)字幕，需要說(shuō)明的是，在進(jìn)行比對(duì)時(shí)，需要文字與文字比對(duì)，語(yǔ)音與語(yǔ)音比對(duì)。在進(jìn)行比對(duì)時(shí)，若說(shuō)話內(nèi)容對(duì)應(yīng)的文字與目標(biāo)視頻中某一段字幕之間相似度大于或者等于預(yù)設(shè)閾值，或者說(shuō)話內(nèi)容對(duì)應(yīng)的語(yǔ)音與目標(biāo)視頻中某一段字幕對(duì)應(yīng)的語(yǔ)音之間相似度大于或者等于預(yù)設(shè)閾值，則將該段字幕作為與說(shuō)話內(nèi)容對(duì)應(yīng)的目標(biāo)字幕，預(yù)設(shè)閾值可以根據(jù)經(jīng)驗(yàn)所確定，例如，可以是 90%。
[0038]S103，確定所述說(shuō)話內(nèi)容在所述目標(biāo)視頻中的目標(biāo)時(shí)間；
[0039]具體實(shí)施例中，在確定目標(biāo)視頻中嘴唇特征對(duì)應(yīng)的說(shuō)話內(nèi)容后，需要進(jìn)一步確定說(shuō)話內(nèi)容在目標(biāo)視頻中的目標(biāo)時(shí)間，目標(biāo)時(shí)間即是說(shuō)話內(nèi)容在目標(biāo)視頻整個(gè)播放時(shí)間長(zhǎng)度中的時(shí)間點(diǎn)，具體的確定方式可以是根據(jù)該嘴唇特征所在視頻畫面的時(shí)間所確定，視頻畫面的時(shí)間即是該視頻畫面在目標(biāo)視頻中的播放時(shí)間，例如某一個(gè)視頻畫面在目標(biāo)視頻中的播放時(shí)間為九分四十三秒，則該視頻畫面中嘴唇特征對(duì)應(yīng)的說(shuō)話內(nèi)容在目標(biāo)視頻中的目標(biāo)時(shí)間為九分四十三秒。
[0040]S104，根據(jù)所述目標(biāo)時(shí)間，調(diào)整所述目標(biāo)字幕的時(shí)間。
[0041 ] 具體實(shí)施例中，根據(jù)說(shuō)話內(nèi)容在目標(biāo)視頻中的目標(biāo)時(shí)間，調(diào)整目標(biāo)視頻中目標(biāo)字幕的時(shí)間，目標(biāo)字幕的時(shí)間即是目標(biāo)字幕在目標(biāo)視頻中的顯示時(shí)間，調(diào)整目標(biāo)字幕的時(shí)間后，即可實(shí)現(xiàn)嘴唇特征與字幕之間時(shí)間上的對(duì)應(yīng)，不會(huì)給觀看者造成混亂的感覺(jué)。
[0042]可選的，根據(jù)目標(biāo)時(shí)間調(diào)整目標(biāo)字幕的時(shí)間的調(diào)整方式可以有以下兩種可選的實(shí)施方式:
[0043]在第一種可選的實(shí)施方式中，調(diào)整步驟可以包括以下步驟SlO-Sll ;
[0044]S10，判斷所述目標(biāo)時(shí)間是否與所述目標(biāo)字幕的時(shí)間一致；
[0045]具體實(shí)施例中，根據(jù)說(shuō)話內(nèi)容在目標(biāo)視頻中的目標(biāo)時(shí)間調(diào)整目標(biāo)字幕的時(shí)間時(shí)，首先判斷目標(biāo)時(shí)間是否與目標(biāo)字幕的時(shí)間一致，目標(biāo)字幕的時(shí)間即是目標(biāo)字幕在目標(biāo)視頻中的時(shí)間。
[0046]S11，若不一致，則將所述目標(biāo)字幕的時(shí)間與所述目標(biāo)時(shí)間調(diào)整為一致。
[0047]具體實(shí)施例中，若說(shuō)話內(nèi)容的目標(biāo)時(shí)間與目標(biāo)字幕的時(shí)間不一致，則需要將目標(biāo)字幕的時(shí)間與目標(biāo)時(shí)間調(diào)整為一致，具體的調(diào)整方式可以是將目標(biāo)字幕前移或者后移。例如