基于文字識(shí)別的移動(dòng)增強(qiáng)現(xiàn)實(shí)閱讀方法及其閱讀系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種增強(qiáng)現(xiàn)實(shí)系統(tǒng)技術(shù)，特別涉及一種基于文字識(shí)別的移動(dòng)增強(qiáng)現(xiàn)實(shí)閱讀方法及其閱讀系統(tǒng)。
【背景技術(shù)】
[0002]在以往的書(shū)籍、報(bào)刊閱讀模式中，人們所獲得的信息僅僅來(lái)自于所讀的書(shū)報(bào)，獲取的信息量較少并且具有局限性，對(duì)于所感興趣的內(nèi)容若想了解更多信息，通常需要在PC端或者移動(dòng)端的搜索引擎中輸入關(guān)鍵字進(jìn)行搜索。這種模式操作繁瑣，閱讀者與所讀書(shū)報(bào)之間的交互性較差。
[0003]鑒于上述閱讀模式存在的問(wèn)題，本發(fā)明提出一種結(jié)合文字識(shí)別、知識(shí)庫(kù)匹配技術(shù)的增強(qiáng)現(xiàn)實(shí)(Augmented Reality，簡(jiǎn)稱AR)技術(shù)，將相關(guān)的文字、圖像、視頻精確疊加到讀者閱讀的文字內(nèi)容上，幫助讀者在閱讀的過(guò)程中方便快捷的獲得更多的信息，并且使得閱讀信息的類型更加多元化。
[0004]所謂增強(qiáng)現(xiàn)實(shí)技術(shù)，是一種將真實(shí)世界信息和虛擬世界信息無(wú)縫集成的技術(shù)。傳統(tǒng)的基于移動(dòng)設(shè)備的增強(qiáng)現(xiàn)實(shí)技術(shù)，是通過(guò)手機(jī)攝像頭拍攝圖像，并將該現(xiàn)實(shí)世界的圖像和預(yù)先保存在后臺(tái)數(shù)據(jù)庫(kù)中存儲(chǔ)的圖像進(jìn)行比對(duì)，如果能找到相匹配的圖像，則將和該圖像相關(guān)的文字、視頻或圖像的虛擬信息疊加顯示在手機(jī)攝像頭的預(yù)覽窗口中，讓用戶看到真實(shí)世界的圖像和虛擬信息無(wú)縫的疊加在一起，從而使得用戶可以獲得更多的信息并且擁有超越現(xiàn)實(shí)的感官體驗(yàn)，對(duì)現(xiàn)實(shí)擁有更多的了解。增強(qiáng)現(xiàn)實(shí)技術(shù)在電子雜志、海報(bào)宣傳、虛擬家具展示等方面有著較好的應(yīng)用。
[0005]然而現(xiàn)有的增強(qiáng)現(xiàn)實(shí)技術(shù)，一般需要后臺(tái)數(shù)據(jù)庫(kù)預(yù)先保存并處理用于產(chǎn)生增強(qiáng)現(xiàn)實(shí)效果的圖像，只有當(dāng)拍攝到的圖像包含這些預(yù)先設(shè)定的圖像的時(shí)候，才顯示相應(yīng)的增強(qiáng)現(xiàn)實(shí)內(nèi)容。這種以圖像作為識(shí)別和匹配載體的方式，一方面在服務(wù)端需要預(yù)先錄入和存儲(chǔ)大量的提供匹配的圖像數(shù)據(jù)，存儲(chǔ)代價(jià)較大，前期圖像錄入準(zhǔn)備工作繁瑣；另一方面，由于只能對(duì)預(yù)設(shè)的圖像才能識(shí)別并產(chǎn)生增強(qiáng)現(xiàn)實(shí)效果，移動(dòng)增強(qiáng)實(shí)現(xiàn)終端只能在非常受限的特定的圖像場(chǎng)景下發(fā)揮作用，較大制約了增強(qiáng)現(xiàn)實(shí)技術(shù)的廣泛應(yīng)用。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的首要目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種基于文字識(shí)別的移動(dòng)增強(qiáng)現(xiàn)實(shí)閱讀方法。
[0007]本發(fā)明的另一目的于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種應(yīng)用于基于文字識(shí)別的移動(dòng)增強(qiáng)現(xiàn)實(shí)閱讀系統(tǒng)的閱讀系統(tǒng)，該系統(tǒng)是一種結(jié)合文字識(shí)別、知識(shí)庫(kù)匹配的移動(dòng)增強(qiáng)現(xiàn)實(shí)閱讀系統(tǒng)。
[0008]本發(fā)明的首要目的通過(guò)下述技術(shù)方案實(shí)現(xiàn):一種應(yīng)用于基于文字識(shí)別的移動(dòng)增強(qiáng)現(xiàn)實(shí)閱讀系統(tǒng)的閱讀方法，包括以下步驟:
[0009]S1.移動(dòng)設(shè)備獲取所拍攝到的包含文字的圖像P。
[0010]S2.移動(dòng)設(shè)備對(duì)步驟SI獲得的圖像P進(jìn)行預(yù)處理得到圖像P’，然后上傳到服務(wù)器。
[0011]S3.服務(wù)器對(duì)接收到的圖像P’進(jìn)行文字檢測(cè)和識(shí)別，獲得文字集合{胃^以及各個(gè)文字出現(xiàn)在圖像P’中的位置信息{L0Ci}。其中Wi表示檢測(cè)到的第i個(gè)文字，Loci表示該文字出現(xiàn)在圖像P’中的位置。
[0012]S4.服務(wù)器根據(jù)預(yù)定義關(guān)鍵字詞典，對(duì)步驟S3中獲取的圖像P’中的文字進(jìn)行關(guān)鍵字匹配，獲得關(guān)鍵字集合{Tj}，以及各個(gè)關(guān)鍵字出現(xiàn)在圖像P’中的位置{PoSj}。其中Tj表示檢測(cè)到的第j個(gè)關(guān)鍵字，Posj表示該關(guān)鍵字Tj出現(xiàn)在圖像P’中的位置。
[0013]S5.服務(wù)器根據(jù)步驟S4所獲得的每個(gè)關(guān)鍵字Tj,在知識(shí)庫(kù)中進(jìn)行檢索和Tj相關(guān)的多媒體資源集合Sj。并將檢索結(jié)果集合{(Tj，Sj，Posj)}回傳給移動(dòng)設(shè)備。其中Posj是關(guān)鍵字Tj出現(xiàn)在圖像P’中的位置。
[0014]36.移動(dòng)終端針對(duì)每組接收到的結(jié)果(1'」，3」，？0~)，將多媒體資源3」，精確疊加在步驟SI所獲得的圖像P的Posj位置上。
[0015]前述步驟SI具體為:利用移動(dòng)設(shè)備的攝像頭，對(duì)包含有文字的閱讀材料進(jìn)行拍攝，獲得圖像P.
[0016]前述步驟S2具體為:移動(dòng)設(shè)備對(duì)圖像P調(diào)整分辨率，并進(jìn)行圖像增強(qiáng)及二值化處理，得到圖像P’，然后上傳到服務(wù)器。
[0017]前述步驟S3具體為:服務(wù)器在在獲得圖像P’后，檢測(cè)P’中的文字區(qū)域，從而獲得每個(gè)文字處在圖像中的位置。并調(diào)用基于光學(xué)字符識(shí)別(OCR)技術(shù)的文字識(shí)別引擎識(shí)別文字區(qū)域中的文字。
[0018]前述步驟S4具體為:關(guān)鍵字詞典的生成方法是:對(duì)于事先收集到的大量資源(包括文章、圖片、視頻等)，將各類資源的標(biāo)題或名稱利用具有中文分詞、詞性標(biāo)注、命名實(shí)體識(shí)另O、新詞識(shí)別等功能的漢語(yǔ)詞法分析器抽取出其中的關(guān)鍵性名詞作為關(guān)鍵字，并添加到關(guān)鍵字詞典中。關(guān)鍵字詞典中的關(guān)鍵字按照熱度排序。在進(jìn)行關(guān)鍵字匹配時(shí)，對(duì)步驟S3中的獲取的圖像P’中的文字序列先進(jìn)行中文分詞，然后對(duì)所獲得的每個(gè)詞，在關(guān)鍵字詞典中進(jìn)行查找;最后保留在關(guān)鍵字詞典中出現(xiàn)的詞作為關(guān)鍵字，構(gòu)成了關(guān)鍵字集合ITj。每個(gè)關(guān)鍵字Tj的位置Posj定義為該關(guān)鍵字的第一個(gè)文字在圖像P’中的位置。
[0019]前述步驟S5具體為:服務(wù)器根據(jù)步驟S4所獲得的每個(gè)關(guān)鍵字Tp在知識(shí)庫(kù)中進(jìn)行檢索和乃相關(guān)的多媒體資源集合Sj。知識(shí)庫(kù)中記錄的多媒體資源信息可以是文字、圖片、視頻或者三維模型，信息來(lái)源可以是對(duì)萬(wàn)維網(wǎng)的網(wǎng)頁(yè)采集或者是特定機(jī)構(gòu)的內(nèi)部資源。知識(shí)庫(kù)采用倒排表索引的方式對(duì)資源的描述信息進(jìn)行索引，并支持基于關(guān)鍵字的全文檢索。
[0020]前述步驟S6具體為:資源疊加的具體方法是，移動(dòng)終端針對(duì)每組接收到的結(jié)果(ThShP0Sj)，在圖像P中位置PosJi近的區(qū)域進(jìn)行高亮突出顯示，提示讀者這是可以點(diǎn)擊的區(qū)域。當(dāng)讀者點(diǎn)擊該區(qū)域的時(shí)候，該區(qū)域附近將顯示和關(guān)鍵字Tj相關(guān)聯(lián)的資源信息S」。
[0021]本發(fā)明的另一目的通過(guò)下述技術(shù)方案實(shí)現(xiàn):一種基于文字識(shí)別的移動(dòng)增強(qiáng)現(xiàn)實(shí)閱讀系統(tǒng)，包括:手機(jī)端和服務(wù)器端;所述手機(jī)端和服務(wù)器端通過(guò)互聯(lián)網(wǎng)進(jìn)行通信;所述手機(jī)端包括拍攝模塊、圖像預(yù)處理模塊和資源疊加模塊;所述服務(wù)器端包括文字識(shí)別模塊，關(guān)鍵字匹配模塊和知識(shí)庫(kù)檢索模塊;所述拍攝模塊通過(guò)手機(jī)攝像頭拍攝包含文字的圖像;所述圖像預(yù)處理模塊對(duì)拍攝到的圖像進(jìn)行預(yù)處理;所述文字識(shí)別模塊對(duì)接收到的圖像進(jìn)行文字檢測(cè)和識(shí)別;所述關(guān)鍵字匹配模塊通過(guò)關(guān)鍵字詞典對(duì)圖像中的文字中進(jìn)行關(guān)鍵字匹配;所述知識(shí)庫(kù)檢索模塊在知識(shí)庫(kù)中檢索和關(guān)鍵字相關(guān)的多媒體資源集合;所述資源疊加模塊將多媒體資源精確疊加在所述手機(jī)端拍攝的圖像上。
[0022]本發(fā)明的工作原理:本發(fā)明通過(guò)文字識(shí)別技術(shù)識(shí)別移動(dòng)終端所拍攝的閱讀材料中的文字，并根據(jù)識(shí)別出的文字在知識(shí)庫(kù)中進(jìn)行信息檢索，將獲得的相關(guān)文字、圖像或視頻資源精確疊加到移動(dòng)終端的拍攝畫(huà)面上，使用戶基于閱讀物的基礎(chǔ)上獲得更多的相關(guān)信息。本發(fā)明提出的基于文字識(shí)別技術(shù)的移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)突破上述局限，當(dāng)移動(dòng)終端拍攝任意的雜志、報(bào)刊等包含文字的材料時(shí)，將首先進(jìn)行文字識(shí)別，然后將文字和后臺(tái)的知識(shí)庫(kù)進(jìn)行比對(duì)，然后將相關(guān)的文字信息、圖片信息或視頻信息精確疊加到移動(dòng)終端的預(yù)覽畫(huà)面中。這種基于文字識(shí)別的方式，有以下優(yōu)點(diǎn)，一方面不需預(yù)先在服務(wù)器中保存相應(yīng)的圖像，服務(wù)器的存儲(chǔ)代價(jià)較小，也無(wú)需前期的圖像錄入準(zhǔn)備工作;另一方面，移動(dòng)終端可以對(duì)任意的包含文字的材料進(jìn)行識(shí)別并產(chǎn)生增強(qiáng)現(xiàn)實(shí)效果，極大拓展該系統(tǒng)的適用范圍。
[0023]本發(fā)明相對(duì)于現(xiàn)有技術(shù)具有如下的優(yōu)點(diǎn)及效果:
[0024]1、本發(fā)明彌補(bǔ)了以往書(shū)報(bào)閱讀方式獲取信息量少，交互性較差的缺點(diǎn)，使得讀者獲得的信息不局限于讀物，可以將相關(guān)資源以自然、快捷的方式和現(xiàn)實(shí)讀物的內(nèi)容相融合，提供給讀者更加豐富的閱讀素材。
[0025]2、本發(fā)明可以對(duì)任意的包含文字的閱讀材料進(jìn)行識(shí)別并產(chǎn)生增強(qiáng)現(xiàn)實(shí)效果，且不需對(duì)閱讀材料的圖像進(jìn)行預(yù)先錄入和處理，極大拓展該系統(tǒng)的適用范圍。只需要閱讀材料中包含特定的關(guān)鍵字，就會(huì)在關(guān)鍵字附近疊加可供用戶點(diǎn)擊交互的多媒體內(nèi)容。
[0026]3、本發(fā)明的所提出的基于文字識(shí)別的增強(qiáng)現(xiàn)實(shí)技術(shù)，不需預(yù)先在服務(wù)器中預(yù)先保存閱讀材料的圖像，服務(wù)器的存儲(chǔ)代價(jià)較小。
【附圖說(shuō)明】
[0027]圖1是發(fā)明的方法流程圖。
[0028]圖2是讀物的示意圖。
[0029]圖3是獲取包含文字的圖像過(guò)程示意圖。
[0030]圖4是對(duì)拍攝畫(huà)面進(jìn)行關(guān)鍵字識(shí)別并突出顯示的示意圖。
[0031]圖5是獲取包含文字的圖像過(guò)程示意圖。
[0032]圖6是對(duì)拍攝畫(huà)面進(jìn)行關(guān)鍵字識(shí)別并突出顯示的示意圖。
[0033]圖7是資源列表展示圖。
[0034]圖8是資源顯示圖。
[0035]圖9是本發(fā)明的閱讀系統(tǒng)框圖。
【具體實(shí)施方式】
[0036]下面結(jié)合實(shí)施例及附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)的描述，但本發(fā)明的實(shí)施方式不限于此。
[0037]實(shí)施例
[0038]如圖1所示，一種基于文字識(shí)別的移動(dòng)增強(qiáng)現(xiàn)實(shí)閱讀方法，主要包括以下六個(gè)步驟:
[0039]S1、移動(dòng)設(shè)備獲取所拍攝到的包含文字的圖像P。
[0040]S2、移動(dòng)設(shè)備對(duì)步驟SI獲得的圖像P進(jìn)行預(yù)處理得到圖像P’，然后上傳到服務(wù)器。
[0041]S3、服務(wù)器對(duì)接收到的圖像P’進(jìn)行文字檢測(cè)和識(shí)別，獲得文字集合{胃^以及各個(gè)文字出現(xiàn)在圖像P’中的位置信息{L0Ci}。其中Wi表示檢測(cè)到的第i個(gè)文字，Loci表示該文字出現(xiàn)在圖像P’中的位置。
[0042]S4、服務(wù)器根據(jù)預(yù)定義關(guān)鍵字詞典，在步驟S3中的獲取的圖像P’中的文字中進(jìn)行關(guān)鍵字匹配，獲得關(guān)鍵字集合{Tj}，以及各個(gè)關(guān)鍵字出現(xiàn)在圖像P’中的位置{PoSj}。其中Tj表示檢測(cè)到的第j個(gè)關(guān)鍵字，Posj表示該關(guān)鍵字乃出現(xiàn)在圖像P’中的位置。
[0043]S5、服務(wù)器根據(jù)步驟S4所獲得的每個(gè)關(guān)鍵字Tj,在知識(shí)庫(kù)中進(jìn)行檢索和Tj相關(guān)的多媒體資源集合Sj。并將檢索結(jié)果集合{(Tj，Sj，Posj)}回傳給移動(dòng)設(shè)備。其中Posj是關(guān)鍵字Tj出現(xiàn)在圖像P’中的位置。
[0044]S6、移動(dòng)終端針對(duì)每組接收到的結(jié)果(Tj，Sj，Posj)，將多媒體資源Sj，精確疊加在步驟SI所獲得的圖像P的Pos