一種基于增強現(xiàn)實技術的手持式閱覽設備及其方法
【專利摘要】本發(fā)明提供了一種基于增強現(xiàn)實技術的手持式閱覽設備及其方法。該設備包括：視頻采集單元，用于透過第一攝像頭捕捉現(xiàn)實場景；智能計算終端，用于對現(xiàn)實場景中的二維碼進行識別，得到碼值信息和空間位置信息，然后根據(jù)空間位置信息放置預設的虛擬場景，并生成現(xiàn)實場景和虛擬場景混合后的閱覽畫面；語音輸出單元，用于透過揚聲器輸出與虛擬場景相對應的語音信息；以及液晶屏幕，呈圓形狀，用于顯示該閱覽畫面。相比于現(xiàn)有技術，本發(fā)明可生成與現(xiàn)實場景高度匹配的、具有逼真的視覺、聽覺、觸覺、力度感和動感等的虛擬環(huán)境，實現(xiàn)用戶和虛擬三維環(huán)境直接進行交互。如此一來，小朋友可得到更多的感官刺激，提升了學習效率，寓教于樂。
【專利說明】一種基于增強現(xiàn)實技術的手持式閱覽設備及其方法

【技術領域】
[0001] 本發(fā)明涉及增強現(xiàn)實（Augmented Reality，AR)【技術領域】，尤其涉及一種基于增強 現(xiàn)實技術的手持式閱覽設備。

【背景技術】
[0002] 增強現(xiàn)實技術是在虛擬現(xiàn)實的基礎上發(fā)展起來的新技術，是虛擬現(xiàn)實研究的一個 重要分支。概括地說，增強現(xiàn)實技術是借助計算機圖形技術和可視化技術產(chǎn)生現(xiàn)實環(huán)境中 并不存在的虛擬對象，并將虛擬對象準確地"嵌入"到真實環(huán)境中，然后通過顯示設備將虛 擬對象與真實環(huán)境融為一體，將虛擬的信息應用到真實世界，從而呈現(xiàn)給用戶一個效果逼 真的新環(huán)境，以實現(xiàn)對現(xiàn)實的增強。例如，AR技術可將原本在現(xiàn)實世界的一定時間空間范 圍內(nèi)很難體驗到的實體信息（諸如視覺信息、聲音、味道或觸覺）等，通過科學技術模擬仿 真后再疊加到現(xiàn)實世界被人類感官所感知，從而達到超越現(xiàn)實的感官體驗。
[0003] 此外，在現(xiàn)有技術中，針對兒童的玩教具主要分為傳統(tǒng)類、創(chuàng)新類、實體類、虛擬 類、娛樂類和教育類，對應的主流產(chǎn)品包括早教機、點讀機、點讀筆、電子書/書包、識字卡 片、電腦教育軟件等。通過橫向?qū)Ρ瓤芍?，傳統(tǒng)教育類玩教具趣味性低，很難調(diào)動小朋友的 主動性；高科技教育類玩教具操作較為復雜，對于使用者的認知和操控門檻較高，沒有很好 的可帶動家庭互動的玩教形式。此外，這些玩教產(chǎn)品大多無創(chuàng)新性，相當多的產(chǎn)品只是在拷 貝同類產(chǎn)品。另一方面，近年來隨著平板電腦和智能手機的普及，讓許多早教類軟件開始關 注便攜式移動平臺。但是，平板電腦并不是專門針對兒童開發(fā)的，目前市場上對兒童玩平板 電腦也存在諸多反對聲音，焦點問題大致包括：1)因平板電腦的屏幕尺寸相對較小，長期 盯住屏幕容易造成視力下降或近視；2)平板電腦使用時，長期脖子彎著看平板電腦也可能 會影響頸椎發(fā)育；3)兒童過早地接觸軟件游戲，不僅會缺乏對真實環(huán)境游戲的樂趣，有時 還會影響或減低其對于學習的樂趣；4)觸控式的平板電腦或智能手機雖然改變了傳統(tǒng)使 用鍵盤或鼠標的交互方式，但是兒童與玩教具的交互仍然停留在二維平面上，感官體驗度 較低。
[0004] 有鑒于此，如何設計一種手持式閱覽設備，將當前的增強現(xiàn)實技術與傳統(tǒng)的兒童 玩教具予以有機結(jié)合，寓教于樂，使小朋友在閱覽的過程中將語言學習，圖像認知和三維數(shù) 字模型自然地聯(lián)系到一起。增強感官刺激，提升學習效率，是相關領域技術人員亟待解決的 一項課題。


【發(fā)明內(nèi)容】

[0005] 針對現(xiàn)有技術中的平板電腦和智能手機在應用于兒童玩教具時所存在的上述諸 多缺陷，本發(fā)明提供了一種新穎的、基于增強現(xiàn)實技術的手持式閱覽設備及其方法。
[0006] 依據(jù)本發(fā)明的一個方面，提供了一種基于增強現(xiàn)實技術的手持式閱覽設備，包 括：
[0007] 視頻采集單元，用于透過第一攝像頭捕捉現(xiàn)實場景；
[0008] 智能計算終端，用于對所述現(xiàn)實場景中的二維碼進行識別，得到相應的碼值信息 和空間位置信息，然后根據(jù)所述空間位置信息放置預設的虛擬場景，并生成所述現(xiàn)實場景 和所述虛擬場景混合后的閱覽畫面；
[0009] 語音輸出單元，用于透過揚聲器輸出與所述虛擬場景相對應的語音信息；以及
[0010] 液晶屏幕，呈圓形形狀，用于顯示所述智能計算終端生成的所述閱覽畫面。
[0011] 在其中的一實施例，當移動所述手持式閱覽設備時，所述現(xiàn)實場景中的二維碼發(fā) 生移動，所述智能計算終端根據(jù)移動的二維碼來控制所述虛擬場景中的畫面移動，所述液 晶屏幕輸出所述手持式閱覽設備移動后的動態(tài)閱覽畫面。
[0012] 在其中的一實施例，所述智能計算終端還包括：緩沖單元，用于對當前幀之前的若 干二維碼所對應的碼值信息和空間位置信息進行備份，并對所述虛擬場景中的三維物體運 動驅(qū)動進行相應幀數(shù)的延遲，以預留二維碼識別所需的處理時間。
[0013] 在其中的一實施例，所述虛擬場景中的三維物體的瞬時位置由所備份的若干二維 碼的空間位置信息進行插值得到。
[0014] 在其中的一實施例，所述智能計算終端包括：網(wǎng)絡接口，用于獲取來自互聯(lián)網(wǎng)的多 個增強現(xiàn)實應用，并根據(jù)用戶需求選擇一個增強現(xiàn)實應用予以執(zhí)行；以及二維碼識別單元， 當用戶將所述現(xiàn)實場景中的二維碼移動至所述第一攝像頭的拍攝范圍內(nèi)時，所述二維碼識 別單元自動跟蹤和識別所述二維碼，得到所述碼值信息和所述空間位置信息。
[0015] 在其中的一實施例，所述智能計算終端還包括：虛擬場景生成單元，用于根據(jù)來自 所述二維碼識別單元的空間位置信息，查詢到相匹配的虛擬場景，以及虛擬實時渲染單元， 用于對查詢得到的虛擬場景進行實時繪制，并將繪制后的所述虛擬場景與所述現(xiàn)實場景混 合顯示于所述液晶屏幕。
[0016] 在其中的一實施例，所述智能計算終端還包括：交互單元，用于識別人臉或人手的 交互操作，并根據(jù)所述交互操作來獲得所述現(xiàn)實場景中隱含的三維信息，從而使所述三維 信息與所述虛擬場景中的三維物體進行直接交互。
[0017] 在其中的一實施例，所述現(xiàn)實場景包括圖書、識字卡、科技館或博物館中的物體和 環(huán)境影像。
[0018] 在其中的一實施例，所述手持式閱覽設備還包括一存儲單元，用于存儲與所述增 強現(xiàn)實應用相對應的虛擬場景數(shù)據(jù)。
[0019] 在其中的一實施例，所述智能計算終端還包括：主線程處理單元，用于運行所述智 能計算終端所進行的程序邏輯操作和渲染操作；以及多個分線程處理單元，用于執(zhí)行圖像 采集操作，并將圖像采集結(jié)果傳回所述主線程處理單元。
[0020] 在其中的一實施例，所述主線程處理單元向所述分線程處理單元發(fā)送圖像采集請 求，所述分線程處理單元根據(jù)所述圖像采集請求進行圖像采集操作。
[0021] 在其中的一實施例，所述手持式閱覽設備為類似于放大鏡的外部輪廓，包括一圓 形本體和一握持部，所述圓形本體裝設具有觸控功能的所述液晶屏幕，且所述圓形本體與 所述握持部的連接處包括一控制按鍵。
[0022] 在其中的一實施例，所述液晶屏幕的觸控功能通過電阻式、電容式、紅外線掃描式 或紅外線圖像感測式觸控傳感器來實現(xiàn)觸控操作。
[0023] 在其中的一實施例，所述圓形本體的頂端正中位置包括一第二攝像頭和一麥克 風，所述第二攝像頭用于采集所述液晶屏幕一側(cè)的現(xiàn)實場景，所述麥克風用于接收用戶的 語首受互?目息。
[0024] 在其中的一實施例，所述第一攝像頭位于所述圓形本體的、與所述液晶屏幕相對 的另一側(cè)，用于采集和捕捉該側(cè)的現(xiàn)實場景，所述第一攝像頭為電荷耦合組件影像傳感器 或互補式金屬氧化物半導體影像傳感器。
[0025] 在其中的一實施例，所述圓形本體的側(cè)面還包括一功能按鍵，用于所述手持式閱 覽設備的不同功能之間進行切換。
[0026] 在其中的一實施例，所述手持式閱覽設備還包括亮度傳感器和輔助背光源，所述 亮度傳感器用于檢測所述手持式閱覽設備的環(huán)境光強度，所述輔助背光源在所述環(huán)境光強 度不足時提供輔助背光。
[0027] 依據(jù)本發(fā)明的另一個方面，提供了一種基于增強現(xiàn)實技術的手持式閱覽方法，包 括以下步驟：
[0028] 視頻采集單元透過第一攝像頭捕捉現(xiàn)實場景；
[0029] 智能計算終端對所述現(xiàn)實場景中的二維碼進行識別，得到相應的碼值信息和空間 位置信息；
[0030] 根據(jù)所述空間位置信息放置預設的虛擬場景，并生成所述現(xiàn)實場景和所述虛擬場 景混合后的閱覽畫面；
[0031] 語音輸出單元透過揚聲器輸出與所述虛擬場景相對應的語音信息；以及
[0032] 呈圓形狀的液晶屏幕顯示所述智能計算終端生成的所述閱覽畫面。
[0033] 在其中的一實施例，該手持式閱覽方法還包括步驟：當移動所述手持式閱覽設備 時，所述現(xiàn)實場景中的二維碼發(fā)生移動，所述智能計算終端根據(jù)移動的二維碼來控制所述 虛擬場景中的畫面移動，所述液晶屏幕輸出所述手持式閱覽設備移動后的動態(tài)閱覽畫面。 [0034] 在其中的一實施例，該手持式閱覽方法還包括步驟：對當前幀之前的若干二維碼 所對應的碼值信息和空間位置信息進行備份，并對所述虛擬場景中的三維物體運動驅(qū)動進 行相應幀數(shù)的延遲，以預留二維碼識別所需的處理時間。
[0035] 在其中的一實施例，所述虛擬場景中的三維物體的瞬時位置由所備份的若干二維 碼的空間位置信息進行插值得到。
[0036] 在其中的一實施例，所述智能計算終端包括：網(wǎng)絡接口，用于獲取來自互聯(lián)網(wǎng)的多 個增強現(xiàn)實應用，并根據(jù)用戶需求選擇一個增強現(xiàn)實應用予以執(zhí)行；以及二維碼識別單元， 當用戶將所述現(xiàn)實場景中的二維碼移動至所述第一攝像頭的拍攝范圍內(nèi)時，所述二維碼識 別單元自動跟蹤和識別所述二維碼，得到所述碼值信息和所述空間位置信息。
[0037] 在其中的一實施例，所述智能計算終端還包括：虛擬場景生成單元，用于根據(jù)來自 所述二維碼識別單元的空間位置信息，查詢到相匹配的虛擬場景，以及虛擬實時渲染單元， 用于對查詢得到的虛擬場景進行實時繪制，并將繪制后的所述虛擬場景與所述現(xiàn)實場景混 合顯示于所述液晶屏幕。
[0038] 在其中的一實施例，所述智能計算終端還包括：交互單元，用于識別人臉或人手的 交互操作，并根據(jù)所述交互操作來獲得所述現(xiàn)實場景中隱含的三維信息，從而使所述三維 信息與所述虛擬場景中的三維物體進行直接交互。
[0039] 在其中的一實施例，該手持式閱覽方法還包括主線程和多個分線程，其中主線程 用于運行所述智能計算終端處理過程中所進行的程序邏輯操作和渲染操作，分線程用于執(zhí) 行圖像采集操作，并將圖像采集結(jié)果傳回所述主線程處理單元。
[0040] 在其中的一實施例，所述增強現(xiàn)實應用包括圖書、識字卡、科技館或博物館中的物 體和環(huán)境影像。
[0041] 依據(jù)本發(fā)明的再一個方面，提供了一種基于增強現(xiàn)實技術的手持式閱覽設備，包 括：
[0042] -圓形本體，具有相對設置的一正面和一背面，所述圓形本體的正面設有一液晶 屏幕、一第二攝像頭和一麥克風，所述圓形本體的背面設置一第一攝像頭和一揚聲器；以及 [0043] 一握持部，與所述圓形本體相連接，用于抓握所述手持式閱覽設備，
[0044] 其中，所述手持式閱覽設備對所述第一攝像頭采集的現(xiàn)實場景進行三維虛擬場景 的渲染，并透過所述液晶屏幕顯示所述現(xiàn)實場景和所述虛擬場景混合后的閱覽畫面。
[0045] 在其中的一實施例，所述液晶屏幕具有觸控功能，且通過電阻式、電容式、紅外線 掃描式或紅外線圖像感測式觸控傳感器來實現(xiàn)觸控操作。
[0046] 在其中的一實施例，第二攝像頭和所述麥克風位于所述圓形本體的頂端的正中位 置，所述第二攝像頭用于采集所述圓形本體正面?zhèn)鹊默F(xiàn)實場景，所述麥克風用于接收用戶 的語音交互信息。
[0047] 在其中的一實施例，所述第一攝像頭用于采集和捕捉所述圓形本體背面?zhèn)鹊默F(xiàn)實 場景，所述第一攝像頭為電荷耦合組件影像傳感器或互補式金屬氧化物半導體影像傳感 器。
[0048] 在其中的一實施例，所述圓形本體的側(cè)面還包括一功能按鍵，用于所述手持式閱 覽設備的不同功能之間進行切換。
[0049] 在其中的一實施例，所述圓形本體與所述握持部的連接處還包括一控制按鍵。
[0050] 在其中的一實施例，所述手持式閱覽設備還包括亮度傳感器和輔助背光源，所述 亮度傳感器用于檢測所述手持式閱覽設備的環(huán)境光強度，所述輔助背光源在所述環(huán)境光強 度不足時提供輔助背光。
[0051] 采用本發(fā)明的手持式閱覽設備及其方法，視頻采集單元透過第一攝像頭捕捉現(xiàn) 實場景，智能計算終端對現(xiàn)實場景中的二維碼進行識別以得到碼值信息和空間位置信息， 然后根據(jù)空間位置信息放置預設的虛擬場景，并生成現(xiàn)實場景和虛擬場景混合后的閱覽畫 面，呈圓形狀的液晶屏幕用來顯示來自智能計算終端生成的閱覽畫面。相比于現(xiàn)有技術，本 發(fā)明利用智能計算終端生成一種與現(xiàn)實場景高度匹配的、具有逼真的視覺、聽覺、觸覺、力 度感和動感等的虛擬環(huán)境，可實現(xiàn)用戶和虛擬三維環(huán)境直接進行交互。如此一來，小朋友在 學習過程中很容易將語言學習、圖像認知和三維數(shù)字模型自然地聯(lián)系到一起，增強了更多 維度的感官刺激，提升了學習效率，寓教于樂。

【專利附圖】

【附圖說明】
[0052] 讀者在參照附圖閱讀了本發(fā)明的【具體實施方式】以后，將會更清楚地了解本發(fā)明的 各個方面。其中，
[0053] 圖1(a)?圖1(c)示出依據(jù)本發(fā)明的一實施方式，基于增強現(xiàn)實技術的手持式閱 覽設備的外部輪廓示意圖；
[0054] 圖2示出依據(jù)本發(fā)明的另一實施方式，基于增強現(xiàn)實技術的手持式閱覽設備的結(jié) 構組成示意圖；
[0055] 圖3示出圖2的手持式閱覽設備的智能計算終端的一具體實施例；
[0056] 圖4示出采用圖3的手持式閱覽設備來實現(xiàn)增強現(xiàn)實的閱覽畫面的流程框圖；
[0057] 圖5示出圖2的手持式閱覽設備的智能計算終端的另一具體實施例；
[0058] 圖6示出依據(jù)本發(fā)明的再一實施方式，基于增強現(xiàn)實技術的手持式閱覽方法的流 程框圖；
[0059] 圖7示出采用圖6的手持式閱覽方法的第一實施例的增強現(xiàn)實效果示意圖；
[0060] 圖8示出采用圖6的手持式閱覽方法的第二實施例的增強現(xiàn)實效果示意圖； [0061] 圖9示出采用圖6的手持式閱覽方法的第三實施例的增強現(xiàn)實效果示意圖；以及
[0062] 圖10示出采用圖6的手持式閱覽方法的第四實施例的增強現(xiàn)實效果示意圖。

【具體實施方式】
[0063] 為了使本申請所揭示的技術內(nèi)容更加詳盡與完備，可參照附圖以及本發(fā)明的下述 各種具體實施例，附圖中相同的標記代表相同或相似的組件。然而，本領域的普通技術人員 應當理解，下文中所提供的實施例并非用來限制本發(fā)明所涵蓋的范圍。此外，附圖僅僅用于 示意性地加以說明，并未依照其原尺寸進行繪制。
[0064] 下面參照附圖，對本發(fā)明各個方面的【具體實施方式】作進一步的詳細描述。
[0065] 圖1(a)?圖1(c)示出依據(jù)本發(fā)明的一實施方式，基于增強現(xiàn)實技術的手持式閱 覽設備的外部輪廓示意圖。其中，圖1 (a)為設備的主視圖，圖1 (b)為設備的后視圖，圖1 (c) 為設備的側(cè)視圖。
[0066] 參照圖1(a)?圖1(c)，本發(fā)明基于增強現(xiàn)實技術的手持式閱覽設備為類似于放 大鏡的外部輪廓，包括圓形本體和握持部4。該握持部4專門設計為符合兒童生理學且便于 手持抓握的造型。
[0067] 詳細地，圓形本體的正面設有液晶屏幕1、第二攝像頭和麥克風2。在此，圓形液晶 屏幕可給用戶帶來"以小見大"和"以少見多"的直觀感受。這是因為，矩形屏幕適合向?qū)?而廣的場景發(fā)展，而圓形屏幕適合往近而深的場景發(fā)掘。相對于傳統(tǒng)的矩形屏幕，圓形屏幕 的邊角無法捉摸，角度可有可無，從而使其在傳感器的作用下能夠始終呈現(xiàn)正視角界面。例 如，第二攝像頭和麥克風2位于本體頂端的正中位置，第二攝像頭（也可稱為"前攝像頭"） 采集本體正面?zhèn)鹊默F(xiàn)實場景，麥克風接收用戶的語音交互信息。圓形本體的背面設置高清 晰度的第一攝像頭（也可稱為"主攝像頭"）5和揚聲器6。握持部4與圓形本體相連接，用 于用戶尤其是兒童抓握該閱覽設備。其中該手持式閱覽設備對第一攝像頭5采集的現(xiàn)實場 景進行三維虛擬場景的渲染，并透過液晶屏幕1顯示現(xiàn)實場景和虛擬場景混合后的閱覽畫 面。
[0068] 在一具體實施例，液晶屏幕1具有觸控功能，且通過電阻式、電容式、紅外線掃描 式或紅外線圖像感測式觸控傳感器來實現(xiàn)相應的觸控操作。
[0069] 在一具體實施例，第一攝像頭5采集和捕捉圓形本體背面?zhèn)鹊默F(xiàn)實場景，例如，第 一攝像頭5為電荷耦合組件（CCD)影像傳感器或互補式金屬氧化物半導體（CMOS)影像傳 感器。
[0070] 此外，在圓形本體的側(cè)面還包括一功能按鍵7,用于在手持式閱覽設備的不同功能 之間進行切換。較佳地，還可在圓形本體與握持部4的連接處還包括一控制按鍵3。
[0071] 此外，為便于設備在任何光線條件下都可進行閱讀瀏覽，本發(fā)明還可包括亮度傳 感器和輔助背光源（圖中未示出）。利用亮度傳感器來檢測設備的環(huán)境光強度，并且使用輔 助背光源在環(huán)境光強度不足時提供輔助背光。
[0072] 圖2示出依據(jù)本發(fā)明的另一實施方式，基于增強現(xiàn)實技術的手持式閱覽設備的結(jié) 構組成示意圖。參照圖2,在該實施方式中，本發(fā)明的手持式閱覽設備包括一視頻采集單元 10、一智能計算終端12、一語音輸出單元14和一液晶屏幕16。
[0073] 具體而言，視頻采集單元10用于透過第一攝像頭（諸如圖1的主攝像頭5)捕捉 現(xiàn)實場景。智能計算終端12與視頻采集單元10相耦接，用于對所捕捉的現(xiàn)實場景中的二 維碼進行識別，得到與二維碼相對應的碼值信息和空間位置信息，然后根據(jù)空間位置信息 放置預設的匹配虛擬場景，并生成現(xiàn)實場景和虛擬場景混合后的閱覽畫面。語音輸出單元 14與智能計算終端12相耦接，用于透過揚聲器（諸如圖1的揚聲器6)輸出與虛擬場景相 對應的語音信息。液晶屏幕1呈圓形，其與智能計算終端12相耦接，用于顯示來自智能計 算終端12生成的閱覽畫面。
[0074] 在一具體實施例，當閱覽用戶尤其是兒童移動手持式閱覽設備時，現(xiàn)實場景中的 二維碼發(fā)生移動，智能計算終端12根據(jù)移動的二維碼來控制虛擬場景中的畫面移動，液晶 屏幕1輸出手持式閱覽設備移動后的動態(tài)閱覽畫面。
[0075] 此外，當避免二維碼的移動速度過快或偏離第一攝像頭的拍攝角度過大時從而導 致二維碼識別瞬時失敗，進而造成與其關聯(lián)的三維虛擬物體的顯示發(fā)生卡頓現(xiàn)象，本發(fā)明 的智能計算終端12還包括緩沖單元121。緩沖單元121用于對當前幀之前的若干個二維碼 所對應的碼值信息和空間位置信息進行備份和緩存，并對虛擬場景中的三維虛擬物體運動 驅(qū)動進行相應幀數(shù)的延遲，以預留二維碼識別所需的處理時間。例如，虛擬場景中的三維虛 擬物體的瞬時位置由所備份的若干二維碼的空間位置信息進行插值得到，以大幅提高虛擬 物體移動的平滑性。
[0076] 圖3示出圖2的手持式閱覽設備的智能計算終端的一具體實施例。參照圖3,在該 實施例中，智能計算終端12還包括網(wǎng)絡接口（圖中未示出）、二維碼識別單元123、虛擬場 景生成單元125和虛擬實時渲染單元127。
[0077] 其中，網(wǎng)絡接口用于獲取來自互聯(lián)網(wǎng)的多個增強現(xiàn)實應用，并根據(jù)用戶需求選擇 一個增強現(xiàn)實應用予以執(zhí)行。當用戶將現(xiàn)實場景中的二維碼移動至第一攝像頭的拍攝范圍 內(nèi)時，二維碼識別單元123用于自動跟蹤和識別二維碼，并得到相對應的碼值信息和空間 位置信息。虛擬場景生成單元125與二維碼識別單元123相耦接，用于根據(jù)來自二維碼識別 單元123的空間位置信息，查詢到相匹配的虛擬場景。虛擬實時渲染單元127用于對查詢 得到的虛擬場景進行實時繪制，并將繪制后的虛擬場景與現(xiàn)實場景混合顯示于液晶屏幕。
[0078] 在一具體實施例，智能計算終端12還包括交互單元129,用于識別人臉或人手的 交互操作，并根據(jù)交互操作來獲得現(xiàn)實場景中隱含的三維信息，從而使三維信息與虛擬場 景中的三維物體進行直接交互，提高設備的互動娛樂性。例如，上述現(xiàn)實場景包括圖書、識 字卡、科技館或博物館中的物體和環(huán)境影像。
[0079] 此外，該手持式閱覽設備還可包括一存儲單元（圖中未示出），用于存儲與增強現(xiàn) 實應用相對應的虛擬場景數(shù)據(jù)，從而實現(xiàn)設備在離線狀態(tài)下的增強現(xiàn)實體驗。
[0080] 圖4示出采用圖3的手持式閱覽設備來實現(xiàn)增強現(xiàn)實的閱覽畫面的流程框圖。
[0081] 結(jié)合圖4和圖3,首先執(zhí)行步驟S101和S103,用戶通過互聯(lián)網(wǎng)獲取多個增強現(xiàn)實 應用，并啟動其中的一個應用。在步驟S105和S107中，第一攝像頭開始視頻采集和捕捉，將 采集和捕捉到的現(xiàn)實場景顯示在屏幕上，用戶在第一攝像頭拍攝范圍內(nèi)自由移動該現(xiàn)實場 景的二維碼。接著，對二維碼進行自動跟蹤和識別，如步驟S109所示。最后執(zhí)行步驟S111， 系統(tǒng)將二維碼對應的三維虛擬物體渲染并顯示在液晶屏幕上。此外，用戶還可通過交互提 供現(xiàn)實場景隱含的三維信息，使其與虛擬三維物體直接交互。
[0082] 圖5示出圖2的手持式閱覽設備的智能計算終端的另一具體實施例。參照圖5,在 該實施例中，智能計算終端12還包括主線程（main thread)處理單元131和分線程處理單 元133。主線程處理單元131用于運行智能計算終端12所進行的程序邏輯操作和渲染操 作。多個分線程處理單元133用于執(zhí)行圖像采集操作，并將圖像采集結(jié)果傳回主線程處理 單元131。例如，主線程處理單元131向分線程處理單元133首先發(fā)送圖像采集請求，分線 程處理單元133根據(jù)該圖像采集請求進行圖像采集操作，并將圖像采集結(jié)構送回主線程處 理單元131進行后續(xù)處理。
[0083] 圖6示出依據(jù)本發(fā)明的再一實施方式，基于增強現(xiàn)實技術的手持式閱覽方法的流 程框圖。
[0084] 結(jié)合圖6和圖2,在該閱覽方法中，首先執(zhí)行步驟S21，由視頻采集單元10透過第 一攝像頭捕捉現(xiàn)實場景。然后執(zhí)行步驟S23和S25,智能計算終端12對所捕捉的現(xiàn)實場景 中的二維碼進行識別，得到相應的碼值信息和空間位置信息。然后根據(jù)空間位置信息放置 預設的虛擬場景，并生成現(xiàn)實場景和虛擬場景混合后的閱覽畫面。接著在步驟S27中，語音 輸出單元14透過揚聲器輸出與虛擬場景相對應的語音信息。最后執(zhí)行步驟S29,呈圓形狀 的液晶屏幕16顯示智能計算終端12生成的閱覽畫面。
[0085] 在一具體實施例，該手持式閱覽方法還包括步驟：當移動手持式閱覽設備時，現(xiàn) 實場景中的二維碼發(fā)生移動，智能計算終端根據(jù)移動的二維碼來控制虛擬場景中的畫面移 動，液晶屏幕輸出手持式閱覽設備移動后的動態(tài)閱覽畫面。
[0086] 在一具體實施例，該手持式閱覽方法還包括步驟：對當前幀之前的若干二維碼所 對應的碼值信息和空間位置信息進行備份，并對虛擬場景中的三維物體運動驅(qū)動進行相應 幀數(shù)的延遲，以預留二維碼識別所需的處理時間。例如，虛擬場景中的三維物體的瞬時位置 由所備份的若干二維碼的空間位置信息進行插值得到。
[0087] 圖7示出采用圖6的手持式閱覽方法的第一實施例的增強現(xiàn)實效果示意圖。
[0088] 在圖7中，用戶將手持式閱覽設備對著博物館的名畫時，設備的主攝像頭捕捉該 名畫，并將預先設好的虛擬三維動畫與現(xiàn)實物體進行混合，最終在圓形屏幕11上能夠看到 的畫面效果是名畫從原本現(xiàn)實場景中的靜態(tài)畫面開始轉(zhuǎn)化為混合后的動態(tài)畫面。
[0089] 圖8示出采用圖6的手持式閱覽方法的第二實施例的增強現(xiàn)實效果示意圖。
[0090] 在圖8中，用戶將手持式閱覽設備對準地球儀上的某一地區(qū)時（如埃及），設備的 主攝像頭22開始捕捉，并將預先設好的三維虛擬動畫投射在地球儀上，最終在圓形屏幕21 上呈現(xiàn)的效果是，該地區(qū)上空浮現(xiàn)該國家的特色動畫（如金字塔和獅身人面像）。例如，孩 子拿起這個"科學放大魔鏡"（即，手持式閱覽設備）對準地球儀的某個國家板塊，圓形屏幕 上呈現(xiàn)的畫面效果是，地球儀上站著穿該國傳統(tǒng)服裝的三維人物及其它信息的圖像，諸如 著名建筑、歷史人文等，這些不同類型的圖像可通過按鍵切換。
[0091] 圖9示出采用圖6的手持式閱覽方法的第三實施例的增強現(xiàn)實效果示意圖。
[0092] 在圖9中，用戶將手持式閱覽設備對準書本或卡片，設備的攝像頭31開始工作，并 將三維虛擬圖像32投射在書本上，最終在圓形屏幕上可以看到書本上出現(xiàn)由現(xiàn)實場景和 虛擬場景混合而成的三維立體畫面。
[0093] 圖10示出采用圖6的手持式閱覽方法的第四實施例的增強現(xiàn)實效果示意圖。
[0094] 在圖10中，用戶將手持式閱覽設備對準現(xiàn)實場景的一輛玩具坦克，設備的攝像頭 開始工作，經(jīng)過設備中的智能計算終端處理后，最終可在圓形屏幕里看到的畫面效果是，坦 克邊上有外星飛船正在攻擊它，孩子可用該設備與坦克進行互動并操作坦克，通過增強現(xiàn) 實技術實現(xiàn)虛擬和現(xiàn)實的結(jié)合，只見坦克炮管移動開火，把攻擊它的外星飛船一一擊落。 [0095] 采用本發(fā)明的手持式閱覽設備及其方法，視頻采集單元透過第一攝像頭捕捉現(xiàn) 實場景，智能計算終端對現(xiàn)實場景中的二維碼進行識別以得到碼值信息和空間位置信息， 然后根據(jù)空間位置信息放置預設的虛擬場景，并生成現(xiàn)實場景和虛擬場景混合后的閱覽畫 面，呈圓形狀的液晶屏幕用來顯示來自智能計算終端生成的閱覽畫面。相比于現(xiàn)有技術，本 發(fā)明利用智能計算終端生成一種與現(xiàn)實場景高度匹配的、具有逼真的視覺、聽覺、觸覺、力 度感和動感等的虛擬環(huán)境，可實現(xiàn)用戶和虛擬三維環(huán)境直接進行交互。如此一來，小朋友在 學習過程中很容易將語言學習、圖像認知和三維數(shù)字模型自然地聯(lián)系到一起，增強了更多 維度的感官刺激，提升了學習效率，寓教于樂。
[〇〇96] 上文中，參照附圖描述了本發(fā)明的【具體實施方式】。但是，本領域中的普通技術人員 能夠理解，在不偏離本發(fā)明的精神和范圍的情況下，還可以對本發(fā)明的【具體實施方式】作各 種變更和替換。這些變更和替換都落在本發(fā)明權利要求書所限定的范圍內(nèi)。
【權利要求】
1. 一種基于增強現(xiàn)實（Augmented Reality，AR)技術的手持式閱覽設備，其特征在于， 該手持式閱覽設備還包括： 視頻采集單元，用于透過第一攝像頭捕捉現(xiàn)實場景； 智能計算終端，用于對所述現(xiàn)實場景中的二維碼進行識別，得到相應的碼值信息和空 間位置信息，然后根據(jù)所述空間位置信息放置預設的虛擬場景，并生成所述現(xiàn)實場景和所 述虛擬場景混合后的閱覽畫面； 語音輸出單元，用于透過揚聲器輸出與所述虛擬場景相對應的語音信息；以及 液晶屏幕，呈圓形形狀，用于顯示所述智能計算終端生成的所述閱覽畫面。
2. 根據(jù)權利要求1所述的手持式閱覽設備，其特征在于，當移動所述手持式閱覽設備 時，所述現(xiàn)實場景中的二維碼發(fā)生移動，所述智能計算終端根據(jù)移動的二維碼來控制所述 虛擬場景中的畫面移動，所述液晶屏幕輸出所述手持式閱覽設備移動后的動態(tài)閱覽畫面。
3. 根據(jù)權利要求2所述的手持式閱覽設備，其特征在于，所述智能計算終端還包括： 緩沖單元，用于對當前幀之前的若干二維碼所對應的碼值信息和空間位置信息進行備 份，并對所述虛擬場景中的三維物體運動驅(qū)動進行相應幀數(shù)的延遲，以預留二維碼識別所 需的處理時間。
4. 根據(jù)權利要求3所述的手持式閱覽設備，其特征在于，所述虛擬場景中的三維物體 的瞬時位置由所備份的若干二維碼的空間位置信息進行插值得到。
5. 根據(jù)權利要求1所述的手持式閱覽設備，其特征在于，所述智能計算終端包括： 網(wǎng)絡接口，用于獲取來自互聯(lián)網(wǎng)的多個增強現(xiàn)實應用，并根據(jù)用戶需求選擇一個增強 現(xiàn)實應用予以執(zhí)行；以及 二維碼識別單元，當用戶將所述現(xiàn)實場景中的二維碼移動至所述第一攝像頭的拍攝范 圍內(nèi)時，所述二維碼識別單元自動跟蹤和識別所述二維碼，得到所述碼值信息和所述空間 位置信息。
6. 根據(jù)權利要求5所述的手持式閱覽設備，其特征在于，所述智能計算終端還包括： 虛擬場景生成單元，用于根據(jù)來自所述二維碼識別單元的空間位置信息，查詢到相匹 配的虛擬場景，以及 虛擬實時渲染單元，用于對查詢得到的虛擬場景進行實時繪制，并將繪制后的所述虛 擬場景與所述現(xiàn)實場景混合顯示于所述液晶屏幕。
7. 根據(jù)權利要求6所述的手持式閱覽設備，其特征在于，所述智能計算終端還包括： 交互單元，用于識別人臉或人手的交互操作，并根據(jù)所述交互操作來獲得所述現(xiàn)實場 景中隱含的三維信息，從而使所述三維信息與所述虛擬場景中的三維物體進行直接交互。
8. 根據(jù)權利要求1所述的手持式閱覽設備，其特征在于，所述現(xiàn)實場景包括圖書、識字 卡、科技館或博物館中的物體和環(huán)境影像。
9. 根據(jù)權利要求8所述的手持式閱覽設備，其特征在于，所述手持式閱覽設備還包括 一存儲單元，用于存儲與所述增強現(xiàn)實應用相對應的虛擬場景數(shù)據(jù)。
10. 根據(jù)權利要求1所述的手持式閱覽設備，其特征在于，所述智能計算終端還包括： 主線程處理單元，用于運行所述智能計算終端所進行的程序邏輯操作和渲染操作；以 及 多個分線程處理單元，用于執(zhí)行圖像采集操作，并將圖像采集結(jié)果傳回所述主線程處 理單元。
11. 根據(jù)權利要求10所述的手持式閱覽設備，其特征在于，所述主線程處理單元向所 述分線程處理單元發(fā)送圖像采集請求，所述分線程處理單元根據(jù)所述圖像采集請求進行圖 像采集操作。
12. 根據(jù)權利要求1所述的手持式閱覽設備，其特征在于，所述手持式閱覽設備為類似 于放大鏡的外部輪廓，包括一圓形本體和一握持部，所述圓形本體裝設具有觸控功能的所 述液晶屏幕，且所述圓形本體與所述握持部的連接處包括一控制按鍵。
13. 根據(jù)權利要求12所述的手持式閱覽設備，其特征在于，所述液晶屏幕的觸控功能 通過電阻式、電容式、紅外線掃描式或紅外線圖像感測式觸控傳感器來實現(xiàn)觸控操作。
14. 根據(jù)權利要求12所述的手持式閱覽設備，其特征在于，所述圓形本體的頂端正中 位置包括一第二攝像頭和一麥克風，所述第二攝像頭用于采集所述液晶屏幕一側(cè)的現(xiàn)實場 景，所述麥克風用于接收用戶的語音交互信息。
15. 根據(jù)權利要求12所述的手持式閱覽設備，其特征在于，所述第一攝像頭位于所述 圓形本體的、與所述液晶屏幕相對的另一側(cè)，用于采集和捕捉該側(cè)的現(xiàn)實場景，所述第一攝 像頭為電荷耦合組件（CCD)影像傳感器或互補式金屬氧化物半導體（CMOS)影像傳感器。
16. 根據(jù)權利要求12所述的手持式閱覽設備，其特征在于，所述圓形本體的側(cè)面還包 括一功能按鍵，用于所述手持式閱覽設備的不同功能之間進行切換。
17. 根據(jù)權利要求1所述的手持式閱覽設備，其特征在于，所述手持式閱覽設備還包括 亮度傳感器和輔助背光源， 所述亮度傳感器用于檢測所述手持式閱覽設備的環(huán)境光強度，所述輔助背光源在所述 環(huán)境光強度不足時提供輔助背光。
18. -種基于增強現(xiàn)實（Augmented Reality，AR)技術的手持式閱覽方法，其特征在 于，該手持式閱覽方法包括以下步驟： 視頻采集單元透過第一攝像頭捕捉現(xiàn)實場景； 智能計算終端對所述現(xiàn)實場景中的二維碼進行識別，得到相應的碼值信息和空間位置 信息； 根據(jù)所述空間位置信息放置預設的虛擬場景，并生成所述現(xiàn)實場景和所述虛擬場景混 合后的閱覽畫面； 語音輸出單元透過揚聲器輸出與所述虛擬場景相對應的語音信息；以及 呈圓形狀的液晶屏幕顯示所述智能計算終端生成的所述閱覽畫面。
19. 根據(jù)權利要求18所述的手持式閱覽方法，其特征在于，該手持式閱覽方法還包括 步驟：當移動所述手持式閱覽設備時，所述現(xiàn)實場景中的二維碼發(fā)生移動，所述智能計算終 端根據(jù)移動的二維碼來控制所述虛擬場景中的畫面移動，所述液晶屏幕輸出所述手持式閱 覽設備移動后的動態(tài)閱覽畫面。
20. 根據(jù)權利要求19所述的手持式閱覽方法，其特征在于，該手持式閱覽方法還包括 步驟： 對當前幀之前的若干二維碼所對應的碼值信息和空間位置信息進行備份，并對所述虛 擬場景中的三維物體運動驅(qū)動進行相應幀數(shù)的延遲，以預留二維碼識別所需的處理時間。
21. 根據(jù)權利要求20所述的手持式閱覽方法，其特征在于，所述虛擬場景中的三維物 體的瞬時位置由所備份的若干二維碼的空間位置信息進行插值得到。
22. 根據(jù)權利要求18所述的手持式閱覽方法，其特征在于，所述智能計算終端包括： 網(wǎng)絡接口，用于獲取來自互聯(lián)網(wǎng)的多個增強現(xiàn)實應用，并根據(jù)用戶需求選擇一個增強 現(xiàn)實應用予以執(zhí)行；以及 二維碼識別單元，當用戶將所述現(xiàn)實場景中的二維碼移動至所述第一攝像頭的拍攝范 圍內(nèi)時，所述二維碼識別單元自動跟蹤和識別所述二維碼，得到所述碼值信息和所述空間 位置信息。
23. 根據(jù)權利要求22所述的手持式閱覽方法，其特征在于，所述智能計算終端還包括： 虛擬場景生成單元，用于根據(jù)來自所述二維碼識別單元的空間位置信息，查詢到相匹 配的虛擬場景，以及 虛擬實時渲染單元，用于對查詢得到的虛擬場景進行實時繪制，并將繪制后的所述虛 擬場景與所述現(xiàn)實場景混合顯示于所述液晶屏幕。
24. 根據(jù)權利要求23所述的手持式閱覽方法，其特征在于，所述智能計算終端還包括： 交互單元，用于識別人臉或人手的交互操作，并根據(jù)所述交互操作來獲得所述現(xiàn)實場 景中隱含的三維信息，從而使所述三維信息與所述虛擬場景中的三維物體進行直接交互。
25. 根據(jù)權利要求18所述的手持式閱覽方法，其特征在于，該手持式閱覽方法還包括 主線程和多個分線程，其中主線程用于運行所述智能計算終端處理過程中所進行的程序邏 輯操作和渲染操作，分線程用于執(zhí)行圖像采集操作，并將圖像采集結(jié)果傳回所述主線程處 理單元。
26. 根據(jù)權利要求18所述的手持式閱覽方法，其特征在于，所述現(xiàn)實場景包括圖書、識 字卡、科技館或博物館中的物體和環(huán)境影像。
27. -種基于增強現(xiàn)實（Augmented Reality，AR)技術的手持式閱覽設備，其特征在 于，該手持式閱覽設備包括： 一圓形本體，具有相對設置的一正面和一背面，所述圓形本體的正面設有一液晶屏幕、 一第二攝像頭和一麥克風，所述圓形本體的背面設置一第一攝像頭和一揚聲器；以及 一握持部，與所述圓形本體相連接，用于抓握所述手持式閱覽設備， 其中，所述手持式閱覽設備對所述第一攝像頭采集的現(xiàn)實場景進行三維虛擬場景的渲 染，并透過所述液晶屏幕顯示所述現(xiàn)實場景和所述虛擬場景混合后的閱覽畫面。
28. 根據(jù)權利要求27所述的手持式閱覽設備，其特征在于，所述液晶屏幕具有觸控功 能，且通過電阻式、電容式、紅外線掃描式或紅外線圖像感測式觸控傳感器來實現(xiàn)觸控操 作。
29. 根據(jù)權利要求27所述的手持式閱覽設備，其特征在于，所述第二攝像頭和所述麥 克風位于所述圓形本體的頂端的正中位置，所述第二攝像頭用于采集所述圓形本體正面?zhèn)?的現(xiàn)實場景，所述麥克風用于接收用戶的語音交互信息。
30. 根據(jù)權利要求27所述的手持式閱覽設備，其特征在于，所述第一攝像頭用于采集 和捕捉所述圓形本體背面?zhèn)鹊默F(xiàn)實場景，所述第一攝像頭為電荷耦合組件（CCD)影像傳感 器或互補式金屬氧化物半導體（CMOS)影像傳感器。
31. 根據(jù)權利要求27所述的手持式閱覽設備，其特征在于，所述圓形本體的側(cè)面還包 括一功能按鍵，用于所述手持式閱覽設備的不同功能之間進行切換。
32. 根據(jù)權利要求27所述的手持式閱覽設備，其特征在于，所述圓形本體與所述握持 部的連接處還包括一控制按鍵。
33. 根據(jù)權利要求27所述的手持式閱覽設備，其特征在于，所述手持式閱覽設備還包 括亮度傳感器和輔助背光源，所述亮度傳感器用于檢測所述手持式閱覽設備的環(huán)境光強 度，所述輔助背光源在所述環(huán)境光強度不足時提供輔助背光。
【文檔編號】G06F3/0484GK104102412SQ201410354263
【公開日】2014年10月15日 申請日期:2014年7月24日 優(yōu)先權日:2014年7月24日
【發(fā)明者】熊劍明 申請人:央數(shù)文化(上海)股份有限公司