全視角圖像顯示裝置制造方法
【專利摘要】本發(fā)明公開(kāi)的全視角圖像顯示裝置，圖像顯示設(shè)備包括設(shè)置在圖像顯示設(shè)備一側(cè)的瞳距調(diào)節(jié)機(jī)構(gòu)，還包括另一側(cè)的凹面鏡、凸透鏡以及透明連接件，凹面鏡緊鄰顯示設(shè)備設(shè)置，透明連接件將凸透鏡固定在凹面鏡上；圖像處理軟件將圖像處理分為分割與變換兩個(gè)步驟：將原始圖像分割為中心區(qū)域和外緣區(qū)域；中心區(qū)域的圖像經(jīng)過(guò)凸透鏡折射后進(jìn)入瞳孔，對(duì)應(yīng)視野舒適視域；將外緣部分的圖像經(jīng)由計(jì)算機(jī)進(jìn)行極坐標(biāo)反轉(zhuǎn)后，再通過(guò)凹面鏡進(jìn)入瞳孔。本發(fā)明的以凹面反射鏡和凸透鏡組合產(chǎn)生全視野圖像，擴(kuò)大了可視范圍，可實(shí)現(xiàn)230度在內(nèi)的極大視角，大大提高了虛擬現(xiàn)實(shí)的臨場(chǎng)感，設(shè)計(jì)完成后，結(jié)構(gòu)簡(jiǎn)單、裝配及制造難度低，便于大批量生產(chǎn)，降低成本。
【專利說(shuō)明】全視角圖像顯示裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種圖像顯示裝置，尤其涉及一種觀看全視角圖像的顯示裝置。

【背景技術(shù)】
[0002] 近年來(lái)，隨著CG技術(shù)（Computer Graphic,計(jì)算機(jī)圖形圖像技術(shù)）和計(jì)算機(jī)性能 的不斷提高，針對(duì)虛擬現(xiàn)實(shí)的顯示裝置日益受到人們的廣泛關(guān)注。其中，HMD (Head-Mounted Display，頭戴式顯不系統(tǒng)）相對(duì)于CAVE (Computer-Aid Virtual-reality Environment，計(jì) 算機(jī)輔助虛擬現(xiàn)實(shí)環(huán)境）及Full-Dome Projection (球幕投影）等大型設(shè)備而言，造價(jià)低 廉且實(shí)施方便，更適合小型單位和個(gè)人使用。加之虛擬漫游、電腦游戲等交互媒體的日趨發(fā) 展，具備姿勢(shì)感應(yīng)，3D立體顯示功能的頭戴式顯示系統(tǒng)發(fā)展前景十分廣闊。
[0003] 由于結(jié)構(gòu)限制，現(xiàn)有頭戴式顯示系統(tǒng)無(wú)法復(fù)原人類視域范圍的全部圖像，視角較 為狹窄。如日本索尼公司的HMZ-T1顯示器，水平可視角度僅為30度左右；美國(guó)Silicon Micro Display公司的ST1080顯示器，水平可視角度約為45度；而美國(guó)Oculus公司的 Oculus Rift顯示器，水平可視角度約為90度。據(jù)測(cè)算，人類雙眼的水平視角疊加后約為 230度，要達(dá)到全視角的虛擬沉浸體驗(yàn)，必須將頭戴式顯示器的可視角度增加到180度以 上，形成虛擬的半球影像。
[0004] 而現(xiàn)有類似設(shè)備大多采用單一凸透鏡或透鏡組作為目鏡，如圖1所示，將LED、IXD 等顯示設(shè)備產(chǎn)生的原始圖像放大到更大尺寸，并矯正到明視距離，該結(jié)構(gòu)受限于目鏡的直 徑，無(wú)法顯示180度全視角的圖像。
[0005] 因此，現(xiàn)有技術(shù)存在缺陷，有待于進(jìn)一步改進(jìn)和發(fā)展。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于提供一種圖像顯示裝置，基于凸透鏡與凹面鏡的配合，通過(guò)光 學(xué)變換和相應(yīng)算法，將全景相機(jī)或計(jì)算機(jī)產(chǎn)生的全景圖分割為兩個(gè)部分，并分別針對(duì)其圖 像特征進(jìn)行變換，最終復(fù)原為全視角的自然圖像。
[0007] 本發(fā)明的技術(shù)方案如下： 全視角圖像顯示裝置，包括圖像顯示裝置，以及與所述圖像顯示裝置連接的計(jì)算機(jī)，其 中：所述圖像顯示裝置包括圖像顯示設(shè)備，設(shè)置在所述圖像顯示設(shè)備一側(cè)的瞳距調(diào)節(jié)機(jī)構(gòu)； 還包括設(shè)置在所述圖像顯示設(shè)備另一側(cè)的凹面鏡、凸透鏡以及透明連接件，所述凹面鏡緊 鄰所述顯示設(shè)備設(shè)置，所述透明連接件將所述凸透鏡固定在所述凹面鏡上； 所述計(jì)算機(jī)包括圖像處理軟件以及原始圖像數(shù)據(jù)；所述計(jì)算機(jī)連接所述圖像顯示設(shè) 備；所述原始圖像數(shù)據(jù)經(jīng)圖像處理軟件分割變換后，發(fā)送給所述圖像顯示設(shè)備； 左右眼可觀察圖像顯示設(shè)備顯示的具有視差的2張全景圖，在全視角范圍內(nèi)產(chǎn)生立體 感；所述凸透鏡對(duì)應(yīng)的視域?yàn)槭孢m視域，所述凹面鏡對(duì)應(yīng)的視域?yàn)檎T導(dǎo)視域； 所述圖像處理軟件保證外緣區(qū)域的圖像和凹面鏡的曲率嚴(yán)格匹配； 所述凹面鏡和凸透鏡的曲率針對(duì)原始圖像的特征指定進(jìn)行定制，以矯正全景圖在所述 凹面鏡和凸透鏡上的畸變； 所述圖像處理軟件將圖像處理分為分割與變換兩個(gè)步驟：第一步，將原始圖像分割為 中心區(qū)域和外緣區(qū)域；中心區(qū)域的圖像經(jīng)過(guò)凸透鏡折射后進(jìn)入瞳孔，對(duì)應(yīng)視野舒適視域； 第二步，將外緣部分的圖像經(jīng)由計(jì)算機(jī)進(jìn)行極坐標(biāo)反轉(zhuǎn)后，再通過(guò)凹面鏡進(jìn)入瞳孔，對(duì)應(yīng)視 野誘導(dǎo)視域。
[0008] 與現(xiàn)有技術(shù)相比，本發(fā)明提供了全視角圖像顯示裝置，在現(xiàn)有頭戴式顯示系統(tǒng)的 基礎(chǔ)上，增加了一組自由曲面反射鏡，即凹面鏡，將中央目鏡的盲區(qū)圖像加以利用，利用凸 透鏡的盲區(qū)，以凹面反射鏡和凸透鏡組合產(chǎn)生全視野圖像，擴(kuò)大了可視范圍，可實(shí)現(xiàn)230度 在內(nèi)的極大視角，大大提高了虛擬現(xiàn)實(shí)的臨場(chǎng)感。本發(fā)明通過(guò)光學(xué)變換和相應(yīng)算法，將全景 相機(jī)或計(jì)算機(jī)產(chǎn)生的全景圖分割為兩個(gè)部分，并分別針對(duì)其圖像特征進(jìn)行變換，最終復(fù)原 為全視角的自然圖像。本發(fā)明提供的全視角圖像顯示裝置設(shè)計(jì)完成后，結(jié)構(gòu)簡(jiǎn)單、裝配及制 造難度低，便于大批量生產(chǎn)，降低成本。

【專利附圖】

【附圖說(shuō)明】
[0009] 圖1為現(xiàn)有技術(shù)頭戴式顯示系統(tǒng)的顯示裝置結(jié)構(gòu)示意圖； 圖2為本發(fā)明圖像顯示裝置的分解結(jié)構(gòu)示意圖； 圖3為本發(fā)明圖像顯示裝置的組裝結(jié)構(gòu)示意圖； 圖4為本發(fā)明左右眼可觀察圖像顯示設(shè)備產(chǎn)生的舒適視域和誘導(dǎo)視域示意圖； 圖5本發(fā)明計(jì)算機(jī)和圖像顯示裝置的功能結(jié)構(gòu)示意圖； 圖6為本發(fā)明圖像處理軟件將原始圖像分割為中心區(qū)域和外緣區(qū)域的示意圖； 圖7為本發(fā)明凹面鏡反轉(zhuǎn)外緣區(qū)域的示意圖； 圖8為本發(fā)明凹面鏡一般曲率計(jì)算方法的原理示意圖； 圖9為本發(fā)明凹面鏡一般曲率計(jì)算方法中，&的計(jì)算原理示意圖； 圖10為本發(fā)明球面反射鏡全景圖計(jì)算原理示意圖； 圖11為本發(fā)明拋物面反射鏡全景圖計(jì)算原理示意圖； 圖12為本發(fā)明凸透鏡的一般曲率計(jì)算示意圖； 圖13為本發(fā)明凸透鏡的一般曲率計(jì)算過(guò)程中，Q計(jì)算原理圖。

【具體實(shí)施方式】
[0010] 下面結(jié)合附圖，對(duì)本發(fā)明的較佳實(shí)施例作進(jìn)一步詳細(xì)說(shuō)明。
[0011] 本發(fā)明的全視角圖像顯示裝置，其第一個(gè)優(yōu)選實(shí)施例，包括圖像顯示裝置，以及與 所述圖像顯示裝置連接的計(jì)算機(jī)8 ;所述圖像顯示裝置主要包括圖像顯示設(shè)備1，設(shè)置在所 述圖像顯示設(shè)備1 一側(cè)的瞳距調(diào)節(jié)機(jī)構(gòu)5 ;還包括設(shè)置在所述圖像顯示設(shè)備1另一側(cè)的凹 面鏡2,凸透鏡3以及透明連接件4,如圖2和圖3所示，所述凹面鏡2緊鄰所述顯示設(shè)備1 設(shè)置，所述透明連接件4將所述凸透鏡3固定在所述凹面鏡2上。
[0012] 本發(fā)明圖像顯示裝置適用于三維圖像的顯示，如圖4所示，左右眼可觀察圖像顯 示設(shè)備1顯示的具有視差的2張全景圖，在全視角范圍內(nèi)產(chǎn)生立體感。凸透鏡3對(duì)應(yīng)的視 域?yàn)槭孢m視域；凹面鏡2對(duì)應(yīng)的視域?yàn)檎T導(dǎo)視域。
[0013] 所述圖像顯示裝置的圖像顯示設(shè)備1為顯示器時(shí)，所述圖像顯示裝置通過(guò)圖像顯 示設(shè)備1接計(jì)算機(jī)8,如圖5所示。所述計(jì)算機(jī)包括圖像處理軟件以及原始圖像數(shù)據(jù)，所述 原始圖像指由相機(jī)或軟件生成的單個(gè)全景圖像、全景視頻或虛擬現(xiàn)實(shí)場(chǎng)景。所述計(jì)算機(jī)8 包括圖像渲染單元，圖像處理軟件及其連接的所述圖像顯示設(shè)備1。所述圖像渲染單元一般 為游戲引擎或虛擬現(xiàn)實(shí)軟件，所述圖像渲染單元經(jīng)由圖像變換處理后，將視頻信號(hào)傳輸給 所述圖像顯示設(shè)備1。原始圖像可包括靜幀畫(huà)面、視頻影像或交互圖像，如照片、視頻、游戲 等。所述圖像渲染單元的原始圖像一般通過(guò)全景相機(jī)、全景攝像機(jī)，或由游戲引擎、虛擬現(xiàn) 實(shí)軟件渲染生成后經(jīng)過(guò)圖像處理軟件發(fā)送給所述圖像顯示設(shè)備1。
[0014] 所述計(jì)算機(jī)8還包括與所述圖像渲染單元連接的圖像處理軟件，所述圖像處理軟 件連接所述圖像顯示設(shè)備1。所述圖像處理軟件將圖像處理分為分割與變換兩個(gè)步驟：第 一步，將原始圖像分割為中心區(qū)域6和外緣區(qū)域7兩個(gè)部分，如圖6所示；中心區(qū)域6的圖 像將通過(guò)凸透鏡3折射后進(jìn)入瞳孔，對(duì)應(yīng)視野舒適視域。第二步，由于凹面鏡2反轉(zhuǎn)了外緣 區(qū)域7的圖像，因此外緣區(qū)域7部分圖像需經(jīng)由計(jì)算機(jī)進(jìn)行如圖7所示的極坐標(biāo)反轉(zhuǎn)。本 發(fā)明計(jì)算機(jī)的圖像處理軟件可保證凹面鏡2的曲率和外緣區(qū)域7的圖像嚴(yán)格匹配。這樣， 最終進(jìn)入視網(wǎng)膜的圖像將被拼接為無(wú)反轉(zhuǎn)、畸變小、視差小的全視角場(chǎng)景。
[0015] 所述凹面鏡2為表面光滑的反射鏡，其形狀近似于拋物面，材料為合金或者表面 鍍金屬的高分子材料。根據(jù)原始圖像的特征，凹面鏡2的反射曲面必須針對(duì)該特征所定制， 其曲率根據(jù)圖像特征而有所區(qū)別。例如球面反射鏡、雙曲面反射鏡、拋物面反射鏡所生成的 全景圖像畸變系數(shù)不同，對(duì)應(yīng)的凹面鏡2的曲率也相應(yīng)變化，如果圖像由計(jì)算機(jī)生成，也 可根據(jù)其特征定制曲率。本發(fā)明提出了計(jì)算該凹面鏡2曲率的通用方法。
[0016] 根據(jù)原始圖像獲取的特征，凸透鏡3是針對(duì)該特征所定制的玻璃或高分子材料透 鏡，其曲率根據(jù)原始圖像的特征而有所區(qū)別。本發(fā)明同時(shí)提出了計(jì)算凸透鏡3曲率的通用 方法。
[0017] 所述圖像顯示裝置裝配時(shí)，如圖3所示，圖像的外緣區(qū)域7需恰好被凸透鏡3的盲 區(qū)所遮擋，同時(shí)又能夠被凹面鏡2所反射。為了防止畸變，凹面鏡2的成像需銜接凸透鏡3 的成像。如圖3所示，位于圖像中心區(qū)域6的A點(diǎn)，其虛像位于A'點(diǎn)；位于外緣區(qū)域7的D 點(diǎn)，其虛像位于D'點(diǎn)；而位于區(qū)域交界線內(nèi)外側(cè)的B點(diǎn)和C點(diǎn)，其虛像分別位于為B'點(diǎn)和 C'點(diǎn)。凹面鏡2的內(nèi)邊緣和凸透鏡3的外邊緣重合，位于B'點(diǎn)和人眼的連接線上，或略有 重合，以保證成像無(wú)縫銜接。
[0018] 所述連接件4是由透明材料制成的薄厚均勻的元件，用于連接凹面鏡2與凸透鏡 3〇
[0019] 所述全視角圖像顯示裝置的第二個(gè)優(yōu)選實(shí)施例，是在第一個(gè)優(yōu)選實(shí)施例上的改 進(jìn)，其同第一個(gè)優(yōu)選實(shí)施例相同的部分，這里不再贅述。
[0020] 可以在所述圖像顯示裝置的圖像顯示設(shè)備1可以連接傳感器9,如圖5所示，使本 發(fā)明的全視角圖像顯示裝置適用于交互式虛擬現(xiàn)實(shí)時(shí)。所述傳感器9將傳感數(shù)據(jù)發(fā)送給所 述計(jì)算機(jī)8,計(jì)算機(jī)8可根據(jù)傳感器數(shù)據(jù)，設(shè)置軟件中的虛擬攝像機(jī)，以和頭部姿勢(shì)同步。所 述傳感器可包括陀螺儀、加速計(jì)、磁力計(jì)等，所獲信息包括用戶頭部的角度、加速度、姿勢(shì)與 位置數(shù)據(jù)等。
[0021] 本發(fā)明全視角圖像顯示裝置提供的凹面鏡2的一般畸變矯正方法下的凹面鏡2的 曲率計(jì)算方法：任意凸曲面反射鏡全景圖在凹面鏡2的畸變矯正的方法，這時(shí)，凹面鏡2為 反射鏡，無(wú)色差現(xiàn)象，主要為曲面反射造成的畸變。該方法可適用于任意凸曲線旋轉(zhuǎn)生成的 曲面反射鏡的反射圖像，包括軟件中的類似方式生成的全景圖像的畸變矯正，如凸曲面反 射鏡非360度旋轉(zhuǎn)體，該畸變矯正方法也可由二維推廣到三維。
[0022] 如圖8所示，凹面鏡2的反射區(qū)域僅包括外緣區(qū)域7,下面介紹凹面鏡2的一般曲 率計(jì)算方法： 以右眼為例，設(shè)瞳孔為坐標(biāo)原點(diǎn)0,左右眼連線為X軸，視野正前方為y軸。將所述凹 面鏡的剖面曲線分為η份，并將各分割點(diǎn)記為心，I，K2, K3……Kn_i，Κη，使得各曲線段ΚΛ， KiK2, K2K3……KyA對(duì)應(yīng)坐標(biāo)原點(diǎn)0的張角相等；&為誘導(dǎo)視域的最外側(cè)點(diǎn)，Κη為誘導(dǎo)視域 和舒適視域的分界點(diǎn)；假設(shè)圖像顯示設(shè)備的圖像剖面平行于X軸，離瞳孔距離為00'，則中 心區(qū)域與外緣區(qū)域的分界點(diǎn)為&的反射點(diǎn)，記為Κ'^ ;外緣圖像最右側(cè)點(diǎn)為Κη的反射點(diǎn)，記 為Κ' η ;類似地，將I，Κ2, Κ3……Κη各點(diǎn)所反射的圖像點(diǎn)記為Κ' ρ Κ' 2, Κ' 3……Κ' η ;將Κ。，I， Κ2? Κ3......Κμ，Κη 各點(diǎn)切線的角度記為 aQ，a2，a3......a^，an。
[0023] KW與y軸的夾角對(duì)應(yīng)人眼右方最大視角，記為β 點(diǎn)與瞳孔的距離為人機(jī)尺寸 m;Kn0與y軸的夾角需大于人眼的舒適視角并取適度值，記為ε ;圖像顯示設(shè)備的原始圖像 半徑為r。（根據(jù)人機(jī)尺寸，β弧度約為2. 007 ;m約為21毫米；ε弧度需大于1. 047)。
[0024] 假設(shè)原始全景圖由凸曲面反射鏡在環(huán)境中的正交投影獲得，則原始全景圖中的任 意一點(diǎn)均來(lái)自空間中某條光射線的投影，將這條射線與凸曲面鏡中心軸的夾角記為Yi， 以原始全景圖的中心點(diǎn)為極坐標(biāo)原點(diǎn)，凹面鏡上任意點(diǎn)I在原始全景圖上所對(duì)應(yīng)的點(diǎn)為 (p i，0 i)，設(shè)Y i與p i的函數(shù)關(guān)系為f : p i = f (y i) (l) 將Ki的坐標(biāo)記為（Xi，yi)，過(guò)Ki切線的角度記為ai，Ki反射的圖像點(diǎn)記為K' i，K' i的坐 標(biāo)記為（X' i，y' i)，OKi與y軸的夾角記為γ i。
[0025] 如圖9,當(dāng)n足夠大時(shí)，&可被看做位于直線與Kg切線的交點(diǎn)，由反射定律、 余弦定理、三角形Κ' 的性質(zhì)求解方程，可得所述凹面鏡各點(diǎn)相關(guān)數(shù)據(jù)Xi、yi、x' i、ai的通 用公式為 ^ = h -arccos ⑵ = ?(ε)十 f(g) - f(p - ^(β - ε )) (3) hy 卜1 taB(a^)^ot(p4(P^)} (4) cot(p -. (p - ε)) · (v:. tanU I·:) y; =---:-；- (5) -€〇t^ -ι-(β-ε? 當(dāng)i = 0時(shí)，有： x0 = m · sin β y〇 = m · cos β X' 〇 = f ( ε ) y' 〇 = r · cot ε 當(dāng)全景圖生成函數(shù)f確定時(shí)，將所得X(l、％、x' ^代入公式（2)，可求出％ : 1 / - xeye - y^rccrtc a0 = h --arccos ................................................................................................................................................................................................................................................................................................................................................................................................................................................................ -p 2 W%2 ty〇2*v(xc-4)2 t(yrr-cot￡}2/ 再將 X。，y。，X'。及 a。依次代入公式（4)、（5)、（3)、（2)，可求出 i = 1 時(shí) Xp x' i、ai 的數(shù)據(jù)；繼而求出i = 2......直至i = η時(shí)的數(shù)據(jù)；當(dāng)η足夠大時(shí)，所述凹面鏡上的η點(diǎn)數(shù) 據(jù)能提供足夠的精度進(jìn)行生產(chǎn)加工。
[0026] 當(dāng)獲得i = η時(shí)的數(shù)據(jù)時(shí)，也可根據(jù)Κη點(diǎn)的值，以Κη點(diǎn)為起點(diǎn)進(jìn)行二次矯正計(jì)算， 依次求出K n_i、Κη_2…直至&點(diǎn)的數(shù)據(jù)，這樣能夠使得凹面鏡與凸透鏡的接縫更加精確。公 式相同，方法相似，在此不做贅述。
[0027] 綜上，&的數(shù)據(jù)僅依賴于圖像顯示設(shè)備1的圖像大小，凹面鏡2的孔徑，圖像顯示 設(shè)備1的距離以及原始圖像的獲取方法（如球面反射、拋物面反射等），因此，&的數(shù)據(jù)容易 求得。而I的數(shù)據(jù)可以在&的基礎(chǔ)上求得，Κ 2的數(shù)據(jù)可以在&的基礎(chǔ)上求得，以此類推， 最終可計(jì)算出&到Kn各點(diǎn)的數(shù)據(jù)。
[0028] 上述方法把多階段過(guò)程轉(zhuǎn)化為一系列單階段問(wèn)題，利用各階段之間的關(guān)系，逐個(gè) 求解，易于實(shí)現(xiàn)計(jì)算機(jī)輔助設(shè)計(jì)，精度可控，適應(yīng)范圍廣。
[0029] 以上是基于任意旋轉(zhuǎn)凸曲面鏡圖像，在凹面鏡2上消除反射畸變，還原原始全景 圖的一般計(jì)算方法。
[0030] 以下分別針對(duì)原始全景圖不同的獲取方式，以球面鏡和拋物面鏡的f(Y)為例， 進(jìn)行計(jì)算： 1、球面反射鏡全景圖在凹面鏡2的畸變矯正時(shí)，凹面鏡2的曲率計(jì)算方法 如圖10,當(dāng)獲取全景圖的凸曲面反射鏡為局部球面時(shí)，根據(jù)球面的幾何性質(zhì)可得該系 統(tǒng)生成全景圖的函數(shù)f為： 由于凹面鏡反射了圖像，根據(jù)公式（3)可得 , ?β\ /Ex ?β\ ε)\ x, = r * 1 - csc|-| sin (-j - csc|-J sin -y- (7) 當(dāng)i = 0時(shí)，有 ％ A，? yJ 〇 = r · cot ε x0 = m · sin β y〇 = m · cos β 代入公式（2)，&切線的角度％有 / .. ￡ \ I m - stop · r * esc (| j sin (I) - msp * r * cote a〇 …產(chǎn)畫(huà) ^^=^=^===^= -p *· i w \ m j|ra · si?p - r· €scpjsiii|||| -f (m-cosp-r-coti):^ 將X。，yQ，X' (I及aQ依次代入公式（4)、（5)、（2)，可求出i = 1時(shí)的數(shù)據(jù)；由公 式⑵，可求出X' 1的數(shù)據(jù)；繼而可求出i = 2......直至i = η時(shí)的數(shù)據(jù)。當(dāng)獲得i = η時(shí) 的數(shù)據(jù)時(shí)，也可根據(jù)Κη點(diǎn)的值，以Κη點(diǎn)為起點(diǎn)依次求出Kn_i、K n_2…直至&點(diǎn)的矯正數(shù)據(jù)，使 得凹面鏡與凸透鏡的接縫更加精確，在此不做贅述。
[0031] 2、拋物面反射鏡全景圖在凹面鏡2的畸變矯正時(shí)，凹面鏡2的曲率計(jì)算方法。
[0032] 如圖11，當(dāng)獲取全景圖所用的凸曲面反射鏡為拋物面的一部分時(shí)，由反射定律和 拋物線的焦點(diǎn)性質(zhì)，可得拋物反射面生成全景圖的函數(shù)為 r(l-cosy,)(lTCCJsP) Ρ; = Ι?ι) =.........................................................................：............................................................：..............i................................................................. (8) sin|,*sip 由于凹面鏡反射了圖像，代入公式（3)，可得 柳+ eosp) {l-cosy,)(ltcosP)* x, =r* It*-------^ w * $m · sinp siny, · sinp 當(dāng) i = 0 時(shí)，γ0 = β，Κ'0 的坐標(biāo)（X，0, y' 0)有 (l-C0S￡)(ltC0SP) χ =r--- sin* sinp yJ 〇 = r · cot ε x0 = m · sin β y〇 = m · cos β 由公式（2)，&切線的角度％有 1 ? m+rcot2-ril+cosp)csc￡ } ae = h - ; arccos i 冊(cè) p 2 (mrosp-mkf+[r(l + cosp)(cosi- licscpcscs+msinp)]2j . 將X。，y。，X' (I及aQ依次代入公式（4)、（5)、（2)，可求出i = 1時(shí)的數(shù)據(jù)；由公 式（9)，可求出X' ?的數(shù)據(jù)；繼而可求出i = 2......直至i = η時(shí)的數(shù)據(jù)。當(dāng)獲得i = η時(shí) 的數(shù)據(jù)時(shí)，也可根據(jù)Κη點(diǎn)的值，以Κη點(diǎn)為起點(diǎn)依次求出Kn_i、K n_2…直至&點(diǎn)的矯正數(shù)據(jù)，使 得凹面鏡與凸透鏡的接縫更加精確，在此不做贅述。
[0033] 本發(fā)明凸透鏡3畸變矯正的具體方法，詳細(xì)介紹如下： 任意凸曲面反射鏡全景圖在凸透鏡3的畸變矯正，凸透鏡的一般曲率計(jì)算方法如下： 凸透鏡3由折射率較大的透明材料制成，如玻璃、聚碳酸酯等，必須與凹面鏡2共軸，并 通過(guò)折射來(lái)矯正原始全景圖的畸變。針對(duì)由曲線旋轉(zhuǎn)生成的凸曲面鏡的反射全景圖，本專 利提出了矯正畸變的單凸透鏡的剖面曲線計(jì)算方法。
[0034] 如圖12所示，凸透鏡3的折射區(qū)域僅包括中心區(qū)域6,考慮到眼部定位誤差，可適 當(dāng)增加凸透鏡3的半徑，避免出現(xiàn)接縫，但可視區(qū)域需嚴(yán)格限定于中心區(qū)域6。
[0035] 設(shè)凸透鏡折射率為rv半徑為r2，將凸透鏡的凸面剖線分為η份，將各分割點(diǎn)記為 U，U……Ln_i，Ln，使得各曲線段LA，1^2……Ln_iL n對(duì)應(yīng)坐標(biāo)原點(diǎn)0的張角相等；由于凸透 鏡與凹面鏡邊緣緊密銜接，所以U0與y軸的夾角等于ε。當(dāng)η足夠大時(shí)，通過(guò)各點(diǎn)的數(shù)據(jù) 可確定凸透鏡的剖面曲線。
[0036] 在透鏡上方任取一點(diǎn)Q，將點(diǎn)Q所折射的點(diǎn)記為L(zhǎng)' ρ其切線的角度記為bi，將透 鏡下方平面的對(duì)應(yīng)點(diǎn)記為ΙΛ ;設(shè)折射后進(jìn)入瞳孔的光線與y軸的角度為Yi，將其未被折射 前與y軸的角度記為入i。
[0037] 當(dāng)η足夠大時(shí)，如圖13, Q可被看做位于Lg的切線上，根據(jù)折射定律，求解方程 可知，凸透鏡上凸面Q點(diǎn)對(duì)應(yīng)的γ i，bp Xi，yi，λ i有 |, = e|i--J o〇) siiy, - sMi, h, = Mctm -^--L-(ii) ? \msl- - sm:y I m r；?c〇te^i| -l?tanYi-l -tantVi^VtTy^ X, =----- (12) 錢卜-蛛J
[r2 · - t2n{bs-t)xs-^ yj -卜 r2 · cot￡ ·娜汍-,) F：= ................................................................................................................................................................................................................................................................................................................................................................................................. L:.........................................................................................................................................................................................................................................................................................03) λ，一 (14) ? \ y, - y. / r * cots - v. 若公式（14)中的全景圖像函數(shù)f確定，則當(dāng)i = 0時(shí)，U對(duì)應(yīng)的數(shù)據(jù)有： Y0 = ε X0 = r2 y0 = r2 · cot ε k = arctan -~-^ \cote|r-r:)/ (咖(黑^?))、 h = arctan ____7...............................................................................: ...............................................................................:-r........................................................................................................:...................................................... \c0s(arrtafi (^?)卜 ν?.....z'^y 將 Y。，X。，yQ，λ (I，bQ 依次代入公式（10)、（12)、（13)、（14)、（11)，可求得當(dāng) i = 1 時(shí)， 所述凸透鏡凸面1^點(diǎn)的數(shù)據(jù)Yl，Xl，，yi，……以此類推，L 2，L3……Ln_i，Ln各點(diǎn)均可 由U點(diǎn)多次迭代求得。
[0038] 以上是基于任意旋轉(zhuǎn)凸曲面鏡圖像，使凸透鏡3消除畸變，還原原始全景圖的一 般計(jì)算方法。
[0039] 以下分別針對(duì)原始全景圖不同的獲取方式，以球面鏡和拋物面鏡的f(Y)為例， 進(jìn)行計(jì)算： 1、球面反射鏡全景圖在凸透鏡3畸變矯正時(shí)，凸透鏡3的曲率計(jì)算方法如下： 如圖10,球面反射鏡生成全景圖像的函數(shù)為 ?/、 β\ - p. = |J = r*cscHsiy (⑩ \*ii m 當(dāng)i = 0時(shí)，有 Y〇 = ε Χ0 = Γ2 y〇 = r2 · cot ε / r'csc(||sin(|) - ι*Λ λ0 = arctanl-1 1 rs cotc - r2 · cots I ' / r*csc(f)sm{|) 、 -卜-arctan - .. I 、 " n b0 = arctan --,----- ( (i?著(.,)-r^···^·· 叫處-焉--簡(jiǎn)1 ' l ? ^ 將 i = 0 時(shí)的數(shù)據(jù)結(jié)果 YQ，xQ，yQ，XQ，bQ 依次代入公式（10)、（12)、（13)、（14)、（11)， 可求得當(dāng)i = 1時(shí)，U點(diǎn)的數(shù)據(jù)γ p Χρ , λ p h......以此類推，可求得L2, L3......Ln 各點(diǎn)基于矯正球面鏡全景圖畸變的凸透鏡的數(shù)據(jù)。
[0040] 2、拋物面反射鏡全景圖在凸透鏡3畸變矯正，凸透鏡3的曲率計(jì)算方法如下： 如圖11，拋物面反射鏡生成全景圖像的函數(shù)為 r(l-coS|；)(Hcosp} P； = 1^) =............................................................................:................................................................:...............i................................................................ w smy, · sip 當(dāng)i = 0時(shí)，有 Υ〇 = ε Χ0 = r2 y〇 = r2 · cot ε / {i-cosi)(lf cosp) \ I sins · stop r： A0 = arctaa -.................................................................................................................................................................................................................................. rcot￡-r,cot￡ \ / I / (I-CQS￡)(lrcosp) \\ \ , , sins.· sing.~~- : \ smi^sm arrtar, l ' - // b0 = arctan / / (l-C0SE)(t^C0sg) \ \ I ~ siiii""*"slip - : I r-^-r-7- c〇s arctan ^―^―--- ^?snr ε l \ ' ' " / 將 i = 0 時(shí)的數(shù)據(jù)結(jié)果 YQ，xQ，y〇, XQ，bQ 依次代入公式（10)、（12)、（13)、（14)、（11)， 可求得當(dāng)i = 1時(shí)，U點(diǎn)的數(shù)據(jù)γ p Χρ , λ p h......以此類推，可求得L2, L3......Ln 各點(diǎn)基于矯正球面鏡全景圖畸變的凸透鏡的數(shù)據(jù)。
[0041] 綜上，本發(fā)明提供的全視角圖像顯示裝置，在現(xiàn)有頭戴式顯示系統(tǒng)的基礎(chǔ)上，增加 了一組自由曲面反射鏡，及凹面鏡3,將中央目鏡的盲區(qū)圖像加以利用，利用凸透鏡的盲區(qū)， 以凹面反射鏡和凸透鏡組合產(chǎn)生全視野圖像，擴(kuò)大了可視范圍，可實(shí)現(xiàn)230度在內(nèi)的極大 視角，大大提高了虛擬現(xiàn)實(shí)的臨場(chǎng)感。本發(fā)明通過(guò)光學(xué)變換和相應(yīng)算法，將全景相機(jī)或計(jì)算 機(jī)產(chǎn)生的全景圖分割為兩個(gè)部分，并分別針對(duì)其圖像特征進(jìn)行變換，最終復(fù)原為全視角的 自然圖像。本裝置可針對(duì)不同的全景圖像獲取特征進(jìn)行畸變矯正，通過(guò)不同的曲面設(shè)計(jì)矯 正不同的全景圖像，提出一套矯正畸變的具體公式，可適用于設(shè)計(jì)相關(guān)光學(xué)器件，矯正由各 種自由凸曲面反射鏡的全景圖畸變。設(shè)計(jì)完成后，結(jié)構(gòu)簡(jiǎn)單、裝配及制造難度低，便于大批 量生產(chǎn)，降低成本。
[0042] 本發(fā)明提出了針對(duì)任意凸曲面反射鏡全景圖的曲面設(shè)計(jì)方法，僅要求凸曲面為 360度旋轉(zhuǎn)對(duì)稱體，表面連續(xù)可導(dǎo)，生成的全景圖畸變系數(shù)可根據(jù)需要靈活定制，適應(yīng)范圍 十分廣泛，如球面鏡、拋物面鏡、雙曲面鏡生成的反射全景圖均可適用。
[0043] 本發(fā)明提供的全視角圖像顯示裝置，于凸透鏡與凹面鏡的配合，本發(fā)明的全視角 圖像顯示裝置，可用于計(jì)算機(jī)渲染的全景圖及基于凸面鏡（Convex Mirror)生成的反射全 景圖，可通過(guò)算法消除像差畸變，配合陀螺儀、加速計(jì)、磁力計(jì)等傳感器以及計(jì)算機(jī)，可應(yīng) 用于頭戴式三維顯示器、虛擬沉浸頭盔等設(shè)施，其優(yōu)點(diǎn)在于視域?qū)拸V，結(jié)構(gòu)簡(jiǎn)單，解決了現(xiàn) 有設(shè)備視角狹窄的缺陷，提高了沉浸體驗(yàn)。
[0044] 應(yīng)當(dāng)理解的是，上述針對(duì)本發(fā)明較佳實(shí)施例的表述較為詳細(xì)，并不能因此而認(rèn)為 是對(duì)本發(fā)明專利保護(hù)范圍的限制，本發(fā)明的專利保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。
【權(quán)利要求】
1. 全視角圖像顯示裝置，包括圖像顯示裝置，以及與所述圖像顯示裝置連接的計(jì)算機(jī)， 其特征在于： 所述圖像顯示裝置包括圖像顯示設(shè)備，設(shè)置在所述圖像顯示設(shè)備一側(cè)的瞳距調(diào)節(jié)機(jī) 構(gòu)；還包括設(shè)置在所述圖像顯示設(shè)備另一側(cè)的凹面鏡、凸透鏡以及透明連接件，所述凹面鏡 緊鄰所述顯示設(shè)備設(shè)置，所述透明連接件將所述凸透鏡固定在所述凹面鏡上； 所述計(jì)算機(jī)包括圖像處理軟件以及原始圖像數(shù)據(jù)；所述計(jì)算機(jī)連接所述圖像顯示設(shè) 備；所述原始圖像數(shù)據(jù)經(jīng)圖像處理軟件分割變換后，發(fā)送給所述圖像顯示設(shè)備； 左右眼可觀察圖像顯示設(shè)備顯示的具有視差的2張全景圖，在全視角范圍內(nèi)產(chǎn)生立體 感；所述凸透鏡對(duì)應(yīng)的視域?yàn)槭孢m視域，所述凹面鏡對(duì)應(yīng)的視域?yàn)檎T導(dǎo)視域； 所述圖像處理軟件保證外緣區(qū)域的圖像和凹面鏡的曲率嚴(yán)格匹配； 所述凹面鏡和凸透鏡的曲率針對(duì)原始圖像的特征指定進(jìn)行定制，以矯正全景圖在所述 凹面鏡和凸透鏡上的畸變； 所述圖像處理軟件將圖像處理分為分割與變換兩個(gè)步驟：第一步，將原始圖像分割為 中心區(qū)域和外緣區(qū)域；中心區(qū)域的圖像經(jīng)過(guò)凸透鏡折射后進(jìn)入瞳孔，對(duì)應(yīng)視野舒適視域； 第二步，將外緣部分的圖像經(jīng)由計(jì)算機(jī)進(jìn)行極坐標(biāo)反轉(zhuǎn)后，再通過(guò)凹面鏡進(jìn)入瞳孔，對(duì)應(yīng)視 野誘導(dǎo)視域。
2. 根據(jù)權(quán)利要求1所述的全視角圖像顯示裝置，其特征在于，所述圖像顯示裝置裝配 時(shí)，圖像的外緣區(qū)域被凸透鏡的盲區(qū)所遮擋，同時(shí)又能夠被凹面鏡所反射；凹面鏡的成像需 銜接凸透鏡的成像。
3. 根據(jù)權(quán)利要求2所述的全視角圖像顯示裝置，其特征在于，凸曲面反射鏡全景圖在 凹面鏡畸變矯正時(shí)，所述凹面鏡的曲率通用計(jì)算方法如下： 以右眼為例，設(shè)瞳孔為坐標(biāo)原點(diǎn)0,左右眼連線為X軸，視野正前方為y軸；將所述凹 面鏡的剖面曲線分為η份，并將各分割點(diǎn)記為心，I，K2, K3……Kn_i，Κη，使得各曲線段ΚΛ， KiK2, K2K3……KyA對(duì)應(yīng)坐標(biāo)原點(diǎn)0的張角相等；&為誘導(dǎo)視域的最外側(cè)點(diǎn)，Κη為誘導(dǎo)視域 和舒適視域的分界點(diǎn)；假設(shè)圖像顯示設(shè)備的圖像剖面平行于X軸，離瞳孔距離為00'，則中 心區(qū)域與外緣區(qū)域的分界點(diǎn)為&的反射點(diǎn)，記為Κ' ^ ;外緣圖像最右側(cè)點(diǎn)為Κη的反射點(diǎn)，記 為Κ' η ;類似地，將I，Κ2, Κ3……Κη各點(diǎn)所反射的圖像點(diǎn)記為Κ' ρ Κ' 2, Κ' 3……Κ' η ;將Κ。，I， Κ2? Κ3......Κμ，Κη 各點(diǎn)切線的角度記為 aQ，a2，a3......a^，an ; KdO與y軸的夾角對(duì)應(yīng)人眼右方最大視角，記為β 點(diǎn)與瞳孔的距離為人機(jī)尺寸m ; Kn0與y軸的夾角需大于人眼的舒適視角并取適度值，記為ε ;圖像顯示設(shè)備的原始圖像 半徑為r ; 假設(shè)原始全景圖由凸曲面反射鏡在環(huán)境中的正交投影獲得，則原始全景圖中的任意 一點(diǎn)均來(lái)自空間中某條光射線的投影，將這條射線與凸曲面鏡中心軸的夾角記為Yi，以 原始全景圖的中心點(diǎn)為極坐標(biāo)原點(diǎn)，凹面鏡上任意點(diǎn)I在原始全景圖上所對(duì)應(yīng)的點(diǎn)為 (p i，0 i)，設(shè)Y i與p i的函數(shù)關(guān)系為f : p i = f (y i) (l) 將Ki的坐標(biāo)記為（Xi，yi)，過(guò)Ki切線的角度記為ai，Ki反射的圖像點(diǎn)記為K' i，K' i的坐 標(biāo)記為（X' i，y' i)，OKi與y軸的夾角記為γ i ; 當(dāng)n足夠大時(shí)，&可被看做位于直線(?與Kg切線的交點(diǎn)，由反射定律、余弦定理、三 角形K'iOKi的性質(zhì)求解方程，可得所述凹面鏡各點(diǎn)相關(guān)數(shù)據(jù)Xi、yi、X'i、ai的通用公式為
當(dāng)i = 0時(shí)，有： x0 = m · sin β y〇 = m · cos β X' 〇 = f ( ε ) y' ο = r · cot ε 當(dāng)全景圖生成函數(shù)f確定時(shí)，將所得X(l、％、x' ^代入公式（2)，可求出％ :
再將 X。，y。，X'。及 a。依次代入公式（4)、（5)、（3)、（2)，可求出 i = 1 時(shí) Xp X' i、ai 的數(shù)據(jù)；繼而求出i = 2......直至i = η時(shí)的數(shù)據(jù)； 當(dāng)獲得i = η時(shí)的數(shù)據(jù)時(shí)，也可根據(jù)Κη點(diǎn)的值，以Κη點(diǎn)為起點(diǎn)進(jìn)行二次矯正計(jì)算，依次 求出Kn_i、Kn_2…直至心點(diǎn)的數(shù)據(jù)。
4.根據(jù)權(quán)利要求3所述的全視角圖像顯示裝置，其特征在于，當(dāng)球面反射鏡全景圖在 凹面鏡畸變矯正時(shí)，凹面鏡的曲率計(jì)算方法如下： 獲取全景圖的凸曲面反射鏡為局部球面時(shí)，根據(jù)球面的幾何性質(zhì)可得該系統(tǒng)生成全景 圖的函數(shù)f為：
由于凹面鏡反射了圖像，根據(jù)公式（3)可得
(.7} 當(dāng)i = 0時(shí)，有
y' 〇 = r · cot ε x0 = m · sin β y〇 = m · cos β 代入公式（2)，&切線的角度％有
將X。，yQ，X' (I及aQ依次代入公式（4)、（5)、（2)，可求出i = 1時(shí)的數(shù)據(jù)；由公 式⑵，可求出X' i的數(shù)據(jù)；繼而可求出i = 2……直至i = η時(shí)的數(shù)據(jù)； 當(dāng)獲得i = η時(shí)的數(shù)據(jù)時(shí)，也可根據(jù)Κη點(diǎn)的值，以Κη點(diǎn)為起點(diǎn)依次求出Kn_i、K n_2…直至 心點(diǎn)的矯正數(shù)據(jù)。
5.根據(jù)權(quán)利要求3所述的全視角圖像顯示裝置，其特征在于，當(dāng)拋物面反射鏡全景圖 在凹面鏡畸變矯正時(shí)，凹面鏡的曲率計(jì)算方法如下： 當(dāng)獲取全景圖所用的凸曲面反射鏡為拋物面的一部分時(shí)，由反射定律和拋物線的焦點(diǎn) 性質(zhì)，可得拋物反射面生成全景圖的函數(shù)為
(8) 由于凹面鏡反射了圖像，代入公式（3)，可得
(9) 當(dāng) i = 0 時(shí)，γ0 = β，Κ'0 的坐標(biāo)（X，0, y' 0)有
yJ ο = r · cot ε x0 = m · sin β y〇 = m · cos β 由公式（2)，&切線的角度％有
將X。，yQ，X' (I及aQ依次代入公式（4)、（5)、（2)，可求出i = 1時(shí)的數(shù)據(jù)；由公 式（9)，可求出的數(shù)據(jù)；繼而可求出i = 2......直至i = η時(shí)的數(shù)據(jù)； 當(dāng)獲得i = η時(shí)的數(shù)據(jù)時(shí)，也可根據(jù)Κη點(diǎn)的值，以Κη點(diǎn)為起點(diǎn)依次求出Kn_i、K n_2…直至 心點(diǎn)的矯正數(shù)據(jù)。
6.根據(jù)權(quán)利要求2所述的全視角圖像顯示裝置，其特征在于，任意凸曲面反射鏡全景 圖在凸透鏡畸變矯正時(shí)，上凸下平型凸透鏡的曲率通用計(jì)算方法如下： 設(shè)凸透鏡折射率為IV半徑為r2，將凸透鏡的凸面剖線分為η份，將各分割點(diǎn)記為U， U……Ln_i，Ln，使得各曲線段UU，LiL2……Ln_iL n對(duì)應(yīng)坐標(biāo)原點(diǎn)0的張角相等；由于凸透鏡 與凹面鏡邊緣緊密銜接，所以U0與y軸的夾角等于ε ; 當(dāng)η足夠大時(shí)，通過(guò)各點(diǎn)的數(shù)據(jù)可確定凸透鏡的剖面曲線； 在透鏡上方任取一點(diǎn)Q，將點(diǎn)Q所折射的點(diǎn)記為L(zhǎng)' ρ其切線的角度記為bp將透鏡下 方平面的對(duì)應(yīng)點(diǎn)記為ΙΛ ;設(shè)折射后進(jìn)入瞳孔的光線與y軸的角度為Yi，將其未被折射前與 y軸的角度記為Ai ; 當(dāng)η足夠大時(shí)，Q可被看做位于Lh的切線上，根據(jù)折射定律，求解方程可知，凸透鏡上 凸面Q點(diǎn)對(duì)應(yīng)的γ p bp Xp yp λ i有

若公式（14)中的全景圖像函數(shù)f確定，則當(dāng)i = 0時(shí)，U對(duì)應(yīng)的數(shù)據(jù)有： Y〇 = ε X0 = r2 y〇 = r2 · cot ε
將 Y。，X。，yQ，λ a，bQ 依次代入公式（10)、（12)、（13)、（14)、（11)，可求得當(dāng) i = 1 時(shí)， 所述凸透鏡凸面1^點(diǎn)的數(shù)據(jù)Yl，Xl，，yi，……以此類推，L 2，L3……Ln_i，Ln各點(diǎn)均可 由U點(diǎn)多次迭代求得。
7.根據(jù)權(quán)利要求6所述的全視角圖像顯示裝置，其特征在于，球面反射鏡全景圖在凸 透鏡畸變矯正時(shí)，凸透鏡的曲率計(jì)算公式如下： 球面反射鏡生成全景圖像的函數(shù)為
(6) 當(dāng)i = 0時(shí)，有 Y〇 = ε X0 = r2 y〇 = r2 · cot ε

將 i = 0 時(shí)的數(shù)據(jù)結(jié)果 YQ，xQ，y〇, XQ，bQ 依次代入公式（10)、（12)、（13)、（14)、（11)， 可求得當(dāng)i = 1時(shí)山點(diǎn)的數(shù)據(jù)γ p Χρ , yp λ p h......以此類推，可求得L2, L3......Ln 各點(diǎn)基于矯正球面鏡全景圖畸變的凸透鏡的數(shù)據(jù)。
8.根據(jù)權(quán)利要求6所述的全視角圖像顯示裝置，其特征在于，拋物面反射鏡全景圖在 凸透鏡的畸變矯正時(shí)，凸透鏡的曲率計(jì)算方法如下： 拋物面反射鏡生成全景圖像的函數(shù)為
(8) 當(dāng)i = 0時(shí)，有 Y〇 = ε Χ0 = r2 y〇 = r2 · cot ε
將 i = 0 時(shí)的數(shù)據(jù)結(jié)果 YQ，xQ，yQ，XQ，bQ 依次代入公式（10)、（12)、（13)、（14)、（11)， 可求得當(dāng)i = 1時(shí)，U點(diǎn)的數(shù)據(jù)γ ρ Χρ , λ i，h......以此類推，可求得L2, L3......Ln 各點(diǎn)基于矯正球面鏡全景圖畸變的凸透鏡的數(shù)據(jù)。
【文檔編號(hào)】H04N13/00GK104253989SQ201410251969
【公開(kāi)日】2014年12月31日 申請(qǐng)日期:2014年6月9日 優(yōu)先權(quán)日:2014年6月9日
【發(fā)明者】黃石 申請(qǐng)人:黃石