魚眼鏡頭拍攝圖像的3d全景顯示方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種魚眼鏡頭拍攝圖像的3D全景顯示方法和系統(tǒng)。該方法包括如下步驟：對(duì)原始魚眼圖像運(yùn)算得到魚眼圖像的標(biāo)定參數(shù)；建立3D模型；建立所述3D模型的頂點(diǎn)與所述原始魚眼圖像之間的紋理映射關(guān)系；根據(jù)所述的紋理照射關(guān)系，對(duì)原始魚眼圖像進(jìn)行綁定，得到3D全景顯示圖像。其通過將魚眼鏡頭拍攝的全景圖像還原為3D場(chǎng)景，計(jì)算簡(jiǎn)單、速度快、實(shí)時(shí)性好、圖像和/或視頻流暢。
【專利說明】
魚眼鏡頭拍攝圖像的3D全景顯示方法和系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及全景顯示技術(shù)，特別是針對(duì)魚眼鏡頭拍攝圖像的3D全景顯示方法和系 統(tǒng)，應(yīng)用于虛擬現(xiàn)實(shí)、科學(xué)研究、娛樂、監(jiān)控等各種領(lǐng)域。
【背景技術(shù)】
[0002] 全景技術(shù)主要分為拼接全景和魚眼全景兩種。拼接全景是指將多個(gè)按特定角度擺 放的鏡頭拍攝的畫面縫合成一副全景圖，通常選用2個(gè)W上90°-150°的廣角鏡頭;魚眼全景 是指采用單個(gè)魚眼鏡頭拍攝的全景圖，通常鏡頭的水平和垂直視野等于或超過360° xl80°。
[0003] 拼接全景的缺陷包括：（1)多個(gè)傳感器顏色、亮度等不一致，造成全景圖像明暗不 均；（2)傳感器之間時(shí)間不同步，造成視頻畫面撕裂、穿越現(xiàn)象；（3)縫合精度不夠，縫合區(qū)域 不清晰、有重影;（4)距離鏡頭較近的區(qū)域存在盲區(qū)。
[0004] 魚眼全景只有一個(gè)傳感器，避免了上述拼接全景的所有缺陷。但是，現(xiàn)有的魚眼全 景技術(shù)采用的魚眼鏡頭視野范圍有限，只有360°xl80°，而有的拼接全景能達(dá)到360°x360% 現(xiàn)有的魚眼圖像全景顯示技術(shù)通常只是將崎變嚴(yán)重的魚眼圖像校正為接近真實(shí)場(chǎng)景的二 維圖像，運(yùn)種方法損失了全景圖像的部分信息，使得視野范圍變小，淪為普通的廣角鏡頭的 效果。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明針對(duì)現(xiàn)有技術(shù)中存在的上述問題，提出一種魚眼鏡頭拍攝圖像的3D全景顯 示方法和系統(tǒng)。通過將魚眼鏡頭拍攝的全景圖像還原為3D場(chǎng)景，計(jì)算簡(jiǎn)單、速度快、實(shí)時(shí)性 好、圖像和/或視頻流楊。其解決了現(xiàn)有魚眼全景垂直視野較小、校正效果不理想、信息有損 失的問題，W及只有2D平面顯示效果的局限。
[0006] 本發(fā)明的技術(shù)方案為：
[0007] 提供一種魚眼鏡頭的3D全景顯示方法，包括如下步驟：
[000引對(duì)原始魚眼圖像運(yùn)算得到魚眼圖像的標(biāo)定參數(shù)；
[0009] 建立3D模型；
[0010] 建立所述3D模型的頂點(diǎn)與所述原始魚眼圖像之間的紋理映射關(guān)系；
[0011] 根據(jù)所述的紋理照射關(guān)系，對(duì)原始魚眼圖像進(jìn)行綁定，得到3D全景顯示圖像。
[0012] 作為一種可實(shí)施的優(yōu)選例，所述的3D全景顯示方法，所述對(duì)原始魚眼圖像進(jìn)行綁 定之后，還包括如下步驟：
[0013] 對(duì)原始魚眼圖像綁定后，進(jìn)行3D擅染，得到擅染后的所述3D全景顯示圖像。
[0014] 作為一種可實(shí)施的優(yōu)選例，所述的3D全景顯示方法，還包括如下步驟：
[0015] 對(duì)所述3D全景顯示圖像進(jìn)行交互。
[0016] 為實(shí)現(xiàn)本發(fā)明目的，還提供如下技術(shù)方案：
[0017] -種魚眼鏡頭拍攝圖像的3D全景顯示系統(tǒng)，包括標(biāo)定模塊，建立模型模塊，建立紋 理映射關(guān)系模塊，W及綁定模塊；
[001引 其中；
[0019] 所述標(biāo)定模塊，用于對(duì)原始魚眼圖像運(yùn)算得到魚眼圖像的標(biāo)定參數(shù)；
[0020] 所述建立模型模塊，用于建立3D模型；
[0021] 所述建立紋理映射關(guān)系模塊，用于建立所述3D模型的頂點(diǎn)與所述原始魚眼圖像之 間的紋理映射關(guān)系；
[0022] 所述綁定模塊，用于根據(jù)所述的紋理照射關(guān)系，對(duì)原始魚眼圖像進(jìn)行綁定，得到3D 全景顯示圖像。
[0023] 作為一種優(yōu)選的實(shí)施例，所述的3D全景顯示系統(tǒng)，所述建立紋理映射關(guān)系模塊，包 括貼圖子模塊和計(jì)算子模塊，其中：
[0024] 所述貼圖子模塊，用于將所述原始魚眼圖像作為紋理圖像貼圖于建立的所述3D模 型上；
[0025] 所述計(jì)算子模塊，用于計(jì)算紋理坐標(biāo)(u，v)。
[00%]作為一種可實(shí)施例，所述的3D全景顯示系統(tǒng)，所述綁定模塊，包括擅染子模塊，用 于根據(jù)對(duì)綁定后的原始魚眼圖像進(jìn)行3D擅染，得到擅染后的所述3D全景顯示圖像。
[0027] 本發(fā)明具有如下有益效果：
[0028] 對(duì)魚眼鏡頭將其拍攝的全景圖像采用模型還原為3D場(chǎng)景，計(jì)算簡(jiǎn)單、速度快、實(shí)時(shí) 性好、圖像和/或視頻流楊。其進(jìn)一步可W直接利用GPlKGra地ics Processing化it,圖形 處理器)進(jìn)行3D擅染運(yùn)算，讓人看到無崎變的立體場(chǎng)景，猶如身臨其境。更進(jìn)一步地，其將視 野擴(kuò)大到超過360°x 180°，無崎變，有沉浸感。
[0029] 當(dāng)然，實(shí)施本發(fā)明的任一產(chǎn)品并不一定需要同時(shí)達(dá)到W上所述的所有優(yōu)點(diǎn)。
【附圖說明】
[0030] 為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要的附 圖做簡(jiǎn)單的介紹，顯而易見地，下面描述的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普 通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可W根據(jù)運(yùn)些附圖獲得其他的附圖。
[0031] 圖1為本發(fā)明實(shí)施例的魚眼鏡頭的3D全景顯示方法流程圖。
[0032] 圖2魚眼鏡頭拍攝圖像示意圖。
[0033] 圖3為本發(fā)明的魚眼圖像標(biāo)定參數(shù)示意圖。
[0034] 圖4-1為本發(fā)明實(shí)施例的半球模型(鏡頭水平向上)示意圖。
[0035] 圖4-2為本發(fā)明實(shí)施例半球模型(鏡頭水平向上)與魚眼圖像的映射示意圖。
[0036] 圖4-3為本發(fā)明實(shí)施例采用的原始魚眼圖像(鏡頭水平向上）。
[0037] 圖4-4為本發(fā)明實(shí)施例對(duì)圖4-1采用化en化/D3D擅染半球模型，外視點(diǎn)時(shí)的顯示圖 像。
[003引圖4-5為本發(fā)明實(shí)施例對(duì)圖4-1采用化en化/D3D擅染半球模型，內(nèi)視點(diǎn)、水平視線 方向（一）的顯示圖像。
[0039] 圖4-6為本發(fā)明實(shí)施例對(duì)圖4-1采用化en化/D3D擅染半球模型，內(nèi)視點(diǎn)、水平視線 方向（二）的顯示圖像。
[0040] 圖4-7為本發(fā)明實(shí)施例對(duì)圖4-1采用化en化/D3D擅染半球模型，內(nèi)視點(diǎn)、垂直視線 方向的顯示圖像。
[0041] 圖5-1為本發(fā)明實(shí)施例的半球模型(鏡頭水平向下)示意圖。
[0042] 圖5-2為本發(fā)明實(shí)施例半球模型(鏡頭水平向下)與魚眼圖像的映射示意圖。
[0043] 圖5-3為本發(fā)明實(shí)施例采用的原始魚眼圖像(鏡頭水平向下）。
[0044] 圖5-4為本發(fā)明實(shí)施例對(duì)圖5-1采用化en化/D3D擅染半球模型，外視點(diǎn)時(shí)的顯示圖 像。
[0045] 圖5-5為本發(fā)明實(shí)施例對(duì)圖5-1采用化en化/D3D擅染半球模型，內(nèi)視點(diǎn)、水平視線 方向（一）的顯示圖像。
[0046] 圖5-6為本發(fā)明實(shí)施例對(duì)圖5-1采用化en化/D3D擅染半球模型，內(nèi)視點(diǎn)、水平視線 方向（二）的顯示圖像。
[0047] 圖5-7為本發(fā)明實(shí)施例對(duì)圖5-1采用化en化/D3D擅染半球模型，內(nèi)視點(diǎn)、垂直視線 方向的顯示圖像。
[004引圖6-1為本發(fā)明實(shí)施例的半球模型(鏡頭前向）示意圖。
[0049] 圖6-2為本發(fā)明實(shí)施例半球模型(鏡頭前向）與魚眼圖像的映射示意圖。
[0050] 圖6-3為本發(fā)明實(shí)施例采用的原始魚眼圖像(鏡頭前向）。
[0051 ]圖6-4為本發(fā)明實(shí)施例對(duì)圖6-1采用化en化/D3D擅染半球模型，外視點(diǎn)時(shí)的顯示圖 像。
[0052] 圖6-5為本發(fā)明實(shí)施例對(duì)圖6-1采用化en化/D3D擅染半球模型，內(nèi)視點(diǎn)、水平視線 方向（前方)的顯示圖像。
[0053] 圖6-6為本發(fā)明實(shí)施例對(duì)圖6-1采用化en化/D3D擅染半球模型，內(nèi)視點(diǎn)、水平視線 方向（左側(cè)）的顯示圖像。
[0054] 圖6-7為本發(fā)明實(shí)施例對(duì)圖6-1采用化en化/D3D擅染半球模型，內(nèi)視點(diǎn)、水平視線 方向（右側(cè)）的顯示圖像。
[0055] 圖6-8為本發(fā)明實(shí)施例對(duì)圖6-1采用化en化/D3D擅染半球模型，內(nèi)視點(diǎn)、垂直視線 方向（向上）的顯示圖像。
[0056] 圖6-9為本發(fā)明實(shí)施例對(duì)圖6-3采用化en化/D3D擅染半球模型，內(nèi)視點(diǎn)、垂直視線 方向（向下）的顯示圖像。
[0057] 圖7為本發(fā)明實(shí)施例的魚眼鏡頭的3D全景顯示系統(tǒng)結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0058] 為使得本發(fā)明的發(fā)明目的、特征、優(yōu)點(diǎn)能夠更加的明顯和易懂，下面將結(jié)合本發(fā)明 實(shí)施例中的附圖1-7,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行描述，顯然，所描述的實(shí)施例僅僅 是本發(fā)明一部分實(shí)施例，而非全部實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在 沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0059] 本發(fā)明實(shí)施例中的魚眼圖像的3D顯示，W半球模型為例進(jìn)行詳細(xì)說明，其實(shí)施例 也可W適用于球面模型、柱面模型、小行星模型、360或180度柱面展開模型、經(jīng)度校正平面 模型、投影校正平面模型等；
[0060] 本發(fā)明實(shí)施例W水平和垂直視野為360° x230°的魚眼鏡頭為例進(jìn)行說明，將其拍 攝的全景圖像還原為3D場(chǎng)景，計(jì)算簡(jiǎn)單、速度快、實(shí)時(shí)性好、圖像和/或視頻流楊。進(jìn)一步地， 其還利用3D擅染技術(shù)讓人看到無崎變的立體場(chǎng)景，猶如身臨其境。
[0061] 作為一種可實(shí)施方式，本發(fā)明實(shí)施例的方法和系統(tǒng)不僅適用于360°x230°的魚眼 鏡頭，對(duì)其它魚眼鏡頭，如佳能或柯達(dá)生產(chǎn)的，包括但不局限于360°xl80°或W上的魚眼鏡 頭，拍攝的圖像同樣適用。
[0062] 進(jìn)一步地，由于視頻是由一帖帖圖像組成的，本發(fā)明亦適用于魚眼鏡頭拍攝視頻 的3D全景顯示。
[0063] 如圖1所示，本發(fā)明實(shí)施例的魚眼鏡頭的3D全景顯示方法的【具體實(shí)施方式】如下：
[0064] 步驟SlOO，對(duì)原始魚眼圖像運(yùn)算得到魚眼圖像的標(biāo)定參數(shù)；
[0065] 由于傳感器和圖像傳輸系統(tǒng)的不同，獲得的魚眼圖像的尺寸和寬高比也不盡相 同，但有效信息都在圖像中間的一個(gè)圓形區(qū)域內(nèi)，如圖2所示。
[0066] 所述魚眼圖像的標(biāo)定參數(shù)包括但不限于圓屯、坐標(biāo)(XO，yo)和半徑Ro，見圖3所示的 標(biāo)定參數(shù)示意圖。
[0067] 作為一種可實(shí)施方式，所述魚眼圖像進(jìn)行運(yùn)算可采用統(tǒng)計(jì)算法實(shí)現(xiàn)，但該統(tǒng)計(jì)算 法在魚眼圖像景物區(qū)域內(nèi)存在較多黑色像素點(diǎn)時(shí)將產(chǎn)生較大偏差。
[0068] 作為另一種更佳的實(shí)施方式，所述魚眼圖像進(jìn)行運(yùn)算可采用掃描線逼近算法實(shí) 現(xiàn)。所述掃描線逼近算法是通過逐行掃描圖像，獲得中央的圓形輪廓，計(jì)算出圓屯、坐標(biāo)(X0， yo)和半徑Ro。該掃描線逼近算法與圖像內(nèi)部的黑色像素點(diǎn)無關(guān)，能克服統(tǒng)計(jì)算法的不足。
[0069] 步驟S200,建立3D半球模型；
[0070] 針對(duì)魚眼鏡頭，在世界坐標(biāo)系內(nèi)構(gòu)造半徑為R的半球，其垂直視野與鏡頭有效視野 一致。
[0071] 圖4-1 W360°X 230°魚眼鏡頭且鏡頭方向水平向上為例進(jìn)行說明，該鏡頭對(duì)應(yīng)的 半球模型的垂直視野也是230°，與y軸夾角為垂直視野的一半，為115°，比90°半球模型垂直 角度增大了 25°。圖4-1中坐標(biāo)系的定義與OpenGL系統(tǒng)內(nèi)世界坐標(biāo)系的定義【笛卡爾 (Descartes)右手坐標(biāo)系】是一致的，便于采用化enGL技術(shù)進(jìn)行3D擅染。
[0072] 如果采用D3D技術(shù)擅染，較佳地，該模型的世界坐標(biāo)系與D3D采用的一致，即笛卡爾 左手坐標(biāo)系。
[0073] 作為另一種可實(shí)施方式，半球模型本身也可W與魚眼參數(shù)無關(guān)，例如取R=I的單 位半球，其半球模型本身與魚眼參數(shù)無關(guān)。
[0074] 步驟S300,建立所述3D半球模型的頂點(diǎn)與所述原始魚眼圖像之間的紋理映射關(guān) 系；
[0075] 較佳地，所述步驟S300包括如下步驟：
[0076] 步驟S310,將所述原始魚眼圖像作為紋理圖像貼圖于建立的所述3D半球模型上；
[0077] 所述原始魚眼圖像作為紋理圖像貼圖于建立的3D半球模型上，只有準(zhǔn)確的映射關(guān) 系才能保證還原的3D場(chǎng)景無崎變。
[0078] 圖4-2是半球模型與魚眼圖像的映射示意圖。圖中，中、0是模型點(diǎn)P(x，y，z)分別與 X、y軸的夾角，R為模型半徑，r為圖像映射點(diǎn)距離圓屯、的距離。
[0079] 本發(fā)明實(shí)施例可采用S角函數(shù)模型進(jìn)行貼圖，例如Orthographic(正射）、 Equisolid angle(立體角）、Stereographic(球形投影）采用的映射函數(shù)分別為r = f sin (白）、r = 2f sin(目/2)、r = 2f tan(目/2)，其中f為魚眼鏡頭的焦距。但是，運(yùn)些模型的缺點(diǎn)是 隨著0的增大崎變?cè)龃?，效果不理想?br>[0080] 較佳地，本發(fā)明實(shí)施例也可W采用多項(xiàng)式模型r = k〇+kl目+k2目2+. . .+kn目n，其中， ko. . .kn為常系數(shù)，n為正整數(shù)，其克服了隨著0的增大崎變?cè)龃?，效果不理想的問題。
[0081] 步驟S320,計(jì)算紋理坐標(biāo)(u，v)的公式如下式（1)、（2)，其中（xo，yo)為魚眼圖像的 圓屯、坐標(biāo)，W、H為圖像寬度和高度。
[0082] u=(r cos(0)+xo)/W (I)
[0083] v=(r sin(0)+yo)/H (2)
[0084] 步驟S400,根據(jù)所述的紋理照射關(guān)系，對(duì)原始魚眼圖像進(jìn)行綁定，進(jìn)行3D擅染，得 到擅染后的所述3D全景顯示圖像。
[00化]本發(fā)明實(shí)施例利用3D擅染技術(shù)，如化en化（Open Graphics Library,開放圖形 庫）、D3D(Direct3D)，或者其他3D擅染技術(shù)，將魚眼圖像作為紋理圖像，按照設(shè)定的紋理映 射關(guān)系，貼圖到建好的3D半球模型上，最后通過擅染3D半球模型得到無崎變的立體場(chǎng)景。
[0086] 所述步驟S400包括如下步驟：
[0087] 步驟S410,將3D半球模型按經(jīng)締度劃分為網(wǎng)格，網(wǎng)格的交點(diǎn)作為化en化/D3D的頂 點(diǎn)(Ve;rtex)，并用步驟S300中獲得的五維向量(x，y，z，u，v)描述頂點(diǎn)，其中，（x，y，z)是頂點(diǎn) 的S維世界坐標(biāo)，（u，v)是魚眼圖像的紋理坐標(biāo)，參見圖4-2,所有頂點(diǎn)的集合構(gòu)成了 0penGL/D3D可擅染的半球幾何體。
[0088] 步驟S420，利用化en化/D3D的紋理貼圖技術(shù)，將原始魚眼圖像綁定為紋理圖像，通 過設(shè)定世界變換、視圖變換、投影變換矩陣，并調(diào)用化en化/D3D的繪制函數(shù)繪制頂點(diǎn)集合得 到不同的擅染效果。
[0089] 利用化en化/D3D的紋理貼圖技術(shù)，將原始魚眼圖像的魚眼照片或視頻中的一帖圖 像綁定為紋理圖像，接下來只要設(shè)定世界變換、視圖變換、投影變換矩陣，并調(diào)用化en化/ D3D的繪制函數(shù)繪制頂點(diǎn)集合即可看到不同的擅染效果。
[0090] 圖4-4是視點(diǎn)在半球模型外，視線朝向半球的擅染效果；
[0091] 圖4-5、圖4-6、圖4-7是視點(diǎn)在半球模型內(nèi)，視線朝向外部不同方向的擅染效果。
[0092] 可W看到，在運(yùn)種模式下，圖4-1中崎變嚴(yán)重的魚眼圖像已經(jīng)被校正為無崎變的正 常圖像，效果遠(yuǎn)好于其它通用方法。而且，通過改變視線方向能夠看到水平360°-周、垂直 到頭頂?shù)牧Ⅲw影像。不僅充分利用了魚眼圖像的信息，沒有任何損失，而且與真實(shí)環(huán)境別無 二致，立體感強(qiáng)。
[0093] 由于紋理坐標(biāo)是直接作用于魚眼圖像的，沒有中間轉(zhuǎn)換過程，計(jì)算速度快，本發(fā)明 在實(shí)時(shí)魚眼視頻流和魚眼視頻文件回放過程中都表現(xiàn)優(yōu)異。
[0094] 與拼接全景相比，本發(fā)明沒有任何盲區(qū)、亮度不均、重影、鬼影等問題;而且計(jì)算簡(jiǎn) 單，實(shí)時(shí)性好。
[00巧]步驟S500,對(duì)3D全景顯示圖像進(jìn)行交互。
[0096] 為配合3D顯示效果，可利用鼠標(biāo)移動(dòng)(包括但不限于計(jì)算機(jī)等設(shè)備）、手指滑動(dòng)(包 括但不限于手機(jī)、Ipad等移動(dòng)設(shè)備)或者晃動(dòng)設(shè)備利用其自身的重力感應(yīng)來改變視線方向， 看到完整的3D場(chǎng)景，得到交互的3D全景圖像。
[0097] 圖5-1~圖5-7、圖6-1~圖6-9分別W360°x 230°魚眼鏡頭且鏡頭水平向下、前向 為例進(jìn)行說明。圖中，世界坐標(biāo)系、五維向量(x，y，z，u，v)的定義及所用的紋理映射模型與 鏡頭水平向上時(shí)是一致的，同時(shí)給出了外視點(diǎn)、內(nèi)視點(diǎn)不同視線方向時(shí)的擅染效果。
[0098] 為解決本發(fā)明現(xiàn)有技術(shù)中的問題，本發(fā)明還提供一種魚眼鏡頭拍攝圖像的3D全景 顯示系統(tǒng)，如圖7所示，包括標(biāo)定模塊10,建立模型模塊20,建立紋理映射關(guān)系模塊30, W及 綁定模塊40;其中：
[0099] 所述標(biāo)定模塊10,用于對(duì)原始魚眼圖像運(yùn)算得到魚眼圖像的標(biāo)定參數(shù)；
[0100] 所述建立模型模塊20,用于根據(jù)所述魚眼圖像的標(biāo)定參數(shù)，建立3D半球模型；
[0101] 所述建立紋理映射關(guān)系模塊30,用于建立所述3D半球模型的頂點(diǎn)與所述原始魚眼 圖像之間的紋理映射關(guān)系；
[0102] 所述綁定模塊40,用于根據(jù)所述的紋理照射關(guān)系，對(duì)原始魚眼圖像進(jìn)行綁定，得到 所述3D全景顯示圖像。
[0103] 作為一種較佳實(shí)施例，所述建立紋理映射關(guān)系模塊30,包括貼圖子模塊31和計(jì)算 子模塊32,其中：
[0104] 所述貼圖子模塊31，用于將所述原始魚眼圖像作為紋理圖像貼圖于建立的所述3D 半球模型上；
[0105] 所述計(jì)算子模塊32,用于通過公式（1)、（2)計(jì)算紋理坐標(biāo)(u，v)。
[0106] 作為一種較佳的實(shí)施例，本發(fā)明實(shí)施例的魚眼鏡頭拍攝圖像的3D全景顯示系統(tǒng)， 所述綁定模塊40,包括擅染子模塊41，用于根據(jù)對(duì)綁定后的原始魚眼圖像進(jìn)行3D擅染，得到 擅染后的所述3D全景顯示圖像。
[0107] 所述綁定模塊40將3D半球模型按經(jīng)締度劃分為網(wǎng)格，網(wǎng)格的交點(diǎn)作為化en化/D3D 的頂點(diǎn)(Ve;rtex)，并用獲得的五維向量(x，y，z，u，v)描述頂點(diǎn)，其中，（x，y，z)是頂點(diǎn)的S維 世界坐標(biāo)，（u，v)是魚眼圖像的紋理坐標(biāo)，所有頂點(diǎn)的集合構(gòu)成了化en化/D3D可擅染的半球 幾何體。
[0108] 利用化en化/D3D的紋理貼圖技術(shù)，將魚眼照片或視頻中的一帖圖像綁定為紋理圖 像，接下來設(shè)定世界變換、視圖變換、投影變換矩陣，并調(diào)用化en化/D3D的繪制函數(shù)繪制頂 點(diǎn)集合即可看到不同的擅染效果。
[0109] 作為一種較佳的實(shí)施例，本發(fā)明實(shí)施例的魚眼鏡頭拍攝圖像的3D全景顯示系統(tǒng)， 還更進(jìn)一步包括交互模塊50,用于對(duì)3D全景顯示圖像進(jìn)行交互。
[0110] 本發(fā)明實(shí)施例的魚眼鏡頭拍攝圖像的3D全景顯示系統(tǒng)，其工作的過程與本發(fā)明實(shí) 施例的魚眼鏡頭拍攝圖像的3D全景顯示方法基本相同，因此，在本發(fā)明關(guān)于該系統(tǒng)的工作 描述中，不再一一重復(fù)描述。
[0111] 本發(fā)明實(shí)施例中，對(duì)魚眼鏡頭將其拍攝的全景圖像采用3D模型還原為3D場(chǎng)景，計(jì) 算簡(jiǎn)單、速度快、實(shí)時(shí)性好、圖像和/或視頻流楊。其進(jìn)一步可W直接利用GPlKGraphics Processing化it,圖形處理器)進(jìn)行3D擅染運(yùn)算，讓人看到無崎變的立體場(chǎng)景，猶如身臨其 境。其解決了現(xiàn)有魚眼全景垂直視野較小、校正效果不理想、信息有損失的問題，W及只有 2D平面顯示效果的局限。更進(jìn)一步地，其將視野擴(kuò)大到超過360°x 180°，無崎變，有沉浸感。
[0112] 本說明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，各個(gè)實(shí)施例之間相同相似的部 分互相參見即可，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處。尤其，對(duì)于系統(tǒng)或 系統(tǒng)實(shí)施例而言，由于其與方法實(shí)施例相似，所W描述得比較簡(jiǎn)單，相關(guān)之處參見方法實(shí)施 例的部分說明即可。W上所描述的系統(tǒng)及系統(tǒng)實(shí)施例僅僅是示意性的，其中所述作為分離 部件說明的單元可W是或者也可W不是物理上分開的，作為模塊顯示的部件可W是或者也 可W不是物理單元，即可W位于一個(gè)地方，或者也可W分布到多個(gè)網(wǎng)絡(luò)模塊上。可W根據(jù)實(shí) 際的需要選擇其中的部分或者全部模塊來實(shí)現(xiàn)本實(shí)施例方案的目的。本領(lǐng)域普通技術(shù)人員 在不付出創(chuàng)造性勞動(dòng)的情況下，即可W理解并實(shí)施。
[0113] 本領(lǐng)域普通技術(shù)人員應(yīng)該還可W進(jìn)一步意識(shí)到，結(jié)合本文中所公開的實(shí)施例描述 的各示例的單元及算法步驟，能夠W電子硬件、計(jì)算機(jī)軟件或者二者的結(jié)合來實(shí)現(xiàn)，為了清 楚地說明硬件和軟件的可互換性，在上述說明中已經(jīng)按照功能一般性地描述了各示例的組 成及步驟。運(yùn)些功能究竟W硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì) 約束條件。本領(lǐng)域普通技術(shù)人員可W對(duì)每個(gè)特定的應(yīng)用來使用不同方法來實(shí)現(xiàn)所描述的功 能，但是運(yùn)種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。
[0114] 結(jié)合本文中所公開的實(shí)施例描述的方法或算法的步驟可W用硬件、處理器執(zhí)行的 軟件模塊，或者二者的結(jié)合來實(shí)施。軟件模塊可W置于隨機(jī)存儲(chǔ)器(RAM)、內(nèi)存、只讀存儲(chǔ)器 (ROM)、電可編程ROM、電可擦除可編程ROM、寄存器、硬盤、可移動(dòng)磁盤、CD-ROM、或技術(shù)領(lǐng)域 內(nèi)所公知的任意其它形式的存儲(chǔ)介質(zhì)中。
[0115] W上所述的【具體實(shí)施方式】，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)軌道了進(jìn)一 步詳細(xì)說明，所應(yīng)理解的是，W上所述僅為本發(fā)明的【具體實(shí)施方式】而已，并不用于限定本發(fā) 明的保護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包 含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種魚眼鏡頭的3D全景顯示方法，其特征在于，包括如下步驟： 對(duì)原始魚眼圖像運(yùn)算得到魚眼圖像的標(biāo)定參數(shù)； 建立3D模型； 建立所述3D模型的頂點(diǎn)與所述原始魚眼圖像之間的紋理映射關(guān)系； 根據(jù)所述的紋理照射關(guān)系，對(duì)原始魚眼圖像進(jìn)行綁定，得到3D全景顯示圖像。2. 根據(jù)權(quán)利要求1所述的3D全景顯示方法，其特征在于，所述對(duì)原始魚眼圖像進(jìn)行綁定 之后，還包括如下步驟： 對(duì)原始魚眼圖像綁定后，進(jìn)行3D渲染，得到渲染后的所述3D全景顯示圖像。3. 根據(jù)權(quán)利要求1或2所述的3D全景顯示方法，其特征在于，還包括如下步驟： 對(duì)所述3D全景顯示圖像進(jìn)行交互。4. 根據(jù)權(quán)利要求2所述的3D全景顯示方法，其特征在于，所述魚眼圖像進(jìn)行運(yùn)算采用統(tǒng) 計(jì)算法或者掃描線逼近算法實(shí)現(xiàn)。5. 根據(jù)權(quán)利要求4所述的3D全景顯示方法，其特征在于，所述建立紋理映射關(guān)系，包括 如下步驟： 將所述原始魚眼圖像作為紋理圖像貼圖于建立的所述3D模型上； 計(jì)算紋理坐標(biāo)(u，v)。6. 根據(jù)權(quán)利要求5所述的3D全景顯示方法，其特征在于，所述進(jìn)行貼圖采用三角函數(shù)模 型或者多項(xiàng)式模型。7. 根據(jù)權(quán)利要求6所述的3D全景顯示方法，其特征在于，所述多項(xiàng)式模型為riko+kd+ k202+· · .+Mn，其中，k?！?· .kn為常系數(shù)，η為正整數(shù)； 所述計(jì)算紋理坐標(biāo)(u，v)的公式如下： u=(r cos(9)+x〇)/ff V= (r sin(0)+y〇)/H 其中(x〇，y〇)為魚眼圖像的圓心坐標(biāo)，W、H為圖像寬度和高度。8. 根據(jù)權(quán)利要求7所述的3D全景顯示方法，其特征在于，所述對(duì)原始魚眼圖像進(jìn)行綁 定，包括如下步驟： 將3D模型按經(jīng)煒度劃分為網(wǎng)格，網(wǎng)格的交點(diǎn)作為頂點(diǎn)，并用所獲得的五維向量(x，y，z， u，v)描述所述頂點(diǎn)，其中，（x，y，z)是頂點(diǎn)的三維世界坐標(biāo)，（u，v)是魚眼圖像的紋理坐標(biāo)， 所有頂點(diǎn)的集合構(gòu)成了可渲染的幾何體； 利用紋理貼圖技術(shù)，將原始魚眼圖像綁定為紋理圖像，通過設(shè)定世界變換、視圖變換、 投影變換矩陣，并調(diào)用繪制函數(shù)繪制頂點(diǎn)集合得到不同的效果。9. 一種魚眼鏡頭拍攝圖像的3D全景顯示系統(tǒng)，其特征在于，包括標(biāo)定模塊，建立模型模 塊，建立紋理映射關(guān)系模塊，以及綁定模塊； 其中： 所述標(biāo)定模塊，用于對(duì)原始魚眼圖像運(yùn)算得到魚眼圖像的標(biāo)定參數(shù)； 所述建立模型模塊，用于建立3D模型； 所述建立紋理映射關(guān)系模塊，用于建立所述3D模型的頂點(diǎn)與所述原始魚眼圖像之間的 紋理映射關(guān)系； 所述綁定模塊，用于根據(jù)所述的紋理照射關(guān)系，對(duì)原始魚眼圖像進(jìn)行綁定，得到3D全景 顯示圖像。10. 根據(jù)權(quán)利要求10所述的3D全景顯示系統(tǒng)，其特征在于，所述建立紋理映射關(guān)系模 塊，包括貼圖子模塊和計(jì)算子模塊，其中： 所述貼圖子模塊，用于將所述原始魚眼圖像作為紋理圖像貼圖于建立的所述3D模型 上； 所述計(jì)算子模塊，用于計(jì)算紋理坐標(biāo)(U，v)。11. 根據(jù)權(quán)利要求9所述的3D全景顯示系統(tǒng)，其特征在于，所述綁定模塊，包括渲染子模 塊，用于根據(jù)對(duì)綁定后的原始魚眼圖像進(jìn)行3D渲染，得到渲染后的所述3D全景顯示圖像。12. 根據(jù)權(quán)利要求9所述的3D全景顯示系統(tǒng)，其特征在于，還包括交互模塊，用于對(duì)所述 3D全景顯示圖像進(jìn)行交互。
【文檔編號(hào)】G06T7/00GK105957048SQ201610049506
【公開日】2016年9月21日
【申請(qǐng)日】2016年1月26日
【發(fā)明人】李偉, 范治江
【申請(qǐng)人】?jī)?yōu)勢(shì)拓展（北京）科技有限公司