專利名稱：實(shí)時(shí)全景無縫無失真視頻攝像機(jī)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及攝像系統(tǒng)領(lǐng)域，尤其涉及一種實(shí)時(shí)全景無縫無失真視頻攝像機(jī)。
背景技術(shù)：
目前，視頻裝置有多種類型民用的攝像機(jī)、帶攝像功能的數(shù)碼相機(jī)、監(jiān)控 攝像機(jī)、特殊成像攝像機(jī)。民用攝像機(jī)、數(shù)碼相機(jī)和監(jiān)控?cái)z像機(jī)的視頻獲取共 同特點(diǎn)是可視范圍由鏡頭可視范圍大小決定，因此除非使用球面鏡頭，否則不 可能在不移動(dòng)機(jī)體的情況下獲得全景的視頻圖像。當(dāng)前公知的使用球面鏡頭的 全景成像系統(tǒng)，能夠通過廣角的光學(xué)成像鏡頭獲得全景圖像，但是展開后的圖 像產(chǎn)生了嚴(yán)重的圖像變形效果，所得到的是失真嚴(yán)重的全景視頻圖像。已公布 的方法中可以通過復(fù)雜耗時(shí)的計(jì)算機(jī)程序運(yùn)算對(duì)變形圖像進(jìn)行處理，從而獲得 失真較小的圖像，但是這種方法不可能實(shí)時(shí)的獲得合理水平的分辨率圖像，因 此該方法不適用于實(shí)時(shí)視頻獲取的場合。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種實(shí)時(shí)全景無縫無失真視頻攝像機(jī)。 一種實(shí)時(shí)全景無縫無失真視頻攝像機(jī)包括主體外殼，主體外殼中間設(shè)有分隔 板，位于分隔板上部的主體外殼側(cè)壁上設(shè)有多個(gè)攝像頭模塊，攝像頭模塊通過 攝像模塊盒固定在主體外殼上，多個(gè)攝像頭模塊之間通過數(shù)據(jù)連接線相連接， 主體外殼分隔板下方設(shè)有控制器、可充電蓄電池、開關(guān)電源。
另一種實(shí)時(shí)全景無縫無失真視頻攝像機(jī)包括主體外殼，主體外殼中間設(shè)有 分隔板，位于分隔板上部的主體外殼側(cè)壁上設(shè)有多個(gè)攝像頭模塊，攝像頭模塊 通過攝像模塊盒固定在主體外殼上，多個(gè)攝像頭模塊之間通過數(shù)據(jù)連接線相連 接，主體外殼分隔板上方設(shè)有控制器，主體外殼分隔板下方設(shè)有開關(guān)電源，在 主體外殼下方設(shè)有電池倉外殼，主體外殼底部設(shè)有對(duì)接母頭，電池倉外殼頂部 設(shè)有對(duì)接公頭。
所述的多個(gè)攝像頭模塊陣列，數(shù)量為4 12?？刂破鞑捎肞IC16C54單片機(jī)。 主體外殼與電池倉外殼通過四芯對(duì)接插針，對(duì)接口母頭和對(duì)接頭公頭來對(duì)插連接。
本發(fā)明能夠提供全景視頻圖像的視頻系統(tǒng)對(duì)于多種應(yīng)用是非常有利的。作為 系統(tǒng)實(shí)施的范例，此種系統(tǒng)可以作為實(shí)時(shí)的監(jiān)控設(shè)備，可以在單一顯示器上進(jìn) 行實(shí)時(shí)監(jiān)控，省卻了復(fù)雜的顯示器陣列和多位置攝像頭的安裝。此外，可以獲
取真實(shí)的道路信息以用于城鎮(zhèn)的道路導(dǎo)航系統(tǒng)，結(jié)合路徑選擇程序?qū)π凶呗肪€ 進(jìn)行直觀有效的引導(dǎo)。系統(tǒng)所獲得的高質(zhì)量全景視頻可用于交互娛樂系統(tǒng)或交 互軍事訓(xùn)練系統(tǒng)中的真實(shí)環(huán)境影像的獲得。還可安裝于自動(dòng)行走裝置上用于機(jī)
器人成像系統(tǒng)，以滿足軍事或治安偵察的目的。


圖l是單體式實(shí)時(shí)全景無縫無失真視頻攝像機(jī)剖視圖2是分體式實(shí)時(shí)全景無縫無失真視頻攝像機(jī)剖視圖3 (a)是分體式實(shí)時(shí)全景無縫無失真視頻攝像機(jī)頂視圖3 (b)是分體式實(shí)時(shí)全景無縫無失真視頻攝像機(jī)連接部A-A剖視圖4是本發(fā)明的系統(tǒng)原理圖5是本發(fā)明的成像原理圖 圖6是本發(fā)明的軟件流程圖。
具體實(shí)施例方式
如圖1所示，單體式實(shí)時(shí)全景無縫無失真視頻攝像機(jī)包括主體外殼1，主體 外殼中間設(shè)有分隔板10，位于分隔板上部的主體外殼側(cè)壁上設(shè)有多個(gè)攝像頭模 塊3，攝像頭模塊通過攝像模塊盒7固定在主體外殼上，多個(gè)攝像頭模塊之間通 過數(shù)據(jù)連接線9相連接，主體外殼分隔板下方設(shè)有控制器11、可充電蓄電池12、 開關(guān)電源13。單體式系統(tǒng)包括多個(gè)攝像頭模塊3陣列，數(shù)量為4 12?？刂破?11采用PIC16C54單片機(jī)。所有的系統(tǒng)部件集中在單一外殼中。在單體式系統(tǒng) 工作狀態(tài)下，系統(tǒng)分散部件少，集成度高，整體體積小，容易使用及管理，系 統(tǒng)維護(hù)簡便。
單體式實(shí)時(shí)全景無縫無失真視頻攝像機(jī)通過連接外部電源獲得工作電源和 充電電源。在電源連接的情況下，六組攝像頭即開始工作，獲取周圍視頻信息。 在外部電源無效的情況下，控制器ll立即接通電池供電，其切換過程不會(huì)導(dǎo)致 系統(tǒng)工作中斷。內(nèi)部蓄電池12在滿電狀態(tài)下可供給系統(tǒng)持續(xù)工作24小時(shí)。蓄 電池電量用完后在仍無外部供電的情況下，主控板控制攝像機(jī)關(guān)機(jī)。如外部供 電恢復(fù)，控制器ll控制充電器對(duì)缺電蓄電池進(jìn)行充電。
如圖2所示分體式實(shí)時(shí)全景無縫無失真視頻攝像機(jī)包括主體外殼1，主體外 殼中間設(shè)有分隔板10，位于分隔板上部的主體外殼側(cè)壁上設(shè)有多個(gè)攝像頭模塊 3，攝像頭模塊通過攝像模塊盒7固定在主體外殼上，多個(gè)攝像頭模塊之間通過 數(shù)據(jù)連接線9相連接，主體外殼分隔板上方設(shè)有控制器11，主體外殼分隔板下 方設(shè)有開關(guān)電源13，在主體外殼1下方設(shè)有電池倉外殼15，主體外殼l底部設(shè)
有對(duì)接母頭，電池倉外殼15頂部設(shè)有對(duì)接公頭。分體式系統(tǒng)包括多個(gè)攝像頭模 塊3陣列，數(shù)量為4 12?？刂破鱨l采用PIC16C54單片機(jī)。主體外殼1與電 池倉外殼15通過四芯對(duì)接插針19，對(duì)接口母頭19和對(duì)接頭公頭20來對(duì)插連接。 系統(tǒng)部件分布于兩個(gè)單體外殼中——主體外殼與電池外殼。在分體式系統(tǒng)工作 狀態(tài)下，主體通過接口 3與電池部分連接，連接方式有直插和連線兩種方式。 通過直插方式連接的系統(tǒng)與單體式系統(tǒng)使用方式是相同的。通過連線方式可以 把主體與電池分別放置，兩者通過中間連線來建立工作狀態(tài)。分體式工作狀態(tài) 下通過減輕主體重要增加了系統(tǒng)的靈活性，使用更為便利。
分體式實(shí)時(shí)全景無縫無失真視頻攝像機(jī)通過連接外部電源獲得工作電源和 充電電源。在電源連接的情況下，六組攝像頭即開始工作，獲取周圍視頻信息。 在外部電源無效并且電池部分正常連接的情況下，控制器11立即接通電池供電， 其切換過程不會(huì)導(dǎo)致系統(tǒng)工作中斷。內(nèi)部蓄電池12在滿電狀態(tài)下可供給系統(tǒng)持 續(xù)工作24小時(shí)。蓄電池電量用完后在仍無外部供電的情況下，主控板控制攝像 機(jī)關(guān)機(jī)。如電池部分沒有正常接入，則控制器ll切斷主機(jī)電源并關(guān)機(jī)。在外部 電源和電池都正常連接的情況下，控制器11控制充電器對(duì)缺電蓄電池進(jìn)行充電。 如圖4所示，多攝像頭陣列有六個(gè)獨(dú)立高分辨率攝像頭通過各自的廣角光 學(xué)鏡頭獲得六個(gè)邊界重疊的視頻圖像。獲得的視頻通過兩路火線高速傳輸通道 (Firewire 800)傳輸至計(jì)算機(jī)上的系統(tǒng)處理軟件中?；鹁€傳輸支持串行數(shù)據(jù)傳 輸，使用兩路火線即每三個(gè)獨(dú)立攝像頭占用一路通道，有效保證了 1024X768 大分辨率、30*s以上高數(shù)據(jù)量狀態(tài)下視頻的實(shí)時(shí)通暢傳輸。外部電路的供電部 分用于支持系統(tǒng)穩(wěn)定工作，以及無外接電源環(huán)境下的持續(xù)工作能力。視頻數(shù)據(jù) 傳遞至計(jì)算機(jī)內(nèi)的處理軟件中，經(jīng)過軟件標(biāo)定、同步、匹配的環(huán)節(jié)把視頻處理 成圖像上連續(xù)完整的視頻段，經(jīng)拼接成單一視頻后最終輸出成單一無失真的視 頻文件。
如圖5所示，多攝像頭陣列由六個(gè)獨(dú)立高分辨率攝像頭六邊形柱面陣列分 布，通過各自的廣角光學(xué)鏡頭獲得六個(gè)邊界重疊的視頻圖像。六邊柱面成像由 六臺(tái)獨(dú)立的攝像機(jī)按照60度的夾角放置而成。由各攝像頭的鏡頭角度形成了視 區(qū)、盲區(qū)和重疊區(qū)。視區(qū)是無需經(jīng)過處理即可進(jìn)行最終拼接的視頻區(qū)域。盲區(qū) 內(nèi)的物體無法被鏡頭攝入，是最終視頻中無法獲取的區(qū)域。重疊區(qū)的物體和環(huán) 境同時(shí)存在于相鄰的兩攝像機(jī)視頻的邊緣位置上，兩路獨(dú)立的視頻在處理軟件 中進(jìn)行檢測和匹配處理，形成可以與視區(qū)完美拼接的視頻。
如圖6所示，攝像頭獲取視頻時(shí)，在每個(gè)視頻幀采集時(shí)都在相應(yīng)音頻軌道
寫入一個(gè)時(shí)間戳，通過這些時(shí)間戳將各個(gè)視頻流中屬于同一時(shí)刻的幀都一一對(duì) 應(yīng)起來。攝像機(jī)先從不同方向拍攝一個(gè)平面模板(作為標(biāo)定物)的多幅圖像，對(duì)于 每個(gè)視點(diǎn)獲得圖像，提取圖像上的網(wǎng)格角點(diǎn)；平面模板與圖像間的網(wǎng)格角點(diǎn)對(duì) 應(yīng)關(guān)系，確定了單應(yīng)性矩陣(Homography);那么對(duì)每幅圖像，就可確定一個(gè)單 應(yīng)性矩陣，這樣就能夠通過攝像機(jī)標(biāo)定的方法對(duì)各個(gè)視頻流分別進(jìn)行矯正。
接下來對(duì)一組同步的視頻幀進(jìn)行全景拼接，計(jì)算出各幀的拼接參數(shù)。拼接參 數(shù)來自于幀配準(zhǔn)、圖像再投影和平滑拼接。首先對(duì)相鄰的兩個(gè)攝像頭采集的同 步對(duì)應(yīng)幀進(jìn)行圖像配準(zhǔn),包括幾何學(xué)配準(zhǔn)和光度學(xué)配準(zhǔn)。幾何學(xué)配準(zhǔn)采用先使用 基于頻域分析的方法來得到仿射模型，再進(jìn)而根據(jù)需要，利用光流的方法在仿 射模型的基礎(chǔ)上得到投影模型；光度學(xué)配準(zhǔn)利用一個(gè)從幾何配準(zhǔn)的輸入圖像估 計(jì)光度模型參數(shù)。將光度模型分為RGB三個(gè)通道進(jìn)行單獨(dú)處理。接著將配準(zhǔn)后 的圖像進(jìn)行再投影。由于不同攝像機(jī)的圖像之間存在視差，不能直接用于拼接。 對(duì)圖像進(jìn)行圓柱投影可以減少圖像之間的視差。由于圖像間幾何校正和光度學(xué) 校正的誤差，并且存在視差，使得圖像間存在拼接裂縫，因此必須采用平滑策 略消除全景視頻中的拼接裂縫。對(duì)于簡單的場景我們采用簡單圖像平滑策略， 在兩幅圖的重疊區(qū)域，我們將兩幀圖的象素值按一定的權(quán)值合成到新圖。對(duì)于 復(fù)雜的場景采用多分辨率圖像平滑策略，首先求得拼接后圖像的重合區(qū)域在兩 幀圖像上的對(duì)應(yīng)部分，以這兩幅公共部分圖像的尺寸生成一幅二值圖像，在縫 合線的周圍，不同的頻段采用不同寬度的平滑帶。在高頻部分，也就是圖像變 化較為尖銳的部分，平滑帶窄一些，而在頻率較低的部分，也就是圖像變化較 為緩和的部分，平滑帶寬一些。
然后將計(jì)算的拼接參數(shù)應(yīng)用到各視頻流中的每一幀，再將同步的每一組幀 進(jìn)行拼接，得到由全景幀組成的全景視頻。由于各攝像頭均固定焦距和相關(guān)光 學(xué)參數(shù)，彼此之間位置固定，視頻的融合區(qū)和成像區(qū)域?yàn)槌?shù)，每一幀的縫合 合成函數(shù)也相同，因此可以保持拼接參數(shù)不變，這樣就能極大的提高拼接效率。
權(quán)利要求
1.一種實(shí)時(shí)全景無縫無失真視頻攝像機(jī)，其特征在于包括主體外殼(1)，主體外殼中間設(shè)有分隔板(10)，位于分隔板上部的主體外殼側(cè)壁上設(shè)有多個(gè)攝像頭模塊(3)，攝像頭模塊通過攝像模塊盒(7)固定在主體外殼上，多個(gè)攝像頭模塊之間通過數(shù)據(jù)連接線(9)相連接，主體外殼分隔板下方設(shè)有控制器(11)、可充電蓄電池(12)、開關(guān)電源(13)。
2. 根據(jù)權(quán)利要求1所述的一種實(shí)時(shí)全景無縫無失真視頻攝像機(jī)，其特征在于 所述的多個(gè)攝像頭模塊(3)陣列，數(shù)量為4 12。
3. 根據(jù)權(quán)利要求1所述的一種實(shí)時(shí)全景無縫無失真視頻攝像機(jī)，其特征在于 所述的控制器(ll)采用PIC16C54單片機(jī)。
4. 一種實(shí)時(shí)全景無縫無失真視頻攝像機(jī)，其特征在于包括主體外殼(1)，主 體外殼中間設(shè)有分隔板(IO)，位于分隔板上部的主體外殼側(cè)壁上設(shè)有多個(gè)攝像頭 模塊(3)，攝像頭模塊通過攝像模塊盒(7)固定在主體外殼上，多個(gè)攝像頭模塊 之間通過數(shù)據(jù)連接線(9)相連接，主體外殼分隔板上方設(shè)有控制器(ll)，主體外殼 分隔板下方設(shè)有開關(guān)電源(13)，在主體外殼(1)下方設(shè)有電池倉外殼15，主體 外殼(1)底部設(shè)有對(duì)接母頭，電池倉外殼(15)頂部設(shè)有對(duì)接公頭。
5. 根據(jù)權(quán)利要求4所述的一種實(shí)時(shí)全景無縫無失真視頻攝像機(jī)，其特征在于 所述的多個(gè)攝像頭模塊(3)陣列，數(shù)量為4 12。
6. 根據(jù)權(quán)利要求4所述的一種實(shí)時(shí)全景無縫無失真視頻攝像機(jī)，其特征在于 所述的控制器(ll)采用PIC16C54單片機(jī)。
7. 根據(jù)權(quán)利要求4所述的一種實(shí)時(shí)全景無縫無失真視頻攝像機(jī)，其特征在于 主體外殼(1)與電池倉外殼(15)通過四芯對(duì)接插針(19)，對(duì)接口母頭(19) 和對(duì)接頭公頭(20)來對(duì)插連接。
全文摘要
本發(fā)明公開了一種實(shí)時(shí)全景無縫無失真視頻攝像機(jī)。它包括主體外殼，主體外殼中間設(shè)有分隔板，位于分隔板上部的主體外殼側(cè)壁上設(shè)有多個(gè)攝像頭模塊，攝像頭模塊通過攝像模塊盒固定在主體外殼上，多個(gè)攝像頭模塊之間通過數(shù)據(jù)連接線相連接，主體外殼分隔板下方設(shè)有控制器、可充電蓄電池、開關(guān)電源。本發(fā)明可以作為實(shí)時(shí)的監(jiān)控設(shè)備，可以在單一顯示器上進(jìn)行實(shí)時(shí)監(jiān)控。還可以獲取真實(shí)的道路信息以用于城鎮(zhèn)的道路導(dǎo)航系統(tǒng)，結(jié)合路徑選擇程序?qū)π凶呗肪€進(jìn)行直觀有效的引導(dǎo)。系統(tǒng)所獲得的高質(zhì)量全景視頻可用于交互娛樂系統(tǒng)或交互軍事訓(xùn)練系統(tǒng)中的真實(shí)環(huán)境影像的獲得，并且可以安裝于自動(dòng)行走裝置上用于機(jī)器人成像系統(tǒng)，以滿足軍事或治安偵察的目的。
文檔編號(hào)H04N7/18GK101102514SQ20071007023
公開日2008年1月9日 申請(qǐng)日期2007年7月27日 優(yōu)先權(quán)日2007年7月27日
發(fā)明者飛 吳, 琤 姚, 莊越挺, 翁建廣 申請(qǐng)人:浙江大學(xué)