專利名稱：路途全景圖像帶的攝取、生成、傳輸和顯示方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種新型數(shù)字媒體——路途全景圖像帶的的制作方法，包括它的攝取、生成、傳輸和顯示方法，屬于計(jì)算機(jī)通信、媒體技術(shù)、數(shù)字信息技術(shù)領(lǐng)域。
然而，360度環(huán)景圖像僅是固定位置觀察出去的圖像表現(xiàn)形式，要完整連續(xù)地顯示象整條街道那樣的景色，除了使用錄像外還沒有別的方法。由于錄像的數(shù)據(jù)量大，在網(wǎng)絡(luò)中的傳輸所需的時(shí)間長(zhǎng)，所以還沒有十分理想的網(wǎng)絡(luò)載體能實(shí)時(shí)地顯示高分辨率的街景。如現(xiàn)在常用的Realplayer等軟件，經(jīng)常由于網(wǎng)絡(luò)速度慢或用戶多而中斷。用錄像記錄整個(gè)城市所有街道的景觀由于龐大的圖像數(shù)據(jù)而不可能。

發(fā)明內(nèi)容
及
具體實(shí)施例方式本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，創(chuàng)造提供一種新型的圖像模式一路途全景圖像帶的攝取、生成、傳輸和顯示方法，使之與錄像相比數(shù)據(jù)量極小，獲取方便，利于在數(shù)字通訊中傳輸，能用于構(gòu)筑都市環(huán)境的視覺模型，成為一種新型的圖像媒體，在數(shù)字信息技術(shù)領(lǐng)域和城市發(fā)展及旅游、歷史文化的記錄保存等方面得到廣泛的應(yīng)用。
為了實(shí)現(xiàn)上述目的，本發(fā)明在技術(shù)方案中，注意到當(dāng)錄像機(jī)橫掃街景時(shí)，錄像中連續(xù)的圖像之間有很多重復(fù)的部分。利用這一特點(diǎn)壓縮這部分圖像數(shù)據(jù)，可獲得數(shù)據(jù)量約是錄像的幾百分之一的圖像帶。由此，本發(fā)明在拍攝沿路途的錄像時(shí)，從連續(xù)的圖像中的某一固定的位置上抽取一維的圖像線(或狹窄的圖像片段)，并將這些圖像線按時(shí)間在計(jì)算機(jī)內(nèi)存中排列，最終生成很長(zhǎng)的2維圖像帶，以覆蓋絕大部分的路途景觀。這相當(dāng)于用1維的圖像線掃描路途景觀，并將連續(xù)投影成的圖像線存儲(chǔ)擴(kuò)展成圖像。路途全景圖像帶在路徑的景觀記錄上、數(shù)字傳播與顯示上有其獨(dú)特的效果。
在路途全景圖像帶的生成方面，本發(fā)明將一至數(shù)個(gè)攝像頭或一個(gè)全景攝像頭安裝在移動(dòng)載體上，沿一路徑移動(dòng)并攝取錄像，并對(duì)連續(xù)的圖像進(jìn)行實(shí)時(shí)處理，得到路途全景圖像，用它對(duì)沿途景色進(jìn)行記錄。這樣的移動(dòng)載體可以是車輛、船舶、列車或帶有防振裝置的非機(jī)動(dòng)車輛。本發(fā)明所生成的路途全景圖像帶將用于全面整體地記錄街道景觀，并作為歷史檔案保存起來(lái)。不同時(shí)期構(gòu)成的全景圖像帶將用于顯示城市街道的變遷。
本發(fā)明能在網(wǎng)絡(luò)上動(dòng)態(tài)地、實(shí)時(shí)地傳輸路途圖像帶的片段并在計(jì)算機(jī)屏面上顯示出路途景觀。由于這種圖像的數(shù)據(jù)量十分小，所以很容易將正在注視的某一段路途景觀在有線或無(wú)線網(wǎng)絡(luò)中實(shí)時(shí)傳輸。本發(fā)明采用了這樣網(wǎng)絡(luò)中動(dòng)態(tài)傳輸路途全景圖像帶的方法，大量存儲(chǔ)，快速傳輸大規(guī)模的城市路途景觀，在網(wǎng)絡(luò)上構(gòu)成虛擬導(dǎo)游系統(tǒng)，并將路途全景圖像帶顯示在移動(dòng)手機(jī)的屏幕上，形成分散型城市導(dǎo)航系統(tǒng)。
本發(fā)明還創(chuàng)造出了路途全景圖像帶的各種顯示形式。它們是路途全景圖像帶展開顯示，路途全景圖像帶的顯示(2維視窗顯示)，路途前方景觀延伸顯示，路途上的環(huán)景2維顯示。這些顯示在英特網(wǎng)網(wǎng)頁(yè)中，除構(gòu)成虛擬現(xiàn)實(shí)型的網(wǎng)上旅游外，還能應(yīng)用于其它數(shù)字媒體，例如地理學(xué)教育，交通管理，環(huán)境監(jiān)控，地址查詢，電子游戲等。
本發(fā)明還在都市環(huán)境的視覺圖像顯示中將全景圖像帶與環(huán)景圖像有機(jī)地結(jié)合起來(lái)，使在都市空間的“點(diǎn)”和“線”上都有圖像的存儲(chǔ)和顯示，以獲得對(duì)整個(gè)環(huán)境的完整記錄和全方位的顯示，最終實(shí)現(xiàn)數(shù)字化“虛擬都市”的目標(biāo)。
本發(fā)明的具體實(shí)施包括如下步驟1、路途全景圖像的獲取和生成。
在圖像平面中設(shè)定一和照相機(jī)運(yùn)動(dòng)方向相交的圖像線，從連續(xù)攝取的圖像中實(shí)時(shí)讀出像素線上的圖像分布值，并沿路途方向(時(shí)間軸)排列，以構(gòu)造出很長(zhǎng)的路途全景圖像帶。具體地可用下面的任何一種作法。用攝像機(jī)將沿途景觀記錄在錄像帶上，然后將錄相中的連接圖像輸入計(jì)算機(jī)，并在采樣到所定圖像線后將其數(shù)據(jù)考貝代入不斷擴(kuò)展的，存有路途全景圖像的內(nèi)存的尾部，然后從錄相帶輸入下一幅圖像。這樣就能得到路途全景圖像帶?；蛘?，使用攝像機(jī)并連接在帶有實(shí)時(shí)圖像輸入裝置的計(jì)算機(jī)圖像內(nèi)存，在圖像內(nèi)存中將圖像線上的數(shù)據(jù)考入路途全景圖像的內(nèi)存空間中。
本發(fā)明中的照相機(jī)對(duì)景物的觀察就如同透過(guò)一直縫看出去一樣，但卻把各個(gè)瞬時(shí)的細(xì)小的段片連接、合成在視覺空間(圖像內(nèi)存)里，形成圖像。照相機(jī)掃描了沿途的景觀，這樣獲得的路途全景圖像帶包含了沿途連續(xù)的景觀，但卻只使用很小的數(shù)據(jù)。和錄像相比，這樣的圖像帶的數(shù)據(jù)量是幾百分之一。
本發(fā)明還可以獲得各種類型的擴(kuò)充路途全景圖像。這些路途全景攝制和生成十分方便，只要將攝影裝置固定在載體上，駕駛或驅(qū)動(dòng)載體沿路徑行駛，并拍攝錄像，就能記錄沿街的全部景觀。
如在車上安放兩臺(tái)攝像機(jī)面對(duì)車輛行進(jìn)方向的兩側(cè)，當(dāng)車輛行進(jìn)時(shí)拍攝兩邊沿街的景色，經(jīng)圖像處理便能構(gòu)造出很長(zhǎng)的圖像帶，記錄了沿街的景色。
如使用錐形或類似的反射鏡配上攝像頭，或指向車輛行駛方向的側(cè)面的多個(gè)照相頭，或帶有魚眼(廣角)鏡頭的面向前方的攝像頭，來(lái)獲取路途全景圖像筒。和前面的路途全景圖像帶相比，路途全景圖像筒覆蓋了沿途上下左右各個(gè)方面的景觀內(nèi)容，且構(gòu)成一連續(xù)的圓周。這樣的圓周圖像環(huán)連續(xù)不斷地隨著車輛的行進(jìn)而延伸，形成一沿路徑的路途全景圖像筒。2、用圖像處理的方法消除載體振動(dòng)所導(dǎo)致的圖像波折的成份。
在攝取長(zhǎng)街的路途全景圖像時(shí)，由于照相機(jī)是固定在象車輛船舶那樣的運(yùn)動(dòng)載體上的，所以不可避免地會(huì)受到載體振動(dòng)的影響。每一瞬間所得到的細(xì)小圖像和其前后的相鄰的細(xì)小圖像不再是完全連續(xù)的了。這樣，在獲得的路途全景圖像中，便能看到本來(lái)是直線的圖像特征變得彎曲，甚至折斷了，這樣的圖像很難被觀眾接受。為了獲得高質(zhì)量的路途全景圖，本發(fā)明采用了一種圖像濾波和變換的方法，將圖像中彎曲的或折斷的線拉直。通過(guò)抽取路途全景圖像帶中與運(yùn)動(dòng)方向接近的邊，并追蹤連續(xù)的乃至不劇烈間斷的線段，然后通過(guò)中值濾波的方法拉平圖像帶中的所攝景物的構(gòu)造線，將車輛或船舶振動(dòng)所導(dǎo)致的波折成分消去。經(jīng)過(guò)這樣的變換，得到將振動(dòng)導(dǎo)致的曲線拉平的新圖像。
本發(fā)明上述提到的抽邊是圖像處理中的通用的特征抽取方法?？捎?jì)算圖像微分(差分)后加上二值化運(yùn)算完成。追蹤連續(xù)圖像也是運(yùn)用常用的圖像處理法完成。中值濾波是對(duì)圖像中各個(gè)橫向位置上被追蹤的曲線族的縱座標(biāo)值進(jìn)行的，中值濾波考慮曲線上各點(diǎn)和前后的點(diǎn)列的縱座標(biāo)值分布，能除去曲線上縱向的突變點(diǎn)，也即振動(dòng)引起的折斷的直線。根據(jù)糾正突變點(diǎn)時(shí)縱向位移量，將所在位置上的垂直圖像線縱向位移，這便能將縱向圖像線和它前后的像素線排齊持平，把路途全景圖像中因振動(dòng)所至的曲折的直線拉直。3、分塊數(shù)字系列(String)傳輸?shù)募夹g(shù)，使路途全景圖像帶實(shí)現(xiàn)。
當(dāng)路途全景圖像延伸到數(shù)公里或更長(zhǎng)時(shí)，它在網(wǎng)絡(luò)中的傳輸會(huì)由于數(shù)據(jù)量隨路徑長(zhǎng)度的線性遞增而影響顯示。本發(fā)明為解決這一問(wèn)題采用了分塊數(shù)字系列傳輸?shù)姆椒?。使路途全景圖像能動(dòng)態(tài)實(shí)時(shí)的傳輸。這種方法不是將整條街道路途全景圖統(tǒng)一地傳輸后顯示，而是將路途全景分割為很多的片段，根據(jù)用戶界面的輸入的所要觀察的道路位置(用鼠標(biāo)按屏幕上顯示的地圖及道路位置)，計(jì)算道路上的位置并動(dòng)態(tài)選擇圖像段用于實(shí)時(shí)的傳輸顯示。圖像段的數(shù)量隨路途長(zhǎng)度的增長(zhǎng)而增加。在顯示用戶當(dāng)前正在觀察的圖像段外，還傳輸于其相鄰的圖像段，以緩沖對(duì)相連圖像數(shù)據(jù)的連續(xù)需求，構(gòu)成虛擬導(dǎo)航。結(jié)合路途全景圖像數(shù)據(jù)量小的特點(diǎn)，可實(shí)時(shí)地將動(dòng)態(tài)景觀顯示在視窗中，以滿足訪問(wèn)者前后位移、瀏覽、搜尋路景的要求。本方明的傳輸軟件不用下載，便能在網(wǎng)頁(yè)的視窗程序中顯示。4、路途全景圖像帶的顯示方法。
本發(fā)明在路途全景圖像帶的2維圖像顯示上采用以下幾種方式(1)路途側(cè)面顯示視窗這就象乘車觀望側(cè)面街景時(shí)的感覺。這種顯示是連續(xù)的，前后進(jìn)退自如的。圖像帶和其他網(wǎng)頁(yè)還能連動(dòng)，使其成為進(jìn)一步檢索的目錄、索引。這樣的顯示通過(guò)路途全景圖像的平移便能實(shí)現(xiàn)。
(2)路途全景圖像帶的前方顯示路途兩側(cè)的全景圖像帶變形后，顯示在同一屏幕上，展示路途延伸的感覺。這樣的路途景觀顯示隨著用戶鼠標(biāo)的移動(dòng)而前后移動(dòng)。在顯示時(shí)，我們可以采用圖像投影(texture mapping)的方法將兩側(cè)的路途全景圖像影射到向遠(yuǎn)處沿伸的平面上，以得到街景的效果，或者將圖像進(jìn)行與此類似的2維變換得到。
(3)360度環(huán)景嵌入顯示將兩側(cè)的路途全景圖像帶變形或嵌入360度環(huán)景圖像中，并隨視者位置的移動(dòng)將路途全景圖像帶轉(zhuǎn)動(dòng)，這樣造成前后移動(dòng)的動(dòng)態(tài)感覺。路途全景圖像帶包含路途兩側(cè)的景物，它在路途上所有各點(diǎn)的片段，都被融入這樣的環(huán)景2維圖像中，并沿光流場(chǎng)的方向移動(dòng)。
(4)全景圖像筒的顯示對(duì)于路途全景圖像筒也做類似于360度環(huán)景圖像的擴(kuò)張顯示。和360度環(huán)景顯示相比，這兒的圖像在上下方向上擴(kuò)展了視野，這樣就能攝入和顯示許多高層建筑。
為了實(shí)現(xiàn)上述顯示，可以使用2維圖像變換方法，具體地根據(jù)各種不同的顯示方式，一一計(jì)算路途全景圖和各所需的圖像屏面之間圖像點(diǎn)的位置變換函數(shù)，然后作圖像變換將路途全景圖的各點(diǎn)的色彩投至顯示屏幕上的相應(yīng)位置上便能實(shí)現(xiàn)。這樣的瞬時(shí)圖像變換是根據(jù)用戶的控制而實(shí)時(shí)進(jìn)行的，用戶或觀察者能通過(guò)鼠標(biāo)或其它界面選擇路斷獲得動(dòng)態(tài)的路途全景圖顯示，以感受到在道路上移動(dòng)的實(shí)際感覺。5、用路途全景圖像和局部環(huán)景圖像構(gòu)筑城市空間的視覺模型。
本發(fā)明將一都市空間按地圖劃分成定點(diǎn)和“路線”，在這些點(diǎn)和線上分別攝有360度環(huán)景圖像和路途全景圖像，以構(gòu)成完整的城市景觀圖庫(kù)，實(shí)現(xiàn)網(wǎng)絡(luò)上的都市虛擬環(huán)境。在路途的交叉點(diǎn)上也拍攝360度環(huán)景圖像。局部的環(huán)景圖像和路途全景圖像帶吻合，顯示時(shí)能平滑地轉(zhuǎn)換于環(huán)景和路途全景圖像之間?；蛘咴诮徊媛房跀z下全景(球體投影)圖像，和那兒的路途全景圖像筒在該位置上完全吻合。這樣，當(dāng)在屏幕上顯示虛擬路途行駛，從一路徑轉(zhuǎn)到相交路徑時(shí)，就有了足夠的圖像數(shù)據(jù)在屏幕上的顯示從一路途全景圖像切換成交點(diǎn)處360度環(huán)景圖像，再切換到下一路途全景圖像的過(guò)程。這樣的顯示是平滑連續(xù)的。在虛擬都市環(huán)境的顯示中配有2維地圖，用鼠標(biāo)對(duì)地圖上所定義的點(diǎn)和路線的指定就能在相應(yīng)的視窗里展示圖像片段和全景，用視覺信息提供網(wǎng)上的城市信息檢索和虛擬導(dǎo)航。
本發(fā)明的路途全景圖像帶能夠開辟數(shù)字媒體、網(wǎng)絡(luò)通信、藝術(shù)游戲等方面的新的應(yīng)用。利用網(wǎng)絡(luò)介紹地區(qū)設(shè)施時(shí)，突破了以往固定視點(diǎn)的圖像模式。本發(fā)明連續(xù)移動(dòng)的路徑圖像模式可以更全面地概括一地區(qū)的綜合景觀。
本發(fā)明的路途全景圖像帶攝取方便。只要驅(qū)車行駛并拍攝錄像，即可從中抽取得到。對(duì)路途的景觀描述可以擴(kuò)展到數(shù)十公里，用同樣的方法繼續(xù)延伸，則對(duì)于任何長(zhǎng)度的路徑都能攝取。在一個(gè)城市中，對(duì)所有路徑都進(jìn)行掃描，也就能構(gòu)筑一城市的街景圖庫(kù)。在網(wǎng)絡(luò)上結(jié)合地圖，配合查尋，便能提供城市中每一街道和地點(diǎn)的視覺顯示，對(duì)信息技術(shù)的發(fā)展意義重大。
本發(fā)明路途全景圖像帶對(duì)保存歷史文化遺產(chǎn)有其特殊的意義，能對(duì)歷史古城的景觀和細(xì)部需要完整地記錄，高效地構(gòu)造出古城的視覺模型，以弘揚(yáng)文化精髓，并供后代研究。
本發(fā)明的路途全景以其很小的數(shù)據(jù)量，獲得了有線網(wǎng)絡(luò)或無(wú)線移動(dòng)通信傳輸中極為有利的效果。實(shí)時(shí)地傳輸全景圖像，克服了網(wǎng)絡(luò)中錄像傳輸時(shí)圖像小，分辨率低，中斷多等缺點(diǎn)，使用戶能通過(guò)高精度的路途全景圖像帶自由自在地訪問(wèn)街景。
如果將路途全景圖像帶在移動(dòng)手機(jī)的屏幕上位移，還能作為都市導(dǎo)航的新興工具，用于商業(yè)、房地產(chǎn)、文化、建筑、歷史、旅游等的指路系統(tǒng)。
如果在數(shù)字?jǐn)z像機(jī)上安插一生成路途全景圖像芯片，還有可能用一般家庭用的數(shù)字?jǐn)z像機(jī)實(shí)地拍攝生成路途全景圖像帶，然后用移動(dòng)電話向外傳輸。這種傳輸可將某些災(zāi)害現(xiàn)場(chǎng)的景觀和狀態(tài)通過(guò)大視野圖像全面，完整，及時(shí)地傳往災(zāi)害監(jiān)測(cè)控制中心，利于準(zhǔn)確有效地做出決斷和指令。
由于路途全景圖像的顯示可以由最簡(jiǎn)單的2維圖像平移考貝方法來(lái)實(shí)現(xiàn)，所以，路途全景圖像帶可作為電子游戲的背景顯示，在廣告、娛樂(lè)上都有廣泛的應(yīng)用前途。
總之，本發(fā)明是融合計(jì)算機(jī)圖像及圖形，多媒體網(wǎng)絡(luò)通訊技術(shù)于城市信息系統(tǒng)的一典型發(fā)明，對(duì)于城市或設(shè)施的信息的傳播和檢索有著十分重要的意義。
權(quán)利要求
1.一種路途全景圖像帶的攝取、生成、傳輸和顯示方法，其特征在于按如下步驟進(jìn)行1)將攝像機(jī)記錄在錄像帶上的沿途景觀圖像輸入計(jì)算機(jī)，或?qū)z像機(jī)連在帶有實(shí)時(shí)圖像輸入裝置的計(jì)算機(jī)上，在連續(xù)圖像中將一圖像線上的數(shù)據(jù)考貝到路途全景圖像的內(nèi)存空間中，構(gòu)造出路途全景圖像帶或路途全景圖像筒；2)采用圖像處理中特征抽取方法，抽取路途全景圖像帶中與運(yùn)動(dòng)方向接近的邊，并追蹤連續(xù)的線段，然后通過(guò)中值濾波的方法拉平圖像帶中的所攝景物的構(gòu)造線，將車輛或船舶振動(dòng)所導(dǎo)致的波折成分消去；3)采用分塊數(shù)字系列傳輸技術(shù)，將路途全景分割為很多的片段，根據(jù)用戶界面的輸入位置，計(jì)算地圖道路上的位置并動(dòng)態(tài)選擇圖像段用于實(shí)時(shí)的傳輸顯示，在顯示用戶當(dāng)前正在觀察的圖像段外，還傳輸其相鄰的圖像段，以緩沖對(duì)相連圖像數(shù)據(jù)的連續(xù)需求，構(gòu)成虛擬導(dǎo)航；4)使用二維圖像變換方法，實(shí)現(xiàn)路途側(cè)面視窗顯示，路途全景圖像帶的前方顯示，360度環(huán)景嵌入顯示，全景圖像筒的顯示；5)利用在城市街道和交叉路口攝取的路途全景圖像和局部環(huán)景圖像，構(gòu)成完整的城市街景圖庫(kù)，構(gòu)筑城市空間的視覺模型，用視覺信息提供網(wǎng)上的城市信息檢索和虛擬導(dǎo)航。
2.如權(quán)利要求1所說(shuō)的路途全景圖像帶的攝取、生成、傳輸和顯示方法，其特征在于在生成路途全景圖像帶或路途全景圖像筒時(shí)使用多臺(tái)攝像機(jī)或一臺(tái)攝像機(jī)和錐形類反光鏡所構(gòu)成的全方位攝像系統(tǒng)。
全文摘要
一種路途全景圖像帶的攝取、生成、傳輸和顯示方法,從攝像機(jī)的圖像系列中實(shí)時(shí)讀出一圖像線并將其沿路途方向順序排列,生成路途全景圖像帶;用圖像特征抽取、中值濾波的方法消除因載體振動(dòng)所導(dǎo)致的圖像波折;將路途全景圖像帶分割為很多片段,在網(wǎng)絡(luò)上實(shí)現(xiàn)數(shù)字系列實(shí)時(shí)傳輸;采用圖像變換的方法實(shí)現(xiàn)路途全景圖像帶的側(cè)面視窗顯示,前方顯示,環(huán)景嵌入顯示,全景圖像筒的顯示;用路途全景圖像構(gòu)筑城市街景圖庫(kù),構(gòu)造網(wǎng)絡(luò)上的城市信息系統(tǒng)和虛擬導(dǎo)航系統(tǒng)。本發(fā)明融合計(jì)算機(jī)圖像,圖形,多媒體和網(wǎng)絡(luò)通訊技術(shù)于一體,創(chuàng)造出連續(xù)的路途全景圖像模式,更全面地展示和概括都市空間的綜合景觀,對(duì)于城市信息傳播和檢索有著十分重要的意義。
文檔編號(hào)G06T11/00GK1367469SQ0211096
公開日2002年9月4日 申請(qǐng)日期2002年3月7日 優(yōu)先權(quán)日2002年3月7日
發(fā)明者鄭絳宇, 鄭志航 申請(qǐng)人:上海交通大學(xué)