專利名稱：在地圖繪制應(yīng)用程序中對(duì)數(shù)字表面模型進(jìn)行建模和紋理化的制作方法
在地圖繪制應(yīng)用程序中對(duì)數(shù)字表面模型進(jìn)行建模和紋理化
背景
大比例地圖繪制應(yīng)用程序提升了對(duì)地球地形以及存在于地表上的建筑物 和其他對(duì)象的模型建模的重要性和數(shù)量。這些對(duì)象的通用名稱是數(shù)字表面模型
(DSM)。沒有建筑物和其他結(jié)構(gòu)的單獨(dú)地形的名稱是數(shù)字高程模型(DEM)。 在這些地圖繪制項(xiàng)目中可以按各種導(dǎo)航角度(例如，斜視圖、鳥瞰角度、透視 角度、頂視角度、前視角度、向下跡線、向上跡線等)來査看建筑物、結(jié)構(gòu)和 各種其他對(duì)象(例如，山、樹等)。雖然這些導(dǎo)航角度可用于某些位置，但對(duì) 于多個(gè)其他位置還是缺乏信息。因此，這些地圖繪制應(yīng)用程序缺乏對(duì)于大多數(shù) 位置的細(xì)節(jié)及建模方面。
為了克服上述以及其他缺陷，提供了各實(shí)施例，它們提供了用于對(duì)DSM 建模和紋理化并在地圖繪制應(yīng)用程序中應(yīng)用這些信息的手段。
概述
以下呈現(xiàn)了簡(jiǎn)化概述以提供對(duì)所公開的各實(shí)施例的某些方面的基本理解。 該概述并不是廣泛的縱覽，且既非旨在標(biāo)識(shí)諸實(shí)施例的關(guān)鍵或重要元素，也非 旨在描繪此類實(shí)施例的范圍。其唯一目的是以簡(jiǎn)化的形式給出所描述實(shí)施例的 一些概念，作為后面給出的更加詳細(xì)的描述的序言。
根據(jù)一個(gè)或多個(gè)實(shí)施例及其相應(yīng)的公開內(nèi)容，結(jié)合用于地圖繪制應(yīng)用程序 的DSM紋理化和建模描述了各方面。根據(jù)某些實(shí)施例的是一種綜合天底和傾 斜攝影術(shù)的優(yōu)點(diǎn)的、用于捕捉圖像以供建模和紋理化的技術(shù)?？蓮脑搱D像中測(cè) 量位置、距離和面積。根據(jù)某些實(shí)施例，在航攝全景圖和地面圖像之間存在連 續(xù)的變形。
為實(shí)現(xiàn)上述和相關(guān)目的， 一個(gè)或多個(gè)實(shí)施例包括以下全面描述且在權(quán)利要 求書中特別指出的特征。以下描述和附圖詳細(xì)地闡明了某些說明性方面，且僅 指示了可采用本發(fā)明的原理的各種方式中的幾種。當(dāng)結(jié)合附圖考慮時(shí)，將從以 下詳細(xì)描述中清楚其它優(yōu)點(diǎn)和新穎特征，并且所公開的實(shí)施例旨在包括所有這些方面及其等效方面。 附圖簡(jiǎn)述


圖1示出了用于捕捉航攝DSM圖像并將這些航攝圖像應(yīng)用于多個(gè)攝影測(cè) 量產(chǎn)品的示例性系統(tǒng)。
圖2示出了用于對(duì)圖像進(jìn)行紋理化和建模的另一示例性系統(tǒng)。
圖3示出了可以與所公開的各實(shí)施例一起利用的示例性圖像捕捉設(shè)備。
圖4示出了可以與所公開的各實(shí)施例一起利用的另一示例性圖像捕捉設(shè)備。
圖5示出了可以與此處所公開的各實(shí)施例一起利用的多個(gè)圖像捕捉設(shè)備 的示例性配置。
圖6示出了可以與此處所公開的各實(shí)施例一起利用的多個(gè)圖像捕捉設(shè)備 的另一示例性配置。
圖7示出了可以與一個(gè)或多個(gè)實(shí)施例一起利用的傾斜圖像。
圖8示出了傾斜圖像平刨和超寬圖像的半球狀圖像平面之間的代表性差升。
圖9示出了虛擬傾斜圖像從超寬圖像的生成。 圖IO示出了用于DSM建模和紋理化的方法。 圖11示出了用于DSM建模和紋理化的另一種方法。詳細(xì)描述
現(xiàn)在參照附圖描述各實(shí)施例，全部附圖中，相同的附圖標(biāo)記用于指代相同 的元素。在以下描述中，為解釋起見，闡明了眾多具體細(xì)節(jié)以提供對(duì)一個(gè)或多 個(gè)方面的全面理解。然而，顯然，各實(shí)施例能夠在無需這些具體細(xì)節(jié)的情況下 實(shí)施。在其它情況中，以框圖形式示出公知的結(jié)構(gòu)和設(shè)備以便于描述這些實(shí)施 例。
如在本申請(qǐng)中所使用的，術(shù)語"組件"、"模塊"和"系統(tǒng)"等旨在表示 計(jì)算機(jī)相關(guān)的實(shí)體，它可以是硬件、硬件和軟件的組合、軟件、或者執(zhí)行中的 軟件。例如，組件可以是但不限于是，在處理器上運(yùn)行的進(jìn)程、處理器、對(duì)象、 可執(zhí)行碼、執(zhí)行的線程、程序和/或計(jì)算機(jī)。作為說明，運(yùn)行在服務(wù)器上的應(yīng)用 程序和服務(wù)器都可以是組件。一個(gè)或多個(gè)組件可以駐留在進(jìn)程和/或執(zhí)行的線程 內(nèi)，并且組件可以位于一個(gè)計(jì)算機(jī)上和/或分布在兩個(gè)或更多的計(jì)算機(jī)之間。
在此使用的詞語"示例性"意味著用作示例、實(shí)例或說明。在此被描述為 "示例性"的任何方面或設(shè)計(jì)并不一定要被解釋為相比其它方面或設(shè)計(jì)更優(yōu)選 或有利。
各實(shí)施例將按照可包括多個(gè)組件、模塊等的系統(tǒng)來呈現(xiàn)?？梢岳斫夂兔靼祝?各種系統(tǒng)可包括其他組件、模塊等和/或可不包括結(jié)合各附圖討論的所有組件、 模塊等。也可使用這些方法的組合。
圖1示出了用于捕捉DSM航攝圖像并將這些航攝圖像應(yīng)用于多個(gè)攝影測(cè)
量產(chǎn)品的示例性系統(tǒng)100。系統(tǒng)100綜合了天底攝影術(shù)和傾斜攝影術(shù)的優(yōu)點(diǎn)。
為了全面理解所公開的各實(shí)施例，將解釋用于生成數(shù)字表面模型(DSM) 的通用過程。DSM成像涉及捕捉地面和其他結(jié)構(gòu)的若干天底(例如，照相機(jī) 直接向下指向地面)照片。照相機(jī)的位置基本上在捕捉圖像的同時(shí)計(jì)算，或在 捕捉圖像之后，諸如在后期處理時(shí)計(jì)算。該位置可通過標(biāo)識(shí)每一圖像與已知地 面點(diǎn)之間的，以及各圖像之間的對(duì)應(yīng)點(diǎn)(被稱為束調(diào)整)來確定。對(duì)地面、建 筑物和其他對(duì)象的建模通過匹配如從多于一個(gè)圖像中看出的對(duì)象上的對(duì)應(yīng)點(diǎn) 來執(zhí)行。例如，建筑物的拐角在至少兩個(gè)圖像中標(biāo)識(shí)。建?？衫锰斓壮上駚?執(zhí)行，因?yàn)榕c地面平行的圖像顯示幾乎恒定的比例。建模也可在諸如傾斜成像 或廣角傳感器等傳感器上執(zhí)行。例如，出現(xiàn)在畫面邊緣的建筑物按與處于畫面中央的另一建筑物相似的比例來表示。給定拍攝每一個(gè)圖像時(shí)的照相機(jī)的位置 以及該照相機(jī)內(nèi)部參數(shù)，每一個(gè)圖像點(diǎn)都可被轉(zhuǎn)換成空間中的視線。將這些射 線相交生成建筑物拐角在空間中的位置。對(duì)應(yīng)點(diǎn)的標(biāo)識(shí)和三維點(diǎn)的恢復(fù)可利用 各種技術(shù)來手動(dòng)或自動(dòng)執(zhí)行。
通過利用經(jīng)恢復(fù)的三維點(diǎn)，構(gòu)造每一個(gè)建筑物的模型?？杉y理化這些建筑 物模型。每一個(gè)模型都由平坦的小平面或其他表面圖元(例如，非均勻有理B
樣條(Non-Uniform Rational B-Spline)，艮口， NURBS，其是對(duì)建模中所使用的
表面元素的數(shù)學(xué)定義)。每一圖元都被投影到該圖元在其中可見的圖像上。該
圖像數(shù)據(jù)被用作圖元紋理。
建模和紋理化利用天底攝影術(shù)和傾斜攝影術(shù)的組合。
存在按傾斜攝影術(shù)來對(duì)建筑物建模的選項(xiàng)，然而，存在與之相關(guān)聯(lián)的若干 困難。首先，傾斜圖像的地面比例是沿著畫面而改變的。因?yàn)榻ㄖ锔咏?br> 平線，所以其重構(gòu)準(zhǔn)確性以Ve的速率退化，其中Z是從照相機(jī)到地面點(diǎn)的距
離。而且，傾斜圖像捕捉面向該方向的對(duì)象的小平面，例如，僅建筑物的北部 小平面。為了獲得該建筑物的完整模型(以及紋理覆蓋)，若干圖像是必需的， 其中每一個(gè)圖像都是從不同的方向拍攝的?？梢娦噪S著觀看角度接近水平方向 而越來越復(fù)雜，因?yàn)榻ㄖ锟赡鼙辉摻ㄖ锱c照相機(jī)之間的對(duì)象(例如，建筑 物、結(jié)構(gòu)、樹等)遮蔽。在復(fù)雜的可見性之下，例如，面朝北的傾斜圖像無法 捕捉畫面中的所有建筑物的全部南部小平面。因此，需要更多的圖像。
因此，系統(tǒng)100可被配置成綜合天底攝影術(shù)和傾斜攝影術(shù)的優(yōu)點(diǎn)。系統(tǒng) 100包括圖像捕捉組件102、對(duì)象標(biāo)識(shí)組件104和呈現(xiàn)組件106.雖然多個(gè)圖像 捕捉組件102和對(duì)象標(biāo)識(shí)組件104可被包括在系統(tǒng)100中，但如可以理解的， 與單個(gè)標(biāo)識(shí)組件104接口的單個(gè)圖像捕捉組件102是出于簡(jiǎn)明的目的而示出 的。
圖像捕捉組件102包括一鏡頭，該鏡頭被設(shè)計(jì)成從廣角捕捉接近該鏡頭的 光線。圖像捕捉組件102可被配置成在天底位置和傾斜位置中的至少一個(gè)處捕 捉圖像。與圖像捕捉組件102相關(guān)聯(lián)的各方面在此可參考照相機(jī)描述。應(yīng)當(dāng)理 解，用于捕捉或拍攝地球表面以及沿著地球表面的對(duì)象的照片的任何技術(shù)都可 以與一個(gè)或多個(gè)所公開的實(shí)施例一起利用。圖像捕捉組件102的各種配置將在以下提供。
系統(tǒng)100可利用與圖像捕捉組件102相關(guān)聯(lián)的、筆直向下對(duì)準(zhǔn)的極寬鏡頭 (120度以上)。視場(chǎng)的中央部分可等價(jià)于天底照片，而圖像的邊緣可等價(jià)于 360度方向上(方位方向上)的傾斜照片。在系統(tǒng)100掃描地面時(shí)，可將高準(zhǔn) 確性中央圖像用作建模的基礎(chǔ)，而圖像的邊緣生成來自每一方向的建筑物各側(cè) 面的致密覆蓋。
對(duì)象標(biāo)識(shí)組件104可被配置成接受各種圖像并在這些圖像中標(biāo)識(shí)一相似 的對(duì)象或位置。對(duì)象或位置的這一標(biāo)識(shí)可以是手動(dòng)功能，由此對(duì)象標(biāo)識(shí)組件104 從用戶和/或?qū)嶓w(例如，因特網(wǎng)、另一系統(tǒng)、計(jì)算機(jī)，…)接收輸入并將特定 圖像或圖像的子集與對(duì)象或位置相關(guān)聯(lián)。根據(jù)某些實(shí)施例，對(duì)象標(biāo)識(shí)組件104 自主地標(biāo)識(shí)多個(gè)圖像之中的相似對(duì)象或位置并且自動(dòng)將圖像或圖像的一部分 與該對(duì)象或位置相關(guān)聯(lián)。對(duì)象或位置與圖像的關(guān)聯(lián)可應(yīng)用于使用大量圖像來表 示地球以及位于地球表面上的各種對(duì)象的模型的地圖繪制應(yīng)用程序。
呈現(xiàn)組件106可被配置成在顯示屏中呈現(xiàn)或顯示所得圖像。這一呈現(xiàn)可以 是在地圖繪制應(yīng)用程序中，由此用戶請(qǐng)求以多個(gè)導(dǎo)航角度顯示特定位置。以此 方式，向用戶呈現(xiàn)了提供真實(shí)世界圖像的建模和紋理化的豐富的顯示。
圖2示出了用于對(duì)圖像進(jìn)行紋理化和建模的另一示例性系統(tǒng)200。系統(tǒng)200 可利用圖像處理過程來產(chǎn)生各種產(chǎn)品。例如，系統(tǒng)200可被配置成從圖像數(shù)據(jù) 中獲得對(duì)位置、距離和面積的直接測(cè)量。系統(tǒng)200可獲取地表的正射像片圖像 和/或地表的斜視圖。對(duì)三維DSM的建?？捎上到y(tǒng)200和/或該模型的紋理化來 提供。作為替換或除此之外，系統(tǒng)200能夠提供航攝360度視圖到地面360度 全景圖之間的連續(xù)變形或變換。
航攝全景圖是示出場(chǎng)景的全360度視圖的圖像。這一視圖可以或者是與地 面大致平行的圓柱形帶，或者是照相機(jī)的視向周圍的半球的一部分。地面全景 圖是示出捕捉點(diǎn)周圍的環(huán)境或視點(diǎn)周圍的半球的條帶。
通過使用地面DEM和經(jīng)恢復(fù)的DSM，可生成跨越航攝全景圖和基于地 面的全景圖之間的跡線的中間全景圖。例如，該圖像可通過重新投影紋理幾何 結(jié)構(gòu)，或通過將原始圖像變形到所投影的幾何結(jié)構(gòu)的位置來生成。這可提供航 攝圖像到地平面圖像之間的、兩個(gè)航攝圖像之間的或兩個(gè)地面圖像之間的平滑轉(zhuǎn)換。
系統(tǒng)200包括可被配置成從各種角度捕捉多個(gè)圖像的圖像捕捉組件202。 也可被包括在系統(tǒng)200中的是被配置成標(biāo)識(shí)觀察區(qū)域中的對(duì)象的對(duì)象標(biāo)識(shí)組件 204和可被配置成在例如地圖繪制應(yīng)用程序顯示屏中向用戶顯示所捕捉到的圖 像的呈現(xiàn)組件206。
圖像捕捉組件202可包括各種配置。例如，圖像捕捉組件202可包括單鏡
頭和單傳感器；單鏡頭和多傳感器；多鏡頭和多傳感器；多鏡頭，多傳感器和
反射表面，或其他配置。圖像捕捉組件202可以是例如包括一非常寬的角度(例 如，至少120度)和高分辨率傳感器的航空照相機(jī)。
根據(jù)某些實(shí)施例，同步模塊208可以與圖像捕捉組件202相關(guān)聯(lián)。同步模 塊208可被配置成將圖像捕捉時(shí)間或其他參數(shù)與至少一個(gè)其他圖像捕捉組件同 步以便于共同捕捉相似的場(chǎng)景。應(yīng)當(dāng)理解，雖然同步模塊208被示為包括在圖 像捕捉組件202之內(nèi)，但根據(jù)某些實(shí)施例，同步模塊208可以是單獨(dú)的組件或 與其他系統(tǒng)200組件相關(guān)聯(lián)。
根據(jù)某些實(shí)施例，組合器模塊210可以被包括在對(duì)象標(biāo)識(shí)組件204中或者 可以是單獨(dú)的模塊。組合器模塊210可被配置成獲得從多個(gè)圖像捕捉組件接收 到的多個(gè)圖像并組合這些圖像。由此，組合器模塊210能夠從各導(dǎo)航角度呈現(xiàn) 較大的圖像以及更詳細(xì)的圖像。
例如，第一圖像捕捉設(shè)備可捕捉第一和第二圖像，而第二圖像捕捉設(shè)備可 捕捉第三和第四圖像。同步模塊208能夠同步這四個(gè)圖像(或更多圖像)的捕 捉，而組合器模塊能夠部分地基于位于圖像中的至少一個(gè)標(biāo)識(shí)出的對(duì)象來組合 這些圖像。
系統(tǒng)200還可包括對(duì)象定位組件208，其可與圖像捕捉組件202、對(duì)象標(biāo) 識(shí)組件204或組件202、 204兩者接口。定位組件212可被配置成將圖像捕捉 組件202的圖像平面上的任何位置轉(zhuǎn)換成空間中的射線。這一配置可將圖像捕 捉組件202的內(nèi)部參數(shù)考慮在內(nèi)。給定圖像捕捉組件202的位置和方向，定位 組件212可被配置成將一射線與地面模型相交并確定空間中與該圖像中的點(diǎn)對(duì) 應(yīng)的位置。位置和方向可通過利用慣性測(cè)量裝置(IMU)來確定，或者可通過 標(biāo)識(shí)地面控制點(diǎn)來從該圖像中恢復(fù)。在某些實(shí)施例中，定位組件212可被配置成將兩條或多條射線相交，每一條射線都源自圖像捕捉設(shè)備202的不同位置。每一條射線都可對(duì)應(yīng)于圖像捕捉 設(shè)備202的每一個(gè)圖像平面中一相似世界點(diǎn)的不同圖像。定位組件還可被配置成測(cè)量可以是兩點(diǎn)之間的線性距離或沿著折線的長(zhǎng) 度的距離，該折線是由可由一系列點(diǎn)來定義的一個(gè)或多個(gè)線段組成的連續(xù)線 條。圖像點(diǎn)可由定位組件212來映射到相應(yīng)的地面點(diǎn)以便于計(jì)算距離。以類似 的方式，定位組件212可通過定義圖像中的區(qū)域多邊形邊界來測(cè)量地面或地球 表面上的面積。這一區(qū)域可使用對(duì)應(yīng)于圖像中的多邊形頂點(diǎn)的點(diǎn)的地面位置來 確定。當(dāng)用戶需要在地圖繪制應(yīng)用程序中查看特定位置或?qū)ο髸r(shí)，該用戶與呈現(xiàn) 組件206接口，該呈現(xiàn)組件可以與計(jì)算機(jī)或無論是固定的還是移動(dòng)的其他計(jì)算 設(shè)備相關(guān)聯(lián)。這一接口可包括用戶輸入確切位置(例如，經(jīng)度、諱度)或通過 輸入地址、城市、州或其他標(biāo)識(shí)手段。呈現(xiàn)組件206可提供各種類型的用戶界 面。例如，呈現(xiàn)組件206可以提供圖形用戶界面(GUI)、命令行界面、語音 界面、自然語言文本界面等等。例如，可以呈現(xiàn)向用戶提供對(duì)所需位置進(jìn)行加 載、導(dǎo)入、讀取等的區(qū)域或手段的GUI，并且該GUI可包括呈現(xiàn)這些動(dòng)作的 結(jié)果的區(qū)域。這些區(qū)域可包括已知的文本和/或圖形區(qū)域，包括對(duì)話框、靜態(tài)控 件、下拉菜單、列表框、彈出菜單、編輯控件、組合框、單選按鈕、復(fù)選框、 按鈕以及圖形框。另外，可使用便于信息傳達(dá)的實(shí)用工具，諸如用于導(dǎo)航的垂 直和/或水平滾動(dòng)條以及確定一區(qū)域是否可被查看的工具欄按鈕。用戶還可與這些區(qū)域交互，以便通過諸如鼠標(biāo)、滾球、鍵區(qū)、鍵盤、筆、 用照相機(jī)捕捉的姿勢(shì)和/或語音激活等各種設(shè)備來選擇和提供信息。通常，諸如 鍵盤上的按鈕或回車鍵等機(jī)制可在輸入了信息之后采用以啟動(dòng)信息傳達(dá)。然 而，可以理解，所公開的各實(shí)施例不限于此。例如，僅僅加亮一復(fù)選框可啟動(dòng) 信息傳達(dá)。在另一示例中，可采用命令行界面。例如，命令行界面可通過提供 文本消息、產(chǎn)生音調(diào)等來向用戶提示信息。用戶然后可提供適當(dāng)?shù)男畔?，諸如 對(duì)應(yīng)于在該界面提示中提供的選項(xiàng)的字母數(shù)字輸入或?qū)μ崾局兴岢龅膯栴} 的回答?？梢岳斫猓钚薪缑婵梢耘cGUI和/或API結(jié)合使用。另外，命令 行界面可以結(jié)合具有有限圖形支持和/或低帶寬通信信道的硬件(例如，視頻卡)和/或顯示器(例如，黑白和EGA)來使用。所獲得的圖像能夠以可檢索格式保存在存儲(chǔ)介質(zhì)214中。存儲(chǔ)介質(zhì)214 可以與呈現(xiàn)組件206或另一系統(tǒng)200組件相關(guān)聯(lián)。存儲(chǔ)介質(zhì)214可以是存儲(chǔ)器 和/或可存儲(chǔ)信息的某一其他介質(zhì)。作為說明而非限制，存儲(chǔ)介質(zhì)214可包括非 易失性和/或易失性存儲(chǔ)器。合適的非易失性存儲(chǔ)器可包括只讀存儲(chǔ)器(ROM)、 可編程ROM (PROM)、電可編程ROM (EPROM)、電可擦除可編程ROM(EEPROM)或閃存。易失性存儲(chǔ)器可包括隨機(jī)存取存儲(chǔ)器(RAM)，它用 作外部高速緩沖存儲(chǔ)器。作為說明而非局限，RAM以多種形式可得，諸如靜 態(tài)RAM (SRAM)、動(dòng)態(tài)RAM (DRAM)、同步DRAM (SDRAM)、雙數(shù) 據(jù)率SDRAM (DDR SDRAM)、增強(qiáng)型SDRAM (ESDRAM)、同步鏈路(Synchlink )DRAM (SLDRAM)、存儲(chǔ)器總線(Rambus )直接RAM (RDRAM)、 直接存儲(chǔ)器總線動(dòng)態(tài)RAM (DRDRAM)、以及存儲(chǔ)器總線動(dòng)態(tài)RAM(RDRAM) o圖3示出了可以與所公開的各實(shí)施例一起利用的示例性圖像捕捉設(shè)備 300。圖像捕捉設(shè)備300包括單個(gè)鏡頭302和單個(gè)傳感器304。圖像捕捉設(shè)備 300可以是使用超寬鏡頭302的高清晰度照相機(jī)304。照相機(jī)304可被安裝在 航空器上，筆直向下地指向地球306或其他地形。所得圖像具有變化的地面比 例，該比例越接近其中心就越高并且隨著圖像到達(dá)地平線而降低。圖4示出了可以與所公開的各實(shí)施例一起利用的另一示例性圖像捕捉設(shè) 備400。圖像捕捉設(shè)備包括單個(gè)鏡頭402和多個(gè)傳感器404。雖然示出了四個(gè) 傳感器404，但圖像捕捉設(shè)備400可包括任何數(shù)量的傳感器。利用多個(gè)傳感器 404可減少與圖3所示的圖像捕捉設(shè)備300相關(guān)聯(lián)的花費(fèi)。在相鄰的傳感器408、 410之間存在未被傳感器404的陣列覆蓋的縫406 (只標(biāo)記了其中之一)?？?以是廣角鏡頭照相機(jī)的圖像捕捉設(shè)備400正筆直向下指向地球或其他地形 412?？赡苡捎谙噜彽膫鞲衅?08、 410之間的接縫406而無法捕捉或拍攝地形 412的各區(qū)域的圖像。地形412的這些區(qū)域可以在下一次曝光時(shí)或由在基本上 與第一圖像捕捉設(shè)備400同時(shí)捕捉地形412的相似的區(qū)域的第二圖像捕捉設(shè)備 (未示出)來覆蓋。以此方式，整個(gè)地形可通過與多個(gè)圖像捕捉設(shè)備的成像交 互來捕捉。圖5示出了可以與此處所公開的各實(shí)施例一起利用的多個(gè)圖像捕捉設(shè)備的示例性配置500。多個(gè)圖像捕捉設(shè)備502、 504、 506、 508、 510可以按面向 外的配置安裝在航空器或其他飛船下面以使得組合的視角512、 514、 516、 518、 520覆蓋整個(gè)半球或?qū)τ谀骋蛔疃叹嚯x的天底方向周圍大約120度。可同步圖 像捕捉設(shè)備502、 504、 506、 508、 510以便于共同捕捉相似的場(chǎng)景或地形522。 該配置500由于多個(gè)圖像捕捉設(shè)備502、 504、 506、 508、 510而提供多個(gè)鏡頭 和多個(gè)傳感器。應(yīng)當(dāng)注意，雖然示出了五個(gè)圖像捕捉設(shè)備，但是在系統(tǒng)500中 可存在更多或更少的捕捉設(shè)備。圖6示出了可以與此處所公開的各實(shí)施例一起利用的多個(gè)圖像捕捉設(shè)備 的另一示例性配置600。多個(gè)圖像捕捉設(shè)備602、 604、 606、 608、 610的這一 配置600提供了多個(gè)鏡頭、多個(gè)傳感器和反射表面612。反射表面612可以是 將射線從航空器周圍的半球反射到按面向內(nèi)的配置來放置的圖像捕捉設(shè)備 602、 604、 606、 608、 610的鏡面反射表面。應(yīng)當(dāng)注意，可在系統(tǒng)600中包括 更多或更少的圖像捕捉設(shè)備。該配置600對(duì)于全視圖照相機(jī)已經(jīng)是已知的。然而，使用單個(gè)照相機(jī)會(huì)受 到若干限制。首先，反射表面或鏡子612將半球的射線映射到照相機(jī)的傳感器 上的圓形圖像。在許多情形中，遠(yuǎn)離照相機(jī)方向的角分辨率退化或位于低分辨 率。其次，圖像的總分辨率受到傳感器的分辨率的限制。最后，圖像的中央示 出了照相機(jī)本身在反射表面或鏡子中的反射。因此，照相機(jī)本身阻擋了來自場(chǎng) 景或所得圖像的、對(duì)于特定區(qū)域的射線。為了緩解與單個(gè)圖像捕捉設(shè)備相關(guān)聯(lián)的問題，利用多個(gè)圖像捕捉設(shè)備 602、 604、 606、 608、 610來從若干方向捕捉反射表面或鏡子612的圖像。最 后生成的圖像是每一個(gè)圖像捕捉設(shè)備602、 604、 606、 608、 610的圖像的融合 并且移除了設(shè)備602、 604、 606、 608、 610的反射圖像。正射像片是地球的攝影資料區(qū)(photographic coverage)，其具有恒定的 地面比例并且通過從頭頂上的正射投影來拍攝。正射像片通常利用天底圖像 (例如，由筆直向下的照相機(jī)或設(shè)備來拍攝的)和DSM來生成。DSM可以是 測(cè)量位于每一個(gè)地面點(diǎn)的高度(包括地面上方的建筑物和其他對(duì)象)的2.5維 表面。DSM可由各種傳感器來捕捉，諸如光線探測(cè)和測(cè)距(LIDAR)傳感器、干涉測(cè)量合成孔徑雷達(dá)(IFSAR)或其他傳感器。DSM可諸如通過立體過程從 覆蓋相同的地區(qū)或區(qū)域的較大組天底圖像的對(duì)中生成。正射像片可通過以定義的地面分辨率定義圖像來生成?？紤]到照相機(jī)位 置、方向和內(nèi)部參數(shù)(例如，焦距……)，該圖像的每一個(gè)像素都可表示投影 在原始圖像上的地面點(diǎn)。地面點(diǎn)可由從DSM中獲得的經(jīng)度-諱度(X-Y)位置 及其高度來定義?？衫迷谕队包c(diǎn)處的圖像顏色來給正射像片著色。用于生成正射像片的天底圖像可具有大約四十度或更小的視角。利用所公 開的各實(shí)施例的航攝圖像捕捉組件能夠捕捉其圖像的中央部分中類似于由天 底圖像捕捉的一束視線。例如，圖像的中央四十度區(qū)域基本上可與標(biāo)準(zhǔn)四十度 航攝照相機(jī)的視域相同。正射像片可通過利用此處所示出和描述的各實(shí)施例來生成。例如，在包括 一個(gè)傳感器和諸如廣角鏡頭等一個(gè)鏡頭的配置中，該鏡頭能可如針孔照相機(jī)那 樣工作。以此方式，觀察相同的覆蓋區(qū)(footprint)(假設(shè)相同的飛行高度和 120度的視角)的傳感器的區(qū)域大約是該傳感器的區(qū)域的百分之六十。為了獲 得相似的分辨率的正射像片，可利用諸如60M像素傳感器等傳感器。在另一 實(shí)施例中，如果利用將相等的角度映射到圖像平面上的相等距離的鏡頭，則可 利用大約90M像素的傳感器。然而，其他鏡頭和傳感器也可與此處所公開的 一個(gè)或多個(gè)實(shí)施例一起利用。對(duì)于多個(gè)傳感器和一個(gè)鏡頭的配置，可利用諸如3乘3傳感器陣列等傳感 器陣列來生成圖像。每一個(gè)傳感器都可類似于用于正射像片攝影的傳感器。3 乘3陣列中的中間傳感器可生成等效于常規(guī)正射像片的圖像。對(duì)于多個(gè)鏡頭和多個(gè)傳感器的配置，可利用以天底方向指向下的照相機(jī)來 生成相似的正射像片圖像。對(duì)于包括多個(gè)鏡頭、多個(gè)傳感器和反射表面的配置， 圖像捕捉組件的反射應(yīng)從該圖像中移除。可利用由其他圖像捕捉組件獲取的圖 像諸如通過融合技術(shù)來重構(gòu)沒有反射的圖像。斜視圖是由相對(duì)于天底方向傾斜的圖像捕捉組件或照相機(jī)獲取的圖像。斜 視圖顯示諸如建筑物的一側(cè)面的細(xì)節(jié)等對(duì)于天底圖像而言模糊的細(xì)節(jié)。用戶可 更容易地識(shí)別傾斜圖像，因?yàn)樗鼜母咏仄矫娴慕嵌仁境隽藞?chǎng)景對(duì)象，這對(duì) 于用戶可能更加熟悉。與天底圖像相反，傾斜圖像是有方向的。即是說， 一點(diǎn)的來自南方的傾斜 圖像不同于相同的點(diǎn)的來自北方的傾斜圖像。結(jié)果，如果一場(chǎng)景的所有可能的 傾斜圖像將在地圖繪制應(yīng)用程序中顯示，則在每一點(diǎn)處捕捉該場(chǎng)景的視圖是不 夠的，而是應(yīng)該在每一點(diǎn)處從所有不同的方向捕捉該場(chǎng)景。現(xiàn)在參考圖7，示出了一傾斜圖像的示例性視向。傾斜圖像可具有由從垂 直的、天底方向的角度來測(cè)量的視向。典型的值可以是例如，對(duì)于傾斜角度的40度以及對(duì)于視角的大約40度。702處的圖示是如從上方觀察的傾斜圖像，而在704處，示出了利用所公 開的各實(shí)施例的超寬圖像。第一個(gè)視圖702示出了照相機(jī)位置706和所表示的 一條射線708。照相機(jī)706可捕捉由該圖像的平面定義的截錐體中的所有視線 708的色彩。超寬圖像704具有照相機(jī)位置710并捕捉所有射線，其中之一在 712處示出，該射線穿過視角周圍的環(huán)714。環(huán)的標(biāo)記區(qū)域716是等價(jià)于702 的傾斜圖像的射線。參考圖8，示出了傾斜圖像平刨和超寬圖像的半球狀圖像平面之間的代表 性差異。傾斜圖像的生成通過定義傾斜圖像平面并將該平面上的每一個(gè)像素與 圖像捕捉組件的中心相連接來執(zhí)行。將該傾斜圖像平面上的像素和中心與超寬 圖像平面相連接的射線的交點(diǎn)定義了傾斜像素的顏色。照相機(jī)焦距802筆直向下指向天底方向804。在利用超寬鏡頭來捕捉圖像 時(shí)，從與天底804成大約20度到與天底804成大約60度(可以是傾斜視向806) 的射線環(huán)生成傾斜圖像平面808。可利用所公開的各實(shí)施例來獲取的相應(yīng)的超 寬圖像平面在810處示出。圖9示出了虛擬傾斜圖像從超寬圖像的生成。照相機(jī)焦點(diǎn)902向下指向天 底方向904。對(duì)于新的傾斜圖像平面上的每一個(gè)像素，定義一條射線，從而將 該像素的中心與照相機(jī)中心相連接。傾斜視向在906處示出并且該傾斜圖像平 面上的點(diǎn)在908處示出。超寬圖像平面上的相應(yīng)的投影在910處示出。在射線 與該圖像平面的交點(diǎn)處對(duì)超寬圖像的采樣生成該新的傾斜像素的顏色。如所討論的，DSM是包括位于地球上的任何對(duì)象(例如，樹、房子等) 的地球表面的三維模型。DSM可用于各種應(yīng)用，諸如正射像片的生成，或用 于生成特定場(chǎng)景的新的虛擬視圖。高質(zhì)量DSM可以通過昂貴的人工測(cè)量來獲取?；蛘?，DSM可通過分析場(chǎng)景從不同的視點(diǎn)拍攝的多個(gè)視圖來生成。生成
DSM的過程包括匹配這些圖像之間的對(duì)應(yīng)特征。每一個(gè)特征都定義來自照相 機(jī)位置的視線，而這些視線的交點(diǎn)定義該特征在空間中的位置。然而，自動(dòng)匹 配是困難的且容易出錯(cuò)。
所公開的技術(shù)可增加每一個(gè)場(chǎng)景點(diǎn)的覆蓋面。對(duì)具有大約120度(相比于 40度)的視角的使用能夠使觀察相同的地面點(diǎn)的圖像的數(shù)量翻了超過六倍。例 如，如果兩個(gè)相鄰的40度天底圖像之間的公共區(qū)域是66%，則九個(gè)圖像能夠 看見一特定地面點(diǎn)，而基本上在相同間隔拍攝的超過五十六個(gè)120度圖像能夠 看見基本上相同的點(diǎn)。因此，增強(qiáng)了經(jīng)恢復(fù)的DSM的可靠性。
此外，超寬圖像具有在常規(guī)天底圖像中通常無法看到的場(chǎng)景的更大的可見 覆蓋面(例如，建筑物的垂直墻壁、樹底下的區(qū)域)。因此，來自所有視圖的 覆蓋面的組合可生成增強(qiáng)的DSM模型。
紋理增加了模型的視覺內(nèi)容和真實(shí)性。通常利用鳥瞰圖來紋理化地形、建 筑物和地球上的其他對(duì)象的模型?；炯y理化可通過取一個(gè)對(duì)象點(diǎn)并將其投影 到其可見的一個(gè)或多個(gè)圖像上以生成一種顏色來創(chuàng)建。然而，因?yàn)閺?fù)雜的幾何 結(jié)構(gòu)具有復(fù)雜的可見性，所以對(duì)象中的不同的孔只能在有限的視向上看見。例 如，從俯視圖中即使不是完全看不見也是無法充分看見建筑物的墻壁，或者樹 底下的地面可能完全被遮蔽。
此外，諸如反射對(duì)象或半反射對(duì)象等不同的材料具有從不同的視向的不同 的反射特性。因此，從單個(gè)視點(diǎn)紋理化這些對(duì)象可能在從不同的方向觀察這一 對(duì)象時(shí)生成不切實(shí)際的紋理。另一問題可能與當(dāng)紋理包含方向分量時(shí)縫合來自 從不同的方向拍攝的多個(gè)圖像的問題相關(guān)聯(lián)。
利用所公開的各實(shí)施例提供了改善的覆蓋面，其允許紋理化可能由于傾斜 的和天底圖像的有限捕捉而未覆蓋到的區(qū)域。被這些圖像遮蔽的表面(例如， 樹底下的地面)可能以更多極端的角度通過新的視向來覆蓋。所公開的各實(shí)施 例還提供通過更多的圖像和更多的視向來觀察的每一個(gè)場(chǎng)景點(diǎn)。這提供了對(duì)方 向性反射特性的增強(qiáng)的建模。例如，建筑物窗戶的反射分量可通過分析來自不 同方向的該窗戶的若干圖像來移除。
考慮到以上示出并描述的示例性系統(tǒng)，參考圖10和11的流程圖將可以更好地理解可依照所公開的主題實(shí)現(xiàn)的方法。盡管出于簡(jiǎn)化解釋的目的，各方法 被顯示和描述為一系列的框，但應(yīng)該理解和明白，所要求保護(hù)的主題不受框的 順序所限，因?yàn)橐恍┛蚰軌蛞耘c在此所敘述和描述所不同的順序發(fā)生和/或與其 他框同時(shí)發(fā)生。而且，并非所有示出的框都是實(shí)現(xiàn)以下描述的方法所必需的。 可以理解，與各框相關(guān)聯(lián)的功能可以由軟件、硬件、其組合、或任何其它合適 的裝置(例如，設(shè)備、系統(tǒng)、進(jìn)程、組件)來實(shí)現(xiàn)。另夕卜，還應(yīng)該明白，下文 以及本說明書全文中所公開的方法能夠被存儲(chǔ)在制品上，以便于把此類方法傳 送和轉(zhuǎn)移到各種設(shè)備。本領(lǐng)域技術(shù)人員將會(huì)明白并理解，方法可替換地被表示 為一系列相互關(guān)聯(lián)的狀態(tài)或事件，諸如以狀態(tài)圖的形式。
圖10示出了用于DSM建模和紋理化的方法1000。方法1000在1002處 開始，其中定位一個(gè)或多個(gè)圖像捕捉設(shè)備以捕捉航攝圖像。圖像捕捉設(shè)備包括 廣角鏡頭。這一定位可包括將該一個(gè)或多個(gè)圖像捕捉設(shè)備安裝在航空器底下以 獲取地球的地形以及地球表面上的各種對(duì)象的天底圖像。圖像捕捉設(shè)備可以是 例如，具有廣角鏡頭的照相機(jī)。
在1004處，由該一個(gè)或多個(gè)圖像捕捉設(shè)備來捕捉一個(gè)或多個(gè)航攝圖像。 航攝圖像包括位于地球表面上的至少一個(gè)對(duì)象。這些圖像可使用天底攝影、傾 斜攝影術(shù)或兩者的組合來捕捉?？山M合從兩個(gè)或多個(gè)設(shè)備捕捉到的圖像以呈現(xiàn) 包括比單個(gè)圖像更高粒度的細(xì)節(jié)的單個(gè)完整圖像。
在1006處接收查看由一個(gè)或多個(gè)圖像捕捉到的區(qū)域的請(qǐng)求。這一請(qǐng)求可 從需要在地圖繪制應(yīng)用程序中査看特定區(qū)域的用戶接收。在1008處，顯示所 捕捉到的圖像。所顯示的圖像可以是動(dòng)態(tài)的，由此如果用戶遙攝顯示屏四周， 則圖像響應(yīng)于這一用戶請(qǐng)求而改變。例如，顯示屏可以在查看航攝全景圖像和 來自地面觀點(diǎn)或另一導(dǎo)航角度的圖像之間改變。
圖11示出了用于DSM建模和紋理化的另一種方法1100。在1102處，確 定一個(gè)或多個(gè)圖像捕捉設(shè)備的配置。這一配置可包括單鏡頭，單傳感器；單鏡 頭，多傳感器；多鏡頭，多傳感器；以及多鏡頭，多傳感器和反射表面。鏡頭 可以是例如，廣角鏡頭或超廣角鏡頭。
在1104處，獲取地球表面上的多個(gè)位置和對(duì)象的圖像數(shù)據(jù)。這些圖像數(shù) 據(jù)可以是天底圖像、傾斜圖像或其他導(dǎo)航角度的形式。圖像數(shù)據(jù)還可包括標(biāo)識(shí)視域內(nèi)的對(duì)象和/或標(biāo)識(shí)多個(gè)圖像中的相似對(duì)象或位置。對(duì)象或位置與圖像的關(guān) 聯(lián)可應(yīng)用于使用大量圖像來表示地球以及位于地球表面上的各種對(duì)象的模型 的地圖繪制應(yīng)用程序。
在1106處，確定對(duì)位置、距離和圖像面積的測(cè)量?？蓽y(cè)量可以是兩點(diǎn)之 間的線性距離或沿著多邊形的長(zhǎng)度的距離。圖像點(diǎn)可被映射到相應(yīng)的地面點(diǎn)以 便于計(jì)算距離。以類似的方式，地面或地球表面上的面積可通過定義圖像中的 區(qū)域多邊形邊界來測(cè)量。這一區(qū)域可使用對(duì)應(yīng)于圖像中的多邊形頂點(diǎn)的點(diǎn)的地
面位置來確定。在1108處，可基于用戶請(qǐng)求來顯示所得圖像。
特別地，對(duì)于由上述組件、設(shè)備、電路、系統(tǒng)等執(zhí)行的各種功能，除非另 外指明，否則用于描述這些組件的術(shù)語(包括對(duì)"裝置"的引用)旨在對(duì)應(yīng)于 執(zhí)行所描述的執(zhí)行此處在示例性方面中所示的功能的組件的指定功能(例如， 功能上等效)的任何組件，即使這些組件在結(jié)構(gòu)上不等效于所公開的結(jié)構(gòu)。在 這一點(diǎn)上，也可認(rèn)識(shí)到各方面包括用于執(zhí)行各方法的動(dòng)作和/或事件的系統(tǒng)以及 具有用于執(zhí)行這些動(dòng)作和/或事件的計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)。
另外，盡管可相對(duì)于若干實(shí)現(xiàn)中的僅一個(gè)來公開一個(gè)特定特征，但是這一 特征可以如對(duì)任何給定或特定應(yīng)用所需且有利地與其它實(shí)現(xiàn)的一個(gè)或多個(gè)其 它特征相組合。此外，就在說明書或權(quán)利要求書中使用術(shù)語"包括"和"含有" 及其變體而言，這些術(shù)語旨在以與術(shù)語"包含"相似的方式為包含性的。
權(quán)利要求
1. 一種用于地圖繪制應(yīng)用程序的、便于建模和紋理化的系統(tǒng)(100、200)，包括從多個(gè)角度捕捉圖像的第一圖像捕捉組件(102、202)；以及標(biāo)識(shí)所捕捉到的圖像中的至少一個(gè)對(duì)象的對(duì)象標(biāo)識(shí)組件(104、204)。在地圖繪制應(yīng)用程序中顯示所標(biāo)識(shí)的捕捉到的圖像的呈現(xiàn)組件(106、206)。
2. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述第一圖像捕捉組件是包括 廣角鏡頭的照相機(jī)。
3. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述第一圖像捕捉組件是單鏡 頭、單傳感器照相機(jī)。
4. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述第一圖像捕捉組件是 單鏡頭、多傳感器照相機(jī)。
5. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，還包括至少一個(gè)第二圖像捕捉 組件和反射鏡，所述第一和至少一個(gè)第二圖像捕捉組件是按面向內(nèi)的配置的。
6. 如權(quán)利要求l所述的系統(tǒng)，其特征在于，還包括至少一個(gè)第二圖像 捕捉組件，所述第一和至少一個(gè)第二圖像捕捉組件是按面向外的配置的。
7. 如權(quán)利要求6所述的系統(tǒng)，其特征在于，還包括同步模塊，所述同步模 塊同步所述第一和至少一個(gè)第二圖像捕捉設(shè)備之間的圖像捕捉時(shí)間以便于共 同捕捉相似的場(chǎng)景。
8. 如權(quán)利要求6所述的系統(tǒng)，其特征在于，還包括組合由所述第一和至少 一個(gè)第二圖像捕捉設(shè)備捕捉到的圖像的組合器模塊。
9. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，還包括以可檢索的格式來保留 所捕捉到的圖像的存儲(chǔ)介質(zhì)。
10. 如權(quán)利要求l所述的系統(tǒng)，其特征在于，所述第一圖像捕捉組件在 天底位置和傾斜位置中的至少一個(gè)處捕捉所述圖像。
11. 一種用于數(shù)字表面模型(DSM)紋理化和建模的方法，包括定位第一圖像捕捉設(shè)備(102、 202、 300、 400、 502、 602) (1002、 1102) 以獲取航攝圖像，所述圖像捕捉設(shè)備(102、 202、 300、 400、 502、 602)包括 廣角鏡頭(302、 402);捕捉包括位于地球表面上的至少一個(gè)對(duì)象的航攝圖像(1004);接收查看所捕捉到的航攝圖像的請(qǐng)求(1006);以及 在地圖繪制應(yīng)用程序中顯示所請(qǐng)求的航攝圖像(1008、 1108)。
12. 如權(quán)利要求11所述的方法，其特征在于，在定位所述第一圖像捕 捉設(shè)備之前還包括確定所述第一圖像捕捉設(shè)備和至少一個(gè)第二圖像捕捉設(shè)備 的配置。
13. 如權(quán)利要求12所述的方法，其特征在于，所述配置是面向內(nèi)配置 和面向外配置中的一個(gè)。
14. 如權(quán)利要求12所述的方法，其特征在于，還包括按向內(nèi)面向著反射表面的配置來放置所述第一圖像捕捉設(shè)備和至少一 個(gè)第二圖像捕捉設(shè)備；以及捕捉來自所述反射表面的、包括位于地球表面上的至少一個(gè)對(duì)象的航攝圖像。
15. 如權(quán)利要求11所述的方法，其特征在于，捕捉所述包括位于地球表面上的至少一個(gè)對(duì)象的航攝圖像包括天底位置和傾斜位置中的至少一個(gè)。
16. 如權(quán)利要求11所述的方法，其特征在于，還包括確定所述航攝圖 像的位置測(cè)量、距離測(cè)量和面積測(cè)量中的至少一個(gè)。
17. 如權(quán)利要求11所述的方法，其特征在于，還包括以可檢索格式來 保留所述航攝圖像。
18. —種提供DSM圖像的紋理化和建模的系統(tǒng)，包括 用于用廣角鏡頭(302、 402)來捕捉第一和第二航攝圖像的裝置(102、202、 300、 400、 502、 602)，所述航攝圖像包括至少一個(gè)對(duì)象； 用于標(biāo)識(shí)所述至少一個(gè)對(duì)象的裝置(104、 204);用于基于所述至少一個(gè)標(biāo)識(shí)出的對(duì)象來組合所述第一和第二航攝圖像的 裝置(210);以及用于在地圖繪制應(yīng)用程序中呈現(xiàn)所組合的航攝圖像的裝置(106、 206)。
19. 如權(quán)利要求18所述的系統(tǒng)，其特征在于，還包括 用于用廣角鏡頭來捕捉第三和第四航攝圖像的裝置；以及 用于將所述用于捕捉所述第一和第二航攝圖像的裝置與所述用于捕捉所述第三和第四航攝圖像的裝置同步的裝置。
20. 如權(quán)利要求19所述的系統(tǒng)，其特征在于，還包括用于將所述第三 和第四航攝圖像與所述第一和第二航攝圖像相組合的裝置。
全文摘要
提供了用于在地圖繪制應(yīng)用程序中實(shí)現(xiàn)的對(duì)地球表面上的各種對(duì)象的數(shù)字表面模型(DSM)紋理化和建模。可以按各種配置來放置具有廣角鏡頭的一個(gè)或多個(gè)圖像捕捉設(shè)備以獲取天底攝影術(shù)和傾斜攝影。這些配置包括單鏡頭，單傳感器；單鏡頭，多傳感器；多鏡頭，多傳感器；以及多鏡頭，多傳感器和反射表面?？蓮脑搱D像中測(cè)量位置、距離和面積。還提供了航攝全景圖和地面圖像之間的連續(xù)變形。
文檔編號(hào)G06T17/20GK101506850SQ200780031003
公開日2009年8月12日 申請(qǐng)日期2007年8月3日 優(yōu)先權(quán)日2006年8月24日
發(fā)明者E·奧費(fèi)克, G·基米馳 申請(qǐng)人:微軟公司