專利名稱：航空攝影圖像拾取方法和航空攝影圖像拾取裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通過小型無人航空運輸工具(UAV)的航空攝影(aerial photograph)圖像拾取方法和航空攝影圖像拾取裝置。
背景技術(shù)：
在來自上空的攝影或來自上空的勘測(surveying)中，能夠獲得通過來自地面的攝影或地面上的勘測不能夠獲得的信息，并且攝影在禁止入內(nèi)(off-limit)的區(qū)域中是可能的，或者能夠獲得在其中勘測是困難的區(qū)域中的信息。另外，近年來，由于作為遠程受控的例如小型飛機或小規(guī)模直升機等的小型飛行物體的性能中的改進、遠程控制技術(shù)中的改進、以及另外在圖像拾取設(shè)備的性能中的改進、微型化的促進以及其他方面，圖像拾取設(shè)備能夠被安裝在小型飛行物體中。通過遠程地控制飛行物體，能夠以無人的方式執(zhí)行來自上空的攝影。另外，飛行物體能夠根據(jù)預(yù)設(shè)的飛行時刻表(flight schedule)進行自律的飛 行。在通過小型飛行物體執(zhí)行攝影的情況下，盡管期望主體是水平的，但是實際上主體是輕重量的，以及主體通常被風沖走，或主體通常被傾斜。因此，在固定安裝的圖像拾取設(shè)備中，光軸取決于主體的狀態(tài)被傾斜，并且傾斜方向不固定。在寬范圍中制備(pr印are)圖像的情況下或在制備立體圖像的情況下，彼此相鄰的兩個圖像被重疊，在重疊部分中為所述兩個圖像共用的連接點(接合點(tie point))被提取，并且基于該接合點，所述圖像被組合。然而，如上所描述的，當在光軸被傾斜或傾斜角或傾斜方向不固定的狀態(tài)中取得的圖像被順序地彼此組合時，在廣泛范圍中結(jié)果得到的圖像被失真或彎曲，并且存在不能獲取正確的組合圖像的問題。

發(fā)明內(nèi)容
本發(fā)明的目的是提供航空攝影圖像拾取方法和航空攝影圖像拾取裝置，其能夠利用簡單的配置執(zhí)行精確的三維地形測量。為了獲得上述目的，根據(jù)本發(fā)明的航空攝影圖像拾取方法包括使得包括GPS設(shè)備和用于向下取得圖像的圖像拾取設(shè)備的飛行物體蜿蜒曲折地飛行的步驟，在其中方向在蜿蜒曲折的飛行中被改變的每個頂點上取得圖像的步驟，從彼此相鄰的至少三個頂點取得的圖像的共同重疊部分中提取特征點的步驟，將所述圖像中的兩個頂點的兩個圖像確定作為一組并且由所述GPS設(shè)備為關(guān)于至少兩組的每組獲得所述兩個頂點的位置信息的步驟，基于位置信息和基于所述兩個圖像的所述特征點執(zhí)行對應(yīng)于所述特征點的測量點的攝影測量(photogrammetry)的步驟，以及當所述測量點的勘測結(jié)果在至少所述兩組中彼此一致時將所述特征點確定作為用于圖像組合的接合點的步驟。另外，在根據(jù)本發(fā)明的航空攝影圖像拾取方法中，從在一個頂點上取得的圖像中提取所述特征點，并且在所述特征點中執(zhí)行圖像跟蹤并且在下一頂點上取得的圖像中指定所述特征點。
另外，在根據(jù)本發(fā)明的航空攝影圖像拾取方法中，基于所述接合點和由所述GPS設(shè)備測量的所述三個頂點的三維坐標，實施在所述三個頂點上取得的所述圖像的攝影位置計算和傾斜的定向計算的本地處理。另外，根據(jù)本發(fā)明的航空攝影圖像拾取裝置包括飛行物體以及GPS設(shè)備、導(dǎo)航裝置、用于在所述飛行物體之下取得圖像的圖像拾取設(shè)備、圖像處理單元和在所述飛行物體中提供的主算術(shù)控制單元，并且在航空攝影圖像拾取裝置中所述主算術(shù)控制單元具有飛行計劃數(shù)據(jù)，用于使所述飛行物體蜿蜒曲折地飛行，基于來自所述GPS設(shè)備的位置信息和所述飛行計劃數(shù)據(jù)來制備飛行引導(dǎo)數(shù)據(jù)，基于所述飛行引導(dǎo)數(shù)據(jù)控制所述導(dǎo)航裝置以及使得所述飛行物體蜿蜒曲折地飛行并且所述圖像拾取設(shè)備在其中方向在蜿蜒曲折的飛行中被改變的每個頂點上取得圖像，以及所述圖像處理單元從彼此相鄰的至少三個頂點取得的圖像的共同重疊部分中提取特征點；以及所述主算術(shù)控制單元確定彼此相鄰的兩個圖像作為一組，基于所述特征點為關(guān)于至少兩組的每組執(zhí)行攝影測量，當至少兩個勘測結(jié)果彼此一致時將所述特征點確定作為接合點，以及基于所述接合點和所述三個頂點的位置信息實施所述圖像的定向計算。根據(jù)本發(fā)明，在航空攝影圖像拾取方法中，包括使得包括GPS設(shè)備和用于向下取得圖像的圖像拾取設(shè)備的飛行物體蜿蜒曲折地飛行的步驟，在其中方向在蜿蜒曲折的飛行中被改變的每個頂點上取得圖像的步驟，從彼此相鄰的至少三個頂點取得的圖像的共同重疊部分中提取特征點的步驟，將所述圖像中的兩個頂點的兩個圖像確定作為一組并且由所述GPS設(shè)備為關(guān)于至少兩組的每組獲得所述兩個頂點的位置信息的步驟，基于位置信息和基于所述兩個圖像的所述特征點執(zhí)行對應(yīng)于所述特征點的測量點的攝影測量的步驟，以及 當所述測量點的勘測結(jié)果在至少所述兩組中彼此一致時將所述特征點確定作為用于圖像組合的接合點的步驟。結(jié)果，可能校正由于飛行物體的搖擺(rolling)或縱搖(pitching)而導(dǎo)致的圖像的傾斜，其在線性飛行中取得的圖像中不能被校正。另外，根據(jù)本發(fā)明，在航空攝影圖像拾取方法中，基于所述接合點和由所述GPS設(shè)備測量的所述三個頂點的三維坐標，實施在所述三個頂點上取得的所述圖像的攝影位置計算和傾斜的定向計算的本地處理。結(jié)果，能夠快速地執(zhí)行處理，并且本地地基本上實時地能夠計算飛行物體的精確高度。另外，根據(jù)本發(fā)明，航空攝影圖像拾取裝置包括飛行物體以及GPS設(shè)備、導(dǎo)航裝置、用于在所述飛行物體之下取得圖像的圖像拾取設(shè)備、圖像處理單元和在所述飛行物體中提供的主算術(shù)控制單元，并且在航空攝影圖像拾取裝置中所述主算術(shù)控制單元具有飛行計劃數(shù)據(jù)，用于使所述飛行物體蜿蜒曲折地飛行，基于來自所述GPS設(shè)備的位置信息和所述飛行計劃數(shù)據(jù)來制備飛行引導(dǎo)數(shù)據(jù)，基于所述飛行引導(dǎo)數(shù)據(jù)控制所述導(dǎo)航裝置以及使得所述飛行物體蜿蜒曲折地飛行并且所述圖像拾取設(shè)備在其中方向在蜿蜒曲折的飛行中被改變的每個頂點上取得圖像，以及所述圖像處理單元從彼此相鄰的至少三個頂點取得的圖像的共同重疊部分中提取特征點；以及所述主算術(shù)控制單元確定彼此相鄰的兩個圖像作為一組，基于所述特征點為關(guān)于至少兩組的每組執(zhí)行攝影測量，當至少兩個勘測結(jié)果彼此一致時將所述特征點確定作為接合點，以及基于所述接合點和所述三個頂點的位置信息實施所述圖像的定向計算。結(jié)果，可能校正由于飛行物體的搖擺或縱搖而導(dǎo)致的圖像的傾斜，其在線性飛行中取得的圖像中不能被校正。


圖I是根據(jù)本發(fā)明的實施例的航空攝影圖像拾取方法的示意 圖2是根據(jù)本發(fā)明的實施例的安裝在飛行物體中的控制設(shè)備的框 圖3是在其中根據(jù)由飛行物體在兩個點上取得的圖像攝影測量(photogrammetry)飛行物體的高度和測量點的坐標的情況下的說明性 圖4是示出在蜿蜒曲折飛行中的飛行物體產(chǎn)生的軌跡和在其上實施圖像拾取的點之間的關(guān)系的說明性 圖5是示出在其中基于其中兩個圖像作為一組被提取的情況下的所提取的特征點和基于圖像拾取點的位置信息實施在對應(yīng)于特征點的地表面上的測量情況下，在相應(yīng)組中的測量結(jié)果的匹配和不匹配的說明性圖；
圖6是示出本實施例的操作的流程圖。
具體實施例方式通過參考附圖，下面將對本發(fā)明的實施例給出描述。首先，在圖I中，將對其中本發(fā)明所應(yīng)用到的飛行物體的飛行控制系統(tǒng)給出描述。在圖I中，參考標號I代表能夠進行自律飛行的飛行物體，參考標號2代表安裝在地面上的基地控制設(shè)備(base control device)?；乜刂圃O(shè)備2能夠執(zhí)行與飛行物體I的數(shù)據(jù)通信并且控制飛行物體I的飛行，設(shè)置或改變飛行計劃并且存儲或管理由飛行物體I收集的信息。飛行物體I例如是直升機，作為小型飛行物體用于進行自律飛行。直升機I由來自基地控制設(shè)備2的遠程控制來駕駛，或者由基地控制設(shè)備2將飛行計劃設(shè)置在直升機I的控制設(shè)備16 (如之后所描述的)中，并且根據(jù)飛行計劃進行自律飛行。直升機I具有直升機主體3和提供給直升機主體3的必要數(shù)目的推進器(piOpeller)，例如四個推進器，即前、后、左和右推進器4，5，6，7。推進器4，5，6，7分別單獨地與第一馬達8，第二馬達9，第三馬達10和第四馬達11 (如之后描述的)耦合，并且能夠獨立地控制第一馬達8，第二馬達9，第三馬達10和第四馬達11中的每個的驅(qū)動，如之后描述的。要注意的是，推進器4，5，6，7和第一馬達8，第二馬達9，第三馬達10和第四馬達11以及其他構(gòu)成用于飛行物體的航行裝置。圖像拾取設(shè)備13和控制設(shè)備16 (如之后所描述的)被提供在直升機I的直升機主體3中。圖像拾取設(shè)備13獲得數(shù)字圖像。圖像拾取設(shè)備13可以是用于以預(yù)定時間間隔取得靜止圖像的照相機或用于連續(xù)地取得圖像的攝像機。圖像拾取設(shè)備13被提供在直升機主體3的下表面上。另外，作為圖像拾取元件，圖像拾取設(shè)備13具有CXD和CMOS傳感器，其是像素的聚集，并且圖像拾取元件的中心(光電檢測表面的坐標中心)與圖像拾取設(shè)備13的光軸 15—致(coincide)。圖像拾取元件中的每個像素的圖像拾取元件上的位置(坐標)能夠被指定以便每個像素的視場角(相對于光軸15的角)能夠變得明顯。光軸15運行穿過直升機主體3的參考位置(例如，機器中心)，并且當直升機I采取水平姿勢時，以光軸15與垂直線一致的這樣方式設(shè)置光軸15。圖像拾取設(shè)備13具有角度為Θ的視角并且能夠獲得用于航空攝影的圖像。另外，由圖像拾取設(shè)備13取得的圖像還用作用于位置測量的圖像數(shù)據(jù)，如之后所描述的。由圖像拾取設(shè)備13取得的圖像與取得圖像的時間、由GPS設(shè)備23(如之后所描述的)測量的地心坐標(三維坐標)相關(guān)聯(lián)，并且被存儲在第一存儲單元25 (如之后所描述的)中。圖2示出了在直升機主體3中提供的控制設(shè)備6?？刂圃O(shè)備16主要由勘測單元17、飛行控制單元18、主算術(shù)控制單元1 9、通信單元20和電源單元21構(gòu)成?？睖y單元17由GPS設(shè)備23、勘測單元CPU24、第一存儲單元25、圖像拾取設(shè)備13以及其他構(gòu)成。要注意的是，勘測單元CPU24和第一存儲單元25構(gòu)成圖像處理單元，并且圖像處理單元執(zhí)行特征點的提取(如之后所描述的)、圖像跟蹤處理以及其他。GPS設(shè)備23被配置測量直升機I的參考位置，例如機器中心，GPS設(shè)備23測量參考位置的絕對三維坐標，并且測量值代表地面坐標系統(tǒng)以及從地心坐標(絕對坐標)系統(tǒng)獲取的高度。另外，當直升機I在水平姿勢中時，光軸15運行穿過參考位置并且是垂直的。因此，圖像拾取設(shè)備13能夠在緊鄰在直升機I之下獲得必要視角Θ的范圍中的圖像，并且以圖像的中心與參考位置一致的這樣方式設(shè)置圖像的中心。在第一存儲單元25中，以這樣方式存儲由圖像拾取設(shè)備13獲得的圖像和在其上獲得圖像的時間，該方式即所述時間與所述圖像相關(guān)聯(lián)。另外，以與在其上獲得圖像的時間同步地由GPS設(shè)備23測量直升機I的三維坐標，并且如所測量的三維坐標還與在其上獲得圖像的時間相關(guān)聯(lián)并且被存儲在第一存儲單元25中。另外，在第一存儲單元25中，存儲諸如圖像拾取控制程序、三維位置測量程序、圖像處理程序和跟蹤處理程序以及其他之類的程序。而且，在第一存儲單元25中，由圖像拾取設(shè)備13取得的圖像、圖像拾取的時間以及當獲得圖像時的三維坐標與圖像相關(guān)聯(lián)并且被存儲?；谥鄙龣CI的飛行速度以及圖像拾取設(shè)備13的視角Θ以及其他，圖像拾取控制程序以這樣的方式控制圖像拾取設(shè)備13取得的圖像數(shù)據(jù)的獲得定時，該方式即在時間方面彼此相鄰的圖像在預(yù)定速率上重疊并且在彼此相鄰的頂點(如之后所描述的)所取得的圖像在預(yù)定速率上重疊。當執(zhí)行圖像跟蹤時，圖像拾取控制程序控制圖像拾取設(shè)備13以便圖像拾取設(shè)備13在預(yù)定時間間隔或連續(xù)地取得圖像，同時獲得圖像數(shù)據(jù)和下一圖像數(shù)據(jù)。圖像處理程序執(zhí)行圖像處理，例如從由圖像拾取設(shè)備13獲得的圖像中提取特征點(接合點)或利用作為參考的接合點組合多個圖像。另外，跟蹤處理程序在時間方面彼此相鄰的圖像之間執(zhí)行特征點的圖像跟蹤并且將圖像的特征點接連地指定到下一圖像中。要注意的是，在日本專利申請公開號2006 -10376或日本專利申請公開號2007 — 171048中公開了圖像跟蹤?；谟蒅PS設(shè)備23的測量獲取的地面坐標以及從圖像拾取設(shè)備13的圖像中提取的接合點，三維位置測量程序根據(jù)諸如攝影測量等的測量方法計算直升機I的高度距離(參考位置)。因此，作為直升機I的高度，能夠獲取兩種類型的高度，即由GPS設(shè)備23的測量獲取的第一高度距離以及基于通過攝影測量的圖像獲取的第二高度距離。
當如之后所描述的那樣確定接合點時使用第一高度距離，基于如所確定的特征點關(guān)于第二高度距離執(zhí)行攝影測量，并且相比于第一高度距離的精度，第二高度距離具有較高的精度。三維位置測量程序、獲得的圖像、在其上獲得圖像的位置和時間以及其他可以被存儲在第三存儲單元33 (如之后所描述的)中。在這種情況下，主CPU32執(zhí)行測量所需要的算術(shù)處理。勘測單元CPU24根據(jù)圖像拾取控制程序控制通過圖像拾取設(shè)備13的圖像拾取，根據(jù)跟蹤處理程序?qū)嵤﹫D像跟蹤、提取接合點以及根據(jù)圖像處理程序組合多個圖像以及根據(jù)三維位置測量程序計算第二高度距離。飛行控制單元18包括第一馬達8、第二馬達9、第三馬達10、第四馬達11、用于單獨地驅(qū)動和控制這些馬達的馬達控制器26、用于控制馬達控制器26的飛行控制CPU27、第二存儲單元28以及姿勢檢測器，例如用于檢測直升機I相對于水平狀態(tài)的姿勢狀態(tài)(傾斜)以及產(chǎn)生姿勢狀態(tài)信號的陀螺儀單元29。 在第二存儲單元28中，存儲飛行控制程序，用于基于來自主算術(shù)控制單元19的飛行引導(dǎo)數(shù)據(jù)計算飛行狀態(tài)，例如飛行速度、上升速度、下降速度、飛行方向、飛行高度以及其他，并且存儲用于基于來自陀螺儀單元29的姿勢狀態(tài)信號來計算用于姿勢控制的信息的姿勢控制程序和其他程序。飛行控制CPU27根據(jù)飛行控制程序和飛行引導(dǎo)數(shù)據(jù)將飛行控制命令傳送到馬達控制器26，經(jīng)由馬達控制器26控制第一馬達8、第二馬達9、第三馬達10和第四馬達11，并且執(zhí)行預(yù)定飛行。飛行控制CPU27還根據(jù)姿勢控制程序?qū)⒆藙菘刂泼顐魉偷今R達控制器26，并且經(jīng)由馬達控制器26分別地控制第一馬達8、第二馬達9、第三馬達10和第四馬達11。結(jié)果，以飛行物體能夠飛行的這樣方式飛行控制CPU27維持姿勢。主算術(shù)控制單元19包括主CPU32、第三存儲單元33、以及輸入/輸出控制單元34，并且第三存儲單元33存儲諸如整合程序(integration program)、飛行引導(dǎo)程序、通信控制程序和其他之類的程序，以及還存儲飛行計劃數(shù)據(jù)。作為飛行計劃數(shù)據(jù)存儲的數(shù)據(jù)包括例如航線(flight course)、飛行高度、圖像拾取的位置和范圍以及其他。整合程序整合和控制勘測單元17和飛行控制單元18。飛行引導(dǎo)程序由飛行計劃數(shù)據(jù)和由GPS設(shè)備23獲取的位置信息制備飛行引導(dǎo)數(shù)據(jù)。另外，主CPU32根據(jù)飛行引導(dǎo)程序制備飛行引導(dǎo)數(shù)據(jù)并且在必要定時時基于整合程序經(jīng)由輸入/輸出控制單元34將飛行引導(dǎo)數(shù)據(jù)輸出到飛行控制單元18。另外，基于來自勘測單元17的高度測量結(jié)果，主CPU32還傳送飛行引導(dǎo)數(shù)據(jù)到飛行控制單元18以便維持與地表面的預(yù)定高度。要注意的是，作為用于控制飛行的高度測量結(jié)果，可以使用第一高度距離或第二高度距離。通信單元20由無線通信單元35、信息通信單元36以及其他構(gòu)成，并且無線通信單元35從地上基地(ground base)接收遠程飛行控制命令并且將直升機I的飛行狀態(tài)傳達到地上基地。而且，在直升機I登陸在基地上的狀態(tài)中信息通信單元36被配置通過諸如例如無線LAN或藍牙(注冊商標)之類的通信裝置在地上基地和直升機I之間傳送/接收信息，飛行計劃數(shù)據(jù)被從基地傳送到直升機1，或在飛行期間獲得的圖像、位置和時間的信息被從直升機I傳送到基地。
電源單元21例如是可置換的可充電電池并且當直升機I登陸在基地上時用充電電池替換，并且用完的電池被充電直到下一次替換。在飛行期間，電源單元21將必要的電力(electric power)供應(yīng)給勘測單元17、飛行控制單元18、主算術(shù)控制單元9和通信單元20。由圖像拾取設(shè)備13獲得的圖像、由勘測單元17測量的位置信息和接合點的信息經(jīng)由通信單元20被傳達到基地控制設(shè)備2。基地控制設(shè)備2基于圖像制備較寬范圍的組合圖像，并且還制備立體圖像或者基于立體圖像執(zhí)行攝影測量。勘測單元CPU24、飛行控制CPU27和主CPU32構(gòu)成直升機I的算術(shù)單元。如上所描述的，勘測單元CPU24、飛行控制CPU27和主CPU32可以被提供給勘測單元17、飛行控制單元18和主算術(shù)單元19的每個，或者可以提供一個算術(shù)單元，以及勘測單元CPU24的功能、飛行控制CPU27的功能和主CPU32的功能可以被分配給這個算術(shù)單元?？商鎿Q地，主CPU32 可以被利用作為算術(shù)單元，可以使得主CPU32執(zhí)行勘測單元CPU24和飛行控制CPU27的一個或二者的處理，并且勘測單元CPU24和飛行控制CPU27的一個或二者可以被省略。另外，第一存儲單元25、第二存儲單元28、和第三存儲單元33構(gòu)成直升機I的存儲單元。如上所描述的，第一存儲單元25、第二存儲單元28、和第三存儲單元33可以被單獨地提供，或存儲單元可以被配置作為一個存儲設(shè)備，并且相應(yīng)于第一存儲單元25、第二存儲單元28和圖像拾取設(shè)備13的存儲器區(qū)域可以被設(shè)置在存儲設(shè)備中。接下來，通過參考圖3，將對基于攝影測量的距離測量給出描述。在圖3中，假設(shè)直升機I從點01飛行到點02并且在點01和點02上取得圖像。另夕卜，從點01到點02的距離BI是攝影基線長度，并且參考標號41-1和41-2的每個代表在點01和點02的每個上的圖像拾取設(shè)備13的圖像拾取元件41并且等同于圖像數(shù)據(jù)。要注意的是，圖3示出圖像拾取設(shè)備13的光軸15是垂直，即直升機I在水平姿勢中的情況。在點01上取得的測量點P的圖像上(即，在圖像拾取元件上)的位置是pl(xl，yl)并且在點02上取得的測量點P的圖像上(即，在圖像拾取元件上)的位置是P2(x2，y2)。假設(shè)從圖像拾取設(shè)備41-1的中心0-1 (原點)到pi的距離是11以及從圖像拾取元件41-2的中心0-2 (原點)到p2的距離是12，圖像拾取設(shè)備13的焦距f以及從攝影基線長度B到P的距離Z (直升機I的高度距離)基于三角形01，02，P，三角形01，0-1，Pl和三角形02，0-2，P2的類似關(guān)系被表示為Z=Bf/(II + 12)。在這里，點01和點02的地面坐標能夠由GPS設(shè)備23測量，攝影基線長度B是在兩個點，即點01和點02之間的距離，以及基于GPS設(shè)備23的測量結(jié)果能夠獲取攝影基線距離B。另外，同樣地能夠從pi (xl，yl)，p2 (x2，y2)以及GPS設(shè)備23測量的點01和點02的地心位置獲取測量點P的地心位置(平面坐標)。因此，可能根據(jù)在直升機I移動的過程中順序地取得的兩個圖像實時對直升機I的高度(距離地表面的高度)進行測量(高度距離測量)。GPS設(shè)備23能夠測量三維坐標，能夠與地面坐標同時獲取高度位置，但是要獲取的高度位置是絕對位置并且不同于距離地表面的高度。另外，作為GPS設(shè)備23的特性，與地面坐標相比，高度位置的測量結(jié)果易于受到來自衛(wèi)星的GPS設(shè)備23的接收狀態(tài)影響，并且這個測量結(jié)果的精度比地面坐標的精度差。在攝影測量中，由于使用高度精確的地面坐標根據(jù)圖像進行測量，所以能夠獲取具有高精度的測量結(jié)果并且能夠獲取距離地面的高度距離。在上面描述的攝影測量中，pi (xl，yl)和p2 (x2，y2)對應(yīng)于在點01上取得的圖像和在點02上取得的圖像共用的點以及pi，p2對應(yīng)于接合點。關(guān)于上面的攝影測量，已經(jīng)描述了其中直升機I在水平姿勢中的情況，但是直升機I是小型且輕重量并且易于受到風和其他方面影響，并且實際上通常的情況是，每次實施攝影時改變直升機I的姿勢。因此，在直升機主體3線性地飛行并且關(guān)于前進方向搖擺的狀態(tài)中能夠獲得圖像。在其中組合多個所獲得的圖像的情況下，或在其中基于圖像測量距離的情況下，或在其中將圖像組合為寬范圍的圖像或制備立體圖像的情況下，圖像可能被變形，圖像被失真或使距離測量的精度惡化。在這個實施例中，甚至在其中改變直升機I (直升機主體3)的姿勢的情況下，能夠根據(jù)圖像執(zhí)行精確的測量，或者能夠合適地組合圖像。 在這個實施例中，使得直升機I在蜿蜒曲折模式中飛行，如在圖4中所示的，在其中改變飛行方向的相應(yīng)頂點(01，02，03，04，…，On)上實施攝影，在彼此相鄰的三個頂點(在附圖中的01，02，03，)上取得的三個圖像41-1，41-2和41_3被確定作為一組，執(zhí)行三重匹配(triplet matching)。通過實施三重匹配,精確地執(zhí)行接合點的對應(yīng)性(correspondence)(確定)。另外，關(guān)于其執(zhí)行三重匹配的圖像被重新布置以便每次圖像拾取時包括最新圖像并且當在頂點04上取得圖像時，在02，03，和04上取得的圖像是三重匹配的對象。因此，在每次改變飛行的方向時執(zhí)行三重匹配。而且，在其上改變方向的頂點之間的距離或圖像拾取的時間間隔以其中三重匹配是可能的重疊部分40 (在圖4中的陰影部分)能夠被獲取的這樣方式由飛行時刻表設(shè)置。通過參考圖5，將對三重匹配給出描述。實施根據(jù)在三個圖像中的每兩個圖像的高度測量(攝影測量)并且類似上面的描述，實施根據(jù)兩個圖像的高度距離測量。圖5示意性地示出根據(jù)由飛行中的直升機I取得的圖像順序地實施高度測量的狀態(tài)。另外，在圖3中，盡管關(guān)于由圖像拾取設(shè)備13取得的全部圖像已經(jīng)描述了直升機I的高度測量，但是可能執(zhí)行圖像中的任意區(qū)域的高度距離測量，即對應(yīng)于圖像中的區(qū)域的地表面42中的區(qū)域的高度測量。關(guān)于由圖像拾取設(shè)備13取得的地表面42的圖像執(zhí)行圖像處理，并且從圖像中提取特征點a到η。通過諸如邊緣處理或?qū)Ρ榷忍幚淼戎惖暮线m圖像處理來執(zhí)行特征點的提取。而且，從在一個頂點上取得的圖像中提取的特征點必須順序地被指定到在隨后相鄰頂點上取得的圖像中。作為指定方法，存在圖像跟蹤。在圖像跟蹤中，從一個頂點到下一個頂點連續(xù)地或以預(yù)定時間間隔獲得圖像，特征點被一個接一個地指定在圖像中(圖像跟蹤)，其在時間方面是相鄰的，并且在一個頂點上的圖像中的特征點對應(yīng)于下一頂點上的圖像。由于實施三重匹配，所以在其中三個圖像重疊的重疊部分40 (見圖4)選擇特征點。在三個圖像內(nèi)的兩個圖像中，例如，在點01上在圖像41-1中提取特征點al和bl，特征點al和bl通過跟蹤被指定作為在點02上圖像41-2中的特征點a2和b2，并且根據(jù)圖像41-1和41-2實施特征點a和b的高度測量。另外，基于GPS設(shè)備23的測量結(jié)果，計算特征點a和b的地面坐標。然后，計算特征點a和b的三維坐標。另外，在其他兩個圖像中，即在點02上的圖像41-2和在點03上的圖像41-3，從點02上的圖像41-2到點03上的圖像41-3跟蹤特征點，用于基于圖像41_2中的特征點(a2，b2)和在點03上圖像41-3中的特征點(a3，b3)確定特征點a和b的高度。另外，基于GPS設(shè)備23的測量結(jié)果，計算特征點a和b的地面坐標。另外，還能夠通過GPS設(shè)備23測量圖像拾取時在點01、點02和點03上的絕對高度。由GPS設(shè)備23測量的每個絕對高度代表在直升機I的參考位置上的絕對高度，并且不代表距離地表面的高度，但是能夠獲取在點01、點02和點03之間的高度上的相對位置關(guān)系。另外，在圖像拾取時在點01、點02和點03上取得的測量在時間和距離方面彼此靠近，并且能夠判斷由GPS設(shè)備23測量的高度的相對精度是高的。在上面的描述中，已經(jīng)描述了兩個點，即特征點a和b，從整個圖像提取特征點。因 此，當能夠獲取特征點的三維坐標時，還能夠測量地表面42的狀況，例如強度、傾斜以及其他。如上面所描述的，關(guān)于在地面上對應(yīng)于所提取的特征點的測量點A和B，執(zhí)行根據(jù)兩組圖像的高度測量，并且能夠關(guān)于每個測量點A和B獲取兩組三維坐標。通過比較兩組三維坐標，可能確定由從圖像41-1到圖像41-2以及另外從圖像41-2到圖像41-3的順序跟蹤指定的特征點是否是精確的。如在圖5中所示出的，關(guān)于特征點計算的兩組三維坐標彼此一致，并且從圖像41-1到圖像41-3精確地執(zhí)行跟蹤，并且可能判斷測量結(jié)果是合適(正確)。然而，關(guān)于特征點b，當基于圖像41-1和圖像41-2計算的三維坐標與基于圖像41-2和圖像41-3計算的三維坐標不一致時，或在其中設(shè)置的精度范圍被超過的情況下，可能判斷跟蹤是不合適的或所測量的測量點被偏離(不正確)。在這種情況下，刪除特征點b的測量結(jié)果。因此，關(guān)于所有提取的特征點的每個，獲取兩組三維坐標，基于兩組三維坐標，執(zhí)行正確/不正確的確定，并且僅僅被確定為正確的特征點的測量結(jié)果被存儲在第一存儲單元25中?；诹硪唤M的兩個圖像，即在點01上的圖像41-1和在點03上的圖像41_3以及特征點(al，bI)和(a3，b3 )，能夠關(guān)于測量點A和B獲取另一組三維坐標。在其中所獲取的三組三維坐標彼此一致或在預(yù)定精度內(nèi)的情況下，或在其中所述三組三維坐標中的兩個彼此一致或在預(yù)定精度內(nèi)的情況下(在以下的描述中，其中三維坐標彼此一致，或在預(yù)定精度內(nèi)的情況被認為一致)，測量結(jié)果可能被確定為正確。確定為正確的特征點被判定為接合點，組合圖像41-1、圖像41-2和圖像41_3，制備寬范圍中的圖像，或制備立體圖像。另外，通過參考圖6，將對三重匹配和組合圖像的流程進行描述。步驟01當直升機I飛行并且到達預(yù)定的測量范圍時，蜿蜒曲折的飛行根據(jù)飛行計劃開始。盡管進行了蜿蜒曲折的飛行，但是在預(yù)定間隔通過圖像拾取設(shè)備13取得圖像(或取得連續(xù)圖像)，以及所取得的圖像被存儲在第一存儲單元25中。另外，獲取在每個頂點上的圖像并且每次當獲取頂點上的圖像時獲得由GPS設(shè)備23測量的三維坐標。
步驟02讀取彼此相鄰的三個頂點的圖像數(shù)據(jù)，并且其中三個圖像重疊的重疊部分40被計算和設(shè)置。步驟03在重疊部分40中，特征點被提取，并且在相應(yīng)的頂點上獲得的圖像之間執(zhí)行特征點的圖像跟蹤，并且為相應(yīng)頂點的圖像共用的特征點被指定。步驟04基于指定的特征點和基于在三個頂點上的圖像拾取位置的三維坐標，執(zhí)行三重匹配。另外，彼此相鄰的兩個圖像被確定作為一組，基于特征點(接合點)和圖像關(guān)于每組實施攝影測量，并且獲取對應(yīng)于特征點的測量點的三維坐標。步驟05將從每個組中的圖像中獲取的三維坐標彼此比較，關(guān)于這些三維坐標是否彼此一致執(zhí)行正確/不正確的確定。僅僅被確定為正確的勘測結(jié)果被獲得作為測量數(shù)據(jù)。
·
步驟06基于GPS設(shè)備23關(guān)于頂點的測量值(三維坐標)，即圖像拾取設(shè)備13的位置信息以及基于作為接合點的特征點執(zhí)行在三個頂點上攝影的靜態(tài)圖像的傾斜的定向計算。當執(zhí)行定向計算時，確定在兩個頂點之間的距離(基線長度)和在每個頂點上的圖像拾取設(shè)備13的旋轉(zhuǎn)角度(圖像拾取設(shè)備13的方向)，以及具有三維數(shù)據(jù)的立體圖像被制備。步驟07另外，判斷要讀取的圖像是否仍然存在，并且如果要讀取的圖像存在，則重復(fù)步驟02到步驟06的處理。如果沒有要讀取的圖像，則處理前進到步驟08。另外，執(zhí)行在三個頂點上獲得的圖像的攝影位置的計算的本地處理和傾斜的定向計算的本地處理，并且重復(fù)本地處理。結(jié)果，快速地實施處理，并且能夠?qū)崟r或基本上實時地計算飛行物體I的精確高度。步驟08順序地且連續(xù)地實施用于作為一組的三個頂點的圖像的圖像定向(本地定向)，獲取關(guān)于在相應(yīng)頂點上取得的靜態(tài)圖像的圖像拾取設(shè)備的位置和傾斜的初始值。最后共同地通過成束調(diào)整(bundle adjustment)(塊)執(zhí)行分析并且以高精度計算其中取得圖像的相應(yīng)頂點上的照相機位置和傾斜?；谒@取的照相機位置和傾斜，優(yōu)化所有圖像，或組合所有圖像并且制備立體圖像。
權(quán)利要求
1.一種航空攝影圖像拾取方法，包括使得包括GPS設(shè)備和用于向下取得圖像的圖像拾取設(shè)備的飛行物體蜿蜒曲折地飛行的步驟，在其中方向在蜿蜒曲折的飛行中被改變的每個頂點上取得圖像的步驟，從彼此相鄰的至少三個頂點取得的圖像的共同重疊部分中提取特征點的步驟，將所述圖像中的兩個頂點的兩個圖像確定作為一組并且由所述GPS設(shè)備為關(guān)于至少兩組的每組獲得所述兩個頂點的位置信息的步驟，基于位置信息和基于所述兩個圖像的所述特征點執(zhí)行對應(yīng)于所述特征點的測量點的攝影測量的步驟，以及當所述測量點的勘測結(jié)果在至少所述兩組中彼此一致時將所述特征點確定作為用于圖像組合的接合點的步驟。
2.根據(jù)權(quán)利要求I所述的航空攝影圖像拾取方法，其中從在一個頂點上取得的圖像中提取所述特征點，并且在所述特征點中執(zhí)行圖像跟蹤并且在下一頂點上取得的圖像中指定所述特征點。
3.根據(jù)權(quán)利要求I或2所述的航空攝影圖像拾取方法，其中基于所述接合點和由所述GPS設(shè)備測量的所述三個頂點的三維坐標，實施在所述三個頂點上取得的所述圖像的攝影位置計算和傾斜的定向計算的本地處理。
4.一種航空攝影圖像拾取裝置，包括飛行物體以及GPS設(shè)備、導(dǎo)航裝置、用于在所述飛行物體之下取得圖像的圖像拾取設(shè)備、圖像處理單元和在所述飛行物體中提供的主算術(shù)控制單元，其中所述主算術(shù)控制單元具有飛行計劃數(shù)據(jù)，用于使所述飛行物體蜿蜒曲折地飛行，基于來自所述GPS設(shè)備的位置信息和所述飛行計劃數(shù)據(jù)來制備飛行引導(dǎo)數(shù)據(jù)，基于所述飛行引導(dǎo)數(shù)據(jù)控制所述導(dǎo)航裝置以及使得所述飛行物體蜿蜒曲折地飛行并且所述圖像拾取設(shè)備在其中方向在蜿蜒曲折的飛行中被改變的每個頂點上取得圖像，以及所述圖像處理單元從彼此相鄰的至少三個頂點取得的圖像的共同重疊部分中提取特征點；以及所述主算術(shù)控制單元確定彼此相鄰的兩個圖像作為一組，基于所述特征點為關(guān)于至少兩組的每組執(zhí)行攝影測量，當至少兩個勘測結(jié)果彼此一致時將所述特征點確定作為接合點，以及基于所述接合點和所述三個頂點的位置信息實施所述圖像的定向計算。
全文摘要
涉及一種航空攝影圖像拾取方法和航空攝影圖像拾取裝置。該方法包括使得包括GPS設(shè)備(23)和用于向下取得圖像的圖像拾取設(shè)備(13)的飛行物體蜿蜒曲折地飛行的步驟，在其中方向在蜿蜒曲折的飛行中被改變的每個頂點上取得圖像的步驟，從彼此相鄰的至少三個頂點取得的圖像的共同重疊部分中提取特征點的步驟，將所述圖像中的兩個頂點的兩個圖像確定作為一組并且由所述GPS設(shè)備為關(guān)于至少兩組的每組獲得所述兩個頂點的位置信息的步驟，基于位置信息和基于所述兩個圖像的所述特征點執(zhí)行對應(yīng)于所述特征點的測量點的攝影測量的步驟，以及當所述測量點的勘測結(jié)果在至少所述兩組中彼此一致時將所述特征點確定作為用于圖像組合的接合點的步驟。
文檔編號G01C11/00GK102840852SQ20121016159
公開日2012年12月26日 申請日期2012年5月23日 優(yōu)先權(quán)日2011年5月23日
發(fā)明者大友文夫, 大佛一毅, 穴井哲治, 大谷仁志 申請人:株式會社拓普康