使用從運(yùn)動恢復(fù)結(jié)構(gòu)算法的體積確定方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供了一種使用從運(yùn)動恢復(fù)結(jié)構(gòu)算法的體積確定方法和系統(tǒng)。用于建筑場所的對象的體積確定方法包括：在將相機(jī)反復(fù)地取向到對象上的同時沿著圍繞對象的路徑移動移動相機(jī)，在該過程中，利用相機(jī)捕獲對象的一系列圖像，該一系列圖像包括從路徑上的不同點(diǎn)以相機(jī)的不同取向捕獲的多個圖像，該一系列圖像由由此收集的圖像數(shù)據(jù)組來表示，使用該一系列圖像利用定義的算法來執(zhí)行從運(yùn)動評估恢復(fù)結(jié)構(gòu)并且從其生成空間表示，包括對象(1)的表面，利用關(guān)于已知的關(guān)于標(biāo)度的絕對參考的給定信息的幫助來縮放該空間表示，定義針對對象的地表面并且將其應(yīng)用于所述空間表示，以及基于縮放后的空間表示和所定義的地表面來計(jì)算并且輸出對象的絕對體積。
【專利說明】使用從運(yùn)動恢復(fù)結(jié)構(gòu)算法的體積確定方法和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種在建筑場地確定對象的體積的方法和系統(tǒng)。

【背景技術(shù)】
[0002]在建筑場地，常常需要確定對象(例如，料堆或諸如壺穴的中空空間、間隙或礦)的體積。
[0003]傳統(tǒng)的用于確定這樣的體積的方法是利用諸如激光掃描器、全站儀、立體相機(jī)或一組固定安裝的相機(jī)的測量裝置掃描對象。由于從一個站點(diǎn)，僅能夠測量料堆的一部分，而其它表面點(diǎn)被擋住了，因此，需要在相對于例如料堆的至少三個不同位置設(shè)置測量裝置，從而能夠以組合的方式測量料堆的整個表面。從每個站點(diǎn)捕獲料堆，即，測量料堆的表面點(diǎn)相對于測量裝置的空間位置。接下來，對從三個或更多設(shè)置位置獲得的點(diǎn)云進(jìn)行組合和網(wǎng)格化。然后，計(jì)算網(wǎng)格化表面與地表面之間的體積。這樣的方法主要的缺點(diǎn)在于下述事實(shí):諸如激光掃描器、全站儀、立體相機(jī)或多個相機(jī)是昂貴的硬件并且需要由技術(shù)人員來操作和定位。另外，將這樣的測量裝置設(shè)置在三個不同位置并且至少彼此相對地確定這些位置是耗時的。然而，在一些情況下，這樣的時間和金錢上的付出由于不要求由如全站儀的大地測量裝置執(zhí)行的位置測量的高準(zhǔn)確性以及所獲得的體積確定的高準(zhǔn)確性而相對粗糙的體積值將是足夠的而在某種程度是浪費(fèi)的。
[0004]為了確定大的對象的體積或者為了覆蓋大面積中的多個對象，進(jìn)一步了解的是，使用配備有GNSS位置傳感器和用于確定地面對象的尺寸數(shù)據(jù)的裝置的無人駕駛飛行器(UAV) ο


【發(fā)明內(nèi)容】

[0005]因此，本發(fā)明的目的在于提供一種用于確定建筑場所的對象的體積的簡化的方法和系統(tǒng)。
[0006]本發(fā)明的另一目的在于提供一種用于確定建筑場所的對象的體積的耗時較少的方法。
[0007]本發(fā)明的另一目的在于提供一種用于確定建筑場所的對象的體積的成本有效的系統(tǒng)。
[0008]通過根據(jù)權(quán)利要求1的確定建筑場所的對象的體積的方法、根據(jù)權(quán)利要求5的建筑場所的對象的體積確定系統(tǒng)、根據(jù)權(quán)利要求14的確定建筑場所的對象的體積的計(jì)算機(jī)程序產(chǎn)品和/或本發(fā)明的從屬權(quán)利要求來實(shí)現(xiàn)這些目的中的至少一個。
[0009]根據(jù)本發(fā)明，一種確定建筑場所的對象或中空空間的體積的方法包括下述步驟:
[0010](a)在將相機(jī)反復(fù)地，特別是連續(xù)地取向到對象上的同時沿著圍繞對象的路徑移動移動相機(jī)，
[0011](b)在該過程中，利用相機(jī)捕獲對象的一系列圖像，該一系列圖像包括從路徑上的不同點(diǎn)以相機(jī)的不同取向捕獲的多個圖像，該一系列圖像由由此收集的圖像數(shù)據(jù)組來表示，
[0012](c)使用該一系列圖像利用定義的算法來從運(yùn)動評估恢復(fù)結(jié)構(gòu)并且從其生成對象的表面的空間表示，
[0013](d)利用關(guān)于已知的關(guān)于標(biāo)度的絕對參考的給定信息的幫助并且特別地還利用關(guān)于絕對豎直方向的給定信息的幫助來調(diào)整并且特別地豎直地取向該空間表示，
[0014](e)定義針對該對象的地表面并且將其應(yīng)用于該空間表示，以及
[0015](f)基于調(diào)整后的并且豎直取向的空間表示和所定義的地表面來計(jì)算并且輸出對象的絕對體積。
[0016]在本發(fā)明中，術(shù)語“絕對”(參考、豎直方向、體積、……)意味著能夠以一個且同樣已知的尺度為單位，特別是以一個標(biāo)準(zhǔn)長度單位(米、英寸、……)為單位來對量的值進(jìn)行量化。
[0017]移動相機(jī)能夠捕獲一系列圖像，該系列圖像能夠被存儲為圖像數(shù)據(jù)組，例如，靜態(tài)圖像的組、視頻序列或者其組合。移動相機(jī)是用于建筑場所的對象的體積確定的系統(tǒng)的一部分，該系統(tǒng)進(jìn)一步包括控制評估單元。圖像數(shù)據(jù)組能夠存儲在移動相機(jī)上或者存儲在系統(tǒng)的存儲單元上。系統(tǒng)可以包括顯示器，其特別地具有觸敏接口。例如，該系統(tǒng)能夠是智能電話或者GNSS測量系統(tǒng)或全站儀的控制器，其存儲有具有代碼的程序以控制和執(zhí)行體積確定功能，該體積確定功能包括上述方法?？刂圃u估單元能夠位于智能電話中、控制器中和/或移動相機(jī)中和/或系統(tǒng)的另外部分中，從而利用智能電話、控制器和/或在移動相機(jī)中和/或在系統(tǒng)的另一部分中執(zhí)行步驟(C)至(f)中的一些或全部或者步驟(C)至(f)的一部分。該系統(tǒng)可以包括計(jì)算服務(wù)器和數(shù)據(jù)發(fā)送單元，從而能夠在場外執(zhí)行步驟(C)至(f)中的一些或全部或者步驟(C)至(f)的一部分，這能夠?qū)τ谙到y(tǒng)的移動部分的功耗或?qū)τ谔幚砉β室约耙虼藢τ谔幚頃r間來說是有利的。作為示例，利用智能電話捕獲的圖像數(shù)據(jù)組能夠被傳輸?shù)皆品?wù)器，其中，根據(jù)本發(fā)明來處理圖像數(shù)據(jù)，從而最終計(jì)算并輸出體積。輸出的體積能夠被傳輸回智能電話并且顯示給用戶。
[0018]步驟(c)至(f)不需要在建筑場所執(zhí)行并且能夠在步驟(a)和(b)之后的任何時間來執(zhí)行。能夠按照任何適合的順序來執(zhí)行該方法的步驟。特別地，步驟⑷和(e)的順序是能夠交換的，并且能夠同時執(zhí)行這兩個步驟。如果在一個仍在執(zhí)行的步驟中生成了足夠的數(shù)據(jù)，從而下述步驟能夠已經(jīng)開始，可以同時執(zhí)行這兩個步驟。例如，能夠根據(jù)步驟(C)生成點(diǎn)云的一部分，其由于該部分點(diǎn)云包括了足夠的地表面相關(guān)點(diǎn)而足以定義地表面，和/或由于給定的關(guān)于已知的絕對參考的信息指向該部分點(diǎn)云而足以對點(diǎn)云進(jìn)行調(diào)整。又如，由于一系列圖像的圖像的數(shù)目能夠足以生成對象的一部分的空間表示(即，生成整個對象的第一粗略空間表示)，因此，根據(jù)步驟(C)的生成空間表示的步驟能夠在步驟(a)和(b)仍然在進(jìn)行的同時開始。在之前步驟中生成的另外的數(shù)據(jù)能夠用于細(xì)化后續(xù)步驟的結(jié)果。
[0019]在本發(fā)明的實(shí)施方式中，相機(jī)是手持單元(特別地，包括全站儀和/或GNSS組件的測量系統(tǒng)(surveying system))的移動場控制器的內(nèi)置組件。手持單元可以進(jìn)一步包括傳感器裝置，用于根據(jù)相機(jī)的運(yùn)動利用絕對參考來確定位置和/或位置的變化和/或加速度，特別地，相對于相機(jī)固定并且還形成手持單元的內(nèi)置組件慣性測量單元和/或相對于相機(jī)固定并且也形成手持單元的內(nèi)置組件GNSS傳感器。
[0020]沿著圍繞對象的路徑利用相機(jī)捕獲對象的一系列圖像的步驟(步驟b)能夠由用戶通過圍繞對象行走同時永久地保持相機(jī)或者將相機(jī)保持在路徑的任意選擇的不同點(diǎn)處，從而對象的面對相機(jī)的至少主要，特別地整個，可見側(cè)處于相機(jī)的視野中。從而不需要保持相機(jī)的某一取向。相機(jī)能夠在以每秒至少一個圖片的速率在圍繞對象移動的同時反復(fù)地捕獲圖像。特別地，以至少15 Hz的視頻幀速率生成視頻流。
[0021]根據(jù)圖像數(shù)據(jù)組，在步驟(C)中，計(jì)算對象的表面的空間表示，例如，3D模型，特別地，點(diǎn)云。這是通過所定義的從運(yùn)動恢復(fù)結(jié)構(gòu)(SfM)或及時定位與地圖構(gòu)建(SLAM)算法來進(jìn)行，這些算法是所存儲的具有代碼的程序的一部分。算法能夠基于具有觀察源的透視或仿射相機(jī)投射模型，其包括圖像對、圖像元組和/或視頻序列以及諸如稀疏特征對應(yīng)性、密集的光流場、線或曲線的表征類型，或者沒有從圖像提取任何表征的直接SfM技術(shù)。
[0022]作為示例，描述下述SfM算法，其包括對于圖像數(shù)據(jù)組中的圖像中的至少一些尋找一定數(shù)目的圖像對應(yīng)性的步驟。這是使用諸如SIFT、SURF、BRISK、BRIEF等等的特征檢測匹配算法來進(jìn)行的。替選地，在視頻序列的情況下，能夠?qū)τ诿總€視頻幀使用追蹤算法來尋找對應(yīng)性。能夠使用例如Kanade-Lucas-Tomasi(KLT)特征追蹤器或另外的追蹤算法來進(jìn)打追蹤。
[0023]使用一對適合的圖像，在局部坐標(biāo)幀中確定相對相機(jī)姿態(tài)(即，位置和取向)。算法使用魯棒搜索以尋找所選擇的對的圖像的相機(jī)的3D平移和旋轉(zhuǎn)(例如，第二圖像相對于第一圖像的相對位置和取向)。利用這些位置，使用前方交會來計(jì)算在兩個圖像中看到的所有特征的3D位置。這提供了一組3D點(diǎn)以及兩個初始幀的位置和取向。
[0024]在接下來的步驟中，額外的幀被添加到現(xiàn)有的重建。使用已經(jīng)重建的3D點(diǎn)，能夠使用后方交會來計(jì)算在圖像的捕獲期間相機(jī)具有的位置和取向。在添加了新的圖像之后，使用重建幀中的所有測量來細(xì)化3D點(diǎn)的位置。
[0025]作為最終或中間步驟，使用光束平差法來細(xì)化整個解。算法的該部分是重投射誤差的非線性最小二乘法最小化。其將優(yōu)化所有3D點(diǎn)和所有相機(jī)位置的位置和取向。
[0026]如果記錄包含來自同一位置的多個圖像，例如，當(dāng)圍繞對象移動的用戶走到開始點(diǎn)并且走過了幾米(這引起了交疊)，這些來自同一位置的圖像被匹配并且圍繞對象的環(huán)閉合。這將增加整體準(zhǔn)確性。
[0027]額外的約束(例如，來自GNSS測量的相機(jī)的位置、來自利用全站儀的測量的參考目標(biāo)的位置)能夠包括在光束平差法中以增加算法的魯棒性。
[0028]替選地，能夠使用其它的SLAM或SFM算法來恢復(fù)相機(jī)的位置和取向。為了進(jìn)一步加速處理，圖像能夠在數(shù)據(jù)的記錄期間傳輸?shù)娇刂圃u估單元。
[0029]在方法的又一發(fā)展中，能夠通過下述來實(shí)現(xiàn)對象的表面的空間表示的進(jìn)一步的改進(jìn)，即利用諸如稠密匹配算法(例如，深度圖融合或平面掃描)的算法來計(jì)算稠密點(diǎn)云，例如,針對每個圖像像素的3D坐標(biāo)。
[0030]作為上述用于確定空間表示的替選方案，能夠使用視覺赫爾方法來創(chuàng)建空間表示。在該空間雕刻技術(shù)中，首先尋找圖像中的前景對象的側(cè)影輪廓。側(cè)影的每個圖像區(qū)域外部表示其中不能夠存在對象的空間的區(qū)域。這些區(qū)域能夠被雕刻掉。獲得的體積(被稱為視覺赫爾(visual hull))是對于對象的實(shí)際幾何形狀的保守近似。常常容易在圖像中檢測到對象側(cè)影，并且這些方法能夠是非常魯棒的。在本發(fā)明中，能夠使用視覺赫爾方法來在圖像中將對象的表示與背景分離，因此利用所定義的輪廓來定義形狀。根據(jù)相機(jī)的投射中心，分別為三角形的半線被定義為穿過輪廓的各部分的點(diǎn)，其一起形成了錐形金字塔。使用所有圖像定義的所有錐形金字塔的空間交叉定義了對象的空間表示。
[0031]根據(jù)步驟(d)，利用給定的關(guān)于已知的絕對參考的信息來調(diào)整空間表示。有利的是，還使用已知的豎直參考來確定空間表示的豎直取向。這是有下述選項(xiàng)之一來執(zhí)行的:
[0032]使用參考體，特別地，使用細(xì)長的參考體，其由于其細(xì)長的形狀而限定長軸并且包括至少兩個定義的視覺上可檢測的標(biāo)記，從而在參考體上定義至少兩個點(diǎn)，例如，定標(biāo)條或具有彼此隔開預(yù)定距離的兩個或更多光學(xué)標(biāo)記的條。至少兩個點(diǎn)之間的絕對距離，特別地，至少兩個點(diǎn)相對于該參考體的長軸的空間關(guān)系是已知的。該參考體將在捕獲一系列圖像之前由用戶放置，如果空間表示被額外地豎直取向，則其長軸豎直地對齊在待確定其體積的對象上或與對象緊鄰。參考體被與對象一起成像在至少一些圖像上。還基于從運(yùn)動評估恢復(fù)結(jié)構(gòu)對于至少兩個點(diǎn)確定關(guān)于對象的空間表示的至少兩個空間位置。然后，基于所確定的至少兩個空間位置之間的所測量的距離以及參考體的至少兩個點(diǎn)之間的已知的絕對距離來調(diào)整空間表示。
[0033]另外，如果參考體被豎直地放置在對象上，則能夠基于所確定的關(guān)于空間表示的至少兩個空間位置和相對于長軸的至少兩個點(diǎn)的已知的空間關(guān)系來豎直地取向空間表示。
[0034]這樣的參考體還能夠由待測量對象上的定義為具有已知距離的點(diǎn)來形成,這些點(diǎn)在具有已知距離的至少一些圖像中額外地捕獲的對象上或至少一些圖像中是可檢測的。該已知距離能夠由利用能夠集成在系統(tǒng)中的諸如測距儀的測量裝置的測量來獲得。能夠利用具有不同于周圍的性質(zhì)的諸如邊緣或點(diǎn)的對象上/對象的獨(dú)特點(diǎn)來定義待測量對象或額外的對象上的可視覺檢測的點(diǎn)?？梢曈X檢測的點(diǎn)能夠進(jìn)一步包括諸如彩色點(diǎn)的光學(xué)標(biāo)記或者如圓圈的幾何形狀。作為示例，參考體能夠因此形成為待測量對象的長度或者具有已知尺寸的額外的對象，例如，對象的高度或?qū)挾然蚱湟徊糠?。這樣的額外的對象可以特別地包括定標(biāo)條。有利地，這些捕獲的可視覺檢測的點(diǎn)和/或標(biāo)記中的至少兩個被彼此豎直地對齊。替選地，諸如定標(biāo)條的兩個或更多個細(xì)長參考體能夠被布置在對象上或其附近。如果兩個定標(biāo)條被水平地對齊，例如，利用氣泡水平儀，則它們能夠定義水平面。該平面的法向量定義豎直方向。
[0035]根據(jù)相機(jī)沿著其圍繞對象的路徑的運(yùn)動，利用絕對參考(即，關(guān)于定義的標(biāo)度)確定相機(jī)的位置和/或位置變化和/或加速度。然后分別基于所確定的位置和/或位置變化和/或加速度來調(diào)整空間表示并且優(yōu)選地對其進(jìn)行豎直取向。能夠利用下述選項(xiàng)中的一個或其組合來確定位置和/或位置變化和/或加速度:
[0036]利用相對于相機(jī)固定的GNSS傳感器來對于至少兩個不同的相機(jī)位置測量相機(jī)的GNSS位置。如果空間表示也被豎直地對齊和/或空間參考，則對于至少三個相機(jī)位置測量GNSS位置。確定對點(diǎn)云進(jìn)行調(diào)整并且可選地還進(jìn)行移位和旋轉(zhuǎn)的變換，從而GNSS測量的位置(相中心)與由從運(yùn)動恢復(fù)結(jié)構(gòu)獲得的對應(yīng)的位置之間的差異最小。
[0037]使用相對于相機(jī)固定的慣性測量單元(IMU)。所測量的加速度和角速度被用于測量成對的圖像之間的相對位置和取向。使用該相對位置，能夠找到使得所測量的相對位置與變換后的相機(jī)位置的相對位置之間的差異最小的點(diǎn)云的移位旋轉(zhuǎn)和標(biāo)度。
[0038]諸如視距儀、全站儀、激光追蹤器的測量裝置測量，或者追蹤3d位置確定相機(jī)系統(tǒng)，特別地立體相機(jī)系統(tǒng)或圖案投射器相機(jī)系統(tǒng)，對于至少兩個不同的相機(jī)位置測量相機(jī)的位置。能夠與捕獲圖像同步地或者以預(yù)定時間間隔執(zhí)行相機(jī)的位置和/或取向的確定，從而所確定的位置和取向被清楚地指派給圖像。為此，能夠利用控制評估單元生成觸發(fā)信號并且將其傳輸給相機(jī)和GNSS傳感器、IMU、單元或測量裝置。替選地，相機(jī)能夠在捕獲圖像時或在預(yù)定數(shù)目的捕獲圖像之后或以預(yù)定的時間間隔觸發(fā)利用所述位置確定裝置的位置和/或取向確定。
[0039]至少兩個預(yù)定的可視覺檢測標(biāo)記(例如，編碼標(biāo)記)被布置在對象上或其附近。通過預(yù)定標(biāo)記，定義至少兩個參考點(diǎn)。利用測量儀器(例如，全站儀或GNSS極)測量參考點(diǎn)，即確定它們的絕對空間位置。還與對象一起在一系列圖像中的至少一些圖像中捕獲標(biāo)記。能夠在從SfM獲得的點(diǎn)云中自動地檢測標(biāo)記。還基于SfM評估確定關(guān)于點(diǎn)云的相對空間位置?；诮^對空間位置到每個參考點(diǎn)的相對空間位置的指派執(zhí)行變換(調(diào)整并且有利地還進(jìn)行豎直取向)。
[0040]在步驟(e)，確定對象的地表面并且將其應(yīng)用于空間表示。利用分析空間表示的形狀的預(yù)定評估算法來從點(diǎn)云自動地獲得地表面。能夠基于位于地表面上的一組點(diǎn)的分類來獲得地表面。該分類能夠基于相對于z軸(向上方向)的點(diǎn)的分布和具有較小的z坐標(biāo)的點(diǎn)是地表面的一部分的假設(shè)。替選地，用戶能夠通過在系統(tǒng)的顯示器上繪制曲線來對點(diǎn)進(jìn)行分類。然后，數(shù)學(xué)形狀(例如，平面)擬合到分類后的點(diǎn)，其表示地表面。替選地，能夠使用3D Hough變換或RANSAC算法來確定地表面。
[0041]替選地，能夠使用全站儀測量或來自GNSS標(biāo)桿的測量，利用地上的對象周圍放置的三個或更多個標(biāo)記或者利用諸如放置在地上的對象周圍的定標(biāo)條的兩個或更多個細(xì)長參考體來確定地表面。
[0042]替選地或額外地，地表面本身由用戶輸入手動地獲得。用戶能夠視覺地分析顯示在系統(tǒng)的顯示器上的空間表示并且手動地確定地表面或者調(diào)整自動獲得的地表面。特別地，顯示空間表示的哦鋪面(例如截面)并且能夠在所顯示的剖面中與所顯示的剖面相關(guān)地設(shè)置代表地表面的線。
[0043]在步驟(f)中，計(jì)算對象的絕對體積。首先，數(shù)學(xué)地定義的表面擬合到點(diǎn)云或者基于網(wǎng)格化從點(diǎn)云計(jì)算表面。用于數(shù)學(xué)地定義的表面的示例是3D樣條、錐形、自由形式表面或旋轉(zhuǎn)的拋物面。能夠使用3D或2D三角測量基于空間表示的網(wǎng)格化來獲得計(jì)算的表面。體積被計(jì)算為數(shù)學(xué)地定義的表面與地表面之間的差或者確定為三角測量的表面與地表面之間的圍閉體積。
[0044]在一些情況下，用戶可能不能夠完全地圍繞對象移動相機(jī)。因此，表面表示僅表示對象的一部分。然后，使用對稱假設(shè)來確定對象的體積。用戶能夠定義對稱面并且計(jì)算地表面與對稱面之間包含的部分的體積。然后近似的體積將是將所計(jì)算的體積乘以2獲得的體積。作為替選方案，能夠指定對稱軸，并且將通過從對象的剪影創(chuàng)建旋轉(zhuǎn)表面來近似對象的體積。例如，從貫穿點(diǎn)云的截面，能夠確定輪廓(例如，拋物曲線)。圍繞豎直的中心軸旋轉(zhuǎn)該曲線獲得了旋轉(zhuǎn)的拋物面。
[0045]除了對象的體積之外，用戶也可能對對象的體積改變或體積差感興趣。能夠使用所描述的方法來確定例如沙子移除前后的沙包的體積，以確定體積差。
[0046]在本發(fā)明的另一有利的應(yīng)用中，能夠從空間表示確定對象的尺寸，即長度、寬度、高度和形狀。了解了剛性對象(例如，石頭)的尺寸和形狀，能夠決定其是否適合于卡車的裝載平臺。此外，能夠確定對象是否適合通過裝載空間的開口，即對象的寬度是否小于開口的寬度。另外，該方法能夠進(jìn)一步發(fā)展為執(zhí)行斜率分析?；趯ο?例如，沙包)的形狀，并且考慮材料性質(zhì)(例如，傾斜角)，能夠分析出，在特定位置移除沙子將影響沙包的穩(wěn)定性，即移除是否會引起滑動。
[0047]在該方法的又一發(fā)展中，確定的體積與密度值一起用于計(jì)算對象(例如，料堆)的絕對重量。密度值由用戶輸入，由用戶在包括材料的若干定義的類型及其各自的密度值的查找表的幫助下選擇和/或通過從一系列圖像中的至少一個圖像自動地評估材料來自動地確定。在后一種情況中，能夠使用對象的紋理信息。
[0048]如果對象由不同材料的部分構(gòu)成，則能夠通過手動地標(biāo)記各部分或者基于圖像分割算法來評估各部分的絕對重量。
[0049]在該方法的又一發(fā)展中，基于其空間表示來計(jì)算對象的質(zhì)心，該質(zhì)心是不能夠出于該目的而進(jìn)行調(diào)整的。計(jì)算能夠在異質(zhì)對象的情況下考慮諸如材料的各部分的重量的進(jìn)一步的信息。此外，計(jì)算出的質(zhì)心能夠與其它存儲的或計(jì)算的對象性質(zhì)組合。例如，關(guān)于對象的硬度的信息和其質(zhì)心能夠用于提示用戶如何握持該對象以便于防止損壞。例如，了解質(zhì)心的位置，能夠決定，是否放置繩索以利用支架提升剛性對象或者如何為了良好的平衡性而利用叉車抓住該對象。此外，了解質(zhì)心，能夠最優(yōu)地將對象放置在卡車的裝載平臺上，例如以在前車軸和后車軸之間同等地平衡負(fù)載。
[0050]本發(fā)明進(jìn)一步包括用于執(zhí)行本體積確定方法的步驟(C)至(f)的計(jì)算機(jī)程序產(chǎn)品O

【專利附圖】

【附圖說明】
[0051]下面將參考伴隨著附圖的示例性實(shí)施方式詳細(xì)描述本發(fā)明，在附圖中:
[0052]圖1示出了現(xiàn)有技術(shù)的示例；
[0053]圖2a、圖2b示出了一組圖像的獲取的示例；
[0054]圖3示出了不同相機(jī)位置以及從運(yùn)動評估恢復(fù)結(jié)構(gòu)的一部分的示例；
[0055]圖4a、圖4b示出了對象的空間表示的調(diào)整和豎直取向的示例；
[0056]圖5a至圖5d示出了地表面的定義的示例；
[0057]圖6a、圖6b示出了對象的體積的計(jì)算的示例；
[0058]圖7a、圖7b示出了生成對象的空間表示的替選方法的示例；
[0059]圖8示出了重量確定功能的示例；
[0060]圖9a、圖9b示出了本發(fā)明的另外的功能的示例。

【具體實(shí)施方式】
[0061]圖1示出了用于確定物體1(例如，料堆)的體積的現(xiàn)有技術(shù)示例。用戶2將全站儀5設(shè)置在對象I附近的位置6處。對對象I進(jìn)行掃描(即，測量對象I的可見表面點(diǎn)4)并且計(jì)算點(diǎn)云。由于從位置6不能夠看到整個表面，因此，全站儀5需要設(shè)置在至少兩個其它位置處以便于測量從位置6看不到的表面點(diǎn)3，以便于能夠建立對象I的完整的表面表示。從三個或更多個設(shè)置獲得的點(diǎn)云被組合并且網(wǎng)格化。然后，計(jì)算網(wǎng)格表面與地表面之間的體積。
[0062]在圖2a中，根據(jù)本發(fā)明的用于體積確定的系統(tǒng)被示出為智能電話7的形式，其包括相機(jī)8和控制評估單元9。替選地，用于體積確定的系統(tǒng)可以是測量儀器的一部分。智能電話7由用戶把持，從而相機(jī)面朝對象I并且對象的相機(jī)8所面對的表面的整個部分處于相機(jī)8的視野8a內(nèi)。在圖2a和圖2b(頂視圖)中，用戶2沿著圍繞對象I的路徑10行走，同時相機(jī)8捕獲對象I的一系列圖像。獲取圖像的速率可以使得能夠生成視頻流。例如，相機(jī)每秒拍攝至少15張圖片。圖像將對象I示出為好像是從沿著路徑10的不同位置看的。該一系列圖像被存儲在智能電話7上作為圖像數(shù)據(jù)組，例如作為電影文件。在對象I上放置有參考體11，其長軸Ila豎直地取向。參考體11可以包括諸如氣泡水平儀的傾斜指示器。參考體11包括兩個可視覺地檢測的標(biāo)記11b，其定義了彼此間隔已知距離的兩個參考點(diǎn)。參考體11被與對象I 一起捕獲在圖像數(shù)據(jù)組的至少一個圖像子組中并且用于對由圖像數(shù)據(jù)組生成的對象I的空間表示進(jìn)行調(diào)整(縮放)。由于被豎直地對齊，因此圖像參考體11還能夠用于豎直地對齊空間表示。在將被豎直地對齊的參考體11的情況下，可視覺地檢測的標(biāo)記Iib優(yōu)選地具有不同的形狀(例如，不同的代碼)，以便于允許直立方向的自動確定。
[0063]在圖3中，對象I的頂視圖被與拍攝對象的圖像的路徑10上的點(diǎn)12的若干示例一起不出。在該不例中，每個位置處的相機(jī)的投射中心與點(diǎn)12相同。當(dāng)然,投射中心不必與相機(jī)位置相同，而是能夠根據(jù)已知的相機(jī)位置來計(jì)算。圖像13由其圖像平面來表示。對于圖像13的所有對，例如通過獲得公共特征點(diǎn)14的特征提取，尋找多個圖像對應(yīng)性。這是使用諸如SIFT、SURF、BRISK、BRIEF等等的特征檢測和匹配算法來進(jìn)行的。使用圖像的想要的對，在局部坐標(biāo)幀中確定圖像13的相對位置和取向并且計(jì)算特征點(diǎn)14的3D重構(gòu)，建造點(diǎn)云。在下一步驟中，每個額外的幀被添加到現(xiàn)有的3D重構(gòu)。使用已經(jīng)重構(gòu)的3D點(diǎn)，能夠使用去除來計(jì)算相機(jī)8的位置和取向。在添加了新的幀之后，使用重構(gòu)的幀中的所有測量來細(xì)化3D點(diǎn)的位置。
[0064]獲得的點(diǎn)云能夠用于計(jì)算體積或者能夠由稠密匹配算法來進(jìn)一步細(xì)化。稠密匹配的目標(biāo)在于在原始圖像中找到稠密點(diǎn)云，即，針對每個像素或子集的3D坐標(biāo)，例如在常規(guī)3X3網(wǎng)格上的3D坐標(biāo)，S卩，對于行和列方向上的每三個像素的3D坐標(biāo)。該算法由兩個主要步驟構(gòu)成。
[0065]首先，對于所有交疊的相機(jī)，計(jì)算視差圖。該視差圖包含兩個圖像中的像素的偏移，即，將施加于第一圖像中的像素的在第二圖像中的對應(yīng)的點(diǎn)的位置處結(jié)束的偏移。存在計(jì)算這些圖的多種方法、關(guān)聯(lián)技術(shù)、半全局匹配等等。
[0066]使用該組視差圖，通過前方交會來計(jì)算3D點(diǎn)。從每個像素開始，在其它圖像13中尋找最大數(shù)目的對應(yīng)像素。使用圖像之間的視差，能夠找到對應(yīng)點(diǎn)。然后使用來自所有有用圖像13的該組圖像位置計(jì)算3D點(diǎn)。
[0067]使用關(guān)于測量質(zhì)量的若干標(biāo)準(zhǔn)來過濾最終的點(diǎn)云。這包括觀察到點(diǎn)的圖像13的數(shù)目、測量的基線、所有測量的一致性的測量等等。
[0068]使用包括對象I和細(xì)長參考體11 (其放置在對象I上)的圖像13確定從SfM獲得的點(diǎn)云的標(biāo)度(圖4a)。在所有可用圖像13中，借助于圖像處理自動地識別兩個可視覺地檢測的標(biāo)記lib。確定每個圖像13中的參考點(diǎn)的位置并且將其用于使用前方交會(由線40指示)確定標(biāo)記的3D位置。由于參考點(diǎn)之間的真實(shí)距離是已知的，因此能夠通過比較點(diǎn)云中的距離與真實(shí)距離而將標(biāo)度應(yīng)用于點(diǎn)云。由于參考點(diǎn)被豎直地對齊，因此，它們用于對點(diǎn)云進(jìn)行變換使得其被豎直地取向。該變換(調(diào)整(縮放)和可能的豎直取向)能夠作為后續(xù)步驟來執(zhí)行。
[0069]能夠有利的是，使用超過一個的細(xì)長參考體11。在該情況下，一個細(xì)長參考體11能夠用于獲得標(biāo)度并且另一個用于檢查。如果至少兩個細(xì)長的參考體11被水平地對齊(非平行)(例如，通過氣泡水平儀)，則它們定義了其法向量豎直的水平面。因此，由細(xì)長的參考體11的標(biāo)記定義的點(diǎn)能夠用于對點(diǎn)云進(jìn)行變換，使得其豎直地取向。
[0070]替選地，能夠在光束平差法中直接引入從細(xì)長的參考體11獲得的信息，該光束平差法在從運(yùn)動恢復(fù)結(jié)構(gòu)內(nèi)執(zhí)行。附加的約束對于算法的穩(wěn)定性具有積極的影響。
[0071]圖4b示出了空間表示的標(biāo)度的確定的另一示例。至少兩個可視覺地檢測的標(biāo)記Ilb (例如，編碼標(biāo)記)被放置在對象I上或其附近，從而被與對象I 一起成像在由相機(jī)8捕獲的圖像組中的至少一些圖像上。由可檢測的標(biāo)記Ilb定義至少兩個點(diǎn)。例如使用用于特征檢測的圖像處理算法在點(diǎn)云中自動地檢測點(diǎn)云中可視覺地檢測的標(biāo)記Ilb的位置?；谟衫美缫暰鄡x的測量儀器41的測量確定的兩個定義的點(diǎn)的絕對距離來調(diào)整表示由兩個可視覺地檢測的標(biāo)記Ilb定義的兩個點(diǎn)的點(diǎn)云的點(diǎn)之間的距離。定義的點(diǎn)的絕對空間位置(由線42指示)的測量能夠被作為預(yù)先步驟、后續(xù)步驟或與其它步驟同時執(zhí)行。利用調(diào)整后的距離，整個點(diǎn)云被絕對地參考。如果點(diǎn)云的至少三個點(diǎn)被絕對地參考或者如果兩個絕對參考的點(diǎn)被彼此豎直地對齊，則該點(diǎn)云也能夠被豎直地取向。變換(調(diào)整(縮放)和可能的豎直取向)能夠作為后續(xù)步驟來執(zhí)行。
[0072]圖5a示出了點(diǎn)云20形式的對象I的空間表示。為了確定地表面17，點(diǎn)15被分類為位于地表面17上,而點(diǎn)16被分類為不屬于地表面17。
[0073]該分類能夠基于點(diǎn)云20的點(diǎn)相對于豎直的分布。圖5b的直方圖不出了點(diǎn)云20的點(diǎn)對于點(diǎn)云20的坐標(biāo)系的z軸的分布，當(dāng)點(diǎn)云20已經(jīng)豎直地取向時,其與豎直相同。由于點(diǎn)云的一部分能夠在一些情況下傳遞足夠準(zhǔn)確的完整的分布，因此這樣的分布也能夠僅基于點(diǎn)云20的一部分。例如，基于部分點(diǎn)云20的點(diǎn)分布來執(zhí)行該分類,該部分點(diǎn)云20的點(diǎn)分布是在圖像的捕獲和點(diǎn)云20的另外的點(diǎn)的計(jì)算仍然在進(jìn)行時從示出對象I的多個圖像以及地的一部分一起計(jì)算出來的。假設(shè)的是，具有小的z坐標(biāo)的點(diǎn)是地表面17的點(diǎn)。因此，引入了特定閾值19。所有具有處于閾值19內(nèi)的z坐標(biāo)的點(diǎn)被分類為地表面17。閾值19是從所存儲的值自動地獲得的，或者例如根據(jù)N(Z)的變化速率(梯度)自動地設(shè)置，或者由用戶手動地設(shè)置。
[0074]替選地，由用戶2手動地執(zhí)行點(diǎn)云20的點(diǎn)的分類。
[0075]圖5c示出了智能電話7的形式的系統(tǒng)。在顯示器21 (其是觸敏的)上，點(diǎn)云20在頂視圖中以剖面23的形式顯示。用戶能夠通過例如利用觸摸筆或其手指在顯示器上繪制曲線22來對點(diǎn)15進(jìn)行分類。
[0076]作為通過點(diǎn)分類確定地表面17的替選方案，能夠由用戶2手動地定義地表面17。圖5d示出了智能電話7，其在顯示器21上顯示點(diǎn)云20的剖面23 (截面)以及地表面17的截面24。截面24相對于截面23的位置和取向由用戶2例如通過上下移動(箭頭25)或者通過以定義的手指姿勢旋轉(zhuǎn)來設(shè)置和/或調(diào)整。
[0077]圖6a示出了基于調(diào)整后的豎直對齊的點(diǎn)云20和定義的地表面17來確定對象I的體積的示例。數(shù)學(xué)地定義的表面擬合到點(diǎn)云20?？紤]地表面17，生成數(shù)學(xué)對象26，在該示例中，數(shù)學(xué)對象為錐形，并且具有定義的高度h和半徑r。對象I的體積被確定為使用用于這樣的數(shù)學(xué)對象26的體積計(jì)算的等式計(jì)算的數(shù)學(xué)對象26的體積。為了數(shù)學(xué)對象26的參數(shù)化，能夠假設(shè)旋轉(zhuǎn)軸是豎直的。如果材料是已知的(例如，為碎石或沙子)，則能夠從材料性質(zhì)獲得斜度，例如，對于沙子來說，休止角為大約30°。這樣的假設(shè)也能夠在擬合3D樣條或自由形式表面時應(yīng)用，即，表面的最上面的點(diǎn)處切面應(yīng)該是大致水平的。在沙子的情況下，表面的切面應(yīng)該傾斜30°等等。
[0078]作為擬合數(shù)學(xué)地定義的表面的替選方案，能夠利用點(diǎn)云20的3D三角測量來確定對象I (例如，堆料)的表面。替選地，使用2D三角測量來確定對象I的表面。首先，點(diǎn)被正交地投射到地表面17。然后，執(zhí)行2D的德勞內(nèi)(Delaunay)三角測量。最終，點(diǎn)被反投射到3D。另外，能夠例如通過應(yīng)用3D樣條或自由形式表面來對點(diǎn)云20進(jìn)行平滑和過濾。對象I的體積被確定為三角化表面與地表面17之間的圍閉體積。
[0079]在一些情況下，對象I的拍攝圖像的組可能僅覆蓋其一部分。在這樣的情況下，能夠使用對稱假設(shè)來近似整個對象I的體積，如圖6b中所示。輪廓27(例如，拋物曲線)被擬合到點(diǎn)云20的截面23。根據(jù)輪廓27自動地定義對稱軸28或者由用戶2手動地定義對稱軸28。然后，輪廓27相對于對稱軸28的旋轉(zhuǎn)獲得了旋轉(zhuǎn)29的拋物面。在插入地表面17之后，對象I的近似體積被計(jì)算為地表面17與旋轉(zhuǎn)29的拋物面之間圍閉的體積。
[0080]圖7a和圖7b示出了在沒有生成點(diǎn)云的情況下生成空間表示的方法。該方法是基于視覺赫爾(visual hull)方法。這里，通過分段，在圖像數(shù)據(jù)組的每個圖像中，將對象I的圖像中的定義的形狀43與背景44分離(圖7a)。圖7b以頂視圖示出了使用從運(yùn)動算法恢復(fù)的結(jié)構(gòu)確定的并且在示例中與相機(jī)的投射中心相同的多個相機(jī)位置12中的三個。同樣從SfM 了解相機(jī)的取向。從投射中心12出發(fā)，利用形狀43定義錐形45。利用所有錐形的空間交會定義空間表示46，從而直接計(jì)算空間表示46的體積。
[0081]圖8示出了具有用于確定對象I的重量的功能的用于體積確定的系統(tǒng)的顯示21。顯示的是對象I的圖像30，其是從點(diǎn)云20獲得的。此外，顯示了用戶菜單31，用戶2能夠從該菜單31選擇諸如沙子、木頭、混凝土、鋼鐵…的不同材料的列表中構(gòu)成對象I的材料。在示例中，窗口 32顯示所選擇的材料“木頭”。系統(tǒng)然后從其之前確定的體積和用于所選擇的材料的密度的值(其是在能夠本地地存儲在系統(tǒng)中或者使用無線連接從服務(wù)器發(fā)送來的查找表中查找的)計(jì)算對象I的重量。計(jì)算出的對象的重量的值被與其體積一起輸出
(33)。對于更精確的值，能夠通過在子菜單中選擇更具體地的材料來更精確地定義材料。例如，一旦選擇了 “木頭”，用戶2能夠在若干顯示的建議中選擇是哪種木頭。
[0082]圖9a不出了具有用于確定對象I的質(zhì)心34的用于體積確定的系統(tǒng)的顯不21。基于對象I僅由一種至少幾乎同質(zhì)材料構(gòu)成的假設(shè)，能夠根據(jù)確定的空間表示計(jì)算對象I的質(zhì)心34。在對象I由不同材料的子對象構(gòu)成的情況下，由用戶2或自動地定義點(diǎn)云20的對應(yīng)的陣列，然后指定針對每個陣列的材料并且計(jì)算整個對象I的質(zhì)心34。在該示例中，使用對象I的圖像30在顯示21上將質(zhì)心的位置指示給用戶2，其是由箭頭34從電源20與關(guān)于其到對象的邊界的距離(36)以及用于提升其所需的力(35)的信息一起獲得的。
[0083]如果根據(jù)用戶輸入或者根據(jù)查找表了解了對象I的進(jìn)一步的材料性質(zhì)，則能夠獲得更多信息并且將其在顯示21上顯示給用戶2，如圖9b中所示。對象I的體積和硬度用于計(jì)算并輸出用于提升對象I的裝置(例如繩索)放置在對象I的哪個部分處以及關(guān)于在每個部分處提升對象I所需的力的信息(37)。
[0084]雖然在上面部分地參考一些優(yōu)選實(shí)施方式示出了本發(fā)明，但是必須理解的是，能夠進(jìn)行實(shí)施方式的不同特征的多種修改和組合。所有這些修改都裸在所附權(quán)利要求的范圍內(nèi)。
【權(quán)利要求】
1.一種用于建筑場所的對象(I)，特別地料堆的體積確定方法，所述體積確定方法包括: 在將移動相機(jī)(8)反復(fù)地，特別是連續(xù)地取向到對象(I)上的同時沿著圍繞對象(I)的路徑(10)移動該相機(jī)⑶， 在該過程中，利用相機(jī)(8)捕獲對象(I)的一系列圖像(13)，該一系列圖像包括從路徑(10)上的不同點(diǎn)(12)以相機(jī)⑶的不同取向捕獲的多個圖像(13)，該一系列圖像由由此收集的圖像數(shù)據(jù)組來表示， 使用該一系列圖像(13)利用定義的算法來執(zhí)行從運(yùn)動評估恢復(fù)結(jié)構(gòu)并且從其生成空間表示(20,46),特別地,生成點(diǎn)云(20),所述點(diǎn)云(20)包括對象(I)的表面， 利用關(guān)于已知的關(guān)于標(biāo)度的絕對參考的給定信息的幫助來調(diào)整該空間表示， 定義針對對象(I)的地表面(17)并且將其應(yīng)用于所述空間表示(20，46)，以及基于調(diào)整后的空間表示(20，46)和所定義的地表面(17)來計(jì)算并且輸出(33b)對象(I)的絕對體積。
2.根據(jù)權(quán)利要求1所述的體積確定方法，其特征在于 以下述方式捕獲一系列圖像(13)，即相機(jī)⑶以每秒至少一張圖片的速率自動地反復(fù)捕獲圖像(13)，特別地以至少15Hz的幀率捕獲視頻流。
3.根據(jù)權(quán)利要求1或2所述的體積確定方法，其特征在于 在移動相機(jī)(8)并捕獲所述一系列圖像(13)之前，布置參考體(11)，特別地細(xì)長的參考體，該參考體由于其細(xì)長形狀而限定長軸，并且包括至少兩個定義的可視覺地檢測的標(biāo)記(lib), 其中，特別地利用所述標(biāo)記(Ilb)在所述參考體(11)上限定至少兩個點(diǎn)，并且其中，已知所述至少兩個點(diǎn)之間的絕對距離，特別地還已知所述至少兩個點(diǎn)相對于所述參考體(11)的長軸的空間關(guān)系， 特別地，所述參考體的長軸豎直地對齊在其體積待確定的對象(I)上或其附近， 所述一系列圖像(13)包括多個圖像中的圖像(13)的子組，在該圖像(13)的子組中還捕獲被放置在對象(I)上或其附近的參考體(U)， 也基于從運(yùn)動評估恢復(fù)結(jié)構(gòu)對于所述至少兩個點(diǎn)確定關(guān)于空間表示(20，46)的至少兩個空間位置，特別地，使用圖像(13)的子組來確定關(guān)于空間表示(20，46)的至少兩個空間位置，并且 基于所確定的至少兩個空間位置之間的測量距離以及所述至少兩個點(diǎn)之間的已知的絕對距離對所述空間表示(20，46)進(jìn)行調(diào)整，并且 特別地，基于所確定的關(guān)于所述空間表示的至少兩個空間位置和已知的所述至少兩個點(diǎn)相對于所述長軸的空間關(guān)系以及參考體(11)被布置為其長軸豎直地對齊的假設(shè)來對所述空間表示(20，46)進(jìn)行豎直取向。
4.根據(jù)權(quán)利要求1至3中的任一項(xiàng)所述的體積確定方法，其特征在于 根據(jù)相機(jī)(8)沿著其圍繞對象(I)的路徑的運(yùn)動以絕對參考確定位置和/或位置變化和/或加速度，特別地，該位置和/或位置變化和/或加速度的確定是使用下述裝置進(jìn)行的: 慣性測量單元，所述慣性測量單元被相對于相機(jī)(8)固定， GNSS傳感器，所述GNSS傳感器被相對于相機(jī)(8)固定，和/或測量相機(jī)(8)的位置的視距儀、全站儀、激光追蹤器或追蹤3d位置確定相機(jī)系統(tǒng)，特別地，立體相機(jī)系統(tǒng)或圖案投射器相機(jī)系統(tǒng)，并且 與利用相機(jī)⑶捕獲所述一系列圖像(13)中的圖像(13)的路徑(10)上的點(diǎn)(12)的所獲得的相對位置相關(guān)地，分別基于所確定的位置和/或位置變化和/或加速度對空間表示(20，46)進(jìn)行調(diào)整并且特別地進(jìn)行豎直取向，所述位置和取向是基于與空間表示(20，46)相關(guān)的從運(yùn)動評估恢復(fù)結(jié)構(gòu)而獲得的。
5.根據(jù)權(quán)利要求1至4中的任一項(xiàng)所述的體積確定方法，其特征在于 在移動相機(jī)(8)并捕獲一系列圖像(13)之前，在其體積待確定的對象(I)上或其附近布置用于限定至少兩個點(diǎn)的至少兩個定義的可視覺檢測的標(biāo)記(Ilb)， 對于所述至少兩個點(diǎn)中的每個點(diǎn)，利用測量儀器(41)，特別地利用視距儀和/或利用GNSS以絕對參考確定絕對空間位置， 所述一系列圖像(13)包括圖像(13)，在該圖像(13)中，還捕獲被布置在對象上或其附近的標(biāo)記(Ilb), 對于所述至少兩個點(diǎn)中的每個點(diǎn)，還基于從運(yùn)動評估恢復(fù)結(jié)構(gòu)來確定空間位置，并且基于其絕對空間位置被確定的所述至少兩個點(diǎn)中的每個點(diǎn)到基于從運(yùn)動評估恢復(fù)結(jié)構(gòu)確定的其空間位置的指派來對所述空間表示(20，46)進(jìn)行調(diào)整并且特別地進(jìn)行豎直取向。
6.根據(jù)權(quán)利要求1至5中的任一項(xiàng)所述的體積確定方法，其特征在于 基于對象(I)的計(jì)算出的體積和給定的密度計(jì)算該對象(I)的絕對重量并且輸出計(jì)算出的絕對重量(33b)， 特別地，其中 用戶(2)輸入密度值， 存儲具有針對材料的若干定義的類型的若干密度值的查找表并且用戶輸入對象(I)的材料的類型或者通過處理一系列圖像(13)中的至少一個圖像(13)來自動地對材料進(jìn)行分類，并且 特別地，還計(jì)算并輸出對象(I)的質(zhì)心(34)的位置，特別地，其中，基于空間表示和所計(jì)算出的質(zhì)心(34)的位置獲得動作指令，特別地基于對象(I)上用于提升該對象(I)的適合的抓持位置(37)獲得動作指令。
7.根據(jù)權(quán)利要求1至6中的任一項(xiàng)所述的體積確定方法，其特征在于 利用用戶輸入定義用于對象⑴的地表面(17)，特別地，向用戶顯示空間表示(20，46)的剖面(23)并且能夠在所顯示的剖面(23)中相對于所顯示的剖面(23)在想要的位置處設(shè)置代表地表面(17)的線(24)，或者 利用定義的評估算法來定義用于對象(I)的地表面，特別地，其中 對空間表示(20，46)的形狀進(jìn)行分析，和/或 改變地表面(17)直到達(dá)到所述空間表示(20，46)內(nèi)的最佳擬合。
8.根據(jù)權(quán)利要求1至7中的任一項(xiàng)所述的體積確定方法，其特征在于， 利用定義的算法的從運(yùn)動評估恢復(fù)結(jié)構(gòu)的步驟包括: 基于使用在至少兩個圖像(13)中表示的對象的點(diǎn)(14)的切除確定一系列圖像(13)中的圖像(13)相對于彼此的取向和相機(jī)位置(12)，特別地，其中，使用特征提取和/或追蹤算法來定義用于切除的對象點(diǎn)(14)， 基于所確定的相機(jī)位置(12)和取向，利用一系列圖像(13)中的圖像(13)中的前方交會計(jì)算對象(I)的點(diǎn)的相對于彼此的3D位置，從而形成對象(I)的空間表示(20，46)，特別地，其中，使用光束平差法和/或稠密匹配算法來細(xì)化所述空間表示(20，46)。
9.一種用于建筑場所的對象(I)的體積確定的系統(tǒng)，所述對象(I)特別地是料堆，特別地，其中，所述系統(tǒng)適于在根據(jù)權(quán)利要求1至8中的任一項(xiàng)所述的方法內(nèi)使用，所述系統(tǒng)包括: 移動相機(jī)(8)，所述移動相機(jī)(8)用于捕獲圖像(13)，以及 控制評估單元(9)，所述控制評估單元(9)存儲有具有代碼的程序以控制和執(zhí)行體積確定功能，其中，使用利用相機(jī)(8)捕獲的對象(I)的一系列圖像(13)并且使用關(guān)于已知的關(guān)于標(biāo)度的絕對參考的給定信息，該一系列圖像(13)包括從圍繞對象(I)的路徑(10)上的不同點(diǎn)以相機(jī)(8)的不同取向捕獲的多個圖像(13)， 執(zhí)行使用所述一系列圖像(13)的利用定義的算法的從運(yùn)動評估恢復(fù)結(jié)構(gòu)，并且從其生成空間表示(20,46),特別地,生成點(diǎn)云(20),所述點(diǎn)云(20)包括對象(I)的表面， 利用給定的已知的絕對參考的幫助來調(diào)整該空間表示(20，46)， 定義針對對象(I)的地表面(17)并且將其應(yīng)用于所述空間表示(20，46)，特別地，其中，所述地表面(17)是通過自動地執(zhí)行的預(yù)定評估而獲得的，或者其中，向用戶發(fā)出詢問以輸入定義所述地表面(17)的信息，以及 基于調(diào)整后的空間表示(20，46)和所定義的地表面(17)來計(jì)算并且輸出(33b)對象(I)的絕對體積。
10.根據(jù)權(quán)利要求9所述的用于體積確定的系統(tǒng)，其特征在于， 在由控制評估單元(9)控制并執(zhí)行的功能中，相機(jī)(8)被使得以每秒至少一張圖片的速率自動地反復(fù)捕獲圖像(13)，特別地以至少15Hz的幀率捕獲視頻流。
11.根據(jù)權(quán)利要求9或10所述的用于體積確定的系統(tǒng)，其特征在于， 相機(jī)(8)是手持單元的內(nèi)置組件，特別地是包括全站儀和/或GNSS組件的測量系統(tǒng)的移動場控制器，所述手持單元進(jìn)一步包括傳感器裝置，其用于根據(jù)相機(jī)(8)的運(yùn)動確定具有絕對參考的位置和/或位置變化和/或加速度，特別地， 慣性測量單元，所述慣性測量單元被相對于相機(jī)(8)固定，并且也形成所述手持單元的內(nèi)置組件，和/或 GNSS傳感器，所述GNSS傳感器被相對于相機(jī)(8)固定，并且也形成所述手持單元的內(nèi)置組件， 其中，在由所述控制評估單元(9)控制并執(zhí)行的功能中， 與利用相機(jī)⑶捕獲所述一系列圖像(13)中的圖像(13)的路徑上的點(diǎn)的所獲得的相對位置相關(guān)地，分別基于所確定的位置和/或位置變化和/或加速度對空間表示(20，46)進(jìn)行調(diào)整并且特別地進(jìn)行豎直取向，所述位置是基于與空間表示(20，46)相關(guān)的從運(yùn)動評估恢復(fù)結(jié)構(gòu)而獲得的。
12.根據(jù)權(quán)利要求9至11中的任一項(xiàng)所述的用于體積確定的系統(tǒng)，其特征在于， 參考體(11)，特別地細(xì)長的參考體，該參考體由于其細(xì)長形狀而限定長軸，并且包括至少兩個定義的可視覺地檢測的標(biāo)記(11b)， 其中，特別地利用所述標(biāo)記(Ilb)在所述參考體(11)上限定至少兩個點(diǎn)，并且其中，已知所述至少兩個點(diǎn)之間的絕對距離，特別地還已知所述至少兩個點(diǎn)相對于所述參考體(11)的長軸的空間關(guān)系，并且 其中，所述參考體(11)被在捕獲所述一系列圖像(13)之前預(yù)先由用戶(2)放置在其體積待確定的對象(I)上或其附近，特別地放置為其長軸被豎直地對齊， 其中，當(dāng)所述一系列圖像(13)包括多個圖像(13)中的其中還捕獲被放置在對象(I)上或其附近的參考體(11)的圖像(13)的子組時，在由所述控制評估單元(9)控制并執(zhí)行的功能中， 也基于從運(yùn)動評估恢復(fù)結(jié)構(gòu)對于所述至少兩個點(diǎn)確定關(guān)于空間表示(20，46)的至少兩個空間位置，特別地，使用圖像(13)的子組來確定關(guān)于空間表示(20，46)的至少兩個空間位置，并且 基于所確定的至少兩個空間位置之間的測量距離以及所述至少兩個點(diǎn)之間的已知的絕對距離對所述空間表示(20，46)進(jìn)行調(diào)整，并且 特別地，基于所確定的關(guān)于所述空間表示(20，46)的至少兩個空間位置和已知的所述至少兩個點(diǎn)相對于所述長軸的空間關(guān)系來對所述空間表示(20，46)進(jìn)行豎直取向。
13.一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品特別地適于在根據(jù)權(quán)利要求1至8中的任一項(xiàng)所述的方法內(nèi)使用， 所述計(jì)算機(jī)程序產(chǎn)品存儲有用于控制和執(zhí)行用于確定建筑場所的對象(I)的體積的功能的計(jì)算機(jī)可執(zhí)行指令，所述對象(I)特別地為料堆，在該功能中，使用相機(jī)(8)捕獲對象(I)的一系列圖像(13)并且使用關(guān)于已知的關(guān)于標(biāo)度的絕對參考的信息，該一系列圖像包括從圍繞對象的路徑(10)上的不同點(diǎn)以相機(jī)(8)的不同取向捕獲的多個圖像(13)，使用該一系列圖像(13)利用定義的算法來執(zhí)行從運(yùn)動評估恢復(fù)結(jié)構(gòu)并且從其生成空間表示(20,46),特別地,生成點(diǎn)云(20),所述點(diǎn)云(20)包括對象(I)的表面， 利用給定的已知的絕對參考的幫助來調(diào)整該空間表示(20，46)， 定義針對對象(I)的地表面(17)并且將其應(yīng)用于所述空間表示(20，46)，特別地，其中，所述地表面(17)是通過自動地執(zhí)行的預(yù)定評估而獲得的，或者其中，向用戶發(fā)出詢問以輸入定義所述地表面(17)的信息，以及 基于調(diào)整后的空間表示和所定義的地表面(17)來計(jì)算并且輸出(33b)對象(I)的絕對體積。
14.一種生成并且地理定位待測量的對象(I)的空間表示(20，46)的方法，該空間表示(20,46)特別地是點(diǎn)云(20)，所述方法包括: 在對象(I)上或其附近布置至少三個定義的可視覺地檢測的標(biāo)記(11b)，從而定義至少三個點(diǎn)， 對于所述至少三個點(diǎn)中的每個點(diǎn)，通過使用測量儀器(41)，特別地使用視距儀確定具有地理位置參考的絕對空間位置， 在將相機(jī)(I)反復(fù)地，特別是連續(xù)地取向到對象(I)上的同時沿著圍繞對象(I)的路徑(10)移動移動相機(jī)⑶， 在該過程中，利用相機(jī)(8)捕獲對象(I)的一系列圖像，該一系列圖像包括從路徑(10)上的不同點(diǎn)以相機(jī)(8)的不同取向捕獲的多個圖像(13)，所述多個圖像(13)還包括針對所述至少三個標(biāo)記中的每個標(biāo)記的其中所述對象(I)被與各自的標(biāo)記(Ilb) —起捕獲的若干圖像(13)，并且該一系列圖像由由此收集的圖像數(shù)據(jù)組來表示， 使用該一系列圖像(13)利用定義的算法來執(zhí)行從運(yùn)動評估恢復(fù)結(jié)構(gòu)， 基于從運(yùn)動評估恢復(fù)結(jié)構(gòu)生成對象(I)的空間表示(20，46)，特別地生成點(diǎn)云(20)，并且對于所述至少三個點(diǎn)中的每個點(diǎn)確定與所述空間表示(20，46)相關(guān)的相對空間位置，對于所述至少三個點(diǎn)中的每個點(diǎn)，將其絕對空間位置指派給其相對空間位置，并且使用所述絕對空間位置的地理位置參考與分別指派的相對空間位置和其與空間表示(20，46)的各關(guān)系來地理定位所述空間表示(20，46)。
15.一種生成并且地理定位待測量的對象(I)的空間表示(20，46)的系統(tǒng)，該空間表示(20，46)特別地是點(diǎn)云(20)， 特別地，其中，所述系統(tǒng)適于在根據(jù)權(quán)利要求14所述的方法內(nèi)使用，所述系統(tǒng)包括: 移動相機(jī)(8)，所述移動相機(jī)(8)用于捕獲圖像(13)， 控制評估單元(9)，以及 至少三個定義的可視覺地檢測的標(biāo)記(11b)，利用所述標(biāo)記(Ilb)定義至少三個點(diǎn)，其中，所述可視覺地檢測的標(biāo)記(Ilb)由用戶預(yù)先放置在對象(I)上或其附近并且由測量儀器(41)測量，從而對于所述至少三個點(diǎn)中的每個點(diǎn)，確定具有地理位置參考的絕對空間位置， 所述控制評估單元(9)存儲有具有代碼的程序以控制和執(zhí)行用于生成和地理定位空間表示(20，46)的功能，其中，使用利用相機(jī)⑶捕獲的對象⑴的一系列圖像(13)，并且使用基于利用測量儀器(41)測量所述至少三個標(biāo)記確定的針對所述至少三個點(diǎn)的絕對空間位置，其中，該一系列圖像(13)包括從圍繞對象⑴的路徑(10)上的不同點(diǎn)以相機(jī)(8)的不同取向捕獲的多個圖像(13)，其中，所述多個圖像(13)包括針對所述至少個三個標(biāo)記中的每個標(biāo)記的其中對象(I)被與各自的標(biāo)記(Ilb) —起捕獲的若干圖像(13)， 執(zhí)行使用所述一系列圖像(13)的利用定義的算法的從運(yùn)動評估恢復(fù)結(jié)構(gòu)， 基于從運(yùn)動評估恢復(fù)結(jié)構(gòu)生成對象(I)的空間表示(20，46)，特別地生成點(diǎn)云(20)，并且對于所述至少三個點(diǎn)中的每個點(diǎn)確定與所述空間表示(20，46)相關(guān)的相對空間位置，對于所述至少三個點(diǎn)中的每個點(diǎn)，將絕對空間位置指派給各自的相對空間位置，并且使用所述絕對空間位置的地理位置參考與分別指派的相對空間位置和其與空間表示(20，46)的各關(guān)系來地理定位所述空間表示(20，46)。
16.根據(jù)權(quán)利要求15所述的系統(tǒng)，其特征在于 測量儀器(41)，特別地，視距儀，用于對于由所述至少三個標(biāo)記(Ilb)定義的所述至少三個點(diǎn)中的每個點(diǎn)確定具有地理位置參考的絕對空間位置，并且/或者其特征在于 在由所述控制評估單元(9)控制并執(zhí)行的功能中， 相機(jī)(8)被使得以每秒至少一張圖片的速率自動地反復(fù)捕獲圖像(13)，特別地以至少15Hz的幀率捕獲視頻流， 特別地，其中，相機(jī)(8)是手持單元的內(nèi)置組件，特別地，相機(jī)(8)是用于測量儀器(41)的移動場控制器。
【文檔編號】G01B11/00GK104330022SQ201410350225
【公開日】2015年2月4日 申請日期:2014年7月22日 優(yōu)先權(quán)日:2013年7月22日
【發(fā)明者】伯恩哈德·麥茨勒, 克努特·西爾克斯, A·普菲斯特, R·帕雷斯, T·菲德勒 申請人:赫克斯岡技術(shù)中心