傳感器的自動(dòng)標(biāo)定系統(tǒng)及方法
【專利摘要】提供一種用于在線傳感器標(biāo)定的方法，包括：當(dāng)無人飛行器(UAV)在飛行時(shí)，從連接于所述無人飛行器的多個(gè)不同類型的傳感器獲取傳感器數(shù)據(jù)，其中所述多個(gè)傳感器具有相對(duì)于彼此的初始空間配置(401)；借助處理器，基于所述傳感器數(shù)據(jù)來檢測所述多個(gè)傳感器從所述初始空間配置到隨后的空間配置相對(duì)于彼此的空間配置變化(402)；確定所述隨后的空間配置(403)；以及當(dāng)所述無人飛行器在飛行時(shí)，基于所述隨后的空間配置調(diào)整來自所述多個(gè)傳感器中至少一個(gè)傳感器的數(shù)據(jù)(404)。還提供一種用于傳感器標(biāo)定的裝置。
【專利說明】傳感器的自動(dòng)標(biāo)定系統(tǒng)及方法
【背景技術(shù)】
[0001 ] 現(xiàn)代的無人飛行器(Unmanned Aerial Vehicles，UAVs)具有尺寸小、靈活性高的 特性，而被廣泛地用于各種民用領(lǐng)域，如監(jiān)視和跟蹤，遙感，搜索和救援，科研，娛樂和愛好， 等等。無人飛行器通常是被遙控設(shè)備無線控制和/或通過通信鏈路被機(jī)載控制程序控制。這 樣的通信鏈路的性能對(duì)于無人飛行器的飛行任務(wù)的安全性和有效性來說可能有直接的影 響。在無人飛行器的飛行任務(wù)期間，如果傳感器偏離初始配置時(shí)，其將會(huì)面臨挑戰(zhàn)。

【發(fā)明內(nèi)容】

[0002] 當(dāng)無人飛行器(Unmanned Aerial Vehicle，UAV)裝備有多個(gè)傳感器時(shí)，所述UAV的 一個(gè)有用的應(yīng)用是收集大量數(shù)據(jù)。非限制性的例子包括對(duì)地形拍照，獲取音頻數(shù)據(jù)，測量空 氣污染程度，和監(jiān)測一個(gè)地區(qū)的空氣質(zhì)量。在無人飛行器起飛前，通常其會(huì)被標(biāo)定完成數(shù)據(jù) 收集。當(dāng)所述無人飛行器處于操作中時(shí)（包括但不限于當(dāng)無人飛行器在飛行時(shí)），可以通過 無線通信進(jìn)行遠(yuǎn)程標(biāo)定。然而，在許多場合，所述無人飛行器可能會(huì)行駛出無線通信的范 圍，所以遠(yuǎn)程標(biāo)定不可行。所述無人飛行器可具有一個(gè)傳感器裝置，所述傳感器裝置具有內(nèi) 部配置或傳感器的一套參數(shù)。當(dāng)所述傳感器裝置的設(shè)置偏離了最初或最佳配置時(shí)，所收集 的數(shù)據(jù)會(huì)變得不可靠或不精確。為了克服這個(gè)難題，本文所描述的主題揭示了機(jī)載系統(tǒng)和 方法以自動(dòng)化地標(biāo)定無人飛行器和傳感器。所述自動(dòng)化標(biāo)定可以在無人飛行器的一次飛行 期間發(fā)生(例如，在線標(biāo)定），并且可以簡化數(shù)據(jù)收集過程。具體而言，避免收集無用的數(shù)據(jù) 或提高數(shù)據(jù)質(zhì)量可以顯著地降低成本。
[0003] 在一個(gè)方面，本文公開了一種傳感器標(biāo)定的方法。所述方法包括當(dāng)無人飛行器 (UAV)在飛行時(shí)，從連接于所述無人飛行器的多個(gè)不同類型的傳感器獲取傳感器數(shù)據(jù)，其中 所述多個(gè)傳感器具有相對(duì)于彼此的初始空間配置;借助處理器，基于所述傳感器數(shù)據(jù)來檢 測所述多個(gè)傳感器從所述初始空間配置到一個(gè)隨后的空間配置相對(duì)于彼此的空間配置變 化;確定隨后的空間配置；以及當(dāng)UAV在飛行時(shí)，基于所述隨后的空間配置調(diào)整來自所述多 個(gè)傳感器中至少一個(gè)傳感器的數(shù)據(jù)。
[0004] 在另一方面，本文公開了一種用于在線傳感器標(biāo)定的裝置，所述裝置包括：（a)多 個(gè)不同類型的傳感器，其（in)連接于無人飛行器(UAV)，且（ii)用于當(dāng)所述無人飛行器飛行 時(shí)提供傳感器數(shù)據(jù)，其中所述多個(gè)傳感器具有相對(duì)于彼此的初始空間配置;和(b) -個(gè)或多 個(gè)處理器，其單獨(dú)地或全體地用于（in)基于傳感器數(shù)據(jù)檢測所述多個(gè)傳感器從所述初始空 間配置到隨后的空間配置相對(duì)于彼此的空間配置變化；（ii)確定所述隨后的空間配置;和 (iii)當(dāng)所述UAV在飛行時(shí)，基于所述隨后的空間配置調(diào)整來自所述多個(gè)傳感器中至少一個(gè) 傳感器的數(shù)據(jù)。
[0005] 在另一方面，本文公開了一種傳感器標(biāo)定方法，所述方法包括:從連接于無人飛行 器(UAV)的多個(gè)不同類型的傳感器獲得傳感器數(shù)據(jù);選擇參考坐標(biāo)系;借助處理器且基于所 述傳感器之間的預(yù)測空間關(guān)系，在參考坐標(biāo)系中顯示來自所述多個(gè)傳感器的傳感器數(shù)據(jù)； 借助所述處理器來檢測所述多個(gè)傳感器之間的傳感器數(shù)據(jù)的差異，所述差異表示所述傳感 器之間在所述預(yù)測空間關(guān)系中的誤差；（e)確定實(shí)際空間配置；以及(f)基于所述實(shí)際空間 配置調(diào)整來自所述多個(gè)傳感器中至少一個(gè)傳感器的數(shù)據(jù)。
[0006] 在另一方面，本文公開了一種用于傳感器標(biāo)定的裝置，所述裝置包括：（a)多個(gè)不 同類型的傳感器，其（in)連接于一個(gè)無人飛行器(UAV)，并且（ii)用于提供傳感器數(shù)據(jù);和 (b)-個(gè)或多個(gè)處理器，所述處理器單獨(dú)地或全體地用于（in)選擇一個(gè)參考坐標(biāo)系；（ii)基 于所述傳感器之間的預(yù)測空間關(guān)系，在所述參考坐標(biāo)系中顯示來自所述多個(gè)傳感器的傳感 器數(shù)據(jù)；（iii)檢測所述多個(gè)傳感器之間的傳感器數(shù)據(jù)的差異，所述差異表示所述傳感器之 間在所述預(yù)測空間關(guān)系中的誤差；（iv)確定實(shí)際空間配置；以及(v)基于所述實(shí)際空間配置 調(diào)整來自所述多個(gè)傳感器中至少一個(gè)傳感器的數(shù)據(jù)。
[0007] 在另一方面，本文公開了一種傳感器標(biāo)定方法，所述方法包括:從連接于無人飛行 器(UAV)的多個(gè)不同類型的傳感器獲得傳感器數(shù)據(jù);借助處理器，將所述多個(gè)傳感器分組為 多個(gè)子集，每個(gè)子集具有（in)至少兩個(gè)傳感器，以及（ii)不同的傳感器組合;借助所述處理 器，基于所述傳感器數(shù)據(jù)計(jì)算每個(gè)子集中所述至少兩個(gè)傳感器之間的預(yù)測空間關(guān)系；基于 所述預(yù)測空間關(guān)系，確定每個(gè)子集中所述至少兩個(gè)傳感器之間的實(shí)際空間關(guān)系;借助于所 述處理器，基于每個(gè)子集中所述至少兩個(gè)傳感器之間的實(shí)際空間關(guān)系，計(jì)算所述多個(gè)傳感 器相對(duì)于彼此的空間配置。
[0008] 另一方面，本文公開了一種用于傳感器標(biāo)定的裝置，所述裝置包括：（a)多個(gè)不同 類型的傳感器，其（in)連接于一個(gè)無人飛行器(UAV)，并且（ii)用于提供傳感器數(shù)據(jù);和(b) 一個(gè)或多個(gè)處理器，其單獨(dú)地或全體地用于：（in)將所述多個(gè)傳感器分組為多個(gè)子集，每個(gè) 子集具有（in)至少兩個(gè)傳感器，和（ii)不同的傳感器組合；（ii)基于所述傳感器數(shù)據(jù)計(jì)算 每個(gè)子集中所述至少兩個(gè)傳感器之間的預(yù)測空間關(guān)系；（iii)基于所述預(yù)測空間關(guān)系，確定 每個(gè)子集中所述至少兩個(gè)傳感器之間的實(shí)際空間關(guān)系；以及 (iv)基于每個(gè)子集中所述至少 兩個(gè)傳感器之間的實(shí)際空間關(guān)系，計(jì)算所述多個(gè)傳感器相對(duì)于彼此的空間配置。
[0009] 在另一方面，本文公開了一種傳感器的標(biāo)定方法，所述方法包括:從多個(gè)不同類型 的傳感器獲得傳感器數(shù)據(jù);借助處理器，將所述多個(gè)傳感器分組為多個(gè)子集，每個(gè)子集具有 (in)至少兩個(gè)傳感器，包括一個(gè)參考傳感器和一個(gè)或多個(gè)測量傳感器，和（ii)不同的傳感 器組合，其中所述多個(gè)子集的至少兩個(gè)子集具有不同的參考傳感器;借助于所述處理器，基 于傳感器數(shù)據(jù)，使用每個(gè)子集中至少一個(gè)卡爾曼濾波器來確定每個(gè)子集中所述至少兩個(gè)傳 感器之間的實(shí)際空間關(guān)系；借助所述處理器，基于每個(gè)子集中所述至少兩個(gè)傳感器之間的 實(shí)際空間關(guān)系計(jì)算所述多個(gè)傳感器相對(duì)于彼此的空間配置。
[0010] 在另一方面，本發(fā)明公開了一種用于傳感器標(biāo)定的裝置，所述裝置包括：（a)用于 提供傳感器數(shù)據(jù)的多個(gè)不同類型的傳感器;和(b)-個(gè)或多個(gè)處理器，其單獨(dú)地或全體地用 于：（1)將所述多個(gè)傳感器分組為多個(gè)子集，每個(gè)子集具有（in)至少兩個(gè)傳感器，包括一個(gè) 參考傳感器和一個(gè)或多個(gè)測量傳感器，和（ii)不同的傳感器組合，其中所述多個(gè)子集的至 少兩個(gè)子集具有不同的參考傳感器；（2)基于傳感器數(shù)據(jù)，每個(gè)子集使用至少一個(gè)卡爾曼濾 波器來確定每個(gè)子集中所述至少兩個(gè)傳感器之間的實(shí)際空間關(guān)系；以及(3)基于每個(gè)子集 中所述至少兩個(gè)傳感器之間的實(shí)際空間關(guān)系計(jì)算所述多個(gè)傳感器相對(duì)于彼此的空間配置。
[0011] 某些或所有的系統(tǒng)和方法包括多個(gè)不同類型的傳感器。所述多個(gè)不同類型的傳感 器包括以下至少兩個(gè):視覺傳感器、GPS傳感器、慣性傳感器、紅外傳感器、超聲波傳感器或 激光雷達(dá)傳感器。所述多個(gè)傳感器中至少一個(gè)是慣性傳感器，其中在與所述慣性傳感器有 關(guān)的坐標(biāo)系中提供來自多個(gè)傳感器的傳感器數(shù)據(jù)。
[0012] 在一些實(shí)施例中，所述系統(tǒng)和方法的初始空間配置包括所述多個(gè)傳感器中每個(gè)傳 感器相對(duì)于彼此的初始位置和初始方向。所述在空間配置上的變化包括所述多個(gè)傳感器中 的至少一個(gè)相對(duì)于所述多個(gè)傳感器中的其他傳感器在所述初始位置上和/或在所述初始方 向上的變化。
[0013] 在一些實(shí)施例中，在所述無人飛行器起飛之前提供所述系統(tǒng)和方法的初始空間配 置。備選地，在所述無人飛行器飛行期間提供所述初始空間配置。
[0014] 在一些實(shí)施例中，所述系統(tǒng)和方法的空間配置變化是由所述無人飛行器的移動(dòng)引 起的。在另外的實(shí)施例中，空間配置變化是由所述無人飛行器的振動(dòng)引起的。
[0015] 在一些實(shí)例中，所述一個(gè)或多個(gè)處理器使用多個(gè)卡爾曼濾波器來確定所述隨后的 空間配置，所述多個(gè)卡爾曼濾波器包括一個(gè)或多個(gè)擴(kuò)展卡爾曼濾波器和/或無跡卡爾曼濾 波器。
[0016] 在一些實(shí)施例中，所述系統(tǒng)和方法的一個(gè)或多個(gè)處理器可以機(jī)載于所述無人飛行 器。備選地，所述一個(gè)或多個(gè)處理器位于在所述無人飛行器飛行時(shí)與無人飛行器通信的裝 置上，且所述裝置位于所述無人飛行器外部。
[0017] 在一些實(shí)施例中，所述系統(tǒng)和方法的多個(gè)不同類型的傳感器包括以下至少兩個(gè)： 視覺傳感器、GPS傳感器、慣性傳感器、紅外傳感器、超聲波傳感器或激光雷達(dá)傳感器。所述 多個(gè)傳感器中至少一個(gè)是慣性傳感器。在某些實(shí)例中，所述參考坐標(biāo)系是一個(gè)與慣性傳感 器相關(guān)的坐標(biāo)系。
[0018] 在一些實(shí)施例中，所述傳感器之間的預(yù)測空間關(guān)系是基于所述傳感器的初始空間 配置在配置上的預(yù)測空間變化，所述初始空間配置包括所述多個(gè)傳感器中每個(gè)傳感器相對(duì) 于彼此的初始位置和初始方向。在另一實(shí)施例中，在所述無人飛行器起飛之前或所述無人 飛行器飛行期間提供所述初始空間配置。
[0019] 在一些實(shí)施例中，空間位置和所述傳感器的相對(duì)空間方向彼此相對(duì)。
[0020] 在一些應(yīng)用中，在所述無人飛行器處于操作中時(shí)確定所述傳感器的實(shí)際空間配 置。在所述無人飛行器飛行時(shí)確定所述傳感器的實(shí)際空間配置。在某些實(shí)例中，在所述無人 飛行器處于操作中時(shí)調(diào)整來自所述多個(gè)傳感器的所述數(shù)據(jù)。
[0021] 在某些實(shí)施例中，所述基于實(shí)際空間配置校正的數(shù)據(jù)是由視覺傳感器所獲取的圖 像數(shù)據(jù)。
[0022] 在不同的實(shí)例中，每個(gè)子集有一個(gè)參考傳感器和一個(gè)或多個(gè)測量傳感器。對(duì)于每 個(gè)子集來說其參考傳感器是相同的或不同的。
[0023] 在一些實(shí)施例中，所述系統(tǒng)和方法進(jìn)一步地包括基于所述空間配置調(diào)整來自所述 多個(gè)傳感器中至少一個(gè)傳感器的數(shù)據(jù)。另外，所述基于實(shí)際空間配置調(diào)整的數(shù)據(jù)是由視覺 傳感器所獲取的圖像數(shù)據(jù)。
[0024] 在不同的實(shí)施例中，每個(gè)子集中傳感器之間的所述預(yù)測空間關(guān)系是基于所述傳感 器的初始空間配置在配置上的預(yù)測空間變化，所述初始空間配置包括所述多個(gè)傳感器中每 個(gè)傳感器相對(duì)于彼此的初始位置和初始方向。在進(jìn)一步的實(shí)施例中，在所述無人飛行器起 飛之前或所述無人飛行器飛行期間提供所述初始空間配置。
[0025] -些或所有的系統(tǒng)和/或方法包括所述傳感器之間的預(yù)測空間關(guān)系，其包括所述 傳感器相對(duì)于彼此的相對(duì)空間位置和相對(duì)空間方向。
[0026] 在一些實(shí)施方式中，所述系統(tǒng)和/或方法將多個(gè)傳感器分組為多個(gè)子集。此外，所 述系統(tǒng)和/或方法基于所述傳感器數(shù)據(jù)計(jì)算每個(gè)子集中所述至少兩個(gè)傳感器之間的預(yù)測空 間關(guān)系，其中所述卡爾曼濾波器基于所述預(yù)測空間關(guān)系確定實(shí)際空間關(guān)系。
[0027]應(yīng)當(dāng)理解，可以單獨(dú)地、全體地或相互結(jié)合地來領(lǐng)會(huì)本發(fā)明的不同方面。本發(fā)明所 描述的不同方面可以應(yīng)用于下述描述的任何具體應(yīng)用中，也可以應(yīng)用于任何其它類型的可 移動(dòng)物體和/或靜止物體之間的數(shù)據(jù)通信。
[0028] 通過對(duì)說明書、權(quán)利要求以及附圖的綜述，即可了解本發(fā)明的其他目的以及特征。
[0029] 援引加入
[0030] 本說明書中提及的所有出版物、專利和專利申請(qǐng)均通過引用并入本文中，其引用 程度就如同明確且單獨(dú)地指示將各個(gè)單獨(dú)的公布、專利或?qū)＠暾?qǐng)通過引用并入本文中。
【附圖說明】
[0031] 在所附權(quán)利要求書中具體闡明了本發(fā)明的新穎特征。通過參考以下闡述利用了本 發(fā)明原理的示例性實(shí)施方式的詳細(xì)描述和附圖，將會(huì)更好地理解本發(fā)明的特征和優(yōu)勢，在 附圖中：
[0032] 圖1是本發(fā)明一個(gè)實(shí)施例中安裝有多個(gè)機(jī)載傳感器的無人飛行器的一個(gè)例子。
[0033] 圖2是本發(fā)明一個(gè)實(shí)施例中參考坐標(biāo)系變換的一個(gè)例子。
[0034] 圖3是本發(fā)明一個(gè)實(shí)施例中帶有第一相機(jī)和第二相機(jī)的立體視覺相機(jī)的一個(gè)例 子。
[0035] 圖4是本發(fā)明一個(gè)實(shí)施例中總的自動(dòng)化誤差檢測和在線標(biāo)定的過程的流程圖。
[0036] 圖5是本發(fā)明一個(gè)實(shí)施例中檢測傳感器誤差的方法的流程圖。
[0037] 圖6是本發(fā)明一個(gè)實(shí)施例中在線標(biāo)定的方法的流程圖。
[0038] 圖7是本發(fā)明一個(gè)實(shí)施例中帶有一個(gè)統(tǒng)一的參考傳感器的系統(tǒng)架構(gòu)的一個(gè)例子。
[0039] 圖8是本發(fā)明一個(gè)實(shí)施例中帶有多個(gè)參考傳感器的系統(tǒng)架構(gòu)的一個(gè)例子。
[0040] 圖9是本發(fā)明一個(gè)實(shí)施例中無人飛行器的一個(gè)例子。
[0041] 圖10是本發(fā)明一個(gè)實(shí)施例中包括載具和搭載物的可移動(dòng)物體的一個(gè)例子。
[0042] 圖11是本發(fā)明一個(gè)實(shí)施例中控制可移動(dòng)物體的系統(tǒng)的模塊示意圖。
【具體實(shí)施方式】
[0043] 本發(fā)明的系統(tǒng)，設(shè)備及方法提供了無人飛行器(UAV)的機(jī)載傳感器和標(biāo)定所述無 人飛行器的機(jī)載傳感器的方法。所述無人飛行器的描述可以適用于任何其他類型的無人載 運(yùn)工具，或任何其他類型的可移動(dòng)物體。所述載運(yùn)工具的描述可以適用于在無人飛行器的 任何機(jī)載傳感器。無人飛行器的機(jī)載傳感器的例子可以包括視覺傳感器，全球定位系統(tǒng) (GPS)或慣性測量單元（MJ)。
[0044] 本發(fā)明的系統(tǒng)，設(shè)備及方法提供了無人飛行器(UAV)的機(jī)載傳感器和標(biāo)定所述無 人飛行器的機(jī)載傳感器的方法。所公開的各個(gè)方面可以適用于除了包括傳感器的任何載運(yùn) 工具之外的在此認(rèn)定的任何應(yīng)用。應(yīng)當(dāng)理解，本發(fā)明的不同方面可以單獨(dú)地、全體地或相互 結(jié)合地被領(lǐng)會(huì)。
[0045] 圖1顯示了一個(gè)無人飛行器(UAV)的一個(gè)例子。本文關(guān)于無人飛行器101的任何描 述可以適用于任何類型的可移動(dòng)物體。所述無人飛行器的描述可以適用于任何類型的無人 駕駛的可移動(dòng)物體(例如，其可以穿越空氣、土地、水或空間）。所述無人飛行器能夠響應(yīng)來 自遠(yuǎn)程控制器的命令。所述遠(yuǎn)程控制器可能沒有連接到所述無人飛行器，所述遠(yuǎn)程控制器 可以從遠(yuǎn)處與所述無人飛行器進(jìn)行無線通信。在某些實(shí)例中，所述無人飛行器能夠自主式 地或半自主式地進(jìn)行操作。所述無人飛行器能夠遵循一套預(yù)編程指令。在某些實(shí)例中，所述 無人飛行器可以通過響應(yīng)來自于遠(yuǎn)程控制器的一個(gè)或多個(gè)命令進(jìn)行半自動(dòng)地操作，或者是 進(jìn)行自主式地操作。例如，來自遠(yuǎn)程控制器的一個(gè)或多個(gè)命令可以依照一個(gè)或多個(gè)參數(shù)且 通過所述無人飛行器啟動(dòng)一系列的自主的或半自主的動(dòng)作。
[0046] 所述無人飛行器101可以是飛行器。所述無人飛行器101可以具有一個(gè)或多個(gè)動(dòng)力 單元102,其可以允許所述無人飛行器101在空中四處移動(dòng)。所述一個(gè)或多個(gè)動(dòng)力單元102可 以使所述無人飛行器101移動(dòng)一個(gè)或更多、兩個(gè)或更多、三個(gè)或更多、四個(gè)或更多、五個(gè)或更 多、六個(gè)或更多的自由度。在某些實(shí)例中，所述無人飛行器101可以繞一個(gè)、兩個(gè)、三個(gè)或更 多的旋轉(zhuǎn)軸旋轉(zhuǎn)。所述旋轉(zhuǎn)軸可以是彼此正交的。所述旋轉(zhuǎn)軸可能在整個(gè)飛行過程中保持 彼此是正交的。所述旋轉(zhuǎn)軸可以包括俯仰軸、滾動(dòng)軸和/或偏航軸。所述無人飛行器101可以 沿一個(gè)或多個(gè)維度移動(dòng)。例如，由于一個(gè)或多個(gè)轉(zhuǎn)子所產(chǎn)生的升力，所述無人飛行器101能 夠向上移動(dòng)。在某些實(shí)施例中，所述無人飛行器能夠沿Z軸運(yùn)動(dòng)（其相對(duì)于無人飛行器的方 向可以是向上的）、χ軸和/或Y軸(其可以是橫向的）。所述無人飛行器能夠沿一個(gè)、兩個(gè)或三 個(gè)可以彼此正交的軸進(jìn)行移動(dòng)。
[0047] 所述無人飛行器101可以是旋翼機(jī)。在某些實(shí)例中，所述無人飛行器101可以是包 括多個(gè)轉(zhuǎn)子的多旋翼飛行器。所述多個(gè)轉(zhuǎn)子能夠旋轉(zhuǎn)而為所述無人飛行器產(chǎn)生升力。所述 多個(gè)轉(zhuǎn)子可以是動(dòng)力單元，其可使所述無人飛行器在空中自由移動(dòng)。所述多個(gè)轉(zhuǎn)子可以以 相同的速度旋轉(zhuǎn)和/或可以產(chǎn)生相同的升力或推力。所述多個(gè)轉(zhuǎn)子可以以不同的速度旋轉(zhuǎn)， 這樣可以產(chǎn)生不同量的升力或推力和/或允許所述無人飛行器旋轉(zhuǎn)。在某些實(shí)例中，所述無 人飛行器上可以設(shè)置有一個(gè)、兩個(gè)、三個(gè)、四個(gè)、五個(gè)、六個(gè)、七個(gè)、八個(gè)、九個(gè)、十個(gè)或更多的 轉(zhuǎn)子?？梢圆贾盟龆鄠€(gè)轉(zhuǎn)子使得所述多個(gè)轉(zhuǎn)子的旋轉(zhuǎn)軸相互平行。在某些實(shí)例中，所述多 個(gè)轉(zhuǎn)子可以具有多個(gè)旋轉(zhuǎn)軸，所述多個(gè)旋轉(zhuǎn)軸相對(duì)于彼此可具有任何角度，其可影響所述 無人飛行器的運(yùn)動(dòng)。
[0048] 所述無人飛行器101可具有機(jī)載傳感器用以收集無人飛行器處于操作中時(shí)的數(shù) 據(jù)。所述傳感器可以具有初始配置。所述傳感器的初始配置可以偏離初始和/或最佳設(shè)置。 因此，在無人飛行器飛行時(shí)所述傳感器的自動(dòng)在線標(biāo)定可以是有益的，在某些情況下，有必 要維持所收集數(shù)據(jù)的質(zhì)量和可靠性。本文所描述的主題公開了機(jī)載系統(tǒng)和方法以自動(dòng)標(biāo)定 無人飛行器和傳感器。所述自動(dòng)在線標(biāo)定系統(tǒng)和方法可以簡化所述數(shù)據(jù)收集的過程以提高 效率。
[0049] 所述無人飛行器101可以包括視覺傳感器，例如圖像傳感器，可以是單目相機(jī)、立 體視覺相機(jī)、雷達(dá)、聲納，或紅外相機(jī)。所述無人飛行器101可以進(jìn)一步地包括位置傳感器， 例如GPS、頂U(kuò)或LIDAR。所述無人飛行器的機(jī)載傳感器可以收集信息，如所述無人飛行器的 位置、其他物體的位置、所述無人飛行器101的方向，或環(huán)境信息。單個(gè)的傳感器可能能夠完 全確定上述參數(shù)中的任意一個(gè)，或者，一組傳感器可以一起工作以確定上述列出的參數(shù)。傳 感器可以用于位置的映射、位置之間的導(dǎo)航、障礙物的檢測，或目標(biāo)檢測。
[0050] 所述傳感器可位于所述無人飛行器上或不在無人飛行器上。所述機(jī)載傳感器可以 位于所述無人飛行器101的主體上。所述傳感器103可以附接在所述無人飛行器101的主體 的外部和/或所述傳感器104可以附接在所述無人飛行器101的主體的內(nèi)部。所述傳感器可 以集中地位于所述主體上的一個(gè)單個(gè)區(qū)域。備選地，所述傳感器可以位于所述主體上不同 的位置。所述傳感器可以永久地或可拆卸地附接在所述無人飛行器101上。所述無人飛行器 101可具有載具105,其可用于承載負(fù)荷。所述傳感器可附接在載具106上。
[0051] 所述傳感器的特點(diǎn)在于可具有一個(gè)或多個(gè)傳感器參數(shù)。所述傳感器參數(shù)可以是內(nèi) 部或外部參數(shù)。內(nèi)部參數(shù)可能涉及到傳感器的內(nèi)部配置。內(nèi)部參數(shù)的例子包括焦距、比例因 子、徑向畸變系數(shù)和切向畸變系數(shù)。所述內(nèi)部參數(shù)可以是依賴于硬件配置的任何參數(shù)，在某 些情況下，所述內(nèi)部參數(shù)可以通過傳感器的出廠設(shè)置進(jìn)行設(shè)置。外部參數(shù)可以與任何兩個(gè) 或多個(gè)傳感器之間的空間關(guān)系有關(guān)。每個(gè)傳感器可以具有一個(gè)獨(dú)立于無人飛行器其他機(jī)載 傳感器的相對(duì)坐標(biāo)系。對(duì)于傳感器融合，結(jié)合來自無人飛行器上不同位置的傳感器數(shù)據(jù)而 言，外部特性是很重要的。傳感器融合可能涉及到轉(zhuǎn)換給定傳感器的相對(duì)坐標(biāo)以匹配另一 傳感器的參考系的過程。
[0052]圖2描述了轉(zhuǎn)換給定的傳感器的相對(duì)坐標(biāo)以匹配另一傳感器的參考坐標(biāo)系的過 程。圖2顯示了在傳感器1的坐標(biāo)系202中被傳感器1看到的立方體201以及在傳感器2的坐標(biāo) 系204中被傳感器2看到的立方體203?？梢詧?zhí)行轉(zhuǎn)換以使得傳感器2的坐標(biāo)系204被旋轉(zhuǎn)以 匹配傳感器1的坐標(biāo)系202。所述轉(zhuǎn)換可以通過轉(zhuǎn)換矩陣進(jìn)行數(shù)學(xué)上的解釋。
[0053] 內(nèi)部特性可以是傳感器特有的且很少發(fā)生改變。內(nèi)部特性的重新標(biāo)定可在無人飛 行器不處于操作中時(shí)周期性地進(jìn)行。當(dāng)所述無人飛行器101處于操作中時(shí)，重新標(biāo)定內(nèi)部特 性可能不是關(guān)鍵的，這是因?yàn)榕c外部特性相比，這些內(nèi)部特性在所述無人飛行器101處于操 作中時(shí)會(huì)保持相對(duì)地一致性。內(nèi)部特性可以通過解讀一個(gè)已知標(biāo)定標(biāo)準(zhǔn)或目標(biāo)的圖像來進(jìn) 行標(biāo)定。在標(biāo)定標(biāo)準(zhǔn)或目標(biāo)上消失的線或點(diǎn)可以用于標(biāo)定所述內(nèi)部特性，如焦距和畸變。
[0054] 相較于內(nèi)部特性，外部特性可能會(huì)以較高的頻率進(jìn)行改變。在所述無人飛行器著 陸和起飛期間的移動(dòng)、振動(dòng)及熱漂移都可能會(huì)導(dǎo)致所述傳感器在外部特性上的變化。例如 相機(jī)的位置可能會(huì)由于所述無人飛行器飛行期間的振動(dòng)而移動(dòng)。在所述無人飛行器處于操 作中時(shí)，外部特性可能偏離其初始配置;因此，可較佳地在無人飛行器處于操作中時(shí)執(zhí)行外 部特性的重新標(biāo)定。當(dāng)所述無人飛行器101處于操作中時(shí)所述外部特性的重新標(biāo)定可能需 要計(jì)算資源，所述計(jì)算資源可以是在所述無人飛行器101上或不在所述無人飛行器101上。 所述外部特性的重新標(biāo)定可以設(shè)定的時(shí)間頻率發(fā)生，例如，所述外部特性可以每1分鐘、5分 鐘、10分鐘、20分鐘、30分鐘、40分鐘、50分鐘、1小時(shí)、2小時(shí)、3小時(shí)、4小時(shí)、5小時(shí)、10小時(shí)、12 小時(shí)或每一天進(jìn)行一次重新標(biāo)定。備選地，外部特性的重新標(biāo)定可以設(shè)定的距離頻率發(fā)生， 例如，每當(dāng)所述無人飛行器101從初始起始位置行駛了額外的0.5英里、1英里、2英里、3英 里、4英里、5英里、10英里、15英里、20英里、25英里、30英里、35英里、40英里、45英里、50英里 或100英里時(shí)，可進(jìn)行所述重新標(biāo)定。所述外部特性機(jī)上標(biāo)定的頻率可以基于可用的計(jì)算資 源、燃料或電力需求，或飛行條件決定。一些飛行條件可能會(huì)減少或增加外部傳感器在標(biāo)定 中的所期望的漂移，例如，如果所述無人飛行器以較低的速度飛行，所述無人飛行器的主體 可能振動(dòng)較小，因此外部傳感器的標(biāo)定中的漂移也較小。
[0055] 所述外部參數(shù)可以有初始標(biāo)定。所述外部參數(shù)的初始標(biāo)定可能會(huì)描述傳感器之間 的相對(duì)差異，例如，兩個(gè)或多個(gè)傳感器的相對(duì)位置、旋轉(zhuǎn)和/或位移。所述參數(shù)可以包括傳感 器隨著時(shí)間過去的變化，如在某一時(shí)間和隨后的時(shí)間之間的傳感器的位移。所述位移可包 括平移位移和/或旋轉(zhuǎn)位移。所述平移位移可以沿著三軸中的一個(gè)或多個(gè)軸發(fā)生。同樣的， 所述旋轉(zhuǎn)位移可以沿著三軸中的一個(gè)或多個(gè)軸發(fā)生。通常，所述標(biāo)定是通過濾波過程實(shí)現(xiàn) 的。非限制性的例子包括各種類型的卡爾曼濾波器。
[0056] 所述外部參數(shù)的標(biāo)定可以在所述無人飛行器101處于操作中時(shí)（如飛行中）進(jìn)行調(diào) 整。外部參數(shù)標(biāo)定的方法可包括借助處理器來檢測、從初始空間配置到隨后的空間配置、兩 個(gè)或多個(gè)傳感器相對(duì)于彼此在空間配置上的變化。在進(jìn)一步的實(shí)施例中，所述方法使用濾 波器，如卡爾曼濾波器，來確定隨后的空間配置。最后，所述方法可以包括基于所述隨后的 空間配置，在所述無人飛行器飛行時(shí)，調(diào)整來自至少一個(gè)傳感器的數(shù)據(jù)。
[0057] 所述無人飛行器可以有一個(gè)或多個(gè)機(jī)載處理器。所述處理器可以單獨(dú)地或全體地 用于（i)基于傳感器數(shù)據(jù)檢測、從初始空間配置到隨后的空間配置、一個(gè)或多個(gè)傳感器相對(duì) 于彼此在空間配置上的變化；（ii)使用多個(gè)卡爾曼濾波器確定隨后的空間配置;和（iii)基 于所述隨后的空間配置，在所述無人飛行器飛行時(shí)，調(diào)整來自至少一個(gè)傳感器的數(shù)據(jù)。備選 地，所述處理器或多個(gè)處理器可能不在所述無人飛行器上。所述無人飛行器可以將與給定 的傳感器的空間配置有關(guān)的信息發(fā)送至非機(jī)載處理器，所述處理器用于執(zhí)行上述步驟(i)_ (iii)和將信息傳回至無人飛行器。
[0058] 多個(gè)相機(jī)的標(biāo)定
[0059] 在一些實(shí)施例中，所述系統(tǒng)和方法可以包括多個(gè)傳感器。多個(gè)傳感器的標(biāo)定可以 包括整合傳感器數(shù)據(jù)。參考圖3,相機(jī)可以拍攝如301所示的圖像，和另一相機(jī)可以以不同的 位移和不同的方向拍攝第二圖像302。因此，所述兩個(gè)相機(jī)需要標(biāo)定，且所述標(biāo)定可以利用 第一相機(jī)拍攝的圖像301和第二相機(jī)拍攝的第二圖像302。以下將揭露標(biāo)定的數(shù)學(xué)公式。
[0060] 在一個(gè)實(shí)施例中，兩個(gè)或多個(gè)相機(jī)被組裝成立體相機(jī)系統(tǒng)。所述兩個(gè)或多個(gè)相機(jī) 的標(biāo)定如下:首先，每個(gè)相機(jī)拍攝一張圖像;然后，識(shí)別系統(tǒng)選取N個(gè)特征，就數(shù)學(xué)公式而言， 讓?duì)梁挺卤硎緝蓚€(gè)相機(jī)，在其所拍攝的圖像中所識(shí)別的特征可以用向量xf = Uf.、vf)和 xf = (A'f s yf)表示，其中i = 1，· · ·，N。所述特征和xf分別由相機(jī)α和β的坐標(biāo)系確定。為了 找到可靠的映射，需要在相同的坐標(biāo)系乂:二⑷丨^^中分析所述特征^述特征寸和?^ 與所述參考坐標(biāo)系X:之間的關(guān)系可以采用投影對(duì)％嚴(yán)為以及@來描述，其中對(duì) 和是在歸一化坐標(biāo)中表述的特征，即，ff = ◎IMi}以及tf = 分別 是所述相機(jī)α與β的投影，且其可由內(nèi)部參數(shù)Κ和外部參數(shù)(例如，旋轉(zhuǎn)R和平移Τ)確定的:Ρα =Ka[rr]與，一旦計(jì)算得到所述投影且內(nèi)部參數(shù)κ^κβ均是已知的，外 部參數(shù)R和Τ可以通過以下公式計(jì)算得到：
[0061] R = Re(Ra)-、
[0062] x = xP_RP(R?)-ix?〇
[0063] 當(dāng)?shù)玫絽?shù)R和T時(shí)，所述標(biāo)定完成。
[0064]通常，所述內(nèi)部參數(shù)口與#不會(huì)改變。即使所述內(nèi)部參數(shù)變化，其變化量也是很小 的。因此，內(nèi)部參數(shù)可以離線標(biāo)定。即，在一些應(yīng)用中，所述內(nèi)部參數(shù)可以在所述無人飛行器 起飛前被確定。在實(shí)例中，在飛行期間，所述內(nèi)部參數(shù)1^與妒保持不變。所以所述標(biāo)定是為了 計(jì)算所述?°與? 6的最佳解。在一個(gè)例子中，使用減少投影誤差來求解：
[0066] 上述問題是非線性優(yōu)化問題。各種解法可以包括在所述實(shí)施例中。在一些應(yīng)用中， 所述解答通過光束法平差方法實(shí)現(xiàn)。在光束法平差方法中，投影?°與? 6是給定的初始值。使 用極線約束以得出本質(zhì)矩陣E，隨后通過分解(例如，奇異值分解)得到$ = 1??，其中ΙΓ|Χ 是Τ的斜對(duì)稱矩陣。
[0067] 上述解答找到所述特征與另一相機(jī)所拍攝的另一圖片中的特征之間的對(duì)應(yīng)的映 射。
[0068] 在一些實(shí)施例中，形成立體相機(jī)系統(tǒng)的兩個(gè)相機(jī)α和β的空間配置為一個(gè)相機(jī)設(shè)置 在左手邊而另一相機(jī)設(shè)置在右手邊。
[0069] 跨越相機(jī)和慣性測量單元的標(biāo)定
[0070]在一些實(shí)施例中，所述系統(tǒng)和方法包括跨越相機(jī)和慣性測量單元的標(biāo)定。所述標(biāo) 定的原理是基于利用所述相機(jī)獲取隨著時(shí)間過去的多個(gè)圖像和利用所述相機(jī)估計(jì)自身位 置的變化。在某些實(shí)例中，通過將所述相機(jī)在不同時(shí)間點(diǎn)i和i'拍攝的兩張照片看作是兩個(gè) 相機(jī)α與β拍攝的兩張照片，自標(biāo)定的方法類似于標(biāo)定兩個(gè)獨(dú)立的相機(jī)。類似的，自標(biāo)定方案 可以適用于慣性測量單元。使Α和Β分別表示相機(jī)和慣性測量單元的自身坐標(biāo)變化。下標(biāo)i表 示在時(shí)間i = 1，2，…，η時(shí)所述坐標(biāo)系映射Ai與Bi。因此，與時(shí)間1有關(guān)的在時(shí)間2的映射為： A = j一疒和孖=馬琴Γ5·。使X表示相機(jī)與慣性測量單元之間的映射。手眼標(biāo)定公式會(huì)導(dǎo)致 AX = XB，其中A，Β，X以以下形式被歸一化地映射：
[0072] 此外，RARx = RxRB以及(RA-I)tx = RxtB_tA。在這些方程和考慮到旋轉(zhuǎn)矩陣的特性后， 有多種方法來求解Rx和tx。為了保證唯一的解答，η多3的需求必須執(zhí)行。
[0073] 在一些實(shí)施例中，所述標(biāo)定是在立體相機(jī)系統(tǒng)和慣性測量單元之間執(zhí)行的。所述 標(biāo)定通過標(biāo)定具有慣性測量單元的系統(tǒng)中的相機(jī)來實(shí)現(xiàn)。
[0074] 所述無人飛行器可以包括用于解讀傳感器數(shù)據(jù)以確定所述傳感器是否需要重新 標(biāo)定的裝置。所述裝置可以實(shí)時(shí)解讀傳感器數(shù)據(jù)。所述裝置可以解讀所述無人飛行器的任 何或所有機(jī)載傳感器的傳感器數(shù)據(jù)。所述裝置可以包括一個(gè)或多個(gè)連接于所述無人飛行器 的傳感器。所述傳感器可以將有關(guān)環(huán)境的信息、附近的物體、所述無人飛行器的位置和/或 有關(guān)附近物體或障礙物的信息提供給所述無人飛行器。所述傳感器可具有已知的初始配 置，其可包括內(nèi)部特性和外部特性。所述初始配置可包括一個(gè)傳感器相對(duì)于至少一個(gè)其他 傳感器的初始位置和方向。在所述無人飛行器起飛之前或無人飛行器飛行時(shí)，所述傳感器 的初始配置可以與機(jī)載于無人飛行器上或處于無人飛行器外部的處理器通信。為了在所述 傳感器配置變化的事件中執(zhí)行在線傳感器標(biāo)定，處理器可以監(jiān)測所述傳感器的配置上的變 化，所述變化可能由于所述無人飛行器的移動(dòng)或振動(dòng)而發(fā)生。
[0075] 機(jī)載于無人飛行器上或處于無人飛行器外部的處理器可以連續(xù)地或在離散地時(shí) 間間隔獲取傳感器數(shù)據(jù)。圖4顯示了描述由處理器執(zhí)行在線傳感器標(biāo)定的步驟的流程圖。首 先所述處理器可以獲取傳感器數(shù)據(jù)(401)。所述傳感器可以有相對(duì)于彼此的初始空間配置。 所述傳感器的初始空間配置可以是事先已知的。在所述無人飛行器起飛前或起飛后，可以 在無人飛行器的機(jī)載內(nèi)存里記錄和存儲(chǔ)所述初始空間配置。所述初始配置可以是一個(gè)傳感 器相對(duì)于無人飛行器上的其他傳感器的初始位置和初始方向?；谒鎏幚砥鹘邮盏膫鞲?器數(shù)據(jù)，所述處理器可以檢測一個(gè)或多個(gè)傳感器在空間配置上的變化(402)。一個(gè)或多個(gè)傳 感器在空間配置上的變化可以是相對(duì)于已知的初始配置的變化。接下來，所述處理器可以 確定新的空間配置相對(duì)于初始空間配置的偏差(403)。所述處理器可以使用一個(gè)或多個(gè)卡 爾曼濾波器來確定新的空間配置相對(duì)于初始空間配置的偏差。所述卡爾曼濾波器可以是擴(kuò) 展卡爾曼濾波器或無跡卡爾曼濾波器。所述卡爾曼濾波器可以都是同一類型的，或者也可 以是不同類型的，例如一小部分濾波器為擴(kuò)展卡爾曼濾波器而其余部分可以是無跡卡爾曼 濾波器。在已確定所述偏差后，所述處理器可以糾正或調(diào)整來自所述傳感器的數(shù)據(jù)以反映 所述傳感器相對(duì)于彼此的新確定的位置(404)?？梢栽谒鰺o人飛行器處于操作中時(shí)（例 如，當(dāng)無人飛行器飛行時(shí)）進(jìn)行所述數(shù)據(jù)的調(diào)整。圖4中所描述的步驟可以由包括所述傳感 器和所述處理器的裝置來執(zhí)行。所述裝置可以連接于所述無人飛行器。
[0076] 所述處理器，或處理器的系統(tǒng)，其可安裝于所述無人飛行器上或在遠(yuǎn)離所述無人 飛行器的位置處，且可與所述無人飛行器進(jìn)行有線或無線通信，可以用來檢測一個(gè)或多個(gè) 傳感器的空間配置相對(duì)于初始空間配置的偏差?？臻g配置的偏差的檢測可能涉及傳感器數(shù) 據(jù)的一個(gè)或多個(gè)統(tǒng)計(jì)方法的應(yīng)用?？梢杂糜跈z測空間配置的偏差的統(tǒng)計(jì)方法的一個(gè)例子是 馬氏距離法。
[0077]所述處理器可以使用圖5所示的方法來檢測一個(gè)或多個(gè)傳感器在空間配置上的差 異。所述處理器可以從所述無人飛行器的一個(gè)或多個(gè)機(jī)載傳感器接收數(shù)據(jù)(501)。所述傳感 器可具有相對(duì)于彼此不同的空間方向，使得每個(gè)傳感器的數(shù)據(jù)可具有不同的相對(duì)坐標(biāo)系。 為了解讀所述的數(shù)據(jù)，可優(yōu)選地將所述數(shù)據(jù)轉(zhuǎn)換為一致的統(tǒng)一參考坐標(biāo)系。所述參考坐標(biāo) 系可以是任意的坐標(biāo)系或可以是其中一個(gè)傳感器的相對(duì)坐標(biāo)系，例如慣性測量單元（MU) 的坐標(biāo)系。所述處理器可以選擇參考坐標(biāo)系以在解釋數(shù)據(jù)之前在所述參考坐標(biāo)系中轉(zhuǎn)換數(shù) 據(jù)(402)?？梢栽谒鰺o人飛行器起飛前或飛行時(shí)選擇所述參考坐標(biāo)系。所述參考坐標(biāo)系在 所述無人飛行器處于操作狀態(tài)的整個(gè)期間是一致的或其可以隨時(shí)間而變化。在某些情況 下，所述慣性測量單元的相對(duì)坐標(biāo)系可以被選為參考坐標(biāo)系。所述處理器可以收集傳感器 數(shù)據(jù)并在統(tǒng)一的參考坐標(biāo)系中顯示所有的數(shù)據(jù)(503)。在數(shù)據(jù)被轉(zhuǎn)換到統(tǒng)一的參考坐標(biāo)系 之后，可以分析所述數(shù)據(jù)以檢測一個(gè)或多個(gè)傳感器在空間配置上的差異(504)。一個(gè)差異可 表示一個(gè)或多個(gè)傳感器之間的預(yù)期或預(yù)測的空間配置上的誤差。所檢測到的差異可表明所 述傳感器或多個(gè)傳感器需要重新標(biāo)定。
[0078]所述一個(gè)或多個(gè)傳感器在空間配置上的差異的檢測可使用一個(gè)或多個(gè)統(tǒng)計(jì)方法 進(jìn)行。在一個(gè)例子中，所述一個(gè)或多個(gè)傳感器在空間配置上的差異的檢測可以采用馬氏距 離法。所述馬氏距離法可以在不同傳感器的測量已被轉(zhuǎn)換到統(tǒng)一的參考坐標(biāo)系后，比較不 同傳感器的測量。所述處理器可以使用馬氏距離的方法通過在統(tǒng)一參考坐標(biāo)系中不同傳感 器的測量之間產(chǎn)生協(xié)方差矩陣來檢測差異。隨著處理器從所述傳感器接收測量數(shù)據(jù)，可以 實(shí)時(shí)地更新所述協(xié)方差矩陣。所述處理器可以計(jì)算在統(tǒng)一參考坐標(biāo)系中的不同傳感器的測 量之間的馬氏距離。如果馬氏距離超過預(yù)設(shè)閾值，所述馬氏距離可以表示所述傳感器異常， 其可表示所述傳感器已經(jīng)偏移其初始標(biāo)定。用于表示誤差的馬氏距離的預(yù)設(shè)閾值可以至少 為1、2、3、4、5、6、7、8、9、10、15或20。所述閾值對(duì)于所有的傳感器來說可以是統(tǒng)一數(shù)值或所 述閾值的值可以針對(duì)每個(gè)傳感器而變化。所述閾值可以是固定的或相對(duì)于一個(gè)獨(dú)立的變量 (例如所述無人飛行器行駛的時(shí)間或距離)是可以改變的。
[0079] 由大于預(yù)定閾值的馬氏距離的計(jì)算所表示的差異的檢測可以啟動(dòng)具有所檢測差 異的傳感器的重新標(biāo)定。傳感器遠(yuǎn)離所述傳感器的初始方向到新的空間方向的移動(dòng)可以引 起差異檢測。傳感器在無人飛行器起飛和降落期間，以及在飛行時(shí)由于所述無人飛行器的 振動(dòng)或在飛行時(shí)由于與另一物體的交互(例如，與動(dòng)物或昆蟲的交互，與自然特征如樹，懸 崖，瀑布的交互，或與另一無人飛行器的交互)時(shí)會(huì)移動(dòng)。
[0080] 所述傳感器的重新標(biāo)定可能需要一個(gè)確定所述傳感器的新的空間方向的步驟。所 述傳感器的新的空間方向可以使用一個(gè)或多個(gè)卡爾曼濾波器進(jìn)行確定。所述卡爾曼濾波器 可以是擴(kuò)展卡爾曼濾波器或無跡卡爾曼濾波器。所述卡爾曼濾波器確定的新的空間方向可 以用于更新一個(gè)或多個(gè)傳感器的外部特性，其可以對(duì)應(yīng)于具有檢測到的差異的所述傳感器 或多個(gè)傳感器的空間方向。所更新的外部特性可以用于調(diào)整來自傳感器或多個(gè)傳感器的數(shù) 據(jù)。
[0081] 所述卡爾曼濾波器可以使用一種遞歸方法連續(xù)地更新所述傳感器標(biāo)定。所述卡爾 曼濾波器可以使用來自傳感器的測量數(shù)據(jù)和測量數(shù)據(jù)之間的約束作為測量公式。
[0082] 所有的傳感器可以使用單一的卡爾曼濾波器來實(shí)現(xiàn)標(biāo)定。備選地，所述標(biāo)定可以 通過將多個(gè)相互平行的卡爾曼濾波器連接來實(shí)現(xiàn)。并行結(jié)構(gòu)中的每個(gè)卡爾曼濾波器可以獨(dú) 立于其他的濾波器。每個(gè)卡爾曼濾波器可以為一個(gè)或多個(gè)傳感器進(jìn)行標(biāo)定。在所述卡爾曼 濾波器負(fù)責(zé)不止一個(gè)傳感器的標(biāo)定的情況下，由所述卡爾曼濾波器標(biāo)定的傳感器可以是相 關(guān)的。并行的卡爾曼濾波器可以提高系統(tǒng)的可擴(kuò)展性。此外，并行的卡爾曼濾波器可以提高 系統(tǒng)的可擴(kuò)展性，也可以在減少標(biāo)定所述傳感器所需要的計(jì)算資源的同時(shí)提高反應(yīng)速度。
[0083] 圖6示出可以用本文所描述的系統(tǒng)執(zhí)行的傳感器標(biāo)定的方法的一個(gè)例子。所述方 法的第一步驟可以是獲取無人飛行器上一個(gè)或多個(gè)傳感器的數(shù)據(jù)(601)。所述數(shù)據(jù)可以由 處理器收集，所述處理器可以在所述無人飛行器上，也可以在不在所述無人飛行器上的位 置上，當(dāng)不在所述無人飛行器上時(shí)，所述處理器可以與所述無人飛行器無線通信或通過有 線連接進(jìn)行通信。所述處理器可以將所述傳感器分組為一個(gè)或多個(gè)子集，每個(gè)子集具有至 少有兩個(gè)傳感器(602)。每個(gè)子集可以包含一組測量傳感器。所述子集可以額外地具有一個(gè) 參考傳感器，每個(gè)子集的所述參考傳感器可以是相同的或每個(gè)子集具有一個(gè)唯一的參考傳 感器。所述傳感器的子集可以是相關(guān)的傳感器，例如其可以是具有相關(guān)功能的傳感器。每個(gè) 子集可以包括測量傳感器的一個(gè)不同子集，這樣每個(gè)子集是離散的且所述測量子集之間沒 有重疊。例如，如果有五個(gè)傳感器A、B、C、D和E，可以使用這些傳感器產(chǎn)生兩個(gè)子集。子集1可 以包括傳感器A和B，而子集2可以包括傳感器C、D和E。子集1包括A、B和C及子集2包括A、D和E 這樣的分組是不允許的，因?yàn)閭鞲衅鰽被包含在兩個(gè)子集中。當(dāng)將傳感器分組為子集后，下 一步可以是基于來自傳感器的數(shù)據(jù)計(jì)算所述傳感器之間預(yù)期的空間關(guān)系(603)。接下來，可 利用至少一個(gè)卡爾曼濾波器來確定所述傳感器之間的實(shí)際空間關(guān)系（604)。每個(gè)子集可以 有至少一個(gè)卡爾曼濾波器以使用傳感器數(shù)據(jù)進(jìn)行計(jì)算。在最后的步驟中，可以使用處理器 計(jì)算一個(gè)或多個(gè)傳感器的空間配置(605)。所述傳感器的空間配置的計(jì)算可以基于一個(gè)或 多個(gè)卡爾曼濾波器所確定的在子集中的傳感器之間的實(shí)際空間關(guān)系進(jìn)行確定。
[0084] 無人飛行器可以包含多個(gè)不同類型的傳感器。所述多個(gè)傳感器可以進(jìn)一步組織成 傳感器的分組或子集;每個(gè)子集包括至少兩個(gè)傳感器，其包括一個(gè)參考傳感器和一個(gè)或多 個(gè)測量傳感器。每個(gè)子集可以包括測量傳感器的一個(gè)不同子集，這樣每個(gè)子集是離散的且 所述測量子集之間沒有重疊。所有的子集可具有一個(gè)統(tǒng)一的參考傳感器。例如，可以相對(duì)于 慣性測量單元來分析所有的子集，而所述慣性測量單元可被選為參考傳感器。備選地，每個(gè) 子集可具有一個(gè)不同的參考傳感器。每個(gè)子集的至少一個(gè)卡爾曼濾波器可以基于傳感器數(shù) 據(jù)確定每個(gè)子集中至少兩個(gè)傳感器之間的實(shí)際空間關(guān)系。多個(gè)卡爾曼濾波器可以并行工作 來確定多個(gè)子集中傳感器之間的實(shí)際空間關(guān)系?？梢詧?zhí)行額外的計(jì)算以基于每個(gè)子集中的 至少兩個(gè)傳感器之間的實(shí)際空間關(guān)系來確定所述多個(gè)傳感器相對(duì)彼此的空間配置。
[0085] 圖7圖表式地描述了可能的系統(tǒng)架構(gòu)的一個(gè)例子。在頂層，所述系統(tǒng)可以包括傳感 器或傳感器子集的系統(tǒng)(701)。其中一個(gè)傳感器可被指定為參考傳感器(701a)。剩下的測量 傳感器（710b)可以收集在相對(duì)坐標(biāo)系中的數(shù)據(jù)，所述相對(duì)坐標(biāo)系不同于所述參考傳感器 (710a)的相對(duì)坐標(biāo)系。所述測量傳感器(701b)的測量(702)可以在層703轉(zhuǎn)化為參考傳感器 701a的坐標(biāo)系。當(dāng)每個(gè)子集的數(shù)據(jù)轉(zhuǎn)換后，其可代入卡爾曼濾波器(704)。每個(gè)子集的濾波 器可以將數(shù)據(jù)代入到不同的卡爾曼濾波器(704)。所述卡爾曼濾波器可以確定在每個(gè)子集 中傳感器的準(zhǔn)確的空間關(guān)系（705)，然后確定系統(tǒng)中傳感器的準(zhǔn)確的關(guān)系（706)?？柭鼮V 波器可以并聯(lián)。
[0086] 傳感器可以由卡爾曼濾波器通過首先建立一個(gè)描述系統(tǒng)運(yùn)動(dòng)的動(dòng)態(tài)公式與一個(gè) 選定的傳感器和參考傳感器之間的轉(zhuǎn)換公式來標(biāo)定。所述系統(tǒng)運(yùn)動(dòng)的動(dòng)態(tài)公式可能主要取 決于慣性測量單元的數(shù)據(jù)，其包括系統(tǒng)的加速度和角加速度。接下來，可以確定所述卡爾曼 濾波器的初始狀態(tài)，例如從出廠設(shè)置確定。所述初始狀態(tài)可由狀態(tài)變量矢量和協(xié)方差矩陣 描述。對(duì)于內(nèi)感受傳感器(例如，IMU)，所測量的數(shù)據(jù)可以直接讀取，對(duì)于外感受傳感器(如 相機(jī)），所測量的數(shù)據(jù)可以基于先前時(shí)間步驟的外部參數(shù)通過選擇合適的觀察點(diǎn)來獲得。最 后一步，卡爾曼濾波器的狀態(tài)可以通過將所述測量數(shù)據(jù)代入到所述卡爾曼濾波器中的一個(gè) 更新公式中來進(jìn)行更新。所述更新公式可以取決于所述卡爾曼濾波器的類型（例如擴(kuò)展型 或無跡型）。
[0087]圖8圖表式地顯示可能的系統(tǒng)架構(gòu)的另一個(gè)例子。所述系統(tǒng)可以具有多個(gè)傳感器， 所述多個(gè)傳感器可以分組為多個(gè)子集。每個(gè)子集可能具有一個(gè)參考傳感器。一個(gè)參考傳感 器可以被用于一個(gè)或多個(gè)子集。在圖8所示的例子中，左側(cè)的相機(jī)801和慣性測量單元802可 以是參考傳感器。剩余的傳感器(例如，右側(cè)的相機(jī)、GPS和超聲波)可以是測量傳感器803。 與圖7概述的過程類似，每個(gè)傳感器的測量可以轉(zhuǎn)化至相應(yīng)的參考坐標(biāo)系統(tǒng)804。所述轉(zhuǎn)化 的測量可以使用卡爾曼濾波器來連續(xù)地標(biāo)定(805)。所述卡爾曼濾波器可以是無跡卡爾曼 濾波器或擴(kuò)展卡爾曼濾波器。所述卡爾曼濾波器可以確定在子集中所述傳感器的準(zhǔn)確的空 間關(guān)系(806)，然后確定所述系統(tǒng)中傳感器的準(zhǔn)確關(guān)系(807)。
[0088]本文所描述的系統(tǒng)，裝置及方法可以適用于各種各樣的可移動(dòng)物體。如前所述，本 文有關(guān)飛行器的任何描述，例如無人飛行器，可以適用于以及用于任何可移動(dòng)物體。本文對(duì) 飛行器的任何描述可特別應(yīng)用于無人飛行器。本發(fā)明中可移動(dòng)物體可以配置為在任何合適 的環(huán)境中移動(dòng)，如在空氣中（例如，固定翼飛行器、旋轉(zhuǎn)翼飛行器或既沒有固定翼也沒有旋 轉(zhuǎn)翼的飛行器）、在水中（例如，船或潛艇）、在陸地上(例如，機(jī)動(dòng)載運(yùn)工具，如汽車、卡車、客 車、貨車、摩托車、自行車;可移動(dòng)的結(jié)構(gòu)或框架如棒、釣魚竿;或火車）、在地面下（例如，地 鐵）、在太空（例如，太空飛機(jī)、衛(wèi)星或探測器），或這些環(huán)境的任何組合。所述可移動(dòng)物體可 以是載運(yùn)工具，如本文其他地方所描述的載運(yùn)工具。在一些實(shí)施例中，所述可移動(dòng)物體可以 被一個(gè)生物攜帶，或可以是被一生物所拋出的物體，例如，人類或動(dòng)物。任選地，適當(dāng)?shù)膭?dòng)物 可以包括鳥類動(dòng)物、犬科動(dòng)物、貓科動(dòng)物、馬科動(dòng)物、?？苿?dòng)物、羊?qū)賱?dòng)物、豬科動(dòng)物、豚科動(dòng) 物、嚙齒類動(dòng)物、昆蟲類動(dòng)物。
[0089] 所述可移動(dòng)物體可以在環(huán)境中相對(duì)于六個(gè)自由度進(jìn)行自由移動(dòng)（例如，三個(gè)平移 的自由度和三個(gè)旋轉(zhuǎn)的自由度）。備選地，可移動(dòng)物體的移動(dòng)可以是受限于一個(gè)或多個(gè)自由 度，如被預(yù)定的路徑、跟蹤或方向限定。所述移動(dòng)可以由任何合適的致動(dòng)機(jī)構(gòu)而致動(dòng)，如引 擎或馬達(dá)。所述可移動(dòng)物體的致動(dòng)機(jī)構(gòu)可以任何合適的能源作為動(dòng)力，例如電能、磁能、太 陽能、風(fēng)能、重力能、化學(xué)能、核能，或上述任何合適的組合。如本文其他地方所述，所述可移 動(dòng)物體可以通過動(dòng)力系統(tǒng)進(jìn)行自動(dòng)力。所述動(dòng)力系統(tǒng)任選地利用如下能源來運(yùn)作，如電能、 磁能、太陽能、風(fēng)能、重力能、化學(xué)能、核能，或上述任何合適的組合。備選地，可移動(dòng)物體可 以被一個(gè)生物攜帶。
[0090] 在一些實(shí)例中，所述可移動(dòng)物體可以是飛行器。例如，所述飛行器可以是固定翼飛 行器(例如，飛機(jī)、滑翔機(jī)）、旋轉(zhuǎn)翼飛行器(例如，直升機(jī)、旋翼機(jī))或沒有固定翼和旋轉(zhuǎn)翼的 飛行器(如，飛艇、熱氣球）。飛行器可以是自動(dòng)力的，如通過空氣自動(dòng)力。自動(dòng)力式的飛行器 可以利用一個(gè)動(dòng)力系統(tǒng)，如包括一個(gè)或多個(gè)引擎、馬達(dá)、輪子、輪軸、磁鐵、轉(zhuǎn)子、螺旋槳、槳 葉、噴嘴，或上述任何合適組合的動(dòng)力系統(tǒng)。在一些實(shí)例中，所述動(dòng)力系統(tǒng)可以用于使可移 動(dòng)物體從一個(gè)表面起飛、著陸到一個(gè)表面上、保持其當(dāng)前位置和/或方向（例如，懸停）、改變 方向和/或改變位置。
[0091] 所述可移動(dòng)物體可以由用戶進(jìn)行遠(yuǎn)程控制或由可移動(dòng)物體內(nèi)或上的乘客進(jìn)行本 地控制。所述可移動(dòng)物體可以通過在單獨(dú)的載運(yùn)工具內(nèi)的乘員進(jìn)行遠(yuǎn)程控制。在一些實(shí)施 例中，所述可移動(dòng)物體是無人的可移動(dòng)物體，如無人飛行器。無人駕駛的可移動(dòng)物體，如無 人飛行器，所述可移動(dòng)物體上可能沒有乘客。所述可移動(dòng)物體可以由一個(gè)人或一個(gè)自主控 制系統(tǒng)（例如，計(jì)算機(jī)控制系統(tǒng))或任何合適的組合控制。所述可移動(dòng)物體可以是自主式的 或半自主的機(jī)器人，如配置有人工智能的機(jī)器人。
[0092] 所述可移動(dòng)物體可以有任意合適的大小和/或尺寸。在一些實(shí)施例中，所述可移動(dòng) 物體可以具有允許人類乘客在載運(yùn)工具內(nèi)或載運(yùn)工具上的大小和/或尺寸。備選地，所述可 移動(dòng)物體可以具有小于允許人類乘客在載運(yùn)工具內(nèi)或載運(yùn)工具上的大小和/或尺寸。所述 可移動(dòng)物體可以具有適合被人類舉起或攜帶的大小和/或尺寸。備選地，所述可移動(dòng)物體可 以大于適合被人類舉起或攜帶的大小和/或尺寸。在一些實(shí)例中，可移動(dòng)物體可以有小于或 等于約2cm、5cm、10cm、50cm、lm、2m、5m或10m的最大尺寸(例如長度、寬度、高度、直徑、對(duì)角 線）。所述最大尺寸可以大于或等于約2cm、5cm、10cm、50cm、lm、2m、5m或10m。例如，可移動(dòng)物 體的相對(duì)轉(zhuǎn)子的軸之間的距離可以小于或等于約2cm、5cm、10cm、50cm、lm、2m、5m或10m。備 選地，所述相對(duì)轉(zhuǎn)子的軸之間的距離可以大于或等于約2cm、5 cm、10cm、50cm、lm、2m、5m或 10m〇
[0093] 在一些實(shí)施例中，所述可移動(dòng)物體可以具有小于lOOcmX lOOcmX 100cm、小于50cm X 50cm X 30cm或小于5cm X 5cm X 3cm的體積。所述可移動(dòng)物體的總體積可以是小于或等于 約lcm3、2cm3、5cm 3、10cm3、20 cm3、30 cm3、40cm3、50cm3、60cm3、70 cm3、80 cm3、90cm3、100cm3、 150 cm3、200cm3、300cm3、500cm3、750cm 3、1000cm3、5000cm3、10，000cm3、100，000 cm3、lm3或 l〇m3。相反地，所述可移動(dòng)物體的總體積可以大于或等于約1 cm3、2cm3、5cm3、10cm3、20cm 3、 30 cm3、40cm3、50 cm3、60cm3、70 cm3、80cm3、90 cm3、100 cm3、150 cm3、200 cm3、300 cm3、500 cm3、 750cm3、1000cm3、5000cm 3、10，000cm3、100，000cm3、lm3 或 10m3 〇
[0094] 在一些實(shí)施例中，所述可移動(dòng)物體可能具有小于或等于約32,000cm2、20,000cm 2、 10，000cm2、1，000cm2、500cm2、100cm 2、50cm2、10cm2 或 5cm2的占地面積(可能是指可移動(dòng)物體 所包含的橫截面面積）。相反地，所述占地面積可以大于或等于約32,000 Cm2、20,000cm2、10， 000cm2、1，000cm 2、500cm2、100cm2、50cm2、10cm 2 或 5cm2〇
[0095] 在一些實(shí)例中，可移動(dòng)物體的重量可能不超過1000kg。所述可移動(dòng)物體的重量可 以小于或等于 l〇〇〇kg、7 50kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、 40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、lkg、 0 · 5kg、0 · lkg、0.05kg或0 · 01kg。相反地，所述重量可以大于或等于1000kg、750kg、500kg、 200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、 12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、lkg、0·5kg、0·lkg、0·05kg或0·01kg。
[0096] 在一些實(shí)施例中，可移動(dòng)物體相對(duì)于其攜帶的負(fù)載是比較小的。所述負(fù)載可以包 括搭載物和/或載具，本文其他地方會(huì)作進(jìn)一步地詳細(xì)描述。在一些例子中，可移動(dòng)物體的 重量與負(fù)載重量的比值可以大于、小于或等于約1:1。任選地，載具重量與負(fù)載重量的比值 可以大于、小于或等于約1:1。需要時(shí)，可移動(dòng)物體的重量與負(fù)載重量的比值可小于或等于 約1:2、1:3、1:4、1:5、1:10或甚至更少。相反地，可移動(dòng)物體的重量與負(fù)載重量的比值可以 大于或等于約2:1、3:1、4:1、5:1、10:1或甚至更大。
[0097] 在一些實(shí)施方式中，可移動(dòng)物體可具有低能耗。例如，所述可移動(dòng)物體可以使用小 于約5W/h、4W/h、3W/h、2W/h、lW/h或更少的能耗。在一些實(shí)例中，可移動(dòng)物體的載具可具有 低能耗。例如，所述載具可以使用小于約51/11、41/11、31/11、21/11、11/11或更少的能耗。任選 地，所述可移動(dòng)物體的搭載物可具有低能耗，如低于約5W/h、4W/h、3W/h、2W/h、lW/h或更少 的能耗。
[0098] 圖9說明根據(jù)本發(fā)明實(shí)施方式的無人飛行器(UAV)900。所述無人飛行器可以作為 本文所描述的可移動(dòng)物體的一個(gè)例子。所述無人飛行器900可以包括具有四個(gè)轉(zhuǎn)子902、 904、906和908的動(dòng)力系統(tǒng)?？梢栽O(shè)置任何數(shù)量的轉(zhuǎn)子(例如，一個(gè)、兩個(gè)、三個(gè)、四個(gè)、五個(gè)、 六個(gè)或更多）。所述無人飛行器的轉(zhuǎn)子、轉(zhuǎn)子組件或動(dòng)力系統(tǒng)可使無人飛行器懸停/保持位 置、改變朝向和/或改變位置。相對(duì)轉(zhuǎn)子的軸之間的距離可以是任何合適的長度910。例如， 所述長度910可以小于等于2m或小于等于5m。在一些實(shí)施方式中，所述長度910可以在從 40cm到lm、從10cm到2m或從5cm到5m的范圍內(nèi)。本文關(guān)于無人飛行器的任何描述可以適用于 可移動(dòng)物體，例如不同類型的可移動(dòng)物體，反之亦然。所述無人飛行器可以使用本文所描述 的輔助起飛系統(tǒng)或方法。
[0099] 在一些實(shí)施方式中，可移動(dòng)物體可以配置為攜帶一個(gè)負(fù)載。所述負(fù)載可包括一個(gè) 或更多的乘客、貨物、設(shè)備、儀器等。所述負(fù)載可以設(shè)置在一個(gè)外殼內(nèi)。所述負(fù)載可以與可移 動(dòng)物體的外殼分離，或是可移動(dòng)物體的外殼的一部分。備選地，所述負(fù)載可以與外殼一同提 供而所述可移動(dòng)物體不具有外殼。備選地，所述負(fù)載的部分或整個(gè)負(fù)載可以沒有外殼。所述 負(fù)載相對(duì)于可移動(dòng)物體可以是剛性地固定的。任選地，所述負(fù)載相對(duì)于可移動(dòng)物體可以是 可移動(dòng)的（例如，可相對(duì)于可移動(dòng)物體平移或旋轉(zhuǎn)）。所述負(fù)載可以包括搭載物和/或載具， 如本文其他地方所描述的。
[0100] 在一些實(shí)施方式中，相對(duì)于固定參考框架(例如，周圍的環(huán)境)和/或相對(duì)于彼此的 可移動(dòng)物體、載具和/或搭載物的移動(dòng)是可以通過終端控制的。所述終端可以是遠(yuǎn)離所述可 移動(dòng)物體、載具和/或搭載物的遠(yuǎn)程控制裝置。所述終端可以設(shè)置或固定在支撐平臺(tái)上。備 選地，所述終端可以是手持式或可穿戴式裝置。例如，終端可以包括智能手機(jī)、平板電腦、筆 記本電腦、計(jì)算機(jī)、眼鏡、手套、頭盔、麥克風(fēng)或上述適合的組合。所述終端可以包括用戶接 口，諸如鍵盤、鼠標(biāo)、操縱桿、觸摸屏或顯示器。任何合適的用戶輸入可以用于與終端進(jìn)行交 互，例如，手動(dòng)輸入的命令、語音控制、手勢控制或位置控制(例如，通過終端的移動(dòng)、位置或 者傾斜）。
[0101] 所述終端可以用來控制可移動(dòng)物體、載具和/或搭載物的任何合適的狀態(tài)。例如， 所述終端可以用來控制相對(duì)于固定參考和/或相對(duì)于彼此的可移動(dòng)物體、載具和/或搭載物 的位置和/或朝向。在一些實(shí)施方式中，所述終端可以用來控制可移動(dòng)物體、載具和/或搭載 物的單個(gè)部件，例如所述載具的驅(qū)動(dòng)組件、所述搭載物的傳感器或所述搭載物的發(fā)射體。所 述終端可以包括無線通信裝置，其適用于與一個(gè)或多個(gè)可移動(dòng)物體、載具和/或搭載物通 {目。
[0102] 所述終端可以包括合適的顯示單元以查看可移動(dòng)物體、載具和/或搭載物的信息。 例如，所述終端可用于顯示可移動(dòng)物體、載具和/或搭載物的與位置、平移速度、平移加速 度、朝向、角速度、角加速度或上述任何合適的組合相關(guān)的信息。在一些實(shí)施方式中，所述終 端可以顯示搭載物所提供的信息，如功能性的搭載物所提供的數(shù)據(jù)(例如，相機(jī)或其他圖像 獲取設(shè)備裝置所記錄的圖像）。
[0103] 任選地，同一個(gè)終端可以同時(shí)控制可移動(dòng)物體、載具和/或搭載物，或可移動(dòng)物體、 載具和/或搭載物的狀態(tài)，以及從可移動(dòng)物體、載具和/或搭載物接收和/或顯示信息。例如， 終端可以控制所述搭載物相對(duì)于環(huán)境的定位，而同時(shí)顯示搭載物獲取的圖像數(shù)據(jù)或有關(guān)搭 載物的位置信息。備選地，不同的終端可用于不同的功能。例如，第一終端可以控制可移動(dòng) 物體、載具和/或搭載物的移動(dòng)或狀態(tài)，而第二終端可以從可移動(dòng)物體、載具和/或搭載物接 收和/或顯示信息。例如，第一終端可用于控制所述搭載物相對(duì)于環(huán)境的定位而第二終端顯 示搭載物獲取的圖像數(shù)據(jù)?？梢苿?dòng)物體與集成終端之間可以利用多種通信模式以同時(shí)控制 可移動(dòng)物體和接收數(shù)據(jù)，或在所述可移動(dòng)物體與多個(gè)終端之間同時(shí)控制可移動(dòng)物體和接收 數(shù)據(jù)。例如，可以在可移動(dòng)物體和所述終端之間形成至少兩種不同的通信模式以控制可移 動(dòng)物體和從可移動(dòng)物體接收數(shù)據(jù)。
[0104] 圖10說明根據(jù)本發(fā)明實(shí)施例的包括載具1002和搭載物1004的可移動(dòng)物體1000。雖 然可移動(dòng)物體1000被描繪成飛行器，這個(gè)描述并不是限制性的，且如先前所描述的，其他任 何合適類型的可移動(dòng)物體都可以使用。本領(lǐng)域技術(shù)人員應(yīng)了解，本文所描述的任何實(shí)施例 中所描述的飛行器系統(tǒng)的情形可以應(yīng)用于任何合適的可移動(dòng)物體(例如，UAV)。在一些實(shí)例 中，搭載物1004可以提供在可移動(dòng)物體1000上而不需要所述載具1002。可移動(dòng)物體1000可 以包括動(dòng)力機(jī)構(gòu)1006,感測系統(tǒng)1008,和通信系統(tǒng)1010。
[0105]所述動(dòng)力機(jī)構(gòu)1006可以包括如前所述一個(gè)或多個(gè)轉(zhuǎn)子、螺旋槳、槳葉、引擎、馬達(dá)、 輪子、輪軸、磁鐵或噴嘴?？梢苿?dòng)物體可以有一個(gè)或更多、兩個(gè)或更多、三個(gè)或更多或四個(gè)或 更多的動(dòng)力機(jī)構(gòu)。所述動(dòng)力機(jī)構(gòu)可以都是同一類型的。備選地，一個(gè)或更多的動(dòng)力機(jī)構(gòu)可以 是不同類型的動(dòng)力機(jī)構(gòu)。所述動(dòng)力機(jī)構(gòu)1006可以使用適當(dāng)?shù)姆椒ò惭b在可移動(dòng)物體1000 上，如本文其他地方所描述的支撐元件(例如，驅(qū)動(dòng)軸）。所述動(dòng)力機(jī)構(gòu)1006可安裝在可移動(dòng) 物體1000任何合適的部分，例如在頂部、底部、前端、后端、側(cè)面或上述的適當(dāng)組合。
[0106] 在一些實(shí)施例中，上述動(dòng)力機(jī)構(gòu)1006可以使可移動(dòng)物體1000從一個(gè)表面垂直起飛 或垂直降落于一個(gè)表面上而無需可移動(dòng)物體1000任何的水平運(yùn)動(dòng)（例如，不需要沿著飛機(jī) 跑道而下）。任選地，可操作所述動(dòng)力機(jī)構(gòu)1006以允許可移動(dòng)物體1000在空中懸停在指定的 位置和/或朝向。可以獨(dú)立地控制一個(gè)或多個(gè)動(dòng)力機(jī)構(gòu)1000而與其它動(dòng)力機(jī)構(gòu)無關(guān)。備選 地，所述動(dòng)力機(jī)構(gòu)1006可配置為被同時(shí)控制。例如，可移動(dòng)物體1000可以有多個(gè)水平定向轉(zhuǎn) 子，其可以為可移動(dòng)物體提供升力/推力?？梢则?qū)動(dòng)所述多個(gè)水平定向轉(zhuǎn)子從而為可移動(dòng)物 體1000提供垂直起飛，垂直降落，和懸停的能力。在一些實(shí)施方式中，一個(gè)或多個(gè)的水平定 向轉(zhuǎn)子可以順時(shí)針方向旋轉(zhuǎn)，而一個(gè)或多個(gè)水平轉(zhuǎn)子可以逆時(shí)針方向旋轉(zhuǎn)。例如，順時(shí)針旋 轉(zhuǎn)的轉(zhuǎn)子的數(shù)量可以與逆時(shí)針旋轉(zhuǎn)的轉(zhuǎn)子的數(shù)量相等。為了控制每個(gè)轉(zhuǎn)子所產(chǎn)生的升力/ 推力，每個(gè)水平定向轉(zhuǎn)子的旋轉(zhuǎn)速度可以獨(dú)立變化，從而調(diào)整可移動(dòng)物體1000的空間布局， 速度和/或加速度(例如，關(guān)于多達(dá)三個(gè)自由度的平移和多達(dá)三個(gè)自由度的旋轉(zhuǎn)）。
[0107] 所述感測系統(tǒng)1008可以包括一個(gè)或多個(gè)傳感器，其可以感測可移動(dòng)物體1000的空 間布局、速度和/或加速度（例如，關(guān)于多達(dá)三個(gè)自由度的平移和多達(dá)三個(gè)自由度的旋轉(zhuǎn)）。 所述一個(gè)或多個(gè)傳感器可以包括全球定位系統(tǒng)(GPS)傳感器、運(yùn)動(dòng)傳感器、慣性傳感器、距 離傳感器或圖像傳感器。所述感測系統(tǒng)1008提供的感測數(shù)據(jù)可以用來控制可移動(dòng)物體1000 的空間布局、速度和/或朝向（例如，如下所述使用合適的處理單元和/或控制模塊）。備選 地，所述感測系統(tǒng)1008可以用于提供關(guān)于可移動(dòng)物體的周圍環(huán)境的數(shù)據(jù)，例如天氣條件、到 潛在障礙物的距離、地理特征的位置、人造結(jié)構(gòu)的位置等。
[0108] 所述通信系統(tǒng)1010能夠通過無線信號(hào)1016與具有通信系統(tǒng)1014的終端1012進(jìn)行 通信。所述通信系統(tǒng)1〇1〇，1〇14可以包括適用于無線通信的任何數(shù)量的發(fā)射器、接收器和/ 或收發(fā)器。所述通信可以是單向通信，這樣可使得數(shù)據(jù)可以只在一個(gè)方向傳輸。例如，單向 通信可能只涉及所述可移動(dòng)物體1000將數(shù)據(jù)傳輸?shù)浇K端1012,或反之亦然。數(shù)據(jù)也可以從 所述通信系統(tǒng)1010的一個(gè)或多個(gè)發(fā)射器傳輸?shù)剿鐾ㄐ畔到y(tǒng)1014的一個(gè)或多個(gè)接收器，或 反之亦然。備選地，所述通信可以是雙向通信，這樣可以使得數(shù)據(jù)可以在可移動(dòng)物體1000和 所述終端1012之間雙向傳送。雙向通信可涉及所述通信系統(tǒng)1010的一個(gè)或多個(gè)發(fā)射器傳輸 數(shù)據(jù)到所述通信系統(tǒng)1014的一個(gè)或多個(gè)接收器，及反之亦然。
[0109] 在一些實(shí)施例中，所述終端1012可以將控制數(shù)據(jù)提供給一個(gè)或多個(gè)可移動(dòng)物體 1000、載具1002和/或搭載物1004,以及從一個(gè)或多個(gè)可移動(dòng)物體1000、載具1002和/或搭載 物1004接收信息（例如，可移動(dòng)物體、載具和/或搭載物的位置和/或運(yùn)動(dòng)信息;搭載物所感 測到的數(shù)據(jù)如搭載物相機(jī)所獲取的圖像數(shù)據(jù)）。在一些實(shí)例中，來自終端的控制數(shù)據(jù)可以包 括可移動(dòng)物體、載具和/或搭載物的相對(duì)位置、移動(dòng)、致動(dòng)或控制的指令。例如，所述控制數(shù) 據(jù)會(huì)導(dǎo)致在可移動(dòng)物體的位置和/或朝向上的改變(例如，通過動(dòng)力機(jī)構(gòu)1006的控制），或搭 載物關(guān)于可移動(dòng)物體的移動(dòng)（例如，通過載具1002的控制）。所述終端的控制數(shù)據(jù)會(huì)導(dǎo)致對(duì) 搭載物的控制，如相機(jī)或其他圖像獲取設(shè)備操作的控制(例如，拍攝靜止的或移動(dòng)的圖片、 縮放、打開或關(guān)閉、切換圖像模式、改變圖像的分辨率、改變焦點(diǎn)、改變景深、改變曝光時(shí)間、 改變觀察視角或視野）。在一些實(shí)例中，可移動(dòng)物體、載具和/或搭載物的通信可包括來自 (例如，感測系統(tǒng)1008的或搭載物1004的）一個(gè)或多個(gè)傳感器的信息。所述通信可以包括從 一個(gè)或多個(gè)不同類型的傳感器(例如，GPS傳感器、運(yùn)動(dòng)傳感器、慣性傳感器、距離傳感器、圖 像傳感器)獲取的感測信息。這些信息可能會(huì)涉及到可移動(dòng)物體、載具和/或搭載物的位置 (例如，位置、朝向）、運(yùn)動(dòng)或加速度。搭載物的這類信息可以包括搭載物獲取的數(shù)據(jù)或搭載 物的感測狀態(tài)。終端1012傳輸?shù)目刂茢?shù)據(jù)可以被配置為用于控制一個(gè)或多個(gè)可移動(dòng)物體 1000、載具1002或搭載物1004的狀態(tài)。備選地或組合地，所述載具1002和搭載物1004也可各 包括一個(gè)配置用于與終端1012通信的通信模塊，這樣可以使得終端能夠獨(dú)立地與每個(gè)可移 動(dòng)物體1000、載具1002和/或搭載物1004進(jìn)行通信和控制。
[0110] 在一些實(shí)施例中，所述可移動(dòng)物體1000可以配置為與終端1012以及另一個(gè)遠(yuǎn)程設(shè) 備進(jìn)行通信，或與所述終端1012之外的另一個(gè)遠(yuǎn)程裝置進(jìn)行通信。所述終端1012也可以配 置為既與另一個(gè)遠(yuǎn)程設(shè)備通信又與所述可移動(dòng)物體1000通信。例如，所述可移動(dòng)物體1000 和/或所述終端1012可以與另一個(gè)可移動(dòng)物體進(jìn)行通信，或另一個(gè)可移動(dòng)物體的載具或搭 載物進(jìn)行通信。需要時(shí)，所述遠(yuǎn)程設(shè)備可以是第二終端或其他計(jì)算設(shè)備(例如，電腦、筆記本 電腦、平板電腦、智能手機(jī)或其他移動(dòng)設(shè)備）。所述遠(yuǎn)程裝置可以用于將數(shù)據(jù)傳輸?shù)娇梢苿?dòng) 物體1000、從可移動(dòng)物體1000接收數(shù)據(jù)、將數(shù)據(jù)傳輸?shù)浇K端1012和/或從終端1012接收數(shù) 據(jù)。任選地，所述遠(yuǎn)程裝置可以連接到互聯(lián)網(wǎng)或其他通信網(wǎng)絡(luò)，使得從可移動(dòng)物體1000和/ 或終端1012接收的數(shù)據(jù)可以上傳到網(wǎng)站或服務(wù)器。
[0111] 圖11是根據(jù)本發(fā)明實(shí)施方式的控制可移動(dòng)物體的系統(tǒng)1100的示意性方塊圖。所述 系統(tǒng)1100可以與本文所揭露的系統(tǒng)、裝置和方法的任何合適的實(shí)施例結(jié)合使用。所述系統(tǒng) 1100包括感測模塊1102,處理單元1104,非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)1106,控制模塊1108,以 及通訊模塊1110。
[0112] 所述感測模塊1102可以使用不同類型的傳感器來以不同的方式收集有關(guān)可移動(dòng) 物體的信息。不同類型的傳感器可以感測不同類型的信號(hào)或不同來源的信號(hào)。例如，所述傳 感器可以包括慣性傳感器、GPS傳感器、距離傳感器（例如，激光雷達(dá))或視覺/圖像傳感器 (例如，相機(jī)）。感測模塊1102可以可操作地連接到具有多個(gè)處理器的處理單元1104。在一些 實(shí)施例中，所述感測模塊1102可以可操作地耦合到傳輸模塊1112(例如，Wi-Fi圖像傳輸模 塊），用于直接傳輸感測數(shù)據(jù)到合適的外部裝置或系統(tǒng)。例如，所述傳輸模塊1112可用于將 所述感測模塊1102的相機(jī)拍攝的圖像傳輸?shù)竭h(yuǎn)程終端。
[0113] 所述處理單元1104可以具有一個(gè)或多個(gè)處理器，如可編程的處理器(例如，中央處 理器(CPU))。所述處理單元1104可以可操作地耦合到非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)1106。所述 非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)1106可以存儲(chǔ)能夠被處理單元1104所執(zhí)行的邏輯、代碼和/或程 序指令以執(zhí)行一個(gè)或多個(gè)步驟。所述非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)可以包括一個(gè)或多個(gè)存儲(chǔ)單 元(例如，可移動(dòng)介質(zhì)或外部存儲(chǔ)，如SD卡或隨機(jī)存取存儲(chǔ)器(RAM))。在一些實(shí)施例中，所述 感測模塊1102的數(shù)據(jù)可以直接地傳送到并存儲(chǔ)在所述非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)的1106的 存儲(chǔ)單元內(nèi)。所述非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)1106的存儲(chǔ)單元可以存儲(chǔ)能夠被處理單元1104 所執(zhí)行的邏輯、代碼和/或程序指令以執(zhí)行本文所描述的方法的任何合適的實(shí)施方式。例 如，所述處理單元1104可以用于執(zhí)行使得所述處理單元1104的一個(gè)或多個(gè)處理器分析感測 模塊產(chǎn)生的感測數(shù)據(jù)的指令。所述存儲(chǔ)單元可以存儲(chǔ)由處理單元1104處理的來自所述感測 模塊的感測數(shù)據(jù)。在一些實(shí)施例中，所述非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)1106的存儲(chǔ)單元可以用 來存儲(chǔ)處理單元1104產(chǎn)生的處理結(jié)果。
[0114] 在一些實(shí)施例中，所述處理單元1104可以可操作地耦合到控制模塊1108，其配置 成控制所述可移動(dòng)物體的狀態(tài)。例如，所述控制模塊1108可以配置為控制可移動(dòng)物體的動(dòng) 力機(jī)構(gòu)以調(diào)整可移動(dòng)物體關(guān)于六個(gè)自由度的空間布局、速度和/或加速度。備選地或組合 地，所述控制模塊1108可以控制一個(gè)或多個(gè)載具、搭載物或感測模塊的狀態(tài)。
[0115] 所述處理單元1104可以可操作地耦合到通信模塊1110,用于向和/或從一個(gè)或多 個(gè)外部裝置(例如，終端、顯示裝置或其他遠(yuǎn)程控制器)發(fā)送和/或接收數(shù)據(jù)?？梢允褂萌魏?合適的通信方法，如有線通信或無線通信。例如，所述通信模塊1110可利用一個(gè)或多個(gè)局域 網(wǎng)（LAN)、廣域網(wǎng)(WAN)、紅外線、無線電、WiFi、點(diǎn)對(duì)點(diǎn)(P2P)網(wǎng)絡(luò)、電信網(wǎng)絡(luò)、云通信等。任選 地，可以使用中繼站，如信號(hào)塔、衛(wèi)星或移動(dòng)站。無線通信可以是不獨(dú)立地接近或獨(dú)立地接 近。在一些實(shí)施例中，通信可以需要也可以不需要視線。所述通信模塊1110可以向和/或從 一個(gè)或多個(gè)感測模塊1102發(fā)送和/或接收一個(gè)或多個(gè)感測數(shù)據(jù)、處理單元1104產(chǎn)生的處理 結(jié)果、預(yù)定的控制數(shù)據(jù)、終端或遠(yuǎn)程控制器的用戶命令等。
[0116] 所述系統(tǒng)1100的組件可以任意合適的配置進(jìn)行布置。例如，所述系統(tǒng)1100的一個(gè) 或多個(gè)組件可以定位于可移動(dòng)物體、載具、搭載物、終端、感測系統(tǒng)或與上述一個(gè)或多個(gè)通 信的額外外部裝置上。此外，盡管圖11示出了單一的處理單元1104和單一的非暫時(shí)性計(jì)算 機(jī)可讀介質(zhì)1106,本領(lǐng)域技術(shù)人員應(yīng)了解這并不具限制性，并且所述系統(tǒng)1100可以包括多 個(gè)處理單元和/或非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)。在一些實(shí)施例中，多個(gè)處理單元和/或非暫時(shí) 性計(jì)算機(jī)可讀介質(zhì)中的一個(gè)或多個(gè)可以位于不同位置，例如在可移動(dòng)物體、載具、搭載物、 終端、感測模塊、與上述一個(gè)或多個(gè)通信的額外外部裝置，或上述的適當(dāng)組合上，以使得由 系統(tǒng)1100執(zhí)行的處理和/或存儲(chǔ)功能的任何合適的方面可以發(fā)生在一個(gè)或多個(gè)前述的位置 處。
[0117] 盡管本文中已經(jīng)示出且描述了本發(fā)明的優(yōu)選實(shí)施方式，但本領(lǐng)域技術(shù)人員將顯而 易見，這些實(shí)施方式只是通過舉例的方式來提供的。本領(lǐng)域技術(shù)人員在不脫離本發(fā)明的情 況下目前可以想到眾多變化、修改和替換。應(yīng)了解，本文所述的本發(fā)明實(shí)施方式的各種替代 選擇可用于實(shí)施本發(fā)明。所附權(quán)利要求書意在界定本發(fā)明的范疇并且因此涵蓋屬于這些權(quán) 利要求和其等效形式的范疇內(nèi)的方法和結(jié)構(gòu)。
【主權(quán)項(xiàng)】
1. 一種在線傳感器標(biāo)定的方法，所述方法包括： 當(dāng)無人飛行器(UAV)在飛行時(shí)，從連接于所述無人飛行器的多個(gè)不同類型的傳感器獲 取傳感器數(shù)據(jù)，其中所述多個(gè)傳感器具有相對(duì)于彼此的初始空間配置； 借助處理器，基于所述傳感器數(shù)據(jù)來檢測所述多個(gè)傳感器從所述初始空間配置到隨后 的空間配置相對(duì)于彼此的空間配置變化； 確定所述隨后的空間配置；以及 當(dāng)所述無人飛行器在飛行時(shí)，基于所述隨后的空間配置調(diào)整來自所述多個(gè)傳感器中至 少一個(gè)傳感器的數(shù)據(jù)。2. 如權(quán)利要求1所述的方法，其中所述多個(gè)不同類型的傳感器包括以下至少兩個(gè):視覺 傳感器、GPS傳感器、慣性傳感器、紅外傳感器、超聲波傳感器或激光雷達(dá)傳感器。3. 如權(quán)利要求2所述的方法，其中所述多個(gè)傳感器中的至少一個(gè)是慣性傳感器。4. 如權(quán)利要求3所述的方法，其中來自所述多個(gè)傳感器的所述傳感器數(shù)據(jù)是由所述慣 性傳感器相關(guān)的坐標(biāo)系提供的。5. 如權(quán)利要求1所述的方法，其中所述初始空間配置包括所述多個(gè)傳感器中的每一個(gè) 相對(duì)于彼此的初始位置和初始方向。6. 如權(quán)利要求5所述的方法，其中所述空間配置變化包括所述多個(gè)傳感器中的至少一 個(gè)相對(duì)于所述多個(gè)傳感器中的其他傳感器的所述初始位置和/或所述初始方向的變化。7. 如權(quán)利要求1所述的方法，其中在所述無人飛行器起飛之前提供所述初始空間配置。8. 如權(quán)利要求1所述的方法，其中在所述無人飛行器飛行期間提供所述初始空間配置。9. 如權(quán)利要求1所述的方法，其中所述空間配置變化是由所述無人飛行器的移動(dòng)引起 的。10. 如權(quán)利要求9所述的方法，其中所述空間配置變化是由所述無人飛行器的振動(dòng)引起 的。11. 如權(quán)利要求1所述的方法，進(jìn)一步包括:借助所述處理器，使用多個(gè)卡爾曼濾波器來 確定所述隨后的空間配置，其中所述多個(gè)卡爾曼濾波器包括一個(gè)或多個(gè)擴(kuò)展卡爾曼濾波器 和/或無跡卡爾曼濾波器。12. 如權(quán)利要求1所述的方法，其中所述處理器機(jī)載于所述無人飛行器上。13. 如權(quán)利要求11所述的方法，其中所述處理器位于在所述無人飛行器飛行時(shí)與所述 無人飛行器通信的裝置上且所述裝置位于所述無人飛行器外部。14. 一種用于在線傳感器標(biāo)定的裝置，所述裝置包括： (a) 多個(gè)不同類型的傳感器，其（i)連接于無人飛行器(UAV)，且（ii)用于當(dāng)所述無人飛 行器飛行時(shí)提供傳感器數(shù)據(jù)，其中所述多個(gè)傳感器具有相對(duì)于彼此的初始空間配置；以及 (b) -個(gè)或多個(gè)處理器，其單獨(dú)地或全體地用于（i)基于所述傳感器數(shù)據(jù)來檢測所述多 個(gè)傳感器從所述初始空間配置到隨后的空間配置相對(duì)于彼此的空間配置變化；（ii)確定所 述隨后的空間配置;和（iii)當(dāng)所述無人飛行器在飛行時(shí)，基于所述隨后的空間配置調(diào)整來 自所述多個(gè)傳感器中至少一個(gè)傳感器的數(shù)據(jù)。15. 如權(quán)利要求14所述的裝置，其中所述多個(gè)不同類型的傳感器包括以下至少兩個(gè):視 覺傳感器、GPS傳感器、慣性傳感器、紅外傳感器、超聲波傳感器或激光雷達(dá)傳感器。16. 如權(quán)利要求15所述的裝置，其中所述多個(gè)傳感器中的至少一個(gè)是慣性傳感器。17. 如權(quán)利要求16所述的裝置，其中所述多個(gè)傳感器的所述傳感器數(shù)據(jù)是由所述慣性 傳感器相關(guān)的坐標(biāo)系提供的。18. 如權(quán)利要求14所述的裝置，其中所述初始空間配置包括所述多個(gè)傳感器中的每一 個(gè)相對(duì)于彼此的初始位置和初始方向。19. 如權(quán)利要求18所述的裝置，其中所述空間配置變化包括所述多個(gè)傳感器中的至少 一個(gè)相對(duì)于所述多個(gè)傳感器中的其他傳感器的所述初始位置和/或所述初始方向的變化。20. 如權(quán)利要求14所述的裝置，其中在所述無人飛行器起飛之前提供所述初始空間配 置。21. 如權(quán)利要求14所述的裝置，其中在所述無人飛行器飛行期間提供所述初始空間配 置。22. 如權(quán)利要求14所述的裝置，其中所述空間配置變化是由所述無人飛行器的移動(dòng)引 起的。23. 如權(quán)利要求22所述的裝置，其中所述空間配置變化是由所述無人飛行器的振動(dòng)引 起的。24. 如權(quán)利要求14所述的裝置，其中所述一個(gè)或多個(gè)處理器使用多個(gè)卡爾曼濾波器來 確定所述隨后的空間配置，所述多個(gè)卡爾曼濾波器包括一個(gè)或多個(gè)擴(kuò)展卡爾曼濾波器和/ 或無跡卡爾曼濾波器。25. 如權(quán)利要求14所述的裝置，其中所述一個(gè)或多個(gè)處理器機(jī)載于所述無人飛行器上。26. 如權(quán)利要求14所述的裝置，其中所述一個(gè)或多個(gè)處理器位于在所述無人飛行器飛 行時(shí)與無人飛行器通信的裝置上且所述裝置位于所述無人飛行器外部。27. -種傳感器標(biāo)定的方法，所述方法包括： 從連接于無人飛行器(UAV)的多個(gè)不同類型的傳感器獲得傳感器數(shù)據(jù)； 選擇參考坐標(biāo)系； 借助處理器，基于所述傳感器之間的預(yù)測空間關(guān)系，在所述參考坐標(biāo)系中顯示所述多 個(gè)傳感器的所述傳感器數(shù)據(jù)； 借助所述處理器檢測所述多個(gè)傳感器之間的所述傳感器數(shù)據(jù)的差異，所述差異表示所 述傳感器之間在所述預(yù)測空間關(guān)系中的誤差； 確定實(shí)際空間配置；以及 基于所述實(shí)際空間配置調(diào)整來自所述多個(gè)傳感器中至少一個(gè)傳感器的數(shù)據(jù)。28. 如權(quán)利要求27所述的方法，其中所述多個(gè)不同類型的傳感器包括以下至少兩個(gè):視 覺傳感器、GPS傳感器、慣性傳感器、紅外傳感器、超聲波傳感器或激光雷達(dá)傳感器。29. 如權(quán)利要求28所述的方法，其中所述多個(gè)傳感器中的至少一個(gè)是慣性傳感器。30. 如權(quán)利要求29所述的方法，其中所述參考坐標(biāo)系是與所述慣性傳感器相關(guān)的坐標(biāo) 系。31. 如權(quán)利要求27所述的方法，其中所述傳感器之間的所述預(yù)測空間關(guān)系是基于所述 傳感器的初始空間配置在配置上的預(yù)測空間變化，所述初始空間配置包括所述多個(gè)傳感器 中的每一個(gè)相對(duì)于彼此的初始位置和初始方向。32. 如權(quán)利要求31所述的方法，其中在所述無人飛行器起飛之前提供所述初始空間配 置。33. 如權(quán)利要求31所述的方法，其中在所述無人飛行器飛行期間提供所述初始空間配 置。34. 如權(quán)利要求27所述的方法，其中所述傳感器之間的所述預(yù)測空間關(guān)系包括所述傳 感器相對(duì)于彼此的相對(duì)空間位置和相對(duì)空間方向。35. 如權(quán)利要求27所述的方法，進(jìn)一步包括:借助所述處理器，使用多個(gè)卡爾曼濾波器 來確定所述隨后的空間配置，其中所述多個(gè)卡爾曼濾波器包括一個(gè)或多個(gè)擴(kuò)展卡爾曼濾波 器和/或無跡卡爾曼濾波器。36. 如權(quán)利要求27所述的方法，其中所述處理器機(jī)載于所述無人飛行器上。37. 如權(quán)利要求27所述的方法，其中所述處理器位于在所述無人飛行器飛行時(shí)與所述 無人飛行器通信的裝置上且所述裝置位于所述無人飛行器外部。38. 如權(quán)利要求27所述的方法，其中在所述無人飛行器處于操作中時(shí)確定所述傳感器 的所述實(shí)際空間配置。39. 如權(quán)利要求38所述的方法，其中在所述無人飛行器飛行時(shí)確定所述傳感器的所述 實(shí)際空間配置。40. 如權(quán)利要求27所述的方法，其中在所述無人飛行器處于操作中時(shí)調(diào)整來自所述多 個(gè)傳感器的所述數(shù)據(jù)。41. 如權(quán)利要求27所述的方法，其中基于所述實(shí)際空間配置調(diào)整的所述數(shù)據(jù)是由視覺 傳感器所獲取的圖像數(shù)據(jù)。42. -種用于傳感器標(biāo)定的裝置，所述裝置包括： (a) 多個(gè)不同類型的傳感器，其（i)連接于無人飛行器(UAV)，且（ii)用于提供傳感器數(shù) 據(jù)；以及 (b) -個(gè)或多個(gè)處理器，其單獨(dú)地或全體地用于： (i) 選擇參考坐標(biāo)系； (ii) 基于所述傳感器之間的預(yù)測空間關(guān)系，在所述參考坐標(biāo)系中顯示來自所述多個(gè)傳 感器的所述傳感器數(shù)據(jù)； (i i i)檢測所述多個(gè)傳感器之間的所述傳感器數(shù)據(jù)的差異， 所述差異表示所述傳感器之間在所述預(yù)測空間關(guān)系中的誤差； (iv) 確定實(shí)際空間配置；以及 (v) 基于所述實(shí)際空間配置調(diào)整來自所述多個(gè)傳感器中至少一個(gè)傳感器的數(shù)據(jù)。43. 如權(quán)利要求42所述的裝置，其中所述多個(gè)不同類型的傳感器包括以下至少兩個(gè):視 覺傳感器、GPS傳感器、慣性傳感器、紅外傳感器、超聲波傳感器或激光雷達(dá)傳感器。44. 如權(quán)利要求43所述的裝置，其中所述多個(gè)傳感器中的至少一個(gè)是慣性傳感器。45. 如權(quán)利要求44所述的裝置，其中所述參考坐標(biāo)系是與所述慣性傳感器相關(guān)的坐標(biāo) 系。46. 如權(quán)利要求42所述的裝置，其中所述傳感器之間的所述預(yù)測空間關(guān)系是基于所述 傳感器的初始空間配置在配置上的預(yù)測空間變化，所述初始空間配置包括所述多個(gè)傳感器 中的每一個(gè)相對(duì)于彼此的初始位置和初始方向。47. 如權(quán)利要求46所述的裝置，其中在所述無人飛行器起飛之前提供所述初始空間配 置。48. 如權(quán)利要求46所述的裝置，其中在所述無人飛行器飛行期間提供所述初始空間配 置。49. 如權(quán)利要求42所述的裝置，其中所述傳感器之間的所述預(yù)測空間關(guān)系包括所述傳 感器相對(duì)于彼此的相對(duì)空間位置和相對(duì)空間方向。50. 如權(quán)利要求42所述的裝置，其中所述一個(gè)或多個(gè)處理器使用多個(gè)卡爾曼濾波器來 確定所述隨后的空間配置，所述多個(gè)卡爾曼濾波器包括一個(gè)或多個(gè)擴(kuò)展卡爾曼濾波器和/ 或無跡卡爾曼濾波器。51. 如權(quán)利要求42所述的裝置，其中所述一個(gè)或多個(gè)處理器機(jī)載于所述無人飛行器上。52. 如權(quán)利要求42所述的裝置，其中所述一個(gè)或多個(gè)處理器位于在所述無人飛行器飛 行時(shí)與所述無人飛行器通信的裝置上且所述裝置所述無人飛行器外部。53. 如權(quán)利要求42所述的裝置，其中在所述無人飛行器處于操作中時(shí)確定所述傳感器 的所述實(shí)際空間配置。54. 如權(quán)利要求53所述的裝置，其中在所述無人飛行器飛行時(shí)確定所述傳感器的所述 實(shí)際空間配置。55. 如權(quán)利要求42所述的裝置，其中在所述無人飛行器處于操作中時(shí)調(diào)整來自所述多 個(gè)傳感器中所述至少一個(gè)的所述數(shù)據(jù)。56. 如權(quán)利要求42所述的裝置，其中基于所述實(shí)際空間配置調(diào)整的所述數(shù)據(jù)是由視覺 傳感器所獲取的圖像數(shù)據(jù)。57. -種傳感器標(biāo)定的方法，所述方法包括： 從連接于無人飛行器(UAV)的多個(gè)不同類型的傳感器獲得傳感器數(shù)據(jù)； 借助處理器，將所述多個(gè)傳感器分組為多個(gè)子集，每個(gè)子集具有（i)至少兩個(gè)傳感器， 以及（ii)不同的傳感器組合； 借助所述處理器，基于所述傳感器數(shù)據(jù)計(jì)算每個(gè)子集中所述至少兩個(gè)傳感器之間的預(yù) 測空間關(guān)系； 基于所述預(yù)測空間關(guān)系，確定每個(gè)子集中所述至少兩個(gè)傳感器之間的實(shí)際空間關(guān)系； 借助于所述處理器，基于每個(gè)子集中所述至少兩個(gè)傳感器之間的所述實(shí)際空間關(guān)系， 計(jì)算所述多個(gè)傳感器相對(duì)于彼此的空間配置。58. 如權(quán)利要求57所述的方法，其中每個(gè)子集包括一個(gè)參考傳感器和一個(gè)或多個(gè)測量 傳感器。59. 如權(quán)利要求58所述的方法，其中每個(gè)子集的所述參考傳感器是相同的。60. 如權(quán)利要求58所述的方法，其中每個(gè)子集的所述參考傳感器是不同的。61. 如權(quán)利要求57所述的方法，其中所述多個(gè)不同類型的傳感器包括以下至少兩個(gè):視 覺傳感器、GPS傳感器、慣性傳感器、紅外傳感器、超聲波傳感器或激光雷達(dá)傳感器。62. 如權(quán)利要求61所述的方法，其中所述多個(gè)傳感器中的至少一個(gè)是慣性傳感器。63. 如權(quán)利要求58所述的方法，其中每個(gè)子集中所述傳感器之間的所述預(yù)測空間關(guān)系 是基于所述傳感器的初始空間配置在配置上的預(yù)測空間變化，所述初始空間配置包括所述 多個(gè)傳感器中的每一個(gè)相對(duì)于彼此的初始位置和初始方向。64. 如權(quán)利要求63所述的方法，其中在所述無人飛行器起飛之前提供所述初始空間配 置。65. 如權(quán)利要求63所述的方法，其中在所述無人飛行器飛行期間提供所述初始空間配 置。66. 如權(quán)利要求58所述的方法，其中所述傳感器之間的所述預(yù)測空間關(guān)系包括所述傳 感器相對(duì)于彼此的相對(duì)空間位置和相對(duì)空間方向。67. 如權(quán)利要求58所述的方法，其中所述處理器使用多個(gè)卡爾曼濾波器來確定每個(gè)子 集中所述至少兩個(gè)傳感器之間的實(shí)際空間關(guān)系，所述多個(gè)卡爾曼濾波器包括一個(gè)或多個(gè)擴(kuò) 展卡爾曼濾波器和/或無跡卡爾曼濾波器。68. 如權(quán)利要求58所述的方法，其中所述處理器機(jī)載于所述無人飛行器上。69. 如權(quán)利要求58所述的方法，其中所述處理器位于在所述無人飛行器飛行時(shí)與所述 無人飛行器通信的裝置上且所述裝置位于所述無人飛行器外部。70. 如權(quán)利要求58所述的方法，其中在所述無人飛行器處于操作中時(shí)確定所述傳感器 的所述實(shí)際空間配置。71. 如權(quán)利要求58所述的方法，其中在所述無人飛行器飛行時(shí)確定所述傳感器的所述 實(shí)際空間配置。72. 如權(quán)利要求58所述的方法，其中在所述無人飛行器處于操作中時(shí)調(diào)整來自所述多 個(gè)傳感器的所述數(shù)據(jù)。73. 如權(quán)利要求57所述的方法，進(jìn)一步包括:基于所述空間配置調(diào)整所述來自多個(gè)傳感 器中至少一個(gè)傳感器的數(shù)據(jù)，以及借助所述處理器基于每個(gè)子集中所述至少兩個(gè)傳感器之 間的所述實(shí)際空間關(guān)系，計(jì)算所述多個(gè)傳感器相對(duì)于彼此的空間配置。74. 如權(quán)利要求73所述的方法，其中基于所述實(shí)際空間配置調(diào)整的所述數(shù)據(jù)是由視覺 傳感器所獲取的圖像數(shù)據(jù)。75. -種用于傳感器標(biāo)定的裝置，所述設(shè)備包括： (a) 多個(gè)不同類型的傳感器，其（i)連接于無人飛行器(UAV)，且（ii)用于提供傳感器數(shù) 據(jù)；以及 (b) -個(gè)或多個(gè)處理器，其單獨(dú)地或全體地用于： (i) 將所述多個(gè)傳感器分組為多個(gè)子集，每個(gè)子集具有（i)至少兩個(gè)傳感器，和（ii)不 同的傳感器組合； (ii) 基于所述傳感器數(shù)據(jù)，計(jì)算每個(gè)子集中所述至少兩個(gè)傳感器之間的預(yù)測空間關(guān) 系； (iii) 基于所述預(yù)測空間關(guān)系，確定每個(gè)子集中所述至少兩個(gè)傳感器之間的實(shí)際空間 關(guān)系；以及 (iv) 基于每個(gè)子集中所述至少兩個(gè)傳感器之間的所述實(shí)際空間關(guān)系，計(jì)算所述多個(gè)傳 感器相對(duì)于彼此的空間配置。76. 如權(quán)利要求75所述的裝置，其中每個(gè)子集包括一個(gè)參考傳感器和一個(gè)或多個(gè)測量 傳感器。77. 如權(quán)利要求76所述的裝置，其中每個(gè)子集的所述參考傳感器是相同的。78. 如權(quán)利要求76所述的裝置，其中每個(gè)子集的所述參考傳感器是不同的。79. 如權(quán)利要求75所述的裝置，其中所述多個(gè)不同類型的傳感器包括以下至少兩個(gè):視 覺傳感器、GPS傳感器、慣性傳感器、紅外傳感器、超聲波傳感器或激光雷達(dá)傳感器。80. 如權(quán)利要求79所述的裝置，其中所述多個(gè)傳感器中的至少一個(gè)是慣性傳感器。81. 如權(quán)利要求75所述的裝置，其中每個(gè)子集中所述傳感器之間的所述預(yù)測空間關(guān)系 是基于所述傳感器的初始空間配置在配置上的預(yù)測空間變化，所述初始空間配置包括所述 多個(gè)傳感器中的每一個(gè)相對(duì)于彼此的初始位置和初始方向。82. 如權(quán)利要求81所述的裝置，其中在所述無人飛行器起飛之前提供所述初始空間配 置。83. 如權(quán)利要求81所述的裝置，其中在所述無人飛行器飛行期間提供所述初始空間配 置。84. 如權(quán)利要求75所述的裝置，其中所述傳感器之間的所述預(yù)測空間關(guān)系包括所述傳 感器相對(duì)于彼此的相對(duì)空間位置和相對(duì)空間方向。85. 如權(quán)利要求75所述的裝置，其中所述一個(gè)或多個(gè)處理器使用多個(gè)卡爾曼濾波器來 確定每個(gè)子集中所述至少兩個(gè)傳感器之間的實(shí)際空間關(guān)系，所述多個(gè)卡爾曼濾波器包括一 個(gè)或多個(gè)擴(kuò)展卡爾曼濾波器和/或無跡卡爾曼濾波器。86. 如權(quán)利要求75所述的裝置，其中所述一個(gè)或多個(gè)處理器機(jī)載于所述無人飛行器上。87. 如權(quán)利要求75所述的裝置，其中所述一個(gè)或多個(gè)處理器位于在所述無人飛行器飛 行時(shí)與所述無人飛行器通信的裝置上且所述裝置位于所述無人飛行器外部。88. 如權(quán)利要求75所述的裝置，其中在所述無人飛行器處于操作中時(shí)確定所述傳感器 的所述實(shí)際空間配置。89. 如權(quán)利要求75所述的裝置，其中在所述無人飛行器飛行時(shí)確定所述傳感器的所述 實(shí)際空間配置。90. 如權(quán)利要求75所述的設(shè)備，其中在所述無人飛行器處于操作中時(shí)調(diào)整來自所述多 個(gè)傳感器中所述至少一個(gè)的所述數(shù)據(jù)。91. 一種傳感器標(biāo)定的方法，所述方法包括： 從多個(gè)不同類型的傳感器獲得傳感器數(shù)據(jù)； 借助處理器，將所述多個(gè)傳感器分組為多個(gè)子集，每個(gè)子集具有（i)至少兩個(gè)傳感器， 包括一個(gè)參考傳感器和一個(gè)或多個(gè)測量傳感器，和（ii)不同的傳感器組合，其中所述多個(gè) 子集的至少兩個(gè)子集具有不同的參考傳感器； 借助于所述處理器，基于所述傳感器數(shù)據(jù)，每個(gè)子集使用至少一個(gè)卡爾曼濾波器來確 定每個(gè)子集中所述至少兩個(gè)傳感器之間的實(shí)際空間關(guān)系；以及 借助所述處理器，基于每個(gè)子集中所述至少兩個(gè)傳感器之間的所述實(shí)際空間關(guān)系計(jì)算 所述多個(gè)傳感器相對(duì)于彼此的空間配置。92. 如權(quán)利要求91所述的方法，其中所述多個(gè)傳感器連接于無人飛行器(UAV)。93. 如權(quán)利要求92所述的方法，其中所述處理器機(jī)載于所述無人飛行器上。94. 如權(quán)利要求92所述的方法，其中所述處理器位于在所述無人飛行器飛行時(shí)與所述 無人飛行器通信的裝置上且所述裝置位于所述無人飛行器外部。95. 如權(quán)利要求92所述的方法，其中在所述無人飛行器處于操作中時(shí)確定所述傳感器 的所述實(shí)際空間配置。96. 如權(quán)利要求92所述的方法，其中在所述無人飛行器飛行時(shí)確定所述傳感器的所述 實(shí)際空間配置。97. 如權(quán)利要求92所述的方法，其中在所述無人飛行器處于操作中時(shí)調(diào)整來自所述多 個(gè)傳感器的所述數(shù)據(jù)。98. 如權(quán)利要求91所述的方法，其中所述多個(gè)不同類型的傳感器包括以下至少兩個(gè):視 覺傳感器、GPS傳感器、慣性傳感器、紅外傳感器、超聲波傳感器或激光雷達(dá)傳感器。99. 如權(quán)利要求98所述的方法，其中所述多個(gè)傳感器中的至少一個(gè)是慣性傳感器。100. 如權(quán)利要求98所述的方法，其中所述多個(gè)傳感器中的至少一個(gè)是視覺傳感器。101. 如權(quán)利要求91所述的方法，其中所述多個(gè)卡爾曼濾波器包括一個(gè)或多個(gè)擴(kuò)展卡爾 曼濾波器和/或無跡卡爾曼濾波器。102. 如權(quán)利要求91所述的方法，進(jìn)一步包括:在將所述多個(gè)傳感器分組為多個(gè)子集后， 基于所述傳感器數(shù)據(jù)計(jì)算每個(gè)子集中所述至少兩個(gè)傳感器之間的預(yù)測空間關(guān)系，其中所述 卡爾曼濾波器基于所述預(yù)測空間關(guān)系確定所述實(shí)際空間關(guān)系。103. 如權(quán)利要求91所述的方法，其中所述傳感器之間的所述預(yù)測空間關(guān)系包括所述傳 感器相對(duì)于彼此的相對(duì)空間位置和相對(duì)空間方向。104. -種用于傳感器標(biāo)定的裝置，所述設(shè)備包括： (a) 多個(gè)不同類型的傳感器，用于提供傳感器數(shù)據(jù)；以及 (b) -個(gè)或多個(gè)處理器，其單獨(dú)地或全體地用于： (1) 將所述多個(gè)傳感器分組為多個(gè)子集，每個(gè)子集具有（i)至少兩個(gè)傳感器，包括一個(gè) 參考傳感器和一個(gè)或多個(gè)測量傳感器，和（ii)不同的傳感器組合，其中所述多個(gè)子集的至 少兩個(gè)子集具有不同的參考傳感器； (2) 基于所述傳感器數(shù)據(jù)，每個(gè)子集使用至少一個(gè)卡爾曼濾波器來確定每個(gè)子集中所 述至少兩個(gè)傳感器之間的實(shí)際空間關(guān)系；以及 (3) 基于每個(gè)子集中所述至少兩個(gè)傳感器之間的所述實(shí)際空間關(guān)系計(jì)算所述多個(gè)傳感 器相對(duì)于彼此的空間配置。105. 如權(quán)利要求104所述的裝置，其中所述多個(gè)傳感器連接于無人飛行器(UAV)。106. 如權(quán)利要求105所述的裝置，其中所述一個(gè)或多個(gè)處理器機(jī)載于所述無人飛行器 上。107. 如權(quán)利要求105所述的裝置，其中所述一個(gè)或多個(gè)處理器位于在所述無人飛行器 飛行時(shí)與所述無人飛行器通信的裝置上且所述裝置位于所述無人飛行器外部。108. 如權(quán)利要求105所述的裝置，其中在所述無人飛行器處于操作中時(shí)確定所述傳感 器的所述實(shí)際空間配置。109. 如權(quán)利要求105所述的裝置，其中在所述無人飛行器飛行時(shí)確定所述傳感器的所 述實(shí)際空間配置。110. 如權(quán)利要求105所述的裝置，其中在所述無人飛行器處于操作中時(shí)調(diào)整來自所述 多個(gè)傳感器中所述至少一個(gè)的所述數(shù)據(jù)。111. 如權(quán)利要求104所述的裝置，其中所述多個(gè)不同類型的傳感器包括以下至少兩個(gè)： 視覺傳感器、GPS傳感器、慣性傳感器、紅外傳感器、超聲波傳感器或激光雷達(dá)傳感器。112. 如權(quán)利要求111所述的裝置，其中所述多個(gè)傳感器中的至少一個(gè)是慣性傳感器。113. 如權(quán)利要求111所述的裝置，其中所述多個(gè)傳感器中的至少一個(gè)是視覺傳感器。114. 如權(quán)利要求104所述的裝置，其中所述多個(gè)卡爾曼濾波器包括一個(gè)或多個(gè)擴(kuò)展卡 爾曼濾波器和/或無跡卡爾曼濾波器。
【文檔編號(hào)】G05D1/00GK106030431SQ201480074620
【公開日】2016年10月12日
【申請(qǐng)日】2014年8月15日
【發(fā)明人】唐克坦, 趙永建, 李兵, 周谷越
【申請(qǐng)人】深圳市大疆創(chuàng)新科技有限公司