基于深度學(xué)習(xí)的點(diǎn)云配準(zhǔn)方法
【專利摘要】本發(fā)明涉及一種基于深度學(xué)習(xí)的點(diǎn)云配準(zhǔn)方法，鑒于傳統(tǒng)的點(diǎn)云配準(zhǔn)算法計(jì)算復(fù)雜度高，不適于在計(jì)算資源有限的設(shè)備上運(yùn)行，提出一種基于深度學(xué)習(xí)的點(diǎn)云配準(zhǔn)方法。配準(zhǔn)過程為：將點(diǎn)云轉(zhuǎn)換成深度圖像表示；使用堆疊卷積自動(dòng)編碼器網(wǎng)絡(luò)提取深度圖像的特征；利用提取到的深度圖像特征通過配準(zhǔn)網(wǎng)絡(luò)計(jì)算點(diǎn)云的旋轉(zhuǎn)參數(shù)；其中的自動(dòng)編碼器網(wǎng)絡(luò)和配準(zhǔn)網(wǎng)絡(luò)需要在配準(zhǔn)之前進(jìn)行訓(xùn)練以得到網(wǎng)絡(luò)參數(shù)，得到參數(shù)后不需要在使用時(shí)進(jìn)行訓(xùn)練。本發(fā)明實(shí)現(xiàn)了點(diǎn)云的優(yōu)化配準(zhǔn)，并具備配準(zhǔn)效率高的特點(diǎn)，可應(yīng)用于三維模型掃描、三維重建和物體跟蹤等領(lǐng)域。
【專利說明】基于深度學(xué)習(xí)的點(diǎn)云配準(zhǔn)方法
[0001 ]方法領(lǐng)域
[0002] 本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，涉及一種基于深度學(xué)習(xí)的點(diǎn)云配準(zhǔn)方法，可應(yīng)用于 三維模型掃描、三維重建和物體跟蹤等領(lǐng)域。
[0003] 背景方法
[0004] 點(diǎn)云配準(zhǔn)方法用于解決對(duì)一個(gè)或多個(gè)三維物體在不同視角下的三維模型之間的 位姿關(guān)系的估計(jì)問題。其廣泛應(yīng)用于三維模型掃描、三維重建和物體跟蹤等領(lǐng)域。點(diǎn)云配準(zhǔn) 的過程一般可描述為估計(jì)兩片點(diǎn)云之間的旋轉(zhuǎn)和平移參數(shù)。
[0005] 在過去幾十年中，大量點(diǎn)云配準(zhǔn)算法被提出，其中Besl等人提出的迭代最近點(diǎn) (Iterative Closest Point，ICP)算法最富代表性。ICP是一種基于自由形態(tài)曲面的配準(zhǔn)算 法，它具有簡單易行的優(yōu)點(diǎn)，但I(xiàn)CP算法的效率不高，計(jì)算的復(fù)雜度隨著點(diǎn)云的規(guī)模增大而 顯著提高，且ICP算法對(duì)噪聲點(diǎn)或異常點(diǎn)敏感，噪聲點(diǎn)或異常點(diǎn)容易導(dǎo)致該算法失效。
[0006] 為解決ICP算法的問題，人們?cè)诖嘶A(chǔ)上做出了許多改進(jìn)。有學(xué)者提出了一種迭代 最近線方法（Iterative Closest Line，ICL)，通過直接對(duì)兩片點(diǎn)云中的點(diǎn)連線并查找對(duì)應(yīng) 線段進(jìn)行配準(zhǔn)，但是線段之間的對(duì)應(yīng)關(guān)系可能存在缺陷。另有學(xué)者提出通過GPU等硬件進(jìn)行 算法的加速，但此方法未解決原點(diǎn)云配準(zhǔn)算法的缺陷，不能滿足在實(shí)際應(yīng)用場景下的需求。 因此需要一種有效的點(diǎn)云配準(zhǔn)算法，能夠計(jì)算兩片點(diǎn)云之間的相對(duì)位姿關(guān)系并滿足：（1)算 法的適應(yīng)性強(qiáng)，對(duì)噪聲點(diǎn)和異常點(diǎn)不敏感；（2)算法的計(jì)算速度快，盡可能滿足實(shí)時(shí)配準(zhǔn)三 維點(diǎn)云模型的要求。

【發(fā)明內(nèi)容】

[0007] 為克服現(xiàn)有點(diǎn)云配準(zhǔn)算法存在的不足，本發(fā)明提出一種基于深度學(xué)習(xí)的點(diǎn)云配準(zhǔn) 方法，通過堆疊卷積自動(dòng)編碼器網(wǎng)絡(luò)提取點(diǎn)云的特征，并利用配準(zhǔn)網(wǎng)絡(luò)從提取到的特征中 計(jì)算出點(diǎn)云配準(zhǔn)的參數(shù)，旨在提高點(diǎn)云配準(zhǔn)算法的計(jì)算速度和適應(yīng)性。
[0008] 為此目的，本發(fā)明提出了一種基于深度學(xué)習(xí)的點(diǎn)云配準(zhǔn)方法，包括以下步驟：
[0009] 第一步:獲取訓(xùn)練點(diǎn)云和測(cè)試點(diǎn)云的深度圖像。對(duì)于一片有限大小的點(diǎn)云，計(jì)算點(diǎn) 云在觀測(cè)方向上的深度圖像；
[0010] 第二步：訓(xùn)練堆疊卷積自動(dòng)編碼器網(wǎng)絡(luò)，使之能夠從訓(xùn)練點(diǎn)云的深度圖像中提取 深度圖像的特征；
[0011] 第三步：訓(xùn)練配準(zhǔn)網(wǎng)絡(luò)，使之能夠利用堆疊卷積自動(dòng)編碼器網(wǎng)絡(luò)提取的兩片訓(xùn)練 點(diǎn)云的深度圖像的特征計(jì)算兩片訓(xùn)練點(diǎn)云之間的配準(zhǔn)參數(shù)；
[0012] 第四步：精調(diào)堆疊卷積自動(dòng)編碼器網(wǎng)絡(luò)和配準(zhǔn)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，使之得到更好的 配準(zhǔn)效果；
[0013] 第五步：利用訓(xùn)練好的堆疊卷積自動(dòng)編碼器網(wǎng)絡(luò)和配準(zhǔn)網(wǎng)絡(luò)，計(jì)算兩片測(cè)試點(diǎn)云 之間的配準(zhǔn)參數(shù)。
[0014] 優(yōu)選的，所述的堆疊卷積自動(dòng)編碼器網(wǎng)絡(luò)是一種深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。它由 卷積自動(dòng)編碼器堆疊而成，即將上一層卷積自動(dòng)編碼器的隱含層作為下一層卷積自動(dòng)編碼 器的輸入。卷積自動(dòng)編碼器，是一種采用卷積核的自動(dòng)編碼器，利用不同的卷積核進(jìn)行卷積 操作提取深度圖像的不同特征。本發(fā)明在實(shí)現(xiàn)堆疊卷積自動(dòng)編碼器網(wǎng)絡(luò)的過程中對(duì)隱層編 碼施加稀疏限制，使得其對(duì)輸入的編碼更具表現(xiàn)力。
[0015] 優(yōu)選的，所述的配準(zhǔn)網(wǎng)絡(luò)是多層全連接的神經(jīng)網(wǎng)絡(luò)。配準(zhǔn)網(wǎng)絡(luò)的輸入是堆疊卷積 自動(dòng)編碼器網(wǎng)絡(luò)提取的兩片點(diǎn)云的深度圖像的特征，輸出是兩片點(diǎn)云之間的配準(zhǔn)參數(shù)。
[0016] 優(yōu)選的，所述的訓(xùn)練是指優(yōu)化堆疊卷積自動(dòng)編碼器網(wǎng)絡(luò)或配準(zhǔn)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)， 使之能夠完成相應(yīng)的任務(wù)。
[0017] 優(yōu)選的，所述的精調(diào)是指同時(shí)優(yōu)化堆疊卷積自動(dòng)編碼器網(wǎng)絡(luò)和配準(zhǔn)網(wǎng)絡(luò)的網(wǎng)絡(luò)參 數(shù)，使之得到更好的配準(zhǔn)效果。
[0018] 優(yōu)選的，所述的配準(zhǔn)參數(shù)是指對(duì)點(diǎn)云進(jìn)行配準(zhǔn)所用到的參數(shù)。包括但不限于在空 間某方向上的旋轉(zhuǎn)角度和在空間某方向上的平移距離。
[0019]優(yōu)選的，利用堆疊卷積自動(dòng)編碼器網(wǎng)絡(luò)提取點(diǎn)云的特征，并利用配準(zhǔn)網(wǎng)絡(luò)從提取 到的特征中計(jì)算出點(diǎn)云配準(zhǔn)的參數(shù)。
[0020] 有益效果：與現(xiàn)有方法相比，本方法利用深度學(xué)習(xí)方法提取點(diǎn)云的特征并利用提 取到的特征進(jìn)行點(diǎn)云的配準(zhǔn)，其優(yōu)點(diǎn)在于算法的適應(yīng)性強(qiáng)，對(duì)噪聲點(diǎn)和異常點(diǎn)不敏感，算法 的實(shí)現(xiàn)較為簡單，且算法的計(jì)算速度快，能盡可能滿足實(shí)時(shí)配準(zhǔn)三維點(diǎn)云模型的要求。
【附圖說明】
[0021] 通過參考附圖會(huì)更加清楚的理解本發(fā)明的特征和優(yōu)點(diǎn)，附圖是示意性的而不應(yīng)理 解為對(duì)本發(fā)明進(jìn)行任何限制，在附圖中：
[0022] 圖1為本發(fā)明實(shí)施例提供的基于深度學(xué)習(xí)的點(diǎn)云配準(zhǔn)方法的流程示意圖；
[0023] 圖2為本發(fā)明實(shí)施例提供的配準(zhǔn)網(wǎng)絡(luò)結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0024]下面將結(jié)合附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行詳細(xì)描述。
[0025]如圖1所示，本發(fā)明實(shí)施例提供了一種基于深度學(xué)習(xí)的點(diǎn)云配準(zhǔn)方法，包括以下步 驟：
[0026]第一步:對(duì)于一片有限大小的點(diǎn)云，計(jì)算點(diǎn)云在觀測(cè)方向上的深度圖像，其中深度 圖像上點(diǎn)的灰度表示該點(diǎn)距觀測(cè)點(diǎn)的距離，灰度越深表示距觀測(cè)點(diǎn)越遠(yuǎn)，灰度越淺表示距 觀測(cè)點(diǎn)越近。具體的距離與灰度的映射公式可以依據(jù)實(shí)驗(yàn)條件具體確定。
[0027]第二步：訓(xùn)練堆疊卷積自動(dòng)編碼器提取深度圖像的特征。堆疊卷積自動(dòng)編碼器是 一種深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。它由卷積自動(dòng)編碼器堆疊而成。卷積自動(dòng)編碼器利用不同 的卷積核提取深度圖像的不同特征。在卷積自動(dòng)編碼器中二維隱層h中第i，j個(gè)元素為：
(1)
[0029] 其中X為二維輸入矩陣，Lw為深度圖像的長寬。
[0030] 對(duì)于自動(dòng)編碼器，訓(xùn)練的目標(biāo)是獲得最小化誤差函數(shù)的參數(shù)tbi，b2:
[0032] 其中f為激活函數(shù)，通常選擇Sigmoid函數(shù)，即：
(3)
[0034]本發(fā)明在實(shí)現(xiàn)過程中對(duì)隱層編碼施加稀疏限制，使得其對(duì)輸入的編碼更具表現(xiàn) 力，即訓(xùn)練目標(biāo)為：
[0036] 其中KL為Kullback-Leibler散度，其定義為：
[0038]其中為隱層節(jié)點(diǎn)的平均值，BP:
[0040] Ρ為一個(gè)充分小的數(shù)。
[0041 ]本發(fā)明對(duì)自動(dòng)編碼器進(jìn)行堆疊，即使用上一層自動(dòng)編碼器的隱層作為下一層自動(dòng) 編碼器的輸入，通過多層自動(dòng)編碼器更好地提取深度圖像的特征。
[0042] 第三步：如圖2所示，訓(xùn)練配準(zhǔn)網(wǎng)絡(luò)利用堆疊卷積自動(dòng)編碼器得到的兩片點(diǎn)云的特 征來計(jì)算點(diǎn)云的旋轉(zhuǎn)參數(shù)。其中用到的配準(zhǔn)網(wǎng)絡(luò)，是多層全連接的網(wǎng)絡(luò)：
[0043] {α，β，γ } =MLPe(xi，X2) (7)
[0044] 網(wǎng)絡(luò)以兩片點(diǎn)云提取到的特征作為輸入，輸出三個(gè)方向的旋轉(zhuǎn)角度。實(shí)際應(yīng)用中， 可另其不僅輸出三個(gè)方向的旋轉(zhuǎn)角度，同時(shí)輸出三個(gè)方向的相對(duì)位移。
[0045] 通過配準(zhǔn)網(wǎng)絡(luò)的輸出與真實(shí)配準(zhǔn)參數(shù)計(jì)算均方誤差，得到配準(zhǔn)網(wǎng)絡(luò)的訓(xùn)練信號(hào)， 以此訓(xùn)練配準(zhǔn)網(wǎng)絡(luò)的參數(shù)Θ。
[0046] 第四步:精調(diào)堆疊卷積自動(dòng)編碼器和配準(zhǔn)網(wǎng)絡(luò)的參數(shù)，使之得到更好的配準(zhǔn)效果。 利用配準(zhǔn)的誤差信號(hào)，同時(shí)優(yōu)化堆疊卷積自動(dòng)編碼器和配準(zhǔn)網(wǎng)絡(luò)的參數(shù)，使之能更好的配 合，減小配準(zhǔn)的誤差。
[0047] 第五步：利用訓(xùn)練好的堆疊卷積自動(dòng)編碼器網(wǎng)絡(luò)和配準(zhǔn)網(wǎng)絡(luò)，計(jì)算兩片點(diǎn)云之間 的配準(zhǔn)參數(shù)。先通過堆疊卷積自動(dòng)編碼器網(wǎng)絡(luò)計(jì)算兩片點(diǎn)云的深度圖像的特征，再通過配 準(zhǔn)網(wǎng)絡(luò)得到兩片點(diǎn)云的配準(zhǔn)參數(shù)。在此過程中不對(duì)網(wǎng)絡(luò)的參數(shù)進(jìn)行優(yōu)化調(diào)整。
[0048] 雖然結(jié)合附圖描述了本發(fā)明的實(shí)施方式，但是本領(lǐng)域技術(shù)人員可以在不脫離本發(fā) 明的精神和范圍的情況下做出各種修改和變型，這樣的修改和變型均落入由所附權(quán)利要求 所限定的范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種基于深度學(xué)習(xí)的點(diǎn)云配準(zhǔn)方法，其特征在于，包括以下步驟： 第一步：獲取訓(xùn)練點(diǎn)云和測(cè)試點(diǎn)云的深度圖像;對(duì)于一片有限大小的點(diǎn)云，計(jì)算點(diǎn)云在 觀測(cè)方向上的深度圖像； 第二步：訓(xùn)練堆疊卷積自動(dòng)編碼器網(wǎng)絡(luò)，使之能夠從訓(xùn)練點(diǎn)云的深度圖像中提取深度 圖像的特征； 第三步：訓(xùn)練配準(zhǔn)網(wǎng)絡(luò)，使之能夠利用堆疊卷積自動(dòng)編碼器網(wǎng)絡(luò)提取的兩片訓(xùn)練點(diǎn)云 的深度圖像的特征計(jì)算兩片訓(xùn)練點(diǎn)云之間的配準(zhǔn)參數(shù)； 第四步：精調(diào)堆疊卷積自動(dòng)編碼器網(wǎng)絡(luò)和配準(zhǔn)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，使之得到更好的配準(zhǔn) 效果； 第五步：利用訓(xùn)練好的堆疊卷積自動(dòng)編碼器網(wǎng)絡(luò)和配準(zhǔn)網(wǎng)絡(luò)，計(jì)算兩片測(cè)試點(diǎn)云之間 的配準(zhǔn)參數(shù)。2. 根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的點(diǎn)云配準(zhǔn)方法，其特征在于，所述的堆疊卷積 自動(dòng)編碼器網(wǎng)絡(luò)是一種深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；它由卷積自動(dòng)編碼器堆疊而成，即將上 一層卷積自動(dòng)編碼器的隱含層作為下一層卷積自動(dòng)編碼器的輸入;卷積自動(dòng)編碼器，是一 種采用卷積核的自動(dòng)編碼器，利用不同的卷積核進(jìn)行卷積操作提取深度圖像的不同特征； 本發(fā)明在實(shí)現(xiàn)堆疊卷積自動(dòng)編碼器網(wǎng)絡(luò)的過程中對(duì)隱層編碼施加稀疏限制，使得其對(duì)輸入 的編碼更具表現(xiàn)力。3. 根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的點(diǎn)云配準(zhǔn)方法，其特征在于，所述的配準(zhǔn)網(wǎng)絡(luò) 是多層全連接的神經(jīng)網(wǎng)絡(luò);配準(zhǔn)網(wǎng)絡(luò)的輸入是堆疊卷積自動(dòng)編碼器網(wǎng)絡(luò)提取的兩片點(diǎn)云的 深度圖像的特征，輸出是兩片點(diǎn)云之間的配準(zhǔn)參數(shù)。4. 根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的點(diǎn)云配準(zhǔn)方法，其特征在于，所述的訓(xùn)練是指 優(yōu)化堆疊卷積自動(dòng)編碼器網(wǎng)絡(luò)或配準(zhǔn)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，使之能夠從訓(xùn)練點(diǎn)云的深度圖像中 提取深度圖像的特征或計(jì)算兩片訓(xùn)練點(diǎn)云之間的配準(zhǔn)參數(shù)。5. 根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的點(diǎn)云配準(zhǔn)方法，其特征在于，所述的精調(diào)是指 同時(shí)優(yōu)化堆疊卷積自動(dòng)編碼器網(wǎng)絡(luò)和配準(zhǔn)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，使之得到更好的配準(zhǔn)效果。6. 根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的點(diǎn)云配準(zhǔn)方法，其特征在于，所述的配準(zhǔn)參數(shù) 是指對(duì)點(diǎn)云進(jìn)行配準(zhǔn)所用到的參數(shù);包括但不限于在空間某方向上的旋轉(zhuǎn)角度和在空間某 方向上的平移距離。7. 根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的點(diǎn)云配準(zhǔn)方法，其特征在于，利用堆疊卷積自 動(dòng)編碼器網(wǎng)絡(luò)提取點(diǎn)云的特征，并利用配準(zhǔn)網(wǎng)絡(luò)從提取到的特征中計(jì)算出點(diǎn)云配準(zhǔn)的參 數(shù)。
【文檔編號(hào)】G06T7/00GK106097334SQ201610404412
【公開日】2016年11月9日
【申請(qǐng)日】2016年6月8日
【發(fā)明人】舒程珣, 何云濤
【申請(qǐng)人】北京航空航天大學(xué)