本發(fā)明涉及三維建模，尤其涉及傾斜攝影與三維激光點云融合的建筑物模型構建方法。

背景技術：

1、在常規(guī)方法中，無人機攝影與三維激光掃描儀是分開處理數(shù)據的，例如無人機單獨進行傾斜攝影測量+后期處理軟件建模；三維激光掃描儀單獨進行掃描建筑物+后期點云拼接建模。

2、傾斜攝影能夠從多個角度獲取建筑物的影像信息，具有較高的分辨率和豐富的紋理信息。通過搭載在飛行器上的多鏡頭相機，可以快速獲取大面積區(qū)域的影像數(shù)據，成本相對較低且操作較為靈活。它可以直觀地反映建筑物的外觀、顏色等特征，為構建真實感強的三維模型提供了基礎的紋理素材。

3、三維激光掃描技術則能夠精確獲取建筑物的三維空間坐標信息，點云數(shù)據具有高精度的三維幾何信息?？梢詼蚀_地描述建筑物的形狀、結構以及空間位置關系，對于建筑物的輪廓、高度以及復雜結構的細節(jié)捕捉能力強。無論是規(guī)則形狀還是異形建筑，都能獲取到詳細準確的數(shù)據，彌補了傳統(tǒng)測量方法在獲取三維信息方面的不足。

4、但是，傾斜攝影雖然能提供豐富紋理，但在獲取建筑物的精確三維結構和深度信息方面存在一定局限性，并且受光照、遮擋等因素影響較大。例如在建筑物密集區(qū)域，可能會因為相互遮擋導致部分區(qū)域紋理缺失或不準確。三維激光點云雖然幾何精度高，但缺乏直觀的紋理和顏色信息，生成的模型在視覺效果上較為單一。僅依靠點云構建的模型在真實感呈現(xiàn)上有所欠缺，不利于直觀展示和應用。

5、在復雜的城市規(guī)劃等方面，需要更高精度和還原度更高的方式進行建筑物模型的構建。例如，在城市規(guī)劃領域，需要高精度、真實感強的建筑物模型來進行空間分析、規(guī)劃設計等工作。傾斜攝影和三維激光點云融合可以為城市規(guī)劃師提供更準確的建筑物信息，如建筑物高度、面積、間距等，有助于合理規(guī)劃城市布局、基礎設施建設等。在建筑遺產保護方面，融合模型能夠精確記錄建筑物的現(xiàn)狀，為后續(xù)的修復、保護以及研究提供可靠的數(shù)據支持，既保留建筑的外觀紋理特征，又精準呈現(xiàn)其結構信息。在房地產開發(fā)中，可用于展示樓盤的真實效果、周邊環(huán)境等，幫助購房者更直觀地了解房產信息，同時也為開發(fā)商進行項目規(guī)劃和設計優(yōu)化提供依據。

6、因此，亟需一種將兩者數(shù)據進行融合的方式構建建筑物模型，現(xiàn)有技術中存在將兩者數(shù)據進行融合處理的方式，但是現(xiàn)有配準算法在復雜場景下，兩種數(shù)據的融合精度有待提高；且傳統(tǒng)的將傾斜攝影的紋理信息準確地映射到三維激光點云構建的模型上的方法中，易出現(xiàn)模型扭曲、變形或缺失的問題，影響模型的可視化效果。

7、為了解決上述問題，本發(fā)明提出傾斜攝影與三維激光點云融合的建筑物模型構建方法。

技術實現(xiàn)思路

1、本發(fā)明的目的在于提出傾斜攝影與三維激光點云融合的建筑物模型構建方法，可以有效解決背景技術中的問題。

2、為了實現(xiàn)上述目的，本發(fā)明采用了如下技術方案：

3、傾斜攝影與三維激光點云融合的建筑物模型構建方法，包括如下步驟：

4、s1：使用無人機進行傾斜攝影，獲取建筑物的多角度傾斜影像數(shù)據，還使用三維激光掃描儀獲取建筑物的三維激光點云數(shù)據；

5、s2：對采集的傾斜影像數(shù)據和三維激光點云數(shù)據進行預處理；

6、s3：利用改進對抗生成網絡自動學習傾斜影像和三維激光點云之間的特征對應關系，并基于多階段分層特征融合的方式，將傾斜影像的紋理特征、顏色特征和三維激光點云的幾何特征，按照低分辨率到高分辨率的方式進行特征融合；

7、s4：基于語義分割技術，對傾斜影像和點云數(shù)據進行語義標注，區(qū)分建筑物的不同部分，同時結合實例分割技術，識別建筑物中的重復結構，實現(xiàn)快速建模和參數(shù)化調整；

8、s5：采用模型簡化和壓縮技術對構建的建筑物模型進行簡化處理，生成最終構建的建筑物模型。

9、優(yōu)選地，所述s1中，使用不同類型的無人機搭載傾斜攝影相機，從若干高度和角度進行拍攝；同時使用若干臺三維激光掃描儀，從不同位置對建筑物進行掃描；并在特定時間段內，對正在施工或有動態(tài)變化的建筑物進行數(shù)據的連續(xù)采集。

10、優(yōu)選地，所述傾斜攝影相機在拍攝過程中，設置航向重疊度為75~80%，旁向重疊度為70~75%，且對于預劃分的重點區(qū)域和遮擋區(qū)域進行近景攝影補拍。

11、優(yōu)選地，所述s2中，對采集的傾斜影像數(shù)據進行輻射校正、幾何校正、影像配準和影像增強處理；對采集的三維激光點云數(shù)據進行點云去噪、點云濾波、點云配準和點云簡化處理。

12、優(yōu)選地，所述s3中，基于改進對抗生成網絡自動學習傾斜影像和三維激光點云之間的特征對應關系，所述改進對抗生成網絡的生成網絡包括影像特征提取支路、點云特征提取支路與特征融合支路，分別通過影像transformer模塊、點云transformer模塊結合cnn模塊實現(xiàn)傾斜影像信息和三維激光點云信息的提取，并進行進一步的融合；

13、所述影像特征提取支路由2個卷積塊、4個影像transformer塊組成；所述點云特征提取支路由2個卷積塊、4個點云transformer塊組成；所述特征融合支路由4個卷積塊與1個圖像重建模塊組成；

14、所述卷積塊均由1個卷積層、1個批量歸一化層與激活函數(shù)構成；所述卷積層中卷積核的大小設置為3*3，步長為1，卷積個數(shù)為128；

15、所述影像transformer塊將輸入的影像特征圖切成若干個小塊；然后進行線性操作，得到形狀統(tǒng)一的特征向量；再將特征向量輸入swin?transformer模塊中，特征向量輸入swin?transformer模塊中，首先經過層歸一化計算處理，再輸入到混合注意力機制中；

16、所述混合注意力機制包括通道注意力機制和空間注意力機制；

17、所述通道注意力機制對輸入的特征數(shù)據進行全局平均池化和最大池化操作，分別得到描述特征和，這兩個特征經過共享多層感知機進行特征相加操作，并通過sigmoid函數(shù)進行處理；得到；最后，將通道權重系數(shù)與輸入的特征數(shù)據進行相乘，得到通道注意力特征數(shù)據；其中，為激活函數(shù)；為共享多層感知機；

18、所述空間注意力模塊再對輸入的特征數(shù)據進行平均池化和最大池化操作，分別得到描述特征和，將這兩個特征進行橫向拼接聚合，傳入大小為7*7的卷積核進行操作；得到；最后，通過空間權重系數(shù)與輸入的特征數(shù)據進行相乘，得到混合注意力特征數(shù)據；經swin?transformer模塊進行特征映射后，再將輸出的特征向量的形狀變?yōu)榕c最初輸入的特征數(shù)據相同的影像特征數(shù)據和三維激光點云特征數(shù)據，即影像transformer塊和點云transformer塊的輸出特征數(shù)據；

19、判別網絡搭建遞歸判別網絡，對生成網絡的輸出進行判別，所述遞歸判別網絡融合多階段注意力機制進行綜合判別，具體如下：第個階段具體如下：其中，為第個權重矩陣；為第個注意力模塊的輸入；為第個注意力模塊的輸出；為第個卷積核；為連接符；為改進對抗生成網絡的輸出；

20、遞歸判別網絡中每個階段的判別器由5個卷積成，卷積塊的卷積核的大小設置為3*3，步長為1；判別塊由全連接塊與1個判別塊組層與激活函數(shù)組成；

21、還將改進對抗生成網絡的目標結構作為輸入送入遞歸判別網絡中，計算二者偏差，結合損失函數(shù)一起將偏差返回到生成網絡各層中，不斷優(yōu)化網絡參數(shù)，最終生成高質量融合特征；

22、所述損失函數(shù)根據生成網絡與判別網絡的性能動態(tài)調整活動。

23、優(yōu)選地，所述s3中，預劃分不同區(qū)間的分辨率上下限，結合上述多階段注意力機制的多階段方式，將傾斜影像的紋理特征和點云的幾何特征，按照低分辨率到高分辨率的方式進行多階段分層特征融合。

24、優(yōu)選地，所述s4還結合所述多階段注意力機制的多階段方式，對動態(tài)變化的建筑物進行分階段跟蹤和模擬。

25、優(yōu)選地，s4中所述語義分割技術基于自適應knn近鄰算法搜索三維點云中每個點的近鄰點，每個點與其近鄰點組成一個局部的自適應參考點集，再結合幾何約束的方式，用最小二乘法擬合出一個微切平面，同時基于梯度下降算法對微切平面進行優(yōu)化，再將自適應參考點集投影到優(yōu)化后的微切平面內，判斷投影后的每個點與其近鄰點所對應連線的最大夾角，以此識別建筑物點云邊界特征。

26、優(yōu)選地，所述s5中，還利用實時渲染技術實現(xiàn)建筑物模型的在線瀏覽和交互。

27、與現(xiàn)有技術相比，本發(fā)明提供了傾斜攝影與三維激光點云融合的建筑物模型構建方法，具備以下有益效果：

28、本發(fā)明通過設置高重疊度的攝影數(shù)據采集方式，保證建筑物信息的完整度；基于改進對抗生成網絡將傾斜攝影數(shù)據與三維激光點云數(shù)據進行特征對應，提升融合數(shù)據的精度，并基于分層、分階段的方式，將傾斜影像數(shù)據與三維激光點云數(shù)據進行特征融合，彌補傾斜攝影在獲取深度信息方面的不足，同時使模型具有準確的形狀和真實的外觀，提升可視化效果；通過傾斜攝影與三維激光點云融合的方式構建建筑物模型可以在一定程度上降低后期處理的工作量。