本發(fā)明屬于三維成像，具體為一種基于深度學習的單幀實時三維成像方法。

背景技術(shù)：

1、人類所處是一個三維空間，眼睛是感知世界的窗口，但僅能進行定性的判斷，無法實現(xiàn)定量分析。因此，三維成像與傳感系統(tǒng)應(yīng)運而生，通過重建物體的三維形貌，幫助人們更好地理解物體并進行量化分析。結(jié)構(gòu)光投影輪廓術(shù)（structured?light?profilometry,slp）已成為一種重要的光學三維成像和測量技術(shù)，它將待測物體的三維形貌信息存儲在條紋圖案的相位中，通過解碼相位恢復三維信息，具有非接觸、易于集成、高精度等優(yōu)勢，廣泛應(yīng)用于在工業(yè)檢測、航空航天、生物醫(yī)學等領(lǐng)域得。

2、隨著光電技術(shù)的發(fā)展，三維形貌測量的研究逐漸從靜態(tài)、緩變場景擴展到復雜、高速運動等更加靈活的場景，對結(jié)構(gòu)光投影三維成像技術(shù)提出了更高的要求。如何在復雜、高速運動場景中快速、準確、無歧義地獲取三維形貌信息，成為一個亟待解決的問題。slp?測量速度的主要限制因素之一是每次三維重建所需的圖案數(shù)量，需要減少編碼冗余以提高速度。

3、近年來，人工智能與深度學習技術(shù)飛速發(fā)展為光學成像技術(shù)打開了一扇新的大門。與傳統(tǒng)的基于物理模型驅(qū)動的成像方法不同，深度學習是一種強大的數(shù)據(jù)驅(qū)動的機器學習技術(shù)，通過深度神經(jīng)網(wǎng)絡(luò)實現(xiàn)多層次的功能學習，并在數(shù)據(jù)豐富的應(yīng)用中取得了顯著成功。借助其卓越的非線性擬合能力，深度學習可以解決許多傳統(tǒng)光學成像難以應(yīng)對的復雜問題。隨著人工智能理論與技術(shù)的進步、計算硬件水平的提高，以及光學信息處理技術(shù)的發(fā)展，深度學習逐漸滲透到光學三維測量領(lǐng)域，并展現(xiàn)出巨大的應(yīng)用潛力，具體到結(jié)構(gòu)光三維成像領(lǐng)域，深度學習利用單幀條紋圖案進行相位分析、條紋去噪、相位展開和三維重構(gòu)等，展現(xiàn)了單幀測量的潛力。然而，到目前為止，這些現(xiàn)有的單幀深度學習方法大多處于離線狀態(tài)或僅粗略地展示了初步的可行性。它們都沒有表現(xiàn)出對具有復雜和反射表面或動態(tài)場景的樣品實現(xiàn)實時、高精度、魯棒成像的能力，也沒有在工業(yè)缺陷檢測和人機交互等光學計量領(lǐng)域展現(xiàn)出全面的實際應(yīng)用潛力。

技術(shù)實現(xiàn)思路

1、本發(fā)明目的在于提供一種基于深度學習的單幀實時三維成像方法。

2、實現(xiàn)本發(fā)明目的的技術(shù)方案為：?一種基于深度學習的單幀實時三維成像方法，包括：

3、步驟1，構(gòu)建基于物理模型的輕量級相位恢復網(wǎng)絡(luò)模型；

4、步驟2，搭建多視覺結(jié)構(gòu)光條紋投影系統(tǒng)，并完成多視覺結(jié)構(gòu)光條紋投影系統(tǒng)標定；

5、步驟3，構(gòu)建訓練數(shù)據(jù)集，完成輕量級相位恢復網(wǎng)絡(luò)模型的訓練；

6、步驟4，利用tensorrt對訓練好的輕量級相位恢復網(wǎng)絡(luò)模型進行部署，完成深度學習網(wǎng)絡(luò)工程化遷移；

7、步驟5，利用多視覺結(jié)構(gòu)光條紋投影系統(tǒng)采集多視角下的光柵條紋圖像，利用部署的輕量級相位恢復網(wǎng)絡(luò)模型預(yù)測相位信息；

8、步驟6，通過多視角幾何約束和立體相位匹配算法，將不同視角在同一時刻下預(yù)測的包裹相位展開為絕對相位；

9、步驟7，根據(jù)系統(tǒng)標定參數(shù)獲取三維數(shù)據(jù)，結(jié)合彩色圖像獲取的rgb信息進行數(shù)據(jù)渲染，得到具體彩色紋理的三維數(shù)據(jù)，并實現(xiàn)實時三維顯示。

10、優(yōu)選地，所述基于物理模型的輕量級相位恢復網(wǎng)絡(luò)模型采用編碼器-解碼器結(jié)構(gòu)，編碼器部分包括依次連接的兩個卷積塊、6個stdc模塊以及卷積層，原始輸入圖像經(jīng)過兩個卷積塊，分別進行2倍的下采樣，提取淺層外觀特征信息；然后，由6個stdc模塊進行快速降采樣，獲取不同尺度特征信息；最后，由卷積層輸出編碼器預(yù)測的特征圖；

11、解碼器部分使用注意力細化模塊對編碼器中最后兩個stdc模塊的輸出進行細化處理，通過特征融合模塊將細化后的結(jié)果與編碼器的輸出特征進行融合，并對融合后的結(jié)果進行上采樣，獲得輸出。

12、優(yōu)選地，每一個卷積塊包括一個卷積層、歸一化函數(shù)和線性整流單元，其中塊的卷積核大小為3，位移為2；每個stdc模塊按順序包含1個1×1卷積塊和3個3×3卷積塊；每次卷積操作后得到的特征圖連接利用跳躍連接結(jié)構(gòu)作為stdc模塊的輸出。

13、優(yōu)選地，搭建的多視覺結(jié)構(gòu)光條紋投影系統(tǒng)包括主相機1、輔相機2、輔相機4、彩色相機3和1個dlp投影儀，主相機1與投影儀保持設(shè)定距離，輔相機2位于主相機1和投影儀之間且靠近投影儀；輔相機4與主相機1相對于投影儀對稱放置，彩色相機3與輔相機2對稱放置于投影儀兩側(cè)。

14、優(yōu)選地，利用多視覺結(jié)構(gòu)光條紋投影系統(tǒng)構(gòu)建相位恢復網(wǎng)絡(luò)所需的訓練數(shù)據(jù)集的具體方法為：

15、生成一系列正弦條紋圖案用于投影，并通過數(shù)字投影儀將正弦條紋圖案投射到目標物體上；

16、利用主相機1、輔相機2、輔相機4采集目標表面調(diào)制后變形的條紋圖像；

17、使用調(diào)制度函數(shù)定義一個二進制掩碼，對原始條紋圖像進行陰影噪聲檢測與濾波，去除條紋圖像中的背景噪聲；

18、通過最小二乘法從去除背景噪聲后的條紋圖像中提取得到包裹相位；

19、將去除背景后的條紋圖像為網(wǎng)絡(luò)輸入，包裹相位反正切函數(shù)的分子項和分母項為網(wǎng)絡(luò)的輸出。

20、優(yōu)選地，利用部署的輕量級相位恢復網(wǎng)絡(luò)模型預(yù)測相位信息的具體方法為：

21、

22、式中，表示第i個單色相機采集的圖像對應(yīng)預(yù)測的包裹相位，、示第i個單色相機采集的圖像對應(yīng)預(yù)測的包裹相位反正切函數(shù)的分子項和分母項。

23、優(yōu)選地，通過多視角幾何約束和立體相位匹配算法，將不同視角在同一時刻下預(yù)測的包裹相位展開為絕對相位的具體方法為：

24、對于主相機1采集的圖像中的每個點都有種可能的條紋級數(shù)k，即絕對相位的種可能性，對應(yīng)個三維候選點；

25、建立絕對相位與投影儀橫坐標的線性映射關(guān)系：

26、

27、其中，是投影儀的橫向分辨率，表示條紋周期的總數(shù)；

28、根據(jù)多視覺結(jié)構(gòu)光條紋投影系統(tǒng)預(yù)設(shè)深度測量范圍以及線性映射關(guān)系，將深度測量范圍外的三維候選點排除，三維候選點的數(shù)量由個減少到個；

29、將個三維候選點投影到輔相機2中得到對應(yīng)的二維候選點，計算出每一個二維候選點各自對應(yīng)的包裹相位，并對這些包裹相位進行相似性檢驗，為相位差異，將二維候選點以及三維候選點的數(shù)量從降到個；

30、將個三維候選點利用極線映射投影到輔相機4上得到個二維候選點，對個二維候選點進行相位相似性檢驗，為相位差異，將三維候選點的數(shù)量進一步降低到；

31、根據(jù)兩次相位相似性檢驗所得到的相位差異，計算權(quán)重相位差異之和：

32、

33、其中為相位差異權(quán)重之和，?,對應(yīng)于兩次相位相似性檢驗的相位差異,的權(quán)重因子；選取最小的候選點為正確的對應(yīng)點，確定唯一的條紋級次，將深度學習預(yù)測的包裹相位進行相位展開，得到絕對相位：

34、

35、其中，為主相機1視角下獲取的絕對相位，為主相機1捕獲的圖像對應(yīng)的包裹相位，為條紋級次。

36、優(yōu)選地，相位相似性檢驗的具體方法為：

37、計算主相機1中點的包裹相位與輔相機2中第個候選點的包裹相位之間的相位差；

38、

39、判斷相位差是否滿足，將不滿足不等式的二維候選點排除，

40、其中表示主相機1中點的包裹相位與輔相機2中第個候選點的包裹相位之間的相位差。

41、優(yōu)選地，利用極線映射，將主相機1視角下的三維點映射到輔相機4中得到主相機1在輔相機4中的整像素匹配點，通過插值運算找到細化后的亞像素匹配點；

42、根據(jù)系統(tǒng)標定參數(shù)還原出主相機1視角下的被測物體三維重構(gòu)，獲得三維數(shù)據(jù)；

43、根據(jù)得到的三維數(shù)據(jù)求解主相機1在彩色相機3上的對應(yīng)點，獲取對應(yīng)點的（r,?g,b）彩色紋理信息，完成三維數(shù)據(jù)的真彩色顯示。

44、優(yōu)選地，根據(jù)系統(tǒng)標定參數(shù)還原出主相機1視角下的被測物體三維點云，具體公式為：

45、

46、

47、其中，為步驟2中計算的標定系數(shù)矩陣；

48、根據(jù)得到的三維數(shù)據(jù)求解主相機1在彩色相機3上的對應(yīng)點，獲取對應(yīng)點的（r,?g,b）彩色紋理信息，完成三維數(shù)據(jù)的真彩色顯示。

49、本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點在于：（1）設(shè)計了一個深度學習結(jié)構(gòu)光三維成像綜合框架（dl-sl3d）,?克服了傳統(tǒng)結(jié)構(gòu)光三維成像需要多次拍攝和耗費大量計算資源的局限性，并驗證了從單次結(jié)構(gòu)光投影中實現(xiàn)實時、無偽影的三維重建的可行性，從而更適用于實時應(yīng)用場景。（2）提出了基于物理模型的輕量級相位恢復網(wǎng)絡(luò)（lpr-net），具備低計算復雜度和對高表面反射特性具有魯棒性的能力，從而實現(xiàn)了單幀的高效相位檢索。（3）提供了詳細的深度學習模型部署方案和系統(tǒng)實現(xiàn)，可以即時顯示重建的高密度三維點云數(shù)據(jù)。相比現(xiàn)有結(jié)構(gòu)光成像系統(tǒng)，該系統(tǒng)通過單次拍攝實現(xiàn)了實時、高精度的三維成像，且完全不受運動影響。

50、下面結(jié)合附圖對本發(fā)明作進一步詳細描述。