一種基于深度學習的三維模型檢索方法及其檢索裝置的制造方法
【技術領域】
[0001] 本發(fā)明涉及計算機視覺、神經網絡技術和三維模型檢索領域，尤其涉及一種基于 深度學習的三維模型檢索方法及其檢索裝置。
【背景技術】
[0002] 隨著三維建模技術的日益成熟，計算機軟硬件技術和互聯(lián)網的快速發(fā)展，因特網 和專業(yè)領域數(shù)據(jù)庫中的三維模型數(shù)量呈現(xiàn)出爆破式地增長。三維模型可以攜帶比文本和圖 像更多的信息，展示形式也更為豐富真實，促使其越來越廣泛地應用于社會生產生活的各 個領域 [1]。面對當前多樣化的三維模型大數(shù)據(jù)，領域內迫切需要有效并且高效的三維模型 檢索算法，該領域相關研究已成為近年來非?；钴S的研究領域。
[0003] 三維模型檢索算法主要分為兩大類：基于模型和基于視圖。早期的工作主要集中 在基于模型的檢索方法上，包含低層次的基于特征以及高層次的基于結構。低層次的基于 特征的方法利用幾何矩 [2]、表面分布[3]、體積信息和表面幾何形狀[4]來描述三維模型。高 層次的基于結構的方法要求每個3D模型必須有明確的空間和結構信息，這限制了基于模 型方法的實際應用。相比于基于模型的方法，基于視圖的方法不強制要求虛擬的三維模型， 所以更具靈活性。另外，二維圖像的檢索已經蓬勃發(fā)展了幾十年，已經積累了豐富的技術基 礎，基于視圖的方法可以利用現(xiàn)有的技術進行有效地檢索 [5]。
[0004] 在大多數(shù)3D模型檢索算法中，使用的都是設計好的特征，比如：基于方向直方圖 的SIFT(尺度不變特征變換）、SURF(加速健壯特征），而這些特征存在局限性，比如SIFT只 能對灰度圖提取，而不能應用于RGB-D(三原色加距離）這種多模態(tài)的領域[6]。近年來，深 度學習算法在特征學習領域十分熱門，它可以通過迭代的方法，學習到魯棒性很強的特征， 用于表示不同的物體 [7]。

【發(fā)明內容】

[0005] 本發(fā)明提供了一種基于深度學習的三維模型檢索方法及其檢索裝置，本發(fā)明利用 深度學習技術，學習到的特征能夠很好地表征數(shù)據(jù)內在結構規(guī)律，提高了三維模型檢索的 準確性和魯棒性，詳見下文描述：
[0006] -種基于深度學習的三維模型檢索方法，所述三維模型檢索方法包括以下步驟：
[0007] 獲取三維模型的一組二維視圖集；訓練一組用于卷積神經網絡的濾波器模板；
[0008] 通過訓練后的濾波器模板對二維視圖集中的每一幅視圖進行卷積，形成視圖初級 特征；
[0009] 將視圖初級特征作為多個遞歸神經網絡的輸入，學習得到視圖高級特征；
[0010] 用視圖高級特征來表示視圖，計算不同三維模型的視圖間的相似度，進而計算不 同三維模型間的相似度，降序排列得到最終的檢索結果。
[0011] 其中，所述通過訓練后的濾波器模板對二維視圖集中的每一幅視圖進行卷積，形 成視圖初級特征的步驟具體為：
[0012] 對卷積后的特征進行池化降維處理，選擇特定大小的區(qū)域作為池化區(qū)域，將池化 后的卷積特征作為視圖初級特征。
[0013] 其中，所述用視圖高級特征來表示視圖，計算不同三維模型的視圖間的相似度的 步驟具體為：
[0014]
[0015] 其中，v，w是任意兩個不同三維模型的任意兩幅不同視圖；φ(·)是特征映射函數(shù)； 免(》)，：φ〇)分別是視圖V，w的特征表示；P(v,w)是視圖V，w間的相似度。
[0016] 其中，所述計算不同三維模型間的相似度的步驟具體為：
[0018] 其中，Q，Μ是兩個不同的三維模型；n，m分別是Q，Μ中的視圖數(shù)目；P(Vl，Wj)是Q 中第i幅視圖和Μ中第j幅視圖間的相似度；S(Q，M)是三維模型Q，Μ間的相似度。
[0019] 一種基于深度學習的三維模型檢索裝置，所述三維模型檢索裝置包括：
[0020] 獲取模塊，用于獲取三維模型的一組二維視圖集；
[0021] 訓練模塊，用于訓練一組用于卷積神經網絡的濾波器模板；
[0022] 卷積模塊，用于通過訓練后的濾波器模板對二維視圖集中的每一幅視圖進行卷 積，形成視圖初級特征；
[0023] 學習模塊，用于將視圖初級特征作為多個遞歸神經網絡的輸入，學習得到視圖高 級特征；
[0024] 計算模塊，用于用視圖高級特征來表示視圖，計算不同三維模型的視圖間的相似 度，進而計算不同三維模型間的相似度；
[0025] 排序模塊，用于降序排列得到最終的檢索結果。
[0026] 其中，所述卷積模塊包括：
[0027] 處理子模塊，用于對卷積后的特征進行池化降維處理；
[0028] 選擇子模塊，用于選擇特定大小的區(qū)域作為池化區(qū)域，將池化后的卷積特征作為 視圖初級特征。
[0029] 本發(fā)明提供的技術方案的有益效果是：運用SIFT描述子提取感興趣點，進而提取 感興趣塊，能夠大幅度降低物體視圖中子塊信息的冗余度，同時提高了每個感興趣塊的有 效性。本發(fā)明通過卷積神經網絡和遞歸神經網絡學習到的高級特征能夠很好地表征數(shù)據(jù)內 在結構規(guī)律，提高了三維模型檢索的準確性和魯棒性。
【附圖說明】
[0030] 圖1為基于深度學習的三維模型檢索方法的流程圖；
[0031] 圖2為ΕΤΗ(蘇黎世聯(lián)邦工業(yè)大學）數(shù)據(jù)庫中三種特征的查準-查全曲線比較示 意圖；
[0032] 圖3為ΕΤΗ數(shù)據(jù)庫中三種方法的查準-查全曲線比較示意圖；
[0033] 圖4為基于深度學習的三維模型檢索裝置的結構示意圖；
[0034] 圖5為卷積模塊的示意圖。
[0035] 附圖中，各部件所代表的部件列表如下：
[0036] 1 :獲取模塊； 2 :訓練模塊；
[0037] 3:卷積模塊； 4:學習模塊；
[0038] 5 :計算模塊； 6 :排序模塊；
[0039] 31 :處理子模塊； 32 :選擇子模塊。
【具體實施方式】
[0040] 為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚，下面對本發(fā)明實施方式作進一步 地詳細描述。
[0041] 實施例1
[0042] 本發(fā)明實施例提供了一種基于深度學習的三維模型檢索方法，參見圖1，該方法包 括以下步驟：
[0043] 101 :獲取三維模型的一組二維視圖集；訓練一組用于卷積神經網絡的濾波器模 板；
[0044] 102:通過訓練后的濾波器模板對二維視圖集中的每一幅視圖進行卷積，形成視圖 初級特征；
[0045] 103 :將視圖初級特征作為多個遞歸神經網絡的輸入，學習得到視圖高級特征；
[0046] 104:用視圖高級特征來表示視圖，計算不同三維模型的視圖間的相似度，進而計 算不同三維模型間的相似度，降序排列得到最終的檢索結果。
[0047] 綜上所述，本發(fā)明實施例通過上述步驟101-步驟104實現(xiàn)了通過卷積神經網絡和 遞歸神經網絡學習到的高級特征能夠很好地表征數(shù)據(jù)內在結構規(guī)律，提高了三維模型檢索 的準確性和魯棒性。
[0048] 實施例2
[0049] 下面結合具體的計算公式、例子對實施例1中的方案進行詳細描述，詳見下文：
[0050] 201 :獲取三維模型的一組二維視圖集；
[0051] 其中，一個三維模型的視圖集是指表示該三維模型的相應的一組二維視圖，能夠 從不同方向和位置表示該三維模型。這些二維視圖可以通過攝像機對真實的三維模型拍攝 獲得。該步驟的具體操作過程為本領域技術人員所公知，本發(fā)明實施例對此不做贅述。
[0052] 202 :訓練一組用于卷積神經網絡的濾波器模板；
[0053] 具體實現(xiàn)時，可以采用當前流行的特征點描述子獲得一幅視圖中的所有 感興趣點，不失一般性的，本發(fā)明實施例采用了應用廣泛的尺度不變特征變換M (Scale-invariantfeaturetransform，簡稱SIFT)描述子。SIFT描述子提取的SIFT特征 是圖像的局部特征，其對旋轉、尺度縮放、亮度變化保持不變性；對視角變化、仿射變換、噪 聲也保持一定程度的穩(wěn)定性。對所有的三維模型中的所有視圖提取SIFT感興趣點的操作， 建立感興趣點集。
[0054] 分別以每一個感興趣點為中心像素點，向中心像素點左、右、上、下各延伸4個像 素單位，獲得大小為9X9的感興趣塊，從而建立感興趣塊集。
[0055] 對所有的感興趣塊進行亮度和對比度的歸一化。具體操作為，對每一個感興趣塊， 減去它的平均值并除以標準差。根據(jù)公式：
[0057] 得到歸一化后的感興趣塊。其中，x(1)是歸一化后的第i個感興趣塊；是未歸 一化的第i個感興趣塊;mean代表求平均值；var代表求標準差。
[0058] 對歸一化后的感興趣塊進行白化操作，去除數(shù)據(jù)之間的相關性。不失一般性的，本 發(fā)明實施例采用ZCA(改進的主成分分析）白化[9]方法。根據(jù)公式：
[0059]cov(x(l)) =VDV1
[0060] 對感興趣塊求其協(xié)方差矩陣，并做特征值分解。其中，cov