本發(fā)明涉及深度學習和計算機視覺領域，主要涉及多尺度多模態(tài)特征的層級結構的圖像相似度匹配方法。

背景技術：

1、在圖像檢索應用中，圖像的表示向量決定了整個檢索系統的性能。因而對于圖像內容的高效描述研究具有極大挑戰(zhàn)。目前，基于內容的圖像檢索(cbir)應用廣泛，例如醫(yī)學圖像的病理檢測、網購中的同類商品信息搜索，遙感影像的目標定位、安防領域中的視頻監(jiān)控等等。隨著圖像搜索運用逐步推廣，圖像分類與檢索的精確性與時效性要求也就越來越高，如何有效描述圖像內容來實現高效的檢索是具有挑戰(zhàn)的問題。

2、近年，對圖像內容的描述研究表明，單一特征類型往往僅描述圖像的某一方面特性，而忽略圖像的其它特性，導致無法有效描述圖像庫圖像之間的內容差異，極大限制圖像分類與檢索的精確度?？梢酝ㄟ^獲取圖像多種互補特征，共同描述圖像，而圖像的底層視覺特征與語義之間普遍存在的“語義鴻溝”一直都是圖像檢索的難點。在計算機視覺領域中，深度學習對解決“語義鴻溝”有顯著成效?；诙嗵卣魅诤系膱D像檢索能夠有效克服基于單一特征類型的圖像檢索對圖像描述分辨能力不足的缺點，因而人們更多采用多種特征來共同描述圖像內容，利用互補特征表達圖像信息，能夠有效地提高檢索準確度。因此，研究者們開始關注如何將來自多領域的數據進行融合。多模態(tài)數據的融合可以為模型決策提供更多的信息，從而提高了決策總體結果的準確率，目的是建立能夠處理和關聯來自多種模態(tài)信息的模型，是典型的多學科交叉領域，并已逐步成為研究熱點。在許多實際任務中，樣本和樣本之間的關系是重要的語義信息，例如圖像中的物體之間的關系或文本中的句子之間的關系，忽略這些關系會導致模型無法學習到更復雜的模式，無法捕捉復雜的語義信息，更容易受到噪聲和干擾的影響。

技術實現思路

1、本發(fā)明是為了解決上述現有技術存在的不足之處，提出一種基于多尺度多模態(tài)特征的層級結構的圖像相似度匹配方法，以期能更好的學習圖像綜合特征，從而能提高圖像相似度學習的效果，使得圖像匹配結果具有更好的可解釋性。

2、本發(fā)明為解決技術問題，采用如下的技術方案：

3、本發(fā)明一種基于多尺度多模態(tài)特征的層級結構的圖像相似度匹配方法的特點在于，是按如下步驟進行：

4、步驟1、獲取一個含有t個不同類別樣本的圖像數據集i＝{i1,i2,…,ii,,it}，其中，ii表示第i個樣本；t表示圖像數據集中的樣本數量；

5、提取第i個樣本ii的k個不同模態(tài)的特征，得到特征維數為k的特征向量集合{fi(1),fi(2),…,fi(l),…,fi(k)}，其中，fi(l)表示第i個樣本ii的第l個模態(tài)特征；

6、步驟2、構建特征融合模型，并用于獲取第i個樣本ii的多尺度多模態(tài)特征gi：

7、步驟3、通過層級聚類方法獲得樣本間的層級結構，并構建層級相似度模型：

8、步驟3.1、利用歐式距離計算任意兩個樣本特征之間的距離并進行比較，找出距離最近的兩個樣本合并為一個簇，從而將i中所有樣本進行合并，得到樣本間的層級結構；

9、步驟3.2、將聚類得到的層級結構作為層級網絡鏈接結構元，將各個聚類中心作為關系神經元，并將首層的聚類中心視作關系向量；

10、步驟4、構建相似度方程，并用于得到第i個樣本ii和第j個樣本的相似度γij：

11、步驟5、利用式(1)構建損失函數l，并通過全局優(yōu)化的方法對特征融合模型和層級相似度模型進行訓練，并利用反向傳播算法對各個關系神經元進行迭代更新，從而得到最佳圖像相似度匹配模型；

12、

13、式(1)中，i+為圖像數據集i中擁有相同標簽的正例樣本圖像集合，i-為圖像數據集i中擁有不同標簽的負例樣本圖像集合；γij-表示與第i個樣本ii擁有不相同標簽的第j個樣本ij的相似度，γij+表示與第i個樣本ii擁有相同標簽的第j個樣本ij的相似度，θ為相似度學習中所有待訓練的參數集合，(i,j+)表示正例樣本對，(i,j-)表示負例樣本對；

14、步驟6、設定第i個樣本ii為索引樣本，利用最佳圖像相似度匹配模型對索引樣本進行檢測，相應得到與索引樣本相似度最高的圖像對，并作為最相似的圖像對結果。

15、本發(fā)明所述的一種基于多尺度多模態(tài)特征的層級結構的圖像相似度匹配方法的特點也在于，所述步驟2是按如下步驟進行：

16、步驟2.1、利用式(2)生成第i個樣本ii的初始特征向量fi1：

17、fi1＝concat(fi(1),fi(2),…,fi(l),…,fi(k))????????(2)

18、式(1)中，concat是沿著通道方向的級聯操作；

19、步驟2.2、使用不同大小的卷積核對特征向量fi1進行卷積操作，得到第i個樣本ii的j種不同尺度的特征向量{fij|j＝1,2,…,j}，其中，fij表示第i個樣本ii的第j種不同尺度的特征；

20、步驟2.3、將第i個樣本ii的j種不同尺度的特征向量{fij|j＝1,2,…,j}分別輸入j個多頭自注意力模塊mhsa中進行多模態(tài)交互，得到j個特征融合后的特征向量{fij′j＝1,2,…,j}，其中，fij′表示第i個樣本ii的第j個特征融合后的特征；

21、步驟2.4、利用式(3)和式(4)分別得到第i個樣本ii的第j個低維特征向量gij以及第j尺度多模態(tài)的特征gi′j：

22、gij＝reshape(fc(fij′))?(3)

23、gi′j＝mlp(concat(gij,fi1))?(4)

24、式(5)中，fc是全連接層，reshape是恢復特征向量長度的重塑操作；concat是沿著通道方向的級聯操作，mlp是多層感知機；

25、步驟2.5、利用式(5)得到第i個樣本ii的多尺度多模態(tài)特征gi，從而得到多尺度多模態(tài)特征集合{g1,g2,…,gi,…,gt}；

26、gi＝mlp(concat(f′i1,g′i1,…,g′ij,…,g′ij))??????(5)。

27、所述步驟4是按如下步驟進行：

28、步驟3.1定義當前層級結構為h，并初始化h＝1；

29、步驟3.2、利用式(6)計算得到第h-1層級結構中第i個樣本ii和第j個樣本ij在第t個關系向量下的相似度從而得到第i個樣本ii和第j個樣本ij在h-1層級結構的相似度

30、

31、式(5)中，gj表示第j個樣本ij的多尺度多模態(tài)特征，t表示轉置；et為第h-1層級結構中第t個關系向量，α和β分別為2個控制參數，softplus為激活函數；dh-1為第h-1層級結構中關系神經元的數目；

32、步驟3.3、利用式(7)計算第i個樣本ii和第j個樣本ij在第h層級結構的層級相似度從而得到第i個樣本ii和第j個樣本在最后一層級結構輸出的相似度記為γij；

33、

34、式(7)中，是第h層級結構中dh×dh-1維的加權矩陣，dh表示第h層級結構中關系神經元的數目，表示鏈接第h-1層級結構中的第i個神經元到第h層級結構中的第j個神經元的權重，bh是第h層級結構中的dh維偏置向量，sig為激活函數；當h＝1時，令h表示層級結構的總層數。

35、本發(fā)明一種電子設備，包括存儲器以及處理器的特點在于，所述存儲器用于存儲支持處理器執(zhí)行所述圖像相似度匹配方法的程序，所述處理器被配置為用于執(zhí)行所述存儲器中存儲的程序。

36、本發(fā)明一種計算機可讀存儲介質，計算機可讀存儲介質上存儲有計算機程序的特點在于，所述計算機程序被處理器運行時執(zhí)行所述圖像相似度匹配方法的步驟。

37、與現有技術相比，本發(fā)明的有益效果體現在：

38、1本發(fā)明充分考慮到了圖像的不同特征，比如顏色、紋理、邊緣、局部紋理特征等，能夠準確反映圖像在不同特征上的相似性，從而提高了樣本相似度學習的精確性。這種方法顯著提高了樣本相似度學習的精確性，使得在實際應用中，無論是圖像識別還是圖像檢索，都能夠獲得更加準確和可靠的結果。

39、2本發(fā)明利用了卷積神經網絡和多個多頭注意力機制來學習圖像的綜合特征表達，既能挖掘圖像綜合特征中的有效信息，又能降低了數據的維數，加快特征融合模型訓練的速度；

40、3本發(fā)明將單層相似度計算拓展到了基于語義的層級相似度計算，通過層級聚類的方法定義了樣本和樣本之間的層級關系，同時通過調節(jié)關系矩陣的秩來平衡相似度方程在表達能力和優(yōu)化參數數目之間的取舍，更加增強了算法的可解釋性，能夠更準確地理解和分類圖像數據，從而在復雜圖像檢索任務中提供更具洞察力的結果。