本發(fā)明屬于計(jì)算機(jī)視覺目標(biāo)跟蹤，具體涉及一種基于模態(tài)感知特征學(xué)習(xí)的rgbt目標(biāo)跟蹤方法。

背景技術(shù)：

1、可見光傳感器的應(yīng)用十分廣泛，但其在弱光環(huán)境和惡劣天氣下受到諸多限制，導(dǎo)致圖像質(zhì)量和可視距離下降，無(wú)法滿足全天候應(yīng)用需求。為此，研究人員采用多模態(tài)光電傳感器融合的策略，將可見光傳感器與熱紅外傳感器相結(jié)合，以獲取更加全面的信息。熱紅外傳感器可通過(guò)探測(cè)物體所發(fā)出的紅外輻射，獲取其熱能，從而提供可見光傳感器難以捕獲的信息。多模態(tài)信息融合將實(shí)現(xiàn)兩種信息互補(bǔ)，構(gòu)建更為魯棒的特征表示，提高深度模型性能，以應(yīng)對(duì)更加復(fù)雜的應(yīng)用場(chǎng)景。

2、rgbt目標(biāo)跟蹤任務(wù)的主要目標(biāo)是利用可見光和熱光譜的互補(bǔ)特征構(gòu)建魯棒的全天候跟蹤器，并應(yīng)用于軍事行動(dòng)、野外搜救、安防巡檢、輔助駕駛、人群密度估計(jì)等眾多領(lǐng)域。在rgbt目標(biāo)跟蹤任務(wù)中，根據(jù)初始幀中人為給定的標(biāo)簽，持續(xù)預(yù)測(cè)后續(xù)幀中的目標(biāo)位置信息。目前，已經(jīng)有多種跟蹤方法利用可見光和熱光譜的互補(bǔ)特性取得了較好的性能，但在從異構(gòu)模態(tài)中提取有利于實(shí)例表征的判別性特征以及精確估計(jì)目標(biāo)邊界框并解決尺度變化、遮擋等跟蹤挑戰(zhàn)等方面仍需進(jìn)一步研究。

3、當(dāng)前有兩種主流的研究思路：一種是探索多層特征的提取，構(gòu)建可靠的特征表達(dá)來(lái)提高跟蹤精度；另一種是研究模態(tài)融合權(quán)重的分配，實(shí)現(xiàn)特征的自適應(yīng)選擇。然而，在面對(duì)具有挑戰(zhàn)性的場(chǎng)景，如目標(biāo)遮擋、外觀變化和尺度變化等情況下，現(xiàn)有跟蹤方法的性能可能會(huì)下降。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決的問(wèn)題是：現(xiàn)有rgbt目標(biāo)跟蹤方案在復(fù)雜場(chǎng)景，如目標(biāo)遮擋、外觀變化和尺度變化等情況下，性能下降，不能滿足使用需求。本發(fā)明通過(guò)引入模態(tài)感知特征學(xué)習(xí)的方法，提升rgbt目標(biāo)跟蹤器的穩(wěn)定性和性能表現(xiàn)。

2、本發(fā)明的技術(shù)方案為：一種基于模態(tài)感知特征學(xué)習(xí)的rgbt目標(biāo)跟蹤方法，構(gòu)建目標(biāo)跟蹤模型用于rgbt目標(biāo)跟蹤任務(wù)，包括以下步驟：

3、步驟s1：構(gòu)建目標(biāo)跟蹤數(shù)據(jù)集，采集rgbt跟蹤視頻序列用于模型訓(xùn)練和測(cè)試；

4、步驟s2：構(gòu)建目標(biāo)跟蹤模型，包括特征提取模塊、模態(tài)感知模塊、transformer融合模塊、三分支預(yù)測(cè)頭以及模板更新模塊，具體如下：

5、步驟s2.1：對(duì)經(jīng)過(guò)預(yù)處理配準(zhǔn)的可見光和熱紅外圖像分別獲得目標(biāo)模板和搜索區(qū)域的圖像，作為目標(biāo)跟蹤模型的輸入；

6、步驟s2.2：特征提取模塊為雙通道特征提取模塊，分別提取可見光和熱紅外圖像的目標(biāo)模板和搜索區(qū)域特征，共4組特征；

7、步驟s2.3：模態(tài)感知模塊對(duì)步驟s2.2所提取的特征，先采用通道特征聚合與分發(fā)機(jī)制，利用注意力機(jī)制分別進(jìn)行可見光和熱紅外的多模態(tài)魯棒特征學(xué)習(xí)，實(shí)現(xiàn)目標(biāo)模板和搜索區(qū)域的特征增強(qiáng)，由不同模態(tài)下目標(biāo)模板的增強(qiáng)特征疊加得到模板融合特征，然后進(jìn)行空間特征相似度感知，對(duì)經(jīng)由注意力機(jī)制所生成的不同模態(tài)的通道增強(qiáng)特征，采用空間特征相似度計(jì)算，進(jìn)行特征篩選，增強(qiáng)搜索區(qū)域不同模態(tài)的特征，疊加后得到搜索區(qū)域融合特征；

8、步驟s2.4：對(duì)模板融合特征和搜索區(qū)域融合特征進(jìn)行特征扁平化操作，采用1×1卷積將特征轉(zhuǎn)換成向量；

9、步驟s2.5：由transformer融合模塊對(duì)扁平化后的特征向量計(jì)算目標(biāo)模板特征和搜索區(qū)域特征之間的相關(guān)性，得到融合向量；

10、步驟s2.6：融合向量經(jīng)三分支預(yù)測(cè)頭得到預(yù)測(cè)結(jié)果，三分支預(yù)測(cè)頭由三個(gè)分支組成，分別是分類、定位和回歸分支，通過(guò)約束損失實(shí)現(xiàn)三分支相互關(guān)聯(lián)，依據(jù)置信度得分排序，輸出目標(biāo)跟蹤結(jié)果；

11、步驟s2.7：根據(jù)步驟s2.6的預(yù)測(cè)結(jié)果，模板更新模塊依據(jù)置信度得分對(duì)目標(biāo)模板狀態(tài)進(jìn)行分類，根據(jù)更新策略選擇是否更新目標(biāo)模板，實(shí)現(xiàn)目標(biāo)模板的自適應(yīng)更新，保持目標(biāo)模板的可靠性；

12、步驟s3：離線訓(xùn)練，使用adamw優(yōu)化器訓(xùn)練模型直至損失收斂，獲取訓(xùn)練好的模型參數(shù)，其中模板更新模塊不需要訓(xùn)練；

13、步驟s4：在線跟蹤：

14、步驟s4.1：獲取視頻序列第一幀的標(biāo)簽作為初始跟蹤目標(biāo)，通過(guò)目標(biāo)跟蹤模型輸出預(yù)測(cè)值，然后選取置信度得分最高的區(qū)域，獲取初步的跟蹤結(jié)果；

15、步驟s4.2：根據(jù)結(jié)果的置信度得分判斷當(dāng)前目標(biāo)模板狀態(tài)，依據(jù)更新策略和當(dāng)前狀態(tài)，選擇是否更新模板或是重置模板；

16、步驟s4.3：重復(fù)步驟s4.1-s4.2，逐步計(jì)算每一幀目標(biāo)跟蹤結(jié)果，自適應(yīng)更新模板保持目標(biāo)模板的可靠性，完成整體rgbt序列的目標(biāo)跟蹤任務(wù)。

17、進(jìn)一步的，步驟s2.3中，用通道聚合與分發(fā)機(jī)制實(shí)現(xiàn)通道特征增強(qiáng)，具體如下：

18、dg＝fg(gap(fr+ft))???(1)

19、

20、上式中，表示一對(duì)從步驟s2.2中獲取的rgbt目標(biāo)模板特征，公式(1)中g(shù)ap表示全局平均池化操作，fg表示全連接層，dg表示全局池化的向量特征，在通道特征聚合階段，將可見光特征fr與熱紅外特征ft相加，然后通過(guò)全局平均池化操作，最后經(jīng)過(guò)全連接層輸出通道注意力權(quán)重；在通道特征分發(fā)階段，公式(2)中fi表示一個(gè)雙分支全連接層分發(fā)特征，r表示可見光模態(tài)，t表示熱紅外模態(tài)，σ表示sigmoid函數(shù)，最后將權(quán)重與原始特征fiz相乘生成增強(qiáng)的特征以表示一對(duì)從步驟s2.2中獲取的rgbt搜索區(qū)域特征，同理由得到

21、進(jìn)一步的，s2.3中，空間特征相似度感知采用空間相似度計(jì)算機(jī)制，通過(guò)相似性學(xué)習(xí)來(lái)產(chǎn)生感知實(shí)例的殘差，具體如下：

22、

23、

24、

25、上式中，si表示相似性特征圖，fconv表示卷積操作，up表示雙線性插值上采樣，表示增強(qiáng)特征，*表示卷積運(yùn)算，σ表示sigmoid函數(shù)，公式(4)表示最終的模板融合特征由熱紅外和可見光增強(qiáng)特征相加獲得，公式(5)表示最終的搜索區(qū)域融合特征由可見光和熱紅外兩種模態(tài)特征與所對(duì)應(yīng)的相似性圖si分別相乘生成殘差圖，然后與對(duì)應(yīng)的熱紅外和可見光增強(qiáng)特征相加獲得。

26、作為本發(fā)明的進(jìn)一步改進(jìn)，步驟s2.6中，通過(guò)約束損失實(shí)現(xiàn)三分支相互關(guān)聯(lián)，具體如下：

27、lcls＝-∑j((yjlog(pj)iou+(1-yj)log(1-pj)))???(6)

28、

29、

30、loss＝n1lcls+n2lreg+n3lloc???(9)

31、上式中，lcls表示分類損失，采用基于iou加權(quán)二元交叉熵?fù)p失構(gòu)建，yj表示第j個(gè)樣本的標(biāo)號(hào)，yj＝1表示正樣本，pj表示屬于前景的概率，iou表示預(yù)測(cè)值與真實(shí)值的交集；lreg表示回歸損失，包括l1范數(shù)損失和lciou損失兩部分，bj表示第j個(gè)邊界框，pj表示正樣本對(duì)應(yīng)的分類置信度，λ1和λc均表示正則化參數(shù)；lloc表示定位損失，oj為回歸分支計(jì)算的iou得分，表示定位分支的預(yù)測(cè)值；loss表示總體損失，由上述三項(xiàng)損失函數(shù)加權(quán)求和所得，其中n1、n2和n3表示超參數(shù)。

32、作為本發(fā)明的進(jìn)一步改進(jìn)，步驟s4.2中更新策略為：根據(jù)三分支預(yù)測(cè)頭輸出的置信度得分，將目標(biāo)跟蹤狀態(tài)分為穩(wěn)態(tài)、暫穩(wěn)態(tài)和非穩(wěn)態(tài)，穩(wěn)態(tài)定義為m個(gè)連續(xù)幀的置信度評(píng)分大于0.9的狀態(tài)，一旦達(dá)到穩(wěn)定狀態(tài)，將當(dāng)前目標(biāo)模板更新取代初始目標(biāo)模板；如果置信度分?jǐn)?shù)在0.7～0.9之間，則認(rèn)為跟蹤器處于暫穩(wěn)態(tài)，目標(biāo)模板在此時(shí)間段內(nèi)保持不變；如果置信度小于0.7且累計(jì)達(dá)到n次，則跟蹤器處于非穩(wěn)態(tài)，當(dāng)前目標(biāo)模板重置為第一幀的初始目標(biāo)模板。

33、本發(fā)明在多模態(tài)特征挖掘、融合和模板更新方面入手進(jìn)行改進(jìn)，從而提升rgbt跟蹤性能。本發(fā)明的有益效果是：提供了一種高性能的rgbt目標(biāo)跟蹤技術(shù)，相比現(xiàn)有技術(shù)具有如下優(yōu)勢(shì)。

34、(1)本發(fā)明構(gòu)建的目標(biāo)跟蹤模型中設(shè)計(jì)的模態(tài)感知模塊，結(jié)合通道特征的聚合和分發(fā)機(jī)制以及空間特征的相似性計(jì)算機(jī)制，充分挖掘多模態(tài)判別特征。

35、(2)本發(fā)明構(gòu)建的目標(biāo)跟蹤模型中的transformer融合模塊，用于融合模板與搜索區(qū)域的特征，采用混合注意力有效捕獲全局依賴關(guān)系以學(xué)習(xí)模態(tài)感知表示。

36、(3)本發(fā)明構(gòu)建的目標(biāo)跟蹤模型采用相互約束損失函數(shù)，對(duì)應(yīng)設(shè)計(jì)了三分支預(yù)測(cè)頭，提高了定位精度。

37、(4)本發(fā)明的目標(biāo)跟蹤模型提出了基于狀態(tài)感知模板更新策略以提高跟蹤性能。