本發(fā)明屬于全景圖像視點(diǎn)軌跡研究，具體涉及一種基于人機(jī)同構(gòu)的全景冗余視點(diǎn)過(guò)濾方法。

背景技術(shù)：

1、冗余視點(diǎn)過(guò)濾是一項(xiàng)基于眼動(dòng)數(shù)據(jù)的計(jì)算機(jī)視覺(jué)任務(wù)。眼動(dòng)軌跡數(shù)據(jù)記錄了人類在觀看圖像的過(guò)程中關(guān)于頭部和眼球運(yùn)動(dòng)的復(fù)雜信息，從而提供了對(duì)人類視覺(jué)行為的全面理解。這些視點(diǎn)數(shù)據(jù)可以分為兩種不同的類型：注視和掃視。注視，即觀眾的目光集中在特定的區(qū)域，表示感興趣區(qū)域。掃視是在兩種注視之間的快速運(yùn)動(dòng)，表示不感興趣的區(qū)域。全景圖像冗余視點(diǎn)過(guò)濾旨在保留眼動(dòng)數(shù)據(jù)中重要的注視點(diǎn)，過(guò)濾掉無(wú)意義的掃視點(diǎn)。通過(guò)頭眼注視數(shù)據(jù)和圖像分析技術(shù)的集成，研究人員可以探索人類對(duì)圖像內(nèi)不同區(qū)域、視覺(jué)興趣點(diǎn)、視覺(jué)搜索策略等的注意力。

2、隨著虛擬現(xiàn)實(shí)技術(shù)的不斷發(fā)展，全景圖像因其能夠提供360°全景視圖的能力而成為熱門技術(shù)，但同時(shí)也給視點(diǎn)分類任務(wù)帶來(lái)了巨大的挑戰(zhàn)。傳統(tǒng)方法依賴于手動(dòng)計(jì)算視點(diǎn)數(shù)據(jù)流的低級(jí)特征，如速度和色散，然后使用預(yù)定義的閾值進(jìn)行分類。隨著深度學(xué)習(xí)的興起，人們開始采用數(shù)據(jù)驅(qū)動(dòng)的方法，通過(guò)卷積網(wǎng)絡(luò)等模型學(xué)習(xí)眼動(dòng)數(shù)據(jù)中更高級(jí)別的特征表示。

3、盡管傳統(tǒng)的視點(diǎn)分類方法被廣泛應(yīng)用，但在處理豐富的全景場(chǎng)景時(shí)存在局限性，可能會(huì)影響分類的準(zhǔn)確性和可推廣性。全景圖像與傳統(tǒng)的2d圖像不同，其具有獨(dú)特的特征，需要在用戶導(dǎo)航整個(gè)場(chǎng)景以定位感興趣區(qū)域時(shí)頻繁進(jìn)行注視和掃視之間的轉(zhuǎn)換。當(dāng)僅使用視點(diǎn)運(yùn)動(dòng)特征進(jìn)行分類，這種要求使得有效區(qū)分有意義的注視點(diǎn)和無(wú)意義的注視點(diǎn)變得復(fù)雜。

4、在人類視覺(jué)系統(tǒng)中，人類注意力的轉(zhuǎn)移主要是由物體驅(qū)動(dòng)的——注視應(yīng)該反映對(duì)物體區(qū)域的注意，而掃視應(yīng)該代表跨越非物體區(qū)域的過(guò)渡過(guò)程?，F(xiàn)有的方法忽略了場(chǎng)景中的重要語(yǔ)義信息，限制了準(zhǔn)確反映用戶關(guān)注點(diǎn)與特定位置的上下文相關(guān)性的能力。因此，需要一種更有效的方法來(lái)進(jìn)一步提高冗余視點(diǎn)過(guò)濾的準(zhǔn)確性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所為了解決背景技術(shù)中存在的技術(shù)問(wèn)題，目的在于提供了一種基于人機(jī)同構(gòu)的全景冗余視點(diǎn)過(guò)濾方法，通過(guò)漸進(jìn)式自步學(xué)習(xí)、綜合多模態(tài)信息；相較于現(xiàn)有方法，從人類視覺(jué)系統(tǒng)角度出發(fā)，專注于以物體為中心的注視序列，與全景視圖中人類的注意力轉(zhuǎn)移保持一致，從而豐富了虛擬現(xiàn)實(shí)和沉浸式技術(shù)中的用戶體驗(yàn)，在沒(méi)有人工標(biāo)注數(shù)據(jù)的情況下，構(gòu)建了一種全自動(dòng)的方式，實(shí)現(xiàn)更加細(xì)粒度的視點(diǎn)過(guò)濾。

2、為了解決技術(shù)問(wèn)題，本發(fā)明的技術(shù)方案是：

3、一種基于人機(jī)同構(gòu)的全景冗余視點(diǎn)過(guò)濾方法，所述方法包括：

4、s1：獲取多個(gè)全景圖像及對(duì)應(yīng)的用戶觀看全景場(chǎng)景的眼動(dòng)軌跡，對(duì)眼動(dòng)軌跡數(shù)據(jù)進(jìn)行預(yù)處理并劃分為訓(xùn)練集和測(cè)試集；

5、s2：利用視點(diǎn)分類算法對(duì)訓(xùn)練集中的視點(diǎn)進(jìn)行初步的分類，設(shè)置多閾值來(lái)評(píng)估樣本的可信度，并根據(jù)可信程度對(duì)訓(xùn)練樣本進(jìn)行劃分，得到初步標(biāo)注結(jié)果，包括可信的注視點(diǎn)、可信的掃視點(diǎn)、低可信的注視點(diǎn)和低可信的掃視點(diǎn)；

6、s3：構(gòu)建視點(diǎn)分類模型，結(jié)合視點(diǎn)軌跡序列的運(yùn)動(dòng)特征和圖像的語(yǔ)義信息，模擬人類在探索感興趣區(qū)域過(guò)程中的認(rèn)知和行為方式，通過(guò)學(xué)習(xí)序列之間的依賴關(guān)系和模式，得到優(yōu)化后的第一視點(diǎn)分類模型；

7、s4：通過(guò)自步學(xué)習(xí)策略，漸進(jìn)式地學(xué)習(xí)簡(jiǎn)單樣本挖掘困難樣本，學(xué)習(xí)標(biāo)注為可信的視點(diǎn)軌跡對(duì)低可信的視點(diǎn)進(jìn)行預(yù)測(cè)分類，挖掘可信樣本；

8、s5：基于握手機(jī)制，當(dāng)視點(diǎn)分類模型的預(yù)測(cè)結(jié)果與所述初步標(biāo)注結(jié)果一致時(shí)，將預(yù)測(cè)結(jié)果增加到訓(xùn)練集中，在每個(gè)遞進(jìn)學(xué)習(xí)階段，利用更新后的訓(xùn)練集指導(dǎo)當(dāng)前模型重新訓(xùn)練，得到優(yōu)化后的第二視點(diǎn)分類模型；

9、s6：重復(fù)步驟s3、s4和s5，不斷迭代優(yōu)化后模型的性能和泛化能力，得到優(yōu)化后的第n視點(diǎn)分類模型；

10、s7：利用所述測(cè)試集對(duì)經(jīng)過(guò)多次迭代第n視點(diǎn)分類模型進(jìn)行性能和準(zhǔn)確性評(píng)估。

11、本發(fā)明通過(guò)引入漸進(jìn)式迭代自步學(xué)習(xí)機(jī)制，并結(jié)合圖像場(chǎng)景語(yǔ)義信息，實(shí)現(xiàn)了對(duì)全景場(chǎng)景視點(diǎn)數(shù)據(jù)的準(zhǔn)確分類。通過(guò)學(xué)習(xí)“可信”樣本和挖掘“低可信”樣本，不斷進(jìn)行自我學(xué)習(xí)和迭代優(yōu)化，彌補(bǔ)了傳統(tǒng)算法的不足，能夠在復(fù)雜場(chǎng)景下更有效地過(guò)濾掉冗余視點(diǎn)。

12、本發(fā)明的分類方法設(shè)計(jì)了一個(gè)視點(diǎn)分類模型，基于人機(jī)同構(gòu)的邏輯思維，模擬人在觀看全景場(chǎng)景時(shí)的視覺(jué)行為。利用多模態(tài)技術(shù)，建模場(chǎng)景的語(yǔ)義信息與視點(diǎn)運(yùn)動(dòng)特征之間的內(nèi)在聯(lián)系，通過(guò)時(shí)序模型對(duì)視點(diǎn)進(jìn)行分類和過(guò)濾。這種設(shè)計(jì)使得方法能夠更精準(zhǔn)地識(shí)別視點(diǎn)序列中的有意義注視點(diǎn)，從而提高了冗余視點(diǎn)過(guò)濾的準(zhǔn)確性。

13、進(jìn)一步，所述步驟s2包括：

14、s201：利用預(yù)設(shè)的視點(diǎn)分類算法對(duì)訓(xùn)練集中的掃描軌跡點(diǎn)進(jìn)行初步視點(diǎn)類型分類，根據(jù)視點(diǎn)分類方法初步評(píng)估數(shù)據(jù)的可信度，所述視點(diǎn)分類算法采用idt算法作為基礎(chǔ)模型；

15、s202：采用全自動(dòng)多閾值劃分策略，將數(shù)據(jù)集劃分為可信的注視點(diǎn)、可信的掃視點(diǎn)、低可信的注視點(diǎn)和低可信的掃視點(diǎn)，利用可信的數(shù)據(jù)挖掘低可信的數(shù)據(jù)樣本。

16、進(jìn)一步，所述步驟s3包括：

17、s301：構(gòu)建特征提取器，采用深度神經(jīng)網(wǎng)絡(luò)架構(gòu)，包括多個(gè)卷積層、激活層和池化層，提取全景圖像的全局特征；

18、s302：構(gòu)建雙多尺度圖注意力模塊，捕捉到從細(xì)節(jié)到全局的信息，通過(guò)在不同尺度上計(jì)算節(jié)點(diǎn)之間的注意力權(quán)重來(lái)進(jìn)行特征傳播和聚合，得到融合后的圖像特征和視點(diǎn)運(yùn)動(dòng)特征；

19、s303：構(gòu)建視點(diǎn)分類器，將融合后的圖像特征和視點(diǎn)運(yùn)動(dòng)特征作為輸入；考慮到視點(diǎn)序列的問(wèn)題，采用lstm模型，通過(guò)記憶和更新隱藏狀態(tài)，lstm能夠有效地利用序列中的上下文信息，提取不同視點(diǎn)的更高級(jí)別特征，lstm通過(guò)其獨(dú)特的門控機(jī)制，對(duì)數(shù)據(jù)進(jìn)行選擇性更新和輸出，動(dòng)態(tài)地提取和處理時(shí)間序列中的重要特征；通過(guò)多層lstm單元，模型能夠識(shí)別時(shí)間序列中的復(fù)雜模式和結(jié)構(gòu)，最終，通過(guò)全連接層和激活函數(shù)輸出分類結(jié)果，并引入交叉熵?fù)p失函數(shù)來(lái)訓(xùn)練分類模型，得到優(yōu)化后的第一視點(diǎn)分類模型。

20、進(jìn)一步，所述步驟s4包括：

21、s401：基于自步學(xué)習(xí)策略，由簡(jiǎn)單到復(fù)雜的方式來(lái)學(xué)習(xí)樣本數(shù)據(jù)特征；按照樣本的可信等級(jí)，學(xué)習(xí)可信的視點(diǎn)數(shù)據(jù)，然后逐漸引入到低可信的視點(diǎn)數(shù)據(jù)，通過(guò)從易到難的學(xué)習(xí)模式，使模型能夠逐步的提高分類能力，增強(qiáng)模型的泛化性；

22、s402：利用可信樣本訓(xùn)練視點(diǎn)分類模型，并對(duì)低可信樣本進(jìn)行預(yù)測(cè)分類，然后，從低可信的樣本中挖掘新的可信樣本作為標(biāo)簽，指導(dǎo)當(dāng)前階段的學(xué)習(xí)。

23、進(jìn)一步，所述步驟s5包括：

24、s501：低可信的樣本的預(yù)測(cè)結(jié)果與初始標(biāo)注的低可信的樣本類別標(biāo)簽對(duì)比，當(dāng)類別一致時(shí)，將新數(shù)據(jù)添加到訓(xùn)練樣本集中；否則，仍視為低可信樣本；

25、s502：在每個(gè)遞進(jìn)學(xué)習(xí)階段，利用更新后的訓(xùn)練集指導(dǎo)當(dāng)前模型重新訓(xùn)練，得到優(yōu)化后的第二視點(diǎn)分類模型。

26、進(jìn)一步，所述步驟s7包括：

27、s701：在每次訓(xùn)練階段結(jié)束后，使用與訓(xùn)練樣本分布不同的測(cè)試集來(lái)測(cè)試模型性能，評(píng)價(jià)指標(biāo)包括準(zhǔn)確度、連續(xù)性；

28、s702：根據(jù)性能評(píng)估的結(jié)果，調(diào)整模型的超參數(shù)，包括學(xué)習(xí)率、正則化系數(shù)，優(yōu)化模型結(jié)構(gòu)，改善模型的評(píng)估性能。

29、進(jìn)一步，在所述步驟s3中：所述特征提取器基于去除全連接層的卷積神經(jīng)網(wǎng)絡(luò)resnet50構(gòu)建；

30、利用所述步驟s301過(guò)程提取的特征圖，將輸入特征圖x與通道尺寸一起被分成n個(gè)部分，對(duì)于每個(gè)分裂的部分，具有c0＝cs個(gè)公共通道，并且第i個(gè)特征映射是xi∈rc0×h×w，各個(gè)特征在傳遞到兩個(gè)不同的分支之前被融合，融合后的特征分別輸入到兩個(gè)分支，分別為位置注意模塊和通道注意模塊；

31、網(wǎng)絡(luò)的第二部分執(zhí)行以下操作：構(gòu)建空間注意力矩陣，該矩陣模擬特征的任意兩個(gè)像素之間的空間關(guān)系；注意力矩陣和原始特征之間的矩陣乘法；對(duì)所得矩陣和原始特征進(jìn)行逐元素求和運(yùn)算，最終將來(lái)自兩個(gè)并行分支的特征連接生成最終輸出；

32、通道注意模塊用于有選擇地加權(quán)每個(gè)通道的重要性，從而產(chǎn)生最佳輸出特性，從原始特征a∈rc×h×w計(jì)算通道注意力圖x∈rc×c，將a重塑為rc×n，然后在a和a的轉(zhuǎn)置之間執(zhí)行矩陣乘法，然后，應(yīng)用softmax層來(lái)獲得信道注意力圖x∈rc×c，如等式所示：

33、

34、其中，xji測(cè)量第i個(gè)通道對(duì)第j個(gè)通道的影響，在x和a的轉(zhuǎn)置之間執(zhí)行矩陣乘法，并將其結(jié)果重塑為rc×h×w；

35、將結(jié)果乘以比例參數(shù)β，并對(duì)a執(zhí)行元素求和運(yùn)算，以獲得最終輸出e∈rc×h×w，如式所示：

36、

37、空間注意力模塊，將由a∈rc×h×w表示的局部特征送入卷積層，生成兩個(gè)新的特征映射b和c，其中b,c∈rc×h×w，將其重塑為rc×n，其中n＝h×w是像素?cái)?shù)；接下來(lái)，在c和b的轉(zhuǎn)置之間進(jìn)行矩陣乘法，并應(yīng)用softmax層來(lái)計(jì)算空間注意圖s∈rn×n；此操作如等式所示：

38、

39、其中，測(cè)量第i個(gè)位置對(duì)第j個(gè)位置的影響，接下來(lái)，將特征a輸入到卷積層，以生成新的特征映射d∈rc×h×w并將其重塑為rc×n，在d和s的轉(zhuǎn)置之間執(zhí)行矩陣乘法，并將結(jié)果整形為rc×h×w，將其乘以比例參數(shù)α，并對(duì)特征a執(zhí)行元素求和運(yùn)算，以獲得最終輸出rc×h×w，如式所示：

40、

41、整個(gè)多比例尺預(yù)處理特征圖可通過(guò)串聯(lián)方式獲得：

42、f＝concat([e1j,e2j])

43、采用多模態(tài)融合技術(shù)進(jìn)一步改進(jìn)視點(diǎn)分類器的性能，考慮了視點(diǎn)運(yùn)動(dòng)特征，引入步驟s302得到的多尺度圖像特征作為補(bǔ)充，將視點(diǎn)的時(shí)間和坐標(biāo)信息輸入到線性神經(jīng)網(wǎng)絡(luò)即全連接層中提取特征，通過(guò)將多尺度圖像特征和視點(diǎn)運(yùn)動(dòng)特征進(jìn)行融合，采用拼接的方式進(jìn)行特征融合，輸入到長(zhǎng)短時(shí)記憶模塊中，通過(guò)細(xì)胞狀態(tài)和門控機(jī)制，在訓(xùn)練過(guò)程中，引入交叉熵?fù)p失函數(shù)作為目標(biāo)函數(shù)，交叉熵?fù)p失函數(shù)衡量了模型輸出與真實(shí)標(biāo)簽之間的差異，通過(guò)最小化損失函數(shù)，能夠優(yōu)化模型參數(shù)，使其能夠更準(zhǔn)確地預(yù)測(cè)視點(diǎn)的類別。

44、進(jìn)一步，在所述步驟s4中，對(duì)低可信數(shù)據(jù)的預(yù)測(cè)結(jié)果與s202中低可信數(shù)據(jù)的初始類別標(biāo)簽進(jìn)行對(duì)比；如果兩者的類別標(biāo)簽都是注視點(diǎn)或者都是掃視點(diǎn)，將按照時(shí)間特征將它們加入到訓(xùn)練集的軌跡序列中，否則，如果兩者的類別標(biāo)簽不一致，即一個(gè)是注視點(diǎn)而另一個(gè)是掃視點(diǎn)，仍然將其視為低可信樣本；

45、在每個(gè)遞進(jìn)學(xué)習(xí)階段，利用經(jīng)過(guò)更新的訓(xùn)練集來(lái)指導(dǎo)視覺(jué)分類模型的重新訓(xùn)練，通過(guò)使用包含新數(shù)據(jù)的訓(xùn)練集，使模型不斷地學(xué)習(xí)和適應(yīng)新的視點(diǎn)特征，從而提高分類性能。

46、一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述中任一項(xiàng)所述的一種基于人機(jī)同構(gòu)的全景冗余視點(diǎn)過(guò)濾方法。

47、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述中任一項(xiàng)所述的一種基于人機(jī)同構(gòu)的全景冗余視點(diǎn)過(guò)濾方法。

48、與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于：

49、冗余視點(diǎn)過(guò)濾任務(wù)的目標(biāo)是從眼動(dòng)數(shù)據(jù)中去除掃視點(diǎn)，保留注視點(diǎn)。然而，眼動(dòng)數(shù)據(jù)的標(biāo)注通常是一項(xiàng)繁瑣且主觀的任務(wù)。傳統(tǒng)的視點(diǎn)分類方法通常依賴人工標(biāo)注的眼動(dòng)數(shù)據(jù)作為監(jiān)督信號(hào)，這不僅需要專業(yè)人員進(jìn)行耗時(shí)的標(biāo)注工作，還容易引入主觀偏差。本發(fā)明采用弱監(jiān)督的方式，使視點(diǎn)分類過(guò)程更加高效和可擴(kuò)展。具體而言，通過(guò)引入漸進(jìn)式迭代自步學(xué)習(xí)機(jī)制，該方法能夠從未標(biāo)注的數(shù)據(jù)中自動(dòng)學(xué)習(xí)，并根據(jù)分類結(jié)果進(jìn)行自我調(diào)整和優(yōu)化，從而逐步提升模型對(duì)視點(diǎn)數(shù)據(jù)的理解能力，減少對(duì)人工標(biāo)注數(shù)據(jù)的依賴。

50、從人機(jī)同構(gòu)的角度出發(fā)，人類視覺(jué)系統(tǒng)會(huì)將注意力集中在物體區(qū)域，即那些有意義的區(qū)域?，F(xiàn)有的視點(diǎn)過(guò)濾方法通常過(guò)度依賴視點(diǎn)運(yùn)動(dòng)特征的分析，而忽視了場(chǎng)景語(yǔ)義信息的重要性。因此，本發(fā)明提出了一種綜合考慮場(chǎng)景語(yǔ)義信息的方法，通過(guò)漸進(jìn)式迭代分類模型和多模態(tài)融合技術(shù)，充分利用語(yǔ)義場(chǎng)景信息和視點(diǎn)數(shù)據(jù)的運(yùn)動(dòng)信息，增強(qiáng)視點(diǎn)數(shù)據(jù)與觀察區(qū)域之間的聯(lián)系，從而更準(zhǔn)確地識(shí)別注視點(diǎn)和掃視點(diǎn)。利用時(shí)空建模方法，本發(fā)明能夠?qū)σ朁c(diǎn)數(shù)據(jù)進(jìn)行動(dòng)態(tài)建模，提升視點(diǎn)類型分類的能力，能夠更精確地識(shí)別注視點(diǎn)和掃視點(diǎn)。

51、本發(fā)明采用了漸進(jìn)式迭代優(yōu)化策略，通過(guò)多階段的重學(xué)習(xí)方法來(lái)提升視點(diǎn)分類的性能。這種迭代方式使得模型能夠逐步調(diào)整和增強(qiáng)對(duì)視點(diǎn)數(shù)據(jù)及場(chǎng)景語(yǔ)義信息的理解能力，并在每個(gè)階段優(yōu)化模型性能。通過(guò)漸進(jìn)式迭代優(yōu)化，模型能夠適應(yīng)不同類型的視點(diǎn)數(shù)據(jù)和場(chǎng)景語(yǔ)義信息，從而提高分類的泛化能力。這一策略有效應(yīng)對(duì)了視點(diǎn)數(shù)據(jù)的多樣性和復(fù)雜性，增強(qiáng)了模型對(duì)各種場(chǎng)景的適應(yīng)能力。此外，漸進(jìn)式迭代優(yōu)化具有較強(qiáng)的靈活性，使得模型能夠滿足不同任務(wù)和應(yīng)用場(chǎng)景的需求。

52、綜上所述，相較于現(xiàn)有技術(shù)，本發(fā)明在全景圖像冗余視點(diǎn)數(shù)據(jù)過(guò)濾任務(wù)方面具有明顯的優(yōu)勢(shì)。通過(guò)綜合考慮場(chǎng)景語(yǔ)義信息、采用漸進(jìn)式迭代優(yōu)化策略和時(shí)空建模方法，本發(fā)明能夠提供更準(zhǔn)確、全面的視點(diǎn)數(shù)據(jù)分類結(jié)果，并為計(jì)算機(jī)視覺(jué)相關(guān)任務(wù)的研究提供更好的輔助工具和方法。