本發(fā)明涉及圖像處理，尤其涉及一種基于異步事件流的動態(tài)數(shù)據(jù)優(yōu)化及表示方法。

背景技術(shù)：

1、事件相機作為仿生視覺傳感器，在視覺任務(wù)的高動態(tài)范圍和高時間分辨率方面顯示出了極大的優(yōu)勢，使其能在最復(fù)雜的場景中高效可靠地估計運動提供了依據(jù)。這種傳感器也被稱為基于事件的傳感器，是受生物視網(wǎng)膜結(jié)構(gòu)的啟發(fā)的新型仿生視覺設(shè)備。但這些優(yōu)勢是有代價的，比如現(xiàn)有的基于事件的視覺傳感器分辨率低，以及在進行事件表示的過程中信息數(shù)據(jù)會有不同程度的冗余和殘缺。并且由于事件流數(shù)據(jù)本身特性我們沒法直接使用它，需要先進行切片和壓幀的預(yù)處理步驟?？偟膩碚f，現(xiàn)如今已經(jīng)有多種預(yù)處理算法能實現(xiàn)事件流的切片和壓幀，但是當事件流中存在多個運動速度在變化且互不相同的主體時，使用現(xiàn)有的處理方法無法得到很好的效果，還可能會放大上述的事件信息流自身已有的缺陷。

2、事件相機的輸出數(shù)據(jù)是由一系列事件組成的，這些數(shù)據(jù)對某個像素點亮度變化的時間、位置和極性信息進行編碼。這是事件相機的優(yōu)勢所在，但也使得每個事件單獨攜帶的關(guān)于場景的信息非常少。因此在解讀或者使用事件流上的信息之前，我們需要聚合信息才能進行下一步的信息處理。而在基于事件的視覺領(lǐng)域，現(xiàn)有的表示方式能大致被分為兩種：稀疏表示和密集表示。使用稀疏表示的方法能夠保留事件中的稀疏性，但現(xiàn)有的硬件設(shè)備以及后續(xù)數(shù)據(jù)處理算法不夠成熟且針對性不足，用這類表示方法預(yù)處理的事件數(shù)據(jù)還不能被擴展應(yīng)用到更復(fù)雜的任務(wù)中。具體來說，異步脈沖神經(jīng)網(wǎng)絡(luò)所需要的稀疏表示事件數(shù)據(jù)由于缺乏專門的硬件和計算有效的反向傳播算法而受到限制。而且在處理事件數(shù)據(jù)的時空特性時，點云編碼器是必不可少的，但計算成本很高且處理完之后的噪聲信息很多。此外，圖神經(jīng)網(wǎng)絡(luò)具有相當高的可擴展性，并在大部分視覺任務(wù)上都能取得相當高的性能表現(xiàn)。但在基于事件的視覺方面，這些方法的準確性仍然不如密集方法。

3、相對而言密集表示具備更好的性能，因為它們可以和現(xiàn)有的成熟的機器學(xué)習算法以及神經(jīng)網(wǎng)絡(luò)架構(gòu)相匹配。早期的密集表示方法大多數(shù)都是將事件轉(zhuǎn)換為直方圖、時間曲面或?qū)烧呓Y(jié)合起來，接著用標準的圖像處理算法模型來進行后續(xù)的處理流程。然而，由于它們通常只使用少數(shù)通道，導(dǎo)致這些方法得到的結(jié)果僅捕獲到了事件的低維表示。在后來進一步的研究中，研究人員們試圖通過計算高階矩或堆疊事件的多個時間窗口來捕獲更多的事件信息。

4、目前針對基于事件數(shù)據(jù)流表示方法在國內(nèi)外也有一些相關(guān)的解決方案。現(xiàn)有技術(shù)提出了一種異步事件到幀轉(zhuǎn)換算法，將視網(wǎng)膜事件中的時空信息異步扭曲到一種新的自適應(yīng)時間面采用線性時間衰減(atsltd)幀表示，如圖1所示。轉(zhuǎn)換由物體運動驅(qū)動:(1)快速物體運動比緩慢物體運動產(chǎn)生更多的atsltd幀，為物體跟蹤創(chuàng)造了相對較大的時空空間;(2)如果目標物體沒有足夠大的運動(位移)，則不生成任何atsltd幀，從而提高了計算速度。由于強度變化和視網(wǎng)膜事件通常發(fā)生在目標物體的邊緣，因此atsltd幀記錄了清晰而銳利的物體輪廓。然而現(xiàn)有的方法在本質(zhì)上仍然是基于固定的時間窗口來完成事件的堆疊。當事件率變得過大或過小時，這些方法都會導(dǎo)致一些問題的出現(xiàn)。并且由于事件相機本身的稀疏性和異步性，現(xiàn)有的經(jīng)典計算機視覺算法雖然能取得不錯的效果，但并不完全適用。

技術(shù)實現(xiàn)思路

1、本發(fā)明為解決上述問題，提供一種基于異步事件流的動態(tài)數(shù)據(jù)優(yōu)化及表示方法。

2、本發(fā)明目的在于提供一種基于異步事件流的動態(tài)數(shù)據(jù)優(yōu)化及表示方法，具體包括如下步驟：

3、s1.根據(jù)所承載主要信息的數(shù)量大小將事件相機的原事件流l劃分為主體事件流u與非主體事件流n；

4、s2.通過建立主體事件流u和原事件流l對應(yīng)的完全能量函數(shù)及非主體事件流n和原事件流l對應(yīng)的完全能量函數(shù)，構(gòu)建基于馬爾科夫隨機場的事件能量模型；構(gòu)建模型后，重新將主體事件流定義為si，將非主體事件流定義為sj；

5、s3.按照默認的時間跨度將主體事件流si和非主體事件流sj分割為若干個時間倉；調(diào)整時間倉跨度的長度，再按照序列將時間倉一一對應(yīng)，最后合并為新事件流；

6、s4.根據(jù)主體事件流si與原事件流l的關(guān)聯(lián)度修補新事件流中主要信息所在的部分，并將新事件流中時空關(guān)聯(lián)區(qū)域的冗余事件刪除，實現(xiàn)信息的優(yōu)化。

7、優(yōu)選的，步驟s3中采用動態(tài)異步數(shù)據(jù)度量及切片算法調(diào)整時間倉跨度的長度。

8、優(yōu)選的，動態(tài)異步數(shù)據(jù)度量及切片算法具體包括：將事件流中對應(yīng)時間倉內(nèi)事件的極性屬性作為整體密度的計算依據(jù)，并將新的事件密度作為基礎(chǔ)參考依據(jù)引入到時間窗口中，動態(tài)調(diào)整時間倉跨度的長度；所述調(diào)整時間倉跨度通過更新時間跨度實現(xiàn)，公式如下：

9、

10、

11、式中，表示每一個時間倉的時間跨度，和分別表示主體事件流si和非主體事件流sj中的時間倉，和表示兩個時間倉和的更新前時間跨度，和分別表示兩個時間倉和的更新后時間跨度，和分別表示屬于第i個時間倉和第j個時間倉的三維高斯核，和表示事件流所有時間倉的模平方之和，表示時空區(qū)間，表示兩個時間倉和之間的距離，公式如下：

12、

13、其中，表示和的內(nèi)積，表示第i個時間倉的內(nèi)積，表示第j個時間倉的內(nèi)積。

14、優(yōu)選的，步驟s1采用主體區(qū)域識別算法進行劃分；在對事件流進行區(qū)域判斷以及劃分操作時，使用改進的皮爾森相關(guān)系數(shù)和斯皮爾曼相關(guān)系數(shù)，公式分別如下：

15、；

16、；

17、其中，表示第i個事件的橫軸坐標；表示第i個事件的豎軸坐標；和表示第i個事件所在的時間節(jié)點上，以事件發(fā)生的頻次作為權(quán)重，其他事件在橫軸和豎軸坐標上的加權(quán)平均值。

18、優(yōu)選的，步驟s2中主體事件流u和原事件流l對應(yīng)的完全能量函數(shù)表達式如下：

19、；

20、其中，能量函數(shù)表達式分別為：

21、；

22、；

23、；

24、；

25、上式中，對應(yīng)的是四個最大團、、、，最大團代表的是主體事件流u中的事件和原事件流l中的事件之間的關(guān)系，三個最大團代表的是主體事件流u中時空鄰域內(nèi)事件之間的關(guān)系；α和β為對應(yīng)最大團內(nèi)的非負的動態(tài)權(quán)重參數(shù)。

26、優(yōu)選的，步驟s2中非主體事件流n和原事件流l對應(yīng)的完全能量函數(shù)表達式如下：

27、；

28、其中，能量函數(shù)表達式分別為：

29、；

30、；

31、；

32、；

33、上式中，對應(yīng)的是四個最大團、、、，最大團代表的是非主體事件流n中的事件和原事件流l中的事件之間的關(guān)系，三個最大團代表的是非主體事件流n中時空鄰域內(nèi)事件之間的關(guān)系；α和β為對應(yīng)最大團內(nèi)的非負的動態(tài)權(quán)重參數(shù)。

34、優(yōu)選的，α反映事件在空間上的相關(guān)性，表達式如下：

35、；

36、所述β反映事件在時間上的相關(guān)性，表達式如下：

37、；

38、上式中，分別表示能量函數(shù)中的兩個事件在水平和豎直方向的像素差值，分別表示在所有最大團中事件在水平方向和豎直方向上的最大差值，和分別表示在所有最大團中與其他事件之間的最小時間間隔和最大時間間隔。

39、優(yōu)選的，步驟s4中修補新事件流中主要信息所在的部分具體采用如下方法：將新事件流的局部記憶時間面作為基本算子，并把相鄰像素分組為大小數(shù)量相同的單元；利用公式計算每個單元的初始曲力場，并以梯度下降的方式更新曲力場范圍，從而更新得到最佳的單元補償事件密度和區(qū)域范圍的值，確定原事件流l中對新事件流中主體起補足作用的事件范圍并進行修補；

40、式中，x表示該事件對應(yīng)的像素橫坐標，y表示該事件對應(yīng)的像素縱坐標，ex和ey表示主體事件補償過程中在平面位移上出現(xiàn)的局部誤差，et表示主體事件補償過程中在時間軸方面出現(xiàn)的局部誤差，表示以x、y、t為三軸建模后的補償事件云和t代表的z軸之間的角度，t表示該事件對應(yīng)的時間。

41、與現(xiàn)有技術(shù)相比，本發(fā)明能夠取得如下有益效果：

42、（1）原始事件流被分為主體事件流和非主體事件流的過程中，將事件按照事件與事件流之間的整體相關(guān)性進行了類別判定，可以把一些現(xiàn)有方法不易去除的、自身事件之間關(guān)聯(lián)性較強的噪聲事件識別到，比如漫反射噪聲。

43、（2）將概率大小問題轉(zhuǎn)變?yōu)槟芰看笮栴}，依據(jù)聯(lián)合概率分布可以表示為函數(shù)在其最大團上的乘積的關(guān)系，定義出可以描述能量化后不同事件之間關(guān)系的能量函數(shù)；當該能量函數(shù)的值越小，意味著能量越小以及概率越高，說明這兩個事件之間的相關(guān)性越大。這種事件相關(guān)性關(guān)系定義比現(xiàn)有的定義方法更貼近事件之間本身的關(guān)系。

44、（3）將每段事件流中對應(yīng)尖峰數(shù)據(jù)倉內(nèi)事件的極性作為整體密度的計算依據(jù)，并將新的事件密度作為基礎(chǔ)參考依據(jù)引入到時間窗口中，動態(tài)調(diào)整時間倉跨度的長度；這種方法比現(xiàn)有的以固定時間或固定事件數(shù)為基礎(chǔ)來進行劃分的方法更加適應(yīng)復(fù)雜的拍攝情況。

45、（4）以主體事件流作為基底，最大限度減弱新事件流中對應(yīng)主體空間周圍相關(guān)性低的、冗余的非主體事件流中事件的影響；然后對于該時間倉內(nèi)的缺失的主體事件，選擇相關(guān)性高的事件來進行補足；能夠很好的處理當場景中存在兩個及以上速度差異顯著的物體時，現(xiàn)有方法無法達到完美的切片效果的問題。