本技術實施例涉及人工智能(artificial?intelligence，ai)，尤其涉及一種圖像處理方法及其相關裝置。

背景技術：

1、高動態(tài)范圍(high?dynamic?range，hdr)成像以及運動去模糊(motiondeblurring)作為計算機視覺應用中的關鍵問題，受到了越來越廣泛的關注。隨著ai技術的快速發(fā)展，越來越多的設備廠商在設備中內(nèi)置ai技術中的神經(jīng)網(wǎng)絡模型，以通過模型來獲取清晰的hdr圖像。

2、在相關技術中，通常會利用兩個神經(jīng)網(wǎng)絡模型來分別實現(xiàn)高動態(tài)范圍成像以及運動去模糊。一般地，會通過第一個神經(jīng)網(wǎng)絡模型對模糊的低動態(tài)范圍(low?dynamic?range，ldr)圖像進行處理，從而得到模糊的hdr圖像，然后通過第二個神經(jīng)網(wǎng)絡模型對模糊的hdr圖像進行處理，從而得到清晰的hdr圖像。至此，則成功完成了高動態(tài)范圍成像以及運動去模糊。

3、上述過程中，由于高動態(tài)范圍成像以及運動去模糊這兩個過程是相互獨立實現(xiàn)的，這樣往往導致最終得到的清晰的hdr圖像的質(zhì)量較差，例如，最終得到的清晰的hdr圖像出現(xiàn)色彩瑕疵、不正常的圖像亮度以及不同程度的細節(jié)模糊等各種質(zhì)量問題。

技術實現(xiàn)思路

1、本技術實施例提供了一種圖像處理方法及其相關裝置，可利用事件流從模糊的ldr圖像中，恢復得到質(zhì)量較高的清晰的hdr圖像。

2、本技術實施例的第一方面提供了一種圖像處理方法，該方法可通過目標模型實現(xiàn)，該方法包括：

3、當需要進行高動態(tài)范圍成像以及運動去模糊時，可將模糊的ldr圖像以及在模糊的ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流，輸入至目標模型中。需要說明的是，事件流是在模糊的ldr圖像的曝光時間內(nèi)，由于拍攝場景的亮度發(fā)生變化所觸發(fā)的，可以理解的是，模糊的ldr圖像用于呈現(xiàn)前述的拍攝場景。

4、得到模糊的ldr圖像以及事件流后，目標模型可利用事件流，對ldr圖像進行動態(tài)范圍增強處理，從而得到模糊的hdr圖像。得到模糊的hdr圖像后，目標模型可將模糊的hdr圖像拆分為模糊的hdr圖像的強度分量以及模糊的hdr圖像的顏色分量，并利用事件流，對模糊的hdr圖像的強度分量進行去模糊處理，從而得到清晰且不具備顏色的hdr圖像。得到清晰且不具備顏色的hdr圖像后，目標模型還可對模糊的hdr圖像的顏色分量以及清晰且不具備顏色的hdr圖像進行融合處理，從而得到清晰且具備顏色的hdr圖像。至此，則成功完成了高動態(tài)范圍成像以及運動去模糊。

5、從上述方法可以看出：目標模型可利用事件流，從模糊的ldr圖像中恢復出模糊的hdr圖像，再繼續(xù)利用事件流，從模糊的hdr圖像中恢復出清晰且具備顏色的hdr圖像，可見，目標模型可一次性實現(xiàn)高動態(tài)范圍成像以及運動去模糊，使得這兩個過程耦合在一起，二者之間存在聯(lián)系，故以這種方式所得到的清晰的hdr圖像往往具備較高的質(zhì)量，也就是說，最終得到的清晰的hdr圖像不存在色彩瑕疵、不正常的圖像亮度以及不同程度的細節(jié)模糊等各種質(zhì)量問題。

6、在一種可能實現(xiàn)的方式中，基于事件流，對ldr圖像進行動態(tài)范圍增強處理，得到模糊的hdr圖像包括：對ldr圖像以及事件流分別進行特征提取，得到ldr圖像的特征以及事件流的特征；對ldr圖像的特征以及事件流的特征進行特征融合，得到模糊的hdr圖像。前述實現(xiàn)方式中，目標模型可先對模糊的ldr圖像進行特征提取，從而得到ldr圖像的初始特征，再對ldr圖像的初始特征進行進一步的特征提取，從而得到ldr圖像的中間特征，然后對ldr圖像的中間特征進行更進一步的特征提取，從而得到ldr圖像的最終特征。同樣地，目標模型可先對事件流進行特征提取，從而得到事件流的初始特征，再對事件流的初始特征進行進一步的特征提取，從而得到事件流的中間特征，然后對事件流的中間特征進行更進一步的特征提取，從而得到事件流的最終特征。目標模型可先對ldr圖像的最終特征以及事件流的最終特征進行特征融合，從而得到第一融合特征，再對第一融合特征、ldr圖像的中間特征以及事件流的中間特征進行特征融合，從而得到第二融合特征，然后對第二融合特征、ldr圖像的初始特征以及事件流的初始特征進行特征融合，從而得到第三融合特征，也就是模糊的hdr圖像。由此可見，目標模型可將模糊的ldr圖像以及事件流投影至相同的特征空間，再將得到的特征進行融合從而準確估計出模糊的hdr圖像。

7、在一種可能實現(xiàn)的方式中，基于事件流，對模糊的hdr圖像的強度分量進行去模糊處理，得到清晰且不具備顏色的hdr圖像包括：將事件流劃分為在第一曝光時間內(nèi)所觸發(fā)的第一事件流以及在第二曝光時間內(nèi)所觸發(fā)的第二事件流，曝光時間包含第一曝光時間以及第二曝光時間；對第一事件流以及第二事件流分別進行特征提取，得到第一事件流的特征以及第二事件流的特征；對第一事件流的特征以及第二事件流的特征進行疊加，得到疊加后的特征；對模糊的hdr圖像的強度分量以及疊加后的特征進行運算，得到清晰且不具備顏色的hdr圖像。前述實現(xiàn)方式中，在得到模糊的hdr圖像后，目標模型可先將模糊的ldr圖像的曝光時間劃分為第一曝光時間以及第二曝光時間，基于此，目標模型可將將事件流劃分為在第一曝光時間內(nèi)所觸發(fā)的第一事件流以及在第二曝光時間內(nèi)所觸發(fā)的第二事件流。在得到第一事件流以及第二事件流后，目標模型可對第一事件流以及第二事件流分別進行特征提取，從而相應得到第一事件流的特征以及第二事件流的特征。然后，目標模型可對第一事件流的特征以及第二事件流的特征進行疊加，從而得到疊加后的特征。在得到疊加后的特征后，目標模型可從模糊的hdr圖像中提取出模糊的hdr圖像的強度分量，并對模糊的hdr圖像的強度分量以及疊加后的特征進行運算，從而得到清晰且不具備顏色的hdr圖像。由此可見，目標模型可利用事件流的高時間分辨率，來針對模糊的hdr圖像的強度分量進行運動先驗，從而得到非線性運動的模糊因子(前述疊加后的特征)，以基于該因子來準確得到清晰且不具備顏色的hdr圖像。

8、在一種可能實現(xiàn)的方式中，對模糊的hdr圖像的顏色分量以及清晰且不具備顏色的hdr圖像進行融合處理，得到清晰且具備顏色的hdr圖像包括：對模糊的hdr圖像的顏色分量進行特征提取，得到顏色分量的特征；對顏色分量的特征以及清晰且不具備顏色的hdr圖像進行特征融合，得到清晰且具備顏色的hdr圖像。前述實現(xiàn)方式中，在得到清晰且不具備顏色的hdr圖像后，目標模型可以從模糊的hdr圖像中提取出模糊的hdr圖像的顏色分量，并對模糊的hdr圖像的顏色分量進行特征提取，從而得到顏色分量的特征。在得到顏色分量的特征后，目標模型可對顏色分量的特征以及清晰且不具備顏色的hdr圖像進行特征融合，從而得到清晰且具備顏色的hdr圖像。由此可見，目標模型可對清晰且不具備顏色的hdr圖像進行上色，從而最終得到清晰且具備顏色的hdr圖像。

9、在一種可能實現(xiàn)的方式中，獲取模糊的ldr圖像包括：獲取以rgb形式呈現(xiàn)的模糊的ldr圖像；將以rgb形式呈現(xiàn)的ldr圖像，轉(zhuǎn)換為以yuv形式呈現(xiàn)的ldr圖像。

10、在一種可能實現(xiàn)的方式中，獲取ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流包括：獲取以離散數(shù)據(jù)呈現(xiàn)的ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流；將以離散數(shù)據(jù)呈現(xiàn)的事件流，轉(zhuǎn)換為以序列數(shù)據(jù)呈現(xiàn)的事件流。

11、本技術實施例的第二方面提供了一種圖像處理方法，該方法可通過目標模型實現(xiàn)，該方法包括：獲取模糊的ldr圖像，以及在模糊的ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流；基于事件流，對模糊的ldr圖像進行去模糊處理，得到清晰的ldr圖像；基于事件流，對清晰的ldr圖像的強度分量進行動態(tài)增強處理，得到清晰且不具備顏色的hdr圖像；對清晰的ldr圖像的顏色分量以及清晰且不具備顏色的hdr圖像進行融合處理，得到清晰且具備顏色的hdr圖像。

12、在一種可能實現(xiàn)的方式中，基于事件流，對模糊的ldr圖像進行去模糊處理，得到清晰的ldr圖像包括：對模糊的ldr圖像以及事件流分別進行特征提取，得到模糊的ldr圖像的特征以及事件流的特征；對模糊的ldr圖像的特征以及事件流的特征進行特征融合，得到清晰的ldr圖像。

13、在一種可能實現(xiàn)的方式中，基于事件流，對清晰的ldr圖像的強度分量進行動態(tài)增強處理，得到清晰且不具備顏色的hdr圖像包括：將事件流劃分為在第一曝光時間內(nèi)所觸發(fā)的第一事件流以及在第二曝光時間內(nèi)所觸發(fā)的第二事件流，曝光時間包含第一曝光時間以及第二曝光時間；對第一事件流以及第二事件流分別進行特征提取，得到第一事件流的特征以及第二事件流的特征；對第一事件流的特征以及第二事件流的特征進行疊加，得到疊加后的特征；對清晰的ldr圖像的強度分量以及疊加后的特征進行運算，得到清晰且不具備顏色的hdr圖像。

14、在一種可能實現(xiàn)的方式中，對清晰的ldr圖像的顏色分量以及清晰且不具備顏色的hdr圖像進行融合處理，得到清晰且具備顏色的hdr圖像包括：對清晰的ldr圖像的顏色分量進行特征提取，得到顏色分量的特征；對顏色分量的特征以及清晰且不具備顏色的hdr圖像進行特征融合，得到清晰且具備顏色的hdr圖像。

15、在一種可能實現(xiàn)的方式中，獲取模糊的ldr圖像包括：獲取以rgb形式呈現(xiàn)的模糊的ldr圖像；將以rgb形式呈現(xiàn)的ldr圖像，轉(zhuǎn)換為以yuv形式呈現(xiàn)的ldr圖像。

16、在一種可能實現(xiàn)的方式中，獲取ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流包括：獲取以離散數(shù)據(jù)呈現(xiàn)的ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流；將以離散數(shù)據(jù)呈現(xiàn)的事件流，轉(zhuǎn)換為以序列數(shù)據(jù)呈現(xiàn)的事件流。

17、本技術實施例的第三方面提供了一種模型訓練方法，該方法包括：通過待訓練模型對模糊的ldr圖像以及在ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流進行處理，得到清晰且具備顏色的hdr圖像，待訓練模型用于：獲取模糊的ldr圖像，以及在ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流；基于事件流，對ldr圖像進行動態(tài)范圍增強處理，得到模糊的hdr圖像；基于事件流，對模糊的hdr圖像的強度分量進行去模糊處理，得到清晰且不具備顏色的hdr圖像；對模糊的hdr圖像的顏色分量以及清晰且不具備顏色的hdr圖像進行融合處理，得到清晰且具備顏色的hdr圖像；基于清晰且具備顏色的hdr圖像，對待訓練模型進行訓練，得到目標模型。

18、在一種可能實現(xiàn)的方式中，待訓練模型，用于：對ldr圖像以及事件流分別進行特征提取，得到ldr圖像的特征以及事件流的特征；對ldr圖像的特征以及事件流的特征進行特征融合，得到模糊的hdr圖像。

19、在一種可能實現(xiàn)的方式中，待訓練模型，用于：將事件流劃分為在第一曝光時間內(nèi)所觸發(fā)的第一事件流以及在第二曝光時間內(nèi)所觸發(fā)的第二事件流，曝光時間包含第一曝光時間以及第二曝光時間；對第一事件流以及第二事件流分別進行特征提取，得到第一事件流的特征以及第二事件流的特征；對第一事件流的特征以及第二事件流的特征進行疊加，得到疊加后的特征；對模糊的hdr圖像的強度分量以及疊加后的特征進行運算，得到清晰且不具備顏色的hdr圖像。

20、在一種可能實現(xiàn)的方式中，待訓練模型，用于：對模糊的hdr圖像的顏色分量進行特征提取，得到顏色分量的特征；對顏色分量的特征以及清晰且不具備顏色的hdr圖像進行特征融合，得到清晰且具備顏色的hdr圖像。

21、在一種可能實現(xiàn)的方式中，待訓練模型，用于：獲取以rgb形式呈現(xiàn)的模糊的ldr圖像；將以rgb形式呈現(xiàn)的ldr圖像，轉(zhuǎn)換為以yuv形式呈現(xiàn)的ldr圖像。

22、在一種可能實現(xiàn)的方式中，待訓練模型，用于：獲取以離散數(shù)據(jù)呈現(xiàn)的ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流；將以離散數(shù)據(jù)呈現(xiàn)的事件流，轉(zhuǎn)換為以序列數(shù)據(jù)呈現(xiàn)的事件流。

23、本技術實施例的第四方面提供了一種模型訓練方法，該方法包括：通過待訓練模型對模糊的ldr圖像以及在模糊的ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流進行處理，得到清晰且具備顏色的hdr圖像，待訓練模型用于：獲取模糊的ldr圖像，以及在模糊的ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流；基于事件流，對模糊的ldr圖像進行去模糊處理，得到清晰的ldr圖像；基于事件流，對清晰的ldr圖像的強度分量進行動態(tài)增強處理，得到清晰且不具備顏色的hdr圖像；對清晰的ldr圖像的顏色分量以及清晰且不具備顏色的hdr圖像進行融合處理，得到清晰且具備顏色的hdr圖像；基于清晰且具備顏色的hdr圖像，對待訓練模型進行訓練，得到目標模型。

24、在一種可能實現(xiàn)的方式中，待訓練模型，用于：對模糊的ldr圖像以及事件流分別進行特征提取，得到模糊的ldr圖像的特征以及事件流的特征；對模糊的ldr圖像的特征以及事件流的特征進行特征融合，得到清晰的ldr圖像。

25、在一種可能實現(xiàn)的方式中，待訓練模型，用于：將事件流劃分為在第一曝光時間內(nèi)所觸發(fā)的第一事件流以及在第二曝光時間內(nèi)所觸發(fā)的第二事件流，曝光時間包含第一曝光時間以及第二曝光時間；對第一事件流以及第二事件流分別進行特征提取，得到第一事件流的特征以及第二事件流的特征；對第一事件流的特征以及第二事件流的特征進行疊加，得到疊加后的特征；對清晰的ldr圖像的強度分量以及疊加后的特征進行運算，得到清晰且不具備顏色的hdr圖像。

26、在一種可能實現(xiàn)的方式中，待訓練模型，用于：對清晰的ldr圖像的顏色分量進行特征提取，得到顏色分量的特征；對顏色分量的特征以及清晰且不具備顏色的hdr圖像進行特征融合，得到清晰且具備顏色的hdr圖像。

27、在一種可能實現(xiàn)的方式中，待訓練模型，用于：獲取以rgb形式呈現(xiàn)的模糊的ldr圖像；將以rgb形式呈現(xiàn)的ldr圖像，轉(zhuǎn)換為以yuv形式呈現(xiàn)的ldr圖像。

28、在一種可能實現(xiàn)的方式中，待訓練模型，用于：獲取以離散數(shù)據(jù)呈現(xiàn)的ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流；將以離散數(shù)據(jù)呈現(xiàn)的事件流，轉(zhuǎn)換為以序列數(shù)據(jù)呈現(xiàn)的事件流。

29、本技術實施例的第五方面提供了一種圖像處理裝置，該裝置包含目標模型，該裝置包括：獲取模塊，用于獲取模糊的ldr圖像，以及在ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流；第一處理模塊，用于基于事件流，對ldr圖像進行動態(tài)范圍增強處理，得到模糊的hdr圖像；第二處理模塊，用于基于事件流，對模糊的hdr圖像的強度分量進行去模糊處理，得到清晰且不具備顏色的hdr圖像；第三處理模塊，用于對模糊的hdr圖像的顏色分量以及清晰且不具備顏色的hdr圖像進行融合處理，得到清晰且具備顏色的hdr圖像。

30、在一種可能實現(xiàn)的方式中，第一處理模塊1402，用于：對ldr圖像以及事件流分別進行特征提取，得到ldr圖像的特征以及事件流的特征；對ldr圖像的特征以及事件流的特征進行特征融合，得到模糊的hdr圖像。

31、在一種可能實現(xiàn)的方式中，第二處理模塊1403，用于：將事件流劃分為在第一曝光時間內(nèi)所觸發(fā)的第一事件流以及在第二曝光時間內(nèi)所觸發(fā)的第二事件流，曝光時間包含第一曝光時間以及第二曝光時間；對第一事件流以及第二事件流分別進行特征提取，得到第一事件流的特征以及第二事件流的特征；對第一事件流的特征以及第二事件流的特征進行疊加，得到疊加后的特征；對模糊的hdr圖像的強度分量以及疊加后的特征進行運算，得到清晰且不具備顏色的hdr圖像。

32、在一種可能實現(xiàn)的方式中，第三處理模塊1404，用于：對模糊的hdr圖像的顏色分量進行特征提取，得到顏色分量的特征；對顏色分量的特征以及清晰且不具備顏色的hdr圖像進行特征融合，得到清晰且具備顏色的hdr圖像。

33、在一種可能實現(xiàn)的方式中，獲取模塊1401，用于：獲取以rgb形式呈現(xiàn)的模糊的ldr圖像；將以rgb形式呈現(xiàn)的ldr圖像，轉(zhuǎn)換為以yuv形式呈現(xiàn)的ldr圖像。

34、在一種可能實現(xiàn)的方式中，獲取模塊1401，用于：獲取以離散數(shù)據(jù)呈現(xiàn)的ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流；將以離散數(shù)據(jù)呈現(xiàn)的事件流，轉(zhuǎn)換為以序列數(shù)據(jù)呈現(xiàn)的事件流。

35、本技術實施例的第六方面提供了一種圖像處理裝置，該裝置包含目標模型，該裝置包括：獲取模塊，用于獲取模糊的ldr圖像，以及在模糊的ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流；第一處理模塊，用于基于事件流，對模糊的ldr圖像進行去模糊處理，得到清晰的ldr圖像；第二處理模塊，用于基于事件流，對清晰的ldr圖像的強度分量進行動態(tài)增強處理，得到清晰且不具備顏色的hdr圖像；第三處理模塊，用于對清晰的ldr圖像的顏色分量以及清晰且不具備顏色的hdr圖像進行融合處理，得到清晰且具備顏色的hdr圖像。

36、在一種可能實現(xiàn)的方式中，第一處理模塊1502，用于：對模糊的ldr圖像以及事件流分別進行特征提取，得到模糊的ldr圖像的特征以及事件流的特征；對模糊的ldr圖像的特征以及事件流的特征進行特征融合，得到清晰的ldr圖像。

37、在一種可能實現(xiàn)的方式中，第二處理模塊1503，用于：將事件流劃分為在第一曝光時間內(nèi)所觸發(fā)的第一事件流以及在第二曝光時間內(nèi)所觸發(fā)的第二事件流，曝光時間包含第一曝光時間以及第二曝光時間；對第一事件流以及第二事件流分別進行特征提取，得到第一事件流的特征以及第二事件流的特征；對第一事件流的特征以及第二事件流的特征進行疊加，得到疊加后的特征；對清晰的ldr圖像的強度分量以及疊加后的特征進行運算，得到清晰且不具備顏色的hdr圖像。

38、在一種可能實現(xiàn)的方式中，第三處理模塊1503，用于：對清晰的ldr圖像的顏色分量進行特征提取，得到顏色分量的特征；對顏色分量的特征以及清晰且不具備顏色的hdr圖像進行特征融合，得到清晰且具備顏色的hdr圖像。

39、在一種可能實現(xiàn)的方式中，獲取模塊1501，用于：獲取以rgb形式呈現(xiàn)的模糊的ldr圖像；將以rgb形式呈現(xiàn)的ldr圖像，轉(zhuǎn)換為以yuv形式呈現(xiàn)的ldr圖像。

40、在一種可能實現(xiàn)的方式中，獲取模塊1501，用于：獲取以離散數(shù)據(jù)呈現(xiàn)的ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流；將以離散數(shù)據(jù)呈現(xiàn)的事件流，轉(zhuǎn)換為以序列數(shù)據(jù)呈現(xiàn)的事件流。

41、本技術實施例的第七方面提供了一種模型訓練裝置，該裝置包括：處理模塊，用于通過待訓練模型對模糊的ldr圖像以及在ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流進行處理，得到清晰且具備顏色的hdr圖像，待訓練模型用于：獲取模糊的ldr圖像，以及在ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流；基于事件流，對ldr圖像進行動態(tài)范圍增強處理，得到模糊的hdr圖像；基于事件流，對模糊的hdr圖像的強度分量進行去模糊處理，得到清晰且不具備顏色的hdr圖像；對模糊的hdr圖像的顏色分量以及清晰且不具備顏色的hdr圖像進行融合處理，得到清晰且具備顏色的hdr圖像；訓練模塊，用于基于清晰且具備顏色的hdr圖像，對待訓練模型進行訓練，得到目標模型。

42、在一種可能實現(xiàn)的方式中，待訓練模型，用于：對ldr圖像以及事件流分別進行特征提取，得到ldr圖像的特征以及事件流的特征；對ldr圖像的特征以及事件流的特征進行特征融合，得到模糊的hdr圖像。

43、在一種可能實現(xiàn)的方式中，待訓練模型，用于：將事件流劃分為在第一曝光時間內(nèi)所觸發(fā)的第一事件流以及在第二曝光時間內(nèi)所觸發(fā)的第二事件流，曝光時間包含第一曝光時間以及第二曝光時間；對第一事件流以及第二事件流分別進行特征提取，得到第一事件流的特征以及第二事件流的特征；對第一事件流的特征以及第二事件流的特征進行疊加，得到疊加后的特征；對模糊的hdr圖像的強度分量以及疊加后的特征進行運算，得到清晰且不具備顏色的hdr圖像。

44、在一種可能實現(xiàn)的方式中，待訓練模型，用于：對模糊的hdr圖像的顏色分量進行特征提取，得到顏色分量的特征；對顏色分量的特征以及清晰且不具備顏色的hdr圖像進行特征融合，得到清晰且具備顏色的hdr圖像。

45、在一種可能實現(xiàn)的方式中，待訓練模型，用于：獲取以rgb形式呈現(xiàn)的模糊的ldr圖像；將以rgb形式呈現(xiàn)的ldr圖像，轉(zhuǎn)換為以yuv形式呈現(xiàn)的ldr圖像。

46、在一種可能實現(xiàn)的方式中，待訓練模型，用于：獲取以離散數(shù)據(jù)呈現(xiàn)的ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流；將以離散數(shù)據(jù)呈現(xiàn)的事件流，轉(zhuǎn)換為以序列數(shù)據(jù)呈現(xiàn)的事件流。

47、本技術實施例的第八方面提供了一種模型訓練裝置，該裝置包括：處理模塊，用于通過待訓練模型對模糊的ldr圖像以及在模糊的ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流進行處理，得到清晰且具備顏色的hdr圖像，待訓練模型用于：獲取模糊的ldr圖像，以及在模糊的ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流；基于事件流，對模糊的ldr圖像進行去模糊處理，得到清晰的ldr圖像；基于事件流，對清晰的ldr圖像的強度分量進行動態(tài)增強處理，得到清晰且不具備顏色的hdr圖像；對清晰的ldr圖像的顏色分量以及清晰且不具備顏色的hdr圖像進行融合處理，得到清晰且具備顏色的hdr圖像；訓練模塊，用于基于清晰且具備顏色的hdr圖像，對待訓練模型進行訓練，得到目標模型。

48、在一種可能實現(xiàn)的方式中，待訓練模型，用于：對模糊的ldr圖像以及事件流分別進行特征提取，得到模糊的ldr圖像的特征以及事件流的特征；對模糊的ldr圖像的特征以及事件流的特征進行特征融合，得到清晰的ldr圖像。

49、在一種可能實現(xiàn)的方式中，待訓練模型，用于：將事件流劃分為在第一曝光時間內(nèi)所觸發(fā)的第一事件流以及在第二曝光時間內(nèi)所觸發(fā)的第二事件流，曝光時間包含第一曝光時間以及第二曝光時間；對第一事件流以及第二事件流分別進行特征提取，得到第一事件流的特征以及第二事件流的特征；對第一事件流的特征以及第二事件流的特征進行疊加，得到疊加后的特征；對清晰的ldr圖像的強度分量以及疊加后的特征進行運算，得到清晰且不具備顏色的hdr圖像。

50、在一種可能實現(xiàn)的方式中，待訓練模型，用于：對清晰的ldr圖像的顏色分量進行特征提取，得到顏色分量的特征；對顏色分量的特征以及清晰且不具備顏色的hdr圖像進行特征融合，得到清晰且具備顏色的hdr圖像。

51、在一種可能實現(xiàn)的方式中，待訓練模型，用于：獲取以rgb形式呈現(xiàn)的模糊的ldr圖像；將以rgb形式呈現(xiàn)的ldr圖像，轉(zhuǎn)換為以yuv形式呈現(xiàn)的ldr圖像。

52、在一種可能實現(xiàn)的方式中，待訓練模型，用于：獲取以離散數(shù)據(jù)呈現(xiàn)的ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流；將以離散數(shù)據(jù)呈現(xiàn)的事件流，轉(zhuǎn)換為以序列數(shù)據(jù)呈現(xiàn)的事件流。

53、本技術實施例的第九方面提供了一種故障預測裝置，該裝置包括存儲器和處理器；存儲器存儲有代碼，處理器被配置為執(zhí)行代碼，當代碼被執(zhí)行時，故障預測裝置執(zhí)行如第一方面、第一方面中任意一種可能的實現(xiàn)方式、第二方面或第二方面中任意一種可能的實現(xiàn)方式所述的方法。

54、本技術實施例的第十方面提供了一種模型訓練裝置，該裝置包括存儲器和處理器；存儲器存儲有代碼，處理器被配置為執(zhí)行代碼，當代碼被執(zhí)行時，模型訓練裝置執(zhí)行如第三方面、第三方面中任意一種可能的實現(xiàn)方式、第四方面或第四方面中任意一種可能的實現(xiàn)方式所述的方法。

55、本技術實施例的第十一方面提供了一種電路系統(tǒng)，該電路系統(tǒng)包括處理電路，該處理電路配置為執(zhí)行如第一方面、第一方面中任意一種可能的實現(xiàn)方式、第二方面、第二方面中任意一種可能的實現(xiàn)方式、第三方面、第三方面中任意一種可能的實現(xiàn)方式、第四方面或第四方面中任意一種可能的實現(xiàn)方式所述的方法。

56、本技術實施例的第十二方面提供了一種芯片系統(tǒng)，該芯片系統(tǒng)包括處理器，用于調(diào)用存儲器中存儲的計算機程序或計算機指令，以使得該處理器執(zhí)行如第一方面、第一方面中任意一種可能的實現(xiàn)方式、第二方面、第二方面中任意一種可能的實現(xiàn)方式、第三方面、第三方面中任意一種可能的實現(xiàn)方式、第四方面或第四方面中任意一種可能的實現(xiàn)方式所述的方法。

57、在一種可能的實現(xiàn)方式中，該處理器通過接口與存儲器耦合。

58、在一種可能的實現(xiàn)方式中，該芯片系統(tǒng)還包括存儲器，該存儲器中存儲有計算機程序或計算機指令。

59、本技術實施例的第十三方面提供了一種計算機存儲介質(zhì)，該計算機存儲介質(zhì)存儲有計算機程序，該程序在由計算機執(zhí)行時，使得計算機實施如第一方面、第一方面中任意一種可能的實現(xiàn)方式、第二方面、第二方面中任意一種可能的實現(xiàn)方式、第三方面、第三方面中任意一種可能的實現(xiàn)方式、第四方面或第四方面中任意一種可能的實現(xiàn)方式所述的方法。

60、本技術實施例的第十四方面提供了一種計算機程序產(chǎn)品，該計算機程序產(chǎn)品存儲有指令，該指令在由計算機執(zhí)行時，使得計算機實施如第一方面、第一方面中任意一種可能的實現(xiàn)方式、第二方面、第二方面中任意一種可能的實現(xiàn)方式、第三方面、第三方面中任意一種可能的實現(xiàn)方式、第四方面或第四方面中任意一種可能的實現(xiàn)方式所述的方法。

61、本技術實施例中，當需要進行高動態(tài)范圍成像以及運動去模糊時，可先獲取模糊的ldr圖像，以及在模糊的ldr圖像的曝光時間內(nèi)所觸發(fā)的事件流，并將模糊的ldr圖像以及事件流輸入至目標模型中。那么，目標模型可先基于事件流，對ldr圖像進行動態(tài)范圍增強處理，從而得到模糊的hdr圖像。然后，目標模型可基于事件流，對模糊的hdr圖像的強度分量進行去模糊處理，從而得到清晰且不具備顏色的hdr圖像。最后，目標模型可對模糊的hdr圖像的顏色分量以及清晰且不具備顏色的hdr圖像進行融合處理，從而得到清晰且具備顏色的hdr圖像。至此，則完成了高動態(tài)范圍成像以及運動去模糊。前述過程中，目標模型可利用事件流，從模糊的ldr圖像中恢復出模糊的hdr圖像，再繼續(xù)利用事件流，從模糊的hdr圖像中恢復出清晰且具備顏色的hdr圖像，可見，目標模型可一次性實現(xiàn)高動態(tài)范圍成像以及運動去模糊，使得這兩個過程耦合在一起，二者之間存在聯(lián)系，故以這種方式所得到的清晰的hdr圖像往往具備較高的質(zhì)量，也就是說，最終得到的清晰的hdr圖像不存在色彩瑕疵、不正常的圖像亮度以及不同程度的細節(jié)模糊等各種質(zhì)量問題。