本發(fā)明屬于海浪高度檢測(cè)，具體而言，涉及一種基于語(yǔ)義分割的海浪高度檢測(cè)方法、介質(zhì)及系統(tǒng)。

背景技術(shù)：

1、海浪作為海洋環(huán)境中一種重要的自然現(xiàn)象,一直是人類研究和監(jiān)測(cè)的重點(diǎn)對(duì)象。準(zhǔn)確測(cè)量和預(yù)報(bào)海浪的高度對(duì)于海洋環(huán)境監(jiān)測(cè)、船舶安全、海事作業(yè)等諸多領(lǐng)域都具有重要意義。傳統(tǒng)的海浪監(jiān)測(cè)方法通常依賴人工觀測(cè)或簡(jiǎn)單的測(cè)量設(shè)備,存在觀測(cè)頻率低、數(shù)據(jù)質(zhì)量不穩(wěn)定等問(wèn)題。因此,發(fā)展基于先進(jìn)傳感技術(shù)的自動(dòng)化海浪高度監(jiān)測(cè)方法,一直是海洋工程領(lǐng)域的研究熱點(diǎn)。

2、近年來(lái),隨著計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)技術(shù)的快速發(fā)展,基于圖像分析的海浪高度檢測(cè)方法引起了廣泛關(guān)注。這種方法通常采用安裝在海邊的攝像頭,捕捉實(shí)時(shí)的海浪影像數(shù)據(jù),結(jié)合計(jì)算機(jī)視覺算法對(duì)這些圖像進(jìn)行分析,并從中提取海浪的幾何特征,進(jìn)而推算出海浪的實(shí)際高度。相比傳統(tǒng)方法,這種基于圖像分析的方法具有自動(dòng)化程度高、監(jiān)測(cè)頻率快、數(shù)據(jù)可靠性好等優(yōu)勢(shì)。

3、然而,現(xiàn)有基于圖像分析的海浪高度檢測(cè)方法對(duì)于海浪這種形態(tài)不規(guī)則、邊界模糊的物體,往往無(wú)法準(zhǔn)確分割出其真實(shí)的輪廓,從而影響后續(xù)高度計(jì)算的精度。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供一種基于語(yǔ)義分割的海浪高度檢測(cè)方法、介質(zhì)及系統(tǒng)，能夠解決現(xiàn)有基于圖像分析的海浪高度檢測(cè)方法對(duì)于海浪這種形態(tài)不規(guī)則、邊界模糊的物體,往往無(wú)法準(zhǔn)確分割出其真實(shí)的輪廓,從而影響后續(xù)高度計(jì)算的精度的技術(shù)問(wèn)題。

2、本發(fā)明是這樣實(shí)現(xiàn)的：

3、本發(fā)明的第一方面提供一種基于語(yǔ)義分割的海浪高度檢測(cè)方法，其中，包括以下步驟：

4、s10、通過(guò)近岸攝像頭獲取多張海浪圖像數(shù)據(jù)；

5、s20、對(duì)獲取的海浪圖像進(jìn)行預(yù)處理，包括去噪、校正、剪裁，得到多張預(yù)處理圖像；

6、s30、獲取所述多張預(yù)處理圖像的海浪像素級(jí)別的標(biāo)簽數(shù)據(jù)，形成訓(xùn)練數(shù)據(jù)集，并采用所述訓(xùn)練數(shù)據(jù)集訓(xùn)練一個(gè)gs-segformer語(yǔ)義分割模型，所述gs-segformer語(yǔ)義分割模型使用scconv改進(jìn)自注意力機(jī)制，采用ghost模塊處理mit編碼器的多級(jí)特性，并引入改進(jìn)的多級(jí)simam注意力機(jī)制；

7、s40、獲取待測(cè)海浪高度的近岸攝像頭拍攝的海浪圖像，記為待測(cè)圖像，并對(duì)所述待測(cè)圖像進(jìn)行預(yù)處理，得到預(yù)處理待測(cè)圖像；

8、s50、利用訓(xùn)練好的gs-segformer模型對(duì)所述預(yù)處理待測(cè)圖像進(jìn)行分割，得到海浪的像素級(jí)別海浪邊界的分割圖像；

9、s60、對(duì)所述分割圖像進(jìn)行后處理，即使用高斯濾波方法對(duì)所述預(yù)處理待測(cè)圖像中的海浪邊界進(jìn)行平滑處理，減少噪聲；

10、s70、標(biāo)定相機(jī)參數(shù)，獲取相機(jī)的內(nèi)參和外參，計(jì)算所述待測(cè)圖像的像素與實(shí)際長(zhǎng)度之間的關(guān)系；

11、s80、根據(jù)后處理的分割圖像和相機(jī)參數(shù)，將所述分割圖像中海浪區(qū)域的像素信息轉(zhuǎn)換為實(shí)際距離；

12、s90、基于轉(zhuǎn)換后的實(shí)際距離信息，計(jì)算所述分割圖像中每個(gè)海浪像素的實(shí)際高度并輸出。

13、其中，所述使用scconv改進(jìn)自注意力機(jī)制，具體表示為：

14、對(duì)于第l層(l＝1,2,...,l):

15、

16、q′l＝conv2d(ql,kl,sl,pl,dl)；

17、k′l＝conv2d(kl,kl,sl,pl,dl)；

18、v′l＝conv2d(vl,kl,sl,pl,dl)；

19、

20、zl＝alv′l；

21、yl＝layernorm(xl+dropout(zl)+ffn(zl))；

22、xl+1＝y(tǒng)l+resnet(yl)；

23、式中，表示第l層的輸入特征圖；nl表示批量大小，dl表示輸入特征圖的通道數(shù)，hl表示輸入特征圖的高度，wl表示輸入特征圖的寬度；

24、式中，表示可學(xué)習(xí)的權(quán)重矩陣,用于生成查詢(q)、鍵(k)和值(v)；表示注意力機(jī)制中的縮放因子，用于確定查詢/鍵/值的維度；

25、式中，表示可學(xué)習(xí)的偏置向量,與權(quán)重矩陣配對(duì)使用；kl表示第l層scconv操作的卷積核大小；sl表示第l層scconv操作的步長(zhǎng)；pl表示第l層scconv操作的填充；dl表示第l層scconv操作的膨脹率；表示可學(xué)習(xí)的位置編碼矩陣；ffn為前饋神經(jīng)網(wǎng)絡(luò)，定義為ffn(x)＝w2relu(w1x+b1)+b2；resnet為殘差網(wǎng)絡(luò)塊，定義為resnet(x)＝conv2d(relu(batchnorm(conv2d(x))))。

26、其中，所述改進(jìn)的多級(jí)simam注意力機(jī)制，具體表示為：

27、對(duì)于第l層:

28、

29、

30、sl＝xl·wl；

31、

32、式中，el表示第l層特征的平均值，用于計(jì)算特征的統(tǒng)計(jì)信息；表示第l層特征的方差，用于衡量特征的離散程度；λl表示第l層特征的平均絕對(duì)偏差；γl表示第l層的自適應(yīng)參數(shù)，結(jié)合了方差和平均絕對(duì)偏差的信息；αl表示第l層的可學(xué)習(xí)參數(shù)，用于調(diào)節(jié)γl的靈活性；wl表示第l層的注意力權(quán)重，用于對(duì)特征進(jìn)行加權(quán)；sl表示第l層經(jīng)過(guò)simam注意力加權(quán)后的特征；表示第l層最終的simam輸出，結(jié)合了注意力加權(quán)和位置編碼；positionalencoding(sl)表示應(yīng)用于sl的位置編碼，為特征提供位置信息。

33、其中，結(jié)合scconv和改進(jìn)simam的多級(jí)注意力機(jī)制，具體表示如下：

34、步驟1、通過(guò)scconv自注意力機(jī)制得到zl

35、步驟2、計(jì)算zl的統(tǒng)計(jì)量:

36、

37、步驟3、計(jì)算自適應(yīng)參數(shù):

38、

39、步驟4、生成注意力權(quán)重:

40、

41、步驟5、應(yīng)用注意力權(quán)重:

42、

43、步驟6、最終融合輸出:

44、

45、步驟7、結(jié)合殘差連接和ghost模塊:

46、

47、xl+1＝y(tǒng)l+nesnet(yl)+ghostmodule(yl)；

48、式中，zl為scconv自注意力機(jī)制的輸出，維度與輸入特征圖xl相同；為zl的平均值，用于計(jì)算zl的統(tǒng)計(jì)信息；為zl的方差，用于衡量zl的離散程度；為zl的平均絕對(duì)偏差；為應(yīng)用于zl的自適應(yīng)參數(shù)，結(jié)合了zl的方差和平均絕對(duì)偏差信息；βl為可學(xué)習(xí)的參數(shù)，用于調(diào)節(jié)的靈活性；為應(yīng)用于zl的注意力權(quán)重；z′l為經(jīng)過(guò)改進(jìn)simam注意力加權(quán)后的zl；為最終的融合注意力輸出，結(jié)合了注意力加權(quán)和位置編碼；ghostmodule(yl)為應(yīng)用于yl的ghost模塊輸出，用于減少計(jì)算量并保持模型性能。

49、其中，獲取所述多張預(yù)處理圖像的海浪像素級(jí)別的標(biāo)簽數(shù)據(jù)的步驟，具體包括：

50、步驟1、對(duì)預(yù)處理圖像應(yīng)用初始分割算法；

51、步驟2、使用邊緣檢測(cè)和主動(dòng)輪廓模型精細(xì)化邊界；

52、步驟3、應(yīng)用區(qū)域生長(zhǎng)和水平集方法進(jìn)行區(qū)域分割；

53、步驟4、使用圖割算法獲得全局最優(yōu)分割；

54、步驟5、應(yīng)用預(yù)訓(xùn)練的深度學(xué)習(xí)模型進(jìn)行輔助分割；

55、步驟6、使用交互式工具進(jìn)行人工校正；

56、步驟7、應(yīng)用crf進(jìn)行標(biāo)簽精細(xì)化；

57、步驟8、融合多尺度結(jié)果得到最終標(biāo)簽。

58、所述傳統(tǒng)的圖像處理方法為otsu閾值法和邊緣檢測(cè)相結(jié)合的方法。

59、其中，對(duì)所述待測(cè)圖像進(jìn)行預(yù)處理的步驟，包括去噪、校正、剪裁、增強(qiáng)、縮放。

60、進(jìn)一步的，經(jīng)過(guò)預(yù)處理后的圖像需要尺寸統(tǒng)一、分辨率統(tǒng)一。

61、進(jìn)一步的，所述內(nèi)參包括焦距、光圈，所述外參包括位置、角度。

62、具體而言,所述步驟s10,通過(guò)近岸攝像頭獲取多張海浪圖像數(shù)據(jù)的具體步驟是:在海邊安裝一臺(tái)高清攝像頭,用于連續(xù)捕獲多個(gè)時(shí)段內(nèi)的海浪實(shí)時(shí)影像數(shù)據(jù),涵蓋不同海況條件下的海浪特征；對(duì)所獲取的原始海浪圖像數(shù)據(jù)進(jìn)行必要的預(yù)處理,包括調(diào)整圖像尺寸、色彩校正等操作,使其滿足后續(xù)算法的輸入要求。

63、其中,所述步驟s20,對(duì)獲取的海浪圖像進(jìn)行預(yù)處理的具體步驟是:采用中值濾波、高斯濾波等圖像去噪方法,對(duì)原始海浪圖像進(jìn)行噪聲抑制處理；基于相機(jī)標(biāo)定的圖像校正方法,根據(jù)攝像頭的內(nèi)外參數(shù)對(duì)圖像進(jìn)行矯正,消除幾何失真；對(duì)預(yù)處理后的圖像進(jìn)行適當(dāng)?shù)募舨?去除無(wú)關(guān)區(qū)域,僅保留包含海浪的核心部分,以提高后續(xù)算法的處理效率和準(zhǔn)確性。

64、其中,所述步驟s30,獲取所述多張預(yù)處理圖像的海浪像素級(jí)別的標(biāo)簽數(shù)據(jù),形成訓(xùn)練數(shù)據(jù)集,并采用所述訓(xùn)練數(shù)據(jù)集訓(xùn)練一個(gè)gs-segformer語(yǔ)義分割模型的具體步驟是:人工或半自動(dòng)地為每張預(yù)處理圖像的海浪區(qū)域添加像素級(jí)別的標(biāo)注,形成真實(shí)的海浪分割標(biāo)簽；將預(yù)處理圖像和相應(yīng)的標(biāo)注數(shù)據(jù)組合,形成訓(xùn)練數(shù)據(jù)集,并進(jìn)行數(shù)據(jù)增強(qiáng)操作以提高模型的泛化能力；采用gs-segformer語(yǔ)義分割模型,該模型采用了scconv、ghost模塊、simam注意力機(jī)制等改進(jìn)機(jī)制,在訓(xùn)練數(shù)據(jù)集上學(xué)習(xí)從海浪圖像到像素級(jí)海浪分割的端到端映射關(guān)系。

65、其中,所述步驟s40,獲取待測(cè)海浪高度的近岸攝像頭拍攝的海浪圖像,記為待測(cè)圖像,并對(duì)所述待測(cè)圖像進(jìn)行預(yù)處理,得到預(yù)處理待測(cè)圖像；利用訓(xùn)練好的gs-segformer模型對(duì)所述預(yù)處理待測(cè)圖像進(jìn)行分割,得到海浪的像素級(jí)別海浪邊界的分割圖像的具體步驟是:獲取待測(cè)的海浪圖像數(shù)據(jù),采用與步驟s20中類似的預(yù)處理操作,包括去噪、校正、剪裁等,使其滿足gs-segformer模型的輸入要求；利用前述訓(xùn)練好的gs-segformer語(yǔ)義分割模型,對(duì)這些預(yù)處理后的待測(cè)圖像進(jìn)行像素級(jí)別的海浪分割,生成包含海浪邊界信息的分割圖像。

66、其中,所述步驟s50,對(duì)所述分割圖像進(jìn)行后處理,即使用高斯濾波方法對(duì)所述預(yù)處理待測(cè)圖像中的海浪邊界進(jìn)行平滑處理,減少噪聲的具體步驟是:采用高斯濾波方法,對(duì)分割圖像中的海浪邊界進(jìn)行平滑處理,以減少由于海浪本身的不規(guī)則性以及前述預(yù)處理和分割過(guò)程中引入的噪聲,使得分割結(jié)果的海浪邊界更加連續(xù)、平滑,更好地反映海浪的實(shí)際輪廓。在具體實(shí)現(xiàn)時(shí),可根據(jù)實(shí)際情況調(diào)整高斯濾波的核大小和標(biāo)準(zhǔn)差等參數(shù),以達(dá)到最佳的平滑效果。

67、其中,所述步驟s60,標(biāo)定相機(jī)參數(shù),獲取相機(jī)的內(nèi)參和外參,計(jì)算所述待測(cè)圖像的像素與實(shí)際長(zhǎng)度之間的關(guān)系的具體步驟是:采用經(jīng)典的棋盤標(biāo)定法,通過(guò)拍攝已知尺寸的棋盤圖像,估計(jì)出攝像頭的焦距、主點(diǎn)坐標(biāo)、畸變系數(shù)等內(nèi)部參數(shù)；測(cè)量攝像頭在現(xiàn)場(chǎng)的安裝位置和角度,獲取其在三維空間中的外部參數(shù)；基于相機(jī)模型和標(biāo)定參數(shù),建立待測(cè)圖像中的像素坐標(biāo)系與實(shí)際物理空間的轉(zhuǎn)換關(guān)系,計(jì)算每個(gè)像素在實(shí)際空間中的長(zhǎng)度單位。

68、其中,所述步驟s70,根據(jù)后處理的分割圖像和相機(jī)參數(shù),將所述分割圖像中海浪區(qū)域的像素信息轉(zhuǎn)換為實(shí)際距離的具體步驟是:對(duì)于分割圖像中被識(shí)別為海浪的每個(gè)像素點(diǎn),利用相機(jī)模型和標(biāo)定參數(shù),計(jì)算出該像素點(diǎn)在實(shí)際空間中的三維坐標(biāo)；結(jié)合像素與實(shí)際長(zhǎng)度的轉(zhuǎn)換關(guān)系,得到該像素點(diǎn)對(duì)應(yīng)的實(shí)際距離信息；通過(guò)對(duì)整個(gè)分割圖像中所有海浪像素點(diǎn)進(jìn)行這樣的轉(zhuǎn)換計(jì)算,最終獲得一張反映實(shí)際海浪分布的"高度圖"。

69、其中,所述步驟s80,基于轉(zhuǎn)換后的實(shí)際距離信息,計(jì)算所述分割圖像中每個(gè)海浪像素的實(shí)際高度并輸出的具體步驟是:對(duì)于分割圖像中的每個(gè)海浪像素點(diǎn),提取其在實(shí)際空間中的垂直高度z值；通過(guò)對(duì)整個(gè)分割圖像中所有海浪像素點(diǎn)的高度z進(jìn)行統(tǒng)計(jì)分析,得到該海浪場(chǎng)景下的高度分布情況,例如最大高度、平均高度等指標(biāo)；將這些海浪高度信息輸出,用于進(jìn)一步的海浪特性分析和預(yù)報(bào)等應(yīng)用。

70、本發(fā)明的第二方面提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有程序指令，所述程序指令運(yùn)行時(shí)，用于執(zhí)行上述的一種基于語(yǔ)義分割的海浪高度檢測(cè)方法。

71、本發(fā)明的第三方面提供一種基于語(yǔ)義分割的海浪高度檢測(cè)系統(tǒng)，其中，包含上述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

72、與現(xiàn)有技術(shù)相比較，本發(fā)明提供的一種基于語(yǔ)義分割的海浪高度檢測(cè)方法、介質(zhì)及系統(tǒng)的有益效果是：

73、1.自動(dòng)化程度高、監(jiān)測(cè)頻率快

74、本方法利用近岸攝像頭捕捉海浪實(shí)時(shí)影像數(shù)據(jù),結(jié)合先進(jìn)的深度學(xué)習(xí)算法實(shí)現(xiàn)了海浪高度的全自動(dòng)測(cè)量,大大提高了監(jiān)測(cè)效率和頻率,為海洋環(huán)境監(jiān)測(cè)、船舶導(dǎo)航等應(yīng)用提供了及時(shí)可靠的數(shù)據(jù)支撐。

75、2.海浪分割精度高,檢測(cè)結(jié)果可靠

76、本方法采用了基于transformers的gs-segformer語(yǔ)義分割模型,能夠準(zhǔn)確地從海浪圖像中提取出海浪的像素級(jí)邊界,大幅改善了現(xiàn)有分割算法對(duì)復(fù)雜海浪輪廓的識(shí)別能力。同時(shí),融合了scconv、ghost模塊、simam等機(jī)制,進(jìn)一步提升了分割模型的性能。

77、3.利用相機(jī)標(biāo)定實(shí)現(xiàn)精確測(cè)量

78、本方法充分利用相機(jī)標(biāo)定獲得的內(nèi)外參數(shù),建立了像素坐標(biāo)系與實(shí)際物理空間的轉(zhuǎn)換關(guān)系,能夠?qū)D像中的海浪信息可靠地轉(zhuǎn)換為實(shí)際的高度數(shù)據(jù),檢測(cè)精度顯著提高。

79、綜上所述，本發(fā)明的方案解決了現(xiàn)有基于圖像分析的海浪高度檢測(cè)方法對(duì)于海浪這種形態(tài)不規(guī)則、邊界模糊的物體,往往無(wú)法準(zhǔn)確分割出其真實(shí)的輪廓,從而影響后續(xù)高度計(jì)算的精度的技術(shù)問(wèn)題。