本發(fā)明涉及傳感器管理控制領(lǐng)域,尤其涉及一種基于深度學習算法和大數(shù)據(jù)分析的傳感器自適應系統(tǒng)。
背景技術(shù):
1、現(xiàn)在生產(chǎn)場景中會大量使用傳感器設備,這些傳感器設備采集相關(guān)信息后,將傳感器數(shù)據(jù)傳輸至所連接的邊緣節(jié)點處進行匯總處理,邊緣節(jié)點按照業(yè)務邏輯對傳感器數(shù)據(jù)進行加工處理后,打包為數(shù)據(jù)包并通過網(wǎng)絡基站將數(shù)據(jù)包上傳至云端進行進一步匯總處理。
2、如何解決深度學習算法在不同應用場景下的自適應調(diào)整與優(yōu)化問題。
3、因此,需要一種基于深度學習算法和大數(shù)據(jù)分析的傳感器自適應系統(tǒng)來解決上述技術(shù)問題。
技術(shù)實現(xiàn)思路
1、為解決上述技術(shù)問題,本發(fā)明提供的一種基于深度學習算法和大數(shù)據(jù)分析的傳感器自適應系統(tǒng),包括云端大數(shù)據(jù)管理單元、大數(shù)據(jù)分析處理單元、大數(shù)據(jù)特征融合單元和深度學習訓練單元;其中,
2、所述云端大數(shù)據(jù)管理單元:從傳感器和設備收集地面數(shù)據(jù)和衛(wèi)星遙感數(shù)據(jù),作為采集大數(shù)據(jù);
3、所述大數(shù)據(jù)分析處理單元:清洗并處理所述采集大數(shù)據(jù),消除噪聲和填補殘破值;采用空間時頻分析,從所述采集大數(shù)據(jù)中提取多尺度的特征信息;
4、所述大數(shù)據(jù)特征融合單元:基于所述特征信息和歷史數(shù)據(jù),整合獲取總數(shù)據(jù)集,劃分訓練集、驗證集、測試集,建立靈活的目標模型;將所述采集大數(shù)據(jù)、歷史數(shù)據(jù)和特征信息集成,利用數(shù)據(jù)融合算法進行關(guān)聯(lián),獲取融合數(shù)據(jù);
5、所述深度學習訓練單元:基于所述融合數(shù)據(jù)訓練目標模型,并用所述目標模型預測新的數(shù)據(jù),提供目標位置的初步判斷結(jié)果;基于實時采集到的所述采集大數(shù)據(jù),建立自適應環(huán)境模型,并采用自適應定位方法對所述初步判斷結(jié)果進行微調(diào),獲取最終結(jié)果;將所述最終結(jié)果反饋至自適應目標模型中,對所述目標模型進行再訓練和優(yōu)化。
6、作為更進一步得解決方案,所述傳感器包括震動傳感器、微波傳感器、雷達傳感器,所述設備具體為衛(wèi)星遙感接收器;
7、所述從傳感器和設備收集地面數(shù)據(jù)和衛(wèi)星遙感數(shù)據(jù),作為采集大數(shù)據(jù)的步驟具體為:
8、選擇安裝位置,綜合數(shù)據(jù)采集的目標和環(huán)境要求,確立所述傳感器和設備的安裝點;
9、在安裝點上裝配所述傳感器和設備,并采用防水外殼、防腐蝕涂層、防生物附著材料作為防護措施;
10、調(diào)整傳感器的靈敏度、校正誤差或修正儀器偏差,對所述傳感器和設備進行校準;
11、啟動所述傳感器和設備進行數(shù)據(jù)采集,設置參數(shù)和采樣率,獲取所述采集大數(shù)據(jù);
12、基于所述采集大數(shù)據(jù),使用處理軟件將其轉(zhuǎn)化為可處理的數(shù)字類數(shù)據(jù)。
13、作為更進一步得解決方案,所述清洗并處理具體指數(shù)據(jù)清洗和殘破值處理;
14、所述數(shù)據(jù)清洗包括異常值檢測、噪聲消除、數(shù)據(jù)歸一化;
15、所述異常值檢測具體為,使用標準差統(tǒng)計法來檢測和排除所述采集大數(shù)據(jù)中的異常值,基于閾值或規(guī)則的數(shù)據(jù)點被視為異常值,并進行替換處理;
16、所述噪聲消除具體為,應用包括移動平均濾波、中值濾波和卡曼濾波的信號處理技術(shù),消除所述采集大數(shù)據(jù)中的噪聲;
17、所述數(shù)據(jù)歸一化具體為,基于最?。畲髿w一化處理,保障所述采集大數(shù)據(jù)與測量單位處于相同的尺度范圍;
18、所述殘破值處理包括殘破值檢測、殘破值填補、多重插補;
19、所述殘破值檢測具體為,使用統(tǒng)計分析和數(shù)據(jù)可視化方法來檢測所述采集大數(shù)據(jù)中殘破值的存在;
20、所述殘破值填補具體為,基于所述采集大數(shù)據(jù)的特征和殘破值的類型,選擇均值、中值、眾數(shù)填補、回歸填補、插值法、基于深度學習的填補方法中的一種作為填補方法,填補殘破值;
21、所述多重插補具體為,針對殘破值比例超出預設閾值的所述采集大數(shù)據(jù),使用具體為矩陣分解方法的多重插補方法,填補殘破值。
22、作為更進一步得解決方案,采用空間時頻分析,從所述采集大數(shù)據(jù)中提取多尺度的特征信息的步驟具體為:
23、采用短時傅里葉變換方法,作為所述空間時頻分析的分析方法;
24、應用所述分析方法,使用不同大小的滑動窗口進行短時傅里葉變換,對所述采集大數(shù)據(jù)進行多尺度分析,以探索信號的時頻特性;
25、基于所述時頻特性作為數(shù)據(jù)源,采用包括能量計算、頻譜峰值提取、小波系數(shù)統(tǒng)計的提取方法,提取信號的頻譜能量、頻率輪廓、波形形狀特征,生成特征集;
26、基于所述特征集,采用主成分分析和特征選擇算法,減少特征的維度并保留重要的信息,作為所述特征信息。
27、作為更進一步得解決方案,所述基于所述特征信息和歷史數(shù)據(jù),整合獲取總數(shù)據(jù)集,劃分訓練集、驗證集、測試集的步驟具體為:
28、將往期的特征信息作為所述歷史數(shù)據(jù),將歷史數(shù)據(jù)和特征信息整合作為總數(shù)據(jù)集;
29、對基于線性判別分析對總數(shù)據(jù)集中的特征進行再一次降維處理,以減少特征的維度并消除冗余信息,獲取處理后總數(shù)據(jù)集,包括分類變量或非數(shù)值型特征;
30、基于所述分類變量或非數(shù)值型特征進行標簽編碼;
31、將所述總數(shù)據(jù)集劃分為的訓練集、的驗證集和試集。
32、作為更進一步得解決方案,所述建立靈活的目標模型的步驟具體為:
33、選擇邏輯回歸模型作為所述目標模型;
34、基于所述訓練集對目標模型進行訓練,應用訓練算法和優(yōu)化方法來擬合訓練集,并學習數(shù)據(jù)的模式和規(guī)律;
35、使用所述驗證集,對訓練好的所述目標模型進行驗證和調(diào)優(yōu),評估所述目標模型在驗證集上的性能并生成評估結(jié)果,基于所述評估結(jié)果,進行模型參數(shù)調(diào)整、特征選擇,優(yōu)化所述目標模型;
36、使用所述測試集,通過計算包括準確度、精確度、召回率、f1得分的評估指標,對優(yōu)化后的所述目標模型進行評估;
37、將所述目標模型部署到實際應用中,進行目標預測任務。
38、作為更進一步得解決方案,所述利用數(shù)據(jù)融合算法進行關(guān)聯(lián),獲取融合數(shù)據(jù)的步驟具體為:
39、將采集大數(shù)據(jù)、歷史數(shù)據(jù)和特征信息進行集成,生成統(tǒng)一數(shù)據(jù)集合;
40、通過特征重要性評估,在所述統(tǒng)一數(shù)據(jù)集合中,選擇對關(guān)聯(lián)結(jié)果具有重要意義的數(shù)據(jù),提取關(guān)鍵特征;
41、利用數(shù)據(jù)融合算法進行關(guān)聯(lián),將所述關(guān)鍵特征進行匹配、對齊和合并,獲取關(guān)聯(lián)數(shù)據(jù),所述數(shù)據(jù)融合算法包括基于鍵值匹配的關(guān)聯(lián)、基于相似性匹配的關(guān)聯(lián)、基于時間窗口的關(guān)聯(lián);
42、通過加權(quán)平均、決策規(guī)則、聚合函數(shù),將所述關(guān)聯(lián)數(shù)據(jù)合并生成融合數(shù)據(jù)。
43、作為更進一步得解決方案,所述基于所述融合數(shù)據(jù)訓練目標模型,并用所述目標模型預測新的數(shù)據(jù),提供目標位置的初步判斷結(jié)果的步驟具體為:
44、將所述融合數(shù)據(jù)劃分為的后訓練集和后測試集,并調(diào)用所述目標模型;
45、基于所述后訓練集,對所述目標模型進行訓練,基于包括交叉驗證、網(wǎng)格搜索的優(yōu)化方法,調(diào)整所述目標模型的超參數(shù)、模型擬合度;
46、使用所述后測試集,根據(jù)包括均方誤差、準確率、召回率的評價指標,對所述目標模型再次進行評估,基于評估結(jié)果選擇最佳的目標模型;
47、將所述目標模型應用于最新的所述采集大數(shù)據(jù),輸入待預測的特征數(shù)據(jù),利用已訓練的目標模型,生成對應的目標位置預測結(jié)果,作為所述初步判斷結(jié)果。
48、作為更進一步得解決方案,所述基于實時采集到的所述采集大數(shù)據(jù),建立自適應環(huán)境模型,并采用自適應定位方法對所述初步判斷結(jié)果進行微調(diào),獲取最終結(jié)果的步驟具體為:
49、基于所述采集大數(shù)據(jù),使用貝葉斯濾波器建立自適應環(huán)境模型;
50、采用包括加權(quán)最小二乘定位、粒子濾波定位、條件隨機場定位的自適應定位方法,對所述初步判斷結(jié)果進行更準確的估計,生成微調(diào)結(jié)果;
51、基于所述微調(diào)結(jié)果,作為最終結(jié)果更準確地反映目標位置的位置信息。
52、作為更進一步得解決方案,所述將所述最終結(jié)果反饋至自適應目標模型中,對所述目標模型進行再訓練和優(yōu)化的步驟具體為:
53、將所述最終結(jié)果與融合數(shù)據(jù)進行合并,構(gòu)建新的訓練集,所述新的訓練集包括特征數(shù)據(jù)和對應的目標位置標簽;
54、采用原有的所述目標模型作為初始模型;
55、利用新的訓練集對所述目標模型進行再訓練,輸入特征數(shù)據(jù)和對應的目標位置標簽,通過迭代調(diào)整目標模型的參數(shù),使其更準確地預測目標位置;
56、基于上述步驟進行再訓練與優(yōu)化迭代,通過不斷反饋最終結(jié)果、再訓練和優(yōu)化,逐步改進所述目標模型的性能和準確性。
57、與相關(guān)技術(shù)相比較,本發(fā)明提供的一種基于深度學習算法和大數(shù)據(jù)分析的傳感器自適應系統(tǒng)具有如下有益效果:
58、本發(fā)明獨特優(yōu)勢主要在于它通過連續(xù)性的動態(tài)監(jiān)測、智能數(shù)據(jù)分析,以及基于自調(diào)整深度學習方法對數(shù)據(jù)的持續(xù)反饋訓練和性能調(diào)整。通過這種高度自動化的過程,可以大大提高系統(tǒng)整體性能的同時降低成本、減少人工干預,使得傳感器能夠在不斷變化的真實環(huán)境中快速反應并優(yōu)化表現(xiàn),實現(xiàn)了深度學習算法在各個場景下靈活、精準的適應調(diào)整,極大地提高了算法的泛化能力和系統(tǒng)的實際應用效能。