基于多維數(shù)據(jù)模型的傳感器數(shù)據(jù)流異常檢測(cè)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于傳感器數(shù)據(jù)流異常值檢測(cè)技術(shù)領(lǐng)域，具體是涉及一種基于多維數(shù)據(jù)模 型的傳感器數(shù)據(jù)流異常檢測(cè)方法。
【背景技術(shù)】
[0002] 作為一種無(wú)線自組織網(wǎng)絡(luò)，無(wú)線傳感器網(wǎng)絡(luò)具有低能耗，節(jié)點(diǎn)分布靈活，較少甚至 無(wú)需人工維護(hù)，可以在惡劣環(huán)境中長(zhǎng)時(shí)間自治地工作等特點(diǎn)，但是由于無(wú)線傳感器節(jié)點(diǎn)資 源有限，又容易受到外界因素的干擾和破壞，或者外部環(huán)境突發(fā)事件的影響，節(jié)點(diǎn)采集到的 數(shù)據(jù)很有可能與正常情況下的環(huán)境特征產(chǎn)生明顯偏差，這類數(shù)據(jù)稱為異常數(shù)據(jù)，采樣數(shù)據(jù) 中出現(xiàn)異常數(shù)據(jù)的節(jié)點(diǎn)被稱為異常節(jié)點(diǎn)。
[0003] 傳感器節(jié)點(diǎn)產(chǎn)生異常數(shù)據(jù)的原因通常有以下三類：（1)傳感器節(jié)點(diǎn)所處的區(qū)域發(fā) 生了特定的事件（例如發(fā)生森林火災(zāi)時(shí)傳感器的溫度讀數(shù)會(huì)明顯升高）；(2)傳感器由于軟 硬件故障或者能量耗盡導(dǎo)致節(jié)點(diǎn)無(wú)法正常工作；（3)由于其他因素的影響使節(jié)點(diǎn)采集到的 數(shù)據(jù)發(fā)生了偏差（例如處于陰影區(qū)域的傳感器節(jié)點(diǎn)的光照強(qiáng)度數(shù)值會(huì)明顯低于直接暴露 在陽(yáng)光下的節(jié)點(diǎn)讀數(shù)），我們稱這種偏差為測(cè)量誤差。其中源于特定事件的異常數(shù)據(jù)反映外 部環(huán)境確實(shí)發(fā)生了的顯著變化，需要及時(shí)預(yù)警并采取緊急處理措施，源于傳感器節(jié)點(diǎn)故障 或能量耗盡而產(chǎn)生的異常數(shù)據(jù)反映出傳感器網(wǎng)絡(luò)健康狀況存在問(wèn)題，需要進(jìn)行維護(hù)，存在 測(cè)量誤差的數(shù)據(jù)由于無(wú)法代表實(shí)際的環(huán)境特征，會(huì)對(duì)我們準(zhǔn)確掌握外部環(huán)境的變化規(guī)律產(chǎn) 生干擾，因此對(duì)無(wú)線傳感器網(wǎng)絡(luò)中的異常數(shù)據(jù)進(jìn)行檢測(cè)具有非常重要的意義。
[0004] 傳統(tǒng)的異常值檢測(cè)方法通常只針對(duì)某一種數(shù)據(jù)，很少專門針對(duì)傳感器節(jié)點(diǎn)的多維 數(shù)據(jù)給出特定的解決方案，但是特定事件發(fā)生時(shí)的環(huán)境特征不會(huì)是單一、孤立的，以用于環(huán) 境監(jiān)測(cè)的無(wú)線傳感器網(wǎng)絡(luò)節(jié)點(diǎn)為例，發(fā)生火災(zāi)時(shí)除了溫度上升之外還會(huì)伴隨著濕度下降光 照強(qiáng)度增加，而發(fā)生降雨時(shí)不僅濕度會(huì)增加，溫度和光照強(qiáng)度也會(huì)同時(shí)降低，此時(shí)傳統(tǒng)的檢 測(cè)方法就難以滿足要求，節(jié)點(diǎn)處理多種讀數(shù)則需要重復(fù)多次運(yùn)行已有的算法，這無(wú)疑會(huì)顯 著增加傳感器節(jié)點(diǎn)的負(fù)擔(dān)；另外，針對(duì)一維數(shù)據(jù)的算法也沒(méi)有考慮不同類型的數(shù)據(jù)對(duì)算法 性能的影響，例如采集到的溫度數(shù)據(jù)無(wú)論是波動(dòng)的幅度、頻率，還是均值、中值、方差等統(tǒng)計(jì) 特征都會(huì)和同一采樣時(shí)間段內(nèi)的其他數(shù)據(jù)有明顯的差異，如果不考慮不同類型數(shù)據(jù)之間的 差異性，采用無(wú)差別對(duì)待的算法無(wú)疑會(huì)影響算法的性能；
[0005] 因此，需要提出一種新型的傳感器數(shù)據(jù)流異常檢測(cè)方法。

【發(fā)明內(nèi)容】

[0006] 發(fā)明目的：為了克服現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種基于多維數(shù)據(jù)模型 的傳感器數(shù)據(jù)流異常檢測(cè)方法，有效地提高了異常數(shù)據(jù)檢測(cè)的準(zhǔn)確率。
[0007] 技術(shù)方案：為實(shí)現(xiàn)上述目的，本發(fā)明的基于多維數(shù)據(jù)模型的傳感器數(shù)據(jù)流異常檢 測(cè)方法，包括以下步驟：
[0008] Sl構(gòu)造多維數(shù)據(jù)模型，傳感器節(jié)點(diǎn)采集的多維數(shù)據(jù)模型表示為：
[0010]其中，j表示數(shù)據(jù)維數(shù)，I^ti)表示傳感器節(jié)點(diǎn)在采樣時(shí)刻ti采集的數(shù)據(jù)；
[0011] S2采用異常數(shù)據(jù)的檢測(cè)方法判斷傳感器節(jié)點(diǎn)是否為異常節(jié)點(diǎn)，如果是，則進(jìn)入 S3；
[0012] S3采用異常數(shù)據(jù)的驗(yàn)證方法對(duì)S2中判定的異常節(jié)點(diǎn)進(jìn)行確認(rèn)該異常節(jié)點(diǎn)的異常 來(lái)源，所述異常來(lái)源包括異常節(jié)點(diǎn)所在區(qū)域發(fā)生特定事件和節(jié)點(diǎn)本身存在故障。
[0013] 進(jìn)一步地，S2中所述異常數(shù)據(jù)的檢測(cè)方法包括以下步驟：
[0014] S21如果傳感器節(jié)點(diǎn)采集的數(shù)據(jù)rj (tj滿足公式1或者傳感器節(jié)點(diǎn)在若干個(gè)采樣 時(shí)刻采集的數(shù)據(jù)均相同即滿足公式2,則判定傳感器節(jié)點(diǎn)采集的數(shù)據(jù)& (tj為潛在異常數(shù) 據(jù)，
[0016] 其中，Ee(t)表示正常工作的傳感器節(jié)點(diǎn)在發(fā)生特定事件的區(qū)域中讀數(shù)的期望函 數(shù)，E n(t)表示正常工作的傳感器節(jié)點(diǎn)在正常區(qū)域中讀數(shù)的期望函數(shù)，En(t)為常數(shù)，S表示 預(yù)先設(shè)定的閾值，
[0017]Yj (ti) =Tj(t^j) 公式 2
[0018] 其中，rjti)表示傳感器節(jié)點(diǎn)在&時(shí)刻采集的數(shù)據(jù)，!Tj(I^1)表示傳感器節(jié)點(diǎn)在V1 時(shí)刻采集的數(shù)據(jù)；
[0019] S22針對(duì)存在潛在異常數(shù)據(jù)的傳感器節(jié)點(diǎn)，根據(jù)公式3計(jì)算傳感器節(jié)點(diǎn)出現(xiàn)異常 的概率PjU i):
[0020] Pj (tj) =Pj (t^i)+c?m2 公式 3
[0021] 其中，PJti)表示傳感器節(jié)點(diǎn)在采樣時(shí)亥Ijti出現(xiàn)異常的概率，P^tH)表示傳感器 節(jié)點(diǎn)在采樣時(shí)刻出現(xiàn)異常的概率，m表示傳感器節(jié)點(diǎn)采集的數(shù)據(jù)I^a i)滿足公式1或 公式2的次數(shù)，c表示控制m增長(zhǎng)速度的參數(shù)。
[0022] S23判斷傳感器節(jié)點(diǎn)是否為異常節(jié)點(diǎn)，根據(jù)公式4計(jì)算傳感器節(jié)點(diǎn)的Pt (tj值，如 果傳感器節(jié)點(diǎn)的&(&)值不小于80%，則判定該傳感器節(jié)點(diǎn)為異常節(jié)點(diǎn)：
[0025] 進(jìn)一步地，S3中所述異常數(shù)據(jù)的驗(yàn)證方法具體包括以下步驟：
[0026] S31計(jì)算被判定為異常節(jié)點(diǎn)的傳感器節(jié)點(diǎn)的鄰居節(jié)點(diǎn)的PtUi)值；
[0027]S32如果被判定為異常節(jié)點(diǎn)的傳感器節(jié)點(diǎn)的鄰居節(jié)點(diǎn)中存在半數(shù)以上的鄰居節(jié)點(diǎn) 的Pt (h)值大于80 %，則判定該異常節(jié)點(diǎn)所在區(qū)域發(fā)生特定事件；如果被判定為異常節(jié)點(diǎn) 的傳感器節(jié)點(diǎn)的鄰居節(jié)點(diǎn)中存在半數(shù)以上的鄰居節(jié)點(diǎn)的Pt (tj值小于60%，則判定該異常 節(jié)點(diǎn)本身存在故障。
[0028] 進(jìn)一步地，如果被判定為異常節(jié)點(diǎn)的傳感器節(jié)點(diǎn)的鄰居節(jié)點(diǎn)中僅存在一個(gè)鄰居節(jié) 點(diǎn)的Pt (tj值小于60%，則判定該異常節(jié)點(diǎn)可能出現(xiàn)測(cè)量誤差并利用K-means算法對(duì)該異 常節(jié)點(diǎn)采集的誤差數(shù)據(jù)進(jìn)行篩選，具體包括以下步驟：
[0029]S41將該異常節(jié)點(diǎn)在一個(gè)采樣周期內(nèi)采集的數(shù)據(jù)點(diǎn)進(jìn)行分簇：該異常節(jié)點(diǎn)在^寸 刻采集的數(shù)據(jù)I^ti)可以用數(shù)據(jù)點(diǎn)Xi表示，X i= (a i，h Ci，. . .，(Ii)，該異常節(jié)點(diǎn)在一個(gè)采 樣周期內(nèi)采集的數(shù)據(jù)點(diǎn)的集合用X表示，X = (Xi I i = 1，2, ...，n)，n表示數(shù)據(jù)點(diǎn)的個(gè)數(shù)；
[0030] S42針對(duì)每一個(gè)簇，計(jì)算該簇內(nèi)所有數(shù)據(jù)點(diǎn)到簇心的平均距離值davg;
[0031] S43計(jì)算該異常節(jié)點(diǎn)采集的數(shù)據(jù)點(diǎn)Xi到該數(shù)據(jù)點(diǎn)X #斤在簇內(nèi)的簇心…的距離值 Cl(XilIIli)；
[0032] S44如果d(Xi，Hii)滿足公式5,則判定異常節(jié)點(diǎn)采集的該數(shù)據(jù)點(diǎn)X i為該異常節(jié)點(diǎn) 采集的誤差數(shù)據(jù)并將該誤差數(shù)據(jù)篩選出來(lái)，
[0034] 進(jìn)一步地，S34中計(jì)算該簇內(nèi)所有數(shù)據(jù)點(diǎn)到簇心的平均距離值davg具體包括以下 步驟：根據(jù)公式6計(jì)算該簇內(nèi)所有數(shù)據(jù)點(diǎn)到簇心的距離，
[0036] 其中，Xi表示該簇內(nèi)的數(shù)據(jù)點(diǎn)，X』表示該簇內(nèi)的簇心，k表示數(shù)據(jù)維數(shù)，k = (1，2，? ? ?，d) 〇
[0037] 有益效果：本發(fā)明提出的方法與現(xiàn)有技術(shù)比較，具有的優(yōu)點(diǎn)是：
[0038] 1、針對(duì)傳感器節(jié)點(diǎn)采集的多維屬性數(shù)據(jù)提出了異常數(shù)據(jù)檢測(cè)方法，充分考慮了傳 感器數(shù)據(jù)流之間的時(shí)空相關(guān)性和多維屬性數(shù)據(jù)之間的關(guān)聯(lián)性，具有可擴(kuò)展性；
[0039]2、與傳統(tǒng)的檢測(cè)方法比較，本發(fā)明提出的方法具有較高的檢測(cè)率和較低的誤報(bào) 率。
【附圖說(shuō)明】
[0040] 圖1是本發(fā)明的基于多維數(shù)據(jù)模型的傳感器數(shù)據(jù)流異常檢測(cè)方法流程圖；
[0041] 圖2是仿真實(shí)驗(yàn)的檢測(cè)結(jié)果圖。
【具體實(shí)施方式】
[0042]下面結(jié)合實(shí)施例對(duì)本發(fā)明作更進(jìn)一步的說(shuō)明。
[0043] 參照?qǐng)D1，本發(fā)明的基于多維數(shù)據(jù)模型的傳感器數(shù)據(jù)流異常檢測(cè)方法，包括以下步 驟：
[0044] 首先構(gòu)造多維數(shù)據(jù)模型，傳感器節(jié)點(diǎn)采集的多維數(shù)據(jù)模型表示為：
[0046]其中j表示數(shù)據(jù)維數(shù)，I^ti)表示傳感器節(jié)點(diǎn)在采樣時(shí)刻&采集到的j種不同類 型的數(shù)據(jù)，^a1)表示傳感器節(jié)點(diǎn)在采樣時(shí)刻h采集的數(shù)據(jù)中第一種類型的數(shù)據(jù)，I^a1)表 示傳感器節(jié)點(diǎn)在采樣時(shí)刻^采集的數(shù)據(jù)中第j種類型的數(shù)據(jù)，依此類推；在本發(fā)明實(shí)施例 中，將一個(gè)包含n個(gè)傳感器節(jié)點(diǎn)的無(wú)線傳感器網(wǎng)絡(luò)均勻分布在某一環(huán)境區(qū)域中進(jìn)行數(shù)據(jù)采 集和環(huán)境監(jiān)測(cè)，每個(gè)節(jié)點(diǎn)可以采集j中不同屬性的數(shù)據(jù)（例如溫度、濕度、光照強(qiáng)度、大氣壓 力等），例如當(dāng)j = 3時(shí)，傳感器節(jié)點(diǎn)在采樣時(shí)刻&采集到的數(shù)據(jù)包括溫度、濕度和光照強(qiáng) 度，可以將傳感器節(jié)點(diǎn)在采樣時(shí)刻h采集到的數(shù)據(jù)看作是一個(gè)j維空間的數(shù)據(jù)點(diǎn)；
[0047] 然后采用異常數(shù)據(jù)的檢測(cè)方法判斷傳感器節(jié)點(diǎn)是否為異常節(jié)點(diǎn)，具體包括以下步 驟：
[0048] 如果傳感器節(jié)點(diǎn)采集的數(shù)據(jù)& (tj滿足公式1或者傳感器節(jié)點(diǎn)在若干個(gè)采樣時(shí)刻 采集的數(shù)據(jù)均相同即滿足公式2,則判定傳感器節(jié)點(diǎn)采集的數(shù)據(jù)I^ti)為潛在異常數(shù)據(jù)，
[0050] 其中，Ee(t)表示正常工作的傳感器節(jié)點(diǎn)在發(fā)生特定事件的區(qū)域中讀數(shù)的期望函 數(shù)，E n(t)表示正常工作的傳感器節(jié)點(diǎn)在正常區(qū)域中讀數(shù)的期望函數(shù)，En(t)為常數(shù)，S表示 預(yù)先設(shè)定的閾值，
[0051]Yj (ti) =Tj(t^j) 公式 2
[0052] 其中r^ti)表示傳感器節(jié)點(diǎn)在h時(shí)刻采集的數(shù)據(jù)，rj(td表示傳感器節(jié)點(diǎn)在I^1 時(shí)刻采集的數(shù)據(jù)；
[0053] 針對(duì)存在潛在異常數(shù)據(jù)的傳感器節(jié)點(diǎn)，根據(jù)公式3計(jì)算傳感器節(jié)點(diǎn)出現(xiàn)異常的概 ^Pjai)：
[0054] Pj (t