專利名稱：電力系統(tǒng)廣域測量系統(tǒng)高密度時間序列數(shù)據(jù)的曲線稀疏處理方法
技術(shù)領(lǐng)域：
本發(fā)明屬于電力系統(tǒng)調(diào)度自動化領(lǐng)域，特別是涉及一種動態(tài)安全監(jiān)測過程中高密度時間序列數(shù)據(jù)的曲線稀疏處理方法。
背景技術(shù)：
電力系統(tǒng)廣域測量系統(tǒng)(以下簡稱WAMS)是由PMU和調(diào)度中心的監(jiān)測主站組成的一套調(diào)度自動化系統(tǒng)。該系統(tǒng)能夠?yàn)檎{(diào)度員和運(yùn)行分析人員提供電網(wǎng)運(yùn)行的動態(tài)過程。隨
著WAMS應(yīng)用的推廣和實(shí)用化建設(shè)，WAMS數(shù)據(jù)已經(jīng)成為電網(wǎng)事件分析的必要信息，過期數(shù)據(jù)被要求完全存儲，事件數(shù)據(jù)甚至被要求長期存儲，供事后分析和研究。由于WAMS的動態(tài)數(shù)據(jù)具有高速度、高密度、高精度的特點(diǎn)，平均每個監(jiān)測點(diǎn)每秒鐘傳輸50幀，甚至100幀動態(tài)數(shù)據(jù)，對于大電網(wǎng)來說，產(chǎn)生的數(shù)據(jù)是海量的，這些數(shù)據(jù)如果直接存儲，將占用大量的磁盤空間。同時，由于數(shù)據(jù)的高密度、高精度，所存儲的數(shù)據(jù)會有很多重復(fù)特征，因此，如何高效存儲WAMS動態(tài)數(shù)據(jù)，并實(shí)現(xiàn)高效的分析檢索是一項值得研究的技術(shù)。申請人之前申請的專利《電網(wǎng)廣域測量系統(tǒng)(WAMS)中動態(tài)數(shù)據(jù)壓縮存儲方法》(專利公開號200710179274)曾提出動態(tài)數(shù)據(jù)無損壓縮存儲方法，該方法已經(jīng)成為WAMS動態(tài)數(shù)據(jù)存儲的必要手段，但是，隨著WAMS建設(shè)的發(fā)展，數(shù)據(jù)量越來越龐大，龐大的數(shù)據(jù)量對數(shù)據(jù)存取效率、壓縮率，以及數(shù)據(jù)曲線的繪制都提出了更高的要求。本發(fā)明基于實(shí)踐和積累，提出了實(shí)現(xiàn)高壓縮率、高效繪制數(shù)據(jù)曲線的方法。

發(fā)明內(nèi)容
本發(fā)明的目的是為了在WAMS數(shù)據(jù)實(shí)際精度要求范圍內(nèi)，不損失原始精度的前提下，對待壓縮數(shù)據(jù)進(jìn)行預(yù)處理，進(jìn)一步提高壓縮率和壓縮效率。其具體實(shí)現(xiàn)方法如下一種電力系統(tǒng)廣域測量系統(tǒng)WAMS中待壓縮數(shù)據(jù)的處理方法，所述方法包括對待壓縮數(shù)據(jù)順次進(jìn)行浮點(diǎn)數(shù)據(jù)定點(diǎn)化和定點(diǎn)數(shù)據(jù)增量化處理，得到定點(diǎn)增量數(shù)據(jù)序列，再通過無損壓縮算法進(jìn)行壓縮、存儲，解壓時，通過增量還原和轉(zhuǎn)換系數(shù)還原處理，得到原始浮點(diǎn)數(shù)值；其特征在于，所述處理方法包括以下步驟(I)根據(jù)WAMS量測精度要求，設(shè)置轉(zhuǎn)換系數(shù)。轉(zhuǎn)換系數(shù)是用來實(shí)現(xiàn)待壓縮浮點(diǎn)數(shù)據(jù)和整型定點(diǎn)數(shù)之間數(shù)值轉(zhuǎn)換的一個常數(shù)，待壓縮浮點(diǎn)數(shù)據(jù)乘上轉(zhuǎn)換系數(shù)并取整，可得到整型定點(diǎn)數(shù)，整型定點(diǎn)數(shù)除上轉(zhuǎn)換系數(shù)，可得到浮點(diǎn)數(shù)，轉(zhuǎn)換系數(shù)的取值是保證浮點(diǎn)數(shù)據(jù)精度在轉(zhuǎn)換前后是否丟失的關(guān)鍵因素，本發(fā)明中轉(zhuǎn)換系數(shù)取WAMS量測精度指標(biāo)的倒數(shù)，如頻率的精度指標(biāo)為O. 00 IHz，轉(zhuǎn)換系數(shù)應(yīng)為1000 ；(2)將電力系統(tǒng)廣域測量系統(tǒng)量測數(shù)據(jù)中的待壓縮浮點(diǎn)數(shù)逐一乘上各自的轉(zhuǎn)換系數(shù)，取整數(shù)為有效數(shù)，舍棄小數(shù)；(3)將得到的整數(shù)以時標(biāo)為序組成整型定點(diǎn)數(shù)據(jù)序列；(4)對整型定點(diǎn)數(shù)據(jù)序列從第二個數(shù)開始，順次對前一個數(shù)值作差，得到差值序列；(5)將整型定點(diǎn)數(shù)據(jù)序列第一個數(shù)和差值序列組成增量定點(diǎn)數(shù)據(jù)序列；(6)將得到的增量定點(diǎn)數(shù)據(jù)序列輸入字典壓縮算法，完成壓縮；(7)將所述轉(zhuǎn)換系數(shù)與壓縮算法返回的數(shù)據(jù)幀組成用來存儲的結(jié)果數(shù)據(jù)；(8)通過數(shù)據(jù)ID和數(shù)據(jù)時標(biāo)組成的索引管理數(shù)據(jù)存儲地址，將結(jié)果數(shù)據(jù)存入文件。其中所述轉(zhuǎn)換系數(shù)成為存入數(shù)據(jù)文件的結(jié)果數(shù)據(jù)的一部分。對經(jīng)過所述預(yù)處理后的數(shù)據(jù)在壓縮、存儲后的解壓步驟為根據(jù)數(shù)據(jù)ID和數(shù)據(jù)時標(biāo)索引查詢數(shù)據(jù)存儲地址，提取存儲的結(jié)果數(shù)據(jù)，放到數(shù)據(jù) 處理緩存；將數(shù)據(jù)緩存中分解為轉(zhuǎn)換系數(shù)和數(shù)據(jù)DATA，對數(shù)據(jù)DATA用無損壓縮的解壓算法進(jìn)行數(shù)據(jù)解壓，得到定點(diǎn)增量數(shù)據(jù)序列；將增量數(shù)據(jù)序列中的第二個數(shù)加上第一個數(shù)，得到第二個數(shù)的整型定點(diǎn)數(shù)值，第三個加上第二個數(shù)的整型定點(diǎn)數(shù)，得到第三個數(shù)的整型定點(diǎn)數(shù)，依次完成所有增量數(shù)據(jù)到原始整型定點(diǎn)數(shù)的轉(zhuǎn)換；將得到的整型定點(diǎn)數(shù)除上轉(zhuǎn)換系數(shù)后，轉(zhuǎn)換為浮點(diǎn)數(shù)，得到可用原始數(shù)據(jù)。本發(fā)明還公開了一種電力系統(tǒng)廣域測量系統(tǒng)(WAMS)中高密度時間序列數(shù)據(jù)曲線繪制的稀疏處理方法。通過有損壓縮方法，在保留曲線特征的前提下，對高密度數(shù)據(jù)曲線進(jìn)行稀疏繪制，低密度數(shù)據(jù)曲線進(jìn)行完全繪制，滿足快速曲線分析需求。所述稀疏處理方法具體采用以下技術(shù)方案一種電力系統(tǒng)廣域測量系統(tǒng)中高密度時間序列數(shù)據(jù)曲線稀疏處理方法，所述方法對超過設(shè)定點(diǎn)數(shù)限制的曲線數(shù)據(jù)進(jìn)行稀疏化處理，采用旋轉(zhuǎn)門算法進(jìn)行壓縮，并對壓縮得到的關(guān)鍵點(diǎn)數(shù)據(jù)置上原始時標(biāo)，繪制關(guān)鍵點(diǎn)數(shù)據(jù)序列曲線作為高密度稀疏曲線；其特征在于，所述稀疏處理方法包括以下步驟(I)根據(jù)曲線分析需求，設(shè)定稀疏門檻值、即點(diǎn)數(shù)限制和壓縮精度門檻值；(2)根據(jù)所述壓縮精度門檻值，在曲線數(shù)據(jù)序列的點(diǎn)數(shù)超過點(diǎn)數(shù)限制時，采用旋轉(zhuǎn)門算法進(jìn)行壓縮，不超過點(diǎn)數(shù)限制則不對數(shù)據(jù)進(jìn)行壓縮；壓縮得到的結(jié)果包括曲線關(guān)鍵點(diǎn)數(shù)據(jù)序列，和關(guān)鍵點(diǎn)間被壓縮點(diǎn)數(shù)序列；(3)根據(jù)被稀疏曲線的連續(xù)時標(biāo)信息和關(guān)鍵點(diǎn)間被壓縮點(diǎn)數(shù)序列，對關(guān)鍵點(diǎn)數(shù)據(jù)序列重置時標(biāo)，時標(biāo)為原始數(shù)據(jù)對應(yīng)時標(biāo)；(4)用稀疏得到的帶時標(biāo)關(guān)鍵點(diǎn)數(shù)據(jù)序列繪制稀疏曲線；(5)當(dāng)選擇稀疏后曲線某區(qū)域進(jìn)行區(qū)域曲線放大顯示時，當(dāng)其點(diǎn)數(shù)小于所述稀疏門檻值時，直接使用所選擇區(qū)域內(nèi)的壓縮前的原始曲線，反之，使用壓縮稀疏后的曲線。根據(jù)稀疏門檻值、即點(diǎn)數(shù)限制能夠切換稀疏曲線和原始數(shù)據(jù)曲線，方便趨勢分析和精確過程分析的選擇。本發(fā)明提出的WAMS動態(tài)數(shù)據(jù)壓縮處理方法能夠?qū)﹄娏ο到y(tǒng)動態(tài)數(shù)據(jù)存儲的壓縮率和壓縮效率進(jìn)行改善，并提供了動態(tài)數(shù)據(jù)曲線繪制的稀疏處理手段，提高了曲線繪制與分析的速度。


下面結(jié)合附圖及具體實(shí)施示例對本發(fā)明再作進(jìn)一步詳細(xì)的說明。圖I包含定點(diǎn)化和增量化預(yù)處理過程的壓縮流程；圖2高密度曲線稀疏處理流程；圖3數(shù)據(jù)存儲結(jié)構(gòu)示意具體實(shí)施例方式浮點(diǎn)數(shù)經(jīng)過計算和轉(zhuǎn)換后，會存在計算誤差和小數(shù)末位的隨機(jī)殘值，因此，浮點(diǎn)數(shù)通常不會相等，數(shù)學(xué)計算中往往用差值小于一個很小的數(shù)值來判斷浮點(diǎn)數(shù)的相等，這里將這個特點(diǎn)定義為浮點(diǎn)數(shù)的相似性差，相似性差給無損壓縮算法帶來很大影響。以LZW等字典類壓縮算法為例，當(dāng)數(shù)據(jù)相似性差時，壓縮處理會成倍地增加統(tǒng)計和循環(huán)次數(shù)，從 而降低壓縮率和壓縮效率。WAMS數(shù)據(jù)的采集環(huán)節(jié)對數(shù)據(jù)有最高精度要求，如頻率精度為±0. 001Hz，小數(shù)點(diǎn)后第4位的頻率數(shù)值其實(shí)不在精度要求范圍內(nèi)，而且不可信，如果剔除第4位以后的小數(shù)，不會影響WAMS數(shù)據(jù)的使用精度，而且可以大大提高數(shù)據(jù)相似性。因此，本發(fā)明通過轉(zhuǎn)換系數(shù)(轉(zhuǎn)換系數(shù)是用來實(shí)現(xiàn)待壓縮浮點(diǎn)數(shù)據(jù)和整型定點(diǎn)數(shù)之間數(shù)值轉(zhuǎn)換的一個常數(shù)，待壓縮浮點(diǎn)數(shù)據(jù)乘上轉(zhuǎn)換系數(shù)并取整，可得到整型定點(diǎn)數(shù)，整型定點(diǎn)數(shù)除以轉(zhuǎn)換系數(shù)，可得到浮點(diǎn)數(shù)。轉(zhuǎn)換系數(shù)的取值是保證浮點(diǎn)數(shù)據(jù)精度在轉(zhuǎn)換前后是否丟失的關(guān)鍵因素，本發(fā)明中轉(zhuǎn)換系數(shù)取WAMS量測精度指標(biāo)的倒數(shù)，如頻率的精度指標(biāo)為O. 001Hz，轉(zhuǎn)換系數(shù)應(yīng)為1000)將采樣的浮點(diǎn)數(shù)據(jù)轉(zhuǎn)換為整型定點(diǎn)數(shù)，生成定點(diǎn)數(shù)據(jù)序列，有效提高了數(shù)據(jù)的相似度。除精度要求外，WAMS數(shù)據(jù)的另一個特征是在穩(wěn)態(tài)情況下，連續(xù)采樣數(shù)據(jù)的增量往往是相似的。電力系統(tǒng)運(yùn)行中，大部分?jǐn)?shù)據(jù)屬于穩(wěn)態(tài)數(shù)據(jù)，因此，相鄰數(shù)據(jù)的增量的相似性非常高。本發(fā)明通過對定點(diǎn)數(shù)據(jù)序列進(jìn)行增量化處理，得到增量定點(diǎn)數(shù)據(jù)序列，進(jìn)一步提高了數(shù)據(jù)相似度。在同時進(jìn)行定點(diǎn)化和增量化處理后，對得到的增量定點(diǎn)數(shù)據(jù)序列用LZW等字典類壓縮算法進(jìn)行壓縮，壓縮率和壓縮效率由于數(shù)據(jù)相似度的提高，可得到大幅提高。圖I動態(tài)數(shù)據(jù)存取過程示意圖。如圖I所示，電力系統(tǒng)廣域測量系統(tǒng)(WAMS)中待壓縮數(shù)據(jù)的預(yù)處理方法如下(I)取得原始數(shù)據(jù)；(2)對原始數(shù)據(jù)通過轉(zhuǎn)換系數(shù)進(jìn)行定點(diǎn)化轉(zhuǎn)換處理將待壓縮浮點(diǎn)數(shù)逐一乘上各自的轉(zhuǎn)換系數(shù)，取整數(shù)為有效數(shù)，舍棄小數(shù)；將得到的整數(shù)以時標(biāo)為序組成整型定點(diǎn)數(shù)據(jù)序列；(3)對定點(diǎn)數(shù)據(jù)序列進(jìn)行增量化處理對整型定點(diǎn)數(shù)據(jù)序列從第二個數(shù)開始，順次對前一個數(shù)值作差，得到差值序列；將整型定點(diǎn)數(shù)據(jù)序列第一個數(shù)和差值序列組成增量定點(diǎn)數(shù)據(jù)序列；(4)對定點(diǎn)增量數(shù)據(jù)序列用LZW壓縮算法壓縮；(5)將數(shù)據(jù)ID和時標(biāo)HMESTAMP組成索引，將數(shù)據(jù)轉(zhuǎn)換系數(shù)COEFF和壓縮得到的數(shù)據(jù)DATA組幀；(6)過數(shù)據(jù)ID和數(shù)據(jù)時標(biāo)組成的索引管理數(shù)據(jù)存儲地址，將結(jié)果數(shù)據(jù)存入文件。
動態(tài)數(shù)據(jù)存儲過程采用了單一流向的處理方法，順次完成定點(diǎn)化和增量化預(yù)處理、數(shù)據(jù)壓縮、數(shù)據(jù)組織、數(shù)據(jù)存儲，簡單高效的處理保證了高速度、高精度、高密度的動態(tài)數(shù)據(jù)存儲效率。在數(shù)據(jù)應(yīng)用時則按照數(shù)據(jù)查詢、數(shù)據(jù)解析、數(shù)據(jù)解壓、增量數(shù)據(jù)恢復(fù)、浮點(diǎn)數(shù)據(jù)恢復(fù)、數(shù)據(jù)應(yīng)用的過程串行處理。電力系統(tǒng)數(shù)據(jù)具有動態(tài)連續(xù)性，會隨著時間連續(xù)變化，相鄰點(diǎn)之間的變化往往是相似的，在WAMS中，數(shù)據(jù)采樣有一定的精度限制，如頻率最高精度為O. OOlHz，但是，在數(shù)值表示和處理中，浮點(diǎn)數(shù)除了如頻率的O. OOlHz的精度以外，還會由于計算誤差、轉(zhuǎn)換誤差等因素產(chǎn)生〈O. OOlHz的殘值，當(dāng)用單字節(jié)表示浮點(diǎn)數(shù)時，將導(dǎo)致末位不一樣的，這會影響LZW類似的字典壓縮算法，影響字典大小，影響統(tǒng)計操作次數(shù)等，從而影響壓縮率和壓縮效率，同時，連續(xù)數(shù)據(jù)相鄰點(diǎn)之間的變化值相近，取得變化值后，數(shù)據(jù)序列的相似性也能提高，原始數(shù)據(jù)序列則無法達(dá)到變化值的相似度，因此，如果能夠消除無用殘值，并利用好相鄰點(diǎn)間的變化值，對基于LZW類似的字典壓縮算法非常有意義。本發(fā)明總結(jié)該規(guī)律，采用如下方法實(shí)現(xiàn)待壓縮數(shù)據(jù)的處理 ( I)找到原始數(shù)據(jù)對應(yīng)轉(zhuǎn)換系數(shù)；(2)將浮點(diǎn)數(shù)逐一乘上轉(zhuǎn)換系數(shù)，取整數(shù)為有效數(shù)，舍棄小數(shù)；(3)將得到的整數(shù)以時標(biāo)為序組成整型定點(diǎn)數(shù)據(jù)序列；(4)對整型定點(diǎn)數(shù)據(jù)序列從第二個數(shù)開始，順次對前一個數(shù)值作差，得到差值序列；(5)將整型定點(diǎn)數(shù)據(jù)序列第一個數(shù)和差值序列組成增量數(shù)據(jù)序列；(6)將得到的增量定點(diǎn)數(shù)據(jù)序列輸入字典壓縮算法，完成壓縮；(7)將所述轉(zhuǎn)換系數(shù)與壓縮算法返回的數(shù)據(jù)幀組成用來存儲的結(jié)果數(shù)據(jù)；(8)通過數(shù)據(jù)ID和數(shù)據(jù)時標(biāo)組成的索引管理數(shù)據(jù)存儲地址，將結(jié)果數(shù)據(jù)存入文件。本發(fā)明公開了一種電力系統(tǒng)廣域測量系統(tǒng)(WAMS)中高密度時間序列數(shù)據(jù)曲線繪制的稀疏處理方法。高密度是WAMS數(shù)據(jù)曲線的特點(diǎn)之一，以每秒50幀的上傳速率為例，I分鐘曲線有3000點(diǎn)，在實(shí)際應(yīng)用中往往會用到數(shù)十分鐘，甚至數(shù)小時的曲線，需要繪制的點(diǎn)數(shù)將達(dá)到數(shù)十萬以上。如果完全繪制到曲線圖中，曲線繪制效率會非常低，而實(shí)際曲線分析時，高密度曲線更關(guān)注的是曲線趨勢，只需要能看到關(guān)鍵的曲線特征，因此，將曲線數(shù)據(jù)進(jìn)行稀疏是允許的，也是必要的。對數(shù)據(jù)稀疏有兩種方法，一種是等間隔取點(diǎn)，另一種是通過算法不等間隔取點(diǎn)。等間隔取點(diǎn)計算簡單，而且處理時間序列數(shù)據(jù)時標(biāo)非常方便，但是曲線關(guān)鍵特征不會等間隔出現(xiàn)，因此，本發(fā)明選擇不等間隔取點(diǎn)法進(jìn)行稀疏。除關(guān)鍵點(diǎn)特征外，WAMS數(shù)據(jù)曲線的時標(biāo)也是必須考慮的，這要求稀疏算法不但能夠給出關(guān)鍵點(diǎn)的數(shù)據(jù)序列，而且要方便恢復(fù)關(guān)鍵點(diǎn)時標(biāo)。旋轉(zhuǎn)門算法是一種拐點(diǎn)法，該算法在設(shè)定的死區(qū)范圍內(nèi)，將數(shù)據(jù)線性化，而將死區(qū)外的數(shù)據(jù)作為線性化的拐點(diǎn)，從拐點(diǎn)起，數(shù)據(jù)序列變成另一種斜率，進(jìn)入下一段線性化，拐點(diǎn)就是曲線中的關(guān)鍵點(diǎn)，剛好能夠滿足曲線稀疏要求，因此，本發(fā)明基于旋轉(zhuǎn)門算法，實(shí)現(xiàn)了一種能夠找出關(guān)鍵點(diǎn)數(shù)據(jù)序列，并根據(jù)關(guān)鍵點(diǎn)間被壓縮點(diǎn)數(shù)處理時標(biāo)信息，得到帶時標(biāo)關(guān)鍵點(diǎn)數(shù)據(jù)序列的稀疏處理方法。當(dāng)高密度曲線數(shù)據(jù)被稀疏后，曲線分析可能需要選擇其中的某個變化點(diǎn)進(jìn)行詳細(xì)分析，詳細(xì)分析的局部曲線如果仍采用稀疏數(shù)據(jù)，則容易對精細(xì)分析造成影響，因此，當(dāng)選擇的點(diǎn)數(shù)小于一定數(shù)量(可設(shè)定)時，曲線數(shù)據(jù)不再稀疏處理，直接繪制原始曲線。圖2是高密度曲線稀疏處理流程圖。WAMS高密度時間序列數(shù)據(jù)，數(shù)據(jù)量大，有時標(biāo)要求，在生成曲線進(jìn)行分析時，有下列要求I)曲線繪制速度快；2)高密度曲線關(guān)注關(guān)鍵變化特征，關(guān)鍵變化特征不可丟失；3)精細(xì)分析保留原始數(shù)據(jù)的特征。
如圖2所示，數(shù)據(jù)壓縮的過程如下(I)根據(jù)曲線分析需求，設(shè)定稀疏門檻值、即點(diǎn)數(shù)限制和壓縮精度門檻值；(2)根據(jù)所述壓縮精度門檻值，在曲線數(shù)據(jù)序列的點(diǎn)數(shù)超過點(diǎn)數(shù)限制時，采用旋轉(zhuǎn)門算法進(jìn)行壓縮，不超過門檻值則不對數(shù)據(jù)進(jìn)行壓縮；壓縮得到的結(jié)果包括曲線關(guān)鍵點(diǎn)數(shù)據(jù)序列，和關(guān)鍵點(diǎn)間被壓縮點(diǎn)數(shù)序列；(3)根據(jù)被稀疏曲線的連續(xù)時標(biāo)信息和關(guān)鍵點(diǎn)間被壓縮點(diǎn)數(shù)序列，對關(guān)鍵點(diǎn)數(shù)據(jù)序列重置時標(biāo)，時標(biāo)為原始數(shù)據(jù)對應(yīng)時標(biāo)；(4)用稀疏得到的帶時標(biāo)關(guān)鍵點(diǎn)數(shù)據(jù)序列繪制稀疏曲線；(5)當(dāng)選擇稀疏后曲線某區(qū)域進(jìn)行區(qū)域曲線放大顯示時，當(dāng)其點(diǎn)數(shù)小于所述稀疏門檻值時，直接使用所選擇區(qū)域內(nèi)的壓縮前的原始曲線，反之，使用壓縮稀疏后的曲線；對于點(diǎn)數(shù)超過一定規(guī)模的曲線，任何曲線繪制方法都解決不了速度問題，因此，必須通過特殊處理方法來將曲線數(shù)據(jù)點(diǎn)進(jìn)行稀疏，本發(fā)明所采用的算法為旋轉(zhuǎn)門算法，是一種快速高效的有損壓縮算法，該算法在精度要求范圍內(nèi)，將曲線線性化，保留關(guān)鍵變化特征，得到拐點(diǎn)曲線，是實(shí)現(xiàn)曲線稀疏的最好選擇。本發(fā)明基于WAMS數(shù)據(jù)精確時標(biāo)要求和該算法的特點(diǎn)在標(biāo)準(zhǔn)旋轉(zhuǎn)門算法基礎(chǔ)上做了改進(jìn)，改進(jìn)后具有以下特點(diǎn)I)能夠輸出拐點(diǎn)的浮點(diǎn)數(shù)據(jù)序列；2)能夠輸出拐點(diǎn)間被壓縮點(diǎn)數(shù)的整形數(shù)據(jù)序列；3)基于兩個數(shù)據(jù)序列和原始數(shù)據(jù)時標(biāo)，對浮點(diǎn)數(shù)據(jù)序列各數(shù)據(jù)點(diǎn)找回準(zhǔn)確時標(biāo)。數(shù)據(jù)壓縮以全部待稀疏曲線數(shù)據(jù)序列為輸入進(jìn)行壓縮處理，返回一個float型數(shù)據(jù)序列和一個int型數(shù)據(jù)序列，處理時標(biāo)后投入使用，實(shí)現(xiàn)流程如下(I)得到需要稀疏的曲線數(shù)據(jù)序列和旋轉(zhuǎn)門壓縮算法精度門檻值；(2)根據(jù)精度要求對曲線數(shù)據(jù)序列進(jìn)行壓縮，得到壓縮結(jié)果，結(jié)果包括曲線關(guān)鍵點(diǎn)數(shù)據(jù)序列，和關(guān)鍵點(diǎn)間被壓縮點(diǎn)數(shù)序列；(3)根據(jù)被稀疏曲線的連續(xù)時標(biāo)信息和關(guān)鍵點(diǎn)間被壓縮點(diǎn)數(shù)序列，對關(guān)鍵點(diǎn)數(shù)據(jù)序列重置時標(biāo)，時標(biāo)為原始數(shù)據(jù)對應(yīng)時標(biāo)；(4)用稀疏得到的帶時標(biāo)關(guān)鍵點(diǎn)數(shù)據(jù)序列繪制系數(shù)曲線。在應(yīng)用時，不是所有曲線都需要進(jìn)行稀疏處理，因此，需要定義一個稀疏點(diǎn)數(shù)門檻值，當(dāng)點(diǎn)數(shù)超過門檻值時，采用稀疏處理，反之，直接使用原始曲線。圖3是數(shù)據(jù)預(yù)處理后經(jīng)LZW算法壓縮后的數(shù)據(jù)存儲結(jié)構(gòu)示意圖。WAMS數(shù)據(jù)具有信息內(nèi)容簡單、高速性和海量性三個特點(diǎn)，這三個特點(diǎn)對存儲效率有著很高的要求，本發(fā)明采用了基于B+樹算法的文件存儲方法，該方法主要包括以下幾個特點(diǎn)I)采用B+樹算法進(jìn)行數(shù)據(jù)存儲和訪問；
2)采用關(guān)鍵字有序存儲，關(guān)鍵字可以為任意的數(shù)據(jù)結(jié)構(gòu)；3)支持對數(shù)據(jù)查詢、插入、刪除的常數(shù)級速度。參見圖3，KEY是一個數(shù)據(jù)結(jié)構(gòu)，在WAMS動態(tài)數(shù)據(jù)中，至少需要ID和TMESTAMP兩個信息，在實(shí)施過程中KEY的結(jié)構(gòu)如下
Struct KEY_DATA
{
int iDataID; int iMinute;}；其中，iDataID為數(shù)據(jù)索引ID值，iMinute為數(shù)據(jù)時間標(biāo)志HMESTAMP。根據(jù)使用經(jīng)驗(yàn)，動態(tài)數(shù)據(jù)每一分鐘壓縮一次為最佳，因此對于壓縮數(shù)據(jù)，每分鐘以一個KEY進(jìn)行索引，根據(jù)iDataID和iMinute兩個信息存儲和查詢數(shù)據(jù)，數(shù)據(jù)存儲和查詢采用B+樹算法。在數(shù)據(jù)存儲結(jié)構(gòu)中，COEFF用來表示數(shù)據(jù)轉(zhuǎn)換系數(shù)，該信息用于在數(shù)據(jù)讀取時還原數(shù)值轉(zhuǎn)換結(jié)果，將定點(diǎn)數(shù)據(jù)恢復(fù)為浮點(diǎn)數(shù)據(jù)，DATA則是經(jīng)過數(shù)據(jù)壓縮后的數(shù)據(jù)包，該數(shù)據(jù)包只有經(jīng)過壓縮算法解壓后才能使用。以上是對本發(fā)明的優(yōu)選實(shí)施例的詳細(xì)說明。盡管所示和所述的典型實(shí)施例被表現(xiàn)為最優(yōu)選，應(yīng)當(dāng)明白在不脫離下述權(quán)利要求限定的本公開的范圍內(nèi)可以進(jìn)行各種改變和修改。
權(quán)利要求
1.一種電力系統(tǒng)廣域測量系統(tǒng)中高密度時間序列數(shù)據(jù)曲線稀疏處理方法，所述方法對超過設(shè)定點(diǎn)數(shù)限制的曲線數(shù)據(jù)進(jìn)行稀疏化處理，采用旋轉(zhuǎn)門算法進(jìn)行壓縮，并對壓縮得到的關(guān)鍵點(diǎn)數(shù)據(jù)置上原始時標(biāo)，繪制關(guān)鍵點(diǎn)數(shù)據(jù)序列曲線作為高密度稀疏曲線；其特征在于，所述稀疏處理方法包括以下步驟 (1)根據(jù)曲線分析需求，設(shè)定稀疏門檻值，即點(diǎn)數(shù)限制和壓縮精度門檻值； (2)根據(jù)所述壓縮精度門檻值對曲線數(shù)據(jù)序列采用旋轉(zhuǎn)門算法進(jìn)行壓縮，得到壓縮結(jié)果，結(jié)果包括曲線關(guān)鍵點(diǎn)數(shù)據(jù)序列，和關(guān)鍵點(diǎn)間被壓縮點(diǎn)數(shù)序列； (3)根據(jù)被稀疏曲線的連續(xù)時標(biāo)信息和關(guān)鍵點(diǎn)間被壓縮點(diǎn)數(shù)序列，對關(guān)鍵點(diǎn)數(shù)據(jù)序列重置時標(biāo)，時標(biāo)為原始數(shù)據(jù)對應(yīng)時標(biāo)； (4)用稀疏得到的帶時標(biāo)關(guān)鍵點(diǎn)數(shù)據(jù)序列繪制稀疏曲線； (5)當(dāng)選擇稀疏后曲線某區(qū)域進(jìn)行區(qū)域曲線放大顯示時，若其點(diǎn)數(shù)小于所述稀疏門檻值時，直接使用所選擇區(qū)域內(nèi)的壓縮前的原始曲線，反之，使用壓縮稀疏后的曲線。
2.根據(jù)權(quán)利要求I所述的高密度時間序列曲線數(shù)據(jù)稀疏處理方法，其特征在于根據(jù)稀疏門檻值、即點(diǎn)數(shù)限制能夠切換稀疏曲線和原始數(shù)據(jù)曲線，方便趨勢分析和精確過程分析的選擇。
全文摘要
一種電力系統(tǒng)廣域測量系統(tǒng)(WAMS)中高密度曲線數(shù)據(jù)的稀疏處理方法，所述曲線數(shù)據(jù)稀疏處理包括以下步驟在曲線數(shù)據(jù)超過一定點(diǎn)數(shù)后，提取數(shù)據(jù)序列；對數(shù)據(jù)序列用旋轉(zhuǎn)門壓縮算法進(jìn)行壓縮；根據(jù)壓縮得到的關(guān)鍵點(diǎn)數(shù)值和關(guān)鍵點(diǎn)間被壓縮點(diǎn)數(shù)處理時標(biāo)；當(dāng)曲線縮放至點(diǎn)數(shù)限制以下時，繪制原始曲線。
文檔編號G06F7/57GK102811062SQ201210307848
公開日2012年12月5日 申請日期2010年1月19日 優(yōu)先權(quán)日2010年1月19日
發(fā)明者楊東, 許君德, 吳京濤 申請人:北京四方繼保自動化股份有限公司, 北京四方繼保工程技術(shù)有限公司