一種基于電力大數(shù)據(jù)的負荷曲線并行聚類方法
【專利摘要】本發(fā)明公開了一種基于用電大數(shù)據(jù)的負荷曲線并行聚類方法，通過dbN小波系對所有負荷曲線進行小波去噪，以降低曲線中的小波動對聚類結果產生的影響，并采用了基于多核并行技術的K均值聚類算法進行負荷曲線聚類，篩選出特征明顯的聚類結果，整合分析得到了最終的負荷曲線分類。本發(fā)明實現(xiàn)了海量負荷曲線的并行聚類算法，有效地提高了負荷曲線聚類的速度，為研究電力用戶負荷特性，進行負荷、電量預測打下了基礎。
【專利說明】一種基于電力大數(shù)據(jù)的負荷曲線并行聚類方法

【技術領域】
[0001] 本發(fā)明涉及一種基于電力大數(shù)據(jù)的負荷曲線并行聚類方法，屬于電力營銷智能應 用【技術領域】。

【背景技術】
[0002] 電力營銷、生產、調度等信息系統(tǒng)產生了海量的電力信息數(shù)據(jù)，僅江蘇用采系統(tǒng)， 每日需采集全省3000余萬居民用戶日負荷電量和20余萬負控大用戶的96點用電量數(shù)據(jù)， 共計30多GB，自2006年以來積累的用電信息數(shù)據(jù)達39TB之多。江蘇電力大數(shù)據(jù)時代已然 來臨，但如何駕馭如此海量的數(shù)據(jù)信息，從中獲取有用的信息，挖掘潛在的價值，是江蘇電 力面臨的挑戰(zhàn)和機遇。
[0003] 電力系統(tǒng)負荷建模是電力系統(tǒng)仿真分析的重要基礎，負荷建模的準確性直接關系 到仿真計算的可信度和精確性。負荷建模需要建立在對電力負荷特性充分分析的基礎之 上，而面對江蘇省用電采集系統(tǒng)中海量的負荷數(shù)據(jù)，對每一個用戶的負荷特性進行分析是 不可能的，因此有必要對用戶進行負荷聚類，根據(jù)聚類結果分析不同用戶群的負荷特性。
[0004] κ-means聚類算法簡單易行，操作簡便，是目前使用最為廣泛的聚類方法之一。它 首先選定一組初始聚類中心，通過迭代使得類間保持獨立、類內保持緊密，迭代期間將聚類 子集中所有數(shù)據(jù)樣本的均值作為類的中心。目前K-means聚類算法在圖形分割、客戶分類、 負荷聚類等領域得到了廣泛的應用。
[0005] 但在用電信息大數(shù)據(jù)的背景下，數(shù)以萬億的日負荷曲線需要進行聚類分析，傳統(tǒng) 的K-means聚類算法計算難以應付。目前主流的臺式電腦、筆記本電腦cpu中均包含多個 核心，因此可以充分利用現(xiàn)有的硬件資源，開發(fā)基于多核并行技術的K-means聚類算法，以 加快負荷聚類的速度，提高負荷聚類的效率。


【發(fā)明內容】

[0006] 本發(fā)明所要解決的技術問題是針對用電大數(shù)據(jù)背景下的負荷特性分析，提供一種 基于多核并行技術的K-means聚類算法，用于提高負荷聚類的速度。
[0007] 本發(fā)明為實現(xiàn)上述目的，采用如下技術方案：
[0008] -種基于電力大數(shù)據(jù)的負荷曲線并行聚類方法，包括如下步驟：
[0009] 1)收集負荷曲線并進行篩選；
[0010] 2)對負荷曲線進行歸一化；
[0011] 3)對負荷曲線進行去噪；
[0012] 4)對負荷進行聚類分析；
[0013] 5)對所述步驟4) K均值聚類得到的K類負荷聚類結果進行特征分析，摘取用電特 征明顯的聚類結果，計算所得各類曲線的聚類中心，對各類曲線的聚類中心進行二次分類， 得到幾種典型的負荷聚類結果。
[0014] 前述的步驟1)中，數(shù)據(jù)收集與篩選是指從省用電采集系統(tǒng)庫中抽取企業(yè)客戶的 96點負荷曲線，刪除其中負荷數(shù)據(jù)不全和負荷容量為0的曲線，得到數(shù)據(jù)完整且情況正常 的大客戶負荷曲線。
[0015] 前述的步驟2)中，負荷曲線歸一化是指對所述步驟1)的每條負荷曲線進行遍歷， 找出96點中負荷最大的點，作為基準容量，進行曲線歸一化，歸一化公式如下：
[0016] .. = ρ/ρ.μχ
[0017] 其中：下標i表示負荷曲線編號，j表示每條負荷曲線中的負荷采集序號，Pu表示 第i個用戶在第j個采集點的負荷值，p iimax表示第i個用戶日負荷96點中的負荷最大值。
[0018] 前述的步驟3)中，負荷去噪包括以下步驟：
[0019] 3-1)選擇小波函數(shù)并確定分解的層數(shù)，然后進行小波分解；
[0020] 3-2)對各個分解尺度下的高頻系數(shù)選擇一個閾值進行軟閾值量化處理；
[0021] 3-3)根據(jù)小波分解的各層頻域系數(shù)進行負荷曲線的小波重構，得到去噪后的負荷 曲線。
[0022] 前述的步驟3-1)中，小波函數(shù)選定Daubechies小波系中的'dN4'，分解層數(shù)為3 層。
[0023] 前述的步驟4)中，采用基于多核并行技術的K均值聚類算法進行負荷曲線的聚類 分析，包括以下步驟：
[0024] 4-1)檢測當前電腦CPU的核心數(shù)n，激活所有核心，準備進行計算；
[0025] 4-2)對所述步驟3)的去噪后的負荷曲線進行相異度分析，找出相異度最大的K條 負荷曲線，作為并行K-means聚類算法的初始聚類中心；
[0026] 4-3)將所有負荷曲線等分成η份，交給當前電腦的η個核心，分別與K個聚類中心 進行相似度計算，并將負荷曲線歸入相似度最高的作為聚類中心的負荷曲線那一類中；
[0027] 4-4)所有負荷曲線全部分類完成后，計算并更新各類別當前的聚類中心，檢查當 前所有聚類中心與上一次迭代得到的聚類中心差值是否均小于預設閥值，若是，則進入步 驟4-5)，否則，轉入步驟4-3);
[0028] 4-5)聚類結束，關閉并行計算進程，釋放內存，顯示聚類結果。
[0029] 前述的步驟5)中，典型的負荷聚類結果包括：短時出現(xiàn)高負荷；全天負荷均衡；白 天負荷較1? ;白天負荷較1?，但中午略降；夜間負荷較
[0030] 本發(fā)明無需建立分布式計算系統(tǒng)，僅僅利用現(xiàn)有臺式電腦或筆記本電腦的多核 CPU，即可實現(xiàn)負荷曲線聚類的并行計算，且該算法可獲取當前電腦的CPU核心數(shù)，并自動 開啟所有核心參與聚類，充分利用了當前電腦的計算性能，極大地提高了海量負荷曲線聚 類的速度。本發(fā)明相較于傳統(tǒng)的K均值聚類方法，充分利用了計算機的多核CPU，有效提高 了大數(shù)據(jù)背景下的負荷聚類效率，因此值得推廣和應用。

【專利附圖】

【附圖說明】
[0031] 圖1是本發(fā)明方法的主體流程圖；
[0032] 圖2是基于多核并行技術的K均值聚類方法的流程圖；
[0033] 圖3是江蘇某用電大客戶日負荷曲線小波軟、硬閾值去噪效果比較示意圖；
[0034] 圖4是江蘇部分用電大客戶日負荷曲線K均值聚類得到的曲線聚類結果；
[0035] 圖5是圖4聚類后得到的曲線條數(shù)分布情況。

【具體實施方式】
[0036] 下面結合附圖和【具體實施方式】詳細說明本發(fā)明。
[0037] 如圖1所示，本發(fā)明的基于電力大數(shù)據(jù)的負荷曲線并行聚類方法包括以下步驟：
[0038] 一、收集負荷曲線并進行篩選
[0039] 具體方法為：從省用電采集系統(tǒng)庫中抽取企業(yè)客戶的96點負荷曲線，企業(yè)客戶指 的是安裝有負荷控制終端的企業(yè)用戶，刪除其中負荷數(shù)據(jù)不全和負荷容量為〇的曲線，得 到數(shù)據(jù)完整且情況正常的大客戶負荷曲線。96點負荷曲線是指用戶一般15分鐘采集1個 點，一天96點，構成1個客戶的96點負荷曲線。
[0040] 二、對負荷曲線進行歸一化
[0041] 電力系統(tǒng)中各用戶的負荷電量、負荷容量千差萬別，用電量高的日均用電量高達 數(shù)十萬千瓦時，負荷容量高達十數(shù)萬千瓦，而用電量低的日均用電量低至幾十個千瓦時，負 荷容量僅幾個千瓦。因此需要對所有負荷曲線進行歸一化處理。歸一化是指對第一步中的 每條負荷曲線進行遍歷，找出96點中負荷最大的點，作為基準容量，進行曲線歸一化，歸一 化公式如下：
[0042] i,j = Pi,j/Pi,max
[0043] 其中：下標i表不負荷曲線編號，j表不每條負荷曲線中的負荷米集序號，一般15 分鐘1個點，一天96點，Pu表示第i個用戶在第j個采集點的負荷值，P i niax表示第i個用 戶日負荷96點中的負荷最大值。
[0044] 三、對負荷曲線進行去噪
[0045] 由于目前多數(shù)曲線聚類算法均通過曲線的數(shù)值相似度進行聚類，而大數(shù)據(jù)聚類背 景下，曲線中存在的小波動并不能代表用戶的用電趨勢，而且會導致聚類結果不理想、聚類 趨勢不明朗的問題。因此本發(fā)明首先利用Daubechies小波系對每條負荷曲線進行小波分 解，通過自定義軟閾值小波去噪對負荷曲線進行平滑處理，然后進行小波重構得到去噪后 的負荷曲線。進行去噪處理的具體步驟如下：
[0046] Stepl選擇小波函數(shù)并確定分解的層數(shù)，然后進行小波分解，本發(fā)明的小波函數(shù) 選定Daubechies小波系中的'dN4'，分解層數(shù)為3層；
[0047] Step2對各個分解尺度下的高頻系數(shù)選擇一個閾值進行軟閾值量化處理；
[0048] Step3根據(jù)小波分解的各層頻域系數(shù)進行負荷曲線的小波重構，得到去噪后的負 荷曲線。
[0049] 本發(fā)明選定Daubechies小波系中的'dN4'作為小波函數(shù)，分解層數(shù)為3層。Matlab 的強制和默認閾值去噪會改變負荷曲線的走勢，因此本方法采用自定義軟閾值去噪。
[0050] 四、對負荷進行聚類分析
[0051] 用電大數(shù)據(jù)背景下，用戶負荷曲線的數(shù)量非常龐大，傳統(tǒng)的K均值聚類方法進行 聚類時速度非常緩慢，本發(fā)明采用基于多核并行技術的K均值聚類算法進行負荷曲線的聚 類分析，以提高聚類分析的速度。參見圖2,具體步驟如下：
[0052] 4-1)檢測當前電腦CPU的核心數(shù)n，激活所有核心，準備進行計算；
[0053] 4-2)對第三步去噪后的負荷曲線進行相異度分析，找出相異度最大的K條負荷曲 線，作為并行K-means聚類算法的初始聚類中心；
[0054] 4-3)將所有負荷曲線等分成η份，交給當前電腦的η個核心，分別與K個聚類中心 進行相似度計算，并將負荷曲線歸入相似度最高的作為聚類中心的負荷曲線那一類中；
[0055] 4-4)所有負荷曲線全部分類完成后，對各類別下的所有曲線群取平均值，并以此 平均值曲線更新各類別當前的聚類中心，檢查當前所有聚類中心與上一次迭代得到的聚類 中心差值是否均小于預設閥值，若是，則進入步驟4-5)，否則，轉入步驟4-3);
[0056] 4-5)聚類結束，關閉并行計算進程，釋放內存，顯示聚類結果。
[0057] 五、對第四步Κ均值聚類得到的Κ類負荷聚類結果進行特征分析，摘取用電特征明 顯的聚類結果，如具有全天負荷均衡、白天負荷較高、晚上負荷較高的特征，計算所得各類 曲線的聚類中心，辨識各類曲線的特征，對各類曲線的聚類中心進行二次分類，得到幾種典 型的負荷聚類結果。典型的負荷聚類結果包括短時出現(xiàn)高負荷；全天負荷均衡；白天負荷 較1? ;白天負荷較1?，但中午略降；夜間負荷較
[0058] 下面通過一個具體實施例詳細說明本發(fā)明。
[0059] 從江蘇省用電采集系統(tǒng)中抽取45, 000個企業(yè)客戶某一日的96點負荷曲線，刪除 其中負荷數(shù)據(jù)不全和負荷容量為〇的曲線，得到數(shù)據(jù)完整且情況正常的41487條負荷曲線。 為減少聚類的計算量，將96點曲線等效為24小時日負荷曲線。
[0060] 按照本發(fā)明，進行歸一化處理和去噪處理后某用電大客戶日負荷曲線小波軟、硬 閾值去噪效果比較如圖3所示。
[0061] 可見硬閾值小波降噪后，曲線從雙峰變?yōu)閱畏澹チ酥形缲摵山档偷奶匦?；而?定義閾值小波降噪后，曲線變得更為平滑，且基本特性均得以保留。
[0062] 為了提高用電曲線大數(shù)據(jù)聚類的速度，采用基于并行技術的改進K均值聚類方法 將40, 000多條負荷曲線聚為20類，即對41487條負荷曲線進行相異度分析，找出相異度最 大的20條負荷曲線，作為并行K-means聚類算法的初始聚類中心。在處理器為Intel Core i7-2600K，核心數(shù)為4,內存4GB的電腦上進行聚類，即將41487條負荷曲線等分成4份，交 給4個核心分別與20個聚類中心進行相似度計算，并將曲線歸入相似度最高的作為聚類中 心的負荷曲線所在的類別。
[0063] 多核并行算法與傳統(tǒng)算法的計算時間比較如表1所示。
[0064] 表1并行K均值聚類計算時間
[0065]

【權利要求】
1. 一種基于電力大數(shù)據(jù)的負荷曲線并行聚類方法，其特征在于，包括如下步驟： 1) 收集負荷曲線并進行篩選； 2) 對負荷曲線進行歸一化； 3) 對負荷曲線進行去噪； 4) 對負荷進行聚類分析； 5) 對所述步驟4) K均值聚類得到的K類負荷聚類結果進行特征分析，摘取用電特征明 顯的聚類結果，計算所得各類曲線的聚類中心，對各類曲線的聚類中心進行二次分類，得到 幾種典型的負荷聚類結果。
2. 根據(jù)權利要求1所述的一種基于電力大數(shù)據(jù)的負荷曲線并行聚類方法，其特征在 于，所述步驟1)中，數(shù)據(jù)收集與篩選是指從省用電采集系統(tǒng)庫中抽取企業(yè)客戶的96點負荷 曲線，刪除其中負荷數(shù)據(jù)不全和負荷容量為〇的曲線，得到數(shù)據(jù)完整且情況正常的大客戶 負荷曲線。
3. 根據(jù)權利要求1所述的一種基于電力大數(shù)據(jù)的負荷曲線并行聚類方法，其特征在 于，所述步驟2)中，負荷曲線歸一化是指對所述步驟1)的每條負荷曲線進行遍歷，找出96 點中負荷最大的點，作為基準容量，進行曲線歸一化，歸一化公式如下： P，i,j = Pi.j/Pi.max 其中：下標i表示負荷曲線編號，j表示每條負荷曲線中的負荷采集序號，Pu表示第i 個用戶在第j個采集點的負荷值，Piimax表示第i個用戶日負荷96點中的負荷最大值。
4. 根據(jù)權利要求1所述的一種基于電力大數(shù)據(jù)的負荷曲線并行聚類方法，其特征在 于，所述步驟3)中，負荷去噪包括以下步驟： 3-1)選擇小波函數(shù)并確定分解的層數(shù)，然后進行小波分解； 3-2)對各個分解尺度下的高頻系數(shù)選擇一個閾值進行軟閾值量化處理； 3- 3)根據(jù)小波分解的各層頻域系數(shù)進行負荷曲線的小波重構，得到去噪后的負荷曲 線。
5. 根據(jù)權利要求4所述的一種基于電力大數(shù)據(jù)的負荷曲線并行聚類方法，其特征在 于，所述步驟3-1)中，小波函數(shù)選定Daubechies小波系中的'dN4'，分解層數(shù)為3層。
6. 根據(jù)權利要求1所述的一種基于電力大數(shù)據(jù)的負荷曲線并行聚類方法，其特征在 于，所述步驟4)中，采用基于多核并行技術的K均值聚類算法進行負荷曲線的聚類分析，包 括以下步驟： 4- 1)檢測當前電腦CPU的核心數(shù)n，激活所有核心，準備進行計算； 4-2)對所述步驟3)的去噪后的負荷曲線進行相異度分析，找出相異度最大的K條負荷 曲線，作為并行K-means聚類算法的初始聚類中心； 4-3)將所有負荷曲線等分成η份，交給當前電腦的η個核心，分別與K個聚類中心進行 相似度計算，并將負荷曲線歸入相似度最高的作為聚類中心的負荷曲線那一類中； 4-4)所有負荷曲線全部分類完成后，計算并更新各類別當前的聚類中心，檢查當前 所有聚類中心與上一次迭代得到的聚類中心差值是否均小于預設閥值，若是，則進入步驟 4-5)，否則，轉入步驟4-3); 4-5)聚類結束，關閉并行計算進程，釋放內存，顯示聚類結果。
7. 根據(jù)權利要求1所述的一種基于電力大數(shù)據(jù)的負荷曲線并行聚類方法，其特征在 于，所述步驟5)中，典型的負荷聚類結果包括：短時出現(xiàn)高負荷；全天負荷均衡；白天負荷 較尚；白天負荷較尚，但中午略降；夜間負荷較尚。
【文檔編號】G06F17/30GK104063480SQ201410312530
【公開日】2014年9月24日 申請日期:2014年7月2日 優(yōu)先權日:2014年7月2日
【發(fā)明者】鄭海雁, 金農, 顧國棟, 丁曉, 謝林楓, 熊政, 徐金玲, 仲春林, 方超, 李昆明, 季聰 申請人:國家電網公司, 江蘇省電力公司, 江蘇方天電力技術有限公司