文/李斌 趙中英 王敏

1 相關(guān)工作

1.1 研究背景及意義

隨著信息化的迅速發(fā)展，大數(shù)據(jù)、云平臺(tái)在電力領(lǐng)域的廣泛應(yīng)用，電力數(shù)據(jù)規(guī)模越來(lái)越龐大，部分?jǐn)?shù)據(jù)的價(jià)值不高，I6000作為電力領(lǐng)域信息化的業(yè)務(wù)平臺(tái)，每天產(chǎn)生大量的數(shù)據(jù)，如何有效的處理數(shù)據(jù)，探測(cè)其中有效的數(shù)據(jù)，及時(shí)的探測(cè)其中有效的數(shù)據(jù)顯得頗為重要，通過(guò)一定的數(shù)據(jù)挖掘和算法對(duì)數(shù)據(jù)進(jìn)行采集和分析，可以快速檢測(cè)到其中的隱藏?cái)?shù)據(jù)和故障數(shù)據(jù)，有助于保證系統(tǒng)安全穩(wěn)定的運(yùn)行，提升運(yùn)維工作效率。

1.2 算法概述

Mitchell定義機(jī)器學(xué)習(xí)為：對(duì)于一個(gè)給定任務(wù)，通過(guò)一個(gè)性能參數(shù)P來(lái)衡量任務(wù)的性能高低，一個(gè)目標(biāo)程序可以從實(shí)例中或者經(jīng)驗(yàn)中進(jìn)行學(xué)習(xí)，通過(guò)學(xué)習(xí)，這個(gè)目標(biāo)程序?qū)τ诮o定任務(wù)的處理效率和性能就會(huì)提高。本文以T作為給定的任務(wù)，E作為訓(xùn)練樣本，性能的度量參數(shù)設(shè)置為P，經(jīng)過(guò)訓(xùn)練集E的訓(xùn)練以后，采用新的測(cè)試集進(jìn)行測(cè)試，觀測(cè)參數(shù)P的變化。結(jié)合I6000接口數(shù)據(jù)的特點(diǎn)，本文采用的是無(wú)監(jiān)督學(xué)習(xí)法，無(wú)監(jiān)督K-means算法流程為：

給定const值K，從測(cè)試集中選擇一個(gè)random M 值作為聚類中心。對(duì)于測(cè)試集中的每一個(gè)點(diǎn)w(x,y)，計(jì)算點(diǎn)w到M的距離D(x)，公式如下：

圖1：K值的選取

從測(cè)試集中選取D(x)較大的點(diǎn)作為新的聚類中心：a.同理，對(duì)于測(cè)試集中的每個(gè)點(diǎn)，計(jì)算其和最新聚類中心的距離D(x)，并將結(jié)果保存，Sum(D(x)=所有保存結(jié)果之和。b.重新選擇隨機(jī)值，通過(guò)同樣的方法計(jì)算新的聚類中心。Sum(D(x)*Randomr=r，currSum += D(x)，循環(huán)遍歷直到其currSum>r。得到種子點(diǎn)。

重復(fù)重復(fù)上述步驟，至數(shù)量M=k即可。對(duì)測(cè)試集中所有測(cè)試點(diǎn)與k個(gè)中心的距離進(jìn)行計(jì)算。將最小的距離記為Ki。計(jì)算所有的檢測(cè)框后，重新計(jì)算每一類的質(zhì)心。再重復(fù)計(jì)算，直到聚類中心的變化小于5%，最終輸出k個(gè)坐標(biāo)的x和y。

2 數(shù)據(jù)集選擇

本文采用的數(shù)據(jù)都是I6000接口的測(cè)試數(shù)據(jù)，經(jīng)過(guò)清理、集成、選擇、歸一化等過(guò)程。使用的數(shù)據(jù)都是測(cè)試環(huán)境中的真實(shí)數(shù)據(jù)。在數(shù)據(jù)選擇前，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，刪除不符合字段類型等錯(cuò)誤數(shù)據(jù)。量化數(shù)據(jù)進(jìn)行歸一化處理。公式如下：x*=(x-min)/(max-min)把數(shù)據(jù)變?yōu)椋?-1）區(qū)間進(jìn)行分析。

3 實(shí)驗(yàn)過(guò)程

3.1 K-means算法K值的選取

本文通過(guò)測(cè)試K值和聚類后平方誤差的關(guān)系，繪制圖表，如圖1所示，隨著K值的增大，平均誤差逐漸趨于平穩(wěn)，當(dāng)K值增大到6以后，平均誤差基本不再發(fā)生變化。

3.2 對(duì)數(shù)據(jù)進(jìn)行聚類

在選定k值后，對(duì)于給定的I6000接口數(shù)據(jù)進(jìn)行聚類，聚類完成后，得到對(duì)應(yīng)的數(shù)據(jù)分析的結(jié)果分布，本文實(shí)驗(yàn)結(jié)果顯示，數(shù)據(jù)呈現(xiàn)具有規(guī)律性，不同類型的數(shù)據(jù)會(huì)分布在一定的區(qū)域內(nèi)。不同區(qū)域的數(shù)據(jù)代表不同的數(shù)據(jù)結(jié)果和導(dǎo)向。

4 結(jié)語(yǔ)

本文通過(guò)I6000測(cè)試環(huán)境中的實(shí)際數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行了聚類分析和深度學(xué)習(xí)，通過(guò)測(cè)試發(fā)現(xiàn)，I6000的接口數(shù)據(jù)可以通過(guò)聚類分析的方法使得結(jié)果呈現(xiàn)不同的類型，便于對(duì)系統(tǒng)的故障和敏感信息的定位，同時(shí)解決了I6000數(shù)據(jù)延遲問(wèn)題，本文只需要在I6000接口采集相應(yīng)的數(shù)據(jù)進(jìn)行處理，無(wú)需通過(guò)延遲或者定期傳輸。