朱永利+劉少波+王方

摘要：隨著智能化電網(wǎng)的建設(shè)過程，越來越多的電網(wǎng)系統(tǒng)監(jiān)測(cè)數(shù)據(jù)被傳回來在云平臺(tái)上進(jìn)行檢測(cè)和診斷。針對(duì)在集群環(huán)境下，缺乏專有的變壓器故障診斷模型；而隨機(jī)森林在多分類問題中，準(zhǔn)確率高，不容易出現(xiàn)過擬合但是特征最好離散等特點(diǎn)；結(jié)合變壓器三比值法可以讓連續(xù)的變壓器油中溶解氣體離散化，進(jìn)而可以通過隨機(jī)森林進(jìn)行分類；而Spark環(huán)境可以提供一個(gè)并行的分布式的環(huán)境，和在內(nèi)存上的計(jì)算可以加快運(yùn)算的速度。基于Spark框架提出了三比值和隨機(jī)森林結(jié)合的并行變壓器故障診斷模型，并行的對(duì)變壓器油中溶解氣體數(shù)據(jù)集進(jìn)行故障診斷，提高了變壓器故障診斷的效率，有利于應(yīng)對(duì)在極端情況下，可能面臨的井噴式報(bào)警數(shù)據(jù)處理問題。

關(guān)鍵詞：變壓器；故障診斷；隨機(jī)森林；Spark；三比值法

中圖分類號(hào)：TP306+.3 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）27-0221-04

Abstract： With the construction of intelligent power grid， more and more monitoring data of power grid system is transmitted back to the cloud platform for detection and diagnosis. The fault diagnosis model of transformer in cluster environment is lacking. And the random forest in the multi-classification problem， the accuracy is high， it is not easy to have to fit but the characteristics are best to take discrete characteristics； Combined with the transformer three-ratio method， the data can be discretized and its characteristics are meaningful， which can satisfy the characteristics of random forest data. The spark environment can provide a distributed environment and computational speed in memory. The training model can be put on it to improve the speed of diagnosis， and to deal with the problem of blowout alarm data which may be faced in extreme cases.

Key word： Transformer； Fault diagnosis； Random Forest； Spark； Three-ratio method

1 概述

在電力系統(tǒng)大數(shù)據(jù)環(huán)境的背景下，隨著電力系統(tǒng)智能化的建設(shè)，越來越多的電力設(shè)備監(jiān)測(cè)裝置安裝到電力系統(tǒng)的各個(gè)環(huán)節(jié)中，為了實(shí)時(shí)確保電力系統(tǒng)的運(yùn)行狀態(tài)，這些監(jiān)測(cè)設(shè)備定時(shí)向數(shù)據(jù)管理中心發(fā)送設(shè)備檢測(cè)數(shù)據(jù)，及時(shí)處理這些數(shù)據(jù)，從而判斷電力系統(tǒng)設(shè)備的運(yùn)行狀況與健康狀況，對(duì)電力系統(tǒng)具有重要的意義。其中包括變壓器運(yùn)行中油中溶解的各種氣體的含量。這些狀態(tài)監(jiān)測(cè)數(shù)據(jù)能反映變壓器的運(yùn)行狀況是否出現(xiàn)故障，以及出現(xiàn)故障的種類。由此也對(duì)變壓器故障診斷的準(zhǔn)確率和精確度提出了更高的要求。在電力系統(tǒng)大數(shù)據(jù)環(huán)境下，這些電力系統(tǒng)的狀態(tài)監(jiān)測(cè)數(shù)據(jù)有如下的特點(diǎn)。

數(shù)據(jù)規(guī)模大，數(shù)據(jù)具有時(shí)效性、數(shù)據(jù)的價(jià)值密度低。故障數(shù)據(jù)較之于正常數(shù)據(jù)所占比例特別低。已有的單機(jī)故障診斷系統(tǒng)難以滿足要求。在并行框架上進(jìn)行大規(guī)模監(jiān)測(cè)數(shù)據(jù)的存儲(chǔ)，以及實(shí)時(shí)的故障診斷成為了研究熱點(diǎn)。

目前，大數(shù)據(jù)處理技術(shù)在智能電網(wǎng)中主要運(yùn)用到大量數(shù)據(jù)的可視化，采集存儲(chǔ)、數(shù)據(jù)挖掘等領(lǐng)域。對(duì)于海量數(shù)據(jù)處理分為流式處理和批處理兩種方法。以批處理的方式處理數(shù)據(jù)對(duì)實(shí)時(shí)性沒有要求，而對(duì)數(shù)據(jù)的準(zhǔn)確性和全面性要求高。流處理的方式現(xiàn)只注重實(shí)時(shí)計(jì)算、及時(shí)反饋結(jié)果。

Hadoop和Spark是當(dāng)前最流行的大數(shù)據(jù)框架。Hadoop較Spark提出較早，它包括Hadoop的分布式文件系統(tǒng)（HDFS），數(shù)據(jù)分析框架（MapReduce）。智能電網(wǎng)在Hadoop框架上已經(jīng)做了許多研究運(yùn)用。文獻(xiàn)[1]電力系統(tǒng)用戶用電大數(shù)據(jù)特點(diǎn)，基于Hadoop設(shè)計(jì)開發(fā)了一套簡(jiǎn)單負(fù)荷預(yù)測(cè)系統(tǒng)，并用不同規(guī)模數(shù)據(jù)在該系統(tǒng)上進(jìn)行了數(shù)據(jù)集預(yù)測(cè)分析，相比于單機(jī)系統(tǒng)，預(yù)測(cè)精度和效率都得到了提高。文獻(xiàn)[2]利用數(shù)據(jù)挖掘算法在Hadoop上對(duì)測(cè)量系統(tǒng)數(shù)據(jù)進(jìn)行了高效的處理。文獻(xiàn)[3]基于Spark提出了隨機(jī)森林并行的文本分類方法，分類效率上相比于Hadoop隨機(jī)森林并行的對(duì)文本分類，在分類的效率上有了很大的提高。

2 算法原理

2.1 絕緣油產(chǎn)氣原理

變壓器油中絕緣油是由學(xué)多不同的分子量的碳?xì)浠衔锝M成的混合物，其中某些C-C鍵和C-H鍵可能會(huì)因?yàn)榉烹姽收匣蛘哌^熱故障而斷裂分解形成一些游離的自由基，這些自由基馬上聚合形成新的C-H化合物，溶解在變壓器絕緣油中。下面是不同類型故障產(chǎn)生的氣體具有以下規(guī)律。

所以在DGA（Dissolved Gas Analysis，變壓器油中溶解氣體）數(shù)據(jù)包括H2、CH4和C2H6、C2H4、C2H2、CO和CO2。通過對(duì)這些氣體在油中溶解的濃度進(jìn)行判斷，進(jìn)而診斷變壓器運(yùn)行狀態(tài)。

2.2 隨機(jī)森林endprint

2.2.1 決策樹的原理

決策樹是一種樹結(jié)構(gòu)，每個(gè)葉子結(jié)點(diǎn)代表一種類別，而每個(gè)非葉結(jié)點(diǎn)表示數(shù)據(jù)在該特征屬性上的測(cè)試分類，每個(gè)分支代表這個(gè)特征屬性在某個(gè)值域上的輸出。使用決策樹進(jìn)行決策的過程就是從根節(jié)點(diǎn)開始，測(cè)試待分類項(xiàng)中相應(yīng)的特征屬性，并按照其值選擇輸出分支，直到到達(dá)葉子結(jié)點(diǎn)，將葉子結(jié)點(diǎn)存放的類別作為決策結(jié)果。

構(gòu)建決策樹的關(guān)鍵在于切分點(diǎn)的選擇，切分點(diǎn)的選擇直接影響這個(gè)決策樹的分類性能。最佳切分點(diǎn)的選擇方法就是量化純度，具體的方法有信息增益，基尼指數(shù)，以及基于距離的劃分。假設(shè)記錄被分為m類，每類的比例是P（i）=第i類的數(shù)目/總數(shù)目。下面是常見的三種量化純度的方法。

三種公式都對(duì)應(yīng)分類的純度，越大表示越“不純”，越小表示“越純”。決策樹構(gòu)建算法

1） 把所有記錄看作一個(gè)節(jié)點(diǎn)。

2） 遍歷每個(gè)變量的每個(gè)分割點(diǎn)，找到最好的分割屬性點(diǎn)。

3） 分割成兩個(gè)結(jié)點(diǎn)M1和M2。

4） 對(duì)M1和M2繼續(xù)分，直到達(dá)到限制的深度，或者純度足夠小。

利用上面的決策樹方法，由于數(shù)據(jù)的噪聲，缺少代表性數(shù)據(jù)，以及多重比較等原因，經(jīng)常會(huì)造成過擬合。雖然可以利用修剪枝葉的方法消除過擬合，但是也達(dá)不到足夠的準(zhǔn)確率。因此決策樹不單獨(dú)用來做最終的分類判定。

2.2.2 隨機(jī)森林原理

隨機(jī)森林是用許多決策樹構(gòu)建的組合分類器。利用訓(xùn)練數(shù)據(jù)隨機(jī)的計(jì)算出許多決策樹，形成一個(gè)森林。然后用這個(gè)森林對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)，選取投票最多的分類。隨機(jī)森林較決策樹大大提高了分類的準(zhǔn)確率。隨機(jī)森林實(shí)現(xiàn)過程：

1） 原始訓(xùn)練集為N，應(yīng)用Bootstrap法有放回地隨機(jī)抽取k個(gè)新的自助樣本集，并由此構(gòu)建k棵決策樹；

2） 每一棵樹的每個(gè)節(jié)點(diǎn)的m個(gè)變量中，通過計(jì)算不純度選擇一個(gè)最具有分類能力的變量作為分類屬性點(diǎn)，變量分類的閾值通過檢查每一個(gè)分類點(diǎn)確定；

3） 每棵樹最大限度地生長(zhǎng)， 不做任何修剪；

4） 將生成的多棵分類樹組成隨機(jī)森林，用隨機(jī)森林分類器對(duì)新的數(shù)據(jù)進(jìn)行判別與分類，分類結(jié)果按樹分類器的投票多少而定。

2.3 基于spark框架的隨機(jī)森林

隨機(jī)森林算法在單機(jī)環(huán)境下很容易實(shí)現(xiàn)，但在并行的分布式環(huán)境下例如是在 Spark 平臺(tái)上，傳統(tǒng)單機(jī)形式的迭代方式必須要進(jìn)行相應(yīng)改進(jìn)才能適用于并行的分布式環(huán)境，這是因?yàn)樵诓⑿械姆植际江h(huán)境下，數(shù)據(jù)也是分布式的，例如在HDFS文件系統(tǒng)上，數(shù)據(jù)就是并行存放在不同的設(shè)備中的。如果算法設(shè)計(jì)不得當(dāng)，會(huì)生成大量的數(shù)據(jù)傳輸操作，例如頻繁的網(wǎng)絡(luò)數(shù)據(jù)傳輸，從而影響算法效率。因此，油中溶解氣體在 Spark 上利用隨機(jī)森林算法分類的實(shí)現(xiàn)，需要進(jìn)行一定的優(yōu)化和改進(jìn)，主要對(duì)隨機(jī)森林算法主要實(shí)現(xiàn)了三個(gè)優(yōu)化策略。

2.3.1 油中溶解氣體用三比值法進(jìn)行屬性離散化

油中溶解氣體濃度值是連續(xù)的值，直接用三比值法進(jìn)行分類準(zhǔn)確率只能達(dá)到60%。而經(jīng)過改進(jìn)的三比值法準(zhǔn)確率也只能達(dá)到80%。

決策樹組成的隨機(jī)森林有望提高診斷的性能。但是決策樹對(duì)連續(xù)的油中溶解氣體濃度值進(jìn)行切分只是經(jīng)過簡(jiǎn)單的數(shù)學(xué)平均切割，切分點(diǎn)并不反應(yīng)任何意義。

所以首先將數(shù)據(jù)用三比值法離散化，在通過在離散的比值編碼選擇切分點(diǎn)更能真實(shí)的反應(yīng)和代表數(shù)據(jù)的實(shí)情。三比值法編碼見表2：

實(shí)驗(yàn)選擇行標(biāo)DL/T722-2000三比值法作為離散化油中溶解氣體濃度值的方法。

2.3.2 隨機(jī)森林并行化的實(shí)現(xiàn)

1） 隨機(jī)森林并行性分析

隨機(jī)森林并行設(shè)計(jì)主要包括文本抽樣的并行設(shè)計(jì)和決策樹的并行構(gòu)建。而文本抽樣時(shí)，抽樣之間的相互獨(dú)立的，因此抽樣過程具有很好的可并行性；文本抽樣完成后，在抽樣樣本的基礎(chǔ)上選擇特征子空間構(gòu)建決策樹，決策樹的構(gòu)造與樣本是一一對(duì)應(yīng)關(guān)系，且前后依賴，因此決策樹的建立同樣具有很好的并行性。

2） 隨機(jī)森林并行設(shè)計(jì)

隨機(jī)森林算法是一種集成分類器，是由很多決策樹組成的一個(gè)綜合的分類器，在原始DGA數(shù)據(jù)抽樣作為決策樹的輸入，然后利用隨機(jī)子空間思想構(gòu)建決策樹，決策樹的構(gòu)建是相互獨(dú)立的，所以有很好的可并行性。隨機(jī)森林算法并行設(shè)計(jì)如圖2：

一個(gè)完整的隨機(jī)森林構(gòu)建過程，首先讀取變壓器DGA數(shù)據(jù)。然后對(duì)其并行的進(jìn)行三比值法標(biāo)準(zhǔn)化。然后對(duì)其抽樣，需要構(gòu)建K棵決策樹，則抽樣K次，并行抽樣得到樣本；每一次抽樣完成后，隨之根據(jù)RDD，樣本-n構(gòu)建抽樣樣本對(duì)用的決策樹RDD—treen，因此決策樹的構(gòu)建也是并行完成的；最后利用Spark中的union算子匯總分散的決策樹，構(gòu)建隨機(jī)森林，算法如下。

2.3.3 基于spark的三比值和隨機(jī)森林結(jié)合的并行變壓器故障診斷

分類模型訓(xùn)練完成后，在對(duì)DGA數(shù)據(jù)分類之前，首先需并行的對(duì)數(shù)據(jù)應(yīng)用三比值法進(jìn)行特征屬性離散化。

（1） DGA數(shù)據(jù)分類并行性分析

隨機(jī)森林分類模型訓(xùn)練完成后，對(duì)每一個(gè)測(cè)試集樣本，去用隨機(jī)森林中的所有弱分類器去判斷其類別，每個(gè)弱分類器輸出一個(gè)類別作為該測(cè)試樣本的類別，然后匯總統(tǒng)計(jì)判斷測(cè)試樣本的最終類別，由此可見，DGA分類時(shí)各測(cè)試樣本之間相互獨(dú)立，因此分類階段具有很好的并行性。

當(dāng)隨機(jī)森林的模型訓(xùn)練完成后，對(duì)所有的測(cè)試數(shù)據(jù)集，并行的用所有的決策樹對(duì)其進(jìn)行類別判斷，每顆決策樹輸出一個(gè)類別作為該數(shù)據(jù)的類別，然后統(tǒng)計(jì)所有類別判斷最終所屬類別，所以，DGA分類時(shí)，各樣本直接相互獨(dú)立，可以并行，各決策樹之間相互獨(dú)立，也可以并行。

（2） DGA數(shù)據(jù)并行性設(shè)計(jì)

隨機(jī)森林并行分類是一個(gè)所有決策樹依次對(duì)每一條測(cè)試集樣本投票的過程，對(duì)不同的測(cè)試樣本的投票可以并行化，投票完成后統(tǒng)計(jì)每條測(cè)試樣本的類別集合，然后取類別最多的類最為最終類，DGA數(shù)據(jù)集分類在Spark下的并行設(shè)計(jì)如圖3endprint

一個(gè)完整的DGA數(shù)據(jù)分類過程，首先從HDFS讀取變壓器油中溶解氣體DGA數(shù)據(jù)，并轉(zhuǎn)換為RDD，然后按照三比值法將其進(jìn)行屬性的離散化，得到直接可以用隨機(jī)森林分類的測(cè)試數(shù)據(jù)集，然后利用隨機(jī)森林模型RDD forest并行的對(duì)各分區(qū)中的測(cè)試集樣本進(jìn)行并行投票。當(dāng)所有決策樹對(duì)一條測(cè)試樣本投票完成后，該樣本被判定的各類別出現(xiàn)次數(shù)，選擇出現(xiàn)次數(shù)最多的分類作為該測(cè)試樣本的最終類別，最后通過Spark的saveAsTextFile算子觸發(fā)所有任務(wù)的執(zhí)行，并將結(jié)果存儲(chǔ)。

2.4 本章小結(jié)

本章分為三小節(jié)，從各個(gè)方面闡述算法的原理。

第一小節(jié)講述了實(shí)驗(yàn)分析的數(shù)據(jù)的來源，即變壓器油中溶解氣體的產(chǎn)氣原理。

第二節(jié)系統(tǒng)地介紹了隨機(jī)森林的原理，從決策樹的原理、構(gòu)建、以及最佳屬性點(diǎn)的選擇，到隨機(jī)森林的原理及其算法的具體流程。

第三小節(jié)提出了針對(duì)變壓器DGA數(shù)據(jù)的隨機(jī)森林分類方法在Spark上的并行設(shè)計(jì)。創(chuàng)新地提出了用三比值法作為DGA數(shù)據(jù)在隨機(jī)森林中的屬性離散化方法，又將其在Spark平臺(tái)上實(shí)現(xiàn)。

3 驗(yàn)證實(shí)驗(yàn)

3.1 標(biāo)準(zhǔn)數(shù)據(jù)集準(zhǔn)確率測(cè)試

IRIS是鳶尾花數(shù)據(jù)集，是一種多重變量分類數(shù)據(jù)集。該數(shù)據(jù)集包含150個(gè)數(shù)據(jù)集，分為3類，每類50個(gè)數(shù)據(jù)，每個(gè)數(shù)據(jù)包含4個(gè)屬性。可通過花萼長(zhǎng)度，花萼寬度，花瓣長(zhǎng)度，花瓣寬度4個(gè)屬性預(yù)測(cè)鳶尾花卉屬于（Setosa，Versicolour，Virginica）三個(gè)種類中的哪一類。

本實(shí)驗(yàn)將150個(gè)數(shù)據(jù)讀入，并隨機(jī)抽取90個(gè)作為訓(xùn)練集，另外60個(gè)數(shù)據(jù)集作為測(cè)試集，來測(cè)試基于spark平臺(tái)的隨機(jī)森林分類準(zhǔn)確率。

測(cè)試結(jié)果可以看出，隨機(jī)森林樹的個(gè)數(shù)為1時(shí)，分類的準(zhǔn)確率就已經(jīng)達(dá)到60%多， 這種情況是隨機(jī)森林的特殊情況，相當(dāng)于用決策樹進(jìn)行分類的準(zhǔn)確率。而隨著隨機(jī)森林樹的增加，其分類的準(zhǔn)確率也在逐漸增加。當(dāng)棵數(shù)達(dá)到20棵時(shí)，其準(zhǔn)確率也基本達(dá)到了97%。再增加樹的棵數(shù)，隨機(jī)森林的準(zhǔn)確率基本保持穩(wěn)定。

3.2 對(duì)變壓器DGA數(shù)據(jù)的分類效果

變壓器DGA數(shù)據(jù)，即油色譜數(shù)據(jù)，指的是變壓器油中溶解的CH4，C2H2，C2H4，C2H6，H2五種氣體，本實(shí)驗(yàn)選取的數(shù)據(jù)為 500條變壓器油中溶解氣體的數(shù)據(jù)，包含五種故障類型，和正常的數(shù)據(jù)，共六種數(shù)據(jù)。

本實(shí)驗(yàn)將該數(shù)據(jù)集隨機(jī)分為兩份，一份用作訓(xùn)練隨機(jī)森林的訓(xùn)練數(shù)據(jù)集，一類用作測(cè)試隨機(jī)森林分類效果的測(cè)試數(shù)據(jù)集。并設(shè)置不同子樹情況下，測(cè)試其分類精度三次取平均值作為該精度下的分類準(zhǔn)確率。

從圖中可以看出在隨機(jī)森林的決策樹的個(gè)數(shù)達(dá)到一定數(shù)目，隨機(jī)森林分類的精確率較決策樹有很大的提高。

3.3 相比于Hadoop 運(yùn)算速度的測(cè)試

應(yīng)用油色譜數(shù)據(jù)中的五種氣體，五種故障，包括正常共六種分類，共501條變壓器故障數(shù)據(jù)，將其按倍數(shù)擴(kuò)大到1萬(wàn)倍。分別在Hadoop 和Spark平臺(tái)上以不同的節(jié)點(diǎn)數(shù)運(yùn)行，對(duì)比其運(yùn)行時(shí)間。

實(shí)驗(yàn)表明節(jié)點(diǎn)較少時(shí)Spark較MapReduce性能提升較大，1個(gè)節(jié)點(diǎn)時(shí)MapReduce的運(yùn)行時(shí)間大約是Spark的40倍，但隨著節(jié)點(diǎn)的增加，集群得到充分利用這種差距會(huì)減小，16個(gè)節(jié)點(diǎn)的時(shí)候，MapReduce的運(yùn)行時(shí)間大約是Spark的16倍，因此同MapReduce相比，Spark下的隨機(jī)森林算法具有更高的效率。

3.4 加速比測(cè)試

仍然使用翻倍后的數(shù)據(jù)集測(cè)試。

圖7中橫軸的單位是結(jié)點(diǎn)的數(shù)量，縱軸的單位是加速的倍數(shù)。紅色曲線是理想情況下加速比，而藍(lán)色是測(cè)試情況下加速比，由于節(jié)點(diǎn)間通信損耗，以及數(shù)據(jù)量小，通信時(shí)間占用運(yùn)算時(shí)間比例變大，造成隨著結(jié)點(diǎn)數(shù)增加，加速比呈下降趨勢(shì)。

4 結(jié)束語(yǔ)

為了提高變壓器故障診斷的準(zhǔn)確率和精確度，提出了基于Spark的隨機(jī)森林和三比值結(jié)合的變壓器故障診斷方法，并對(duì)該算法進(jìn)行了標(biāo)準(zhǔn)數(shù)據(jù)集的分類準(zhǔn)確率測(cè)試和變壓器故障DGA數(shù)據(jù)的分類準(zhǔn)確率測(cè)試，以及和Hadoop進(jìn)行了運(yùn)行速度的比較，最后在不同節(jié)點(diǎn)數(shù)目下，測(cè)試了在Spark平臺(tái)上的加速比。

實(shí)驗(yàn)表明，該算法對(duì)變壓器的故障診斷具有良好的準(zhǔn)確率和很快的診斷速度。在對(duì)大規(guī)模的變壓器故障數(shù)據(jù)的診斷方面將會(huì)有很大的優(yōu)勢(shì)。

實(shí)驗(yàn)缺點(diǎn)是沒有同其他分類算法在Spark平臺(tái)上進(jìn)行比較，后期將會(huì)做這方面的工作。

參考文獻(xiàn)：

[1] 王德文，孫志偉.電力用戶測(cè)大數(shù)據(jù)分析與并行負(fù)荷預(yù)測(cè)[J].中國(guó)電機(jī)工程學(xué)報(bào)，2015，35 （3）：527-537.

[2] 曲朝陽(yáng)，朱莉張士林.基于hadoop的廣域測(cè)量系統(tǒng)數(shù)據(jù)處理[J].電力系統(tǒng)自動(dòng)化，2013，37（4）：92-97.

[3] 羅元帥.基于隨機(jī)森林和Spark的并行文本分類算法研究[D].西南交通大學(xué).2013.

[4] 湖南大學(xué).Spark云服務(wù)環(huán)境下面向大數(shù)據(jù)的隨機(jī)森林并行機(jī)器學(xué)習(xí)方法[p].中國(guó)：105550374.2016.

[5] 王琪，張洪偉.基于Spark計(jì)算模型的隨機(jī)森林的電話量預(yù)測(cè)研究[J].成都信息工程學(xué)院學(xué)報(bào)，2015，30（5）：445-450.

[6] GB/T 7252-2001，變壓器油中溶解氣體分析和判斷導(dǎo)則[S].

[7] 吳生特，歐陽(yáng)敏，等.改進(jìn)型三比值法在變壓器故障診斷中的應(yīng)用[J].水電站機(jī)電技術(shù)，2015，38（8）：13-16.

[8] 陶棟琦，薄翠梅.基于隨機(jī)森林的變壓器故障檢測(cè)方法的研究[J].電子器件.2015，38（4）：840-844.endprint