高原 張勇 寧劍 顧文杰 陳鵬

摘? ?要：針對(duì)傳統(tǒng)的主備切換方法只能支持雙機(jī)，僅支持心跳一種判斷標(biāo)準(zhǔn)，需要人工介入進(jìn)行切換，且存在單點(diǎn)故障等問題，提出了一種基于細(xì)粒度應(yīng)用管理的多機(jī)主備冗余機(jī)制。該機(jī)制通過使用細(xì)粒度應(yīng)用管理、多種條件的故障檢測(cè)、分布式狀態(tài)轉(zhuǎn)換等技術(shù)，實(shí)現(xiàn)了多機(jī)主備冗余和資源充分利用，并且切換過程無需人工干預(yù)。最后通過多場(chǎng)景下的多次測(cè)試，驗(yàn)證了本機(jī)制在功能、性能方面的良好表現(xiàn)。多機(jī)冗余機(jī)制已在國(guó)調(diào)、華北、江蘇等多個(gè)調(diào)控機(jī)構(gòu)得到了應(yīng)用。

關(guān)鍵詞：主備;冗余;故障檢測(cè);心跳;切換

中圖分類號(hào)：TP3-05? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Design and Implementation of the Fine-grained Multi-machine

Redundancy Mechanism for Power Grid Dispatching and Control Systems

GAO Yuan1，2，3 ZHANG Yong4，NING Jian4，GU Wen-jie1，2，3，CHEN Peng1，2，3

（1.NARI Group Corporation（State Grid Electric Power Research Institute），Nanjing，Jiangsu 211106，China;

2.NARI Technology Development Co. Ltd. ，Nanjing，Jiangsu 211106，China;

3.State Key Laboratory of Smart Grid Protection and Control，Nanjing，Jiangsu 211106，China;

4. North China Branch of State Grid Corporation of China，Beijing 100053，China）

Abstract：The traditional active/standby switching methods can only support two machines，only support heartbeat for judging standard，manual intervention is required to perform the switch，have problems such as single point of failure and so on. A fine-grained multi-machine redundancy mechanism for power grid dispatching and control system is proposed. Through the use of fine grained application management technology，fault detection in a variety of conditions，distributed state transformation，this mechanism realizes the redundancy and resource utilization of multi-machine cluster. And there is no manual intervention during switch process. Finally，several experiments in different scenarios were conducted to verify the function and performance of the mechanism in this paper. The redundancy mechanism of this paper is adopted in the power grid dispatching and control system such as State Grid，North China，Jiangsu and so on.

Key words：active/standby;redundancy;fault detection;heartbeat;switch

隨著特高壓、互聯(lián)大電網(wǎng)的發(fā)展[1-3]，全網(wǎng)數(shù)據(jù)規(guī)模的急劇增長(zhǎng)，電網(wǎng)數(shù)據(jù)處理相關(guān)的應(yīng)用也越來越豐富。智能電網(wǎng)調(diào)控系統(tǒng)向著集群化和服務(wù)化方向發(fā)展[4-5]。傳統(tǒng)的單機(jī)運(yùn)行所有應(yīng)用的方式不再滿足要求。同時(shí)電網(wǎng)調(diào)控系統(tǒng)的實(shí)時(shí)特性也決定了對(duì)安全機(jī)制的高要求[6]。因此迫切需要一種適應(yīng)多機(jī)環(huán)境，切換快速的高可用冗余管理機(jī)制。

目前高可用管理機(jī)制的研究一般限于兩個(gè)節(jié)點(diǎn)的一主一備方式，并且有諸多局限性。如文獻(xiàn)[7中主備機(jī)配置相同的IP，采用心跳互相監(jiān)測(cè)，此方案下備機(jī)平時(shí)不工作，造成了一半的資源浪費(fèi)，且只支持雙機(jī)互備。

文獻(xiàn)[8]中僅有主機(jī)對(duì)外提供服務(wù)，備機(jī)盡管不服務(wù)但CPU也在全速運(yùn)轉(zhuǎn)，因?yàn)樾鑿木W(wǎng)絡(luò)收取同樣數(shù)量的報(bào)文。切換時(shí)需要人工操作控制臺(tái)。文獻(xiàn)[9]中由一個(gè)虛擬IP對(duì)外提供服務(wù)。但是同一時(shí)刻依然只能一臺(tái)主機(jī)提供服務(wù)。

文獻(xiàn)[10]描述了一種協(xié)商協(xié)議用于主備決策問題，但是僅設(shè)置了一個(gè)bit用于主備標(biāo)識(shí)，所以僅能用于雙機(jī)互備。文獻(xiàn)[11]采用類似的狀態(tài)字，但只適用于雙機(jī)，如果擴(kuò)展為多機(jī)，所有設(shè)備的軟件都需更換。

文獻(xiàn)[12]描述了可用于兩個(gè)以上節(jié)點(diǎn)的數(shù)據(jù)服務(wù)系統(tǒng)的主備機(jī)切換方法。但是切換時(shí)需要獲取一個(gè)全局鎖，這樣就引入了一個(gè)中心節(jié)點(diǎn)，給系統(tǒng)帶來了單點(diǎn)故障問題。

文獻(xiàn)[13]用雙網(wǎng)的拓?fù)浣Y(jié)構(gòu)對(duì)心跳進(jìn)行了保護(hù)，但是軟件協(xié)議只支持雙機(jī)互備。文獻(xiàn)[14]提出了三重心跳，判斷條件更加豐富。但是主備切換仍然只支持雙機(jī)。

綜上所述，在解決主備切換問題時(shí)，現(xiàn)有文獻(xiàn)中的方法和策略存在以下不足：1）僅能支持兩個(gè)節(jié)點(diǎn)，并且僅有主機(jī)對(duì)外提供服務(wù);2）判斷條件單一，僅依據(jù)心跳是否存在;3）切換過程需要人工干預(yù);4）存在單點(diǎn)故障。

考慮到上述方案的不足，提出了一種適用于電網(wǎng)調(diào)控系統(tǒng)這類實(shí)時(shí)系統(tǒng)的多機(jī)主備冗余機(jī)制，使用細(xì)粒度的應(yīng)用管理方法提高了資源利用率，使用狀態(tài)同步技術(shù)支持多節(jié)點(diǎn)互備，基于多種切換條件，使用分布式的應(yīng)用狀態(tài)轉(zhuǎn)換技術(shù)完成自動(dòng)的主備切換。

1? ?調(diào)控系統(tǒng)主備冗余功能和性能需求

智能電網(wǎng)調(diào)度控制系統(tǒng)是一種實(shí)時(shí)類系統(tǒng)，處理的數(shù)據(jù)量大，實(shí)時(shí)性和可靠性要求高，因此對(duì)其主備冗余提出了以下功能和性能需求：

1.1? ?多機(jī)主備冗余

系統(tǒng)僅兩臺(tái)服務(wù)器運(yùn)行無論在性能和功能上都不滿足實(shí)時(shí)系統(tǒng)需求。如果兩臺(tái)服務(wù)器同時(shí)崩潰則系統(tǒng)功能將完全失去。因此迫切需要能支持多臺(tái)服務(wù)器的主備冗余機(jī)制。

1.2? ?資源充分利用

主機(jī)工作備機(jī)閑置的方案不能滿足大數(shù)據(jù)量處理的需求。且全部功能都在一個(gè)節(jié)點(diǎn)部署的方案，一旦主機(jī)崩潰，對(duì)系統(tǒng)瞬間造成的影響太大。因此需要兩臺(tái)以上服務(wù)器每臺(tái)都能提供部分服務(wù)的主備冗余機(jī)制。

1.3? ?多種切換條件

僅依賴心跳是否存在進(jìn)行判斷不能滿足復(fù)雜系統(tǒng)的實(shí)際需求。因?yàn)榭赡艽嬖谛奶?，但是?yīng)用進(jìn)程不正常的情況。因此系統(tǒng)需提供多種判斷條件進(jìn)行主備切換。

1.4? ?無需人工干預(yù)

當(dāng)發(fā)現(xiàn)故障時(shí)由人工選擇一個(gè)節(jié)點(diǎn)切換為主機(jī)可以避免沖突，但時(shí)效性太差。電網(wǎng)調(diào)控系統(tǒng)需要實(shí)時(shí)自動(dòng)切換主機(jī)的方案。

1.5? ?無需中心節(jié)點(diǎn)

設(shè)置全局鎖、仲裁節(jié)點(diǎn)或者協(xié)調(diào)節(jié)點(diǎn)的類似方案會(huì)給整個(gè)系統(tǒng)帶來單點(diǎn)故障，一旦中心節(jié)點(diǎn)故障，整個(gè)系統(tǒng)的冗余功能將失去。因此冗余管理方案不能設(shè)置中心節(jié)點(diǎn)。

2? ?調(diào)控系統(tǒng)主備冗余方案及關(guān)鍵技術(shù)

2.1? ?總體方案

調(diào)控系統(tǒng)多機(jī)主備冗余方案主要采用細(xì)粒度的應(yīng)用部署方法，并在各個(gè)節(jié)點(diǎn)間進(jìn)行應(yīng)用狀態(tài)的同步和數(shù)據(jù)的同步，基于多種條件發(fā)現(xiàn)故障后，進(jìn)行應(yīng)用狀態(tài)的轉(zhuǎn)換?？傮w架構(gòu)圖如圖1所示。

圖1中各個(gè)節(jié)點(diǎn)可以細(xì)粒度的部署多個(gè)應(yīng)用，同一個(gè)應(yīng)用在各個(gè)節(jié)點(diǎn)的實(shí)例中，僅有一個(gè)為主實(shí)例，其他為備實(shí)例。每個(gè)應(yīng)用的狀態(tài)通過心跳兼狀態(tài)報(bào)文發(fā)送到其他節(jié)點(diǎn)，應(yīng)用的數(shù)據(jù)通過消息報(bào)文進(jìn)行同步。同時(shí)每個(gè)節(jié)點(diǎn)運(yùn)行進(jìn)程管理和網(wǎng)絡(luò)管理進(jìn)行進(jìn)程和網(wǎng)絡(luò)故障判斷，故障發(fā)生后通過狀態(tài)轉(zhuǎn)換技術(shù)選舉出新的主機(jī)進(jìn)行應(yīng)用切換。本文描述的關(guān)鍵技術(shù)有效滿足了多機(jī)主備冗余、資源充分利用、多種切換條件、無需人工干預(yù)、無中心節(jié)點(diǎn)等需求。下面進(jìn)行各項(xiàng)技術(shù)的詳細(xì)介紹。

2.2? ?細(xì)粒度應(yīng)用管理技術(shù)

調(diào)控系統(tǒng)中業(yè)務(wù)功能都以應(yīng)用的形式存在，應(yīng)用下屬一定數(shù)量的進(jìn)程和數(shù)據(jù)庫表。啟動(dòng)應(yīng)用即啟動(dòng)了相應(yīng)的進(jìn)程，系統(tǒng)中即具備了對(duì)應(yīng)的業(yè)務(wù)功能。本文的主備冗余機(jī)制不是以節(jié)點(diǎn)（即服務(wù)器）為單位，而是以應(yīng)用為單位。

基于應(yīng)用級(jí)別的主備冗余機(jī)制下每個(gè)節(jié)點(diǎn)都可運(yùn)行某幾個(gè)應(yīng)用的主機(jī)，僅要求同一個(gè)應(yīng)用的主備不在同一個(gè)節(jié)點(diǎn)上。多個(gè)應(yīng)用的主備機(jī)可均衡部署在多個(gè)節(jié)點(diǎn)上，不僅限于兩個(gè)節(jié)點(diǎn)，如圖2所示。不會(huì)出現(xiàn)雙機(jī)互備時(shí)備機(jī)資源完全閑置的情況。

2.3? ?多條件故障檢測(cè)技術(shù)

本文的機(jī)制不僅僅使用心跳作為切換判斷依據(jù)。心跳存在并不能保證軟件功能正常。軟件故障檢測(cè)主要是檢測(cè)進(jìn)程的狀態(tài)，可通過周期性檢測(cè)或主動(dòng)匯報(bào)機(jī)制檢測(cè)到關(guān)鍵進(jìn)程故障，進(jìn)一步觸發(fā)進(jìn)程所屬應(yīng)用的故障，最后根據(jù)2.5節(jié)中的算法觸發(fā)應(yīng)用主備切換。

同時(shí)本文還檢測(cè)網(wǎng)絡(luò)狀態(tài)，因?yàn)榉?wù)器和工作站可能連接在不同的接入層交換機(jī)，再連接一個(gè)核心交換機(jī)。這樣某個(gè)服務(wù)器的接入層交換機(jī)與核心交換機(jī)斷開，則其功能不能被工作站使用，因此需要特殊的網(wǎng)絡(luò)檢測(cè)模塊，如果檢測(cè)出它與核心交換機(jī)斷開則判斷為服務(wù)器斷網(wǎng)。

另外為了提高切換速度，本文故障冗余機(jī)制提供一種加速判斷網(wǎng)絡(luò)故障的方法。具體步驟是在第一次超時(shí)未收到心跳報(bào)文時(shí)，立刻主動(dòng)向疑似斷網(wǎng)節(jié)點(diǎn)發(fā)出ping報(bào)文，不再等待后續(xù)心跳。例如連續(xù)進(jìn)行3次ping操作，如果均未得到回復(fù)，則判斷疑似節(jié)點(diǎn)斷網(wǎng)。ping操作的時(shí)間間隔可配置。使用ping報(bào)文檢測(cè)比心跳更加準(zhǔn)確快速，因?yàn)槭怯蓪?duì)方節(jié)點(diǎn)的操作系統(tǒng)給出回復(fù)，而不是依賴用戶層程序發(fā)出的心跳。

2.4? ?應(yīng)用狀態(tài)同步技術(shù)

本文的主備冗余機(jī)制中，心跳不是判斷故障的唯一手段，但仍然是主要方法之一。但是對(duì)心跳技術(shù)做出了改進(jìn)。不僅僅用于判斷節(jié)點(diǎn)是否在線，同時(shí)具備傳輸應(yīng)用狀態(tài)信息的功能。心跳報(bào)文中包括本節(jié)點(diǎn)的主機(jī)名、應(yīng)用名稱、應(yīng)用優(yōu)先級(jí)、應(yīng)用狀態(tài)、網(wǎng)絡(luò)狀態(tài)等信息。每個(gè)節(jié)點(diǎn)使用組播將心跳報(bào)文發(fā)出，避免產(chǎn)生過多的網(wǎng)絡(luò)連接。每個(gè)節(jié)點(diǎn)收到其他節(jié)點(diǎn)的心跳報(bào)文后將其他節(jié)點(diǎn)應(yīng)用狀態(tài)信息存儲(chǔ)在本節(jié)點(diǎn)共享內(nèi)存中，為2.5中介紹的狀態(tài)轉(zhuǎn)換提供信息來源。系統(tǒng)應(yīng)用狀態(tài)轉(zhuǎn)換時(shí)，每個(gè)節(jié)點(diǎn)自動(dòng)根據(jù)自身的信息，通過一致的算法向同一個(gè)目標(biāo)狀態(tài)轉(zhuǎn)換，不需要中心節(jié)點(diǎn)參與，系統(tǒng)不存在單點(diǎn)故障。

2.5? ?分布式應(yīng)用狀態(tài)轉(zhuǎn)換技術(shù)

主備冗余機(jī)制為每個(gè)應(yīng)用設(shè)立了初始化、備機(jī)、主機(jī)、斷網(wǎng)、故障等狀態(tài)。處于主機(jī)狀態(tài)的應(yīng)用為調(diào)控系統(tǒng)其他模塊提供服務(wù)或持續(xù)的運(yùn)行計(jì)算業(yè)務(wù)。備機(jī)狀態(tài)的應(yīng)用下的進(jìn)程一般處于空轉(zhuǎn)狀態(tài)，但是可以實(shí)時(shí)接管業(yè)務(wù)，隨時(shí)升級(jí)為主機(jī)狀態(tài)。

如圖5所示，初始化是應(yīng)用所屬進(jìn)程正在啟動(dòng)的狀態(tài)。當(dāng)備機(jī)發(fā)現(xiàn)沒有其他主機(jī)且本機(jī)優(yōu)先級(jí)最高，則升為主機(jī)。當(dāng)主機(jī)發(fā)現(xiàn)有另一個(gè)主機(jī)且本機(jī)優(yōu)先級(jí)不是最高，則降為本機(jī)。斷網(wǎng)和故障為2.3中故障檢測(cè)后到達(dá)的狀態(tài)。主機(jī)斷網(wǎng)或故障后會(huì)有另一個(gè)備機(jī)實(shí)時(shí)升級(jí)為主機(jī)。故障或斷網(wǎng)恢復(fù)后首先變?yōu)閭錂C(jī)狀態(tài)。

優(yōu)先級(jí)根據(jù)數(shù)據(jù)庫中配置的節(jié)點(diǎn)順序產(chǎn)生，由于配置錯(cuò)誤導(dǎo)致節(jié)點(diǎn)優(yōu)先級(jí)沖突時(shí)，本文主備冗余機(jī)制采用比較節(jié)點(diǎn)IP地址的方法決定是否升為主機(jī)，優(yōu)先級(jí)數(shù)值相同時(shí)IP數(shù)值越小則優(yōu)先級(jí)越高。

下面將結(jié)合示意圖具體描述一個(gè)主機(jī)切換的過程。

圖6中包括一個(gè)系統(tǒng)中的部分節(jié)點(diǎn)，即運(yùn)行SCADA應(yīng)用的4臺(tái)服務(wù)器，每個(gè)服務(wù)器上運(yùn)行了PUBLIC和SCADA應(yīng)用。它們的優(yōu)先級(jí)為1、2、3、4。表示sca1節(jié)點(diǎn)在應(yīng)用配置表中的SCADA條目中排名最靠前，sca2次之，其他節(jié)點(diǎn)同理。如果某一個(gè)時(shí)刻sca1的SCADA應(yīng)用下關(guān)鍵進(jìn)程故障，則其上的SCADA應(yīng)用變?yōu)楣收蠣顟B(tài)，此時(shí)其他3個(gè)節(jié)點(diǎn)會(huì)立刻發(fā)現(xiàn)系統(tǒng)中沒有SCADA主機(jī)，然后根據(jù)自身節(jié)點(diǎn)的優(yōu)先級(jí)，sca2會(huì)自動(dòng)升級(jí)為SCADA主機(jī)，sca3和4發(fā)現(xiàn)自身優(yōu)先級(jí)在剩余健康節(jié)點(diǎn)中不是最高，則繼續(xù)保持備機(jī)狀態(tài)運(yùn)行。切換完成后的狀態(tài)如圖7所示。SCADA應(yīng)用的切換不影響PUBLIC應(yīng)用的狀態(tài)，體現(xiàn)了細(xì)粒度管理。本機(jī)制下系統(tǒng)只剩下一個(gè)節(jié)點(diǎn)也能正常運(yùn)行，體現(xiàn)了多機(jī)冗余。

3? ?測(cè)試驗(yàn)證和現(xiàn)場(chǎng)實(shí)施效果

功能測(cè)試通過模擬故障然后檢查系統(tǒng)最終的狀態(tài)驗(yàn)證切換的正確性。性能測(cè)試通過編寫應(yīng)用狀態(tài)查詢工具，查詢共享內(nèi)存中某個(gè)應(yīng)用的實(shí)時(shí)狀態(tài)，并顯示狀態(tài)變化的時(shí)間點(diǎn)。最后展示了本文的多機(jī)冗余機(jī)制在現(xiàn)場(chǎng)實(shí)施的效果。

3.1? ?故障切換功能測(cè)試

故障切換功能測(cè)試分為關(guān)鍵進(jìn)程故障和網(wǎng)絡(luò)故障兩種情況分別進(jìn)行測(cè)試。如圖8（a）所示，系統(tǒng)中的4個(gè)節(jié)點(diǎn)上配置了PUBLIC、SCADA、DATA_SRV三種應(yīng)用。SCADA應(yīng)用在4個(gè)節(jié)點(diǎn)的優(yōu)先級(jí)分別是1、2、3、4。某一時(shí)刻人為將sysadm1節(jié)點(diǎn)的SCADA應(yīng)用下的關(guān)鍵進(jìn)程停止，可觀察到如圖8（b）所示，sysadm1的SCADA應(yīng)用變?yōu)楣收蠣顟B(tài)，優(yōu)先級(jí)為2的sysadm2的SCADA應(yīng)用切換為主機(jī)，進(jìn)程故障切換功能正確。

網(wǎng)絡(luò)故障切換測(cè)試前首先恢復(fù)各個(gè)節(jié)點(diǎn)的應(yīng)用狀態(tài)到圖8（a）的狀態(tài)。然后直接拔出sysadm1節(jié)點(diǎn)的兩根網(wǎng)線。如果圖9所示，sysadm1的應(yīng)用均變?yōu)閿嗑W(wǎng)狀態(tài)，sysadm2的PUBLIC、SCADA應(yīng)用自動(dòng)切換為主機(jī)。網(wǎng)絡(luò)故障切換功能正確。

從圖8和圖9中可以看出DATA_SRV的主機(jī)始終在優(yōu)先級(jí)為2的節(jié)點(diǎn)上。這是因?yàn)楸疚牡臋C(jī)制保證了第一個(gè)啟動(dòng)的節(jié)點(diǎn)為主機(jī)，后續(xù)啟動(dòng)的節(jié)點(diǎn)不會(huì)爭(zhēng)搶正常的主機(jī)。

3.2? ?故障切換性能測(cè)試

測(cè)試時(shí)選擇某個(gè)應(yīng)用下的某個(gè)關(guān)鍵進(jìn)程，將程序文件改名，使用kill命令停止進(jìn)程，對(duì)各個(gè)狀態(tài)變化的時(shí)間點(diǎn)進(jìn)行相減得出性能數(shù)據(jù)，重復(fù)測(cè)試10次取得平均值如下表。

整個(gè)切換的過程是先由進(jìn)程管理程序發(fā)現(xiàn)關(guān)鍵進(jìn)程故障，然后把共享內(nèi)存中的進(jìn)程故障標(biāo)志位置為1，然后主備冗余程序發(fā)現(xiàn)后置本機(jī)應(yīng)用故障標(biāo)志位為1并用組播發(fā)送出去，其他節(jié)點(diǎn)收到后由優(yōu)先級(jí)最高的備機(jī)自動(dòng)升為主機(jī)，整個(gè)過程大約需要237ms。

3.3? ?網(wǎng)絡(luò)中斷引發(fā)的應(yīng)用切換測(cè)試

測(cè)試時(shí)直接拔除某個(gè)應(yīng)用主機(jī)所在服務(wù)器端所有網(wǎng)線，在將會(huì)升為主機(jī)的節(jié)點(diǎn)使用工具程序查詢時(shí)間點(diǎn)。對(duì)各個(gè)狀態(tài)變化的時(shí)間點(diǎn)進(jìn)行相減得出性能數(shù)據(jù)，重復(fù)測(cè)試10次取得平均值如下表。

整個(gè)切換的過程是主備冗余程序發(fā)現(xiàn)某個(gè)節(jié)點(diǎn)心跳超時(shí)，心跳周期是可配置的，本文測(cè)試時(shí)設(shè)置為500 ms一個(gè)周期，3個(gè)周期收不到心跳則認(rèn)為超時(shí)。超時(shí)后立刻判斷相應(yīng)節(jié)點(diǎn)的應(yīng)用全部為故障，優(yōu)先級(jí)高的節(jié)點(diǎn)相應(yīng)的自動(dòng)升為主機(jī)，整個(gè)過程大約需要1675 ms。

4? ?網(wǎng)絡(luò)配置方案和經(jīng)濟(jì)性分析

主備冗余算法既可以運(yùn)行在單網(wǎng)環(huán)境也可運(yùn)行在雙網(wǎng)環(huán)境。但是在單網(wǎng)環(huán)境下，服務(wù)器的一塊網(wǎng)卡損壞就會(huì)導(dǎo)致該節(jié)點(diǎn)離線。

如果運(yùn)行在雙網(wǎng)冗余環(huán)境則系統(tǒng)的安全性將大大提升，任意服務(wù)器僅一塊網(wǎng)卡故障時(shí)仍然能夠正常運(yùn)行，全系統(tǒng)狀態(tài)也不受影響。雙網(wǎng)冗余的網(wǎng)絡(luò)拓?fù)鋱D如下所示。

雙網(wǎng)卡冗余環(huán)境中每個(gè)節(jié)點(diǎn)安裝兩塊網(wǎng)卡，將每個(gè)節(jié)點(diǎn)的兩塊網(wǎng)卡分別接在兩臺(tái)交換機(jī)上，在網(wǎng)絡(luò)拓?fù)渲袑膳_(tái)交換機(jī)相互級(jí)聯(lián)。此方案中兩臺(tái)交換機(jī)均配置IP地址，如果主機(jī)某塊網(wǎng)卡不能ping通交換機(jī)地址，則切換此網(wǎng)卡的工作IP地址到另一塊正常網(wǎng)卡，此時(shí)服務(wù)器仍然能正常工作。

從經(jīng)濟(jì)性角度分析，每個(gè)服務(wù)器需使用兩塊網(wǎng)卡，因?yàn)榉?wù)器一般自帶兩塊網(wǎng)卡或兩個(gè)網(wǎng)口，不需要額外增加成本。只需要增加一臺(tái)三層交換機(jī)。以背板帶寬較高的華為千兆三層交換機(jī)為例，價(jià)格約1萬元。除去級(jí)聯(lián)口和上行口外可連接22臺(tái)服務(wù)器，按照普通X86服務(wù)器5萬元左右計(jì)算，成本大約增加0.9%，但系統(tǒng)可靠性大大增加。并且本文算法不強(qiáng)制要求使用雙網(wǎng)結(jié)構(gòu)，單網(wǎng)環(huán)境也可運(yùn)行，此時(shí)不增加系統(tǒng)成本。

5? ?結(jié)? ?論

論述并實(shí)現(xiàn)了電網(wǎng)調(diào)控系統(tǒng)中的一種多機(jī)主備冗余機(jī)制。該方法通過使用細(xì)粒度部署和分布式狀態(tài)轉(zhuǎn)換等技術(shù)，實(shí)現(xiàn)了對(duì)多機(jī)主備冗余、多種切換條件的支持，并且切換過程無需人工干預(yù)。最后的功能測(cè)試表明本機(jī)制能很好的管理多機(jī)之間的故障切換。性能測(cè)試表明，在確認(rèn)故障源后，切換過程非常迅速。該機(jī)制已經(jīng)在國(guó)調(diào)、華北、江蘇等多個(gè)調(diào)控實(shí)時(shí)系統(tǒng)中得到了應(yīng)用，其可靠性、穩(wěn)定性和性能能夠滿足現(xiàn)場(chǎng)的運(yùn)行需求。

參考文獻(xiàn)

[1]? ? 艾琳，王超，陳為化. 三華特高壓同步聯(lián)網(wǎng)及其對(duì)調(diào)度方式的影響[J]. 能源技術(shù)經(jīng)濟(jì)，2011，23（5）：38—41.

[2]? ?汪際峰，沈國(guó)榮.大電網(wǎng)調(diào)度智能化的若干關(guān)鍵技術(shù)問題[J].電力系統(tǒng)自動(dòng)化，2012，36（1）：10—16.

[3]? ? 姚建國(guó)，楊勝春，單茂華.面向未來互聯(lián)電網(wǎng)的調(diào)度技術(shù)支持系統(tǒng)架構(gòu)思考[J]. 電力系統(tǒng)自動(dòng)化，2013，37（21）：52—59.

[4]? ? 辛耀中，石俊杰，周京陽，等.智能電網(wǎng)調(diào)度控制系統(tǒng)現(xiàn)狀與技術(shù)展望[J]. 電力系統(tǒng)自動(dòng)化，2015，39（1）：2—8.

[5]? ? 孫名揚(yáng)，高原，嚴(yán)亞勤，等.智能電網(wǎng)調(diào)度控制系統(tǒng)集群化技術(shù)[J]. 電力系統(tǒng)自動(dòng)化，2015，39（1）：31—35.

[6]? ? 國(guó)家電網(wǎng)公司.Q / GDW 1680.41-2015.智能電網(wǎng)調(diào)度控制系統(tǒng)第4-1 部分：實(shí)時(shí)監(jiān)控與預(yù)警類應(yīng)用 電網(wǎng)實(shí)時(shí)監(jiān)控與智能告警[S]，北京，2015.

[7]? ? 張?chǎng)?，黃鑫.電網(wǎng)統(tǒng)一視頻監(jiān)控平臺(tái)部署方案及檢測(cè)技術(shù)研究[J]. 電力信息與通信技術(shù)，2015 ，13 （1）：15—20.

[8]? ? 吳娟，馬永強(qiáng)，劉影.一種基于主備機(jī)快速切換的雙機(jī)容錯(cuò)系統(tǒng)[J]. 計(jì)算機(jī)應(yīng)用，2005 ，25 （8）：1948—1951.

[9]? ? 程艷芬. 實(shí)時(shí)系統(tǒng)雙機(jī)熱備份技術(shù)研究[J].計(jì)算機(jī)光盤軟件與應(yīng)用，2011 （2）：44—46.

[10]? 王江江，李志強(qiáng)，趙亮.雙機(jī)熱備系統(tǒng)的主備切換研究[J]. 鐵道通信信號(hào)，2015，51 （2）：11—12.

[11]? 楊玉成，繆萬勝，樂斌.系統(tǒng)主備份切換關(guān)鍵技術(shù)研究[J]. 航空電子技術(shù)，2013 （1）：20—23.

[12]? 朱建紅，陳柯.數(shù)據(jù)服務(wù)多節(jié)點(diǎn)主備切換設(shè)計(jì)方法[J]. 指揮信息系統(tǒng)與技術(shù)，2012 ，3（6）：55—57.

[13]? 王飛，曹桂均.雙機(jī)熱備系統(tǒng)心跳失效的防護(hù)方案[J]. 鐵路計(jì)算機(jī)應(yīng)用，2013 ，22 （3）：35—37.

[14]? 李江昀，童朝南，彭開香.基于Linux平臺(tái)的過程控制雙機(jī)熱備綜合解決方案[J].計(jì)算機(jī)工程與應(yīng)用，2005 ，41 （30）：218—220.