魏永斌

（中核龍安有限公司，浙江 臺州 317100）

0 引言

近幾年來，國內(nèi)多個核電廠發(fā)生了運行期間主控室突發(fā)全部“黑屏”，即主控室內(nèi)所有操縱員站同時不可用的異常事件。在國內(nèi)目前已經(jīng)應(yīng)用了數(shù)字化儀控系統(tǒng)的核電廠，一般將此類事件歸結(jié)為電廠計算機信息和控制系統(tǒng)不可用事件。一旦電廠所有操縱員站同時“黑屏”，電廠將短時進入類似“盲運”的狀態(tài)，此時核電廠需要按照其特定的事件響應(yīng)規(guī)程迅速做出響應(yīng)，并采取措施進行快速修復(fù)。

考慮到核設(shè)施控制室在安全性和穩(wěn)定性方面的特殊要求，針對所有核設(shè)施，包括核電廠、后處理廠等，在其控制系統(tǒng)設(shè)計及開發(fā)階段就需考慮防范控制室發(fā)生同時“黑屏”事件的措施。本文將參考國內(nèi)核電廠近期發(fā)生的主控室同時“黑屏”事件經(jīng)驗反饋，結(jié)合三代核電機組控制系統(tǒng)設(shè)計、調(diào)試和運行經(jīng)驗，從控制系統(tǒng)結(jié)構(gòu)特點出發(fā)，分析控制室發(fā)生同時“黑屏”事件的情況，并給出建議措施，以用于后續(xù)國內(nèi)核設(shè)施控制系統(tǒng)及控制室設(shè)計參考。

1 國內(nèi)核電廠近期主控室“黑屏”事件總結(jié)分析

在國家核安全局2015年組織編制的《運行核電廠數(shù)字化儀控系統(tǒng)（DCS）異常專題報告》[1]選取了22起相對重要的電廠計算機信息和控制系統(tǒng)（一般稱KIC系統(tǒng)）典型異常進行了分析?？偨Y(jié)近幾年幾起典型的核電廠主控室“黑屏”事件如下：

1）2014年12月，國內(nèi)某核電廠2號機組由于冗余歷史數(shù)據(jù)服務(wù)器數(shù)據(jù)同步過程與中央數(shù)據(jù)服務(wù)器數(shù)據(jù)交換過程疊加，SAR插入操作時因同步數(shù)據(jù)量大而使CCT超負荷停運，導致主控室操縱員站不可用32min。

2）2015年9月，國內(nèi)某核電廠CN3 進程使SAR7-STR7-GTW1 服務(wù)器CPU消耗過高，導致CCT服務(wù)器運行變慢。在重啟電廠計算機信息和控制系統(tǒng)（KIC）備用的中央數(shù)據(jù)處理服務(wù)器CCT1過程中，出現(xiàn)了主控4臺操縱員站同時不可用的事件。

3）2016年5月，國內(nèi)某核電廠由于DCS時鐘系統(tǒng)中一級母鐘提供的時鐘源信號跳變故障，導致DCS2層與1層的接口服務(wù)器離線，進而導致兩臺機組主控突發(fā)黑屏事件。

上述電廠的DCS監(jiān)控層（一般稱KIC系統(tǒng)）基本運行流程如下：來自儀控1層的數(shù)據(jù)首先進入KIC系統(tǒng)前端處理服務(wù)器（CFR），然后傳輸?shù)街醒霐?shù)據(jù)處理服務(wù)器（CCT）進行處理，處理結(jié)果再分別傳輸?shù)綄崟r數(shù)據(jù)處理服務(wù)器（STR）和歷史數(shù)據(jù)存檔服務(wù)器（SAR），操縱員工作站（OWP）則調(diào)用實時數(shù)據(jù)處理服務(wù)器（STR）和歷史數(shù)據(jù)存檔服務(wù)器（SAR）中的數(shù)據(jù)實現(xiàn)電廠監(jiān)控。KIC系統(tǒng)中的前端處理服務(wù)器（CFR）負責連接DCS1層和2層子系統(tǒng)，是1層和2層數(shù)據(jù)的接口服務(wù)器；中央數(shù)據(jù)處理服務(wù)器（CCT）負責所有電廠計算機信息和控制系統(tǒng)（KIC）的數(shù)據(jù)處理；實時數(shù)據(jù)處理服務(wù)器（STR）負責電廠計算機信息和控制系統(tǒng)（KIC）實時數(shù)據(jù)處理和儲存；歷史數(shù)據(jù)存檔服務(wù)器（SAR）負責電廠計算機信息和控制系統(tǒng)（KIC）的歷史數(shù)據(jù)處理和儲存。

分析一些典型事件及KIC系統(tǒng)結(jié)構(gòu)后，總結(jié)出了以下幾個可能導致其主控“黑屏”的風險點：

◆ DCS 2層與1層由不同的DCS平臺構(gòu)建，接口非常關(guān)鍵，由于兩層軟硬件由不同的廠家設(shè)計和供貨，所以兩層系統(tǒng)之間需要建立數(shù)據(jù)接口服務(wù)器（如CFR）進行數(shù)據(jù)交互，該數(shù)據(jù)接口服務(wù)器的可靠性直接影響2層系統(tǒng)監(jiān)控功能的可靠性。

◆ DCS監(jiān)控層數(shù)據(jù)處理量大，進程復(fù)雜，2層在收到1層數(shù)據(jù)后，需要通過各種專用服務(wù)器對所有數(shù)據(jù)進行二次運算和處理，各專用服務(wù)器運算數(shù)據(jù)量大，服務(wù)器之間的任何數(shù)據(jù)、進程沖突或異常等都有可能導致2層監(jiān)控功能喪失。

◆ DCS時鐘系統(tǒng)結(jié)構(gòu)復(fù)雜，故障點多，DCS的1層、2層設(shè)備分別要與其接口的時鐘服務(wù)器對時，同時接口服務(wù)器又要逐級與二級母鐘、一級母鐘進行對時，一旦上游時鐘故障，很容易導致兩層系統(tǒng)時鐘混亂并出現(xiàn)服務(wù)停運。

2 新型核電機組控制系統(tǒng)結(jié)構(gòu)特點及其控制室發(fā)生“黑屏”事件的可能性分析

目前，國內(nèi)已經(jīng)建成或正在新建的新型三代核電機組包括采用美國技術(shù)的AP1000、采用法國技術(shù)的EPR以及中國自主設(shè)計研發(fā)的華龍一號等，其中AP1000國內(nèi)首批建設(shè)的4臺機組均已陸續(xù)商運，研究分析AP1000機組的控制系統(tǒng)結(jié)構(gòu)特點[2]，可以發(fā)現(xiàn)：

1）其控制系統(tǒng)2層與1層基于同一個軟硬件平臺構(gòu)建，故不存在兩層之間設(shè)置專用接口的問題。

非安全級控制系統(tǒng)整體基于一個平臺構(gòu)建，這個平臺覆蓋了控制系統(tǒng)1層（控制與數(shù)據(jù)處理層）和2層（監(jiān)控層）所有功能。在該平臺上，所有的電廠人機接口，包括主控區(qū)的操縱員站、高級操縱員站、墻面大屏以及主控區(qū)以外的工程師站、就地控制站等均作為一個個標準的控制站點，同時“懸掛”在控制系統(tǒng)的高速以太網(wǎng)上。上述這種控制系統(tǒng)1層、2層“渾然一體”的結(jié)構(gòu)，不需要中間數(shù)據(jù)處理服務(wù)器等專用接口設(shè)備。因此，不存在由于中間數(shù)據(jù)接口設(shè)備故障而導致主控室操縱員站全部“黑屏”的可能性。

2）其控制系統(tǒng)網(wǎng)絡(luò)采用標準的開放式實時數(shù)據(jù)傳輸網(wǎng)絡(luò)，網(wǎng)絡(luò)上的所有站點地位平等，獨立工作，單一站點故障并不影響其他站點的正常運行。

非安全級控制系統(tǒng)采用標準的開放式實時數(shù)據(jù)傳輸網(wǎng)絡(luò)，整個網(wǎng)絡(luò)為雙層分布式結(jié)構(gòu)，通過一組根交換機（ROOT級）將下層多組擴展交換機（FAN-OUT級）連接從而構(gòu)成網(wǎng)絡(luò)干線，F(xiàn)AN-OUT級則由8組24口的網(wǎng)絡(luò)交換機組成，以提供足夠的網(wǎng)絡(luò)節(jié)點端口。對整個控制系統(tǒng)網(wǎng)絡(luò)而言，每個交換機端口對應(yīng)一個站點，整個控制系統(tǒng)網(wǎng)絡(luò)中的所有站點處于同一網(wǎng)段，在該網(wǎng)段內(nèi)，所有站點端口地位平等，獨立工作，網(wǎng)絡(luò)數(shù)據(jù)可以被任何站點調(diào)用，任意某個或幾個站點故障并不影響其他站點的正常工作。因此，不存在一些站點故障進而導致整個主控室操縱員站全部“黑屏”的可能。

3）其控制系統(tǒng)網(wǎng)絡(luò)由成熟的商業(yè)化的高速以太網(wǎng)設(shè)備構(gòu)建，網(wǎng)絡(luò)性能穩(wěn)定可靠。

控制系統(tǒng)網(wǎng)絡(luò)采用標準的基于交換機的快速以太網(wǎng)，優(yōu)化了網(wǎng)絡(luò)負荷，避免出現(xiàn)網(wǎng)絡(luò)風暴，整個網(wǎng)絡(luò)帶寬達到100MB，可以支持每秒20萬點的實時刷新速度，最大可以支持1000個網(wǎng)絡(luò)節(jié)點（站點），遠高于電站的實際應(yīng)用，同時在控制系統(tǒng)軟件設(shè)計和開發(fā)過程中，設(shè)計方針對控制系統(tǒng)網(wǎng)絡(luò)實際負荷進行了嚴格限制和工廠測試，保證了控制系統(tǒng)周期性的網(wǎng)絡(luò)數(shù)據(jù)廣播不能超過總帶寬的40%，75%的主控室操縱員站對同一歷史數(shù)據(jù)的同時請求不能導致系統(tǒng)故障或重啟。控制系統(tǒng)網(wǎng)絡(luò)穩(wěn)定可靠，由于網(wǎng)絡(luò)故障導致主控室全部“黑屏”的概率極低。

4）其控制系統(tǒng)全網(wǎng)采用同一套GPS時鐘系統(tǒng)，通過NTP網(wǎng)絡(luò)協(xié)議自動對時。

控制系統(tǒng)全網(wǎng)所有站點使用唯一的一套GPS時鐘系統(tǒng)，兩臺冗余的GPS時鐘服務(wù)器通過各自的天線獲取GPS衛(wèi)星標準時間，之后通過DCS網(wǎng)絡(luò)外部IP交換機接入DCS網(wǎng)絡(luò)，作為外部NTP時間服務(wù)器向DCS網(wǎng)內(nèi)所有用戶授時（包括所有DCS網(wǎng)絡(luò)站點和交換機），GPS時間服務(wù)器與DCS用戶之間不存在其他層級的中間接口，所有站點的對時基準唯一，不存在控制系統(tǒng)1、2層之間由于采用不同的對時服務(wù)器而可能導致時間偏差，進而導致系統(tǒng)癱瘓，主控全部“黑屏”的情況。

5）其主控室操縱員站后臺多重冗余設(shè)計，可有效避免同時故障。

主控室所有工作站的后臺設(shè)備，包括主控室操縱員站、墻面大屏的主機設(shè)備，均為數(shù)據(jù)處理與顯示系統(tǒng)設(shè)備，這些設(shè)備和其他數(shù)據(jù)處理與顯示系統(tǒng)設(shè)備一起布置在遠離主控室的另外兩個房間。設(shè)計上為了避免這些主控室后臺設(shè)備同時失效，采取了多重冗余設(shè)計，包括：

◆ 物理冗余

主控室所有工作站的后臺主機設(shè)備被分為兩組編入了數(shù)據(jù)處理與顯示系統(tǒng)的兩個冗余序列中，這兩個序列分別布置在兩個計算機房間，設(shè)備布置在不同的機柜中，兩個序列的房間僅可以通過一道防火門互通，兩個序列的位置分布有效實現(xiàn)了冗余序列間的物理隔離。

◆ 電源冗余

主控室所有工作站的后臺設(shè)備按兩組分布于兩個序列，序列A的電源取自電廠非1E級直流和不間斷電源序列1和4，序列B的電源取自電廠非1E級直流和不間斷電源序列2和3；系統(tǒng)大部分設(shè)備采用冗余電源供電的工作模式，包括網(wǎng)絡(luò)交換機、服務(wù)器等，這些設(shè)備同時使用所屬序列的上述兩路電源，主電源使用具有兩小時電池后備能力的UPS電源，次電源使用正常調(diào)壓后的電源，兩路電源互為熱備，主次之間可以實現(xiàn)無擾切換，主控室的后臺設(shè)備雖然不支持上述冗余電源工作模式，只使用所屬序列的UPS電源一路電源進行工作。

◆ 網(wǎng)絡(luò)冗余

如前所述，控制系統(tǒng)網(wǎng)絡(luò)采用標準的高速以太網(wǎng)體系，通過冗余網(wǎng)絡(luò)配置的方式最大限度地保證了運行期間整個網(wǎng)絡(luò)的可靠性。所有網(wǎng)絡(luò)設(shè)備同樣隸屬于數(shù)據(jù)處理與顯示系統(tǒng)，并按兩個冗余序列進行冗余網(wǎng)絡(luò)硬件配置和冗余電源配置等，主控室后臺設(shè)備作為一個個標準工作站，均地位對等地接入控制系統(tǒng)高速網(wǎng)絡(luò)中，每個設(shè)備具有多個網(wǎng)絡(luò)接口，其中配置1個設(shè)備網(wǎng)口接入網(wǎng)絡(luò)序列A，另一個設(shè)備網(wǎng)口接入網(wǎng)絡(luò)序列B，并且接入端口分布在不同組的網(wǎng)絡(luò)交換機上。

6）其主控室人機接口設(shè)備多重冗余設(shè)計，可有效避免同時故障。

除了上述主控室后臺設(shè)備的多重冗余設(shè)計外，對于主控室內(nèi)的人機接口設(shè)備，包括大屏幕、KVM（鼠標顯示器鍵盤）接收器、顯示器鼠標鍵盤等外設(shè)，在設(shè)計上也同樣采用了多重冗余設(shè)計的理念。

◆ 硬件冗余

主控區(qū)內(nèi)布置有3個操縱員臺和1個高級操縱員臺，每個操縱員臺則分別配備了兩套非安全級控制系統(tǒng)人機接口，分別對應(yīng)控制系統(tǒng)網(wǎng)絡(luò)上的兩個工作站，同一個操縱員臺上的兩個工作站的主機在控制系統(tǒng)中分屬兩個序列；主控室內(nèi)的14塊墻面大屏對應(yīng)的14臺工作站也同樣分兩組隸屬兩個序列，設(shè)備同時失效的可能性極低。

◆ 電源冗余

主控室內(nèi)的所有人機接口設(shè)備按位置分布分為兩個序列，同時這兩個序列設(shè)備的工作電源也取自不同的電廠電源序列，其中一組取自電廠非1E級直流和不間斷電源序列1的不間斷電源；另一組取自序列2的不間斷電源，從而有效避免了電廠正常運行甚至電廠短時失電期間，主控室所有人機接口設(shè)備同時意外失電進而導致主控室操縱員站全部“黑屏”的發(fā)生。

3 問題及建議措施

通過以上分析可見，新型核電機組的控制系統(tǒng)在設(shè)計上具有諸多顯著特點，采取了多項措施從而降低了主控室操縱員站同時“黑屏”的可能性，但即使設(shè)計再完備，也并不能完全避免運行期間發(fā)生類似極端事件。結(jié)合項目經(jīng)驗，對于后續(xù)采用類似新型控制系統(tǒng)結(jié)構(gòu)的核設(shè)施，還需關(guān)注一些薄弱點并注意通過長期的技術(shù)維護手段來盡量避免發(fā)生控制室操縱員站全部“黑屏”或部分功能喪失的事件。

1）關(guān)注“咽喉”設(shè)備，進行重點監(jiān)視維護

對于幾處位于系統(tǒng)“咽喉”位置的關(guān)鍵設(shè)備，保守起見則要同時考慮防止其冗余序列同時失效的措施。包括：①負責整個控制系統(tǒng)網(wǎng)絡(luò)主干的根交換機（ROOT級交換機）。

②負責主控人機接口與其后臺主機之間物理連接的KVM路由器。

對于上述設(shè)備，建議運行期間，首先要加強設(shè)備巡檢頻度，對設(shè)備運行狀態(tài)進行重點監(jiān)視；同時在發(fā)現(xiàn)單側(cè)設(shè)備故障后要以最高優(yōu)先級安排進行糾正性維修以盡快恢復(fù)故障序列，確保冗余序列同時正常運行。

2）提前做好籌劃，開展設(shè)備日常維護改造

控制系統(tǒng)設(shè)備采用了成熟的商業(yè)化設(shè)備構(gòu)建，一方面，一旦某些環(huán)境條件持續(xù)接近或超過設(shè)備耐受限值，設(shè)備故障率會明顯提高；另一方面，設(shè)備本身可靠性[3]會隨著設(shè)備壽期逐漸下降，同時要注意部分現(xiàn)場設(shè)備型號目前已經(jīng)停產(chǎn)。

對此建議首先對控制系統(tǒng)設(shè)備機房環(huán)境進行高標準管控和保守管控；其次要合理規(guī)劃預(yù)防性維修和維護頻度，對控制系統(tǒng)設(shè)備定期檢查和清灰保養(yǎng)；對于廠家已停產(chǎn)或更新的設(shè)備，建議在設(shè)備故障率達到一定程度后，即考慮提前進行整體升級改造。

3）做好系統(tǒng)維護，加強系統(tǒng)整體安全管理。

控制系統(tǒng)設(shè)計上高度集成和統(tǒng)一，一旦出現(xiàn)系統(tǒng)共性軟件缺陷或漏洞，影響面非常廣；同時控制系統(tǒng)存在大量對外接口，這些接口的安全可靠程度也會影響整個控制系統(tǒng)的安全穩(wěn)定性；整個控制系統(tǒng)以域的形式進行統(tǒng)一的安全管理，在對域的管理操作過程中一旦出現(xiàn)失誤，則很有可能導致整個系統(tǒng)不可用或者可靠性降低。

對此建議采取措施，一是要對系統(tǒng)軟件和病毒防護系統(tǒng)隨時進行補丁升級，提高系統(tǒng)自身“免疫性”；二是對控制系統(tǒng)對外接口進行定期巡檢，嚴格管控端口操作；三是對控制系統(tǒng)域的管理要嚴格謹慎，對全域策略變更前要做好充足的影響評估，保持域的穩(wěn)定。

4 總結(jié)

通過本文分析可見，國內(nèi)某些核電廠控制系統(tǒng)的結(jié)構(gòu)特點導致其主控室發(fā)生同時“黑屏”事件的可能性增加，而新型核電機組的控制系統(tǒng)的結(jié)構(gòu)設(shè)計和軟硬件配置可以有效降低其主控室發(fā)生同時“黑屏”事件的可能性。為了進一步提高核設(shè)施控制室的安全性和可靠性，以保證控制系統(tǒng)正常運行期間，盡量避免發(fā)生控制室工作站同時“黑屏”或部分喪失功能的事件，除了設(shè)計采用先進的控制系統(tǒng)結(jié)構(gòu)之外，還需要重點關(guān)注控制系統(tǒng)結(jié)構(gòu)和軟硬件體系中存在的薄弱點，并通過日常管理和技術(shù)維護手段補足短板。