楊大為，肖安洪，張 娜，馮云嬌，彭 輝

(中國核動力研究設計院核反應堆系統(tǒng)設計技術重點實驗室，四川 成都 610041)

數據中心應急關機處置方案研究

楊大為，肖安洪，張 娜，馮云嬌，彭 輝

(中國核動力研究設計院核反應堆系統(tǒng)設計技術重點實驗室，四川 成都 610041)

介紹了數據中心在遇到突發(fā)情況時，為確保信息系統(tǒng)在短時間內安全、高效地完成停機操作，如何通過制定應急關機計劃，以此避免由于次生災害對數據中心帶來的進一步損失，為系統(tǒng)的運行安全和數據的存儲安全提供技術保證。

數據中心；容災處理；緊急關機

隨著數字化設計技術的迅猛發(fā)展，種類繁多的信息系統(tǒng)已成為各單位日常工作開展的必要條件。目前，具備大數據處理、多應用集成等特點的數據中心，已經成為眾多單位信息化建設的主要目標[1]?？紤]到由于信息系統(tǒng)自身存在的缺陷、脆弱性以及可能面臨的外界威脅，使信息系統(tǒng)容易受到各種已知或未知的威脅而導致信息安全事件的發(fā)生，那么就應該制定應急響應預案，將可能的損害降至最低[2]。

應急關機作為應急響應過程的處置手段之一，是每個數據中心都必須考慮的問題，尤其是面對地震、電力中斷等極端環(huán)境時,但是應急關機和恢復絕不是關閉/開啟電源這么簡單。

隨著信息化技術的不斷提高，數據中心的規(guī)模和復雜程度也逐步增大。以某單位數據中心為例，目前中心機房部署的服務器、小型機、工作站、網絡設備、安全防護設備等共計百余套，其上承載的軟件除與日常業(yè)務處理相關的辦公軟件外，還包括科研工程所需的超算平臺、知識管理和協(xié)同研發(fā)等多套應用系統(tǒng)；同時，考慮到緊急關機情況下，可能還有大量事務在數據中心執(zhí)行，如何及時地取消未執(zhí)行作業(yè)，并將正在執(zhí)行作業(yè)產生的數據結果最大化地進行持久化保存，這都是需要仔細考慮的方面。

本文針對上述問題，從實際工作出發(fā)，對應急關機所面臨的策略制定、活動執(zhí)行和系統(tǒng)恢復等行動項進行逐一闡述，為處置方案提供合理的技術解決思路。

1 應急計劃制定

為確保應急關機要求的正確實施，其活動劃分應包含以下幾方面內容。

1.1人員職責

數據中心應組建應急響應小組，由1名總指揮和若干操作員構成?？傊笓]負責緊急關機時小組成員的召集和突發(fā)情況下工作的協(xié)調。各操作員按照應用系統(tǒng)、服務器設備、網絡設備和數據存儲等實際情況進行責任劃分，落實所有關機操作的全覆蓋。

考慮到緊急關機時，受操作時間、場地空間和機房KVM接入授權的多方面限制，在人員配置上，操作員人數不宜過多。因此，這需要操作員專業(yè)技術過硬，能完成對同類型或多類型系統(tǒng)及設備的應急操作。同時，在應急響應小組組建時，應保證各職責崗位滿足A、B角色設定，防止因為人員休假、出差等情況發(fā)生時，應急關機操作無法正常執(zhí)行的情況出現。

當人員職責劃分完畢后，應將上述信息以文件的方式進行記錄并予以發(fā)布，使其制度化、規(guī)范化，確保每個責任人知曉其職責范圍。

1.2策略制定

一個切實可行的關機策略是保障緊急情況下迅速完成關機操作的基礎指導，但是沒有一個策略可以滿足所有數據中心的操作需求，只有具體問題具體分析，結合實際運行情況，制定與其匹配的關機策略。

因此本文僅對關機策略制定過程中具備共通性的要點及環(huán)節(jié)進行描述。

1.2.1關機流程制定

在數據中心，應用與應用、應用與設備、設備與設備之間普遍存在著依賴關系。違反依賴關系的關機流程很可能造成運行數據的遺失和破壞。最典型的例子即為數據庫服務，一旦非正常終止，所有依賴該服務的應用系統(tǒng)其運行數據將無法進行持久化保存。所以梳理數據中心各業(yè)務的依賴關系，按次序關機是流程制定的關鍵。

同時，為盡量縮短關機時間，應將彼此相對獨立的系統(tǒng)并行實施操作。如該單位的超算平臺與日常辦公系統(tǒng)兩者關聯不大，完全可以獨立并行操作，如圖1所示。

除此之外，應根據每個關機步驟預估其耗時，細化各節(jié)點的里程碑時間。通過上述操作，可以為緊急關機操作提供明確的量化指標：一方面，通過各操作節(jié)點時間的累加，可以確定該關機策略的總耗時是否超過UPS、柴油發(fā)電機等應急設備提供的最長保障時間，以此檢驗該策略的技術可行性；另一方面，在關機過程中，難免出現執(zhí)行異?，F象，此時應急小組總指揮需要根據該數據，為繼續(xù)排除該技術故障，或忽略故障直接跳轉至下個操作節(jié)點而做出決策。

1.2.2關鍵數據劃分

沒有一個應急響應計劃可以滿足所有場景的需求，特別是面對地震等顛覆性的自然災害時。當數據中心出現無法避免的損失的情況下，需以關鍵數據的劃分結果為依據進行取舍。

關鍵數據需根據單位實際業(yè)務進行劃分，沒有一成不變的規(guī)則。以該單位情況為例，個人郵件、計算結果等作為過程性文件，雖然有存儲價值，但是若出現損壞，其影響面僅局限于少部分使用者，故定義為一般數據；而對于數據庫存儲的事務型數據和文件服務器存儲的存檔文件，其數據的完整性必須得到保證，故定義為關鍵數據。

當出現應急關機情況時，對關鍵數據存放的設備和應用系統(tǒng)應優(yōu)先考慮，這樣的處置策略才能保證數據中心存儲安全的最大化。

1.3關機完結確認

考慮到現在各單位的數據中心規(guī)模愈發(fā)龐大，當完成緊急關機操作后，必須對數據中心內部署的硬件、軟件系統(tǒng)進行復核工作，以保證所有系統(tǒng)均按照關機要求關閉，防止因為人為疏忽或技術故障，導致某系統(tǒng)未正常關閉，由此帶來數據損失。

在該單位實施時，采用技術手段與管理手段相結合的方式，確保該行動項的執(zhí)行。在技術手段方面，采用ICINGA[3]網絡管理軟件，將數據中心內的設備進行集成，其運行狀態(tài)信息均在此平臺上進行實時顯示。當完成除基礎網絡設備以外的所有系統(tǒng)的關機操作后，通過ICINGA管理軟件進行檢查，確定受監(jiān)控的系統(tǒng)和設備已處于關機狀態(tài)。同時，通過關機操作員A、B角色的劃分，保證應急小組的操作員進行交叉檢查，確保關機操作的準確到位。

1.4演練與評估

當應急關機策略制訂完成后，應定期組織應急小組培訓與演練[4]，確保應急響應人員熟悉處置過程、累積處理經驗。應急演練有兩種基本方式：課堂演練和功能演練。課堂演練的參與人員在桌面上對規(guī)程進行排演，而不實際進行操作，其目的是使人員初步熟悉處置過程；而功能演練相當于實戰(zhàn)演習，作用是驗證預案的完備性、正確性和有效性。

每次培訓均應做好完備的記錄，以備對執(zhí)行策劃進行評估。評估應著重以下方面：1) 策略是否合理；2) 技術措施是否有效；3) 工作流程是否合理，可否優(yōu)化；4) 所有軟硬件資源是否充分；5) 人力資源是否足夠；6) 人員技能是否滿足要求。

預案策略的建立并不意味其內容和存在方式都是一成不變的，應隨著時間的推移和技術的發(fā)展而不斷變化。應急演練為這個更新的過程提供了良好的實驗基礎。通過對演練過程的重復操作，從而對處理流程進行不斷迭代，達到過程優(yōu)化的目的。

2 應急關機操作要點及注意事項

鑒于每個單位數據中心應用環(huán)境、設備部署和運行方式均有明顯的差異，因此沒有一種解決方案可滿足所有場景需求。本文結合實際情況，從應急關機操作出發(fā)，對具備共通性的要點進行總結歸納。

2.1自動化關機應用

當突發(fā)事件發(fā)生時，數據中心必須在規(guī)定的時間內緊急關閉。由于依賴人工手動的方式完成關機操作已經無法滿足實際要求，因此如何借助新技術手段，逐步實現自動化關機，將是數據中心應急響應手段發(fā)展的主要目標之一。

在該單位實際操作中，現已在機房內部署了一臺管理控制機，作為開/關機的操作臺。通過集成，使用網絡遠程操作的方式，以批處理文件完成大量設備和關鍵應用的關機操作。實現自動化關機后，關機人員的工作量大大減少，而關機執(zhí)行的可靠性和效率大大提高。后期，還打算與網絡管理系統(tǒng)進行集成，完成關機、校驗等多流程的一鍵化操作。

2.2群集系統(tǒng)的應急關機

為提高數據中心運行的穩(wěn)定性，在數據中心大量采用群集技術，如主從冗余、雙機熱備等，實現應用服務的高可靠運行。但是上述技術手段的應用，對數據中心的應急關機操作也提出了更高的要求。防止出現應急關機操作被系統(tǒng)誤認為是運行故障的情況，而給正常關機帶來阻礙。

該單位在關閉群集系統(tǒng)時，曾經出現過關閉數據庫系統(tǒng)前，由于未停止故障偵聽服務，數據庫系統(tǒng)誤認為運行故障發(fā)生，導致觸發(fā)主從數據庫的角色切換。上述的誤操作行為，極大延長了關機時間，為數據中心帶來了運行隱患。

2.3備件提供

每次應急關機操作執(zhí)行后，數據中心的硬件設備均有可能出現損壞的現象。根據該單位實際運行經驗，電源、硬盤為故障發(fā)生的主要集中部位。數據中心必須提前采購和準備少量部件，當數據中心恢復運行時，一旦遇到上述故障，可以及時更換，以備不時之需。

3 結束語

為確保數據中心的運行安全，必須針對單位信息系統(tǒng)的特點，有的放矢地建立應急響應計劃并做好相關管理工作。只有這樣才能做到有備無患，防范于未然。該單位數據中心經歷了2008年5·12汶川地震和2013年4·20蘆山地震，為防止次生災害，均采取了應急關機操作，由于處置及時，未發(fā)生大規(guī)模的數據丟失和設備損壞事件，為運行數據的完整性和可靠性提供了有力保證。

[1] 馮智圣.區(qū)域數據中心信息安全防護技術探討[J]. 華南金融電腦，2009(1)：7-10.

[2] 石國忠，龐景瑞，張文華. 省域數據中心災難應急方案[J]. 中國金融電腦，2004(9)：81-83.

[3] Icinga， Inc. Icinga Documentation[EB/OL]. [2014-11-14]. http:// docs.icinga.org/latest/en/

[4] 姚剛. 試論信息系統(tǒng)應急預案編制及演練[J]. 信息系統(tǒng)工程，2013(2)：17-19.

Research on emergency shutdown plan for data center

YANG Dawei, XIAO Anhong, ZHANG Na, FENG Yunjiao, , PENG Hui

(State Key Laboratory of Reactor System Design Technology,Nuclear Power Institute of China, Sichuan Chengdu, 610041, China)

It introduces how to ensure the information system to shut down in a short period of time and avoid the data losses due to the secondary disasters when emergency issues happen. This method provides the technical guarantee for the system running safely and securely.

data center; disaster recovery processing; emergency shutdown

10.3969/j.issn.2095-509X.2015.05.012

2015-02-02

楊大為(1983—)，男，四川宜賓人，中國核動力研究設計院工程師，碩士，主要從事核動力裝置軟件研發(fā)及高性能計算技術應用工作。

TP311.5

A

2095-509X(2015)05-0052-03