尚楓，董愛強(qiáng)，張劍，王國霞，張宏閣

（1.北京大學(xué)城市治理研究院，北京 100871；2.北京中電普華信息技術(shù)有限公司，北京 100192；3.北京科技大學(xué)自動化學(xué)院，北京 100083；4.北京德瑞恒安能源科技研究院有限公司，北京 100191）

1 引言

在智能電網(wǎng)的建設(shè)和“十二五”規(guī)劃提出的“三集五大”發(fā)展戰(zhàn)略的推動下，國家電網(wǎng)公司對云計算進(jìn)行深入研究[1-4]，并于 2010年跨出了電力云建設(shè)的第一步——資源池的規(guī)劃和建設(shè)[5-9]。存儲資源池作為資源池數(shù)據(jù)存儲和數(shù)據(jù)備份的重要部分，在2013年資源池建設(shè)的版本上，提出了“兩級三類”的存儲池建設(shè)規(guī)劃和實施方法。即為滿足不同主機(jī)和不同業(yè)務(wù)數(shù)據(jù)的存儲需求，對整個存儲池進(jìn)行了分級和分類規(guī)劃，形成了集中部署的一級存儲、滿足虛擬化存儲的二級存儲和分布式存儲的兩級三類的存儲池。

對電力企業(yè)的兩級三類的存儲池而言，它含有不同類別和不同性能的存儲資源，是一個規(guī)模龐大、資產(chǎn)歸屬多層組織架構(gòu)、設(shè)備種類復(fù)雜且異構(gòu)現(xiàn)象突出的儲蓄池，所以必須有一個“大腦”對上實現(xiàn)資源服務(wù)的統(tǒng)一封裝和服務(wù)化供應(yīng)，對下實現(xiàn)對存儲資源的統(tǒng)一管理和調(diào)度，它保障存儲池的有效管理和可持續(xù)性運(yùn)營，同時為企業(yè)業(yè)務(wù)應(yīng)用的簡單使用提供有力保障[10,11]，這一“大腦”就是存儲池的管理系統(tǒng)。

本文在明確了電力云中兩級三類存儲池總體架構(gòu)的基礎(chǔ)上，提出了針對該存儲池的管理系統(tǒng)應(yīng)具備的功能特性，并根據(jù)兩級三類存儲池的特點，對管理系統(tǒng)的工作結(jié)構(gòu)進(jìn)行了設(shè)計分析，進(jìn)而對存儲管理系統(tǒng)的總體架構(gòu)進(jìn)行了設(shè)計，并對總體架構(gòu)中的各個功能模塊的實現(xiàn)進(jìn)行了詳細(xì)的闡述。該管理系統(tǒng)不僅可以對電力云中存儲池的管理發(fā)揮了積極作用，還對其他企業(yè)乃至云計算系統(tǒng)的管理起到拋磚引玉的實踐作用。

2 存儲池管理系統(tǒng)的功能框架

2.1 電力云存儲池的總體架構(gòu)

電力云存儲池總體架構(gòu)具有“兩級三類”的存儲結(jié)構(gòu)，即集中部署的一級存儲、滿足虛擬化存儲的二級存儲和分布式存儲的兩級三類的存儲池，如圖1所示。其中，一級存儲包括用于支撐業(yè)務(wù)應(yīng)用系統(tǒng)所需要的存儲資源，主要滿足各類物理機(jī)池或小型機(jī)虛擬池對存儲的需求，由于這些主機(jī)規(guī)模較大、并發(fā)數(shù)高、數(shù)據(jù)類型復(fù)雜，因此選用高端集中式存儲；二級存儲包括用于支撐服務(wù)器虛擬化鏡像文件所需要的存儲資源，主要為滿足 x86虛擬化池虛擬映像對存儲資源的需求。

圖1 資源池存儲池的存儲結(jié)構(gòu)

在兩級三類的存儲池中，存儲虛擬化池根據(jù)存儲資源的性能、可靠性，分為高端存儲資源池和中端存儲資源池，其中，高端存儲資源池主要用于高性能、高可靠需求的業(yè)務(wù)應(yīng)用，中端存儲資源池主要用于高性能、高可靠需求和中等性能、高可靠需求的應(yīng)用；分布式存儲池按照 I/O處理能力劃分為高I/O處理能力和普通I/O處理能力，其中，高 I/O處理能力的分布式存儲池主要用于高性能、中等可靠性需求和中等性能、中等可靠性需求的應(yīng)用，普通 I/O處理能力的分布式存儲池則用于一般性能、中等可靠性需求的應(yīng)用。

2.2 存儲池管理系統(tǒng)的功能框架

存儲池由存儲虛擬化池和分布式存儲池構(gòu)成，對存儲池的管理可以分為存儲虛擬化池管理、分布式存儲池管理以及基于這兩種存儲池管理的統(tǒng)一存儲池管理，存儲池管理系統(tǒng)的功能框架主要包括如下內(nèi)容。

（1）支持存儲的異構(gòu)

存儲設(shè)備種類繁多，主流的國外存儲廠商有IBM、HP、EMC、HDS、NetApp等，國內(nèi)有華為、浪潮等，存儲異構(gòu)現(xiàn)象突出。在存儲管理領(lǐng)域中，由國際存儲工業(yè)聯(lián)合會（SNIA）制定的存儲管理主動性規(guī)范（SMI-S）是一個事實的標(biāo)準(zhǔn)，主流廠商參與了該規(guī)范的制定，并提供了相關(guān)的接口軟件。存儲管理模塊應(yīng)當(dāng)支持SMI-S協(xié)議，實現(xiàn)對異構(gòu)存儲設(shè)備的支持。

（2）實現(xiàn)主動運(yùn)維

在云計算環(huán)境中大量使用了存儲陣列和分布式存儲系統(tǒng)，設(shè)備節(jié)點很多，導(dǎo)致人工運(yùn)維和被動運(yùn)維都無法適用于云計算環(huán)境中。存儲管理系統(tǒng)應(yīng)當(dāng)變被動運(yùn)維為主動運(yùn)維，簡化運(yùn)維管理難度，提升云計算服務(wù)水平。如在存儲虛擬化環(huán)境中，應(yīng)當(dāng)發(fā)現(xiàn)光纖鏈路潛在問題，主動預(yù)警潛在的故障點；在分布式存儲系統(tǒng)中，應(yīng)當(dāng)發(fā)現(xiàn)各個節(jié)點的潛在問題，及時發(fā)起數(shù)據(jù)的重新分布，避免服務(wù)級別降低甚至數(shù)據(jù)丟失。

（3）存儲池的統(tǒng)一管理

對存儲虛擬池和分布式存儲池進(jìn)行統(tǒng)一管理，對池中的資源進(jìn)行統(tǒng)一分配、使用和回收。如支持對存儲虛擬化設(shè)備的卷分配、映射和收回操作，支持對分布式存儲系統(tǒng)的文件系統(tǒng)、塊存儲和對象存儲的分配和回收操作。

（4）對資源的管理

首先對不同池中的異構(gòu)存儲資源進(jìn)行適配和控制，如容量管理、配置管理、性能管理等。然后提供標(biāo)準(zhǔn)化的資源管理接口，以方便對資源進(jìn)行配置和控制。

（5）服務(wù)管理功能

針對不同的用戶，提供有針對性的服務(wù)管理，如報表管理等。

（6）應(yīng)用展示功能

對存儲池中各個業(yè)務(wù)模塊進(jìn)行統(tǒng)一封裝，針對不同用戶提供存儲資源的使用情況，提供普適、直觀、簡單、易用的使用接口。

3 存儲池管理系統(tǒng)的總體架構(gòu)

3.1 存儲池管理系統(tǒng)的部署結(jié)構(gòu)

根據(jù)電力云資源池中存儲池的架構(gòu)分析和存儲管理系統(tǒng)的功能分析，存儲池管理系統(tǒng)的典型部署架構(gòu)如圖2所示。

存儲管理系統(tǒng)需要把存儲陣列和光纖交換機(jī)的控制口接入網(wǎng)絡(luò)，出于安全考慮，可建立專有的存儲管理子網(wǎng)，將存儲管理所需的服務(wù)器放入存儲管理域。其中，若干臺作為數(shù)據(jù)庫服務(wù)器，若干臺作為存儲設(shè)備的接口機(jī)，存儲管理系統(tǒng)通過核心交換機(jī)連接到業(yè)務(wù)網(wǎng)絡(luò)。

在存儲的虛擬化中，由虛擬化設(shè)備（如國網(wǎng)現(xiàn)有環(huán)境中的HP/HDS高端虛擬化存儲）向下統(tǒng)一管理后端的中高端存儲，向上提供存儲虛擬化池，存儲管理模塊通過存儲管理協(xié)議對虛擬化存儲池進(jìn)行管理。

在分布式存儲池中，由分布式存儲系統(tǒng)向下管理x86存儲服務(wù)器集群，部分存儲設(shè)備掛在x86集群中提供存儲空間；向上提供分布式存儲池。分布式存儲系統(tǒng)提供標(biāo)準(zhǔn)的存儲管理協(xié)議（如云數(shù)據(jù)管理接口或者Web services）等訪問接口，由存儲管理模塊進(jìn)行管理。

存儲管理模塊整合存儲虛擬化和分布式的存儲接口，向云資源管理平臺提供統(tǒng)一的存儲池管理接口，該接口基于Web services協(xié)議，存儲池管理系統(tǒng)的管理架構(gòu)如圖3所示。

圖3 存儲池管理接口架構(gòu)

3.2 存儲池管理系統(tǒng)的邏輯架構(gòu)

存儲池管理從邏輯上分為3個層次，從上到下依次為展現(xiàn)層、數(shù)據(jù)處理層和適配器，其邏輯架構(gòu)如圖4所示。

（1）展現(xiàn)層

展現(xiàn)層提供了Web展現(xiàn)界面，包含存儲監(jiān)控和運(yùn)維管理兩個主要模塊。其中，存儲監(jiān)控模塊包含告警管理、配置管理、拓?fù)涔芾?、性能管理、容量管理、資產(chǎn)管理、報表管理、權(quán)限管理和系統(tǒng)管理。在系統(tǒng)功能中已經(jīng)對告警管理、配置管理、拓?fù)涔芾?、性能管理、容量管理、資產(chǎn)管理、報表管理分別進(jìn)行了描述。

展現(xiàn)層也提供了數(shù)據(jù)訪問層的接口，可以對外提供頁面集成、單點登錄和Web services數(shù)據(jù)訪問。展現(xiàn)層對從數(shù)據(jù)庫獲取的數(shù)據(jù)進(jìn)行展示，數(shù)據(jù)庫的內(nèi)容完全由數(shù)據(jù)處理層進(jìn)行管理。

實現(xiàn)中華民族偉大復(fù)興中國夢是中華民族近代以來最偉大的夢想，也是逐漸強(qiáng)起來的中國在新時代孜孜以求的目標(biāo)。統(tǒng)一戰(zhàn)線以實現(xiàn)中華民族偉大復(fù)興中國夢為奮斗目標(biāo)，并服務(wù)于中國夢的實現(xiàn)。作為凝心聚力的重要法寶，統(tǒng)一戰(zhàn)線以共同體意識匯聚中國力量，吹響實現(xiàn)中華民族偉大復(fù)興的集結(jié)號，為實現(xiàn)中國夢保駕護(hù)航；以包容開放的心態(tài)團(tuán)結(jié)國際力量，打造共商共建共享的新機(jī)制，為建設(shè)美好世界提供啟發(fā)。作為中國外交的崇高目標(biāo)，人類命運(yùn)共同體聚焦全人類的共同關(guān)切，追求建立和平發(fā)展、安全和諧的世界。

（2）數(shù)據(jù)處理層

數(shù)據(jù)處理層包含數(shù)據(jù)服務(wù)器和事件服務(wù)器，主要完成對 agent端發(fā)送的數(shù)據(jù)的采集和各個設(shè)備轉(zhuǎn)發(fā)的SNMP trap以及內(nèi)部轉(zhuǎn)發(fā)的策略告警。事件服務(wù)器在接受告警的同時，也承擔(dān)了對告警事件的轉(zhuǎn)發(fā)和事件外部處理程序調(diào)用等功能。數(shù)據(jù)處理層從agent拿到數(shù)據(jù)后，經(jīng)過數(shù)據(jù)處理，最終進(jìn)入數(shù)據(jù)庫。

（3）適配器

適配器由各種各樣的agent組成，包含SMI-S agent、DS agent、SNMP agent、host agent、VM agent等組件，用于與存儲設(shè)備進(jìn)行通信。存儲管理模塊提供了Web services接口與云資源管理平臺集成，并把收集的存儲設(shè)備告警、系統(tǒng)產(chǎn)生的預(yù)警轉(zhuǎn)發(fā)到云資源管理平臺進(jìn)行統(tǒng)一處理。

4 存儲池管理系統(tǒng)的實現(xiàn)舉例

從以下幾個方面的實例闡述存儲池管理系統(tǒng)的實現(xiàn)情況，分別是基于業(yè)務(wù)的存儲管理及應(yīng)用展示、基于資源的存儲管理及應(yīng)用展示、報表及分析展示。

4.1 基于業(yè)務(wù)的存儲管理及應(yīng)用展示

提供基于業(yè)務(wù)為視角的存儲管理方式，結(jié)合實際的業(yè)務(wù)分配和使用情況，提供多層次、多維度的基于業(yè)務(wù)的存儲管理?；跇I(yè)務(wù)的存儲管理及應(yīng)用展示見表1。

圖4 存儲池管理系統(tǒng)的邏輯架構(gòu)

表1 基于業(yè)務(wù)的存儲管理及應(yīng)用展示

其中，基于用戶實際業(yè)務(wù)需求的存儲管理模塊，用戶可以基于硬件將業(yè)務(wù)系統(tǒng)分組，分組后的邏輯關(guān)系交由程序自動運(yùn)算并生成完整的業(yè)務(wù)邏輯拓?fù)洌脩艨梢栽诖嘶A(chǔ)上進(jìn)行修改和完善，并進(jìn)行布局的保存，從而完成業(yè)務(wù)拓?fù)涞膭?chuàng)建工作。為了幫助用戶逐級深入地分析業(yè)務(wù)性能，該模塊提供了盡可能細(xì)化的分類，從服務(wù)器、內(nèi)置磁盤、卷組、文件系統(tǒng)、HBA卡，到交換機(jī)、端口、存儲、存儲卷，所有信息都展示在頁面上并支持實時跳轉(zhuǎn)的性能分析，協(xié)助用戶快速定位瓶頸所在。該功能的展示接口如圖5所示。

圖5 基于業(yè)務(wù)熱點的存儲管理應(yīng)用展示

4.2 基于資源的存儲管理及應(yīng)用展示

該部分功能主要包括存儲配置管理、存儲性能管理、存儲告警管理、存儲拓?fù)涔芾?、存儲管理門戶，基于資源的存儲管理及應(yīng)用展示功能見表2。

4.3 報表和報表分析

表2 基于資源的存儲管理及應(yīng)用展示功能

表3 報表和報表分析功能

5 結(jié)束語

繼2013版電力云資源池建設(shè)之后，國家電網(wǎng)公司建設(shè)了自有的兩級三類存儲池，本文針對該存儲池的情況，對存儲池的管理系統(tǒng)進(jìn)行研究，對管理系統(tǒng)的結(jié)構(gòu)部署進(jìn)行設(shè)計，并提出了分層的管理系統(tǒng)總架構(gòu)設(shè)計，詳細(xì)介紹架構(gòu)中各層功能。本文還詳細(xì)闡述了管理系統(tǒng)的各種功能實現(xiàn)及各功能模塊的詳細(xì)作用。該存儲池管理系統(tǒng)的研究和實現(xiàn)不僅極大地推動了電力企業(yè)云計算的發(fā)展，還可以為其他企業(yè)云計算技術(shù)的應(yīng)用和實施提供很好的借鑒。

存儲池是電力云資源池的一部分，資源池向電力企業(yè)提供多功能、系統(tǒng)更加復(fù)雜的資源，研究和實現(xiàn)針對整個資源池的管理系統(tǒng)是本文進(jìn)一步的目標(biāo)。

參考文獻(xiàn):

[1] 朱征, 顧中堅, 吳金龍, 等.云計算在電力系統(tǒng)數(shù)據(jù)災(zāi)備業(yè)務(wù)中的應(yīng)用研究[J].電網(wǎng)技術(shù), 2012, 36(9)： 43-50.ZHU Z, GU Z J, WU J L, et al.Application of cloud computing in electric power system data recovery[J].Power System Technology, 2012, 36(9)： 43-50.

[2] 王德文.基于云計算的電力數(shù)據(jù)中心基礎(chǔ)架構(gòu)及其關(guān)鍵技術(shù)[J].電力系統(tǒng)自動化, 2012, 36(11)： 67-71.WANG D W.Basic schema and key technique based on cloud computing’s data center[J].Automation of Electric Power Systems, 2012, 36(11)： 67-71.

[3] 沐連順, 崔立忠, 安寧.電力系統(tǒng)云計算中心的研究與實踐[J].電網(wǎng)技術(shù), 2011, 35(6)： 171-175.MU L S, CUI L Z, AN N.Research and practice of cloud computing center for power system[J].Power System Technology,2011, 35(6)： 67-71.

[4] 趙俊華, 文福栓, 薛禹勝, 等.云計算： 構(gòu)建未來電力系統(tǒng)的核心計算平臺[J].電力系統(tǒng)自動化, 2010, 34(15)： 1-8.ZHAO J H, WEN F S, XUE Y S, et al.Cloud computing： implementing an essential computing platform for future power systems[J].Automation of Electric Power Systems, 2010,34(15)： 1-8.

[5] 王健偉.一種全新的IT建設(shè)架構(gòu)—統(tǒng)一資源池[J].數(shù)據(jù)通信,2011(5)： 10-12.WANG J W.One new IT build schema——unify resource pool[J].Data Communications, 2011(5)： 10-12.

[6] 百云川, 錢敏謹(jǐn).利用虛擬化技術(shù)構(gòu)建資源池是實現(xiàn)云計算的第一步[J].中國制造業(yè)信息化, 2010(12)： 34.BAI Y C, QIAN M J.The first step of implement cloud computing is resource pool using virtual technology[J].Chinese Manufacturing Information, 2010(12)： 34.

[7] 張科, 董亮, 鄒澄澄.利用云計算技術(shù)建立電力信息系統(tǒng)硬件資源池[J].湖北電力, 2014, 38(6)： 1-3.ZHANG K, DONG L, ZOU C C.Using technology of cloud computing build hardware resource pool of electric power information system[J].Hubei Electric Power, 2014, 38(6)： 1-3.

[8] 姚岳.運(yùn)營商業(yè)務(wù)平臺云計算資源池建設(shè)方案探討[J].電信技術(shù), 2015(4)： 39-45.YAO Y.Research on resource pool for carrier’s service platform based on cloud computing[J].Telecommunications Technology, 2015(4)： 39-45.

[9] 董亮, 詹偉, 袁慧, 等.湖北省電力公司云硬件資源池系統(tǒng)建設(shè)實踐[J].信息與電腦, 2015(15)： 87-90.DONG L, ZHAN W, YUAN H, et al.The practice on hardware resource pool in Huibei[J].Information and Computer,2015(15)： 87-90.

[10] 宋真華.虛擬化技術(shù)中的存儲管理問題研究[D].合肥： 中國科學(xué)技術(shù)大學(xué), 2010.SONG Z H.The research on storage management of virtualization[D].Hefei： University of Science and Technology of China, 2010.

[11] 余勝生, 季文彬, 周敬利, 等.一種iSCSI存儲管理系統(tǒng)的研究與實現(xiàn)[J].計算機(jī)工程, 2007, 33(23)： 258-260.YU S S, JI W B, ZHOU J L, et al.Research and implementation of iSCSI storage management system[J].Computer Engineering,2007, 33(23)： 258-260.

[12] 熊星, 楊亞軍, 劉金剛.基于虛擬化環(huán)境的存儲設(shè)備管理的研究與實現(xiàn)[J].微計算機(jī)信息, 2010, 26(36)： 46-47.XIONG X, YANG Y J, LIU J G.Design and implementation of storage device management system based on virtualization environment[J].Microcomputer Information, 2010, 26(36)： 46-47.