周一波+++陳捷

【 摘 要 】 隨著云時代的到來，金融集團數據中心產生了重大變化，一是所有IT資源均是以服務的形式提供給用戶；二是IT資源變得龐大，通過人工方式難以實現(xiàn)安全高效的運維管理；三是產生了大量的虛擬化IT基礎資源，如虛擬機、容器、SDN網絡、分布式存儲，資源需進行靈活調配。針對以上問題，文章設計了金融集團云數據中心營運支撐平臺，用于云計算環(huán)境下的金融集團數據中心安全運行及統(tǒng)一調度管理。

【 關鍵詞 】 云計算；云支撐平臺；安全運維

Cloud Computing Datacenter Operation and Management System Platform Design for Financial Group

Zhou Yi-bo Chen Jie

（1.State Grid Yingda International Holdings Co.，ltd. Beijing 100005；

2.Beijing Huitong Financial Information Technology Co.，ltd. Beijing 100053）

【 Abstract 】 There are three significant changes of data center of financial group with the advent of the era of the cloud computing.First， all IT resources are given in the form of services to users； Second， IT resources scale becoming large， by artificial way is difficult to achieve safe and efficient operations management； Third， virtualization resourcessuchas virtual machine， containers， SDN network， distributed storage need flexible deployment on demand. We designed a kind ofcloud computing datacenter operation and management system platform for safe operation and unified management in financial group computing data center.

【 Keywords 】 cloud computing；virtualization resources operation；safe management

1 引言

在云環(huán)境下金融集團數據中心存在四個主要特點：一是業(yè)務復雜、業(yè)務安全性要求高；二是IT基礎龐大，各類IT資源經過復雜的封裝、關聯(lián)、調度后以服務的方式提供給業(yè)務系統(tǒng)使用；三是運維難度增大，海量的、存在復雜關聯(lián)的IT資源運維管理復雜；四是云數據中心需要滿足業(yè)務高可用性，能夠提供高安全性、高質量水平的云服務。正是由于存在以上的特點，金融集團可通過設計一個涵蓋云數據中全方位的安全營運支撐平臺，通過安全營運支撐平臺來屏蔽底層云數據中心IT基礎資源的復雜性、多樣性，降低資源的管理難度，實現(xiàn)海量IT基礎資源的安全調度、高效運維，并以高質量的云服務形式支撐金融集團業(yè)務系統(tǒng)運行。

2 金融集團云數據中心概述

2.1 金融集團云數據中心架構

金融集團已經完成云數據中心的基礎設施建設，主要包括網絡資源池、存儲資源池、計算資源池、操作系統(tǒng)資源池、數據庫資源池、中間件資源池。通過云數據中心基礎設施提供IaaS層的服務能力，支撐金融集團公司ERP、財務管理系統(tǒng)、互聯(lián)網金融等相關業(yè)務系統(tǒng)。如圖1所示。

操作系統(tǒng)資源池：主要包括Windows、Linux、SUSE、ESXI、Fusion Sphere等系統(tǒng)。

數據庫資源池：主要使用MySQL和Oracle關系型數據庫。

中間件資源池：主要包括Weblogic、Nginx、Apache、Tomcat等中間件。

計算資源池：以開放的X86架構服務器為主，以及部分小型機在數據中心內提供計算服務能力。

存儲資源池：在數據中心部署集中式存儲和分布式存儲，提供塊存儲、對象存儲、文件存儲等多樣化的存儲服務。

網絡資源池：以軟件定義網絡（SDN）及傳統(tǒng)路由交換網絡的方式在數據中心提供高性能、靈活的網絡訪問服務。

2.2 云數據中心運行過程中存在的問題

在獲得云數據中心帶來的低成本、彈性伸縮、高效率的IT環(huán)境的同時，也帶來了一些新的問題。

（1）設備管理復雜。金融集團云數據中心內具備軟硬件系統(tǒng)數量多、品牌多、型號多、管理界面多等特點，缺乏統(tǒng)一的管理手段。

（2）虛擬化資源多。金融集團云數據中心采用了大量的虛擬化技術，如虛擬機、容器、軟負載、虛擬防火墻、分布式存儲、虛擬網絡，大量的虛擬化資源看不見，摸不著，邏輯關系梳理困難。

（3）運維復雜。缺乏統(tǒng)一的資源的運維監(jiān)控手段，各種資源的運維主要依靠自帶的管理系統(tǒng)進行，缺乏統(tǒng)一、高效、集中、安全、自動化程度高的監(jiān)控運維工具。

（4）資源調度缺乏靈活性。主要體現(xiàn)在無統(tǒng)一資源調度手段，缺乏按需進行彈性伸縮手段，資源分配過程環(huán)節(jié)多、復雜、緩慢。

（5）資產統(tǒng)計困難。軟硬件設備臺賬主要依靠手工登記，存在資產清單更新不及時、臺賬信息不準確、管理繁瑣等問題，缺乏自動化的資產生命周期管理手段。

（6）難以優(yōu)化資源配置。主要體現(xiàn)在資源使用情況難以量化，無法對資源情況進行多維度分析，缺乏趨勢預測及分析能力，富裕的資源難以向外界提供服務，業(yè)務下線后，資源很難及時恢復。

3 云數據中心安全營運支撐平臺設計

3.1 設計目標

通過云數據中心安全營運支撐平臺（以下簡稱“營運支撐平臺”），對金融集團公司云數據中心內的所有系統(tǒng)軟硬件資源進行統(tǒng)一管理、安全調度、全面監(jiān)控，實現(xiàn)各種資源的動態(tài)按需調度和全生命周期管理，滿足云數據中心的運營、安全運維的需求，通過對云數據中心整體服務能力的規(guī)劃與服務化封裝，健全云數據中心完整的服務目錄，提供完整的云數據中心基礎設施即服務，實現(xiàn)云數據中心資源管理集中化、服務流程標準化、作業(yè)自動化、日常運營專業(yè)化、運維操作安全化，推動云數據中心由粗放式硬件導向的基礎管理向服務驅動的專業(yè)化運營模式轉變，更好地提升數據中心資源利用率，實現(xiàn)平臺資源的優(yōu)化整合配置，提升金融集團云數據中心附加值，如圖2所示。

3.2 云數據中心安全營運支撐平臺功能設計

營運支撐平臺主要由門戶展現(xiàn)、業(yè)務編排、資源控制與管理、資源監(jiān)控與告警、自動化運維、運維流程管理、身份/權限管理、集成接口等功能模塊構成，如圖3所示。

3.2.1 門戶展現(xiàn)模塊設計

門戶展現(xiàn)模塊負責向用戶以圖形化等直觀的方式展示平臺資源與服務的運行動態(tài)效果以及平臺實時運營狀況。展示內容包括：整個平臺的實時資源運行情況、一段時間的任務執(zhí)行統(tǒng)計、資源的展示（包括資源的總量、剩余量、執(zhí)行的任務量、變化趨勢、實時狀態(tài)等），幫助IT管理員通過門戶模塊方便工作。

3.2.2業(yè)務編排模塊

（1）自動化部署。自動化部署模塊負責將軟件部署過程的每一個步驟都自動化，可以帶來包括效能在內的顯著的好處。自動化部署包含軟件部署、軟件配置、集群部署等。

（2）營運管理。能夠全面、直觀、多維度的對現(xiàn)有云數據中心運營情況進行統(tǒng)計分析，多維度主要包含但不限于：面向云數據中心、云服務以及用戶的成本與效益分析；面向資源池、用戶、業(yè)務系統(tǒng)的資源使用情況分析以及用戶行為分析等，并可以通過運營數據自定義分析決策模型從而提升整體運營維度與決策依據。其主要功能點包括幾個方面。

運營分析——在云數據中心運營數據的基礎上，定義多種不同維度的運營分析，每類運營分析對應多種運營分析模型，各個模型將不同類型的數據、算法、可視化顯示等參數進行不同組合將產生不同的模板提供給云數據中心運營人員使用。

成本分析——利用成本核算及其他有關資料，分析成本構成及變動情況，研究影響成本升降的各種因素及其變動原因，尋找降低成本的途徑的分析方法。成本分析內容包含但不限于：云數據中心投資成本、運營成本、用戶分攤成本等?？紤]維度包括但不限于：服務器投資、存儲投資、軟件系統(tǒng)投資、網絡投資、數據中心基礎環(huán)境投資、運維人員成本、管理成本、帶寬成本、維保成本、電費成本等。

資源分析——提供云數據中心資源池各類資源、服務及營運支撐平臺各類信息的數據搜集、存儲以及展示等功能，生成各種資源統(tǒng)計報表和分析報告。

用戶分析——提供用戶相關的各維度分析指標的數據搜集、存儲以及展示等功能，并通過用戶業(yè)務系統(tǒng)評估模型配置相關的服務等級，實現(xiàn)平臺的差異化服務，實現(xiàn)精細化運營。

收益分析——收益分析是通過對平臺資源按照其整體總成本進行定價，采取超賣、運維效率提升、運營策略調整、資源回收等措施實現(xiàn)有限資源的收入效益提升，通過收益對比調整優(yōu)化資源配置分配策略，從而實現(xiàn)數據驅動的云數據中心運營，做大整體云數據中心效益。

（3）虛擬數據中心。虛擬數據中心管理對應的是虛擬化環(huán)境中的集群或資源池，虛擬數據中心通過虛擬化技術將計算、存儲、網絡資源進行池化管理，動態(tài)進行資源分配和調度，實現(xiàn)數據中心的自動化部署，可以大大降低數據中心的運維成本。支持虛擬數據中心的創(chuàng)建、修改、刪除、利舊等功能，對虛擬數據中心進行性能監(jiān)控，通過基于虛擬數據中心的動態(tài)資源調度策略，實現(xiàn)業(yè)務的高可用性。

（4）重點業(yè)務保障。提供重點保障業(yè)務的全面檢查、資源傾斜、監(jiān)控推送等功能。

（5）統(tǒng)計分析。運行分析管理包括實時運行情況整合展示、統(tǒng)一的報表展示和運行趨勢分析和預測。

實時運行情況整合展示是以統(tǒng)一的業(yè)務視圖展示各類應用系統(tǒng)的業(yè)務數據狀態(tài)、應用運行狀況、基礎設施運行狀況，并可根據運維管理層和執(zhí)行層人員的不同需求顯示不同內容。

統(tǒng)一的報表展示是設計面向管理視角和執(zhí)行視角的運行分析報表，并進行統(tǒng)一展示。

運行趨勢分析和預測是依托內建的分析模型對云數據中心運行趨勢預測，例如：服務器資源容量分析、存儲資源容量分析、網絡資源容量分析、機房容量分析、系統(tǒng)負載分析等等。

（6）服務等級。提供多樣化、差異化的服務，保證服務質量。管理員可以根據實際情況，調整服務等級的配置參數，以滿足不同用戶的需求，可以提供服務等級分為金牌、銀牌、銅牌三個級別；通過資源配置參數，定義服務等級。服務等級體現(xiàn)在符合不同配置參數的資源分區(qū)，并在服務等級的基礎上創(chuàng)建虛擬數據中心。資源配置參數包括CPU核數、CPU主頻、內存、網卡數量、網絡QOS、存儲類型、數據庫類型等。

（7）資源調配。資源調配根據服務申請單、資源現(xiàn)有使用率以及剩余量等規(guī)則策略設置調度規(guī)則，并且調用底層相關資源接口實現(xiàn)對資源池資源的策略調度。

（8）服務目錄。通過服務目錄，云數據中心使用者可以自助完成日常服務工作，如：服務申請（可以通過服務目錄，查看能夠提供的服務，然后提交服務申請，提交服務申請時，可以配置該服務的服務時長、規(guī)格等服務參數，服務申請審批通過后就可根據服務模板，快速部署應用）；服務釋放（可以自助釋放不再使用的服務資源，當服務到期后，可以通過人工方式或自動來釋放資源）；服務變更（可以根據實際需求，對已使用的服務提出服務變更，以滿足實際的業(yè)務需求）；服務維護（對已使用的服務可以進行自維護）。通過服務目錄還可以為用戶提供多種類型服務配置模板，如虛擬機模板服務、網絡配置模板、數據庫配置模板、存儲配置模板等。

3.2.3 資源封裝與管理模塊

資源封裝與管理模塊主要是通過各種虛擬化技術將底層軟硬件資源進行集成整合，根據其資源特點形成不同類型的資源池，然后在資源管理層將底層各種類型的資源池按照服務類型構建相關服務的管理模塊。該管理模塊對上提供統(tǒng)一安全的服務接口，主要完成云數據中心底層資源到上層服務的封裝、調度，使得底層的異構平臺對上層透明，上層管理平臺在統(tǒng)一運營的過程中，無需關心底層架構的具體實現(xiàn)計算資源。

（1）計算資源。通過虛擬化技術對物理計算資源（CPU、內存、磁盤、網卡）進行封裝，按需提供虛擬化計算資源。

（2）存儲資源。實現(xiàn)對云數據中心對象存儲、塊存儲、文件存儲資源的統(tǒng)一封裝及管理。對象存儲主要通過分布式存儲提供對象存儲空間，提供對象存儲接口；塊存儲主要通過集中式存儲提供塊存儲空間，提供ISCSI、FC等塊存儲接口；文件存儲主要通過分布式存儲提供文件存儲空間，提供NFS，HDFS等文件存儲接口。

（3）網絡資源。提供云數據中心SDN網絡資源的管理，通過營運支撐平臺可以調用SDN網絡相關功能，對SDN Overlay進行業(yè)務編排，部署虛擬機時SDN網絡自動配置虛擬機VXLAN及IP。

（4）數據庫資源。提供云數據中心數據庫資源的統(tǒng)一管理，接口封裝、任務執(zhí)行。

（5）操作系統(tǒng)資源。提供操作的系統(tǒng)的統(tǒng)一管理，統(tǒng)一封裝、統(tǒng)一鏡像，可通過支撐平臺分發(fā)、安裝、卸載指定的操作系統(tǒng)。

（6）中間件資源。提供中間件資源的統(tǒng)一管理，統(tǒng)一封裝，統(tǒng)一鏡像，可通過支撐平臺分發(fā)、安裝、卸載中間件。

（7） 基礎資源。提供云數據中心機房機柜、線纜資源同一管理。

3.2.4 資源監(jiān)控告警模塊

（1）性能監(jiān)控。提供資源池、平臺、硬軟件設備、中間件等組件的性能監(jiān)控，監(jiān)控指標包括但不限于CPU使用率、內存使用率、網絡帶寬、數據表等。

（2）拓撲發(fā)現(xiàn)。以拓撲的方式對平臺已有設備與虛擬機等要素進行拓撲展現(xiàn)。

（3）狀態(tài)監(jiān)控。對虛擬機、網絡、存儲、操作系統(tǒng)、服務器等軟硬件管理對象進行狀態(tài)監(jiān)控。

（4）異常告警。告警管理可以在物理資源、虛擬資源、應用出現(xiàn)故障時，發(fā)出告警信息，管理員可以第一時間發(fā)現(xiàn)告警并及時處理。提供告警策略配置管理，通過設定的策略，可以對所管理的物理資源、虛擬資源、應用服務進行監(jiān)控和故障檢查，發(fā)現(xiàn)故障后系統(tǒng)會分為一般、嚴重、緊急等告警級別進行上報，上報方式有管理頁面顯示、郵件告警、短信告警、語音告警。通過訂閱重要的告警，管理員即使在無人值守的情況下，仍然可以充分掌握整個云數據中心運行狀況。

（5）日志管理。日志管理主要包括審計日志、系統(tǒng)日志、操作日志三種日志類型的統(tǒng)一記錄與管理，系統(tǒng)會記錄用戶對資產的各種操作，日常訪問情況，實現(xiàn)操作行為追溯和日志記錄，以規(guī)范用戶的操作。用戶可以根據時間、資產、操作類型等信息，查詢日志信息。

3.2.5自動化運維模塊

（1）自動巡檢。通過預置的自動巡檢腳本引擎對某對象情況進行定時執(zhí)行檢測。

（2）故障自愈。實現(xiàn)在系統(tǒng)在出現(xiàn)故障時以主備切換、業(yè)務遷移、自動啟動等方式進行自我修復，保障業(yè)務運行的連續(xù)性。

（3）自動升級。實現(xiàn)對云數據中心內相關系統(tǒng)以及營運支撐平臺自身模塊的自動升級與模塊更新。

（4）自動發(fā)布。將應用系統(tǒng)以虛擬機的方式進行封裝后，通過對相關虛擬機的克隆與啟動運行從而實現(xiàn)應用系統(tǒng)/軟件的自動發(fā)布。

（5）配置管理。配置管理數據庫作為金融集團云數據中心運維管理的核心數據源，需要嚴格保證數據的準確性，并在數據變化后利用有效地手段進行更新，因此需要利用自動發(fā)現(xiàn)工具、手工錄入和流程控制手段持續(xù)保證配置管理數據庫的信息準確。

自動發(fā)現(xiàn)工具：自動抓取標準的系統(tǒng)信息及關聯(lián)關系，將信息存入配置管理數據庫中。在系統(tǒng)配置數據改變后，自動發(fā)現(xiàn)工具能夠自動比對配置信息，并進行配置管理數據庫的更新。

手工錄入：將無法自動發(fā)現(xiàn)但又需要收集的配置項信息和關系，通過手工錄入的方式進行信息填充。

流程控制：通過嚴格的變更管理流程，所有對于配置項的更新操作進行嚴格控制，以避免跳過流程進行配置調整的情況發(fā)生。

3.2.6運行管理模塊

（1）事件管理。對平臺運行過程中所遇到的運行事件、故障事件、告警事件等事件進行統(tǒng)一管理，支持相關的生命周期操作。

（2）流程管理。對平臺業(yè)務流轉以及工單審批流程等方面進行統(tǒng)一管理和配置。

（3）知識庫。知識管理的目的是建立共享的知識數據庫，主要包含服務知識數據，運維案例庫、操作手冊等。知識管理一般分為幾種角色：知識提交者、知識審批者、知識管理者、知識使用者。知識提交者負責將知識的信息歸納總結提交；知識審批者負責根據審批規(guī)則，將知識提交者所提交的知識進行審批；知識管理者負責監(jiān)視知識庫中知識的提交情況、使用情況，以決定是否需要進行知識的更新淘汰等工作；知識使用者負責查詢和使用知識庫中的知識，并對知識的有效性進行反饋。

（4）審批管理。用戶提供提交工單或者資源申請單后，通過流程周轉，相關負責人對申請進行審核后確認，實現(xiàn)跨部門審批與各部門內部審批業(yè)務的無縫對接，提高整體效率。

（5）資產管理。提供軟硬件資產管理系統(tǒng)，刻畫企業(yè)資產地圖，對資產進行全生命周期管理，并通過資產間關系進行影響面分析。

3.2.7 身份認證/權限管理

提供統(tǒng)一認證模塊，通過一次登錄，實現(xiàn)整個營運支撐平臺安全訪問。營運支撐平臺提供默認角色，包括管理員、項目經理、開發(fā)、測試、運維、運營角色，根據角色控制各系統(tǒng)菜單權限。提供身份識別與訪問管理系統(tǒng)，用于調用的接入認證，實現(xiàn)營運支撐平臺的統(tǒng)一權限管理。系統(tǒng)后端支持與第三方認證對接，也支持相關權限數據的同步，實現(xiàn)管理員、用戶身份認證與識別；業(yè)務、資源訪問、使用賬戶管理服務的內外部調用全部通過統(tǒng)一的認證服務進行控制，提高安全性。

3.2.8 統(tǒng)一集成接口

營運支撐平臺提供統(tǒng)一安全的第三方調用接口從而方便第三方系統(tǒng)進行功能集成，具備良好的擴展性。

3.3 云數據中心營運支撐平臺典型應用場景介紹

3.3.1 重點業(yè)務保障應用場景介紹

場景假設：月底財務系統(tǒng)需要出具報表，需要對財務系統(tǒng)進行重點保障，通過營運支撐平臺可以自動實現(xiàn)對財務系統(tǒng)的全面保障，保障方式如圖4所示。

①通過營運支撐平臺實現(xiàn)對業(yè)務系統(tǒng)使用的網絡、虛擬機、服務器、數據庫進行自動全面的檢查，提前發(fā)現(xiàn)問題。

②-⑤通過網絡帶寬保障業(yè)務系統(tǒng)網絡QoS；通過計算管理增加業(yè)務系統(tǒng)的計算資源如CPU及內存；通過存儲管理優(yōu)化存儲讀寫能力；通過數據庫管理保障數據庫處理能力。

⑥將業(yè)務系統(tǒng)相關IT資源監(jiān)控狀態(tài)情況數據在支撐平臺顯著界面顯示，同時除必要的管理員賬號開放外，暫時鎖定其他賬號，防止人為誤操作。

3.3.2資源動態(tài)調配應用場景介紹

場景假設：集團資金結算系統(tǒng)每月1-25日為正常訪問時間段，所需計算資源為CPU 16C 內存128G，每月26-30日為高峰訪問時間段，所需計算資源為CPU 32C 內存256GB，通過營運支撐平臺資源調配功能可以實現(xiàn)集團資金結算系統(tǒng)資源的自動調整，實現(xiàn)示意如圖5所示。

①集團資金結算系統(tǒng)每月1-25日計算資源為正常訪問。

②-③每月26-30日資金結算系統(tǒng)為高峰訪問，通過預置的配置模板，將資金結算系統(tǒng)計算資源池自動調整為CPU 32C內存256GB，以滿足業(yè)務系統(tǒng)的使用。

④-⑤次月1-25日資金結算系統(tǒng)恢復平穩(wěn)，通過支撐平臺將其計算資源自動恢復為CPU 16C 內存128GB。

3.3.3服務等級配置應用場景介紹

場景假設：集團需要新上線兩套業(yè)務系統(tǒng)為：核心業(yè)務系統(tǒng)（需要高性能計算資源、高性能集中式存儲資源、網絡帶寬需要優(yōu)先保障）；文檔管理系統(tǒng)（需要普通性能計算資源、大容量分布式存儲資源、普通網絡帶寬），集團IT管理員通過營運支撐平臺對兩個系統(tǒng)劃分不同等級的IT資源，示意圖如圖6所示。

① 業(yè)務部門向集團IT管理部門發(fā)起資源請求。

②集團IT管理部門通過營運支撐平臺統(tǒng)計分析功能查詢富裕資源情況。

③確認資源滿足要求后，集團IT管理部門通過服務等級功能劃分金牌服務及銀牌服務，金牌服務劃分為4路X86服務器、高QoS網絡，集中式存儲；銀牌服務2路X86服務器、中QoS網絡、分布式存儲。

④資源分配后營運支撐平臺自動對資源進行統(tǒng)一的監(jiān)控。

⑤營運支撐平臺配置管理功能自動更新配置管理數據庫。

3.3.4統(tǒng)計分析應用場景介紹

通過營運支撐平臺統(tǒng)計分析功能，可以迅速、直觀的統(tǒng)計分析出云數據中心整個IT資源的情況，部分統(tǒng)計分析應用場景如表1所示。

4 結束語

通過云數據中心安全營運支撐平臺，金融集團IT管理員可以將云數據中心基礎資源封裝整合成一個擁有計算、網絡、存儲、操作系統(tǒng)、中間件、數據庫集合的資源池，利用直觀、可視化的操作界面按需提供相關資源服務，為金融集團不同部門、不同業(yè)務系統(tǒng)提供高性能、可彈性擴縮、安全隔離的私有云服務，實現(xiàn)云數據中心基礎資源的營運管理，持續(xù)優(yōu)化提升資源的利用效率，降低TCO，實現(xiàn)智能運維。

參考文獻

[1] Gary Lee著，唐富年，譯.云數據中心網絡技術[M].北京：人民郵電出版社.

[2] 楊歡，著.云數據中心構建實踐[M].北京：機械工業(yè)出版社.

[3] 《智慧云數據中心》編委會著.智慧云數據中心[M].北京：電子工業(yè)出版社.

[4] 卓蘇拉，著.云計算與數據中心自動化[M].北京：人民郵電出版社.

[5] 張文科，劉桂芬.云計算數據安全和隱私保護研究[J].2012.（11）38-40.

作者簡介：

周一波（1980-），男，漢族，湖南新化人，畢業(yè)于加拿大溫莎大學，碩士研究生，國網英大國際控股集團公司信息化工作部，主任助理，高級工程師；主要研究方向和關注領域：信息安全與數據中心建設。

陳捷（1985-），男，漢族，江蘇淮安人，畢業(yè)于中央財經大學，碩士研究生，北京匯通金財信息科技有限公司集成業(yè)務部，副主任，中級工程師；主要研究方向和關注領域：云計算、信息系統(tǒng)集成。