張紅艷，閆一新，吳煒，馮冠霖

（工業(yè)和信息化部電子第五研究所，廣東 廣州 511370）

0 引言

數(shù)據(jù)中心作為信息化時代的關(guān)鍵基礎(chǔ)設(shè)施，為信息數(shù)據(jù)存儲和系統(tǒng)運行提供了平臺支撐，是推進新一代信息技術(shù)產(chǎn)業(yè)發(fā)展的關(guān)鍵資源。數(shù)據(jù)流量的爆發(fā)式增長也使我國社會的數(shù)據(jù)中心需求持續(xù)提升。然而，近年來我國數(shù)據(jù)中心宕機事故頻發(fā)，造成了嚴重的經(jīng)濟損失。在此背景下，數(shù)據(jù)中心的高可靠性逐漸成為人們關(guān)注的問題，對于數(shù)據(jù)中心布局與建設(shè)中的可靠性分析也顯得尤為重要。

1 我國數(shù)據(jù)中心發(fā)展概況和可靠性簡介

1.1 數(shù)據(jù)中心是信息化發(fā)展的關(guān)鍵基礎(chǔ)設(shè)施

數(shù)據(jù)中心是傳遞、加速、展示、計算和存儲數(shù)據(jù)信息的特定設(shè)備網(wǎng)絡(luò)，簡單來說就是專業(yè)級機房，其組成可分為場地層、設(shè)施層、IT硬件和IT軟件，如表1所示。按照服務(wù)對象的不同，數(shù)據(jù)中心可以分為企業(yè)數(shù)據(jù)中心和互聯(lián)網(wǎng)數(shù)據(jù)中心。在云計算、5G、人工智能、大數(shù)據(jù)、區(qū)塊鏈和物聯(lián)網(wǎng)等信息技術(shù)飛速發(fā)展的背景下，數(shù)據(jù)中心作為科技創(chuàng)新和技術(shù)應(yīng)用的實體，大大地激發(fā)了數(shù)據(jù)要素的潛能，為我國數(shù)字經(jīng)濟的發(fā)展提供了有力的支撐。2020年3月，中央政治局常委會提出應(yīng)加快數(shù)據(jù)中心等新型基礎(chǔ)設(shè)施建設(shè)進度，這為數(shù)據(jù)中心的發(fā)展帶來了新契機。隨著云計算、邊緣計算和超算的推進，邊緣數(shù)據(jù)中心[1]、云數(shù)據(jù)中心[2]和超算數(shù)據(jù)中心[3]進入高速發(fā)展期，成為數(shù)據(jù)中心形態(tài)發(fā)展的新趨勢。

表1 數(shù)據(jù)中心的4層架構(gòu)

1.2 我國數(shù)據(jù)中心市場規(guī)模和發(fā)展空間巨大

信通院數(shù)據(jù)顯示，2019年我國互聯(lián)網(wǎng)數(shù)據(jù)中心 （IDC：Internet Data Center）業(yè)務(wù)的總體營收為1 132.4億元，預(yù)計國內(nèi)IDC市場規(guī)模在2020年將達到1 494.2億元，同比增長30%以上，遠高于全球平均增速。目前，互聯(lián)網(wǎng)、云計算的高速發(fā)展是我國數(shù)據(jù)中心市場規(guī)模持續(xù)增長的核心驅(qū)動力，例如：在新冠疫情期間，基于云計算的遠程教育、遠程辦公等產(chǎn)生了大量的用戶需求。大量資本涌入數(shù)據(jù)中心的建設(shè)和運營市場，例如：中信建投、紅杉資本、DCP德勤和中移集團等，極大地助推了數(shù)據(jù)中心投資建設(shè)熱潮，大量的大型數(shù)據(jù)中心投入建設(shè)。據(jù)預(yù)測，我國在2025年將以48.6 ZB的數(shù)據(jù)量成為全球最大的數(shù)據(jù)圈，數(shù)據(jù)流量的爆發(fā)式增長使我國社會的數(shù)據(jù)中心需求持續(xù)地提升。

圖1 2012-2020年我國數(shù)據(jù)中心市場規(guī)模變化

1.3 我國數(shù)據(jù)中心分布呈東部多于中西部的格局

數(shù)據(jù)中心的數(shù)量與當?shù)亟?jīng)濟發(fā)展情況密切相關(guān)，我國大部分互聯(lián)網(wǎng)公司分布在一線城市，有較多時效性高的“熱數(shù)據(jù)”需要處理，因此我國數(shù)據(jù)中心主要集中在北上廣及周邊地區(qū)，而中西部地區(qū)的數(shù)據(jù)中心建設(shè)需求主要面向時效性不高的“冷數(shù)據(jù)”。目前，京津冀、長三角和大灣區(qū)占據(jù)了整體市場50%以上的份額，2019年我國大型數(shù)據(jù)中心按各省市占比來看，廣東、上海和北京分別達到21%、13%和10%。但北京、上海和深圳等一線城市近期陸續(xù)出臺數(shù)據(jù)中心能耗指標管控政策，對新建數(shù)據(jù)中心投產(chǎn)規(guī)模形成制約。

1.4 數(shù)據(jù)中心的可靠性要求

數(shù)據(jù)中心承載著各個行業(yè)基礎(chǔ)服務(wù)的底層保障，通常要求業(yè)務(wù)無中斷，確保沒有故障發(fā)生，一旦出現(xiàn)故障將會給數(shù)據(jù)中心的業(yè)務(wù)帶來嚴重的損失。由此可見，數(shù)據(jù)中心運行的高可靠性至關(guān)重要?？煽啃允侵府a(chǎn)品在規(guī)定的條件和時間內(nèi)，完成規(guī)定功能的能力。產(chǎn)品兩次相鄰故障間的平均工作時間被稱為平均故障間隔時間（MTBF），MTBF是衡量產(chǎn)品可靠性的關(guān)鍵指標。

1.4.1 我國數(shù)據(jù)中心可靠性等級劃分

數(shù)據(jù)中心業(yè)務(wù)的飛速發(fā)展對其可靠性提出了越來越高的要求，特別是服務(wù)器、供電系統(tǒng)[4]和網(wǎng)絡(luò)架構(gòu)等關(guān)鍵環(huán)節(jié)的可靠性，因此現(xiàn)有的數(shù)據(jù)中心都不斷努力提高可靠性水平，追求高可靠性等級認證。我國國家標準GB 50174-2017《數(shù)據(jù)中心設(shè)計規(guī)范》[5]根據(jù)數(shù)據(jù)中心的使用性質(zhì)、數(shù)據(jù)丟失或網(wǎng)絡(luò)中斷在經(jīng)濟或社會上造成的損失或影響程度確定了A、B、C 3個級別，其中，電子信息系統(tǒng)運行中斷將造成重大的經(jīng)濟損失或公共場所秩序嚴重混亂的數(shù)據(jù)中心為A級；電子信息系統(tǒng)運行中斷將造成較大的經(jīng)濟損失或公共場所秩序混亂的數(shù)據(jù)中心為B級；不屬于A級或B級的數(shù)據(jù)中心為C級。

1.4.2 相關(guān)國際標準

在國際上，全球公認的數(shù)據(jù)中心標準組織和第三方認證機構(gòu)Uptime Institute的主要標準“Data Center Site Infrastructure Tier Standard：Topology”

和 “Data Center Site Infrastructure Tier Standard：Operational Sustainability”是數(shù)據(jù)中心基礎(chǔ)設(shè)施可用性、可靠性及運維管理服務(wù)能力認證的重要標準依據(jù)。Uptime TIER等級認證基于以上兩個標準，是數(shù)據(jù)中心業(yè)界最知名、權(quán)威的認證。Uptime TIER數(shù)據(jù)中心等級認證體系分為Tier I—Tier IV 4個等級，其中Tier IV最高，如表2所示。

從表2中可以看出，最低級的Tier I允許平均每年有28.8 h的故障時間，而最高等級的Tier IV只允許平均每年48 min故障時間。

表2 Uptime TIER等級分類

1.4.3 數(shù)據(jù)中心可靠性等級的設(shè)定

在數(shù)據(jù)中心的級別設(shè)定時，隨著級別的上升造價也會隨之增加，因此通常在造價和業(yè)務(wù)要求之間找到平衡點。以金融行業(yè)的數(shù)據(jù)中心為例，瞬時的中斷也會導(dǎo)致不可估量的經(jīng)濟損失，因此銀行業(yè)的數(shù)據(jù)中心一般設(shè)定為A級并參照TierⅢ或TierⅣ設(shè)計。

注：在本文第三部分中，數(shù)據(jù)中心建設(shè)的可靠性與1.4中定義的可靠性相一致。而第二部分數(shù)據(jù)中心布局的可靠性與1.4中定義的可靠性略有不同，前者更多地是指數(shù)據(jù)中心的安全性、連續(xù)服務(wù)能力和整體災(zāi)備能力。

2 我國數(shù)據(jù)中心布局中的可靠性問題分析與建議

2.1 我國數(shù)據(jù)中心布局中的現(xiàn)狀分析

2.1.1 宏觀層面

2013年工業(yè)和信息化部、國家發(fā)展改革委、國土資源部、國家電力監(jiān)管委員會和國家能源局聯(lián)合發(fā)布了《關(guān)于數(shù)據(jù)中心建設(shè)布局的指導(dǎo)意見》，指出數(shù)據(jù)中心的建設(shè)和布局應(yīng)以科學(xué)發(fā)展為主題，引導(dǎo)市場主體合理選址、長遠規(guī)劃、按需設(shè)計、按標建設(shè)，逐漸地形成技術(shù)先進、結(jié)構(gòu)合理、協(xié)調(diào)發(fā)展的數(shù)據(jù)中心新格局。

整體來看，我國數(shù)據(jù)中心正逐漸地形成京津冀、長三角和珠三角等核心區(qū)域協(xié)調(diào)聯(lián)動，內(nèi)蒙古、貴州等中西部地區(qū)快速發(fā)展協(xié)同補充的全面發(fā)展格局。但當前，我國不同地區(qū)的數(shù)據(jù)中心仍存在供求不平衡的現(xiàn)象。一線城市的數(shù)據(jù)中心處于相對飽和狀態(tài)，上架率在70%以上，售賣率在85%以上，由于一線城市的互聯(lián)網(wǎng)企業(yè)、金融企業(yè)和政府等客戶的需求量較大，目前仍存在“供不應(yīng)求”的現(xiàn)象，上海市2019年的數(shù)據(jù)中心機架需求規(guī)模超過41萬架，而在用數(shù)量僅有38.4萬架。一線城市指標受限且綜合成本較高，一些互聯(lián)網(wǎng)企業(yè)積極布局其他地域，例如：京東將數(shù)據(jù)中心選址在宿遷，阿里布局張北、廣東河源等地。相反，二線城市的數(shù)據(jù)中心由于骨干網(wǎng)等基礎(chǔ)設(shè)施、交通和建設(shè)運維人才等因素的欠缺，需求未能很好地激發(fā)，存在“供過于求”的現(xiàn)象，西部地區(qū)的數(shù)據(jù)中心空置率普遍高于50%。

2.1.2 微觀層面

數(shù)據(jù)中心的合理布局對于其可靠性的提升至關(guān)重要，例如：商業(yè)銀行信息系統(tǒng)對于可靠性、連續(xù)性和災(zāi)難恢復(fù)能力要求極高，數(shù)據(jù)中心是一項影響信息系統(tǒng)可靠性的關(guān)鍵因素，合理的布局能夠有效地提高商業(yè)銀行信息系統(tǒng)的可靠性。隨著數(shù)據(jù)中心的出現(xiàn)，商業(yè)銀行的系統(tǒng)應(yīng)用從全國各地集中到了北京、上海等核心城市進行統(tǒng)一管理，實現(xiàn)了從上而下的標準化統(tǒng)一，提高了總部的管控能力和信息化水平。數(shù)據(jù)的集中化管理也暗藏著巨大的風(fēng)險，若公司總部的數(shù)據(jù)中心出現(xiàn)問題，將會嚴重地影響其業(yè)務(wù)運轉(zhuǎn)，2015年5月，杭州市蕭山區(qū)某光纜被市政施工隊挖斷，導(dǎo)致支付寶一個主要的機房受到影響，隨后全國部分用戶約2 h無法使用支付寶。為了降低信息系統(tǒng)服務(wù)異常導(dǎo)致的業(yè)務(wù)中斷風(fēng)險，銀監(jiān)會對各個商業(yè)銀行的可靠性管理提出了監(jiān)管要求，明確商業(yè)銀行應(yīng)建立多個數(shù)據(jù)中心并將業(yè)務(wù)部署在其中，從而提高信息系統(tǒng)對災(zāi)難的抵御和恢復(fù)能力。

2.2 關(guān)于我國數(shù)據(jù)中心布局的可靠性提升建議

從宏觀層面來看，數(shù)據(jù)中心的建設(shè)不能一哄而上、盲目跟風(fēng)，應(yīng)當科學(xué)規(guī)劃，統(tǒng)籌全局，重視前期調(diào)研和可行性分析，綜合評估建設(shè)成本、運營成本和用戶規(guī)模等因素，建設(shè)具有高可靠性等級認證的數(shù)據(jù)中心。同時，數(shù)據(jù)中心的布局和建設(shè)也可以考慮與其他產(chǎn)業(yè)融合發(fā)展，例如：寶武集團將其軟件業(yè)務(wù)剝離，成立寶信軟件，后者現(xiàn)在已成為知名IDC服務(wù)商。再如：阿里巴巴的千島湖數(shù)據(jù)中心采用湖水自然冷技術(shù)，將工業(yè)和景觀用水與數(shù)據(jù)中心冷卻用水結(jié)合，在不污染環(huán)境的前提下實現(xiàn)資源的最大利用，在真正意義上實現(xiàn)了科技、自然與城市的完美結(jié)合，加上千島湖天然的優(yōu)美景色，由此被稱為“最美數(shù)據(jù)中心”。

從微觀層面來看，數(shù)據(jù)中心從區(qū)域分布上可分為同城和異地，從數(shù)量上可分為雙中心、三中心和多中心，大型企業(yè)自建的數(shù)據(jù)中心應(yīng)當綜合地考慮信息系統(tǒng)災(zāi)難恢復(fù)等級、業(yè)務(wù)部署方式和管控模式等因素，形成適合實際需求的整體布局規(guī)劃，從而提高其可靠性，為信息系統(tǒng)的穩(wěn)定運行提供可靠的場所和災(zāi)難恢復(fù)的能力。一個典型的案例是在2020年的雙11期間，阿里巴巴集團副總裁、基礎(chǔ)設(shè)施事業(yè)群負責(zé)人表示，阿里云有五大超級數(shù)據(jù)中心支持雙11的交易高峰，包括南通數(shù)據(jù)中心、杭州數(shù)據(jù)中心、烏蘭察布數(shù)據(jù)中心、張北數(shù)據(jù)中心和河源數(shù)據(jù)中心，阿里數(shù)據(jù)中心的整體架構(gòu)從集中式轉(zhuǎn)為分布式，在出現(xiàn)故障后可以實現(xiàn)1 min發(fā)現(xiàn)、1 min定位、1 min恢復(fù)，大大地提高了其數(shù)據(jù)中心的可靠性。

3 我國數(shù)據(jù)中心建設(shè)中的可靠性問題分析與建議

3.1 我國數(shù)據(jù)中心建設(shè)的現(xiàn)狀分析

近年來，我國數(shù)據(jù)中心宕機事故頻發(fā)，2014年7月20日重慶農(nóng)商行數(shù)據(jù)中心發(fā)生重大火災(zāi)，整個機房全部燒毀，直接損失一個億以上；2017年4月，擁有“信息黃埔”之稱的北京郵電大學(xué)校園核心機房著火受損，眾多北京高校校園網(wǎng)紛紛崩潰；2018年6月，北京亦莊某數(shù)據(jù)中心機房柴油機發(fā)生起火事故，原因是變電站改造期間限電25%，部分數(shù)據(jù)中心使用柴油發(fā)電機發(fā)電。

全球知名的數(shù)據(jù)中心標準組織Uptime Institute在2018年的調(diào)查表明，近年來數(shù)據(jù)中心提高了能源利用效率，實現(xiàn)了PUE值的降低，但因此犧牲了可靠性，近1/3的數(shù)據(jù)中心在過去的一年中出現(xiàn)了停電，而這一數(shù)據(jù)在2017年為25%。導(dǎo)致停機的三大原因是斷電（33%）、網(wǎng)絡(luò)故障（30%）和IT或軟件錯誤（28%）。

面對數(shù)據(jù)中心的宕機事件，基礎(chǔ)設(shè)施的冗余備份機制是實現(xiàn)數(shù)據(jù)中心高可靠性的基礎(chǔ)。對于數(shù)據(jù)中心來說，冗余備份機制涉及的范圍很廣，從數(shù)據(jù)中心的外部來看，有傳輸鏈路的雙路由、供電線路的雙路由；從數(shù)據(jù)中心的內(nèi)部來看，有網(wǎng)絡(luò)架構(gòu)的雙路由、服務(wù)器的雙機熱備等。一些企業(yè)甚至備份了整個數(shù)據(jù)中心，主數(shù)據(jù)中心與輔助數(shù)據(jù)中心之間存在物理隔離，在兩個或多個數(shù)據(jù)中心復(fù)制工作負載和數(shù)據(jù)，為企業(yè)的數(shù)據(jù)中心使用提供了更高的可靠性。

值得一提的是，近年來虛擬化技術(shù)的興起大大地提高了設(shè)備、系統(tǒng)和網(wǎng)絡(luò)的可靠性。大規(guī)模的設(shè)備虛擬化建立了資源池，模糊了IT設(shè)備之間物理鏈路的概念，從而在設(shè)備異?；蜴溌饭?jié)點阻斷的情況下，不影響整個系統(tǒng)的運行。

從發(fā)展趨勢來看，我國數(shù)據(jù)中心建設(shè)正經(jīng)歷數(shù)字化和模塊化轉(zhuǎn)型。數(shù)據(jù)中心的建設(shè)包括規(guī)劃設(shè)計、建造施工、運營維護和改造擴建等。隨著建筑信息模型（BIM）和計算流體動力學(xué)（CFD）的發(fā)展，數(shù)字化模擬已經(jīng)成為數(shù)據(jù)中心建設(shè)乃至全生命周期中的標配，大大地降低了試錯成本，提高了數(shù)據(jù)中心多環(huán)節(jié)的協(xié)同度。傳統(tǒng)數(shù)據(jù)中心漫長的建設(shè)周期和業(yè)務(wù)上線時間無法滿足企業(yè)的基本要求，模塊是集成了供配電、制冷和機柜等功能的獨立運行單元，數(shù)據(jù)中心的模塊化可以實現(xiàn)快速部署、分期建設(shè)和動態(tài)調(diào)整，完成了數(shù)據(jù)中心建設(shè)從工地到工廠的轉(zhuǎn)移。模塊化設(shè)計提高了數(shù)據(jù)中心的安全性、可靠性，也使得數(shù)據(jù)中心的建設(shè)可以在建筑層面復(fù)制，前期階段是提高建設(shè)效率，后期則是提高建設(shè)速率，節(jié)省運維費用[6]。

3.2 關(guān)于我國數(shù)據(jù)中心建設(shè)的可靠性提升建議

面對頻發(fā)的數(shù)據(jù)中心宕機事故，應(yīng)當從數(shù)據(jù)中心的建設(shè)層面做好基礎(chǔ)設(shè)施容量規(guī)劃，保留必要的冗余，確保數(shù)據(jù)中心的高可靠性，同時避免空間資源的浪費。同時應(yīng)當加強數(shù)據(jù)中心建設(shè)過程中的可靠性提升技術(shù)攻關(guān)，總結(jié)提煉數(shù)據(jù)中心的可靠性提升整體解決方案，開展應(yīng)用推廣，形成具備推廣價值的數(shù)據(jù)中心建設(shè)典型案例，打造標桿，最終推動數(shù)據(jù)中心的可靠性提升。

此外，目前我國數(shù)據(jù)中心建設(shè)與驗收體系還不夠完善，應(yīng)當針對新建、在用數(shù)據(jù)中心的規(guī)劃建設(shè)、等級評定和風(fēng)險評估等不同的需求，借助專業(yè)機構(gòu)和平臺，在國內(nèi)數(shù)據(jù)中心建設(shè)過程中推廣數(shù)字化模擬和模塊化建設(shè)，并提供咨詢培訓(xùn)、驗證測試、運維評估和軟件測評等全生命周期的第三方技術(shù)保障和服務(wù)，提升數(shù)據(jù)中心全生命周期運營的可靠性。

4 結(jié)束語

本文介紹了我國數(shù)據(jù)中心的發(fā)展概況與可靠性要求，分別從我國數(shù)據(jù)中心的布局與建設(shè)兩方面進行了可靠性問題分析，并提出了可靠性提升的建議，對于今后我國數(shù)據(jù)中心的合理建設(shè)與布局有一定的參考意義。