王月 盛凱 常金鳳 吳美希

(中國信息通信研究院云計算與大數(shù)據(jù)研究所，北京 100191)

0 引言

近年來，全社會數(shù)字化轉(zhuǎn)型加快發(fā)展，數(shù)據(jù)中心作為信息化、數(shù)字化、智能化發(fā)展的基石，產(chǎn)業(yè)需求旺盛，呈現(xiàn)應用場景多樣化、技術要求差異化的特點。隨著信息技術的快速迭代，大數(shù)據(jù)、云計算、人工智能、區(qū)塊鏈等新技術對數(shù)據(jù)中心的要求各不相同，互聯(lián)網(wǎng)、工業(yè)、金融、電力等不同行業(yè)的數(shù)據(jù)中心建設也千差萬別，數(shù)據(jù)中心底層“風、火、水、電”等基礎設施為適應各類上層IT設備和應用的要求，出現(xiàn)了眾多新的技術發(fā)展方向和熱點[1-3]。本文圍繞數(shù)據(jù)中心預制化、智能化、能源再利用等方面剖析了數(shù)據(jù)中心基礎設施熱點技術的優(yōu)缺點，并從技術、管理、能效三方面總結了數(shù)據(jù)中心基礎設施的發(fā)展現(xiàn)狀和趨勢。

1 數(shù)據(jù)中心基礎設施熱點技術分析

1.1 預制化大幅加快數(shù)據(jù)中心建設速度

伴隨信息技術的快速發(fā)展，業(yè)務競爭日趨激烈。一方面，用戶對數(shù)據(jù)中心交付時間的要求越來越短，數(shù)據(jù)中心建設投產(chǎn)的速度也越來越快；另一方面，數(shù)據(jù)中心涉及的設備和系統(tǒng)繁雜，現(xiàn)場安裝調(diào)試復雜，為了滿足數(shù)據(jù)中心大規(guī)?？焖俑咝Р渴穑a(chǎn)業(yè)鏈相關企業(yè)開展了一系列的探索和創(chuàng)新，模塊化、預制化成為一種新的建設模式。預制化模式預先標準化設計，工廠組裝、集成、預測試，現(xiàn)場即插即用，實現(xiàn)快速安裝、快速交付，并減少現(xiàn)場施工帶來的安全隱患。我國互聯(lián)網(wǎng)企業(yè)研究數(shù)據(jù)中心預制模塊已超過10年，定義了數(shù)據(jù)中心內(nèi)部電氣、空調(diào)、機柜等子系統(tǒng)以及外部基礎設施的接口要求，發(fā)布了《數(shù)據(jù)中心預制模塊總體技術要求》等通信行業(yè)標準，將數(shù)據(jù)中心的建設由工地遷移到工廠。

數(shù)據(jù)中心預制化加快向內(nèi)外縱深擴展，實現(xiàn)了部件預制、設備預制、系統(tǒng)預制及建筑預制。供配電設備預制裝配化在數(shù)據(jù)中心已經(jīng)成為一種發(fā)展趨勢，通過將零散設備集成化，可實現(xiàn)整體設計和交付，減少建設施工成本。近年來，出現(xiàn)了眾多更深入的技術創(chuàng)新和探索，如一體化PDU將插接件與PDU二合一設計，去除接線盒，快插連接，可解決高功率配電機柜接入問題、減少故障點、提升可用性。柴發(fā)主機預制化較為成熟，如集裝箱式的柴發(fā)，但配套系統(tǒng)工程屬性較強，互聯(lián)網(wǎng)企業(yè)將柴發(fā)配套進排風系統(tǒng)、供油系統(tǒng)、消防降噪系統(tǒng)等進行整體設計和預制，實現(xiàn)更為全面、徹底的柴發(fā)預制化。巴拿馬電源項目，將外電10 kV輸入、中壓配電、變壓器、低壓配電等集成優(yōu)化，縮短供電鏈路，可工廠預制并測試，隨需擴容，提高供電效率。在制冷系統(tǒng)方面，部分廠商開始探索集成化的冷站。向內(nèi)，為了滿足數(shù)據(jù)中心ICT設備快速部署，互聯(lián)網(wǎng)公司提出了天蝎整機柜服務器方案，將服務器節(jié)點與機柜系統(tǒng)融為一體，按照集中供電、集中散熱、集中管理、高密度設計，交付效率提升20倍，日交付能力提升至1 萬臺；向外，為了加快數(shù)據(jù)中心建設，縮短數(shù)據(jù)中心建筑的建設時間，部分數(shù)據(jù)中心探索建筑預制化，采用鋼結構模式，將柱、梁、樓板等構件在工廠預制，現(xiàn)場安裝，可大幅縮短施工工期。

預制化也存在相應風險，一是預制化加快數(shù)據(jù)中心建設進度是因為其中多個環(huán)節(jié)并行，減少了安裝時間，但若預制化方式使用不當，沒有縮短中間環(huán)節(jié)，那預制化的效果將得不到實現(xiàn)；二是預制化意味著相關設備的規(guī)格、配置已經(jīng)相對明確，如果后期業(yè)務更新迭代，相關模塊難以進行改造更新，使用壽命可能較短；三是預制化只是一種新的模式，需要根據(jù)實際數(shù)據(jù)中心建設需求、成本、質(zhì)量、技術等多個方面全盤總體考慮，并非所有項目都真正適合預制化，部分項目預制化的結果并不理想。

1.2 AI技術逐步提升數(shù)據(jù)中心管理水平

隨著IoT、AI等新技術的廣泛應用，數(shù)據(jù)中心正在加速實現(xiàn)自動化、無人化、智能化。在基礎設施管理方面，可實現(xiàn)基礎設施和多個子系統(tǒng)的集中管理，通過數(shù)字化3D和數(shù)字孿生技術，實現(xiàn)全局可視，包括部件級、設備級、鏈路級、數(shù)據(jù)中心級的運行狀態(tài)、關鍵參數(shù)、故障告警等信息，幫助管理者更直觀地掌控數(shù)據(jù)中心運行狀態(tài)。在節(jié)能優(yōu)化方面，基于歷史數(shù)據(jù)，通過神經(jīng)網(wǎng)絡算法，指導數(shù)據(jù)中心根據(jù)當前負載工況，按預期進行對應的優(yōu)化控制，實現(xiàn)最佳能效。例如，數(shù)據(jù)中心冷凍水空調(diào)系統(tǒng)有成百上千的傳感器，設備運行工況復雜，百度、華為等公司探索使用AI技術深度理解數(shù)據(jù)中心制冷控制需求，預測濕球溫度，結合業(yè)務負荷情況，預測數(shù)據(jù)中心的制冷負荷和設備最佳運行工況，自動下發(fā)并執(zhí)行系統(tǒng)最佳精細控制策略，大幅提升數(shù)據(jù)中心能源效率，部分場景下可降低制冷系統(tǒng)能耗15%以上[4-5]。除PUE優(yōu)化外，管理平臺還可與IT設備聯(lián)動，通過IT業(yè)務變化動態(tài)調(diào)節(jié)制冷輸出，實現(xiàn)整體最優(yōu)能效。在智能運維方面，AI預測性維護可以提前識別關鍵故障(如螺釘松動引起的高溫起火風險)，取代季度性的人工測溫，減少大量人工運維，降低運維成本。

國內(nèi)外當前已有眾多數(shù)據(jù)中心自動化管理運維的工具和軟件，包括DCOS平臺、ITSM管理、DCIM工具、BA冷水自控系統(tǒng)、動環(huán)監(jiān)控系統(tǒng)、BIM技術等一系列工具和軟件，也出現(xiàn)了不少結合人工智能技術的優(yōu)秀實踐案例，如谷歌數(shù)據(jù)中心DeepMind宣稱通過AI技術可降低冷卻能耗40%，相當于降低整個PUE值15%。但數(shù)據(jù)中心智能化管理在減少人工、優(yōu)化運營的同時也存在相應問題，一是成本問題，采用AI技術對數(shù)據(jù)中心的運營進行優(yōu)化，需部署大量的傳感器，采集大量的數(shù)據(jù)中心運行數(shù)據(jù)，并將數(shù)據(jù)進行建模，運用AI技術進行模型訓練，投入大量人力、物力，對很多中小企業(yè)的數(shù)據(jù)中心來說，具有一定挑戰(zhàn)性，并且AI訓練需要公司具備相應AI技術專家，存在一定實施難度[6]；二是安全問題，采用AI技術優(yōu)化數(shù)據(jù)中心，數(shù)據(jù)中心大量核心數(shù)據(jù)或?qū)⑸蟼髦猎贫?，?shù)據(jù)安全能否保障；三是可靠性問題，數(shù)據(jù)中心智能化管理系統(tǒng)通過模型訓練推理給出一系列的運行措施和建議，部分指令可自動下發(fā)執(zhí)行，如能耗優(yōu)化過程中，會根據(jù)溫濕度、IT負載等情況調(diào)整數(shù)據(jù)中心冷機、冷塔、空調(diào)末端的運行方式，自動下發(fā)設備運行策略的智能操作是否會導致相應設備宕機，或者因模型錯誤導致運行策略出錯引發(fā)故障暫未可知。

1.3 數(shù)據(jù)中心儲能和能源再利用成為發(fā)展趨勢

隨著數(shù)據(jù)中心用電量的需求日益攀升，用電成本也逐漸提高，為了錯峰用電、優(yōu)化電網(wǎng)用電結構，部分數(shù)據(jù)中心探索電價波谷時段儲能，電價波峰時段用能，從而降低數(shù)據(jù)中心用電總成本。另一方面，隨著國家綠色數(shù)據(jù)中心碳達峰、碳中和戰(zhàn)略的推進，數(shù)據(jù)中心使用可再生能源的步伐正在加快，在太陽能、風能富集的地區(qū)，數(shù)據(jù)中心可直接使用可再生能源電力，但太陽能、風能存在周期性、不穩(wěn)定性的特點，需要進行存儲以更大范圍使用[7]。

數(shù)據(jù)中心常用的儲能系統(tǒng)是不間斷電源UPS/HVDC的儲能系統(tǒng)，其中鉛酸電池使用最多，主要用作數(shù)據(jù)中心出現(xiàn)電力故障后的后備電源。近年來，出現(xiàn)了鋰離子電池、鉛蓄電池、鈉硫電池和液流電池等技術，綜合經(jīng)濟性、安全性、能量密度等方面的比較，鉛炭電池和磷酸鐵鋰電池更適用于數(shù)據(jù)中心儲能，未來應用前景更為廣闊。在數(shù)據(jù)中心實際儲能系統(tǒng)部署層面，有數(shù)據(jù)中心園區(qū)級儲能、微模塊儲能、機柜級儲能等方案，互聯(lián)網(wǎng)公司、大型數(shù)據(jù)中心企業(yè)開展了相應探索，但尚未大規(guī)模應用。

數(shù)據(jù)中心儲能具有降低成本、融合可再生能源、削峰填谷、增強災備能力、優(yōu)化電能質(zhì)量等優(yōu)勢，但建設過程中需要注意幾個方面：一是安全性，數(shù)據(jù)中心對安全穩(wěn)定運行要求較高，電池材料的安全可靠性及電池使用中存在的安全隱患需重點關注；二是經(jīng)濟性，需全面衡量儲能系統(tǒng)的建設投資與收益分析；三是部署方式，不同級別的儲能方案優(yōu)缺點不同，需根據(jù)數(shù)據(jù)中心所在位置、規(guī)模、管理以及業(yè)務需求綜合考慮；四是節(jié)能環(huán)保，采用的相關電池設備是否對環(huán)境友好需特別關注，此外，電池設備材料處置需要按照相關法律規(guī)定執(zhí)行，減少環(huán)境污染。

規(guī)模化熱回收成為數(shù)據(jù)中心能源再利用的有效途徑。數(shù)據(jù)中心通過水回收、熱收回等資源再利用方式，不斷推進數(shù)據(jù)中心綠色發(fā)展的進程。當前，越來越多的數(shù)據(jù)中心使用水冷卻系統(tǒng)，隨著水資源消耗快速增長，水資源利用效率(Water Usage Effectiveness，WUE)逐漸得到數(shù)據(jù)中心管理者的重視，并作為關鍵指標進行統(tǒng)計、優(yōu)化。數(shù)據(jù)中心水回收主要包括排污水再回收、雨水回收等形式。排污水水質(zhì)具有高鹽分、高硬度、高堿度特點，需通過改變濃縮倍數(shù)，降低排污水的無機鹽含量，一般經(jīng)過膜法處理后再次回到循環(huán)水或其他用水點。對數(shù)據(jù)中心來說，將雨水作為一種資源再回收利用，回收后的雨水經(jīng)過凈化、消毒等技術處理后，可以作為市政供水的一種有效補充。

當前數(shù)據(jù)中心的廢熱能源普遍存在熱能品質(zhì)低、無法直接利用的情況，往往需要借助熱泵技術對能質(zhì)進行提升，再通過區(qū)域供熱管網(wǎng)輸出至用戶側使用。同時，利用設置在能源站內(nèi)的儲熱罐進行熱能靈活分配，除基本熱力需求外還可與公共供熱網(wǎng)絡連接協(xié)助冬季用熱調(diào)峰[8-9]。萬國數(shù)據(jù)北京三號數(shù)據(jù)中心成功推動數(shù)據(jù)中心余熱回收對外供熱，項目使用螺桿式水源熱泵對外實現(xiàn)供熱，對內(nèi)實現(xiàn)了降低數(shù)據(jù)中心能耗?？傮w來看，當前我國數(shù)據(jù)中心熱能回收應用案例不多，一方面建設熱能回收系統(tǒng)需要投入較大成本，取得的收益不高，經(jīng)濟性不好，其次是余熱回收后的熱量供給輸出，需要與市政、周邊社區(qū)、單位溝通協(xié)調(diào)，跨主體溝通協(xié)調(diào)難度較大。數(shù)據(jù)中心作為能耗大戶，節(jié)能降耗、能源再利用已經(jīng)成為數(shù)據(jù)中心產(chǎn)業(yè)發(fā)展的主旋律，未來需進一步研究相關技術和協(xié)調(diào)機制，推動能源回收再利用，降低碳排放、減少對環(huán)境的影響[10]。

2 數(shù)據(jù)中心基礎設施技術發(fā)展現(xiàn)狀和趨勢

2.1 技術從單點突破向全生命周期技術優(yōu)化

伴隨新冠肺炎疫情的發(fā)展，人民的生產(chǎn)生活方式發(fā)生了重大轉(zhuǎn)變，在線購物、在線娛樂、在線辦公、自動化生產(chǎn)車間等成為了社會主流，數(shù)字經(jīng)濟的快速發(fā)展和融合，給數(shù)據(jù)中心帶來了眾多挑戰(zhàn)。數(shù)據(jù)量呈現(xiàn)指數(shù)級增長，業(yè)務量大幅增加，服務器等設備的數(shù)量和功率也快速提升，導致單機架功率密度快速提升，2010年我國數(shù)據(jù)中心平均單機柜功率在1 kW～3 kW，2015年達到3 kW～5 kW，2020年約為6 kW～10 kW，預計2025年將達到10 kW～15 kW。單機架功率密度提升給供配電系統(tǒng)和制冷系統(tǒng)帶來了諸多問題，如變壓器、配電柜、UPS等設備容量不足，在線產(chǎn)品維護困難，局部電流過大導致設備溫度過高，數(shù)據(jù)中心出現(xiàn)局部熱點，制冷散熱滿足不了高密度機架的需求。

眾多新業(yè)務存在不確定性，業(yè)務量動態(tài)變化，面對突如其來的業(yè)務高峰，數(shù)據(jù)中心需要快速擴容、快速建設、快速投產(chǎn)，基礎設施建設需要靈活高效。因此，對基礎設施技術的研發(fā)創(chuàng)新，不僅聚焦于單個設備的技術創(chuàng)新、單個系統(tǒng)的技術架構，需要從數(shù)據(jù)中心上層的應用、IT設備的技術更新等方面綜合考量，同時結合數(shù)據(jù)中心設計、建設、運維全生命周期的成本、便利性、復雜度，實現(xiàn)數(shù)據(jù)中心整體最優(yōu)，例如微模塊、預模塊、巴拿馬電源、間接蒸發(fā)冷卻、鋰電池等新技術應用要和承載的業(yè)務類型、客戶類別、企業(yè)發(fā)展相匹配，隨著上層業(yè)務需求不斷更新完善。近年來，討論最為火熱的液冷技術，單論建設投資成本會相對較高，若考慮運營中降低能耗所節(jié)省的成本，從全生命周期考慮，對于高密度數(shù)據(jù)中心來說或許是一種可行的技術方案。

2.2 管理從數(shù)字化向智能化演進

數(shù)據(jù)中心運維管理需要耗費大量人力物力財力，對于一個中等規(guī)模的數(shù)據(jù)中心，運維管理團隊需要20 ～ 30人，大型、超大型數(shù)據(jù)中心需要的將會更多，且需運維值班人員24 h現(xiàn)場值守。但在實際運行過程中，仍然會出現(xiàn)大量的問題和故障，如網(wǎng)絡中斷、電力中斷等造成數(shù)據(jù)中心癱瘓，除此之外基礎設施局部故障也可能影響到用戶業(yè)務，如2020年谷歌數(shù)據(jù)中心服務器機架輪子損壞，影響了冷卻系統(tǒng)的正常運轉(zhuǎn)，服務器溫度過高導致 CPU 性能受到遏制，造成一些用戶無法正常使用搜索、Gmail等服務。物理基礎設施的有效管理和穩(wěn)定運行對數(shù)據(jù)中心非常重要，隨著數(shù)據(jù)量的高速增長，新建數(shù)據(jù)中心以大規(guī)模、超大規(guī)模為主，海量的設備和復雜的系統(tǒng)為高效管理帶來了挑戰(zhàn)，數(shù)據(jù)中心亟需加快數(shù)字化、智能化轉(zhuǎn)型，依托DCIM等管理系統(tǒng)提升數(shù)據(jù)中心運營管理效率，節(jié)省成本。當前，國內(nèi)數(shù)據(jù)中心大多采用的是動力環(huán)境監(jiān)控系統(tǒng)，統(tǒng)一接入電源、電池、油機、空調(diào)、煙感、水浸、門禁、溫濕度、視頻等終端設備，監(jiān)控統(tǒng)計相應設備參數(shù)，提供集中化運維監(jiān)控能力，但系統(tǒng)功能和性能參差不齊，系統(tǒng)的數(shù)據(jù)采集實時性、準確性都有待進一步評估和確認，且市場上眾多廠商提供的產(chǎn)品互不兼容，網(wǎng)絡傳輸協(xié)議、數(shù)據(jù)接口、命名規(guī)則、告警類別各不相同，為用戶多個數(shù)據(jù)中心的統(tǒng)一管理對接造成一定困難。近年來，數(shù)據(jù)中心相關設備廠商、大型數(shù)據(jù)中心企業(yè)開始探索將大數(shù)據(jù)、人工智能等技術用于運維管理中，如提高數(shù)據(jù)采集的實時性和準確性，研究訓練節(jié)能、告警等數(shù)據(jù)模型，開展故障預測等，進一步提升運維管理系統(tǒng)的服務能力和智能化水平。

2.3 能效從綠色節(jié)能向低碳零碳發(fā)展

作為高耗能產(chǎn)業(yè)，綠色發(fā)展已成為數(shù)據(jù)中心產(chǎn)業(yè)發(fā)展的主旋律。近年來，政府、企業(yè)以及研究機構開展了一系列數(shù)據(jù)中心綠色節(jié)能的研究和探索，國家和地方政府持續(xù)發(fā)布數(shù)據(jù)中心綠色和PUE相關政策，行業(yè)協(xié)會、研究機構開展數(shù)據(jù)中心綠色等級評估，企業(yè)研發(fā)創(chuàng)新各類節(jié)能新技術，全國數(shù)據(jù)中心的平均PUE大幅降低，大型以上數(shù)據(jù)中心PUE達到1.5左右，能效水平日益提高。

2020年9月22日，在第七十五屆聯(lián)合國大會一般性辯論上，國家主席習近平宣布“中國將提高國家自主貢獻度，采取更加有力的政策和措施，CO2排放力爭于2030年前達到峰值，努力爭取2060年前實現(xiàn)碳中和”。這對各行各業(yè)綠色發(fā)展提出了更高的要求，數(shù)據(jù)中心行業(yè)作為能耗大戶，需要長遠考慮，加快節(jié)能降碳研究。國際上已有龍頭企業(yè)走在前列，如谷歌在2007年已經(jīng)實現(xiàn)碳中和，計劃于2030年實現(xiàn)無碳排放，F(xiàn)acebook、微軟、亞馬遜分別提出到2030、2030、2040年實現(xiàn)零碳排放、碳負排放、碳中和的目標。國內(nèi)企業(yè)方面，2020年12月31日，秦淮數(shù)據(jù)集團宣布到2030年將實現(xiàn)中國運營范圍內(nèi)所有新一代超大規(guī)模數(shù)據(jù)中心100%采用“可再生綜合能源解決方案”，集團直接參與投資的清潔能源裝機容量將不少于2 GW；2021年1月，騰訊宣布啟動碳中和規(guī)劃，預期將有更多企業(yè)加快碳中和的研究和落地。對于數(shù)據(jù)中心企業(yè)而言，除了降低PUE、節(jié)約水資源、提高能效，未來還需要通過市場化采購可再生能源、自建可再生能源、購買綠色電力證書等方式，逐步實現(xiàn)數(shù)據(jù)中心碳中和目標。

3 結束語

隨著技術的快速更新迭代，數(shù)據(jù)中心作為技術創(chuàng)新的制高點，仍會出現(xiàn)眾多創(chuàng)新性熱點技術，尤其是在國家實現(xiàn)碳中和目標的戰(zhàn)略背景下，綠色節(jié)能、可再生能源、固碳降碳等新技術將持續(xù)火熱。技術創(chuàng)新對產(chǎn)業(yè)發(fā)展具有重要的推動作用，國家及地方政府鼓勵支持數(shù)據(jù)中心產(chǎn)業(yè)鏈各方充分發(fā)揮自身優(yōu)勢開展技術創(chuàng)新與應用，但如果技術不匹配相關應用場景，不適合相應用戶，新技術則無法發(fā)揮其真正的作用。因此數(shù)據(jù)中心采用新技術前需要充分評估衡量技術的優(yōu)劣勢以及經(jīng)濟、社會效益，根據(jù)實際應用需求開展技術研發(fā)創(chuàng)新，確保新技術真正為數(shù)據(jù)中心降本增效，提升數(shù)據(jù)中心產(chǎn)業(yè)發(fā)展質(zhì)量，支撐數(shù)字經(jīng)濟快速增長。