楊子靖，林武雋，張 淵，劉永彬

（中國電信股份有限公司北京分公司，北京 100032）

0 引 言

近日，北京市經(jīng)信局正式發(fā)布《北京市數(shù)據(jù)中心統(tǒng)籌發(fā)展實施方案（2021-2023年）》。今后3年，北京將按照“四個一批”總體思路，以集約化、綠色化、智能化為目標，打造世界領(lǐng)先的高端數(shù)據(jù)中心發(fā)展集群。方案要求，積極推進綠色數(shù)據(jù)中心建設(shè)。強化綠色設(shè)計，鼓勵采用氫能源、液冷、分布式供電、模塊化機房等高效系統(tǒng)設(shè)計方案，實現(xiàn)節(jié)能、節(jié)水、節(jié)地、節(jié)材和環(huán)境保護[1]。

作為方案中推薦的綠色技術(shù)產(chǎn)品，如何科學(xué)合理地選擇模塊化機房方案，實現(xiàn)數(shù)據(jù)中心的綠色建設(shè)，廣受關(guān)注。本文針對老舊數(shù)據(jù)中心機房改造項目中使用的模塊化DC艙建設(shè)方案進行分析，為類似項目提供參考。

1 模塊化DC艙介紹

在中國電信企業(yè)標準《中國電信模塊化DC艙技術(shù)要求》中定義模塊化DC艙是按照機房條件和業(yè)務(wù)需求定制的，由網(wǎng)絡(luò)機柜、配電系統(tǒng)、監(jiān)控系統(tǒng)、供電系統(tǒng)（可選）、空調(diào)系統(tǒng)（可選）以及綜合布線、消安防系統(tǒng)等輔助設(shè)施組成的封閉冷（熱）通道的IT設(shè)備艙。模塊化DC艙為艙內(nèi)各類通信網(wǎng)絡(luò)設(shè)備提供高質(zhì)量的供電、溫度和濕度環(huán)境保障，如圖1所示。

圖1 典型DC艙結(jié)構(gòu)

一般來說，模塊化DC艙多采用密閉冷通道設(shè)計，冷熱氣流隔離，防止冷熱氣流組織混合，形成良好的氣流組織，從而提高機房制冷效果。模塊化DC艙供冷方式靈活，除了可以采用機房級精密空調(diào)，還可采用列間空調(diào)，實現(xiàn)近端制冷，大大節(jié)約能源[2]。

相對于傳統(tǒng)數(shù)據(jù)中心建設(shè)，模塊化DC艙采用模塊化、標準化和高整合設(shè)計，使得整個系統(tǒng)穩(wěn)定度高。艙內(nèi)各子系統(tǒng)、組件均可根據(jù)設(shè)計目標批量生產(chǎn)、調(diào)試，現(xiàn)場快速組裝后即可投入使用。傳統(tǒng)數(shù)據(jù)中心實施階段需要7～8月，而采用模塊化DC艙2～3個月即可建設(shè)完成。

模塊化DC艙之間極少或者沒有物理關(guān)聯(lián)，可實現(xiàn)大規(guī)模數(shù)據(jù)中心的模塊化分步部署和按需建設(shè)，顯著降低了數(shù)據(jù)中心在使用壽命期間的成本，同時降低運營壓力[3]。

另外，模塊化DC艙一般配置有智能管理系統(tǒng)，實現(xiàn)DC艙內(nèi)多層級、精細化的安全和能耗管理，通過多種報表精確定位故障點以及能源使用情況。同時還可以制定設(shè)備的日常維護計劃，努力實現(xiàn)主動預(yù)警，同時可通過與DCIM等系統(tǒng)的對接，構(gòu)建最佳的設(shè)備維護管理功能。

2 機房情況

2.1 機房現(xiàn)狀

北京電信某數(shù)據(jù)中心為全國較早建設(shè)的大型數(shù)據(jù)中心，建筑面積約20 000㎡，共32間IDC機房和3間網(wǎng)絡(luò)，可裝機架超過4 500架。該數(shù)據(jù)中心利用原有廠房建設(shè)，已經(jīng)開通運行超過15年?，F(xiàn)有6路10 kV高壓外市電，總?cè)萘繛?0 800 kVA，制冷系統(tǒng)主要采用風(fēng)冷精密空調(diào)系統(tǒng)，部分機房采用水冷精密空調(diào)制冷。

2.2 存在問題

該數(shù)據(jù)中心由于建設(shè)時間早，存在設(shè)備、管線老舊，氣流組織混亂等問題，造成能耗利用效率低下，實際使用空調(diào)制冷能力遠大于計算冷負荷[4]。同時機房現(xiàn)場條件復(fù)雜，存在大量托盤式機架，機房內(nèi)冷凍水機房空調(diào)、風(fēng)冷機房空調(diào)并存，是較難改造的老舊大型數(shù)據(jù)中心的典型代表，如圖2所示。

圖2 改造前機房內(nèi)部

目前主要存在的問題如下文所述。

（1）機架資源閑置：機架設(shè)備老舊，機房整體環(huán)境較差，部分機架設(shè)計容量僅為10 A，無法適應(yīng)業(yè)務(wù)發(fā)展和新客戶需求，機架利用率為61.63%。

（2）空調(diào)設(shè)備容量配置不合理：末端空調(diào)設(shè)備總冷量冗余過大，部分熱量集中區(qū)域空調(diào)冷量不足，末端空調(diào)制冷效率低。室外機平臺和空調(diào)槽道已基本占滿，多數(shù)室外機分布于樓側(cè)，維護難度大，無新增擴容空調(diào)室外機擺放位置。

（3）氣流組織混亂：機房內(nèi)氣流組織混亂、送回風(fēng)不平衡；風(fēng)冷精密空調(diào)室外機過度集中，散熱氣流組織不暢。

3 機房建設(shè)方案及分析

為盤活該數(shù)據(jù)中心資源，增加公司IDC收入，按照市場需求并結(jié)合公司中長期規(guī)劃，采用模塊化DC艙結(jié)合集中式冷凝器等相關(guān)技術(shù)對該數(shù)據(jù)中心閑置的IDC機房和網(wǎng)絡(luò)機房進行整體改造。

3.1 機房建設(shè)方案

本次改造在保證機房安全的前提下,綜合評估論證改造需求和改造成本后，確定具體方案如下文所述。

（1）用模塊化DC艙的方式對現(xiàn)有7個IDC機房進行改造，共建設(shè)32套雙排模塊化DC艙。將原有10 A機柜改造成20 A及25 A機柜，改造后共設(shè)計機柜數(shù)量為751個，機柜總耗電量為3 380.3 kW，空調(diào)數(shù)量為135臺（新增列間空調(diào)131臺, 利舊4臺水冷空調(diào)），空調(diào)耗電量為1 521.14 kW，總耗電量為4 901.4 kW。其2-3機房的設(shè)計圖如圖3所示。

圖3 2-3機房模塊化DC艙設(shè)計圖紙

（2）模塊化DC艙采用前送風(fēng)背回風(fēng)的方式封閉冷通道，實現(xiàn)冷熱氣流隔離，防止冷熱氣流組織混合，并且采用列間空調(diào)，近端制冷按需供冷，避免了氣流遠距離送風(fēng)中的損耗，提升制冷效率，如圖4所示。

圖4 模塊化DC艙氣流組織示意

（3）采用集中式冷凝器技術(shù)改造優(yōu)化樓頂室外機平臺的C區(qū)、D區(qū)、F區(qū)、G區(qū)，并將部分樓側(cè)的室外機移至樓頂，騰出來的空間供列間空調(diào)的室外機使用，如圖5所示。根據(jù)設(shè)計圖紙，改造后樓頂平面F區(qū)將足夠容納新增列間空調(diào)的室外機，同時C區(qū)、D區(qū)和G區(qū)占地面積將減少50%。

圖5 室外機改造后樓頂平面設(shè)計

通過計算機CFD散熱仿真分析，總結(jié)氣流組織及溫度分布規(guī)律，建立了室外機平臺氣流組織3D模型進而得到集中式冷凝器在平臺不同位置下的氣流組織及溫度分布情況，從而確定了相對最優(yōu)的平臺改造方案。通過圖6可以看出，進風(fēng)環(huán)境溫度為35 ℃，冷凝器排風(fēng)區(qū)域溫度為47 ℃，進風(fēng)和排風(fēng)氣流組織良好，沒有出現(xiàn)氣流短路現(xiàn)象，集中式冷凝器布局合理、占地面積小，滿足散熱要求。

圖6 氣流組織模擬

3.2 建設(shè)方案效果測試分析

在項目改造完成整體驗收前，由第三方檢測機構(gòu)針對項目特點，配置滿負荷的機架式假負載，模擬數(shù)據(jù)中心機房未來運行的情況，按照相關(guān)國家標準和設(shè)計要求進行全面的驗證測試，以此發(fā)現(xiàn)系統(tǒng)中可能存在的故障和隱患。測試驗證不同于傳統(tǒng)的機房驗收，是模擬數(shù)據(jù)中心真實帶載運行狀況下對數(shù)中心的功能、性能、壓力等多方面加以測試驗證，預(yù)先暴露可能存在的風(fēng)險，為以后的運行維護提供較好的基礎(chǔ)[5]。

3.2.1 改造建成完工圖

本次共建設(shè)32套雙排模塊化DC艙，機架功率密度從2.2 kW提升至4.4 kW和5.5 kW，并根據(jù)需求設(shè)置了少量7 kW機柜。機房采用模塊化DC艙技術(shù)改造后，效果如圖7所示。

圖7 模塊化DC艙建成完工

室外機平臺改造共涉及11間機房，涉及改造的空調(diào)室外機63臺，替換老舊的空調(diào)內(nèi)機和新增的空調(diào)內(nèi)機數(shù)量總計21臺，如圖8所示。

圖8 集中式冷凝器改造后的室外機平臺D區(qū)

3.2.2 DC艙溫濕度及極限溫升測試

測試時，將溫濕度測量模塊記錄儀平均分配安裝在模塊化DC艙的冷熱通道內(nèi)（機房冷通道前、中、后均勻選取3個機柜作為測量點；熱通道均勻布置 3個記錄儀），按照測試步驟記錄機房穩(wěn)定運行狀態(tài)下各點位的溫度變化及變化曲線并查看溫度曲線是否正常，根據(jù)設(shè)計說明查看溫度值是否在合格范圍內(nèi)。

以2-3機房為例，測試步驟見表1。

表1 測試方法

改造后，DC艙冷通道的空調(diào)穩(wěn)態(tài)及極限溫升的測試結(jié)果見圖9。

圖9 冷通道溫濕度及極限溫升測試結(jié)果

由圖9可見，機房滿載條件下，DC艙內(nèi)的空調(diào)在設(shè)計冗余條件下，冷通道溫度滿足設(shè)計要求（18～27 ℃）冷通道相對濕度滿足要求（20%～80%），無局部熱點。所有列間空調(diào)均斷電的極限條件下，冷通道在4 min內(nèi)將由25 ℃上升至30℃。

3.2.3 改造后機房PUE測試

根據(jù)第三方測試結(jié)果，在100%負載情況下，改造前后機房PUE變化對比如表2所示。

由表2可看出,在模塊化DC艙改造后，機房的PUE水平得到明顯的提升,由改造前的平均值1.614降低為改造后的1.27。

表2 改造前后機房PUE變化

同時,改造機房所承載的IT設(shè)備用電將由2 365 kW提升至3 380.3 kW,提升了42.93%，有效支撐了公司業(yè)務(wù)發(fā)展。同時,通過列間空調(diào)近端制冷，空調(diào)系統(tǒng)的能耗由1 361.34 kW降低至893.09 kW，空調(diào)用電負荷降低了52.43%,顯著地提高了能源利用效率。

4 結(jié) 論

針對當前通信運營商老舊數(shù)據(jù)中心機樓面臨資源無法有效利用、能效水平低下等困局。本文分析了北京電信某老舊數(shù)據(jù)中心存在的問題，介紹了該數(shù)據(jù)中心通過模塊化DC艙和集中式冷凝器等技術(shù)的綜合應(yīng)用，提升了機房的基礎(chǔ)設(shè)施水平，使機樓資源得以盤活，并實現(xiàn)綠色高效和節(jié)能減排。

目前，北京電信在現(xiàn)有技術(shù)應(yīng)用的基礎(chǔ)上做了進一步的推廣，針對尚具有節(jié)能潛力的局所進行現(xiàn)場勘查論證，同樣以節(jié)能技術(shù)創(chuàng)新的模式進行節(jié)能減排，在降低公司運營成本的同時，積極響應(yīng)國家“碳中和”的號召，支撐公司的高質(zhì)量發(fā)展。