曹連兵， 周 蓮， 王新芳

(1. 中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司，北京 100038；2. 中國(guó)建筑科學(xué)研究院有限公司,北京 100013)

0 引言

隨著4G通信技術(shù)、云計(jì)算和物聯(lián)網(wǎng)等各種技術(shù)不斷發(fā)展，數(shù)據(jù)中心建設(shè)迎來(lái)了一個(gè)新的建設(shè)高潮。面對(duì)高速發(fā)展的數(shù)據(jù)中心，常規(guī)機(jī)房是“固態(tài)的”，不能靈活配置，遠(yuǎn)期擴(kuò)展困難，隨著IDC業(yè)務(wù)的發(fā)展和應(yīng)用的增加，常規(guī)機(jī)房的弊端逐漸顯現(xiàn)。常規(guī)機(jī)房基本上是按照項(xiàng)目進(jìn)行部署的，機(jī)架密度低，部署建設(shè)緩慢，例如空調(diào)、電源、電氣等輔助模塊與服務(wù)器綁定嚴(yán)格，未來(lái)擴(kuò)展困難，改造一處有可能涉及整個(gè)機(jī)房。到后期，隨著業(yè)務(wù)的發(fā)展、應(yīng)用的增加，機(jī)房系統(tǒng)需求的軟件管理很多，使得冗余系統(tǒng)增加，原有的電源、空調(diào)等輔助模塊已很難滿足系統(tǒng)要求，此時(shí)需要對(duì)系統(tǒng)進(jìn)行整體重新設(shè)計(jì)，并且進(jìn)行擴(kuò)展。

基于此，模塊化數(shù)據(jù)中心應(yīng)運(yùn)而生。不僅可解決客戶不斷增長(zhǎng)、變化的業(yè)務(wù)需求與常規(guī)機(jī)房部署緩慢、投資高、回報(bào)低之間的矛盾，還可進(jìn)一步提高數(shù)據(jù)中心的使用率和工作效率，控制投資成本。

1 模塊化數(shù)據(jù)中心的設(shè)計(jì)方案

1.1 模塊化數(shù)據(jù)中心的組成

采用模塊化布置的數(shù)據(jù)中心是把常規(guī)機(jī)房的制冷、電源、智能化、機(jī)架、布線等各系統(tǒng)集成化整合在一個(gè)裝置內(nèi)，把數(shù)據(jù)中心的所有機(jī)房按照行業(yè)內(nèi)的規(guī)范劃分成若干模塊，即整個(gè)數(shù)據(jù)中心的機(jī)房分成若干獨(dú)立區(qū)域，每個(gè)區(qū)域放置一個(gè)微模塊，其規(guī)模配置、負(fù)載功率、配電、制冷、監(jiān)控、網(wǎng)絡(luò)等功能均按照統(tǒng)一標(biāo)準(zhǔn)和接口、模塊化的獨(dú)立運(yùn)行區(qū)域進(jìn)行設(shè)計(jì)，實(shí)現(xiàn)區(qū)域的微模塊化、獨(dú)立化，配電、冷源及系統(tǒng)管理軟件等均可獨(dú)立運(yùn)行，無(wú)共享部分，實(shí)現(xiàn)了數(shù)據(jù)中心的快速靈活部署以及遠(yuǎn)期的擴(kuò)建，同時(shí)初期的建設(shè)和設(shè)備成本大幅降低，縮短建設(shè)和部署周期，進(jìn)而使數(shù)據(jù)中心內(nèi)的機(jī)房可以靈活、機(jī)動(dòng)部署。

模塊化數(shù)據(jù)中心對(duì)建筑的要求不是很高，通常確認(rèn)了物理建筑后，可以一次性把供電系統(tǒng)、發(fā)電機(jī)系統(tǒng)、制冷系統(tǒng)等配套設(shè)施建設(shè)好，僅預(yù)留遠(yuǎn)期的出水、電、網(wǎng)絡(luò)等標(biāo)準(zhǔn)接口，后期具體按需部署機(jī)房模塊即可。這種建設(shè)模式使模塊的部署和整個(gè)建設(shè)過(guò)程可以分步實(shí)施，降低了互相影響的概率，能真正實(shí)現(xiàn)按需部署和擴(kuò)展。據(jù)某公司研究顯示，模塊化數(shù)據(jù)中心建設(shè)周期要比常規(guī)機(jī)房縮短一半以上。

因此，微模塊數(shù)據(jù)中心利用先進(jìn)的制冷技術(shù)、供電技術(shù)以及其他相關(guān)先進(jìn)技術(shù)，既提高數(shù)據(jù)中心內(nèi)部的IT設(shè)備效率，也加強(qiáng)了冷源的使用效率，提高能源的利用率，降低了機(jī)房的PUE值，極大地推動(dòng)了數(shù)據(jù)中心的綠色化。常規(guī)機(jī)房組成及模塊化數(shù)據(jù)中心總體布局詳見(jiàn)圖1～2。

圖1 常規(guī)機(jī)房組成示意圖

圖2 模塊化數(shù)據(jù)中心總體布局圖

1.2 微模塊密閉冷、熱通道方案的選型

模塊化數(shù)據(jù)中心密閉通道適用于新建數(shù)據(jù)中心和舊機(jī)房的改造，可采用“密閉冷通道”方案，也能根據(jù)需求組成“密閉熱通道”方案。

當(dāng)機(jī)房有精密空調(diào)時(shí)，單機(jī)柜功率不超過(guò)6kW且采用地板下送風(fēng)時(shí)，能夠采用密閉冷通道方案，通過(guò)機(jī)房的精密空調(diào)來(lái)實(shí)現(xiàn)對(duì)密閉通道內(nèi)設(shè)備的散熱要求，密閉冷通道可使冷源直接進(jìn)入到IT設(shè)備，提高制冷效率。雙排密閉冷通道微模塊與密閉冷通道微模塊送風(fēng)示意圖詳見(jiàn)圖3～4。

圖3 雙排密閉冷通道微模塊

圖4 密閉冷通道微模塊送風(fēng)示意圖

當(dāng)單機(jī)柜功率大于6kW時(shí)，由于單機(jī)柜功率大，傳統(tǒng)機(jī)房布置受限，不能滿足散熱要求，存在局部熱點(diǎn)，密閉冷通道的方案不能滿足散熱的需求，此時(shí)可采用密閉熱通道方案微模塊，只需將模塊化數(shù)據(jù)中心中各個(gè)設(shè)備旋轉(zhuǎn)180°，設(shè)備由“面對(duì)面”放置改為“背對(duì)背”放置，端門和天窗的接口在機(jī)柜上預(yù)留，即可實(shí)現(xiàn)密閉熱通道方案。密閉熱通道是將IT設(shè)備散發(fā)的熱量直接送入到空調(diào)的回風(fēng)口，空調(diào)的制冷效率高，使模塊外的機(jī)房保持比較舒適的溫度。雙排密閉熱通道的微模塊示意圖如圖5所示。

圖5 雙排密閉熱通道的微模塊示意圖

2 模塊化數(shù)據(jù)中心供電特點(diǎn)

模塊化數(shù)據(jù)中心具有快速部署、安全可靠、配置靈活、易于擴(kuò)展、智能化管理、綠色節(jié)能等特點(diǎn)。

2.1 快速部署，縮短建設(shè)周期

(1)模塊化數(shù)據(jù)中心在規(guī)劃、設(shè)計(jì)時(shí)嚴(yán)格遵循國(guó)際標(biāo)準(zhǔn)，按照既定的建設(shè)目標(biāo)，采用合適的方式進(jìn)行系統(tǒng)結(jié)構(gòu)設(shè)計(jì)。選用滿足當(dāng)前需求的設(shè)備數(shù)量與類型，設(shè)計(jì)模塊化和物理排列，集成度高，易于安裝。

(2)數(shù)據(jù)中心的微模塊可以批量生產(chǎn)，提高了交貨速度。在出廠前完成機(jī)柜的預(yù)安裝，為減少現(xiàn)場(chǎng)施工的工作量，采用標(biāo)準(zhǔn)化的配置和連接方式，進(jìn)一步提高安裝速度。

(3)模塊化數(shù)據(jù)中心現(xiàn)場(chǎng)只需接通機(jī)柜外部電源、固定機(jī)柜等簡(jiǎn)單操作后即可進(jìn)行系統(tǒng)調(diào)試。此外，微模塊可以采用與現(xiàn)場(chǎng)一模一樣的方式在工廠進(jìn)行連接并預(yù)先測(cè)試，提高系統(tǒng)的調(diào)試速度。

(4)根據(jù)當(dāng)前的機(jī)房需求進(jìn)行設(shè)計(jì)，只需部署比典型傳統(tǒng)系統(tǒng)設(shè)備數(shù)量更少的小型基礎(chǔ)設(shè)施，進(jìn)一步縮短了各個(gè)部署階段所需的時(shí)間。

(5)微模塊化的數(shù)據(jù)中心建設(shè)周期可大大縮短，常規(guī)機(jī)房實(shí)施階段需要7～8個(gè)月，而采用微模塊建設(shè)周期可縮短至3～6個(gè)月。

2.2 安全性和可靠性

(1)模塊化數(shù)據(jù)中心遵循Tier Ⅲ標(biāo)準(zhǔn)，采用模塊化、標(biāo)準(zhǔn)化和高整合設(shè)計(jì)，使得整個(gè)系統(tǒng)穩(wěn)定度高，設(shè)備安全可靠。

(2)采用模塊化設(shè)計(jì)的機(jī)房充分考慮了自然災(zāi)害的影響，進(jìn)一步提高了抵御能力，充分保證了電源、冷源的可靠性，同時(shí)也保證通訊系統(tǒng)的正常工作。

(3)模塊化數(shù)據(jù)機(jī)房動(dòng)環(huán)監(jiān)控系統(tǒng)配置齊全，能夠隨時(shí)掌握機(jī)房情況，提升機(jī)房的防盜能力。

2.3 靈活擴(kuò)展、分期建設(shè)

(1)配置模塊化機(jī)房，可分期靈活配置，滿足快速擴(kuò)容的需求。

(2)機(jī)房的模塊化設(shè)計(jì)在配電、通信網(wǎng)絡(luò)上預(yù)留適當(dāng)?shù)膫溆糜嗔?，可?shí)現(xiàn)靈活擴(kuò)容。

(3)采用微模塊架構(gòu)數(shù)據(jù)中心，可根據(jù)需求使微模塊從1個(gè)到幾十個(gè)逐步增加，進(jìn)行分期建設(shè)。

2.4 綠色節(jié)能

(1)依據(jù)現(xiàn)階段預(yù)測(cè)的機(jī)架需求設(shè)計(jì)數(shù)據(jù)中心的基礎(chǔ)設(shè)施建設(shè)，同時(shí)考慮未來(lái)需求的變化，未來(lái)即可安裝新的微模塊，因而可節(jié)約非?？捎^的電力成本。

(2)新建的數(shù)據(jù)中心采用模塊化方式進(jìn)行設(shè)計(jì)，進(jìn)一步優(yōu)化了電源、冷源容量與機(jī)架負(fù)荷需求的匹配程度，提高了工作效率并減少過(guò)度配置。微模塊電源轉(zhuǎn)換率高達(dá)95.4%，同時(shí)微模塊內(nèi)均采用統(tǒng)一的預(yù)留接口和統(tǒng)一的微模塊系統(tǒng)，極大節(jié)省電能，達(dá)到系統(tǒng)節(jié)能。

(3)微模塊采用機(jī)柜式(列間)空調(diào)，空調(diào)提供的冷源空氣直接送至機(jī)架負(fù)載處，更靠近熱源，這樣氣流通路較短，而且制冷更為精準(zhǔn)，解決了局部熱點(diǎn)的問(wèn)題。另外，微模塊內(nèi)冷源部分的通道進(jìn)行封閉，冷源和熱源被隔離控制在冷通道或熱通道內(nèi)，避免氣流互相影響，提高空調(diào)系統(tǒng)的利用效率。相比常規(guī)機(jī)房，微模塊數(shù)據(jù)中心制冷效率提升12%以上。

(4)模塊化數(shù)據(jù)中心提高數(shù)據(jù)中心的能效，與常規(guī)機(jī)房相比，能量的損耗可減少約30%。

2.5 智能管理、高效運(yùn)營(yíng)

(1)數(shù)據(jù)中心動(dòng)環(huán)系統(tǒng)智能化：可以采用多層次、多系統(tǒng)、實(shí)時(shí)調(diào)節(jié)的方式，使數(shù)據(jù)中心的管理更智能化、自動(dòng)化、精細(xì)化，同時(shí)采用動(dòng)畫(huà)系統(tǒng)的設(shè)備數(shù)據(jù)動(dòng)態(tài)存儲(chǔ)功能來(lái)準(zhǔn)確定位能源損耗的高點(diǎn)，進(jìn)一步幫助用戶節(jié)約能源，降低損耗。

(2)充分利用動(dòng)環(huán)系統(tǒng)的軟件平臺(tái)和資源。通過(guò)采集到各設(shè)備的動(dòng)態(tài)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，采用智能精細(xì)化節(jié)能措施，提高數(shù)據(jù)中心能源利用效率，降低PUE值，建成綠色節(jié)能數(shù)據(jù)中心。

(3)通過(guò)對(duì)數(shù)據(jù)中心全部資源的整個(gè)生命周期進(jìn)行控制管理，達(dá)到數(shù)據(jù)中心能源信息的動(dòng)態(tài)、閉環(huán)、精準(zhǔn)管理，實(shí)現(xiàn)數(shù)據(jù)中心全部設(shè)備最優(yōu)利用，降低設(shè)備損耗，提高能源使用率。

(4)按照用戶需求和數(shù)據(jù)中心的現(xiàn)狀制定切實(shí)可行的維護(hù)程序，及時(shí)刷新數(shù)據(jù)中心數(shù)據(jù)，實(shí)時(shí)控制。同時(shí)，按照事先制定的維護(hù)程序主動(dòng)提示預(yù)警，并且可實(shí)時(shí)動(dòng)態(tài)調(diào)節(jié)維護(hù)程序，根據(jù)數(shù)據(jù)中心的實(shí)際情況，保證實(shí)時(shí)執(zhí)行最優(yōu)維護(hù)策略，使數(shù)據(jù)中心的管理達(dá)到最優(yōu)化。

3 微模塊化數(shù)據(jù)機(jī)房的供配電系統(tǒng)方案

為了保證數(shù)據(jù)機(jī)房的高可用性，機(jī)柜通常由2路電源供電，基于數(shù)據(jù)中心規(guī)模，微模塊的供電方式可分電源不入模塊、電源入模塊、分布式電源三大類。

3.1 電源不入模塊供電形態(tài)

此形態(tài)，UPS/HVDC、備用電池集中安置在電力電池室內(nèi)，通過(guò)UPS/HVDC輸出柜向微模塊供電，微模塊內(nèi)的供電系統(tǒng)(以雙電源為例)示意如圖6～7所示。

圖6 微模塊雙電源供電架構(gòu)(大型DC、冷凍水空調(diào)架構(gòu))

圖6所示架構(gòu)特點(diǎn)如下。

(1)采用冷凍水架構(gòu)的數(shù)據(jù)中心適用。

(2)電源外置，集中部署。

(3)兩路電源為微模塊供電，微模塊內(nèi)設(shè)置A、B兩個(gè)列頭柜為IT機(jī)柜、空調(diào)末端(圖中LCU)、微模塊控制器(圖中ECC800)提供雙路電源。

(4)為簡(jiǎn)化微模塊供電架構(gòu)，IT機(jī)柜、空調(diào)末端供電歸一化設(shè)計(jì)。

(5)兩路輸入電源(圖中INPUT A、INPUT B)可以是UPS、HVDC、市電電源的任一種，但A、B兩路電源不能同時(shí)由市電直接供電。

(6)如A、B兩路電源中有一個(gè)是HVDC供電時(shí)，IT設(shè)備、空調(diào)末端、微模塊控制器應(yīng)可接受HVDC供電。

(7)A、B兩路電源完全獨(dú)立，微模塊供電等級(jí)可達(dá)T4。

(8)實(shí)際部署中，也可采用1路電源供電，此時(shí)微模塊供電等級(jí)為T2。

圖7所示架構(gòu)特點(diǎn)如下。

(1)采用風(fēng)冷空調(diào)的數(shù)據(jù)中心適用。

(2)電源外置，集中部署。

(3)兩路UPS或HVDC為微模塊供電，微模塊內(nèi)設(shè)置A、B兩個(gè)列頭柜為微模塊內(nèi)的IT機(jī)柜提供雙路電源。

(4)兩路市電為微模塊內(nèi)的空調(diào)供電。

(5)UPS/HVDC、備用電池外置。

(6)微模塊供電等級(jí)通常為T3。

(7)實(shí)際部署中，可采用1路UPS/HVDC電源供電，此時(shí)微模塊等級(jí)為T2。

3.2 分布式電源形態(tài)(電源入模塊供電)

分布式電源形態(tài)，互聯(lián)網(wǎng)公司對(duì)數(shù)據(jù)中心的部署電源入模塊形態(tài)，可分為UPS、HVDC入模塊兩類。

UPS入模塊的典型架構(gòu)如圖8～9所示。

圖8 UPS入模塊的供電架構(gòu)

圖9 HVDC入模塊的供電架構(gòu)

圖8所示架構(gòu)特點(diǎn)如下。

(1)中小數(shù)據(jù)中心、風(fēng)冷空調(diào)場(chǎng)景適用。

(2)電源與微模塊一道建設(shè)，無(wú)需獨(dú)立電源間，規(guī)劃簡(jiǎn)單、按需建設(shè)。

(3)兩路市電(圖中AC輸入1、AC輸入2)經(jīng)ATS轉(zhuǎn)換后為微模塊供電，正常工作時(shí)僅一路市電帶負(fù)荷。

(4)微模塊內(nèi)設(shè)置一體化UPS柜為自身提供電源保護(hù)，備用電池通常也內(nèi)置在微模塊內(nèi)。

(5)一體化UPS柜由ATS、市電配電、模塊化UPS、UPS輸出配電組合而成，微模塊供電等級(jí)通常為T3。

(6)如需提升微模塊供電等級(jí)至T4，應(yīng)采用2套一體化UPS柜。

HVDC入模塊的典型架構(gòu)如圖9所示。

圖9所示架構(gòu)特點(diǎn)如下。

(1)大型數(shù)據(jù)中心、冷凍水空調(diào)場(chǎng)景適用，騰訊微模塊供電架構(gòu)。

(2)電源與微模塊一同建設(shè)，無(wú)需獨(dú)立電源間，規(guī)劃簡(jiǎn)單、按需建設(shè)。

(3)兩路市電(圖中A路AC、B路AC)，A路直接為機(jī)柜、空調(diào)提供1路供電，主路A、主路B經(jīng)ATS轉(zhuǎn)換后再經(jīng)HVDC為機(jī)柜、空調(diào)提供另一路供電。

(4)機(jī)柜、空調(diào)的兩路電源通常均分負(fù)荷工作。

(5)微模塊供電等級(jí)通常為T3。

(6)騰訊微模塊內(nèi)置2組鉛酸電池。

3.3 分布式電源形態(tài)(電源入機(jī)柜)

分布式電源形態(tài)，F(xiàn)acebook首創(chuàng)，將48V高頻開(kāi)關(guān)電源引入數(shù)據(jù)中心,取消集中電源保護(hù)，多個(gè)機(jī)柜共享1個(gè)電池柜(如Facebook)或每個(gè)機(jī)柜內(nèi)置1套電源。

架構(gòu)特點(diǎn)包括：(1)定制電源，巨型互聯(lián)網(wǎng)公司獨(dú)享方案。(2)定制服務(wù)器，市電主用、48V電池備用。(3)48V電源僅為后備電池充電。(4)電池后備時(shí)間通常在10min內(nèi)，遇停電需將業(yè)務(wù)遷移、關(guān)閉服務(wù)器。

4 結(jié)束語(yǔ)