舒建軍（中國移動通信集團公司，北京 100032）

數(shù)據(jù)中心技術創(chuàng)新研究與發(fā)展展望

舒建軍
（中國移動通信集團公司，北京 100032）

本文闡述了數(shù)據(jù)中心規(guī)劃與建設原則，重點對數(shù)據(jù)中心土建、機電技術方案進行創(chuàng)新研究，提升效率，降低建設成本與PUE值，并對未來技術發(fā)展前景進行了展望。

數(shù)據(jù)中心； 標準化； PUE

舒建軍 南京大學無線電學士， 復旦大學MBA碩士，高級工程師，現(xiàn)任中國移動通信集團公司計劃建設部基建管理處經(jīng)理，中國建筑業(yè)協(xié)會智能建筑分會專家工作委員會數(shù)據(jù)中心專業(yè)組副組長。近年來負責研究中國移動數(shù)據(jù)中心的規(guī)劃布局、建設標準與建設方案，并推進項目建設，具有豐富的數(shù)據(jù)中心規(guī)劃與建設管理經(jīng)驗。主持或參與公司重大研發(fā)項目多項，獲得省部級和公司級獎勵二十余項，專利授權14項，發(fā)表各類論文十余篇。

1 引言

數(shù)據(jù)中心是互聯(lián)網(wǎng)重要的基礎設施，是承載云計算與未來業(yè)務發(fā)展的重要載體。在云計算、大數(shù)據(jù)、互聯(lián)網(wǎng)客戶需求等因素的驅動下，中國IDC市場保持快速持續(xù)增長。2008-2015年，中國IDC市場規(guī)模增長約9倍，2015年中國IDC市場規(guī)模接近500億元。

在保障機房安全運行的情況下，如何因地制宜利用環(huán)境與資源條件，合理規(guī)劃與設計數(shù)據(jù)中心土建與機電工程，提高裝機效率，降低建設投資與運行成本，并能靈活適應IT設備的發(fā)展，是數(shù)據(jù)中心建設者面臨的共同課題。中國移動近年數(shù)據(jù)中心建設中，在數(shù)據(jù)中心園區(qū)總平面、建筑結構、空調系統(tǒng)、電源系統(tǒng)等方面著力開展了創(chuàng)新研究與論證，通過推行“集中化、標準化”，優(yōu)化形成標準化機房平面布局與機電系統(tǒng)配置方案，并在數(shù)據(jù)中心建設中規(guī)模應用，收到了良好成效。

2 規(guī)劃建設原則

數(shù)據(jù)中心規(guī)劃建設需從全生命周期的角度，圍繞“安全、高效、節(jié)能、靈活”的原則，努力實現(xiàn)IT、土建、機電等各系統(tǒng)的最佳匹配。

安全：為主設備正常運行提供連續(xù)不間斷的環(huán)境條件，保障機房安全穩(wěn)定運行。

高效：科學合理設計，減少不必要的冗余，推行標準化，提高裝機率，降低建設投資及后期運行維護成本，確保效益。

節(jié)能：積極推行新技術、新工藝，PUE值嚴格控制在1.5以下并盡可能降低。

靈活：適應云計算、IT、機電等技術發(fā)展形勢，具有前瞻性、通用性，確保遠期平滑擴容。規(guī)劃建設階段適應不同客戶與等級需求，運行階段可根據(jù)實際負荷靈活調配資源。

3 技術方案研究

3.1 土建工程

3.1.1 標準化平面

統(tǒng)籌考慮功能需求、交通流線、防火分區(qū)等因素，壓縮機柜列間距，減少輔助用房面積和不必要的交通面積，研究提出緊湊合理的單棟機房樓標準化平面，盡可能提升裝機率。

在園區(qū)總平面圖方面，提出單獨建設、兩兩集水母管連接、大集中建設3種總體平面布局，并優(yōu)先考慮集水母管連接或大集中方案。

3.1.2 限定鋼筋混凝土用量

機房樓采用鋼筋混凝土結構，選用合理的地基與基礎形式，根據(jù)最新規(guī)范標準，研究確定鋼筋及混凝土的合理用量范圍，降低造價。

3.1.3 限制裝修標準

根據(jù)機房特點，限定外裝修采用涂料，不得采用石材或幕墻，不應設置與使用功能無關的裝飾造型。內裝修中的墻面、頂棚飾面應采用乳膠漆。

3.2 空調系統(tǒng)

3.2.1 冷源

在機組選型方面，大型數(shù)據(jù)中心冷源主要包括風冷冷水機組和水冷冷水機組兩種形式。風冷冷水機組一般選用帶自然冷卻的螺桿機組，過渡季節(jié)或冬季選擇自然冷卻器運行；水冷冷水機組一般選用離心式機組、開式冷卻塔和板式換熱器組合的方案，夏季通過冷水機組和冷卻塔供冷，過渡季節(jié)或冬季不開壓縮機，通過開式冷卻塔和板式換熱器供冷。綜合比較，水冷機組較風冷機組效率更高，機組容量更大，同樣冷負荷下機組數(shù)量與占地面積均較小，節(jié)省初始投資；避免熱島效應，有利于保障系統(tǒng)安全運行；PUE較風冷形式降低0.07左右，即使考慮耗水后，運行成本也較風冷形式更低。因此，一般情況下，水冷冷水機組更合理。以某棟2×104m2、工藝負荷1.5×104kW、電價0.38元/m3、水價4.45元/m3的機房樓為例，選用水冷機組形式，節(jié)約投資超過2 000萬，水電運營成本每年可節(jié)約140多萬元。

在機組供電方面，通常有低壓或高壓供電兩種形式。大容量高壓離心式冷水機組可有效降低設備數(shù)量，減少占地面積；節(jié)省水泵、管道系統(tǒng)投資；減少變壓器投資與運行損耗，群控系統(tǒng)更容易控制，因此具有更大優(yōu)勢。對于初期業(yè)務設備負荷較低時，冷水機組可以采用間歇運行模式或冷水機組與蓄冷罐交替運行模式，使冷凍水溫度波動維持在一定范圍內，避免發(fā)生喘振現(xiàn)象。

在系統(tǒng)架構方面，大型數(shù)據(jù)中心園區(qū)一般規(guī)劃若干棟機房樓，兩棟相鄰機房樓的制冷系統(tǒng)集水母管連接貫通（“手拉手”貫通），如圖1所示，形成一套制冷系統(tǒng)，提高系統(tǒng)安全性，更好地適應運行初期低負荷的問題，便于集中運維管理。同時，按一套系統(tǒng)計算冷水機組冗余配置，可減少備用主機數(shù)量，減少占地面積，降低建設投資。

圖1 集水母管連接示意

3.2.2 自然冷源

水冷冷水機組一般采用板換與開式冷卻塔的方式利用自然冷源。以某嚴寒地區(qū)數(shù)據(jù)中心為例，全年52%以上的時間可以完全關閉壓縮機，比完全采用壓縮機電制冷節(jié)能42%以上。

提升供回水溫度，可以有效挖掘節(jié)能潛力，能夠提高空調顯熱比和制冷效率，同時增加自然冷源的利用時間。溫度每提升2℃，針對不同地區(qū)（除夏熱冬暖地區(qū)外），完全自然冷卻小時數(shù)增加350～850 h以上。但提高冷凍水供回水溫度，也會帶來一些不利影響，如空調末端換熱器規(guī)格增大、服務器功耗增加以及系統(tǒng)斷電后，機房溫升到報警時間縮短等問題。目前，數(shù)據(jù)中心一般供回水溫度為10℃～15℃。綜合考慮冷機效率、應用自然冷源時間、末端功耗等影響，供回水溫度設置在14℃～19℃以上較為合理。

對于嚴寒地區(qū)，采用開式冷卻塔獲取自然冷源需要注意防凍與應急措施，包括填料壁增加保溫、加長導流板、增加進風口擋風板、集水盤電加熱器、風機變頻等措施。也可以采用開式間接蒸發(fā)冷卻塔，通過進口風處預熱，有效防止塔體內結冰。

(1) 新型空調末端

目前，空調末端正在從房間級制冷向行級制冷、機架級制冷推進。

冷凍水機房專用空調是常用的房間級制冷末端形式。該末端送風距離較長，風壓要求較高，空調末端PUE因子約為0.1，能耗較高。

中國移動在數(shù)據(jù)中心建設中，研究并規(guī)模應用了冷凍水列間空調、熱管背板等機柜級空調末端形式。圖2為數(shù)據(jù)中心空調末端的演進。新型空調末端可以實現(xiàn)列間級、機架級就近制冷，制冷效率高，節(jié)能率可達到60%以上；減少空調設備間，節(jié)省機房空間，裝機率提高10%以上。

其中，熱管背板為機架級就近制冷，安裝在機柜后門，通過背板的液態(tài)制冷劑吸收熱空氣的熱量，制冷劑沸騰并氣化成為蒸汽狀態(tài)，在自身壓差的作用下，被輸送至機房外的換熱器中，并被重新冷卻成液態(tài)制冷劑，然后回流至背板中。系統(tǒng)運行依靠重力，無須其它動力；系統(tǒng)借助工質相變吸熱，制冷效率高；氣體輸送距離短，風機壓頭較??；水不進入機房，安全性高。

圖2 數(shù)據(jù)中心空調末端的演進

列間空調通過空調前部出風，水平吹向兩側機柜，經(jīng)過機柜前門并對設備制冷，經(jīng)機柜后門再回風到空調后部。采用封閉通道減少混風損失，但需要采用防水措施保障安全。

(2) 余熱利用

在機房余熱散發(fā)到室外大氣之前，將冷凍水的回水與熱泵進行熱交換，普通熱泵機組可產(chǎn)生45℃～50℃的熱水，為生活園區(qū)提供生活熱水與采暖；通過高溫熱泵機組可生產(chǎn)60℃～65℃熱水，為生活園區(qū)提供散熱器采暖。

電鍋爐每產(chǎn)生100kW熱量需要消耗100 kW以上電能，而熱泵機組僅需消耗20 kW電能，即可搬移80 kW低品位的機房余熱，轉化成100 kW的高品位熱量。因此，熱泵機組更節(jié)能。以某嚴寒地區(qū)數(shù)據(jù)中心為例，3年左右即可收回全部建設投資。

3.3 電源系統(tǒng)

3.3.1 高壓發(fā)電機組

高壓發(fā)電機組額定輸出電壓為10 kV，多臺機組形成并機資源池，大幅提高安全性；可減少冗余配置，減少油機并相應減少配電設備和油機室；提高電壓等級，節(jié)省大量母排投資。圖3為高低壓發(fā)電機組架構示意圖。

圖3 高低壓發(fā)電機組架構

3.3.2 336V高壓直流

整流模塊將交流電源輸出的380 V交流轉換成336 V直流，336 V直流經(jīng)直流配電單元給主設備供電。圖4為電源轉換對比。推行336 V高壓直流替代UPS，開關電源系統(tǒng)側減少一次DC/AC變換，IT設備側減少一次AC/DC變換，效率提升3%；與“雙系統(tǒng)雙回路”的UPS相比，高壓直流采用“單系統(tǒng)雙回路”，投資可減少40%以上，占地面積節(jié)省50%；由于直流系統(tǒng)電池直掛母線，供電可靠性提升。

3.3.3 市電直供

圖5為市電直供示意圖，市電不經(jīng)過不間斷電源轉換，正常時由市電直接給設備供電；市電中斷時切換至備用電源系統(tǒng)，保證設備不間斷運行，PUE可繼續(xù)降低0.03以上。

圖4 電源轉換對比

4 技術發(fā)展展望

4.1 土建工程

數(shù)據(jù)中心機房未來將逐步向“大空間廠房”演變。根據(jù)數(shù)據(jù)中心特性，機房應按廠房定性，減少消防、節(jié)能等諸多限制；在布局方面，柱網(wǎng)尺寸進一步擴展，同時擴大機房平面，增加機架布置靈活性，提高裝機率。

4.2 空調系統(tǒng)

冷源系統(tǒng)將向提升冷凍水供回水溫度，減少壓縮機運行時間進一步演進?？照{末端方面，未來將向“芯片級制冷”進一步演變，圖6為芯片級制冷示意圖。通過芯片級制冷，帶走CPU等主要發(fā)熱單元熱量，大幅提高利用自然冷源時間，進一步降低PUE值與投資。

4.3 電源系統(tǒng)

近期主要推行市電直供以及架頂母線等新型通信電源技術。架頂母線通過始端箱代替列頭柜和線纜，可節(jié)約列頭柜占地，提高裝機率，提高配電系統(tǒng)柔性。飛輪UPS通過與油機的精準配合，在市電中斷后、油機啟動帶載之前向重要負載供電，可以取消蓄電池等。

圖5 市電直供示意

圖6 芯片級制冷示意

根據(jù)電池技術的發(fā)展，未來可能進一步向“分布式、直流電源”方向發(fā)展，包括IT機柜內分布式鋰電池形式。

4.4 智能化系統(tǒng)

智能化管理系統(tǒng)向“全面監(jiān)測、集中管理、系統(tǒng)調控”進一步演變。利用建筑設備、動力環(huán)境、能源管理、資源管理等功能，通過全景視圖等手段，實時監(jiān)測機電系統(tǒng)的工作狀態(tài)，歸集、分析各系統(tǒng)運行數(shù)據(jù)，并根據(jù)控制邏輯及策略對主要耗能設備進行節(jié)能控制，保證系統(tǒng)在高效率、低能耗狀態(tài)下穩(wěn)定運行。

5 應用案例

中國移動在新建數(shù)據(jù)中心中全面應用上述措施，包括采用水冷大容量冷水機組，冷凍水供回水溫度提升至14℃～19℃以上，冷卻塔與板換方式利用自然冷源，同時結合當?shù)貤l件開展余熱利用，采用熱管、列間空調等更為貼近IT設備的新型末端，集中部署高低壓變配電與高壓油機，采用336 V高壓直流等措施，同時統(tǒng)一冷水機組、發(fā)電機等主要機電設備的型號規(guī)格。目前，嚴寒地區(qū)新建數(shù)據(jù)中心年均設計PUE值達到1.32，南方地區(qū)控制在1.49以下，全國平均為1.4，與國家五部委要求PUE控制值1.5相比，每棟2×104m2的機房樓年可節(jié)電900萬元以上（電價按0.7元測算），單機架建設成本降低20%以上，逐步形成了業(yè)界領先的技術水平和競爭能力。

6 結束語

數(shù)據(jù)中心建筑、空調與電源系統(tǒng)規(guī)劃是提高裝機效率、節(jié)約建設投資與降低運行維護成本的重點。圍繞“安全、高效、節(jié)能、靈活”的目標，運營商應重點從科學規(guī)劃平面布局、充分利用自然冷源、推行市電直供等創(chuàng)新措施著手，推行標準化方案與配置，實現(xiàn)數(shù)據(jù)中心低成本高效率運營。

[1] 美國采暖制冷空調工程師學會， 美國采暖制冷空調工程師學會數(shù)據(jù)中心系列叢書[M]. 楊國榮，胡仰耆，沈添鴻，等，譯. 北京：中國建筑工程出版社， 2010.

[2] GB 50174-2008. 電子信息系統(tǒng)機房設計規(guī)范[S].

[3] 江億.如何做到PUE=1.25[R]. 北京，第五屆中國數(shù)據(jù)中心產(chǎn)業(yè)發(fā)展大會， 2015.

[4] 鐘景華. 新一代綠色數(shù)據(jù)中心的規(guī)劃與設計[M]. 北京：電子工業(yè)出版社，2010.

[5] 雷衛(wèi)清，袁源，戴源，等. 下一代綠色數(shù)據(jù)中心[M]. 北京：人民郵電出版社，2013.

[6] 李典林. 數(shù)據(jù)中心未來供電技術發(fā)展淺析[J]. 電信網(wǎng)技術，2014(10).

Technology innovation research and development prospect of data center

SHU Jian-jun
(China Mobile Group Co., Ltd., Beijing 100032, China)

This paper describes the principles of data center planning and construction, focus on the standardization technology research about construction, mechanical and electrical engineering, in order to improve eff i ciency, reduce PUE and construction cost. In addition, the paper introduces the future prospects of technology development.

data center; standardization; PUE

TN915

A

1008-5599（2017）01-0001-05

2017-01-05