張 杰，周 浩，馮壯波，孫 超，金 舟，龍正偉

(1. 天津大學環(huán)境科學與工程學院，天津300072，2. 天津大學超算中心，天津300072)

小型數(shù)據(jù)中心氣流組織及能耗優(yōu)化

張 杰1，周 浩1，馮壯波1，孫 超2，金 舟2，龍正偉1

(1. 天津大學環(huán)境科學與工程學院，天津300072，2. 天津大學超算中心，天津300072)

數(shù)據(jù)中心空調(diào)系統(tǒng)的首要任務(wù)是保證服務(wù)器的安全可靠運行. 為了達到這個目標，很多數(shù)據(jù)中心的空調(diào)系統(tǒng)在欠負荷下運行，造成能源的浪費. 這主要是因為氣流組織的不合理造成局部區(qū)域報警從而啟動了多余的制冷設(shè)備. 為了節(jié)省能源和研究合理的氣流組織，以一個存在上述問題的小型數(shù)據(jù)中心為例進行了研究. 首先用數(shù)值分析的方法建立了數(shù)學模型，然后用實測數(shù)據(jù)提供了模擬中需要的邊界條件，模擬得到其速度場和溫度場情況，再用實測數(shù)據(jù)驗證了模型模擬結(jié)果，然后根據(jù)實測和模擬結(jié)果用評價參數(shù)評價其能耗水平，最后提出改造方案. 結(jié)果表明，在熱擴散不好的區(qū)域增加智能風扇系統(tǒng)有效地改善了氣流組織的情況，與一般的通風系統(tǒng)相比，這種系統(tǒng)每年可以降低38%的能耗.

數(shù)據(jù)中心；氣流組織；能耗；CFD模擬；局部通風

隨著計算機技術(shù)的飛速發(fā)展，現(xiàn)代數(shù)據(jù)中心的電子設(shè)備越來越集成化，功能越來越豐富化，處理速度越來越迅捷化，但是這樣的發(fā)展卻可能使數(shù)據(jù)中心的能耗進一步增加[1]．有數(shù)據(jù)顯示，2011年數(shù)據(jù)中心消耗掉了全國總電耗的2.5%左右，而在這些電耗中，有將近40%則是用于空調(diào)系統(tǒng)，也就是說在2011年數(shù)據(jù)中心消耗的10×108,kW·h電中有4×108,kW·h是消耗在機房空調(diào)上的[2]．美國的具有代s表性的EPY公司也有統(tǒng)計數(shù)據(jù)表明，數(shù)據(jù)中心消耗的電量中空調(diào)系統(tǒng)消耗的能耗占將近1/2[3]，這說明數(shù)據(jù)中心空調(diào)系統(tǒng)能耗過高是一個普遍性的問題，也是一個亟待解決的問題．

造成計算機中心空調(diào)能耗系統(tǒng)過高的原因有很多，但是其中的一個重要原因是機房中不合理的氣流組織，由于送風的不均勻造成局部區(qū)域溫度過高，為了保證這些區(qū)域的溫度達到設(shè)計要求，就要降低整體的空調(diào)送風溫度，啟動更多的空調(diào)機組，使得空調(diào)機組的供冷能力遠遠大于實際的供冷需求，從而造成了能源的浪費，由此可見，合理的氣流組織對于空調(diào)系統(tǒng)的節(jié)能性能有很大的影響．國內(nèi)外有很多學者應(yīng)用數(shù)值計算的方法來研究室內(nèi)的空氣流動情況，并分析其節(jié)能效果．劉成等[4]用CFD模擬了數(shù)據(jù)機房的兩種送風形式，得出了機架下送風形式的氣流組織和節(jié)能效果都要好于機架上送風的結(jié)論；簡棄非等[5]和賓亮雄等[6]則對機房內(nèi)的溫度場做了模擬分析，并提出了優(yōu)化方案；Cho等[7]用CFD建立了數(shù)學模型模擬了一個高密度的數(shù)據(jù)中心的空氣分布情況，并用實驗數(shù)據(jù)進行了驗證；Lu等[8]則以芬蘭的一個數(shù)據(jù)中心為例評價了該中心的氣流組織和能耗情況.

筆者借鑒國內(nèi)外的一些研究經(jīng)驗，對一小型數(shù)據(jù)中心由于氣流組織不佳造成的能耗過高問題做了以下研究：

(1) 應(yīng)用計算流體力學軟件Fluent 12.1對數(shù)據(jù)中心建立數(shù)學模型；

(2) 對該數(shù)據(jù)中心進行實際測量，得到用于計算速度場和溫度場的邊界條件，并用實驗數(shù)據(jù)驗證模擬的速度分布和溫度分布的準確性；

(3) 根據(jù)實測和模擬結(jié)果，用能耗評估參數(shù)對數(shù)據(jù)中心的能耗水平進行計算；

(4) 根據(jù)數(shù)據(jù)中心存在的問題，提出優(yōu)化方案，并結(jié)合能耗情況分析得到最佳方案．

1 數(shù)值模型

1.1 幾何結(jié)構(gòu)

本文選取的數(shù)據(jù)中心位于天津，機房位于建筑的1層，長6.6,m，寬6.5,m，高2.7,m，如圖1所示．西墻上有一個大門，但是密封性很好，可以認為沒有滲透風通過．數(shù)據(jù)中心內(nèi)有2組機柜，每組5個，每一個機柜的尺寸為1.2,m×0.6,m×2.0,m；北側(cè)一組中的第1、3、5號機柜內(nèi)服務(wù)器較多，由于風扇的抽吸作用，使得在這些機柜兩側(cè)有較強的吹風感，出風口處溫度較高；而南側(cè)一組中只有第1、2號機柜處有較多的服務(wù)器，吹風感較強．數(shù)據(jù)中心內(nèi)采用地板送風的形式，送風口形式如圖1所示，送風口布置在玻璃罩內(nèi)，緊靠2組機架，尺寸為0.7,m×0.6,m，共10個，回風口在數(shù)據(jù)中心空調(diào)處理單元處，尺寸為0.9,m×0.97,m，共2個．空調(diào)機組全天運行．數(shù)據(jù)中心內(nèi)，在墻的四周還擺放有一些柜子，柜子內(nèi)不具有散熱設(shè)備，在東南角處有一個電池，有冷氣散出，但是由于影響較小，所以可以忽略．

圖1 數(shù)據(jù)中心布局Fig.1 Layout of the data center

1.2 計算模型

首先根據(jù)幾何結(jié)構(gòu)，采用Gambit 6.2.3建立模型，為了提高計算準確性，采用結(jié)構(gòu)化網(wǎng)格，進出口處網(wǎng)格加密處理，分別實驗了5×104網(wǎng)格、11×104網(wǎng)格和24×104網(wǎng)格，從而對網(wǎng)格的獨立性進行了檢查，最后考慮到計算資源以及計算準確性要求，采用了11×104的網(wǎng)格．采用Fluent 12.1計算溫度場和速度場，由于RNG k-ε模型已經(jīng)被驗證在計算各種類型的室內(nèi)空氣流動方面有較高的準確度[5-7,9-11]，所以本文采用RNG k-ε模型，但是由于RNG k-ε模型更適用于高雷諾數(shù)的湍流流動，所以在近壁面處要采用壁面函數(shù)，對于本模型，由于y+＞10，所以采用標準壁面函數(shù)，壓力速度耦合方式采用SIMPLE算法，收斂標準控制在連續(xù)性、3個方向的速度和能量，湍動能和湍流擴散系統(tǒng)的殘差都達到10-3以下．

1.3 邊界條件

空調(diào)進風口設(shè)為速度入口，速度和溫度大小可以通過實際測量得到，回風口設(shè)為壓力出口，回風量由實測速度乘以面積得到．機架的進風口在玻璃罩內(nèi)，設(shè)為壓力出口，機架的出風口在外面的房子內(nèi)，為了使質(zhì)量平衡，設(shè)為壓力入口，進口溫度取該面上的平均值．圍護結(jié)構(gòu)的溫度取一個平面的平均值得到．

2 實驗測量

為了提供模擬時的邊界條件，驗證模擬結(jié)果的準確性以及計算能耗，實驗測量可分為3組進行．

第1組的測量內(nèi)容包括送風口溫度、送風口風速、回風口溫度和風速、機柜的出入口風速和溫度，以及圍護結(jié)構(gòu)表面溫度．空調(diào)送風口的風速和溫度的測量是在每個送風地磚上取3個點測量得到30個數(shù)據(jù)后，取其平均值，如圖2(a)所示；空調(diào)回風口的風速和溫度是在回風口上方多點測量取其平均值；機柜的出入口風速和溫度是根據(jù)服務(wù)器上風扇的位置分別測量后按照機柜門的面積平均后所得值；典型機柜出入口風速和溫度的測量如圖2(b)所示，測量風口參數(shù)的儀器是多功能風速儀8386，速度測量范圍是0～50,m/s，測量最大誤差為±0.015,m/s，溫度測量范圍是-10～60,℃，測量誤差是±0.3,℃；圍護結(jié)構(gòu)表面溫度則是用紅外成像儀測量，其測量范圍是-40～1,200,℃，測量誤差是±1.5,℃(0～100,℃)．另外，用紅外成像儀拍照機架出入口的固體表面溫度分布也可以反映出機架出入口的溫度分布情況，從側(cè)面驗證多功能風速儀測量的準確性，也可以驗證模擬結(jié)果，圖3給出了散熱情況最差的北側(cè)機柜出口處的溫度分布．

圖2 風口測量實驗點布置示意Fig.2 Layout of measurement points on the inlets and outlets

圖3 北側(cè)機柜出口處溫度分布情況Fig.3 Temperature distribution at the outlets of north cabinets

第2組測量內(nèi)容為走道內(nèi)速度和溫度．沿著服務(wù)器組周邊布置了16個測點，如圖4所示．每個測點在1.5,m高度處多次測量后取平均值，測量儀器為多功能風速儀．

圖4 實驗點布置Fig.4 Layout of the monitor points

第3組數(shù)據(jù)則是用來計算能耗的．首先，由于數(shù)據(jù)中心沒有分項電計量設(shè)備，所以采取連續(xù)讀取3,d電表讀數(shù)，取平均值作為標準天的數(shù)據(jù)中心設(shè)備的總用電量．然后，可計算得到空調(diào)系統(tǒng)用電，計算所需參數(shù)在第2組數(shù)據(jù)中已經(jīng)測得．

3 結(jié)果及驗證

測量的第1組數(shù)據(jù)為計算提供了邊界條件，由于篇幅所限，僅將一些主要的邊界條件列于表1中．

表1 主要邊界條件Tab.1 Main boundary conditions

在設(shè)定邊界條件時，由于各機架的進出口設(shè)為壓力進口和壓力出口，所以提供用來計算的邊界條件僅是溫度數(shù)據(jù)，而各出入口的速度是由軟件根據(jù)壓力條件計算出來的，表中所列出來的數(shù)據(jù)僅供與從Fluent中讀取出來數(shù)據(jù)對比，以驗證模型應(yīng)用的邊界條件是否正確．本文通過對比發(fā)現(xiàn)計算結(jié)果基本和實驗結(jié)果相吻合，在此不再贅述．

為了進一步驗證模型的正確性，可以用軟件計算數(shù)據(jù)中心內(nèi)的速度分布和溫度分布，然后把模擬結(jié)果和第2組實驗提供的16個點的速度值和溫度值做對比，如圖5和圖6所示．

圖5 1.5 m高處實驗和模擬速度對比Fig.5 Velocity comparison between measurement and simulation results at 1.5 m above the floor

圖6 1.5 m高處實驗和模擬溫度對比Fig.6 Temperature comparison between measurement and simulation results at 1.5 m above the floor

由圖5可以看出，模擬值除了第8點以外，整體偏高一些，但是整體趨勢和實測值相同，模型可靠．另外，圖5也表明在有回風口(點11、12)或者進風口(點6～8和點14～16)的地方空氣流速較大，而在其他地方則速度較小，這說明場內(nèi)流動情況不佳，不利于熱量的排出．

由圖6可以看出，實驗值和模擬值各點的溫度值基本吻合，僅在點13處誤差較大，這是由于點13靠近電池，而電池本身有冷量散出，在模擬中忽略了這部分冷量，所以模擬結(jié)果跟實測相差較大，但是就整體而言，模擬結(jié)果可以接受，模型可靠．另外，從圖中也可以看出，在北側(cè)機柜的出口處溫度較高(點6～8)，散熱情況不佳，這很容易造成這組機柜里的服務(wù)器過熱，影響正常使用．實際的情況在開一臺制冷機組的情況下，其他地方的服務(wù)器溫度都滿足設(shè)定要求，但是這里的機組由于溫度過高，所以使得監(jiān)測器報警，從而啟動了第2臺制冷機組，才可以控制到現(xiàn)在的這個溫度值．但是事實上，沒有必要啟動2臺空調(diào)來維持服務(wù)器的溫度，因為第2臺機柜的啟動完全是氣流組織不合理造成的，所以必須提出解決方案優(yōu)化這里的氣流組織，節(jié)省能源．

4 能耗分析

為了定量地評估系統(tǒng)的能耗表現(xiàn)，本文采用能耗評估參數(shù)的方法來計算數(shù)據(jù)中心的能耗水平．

機房用電效率(power usage effectiveness，PUE)參數(shù)首先是由the Green Grid[12]引入，用來計算數(shù)據(jù)中心能源利用效率．PUE的定義為

式中：PIT為IT設(shè)備耗電量，kW； Pe為空調(diào)設(shè)備耗電量，kW．

本文中PIT+Pe表示數(shù)據(jù)中心的總耗電量，電燈和其他設(shè)備耗電量相對IT及空調(diào)設(shè)備忽略不計．

PUE在理論上講可以從1到無窮大，越接近1表示能源利用效率越高，現(xiàn)在數(shù)據(jù)中心的水平一般在1.3～3.0之間[12]．

本文中數(shù)據(jù)中心的用電并沒有安裝分項計量裝置，所以對于被空調(diào)系統(tǒng)用掉的一部分電量無法直接測得，但是可以計算出空調(diào)設(shè)備耗電量，其計算式為

式中：Q為空調(diào)系統(tǒng)風量，m3/s；ρ為空氣密度，kg/m3；c為空氣比熱容，J/(kg·℃)；Δt為供回風溫度差，℃．

本文中總的用電量已經(jīng)根據(jù)電表讀數(shù)讀出，平均一天為3,600,kW·h，所以一年用電為131.4×104kW·h；而空調(diào)系統(tǒng)用電，可以根據(jù)實測的供回風溫度差及空調(diào)空氣流量計算出來，經(jīng)計算可得空調(diào)設(shè)備一年的用電量為101.8×104,kW·h；所以PUE的值為4.4，說明此數(shù)據(jù)中心的空調(diào)系統(tǒng)電耗超出一般水平，有待改進．

5 優(yōu)化方案及能耗分析

為了解決上述問題，需要對數(shù)據(jù)中心內(nèi)的氣流組織進行優(yōu)化．本論文中提出兩種優(yōu)化方案：① 采用風管回風的系統(tǒng)形式，把回風口直接布置于北側(cè)機柜出口上方，并減少1臺空調(diào)機組的運行；② 在北側(cè)機柜處增加智能排風扇系統(tǒng)，加大這部分區(qū)域的氣流流動，同時減少1臺機組的運行．下面就這兩種方案的改善效果及能耗水平做了分析．

5.1 排風管系統(tǒng)

由于回風口離北側(cè)機柜出口較遠，回風風機的風壓不足以使氣流順暢地流入回風口，所以改用直接將回風口布置于散熱不佳的機柜出風口上方，風直接回到排風管，減少阻力．另外應(yīng)用這種方式，同時考慮減少1臺空調(diào)機組的運行，其布置形式如圖7所示．

圖7 上部排風管系統(tǒng)布置Fig.7 Layout of overhead duct system

改用這種形式以后，再用上述模型模擬其溫度場，結(jié)果如圖8所示．

圖8 1.5 m高處溫度分布對比Fig.8 Comparison of the temperature distributionsat 1.5 m above the floor

從圖8可以看出，把回風口布置于北側(cè)機柜出口處使得從機柜出來的熱空氣不易擴散，而是直接由回風口回風到空調(diào)機組中，所以走廊內(nèi)的空氣普遍低了2～3,℃，但是由于空調(diào)機組只有1臺運行，風壓大小不夠，所以在近機柜出口處雖然情況略有好轉(zhuǎn)，但是溫度仍然偏高，中間部位達到29,℃，所以有待于進一步改善．

在能耗方面，假設(shè)IT設(shè)備用電量不變，空調(diào)設(shè)備用電量減少1/2，則PUE的值為2.72左右，1年則可以節(jié)省50.9×104,kW·h，從而節(jié)約了能耗．

5.2 智能排風扇系統(tǒng)

因為上述方式的改善效果并不是特別理想，所以可以考慮在北側(cè)機柜處直接添加智能排風扇系統(tǒng)，同時減少1臺空調(diào)機組的運行．風扇選擇排風量為3,000,m3/h，排風速度為12,m/s，風機功率為0.55,kW，其布置如圖9所示，其中智能排風扇被簡化為一個正方體．用該模型計算，另外賦給排風扇1個動量源，可以得到如圖10的模擬結(jié)果．

圖9 排風扇系統(tǒng)布置Fig.9 Layout of exhaust fan system

圖10 1.5 m高處排風扇系統(tǒng)溫度分布對比Fig.10Comparison of temperature distributionsof fan system at 1.5 m above the floor

對比圖8(b)和圖10可以發(fā)現(xiàn)，加入排風扇使得空氣的擾動量加大，整個流場內(nèi)空氣混合更加均勻，對于北部機柜出口的散熱不佳的地區(qū)，情況有所改善，最高溫度降低到26,℃左右，基本解決了局部過熱的問題，相比于上部排風管的系統(tǒng)效果更加明顯．3個系統(tǒng)能耗情況如圖2所示．

從表2可以看出，3個系統(tǒng)中，排風扇系統(tǒng)的能耗水平和上部排風管系統(tǒng)相當，都比原系統(tǒng)能源利用效率高，排風扇系統(tǒng)的總電耗降低到80.9×104kW·h，相對原系統(tǒng)節(jié)省38%左右，而排風扇系統(tǒng)和上部排風管系統(tǒng)相比則是在能耗增加不多的情況下，使氣流組織問題得到了很好的解決．

表2 3個系統(tǒng)能耗對比Tab.2 Comparison of energy consumption of the three systems

6 結(jié) 論

(1) 在原有系統(tǒng)下，北側(cè)機柜處出口處散熱效果不佳，造成局部區(qū)域過熱，系統(tǒng)報警，從而啟動更多的制冷設(shè)備，使得數(shù)據(jù)中心的空調(diào)在欠負荷下運行，PUE值達到了4.4，能源浪費情況嚴重．

(2) 改用上部排風管系統(tǒng)，并關(guān)閉1臺制冷機組，整體效果有所改進，能耗水平降低，但是由于回風機的風壓不夠，使得過熱地區(qū)的改善效果仍然不夠理想．

(3) 改用增加1臺局部排風扇的系統(tǒng)以后，氣流組織得到了很好的改善，消除過熱區(qū)域，能耗相對原系統(tǒng)也減少了38%，可見這是一個安全、可靠、低能耗運行的系統(tǒng)．

［1］ Karlsson J F，Moshfegh B. Investigation of indoor climate and power usage in a data center[J]. Energy and Buildings，2005，37(10)：1075-1083.

［2］ 程 輝. 機房節(jié)能潛力巨大[N]. 中國經(jīng)濟導(dǎo)報，2011-12-24.

Cheng Hui. Huge Potential of Energy Saving in Data Centers[N]. China Economic Herald，2011-12-24(in Chinese).

［3］ 王玉成. IDC機房空調(diào)系統(tǒng)優(yōu)化配置方法及綜合節(jié)電分析[D]. 北京：北京郵電大學電信學院，2009.

Wang Yucheng. Optimization and Integrated Energy-Saving Analysis on IDC Room Air Conditioning System[D]. Beijing：School of Telecommunications，Beijing University of Posts and Telecommunications，2009(in Chinese).

［4］ 劉 成，陳樂天，王 穎. 通信機房空調(diào)氣流組織合理化研究[J]. 建筑熱能通風空調(diào)，2010，29(5)：80-84.

Liu Cheng，Chen Letian，Wang Ying. Study of rational air distribution on the air conditioning system for telecom rooms [J]. Building Energy and Environment，2010，29(5)：80-84(in Chinese).

［5］ 簡棄非，魏 蕤，顏永明，等. 通信機房氣流組織的模擬與分析[J]. 節(jié)能技術(shù)，2009，27(1)：35-39.

Jian Qifei，Wei Rui，Yan Yongming，et al. Analysis and simulation of air distribution in a data center [J]. Energy Conservation Technology，2009，27(1)：35-39 (in Chinese).

［6］ 賓亮雄，謝頂良. 欽州電廠通訊機房氣流組織數(shù)值模擬研究[J]. 制冷與空調(diào)，2009，23(5)：49-52.

Bin Liangxiong，Xie Dingliang. Numerical simulation study on air distribution of the communication equipment room in Qinzhou thermal power plant[J]. Refrigeration and Air Conditioning，2009，23(5)：49-52(in Chinese).

［7］ Cho J，Lim T，Kim B S. Measurements and predictions of the air distribution systems in high compute density(internet)data centers[J]. Energy and Buildings，2009，41(10)：1107-1115.

［8］ Lu Tao，Lü Xiaoshu，Remes M，et al. Investigation of air management and energy performance in a data center in Finland：Case study[J]. Energy and Buildings，2011，43(12)：3360-3372.

［9］ Chen Qingyan. Comparison of different k-ε models for indoor air flow computations[J]. Numerical Heat Transfer，1995，28(3)：353-369.

［10］ 孫賀江，吳 塵. 基于正交試驗法的大型客機座艙氣流組織優(yōu)化及熱舒適性分析[J]. 天津大學學報：自然科學與工程技術(shù)版，2013，46(5)：415-422.

Sun Hejiang，Wu Chen. Optimization of air distribution with orthogonal test and thermal comfort analysis in commercial aircraft cabin[J]. Journal of Tianjin University：Science and Technology，2013，46(5)：415-422(in Chinese)．

［11］ 劉俊杰，劉素梅，孫賀江，等. 大型客機座艙合理排數(shù)的數(shù)值模擬[J]. 天津大學學報：自然科學與工程技術(shù)版，2013，46(1)：8-15.

Liu Junjie，Liu Sumei，Sun Hejiang，et al. Numerical simulation of the reasonable row number for commercial aircraft cabins[J]. Journal of Tianjin University：Science and Technology，2013，46(1)：8-15(in Chinese)．

［12］ The Green Grid. The Green Grid data Center Power Efficiency Metrics：PUE and DCiE[R]．The Green Grid，2007.

（責任編輯：田 軍）

Optimization on Air Distribution and Energy Consumption of a Small Data Center

Zhang Jie1，Zhou Hao1，F(xiàn)eng Zhuangbo1，Sun Chao2，Jin Zhou2，Long Zhengwei1
(1. School of Environmental Science and Engineering，Tianjin University，Tianjin 300072，China；2. High Performance Computing Center，Tianjin University，Tianjin 300072，China)

The air conditioning system of data centers gives priority to the normal operation of the servers. However, in many data centers, the air conditioning system runs in the under-load state which is significantly energy-consuming. The main reason for it is that additional equipments are started up because the unreasonable air distributions result in alarms of the monitors. In the paper, a typical data center was selected as an example to investigate the optimal air distributions to save energy. Numerical models were established with the input data obtained from on-site measurements. The measured profiles were also used to validate the air velocity and temperature distributions of simulation results. Then, the energy consumptions were evaluated by indexes based on the measurement and simulation results. Finally，the modification plan was presented．The results show that the air distribution was improved by adding intelligent fan system to the regions with excessive heat. The energy consumption could be reduced by 38% annually compared to normal ventilation systems.

data center；air distribution；energy consumption；CFD simulation；local ventilation

TU834.3

A

0493-2137(2014)07-0647-06

10.11784/tdxbz201306035

2013-06-17；

2013-07-13.

國家重點基礎(chǔ)研究發(fā)展計劃(973計劃)資助項目(2012CB720100)．

張 杰（1987— ），女，博士研究生，jiezhang25@tju.edu.cn.

龍正偉，longzw@tju.edu.cn.

時間：2014-04-01.

http：//www.cnki.net/kcms/doi/10.11784/tdxbz201306035.html.