孫曉晴 韓宗偉 付 琪 紀(jì) 強 薛 達

(東北大學(xué)冶金學(xué)院 沈陽 110819)

隨著數(shù)據(jù)中心建設(shè)的快速發(fā)展，數(shù)據(jù)中心能耗問題日益顯著，預(yù)計在2023年全國數(shù)據(jù)中心的總耗電量將突破2667.9 億kW·h[1]，而其中用于數(shù)據(jù)中心冷卻的空調(diào)能耗約占數(shù)據(jù)中心總能耗的40%[2]。由于數(shù)據(jù)中心裝載大量的IT設(shè)備，對機房內(nèi)的溫度要求較高[3-4]，在保證機柜冷卻效果的前提下，降低空調(diào)系統(tǒng)能耗是整個數(shù)據(jù)中心節(jié)能的關(guān)鍵[5]。

合理的氣流組織對提高機房冷卻效果和節(jié)約空調(diào)系統(tǒng)能耗都有著積極的影響[6-8]。傳統(tǒng)數(shù)據(jù)中心一般都采用房間級制冷，機房中普遍存在局部過熱及冷熱氣流混合的問題。陳杰[9]提出了一種冷通道封閉技術(shù)，該方法能有效地將冷熱氣流隔離開來，提高冷量的利用效率。但只有當(dāng)數(shù)據(jù)中心的平均功率密度為每臺機柜1～2 kW時，房間級制冷才有效[10]。機柜級空調(diào)系統(tǒng)因靠近負(fù)荷中心，縮短了送風(fēng)距離，不易出現(xiàn)局部熱點，最大程度地減少冷量損失，可實現(xiàn)更高的負(fù)載密度[11-13]。K. Nemati等[14]研究發(fā)現(xiàn)水冷背板換熱器可以有效帶走服務(wù)器的熱量，降低機柜的排風(fēng)溫度。但水冷技術(shù)存在漏液的安全隱患，還不能作為一種成熟的應(yīng)用。目前風(fēng)冷依然是廣泛應(yīng)用的冷卻方式，羅浩文等[15]通過模擬得到的常規(guī)機柜內(nèi)服務(wù)器風(fēng)機吸風(fēng)量相對標(biāo)準(zhǔn)差達到了26%，存在送風(fēng)不均的現(xiàn)象。因此，具有良好氣流組織的機柜級冷卻末端是解決數(shù)據(jù)中心冷卻高能耗、精確供冷難題的有效途徑。

基于上述背景，本文提出一種冷卻裝置嵌入式數(shù)據(jù)中心機柜[16]，該機柜將服務(wù)器豎直放置，減少了氣流的沿程阻力，并利用熱氣上升原理，增強了散熱效率，同時將冷卻裝置融入機柜內(nèi)部，實現(xiàn)按需供冷。針對該機柜的內(nèi)部結(jié)構(gòu)形式，本文通過CFD軟件模擬機柜內(nèi)的氣流組織，研究冷卻裝置排布和運行參數(shù)對冷卻效果的影響，以確定合理的冷卻裝置排布及運行參數(shù)范圍。

1 機柜工作原理

相比于傳統(tǒng)的大空間送風(fēng)，冷卻裝置嵌入式機柜因為單獨配備了風(fēng)機和冷卻裝置，所以在冷量供應(yīng)方面具有更好的節(jié)能性和可靠性，圖1所示為機柜結(jié)構(gòu)示意圖。

圖1 機柜結(jié)構(gòu)示意圖

在節(jié)能性方面，機柜能從三方面大幅降低能耗：1)冷卻裝置置于機柜內(nèi)部，使冷量全部用于冷卻服務(wù)器，減少了冷量損失，提高了制冷效率；2)機柜因自帶風(fēng)機而縮短了送風(fēng)路程，輸配能耗大幅降低；3)機柜因獨立配備冷卻裝置，可根據(jù)機柜不同的負(fù)荷狀態(tài)獨立、靈活調(diào)節(jié)制冷量，避免出現(xiàn)冷量過剩現(xiàn)象，減少冷量浪費。

在可靠性方面，機柜內(nèi)部結(jié)構(gòu)設(shè)計對氣流組織的合理優(yōu)化，不僅增強了冷空氣與服務(wù)器之間的換熱效果，也減少了冷熱氣流摻混、局部出現(xiàn)熱點等現(xiàn)象，同時制冷量的獨立調(diào)節(jié)還避免了冷量供應(yīng)不足的現(xiàn)象，保證了機柜的整體冷卻效果。

2 仿真模型

2.1 物理模型

本文利用Airpak軟件建立了機柜的物理模型，如圖2所示。只考慮垂直于壁面方向上的熱量傳遞，機柜壁面采用薄壁。真實的服務(wù)器內(nèi)部結(jié)構(gòu)復(fù)雜，除了CPU芯片外，還有電池、風(fēng)扇等其他部件，為了計算簡單，服務(wù)器簡化為發(fā)熱均勻的長方體。冷卻裝置設(shè)置為無厚度的薄片，風(fēng)機設(shè)為與冷卻裝置形狀一致的矩形平面。

圖2 機柜物理模型

機柜進口空氣特性遵循理想氣體定律，工作壓力設(shè)為101.325 kPa。邊界條件主要包括以下三種：

1)壁面邊界條件

機柜壁面會與機房內(nèi)空氣進行熱量交換，故所有壁面設(shè)為定壁溫邊界條件，邊界溫度即為房間溫度。

2)入口邊界條件

機柜進風(fēng)口的送風(fēng)溫度為房間溫度，送風(fēng)方式為風(fēng)機送風(fēng)，可根據(jù)具體工況設(shè)定風(fēng)機的額定風(fēng)壓和額定風(fēng)量，進風(fēng)方向為垂直于水平壁面向上。

3)出口邊界條件

出風(fēng)口為自由出口、單層格柵形式，出口壓力為101.325 kPa，熱空氣自由流出，且流動方向為單向，無回流。

機柜的參數(shù)：機柜尺寸為700 mm×700 mm×1 200 mm，進出風(fēng)口尺寸均為700 mm×700 mm；服務(wù)器尺寸為600 mm×450 mm×44.45 mm，發(fā)熱功率為200 W，共10個，5服務(wù)器/排×2排，兩排之間預(yù)留100 mm，服務(wù)器的水平間距為120 mm；冷卻裝置尺寸為700 mm×700 mm，功率為2 kW。

2.2 實驗驗證

為驗證上述仿真平臺的準(zhǔn)確性，建立與仿真模型參數(shù)一致的實驗裝置如圖3所示，實驗中采用T型熱電偶對服務(wù)器表面的溫度測點進行測量，測量精度為±0.1 ℃，利用熱線風(fēng)速儀測量機柜內(nèi)各測點的風(fēng)速，測量精度為±0.03 m/s，以上測量裝置具有較好的精度，同時通過多次測量取平均值的方法來減小實驗數(shù)據(jù)的不確定度。

圖3 實驗裝置

圖4 測點布置

由于機柜的冷卻對象是服務(wù)器，同時在綜合考慮現(xiàn)場實驗條件基礎(chǔ)上，選取服務(wù)器表面的溫度作為溫度測點以表征機柜的冷卻效果。在測量溫度時，從機柜的上下兩排分別選取兩個服務(wù)器作為測量對象，其中測量對象1和3為最外側(cè)服務(wù)器，測量對象2和4為內(nèi)側(cè)服務(wù)器，4個測量對象可較好地體現(xiàn)機柜內(nèi)服務(wù)器的溫度分布。為使測量結(jié)果更準(zhǔn)確，服務(wù)器劃分為6個等面積的矩形，如圖4(a)所示，將每個矩形的中心作為溫度測點，取6個測點的平均值作為服務(wù)器測量溫度，以減少空間上的測量不確定度。在測量風(fēng)速時，從上下兩排分別選取3個測點，測點1和6代表服務(wù)器和壁面之間的風(fēng)速，其余測點代表相鄰服務(wù)器之間的風(fēng)速，多區(qū)域的測點位置可較好地表征機柜內(nèi)的速度場。考慮空氣流動的多變性和不均勻性，在如圖4(b)所示的每個測點將風(fēng)速測試儀的探頭伸進距壁面12 cm處，并每隔10 s記一次讀數(shù)，取3次測量值的平均值作為該點的風(fēng)速值以減少時間上的測量不確定度。

模擬工況與實驗工況保持一致，風(fēng)機額定風(fēng)量為1 600 m3/h，額定風(fēng)壓為300 Pa，進風(fēng)溫度為26.3 ℃。得到的模擬結(jié)果和實驗結(jié)果的相對誤差如表1所示。

表1 模擬結(jié)果和實驗結(jié)果的相對誤差

由表1可知，風(fēng)速的相對誤差較大，最大誤差達到17.31%，服務(wù)器溫度的相對誤差較小，最大誤差為5.35%，均在允許范圍內(nèi)，因此可認(rèn)為上述機柜仿真模型的精度可滿足計算要求。

3 冷卻裝置排布對冷卻效果的影響

3.1 工況及芯片的選定

在機柜的模擬計算中，進風(fēng)溫度設(shè)為27 ℃，相對濕度為55%[17]，對應(yīng)的空氣露點溫度為17.2 ℃，因此冷卻裝置內(nèi)制冷劑的蒸發(fā)溫度設(shè)定為19 ℃，以確保空氣不會在冷卻裝置進風(fēng)側(cè)發(fā)生結(jié)露現(xiàn)象。同時為防止空氣經(jīng)冷卻裝置冷卻后的出風(fēng)溫度低于露點溫度，在冷卻裝置出風(fēng)側(cè)發(fā)生結(jié)露現(xiàn)象，在機柜額定制冷量為2 kW時，由機柜進風(fēng)焓值與相應(yīng)露點焓值之差可以計算得出最小進風(fēng)量為566 m3/h。機柜進風(fēng)量既要大于最小進風(fēng)量566 m3/h，以避免出現(xiàn)結(jié)露現(xiàn)象，又要保證換熱均勻性，因此風(fēng)機額定風(fēng)量先定為1 200 m3/h，額定風(fēng)壓定為200 Pa。并且機柜的服務(wù)器芯片選取Intel系列的Cel-1.0APGA(T)芯片，該芯片的正常工作范圍為45～50 ℃，極限溫度為60 ℃。

3.2 評價指標(biāo)的確定

本文以服務(wù)器的溫度為研究對象，從熱安全性、均勻性兩方面對機柜冷卻效果進行評估，以此來分析機柜內(nèi)的熱環(huán)境。

在熱安全性方面，除了服務(wù)器的平均溫度和最高溫度等基本評價指標(biāo)外，本文還提出了新的評價指標(biāo)——溫度合格系數(shù)RCIH。具體定義式如下：

(1)

式中：n為服務(wù)器的個數(shù)；Tx為某個服務(wù)器的溫度，℃；Tmax-rec為服務(wù)器正常工作溫度范圍的上限，℃；Tmax-all為服務(wù)器的極限溫度值，℃。RCIH=100%時，說明所有服務(wù)器的溫度均沒有超過正常溫度范圍的上限；RCIH<100%時，說明有服務(wù)器因冷卻不充分而存在過熱現(xiàn)象。

在均勻性方面，當(dāng)冷量一定時，服務(wù)器的溫度分布越均勻，機柜的整體冷卻效果越好。因此本文提出了服務(wù)器溫度的標(biāo)準(zhǔn)差σT用于評價服務(wù)器溫度的均勻性。

(2)

考慮到不同機柜、不同工況時，服務(wù)器的溫度可能相差較大，因此，本文結(jié)合服務(wù)器溫度值的標(biāo)準(zhǔn)差和平均值提出了評價指標(biāo)——溫度均勻系數(shù)μ，具體定義式如下：

(3)

式中：σT為所有服務(wù)器溫度值的標(biāo)準(zhǔn)差，℃。μ的值越小，說明服務(wù)器的溫度分布越均勻。

3.3 機柜冷卻效果分析

從機柜的結(jié)構(gòu)設(shè)計可知，每一排的服務(wù)器均呈等間距排列，所以風(fēng)速分布情況即風(fēng)量分布情況。為研究機柜的具體冷卻效果，本文將先從速度場和溫度場兩方面進行分析。

圖5所示為機柜中心截面上的速度分布，每個間隙中的平均風(fēng)速和最大風(fēng)速在數(shù)值上均相差較小，分別約為2 m/s和4 m/s。由此說明整個機柜中的氣流組織較好，風(fēng)速大小分布均勻，也即風(fēng)量分布均勻。

圖5 機柜中心截面上的速度分布

圖6 機柜中心截面上的溫度分布

圖6所示為機柜中心截面上的溫度分布，同一排服務(wù)器的溫度幾乎一致，但上下兩排之間的服務(wù)器存在一定溫差，上排服務(wù)器的溫度比下排服務(wù)器高約3 ℃。

從機柜的結(jié)構(gòu)設(shè)計和空氣流動方向可以看出，導(dǎo)致上排服務(wù)器整體溫度高于下排服務(wù)器的原因是冷卻裝置置于機柜底部，冷風(fēng)先冷卻下排服務(wù)器，再冷卻上排服務(wù)器，為此需要對機柜中冷卻裝置的布置方式進行改進，以減少上下兩排服務(wù)器的溫差。

3.4 冷卻裝置布置方式的確定

本文提出4種改進冷卻裝置布置方式的方案，方案1將原來位于下部的2 kW冷卻裝置置于上下兩排服務(wù)器之間(中部)，方案2、3、4將兩個功率總和2 kW的冷卻裝置分別置于下部和中部。不同方案中冷卻裝置的具體分布情況如表2所示。

表2 冷卻裝置的布置方式

為了全面對比不同方案冷卻效果的優(yōu)劣，確定最佳的冷卻裝置布置方式，本文將以各項評價指標(biāo)為基礎(chǔ)，從熱安全性和均勻性兩方面進行分析。

圖7所示為不同方案的熱安全性。由圖7可知，4種方案中的溫度合格系數(shù)RCIH均為100%，由上述關(guān)于RCIH的定義可知，當(dāng)RCIH=100%時，說明機柜中的服務(wù)器不存在過熱現(xiàn)象。此外，4種方案的平均溫度和最高溫度均相差較小，最高溫度均低于45 ℃。

圖7 不同方案的熱安全性

圖8所示為不同方案的溫度均勻性。由圖8可知，相比于初始結(jié)構(gòu)，這4種方案的標(biāo)準(zhǔn)差和均勻系數(shù)均大幅降低，其中方案1下降最明顯，降幅達到了66.67%，此時具有最佳的冷卻裝置布置方式。

圖8 不同方案的溫度均勻性

4 運行參數(shù)對冷卻效果的影響

除了機柜結(jié)構(gòu)，運行參數(shù)也會影響機柜內(nèi)部的冷卻效果，因此，為保證機柜的節(jié)能性和可靠性，本文以上述最優(yōu)機柜結(jié)構(gòu)為研究對象，研究風(fēng)機額定參數(shù)和進風(fēng)溫度對機柜冷卻效果的影響。

4.1 風(fēng)機額定風(fēng)量對冷卻效果的影響

采用控制變量法，使除風(fēng)機額定風(fēng)量外的其他參數(shù)相同(額定風(fēng)壓為200 Pa，進風(fēng)溫度為27 ℃)，在保證冷卻裝置不結(jié)露(進風(fēng)量大于最小進風(fēng)量566 m3/h)的情況下，改變風(fēng)機額定風(fēng)量大小，進行模擬計算。

圖9所示為風(fēng)機額定風(fēng)量對熱安全性的影響，當(dāng)額定風(fēng)量處于800～2 400 m3/h范圍時，機柜中服務(wù)器的溫度合格系數(shù)始終為100%，不存在過熱現(xiàn)象。同時隨著風(fēng)機額定風(fēng)量的增大，服務(wù)器的平均溫度和最高溫度降低，冷卻效果提升，且溫降幅度隨額定風(fēng)量的增加而減少。當(dāng)額定風(fēng)量由800 m3/h增至1 200 m3/h時，平均溫度和最高溫度的下降率分別為2.1%和2.3%。當(dāng)額定風(fēng)量由2 000 m3/h增至2 400 m3/h時，平均溫度和最高溫度的下降率均低于0.4%。

圖9 額定風(fēng)量對熱安全性的影響

圖10 額定風(fēng)量對溫度均勻性的影響

圖10所示為風(fēng)機額定風(fēng)量對溫度均勻性的影響，在額定風(fēng)量小于2 000 m3/h時，額定風(fēng)量越大，標(biāo)準(zhǔn)差和均勻系數(shù)越小，服務(wù)器的溫度均勻性越高。風(fēng)機額定風(fēng)量由800 m3/h增至2 000 m3/h時，標(biāo)準(zhǔn)差和均勻系數(shù)分別下降了0.2 ℃和0.004。在額定風(fēng)量達到2 000 m3/h后，增加額定風(fēng)量對標(biāo)準(zhǔn)差和均勻系數(shù)幾乎沒有影響，額定風(fēng)量由2 000 m3/h增至2 400 m3/h時，標(biāo)準(zhǔn)差和均勻系數(shù)分別只變化了0.004 ℃和2×10-5。

4.2 風(fēng)機額定風(fēng)壓對冷卻效果的影響

根據(jù)上述風(fēng)機額定風(fēng)量對冷卻效果的影響分析，綜合考慮冷卻效果和風(fēng)機能耗，確定風(fēng)機的額定風(fēng)量為1 600 m3/h。下面控制風(fēng)機額定風(fēng)量和入口風(fēng)溫不變(額定風(fēng)量為1 600 m3/h，進風(fēng)溫度為27 ℃)，研究風(fēng)機額定風(fēng)壓變化對冷卻效果的影響。

風(fēng)機額定風(fēng)壓對熱安全性的影響如圖11所示，額定風(fēng)壓在100～300 Pa的范圍內(nèi)變化時，機柜中服務(wù)器的溫度合格系數(shù)均為100%，說明在這幾種工況下，服務(wù)器冷卻效果良好。同時由于機柜內(nèi)部阻力特性保持不變，風(fēng)機的額定風(fēng)壓越高，風(fēng)機運行工況點對應(yīng)的風(fēng)量越大，機柜內(nèi)服務(wù)器的冷卻效果越好，服務(wù)器最高溫度和平均溫度均不斷下降，但降幅逐漸減小。當(dāng)額定風(fēng)壓由100 Pa增至150 Pa時，服務(wù)器的平均溫度和最高溫度分別下降了2.98 ℃和2.94 ℃。當(dāng)額定風(fēng)壓由200 Pa增至250 Pa時，平均溫度和最高溫度分別下降0.97 ℃和1.08 ℃。

圖11 額定風(fēng)壓對熱安全性的影響

風(fēng)機額定風(fēng)壓對溫度均勻性的影響如圖12所示，當(dāng)額定風(fēng)壓較小，由100 Pa增至150 Pa時，標(biāo)準(zhǔn)差下降了0.88%，此時的平均溫度顯著下降，由式(3)可知，均勻系數(shù)將增大，其值增加了5.88%。從150至250 Pa，標(biāo)準(zhǔn)差和均勻系數(shù)的降幅均較大，分別下降了15.38%和11.11%。到250 Pa之后，過大的額定風(fēng)壓使標(biāo)準(zhǔn)差增大，平均溫度小幅下降，均勻系數(shù)明顯增大，由此可見，當(dāng)額定風(fēng)壓為250 Pa時，機柜中的服務(wù)器溫度分布最均勻。

圖12 額定風(fēng)壓對溫度均勻性的影響

4.3 進風(fēng)溫度對冷卻效果的影響

為研究進風(fēng)溫度對機柜冷卻效果的影響，控制風(fēng)機參數(shù)不變(額定風(fēng)量為1 600 m3/h，額定風(fēng)壓為200 Pa)，改變機柜的進風(fēng)溫度，并進行模擬計算，結(jié)果如圖13和圖14所示。

圖13 進風(fēng)溫度對熱安全性的影響

由圖13可知，進風(fēng)溫度在25～29 ℃范圍內(nèi)時，服務(wù)器的溫度合格系數(shù)均為100%，服務(wù)器均不存在過熱現(xiàn)象。服務(wù)器的平均溫度和最高溫度均隨著進風(fēng)溫度的升高而呈直線上升，且進風(fēng)溫度每增加1 ℃，平均溫度和最高溫度均上升約1 ℃。當(dāng)進風(fēng)溫度由25 ℃升至29 ℃，服務(wù)器的平均溫度和最高溫度分別升高了4.23 ℃和4.19 ℃，冷卻效果變差。

圖14 進風(fēng)溫度對溫度均勻性的影響

由圖14可知，標(biāo)準(zhǔn)差和均勻系數(shù)的波動均受風(fēng)溫影響較小。當(dāng)進風(fēng)溫度為25 ℃時，標(biāo)準(zhǔn)差和均勻系數(shù)最大，當(dāng)進風(fēng)溫度為28 ℃時，標(biāo)準(zhǔn)差和均勻系數(shù)最小，但這兩種工況下的標(biāo)準(zhǔn)差和均勻系數(shù)分別只相差0.05 ℃和0.002，這種微小的波動極有可能是取樣點溫度場的波動導(dǎo)致。

5 結(jié)論

本文以冷卻裝置嵌入式機柜為研究對象，利用Airpak軟件分析了冷卻裝置排布方式和運行參數(shù)對機柜供冷效果的影響，根據(jù)經(jīng)過實驗驗證的模擬結(jié)果，得到如下結(jié)論：

1)改變冷卻裝置分布的4種方案均能有效減小上下兩排服務(wù)器的溫差，其中方案1(冷卻裝置位于兩排服務(wù)器中間)的溫度分布最均勻，標(biāo)準(zhǔn)差、均勻系數(shù)和初始結(jié)構(gòu)(冷卻裝置位于兩排服務(wù)器之下)相比均下降了66.67%。

2)在風(fēng)機額定風(fēng)量處于800～2 400 m3/h，額定風(fēng)壓處于100～300 Pa，進口風(fēng)溫處于25～29 ℃時，方案1中服務(wù)器的溫度合格系數(shù)一直保持在100%，無過熱現(xiàn)象，并且隨著風(fēng)機額定風(fēng)量的增加，整體溫度和均勻性指標(biāo)逐漸減小，當(dāng)風(fēng)機額定風(fēng)量達到2 000 m3/h后，兩者幾乎不受風(fēng)機額定風(fēng)量影響。

3)隨著風(fēng)機額定風(fēng)壓的增加，整體溫度逐漸下降，且降幅逐漸減小，均勻性指標(biāo)出現(xiàn)了明顯的波動，當(dāng)額定風(fēng)壓為250 Pa時，服務(wù)器溫度分布最均勻。

4)隨著風(fēng)機進風(fēng)溫度的增加，整體溫度直線上升，同時標(biāo)準(zhǔn)差和均勻系數(shù)的變化幅度最大值分別僅為0.05 ℃和0.002，溫度均勻性受進風(fēng)溫度的影響可以忽略。