郭濤

采用間接混合冷卻方式的液冷服務(wù)器曙光TC4600-LP，將液冷與風(fēng)冷方式有機(jī)地結(jié)合一起，降低了液冷服務(wù)器的使用門檻，在為數(shù)據(jù)中心用戶提高效能的同時，還節(jié)約了成本。

大到數(shù)據(jù)中心機(jī)房，小到一臺服務(wù)器，大多數(shù)都采用風(fēng)冷的制冷方式。但是眾所周知，風(fēng)冷的一個致命缺陷是冷卻系統(tǒng)能耗高，因為空氣與液態(tài)冷媒相比，輸送功率大、傳熱溫差大、風(fēng)扇功耗大。中科曙光數(shù)據(jù)中心產(chǎn)品事業(yè)部總經(jīng)理沈衛(wèi)東舉例說，采用風(fēng)冷服務(wù)器、機(jī)房空調(diào)機(jī)的數(shù)據(jù)中心，在不考慮UPS系統(tǒng)的情況下，其PUE指標(biāo)也不可能低于1.4，而采用液冷服務(wù)器、自然冷卻冷站的數(shù)據(jù)中心，PUE值可以輕松降低到1.2以下。

在2014年6月舉行的ISC14國際超級計算大會上，曙光發(fā)布了國內(nèi)首款全浸泡式液冷服務(wù)器PHPC300，當(dāng)時就有參觀者提出想購買。但是，全浸泡式液冷服務(wù)器目前仍處在完善之中，距商用還有一段距離?？吹接脩魧σ豪浞?wù)器的強(qiáng)烈需求，曙光在今年8月又發(fā)布了間接混合冷卻式方式的液冷服務(wù)器TC4600-LP，它將液冷與風(fēng)冷方式有機(jī)地結(jié)合一起，已經(jīng)實現(xiàn)了批量發(fā)貨。TC4600-LP服務(wù)器的出現(xiàn)降低了液冷服務(wù)器的使用門檻，在為數(shù)據(jù)中心用戶提高效能的同時，還節(jié)約了成本。

液冷與風(fēng)冷的有機(jī)組合

沈衛(wèi)東介紹說，曙光TC4600-LP服務(wù)器采用“液冷+風(fēng)冷”的冷卻方式，其中液冷部分采用間接式冷卻技術(shù)。所謂間接式冷卻，即冷媒與發(fā)熱元件被導(dǎo)熱材料分離，不直接接觸，而是通過液冷板、液冷頭等高效熱傳導(dǎo)部件將被冷卻對象的熱量傳遞到冷媒中。采用間接冷卻的液冷散熱系統(tǒng)，對計算機(jī)系統(tǒng)改動不大，僅需將原風(fēng)冷散熱片替換為液冷散熱片（液冷頭），并將冷媒管路引出機(jī)箱即可。在間接冷卻方式中，冷媒有自身的通路，并不與電子器件直接接觸，只要求液體管路密封性好，冷媒不泄漏即可。

曙光TC4600-LP服務(wù)器是一個系統(tǒng)，由1個CRU（冷卻柜）和兩個服務(wù)器機(jī)柜共同組成一個最小的冷卻單元。液冷與風(fēng)冷兩套系統(tǒng)組合起來為服務(wù)器提供散熱。CRU機(jī)柜內(nèi)部包括CDM（液冷）模塊及CIM（風(fēng)冷）模塊。每個TC4600-LP服務(wù)器機(jī)箱設(shè)計的發(fā)熱量為4kW， 其中液冷系統(tǒng)2.7kW，風(fēng)冷系統(tǒng)1.3kW。單個CDM制冷量為10.8kW，負(fù)責(zé)左右兩個機(jī)柜內(nèi)部4個HCPU的制冷。CRU機(jī)柜內(nèi)部共有3個CDM模塊。

間接冷卻式液冷系統(tǒng)能直接將高溫?zé)嵩碈PU和內(nèi)存上的散熱量通過室內(nèi)側(cè)制冷系統(tǒng)進(jìn)行循環(huán)，同時利用列頭制冷模塊的高效換熱與室外熱源進(jìn)行熱交換。CRU機(jī)柜內(nèi)置的每一個CDM模塊可幫助4箱的TC4600刀片服務(wù)器進(jìn)行熱量交換（左右各兩箱）。室內(nèi)制冷系統(tǒng)內(nèi)的冷媒在CDM內(nèi)循環(huán)泵處獲取動力，通過管路系統(tǒng)輸配到左右機(jī)柜內(nèi)部4個HCPU處，再利用HCPU將液體輸送給主板上配置的冷頭。冷媒在液冷頭內(nèi)部吸熱后，溫度升高，高溫冷媒流經(jīng)HCPU進(jìn)入CDM內(nèi)的換熱器與室外冷源進(jìn)行熱交換，又重新變?yōu)榈牡蜏乩涿剑龠M(jìn)入儲液罐內(nèi)準(zhǔn)備供給循環(huán)泵，進(jìn)行下一循環(huán)。通過液冷方式，CPU表面的溫度會快速下降，CPU的效率和可靠性都能得到進(jìn)一步提高。

液冷方式采用的冷媒通常包括三種：油、水和蒸發(fā)冷媒。TC4600-LP服務(wù)器采用的是水。有人可能會擔(dān)心，采用液冷方式，萬一發(fā)生漏液怎么辦？“漏液問題是實現(xiàn)液冷必須突破的技術(shù)難關(guān)。曙光擁有一些技術(shù)專利，可以通過負(fù)壓模式可以解決漏液問題?！鄙蛐l(wèi)東介紹說。

TC4600-LP服務(wù)器采用的是非全浸泡液冷方式，也稱混合式制冷方式，因為液體制冷只能帶走三分之二的設(shè)備發(fā)熱量，而主板的發(fā)熱量仍然要依靠風(fēng)冷方式帶走?！皬倪@個角度講，混合式液冷并不是徹底的液冷技術(shù)革命。但是，混合式有它的一個優(yōu)點，就是只要對原有的風(fēng)冷服務(wù)器稍加改進(jìn)，附加一個液冷模塊即可，很容易實現(xiàn)市場化。因此，今年，我們首推的還是這種混合式制冷的服務(wù)器?！鄙蛐l(wèi)東解釋說。

一些國外的服務(wù)器廠商也擁有液冷服務(wù)器。沈衛(wèi)東表示：“我們現(xiàn)在的研發(fā)方向與國際趨勢是一致的。目前市場上應(yīng)用比較成熟的也是間接式制冷方式，全浸泡式液冷方式還有一些技術(shù)難點需要突破。以前，只有一些特殊定制的大型項目才會用到液冷方式。但我們認(rèn)為，隨著間接式制冷方式的技術(shù)逐步成熟和成本不斷下降，在服務(wù)器甚至工作站上使用液冷方式的條件已經(jīng)具備。”曙光公司從2012年開始研究新的節(jié)能技術(shù)。將液冷基礎(chǔ)設(shè)施與服務(wù)器完美融合的曙光TC4600-LP是比較適合大規(guī)模應(yīng)用的采用新型制冷方式的服務(wù)器。

目前，在全球范圍內(nèi)，研究全浸泡式液冷服務(wù)器的廠商屈指可數(shù)。全浸泡式液冷服務(wù)器還沒有做到商品化，仍有許多技術(shù)難題要解決，包括排放液、密封、液體的儲存和添加等。沈衛(wèi)東介紹說，曙光在全浸泡式液冷服務(wù)器方面已經(jīng)有了一些技術(shù)儲備，但是距產(chǎn)品上市可能還有一年時間。不過，在今年底，曙光會先發(fā)布一款全液冷的工作站產(chǎn)品。

不會增加成本

為了提高計算密度，許多用戶愿意采用刀片式服務(wù)器。但實際上，很少有用戶的機(jī)柜是滿配的，因為刀片服務(wù)器的散熱是一個瓶頸。采用液冷服務(wù)器，在提高制冷效率、降低能耗的同時，是否也能大幅提升機(jī)柜的設(shè)備密度呢？

曙光TC4600-LP的一個模塊由5U高的刀片服務(wù)器機(jī)箱和1U高的HCDU水平分液單元組成，在一個標(biāo)準(zhǔn)的42U機(jī)柜內(nèi)，只能放7個模塊，而采用風(fēng)冷方式的刀片機(jī)箱可以放置8個。單純從數(shù)量上看，風(fēng)冷服務(wù)器超過了液冷服務(wù)器。但是如前所述，風(fēng)冷服務(wù)器的機(jī)柜很難滿配。“目前，采用間接式液冷的曙光TC4600-LP服務(wù)器與風(fēng)冷服務(wù)器的密度差不多。但是如果以后我們針對液冷方式對刀片服務(wù)器進(jìn)行優(yōu)化設(shè)計，那么密度還可以進(jìn)一步提高?！鄙蛐l(wèi)東解釋說。

在推出TC4600-LP液冷服務(wù)器的同時，曙光還提供了一個配套的GreenLC解決方案。沈衛(wèi)東表示，液冷服務(wù)器需要一個與之相配合的特殊的數(shù)據(jù)中心基礎(chǔ)設(shè)施。GreenLC是與TC4600-LP服務(wù)器相配套的液冷系統(tǒng)和配電監(jiān)控機(jī)柜系統(tǒng)。相對于風(fēng)冷服務(wù)器，液冷服務(wù)器的初次采購成本會略有增加，但在整體擁有成本上，液冷服務(wù)器還是具有明顯優(yōu)勢的。

“TC4600-LP液冷服務(wù)器是一個自封閉、帶負(fù)壓、能主動報警的智能化系統(tǒng)，平時幾乎不需要維護(hù)。”曙光高性能產(chǎn)品總監(jiān)戴榮博士補(bǔ)充說，“風(fēng)冷服務(wù)器必須配套具有更大功率的空調(diào)系統(tǒng)，這增加了風(fēng)冷服務(wù)器的運(yùn)營成本。TC4600-LP配合GreenLC基礎(chǔ)設(shè)施整體方案，可為一個500kW的中型數(shù)據(jù)中心每年節(jié)省150萬元的電費支出。在設(shè)備投資方面，與風(fēng)冷版的TC4600服務(wù)器相比，雖然液冷版的TC4600的采購費用有所提高，但配套的冷卻系統(tǒng)的成本有所下降，所以整個數(shù)據(jù)中心的設(shè)備采購成本基本不變?！?/p>

高性能計算是突破口

曙光TC4600-LP液冷服務(wù)器已經(jīng)有了用戶，主要集中在高性能計算、電信和互聯(lián)網(wǎng)行業(yè)。戴榮介紹說：“一些采用高性能計算的用戶通常會定制自己的刀片服務(wù)器系統(tǒng)。這些用戶會嘗試性地選擇液冷服務(wù)器，看看液冷服務(wù)器是否真的可以降低整體運(yùn)營成本。液冷服務(wù)器更適合部署在大規(guī)模的數(shù)據(jù)中心里?！?/p>

曙光TC4600-LP針對的就是大型數(shù)據(jù)中心用戶。曙光TC4600-LP本身具有良好的可擴(kuò)展性，目前一套設(shè)備包括10個結(jié)點，未來可以擴(kuò)展到100個甚至1000個結(jié)點。一個數(shù)據(jù)中心用戶擁有的服務(wù)器規(guī)模如果達(dá)到上萬臺，它就會特別關(guān)注制冷的問題。戴榮表示：“采用液冷服務(wù)器，用戶大約一年左右能收回前期的投資。高性能計算行業(yè)的用戶對間接式液冷服務(wù)器比較感興趣，而互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)中心在使用液冷服務(wù)器方面還有一個教育和熟悉的過程?！?/p>

戴榮表示，未來，曙光會繼續(xù)推出采用間接式制冷方式的小型化的產(chǎn)品。