［孫淳曄 李紅雙 高彥平］

1 引言

隨著云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)的蓬勃發(fā)展，運(yùn)營(yíng)商云資源池需求急劇增長(zhǎng)，導(dǎo)致底層支撐的各類數(shù)據(jù)中心也在快速增加，在縮短建設(shè)周期、降低復(fù)雜性及成本等一系列要求下，數(shù)據(jù)中心基礎(chǔ)設(shè)施采用模塊化、標(biāo)準(zhǔn)化的建設(shè)方式已經(jīng)成為一種趨勢(shì)或標(biāo)準(zhǔn)。整機(jī)柜服務(wù)器作為一種一體化的集成交付模式，具有較高的管理效率和快速的交付速度，將成為數(shù)據(jù)中心部署方式的一個(gè)新方向。

2 行業(yè)分析

整機(jī)柜服務(wù)器的方案最初由Facebook 公司于2011年提出，并基于此發(fā)起成立了國(guó)際最大IT 平臺(tái)開放組織“Open Compute Project（OCP）”，旨在通過(guò)定制化的模式，實(shí)現(xiàn)與數(shù)據(jù)中心、網(wǎng)絡(luò)架構(gòu)以及應(yīng)用軟件技術(shù)的匹配，降低硬件成本。

國(guó)內(nèi)整機(jī)柜的研究最早可追溯至2011 年的第一屆云計(jì)算大會(huì)，BAT、華為等巨頭企業(yè)聯(lián)合成立天蝎聯(lián)盟[1]。2014 年，天蝎聯(lián)盟升級(jí)為國(guó)內(nèi)IT 平臺(tái)開放組織“開放數(shù)據(jù)中心委員會(huì)（ODCC）”，引入了網(wǎng)絡(luò)、服務(wù)器、硬盤、數(shù)據(jù)中心等更多的工作組，并陸續(xù)發(fā)布了天蝎整機(jī)柜規(guī)范族系列，隨后近些年陸續(xù)制定和升級(jí)了技術(shù)標(biāo)準(zhǔn)。

其中以京東、阿里、華為整機(jī)柜項(xiàng)目發(fā)展最為迅猛，典型代表為阿里巴巴的方升整機(jī)柜項(xiàng)目，京東的京東智能云整機(jī)柜項(xiàng)目，華為的FusionPoD 整機(jī)柜項(xiàng)目等。截止至2020 年底華為云在公有云市場(chǎng)已完成近十萬(wàn)臺(tái)服務(wù)器整機(jī)柜交付規(guī)模，其余如12306、教育、公安行業(yè)也存在大量應(yīng)用，整機(jī)柜的業(yè)內(nèi)認(rèn)可度可見(jiàn)一斑。

3 整體構(gòu)成及優(yōu)勢(shì)

源于模塊化的思想，整機(jī)柜服務(wù)器是將電源、制冷、管理以及基本的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)設(shè)備模塊集成在一個(gè)機(jī)柜內(nèi)，從而形成一個(gè)整體平臺(tái)。整機(jī)柜服務(wù)器出廠前即完成軟硬件預(yù)安裝和預(yù)集成，能夠?qū)崿F(xiàn)IT 基礎(chǔ)設(shè)施的整體交付、業(yè)務(wù)快速部署和IT 環(huán)境的簡(jiǎn)易高效運(yùn)維。

整體分為機(jī)柜子系統(tǒng)、網(wǎng)絡(luò)子系統(tǒng)、供電子系統(tǒng)、服務(wù)器節(jié)點(diǎn)子系統(tǒng)、集中散熱子系統(tǒng)、集中管理子系統(tǒng)共六大部分[2]。其中網(wǎng)絡(luò)子系統(tǒng)、服務(wù)器節(jié)點(diǎn)子系統(tǒng)是整機(jī)柜的核心組件，集中散熱子系統(tǒng)、集中管理子系統(tǒng)、供電子系統(tǒng)為可選部分，即可以使用數(shù)據(jù)中心提供的配套設(shè)施。

機(jī)柜子系統(tǒng)主要采用主流標(biāo)準(zhǔn)機(jī)架的外形尺寸，通用高度為2 200 mm、寬度600 mm、深度1 200 mm，機(jī)柜可用空間46U，機(jī)柜前后立柱支持可調(diào)整，滿足深度較大的大型網(wǎng)絡(luò)設(shè)備安裝，機(jī)柜內(nèi)配置若干副L 型托架，滿足部分無(wú)滑軌的小型設(shè)備安裝固定。

集中電源子系統(tǒng)采用模塊化設(shè)計(jì)方案。配電單元既可以輸出220 V 交流電，也可通過(guò)內(nèi)置電源模塊，輸出12 V直流電源，提供雙路UPS 輸出，滿足各類IT 設(shè)備供電需求，單路支持5～10 kW 的供電容量。電源可選擇支持220 VAC、380 VAC、240 VDC、336 VDC 等多種輸入規(guī)格，PDU 為智能PDU 設(shè)備，可提供歐標(biāo)、國(guó)標(biāo)10/16 A 兩種輸出規(guī)格，支持本地查看電壓、總電流、分電流、告警狀態(tài)等參數(shù)信息。

整機(jī)柜服務(wù)器與傳統(tǒng)機(jī)柜服務(wù)器相比主要有以下特點(diǎn)：

（1）集中散熱：可定制機(jī)柜為后部集成方式，即機(jī)柜后部出廠時(shí)集成了由若干個(gè)風(fēng)扇窗組成的風(fēng)扇墻，為機(jī)柜內(nèi)所有服務(wù)器提供散熱；

（2）集中管理：機(jī)柜內(nèi)配置機(jī)柜管理模塊，負(fù)責(zé)整機(jī)柜的散熱、供電、監(jiān)控等管理功能；

（3）一體化交付：在工廠完成組裝、測(cè)試及線纜布放，實(shí)現(xiàn)一體化交付使用，有效提高交付效率；

（4）集中管理：機(jī)柜內(nèi)配置機(jī)柜管理模塊，負(fù)責(zé)整機(jī)柜的散熱、供電、監(jiān)控等管理功能。

4 應(yīng)用場(chǎng)景分析

隨著整機(jī)柜的發(fā)展，整機(jī)柜產(chǎn)品已發(fā)展具備了多種形態(tài)，除46U 整機(jī)柜，還有24U、12U 甚至更微型的形態(tài)，滿足了越來(lái)越豐富的業(yè)務(wù)需求，形成了面向多種業(yè)務(wù)場(chǎng)景，覆蓋不同規(guī)模數(shù)據(jù)中心的產(chǎn)品系列。

（1）數(shù)據(jù)中心大規(guī)模部署場(chǎng)景

大型數(shù)據(jù)中心主要應(yīng)用46U 標(biāo)準(zhǔn)整機(jī)柜產(chǎn)品，傳統(tǒng)機(jī)房高密部署主要受限于機(jī)房的空間及供電，以機(jī)柜為整體單元將供電單元、散熱單元池化，減少輔助模塊的空間占用，可布置更多節(jié)點(diǎn)。與傳統(tǒng)服務(wù)器相比可實(shí)現(xiàn)部署密度提高1～2 倍，大幅提高空間利用率。集中供電和散熱的設(shè)計(jì)使電源負(fù)載率可提高到40～50%，電源效率可以達(dá)到90～94%（傳統(tǒng)機(jī)架式服務(wù)器的電源效率僅為80～85%）。整機(jī)柜可提供獨(dú)立的工作空間和維護(hù)空間，解決機(jī)房局部熱點(diǎn)問(wèn)題，實(shí)現(xiàn)機(jī)房節(jié)能改造。

整機(jī)柜服務(wù)器能夠支持水泥地面安裝和架空地板安裝。組建快速靈活，可按需部署，建設(shè)周期比傳統(tǒng)服務(wù)器機(jī)房大大縮短。

該類設(shè)備主要適用于運(yùn)營(yíng)商私有云、專有云/混合云、大數(shù)據(jù)等大規(guī)模業(yè)務(wù)需求場(chǎng)景，實(shí)現(xiàn)大規(guī)?？焖俳桓?，本地高性能要求，對(duì)于機(jī)房環(huán)境有一定要求。

（2）邊緣計(jì)算型場(chǎng)景

整機(jī)柜服務(wù)器具備工廠預(yù)制、整機(jī)交付的部署能力，特別是在遠(yuǎn)離大城市的地區(qū)，把大部分組裝工作轉(zhuǎn)移到工廠預(yù)先完成，再通過(guò)整機(jī)柜進(jìn)行現(xiàn)場(chǎng)快速部署，與傳統(tǒng)的機(jī)架式服務(wù)器相比，日交付量可以得到極大提高。

邊緣場(chǎng)景主要以中型24U 為主，大型46U 整機(jī)柜為輔，適用于中小型數(shù)據(jù)中心機(jī)房的快速建設(shè)，邊緣云視頻監(jiān)控、AI 訓(xùn)練/推理等場(chǎng)景，為單機(jī)柜數(shù)據(jù)中心，不依賴機(jī)房環(huán)境，可獨(dú)立配電、備電、散熱、降噪，對(duì)安裝部署環(huán)境要求低。

（3）輕量化部署場(chǎng)景

主要尺寸有24U、12U，更多適配辦公桌面、智慧課堂、客服座席等，實(shí)現(xiàn)辦公協(xié)同一體，對(duì)部署環(huán)境無(wú)要求，上電即可實(shí)現(xiàn)業(yè)務(wù)快速上線，顯著提升業(yè)務(wù)部署效率。

5 實(shí)際案例分析

基于整機(jī)柜服務(wù)器的優(yōu)勢(shì)，運(yùn)營(yíng)商也在積極進(jìn)行應(yīng)用嘗試，積累經(jīng)驗(yàn)。目前運(yùn)營(yíng)商領(lǐng)域主要以數(shù)據(jù)中心型為主，本節(jié)以某節(jié)點(diǎn)云資源池新建POD 為例，探索使用整機(jī)柜集成交付方式，驗(yàn)證交付流程及機(jī)房環(huán)境整體要求。

該P(yáng)OD 整體規(guī)模約千臺(tái)服務(wù)器，單獨(dú)采購(gòu)了整機(jī)柜服務(wù)器產(chǎn)品，使用7kW 整機(jī)柜，配件包括一級(jí)集采服務(wù)器、一級(jí)集采TOR 交換機(jī)、PDU，不包括散熱、電源及管理模塊，整機(jī)柜在發(fā)貨前統(tǒng)一做好了柜內(nèi)網(wǎng)絡(luò)布線預(yù)集成，目標(biāo)機(jī)房分配數(shù)據(jù)中心標(biāo)準(zhǔn)機(jī)房模塊，機(jī)房?jī)?nèi)配置冷熱通道、列間空調(diào)及其他基礎(chǔ)設(shè)施建設(shè)。機(jī)房在整機(jī)柜服務(wù)器使用前先進(jìn)行了適配改造。

目標(biāo)機(jī)房為架空地板，入門處為雙層臺(tái)階導(dǎo)致機(jī)柜進(jìn)入機(jī)房受限，考慮整機(jī)柜重量較大，可傾斜度小，對(duì)臺(tái)階及門內(nèi)部分面積進(jìn)行了加裝斜坡優(yōu)化改造，保證機(jī)柜順利進(jìn)入機(jī)房。

圖1 機(jī)房斜坡

由于機(jī)柜重量較大，單機(jī)柜質(zhì)量約為500～700 kg，考慮到安全性，單個(gè)整機(jī)柜搬運(yùn)由多名實(shí)施人員共同完成，同時(shí)為防止地板損壞，機(jī)房?jī)?nèi)未拆除地板的運(yùn)輸通道鋪設(shè)防刮墊及承重鋼板。

圖2 機(jī)房承重板

該機(jī)房為列間空調(diào)制冷，機(jī)房交付時(shí)空調(diào)末端已安裝加固完畢，緊湊的空間也給機(jī)柜部署帶來(lái)了一定困難，最終通過(guò)微調(diào)空調(diào)末端保證了機(jī)柜的順利入位部署及加固。

通過(guò)本工程實(shí)施結(jié)果得出，整機(jī)柜節(jié)省了柜內(nèi)設(shè)備上架、柜內(nèi)布線、柜內(nèi)線纜測(cè)試、配置調(diào)測(cè)等集成費(fèi)，交付時(shí)間相較于傳統(tǒng)交付有30%以上的提升，節(jié)省了近百萬(wàn)投資規(guī)模。

6 機(jī)房配套建議

采用整機(jī)柜后節(jié)省了柜內(nèi)若干工作量，顯著提高了整體交付進(jìn)程，但由于整機(jī)柜質(zhì)量重、體積大的特點(diǎn)會(huì)造成運(yùn)輸困難，對(duì)機(jī)房的整體配套環(huán)境存在特定性要求，因此在進(jìn)行整體機(jī)房規(guī)劃時(shí)，建議提前按整機(jī)房模塊規(guī)劃并預(yù)留整機(jī)柜機(jī)房，普通標(biāo)準(zhǔn)機(jī)房后續(xù)再改造為整機(jī)柜專用機(jī)房會(huì)額外增加工作量。通過(guò)本期工程實(shí)際施工，進(jìn)行了經(jīng)驗(yàn)總結(jié)。

（1）卸貨平臺(tái)和貨梯

進(jìn)行機(jī)房建設(shè)時(shí)建議盡量考慮未來(lái)可能進(jìn)入的大型設(shè)備、整機(jī)柜等大設(shè)備，一層卸貨平臺(tái)盡量做大，提升拆包和轉(zhuǎn)運(yùn)效率。

卸貨平臺(tái)后是貨梯，需要保證兩部以上電梯，并盡可能提高電梯轎廂體積及承重，便于大型設(shè)備能夠進(jìn)入且能盡量多的進(jìn)行轉(zhuǎn)運(yùn)。樓道地面與電梯轎廂之間縫隙盡量小、緊密，防止縫隙卡住腳輪。

（2）地面及入戶

機(jī)房?jī)?nèi)外地面在同一水平面無(wú)落差可直接將整機(jī)柜推進(jìn)機(jī)房，需入門高度大于機(jī)柜高度，此種方式最為簡(jiǎn)單、快捷。

若機(jī)房為架空防靜電地板，需要有保證機(jī)柜能夠順利進(jìn)入機(jī)房的措施，保證機(jī)柜在搬運(yùn)過(guò)程中最大傾斜不超過(guò)7 度，同時(shí)做好地面防護(hù)，防止地板刮擦及承重不均造成損壞及塌陷意外。

（3）供電及散熱

隨著數(shù)據(jù)業(yè)務(wù)高速發(fā)展，對(duì)服務(wù)器密度和算力的要求會(huì)越來(lái)越高，CPU 性能會(huì)越來(lái)越強(qiáng)，相應(yīng)的功耗也會(huì)越來(lái)越高，對(duì)機(jī)房有更高的供電要求和散熱要求。

數(shù)據(jù)中心機(jī)房一般在機(jī)房配套項(xiàng)目中建設(shè)了電力系統(tǒng)，冷熱通道制冷系統(tǒng)等，若采用此類機(jī)房，空調(diào)末端在未進(jìn)行整機(jī)柜入位前需暫不進(jìn)行固定，封閉通道不進(jìn)行封閉，待依次將機(jī)柜按序推至指定安裝位置后再整列調(diào)整加固及封道封閉。

對(duì)于小規(guī)模機(jī)房或局部過(guò)熱機(jī)柜也可使用整機(jī)柜集成制冷散熱模塊方式，機(jī)房?jī)?nèi)不建設(shè)制冷設(shè)備，整機(jī)柜可以直接進(jìn)入安裝位置加固，避免了制冷設(shè)備與整機(jī)柜的錯(cuò)位沖突問(wèn)題，此類方式勢(shì)必增加機(jī)柜成本，要結(jié)合規(guī)模需求和單機(jī)柜成本統(tǒng)籌考慮。

（4）主設(shè)備選型

當(dāng)前主設(shè)備集采模式為多廠家品牌采購(gòu)，同樣配置下各廠商性能、外觀以及功耗均存在差異性，且整機(jī)柜中包含設(shè)備種類較多，各類服務(wù)器、交換機(jī)設(shè)備均為集采設(shè)備，建議采用同一廠家的服務(wù)器與機(jī)柜集成為同一廠家，一方面避免后續(xù)的異構(gòu)服務(wù)器設(shè)備上架，一方面保證達(dá)到最佳節(jié)點(diǎn)密度和布局效果。

整機(jī)柜按照標(biāo)準(zhǔn)化POD 方式整體交付，即POD 內(nèi)各典配模型服務(wù)器均以整機(jī)柜方式交付，目前在集采服務(wù)器中各典配模型分標(biāo)段進(jìn)行采購(gòu)，同一廠家同時(shí)中標(biāo)各標(biāo)段的概率較小，且也無(wú)法保障中標(biāo)廠家具備整機(jī)柜集成交付能力。

（5）自動(dòng)化運(yùn)維

云資源池建設(shè)模式下，每期的建設(shè)規(guī)模都在千臺(tái)以上，海量的設(shè)備建設(shè)帶來(lái)海量的設(shè)備運(yùn)維，運(yùn)維人員極可能面臨陷入被設(shè)備告警淹沒(méi)的困境，需要將人工智能算法與生產(chǎn)運(yùn)維數(shù)據(jù)相結(jié)合，逐步向IT 云資源池智能運(yùn)維、運(yùn)營(yíng)延伸，打造基于人工智能的數(shù)據(jù)中心全場(chǎng)景可視化、自動(dòng)化、智能化的運(yùn)維運(yùn)營(yíng)能力。

7 發(fā)展規(guī)劃展望

整機(jī)柜服務(wù)器作為一種技術(shù)框架和交付模式的創(chuàng)新，能夠顯著提高部署密度，適用于規(guī)?；瘓?chǎng)景化的快速部署，后續(xù)將基于試點(diǎn)基礎(chǔ)，對(duì)計(jì)算模型整機(jī)柜進(jìn)行配置收斂，輸出貼合業(yè)務(wù)場(chǎng)景需求整機(jī)柜產(chǎn)品，建立行業(yè)標(biāo)準(zhǔn)，推動(dòng)生態(tài)發(fā)展。

在存儲(chǔ)領(lǐng)域結(jié)合數(shù)據(jù)分級(jí)存儲(chǔ)創(chuàng)新理念，將熱數(shù)據(jù)、溫?cái)?shù)據(jù)、冷數(shù)據(jù)進(jìn)行產(chǎn)品化融合，對(duì)應(yīng)部署高密存儲(chǔ)整機(jī)柜，以整機(jī)柜形式進(jìn)行模塊化交付，提升存儲(chǔ)場(chǎng)景交付效率和數(shù)據(jù)交換效率。

在AI 領(lǐng)域，配合公司中臺(tái)建設(shè)，結(jié)合液冷等相關(guān)綠色節(jié)能技術(shù)，進(jìn)一步進(jìn)行算力提升和部署密度，輸出GPU液冷整機(jī)柜，解決GPU 現(xiàn)網(wǎng)部署痛點(diǎn)外，為集團(tuán)“碳達(dá)峰”戰(zhàn)略進(jìn)行液冷技術(shù)儲(chǔ)備。

8 總結(jié)

本文拋磚引玉，詳細(xì)介紹了整機(jī)柜服務(wù)器的組成及前景應(yīng)用，以某實(shí)際案例進(jìn)行了定性及定量分析。整體而言，運(yùn)營(yíng)商在整機(jī)柜引入方面仍處于試點(diǎn)階段，有著極為廣闊的應(yīng)用前景，后續(xù)將結(jié)合公司戰(zhàn)略及需求，打造普適性通用產(chǎn)品，形成運(yùn)營(yíng)商自主可控的定制化整機(jī)柜方案，推動(dòng)整機(jī)柜生態(tài)成熟，為后續(xù)整機(jī)柜規(guī)?；胁少?gòu)提供經(jīng)驗(yàn)積累。