張一凡, 滑 祥

(萬(wàn)國(guó)數(shù)據(jù)服務(wù)有限公司, 上海 200131)

0 引 言

數(shù)據(jù)中心供配電系統(tǒng)是為機(jī)房?jī)?nèi)所有需要電源的設(shè)備提供穩(wěn)定、可靠的動(dòng)力電源支持的系統(tǒng)。一旦供配電系統(tǒng)出現(xiàn)故障,輕則降低IT或輔助設(shè)備的冗余度,重則會(huì)導(dǎo)致IT設(shè)備斷電宕機(jī),造成經(jīng)濟(jì)損失和社會(huì)影響。本文結(jié)合項(xiàng)目中的實(shí)際設(shè)備故障案例和運(yùn)行數(shù)據(jù),對(duì)A級(jí)數(shù)據(jù)中心的供配電系統(tǒng)設(shè)計(jì)、施工方面進(jìn)行分析,供相關(guān)技術(shù)人員參考。

1 數(shù)據(jù)中心的規(guī)范要求

1.1 ANSI標(biāo)準(zhǔn)TIA-942

美國(guó)國(guó)家標(biāo)準(zhǔn)學(xué)會(huì)(ANSI)于2005批準(zhǔn)頒布的TIA-942(ANSI/TIA/EIA-942 Telecommunications Infrastructure Standard for Data Centers《數(shù)據(jù)中心通信基礎(chǔ)設(shè)施標(biāo)準(zhǔn)》),該標(biāo)準(zhǔn)針對(duì)數(shù)據(jù)中心基礎(chǔ)設(shè)施的可用性定義了4種不同等級(jí),作為數(shù)據(jù)中心基礎(chǔ)設(shè)施分級(jí)認(rèn)證的標(biāo)準(zhǔn)。4種不同等級(jí)認(rèn)證分別被命名為T(mén)ier 1、Tier 2、Tier 3、Tier 4等級(jí),分別對(duì)應(yīng)數(shù)據(jù)中心的可用性指標(biāo)及年平均故障時(shí)間。其中Tier 4級(jí)可用性99.995%、年平均故障時(shí)間0.4 h。

1.2 國(guó)標(biāo)GB 50174

依據(jù)GB 50174—2017《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》規(guī)定,數(shù)據(jù)中心設(shè)計(jì)時(shí)應(yīng)根據(jù)機(jī)房的使用性質(zhì),管理要求及其在經(jīng)濟(jì)社會(huì)中的重要性確認(rèn)機(jī)房級(jí)別,劃分為A、B、C 3種級(jí)別。A級(jí)數(shù)據(jù)中心的基礎(chǔ)設(shè)施宜按照容錯(cuò)系統(tǒng)配置,基礎(chǔ)設(shè)施應(yīng)在一次意外事故后或單系統(tǒng)設(shè)備維護(hù)、檢修時(shí)仍能保證電子信息系統(tǒng)正常運(yùn)行[1]。A級(jí)數(shù)據(jù)中心應(yīng)由雙重電源供電,并應(yīng)設(shè)置備用電源。

2 數(shù)據(jù)中心的現(xiàn)狀

大型園區(qū)型數(shù)據(jù)中心通常配置獨(dú)立的220 kV或110 kV變電站,由變電站饋送10 kV電源至數(shù)據(jù)樓;中型數(shù)據(jù)中心往往采用2回110 kV或35 kV的線(xiàn)變組接入后,通過(guò)10 kV母線(xiàn)饋送各配電變;小型數(shù)據(jù)中心基本上用2回10 kV市電電源通過(guò)電纜送往數(shù)據(jù)中心高壓10 kV配電系統(tǒng)。

獨(dú)立的數(shù)據(jù)樓通常是2路10 kV電纜電源進(jìn)線(xiàn),10 kV電氣主接線(xiàn)為單母線(xiàn)分段,并配置能承擔(dān)數(shù)據(jù)機(jī)房滿(mǎn)載正常運(yùn)行的柴油發(fā)電機(jī)組作為備用電源。配電變壓器常采用2N系統(tǒng)設(shè)置,后端不間斷電源系統(tǒng)通常采用2N的UPS并機(jī)系統(tǒng)供電,也有部分采用2N的高壓直流配電或1路高壓直流配電、1路市電直供方式。標(biāo)準(zhǔn)2N系統(tǒng)A級(jí)數(shù)據(jù)中心供配電系統(tǒng)示意圖如圖1所示。

圖1 標(biāo)準(zhǔn)2N系統(tǒng)A級(jí)數(shù)據(jù)中心供配電系統(tǒng)示意圖

2.1 0.4 kV聯(lián)絡(luò)母線(xiàn)

2N系統(tǒng)設(shè)計(jì)的低壓配電系統(tǒng),考慮10 kV饋線(xiàn)電纜、配電變壓器在運(yùn)行中的故障場(chǎng)景,通常設(shè)計(jì)有0.4 kV聯(lián)絡(luò)母線(xiàn)[1]。低壓密集絕緣母線(xiàn)由于其造價(jià)、體積等優(yōu)點(diǎn),數(shù)據(jù)中心項(xiàng)目上基本上采用此類(lèi)母線(xiàn)。

按照建設(shè)方對(duì)降低數(shù)據(jù)中心建設(shè)成本的要求,部分項(xiàng)目在0.4 kV優(yōu)化聯(lián)絡(luò)母線(xiàn)。某項(xiàng)目低壓配電一次圖如圖2所示。圖中,原本低壓聯(lián)絡(luò)開(kāi)關(guān)、隔離開(kāi)關(guān)的標(biāo)準(zhǔn)配置省去了額定電流3 200 A或4 000 A的隔離開(kāi)關(guān)。

圖2 某項(xiàng)目低壓配電一次圖

在實(shí)際運(yùn)維現(xiàn)場(chǎng)中,0.4 kV聯(lián)絡(luò)母線(xiàn)空載帶電時(shí)發(fā)生過(guò)數(shù)起短路故障,造成配電變低壓總進(jìn)線(xiàn)開(kāi)關(guān)保護(hù)分閘,單邊母線(xiàn)停電。人工應(yīng)急檢查,對(duì)聯(lián)絡(luò)母線(xiàn)段隔離后,恢復(fù)2N低壓配電。與母線(xiàn)廠商一起對(duì)事故原因進(jìn)行分析,結(jié)論為:母線(xiàn)連接處安裝不到位,一側(cè)連接側(cè)板壓在連接器異型材,接觸不緊密,存在間隙;另一側(cè)未插接到位,母線(xiàn)銅排相間裸露,電氣間隙不滿(mǎn)足設(shè)計(jì)要求。某品牌低壓密集絕緣母線(xiàn)接頭連接器安裝異常如圖3所示。在灰塵、濕度變化時(shí)易引起擊穿空氣造成短路,瞬間高溫造成銅排熔化。

圖3 某品牌低壓密集絕緣母線(xiàn)接頭連接器安裝異常

2.2 UPS并機(jī)系統(tǒng)外部維修旁路母線(xiàn)

項(xiàng)目中UPS通常采用2～4臺(tái)并機(jī)系統(tǒng),通過(guò)UPS的并列運(yùn)行,提高UPS供電系統(tǒng)的可靠性、增加UPS系統(tǒng)的冗余度。UPS并機(jī)系統(tǒng)均配置外部維修旁路,用于UPS的整組維修、維護(hù)等場(chǎng)景。根據(jù)并機(jī)系統(tǒng)容量的大小,外部維修旁路常采用額定電流3 200 A、2 500 A、2 000 A的低壓密集絕緣母線(xiàn)。

為降低數(shù)據(jù)中心的建設(shè)成本,新設(shè)計(jì)的項(xiàng)目在外部維修旁路電源側(cè)設(shè)置框架式斷路器,后端通過(guò)母線(xiàn)直接轉(zhuǎn)接至UPS輸出并機(jī)柜的母線(xiàn),省去了1個(gè)框架式隔離開(kāi)關(guān)及其盤(pán)柜。早期項(xiàng)目配電情況如圖1所示,外部維修旁路的電源側(cè)配置斷路器、負(fù)載側(cè)配置斷路器或隔離開(kāi)關(guān),其優(yōu)勢(shì)在于密集絕緣母線(xiàn)故障時(shí)隔離、日常維護(hù)隔離用。

2.3 園區(qū)型中心用戶(hù)變電站的電氣主接線(xiàn)

隨著“東數(shù)西算”項(xiàng)目的推進(jìn),在大型、超大型、園區(qū)型數(shù)據(jù)中心項(xiàng)目中,獨(dú)立變電站往往配置不小于4臺(tái)電力變壓器,此時(shí)其電氣主接線(xiàn)在設(shè)計(jì)報(bào)審階段前就需要和外電部門(mén)溝通。目前部分110/10 kV的變電站,110 kV采用單母線(xiàn)分段,設(shè)置聯(lián)絡(luò)開(kāi)關(guān);部分變電站,采用兩套一進(jìn)多出的單母線(xiàn),無(wú)聯(lián)絡(luò)開(kāi)關(guān)。

以江蘇某園區(qū)型數(shù)據(jù)中心為例,某園區(qū)型數(shù)據(jù)中心配套變電站一次圖如圖4所示。因電網(wǎng)側(cè)的原因,近年上級(jí)電網(wǎng)多次要求用戶(hù)站配合倒閘,設(shè)置聯(lián)絡(luò)開(kāi)關(guān),在電網(wǎng)調(diào)度指令下,利用110 kV聯(lián)絡(luò)開(kāi)關(guān)短時(shí)合環(huán)運(yùn)行,實(shí)施不停電倒負(fù)荷,避免下掛5棟數(shù)據(jù)樓的10條線(xiàn)路停電操作,實(shí)現(xiàn)后端負(fù)載無(wú)感知。

圖4 某園區(qū)型數(shù)據(jù)中心配套變電站一次圖

2.4 用戶(hù)變電站的無(wú)功補(bǔ)償配置

數(shù)據(jù)中心設(shè)置的變電站電壓等級(jí)分為35 kV、110 kV及220 kV,國(guó)網(wǎng)單位往往憑借原來(lái)應(yīng)用于工業(yè)企業(yè)或者電網(wǎng)變電站的設(shè)計(jì)經(jīng)驗(yàn),在10 kV母線(xiàn)段上掛大量電容器,作為感性無(wú)功功率的補(bǔ)償。

數(shù)據(jù)中心行業(yè)設(shè)備以不間斷電源UPS設(shè)備為主,其設(shè)備技術(shù)參數(shù)要求功率因素不低于0.95,電源端內(nèi)部配置PFC等類(lèi)似設(shè)備。因此在后端服務(wù)器負(fù)載投入時(shí),用戶(hù)站進(jìn)線(xiàn)側(cè)功率因素為0.95以上,且偏容性。用戶(hù)站配置的高壓電容器除變電站起動(dòng)時(shí),整個(gè)數(shù)據(jù)中心生命周期,電容器補(bǔ)償裝置均閑置,造成設(shè)備投資浪費(fèi)。

電網(wǎng)電費(fèi)計(jì)量點(diǎn)根據(jù)所在區(qū)域、項(xiàng)目也不一樣。上海區(qū)域電費(fèi)計(jì)量點(diǎn)均在用戶(hù)側(cè)進(jìn)線(xiàn)計(jì)量;河北等地電費(fèi)計(jì)量點(diǎn)在電網(wǎng)變電站出線(xiàn)側(cè);江蘇區(qū)域依據(jù)不同項(xiàng)目,有的計(jì)量點(diǎn)在用戶(hù)側(cè),有的在電網(wǎng)側(cè),根據(jù)供用電合同的約定。當(dāng)計(jì)量點(diǎn)在電網(wǎng)側(cè)時(shí),通過(guò)較長(zhǎng)的電纜輸送至用戶(hù)站,因電纜的電容效應(yīng),會(huì)消耗大量的容性無(wú)功功率。數(shù)據(jù)中心后端負(fù)載一般都是隨客戶(hù)服務(wù)器上架而緩慢升高,在投用的1～3年內(nèi),有功功率不高時(shí),易造成計(jì)量點(diǎn)處功率因素偏低,每個(gè)月都會(huì)因電網(wǎng)考核指標(biāo)而罰款,造成用戶(hù)不必要的經(jīng)濟(jì)損失。用戶(hù)站因前期按照工業(yè)企業(yè)變電站配置,未配置高壓電抗器類(lèi)負(fù)載而面臨無(wú)法進(jìn)行容性無(wú)功功率過(guò)剩的補(bǔ)償尷尬。

3 設(shè)計(jì)與施工

3.1 低壓密集絕緣母線(xiàn)應(yīng)用時(shí)的設(shè)計(jì)

設(shè)計(jì)配置時(shí)需要注意:① 0.4 kV配電系統(tǒng),采用單母線(xiàn)分段接線(xiàn)形式,新建工程必須設(shè)置低壓聯(lián)絡(luò)開(kāi)關(guān)、隔離開(kāi)關(guān)柜,用于低壓聯(lián)絡(luò)用密集絕緣母線(xiàn)的故障隔離、日常檢修場(chǎng)景。② IT用UPS外部維修旁路采用低壓密集絕緣母線(xiàn)時(shí),維修旁路的電源側(cè)、負(fù)載側(cè)宜分別裝斷路器、隔離開(kāi)關(guān),用于應(yīng)對(duì)密集絕緣母線(xiàn)的故障隔離、日常檢修場(chǎng)景。

由于低壓密集絕緣母線(xiàn)的安裝工藝要求較空氣絕緣母線(xiàn)高,如果沒(méi)有設(shè)置隔離開(kāi)關(guān),一旦發(fā)生故障會(huì)造成低壓母線(xiàn)一段時(shí)間單邊不可用,單邊UPS的蓄電池放電耗盡,后端負(fù)載單邊供電中斷,IT設(shè)備冗余降低。并機(jī)UPS系統(tǒng)的輸出柜亦需要考慮上述接頭故障場(chǎng)景,如果沒(méi)有設(shè)置隔離開(kāi)關(guān),一旦發(fā)生故障,會(huì)造成UPS輸出中斷,多個(gè)列頭柜單邊供電中斷。隔離故障部位的時(shí)間視搶修人員能力而定,易造成下端模塊機(jī)房IT設(shè)備長(zhǎng)時(shí)間單邊供電。數(shù)據(jù)機(jī)房目前都是靠2N服務(wù)器電源PSU來(lái)保證高可靠性,隔離故障所需時(shí)間內(nèi),多個(gè)列頭柜的單路供電存在較大風(fēng)險(xiǎn)。

3.2 用戶(hù)變電站的設(shè)計(jì)

設(shè)計(jì)優(yōu)化點(diǎn)一:大型園區(qū)型數(shù)據(jù)中心項(xiàng)目中,其往往配置不小于4臺(tái)電力變壓器,其高壓電氣主接線(xiàn)宜按照設(shè)計(jì)聯(lián)絡(luò)開(kāi)關(guān)報(bào)批。

項(xiàng)目中,GIS設(shè)備在上述設(shè)計(jì)時(shí),除了增加1個(gè)間隔的成本外,必然會(huì)布置在同一個(gè)防火分區(qū)內(nèi),有人會(huì)提出疑問(wèn):按照GB 50174—2017的要求A級(jí)數(shù)據(jù)中心,容錯(cuò)配置的變配電設(shè)備應(yīng)分別布置在不同的物理隔間內(nèi)[1]。數(shù)據(jù)樓內(nèi)配電設(shè)施按照此要求執(zhí)行,而獨(dú)立變電站可以參考電網(wǎng)的變電站設(shè)計(jì)。

設(shè)計(jì)優(yōu)化點(diǎn)二:設(shè)計(jì)高電壓等級(jí)變電站的項(xiàng)目,當(dāng)計(jì)量點(diǎn)在電網(wǎng)側(cè),通過(guò)較長(zhǎng)的電纜、架空/電纜混合線(xiàn)路輸送至用戶(hù)站,需要設(shè)計(jì)單位考慮電纜的電容效應(yīng)的影響,結(jié)合數(shù)據(jù)中心生產(chǎn)負(fù)載增長(zhǎng)速度,適當(dāng)設(shè)置電抗器類(lèi)補(bǔ)償設(shè)備,減少電容設(shè)備的配置。

3.3 低壓密集絕緣母線(xiàn)的施工

低壓聯(lián)絡(luò)母線(xiàn)施工中需要注意:① 低壓密集絕緣母線(xiàn)(大母線(xiàn)、機(jī)房配電母線(xiàn))的安裝需要確保施工遵循廠家的《作業(yè)施工、安裝維護(hù)手冊(cè)》技術(shù)點(diǎn)實(shí)施。重點(diǎn)關(guān)注段間連接器的安裝質(zhì)量。在專(zhuān)人檢查連接器內(nèi)部母排和銅片的搭接狀態(tài)無(wú)誤后,統(tǒng)一進(jìn)行連接器外防護(hù)蓋板的安裝。母線(xiàn)接頭連接器結(jié)構(gòu)示意圖如圖5所示。具體執(zhí)行參考《低壓母線(xiàn)槽應(yīng)用技術(shù)規(guī)程》的安裝、驗(yàn)收章節(jié)[2]。② 運(yùn)維前帶載測(cè)試期間,紅外成像檢查母線(xiàn)槽的連接器等是否滿(mǎn)足廠家標(biāo)稱(chēng)溫升要求。

圖5 母線(xiàn)接頭連接器結(jié)構(gòu)示意圖

低壓密集絕緣母線(xiàn)的設(shè)計(jì)說(shuō)明、施工交底中需明確:① 聯(lián)絡(luò)母線(xiàn)額定電流不小于3 200 A,單節(jié)母線(xiàn)長(zhǎng)度不小于2 m的,每一單元母線(xiàn)支架應(yīng)不少于2個(gè);② 水平母線(xiàn)槽的安裝方面:立式、臥式均需要使用壓板將母線(xiàn)槽外殼固定在支架上;③ 支架的高低應(yīng)一致,支架設(shè)置的位置應(yīng)避開(kāi)母線(xiàn)槽接頭,位于連接器兩端[2]。

在實(shí)際故障、施工中,單節(jié)密集絕緣母線(xiàn)較長(zhǎng)時(shí),其重量較大,施工人員對(duì)母線(xiàn)進(jìn)行安裝時(shí)如果吊架過(guò)少,其安裝難度較大,難以確保施工質(zhì)量(接頭);吊桿、支架等輔材其價(jià)格便宜,不會(huì)影響工程成本。用母線(xiàn)槽壓板防止安裝中母線(xiàn)左右晃動(dòng),造成安裝好的連接器又出現(xiàn)移位。

3.4 10 kV電纜頭的施工

電力電纜終端的施工注意事項(xiàng):① 施工人員具備施工資質(zhì),按照附件廠商施工說(shuō)明書(shū)施工;② 電纜的外屏蔽層與電纜終端內(nèi)的屏蔽層搭接良好;③ 電纜終端的應(yīng)力錐部位不允許承受彎曲應(yīng)力,盡量保持直線(xiàn)[3]。

電纜終端往往是高壓電纜相對(duì)薄弱的地方,其制作質(zhì)量決定了電纜的運(yùn)行可靠性。事故案例一:10 kV電纜使用冷縮終端時(shí),可以采用冷縮直管、冷縮終端、三支套結(jié)構(gòu),也可以采用冷縮終端、冷縮直管、三支套結(jié)構(gòu)。采用第一種結(jié)構(gòu)相對(duì)來(lái)說(shuō)安裝后,局部放電風(fēng)險(xiǎn)較大。某數(shù)據(jù)中心項(xiàng)目中干式配電變的高壓側(cè)電纜采用上進(jìn)線(xiàn),10 kV電纜采用第一種方式制作終端,由于冷縮終端處于分叉處,長(zhǎng)期導(dǎo)致喇叭口處電場(chǎng)應(yīng)力集中,最終導(dǎo)致電纜的主絕緣單相對(duì)地絕緣擊穿事故發(fā)生。事故案例二:某施工單位為降低成本,臨時(shí)聘請(qǐng)1人實(shí)施10 kV電纜頭的施工作業(yè),施工單位未能識(shí)別出該人員不具備電纜頭制作能力。造成多個(gè)新建項(xiàng)目電纜頭制作不合格,耐壓試驗(yàn)時(shí)發(fā)現(xiàn)異常,解剖發(fā)現(xiàn)擠包絕緣電纜的半導(dǎo)電層沒(méi)有按照要求與應(yīng)力錐的半導(dǎo)電層均勻不間斷地過(guò)渡,中間有一段僅用冷縮直管包裹剝?nèi)グ雽?dǎo)電層的電纜主絕緣。

4 結(jié) 語(yǔ)

一座高可靠性、經(jīng)濟(jì)運(yùn)行的數(shù)據(jù)中心與開(kāi)始的設(shè)計(jì)到設(shè)備制造、施工安裝、后期運(yùn)行維護(hù)等都密切相關(guān),任何一個(gè)環(huán)節(jié)的不足都會(huì)給后期設(shè)備運(yùn)維帶來(lái)潛在風(fēng)險(xiǎn)或增加運(yùn)維成本。