劉洪宇 郭濤

高密度是數(shù)據(jù)中心發(fā)展的必然趨勢(shì)。Aperture Research Institute調(diào)查顯示,90%以上的大型數(shù)據(jù)中心都在逐步采用高密度的設(shè)備布局。與此相伴而來(lái)的是性能提升、電力供應(yīng)、機(jī)房制冷、能耗控制等諸多挑戰(zhàn)。探索出相應(yīng)環(huán)境下服務(wù)器、存儲(chǔ)、布線,以及供電與制冷等方面的實(shí)戰(zhàn)技巧,將是初建和改建高密度數(shù)據(jù)中心時(shí)可以按圖索驥的有效途徑。

數(shù)據(jù)中心用戶都非常期待用更少的占地面積放置更多的服務(wù)器和存儲(chǔ)設(shè)備,讓自己的數(shù)據(jù)中心具有更強(qiáng)大的數(shù)據(jù)處理能力。本文所說(shuō)的高密度,實(shí)際上是高功率密度的簡(jiǎn)稱,在當(dāng)前階段,中、高功率密度數(shù)據(jù)中心主要指每平方米平均功率數(shù)大于2500W的數(shù)據(jù)中心。

當(dāng)存儲(chǔ)設(shè)備更為緊湊,服務(wù)器開(kāi)始逐步采用刀片式產(chǎn)品,以及設(shè)備之間也實(shí)現(xiàn)了高密度連接時(shí),高功率密度已經(jīng)成為必然趨勢(shì)。如果以主輔的概念來(lái)劃分,服務(wù)器與存儲(chǔ)理所當(dāng)然屬于數(shù)據(jù)中心的主設(shè)備。

當(dāng)前的趨勢(shì)是,主設(shè)備正在率先走向智能化。同時(shí),輔助設(shè)備也將順應(yīng)這一發(fā)展趨勢(shì)。最終,高功率密度數(shù)據(jù)中心將實(shí)現(xiàn)綠色與智能化。

從服務(wù)器與存儲(chǔ)的角度來(lái)看,高密度數(shù)據(jù)中心用戶要考慮在相同能耗的條件下,如何能持續(xù)地提高性能。而在此基礎(chǔ)上,用戶還要考慮如何讓數(shù)據(jù)中心的整體基礎(chǔ)設(shè)施架構(gòu)能滿足未來(lái)發(fā)展規(guī)劃的要求,或者說(shuō),在未來(lái)5～10年內(nèi),數(shù)據(jù)中心的整體架構(gòu)都不應(yīng)該再進(jìn)行大調(diào)整。

從主輔角度理解能耗

中國(guó)存在兩類數(shù)據(jù)中心用戶,一類是有能力、有條件新建數(shù)據(jù)中心的用戶,另一類是在已有的數(shù)據(jù)中心基礎(chǔ)上去提升其計(jì)算能力。英特爾中國(guó)區(qū)服務(wù)器產(chǎn)品經(jīng)理顧凡認(rèn)為,不論是哪一類,當(dāng)用戶考慮高密度的時(shí)候,都要考慮主輔的概念,對(duì)于主設(shè)備的技術(shù)要有清楚的把握。

區(qū)分主輔概念實(shí)際上也有助于數(shù)據(jù)中心用戶辯證地理解能耗控制?！爸髟O(shè)備就是我們所說(shuō)的核心設(shè)備,它更多地要擔(dān)負(fù)應(yīng)用計(jì)算、網(wǎng)絡(luò)計(jì)算,以及存儲(chǔ)數(shù)據(jù)交換等任務(wù)。這些核心設(shè)備都有一個(gè)特點(diǎn),設(shè)備本身需要耗費(fèi)大量電能,同時(shí)它又會(huì)產(chǎn)生很多熱量,用戶需要通過(guò)制冷設(shè)備來(lái)控制數(shù)據(jù)中心的溫度?！鳖櫡舱J(rèn)為,這之間就存在一個(gè)邏輯關(guān)系,如果主設(shè)備廠商有能力通過(guò)技術(shù)創(chuàng)新,把主設(shè)備的能耗降低了,就意味著主設(shè)備對(duì)制冷等輔助設(shè)備的要求也會(huì)降低。反過(guò)來(lái)理解,如果輔助設(shè)備還是保持原來(lái)的制冷能力,數(shù)據(jù)中心的服務(wù)器數(shù)量即便增加了,也不必增加輔助設(shè)備。

數(shù)據(jù)中心本身是個(gè)復(fù)雜的系統(tǒng),要應(yīng)用到多方面的技術(shù)。從主設(shè)備的角度來(lái)看,這些技術(shù)分為幾個(gè)層面,一是芯片層面,二是組件層面,也就是服務(wù)器、存儲(chǔ)與網(wǎng)絡(luò)設(shè)備等,在此之上是數(shù)據(jù)中心層面。顧凡認(rèn)為:“一家設(shè)備廠商很難在這三個(gè)層面上做到完全覆蓋,生態(tài)系統(tǒng)中各個(gè)廠商需要通力合作。英特爾的專長(zhǎng)就是把芯片層次和組件層次做精做好,目的就是讓主設(shè)備省電,這樣輔助設(shè)備的能耗也會(huì)相應(yīng)節(jié)省,從而使整個(gè)數(shù)據(jù)中心在能耗方面節(jié)省更多?！?/p>

實(shí)現(xiàn)存儲(chǔ)系統(tǒng)節(jié)能降耗的方法有很多,這里主要強(qiáng)調(diào)三點(diǎn):存儲(chǔ)硬件的節(jié)能、虛擬化,以及分層存儲(chǔ)。存儲(chǔ)硬件的節(jié)能很容易理解,就是盡量采用一些節(jié)能型的產(chǎn)品,比如SSD盤、磁帶等。采用虛擬化技術(shù)可以更好地實(shí)現(xiàn)存儲(chǔ)系統(tǒng)的整合,提高存儲(chǔ)空間利用率。虛擬化技術(shù)在存儲(chǔ)中的應(yīng)用已經(jīng)比較成熟,并且成為許多存儲(chǔ)系統(tǒng)的必備功能。以自動(dòng)精簡(jiǎn)配置技術(shù)為例,許多中高端磁盤陣列中都已經(jīng)采用此項(xiàng)虛擬化技術(shù)用于靈活調(diào)配存儲(chǔ)資源,提高存儲(chǔ)資源的利用率,減少存儲(chǔ)硬件的購(gòu)買量,從而減少能源消耗和采購(gòu)成本。

一方面新數(shù)據(jù)不斷產(chǎn)生,另一方面舊數(shù)據(jù)又必須長(zhǎng)期保留,這對(duì)數(shù)據(jù)中心用戶的存儲(chǔ)系統(tǒng)提出了嚴(yán)峻的挑戰(zhàn)。動(dòng)輒幾十TB,甚至上百TB的存儲(chǔ)量也越來(lái)越難以管理。面對(duì)海量數(shù)據(jù),數(shù)據(jù)中心用戶首先要做到的是對(duì)數(shù)據(jù)類型心中有數(shù),比如,哪些是結(jié)構(gòu)化數(shù)據(jù),哪些是非結(jié)構(gòu)數(shù)據(jù),哪些非關(guān)鍵數(shù)據(jù)可以在保留一段時(shí)間后刪除,哪些是必須長(zhǎng)期歸檔保存的數(shù)據(jù)等。只有做到心中有數(shù),數(shù)據(jù)中心用戶才能更有效地采取分層存儲(chǔ)的策略,將這些處于生命周期不同階段的數(shù)據(jù)按其價(jià)值不同分別存儲(chǔ)在不同檔次的存儲(chǔ)設(shè)備上,一些關(guān)鍵的、經(jīng)常用到的數(shù)據(jù)保留在在線存儲(chǔ)設(shè)備上,一些不需要經(jīng)常訪問(wèn)的數(shù)據(jù)就可以保存在離線存儲(chǔ)設(shè)備上。分層存儲(chǔ)的目的是合理調(diào)配數(shù)據(jù)資源,優(yōu)化整個(gè)存儲(chǔ)架構(gòu),降低管理復(fù)雜度,使整個(gè)數(shù)據(jù)中心具有良好的可維護(hù)性。

最終都要走向智能

“分清主次之后,我們下一步的工作就是要在芯片和服務(wù)器層面上追求以下幾點(diǎn)?！鳖櫡脖硎?第一點(diǎn)是能耗越低越好,第二是在同樣能耗下提供的性能越高越好,第三是讓設(shè)備能夠智能地適應(yīng)工作環(huán)境。在這三點(diǎn)中,前兩點(diǎn)合起來(lái)就是能效越高越好。

以英特爾的服務(wù)器處理器演進(jìn)為例,服務(wù)器平臺(tái)的系統(tǒng)能耗基本沒(méi)有增加,而且在最新的英特爾微體系架構(gòu)Nehalem平臺(tái)問(wèn)世后還有所降低,但其性能卻節(jié)節(jié)攀升。對(duì)比上一代的服務(wù)器,Nehalem服務(wù)器處理器在工作狀態(tài)下的系統(tǒng)能耗降低了11%,如果是在空載狀態(tài)下,系統(tǒng)能耗則降低多達(dá)47%。而從性能方面來(lái)看,Nehalem服務(wù)器處理器對(duì)比上一代產(chǎn)品有了2.5倍的性能提升,對(duì)比單核則有 9倍的性能提升。從中國(guó)的實(shí)際情況來(lái)看,盡管多核已經(jīng)成為主流,但單核仍然在數(shù)據(jù)中心占據(jù)著相當(dāng)大的比例,多核替代單核,就是提高功率密度的最直接途徑。

從系統(tǒng)層面來(lái)看,另一個(gè)問(wèn)題就是每一個(gè)工作時(shí)間段的負(fù)載是不一樣的,這就涉及到“智能”的概念。就服務(wù)器來(lái)說(shuō),智能技術(shù)的特點(diǎn)是希望服務(wù)器系統(tǒng)能自動(dòng)感知工作負(fù)載,同時(shí)對(duì)自身提供的性能和應(yīng)該消耗的能耗產(chǎn)生自動(dòng)控制,這就是智能。“Nehalem服務(wù)器處理器至強(qiáng)5500就相當(dāng)于給用戶提供了這樣的機(jī)會(huì)。”顧凡表示,Nehalem服務(wù)器處理器的優(yōu)點(diǎn)在于,服務(wù)器的性能更多地與能耗智能控制聯(lián)系在一起,“這是主設(shè)備率先走向智能化的關(guān)鍵一步”。

舉個(gè)通俗的例子,服務(wù)器滿負(fù)荷工作時(shí),用戶希望性能達(dá)到100%,其實(shí)此時(shí)的能耗也達(dá)到了最高,也是100%,但這樣的情況畢竟不多見(jiàn)。IT管理人員當(dāng)然希望工作負(fù)載只有30%的時(shí)候,能耗也是30%。也就是說(shuō),隨著工作負(fù)載在不同時(shí)間段的變化,能耗也要相應(yīng)改變。

“過(guò)去,服務(wù)器負(fù)荷只有20%～30%時(shí),其能耗一般也要達(dá)到滿負(fù)荷時(shí)的70%,而現(xiàn)在,當(dāng)工作負(fù)載達(dá)到50%時(shí),Nehalem雖然做不到能耗也相應(yīng)降為50%,但已經(jīng)接近60%左右了?！?顧凡解釋說(shuō)。

從技術(shù)實(shí)現(xiàn)上看,Nehalem的一個(gè)特色就是在處理器、內(nèi)存、I/O上增加了很多Powergate(功耗門),目的就是讓每個(gè)組件的能耗狀態(tài)分得更細(xì),不同的工作負(fù)載完全可以根據(jù)工作負(fù)載來(lái)決定這個(gè)芯片工作在何種能耗狀態(tài),以決定總線的主頻應(yīng)該運(yùn)行在什么樣的水平上。主頻下降,能耗自然節(jié)省,而且這一過(guò)程是全自動(dòng)的,用戶不需要參與。這是處理器未來(lái)的發(fā)展趨勢(shì)。

存儲(chǔ)本身也要高密度

隨著數(shù)據(jù)量的增加,數(shù)據(jù)中心用戶會(huì)越來(lái)越強(qiáng)烈地感受到存儲(chǔ)的壓力,存儲(chǔ)設(shè)備空間不足是最直接,也是最突出的問(wèn)題。對(duì)于用戶來(lái)說(shuō),不停地購(gòu)買更多磁盤陣列無(wú)疑是最簡(jiǎn)單的一種解決方法。但是,這種方法給用戶帶來(lái)的是更大的成本和管理壓力。另外,由于數(shù)據(jù)中心空間和電力資源有限,即使用戶有充足的資金,也不可能無(wú)限制地購(gòu)買新的磁盤陣列。為此,提升存儲(chǔ)系統(tǒng)自身的存儲(chǔ)能力成為廠商研究的重點(diǎn)。

從存儲(chǔ)介質(zhì)來(lái)看,無(wú)論是磁盤還是磁帶都在向著大容量的方向發(fā)展。許多磁盤陣列已經(jīng)采用了1TB的SATA磁盤。據(jù)悉,存儲(chǔ)容量為2TB的磁盤不久以后也會(huì)問(wèn)世。在磁帶方面,通過(guò)提高磁帶的存儲(chǔ)密度達(dá)到提升容量的目的是再平常不過(guò)的事。

應(yīng)用需求的增加、數(shù)據(jù)中心空間的種種限制都促使用戶將存儲(chǔ)系統(tǒng)的整合提上議事日程。從物理層面整合存儲(chǔ)系統(tǒng)是第一步,最直接的要求就是采用高密度的存儲(chǔ)設(shè)備,盡量減少存儲(chǔ)設(shè)備的數(shù)量,從而減少數(shù)據(jù)中心所占空間,在保證高性能的同時(shí)降低成本。在這種背景下,高密度磁盤陣列應(yīng)運(yùn)而生,包括COPAN、Nexsan等廠商都已經(jīng)推出了此類產(chǎn)品。以Nexsan公司的SATA Beast磁盤陣列為例,它在4U空間內(nèi)集成了42個(gè)磁盤驅(qū)動(dòng)器,如此高的存儲(chǔ)密度在以往是很少見(jiàn)的。高密度磁盤陣列的好處是,單位空間的存儲(chǔ)容量更大,管理也更容易,以前需要多個(gè)磁盤陣列完成的存儲(chǔ)任務(wù),現(xiàn)在可能用一臺(tái)高密度存儲(chǔ)陣列就可以勝任。

高密度數(shù)據(jù)中心里存儲(chǔ)設(shè)備的高密度也是一種趨勢(shì)。用戶除了可以選擇高密度磁盤陣列以外,也有必要關(guān)注一下刀片式存儲(chǔ)設(shè)備的發(fā)展?；萜?、HDS、Nexsan等都推出過(guò)刀片式存儲(chǔ)設(shè)備,比如刀片式磁盤系統(tǒng)、刀片式NAS、刀片式磁帶系統(tǒng)等。惠普“一切皆刀片”的理念已經(jīng)滲透到所有企業(yè)級(jí)產(chǎn)品中,包括刀片式PC、刀片式工作站、刀片式服務(wù)器和刀片式存儲(chǔ)。惠普刀片式存儲(chǔ)設(shè)備是惠普刀片系統(tǒng)平臺(tái)的一個(gè)重要選項(xiàng),主要是與惠普刀片式服務(wù)器一起使用。如果用戶選擇了一個(gè)惠普刀片系統(tǒng),就可以將所需的服務(wù)器刀片和存儲(chǔ)刀片插在一個(gè)機(jī)箱中,從而充分發(fā)揮刀片系統(tǒng)部署靈活、節(jié)省空間、節(jié)約能源等優(yōu)勢(shì)。

虛擬化是必然手段

當(dāng)發(fā)展到建設(shè)高密度數(shù)據(jù)中心和綠色數(shù)據(jù)中心的階段時(shí),理論上講,用戶一定要采用虛擬化解決方案來(lái)提高數(shù)據(jù)中心的功率密度,并降低能耗。

服務(wù)器整合就是當(dāng)前虛擬化技術(shù)在數(shù)據(jù)中心最為典型的應(yīng)用,但資源池化還需要一個(gè)過(guò)程。服務(wù)器、存儲(chǔ)、I/O都要事先虛擬化,這個(gè)資源池不僅能提高效率,還能保證未來(lái)若干年,這個(gè)池化資源可以擴(kuò)展,從而更好地適應(yīng)應(yīng)用變化。

數(shù)據(jù)中心發(fā)展到綠色數(shù)據(jù)中心、高密度數(shù)據(jù)中心階段,“智能”就派上大用場(chǎng)了。池化資源里的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)應(yīng)該全部都能智能調(diào)配資源。虛擬化的意義在于,一旦數(shù)據(jù)中心要實(shí)現(xiàn)智能化,要面對(duì)的挑戰(zhàn)就是應(yīng)用與設(shè)備一對(duì)一綁定的概念,這個(gè)挑戰(zhàn)就必然需要虛擬化手段來(lái)解決。

圖2自動(dòng)低功耗狀態(tài)支持根據(jù)實(shí)時(shí)負(fù)載調(diào)整系統(tǒng)的功耗

· 增加了CPU功耗狀態(tài),并降低了CPU功耗

· 減少了切換期間的延遲

· 可對(duì)內(nèi)存和I/O進(jìn)行電源管理

瞻博網(wǎng)絡(luò)(Juniper)亞太區(qū)企業(yè)解決方案市場(chǎng)經(jīng)理藍(lán)志強(qiáng)認(rèn)為,為了應(yīng)對(duì)高密度數(shù)據(jù)中心帶來(lái)的一系列挑戰(zhàn),高密度數(shù)據(jù)中心的初建用戶必須進(jìn)行正確且細(xì)致的規(guī)劃,為數(shù)據(jù)中心的服務(wù)器提供充足的能源,雇用專業(yè)咨詢顧問(wèn)計(jì)算出服務(wù)器、存儲(chǔ),以及應(yīng)用的詳細(xì)需求,了解數(shù)據(jù)中心的熱度狀況,如果需要的話,還要調(diào)整冷卻系統(tǒng)。同時(shí),網(wǎng)絡(luò)連接也必須進(jìn)行分類,而且采用高性能交換機(jī)。

如果數(shù)據(jù)中心建設(shè)在高層樓宇上,則地面必須保證具有充足的負(fù)載能力。用戶還要合理地進(jìn)行機(jī)架擺放,比如通過(guò)采用“通風(fēng)區(qū)域設(shè)計(jì)”和“非通風(fēng)區(qū)域設(shè)計(jì)”,幫助數(shù)據(jù)中心減少冷卻設(shè)備能耗。只要是有可能,最好采用單獨(dú)的機(jī)架冷卻系統(tǒng)。

許多數(shù)據(jù)中心用戶可能遇到過(guò)這種情況,一個(gè)新建成的數(shù)據(jù)中心在開(kāi)始運(yùn)行后,設(shè)備只占機(jī)房面積的一半。雖然數(shù)據(jù)中心還有富余空間,但是已經(jīng)不能再增添新設(shè)備了,因?yàn)殡娏?yīng)不足。一些用戶在改造舊數(shù)據(jù)中心機(jī)房的過(guò)程中遇到的最頭痛問(wèn)題也是電力改造。不改造電力系統(tǒng),就不能增加更多設(shè)備,而改造電力系統(tǒng)就意味著要投入巨額資金。對(duì)于考慮擴(kuò)建或在現(xiàn)有數(shù)據(jù)中心基礎(chǔ)上改建的用戶來(lái)說(shuō),能源的供給及冷卻系統(tǒng)是非常關(guān)鍵的,它們都必須是充足的。如果可能的話,應(yīng)盡量將高密度的服務(wù)器分散在幾個(gè)機(jī)架上,同時(shí)也要確保地面的負(fù)載能力可以承受這些額外的硬件設(shè)備。

這兩類用戶,都應(yīng)該密切關(guān)注虛擬化技術(shù),比如服務(wù)器虛擬化、網(wǎng)絡(luò)虛擬化、安全虛擬化技術(shù)等,以此來(lái)提高性能,并減少硬件設(shè)備的數(shù)量。

每平米功率數(shù)據(jù)中心密度

400 W/m2以下超低密度數(shù)據(jù)中心

400～900 W/m2 低密度數(shù)據(jù)中心

900～2500 W/m2中、低密度數(shù)據(jù)中心

2500～6000 W/m2 中、高密度數(shù)據(jù)中心

6000～10000 W/m2高密度數(shù)據(jù)中心

10000 W/m2以上超高密度數(shù)據(jù)中心

數(shù)據(jù)中心密度與每平方米功率關(guān)系