張娟

【摘 要】隨著我院GPU集群的引進(jìn)，迫切需要構(gòu)建一個(gè)“優(yōu)異的存儲(chǔ)系統(tǒng)”，兩者共同建設(shè)一個(gè)“高速運(yùn)算、高速通訊、高速存儲(chǔ)”的地震勘探系統(tǒng)，解決長(zhǎng)期困擾我院的勘探難題。本文通過(guò)Lustre技術(shù)研究，構(gòu)建一個(gè)Lustre并行存儲(chǔ)系統(tǒng)，測(cè)試結(jié)果及生產(chǎn)應(yīng)用驗(yàn)證了該系統(tǒng)與GPU集群是一個(gè)完美的匹配，疊前時(shí)間偏移等耗時(shí)的技術(shù)納入常規(guī)化，進(jìn)行規(guī)模化生產(chǎn)，解決了我院油氣勘探復(fù)雜構(gòu)造成像難度大的的勘探難題。

【關(guān)鍵字】 Lustre；OSD；MDT

1 .引言

我院勘探任務(wù)主要在老區(qū)，老區(qū)勘探程度高，勘探面臨的對(duì)象復(fù)雜，且新區(qū)勘探開(kāi)發(fā)難度大，勘探現(xiàn)狀需要采用多項(xiàng)高端地球物理成像技術(shù)，包括Kirchhoff疊前時(shí)間偏移、逆時(shí)偏移（RTM）等，有助于解決油氣勘探復(fù)雜構(gòu)造成像難度大的問(wèn)題，運(yùn)算時(shí)間長(zhǎng)卻是長(zhǎng)期困擾我院的難題，為此，我院引進(jìn)了GPU集群，將疊前時(shí)間偏移等耗時(shí)的技術(shù)納入常規(guī)化，進(jìn)行規(guī)模化生產(chǎn)。

GPU集群具有高速運(yùn)算、高速通訊和高度穩(wěn)定的特征，要求高速存儲(chǔ)與之保持同步，建設(shè)一個(gè)“高速運(yùn)算、高速通訊、高速存儲(chǔ)”地震勘探系統(tǒng)，才能解決我院勘探難題。本文采取開(kāi)源的高性能分布式并行文件系統(tǒng)Lustre和低延遲、高帶寬的InfiniBand網(wǎng)絡(luò)實(shí)現(xiàn)“高速存儲(chǔ)”，Lustre確保存儲(chǔ)系統(tǒng)的內(nèi)部數(shù)據(jù)的高速存取，InfiniBand確保存儲(chǔ)系統(tǒng)和GPU集群的高速數(shù)據(jù)通訊。

2 .技術(shù)研究

Lustre是應(yīng)用廣泛的開(kāi)源性的集群分布式并行文件系統(tǒng)，采用了數(shù)據(jù)和元數(shù)據(jù)分離技術(shù)、智能存儲(chǔ)技術(shù)和高速區(qū)域網(wǎng)技術(shù)，由OSD、MDD和client組成， OSD負(fù)責(zé)實(shí)際對(duì)象數(shù)據(jù)的存儲(chǔ)及智能管理，多個(gè)OSD以并行的方式被直接的訪問(wèn)，增加更多的OSD會(huì)增加存儲(chǔ)的容量，同時(shí)線性增加數(shù)據(jù)吞吐量。MDD管理整個(gè)系統(tǒng)的命名空間、控制client與 OSD 上對(duì)象的交互，client和OSD直接進(jìn)行實(shí)際對(duì)象數(shù)據(jù)的交互。client在需要訪問(wèn)文件系統(tǒng)的文件數(shù)據(jù)時(shí)，先訪問(wèn)MDS，獲取文件相關(guān)的元數(shù)據(jù)信息，然后就直接和相關(guān)的OSD通信，取得文件的實(shí)際數(shù)據(jù)。通過(guò)子網(wǎng)LNET實(shí)現(xiàn)文件系統(tǒng)的內(nèi)部通訊。MDS、OSS和Client通過(guò)InfiniBand高速網(wǎng)相互通訊，連接成一個(gè)“高速存儲(chǔ)”的Lustre并行存儲(chǔ)系統(tǒng)。

2.1 OSD

OSD是一種網(wǎng)絡(luò)存儲(chǔ)磁盤設(shè)備，它有自己的磁盤、處理器、RAM存儲(chǔ)器和網(wǎng)絡(luò)接口。OSD用其自身的存儲(chǔ)器和處理器優(yōu)化磁盤的數(shù)據(jù)分布并從磁盤預(yù)取數(shù)據(jù)。

OSD由OSS和OST構(gòu)成，OSS提供了文件I/O服務(wù)和用來(lái)處理一個(gè)或多個(gè)當(dāng)?shù)豋ST的網(wǎng)絡(luò)請(qǐng)求。每個(gè)OSS節(jié)點(diǎn)可以有多個(gè)OST。OST負(fù)責(zé)實(shí)際數(shù)據(jù)的存儲(chǔ)，處理所有客戶端和物理存儲(chǔ)之間的交互。OST和實(shí)際的物理存儲(chǔ)設(shè)備之間通過(guò)設(shè)備驅(qū)動(dòng)方式來(lái)實(shí)現(xiàn)交互。通過(guò)驅(qū)動(dòng)程式的作用，Lustre能繼承新的物理存儲(chǔ)技術(shù)及文件系統(tǒng)，實(shí)現(xiàn)對(duì)物理存儲(chǔ)設(shè)備的擴(kuò)展。

2.2 MDD

MDD存儲(chǔ)了文件系統(tǒng)的基本信息，負(fù)責(zé)管理整個(gè)系統(tǒng)的命名空間，維護(hù)整個(gè)文件系統(tǒng)的目錄結(jié)構(gòu)、用戶權(quán)限，并負(fù)責(zé)維護(hù)文件系統(tǒng)數(shù)據(jù)的一致性。

MDD由MDS和MDT構(gòu)成。Client通過(guò)MDS讀取保存到MDT上的元數(shù)據(jù)，得到文件信息，從OSS中得到數(shù)據(jù)。通過(guò)MDS的文件和目錄訪問(wèn)管理，Lustre能夠控制Client對(duì)文件系統(tǒng)中文件和目錄的創(chuàng)建、刪除、修改，控制Client與 OSD 上對(duì)象的交互。

2.3 Client

Client通常是典型的集群計(jì)算節(jié)點(diǎn)，它們運(yùn)行Lustre客戶端軟件并通過(guò)以太網(wǎng)或InfiniBand與Lustre 服務(wù)器進(jìn)行通信。客戶端軟件由Lustre服務(wù)器和運(yùn)行在計(jì)算節(jié)點(diǎn)上的應(yīng)用程序之間的接口組成。為了使計(jì)算節(jié)點(diǎn)能夠直接從OSD讀、寫對(duì)象，必須配置一個(gè)文件系統(tǒng)。

2.4 Lustre

Lustre文件系統(tǒng)為其上層的應(yīng)用提供一個(gè)透明的POSIX接口，它允許應(yīng)用去執(zhí)行標(biāo)準(zhǔn)的文件系統(tǒng)操作。文件系統(tǒng)在Client計(jì)算節(jié)點(diǎn)上為輸入的數(shù)據(jù)提供Caching以補(bǔ)充 OSD中的Cache。文件系統(tǒng)在每個(gè)對(duì)象的基礎(chǔ)上處理跨越多個(gè)OSD的對(duì)象的條帶。由于對(duì)象以并行的方式讀寫，條帶的寬度將直接與對(duì)象的帶寬相關(guān)。

2.5 Network

Lustre并行存儲(chǔ)系統(tǒng)是由LNET守護(hù)進(jìn)程來(lái)控制網(wǎng)絡(luò)環(huán)境，Client通過(guò)LNET協(xié)議和MDS/OSS通信。通過(guò)Infiniband和客戶端計(jì)算節(jié)點(diǎn)、OSD、MDD進(jìn)行物理互聯(lián)，Infiniband體系架構(gòu)（ IBA）的本質(zhì)是把網(wǎng)絡(luò)技術(shù)引入I/O體系之中，形成一個(gè)“I/O交換網(wǎng)”。IBA物理構(gòu)建減少了傳輸過(guò)程中對(duì)CPU的使用，硬件承擔(dān)許多I/O通信操作，減輕了CPU的負(fù)擔(dān)。因此，多個(gè)進(jìn)程同時(shí)通信時(shí)，沒(méi)有相關(guān)的管理開(kāi)銷，這是與現(xiàn)有通訊協(xié)議的一個(gè)主要不同之處。為了更好地支持現(xiàn)有網(wǎng)絡(luò)，Infiniband使用IPOIB提供了對(duì)IP網(wǎng)絡(luò)的支持。

3.構(gòu)建Lustre存儲(chǔ)系統(tǒng)

在GPU集群的1個(gè)管理節(jié)點(diǎn)和9個(gè)計(jì)算節(jié)點(diǎn)上安裝Lustre客戶端，作為L(zhǎng)ustre并行存儲(chǔ)系統(tǒng)的客戶端，使用5臺(tái)OSD、1臺(tái)MDD和Infiniband交換機(jī)共同構(gòu)成140TB（裸盤）的Lustre并行存儲(chǔ)系統(tǒng)，可用存儲(chǔ)110TB。

3.1配置安裝

存儲(chǔ)系統(tǒng)的OSD、MDD、Client都安裝Lustre支持的Centos5.6 X86_64操作系統(tǒng)，存儲(chǔ)節(jié)點(diǎn)gfs01（MDD）包含兩個(gè)磁盤，sda為操作系統(tǒng)盤，sdb上100G分區(qū)作為mdt元數(shù)據(jù)存儲(chǔ)盤。gfs02-gfs06（OSD）等5個(gè)存儲(chǔ)節(jié)點(diǎn)都有兩個(gè)磁盤，sda為操作系統(tǒng)盤，sdb分出三個(gè)8T分區(qū)為OST數(shù)據(jù)存儲(chǔ)盤。在gpu00-gpu09等GPU集群節(jié)點(diǎn)上實(shí)現(xiàn)存儲(chǔ)系統(tǒng)的Client，安裝Lustre文件系統(tǒng)客戶端程序，并掛載Lustre文件系統(tǒng)。OSD、MDD、Client都需要經(jīng)過(guò)內(nèi)核編譯、驅(qū)動(dòng)安裝與軟件安裝配置等實(shí)現(xiàn)并行存儲(chǔ)系統(tǒng)。

主要配置安裝內(nèi)容如下：

（1）內(nèi)核編譯：將lustre文件系統(tǒng)主程序及Infiniband驅(qū)動(dòng)編譯進(jìn)內(nèi)核，以保證文件系統(tǒng)在高負(fù)荷運(yùn)行情況下穩(wěn)定使用。

（2）驅(qū)動(dòng)安裝：陣列卡驅(qū)動(dòng)在內(nèi)核編譯時(shí)已被自動(dòng)加載進(jìn)去。以下是Infiniband網(wǎng)口驅(qū)動(dòng)配置內(nèi)容。

（3）軟件安裝：lustre軟件包和內(nèi)核版本有非常嚴(yán)格的對(duì)應(yīng)關(guān)系，根據(jù)實(shí)際內(nèi)核版本選擇軟件包。內(nèi)核編譯包括lustre主程序和lustre內(nèi)置文件系統(tǒng)軟件ldiskfs。

（4）格式化用軟件工具e2fsprogs。

（5）系統(tǒng)配置：Lustre文件存儲(chǔ)系統(tǒng)是由LNET守護(hù)進(jìn)程來(lái)控制網(wǎng)絡(luò)環(huán)境，LNET是Lustre的網(wǎng)絡(luò)子系統(tǒng)。通過(guò)修改/etc/modprobe.conf文件配置LNET參數(shù)。

（6）MDT、OST和Client的創(chuàng)建。

3.2性能測(cè)試

1個(gè)客戶端讀寫數(shù)據(jù)時(shí)，文件系統(tǒng)讀寫速度可達(dá)到999MB/s。

2個(gè)客戶端同時(shí)讀寫同一個(gè)數(shù)據(jù)時(shí)，總速度可達(dá)1924MB/s，每個(gè)客戶端讀寫速率在511MB/s與987MB/s之間，隨著客戶端數(shù)目增加，幾乎感受不到彼此的操作，反映了lustre并行存儲(chǔ)系統(tǒng)優(yōu)異的并行性能。

對(duì)我院某地區(qū)達(dá)330平方公里三維逆時(shí)偏移處理測(cè)試，分選12TB輸出數(shù)據(jù)，抽取道集，只用了不到5小時(shí)完成，證明數(shù)據(jù)存儲(chǔ)的方式是合理的，合并數(shù)據(jù)的效率可以達(dá)到應(yīng)用要求。

3.3 生產(chǎn)應(yīng)用

我院某地區(qū)逆時(shí)偏移項(xiàng)目：處理炮數(shù)49680、面積220km2、深度 12000米；處理前的原始數(shù)據(jù)2.4TB，過(guò)程數(shù)據(jù)48TB；該并行存儲(chǔ)系統(tǒng)中所有Client參與處理，所有存儲(chǔ)設(shè)備參與存取，逆時(shí)偏移耗時(shí)7天。

4.結(jié)論

lustre并行存儲(chǔ)系統(tǒng)的研究構(gòu)建、性能測(cè)試及生產(chǎn)應(yīng)用表明，該系統(tǒng)與GPU集群是一個(gè)完美的匹配，為我院建設(shè)了一個(gè)“高速運(yùn)算、高速通訊、高速存儲(chǔ)”地震勘探系統(tǒng)，疊前時(shí)間偏移等耗時(shí)的技術(shù)納入常規(guī)化，進(jìn)行規(guī)?；a(chǎn)，解決了長(zhǎng)期困擾我院的勘探難題。

參考文獻(xiàn)：

[1]聶剛，卿秀華.基于對(duì)象存儲(chǔ)的Lustre文件系統(tǒng)的研究[J].信息技術(shù).2007（09）.

[2]賈志國(guó)，趙青蘋，董小社，吳維剛.InfiniBand：一種新型的高速互連網(wǎng)絡(luò)[J].計(jì)算機(jī)工程與應(yīng)用.2003（09）.

[3]張曉波.基于高性能集群計(jì)算的并行文件系統(tǒng)關(guān)鍵技術(shù)研究[D].西安電子科技大學(xué) 2011.

[4]董勇，周恩強(qiáng)，陳娟.基于Infiniband技術(shù)構(gòu)建高性能分布式文件系統(tǒng)-Lustre.計(jì)算機(jī)工程與應(yīng)用2005.

[5]錢迎進(jìn).大規(guī)模Lustre集群文件系統(tǒng)關(guān)鍵技術(shù)的研究.國(guó)防科學(xué)技術(shù)大學(xué)2011.