陳泰燃，王　威，王　鋒,2，鄧　輝，劉應(yīng)波，梅　盈

(1. 昆明理工大學(xué)云南省計算機技術(shù)應(yīng)用重點實驗室，云南 昆明　650500；2. 中國科學(xué)院云南天文臺，

云南 昆明　650012；3. 中國科學(xué)院國家天文臺，北京　100012)

?

基于MPI的高性能UVFITS數(shù)據(jù)合成研究與應(yīng)用*

陳泰燃1，王威3，王鋒1,2，鄧輝1，劉應(yīng)波1，梅盈1

(1. 昆明理工大學(xué)云南省計算機技術(shù)應(yīng)用重點實驗室，云南 昆明650500；2. 中國科學(xué)院云南天文臺，

云南 昆明650012；3. 中國科學(xué)院國家天文臺，北京100012)

摘要：中國明安圖超寬頻譜射電日像儀(Mingantu Ultrawide Spectral Radioheliograph, MUSER)進(jìn)入實際觀測后，每3 ms產(chǎn)生一幀100 kB左右的數(shù)據(jù)，每天的原始觀測數(shù)據(jù)約3.5 TB。由于射電日像儀的原始數(shù)據(jù)采用自定義格式，為了后續(xù)數(shù)據(jù)分析和共享的需要，有必要根據(jù)數(shù)據(jù)存儲需求把這些原始數(shù)據(jù)轉(zhuǎn)換成天文常用的文件格式。在前期工作中已經(jīng)實現(xiàn)了原始數(shù)據(jù)格式到UVFITS文件的轉(zhuǎn)換，在此基礎(chǔ)上研究了基于MPI的集群并行環(huán)境下UVFITS合成系統(tǒng)的性能優(yōu)化。通過實驗驗證，在改進(jìn)后的并行環(huán)境下，UVFITS合成系統(tǒng)的性能達(dá)到了需求的2.5倍，可以有效處理當(dāng)前及未來一定時間內(nèi)射電日像儀的海量觀測數(shù)據(jù)。同時，改進(jìn)后的系統(tǒng)具有良好的橫向擴展能力，能夠為相關(guān)項目的數(shù)據(jù)處理提供借鑒和參考。

關(guān)鍵詞：UVFITS；海量數(shù)據(jù)；MPI；并行計算；高性能計算

中國明安圖超寬頻譜射電日像儀(Mingantu Ultrawide Spectral Radioheliograph, MUSER)是同時以高時間、空間和頻率分辨率對太陽進(jìn)行射電頻譜成像的設(shè)備[1]。隨著進(jìn)入系統(tǒng)聯(lián)調(diào)和試觀測階段，當(dāng)前迫切需要實現(xiàn)試觀測結(jié)果的存儲、處理，以推進(jìn)設(shè)備誤差修正、設(shè)備定標(biāo)等一系列工作。這其中，需要應(yīng)用當(dāng)前射電天文領(lǐng)域的相關(guān)軟件，如天文應(yīng)用軟件公共包(Common Astronomy Software Applications, CASA)[2]等對試觀測數(shù)據(jù)進(jìn)行處理與分析，從而獲得同行公認(rèn)的結(jié)果。如何將觀測得到的結(jié)果快速保存為天文應(yīng)用軟件公共包可以接受的數(shù)據(jù)格式成為當(dāng)前一個急需解決的問題。

在射電天文領(lǐng)域，數(shù)據(jù)存儲廣泛采用隨機組(Random groups)結(jié)構(gòu)的FITS 文件[3]，因此主要保存UV復(fù)可見條紋數(shù)據(jù)也經(jīng)常被稱為UVFITS 文件。

目前，MUSER-I以3幀/秒的速率產(chǎn)生數(shù)據(jù)，每產(chǎn)生8幀數(shù)據(jù)后利用1ms的時間用于數(shù)據(jù)傳送。故每25 ms產(chǎn)生8幀的數(shù)據(jù)，如此循環(huán)，直到1min生成一個大的數(shù)據(jù)文件。該文件包含觀測的詳細(xì)數(shù)據(jù)信息，大小將近2 GB，其中包含19 200(8 × 40 × 60)幀。由于其中間隔8幀產(chǎn)生的數(shù)據(jù)出自同一天線，故可根據(jù)需求，對8幀的數(shù)據(jù)進(jìn)行積分操作以提高數(shù)據(jù)的精確度，同時可以節(jié)約存儲空間。速度上，需要達(dá)到每3 ms處理一幀數(shù)據(jù)生成UVFITS[4]文件，才能滿足實時生成觀測圖像的要求。

目前國外類似的項目有日本野邊山宇宙觀測所(The Nobeyama Radio Observatory, NRO)[5]，法國南錫射電望遠(yuǎn)鏡(The Nan?ay Decimetric Radio Telescope, NRT)等，MUSER-I的數(shù)據(jù)規(guī)模遠(yuǎn)高于國外現(xiàn)有項目。MUSER-I共有40面天線，時間分辨率為3 ms，信道為16個。在日本野邊山宇宙觀測所，天線數(shù)量為84面，但時間分辨率低。相比之下MUSER-I的數(shù)據(jù)量大約是日本野邊山宇宙觀測所的20倍，是南錫射電望遠(yuǎn)鏡的37倍。同時在圖像處理方面也有不同的需求，這導(dǎo)致國外的日像儀處理軟件無法直接引入。所以，為了更好地支撐射電日像儀的后續(xù)處理工作，設(shè)計并實現(xiàn)一套能夠為射電日像儀服務(wù)的高性能UVFITS合成系統(tǒng)是當(dāng)前比較迫切的工作。

本文研究了UVFITS的合成機制，對串行UVFITS合成系統(tǒng)中能夠并行化的環(huán)節(jié)進(jìn)行并行化處理，在當(dāng)前廣泛使用的成熟的消息傳遞接口(Message Passing Interface, MPI)基礎(chǔ)上，結(jié)合具體應(yīng)用設(shè)計并實現(xiàn)了一套基于消息傳遞接口的并行數(shù)據(jù)合成系統(tǒng)，用于滿足射電日像儀的需求。

1UVFITS合成流程

日像儀產(chǎn)生的原始數(shù)據(jù)文件包括以下信息：每一幀的時間、信號中心頻率選擇開關(guān)、信號中心頻率、信號帶寬、量化電平值與閾值、延遲調(diào)整開關(guān)、條紋旋轉(zhuǎn)開關(guān)以及子帶工作方式，同時還記錄許多時延信息、天線參數(shù)等。為了滿足對數(shù)據(jù)存儲的需要，在UVFITS文件中需要4個二元表：PRIMARY、ANTENNA、FREQUENCY、SOURCE。針對產(chǎn)生的數(shù)據(jù)文件，為了提高數(shù)據(jù)的精確度，需要對數(shù)據(jù)進(jìn)行積分操作，系統(tǒng)會按照指定的起始時間和截止時間要求對數(shù)據(jù)進(jìn)行積分操作。

為了查閱、檢索數(shù)據(jù)的方便，把處理后的數(shù)據(jù)保存為UVFITS格式的文件。整個過程及UVFITS文件的合成處理流程如圖1。

天線接收的射電噪聲信號經(jīng)過低噪聲放大器放大后，再進(jìn)行電/光轉(zhuǎn)換，將電信號轉(zhuǎn)換為光信號并通過光纖傳至機房[6]。經(jīng)過模擬接收機和數(shù)字接收機處理后，最終生成約定格式的數(shù)據(jù)并以文件的方式存儲[7]。

下一步，UVFITS合成系統(tǒng)將存儲的原始數(shù)據(jù)讀入內(nèi)存，然后讀取其中的時間、日期等數(shù)據(jù)，計算當(dāng)前天線所在位置。把這些處理結(jié)果存入UVFITS文件的AIPS AN表。合成系統(tǒng)計算觀測時太陽的位置，存入AIPS SU表中。合成系統(tǒng)讀取天線的極化、接收頻率等信息存入AIPS FR表。最后，處理原始數(shù)據(jù)中的可視數(shù)據(jù)(圖像)，存入PRIMARY表。

可視圖像數(shù)據(jù)來源于原始數(shù)據(jù)中的可視數(shù)據(jù)。綜合孔徑成像原理要求天線接收的兩路信號同時同相到達(dá)相關(guān)器[8]，在實現(xiàn)過程中，需要對系統(tǒng)延時和相位進(jìn)行補償，這就是延時補償和條紋停止技術(shù)[9]。在生成UVFITS文件中PRIMARY表時，根據(jù)輸入的時間以及其他參數(shù)，系統(tǒng)需要對可視數(shù)據(jù)進(jìn)行處理，如果是多幀合成，需要積分，如不合成，轉(zhuǎn)存即可。在這步操作中，對每一幀的時間、位置以及可視數(shù)據(jù)等信息進(jìn)行處理。最后，將4個表(AIPS AN、AIPS SU、AIPS FR、PRIMARY)中的數(shù)據(jù)，添加上若干UVFITS文件的關(guān)鍵字存入文件。

圖1　UVFITS合成流程

2UVFITS合成處理并行化分析

由于單機性能有限，為了盡可能大地提升程序性能，并具有進(jìn)一步提升的空間，選擇多機并行的方式，并且使用其中具有代表性的消息傳遞接口作為多機并行的方案。

通過分析，程序的整個運行過程，大致可以歸納為輸入運行參數(shù)、讀取數(shù)據(jù)、處理數(shù)據(jù)、輸出數(shù)據(jù)。其中處理數(shù)據(jù)又可以分為分析數(shù)據(jù)和整理、積分?jǐn)?shù)據(jù)。

在程序中可以做到并行的部分有讀取數(shù)據(jù)、處理數(shù)據(jù)和輸出數(shù)據(jù)。在測試中發(fā)現(xiàn)，程序的時間開銷主要集中在讀取數(shù)據(jù)以及整理、積分?jǐn)?shù)據(jù)兩個過程。其中程序讀取數(shù)據(jù)這部分占用了整個程序運行時間的83%左右，處理數(shù)據(jù)中的整理、積分?jǐn)?shù)據(jù)大約占了整個程序運行時間的12%。

在初步驗證性并行測試中發(fā)現(xiàn)，對數(shù)據(jù)的整理、積分進(jìn)行并行處理的效果并不理想。在多機并行條件下，數(shù)據(jù)的通信時間接近數(shù)據(jù)處理的時間，導(dǎo)致增加節(jié)點對性能的提升幾近于無。而單機并行的情況下，由于總線速度的瓶頸，單核與多核的運行時間相差無幾。

據(jù)此，在程序的讀取數(shù)據(jù)，即讀取原始數(shù)據(jù)中的幀部分，采用并行處理。

2.1數(shù)據(jù)的并行化處理

2.1.1方案設(shè)計與數(shù)據(jù)劃分

本系統(tǒng)使用的方案，在集群環(huán)境中采用主從模式實現(xiàn)可視數(shù)據(jù)的并行處理。主要執(zhí)行順序為，主節(jié)點將等待讀取的原始數(shù)據(jù)以幀為處理單元，劃分為若干任務(wù)，按順序?qū)⑷蝿?wù)分發(fā)給每個子節(jié)點；每個子節(jié)點處理完接收的任務(wù)后將處理完畢的文件寫給主節(jié)點。

在方案設(shè)計中，對幀的劃分以一幀為一個單位，按照節(jié)點數(shù)的不同，平均分配到每個節(jié)點上由各節(jié)點讀取。在每個參與計算的子節(jié)點上，各存有一份完整的幀頭信息。在各子節(jié)點內(nèi)，再將數(shù)據(jù)按初始設(shè)定的進(jìn)程數(shù)進(jìn)一步劃分，并在進(jìn)程內(nèi)處理完畢。各子節(jié)點產(chǎn)生的結(jié)果文件直接寫入主節(jié)點的存儲介質(zhì)，各子節(jié)點間無需通信。并行部分的流程示意圖如圖2。

2.1.2結(jié)果合并

各節(jié)點接收的任務(wù)均為至少一個完整的幀，同時每幀存有各自的時間信息。完成任務(wù)后，計算結(jié)果由子節(jié)點直接寫入主節(jié)點的存儲介質(zhì)中保存為文件，文件名為各節(jié)點數(shù)據(jù)中讀取的時間。由于任務(wù)間相互獨立，合并結(jié)果的開銷僅與主節(jié)點存儲介質(zhì)的輸入/輸出性能有關(guān)。

3性能分析

圖2　并行部分程序執(zhí)行流程圖

并行UVFITS文件的合成過程相對于順序的UVFITS文件合成步驟，加入了數(shù)據(jù)在節(jié)點間的分發(fā)與收集。這樣與串行的過程相比，額外增加了節(jié)點間通信的開銷。

本節(jié)的性能分析以原始數(shù)據(jù)讀入內(nèi)存后的時間為基準(zhǔn)，性能分析的標(biāo)準(zhǔn)為加速比以及并行環(huán)境下程序所耗費的時間。下面為兩種方式的通用表示。

3.1相對加速比

同一并行算法，在單節(jié)點上的運行時間與在多節(jié)點構(gòu)成的處理機系統(tǒng)上的運行時間相比，定義為相對加速比(以下簡稱加速比)，用來衡量并行系統(tǒng)或程序并行化的性能和效果。計算方法如(1)式：

(1)

其中，Tserial是程序在串行方式下運行耗費的時間，串行方式采用了與并行相同的算法；Tparallel是程序在并行環(huán)境下運行耗費的時間。

3.2并行方式下程序運行的時間開銷

這里的時間取程序讀入內(nèi)存后一直到執(zhí)行完畢耗費的時間。由于采用了并行方式，程序額外產(chǎn)生了節(jié)點間通信的時間開銷。同時，程序的總時間由耗費時間最長的節(jié)點決定。時間的計算如(2)式：

(2)

其中，Tbcast為根節(jié)點廣播數(shù)據(jù)耗費的時間，廣播的數(shù)據(jù)為每個節(jié)點均需要的數(shù)據(jù)，即目前程序運行的參數(shù)。通過此參數(shù)，各節(jié)點能計算本節(jié)點所需執(zhí)行的任務(wù)在裸數(shù)據(jù)中的起止位置；Tsend為根節(jié)點點對點通信耗費的時間；Tcalculate為根節(jié)點計算、處理數(shù)據(jù)耗費的時間；Treduce為根節(jié)點接收時間耗費最長的節(jié)點的數(shù)據(jù)耗費的時間。

4實驗分析

測試的硬件環(huán)境為4臺曙光天闊A620r-G，中央處理器為AMD Opteron 6128，主頻2.0 GHz，內(nèi)存4 GB；硬盤為希捷ST3250310AS，7 200轉(zhuǎn)，緩存8 MB，容量為250 GB；操作系統(tǒng)為Linux，機群數(shù)據(jù)交換的速度為1 Gbps，采用的消息傳遞接口實現(xiàn)為MPICH-2。在對系統(tǒng)的測試中，從文件名為MUSER_20140122-131903_342668765的原始數(shù)據(jù)中隨機取4段觀測數(shù)據(jù)，數(shù)據(jù)量分別為415幀、735幀、1 055幀、1 375幀。4.1、4.2、4.3為在對數(shù)據(jù)不積分和進(jìn)行5幀積分情況下進(jìn)行測試得到的結(jié)果。

4.1單機串行

表1為單機串行環(huán)境下，程序在處理不同的數(shù)據(jù)量時耗費的時間。從表1可以發(fā)現(xiàn)，時間隨著幀數(shù)的增加而線性增加，但時間效率遠(yuǎn)低于射電日像儀對UVFITS的數(shù)據(jù)存儲需求的每幀3 ms處理時間，僅達(dá)到了目標(biāo)效率的一半。

4.2單機并行

表2是在單臺服務(wù)器上，分別使用二進(jìn)程、四進(jìn)程以及八進(jìn)程運行程序得到的時間耗費以及加速比。可以看到，節(jié)點數(shù)每增加一倍，執(zhí)行時間縮短一半以上，程序并行的加速比穩(wěn)定在1以上，即每有N個進(jìn)程，程序的執(zhí)行時間小于等于原時間的1/N。同時，隨著數(shù)據(jù)量的增加，即幀數(shù)的增加，程序耗費的時間呈線性上升。這說明程序的效率是可以預(yù)計的，在需要程序達(dá)到更高的速度時，可以對需要增加的進(jìn)程有一個初步估計。

表1　單機串行執(zhí)行時間

4.3多機并行

表3是程序在4臺服務(wù)器組成的四節(jié)點集群并行環(huán)境下，分別使用二進(jìn)程、四進(jìn)程、八進(jìn)程運行程序得出的時間和加速比。與單機環(huán)境下的并行相比，執(zhí)行時間略有增加。這是由于進(jìn)程在不同機器節(jié)點間通信的時間遠(yuǎn)大于進(jìn)程通過系統(tǒng)內(nèi)部總線傳遞數(shù)據(jù)的通信時間，導(dǎo)致額外的時間開銷。加速比約等于1，這意味著每增加一倍節(jié)點，時間的開銷仍然縮短接近一半。同時，總體效果達(dá)到了期望值，超出了3 ms處理一幀數(shù)據(jù)的需求。

5結(jié)束語

本文針對射電日像儀對高性能UVFITS數(shù)據(jù)合成要求，研究了基于消息傳遞接口的高性能UVFITS合成系統(tǒng)。系統(tǒng)可以根據(jù)實際需要將觀測得到的原始數(shù)據(jù)高速轉(zhuǎn)換成可以導(dǎo)入天文應(yīng)用軟件公共包的標(biāo)準(zhǔn)UVFITS文件。目前，優(yōu)化后的并行UVFITS合成系統(tǒng)在八進(jìn)程的運行環(huán)境下，只需要1.2 ms即可處理一幀文件，已經(jīng)滿足當(dāng)前射電日像儀對3 ms每幀的速率需求，性能比需求提高了1.5倍。另外，基于消息傳遞接口的并行合成系統(tǒng)，從實驗中可以看到具有很好的擴展性，這為下一步射電日像儀更高性能的數(shù)據(jù)合成提供了可能性，同時，也能夠滿足未來射電日像儀產(chǎn)生的更多數(shù)據(jù)的實時合成處理需要。

表2　單機并行執(zhí)行時間

表3　多機并行執(zhí)行時間

在未來的工作中進(jìn)一步研究如下問題：(1)繼續(xù)優(yōu)化數(shù)據(jù)處理流程，提高并行度，從而提升合成UVFITS文件的速度；(2)在并行環(huán)境中，提前對多機進(jìn)行文件同步以達(dá)到流水線效果，從而減少子節(jié)點對主節(jié)點存儲介質(zhì)訪問的通信時間；(3)為數(shù)據(jù)處理以及歸檔查詢系統(tǒng)提供應(yīng)用程序編程接口(Application Programming Interface, API)，滿足數(shù)據(jù)訪問的需要。

參考文獻(xiàn)：

[1]Yan Y, Zhang J, Wang W, et al. The Chinese Spectral Radioheliograph—CSRH[J]. Earth, Moon, and Planets, 2009, 104(1): 97-100.

[2]Jaeger S. The Common Astronomy Software Application (CASA) [C]// Astronomical Data Analysis Software and Systems XVII. 2008: 623.

[3]Wells D C, Greisen E W, Harten R H. FITS-a flexible image transport system[J]. Astronomy and Astrophysics Supplement Series, 1981, 44: 363.

[4]高姣姣, 王鋒, 戴偉, 等. 面向射電日像儀的隨機組結(jié)構(gòu)剖析與文件設(shè)計[J]. 天文研究與技術(shù)——國家天文臺臺刊, 2013, 10(4): 365-371.Gao Jiaojiao, Wang Feng, Ji Kaifan, et al. An analysis of the random-group data format and a design of the data file structure for a solar radio heliograph[J]. Astronomical Research & Technology

——Publications of National Astronomical Observatories of China, 2013, 10(4): 365-371.

[5]Nakajima H, Nishio M A, Enome S, et al. The Nobeyama radioheliograph[J]. Proceedings of the IEEE, 1994, 82(5): 705-713.

[6]王威, 陳志軍, 姬國樞, 等. CSRH光纖傳輸方案探討[J]. 天文研究與技術(shù)——國家天文臺臺刊, 2006, 3(2): 143-147.

Wang Wei, Chen Zhijun, Ji Kaifan, et al. Optical fiber transmission analysis for CSRH[J]. Astronomical Research & Technology——Publications of National Astronomical Observatories of China, 2006, 3(2): 143-147.

[7]姬國樞, 竇玉江, 王威, 等. CSRH模擬接收機設(shè)計[J]. 天文研究與技術(shù)——國家天文臺臺刊, 2006, 3(2): 135-142.

Ji Guoshu, Dou Yujiang, Wang Wei, et al. RF receiver design for CSRH[J]. Astronomical Research & Technology——Publications of National Astronomical Observatories of China, 2006, 3(2): 135-142.

[8]張堅, 顏毅華, 劉飛, 等. 用于雙天線干涉實驗的數(shù)字相關(guān)接收機[J]. 天文研究與技術(shù)——國家天文臺臺刊, 2006, 3(2): 148-153.

Zhang Jian, Yan Yihua, Liu Fei, et al. A prototype digital correlation receiver for two-element interferometer experiment[J]. Astronomical Research & Technology——Publications of National Astronomical Observatories of China, 2006, 3(2): 148-153.

[9]劉東浩, 顏毅華, 趙岸, 等. 新一代厘米—分米波射電日像儀系統(tǒng)延時校準(zhǔn)方法研究[J]. 電子學(xué)報, 2013, 31(3): 570-574.Liu Donghao, Yan Yihua, Zhao An, et al. A delay calibration for Chinesespectral radioheliograph in the decametric to centimetric wave range[J]. Acta Electronica Sinica, 2013, 31(3): 570-574.

The Study and Application of a High Performance UVFITS Assembly System Based on MPI

Chen Tairan1, Wang Wei3, Wang Feng1,2, Deng Hui1, Liu Yingbo1, Mei Ying1

(1. Computer Technology Application Key Laboratory of Yunnan Province, Kunming University of Science and Technology,Kunming 650500, China; 2. Yunnan Observatories, Chinese Academy of Sciences, Kunming 650011, China,Email: wf@cnlab.net; 3. National Astronomical Observatories, Chinese Academy of Sciences, Beijing 100012, China)

Abstract:Mingantu Ultrawide Spectral Radioheliograph (MUSER) generates 100 kilobytes raw observational data in every 3 milliseconds and more than 3.5 Terabytes data per day. For further data analysis and sharing, it is necessary to convert the raw data stored in self-defined format to standard format usually used in the field of radio astronomy. In previous work, we have analyzed the format of UVFITS and converted the raw data to UVFITS file successfully. However, the efficiency of the format converting system needs to be further improved. This paper presents a parallel UVFITS file assembly system based on cluster parallel environment. Experiments show that the system can reduce the execution time of assembling a UVFITS file to about 1.2 milliseconds, 2.5 times faster than that of the data acquisition, which is very promising to meet the data processing requirements in the project. Moreover, the parallel system can be used for reference in other systems. The implementation of this parallel data format converting system can also provide a good reference to similar data processing systems.

Key words:UVFITS; Massive data; MPI; Parallel computing; High-performance computing

基金項目：國家自然科學(xué)天文聯(lián)合基金 (U1231205)；國家自然科學(xué)基金 (11263004, 11203011, 11163004, 11103005)；云南省應(yīng)用基礎(chǔ)基金重點項目 (2013FA013, 2013FA032, 2013FZ018) 資助.

收稿日期：2015-06-17；

修訂日期：2015-07-07

作者簡介：陳泰燃，男，碩士. 研究方向：分布式計算，科學(xué)數(shù)據(jù)處理. Email: 584680399@qq.com 通訊作者：王鋒，男，教授. 研究方向：分布式數(shù)據(jù)存儲與計算，科學(xué)數(shù)據(jù)處理. Email: wf@cnlab.net

中圖分類號：TP311.1

文獻(xiàn)標(biāo)識碼：A

文章編號:1672-7673(2016)02-0184-06

CN 53-1189/PISSN 1672-7673