呂作勇，黃文輝，康 英，蘇柱金，劉 軍，歐陽(yáng)龍斌

（1.廣東省地震局，中國(guó)地震局地震監(jiān)測(cè)與減災(zāi)技術(shù)重點(diǎn)實(shí)驗(yàn)室，廣東省地震監(jiān)測(cè)預(yù)警與重大工程地震安全診斷重點(diǎn)實(shí)驗(yàn)室，廣州 510070；2.深圳防震減災(zāi)技術(shù)研究院，廣東 深圳 518003）

0 引言

多年來(lái)，隨著我國(guó)中央和地方政府在地震監(jiān)測(cè)行業(yè)的持續(xù)投入，我國(guó)建立了越來(lái)越多的數(shù)字化和網(wǎng)絡(luò)化的地震臺(tái)站，使我國(guó)的地震監(jiān)測(cè)能力得到了快速的提升。大量地震臺(tái)站的不斷建設(shè)和運(yùn)行，產(chǎn)出了越來(lái)越多的地震觀測(cè)數(shù)據(jù)，為我國(guó)地球科學(xué)研究積累了寶貴的基礎(chǔ)數(shù)據(jù)。同時(shí)，這也為海量地震連續(xù)波形數(shù)據(jù)的存儲(chǔ)和共享服務(wù)提出了更大的挑戰(zhàn)。

國(guó)內(nèi)外有許多機(jī)構(gòu)或組織在地震數(shù)據(jù)管理和共享方面開(kāi)展一系列重要工作。我國(guó)國(guó)家數(shù)字測(cè)震臺(tái)網(wǎng)數(shù)據(jù)備份中心2007年建成以來(lái)，為注冊(cè)用戶(hù)提供全國(guó)1000多個(gè)固定地震臺(tái)站的波形數(shù)據(jù)服務(wù)[1]，在我國(guó)大震應(yīng)急和地球科學(xué)研究等方面發(fā)揮了重要的數(shù)據(jù)支撐作用。美國(guó)地震學(xué)研究聯(lián)合會(huì)（IRIS）數(shù)據(jù)管理中心（DMC）是全球最大的地震數(shù)據(jù)服務(wù)機(jī)構(gòu)，向全球提供全球地震臺(tái)網(wǎng)（GSN）、寬頻帶數(shù)字地震臺(tái)網(wǎng)聯(lián)盟（FDSN）以及各地區(qū)域臺(tái)網(wǎng)、地震臺(tái)陣等數(shù)據(jù)服務(wù)，其服務(wù)具有數(shù)據(jù)種類(lèi)多、服務(wù)工具多樣和便捷等特點(diǎn)[2]。日本防災(zāi)科技研究所（NIED）也向注冊(cè)用戶(hù)提供日本測(cè)震臺(tái)網(wǎng)和強(qiáng)震臺(tái)網(wǎng)的地震數(shù)據(jù)服務(wù)[3]。

目前，我國(guó)地震系統(tǒng)的國(guó)家臺(tái)網(wǎng)中心和省級(jí)區(qū)域臺(tái)網(wǎng)中心都使用JOPENS系統(tǒng)進(jìn)行地震監(jiān)測(cè)數(shù)據(jù)分析處理[4-12]。國(guó)家臺(tái)網(wǎng)中心部署的JOPENS系統(tǒng)用于處理國(guó)家臺(tái)和國(guó)際共享臺(tái)的地震數(shù)據(jù)。省級(jí)區(qū)域臺(tái)網(wǎng)中心通常使用JOPENS系統(tǒng)處理省級(jí)區(qū)域內(nèi)的地震臺(tái)站數(shù)據(jù)。JOPENS系統(tǒng)中已經(jīng)研發(fā)了地震連續(xù)波形數(shù)據(jù)存儲(chǔ)和共享服務(wù)系統(tǒng)[13]（Archive Waveform Service，簡(jiǎn)稱(chēng)：AWS系統(tǒng)）。AWS系統(tǒng)通過(guò)連接JOPENS系統(tǒng)的實(shí)時(shí)波形流服務(wù)獲取連續(xù)波形數(shù)據(jù)進(jìn)行存儲(chǔ)，根據(jù)用戶(hù)需求提供時(shí)間段的連續(xù)波形數(shù)據(jù)服務(wù)。

然而，基于近年來(lái)的AWS系統(tǒng)在線(xiàn)運(yùn)行情況以及地震監(jiān)測(cè)行業(yè)快速發(fā)展帶來(lái)的新需求，我們發(fā)現(xiàn)已有AWS系統(tǒng)還需進(jìn)一步升級(jí)優(yōu)化，急需聚焦解決以下方面問(wèn)題：（1）歷史離線(xiàn)波形數(shù)據(jù)無(wú)法在線(xiàn)共享；（2）由于臺(tái)站實(shí)時(shí)信號(hào)中斷導(dǎo)致AWS系統(tǒng)從實(shí)時(shí)流服務(wù)獲取的波形數(shù)據(jù)不完整；（3）在線(xiàn)存儲(chǔ)的波形數(shù)據(jù)備份和同步；（4）未能存儲(chǔ)臺(tái)站儀器狀態(tài)信息和觸發(fā)信息。另一方面，隨著國(guó)家地震烈度速報(bào)與預(yù)警工程項(xiàng)目的建設(shè)[14]，新建或改造的基準(zhǔn)站、基本站、一般站和GNSS臺(tái)站的總數(shù)將超過(guò)15 000個(gè)。如此大規(guī)模、高密集、多類(lèi)型的地震監(jiān)測(cè)系統(tǒng)，其觀測(cè)數(shù)據(jù)具有明顯的“海量多源”特征。另外，由于四類(lèi)臺(tái)站的觀測(cè)數(shù)據(jù)類(lèi)型[15]、儀器狀態(tài)信息和數(shù)據(jù)傳輸方式等方面差異，導(dǎo)致了AWS系統(tǒng)需要存儲(chǔ)的數(shù)據(jù)也具有典型的“異構(gòu)”特征。因此，緊扣新時(shí)代防震減災(zāi)事業(yè)發(fā)展需求，瞄準(zhǔn)海量多源異構(gòu)監(jiān)測(cè)數(shù)據(jù)的存儲(chǔ)和在線(xiàn)共享服務(wù)能力的全面提升，為實(shí)現(xiàn)我國(guó)地震監(jiān)測(cè)行業(yè)現(xiàn)代化和信息化，對(duì)AWS系統(tǒng)進(jìn)行優(yōu)化升級(jí)研發(fā)勢(shì)在必行。

1 系統(tǒng)總體架構(gòu)

地震連續(xù)波形數(shù)據(jù)存儲(chǔ)與共享服務(wù)系統(tǒng)是對(duì)各類(lèi)監(jiān)測(cè)臺(tái)站的觀測(cè)波形數(shù)據(jù)進(jìn)行高效的管理和存儲(chǔ)，并根據(jù)設(shè)定的規(guī)則為用戶(hù)提供豐富的數(shù)據(jù)服務(wù)。新升級(jí)研發(fā)的AWS系統(tǒng)（以下統(tǒng)稱(chēng)：AWS系統(tǒng)）既可以從JOPENS系統(tǒng)的實(shí)時(shí)波形流服務(wù)SSS獲取臺(tái)站觀測(cè)的實(shí)時(shí)波形數(shù)據(jù)進(jìn)行存儲(chǔ)，而且可以從歷史的波形文件（如，存儲(chǔ)在光盤(pán)上的歷史波形、臺(tái)站斷記補(bǔ)數(shù)的波形數(shù)據(jù)等）獲取波形數(shù)據(jù)進(jìn)行存儲(chǔ)。同時(shí)，AWS系統(tǒng)還實(shí)現(xiàn)了數(shù)據(jù)的備份和同步。AWS系統(tǒng)設(shè)計(jì)了用戶(hù)交互命令，基于Web服務(wù)8080端口為用戶(hù)提供波形數(shù)據(jù)服務(wù)。AWS系統(tǒng)總體架構(gòu)如圖1所示。

圖1 AWS系統(tǒng)總體架構(gòu)Fig.1 The overall architecture of AWS system

2 系統(tǒng)存儲(chǔ)結(jié)構(gòu)

AWS系統(tǒng)采用基于文件系統(tǒng)的數(shù)據(jù)存儲(chǔ)方式，根據(jù)時(shí)間順序，采用三層存儲(chǔ)機(jī)制：（1）最新的實(shí)時(shí)波形數(shù)據(jù)存儲(chǔ)在內(nèi)存緩存區(qū)；（2）當(dāng)內(nèi)存緩存區(qū)滿(mǎn)后，轉(zhuǎn)存至內(nèi)存文件系統(tǒng)；（3）當(dāng)內(nèi)存文件系統(tǒng)存滿(mǎn)后，轉(zhuǎn)存至硬盤(pán)文件系統(tǒng)。

為了實(shí)現(xiàn)對(duì)歷史波形數(shù)據(jù)的存儲(chǔ)和管理、在線(xiàn)和離線(xiàn)波形數(shù)據(jù)存儲(chǔ)和共享等功能，從新優(yōu)化設(shè)計(jì)了AWS系統(tǒng)的存儲(chǔ)目錄結(jié)構(gòu)，并定義各文件目錄的功能含義。新研發(fā)的AWS系統(tǒng)存儲(chǔ)目錄結(jié)構(gòu)定義如表1所示。

表1 AWS系統(tǒng)存儲(chǔ)目錄結(jié)構(gòu)Table 1 The storage directory structure of the AWS system

連續(xù)波形數(shù)據(jù)主要由固定頭段包和miniSEED數(shù)據(jù)包組成，固定頭段包臺(tái)網(wǎng)標(biāo)識(shí)碼、臺(tái)站代碼、位置代碼、通道代碼、起始時(shí)間、樣本數(shù)目、采樣率、時(shí)鐘標(biāo)志等，見(jiàn)地震行業(yè)標(biāo)準(zhǔn)——《地震烈度速報(bào)與預(yù)警臺(tái)站數(shù)據(jù)通信協(xié)議》的規(guī)定。連續(xù)波形數(shù)據(jù)存儲(chǔ)目錄waveform下各類(lèi)監(jiān)測(cè)站點(diǎn)的波形數(shù)據(jù)的存儲(chǔ)目錄結(jié)構(gòu)以及波形數(shù)據(jù)命名中涉及的“臺(tái)網(wǎng)標(biāo)識(shí)碼”、“臺(tái)站代碼”、“位置代碼”和“通道代碼”，其命名規(guī)則遵循地震行業(yè)標(biāo)準(zhǔn)——《地震波形數(shù)據(jù)通道標(biāo)識(shí)》的規(guī)定。因此系統(tǒng)存儲(chǔ)的波形數(shù)據(jù)包括了測(cè)震的速度波形，強(qiáng)震和烈度儀的加速度波形，以及GNSS臺(tái)站解碼后的波形。系統(tǒng)根據(jù)《地震波形數(shù)據(jù)通道標(biāo)識(shí)》規(guī)定的地震數(shù)據(jù)通道代碼來(lái)區(qū)別不同類(lèi)型監(jiān)測(cè)波形數(shù)據(jù)。

3 AWS系統(tǒng)功能

AWS系統(tǒng)實(shí)現(xiàn)了從實(shí)時(shí)波形流服務(wù)獲取實(shí)時(shí)波形進(jìn)行存儲(chǔ)，而且實(shí)現(xiàn)從歷史波形文件或其他AWS系統(tǒng)獲取波形數(shù)據(jù)（數(shù)據(jù)備份和同步）進(jìn)行存儲(chǔ)的功能。AWS系統(tǒng)按照時(shí)間順序，采用STEIM2壓縮算法，按臺(tái)站通道歸檔為miniSeed格式的波形數(shù)據(jù)，同時(shí)建立各波形數(shù)據(jù)的索引信息，根據(jù)波形索引為用戶(hù)提供時(shí)間段連續(xù)波形數(shù)據(jù)服務(wù)。AWS系統(tǒng)連續(xù)波形數(shù)據(jù)存儲(chǔ)和共享服務(wù)的處理流程見(jiàn)圖2所示。

圖2 AWS系統(tǒng)數(shù)據(jù)存儲(chǔ)和服務(wù)處理流程示意圖Fig.2 Flow diagram of AWS system data storage and service processing

3.1 波形數(shù)據(jù)索引

波形數(shù)據(jù)索引是指連續(xù)的時(shí)間片波形數(shù)據(jù)（既不間斷也不重疊）在臺(tái)站通道波形存儲(chǔ)文件的位置，包括時(shí)間片波形的開(kāi)始時(shí)間及其對(duì)應(yīng)的位置序列號(hào)、結(jié)束時(shí)間及其對(duì)應(yīng)的位置序列號(hào)。一個(gè)索引對(duì)應(yīng)波形數(shù)據(jù)文件中的一段數(shù)據(jù)，即對(duì)應(yīng)一個(gè)時(shí)間段的miniSeed格式的波形數(shù)據(jù)塊。通過(guò)這種一一對(duì)應(yīng)關(guān)系，根據(jù)波形數(shù)據(jù)索引來(lái)快速定位和查找對(duì)應(yīng)時(shí)間段波形數(shù)據(jù)文件。

AWS系統(tǒng)采用NetCDF格式來(lái)建立波形數(shù)據(jù)索引文件。波形數(shù)據(jù)索引與臺(tái)站通道波形數(shù)據(jù)文件是緊密關(guān)聯(lián)的，波形數(shù)據(jù)更新時(shí)，其對(duì)應(yīng)的波形索引文件也同步更新。通常一個(gè)小時(shí)的單通道波形數(shù)據(jù)只需要幾個(gè)索引來(lái)進(jìn)行關(guān)聯(lián)。為提高波形數(shù)據(jù)查詢(xún)效率，AWS系統(tǒng)的波形索引采用LRU算法常駐內(nèi)存，并且每個(gè)臺(tái)站通道通常保留幾十天的波形索引數(shù)據(jù)。

AWS系統(tǒng)在實(shí)時(shí)波形和非實(shí)時(shí)波形存儲(chǔ)時(shí)，存在同時(shí)更新波形數(shù)據(jù)的可能，因此系統(tǒng)針對(duì)每個(gè)臺(tái)站通道都設(shè)置一個(gè)獨(dú)立的同步鎖，采用同步鎖來(lái)保證同一時(shí)間內(nèi)，只有一個(gè)線(xiàn)程對(duì)波形索引和波形數(shù)據(jù)進(jìn)行更新操作。

[lsw1-Eth-Trunk1]port trunk allow-pass vlan all“允許通過(guò)的vlan流量”

3.2 實(shí)時(shí)波形存儲(chǔ)

AWS系統(tǒng)采用JOPENS系統(tǒng)實(shí)時(shí)波形流服務(wù)客戶(hù)端SSSPort接收各監(jiān)測(cè)臺(tái)站的實(shí)時(shí)波形數(shù)據(jù)，數(shù)據(jù)包大小可為256 byte和512 byte。系統(tǒng)將實(shí)時(shí)波形數(shù)據(jù)重新打包成4096 byte大小的miniSeed格式數(shù)據(jù)，并寫(xiě)入內(nèi)存緩沖區(qū)。在內(nèi)存緩沖區(qū)滿(mǎn)后轉(zhuǎn)存至online內(nèi)存文件系統(tǒng)，同時(shí)對(duì)波形數(shù)據(jù)按時(shí)間順序建立線(xiàn)性索引，索引文件存在bufidx目錄。由于計(jì)算機(jī)內(nèi)存文件系統(tǒng)容量的限制，通常臺(tái)站每個(gè)通道的波形數(shù)據(jù)存在online目錄下的長(zhǎng)度為2 h。當(dāng)AWS系統(tǒng)遇到關(guān)閉等情況，為防止波形數(shù)據(jù)丟失，在系統(tǒng)關(guān)閉前，系統(tǒng)會(huì)自動(dòng)將online目錄下數(shù)據(jù)轉(zhuǎn)存至offline目錄。當(dāng)AWS系統(tǒng)重新啟動(dòng)后，會(huì)自動(dòng)先從offline目錄加載波形數(shù)據(jù)。online內(nèi)存文件系統(tǒng)存滿(mǎn)后，波形數(shù)據(jù)轉(zhuǎn)存到物理文件系統(tǒng)中，并按照臺(tái)站通道建立跟新線(xiàn)性波形索引。

當(dāng)收到的實(shí)時(shí)波形數(shù)據(jù)延遲較大（如2 h）或時(shí)序錯(cuò)誤，系統(tǒng)將此數(shù)據(jù)存儲(chǔ)在歷史波形數(shù)據(jù)池（.history目錄）。系統(tǒng)會(huì)根據(jù)設(shè)定自動(dòng)掃描歷史波形數(shù)據(jù)池，完成波形數(shù)據(jù)存儲(chǔ)。這個(gè)功能主要是針對(duì)震后回傳的強(qiáng)震儀和烈度儀的波形數(shù)據(jù)存儲(chǔ)。

3.3 非實(shí)時(shí)波形存儲(chǔ)或補(bǔ)數(shù)

地震臺(tái)站運(yùn)行中會(huì)遇到實(shí)時(shí)波形數(shù)據(jù)流中斷的情況，從而造成歸檔的波形數(shù)據(jù)缺失一段時(shí)間的觀測(cè)數(shù)據(jù)。在實(shí)際的情況下，臺(tái)站觀測(cè)數(shù)據(jù)大多會(huì)存儲(chǔ)在臺(tái)站數(shù)據(jù)采集器或備份線(xiàn)路的波形數(shù)據(jù)服務(wù)器上，因此可采用非實(shí)時(shí)波形數(shù)據(jù)進(jìn)行補(bǔ)數(shù)處理。非實(shí)時(shí)波形數(shù)據(jù)通常有2個(gè)來(lái)源，一是另一個(gè)備份的AWS服務(wù)器，第二是通過(guò)JOPENS流服務(wù)的CSTP協(xié)議[16]從臺(tái)站數(shù)據(jù)采集器獲取所需波形數(shù)據(jù)。AWS系統(tǒng)設(shè)計(jì)了非實(shí)時(shí)波形數(shù)據(jù)臨時(shí)存儲(chǔ)目錄.ms，系統(tǒng)根據(jù)設(shè)置定時(shí)或觸發(fā)等方式掃描.ms目錄的文件，整理出連續(xù)的時(shí)間片波形數(shù)據(jù)，并轉(zhuǎn)存到.wip目錄。在.wip目錄下包含的波形數(shù)據(jù)是沒(méi)有缺失空隙，也沒(méi)有重疊的波形。系統(tǒng)根據(jù)波形數(shù)據(jù)索引，掃描各臺(tái)站通道波形數(shù)據(jù)的缺失空隙，從.wip中提取出需要的時(shí)間片波形數(shù)據(jù)，重新打包后插入到對(duì)應(yīng)的臺(tái)站通道波形文件中，并同時(shí)更新其波形索引。

3.4 數(shù)據(jù)在線(xiàn)共享服務(wù)

AWS系統(tǒng)設(shè)計(jì)了用戶(hù)交互命令來(lái)實(shí)現(xiàn)波形數(shù)據(jù)共享服務(wù)，通過(guò)基于HTTP協(xié)議的Web服務(wù)8080端口發(fā)送請(qǐng)求和應(yīng)答命令來(lái)實(shí)現(xiàn)波形數(shù)據(jù)的在線(xiàn)共享服務(wù)。其中應(yīng)答標(biāo)識(shí)分為兩種：OK和ERR。交互的方式為：用戶(hù)請(qǐng)求數(shù)據(jù)服務(wù)后，系統(tǒng)先給用戶(hù)發(fā)送波形數(shù)據(jù)，后發(fā)送應(yīng)答標(biāo)識(shí)“OK/ERR”，其他情況則是先發(fā)應(yīng)答“OK/ERR”，后發(fā)送消息體。AWS系統(tǒng)交互服務(wù)命令如表2。

表2 AWS系統(tǒng)交互命令Table 2 Interactive command of AWS system

AWS系統(tǒng)間的數(shù)據(jù)備份和同步是通過(guò)系統(tǒng)設(shè)置定時(shí)掃描各自存儲(chǔ)的連續(xù)波形數(shù)據(jù)，當(dāng)掃描發(fā)現(xiàn)有數(shù)據(jù)缺失時(shí)，從另一個(gè)備份AWS系統(tǒng)中進(jìn)行數(shù)據(jù)同步，獲取完整的連續(xù)波形數(shù)據(jù)。

3.5 系統(tǒng)數(shù)據(jù)監(jiān)控

升級(jí)優(yōu)化后的AWS系統(tǒng)，增加了對(duì)系統(tǒng)數(shù)據(jù)的監(jiān)控，主要是以下幾方面：

（1）波形數(shù)據(jù)連續(xù)率統(tǒng)計(jì)。可根據(jù)用戶(hù)命令請(qǐng)求，獲取臺(tái)站通道波形數(shù)據(jù)的連續(xù)率統(tǒng)計(jì)結(jié)果。

（2）AWS系統(tǒng)連接的實(shí)時(shí)波形流服務(wù)用戶(hù)上線(xiàn)和下線(xiàn)的警告信息。系統(tǒng)會(huì)記錄流服務(wù)用戶(hù)上線(xiàn)獲取的第一個(gè)數(shù)據(jù)包的序號(hào)，用戶(hù)下線(xiàn)最后一個(gè)數(shù)據(jù)包的序號(hào)。

（3）存儲(chǔ)空間及波形數(shù)據(jù)狀態(tài)。系統(tǒng)會(huì)計(jì)算存儲(chǔ)磁盤(pán)剩余空間百分比、延遲1 h的波形數(shù)據(jù)量大小、波形索引總量、波形數(shù)據(jù)總量、數(shù)據(jù)包平均長(zhǎng)度及數(shù)據(jù)包個(gè)數(shù)等信息。

（4）系統(tǒng)實(shí)時(shí)存儲(chǔ)主線(xiàn)程和非實(shí)時(shí)波形存儲(chǔ)線(xiàn)程的心跳狀態(tài)。

4 結(jié)語(yǔ)

本文介紹了AWS系統(tǒng)的整體架構(gòu)和系統(tǒng)功能的技術(shù)要點(diǎn)。通過(guò)新設(shè)計(jì)的數(shù)據(jù)存儲(chǔ)目錄結(jié)構(gòu)，AWS系統(tǒng)實(shí)現(xiàn)了對(duì)非實(shí)時(shí)波形數(shù)據(jù)的存儲(chǔ)、臺(tái)站斷記補(bǔ)數(shù)等功能。基于系統(tǒng)設(shè)計(jì)的交互命令接口，實(shí)現(xiàn)了波形數(shù)據(jù)在線(xiàn)服務(wù)、數(shù)據(jù)備份和同步。AWS系統(tǒng)的研發(fā)為我國(guó)地震監(jiān)測(cè)行業(yè)提供了一套觀測(cè)數(shù)據(jù)存儲(chǔ)、管理和共享服務(wù)的具有自主知識(shí)產(chǎn)權(quán)的支撐技術(shù)平臺(tái)，是我國(guó)地震監(jiān)測(cè)事業(yè)現(xiàn)代化和信息化的重要標(biāo)志之一。

致謝：感謝國(guó)家地震烈度速報(bào)與預(yù)警工程技術(shù)規(guī)程編制與定制軟件項(xiàng)目支持。感謝審稿專(zhuān)家提出的寶貴意見(jiàn)。