丁睿

摘 要 目前在全國范圍內(nèi)運行的中國地震應(yīng)急指揮系統(tǒng)，與一些發(fā)達國家高度集成的應(yīng)急救援響應(yīng)系統(tǒng)相比，功能單一，各類地震監(jiān)測數(shù)據(jù)并未集成到地震應(yīng)急指揮系統(tǒng)中，綜合防震減災(zāi)各方面工作的應(yīng)急處置集成平臺尚未形成。因此，在上海地震應(yīng)急處置集成平臺建設(shè)的研究項目中，異構(gòu)地震數(shù)據(jù)集成是關(guān)鍵和基礎(chǔ)。針對地震行業(yè)數(shù)據(jù)的特點，論文采用數(shù)據(jù)倉庫和基于中間件兩種不同方法對地震異構(gòu)數(shù)據(jù)集成進行了分析，并以中國地震行業(yè)關(guān)鍵業(yè)務(wù)測震JOPENS系統(tǒng)為例，進行了基于中間件的異構(gòu)數(shù)據(jù)無縫遷移。

關(guān)鍵詞 地震應(yīng)急；異構(gòu)數(shù)據(jù)集成；數(shù)據(jù)倉庫；中間件；數(shù)據(jù)遷移

中圖分類號 TP3 文獻標(biāo)識碼 A 文章編號 1674-6708（2016）172-0078-03

我國防震減災(zāi)的三大工作體系由監(jiān)測預(yù)報、震災(zāi)防御和應(yīng)急救援組成。其中應(yīng)急救援的作用是最大限度減少因地震造成的人員傷亡和財產(chǎn)損失，保持社會穩(wěn)定。“十五”起，地震應(yīng)急指揮系統(tǒng)在全國范圍內(nèi)開展建設(shè)，在震后快速響應(yīng)、救援輔助決策、產(chǎn)品服務(wù)等方面發(fā)揮了積極作用。但是，地震應(yīng)急指揮系統(tǒng)與實時觀測類的系統(tǒng)，諸如測震、前兆、強震等相互獨立，動態(tài)地震監(jiān)測數(shù)據(jù)和靜態(tài)歷史背景數(shù)據(jù)在地震應(yīng)急處置這一綜合性工作中不能有效融合，共享應(yīng)用，防震減災(zāi)的工作體系之間相對獨立。相比之下，有些多震國家，如美國、日本、意大利等已建立了相對完善的綜合性地震應(yīng)急處置與響應(yīng)平臺[ 1 ]。這些系統(tǒng)的共同特點是集成了多源異構(gòu)監(jiān)測和背景靜態(tài)數(shù)據(jù)，融合了動態(tài)評估、快速響應(yīng)處置和輔助指揮決策等應(yīng)用，機構(gòu)橫向協(xié)同互聯(lián)，形成高度集中，信息豐富的應(yīng)急處置大平臺。相比之下，我國地震應(yīng)急指揮系統(tǒng)則顯得數(shù)據(jù)種類少，應(yīng)用產(chǎn)出單一，實際保障能力較弱。因此，建立一套整合防震減災(zāi)各業(yè)務(wù)系統(tǒng)的集成應(yīng)急處置平臺，為政府進行抗震救災(zāi)快速響應(yīng)和決策提供科學(xué)依據(jù)，已成為我國地震行業(yè)面臨的重要戰(zhàn)略課題。

上海市地震應(yīng)急處置平臺是在“十五”地震應(yīng)急指揮系統(tǒng)的基礎(chǔ)上，參考國外成功案例的研究項目。旨在是搭建一個綜合處置平臺，實現(xiàn)各類地震異構(gòu)數(shù)據(jù)和不同地震業(yè)務(wù)系統(tǒng)的有效集成。其中，異構(gòu)地震數(shù)據(jù)集成是整個項目的基礎(chǔ)和關(guān)鍵。本文主要研究地震異構(gòu)業(yè)務(wù)數(shù)據(jù)的集成方法，并設(shè)計一種適合實時監(jiān)測數(shù)據(jù)的整合方案。

1 地震應(yīng)急處置中異構(gòu)數(shù)據(jù)的集成

地震數(shù)據(jù)有著不同于其他行業(yè)的特性。地震應(yīng)急處置中同時需要動態(tài)實時監(jiān)測數(shù)據(jù)和靜態(tài)歷史背景數(shù)據(jù)。因此，研究不同的集成方法，才能比較得出適合地震應(yīng)急平臺數(shù)據(jù)集成的方案。

1.1 地震行業(yè)的數(shù)據(jù)分析

在地震觀測與科學(xué)研究中，需要采集不同類型的數(shù)據(jù)。上海地震監(jiān)測三大臺網(wǎng)（微震、強震、前兆）遍布上海及長三角地區(qū)近百個觀測點，7×24小時實時數(shù)據(jù)流；長期地震科研工作積累了大量的地震目錄、震情災(zāi)情和分析會商數(shù)據(jù)；同時，震害防御、應(yīng)急救援業(yè)務(wù)部門擁有地理信息、人口、經(jīng)濟、建筑、地震構(gòu)造、潛在震源、地震動區(qū)劃等地震背景數(shù)據(jù)?；谶@些實時、背景數(shù)據(jù)上所做的地震監(jiān)測預(yù)報、地震活動性分析、震害趨勢判斷、震害防御安全性評估和應(yīng)急救援決策等工作又會產(chǎn)生不同種類的結(jié)果數(shù)據(jù)。

地震科學(xué)數(shù)據(jù)的異構(gòu)性主要體現(xiàn)在系統(tǒng)層面和數(shù)據(jù)格式及內(nèi)容層面上。前者主要是相異數(shù)據(jù)源的硬件平臺，操作系統(tǒng)和數(shù)據(jù)庫管理系統(tǒng)的異構(gòu)。后者是不同學(xué)科的數(shù)據(jù)均有自己嚴格的數(shù)據(jù)定義和規(guī)范，其數(shù)據(jù)庫具有高度自治性。在震后72小時黃金救援時間內(nèi)，需要多角度，綜合各學(xué)科數(shù)據(jù)結(jié)果來分析與決策，進行應(yīng)急處置工作。所以，數(shù)據(jù)集成在地震應(yīng)急處置平添中的應(yīng)用非常必要。

1.2 異構(gòu)數(shù)據(jù)的集成方法

異構(gòu)數(shù)據(jù)集成，就是將不同來源、格式、特點的數(shù)據(jù)在邏輯或物理上進行有效集中，并提供統(tǒng)一的表示、管理和存儲。常用兩種集成方法：物化法和虛擬視圖法。物化法是一種物理集成模式，抽取出所有數(shù)據(jù)源中的數(shù)據(jù)，在數(shù)據(jù)倉庫中用全局模式存儲；虛擬視圖法采用中間件技術(shù)，用統(tǒng)一的全局模型來訪問各種異構(gòu)數(shù)據(jù)源，用戶對數(shù)據(jù)的操作不直接作用于數(shù)據(jù)源，而是通過中間件間接實現(xiàn)[ 2 ]。

1.3 異構(gòu)地震數(shù)據(jù)集成方案的比較

根據(jù)地震科學(xué)數(shù)據(jù)的特點，分別采用數(shù)據(jù)倉庫和基于中間件的方法進行異構(gòu)數(shù)據(jù)集成方案設(shè)計，并比較其優(yōu)劣。

1）基于數(shù)據(jù)倉庫的集成方案。異構(gòu)地震數(shù)據(jù)中存在城市地理信息、人口、經(jīng)濟、地震構(gòu)造、地震動區(qū)劃等，這是地震應(yīng)急處置的靜態(tài)背景數(shù)據(jù)。另外，測震、強震、前兆三大實時臺網(wǎng)積累了大量的歷史數(shù)據(jù)。對于靜態(tài)、歷史的異構(gòu)數(shù)據(jù)比較適合采用數(shù)據(jù)倉庫的方式進行集成。

將源數(shù)據(jù)經(jīng)過數(shù)據(jù)抽取、加工、轉(zhuǎn)換（ETL），以一個全局模式存儲到一個集成的數(shù)據(jù)庫中，稱為數(shù)據(jù)倉庫。數(shù)據(jù)在模型和語法等方面的差異被消除，數(shù)據(jù)倉庫可直接被訪問。用戶可以通過聯(lián)機分析處理、數(shù)據(jù)挖掘等數(shù)據(jù)倉庫的應(yīng)用工具對其進行查詢分析或知識挖掘。[3]基于數(shù)據(jù)倉庫的地震異構(gòu)數(shù)據(jù)集成框架如圖1所示。

數(shù)據(jù)倉庫適合對歷史、靜態(tài)的數(shù)據(jù)進行分析，可用于較長期的震情趨勢判斷和城市災(zāi)后重建等戰(zhàn)略決策。但由于它不能反映實時震情，而地震災(zāi)害具有瞬間性和變化性。地震應(yīng)急處置需要在震后最短時間內(nèi)做出災(zāi)情判斷和救援決策。相對靜態(tài)背景數(shù)據(jù)而言，實時監(jiān)測數(shù)據(jù)的集成與分析更為重要。所以，數(shù)據(jù)倉庫集成方案不能完全滿足地震應(yīng)急處置的需要。

2）基于中間件的數(shù)據(jù)集成方案。測震、強震、前兆的實時監(jiān)測數(shù)據(jù)分別用來快速定位震源、顯示地震破壞程度和進行地震預(yù)報。因此，在地震應(yīng)急時，實時數(shù)據(jù)快速、準確的獲取與分析，從根本上決定應(yīng)急對策的正誤。采用基于中間件的數(shù)據(jù)集成方式，為地震應(yīng)急處置提供實時震情和最新的數(shù)據(jù)資料。

數(shù)據(jù)集成中間件的作用是整合分布式異構(gòu)數(shù)據(jù)，屏蔽數(shù)據(jù)源的異構(gòu)性并使其使動態(tài)可擴展[4]。中間件的部署模式可以是分散或者集中。前者保持異構(gòu)數(shù)據(jù)源位置不變，中間件平臺提供唯一數(shù)據(jù)訪問接口，屏蔽異構(gòu)的源數(shù)據(jù)。這種模式優(yōu)勢在于構(gòu)建靈活，擴展性強。后者是將異構(gòu)數(shù)據(jù)源通過無縫遷移，集成到唯一的健壯穩(wěn)定的高可用環(huán)境下。這種模式的優(yōu)勢在于集成后的數(shù)據(jù)獲取快速、精準。

根據(jù)地震應(yīng)急處置的實際情況，基于中間件的集成方式較適合實時觀測異構(gòu)數(shù)據(jù)整合。數(shù)據(jù)集中存儲的集成方式。將測震、前兆、強震異構(gòu)數(shù)據(jù)通過無縫遷移，整合到核心監(jiān)測數(shù)據(jù)庫中。集成前各業(yè)務(wù)數(shù)據(jù)獨立運行、存儲和管理，系統(tǒng)利用率低，能耗大，維護成本高。

集成后采用高性能的數(shù)據(jù)服務(wù)器和大型商用數(shù)據(jù)庫管理，統(tǒng)一存儲備份，節(jié)能高效?；谥虚g件的地震實時易購觀測數(shù)據(jù)集成架構(gòu)參見圖2所示。

對于既有靜態(tài)背景數(shù)據(jù)又有動態(tài)監(jiān)測數(shù)據(jù)的地震應(yīng)急處置平臺，數(shù)據(jù)倉庫和基于中間件兩種異構(gòu)數(shù)據(jù)集成方式各有優(yōu)劣。然而，從地震應(yīng)急的時效性考慮，實時觀測數(shù)據(jù)的集成與分析更為重要。所以本文重點研究基于中間件異構(gòu)地震觀測數(shù)據(jù)的整合。

2 基于中間件的異構(gòu)數(shù)據(jù)無縫遷移

將目前數(shù)據(jù)存儲環(huán)境較差的異構(gòu)監(jiān)測數(shù)據(jù)整合到穩(wěn)定、高可用的數(shù)據(jù)環(huán)境下是所有業(yè)務(wù)數(shù)據(jù)集成的前提。針對全國數(shù)字測震臺網(wǎng)通用的JOPENS系統(tǒng)，基于MetaMatrix中間件，實現(xiàn)MySQL數(shù)據(jù)庫到oracle數(shù)據(jù)庫的異構(gòu)數(shù)據(jù)無縫遷移。

2.1 測震JOPENS系統(tǒng)的現(xiàn)狀分析

測震JOPENS系統(tǒng)，是一套能夠?qū)崿F(xiàn)地震臺網(wǎng)數(shù)據(jù)實施傳輸處理并對地震進行自動速報的系統(tǒng)。自2006年廣東省地震局推出該系統(tǒng)的1.0版本以來，經(jīng)過不斷的升級改造，JOPENS系統(tǒng)在2015年已經(jīng)更新至6.0版本。JOPENS系統(tǒng)具有地震速報、編目和數(shù)據(jù)服務(wù)功能，實現(xiàn)區(qū)域地震臺網(wǎng)與中國地震系統(tǒng)采用開源的MySQL數(shù)據(jù)庫作為數(shù)據(jù)持久化存儲，包括地震事件數(shù)據(jù)、地震目錄、震相，臺站信息以及海量的地震波形數(shù)據(jù)?？紤]到在地震應(yīng)急處置平臺中，數(shù)據(jù)庫管理的統(tǒng)一化將有效提升數(shù)據(jù)共享交換效率，希望能將JOPES系統(tǒng)的MySQL數(shù)據(jù)庫整合到穩(wěn)定、高可用的Oracle核心業(yè)務(wù)數(shù)據(jù)庫中

2.2 基于MetaMatrix的異構(gòu)數(shù)據(jù)整合應(yīng)用

測震JOPENS系統(tǒng)的異構(gòu)數(shù)據(jù)無縫遷移，基于紅帽MetaMatrix中間件，分為3個不同階段來實現(xiàn)。

2.2.1 JOPENS持久層無縫遷移的中間件基礎(chǔ)

測震JOPENS系統(tǒng)是防震減災(zāi)體系的核心系統(tǒng)，處理觀測點數(shù)據(jù)采集器7×24小時的實時數(shù)據(jù)。因此，對于JOPENS系統(tǒng)持久層的數(shù)據(jù)遷移必須是一個無縫、平滑的操作，數(shù)據(jù)不能間斷。設(shè)計的遷移過程，需要有Oracle和MySQL兩種數(shù)據(jù)庫并行協(xié)作，用戶層的數(shù)據(jù)處理工作可以基于異構(gòu)數(shù)據(jù)庫進行，屏蔽掉底層存儲的異構(gòu)分布。數(shù)據(jù)整合基于紅帽MetaMatrix中間件，作為一款功能強大的數(shù)據(jù)平臺，MateMatix能整合各種異構(gòu)數(shù)據(jù)源的訪問，轉(zhuǎn)換原始數(shù)據(jù)和需求數(shù)據(jù)的語義差別，并提供滿足不同服務(wù)等級的性能要求[ 5 ]。

2.2.2 異構(gòu)數(shù)據(jù)源無縫遷移的實現(xiàn)

地震監(jiān)測核心JOPENS系統(tǒng)的異構(gòu)數(shù)據(jù)無縫遷移過程分為3個階段。

第一階段：由中間件平臺構(gòu)建出雙數(shù)據(jù)庫協(xié)同工作模式，并行提供數(shù)據(jù)服務(wù)。

該階段部署MetaMatrix數(shù)據(jù)服務(wù)平臺，在其上對JOPENS數(shù)據(jù)的接口進行重新開發(fā)，在數(shù)據(jù)持久層建立Oralce數(shù)據(jù)模式。其目的在于用MateMatrix的統(tǒng)一數(shù)據(jù)訪問接口取代原有的MySQL數(shù)據(jù)接口。原來應(yīng)用的JDBC和JPA的數(shù)據(jù)訪問服務(wù)由MateMatrix代理。為下一步進行的異構(gòu)數(shù)據(jù)無縫遷移做好準備。

第二階段：底層雙數(shù)據(jù)庫并行，數(shù)據(jù)持久層的功能重心轉(zhuǎn)移。

本階段旨在以應(yīng)用層覺察不到的方式讓Oracle承接數(shù)據(jù)庫的功能。在MetaMatrix平臺上重新配置測震實時波形數(shù)據(jù)的寫入請求，數(shù)據(jù)流向Oracle數(shù)據(jù)庫。同時，人機交互的數(shù)據(jù)請求分散到原來的MySQL數(shù)據(jù)庫和新增的Oracle數(shù)據(jù)庫。并且逐步讓Oracle核心數(shù)據(jù)庫逐步承接JOPENS的底層數(shù)據(jù)服務(wù)功能。原有MySQL數(shù)據(jù)庫中部分數(shù)據(jù)變成只讀，數(shù)據(jù)流程向Oracle數(shù)據(jù)庫里逐步轉(zhuǎn)移。JOPENS系統(tǒng)的基礎(chǔ)數(shù)據(jù)采用ETL工具進行遷移。

第三階段：數(shù)據(jù)源合并，Oracle數(shù)據(jù)庫替代MySQL數(shù)據(jù)庫承接持久層存儲。

經(jīng)過上一階段的雙數(shù)據(jù)庫并行，數(shù)據(jù)服務(wù)功能轉(zhuǎn)移，基礎(chǔ)數(shù)據(jù)遷移，本階段徹底停止MySQL數(shù)據(jù)庫的服務(wù)，Oracle數(shù)據(jù)庫成為JOPENS系統(tǒng)的底層數(shù)據(jù)管理。最后還需要將測震JOPENS系統(tǒng)中原有MySQL數(shù)據(jù)庫中所有的歷史連續(xù)波形數(shù)據(jù)和地震事件數(shù)據(jù)導(dǎo)入Oracle數(shù)據(jù)庫，即完成了物理數(shù)據(jù)源的最終歸一。

在本次對于JOPENS系統(tǒng)底層異構(gòu)數(shù)據(jù)的無縫遷移，采用基于MetaMatrix中間件的數(shù)據(jù)集成方式，對于邏輯數(shù)據(jù)源和物理數(shù)據(jù)源有效隔離，整個遷移過程，地震實時監(jiān)測，速報定位等工作從未發(fā)生過中斷。

2.3 數(shù)據(jù)遷移整合中關(guān)鍵技術(shù)的應(yīng)用

在地震應(yīng)急處置平臺中的數(shù)據(jù)集成，采用的是基于MetaMatrix中間件的異構(gòu)數(shù)據(jù)整合。整個遷移過程包括兩大關(guān)鍵技術(shù)，一是對于JOPENS系統(tǒng)的實時觀測數(shù)據(jù)訪問在數(shù)據(jù)持久層的切換；二是異構(gòu)歷史數(shù)據(jù)遷移以保證業(yè)務(wù)應(yīng)用的完整性。

測震JOPENS系統(tǒng)底層數(shù)據(jù)持久層切換是將對原有Mysql數(shù)據(jù)庫的訪問切換到MetaMatrix平臺提供的統(tǒng)一數(shù)據(jù)服務(wù)接口。JOPENS系統(tǒng)底層異構(gòu)數(shù)據(jù)遷移的有效、平滑依托持久層的成功切換。這項技術(shù)的實施包括在部署的MetaMatrix平臺上，設(shè)計MySQL和Oracle雙數(shù)據(jù)庫模式，通過配置的虛擬數(shù)據(jù)庫，完成雙數(shù)據(jù)庫模式之間的轉(zhuǎn)換。在對JOPENS系統(tǒng)應(yīng)用層的關(guān)鍵模塊，如流服務(wù)器、實時波形處理服務(wù)、速報定位與控制臺等的配置文件，修改其數(shù)據(jù)服務(wù)連接信息，由對MySQL的數(shù)據(jù)訪問改為對MetaMatrix統(tǒng)一數(shù)據(jù)接口訪問。

歷史異構(gòu)數(shù)據(jù)遷移，需要首先分析被遷移數(shù)據(jù)的庫表模式，數(shù)據(jù)質(zhì)量，了解SQL語句、存儲過程和函數(shù)等信息。然后選擇合適的Oracle數(shù)據(jù)庫類型，利用數(shù)據(jù)建模工具將DDL由MySQL數(shù)據(jù)庫轉(zhuǎn)換到Oracle數(shù)據(jù)庫。最后，需要對遷移到核心Oracle觀測數(shù)據(jù)庫的歷史數(shù)據(jù)進行內(nèi)容和效能驗證。采用腳本測試法，確保JOPENS系統(tǒng)的關(guān)鍵場景都能夠正確運行。

3 結(jié)論

本文通過對地震業(yè)務(wù)數(shù)據(jù)的分析，比較了數(shù)據(jù)倉庫與基于中間件兩種不同的異構(gòu)數(shù)據(jù)集成方法在地震應(yīng)急處置中的應(yīng)用，并對核心測震JOPENS系統(tǒng)的數(shù)據(jù)持久層，基于MetaMatrix中間件，進行了從MySQL到ORACLE的整合。由此，輔以應(yīng)急背景基礎(chǔ)數(shù)據(jù)的，核心觀測數(shù)據(jù)庫，將達成地震科學(xué)數(shù)據(jù)的有效共享，從而促進震后全面分析決策，科學(xué)高效地開展應(yīng)急響應(yīng)與救援決策。

參考文獻

[1]帥向華，姜立新，王棟梁.國家地震應(yīng)急指揮軟件系統(tǒng)研究[J].自然災(zāi)害學(xué)報，2009，18（3）：99-104.

[2]Jin Qiang， Yong Li Guanyu， Zhang Jun. Development and present situation of heterogeneous data integration technology [J].Computer Engineering and Application， 2002， 113（11）：45-50.

[3]Jiawei Han， Micheline Cambers. Data Mining concepts and Techniques[M].北京：機械工業(yè)出版社，2008：67-96.

[4]Zhou S， Wang P.The integration of multi-source heterogeneous data based on middleware[J]. Information Science and Engineering （ICISE）， 2009 1st International Conference on p： 2213-2216；

[5]MetaMatrix Enterprise Data Services Platform[EB/ OL]. https：//www.jboss.com/products/platforms/ dataservices，2010.