湯夢瑤 程斐斐

摘? 要：近年來，隨著大數(shù)據(jù)的快速發(fā)展，地震數(shù)據(jù)的采集、存儲(chǔ)和分析技術(shù)取得了巨大的進(jìn)步，海量數(shù)據(jù)得以充分利用。使用Spark SQL對(duì)實(shí)時(shí)爬取到的地震數(shù)據(jù)進(jìn)行分析，同時(shí)使用Pandas對(duì)歷史地震數(shù)據(jù)進(jìn)行離線分析，采用Django作為前端框架，結(jié)合ECharts進(jìn)行可視化，使用戶能夠直觀地了解地震活動(dòng)的變化和趨勢。這些研究成果有助于提高地震預(yù)測的準(zhǔn)確性，為相關(guān)領(lǐng)域的決策者提供有價(jià)值的信息。

關(guān)鍵詞：Spark；Python；地震數(shù)據(jù)；可視化展示

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2023）18-0020-06

Design and Implementation of a Spark-Based Seismic Data Analysis and Visualization System

TANG Mengyao， CHENG Feifei

（Huanghe S & T Universitry， Zhengzhou? 450061， China）

Abstract： In recent years， with the rapid development of big data， the collection， storage， and analysis technology of seismic data has made tremendous progress， allowing massive amounts of data to be fully utilized. Use Spark SQL to analyze real-time crawled seismic data， and use Pandas to offline analyze historical seismic data. Using Django as the front-end framework and ECharts for visualization， users can intuitively understand the changes and trends of seismic activity. These research results help improve the accuracy of seismic prediction and provide valuable information for decision-makers in related fields.

Keywords： Spark; Python; seismic data; visual display

0? 引? 言

地震是自然界中最古老和最具挑戰(zhàn)性的現(xiàn)象之一，它可能會(huì)對(duì)人類社會(huì)造成嚴(yán)重的傷害和損失，因此，對(duì)地震的分析和可視化至關(guān)重要。地震數(shù)據(jù)是一種由地震學(xué)家收集的用于描述地震活動(dòng)的數(shù)據(jù)，它涵蓋了地震發(fā)生地點(diǎn)、時(shí)間、深度、強(qiáng)度等信息。利用這些數(shù)據(jù)，研究人員可以更好地了解地震的情況，從而提供更準(zhǔn)確的預(yù)測和解決方案。

1? 概? 述

本文研究了如何使用Spark來進(jìn)行地震數(shù)據(jù)的分析以及可視化。首先，介紹了利用Spark平臺(tái)對(duì)Python爬取的地震數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，使用Pandas對(duì)歷史地震數(shù)據(jù)進(jìn)行離線分析，并通過Django作為前端框架和ECharts進(jìn)行可視化展示的方法。其次，我們采用Python編寫爬蟲程序從地震監(jiān)測站獲取地震數(shù)據(jù)，使用Spark SQL對(duì)數(shù)據(jù)進(jìn)行分析。同時(shí)，我們還使用Pandas對(duì)歷史地震數(shù)據(jù)進(jìn)行深入分析，包括地震強(qiáng)度、深度等指標(biāo)的綜合分析，并對(duì)地震活動(dòng)進(jìn)行可視化展示，以便更好地理解地震趨勢和規(guī)律。最后，我們使用Django作為Web框架，將分析結(jié)果通過ECharts進(jìn)行可視化展示，使用戶能夠直觀地了解地震活動(dòng)的變化和趨勢。研究成果有助于提高地震預(yù)測的準(zhǔn)確性，為相關(guān)領(lǐng)域的決策提供有價(jià)值的信息。

2? 相關(guān)技術(shù)介紹

2.1? Spark RDD

Spark的核心是彈性分布式數(shù)據(jù)集RDD。RDD是一種分布式計(jì)算框架，它可以將任務(wù)分解為小的、可并行處理的塊，并在多個(gè)機(jī)器上并行處理這些塊，從而顯著加快數(shù)據(jù)處理的速度。具體來說，RDD通過將作業(yè)拆分為可并行處理的塊，并在多個(gè)機(jī)器上并行處理這些塊，以實(shí)現(xiàn)并行計(jì)算。每個(gè)塊都是一個(gè)只讀的RDD，可以在其上執(zhí)行作業(yè)，并且只能通過在其他RDD上執(zhí)行批量操作來創(chuàng)建新的RDD。通過這種方式，可以加快數(shù)據(jù)處理的速度。

RDD本質(zhì)上是一個(gè)可讀的分區(qū)記錄集，一個(gè)RDD可以包含多個(gè)分區(qū)，一個(gè)分區(qū)是一個(gè)dataset片段。當(dāng)一個(gè)RDD的分區(qū)最多只被一個(gè)Child RDD的一個(gè)分區(qū)使用，成為narrow dependency；如果多個(gè)Child RDD分區(qū)都可以依賴，則稱為wide dependency。

在Spark程序中，主要通過操作RDD提供的接口，如map、remove、update、filter等，實(shí)現(xiàn)數(shù)據(jù)的批處理。在RDD操作數(shù)據(jù)流中，RDD提供了轉(zhuǎn)換和動(dòng)作兩種類型的操作。

1）兩種創(chuàng)建方式。從Hadoop的文件系統(tǒng)（或者Hadoop兼容的其他存儲(chǔ)系統(tǒng)，比如HBase）讀取，然后創(chuàng)建對(duì)象RDD。從父RDD轉(zhuǎn)換變成新的RDD。

2）RDD分為兩種操作算子類型。轉(zhuǎn)換（Transformation）是將RDD中的元素轉(zhuǎn)換為新的RDD或?qū)⒃糝DD轉(zhuǎn)換為新的RDD的操作。動(dòng)作（Action）是在RDD上執(zhí)行的操作，它可以在RDD上執(zhí)行一些基本的操作，如添加、刪除、更新等。Spark提供了幾種不同類型的動(dòng)作操作。Transformation算子和Action算子。Transformation操作會(huì)由一個(gè)RDD生成一個(gè)新的RDD。Transformation操作是延遲計(jì)算的，也就是說從一個(gè)RDD轉(zhuǎn)換生成另一個(gè)RDD的轉(zhuǎn)換操作不是馬上執(zhí)行，需要等到Actions操作時(shí)，才真正開始運(yùn)算。Action操作會(huì)對(duì)RDD計(jì)算出一個(gè)結(jié)果，并把結(jié)果返回到驅(qū)動(dòng)器程序中，或把結(jié)果存儲(chǔ)到外部存儲(chǔ)系統(tǒng)（如HDFS）中。

2.2? Spark SQL

Spark SQL（Spark SQL提供了一種用于執(zhí)行SQL語句的API）是一種用于執(zhí)行關(guān)系型數(shù)據(jù)庫操作的API。它允許您執(zhí)行各種SQL語句，包括創(chuàng)建表、插入、更新和刪除數(shù)據(jù)等。Spark SQL提供了多種類型的RDD，包括數(shù)據(jù)幀（DataFrame）、行（Row）和列（Column）。數(shù)據(jù)幀是一種基本的RDD，它包含一個(gè)或多個(gè)表，每個(gè)表都是一個(gè)DataFrame。行是DataFrame中的一行，而列是DataFrame中的一列。

DataFrame是一個(gè)分布式的數(shù)據(jù)集合，是一個(gè)非常靈活的數(shù)據(jù)存儲(chǔ)格式，可以存儲(chǔ)從R語言中的數(shù)據(jù)集到關(guān)系數(shù)據(jù)庫中的表格等多種類型的數(shù)據(jù)。它支持多維數(shù)組、數(shù)值型、分類型、日期型等數(shù)據(jù)類型。通過調(diào)用獲得DataFrame的內(nèi)容作為RDD返回的RDD方法，可以將DataFrame轉(zhuǎn)換為RDD，并且它們之間的數(shù)據(jù)是互相獨(dú)立的。

3? 系統(tǒng)功能需求分析

本文主要選擇Spark大數(shù)據(jù)計(jì)算框架為計(jì)算引擎進(jìn)行數(shù)據(jù)計(jì)算分析，從宏觀角度可將系統(tǒng)功能模塊拆分為以下幾個(gè)部分：

1）數(shù)據(jù)生成模塊。在沒有真實(shí)業(yè)務(wù)的情況下，實(shí)時(shí)數(shù)據(jù)部分能夠模擬用戶搜索真實(shí)的場景所產(chǎn)生的日志數(shù)，離線的數(shù)據(jù)量要大、并且數(shù)據(jù)具有有效性。

2）采集模塊。能實(shí)現(xiàn)對(duì)實(shí)時(shí)地震臺(tái)站數(shù)據(jù)采集，離線數(shù)據(jù)。

3）存儲(chǔ)模塊。要保證數(shù)據(jù)存儲(chǔ)的安全性，其次是盡可能地使用低成本實(shí)現(xiàn)高效存儲(chǔ)。

4）計(jì)算模塊。從數(shù)據(jù)流向分析，要能對(duì)實(shí)時(shí)的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。其次要能對(duì)采集的離線數(shù)據(jù)進(jìn)行Spark分析，并且可以自定義查看不同年份的分析結(jié)果。

5）可視化模塊。要能直觀、快速、優(yōu)雅地對(duì)離線和實(shí)時(shí)計(jì)算的結(jié)果進(jìn)行圖標(biāo)展示，使用用戶能簡潔、清洗的分析結(jié)果。

6）用戶登錄模塊。系統(tǒng)運(yùn)行起來后，用戶可以通過登錄賬號(hào)密碼進(jìn)入系統(tǒng)進(jìn)行功能使用。

7）用戶管理。系統(tǒng)開發(fā)完成后，對(duì)于管理員和普通用戶進(jìn)行權(quán)限控制，不同的權(quán)限訪問的功能不一樣。

4? 系統(tǒng)總體設(shè)計(jì)

4.1? 系統(tǒng)功能模塊設(shè)計(jì)

通過需求分析，從系統(tǒng)開發(fā)的角度可將系統(tǒng)設(shè)計(jì)為五個(gè)功能頁面模塊：用戶、管理員、實(shí)時(shí)數(shù)據(jù)分析、離線數(shù)據(jù)分析、個(gè)人設(shè)置，圖1展示了系統(tǒng)功能框架圖。

1）用戶。普通用戶具有最簡單的注冊、登錄、退出功能，沒有權(quán)限訪問用戶管理界面，可以預(yù)防用戶信息被隨意更改。

2）管理員。對(duì)用戶進(jìn)行使用的權(quán)限管理，管理員有權(quán)限訪問和修改用戶的信息，提升系統(tǒng)訪問的安全性，保證系統(tǒng)的內(nèi)部使用，防止數(shù)據(jù)的泄漏。

3）實(shí)時(shí)數(shù)據(jù)分析。將實(shí)時(shí)計(jì)算的結(jié)果通過圖表進(jìn)行動(dòng)態(tài)的展示，打造實(shí)時(shí)數(shù)據(jù)監(jiān)控大屏，直觀的觀察發(fā)現(xiàn)實(shí)時(shí)搜索中存在的問題。

4）離線數(shù)據(jù)分析。分別是針對(duì)重大地震次數(shù)、地震深度、地震級(jí)別、地震位置的可視化。

5）個(gè)人設(shè)置。用戶登錄進(jìn)入系統(tǒng)，對(duì)個(gè)人的頭像、昵稱、密碼、密碼等信息進(jìn)行修改管理，實(shí)現(xiàn)用戶個(gè)性化。

4.2? 系統(tǒng)整體架構(gòu)設(shè)計(jì)

通過需求分析，本系統(tǒng)從技術(shù)架構(gòu)角度設(shè)計(jì)規(guī)劃了六個(gè)層面，分別是前端UI、展示層、業(yè)務(wù)層、計(jì)算層、數(shù)據(jù)庫、操作系統(tǒng)層。圖2展示了系統(tǒng)的架構(gòu)圖。

1）展示層和前端UI，主要是利用前端頁面相關(guān)技術(shù)和ECharts對(duì)業(yè)務(wù)層所傳輸?shù)闹笜?biāo)數(shù)據(jù)進(jìn)行可視化展示，從而能清晰、直觀的反應(yīng)潛在問題。

2）業(yè)務(wù)層，該層主要介紹了項(xiàng)目后端開發(fā)的主要方式以及最終所實(shí)現(xiàn)的相關(guān)的功能，起到了將數(shù)據(jù)傳輸?shù)角岸苏故緦拥淖饔谩?/p>

3）計(jì)算層，主要針對(duì)離線數(shù)據(jù)分析和實(shí)時(shí)數(shù)據(jù)分析，實(shí)時(shí)數(shù)據(jù)計(jì)算使用Spark SQL計(jì)算統(tǒng)計(jì)，離線部分使用Pandas進(jìn)行聚合計(jì)算。

4）數(shù)據(jù)庫，使用MySQL，用來存儲(chǔ)離線數(shù)據(jù)以及登錄用戶的信息。

5）操作系統(tǒng)層，是系統(tǒng)運(yùn)行的最基本的環(huán)境，在Windows系統(tǒng)中用于搭建Spark環(huán)境以運(yùn)行需求。

4.3? 數(shù)據(jù)表結(jié)構(gòu)設(shè)計(jì)

對(duì)用戶的信息存儲(chǔ)到MySQL中，用戶系統(tǒng)的登錄校驗(yàn)以及數(shù)據(jù)可視化，以下是系統(tǒng)的表結(jié)構(gòu)詳細(xì)設(shè)計(jì)。

用戶基本表，如表1所示，主要存儲(chǔ)用戶的賬號(hào)、密碼以及用戶的權(quán)限。

5? 可視化系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

地震數(shù)據(jù)實(shí)時(shí)分析可視化部分使用Python語言執(zhí)行django-admin start project命令搭建Django項(xiàng)目，使用PyMySQL配置連接MySQL數(shù)據(jù)庫進(jìn)行后端開發(fā)，前端使用HTML、CSS、JQuery進(jìn)行開發(fā)，將ECharts的相關(guān)文件導(dǎo)入Static文件夾下并引入使用，配合HTML進(jìn)行圖表設(shè)計(jì)，用戶通過賬號(hào)和密碼登錄進(jìn)入系統(tǒng)，管理員有權(quán)限對(duì)用戶信息進(jìn)行管理，進(jìn)入主頁后用戶點(diǎn)擊相關(guān)的指標(biāo)分析，后端從MySQL中查詢相關(guān)數(shù)據(jù)，通過Django模板對(duì)HTML渲染組合ECharts.js實(shí)現(xiàn)對(duì)計(jì)算結(jié)果的可視化展示。對(duì)于實(shí)時(shí)數(shù)據(jù)可視化，使用Ajax異步獲取數(shù)據(jù)動(dòng)態(tài)的刷新ECharts，從而實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)的動(dòng)可視化。

5.1? 實(shí)時(shí)數(shù)據(jù)具體實(shí)現(xiàn)

實(shí)時(shí)數(shù)據(jù)可視化采用Spark SQL進(jìn)行分析處理，使得數(shù)據(jù)分析速度更快。對(duì)實(shí)時(shí)數(shù)據(jù)可視化界面展示，如圖3所示。

5.2? 離線數(shù)據(jù)具體實(shí)現(xiàn)

離線數(shù)據(jù)分析采用Spark進(jìn)行分析，與實(shí)時(shí)數(shù)據(jù)分析作對(duì)比。

對(duì)重大地震次數(shù)分析界面展示，如圖4所示。由圖可知1965—2016年期間，每年發(fā)生重大地震的次數(shù)均超過200次，且總體趨勢上，隨著年份的增加地震發(fā)生的頻率也提高了，從2012年開始有所回落，但每年發(fā)生地震次數(shù)仍達(dá)到400以上?？梢暬Y(jié)果如圖4所示。從圖中我們可以看出，每月不同年份發(fā)生地震的次數(shù)基本都在[10，60]這一區(qū)間，僅有個(gè)別年份的個(gè)別月份地震發(fā)生頻率激增，最高超過200次。

對(duì)地震深度頁面分析界面展示，如圖5所示?？梢娬鸺?jí)8.0以上的地震大部分震源深度較淺，但從整體看地震的震級(jí)與震源深度并不存在明顯的線性關(guān)系。在[250，500]這一區(qū)間內(nèi)，地震的強(qiáng)度和頻率明顯少于其他深度區(qū)間，反而在深度約60以下為地震高發(fā)區(qū)，且震級(jí)強(qiáng)度也分布較廣。查資料發(fā)現(xiàn)震級(jí)只與該地震釋放的能量有關(guān)，而通常震源深度越淺，造成的破壞就越大。

對(duì)地震級(jí)別進(jìn)行分析中可知，地震等級(jí)在[5—5.9]的地震發(fā)生的次數(shù)最多，地震等級(jí)主要分布在5.5級(jí)。具體分析結(jié)果如圖6所示。

在對(duì)地震位置進(jìn)行分析可知，如圖7所示，可以清楚地看出重大地震主要分布在地震帶上，且可以通過年份進(jìn)行查詢，查看不同年份地震帶的分布。由圖中可明顯看出不同的地震帶把地球明顯分成好幾個(gè)板塊，環(huán)太平洋火山地震帶上，地震發(fā)生頻率和震級(jí)都較其他地震帶要高。地圖支持放大縮小，且鼠標(biāo)指針停在某個(gè)點(diǎn)上時(shí)可以顯示地震等級(jí)信息。

5.3? 用戶模塊具體實(shí)現(xiàn)

用戶登錄界面，如圖8所示，此頁面支持新用戶的注冊和老用戶的登錄功能。老用戶通過填寫用戶賬號(hào)和密碼進(jìn)行登錄，新用戶通過注冊按鈕可以跳轉(zhuǎn)到新用戶注冊頁面進(jìn)行注冊，注冊完成之后，返回此頁面進(jìn)行系統(tǒng)登錄。

用戶管理界面，如圖9所示，用戶管理界面主要有用戶搜索功能，用戶基本信息查看、修改功能，用戶增加、刪除功能等。其中，用戶搜索功能支持使用用戶賬號(hào)搜索，用戶手機(jī)號(hào)搜索，用戶權(quán)限搜索，使搜索功能更加完整，實(shí)現(xiàn)個(gè)性化搜索。

6? 結(jié)? 論

本系統(tǒng)在設(shè)計(jì)方面，采用Python編程語言數(shù)據(jù)進(jìn)行實(shí)時(shí)爬取，用Spark SQL對(duì)爬取到的實(shí)時(shí)數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，使用Pandas對(duì)離線數(shù)據(jù)進(jìn)行數(shù)據(jù)分析；接著使用Django實(shí)現(xiàn)了地震數(shù)據(jù)的可視化顯示，使操作員能夠在計(jì)算機(jī)上對(duì)地震發(fā)生的地點(diǎn)、地震的等級(jí)有較為直觀且詳細(xì)的了解；同時(shí)，系統(tǒng)能夠?qū)崿F(xiàn)簡單的用戶登錄、添加、刪除等功能。

Spark在地震數(shù)據(jù)分析和可視化方面取得了很大的進(jìn)步，它能夠提供更加準(zhǔn)確和可靠的預(yù)測和解決方案，從而更好地保護(hù)人民的安全。未來，Spark在地震數(shù)據(jù)分析和可視化方面仍將有很大的發(fā)展前景。

參考文獻(xiàn)：

[1]? 廉西猛.基于Spark的地震數(shù)據(jù)重建方法的并行化 [J].科學(xué)技術(shù)與工程，2023，23（8）：3168-3176.

[2] 新房，劉義卿.基于分布式系統(tǒng)的地震數(shù)據(jù)處理及可視化研究 [J].科學(xué)技術(shù)創(chuàng)新，2021（35）：64-66.

[3] 王鵬輝. 基于流式處理的地震大數(shù)據(jù)系統(tǒng)的研究與設(shè)計(jì) [D].濟(jì)南：山東交通學(xué)院，2022.

[4] 王志浩.地震大數(shù)據(jù)機(jī)器學(xué)習(xí)平臺(tái) [D].廊坊：防災(zāi)科技學(xué)院，2021.

[5] 朱麗萍，王建東，李洪奇，等.Spark框架下地震屬性處理方法研究 [J].計(jì)算機(jī)與數(shù)字工程，2018，46（8）：1620-1626.

[6] 檀照望.基于Spark的大數(shù)據(jù)處理可視化工具的設(shè)計(jì)和實(shí)現(xiàn) [D].北京：北京郵電大學(xué)，2017.

[7] 劉禹，李勝樂，李力.大數(shù)據(jù)平臺(tái)的測震數(shù)據(jù)流實(shí)時(shí)可視化系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn) [J].測繪地理信息，2022，47（4）：77-81.

[8] 吳春毅.云計(jì)算下針對(duì)大數(shù)據(jù)的大規(guī)模任務(wù)處理關(guān)鍵問題研究 [D].長春：吉林大學(xué)，2019.

[9] YADAV M L. Query Execution Time Analysis Using Apache Spark Framework for Big Data：A CRM Approach [J].Journal of Information & Knowledge Management，2022，21（4）：1-17.

[10] IQBAL M M，LATHA K. A Parallel Approach for Sentiment Analysis on Social Networks Using Spark [J].Intelligent Automation & Soft Computing，2023，35（2）：1831-1842.

[11] XIONG S Y，JIANG K W，WU R S. Research on Rule Matching Model Based on Spark [J].Journal of Physics：Conference Series，2022，2303（1）.

作者簡介：湯夢瑤（2000—），女，漢族，河南商丘人，本科在讀，研究方向：數(shù)據(jù)可視化；程斐斐（1988—），女，漢族，河南焦作人，講師，碩士研究生，研究方向：大數(shù)據(jù)分析與研究。