摘 要：文章對(duì)水利工程水庫(kù)運(yùn)行管理數(shù)據(jù)使用場(chǎng)景進(jìn)行分析，從水庫(kù)運(yùn)行管理數(shù)據(jù)分析的現(xiàn)狀和問題出發(fā)，發(fā)現(xiàn)傳統(tǒng)手段在數(shù)據(jù)處理和分析效率上存在瓶頸，無(wú)法滿足復(fù)雜的管理需求，利用互聯(lián)網(wǎng)相關(guān)大數(shù)據(jù)開源組件（DataX、Dinky、Doris、MinIO）對(duì)水利工程水庫(kù)運(yùn)行管理的數(shù)據(jù)平臺(tái)進(jìn)行了建設(shè)研究。通過大壩安全監(jiān)測(cè)數(shù)據(jù)極值取值場(chǎng)景實(shí)例應(yīng)用，驗(yàn)證數(shù)據(jù)平臺(tái)的有效性和實(shí)用性。

關(guān)鍵詞：水利工程；數(shù)據(jù)平臺(tái)；大數(shù)據(jù)；數(shù)據(jù)分析

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2024）13-0096-07

Research on the Construction of Data Platform Based on Operational

Management Data in Hydraulic Engineering

LIANG Yuanxiang1， ZHANG Junhui1，2， LI Yongsheng1， SHEN Chaoqun1， PEI Shuai1

（1.Yunhe（Henan）Information Technology Co.， Ltd.， Zhengzhou 450003， China;

2.Yellow River Engineering Consulting Co.， Ltd.， Zhengzhou 450003， China）

Abstract： The paper analyzes the usage scenarios of reservoir operational management data in hydraulic engineering. Starting from the current state and issues of reservoir operational management data analysis， it is found that traditional methods face bottlenecks in data processing and analysis efficiency， unable to meet complex management requirements. The research focuses on the construction of a data platform for the reservoir operational management of hydraulic engineering， utilizing internet-related Big Data open-source compmqnBWWmHb1FzH5did/zsi0WMsOuX68LHq8EyiXmriag=onents such as DataX， Dinky， Doris， and MinIO. Through practical application examples in extreme value scenarios of dam safety monitoring data， the effectiveness and practicality of the data platform are validated.

Keywords： hydraulic engineering; data platform; Big Data; data analysis

0 引 言

隨著水利行業(yè)的快速發(fā)展和數(shù)字化轉(zhuǎn)型的推進(jìn)，對(duì)于數(shù)據(jù)的需求和依賴程度越來越高。堅(jiān)持?jǐn)?shù)字賦能。要求業(yè)務(wù)部門要善于用數(shù)據(jù)說話、用數(shù)據(jù)管理、用數(shù)據(jù)決策，推動(dòng)水利業(yè)務(wù)智能化，發(fā)揮數(shù)字化、網(wǎng)絡(luò)化、智能化對(duì)水 利現(xiàn)代化的加速器、催化劑作用，推進(jìn)水利決策科學(xué)化、水利治理管理精細(xì)化、水利公共服務(wù)高效化[1]。

數(shù)據(jù)底板[2]是流域數(shù)字化映射的成果、數(shù)字化場(chǎng)景構(gòu)建的基礎(chǔ)和實(shí)現(xiàn)山洪災(zāi)害監(jiān)測(cè)預(yù)報(bào)預(yù)警平臺(tái)“四預(yù)”功能的重要基礎(chǔ)和支撐載體。而大數(shù)據(jù)平臺(tái)的穩(wěn)定性和技術(shù)的先進(jìn)性是一切業(yè)務(wù)應(yīng)用的基礎(chǔ)條件[3]。且數(shù)字孿生水利工程管理系統(tǒng)以提升工程建設(shè)管理過程中數(shù)字化、網(wǎng)絡(luò)化、智能化為主線，以數(shù)字化場(chǎng)景、智慧化模擬、精準(zhǔn)化決策為路徑，以數(shù)字底板、模型平臺(tái)、業(yè)務(wù)應(yīng)用系統(tǒng)為支撐，實(shí)現(xiàn)工程建設(shè)管理過程中數(shù)字工程與物理工程同步仿真建設(shè)[4]。

水利數(shù)據(jù)平臺(tái)的建設(shè)可以整合和共享水利行業(yè)的數(shù)據(jù)資源，提高數(shù)據(jù)利用效率和數(shù)據(jù)質(zhì)量。然而建設(shè)高效、統(tǒng)一、開放的水資源數(shù)據(jù)管理系統(tǒng)，實(shí)現(xiàn)水資源多源數(shù)據(jù)融合面臨諸多挑戰(zhàn)[5]?；ヂ?lián)網(wǎng)業(yè)界通用做法通過數(shù)據(jù)平臺(tái)數(shù)據(jù)共享和整合，打破數(shù)據(jù)壁壘，消除“數(shù)據(jù)孤島”和“數(shù)據(jù)煙囪”，實(shí)現(xiàn)數(shù)據(jù)治理的統(tǒng)籌與協(xié)調(diào)，進(jìn)而提高數(shù)據(jù)資源的利用效率[6]。這不僅可以降低數(shù)據(jù)采集和處理的成本，還可以提高數(shù)據(jù)的價(jià)值和效益。

企業(yè)數(shù)字化轉(zhuǎn)型有利于提高企業(yè)的內(nèi)部控制質(zhì)量與盈利能力，從而有效緩解了市場(chǎng)不確定性與現(xiàn)金流預(yù)期不確定性對(duì)于企業(yè)固定資產(chǎn)投資的抑制作用，激勵(lì)了企業(yè)進(jìn)行固定資產(chǎn)投資[7]。數(shù)字化轉(zhuǎn)型是水利行業(yè)發(fā)展的必然趨勢(shì)，而水利數(shù)據(jù)平臺(tái)的建設(shè)是數(shù)字化轉(zhuǎn)型的重要支撐。通過數(shù)字化轉(zhuǎn)型，可以推動(dòng)水利行業(yè)的信息化水平提升，提高水利行業(yè)的競(jìng)爭(zhēng)力和可持續(xù)發(fā)展能力。水利數(shù)據(jù)平臺(tái)的建設(shè)可以為數(shù)字化轉(zhuǎn)型提供強(qiáng)大的數(shù)據(jù)支持，推動(dòng)水利行業(yè)的數(shù)字化轉(zhuǎn)型進(jìn)程。水利行業(yè)的發(fā)展、云計(jì)算技術(shù)的發(fā)展、數(shù)字化轉(zhuǎn)型的需求、數(shù)據(jù)共享和整合的需求以及提高管理效率和決策水平的需求。在這樣的背景下，水利數(shù)據(jù)平臺(tái)的建設(shè)變得越來越必要和緊迫，可以為水利行業(yè)的可持續(xù)發(fā)展提供強(qiáng)大的數(shù)據(jù)支持。

1 平臺(tái)整體架構(gòu)

在傳統(tǒng)的煙囪式IT架構(gòu)中，各系統(tǒng)從后端到前端相互獨(dú)立，緊耦合開發(fā)，導(dǎo)致系統(tǒng)臃腫、建設(shè)效率低、 無(wú)法快速響應(yīng)業(yè)務(wù)，且存在大量重復(fù)建設(shè)工作。為解決上述問題，需要整合出一個(gè)中間組織，為所有的項(xiàng)目提供一些公共資源。這個(gè)中間組織即為“中臺(tái)”，其中，匯聚數(shù)據(jù)資源，統(tǒng)一提供數(shù)據(jù)及相關(guān)服務(wù)的就是“數(shù)據(jù)平臺(tái)”[8]。

數(shù)據(jù)平臺(tái)的功能模塊包括數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)服務(wù)等。其中，數(shù)據(jù)采集模塊支持多種數(shù)據(jù)源的接入，如傳感器、發(fā)電站、氣象站等；數(shù)據(jù)處理模塊具備強(qiáng)大的數(shù)據(jù)處理能力，能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行快速分析和處理[9]；數(shù)據(jù)存儲(chǔ)模塊采用高性能的分布式存儲(chǔ)系統(tǒng)，確保數(shù)據(jù)的可靠性和完整性；數(shù)據(jù)服務(wù)則提供數(shù)據(jù)結(jié)果集及API接口調(diào)用，方便用戶進(jìn)行數(shù)據(jù)分析和決策。

數(shù)據(jù)平臺(tái)的技術(shù)實(shí)現(xiàn)，數(shù)據(jù)平臺(tái)采用先進(jìn)的數(shù)據(jù)采集和處理技術(shù)，能夠?qū)崟r(shí)監(jiān)測(cè)水庫(kù)的水位、流量、水質(zhì)等指標(biāo)，并將監(jiān)測(cè)數(shù)據(jù)傳輸?shù)綌?shù)據(jù)中心進(jìn)行處理和分析。同時(shí)，數(shù)據(jù)平臺(tái)還采用了可視化技術(shù)，將數(shù)據(jù)以直觀易懂的方式展示給用戶。此外，數(shù)據(jù)平臺(tái)還采用了安全技術(shù)，確保數(shù)據(jù)的安全性和可靠性。數(shù)據(jù)平臺(tái)的技術(shù)選型及基本功能架構(gòu)如圖1所示。

2 數(shù)據(jù)處理流程設(shè)計(jì)

數(shù)據(jù)平臺(tái)包括數(shù)據(jù)匯聚與融合、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算與應(yīng)用4部分內(nèi)容。建設(shè)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)資源管理，將各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行清洗、交換、處理和加載[10]。

2.1 數(shù)據(jù)采集

在大數(shù)據(jù)處理的流程中，數(shù)據(jù)采集是第一步。數(shù)據(jù)采集自各種來源，包括數(shù)據(jù)庫(kù)、社交媒體、物聯(lián)網(wǎng)設(shè)備等。這個(gè)過程需要用到各種數(shù)據(jù)抽取工具和技術(shù)，如ETL（Extract-Transform-Load）等，以從各種數(shù)據(jù)源中抽取、轉(zhuǎn)換和加載數(shù)據(jù)。

2.2 數(shù)據(jù)存儲(chǔ)

采集來的大量數(shù)據(jù)需要被安全、可靠地存儲(chǔ)起來，以供后續(xù)的計(jì)算和分析使用。這通常需要使用到分布式文件系統(tǒng)，結(jié)構(gòu)化數(shù)據(jù)使用Doris進(jìn)行存儲(chǔ)，非結(jié)構(gòu)化數(shù)據(jù)用MinIO存儲(chǔ)。這些存儲(chǔ)系統(tǒng)不僅提供了大規(guī)模的數(shù)據(jù)存儲(chǔ)能力，同時(shí)也保證了數(shù)據(jù)的安全性和可靠性。

2.3 計(jì)算處理

大數(shù)據(jù)的處理通常需要使用分布式計(jì)算框架，文章中使用Doris的計(jì)算能力。此框架可以處理大規(guī)模的數(shù)據(jù)，進(jìn)行實(shí)時(shí)的計(jì)算和分析。在這個(gè)過程中，數(shù)據(jù)清洗、數(shù)據(jù)去重、數(shù)據(jù)轉(zhuǎn)換等操作都會(huì)被執(zhí)行，以提高數(shù)據(jù)的質(zhì)量，為后續(xù)的數(shù)據(jù)分析提供準(zhǔn)確的基礎(chǔ)。

2.4 數(shù)據(jù)應(yīng)用

最后，數(shù)據(jù)分析的結(jié)果將被應(yīng)用到實(shí)際業(yè)務(wù)中，以支持決策和業(yè)務(wù)操作。這包括生成報(bào)告、提供數(shù)據(jù)服務(wù)等。同時(shí)，這個(gè)過程也需要持續(xù)監(jiān)控和優(yōu)化數(shù)據(jù)處理流程，以提高數(shù)據(jù)處理效率和質(zhì)量。數(shù)據(jù)平臺(tái)數(shù)據(jù)處理流程如圖2所示。

3 數(shù)據(jù)平臺(tái)構(gòu)建

本部署描述旨在闡述利用互聯(lián)網(wǎng)相關(guān)大數(shù)據(jù)開源組件（DataX、Dinky、Doris、MinIO）搭建水利行業(yè)數(shù)據(jù)平臺(tái)。該平臺(tái)將實(shí)現(xiàn)對(duì)水利行業(yè)數(shù)據(jù)的采集、存儲(chǔ)、處理、分析以支持水利行業(yè)的決策和業(yè)務(wù)發(fā)展，在部署過程中，充分考慮硬件和軟件環(huán)境的要求，確保系統(tǒng)的穩(wěn)定性和性能。

3.1 數(shù)據(jù)匯聚模塊搭建

基于DataX和Dinky開源組件，搭建數(shù)據(jù)平臺(tái)的數(shù)據(jù)匯聚功能模塊，實(shí)現(xiàn)了多數(shù)據(jù)源的高效采集和實(shí)時(shí)同步，確保了數(shù)據(jù)的準(zhǔn)確性和一致性，同時(shí)提供了可擴(kuò)展、高可用的數(shù)據(jù)匯聚解決方案，為業(yè)務(wù)決策提供有力支持。

3.1.1 DataX部署

基于阿里巴巴集團(tuán)開源DataX離線數(shù)據(jù)同步工具構(gòu)建，實(shí)現(xiàn)包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore（OTS）、MaxCompute（ODPS）、DRDS等在內(nèi)的各種異構(gòu)數(shù)據(jù)源之間高效的數(shù)據(jù)同步功能。

DataX3.0框架設(shè)計(jì)采用Framework+Plugin架構(gòu)，將數(shù)據(jù)源讀取和寫入抽象稱為Reader/Writer插件，納入到整個(gè)同步框架中。DataX Job模塊是單個(gè)作業(yè)的中樞管理節(jié)點(diǎn)，承擔(dān)了數(shù)據(jù)清理、子任務(wù)切分、TaskGroup管理等功能。DataX Job啟動(dòng)后，會(huì)根據(jù)不同源端的切分策略，將Job切分成多個(gè)小的Task（子任務(wù)），以便于并發(fā)執(zhí)行。接著DataX Job會(huì)調(diào)用Scheduler模塊，根據(jù)配置的并發(fā)數(shù)量，將拆分成的Task重新組合，組裝成TaskGroup（任務(wù)組）。每一個(gè)Task都由TaskGroup負(fù)責(zé)啟動(dòng)，Task啟動(dòng)后，會(huì)固定啟動(dòng)Reader→Channel→Writer線程來完成任務(wù)同步工作。DataX支持單機(jī)多線程模式完成同步作業(yè)，用以說明DataX的運(yùn)行流程、核心概念以及每個(gè)概念的關(guān)系，DataX作業(yè)生命周期的時(shí)序如圖3所示。

下載DataX安裝包上傳至服務(wù)器相應(yīng)目錄并解壓，運(yùn)行Python datax.py job.json查看DataX自檢結(jié)果，出現(xiàn)如圖4所示結(jié)果即為部署成功。

3.1.2 Dinky部署

Dinky基于開源Apache Flink組件構(gòu)建，它提供了一種基于變更數(shù)據(jù)FlinkCDC，基于變更數(shù)據(jù)捕獲（Change Data Capture）的方式，用于監(jiān)測(cè)并捕獲數(shù)據(jù)庫(kù)的變動(dòng)，如插入、更新和刪除等操作。核心思想是將這些變更按發(fā)生的順序完整記錄下來，并將這些信息寫入到消息中間件中，以便于其他服務(wù)進(jìn)行訂閱和消費(fèi)。同時(shí)，提供Flink實(shí)時(shí)流的計(jì)算能力，實(shí)時(shí)計(jì)算數(shù)據(jù)進(jìn)行寫入Doris。

FlinkCDC Connectors作為Apache Flink的一組源連接器，使用CDC從不同的數(shù)據(jù)庫(kù)中獲取變更。這種方式相比于傳統(tǒng)的基于查詢的CDC（如Sqoop、DataX等）具有明顯的優(yōu)勢(shì)，后者需要離線調(diào)度查詢作業(yè)進(jìn)行批處理，無(wú)法保障數(shù)據(jù)的實(shí)時(shí)性和一致性。FlinkCDC讀取機(jī)制如圖5所示。

將Dinky安裝包上傳至服務(wù)器相應(yīng)目錄并解壓，在對(duì)應(yīng)數(shù)據(jù)庫(kù)下執(zhí)行SQL目錄下的dlink.sql腳本初始化Dinky數(shù)據(jù)庫(kù)，執(zhí)行成功后，啟動(dòng)dlink應(yīng)用進(jìn)程sh auto.sh start打開登錄Dinky頁(yè)面如圖6所示。

3.2 數(shù)據(jù)中心模塊搭建

3.2.1 Doris部署

基于開源Doris [7]數(shù)據(jù)庫(kù)產(chǎn)品構(gòu)建水利工程運(yùn)行管理多維動(dòng)態(tài)數(shù)據(jù)中心，Doris是一款基于MPP技術(shù)的SQL分析型數(shù)據(jù)庫(kù)系統(tǒng)，能夠在海量數(shù)據(jù)的OLAP場(chǎng)景下提供毫秒級(jí)的查詢響應(yīng)性能。Doris從設(shè)計(jì)上來說，融合了Google Mesa的數(shù)據(jù)存儲(chǔ)模型、Apache的ORCFile存儲(chǔ)格式、Apache Impala查詢引擎和MySQL交互協(xié)議，是一個(gè)擁有先進(jìn)技術(shù)和先進(jìn)架構(gòu)的領(lǐng)先設(shè)計(jì)產(chǎn)品。

在架構(gòu)方面，Doris只有兩類進(jìn)程：一類是FE，可以理解為Doris的管理節(jié)點(diǎn)，主要負(fù)責(zé)用戶請(qǐng)求的接入、查詢計(jì)劃的解析、元數(shù)據(jù)的存儲(chǔ)和集群管理相關(guān)工作；另一類是BE，主要負(fù)責(zé)數(shù)據(jù)存儲(chǔ)、查詢計(jì)劃的執(zhí)行。這兩類進(jìn)程都是可以橫向擴(kuò)展的。除此之外，Doris不依賴任何第三方系統(tǒng)（如HDFS、Zookeeper等）。這種高度集成的架構(gòu)設(shè)計(jì)極大地降低了運(yùn)維成本。Doris查詢引擎原理如圖7所示。

Doris部署選擇三臺(tái)服務(wù)器進(jìn)行集群部署，其中FE，BE在一臺(tái)服務(wù)器上進(jìn)行混部，其余兩臺(tái)服務(wù)器單獨(dú)部署B(yǎng)E，下載Doris安裝包并解壓得到以下目錄（三臺(tái)服務(wù)器分別執(zhí)行相同操作），修改fe.conf＼be.conf文件指定priority_networks為本地IP，啟動(dòng)fe_start.sh、be_start.sh后登錄FE頁(yè)面，如圖8所示。

3.2.2 MinIO部署

基于Apache License v2.0開源協(xié)議的分布式文件系統(tǒng)MinIO構(gòu)建水利工程非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)，用來保存海量的雷達(dá)云圖、衛(wèi)星變化圖斑、監(jiān)控視頻、BIM、GIS等數(shù)據(jù)。由于采用Golang實(shí)現(xiàn)，服務(wù)端可以工作在Windows、Linux、OS X和FreeBSD上。

MinIO是一種開源的分布式對(duì)象存儲(chǔ)系統(tǒng)，它可以在多個(gè)節(jié)點(diǎn)上存儲(chǔ)和管理大量的數(shù)據(jù)。MinIO的設(shè)計(jì)目標(biāo)是提供一高可用性、高性能、易于擴(kuò)展的對(duì)象存儲(chǔ)系統(tǒng)，以滿足現(xiàn)代應(yīng)用程序的需求。Minio的核心原理是分布式存儲(chǔ)。它將數(shù)據(jù)分散存儲(chǔ)在多個(gè)節(jié)點(diǎn)上，以提高可用性和性能。每人節(jié)點(diǎn)都是一個(gè)獨(dú)立的存儲(chǔ)單元，可以獨(dú)立地處理讀寫請(qǐng)求。當(dāng)一個(gè)節(jié)點(diǎn)出現(xiàn)故障時(shí)，其他節(jié)點(diǎn)可以接管它的工作，確保數(shù)據(jù)的可用性和一致性[11]。

系統(tǒng)部署過程：下載MinIO的二進(jìn)制文件，然后上傳到我們的服務(wù)器上，修改權(quán)限chmod +x minio，然后設(shè)置用戶名和密碼，注意，用戶名長(zhǎng)度至少3位，密碼長(zhǎng)度至少8位，然后可以通過nohup ./minio server --address ：9000 --console-address ：9001 /tools/MinIO/minio_server/data > /tools/MinIO/minio_server/data/minio.log &命令進(jìn)行后臺(tái)啟動(dòng)，訪問下控制臺(tái)服務(wù)器ip：9001，如圖9所示。

3.3 數(shù)據(jù)服務(wù)模塊

數(shù)據(jù)服務(wù)模塊借助第三方廠家商業(yè)產(chǎn)品ESB（Enterprise Service Bus）作為數(shù)據(jù)服務(wù)總線模塊進(jìn)行構(gòu)建，ESB在混合架構(gòu)中作為新老架構(gòu)間的通信橋梁支撐其服務(wù)整合與業(yè)務(wù)集成；同時(shí)，產(chǎn)品支持云環(huán)境下的快速伸縮，支持協(xié)議轉(zhuǎn)換、消息轉(zhuǎn)換、消息路由、服務(wù)編排、服務(wù)注冊(cè)、服務(wù)查找、服務(wù)監(jiān)控、熱更新、訪問控制等系列功能。

數(shù)據(jù)平臺(tái)集成其主要功能：

1）服務(wù)編排。ESB可以通過重復(fù)利用本地或遠(yuǎn)程已有的系統(tǒng)的不同協(xié)議的服務(wù)進(jìn)行組合從而生成新的服務(wù)，并可以通過不同的協(xié)議從ESB上暴露給其他業(yè)務(wù)系統(tǒng)，增強(qiáng)數(shù)據(jù)平臺(tái)應(yīng)對(duì)業(yè)務(wù)變化的能力，提高了數(shù)據(jù)服務(wù)效率

2）服務(wù)注冊(cè)。對(duì)服務(wù)目錄、服務(wù)轉(zhuǎn)換、路由等內(nèi)容的管理配置，用以管理、配置服務(wù)，包括服務(wù)細(xì)節(jié)，技術(shù)接口，告警策略等。為開發(fā)人員能快速發(fā)現(xiàn)滿足他們的服務(wù)，服務(wù)注冊(cè)提供了對(duì)企業(yè)服務(wù)的發(fā)布，目錄和分類功能。

4 實(shí)例應(yīng)用-監(jiān)測(cè)數(shù)據(jù)極值場(chǎng)景

4.1 極值取值場(chǎng)景分析

在水利工程監(jiān)測(cè)中，數(shù)據(jù)的極值取值對(duì)于判斷工程的安全狀況具有重要意義。例如，水位、滲流、滲壓、位移、流量等指標(biāo)的極值可能預(yù)示著潛在的安全風(fēng)險(xiǎn)。因此，通過對(duì)監(jiān)測(cè)數(shù)據(jù)進(jìn)行極值取值，可以及時(shí)發(fā)現(xiàn)并處理潛在的安全風(fēng)險(xiǎn)。當(dāng)數(shù)據(jù)量非常大時(shí)，傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)可能面臨查詢性能的問題。特別是在處理極值取值這樣的復(fù)雜查詢時(shí)，性能問題可能會(huì)更加明顯。由于極值取值需要處理的數(shù)據(jù)量通常很大，因此查詢可能需要花費(fèi)較長(zhǎng)的時(shí)間，甚至可能超時(shí)，并且會(huì)對(duì)數(shù)據(jù)庫(kù)帶來性能影響導(dǎo)致線上業(yè)務(wù)中斷等嚴(yán)重后果。

傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)通常是集中式的，這意味著隨著數(shù)據(jù)量的增加，單個(gè)數(shù)據(jù)庫(kù)服務(wù)器可能無(wú)法承受負(fù)載。這可能導(dǎo)致性能下降和故障。為了解決這個(gè)問題，關(guān)系型數(shù)據(jù)庫(kù)通常需要進(jìn)行分片，但這會(huì)增加復(fù)雜性并可能導(dǎo)致數(shù)據(jù)一致性問題。傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)通常無(wú)法有效地處理大數(shù)據(jù)。對(duì)于極值取值這樣的查詢，可能需要掃描大量的數(shù)據(jù)，這可能會(huì)超出傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的處理能力。

4.2 Doris極值取值場(chǎng)景應(yīng)用

極值提?。簞?chuàng)建Doris數(shù)據(jù)庫(kù)的Aggregate數(shù)據(jù)模型表，以基礎(chǔ)監(jiān)測(cè)數(shù)據(jù)表為例（涉及水利數(shù)據(jù)機(jī)密性，所示數(shù)據(jù)表信息及數(shù)據(jù)皆為測(cè)試數(shù)據(jù)）。假設(shè)業(yè)務(wù)有以下數(shù)據(jù)表模式，如表1所示。

以下是Doris Aggregate數(shù)據(jù)模型表建表語(yǔ)句，如圖10所示。

我們有以下導(dǎo)入數(shù)據(jù)（測(cè)試數(shù)據(jù)），如表2所示。

Doris執(zhí)行插入SQL語(yǔ)句后查詢gcaq.sensordata數(shù)據(jù)表，Doris最終數(shù)據(jù)存儲(chǔ)結(jié)果，如圖11所示。

當(dāng)我們根據(jù)創(chuàng)建的Aggregate模型表導(dǎo)入數(shù)據(jù)時(shí)，對(duì)于Key（`Mea_id`， `Mea_code`， `Project_site`， `Mea_date`）列相同的行會(huì)聚合，而Value列會(huì)按照設(shè)置的AggregationType 進(jìn)行聚合?？梢钥吹奖O(jiān)測(cè)ID：1，只剩下了一行聚合后的數(shù)據(jù)，最后監(jiān)測(cè)時(shí)間已經(jīng)變?yōu)椋?023-09-01 07：00：00、X軸位置最大值為：345.765、Y軸位置最大值為：545.123。

AggregationType目前有以下四種聚合方式：1）SUM（求和），多行的Value進(jìn)行累加。2）REPLACE（替代），下一批數(shù)據(jù)中的Value會(huì)替換之前導(dǎo)入過的行中的Value。3）MAX，保留最大值。4）MIN，保留最小值。插入即所得，在全量數(shù)據(jù)極值獲取場(chǎng)景中大大提高了查詢效率，解約了時(shí)間成本。通過DorisAggregate模型表，我們可以利用Doris的分布式計(jì)算能力，快速提取出數(shù)據(jù)的極值。

通過以上分析，我們可以看到基于Doris的水利工程監(jiān)測(cè)數(shù)據(jù)極值取值場(chǎng)景實(shí)踐應(yīng)用具有很大的潛力。通過利用Doris的高性能、高可用性、高擴(kuò)展性等特點(diǎn)，我們可以快速處理和分析海量的水利工程監(jiān)測(cè)數(shù)據(jù)，提取出極值，及時(shí)發(fā)現(xiàn)并處理潛在的安全風(fēng)險(xiǎn)。這將有助于保障水利工程的安全運(yùn)行，提高水資源管理的效率和質(zhì)量。

5 結(jié) 論

數(shù)據(jù)平臺(tái)的技術(shù)實(shí)現(xiàn)包括數(shù)據(jù)采集技術(shù)、數(shù)據(jù)處理技術(shù)、數(shù)據(jù)存儲(chǔ)技術(shù)和數(shù)據(jù)可視化技術(shù)等。其中，數(shù)據(jù)采集技術(shù)采用FlinkCDC、DataX技術(shù)，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)采集和傳輸；數(shù)據(jù)處理技術(shù)采用分布式計(jì)算和內(nèi)存計(jì)算等技術(shù)，實(shí)現(xiàn)對(duì)大量數(shù)據(jù)的快速處理和分析；數(shù)據(jù)存儲(chǔ)技術(shù)采用分布式存儲(chǔ)對(duì)象存儲(chǔ)和數(shù)據(jù)庫(kù)技術(shù)，確保數(shù)據(jù)的可靠性和完整性。

通過介紹數(shù)據(jù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)，包括整體架構(gòu)、功能模塊和技術(shù)實(shí)現(xiàn)等，說明了數(shù)據(jù)平臺(tái)的有效性和實(shí)用性。最后，通過實(shí)例應(yīng)用表明了數(shù)據(jù)平臺(tái)在實(shí)際水庫(kù)運(yùn)行管理中的應(yīng)用效果和貢獻(xiàn)。因此，通過以上構(gòu)建方法去構(gòu)建一個(gè)智慧水利工程水庫(kù)運(yùn)行管理的數(shù)據(jù)平臺(tái)是必要的且可行的?？梢酝ㄟ^平臺(tái)采集、計(jì)算、分析等充分利用水庫(kù)運(yùn)行的各種數(shù)據(jù)，提高水庫(kù)運(yùn)行管理的效率和水平，為保障人民生命財(cái)產(chǎn)安全和經(jīng)濟(jì)社會(huì)發(fā)展做出積極貢獻(xiàn)。

參考文獻(xiàn)：

[1] 蔡陽(yáng)，成建國(guó)，曾焱，等.加快構(gòu)建具有“四預(yù)”功能的智慧水利體系 [J].中國(guó)水利，2021（20）：2-5.

[2] 黃喜峰，劉啟，劉榮華，等.數(shù)字孿生山洪小流域數(shù)據(jù)底板構(gòu)建關(guān)鍵技術(shù)及應(yīng)用 [J].華北水利水電大學(xué)學(xué)報(bào)：自然科學(xué)版，2023，44（4）：17-26.

[3] 雍熙，魏旭強(qiáng)，賴明東.國(guó)家水資源監(jiān)控工程的大數(shù)據(jù)平臺(tái)建設(shè) [J].工程研究-跨學(xué)科視野中的工程，2021，13（1）：3-9.

[4] 高念高.數(shù)字孿生水利工程中的大數(shù)據(jù)應(yīng)用初探 [J].信息技術(shù)與標(biāo)準(zhǔn)化，2023（8）：87-91.

[5] 杜紅艷，薛惠鋒，侯俊杰，等.面向智慧水利的水資源數(shù)據(jù)融合探析 [J].中國(guó)水利，2018（23）：61-64.

[6] 陳希琳，翟曉汀.消除制造企業(yè)“數(shù)據(jù)孤島” 訪國(guó)家智能制造專家委員會(huì)委員、國(guó)家智能制造標(biāo)準(zhǔn)化委員會(huì)專家咨詢組專家蔣白樺 [J].經(jīng)濟(jì)，2023（5）：43-45.

[7] 賀仁駒，沈?yàn)I.數(shù)字化轉(zhuǎn)型促進(jìn)了企業(yè)固定資產(chǎn)投資嗎？[J].科學(xué)決策，2023（11）：127-139.

[8] 張潔，許建宏，肖偉.關(guān)于數(shù)據(jù)中臺(tái)建設(shè)思路的探討 [J].郵電設(shè)計(jì)技術(shù)，2021（8）：74-79.

[9] 舒玨淋，曹楊，遲雪，等.面向物聯(lián)網(wǎng)應(yīng)用的大數(shù)據(jù)平臺(tái)研究與設(shè)計(jì) [J].計(jì)算機(jī)時(shí)代，2023（7）：127-132.

[10] 熊擁軍，白瀚禎，張廷成.基于數(shù)據(jù)中臺(tái)的圖書館數(shù)據(jù)資產(chǎn)管理架構(gòu) [J].圖書館學(xué)研究，2023（8）：36-47.

[11] 趙靜靜，金慧峰，李霄.基于MinIO存儲(chǔ)的綜合實(shí)踐管理平臺(tái)開發(fā) [J].軟件，2022，43（10）：55-59.

作者簡(jiǎn)介：梁遠(yuǎn)想（1989—），男，漢族，河南濮陽(yáng)人，工程師，本科，研究方向：水利大數(shù)據(jù)技術(shù)應(yīng)用。