向 陽(yáng)，杜 君

（中國(guó)中鐵大橋局集團(tuán)有限公司 武漢橋梁特種技術(shù)有限公司，武漢 430205）

橋梁在建成通車(chē)后，隨著溫度、濕度、風(fēng)速等自然氣候環(huán)境的侵害，以及日益增加的交通荷載，會(huì)導(dǎo)致橋梁逐漸老化、結(jié)構(gòu)性能不斷退化，嚴(yán)重時(shí)會(huì)引起限載通行、關(guān)閉交通甚至倒塌的嚴(yán)重后果，給人們的生命財(cái)產(chǎn)安全帶來(lái)危險(xiǎn)。因此，很多的橋梁安裝橋梁健康監(jiān)測(cè)系統(tǒng)，橋梁健康監(jiān)測(cè)系統(tǒng)通過(guò)安裝在橋梁上的溫度、撓度、索力、濕度、傾角、應(yīng)變、位移、振動(dòng)和風(fēng)速等傳感器實(shí)時(shí)采集監(jiān)測(cè)數(shù)據(jù)，將這些數(shù)據(jù)實(shí)時(shí)傳輸至后臺(tái)服務(wù)器，后臺(tái)專(zhuān)家系統(tǒng)根據(jù)相應(yīng)的閾值對(duì)其進(jìn)行預(yù)警及分析評(píng)估。其中，振動(dòng)、索力等采樣頻率較高，每秒至少采集1次、有的甚至高達(dá)上百次。平均一座橋梁上安裝100多個(gè)傳感器進(jìn)行實(shí)時(shí)監(jiān)測(cè)，傳感器每天采集的數(shù)據(jù)早就達(dá)到GB級(jí)別[1-9]。面對(duì)橋梁監(jiān)測(cè)傳感器網(wǎng)絡(luò)中的高速監(jiān)測(cè)數(shù)據(jù)流以及數(shù)據(jù)庫(kù)存儲(chǔ)的海量大數(shù)據(jù)，若在單個(gè)服務(wù)器上實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)及處理分析，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)已經(jīng)到達(dá)極限，并不能有效地存儲(chǔ)和分析處理這種級(jí)別的大數(shù)據(jù)，現(xiàn)在需要有效、可靠的大數(shù)據(jù)分析與處理方法，專(zhuān)門(mén)快速采集及海量存儲(chǔ)解析這些大量數(shù)據(jù)。因此，有必要對(duì)橋梁健康監(jiān)測(cè)系統(tǒng)中的大數(shù)據(jù)采集、存儲(chǔ)和分析處理做相應(yīng)的

研究[10-18]。

1 橋梁健康監(jiān)測(cè)系統(tǒng)中的大數(shù)據(jù)采集

1.1 橋梁監(jiān)測(cè)傳感器網(wǎng)絡(luò)中的高速數(shù)據(jù)流

數(shù)據(jù)流的定義：一個(gè)由有先后順序關(guān)系且個(gè)數(shù)隨時(shí)間不斷增加的元組構(gòu)成的數(shù)據(jù)集，如式（1）：

其中，ei是時(shí)刻ti出現(xiàn)的序列元素。橋梁健康監(jiān)測(cè)系統(tǒng)傳感器網(wǎng)絡(luò)中傳遞的傳感器監(jiān)測(cè)數(shù)據(jù)即為數(shù)據(jù)流，這些數(shù)據(jù)具有如下特點(diǎn)：

（1）傳感器數(shù)據(jù)流中的數(shù)據(jù)實(shí)時(shí)高速傳輸、轉(zhuǎn)瞬即逝，每個(gè)數(shù)據(jù)只能夠被“看”一次；

（2）傳感器數(shù)據(jù)流是無(wú)限的、源源不斷的；

（3）傳感器數(shù)據(jù)流中的數(shù)據(jù)規(guī)模很大。

1.2 基于時(shí)間片的滑動(dòng)窗口數(shù)據(jù)流查詢(xún)

面對(duì)橋梁監(jiān)測(cè)傳感器網(wǎng)絡(luò)中海量數(shù)據(jù)流的數(shù)據(jù)查詢(xún)，需要多次不斷地采集查詢(xún)傳感器，區(qū)別于對(duì)傳統(tǒng)數(shù)據(jù)庫(kù)的單次或者幾次查詢(xún)，屬于一種長(zhǎng)期不間斷實(shí)時(shí)查詢(xún)[18]。橋梁監(jiān)測(cè)傳感器網(wǎng)絡(luò)中的海量高速數(shù)據(jù)流可以采用基于時(shí)間片驅(qū)動(dòng)的滑動(dòng)窗口技術(shù)，滑動(dòng)窗口為計(jì)算機(jī)緩存，保存的是當(dāng)前時(shí)間周期間隙內(nèi)的最新數(shù)據(jù)序列。通過(guò)這種方式可以實(shí)現(xiàn)對(duì)橋梁監(jiān)測(cè)傳感器網(wǎng)絡(luò)中海量數(shù)據(jù)流的實(shí)時(shí)查詢(xún)采集。

時(shí)間片驅(qū)動(dòng)的滑動(dòng)窗口的定義：設(shè)S[t–T:t]為t時(shí)刻傳感器數(shù)據(jù)流S的滑動(dòng)窗口，Δt是時(shí)間片周期。若是S[t–T:t]于每一個(gè)Δt周期的結(jié)束時(shí)刻產(chǎn)生變化為S[t+Δt–T:t+Δt]，則稱(chēng)S[t–T:t]為時(shí)間片驅(qū)動(dòng)的滑動(dòng)窗口。時(shí)間片驅(qū)動(dòng)滑動(dòng)窗口每隔Δt固定的時(shí)間間隔更新一次，實(shí)際應(yīng)用中應(yīng)按照具體情況設(shè)置Δt數(shù)據(jù)的大小，根據(jù)理論要求及實(shí)踐規(guī)律，T值應(yīng)大于時(shí)間周期Δt。

1.3 K線(xiàn)圖

K線(xiàn)圖又稱(chēng)蠟燭圖，由股市的開(kāi)盤(pán)價(jià)和收盤(pán)價(jià)以及股市的最高價(jià)和最低價(jià)這4個(gè)數(shù)據(jù)組成，用于統(tǒng)計(jì)分析股價(jià)的漲跌趨勢(shì)，普遍運(yùn)用于股票證券市場(chǎng)。K線(xiàn)圖中的矩形實(shí)體有2種，其中，紅色實(shí)體是陽(yáng)線(xiàn)，綠色實(shí)體為陰線(xiàn)。X軸坐標(biāo)為時(shí)間，Y軸坐標(biāo)為監(jiān)測(cè)數(shù)據(jù)，將每天的陽(yáng)線(xiàn)陰線(xiàn)全部畫(huà)出即形成K線(xiàn)圖。如果實(shí)體表示的時(shí)間周期內(nèi)的結(jié)束值大于起始值，即監(jiān)測(cè)值增漲，則實(shí)體為紅色陽(yáng)線(xiàn)，相反則為綠色陰線(xiàn)。如果起始值與結(jié)束值大小相同，則為十字線(xiàn)。最高值和實(shí)體之間的線(xiàn)被稱(chēng)為上影線(xiàn)，最低值和實(shí)體間的線(xiàn)稱(chēng)為下影線(xiàn)。根據(jù)時(shí)間周期大小的不同，繪制小時(shí)K線(xiàn)圖、日K線(xiàn)圖和月K線(xiàn)圖等[19]。

面對(duì)橋梁監(jiān)測(cè)中實(shí)時(shí)采集數(shù)據(jù)流的查詢(xún)統(tǒng)計(jì)，例如，查詢(xún)時(shí)傳感器監(jiān)測(cè)的數(shù)據(jù)超出給定的閾值，則發(fā)出警報(bào)；統(tǒng)計(jì)某段時(shí)間內(nèi)，監(jiān)測(cè)數(shù)據(jù)的最大值、最小值等。只需要長(zhǎng)期保存監(jiān)測(cè)參數(shù)在每一個(gè)時(shí)間周期中的4個(gè)數(shù)據(jù)：起始值、最高值、最低值和結(jié)束值，如圖1所示，摒棄了周期中無(wú)需長(zhǎng)期保留數(shù)量龐大的中間值，只保留了4個(gè)關(guān)鍵數(shù)據(jù),具有數(shù)據(jù)存儲(chǔ)量小的特點(diǎn)，是監(jiān)測(cè)系統(tǒng)中處理海量數(shù)據(jù)流的一種好方法。同時(shí)，用K線(xiàn)圖描述監(jiān)測(cè)參數(shù)的方法，能實(shí)時(shí)形象地反映出監(jiān)測(cè)數(shù)據(jù)的波動(dòng)狀況。

圖1 傳感器網(wǎng)絡(luò)中的大數(shù)據(jù)采集K線(xiàn)圖

1.4 基于K線(xiàn)圖時(shí)間片驅(qū)動(dòng)的滑動(dòng)窗口數(shù)據(jù)流處理模型

圖2描述了一個(gè)基于K線(xiàn)圖時(shí)間片驅(qū)動(dòng)的滑動(dòng)窗口數(shù)據(jù)流查詢(xún)處理模型，用于實(shí)現(xiàn)橋梁健康監(jiān)測(cè)中的大數(shù)據(jù)采集。其具體工作原理流程：傳感器采集的數(shù)據(jù)流，通過(guò)數(shù)據(jù)緩沖區(qū)并添加到時(shí)間片滑動(dòng)窗口，不斷查詢(xún)窗口計(jì)算結(jié)果，自動(dòng)預(yù)警。流查詢(xún)處理器讀取采集每個(gè)時(shí)間片滑動(dòng)窗口數(shù)據(jù)流的K線(xiàn)圖關(guān)鍵數(shù)據(jù)（起始值，最高值，最低值，結(jié)束值）并上傳云端存入到海量存儲(chǔ)設(shè)備，滑動(dòng)窗口根據(jù)實(shí)際情況設(shè)置時(shí)間片周期，當(dāng)?shù)竭_(dá)固定時(shí)間片周期時(shí)，更新當(dāng)前K線(xiàn)圖概要數(shù)據(jù)，同時(shí)拋棄前一個(gè)周期的數(shù)據(jù)，并將最新的數(shù)據(jù)進(jìn)行上傳保存。

本文提出的這種基于K線(xiàn)圖時(shí)間片驅(qū)動(dòng)的滑動(dòng)窗口數(shù)據(jù)流處理模型，是將基于時(shí)間片的滑動(dòng)窗口數(shù)據(jù)流查詢(xún)與K線(xiàn)圖相結(jié)合，不僅實(shí)現(xiàn)了對(duì)橋梁監(jiān)測(cè)傳感器網(wǎng)絡(luò)中的海量數(shù)據(jù)流的實(shí)時(shí)快速采集，而且還通過(guò)K線(xiàn)圖較少的數(shù)據(jù)個(gè)數(shù)，快速、形象地反應(yīng)了橋梁數(shù)據(jù)流的變化趨勢(shì)及波動(dòng)狀況。

圖2 基于K線(xiàn)圖時(shí)間片驅(qū)動(dòng)的滑動(dòng)窗口數(shù)據(jù)流處理模型

2 橋梁健康監(jiān)測(cè)系統(tǒng)中的大數(shù)據(jù)存儲(chǔ)

2.1 橋梁健康監(jiān)測(cè)中的海量數(shù)據(jù)

橋梁健康監(jiān)測(cè)系統(tǒng)是對(duì)橋梁外部環(huán)境及結(jié)構(gòu)內(nèi)力狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)測(cè)采集，如環(huán)境溫濕度、應(yīng)變、振動(dòng)和索力等。其中，溫濕度屬于外部環(huán)境，變化周期較長(zhǎng)，測(cè)量周期可以是小時(shí)級(jí)別，因此數(shù)據(jù)量較小。但某些結(jié)構(gòu)內(nèi)力如振動(dòng)、索力等屬于變化周期較短的參數(shù)，采集頻率平均可以達(dá)到50 Hz，并要求每天24 h不間斷工作，才能實(shí)時(shí)反應(yīng)橋梁的內(nèi)力狀況。以某單個(gè)橋?yàn)槔?，其振?dòng)及索力監(jiān)測(cè)點(diǎn)總共達(dá)到100個(gè)，每個(gè)監(jiān)測(cè)點(diǎn)數(shù)據(jù)采集頻率為50次/s，精確度為16 bit，一天的純數(shù)據(jù)將近1 GB。同時(shí)，隨著監(jiān)測(cè)的橋梁數(shù)目的增多，以及對(duì)監(jiān)測(cè)數(shù)據(jù)長(zhǎng)年的累積存儲(chǔ)，橋梁監(jiān)測(cè)數(shù)據(jù)庫(kù)的存儲(chǔ)量將會(huì)超過(guò)TB，甚至達(dá)到PB級(jí)別。

傳統(tǒng)的單臺(tái)服務(wù)器存儲(chǔ)方式已經(jīng)不能滿(mǎn)足橋梁監(jiān)測(cè)日益增長(zhǎng)的數(shù)據(jù)量?jī)?chǔ)存需求。本文采用HDFS分布式存儲(chǔ)模型，解決海量數(shù)據(jù)存儲(chǔ)問(wèn)題。

2.2 HDFS分布式存儲(chǔ)模型

HDFS（Hadoop Distributed File System）是一種Hadoop大數(shù)據(jù)框架下的分布式文件系統(tǒng)，主要用于大數(shù)據(jù)的分布式存儲(chǔ)。HDFS實(shí)際上是由數(shù)百個(gè)甚至數(shù)千個(gè)廉價(jià)小型服務(wù)器組成的集群，通過(guò)眾多服務(wù)器一起實(shí)現(xiàn)數(shù)據(jù)的分布存儲(chǔ)，每個(gè)數(shù)據(jù)文件都至少有1個(gè)冗余備份，也就是每個(gè)數(shù)據(jù)文件都將至少被存儲(chǔ)2次，如果存數(shù)據(jù)的某個(gè)服務(wù)器發(fā)生了故障，至少還有1個(gè)備份數(shù)據(jù)，所以，HDFS具有高容錯(cuò)性。這比單獨(dú)使用一臺(tái)大型服務(wù)器在遇到故障時(shí)的成本付出要少得多，現(xiàn)在，如果某個(gè)服務(wù)器發(fā)生故障，只需要付出一臺(tái)廉價(jià)服務(wù)器的成本。

HDFS分布式存儲(chǔ)模型,如圖3所示。

（1）NameNode是一臺(tái)中心服務(wù)器，在整個(gè)集群系統(tǒng)中有且僅有一臺(tái)，是唯一用于管理所有的DataNode數(shù)據(jù)節(jié)點(diǎn)的服務(wù)器。

（2）每個(gè)DataNode節(jié)點(diǎn)為一臺(tái)數(shù)據(jù)存儲(chǔ)服務(wù)器，用于存儲(chǔ)數(shù)據(jù)文件以及相應(yīng)的冗余備份副本，并對(duì)數(shù)據(jù)進(jìn)行一些讀寫(xiě)操作。

（3）NameNode節(jié)點(diǎn)周期性地實(shí)時(shí)查詢(xún)每個(gè)DataNode節(jié)點(diǎn)的狀態(tài)，掌握每個(gè)數(shù)據(jù)塊存儲(chǔ)的服務(wù)器節(jié)點(diǎn)的位置等相關(guān)信息，并能知道節(jié)點(diǎn)是否需要維護(hù)。

圖3 HDFS分布式存儲(chǔ)模型圖

HDFS分布式存儲(chǔ)模型工作原理：用戶(hù)機(jī)Client通過(guò)向NameNode發(fā)送數(shù)據(jù)讀寫(xiě)請(qǐng)求，NameNode返回?cái)?shù)據(jù)塊存儲(chǔ)的DataNode節(jié)點(diǎn)位置，Client節(jié)點(diǎn)與DataNode節(jié)點(diǎn)進(jìn)行相應(yīng)的讀寫(xiě)操作。在整個(gè)HDFS集群系統(tǒng)中，NameNode起到核心管理作用。

通過(guò)HDFS分布式存儲(chǔ)模型，利用服務(wù)器集群分布式存儲(chǔ)的方式有效解決了橋梁健康監(jiān)測(cè)中的海量數(shù)據(jù)存儲(chǔ)問(wèn)題。

3 橋梁健康監(jiān)測(cè)系統(tǒng)中的大數(shù)據(jù)分析處理

3.1 Map/Reduce模型

Map/Reduce模型是一種用于大數(shù)據(jù)計(jì)算處理的軟件模型框架，其關(guān)鍵技術(shù)是“Map（映射）和Reduce（規(guī)約）”。將海量數(shù)據(jù)分割成多個(gè)獨(dú)立的輸入數(shù)據(jù)塊給M臺(tái)服務(wù)器進(jìn)行并行處理；每臺(tái)服務(wù)器通過(guò)Map映射函數(shù)計(jì)算處理自己那部分輸入數(shù)據(jù)塊，并生成計(jì)算結(jié)果；R臺(tái)服務(wù)器通過(guò)Reduce規(guī)約函數(shù)將所有的計(jì)算結(jié)果進(jìn)行規(guī)約匯總、分析計(jì)算，得到最終的處理結(jié)果。橋梁健康監(jiān)測(cè)系統(tǒng)中的海量大數(shù)據(jù)可采用Map/Reduce模型，將海量數(shù)據(jù)分布在服務(wù)器集群中，通過(guò)服務(wù)器集群進(jìn)行同時(shí)分析處理，相比傳統(tǒng)的單臺(tái)服務(wù)器分析處理運(yùn)算，將會(huì)大幅縮短運(yùn)算時(shí)間，提高計(jì)算效率。

3.2 斜拉索索力測(cè)量計(jì)算方法

由于橋梁斜拉索的銹蝕斷絲等病害容易致使斜拉索索力及其相應(yīng)的結(jié)構(gòu)內(nèi)力狀態(tài)產(chǎn)生改變，甚至有可能導(dǎo)致橋梁倒塌，因此，需要對(duì)橋梁斜拉索的索力進(jìn)行實(shí)時(shí)監(jiān)測(cè)。

在每根索的中央斷面處安裝加速度傳感器，傳感器輸出的數(shù)據(jù)經(jīng)快速傅立葉變換計(jì)算處理后可得到每根索的主頻率。索力可根據(jù)公式（2）計(jì)算[20-23]：

式（2）中：T為索力；f為拉索的一階頻率；L為索長(zhǎng)；W為單位長(zhǎng)度索重；g為重力加速度。

3.3 基于Map/Reduce的索力分布式并行處理模型

通過(guò)基于Map/Reduce的索力分布式并行處理模型可以實(shí)現(xiàn)對(duì)索力歷史大數(shù)據(jù)的統(tǒng)計(jì)分析處理功能。例如，統(tǒng)計(jì)10年內(nèi)索力超過(guò)指定閾值的次數(shù)：（1）通過(guò)Map/Reduce中的Map，將橋梁監(jiān)測(cè)的歷史索力數(shù)據(jù)輸入文件分割成M份，把任務(wù)分解成M個(gè)子任務(wù)，通過(guò)服務(wù)器集群并行運(yùn)算分析，提高系統(tǒng)的運(yùn)算速度，減少分析時(shí)間；（2）通過(guò)Reduce把M個(gè)子任務(wù)計(jì)算的結(jié)果匯總統(tǒng)計(jì)，得到最終結(jié)果。其中，索力輸入文件格式，如表1所示。

基于Map/Reduce的索力分布式并行處理模型的具體工作流程，如圖4所示。Master節(jié)點(diǎn)服務(wù)器為整個(gè)模型框架的主節(jié)點(diǎn)服務(wù)器，負(fù)責(zé)整個(gè)系統(tǒng)的運(yùn)行、管理、分配以及調(diào)度，為空閑的worker節(jié)點(diǎn)服務(wù)器分配Map作業(yè)以及Reduce作業(yè)。Master主服務(wù)器將海量數(shù)據(jù)分割成M份數(shù)據(jù)塊，并將其分配給空閑的worker服務(wù)器集群，服務(wù)器集群并行讀取對(duì)應(yīng)分割的索力數(shù)據(jù)塊文件，服務(wù)器每讀取一條記錄時(shí)，一旦超過(guò)閾值，就生成一條索力中間鍵值對(duì)＜key,value＞，其中，key為索力編號(hào)，value表示超過(guò)閾值的次數(shù)。Master將記錄的索力中間鍵值對(duì)的位置轉(zhuǎn)發(fā)給執(zhí)行Reduce作業(yè)的R個(gè)worker服務(wù)器節(jié)點(diǎn)。執(zhí)行Reduce規(guī)約作業(yè)的worker服務(wù)器最后讀取所有的索力中間鍵值對(duì)，通過(guò)服務(wù)器集群并行統(tǒng)計(jì)，計(jì)算出最終結(jié)果。當(dāng)所有的Map和Reduce作業(yè)都完成了，Master服務(wù)器將Reduce結(jié)果返回給用戶(hù)程序。

表1 索力數(shù)據(jù)文件格式

圖4 基于Map/Reduce的索力分布式并行處理工作流程

4 實(shí)驗(yàn)結(jié)果分析驗(yàn)證

4.1 K線(xiàn)圖時(shí)間片驅(qū)動(dòng)模型的數(shù)據(jù)存儲(chǔ)量分析驗(yàn)證

設(shè)監(jiān)測(cè)傳感器的數(shù)量為n個(gè)，采集頻率為f，每天存儲(chǔ)的數(shù)據(jù)量為S，存儲(chǔ)一天監(jiān)測(cè)數(shù)據(jù)的數(shù)據(jù)量為：

若采用基于K線(xiàn)圖時(shí)間片驅(qū)動(dòng)的滑動(dòng)窗口數(shù)據(jù)流查詢(xún)處理模型，使用k秒鐘K線(xiàn)圖，每k秒存儲(chǔ)起始值、最高值、最低值、結(jié)束值這4個(gè)數(shù)據(jù)，那么存儲(chǔ)一天監(jiān)測(cè)數(shù)據(jù)的數(shù)據(jù)量為：

式（3）與式（4）中S值的大小取決于在實(shí)際的橋梁實(shí)時(shí)健康監(jiān)測(cè)中，索力、振動(dòng)等采集頻率一般是20 Hz～100 Hz左右，采用4 s K線(xiàn)圖基本可以滿(mǎn)足橋梁監(jiān)測(cè)的需求，使用本模型，實(shí)際存儲(chǔ)的數(shù)據(jù)量至少可以減少20倍。

4.2 Map/Reduce索力分布式并行處理模型性能測(cè)試實(shí)驗(yàn)

實(shí)驗(yàn)采用4臺(tái)服務(wù)器組建計(jì)算集群，每臺(tái)服務(wù)器配置相同，CPU：Intel雙核1.80 GHz，內(nèi)存：8 GB。利用Hadoop大數(shù)據(jù)框架中的Map/Reduce模型，驗(yàn)證基于Map/Reduce的索力分布式并行處理模型，其中，一臺(tái)服務(wù)器作為Master管理節(jié)點(diǎn)，其余3臺(tái)服務(wù)器作為worker計(jì)算節(jié)點(diǎn)。針對(duì)不同大小的索力文件，分別采用傳統(tǒng)的單機(jī)計(jì)算模式與本文的Map/Reduce并行模型進(jìn)行處理，利用專(zhuān)家分析評(píng)估系統(tǒng)，統(tǒng)計(jì)索力超過(guò)某一閾值的次數(shù)，將系統(tǒng)的運(yùn)算執(zhí)行時(shí)間進(jìn)行比較，實(shí)驗(yàn)結(jié)果,如圖5所示。

圖5 單機(jī)系統(tǒng)與Map/Reduce集群系統(tǒng)執(zhí)行時(shí)間對(duì)比

從以上仿真結(jié)果可以看出，運(yùn)行Hadoop平臺(tái)需要一定的時(shí)間開(kāi)銷(xiāo)，因此當(dāng)數(shù)據(jù)量較小時(shí)，集群并行計(jì)算的運(yùn)行時(shí)間反而大于單臺(tái)服務(wù)器執(zhí)行的時(shí)間。但隨著數(shù)據(jù)量的增大，Map/Reduce集群將索力數(shù)據(jù)文件分派給多個(gè)worker節(jié)點(diǎn)進(jìn)行并行處理，其運(yùn)算總時(shí)間小于單臺(tái)服務(wù)器的執(zhí)行時(shí)間，隨著索力文件大小的不斷增加，兩者的總時(shí)間差距也越來(lái)越大。

5 結(jié)束語(yǔ)

本文在橋梁健康監(jiān)測(cè)的大數(shù)據(jù)采集、存儲(chǔ)及分析處理3個(gè)方面，提出一種基于K線(xiàn)圖時(shí)間片驅(qū)動(dòng)的滑動(dòng)窗口數(shù)據(jù)流處理模型，該模型實(shí)現(xiàn)橋梁實(shí)時(shí)監(jiān)測(cè)傳感器網(wǎng)絡(luò)大數(shù)據(jù)的高速采集，通過(guò)K線(xiàn)圖模型，不僅形象地反應(yīng)監(jiān)測(cè)數(shù)據(jù)的狀況波動(dòng)，而且減少了數(shù)據(jù)采集量，優(yōu)化了云端海量存儲(chǔ)。將HDFS分布式存儲(chǔ)模型應(yīng)用到橋梁健康監(jiān)測(cè)中，解決了健康監(jiān)測(cè)中海量數(shù)據(jù)的存儲(chǔ)問(wèn)題。提出基于Map/Reduce的索力分布式并行處理模型，并將該模型應(yīng)用于索力大數(shù)據(jù)分析計(jì)算處理，通過(guò)搭建基于該模型的分布式計(jì)算集群，實(shí)現(xiàn)專(zhuān)家系統(tǒng)對(duì)索力歷史海量數(shù)據(jù)的分析評(píng)估，減少系統(tǒng)分析時(shí)間，提高評(píng)估效率。

本文分別對(duì)橋梁實(shí)時(shí)健康監(jiān)測(cè)的大數(shù)據(jù)采集，大數(shù)據(jù)存儲(chǔ)，大數(shù)據(jù)分析3個(gè)部分進(jìn)行了分析與研究，但對(duì)于大數(shù)據(jù)預(yù)測(cè)還有待進(jìn)一步的挖掘和分析。