張 君，王金國，余 佳，趙 豪，張東明，王曉玲

(1.天津大學(xué) 水利工程仿真與安全國家重點實驗室，天津 300072；2.雅礱江流域水電開發(fā)有限公司，四川 成都 610000)

1 研究背景

堆石壩施工仿真作為一種有效模擬、分析、優(yōu)化施工過程的手段，在堆石壩施工過程管理與控制中獲得了廣泛的應(yīng)用[1-4]。不同于用于方案比選與論證的面向設(shè)計期的堆石壩仿真，面向施工階段的堆石壩仿真為了快速高效地給出動態(tài)決策與調(diào)度管控指令，需要根據(jù)實際施工情況動態(tài)調(diào)整仿真模型以更貼合實際施工狀態(tài)[5-6]。在物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等新一代信息技術(shù)與大壩建設(shè)深度融合并快速發(fā)展的背景下，堆石壩施工過程中產(chǎn)生了海量多模態(tài)監(jiān)測數(shù)據(jù)，為堆石壩施工仿真模型隨實際施工的動態(tài)調(diào)整提供了數(shù)據(jù)基礎(chǔ)，促進(jìn)了面向施工階段的高堆石壩施工仿真技術(shù)的發(fā)展[7]。如何實時獲取、分析并處理施工過程中產(chǎn)生的多模態(tài)數(shù)據(jù)，進(jìn)而驅(qū)動堆石壩施工仿真參數(shù)的實時精準(zhǔn)建模，是確保仿真模型的準(zhǔn)確性與實時性，提高堆石壩施工仿真在實際工程中應(yīng)用效果的關(guān)鍵。

施工仿真技術(shù)自1990年代起引入國內(nèi)，在堆石壩施工領(lǐng)域發(fā)揮了重要的作用，隨著堆石壩工程建設(shè)數(shù)量和規(guī)模的不斷增加，施工仿真理論與技術(shù)在實際工程的實踐應(yīng)用中日益成熟[1]。主要經(jīng)歷了用于堆石壩設(shè)計期施工方案比選的計算機(jī)模擬階段[3]、面向設(shè)計期的具備三維可視化功能的一體化施工仿真系統(tǒng)階段[8]、根據(jù)施工過程中的數(shù)據(jù)進(jìn)行動態(tài)調(diào)整以適應(yīng)施工期的堆石壩動態(tài)仿真階段[5-6]，以及依據(jù)物聯(lián)網(wǎng)技術(shù)、實時監(jiān)控技術(shù)、機(jī)器學(xué)習(xí)方法等新一代物聯(lián)網(wǎng)技術(shù)的數(shù)據(jù)驅(qū)動仿真階段[7]。由于施工仿真的最終目的是在計算機(jī)虛擬世界中實現(xiàn)對復(fù)雜施工過程的實時映射，進(jìn)而據(jù)此實現(xiàn)對施工運(yùn)行系統(tǒng)的實時分析、優(yōu)化與饋控。因此，如何充分感知實際施工過程，并利用施工過程產(chǎn)生的數(shù)據(jù)提高仿真模型與實際施工的一致性是施工仿真的研究重點。

21世紀(jì)初期，隨著基于GPS的實時監(jiān)控系統(tǒng)[9-10]、圖像感知[11]、運(yùn)動傳感器[12]等感知技術(shù)在土方施工領(lǐng)域的成功應(yīng)用，部分學(xué)者嘗試基于實際施工數(shù)據(jù)采用Weibull 分布[13]、三角分布[14]、高斯分布[15-16]、Gamma分布[17]、Beta分布[18]以及一些混合分布[19]等方式實現(xiàn)更貼合實際的仿真參數(shù)擬合。貝葉斯統(tǒng)計推斷由于可以采用新獲取的實際數(shù)據(jù)更新假設(shè)的先驗分布，可以實現(xiàn)實時監(jiān)控環(huán)境下的施工仿真參數(shù)分布的動態(tài)更新建模，因此在隧道掘進(jìn)(Tunnel Boring Machine，TBM)[20]、瀝青道路[21]、地下洞室群[22]、拱壩[23-24]、混凝土壩[25]、土石壩[26]等工程施工仿真參數(shù)建模中被廣泛使用以實現(xiàn)隨監(jiān)控數(shù)據(jù)動態(tài)變化的自適應(yīng)仿真。由于在每次更新時需要足以反映數(shù)據(jù)統(tǒng)計特征的大量樣本，且后驗參數(shù)分布難以捕捉短時間內(nèi)的參數(shù)波動，所以貝葉斯更新方法適用于數(shù)據(jù)量大且不具有短時波動的仿真參數(shù)建模，對于單次更新樣本量小或者具有一定時間波動特性的數(shù)據(jù)，基于機(jī)器學(xué)習(xí)預(yù)測進(jìn)行仿真參數(shù)建模的方法更受學(xué)者青睞[27]。儲志強(qiáng)[28]提出基于混沌差分進(jìn)化支持向量機(jī)的高拱壩施工仿真參數(shù)實時更新方法。肖堯等[29]提出了一種基于自適應(yīng)混沌差分進(jìn)化支持向量機(jī)的仿真參數(shù)預(yù)測模型，用于更新引水隧洞施工仿真參數(shù)。張君等[30]提出基于粒子群優(yōu)化多層感知機(jī)的氣溫時間序列預(yù)測方法，用于建立考慮高寒低溫影響的高堆石壩施工仿真參數(shù)。Wang等[31]提出了一種基于增強(qiáng)現(xiàn)實(AR)技術(shù)和卷積神經(jīng)網(wǎng)絡(luò)視覺檢測的纜機(jī)運(yùn)輸循環(huán)時間檢測方法，為拱壩仿真參數(shù)建模提供了一種新的途徑。Lü等[32]提出了一種改進(jìn)XGBoost 方法車速預(yù)測模型，用于建模土石壩施工仿真參數(shù)。部分研究通過各種類傳感器實時感知的數(shù)據(jù)建立施工機(jī)械活動識別模型，進(jìn)而基于活動識別結(jié)果建立精細(xì)的仿真參數(shù)。Akhavian和Behzadan[33]使用移動智能手機(jī)傳感器采集的施工機(jī)械運(yùn)動學(xué)數(shù)據(jù)和機(jī)器學(xué)習(xí)方法建立了一個施工機(jī)械活動識別模型用于仿真輸入建模，此外，還建立了一個基于可穿戴傳感器與人類活動識別結(jié)果的數(shù)據(jù)驅(qū)動施工仿真模型[19，34]。Nath和Shrestha等[35]結(jié)合移動智能傳感器和支持向量機(jī)建立了一個人類活動識別模型用于提高施工仿真模型的準(zhǔn)確性。上述研究證明施工機(jī)械/人員的活動識別研究可以提供更精細(xì)的施工仿真參數(shù)，適用于以機(jī)械/人員為主體的精細(xì)化施工仿真建模。除了運(yùn)動學(xué)數(shù)據(jù)以外，聲學(xué)和視覺數(shù)據(jù)也常被用于機(jī)械活動識別研究[36]。

然而，現(xiàn)有施工仿真研究多依據(jù)單一感知模態(tài)數(shù)據(jù)來建立仿真參數(shù)，容易導(dǎo)致仿真參數(shù)建模魯棒性和準(zhǔn)確性不足的問題。例如，運(yùn)動學(xué)傳感器的精度可能難以滿足新型施工機(jī)械駕駛艙不同振動狀態(tài)識別的需求，某些類型的工程機(jī)械在操作過程中不會產(chǎn)生明顯的聲音模式導(dǎo)致基于聲學(xué)的活動識別精度不高等。采用多模態(tài)感知數(shù)據(jù)進(jìn)行施工活動識別可以很大程度上提高活動識別結(jié)果的可靠性和準(zhǔn)確性。已有少數(shù)基于多模態(tài)數(shù)據(jù)的施工機(jī)械活動識別方法被提出[37-38]。但是，仍然存在以下局限性：一方面多模態(tài)數(shù)據(jù)的采集過程存在一定的滯后性，難以適應(yīng)仿真參數(shù)建模的實時性需求；另一方面，現(xiàn)有的活動識別模型需要復(fù)雜的手動特征工程，耗時費(fèi)力且可能引入一定的偏差，限制了識別結(jié)果的精度。深度學(xué)習(xí)方法可以自動提取時間序列特征，不僅有助于提高活動識別的分類精度，而且使得模型具有更高的普適性，因此在活動識別領(lǐng)域獲得了廣泛的關(guān)注。其中，深度卷積循環(huán)記憶網(wǎng)絡(luò)方法(DeepConvLSTM)在基于運(yùn)動學(xué)數(shù)據(jù)的活動識別獲得了成功應(yīng)用[39-40]。但是，由于運(yùn)動學(xué)數(shù)據(jù)量龐大，DeepConvLSTM在運(yùn)動學(xué)數(shù)據(jù)訓(xùn)練中存在收斂速度慢，容易發(fā)生梯度爆炸等不足。

針對上述問題，本研究提出了多模態(tài)感知驅(qū)動下高堆石壩施工仿真參數(shù)集成深度學(xué)習(xí)模型。首先，在SpringBoot框架下開發(fā)了基于移動智能手機(jī)傳感器的運(yùn)動模態(tài)和聲音模態(tài)數(shù)據(jù)實時采集云平臺，并采用低通濾波器和梅爾頻譜等方法實現(xiàn)堆石壩施工機(jī)械多模態(tài)數(shù)據(jù)的實時采集與預(yù)處理；其次，提出了堆石壩施工機(jī)械活動狀態(tài)識別集成深度學(xué)習(xí)模型，該模型能夠自動提取多模態(tài)特征，克服了現(xiàn)有多模態(tài)方法通過手動提取特征帶來的信息缺失問題，同時，該模型集成了改進(jìn)深度卷積長短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)(Improved DeepConvLSTM，IDeepConvLSTM)精確感知施工機(jī)械運(yùn)動方向以及深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Network，DCNN)從聲音模態(tài)中感知施工機(jī)械振動狀態(tài)的優(yōu)勢，可以實現(xiàn)機(jī)械精細(xì)活動狀態(tài)的準(zhǔn)確識別；其中，IDeepConvLSTM在卷積層中間加入批量歸一化層以提高收斂速度，在卷積特征提取層與LSTM分類層中間加入dropout層防止過擬合，且采用梯度縮放和剪裁來避免梯度爆炸的問題。最后，采用大窗口移動過濾器在線處理機(jī)械活動識別結(jié)果，消除機(jī)械活動識別誤分類帶來的噪聲誤差，在云平臺中實現(xiàn)堆石壩施工仿真參數(shù)的實時建模。

2 多模態(tài)感知驅(qū)動下高堆石壩施工仿真參數(shù)集成深度學(xué)習(xí)模型

2.1 多模態(tài)數(shù)據(jù)實時采集與預(yù)處理多模態(tài)數(shù)據(jù)的采集和處理過程存在一定的滯后性，難以適應(yīng)仿真參數(shù)建模的實時性需求。本節(jié)研發(fā)了基于移動智能手機(jī)傳感器的多模態(tài)數(shù)據(jù)實時采集云平臺，然后基于手機(jī)處理器和云服務(wù)器實時處理采集的運(yùn)動學(xué)和聲學(xué)數(shù)據(jù)，為施工仿真參數(shù)實時建模提供數(shù)據(jù)驅(qū)動。

2.1.1 運(yùn)動模態(tài)和聲音模態(tài)數(shù)據(jù)實時采集 隨著堆石壩施工智能化建設(shè)的發(fā)展，壩面智能碾壓監(jiān)控系統(tǒng)能夠?qū)崿F(xiàn)對倉面施工質(zhì)量、施工機(jī)械和施工環(huán)境的智能感知，可以為高堆石壩施工仿真提供相應(yīng)的感知參數(shù)[41]，但是仍存在以下問題：(1)未能實現(xiàn)對現(xiàn)場施工聲音模態(tài)的監(jiān)測；(2)現(xiàn)有部分監(jiān)測設(shè)備成本較高且安裝過程復(fù)雜，維護(hù)困難；(3)缺少多模態(tài)數(shù)據(jù)的集成采集、處理、分析挖掘與管理平臺。針對上述問題，本研究在SpringBoot框架下開發(fā)了基于移動智能手機(jī)傳感器的運(yùn)動模態(tài)和聲音模態(tài)數(shù)據(jù)實時采集云平臺，平臺部署如圖1所示。

圖1 基于移動智能手機(jī)傳感器的多模態(tài)數(shù)據(jù)實時采集云平臺部署

首先，開發(fā)了一個用于調(diào)用手機(jī)內(nèi)置傳感器的多模態(tài)數(shù)據(jù)采集APP，通過訪問并注冊監(jiān)聽Android 設(shè)備中的內(nèi)置傳感器，可實時獲取手機(jī)的三軸加速度、三軸角速度和聲音信號等多模態(tài)數(shù)據(jù)，再通過SpringBoot框架與云平臺實時通訊，并通過Redis臨時緩存和MySQL的永久存儲的聯(lián)合數(shù)據(jù)庫部署保障多模態(tài)數(shù)據(jù)傳輸?shù)膶崟r性與可靠性，為后續(xù)機(jī)械活動狀態(tài)識別和倉面施工仿真參數(shù)的實時提取提供數(shù)據(jù)服務(wù)。其次，結(jié)合現(xiàn)有高堆石壩施工質(zhì)量與進(jìn)度監(jiān)控云平臺開發(fā)了機(jī)械層級多模態(tài)感知與仿真模塊，用于實現(xiàn)多模態(tài)數(shù)據(jù)實時分析處理、機(jī)械活動狀態(tài)實時感知和仿真參數(shù)實時建模功能，具體平臺界面與功能實現(xiàn)將在第3節(jié)工程實例中詳細(xì)介紹。

基于圖1部署的多模態(tài)數(shù)據(jù)采集手機(jī)客戶端-云平臺體系，獲得用于機(jī)械活動識別的運(yùn)動學(xué)模態(tài)數(shù)據(jù)和聲學(xué)模態(tài)數(shù)據(jù)，其中運(yùn)動信號采用開發(fā)的APP調(diào)用手機(jī)內(nèi)置集成慣性測量單元(Inertial Measurement Unit，IMU)獲得，共包含加速度數(shù)據(jù)(Ax，Ay，Az)和角速度數(shù)據(jù)(Gx，Gy，Gz)6個時間序列；聲音信號通過調(diào)用手機(jī)麥克風(fēng)采集施工環(huán)境聲音，生成音頻數(shù)字信號序列。此外，APP中可以手動錄入機(jī)械編號、倉面信息等以在數(shù)據(jù)庫中匹配機(jī)械與多模態(tài)數(shù)據(jù)。

2.1.2 多模態(tài)數(shù)據(jù)預(yù)處理 移動智能手機(jī)采集的多模態(tài)數(shù)據(jù)中可能會包含一些異常噪聲或缺失值對后續(xù)的活動狀態(tài)分類訓(xùn)練造成影響，需要對其進(jìn)行相應(yīng)地處理；此外，運(yùn)動模態(tài)數(shù)據(jù)加速度坐標(biāo)系與手機(jī)布設(shè)位置有關(guān)，為了消除手機(jī)布設(shè)角度的影響，需要對其中的重力加速度影響進(jìn)行消除。因此，多模態(tài)數(shù)據(jù)的預(yù)處理包含重力影響消除、異常值消除、缺失值處理三部分內(nèi)容，其中異常值消除和缺失值處理采用常用的移動窗口方法和指數(shù)加權(quán)移動平均值(EWMA)方法[37]，重力影響消除是針對運(yùn)動模態(tài)數(shù)據(jù)中的加速度數(shù)據(jù)做的特殊處理，對其介紹如下。

重力影響消除處理僅適用于加速度傳感器，目的在于消除三軸加速度中的重力分量。由于重力加速度相比于機(jī)械運(yùn)動產(chǎn)生的三軸加速度的頻率較小且差距明顯，所以采用低通濾波器分離出重力加速度分量，然后在原始三軸加速度信號中減去重力分量。其計算過程如下式所示：

g(t)=(1-α)g(t-1)+αr(t)

(1)

a(t)=r(t)-g(t)

(2)

式(1)表示通過一階低通濾波獲取重力加速度分量g(t)的過程，r(t)為采集的原始數(shù)據(jù)，a(t)為消除重力加速度分量后的三軸加速度。α為濾波系數(shù)，根據(jù)r(t)的采樣時間間隔Ts和低通濾波截止頻率fc計算：

(3)

根據(jù)文獻(xiàn)[42]，建議使用0.1到0.5 Hz的截止頻率來消除數(shù)據(jù)中的重力分量，原始加速度采樣頻率為100 Hz，則α取值為0.03。重力影響消除的部分?jǐn)?shù)據(jù)處理如圖2所示。

圖2 重力影響消除前后數(shù)據(jù)對比

2.1.3 聲音數(shù)據(jù)梅爾譜圖特征提取 從音頻文件中讀取的原始語音信號通常為一維的時域信號，即聲波。聲波很難直觀描述頻率的變化規(guī)律，在聲音的分類識別研究中，通常通過短時傅里葉變換將聲波轉(zhuǎn)換為聲譜圖，梅爾頻譜圖(Mel spectrogram)是最常用的音頻識別特征提取方式之一[43]，可以提供具有類似于人類感知的聲音信息。為了充分提取聲學(xué)信息，本文采用梅爾頻譜圖分別提取原始聲音信號以及其一階導(dǎo)數(shù)特征，梅爾頻譜圖采樣參數(shù)設(shè)置如表1所示。本研究采用的手機(jī)麥克風(fēng)原始采樣頻率為48 000 Hz，為了提高數(shù)據(jù)的處理速度，降低噪聲的影響，首先將初始數(shù)據(jù)下采樣至頻率24 000 Hz。

根據(jù)表1，本研究使用了大小為1024的窗口，相鄰窗之間的距離hop_length設(shè)置為512，相鄰窗之間有50%的重疊，梅爾頻帶的數(shù)量設(shè)置為60，一個梅爾頻帶代表一個頻率間隔，人類聽覺認(rèn)為一個頻帶的音高相同。使用以上參數(shù)可以獲得60行×2列的單位梅爾頻譜圖。為了充分獲取聲音信號的信息，對于聲音信號的一階導(dǎo)數(shù)進(jìn)行相同的梅爾頻譜特征提取操作，可以獲得60×2×2的雙通道輸入。

表1 梅爾頻譜圖采樣參數(shù)設(shè)置

2.2 多模態(tài)機(jī)械活動識別集成深度學(xué)習(xí)模型研究證明準(zhǔn)確的機(jī)械活動識別可以為精細(xì)化施工仿真模型提供活動時間參數(shù)，然而現(xiàn)有的多模態(tài)活動識別方法需要復(fù)雜的手動特征工程，耗時費(fèi)力且可能引入一定偏差，不適用于實時仿真參數(shù)建模。針對上述問題，本節(jié)提出一個多模態(tài)集成深度學(xué)習(xí)模型對2.1節(jié)采集的多模態(tài)數(shù)據(jù)進(jìn)行學(xué)習(xí)，識別機(jī)械隨時間變化的活動狀態(tài)，為活動時間參數(shù)建模提供關(guān)鍵結(jié)果。所提出的多模態(tài)集成深度學(xué)習(xí)模型構(gòu)架如圖3所示，由三個模塊構(gòu)成：(1)基于IDeepConvLSTM的運(yùn)動模態(tài)學(xué)習(xí)模塊；(2)基于DCNN的聲音模態(tài)學(xué)習(xí)模塊；(3)集成模塊。

圖3 多模態(tài)集成深度學(xué)習(xí)模型架構(gòu)圖

2.2.1 基于IDeepConvLSTM的運(yùn)動模態(tài)學(xué)習(xí)模塊 該模塊使用改進(jìn)的DeepConvLSTM學(xué)習(xí)2.1節(jié)采集處理后的運(yùn)動學(xué)信號，進(jìn)而實現(xiàn)基于運(yùn)動模態(tài)數(shù)據(jù)的堆石壩倉面施工碾壓機(jī)械活動識別。DeepConvLSTM是由Francisco和Daniel[39]于2016年提出的一個用于人類活動識別的深度學(xué)習(xí)框架，該框架由4層卷積層、2層循環(huán)層和1層softmax函數(shù)組成。卷積層的作用是自動提取特征，將運(yùn)動學(xué)數(shù)據(jù)抽象建模為特征圖。循環(huán)層的作用是學(xué)習(xí)特征圖中的時間相關(guān)特征。該模型已被驗證在人類活動識別研究中表現(xiàn)良好。但是由于用于訓(xùn)練的運(yùn)動學(xué)數(shù)據(jù)集數(shù)據(jù)量龐大，DeepConvLSTM模型存在收斂速度慢，容易梯度爆炸等問題，因此，本文提出了IDeepConvLSTM，在每個卷積層之間插入了批量歸一化層以加速收斂，且卷積層和循環(huán)層中間加入了dropout層以防止過擬合，具體說明如下。

卷積層是一種有效的特征提取器，通過在數(shù)據(jù)上滑動卷積核(也稱濾波器)與覆蓋數(shù)據(jù)做卷積計算來提取特征。本研究使用一維卷積運(yùn)算提取運(yùn)動學(xué)數(shù)據(jù)特征圖，其計算表達(dá)式如下[39]：

(4)

訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的復(fù)雜性在于每一層輸入的分布在訓(xùn)練過程中會隨著前一次的參數(shù)變化而變化，如果網(wǎng)絡(luò)的激活輸出很大，其梯度就很小，使得模型的學(xué)習(xí)率減小，訓(xùn)練速度降低，甚至可能導(dǎo)致梯度爆炸的問題。針對以上問題，本研究在每一層卷積中間加入批量歸一化層(Batch Normalization，BN)以提高模型的訓(xùn)練速度。BN是由Google于2015年提出的加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練的方法[44]，它通過求每一個訓(xùn)練批次數(shù)據(jù)的均值、方差對該批次訓(xùn)練數(shù)據(jù)做歸一化，使其服從0-1分布，然后通過尺度變換和偏移以保證模型的訓(xùn)練精度。本研究中在每個卷積層中間加入BN層，對每個特征圖做批量歸一化處理，使得深度學(xué)習(xí)網(wǎng)絡(luò)可以用飽和非線性函數(shù)進(jìn)行訓(xùn)練，從而可以接受較大的學(xué)習(xí)率以提高訓(xùn)練效率。

四層卷積提取特征后，特征信息將被傳遞到LSTM細(xì)胞單元。LSTM是遞歸神經(jīng)網(wǎng)絡(luò)的變體，主要組成包括遺忘門、輸入門和輸出門，輸入門可以短暫儲存時序信息，使其在時間序列學(xué)習(xí)中表現(xiàn)出較強(qiáng)的優(yōu)勢，LSTM單元的結(jié)構(gòu)如圖4所示，t時刻的輸入數(shù)據(jù)Xt通過底部傳輸?shù)侥K中，t-1時刻的輸出數(shù)據(jù)ht-1從左邊傳輸進(jìn)模塊，兩部分?jǐn)?shù)據(jù)先經(jīng)過遺忘門，以決定忘記一些不重要的信息，之后和上一時刻的核心細(xì)胞的輸出C′t一起傳輸給t時刻的核心記憶細(xì)胞；兩部分?jǐn)?shù)據(jù)再經(jīng)過輸入門將新信息傳輸給核心記憶細(xì)胞，最后經(jīng)過輸出門以決定輸出信息，和核心細(xì)胞傳出的數(shù)據(jù)相結(jié)合，得到最終的輸出ht用于傳輸?shù)较乱粋€LSTM模塊。相關(guān)傳輸和更新計算過程如式(5)—(10)所示。

圖4 LSTM單元結(jié)構(gòu)圖

ft=σ(Wf·[ht-1，Xt]+bf)

(5)

it=σ(Wi·[ht-1，Xt]+bi)

(6)

C′t=tanh(WC·[ht-1，Xt]+bC)

(7)

Ct=ft*Ct-1+it*C′t

(8)

ot=σ(Wo·[ht-1，Xt]+bo)

(9)

ht=ot*tanh(Ct)

(10)

式中：Wf、Wi、WC和Wo分別為遺忘門、輸入門、核心細(xì)胞單元和輸出門的權(quán)重矩陣；bf、bi、bC和bo分別為遺忘門、輸入門、核心細(xì)胞單元和輸出門的偏置向量；ft、it、Ct和ot分別為t時刻遺忘門、輸入門、核心細(xì)胞單元和輸出門的輸出狀態(tài)，C′t為新數(shù)據(jù)輸入的細(xì)胞狀態(tài)；tanh和σ分別為tanh激活函數(shù)和sigmoid激活函數(shù)。最后，設(shè)置一個softmax函數(shù)用于輸出機(jī)械活動識別分類概率。

2.2.2 基于深度卷積神經(jīng)網(wǎng)絡(luò)的聲音模態(tài)學(xué)習(xí)模塊 該模塊使用DCNN模型實現(xiàn)基于聲音模態(tài)數(shù)據(jù)的堆石壩倉面施工碾壓機(jī)械活動識別，模型輸入為2.1節(jié)采集的聲音信號生成的梅爾頻譜圖。研究采用了Maccagno等[45]于2021年提出的用于施工場景音頻分類的8層DCNN結(jié)構(gòu)。該模型包含一個60×2×2的張量輸入層，五個卷積層用于特征提取，一個Flatten層將卷積獲得的特征圖一維化，一個具有200個神經(jīng)元的全連接層用于分類學(xué)習(xí)和一個用于獲得分類概率的Softmax函數(shù)。所采用的DCNN每一層的參數(shù)設(shè)置如表2所示。除了使用 Softmax 函數(shù)的輸出層外，所有層都使用 ReLu 激活函數(shù)。此外，在全連接層中使用了 30% 的 dropout 策略以防止過擬合。

表2 采用的DCNN結(jié)構(gòu)參數(shù)

2.2.3 集成模塊 該模塊采用上下文加權(quán)平均分類(CWAC) 模型集成2.2.1節(jié)提出的運(yùn)動學(xué)模態(tài)機(jī)械狀態(tài)識別結(jié)果和2.2.2節(jié)提出的聲音模態(tài)機(jī)械狀態(tài)識別結(jié)果以獲得最優(yōu)的堆石壩倉面施工碾壓機(jī)械狀態(tài)識別結(jié)果。首先，由于運(yùn)動學(xué)訓(xùn)練集和聲學(xué)訓(xùn)練集的采樣頻率不同，需要對其識別結(jié)果進(jìn)行預(yù)測尺度的歸一化，運(yùn)動學(xué)樣本活動識別預(yù)測時間間隔為0.01 s，聲學(xué)數(shù)據(jù)樣本活動預(yù)測時間間隔為0.03 s，需要對每三個運(yùn)動學(xué)活動識別預(yù)測結(jié)果進(jìn)行合并，此處采用窗口大小為3，移動步長為3的小窗口過濾(SWF)方法實現(xiàn)運(yùn)動學(xué)識別標(biāo)簽的重構(gòu)，重構(gòu)識別概率為窗口內(nèi)3個樣本點預(yù)測結(jié)果的加權(quán)平均。處理后的聲學(xué)標(biāo)簽和運(yùn)動學(xué)標(biāo)簽時間間隔均為0.03 s。CWAC 模型接收來自每個運(yùn)動和聲音模態(tài)感知模塊的中間預(yù)測結(jié)果，這些預(yù)測結(jié)果由特定時間范圍內(nèi)每個活動類別的概率(即置信度)組成，如圖3所示。獲得中間預(yù)測結(jié)果后，每個向量的置信度分?jǐn)?shù)將根據(jù)上下文權(quán)重進(jìn)行加權(quán)平均，從而得到融合的分類概率向量Pf，如式(11)所示；然后將融合的分類概率向量Pf輸入到argmax函數(shù)層，以最終確定設(shè)備活動的類別，如式(12)所示：

Pf=wk·Pk+wa·Pa

(11)

cf=argmax(Pf)

(12)

式中：Pf，Pk和Pa是一維向量，分別為基于混合模態(tài)集成、運(yùn)動模態(tài)和聲音模態(tài)感知模塊的作業(yè)狀態(tài)類別的置信度分?jǐn)?shù)；wk和wa為運(yùn)動信號和聲音信號感知之間的上下文權(quán)重；cf為功能集成模塊預(yù)測的設(shè)備活動類別。wk和wa的大小需要滿足式(13)—(15)，由專家依據(jù)項目現(xiàn)場情況給定。

wk+wa=1

(13)

0≤wk≤1

(14)

0≤wa≤1

(15)

在本研究中，運(yùn)動模態(tài)和聲音模態(tài)的上下文權(quán)重分別設(shè)置為 0.8 和 0.2，這種權(quán)重設(shè)置在第3節(jié)工程應(yīng)用實驗驗證中表現(xiàn)優(yōu)良。

2.3 碾壓仿真參數(shù)時長實時更新在活動識別和分類之后，基于活動識別時間序列結(jié)果提取活動持續(xù)時間用于模擬輸入建模。因為預(yù)測生成的活動狀態(tài)標(biāo)簽存在一定的噪聲波動(即由于誤分類產(chǎn)生的個別時間點活動狀態(tài)與該時間段內(nèi)的主要活動狀態(tài)不同)，對仿真參數(shù)活動時長的提取造成一定的影響，所以需要采用大窗口移動過濾器對預(yù)測標(biāo)簽進(jìn)行平滑處理，具體處理如下：當(dāng)滿足式(16)時，令Labeli=Labeli-1

(16)

式中：Labeli為第i個時刻對應(yīng)的預(yù)測標(biāo)簽；NumW為移動窗口長度，通過交叉驗證設(shè)置為100，NumLabeli等于窗口內(nèi)識別為Labeli的時刻點數(shù)量，因此滿足公式(16)表示，對于持續(xù)時間不超過0.03 s的且在移動窗口中比率ratio低于界限r(nóng)atioc的噪聲進(jìn)行消除，在這里ratioc大小設(shè)置為0.1。

對平滑后的活動類別Labeli持續(xù)時間使用下式計算：

T=0.03NLabeli

(17)

式中：T為活動類別為Labeli的持續(xù)時間，s；NLabeli為連續(xù)預(yù)測為Labeli的時刻點數(shù)量。

3 工程實例

以兩河口大型高堆石壩工程為研究對象，開展多模態(tài)感知驅(qū)動下高堆石壩施工仿真參數(shù)更新集成深度學(xué)習(xí)模型研究。基于2.1節(jié)開發(fā)的基于移動智能手機(jī)傳感器的多模態(tài)數(shù)據(jù)實時采集云平臺界面如圖5所示。在堆石壩施工過程中，碾壓環(huán)節(jié)是倉面施工的關(guān)鍵環(huán)節(jié)，直接影響堆石壩施工進(jìn)度和質(zhì)量，碾壓機(jī)械是倉面填筑施工過程的主要機(jī)械。下面以堆石壩倉面施工碾壓機(jī)械為例說明本研究提出的數(shù)據(jù)采集與預(yù)處理、機(jī)械活動識別與碾壓仿真參數(shù)實時更新的實現(xiàn)效果。

圖5 基于移動智能手機(jī)的多模態(tài)感知與實時仿真云平臺

3.1 多模態(tài)數(shù)據(jù)實時采集與預(yù)處理根據(jù)2.1.1節(jié)開發(fā)的基于移動智能手機(jī)傳感器的多模態(tài)數(shù)據(jù)實時采集云平臺，所采用的手機(jī)中內(nèi)置傳感器型號和參數(shù)指標(biāo)如表3所示。

表3 手機(jī)內(nèi)置傳感器型號和參數(shù)指標(biāo)

本研究以在高堆石壩倉面施工環(huán)節(jié)碾壓機(jī)施工過程中安裝手機(jī)傳感器并采集的大約1 h的運(yùn)動學(xué)數(shù)據(jù)和聲學(xué)數(shù)據(jù)為例驗證所提出的模型的應(yīng)用效果。為了保證機(jī)械活動標(biāo)簽的準(zhǔn)確性，去除了某些狀態(tài)模糊的數(shù)據(jù)，經(jīng)異常值處理和缺失值補(bǔ)全后，運(yùn)動學(xué)數(shù)據(jù)維度為202 500×6，聲學(xué)數(shù)據(jù)維度為97 200 000×1，從48 000 Hz下采樣至24 000 Hz后，聲學(xué)數(shù)據(jù)維度降為44 651 250×1，訓(xùn)練集由其中包含前169 500×6運(yùn)動學(xué)數(shù)據(jù)和37 374 750×1聲學(xué)數(shù)據(jù)的連續(xù)樣本組成，驗證集由剩余樣本組成，6繪制了在數(shù)據(jù)采集時間內(nèi)碾壓機(jī)的真實活動標(biāo)簽，碾壓機(jī)活動標(biāo)簽共分為“靜止”“靜碾前進(jìn)”“靜碾后退”“低振前進(jìn)”“低振后退”“高振前進(jìn)”和“高振后退”7種活動狀態(tài)，其中紫色區(qū)域為驗證集?；顒訕?biāo)簽由實驗人員在實驗過程中手動記錄，輔助視頻錄像驗證以確保標(biāo)簽的準(zhǔn)確性。圖7展示了數(shù)據(jù)預(yù)處理后的運(yùn)動學(xué)和聲學(xué)訓(xùn)練集與測試集。

圖6 真實活動標(biāo)簽

圖7 預(yù)處理后的數(shù)據(jù)集

3.2 機(jī)械活動狀態(tài)分類識別結(jié)果聲學(xué)模塊為深度卷積神經(jīng)網(wǎng)絡(luò)選擇的優(yōu)化器和運(yùn)動學(xué)模塊為IDeepconvLSTM選擇的優(yōu)化器均為Adam優(yōu)化器，Adam 是標(biāo)準(zhǔn)隨機(jī)梯度下降優(yōu)化算法的一種變體，它根據(jù)運(yùn)行平均值和最近梯度的運(yùn)行方差來調(diào)整學(xué)習(xí)率以加速收斂[46]，初始學(xué)習(xí)率均設(shè)置為0.001。聲音模塊選取30 ms的時間幀作為輸入，batchsize設(shè)置為64，最大epoch設(shè)置為100，損失目標(biāo)函數(shù)設(shè)置為交叉熵；運(yùn)動學(xué)模塊batchsize大小設(shè)置為256，最大epoch設(shè)置為100，由于LSTM梯度的累積在數(shù)百個輸入時間步長上展開，因此訓(xùn)練期間較大的權(quán)重更新會導(dǎo)致數(shù)值上溢或下溢，通常稱為梯度爆炸(gradients exploding)。為了避免此問題，采用梯度縮放和梯度剪裁來更改誤差的導(dǎo)數(shù)，最大梯度閾值設(shè)置為1.0，最大梯度范數(shù)設(shè)置為1.0。模型的訓(xùn)練過程所采用的計算機(jī)CPU型號信息為Intel(R) Core(TM) i7-9700 CPU@ 3.00 GHz，運(yùn)行內(nèi)存為16.0 GB。運(yùn)動學(xué)和聲學(xué)深度學(xué)習(xí)模型訓(xùn)練迭代曲線如圖8所示，基于聲音的活動分類識別模型在訓(xùn)練數(shù)據(jù)上的表現(xiàn)和在驗證數(shù)據(jù)上的表現(xiàn)基本一致，最終訓(xùn)練精度分別為67.51%和66.24%，基于運(yùn)動學(xué)的模型在訓(xùn)練集上的訓(xùn)練精度為85.61%，略優(yōu)于在測試集上的訓(xùn)練精度81.35%，但是整體精度較高，證明所采用的模型的泛化性能良好。

圖8 運(yùn)動學(xué)與聲學(xué)模型訓(xùn)練曲線

集成運(yùn)動學(xué)和聲學(xué)的多模態(tài)集成機(jī)械活動狀態(tài)識別結(jié)果如圖9所示，其中黑色粗線表示機(jī)械活動狀態(tài)的真實值，藍(lán)色細(xì)線表示集成模型的預(yù)測值，紫色區(qū)域為劃分的測試集，總體看來預(yù)測值與真實值的結(jié)果基本一致，表4給出了集成模型在測試集上的模型性能評估結(jié)果。

圖9 分類結(jié)果

表4 模型分類性能評估結(jié)果

以能考慮模型精確度及召回率的綜合指標(biāo)F1值為例，模型對于7種不同分類F1值分別為 0.9997、0.9702、0.9555、0.9513、0.8137、0.5716及0.8205，總體加權(quán)F1值為0.9139，此外各分類識別的加權(quán)平均精確率及召回率分別為0.9309及0.9080。交并比是常用于語義分割的標(biāo)準(zhǔn)度量，計算所有類別交集和并集之比的平均值，所以交并比一定小于精確率、召回率和F1值。根據(jù)圖10可知由于前進(jìn)低振的測試集數(shù)據(jù)數(shù)量較少，所以在測試集上的精確率和交并比較低，但是通過召回率指標(biāo)可以看出，前進(jìn)低振的正確識別率相對前進(jìn)低振樣本總數(shù)來說正確率為0.8071，由于后續(xù)提取時間仿真參數(shù)時采用大窗口過濾器對預(yù)測結(jié)果進(jìn)行平滑處理，較好的召回率也能保證仿真參數(shù)的準(zhǔn)確建模，因此綜合考慮各類別分類結(jié)果，模型的分類效果綜合性能良好。

圖10 大窗口平滑處理前后的標(biāo)簽對比

3.3 仿真參數(shù)實時更新云平臺采用大窗口平滑處理后的標(biāo)簽和平滑處理前標(biāo)簽對比如圖10(a)所示，圖中綠色線為平滑處理前的機(jī)械活動預(yù)測標(biāo)簽，藍(lán)色線為平滑處理后的機(jī)械活動預(yù)測標(biāo)簽，可以看出平滑處理消除了持續(xù)時間短于0.3 s的誤分類識別噪聲，可以獲取更準(zhǔn)確的仿真參數(shù)。根據(jù)平滑處理后的標(biāo)簽統(tǒng)計不同類別的機(jī)械活動持續(xù)時間與真實值進(jìn)行對比，如圖10(b)所示，可以看出基于平滑處理后獲取的仿真活動持續(xù)時間參數(shù)與真實值基本一致，證明了所提出方法的準(zhǔn)確性。所提出的模型分類結(jié)果經(jīng)平滑處理后被嵌入高堆石壩質(zhì)量與進(jìn)度智能監(jiān)控系統(tǒng)模塊，用于機(jī)械活動狀態(tài)的實時監(jiān)測和倉面施工實時仿真參數(shù)建模，系統(tǒng)界面效果如圖11和圖12所示。圖11為多模態(tài)數(shù)據(jù)管理與基于多模態(tài)數(shù)據(jù)的仿真活動時長參數(shù)計算界面，圖12為基于多模態(tài)數(shù)據(jù)的機(jī)械活動狀態(tài)監(jiān)測界面。

圖11 多模態(tài)數(shù)據(jù)集成管理界面

圖12 機(jī)械實時作業(yè)狀態(tài)識別界面

3.4 對比分析與討論該模塊為了驗證所開發(fā)的方法，本研究基于同一組數(shù)據(jù)集對比了基于運(yùn)動學(xué)的機(jī)械活動分類、基于聲學(xué)的機(jī)械活動分類和基于混合模態(tài)的機(jī)械活動分類?；煜仃嚪诸惤Y(jié)果如圖13—15所示，并根據(jù)其分別統(tǒng)計了精細(xì)活動狀態(tài)分類(7種類別，如4.2節(jié)所述)、振動狀態(tài)分類(4種類別：高振、低振、靜碾、靜止)和行進(jìn)狀態(tài)分類(3種類別：前進(jìn)、后退、靜止)的分類準(zhǔn)確率，如表5所示?？傮w來看，無論是對于單一模態(tài)還是多模態(tài)方法，活動類別細(xì)節(jié)層次越高(劃分種類越多)，識別結(jié)果準(zhǔn)確率越差。

圖13 行進(jìn)狀態(tài)分類混淆矩陣

表5 不同層級分類準(zhǔn)確率

此外，不同模態(tài)的數(shù)據(jù)在不同分類方案中的表現(xiàn)各有優(yōu)劣。聲學(xué)數(shù)據(jù)在識別機(jī)械振動狀態(tài)時準(zhǔn)確率更高(達(dá)到了90.41%)，然而在識別機(jī)械前進(jìn)后退活動時準(zhǔn)確率較差(71.84%)，所以在7種類別分類中分類效果較差，準(zhǔn)確率僅為66.55%，這是符合實際情況的，主要是由于碾壓機(jī)在不同振動狀態(tài)時的噪聲狀態(tài)存在較大區(qū)別，但是在同一振動狀態(tài)下的前進(jìn)后退兩種類別中區(qū)別較小。與之相反的是，運(yùn)動學(xué)數(shù)據(jù)在識別機(jī)械行進(jìn)狀態(tài)時表現(xiàn)更優(yōu)，準(zhǔn)確率高達(dá)96.84%，然而在振動狀態(tài)分類識別中表現(xiàn)略遜一籌，識別準(zhǔn)確率為83.44%，在7種類別分類中的識別準(zhǔn)確率優(yōu)于聲學(xué)數(shù)據(jù)，但是仍然不夠理想，識別準(zhǔn)確率為80.95%。多模態(tài)方法集成了聲學(xué)數(shù)據(jù)和運(yùn)動學(xué)數(shù)據(jù)的優(yōu)勢，相比于聲學(xué)或運(yùn)動學(xué)單一模態(tài)，在精細(xì)活動狀態(tài)分類時表現(xiàn)最好，準(zhǔn)確率分別提高了23.62%和9.22%。

圖14 振動狀態(tài)分類混淆矩陣

圖15 精細(xì)活動狀態(tài)分類混淆矩陣

圖13—15的混淆矩陣結(jié)果進(jìn)一步地驗證了上述內(nèi)容。在7種類別分類效果中，基于運(yùn)動學(xué)、聲學(xué)以及多模態(tài)的識別方法在識別靜止?fàn)顟B(tài)時均表現(xiàn)優(yōu)良；對于基于聲學(xué)的分類結(jié)果，前進(jìn)靜碾狀態(tài)與后退靜碾狀態(tài)、前進(jìn)高振狀態(tài)與后退高振狀態(tài)、前進(jìn)低振狀態(tài)與后退高振狀態(tài)是三組容易混淆的分類，說明聲學(xué)模態(tài)在識別碾壓機(jī)前進(jìn)和后退方面存在一定劣勢；對于基于運(yùn)動學(xué)的分類結(jié)果，前進(jìn)狀態(tài)和后退狀態(tài)區(qū)分錯誤率極低，分類錯誤主要存在于高振、低振與靜碾三種狀態(tài)中。多模態(tài)活動識別方法則集成了上述兩種模態(tài)的優(yōu)勢，表現(xiàn)出更優(yōu)的分類效果。

4 結(jié)論

施工仿真參數(shù)建模的準(zhǔn)確性和實時性決定著施工仿真模型與實際工程的一致性。針對現(xiàn)有高堆石壩施工仿真參數(shù)建模主要依靠單一模態(tài)數(shù)據(jù)建立動態(tài)概率分布或者時序預(yù)測模型，準(zhǔn)確性和實時性不足的問題，提出了多模態(tài)感知驅(qū)動下高堆石壩施工仿真參數(shù)集成深度學(xué)習(xí)模型，并依托實際工程進(jìn)行了驗證，取得如下成果：

(1)基于SpringBoot框架開發(fā)了基于移動智能手機(jī)傳感器的多模態(tài)數(shù)據(jù)實時采集云平臺，實現(xiàn)堆石壩施工機(jī)械的運(yùn)動學(xué)數(shù)據(jù)和聲學(xué)數(shù)據(jù)的實時采集與管理，并采用低通濾波器和梅爾頻譜等方法對采集的多模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理；(2)構(gòu)建了多模態(tài)感知驅(qū)動的堆石壩施工機(jī)械活動狀態(tài)識別深度學(xué)習(xí)模型，該模型集成了IDeepConvLSTM通過運(yùn)動學(xué)模態(tài)數(shù)據(jù)精確感知機(jī)械運(yùn)動方向和DCNN從聲學(xué)模態(tài)數(shù)據(jù)中準(zhǔn)確識別機(jī)械振動狀態(tài)的優(yōu)勢，能夠自動提取多模態(tài)數(shù)據(jù)特征，避免了手動提取特征帶來的信息偏差和時間滯后，進(jìn)而提高了機(jī)械精細(xì)活動狀態(tài)識別的精度和實時性；(3)采用大窗口移動過濾器在線處理機(jī)械活動識別結(jié)果，依托開發(fā)的云平臺實現(xiàn)了堆石壩碾壓施工仿真參數(shù)的實時建模；(4)依托兩河口高心墻堆石壩建設(shè)過程驗證了所提模型的實時性和準(zhǔn)確性，基于移動智能手機(jī)傳感器的多模態(tài)數(shù)據(jù)實時采集云平臺可以實現(xiàn)多模態(tài)數(shù)據(jù)的采集、預(yù)處理、機(jī)械活動識別和仿真參數(shù)實時建模。對比研究表明，相比于聲學(xué)或運(yùn)動學(xué)單一模態(tài)的機(jī)械活動識別方法，本研究所提方法的識別精度分別提高了23.62%和9.22%。

本文研究成果為實現(xiàn)高堆石壩施工實時仿真提供了新的感知技術(shù)手段，推進(jìn)了堆石壩施工仿真的智能化發(fā)展，尤其是對滿足施工仿真全面透徹感知需求具有顯著的工程意義；同時，本研究可以推廣應(yīng)用于其它水電建設(shè)施工機(jī)械活動實時監(jiān)測與仿真參數(shù)建模，具有一定普適性。此外，為了進(jìn)一步提高本研究在實際生產(chǎn)中的應(yīng)用效果，未來計劃在此研究基礎(chǔ)上自主研發(fā)耗電量小、防水放塵的專用集成移動智能傳感器，并通過大壩智能碾壓監(jiān)控系統(tǒng)布設(shè)的駕駛艙內(nèi)部配電箱供電或者太陽能供電，以實現(xiàn)長時、高精度、抗干擾等工業(yè)化應(yīng)用目標(biāo)。