摘要： 災(zāi)后救援保障中，應(yīng)急供水扮演著至關(guān)重要的角色.然而，由于山區(qū)地形和地貌條件復(fù)雜多變，現(xiàn)場指揮調(diào)度尤為關(guān)鍵，關(guān)系著救援人員能否迅速展開保障裝備進行應(yīng)急供水作業(yè).文中基于多智能體強化學(xué)習(xí)（multi-agent proximal policy optimization，MAPPO）算法進行了路徑規(guī)劃系統(tǒng)的設(shè)計，并進行了試驗仿真驗證，根據(jù)獎勵圖結(jié)果確認(rèn)該路徑規(guī)劃系統(tǒng)的可行性，并實現(xiàn)系統(tǒng)運行可視化，證明該路徑規(guī)劃系統(tǒng)可以初步滿足山區(qū)應(yīng)急供水裝備路徑規(guī)劃需求.在此基礎(chǔ)上，結(jié)合Mask2Former圖像分割模型優(yōu)化山區(qū)應(yīng)急供水裝備路徑規(guī)劃系統(tǒng)，將地物信息輸出結(jié)果和路徑規(guī)劃結(jié)果相結(jié)合，有效避免了單一路徑規(guī)劃算法在受到環(huán)境影響時結(jié)果波動較大的問題，提高了路徑規(guī)劃的魯棒性和可靠性.將該路徑規(guī)劃系統(tǒng)集成至山區(qū)應(yīng)急供水裝備指揮平臺，以解決山區(qū)應(yīng)急供水路徑規(guī)劃問題，為山區(qū)應(yīng)急供水裝備的實際運行提供了有力支持.

關(guān)鍵詞： 路徑規(guī)劃；應(yīng)急供水；強化學(xué)習(xí)；指揮調(diào)度；多智能體強化學(xué)習(xí)算法

中圖分類號： S277.3;TP399 文獻標(biāo)志碼： A 文章編號： 1674-8530（2024）10-1066-07

DOI：10.3969/j.issn.1674-8530.24.0033

李偉，趙晨淞，袁壽其，等. 山區(qū)應(yīng)急供水裝備路徑規(guī)劃系統(tǒng)設(shè)計與應(yīng)用[J]. 排灌機械工程學(xué)報，2024，42（10）：1066-1072.

LI Wei， ZHAO Chensong， YUAN Shouqi，et al. Design and application of path planning system for emergency water supply equipment in mountainous areas[J]. Journal of drainage and irrigation machinery engineering（JDIME）， 2024， 42（10）： 1066-1072. （in Chinese）

Design and application of path planning system for emergency

water supply equipment in mountainous areas

LI Wei ZHAO Chensong， YUAN Shouqi， LI Haoming， CAO Weidong， ZHOU Ling， ZHU Yong， JI Leilei

（National Research Center of Pumps， Jiangsu University， Zhenjiang， Jiangsu 212013， China）

Abstract： In post-disaster rescue and relief assurance， emergency water supply plays a crucial role. However， due to the complex and changeable mountainous terrain and geomorphic conditions， on-site command and dispatch are particularly critical in determining whether rescue workers can quickly deploy support equipment for emergency water supply operations. Based on the multi-agent proximal policy optimization （MAPPO） algorithm， a path planning system was designed and experimental verification was conducted. The feasibility of the path planning system is confirmed according to the results of the reward diagram， and the system operation was visualized， demonstrating that the path planning system could preliminarily meet the requirements for path planning of emergency water supply equipment in mountainous areas. On this basis， Mask2Former′s image segmentation model was integrated to optimize the path planning system for mountainous area emergency water supply equipment. By combining the results of ground object information output with path planning results， significant fluctuations were avoided in the results of single path planning algorithms when affected by the environment， thereby enhancing the robustness and reliability of path planning. Integrating this path planning system into the command platform for mountainous area emergency water supply equipment solved the path planning issues in mountainous， providing strong support for the actual operation of emergency water supply equipment in mountainous regions.

Key words： path planning;emergency water supply;reinforcement learning;command dispatching;multi-agent proximal policy optimization algorithm

災(zāi)后救援保障中，應(yīng)急供水扮演著至關(guān)重要的角色，是確保生命安全的重要工程.尤其對于邊遠山區(qū)，其復(fù)雜多變的地形和地貌條件不利于迅速展開應(yīng)急供水保障裝備，使應(yīng)急供水的難度增加.傳統(tǒng)的供水系統(tǒng)面臨著效率低、響應(yīng)速度慢等問題，常規(guī)的人工調(diào)度模式難以適應(yīng)復(fù)雜多變的山區(qū)環(huán)境.然而，隨著人工智能技術(shù)的不斷發(fā)展，智能調(diào)度決策技術(shù)在應(yīng)急供水領(lǐng)域得到了廣泛應(yīng)用.

在供水系統(tǒng)優(yōu)化調(diào)度方面，城市供水系統(tǒng)優(yōu)化調(diào)度技術(shù)已發(fā)展得較為成熟.KADU等[1]提出了一種基于關(guān)鍵路徑的方法來減少遺傳算法的搜索空間，并證明其在減少搜索空間方面的有效性；國內(nèi)，張朝等[2]針對魯棒連續(xù)聚類遺傳算法（robust continuous clustering genetic algorithm，rccGA）的缺陷采取了改變適應(yīng)度排序準(zhǔn)則等一系列改進措施.在供水系統(tǒng)的應(yīng)急調(diào)度方面，國外供水系統(tǒng)的應(yīng)急調(diào)度主要集中在風(fēng)險評價和應(yīng)急預(yù)案方向， SOLDI等[3]研究了城市供水網(wǎng)絡(luò)的彈性和脆弱性，結(jié)合水力模擬判斷管道故障的風(fēng)險；ALSHARQAWI等[4]通過網(wǎng)絡(luò)故障樹來確定管段的工作和故障狀態(tài)，并開發(fā)了配水管網(wǎng)可靠性評估模型；RODRIGUES等[5]對準(zhǔn)備評估能力、響應(yīng)能力、救援和恢復(fù)能力等指標(biāo)進行評估；BEKER等[6]在管道正常和故障狀態(tài)下使用模糊邏輯方法評價供水系統(tǒng)的整體性能.國內(nèi)供水系統(tǒng)的應(yīng)急調(diào)度研究主要集中在城鎮(zhèn)供水系統(tǒng)優(yōu)化調(diào)度方向，吳儀[7]建立應(yīng)急預(yù)案庫并利用多目標(biāo)模糊優(yōu)選原理進行預(yù)案優(yōu)選，保障應(yīng)急供水系統(tǒng)在事故發(fā)生后的迅速響應(yīng)；張繼昌[8]利用優(yōu)化算法研究了水源污染事故發(fā)生后供水量不足情況下的調(diào)度方案；鮑任兵等[9]介紹了城市供水系統(tǒng)從水源到配水的全流程可能存在的風(fēng)險，提出事故發(fā)生后的相應(yīng)應(yīng)急措施；袁曲等[10]以武漢市自來水有限公司為例，分析了疫情期間的供水量、水質(zhì)，提出了疫情期間水廠運行的應(yīng)急響應(yīng)、應(yīng)急保障措施.

綜上所述，目前國內(nèi)尚缺乏面向山區(qū)災(zāi)害場景應(yīng)急供水裝備路徑規(guī)劃方面的研究.因此，文中利用深度學(xué)習(xí)、強化學(xué)習(xí)等技術(shù)，實現(xiàn)對供水系統(tǒng)的裝備進場和作業(yè)路徑規(guī)劃，為復(fù)雜環(huán)境下山區(qū)應(yīng)急供水裝備進場調(diào)度提供高效、靈活運行方案，為大規(guī)模實際應(yīng)用提供參考.

1 山區(qū)應(yīng)急供水裝備路徑規(guī)劃系統(tǒng)

1.1 山區(qū)應(yīng)急供水裝備與路徑規(guī)劃目標(biāo)

山區(qū)應(yīng)急供水裝備包括打井鉆機、高壓提水泵車、可折疊蓄水池、移動泵站車和管線鋪設(shè)車等[11]，如圖1所示.

山區(qū)應(yīng)急供水裝備路徑規(guī)劃整體目標(biāo)如圖2所示，進行應(yīng)急供水裝備進場路徑及管路鋪設(shè)路徑規(guī)劃，縮短應(yīng)急供水裝備進場作業(yè)時間.路徑規(guī)劃系統(tǒng)包括環(huán)境與車輛數(shù)據(jù)導(dǎo)入、山區(qū)應(yīng)急供水裝備管線連接方案、各車輛路徑規(guī)劃、管線車鋪管、路徑規(guī)劃結(jié)果可視化輸出和外部平臺集成應(yīng)用.

1.2 多智能體強化學(xué)習(xí)算法設(shè)計

1.2.1 多智能體強化學(xué)習(xí)算法

MAPPO[12]是Open AI在2018年提出的多智能體強化學(xué)習(xí)算法，改進了原PPO算法[13].MAPPO采用近端目標(biāo)函數(shù)限制策略變化，使用重要性采樣估計梯度，并采用截斷重要性采樣技術(shù)穩(wěn)定學(xué)習(xí)過程.它在多智能體環(huán)境中表現(xiàn)出快速收斂和良好穩(wěn)定性.與其他MARL算法相比，在計算資源有限的MARL測試環(huán)境下，MAPPO解決了多智能體強化學(xué)習(xí)中的非穩(wěn)定性問題，具有更快的運行速度和可改進的樣本復(fù)雜性.MAPPO算法適用于需要多個智能體協(xié)同工作的場合，如無人機編隊飛行、機器人群體協(xié)作等領(lǐng)域.

1.2.2 算法適應(yīng)和網(wǎng)絡(luò)設(shè)計

在MAPPO算法的基礎(chǔ)上，針對山區(qū)應(yīng)急供水環(huán)境進行設(shè)計，其中網(wǎng)絡(luò)設(shè)計對算法影響巨大.處理山區(qū)應(yīng)急供水路徑地圖信息時，卷積層捕捉空間信息，提取局部特征并輸出給下一層.卷積核大小和數(shù)量可調(diào).池化層降低特征圖維度，最大池化減少冗余信息，提高模型魯棒性和計算效率.在山區(qū)和邊遠災(zāi)區(qū)應(yīng)急供水裝備路徑規(guī)劃問題中，選擇不使用批標(biāo)準(zhǔn)化或?qū)訕?biāo)準(zhǔn)化來訓(xùn)練深度網(wǎng)絡(luò)，以防訓(xùn)練不穩(wěn)定或性能下降.實際應(yīng)用中，采用LSTM作為網(wǎng)絡(luò)層的一部分，結(jié)構(gòu)如圖3a所示，圖中A為1個循環(huán)神經(jīng)網(wǎng)絡(luò)模塊；x為輸入;h為輸出；t-1，t，t+1分別為不同時刻.然后結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)，使得網(wǎng)絡(luò)可應(yīng)對復(fù)雜的地圖任務(wù)，從而提高模型的性能，最終的網(wǎng)絡(luò)結(jié)構(gòu)如圖3b所示.

1.3 山區(qū)應(yīng)急供水裝備路徑規(guī)劃系統(tǒng)設(shè)計

1.3.1 系統(tǒng)狀態(tài)信息

在多智能體問題中，狀態(tài)設(shè)計關(guān)鍵在于平衡全局信息和局部信息.全局信息包括所有智能體的相關(guān)信息，而局部信息關(guān)注個體特征和周圍環(huán)境.狀態(tài)設(shè)計提供豐富信息，幫助智能體理解環(huán)境和其他智能體的狀態(tài).在分布執(zhí)行中，智能體根據(jù)集中訓(xùn)練的策略或價值函數(shù)在實際環(huán)境中決策和交互.通過迭代集中訓(xùn)練和分布執(zhí)行，逐步改進和優(yōu)化狀態(tài)設(shè)計，使智能體適應(yīng)復(fù)雜的多智能體環(huán)境.單個智能體的觀察結(jié)果被分為2部分：地圖信息和離散信息，如圖4所示.

其中，地圖信息是所有智能體共享的，由形狀為[3，10，10]的矩陣組成，從環(huán)境中抽取3個不同的類別（泵位置、管道位置和有效管道位置），環(huán)境大小為30×30.對于不同類別的物品，創(chuàng)建單獨的特征圖存儲這些信息以達到區(qū)分的目的；對于單通道數(shù)據(jù)形式，當(dāng)該位置有相應(yīng)的類別時，設(shè)置為1，否則為0.這種地圖狀態(tài)信息的設(shè)計反映了智能體所處環(huán)境的空間特征.actor網(wǎng)絡(luò)[14]（近似輸入state和輸出action函數(shù)的神經(jīng)網(wǎng)絡(luò)）輸出策略作為每一個智能體的輸入，而critic網(wǎng)絡(luò)（近似Q-value函數(shù)的神經(jīng)網(wǎng)絡(luò)）需要觀測所有智能體的狀態(tài)，因此地圖信息作為共有部分只保留一個，而將所有其他的信息進行合并.離散信息包含單個智能體的狀態(tài)，具體如表1所示.

將連續(xù)的特征值轉(zhuǎn)換到[0，1]，統(tǒng)一比例和縮放標(biāo)準(zhǔn)，這樣有助于神經(jīng)網(wǎng)絡(luò)更好地理解和處理特征.地圖的位置坐標(biāo)被轉(zhuǎn)換為[0，1]的數(shù)值，通常根據(jù)地圖的最大尺寸來進行縮放.使用獨熱編碼（one-hot encoding）將當(dāng)前的朝向狀態(tài)轉(zhuǎn)換為一個長為4的二進制向量，其中只有一位代表當(dāng)前的朝向是有效的，其他位則為0.離散特征如動作選擇、管道的存在狀態(tài)等使用0和1來表示，這些經(jīng)過轉(zhuǎn)換的特征作為觀測變量輸入到神經(jīng)網(wǎng)絡(luò)中，用于決策和路徑規(guī)劃.神經(jīng)網(wǎng)絡(luò)接收這些觀測變量，并生成策略和動作，這些策略和動作是基于當(dāng)前環(huán)境狀態(tài)的決策結(jié)果.地圖狀態(tài)信息提供空間特征，為決策過程提供了必要的上下文信息，幫助神經(jīng)網(wǎng)絡(luò)理解環(huán)境布局，并據(jù)此做出合適的行動選擇.

1.3.2 行動空間設(shè)計

在山區(qū)應(yīng)急供水場景中，每個智能體都有相同的行動設(shè)計，包括5個離散的行動：上、下、左、右和互動（鉆井、啟動、下泵、鋪管）.動作的表達格式是[向X方向走，向Y方向走].因此，對于具有5種動作的單個智能體，使用離散空間來設(shè)置其動作空間.在網(wǎng)絡(luò)設(shè)計中，最后的輸出層有5個節(jié)點，對應(yīng)每個動作的概率.允許根據(jù)網(wǎng)絡(luò)輸出的概率進行動作采樣或選擇最大概率的動作.

1.3.3 獎勵函數(shù)設(shè)計

在這個環(huán)境中，每個智能體都有自己的獎勵，而同一智能體的獎勵可能不同.這是因為每個智能體的行動都會影響環(huán)境狀態(tài)的變化，從而影響另一個智能體的行動.因此，有必要對每個智能體的行動分別計算獎勵.獎勵函數(shù)的設(shè)計需要考慮環(huán)境的復(fù)雜性和智能體的目標(biāo)，算法獎勵函數(shù)為

Rθ=∑τR（τ）Pθ（τ）=Eτ－Pθ（τ）［R（τ）］，（1）

式中：Rθ為參數(shù)化策略θ下的期望獎勵，即智能體在策略θ下預(yù)期獲得的平均獎勵；∑τ為對所有可能的行動序列τ求和；R（τ）為行動序列τ產(chǎn)生的獎勵；Pθ（τ）為在策略θ下采取行動序列τ的概率，用于描述智能體在給定參數(shù)θ下采取特定行動序列的可能性；Eτ-Pθ（τ）為對所有可能的行動序列τ在策略θ下的概率分布Pθ（τ）加權(quán)求期望；[R（τ）]為對行動序列τ產(chǎn)生的獎勵求期望的操作.

對于鉆機車和提水泵車，計算到水源距離，如果更近則獎勵+0.005.對于泵站車，檢查材料剩余量，若水平/垂直距水源lt;8，則獎勵+0.001，若使用了材料，獎勵+0.100；若材料用完且用戶需求未滿足，且有滿足條件的獎勵-0.500.對于管線作業(yè)車，獲取材料剩余數(shù)據(jù)和地圖特征路徑，如果island_get長度為1且地圖上還有其他管道存在，獎勵-0.005.為了避免智能體重復(fù)“刷分”，設(shè)置Flag，詳細設(shè)置如表2所示.

2 試驗仿真

2.1 基礎(chǔ)環(huán)境設(shè)置

任務(wù)的目標(biāo)是控制地圖中的4個智能體按照一定的步驟，處理管路并進行連接，最后將連接好的管路放至供水點，環(huán)境可視化如圖5所示.由圖可知，該地圖的大小為30×30.地圖中的圖標(biāo)包括地下水源、應(yīng)急供水裝備集結(jié)地、鉆機、供水點、障礙物、管網(wǎng)、越野型管線作業(yè)車、泵站、越野型泵站車、地表水源和提水泵車.淺藍色的區(qū)域是可移動的區(qū)域，地圖中存在轉(zhuǎn)向閾值限制及坡度限制.

基本過程為鉆機及智能體需要先到達水源處，執(zhí)行鉆井命令，生成地下水源，然后提水泵車再移動至地下水源附近提水，越野型管線作業(yè)車需要連接地下水源與供水點，并需要越野型泵站車于途中放置泵站.任務(wù)的詳細參數(shù)設(shè)置如表3所示.

2.2 超參數(shù)設(shè)置

在MAPPO算法中，超參數(shù)的設(shè)置對算法的性能和穩(wěn)定性有很大的影響.試驗中的一些超參數(shù)如表4所示.

其中，n_training_threads為用于訓(xùn)練的線程數(shù)，表示在多線程的環(huán)境下并行地訓(xùn)練10個智能體；n_rollout_threads為執(zhí)行rollout的線程數(shù)，用于收集樣本數(shù)據(jù)；lr為學(xué)習(xí)率，表示每次參數(shù)更新時參數(shù)的變化量；ppo_epoch為在每個訓(xùn)練周期中執(zhí)行PPO算法的次數(shù);熵值權(quán)重entropy_coef為策略的熵值，較小的熵值權(quán)重可以促進智能體的探索行為；損失值系數(shù)value_loss_coef為PPO算法中的損失函數(shù)系數(shù).

2.3 仿真與可視化實現(xiàn)

基于上述的超參數(shù)，開始對智能體進行訓(xùn)練.在每次采樣中，有10個采樣過程，每次采樣10個情節(jié).然后，進行一次更新，結(jié)果如圖6a所示，圖中episode為更新次數(shù)，reward為智能體獎勵值.從獎勵曲線可以看出，智能體可以很好地完成訓(xùn)練過程.在訓(xùn)練的早期階段，智能體的策略水平可以迅速提高.進入中期階段后，提高的速度減慢，最終隨著訓(xùn)練的進展，逐漸收斂并趨于穩(wěn)定.把LSTM從網(wǎng)絡(luò)中移除，在其他條件不變的情況下與原網(wǎng)絡(luò)進行了對比試驗，結(jié)果如圖6b所示，從曲線可以看出，沒有LSTM的PPO在預(yù)訓(xùn)練期仍能進行一定程度的策略提升，但其策略收斂水平不如有LSTM的PPO，這說明LSTM對網(wǎng)絡(luò)本身有一定的作用，特別是其記憶能力，對算法的訓(xùn)練和策略的提升有很大的作用.

智能體完成情況可視化結(jié)果如圖7所示.4個智能體通過協(xié)作完成從地下水源位置鋪設(shè)管道連通供水點的過程.根據(jù)圖7a的可視化結(jié)果，泵站車智能體放置泵站間隔位置過近，說明地圖復(fù)雜度較高時，由于地表信息過多，智能體的選擇限制較小，行動過于靈活，導(dǎo)致整個規(guī)劃過程過長，最終的反饋無法及時體現(xiàn)在泵站車的動作控制中.但在末端供水點的管線鋪設(shè)部分，在右上部分管線作業(yè)車智能體出現(xiàn)了完全無效的鋪管動作，并且在部分區(qū)域出現(xiàn)鋪管浪費的現(xiàn)象.這個結(jié)果表明，管線作業(yè)車智能體也無法將規(guī)劃過程過長的最終反饋及時體現(xiàn)在動作控制中，浪費了管道材料.如圖7b所示，管線作業(yè)車智能體在地形限制時出現(xiàn)碰壁情況，并且在部分工作路徑上出現(xiàn)同樣的浪費管道材料的行為.綜上所述，由于受到過多地圖信息的干擾，一些反饋難以及時在智能體的決策中進行調(diào)整，故部分區(qū)域出現(xiàn)了浪費管道材料及路徑非最短的情況.從供水任務(wù)整個規(guī)劃流程看，4個智能體協(xié)作給出近似的全局最優(yōu)解，表明該規(guī)劃方法有效.

3 改進與應(yīng)用

3.1 山區(qū)應(yīng)急供水裝備路徑規(guī)劃系統(tǒng)改進

通過上文對山區(qū)應(yīng)急供水路徑規(guī)劃系統(tǒng)的仿真和可視化的結(jié)果分析發(fā)現(xiàn)，雖然智能體可以很好地完成訓(xùn)練，但是該系統(tǒng)還存在問題.一方面，該系統(tǒng)缺乏靈活的地圖調(diào)整能力，可能會導(dǎo)致部分地物信息失真；另一方面，該系統(tǒng)的可視化程度并不滿足應(yīng)急救援場景下的使用要求，因為地表信息無法直接應(yīng)用到該路徑規(guī)劃系統(tǒng)中，導(dǎo)致輸出結(jié)果無法實現(xiàn)圖上作業(yè).

為解決該問題，文中結(jié)合Mask2Former圖像分割模型，對山區(qū)應(yīng)急供水裝備路徑規(guī)劃系統(tǒng)進行改進.應(yīng)用Mask2Former圖像分割模型，在給定的區(qū)域中識別并標(biāo)記可通行和不可通行的區(qū)域，并使用MAPPO算法規(guī)劃2個隨機選擇的可通行區(qū)域之間的路徑.加載原圖像，以便區(qū)分黑色區(qū)域和非黑色區(qū)域，將非黑色區(qū)域標(biāo)記為1（白色），黑色區(qū)域標(biāo)記為0.在二值化圖像中選擇2個白色像素點作為起點和終點，使用MAPPO算法找到這2點之間的最短路徑，確保路徑僅經(jīng)過可通行區(qū)域，并在第2張圖像上輸出路徑結(jié)果.

3.2 路徑規(guī)劃系統(tǒng)集成與應(yīng)用

創(chuàng)建GUI，用于調(diào)用路徑規(guī)劃算法生成路徑規(guī)劃結(jié)果，具有多個功能，其中輸入坐標(biāo)用于加入地理勘探信息以輔助決策；繪圖參數(shù)和縮放因子用于調(diào)整精準(zhǔn)度；消息框函數(shù)用于信息反饋制作動圖.根據(jù)加載遙感圖像的要求，將圖像進行標(biāo)準(zhǔn)化處理，文中圖像可精細化為250×250，滿足后續(xù)的使用標(biāo)識要求.可視化結(jié)果如圖9所示.

山區(qū)應(yīng)急供水裝備路徑規(guī)劃系統(tǒng)已在山區(qū)應(yīng)急供水裝備智能決策平臺中應(yīng)用.集成至平臺進場部署模塊，現(xiàn)場路徑規(guī)劃方案結(jié)果如圖10所示.

4 結(jié) 論

1） 通過綜合應(yīng)用Mask2Former模型與MAPPO算法，改進了山區(qū)應(yīng)急供水裝備路徑規(guī)劃系統(tǒng)，將地物信息輸出結(jié)果和路徑規(guī)劃結(jié)果相結(jié)合，有效避免了單一路徑規(guī)劃算法在受到環(huán)境影響時結(jié)果波動較大的問題，提高了路徑規(guī)劃的魯棒性和可靠性.

2） 將改進后的路徑規(guī)劃系統(tǒng)應(yīng)用至應(yīng)急供水系統(tǒng)指揮管控平臺，解決了山區(qū)應(yīng)急供水路徑規(guī)劃問題.通過路徑規(guī)劃系統(tǒng)研究與應(yīng)用，為山區(qū)應(yīng)急供水裝備的實際運行提供了有力支持.

3） 未來的研究可致力于改進小規(guī)模智能體在廣闊環(huán)境中的仿真計算復(fù)雜度，通過優(yōu)化算法和引入分布式計算等技術(shù)手段，以提高智能體在大范圍環(huán)境中的實時性和效率.

參考文獻（References）

[1] KADU M S，GUPTA R，BHAVE P R. Optimal design of water networks using a modified genetic algorithm with reduction in search space[J].Journal of water resources planning and management，2008，134（2）： 147-160.

[2] 張朝，劉海星，顧建強，等．基于需水不確定性的供水管網(wǎng)優(yōu)化運行研究[J]. 給水排水. 2019， 45（11）： 124-130.

ZHANG Chao，LIU Haixing，GU Jianqiang，et al. Study on optimal operation of water distribution system under demand uncertainty[J].Water amp; wastewater enginee-ring， 2019， 45（11）： 124-130. （in Chinese）

[3] SOLDI D，CANDELIERI A，ARCHETTI F. Resilience and vulnerability in urban water distribution networks through network theory and hydraulic simulation[J].Procedia engineering，2015，119：1259-1268.

[4] ALSHARQAWI M， FASCE T Z，PARVIZSEDGHY L，et al. Reliability assessment model for water distribution networks[J]. Journal of pipeline systems engineering and practice，2020，11（2）：04019059.

[5] RODRIGUES F，BORGES M，RODRIGUES H. Risk management in water supply networks： Aveiro case study[J].Environmental science and pollution research，2020，27：4598-4611.

[6] BEKER B A，KANSAL M L. Fuzzy logic-based integra-ted performance evaluation of a water distribution network[J]. AQUA-water infrastructure， ecosystems and society，2022，71（3）：490-506.

[7] 吳儀. 城市供水系統(tǒng)多水廠聯(lián)合優(yōu)化調(diào)度研究[D]．大連：大連理工大學(xué)，2022.

[8] 張繼昌. D市多水源供水管網(wǎng)系統(tǒng)水源事故時優(yōu)化調(diào)度研究及應(yīng)用[D]．哈爾濱：哈爾濱工業(yè)大學(xué)，2011.

[9] 鮑任兵，鄒磊，張懷宇，等. 城市供水系統(tǒng)應(yīng)急設(shè)計研究及案例應(yīng)用[J]．給水排水，2020，46（5）：105-111.

BAO Renbing，ZOU Lei，ZHANG Huaiyu，et al. Study and application on emergency design of urban water supply system[J].Water amp; wastewater engineering，2020，46（5）：105-111. （in Chinese）

[10] 袁曲，鄒磊，周冬，等. 特殊時期水廠安全運行保障應(yīng)急預(yù)案研究[J]．給水排水，2020，46（8）：24-30.

YUAN Qu，ZOU Lei，ZHOU Dong，et al. Study on emergency plan for safe operation of waterworks during epidemic prevention and control[J].Water amp; wastewater engineering，2020，46（8）：24-30. （in Chinese）

[11] 鄧凡杰，司喬瑞，李方忠，等. 山區(qū)和邊遠災(zāi)區(qū)應(yīng)急供水系統(tǒng)提水裝備發(fā)展現(xiàn)狀[J]．排灌機械工程學(xué)報，2023，41（6）：614-623.

DENG Fanjie，SI Qiaorui，LI Fangzhong，et al. Review on water carrying equipment for emergency water supply system in mountain and remote disaster areas[J].Journal of drainage and irrigation machinery engineering，2023，41（6）：614-623. （in Chinese）

[12] LOHSE O，PTZ N，HRMANN K. Implementing an online scheduling approach for production with multi agent proximal policy optimization （MAPPO）[C]//Proceedings of IFIP International Conference on Advances in Production Management Systems （APMS），Nantes， France： Springer International Publishing， 2021，634：586-595.

[13] MNIH V，BADIA A P，MIRZA M，et al. Asynchronous methods for deep reinforcement learning[C]//Procee-dings of the 33rd International Conference on Machine Learning， PMLR，2016，48：1928-1937.

（責(zé)任編輯 黃鑫鑫）