摘要：為解決鐵路調(diào)度通信中無線通信系統(tǒng)的可信度問題，提高列車運行的安全性，以廣東省鐵路樞紐調(diào)度系統(tǒng)為研究對象，運用MATLAB分析程序中Actor-Critic異步優(yōu)勢強化學習法，對CBTC的無線通信系統(tǒng)進行仿真分析，研究通信系統(tǒng)遭受Sybil攻擊時的可信性，并基于可行性優(yōu)化對鐵路的無線通信傳輸延遲和加速度指標進行分析。結果表明，基于Actor-Critic異步優(yōu)勢強化學習方法可以有效提高鐵路列車控制系統(tǒng)無線通信技術的可信性；優(yōu)化后無線信號傳輸延遲的曲線波動極大地收斂，背景波動范圍在15～20 s之間，傳輸延遲峰值約為優(yōu)化前的50%；通過優(yōu)化無線通信技術可信性，鐵路列車運行的加速度周期明顯縮小，大大地提高了列車對加速度的控制能力。

關鍵詞：列車安全；無線通信系統(tǒng)；異步優(yōu)勢Actor-Critic強化學習；協(xié)同安全檢測

doi：10.3969/J.ISSN.1672-7274.2024.10.052

中圖分類號：TN 92；U 22 文獻標志碼：B 文章編碼：1672-7274（2024）10-0-03

Exploration of the Application of Wireless Communication Technology

in Train Operation Safety

Abstract： In order to improve the reliability of wireless communication systems in railway dispatch communication and enhance the safety of train operation， the Guangdong Railway Hub Dispatch System is taken as the research object. The Actor Critic asynchronous advantage reinforcement learning method in MATLAB analysis program is used to simulate and analyze the CBTC wireless communication system for train control. The reliability of the communication system under Sybil attack is studied， and the wireless communication transmission delay and acceleration indicators of the railway are analyzed based on feasibility optimization. The results indicate that reinforcement learning based on Actor Critic asynchronous advantage can effectively improve the reliability of wireless communication technology in railway train control systems; The curve fluctuation of optimized wireless signal transmission delay greatly converges， with a background fluctuation range between 15 s and 20 s， and the peak transmission delay is about 50% of that before optimization; After optimizing the reliability of wireless communication technology， the acceleration period of railway train operation has been significantly reduced， greatly improving the train's ability to control acceleration.

Keywords： train safety; wireless communication system; asynchronous advantage actor critic reinforcement learning; collaborative security detection

1 列車中心控制無線通信系統(tǒng)

以廣東省某處鐵路調(diào)度系統(tǒng)為例。列車中心控制系統(tǒng)主要由中央控制系統(tǒng)、核心網(wǎng)、無線通信系統(tǒng)和車載控制子系統(tǒng)組成。列車在巡航中，車載ZC與CI可以根據(jù)車-車通信鏈路，獲取前方車輛的距離、速度、加速度等信息，自主計算MA信息與相關控制命令，產(chǎn)生的信號通過車地通信鏈路與無線通信系統(tǒng)進行并網(wǎng)運行，信號通過BBU1和BBU2設備匯入核心網(wǎng)，與中央控制系統(tǒng)進行鏈接，達到提高系統(tǒng)傳輸效率與控制命令傳輸高效的目的。

2 基于Actor-Critic異步優(yōu)勢強化學習

的無線通信技術的可信性

Actor-Critic異步優(yōu)勢強化學習是Asynchronous Advantage Actor-Critic異步強化學習的簡稱，它通過將無線通信系統(tǒng)中的行為策略參數(shù)化，對協(xié)作式檢測決策進行策略參數(shù)優(yōu)化更新，以降低無線通信系統(tǒng)AOI指標，通過計算得到最優(yōu)的系統(tǒng)行為和較好的收斂性[1-2]。與傳統(tǒng)基于價值的學習方法（Q-learning算法）相比，Actor-Critic異步優(yōu)勢強化學習法可以引入極限評價系統(tǒng)，基于系統(tǒng)策略學習，分析無線通信系統(tǒng)的時序差分誤差，得到全域內(nèi)的價值函數(shù)最優(yōu)解。Actor-Critic異步優(yōu)勢強化學習法的價值函數(shù)如式（1）所示。

式中，為價值函數(shù)；εu為價值函數(shù)的參數(shù)；t為時間；ρ為行為策略；s（t）為時間序列；λ為折扣因子；r（t）為系統(tǒng)獎勵函數(shù)。

基于行為策略，研究者對價值函數(shù)進行積分運算，通過該公式得到價值函數(shù)的變換式，如式（2）所示。

技術人員可以采取Actor-Critic異步優(yōu)勢強化學習法，應用MATLAB軟件編程進行程序代碼編制計算。計算過程如表1所示。

為了研究列車控制無線通信技術的可行性，本文基于MATLAB程序?qū)BTC無線通信系統(tǒng)進行仿真分析，模擬Sybil攻擊過程中無線通信系統(tǒng)AOI值整體變化情況，以反映無線通信系統(tǒng)的Sybil攻擊次數(shù)性能。采用的安全檢測方案有3種，分別是傳統(tǒng)的安全檢測方案、傳統(tǒng)的協(xié)同安全檢測方案以及基于Actor-Critic異步優(yōu)勢強化學習法的檢測方案，計算的時間長度分別為列車進入巡航后的Sybil攻擊峰值期，分別為0～30 s和80～110 s。3種不同檢測方案得到的無線通信軌道AOI值曲線如圖1所示。圖1（a）、圖1（b）為基于傳統(tǒng)的安全檢測方案的軌道列車控制中心由于Sybil攻擊引起的AOI值變化，圖1（c）、圖1（d）為基于傳統(tǒng)的協(xié)同安全檢測方案的軌道列車控制中心由于Sybil攻擊引起的AOI值變化，圖1（e）、圖1（f）為基于Actor-Critic異步優(yōu)勢強化學習法檢測方案的軌道列車控制中心由于Sybil攻擊引起的AOI值變化。從圖1（a）和1（b）中可以看出，在0～30 s內(nèi)AOI值出現(xiàn)了劇烈的波動，AOI值峰值超過600的次數(shù)達到7次，而在80～110 s內(nèi)，盡管AOI值的波動有所緩解，但AOI峰值仍較大，超過600的次數(shù)達到了4次，這是因為基于傳統(tǒng)安全檢測方案的Sybil攻擊監(jiān)測，需要對巡航中的列車控制無線通信系統(tǒng)進行密鑰認證，因此在系統(tǒng)監(jiān)測時不能有效快速地捕捉Sybil攻擊，導致發(fā)生Sybil節(jié)點攻擊時，列車控制無線通信系統(tǒng)的AOI值出現(xiàn)劇烈波動，難以滿足列車運行時在特定失效內(nèi)收集運行預警信息的要求，對列車控制無線通信系統(tǒng)的信息可行性產(chǎn)生嚴重影響，引發(fā)列車事故響應延遲，防御效果不理想。從圖1（c）和1（d）中可以看出，相對于傳統(tǒng)的安全檢測方案，傳統(tǒng)的協(xié)調(diào)安全檢測方案得到的0～30 s內(nèi)AOI值和80～110 s內(nèi)AOI值波動均有明顯改善，獲得了優(yōu)于傳統(tǒng)安全檢測方案的Sybil攻擊性能參數(shù)，有效地降低了整體AOI值的波動次數(shù)，0～30 s內(nèi)AOI值峰值超過600的次數(shù)達到2次，而在80～110 s內(nèi)AOI值峰值超過600的次數(shù)達到4次，兩個時段內(nèi)的AOI值的峰值仍能達到1 500，這有效保障了巡航4vv6ZOTtg35OZ/E9tufiWQ==的軌道列車能在受到Sybil攻擊時，可得到正確的安全苛求信息反饋，保證了列車正常運行時，其安全監(jiān)測程序能夠做出及時和準確的應急反應，有效地提高了無線通信系統(tǒng)的及時性、可行性、可靠性。盡管如此，基于傳統(tǒng)的協(xié)同安全檢測方案在阻攔偶發(fā)錯誤時存在缺陷，導致難以高效地識別并阻攔偶發(fā)錯誤，AOI在小范圍內(nèi)的劇烈波動，錯誤的檢測結果甚至會引發(fā)整體效應，對整個系統(tǒng)造成不良影響。AOI在小范圍內(nèi)的劇烈波動，錯誤的檢測結果甚至會引發(fā)整體效應，對整個系統(tǒng)造成不良影響。從圖1（e）和圖1（d）中可以看出，相對于傳統(tǒng)的安全檢測方案和傳統(tǒng)的協(xié)調(diào)安全檢測方案，由于列車控制無線通信系統(tǒng)采用了基于Actor-Critic異步優(yōu)勢強化學習法的檢測方案，能夠有效地捕捉Sybil攻擊，避免了AOI值的劇烈波動，在0～30 s內(nèi)AOI值峰值均小于600，且AOI峰值大于300的次數(shù)僅有10次，而在80～110 s內(nèi)AOI值峰值也均小于600，且AOI峰值大于300的次數(shù)僅有4次，有效地控制了Sybil攻擊觸發(fā)的AOI值波動，為列車安全運行提供了可靠性高的基礎信息，是這3種檢測方案中最好的優(yōu)化效果，可信性最高。

3 基于無線通信技術可信性優(yōu)化的列車

控制系統(tǒng)性能提升

在信息技術不斷發(fā)展、無線通信技術應用力度不斷加大的背景下，列車無線通信網(wǎng)絡應用水平不斷提高。然而，無線通信網(wǎng)絡在受到擾動時極易引發(fā)安全苛求信息無法在時效內(nèi)生成，技術人員應對無線通信環(huán)環(huán)境的不穩(wěn)定性因素進行細致全面地分析和控制，從而使列車通信鏈路能夠及時準確地收集安全信息，并輸出相應的MA響應信息，正確地評估列車無線通信系統(tǒng)可信性受到擾動的影響程度，達到列車控制水平提升的目的[3-5]。通過以上分析可知，基于Actor-Critic異步優(yōu)勢強化學習可以有效提高列車控制系統(tǒng)無線通信技術的可信性。

為提升列車控制系統(tǒng)性能，相關技術人員可以考慮合理應用Actor-Critic異步系統(tǒng)，將無線通信抗擾動能力提高。在Actor-Critic異步技術支持下，列車k能夠針對列車n的信息輸出預估控制效果計算方式如式（3）所示。

擾動后最小通信延遲；為列車狀態(tài)行為函數(shù)。

4 結束語

本文以廣東省樞紐地區(qū)列車調(diào)度系統(tǒng)為研究對象，運用MATLAB分析程序中Actor-Critic異步優(yōu)勢強化學習法，對CBTC無線通信系統(tǒng)進行仿真分析，研究通信系統(tǒng)遭受Sybil攻擊時的可信性，并基于可行性優(yōu)化對列車的無線通信傳輸延遲和加速度指標進行分析，得到以下幾個結論：

（1）相對于傳統(tǒng)的安全檢測方案，傳統(tǒng)的協(xié)調(diào)安全檢測方案得到的0～30 s內(nèi)AOI值和80～110 s內(nèi)AOI值波動均有明顯改善，獲得優(yōu)于傳統(tǒng)安全檢測方案的Sybil攻擊性能參數(shù)，有效地降低了整體AOI值的波動次數(shù)，表明基于Actor-Critic異步優(yōu)勢強化學習可以有效提高列車控制系統(tǒng)無線通信技術的可信性。

（2）在優(yōu)化前，列車的無線信號傳輸會受到不同程度的擾動，信號的波動范圍在15～40 s之間，最大延遲達到240 s；優(yōu)化后，列車的無線信號傳輸延遲的曲線波動情況得到極大地改善，背景波動范圍在15～20 s之間，最大延遲縮短到112 s，傳輸延遲峰值約為優(yōu)化前的50%；

（3）在采用Actor-Critic異步優(yōu)勢強化學習方法進行通信系統(tǒng)優(yōu)化后，列車運行的加速度周期明顯縮小，大大地提高了列車對加速度的控制能力。

參考文獻

[1] 潘威煒．城市軌道交通車地無線通信技術的演進歷程及未來發(fā)展[J]．城市軌道交通研究，2022，25（8）：149-152．

[2] 蒲豫園．城市軌道交通車地無線專用通信系統(tǒng)5G技術應用探討[J]．都市快軌交通，2022，35（1）：107-113．

[3] 陳琦．基于5G技術的城市軌道交通車地數(shù)據(jù)轉儲方案研究[J]．城市軌道交通研究，2022，25（1）：23-26．

[4] 高翔．5G移動通信技術在城市軌道交通車地無線通信系統(tǒng)中的應用[J]．城市軌道交通研究，2018，21（z2）：61-64．

[5] 何小兵，陳學鋒，陳俊，等．多源異構數(shù)據(jù)實時主動處理技術在城市軌道交通供電智能運維中的應用研究[J]．城市軌道交通研究，2022，25（9）：16-22．