摘要：隨著機器學習技術的發(fā)展，機器學習算法已在解決許多領域的復雜問題中取得了顯著的成果，包括金融、醫(yī)療、交通和零售等領域。在網(wǎng)絡阻塞控制中，基于機器學習的計算模型可為復雜通信網(wǎng)絡的阻塞控制提供一個新的解決方案。與基于規(guī)則的傳統(tǒng)擁塞控制算法相比，機器學習方法能從歷史經(jīng)驗中進行學習并做出預測決策，其表現(xiàn)優(yōu)于傳統(tǒng)方法。本文首先對機器學習在網(wǎng)絡阻塞領域的應用進行梳理，之后重點探討了其在地質(zhì)災害監(jiān)測設備故障排查通信網(wǎng)絡阻塞控制中的應用及挑戰(zhàn)，最后對基于機器學習的網(wǎng)絡阻塞方法的應用前景進行了展望。

關鍵詞：通信；機器學習；阻塞控制；復雜通信網(wǎng)絡

一、引言

隨著數(shù)據(jù)中心、WiFi、5G、6G和衛(wèi)星通信等應用的發(fā)展，網(wǎng)絡阻塞成為普遍問題。其會導致網(wǎng)絡性能低下，影響通信速度和可靠性。網(wǎng)絡擁塞控制（CC）是提高傳輸效率的重要技術，通過監(jiān)控和調(diào)整網(wǎng)絡狀態(tài)以保持網(wǎng)絡暢通。網(wǎng)絡擁塞時，通過減少數(shù)據(jù)傳輸量來避免丟包和延遲，通常在網(wǎng)絡層或傳輸層實現(xiàn)?；ヂ?lián)網(wǎng)傳輸協(xié)議是基于分組交換的最優(yōu)轉(zhuǎn)發(fā)，端到端控制為應用程序提供可靠服務[1]。當主機通過網(wǎng)絡發(fā)送過量數(shù)據(jù)包時，需進行CC以提高網(wǎng)絡吞吐量，同時避免過載導致的數(shù)據(jù)丟包，并確保端到端會話的公平性。傳統(tǒng)CC算法分為兩種類型：端到端（End-to-End）型網(wǎng)絡 CC和網(wǎng)絡輔助（Network-Assisted）型網(wǎng)絡 CC。

在端到端擁塞控制領域，有多種研究關注TCP協(xié)議在無線網(wǎng)絡中對丟包原因的識別策略。同時，一些研究團隊專注于多跳無線網(wǎng)絡（Ad-Hoc）的傳輸層最佳端到端速率和MAC層鏈路速率的聯(lián)合控制問題。新的集體擁塞控制范式（C3）也被提出，旨在改進網(wǎng)絡性能。此外，基于UDP的傳輸方法也被開發(fā)，以提高鏈路的峰值利用率。研究人員還探討了TCP擁塞控制中競爭窗口的影響，以及基于光纖－無線網(wǎng)絡虛擬化模型的新算法。動態(tài)時間窗口擁塞控制方法和自適應服務質(zhì)量感知的路由算法也是研究的焦點。從控制理論角度，支持IP的無線網(wǎng)絡的擁塞控制策略正在被設計和優(yōu)化。一些團隊還提出了結合動態(tài)負載平衡、多路徑和擁塞控制的新網(wǎng)絡控制方法。另外，網(wǎng)絡擁塞控制的流體流模型也在不斷被重新設計，以適應不同的網(wǎng)絡環(huán)境和需求。這些進展表明，雖然傳統(tǒng)的擁塞控制算法針對特定場景和協(xié)議設計，但它們的實時性、普適性和魯棒性仍需進一步優(yōu)化。

近年來，基于機器學習（ML）的network-assisted型網(wǎng)絡CC算法為不同場景提供解決方案。機器學習（Machine Learning，ML）是人工智能的一個分支，通過數(shù)據(jù)特征提取學習實現(xiàn)分類、聚類和預測。ML在CC中的應用包括監(jiān)督學習（Supervised Learning，SL）、非監(jiān)督學習（Unsupervised Learning，UL）和強化學習（Reinforecement Learning，RL）。SL在網(wǎng)絡擁塞數(shù)據(jù)集上訓練，用于預測實時管理擁塞的最佳行動。UL從無標記數(shù)據(jù)中學習，識別流量模式以預防擁塞。RL通過試驗和獎懲學習控制擁塞的最佳行動，在網(wǎng)絡模擬上訓練算法進行擁塞管理。

基于此，本文首先對ML 在 CC 領域的應用進行了梳理及總結。這些算法被應用在了多種復雜的網(wǎng)絡中，如物聯(lián)網(wǎng)（Internet of Things，IoT）、數(shù)據(jù)中心，以及衛(wèi)星通信等。接著，本文重點探討了ML技術在地質(zhì)災害監(jiān)測設備故障排查通信網(wǎng)絡阻塞控制中的應用，包括潛在的應用場景和技術挑戰(zhàn)。最后，對ML在網(wǎng)絡CC中的未來發(fā)展趨勢和面臨的挑戰(zhàn)進行了總結，旨在為地質(zhì)災害監(jiān)測設備故障排查通信網(wǎng)絡阻塞控制的進一步研究提供有益借鑒。

二、 基于機器學習的網(wǎng)絡擁塞控制算法

基于 ML 的網(wǎng)絡 CC 方法主要分為基于 SL 的網(wǎng)絡 CC 方法、基于 UL 的網(wǎng)絡 CC 方法和基于 RL 的網(wǎng)絡 CC 方法等。

（一）基于監(jiān)督學習的網(wǎng)絡擁塞控制算法

傳統(tǒng)網(wǎng)絡CC算法基于數(shù)據(jù)包丟失或延遲來間接檢測擁塞。相比之下，基于SL的網(wǎng)絡CC算法通過分析歷史和當前網(wǎng)絡狀態(tài)（如數(shù)據(jù)包間隔、延遲等）來預估擁塞。這依賴于網(wǎng)絡狀態(tài)的時間序列特性，即未來的狀態(tài)可由過去狀態(tài)來預測。基于SL的CC方法在預測隊列長度方面表現(xiàn)出色，其通過樣本訓練獲得最優(yōu)模型，并利用此模型將輸入映射到輸出，進行判斷。SL技術可用于數(shù)據(jù)分類，常見方法包括決策樹（Decision Tree，簡稱DT）、隨機森林（Random Forest，簡稱RF）、貝葉斯（Bayesian）方法和人工神經(jīng)網(wǎng)絡（Artificial Neural Networks，簡稱ANNs）。

1.基于決策樹和隨機森林的網(wǎng)絡擁塞控制算法

在網(wǎng)絡擁塞控制算法的研究中，決策樹（DT）技術被用來通過樹狀結構對網(wǎng)絡數(shù)據(jù)進行預測和決策管理，如利用網(wǎng)絡流量和可用帶寬來管理數(shù)據(jù)流。同時，隨機森林（RF）算法通過結合多個決策樹來執(zhí)行分類和回歸任務，以預測網(wǎng)絡中的擁塞情況。在5G網(wǎng)絡中，一種優(yōu)化的基于DT的模型已被開發(fā)并應用于改善擁塞控制效果。一種結合卡爾曼濾波和梯度增強決策樹（GBDT-KF）的新算法也被提出，目的是提升GBDT算法的性能。此外，一個基于DT的擁塞控制算法選擇系統(tǒng)SCASys亦被設計出來，用于更有效的擁塞管理[2-3]。

2.基于貝葉斯的網(wǎng)絡擁塞控制算法

隨著實時視頻和無線網(wǎng)絡技術的發(fā)展，實施有效的實時擁塞控制變得至關重要。大多數(shù)現(xiàn)有的擁塞控制算法在面對需要低延遲的流量時表現(xiàn)不佳，特別是在信道容量頻繁變動的情況下。為了改善這一狀況，一種新型的基于學習的擁塞控制方法被開發(fā)出來，專門用于無線網(wǎng)絡中實時視頻通信的擁塞管理。這種方法利用概率密度估計和貝葉斯定理來適應信道容量的變化，目的是提升網(wǎng)絡的利用率和吞吐量[4]。

同時，在物聯(lián)網(wǎng)（IoT）環(huán)境中，針對無線和有線信道中數(shù)據(jù)包丟失問題，一種基于樸素貝葉斯的新型擁塞控制策略被提出。這種策略通過區(qū)分丟包類型，提供了高速、高準確性和高穩(wěn)定性的擁塞管理解決方案。這些創(chuàng)新表明，在現(xiàn)代網(wǎng)絡環(huán)境下，擁塞控制策略必須具備高度的適應性和智能化特征[5]。

3.基于人工神經(jīng)網(wǎng)絡的網(wǎng)絡擁塞控制算法

研究人員對TCP協(xié)議及自適應有限時間內(nèi)擁塞控制的AQM（主動隊列管理）問題進行了深入研究。通過結合漏斗控制、神經(jīng)網(wǎng)絡和滑模控制技術，提出了一種新型的AQM算法[6]。這種算法能夠確保誤差在有限時間內(nèi)收斂，并進行了穩(wěn)定性分析，證明了閉環(huán)系統(tǒng)信號是有界的。另一項研究為命名數(shù)據(jù)網(wǎng)絡及其自適應擁塞控制協(xié)議（Adaptive Congestion Control Protocol，ACCP）開發(fā)了一種基于深度信念網(wǎng)絡的方法。該方法分兩個階段：第一階段是用深度學習預測節(jié)點擁塞源，第二階段是根據(jù)路由器結果和平均隊列長度估計網(wǎng)絡擁塞，調(diào)整發(fā)送速率以實現(xiàn)CC。該方案可在多源、多路徑情況下提高信道利用率和減少丟包[7]。

（二）基于非監(jiān)督學習的網(wǎng)絡擁塞控制算法

當數(shù)據(jù)類別未知時，需要根據(jù)樣本之間的相似性對樣本集進行聚類，以最小化類內(nèi)差距，最大化類間差距，這時就會用到 UL 技術。在某些情況下，網(wǎng)絡信息不能完全被提供，訓練數(shù)據(jù)沒有被提前標記， 基于 UL 技術的聚類方法在網(wǎng)絡 CC 的應用主要是基于K-means、分層聚類（Hierarchical Clustering， HC）和其他 UL 技術，如基于密度的均值轉(zhuǎn)移（Density-Based Mean Shift， DBMS）、基于密度的聚類算法（Density-Based Spatial Clustering of Applications with Noise，DBSCAN）和基于期望最大化（Expectation Maximization， EM） 等。

1.基于 K-means 的網(wǎng)絡擁塞控制算法

K-means是一種非監(jiān)督聚類方法，其能夠?qū)?shù)據(jù)分為K個類別。但此方法對初始中心選擇較為敏感。為了優(yōu)化這一點，有研究者結合了Map Reduce框架，開發(fā)了一種改進的K-means算法。這種算法特別適用于識別網(wǎng)絡中的重流量問題，有助于更好地管理網(wǎng)絡流量和減輕擁塞。此外，該方法也被用于大規(guī)模網(wǎng)絡流量的聚類，通過有效地分類和管理網(wǎng)絡資源，以緩解網(wǎng)絡擁塞。在數(shù)據(jù)中心，K-means聚類方法被應用于TCP連接問題的節(jié)點分組。這種分組有助于簡化數(shù)據(jù)處理流程，減少網(wǎng)絡中的阻塞現(xiàn)象。

2.基于分層聚類的網(wǎng)絡擁塞控制算法

在網(wǎng)絡管理和擁塞控制領域，一種基于模糊邏輯的跨層機制被開發(fā)出來。該機制結合了對立人工蜂群協(xié)議，用于管理網(wǎng)絡擁塞并整合媒體可及性和基于節(jié)能的分層路由策略，有效地提升了網(wǎng)絡的壽命和能效。這種方法不僅有效控制了擁塞，還實現(xiàn)了節(jié)能和可靠的數(shù)據(jù)傳輸[8]。在邊緣計算系統(tǒng)中，針對IoT應用，一種基于分層聚類的家庭邊緣計算集群平衡方法被提出，通過在集群中分層處理請求，有效減少了網(wǎng)絡擁塞和延遲，實現(xiàn)了更加高效的網(wǎng)絡阻塞控制[9]。

（三）基于強化學習的網(wǎng)絡擁塞控制算法

基于RL的方法包括價值函數(shù)和策略函數(shù)。價值函數(shù)通過評估網(wǎng)絡狀態(tài)下行動的價值，決定行動的選擇。策略函數(shù)根據(jù)規(guī)則集選擇行動。在每次迭代中，系統(tǒng)按策略選擇行動并提供反饋，價值函數(shù)計算行動價值并更新?；诓煌臋C制，RL 算法被分為基于價值的方案和基于策略的方案。典型的基于價值的方案包括 Q 學習（Q-learning，QL）和深度 Q 學習（Deep Q-learning，DQL）。基于策略的方案包括策略梯度法（Policy-Gradient，PG）、演員和評價算法（Actor-Critic，AC）、近端策略優(yōu)化算法（Proximal Policy Optimization，PPO）和深度確定型政策梯度（Deep Deterministic Policy Gradient，DDPG）等?；趦r值的方案和基于策略的方案之間的區(qū)別是，基于策略的方案估計行動的策略，以及它們是否能滿足不同行動的場景，而基于價值的方案直接預測行動的價值。

1.基于 Q 學習的網(wǎng)絡擁塞控制算法

在網(wǎng)絡擁塞控制（CC）的創(chuàng)新研究中，一種結合了強化學習（RL）和深度學習技術的智能轉(zhuǎn)發(fā)策略被提出，特別適用于未來的網(wǎng)絡架構。該策略采用了長短期記憶（LSTM）模型和Q學習（QL）技術，旨在提高數(shù)據(jù)接收率并減少數(shù)據(jù)包的丟失[10]。同時，QL算法也被應用于移動設備網(wǎng)絡和有線網(wǎng)絡中，以改善這些網(wǎng)絡環(huán)境的擁塞控制[11]。

2.基于深度 Q 學習的網(wǎng)絡擁塞控制算法

一種自適應的I/O擁塞控制框架被開發(fā)出來。該框架融合了基于反饋的動態(tài)I/O擁塞控制與深度Q學習的參數(shù)調(diào)優(yōu)技術，實現(xiàn)了自動化的I/O擁塞管理[12]。在應對特定網(wǎng)絡場景，如有人和無人機載網(wǎng)絡的挑戰(zhàn)時，一種基于深度Q學習的模型被用來優(yōu)化無人飛行器的安置問題，以提高網(wǎng)絡性能[13]。

3.基于策略梯度法的網(wǎng)絡擁塞控制算法

在數(shù)據(jù)中心網(wǎng)絡擁塞控制領域，一種基于RL的算法被設計出來，特別是采用了分析性去極端化策略梯度（PG），以應對擁塞控制中的復雜挑戰(zhàn)[14]。此外，還有研究提出了一個基于深度強化學習的控制框架。該框架通過一個單一的代理，動態(tài)聯(lián)合控制多路徑TCP流量，旨在優(yōu)化整體網(wǎng)絡效用，同時保持流量的公平性[15]。

4.基于演員和評價算法的網(wǎng)絡擁塞控制

在網(wǎng)絡擁塞控制問題上，設計了一種基于演員－評價者（AC）的強化學習（RL）模型。該模型通過將遺傳算法整合到擁塞控制策略中，有效地發(fā)現(xiàn)并預防網(wǎng)絡中的擁塞問題[16]。受機器學習在在線控制領域成功應用的啟發(fā)，該模型采用了一個結合集中學習與分布式執(zhí)行的框架，并提出了一種多代理演員－評價者RL算法。在這種算法中，集中式的“評價者”使用全局網(wǎng)絡狀態(tài)和所有代理的聯(lián)合行動來強化訓練過程，從而有效減輕了訓練負擔[17]。

三、機器學習在地質(zhì)災害監(jiān)測設備故障排查通信網(wǎng)絡阻塞控制中的應用

地質(zhì)災害監(jiān)測設備故障排查通信在網(wǎng)絡阻塞控制方面的應用面臨重大挑戰(zhàn)。系統(tǒng)通過物聯(lián)網(wǎng)連接偏遠地區(qū)的多個設備，常受網(wǎng)絡延遲和數(shù)據(jù)實時性問題的影響。機器學習技術為此提供了創(chuàng)新解決方案，但需面對包括網(wǎng)絡環(huán)境動態(tài)性、數(shù)據(jù)丟失與延遲檢測、計算復雜性、存儲需求、模型收斂、兼容性、公平性及參數(shù)選擇等諸多挑戰(zhàn)。機器學習方案能夠基于實時網(wǎng)絡狀態(tài)做出決策，適應動態(tài)復雜的網(wǎng)絡環(huán)境。盡管監(jiān)督學習和非監(jiān)督學習技術在網(wǎng)絡阻塞控制中用于估計網(wǎng)絡狀態(tài)或進行網(wǎng)絡流量分類，但這些方法多為離線訓練，難以實時處理網(wǎng)絡擁塞。與此相對，強化學習以其在線學習能力，在處理網(wǎng)絡擁塞問題方面顯示出更大的優(yōu)勢。ML 可以用來應用一些挑戰(zhàn)。一個重要的挑戰(zhàn)是如何有效地預測和控制網(wǎng)絡阻塞。另一個挑戰(zhàn)是如何有效識別和應對網(wǎng)絡阻塞?；?ML 的方案是依據(jù)實時網(wǎng)絡狀態(tài)來做出控制決策的，而不是使用預定的規(guī)則，這使得它們對具有動態(tài)性和復雜性的網(wǎng)絡場景有更好的適應性。調(diào)研發(fā)現(xiàn)，SL 和 UL 的學習技術在網(wǎng)絡 CC 中主要用于估計網(wǎng)絡狀態(tài)，如通過對擁塞信號、隊列長度或網(wǎng)絡流量進行分類，以識別具有潛在阻斷風險的流量。然而，這些方案大多是通過離線訓練的，不能實時對現(xiàn)實中的有線或無線網(wǎng)絡擁塞損失進行分類。而RL具有更強的在線學習能力，在處理具有動態(tài)和復雜狀態(tài)空間的網(wǎng)絡中的現(xiàn)實擁塞方面則有更多優(yōu)勢。目前，基于 ML 的網(wǎng)絡 CC 的研究主要集中在基于 RL 的方案上。

然而，基于 ML 的 CC 仍處于起步階段，其主要面臨以下幾個挑戰(zhàn)：

第一，目前基于 ML 的 CC 算法主要側重于端到端的 CC，而不是網(wǎng)絡輔助的 CC。大多數(shù)基于學習的 CC 算法通過調(diào)整擁塞窗口（CWND） 來控制發(fā)送速率，而不是直接調(diào)整發(fā)送速率。因此， 突發(fā)性仍然是高速網(wǎng)絡中的一個問題，當多個 ACK 到達時，CWND 會急劇增加。

第二，目前基于 ML 的CC 仍無法繞開高計算復雜性的問題。對于 SL 技術， 預測精度可以相當可觀，但伴隨而來的計算復雜性也很高。而基于 RL 的 CC 算法的復雜性導致了行動和獎勵的延遲，計算由于時間上的開銷而不適合現(xiàn)實的網(wǎng)絡。在現(xiàn)實網(wǎng)絡中，基于 RL 的 CC 算法的實施表明，其效率并不像想象中的那樣高。智能學習決策不能足夠快，影響了這些方案的可行性。

第三，需要考慮高內(nèi)存消耗?；?RL 的 CC 算法的訓練需要相當大的存儲空間，特別是對于連續(xù)的網(wǎng)絡環(huán)境。為了實現(xiàn)高效的訓練過程，需要通過使用復雜的神經(jīng)網(wǎng)絡表示狀態(tài)動作空間，需要具備處理連續(xù)網(wǎng)絡環(huán)境的強大能力，即對狀態(tài)動作空間進行抽象，并獲得代表性數(shù)據(jù)。

第四，基于 ML 的 CC 算法不能總是避免過度擬合和欠擬合問題。對于基于 ML 的 CC 算法來說，其訓練過程既耗時又耗資源，需要大量的訓練數(shù)據(jù)來保證性能。

第五，在現(xiàn)實網(wǎng)絡中的模型收斂不能總是得到很好的保證。考慮到具有多個神經(jīng)網(wǎng)絡的復雜算法，模型可能很難達到收斂的目的。目前的 RL 算法提出了不同的方法來促進收斂，然而在現(xiàn)實網(wǎng)絡中的實際效果仍有待研究。

第六，解決兼容性問題仍有很長的路要走。目前，基于ML 的 CC 算法經(jīng)常被用作控制擁塞的內(nèi)置組件或獨立控制器，但若將整個網(wǎng)絡擁塞看成一個整體，那么仍需考慮基于 ML 的 CC 算法和傳統(tǒng) CC 算法之間的兼容性問題。

第七，基于 ML 的 CC 算法在實際復雜網(wǎng)絡場景中的公平性不能得到較好的保證。因為基于 ML 的 CC 算法的性能依賴于訓練好的模型和網(wǎng)絡環(huán)境的反饋，當基于 ML 的 CC 算法與其他算法競爭流量時，基于 ML 的 CC 算法能夠感知其他算法引起的流量波動并采取適當?shù)男袆?，而這些行動可能會影響流量的公平性。

第八，參數(shù)選擇對性能影響很大，尤其是 RL 算法，狀態(tài)空間、行動空間、獎勵設計和其他與算法結構有關的參數(shù)都需要仔細考慮?？赡茉谝粋€基于 RL 的 CC 算法中，吞吐量和 RTT 被用來計算獎勵，但在另一個算法中，又以吞吐量、丟包率和延遲來計算獎勵，不同的參數(shù)選擇對結果的影響差別較大。對 SL 而言，預定義參數(shù)決定了影響 CC 性能的潛在分類錯誤。而對于 UL 算法，諸如聚類組的數(shù)量和初始聚類中心等參數(shù)影響最終的聚類結果。

四、結束語

本文對機器學習在網(wǎng)絡阻塞控制中的應用進行了梳理，探討了ML 方法在網(wǎng)絡 CC 領域的應用和挑戰(zhàn)。在 ML 方法中，RL 比 SL 式和UL 式學習更適用于網(wǎng)絡 CC。雖然，在地質(zhì)災害監(jiān)測設備故障排查通信網(wǎng)絡阻塞控制這個現(xiàn)實場景中仍有許多復雜的挑戰(zhàn)，且主要集中在與現(xiàn)實復雜網(wǎng)絡相關的問題上，如參數(shù)選擇、高計算復雜性、高內(nèi)存消耗、低訓練效率、難收斂、不兼容和公平性等，但是，基于 ML 的網(wǎng)絡 CC 方法，尤其是 RL 方法，由于其能夠處理具有動態(tài)性和復雜性狀態(tài)空間的網(wǎng)絡擁塞，仍是未來發(fā)展的趨勢。

目前，有以下幾個主流研究方向有待進一步探索：首先，目前大多數(shù)基于學習的 CC 算法是基于使用網(wǎng)絡模擬器的模擬，但在現(xiàn)實的網(wǎng)絡通信中面臨的工程類問題對于基于 ML 的 CC 算法也十分重要，因此，在現(xiàn)實的網(wǎng)絡環(huán)境中進行模擬將是設計更適用的算法的主要前提。其次，可編程交換機的出現(xiàn)使得基于 ML 的 CC 與之結合成為可能。再次，鑒于學習決策的時間和成本過高，基于輕量級學習的 CC 將是一個重要的研究方向。最后，基于 ML 的大規(guī)模差異化動態(tài)網(wǎng)絡場景的網(wǎng)絡CC 也有待進一步的探索?？偟膩碚f，設計一個能在真實網(wǎng)絡場景中工作的通用 CC 方案仍然是學術界和工業(yè)界的主要目標。

作者單位：王雅潔 貴州省分析測試研究院 貴州貴科大數(shù)據(jù)有限責任公司 貴州科學院

楊鑫 秦梅元 貴州貴科大數(shù)據(jù)有限責任公司 貴州科學院

楊冰 貴州省分析測試研究院 貴州貴科大數(shù)據(jù)有限責任公司 貴州科學院

參考文獻

[1]黃韜， et al. “確定性網(wǎng)絡研究綜述.” 通信學報 6 （2019）.

[2] Najm I A， Hamoud A K， Lloret J， et al. Machine Learning Prediction Approach to Enhance Congestion Control in 5G IoT Environment[J]. Electronics， 2019， 8（6）： 607-.

[3] Srinidhi N N. An Improved PRoPHET - Random Forest Based Optimized Multi-Copy Routing for Opportunistic IoT Networks[C]. 2020：100203.

[4] Dai T， Zhang X， Guo Z. Learning-based Congestion Control for Internet Video Communication over Wireless Networks[C]. 2018 IEEE International Symposium on Circuits and Systems. IEEE， 2018.

[5] Chen Y， Lu L， Yu X， et al. Adaptive Method for Packet Loss Types in IoT： An Naive Bayes Distinguisher[J]. Electronics， 2019， 8（2）.

[6] Wang K， Jing Y， Liu Y，et al. Adaptive finite-time congestion controller design of TCP. AQM systems based on neural network and funnel control[J]. Neural Computing and Applications， 2020， 32（7）.

[7] Liu T， Zhang M， Zhu J， et al. ACCP： adaptive congestion control protocol in named data networking based on deep learning[J]. Neural Computing and Applications， 2018.

[8] Kalaikumar K， Baburaj E. Fuzzy enabled congestion control by cross layer protocol utilizing OABC in WSN： combining MAC， routing， non-similar clustering and efficient data delivery[J]. Wireless Networks， 2018.

[9] Babou C S M， Fall D， Kashihara S， et al. Hierarchical Load Balancing and Clustering Technique for Home Edge Computing[J]. IEEE Access， 2020， PP（99）：1-1.

[10] Ryu S， Joe I， Kim W T. Intelligent forwarding strategy for congestion control using Q-learning and LSTM in named data networking[J]. Mobile Information Systems， 2021.

[11] Fakhimi E， Daneshjoo P， Rezaei S， et al. MPTCP Throughput Enhancement by Q-Learning for Mobile Devices[C]. 2018 IEEE 20th International Conference on High Performance Computing and Communications; IEEE 16th International Conference on Smart City; IEEE 4th International Conference on Data Science and Systems （HPCC/SmartCity/DSS）.IEEE， 2018.

[12] Cheng W， Deng S， Zeng L， et al. AIOC2： A deep Q-learning approach to autonomic I/O congestion control in Lustre[J]. Parallel Computing， 2021， 108：102855.

[13] Koushik A M， Hu F， Kumar S. Deep ${Q$ -Learning-Based Node Positioning for Throughput-Optimal Communications in Dynamic UAV Swarm Network [J]. IEEE Transactions on Cognitive Communications and Networking， 2019.

[14] Tessler C， Shpigelman Y， Dalal G， et al. Reinforcement Learning for Datacenter Congestion Control [J]. 2021.

[15] Xu Z， Tang J， Yin C，et al. Experience-Driven Congestion Control： When Multi-Path TCP Meets Deep Reinforcement Learning[J]. IEEE Journal on Selected Areas in Communications， 2019， PP （99）：1-1.

[16] Xu T ， Gong L ， Zhang W ，et al. Network congestion control algorithm based on Actor-Critic reinforcement learning model[C]. ADVANCES IN MATERIALS， MACHINERY， ELECTRONICS II： Proceedings of the 2nd International Conference on Advances in Materials， Machinery， Electronics， 2018.

[17] T. Mai， H. Yao， Z. Xiong， et al. Multi-agent actor-critic reinforcement learning based innetwork load balance[C]. Globecom2020.2020.