摘 要：常規(guī)的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化協(xié)議多以獨立形式設(shè)定，鏈路利用率大幅度降低，為此提出了基于深度強化學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化方法。根據(jù)當(dāng)前的路由優(yōu)化需求，先進行實時監(jiān)測節(jié)點部署及路由運行數(shù)據(jù)采集，采用多階的方式擴大覆蓋范圍，制定多階路由協(xié)議，后以此為基礎(chǔ)，構(gòu)建工業(yè)物聯(lián)網(wǎng)路由優(yōu)化模型，采用離散化輔助處理實現(xiàn)路由優(yōu)化。最終測試結(jié)果表明：應(yīng)用所提方法，最終得出的鏈路利用率提升比均可以達到5.5以上，所設(shè)計方法的針對性更強，應(yīng)用效果更佳。

關(guān)鍵詞：深度強化學(xué)習(xí)；工業(yè)物聯(lián)網(wǎng)；路由優(yōu)化；離散化輔助；網(wǎng)絡(luò)接入；工業(yè)指令

中圖分類號：TP39；TN256 文獻標(biāo)識碼：A 文章編號：2095-1302（2025）02-00-03

0 引 言

工業(yè)物聯(lián)網(wǎng)的建設(shè)與應(yīng)用關(guān)聯(lián)，一定程度上推動相關(guān)行業(yè)與技術(shù)邁上了一個新的發(fā)展臺階。在這樣的背景下，路由優(yōu)化已成為確保數(shù)據(jù)傳輸效率和可靠性的關(guān)鍵。當(dāng)前，傳統(tǒng)的路由優(yōu)化方法往往基于固定的規(guī)則和參數(shù)，文

獻[1]和文獻[2]設(shè)定了傳統(tǒng)超限快速決策樹的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化方法、傳統(tǒng)自適應(yīng)蟻群的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化方法。這一類優(yōu)化方法雖然可以實現(xiàn)預(yù)期的路由運行環(huán)境，但是存在部分不可控因素，嚴重影響了工業(yè)物聯(lián)網(wǎng)的實踐。不僅如此，由于物聯(lián)網(wǎng)中的程序過于單一，應(yīng)用效率較低，導(dǎo)致其更加難以適應(yīng)動態(tài)變化的工業(yè)環(huán)境[3]。為解決這一問題，本文對基于深度強化學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化方法進行了設(shè)計與驗證分析。

1 設(shè)計工業(yè)物聯(lián)網(wǎng)深度強化學(xué)習(xí)路由優(yōu)化方法

1.1 實時監(jiān)測節(jié)點部署及路由運行數(shù)據(jù)采集

工業(yè)物聯(lián)網(wǎng)實時監(jiān)測節(jié)點的部署是可控分析的基礎(chǔ)。由于此次針對工業(yè)物聯(lián)網(wǎng)進行測定，所以選定溫度、濕度、壓力等數(shù)據(jù)作為監(jiān)測的目標(biāo)對象。明確監(jiān)測的范圍之后，設(shè)置邊緣節(jié)點和核心控制節(jié)點[4]。此外，需要注意的是，節(jié)點的設(shè)置位置要確保能夠準確反映目標(biāo)區(qū)域的狀況，避開可能的干擾因素。增設(shè)數(shù)據(jù)信息傳輸信道，與節(jié)點匹配，此時計算出數(shù)據(jù)傳輸頻率，如式（1）所示：

（1）

式中：Y表示數(shù)據(jù)傳輸頻率；q1和q2分別表示節(jié)點初始覆蓋區(qū)間和實際覆蓋區(qū)間；n表示轉(zhuǎn)換頻次；表示單元流量；π表示堆疊數(shù)據(jù)。結(jié)合當(dāng)前測定，依據(jù)測算的最佳數(shù)據(jù)傳輸頻率，調(diào)整此時的傳輸信號，形成更加穩(wěn)定的匹配執(zhí)行基礎(chǔ)協(xié)議[5]。根據(jù)節(jié)點的實際監(jiān)測需求，確定需要采集的數(shù)據(jù)類型。采用適當(dāng)?shù)耐ㄐ艆f(xié)議和技術(shù)，關(guān)聯(lián)設(shè)定的信道確保數(shù)據(jù)能夠?qū)崟r、準確地傳輸?shù)綌?shù)據(jù)中心或云平臺。接下來，采集基礎(chǔ)應(yīng)用數(shù)據(jù)。路由運行基礎(chǔ)數(shù)據(jù)采集見表1。

結(jié)合表1，實現(xiàn)對路由運行基礎(chǔ)數(shù)據(jù)的采集。

1.2 多階路由協(xié)議制定

結(jié)合深度強化學(xué)習(xí)的多階路由協(xié)議結(jié)構(gòu)如圖1所示。

結(jié)合圖1，實現(xiàn)對多階路由協(xié)議結(jié)構(gòu)的設(shè)計與實踐?；诖?，按照需求分析，選擇與之匹配的路由算法，測算出路由協(xié)議對數(shù)據(jù)處理的收斂速度，如式（2）所示：

（2）

式中：O表示數(shù)據(jù)處理收斂速度；m表示初始流量；w表示動態(tài)傳輸數(shù)據(jù)量；θ表示收斂次數(shù)；h表示離散均值。結(jié)合得出的數(shù)據(jù)處理收斂速度，判斷分析此時所設(shè)計的路由協(xié)議對工業(yè)物聯(lián)網(wǎng)的控制和輔助效果。

1.3 構(gòu)建深度強化學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化模型

將上述指定的多階路由協(xié)議導(dǎo)入當(dāng)前初始的路由優(yōu)化模型之中，結(jié)合深度強化學(xué)習(xí)，構(gòu)建工業(yè)物聯(lián)網(wǎng)路由優(yōu)化模型。深度強化學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化模型結(jié)構(gòu)如圖2所示。

結(jié)合圖2，實現(xiàn)對深度強化學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化模型結(jié)構(gòu)的設(shè)計與實踐。接下來，在深度強化學(xué)習(xí)的輔助下，在所設(shè)計的模型之中增設(shè)強化學(xué)習(xí)機制。一般情況下，要定義路由優(yōu)化在多步?jīng)Q策中最大化累積獎勵的過程，需要設(shè)計合適的獎勵函數(shù)，反映數(shù)據(jù)的傳輸效率、時延、能量消耗等關(guān)鍵性能指標(biāo)[6-7]。采集上述數(shù)據(jù)和信息，建立模型表達式，如式（3）所示：

（3）

式中：E表示模型輸出路由優(yōu)化結(jié)果；λ表示獎勵函數(shù)；ω表示遷移范圍；ι表示基礎(chǔ)流量；α表示可控執(zhí)行頻次。綜上，便完成了工業(yè)物聯(lián)網(wǎng)路由優(yōu)化模型的構(gòu)建。

1.4 離散化輔助處理實現(xiàn)路由優(yōu)化

當(dāng)前，工業(yè)物聯(lián)網(wǎng)中連續(xù)的狀態(tài)空間包括節(jié)點能量、通信質(zhì)量等。將連續(xù)的狀態(tài)空間離散化為有限的離散狀態(tài)集合，簡化模型的復(fù)雜度，并提高模型的穩(wěn)定性和可訓(xùn)練性。在給定狀態(tài)下采取的行動集合，能夠?qū)?fù)雜的連續(xù)動作轉(zhuǎn)換為有限的離散動作，分高、中、低3個等級調(diào)整對應(yīng)的傳輸功率標(biāo)準，一定程度上有助于模型的學(xué)習(xí)和決策，最大程度減少計算誤差的出現(xiàn)。與此同時，離散化處理還針對模型輸出的結(jié)果，計算出各周期優(yōu)化結(jié)果對應(yīng)的離散值，如式（4）所示：

（4）

式中：U表示離散值；ε表示空間可收斂次數(shù)；τ表示轉(zhuǎn)換均值；R表示均勻量化值。結(jié)合當(dāng)前測定，實現(xiàn)對離散值的計算。基于離散值的變化，判斷分析工業(yè)物聯(lián)網(wǎng)路由優(yōu)化實際效果，一定程度上有助于模型更快地收斂，進一步增強優(yōu)化決策自身的準確性與穩(wěn)定性，以及最終的可擴展效果[8]。

2 方法測試

為驗證所提方法的先進性，開展對比實驗。設(shè)定傳統(tǒng)超限快速決策樹的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化組、傳統(tǒng)自適應(yīng)蟻群的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化組以及此次所設(shè)計的深度強化學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化組。利用專業(yè)的設(shè)備和裝置進行基礎(chǔ)數(shù)據(jù)信息的采集，匯總整合以待后續(xù)使用[9]。

2.1 測試準備

結(jié)合深度強化學(xué)習(xí)，選定H工業(yè)物聯(lián)網(wǎng)作為測試的輔助目標(biāo)對象，進行基礎(chǔ)測試環(huán)境以及背景的設(shè)定。當(dāng)前接入的主要是Ubuntu 18.04測試系統(tǒng)，增設(shè)機器學(xué)習(xí)框架，設(shè)定Keras+Tensorflow輔助學(xué)習(xí)環(huán)境，以此來實現(xiàn)平臺之間的交互[10]。路由裝置接入測試系統(tǒng)如圖3所示。

結(jié)合圖3，實現(xiàn)對路由裝置接入測試系統(tǒng)結(jié)構(gòu)的設(shè)定與實踐應(yīng)用?；诖?，設(shè)置工業(yè)物聯(lián)網(wǎng)功能，此時的總帶寬流量強度為10.14%～13.27%，測算出初始鏈路利用率標(biāo)準，并把控實際路由數(shù)據(jù)鏈情況。根據(jù)當(dāng)前的優(yōu)化需求及標(biāo)準，設(shè)定路由優(yōu)化測試指標(biāo)與參數(shù)，見表2。

結(jié)合表2，實現(xiàn)對路由優(yōu)化測試指標(biāo)與參數(shù)的設(shè)定?；诖耍就瓿闪藢Ξ?dāng)前路由測定的優(yōu)化與整合，形成了動態(tài)化的路由測試控制。接下來，結(jié)合深度強化學(xué)習(xí)技術(shù)，展開后續(xù)測定與優(yōu)化分析。

2.2 測試過程及結(jié)果分析

依據(jù)以上設(shè)置搭建的測試環(huán)境，結(jié)合深度強化學(xué)習(xí)技術(shù)，設(shè)定傳統(tǒng)超限快速決策樹的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化組、傳統(tǒng)自適應(yīng)蟻群的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化組以及此次所設(shè)計的深度強化學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化組，對H工業(yè)物聯(lián)網(wǎng)路由優(yōu)化方法的測定進行對比驗證及測算，測試結(jié)果見表3。

根據(jù)表3，完成對測試結(jié)果的對比分析。相比于傳統(tǒng)超限快速決策樹的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化組、傳統(tǒng)自適應(yīng)蟻群的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化組，此次所設(shè)計的深度強化學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化組最終得出的鏈路利用率提升比均可達到5.5以上，說明在深度強化學(xué)習(xí)技術(shù)的輔助與支持下，此次所設(shè)計的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化方法更加穩(wěn)定、細化，針對性明顯提高，實踐驗證的結(jié)果更加真實。

3 結(jié) 語

結(jié)合工業(yè)物聯(lián)網(wǎng)實際的應(yīng)用運行需求，融合深度強化學(xué)習(xí)技術(shù)，所設(shè)計的路由優(yōu)化形式更加具體、穩(wěn)定，在復(fù)雜的網(wǎng)絡(luò)環(huán)境下，可以完成實時監(jiān)測與整合，進一步增強對網(wǎng)絡(luò)的監(jiān)管和控制。不僅如此，深度強化學(xué)習(xí)技術(shù)的輔助與支撐，擴大了實際的優(yōu)化范圍，幫助其適應(yīng)不斷變化的網(wǎng)絡(luò)環(huán)境，有效提高了數(shù)據(jù)傳輸效率，消減了環(huán)境中的復(fù)雜性和動態(tài)性，以應(yīng)對日益增長的工業(yè)物聯(lián)網(wǎng)路由優(yōu)化需求，為工業(yè)生產(chǎn)帶來了更多價值。

參考文獻

[1]劉松.基于超限快速決策樹的無線多媒體傳感器網(wǎng)絡(luò)路由優(yōu)化方法[J].青島大學(xué)學(xué)報（自然科學(xué)版），2022，35（3）：33-38.

[2]家峰.基于自適應(yīng)蟻群的無線傳感網(wǎng)絡(luò)低延時遠程通信路由優(yōu)化方法[J].寧夏師范學(xué)院學(xué)報，2023，44（7）：77-84.

[3]王哲，王啟名，李陶深，等.基于深度強化學(xué)習(xí)的SWIPT邊緣網(wǎng)絡(luò)聯(lián)合優(yōu)化方法[J].計算機應(yīng)用，2023，43（11）：3540-3550.

[4]茍平章，馬琳，郭保永，等.基于軟件定義網(wǎng)絡(luò)的多約束QoS雙路徑路由優(yōu)化方法[J].計算機工程與科學(xué)，2023，45（1）：46-56.

[5]丁小峰，張文杰，徐賽華.光纖無線融合網(wǎng)絡(luò)低能耗路由優(yōu)化方法研究[J].激光雜志，2022，43（12）：128-132.

[6]李曉麗.無線傳感網(wǎng)數(shù)據(jù)采集路由算法研究[J].物聯(lián)網(wǎng)技術(shù)，2023，13（8）：68-71.

[7]李貝貝，宋佳芮，杜卿蕓，等.DRL-IDS：基于深度強化學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)入侵檢測系統(tǒng)[J].計算機科學(xué)，2021，48（7）：47-54.

[8]張繼鈺.基于深度強化學(xué)習(xí)的工業(yè)物聯(lián)網(wǎng)資源分配算法[D].北京：中國礦業(yè)大學(xué)，2023.

[9]李英磊，吳韶波，黃茂源.基于節(jié)點休眠機制的WSN路由優(yōu)化[J].物聯(lián)網(wǎng)技術(shù)，2017，7（4）：44-47.

[10]耿立卓，郝雪，劉璐，等.基于人工蜂群算法的電力通信網(wǎng)路由優(yōu)化仿真[J].電子設(shè)計工程，2022，30（24）：28-32.

作者簡介：莫麗娟（1982—），女，廣西蒼梧人，講師，研究方向為計算機應(yīng)用技術(shù)。

張夢榛（1996—），女，河南鄭州人，碩士，助教，研究方向為人工智能。

收稿日期：2024-01-23 修回日期：2024-02-28