摘 要：針對(duì)動(dòng)態(tài)低功耗藍(lán)牙（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ，ＢＬＥ）Ｍｅｓｈ 網(wǎng)絡(luò)規(guī)范采用的管理式泛洪路由機(jī)制所導(dǎo)致的數(shù)據(jù)包冗余和高能耗的問題，提出了動(dòng)態(tài)ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)高能效路由算法。通過(guò)建立基于Ｑ-Ｌｅａｒｎｉｎｇ 的ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)路由模型，將ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)中節(jié)點(diǎn)的剩余能量、轉(zhuǎn)發(fā)成本、移動(dòng)因子以及接收信號(hào)強(qiáng)度指示（Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｉ-ｃａｔｏｒ，ＲＳＳＩ）納入到獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)中。同時(shí)對(duì)ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)中的心跳機(jī)制進(jìn)行改進(jìn)，使網(wǎng)絡(luò)中的節(jié)點(diǎn)更加高效地獲取環(huán)境信息。采用基于探索的路由發(fā)現(xiàn)機(jī)制來(lái)更新網(wǎng)絡(luò)中節(jié)點(diǎn)的Ｑ 值，使其能更加準(zhǔn)確反映節(jié)點(diǎn)移動(dòng)所導(dǎo)致的網(wǎng)絡(luò)拓?fù)渥兓?。仿真結(jié)果表明，該算法在節(jié)點(diǎn)能耗和網(wǎng)絡(luò)開銷上均優(yōu)于傳統(tǒng)的管理式泛洪路由機(jī)制。

關(guān)鍵詞：低功耗藍(lán)牙；Ｍｅｓｈ 網(wǎng)絡(luò)；物聯(lián)網(wǎng)應(yīng)用；Ｑ-Ｌｅａｒｎｉｎｇ

中圖分類號(hào)：ＴＮ９２ 文獻(xiàn)標(biāo)志碼：Ａ 開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（ＯＳＩＤ）：

文章編號(hào)：１００３－３１１４（２０２４）０４－０６６４－１０

０ 引言

在物聯(lián)網(wǎng)技術(shù)迅猛發(fā)展的背景下，眾多無(wú)線通信協(xié)議應(yīng)運(yùn)而生，旨在滿足不同應(yīng)用場(chǎng)景下設(shè)備間的通信需求。這些協(xié)議主要包括ＬｏＲａ［１］、ＮＢ-ＩｏＴ［２］、ＷｉＦｉ［３］、ＺｉｇＢｅｅ［４］以及低功耗藍(lán)牙（ＢｌｕｅｔｏｏｔｈＬｏｗ Ｅｎｅｒｇｙ，ＢＬＥ）［５］。為了擴(kuò)展ＢＬＥ 技術(shù)在物聯(lián)網(wǎng)場(chǎng)景的應(yīng)用范圍，藍(lán)牙技術(shù)聯(lián)盟于２０１７ 年發(fā)布了基于ＢＬＥ 的Ｍｅｓｈ 網(wǎng)絡(luò)規(guī)范［６］。該規(guī)范采用網(wǎng)狀網(wǎng)絡(luò)替代傳統(tǒng)的星型網(wǎng)絡(luò)，以消息為中心，并引入發(fā)布－訂閱機(jī)制，從而實(shí)現(xiàn)多對(duì)多的通信。與星型網(wǎng)絡(luò)相比，當(dāng)單一節(jié)點(diǎn)發(fā)生故障時(shí)，ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)的性能不會(huì)受到較大影響，從而確保了網(wǎng)絡(luò)的穩(wěn)定性和可靠性。這一改進(jìn)使得ＢＬＥ 技術(shù)在樓宇照明［７］、傳感器網(wǎng)絡(luò)等需要大規(guī)模組網(wǎng)技術(shù)的物聯(lián)網(wǎng)服務(wù)場(chǎng)景中更具競(jìng)爭(zhēng)力。

在ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)中，節(jié)點(diǎn)之間的消息通過(guò)管理式泛洪機(jī)制進(jìn)行傳輸。盡管在ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)規(guī)范中采用了緩存機(jī)制（Ｍｅｓｓａｇｅ Ｃａｃｈｅ）和消息的生存時(shí)間（Ｔｉｍｅ Ｔｏ Ｌｉｖｅ，ＴＴＬ）對(duì)泛洪消息進(jìn)行管理，但仍然無(wú)法避免因泛洪而導(dǎo)致的消息冗余，進(jìn)而增加了中繼節(jié)點(diǎn)能耗以及消息冗余。針對(duì)管理式泛洪路由機(jī)制所導(dǎo)致的高能耗和數(shù)據(jù)包冗余問題，本文提出了基于Ｑ-Ｌｅａｒｎｉｎｇ 的動(dòng)態(tài)ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)高能效路由算法。網(wǎng)絡(luò)中的節(jié)點(diǎn)利用Ｑ-Ｌｅａｒｎｉｎｇ 對(duì)鏈路穩(wěn)定性和網(wǎng)絡(luò)狀態(tài)進(jìn)行實(shí)時(shí)評(píng)估和策略更新，以優(yōu)化路由決策過(guò)程，降低了網(wǎng)絡(luò)中的消息冗余和節(jié)點(diǎn)能耗。

１ 相關(guān)工作

ＢＬＥ 技術(shù)自２０１０ 年推出以來(lái)，主要用于低功耗、低速率及短距離的無(wú)線通信場(chǎng)景［８］。由于其設(shè)計(jì)初衷是簡(jiǎn)化無(wú)線連接，為能耗受限設(shè)備提供通信功能，因此采用了一對(duì)多的星型拓?fù)浣Y(jié)構(gòu)。然而，這種結(jié)構(gòu)在某種程度上限制了ＢＬＥ 的組網(wǎng)能力，特別是在需要構(gòu)建更為復(fù)雜網(wǎng)絡(luò)拓?fù)涞奈锫?lián)網(wǎng)應(yīng)用場(chǎng)景中。為了克服這些限制并擴(kuò)大ＢＬＥ 技術(shù)在物聯(lián)網(wǎng)領(lǐng)域的應(yīng)用，工業(yè)界和學(xué)術(shù)界都致力于研究如何加強(qiáng)ＢＬＥ 設(shè)備之間的組網(wǎng)能力。其中，基于ＢＬＥ 技術(shù)的Ｍｅｓｈ 網(wǎng)絡(luò)解決方案成為了一個(gè)重要的研究方向。Ｍｅｓｈ 網(wǎng)絡(luò)通過(guò)允許設(shè)備間的點(diǎn)對(duì)點(diǎn)通信，ＢＬＥ設(shè)備的組網(wǎng)能力得到顯著增強(qiáng)，使其能夠支持更大規(guī)模和更靈活的網(wǎng)絡(luò)布局。在現(xiàn)有ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)解決方案中，數(shù)據(jù)的傳輸方式主要分為兩類：面向連接和無(wú)連接的數(shù)據(jù)傳輸。

無(wú)連接的ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)路由解決方案充分利用ＢＬＥ 的廣播信道傳輸數(shù)據(jù)，鄰居節(jié)點(diǎn)在掃描到廣播包后將其再次廣播，通過(guò)泛洪的形式將數(shù)據(jù)發(fā)布到整個(gè)網(wǎng)絡(luò)，進(jìn)而使目的節(jié)點(diǎn)接收到數(shù)據(jù)包。藍(lán)牙技術(shù)聯(lián)盟推出的ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)規(guī)范基于現(xiàn)有的ＢＬＥ 核心規(guī)范［９］而建立，其設(shè)計(jì)初衷是提升大規(guī)模設(shè)備間的互連性和通信效率。采用管理式泛洪的路由策略不僅簡(jiǎn)化了網(wǎng)絡(luò)結(jié)構(gòu)，而且通過(guò)利用無(wú)連接的特性，顯著降低了網(wǎng)絡(luò)設(shè)定和維護(hù)的復(fù)雜度。文獻(xiàn)［１０］將泛洪機(jī)制同閑聊（Ｇｏｓｓｉｐｉｎｇ）算法［１１］相結(jié)合，接收到廣播數(shù)據(jù)包的節(jié)點(diǎn)根據(jù)鄰居節(jié)點(diǎn)的數(shù)量以一定的概率廣播該數(shù)據(jù)包，以此降低重復(fù)廣播帶來(lái)的能量消耗。同時(shí)引入涓流（Ｔｒｉｃｋｌｅ）算法［１２］減少節(jié)點(diǎn)掃描廣播信道的時(shí)間，進(jìn)一步降低節(jié)點(diǎn)能量消耗。文獻(xiàn)［１３］提出了一種動(dòng)態(tài)掃描機(jī)制，該機(jī)制允許節(jié)點(diǎn)通過(guò)接收特定控制信號(hào)來(lái)優(yōu)化其掃描周期，從而減少在ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)中節(jié)點(diǎn)信道掃描時(shí)間并提高通信的能效。

在面向連接的ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)路由中，網(wǎng)絡(luò)中的設(shè)備充分利用藍(lán)牙規(guī)范４． ２ 中的主從一體機(jī)制［１４］。不同星型網(wǎng)絡(luò)間可以通過(guò)主從一體設(shè)備實(shí)現(xiàn)數(shù)據(jù)傳輸，為創(chuàng)建面向連接的ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)提供了堅(jiān)實(shí)的基礎(chǔ)。文獻(xiàn)［１５］利用ＢＬＥ 主從一體的特點(diǎn)，采用靜態(tài)樹形結(jié)構(gòu)的方案，將網(wǎng)絡(luò)中的節(jié)點(diǎn)分為根節(jié)點(diǎn)、中間節(jié)點(diǎn)和葉子節(jié)點(diǎn)。通過(guò)層次路由的方式將數(shù)據(jù)匯集到根節(jié)點(diǎn)，并由根節(jié)點(diǎn)進(jìn)行轉(zhuǎn)發(fā)到目的節(jié)點(diǎn)，實(shí)現(xiàn)了ＢＬＥ 設(shè)備的組網(wǎng)。文獻(xiàn)［１６］在不同的ＢＬＥ 星型網(wǎng)絡(luò)中引入公共節(jié)點(diǎn)，利用主機(jī)和從機(jī)之間的連接間隔，使不同的星型網(wǎng)絡(luò)中的主機(jī)與公共節(jié)點(diǎn)建立連接，實(shí)現(xiàn)不同星型網(wǎng)絡(luò)中的數(shù)據(jù)通過(guò)公共節(jié)點(diǎn)傳輸。

２ 本文算法介紹

２． １ 網(wǎng)絡(luò)路由模型

為了更加清晰地描述ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)中的中繼節(jié)點(diǎn)對(duì)數(shù)據(jù)包的路由，本文將ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)視為一個(gè)無(wú)向圖Ｇ（Ｒ，Ｅ）。在該無(wú)向圖中，網(wǎng)絡(luò)中的所有中繼節(jié)點(diǎn)由頂點(diǎn)集合Ｒ ＝ ｛ｒ１，ｒ２，…，ｒｍ｝表示。對(duì)于網(wǎng)絡(luò)中的任意一個(gè)節(jié)點(diǎn)ｒｉ，其鄰居節(jié)點(diǎn)集合為ｎｒｉ ＝｛ｎ１，ｎ２，…，ｎｋ，?ｎｉ∈Ｒ｝，即任意鄰居節(jié)點(diǎn)屬于中繼節(jié)點(diǎn)集合。不同于面向連接網(wǎng)絡(luò)通信方式，ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)中采用廣播承載方式進(jìn)行數(shù)據(jù)傳輸?shù)墓?jié)點(diǎn)具有一定的特殊性。這些節(jié)點(diǎn)負(fù)責(zé)將數(shù)據(jù)包以廣播的形式發(fā)送出去，使所有在接收范圍內(nèi)的節(jié)點(diǎn)都可以捕獲到這些信息。其廣播范圍內(nèi)的節(jié)點(diǎn)即可視為一種特殊的連接，可由無(wú)向圖中的邊集合Ｅ＝｛ｅ（ｒｉ，ｎｊ）｜ｒｉ∈Ｒ，ｎｊ∈ｎｒｉ｝表示，ｅ（ｒｉ，ｎｊ）代表節(jié)點(diǎn)ｒｉ 與其廣播范圍內(nèi)的鄰居節(jié)點(diǎn)ｎｊ 的連接。

如圖１ 所示，當(dāng)源節(jié)點(diǎn)ｒｓ 有數(shù)據(jù)包需要發(fā)送到目的節(jié)點(diǎn)ｒｄ 時(shí)，網(wǎng)絡(luò)中的泛洪機(jī)制允許數(shù)據(jù)包通過(guò)多條路徑進(jìn)行傳輸。

數(shù)據(jù)包到目的節(jié)點(diǎn)的潛在路徑集合可以用集合Ｐ 來(lái)表示，其中每個(gè)路徑ｐｉ ∈Ｐ 都是從ｒｓ 到ｒｄ 的有效傳輸序列：

Ｐ（ｒｓ，ｒｄ）＝ ｛ｐ１（ｒｓ，ｒｄ），ｐ２（ｒｓ，ｒｄ），…，ｐｑ（ｒｓ，ｒｄ）｝， （１）

ｐｉ（ｒｓ，ｒｄ）＝ ｛ｒｓ０，ｒｓ１，…，ｒｓｋ ｜ｒｓ０ ＝ｒｓ，ｒｓｋ ＝ｒｄ，ｅ（ｒｓｉ，ｒｓ（ｉ＋１））∈Ｅ｝。（２）

對(duì)于該路徑集合中任意一個(gè)路徑可以由ｐｉ（ｒｓ，ｒｄ）表示，每個(gè)路徑ｐｉ（ｒｓ，ｒｄ）中的節(jié)點(diǎn)及其順序都存在差異。通過(guò)ｗ（ｅ（ｒｉ，ｎｊ））和ｄ（ｅ（ｒｉ，ｎｊ））來(lái)表示網(wǎng)絡(luò)中任意邊ｅ（ｒｉ，ｎｊ）對(duì)于數(shù)據(jù)包傳輸?shù)哪芰肯暮蛦翁舆t，端到端的最大傳輸時(shí)延為Δｄｅｌａｙ，據(jù)此，可以構(gòu)建一個(gè)優(yōu)化模型，目標(biāo)是最小化整個(gè)網(wǎng)絡(luò)的傳輸能耗，同時(shí)需要滿足端到端傳輸時(shí)延不超過(guò)Δｄｅｌａｙ這一約束條件。據(jù)此，可以得到一個(gè)優(yōu)化目標(biāo)為網(wǎng)絡(luò)傳輸能耗，約束條件為最大端到端的時(shí)延的優(yōu)化問題：

在實(shí)際的ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)環(huán)境中，式（３）所描述的優(yōu)化問題在計(jì)算上十分復(fù)雜，這對(duì)節(jié)點(diǎn)的計(jì)算能力提出了較高的要求。因此，需要一種不依賴精確環(huán)境建模的方法來(lái)解決此類優(yōu)化問題。Ｑ-Ｌｅａｒｎｉｎｇ作為一種無(wú)模型的強(qiáng)化學(xué)習(xí)，核心是通過(guò)估計(jì)動(dòng)作價(jià)值函數(shù)來(lái)學(xué)習(xí)最優(yōu)策略。該算法不需要環(huán)境的完整模型，將狀態(tài)－動(dòng)作值（Ｑ-Ｖａｌｕｅ）存放在Ｑ 表中，通過(guò)Ｂｅｌｌｍａｎ 方程［１７］的遞歸性質(zhì)和馬爾科夫特性來(lái)更新Ｑ 表，Ｑ-Ｌｅａｒｎｉｎｇ 算法中的Ｑ 值更新如下：

Ｑ（ｓ，ａ）←（１－α）Ｑ（ｓ，ａ）＋α［ｆｒ ＋γ ｍａｘ ａ′ Ｑ（ｓ′，ａ′）］， （４）

式中：α 和γ 被限定在（０，１］。α 作為智能體的學(xué)習(xí)率，決定了新獲得的信息將在多大程度上影響舊的Ｑ 值。較低的α 意味著智能體更新其知識(shí)較慢，而較高的α 可能導(dǎo)致學(xué)習(xí)過(guò)程中的波動(dòng)。折扣因子γ在［０，１］，用來(lái)權(quán)衡在決策過(guò)程中潛在回報(bào)的重要性。較高的折扣因子意味著智能體更看重未來(lái)的回報(bào)，而較低的折扣因子意味著智能體更加注重當(dāng)前的回報(bào)。在動(dòng)態(tài)ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)環(huán)境中，當(dāng)節(jié)點(diǎn)ｒｉ處理由源節(jié)點(diǎn)ｒｓ 發(fā)往目的節(jié)點(diǎn)為ｒｄ 的數(shù)據(jù)包時(shí)，其狀態(tài)為ｒｄ。其動(dòng)作空間由鄰居節(jié)點(diǎn)組成，為Ａ ＝ ｎｒｉ。當(dāng)節(jié)點(diǎn)ｒｉ 根據(jù)自身Ｑ 表進(jìn)行路由決策，將數(shù)據(jù)包成功傳輸至鄰居節(jié)點(diǎn)ｎｊ 時(shí)，根據(jù)定義的獎(jiǎng)勵(lì)函數(shù)ｆｒ 來(lái)評(píng)估與這個(gè)特定動(dòng)作相關(guān)的獎(jiǎng)勵(lì)。進(jìn)而，節(jié)點(diǎn)ｒｉ 將根據(jù)更新公式調(diào)整其Ｑ 值，從而為相應(yīng)的動(dòng)作在其Ｑ 表中設(shè)定新的價(jià)值。

結(jié)合動(dòng)態(tài)ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)路由特點(diǎn)，本文提出了基于Ｑ-Ｌｅａｒｎｉｎｇ 的高能效路由算法，該算法的網(wǎng)絡(luò)模型如圖２ 所示。

在該網(wǎng)絡(luò)模型中，每個(gè)節(jié)點(diǎn)可被視為一個(gè)智能體，其在廣播數(shù)據(jù)包時(shí)的狀態(tài)定義為ｓｔ。此時(shí)，當(dāng)其指定接收到該數(shù)據(jù)包的鄰居節(jié)點(diǎn)ｎｊ 再次廣播該數(shù)據(jù)包時(shí)的動(dòng)作為ａｊ。將鄰居節(jié)點(diǎn)的能量分布情況、節(jié)點(diǎn)之間的鏈路質(zhì)量、節(jié)點(diǎn)的移動(dòng)因子和當(dāng)前狀態(tài)下轉(zhuǎn)發(fā)數(shù)據(jù)包的成本作為獎(jiǎng)勵(lì)函數(shù)的參數(shù)。同時(shí)，為了確保Ｑ 值的更新能夠準(zhǔn)確反映網(wǎng)絡(luò)中移動(dòng)節(jié)點(diǎn)的變化情況，將傳統(tǒng)路由算法中的路由發(fā)現(xiàn)策略和鏈路感知機(jī)制同Ｑ-Ｌｅａｒｎｉｎｇ 算法相結(jié)合。在確保網(wǎng)絡(luò)性能的同時(shí)，最大程度地降低網(wǎng)絡(luò)節(jié)點(diǎn)的能量消耗，并在網(wǎng)絡(luò)中平衡各節(jié)點(diǎn)間的能耗，以實(shí)現(xiàn)整個(gè)網(wǎng)絡(luò)的能效優(yōu)化。

２． ２ 獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)

獎(jiǎng)勵(lì)函數(shù)作為Ｑ-Ｌｅａｒｎｉｎｇ 算法更新Ｑ 值過(guò)程中的重要部分，其設(shè)計(jì)影響著智能體學(xué)習(xí)過(guò)程中策略的形成。本文以高能效路由為優(yōu)化目標(biāo)，盡可能多地考慮影響網(wǎng)絡(luò)路由能效的因素。當(dāng)節(jié)點(diǎn)ｒｉ 在廣播信道中廣播數(shù)據(jù)包時(shí)，指定再次廣播該數(shù)據(jù)包的鄰居節(jié)點(diǎn)ｎｊ 的動(dòng)作ａｊ 的獎(jiǎng)勵(lì)函數(shù)如下所示：

ｆ（ｒｉ，ｎｊ）＝ －ｈ＋ｃ（ｎｊ）－ＭＦｎｊ ＋ｌ（ｎｊ）。（５）

通過(guò)引入節(jié)點(diǎn)廣播數(shù)據(jù)包的懲罰ｈ，當(dāng)節(jié)點(diǎn)在選擇下一跳節(jié)點(diǎn)時(shí)會(huì)考慮該節(jié)點(diǎn)至目的節(jié)點(diǎn)跳數(shù)。

該懲罰的意義在于使節(jié)點(diǎn)傾向選擇距離目的節(jié)點(diǎn)跳數(shù)少的節(jié)點(diǎn)轉(zhuǎn)發(fā)數(shù)據(jù)包，在降低數(shù)據(jù)包跳數(shù)的同時(shí)避免過(guò)多的節(jié)點(diǎn)參與廣播而導(dǎo)致能量浪費(fèi)，ｈ 參數(shù)的值根據(jù)下一跳是否為目的節(jié)點(diǎn)ｒｄ 而改變，如下所示：

當(dāng)ｈ＝０ 意味著節(jié)點(diǎn)ｒｉ 的下一跳節(jié)點(diǎn)為目的節(jié)點(diǎn)，其廣播懲罰為０，反之仍需考慮廣播懲罰，以此實(shí)現(xiàn)最短路徑的路由。然而僅僅考慮數(shù)據(jù)包的最短路徑并不能提高網(wǎng)絡(luò)路由的能效，最短路徑中的節(jié)點(diǎn)可能因?yàn)檩^高的網(wǎng)絡(luò)負(fù)載而過(guò)早的耗盡能量，進(jìn)而導(dǎo)致網(wǎng)絡(luò)壽命減少。為了平衡鄰居節(jié)點(diǎn)之間的負(fù)載，避免因?yàn)閱我还?jié)點(diǎn)能量耗盡而導(dǎo)致網(wǎng)絡(luò)無(wú)法正常工作，本文在獎(jiǎng)勵(lì)函數(shù)中引入ｃ（ｎｊ）來(lái)表示節(jié)點(diǎn)同鄰居節(jié)點(diǎn)的能量分布情況：

式中：Ｅｎｊ 為節(jié)點(diǎn)的剩余能量，Ｅｎｒｉ為節(jié)點(diǎn)ｒｉ 的所有鄰居節(jié)點(diǎn)Ｎｒｉ 剩余能量的平均值，通過(guò)ｃ（ｎｊ）反映下一跳節(jié)點(diǎn)同鄰居節(jié)點(diǎn)剩余能量平均值的情況。ｃ（ｎｊ）大于１，代表該節(jié)點(diǎn)剩余能量高于鄰居節(jié)點(diǎn)平均值，則越有可能成為下一跳的轉(zhuǎn)發(fā)節(jié)點(diǎn)。

考慮網(wǎng)絡(luò)中節(jié)點(diǎn)的移動(dòng)性以及鏈路質(zhì)量對(duì)數(shù)據(jù)包轉(zhuǎn)發(fā)的影響，將鄰居節(jié)點(diǎn)ｎｊ 的移動(dòng)因子ＭＦｎｊ 和鏈路質(zhì)量ｌ（ｎｊ）納入到獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)中。鄰居節(jié)點(diǎn)ｎｊ 的移動(dòng)因子計(jì)算如下：

移動(dòng)因子ＭＦ 作為一種量化指標(biāo)，能夠有效地反映節(jié)點(diǎn)移動(dòng)性對(duì)網(wǎng)絡(luò)拓?fù)涞挠绊?。在?dòng)態(tài)ＢＬＥＭｅｓｈ 網(wǎng)絡(luò)中，通過(guò)統(tǒng)計(jì)鄰居節(jié)點(diǎn)信息變化來(lái)感知節(jié)點(diǎn)移動(dòng)狀態(tài)是一種簡(jiǎn)單高效的方法，相較于直接計(jì)算節(jié)點(diǎn)速度具有顯著優(yōu)勢(shì)。此方法不依賴精確的地理位置信息，降低了對(duì)高精度定位系統(tǒng)的需求，同時(shí)減少了能源和計(jì)算資源的消耗。具體而言，節(jié)點(diǎn)ｎｊ的ＭＦｎｊ 可以通過(guò)分析和比較該節(jié)點(diǎn)在連續(xù)兩個(gè)時(shí)間點(diǎn)的鄰居節(jié)點(diǎn)集合的變化得出。用Ｎｎｊ 表示當(dāng)前時(shí)間點(diǎn)節(jié)點(diǎn)ｎｉ 的鄰居節(jié)點(diǎn)集合，而Ｎｐｎｊ 表示前一時(shí)間點(diǎn)的鄰居節(jié)點(diǎn)集合。通過(guò)這種比較，ＭＦｎｊ 將量化節(jié)點(diǎn)的移動(dòng)速度和范圍。移動(dòng)因子越接近１ 則表明該節(jié)點(diǎn)移動(dòng)性較強(qiáng)，那么它可能不是一個(gè)理想的中繼節(jié)點(diǎn)。

在動(dòng)態(tài)ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)環(huán)境中，節(jié)點(diǎn)ｒｉ 與其鄰居節(jié)點(diǎn)間的鏈路質(zhì)量對(duì)數(shù)據(jù)傳輸?shù)目煽啃灾陵P(guān)重要。接收信號(hào)強(qiáng)度指示（Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎ-ｄｉｃａｔｏｒ，ＲＳＳＩ）是衡量鏈路質(zhì)量的關(guān)鍵指標(biāo)之一，能直觀地反映信號(hào)的強(qiáng)度以及鏈路的穩(wěn)健性。ＲＳＳＩ的實(shí)時(shí)更新和便捷采集特性，對(duì)于指導(dǎo)網(wǎng)絡(luò)自適應(yīng)調(diào)整、優(yōu)化路由選擇以及提高整體網(wǎng)絡(luò)性能至關(guān)重要。鑒于此，本文在設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)時(shí)，對(duì)節(jié)點(diǎn)的ＲＳＳＩ 值歸一化后納入獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)中。確保在動(dòng)態(tài)網(wǎng)絡(luò)條件下，節(jié)點(diǎn)能夠基于準(zhǔn)確的鏈路質(zhì)量信息做出合適的路由選擇，節(jié)點(diǎn)ｒｉ 對(duì)其鄰居節(jié)點(diǎn)ｎｊ 的鏈路質(zhì)量評(píng)估如下：

ｌC ｎｊ o ＝ ＲＳＳＩｎｊ －ＲＳＳＩｍｉｎ/ＲＳＳＩｍａｘ －ＲＳＳＩｍｉｎ， （９）

ＲＳＳＩｍａｘ ＝ｍａｘ（｛ＲＳＳＩｎｉ| ｎｉ∈Ｎｒｉ｝）， （１０）

ＲＳＳＩｍｉｎ ＝ｍｉｎ（｛ＲＳＳＩｎｉ |ｎｉ∈Ｎｒｉ｝）。（１１）

為了定量評(píng)估節(jié)點(diǎn)ｒｉ 與其鄰居節(jié)點(diǎn)之間鏈路的質(zhì)量，可以采用ＲＳＳＩ 值的歸一化方法。通過(guò)將觀測(cè)到目標(biāo)節(jié)點(diǎn)ｎｊ 的ＲＳＳＩ 值ＲＳＳＩｎｊ 相對(duì)于網(wǎng)絡(luò)中探測(cè)到的最低ＲＳＳＩ 值ＲＳＳＩｍｉｎ 和最大ＲＳＳＩ 值ＲＳＳＩｍａｘ進(jìn)行歸一化，計(jì)算出一個(gè)０ ～１ 的標(biāo)準(zhǔn)化鏈路質(zhì)量指標(biāo)。該歸一化ＲＳＳＩ 值越接近于１，表明鄰居節(jié)點(diǎn)ｎｊ與ｒｉ 之間的鏈路質(zhì)量越高，反之則越低。通過(guò)在路由決策的獎(jiǎng)勵(lì)函數(shù)中引入歸一化的ＲＳＳＩ 值，能夠有效增強(qiáng)數(shù)據(jù)包在鏈路質(zhì)量較好的路徑上的轉(zhuǎn)發(fā)概率，從而優(yōu)化網(wǎng)絡(luò)性能并確保數(shù)據(jù)傳輸?shù)目煽啃浴?/p>

２． ３ 鏈路感知機(jī)制

為了有效監(jiān)測(cè)節(jié)點(diǎn)在線狀態(tài)及評(píng)估ＢＬＥ Ｍｅｓｈ網(wǎng)絡(luò)的連通性，藍(lán)牙技術(shù)聯(lián)盟在其網(wǎng)絡(luò)規(guī)范中設(shè)定了心跳機(jī)制。根據(jù)規(guī)范，網(wǎng)絡(luò)中的節(jié)點(diǎn)會(huì)周期性地發(fā)送心跳消息，這些消息被接收后由節(jié)點(diǎn)再次廣播，通過(guò)管理式泛洪路由機(jī)制傳遞至預(yù)定目的節(jié)點(diǎn)。通過(guò)解析心跳消息中的ＴＴＬ 字段，不僅可以確認(rèn)節(jié)點(diǎn)的存活狀態(tài)，還能估算節(jié)點(diǎn)之間的跳數(shù)，以便源節(jié)點(diǎn)設(shè)置合理的ＴＴＬ 值。

在動(dòng)態(tài)ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)環(huán)境中，心跳機(jī)制發(fā)揮著關(guān)鍵作用，不僅監(jiān)測(cè)節(jié)點(diǎn)的在線狀態(tài)，還提供網(wǎng)絡(luò)中其他節(jié)點(diǎn)的信息，輔助節(jié)點(diǎn)做出數(shù)據(jù)包轉(zhuǎn)發(fā)的決策。ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)規(guī)范采用的心跳機(jī)制基于管理式泛洪路由，即任何接收到心跳消息的節(jié)點(diǎn)均需進(jìn)行轉(zhuǎn)發(fā)，這一機(jī)制雖然增強(qiáng)了網(wǎng)絡(luò)的連通性，但也導(dǎo)致了節(jié)點(diǎn)能耗的相應(yīng)提升。為了使心跳機(jī)制在動(dòng)態(tài)ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)中更為高效，本文對(duì)標(biāo)準(zhǔn)心跳機(jī)制進(jìn)行了改進(jìn)，使其具備傳播節(jié)點(diǎn)Ｑ 值信息與移動(dòng)因子的能力，并以此來(lái)對(duì)鄰居節(jié)點(diǎn)的狀態(tài)進(jìn)行監(jiān)測(cè)。為了降低心跳消息泛洪所導(dǎo)致的能耗過(guò)高問題，節(jié)點(diǎn)接收到心跳消息后不再進(jìn)行廣播。節(jié)點(diǎn)ｒｉ 通過(guò)定期廣播含有自身最優(yōu)Ｑ 值集合和移動(dòng)因子的心跳消息，使鄰居節(jié)點(diǎn)能夠感知其狀態(tài)信，并據(jù)此更新自身的決策，最優(yōu)Ｑ 值集合Ｑ*ｒｉ 如下所示：

Ｑ*ｒｉ ＝｛Ｑ*ｒｉ （ｄ１，ｎｄ１），Ｑ*ｒｉ （ｄ２，ｎｄ２），…，Ｑ*ｒｉ （ｄｓ，ｎｄｓ）｝，（１２）

式中：ｎｄｓ 為節(jié)點(diǎn)處理發(fā)往目的節(jié)點(diǎn)ｄｓ 數(shù)據(jù)包時(shí)的最優(yōu)轉(zhuǎn)發(fā)節(jié)點(diǎn)，Ｑ*ｒｉ （ｄｓ，ｎｄｓ）為節(jié)點(diǎn)ｒｉ 在處理發(fā)往目的節(jié)點(diǎn)ｄｓ 的數(shù)據(jù)包時(shí)最大Ｑ 值。

網(wǎng)絡(luò)中的節(jié)點(diǎn)通過(guò)心跳消息來(lái)實(shí)現(xiàn)對(duì)鏈路的感知，同時(shí)以此調(diào)整自身所維護(hù)的Ｑ 表，從而更加合理地做出路由選擇。此外，包含在心跳消息中的移動(dòng)因子信息進(jìn)一步增強(qiáng)了網(wǎng)絡(luò)對(duì)于拓?fù)渥兓倪m應(yīng)能力，使節(jié)點(diǎn)可以實(shí)時(shí)評(píng)估其他節(jié)點(diǎn)的位置變化及其對(duì)通信鏈路質(zhì)量的潛在影響。在心跳消息的傳播過(guò)程中，通過(guò)對(duì)發(fā)送和接收節(jié)點(diǎn)的ＲＳＳＩ 值進(jìn)行監(jiān)測(cè)，網(wǎng)絡(luò)中的節(jié)點(diǎn)不僅可以交換它們的Ｑ 值信息和移動(dòng)因子，還能夠獲取與其鄰居節(jié)點(diǎn)間的鏈路質(zhì)量的即時(shí)反饋，為動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境中的數(shù)據(jù)路由決策提供關(guān)鍵、實(shí)時(shí)的質(zhì)量度量指標(biāo)。心跳消息處理流程如圖３ 所示。

２． ４ 基于探索的路由發(fā)現(xiàn)機(jī)制

盡管將Ｑ-Ｌｅａｒｎｉｎｇ 算法應(yīng)用于ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)的路由決策，結(jié)合節(jié)點(diǎn)的鏈路質(zhì)量和移動(dòng)性信息來(lái)制定數(shù)據(jù)包轉(zhuǎn)發(fā)策略有助于提升網(wǎng)絡(luò)的自適應(yīng)性和整體性能，但在實(shí)際應(yīng)用中這種方法存在一定局限性。尤其是在具有移動(dòng)節(jié)點(diǎn)的動(dòng)態(tài)ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)環(huán)境中，僅依賴于鄰居節(jié)點(diǎn)信息而更新的Ｑ 值不足以實(shí)時(shí)準(zhǔn)確地反映節(jié)點(diǎn)位置的變化。為此，本文在Ｑ-Ｌｅａｒｎｉｎｇ 框架下，提出了一種基于探索的路由發(fā)現(xiàn)機(jī)制來(lái)應(yīng)對(duì)節(jié)點(diǎn)移動(dòng)帶來(lái)的網(wǎng)絡(luò)拓?fù)渥兓?/p>

在動(dòng)態(tài)ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)中，節(jié)點(diǎn)在進(jìn)行決策時(shí)，會(huì)根據(jù)一定的概率采取探索或利用的策略。當(dāng)節(jié)點(diǎn)選擇利用的策略時(shí)，執(zhí)行當(dāng)前Ｑ 表中最大值所對(duì)應(yīng)的動(dòng)作，即指定Ｑ 值最大所對(duì)應(yīng)的鄰居節(jié)點(diǎn)廣播數(shù)據(jù)包。當(dāng)節(jié)點(diǎn)選擇探索的策略時(shí)，則隨機(jī)執(zhí)行動(dòng)作并更新Ｑ 表，即隨機(jī)指定一個(gè)鄰居節(jié)點(diǎn)廣播數(shù)據(jù)包。節(jié)點(diǎn)采取利用的策略時(shí)，根據(jù)其累積的經(jīng)驗(yàn)來(lái)選擇最佳的路由路徑，減少因探索未知路徑可能引入的風(fēng)險(xiǎn)和延遲。盡管這種基于歷史學(xué)習(xí)成果的決策有助于提高路由決策的即時(shí)性和準(zhǔn)確性，但網(wǎng)絡(luò)環(huán)境的動(dòng)態(tài)變化要求節(jié)點(diǎn)不僅要利用已知信息以優(yōu)化當(dāng)前的路由選擇，還需要在一定程度上進(jìn)行探索，以發(fā)現(xiàn)可能的新路由或應(yīng)對(duì)網(wǎng)絡(luò)狀態(tài)的變化。當(dāng)節(jié)點(diǎn)進(jìn)行探索策略時(shí)，隨機(jī)選取鄰居節(jié)點(diǎn)作為下一跳節(jié)點(diǎn)的這一動(dòng)作同樣存在一定缺陷。當(dāng)目的節(jié)點(diǎn)作為移動(dòng)節(jié)點(diǎn)時(shí)，隨機(jī)轉(zhuǎn)發(fā)該數(shù)據(jù)包可能無(wú)法將其送達(dá)目的節(jié)點(diǎn)。

針對(duì)節(jié)點(diǎn)在采取探索策略時(shí)可能丟包的情況，對(duì)節(jié)點(diǎn)的探索策略進(jìn)行改進(jìn)，將自適應(yīng)按需距離矢量路由協(xié)議（Ａｄ ｈｏｃ Ｏｎ-1ｄｅｍａｎｄ Ｄｉｓｔａｎｃｅ Ｖｅｃｔｏｒｒｏｕｔｉｎｇ，ＡＯＤＶ）［１８］中的路由請(qǐng)求和路由回復(fù)機(jī)制用于節(jié)點(diǎn)的探索策略。當(dāng)節(jié)點(diǎn)決定采取探索策略時(shí)，將采用泛洪機(jī)制將數(shù)據(jù)包送達(dá)目的節(jié)點(diǎn)，在目的節(jié)點(diǎn)接收到數(shù)據(jù)包后通過(guò)路由回復(fù)來(lái)更新網(wǎng)絡(luò)中到目的節(jié)點(diǎn)的Ｑ 值。此外，本文進(jìn)一步優(yōu)化了節(jié)點(diǎn)策略的選擇機(jī)制。節(jié)點(diǎn)ｒｉ 依據(jù)目的節(jié)點(diǎn)ｒｄ 的移動(dòng)因子ＭＦｒｄ 來(lái)決定采取利用還是探索的策略，即依據(jù)當(dāng)前Ｑ 表中的最優(yōu)動(dòng)作，或是采取探索策略來(lái)發(fā)現(xiàn)新的路由，如下所示：

式中：Ｎｒｉ 為節(jié)點(diǎn)的動(dòng)作集合，即節(jié)點(diǎn)的鄰居節(jié)點(diǎn)集合；Ｑｒｉ（ｒｄ，ａ′）為當(dāng)前節(jié)點(diǎn)ｒｉ 在廣播數(shù)據(jù)包中后，指定其鄰居節(jié)點(diǎn)ａ′（ａ′∈Ｎｒｉ）再次廣播該數(shù)據(jù)包。在節(jié)點(diǎn)進(jìn)行路由決策時(shí)，通過(guò)產(chǎn)生隨機(jī)數(shù)Ｐｒ（Ｐｒ ～Ｕ（０，１）），與ＭＦｒｄ 進(jìn)行比較，決定采取探索還是利用的策略。

當(dāng)目的節(jié)點(diǎn)的ＭＦｒｄ 較低時(shí)，表明目的節(jié)點(diǎn)ｒｄ 相對(duì)穩(wěn)定。因此節(jié)點(diǎn)ｒｉ 會(huì)更傾向于利用現(xiàn)有的Ｑ 值表進(jìn)行路由決策，執(zhí)行當(dāng)前Ｑ 表中Ｑ 值最大的動(dòng)作ａ*，即指定最優(yōu)鄰居節(jié)點(diǎn)在接收到廣播包后再次廣播該數(shù)據(jù)包。當(dāng)目的節(jié)點(diǎn)ｒｄ 的移動(dòng)因子較高時(shí)，意味著節(jié)點(diǎn)處于較為頻繁的移動(dòng)狀態(tài)中。此時(shí)節(jié)點(diǎn)ｒｉ 可能無(wú)法依賴于已有的Ｑ 表來(lái)做出最優(yōu)路由決策，因?yàn)樵摚?值可能已經(jīng)不再準(zhǔn)確反映當(dāng)前的網(wǎng)絡(luò)狀態(tài)。因此，在這種情況下節(jié)點(diǎn)ｒｉ 將更傾向于通過(guò)探索新的路由來(lái)適應(yīng)當(dāng)前網(wǎng)絡(luò)拓?fù)渥兓?。得益于ＢＬ?的廣播特性，節(jié)點(diǎn)ｒｉ 在執(zhí)行探索策略時(shí)，即便指定了非最優(yōu)節(jié)點(diǎn)再次廣播數(shù)據(jù)包，實(shí)際上所有的鄰居節(jié)點(diǎn)Ｎｒｉ 都會(huì)收到該數(shù)據(jù)包。為了充分利用ＢＬＥ的廣播特性，本文將ＱＬｅａｒｎｉｎｇ 中的探索策略同ＡＯＤＶ 路由協(xié)議中的路由請(qǐng)求機(jī)制相結(jié)合。源節(jié)點(diǎn)ｒｓ 將數(shù)據(jù)包作為路由請(qǐng)求ＲＲＥＱ 消息，以泛洪的形式送達(dá)目的節(jié)點(diǎn)ｒｄ 的同時(shí)，利用鄰居節(jié)點(diǎn)之間的反饋來(lái)更新Ｑ 值，同時(shí)建立與源節(jié)點(diǎn)ｒｓ 的反向路由。

當(dāng)目的節(jié)點(diǎn)ｒｄ 接收到數(shù)據(jù)包后，根據(jù)路由發(fā)現(xiàn)階段已經(jīng)建立的反向路由回復(fù)ＲＲＥＰ 消息。通過(guò)路由回復(fù)來(lái)更新網(wǎng)絡(luò)中節(jié)點(diǎn)到目的節(jié)點(diǎn)ｒｄ 的Ｑ 值，即網(wǎng)絡(luò)中節(jié)點(diǎn)ｒｉ 接收由鄰居節(jié)點(diǎn)ｎｊ 廣播的ＲＲＥＰ 消息后，通過(guò)式（１３）更新節(jié)點(diǎn)自身到目的節(jié)點(diǎn)的Ｑ 值：

式中：ｇ∈（０，１］?；谔剿鞯穆酚砂l(fā)現(xiàn)機(jī)制在泛洪的過(guò)程中利用了ＡＯＤＶ 協(xié)議中的路由回復(fù)功能，在數(shù)據(jù)包到達(dá)目的節(jié)點(diǎn)ｒｄ 后通過(guò)路由回復(fù)實(shí)現(xiàn)網(wǎng)絡(luò)中節(jié)點(diǎn)關(guān)于目的節(jié)點(diǎn)ｒｄ 的路由更新。接收到ＲＲＥＰ 消息的節(jié)點(diǎn)將發(fā)包節(jié)點(diǎn)的Ｑ 值在鄰居節(jié)點(diǎn)最大Ｑ 值基礎(chǔ)上增加一個(gè)正值常數(shù)ｇ，當(dāng)下一次處理發(fā)往節(jié)點(diǎn)ｒｄ 的數(shù)據(jù)包時(shí)傾向于選擇鄰居節(jié)點(diǎn)ｎｊ。在基于探索的路由發(fā)現(xiàn)過(guò)程中，節(jié)點(diǎn)處理ＲＲＥＱ 和ＲＲＥＰ消息的流程如圖４ 所示。

３ 仿真結(jié)果與分析

３． １ 仿真參數(shù)設(shè)置

本文主要對(duì)ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)的網(wǎng)絡(luò)層進(jìn)行仿真分析，旨在評(píng)估不同網(wǎng)絡(luò)路由算法對(duì)ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)性能的影響。為了實(shí)現(xiàn)這一目標(biāo)，本文采用ＯＭＮｅＴ＋＋仿真平臺(tái)實(shí)現(xiàn)ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)層的仿真。相關(guān)仿真參數(shù)設(shè)置如表１ 所示。

ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)中移動(dòng)節(jié)點(diǎn)的移動(dòng)速度參考人體在室內(nèi)的移動(dòng)速度（１ ｍ／ ｓ）。網(wǎng)絡(luò)中的固定節(jié)點(diǎn)采用均勻分布的網(wǎng)絡(luò)拓?fù)?，如圖５ 所示。

為了評(píng)估本文提出的動(dòng)態(tài)ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)高能效路由算法的性能，將其與管理式泛洪路由機(jī)制、ＡＯＤＶ 和ＯＬＳＲ 協(xié)議［１９］進(jìn)行對(duì)比，包括節(jié)點(diǎn)的ＴＴＬ、端到端的平均時(shí)延和網(wǎng)絡(luò)開銷。

３． ２ 網(wǎng)絡(luò)開銷

不同網(wǎng)絡(luò)規(guī)模下傳輸所需數(shù)據(jù)包數(shù)量如圖６ 所示，展示了當(dāng)網(wǎng)絡(luò)中的源節(jié)點(diǎn)以５ 包／ ｓ 的發(fā)包速率向移動(dòng)節(jié)點(diǎn)發(fā)包時(shí)，在不同網(wǎng)絡(luò)規(guī)模下網(wǎng)絡(luò)中數(shù)據(jù)包發(fā)包數(shù)情況。盡管網(wǎng)絡(luò)規(guī)模的擴(kuò)大導(dǎo)致了在各種路由算法下網(wǎng)絡(luò)數(shù)據(jù)包數(shù)量的增加，但本文提出的算法所需的數(shù)據(jù)包數(shù)量始終保持最低水平。與管理式泛洪路由機(jī)制相比，至少減少了３０％ 的數(shù)據(jù)包數(shù)量，且隨網(wǎng)絡(luò)規(guī)模的擴(kuò)大，這一差距更加顯著。采用管理式泛洪路由機(jī)制的動(dòng)態(tài)ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)中，因難以避免的冗余傳輸缺點(diǎn)導(dǎo)致網(wǎng)絡(luò)中數(shù)據(jù)包數(shù)量較大，同時(shí)伴隨著網(wǎng)絡(luò)中節(jié)點(diǎn)數(shù)量的增加，更多的節(jié)點(diǎn)參與數(shù)據(jù)包的廣播，進(jìn)一步加劇了數(shù)據(jù)包的轉(zhuǎn)發(fā)次數(shù)。ＯＬＳＲ 協(xié)議采用主動(dòng)式路由發(fā)現(xiàn)機(jī)制，其中節(jié)點(diǎn)需定期廣播Ｈｅｌｌｏ 消息和拓?fù)淇刂葡⒁垣@取網(wǎng)絡(luò)的整體拓?fù)湫畔?。相較之下，ＡＯＤＶ 協(xié)議基于反應(yīng)式路由發(fā)現(xiàn)機(jī)制，僅在需要時(shí)才啟動(dòng)路由發(fā)現(xiàn)過(guò)程。因此，與基于需求觸發(fā)的ＡＯＤＶ 協(xié)議相比，ＯＬＳＲ協(xié)議由于其主動(dòng)性而導(dǎo)致更高的網(wǎng)絡(luò)開銷。本文提出的算法采用了基于探索的路由發(fā)現(xiàn)機(jī)制，在路由請(qǐng)求階段已經(jīng)實(shí)現(xiàn)了數(shù)據(jù)包的交付，降低了該階段的路由開銷，在網(wǎng)絡(luò)開銷上低于ＡＯＤＶ 協(xié)議。

３． ３ 節(jié)點(diǎn)ＴＴＬ

圖７ 展示了不同網(wǎng)絡(luò)規(guī)模下節(jié)點(diǎn)的平均ＴＴＬ，本文提出的路由算法在節(jié)點(diǎn)ＴＴＬ 上始終高于其他路由算法。與ＡＯＤＶ 路由協(xié)議相比，雖然本文提出的算法采用了心跳機(jī)制來(lái)獲取鄰居節(jié)點(diǎn)的信息，但將該消息控制在一跳范圍內(nèi)。這樣既避免了泛洪機(jī)制導(dǎo)致的高能耗，同時(shí)實(shí)現(xiàn)了對(duì)環(huán)境信息的有效獲取。在管理式泛洪路由機(jī)制下，網(wǎng)絡(luò)中所有節(jié)點(diǎn)都參與了數(shù)據(jù)包的轉(zhuǎn)發(fā)，同時(shí)伴隨著節(jié)點(diǎn)心跳機(jī)制所帶來(lái)的數(shù)據(jù)包數(shù)量增加，進(jìn)一步加重了節(jié)點(diǎn)的能耗負(fù)擔(dān)。基于反應(yīng)式路由的ＡＯＤＶ 協(xié)議無(wú)需時(shí)刻感知網(wǎng)絡(luò)中節(jié)點(diǎn)的狀態(tài)來(lái)掌握網(wǎng)絡(luò)中的全局拓?fù)?，降低了?jié)點(diǎn)在鏈路感知上的能耗，因此在節(jié)點(diǎn)ＴＴＬ 上優(yōu)于采用主動(dòng)式路由策略的ＯＬＳＲ 協(xié)議。節(jié)點(diǎn)的ＴＴＬ 同電池容量Ｅｂａｔｔｅｒｙ 和工作期間的平均電流有著密切關(guān)系，通過(guò)統(tǒng)計(jì)節(jié)點(diǎn)在工作期間的平均電流，根據(jù)給定的電池容量可以計(jì)算出節(jié)點(diǎn)的ＴＴＬ，計(jì)算如下：

３． ４ 端到端時(shí)延

不同轉(zhuǎn)發(fā)次數(shù)下移動(dòng)節(jié)點(diǎn)與源節(jié)點(diǎn)之間的端到端時(shí)延如圖８ 所示，本文提出的路由算法在該方面的性能介于ＡＯＤＶ 和ＯＬＳＲ 協(xié)議之間。相較于ＡＯＤＶ 協(xié)議，本文提出的路由算法對(duì)移動(dòng)節(jié)點(diǎn)路由發(fā)現(xiàn)并不需要等待目的節(jié)點(diǎn)發(fā)送路由回復(fù)后再發(fā)送數(shù)據(jù)包。而ＡＯＤＶ 協(xié)議中，源節(jié)點(diǎn)則需等待路由回復(fù)包到達(dá)后再發(fā)送數(shù)據(jù)包，因此在時(shí)延上優(yōu)于ＡＯＤＶ 協(xié)議。由于ＯＬＳＲ 協(xié)議中采用了拓?fù)淇刂葡C(jī)制，網(wǎng)絡(luò)中節(jié)點(diǎn)能掌握全局的拓?fù)湫畔?，并通過(guò)Ｄｉｊｋｓｔｒａ 算法［２０］找到最短路徑將數(shù)據(jù)包送達(dá)目的節(jié)點(diǎn)，盡可能地降低了端到端的時(shí)延。本文提出的算法考慮了節(jié)點(diǎn)之間的能耗平衡，當(dāng)節(jié)點(diǎn)進(jìn)行路由決策時(shí)，傾向于選擇剩余能量較多的節(jié)點(diǎn)進(jìn)行轉(zhuǎn)發(fā)，因此路徑規(guī)劃上并不是最短路徑，進(jìn)而導(dǎo)致了網(wǎng)絡(luò)時(shí)延有所增加。對(duì)管理式泛洪路由機(jī)制而言，由于其無(wú)需進(jìn)行路由決策，當(dāng)網(wǎng)絡(luò)中的節(jié)點(diǎn)接收到廣播數(shù)據(jù)包后只需根據(jù)消息緩存機(jī)制和消息ＴＴＬ 機(jī)制來(lái)判斷數(shù)據(jù)包是否需要再次廣播，能夠較快的實(shí)現(xiàn)數(shù)據(jù)包的交付?？傮w來(lái)看，盡管本文所提算法在端到端時(shí)延這一指標(biāo)上不是最優(yōu)的，但是其具備兼顧時(shí)延和能耗的綜合能力，尤其在一些非時(shí)延敏感的物聯(lián)網(wǎng)場(chǎng)景中，本文所提出的算法將有更好的應(yīng)用優(yōu)勢(shì)。

４ 結(jié)束語(yǔ)

本文針對(duì)動(dòng)態(tài)ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)中的高能耗和消息冗余問題，提出了基于Ｑ-Ｌｅａｒｎｉｎｇ 的動(dòng)態(tài)ＢＬＥＭｅｓｈ 網(wǎng)絡(luò)高能效路由算法。構(gòu)建了基于Ｑ-Ｌｅａｒｎｉｎｇ的動(dòng)態(tài)ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)高能效路由網(wǎng)絡(luò)模型。為了衡量動(dòng)態(tài)ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)中節(jié)點(diǎn)之間的鏈路質(zhì)量，該算法將ＲＳＳＩ 和節(jié)點(diǎn)的移動(dòng)因子納入到獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)中，同時(shí)對(duì)ＢＬＥ Ｍｅｓｈ 網(wǎng)絡(luò)的心跳機(jī)制進(jìn)行改進(jìn)，使網(wǎng)絡(luò)中的節(jié)點(diǎn)更加高效的獲取環(huán)境信息。為使節(jié)點(diǎn)的Ｑ 值更新能更加準(zhǔn)確地反映節(jié)點(diǎn)移動(dòng)所導(dǎo)致的網(wǎng)絡(luò)拓?fù)渥兓?，該算法采用基于探索的路由發(fā)現(xiàn)機(jī)制來(lái)更新網(wǎng)絡(luò)中節(jié)點(diǎn)的Ｑ 值。通過(guò)與其他動(dòng)態(tài)路由算法比較，仿真結(jié)果顯示本文提出的算法在端到端時(shí)延、節(jié)點(diǎn)能耗和網(wǎng)絡(luò)開銷上均有一定的改善。

參考文獻(xiàn)

［１］ ＳＵＮＤＡＲＡＭ Ｊ Ｐ Ｓ，ＤＵ Ｗ，ＺＨＡＯ Ｚ． Ａ Ｓｕｒｖｅｙ ｏｎ ＬｏＲａＮｅｔｗｏｒｋｉｎｇ：Ｒｅｓｅａｒｃｈ Ｐｒｏｂｌｅｍｓ，Ｃｕｒｒｅｎｔ Ｓｏｌｕｔｉｏｎｓ，ａｎｄＯｐｅｎ Ｉｓｓｕｅｓ［Ｊ］． ＩＥＥＥ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｕｒｖｅｙｓ ＆ Ｔｕｔｏｒｉａｌｓ，２０１９，２２（１）：３７１－３８８．

［２］ ＭＩＧＡＢＯ Ｅ Ｍ，ＤＪＯＵＡＮＩ Ｋ Ｄ，ＫＵＲＩＥＮ Ａ Ｍ． Ｔｈｅ Ｎａｒｒｏｗｂａｎｄ Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ（ＮＢＩｏＴ）Ｒｅｓｏｕｒｃｅｓ ＭａｎａｇｅｍｅｎｔＰｅｒｆｏｒｍａｎｃｅ Ｓｔａｔｅ ｏｆ Ａｒｔ，Ｃｈａｌｌｅｎｇｅｓ，ａｎｄ Ｏｐｐｏｒｔｕｎｉｔｉｅｓ［Ｊ］． ＩＥＥＥ Ａｃｃｅｓｓ，２０２０，８：９７６５８－９７６７５．

［３］ ＯＭＡＲ Ｈ Ａ，ＡＢＢＯＵＤ Ｋ，ＣＨＥＮＧ Ｎ，ｅｔ ａｌ． Ａ Ｓｕｒｖｅｙ ｏｎＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋｓ：Ｎｅｘｔ Ｇｅｎｅｒａｔｉｏｎ ＷｉＦｉ［Ｊ］． ＩＥＥＥ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｕｒｖｅｙｓ ＆ Ｔｕｔｏｒｉａｌｓ，２０１６，１８（４）：２３１５－２３４４．

［４］ ＲＡＭＹＡ Ｃ Ｍ，ＳＨＡＮＭＵＧＡＲＡＪ Ｍ，ＰＲＡＢＡＫＡＲＡＮ Ｒ．Ｓｔｕｄｙ ｏｎ ＺｉｇＢｅｅ Ｔｅｃｈｎｏｌｏｇｙ［Ｃ］∥２０１１ ３ｒｄ ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｍｐｕｔｅｒ Ｔｅｃｈｎｏｌｏｇｙ． Ｋａｎｙａｋｕｍａｒｉ：ＩＥＥＥ，２０１１：２９７－３０１．

［５］ ＴＯＳＩ Ｊ，ＴＡＦＦＯＮＩ Ｆ，ＳＡＮＴＡＣＡＴＴＥＲＩＮＡ Ｍ，ｅｔ ａｌ． Ｐｅｒｆｏｒｍａｎｃｅ Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ：Ａ ＳｙｓｔｅｍａｔｉｃＲｅｖｉｅｗ［Ｊ］． Ｓｅｎｓｏｒｓ，２０１７，１７（１２）：２８９８．

［６］ ＢＬＵＥＴＯＯＴＨ ＳＩＧ． Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ Ｍｅｓｈ ＰｒｏｆｉｌｅＳｐｅｃｉｆｉｃａｔｉｏｎ １．０［Ｓ］． Ｋｉｒｋｌａｎｄ：Ｂｌｕｅｔｏｏｔｈ ＳＩＧ，Ｉｎｃ． ，２０１７．

［７］ ＦＡＲＥＪ Ｚ Ｋ，ＴＡＬＡＢ Ａ Ｗ． Ｅｘｔｅｎｄｅｄ Ｒａｎｇｅ Ｅｖａｌｕａｔｉｏｎ ｏｆａ ＢＬＥ Ｍｅｓｈ Ｎｅｔｗｏｒｋ ｆｏｒ Ｃｏｎｔｒｏｌ Ａｐｐｌｉｃａｔｉｏｎ［Ｃ］∥２０２１７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｎｔｅｍｐｏｒａｒｙ ＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ ａｎｄ Ｍａｔｈｅｍａｔｉｃｓ （ＩＣＣＩＴＭ）． Ｍｏｓｕｌ：ＩＥＥＥ，２０２１：３１－３５．

［８］ ＣＯＬＬＯＴＴＡ Ｍ，ＰＡＵ Ｇ． Ａｎ Ｉｎｎｏｖａｔｉｖｅ Ａｐｐｒｏａｃｈ ｆｏｒ Ｆｏｒｅｃａｓｔｉｎｇ ｏｆ Ｅｎｅｒｇｙ Ｒｅｑｕｉｒｅｍｅｎｔｓ ｔｏ Ｉｍｐｒｏｖｅ ａ Ｓｍａｒｔ ＨｏｍｅＭａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ Ｂａｓｅｄ ｏｎ ＢＬＥ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓｏｎ Ｇｒｅｅｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｎｅｔｗｏｒｋｉｎｇ，２０１７，１（１）：１１２－１２０．

［９］ ＢＬＵＥＴＯＯＴＨ ＳＩＧ． Ｂｌｕｅｔｏｏｔｈ ５． ０［Ｓ］． Ｋｉｒｋｌａｎｄ：ＢｌｕｅｔｏｏｔｈＳＩＧ，Ｉｎｃ． ，２０１６．

［１０］ＧＯＧＩＣ Ａ，ＭＵＪＣＩＣ Ａ，ＩＢＲＩＣ Ｓ，ｅｔ ａｌ． ＰｅｒｆｏｒｍａｎｃｅＡｎａｌｙｓｉｓ ｏｆ Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ Ｍｅｓｈ ＲｏｕｔｉｎｇＡｌｇｏｒｉｔｈｍ ｉｎ Ｃａｓｅ ｏｆ Ｄｉｓａｓｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ［Ｊ］． Ｗｏｒｌｄ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅ，Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，２０１６，１０（６）：１０７５－１０８１．

［１１］ ＳＣＡＧＬＩＯＮＥ Ａ，ＣＯＡＴＥＳ Ｍ，ＧＡＳＴＰＡＲ Ｍ，ｅｔ ａｌ． Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ ｔｈｅ Ｉｓｓｕｅ ｏｎ Ｇｏｓｓｉｐｉｎｇ Ａｌｇｏｒｉｔｈｍｓ Ｄｅｓｉｇｎ ａｎｄＡｐｐｌｉｃａｔｉｏｎｓ ［Ｊ］． ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｅｌｅｃｔｅｄ Ｔｏｐｉｃｓ ｉｎＳｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，２０１１，５（４）：６４５－６４８．

［１２］ＬＥＶＩＳ Ｐ，ＣＬＡＵＳＥＮ Ｔ，ＨＵＩ Ｊ，ｅｔ ａｌ． Ｔｈｅ Ｔｒｉｃｋｌｅ Ａｌｇｏｒｉｔｈｍ［Ｊ］． Ｒｅｑｕｅｓｔ ｆｏｒ Ｃｏｍｍｅｎｔｓ，２０１１，６２０６：１－１３．

［１３］ＰＥＲＥＺＤＩＡＺＤＥＣＥＲＩＯ Ｄ， ＶＡＬＥＮＺＵＥＬＡ Ｊ Ｌ，ＧＡＲＣＩＡＬＯＺＡＮＯ Ｍ，ｅｔ ａｌ． ＢＭＡＤＳ：ＢＬＥ Ｍｅｓｈ Ａｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｓｃａｎｎｉｎｇ［Ｊ］． ＩＥＥＥ Ｉｎｔｅｒｎｅｔ ｏｆ ＴｈｉｎｇｓＪｏｕｒｎａｌ，２０２０，８（４）：２５５８－２５７３．

［１４］ＢＬＵＥＴＯＯＴＨ ＳＩＧ． Ｂｌｕｅｔｏｏｔｈ ４． ２ ［Ｓ］． Ｋｉｒｋｌａｎｄ：ＢｌｕｅｔｏｏｔｈＳＩＧ，Ｉｎｃ． ，２０１４．

［１５］ＭＡＨＡＲＪＡＮ Ｂ Ｋ，ＷＩＴＫＯＷＳＫＩ Ｕ，ＺＡＮＤＩＡＮ Ｒ． ＴｒｅｅＮｅｔｗｏｒｋ Ｂａｓｅｄ ｏｎ Ｂｌｕｅｔｏｏｔｈ ４． ０ ｆｏｒ Ｗｉｒｅｌｅｓｓ Ｓｅｎｓｏｒ Ｎｅｔｗｏｒｋ Ａｐｐｌｉｃａｔｉｏｎｓ［Ｃ］∥２０１４ ６ｔｈ Ｅｕｒｏｐｅａｎ ＥｍｂｅｄｄｅｄＤｅｓｉｇｎ ｉｎ Ｅｄｕｃａｔｉｏｎ ａｎｄ Ｒｅｓｅａｒｃｈ Ｃｏｎｆｅｒｅｎｃｅ（ＥＤＥＲＣ）．Ｍｉｌａｎ：ＩＥＥＥ，２０１４：１７２－１７６．

［１６］ＰＡＴＴＩ Ｇ，ＬＥＯＮＡＲＤＩ Ｌ，ＢＥＬＬＯ Ｌ Ｌ． Ａ Ｂｌｕｅｔｏｏｔｈ ＬｏｗＥｎｅｒｇｙ Ｒｅａｌｔｉｍｅ Ｐｒｏｔｏｃｏｌ ｆｏｒ Ｉｎｄｕｓｔｒｉａｌ Ｗｉｒｅｌｅｓｓ ＭｅｓｈＮｅｔｗｏｒｋｓ［Ｃ］∥４２ｎｄ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｄｕｓｔｒｉａｌ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｏｃｉｅｔｙ． Ｆｌｏｒｅｎｃｅ：ＩＥＥＥ，２０１６：４６２７－４６３２．

［１７］ＬＵ Ｆ，ＭＥＨＴＡ Ｐ Ｇ，ＭＥＹＮ Ｓ Ｐ，ｅｔ ａｌ． Ｃｏｎｖｅｘ ＱＬｅａｒｎｉｎｇ［Ｃ］∥２０２１ Ａｍｅｒｉｃａｎ Ｃｏｎｔｒｏｌ Ｃｏｎｆｅｒｅｎｃｅ（ＡＣＣ）． ＮｅｗＯｒｌｅａｎｓ：ＩＥＥＥ，２０２１：４７４９－４７５６．

［１８］ＫＵＲＮＩＡＷＡＮ Ａ，ＫＲＩＳＴＡＬＩＮＡ Ｐ，ＨＡＤＩ Ｍ Ｚ Ｓ． Ｐｅｒｆｏｒｍａｎｃｅ Ａｎａｌｙｓｉｓ ｏｆ Ｒｏｕｔｉｎｇ Ｐｒｏｔｏｃｏｌｓ ＡＯＤＶ，ＯＬＳＲ ａｎｄＤＳＤＶ ｏｎ ＭＡＮＥＴ Ｕｓｉｎｇ ＮＳ３［Ｃ］∥２０２０ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｙｍｐｏｓｉｕｍ（ＩＥＳ）． Ｓｕｒａｂａｙａ：ＩＥＥＥ，２０２０：１９９－２０６．

［１９］ＷＨＥＥＢ Ａ Ｈ，ＡＬＪＡＭＡＬＩ Ｎ Ａ Ｓ． Ｐｅｒｆｏｒｍａｎｃｅ Ａｎａｌｙｓｉｓｏｆ ＯＬＳＲ Ｐｒｏｔｏｃｏｌ ｉｎ Ｍｏｂｉｌｅ Ａｄ Ｈｏｃ Ｎｅｔｗｏｒｋｓ［Ｊ］． ｉＪＩＭ，２０２２，１６（１）：１０６－１１９．

［２０］ＷＡＹＡＨＤＩ Ｍ Ｒ，ＧＩＮＴＩＮＧ Ｓ Ｈ Ｎ，ＳＹＡＨＰＵＴＲＡ Ｄ．Ｇｒｅｅｄｙ，Ａｓｔａｒ，ａｎｄ Ｄｉｊｋｓｔｒａ’ｓ Ａｌｇｏｒｉｔｈｍｓ ｉｎ Ｆｉｎｄｉｎｇ Ｓｈｏｒｔｅｓｔ Ｐａｔｈ［Ｊ］． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ａｄｖａｎｃｅｓ ｉｎ Ｄａｔａａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍｓ，２０２１，２（１）：４５－５２．

作者簡(jiǎn)介：

蔣龍榮 男，（１９９９—），碩士研究生。主要研究方向：無(wú)線通信、低功耗藍(lán)牙Ｍｅｓｈ 網(wǎng)絡(luò)。

劉 靜 女，（１９８１—），博士，講師。主要研究方向：無(wú)線通信、無(wú)線資源管理。

劉文超 男，（１９７７—），碩士，高級(jí)工程師。主要研究方向：信息與通信工程。

王 蘭 女，（１９７９—），博士，講師。主要研究方向：無(wú)線通信、物聯(lián)網(wǎng)通信。