郭起霖, 鐘偉鋒， 張浩川*， 張 涵， 余 榮

(1. 中國(guó)能源建設(shè)集團(tuán)廣東省電力設(shè)計(jì)研究院有限公司, 廣州 510663； 2. 廣東工業(yè)大學(xué)自動(dòng)化學(xué)院, 廣州 510006；3. 華南師范大學(xué)物理與電信工程學(xué)院, 廣州 510006)

智能電網(wǎng)中異構(gòu)通信網(wǎng)絡(luò)的自適應(yīng)速率控制

郭起霖1,2, 鐘偉鋒2， 張浩川2*， 張 涵3， 余 榮2

(1. 中國(guó)能源建設(shè)集團(tuán)廣東省電力設(shè)計(jì)研究院有限公司, 廣州 510663； 2. 廣東工業(yè)大學(xué)自動(dòng)化學(xué)院, 廣州 510006；3. 華南師范大學(xué)物理與電信工程學(xué)院, 廣州 510006)

為了提高智能電網(wǎng)中家域網(wǎng)的傳輸控制協(xié)議(TCP)性能，提出一種自適應(yīng)速率控制方法，利用無(wú)線局域網(wǎng)(WLAN)技術(shù)的通信機(jī)制提高電力線通信(PLC)的鏈路利用率，采用啟發(fā)式動(dòng)態(tài)規(guī)劃，通過(guò)神經(jīng)網(wǎng)絡(luò)訓(xùn)練估計(jì)瓶頸鏈路的容量，根據(jù)應(yīng)用的長(zhǎng)期服務(wù)質(zhì)量調(diào)整TCP數(shù)據(jù)包的發(fā)送速率. 仿真結(jié)果表明，該方法可以有效濾除PLC信道中沖擊噪聲的負(fù)面影響，其性能優(yōu)于現(xiàn)有TCP的擁塞控制.

智能電網(wǎng); 電力線通信; 無(wú)線局域網(wǎng); 傳輸控制協(xié)議; 速率控制; 啟發(fā)式動(dòng)態(tài)規(guī)劃

Keywords： smart grid; power line communications; wireless local area network; transmission control protocol; rate control; heuristic dynamic programming

在智能電網(wǎng)的分層通信架構(gòu)[1]中，家域網(wǎng)(Home Area Networks, HANs)能夠提供能量服務(wù)，包括家庭能量管理和需求響應(yīng)等，同時(shí)也提供數(shù)據(jù)服務(wù)，包括寬帶數(shù)字電視、多媒體共享和因特網(wǎng)訪問(wèn)等． 家域網(wǎng)需要高效的組網(wǎng)技術(shù)來(lái)支持設(shè)備連接的便利性和龐大的通信量． 家域網(wǎng)中主要的無(wú)線組網(wǎng)技術(shù)有IEEE 802.11無(wú)線局域網(wǎng)(Wireless Local Area Networks,WLAN)[2]和IEEE 802.15無(wú)線個(gè)人域網(wǎng)(Wireless Personal Area Networks,WPAN)[3]． 而電力線通信(Power Line Communications,PLC)技術(shù)則是家域網(wǎng)中典型的有線組網(wǎng)技術(shù)． PLC技術(shù)利用電力線作為媒介進(jìn)行數(shù)據(jù)傳輸，在智能電網(wǎng)中有巨大的應(yīng)用潛力[4]． 而PLC與WLAN結(jié)合則是一種混合的組網(wǎng)方案[5-6]，可增大通信覆蓋范圍，便于移動(dòng)設(shè)備接入．

無(wú)論對(duì)于無(wú)線或有線網(wǎng)絡(luò)，絕大部分應(yīng)用都在傳輸層采用傳輸控制協(xié)議(Transmission Control Protocol, TCP)． 現(xiàn)有的TCP能提供可靠的端到端的通信，但其性能依賴于無(wú)差錯(cuò)信道． 然而電力線和無(wú)線信道都屬于差錯(cuò)信道． 特別是電力線，其信道的噪聲具有頻率選擇性和沖擊性的特點(diǎn)，不同于無(wú)線信道的高斯白噪聲[4]． 所以，TCP數(shù)據(jù)傳輸在異構(gòu)的PLC/WLAN家域網(wǎng)中，會(huì)出現(xiàn)較差的通信質(zhì)量，如吞吐量低、延時(shí)高等．

針對(duì)在異構(gòu)的PLC/WLAN家域網(wǎng)中傳輸TCP數(shù)據(jù)的問(wèn)題，本文提出一種自適應(yīng)速率控制方法． 該控制方法利用WLAN的通信機(jī)制，實(shí)現(xiàn)基于啟發(fā)式動(dòng)態(tài)規(guī)劃的集中式控制，可以提高PLC的鏈路利用率，同時(shí)有效濾除PLC信道中沖擊噪聲的負(fù)面影響．

1 系統(tǒng)模型

家域網(wǎng)的用戶包括用電負(fù)載和移動(dòng)設(shè)備(圖1)，用電負(fù)載通過(guò)電力線獲得電能和傳輸數(shù)據(jù)． 這里考慮用電負(fù)載采用用戶數(shù)據(jù)報(bào)協(xié)議(User Datagram Protocol, UDP)，無(wú)擁塞控制． 移動(dòng)設(shè)備通過(guò)接入點(diǎn)(Access Point, AP)訪問(wèn)因特網(wǎng)，采用TCP協(xié)議． PLC和WLAN的信道質(zhì)量都是時(shí)變且易出差錯(cuò)． 無(wú)線信道的帶寬隨時(shí)間抖動(dòng)． 電力線信道的噪聲包括背景噪聲和沖擊噪聲． 背景噪聲與工作中的用電負(fù)載有關(guān)． 文獻(xiàn)[7]用排隊(duì)模型來(lái)描述噪聲源的個(gè)數(shù)． 用電負(fù)載的開關(guān)會(huì)改變PLC網(wǎng)絡(luò)拓?fù)洳a(chǎn)生沖擊噪聲． 沖擊噪聲幅值很大，足以抹去數(shù)據(jù)塊． 文獻(xiàn)[8]用馬爾可夫鏈來(lái)描述沖擊噪聲的到達(dá)． 因?yàn)镻LC信道質(zhì)量較差，PLC鏈路是瓶頸鏈路．

圖1 異構(gòu)PLC/WLAN家域網(wǎng)

移動(dòng)設(shè)備作為TCP數(shù)據(jù)的發(fā)送端，速率控制器在AP上實(shí)現(xiàn)，根據(jù)應(yīng)用的長(zhǎng)期服務(wù)質(zhì)量(Quality of Service, QOS)，控制每個(gè)TCP流的發(fā)送速率． 所以，發(fā)送端需要上報(bào)其QOS水平給AP，然后AP計(jì)算各個(gè)TCP流的速率． 發(fā)送端根據(jù)AP計(jì)算得到的速率和實(shí)際需求調(diào)整自身的實(shí)際發(fā)送速率． 此過(guò)程可在WLAN中實(shí)現(xiàn)． 用戶發(fā)送數(shù)據(jù)給AP前，必須先發(fā)送RTS包． 然后AP回復(fù)1個(gè)CTS包，允許或禁止用戶的數(shù)據(jù)發(fā)送． 因此，通過(guò)修改RTS和CTS，可以實(shí)現(xiàn)速率控制所需要的信息交換[9]． 基于發(fā)送端的反饋信息，控制器能通過(guò)在線學(xué)習(xí)估計(jì)瓶頸鏈路的容量，從而控制發(fā)送速率最大化鏈路利用率，提高應(yīng)用QOS．

2 問(wèn)題描述

2.1 網(wǎng)絡(luò)狀態(tài)

整個(gè)速率控制過(guò)程劃分為一連串階段，記為k=1,2,…． 階段數(shù)有無(wú)限個(gè)． 每個(gè)階段里有T個(gè)時(shí)隙． 每個(gè)時(shí)隙記為t(t=1,2,…,T)． 1個(gè)時(shí)隙的長(zhǎng)度是1個(gè)循環(huán)時(shí)間(Round Trip Time, RTT)． 發(fā)送端記為n(n=1,2,…,N)． 發(fā)送端有應(yīng)用程序產(chǎn)生并發(fā)送TCP數(shù)據(jù)包． 用Rn(k)和Dn(k)表示應(yīng)用的參數(shù)．Rn(k)表示在階段k發(fā)送端n的數(shù)據(jù)生成速率．Dn(k)表示數(shù)據(jù)的延時(shí)期限． 在發(fā)送端，數(shù)據(jù)產(chǎn)生后在緩沖區(qū)內(nèi)排隊(duì)． 如果有些數(shù)據(jù)包的排隊(duì)時(shí)間超過(guò)了延時(shí)期限，那么這些數(shù)據(jù)包就被認(rèn)為超時(shí)并丟棄． 超時(shí)數(shù)據(jù)包數(shù)量和丟包率作為應(yīng)用QOS的度量．

(1)

(2)

(3)

(4)

(5)

2.2 控制決策

每個(gè)發(fā)送端都會(huì)有一個(gè)當(dāng)前的發(fā)送速率． 通過(guò)速率控制，在下一階段發(fā)送端n的發(fā)送速率為

(6)

其中，Δrn(k)是速率控制器對(duì)發(fā)送端n的控制量． 基于網(wǎng)絡(luò)狀態(tài)x(k)，速率控制器給出一個(gè)控制決策r(k)最小化系統(tǒng)代價(jià)． 定義階段k的控制決策為

r(k)={Δrn(k)|n=1,…,N}.

(7)

發(fā)送端的實(shí)際發(fā)送速率取決于分配得到的速率和當(dāng)前的需求，即

(8)

2.3 代價(jià)函數(shù)

定義代價(jià)函數(shù)與應(yīng)用的QOS水平有關(guān)，表示為

(9)

此代價(jià)函數(shù)表示為階段k應(yīng)用的QOS下降量． 定義系統(tǒng)代價(jià)為整個(gè)控制過(guò)程中應(yīng)用的長(zhǎng)期QOS下降量

(10)

其中，γ(0≤γ≤1)為折扣因子． 當(dāng)γ=0時(shí)，只考慮當(dāng)前階段的代價(jià)；當(dāng)γ=1時(shí)，所有未來(lái)階段的代價(jià)都同等重要． 速率控制器的目標(biāo)就是計(jì)算得到一個(gè)優(yōu)化的控制策略{r*(k),r*(k+1),…}，從而得到整個(gè)控制過(guò)程中最小的系統(tǒng)代價(jià)J*(k)．

3 啟發(fā)式動(dòng)態(tài)規(guī)劃

根據(jù)Bellman最優(yōu)性原理，階段k的最優(yōu)系統(tǒng)代價(jià)表示為

(11)

階段k的最優(yōu)控制決策表示為

r*(k)=argmin[C(k)+γJ*(k+1)]，

(12)

通過(guò)最小化緊接下來(lái)的系統(tǒng)代價(jià)，從而最小化所有階段代價(jià)的總和． 但由于龐大的狀態(tài)空間和決策階段數(shù)量的增多，采用傳統(tǒng)的動(dòng)態(tài)規(guī)劃會(huì)造成維數(shù)災(zāi)難，計(jì)算機(jī)無(wú)法承受如此巨大的計(jì)算量． 故采用啟發(fā)式動(dòng)態(tài)規(guī)劃(Heuristic Dynamic Programming, HDP)來(lái)估計(jì)未來(lái)長(zhǎng)期的系統(tǒng)代價(jià)． 故第k階段的控制決策表示為

(13)

3.1 HDP結(jié)構(gòu)

HDP結(jié)構(gòu)是自適應(yīng)動(dòng)態(tài)規(guī)劃中一種常見(jiàn)基本結(jié)構(gòu)[10]，包含執(zhí)行網(wǎng)絡(luò)、模型網(wǎng)絡(luò)和評(píng)價(jià)網(wǎng)絡(luò)(圖2)． 采用BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)各個(gè)網(wǎng)絡(luò)的功能．

圖2 啟發(fā)式動(dòng)態(tài)規(guī)劃結(jié)構(gòu)

3.2 執(zhí)行網(wǎng)絡(luò)

(14)

Wa(k+1)=Wa(k)+ΔWa(k)，

(15)

其中，la(k)是執(zhí)行網(wǎng)絡(luò)的學(xué)習(xí)率，Wa(k)是執(zhí)行網(wǎng)絡(luò)的權(quán)重參數(shù)． 每個(gè)階段，執(zhí)行網(wǎng)絡(luò)以最小化評(píng)價(jià)網(wǎng)絡(luò)的輸出為目標(biāo)，更新一次網(wǎng)絡(luò)權(quán)重． 執(zhí)行網(wǎng)絡(luò)與評(píng)價(jià)網(wǎng)絡(luò)一起進(jìn)行在線網(wǎng)絡(luò)訓(xùn)練．

3.3 模型網(wǎng)絡(luò)

(16)

(17)

其中，x(k+1)是模型網(wǎng)絡(luò)的期望輸出值． 所以模型網(wǎng)絡(luò)的權(quán)重更新公式為

(18)

Wm(k+1)=Wm(k)+ΔWm(k)，

(19)

其中，lm(k)和Wm(k)分別是模型網(wǎng)絡(luò)的學(xué)習(xí)率和權(quán)重參數(shù)． 為保證HDP的控制性能，在進(jìn)行速率控制之前，先完成模型網(wǎng)絡(luò)的離線訓(xùn)練．

3.4 評(píng)價(jià)網(wǎng)絡(luò)

(20)

當(dāng)Ec(k)=0時(shí)，有

(21)

由式(21)得到了式(10)，即實(shí)際的系統(tǒng)代價(jià)． 因此，最小化式(20)，可在下一個(gè)時(shí)段得到近似的系統(tǒng)代價(jià)． 所以評(píng)價(jià)網(wǎng)絡(luò)的權(quán)重更新公式為

(22)

Wc(k+1)=Wc(k)+ΔWc(k)，

(23)

其中，lc(k)和Wc(k)分別是評(píng)價(jià)網(wǎng)絡(luò)的學(xué)習(xí)率和權(quán)重參數(shù)． 通過(guò)評(píng)價(jià)網(wǎng)絡(luò)訓(xùn)練，可以估計(jì)出速率控制過(guò)程中應(yīng)用的長(zhǎng)期QOS下降量．

4 仿真與分析

4.1 仿真設(shè)定

考慮圖1的PLC/WLAN家域網(wǎng)結(jié)構(gòu)． 有10個(gè)用電負(fù)載，發(fā)送UDP數(shù)據(jù)包． 有10個(gè)移動(dòng)設(shè)備，發(fā)送TCP數(shù)據(jù)包． 每個(gè)UDP流的發(fā)送速率恒定，為25 kB/s，且不受速率控制． WLAN鏈路最大帶寬為30 MB/s． PLC鏈路最大寬帶為12 MB/s． 鏈路實(shí)際寬帶受噪聲影響． 1個(gè)TCP數(shù)據(jù)包大小為1 kB． 數(shù)據(jù)包排隊(duì)延時(shí)期限為10 ms． 仿真中TCP發(fā)送端有不同數(shù)據(jù)生成速率． 1個(gè)階段為100 ms． 對(duì)于PLC鏈路噪聲，有20個(gè)沖擊噪聲源，用排隊(duì)模型[5]描述其到達(dá)率． 沖擊噪聲源的打開時(shí)間是隨機(jī)的，用泊松過(guò)程描述沖擊噪聲的到達(dá)，平均到達(dá)率為每階段1個(gè)，1次仿真實(shí)驗(yàn)為10 s．

4.2 收斂性能

首先給出HDP方法的收斂性能． 執(zhí)行網(wǎng)絡(luò)和評(píng)價(jià)網(wǎng)絡(luò)的學(xué)習(xí)率分別為la(t)=0.02和lc(t)=0.001． 折扣因子為γ=0.9． 評(píng)價(jià)網(wǎng)絡(luò)的輸出曲線如圖3所示． 可見(jiàn)，在速率控制過(guò)程中，系統(tǒng)代價(jià)的估計(jì)值收斂至最小值水平． 說(shuō)明自適應(yīng)速率控制方法能通過(guò)在線學(xué)習(xí)，得到近似最優(yōu)的速率控制策略，最小化應(yīng)用長(zhǎng)期QOS下降量． 圖3中曲線的波動(dòng)由鏈路中的噪聲所導(dǎo)致．

圖3 評(píng)價(jià)網(wǎng)絡(luò)的輸出曲線

4.3 速率控制性能

不同場(chǎng)景下采用不同控制方法，將自適應(yīng)速率控制與現(xiàn)有的TCP擁塞控制進(jìn)行比較(圖4)． 設(shè)有3個(gè)仿真場(chǎng)景． 場(chǎng)景1：設(shè)PLC和WLAN都是無(wú)差錯(cuò)信道，在圖4中用點(diǎn)線表示． 場(chǎng)景2：PLC信道存在背景噪聲，同時(shí)也考慮WLAN鏈路帶寬的抖動(dòng)，用虛線表示． 場(chǎng)景3：在場(chǎng)景2的基礎(chǔ)上，在PLC信道中加入了沖擊噪聲，用實(shí)線表示． 圖4橫坐標(biāo)是發(fā)送端數(shù)據(jù)生成并進(jìn)入緩沖區(qū)的速率，稱為源速率．

基于HDP的自適應(yīng)速率控制比傳統(tǒng)TCP獲得更高的鏈路吞吐量(圖4A)． 因?yàn)樵谧赃m應(yīng)速率控制中，可以通過(guò)神經(jīng)網(wǎng)絡(luò)訓(xùn)練來(lái)估計(jì)瓶頸鏈路的容量． 控制器可控制發(fā)送速率匹配瓶頸鏈路容量． 而傳統(tǒng)的TCP擁塞控制采用AIMD算法，使發(fā)送速率波動(dòng)而減少了吞吐量． 在場(chǎng)景2，背景噪聲減少了鏈路的平均帶寬，所以也減小了鏈路的吞吐量． 在場(chǎng)景3，沖擊噪聲會(huì)抹去數(shù)據(jù)塊，導(dǎo)致數(shù)據(jù)包的重傳． 所以有效的吞吐量會(huì)進(jìn)一步減?。?/p>

圖4 不同控制方法下的速率控制性能

因?yàn)樽赃m應(yīng)速率控制能獲得更高的吞吐量，所以其對(duì)應(yīng)的數(shù)據(jù)包延時(shí)和超時(shí)數(shù)據(jù)包數(shù)量都有所下降(圖4B、C)． 值得注意的是，基于HDP的自適應(yīng)速率控制在場(chǎng)景2與場(chǎng)景3下的性能幾乎一樣． 而傳統(tǒng)的TCP擁塞控制在場(chǎng)景3的性能明顯比場(chǎng)景2的更差． 沖擊噪聲破壞數(shù)據(jù)塊，導(dǎo)致數(shù)據(jù)包重傳． 在TCP擁塞控制中，丟包的原因會(huì)被認(rèn)為是網(wǎng)絡(luò)擁塞，并降低發(fā)送速率以避免擁塞． 然而，自適應(yīng)速率控制方法通過(guò)神經(jīng)網(wǎng)絡(luò)訓(xùn)練估計(jì)瓶頸鏈路的容量，能夠辨別沖擊噪聲所造成的丟包． 所以丟包后只會(huì)重傳，不會(huì)減低發(fā)送速率． 故自適應(yīng)速率控制方法有效地過(guò)濾了PLC信道中沖擊噪聲的影響．

5 結(jié)論

為了提高PLC/WLAN異構(gòu)家域網(wǎng)中TCP傳輸性能，提出一種自適應(yīng)速率控制方法． 該控制方法利用WLAN的通信機(jī)制提高PLC的鏈路利用率，采用啟發(fā)式動(dòng)態(tài)規(guī)劃，通過(guò)神經(jīng)網(wǎng)絡(luò)訓(xùn)練估計(jì)瓶頸鏈路的容量，根據(jù)應(yīng)用的長(zhǎng)期QOS調(diào)整發(fā)送速率． 仿真結(jié)果表明，該方法可以有效濾除PLC信道中沖擊噪聲的負(fù)面影響，提高應(yīng)用的QOS，其性能優(yōu)于現(xiàn)有的TCP擁塞控制．

[1] YU R,ZHANG Y,GJESSING S,et al. Cognitive radio based hierarchical communications infrastructure for smart grid[J]. IEEE Network,2011,25(5):6-14.

[2] IEEE. 802.11 working group for wireless local Area networks[CP/OL]. [2015-07-01]. http://grouper.ieee.org/groups/802/11.

[3] IEEE. 802.15 working group for wireless personal area networks[CP/OL]. [2015-07-01]. http://grouper.ieee.org/groups/802/15.

[4] PAVLIDOU N,VINCK A J H,YAZDANIJ,et al. Power line communications:state of the art and future trends[J]. IEEE Communications Magazine,2003,41(4):34-40.

[5] MUNIZ A,TSUKAMOTO K,KAWAHARA K,et al. An effectiveness evaluation of PLC/WLAN cooperative transmission scheme under practical network environment[C]//International Conference on Network-Based Information Systems. Salerno:IEEE,2014:438-443.

[6] MUNIZ A,TSUKAMOTO K,KAWAHARAK,et al. Cooperative transmission scheme between PLC and WLAN to improve TCP performance[C]//2013 IEEE Pacific Rim Conference on Communications,Computers and Signal Processing (PACRIM). Victoria:IEEE,2013:142-147.

[7] YOON S G,BAHK S. Adaptive rate control and contention window-size adjustment for power-line communication[J]. IEEE Transactions on Power Delivery,2011,26(2):809-816.

[8] ZIMMERMANN M,DOSTERT K. Analysis and modeling of impulsive noise in broad-band powerline communications[J]. IEEE Transactions on Electromagnetic Compatibility,2002,44(1):249-258.

[9] SHI K,SHU Y,FENGJ. A MAC layer congestion control mechanism in IEEE 802.11 WLANs[C]// Fourth International Conference on Communications and Networking in China (ChinaCOM 2009). Xi’an:IEEE,2009:1-5.

[10] WANG F Y,ZHANG H,LIU D. Adaptive dynamic programming:an introduction[J]. IEEE Computational Intelligence Magazine,2009,4(2):39-47.

Adaptive Rate Control in Smart Grid Heterogeneous Communications Network

GUO Qilin1,2, ZHONG Weifeng2, ZHANG Haochuan2*, ZHANG Han3, YU Rong2

(1. China Energy Engineering Group Guangdong Electric Power Design Institute Co., Ltd. Guangzhou 510663, China; 2. Faculty of Automation, Guangdong University of Technology, Guangzhou 510006, China; 3. School of Physics & Telecommunications Engineering, South China Normal University, Guangzhou 510006, China)

An adaptive rate control is proposed to improve Transmission Control Protocol (TCP) performance in the Home Area Networks (HANs) in smart grid. The proposed method exploits the communications mechanism of Wireless Local Area Network (WLAN) to improve the Power Line Communications (PLC) link utilization. The Heuristic Dynamic Programming (HDP) technique is employed to obtain the optimal rate control policy. The bottleneck link capacity is estimated by neural network training. The sending rate of TCP data packet is adapted according to the long-term quality of service (QOS) of applications. Simulation results illustrate that the proposed method effectively filters out the negative impact from the impulse noise in PLC channel and outperforms the existing TCP.

2015-12-22 《華南師范大學(xué)學(xué)報(bào)(自然科學(xué)版)》網(wǎng)址：http://journal.scnu.edu.cn/n

國(guó)家自然科學(xué)基金項(xiàng)目(61501127,61422201,61370159，U1201253)；廣東省自然科學(xué)基金項(xiàng)目(2016A030313705,2014A030310347)；廣東省應(yīng)用型科技研發(fā)專項(xiàng)(2015B010129001);廣東省優(yōu)秀青年教師培養(yǎng)計(jì)劃項(xiàng)目(YQ2013057); 廣州市珠江科技新星專項(xiàng)項(xiàng)目(2014J2200097)

*通訊作者:張浩川，副教授，Email:haochuan.zhang@qq.com.

TN915.853

A

1000-5463(2017)05-0026-05

【中文責(zé)編：譚春林 英文審校：李海航】