田世坤,唐勝達(dá)

(廣西師范大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，廣西 桂林 541006)

無線網(wǎng)絡(luò)發(fā)展的主要方向是寬帶數(shù)據(jù)通信和數(shù)據(jù)實(shí)時(shí)交互，互聯(lián)網(wǎng)和蜂窩通信的增加，對(duì)高速通信鏈接的需求也日益增多[1-2]。網(wǎng)絡(luò)信息時(shí)代的高速發(fā)展，導(dǎo)致網(wǎng)絡(luò)信息種類越來越來復(fù)雜，網(wǎng)絡(luò)安全性挑戰(zhàn)亦不容樂觀[3]。數(shù)據(jù)交互的爆炸式增長(zhǎng)為基站的宏觀調(diào)控帶來巨大挑戰(zhàn)。為解決通信調(diào)度相關(guān)問題，學(xué)者們做了很多努力，相關(guān)可用技術(shù)包括數(shù)字用戶線路轉(zhuǎn)換(DSL)[4]、點(diǎn)對(duì)點(diǎn)(P2P)無線通信[5-6]、電纜混合系統(tǒng)[7-8]以及衛(wèi)星鏈路[9-10]等。由于低成本、易實(shí)現(xiàn)、高安全性，P2P通信已變得越來越普及。

P2P無線通信使得網(wǎng)絡(luò)上的溝通、共享和交互變得更容易、更直接。在P2P無線通信中，利用信道狀態(tài)信息(CSI)對(duì)網(wǎng)絡(luò)進(jìn)行跨層優(yōu)化，并提高信道利用率是無線通信優(yōu)化的一個(gè)重要問題。近年來，電信工程中基于P2P無線通信網(wǎng)絡(luò)的研究有很大發(fā)展,例如，針對(duì)長(zhǎng)距離P2P鏈路，文獻(xiàn)[11]提出一種滿足遠(yuǎn)程點(diǎn)對(duì)點(diǎn)密集波分多路復(fù)用(DWDM)鏈路需求的網(wǎng)絡(luò)設(shè)計(jì)方法，降低P2P無線通信的錯(cuò)誤率和Q-Factor；在技術(shù)應(yīng)用上，文獻(xiàn)[12]提出一種基于CSI的物聯(lián)網(wǎng)設(shè)備的身份認(rèn)證機(jī)制，在衰落信道下考慮數(shù)據(jù)的實(shí)時(shí)傳輸；文獻(xiàn)[13]研究在CSI無法觀測(cè)時(shí)的P2P無線傳輸問題，將調(diào)度模型建模為部分可觀測(cè)的MDP(POMDP)進(jìn)行研究；文獻(xiàn)[14]考慮D2D通信調(diào)度問題，研究在隨機(jī)數(shù)據(jù)包到達(dá)、數(shù)據(jù)包丟失和異構(gòu)截止日期等制約下的實(shí)時(shí)通信策略；基于有限狀態(tài)的Markov信道模型及ARQ重傳協(xié)議,文獻(xiàn)[15]考慮數(shù)據(jù)包從用戶到基站的實(shí)時(shí)傳輸策略，給出了傳輸策略的閾值結(jié)構(gòu)。

本文提出衰減信道下P2P實(shí)時(shí)通信模型，與上述文獻(xiàn)相比，本文的主要貢獻(xiàn)如下：1)提出P2P實(shí)時(shí)通信模型，具體地，在系統(tǒng)模型中加入CSI，彌補(bǔ)了文獻(xiàn)[14]對(duì)于CSI相關(guān)影響的忽略?？紤]CSI對(duì)于P2P實(shí)時(shí)通信系統(tǒng)的影響，將無線傳輸系統(tǒng)建模為一個(gè)有限狀態(tài)的Markov決策過程(FSMDP)。2)引入拉格朗日數(shù)乘因子，基于RBP理論證明無線調(diào)度問題的可索引性，為設(shè)計(jì)衰減信道下P2P基于Whittle索引的實(shí)時(shí)傳輸策略提供理論支持。3)基于衰減信道下P2P實(shí)時(shí)通信系統(tǒng)，給出P2P的實(shí)時(shí)通信Whittle索引傳輸策略的封閉表達(dá)式，推廣了文獻(xiàn)[15]最優(yōu)傳輸調(diào)度策略閾值結(jié)構(gòu)的閾值表達(dá)式。

本文其余部分結(jié)構(gòu)如下：第1章描述實(shí)時(shí)P2P通信模型；第2章構(gòu)建調(diào)度問題的MDP模型；第3章證明P2P實(shí)時(shí)通信系統(tǒng)的可索引性，并給出Whittle索引封閉解；第4章給出算法分析以及仿真結(jié)果；第5章是結(jié)語。

1 模型和問題

本文主要考慮衰落信道下P2P實(shí)時(shí)通信的傳輸調(diào)度問題,下面給出P2P實(shí)時(shí)通信模型。

1.1 模型

考慮離散時(shí)間的通信系統(tǒng)，將時(shí)間劃分為大小相等的時(shí)隙，將時(shí)隙集合記為H={0，1，2，…}。由于陰影、多路徑傳播、多用戶干擾和移動(dòng)性等影響，無線通信信道通常是相關(guān)衰落的，類似文獻(xiàn)[16-19]，設(shè)衰減信道模型為X={Xt,t∈H}，將衰減信道狀態(tài)分為M個(gè)不重疊區(qū)間，每個(gè)區(qū)間都映射為一個(gè)信道狀態(tài)，記信道狀態(tài)空間為Γ={γ1,γ2,…,γM}，其中M<+∞。假設(shè)每個(gè)時(shí)隙間信道狀態(tài)不發(fā)生改變，不同時(shí)隙間信道狀態(tài)可以發(fā)生變化。設(shè)信道狀態(tài)轉(zhuǎn)移概率矩陣為Pc=[pc(γn|γm)]M×M，其中，pc(γn|γm)表示信道狀態(tài)從γm轉(zhuǎn)移到γn的概率，即

pc(γn|γm)=P(Xt+1=γn|Xt=γm),γm,γn∈Γ。

稱X為Markov衰減信道模型,其中，轉(zhuǎn)移概率矩陣可通過觀測(cè)擬合得到。

本文考慮P2P實(shí)時(shí)通信，系統(tǒng)將需要傳輸?shù)臄?shù)據(jù)存儲(chǔ)在緩存器中，由發(fā)射器在嚴(yán)格時(shí)延要求下發(fā)送給接收端。在最大容忍時(shí)延內(nèi)，發(fā)射器必須完成數(shù)據(jù)傳輸，否則將強(qiáng)制結(jié)束該數(shù)據(jù)傳輸任務(wù)，即丟包。設(shè)發(fā)射端的傳輸任務(wù)(數(shù)據(jù))大小為L(zhǎng)，最大容忍時(shí)延為N, 即發(fā)射端需要在N個(gè)時(shí)隙內(nèi)完成L個(gè)數(shù)據(jù)包的傳輸，超過時(shí)延的數(shù)據(jù)包因延時(shí)而被丟失。本文假定傳輸任務(wù)中的數(shù)據(jù)包大小給定，且每個(gè)時(shí)隙內(nèi)至多只能發(fā)射一個(gè)數(shù)據(jù)包。

如圖1所示，在每個(gè)時(shí)隙內(nèi)，系統(tǒng)根據(jù)當(dāng)前狀態(tài)確定是否傳輸數(shù)據(jù)包，當(dāng)系統(tǒng)決定傳輸數(shù)據(jù)包時(shí)，發(fā)射端則將數(shù)據(jù)包發(fā)送給用戶。數(shù)據(jù)包傳輸受信道狀態(tài)影響，設(shè)p(γm)表示信道狀態(tài)為γm時(shí)數(shù)據(jù)包傳輸成功的概率，若傳輸失敗，數(shù)據(jù)包可允許重傳。當(dāng)N個(gè)傳輸時(shí)隙結(jié)束時(shí)，仍在緩沖區(qū)中等待傳輸?shù)臄?shù)據(jù)包被丟棄，同時(shí)，新的傳輸任務(wù)以一定概率到達(dá)發(fā)射端并開始傳輸。設(shè)Q為新的傳輸任務(wù)到達(dá)發(fā)射端的概率，不失一般性，設(shè)每個(gè)到達(dá)的傳輸任務(wù)都具有相同的大小和時(shí)延。

圖1 P2P傳輸模型Fig. 1 P2P transmission model

在時(shí)刻t，記當(dāng)前正在傳輸?shù)娜蝿?wù)中剩余數(shù)據(jù)包個(gè)數(shù)為Bt∈{0,1,…,L}，剩余傳輸時(shí)間為Tt∈{0,1,…,N}，記st=(Xt,Tt,Bt)為系統(tǒng)t時(shí)刻的狀態(tài)，稱為衰減信道下傳輸任務(wù)隨機(jī)到達(dá)的實(shí)時(shí)P2P通信模型，st為系統(tǒng)在t∈H時(shí)刻的狀態(tài)。本文P2P通信模型是對(duì)文獻(xiàn)[14]中模型的推廣。

S={st,t∈H}

(1)

1.2 問題描述

設(shè)at表示在時(shí)刻t系統(tǒng)采取的動(dòng)作，具體地，at=1表示在時(shí)刻t發(fā)射器傳輸數(shù)據(jù)包，at=0表示在時(shí)刻t發(fā)射器不傳輸數(shù)據(jù)包。記A={0,1}，稱A為系統(tǒng)的動(dòng)作空間。設(shè)每個(gè)數(shù)據(jù)包傳輸成功時(shí)系統(tǒng)可獲得收益r>0，否則收益為0。設(shè)時(shí)刻t信道狀態(tài)為Xt=γm時(shí)的傳輸成本為c(γm)。對(duì)P2P通信模型(1)，設(shè)g={at(st)|at(st)∈A,st∈S,t∈H}為系統(tǒng)采取的傳輸策略，用R(st,at)表示在時(shí)刻t系統(tǒng)獲得的收益，則系統(tǒng)在策略g下的貼現(xiàn)總期望收益為

Vg(st)=

(2)

式中：β∈(0,1)表示貼現(xiàn)因子；[·|st]表示初始狀態(tài)為st時(shí)的條件期望。

(3a)

BtI{Tt-=0}=0，

(3b)

則稱g*為系統(tǒng)的最優(yōu)傳輸策略，其中，I{·}表示示性函數(shù)。約束條件(3b)表示在傳輸時(shí)間截止時(shí)刻，傳輸任務(wù)中未傳數(shù)據(jù)包個(gè)數(shù)為0，即在傳輸截止時(shí)刻，系統(tǒng)需完成所有數(shù)據(jù)包的傳輸。

本文主要目標(biāo)是求最優(yōu)傳輸策略g*，使得系統(tǒng)在滿足時(shí)延約束條件(3b)下，貼現(xiàn)總期望收益(2)最大。

2 調(diào)度問題的MDP框架

本章將P2P通信的傳輸調(diào)度問題在MDP構(gòu)架內(nèi)重構(gòu)，同時(shí)基于MDP理論給出相應(yīng)最優(yōu)傳輸策略和最大貼現(xiàn)總期望收益算法。

為了在MDP框架下討論P(yáng)2P通信問題，首先要將帶約束條件(3b)的傳輸調(diào)度問題轉(zhuǎn)換成無約束條件的Markov決策問題。本文采用文獻(xiàn)[20]的思想，引入懲罰函數(shù)，當(dāng)任務(wù)在給定傳輸時(shí)間內(nèi)完成時(shí)，設(shè)懲罰函數(shù)為0，而當(dāng)任務(wù)沒有在設(shè)定的時(shí)限內(nèi)完成時(shí)，則系統(tǒng)會(huì)得到一個(gè)很大懲罰(負(fù)收益)。為了獲得最大收益，系統(tǒng)將規(guī)避那些無法在給定時(shí)間內(nèi)完成傳輸任務(wù)的傳輸策略，從而保證時(shí)延約束條件(3b) 成立?；谶@一思想，本文分別從狀態(tài)空間、動(dòng)作空間、轉(zhuǎn)移概率及收益函數(shù)來重構(gòu)MDP。

① 狀態(tài)空間： S={st=(Xt,Tt,Bt),t∈H}。

② 動(dòng)作空間： A={0,1}。

③ 轉(zhuǎn)移概率： 記P(st+1|st,at)表示采用動(dòng)作at時(shí)，系統(tǒng)狀態(tài)從st轉(zhuǎn)移到st+1的概率。設(shè)當(dāng)前系統(tǒng)狀態(tài)st=(Xt,Tt,Bt)，其中Xt=γm。考慮如下3種情形：

a)當(dāng)動(dòng)作at=1，Tt>1時(shí)，設(shè)Xt+1=γn,?γn∈Γ，系統(tǒng)狀態(tài)轉(zhuǎn)移到st+1=(Xt+1,Tt-1,(Bt-at)+)的概率為pc(γn|γm)p(γm)，即數(shù)據(jù)包傳輸成功的概率，其中，(x)+=max{0,x}；系統(tǒng)狀態(tài)轉(zhuǎn)移到st+1=(Xt+1,Tt-1,Bt)的概率為pc(γn|γm)(1-p(γm))，即數(shù)據(jù)包傳輸不成功的概率。

b)當(dāng)動(dòng)作at=0，Tt>1時(shí)，則狀態(tài)以概率pc(γn|γm)轉(zhuǎn)移到st+1=(Xt+1,Tt-1,Bt)。

c)當(dāng)Tt<1時(shí)，數(shù)據(jù)包不論傳輸是否完成都會(huì)被丟包，即系統(tǒng)以概率Q進(jìn)入狀態(tài)(N,L)，以(1-Q)進(jìn)入狀態(tài)(0,0)。

④ 收益函數(shù)：引入懲罰函數(shù)f(b)，其中b為截止時(shí)刻剩余數(shù)據(jù)包的個(gè)數(shù)，當(dāng)b=0時(shí)，令f(0)=0，當(dāng)b≠0時(shí)，令f(b)是b的遞增凹函數(shù)，即剩余數(shù)據(jù)包越多，產(chǎn)生的懲罰越大，則系統(tǒng)收益Rt(st,at)為

于是，具有約束條件的P2P 通信調(diào)度問題轉(zhuǎn)換成了無約束條件的無限時(shí)間的貼現(xiàn)MDP模型。V(st)滿足如下Bellman方程基于MDP理論可知式(4)存在最優(yōu)平穩(wěn)傳輸策略[21]，利用策略迭代(PI)、值迭代(VI)等算法可求解最優(yōu)策略及最大期望總收益。

(4)

本文研究的P2P實(shí)時(shí)無線傳輸模型的狀態(tài)空間為|S|=|Γ||N||L|，傳輸任務(wù)的增大，或傳輸任務(wù)最大容忍時(shí)延的增大，將導(dǎo)致系統(tǒng)狀態(tài)空間呈指數(shù)增長(zhǎng)，從而導(dǎo)致求解過程中需要極大計(jì)算力和計(jì)算時(shí)間，這意味著MDP模型遭受了維數(shù)災(zāi)難。顯然在狀態(tài)空間很大的模型中，值迭代或策略迭代算法的計(jì)算難度很大，求解最優(yōu)策略的成本高。

針對(duì)上述問題，本文引入拉格朗日數(shù)乘因子，將MDP模型轉(zhuǎn)化為RBP模型，并證明RBP模型的可索引性，進(jìn)而得出P2P實(shí)時(shí)通信系統(tǒng)的Whittle索引的封閉表達(dá)式，并給出一種時(shí)間復(fù)雜度低的基于Whittle索引的調(diào)度算法?；赪hittle索引的調(diào)度算法可以在極少計(jì)算成本下得到P2P實(shí)時(shí)通信系統(tǒng)的調(diào)度策略。

3 調(diào)度問題的RBP框架

本章基于RBP框架求解近似最優(yōu)傳輸策略。

3.1 基于Whittle索引的RBP框架

記Rw(st,at)=R(st,at)+wI{at=0}，稱Rw為w-補(bǔ)貼收益函數(shù)，w為引入的拉格朗日數(shù)乘因子，可理解為采取動(dòng)作0時(shí)系統(tǒng)得到的額外補(bǔ)貼。

基于w-補(bǔ)貼收益的最大貼現(xiàn)總期望收益函數(shù)Vw(st)可表示為

(5)

為方便表述，給定st∈S ，記

定義2[23]給定狀態(tài)st∈S ，記w*(st)=inf{w|J0(st)≥J1(st)},稱w*(st)是狀態(tài)st的Whittle索引。

定義3[23]若Πw關(guān)于w遞增，即對(duì)于任意w1、w2∈R，當(dāng)w1≤w2時(shí)，有Πw1?Πw2，則稱P2P實(shí)時(shí)通信系統(tǒng)具有可索引性。

3.2 基于Whittle索引的調(diào)度策略

對(duì)任意st=(xt,Tt,Bt)∈S ，令

J(st)=J0(st)-J1(st)。

(6)

顯然，當(dāng)w=-∞時(shí)，J(st)=J(xt,Tt,Bt)=-∞；當(dāng)w=+∞時(shí)，J(st)=+∞。注意到J(st)關(guān)于w的連續(xù)性，則存在w，使得J(st)=0。因此，證明狀態(tài)st的Whittle索引唯一存在性，即證方程(6)零解的唯一存在性。

類似文獻(xiàn)[15]中定理1和定理2的證明，可得如下引理1。引理1描述了w*(st)的單調(diào)性。

引理1若狀態(tài)st=(Xt,Tt,Bt)∈S ，其中，Xt=γm∈Γ，存在Whittle索引w*(st)，則

①w*(st)關(guān)于Tt非增；

②w*(st)關(guān)于Bt非減。

引理2給定狀態(tài)st=(Xt,Tt,Bt)∈S ，其中，Xt=γm∈Γ，則

① 當(dāng)Tt=0時(shí)，狀態(tài)st的Whittle索引存在；

② 當(dāng)Tt≠0,Bt=0時(shí)，狀態(tài)st的Whittle索引存在；

③ 當(dāng)Tt=1時(shí)，狀態(tài)st的Whittle索引存在。

證明先證明①。當(dāng)Tt=0時(shí)，必有Bt=0時(shí)， 此時(shí)

Vw(Xt,0,0)=max{w+βUw,-c(γm)+βUw}，

式中Uw=[QVw(Xt+1,N,L)+(1-Q)Vw(Xt+1,0,0)]。故J(Xt,0,0)=w+c(γm)，從而

w*(Xt,0,0)=-c(γm)。

(7)

再證明②。當(dāng)st=(Xt,k,0)時(shí)，類似①的證明，有

w*(Xt,k,0)=-c(γm)。

(8)

最后證明③。當(dāng)Tt=1時(shí)，分如下2種情況討論：

a)當(dāng)Bt=0時(shí)，同①可得

w*(Xt,1,0)=-c(γm)。

(9)

b)當(dāng)Bt≠0時(shí)，有J(Xt,1,Bt)=w-rp(γm)+c(γm)+p(γm)f(Bt-1)-p(γm)f(Bt),從而

w*(Xt,1,Bt)=rp(γm)-c(γm)-p(γm)f(Bt-1)+p(γm)f(Bt)。

(10)

于是Tt=1時(shí)命題得證。綜上，引理得證。

引理3若狀態(tài)st=(Xt,Tt,Bt)∈S ，Xt=γm∈Γ存在Whittle索引w*(st)，其中，Tt≥2，令

g(st)=Vw(Xt,Tt,Bt+1)-Vw(Xt,Tt,Bt),

則

(11)

證明當(dāng)Bt=0時(shí)，由引理2，命題顯然成立。

當(dāng)Bt≥1時(shí)，有

J(Xt,Tt,Bt)=w-rp(γm)+c(γm)+βp(γm)[g(Xt+1,Tt-1,Bt-1)]。

對(duì)J(xt,Tt,Bt)關(guān)于w求導(dǎo)，有

又因(Xt,Tt,Bt)存在Whittle索引，故引理得證。

下面給出本文的第1個(gè)主要結(jié)論(定理1)。

定理1基于RBP框架的P2P傳輸問題存在Whittle索引。

證明本定理即證任意給定狀態(tài)st=(Xt,Tt,Bt)∈S ，Xt=γm∈Γ，存在Whittle索引w*(st)。下面用數(shù)學(xué)歸納法證明。

由引理2知，當(dāng)Tt=0，1時(shí)，命題成立。

假設(shè)Tt=k時(shí)命題成立，由引理3，有

(12)

下面證明當(dāng)Tt=k+1時(shí)，w*(st)存在。

當(dāng)Bt=0時(shí)，由J(Xt,k+1,0)=w+c(γm)，可得w*(Xt,k+1,0)=-c(γm)。

當(dāng)Bt≥1時(shí)，J(Xt,k+1,Bt)=w-rp(γm)+c(γm)+βp(γm)[g(Xt+1,k,Bt-1)]，由式(12)，得

故當(dāng)Tt=k+1時(shí)，w*(st)存在。綜上，對(duì)于任意st∈S 都存在Whittle索引。命題得證。

下面給出本文的第2個(gè)主要結(jié)論(定理2)，該結(jié)論給出各個(gè)狀態(tài)Whittle索引的封閉表達(dá)式。

定理2系統(tǒng)狀態(tài)st=(Xt,Tt,Bt)∈S 的Whittle索引可表示為

(13)

式中：

同時(shí)，對(duì)?γn∈Γ，有ρ=[p(γn)]，ζ=[c(γn)]。

證明式(13)前2式由式(7)～(10)可得，接下來只需證明式(13)中第3式，即Tt>1,Bt≠0時(shí)狀態(tài)st的Whittle索引表達(dá)式。

由引理1，當(dāng)Bt=0時(shí)，有w*(Xt,Tt,1)≥w≥w*(Xt,Tt,0)=-c(γm)，

g(Xt,Tt,0)=rp(γm)-c(γm)+β(1-p(γm))[g(Xt+1,Tt-1,0)]-w。

(14)

當(dāng)Bt≠0時(shí)，有w*(Xt,Tt,Bt+1)≥w≥w*(Xt,Tt,Bt)，以及

g(Xt,Tt,Bt)=rp(γm)-c(γm)+β(1-p(γm))[g(Xt+1,Tt-1,Bt)]-w。

(15)

由此可得

g(Xt,1,0)=rp(γm)-c(γm)-(1-p(γm))δ(0)-w，

(16)

g(Xt,1,Bt)=rp(γm)-c(γm)-(1-p(γm))δ(Bt)-w。

(17)

1)當(dāng)Tt>1,Bt=1時(shí)

J(Xt,Tt,1)=w-rp(γm)+c(γm)+βp(γm)[g(Xt+1,Tt-1,0)]，

(18)

對(duì)?γn,γn′,…,γnTt-3∈Γ，將式(14)代入式(18)進(jìn)行Tt-1次替換可得

J(Xt,Tt,1)=w-rp(γm)+c(γm)+βp(γm)[rp(γn)-c(γn)+β(1-p(γn))[rp(γn′)-c(γn′)+…+

β(1-p(γnTt-3))[g(Xt+Tt-1,1,0)]-w]…-w]-w],

代入式(16)，并取J(xt,Tt,Bt)=0即可得到定理2。

2)當(dāng)Tt>1,Bt>1時(shí)

J(Xt,Tt,Bt)=w-rp(γm)+c(γm)+βp(γm)[g(Xt+1,Tt-1,Bt-1)]。

(19)

將式(15)代入式(19)進(jìn)行Tt-1次替換可得

β(1-p(γnTt-3))[g(Xt+Tt-1,1,Bt-1)]-w]…-w]-w],

代入式(17)，并取J(Xt,Tt,Bt)=0即可得到定理2。命題得證。

注在P2P實(shí)時(shí)通信的MDP模型中，w=0。由定理2可計(jì)算出所有狀態(tài)所對(duì)應(yīng)的Whittle索引w*(st)，并由此得到基于Whittle索引的調(diào)度算法，具體地，當(dāng)w*(st)>0時(shí)，采取動(dòng)作at=1；否則采取動(dòng)作at=0。

4 數(shù)值模擬

4.1 數(shù)值設(shè)置

設(shè)信道狀態(tài)空間為Γ={1,2,3},分別表示差、一般、好3種情況，對(duì)應(yīng)的成功傳輸概率為P=[0.45,0.7,0.85]。設(shè)信道狀態(tài)具有平穩(wěn)分布Pc=[0.2,0.5,0.3]。對(duì)任意信道狀態(tài)γm∈Γ，令數(shù)據(jù)包的發(fā)送成本函數(shù)為：c(γm)=2/γm，貼現(xiàn)因子β=0.85。假設(shè)傳輸任務(wù)的大小為L(zhǎng)=5，傳輸任務(wù)的最大容忍時(shí)延N=10。成功傳輸一個(gè)數(shù)據(jù)包的收益為r=3，剩余數(shù)據(jù)包對(duì)應(yīng)的懲罰函數(shù)為f(b)=b2I{b≠0}。

4.2 仿真結(jié)果及分析

表1給出3個(gè)信道狀態(tài)、不同剩余數(shù)據(jù)包個(gè)數(shù)下，剩余傳輸時(shí)間不同時(shí)對(duì)應(yīng)狀態(tài)所采取的動(dòng)作，其中(a,b,c)這3個(gè)分量分別對(duì)應(yīng)3個(gè)信道狀態(tài)下的策略。由表1所給出的策略可以得到最大貼現(xiàn)總收益。圖2為基于Whittle索引實(shí)時(shí)傳輸算法和基于VI算法的最大貼現(xiàn)總收益的對(duì)比。通過對(duì)比可以看出，在信道狀態(tài)較差時(shí)，基于Whittle索引的最優(yōu)調(diào)度算法的最大貼現(xiàn)總收益與值迭代算法(VI)相比有些不足，信道狀態(tài)一般或較好的情況下與值迭代算法相等，由此可得基于Whittle索引的最優(yōu)調(diào)度算法的最大貼現(xiàn)總收益近似于最優(yōu)。通過仿真實(shí)驗(yàn)可得，基于Whittle索引實(shí)時(shí)傳輸策略的計(jì)算成本是VI算法的0.585 8。同時(shí)，由圖2可見，通過Whittle索引得到的調(diào)度策略與最優(yōu)調(diào)度策略幾乎沒有區(qū)別。

表1 基于Whittle索引的最優(yōu)調(diào)度策略下所有系統(tǒng)狀態(tài)的動(dòng)作Tab. 1 Actions of all system states under the optimal scheduling policy based on Whittle index

圖2 值迭代算法與基于Whittle索引的最優(yōu)調(diào)度算法的最大貼現(xiàn)總收益Fig. 2 Maximum discounted total return of value iterative algorithm and the Whittle indexbased scheduling algorithm

5 結(jié)語

本文研究在分組隨機(jī)到達(dá)、嚴(yán)格時(shí)延等約束時(shí)衰減信道下P2P的實(shí)時(shí)通信問題。引入拉格朗日數(shù)乘因子將P2P實(shí)時(shí)傳輸調(diào)度模型建模為RBP模型，證明P2P實(shí)時(shí)傳輸調(diào)度問題的可索引性，并給出基于Whittle索引的實(shí)時(shí)傳輸策略，極大減少了求解最優(yōu)策略的計(jì)算成本。在多用戶通信系統(tǒng)中，隨著用戶狀態(tài)的增多，狀態(tài)空間呈指數(shù)形式增長(zhǎng),因此，本文提出的傳輸模型以及處理方式，可以進(jìn)一步推廣到多用戶P2P實(shí)時(shí)傳輸調(diào)度問題中，在多用戶情況下仍然有運(yùn)用價(jià)值。