徐堂煒，張海璐，劉楚環(huán)，肖亮，朱珍民

（1.廈門大學(xué)信息學(xué)院，福建 廈門 361005；2.中國科學(xué)院大學(xué)計(jì)算技術(shù)研究所，北京 100190）

1 引言

車聯(lián)網(wǎng)（VANET，vehicular Ad Hoc networks）群集內(nèi)共享群密鑰對(duì)群成員通信進(jìn)行對(duì)稱加密[1]，是保障群集車輛協(xié)同駕駛、擁塞避免以及娛樂服務(wù)過程中通信安全和用戶隱私的關(guān)鍵[2-3]。由于車聯(lián)網(wǎng)群集的動(dòng)態(tài)性和開放性，群集容易遭受各種內(nèi)外部網(wǎng)絡(luò)攻擊，攻擊者利用時(shí)序攻擊、緩存攻擊[4]等手段竊取群密鑰，進(jìn)行竊聽、電子欺騙等攻擊，導(dǎo)致用戶隱私泄露與交通事故。因此，車聯(lián)網(wǎng)需要實(shí)時(shí)更新群密鑰，保障群密鑰在車輛加入和離開群集的前向安全和后向安全[5]。

車聯(lián)網(wǎng)群集使用群密鑰對(duì)車輛進(jìn)行節(jié)點(diǎn)認(rèn)證和通信加密受到廣泛關(guān)注的同時(shí)，如何有效管理車聯(lián)網(wǎng)密鑰是一個(gè)亟須解決的問題。文獻(xiàn)[6]提出基于公鑰基礎(chǔ)設(shè)施（PKI，public key infrastructure）的車聯(lián)網(wǎng)匿名密鑰管理方案，通過匿名數(shù)字證書認(rèn)證車輛節(jié)點(diǎn)和保護(hù)數(shù)據(jù)完整性，但隨著車輛節(jié)點(diǎn)數(shù)的增加，大量的密鑰和匿名證書使認(rèn)證中心需付出較大的管理成本以確保系統(tǒng)安全，并對(duì)車輛節(jié)點(diǎn)的存儲(chǔ)和通信開銷帶來負(fù)擔(dān)。文獻(xiàn)[7]提出使用基于群集的對(duì)等批密鑰協(xié)議，但車輛節(jié)點(diǎn)只能屬于一個(gè)群集，且當(dāng)新節(jié)點(diǎn)加入群集時(shí)，群首需要重新與群成員逐個(gè)協(xié)商密鑰，難以適用于高動(dòng)態(tài)性的車聯(lián)網(wǎng)。Islam等[8]提出的GKA方案使用假名對(duì)群集進(jìn)行認(rèn)證與密鑰更新，通過假名構(gòu)建數(shù)字簽名的同時(shí)對(duì)群集車輛進(jìn)行認(rèn)證，防止車輛軌跡隱私的泄露。文獻(xiàn)[5]提出使用軟件定義網(wǎng)絡(luò)對(duì)車聯(lián)網(wǎng)進(jìn)行管理，不同群集自主構(gòu)建去中心化網(wǎng)絡(luò)進(jìn)行通信，同時(shí)使用中心網(wǎng)絡(luò)對(duì)群集進(jìn)行認(rèn)證與密鑰管理。針對(duì)群集去中心化網(wǎng)絡(luò)，Jiang等[9]提出通過計(jì)算哈希消息認(rèn)證碼取代認(rèn)證撤銷列表對(duì)車輛進(jìn)行分布式批量匿名認(rèn)證，該方案保護(hù)用戶隱私的同時(shí)，減小認(rèn)證時(shí)延；Liu等[10]提出在信任機(jī)制基礎(chǔ)上，信譽(yù)度高的車輛通過信任中心認(rèn)證后，可進(jìn)行匿名密鑰協(xié)商，在保護(hù)隱私的同時(shí)，確保消息機(jī)密性和完整性。

強(qiáng)化學(xué)習(xí)作為機(jī)器學(xué)習(xí)的主要研究方向，被廣泛用于車聯(lián)網(wǎng)通信安全[11-12]。Xiao等[13-14]提出使用強(qiáng)化學(xué)習(xí)輔助移動(dòng)設(shè)備優(yōu)化中繼方案、發(fā)射功率和通信頻點(diǎn)等以抵抗敵意干擾，該方案在降低能耗的同時(shí)，保證了通信可靠性。文獻(xiàn)[15-16]在未知信道模型與電子欺騙攻擊模型的情況下，使用強(qiáng)化學(xué)習(xí)優(yōu)化接收信號(hào)強(qiáng)度等無線信道物理層特征的認(rèn)證閾值，在惡意發(fā)送者的動(dòng)態(tài)博弈中實(shí)現(xiàn)高精度認(rèn)證。Chu等[17]使用基于長短期記憶效應(yīng)的強(qiáng)化學(xué)習(xí)進(jìn)行用戶聯(lián)合接入控制和電池能量預(yù)測，在提升網(wǎng)絡(luò)吞吐量的同時(shí)，節(jié)約能耗。文獻(xiàn)[18]提出使用強(qiáng)化學(xué)習(xí)根據(jù)當(dāng)前緩存使用狀況和信道狀態(tài)進(jìn)行聯(lián)合緩存分配和干擾對(duì)齊，以解決無線通信中的多用戶干擾，提升傳輸速率。

本文立足于車聯(lián)網(wǎng)群集內(nèi)通信安全，以群集群密鑰分配管理為研究對(duì)象。在該網(wǎng)絡(luò)中，同一區(qū)域具有共同利益的車輛（如目的地、愛好、朋友群等）構(gòu)建群集，協(xié)作形成基于車輛隊(duì)列的駕駛模式，分享路況及駕駛信息，以很小且恒定的車距提高道路通行能力和能源效率，并提供多媒體服務(wù)。由于車輛頻繁加入和離開群集，為保證群集內(nèi)車輛通行安全，防止電子欺騙等攻擊，對(duì)路況、多媒體等部分群集內(nèi)信息進(jìn)行加密，且需要實(shí)時(shí)更新群密鑰。與傳統(tǒng)PKI相比，本文提出一種無證書簽名方案，該方案摒棄了數(shù)字證書的使用，通過信任中心與車輛間保密存儲(chǔ)的隨機(jī)質(zhì)數(shù)對(duì)群密鑰簽名，確保數(shù)據(jù)完整性，并借助路邊單元（RSU，rode side unit）廣播群密鑰更新信息，實(shí)現(xiàn)群密鑰同步更新，減少車輛節(jié)點(diǎn)更新群密鑰的通信開銷，降低群密鑰更新傳輸時(shí)延。群首在群密鑰更新策略無前效性的情況下，群密鑰的更新策略僅與群集當(dāng)前狀態(tài)有關(guān)，因而將密鑰更新策略的優(yōu)化過程構(gòu)建為馬爾可夫決策過程。為了得到動(dòng)態(tài)群集環(huán)境中最優(yōu)的密鑰更新頻率與密鑰長度，本文提出了基于強(qiáng)化學(xué)習(xí)的低時(shí)延群密鑰分配管理技術(shù)，在未知群集的車流變化模型和訪問驅(qū)動(dòng)高速緩存攻擊模型的前提下，該技術(shù)根據(jù)群集車輛數(shù)目、群集車輛數(shù)目變化、之前時(shí)段密鑰更新決策和當(dāng)前群集通信的安全等級(jí)，使用強(qiáng)化學(xué)習(xí)優(yōu)化群密鑰的更新頻率和密鑰長度，在不斷試錯(cuò)與借鑒的學(xué)習(xí)中，獲得最優(yōu)密鑰更新策略，降低群集通信加解密的計(jì)算時(shí)延和群密鑰被竊取的概率，提升群集通信服務(wù)質(zhì)量。

2 系統(tǒng)模型

2.1 密鑰管理模型

車聯(lián)網(wǎng)低時(shí)延密鑰管理技術(shù)主要由裝配于車輛的車載單元（OBU，on board unit）、路邊單元和信任機(jī)構(gòu)（TA，trusted authority）組成。OBU以專用短距離通信（DSRC，dedicated short range communication）協(xié)議[19]為基礎(chǔ)與RSU和周圍車輛通信。RSU作為一個(gè)通信中繼與廣播節(jié)點(diǎn)，通過有線網(wǎng)絡(luò)和TA連接，并與OBU通過無線網(wǎng)絡(luò)通信。當(dāng)所有車輛首次進(jìn)入TA注冊(cè)時(shí)，TA分發(fā)車輛身份標(biāo)識(shí)ID，產(chǎn)生隨機(jī)質(zhì)數(shù)n用于生成群密鑰與加密群密鑰，產(chǎn)生公鑰VPK和私鑰VSK，登記{ID,n,VPK}，并將{ID,n,VSK}存放在車輛的OBU中。TA登記RSU的身份標(biāo)識(shí)RID和其公鑰RPK，并將其私鑰RSK存儲(chǔ)于RSU。

表1 重要參數(shù)符號(hào)Table 1 Notations of important parameters

如圖1所示，車聯(lián)網(wǎng)基于動(dòng)態(tài)聚類算法在一定區(qū)域內(nèi)組織M個(gè)車輛節(jié)點(diǎn){Vehi}1≤i≤M構(gòu)建群集[20]，并為其提供協(xié)同駕駛、擁塞避免等服務(wù)；由于高速行駛的車輛加入和離開群集具有一定隨機(jī)性，因而需要實(shí)時(shí)更新群密鑰。假設(shè)單位時(shí)間內(nèi)加入和離開群集的車輛節(jié)點(diǎn)數(shù)服從均值為λ的泊松分布，群集車輛身份標(biāo)識(shí)為{IDi}1≤i≤M。為了保證群集內(nèi)的通信和隱私安全，群集內(nèi)通信采用對(duì)稱加密機(jī)制，并采用無證書簽名密鑰管理方案更新群密鑰。群首（cluster head）VehF為群集生成密鑰更新請(qǐng)求，RSU負(fù)責(zé)將該請(qǐng)求進(jìn)行二次加密并轉(zhuǎn)發(fā)給TA，TA根據(jù)請(qǐng)求反饋新密鑰。具體而言，群首VehF觀察群集內(nèi)車輛的數(shù)目，加入和離開群集的車輛數(shù)目，群集的平均行駛速度，前D個(gè)時(shí)刻的密鑰更新決策和當(dāng)前時(shí)刻的安全等級(jí)，生成密鑰更新請(qǐng)求。密鑰更新請(qǐng)求主要包含更新密鑰的群集車輛ID和新密鑰的長度x2，即x2||{IDi}1≤i≤M。VehF使用私鑰VSKF加密密鑰更新請(qǐng)求，添加時(shí)間戳1T發(fā)送給RSU。RSU于收到密鑰更新請(qǐng)求后，計(jì)算，用于驗(yàn)證密鑰更新請(qǐng)求的有效性，防止重放攻擊。若，RSU使用私鑰RSK再次加密密鑰更新請(qǐng)求，通過有線網(wǎng)絡(luò)將密鑰更新請(qǐng)求發(fā)送給TA。

群成員Vehi接收RSU廣播的密鑰更新消息，使用私鑰VSKi解密IDi對(duì)應(yīng)的部分，獲得。群成員使用OBU中存儲(chǔ)的隨機(jī)質(zhì)數(shù)ni解密獲得群密鑰ψ*，并計(jì)算其hash值h(ψ*)校驗(yàn)新密鑰*ψ的真實(shí)性。若h(ψ*)≠h(ψ)，接收到的密鑰更新信息為偽造消息；否則，更新*ψ作為群集內(nèi)通信的新密鑰。

圖1 密鑰管理模型Figure 1 Key agreement model

2.2 攻擊模型

本文主要考慮車聯(lián)網(wǎng)內(nèi)部攻擊，攻擊者可以是網(wǎng)絡(luò)內(nèi)部合法的車輛節(jié)點(diǎn)，或者被控制的惡意車輛節(jié)點(diǎn)，其通過時(shí)序攻擊、緩存攻擊[4]等邊信道攻擊手段獲取群密鑰，進(jìn)而實(shí)施電子欺騙攻擊[8]等。具體而言，攻擊者使用間諜程序觀察加密過程中的時(shí)延邊信道信息，監(jiān)視緩存的命中與未命中，從而竊取加密密鑰。攻擊者冒充已經(jīng)獲得身份驗(yàn)證的車輛或RSU，通過合法身份將惡意信息或偽造的信息，如車流密度信息、碰撞避免信息，發(fā)送給周圍車輛，甚至冒充合法身份的車輛將該車輛從VANET中移除。假設(shè)每個(gè)車輛節(jié)點(diǎn)發(fā)動(dòng)內(nèi)部攻擊成功的概率為y，擁有車輛數(shù)目M的群集被攻擊的概率為1-(1-y)M。其中，群集被攻擊成功的概率與群集車輛數(shù)目和密鑰更新頻率呈正相關(guān)，與密鑰長度呈負(fù)相關(guān)。

3 基于強(qiáng)化學(xué)習(xí)的密鑰管理技術(shù)

隨著車輛的加入、離開，群集的合并、拆分和通信安全等級(jí)的變化，群首需要實(shí)時(shí)更新群集內(nèi)通信的群密鑰。群密鑰的密鑰長度和更新頻率與群集通信安全等級(jí)、通信加密與解密計(jì)算時(shí)延的動(dòng)態(tài)優(yōu)化過程可以視為一個(gè)馬爾可夫過程。本文提出一種基于強(qiáng)化學(xué)習(xí)的低時(shí)延車聯(lián)網(wǎng)群密鑰分配管理技術(shù)，群首優(yōu)化群密鑰的長度和更新頻率，通過不斷試錯(cuò)與學(xué)習(xí)，獲得最優(yōu)的密鑰更新策略。

在該技術(shù)中，群集基于物理層特征，如信道狀態(tài)和接收信號(hào)強(qiáng)度等，進(jìn)行入侵檢測[22]，VehF根據(jù)反饋的檢測結(jié)果評(píng)估群集的通信安全等級(jí)ρ。當(dāng)群集檢測到車輛遭受電子欺騙等攻擊時(shí)，ρ=0；否則，ρ=1。群首VehF綜合考慮群集的車輛數(shù)目M，群集平均速度v，前D個(gè)時(shí)刻內(nèi)密鑰更新決策g和上一時(shí)刻群集通信的安全等級(jí)ρ等信息，根據(jù)群集的長期學(xué)習(xí)效益，選擇密鑰更新策略x∈A，包含是否發(fā)送密鑰更新請(qǐng)求x1∈{0,1}與更新的密鑰長度x2∈[1,LA]bit，即x=[x1,x2]。其中，LA為密鑰長度的上限值，A為密鑰管理動(dòng)作空間。當(dāng)x1=0時(shí)，VehF不發(fā)送密鑰更新請(qǐng)求，群集繼續(xù)使用之前的密鑰進(jìn)行通信加密；當(dāng)x1=1時(shí)，VehF向TA請(qǐng)求更新長度為2x的群密鑰。

在k時(shí)刻，VehF觀察群集內(nèi)k-1時(shí)刻和k時(shí)刻的車輛數(shù)目Mk-1和Mk，群集車輛平均行駛速度vk，前D個(gè)時(shí)刻密鑰更新決策和k-1時(shí)刻群集通信的安全等級(jí)ρk-1，構(gòu)建當(dāng)前群集狀態(tài)sk。

令Q(s,x)表示VehF在s狀態(tài)下采取行動(dòng)x的長期收益，VehF根據(jù)當(dāng)前群集的狀態(tài)sk，通過對(duì)應(yīng)的Q值采用ε-貪婪策略選擇群密鑰的更新策略。具體而言，VehF以1-ε的概率選擇當(dāng)前狀態(tài)sk中長期收益Q(sk,x)最大的密鑰更新策略；以ε的概率從A中任意選擇一個(gè)密鑰更新策略，即

在k時(shí)刻，若VehF向TA發(fā)送經(jīng)由RSU轉(zhuǎn)發(fā)的密鑰更新請(qǐng)求，該請(qǐng)求包含群集車輛身份標(biāo)識(shí){IDi}1≤i≤M和密鑰長度；TA接收密鑰更新請(qǐng)求并生成群密鑰ψ返回給RSU；RSU接收到被加密的新密鑰后，將其廣播給群集車輛以實(shí)現(xiàn)對(duì)整個(gè)群集密鑰的更新。

當(dāng)群集進(jìn)行密鑰更新后，VehF通過群集成員的反饋獲得當(dāng)前群集內(nèi)通信的安全等級(jí)ρk，并評(píng)估群集加密與解密長度為的群密鑰的計(jì)算時(shí)延。VehF通過群集車輛數(shù)目Mk、群集通信安全等級(jí)ρk和密鑰長度評(píng)估此次密鑰更新的收益uk。

其中，c1和c2分別表示群集通信加密與解密的計(jì)算時(shí)延和密鑰更新時(shí)延的權(quán)重。

VehF觀察群集k+1時(shí)刻狀態(tài)sk+1，基于貝爾曼方程，更新狀態(tài)動(dòng)作對(duì)(sk,xk)對(duì)應(yīng)的Q值，即

基于強(qiáng)化學(xué)習(xí)的車聯(lián)網(wǎng)密鑰管理技術(shù)的具體過程如算法1所示。

算法1基于強(qiáng)化學(xué)習(xí)的低時(shí)延車聯(lián)網(wǎng)密鑰分配管理算法

1)初始化α，β，Q=0，s1，k=1，K。

2)觀測k-1時(shí)刻和k時(shí)刻車輛數(shù)目Mk-1與Mk，車速vk，前D個(gè)時(shí)刻內(nèi)密鑰更新情況gk和k-1時(shí)刻通信安全等級(jí)ρk-1。

3)構(gòu)建當(dāng)前k時(shí)刻群集的狀態(tài)sk=[Mk-1,Mk,vk,gk,ρk-1]。

6)評(píng)估當(dāng)前通信安全等級(jí)ρk。

7)根據(jù)式(3)獲取效益uk。

8)根據(jù)式(4)更新Q(sk,xk)。

9)若k=K，則結(jié)束學(xué)習(xí)；否則，k=k+1，跳轉(zhuǎn)至步驟2)。

4 仿真實(shí)驗(yàn)

為了驗(yàn)證基于強(qiáng)化學(xué)習(xí)的低時(shí)延車聯(lián)網(wǎng)群密鑰分配管理技術(shù)在加密與解密的計(jì)算時(shí)延和通信安全等級(jí)上的優(yōu)勢，本文利用Python構(gòu)建動(dòng)態(tài)群集仿真場景。仿真參數(shù)設(shè)置參考文獻(xiàn)[23]，具體如下：群首與300 m范圍內(nèi)的車輛構(gòu)成群集，起始群集車輛節(jié)點(diǎn)數(shù)目為50，群集內(nèi)車輛平均速度v∈[0,120]km/h且與群集車輛數(shù)目呈反比[24]。群集車輛使用高級(jí)加密標(biāo)準(zhǔn)（AES，advanced encryption standard）對(duì)稱加密算法對(duì)群集內(nèi)通信進(jìn)行加密，可選密鑰長度x2∈{128,192,256}bit。群集內(nèi)車輛通信的數(shù)據(jù)包大小為1kB。Q學(xué)習(xí)的學(xué)習(xí)率α=0.2，折扣因子β=0.8。

圖2提供了3 000個(gè)時(shí)隙內(nèi)基于強(qiáng)化學(xué)習(xí)的密鑰管理技術(shù)（RLKA）的平均性能，考察了單位時(shí)隙加入和離開群集的平均車輛數(shù)目λ∈{1,2,…,5}對(duì)加密與解密計(jì)算時(shí)延和群集通信安全等級(jí)的影響。當(dāng)λ從1增加到5時(shí)，群集內(nèi)車輛加密和解密1kB數(shù)據(jù)包的計(jì)算時(shí)延從432 μs增加至497 μs，時(shí)延增大了15.0%；群集通信安全等級(jí)從0.963降低至0.794，性能降低了17.5 %。當(dāng)λ=3時(shí)，與GKA方案相比，本文所提技術(shù)的加解密計(jì)算時(shí)延降低了18.1%，安全等級(jí)提升24.1%。這是因?yàn)榕cGKA方案固定的密鑰長度和更新頻率相比，本文提出的RLKA技術(shù)能夠根據(jù)當(dāng)前群集的車輛數(shù)目、車輛加入與離開群集數(shù)目和群集車輛入侵檢測安全反饋等車聯(lián)網(wǎng)相關(guān)信息，通過合理地更新密鑰與控制密鑰長度，降低惡意節(jié)點(diǎn)攻擊成功概率，保證車聯(lián)網(wǎng)群集通信安全并獲得更小的加解密計(jì)算時(shí)延開銷。

圖2 車聯(lián)網(wǎng)密鑰管理平均性能Figure 2 Average performance of key agreement in VANET

圖3 密鑰更新傳輸時(shí)延Figure 3 The transmission delay of key update

為了驗(yàn)證使用無證書簽名的RLKA技術(shù)在通信開銷上的優(yōu)勢，本文利用Matlab構(gòu)建密鑰更新傳輸時(shí)延的仿真。仿真參數(shù)設(shè)置參考文獻(xiàn)[9]，車輛節(jié)點(diǎn)與RSU間的無線傳輸速率為600 Mbit/s，車輛ID、時(shí)間戳T、請(qǐng)求密鑰長度x2的數(shù)據(jù)大小為4 byte。如圖3所示，當(dāng)群集車輛數(shù)目從20輛增加到100輛時(shí)，由于密鑰更新信息的數(shù)據(jù)量增大，群集密鑰更新信息的傳輸時(shí)延隨群集車輛數(shù)目線性增加。當(dāng)群集車輛數(shù)為60時(shí)，與GKA[8]方案相比，本文所提技術(shù)的密鑰更新傳輸時(shí)延降低了31.0%。相比基于PKI的車聯(lián)網(wǎng)密鑰管理方案，本文使用無證書簽名密鑰管理技術(shù)，摒棄了數(shù)字證書，避免傳輸數(shù)字證書帶來的通信時(shí)延和通信負(fù)載，并通過RSU廣播實(shí)現(xiàn)群密鑰的快速同步更新。

5 結(jié)束語

本文提出了一種基于強(qiáng)化學(xué)習(xí)的低時(shí)延車聯(lián)網(wǎng)群密鑰分配管理技術(shù)，群首車輛觀測周圍車輛變化數(shù)目、車輛行駛速度等群集特征，結(jié)合之前時(shí)刻密鑰更新決策與當(dāng)前車聯(lián)網(wǎng)通信安全情況構(gòu)建群集狀態(tài)，使用強(qiáng)化學(xué)習(xí)優(yōu)化群密鑰的更新頻率和密鑰長度，通過低時(shí)延群集密鑰更新實(shí)現(xiàn)對(duì)密鑰竊取和電子欺騙等攻擊的抵抗，提升群集通信安全等級(jí)，降低群集內(nèi)通信時(shí)延。仿真結(jié)果表明，與GKA[8]方案相比，本文提出的RLKA技術(shù)保證通信安全的同時(shí)，降低群密鑰更新傳輸時(shí)延，減小群集內(nèi)通信加密與解密的計(jì)算時(shí)延，提高群密鑰保密性，提升群集通信服務(wù)質(zhì)量。