李 洋，劉天鶯，朱建明，王秀利

(中央財經(jīng)大學(xué) 信息學(xué)院，北京 100081)

0 引 言

在物聯(lián)網(wǎng)(internet of things，IoT)迅速得到發(fā)展和應(yīng)用的同時，其安全問題也逐漸成為了關(guān)注重點。如果物聯(lián)網(wǎng)應(yīng)用收集的數(shù)據(jù)泄露，可能造成嚴(yán)重后果；同時，由于物聯(lián)網(wǎng)網(wǎng)絡(luò)中存在許多異構(gòu)網(wǎng)互相融合，結(jié)構(gòu)復(fù)雜，安全防護(hù)難以實施。在工業(yè)控制領(lǐng)域，震網(wǎng)病毒(Stuxnet)曾經(jīng)在世界各國的大型設(shè)施系統(tǒng)中產(chǎn)生了巨大危害。為了提高物聯(lián)網(wǎng)的安全性，過去的研究者提出了許多的安全方案，例如輕量級加密技術(shù)、云計算安全技術(shù)等。但是，這些技術(shù)都是基于某種具體的安全難題提出解決方案，沒有考慮到物聯(lián)網(wǎng)整體安全狀況的感知與評估。物聯(lián)網(wǎng)安全是一個整體，其分析也應(yīng)該具備綜合性，需要全面分析物聯(lián)網(wǎng)絡(luò)面臨的威脅程度及安全態(tài)勢。此外，在實施安全方案時，物聯(lián)網(wǎng)也與傳統(tǒng)網(wǎng)絡(luò)有所不同。許多設(shè)備受資源所限，只有密碼驗證這類簡單的措施，而無法配置大型安全分析系統(tǒng)，否則可能影響系統(tǒng)的正常運行。因此，物聯(lián)網(wǎng)安全方案需要在能源消耗小的同時，幫助安全防御者在復(fù)雜動態(tài)環(huán)境中做出最優(yōu)決策，評估整體安全態(tài)勢。

1 研究現(xiàn)狀

博弈論是研究對策的數(shù)學(xué)理論，在安全博弈中，攻擊方和防守方相互對抗，策略與收益相互依存，能夠同時考慮攻防雙方行動對于安全的影響，而不是僅僅關(guān)注攻擊或防守某一方的行為，符合全面性、整體性要求，適合應(yīng)用于物聯(lián)網(wǎng)安全研究。He等[1]使用SCPN計算攻擊路徑，構(gòu)建動態(tài)博弈模型對物聯(lián)網(wǎng)智能環(huán)境進(jìn)行態(tài)勢感知，并通過典型攻擊場景對模型進(jìn)行了驗證。Kaur等[2]結(jié)合隨機Petri網(wǎng)和博弈論構(gòu)建隨機博弈網(wǎng)模型，使博弈方法適用于復(fù)雜的IoT網(wǎng)絡(luò)，管理員節(jié)點能夠在動態(tài)、可擴展環(huán)境下探測和阻止攻擊，做出合理的行動計劃。上述文獻(xiàn)將博弈理論應(yīng)用于物聯(lián)網(wǎng)以及網(wǎng)絡(luò)安全的分析，能夠綜合考慮攻防雙方行為對于安全狀態(tài)的影響，但是缺乏對博弈過程的具體分析，無法使用博弈矩陣做出安全決策。

在應(yīng)用博弈矩陣進(jìn)行攻擊路徑預(yù)測和最優(yōu)防御策略選取方面，Huang等[3]結(jié)合演化博弈論和Markov決策過程，在多狀態(tài)情況下求解Markov演化博弈均衡，考慮到了決策者的非完全理性情況。Lei等[4]構(gòu)建了移動目標(biāo)防御的Markov博弈模型，綜合量化防御收益和防御成本，提出最優(yōu)策略選擇算法。Wang等[5]動態(tài)分析網(wǎng)絡(luò)攻防過程，通過貝葉斯博弈結(jié)果確定最優(yōu)純策略，相比混合策略可操作性更強。這些文獻(xiàn)可以應(yīng)用于非完全理性、安全狀態(tài)存在轉(zhuǎn)移等多種情況，但是主要從預(yù)測具體攻擊和防御行為出發(fā)，沒有對整體安全態(tài)勢的分析。

網(wǎng)絡(luò)安全態(tài)勢感知(network security situation awareness，NSSA)是一個對整體網(wǎng)絡(luò)安全狀態(tài)進(jìn)行感知的研究領(lǐng)域和研究方法，它通過將有關(guān)于網(wǎng)絡(luò)安全的各種信息融合，對安全態(tài)勢做出分析和判斷，為網(wǎng)絡(luò)管理者和參與者的決策提供幫助。Endsley提出態(tài)勢感知的概念[6]，許多學(xué)者在之后也從不同角度、不同方面分別闡述了NSSA的定義和內(nèi)涵，但大多都涉及到“安全”、“整體”與“輔助決策”等認(rèn)知。對物聯(lián)網(wǎng)的安全態(tài)勢進(jìn)行感知、分析與評價，能夠把握整體網(wǎng)絡(luò)安全狀態(tài)，預(yù)測未來發(fā)展趨勢，做出最有利于安全防御的決策。針對物聯(lián)網(wǎng)安全及安全態(tài)勢感知，Rapuzzi等[7]從霧計算角度構(gòu)建態(tài)勢感知方案，將安全分析從垂直框架轉(zhuǎn)換為適合分布式計算的水平結(jié)構(gòu)，能夠應(yīng)用于復(fù)雜的安全環(huán)境。Park等[8]提出了一種IoT設(shè)備風(fēng)險評估框架，從信息泄露角度度量威脅和風(fēng)險，通過感知環(huán)境與風(fēng)險，預(yù)測未來安全形勢，做出合理決策。Chouhan等[9]介紹了IoT應(yīng)用的安全評估方法，在本地設(shè)備、數(shù)據(jù)傳輸和數(shù)據(jù)存儲等物聯(lián)網(wǎng)安全領(lǐng)域分別給出了增強安全保障能力的建議。上述文獻(xiàn)分析了網(wǎng)絡(luò)中存在的風(fēng)險和威脅，從整個物聯(lián)網(wǎng)網(wǎng)絡(luò)的角度感知安全態(tài)勢，但是沒有考慮到物聯(lián)網(wǎng)中惡意攻擊者和防御者之間的相互影響。

本文將Q-Learning算法與靜態(tài)貝葉斯博弈相結(jié)合，分析物聯(lián)網(wǎng)安全狀況，在多狀態(tài)、不完全信息條件下進(jìn)行物聯(lián)網(wǎng)安全態(tài)勢感知。通過最優(yōu)防御策略求解，以及對整體網(wǎng)絡(luò)安全態(tài)勢的量化分析，更好地幫助管理者做出防御行動，預(yù)測安全狀態(tài)趨勢，具有實際意義和應(yīng)用價值。

2 Q-Learning算法

在物聯(lián)網(wǎng)安全攻防博弈過程中，隨著攻擊者進(jìn)行攻擊，防御者采取措施防御，存在多個狀態(tài)之間的轉(zhuǎn)移和跳變，需要同時考慮到現(xiàn)在和未來的收益，才能做出更加符合長遠(yuǎn)利益的防御決策，因此，可以將多狀態(tài)的隨機博弈理念引入攻防過程中。傳統(tǒng)的隨機博弈大多使用基于模型的Markov決策過程來進(jìn)行描述，但其中存在著狀態(tài)轉(zhuǎn)移概率難以確定的問題。使用免模型的Q-Learning算法，不需要預(yù)先獲取狀態(tài)轉(zhuǎn)移概率，而是通過探索與環(huán)境交互，自主獲取未知的環(huán)境信息，應(yīng)用范圍更加廣泛。針對這些特點，本文構(gòu)建了結(jié)合Q-Learning算法的安全態(tài)勢感知模型，在環(huán)境未知的情況下通過探索更新狀態(tài)與行為信息。作為一種免模型的強化學(xué)習(xí)算法，它基于馬爾科夫決策過程，通過學(xué)習(xí)動作-值函數(shù)，可以在獨立于未來策略的情況下估計出最佳的動作-值函數(shù)q*。其任務(wù)是在有限狀態(tài)和有限動作集條件下進(jìn)行每一步的選擇，實現(xiàn)主體可控制的馬爾科夫過程。

2.1 馬爾科夫決策過程

在馬爾科夫決策過程中，用于選取最優(yōu)決策的Bellman方程的狀態(tài)-值函數(shù)需要滿足關(guān)系

(1)

(2)

2.2 Q-Learning方法

在Q-Learning方法中，求解最優(yōu)策略不需要了解和初始化狀態(tài)轉(zhuǎn)移概率。參與者與環(huán)境交互，在多個步驟的探索中不斷更新Q值，最終達(dá)到選取最優(yōu)策略的目的。一個步驟的Q-Learning可以定義為

Q(st,at)←Q(st,at)+

(3)

其中，Q(st,at)是當(dāng)前的Q值，α表示對Q值計算差距的學(xué)習(xí)率，γ是一個衰減值，表示未來收益對現(xiàn)在影響的程度。在每一個步驟中，主體處于某個狀態(tài)st，并可以根據(jù)st選擇對應(yīng)的at。每個狀態(tài)-動作對(st,at)確定一個當(dāng)前收益Rt+1，作為當(dāng)前狀態(tài)下做出某個選擇的直接收益。同時，在整個狀態(tài)空間中，當(dāng)前狀態(tài)到下一個狀態(tài)的轉(zhuǎn)移也由動作選擇情況決定，不同的動作可能通往不同的下一步狀態(tài)。

由于安全博弈是雙方共同參與，在更新Q值的策略上，需要同時考慮到多個智能體的行為及其影響。針對攻擊方采取行動at，防御方采取行動dt，一個步驟的更新可以定義為

Q(st,at,dt)←Q(st,at,dt)+

(4)

3 基于Q-Learning與貝葉斯博弈的物聯(lián)網(wǎng)安全態(tài)勢感知模型

3.1 物聯(lián)網(wǎng)安全特點

物聯(lián)網(wǎng)安全及其態(tài)勢感知有許多與傳統(tǒng)網(wǎng)絡(luò)安全不同的特點。首先，物聯(lián)網(wǎng)多采用無線網(wǎng)絡(luò)的結(jié)構(gòu)，沒有中心節(jié)點來監(jiān)測網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)，因此需要分布式節(jié)點互相合作以保障安全，并且要考慮到眾多節(jié)點中惡意節(jié)點存在的可能性；其次，由于物聯(lián)網(wǎng)帶寬有限，如果采取傳統(tǒng)安全感知系統(tǒng)，其產(chǎn)生的大量信息流可能導(dǎo)致網(wǎng)絡(luò)堵塞，影響網(wǎng)絡(luò)系統(tǒng)的正常運行，為此應(yīng)該盡可能減少安全感知所傳輸?shù)臄?shù)據(jù)流；同時，物聯(lián)網(wǎng)設(shè)備的計算能力、存儲資源都十分有限，安全感知和預(yù)測只能在資源受限的情況下進(jìn)行，需要對傳統(tǒng)安全模型進(jìn)行優(yōu)化。

傳統(tǒng)的網(wǎng)絡(luò)安全態(tài)勢感知與風(fēng)險評估對大量數(shù)據(jù)流進(jìn)行分析，將之應(yīng)用于物聯(lián)網(wǎng)中，則會耗費過量電力能源與計算存儲資源，難以長期進(jìn)行態(tài)勢監(jiān)測，導(dǎo)致安全保障能力下降，缺乏對實時攻擊的響應(yīng)。此外，只從攻擊方或防守方單方面出發(fā)，無法準(zhǔn)確度量攻防雙方互相影響的因素，也沒有考慮到物聯(lián)網(wǎng)中節(jié)點之間的相互聯(lián)系。采用博弈論方法分析物聯(lián)網(wǎng)安全，可以在一定程度上解決這些問題。

3.2 模型選取與定義

將博弈過程應(yīng)用于網(wǎng)絡(luò)安全分析可以采用靜態(tài)博弈模型或動態(tài)博弈模型。在靜態(tài)博弈中，博弈只有單一階段，無法反映物聯(lián)網(wǎng)安全中多狀態(tài)之間的變化。在多個階段的博弈中，也假設(shè)參與者的策略和收益固定，不會隨著時間發(fā)生改變。這些模型無法適用于動態(tài)的物聯(lián)網(wǎng)安全環(huán)境。在動態(tài)環(huán)境中，存在著多個狀態(tài)，參與者在不同狀態(tài)下采取不同策略，策略的影響也是長期的，因此運用Q-Lear-ning算法來度量存在狀態(tài)轉(zhuǎn)移的動態(tài)物聯(lián)網(wǎng)環(huán)境下攻防參與者的收益。在Q-Learning中，隨著一個步驟的Q值更新，主體需要完成以下任務(wù)：觀察當(dāng)前狀態(tài)st，選擇動作at，確定下一個狀態(tài)st+1，得到當(dāng)前收益Rt+1，并根據(jù)學(xué)習(xí)率α和衰減值γ重新計算Q，獲得更新后的Q值。通過Q-Learning，環(huán)境中的主體不斷進(jìn)行探索和試錯，獲得策略當(dāng)前和未來收益信息，考慮到多狀態(tài)之間的轉(zhuǎn)移和變化。

是否存在完全信息是構(gòu)建博弈模型，獲取最優(yōu)策略所需的一個前提條件，許多安全博弈模型基于完全信息假設(shè)，即對于所有參與者，都假設(shè)其提前掌握了有關(guān)于博弈的全部信息，例如攻擊方的攻擊能力強弱、攻擊成功率、攻擊資源多少；防御方的防御能力、防御成功率、能夠應(yīng)用于防御的資源如節(jié)點的電量剩余等。但是，在物聯(lián)網(wǎng)安全攻防過程中，攻防雙方很難獲取對方攻擊和防御能力強弱的完整信息，只能有一個大概的判斷，存在著信息不完全的情況。貝葉斯博弈描述了非完全信息條件下參與者之間的博弈過程，在靜態(tài)貝葉斯博弈中，參與者同時行動，每個參與者可能有不同的類型，不同類型的參與者策略和收益也可以不同。與完全信息博弈相比，貝葉斯博弈將參與者從單一類型擴展到n個類型，更加符合現(xiàn)實中參與人能力不同的情況。

因此，定義物聯(lián)網(wǎng)安全態(tài)勢感知模型為一個九元組(N,Θ,P,M,S,U,W,π*,NS)，其中：

(1)N=(NA,ND)，是博弈參與者，NA為物聯(lián)網(wǎng)中的攻擊方(惡意節(jié)點)，ND為物聯(lián)網(wǎng)中的防御方(正常節(jié)點)；

(3)P=(PA,PD)，是攻擊方和防御方在知道自己類型時對另一參與者類型的推斷集合；

(4)M=(MA,MD)=(a1,…,am;d1,…,dn)，是攻防雙方的動作集合，參與者的類型不同，在該類型下的策略集合也可能不同，每個類型策略集合都是動作集合的一個子集；

(5)S=(s1,…,sk)，是物聯(lián)網(wǎng)安全狀態(tài)空間，安全狀態(tài)之間存在轉(zhuǎn)移關(guān)系；

(6)U=(UA,UD)，是參與人的收益空間，參與人得到的收益與狀態(tài)、類型、采用策略和對方所選取的策略相關(guān)；

(7)W=(w,Aw,Dw)，是不同節(jié)點的重要程度及其分布狀況；

(9)NS=(NS1,…,NSk)，是不同狀態(tài)下安全態(tài)勢值的集合。

為了簡化模型，在博弈過程中，將物聯(lián)網(wǎng)所有惡意節(jié)點共同視為一個攻擊者，采取一系列的策略攻擊網(wǎng)絡(luò)；將物聯(lián)網(wǎng)中所有正常節(jié)點共同視為一個防御者，采取一系列的防御策略維護(hù)網(wǎng)絡(luò)安全。

3.3 最優(yōu)防御策略選取

在不完全信息狀態(tài)下，求解靜態(tài)貝葉斯納什均衡能夠得到不同類型攻擊者和防御者的最優(yōu)策略。

由于任意有限博弈都存在混合策略納什均衡，模型中每個狀態(tài)中攻擊方和防御方都存在一個最佳混合策略，即混合策略貝葉斯納什均衡[14]。

給定

((NA,ND),(ΘA,ΘD),(MA,MD),(PA,PD),(UA,UD))

(5)

攻防雙方的混合策略為

(6)

其中，f表示策略選取的概率。

如果同時滿足

(7)

和

(8)

3.4 物聯(lián)網(wǎng)安全態(tài)勢評估

物聯(lián)網(wǎng)安全博弈是一個隨著攻防雙方行動和整體網(wǎng)絡(luò)系統(tǒng)狀態(tài)轉(zhuǎn)移而不斷變化的過程，其安全態(tài)勢評估也需要考慮到惡意節(jié)點和正常節(jié)點分別采取的具體行動，以及網(wǎng)絡(luò)當(dāng)前和未來狀態(tài)變化所產(chǎn)生的影響。貝葉斯均衡可以幫助攻擊者和防御者預(yù)測對方的策略，但在自己決策時，一次只能選取一個具體行動。

(9)

(10)

在物聯(lián)網(wǎng)網(wǎng)絡(luò)中，惡意節(jié)點和正常節(jié)點的數(shù)量、節(jié)點重要程度等因素對整體網(wǎng)絡(luò)安全態(tài)勢有一定影響。設(shè)節(jié)點重要度由高到低為w={wH,wM,wL}，3種類型節(jié)點在惡意節(jié)點中的分布情況是AW={AH,AM,AL}，在正常節(jié)點中的分布情況是DW={DH,DM,DL}，則物聯(lián)網(wǎng)安全態(tài)勢值為

(11)

3.5 模型算法

求解最優(yōu)防御策略和網(wǎng)絡(luò)安全態(tài)勢的算法如下：

模型算法：

輸入：狀態(tài)集合S，動作集合M，類型空間Θ，先驗推斷P，收益空間U，節(jié)點狀態(tài)W

輸出：最優(yōu)防御策略π*，網(wǎng)絡(luò)安全態(tài)勢NS

Begin

(1)Forso∈S

(5) Repeat

(6) Until

(7)Solve

(9)Calculate

(10) Output

該算法將Q-Learning與貝葉斯博弈相結(jié)合，適用于物聯(lián)網(wǎng)安全多狀態(tài)、防御者和攻擊者擁有多個類型的情況，能夠根據(jù)網(wǎng)絡(luò)中正常節(jié)點和惡意節(jié)點的分布情況，確定最優(yōu)防御決策，并評估安全態(tài)勢值。與傳統(tǒng)方法相比，該算法同時將攻防雙方行動作為安全影響因素，安全態(tài)勢評估更加準(zhǔn)確。

4 實驗仿真

4.1 實驗設(shè)置

構(gòu)建如圖1所示的IoT網(wǎng)絡(luò)，網(wǎng)絡(luò)中分布了1100個物聯(lián)網(wǎng)節(jié)點設(shè)備，設(shè)備通過路由器與網(wǎng)絡(luò)連接。其中有100個惡意節(jié)點，1000個正常節(jié)點，正常節(jié)點中有一個管理員節(jié)點。

圖1 模擬物聯(lián)網(wǎng)網(wǎng)絡(luò)

參考文獻(xiàn)[2]，攻防雙方的策略見表1。

表1 攻防策略

簡化的網(wǎng)絡(luò)安全狀態(tài)共有7個，分別是：s0={normal operation}，s1={device Dos}，s2={device attacked}，s3={injects malicious data}，s4={device direct to malicious portal}，s5={device get malicious data}，s6={network shutdown}。狀態(tài)轉(zhuǎn)移關(guān)系如圖2所示。

圖2 狀態(tài)轉(zhuǎn)移關(guān)系

每個狀態(tài)的動作見表2。

表2 狀態(tài)動作

由于正常節(jié)點選擇的防御措施會根據(jù)網(wǎng)絡(luò)狀況和自身情況確定，將正常節(jié)點的防御分為兩種類型：高級防御和低級防御。假設(shè)惡意節(jié)點只有一種攻擊類型：高級攻擊，惡意節(jié)點對兩種防御類型的先驗信念為(0.7, 0.3)。以(高級攻擊，高級防御)為例，其在狀態(tài)s0的收益矩陣見表3。

表3 狀態(tài)s0下(高級攻擊，高級防御)收益矩陣

4.2 結(jié)果分析

由于算法采用Q-Learning進(jìn)行狀態(tài)-動作值的更新，計算策略選取收益不需要預(yù)先得到狀態(tài)間轉(zhuǎn)移概率，避免了可能產(chǎn)生的誤差，并且其運行過程可以根據(jù)現(xiàn)實情況自主調(diào)整，當(dāng)物聯(lián)網(wǎng)安全狀況發(fā)生變化時，也可以再次通過探索得到新的環(huán)境信息。同時，貝葉斯博弈的引入使得攻防參與者能夠在信息不完全的情況下對另一參與者的行動做出合理推測，不需要掌握完全信息，提高了算法的實用價值。

在最優(yōu)防御策略選取階段，根據(jù)本文算法，可以得到最優(yōu)防御策略為：πs0={(0,0.25,0.75),(0,1,0)}，πs1={(0,1),(0.91,0.09)}，πs2={(1,0),(1,0)}，πs3={(1,0),(1,0)}，πs4={(1,0),(1,0)}，πs5={(1,0),(1,0)}。由結(jié)果可知，在狀態(tài)初始，高級防御者和低級防御者都應(yīng)該偏向于選擇策略d3，隨著網(wǎng)絡(luò)攻擊的繼續(xù)進(jìn)行，不同類型的防御者出現(xiàn)了不同的最優(yōu)策略選擇。

在網(wǎng)絡(luò)安全態(tài)勢評估階段，基于攻防雙方各自采取的行為，以及對另一方行為策略的預(yù)測，得到攻擊者的安全威脅值以及防御者的安全收益值，綜合評估網(wǎng)絡(luò)安全態(tài)勢。如果攻防雙方在每個狀態(tài)都選擇一個最佳策略，物聯(lián)網(wǎng)網(wǎng)絡(luò)安全態(tài)勢變化如圖3所示。

圖3 網(wǎng)絡(luò)安全態(tài)勢變化

可以看出，隨著狀態(tài)改變，攻擊程度加強，網(wǎng)絡(luò)安全態(tài)勢值變小。同時，在網(wǎng)絡(luò)受到攻擊的開始階段，高級防御和低級防御類型之間的差距較大，而到了攻擊后期，網(wǎng)絡(luò)面臨威脅十分嚴(yán)重，兩種類型的防御者安全狀況差距縮小，安全態(tài)勢都處于較低的數(shù)值。這說明即使是防御能力強的防御方，也需要在攻擊開始發(fā)生時就及時制止，防止網(wǎng)絡(luò)面對更加嚴(yán)重的威脅。

5 結(jié)束語

物聯(lián)網(wǎng)中存在著多個安全狀態(tài)，攻擊和防御節(jié)點也可能存在多種類型。針對物聯(lián)網(wǎng)安全攻防雙方相互影響、安全環(huán)境不斷變化等問題，本文基于Q-Learning和貝葉斯博弈，提出了一種能夠應(yīng)用于不同安全狀態(tài)相互轉(zhuǎn)換,并且充分考慮到不同攻防類型和能力的物聯(lián)網(wǎng)安全最優(yōu)防御策略選取與態(tài)勢感知方法。實驗驗證，本文提出的方法是有效的，能夠合理且高效地實現(xiàn)最優(yōu)防御決策，進(jìn)行物聯(lián)網(wǎng)安全態(tài)勢感知。