孫婷　向新　宋曉鷗　王鋒　孫曄

摘 要： 基于多智能體系統(tǒng)的認(rèn)知無線電技術(shù)研究是近年來通信領(lǐng)域的熱點問題。闡述了多智能體系統(tǒng)的基本概念，對智能體和多智能體系統(tǒng)運行機(jī)制進(jìn)行了介紹，并從適用于認(rèn)知無線電網(wǎng)絡(luò)的智能體模型設(shè)計和多智能體運行機(jī)制的應(yīng)用兩方面，對近年來用于認(rèn)知無線電網(wǎng)絡(luò)頻譜管理的多智能體技術(shù)作了總結(jié)。

關(guān)鍵字： 認(rèn)知無線電； 頻譜管理； 多智能體系統(tǒng)； 多智能體技術(shù)

中圖分類號： TN92?34 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2014）09?0038?05

0 引 言

隨著無線電技術(shù)的飛速發(fā)展和廣泛應(yīng)用，使得有限的頻譜資源和猛增的需求間的矛盾日益突出。傳統(tǒng)靜態(tài)的頻譜分配方式極大限制了頻譜的使用效率，使得無線資源本身的匱乏以及對它使用不合理的問題越來越突出。認(rèn)知無線電（CR）是解決當(dāng)前靜態(tài)頻譜分配問題的有效方法，因此成為當(dāng)前通信研究領(lǐng)域的熱點之一。認(rèn)知無線電是在軟件無線電的基礎(chǔ)上發(fā)展起來的一種新的智能無線通信技術(shù)，它能夠根據(jù)無線電的內(nèi)部狀態(tài)和外部環(huán)境的變化而變化且能調(diào)整其行為，通過讓具有認(rèn)知功能的節(jié)點與授權(quán)用戶共享信道來解決無線頻譜資源緊張的狀況。但是如果大量認(rèn)知無線電用戶在一個空間內(nèi)使用，則將構(gòu)成一個復(fù)雜的、分布式的、多變的網(wǎng)絡(luò)，如何使之成為一個自我調(diào)節(jié)、有序運作的網(wǎng)絡(luò)是當(dāng)前需要解決的一大問題。多智能體系統(tǒng)常用于復(fù)雜的、互相依賴的，且有大量分布式設(shè)備參與的環(huán)境中。每個智能體都能與周圍的環(huán)境交互并與其他智能體共享信息、協(xié)商合作共同完成任務(wù)。正是由于它的這些特點，使得多智能體系統(tǒng)非常適用于認(rèn)知無線電網(wǎng)絡(luò)中的動態(tài)頻譜管理[1]。

1 多智能體系統(tǒng)

多智能體系統(tǒng)（Multiagent System）是新興計算機(jī)科學(xué)的一個分支，其概念從20世紀(jì)80年代被提出后，在90年代隨著計算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)、通信技術(shù)的飛速發(fā)展得到了廣泛的關(guān)注。由于智能體（Agent）體現(xiàn)了人類的社會職能，具有很強(qiáng)的自治性和適應(yīng)性，因此，越來越多的研究人員開始關(guān)注對其理論和應(yīng)用方面的研究。

1.1 智能體定義

智能體，從廣義上理解，它涵蓋了許多不同的計算實體，這些實體能夠感知環(huán)境并作用于環(huán)境。智能體結(jié)構(gòu)如圖1所示。由圖1可知，智能體能對從環(huán)境中感知的事件進(jìn)行監(jiān)察，可根據(jù)自身的知識和意圖對感知信息和其他智能體的通信信息進(jìn)行進(jìn)一步分析、推理并作出合理決策，并通過執(zhí)行模塊反饋到環(huán)境中去。

智能體有如下特征：

（1） 自治性（Autonomy）：智能體擁有內(nèi)部自治機(jī)制和問題解決機(jī)制，能夠控制自己的行為和內(nèi)部狀態(tài)。無需他人干涉就可根據(jù)自己的知識和捕捉到的信息進(jìn)行判斷和行為。智能體自治性的高低在很大程度上決定了其智能的高低；

（2） 社會性（Social ability）：智能體不是孤立的，而是一個相互作用的群體。智能體間可以按照某種協(xié)議或者語言進(jìn)行通信和對話，從而形成一個小組來協(xié)作完成某一特定任務(wù)；

（3） 反應(yīng)性（Reactivity）：指智能體具有外部環(huán)境的反射作用，能夠識別外部環(huán)境的變化作出適當(dāng)反應(yīng)；

（4） 自發(fā)性（Pro?activeness）：指智能體具有對目標(biāo)的能動性，為了達(dá)到目標(biāo)，智能體能夠自發(fā)地參加到某些處理或協(xié)作中來[2?3]。

圖1 智能體基本結(jié)構(gòu)

1.2 多智能體系統(tǒng)介紹

雖然智能體具備特定功能，但能力有限，在解決現(xiàn)實中復(fù)雜的、大規(guī)模的問題時，常常需要將各種具有不同能力的智能體結(jié)合起來，這就是多智能體系統(tǒng)產(chǎn)生的最直接的原因。多智能體系統(tǒng)可定義為由一系列在網(wǎng)絡(luò)上耦合的智能體或者在同一硬件環(huán)境下的軟件智能體構(gòu)成，將的大的復(fù)雜系統(tǒng)構(gòu)造成小的、彼此可以互相通信及協(xié)調(diào)的、易于管理的系統(tǒng)。圖2為一個典型的多智能體系統(tǒng)模型結(jié)構(gòu)圖[4]。

圖2 多智能體系統(tǒng)結(jié)構(gòu)圖

在多智能體系統(tǒng)中，一方面，每個智能體作為有自主性的實體，作用于自身，自己運轉(zhuǎn)，能自主解決一定的問題；另一方面，通過與其他智能體的通信，可以開發(fā)出新的規(guī)則或求解方法來處理眾多不確定的、相互矛盾的知識事件。這樣，通過智能體間的協(xié)作，多智能體系統(tǒng)不僅改善了每個智能體的基本能力，而且從智能體的交互中進(jìn)一步理解了各個系統(tǒng)的全局，提高多智能體協(xié)同共同完成任務(wù)的能力。

當(dāng)多個智能體組成多智能體系統(tǒng)時，智能體之間就出現(xiàn)了如何協(xié)調(diào)各自的知識、策略和規(guī)劃，如何采取聯(lián)合行動實現(xiàn)全局目標(biāo)等問題。因此，智能體之間的交互和通信是多智能體系統(tǒng)必不可少的組成部分。智能體通信是交互的基礎(chǔ)。智能體之間通信可以傳遞字符流或二進(jìn)制數(shù)流，也可以是在知識層上進(jìn)行表達(dá)、理解和交流，即專門的智能體通信語言，如知識詢問與操作語言（KQML）等。智能體之間的交互方式包括協(xié)調(diào)（coordination）、合作（cooperation）、討論（negotiation）等。協(xié)調(diào)是為了確保智能體活動的有序性和互補性，一般常用的方法有設(shè)定規(guī)章、制定方案和反應(yīng)性操作等。合作是指智能體共同工作達(dá)成一致目標(biāo)最大化效用采取的方法，包括黑板模式、合同網(wǎng)、聯(lián)盟等。討論是一智能體向另一智能體提供服務(wù)的一種方法，包括拍賣、辯論、啟發(fā)等。

此外，由于多智能體系統(tǒng)的復(fù)雜性和動態(tài)性，不可能具備完全的先驗知識，因而學(xué)習(xí)能力是多智能體系統(tǒng)必不可少的能力之一。學(xué)習(xí)方式包括智能體信念的開發(fā)與更新、基于性能的學(xué)習(xí)。一般使用較多的為基于性能學(xué)習(xí)中的強(qiáng)化學(xué)習(xí)、Q學(xué)習(xí)等。整個多智能體系統(tǒng)運行機(jī)制如圖3所示[1?2，4]。

圖3 多智能體系統(tǒng)運行機(jī)制

2 多智能體系統(tǒng)在認(rèn)知無線電頻譜管理中應(yīng)用

的國內(nèi)外相關(guān)研究

近年來，認(rèn)知無線電技術(shù)受到廣泛關(guān)注。需要實現(xiàn)認(rèn)知用戶電磁設(shè)備的智能化，使其能通過頻譜感知技術(shù)監(jiān)測本地電磁環(huán)境的變化，完成本地電磁環(huán)境感知，在本地網(wǎng)絡(luò)中分發(fā)共享頻譜感知信息，作為頻譜管理的依據(jù)，并且能夠通過認(rèn)知無線電干擾估測估計認(rèn)知無線電用戶與授權(quán)用戶之間的干擾，通過用戶間的互相協(xié)商來避免它們之間干擾的發(fā)生。這些龐雜的、分布式的電磁設(shè)備也就構(gòu)成了復(fù)雜的、多變的一個電磁社會。如何使這個電磁社會如人類社會一樣實現(xiàn)自我調(diào)節(jié)、有序運行就是目前需要解決的一大問題。多智能體系統(tǒng)的開發(fā)設(shè)計可看成兩部分互相交織的工作，即智能體設(shè)計（agent design）和智能化社會設(shè)計（society design）[2]。

2.1 認(rèn)知無線電的智能體模型

電磁設(shè)備的智能化使其體現(xiàn)了智能體的特征，因此適用于認(rèn)知無線電的智能體模型的設(shè)計是整個問題的研究基礎(chǔ)。根據(jù)智能體的基本模型，認(rèn)知無線電的智能體所面對的外部環(huán)境是電磁環(huán)境，其完成的工作可以分為感知環(huán)境、智能處理、通信等三個部分，在面對具體問題時，每個部分可進(jìn)行適應(yīng)性調(diào)整和變化。比較有代表性的有以下幾種。

WLAN是早期的具有一定認(rèn)知能力的無線系統(tǒng)，采用CSMA/CA方式使系統(tǒng)具有很大的應(yīng)用靈活性，為了提高其性能，文獻(xiàn)[5]提出了一種智能體模型，如圖4所示。該智能體位于每個WLAN的接入點AP（Access Point），智能體由兩個模塊組成，分別為預(yù)測參數(shù)判斷模塊PPE（Predictive Parameter Estimation）和資源管理優(yōu)化模塊RMO（Resource Management Optimization）組成。PPE模塊的用于感知射頻環(huán)境，并利用智能體預(yù)測模型產(chǎn)生RMO所需的參數(shù)，包括鏈路質(zhì)量、信息交換速率、發(fā)射功率等；RMO由建模優(yōu)化模塊（Utilization Modeling and Optimization，UMO）和優(yōu)化決策模塊（Strategy to Effect Optimal Utilization，EOU）兩部分組成，對接受哪個移動站的請求、發(fā)射功率控制、減少信道選擇沖突等進(jìn)行建模并做出決策；智能體間通過連接所有AP的高速鏈路網(wǎng)進(jìn)行通信[4]。

圖4 認(rèn)知智能體模型圖（一）

文獻(xiàn)[6?7]給出了包含智能體在內(nèi)的次用戶（SU）設(shè)備模型設(shè)計，如圖5所示。該設(shè)備主要由動態(tài)頻譜傳感器DDS（Dynamic Spectrum Sensor）、頻譜特征分析器SC（Spectrum Characterizer）、用戶界面SUI（Secondary User Interface）和智能體組成。DDS主要功能是感知頻譜空穴；SC根據(jù)香農(nóng)定律計算相關(guān)PU（Primary User）用戶信道容量；SUI向智能體發(fā)送通信鏈路服務(wù)質(zhì)量信息。智能體包含知識庫模塊AKM（Agent′s Knowledge Module）和協(xié)同模塊ACM （Agent′s Coordination Module）。AKM根據(jù)傳送的數(shù)據(jù)產(chǎn)生有空余頻譜的PU列表，ACM負(fù)責(zé)智能體之間通信合作[6?7]。

圖5 認(rèn)知智能體模型圖（二）

文獻(xiàn)[8]提出了一種基于智能體的頻譜管理模型，如圖6所示。認(rèn)知無線電設(shè)備由一系列模塊組成，包括能力控制模塊、調(diào)制模塊、數(shù)據(jù)管理模塊、安全管理模塊和通信模塊等。智能體負(fù)責(zé)對這些模塊的管理，監(jiān)督它們所有的操作。智能體可以通過通信模塊與其他智能體進(jìn)行交互，通過掃描功能感知外部環(huán)境。交互與感知得到的信息（空閑頻帶、調(diào)制方式、信道選擇、服務(wù)質(zhì)量、發(fā)射功率等）存儲于共享知識庫，可供所有智能體存儲或檢索信息。于此同時，規(guī)則庫、終端狀態(tài)、用戶操作也與智能體相互作用。從整體上來說，智能體對整個系統(tǒng)進(jìn)行控制[8]。

圖6 認(rèn)知智能體模型圖（三）

2.2 多智能體運行機(jī)制的應(yīng)用

多智能體運行機(jī)制確保了多智能體系統(tǒng)高效有序運作，能實現(xiàn)對整個系統(tǒng)的有效管理。因此，將多智能體運行機(jī)制應(yīng)用于認(rèn)知無線電頻譜管理成為研究的另一方面。不同的多智能體運行機(jī)制從不同的方面完善系統(tǒng)功能。在通信、交互、學(xué)習(xí)三種機(jī)制中，由于通信為智能體交互的基礎(chǔ)，所以主要研究的為智能體間的交互和學(xué)習(xí)機(jī)制的應(yīng)用。

智能體的交互方法促進(jìn)了智能體之間的溝通交流，主要有三種，即協(xié)調(diào)機(jī)制、合作機(jī)制和討論機(jī)制。協(xié)調(diào)機(jī)制的靈活性相對較差，因此使用較少。

合作機(jī)制使智能體在自身無法完成任務(wù)或者其他智能體可以更高效完成任務(wù)的情況下，通過與其他智能體的合作最大化效用。其中，文獻(xiàn)[10]中黑板模型在認(rèn)知無線電網(wǎng)絡(luò)跨層結(jié)構(gòu)中得到了應(yīng)用。黑板是一個共享的問題求解工作空間，問題和初始數(shù)據(jù)都記錄在黑板上，智能體都能看到黑板。每個認(rèn)知無線電節(jié)點產(chǎn)生與當(dāng)前網(wǎng)絡(luò)狀態(tài)相關(guān)的參數(shù)，通過黑板展示，與其他節(jié)點共享信息，實現(xiàn)了帶寬的優(yōu)化利用。它提高了頻譜分配的有效性和整體網(wǎng)絡(luò)的服務(wù)質(zhì)量[9]。合同網(wǎng)是合作機(jī)制中的另一種任務(wù)分享方式，文獻(xiàn)[11]中所有智能體分為管理者和訂約者兩種角色。智能體通過發(fā)布任務(wù)通知書而成為管理者，通過應(yīng)答任務(wù)通知書而成為訂約者。系統(tǒng)中的每一待求解任務(wù)，由承擔(dān)該任務(wù)的智能體負(fù)責(zé)完成。在認(rèn)知無線電網(wǎng)絡(luò)中，該任務(wù)通知書即為請求方案（Call for Proposal），PU（Primary User）智能體即為管理者，SU（Secondary User）為訂約者。每個SU向有空余頻帶的相關(guān)PU發(fā)送請求方案，包括SU的地址、所需頻帶寬度、時間、價格、回復(fù)截止時間等。直至截止時間，SU選擇最佳PU發(fā)送接受信息同時向其他PU發(fā)送拒絕信息[10]。另一種方式為智能體聯(lián)盟，文獻(xiàn)[1]中智能體對整體環(huán)境考慮共同利益而形成聯(lián)盟，共享知識和專門技術(shù)，因而不用通過認(rèn)知無線電終端進(jìn)行大量計算工作，而是通過智能體聯(lián)盟鑒別環(huán)境信息。

討論機(jī)制中智能體間為了表達(dá)各自觀點而進(jìn)行信息交換，為有效解決智能體間的沖突的一種方法。討論機(jī)制中最適用于認(rèn)知無線電頻譜管理的是拍賣方式。文獻(xiàn)[11]中使用的是密封遞價方法（即競買人在規(guī)定的時間內(nèi)將密封的標(biāo)書遞交拍賣人，由拍賣人在事先確定的時間公開開啟，經(jīng)比較后選擇出價最高者成交）。認(rèn)知無線電移動站競爭主用戶無線電網(wǎng)絡(luò)的頻段，SU用戶在規(guī)定的時間內(nèi)將給出價格的標(biāo)書遞交給PU用戶，由PU用戶在事先確定的時間公開開啟，經(jīng)比較后選擇出價最高者成交，該SU用戶在一個超幀的時間內(nèi)保證該頻段的使用。文獻(xiàn)[12]了建立認(rèn)知無線電網(wǎng)絡(luò)頻譜分配的拍賣框架。認(rèn)知無線電網(wǎng)絡(luò)根據(jù)自身使用需求，競爭在某一信道成為主接入網(wǎng)絡(luò)的權(quán)利。考慮網(wǎng)絡(luò)間互相聯(lián)系等情況下，使用了基于加權(quán)圖中最大化匹配問題的polynomial?time算法，求出該信道的主接入網(wǎng)絡(luò)，由此實現(xiàn)各個其他信道的合理使用[12]。除拍賣方式外，智能體也可以第三方的角色出現(xiàn)在頻譜交易過程中。文獻(xiàn)[13]中智能體向PU以固定價格買入頻譜使用權(quán)，再以零售商的方式轉(zhuǎn)賣給SU。在考慮需求不確定因素的情況下使智能體獲得最大利益。

學(xué)習(xí)機(jī)制使智能體通過自身的學(xué)習(xí)過程來完善整個多智能體系統(tǒng)的功能，以適應(yīng)多智能體系統(tǒng)的復(fù)雜性和動態(tài)性。學(xué)習(xí)機(jī)制中基于性能的學(xué)習(xí)是在不同的觸發(fā)條件下有用的學(xué)習(xí)策略，其中的強(qiáng)化學(xué)習(xí)特別適用于認(rèn)知無線電網(wǎng)絡(luò)。文獻(xiàn)[14]中強(qiáng)化學(xué)習(xí)應(yīng)用于認(rèn)知無線電網(wǎng)絡(luò)中的頻譜感知，使用基于強(qiáng)化學(xué)習(xí)的分布式多智能體頻譜感知策略，并在多智能體強(qiáng)化學(xué)習(xí)中采用線性函數(shù)逼近的方法降低了狀態(tài)?行動空間的維度。文獻(xiàn)[15]中強(qiáng)化學(xué)習(xí)應(yīng)用于認(rèn)知無線電網(wǎng)絡(luò)中的頻譜分配，使用價值函數(shù)來評估使用不同發(fā)射參數(shù)的滿意度，并通過最大化長期回報來實現(xiàn)有效頻譜分配和發(fā)射功率選擇。對于大規(guī)模認(rèn)知無線電網(wǎng)絡(luò)，進(jìn)一步使用到了Kanerva?based Function Approximation方法。此外，基于性能學(xué)習(xí)中多智能體Q?Learning方法可以為信道選擇提供策略。文獻(xiàn)[16]通過將其他SU視為環(huán)境的一部分，使單智能體決策擴(kuò)展到多智能體決策。智能體的學(xué)習(xí)內(nèi)容不僅包括可用頻譜，還包括其他智能體的表現(xiàn)。

3 結(jié) 語

多智能體系統(tǒng)是解決認(rèn)知無線電網(wǎng)絡(luò)頻譜管理問題的有效方法。從智能體模型設(shè)計到多智能體運行機(jī)制的應(yīng)用，多智能體系統(tǒng)已深入到認(rèn)知無線電的研究中。多智能體系統(tǒng)的設(shè)計極具挑戰(zhàn)性，探尋更適合于認(rèn)知無線電系統(tǒng)的多智能體系統(tǒng)，使智能體設(shè)計與智能化社會設(shè)計有機(jī)結(jié)合，而不是單獨使用于認(rèn)知無線電網(wǎng)絡(luò)將是未來研究的重要方向。

參考文獻(xiàn)

[1] TRIGUI E， ESSEGHIR M， BOULAHIA L M. On using multi agent systems in cognitive radio networks： A survey [J]. International Journal of Wireless&Mobile Networks， 2012， 4（6）： 11?15.

[2] WOOLDRIDGE M. An introduction to multiagent system [M].West Sussex： Wiley and Sons， 2002.

[3] Liu J.多智能體原理與技術(shù)[M].北京：清華大學(xué)出版社，2003.

[4] 張秋花，薛惠鋒，吳介軍，等.多智能體系統(tǒng)MAS及其應(yīng)用[J].計算機(jī)仿真，2007（24）：133?137.

[5] XIE J， HOWITT I， RAJA A. Cognitive radio resource management using multiagent systems [C]// Proceedings of Consumer Communications and Networking Conference. [S.l.]： CCNC， 2007： 1123?1127.

[6] MIR U， BOULAHIA L M， GAITI D. Utilization of a cooperative multiagent system in the context of cognitive radio network [C]// Proceedings of 2009 Fourth IEEE International Workshop on Communications Environments. Venice， Italy： Springer?Verlag， 2009： 100?104.

[7] MIR U， BOULAHIA L M， GAITI D. Dynamic spectrum sharing for cognitive radio networks using multiagent system [C]// Proceedings of 2011 IEEE Consumer Communications and Networking Conference. Las Vegas， NV： CCNC， 2011： 658?663.

[8] AHMED A， HASSAN M M， SOHAIB O. An agent based architecture for cognitive spectrum management [J]. Australian Journal of Basic and Applied Science， 2011， 5（12）： 682?689.

[9] REDDY Y B， BULLMASTER C. Cross?layer design in wireless cognitive networks [C]// Proceedings of International Conference on Parallel and Distributed Computing Applications and Technologies. Otago： PDCAT， 2008： 462?467.

[10] MIR U， BOULAHIA L M， GAITI D. COMAS： A cooperative multiagent architeture for spectrum for spectrum sharing [J/OL]. [2010?12?10]. http：// www. downloads.hindawi.com/journals/wcn/2010/987691.

[11] CHANG H B， CHEN K C. Auction based spectrum management of cognitive radio networks [J]. IEEE Transactions on Vehicular Technology， 2010， 59（4）： 1923?1935.

[12] KASBEKAR G S， SARKAR S. Spectrum auction framework for access allocation in cognitive radio networks [J]. IEEE/ACM Transations on Networking， 2010， 18（6）：1841?1854.

[13] QIAN L， YE F， GAO L. Spectrum trading in cognitive radio networks：an agent?based model under demand uncertainty [J]. IEEE Transactions on Communications， 2011， 59（11）： 3192?3203.

[14] LUNDEN J， KOIVUNEN V， KULKARNI S R， et al. Reinforcement learninng based distributed multiagent sensing policy for cognitive radio networks [C]// Proceedings of IEEE International Symposium on New Frontiers in Dynamic Spectrum Access Networks. [S.l.]： IEEE， 2011： 642?646.

[15] WU C， CHOWDHURY K， FELICE M D， et al. Spectrum management of cognitive radio using multiagent reinforcement learning [C]// Proceedings of the 9th International Conference on Autonomous Agents and Multiagent System. Richland， SC： [s.n.]， 2010： 1705?1712.

[16] LI H. Multiagent Q?learning for aloha?like spectrum access in cognitive radio system [J/OL]. [2010?05?23]. http：// www.oalib.com/paper/2894239.