束學(xué)淵 汪立新

(杭州電子科技大學(xué)通信工程學(xué)院 浙江 杭州 310018)

0 引 言

隨著無(wú)線(xiàn)通信技術(shù)的快速發(fā)展，人們對(duì)移動(dòng)通信的傳輸速率和時(shí)延需求不斷提高，各種新技術(shù)占用了新的頻段，導(dǎo)致頻譜資源日趨緊缺。而傳統(tǒng)的靜態(tài)頻譜分配方法導(dǎo)致部分頻段存在空閑狀態(tài)的情況，頻譜利用率亟待提升[1]。頻譜感知作為認(rèn)知無(wú)線(xiàn)電技術(shù)的基礎(chǔ)與核心技術(shù)之一，能夠快速準(zhǔn)確地對(duì)主用戶(hù)信號(hào)進(jìn)行精確檢測(cè)，已是人們?cè)谘芯咳绾纬浞掷妙l譜資源、減少頻譜空閑問(wèn)題的研究熱點(diǎn)[2-4]。傳統(tǒng)的頻譜感知算法主要包括能量檢測(cè)[5]、匹配濾波器檢測(cè)[6]和循環(huán)平穩(wěn)特征檢測(cè)[7]等。傳統(tǒng)算法通過(guò)構(gòu)造統(tǒng)計(jì)量基于手動(dòng)調(diào)節(jié)的閾值進(jìn)行判決，而人工設(shè)定的閾值，受到采樣不完全等影響，很難確定較優(yōu)的閾值，在低信噪比情況下分類(lèi)效果較差。而基于機(jī)器學(xué)習(xí)的分類(lèi)算法，在大量數(shù)據(jù)上通過(guò)損失函數(shù)進(jìn)行迭代優(yōu)化，訓(xùn)練分類(lèi)模型，模型基于樣本特征進(jìn)行分類(lèi)判決，避免了用單一閾值進(jìn)行判決。文獻(xiàn)[8-9]將神經(jīng)網(wǎng)絡(luò)應(yīng)用于頻譜感知中，在低信噪比下獲得了較好的檢測(cè)概率。文獻(xiàn)[10]運(yùn)用狼群優(yōu)化方法對(duì)訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)模型的權(quán)值矩陣進(jìn)一步優(yōu)化，其檢測(cè)性能優(yōu)于自組織神經(jīng)網(wǎng)絡(luò)算法。文獻(xiàn)[11-13]利用支持向量機(jī)訓(xùn)練模型對(duì)測(cè)試信號(hào)特征進(jìn)行分類(lèi)檢測(cè)。文獻(xiàn)[14]使用隨機(jī)森林算法作為頻譜感知分類(lèi)器。

本文采用XGBoost算法作為頻譜感知分類(lèi)器。XGBoost算法[15]是陳天奇等于2015提出的一種集成學(xué)習(xí)算法，是GBDT算法的改進(jìn)算法。GBDT算法是提升(boosting)方法的一種實(shí)現(xiàn)，其思想是不斷降低殘差，使上一次的迭代模型殘差在當(dāng)前梯度方向上下降，不斷優(yōu)化模型。模型達(dá)到較好評(píng)估指標(biāo)一般需要一定數(shù)量的CART樹(shù)，當(dāng)數(shù)據(jù)量較大時(shí)，會(huì)導(dǎo)致GBDT模型計(jì)算量巨大，而XGBoost算法在特征粒度上進(jìn)行并行處理。XGBoost算法在訓(xùn)練之前，預(yù)先對(duì)數(shù)據(jù)進(jìn)行了排序，并以block結(jié)構(gòu)保存，在之后的迭代優(yōu)化中重復(fù)地使用這一結(jié)構(gòu)。在進(jìn)行節(jié)點(diǎn)的分裂時(shí)，需要計(jì)算每個(gè)特征各個(gè)切分點(diǎn)的增益，最終選擇增益最大的那個(gè)特征的切分點(diǎn)去做分裂，對(duì)各個(gè)特征切分點(diǎn)的增益計(jì)算進(jìn)行并行處理，大大減小了計(jì)算量。在迭代優(yōu)化過(guò)程中，GBDT算法的損失函數(shù)只進(jìn)行了一階泰勒展開(kāi)，而XGBoost算法對(duì)其損失函數(shù)進(jìn)行二階泰勒展開(kāi)，對(duì)損失函數(shù)進(jìn)行更精確的估計(jì)。并且該算法在計(jì)算損失時(shí)加入正則懲罰項(xiàng)，在迭代優(yōu)化時(shí)進(jìn)行預(yù)剪枝，有效控制模型的復(fù)雜度。

1 系統(tǒng)模型

為了對(duì)頻譜資源展開(kāi)實(shí)時(shí)有效的檢測(cè)，根據(jù)認(rèn)知無(wú)線(xiàn)電系統(tǒng)中PU信號(hào)頻譜感知特點(diǎn)，假設(shè)存在W個(gè)主用戶(hù)和G個(gè)次級(jí)用戶(hù)，且各主用戶(hù)信號(hào)互不干擾。各路徑具有不同時(shí)延，并分別進(jìn)入判決系統(tǒng)中。對(duì)任何一個(gè)次級(jí)用戶(hù)，可以將其抽象為一個(gè)二元假設(shè)檢驗(yàn)?zāi)Ｐ?

(1)

2 基于循環(huán)平穩(wěn)信號(hào)的特征提取

2.1 信號(hào)循環(huán)譜特征篩選

假設(shè)任意一個(gè)二級(jí)用戶(hù)的接收端信號(hào)為y(t)，其循環(huán)自相關(guān)函數(shù)為：

(2)

式中：α為循環(huán)頻率；T0為循環(huán)周期；R(t,τ)為y(t)的自相關(guān)函數(shù)。

對(duì)其自相關(guān)函數(shù)進(jìn)行傅里葉變換得到循環(huán)譜密度函數(shù)為：

(3)

采用頻域平滑法進(jìn)行循環(huán)譜估計(jì)，在去除零循環(huán)頻率情況下，選取能量最大的循環(huán)譜向量作為初始樣本特征，但是此時(shí)數(shù)據(jù)維度很高，因此采用PCA進(jìn)行降維處理。

2.2 主成分分析

PCA是一種常用的數(shù)據(jù)分析方法。PCA通過(guò)線(xiàn)性變換將原始數(shù)據(jù)變換為一組各維度線(xiàn)性無(wú)關(guān)的表示，可用于提取數(shù)據(jù)的主要特征分量，對(duì)高維數(shù)據(jù)進(jìn)行降維處理，降低數(shù)據(jù)冗余。在頻譜感知模型中，利用PCA算法對(duì)循環(huán)譜向量進(jìn)行降維的主要步驟如下：

設(shè)x1，x2，…,xn表示n個(gè)在H0或H1情況下信號(hào)循環(huán)譜能量最大的向量，每個(gè)樣本向量有m個(gè)變量，組成初始數(shù)據(jù)集矩陣X。

(4)

1) 求矩陣X的相關(guān)系數(shù)矩陣:

(5)

矩陣R中的元素：

(6)

2) 求矩陣R的特征值，并按從大到小的順序排列λ1≥λ2≥…≥λm；分別求出對(duì)應(yīng)于特征值的特征向量U1,U2,…,Um。

3) 計(jì)算主成分累計(jì)貢獻(xiàn)率，選取主成分：

(7)

式中：φ(K)累計(jì)貢獻(xiàn)率；假設(shè)threshold≥0.80；K

設(shè)Y為降維后取前K個(gè)主成分矩陣，則：

Y=XU

式中：U=[U1,U2,…,UK]。

通過(guò)以上步驟就可以對(duì)樣本實(shí)現(xiàn)降維處理，實(shí)現(xiàn)高維數(shù)據(jù)向低維數(shù)據(jù)的映射。

3 XGBoost算法

XGBoost是串行樹(shù)結(jié)構(gòu)，第k棵樹(shù)結(jié)構(gòu)的生成取決于前k-1棵樹(shù)的結(jié)構(gòu)。XGBoost算法希望建立K個(gè)回歸樹(shù)，使得樹(shù)群的預(yù)測(cè)值盡可能逼近真實(shí)值而且有盡量大的泛化能力，是一個(gè)泛函最優(yōu)化問(wèn)題。

3.1 損失函數(shù)

XGBoost的數(shù)學(xué)模型表示為：

(8)

式中：K為樹(shù)的棵數(shù)；fk(xi)是第k棵樹(shù)對(duì)于輸入xi特征的輸出得分值；fk是相對(duì)應(yīng)的映射函數(shù)；F是相應(yīng)函數(shù)空間。

損失函數(shù)表示為：

(9)

每次循環(huán)的往模型中加入一棵回歸樹(shù)，其損失函數(shù)都會(huì)發(fā)生改變。在加入第t棵樹(shù)時(shí)，前第t-1棵樹(shù)已經(jīng)訓(xùn)練完成，此時(shí)前t-1棵樹(shù)的正則懲罰項(xiàng)和訓(xùn)練誤差均是已知常數(shù)項(xiàng)。

此時(shí)，XGBoost的目標(biāo)函數(shù)可以寫(xiě)為：

(10)

對(duì)于目標(biāo)損失函數(shù)中的正則懲罰項(xiàng)部分，從單一的樹(shù)結(jié)構(gòu)來(lái)考慮，對(duì)于其中每一棵回歸樹(shù)，其模型可以寫(xiě)成：

ft(x)=wq(x)w∈RT,q:Rd→{1,2,…,T}

(11)

式中：T為該樹(shù)的葉子節(jié)點(diǎn)個(gè)數(shù)；w為葉子節(jié)點(diǎn)的得分值；q(x)是模型映射，用來(lái)將樣本映射到1到T的某個(gè)節(jié)點(diǎn)內(nèi)，代表了CART樹(shù)的結(jié)構(gòu)；wq(x)即為單個(gè)樹(shù)模型對(duì)樣本x的預(yù)測(cè)值了。

樹(shù)的L2復(fù)雜度懲罰為：

(12)

此時(shí)，XGBoost的目標(biāo)函數(shù)可以改寫(xiě)為：

(13)

3.2 求解節(jié)點(diǎn)最優(yōu)值

用泰勒二階展開(kāi)式近似表示損失函數(shù)，將ft(xi)看作Δx,則原目標(biāo)損失函數(shù)可以寫(xiě)成：

(14)

(15)

(16)

式中：T表示第t棵樹(shù)中葉子節(jié)點(diǎn)數(shù)量；Ij={i|q(xi)=j}表示分在第j個(gè)葉子節(jié)點(diǎn)上樣本的序號(hào)；wj表示第j個(gè)葉子節(jié)點(diǎn)的打分值。

(17)

對(duì)wj求偏導(dǎo)，并令其導(dǎo)函數(shù)為0，則有：

Gj+(Hj+λ)wj=0

(18)

(19)

則目標(biāo)函數(shù)最優(yōu)值為：

(20)

L*是用來(lái)評(píng)估第t棵CART樹(shù)節(jié)點(diǎn)分裂的標(biāo)準(zhǔn)。

3.3 求解最優(yōu)樹(shù)結(jié)構(gòu)

評(píng)價(jià)任意一個(gè)特征的任意一個(gè)切分點(diǎn)好壞的標(biāo)準(zhǔn)如下：

(21)

Gain是單節(jié)點(diǎn)的L*減去切分后生成的兩個(gè)節(jié)點(diǎn)的L*，Gain如果為正數(shù)，并且值越大，就越值得切分。γ是一個(gè)臨界值，它的值越大，表示對(duì)切分后L*降低的幅度要求越嚴(yán)格，相當(dāng)于在建樹(shù)的同時(shí)做了預(yù)剪枝，控制模型的復(fù)雜度。

對(duì)剩余特征的所有切分點(diǎn)掃描結(jié)束后，通過(guò)計(jì)算確定是否分裂該節(jié)點(diǎn)，如果分裂，對(duì)分裂出來(lái)的兩個(gè)節(jié)點(diǎn)，遞歸地調(diào)用這個(gè)分裂過(guò)程，最優(yōu)的樹(shù)結(jié)構(gòu)找到后，繼續(xù)迭代生成下一棵樹(shù)，直到模型達(dá)到最優(yōu)或一定閾值停止。

4 頻譜感知算法步驟

步驟1根據(jù)系統(tǒng)模型，分別在H1和H0情況下，生成信號(hào)循環(huán)譜。在去除零循環(huán)頻率后，選取能量最大的循環(huán)譜向量作為初始正負(fù)樣本特征，設(shè)正負(fù)初始樣本分別生成Q1、Q0個(gè)。

步驟2利用PCA對(duì)初始樣本組成的矩陣進(jìn)行降維變換處理，確定主成分累積貢獻(xiàn)率閾值，計(jì)算降維后主成份提取維數(shù)，獲取降維樣本數(shù)據(jù)。

步驟3將樣本數(shù)據(jù)切分為訓(xùn)練樣本data_train和測(cè)試樣本data_test。

步驟4根據(jù)上文XGBoost算法生成步驟，利用訓(xùn)練數(shù)據(jù)data_train對(duì)XGBoost算法進(jìn)行訓(xùn)練優(yōu)化，通過(guò)分步網(wǎng)格搜索確定超參數(shù)，確定最終算法模型。

步驟5利用測(cè)試樣本data_test通過(guò)各項(xiàng)指標(biāo)對(duì)算法模型進(jìn)行評(píng)估。

5 實(shí)驗(yàn)與分析

為了驗(yàn)證本文算法在低信噪比條件下的感知效果，以BPSK信號(hào)作為主用戶(hù)信號(hào)，在MATLAB R2014a和Python中聯(lián)合仿真。信號(hào)的仿真參數(shù)設(shè)置為：載波頻率fc為3.5 kHz；采樣頻率fs為500 Hz；采樣點(diǎn)數(shù)N=4 000。采用頻域平滑法進(jìn)行循環(huán)譜估計(jì)，通過(guò)網(wǎng)格參數(shù)搜索確定XGBoost算法的超參數(shù)。

實(shí)驗(yàn)一訓(xùn)練數(shù)據(jù)采樣對(duì)比實(shí)驗(yàn)。

本文分別增加低信噪比數(shù)據(jù)比例和高信噪比數(shù)據(jù)比例與均勻采樣的訓(xùn)練數(shù)據(jù)作對(duì)比，訓(xùn)練數(shù)據(jù)信噪比取值在-20～-6 dB之間。其中：第一組各信噪比處均為800個(gè)；第二組：-10，-12，-14，-16，-18，-20各取800個(gè)，-6，-8各取1 200個(gè)；第三組：-6，-8，-10，-12，-14，-16各取800個(gè)，-18，-20各取1 200個(gè)。測(cè)試數(shù)據(jù)各信噪比處均為1 200個(gè)。分別將以上三組訓(xùn)練數(shù)據(jù)使用XGBoost算法訓(xùn)練出三個(gè)模型model_1、model_2、model_3，各模型測(cè)試結(jié)果如圖1、表1所示。

圖1 模型在各信噪比測(cè)試數(shù)據(jù)上AUC值

表1 三組模型時(shí)間效率對(duì)比

從圖1可以看出，Model_2表現(xiàn)相對(duì)于Model_1基本一致，由于低信噪比處數(shù)據(jù)噪聲較少，模型對(duì)低噪聲數(shù)據(jù)分類(lèi)效果已經(jīng)接近極限，增加數(shù)據(jù)量也不會(huì)提升其表現(xiàn)，只會(huì)增加模型訓(xùn)練和測(cè)試時(shí)間。Model_3相對(duì)于Model_1在-18 dB、-20 dB處的測(cè)試集AUC值分別提升4.57%、4.97%，在-14 dB處下降2.54%，這表明增加低信噪比數(shù)據(jù)可使得模型在低信噪處表現(xiàn)有一定提升，但是其一次訓(xùn)練時(shí)間相對(duì)于Model_1增加了37.96%，通過(guò)網(wǎng)格搜索或分步網(wǎng)格搜索其訓(xùn)練時(shí)間增加量是很大的。此外對(duì)一共9 600個(gè)測(cè)試樣本來(lái)看，Model_3的檢測(cè)效率明顯降低，相對(duì)于Model_1其檢測(cè)時(shí)間增加了12.92%，這表明Model_3的復(fù)雜度更高。因此以下實(shí)驗(yàn)均采用第一組訓(xùn)練數(shù)據(jù)采集方案。

實(shí)驗(yàn)二信號(hào)檢測(cè)性能對(duì)比實(shí)驗(yàn)。

圖2為在信噪比分別為-12 dB、-16 dB情況下基于XGBoost、RF、SVM的循環(huán)平穩(wěn)特征算法與傳統(tǒng)循環(huán)平穩(wěn)特征算法ROC曲線(xiàn)的比較，可以看出基于機(jī)器學(xué)習(xí)的改進(jìn)算法在各虛警率處均明顯高與傳統(tǒng)算法。而基于XGBoost的改進(jìn)算法在各信噪比的檢測(cè)概率均優(yōu)于基于SVM和RF的改進(jìn)算法。如表2所示，在虛警率為0.01、0.03、0.05、0.07處，測(cè)試數(shù)據(jù)-12 dB時(shí)，XGBoost改進(jìn)算法的檢測(cè)概率相對(duì)于SVM改進(jìn)算法分別提升8.53%、5.34%、5.92%、5.17%，相對(duì)于RF改進(jìn)算法分別提升7.62%、7.31%、6.81%、3.62%。如表3所示，測(cè)試數(shù)據(jù)為-16 dB時(shí)，XGBoost改進(jìn)算法的檢測(cè)概率相對(duì)于SVM改進(jìn)算法分別提升13.48%、13.95%、12.18%、9.48%，相對(duì)于RF改進(jìn)算法分別提升13.11%、11.03%、16.25%、12.84%。這說(shuō)明XGBoost改進(jìn)算法在低虛警率情況下提升明顯。

圖2 基于XGBoost算法和RF算法、SVM算法、 傳統(tǒng)循環(huán)平穩(wěn)特征算法ROC曲線(xiàn)比較

表2 SNR為-12 dB,各算法在低虛警率處檢測(cè)概率比較

表3 SNR為-16 dB,各算法在低虛警率處檢測(cè)概率比較

實(shí)驗(yàn)三信號(hào)檢測(cè)概率對(duì)比實(shí)驗(yàn)。

圖3為在虛警率為0.05的情況下，當(dāng)信噪比大于等于-8 dB時(shí)，各算法均達(dá)到或接近100%的檢測(cè)概率。在信噪比小于等于-10 dB時(shí)，基于機(jī)器學(xué)習(xí)的改進(jìn)算法大幅優(yōu)于傳統(tǒng)的循環(huán)。XGBoost算法在低信噪比時(shí)也全面優(yōu)于SVM算法和RF算法，在信噪比為-14 dB、-16 dB、-18 dB、-20 dB時(shí)，XGBoost算法相對(duì)于SVM算法分別提升了11.05%、12.21%、20.36%、23.53%，相對(duì)于RF算法分別提升了12.42%、14.54%、11.13%、12.24%。這說(shuō)明XGBoost算法有更好的抗噪聲能力。

圖3 三種算法在不同信噪比下檢測(cè)概率比較

6 結(jié) 語(yǔ)

本文提出了一種基于極限梯度提升樹(shù)的循環(huán)譜特征頻譜感知算法，通過(guò)對(duì)比支持向量算法、隨機(jī)森林算法、傳統(tǒng)循環(huán)平穩(wěn)特征算法，本文算法在低信噪比處檢測(cè)概率明顯優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)算法和傳統(tǒng)循環(huán)譜算法。后續(xù)將嘗試構(gòu)造新特征，并做模型融合嘗試。