王英捷 周濤 陶成
(北京交通大學(xué)電子信息工程學(xué)院,北京 100044)
隨著我國交通的不斷發(fā)展,高鐵目前在我國占骨干地位,其中通信系統(tǒng)是滿足鐵路運營與乘客需求必不可少的部分. 近年來,用戶對通信服務(wù)質(zhì)量需求逐步提升,為了滿足用戶移動通信的需求,鐵路下一代移動通信技術(shù)鐵路長期演進(jìn)(long-term evolution for railway, LTE-R)將在不久的將來成為鐵路專用寬帶移動通信系統(tǒng)主體[1]. 此外,5G的時代已經(jīng)到來,5G系統(tǒng)將支持各種高速場景的應(yīng)用,因此也非常適宜部署在高鐵上,滿足乘客在5G時代對通信服務(wù)的各類需求.
高鐵列車沿線通過多個場景[2],根據(jù)電磁波傳播特性,高鐵信道場景具體被劃分成12類:高架橋、U形槽、車站、隧道、丘陵、鄉(xiāng)村、郊區(qū)、城市等[3]. 此外,有作者提出一種在高鐵通信系統(tǒng)中出現(xiàn)的特殊場景:多鏈路場景[4]. 各種不同的傳播場景對應(yīng)了電磁波在其中不同的傳播特性,影響著通信系統(tǒng)的性能[5]. 如果無線通信系統(tǒng)能夠智能地識別出當(dāng)前的傳播場景,則通過一些自適應(yīng)技術(shù),如自適應(yīng)調(diào)制與編碼,并結(jié)合資源分配與調(diào)度,可以有效地提高系統(tǒng)整體性能. 因此,信道場景識別對于高鐵無線通信網(wǎng)絡(luò)的設(shè)計十分重要.
機器學(xué)習(xí)作為一種在自然語言、圖像領(lǐng)域被大量使用且效果顯著的算法模型,目前在無線通信信道領(lǐng)域應(yīng)用仍然不多. He Ruisi等人采用一系列聚類算法對信道功率延時譜中的多徑分量進(jìn)行聚類分析,提出了多種針對高速場景下的聚類算法,并取得了良好的聚簇性能[6]. Bai Lu等人在Q頻帶下實施了信道測量,并使用人工神經(jīng)網(wǎng)絡(luò)(artificial neural network, ANN)對不同天氣、場景的信道參數(shù)進(jìn)行了預(yù)測. 統(tǒng)計結(jié)果表明,98.8%的預(yù)測數(shù)值與其對應(yīng)的測量結(jié)果誤差小于1 dB[7]. 上述內(nèi)容聚焦于信道多徑分量的聚簇研究、簇模型和多徑簇生滅追蹤,以及針對某一特定場景的信道特征參數(shù)預(yù)測估計. 而本文中我們聚焦于目前成果較少的信道場景識別研究.目前已發(fā)表的主要成果如下:M. I. AlHajri等人將信道轉(zhuǎn)移函數(shù)(channel transfer function, CTF)與頻率相關(guān) 函 數(shù)(frequency correlation function, FCF)作 為 特征,使用K近鄰(K-nearest neighbor, KNN)與加權(quán)K近鄰(weighted K-nearest neighbor, WKNN)針對室內(nèi)的不同場景進(jìn)行了識別[8],最終發(fā)現(xiàn)WKNN在測試集數(shù)據(jù)中的表現(xiàn)最佳,達(dá)到了99.8%的識別準(zhǔn)確率. 文獻(xiàn)[8]的識別內(nèi)容僅僅考慮了幾種簡單的機器學(xué)習(xí)方法而未涉及深度學(xué)習(xí)的模型,且文中并未明確其提出的方法能夠同樣用于時變信道的識別,也并沒有考慮特征融合的方式. 除此之外,針對高速場景下不同傳播環(huán)境的識別仍然較少,因此本文將針對這一獨特場景下的不同傳播環(huán)境,通過多特征融合的方式進(jìn)行識別.
本文基于4G-LTE專網(wǎng)測量下信道實測數(shù)據(jù),使用深度神經(jīng)網(wǎng)絡(luò)與多特征融合的方法對不同信道場景進(jìn)行分類與識別. 首先給出了測量數(shù)據(jù)的來源及信道小尺度特征的提取方法,發(fā)現(xiàn)每種特征都對應(yīng)著一種信道特性,即萊斯因子(K-factor, KF)對應(yīng)了信道衰落程度,均方根時延擴展(root-mean-square delay spread, RMS DS)、均方根多普勒擴展(root-meansquare Doppler spread, RMS DPS)與均方根角度擴展(root-mean-square angular spread, RMS AS)分別刻畫了信道的時-頻-空域的色散程度,他們共同描繪了不同場景的信道特性. 通過上述的特征提取過程,我們認(rèn)為不同特征對識別的性能有著不同的影響,因此我們考慮多特征融合的方法,其中包括了前融合、前饋式融合、后融合,最后在后融合基礎(chǔ)上提出賦予不同特征不同權(quán)重的加權(quán)平均后融合方法,并結(jié)合特征序列式數(shù)據(jù)特點,將全連接層替換為了長短時記憶(long short term memory, LSTM)層. 相較于傳統(tǒng)機器學(xué)習(xí)方法和幾種常用的特征融合方法,該模型在識別準(zhǔn)確率、曲線下面積(area under curve, AUC)兩大指標(biāo)上均達(dá)到最優(yōu)性能,有在高速場景實際應(yīng)用的潛力,可為未來高鐵無線通信專網(wǎng)提升系統(tǒng)整體性能.
本文中所使用的信道測量數(shù)據(jù)為基于京-津線沿線LTE網(wǎng)絡(luò)信道探測所獲得的測量數(shù)據(jù)[9]. 京-津線總長120 km,其中約86%的鐵路位于高架橋之上,平均車速約350 km/h. 列車所經(jīng)過的場景包括鄉(xiāng)村場景、車站場景、郊區(qū)場景,同時有一部分時間處于多鏈路場景之下. 因此本文僅考慮以上四種典型的場景.
1) 鄉(xiāng)村場景
平原場景是京-津高鐵線上最常見的場景,由于地面崎嶇不平,鐵軌被建造在距離地面10~15 m的高架橋上,且高架橋的高度遠(yuǎn)高于其周圍的樹叢與稀疏建筑物. 考慮到LTE基站高度約為30~50 m,此時收發(fā)端無線信號的主要傳播為視距(line-ofsight, LoS)傳播,少量的非視距傳播(non-line-ofsight, NLoS)分量來自于列車行駛遠(yuǎn)離基站后高架橋附近出現(xiàn)的稀疏散射體建筑物與一些具有一定高度的密集樹叢.
2) 車站場景
由于在京-津線上車站的數(shù)目十分稀少,測量時往返多次得到了3個車站的多次測量數(shù)據(jù). 測量數(shù)據(jù)所對應(yīng)的三個車站為典型的半開放式帶頂棚的車站類型.
3) 郊區(qū)場景
郊區(qū)場景是介于平原與城市之間的一種場景.與平原場景相比,郊區(qū)場景具有更加豐富的反射物與散射物,如高層的建筑物、鐵軌兩側(cè)高密的樹叢等. 而與城市場景相對比,郊區(qū)場景建筑物的密集程度類似,但是高度相對較低.
4) 多鏈路場景
多鏈路場景是京-津高鐵線上的一種特殊場景,它與列車所處的實際外在環(huán)境無關(guān). 為了減少列車行駛過程中移動終端的頻繁小區(qū)切換,高鐵組網(wǎng)時,人們將幾個以相同頻率發(fā)送相同信號的物理小區(qū)合并為一個邏輯小區(qū),列車行駛在邏輯小區(qū)中物理小區(qū)的重疊區(qū)域時,移動終端會收到來自于相鄰兩個甚至多個小區(qū)基站同時發(fā)送的信號,這些重疊區(qū)域的場景則作為一種多鏈路場景,也被收集到我們的數(shù)據(jù)庫中.
本文信道特征參數(shù)均是從信道測量獲取的原始信道沖激響應(yīng)(channel impulse response, CIR)數(shù)據(jù)中得到的.
1) KF
KF是信道衰落程度的度量,它是信道沖激響應(yīng)中直射分量與非直射分量的功率之比. 我們通過傳統(tǒng)的矩估計算法來獲取窄帶KF[10].
2) RMS DS
RMS DS是表征無線信道時間色散的重要參數(shù).它為功率延時譜的二階中心距的二次根,即標(biāo)準(zhǔn)差.
3) RMS DPS
RMS DPS經(jīng)常被用于衡量無線信道頻率色散的程度,與RMS DS一樣,它為多普勒功率密度譜的標(biāo)準(zhǔn)差.
4) RMS AS
無線信道的空間色散程度通常通過RMS AS來進(jìn)行衡量,它通過計算功率角度譜的標(biāo)準(zhǔn)差獲得.
四大特征剛好從四大角度來對無線信道進(jìn)行刻畫,包含了衰落程度與空-時-頻特性,因此我們使用四大信道特征作為機器學(xué)習(xí)的輸入特征,對無線信道場景進(jìn)行識別.
經(jīng)過上述特征提取,我們獲得了四種場景所對應(yīng)的信道特征數(shù)據(jù)集. 數(shù)據(jù)集中的每個數(shù)據(jù)都對應(yīng)了一個LTE基站的覆蓋,并進(jìn)行了場景的標(biāo)記. 四種場景的數(shù)據(jù)集如表1所示.
表1 四種場景的數(shù)據(jù)集Tab. 1 Training and testing datasets
我們一共獲取了1 528組數(shù)據(jù),它們被分成1 028組訓(xùn)練數(shù)據(jù)與500組測試數(shù)據(jù). 其中,這些數(shù)據(jù)所對應(yīng)的基站并不是獨立的,測量過程中我們在京-津線經(jīng)過了多次往返,每一個基站所對應(yīng)的信道場景都經(jīng)過了多次采集.
僅僅考慮一個特征(KF、RMS DS、RMS DPS、RMS AS)來進(jìn)行信道場景識別是無法得到較為理想的效果的. 因此我們使用多特征融合的方式,在充分利用信道空-時-頻特性的條件下進(jìn)行識別. 我們參考了在多媒體中基于多特征的人體動作識別與針對RGB的多特征影像識別中的三種常用的特征融合算法[11],它們分別是前融合、前饋式融合、后融合,三種融合方式的詳細(xì)架構(gòu)圖如圖1所示.
圖1 三種融合方式架構(gòu)示意圖Fig. 1 Architecture of three fusion schemes
由圖1可知:前融合是將所有特征無差別地拼合,再進(jìn)行識別;前饋式融合將特征在輸入時獨立化地進(jìn)行處理,在輸出端融合其轉(zhuǎn)換后的表征,相較于前融合,前饋式融合考慮了特征的獨立性,但是引入了額外的權(quán)重參數(shù),也加大了計算的復(fù)雜度;后融合是將輸出的四個置信度得分向量進(jìn)行平均,它最大的優(yōu)勢在于相對較少的參數(shù)量. 然而,不同特征對識別性能的貢獻(xiàn)程度很可能是不同的,后融合這種基于置信度得分向量平均化的融合方式仍然無法取得最優(yōu)的性能,因此我們考慮使用加權(quán)平均后融合的方法,并將全連接層替換成廣泛應(yīng)用于序列式數(shù)據(jù)的LSTM網(wǎng)絡(luò).
如上文所述,考慮到獲取的信道特征流具有序列特性,而LSTM網(wǎng)絡(luò)是一種廣泛應(yīng)用于序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)變體,且能夠克服普通循環(huán)神經(jīng)網(wǎng)絡(luò)中出現(xiàn)的梯度彌散問題[12],因此我們將后融合與LSTM網(wǎng)絡(luò)相結(jié)合,提出了基于LSTM的加權(quán)式平均后融合網(wǎng)絡(luò)模型,并用于高鐵場景下的信道場景識別.
LSTM網(wǎng)絡(luò)中,每一個單元都與普通的神經(jīng)網(wǎng)絡(luò)神經(jīng)元不同,其中包含了大量運算.
圖2為一個帶有窺視孔機制[13]的LSTM基本細(xì)胞單元的內(nèi)部架構(gòu),有:
圖2 帶窺視孔的LSTM細(xì)胞單元基本架構(gòu)Fig. 2 Basic structure of a single LSTM cell with peephole connection
式中: σ(·) 代 表一個門控單元函數(shù), σf(·)為遺忘門,σi(·) 為輸入門, σo(·) 為 輸出門;f t為遺忘門的輸出;i t為 輸入門的輸出;Ct為當(dāng)前t時刻的細(xì)胞狀態(tài),它會被送入下一個時刻的LSTM細(xì)胞單元;o t為輸出門的輸出;h t為 當(dāng)前t時刻的隱藏狀態(tài),也是當(dāng)前t時刻的輸出,同時它被送入下一個時刻的LSTM細(xì)胞單元;⊙表示對應(yīng)元素相乘; [ ·]表示矩陣之間的粘貼運算.
如圖3所示,每一層的LSTM網(wǎng)絡(luò)中包含多個LSTM細(xì)胞單元,它們代表高鐵行駛到某一時刻的狀態(tài),我們將每個時刻所采集到的信道特征數(shù)據(jù)輸入LSTM細(xì)胞單元中并進(jìn)行傳遞.
圖3 信道特征在每一層LSTM細(xì)胞單元中的傳遞Fig. 3 LSTM architecture for channel feature streams
圖4為將加權(quán)平均后融合與LSTM網(wǎng)絡(luò)結(jié)合后的結(jié)構(gòu),我們將第n個 樣本的第k個特征流輸入并經(jīng)過三層LSTM與softmax層后輸出的置信度得分向量表示為
圖4 加權(quán)平均后融合模型架構(gòu)圖Fig. 4 Architecture of weighted score fusion based LSTM model
式中:C是數(shù)據(jù)中場景類型的總數(shù),本文中為四種典型場景,即C=4;K是輸入特征流的數(shù)量,本文中使用1.2節(jié)中描述的四大尺度特征,即K=4. 設(shè)y?是將四種信道特征獨立輸入后,最后在輸出端經(jīng)過加權(quán)后的最終置信度得分向量,有
式中:f(t)(·)為一個轉(zhuǎn)換函數(shù),它可以是線性的(如本文中的線性加權(quán)函數(shù)),也可以是一個非線性的(如徑向基函數(shù)、sigmoid函數(shù)等).
為了達(dá)到模型中加權(quán)平均后融合的效果,我們首先按前面所述的后融合的方式對多層LSTM進(jìn)行訓(xùn)練,獲得K個與不同信道特征相對應(yīng)的置信度得分向量,并將其整合為一個矩陣. 假設(shè)第n個訓(xùn)練數(shù)據(jù)輸入后所得的置信度得分矩陣為
接下來我們定義在每一個特征流輸入后的輸出端被賦予的權(quán)重為 αk,那么權(quán)重向量α=[α1,···,αK]∈RK將會在輸出端所額外增加的一個softmax層中得到學(xué)習(xí)并優(yōu)化以獲得不同特征流輸出向量的最優(yōu)組合方式. 因此網(wǎng)絡(luò)的損失函數(shù)將通過兩個步驟來最小化其交叉熵. 其中交叉熵函數(shù)H(·)的具體定義如下:
式中:p為 理想結(jié)果即正確標(biāo)簽向量;q為識別模型輸出結(jié)果,即經(jīng)過softmax轉(zhuǎn)換后的置信度向量,它們都是一種概率分布.
訓(xùn)練的第一步是通過類似后融合的方式獲得每一個特征流輸入后的置信度得分向量,此時損失函數(shù)的最優(yōu)化目標(biāo)為
式中:N代表訓(xùn)練集中數(shù)據(jù)的總數(shù);y?n表示第n個訓(xùn)練數(shù)據(jù)的實際標(biāo)簽向量;s~n表示第n個訓(xùn)練數(shù)據(jù)的平均置信分?jǐn)?shù)向量.
第二步則是在得到每個特征相應(yīng)的置信得分向量基礎(chǔ)上,優(yōu)化之前所提到的權(quán)重向量 α,在獲得加權(quán)后的向量之后,讓其再次通過一個softmax層,這是因為我們要將得分進(jìn)行一次歸一化以獲得合理的置信度得分結(jié)果. 最終得到的第n個訓(xùn)練數(shù)據(jù)在softmax輸入端的加權(quán)置信得分向量vn為
此時損失函數(shù)的最優(yōu)化目標(biāo)為
需要注意的是,在第一階段所得到的權(quán)重W與偏置項在第二階段的訓(xùn)練中都處于被凍結(jié)的狀態(tài),它們的值將不會在訓(xùn)練時改變,這種二階段凍結(jié)權(quán)重的訓(xùn)練模式是一種非常直接的減輕過擬合現(xiàn)象的方式. 假設(shè)融合前的網(wǎng)絡(luò)架構(gòu)都為三層的LSTM,單層LSTM復(fù)雜度為O(W), 其中W=4n2c+4ni×nc+nc×no+3nc,nc為 LSTM單元中神經(jīng)元個數(shù),ni為輸入維度,no為輸出維度[14]. 四種融合方式的時間復(fù)雜度如表2所示.
表2 四種融合方式的時間復(fù)雜度Tab. 2 Computational complexity of 4 fusion schemes
表2中Ne為額外全連接層的神經(jīng)元數(shù)量,Nf為特征流的數(shù)量,通常認(rèn)為Ne?Nf,本文中Nf為4. 相較于前饋式融合與后融合模式,這種加權(quán)平均后融合的方式在一定程度上可以被認(rèn)為是二者權(quán)衡下的模型 ,復(fù)雜度介于二者之間.
式中:Nl表示第l層 神經(jīng)元個數(shù);U[·]表示均勻分布.而 網(wǎng)絡(luò)中所有的偏置項全部被初始化為0.
表3 不同融合方式的模型每層神經(jīng)元個數(shù)Tab. 3 The number of neurons at each layer in different fusion schemes
初始化之后,網(wǎng)絡(luò)中的所有權(quán)重與偏置項在訓(xùn)練過程中都要通過梯度相關(guān)的算法進(jìn)行更新,本文使用適應(yīng)性矩估計(adaptive moment estimation,Adam)算法來進(jìn)行更新[15]. 與傳統(tǒng)的梯度下降算法(如隨機梯度下降)不同,Adam算法通過計算梯度的一階矩估計和二階矩估計為不同參數(shù)設(shè)計的自適應(yīng)性學(xué)習(xí)率,它適用于包含高噪聲或者稀疏梯度的問題,超參數(shù)也具有較強的可解釋性,并且只需要極少量的參數(shù)調(diào)整即可立即應(yīng)用.
訓(xùn)練完畢后,人們通常設(shè)置驗證集以觀察模型性能并決定是否選擇其他模型,或是調(diào)整一些超參數(shù). 本文采用的是分層k折交叉驗證的驗證算法. 我們設(shè)k為5,這種情況下,訓(xùn)練集中20%的數(shù)據(jù)將被劃分為驗證集,驗證集中包含的每一種類別場景所占比例與它在總體測試集中所占比例相同,因此測試集與劃分出來的驗證集將具有相同的樣本狀態(tài).通過分層五折交叉驗證算法的驗證,我們發(fā)現(xiàn)當(dāng)網(wǎng)絡(luò)中每一種特征流后面的隱藏層數(shù)量超過三層時,性能與三層相仿,并沒有明顯提高,而模型中每多一層隱藏層,就會引入額外的計算復(fù)雜度;反之當(dāng)層數(shù)降低,則性能出現(xiàn)比較明顯的下滑. 具體的識別準(zhǔn)確率結(jié)果如圖5所示.
圖5 不同LSTM層數(shù)下模型的識別準(zhǔn)確率Fig. 5 Accuracy under different number of LSTM layers
因此我們采用每個特征流后接三個隱藏層的方式 ,以權(quán)衡模型性能與復(fù)雜度之間的矛盾.
機器學(xué)習(xí)中最常用的評價模型性能指標(biāo)就是整體預(yù)測識別準(zhǔn)確率. 但是針對樣本不平衡的狀況時,我們需要幾種評估指標(biāo)共同進(jìn)行評價.
混淆矩陣又被稱為誤差矩陣,它是一種特殊的以表格形式來可視化不同算法、模型性能的矩陣. 矩陣中每一列表示模型最終預(yù)測的類別,每一行表示測試集數(shù)據(jù)實際的標(biāo)簽.
我們使用的基于LSTM加權(quán)式后融合的混淆矩陣如圖6所示,可以看到:8%的郊區(qū)場景被誤預(yù)測為多鏈路場景;8%的多鏈路場景被誤預(yù)測為了郊區(qū)場景,其他場景之間的識別誤差情況相對較低. 由于數(shù)據(jù)中存在樣本不平衡的情況,因此僅僅通過識別準(zhǔn)確率與混淆矩陣來衡量模型性能是不全面的,以下我們將使用更多指標(biāo)來綜合地評判.
圖6 基于LSTM的加權(quán)平均后融合算法混淆矩陣Fig. 6 Confusion matrix of weighted score fusion based LSTM model
受試者工作特征(receiver operating characteristic,ROC)曲線是一種更加高階的分類模型性能評估方式,它通常通過曲線圖來直觀展示. ROC曲線最直觀的畫法就是將所有樣本按模型打分從高到低排序,然后將每一個樣本的置信度得分定為上述進(jìn)行硬判決的閾值,其從1到0連續(xù)變化,是模型的真正率與假正率的同步變化曲線,通常坐標(biāo)軸的橫軸為假正率,縱軸為真正率. ROC曲線與橫坐標(biāo)以及縱坐標(biāo)正半軸所圍成的封閉區(qū)間面積被稱為AUC,通過計算,AUC的實際物理意義為分類器Ci將一個測試集中隨機抽取的正例排序于測試集中隨機抽取的反例之前的概率[16]:
AUC越高,正例相比反例得到更高的置信度的可能性就越大;AUC越接近于1說明預(yù)測性能越好;AUC為0.5時說明分類器是將所有測試數(shù)據(jù)進(jìn)行了隨機預(yù)測,是性能最差的狀況. AUC在一定程度上也可以被認(rèn)為是模型魯棒程度的度量,AUC越高,模型魯棒性越好. 而且,AUC可以用于衡量模型在樣本不平衡下的性能.
從圖7可以看到,基于LSTM的加權(quán)平均后融合的ROC曲線與坐標(biāo)軸圍成的面積最大.
圖7 各種融合方式的ROC曲線Fig. 7 ROC curves of different multi-feature fusion schemes
最后,各種模型的所有指標(biāo)結(jié)果在表4給出,可以看出,基于LSTM的加權(quán)平均后融合的神經(jīng)網(wǎng)絡(luò)考慮了不同特征對識別性能的貢獻(xiàn)度差異,所有指標(biāo)均獲得了最優(yōu)的性能,其中識別準(zhǔn)確率達(dá)到了92.2%. 同時,使用多特征融合的神經(jīng)網(wǎng)絡(luò)性能優(yōu)于傳統(tǒng)的機器學(xué)習(xí)算法,如隨機森林、WKNN和SVM.
表4 不同融合方式與常用機器學(xué)習(xí)模型的性能Tab. 4 Performance of multi-feature fusion schemes and regular machine learning models
本文研究了基于機器學(xué)習(xí)的高鐵無線信道場景識別方法. 文中提出的基于LSTM的加權(quán)平均后融合模型在文中所構(gòu)建的高鐵無線信道數(shù)據(jù)庫的測試集上達(dá)到了92.2%的識別準(zhǔn)確率,AUC值為0.99,優(yōu)于幾種常見的融合方法與常用機器學(xué)習(xí)算法. 通過上述數(shù)據(jù)集構(gòu)建的內(nèi)容,我們發(fā)現(xiàn)無線信道典型場景數(shù)據(jù)庫中車站類型的單一化仍是一個尚待解決的問題. 同時,通過混淆矩陣可以看到,多鏈路與郊區(qū)場景之間有相對明顯的誤預(yù)測,所以在以后的研究中我們將對不同信道場景之間的相關(guān)性進(jìn)行分析.