劉為波,顏 彪,沈 麟,丁宇舟

(揚州大學(xué) 信息工程學(xué)院,江蘇 揚州 225009)

0 引 言

作為第5代無線通信系統(tǒng)的關(guān)鍵技術(shù),大規(guī)模多輸入多輸出(Multiple-Input Multiple-Output,MIMO)是當(dāng)前最具有吸引力的未來無線接入技術(shù)之一[1-2]。但為了能獲得大規(guī)模多輸入多輸出帶來的容量增益,基站端(Base Station,BS)需要準(zhǔn)確地接收到來自移動端(User Equipment,UE)的信道狀態(tài)信息(Channel State Information,CSI)反饋。在時分雙工(Time Division Duplex,TDD)模式下,下行信道狀態(tài)信息可以根據(jù)信道的互易性從上行鏈路獲得,而在頻分雙工(Frequency Division Duplex,FDD)模式下,信道不存在互易性,信道狀態(tài)信息必須通過UE端進行信道估計然后反饋給基站端。盡管TDD模式為當(dāng)前工作主流模式,但FDD模式下的低延遲特性在未來許多場景中可以得到充分的應(yīng)用。天線數(shù)量的增加帶來反饋開銷的急劇上升,因此減少反饋開銷的研究也隨之展開。

傳統(tǒng)的信道反饋技術(shù)[3-5]只考慮到了信道的稀疏性,卻忽略了低秩的性質(zhì)。近年來,機器學(xué)習(xí)方法在不同領(lǐng)域的成功證明了其強大的學(xué)習(xí)能力。CsiNet[6]的出現(xiàn)說明了深度學(xué)習(xí)在無線通信的物理層能夠得到成功的應(yīng)用,開創(chuàng)了CSI反饋新方法的先河。此方法采用encoder-decoder結(jié)構(gòu),進行端到端神經(jīng)網(wǎng)絡(luò)參數(shù)訓(xùn)練,通過編碼器壓縮一定大小的碼字來進行反饋以達到減少負載開銷的目的。隨后的研究都是以CsiNet為基礎(chǔ)進行的改進[7-20],大多數(shù)以數(shù)據(jù)驅(qū)動來設(shè)計網(wǎng)絡(luò),端到端的黑匣子設(shè)計方式其網(wǎng)絡(luò)結(jié)構(gòu)與性能難以解釋。模型驅(qū)動[21-24]的方式能夠減少對計算資源和訓(xùn)練時間的需求,也易于設(shè)計和解釋網(wǎng)絡(luò)結(jié)構(gòu)。采用結(jié)合深度學(xué)習(xí)(Deep Learning,DL)的方法能夠加快迭代速度,進一步提高性能。

受模型驅(qū)動的啟發(fā),本文提出AMFISTANet(Attention Module Fast Iterative Shrinkage Thresholding Algorithm Network),通過注意力機制與FISTANet結(jié)合,在網(wǎng)絡(luò)層設(shè)計上可解釋性強,嵌入式的注意力模塊其復(fù)雜性極低,通過加入噪聲模塊更加貼合實際應(yīng)用。仿真結(jié)果證明AMFISTANet的性能得到了進一步的提升,其魯棒性也更好。

1 系統(tǒng)模型

考慮一個單蜂窩FDD大規(guī)模MIMO系統(tǒng)模型,其中BS端和UE端分別包含Nt和Nr根發(fā)射天線,其中Nr<

(1)

(2)

式中:Tc和Tt的大小分別為Nc×Nc和Nt×Nt。角延遲矩陣H′中每個元素對應(yīng)著一定的路徑延遲和到達角,并且前Na行包含了大部分的非零值,取其前Na行的截斷矩陣為H。盡管稀疏結(jié)構(gòu)能夠減少一大部分元素,但其反饋的負載開銷依舊巨大,這就需要通過編譯碼器進一步地壓縮才能反饋。設(shè)壓縮比η=2NcNt/s,s為壓縮后碼字的長度,表示為

s=fe(H,θe)

(3)

(4)

式中:fd和θd分別代表編碼處理和編碼器參數(shù)。

(5)

2 網(wǎng)絡(luò)設(shè)計

2.1 注意力模塊

整體網(wǎng)絡(luò)的設(shè)計主要由編碼器的CBAM(Convolutional Block Attention Module)[26]和譯碼器的FISTA網(wǎng)絡(luò)組成,如圖1所示。編碼器處的CBAM模塊包含通道注意力和空間注意力兩個子模塊,分別進行通道和空間上的attention。輕量化網(wǎng)絡(luò)在殘差結(jié)構(gòu)做到輕松嵌入,節(jié)省了大量的參數(shù)和算力。神經(jīng)網(wǎng)絡(luò)只能實值訓(xùn)練,因此信道復(fù)系數(shù)需要虛實分開輸入到網(wǎng)絡(luò)中。

圖1 AMFISTANet整體結(jié)構(gòu)Fig.1 Overall structure of AMFISTANet

編碼器實現(xiàn)如圖2所示。首先,受CLNet的啟發(fā),筆者使用了1×1的卷積核進行虛實結(jié)合,產(chǎn)生c個通道,c為卷積核的數(shù)量,這樣便能充分利用到復(fù)系數(shù)的相位關(guān)系。隨后連接通道注意力模塊,輸入的特征圖(H×W×C)通過殘差進行分支,分別進行全局平均池化(avg)和全局最大池化(max),大小為1×1×C,然后送入到參數(shù)共享的多層感知機(Multilayer Perceptron,MLP)中,生成的特征進行逐點相加,通過sigmoid激活函數(shù)的結(jié)果與主干進行一個相乘即可完成通道注意。通道注意力操作可表示為

maskc=s[mlp(avg(F))+mlp(max(F))]

(6)

式中:F為輸入特征圖;avg和max分別表示全局平均池化和全局最大池化;s為激活函數(shù)操作。

圖2 編碼器結(jié)構(gòu)Fig.2 Structure of the encoder

空間注意機制通過最大池化和平均池化分別生成一個H×W×1的特征圖,隨后進行拼接操作,通過卷積層生成H×W×1的特征圖與主干相乘,可表示為

masks=s[f(avg(F);max(F))]

(7)

式中:F為特征圖;avg為平均池化;max為最大池化;f為變成1通道的卷積操作;s為激活函數(shù)操作。最后CBAM經(jīng)過一個3×3的卷積核輸出到全連接層進行碼字壓縮,通過上行鏈路反饋給BS端的譯碼器進行重構(gòu)。

2.2 FISTANet

軟閾值迭代算法(ISTA)采用Nesterov加速技術(shù)得到快速迭代收縮閾值算法(FISTA),兩種方法都是稀疏恢復(fù)的經(jīng)典算法。FISTA用一種更為聰明的辦法選擇序列{xk},使得其基于梯度下降思想的迭代過程更加快速地趨近問題函數(shù)F(x)的最小值。通過深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)參數(shù)化能夠進一步提高計算速度[22]。通過向量化H,得到h=vec(H),解碼器端的CSI重構(gòu)問題可以表示為

(8)

式中:第二項為重構(gòu)問題的約束項;l1范數(shù)作為正則化項,可以產(chǎn)生一個稀疏模型用于特征選擇;Wen為編碼器全連接層的權(quán)重;λ為稀疏變換;τ為懲罰系數(shù)。針對上式的凸優(yōu)化問題,可以選擇基于梯度下降的方法來求解,如FISTA算法。FISTA算法通過閾值收縮來更新h。首先設(shè)y1=h0,在第k次迭代中,

(9)

hk=λ-1(soft(λ(mk),τ))

(10)

(11)

soft(g,τ)=sign(g)max{|g|-τ,0}

(12)

式中:sign(·)為符號函數(shù)。

(13)

yk+1=hk+γk(hk-hk-1)

(14)

經(jīng)過式(13)的操作后,mk重塑成兩通道的Mk方便輸入到下一個卷積層。為了使λ能夠得到更加稀疏的表示,添加了一個包括1×1卷積和5×5卷積以及一個線性修正單元(ReLu)非線性變換υ(·)和逆稀疏變換υ-1(·),以此替換掉λ和λ-1。同時3×3的卷積層用1×1卷積替代作為頭部卷積,并在逆稀疏變換層后也進行添加。最后為了防止過擬合和梯度爆炸,添加了殘差結(jié)構(gòu)。式(9)推導(dǎo)出新公式:

hk=Mk+f(υ-1(soft(υ(f(Mk)),τ)))

(15)

式中:f為5×5卷積操作。

圖3 第K次迭代的FISTANet Fig.3 The Kth iteration of FISTANet

訓(xùn)練過程中的損失函數(shù)可以重新定義為

(16)

式中:μ和ζ是平衡參數(shù);第一項為標(biāo)準(zhǔn)的均方誤差;第二項是第K階段下真實值和迭代值的差異,第三項是為了讓非線性變換υ和其逆變換υ-1通過哈達瑪積相乘盡可能為單位矩陣,即υ°υ-1=I。

3 實驗仿真

為了能夠得到統(tǒng)一對比,使用了COST2100信道模型產(chǎn)生的數(shù)據(jù)進行對比。更進一步講,采用了CsiNet[6]中的預(yù)處理好的數(shù)據(jù)。室內(nèi)和室外范圍分別設(shè)置為20 m和400 m的方形區(qū)域,UE端在方形區(qū)域內(nèi)隨機采樣,頻段分別在5.3 GHz和300 MHz。使用了均勻線陣(Uniform Linear Array,ULA)天線方案,BS端部署32根天線,Nc=1 024,UE端配備單天線,通過2D離散傅里葉變換轉(zhuǎn)換到角延遲域,保留前32行作為最后的H,大小為32×32。

信道模型產(chǎn)生的120 000樣本,10 000作為訓(xùn)練集,20 000為測試集。epoch=300,迭代次數(shù)K=20,每次訓(xùn)練的批次為64。學(xué)習(xí)率采用衰減學(xué)習(xí)率,初始學(xué)習(xí)率為0.001,每100個epoch學(xué)習(xí)率乘0.1。

(17)

比較了幾個最新的方法,包括CLNet[12]、FISTANet[24]以及CsiNet,在不同壓縮比下室內(nèi)室外環(huán)境的NMSE如表1所示。表1中性能最好的情況用加粗字體標(biāo)出,可以看出,AMFISTANet在不同壓縮比和不同環(huán)境下均表現(xiàn)出了更優(yōu)異的性能。AMFISTANet和FISTANet在參數(shù)上的差距尤其是編碼器部分幾乎沒有增加,衡量網(wǎng)絡(luò)標(biāo)準(zhǔn)的復(fù)雜度MACC只有在基站的譯碼器部分有了一小部分的增加。值得注意的是,盡管復(fù)雜度高于目前最新的網(wǎng)絡(luò),但在實際部署中,新引入的信道樣本訓(xùn)練往往不需要那么多次迭代,50個epoch以內(nèi)的迭代即可達到總迭代性能的97%,而其他方法則需要更多的迭代次數(shù)才能達到方法的極限性能。

表1 不同方法NMSE對比Tab.1 Comparison of NMSE among different methods

文中提到閾值的選擇會對恢復(fù)結(jié)果有很大影響,因此,針對ST-Net子網(wǎng)絡(luò)的全連接層進行了消融研究,對MLP中間的全連接層設(shè)置不同的壓縮比,實驗分別設(shè)置通道壓縮比為1/8,1/4,1/2。因為在網(wǎng)絡(luò)訓(xùn)練期間前50個eopch就能達到很好的性能,因此,網(wǎng)絡(luò)在epoch=50,SNR=20,CR=4時測試不同通道壓縮比的性能,如圖4所示,比較了室內(nèi)和室外環(huán)境下性能差異?？梢钥闯?通道壓縮比為1/2時室內(nèi)外環(huán)境表現(xiàn)最好,壓縮比為1/4情況下表現(xiàn)較差。室內(nèi)環(huán)境下不同MLP通道壓縮比對閾值的選擇有較大的影響,而室外環(huán)境幾乎沒有太大差異,原因可能在于室內(nèi)環(huán)境相對于室外的CSI更具有一定的規(guī)律性,超參數(shù)的選擇對有規(guī)律的CSI影響更大。

圖4 MLP內(nèi)不同通道壓縮比性能比較Fig.4 Comparison of compression ratio performance among different channels within MLP

為了能夠貼合實際應(yīng)用,添加了加性高斯白噪聲進行了比較,在CR=4的室內(nèi)環(huán)境[26]下進行了對比,結(jié)果如圖5所示,可見在大信噪比下AMFISTANet依舊能夠保持很優(yōu)異的性能。

圖5 CR=4室內(nèi)環(huán)境下的性能比較Fig.5 Comparison of performance in an indoor environment with CR=4

在網(wǎng)絡(luò)訓(xùn)練的過程中,編碼器網(wǎng)絡(luò)還嘗試加入不同的注意力機制,包括ECANet[27]、CANet[28]和Transformer[13]。圖6比較了在CR=4下室內(nèi)和室外的結(jié)果,盡管CANet、ECANet在室內(nèi)表現(xiàn)的更佳,但在室外環(huán)境下其性能與FISTANet相比反而有所下降,因此選擇了性能折中方法。在高壓縮比(CR=64)的戶外情況下,Transformer嵌入的編碼器網(wǎng)絡(luò)測試性能可以達到-3.0 dB,證明了Transformer對更加注重整體特征圖而模糊細節(jié)部分。

圖6 各種注意力嵌入比較Fig.6 Comparison under various attention embeddings

受以上注意力機制的啟發(fā),在實際環(huán)境部署中,可以考慮針對特定環(huán)境下設(shè)計反饋網(wǎng)絡(luò),以此進一步提高性能。

良好的CSI可以對下游工作如功率分配、天線選擇、方案切換等帶來益處,不僅可以提高通信質(zhì)量,還可以降低系統(tǒng)整體的復(fù)雜度。

4 結(jié)束語

本文針對FDD模式下大規(guī)模MIMO的CSI反饋問題,提出了一種基于DL的網(wǎng)絡(luò)結(jié)構(gòu)AMFISTANet。在整個網(wǎng)絡(luò)中,編碼器端嵌入注意力機制并串聯(lián)卷積層進行設(shè)計,其輕量化設(shè)計在實際部署也更容易實現(xiàn);譯碼器端的FISTA網(wǎng)絡(luò)其結(jié)構(gòu)不僅具有可解釋性,通過神經(jīng)網(wǎng)絡(luò)參數(shù)化,學(xué)習(xí)能力也得到增強。消融實驗驗證了在大信噪比的情況下其性能也進一步提升,多種注意力機制對比驗證了AMFISTANet的優(yōu)勢。

在實際應(yīng)用中需要考慮量化等步驟來提高整體性能,在未來工作中將考慮從信道本身特性出發(fā)去設(shè)計更易實現(xiàn)的高效網(wǎng)絡(luò)。