梁家熙，牛澤坤，胡衛(wèi)生，義理林

(上海交通大學(xué) 區(qū)域光纖通信網(wǎng)與新型光通信系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室，上海 200240)

0 引 言

在加性高斯白噪聲(Additive White Gaussian Noise，AWGN)信道中，使用高階的正交振幅調(diào)制(Quadrature Amplitude Modulation，QAM)在高信噪比(Signal Noise Ratio，SNR)的情況下，互信息量(Mutual Information，MI)與香農(nóng)極限相差1.53 dB[1]，QAM的方形星座圖是造成容量差距的原因。星座整形是一種在QAM基礎(chǔ)上提高M(jìn)I的方式，分為幾何整形和概率整形，其中幾何整形指調(diào)整星座點(diǎn)的幾何分布，概率整形指調(diào)整星座點(diǎn)在發(fā)送信號(hào)中出現(xiàn)的概率。幾何整形和概率整形通過一些傳統(tǒng)的方式實(shí)現(xiàn)，例如幾何整形可以通過一定的規(guī)則調(diào)整星座圖點(diǎn)與點(diǎn)的位置，充分利用空間，但是無法證明這種方法可以得到使系統(tǒng)的信道容量最大的編碼方式[2];概率整形可以通過麥克斯韋-玻爾茲曼(Maxwell- Boltzmann，MB)分布調(diào)整星座點(diǎn)的概率分布，在AWGN信道下，證明MB分布可以達(dá)到性能最佳，但是對(duì)于其他信道而言，MB分布無法取得最佳性能[3]。

近年來，深度學(xué)習(xí)被引入物理層通信中，通信系統(tǒng)可以被視為一個(gè)自動(dòng)編碼器，此時(shí)發(fā)端與收端都可以由神經(jīng)網(wǎng)絡(luò)的全連接層擔(dān)任，這就是端到端的深度學(xué)習(xí)(End-to-End Deep Learning，E2EDL)通信系統(tǒng)[4]。E2EDL相較于傳統(tǒng)的通信算法優(yōu)勢(shì)在于從一個(gè)全局的角度出發(fā)考慮優(yōu)化，而不是將局部最優(yōu)組合到一起，得到一種非全局最優(yōu)的方案[5]。通過E2EDL，可以實(shí)現(xiàn)星座整形，訓(xùn)練得到幾何整形[4]和概率整形[6]的編碼器，性能接近或超過傳統(tǒng)算法的最佳性能。通過E2EDL在幾何整形星座圖的基礎(chǔ)上做概率整形，可以取得比單獨(dú)幾何整形和概率整形更高的增益[6]。但是，目前的方法都是在固定的幾何整形上做概率整形，沒有進(jìn)行聯(lián)合優(yōu)化，且這些方法無法證明當(dāng)前整形結(jié)果的信息量是最優(yōu)的。

本文提出了一種基于互信息量估計(jì)(Mutual Information Neural Estimation，MINE)的幾何與概率聯(lián)合整形方法。MINE可以估計(jì)兩種不同分布的MI[7]，本文提出的系統(tǒng)利用MINE估計(jì)當(dāng)前通信系統(tǒng)的MI，并且訓(xùn)練發(fā)端編碼器以滿足最大化MI?；贛INE的系統(tǒng)無需訓(xùn)練解碼器，可以避免解碼器誤差對(duì)編碼器訓(xùn)練帶來的損失。本文提出了幾何整形與概率整形的聯(lián)合優(yōu)化方式，通過訓(xùn)練迭代優(yōu)化幾何整形與概率整形的編碼器，使系統(tǒng)接近到幾何整形與概率整形所能達(dá)到的MI的極限。本文將系統(tǒng)在不同SNR的AWGN信道中進(jìn)行仿真，比較了幾何與概率聯(lián)合整形的系統(tǒng)與其他方案之間的MI。仿真結(jié)果表明，幾何與概率聯(lián)合整形系統(tǒng)的MI高于單獨(dú)進(jìn)行幾何或概率整形的系統(tǒng)，在SNR為10 dB的AWGN信道中，幾何與概率聯(lián)合整形的系統(tǒng)MI與單獨(dú)做概率整形的系統(tǒng)相比，有0.027 9 bit/symbol的增益；與單獨(dú)做幾何整形的系統(tǒng)相比，有0.041 7 bit/symbol的增益。

1 MINE原理

根據(jù)香農(nóng)信息論的內(nèi)容，信道輸入和輸出之間的MI的極大值就是信道容量，可以通過最大化MI的方式找到可以逼近信道容量的編碼方式。但從歷史上看，MI往往是難以計(jì)算的[8]，精確的計(jì)算僅僅適用于離散變量(可以直接求出總和)，或是用于已知概率分布的有限問題，對(duì)于更加廣泛的應(yīng)用場(chǎng)景，MI的精確計(jì)算通常是不可能的。

2018年，來自蒙特利爾大學(xué)的Belghazi等人提出了一個(gè)基于 Kullback-Leibler(KL)散度的對(duì)偶表示的通用參數(shù)神經(jīng)網(wǎng)絡(luò)互信息估計(jì)器，MINE[7]。MINE是一種數(shù)據(jù)驅(qū)動(dòng)估計(jì)MI下界的方式，可以估計(jì)任意兩種不同分布的MI的下界，并且可以將估計(jì)值作為損失函數(shù)，將梯度沿著神經(jīng)網(wǎng)絡(luò)估計(jì)器進(jìn)行反向傳播。

MINE的原理如下：兩個(gè)變量X和Z的MI可以通過下式表示：

式中：X和Z為兩種不同的分布；I(X;Z)為兩種分布間的MI；PXZ為X和Z的聯(lián)合分布；PX和PZ分別為X和Z的邊際分布；?為兩種分布間的張量積。另外引入KL散度的概念，KL散度又叫相對(duì)熵，是兩個(gè)不同分布之間的差異的非對(duì)稱性度量，在信息論中，KL散度是兩個(gè)不同分布的信息熵的差值，表示如下：

式中：P和Q為兩種不同的分布；DKL(P||Q)為P和Q的KL散度；EP為變量在P分布下的數(shù)學(xué)期望值。P和Q都是嚴(yán)格連續(xù)的分布。根據(jù)式(1)和(2)可以推導(dǎo)出，MI和KL散度的關(guān)系為

接下來，MINE的重點(diǎn)在于KL散度的對(duì)偶表示，這份工作由Donsker和Varadhan于1983年完成，因此KL散度的對(duì)偶表示又稱Donsker-Varadhan表示[9]，具體如下

式中：e為自然對(duì)數(shù)底；T為所有函數(shù)集合R中的一個(gè)函數(shù)，T:Ω→R表示在實(shí)數(shù)域函數(shù)中存在函數(shù)T；sup為函數(shù)的上界。式(4)的意義在于，在一個(gè)由所有實(shí)函數(shù)組成的域中，一定能找到一個(gè)函數(shù)對(duì)應(yīng)關(guān)系T，按照函數(shù)對(duì)應(yīng)關(guān)系將P和Q的分布轉(zhuǎn)化為標(biāo)量，而這個(gè)標(biāo)量使得等號(hào)右側(cè)函數(shù)的值最大，而這個(gè)最大值就是P和Q的KL散度。函數(shù)T可以由神經(jīng)網(wǎng)絡(luò)函數(shù)來表示，假設(shè)Θ為所有神經(jīng)網(wǎng)絡(luò)所有參數(shù)的集合，因此TΘ可以看作所有神經(jīng)網(wǎng)絡(luò)函數(shù)的集合，而TΘ是R的一個(gè)子集，因此神經(jīng)網(wǎng)絡(luò)估計(jì)的MI與真實(shí)的MI間有如下關(guān)系：

式中，IΘ(X,Z)為通過神經(jīng)網(wǎng)絡(luò)計(jì)算的MI的估計(jì)值，對(duì)于參數(shù)為θ∈Θ的神經(jīng)網(wǎng)絡(luò)，根據(jù)式(3)、(4)和(5)可以推導(dǎo)得到：

通過式(6)，在兩個(gè)隨機(jī)分布里隨機(jī)選取聯(lián)合樣本和邊界樣本，再通過訓(xùn)練找到使得樣本的MI估計(jì)值最大的神經(jīng)網(wǎng)絡(luò)參數(shù)，這個(gè)MINE值就是兩個(gè)分布MI的下界。

因此，計(jì)算兩個(gè)不同分布的MI，可以轉(zhuǎn)變?yōu)榍笠粋€(gè)神經(jīng)網(wǎng)絡(luò)在特定損失函數(shù)下的最大值。定義一個(gè)神經(jīng)網(wǎng)絡(luò)，用于將兩種不同分布的變量轉(zhuǎn)化為一個(gè)標(biāo)量，即Tθ(X,Z)，通過將Tθ代入式(6)可以計(jì)算得到在當(dāng)前神經(jīng)網(wǎng)絡(luò)參數(shù)θ下的MI估計(jì)值，然后將式(6)等號(hào)右邊的相反數(shù)設(shè)置為損失函數(shù)，試圖通過最小化損失函數(shù)，即最大化MI的估計(jì)值，即可取得MI的下界。

在本文中，系統(tǒng)使用MINE作為估計(jì)系統(tǒng)MI的方法，取得信道兩段的符號(hào)，通過訓(xùn)練的方式找到使得估計(jì)值最大的參數(shù)θ，再通過式(6)計(jì)算得到通信系統(tǒng)MI的估計(jì)值。

2 基于MINE的幾何與概率聯(lián)合整形系統(tǒng)設(shè)計(jì)

2.1 幾何整形系統(tǒng)

幾何整形是通過設(shè)計(jì)星座點(diǎn)的位置，使得星座點(diǎn)之間的歐氏距離增大，從而降低解碼端分辨星座點(diǎn)的難度，降低誤碼率。從信息論角度考慮，幾何整形的目的是尋找一種使得信道容量最大的調(diào)制方法，獲得更高的通信速率。在基于MINE的幾何整形系統(tǒng)中，訓(xùn)練MINE神經(jīng)網(wǎng)絡(luò)計(jì)算信道兩端符號(hào)的MI，然后通過最大化MI的方式訓(xùn)練編碼器，從而得到使得信道容量最大的調(diào)制方式。

基于MINE的幾何整形系統(tǒng)如圖1所示，其中編碼器和MINE是兩個(gè)全連接神經(jīng)網(wǎng)絡(luò)，分別表示調(diào)制使用的神經(jīng)網(wǎng)絡(luò)和估計(jì)MI使用的神經(jīng)網(wǎng)絡(luò)。編碼器輸入原始比特，輸出調(diào)制后的符號(hào)；MINE輸入信道兩端的符號(hào)，輸出用于估計(jì)MI的標(biāo)量。m為原始比特，輸入編碼器之后進(jìn)行功率歸一化，得到輸入信道的符號(hào)x，x經(jīng)過信道之后得到有損傷的符號(hào)y，將x和y輸入MINE神經(jīng)網(wǎng)絡(luò)，由式(6)計(jì)算MI。本文的神經(jīng)網(wǎng)絡(luò)，編碼器擁有3個(gè)隱藏層，每個(gè)隱藏層有256個(gè)神經(jīng)元，使用Leaky ReLU激活函數(shù)；MINE擁有3個(gè)隱藏層，每個(gè)隱藏層有128個(gè)神經(jīng)元，使用Leaky ReLU激活函數(shù)。

圖1 基于MINE的幾何整形系統(tǒng)設(shè)計(jì)

訓(xùn)練過程如圖2所示，共訓(xùn)練L個(gè)迭代周期，首先構(gòu)建編碼器和MINE神經(jīng)網(wǎng)絡(luò)。每個(gè)訓(xùn)練周期中，先生成原始比特，然后根據(jù)圖1進(jìn)行數(shù)據(jù)正向傳播并且計(jì)算MI。訓(xùn)練編碼器和MINE的目的都是通過式(6)最大化MINE，因此損失函數(shù)設(shè)置為MINE的相反數(shù)。每個(gè)迭代周期訓(xùn)練1次MINE神經(jīng)網(wǎng)絡(luò)，每10個(gè)迭代周期訓(xùn)練1次編碼器神經(jīng)網(wǎng)絡(luò)。

圖2 基于MINE的幾何整形系統(tǒng)訓(xùn)練流程

2.2 概率整形系統(tǒng)

概率整形是在星座圖的基礎(chǔ)上，通過改變星座符號(hào)的出現(xiàn)概率，使得功率低的星座點(diǎn)出現(xiàn)概率大，功率高的星座點(diǎn)出現(xiàn)概率小，從而降低發(fā)送信號(hào)的整體功率，使得噪聲的功率也隨之下降，起到提高信道容量的作用。通常概率整形在標(biāo)準(zhǔn)方形QAM下進(jìn)行，不同星座點(diǎn)的概率分布符合MB分布。

圖3 基于MINE的概率整形系統(tǒng)設(shè)計(jì)

基于MINE的概率整形系統(tǒng)如圖3所示，其中概率生成器和MINE為兩個(gè)神經(jīng)網(wǎng)絡(luò)，MINE與2.1節(jié)相同，概率生成器輸入固定的數(shù)，輸出每個(gè)星座點(diǎn)的出現(xiàn)權(quán)重，本系統(tǒng)中固定輸入設(shè)置為1。將權(quán)重經(jīng)過Gumbel-Softmax激活層[10]得到含有隨機(jī)性的不同星座點(diǎn)的輸出概率，Gumbel-Softmax表達(dá)式為

式中：α為星座點(diǎn)的權(quán)重向量；G為Gumbel隨機(jī)數(shù)向量；h為通過softmax(柔性最大值)計(jì)算得到的不同的星座點(diǎn)出現(xiàn)概率的向量；temperature為溫度常數(shù)，當(dāng)溫度常數(shù)接近0時(shí)，h接近獨(dú)熱編碼分布；當(dāng)溫度常數(shù)接近正無窮時(shí)，h接近均勻分布。

每個(gè)星座點(diǎn)的概率與星座點(diǎn)所對(duì)應(yīng)的符號(hào)相乘，再將所有星座點(diǎn)的結(jié)果相加，即可得到概率整形編碼器的輸出符號(hào)，然后對(duì)符號(hào)進(jìn)行功率歸一化，得到輸入信道的符號(hào)x，x經(jīng)過信道得到有損傷的符號(hào)y，將x和y輸入MINE神經(jīng)網(wǎng)絡(luò)，經(jīng)過式(6)計(jì)算MI。概率生成器有兩個(gè)隱藏層，每個(gè)隱藏層有64個(gè)神經(jīng)元，使用Leaky ReLU激活函數(shù)。訓(xùn)練過程如圖4所示，共訓(xùn)練M個(gè)迭代周期，首先構(gòu)建概率生成器和MINE神經(jīng)網(wǎng)絡(luò)。每個(gè)訓(xùn)練周期中，首先通過概率生成器生成概率權(quán)重，經(jīng)過Gumbel-Softmax函數(shù)激活后與星座點(diǎn)集相乘得到符號(hào)，再根據(jù)圖3進(jìn)行數(shù)據(jù)正向傳播并計(jì)算MI。訓(xùn)練概率生成器的損失函數(shù)設(shè)置為MINE的相反數(shù)。每個(gè)迭代周期訓(xùn)練1次MINE神經(jīng)網(wǎng)絡(luò)，每20個(gè)迭代周期訓(xùn)練1次概率生成器神經(jīng)網(wǎng)絡(luò)。

圖4 基于MINE的概率整形系統(tǒng)訓(xùn)練流程

2.3 幾何與概率聯(lián)合整形系統(tǒng)

基于MINE的幾何與概率聯(lián)合整形系統(tǒng)的具體訓(xùn)練流程如圖5所示。首先進(jìn)行幾何整形和概率整形的預(yù)訓(xùn)練，訓(xùn)練的方法分別參照2.1與2.2節(jié)，其中訓(xùn)練概率整形所使用的星座圖為編碼器產(chǎn)生的星座圖。訓(xùn)練結(jié)束后計(jì)算該狀態(tài)下的MI，記為maxMI。

接下來進(jìn)行迭代的幾何整形和概率整形訓(xùn)練，即分別訓(xùn)練系統(tǒng)的編碼器和概率生成器。首先進(jìn)行幾何整形，先將現(xiàn)有的編碼器模型保存，然后根據(jù)不同星座點(diǎn)的概率隨機(jī)生成不同數(shù)目的幾何整形星座點(diǎn)符號(hào)，將這些符號(hào)通過信道進(jìn)行最大化MI的訓(xùn)練，一次迭代訓(xùn)練編碼器若干次，在訓(xùn)練過程中不斷計(jì)算新的幾何整形星座圖的MI，如果新的MI比maxMI高，則停止訓(xùn)練，將新的MI記為nowMI，然后保存新的編碼器模型。如果訓(xùn)練超過一定次數(shù)之后MI一直小于maxMI，則回退到保存的編碼器模型，重新進(jìn)行訓(xùn)練。

概率整形的訓(xùn)練部分，先保存概率發(fā)生器模型，訓(xùn)練概率發(fā)生器并且計(jì)算MI，超過maxMI則保存MI和概率發(fā)生器模型并且停止訓(xùn)練，訓(xùn)練超過一定次數(shù)則回退概率發(fā)生器模型。就這樣訓(xùn)練，迭代一定次數(shù)，保證每次迭代的幾何整形和概率整形的模型的MI都大于上一次的MI。

將訓(xùn)練周期的總數(shù)設(shè)置為K，每個(gè)訓(xùn)練周期中，編碼器和概率發(fā)生器最多訓(xùn)練L次迭代，可以保證每次編碼器和概率發(fā)生器訓(xùn)練后，所得新整形系統(tǒng)的MI高于上一個(gè)周期的MI。在訓(xùn)練過程中，系統(tǒng)的MI逐步增加，逼近幾何與概率整形聯(lián)合優(yōu)化的性能極限。

圖5 基于MINE的幾何與概率整形聯(lián)合系統(tǒng)設(shè)計(jì)

幾何整形預(yù)訓(xùn)練設(shè)置10 000個(gè)迭代周期，概率整形預(yù)訓(xùn)練設(shè)置100 000個(gè)迭代周期。，暫停訓(xùn)練并回退模型的閾值設(shè)置為2 000，即訓(xùn)練2 000個(gè)迭代周期內(nèi)，如果編碼器或概率發(fā)生器的性能沒有使得系統(tǒng)的信道容量有所提升，就回退并重新進(jìn)行訓(xùn)練。在2 000個(gè)迭代周期中，前500迭代周期用于預(yù)訓(xùn)練MINE，剩下的1 500個(gè)迭代周期中，每100個(gè)周期采集一次MI，如果發(fā)現(xiàn)新的MI超過了過去的maxMI，則將maxMI更新為nowMI，并且立刻停止訓(xùn)練。

3 系統(tǒng)仿真與結(jié)果展示

3.1 系統(tǒng)仿真設(shè)置

為了驗(yàn)證基于MINE的幾何與概率聯(lián)合整形系統(tǒng)的性能，在AWGN信道下進(jìn)行了仿真驗(yàn)證，在不同SNR下對(duì)QAM、幾何整形、概率整形以及幾何與概率聯(lián)合整形的MI進(jìn)行對(duì)比，仿真系統(tǒng)中每個(gè)符號(hào)對(duì)應(yīng)4位比特。幾何整形系統(tǒng)按照2.1節(jié)設(shè)置，L設(shè)置為20 000。概率整形按照2.2節(jié)設(shè)置，M設(shè)置為100 000。幾何與概率聯(lián)合整形按照2.3節(jié)設(shè)置，K設(shè)置為60。計(jì)算MI的方法采用蒙特卡洛估計(jì)的方式[11]，估計(jì)采樣的樣本量足夠多的情況下，這種方式得到的MI是接近精確的。

3.2 仿真結(jié)果

基于MINE的幾何與概率聯(lián)合整形在不同SNR的AWGN下的整形方案熱力圖如圖6所示。圖中橫坐標(biāo)和縱坐標(biāo)分別為信號(hào)在I路和Q路的歸一化能量大小，右側(cè)坐標(biāo)軸表示不同星座點(diǎn)的出現(xiàn)概率權(quán)重，權(quán)重值經(jīng)過softmax函數(shù)計(jì)算可以得到星座輸出點(diǎn)的概率。

在熱力圖中，星座點(diǎn)的亮度越高，代表該星座點(diǎn)的權(quán)重越高，該星座點(diǎn)發(fā)送的可能性越大。在SNR較低，噪聲較大的情況下，中心星座點(diǎn)的概率較高，周圍的概率較低；隨著SNR的升高，周圍星座點(diǎn)的權(quán)重逐漸升高，逐漸接近中心星座點(diǎn)的概率。

圖6 基于MINE的幾何與概率聯(lián)合整形在不同SNR下的AWGN信道中整形方案的熱力圖

圖7所示為QAM、幾何整形、概率整形以及幾何與概率聯(lián)合整形在不同SNR下的AWGN信道中的MI變化曲線。由圖可知，在SNR較低的情況下，所有調(diào)制格式和香農(nóng)極限的MI較接近，由于曲線比較接近，因此選取了SNR=10 dB處的曲線進(jìn)行放大，由圖可知，幾何與概率聯(lián)合整形的系統(tǒng)性能最優(yōu)，其次是概率整形，再次是幾何整形，16QAM調(diào)制相較于星座整形而言性能是最差的。由圖可知，幾何與概率聯(lián)合整形的MI相較于概率整形有0.027 9 bit/symbol的增益，相較于幾何整形有0.041 7 bit/symbol的增益，相較于16QAM調(diào)制有0.112 6 bit/symbol的增益。與香農(nóng)極限相比，幾何與概率聯(lián)合整形在SNR=10 dB處仍有0.183 4 bit/symbol的差距，但是與16QAM與香農(nóng)極限間的0.296 0 bit/symbol差距相比，有了較大的性能提升，如果需要繼續(xù)提升性能，需要考慮在更高階的調(diào)制格式上進(jìn)行幾何與概率整形。

因此，在AWGN信道中，基于MINE的幾何與概率聯(lián)合整形系統(tǒng)可以訓(xùn)練得到一種性能優(yōu)于幾何整形與概率整形中任意一種整形方案的編碼方案。在幾何整形與概率整形的基礎(chǔ)上，通過這種方法，可以讓信道兩端的MI更加接近香農(nóng)極限。

圖7 4種不同編碼方式在不同SNR下的AWGN信道中MI的變化趨勢(shì)

4 結(jié)束語

為解決QAM在高SNR的情況下，MI與香農(nóng)極限相差1.53 dB的問題，本文提出了一種基于MI估計(jì)的幾何與概率聯(lián)合整形的方法，在QAM的基礎(chǔ)上通過星座整形提升系統(tǒng)的MI。本文分別介紹了基于MI的幾何整形、概率整形以及將兩種整形方法聯(lián)合訓(xùn)練的步驟，并且將這套方法在不同SNR下的AWGN信道中進(jìn)行了仿真驗(yàn)證。仿真結(jié)果表明，幾何與概率聯(lián)合整形方法的性能優(yōu)于單獨(dú)進(jìn)行幾何整形和概率整形中性能。在SNR為10 dB時(shí)，系統(tǒng)的MI與單獨(dú)做幾何整形相比有0.041 7 bit/symbol的增益，與單獨(dú)做概率整形相比有0.027 9 bit/symbol的增益。