摘 要：隨著５Ｇ 移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展，為了滿足用戶不斷增長(zhǎng)的流量需求，５Ｇ 基站大規(guī)模部署，導(dǎo)致能耗急劇增加。針對(duì)以上問(wèn)題，通過(guò)采用流量預(yù)測(cè)與深度強(qiáng)化學(xué)習(xí)相結(jié)合的方法，建立基站動(dòng)態(tài)開(kāi)關(guān)模型。具體而言，該模型通過(guò)密集卷積神經(jīng)網(wǎng)絡(luò)（Ｄｅｎｓｅｌｙ Ｃｏｎｎｅｃｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ，ＤｅｎｓｅＮｅｔ）對(duì)基站流量進(jìn)行預(yù)測(cè)；進(jìn)一步地，基于精確的移動(dòng)流量預(yù)測(cè)，將基站開(kāi)關(guān)控制問(wèn)題建模為一個(gè)馬爾科夫決策過(guò)程（Ｍａｒｋｏｖ Ｄｅｃｉｓｉｏｎ Ｐｒｏｃｅｓｓ，ＭＤＰ），然后通過(guò)強(qiáng)化學(xué)習(xí)方法進(jìn)行求解。此外，強(qiáng)化學(xué)習(xí)的ｒｅｗａｒｄ 函數(shù)設(shè)計(jì)在優(yōu)化基站開(kāi)關(guān)成本時(shí)綜合考慮了多方面的因素，包括能耗和用戶服務(wù)質(zhì)量（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ，ＱｏＳ）下降成本，目標(biāo)是在降低能耗的前提下，最小化長(zhǎng)期的基站能量消耗。最終通過(guò)對(duì)真實(shí)數(shù)據(jù)集的大量實(shí)驗(yàn)驗(yàn)證，提出的模型與當(dāng)前使用的基站常開(kāi)策略相比，能夠節(jié)約３７％ 的能量消耗，且節(jié)能效果也優(yōu)于傳統(tǒng)啟發(fā)式算法。

關(guān)鍵詞：基站；蜂窩網(wǎng)絡(luò)；動(dòng)態(tài)開(kāi)關(guān)；流量預(yù)測(cè)；深度Ｑ 網(wǎng)絡(luò)

中圖分類號(hào)：ＴＮ９２ 文獻(xiàn)標(biāo)志碼：Ａ 開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（ＯＳＩＤ）：

文章編號(hào)：１００３－３１１４（２０２４）０４－０８１５－０８

０ 引言

隨著５Ｇ 移動(dòng)互聯(lián)網(wǎng)的高速發(fā)展，移動(dòng)流量呈現(xiàn)爆炸式增長(zhǎng)，大規(guī)?；静渴鸷透哓?fù)荷運(yùn)行導(dǎo)致了大量的能源需求，進(jìn)而引發(fā)了對(duì)能源效率和環(huán)境保護(hù)的迫切關(guān)注。在這樣的背景下，基站節(jié)能成為一項(xiàng)緊迫而重要的任務(wù)，需要尋找創(chuàng)新的解決方案，以平衡通信技術(shù)的發(fā)展與能源可持續(xù)利用之間的關(guān)系。然而，傳統(tǒng)的基站節(jié)能方案往往基于以往的經(jīng)驗(yàn)和靜態(tài)數(shù)據(jù)，無(wú)法充分利用網(wǎng)絡(luò)中歷史數(shù)據(jù)的特征和規(guī)律，也難以適應(yīng)動(dòng)態(tài)變化的通信負(fù)載和網(wǎng)絡(luò)環(huán)境。另外，現(xiàn)有的算法與策略大多建立在已知的規(guī)則或數(shù)學(xué)模型上，在實(shí)際應(yīng)用中具有較大的局限性。然而，實(shí)際應(yīng)用中，由于實(shí)際網(wǎng)絡(luò)環(huán)境的復(fù)雜性，使得對(duì)其進(jìn)行精確建模變得十分困難。

為了解決上述問(wèn)題，本文通過(guò)流量預(yù)測(cè)幫助基站更精準(zhǔn)地預(yù)測(cè)通信流量負(fù)載，從而在開(kāi)關(guān)決策中更好地平衡能源消耗和網(wǎng)絡(luò)性能，提高通信效率和用戶體驗(yàn)。通過(guò)采用強(qiáng)化學(xué)習(xí)的方法來(lái)適應(yīng)復(fù)雜的網(wǎng)絡(luò)環(huán)境，減少對(duì)問(wèn)題的不必要假設(shè)。

本文的主要貢獻(xiàn)如下

① 針對(duì)蜂窩網(wǎng)絡(luò)的基站開(kāi)關(guān)管理問(wèn)題進(jìn)行了全面的建模，將基站開(kāi)關(guān)控制問(wèn)題建模為一個(gè)馬爾科夫決策過(guò)程（Ｍａｒｋｏｖ Ｄｅｃｉｓｉｏｎ Ｐｒｏｃｅｓｓ，ＭＤＰ），并采用深度Ｑ 網(wǎng)絡(luò)（Ｄｅｅｐ Ｑ-Ｎｅｔｗｏｒｋ，ＤＱＮ）算法求解該問(wèn)題。

② 針對(duì)單智能體在面對(duì)高維度的動(dòng)作空間時(shí)算法很難收斂，采用深度確定性策略梯度（Ｄｅｅｐ Ｄｅ-ｔｅｒｍｉｎｉｓｔｉｃ Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ，ＤＤＰＧ）算法求解基站開(kāi)關(guān)問(wèn)題時(shí)又不利于動(dòng)作的探索，很容易陷入局部最優(yōu)的問(wèn)題，使用多個(gè)并行的ＤＱＮ（Ｍｕｌｔｉ-ＤＱＮ）算法求解基站開(kāi)關(guān)問(wèn)題。該算法可以提高學(xué)習(xí)模型的收斂速度，增加探索動(dòng)作空間和策略的多樣性。

③ 在強(qiáng)化學(xué)習(xí)的ｒｅｗａｒｄ 函數(shù)設(shè)計(jì)中綜合考慮了蜂窩網(wǎng)絡(luò)的開(kāi)銷問(wèn)題，以相對(duì)更為準(zhǔn)確地度量基站動(dòng)態(tài)開(kāi)關(guān)策略的優(yōu)劣程度。其中，蜂窩網(wǎng)絡(luò)的總能耗是主要的開(kāi)銷部分。此外，也考慮了由于基站開(kāi)關(guān)狀態(tài)的切換帶來(lái)的開(kāi)銷問(wèn)題。

④ 使用北京市某區(qū)域的真實(shí)數(shù)據(jù)集進(jìn)行了大量的實(shí)驗(yàn)，提出的模型與當(dāng)前廣泛使用的基站常開(kāi)策略相比，能夠節(jié)約３７％ 的能量消耗，且節(jié)能效果也優(yōu)于傳統(tǒng)啟發(fā)式算法。

１ 相關(guān)研究

隨著５Ｇ 網(wǎng)絡(luò)的快速發(fā)展以及基站的大規(guī)模部署，基站的能源消耗已經(jīng)成為一個(gè)重要的關(guān)注點(diǎn)，當(dāng)前已經(jīng)涌現(xiàn)了不少關(guān)于基站節(jié)能的相關(guān)研究。

文獻(xiàn)［１］基于白天和夜間移動(dòng)網(wǎng)絡(luò)負(fù)荷的變化，在夜晚移動(dòng)負(fù)載較低的時(shí)候，將一些不必要開(kāi)啟的基站關(guān)掉，把連接的用戶轉(zhuǎn)移到其他基站。文獻(xiàn)［２］提出了一種基于集合覆蓋的基站動(dòng)態(tài)關(guān)斷策略。文獻(xiàn)［３］則提出了基于頻譜效率的基站動(dòng)態(tài)關(guān)斷策略。文獻(xiàn)［４］通過(guò)改進(jìn)Ａｆｆｉｎｉｔｙ Ｐｒｏｐａｇａｔｉｏｎ 聚類算法對(duì)基站日負(fù)荷曲線進(jìn)行自適應(yīng)聚類，并進(jìn)一步挖掘分析周效應(yīng)下的日潮汐現(xiàn)象和汐節(jié)能時(shí)段。

此外，目前已有不少研究通過(guò)建立基站休眠與資源分配的優(yōu)化問(wèn)題，使用啟發(fā)式算法迭代求解。文獻(xiàn)［５］基于最小化系統(tǒng)能耗和提高系統(tǒng)狀態(tài)穩(wěn)定性，建立了雙目標(biāo)優(yōu)化問(wèn)題，提出了求解雙目標(biāo)優(yōu)化問(wèn)題的快速窮舉算法（Ｃｅｎｔｒａｌｉｚｅｄ Ｓｌｅｅｐｉｎｇ Ｓｃｈｅｍｅｆｏｒ ａ Ｆａｓｔ Ｅｘｈａｕｓｔｉｖｅ Ａｌｇｏｒｉｔｈｍ，ＣＳＳ-Ｅ）和低復(fù)雜度的改進(jìn)粒子群算法（Ｃｅｎｔｒａｌｉｚｅｄ Ｓｌｅｅｐｉｎｇ Ｓｃｈｅｍｅ ｆｏｒ ａＭｏｄｉｆｉｅｄ Ｐａｒｔｉｃｌｅ Ｓｗａｒｍ Ｏｐｔｉｍｉｚａｔｉｏｎｉｎ，ＣＳＳ-ＰＳＯ）。文獻(xiàn)［６］則針對(duì)尋找休眠模式（Ｓｌｅｅｐ Ｍｏｄｅ，ＳＬＭ）下運(yùn)行的最優(yōu)的活躍基站集合的多目標(biāo)優(yōu)化問(wèn)題，使用遺傳算法以實(shí)現(xiàn)快速收斂率并獲得最佳解決方案。

上述研究都是基于傳統(tǒng)的同構(gòu)網(wǎng)絡(luò)的基站休眠技術(shù)。為應(yīng)對(duì)日益增長(zhǎng)的無(wú)線通信流量和用戶的高速率需求，引入多個(gè)小基站組成異構(gòu)蜂窩網(wǎng)絡(luò)，以克服傳統(tǒng)同構(gòu)網(wǎng)絡(luò)在容量和覆蓋方面的限制。文獻(xiàn)［７］研究了在一種多小基站共存的異構(gòu)無(wú)線蜂窩網(wǎng)絡(luò)場(chǎng)景下，通過(guò)優(yōu)化小型基站的傳輸功率和激活／停用（動(dòng)態(tài)休眠）來(lái)研究電網(wǎng)能量最小化問(wèn)題。文獻(xiàn)［８］研究了接入飛蜂窩網(wǎng)絡(luò)的能源效率問(wèn)題，聯(lián)合優(yōu)化毫微微基站的操作模式（如活躍或睡眠）以及用戶與活躍基站之間的關(guān)聯(lián)的方案。

上述研究都是基于集中式的方法，無(wú)法適應(yīng)５Ｇ密集部署的場(chǎng)景下海量基站的動(dòng)態(tài)關(guān)斷需求。在基站開(kāi)關(guān)狀態(tài)切換過(guò)程中，為了降低由于切換帶來(lái)的通信開(kāi)銷，有必要設(shè)計(jì)對(duì)分布式基站進(jìn)行動(dòng)態(tài)開(kāi)關(guān)控制的算法。文獻(xiàn)［９］提出了一種提高綠色蜂窩網(wǎng)絡(luò)能源效率的分布式合作框架。文獻(xiàn)［１０］研究了自適應(yīng)小區(qū)縮放方案，應(yīng)用博弈論優(yōu)化小區(qū)縮放因子（Ｃｅｌｌ Ｚｏｏｍｉｎｇ Ｆａｃｔｏｒ，ＣＺＦ）。

上述研究提到的博弈論等分布式方法在基站節(jié)能中可能存在一些局限性，如假設(shè)與實(shí)際網(wǎng)絡(luò)環(huán)境可能不符或最優(yōu)策略具有不確定性。可以通過(guò)機(jī)器學(xué)習(xí)對(duì)實(shí)際業(yè)務(wù)量進(jìn)行預(yù)測(cè)，進(jìn)而制定針對(duì)性的基站休眠策略。文獻(xiàn)［１１］提出了一種基于無(wú)線流量預(yù)測(cè)模型的智能數(shù)據(jù)驅(qū)動(dòng)的基站休眠機(jī)制。文獻(xiàn)［１２］提出一種基于深度強(qiáng)化學(xué)習(xí)的數(shù)據(jù)驅(qū)動(dòng)基站休眠操作方法：Ｄｅｅｐｎａｐ。文獻(xiàn)［１３］采用深度強(qiáng)化學(xué)習(xí)方法對(duì)用戶分布、通信需求等進(jìn)行自我學(xué)習(xí)，從而推測(cè)出基站的負(fù)載變化規(guī)律，進(jìn)而對(duì)基站采取一系列節(jié)能措施。文獻(xiàn)［１４］設(shè)計(jì)了一個(gè)基于基站狀態(tài)切換操作的強(qiáng)化學(xué)習(xí)框架方案。此外，為了加快訓(xùn)練過(guò)程，提出了一種遷移參與者批評(píng)算法。文獻(xiàn)［１５］提出了一種基于深度強(qiáng)化學(xué)習(xí)的基站休眠控制算法。

以上研究在基站節(jié)能方面都取得了一定的成果，本文在前期研究基礎(chǔ)上，構(gòu)建基于流量預(yù)測(cè)與深度強(qiáng)化學(xué)習(xí)的基站動(dòng)態(tài)開(kāi)關(guān)模型。流量預(yù)測(cè)可以為未來(lái)時(shí)刻的基站開(kāi)關(guān)決策提供有力的數(shù)據(jù)支撐，同時(shí)結(jié)合深度強(qiáng)化學(xué)習(xí)算法來(lái)求解基站動(dòng)態(tài)開(kāi)關(guān)問(wèn)題，從而達(dá)到使基站的長(zhǎng)期能耗最小的目的。

２ 系統(tǒng)模型

本節(jié)將從網(wǎng)絡(luò)模型、基站成本模型等方面來(lái)描述基站成本問(wèn)題。

２． １ 網(wǎng)絡(luò)模型

蜂窩網(wǎng)絡(luò)通常由多個(gè)基站組成來(lái)處理移動(dòng)業(yè)務(wù)負(fù)載。本文考慮一個(gè)由一組基站服務(wù)用戶的蜂窩網(wǎng)絡(luò)，其中所述基站和用戶的集合可以分別表示為＝｛１，２，…，Ｎ｝， ＝ ｛１，２，…，Ｋ｝。在地理區(qū)域上，每個(gè)基站在各自的覆蓋范圍內(nèi)（例如３×３ 柵格），基站之間也可能存在重疊覆蓋問(wèn)題。由于移動(dòng)流量具有時(shí)變性，很多基站大部分時(shí)間都沒(méi)有得到充分的利用，造成了巨大的資源浪費(fèi)和嚴(yán)重的能效問(wèn)題。所以需要對(duì)基站的開(kāi)關(guān)策略進(jìn)行動(dòng)態(tài)調(diào)整，以適應(yīng)不同的流量需求。

本文的主要變量及其含義如表１ 所示。

２． ２ 基站成本模型

基站成本主要分為兩部分：能耗成本、用戶服務(wù)質(zhì)量（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ，ＱｏＳ）下降成本。

① 能耗成本。在蜂窩網(wǎng)絡(luò)中，基站的能耗不是簡(jiǎn)單地與其覆蓋范圍內(nèi)的流量負(fù)載成正比［１６］。一般來(lái)說(shuō)，基站的能耗可以總結(jié)為兩種：一種是固定的能量消耗，不依賴于基站的移動(dòng)流量負(fù)載，主要來(lái)源于電路損耗和散熱損耗；另一種是與功率放大器等組件相關(guān)的傳輸能耗，與流量負(fù)載存在非線性關(guān)系。為此，本文提出了一種通用的能耗模型，一個(gè)基站在ｔ 時(shí)刻一個(gè)小時(shí)內(nèi)的能耗可以概括為［１７］：

ｐｔｉ＝Ｐｆｉ＋Ｐｌｉ， （１）

式中：Ｐｆｉ為基站的固定能耗；Ｐｌｉ為基站的傳輸能耗，與流量負(fù)載成非線性相關(guān)。

② ＱｏＳ 下降成本。為了保證ＱｏＳ，本文考慮了基站關(guān)斷可能導(dǎo)致用戶需要重新選擇基站進(jìn)行連接的情況。該情況會(huì)降低ＱｏＳ，產(chǎn)生用戶服務(wù)延遲的成本。本文將其定義為用戶進(jìn)行基站重選后翻轉(zhuǎn)的流量與用戶重新連接到開(kāi)啟狀態(tài)的基站的下行速率之比，具體表述為：

式中：小區(qū)重選后翻轉(zhuǎn)的用戶流量指重新選擇開(kāi)啟狀態(tài)基站的用戶ｋ（即更換所關(guān)聯(lián)基站的用戶）的流量，即ρｔｋ； ｔｒｅｓ 表示在ｔ 時(shí)刻基站重選的用戶集合，可以采用Ｋ－最近鄰（ＫＮｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ，ＫＮＮ）算法為失去基站連接的用戶搜索最近鄰的可連接基站得到；ｒｔｎ，ｋ 表示在ｔ 時(shí)刻基站ｎ 到用戶ｋ 的下行速率，該速率可以用香農(nóng)公式計(jì)算：

ｒｔｎ，ｋ ＝ｂｔｎ，ｋ ｌｂ（１＋ＳＮＲｔｎ，ｋ）， （３）

式中：ｂｔｎ，ｋ 表示在ｔ 時(shí)刻基站ｎ 分配給用戶ｋ 的帶寬資源，ＳＮＲｔｎ，ｋ 表示在ｔ 時(shí)刻基站ｎ 到用戶ｋ 的信噪比，ＳＮＲｔｎ，ｋ ＝ｐｔｎ，ｋｈｔｎ，ｋ/Ｎ０，ｐｔｎ，ｋ 為基站ｎ 分配給用戶ｋ 的功率資源，ｈｔｎ，ｋ 為基站ｎ 與用戶ｋ 之間的信道增益，Ｎ０為功率譜密度。

通過(guò)綜合考慮以上因素，本文的系統(tǒng)模型旨在實(shí)現(xiàn)多目標(biāo)優(yōu)化，即在最小化能耗的同時(shí)，確保用戶的通信服務(wù)質(zhì)量得到保障。

３ 基于流量預(yù)測(cè)的深度強(qiáng)化學(xué)習(xí)的基站動(dòng)態(tài)開(kāi)關(guān)算法

本節(jié)詳細(xì)介紹了基于密集卷積神經(jīng)網(wǎng)絡(luò)（Ｄｅｎｓｅｌｙ Ｃｏｎｎｅｃｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ，ＤｅｎｓｅＮｅｔ）的Ｍｕｌｔｉ-ＤＱＮ 基站動(dòng)態(tài)開(kāi)關(guān)框架，并對(duì)流量預(yù)測(cè)、強(qiáng)化學(xué)習(xí)ＭＤＰ 環(huán)境建模以及Ｍｕｌｔｉ-ＤＱＮ 訓(xùn)練過(guò)程分別展開(kāi)了描述。

３． １ 基于ＤｅｎｓｅＮｅｔ 的Ｍｕｌｔｉ-ＤＱＮ 基站動(dòng)態(tài)開(kāi)關(guān)框架

系統(tǒng)框架由基站休眠與用戶重連模塊、流量預(yù)測(cè)模塊和Ｍｕｌｔｉ-ＤＱＮ 訓(xùn)練模塊三個(gè)模塊組成。該框架的工作流程描述如下。

① 基站休眠與用戶重新連接：當(dāng)網(wǎng)絡(luò)負(fù)載較小時(shí)，為了降低能耗并提高網(wǎng)絡(luò)效率，一些基站可能會(huì)進(jìn)入休眠狀態(tài)，減少不必要的能耗。此時(shí)用戶需要重新選擇基站進(jìn)行連接，以獲得穩(wěn)定的通信服務(wù)。

② ＤｅｎｓｅＮｅｔ 模型預(yù)測(cè)流量：基于當(dāng)前的基站開(kāi)關(guān)狀態(tài)，本文利用ＤｅｎｓｅＮｅｔ 模型，基于歷史流量數(shù)據(jù)預(yù)測(cè)基站在未來(lái)一段時(shí)間內(nèi)的網(wǎng)絡(luò)流量情況得到預(yù)測(cè)結(jié)果。預(yù)測(cè)模型的輸出流量結(jié)果會(huì)被傳遞給強(qiáng)化學(xué)習(xí)模塊。

③ Ｍｕｌｔｉ-ＤＱＮ 訓(xùn)練：由于基站數(shù)量過(guò)多，單智能體在面對(duì)高維度的動(dòng)作空間時(shí)，算法很難收斂；而且單個(gè)智能體在信息的獲取能力、處理能力、控制能力等方面有限，對(duì)于復(fù)雜的工作任務(wù)及多變的工作環(huán)境，單智能體能力明顯不足。如果采用ＤＤＰＧ 求解基站動(dòng)態(tài)開(kāi)關(guān)問(wèn)題，由于初始策略通常固定，在探索高維度的連續(xù)動(dòng)作空間時(shí)很有可能陷入局部最優(yōu)解，無(wú)法跳出。因此，本文的強(qiáng)化學(xué)習(xí)模塊采用Ｍｕｌｔｉ-ＤＱＮ 算法，該算法中多個(gè)ＤＱＮ 并行訓(xùn)練可以同時(shí)學(xué)習(xí)，模型訓(xùn)練速度得到大幅度提升；而且多個(gè)ＤＱＮ 代理（ａｇｅｎｔ）可以獨(dú)立地探索不同的策略和動(dòng)作選擇，進(jìn)一步增加了探索的多樣性。這樣有助于避免陷入局部最優(yōu)解，提高代理找到全局最優(yōu)策略的概率。

該強(qiáng)化學(xué)習(xí)模塊基于基站流量負(fù)載變化、用戶體驗(yàn)指標(biāo)（如速率、時(shí)延），旨在自主學(xué)習(xí)得到最優(yōu)的基站動(dòng)態(tài)開(kāi)關(guān)策略。

④ 動(dòng)態(tài)基站開(kāi)關(guān)策略生成：經(jīng)過(guò)訓(xùn)練，Ｍｕｌｔｉ-ＤＱＮ 將產(chǎn)生一個(gè)動(dòng)態(tài)的基站開(kāi)關(guān)策略。代理可以根據(jù)當(dāng)前的網(wǎng)絡(luò)環(huán)境和狀態(tài)，自主地選擇基站的開(kāi)關(guān)狀態(tài)，從而進(jìn)一步提升網(wǎng)絡(luò)性能和用戶體驗(yàn)。

上述內(nèi)容的具體細(xì)節(jié)如圖１ 所示。綜上所述，移動(dòng)通信網(wǎng)絡(luò)能夠在基站休眠與用戶重新連接的過(guò)程中，通過(guò)流量預(yù)測(cè)和強(qiáng)化學(xué)習(xí)等方法的協(xié)同作用，實(shí)現(xiàn)基站開(kāi)關(guān)策略的智能優(yōu)化。這一框架不僅有助于提升網(wǎng)絡(luò)效率和性能，也為用戶提供了更穩(wěn)定和流暢的通信體驗(yàn)。

３． ２ 流量預(yù)測(cè)

本文的流量預(yù)測(cè)模型ＤｅｎｓｅＮｅｔ 用滑動(dòng)窗口的方式對(duì)數(shù)據(jù)集進(jìn)行抽取，由于所選用數(shù)據(jù)集可以看作二維空間的流量分布隨時(shí)間的變化，具有視頻流的特征，因此針對(duì)影響三種時(shí)間依賴性的歷史數(shù)據(jù)采用不同長(zhǎng)度的幀數(shù)來(lái)采集構(gòu)建，并分為三部分輸入到不同的分模塊中進(jìn)行訓(xùn)練，從而捕捉三種時(shí)間依賴性。輸入數(shù)據(jù)前先經(jīng)過(guò)Ｍｉｎ-Ｍａｘ 歸一化處理，以提高模型訓(xùn)練時(shí)的收斂速度。進(jìn)入分模塊后經(jīng)過(guò)主要由堆疊的ＤｅｎｓｅＬａｙｅｒ 組成的ＤｅｎｓｅＵｎｉｔ 來(lái)進(jìn)行空間依賴的捕捉，并將分模塊學(xué)習(xí)的特征通過(guò)參數(shù)矩陣融合的方式結(jié)合起來(lái)。

流量的周期性、臨近性、趨勢(shì)性等特征會(huì)對(duì)最后的預(yù)測(cè)結(jié)果產(chǎn)生不同的影響。本文通過(guò)參數(shù)矩陣的融合，將不同時(shí)間特征的強(qiáng)度體現(xiàn)在不同權(quán)重上，并將其分別表示為Ｗｐ１、Ｗｐ２、Ｗｃ 和Ｗｔ。在訓(xùn)練階段，將學(xué)習(xí)參數(shù)轉(zhuǎn)化為與輸入的特征形式相同的張量，這樣就可以進(jìn)一步做哈達(dá)瑪?shù)某朔ㄟ\(yùn)算，從而可以獲得矩陣融合的輸出，即時(shí)空模塊的輸出。記為ＸＴ ［１８］：

ＸＴ ＝Ｗｐ１ 。Ｘ７ｐ１ ＋Ｗｐ２ 。Ｘ７ｐ２ ＋Ｗｃ 。Ｘ７ｃ＋Ｗｔ 。Ｘ７ｔ， （４）

式中：表示哈達(dá)瑪乘積，將學(xué)習(xí)參數(shù)矩陣與特征輸出矩陣的位置一一對(duì)應(yīng)然后分別相乘，最后將三個(gè)特征相加，從而獲得預(yù)測(cè)特征的結(jié)果。經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)的迭代訓(xùn)練，不斷計(jì)算梯度和更新權(quán)重，最后得出模型ｔ 時(shí)刻的預(yù)測(cè)輸出：

︿Yｔ ＝σ ＸＴ， （５）

式中：σ（·）表示Ｓｉｇｍｏｉｄ 激活函數(shù)。從預(yù)測(cè)值和真實(shí)值的對(duì)比結(jié)果來(lái)看，可以通過(guò)均方根誤差（ＲｏｏｔＭｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ，ＲＭＳＥ）表達(dá)該損失函數(shù)，并在訓(xùn)練期間對(duì)該模型進(jìn)行參數(shù)更新：

Ｌ（μ）＝|| Ｙｔ －Ｙｔ︿|| ２， （６）

式中：μ 表示一組可以使得模型最終訓(xùn)練得到的損失函數(shù)取最小值的參數(shù)，Ｙｔ 表示真實(shí)值，當(dāng)損耗函數(shù)取最小值時(shí)，加權(quán)參數(shù)也分別對(duì)應(yīng)最優(yōu)值。

３． ３ 強(qiáng)化學(xué)習(xí)ＭＤＰ 環(huán)境建模

本文的主要研究目標(biāo)是找到最優(yōu)的基站開(kāi)關(guān)策略，以最大限度降低系統(tǒng)的長(zhǎng)期總成本。將基站成本優(yōu)化問(wèn)題建模為一個(gè)ＭＤＰ，并將其表示為一個(gè)元組M＝〈S，A ，R ，S′，γ〉。其中，S為狀態(tài)空間，A 為動(dòng)作空間，R 為獎(jiǎng)勵(lì)函數(shù)，S′為下一時(shí)刻的狀態(tài)，γ∈［０，１］為折扣因子。ＭＤＰ 的設(shè)計(jì)過(guò)程按以下步驟進(jìn)行：

① 狀態(tài)（ｓｔａｔｅ）：系統(tǒng)狀態(tài)是由在當(dāng)前時(shí)刻ｔ 所有用戶的流量負(fù)載ρｔｋ 組成。但是，當(dāng)基站要進(jìn)行活躍／睡眠模式操作時(shí)，在時(shí)段ｔ 開(kāi)始時(shí)，流量ρｔｋ 不可用。因此，利用流量預(yù)測(cè)模型訓(xùn)練得到的預(yù)測(cè)結(jié)果ρｔｋ ～，將狀態(tài)表示為ｓｔ ＝｛ρｔｋ ～｝。

② 動(dòng)作（ａｃｔｉｏｎ）：動(dòng)作ａｔ 是決定所有基站在ｔ時(shí)刻的工作模式，其中：

③ 獎(jiǎng)勵(lì)函數(shù)（Ｒｅｗａｒｄ）：為了評(píng)估當(dāng)前的基站開(kāi)關(guān)策略，將在狀態(tài)ｓ 下采取動(dòng)作ａ 獲得的瞬時(shí)獎(jiǎng)勵(lì)作為判斷依據(jù)。系統(tǒng)在一個(gè)小時(shí)內(nèi)的獎(jiǎng)勵(lì)由所有基站的能耗和用戶ＱｏＳ 下降成本組成。獎(jiǎng)勵(lì)函數(shù)如式（８）所示：

３． ４ Ｍｕｌｔｉ-ＤＱＮ 訓(xùn)練過(guò)程

為了提高強(qiáng)化學(xué)習(xí)模型的訓(xùn)練速度，進(jìn)一步提升基站動(dòng)態(tài)開(kāi)關(guān)模型的性能，采用Ｍｕｌｔｉ-ＤＱＮ 算法求解基站動(dòng)態(tài)開(kāi)關(guān)問(wèn)題。完整的Ｍｕｌｔｉ-ＤＱＮ 訓(xùn)練過(guò)程如算法１ 所示。

在每一步訓(xùn)練過(guò)程中，蜂窩網(wǎng)絡(luò)都會(huì)向Ｑ 網(wǎng)絡(luò)發(fā)送當(dāng)前所有用戶的移動(dòng)流量狀態(tài)。由此，得到在該狀態(tài)下的全部基站進(jìn)行開(kāi)關(guān)切換所對(duì)應(yīng)的Ｑ 值。算法第６ 行說(shuō)明多個(gè)ＤＱＮ 在并行訓(xùn)練；第７ 行～１５ 行是基于ε-ｇｒｅｅｄｙ 算法對(duì)單個(gè)ＤＱＮ 進(jìn)行判定的步驟。具體來(lái)說(shuō)就是，當(dāng)隨機(jī)數(shù)小于ε 時(shí)，會(huì)隨機(jī)生成一個(gè)［０，１］的數(shù)字。假設(shè)該數(shù)值小于ε，該步驟將采取具有最大Ｑ 值的動(dòng)作進(jìn)行操作，否則將隨機(jī)采取一個(gè)動(dòng)作?；鹃_(kāi)關(guān)狀態(tài)發(fā)生變化以后，蜂窩網(wǎng)絡(luò)將基于能耗、ＱｏＳ 下降成本的獎(jiǎng)勵(lì)反饋給ＤＱＮ 代理，并進(jìn)入到新的狀態(tài)，產(chǎn)生一條數(shù)據(jù)保存到經(jīng)驗(yàn)回放緩沖區(qū)。在該算法中，第１１ 行～１３ 行為ＤＱＮ 的Ｑ網(wǎng)絡(luò)參數(shù)更新過(guò)程，它通過(guò)對(duì)少量采樣數(shù)據(jù)的丟失進(jìn)行計(jì)算，并通過(guò)梯度下降來(lái)調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)的參數(shù)θ。第１４ 行為Ｑ 目標(biāo)網(wǎng)絡(luò)和Ｑ 網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)的參數(shù)以Ｃ 為間隔進(jìn)行同步的過(guò)程。

４ 模型性能分析

本節(jié)主要包括三部分：數(shù)據(jù)集描述、參數(shù)設(shè)置及實(shí)驗(yàn)環(huán)境、模型性能。

４． １ 數(shù)據(jù)集描述

本文所用數(shù)據(jù)為某區(qū)域４Ｇ 流量數(shù)據(jù)，對(duì)每小時(shí)空口總流量（單位為ＧＢ）進(jìn)行分析處理。數(shù)據(jù)集分為兩部分，其中２０２１ 年１１ 月１９ 日—２０２１ 年１２ 月１８ 日每小時(shí)測(cè)得的數(shù)據(jù)（共７２０ 條）為訓(xùn)練集，２０２１ 年１２ 月１９ 日每小時(shí)測(cè)得的數(shù)據(jù)（共２４ 條）為測(cè)試集。

４． ２ 參數(shù)設(shè)置及實(shí)驗(yàn)環(huán)境

本文首先將３×３ 個(gè)柵格劃分為一個(gè)區(qū)域，整個(gè)區(qū)域被分為４ 個(gè)子區(qū)域，每個(gè)子區(qū)域都有一個(gè)ＤＱＮ代理獨(dú)立地控制基站的開(kāi)關(guān)狀態(tài)。然后，將每個(gè)柵格劃分為１００ 個(gè)５０ ｍ×５０ ｍ 的小柵格。本文采用ＫＮＮ 算法將每個(gè)小柵格關(guān)聯(lián)到距離最近的基站，以小時(shí)為單位，將基站流量均分到所有關(guān)聯(lián)的小柵格。最后統(tǒng)計(jì)每個(gè)柵格所有小柵格的流量和，作為該柵格的流量。

實(shí)驗(yàn)環(huán)境的硬件配置為：Ｉｎｔｅｌ（Ｒ）Ｃｏｒｅ（ＴＭ）ｉ９-１０９４０Ｘ ＣＰＵ ＠ ３． ３０ ＧＨｚ，ＧＰＵ ＲＴＸ３０９０，２４ ＧＢ 顯存；軟件配置為：Ｐｙｔｈｏｎ３． ８，ｐｙｔｏｒｃｈ２． ０． １＋ＣＵＤＡ１１． ７ＣＵＤＮＮ ８． ２． ４；ＣＰＵ 內(nèi)存１２８ ＧＢ。

４． ３ 模型性能

本小節(jié)主要分為流量預(yù)測(cè)和強(qiáng)化學(xué)習(xí)兩部分。

４． ３． １ 流量預(yù)測(cè)性能

① 基于ＤｅｎｓｅＮｅｔ 的基站流量預(yù)測(cè)值和真實(shí)值對(duì)比（某一個(gè)區(qū)域２９ 個(gè)基站下平均效果）如圖２ 所示，可以看出，ＤｅｎｓｅＮｅｔ 模型在整體預(yù)測(cè)性能上表現(xiàn)良好，但是，在網(wǎng)絡(luò)流量高峰時(shí)刻，模型的預(yù)測(cè)結(jié)果（ｄｅｎｓｅｎｅｔ＿ｒｅｓｕｌｔ）出現(xiàn)了一些與真實(shí)值（ｇｒｏｕｎｄ＿ｔｒｕｔｈ）略微不一致的情況。這可能是由于模型在高峰時(shí)刻的數(shù)據(jù)特性、復(fù)雜性或非線性動(dòng)態(tài)變化方面存在一定的挑戰(zhàn)，導(dǎo)致預(yù)測(cè)精度在此時(shí)段稍有波動(dòng)。

② 某一個(gè)區(qū)域２９ 個(gè)基站下平均預(yù)測(cè)效果ＤｅｎｓｅＮｅｔ 與其他算法對(duì)比結(jié)果如表２ 所示。此次實(shí)驗(yàn)以均方誤差（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ，ＭＳＥ）作為評(píng)價(jià)指標(biāo)。實(shí)驗(yàn)結(jié)果表明，Ｈｏｌｔ-ｗｉｎｔｅｒ 模型［１９］得到的ＭＳＥ為６． ８４４ ５，表現(xiàn)最差；其次是ＬＳＴＭ［２０］和ＡＲＩＭＡ［２１］模型，ＭＳＥ 分別為５． ７６０ ５ 和３． ５３８ １；而ＸＧＢｏｏｓｔ［２２］模型和ＤｅｎｓｅＮｅｔ 模型的表現(xiàn)最好，其中ＤｅｎｓｅＮｅｔ 模型以１． ８２１ ２ 的ＭＳＥ 表現(xiàn)最為出色，ＸＧｂｏｏｓｔ 模型的ＭＳＥ 為２． ２５１ ８，表現(xiàn)次之。

在此次實(shí)驗(yàn)中，ＸＧＢｏｏｓｔ 和ＤｅｎｓｅＮｅｔ 在流量預(yù)測(cè)任務(wù)中具有較好的性能，可能的原因在于這兩種模型均具有較強(qiáng)的特征學(xué)習(xí)和抽象能力，能夠有效地捕捉到數(shù)據(jù)中的復(fù)雜模式和關(guān)聯(lián)關(guān)系。與之相比，ＡＲＩＭＡ 和Ｈｏｌｔ-ｗｉｎｔｅｒｓ 是傳統(tǒng)的時(shí)間序列模型，通常對(duì)于復(fù)雜的時(shí)間序列模式表現(xiàn)較差。

４． ３． ２ 強(qiáng)化學(xué)習(xí)性能

① 本文選取了市區(qū)內(nèi)高校區(qū)、居民區(qū)和商業(yè)區(qū)三個(gè)區(qū)域作為實(shí)驗(yàn)場(chǎng)景，模型訓(xùn)練結(jié)果曲線如圖３所示。三個(gè)不同的區(qū)域都隨著訓(xùn)練輪次的增加，模型收斂至穩(wěn)定。其中，居民區(qū)的收斂趨勢(shì)最快，在第１５０ 輪次就逐漸開(kāi)始收斂。由于居民區(qū)相對(duì)于高校區(qū)和商業(yè)區(qū)來(lái)說(shuō)，網(wǎng)絡(luò)環(huán)境通常更簡(jiǎn)單，具有較低的復(fù)雜性。這種低復(fù)雜性使得強(qiáng)化學(xué)習(xí)智能體更容易學(xué)習(xí)和優(yōu)化基站的開(kāi)關(guān)策略，因此，學(xué)習(xí)模型的收斂速度相對(duì)而言會(huì)更快。

② Ｍｕｌｔｉ-ＤＱＮ 與其他算法在某一個(gè)區(qū)域２９ 個(gè)基站的平均節(jié)能效果對(duì)比結(jié)果如表３ 所示。

從對(duì)比結(jié)果來(lái)看，與啟發(fā)式算法和Ｍｕｌｔｉ-ＤＱＮ算法相比，基站全開(kāi)策略最不理想，能耗最大，大約為１１ ５７８ Ｗ；啟發(fā)式算法與Ｍｕｌｔｉ-ＤＱＮ 算法的能耗結(jié)果分別為７ ２４３ Ｗ 和７ １６５ Ｗ，因此，Ｍｕｌｔｉ-ＤＱＮ算法比啟發(fā)式算法節(jié)能效果更好。Ｍｕｌｔｉ-ＤＱＮ 相對(duì)于啟發(fā)式算法在節(jié)能方面的優(yōu)勢(shì)在于其能夠進(jìn)行全局優(yōu)化，具有自適應(yīng)性和學(xué)習(xí)能力；同時(shí)，其并行化訓(xùn)練和廣泛的策略空間探索使其能夠更有效地發(fā)現(xiàn)并優(yōu)化節(jié)能策略，為復(fù)雜的節(jié)能問(wèn)題提供了更為有效的解決方案。而啟發(fā)式算法通常以簡(jiǎn)單規(guī)則或既往經(jīng)驗(yàn)為基礎(chǔ)，性能受限于搜索空間的局部最優(yōu)解問(wèn)題，可能無(wú)法提供足夠準(zhǔn)確的解決方案，尤其在復(fù)雜、不確定性高的情況下，算法表現(xiàn)可能不穩(wěn)定且難以調(diào)優(yōu)。

總的來(lái)說(shuō)，Ｍｕｌｔｉ-ＤＱＮ 算法相對(duì)基站全開(kāi)策略和啟發(fā)式算法而言，效果比較好。該算法與當(dāng)前使用的基站常開(kāi)策略相比，能夠節(jié)約３７％ 的能量消耗，且優(yōu)于傳統(tǒng)啟發(fā)式算法。

５ 結(jié)束語(yǔ)

本文提出了一種基于流量預(yù)測(cè)的Ｍｕｌｔｉ-ＤＱＮ 基站動(dòng)態(tài)開(kāi)關(guān)模型，用于蜂窩網(wǎng)絡(luò)的節(jié)能。利用ＤｅｎｓｅＮｅｔ 預(yù)測(cè)移動(dòng)流量，而后，基于精確的移動(dòng)流量預(yù)測(cè)，將基站開(kāi)關(guān)控制問(wèn)題建模為一個(gè)ＭＤＰ 過(guò)程，以考慮用戶ＱｏＳ 下降成本來(lái)最小化長(zhǎng)期的能量消耗。為了解決ＭＤＰ 問(wèn)題，本文采用了Ｍｕｌｔｉ-ＤＱＮ深度強(qiáng)化學(xué)習(xí)方法求解。最后，通過(guò)對(duì)真實(shí)區(qū)域數(shù)據(jù)集的大量實(shí)驗(yàn)，證明了所提模型的有效性。本文的主要研究目標(biāo)在于通過(guò)一系列的創(chuàng)新性工作，降低基站的能源消耗，以實(shí)現(xiàn)通信基站節(jié)能的目標(biāo)。

參考文獻(xiàn)

［１］ ＭＡＲＳＡＮ Ｍ Ａ，ＣＨＩＡＲＡＶＩＧＬＩＯ Ｌ，ＣＩＵＬＬＯ Ｄ，ｅｔ ａｌ． Ｏｐｔｉｍａｌ Ｅｎｅｒｇｙ Ｓａｖｉｎｇｓ ｉｎ Ｃｅｌｌｕｌａｒ Ａｃｃｅｓｓ Ｎｅｔｗｏｒｋｓ［Ｃ］∥２００９ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＣｏｍｍｕｎｉｃａｔｉｏｎｓＷｏｒｋｓｈｏｐｓ． Ｄｒｅｓｄｅｎ：ＩＥＥＥ，２００９：１－５．

［２］ ＢＥＩＴＥＬＭＡＬ Ｔ，ＹＡＮＩＫＯＭＥＲＯＧＬＵ Ｈ． Ａ Ｓｅｔ ＣｏｖｅｒＢａｓｅｄ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｃｅｌｌ Ｓｗｉｔｃｈｏｆｆ ｗｉｔｈ Ｄｉｆｆｅｒｅｎｔ ＣｅｌｌＳｏｒｔｉｎｇ Ｃｒｉｔｅｒｉａ［Ｃ］∥２０１４ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｗｏｒｋｓｈｏｐｓ （ＩＣＣ）． Ｓｙｄｎｅｙ：ＩＥＥＥ，２０１４：６４１－６４６．

［３］ ＧＯＮＧ Ｊ，ＺＨＯＵ Ｓ，ＹＡＮＧ Ｚ Ｘ，ｅｔ ａｌ． Ｇｒｅｅｎ ＭｏｂｉｌｅＡｃｃｅｓｓ Ｎｅｔｗｏｒｋ ｗｉｔｈ Ｄｙｎａｍｉｃ Ｂａｓｅ Ｓｔａｔｉｏｎ Ｅｎｅｒｇｙ Ｓａｖｉｎｇ［Ｊ］． Ｉｃｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｉｎｔｅｒｎｅｔ Ａｒｃｈｉｔｅｃｔｕｒｅ，２００９，１０９（２６２）：２５－２９．

［４］ 鄭佳歡，向勇． 基于個(gè)性化場(chǎng)景的５Ｇ 基站節(jié)能方法［Ｊ］． 移動(dòng)通信，２０２１，４５（３）：９１－９６．

［５］ ＬＩＵ Ｃ，ＷＡＮ Ｙ，ＴＩＡＮ Ｌ，ｅｔ ａｌ． Ｂａｓｅ Ｓｔａｔｉｏｎ ＳｌｅｅｐｉｎｇＣｏｎｔｒｏｌ ｗｉｔｈ Ｅｎｅｒｇｙｓｔａｂｉｌｉｔｙ Ｔｒａｄｅｏｆｆ ｉｎ Ｃｅｎｔｒａｌｉｚｅｄ ＲａｄｉｏＡｃｃｅｓｓ Ｎｅｔｗｏｒｋｓ［Ｃ］∥２０１５ ＩＥＥＥ Ｇｌｏｂａｌ ＣｏｍｍｕｎｉｃａｔｉｏｎｓＣｏｎｆｅｒｅｎｃｅ（ＧＬＯＢＥＣＯＭ）． Ｓａｎ Ｄｉｅｇｏ：ＩＥＥＥ，２０１５：１－６．

［６］ ＣＨＡＮＤＨＡＲ Ｐ，ＤＡＳ Ｓ Ｓ． Ｅｎｅｒｇｙ Ｓａｖｉｎｇ ｉｎ ＯＦＤＭＡ Ｃｅｌｌｕｌａｒ Ｎｅｔｗｏｒｋｓ ｗｉｔｈ Ｍｕｌｔｉｏｂｊｅｃｔｉｖｅ Ｏｐｔｉｍｉｚａｔｉｏｎ ［Ｃ］∥２０１４ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＩＣＣ）． Ｓｙｄｎｅｙ：ＩＥＥＥ，２０１４：３９５１－３９５６．

［７］ ＡＬＱＡＳＩＲ Ａ Ｍ，ＫＡＭＡＬ Ａ Ｅ． Ｃｏｏｐｅｒａｔｉｖｅ Ｓｍａｌｌ ＣｅｌｌＨｅｔＮｅｔｓ ｗｉｔｈ Ｄｙｎａｍｉｃ Ｓｌｅｅｐｉｎｇ ａｎｄ Ｅｎｅｒｇｙ Ｈａｒｖｅｓｔｉｎｇ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒｅｅｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄＮｅｔｗｏｒｋｉｎｇ，２０２０，４（３）：７７４－７８２．

［８］ ＫＩＭ Ｊ，ＪＥＯＮ Ｗ Ｓ，ＪＥＯＮＧ Ｄ Ｇ． Ｂａｓｅｓｔａｔｉｏｎ Ｓｌｅｅｐ Ｍａｎａｇｅｍｅｎｔ ｉｎ Ｏｐｅｎａｃｃｅｓｓ Ｆｅｍｔｏｃｅｌｌ Ｎｅｔｗｏｒｋｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｅｈｉｃｕｌａｒ Ｔｅｃｈｎｏｌｏｇｙ，２０１６，６５（５）：３７８６－３７９１．

［９］ ＺＨＥＮＧ Ｊ Ｃ，ＣＡＩ Ｙ Ｍ，ＣＨＥＮ Ｘ Ｆ，ｅｔ ａｌ． Ｏｐｔｉｍａｌ ＢａｓｅＳｔａｔｉｏｎ Ｓｌｅｅｐｉｎｇ ｉｎ Ｇｒｅｅｎ Ｃｅｌｌｕｌａｒ Ｎｅｔｗｏｒｋｓ：Ａ ＤｉｓｔｒｉｂｕｔｅｄＣｏｏｐｅｒａｔｉｖｅ Ｆｒａｍｅｗｏｒｋ Ｂａｓｅｄ ｏｎ Ｇａｍｅ Ｔｈｅｏｒｙ［Ｊ］． ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｗｉｒｅｌｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，２０１５，１４（８）：４３９１－４４０６．

［１０］ＸＵ Ｘ Ｄ，ＹＵＡＮ Ｃ Ｊ，ＣＨＥＮ Ｗ Ｗ，ｅｔ ａｌ． Ａｄａｐｔｉｖｅ Ｃｅｌｌ Ｚｏｏｍｉｎｇ ａｎｄ Ｓｌｅｅｐｉｎｇ ｆｏｒ Ｇｒｅｅｎ Ｈｅｔｅｒｏｇｅｎｅｏｕｓ ＵｌｔｒａｄｅｎｓｅＮｅｔｗｏｒｋｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｅｈｉｃｕｌａｒ Ｔｅｃｈｎｏｌｏｇｙ，２０１８，６７（２）：１６１２－１６２１．

［１１］ＬＩＮ Ｊ Ｓ，ＣＨＥＮ Ｙ Ｊ，ＺＨＥＮＧ Ｈ Ｆ，ｅｔ ａｌ． Ａ ＤａｔａｄｒｉｖｅｎＢａｓｅ Ｓｔａｔｉｏｎ Ｓｌｅｅｐｉｎｇ Ｓｔｒａｔｅｇｙ Ｂａｓｅｄ ｏｎ Ｔｒａｆｆｉｃ Ｐｒｅｄｉｃｔｉｏｎ［Ｊ／ ＯＬ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｎｅｔｗｏｒｋ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ（２０２１－０９－０２）［２０２４－０２－１０］． ｈｔｔｐｓ：∥ｉｅｅｅｘｐｌｏｒｅ． ｉｅｅｅ． ｏｒｇ／ ｄｏｃｕｍｅｎｔ／９５２８００８．

［１２］ＬＩＵ Ｊ Ｃ，ＫＲＩＳＨＮＡＭＡＣＨＡＲＩ Ｂ，ＺＨＯＵ Ｓ，ｅｔ ａｌ．ＤｅｅｐＮａｐ：Ｄａｔａｄｒｉｖｅｎ Ｂａｓｅ Ｓｔａｔｉｏｎ Ｓｌｅｅｐｉｎｇ ＯｐｅｒａｔｉｏｎｓＴｈｒｏｕｇｈ Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ［Ｊ］． ＩＥＥＥ Ｉｎｔｅｒｎｅｔｏｆ Ｔｈｉｎｇｓ Ｊｏｕｒｎａｌ，２０１８，５（６）：４２７３－４２８２．

［１３］曾德澤，李躍鵬，趙宇陽(yáng)，等． 基于強(qiáng)化學(xué)習(xí)的高能效基站動(dòng)態(tài)調(diào)度方法［Ｊ］． 計(jì)算機(jī)科學(xué)，２０２１，４８（１１）：３６３－３７１．

［１４］ＬＩ Ｒ Ｐ，ＺＨＡＯ Ｚ Ｆ，ＣＨＥＮ Ｘ Ｆ，ｅｔ ａｌ． ＴＡＣＴ：Ａ ＴｒａｎｓｆｅｒＡｃｔｏｒｃｒｉｔｉｃ Ｌｅａｒｎｉｎｇ Ｆｒａｍｅｗｏｒｋ ｆｏｒ Ｅｎｅｒｇｙ Ｓａｖｉｎｇ ｉｎ Ｃｅｌｌｕｌａｒ Ｒａｄｉｏ Ａｃｃｅｓｓ Ｎｅｔｗｏｒｋｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎＷｉｒｅｌｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，２０１４，１３（４）：２０００－２０１１．

［１５］楊馥瑜，趙東． 基于深度強(qiáng)化學(xué)習(xí)的基站休眠控制算法［ＥＢ／ ＯＬ］． （２０１５－０２－１０）［２０２４－０２－１０］． ｈｔｔｐｓ：∥ｗｗｗ． ｐａｐｅｒ． ｅｄｕ． ｃｎ／ ｒｅｌｅａｓｅｐａｐｅｒ／ ｃｏｎｔｅｎｔ／２０２３０２－５８．

［１６］ＬＩ Ｒ Ｐ，ＺＨＡＯ Ｚ Ｆ，ＷＥＩ Ｙ，ｅｔ ａｌ． ＧＭＰＡＢ：Ａ ＧｒｉｄｂａｓｅｄＥｎｅｒｇｙ Ｓａｖｉｎｇ Ｓｃｈｅｍｅ ｗｉｔｈ Ｐｒｅｄｉｃｔｅｄ Ｔｒａｆｆｉｃ Ｌｏａｄ Ｇｕｉｄａｎｃｅ ｆｏｒ Ｃｅｌｌｕｌａｒ Ｎｅｔｗｏｒｋｓ［Ｃ］∥２０１２ ＩＥＥＥ ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ （ＩＣＣ）． Ｏｔｔａｗａ：ＩＥＥＥ，２０１２：１１６０－１１６４．

［１７］ＷＵ Ｑ，ＣＨＥＮ Ｘ，ＺＨＯＵ Ｚ，ｅｔ ａｌ． Ｄｅｅｐ ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ ｗｉｔｈ Ｓｐａｔｉｏｔｅｍｐｏｒａｌ Ｔｒａｆｆｉｃ Ｆｏｒｅｃａｓｔｉｎｇ ｆｏｒＤａｔａｄｒｉｖｅｎ Ｂａｓｅ Ｓｔａｔｉｏｎ Ｓｌｅｅｐ Ｃｏｎｔｒｏｌ［Ｊ］． ＩＥＥＥ／ ＡＣＭＴｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｎｅｔｗｏｒｋｉｎｇ，２０２１，２９（２）：９３５－９４８．

［１８］馬冀，林尚靜，李月穎，等． 多源跨域數(shù)據(jù)融合的無(wú)線通信網(wǎng)絡(luò)流量預(yù)測(cè)［Ｊ］． 計(jì)算機(jī)科學(xué)，２０２２，４９（增刊２）：８９３－８９９．

［１９］ＣＨＡＴＦＩＥＬＤ Ｃ． Ｔｈｅ Ｈｏｌｔｗｉｎｔｅｒｓ Ｆｏｒｅｃａｓｔｉｎｇ Ｐｒｏｃｅｄｕｒｅ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｒｏｙａｌ Ｓｔａｔｉｓｔｉｃａｌ Ｓｏｃｉｅｔｙ Ｓｅｒｉｅｓ Ｃ：Ａｐｐｌｉｅｄ Ｓｔａｔｉｓｔｉｃｓ，１９７８，２７（３）：２６４－２７９．

［２０］ＤＥＮＧ Ｃ，ＺＨＵ Ｃ． Ｓｈｏｒｔｔｅｒｍ Ｔｒａｆｆｉｃ Ｖｅｌｏｃｉｔｙ ＰｒｅｄｉｃｔｉｏｎＢａｓｅｄ ｏｎ ＬＳＴＭ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ［Ｃ］∥２０２３ ＩＥＥＥ ６ｔｈＩｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｋｎｏｗｌｅｄｇｅ Ｉｎｎｏｖａｔｉｏｎ ａｎｄＩｎｖｅｎｔｉｏｎ （ＩＣＫＩＩ）． Ｓａｐｐｏｒｏ：ＩＥＥＥ，２０２３：６３４－６３８．

［２１］ＤＥＮＧ Ｌ Ｊ，ＲＵＡＮ Ｋ，ＣＨＥＮ Ｘ，ｅｔ ａｌ． Ａｎ ＩＰ ＮｅｔｗｏｒｋＴｒａｆｆｉｃ Ｐｒｅｄｉｃｔｉｏｎ Ｍｅｔｈｏｄ Ｂａｓｅｄ ｏｎ ＡＲＩＭＡ ａｎｄＮＢＥＡＴＳ［Ｃ］∥２０２２ ＩＥＥＥ ４ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅｏｎ Ｐｏｗｅｒ，Ｉｎｔｅｌｌｉｇｅｎｔ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｓｙｓｔｅｍｓ （ＩＣＰＩＣＳ）．Ｓｈｅｎｙａｎｇ：ＩＥＥＥ，２０２２：３３６－３４１．

［２２］ＢＯＳＥ Ｓ，ＧＡＹＮＡＲ Ｋ，ＳＩＮＧＨ Ｓ Ｐ． Ｂｒｅａｓｔ ＣａｎｃｅｒＤｅｔｅｃｔｉｏｎ ｂｙ Ｄａｔａ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｆｅａｔｕｒｅ ＳｅｌｅｃｔｉｏｎＵｓｉｎｇ ＸＧ Ｂｏｏｓｔ Ａｌｇｏｒｉｔｈｍ［Ｃ］∥２０２２ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｉｇｎａｌ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣｏｎＳＩＰ）．Ｐｕｎｅ：ＩＥＥＥ，２０２２：１－６．

作者簡(jiǎn)介：

王 瑜 男，（１９８３—），碩士，高級(jí)工程師。主要研究方向：無(wú)線移動(dòng)網(wǎng)、物聯(lián)網(wǎng)、人工智能、網(wǎng)絡(luò)創(chuàng)新支撐等。

范燕琳 女，（１９９１—），博士，工程師。主要研究方向：網(wǎng)絡(luò)智慧運(yùn)營(yíng)、網(wǎng)絡(luò)運(yùn)維數(shù)字化轉(zhuǎn)型。

孫洋洋 男，（１９９０—），碩士，工程師。主要研究方向：網(wǎng)絡(luò)運(yùn)維數(shù)字化轉(zhuǎn)型。

熊建勝 男，（１９８９—），碩士，工程師。主要研究方向：智能運(yùn)維人工智能算法。

蔣 濤 男，（１９９３—），工程師。主要研究方向：基站機(jī)房節(jié)能。

周 瑩 女，（１９８８—），碩士，工程師。主要研究方向：網(wǎng)絡(luò)智慧運(yùn)營(yíng)、人工智能。

韓志博 女，（２０００—），碩士研究生。主要研究方向：無(wú)線通信。

李子怡 女，（２０００—），碩士研究生。主要研究方向：無(wú)線通信。

王振乾 男，（１９９９—），博士研究生。主要研究方向：大數(shù)據(jù)、人工智能算法。

基金項(xiàng)目：２０２３ 年中國(guó)聯(lián)通智網(wǎng)創(chuàng)新中心基于ＡＩ 的基站與接入機(jī)房節(jié)能算法模型研究及應(yīng)用研發(fā)項(xiàng)目