索士強(qiáng)　王映民

【摘? 要】將機(jī)器學(xué)習(xí)技術(shù)應(yīng)用到未來(lái)6G網(wǎng)絡(luò)使其具備內(nèi)生智能，是未來(lái)移動(dòng)通信系統(tǒng)發(fā)展的重要趨勢(shì)之一。對(duì)將機(jī)器學(xué)習(xí)技術(shù)引入到6G網(wǎng)絡(luò)的必要性、可行性進(jìn)行分析，并給出了一種網(wǎng)絡(luò)內(nèi)生智能的方式。同時(shí)對(duì)網(wǎng)絡(luò)內(nèi)生智能所引發(fā)的機(jī)器學(xué)習(xí)建模問(wèn)題、模型部署/更新問(wèn)題、如何應(yīng)用強(qiáng)化學(xué)習(xí)的問(wèn)題、以及標(biāo)準(zhǔn)化問(wèn)題進(jìn)行了探討。這些問(wèn)題需要在無(wú)線網(wǎng)絡(luò)內(nèi)生智能化進(jìn)程中被關(guān)注和進(jìn)一步研究。

【關(guān)鍵詞】人工智能;機(jī)器學(xué)習(xí);6G;神經(jīng)網(wǎng)絡(luò)

0? ?引言

作為人工智能的關(guān)鍵方法之一，機(jī)器學(xué)習(xí)技術(shù)在上個(gè)世紀(jì)50年代被提出，到目前為止經(jīng)歷了早期發(fā)展階段和以數(shù)據(jù)挖掘?yàn)榇淼闹衅诎l(fā)展階段，目前處于以深度機(jī)器學(xué)習(xí)為代表的第三個(gè)發(fā)展階段。機(jī)器學(xué)習(xí)技術(shù)影響的行業(yè)范圍廣，涉及金融、家居、教育、交通、醫(yī)療、物流、安防、客服、制造等行業(yè)，特別是在語(yǔ)音識(shí)別、圖像識(shí)別等領(lǐng)域取得突破。機(jī)器學(xué)習(xí)技術(shù)平臺(tái)開(kāi)源化，使得開(kāi)發(fā)者可以直接使用已經(jīng)研發(fā)成功的深度學(xué)習(xí)工具，也加速了機(jī)器學(xué)習(xí)技術(shù)的發(fā)展與應(yīng)用。

近年來(lái)，如何將機(jī)器學(xué)習(xí)技術(shù)應(yīng)用到無(wú)線移動(dòng)通信系統(tǒng)在學(xué)術(shù)界、產(chǎn)業(yè)界被廣泛研究與探討。3GPP SA2于2017年啟動(dòng)了面向5G網(wǎng)絡(luò)的自動(dòng)化使能技術(shù)研究工作，其對(duì)核心網(wǎng)中的NWDAF（Network Data Analytics Function，網(wǎng)絡(luò)數(shù)據(jù)分析功能）進(jìn)行了增強(qiáng)[1-2];3GPP SA5于2019年啟動(dòng)了面向MDAS（Management Data Analytics Service，管理數(shù)據(jù)分析服務(wù)）增強(qiáng)的研究工作[3]。對(duì)網(wǎng)絡(luò)數(shù)據(jù)分析功能和管理數(shù)據(jù)分析服務(wù)的增強(qiáng)，使其可應(yīng)用人工智能和機(jī)器學(xué)習(xí)技術(shù)進(jìn)行數(shù)據(jù)分析，可形成影響核心網(wǎng)和接入網(wǎng)的智能化決策。在接入網(wǎng)部分，3GPP RAN3于2018年啟動(dòng)了以RAN為中心的面向NR的數(shù)據(jù)收集與應(yīng)用研究工作，為在接入網(wǎng)中應(yīng)用人工智能和機(jī)器學(xué)習(xí)技術(shù)提供數(shù)據(jù)層面的支撐[4]。基本上與3GPP同期，ITU-T SG13于2017年成立面向5G的機(jī)器學(xué)習(xí)焦點(diǎn)小組FG-ML5G，給出了一種在5G以及未來(lái)網(wǎng)絡(luò)中應(yīng)用機(jī)器學(xué)習(xí)的統(tǒng)一邏輯架構(gòu)，其需要對(duì)現(xiàn)有域之間的接口（比如核心網(wǎng)和接入網(wǎng)之間的接口）進(jìn)行增強(qiáng)，以便于機(jī)器學(xué)習(xí)使用[5]。CCSA的TC1WG1、TC5WG6以及TC5WG10均開(kāi)展了面向人工智能的研究工作，涉及移動(dòng)通信網(wǎng)絡(luò)智能化能力分級(jí)研究、人工智能和大數(shù)據(jù)在無(wú)線通信中的應(yīng)用研究等諸多課題[6-7]。2018年成立的O-RAN聯(lián)盟將RAN智能化作為其主要的研究目標(biāo)之一，其通過(guò)在RAN側(cè)引入RAN智能控制器（RIC， RAN Intelligent Controller）來(lái)增強(qiáng)RAN的智能化[8]。上述這些組織所討論的機(jī)器學(xué)習(xí)在無(wú)線移動(dòng)通信系統(tǒng)中的應(yīng)用，主要面向解決無(wú)線移動(dòng)通信網(wǎng)絡(luò)中的業(yè)務(wù)及應(yīng)用的部署、運(yùn)行、拓展、安全等問(wèn)題，解決網(wǎng)絡(luò)及平臺(tái)的規(guī)劃、優(yōu)化、維護(hù)、節(jié)能等問(wèn)題，以及解決無(wú)線資源管理層面的問(wèn)題，較少涉及解決信號(hào)處理層面的問(wèn)題。在無(wú)線移動(dòng)通信系統(tǒng)中如何利用機(jī)器學(xué)習(xí)技術(shù)解決信號(hào)處理層面的問(wèn)題，目前在學(xué)術(shù)界被廣泛關(guān)注，并有進(jìn)一步被應(yīng)用到實(shí)際系統(tǒng)中的趨勢(shì)[9-12]。

當(dāng)前無(wú)線網(wǎng)絡(luò)智能化主要考慮的是對(duì)包括5G在內(nèi)的現(xiàn)存網(wǎng)絡(luò)的智能化，滯后于對(duì)應(yīng)無(wú)線移動(dòng)系統(tǒng)的標(biāo)準(zhǔn)化階段，所以主要采用的是擴(kuò)展其對(duì)外的數(shù)據(jù)接口，以便被機(jī)器學(xué)習(xí)所使用的方式。這種方式由于其可擴(kuò)展的數(shù)據(jù)接口有限、數(shù)據(jù)傳輸時(shí)延大，限制了機(jī)器學(xué)習(xí)的應(yīng)用場(chǎng)景，同時(shí)還可能引發(fā)數(shù)據(jù)安全問(wèn)題。因此，在面向6G的無(wú)線移動(dòng)通信網(wǎng)絡(luò)研究的初期，將機(jī)器學(xué)習(xí)技術(shù)與未來(lái)6G網(wǎng)絡(luò)深度融合，形成內(nèi)生智能的新一代移動(dòng)通信系統(tǒng)的期望很高。本文也將對(duì)無(wú)線移動(dòng)通信網(wǎng)絡(luò)內(nèi)生智能的相關(guān)問(wèn)題進(jìn)行探討與分析。

1? ? 無(wú)線網(wǎng)絡(luò)智能化的必要性與可行性

在無(wú)線移動(dòng)通信技術(shù)發(fā)展的歷史中，為了解決其所面臨的問(wèn)題和挑戰(zhàn)，已經(jīng)積累了大量的經(jīng)典的模型和解決方法，這些經(jīng)典的模型的構(gòu)成是清晰可見(jiàn)、可解釋的。這種解決問(wèn)題的方法被稱為模型驅(qū)動(dòng)的方法。隨著無(wú)線移動(dòng)通信系統(tǒng)的發(fā)展，其網(wǎng)絡(luò)變得越來(lái)越復(fù)雜：比如存在3G、4G、5G等多網(wǎng)共存的情況，存在eMBB、URLLC、eMTC等多種差異性業(yè)務(wù)共存的情況，存在基站-終端、基站-中繼-終端、終端-終端等多種無(wú)線連接共存的情況，這導(dǎo)致無(wú)論在業(yè)務(wù)層面、無(wú)線資源管理層面，還是信號(hào)處理層面，都面臨著越來(lái)越大的挑戰(zhàn)。引入機(jī)器學(xué)習(xí)的初衷，就是借鑒深度學(xué)習(xí)可以解決大型、復(fù)雜的非線性系統(tǒng)問(wèn)題的能力，來(lái)應(yīng)對(duì)未來(lái)這些挑戰(zhàn)。

簡(jiǎn)單地說(shuō)，機(jī)器學(xué)習(xí)主要用來(lái)解決模型驅(qū)動(dòng)的方法中模型無(wú)法獲得或者不精確的問(wèn)題。與模型驅(qū)動(dòng)的方法相對(duì)應(yīng)，應(yīng)用機(jī)器學(xué)習(xí)來(lái)解決問(wèn)題的方法，通常稱為數(shù)據(jù)驅(qū)動(dòng)的方法。

在傳統(tǒng)的模型驅(qū)動(dòng)方法中，模型的建立主要經(jīng)歷了三個(gè)階段：理論推導(dǎo)、仿真驗(yàn)證以及實(shí)際應(yīng)用。采用數(shù)據(jù)驅(qū)動(dòng)的方法時(shí)，模型的建立也經(jīng)歷了類(lèi)似的三個(gè)階段：模型訓(xùn)練、仿真驗(yàn)證以及實(shí)際應(yīng)用。可以看出兩種方法的主要差別在于第一個(gè)階段。假設(shè)為了解決同一個(gè)問(wèn)題，其所采用的仿真驗(yàn)證方法及其假設(shè)都是一致，如果數(shù)據(jù)驅(qū)動(dòng)方法所獲得效果與模型驅(qū)動(dòng)方法所獲得的效果相當(dāng)或更好，那么應(yīng)該可以說(shuō)明數(shù)據(jù)驅(qū)動(dòng)方法所獲得的模型及其對(duì)應(yīng)的方法是有效的。在文獻(xiàn)[9-10]中指出，即使通過(guò)仿真數(shù)據(jù)來(lái)進(jìn)行DNN模型的訓(xùn)練，其在實(shí)際應(yīng)用時(shí)所獲得的信號(hào)檢測(cè)性能下降都不明顯。而數(shù)據(jù)驅(qū)動(dòng)方法所獲得的模型，受益于深度神經(jīng)網(wǎng)絡(luò)所包含的海量參數(shù)，相對(duì)于人工理論推導(dǎo)所獲得的模型，有更為精確的可能，從而最終提高其效果，這也是引入機(jī)器學(xué)習(xí)的必要性之一。

機(jī)器學(xué)習(xí)模型的訓(xùn)練包括離線訓(xùn)練和在線訓(xùn)練兩種模式。離線訓(xùn)練階段的數(shù)據(jù)可以通過(guò)實(shí)際系統(tǒng)采集獲得，也可以通過(guò)仿真建模獲得。而對(duì)于待研究的新系統(tǒng)（比如6G）來(lái)說(shuō)，因無(wú)實(shí)際可提供數(shù)據(jù)采集的新系統(tǒng)，利用仿真平臺(tái)提供的數(shù)據(jù)進(jìn)行訓(xùn)練更為可行。

在線訓(xùn)練包括兩種情況：直接利用系統(tǒng)實(shí)時(shí)獲得的數(shù)據(jù)進(jìn)行訓(xùn)練;或者在離線訓(xùn)練所獲得的模型基礎(chǔ)上，利用系統(tǒng)運(yùn)行中所獲得的新數(shù)據(jù)對(duì)模型的參數(shù)進(jìn)行調(diào)整。在線訓(xùn)練會(huì)額外增加系統(tǒng)的計(jì)算復(fù)雜度，但可以通過(guò)控制其訓(xùn)練周期來(lái)平衡性能與復(fù)雜度之間的關(guān)系。特別地，基于導(dǎo)頻設(shè)計(jì)的無(wú)線通信系統(tǒng)天然具備可以應(yīng)用強(qiáng)化學(xué)習(xí)的基礎(chǔ)，其在發(fā)射端、接收端已知的導(dǎo)頻信號(hào)，可以看作系統(tǒng)實(shí)時(shí)提供的訓(xùn)練數(shù)據(jù)，可以用于對(duì)現(xiàn)有機(jī)器學(xué)習(xí)模型進(jìn)行在線訓(xùn)練。

在應(yīng)用階段，由于深度學(xué)習(xí)可以采用通用的深度神經(jīng)網(wǎng)絡(luò)，在其具體應(yīng)用時(shí)可以獲得較低的計(jì)算復(fù)雜度，這是因?yàn)橥ㄓ玫纳窠?jīng)網(wǎng)絡(luò)僅僅涉及一些簡(jiǎn)單的矩陣乘法操作。進(jìn)一步，借助GPU或更專(zhuān)用的機(jī)器學(xué)習(xí)芯片可以獲得更高效率或更低的成本。

因此，從可行性角度來(lái)看，引入機(jī)器學(xué)習(xí)在其工作原理上、訓(xùn)練數(shù)據(jù)可獲得上、以及計(jì)算復(fù)雜度方面均具有可行性。從必要性來(lái)看，其可以解決復(fù)雜問(wèn)題、提高性能和降低成本。

2? ?未來(lái)無(wú)線網(wǎng)絡(luò)需要內(nèi)生智能

當(dāng)前，將機(jī)器學(xué)習(xí)應(yīng)用到無(wú)線移動(dòng)通信網(wǎng)絡(luò)中主要采用：固化推演方式和系統(tǒng)外推演方式。固化推演方式即通過(guò)離線訓(xùn)練獲得推演階段所使用的機(jī)器學(xué)習(xí)模型后，將其固化到系統(tǒng)中，系統(tǒng)在運(yùn)行時(shí)，應(yīng)用固化在系統(tǒng)中的機(jī)器學(xué)習(xí)模型進(jìn)行推演，獲得相應(yīng)的功能。系統(tǒng)外推演方式即機(jī)器學(xué)習(xí)的訓(xùn)練和推演均在無(wú)線移動(dòng)通信系統(tǒng)之外進(jìn)行，機(jī)器學(xué)習(xí)推演機(jī)構(gòu)利用系統(tǒng)提供的數(shù)據(jù)進(jìn)行推演，并將推演的結(jié)果應(yīng)用到目標(biāo)系統(tǒng)之中，如圖1所示。目前在業(yè)務(wù)層面、網(wǎng)絡(luò)與平臺(tái)管理、無(wú)線資源管理等層面的機(jī)器學(xué)習(xí)研究主要考慮是這種方式，其對(duì)當(dāng)前標(biāo)準(zhǔn)架構(gòu)影響較小，僅涉及測(cè)量、統(tǒng)計(jì)量層面的豐富化。

采用系統(tǒng)外推演的方式，需要無(wú)線移動(dòng)通信系統(tǒng)向機(jī)器學(xué)習(xí)訓(xùn)練機(jī)構(gòu)提供大量用于訓(xùn)練和推演的數(shù)據(jù)，隨著所需要解決的問(wèn)題復(fù)雜化，特別是將機(jī)器學(xué)習(xí)用于無(wú)線信號(hào)處理時(shí)，大量的訓(xùn)練和推演數(shù)據(jù)向系統(tǒng)外提供將成為一種負(fù)擔(dān)。同時(shí)，系統(tǒng)內(nèi)外的數(shù)據(jù)交互會(huì)增加處理問(wèn)題的時(shí)延，限制了機(jī)器學(xué)習(xí)技術(shù)的應(yīng)用場(chǎng)景。將無(wú)線移動(dòng)通信系統(tǒng)內(nèi)部的數(shù)據(jù)提供給系統(tǒng)外的機(jī)器學(xué)習(xí)機(jī)構(gòu)使用，還可能引發(fā)數(shù)據(jù)安全的問(wèn)題。因此，有必要將機(jī)器學(xué)習(xí)的訓(xùn)練和推演引入到無(wú)線網(wǎng)絡(luò)內(nèi)部，構(gòu)造具備內(nèi)生智能的新一代無(wú)線移動(dòng)通信系統(tǒng)。

具體地，本文給出一種系統(tǒng)內(nèi)與系統(tǒng)外推演相結(jié)合的方式，如圖2所示。其中，離線訓(xùn)練以及所需數(shù)據(jù)量較少的在線訓(xùn)練和推演在系統(tǒng)外進(jìn)行，所需要數(shù)據(jù)量較大的在線訓(xùn)練和推演在系統(tǒng)內(nèi)進(jìn)行。特別地，系統(tǒng)內(nèi)的機(jī)器學(xué)習(xí)推演模型可以由系統(tǒng)外的機(jī)器學(xué)習(xí)訓(xùn)練機(jī)構(gòu)提供，也可以由系統(tǒng)內(nèi)的機(jī)器學(xué)習(xí)在線訓(xùn)練機(jī)構(gòu)提供。

這種網(wǎng)絡(luò)內(nèi)生智的推演的方式，可以更有利于采用機(jī)器學(xué)習(xí)技術(shù)解決無(wú)線移動(dòng)通信系統(tǒng)自身的問(wèn)題，比如應(yīng)用深度神經(jīng)網(wǎng)絡(luò)模型提升信道估計(jì)和信號(hào)檢測(cè)的性能、應(yīng)用深度強(qiáng)化學(xué)習(xí)提升鏈路自適應(yīng)的準(zhǔn)確性等。目前，正處于6G無(wú)線移動(dòng)網(wǎng)絡(luò)研究的起始階段，也正是研究網(wǎng)絡(luò)內(nèi)生智能的關(guān)鍵階段，因此有必要對(duì)網(wǎng)絡(luò)內(nèi)生智能所引發(fā)的相關(guān)問(wèn)題進(jìn)行討論，并作為無(wú)線網(wǎng)絡(luò)智能化進(jìn)程中的關(guān)鍵問(wèn)題持續(xù)展開(kāi)研究。

3? ?網(wǎng)絡(luò)內(nèi)生智能所引發(fā)的關(guān)鍵問(wèn)題

3.1? 機(jī)器學(xué)習(xí)模型建模問(wèn)題

機(jī)器學(xué)習(xí)的發(fā)展主要體現(xiàn)在語(yǔ)音識(shí)別、圖像識(shí)別等領(lǐng)域，在其中沉淀了大量經(jīng)典的模型與算法。將機(jī)器學(xué)習(xí)引入到無(wú)線移動(dòng)通信系統(tǒng)中，用來(lái)解決無(wú)線移動(dòng)通信系統(tǒng)的問(wèn)題，在最近幾年才凸顯出來(lái)。這其中包括兩類(lèi)機(jī)器學(xué)習(xí)模型建設(shè)方法：黑盒方法和展開(kāi)方法。黑盒方法可以理解為將現(xiàn)存的、其他非通信領(lǐng)域使用的經(jīng)典機(jī)器學(xué)習(xí)模型直接應(yīng)用到無(wú)線移動(dòng)通信系統(tǒng)的方法，由于機(jī)器學(xué)習(xí)模型中參數(shù)眾多、具體物理意義不清晰，故稱為黑盒方法。展開(kāi)方法則是依據(jù)對(duì)無(wú)線移動(dòng)通信系統(tǒng)的理解，針對(duì)現(xiàn)存的無(wú)線移動(dòng)通信系統(tǒng)經(jīng)典模型進(jìn)行展開(kāi)，重新構(gòu)建出機(jī)器學(xué)習(xí)模型的方法。

下面以經(jīng)典的ZF和MMSE檢測(cè)方法為例，對(duì)展開(kāi)方法進(jìn)行簡(jiǎn)單的說(shuō)明。ZF和MMSE其檢測(cè)矩陣分別表述為：

ZF：（HHH）-1HH ? （1）

MMSE：（HHH+βI ）-1HH? （2）

從經(jīng)典的模型驅(qū)動(dòng)方法的角度來(lái)看，β是噪聲方差與信號(hào)方差的比值，在應(yīng)用時(shí)需要分別估計(jì)噪聲方差和信號(hào)方差，或者等效為信噪比估計(jì)。而從基于模型展開(kāi)的數(shù)據(jù)驅(qū)動(dòng)方法的角度來(lái)看，β是一個(gè)將ZF和MMSE算法綜合到一起的參數(shù)。ZF和MMSE檢測(cè)算法在不同信道環(huán)境以及信噪比情況，其性能表現(xiàn)也不盡相同，通過(guò)實(shí)際系統(tǒng)所提供的數(shù)據(jù)訓(xùn)練生成該系數(shù)β，可以使得檢測(cè)算法更好地匹配無(wú)線信道環(huán)境。文獻(xiàn)[12]給出了一種采用展開(kāi)方法、構(gòu)建基于深度神經(jīng)網(wǎng)絡(luò)的MIMO檢測(cè)器的方法，其將經(jīng)典的迭代檢測(cè)方法，通過(guò)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行展開(kāi)，其中每一次迭代對(duì)應(yīng)神經(jīng)網(wǎng)絡(luò)中的一層，由于在每一層中引入了待訓(xùn)練的參數(shù)，其獲得的模型更精確。

通過(guò)展開(kāi)的方法，獲得新的機(jī)器學(xué)習(xí)模型是目前學(xué)術(shù)界進(jìn)行研究的趨勢(shì)之一，但需要注意的是，這種展開(kāi)方法導(dǎo)致機(jī)器學(xué)習(xí)模型的結(jié)構(gòu)會(huì)千變?nèi)f化，而且依舊存在大量的矩陣求逆的操作，雖然性能獲得了提升，但相對(duì)于通用的神經(jīng)網(wǎng)絡(luò)模型，其較高的實(shí)現(xiàn)復(fù)雜度將限制其應(yīng)用場(chǎng)景。

3.2? 機(jī)器學(xué)習(xí)模型部署/更新問(wèn)題

當(dāng)機(jī)器學(xué)習(xí)推演機(jī)構(gòu)在無(wú)線移動(dòng)通信系統(tǒng)內(nèi)部時(shí)，如何進(jìn)行機(jī)器學(xué)習(xí)模型的部署/更新是一個(gè)待研究的問(wèn)題。

依托深度神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用，其發(fā)展出多種經(jīng)典的神經(jīng)網(wǎng)絡(luò)模型，比如DNN、RNN、CNN等。神經(jīng)網(wǎng)絡(luò)主要由神經(jīng)元以及描述神經(jīng)元之間的關(guān)系的參數(shù)構(gòu)成，這為采用參數(shù)傳遞的方式進(jìn)行機(jī)器學(xué)習(xí)模型部署/更新提供了可能。以DNN為例，描述其模型的主要參數(shù)包括：層數(shù)、每層（包括隱藏層）的神經(jīng)元個(gè)數(shù)以及每一個(gè)神經(jīng)元的權(quán)重、偏差、激活函數(shù)。

另外一種部署/更新機(jī)器學(xué)習(xí)模型的方法是采用內(nèi)生業(yè)務(wù)部署的方式。簡(jiǎn)單地說(shuō)，可以把機(jī)器學(xué)習(xí)推演模型看作一種應(yīng)用（APP），其模型的部署/更新即APP的下載、安裝過(guò)程。相對(duì)于前述參數(shù)傳遞方式，采用系統(tǒng)內(nèi)生業(yè)務(wù)的方式可以部署/更新更復(fù)雜的模型，并且也有利于模型本身的內(nèi)部結(jié)構(gòu)的保護(hù)。

3.3? 如何應(yīng)用強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)是利用與環(huán)境的交互提升決策準(zhǔn)確度的方法。在無(wú)線移動(dòng)通信系統(tǒng)中，不同網(wǎng)元（基站、終端等）因其所處的位置不同，從而導(dǎo)致其所面對(duì)的環(huán)境千差萬(wàn)別，并且其所處的環(huán)境也會(huì)因?yàn)樾诺赖淖兓?、用戶的移?dòng)等因素而實(shí)時(shí)變化。因此，有必要將強(qiáng)化學(xué)習(xí)引入到無(wú)線移動(dòng)通信系統(tǒng)中，使其更智能、更精確地匹配環(huán)境的變化。

當(dāng)所要決策的問(wèn)題是系統(tǒng)中某一局部的問(wèn)題時(shí)，可以直接將強(qiáng)化學(xué)習(xí)構(gòu)建在其內(nèi)部的解決方案中，但是當(dāng)所要決策的問(wèn)題是系統(tǒng)性的問(wèn)題時(shí)，需要系統(tǒng)中的不同網(wǎng)元提供有關(guān)環(huán)境狀態(tài)、回報(bào)的信息。具體地，針對(duì)某一個(gè)系統(tǒng)性的問(wèn)題，在應(yīng)用強(qiáng)化學(xué)習(xí)時(shí)，至少需要考慮下述相關(guān)內(nèi)容：

◆代理：即決策的主體，它可能位于系統(tǒng)環(huán)境中某一網(wǎng)元。

◆狀態(tài)：系統(tǒng)環(huán)境中所有相關(guān)網(wǎng)元需要向代理提供的用于計(jì)算環(huán)境狀態(tài)的信息集合。

◆回報(bào)：系統(tǒng)環(huán)境中所有相關(guān)網(wǎng)元需要向代理提供的用于計(jì)算回報(bào)的信息集合。

◆行動(dòng)：針對(duì)系統(tǒng)環(huán)境中的目標(biāo)網(wǎng)元或其某具體功能單元，代理可能做出的行動(dòng)集合。

進(jìn)一步，借助強(qiáng)化學(xué)習(xí)的決策機(jī)制可以對(duì)離線訓(xùn)練獲得的模型進(jìn)行在線訓(xùn)練的控制和更新。

3.4? 網(wǎng)絡(luò)內(nèi)生智能相關(guān)的標(biāo)準(zhǔn)化問(wèn)題

在采用系統(tǒng)外推演方式時(shí)，僅僅要求無(wú)線移動(dòng)通信系統(tǒng)提供可以被機(jī)器學(xué)習(xí)相關(guān)機(jī)構(gòu)調(diào)用的接口。而采用系統(tǒng)內(nèi)推演時(shí)，結(jié)合前述問(wèn)題的探討，需要考慮系統(tǒng)內(nèi)不同網(wǎng)元、層之間的標(biāo)準(zhǔn)化問(wèn)題。比如，當(dāng)機(jī)器學(xué)習(xí)在線訓(xùn)練機(jī)構(gòu)部署在基站側(cè)，機(jī)器學(xué)習(xí)模型推演單元部署在終端側(cè)時(shí)，經(jīng)過(guò)空口至少需要傳輸如下信息：

◆機(jī)器學(xué)習(xí)模型描述信息：可以采用參數(shù)傳遞或內(nèi)生業(yè)務(wù)的方式進(jìn)行傳輸。

◆強(qiáng)化學(xué)習(xí)相關(guān)的狀態(tài)、回報(bào)、行動(dòng)信息：可以依托現(xiàn)有標(biāo)準(zhǔn)化接口所能提供的信息，但必要時(shí)需要進(jìn)行增加或優(yōu)化。

◆訓(xùn)練/推演數(shù)據(jù)：應(yīng)盡量使用目前空口所能提供的數(shù)據(jù)進(jìn)行訓(xùn)練/推演，但必要時(shí)需要進(jìn)行增加或優(yōu)化。

4? ?結(jié)論

本文針對(duì)將機(jī)器學(xué)習(xí)技術(shù)應(yīng)用到無(wú)線移動(dòng)通信系統(tǒng)的必要性與可行性進(jìn)行了分析。從可行性角度來(lái)看，引入機(jī)器學(xué)習(xí)在其工作原理上、訓(xùn)練數(shù)據(jù)可獲得上以及計(jì)算復(fù)雜度方面均具有可行性。從必要性來(lái)看，其可以解決復(fù)雜問(wèn)題、提高性能和降低成本。進(jìn)一步，由于采用系統(tǒng)內(nèi)推演的方式，可以降低系統(tǒng)內(nèi)外傳遞的數(shù)據(jù)需求，降低處理時(shí)延，從而更有利于采用機(jī)器學(xué)習(xí)技術(shù)解決無(wú)線移動(dòng)通信系統(tǒng)內(nèi)部的問(wèn)題，因此建議在未來(lái)的6G網(wǎng)絡(luò)中構(gòu)建內(nèi)生的智能。

本文對(duì)內(nèi)生智能所引發(fā)的關(guān)鍵問(wèn)題進(jìn)行了探討，包括機(jī)器學(xué)習(xí)模型建模問(wèn)題、機(jī)器學(xué)習(xí)模型部署/更新問(wèn)題、如何應(yīng)用強(qiáng)化學(xué)習(xí)問(wèn)題以及標(biāo)準(zhǔn)化問(wèn)題等。這些問(wèn)題需要在無(wú)線網(wǎng)絡(luò)智能化進(jìn)程中被持續(xù)關(guān)注和研究。特別地，在標(biāo)準(zhǔn)化方面，由于網(wǎng)絡(luò)內(nèi)生智能將影響不同網(wǎng)元、單元的功能與接口的變化，這將導(dǎo)致無(wú)線網(wǎng)絡(luò)架構(gòu)的變革，需重點(diǎn)研究。

參考文獻(xiàn)：

[1] 3GPP. 3GPP TR23.791 V16.2.0： Study of Enablers for Network Automation for 5G （Release 16）[R]. 2019.

[2] 3GPP. 3GPP TS23.288 V16.3.0： Architecture enhancements for 5G System （5GS） to support network data analytics services （Release 16）[S]. 2020.

[3] 3GPP. 3GPP TR28.809 V0.3.0： Study on enhancement of Management Data Analytics （MDA） （Release 17）[R]. 2020.

[4] 3GPP. 3GPP TR37.816. V16.0.0： Study on RAN-centric data collection and utilization for LTE and NR （Release 16）[R]. 2019.

[5] ITU. ITU-T FG-ML5G-ARC5G： Unified architecture for machine learning in 5G and future networks[S]. 2019.

[6] CCSA. CCSA TC5-WG6-2019-045： 人工智能和大數(shù)據(jù)在無(wú)線通信中的應(yīng)用研究報(bào)告[R]. 2019.

[7] CCSA. CCSA TC5-WG6-2019-025： 移動(dòng)通信網(wǎng)絡(luò)智能化能力分級(jí)研究（送審稿）[R]. 2019.

[8] O-RAN Alliance White Paper. O-RAN Use Cases and Deployment Scenarios towards Open and Smart RAN[R]. 2020.

[9] Y H P， J C X， Q Y. Developing Networks using Artificial Intelligence[M]. Switzerland： Springer Nature Switzerland AG， 2019.

[10] L F L. Machine Learning for Future Wireless Communications[M]. New Jersey： John Wiley & Sons Ltd， 2020.

[11] H R S， D Z G. Applications of Machine Learning?in Wireless Communications （IET TELECOMMUNI?CATIONS SERIES 81）[M]. London： The Institution of Engineering and Technology， 2019.

[12] H H T， W C K， J S. Model-Driven Deep Learning for Joint MIMO Channel Estimation and Signal Detection[EB/OL]. （2019-07-22）[2020-04-18]. https：//arxiv.org/abs/1907.09439v1.

作者簡(jiǎn)介

索士強(qiáng)（orcid.org/0000-0002-9869-5466）：高級(jí)工程師，碩士畢業(yè)于電信科學(xué)技術(shù)研究院，現(xiàn)任職于大唐移動(dòng)通信設(shè)備有限公司，長(zhǎng)期從事無(wú)線移動(dòng)通信系統(tǒng)的新技術(shù)研究、驗(yàn)證與標(biāo)準(zhǔn)化工作，研究方向?yàn)?G及未來(lái)新技術(shù)。

王映民：教授級(jí)高級(jí)工程師，北京郵電大學(xué)博士生導(dǎo)師，博士畢業(yè)于西安電子科技大學(xué)，現(xiàn)任職于大唐移動(dòng)通信設(shè)備有限公司，研究方向?yàn)橐苿?dòng)通信信號(hào)處理與無(wú)線組網(wǎng)、車(chē)聯(lián)網(wǎng)等。