林逍

摘 要：通信網絡的發(fā)展將網絡的維護和操作變得復雜化，在網絡管理中減少人工操作有利于提高效率，規(guī)避錯誤。隨著人工智能技術的發(fā)展和網絡設備的智能化，網絡管理的智能化將逐漸成為可能。本文首先提出網絡管理系統(tǒng)智能化需求點：動態(tài)資源分配。要實現的是對信道資源的合理分配，以降低全網小站申請、占用資源的平均時間。本文對動態(tài)資源分配問題的模型進行抽象，據此仿真搭建了神經網絡，并以強化學習算法進行訓練，與傳統(tǒng)的先到先分配、短任務優(yōu)先分配、小任務優(yōu)先分配、隨機分配等算法共同進行測試，對所產生的結果進行對比分析。

關鍵詞：網絡管理系統(tǒng)，機器學習，動態(tài)資源分配

1 需求分析

對于網絡管理系統(tǒng)，智能化就是指那些具有能動地滿足網絡管理員的各種需求的屬性。

為保證通信系統(tǒng)長期可靠地服務，極為關鍵的一點功能需求有：對信道資源進行高效地分配管理。針對功能需求，本文希望網管能夠能在其中能動地實現一些智能化。

資源分配的本質是資源的有限性，目標是使得整體價值最大。資源的目標有時候是互斥的，比如一項決定對A目標實現是有利的，而對B目標達成是有害的，所以需要對互斥的目標設定權重，從而決定是否要采取這項決定。

目前在網絡管理系統(tǒng)中，可能存在約上千個終端小站，當有需要時，這些小站將通過返向鏈路傳輸文件，這就需要向中心站申請信道資源。而中心站所能分配的信道資源是有限的，這就不可避免地會存在傳送任務需要排隊的問題。

為了使得在最短時間內，完成所有終端小站的文件傳輸任務，分配算法的選擇至關重要。目前常見的資源分配算法有先到先分配算法（First Come First Served，FCFS）、最短任務優(yōu)先分配算法（Shortest Job First，SJF）、最小任務優(yōu)先分配算法（Minimum Job First，MJF）及隨機分配算法（Random）。

顯然，在何時給哪個任務分配資源，這是一個非常典型的智能決策問題，非常適合采用強化學習方法進行。

2 模型設計

在本實驗中，本文將動態(tài)資源分配問題抽象為以下模型：

已知網絡管理系統(tǒng)中的各個終端小站，在有需求會向中心站申請資源傳送文件，中心站所能分配的信道資源是有限的。將小站的文件傳送申請稱作一個任務，將中心站可分配的信道資源稱為資源池。當任務申請到達中心站時，若資源池已滿，則任務進入等待池。設定任務在每一個離散的時間步長t到達。智能體將在每一個時間步長選擇一個或多個等待的任務進行分配。

假設每個任務的信道資源需求在它到達時是已知的，更具體地，對每個任務j，其所需要的資源是rj，它的任務持續(xù)時間，也就是所需要占用信道的時間是Tj。模型所分配的各個任務是同一優(yōu)先級的，換句話說，同一優(yōu)先級的任務將進入同一等待池。以任務平均完成時間的最小化作為網絡訓練的目標。

用當前資源池中的實時占用情況、等待資源分配的申請隊列及后臺日志來描述系統(tǒng)狀態(tài)。如圖1是資源池的初始狀態(tài)及等待池中任務的示意圖。不同顏色代表不同的任務。任務塊橫向格數代表資源需求，縱向格數代表時間需求。

對能夠降低所有任務平均完成時間的行動給予正的獎賞，反之給予負的懲罰。在每一個時間步設置獎勵為-J，在這里J是當前系統(tǒng)中的任務數量總和，包括資源池、等待隊列及后臺日志中的所有任務。

3.仿真訓練

將智能體的策略表示為一個神經網絡，它的輸入是環(huán)境當前狀態(tài)空間構成的矩陣，輸出是可能采取行動的概率分布。訓練過程中，在每一個episode中，都有固定數量的任務到達，根據策略進行安排。當所有作業(yè)均執(zhí)行完畢后，episode終止。本實驗設置了多組不同的任務到達序列，每組稱為一個任務序列。

在每次訓練迭代中，模擬每個任務序列在每個episode里使用當前策略的可能操作，并使用結果數據來改善分配之后所有任務序列的策略。記錄每個episode的每個時間步長的所有環(huán)境狀態(tài)、行動及獎勵信息，并使用這些值計算在每個episode每個時間步t的累計獎勵vt。然后使用強化學習算法里的梯度下降策略來訓練神經網絡。

4.測試結果

當等待池中的最大任務數量M取5時，整個實驗過程，用各個算法進行分配，所有的任務平均完成時間與任務到達率關系如圖：

5.結論

以縮短全部任務平均完成時間為目標，本文所測試的幾種不同的分配算法中，先到先分配（FCFS）算法表現最差，平均任務完成時間最長;次差為隨機分配（Random）算法;當任務負載率較低時，強化學習所訓練的RM算法、短任務優(yōu)先算法（SJF）及小任務優(yōu)先算法（MJF）的表現幾乎沒有區(qū)別;當任務負載率較高時，MJF算法的表現顯著不如RM算法及SJF算法，此時RM算法優(yōu)于SJF。而當任務負載率進一步提高之后，RM算法與SJF算法的表現趨于一致。

故而，本文所用的強化學習算法，在動態(tài)資源分配問題中，對于降低任務平均完成時間有著較好的表現，證明了強化學習算法的有效性。而強化學習算法在本實驗中的表現，完全可以遷移到網絡管理系統(tǒng)中的信道資源分配。

參考文獻：

[1] 聞新，周露，王丹力，熊曉英等 MATLAB神經網絡應用設計.北京科學出版社，2001.5.

[2] 張文鴿，吳澤寧，途洪波神經網絡的改進及應用河南科學Vol.21，No2，2003.

[3] 戚涌，李千目，劉鳳玉基于BP神經網絡的網絡智能診斷系統(tǒng).微電子學與計算機，2004，21（10）：10-13，18.

[4] 焦李成，神經網絡計算[M].西安：西安電子科技大學出版社，1993.9.

[5]陳樺，程云艷.BP神經網絡算法的改進及在Matlab中的實現.陜西科技大學學報.Vol.22，No.2，2004.4.

（北京大學? 100871）