趙佳佳，劉 磊

（上海理工大學(xué)管理學(xué)院，上海 200093）

0 引言

自然界中隨處可見成群結(jié)隊(duì)覓食的蟻群［1］、編隊(duì)遷徙的鳥群［2］、洄游的魚群［3-4］等，動(dòng)物之間采用簡(jiǎn)單交互規(guī)則便能實(shí)現(xiàn)信息傳遞，這種自組織的涌現(xiàn)行為給人工集群復(fù)雜系統(tǒng)的靈活控制提供了有益參考?？茖W(xué)家通過(guò)對(duì)自然界生物的長(zhǎng)期觀察，研究出經(jīng)典的生物啟發(fā)交互算法，如Aoki 模型［5］、Vicsek 模型［6］和Couzin 模型［7］等，并通過(guò)簡(jiǎn)單自推進(jìn)粒子（Self-propelled Particle，SPP）模型［8］仿真驗(yàn)證集群運(yùn)動(dòng)的組織協(xié)調(diào)性，進(jìn)而應(yīng)用于大規(guī)模人造集群系統(tǒng)的控制中［9-10］。

隨著自動(dòng)跟蹤技術(shù)的發(fā)展，加之當(dāng)前計(jì)算機(jī)技術(shù)為圖像處理提供了足夠算力［11］，生物運(yùn)動(dòng)數(shù)據(jù)得以被大規(guī)模采集［12］，集群運(yùn)動(dòng)的數(shù)據(jù)驅(qū)動(dòng)建模更加便捷高效。在生物學(xué)和物理學(xué)領(lǐng)域，集群運(yùn)動(dòng)的研究重點(diǎn)集中在建模和仿真方面［13］。然而，傳統(tǒng)的數(shù)據(jù)驅(qū)動(dòng)建模多為人工設(shè)計(jì)，且強(qiáng)烈依賴于人類直覺(jué)和各種先驗(yàn)假設(shè)的數(shù)學(xué)模型結(jié)構(gòu)［14］，當(dāng)面對(duì)真實(shí)生物運(yùn)動(dòng)數(shù)據(jù)時(shí)，傳統(tǒng)的數(shù)學(xué)模型結(jié)構(gòu)難以展現(xiàn)和解釋集群運(yùn)動(dòng)的復(fù)雜行為。

近年來(lái)，以深度學(xué)習(xí)為代表的人工智能技術(shù)蓬勃發(fā)展，為復(fù)雜系統(tǒng)的集群研究提供了有效方案［15］。深度神經(jīng)網(wǎng)絡(luò)使集群運(yùn)動(dòng)數(shù)據(jù)交互模型的提取成為可能［16］，但由于其具有臭名昭著的黑盒特性，使得進(jìn)一步研究集群內(nèi)部個(gè)體交互的信息傳播路徑變得十分困難。

目前，以Transformer 為代表的注意力機(jī)制逐漸成為深度學(xué)習(xí)領(lǐng)域的主流方法和研究熱點(diǎn)。本文將注意力機(jī)制與生物集群行為相結(jié)合，通過(guò)分析真實(shí)魚群運(yùn)動(dòng)數(shù)據(jù)，訓(xùn)練出泛化性能良好的可預(yù)測(cè)和解釋復(fù)雜系統(tǒng)隱藏交互行為的深度注意力網(wǎng)絡(luò)模型，并應(yīng)用于真實(shí)魚群運(yùn)動(dòng)研究與智能體仿真實(shí)驗(yàn)中，從而為實(shí)現(xiàn)更大規(guī)模的靈活分布式系統(tǒng)控制奠定基礎(chǔ)。

1 相關(guān)研究

1.1 長(zhǎng)短期記憶模型

復(fù)雜系統(tǒng)的行為數(shù)據(jù)大多表現(xiàn)為時(shí)間序列，序列模型便是為此類數(shù)據(jù)建模設(shè)計(jì)的。傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)［17］（Recurrent Neural Network，RNN）雖然能夠解決序列數(shù)據(jù)問(wèn)題，但在處理長(zhǎng)序列時(shí)存在嚴(yán)重的梯度消失和梯度爆炸問(wèn)題。

為了減輕RNN 中的梯度消失現(xiàn)象，長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)［18］應(yīng)運(yùn)而生。LSTM 中添加了額外的隱含狀態(tài)記憶序列信息，采用3 個(gè)門（輸入門、遺忘門和輸出門）控制當(dāng)前時(shí)刻的輸入對(duì)記憶的影響，調(diào)節(jié)各個(gè)單元間的信息流，有選擇地加入新的信息給當(dāng)前狀態(tài)，防止梯度消失和梯度爆炸。LSTM 元胞結(jié)構(gòu)模型如圖1 所示。

首先，當(dāng)前輸入信息xt與上一時(shí)刻隱藏層輸出ht-1通過(guò)Sigmoid 函數(shù)得到從遺忘門中丟棄的信息ft，表示為：

然后，根據(jù)需要更新的信息it與生成備選更新的內(nèi)容通過(guò)輸入門將舊元胞狀態(tài)Ct-1更新為新元胞狀態(tài)Ct，表示為：

最后，輸入信息xt與上一時(shí)刻隱藏層的輸出ht-1，通過(guò)Sigmoid 函數(shù)得到輸出信息yt，新元胞狀態(tài)Ct通過(guò)tanh 層與yt相乘得到當(dāng)前時(shí)刻隱藏層的輸出ht，表示為：

LSTM 目前已出現(xiàn)諸多變種，其中最實(shí)用的為門控遞歸單元（Gate Recurrent Unit，GRU），其將控制門的個(gè)數(shù)減少至2 個(gè)，使得模型收斂所需時(shí)間有所下降，且與原始LSTM 模型相比幾乎沒(méi)有性能損失。

1.2 注意力機(jī)制

注意力機(jī)制是一種模擬人腦注意力機(jī)制的模型［19］，可將其看作是一個(gè)組合函數(shù)，通過(guò)計(jì)算注意力的概率分布，以突出某個(gè)關(guān)鍵輸入對(duì)輸出的影響［20］。注意力機(jī)制具有高效的信息篩選機(jī)制，結(jié)合該機(jī)制的編碼——解碼（Encod?er-Decoder）框架目前已廣泛應(yīng)用于自然語(yǔ)言理解、圖像處理等領(lǐng)域［21-22］。

注意力機(jī)制通過(guò)對(duì)模型中不同關(guān)注部分賦予不同的權(quán)重，從中抽取出重要和關(guān)鍵信息，從而優(yōu)化模型并作出更為準(zhǔn)確的判斷［20］。因此，注意力機(jī)制對(duì)于群體決策有重要作用，并且擁有更好的可解釋性。

Transformer 采用按比例縮放的點(diǎn)積注意力，經(jīng)過(guò)多層感知機(jī)（Multilayer Perceptron，MLP）層的向量Q（Query）、K（Key）、V（Value）需要先經(jīng)過(guò)Mask 掩碼操作再進(jìn)行Softmax歸一化。首先計(jì)算Q與K的轉(zhuǎn)置點(diǎn)積，點(diǎn)積的幾何意義即兩個(gè)向量越相似，點(diǎn)積就越大，反之就越小。輸出值即向量的加權(quán)和，具體計(jì)算公式為：

Fig.1 LSTM cellular structure model圖1 LSTM 元胞結(jié)構(gòu)模型

本文借鑒Transformer 模型，配合編碼——解碼網(wǎng)絡(luò)，設(shè)計(jì)出符合魚群運(yùn)動(dòng)規(guī)律的注意力網(wǎng)絡(luò)模型。采用宏觀魚群運(yùn)動(dòng)數(shù)據(jù)訓(xùn)練模型，并利用該模型計(jì)算單體間的注意力數(shù)值，表征集群運(yùn)動(dòng)中的個(gè)體交互作用，從而為微觀交互與宏觀功能之間搭建起可解釋的橋梁。

2 模型建立

2.1 魚群實(shí)驗(yàn)數(shù)據(jù)提取

采用體型較小且具有集群屬性的紅鼻剪刀魚（Hemi?grammus rhodostomus）作為實(shí)驗(yàn)觀察對(duì)象，利用idTracker軟件錄制5 條魚在半徑為25cm 的圓形實(shí)驗(yàn)平臺(tái)內(nèi)集群運(yùn)動(dòng)的視頻，并從中提取魚群運(yùn)動(dòng)軌跡。

紅鼻剪刀魚具有加速轉(zhuǎn)向——直線滑行的游泳模式［13］，將其軌跡分解為一系列決策與滑行交替運(yùn)動(dòng)的過(guò)程，即紅鼻剪刀魚受鄰居魚與環(huán)境影響調(diào)整運(yùn)動(dòng)決策，改變自身朝向并同時(shí)加速，緊接著有一個(gè)直線滑行的降速過(guò)程，以此循環(huán)，最終獲得60 312 個(gè)決策時(shí)刻。

2.2 注意力網(wǎng)絡(luò)模型建立

利用決策數(shù)據(jù)建立注意力模型。首先將智能體決策的輸入觀測(cè)變量編碼為高維向量，設(shè)計(jì)針對(duì)魚群運(yùn)動(dòng)的注意力層；然后將每個(gè)智能體的自身信息與其他鄰居的注意力加權(quán)信息聯(lián)合，得出單體間的注意力強(qiáng)度；最后使用高斯神經(jīng)網(wǎng)絡(luò)［13］作為解碼器，以模仿單體決策輸出的隨機(jī)性，從而構(gòu)建具有概率輸出的注意力網(wǎng)絡(luò)模型。

注意力網(wǎng)絡(luò)模型整體架構(gòu)如圖2 所示，分為解碼器、注意力機(jī)制、解碼器3 個(gè)部分。采用3 個(gè)編碼器對(duì)單體的狀態(tài)向量進(jìn)行編碼，構(gòu)建Transformer 計(jì)算注意力所需的3個(gè)高維向量：鍵值K、查詢Q 和值V，以進(jìn)行后續(xù)多頭注意力計(jì)算。編碼器的輸入狀態(tài)包括兩智能體之間的距離dij、焦點(diǎn)單體觀察鄰居的視角ψij、焦點(diǎn)單體與鄰居的航向角差δ?ij。注意力網(wǎng)絡(luò)的輸入為編碼信息的集合，因此其輸入層節(jié)點(diǎn)個(gè)數(shù)為編碼器輸出層的兩倍，為使注意力網(wǎng)絡(luò)更好地學(xué)習(xí)到注意力效果，設(shè)置兩個(gè)隱藏層。

通過(guò)考察焦點(diǎn)單體的查詢Qi與鄰居值向量Vj的匹配程度計(jì)算焦點(diǎn)單體對(duì)鄰居的注意力權(quán)重，以確定兩智能體之間的交互強(qiáng)度。由于魚群運(yùn)動(dòng)系統(tǒng)的交互作用具有不連續(xù)的非對(duì)稱性，常用的加性注意力算法以及帶有縮放的點(diǎn)積注意力［19］等均無(wú)法應(yīng)對(duì)魚群系統(tǒng)的復(fù)雜性。因此，為使單智能體高效跟隨最有影響力的鄰居，注意力權(quán)重wij的計(jì)算需要先對(duì)編碼信息進(jìn)行組合掩碼操作，并應(yīng)用SELU激活函數(shù)進(jìn)行非線性處理，以達(dá)到良好的集群運(yùn)動(dòng)效果，注意力權(quán)重的計(jì)算公式為：

利用注意力權(quán)重wij加權(quán)平均鄰居值向量Vj，然后聯(lián)合焦點(diǎn)單體的值向量Vi獲得解碼器的高維空間狀態(tài)輸入oij，表示為：

Fig.2 Attention network model overall architecture圖2 注意力網(wǎng)絡(luò)模型整體架構(gòu)

解碼器包含兩個(gè)狀態(tài)變量信息，分別為焦點(diǎn)智能體直線滑行距離li和航向角度改變?chǔ)?i。為實(shí)現(xiàn)高斯網(wǎng)絡(luò)輸出，輸出值分別為li、δ?i的均值與決策方差。由于魚類群體包含順時(shí)針和逆時(shí)針兩種相反的運(yùn)動(dòng)航向信息，δ?i的處理需要兩倍于li的高斯神經(jīng)網(wǎng)絡(luò)解碼層。注意力網(wǎng)絡(luò)模型整體訓(xùn)練結(jié)構(gòu)如表1所示。

Table 1 Attention network model architecture表1 注意力網(wǎng)絡(luò)模型結(jié)構(gòu)

3 實(shí)驗(yàn)方法與結(jié)果分析

3.1 模型訓(xùn)練與超參數(shù)設(shè)定

采用獲取的60 312 個(gè)決策時(shí)刻作為實(shí)驗(yàn)數(shù)據(jù)，進(jìn)一步處理得到13 494 條實(shí)驗(yàn)數(shù)據(jù)，其中訓(xùn)練集包含9 527 條記錄，測(cè)試集包含3 967 條記錄。為消除量綱影響，對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行歸一化處理。采用PyTorch 深度學(xué)習(xí)框架編寫網(wǎng)絡(luò)模型，訓(xùn)練程序使用NVIDIA GeForce RTX 3080 GPU 處理器進(jìn)行加速。設(shè)置一次訓(xùn)練的樣本量（batch size）為1 024，利用Adam 優(yōu)化器進(jìn)行訓(xùn)練，訓(xùn)練次數(shù)為300 輪，學(xué)習(xí)率為0.000 5。

采用負(fù)對(duì)數(shù)似然（Negative Log-Likelihood，NLL）損失函數(shù)之和判定多元高斯分布的均值μ和方差σ的訓(xùn)練精度，表示為：

3.2 仿真實(shí)驗(yàn)結(jié)果

采用5 條魚的實(shí)驗(yàn)數(shù)據(jù)訓(xùn)練注意力網(wǎng)絡(luò)模型，然后將該實(shí)驗(yàn)數(shù)據(jù)輸入到訓(xùn)練后的模型中，比較模型輸出決策與真實(shí)魚群實(shí)驗(yàn)決策的概率密度函數(shù)（Probability Density Function，PDF）曲線，其中真實(shí)魚類單體決策采用實(shí)線表示，注意力網(wǎng)絡(luò)模型輸出決策采用虛線表示。結(jié)果見圖3。

Fig.3 Comparison of gliding distance and heading angle between model training and real fish experiment圖3 模型訓(xùn)練與真魚實(shí)驗(yàn)滑行距離、航向角改變比較

圖3A 顯示注意力網(wǎng)絡(luò)模型訓(xùn)練的決策距離分布與真魚實(shí)驗(yàn)類似，圖3B 顯示模型輸出的航向角變化決策與訓(xùn)練數(shù)據(jù)具有相同的峰值位置，然而曲線明顯陡峭，原因在于模型學(xué)習(xí)了魚群數(shù)據(jù)的共性信息，忽略了特性信息，濾除了部分決策隨機(jī)性。

為驗(yàn)證注意力網(wǎng)絡(luò)模型應(yīng)用于集群復(fù)雜系統(tǒng)中的有效性，設(shè)計(jì)了由Python 和LabView 高級(jí)語(yǔ)言聯(lián)合編寫的多智能體仿真平臺(tái)。圖4（彩圖掃OSID 碼可見）仿真結(jié)果表明，在1min 內(nèi)智能體便可以從初始的分散狀態(tài)逐漸聚合為穩(wěn)定的緊湊集群，該瞬態(tài)過(guò)程也說(shuō)明了本文模型具有較強(qiáng)的集群聚合特性。

4 結(jié)語(yǔ)

Fig.4 Aggregation process of multi-agent simulation圖4 多智能體運(yùn)動(dòng)仿真聚合過(guò)程

本文將生物集群行為與注意力機(jī)制相結(jié)合，提出針對(duì)真實(shí)魚群運(yùn)動(dòng)數(shù)據(jù)的注意力模型，并將所提模型的仿真效果與真實(shí)魚類的滑行距離、航向角變化進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明，本文模型與真實(shí)魚類的宏觀運(yùn)動(dòng)特性高度一致，可應(yīng)用于復(fù)雜集群系統(tǒng)的研究中。然而，該模型雖然初步實(shí)現(xiàn)了多智能體集群運(yùn)動(dòng)，但其泛化能力并未展現(xiàn)，下一步將嘗試將該模型運(yùn)用于大規(guī)模智能體仿真實(shí)驗(yàn)中，以實(shí)現(xiàn)機(jī)器人的智能控制。