屈景怡 張金杰 趙婭倩 李云龍

（1.中國(guó)民航大學(xué)天津市智能信號(hào)與圖像處理重點(diǎn)實(shí)驗(yàn)室，天津 300300；2.上海民航華東通信網(wǎng)絡(luò)發(fā)展有限公司，上海 200355）

1 引言

隨著空中交通流量的增加，航班延誤問(wèn)題給民航的正常運(yùn)轉(zhuǎn)帶來(lái)了挑戰(zhàn)。某一機(jī)場(chǎng)產(chǎn)生的航班延誤會(huì)在空中交通網(wǎng)絡(luò)內(nèi)部進(jìn)行傳播，航線密集的樞紐機(jī)場(chǎng)一旦發(fā)生航班延誤，延誤更容易直接傳播至其他中小型機(jī)場(chǎng)［1］。提前對(duì)航班延誤波及問(wèn)題進(jìn)行準(zhǔn)確的預(yù)測(cè)，可以提高航班延誤預(yù)警水平，減小航空公司和機(jī)場(chǎng)的經(jīng)濟(jì)損失，提高旅客出行滿意度。

在班延誤波及預(yù)測(cè)的問(wèn)題上，國(guó)內(nèi)外學(xué)者們多結(jié)合航班延誤影響因素、機(jī)場(chǎng)繁忙程度、航班計(jì)劃等進(jìn)行研究。目前已有的方法多基于概率論的方法來(lái)計(jì)算連續(xù)航班延誤落在不同區(qū)間的條件概率［2-4］，文獻(xiàn)［5］考慮機(jī)場(chǎng)放行能力約束條件來(lái)對(duì)航班延誤波及進(jìn)行分析，對(duì)延誤時(shí)長(zhǎng)進(jìn)行了定量預(yù)測(cè)，提升了預(yù)測(cè)準(zhǔn)確率；文獻(xiàn)［6］通過(guò)馬爾科夫毯網(wǎng)絡(luò)建立了航班計(jì)劃的多個(gè)屬性和延誤波及變化的貝葉斯網(wǎng)絡(luò)模型，來(lái)研究航班計(jì)劃對(duì)于航班延誤波及傳播的影響。但以上大多是用小樣本數(shù)據(jù)對(duì)航班延誤波及問(wèn)題產(chǎn)生的原因進(jìn)行研究，面對(duì)數(shù)據(jù)量達(dá)到百萬(wàn)級(jí)的航班數(shù)據(jù)，如何有效的對(duì)航班延誤中復(fù)雜關(guān)系進(jìn)行分析挖掘，深度學(xué)習(xí)是目前研究中使用最為廣泛的方法之一。文獻(xiàn)［7］使用SE-DenseNet模型加強(qiáng)了信息間的傳遞對(duì)航班延誤進(jìn)行預(yù)測(cè)；文獻(xiàn)［8］提出基于區(qū)域殘差和LSTM 網(wǎng)絡(luò)有效提取機(jī)場(chǎng)延誤數(shù)據(jù)的時(shí)間相關(guān)性；文獻(xiàn)［9］使用時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)對(duì)離港延誤時(shí)長(zhǎng)進(jìn)行預(yù)測(cè)。雖然這些方法對(duì)單航班延誤程度的預(yù)測(cè)均有效提高了預(yù)測(cè)準(zhǔn)確率，但并未考慮航班間的波及問(wèn)題。近年來(lái)，逐漸有學(xué)者嘗試將深度學(xué)習(xí)用于航班延誤波及的研究中，文獻(xiàn)［10］構(gòu)建基于CBAM-CondenseNet 的航班延誤波及預(yù)測(cè)模型，文獻(xiàn)［11］提出雙向LSTMCatboost 的航班鏈?zhǔn)窖诱`預(yù)測(cè)模型，用Catboost 取代全連接層對(duì)航班波及延誤時(shí)長(zhǎng)進(jìn)行預(yù)測(cè)。航班延誤波及預(yù)測(cè)屬于基于時(shí)序信息的預(yù)測(cè)，又包含豐富的空間信息［12］。但這兩種模型并未對(duì)航班延誤波及中的時(shí)序與空間屬性同時(shí)進(jìn)行特征提取。

長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM），在時(shí)間維度上對(duì)先前時(shí)序信息能夠記憶的更為深刻，但使LSTM 中輸入的x和之前狀態(tài)hprev在輸入細(xì)胞前是相互獨(dú)立的，MogrifierLSTM 使這兩個(gè)輸入從完全獨(dú)立到自主交互很好的提升了網(wǎng)絡(luò)性能［13］。TCN 作為時(shí)間卷積網(wǎng)絡(luò)融合了膨脹卷積和ResNet 殘差結(jié)構(gòu)，彌補(bǔ)了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)提取時(shí)序信息不足的缺點(diǎn)，但是需要足夠長(zhǎng)的原始輸入信息才能保證獲取到歷史信息［14-17］。由于航班波及的航班數(shù)量有限，構(gòu)成時(shí)序數(shù)據(jù)集的序列長(zhǎng)度有限，所以本文使用CNN 網(wǎng)絡(luò)與MogrifierLSTM 對(duì)航班延誤波及問(wèn)題進(jìn)行預(yù)測(cè)，并融合注意力模塊SimAM 來(lái)提高預(yù)測(cè)準(zhǔn)確率。目前普遍使用的SE 模塊文獻(xiàn)為通道注意模塊，但其只針對(duì)通道而忽略了空間，CBAM 模塊在通道注意的基礎(chǔ)上增加了空間注意力，但兩者并不是同時(shí)進(jìn)行；文獻(xiàn)［18］提出的Si?mAM不同于現(xiàn)有的通道空間注意力模塊，該模塊無(wú)需額外參數(shù)為特征圖推導(dǎo)出3D 注意力權(quán)值，可以更好對(duì)關(guān)鍵特征的提取進(jìn)行同時(shí)強(qiáng)化。

針對(duì)航班延誤波及的空時(shí)特性，本文先后提出兩種不同類型的航班延誤波及數(shù)據(jù)集的構(gòu)造方法，又提出融合注意力機(jī)制SimAM 的CNN-MogrifierLSTM航班延誤波及預(yù)測(cè)方法，不僅采用了卷積神經(jīng)網(wǎng)絡(luò)在空間特征提取的優(yōu)勢(shì)又考慮了形變長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)在處理時(shí)序信息的優(yōu)越性，并用注意力機(jī)制模塊對(duì)特征矩陣進(jìn)行重要神經(jīng)元增強(qiáng)。實(shí)現(xiàn)同一架飛機(jī)在執(zhí)行不同航班任務(wù)時(shí)，根據(jù)航班延誤波及的傳播規(guī)律對(duì)后續(xù)航班的延誤等級(jí)進(jìn)行分類預(yù)測(cè)，為有關(guān)民航部門控制延誤波及提供相應(yīng)建議。

2 航班鏈?zhǔn)侥Ｐ徒?/h2>

航班延誤具有時(shí)空分布的特性，當(dāng)同一架飛機(jī)連續(xù)執(zhí)行不同的航班任務(wù)時(shí)，由于前一架飛機(jī)的延誤而導(dǎo)致后續(xù)航班繼續(xù)延誤的情況常有發(fā)生。定義同一架航空器在一定時(shí)間范圍內(nèi)第一次起飛的機(jī)場(chǎng)為一級(jí)機(jī)場(chǎng)。航空器從一級(jí)起飛機(jī)場(chǎng)執(zhí)行航班任務(wù)1 到達(dá)的機(jī)場(chǎng)稱為二級(jí)機(jī)場(chǎng)，也稱為一級(jí)到達(dá)機(jī)場(chǎng)或二級(jí)起飛機(jī)場(chǎng)。以此類推，多個(gè)機(jī)場(chǎng)由同一架航空器Z 在不同機(jī)場(chǎng)間執(zhí)行飛行任務(wù)聯(lián)系，從而構(gòu)成航班鏈，如圖1 所示。以“北京-上海-廣州”為例，定義北京為一級(jí)機(jī)場(chǎng)，同一架飛機(jī)執(zhí)行航班任務(wù)1 從北京飛往上海，上海就是航班鏈中的二級(jí)機(jī)場(chǎng)，也叫一級(jí)到達(dá)機(jī)場(chǎng)或二級(jí)起飛機(jī)場(chǎng)；該飛機(jī)又從上海出發(fā)執(zhí)行航班任務(wù)2 從上海飛往廣州，廣州就是航班鏈中的三級(jí)機(jī)場(chǎng)，也叫二級(jí)到達(dá)機(jī)場(chǎng)或三級(jí)起飛機(jī)場(chǎng)。

圖1 航班鏈模型Fig.1 Flight chain model

3 融合注意力機(jī)制SimAM的CNN-Mogrifier-LSTM 網(wǎng)絡(luò)混合模型

3.1 網(wǎng)絡(luò)描述

CNN 在預(yù)測(cè)中難以學(xué)習(xí)時(shí)序數(shù)據(jù)之間的關(guān)系，由于航班鏈數(shù)據(jù)具有時(shí)序性，因此對(duì)航班延誤波及問(wèn)題進(jìn)行預(yù)測(cè)需要循環(huán)神經(jīng)網(wǎng)絡(luò)系列方法的強(qiáng)化。CNN-LSTM 網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2（a）所示，本文提出的融合注意力機(jī)制SimAM 的CNN-MogrifierLSTM 網(wǎng)絡(luò)模型如圖2（b）所示。

本文網(wǎng)絡(luò)先通過(guò)四個(gè)融合SimAM 的結(jié)構(gòu)塊，每個(gè)結(jié)構(gòu)塊采用1×1 卷積，然后使用兩個(gè)3×3 卷積進(jìn)行特征的提取，最后使用1×1卷積進(jìn)行融合，每個(gè)卷積層都通過(guò)分組來(lái)保證其時(shí)序的獨(dú)立性，再通過(guò)Si?mAM 模塊進(jìn)行通道和空間上的同步加權(quán)。卷積完成后通過(guò)平均池化篩選卷積層已提取的特征，最后數(shù)據(jù)經(jīng)過(guò)全連接層送入MogrifierLSTM 中預(yù)測(cè)，融合注意力機(jī)制SimAM 的CNN-MogrifierLSTM 網(wǎng)絡(luò)對(duì)針對(duì)強(qiáng)空間航班鏈數(shù)據(jù)集的網(wǎng)絡(luò)配置如下表1 所示，數(shù)據(jù)集具體構(gòu)造方法見(jiàn)本文4.2節(jié)。

表1 網(wǎng)絡(luò)結(jié)構(gòu)配置Tab.1 Network structure configuration table

圖2（b）中使用的SimAM 模塊如圖3（c）所示，改進(jìn)了通道注意力如圖3（a）所示與空間注意力如圖3（b）所示無(wú)法同時(shí)進(jìn)行的優(yōu)勢(shì)，C代表通道數(shù)，M代表每個(gè)通道輸入H×W矩陣的維度。引用神經(jīng)科學(xué)中信息豐富的神經(jīng)元通常表現(xiàn)出與周圍神經(jīng)元不同的放電模式并會(huì)抑制周圍神經(jīng)元，具有空域抑制效應(yīng)的神經(jīng)元應(yīng)當(dāng)賦予更高的重要性，定義了如公式（1）所示的能量函數(shù)。

圖2 網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.2 Diagram of network structure

圖3 注意力對(duì)比示意圖Fig.3 Attention contrast diagram

圖4 融合SimAM單個(gè)結(jié)構(gòu)塊Fig.4 Fusion of SimAM structural block

LSTM 一直被廣泛應(yīng)用在各類與時(shí)序相關(guān)的任務(wù)中［19］，MogrifierLSTM 在不改變LSTM 本身的結(jié)構(gòu)下，讓上一時(shí)刻的隱藏層狀態(tài)hprev和當(dāng)前時(shí)刻的輸入x在輸入當(dāng)前神經(jīng)元前就進(jìn)行了交互，增強(qiáng)了上下文的建模能力。交替地讓x和hprev交互進(jìn)行QR分解如公式（3）所示。

其中Cprev代表前一個(gè)MogrifierLSTM 單元的細(xì)胞狀態(tài)，hprev表示隱藏層狀態(tài)。定義為中上標(biāo)最大的那個(gè)值，如公式（4）與公式（5）所示。Mog?rifierLSTM 架構(gòu)中的hprev，Cprev是前一個(gè)細(xì)胞的隱藏層狀態(tài)，在初始化的時(shí)均采用從0初始化，以保持每個(gè)序列中互不干擾。但在更新隱藏層參數(shù)時(shí)，采用的是隨機(jī)初始化。

3.2 網(wǎng)絡(luò)反向傳播

本文網(wǎng)絡(luò)的反向傳播過(guò)程通過(guò)梯度下降算法逐層迭代，根據(jù)誤差項(xiàng)實(shí)現(xiàn)更新參數(shù)直至網(wǎng)絡(luò)收斂。融合注意力機(jī)制SimAM 的CNN-MogrifierLSTM在反向傳播的過(guò)程中分為MogrifierLSTM 模塊與融合SimAM的CNN模塊，反向傳播過(guò)程如圖5所示。

圖5 網(wǎng)絡(luò)反向傳播圖Fig.5 Network back propagation

MogrifierLSTM 在不改變LSTM 本身的結(jié)構(gòu)下，根據(jù)梯度下降算法，先對(duì)MogrifierLSTM 網(wǎng)絡(luò)反向傳播過(guò)程中的誤差項(xiàng)進(jìn)行推導(dǎo)，據(jù)誤差反向傳播原理，推導(dǎo)得出誤差沿網(wǎng)絡(luò)層數(shù)的反向傳播過(guò)程為式（6）所示。其中分別代表每個(gè)記憶細(xì)胞中各個(gè)門的誤差項(xiàng)如式（7）～（10）所示。依次表示輸入門、遺忘門、輸出門的權(quán)重矩陣。

其中f（·）為激活函數(shù)，f（·）'為激活函數(shù)的導(dǎo)數(shù)。上標(biāo)l代表當(dāng)前層，下標(biāo)t代表當(dāng)前時(shí)刻。卷積模塊內(nèi)各個(gè)隱藏層的誤差計(jì)算如式（11）～（17）所示。其中δ1，δ2…δ7分別表示對(duì)應(yīng)層的誤差項(xiàng)，U1，U2，…U6為各層的輸出特征映射，W表示每層的之間的映射矩陣。

4 融合注意力機(jī)制SimAM的CNN-Mogrifier-LSTM 航班延誤波及預(yù)測(cè)

融合注意力機(jī)制SimAM 的CNN-MogrifierLSTM航班延誤波及結(jié)構(gòu)圖如圖6 所示，主要包括航班鏈數(shù)據(jù)集構(gòu)造、特征提取、分類預(yù)測(cè)三部分，下面主要對(duì)航班鏈數(shù)據(jù)集構(gòu)造與分類預(yù)測(cè)展開(kāi)描述。

圖6 航班延誤波及預(yù)測(cè)模型總體結(jié)構(gòu)圖Fig.6 Overall structure diagram of flight delay ripple prediction model

4.1 數(shù)據(jù)集介紹

本文所使用的航班數(shù)據(jù)為中國(guó)民用航空華東地區(qū)空中交通管理局所提供的2018年3月到2019年5月全國(guó)航班飛行數(shù)據(jù)，其中關(guān)鍵的樣本屬性包括航班號(hào)、飛機(jī)編號(hào)、實(shí)際起飛/到達(dá)機(jī)場(chǎng)、飛行航跡、計(jì)劃出發(fā)/到達(dá)時(shí)間、實(shí)際出發(fā)/到達(dá)時(shí)間、目標(biāo)/實(shí)際撤輪檔時(shí)間、計(jì)劃起飛/到達(dá)機(jī)場(chǎng)、計(jì)劃?rùn)C(jī)型、巡航高度、巡航速度、軍方批號(hào)、保障種類、保障類型等38 個(gè)屬性。這些特征屬性都與該條航班是否延誤有密切的關(guān)聯(lián)，不僅包含了重要的空間特征，也包含了豐富的時(shí)間信息。由于空管局所提供航班數(shù)據(jù)中有部分異常值與空值，所以先對(duì)原始航班數(shù)據(jù)集選擇目前主流的數(shù)據(jù)分析庫(kù)Pandas 進(jìn)行數(shù)據(jù)清洗。

4.2 航班鏈數(shù)據(jù)集構(gòu)造

根據(jù)航班延誤波及的空時(shí)特點(diǎn)，本文首先嘗試了以空間信息為主的強(qiáng)空間航班鏈數(shù)據(jù)集的構(gòu)造方法，為了增強(qiáng)其時(shí)間上的關(guān)聯(lián)性又提出了強(qiáng)時(shí)序航班鏈數(shù)據(jù)集的構(gòu)造方法。在強(qiáng)空間航班鏈數(shù)據(jù)集中可以根據(jù)往日同一航班鏈延誤情況對(duì)延誤等級(jí)進(jìn)行預(yù)測(cè)，強(qiáng)時(shí)序航班鏈數(shù)據(jù)集中上一次航班的延誤狀態(tài)會(huì)直接影響下一次航班的延誤程度。

4.2.1 強(qiáng)空間航班鏈數(shù)據(jù)集構(gòu)建

根據(jù)第2 章中航班鏈?zhǔn)侥Ｐ偷亩x，每次執(zhí)行航班的到達(dá)機(jī)場(chǎng)與執(zhí)行下一次航班的起飛機(jī)場(chǎng)為同一機(jī)場(chǎng)，本文根據(jù)同一架航空器在24小時(shí)內(nèi)空間維度上的變化構(gòu)成強(qiáng)空間航班鏈數(shù)據(jù)集。首先選定飛機(jī)編號(hào)（航空器編號(hào)）、航班執(zhí)行日期、一級(jí)到達(dá)機(jī)場(chǎng)、二級(jí)起飛機(jī)場(chǎng)四個(gè)屬性作為數(shù)據(jù)融合的鍵值，對(duì)清洗后的航班數(shù)據(jù)集進(jìn)行第一次數(shù)據(jù)融合，融合后去除二級(jí)機(jī)場(chǎng)起飛時(shí)間早于一級(jí)機(jī)場(chǎng)到達(dá)二級(jí)機(jī)場(chǎng)時(shí)間的異常航班鏈，此時(shí)航班鏈數(shù)據(jù)集中該飛行器執(zhí)行了兩次航班任務(wù)，在空間上周轉(zhuǎn)了三個(gè)機(jī)場(chǎng)。延誤波及現(xiàn)象的產(chǎn)生有逐級(jí)傳遞的特性，以此類推本文對(duì)數(shù)據(jù)進(jìn)行了三次融合，然后對(duì)融合后的航班鏈數(shù)據(jù)集根據(jù)一級(jí)機(jī)場(chǎng)的起飛時(shí)間對(duì)所有的航班鏈數(shù)據(jù)集進(jìn)行時(shí)間軸上排序，構(gòu)成最終的強(qiáng)空間航班鏈數(shù)據(jù)集，每條數(shù)據(jù)中的航空器連續(xù)執(zhí)行了四次航班飛行任務(wù)，空間維度涉及五個(gè)機(jī)場(chǎng)的中轉(zhuǎn)情況，航班鏈的延誤標(biāo)簽為第4 次航班任務(wù)的延誤等級(jí)。大多數(shù)飛機(jī)在執(zhí)行完一次飛行任務(wù)后當(dāng)日并不會(huì)再執(zhí)行其他的飛行任務(wù)，隨著在同一天內(nèi)執(zhí)行飛行任務(wù)的增多，可研究的航班鏈數(shù)據(jù)集的數(shù)據(jù)量也會(huì)越來(lái)越少，所以本文主要研究由連續(xù)執(zhí)行四次航班任務(wù)構(gòu)成的航班鏈延誤波及情況。最后將強(qiáng)空間航班鏈數(shù)據(jù)集中的特征屬性劃分為數(shù)值型與離散型，數(shù)值型特征采用Min-Max 歸一化編碼，離散型特征采用Catboost編碼。

為了更清楚的對(duì)強(qiáng)空間數(shù)據(jù)集進(jìn)行描述。定義強(qiáng)空間航班鏈數(shù)據(jù)集Fa中第i條航班鏈數(shù)據(jù)用fi=(fi1，fi2，fi3，fi4)表示。其中fi1，fi2，fi3，fi4分別代表這條航班鏈數(shù)據(jù)fi包含在時(shí)間維度上前后執(zhí)行航班任務(wù)的四條單航班信息。Fa數(shù)據(jù)集進(jìn)一步可以用Fa={(f11，f12，f13，f14)，(f21，f22，f23，f24)，(f31，f32，f33，f34)，…}(fn1，fn2，fn3，fn4) 表示。

4.2.2 強(qiáng)時(shí)序航班鏈數(shù)據(jù)集構(gòu)建

強(qiáng)空間航班鏈數(shù)據(jù)集的每條航班鏈數(shù)據(jù)中包含多級(jí)機(jī)場(chǎng)豐富的空間信息，但時(shí)序信息只包含在相鄰的航班鏈中，為了進(jìn)一步研究航班鏈內(nèi)部的時(shí)序性，本節(jié)提出了第二種數(shù)據(jù)集構(gòu)造方法，如圖7強(qiáng)時(shí)序航班鏈數(shù)據(jù)集構(gòu)造圖所示。

圖7 強(qiáng)時(shí)序航班鏈數(shù)據(jù)集結(jié)構(gòu)圖Fig.7 Strong temporal flight chain data construction

由于每條航班鏈數(shù)據(jù)在時(shí)間維度上執(zhí)行航班任務(wù)有前后順序，前序航班的延誤會(huì)對(duì)后續(xù)航班的延誤會(huì)有較大的影響，所以對(duì)每條強(qiáng)空間航班鏈數(shù)據(jù)進(jìn)行數(shù)據(jù)分割。為滿足不同情況下的預(yù)測(cè)需求，分別構(gòu)建強(qiáng)時(shí)序性航班鏈數(shù)據(jù)集Fb，F(xiàn)c，F(xiàn)d分別表示為：

其中強(qiáng)時(shí)序航班鏈數(shù)據(jù)集Fb只根據(jù)第一次航班與第二次航班的數(shù)據(jù)來(lái)預(yù)測(cè)第二次航班的延誤程度，融合注意力機(jī)制SimAM 的CNN-Mogrifier LSTM 網(wǎng)絡(luò)的步長(zhǎng)設(shè)為2。強(qiáng)時(shí)序航班鏈數(shù)據(jù)集Fc根據(jù)第一次航班、第二次航班與第三次航班的數(shù)據(jù)來(lái)預(yù)測(cè)第三次航班的延誤程度，步長(zhǎng)設(shè)為3。強(qiáng)時(shí)序航班鏈數(shù)據(jù)集Fd根據(jù)第一次航班、第二次航班、第三次航班與第四次航班的數(shù)據(jù)來(lái)預(yù)測(cè)第四次航班的延誤程度，步長(zhǎng)設(shè)為4。不同的強(qiáng)時(shí)序航班鏈數(shù)據(jù)集可以訓(xùn)練不同的網(wǎng)絡(luò)模型供空管部門使用，其數(shù)據(jù)集總量增至強(qiáng)空間數(shù)據(jù)集的2倍、3倍、4倍。

4.3 分類預(yù)測(cè)

根據(jù)《航班正常管理規(guī)定》［20］中“航班延誤”的相關(guān)定義，將航班延誤情況進(jìn)行細(xì)分得到五個(gè)延誤等級(jí)，并對(duì)不同的等級(jí)劃分延誤等級(jí)數(shù)，其判定標(biāo)準(zhǔn)如表2中所示。等級(jí)標(biāo)簽根據(jù)數(shù)據(jù)集中的計(jì)劃到達(dá)時(shí)間與實(shí)際到達(dá)時(shí)間進(jìn)行差值計(jì)算，最終用Soft?max分類器得到航班延誤預(yù)測(cè)等級(jí)。

表2 航班延誤等級(jí)劃分Tab.2 Classification of flight delays

根據(jù)預(yù)測(cè)出的最大概率的延誤等級(jí)，決定模型輸出航班延誤波及的預(yù)測(cè)結(jié)果。為了評(píng)估融合注意力機(jī)制SimAM 的CNN-MogrifierLSTM 模型分類的效果，本文使用準(zhǔn)確率作為評(píng)估指標(biāo)，即模型預(yù)測(cè)結(jié)果正確的數(shù)量占數(shù)據(jù)總量的比值，如公式（18）所示。N代表航班鏈數(shù)據(jù)集樣本總量，L代表延誤程度的五種類別，Si代表驗(yàn)證集中延誤等級(jí)為i時(shí)預(yù)測(cè)結(jié)果正確的航班鏈數(shù)據(jù)量。

5 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)環(huán)境為戴爾PoweredgeR370 機(jī)架式服務(wù)器，16G 顯存，雙Intel XeonE5-2630 CPU，CPU 頻率為2.20GHz，GPU 加速顯卡為NVIDIA P100，軟件的運(yùn)行環(huán)境為Ubuntu16.04 操作系統(tǒng)搭建的Pytorch深度學(xué)習(xí)框架。

5.1 模型參數(shù)設(shè)計(jì)

本文實(shí)驗(yàn)所使用的原始航班數(shù)據(jù)共1048576條，經(jīng)過(guò)數(shù)據(jù)清洗與航班鏈數(shù)據(jù)集構(gòu)造后，航班延誤波及預(yù)測(cè)實(shí)驗(yàn)最終使用的強(qiáng)空間航班鏈數(shù)據(jù)集Fa的數(shù)據(jù)量為36287條；根據(jù)前一次航班延誤程度預(yù)測(cè)下一次航班延誤的強(qiáng)時(shí)序航班鏈數(shù)據(jù)集Fb的數(shù)據(jù)量為72574條；根據(jù)前兩次航班延誤程度預(yù)測(cè)下一次航班延誤的強(qiáng)時(shí)序航班鏈數(shù)據(jù)集Fc的數(shù)據(jù)量為108861條；根據(jù)前三次航班延誤程度預(yù)測(cè)下一次航班延誤的強(qiáng)時(shí)序航班鏈數(shù)據(jù)集Fd的數(shù)據(jù)量為145148條；訓(xùn)練集和驗(yàn)證集劃分比例為5∶1。在經(jīng)過(guò)多次實(shí)驗(yàn)與參數(shù)調(diào)整后，融合注意力機(jī)制SimAM 的CNNMogrifierLSTM 網(wǎng)絡(luò)的實(shí)驗(yàn)環(huán)境參數(shù)選取信息如表3所示。

表3 實(shí)驗(yàn)環(huán)境參數(shù)Tab.3 Experimental environment parameters

融合SimAM 的CNN-MogrifierLSTM 卷積濾波器的數(shù)量為64 個(gè)，步長(zhǎng)為默認(rèn)值1，同時(shí)對(duì)邊界進(jìn)行Padding 補(bǔ)0 填充保證輸入卷積層后輸出尺寸不發(fā)生變化；池化層采用平均池化方式，池化尺寸為2×2，步長(zhǎng)也設(shè)為1；然后輸入一層MogrifierLSTM 網(wǎng)絡(luò)中，隱藏層維數(shù)256。

5.2 強(qiáng)空間航班鏈數(shù)據(jù)集結(jié)果分析

MogrifierLSTM 網(wǎng)絡(luò)在提取時(shí)間序列信息的過(guò)程中，序列的步長(zhǎng)對(duì)最終的預(yù)測(cè)輸出有著直接的影響。如果輸入網(wǎng)絡(luò)的步長(zhǎng)太短，可能會(huì)弱化數(shù)據(jù)之間的相關(guān)性，有效的時(shí)間信息不能被充分學(xué)習(xí)；反之輸入的步長(zhǎng)太長(zhǎng)，訓(xùn)練過(guò)程中可能會(huì)存在梯度消失甚至梯度爆炸現(xiàn)象。表4列舉了對(duì)于強(qiáng)空間航班鏈數(shù)據(jù)集Fa使用融合SimAM 的CNN-MogrifierLSTM混合網(wǎng)絡(luò)模型不同步長(zhǎng)對(duì)應(yīng)的準(zhǔn)確率。

表4 強(qiáng)空間航班鏈數(shù)據(jù)集序列長(zhǎng)度準(zhǔn)確率對(duì)比Tab.4 Comparison of sequence length accuracy rates in strong space flight chain data

通過(guò)實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，強(qiáng)空間航班鏈數(shù)據(jù)集Fa的序列長(zhǎng)度等于8 的時(shí)候，預(yù)測(cè)結(jié)果的準(zhǔn)確率最高為78.79%。在步長(zhǎng)選擇合適的情況下，在對(duì)未來(lái)航班延誤波及進(jìn)行預(yù)測(cè)可以產(chǎn)生很好的時(shí)間相關(guān)性，但隨著步長(zhǎng)增加，在時(shí)間維度上會(huì)學(xué)習(xí)到更多不需要的冗余數(shù)據(jù)，造成準(zhǔn)確率的下降。本文后續(xù)對(duì)強(qiáng)空間航班鏈數(shù)據(jù)集的航班延誤波及預(yù)測(cè)的步長(zhǎng)取值均選用8。

5.3 不同航班鏈數(shù)據(jù)集結(jié)果分析

強(qiáng)空間航班鏈數(shù)據(jù)集在時(shí)間上參考前序飛行計(jì)劃相同的航班鏈數(shù)據(jù)，航班延誤波及信息更多在空間維度上體現(xiàn)。強(qiáng)時(shí)序航班鏈數(shù)據(jù)集直接根據(jù)同一架飛行器前幾次飛行任務(wù)情況來(lái)對(duì)后續(xù)執(zhí)行的航班進(jìn)行延誤預(yù)測(cè)，時(shí)序性更強(qiáng)。在飛機(jī)實(shí)際執(zhí)行航班任務(wù)的時(shí)候，連續(xù)執(zhí)行兩次航班任務(wù)的情況比較多，連續(xù)執(zhí)行三次任務(wù)的情況會(huì)相對(duì)減少，連續(xù)執(zhí)行四次任務(wù)會(huì)更少為了使模型在實(shí)際預(yù)測(cè)中具有更好的適用性，針對(duì)這三種情況分別構(gòu)建了連續(xù)執(zhí)行兩次航班任務(wù)數(shù)據(jù)集Fb，連續(xù)執(zhí)行三次航班任務(wù)數(shù)據(jù)集Fc，連續(xù)執(zhí)行四次航班任務(wù)數(shù)據(jù)集的強(qiáng)時(shí)序數(shù)據(jù)集Fd，不同數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果對(duì)比如圖8所示，其中8（a）為延誤等級(jí)分類準(zhǔn)確率對(duì)比，8（b）為損失值對(duì)比。

圖8 不同數(shù)據(jù)集對(duì)比Fig.8 Comparison of different data sets

從圖中可以看出三種強(qiáng)時(shí)序鏈數(shù)據(jù)集在準(zhǔn)確率上相比強(qiáng)空間數(shù)據(jù)集有了很大的提升，準(zhǔn)確率最好的是連續(xù)執(zhí)行四次航班任務(wù)的數(shù)據(jù)集Fd，準(zhǔn)確率達(dá)到了93.16%，相比于強(qiáng)空間數(shù)據(jù)集Fa的準(zhǔn)確率78.79%提升了14.37%，損失值也最低。將三種強(qiáng)時(shí)序航班鏈數(shù)據(jù)集進(jìn)行對(duì)比發(fā)現(xiàn)隨著連續(xù)執(zhí)行航班次數(shù)的增多，時(shí)序性也在增強(qiáng)，預(yù)測(cè)準(zhǔn)確率也在逐步提升。

5.4 交替輪數(shù)對(duì)預(yù)測(cè)結(jié)果的影響

交替輪數(shù)r值是MogrifierLSTM 網(wǎng)絡(luò)中一個(gè)重要的超參數(shù)，r值越大x輸入LSTM 網(wǎng)絡(luò)前和之前細(xì)胞的狀態(tài)交互越充分，網(wǎng)絡(luò)更好挖掘時(shí)序信息之間的關(guān)聯(lián)性。但是r值每增加1，每次更LSTM 細(xì)胞狀態(tài)時(shí)就要多進(jìn)行一次QR 矩陣分解，網(wǎng)絡(luò)計(jì)算量與訓(xùn)練時(shí)間都會(huì)大幅度的增加。由于實(shí)驗(yàn)硬件設(shè)施算力有限，所以實(shí)驗(yàn)r最多設(shè)為6。表5 為交替輪數(shù)r增加時(shí)，航班延誤波及預(yù)測(cè)的準(zhǔn)確率與每輪訓(xùn)練時(shí)間在兩種數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。本文實(shí)驗(yàn)對(duì)訓(xùn)練模型耗時(shí)要求不是很高，所以優(yōu)先考慮對(duì)準(zhǔn)確率的影響，故強(qiáng)空間航班鏈數(shù)據(jù)集Fa的r值設(shè)為6，強(qiáng)時(shí)序航班鏈數(shù)據(jù)集Fd的r值也設(shè)為6。

表5 交替輪數(shù)r對(duì)準(zhǔn)確率與訓(xùn)練時(shí)間的對(duì)比Tab.5 Alternating rounds r for accuracy and training time

5.5 算法復(fù)雜度

空間復(fù)雜度與時(shí)間復(fù)雜度是表示算法復(fù)雜度的兩個(gè)重要指標(biāo)?？臻g復(fù)雜度用來(lái)計(jì)算資源的消耗程度，模型參數(shù)用Params 衡量，算法越復(fù)雜，參數(shù)量越多。時(shí)間復(fù)雜度用浮點(diǎn)運(yùn)算次數(shù)FLOPs 衡量，算法復(fù)雜度越高，模型訓(xùn)練和預(yù)測(cè)的時(shí)間都會(huì)變長(zhǎng)。表6 為本文融合注意力機(jī)制SimAM 的CNNMogrifierLSTM 模型與其他幾種模型的復(fù)雜度對(duì)比，其中MogrifierLSTM 簡(jiǎn)寫為MLSTM。從表6 中可以看出，MLSTM 相比于LSTM 算法復(fù)雜度并無(wú)很大增加，在CNN-MLSTM 中融入注意力機(jī)制SimAM 模塊后參數(shù)量增基本不發(fā)生變化，進(jìn)一步驗(yàn)證了SimAM模塊的無(wú)參特性。并使用1000 條驗(yàn)證集數(shù)據(jù)對(duì)模型進(jìn)行了預(yù)測(cè)時(shí)間分析，結(jié)果如表6 所示。不同模型平均每條航班的預(yù)測(cè)時(shí)長(zhǎng)差值都在0.001 秒以內(nèi)，證明了該模型雖然復(fù)雜度有所增加，但實(shí)際預(yù)測(cè)耗時(shí)并無(wú)很大變化?？展芫謱?duì)預(yù)測(cè)實(shí)時(shí)性的要求為預(yù)測(cè)一條數(shù)據(jù)在一秒以內(nèi)，所以犧牲復(fù)雜度提高準(zhǔn)確率在實(shí)際運(yùn)用中是可行的。

表6 不同網(wǎng)絡(luò)模型算法復(fù)雜度對(duì)比Tab.6 Network model algorithm comcexity comparison

5.6 不同網(wǎng)絡(luò)模型結(jié)果分析

為了測(cè)試融合SimAM 注意力機(jī)制的CNN-MogrifierLSTM 網(wǎng)絡(luò)的性能，本節(jié)在強(qiáng)空間數(shù)據(jù)集Fa與強(qiáng)時(shí)序數(shù)據(jù)集Fd兩種數(shù)據(jù)集上分別使用CNN、LSTM、MogrifierLSTM、CNN-LSTM、CNN-MogrifierLSTM五種模型與本文提出的SimAM-CNN-MogrifierLSTM網(wǎng)絡(luò)模型進(jìn)行準(zhǔn)確率與損失值的對(duì)比實(shí)驗(yàn)。對(duì)于強(qiáng)空間數(shù)據(jù)集Fa不同模型的對(duì)比實(shí)驗(yàn)結(jié)果如圖9所示，強(qiáng)時(shí)序數(shù)據(jù)集Fd不同模型的準(zhǔn)確率對(duì)比實(shí)驗(yàn)結(jié)果如圖10 所示，（a）為準(zhǔn)確率對(duì)比，（b）為損失值對(duì)比。

圖9 強(qiáng)空間數(shù)據(jù)集不同模型性能對(duì)比Fig.9 Strong spatial data set comparison

圖10 強(qiáng)時(shí)序數(shù)據(jù)集不同模型性能對(duì)比Fig.10 Strong sequential data set comparison

從實(shí)驗(yàn)結(jié)果可以看出在時(shí)序的基礎(chǔ)上加上卷積思想后的CNN-MogrifierLSTM 網(wǎng)絡(luò)在兩種數(shù)據(jù)集上相比單獨(dú)的CNN網(wǎng)絡(luò)或LSTM網(wǎng)絡(luò)的準(zhǔn)確率都有了明顯的提升，在強(qiáng)空間數(shù)據(jù)集上，相比CNN 網(wǎng)絡(luò)提升了2.38%，相比LSTM 網(wǎng)絡(luò)提升了2.24%；在強(qiáng)時(shí)序數(shù)據(jù)集上，分別提升了16.46%與2.16%。本文對(duì)CNN-MogrifierLSTM 加入SimAM 注意力機(jī)制模塊后，在強(qiáng)空間數(shù)據(jù)集上相比CNN-MLSTM 又提升了0.62%達(dá)到了78.79%，在強(qiáng)時(shí)序數(shù)據(jù)集上提升了0.53%達(dá)到了93.16%，明顯高于其他五種網(wǎng)絡(luò)的準(zhǔn)確率，損失函數(shù)值也最低。綜合說(shuō)明本文提出的融合注意力機(jī)制SimAM 的CNN-MogrifierLSTM 網(wǎng)絡(luò)在進(jìn)行航班延誤波及預(yù)測(cè)時(shí)，預(yù)測(cè)出的航班延誤波及分類結(jié)果與實(shí)際最為接近，網(wǎng)絡(luò)性能最優(yōu)。

為了進(jìn)一步驗(yàn)證運(yùn)用深度學(xué)習(xí)模型在大數(shù)據(jù)基礎(chǔ)上對(duì)航班延誤預(yù)測(cè)的準(zhǔn)確率相比于傳統(tǒng)算法有很大提升。分別用幾種不同的航班預(yù)測(cè)模型［21-23］與本文模型進(jìn)行對(duì)比，實(shí)驗(yàn)對(duì)比如表7 所示。傳統(tǒng)的機(jī)器學(xué)習(xí)是屬于小樣本學(xué)習(xí)，對(duì)于大數(shù)據(jù)的訓(xùn)練效果不是很好。從數(shù)據(jù)的屬性分析，航班數(shù)據(jù)其屬性之間具有依賴性，而傳統(tǒng)的如C4.5在選擇屬性是沒(méi)有考慮到屬性間的相關(guān)。支持向量機(jī)通過(guò)求解凸二次規(guī)劃問(wèn)題得到一個(gè)局部最優(yōu)解，也為全局最優(yōu)解，而航班數(shù)據(jù)的每一條之間其差異性較小。貝葉斯網(wǎng)絡(luò)使用的前提是屬性之間相互獨(dú)立，而該假設(shè)并不適用于本數(shù)據(jù)集。人工神經(jīng)網(wǎng)絡(luò)的可以充分的學(xué)習(xí)屬性之間的相關(guān)性，但是無(wú)法估計(jì)每條數(shù)據(jù)之間的關(guān)聯(lián)性。本文模型同時(shí)考慮到了數(shù)據(jù)屬性之間與數(shù)據(jù)序列間的關(guān)系，采用CNN 融合注意進(jìn)行空間的特征融合，采用MogrifierLSTM 對(duì)每條數(shù)據(jù)間的時(shí)序性進(jìn)行特征提取，因此本文所提出的網(wǎng)絡(luò)模型更適用于對(duì)航班延誤波及等級(jí)進(jìn)行預(yù)測(cè)。

表7 傳統(tǒng)模型準(zhǔn)確率對(duì)比Tab.7 Accuracy comparison of traditional models

6 結(jié)論

本文針對(duì)航班延誤波及問(wèn)題提出了一種融合SimAM 注意力機(jī)制的CNN-MogrifierLSTM 航班延誤波及預(yù)測(cè)方法。通過(guò)SimAM 注意力機(jī)制模塊對(duì)重要特征進(jìn)行通道與空間的同步加強(qiáng)，并結(jié)合CNN 提取空間信息與MogrifierLSTM 提取時(shí)間信息的優(yōu)勢(shì)，對(duì)融合空時(shí)信息的航班鏈數(shù)據(jù)進(jìn)行充分的特征提取，通過(guò)大量實(shí)驗(yàn)驗(yàn)證了該網(wǎng)絡(luò)模型的有效性。

（1）通過(guò)分析航班延誤波及的傳播規(guī)律，提出兩種航班鏈數(shù)據(jù)集的構(gòu)造方法。首先對(duì)數(shù)據(jù)清洗后的航班數(shù)據(jù)進(jìn)行三次復(fù)雜融合，提出強(qiáng)空間數(shù)據(jù)集的構(gòu)造方法；為了進(jìn)一步增強(qiáng)時(shí)序性提高預(yù)測(cè)準(zhǔn)確率，對(duì)強(qiáng)空間數(shù)據(jù)集進(jìn)行順序分割，提出強(qiáng)時(shí)序航班鏈數(shù)據(jù)集的構(gòu)造方法，增強(qiáng)預(yù)測(cè)的適用性，可以根據(jù)波及的次數(shù)選擇適用于網(wǎng)絡(luò)訓(xùn)練的不同數(shù)據(jù)集。

（2）基于航班鏈數(shù)據(jù)集的空時(shí)特性，提出融合SimAM 注意力機(jī)制的CNN-MogrifierLSTM 網(wǎng)絡(luò)模型。首先使用CNN 網(wǎng)絡(luò)層對(duì)空間信息進(jìn)行提取，然后通過(guò)SimAM 注意力機(jī)制模塊進(jìn)行空間和通道的同步注意對(duì)重要特征進(jìn)行增強(qiáng)，最后輸入Mogrifi?erLSTM 進(jìn)一步提取航班延誤波及中的時(shí)序特性，有效提升了航班延誤波及預(yù)測(cè)的準(zhǔn)確率。

對(duì)航班延誤波及問(wèn)題提前進(jìn)行準(zhǔn)確的預(yù)測(cè)，可以有效提升低質(zhì)量航班質(zhì)量，減少航班延誤波及的發(fā)生。在下一階段，將考慮如何使用回歸模型來(lái)對(duì)延誤的具體時(shí)間進(jìn)行預(yù)測(cè)，同時(shí)在數(shù)據(jù)允許的情況下，增加天氣等影響因素對(duì)航班延誤波及進(jìn)行分析。