蘆建輝，王 林，侯明鑫

（1.空軍航空大學(xué)，吉林 長(zhǎng)春 130022；2.廣東海洋大學(xué) 機(jī)械與動(dòng)力工程學(xué)院，廣東 湛江 524088）

引言

深度學(xué)習(xí)（Deep Learning）是學(xué)習(xí)輸入樣本的內(nèi)在規(guī)律，并且把規(guī)律從特殊推廣到一般。它的最終目標(biāo)是讓機(jī)器能夠像人一樣產(chǎn)生“自我”意識(shí)并具有分析能力，如識(shí)別圖片的含義等。現(xiàn)在流行的深度學(xué)習(xí)網(wǎng)絡(luò)可分為三大類：用于影像數(shù)據(jù)進(jìn)行分析處理的卷積神經(jīng)網(wǎng)絡(luò)（CNN）[1，2]、用于文本分析或自然語(yǔ)言處理的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和用于數(shù)據(jù)生成或非監(jiān)督式學(xué)習(xí)應(yīng)用的生成對(duì)抗網(wǎng)絡(luò)（GAN）[3，4]。國(guó)內(nèi)的研究者將深度學(xué)習(xí)應(yīng)用到生活的方方面面，很多學(xué)科把深度學(xué)習(xí)滲透到課堂中，如火箭軍工程大學(xué)的王國(guó)亮把深度學(xué)習(xí)應(yīng)用到專業(yè)基礎(chǔ)課程“材料科學(xué)基礎(chǔ)”中，激發(fā)學(xué)生的創(chuàng)新思維和增強(qiáng)探索精神[5]；北京交通大學(xué)的李艷鳳把深度學(xué)習(xí)課程應(yīng)用到實(shí)驗(yàn)教學(xué)中，加深了學(xué)生對(duì)課程的理解，增強(qiáng)了學(xué)生的高階思維能力[6]。谷歌、阿里巴巴、Facebook、騰訊和百度等國(guó)內(nèi)外互聯(lián)網(wǎng)巨頭都大力投資，不斷加快深度學(xué)習(xí)領(lǐng)域的研究步伐，由此，深度學(xué)習(xí)開(kāi)始不斷應(yīng)用于語(yǔ)音識(shí)別、圖像處理、自然語(yǔ)言識(shí)別等領(lǐng)域[7-9]。

針對(duì)“飛行安全”教育教學(xué)中的特點(diǎn)，結(jié)合深度學(xué)習(xí)常用的PyTorch工具，從自然語(yǔ)言和影像數(shù)據(jù)分析處理兩個(gè)角度分別設(shè)計(jì)了深度學(xué)習(xí)在“飛行安全”教學(xué)中的應(yīng)用場(chǎng)景和基本思路，并且展望了未來(lái)深度學(xué)習(xí)技術(shù)在“飛行安全”教育教學(xué)中的發(fā)展趨勢(shì)。

一、深度學(xué)習(xí)框架

選擇一個(gè)合適的深度學(xué)習(xí)框架是非常重要的，因?yàn)橐粋€(gè)合適的深度學(xué)習(xí)框架能起到事半功倍的作用[10]。在深度學(xué)習(xí)框架形成之前，研究者使用各種不同的方式達(dá)到他們的研究目的，需要寫(xiě)大量的重復(fù)代碼，導(dǎo)致學(xué)習(xí)的門(mén)檻比較高，而且難以復(fù)現(xiàn)，影響了學(xué)習(xí)的積極性。為了解決這些阻礙深度學(xué)習(xí)發(fā)展的問(wèn)題，越來(lái)越多的開(kāi)發(fā)者就這些代碼寫(xiě)成框架放在網(wǎng)上，方便研究者使用，現(xiàn)在最為流行的深度學(xué)習(xí)框架有PyTorch、Tensorflow、Caffe和PaddlePaddle。

1.PyTorch。PyTorch是一個(gè)開(kāi)源的python工具庫(kù)，是在2017年由Facebook人工智能院基于Torch開(kāi)發(fā)而來(lái)的深度學(xué)習(xí)框架；Torch是由卷積神經(jīng)網(wǎng)絡(luò)之父Yann LeCun領(lǐng)導(dǎo)開(kāi)發(fā)的框架，于2014年開(kāi)源，曾是Facebook和Twitter主推的一款開(kāi)源深度學(xué)習(xí)框架，使用Python修改了很多內(nèi)容，使Pytorch更加靈活，同時(shí)支持動(dòng)態(tài)圖，得到了更多研發(fā)人員的認(rèn)可。PyTorch有利于研究開(kāi)發(fā)人員快速生成模型，支持GPU，更易于搭建和訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。

2.Tensorflow。Tensorflow是由谷歌開(kāi)發(fā)的深度學(xué)習(xí)框架，是一個(gè)端到端平臺(tái)，學(xué)者或?qū)＜揖梢暂p松地構(gòu)建、試驗(yàn)和部署模型。Tensorflow提供多個(gè)高級(jí)API（Application Programming Interface，應(yīng)用程序接口），用戶基于業(yè)務(wù)需求選擇適用的API或者自行定制API，將TensorFlow部署在CPU、GPU的服務(wù)器中，或應(yīng)用在移動(dòng)設(shè)備中開(kāi)展目標(biāo)檢測(cè)等，并支持AdaGrad和Neuron Dropout等算法優(yōu)化[11，12]。

3.Caffe。Caffe由加州大學(xué)伯克利的博士賈揚(yáng)清開(kāi)發(fā)，全稱是Convolutional Architecture for Fast Feature Embedding，是一個(gè)清晰而高效的開(kāi)源深度學(xué)習(xí)框架[13]，支持Python和Matlab接口，為研究者提供多種編程語(yǔ)言來(lái)開(kāi)發(fā)算法，并由伯克利視覺(jué)中心（Berkeley Vision and Learning Center, BVLC）進(jìn)行維護(hù)。

4.PaddlePaddle。PaddlePaddle是2016年百度研發(fā)的深度學(xué)習(xí)平臺(tái)，是國(guó)內(nèi)最早開(kāi)源的一個(gè)功能較完備的深度學(xué)習(xí)平臺(tái)。PaddlePaddle具有全面的工業(yè)級(jí)應(yīng)用模型，涵蓋計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理等多個(gè)領(lǐng)域[11]，并開(kāi)放多個(gè)領(lǐng)先的預(yù)訓(xùn)練中文模型，復(fù)現(xiàn)了多套有價(jià)值的算法模型。目前，PaddlePaddle已經(jīng)實(shí)現(xiàn)了API的穩(wěn)定和兼容性，形成完善的中英雙語(yǔ)使用文檔，簡(jiǎn)潔高效、易學(xué)易用[14]。

深度學(xué)習(xí)框架降低了人工智能的門(mén)檻，研究者不需要從復(fù)雜的神經(jīng)網(wǎng)絡(luò)開(kāi)始編代碼，可根據(jù)業(yè)務(wù)模型的需要，繼承框架中的模型進(jìn)行修改，通過(guò)訓(xùn)練得到模型參數(shù)，也可以增加層次，或者選擇所需的分類器和優(yōu)化算法。以上深度學(xué)習(xí)框架提供了豐富的深度學(xué)習(xí)組件，用戶自定義研發(fā)新的算法，減少了重復(fù)的代碼量。經(jīng)對(duì)比發(fā)現(xiàn)，PyTorch框架包含了很多高級(jí)API，可以應(yīng)用在目標(biāo)檢測(cè)、物體分類、語(yǔ)義分割等深度學(xué)習(xí)框架中。從工程實(shí)際的角度來(lái)講，通過(guò)PyTorch訓(xùn)練模型，生成權(quán)重文件后，既可以通過(guò)云端進(jìn)行檢測(cè)，也可以嵌入邊緣設(shè)備中進(jìn)行離線檢測(cè)[15]，近年來(lái)大部分項(xiàng)目采用在云中和邊緣同步部署檢測(cè)的混合方法，取得了較好的應(yīng)用效果。邊緣模型通過(guò)智能設(shè)備實(shí)時(shí)做出決策來(lái)解決深度云對(duì)末端檢測(cè)的不足，云中進(jìn)行模型訓(xùn)練，處理進(jìn)行長(zhǎng)期分析和改進(jìn)權(quán)重，如智能汽車(chē)就是利用車(chē)上的攝像頭和處理器進(jìn)行實(shí)時(shí)計(jì)算，再把數(shù)據(jù)上傳到云端，對(duì)模型權(quán)重進(jìn)行更新。以上算法框架對(duì)飛行安全工程和管理類學(xué)科教學(xué)都有典型應(yīng)用價(jià)值，例如機(jī)場(chǎng)利用攝像頭檢測(cè)跑道異物、監(jiān)測(cè)空中飛鳥(niǎo)等，均可利用邊緣設(shè)備進(jìn)行智能自動(dòng)檢測(cè)。

二、“飛行安全”教學(xué)特點(diǎn)

軍民航在多所高校開(kāi)設(shè)“飛行安全”相關(guān)教學(xué)，包括多個(gè)飛行技術(shù)、工程技術(shù)和管理類專業(yè)，大部分是普通高等學(xué)校本科專業(yè)和任職教育專業(yè)，不同的任職崗位其設(shè)置的課程內(nèi)容不盡相同，但本質(zhì)均是保障飛行安全。飛行安全關(guān)乎人們的生命財(cái)產(chǎn)，影響著民航業(yè)的發(fā)展前景，更關(guān)乎國(guó)家的形象。飛機(jī)的安全起降、平安是每個(gè)人的希望。近年來(lái)，世界范圍內(nèi)民航安全事故頻發(fā)，但是航空運(yùn)輸卻快速發(fā)展，飛行航線密度和擁擠度逐漸上升，飛行安全格外重要。隨著科技的快速發(fā)展，深度學(xué)習(xí)普遍應(yīng)用在各行各業(yè)，為預(yù)防和減少空難的發(fā)生，將深度學(xué)習(xí)應(yīng)用到飛行安全實(shí)踐中，為航空器飛行安全提供更多的保障。

“飛行安全”課程是一門(mén)典型的綜合多學(xué)科知識(shí)構(gòu)成的課程，不僅涉及“飛機(jī)飛行力學(xué)”“飛機(jī)結(jié)構(gòu)與系統(tǒng)”“空中領(lǐng)航”“航空動(dòng)力裝置”“航空氣象”等航空理論相關(guān)課程知識(shí)，還涉及“飛行事故調(diào)查學(xué)”“航空生理心理學(xué)”“飛行中人的因素”“安全管理學(xué)”“應(yīng)急情況處置”等課程知識(shí)，因此，“飛行安全”課程不僅內(nèi)容豐富、綜合性強(qiáng)、應(yīng)用性突出，而且理論與實(shí)踐聯(lián)系緊密，這事實(shí)上與每一起飛行事故都涉及多種原因是一致的。在“飛行安全”教學(xué)中，通常采用理論教學(xué)、案例教學(xué)、模擬教學(xué)等方法。深度學(xué)習(xí)技術(shù)在“飛行安全”理論教學(xué)、工程技術(shù)教學(xué)、案例教學(xué)、模擬教學(xué)方面均有典型應(yīng)用價(jià)值。

三、深度學(xué)習(xí)在“飛行安全”教學(xué)中的應(yīng)用設(shè)計(jì)

1.RNN在“飛行安全”理論教學(xué)中的應(yīng)用設(shè)計(jì)?！帮w行安全”理論主要是基于事故致因、安全管理、安全技術(shù)等理論的形成的基礎(chǔ)理論，重點(diǎn)是用于分析飛行事故的致因因素及其作用過(guò)程，簡(jiǎn)單地說(shuō)就是回答“事故的致因因素是什么、是怎么發(fā)生的、為什么會(huì)發(fā)生”等基本問(wèn)題。應(yīng)用自然語(yǔ)言處理的循環(huán)神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)技術(shù)對(duì)飛行不安全事件（一般涵蓋飛行事故、飛行事故征候等事件）調(diào)查報(bào)告等文件資料按照一定邏輯進(jìn)行處理形成事件特征數(shù)據(jù)集，進(jìn)而用于預(yù)防同類事件的再次發(fā)生。具體過(guò)程可分為三步：一是不安全事件特征標(biāo)準(zhǔn)化標(biāo)識(shí)，將同類不安全事件的發(fā)生條件、發(fā)生時(shí)機(jī)、致因因素、發(fā)生過(guò)程、處置過(guò)程、產(chǎn)生后果等內(nèi)容進(jìn)行標(biāo)準(zhǔn)化標(biāo)識(shí)；二是生成事件特征數(shù)據(jù)集和模型，將歷史上同類原因或具有同一性特征的事件信息進(jìn)行聚類，生成特征數(shù)據(jù)集，并經(jīng)過(guò)海量數(shù)據(jù)訓(xùn)練形成特征模型；三是基于特征數(shù)據(jù)集和模型對(duì)即將開(kāi)展的飛行安全任務(wù)計(jì)劃中的參加人員、業(yè)務(wù)過(guò)程、協(xié)作關(guān)系、管理關(guān)系等構(gòu)成的任務(wù)描述進(jìn)行自動(dòng)化、智能化的特征比較，從而基于特征數(shù)據(jù)的深度學(xué)習(xí)得出富有實(shí)效的數(shù)據(jù)分析結(jié)論。

例如，某階段的任務(wù)是新飛行員起落航線理論教學(xué)和飛行訓(xùn)練，為保障該階段的飛行安全，必須準(zhǔn)確識(shí)別該階段的主要風(fēng)險(xiǎn)源、評(píng)估不同熟練度飛行員的風(fēng)險(xiǎn)程度并提出精準(zhǔn)的風(fēng)險(xiǎn)預(yù)防控制措施。應(yīng)用RNN深度學(xué)習(xí)技術(shù)對(duì)該階段教學(xué)訓(xùn)練任務(wù)計(jì)劃與特征數(shù)據(jù)集，按照上述思路進(jìn)行特征比較，基于特征相似度對(duì)任務(wù)、人員、業(yè)務(wù)過(guò)程、協(xié)作、管理并結(jié)合環(huán)境因素給出風(fēng)險(xiǎn)識(shí)別參考列表清單，有助于任務(wù)管理者和執(zhí)行者開(kāi)展風(fēng)險(xiǎn)防控?；谏疃葘W(xué)習(xí)技術(shù)可以深挖安全風(fēng)險(xiǎn)直接原因背后的隱性因素，尤其是部分人員由于理論學(xué)習(xí)的有效性不足形成的盲點(diǎn)會(huì)導(dǎo)致飛行訓(xùn)練中的風(fēng)險(xiǎn)進(jìn)一步放大，從而在飛行中出現(xiàn)應(yīng)急情況時(shí)難以分析其原因并控制處置措施。RNN在“飛行安全”理論教學(xué)中的應(yīng)用可為安全風(fēng)險(xiǎn)識(shí)別提供特征比較客觀數(shù)據(jù)，提高“飛行安全”理論教學(xué)的針對(duì)性和有效性。

2.CNN在“飛行安全”工程技術(shù)教學(xué)和案例教學(xué)中的應(yīng)用設(shè)計(jì)?！帮w行安全”工程技術(shù)教學(xué)和案例教學(xué)均會(huì)使用到大量的圖片、影像等素材，這些圖片和影像的智能處理是提升教學(xué)質(zhì)量的重要方法。“飛行安全”工程技術(shù)和案例教學(xué)典型的場(chǎng)景有飛鳥(niǎo)識(shí)別與鳥(niǎo)擊風(fēng)險(xiǎn)評(píng)估、跑道異物識(shí)別與外來(lái)物撞擊風(fēng)險(xiǎn)評(píng)估、座艙多維度視頻圖像處理與風(fēng)險(xiǎn)識(shí)別、事故調(diào)查、事故仿真再現(xiàn)等，這些場(chǎng)景的數(shù)據(jù)來(lái)源多是攝像和圖像采集設(shè)備獲取的圖片或影像資料，這些資料均為自動(dòng)攝錄采集，數(shù)據(jù)量巨大，風(fēng)險(xiǎn)源表現(xiàn)在視場(chǎng)時(shí)間短暫且不敏感，人工識(shí)別判斷工作量巨大，亟須采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行智能化分析處理影像數(shù)據(jù)，基于圖像特征數(shù)據(jù)集自動(dòng)識(shí)別異常情況并評(píng)估風(fēng)險(xiǎn)情況。

例如，機(jī)場(chǎng)飛鳥(niǎo)自動(dòng)智能識(shí)別與風(fēng)險(xiǎn)評(píng)估，主要通過(guò)收集部署于機(jī)場(chǎng)及跑道周邊的攝像設(shè)備獲取的飛鳥(niǎo)照片和影像，識(shí)別飛鳥(niǎo)及其種屬和名稱，進(jìn)行特征標(biāo)注后，形成特征數(shù)據(jù)集（如飛鳥(niǎo)、跑道、飛機(jī)、房屋等數(shù)據(jù)集），構(gòu)建基于CNN的智能識(shí)別算法進(jìn)行訓(xùn)練，形成權(quán)重文件，再部署到邊緣設(shè)備（攝像頭及圖像處理GPU等構(gòu)成的一體化設(shè)備）中，從而自動(dòng)識(shí)別飛鳥(niǎo)特征并推算其來(lái)向、速度、高度等動(dòng)態(tài)信息，進(jìn)而自動(dòng)形成機(jī)場(chǎng)鳥(niǎo)情記錄數(shù)據(jù)庫(kù)。在此基礎(chǔ)上，結(jié)合飛機(jī)任務(wù)計(jì)劃及其運(yùn)動(dòng)特征計(jì)算鳥(niǎo)機(jī)可能相撞的時(shí)間、軌跡、位置等信息，進(jìn)而分析鳥(niǎo)機(jī)相撞風(fēng)險(xiǎn)，可以實(shí)時(shí)輔助管制員和飛行員工作，提高飛行器防鳥(niǎo)擊的安全程度。另外，如果發(fā)生鳥(niǎo)擊航空器飛行事故，可基于以上影像數(shù)據(jù)和飛機(jī)座艙攝像設(shè)備記錄的影像設(shè)備，生成多維度鳥(niǎo)擊飛行事故發(fā)生實(shí)況的再現(xiàn)或復(fù)盤(pán)，有利于調(diào)查分析事故的詳細(xì)過(guò)程。以上基于CNN的影像數(shù)據(jù)智能自動(dòng)分析對(duì)“飛行安全”工程技術(shù)教學(xué)和案例教學(xué)有重要意義，通過(guò)數(shù)據(jù)處理分析，教學(xué)對(duì)象不僅提升了安全數(shù)據(jù)分析的能力，同時(shí)學(xué)會(huì)了熟練使用CNN深度學(xué)習(xí)技術(shù)。業(yè)務(wù)需求與理論和技術(shù)的融合教學(xué)，對(duì)教學(xué)對(duì)象未來(lái)開(kāi)展飛行安全工作具有明顯的促進(jìn)作用。

另外，深度學(xué)習(xí)憑借循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的技術(shù)優(yōu)勢(shì)，實(shí)現(xiàn)了對(duì)飛行不同類型數(shù)據(jù)的智能化分析，具體表現(xiàn)為：（1）循環(huán)神經(jīng)網(wǎng)絡(luò)可以對(duì)飛行中的傳感器數(shù)據(jù)，如航向角、俯仰角、空速、過(guò)載等關(guān)鍵飛行數(shù)據(jù)進(jìn)行智能化分析，通過(guò)對(duì)傳感器數(shù)據(jù)的趨勢(shì)預(yù)測(cè)，從而反映出飛行員駕駛的不良習(xí)慣和錯(cuò)誤動(dòng)作；（2）卷積神經(jīng)網(wǎng)絡(luò)可以對(duì)飛行中的圖像數(shù)據(jù)進(jìn)行智能分析，比如通過(guò)飛行航跡的圖像分析，從而智能分析飛行員關(guān)鍵操作動(dòng)作和飛機(jī)姿態(tài)，自動(dòng)得出飛行員的關(guān)鍵動(dòng)作改進(jìn)措施；（3）高難飛行動(dòng)作的飛行動(dòng)力學(xué)仿真建模分析，同時(shí)利用RNN和CNN構(gòu)建智能算法對(duì)飛行操縱進(jìn)行仿真，即結(jié)合多維飛行數(shù)據(jù)、航跡圖像、儀表圖像、座艙視景圖像進(jìn)行關(guān)聯(lián)智能分析，從而實(shí)現(xiàn)對(duì)高難動(dòng)作、超限動(dòng)作的錯(cuò)誤操縱等仿真分析，進(jìn)一步提高飛行員的飛行訓(xùn)練效果。

四、結(jié)論與展望

本文介紹了深度學(xué)習(xí)的研究方向與應(yīng)用，闡述了當(dāng)前具有影響力的開(kāi)源深度學(xué)習(xí)開(kāi)發(fā)工具，針對(duì)“飛行安全”教學(xué)的特點(diǎn)，設(shè)計(jì)了深度學(xué)習(xí)技術(shù)在“飛行安全”教學(xué)中的應(yīng)用場(chǎng)景，提出了深度學(xué)習(xí)技術(shù)在“飛行安全”教學(xué)中的應(yīng)用實(shí)例與方法，對(duì)促進(jìn)深度學(xué)習(xí)技術(shù)在飛行安全領(lǐng)域的應(yīng)用具有明顯價(jià)值，同時(shí)，可以幫助學(xué)生獲得前沿深度學(xué)習(xí)技術(shù)，并與飛行安全業(yè)務(wù)知識(shí)相結(jié)合，以促進(jìn)高素質(zhì)多學(xué)科交叉融合型人才的培養(yǎng)。