溫博閣

(大連交通大學(xué)，遼寧 大連 116028)

0 前言

人工智能神經(jīng)網(wǎng)絡(luò)，是一種模仿生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能的數(shù)學(xué)模型，它的構(gòu)筑理念是受到生物（人或其他動(dòng)物）神經(jīng)網(wǎng)絡(luò)功能的運(yùn)作啟發(fā)而產(chǎn)生的。我們通過(guò)利用神經(jīng)網(wǎng)絡(luò)的非線性變換的能力來(lái)處理原本只能依靠人類大腦判斷的問(wèn)題，這種方法比起正式的邏輯學(xué)推理演算更具有優(yōu)勢(shì)。

借助于人工智能在邏輯推理、識(shí)別、控制方面的巨大優(yōu)勢(shì)，使用人工智能技術(shù)建設(shè)智慧鐵路正在成為鐵路現(xiàn)代化和高質(zhì)量發(fā)展的演進(jìn)形態(tài)和重要標(biāo)志。我國(guó)擁有世界上最龐大的高速鐵路網(wǎng)絡(luò)和服務(wù)最廣大群體的鐵路管理和服務(wù)體系，推動(dòng)智能鐵路發(fā)展有利于全面提高我國(guó)超大規(guī)模鐵路網(wǎng)運(yùn)輸能力效率效益和建設(shè)管理服務(wù)水平。

智慧鐵路[1]運(yùn)輸系統(tǒng)最為重要的組成部分是控制、感知。這幾個(gè)方面與人工智能在邏輯判斷、圖像識(shí)別、強(qiáng)化學(xué)習(xí)等研究方面相符合，使其可以廣泛應(yīng)用于智慧鐵路的控制和感知等相關(guān)領(lǐng)域，尤其是作為智慧鐵路重點(diǎn)建設(shè)的目標(biāo)：智能裝備和智能運(yùn)維方面。這兩方面囊括了自動(dòng)駕駛、智能控制與決策、故障診斷、故障預(yù)測(cè)與健康管理、先進(jìn)感知技術(shù)大數(shù)據(jù)分析等各種依賴于人工智能的技術(shù)。這些技術(shù)的應(yīng)用將實(shí)現(xiàn)重載鐵路移動(dòng)裝備及基礎(chǔ)設(shè)施的自感知、自診斷、自決策、自適應(yīng)、自修復(fù)；實(shí)現(xiàn)重載列車自動(dòng)及協(xié)同運(yùn)行；線路、通信信號(hào)、基礎(chǔ)設(shè)施的最佳使用狀態(tài)。

1 圖像識(shí)別在智能駕駛方面的應(yīng)用前景

人工智能在智能駕駛方面的應(yīng)用主要集中在兩個(gè)方向，圖像識(shí)別和強(qiáng)化學(xué)習(xí)。其中圖像識(shí)別主要應(yīng)用方向是智能駕駛方面的輔助，其特點(diǎn)是根據(jù)圖像進(jìn)行司機(jī)行為識(shí)別、路面情況識(shí)別、特殊情況識(shí)別等一切無(wú)法直接測(cè)量，或需要主觀判斷的識(shí)別技術(shù)。

為了判斷圖像信息，人工智能早期使用了多層感知機(jī)進(jìn)行特征判斷，其特點(diǎn)是利用了全連接層直接對(duì)物體類別進(jìn)行分類判斷?；旧系亩鄬痈兄獧C(jī)都使用了3層結(jié)構(gòu)：輸入層，隱藏層，輸出層。結(jié)構(gòu)較為簡(jiǎn)單，但是識(shí)別效率較低，增加隱藏層的層數(shù)會(huì)帶來(lái)較為明顯的計(jì)算開(kāi)銷，判斷準(zhǔn)確率卻不會(huì)帶來(lái)提升。為了提升人工智能性能，在2012年ImageNet的圖像分類大賽中，Alex首次在其使用的神經(jīng)網(wǎng)絡(luò) AlexNet引入了卷積神經(jīng)網(wǎng)絡(luò)，并在當(dāng)年取得了最好的成績(jī)，其利用了卷積的權(quán)重共享機(jī)制，成功將網(wǎng)絡(luò)深度增加到了 8層，自此奠定了卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別領(lǐng)域的地位。隨后多種基于卷積的神經(jīng)網(wǎng)絡(luò)方法不斷涌現(xiàn)，直到VGG-19的誕生，人們意識(shí)到隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，網(wǎng)絡(luò)的準(zhǔn)確率會(huì)不升反降，這種情況被稱為深度模型的退化。其本質(zhì)是神經(jīng)網(wǎng)絡(luò)的非線性變換導(dǎo)致多層迭代后失去了恒等映射。自此無(wú)限增加網(wǎng)絡(luò)層數(shù)進(jìn)而提高網(wǎng)絡(luò)表現(xiàn)的方法失效了。

為了解決這個(gè)問(wèn)題，2015年 He-Kaiming提出的 ResNet[2]結(jié)構(gòu)，因?yàn)樯顚拥木W(wǎng)絡(luò)已經(jīng)很難擬合潛在的恒等映射函數(shù)（即深層退化）H(x)=x，那么通過(guò)將恒等映射作為網(wǎng)絡(luò)的一部分來(lái)把深層網(wǎng)絡(luò)轉(zhuǎn)化為淺層網(wǎng)絡(luò)即H(x)=F(x)+x。通過(guò)這種方式將問(wèn)題轉(zhuǎn)化為學(xué)習(xí)一個(gè)殘差函數(shù)，并且實(shí)驗(yàn)證明了擬合殘差要比擬合恒等映射要容易的多。

經(jīng)過(guò)了殘差網(wǎng)絡(luò)后神經(jīng)網(wǎng)絡(luò)可以有效的提升網(wǎng)絡(luò)深度，由當(dāng)時(shí)VGG-19的19層一舉突破到了ResNet的101層。由于深層神經(jīng)網(wǎng)絡(luò)對(duì)于特征提取的能力，以往僅僅被用于處理分類的網(wǎng)絡(luò)終于開(kāi)始輸出更為復(fù)雜的結(jié)果。由此衍生出了各種應(yīng)用，包括目標(biāo)追蹤、多目標(biāo)追蹤、物體定位、圖像分割、時(shí)序行為識(shí)別等。對(duì)于目標(biāo)追蹤方面，基于 Siam雙分支結(jié)構(gòu)可以有效的對(duì)目標(biāo)物體的追蹤，可以應(yīng)用于人物軌跡追蹤、貨物軌跡追蹤、手勢(shì)軌跡追蹤等。時(shí)序行為識(shí)別則利用了多層可分離卷積感受時(shí)序信息，結(jié)合卷積網(wǎng)絡(luò)提取的特征對(duì)時(shí)序行為進(jìn)行判斷。從圖像識(shí)別發(fā)展路線上來(lái)看，網(wǎng)絡(luò)結(jié)構(gòu)由淺到深，進(jìn)而由深變寬，未來(lái)的網(wǎng)絡(luò)結(jié)構(gòu)大概率不會(huì)繼續(xù)加深而是增加多個(gè)分支網(wǎng)絡(luò)結(jié)構(gòu)，如超精細(xì)圖像分支用于提高輸出維度等。各網(wǎng)絡(luò)層數(shù)變化表1所示。

表1 卷積網(wǎng)絡(luò)結(jié)構(gòu)Tab.1 Convolution network structure

基于上文所述，在智能駕駛輔助方面，對(duì)于異物入侵可以采用Yolo進(jìn)行多目標(biāo)識(shí)別，這將幫助司機(jī)定位出現(xiàn)在其駕駛盲區(qū)的突發(fā)事件。在司機(jī)行為監(jiān)控方面，可以利用 SiamMask進(jìn)行肢體動(dòng)作追蹤，同時(shí)利用 TSM 對(duì)于時(shí)序動(dòng)作進(jìn)行識(shí)別，可以有效檢測(cè)司機(jī)執(zhí)行動(dòng)作的準(zhǔn)確性。

2 強(qiáng)化學(xué)習(xí)在智能駕駛方面的應(yīng)用前景

強(qiáng)化學(xué)習(xí)[3]可以對(duì)環(huán)境做出相應(yīng)的對(duì)策，因此其被應(yīng)用于自動(dòng)駕駛領(lǐng)域。相比較于汽車的自動(dòng)駕駛，需要對(duì)自己的運(yùn)行軌跡預(yù)測(cè)，同時(shí)考慮汽車自身周圍數(shù)米內(nèi)人，車的預(yù)測(cè)軌跡，并作出最優(yōu)的決策避免出現(xiàn)事故。軌道交通領(lǐng)域所需考慮的場(chǎng)景則較為簡(jiǎn)單，因其所處環(huán)境較為獨(dú)立，周圍環(huán)境干擾較小，因此是較為合適的應(yīng)用強(qiáng)化學(xué)習(xí)的領(lǐng)域，除此之外強(qiáng)化學(xué)習(xí)所學(xué)習(xí)到的策略是可以超過(guò)人類水平的，這相比于目前的LKJ輔助駕駛[4]或者自動(dòng)虛擬編組技術(shù)這種依靠人工指定的操作順序來(lái)控制的方法來(lái)說(shuō)，其上限更高。強(qiáng)化學(xué)習(xí)輸出的列車控制策略理論上可以有更快的運(yùn)行速度，更低的能源消耗，對(duì)列車運(yùn)行間車鉤力最小化的能力，這將有效的提高整體運(yùn)行的效率。

強(qiáng)化學(xué)習(xí)的本質(zhì)是采用博弈方法來(lái)學(xué)習(xí)策略，當(dāng)然這種博弈的方式也可以使用自博弈來(lái)進(jìn)行，著名的 AlphaZero就是采用了自博弈的方式來(lái)進(jìn)行的圍棋學(xué)習(xí)，其學(xué)習(xí)的效果超過(guò)了其初代版本AlphaGO（該版本使用了學(xué)習(xí)人類棋譜的能力來(lái)構(gòu)筑博弈策略）。目前針對(duì)強(qiáng)化學(xué)習(xí)，多采用了多智能體學(xué)習(xí)方法，并且設(shè)計(jì)了若干策略池來(lái)連續(xù)的學(xué)習(xí)策略和對(duì)可能情況的反制策略。其中最著名的是 2019年發(fā)表于Nature上并作為封面的AlphaStar，該方法也代表了強(qiáng)化學(xué)習(xí)的最高水平。

強(qiáng)化學(xué)習(xí)本身也使用了多種網(wǎng)絡(luò)結(jié)構(gòu)相互結(jié)合。例如在實(shí)際駕駛過(guò)程中，因環(huán)境要素較為復(fù)雜，感知環(huán)境的部分一般交由圖像識(shí)別網(wǎng)絡(luò)進(jìn)行，例如YOLO可以有效的對(duì)出現(xiàn)在圖像中的物體進(jìn)行定位并分類，對(duì)于傳感器反饋的數(shù)據(jù)也多采用自然語(yǔ)言處理的方式進(jìn)行特征提取，強(qiáng)化學(xué)習(xí)更多的以這些網(wǎng)絡(luò)提取后的特征作為基礎(chǔ)，利用這些信息進(jìn)行決策。并且強(qiáng)化學(xué)習(xí)本身可以與現(xiàn)有的自動(dòng)駕駛規(guī)則相融合，可以只用來(lái)解決各種不適用于規(guī)則范圍內(nèi)的場(chǎng)景或極端問(wèn)題。對(duì)于這些極端問(wèn)題，多智能體將一個(gè)復(fù)雜問(wèn)題分解為多個(gè)子問(wèn)題，通過(guò)這種方式將短期獎(jiǎng)勵(lì)分解為長(zhǎng)期獎(jiǎng)勵(lì)分配，這更有利于結(jié)構(gòu)化搜索和遷移學(xué)習(xí)，同時(shí)多智能體也降低了每個(gè)網(wǎng)絡(luò)的復(fù)雜程度。提升學(xué)習(xí)速度，降低不收斂的可能?？偟膩?lái)說(shuō)，強(qiáng)化學(xué)習(xí)目前還在不斷發(fā)展過(guò)程中，新的概念不斷涌現(xiàn)，其對(duì)于復(fù)雜環(huán)境的感知和決策能力在逐步提升。從這幾年公布的研究成果來(lái)看，科研界越來(lái)越重視強(qiáng)化學(xué)習(xí)與多種網(wǎng)絡(luò)結(jié)合的端到端的解決方案。

3 自然語(yǔ)言處理在智能運(yùn)維方面的應(yīng)用前景

自然語(yǔ)言[5]識(shí)別字面上看只能夠處理語(yǔ)言相關(guān)的問(wèn)題，但其根本的定義是處理時(shí)序相關(guān)的數(shù)據(jù)。這種處理方法得名稱來(lái)源于早期人工智能處理不同數(shù)據(jù)類型時(shí)的分類。圖片類的靜態(tài)數(shù)據(jù)被稱為圖像識(shí)別，時(shí)序相關(guān)的簡(jiǎn)單問(wèn)題一般涉及到語(yǔ)言，所以被稱為自然語(yǔ)言處理。目前自然語(yǔ)言處理的方法已經(jīng)在涉及到了關(guān)于時(shí)序信息處理的方方面面，從語(yǔ)言到傳感器數(shù)據(jù)，甚至視頻動(dòng)作識(shí)別都有涉及。

自然語(yǔ)言識(shí)別基礎(chǔ)模型是循環(huán)神經(jīng)網(wǎng)絡(luò)，其特點(diǎn)是每次輸入都結(jié)合了上一次輸出的結(jié)果與這一次輸入的結(jié)果相結(jié)合，這給了循環(huán)神經(jīng)網(wǎng)絡(luò)感知連續(xù)的時(shí)序信息的能力，可以有效的將上下文的信息進(jìn)行處理。當(dāng)然其面臨兩個(gè)問(wèn)題，第一個(gè)是傳輸效率問(wèn)題。第二個(gè)就是傳遞距離問(wèn)題，即過(guò)長(zhǎng)的輸入會(huì)導(dǎo)致循環(huán)神經(jīng)網(wǎng)絡(luò)快速遺忘之前的輸入。對(duì)于其改進(jìn)型長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)則利用了關(guān)鍵的遺忘門來(lái)控制其對(duì)與之前輸入的遺忘程度，進(jìn)而得到了較為不錯(cuò)的長(zhǎng)期記憶能力。之后誕生了重要的Attention結(jié)構(gòu)，其核心是構(gòu)造一個(gè)N進(jìn)N出得網(wǎng)絡(luò)結(jié)構(gòu)。接收整個(gè)時(shí)序得連續(xù)數(shù)據(jù)作為輸入，然后為每個(gè)輸入都做出一個(gè)輸出。但是與循環(huán)神經(jīng)網(wǎng)絡(luò)不同的是，Attention結(jié)構(gòu)能夠同時(shí)處理輸入中的所有信息，并且任意兩個(gè)信息之間的操作距離都是 1，這么一來(lái)就很好地解決了上面提到的循環(huán)神經(jīng)網(wǎng)絡(luò)的效率問(wèn)題和距離問(wèn)題。

這種基于Attention計(jì)算的結(jié)構(gòu)最早是由谷歌與2017年提出，并將這種網(wǎng)絡(luò)命名為Transformer網(wǎng)絡(luò)，其過(guò)程就是為連續(xù)輸入得每一個(gè)輸入本身做一次Attention。算出其他輸入對(duì)于這個(gè)輸入的權(quán)重，然后將這個(gè)輸入表示為所有輸入的加權(quán)和。同樣得，為了增加Transformer網(wǎng)絡(luò)的深度，在自然語(yǔ)言識(shí)別中也引入了圖像識(shí)別中得殘差網(wǎng)絡(luò)結(jié)構(gòu)，將每一層得輸入于其標(biāo)準(zhǔn)化后得輸入出相加，進(jìn)而湊成一個(gè)殘差結(jié)構(gòu)擬合恒等映射。由于Transformer網(wǎng)絡(luò)中既不存在循環(huán)神經(jīng)網(wǎng)絡(luò)，也不同于卷積神經(jīng)網(wǎng)絡(luò)，一段連續(xù)輸入里的所有輸入都被同等的看待，所以時(shí)序輸入之間就沒(méi)有了先后關(guān)系。為了解決這個(gè)問(wèn)題，Transformer提出了輸入向量方案，就是給每個(gè)輸入疊加一個(gè)固定的向量來(lái)表示它的位置然后針對(duì)每一列都疊加上一個(gè)相位不同或波長(zhǎng)逐漸增大的波，以此來(lái)唯一區(qū)分位置。

很明顯得是輸入向量會(huì)隨著處理問(wèn)題得逐漸復(fù)雜化而維度逐漸提高。例如要求其推理能力根據(jù)前后時(shí)序判斷其未來(lái)可能得輸出結(jié)構(gòu)，或者相似度判斷等?；诖?，需要一個(gè)更為通用化得模型來(lái)處理越來(lái)越復(fù)雜得輸入向量空間維度得增長(zhǎng)。于是在2018年OpenAI提出了基于Transformer得大型網(wǎng)絡(luò)結(jié)構(gòu)GPT模型。在增加了網(wǎng)絡(luò)深度得基礎(chǔ)上主要解決了大量無(wú)標(biāo)記數(shù)據(jù)的訓(xùn)練問(wèn)題，精簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)，使用了單向得 Transformer網(wǎng)絡(luò)，使得網(wǎng)絡(luò)只會(huì)關(guān)注當(dāng)前輸入之前的信息，這為在線預(yù)測(cè)打下了基礎(chǔ)。同一時(shí)期谷歌也提出了基于Transformer的改進(jìn)模型BERT[6]其與GPT最大不同在于可以利用雙向輸入去進(jìn)行預(yù)測(cè)，這對(duì)于準(zhǔn)確度有了很大得提高，但是也杜絕了一部分在線實(shí)時(shí)得應(yīng)用場(chǎng)景。在2020年5月OpenAI提出了最新的GPT-3模型，其輸入已經(jīng)包括了人機(jī)問(wèn)答，數(shù)學(xué)推理，畫圖，制表，玩游戲，寫代碼等方方面面，可以說(shuō)是目前為止最為全能的AI，對(duì)于任何時(shí)序數(shù)據(jù)上得推理，其能力已經(jīng)較為接近于人類。但這一切是建立在其網(wǎng)絡(luò)包含了1750億參數(shù)才可以實(shí)現(xiàn)的，可以發(fā)現(xiàn)整個(gè)自然語(yǔ)言處理得演化進(jìn)程就是不斷增加網(wǎng)絡(luò)深度，使其可以更加智能得推理和判斷。各網(wǎng)絡(luò)演進(jìn)如表2所示。

表2 自然語(yǔ)言處理網(wǎng)絡(luò)結(jié)構(gòu)Tab.2 Natural language processing network architecture

如上文所示，自然語(yǔ)言處理方面的網(wǎng)絡(luò)結(jié)構(gòu)越來(lái)越深，其參數(shù)量也水漲船高。更高維度得參數(shù)量可以有效得識(shí)別更為龐大的輸入向量，使得其可以理解輸入之間更為深層次的聯(lián)系，進(jìn)而得到其推理的結(jié)果。從智能運(yùn)維的角度上來(lái)說(shuō)，自然語(yǔ)言處理網(wǎng)絡(luò)可應(yīng)用得場(chǎng)景十分廣泛。早期得PHM[7]系統(tǒng)中的專家診斷模塊就是簡(jiǎn)單的利用了專家知識(shí)建模得到的，隨著列車系統(tǒng)得逐漸復(fù)雜化，越來(lái)越多得故障沒(méi)有辦法簡(jiǎn)單建模得到，因?yàn)槠湫纬蓹C(jī)理中涉及到多個(gè)部件或零件間的運(yùn)轉(zhuǎn)關(guān)系，所反映出來(lái)得傳感器信號(hào)與其單一運(yùn)轉(zhuǎn)時(shí)不同，這使得傳統(tǒng)的故障模型建立往往難以對(duì)真實(shí)情況做出反應(yīng)，只能在實(shí)驗(yàn)室級(jí)別取得成果，無(wú)法真正轉(zhuǎn)化為實(shí)際應(yīng)用。而對(duì)于多個(gè)部件間復(fù)雜的耦合關(guān)系又無(wú)法準(zhǔn)確得通過(guò)理論解算，所以該問(wèn)題一直難以處理。隨著高維度超大網(wǎng)絡(luò)的時(shí)序處理神經(jīng)網(wǎng)絡(luò)得誕生，這一切問(wèn)題都可以得到一種新的解決方案，從GPT-3中可以發(fā)現(xiàn)對(duì)于超大網(wǎng)絡(luò)，其捕捉信息得能力已經(jīng)提高了幾個(gè)量級(jí)，脫離了人工標(biāo)注得范圍，可以無(wú)監(jiān)督學(xué)習(xí)。這將極大的降低在訓(xùn)練時(shí)人工標(biāo)注的時(shí)間開(kāi)銷。一個(gè)超大網(wǎng)絡(luò)可以有效的統(tǒng)合各類信息，并給出相應(yīng)的推理結(jié)果。另一方面對(duì)于一些關(guān)鍵零部件，可以部署多個(gè)小型Transformer型網(wǎng)絡(luò)，對(duì)其健康數(shù)據(jù)記錄，學(xué)習(xí)，對(duì)關(guān)鍵零部件全壽命周期進(jìn)行預(yù)測(cè)。

4 結(jié)論

本文梳理了人工智能三大領(lǐng)域：圖像識(shí)別，自然語(yǔ)言處理和強(qiáng)化學(xué)習(xí)最新的研究進(jìn)展，并且分析其演化方向，預(yù)測(cè)未來(lái)的發(fā)展方向。結(jié)合軌道交通領(lǐng)域?qū)嶋H應(yīng)用情況，對(duì)自動(dòng)駕駛，智能運(yùn)維等相關(guān)領(lǐng)域可以改進(jìn)的方向進(jìn)行分析，并提出了可以借鑒使用的領(lǐng)域方向等。