王菲 楊秋菊

(陜西師范大學, 陜西 西安 710119)

0 引言

極光是由太陽風中的高能帶電粒子在極區(qū)電離層沿著磁力線方向映射時激發(fā)的瞬態(tài)發(fā)光現象。由于極光形態(tài)與地磁活動的內在聯(lián)系, 極光圖像對反演地球磁層結構和預測空間天氣變換規(guī)律研究具有重要指導意義, 因此對極光進行準確分類成為日地物理學研究不可缺少的部分[1-2]。

1964年, Akasofu[3]已經開始對極光形態(tài)的探索。他揭示了極光運動形態(tài)與亞暴之間的聯(lián)系,這一發(fā)現隨后為極光亞暴的研究提供了理論依據。1986年, Meng等[4]根據地磁活動將正午極光分為平靜擴張的正午極光卵、小的離散塊狀、午后明亮的孤立弧狀、午后和傍晚擴張亮弧、午后活躍多重弧等5類。1999年, 胡紅橋等[1]分析了中山站1995和1997年的4類極光事件, 統(tǒng)計了冕狀、帶狀、極光浪涌、向日極光弧等各種極光形態(tài)的分布情況。2015年, Partamies等[5]采用芬蘭和瑞典全天空大型實驗站拍攝的極光數據, 用當地電集流指數描述亞暴發(fā)展的不同階段, 預測大約1/3的極光結構是弧狀極光, 由此推斷極光弧是極光最主要的結構形式。

極光的探索從未停止, 每年新增的極光觀測圖像數據高達幾百萬幅[2]。以黃河站越冬觀測為例, 從2003年12月起, 每年12月至次年2月期間全天空成像儀(All Sky Imager, ASI) CCD相機都會在世界時03:00—15:00 UTC(磁地方時06:00—18:00 MLT)對三波段極光進行高達1 200多小時的全天連續(xù)觀測。面對海量的極光觀測數據, 完全依靠研究人員肉眼觀察和手工標記的分類機制在準確性上很難得到保證, 復雜冗余的工作量加上人的主觀經驗也難以進行推廣和延伸。隨著計算機視覺識別領域的發(fā)展, 讓機器自動完成圖像識別、分類具有重要意義。計算機圖像處理和模式識別技術對極光結構的分析處理和自動分類方式正在成為取代人工肉眼識別的一種新手段。

2001年, Syrj?suo等[6]首次實現對大型數據庫中的極光事件進行自動定位和分類。2004年,他們將加拿大CANOPUS項目的全天空極光圖像進行分析總結, 提出用計算機視覺的方式對極光圖像自動分類, 根據極光形態(tài)分成弧型、斑塊型、歐米伽型和南北結構型4大類典型的類別[7]。2011年, 王倩[8]結合局部二元模式提出使用基于空間紋理的全天空極光圖像表征方法, 表征極光圖像的全局形狀和局部紋理, 并基于這一表征方法,將黃河站越冬觀測的日側極光圖像分為弧狀、帷幔冕狀、輻射冕狀和熱點狀4大類, 實現了極光圖像自動分類。2013年, 韓冰等[9]在潛在狄利克雷分配模型(Latent Dirichlet Allocation, LDA)的基礎上運用譜殘差方法對這4大類極光分類機制進行驗證, 通過一種融合顯著信息的LDA方法對極光圖像進行特征表示, 進一步提升了分類正確率。2012年, Syrj?suo和Partamies[10]比較了極光圖像的不同數值特征對檢測極光存在與否的效果,得出采用監(jiān)督學習和局部亮度不變特性時取得最好分類結果。2014年, Rao等[11]根據彩色極光圖像對抗尺度不變特征變換(Opponent Scale Invariant Feature Transform, Opponent SIFT)將拍攝到的全天空圖像分為有極光、無極光和云團狀,這種分類機制不僅減少運算數據量, 也促進連接磁微動和極光活動的統(tǒng)計模型建立, 能更好地預測極光活動。2016年, 楊秋菊等[12]借助韋伯局部描述符(Weber Local Descriptor, WLD)表征全天空極光圖像的紋理和亮度等形態(tài)特征, 驗證了Hu等[13]的分類結果。

以上極光自動分類的機制都是采用傳統(tǒng)模式識別方法, 通過精心設計特征描述子表征極光圖像形態(tài)信息, 然后選擇合適的分類器對極光圖像進行自動分類。近幾年隨著人工智能的發(fā)展, 深度學習幾乎已成為計算機視覺研究的標配, 在人臉識別、圖像分類等眾多領域取得了顯著成功。2012年, Krizhevsky等[14]訓練了一個深度卷積神經網絡, 摘得了大規(guī)模視覺識別挑戰(zhàn)賽(ImageNet Large Scale Visual Recognition Challenge, LSVRC)的桂冠, 成功將ImageNet數據集Top 5分類錯誤率降低到15.3%, 與第二名拉開10%的差距。2013年起, 百度、360先后成立深度學習研究院。2015年螞蟻金服展現Smile to Pay掃臉技術, 將人臉辨認應用于金融認證。2016年DeepMind團隊推出的人工智能程序阿爾法圍棋(AlphaGo)第一次亮相并橫掃歐洲, AlphaGo通過深度學習進行價值評估和策略評估, 完勝職業(yè)棋手[15]。2017年百度人工智能機器人“小度”在人臉識別任務中擊敗世界記憶大師。深度學習在學術研究和工業(yè)應用等方面都占據越來越重要的地位。卷積神經網絡之父LeCun等[16]將深度學習定義為一種把原始數據通過非線性映射轉變成為更高層次、更抽象表達的特征學習方式。本方法的優(yōu)勢在于卷積神經網絡具有良好的容錯性和并行處理能力; 它不需要過多的前端處理, 在性能上好于人工設計的預處理過程。相對于傳統(tǒng)方法中手工特征提取的機制, 卷積網絡對特征具有自學習能力。網絡中用計算機模擬人的思維, 從訓練數據自動學習特征, 用特征提取和分類的聯(lián)合反饋實現對圖像的識別。因此, 本文針對極光形態(tài)結構研究提出一種基于卷積神經網絡的極光圖像分類機制, 將原始極光圖像的像素矩陣直接輸入網絡, 利用卷積神經網絡自動獲取極光圖像的底層邊緣特征和高層語義特征, 網絡輸出圖像的類別, 從而實現“端到端”的全自動極光圖像分類[17]。

1 基于卷積神經網絡的ASI極光圖像表征方法

卷積神經網絡(Convolutional Neural Network,CNN)是深度學習中一個重要的分支, 在圖像分類和模式識別領域中具有廣闊的應用前景。在生物神經網絡中, 神經元與其他神經元相連, 當它“興奮”時, 就會向相連的神經元發(fā)送化學物質,從而改變這些神經元內的電位; 當某個神經元電位超過“閾值”, 就會被激活, 即“興奮”起來, 向其他神經元發(fā)送化學物質。1943年, McCulloch和Pitt模擬生物提出人工神經網絡(Neural Network, NN)[18]。圖1a為神經網絡中最基本的感知單元神經元模型, 在模型中神經元接到來自n個其他神經元傳遞的信號, 這些輸入信號通過帶權重的連接進行傳遞, 神經元接收到的總輸入值將與神經元的閾值進行比較, 然后通過激活函數處理以產生神經元的輸出[19]。卷積神經網絡是改進的人工神經網絡。1980年, 日本學者Fukushima[20]首次提出理論模型Neocognitron是卷積神經網絡的早期研究。卷積神經網絡最重要的兩個優(yōu)勢是局部感知和權值共享[21]。圖1b為卷積神經網絡局部感知模擬圖。局部感知相當于眼睛聚焦在某一點, 即感受野僅與前一層部分神經元相連, 將感受野的局部感知組合, 得到整張圖的特征信息; 同一特征映射面上的神經元共用一個卷積權值模板進行卷積運算, 減少權值參數的同時降低了網絡的復雜性。通過卷積運算由淺入深的提取圖像不同層次的特征, 使網絡自主學習, 調節(jié)卷積核的參數, 獲取合適的分類特征。此次實驗將Alexnet模型[14]應用到極光圖像的分類上,用遷移學習[22]訓練出適合極光數據的權值。該網絡一共分為8層, 包括5個卷積層和3個全連接層, 在每層后包含激勵函數(Rectified Linear Units, RELU), 部分卷積層中有局部響應歸一化(Local Response Normalization, LRN)和最大采樣(Max- pooling)處理。

圖1 神經元模型和局部感知模型Fig.1. Neuron model and local perception model

1.1 卷積層

卷積層是特征提取過程, 應用卷積核對原始圖像進行卷積運算就是對圖像的局部區(qū)域進行一次前饋計算。不同的卷積核提取不同的特征, 卷積核的數目越多, 提取的特征就越抽象。將輸入圖片與卷積核運算的結果加上一個偏置輸入給激勵函數RELU, 最后得到卷積層的輸出結果特征圖(Feature Map)。第l層的第j個特征圖可表示為

1.2 池化層

池化層將對卷積層得到的Feature Map進行小鄰域內采樣得到更抽象的特征, 相當于合并相似特征[16]。在網絡中經過池化(pooling)運算, 特征圖的數目不變, 尺寸會變小。實驗中卷積網絡采用Max-pooling方式, 通過計算圖像采樣區(qū)域的最大值對特征進行約減, 不僅降低數據維度,還能在很大程度上避免過擬合。根據文獻[23], 選用Max-pooling能保留圖像的紋理信息從而減小卷積層參數誤差造成估計均值的偏移。池化過程的示意圖如圖2所示。Max-pooling選出每個采樣區(qū)域的最大值作為輸出。

圖2 池化操作示意圖Fig.2. Pooling operation process

1.3 全連接層

全連接層相當于多層感知機的隱含層。神經元節(jié)點與前一層的每個神經元連接, 本層神經元節(jié)點間不連接。通過連接線上的權值進行前向傳播, 加權組合得到下一層神經元節(jié)點的輸入[24]。

1.4 Softmax分類器

卷積網絡對圖像形態(tài)進行表征, 圖像分類的另一個關鍵是輸出層設計。在這一層將卷積網絡提取的特征輸入分類器, 分類器輸出樣本標簽的統(tǒng)計概率。實驗中采用了非線性分類能力強的Softmax分類器, 此分類器針對有且只有一個分類標簽的樣本。假設輸入特征記為x(i), 樣本標簽記為y(i), 那么假設函數Hθ(x)和邏輯回歸代價函數形式分別如下[25]:

式中,θ1,θ2,…,θk是模型的可學習參數,為歸一化項。

Softmax邏輯回歸代價函數的數學表達式為

其中,是一個指示性函數, 即當大括號中的值為真時, 該函數的結果就為1, 否則其結果為0。

1.5 訓練算法

為了在訓練中學習到樣本的普遍性特征而不只依賴某些特定的訓練集, Srivastava等[26]提出Dropout策略: 隨機讓網絡的某些節(jié)點以一定概率p輸出置零。由于隨機讓隱層的神經元不工作, 所以工作的神經元必須提取最本質的特征。這樣能提高網絡的泛化能力, 在一定程度上避免過擬合。

網絡參數更新采用隨機梯度下降法(Stochastic Gradient Descent, SGD), 用動量(Momentum)保留之前的更新方向, 同時利用當前批次(Batch)的梯度微調最終的更新方向。訓練集樣本分為n個Batch, 遍歷完一個Batch, 更新一次網絡參數。參數更新公式如下:

全省共投入各類治理資金約112億元，完成工程2000余項，大量退化山體和礦山地質環(huán)境問題得到有效治理。圖為威海華夏城廢棄礦山退化山體整治前后對比。

其中,ωi是當前參數,ωi+1是更新后的參數,ε是動量,η是學習速率,是第i個Batch中誤差對偏導的平均值。

2 ASI極光圖像自動分類

2.1 數據預處理

數據采用我國2003—2009年黃河站三波段極光全天空CCD成像觀測系統(tǒng)557.7 nm波段的越冬極光觀測數據。對原始圖像進行了減暗電流、旋轉(逆時針旋轉61.1°圖像磁正北方向朝上)、灰度拉伸、剪裁等操作[8]。分類機制選用Hu等[13]提出的弧狀、帷幔冕狀、輻射冕狀和熱點狀極光圖像。對2003年38 044幅確定類型的極光圖像進行人工標記, 作為數據集2(dataset2); 對dataset2按時間順序每隔50 s采樣抽出8 001幅典型極光數據作為數據集1(dataset1); 2004—2009年311 575幅未知類型越冬觀測數據作為數據集3(dataset3)。數據集中各類極光數量見表1。

表1 實驗數據集類別詳情Table 1. Category details of experimental dataset

2.2 網絡模型

卷積神經網絡模型如圖3所示。輸入網絡的極光圖像像素大小為256×256, 經網絡裁剪(resize)大小為227×227, 每個卷積層中包含激勵函數RELU, 池化層核大小為3×3。卷積層C1層經過96個大小為11×11的濾波器卷積運算后再經過一個激勵函數加上C1層的偏置系數, 對結果進行歸一化處理得到特征圖大小為55×55。接著進入池化層S1下采樣得到96個大小為27×27的特征圖, 這是第一次特征提取階段。第二次特征提取階段與第一次類似, 經過5×5大小的卷積核和池化層S2得到256個大小為13×13的特征圖。卷積層C3和C4通過384個大小為3×3的卷積核進行濾波, 中間沒有池化層與歸一化層。卷積層C5將大小為3×3濾波器提取特征送入池化層S5降維得到大小為6×6的256個特征圖。全連接層將卷積提取的特征展開成4 096個一維特征向量,最后一個全連接層F8的輸出被送到一個4類的Softmax分類器中。實際輸出值與預期輸出值之間的誤差值不斷反向傳播更新網絡權值, 直到網絡收斂得到最小損失停止訓練, 分類器輸出分類正確率。分類正確率(accuracy)評價準則為

其中,tp表示測試樣本中每一類識別結果與樣本標簽一致的目標數,n表示該類的測試樣本總數。

圖3 卷積神經網絡模型. C: 卷積層; S: 池化層; F: 全連接層Fig.3. Convolutional Neural Network Model. C: convolutional layer; S: pooling layer; F: fully connected layer

2.3 參數設置

實驗在Linux系統(tǒng)下的終端運行, 計算機CPU為3.4 GHz的Intel i7-6700, 內存為16 GB,極光圖像卷積神經網絡的訓練, 一個Batch大小為10, 動量為0.9, 初始學習速率為0.000 01, 每迭代40 000次學習速率下降到原來的1/10。

2.4 實驗結果

由表2和圖4可以看出, 在dataset1數據集(圖4a)中當訓練集-測試集比例為1︰9時, 分類正確率最低, loss值先降低后升高。這是由于樣本數量過低, 特征維度少出現了欠擬合現象。故調整訓練集-測試集比例增加特征維度, 隨著訓練樣本數量增加, 測試集的分類正確率逐步提高,損失值降低。樣本為8︰2時, 樣本分類正確率最高且收斂速度明顯低于其他樣本比例, 因其有大量數據, 需要更長的時間學習樣本特征。

對比實驗dataset2(圖4b)中各比例樣本收斂速度保持一致, 隨訓練集數目增加, 正確率平穩(wěn)上升,loss值逐漸降低。對比在兩個數據集上的實驗結果,dataset2在整個測試過程中相對平穩(wěn), 因其樣本數量較大具有完善的極光形態(tài)信息。所以dataset2呈現更高的極光分類正確率, 能較好的表征極光形態(tài)。

表2 數據集1和數據集2分類正確率Table 2. The accuracy rate of aurora dataset1 and dataset2

圖4 極光測試損失曲線.a)數據集1, b)數據集2Fig.4. The test loss curve of aurora. a)dataset1, b)dataset2

結合圖5所示4種極光類型的分類正確率, 弧狀的正確率最高, 輻射冕狀和熱點狀的極光圖像正確率較低。從極光形態(tài)特征上看弧狀極光是東西向的條帶狀, 結構簡單易于區(qū)分。相對而言, 熱點極光呈現放射束狀、點狀和不規(guī)則塊狀的亮斑等多種形態(tài),其形態(tài)比較復雜, 多種混合態(tài)難以區(qū)分辨別, 易導致網絡出現分類偏差。從樣本數量(表1)分析可能的原因是各類極光圖像樣本不均衡, 弧狀極光樣本數量遠大于其他3類, 帷幔冕狀數量次之, 熱點狀極光訓練樣本數量最少, 而當訓練樣本不夠時, 深度網絡未充分學習到圖像特征從而降低了分類正確率。

圖6的a—e圖為卷積層(Convolutional Layer,conv) conv1—conv5響應特征圖, 從圖中可以看出每個卷積層提取的特征各不相同。圖6a中能看到清晰的極光輪廓, 這一層特征是以全局為主,每張小圖代表一個卷積核, conv1層響應由96個卷積特征圖構成。當網絡層數加深, 極光輪廓模糊特征細化, 篩選出更抽象的局部特征。這種從低層全局特征到高層局部抽象特征的提取方式對樣本具有很好的分辨能力。

圖5 4種形態(tài)極光分類正確率曲線. a)數據集1, b)數據集2Fig.5. The test accuracy rate curve of four types of aurora. a)dataset1, b)dataset2

圖6 卷積層響應特征圖Fig.6. The convolutional layer response feature map

3 2004—2009年黃河站越冬觀測ASI極光圖像類型分布規(guī)律

上述分類實驗所用數據集dataset1來自同一年的越冬數據, 為了探究每一種類型極光發(fā)生的分布規(guī)律, 排除同一年份上極光觀測圖像的過擬合因素。采用半監(jiān)督的方式, 分別使用2003年越冬觀測19 d中確定類型的38 044幅極光數據(dataset2)和從中抽取的8 001幅典型極光數據(dataset1)訓練好的權重參數模型對2004—2009年中5年的越冬觀測數據(dataset3)進行預測。按時間區(qū)域劃分, 統(tǒng)計各個時段10 min內發(fā)生的極光類型及其占該時段發(fā)生極光總數的比例。以下分別是兩個數據集預測出的極光發(fā)生時間和類型的分布規(guī)律圖。

Hu等[27]在557.7 nm波段極光觀測中表明日側極光主要分布在5個活動區(qū), 即黎明區(qū)(Da,06:00—07:30 MLT)、午前(W, 07:30—10:00 MLT)、正午間隙區(qū)(M, 10:00—13:00 MLT)、午后(H, 13:00—15:30 MLT)、黃昏側(Du, 15:30—17:00 MLT)。在圖7中, 第一行為4個類型所有圖像在極光卵不同區(qū)域的的分布圖, 日側極光分布呈現雙峰結構,即上午09:00 MLT和下午15:00 MLT高峰[28]。后4行為各類極光分布規(guī)律: (1)從圖中可以看到M區(qū)極光圖像的數量最少, 符合衛(wèi)星觀測所謂正午空白區(qū), 由于該區(qū)內極光強度較弱, 圖像主要分布在午前和午后; (2)弧狀極光的發(fā)生率最高, 主要分布在午后, 正午發(fā)生率最低, 是午前午后不對稱雙峰分界點; (3)輻射冕狀極光的峰值集中在正午附近, 分布在M區(qū)的帷幔冕狀極光發(fā)生率較高;(4)熱點極光的整體發(fā)生率較低, 主要集中在午后;午前極光形態(tài)由較寬的弧狀極光向冕狀極光演變;午后極光形態(tài)表現為冕狀極光向較窄的極光弧的演變; 黃昏側各類極光的分布比較平穩(wěn)。以上分布規(guī)律與胡澤駿等[2]在黃河站極光觀測規(guī)律吻合。

圖7 極光類型分布規(guī)律(基于2003—2009年的數據集1和數據集2)Fig.7. The auroral type distribution based on dataset1 and dataset2 from 2003 to 2009

對比本文基于數據集dataset1和dataset2所預測的極光類型分布規(guī)律, 兩個數據集對未知圖像的預測的結果基本一致, 在各個類型的極光分布上有些許差別, 主要的偏差來源于午后對弧狀和冕狀的劃分上。這是由于這一階段處于弧狀和冕狀的過渡階段, 形態(tài)劃分的界限比較模糊, 數據集dataset2更大, 在訓練階段進行了更充分的學習,相對dataset1在極光的連續(xù)性上更好, 能充分提取極光變化的動態(tài)特征?？傮w來講, 兩個數據集對極光分布規(guī)律的預測與文獻[12]的結論一致。

4 結論與展望

基于深度學習算法本文提出了一種用卷積神經網絡模型自動提取極光形態(tài)特征、用Softmax分類器對極光圖像進行自動分類的極光圖像分類方法, 實驗中將分類器輸出的分類結果與人工標記分類標記進行了驗證。由于極光形態(tài)復雜, 特征動態(tài)多變, 針對極光識別這一問題,目前尚未有明確的極光分類機制。本文所用卷積神經網絡采用的是有監(jiān)督分類機制、監(jiān)督學習樣本中包含標簽和特征等先驗知識、能預先確定分類的類別。相對于無監(jiān)督學習, 有監(jiān)督分類機制樣本可控, 通過反復訓練樣本, 提高分類精度[29]。本文樣本標簽來源于文獻[13]的分類機制。將實驗中得到的分類結果與樣本標簽對比, 正確率與現有結論十分接近, 驗證了此次實驗特征提取方法的有效性。

不足之處在于本文的分類機制對于形態(tài)復雜的熱點極光的分類性能較差, 由于深度學習算法需要大量的訓練數據, 少量數據無法將網絡參數訓練充分。如何對少量的數據進行數據增強來擴充訓練樣本以及采用多尺度特征融合來提高極光的分類正確率是下一步需要研究的問題。

1 胡紅橋, 劉瑞源, 王敬芳, 等. 南極中山站極光形態(tài)的統(tǒng)計特征[J]. 極地研究, 1999, 11(1): 11—21.

2 胡澤駿, 楊惠根, 艾勇, 等. 日側極光卵的可見光多波段觀測特征——中國北極黃河站首次極光觀測初步分析[J]. 極地研究,2005, 17(2): 107—114.

3 AKASOFU S I. The development of the auroral substorm[J]. Planetary and Space Science, 1964, 12(4): 273—282.

4 MENG C I, LUNDIN R. Auroral morphology of the midday oval[J]. Journal of Geophysical Research: Space Physics, 1986, 91(A2):1572—1584.

5 PARTAMIES N, JUUSOLA L, WHITER D, et al. Substorm evolution of auroral structures[J]. Journal of Geophysical Research: Space Physics, 2015, 120(7): 5958—5972.

6 SYRJ?SUO M T, KAURISTIE K, PULKKINEN T I. A search engine for auroral forms[J]. Advances in Space Research, 2001, 28(11):1611—1616.

7 SYRJ?SUO M T, DONOVAN E F. Diurnal auroral occurrence statistics obtained via machine vision[J]. Annales Geophysicae, 2004,22(4): 1103—1113.

8 王倩. 日側全天空極光圖像分類及動態(tài)過程分析方法研究[D]. 西安: 西安電子科技大學, 2011: 1—43.

9 韓冰, 楊辰, 高新波. 融合顯著信息的LDA極光圖像分類[J]. 軟件學報, 2013, 24(11): 2758—2766.

10 SYRJ?SUO M, PARTAMIES N. Numeric image features for detection of aurora[J]. IEEE Geoscience and Remote Sensing Letters,2012, 9(2): 176—179.

11 RAO J, PARTAMIES N, AMARIUTEI O, et al. Automatic auroral detection in color all-sky camera images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(12): 4717—4725.

12 楊秋菊, 胡澤駿. 一種基于形態(tài)特征的極光自動分類方法[J]. 中國科學: 地球科學, 2017, 47(2): 252—260.

13 HU Z J, YANG H, HUANG D, et al. Synoptic distribution of dayside aurora: Multiple-wavelength all-sky observation at Yellow River Station in Ny-?lesund, Svalbard[J]. Journal of Atmospheric and Solar-Terrestrial Physics, 2009, 71(8-9): 794—804.

14 KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 26th Annual Conference on Neural Information Processing Systems 2012. Lake Tahoe, Nevada, USA: Neural Information Processing Systems 2012: 1097—1105.

15 SILVER D, HUANG A, MADDISON C J, et al. Mastering the game of Go with deep neural networks and tree search[J]. Nature, 2016,529(7587): 484—489.

16 LECUN Y, BENGIO Y, HINTON G. Deep learning[J]. Nature, 2015, 521(7553): 436—444.

17 ZEILER M D, FERGUS R. Visualizing and understanding convolutional networks[C]//Proceedings of the 13th European Conference on Computer Vision. Cham: Springer, 2014: 818—833.

18 ABRAHAM T H. (Physio)logical circuits: the intellectual origins of the McCulloch-Pitts neural networks[J]. Journal of the History of the Behavioral Sciences, 2002, 38(1): 3—25.

19 周志華. 機器學習[M]. 北京: 清華大學出版社, 2016: 99—98.

20 FUKUSHIMA K. Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position[J]. Biological Cybernetics, 1980, 36(4): 193—202.

21 LECUN Y, KAVUKCUOGLU K, FARABET C. Convolutional networks and applications in vision[C]//Proceedings of IEEE International Symposium on Circuits and Systems. Paris, France: IEEE, 2010: 253—256.

22 AYTAR Y, ZISSERMAN A. Tabula rasa: Model transfer for object category detection[C]//Proceedings of International Conference on Computer Vision. Barcelona, Spain: IEEE, 2011: 2252—2259.

23 BOUREAU Y L, BACH F, LECUN Y, et al. Learning mid-level features for recognition[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco, CA, USA: IEEE, 2010: 2559—2566.

24 王華利, 鄒俊忠, 張見, 等. 基于深度卷積神經網絡的快速圖像分類算法[J]. 計算機工程與應用, 2017, 53(13): 181—188.

25 付秀麗, 黎玲萍, 毛克彪, 等. 基于卷積神經網絡模型的遙感圖像分類[J]. 高技術通訊, 2017, 27(3): 203—212.

26 SRIVASTAVA N, HINTON G, KRIZHEVSKY A, et al. Dropout: a simple way to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research, 2014, 15: 1929—1958.

27 HU Z J, YANG H G, HAN D S, et al. Dayside auroral emissions controlled by IMF: A survey for dayside auroral excitation at 557.7 and 630.0 nm in Ny-?lesund, Svalbard[J]. Journal of Geophysical Research: Space Physics, 2012, 117(A2): A02201.

28 HU Z J, EBIHARA Y, YANG H G, et al. Hemispheric asymmetry of the structure of dayside auroral oval[J]. Geophysical Research Letters, 2014, 41(24): 8696—8703.

29 GOODFELLOW I, BENGIO Y, COURVILLE A. 深度學習[M]. 趙申劍, 黎彧君, 符天凡, 等譯. 北京: 人民郵電出版社, 2017: 88—91.