穆斌　馬少陽　袁時(shí)金　林冰軒　楊丹

摘要：作者針對(duì)深度學(xué)習(xí)和氣象領(lǐng)域兩個(gè)學(xué)科的特點(diǎn)，結(jié)合當(dāng)下前沿的深度學(xué)習(xí)方法和氣候領(lǐng)域熱點(diǎn)問題，基于ENSO案例，點(diǎn)面結(jié)合，組織并講授兩個(gè)學(xué)科間的知識(shí)體系和具體應(yīng)用實(shí)例。本文從課堂授課內(nèi)容、實(shí)踐環(huán)節(jié)、論文閱讀三個(gè)方面對(duì)這門課程的建設(shè)方案進(jìn)行了全面闡述。

關(guān)鍵詞：深度學(xué)習(xí);氣象領(lǐng)域;ENSO;時(shí)空序列預(yù)測(cè)

中圖分類號(hào)：G434 ?文獻(xiàn)標(biāo)識(shí)碼：A ?論文編號(hào)：1674-2117（2019）20-0093-05

背景

深度學(xué)習(xí)（Deep Learning，DL）是機(jī)器學(xué)習(xí)的分支，是一種以人工神經(jīng)網(wǎng)絡(luò)為架構(gòu)，對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的算法[1]，其優(yōu)勢(shì)是能夠通過學(xué)習(xí)算法自動(dòng)獲得數(shù)據(jù)特征，同時(shí)，由于模型的層次、參數(shù)很多，容量足夠，所以可以用于表示大規(guī)模數(shù)據(jù)。氣象領(lǐng)域由于包含大量相關(guān)物理量數(shù)據(jù)（如海表面溫度、風(fēng)速等），是廣泛應(yīng)用深度學(xué)習(xí)方法的一個(gè)候選場(chǎng)景。近年來，陸續(xù)有相關(guān)學(xué)者將深度學(xué)習(xí)方法應(yīng)用于各類氣象領(lǐng)域問題的研究（如臺(tái)風(fēng)[2]、厄爾尼諾事件[3]等），取得了一系列有意義的成果，為傳統(tǒng)的氣象研究開辟了新思路。

在此學(xué)科交叉背景下，開展基于深度學(xué)習(xí)的氣象領(lǐng)域應(yīng)用類課程，具有相當(dāng)?shù)膶?shí)用性和前瞻性，據(jù)了解，當(dāng)前國(guó)內(nèi)并沒有高校開設(shè)同類課程，此類結(jié)合尚屬首創(chuàng)。以下筆者將從課堂授課內(nèi)容、實(shí)踐環(huán)節(jié)、論文閱讀三個(gè)方面總結(jié)針對(duì)此課程的建設(shè)方案和經(jīng)驗(yàn)。

課堂授課內(nèi)容

深度學(xué)習(xí)是一門實(shí)踐性和理論性都很強(qiáng)的課程，學(xué)習(xí)本門課程需要綜合運(yùn)用多門課程的知識(shí)，如微積分、線性代數(shù)、概率論、高等幾何、機(jī)器學(xué)習(xí)等，這對(duì)教師和學(xué)生都有很高的要求。尤其是近年來人工智能的發(fā)展，又為這一學(xué)科不斷添加許多新的內(nèi)容和方法，使其在各類科學(xué)問題的研究上發(fā)揮越來越重要的作用。具體到本課程針對(duì)的氣象學(xué)而言，其是將大氣當(dāng)作研究客體，從定性和定量?jī)煞矫嬲f明大氣特征的學(xué)科，經(jīng)過幾百年的發(fā)展，已成為一門涵蓋諸多氣象主題、知識(shí)體系復(fù)雜的學(xué)科。如何有效結(jié)合上述兩者，完成一次軟件工程學(xué)科與氣象學(xué)科的交叉學(xué)科的最佳實(shí)踐，這是本課程面臨的嚴(yán)峻挑戰(zhàn)，其主要原因在于，深度學(xué)習(xí)和氣象科學(xué)都是非常龐大且復(fù)雜的知識(shí)體系，兩者結(jié)合后知識(shí)的深度和廣度均遠(yuǎn)遠(yuǎn)超出了一門普通課程可以講授的范圍，如果希望涵蓋所有知識(shí)點(diǎn)，將所有內(nèi)容都走馬觀花地講授一遍，必然導(dǎo)致課程內(nèi)容深度上的欠缺，也不利于學(xué)生思維和能力的培養(yǎng)。因此，本課程擬主要選取氣象領(lǐng)域中最具代表性的厄爾尼諾-南方濤動(dòng)（El Nio-Southern Oscillation，ENSO）事件作為案例，應(yīng)用深度學(xué)習(xí)中的時(shí)空序列預(yù)測(cè)方法，對(duì)ENSO進(jìn)行預(yù)測(cè)和分析，同時(shí)基于該案例，逐步展開至兩門學(xué)科中的代表性內(nèi)容，使得學(xué)生能在較短的時(shí)間內(nèi)全面了解該領(lǐng)域的前沿知識(shí)，學(xué)會(huì)舉一反三，為他們?cè)诖朔较虻睦^續(xù)深入打下良好的基礎(chǔ)。同時(shí)，所選授課內(nèi)容都是學(xué)術(shù)界新近發(fā)表的研究成果，也比較契合產(chǎn)業(yè)界當(dāng)前的最新需求，所學(xué)內(nèi)容對(duì)學(xué)生自身的求職競(jìng)爭(zhēng)力也有相當(dāng)?shù)奶岣摺?/p>

1.ENSO現(xiàn)象

ENSO現(xiàn)象是短期氣候年際變化中的最強(qiáng)信號(hào)，其發(fā)生會(huì)造成全球性的氣候異常，同時(shí)對(duì)我國(guó)天氣和氣候也會(huì)產(chǎn)生重大影響。鑒于ENSO的重要性，其可預(yù)報(bào)性研究一直是學(xué)術(shù)界的熱點(diǎn)問題。當(dāng)前，ENSO的預(yù)測(cè)研究主要基于氣候模式，其可以理解為描述大氣或海洋的數(shù)學(xué)模型。目前IRI/CPC提供了19個(gè)動(dòng)力學(xué)模式與8個(gè)統(tǒng)計(jì)學(xué)模式的ENSO實(shí)時(shí)預(yù)測(cè)結(jié)果，與回報(bào)試驗(yàn)結(jié)果相比，ENSO實(shí)時(shí)預(yù)測(cè)的不確定性較大。根據(jù)IRI/CPC歷史實(shí)時(shí)預(yù)測(cè)結(jié)果，2014年1月起報(bào)的實(shí)時(shí)預(yù)測(cè)結(jié)果如圖1左所示，大部分模式將該年預(yù)測(cè)為厄爾尼諾年，但實(shí)際上該年為正常年份;2015年1月起報(bào)的實(shí)時(shí)預(yù)測(cè)結(jié)果如圖1右所示，各個(gè)模式的預(yù)報(bào)結(jié)果散度較大，且大多數(shù)模式的預(yù)測(cè)結(jié)果與實(shí)際厄爾尼諾事件強(qiáng)度差異較大。可見，數(shù)值模式的實(shí)時(shí)預(yù)測(cè)結(jié)果和實(shí)際仍有較大差距，需要引入新的研究方法。

本專題的主要知識(shí)點(diǎn)包括氣象學(xué)概述、氣候模式及其原理、氣候模式應(yīng)用、熱帶太平洋—大氣耦合系統(tǒng)的年代際變化、ENSO現(xiàn)象與研究現(xiàn)狀、ENSO形成機(jī)制等。

2.數(shù)據(jù)集構(gòu)建與預(yù)處理

數(shù)據(jù)集的構(gòu)建和預(yù)處理是應(yīng)用深度學(xué)習(xí)非常關(guān)鍵的一步，沒有豐富的數(shù)據(jù)源，設(shè)計(jì)再精良的模型也很難獲得好的訓(xùn)練結(jié)果。經(jīng)過前期的充分調(diào)研發(fā)現(xiàn)，NOAA等網(wǎng)站已經(jīng)公開了從1870年至今的月度各Nio數(shù)據(jù)（下頁圖2展示了NOAA上ENSO相關(guān)數(shù)據(jù)的可視化實(shí)例），以及不同分辨率（包括0.25°×0.25°、1°×1°等）的SST全球格點(diǎn)數(shù)據(jù)集，這些公開的原始數(shù)據(jù)很大程度上解決了數(shù)據(jù)源的問題，也有利于教學(xué)活動(dòng)的展開。

但是，由于ENSO事件預(yù)測(cè)本身是一個(gè)非典型的序列生成問題，上述原始數(shù)據(jù)并不能直接作為模型輸入用于訓(xùn)練。為此，需要結(jié)合ENSO事件的數(shù)據(jù)特性（時(shí)空特性、周期性等），以及模型的輸入要求等因素來進(jìn)一步構(gòu)建合理的輸入數(shù)據(jù)集，以充分挖掘ENSO相關(guān)數(shù)據(jù)本身的時(shí)空相關(guān)性特征，來對(duì)ENSO預(yù)測(cè)問題自身做更深層次的分析。更具體地，ENSO預(yù)測(cè)可以劃分為Nino指數(shù)預(yù)測(cè)和海表面溫度（Sea Surface Temperature，SST）格點(diǎn)模態(tài)預(yù)測(cè)兩個(gè)問題，其中Nio指數(shù)預(yù)測(cè)是一個(gè)時(shí)序預(yù)測(cè)問題，SST格點(diǎn)模態(tài)預(yù)測(cè)是一個(gè)時(shí)空序列預(yù)測(cè)問題。較之傳統(tǒng)的時(shí)空序列預(yù)測(cè)問題，ENSO事件因自身存在諸多相關(guān)物理量（如鹽度、海洋次表層溫度等），如何分析并量化各種物理變量數(shù)據(jù)組合對(duì)ENSO預(yù)測(cè)不確定性的影響，以確定合適的多物理變量組合，達(dá)到更準(zhǔn)確預(yù)測(cè)ENSO事件的目的。該探索過程屬于深度學(xué)習(xí)實(shí)踐中的一部分，通過該部分內(nèi)容的學(xué)習(xí)，學(xué)生可以掌握數(shù)據(jù)預(yù)處理的基本方法，這些方法對(duì)于其他數(shù)據(jù)相關(guān)問題也是適用的。

在本專題中，教師會(huì)基于ENSO事件的特性，逐步介紹數(shù)據(jù)挖掘和預(yù)處理的基本知識(shí)。主要涉及的知識(shí)點(diǎn)有時(shí)序數(shù)據(jù)準(zhǔn)備、特征工程方法、數(shù)據(jù)歸一化（normalization）、數(shù)據(jù)平穩(wěn)化（stationary）、數(shù)據(jù)可視化等。

3.基于深度學(xué)習(xí)的時(shí)空序列預(yù)測(cè)方法

將深度學(xué)習(xí)成功應(yīng)用于氣象領(lǐng)域的關(guān)鍵在于構(gòu)建合適的預(yù)測(cè)模型，而其背后的邏輯在于充分挖掘已構(gòu)建數(shù)據(jù)集中的時(shí)空特性，學(xué)習(xí)到數(shù)據(jù)間的內(nèi)在表示，從而得到理想的預(yù)測(cè)效果。具體而言，深度神經(jīng)網(wǎng)絡(luò)是一種典型的非線性系統(tǒng)，而ENSO是一個(gè)具有非線性特征的氣候現(xiàn)象，理論上來說，只要數(shù)據(jù)集足夠充分，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)合理，深度神經(jīng)網(wǎng)絡(luò)能通過挖掘數(shù)據(jù)間潛在關(guān)系，學(xué)習(xí)到ENSO目前還未被揭示的動(dòng)力學(xué)機(jī)制，進(jìn)而對(duì)ENSO進(jìn)行準(zhǔn)確預(yù)測(cè)。Shi等[4]系統(tǒng)總結(jié)了機(jī)器學(xué)習(xí)方法在時(shí)空序列預(yù)測(cè)問題中的應(yīng)用，具體到深度學(xué)習(xí)領(lǐng)域而言，時(shí)空序列預(yù)測(cè)中的相關(guān)問題，如視頻生成、短臨降雨、交通速度預(yù)測(cè)等方面，都可以運(yùn)用深度學(xué)習(xí)的方法取得優(yōu)異的效果，并因此衍生出一系列針對(duì)特別問題的相關(guān)網(wǎng)絡(luò)結(jié)構(gòu)，如卷積長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（Convolutional Long Short-Term Memory，ConvLSTM）[5]等，都是深度學(xué)習(xí)于時(shí)空序列預(yù)測(cè)具體問題的成功應(yīng)用。就ENSO事件而言，已有一些學(xué)者將深度學(xué)習(xí)方法應(yīng)用于ENSO相關(guān)指數(shù)數(shù)據(jù)的時(shí)序預(yù)測(cè)（如Nio3.4指數(shù)[6]等），這些工作都為該專題的展開提供了良好的參考價(jià)值，本部分的講授也主要基于這些最前沿的工作展開。

本專題的主要知識(shí)點(diǎn)包括深度學(xué)習(xí)及其訓(xùn)練過程、隨機(jī)梯度下降法（stochastic gradient descent）、損失函數(shù)（loss function）、深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）、長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）、卷積長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（Convolutional Long Short-Term Memory，ConvLSTM）等。

4.模型評(píng)價(jià)標(biāo)準(zhǔn)及與主流氣候模式的對(duì)比

對(duì)于氣象領(lǐng)域而言，預(yù)測(cè)結(jié)果僅僅從單一的數(shù)值上的接近（如最小化均方根誤差）并不一定能表示很好的效果。實(shí)驗(yàn)結(jié)果分析應(yīng)該是多方面的，需要結(jié)合Nio指數(shù)的實(shí)際發(fā)展和SST的實(shí)際模態(tài)來進(jìn)行進(jìn)一步判斷。而從機(jī)器學(xué)習(xí)的角度而言，由于訓(xùn)練的目標(biāo)函數(shù)就是最小化損失值，所以現(xiàn)行的評(píng)判標(biāo)準(zhǔn)也多為均方根誤差的最小化。針對(duì)ENSO預(yù)測(cè)的評(píng)判基準(zhǔn)（benchmark）的選定，也是在教學(xué)過程中需要傳遞和啟發(fā)學(xué)生的關(guān)鍵內(nèi)容，不能僅通過單一的評(píng)價(jià)指標(biāo)來判斷結(jié)果的好壞。在實(shí)現(xiàn)模型并得到預(yù)測(cè)結(jié)果后，需要進(jìn)一步引導(dǎo)學(xué)生將結(jié)果與當(dāng)前主流的氣候模式結(jié)果進(jìn)行比較和分析，傳授比較研究的基本方法，幫助學(xué)生進(jìn)一步完成更全面的實(shí)驗(yàn)報(bào)告。

本專題的主要知識(shí)點(diǎn)包括MSE（mean squared error）指標(biāo)的問題、SSIM（structural similarity）算法、召回率（recall）和精度（precise）、ROC曲線等。

實(shí)踐環(huán)節(jié)

通過課堂內(nèi)容的學(xué)習(xí)，學(xué)生可以了解到深度學(xué)習(xí)方法在典型氣象事件中的應(yīng)用過程和前沿技術(shù)，但深度學(xué)習(xí)本身是一門應(yīng)用性極強(qiáng)的課程，因此課程中的實(shí)踐環(huán)節(jié)尤為重要。在實(shí)踐環(huán)節(jié)中，主要基于上述課堂講授內(nèi)容的四部分——問題、數(shù)據(jù)、模型、評(píng)價(jià)，來設(shè)計(jì)實(shí)踐內(nèi)容，該過程就是一次對(duì)深度學(xué)習(xí)方法應(yīng)用于氣象領(lǐng)域的完整實(shí)踐。

由于氣象領(lǐng)域的特殊性，深入了解其中的某個(gè)問題往往需要很強(qiáng)的專業(yè)背景，考慮到學(xué)生的知識(shí)背景多為軟件工程，缺乏氣象領(lǐng)域的相關(guān)知識(shí)。如果由學(xué)生自主選擇問題，很可能探索得到的結(jié)果并不深入，課程本身也很難形成統(tǒng)一的評(píng)估標(biāo)準(zhǔn)。所以，筆者定義好了ENSO預(yù)測(cè)問題（并在授課部分重點(diǎn)介紹該內(nèi)容），同時(shí)提供可供參考的數(shù)據(jù)集和模型（圖3為一份實(shí)踐框架圖），學(xué)生可以參考該思路開展學(xué)習(xí)和模型實(shí)現(xiàn)。深度學(xué)習(xí)應(yīng)用是一種實(shí)踐工作，特征選擇、模型構(gòu)建、參數(shù)調(diào)節(jié)等都需要充分的編程實(shí)踐，學(xué)生需要基于特定的編程語言（如Python、MATLAB等），自主或借助已有深度學(xué)習(xí)開源框架（如Keras、PyTorch等）實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)并調(diào)優(yōu)，最終得到并分析實(shí)驗(yàn)結(jié)果。該實(shí)踐部分也是學(xué)生發(fā)揮主觀能動(dòng)性，掌握深度學(xué)習(xí)方法在氣象領(lǐng)域應(yīng)用的關(guān)鍵。

在實(shí)踐環(huán)節(jié)中，考慮到項(xiàng)目規(guī)模，一般安排兩到三人組成一個(gè)小組來協(xié)作完成一個(gè)課題，這客觀上也培養(yǎng)了學(xué)生團(tuán)結(jié)合作的能力。課程最終會(huì)以小組答辯的形式考核每組學(xué)生的創(chuàng)新性、完整性等。

論文閱讀

科技文獻(xiàn)閱讀能力也是研究生教學(xué)過程中需要重點(diǎn)培養(yǎng)的一種能力。文獻(xiàn)閱讀會(huì)貫穿整個(gè)研究工作的始終。從找到研究問題、了解當(dāng)前發(fā)展現(xiàn)狀、提出可行方案、制訂實(shí)驗(yàn)方案，再到最終論文撰寫，都離不開文獻(xiàn)閱讀。同時(shí)，本課程內(nèi)容多與學(xué)術(shù)前沿相關(guān)，課程建設(shè)也僅僅提供學(xué)習(xí)框架，沒有既定教材，需要學(xué)生充分發(fā)揮主觀能動(dòng)性，進(jìn)一步探索更新更前沿的方法。因此，筆者在本課程中安排了文獻(xiàn)閱讀環(huán)節(jié)，學(xué)生在教師的指導(dǎo)之下，從指定的范圍內(nèi)選擇一篇合適的論文進(jìn)行精讀，然后在課堂上進(jìn)行講演和分析，并將論文中的方法應(yīng)用于項(xiàng)目的問題中。所選擇的論文主要是近年來發(fā)表在深度學(xué)習(xí)領(lǐng)域頂級(jí)期刊上的論文，以及氣象預(yù)測(cè)領(lǐng)域最新的進(jìn)展等。講演環(huán)節(jié)的評(píng)分主要會(huì)考慮到以下因素：能否清晰介紹問題背景，能否清晰介紹論文所提方案的設(shè)計(jì)動(dòng)機(jī)，能否清晰介紹論文所提方案，能否清晰介紹論文方案所取得的效果，能否提出自己的改進(jìn)想法，以及該論文對(duì)小組實(shí)驗(yàn)方案的改進(jìn)（不強(qiáng)求，但有加分）等。

課程建設(shè)方案效果評(píng)估

通過課堂教學(xué)，學(xué)生掌握了深度學(xué)習(xí)的基本概念和其中主流的時(shí)序預(yù)測(cè)方法，同時(shí)對(duì)氣象領(lǐng)域有了基本的了解。結(jié)合具體的ENSO事件，學(xué)生完成了一次“問題—數(shù)據(jù)—模型—評(píng)價(jià)”的完整應(yīng)用過程。在實(shí)踐環(huán)節(jié)中，學(xué)生鍛煉了分析問題、綜合運(yùn)用所學(xué)知識(shí)解決問題以及團(tuán)隊(duì)協(xié)作的能力;在文獻(xiàn)閱讀環(huán)節(jié)中，在教師的指導(dǎo)下，學(xué)生提升了查閱文獻(xiàn)、獲取論文中的有效信息、提煉想法和做講演等方面的能力。課程建設(shè)方案達(dá)到了這門課程的開設(shè)目的。

結(jié)語

深度學(xué)習(xí)在氣象領(lǐng)域的應(yīng)用課程是同濟(jì)大學(xué)軟件學(xué)院在新一輪人工智能浪潮下，全新開設(shè)的一門前沿課程，覆蓋了多項(xiàng)深度學(xué)習(xí)領(lǐng)域的前沿研究?jī)?nèi)容。經(jīng)過初步實(shí)踐，該課程已經(jīng)取得了良好的教學(xué)效果，獲得了相關(guān)專家和修讀此課的學(xué)生的高度評(píng)價(jià)。在今后的教學(xué)實(shí)踐中，筆者還將認(rèn)真聽取相關(guān)專家和學(xué)生的建設(shè)性意見，對(duì)課程建設(shè)方案不斷進(jìn)行完善，與時(shí)俱進(jìn)，從而持續(xù)提升該課程的教學(xué)質(zhì)量。

參考文獻(xiàn)：

[1]LeCun Y，Bengio Y，Hinton G. Deep learning[J].Nature，2015，521（7553）：436-444.

[2]蔣眾名.基于遙感數(shù)據(jù)的臺(tái)風(fēng)識(shí)別與中心定位方法研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2018.

[3]許柏寧，姜金榮，郝卉群，等.一種基于區(qū)域海表面溫度異常預(yù)測(cè)的ENSO預(yù)報(bào)深度學(xué)習(xí)模型[J].科研信息化技術(shù)與應(yīng)用，2017（06）：65-76.

[4]Shi X，Yeung D Y. Machine Learning for Spatiotemporal Sequence Forecasting：A Survey[J].arXiv preprint arXiv：1808.06865，2018.

[5]蘇愛芳，栗晗，崔利曼，等.ConvLSTM算法在臨近預(yù)報(bào)的應(yīng)用[C].第35屆中國(guó)氣象學(xué)會(huì)年會(huì)S1災(zāi)害天氣監(jiān)測(cè)、分析與預(yù)報(bào)，2018.

[6]Mcdermott P L，Wikle C K. Bayesian Recurrent Neural Network Models for Forecasting and Quantifying Uncertainty in Spatial-Temporal Data[J].Entropy，2017.

基金項(xiàng)目：本研究受同濟(jì)大學(xué)研究生教育研究與改革項(xiàng)目資助（項(xiàng)目編號(hào)：ZD19040603）。