劉曉飛 勞保強(qiáng) 安 濤 徐志駿 張仲莉

(1 中國(guó)科學(xué)院上海天文臺(tái)上海200030)(2 中國(guó)科學(xué)院大學(xué)北京100049)

1 引言

脈沖星是快速旋轉(zhuǎn)、高度磁化的中子星[1]. 脈沖星為天文學(xué)的研究做出了巨大的貢獻(xiàn), 它既可以作為星際介質(zhì)物理性質(zhì)的探測(cè)器[2], 也可用于指示極端條件的天體物理現(xiàn)象[3], 其性質(zhì)還為暗物質(zhì)的存在提供了間接證據(jù), 是研究強(qiáng)引力場(chǎng)的天體實(shí)驗(yàn)室[4], 尤其是對(duì)引力波輻射的檢測(cè)[5–6]. 脈沖星的研究是射電天文學(xué)領(lǐng)域中一個(gè)有意義的課題, 因此, 發(fā)現(xiàn)新脈沖星、識(shí)別脈沖星候選體(可能檢測(cè)到的新脈沖星)對(duì)揭示新的天文現(xiàn)象具有重要意義[7]. 然而, 已知脈沖星的數(shù)量很少[8], 需要尋找新的脈沖星. 自第1顆脈沖星發(fā)現(xiàn)以來(lái), 脈沖星搜尋已經(jīng)持續(xù)了很長(zhǎng)一段時(shí)間[9].

在天文大數(shù)據(jù)時(shí)代, 具有大視場(chǎng)、快速巡天功能的平方公里陣列(Square Kilometre Array, SKA)射電望遠(yuǎn)鏡[10]及500 m孔徑球面射電望遠(yuǎn)鏡(Five-hundred-meter Aperture Spherical Telescope, FAST)[11]等高靈敏度大型望遠(yuǎn)鏡的出現(xiàn), 使得脈沖星觀測(cè)產(chǎn)生了大量數(shù)據(jù), 預(yù)計(jì)會(huì)發(fā)現(xiàn)大量的脈沖星[12]. 在如此龐大的數(shù)據(jù)中, 不僅包含了數(shù)百萬(wàn)個(gè)候選脈沖星[13], 還包含了大量的人為射電頻率干擾(Radio Frequency Interference, RFI)和各種非脈沖信號(hào)數(shù)據(jù), 使得脈沖星的識(shí)別變得尤為困難. 天文學(xué)家需要尋求更加合理的篩選方法, 從而準(zhǔn)確快速地完成海量候選體的識(shí)別.

目前, 提出了許多脈沖星候選體的篩選方法. 主要有: 手動(dòng)篩選法[14–15], 其主要通過(guò)志愿者目視來(lái)對(duì)感興趣的對(duì)象進(jìn)行搜索或分類(lèi)[9]; 圖形工具篩選法[16–17]; 以及半自動(dòng)排名法[18]. 在天文大數(shù)據(jù)時(shí)代, 目視檢查大量的脈沖星候選體是不現(xiàn)實(shí)的, 因此, 有監(jiān)督的機(jī)器學(xué)習(xí)方法應(yīng)運(yùn)而生[9]. 自2010年以來(lái), 用于脈沖星候選體識(shí)別的機(jī)器學(xué)習(xí)方法迅速增多, 并且成為一種流行的方法. 文獻(xiàn)[6, 9, 18]中的這些工作運(yùn)用淺層神經(jīng)網(wǎng)絡(luò)(不超過(guò)3層)來(lái)訓(xùn)練數(shù)據(jù)集實(shí)現(xiàn)了對(duì)候選體的分類(lèi), 并且隨著不斷地精心設(shè)計(jì)和提取有效特征, 分類(lèi)性能得到了改善. 文獻(xiàn)[19]將人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)、支持向量機(jī)(Support Vector Machines, SVM)和卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)這3種不同的監(jiān)督算法組合使用, 引入圖片模式識(shí)別的方法, 從診斷圖中進(jìn)行學(xué)習(xí), 而不再?gòu)氖謩?dòng)設(shè)計(jì)的特征中學(xué)習(xí), 從而有效避免了依賴人工經(jīng)驗(yàn)設(shè)計(jì)特征的缺點(diǎn), 所設(shè)計(jì)的模型在PALFA (Pulsar Arecibo L-Band Feed Array)的觀測(cè)數(shù)據(jù)中發(fā)現(xiàn)了6顆新的脈沖星. 此外, 統(tǒng)計(jì)學(xué)習(xí)方法也適用于對(duì)脈沖星候選體進(jìn)行分類(lèi)[7,20], 利用統(tǒng)計(jì)學(xué)習(xí)的方法, 可以減小偏差. 有監(jiān)督的機(jī)器學(xué)習(xí), 特別是深度學(xué)習(xí)的最新方法[13,21–23]也被用于處理脈沖星分類(lèi)問(wèn)題. 文獻(xiàn)[13, 21]使用數(shù)據(jù)增強(qiáng)來(lái)解決不平衡問(wèn)題, 并使用CNN的變體來(lái)訓(xùn)練模型, 利用提取的更深層的特征來(lái)進(jìn)行分類(lèi), 使得精確度進(jìn)一步提升. 文獻(xiàn)[22]使用CNN組成的模型來(lái)訓(xùn)練FAST觀測(cè)的脈沖星候選體數(shù)據(jù), 在326個(gè)真實(shí)脈沖星數(shù)據(jù)中, 只有4個(gè)未正確判別. 文獻(xiàn)[23]使用集成學(xué)習(xí)的方法對(duì)數(shù)據(jù)進(jìn)行處理, 此方法是在文獻(xiàn)[19]所設(shè)計(jì)模型的基礎(chǔ)上進(jìn)行改進(jìn)的, 其利用15層殘差網(wǎng)絡(luò)(Residual Network, ResNet)代替CNN網(wǎng)絡(luò), 新模型可以識(shí)別出96%以上的真實(shí)脈沖星并且分類(lèi)速率也進(jìn)一步提升, 該模型在配置有2個(gè)GPU和24個(gè)CPU核心的計(jì)算平臺(tái)上每天可完成160萬(wàn)個(gè)以上的候選樣本分類(lèi)任務(wù)(平均54 ms完成1個(gè)樣本分類(lèi)).

有監(jiān)督的機(jī)器學(xué)習(xí)是一門(mén)數(shù)據(jù)驅(qū)動(dòng)的方法. 傳統(tǒng)的機(jī)器學(xué)習(xí)方法[18]依據(jù)從數(shù)據(jù)中提取的特征或一些人為設(shè)計(jì)構(gòu)造的特征來(lái)進(jìn)行模型的學(xué)習(xí)與訓(xùn)練, 基于已知知識(shí)獲得的特征可能會(huì)忽略數(shù)據(jù)的某些潛在特征. 相反, 使用深度學(xué)習(xí)方法從數(shù)據(jù)中直接學(xué)習(xí)可以獲得更好的性能. 本文應(yīng)用深度ResNet來(lái)構(gòu)建脈沖星候選體樣本分類(lèi)系統(tǒng), 脈沖星候選體的診斷圖作為模型的輸入. 由于數(shù)據(jù)中的類(lèi)別不均衡, 即負(fù)樣本數(shù)目遠(yuǎn)遠(yuǎn)大于正樣本數(shù)目, 會(huì)導(dǎo)致模型誤判, 本文通過(guò)對(duì)少數(shù)樣本進(jìn)行過(guò)采樣來(lái)解決這一問(wèn)題. 然后在HTRUS (The High Time Resolution Universe Survey)數(shù)據(jù)集[24]上訓(xùn)練與評(píng)估構(gòu)建的模型, 所訓(xùn)練的模型在精確度(Precision)和召回率(Recall)上均獲得較優(yōu)的結(jié)果.

本文首先簡(jiǎn)要介紹了用于訓(xùn)練模型的脈沖星候選體樣本數(shù)據(jù)集, 同時(shí)介紹了數(shù)據(jù)預(yù)處理過(guò)程. 其次介紹了深度殘差網(wǎng)絡(luò)和模型的結(jié)構(gòu)及損失函數(shù), 在第4節(jié)解釋了模型評(píng)估指標(biāo)并詳細(xì)介紹模型的訓(xùn)練細(xì)節(jié), 然后展示測(cè)試結(jié)果并進(jìn)行對(duì)比分析. 最后, 進(jìn)行了總結(jié)與展望.

2 數(shù)據(jù)集和數(shù)據(jù)預(yù)處理

下一代射電望遠(yuǎn)鏡的脈沖星巡天觀測(cè)能夠產(chǎn)生大量的數(shù)據(jù), 由于診斷圖樣本量太大, 人工目視的方法將耗費(fèi)大量的人力和時(shí)間, 并且隨著工作者目視檢查時(shí)間的延長(zhǎng), 由于疲勞極易判斷出錯(cuò). 使用自動(dòng)的計(jì)算機(jī)處理算法即機(jī)器學(xué)習(xí)的方法來(lái)找到脈沖星候選體是一種必然趨勢(shì). 另外, 在使用機(jī)器學(xué)習(xí)算法時(shí), 首先需要將數(shù)據(jù)預(yù)處理成為適合模型訓(xùn)練學(xué)習(xí)的輸入.

2.1 數(shù)據(jù)集

本文采用文獻(xiàn)[24]公開(kāi)的數(shù)據(jù)集HTRUS來(lái)訓(xùn)練和評(píng)估模型. 數(shù)據(jù)來(lái)自澳大利亞Parkes望遠(yuǎn)鏡的多波束(13個(gè)波束)的觀測(cè), 中心頻率是1352 MHz, 每個(gè)波束記錄帶寬為400 MHz, 實(shí)際使用了中間340 MHz帶寬上的數(shù)據(jù). 該數(shù)據(jù)集包含了1196個(gè)具有不同自旋周期、占空比和信噪比的脈沖星(正樣本), 還包含了89996個(gè)非脈沖星候選體(負(fù)樣本). 另外, 該數(shù)據(jù)集根據(jù)樣本的屬性和個(gè)數(shù)進(jìn)行命名, 由此脈沖星樣本表示為從pulsar0000到pulsar1195, 非脈沖星樣本表示為從cand000001到cand089996. HTRUS的數(shù)據(jù)文件包含結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù), 其中有11個(gè)數(shù)值特征, 包括信號(hào)周期和最佳值(如最佳色散測(cè)度、最佳信噪比、最佳寬度等). 非結(jié)構(gòu)化數(shù)據(jù)有6個(gè)矩陣數(shù)據(jù), 均可視作圖片數(shù)據(jù). 其中, 時(shí)間-相位圖和頻率-相位圖將作為本文的訓(xùn)練集和測(cè)試集, 如圖1所示. 圖1是來(lái)自HTRUS數(shù)據(jù)集中脈沖星(pulsar0816)和RFI (cand036371)樣本的時(shí)間-相位圖和頻率-相位圖示例, 圖中左圖由pulsar0816數(shù)據(jù)產(chǎn)生, 右圖由cand036371產(chǎn)生.

圖1 樣本圖像示例. 左: 脈沖星; 右: 射電頻率干擾信號(hào).Fig.1 Examples of sample plot. Left: a pulsar example; Right: RFI signals.

從圖1可以看出脈沖星候選體和非脈沖星候選體具有明顯不同的特征: (1)頻率-相位圖是3維(時(shí)間-頻率-相位)數(shù)據(jù)在時(shí)間維度上進(jìn)行求和獲得的, 它反映了觀測(cè)期間信號(hào)的強(qiáng)度. 對(duì)于理想的脈沖星信號(hào), 將在整個(gè)觀測(cè)周期內(nèi)觀察到該信號(hào), 且存在一個(gè)或幾個(gè)垂直條紋; (2)時(shí)間-相位圖是3維(時(shí)間-頻率-相位)數(shù)據(jù)在頻率維度上進(jìn)行求和獲得的, 可以反映不同頻率下的信號(hào)強(qiáng)度. 同樣對(duì)于理想脈沖星信號(hào), 應(yīng)該存在一個(gè)或多個(gè)垂直條紋. 通過(guò)統(tǒng)計(jì)我們發(fā)現(xiàn)HTRUS中的大多數(shù)脈沖星樣本的時(shí)間-相位圖和頻率-相位圖均存在一個(gè)或者多個(gè)垂直條紋, 特征非常明顯. 非脈沖星的圖像則是雜亂無(wú)章, 無(wú)規(guī)律可言. 這些從樣本數(shù)據(jù)中獲得的時(shí)間-相位圖和頻率-相位圖將輸入到本文的算法進(jìn)行訓(xùn)練與測(cè)試.

2.2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理可以看作是一種數(shù)據(jù)挖掘技術(shù), 可以將原始數(shù)據(jù)轉(zhuǎn)換為易于處理的格式, 從而可以進(jìn)一步分析. 原始數(shù)據(jù)通常存在噪聲和樣本不平衡等問(wèn)題, 數(shù)據(jù)預(yù)處理是解決此類(lèi)問(wèn)題并為特征工程或下一步模型訓(xùn)練做好充分準(zhǔn)備的可靠方法. 首先模型輸入PNG圖像大小不一, 所以需要統(tǒng)一大小; 另外, 在數(shù)據(jù)集中, 正負(fù)樣本之間的比率約為1 : 73, 樣本分布偏向負(fù)類(lèi)別, 這意味著數(shù)據(jù)類(lèi)別嚴(yán)重失衡[25]. 非平衡問(wèn)題會(huì)降低模型的準(zhǔn)確性[25–26], 并且模型最后的輸出softmax函數(shù)是基于閾值的, 在數(shù)據(jù)不平衡的時(shí)候, 特定的閾值會(huì)導(dǎo)致模型輸出傾向于類(lèi)別數(shù)據(jù)多的一類(lèi).

下面介紹具體的處理步驟: 首先從數(shù)據(jù)集中獲得需要的診斷因子圖, 從HTRUS數(shù)據(jù)中獲得的每個(gè)樣本診斷圖的大小是不同的. 為了便于訓(xùn)練模型, 先對(duì)所有的樣本圖片進(jìn)行圖片的縮放, 使其成為500×500像素同一大小的灰度圖. 其次, 將正負(fù)樣本獲得的圖片數(shù)據(jù)分別隨機(jī)分為兩部分: 訓(xùn)練集(80%), 測(cè)試集(20%). 然后, 處理數(shù)據(jù)非均衡問(wèn)題, 處理數(shù)據(jù)不均衡問(wèn)題常用的方法是對(duì)少數(shù)類(lèi)別樣本進(jìn)行過(guò)采樣, 或者對(duì)多數(shù)類(lèi)別樣本進(jìn)行欠采樣, 以此來(lái)調(diào)整數(shù)據(jù)比率達(dá)到樣本均衡. 在訓(xùn)練數(shù)據(jù)集中, 由于少數(shù)類(lèi)別(脈沖星)的數(shù)量太少, 如果對(duì)多數(shù)類(lèi)別(RFI)進(jìn)行欠采樣就會(huì)導(dǎo)致訓(xùn)練樣本數(shù)據(jù)的犧牲, 造成數(shù)據(jù)量太少, 無(wú)法進(jìn)行學(xué)習(xí), 所以采取對(duì)少數(shù)類(lèi)進(jìn)行過(guò)采樣增加樣本. 過(guò)采樣包括簡(jiǎn)單的過(guò)采樣[27](oversampling)和基于隨機(jī)過(guò)采樣算法的合成少數(shù)類(lèi)過(guò)采樣技術(shù)[28](Synthetic Minority Oversampling Technique, SMOTE). 由于模型輸入是診斷圖圖片數(shù)據(jù), 利用SMOTE方法進(jìn)行處理時(shí), 需要先對(duì)圖像數(shù)據(jù)進(jìn)行重塑, 然后進(jìn)行過(guò)采樣, 嘗試這種方法后, 發(fā)現(xiàn)對(duì)于HTRUS數(shù)據(jù)集, SMOTE非常緩慢, 且最后分類(lèi)效果不好. 分析原因可能是因?yàn)橹厮軋D像后, 圖像會(huì)丟失掉像素之間的位置關(guān)聯(lián)信息, 而由于模型是基于卷積的殘差網(wǎng)絡(luò), 圖像反映的信息是使用卷積的主要原因.

綜上, 選擇使用簡(jiǎn)單的過(guò)采樣方法處理數(shù)據(jù). 對(duì)少數(shù)類(lèi)過(guò)采樣是從少數(shù)樣本中隨機(jī)抽取樣本進(jìn)行復(fù)制, 直到達(dá)到想要的數(shù)量. 由于本質(zhì)并沒(méi)有為模型引入更多的數(shù)據(jù), 可能會(huì)導(dǎo)致過(guò)分強(qiáng)調(diào)少數(shù)類(lèi), 放大少數(shù)類(lèi)別中噪聲對(duì)模型的影響. 因此我們嘗試了不同的比率取值, 將脈沖星正樣本與非脈沖星負(fù)樣本的比率設(shè)置在1 : 1到1 : 5的范圍內(nèi), 以尋找最佳比率值. 最終發(fā)現(xiàn)當(dāng)設(shè)置為1: 2的時(shí)候?yàn)樽罴驯嚷?表1中交叉驗(yàn)證集為過(guò)采樣之后的數(shù)據(jù)量. 此處需要強(qiáng)調(diào)的是, 對(duì)少數(shù)樣本(脈沖星正樣本)進(jìn)行過(guò)采樣時(shí)處理的是80%的訓(xùn)練集, 測(cè)試集沒(méi)有做處理.

數(shù)據(jù)集預(yù)處理完成后開(kāi)始進(jìn)行模型訓(xùn)練, 為了充分利用訓(xùn)練數(shù)據(jù)集, 采用了5折交叉驗(yàn)證來(lái)完成訓(xùn)練模型的調(diào)參, 找出效果最優(yōu)的模型. 交叉驗(yàn)證作用是嘗試?yán)貌煌挠?xùn)練集/驗(yàn)證集劃分來(lái)對(duì)模型做多組不同的訓(xùn)練/驗(yàn)證, 來(lái)應(yīng)對(duì)單獨(dú)測(cè)試結(jié)果過(guò)于片面以及訓(xùn)練數(shù)據(jù)不足的問(wèn)題. 本文訓(xùn)練過(guò)程中所采用的5折交叉驗(yàn)證是指將數(shù)據(jù)集(交叉驗(yàn)證集)隨機(jī)劃分5個(gè)大小相近的互斥子集, 每次不重復(fù)地取其中1個(gè)子集做為測(cè)試集, 其余4個(gè)子集合并作為訓(xùn)練集. 因此, 將會(huì)產(chǎn)生5組不同的訓(xùn)練集和測(cè)試集. 計(jì)算該模型在每組訓(xùn)練集上的均方誤差(Mean Square Error, MSE), 將5組訓(xùn)練模型的MSE取平均作為最終的模型. 然后使用該模型對(duì)測(cè)試集進(jìn)行預(yù)測(cè), 從而衡量該模型的性能和分類(lèi)能力. 在訓(xùn)練過(guò)程中, 訓(xùn)練集共有73272個(gè)樣本用于超參數(shù)篩選, 測(cè)試集有17920個(gè)樣本. 其中, 測(cè)試集中含有17680個(gè)負(fù)樣本, 240個(gè)正樣本. 樣本數(shù)量的詳細(xì)情況如表1所示. 表1中分別展示了HTRUS數(shù)據(jù)集的總樣本數(shù)量, 占比80%、20%所切割出的訓(xùn)練集和測(cè)試集以及交叉驗(yàn)證集, 其中交叉驗(yàn)證集是對(duì)訓(xùn)練集中正樣本進(jìn)行過(guò)采樣之后用來(lái)交叉驗(yàn)證訓(xùn)練模型的樣本數(shù)量.

表1 數(shù)據(jù)集的介紹Table 1 Introduction to data set

3 機(jī)器學(xué)習(xí)模型

3.1 深度殘差網(wǎng)絡(luò)

自深層卷積神經(jīng)網(wǎng)絡(luò)從ImageNet分類(lèi)挑戰(zhàn)[29]中取得巨大突破以來(lái)獲得了廣泛的研究, 它在許多其他計(jì)算機(jī)視覺(jué)任務(wù)(包括對(duì)象檢測(cè)、語(yǔ)義分割、邊緣檢測(cè)等)中也取得了令人驚訝的性能. 近年, 脈沖星候選體篩選使用的大多數(shù)深度學(xué)習(xí)網(wǎng)絡(luò)模型都是基于卷積神經(jīng)網(wǎng)絡(luò)或其某種變體: 文獻(xiàn)[19]使用5層卷積神經(jīng)網(wǎng)絡(luò)處理2維子圖進(jìn)行脈沖星分類(lèi); 文獻(xiàn)[13]設(shè)計(jì)了一個(gè)11層的卷積神經(jīng)網(wǎng)絡(luò)結(jié)果以取代文獻(xiàn)[19]中簡(jiǎn)單的5層體系結(jié)構(gòu), 并獲得了更好的性能; 文獻(xiàn)[21]使用生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)解決樣本類(lèi)別不平衡問(wèn)題, 然后使用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練新數(shù)據(jù)集; 文獻(xiàn)[22]描述了一個(gè)組合卷積神經(jīng)網(wǎng)絡(luò), 來(lái)識(shí)別從FAST數(shù)據(jù)中收集的候選對(duì)象. 但深度神經(jīng)網(wǎng)絡(luò)隨著層數(shù)的逐漸加深變得難以訓(xùn)練和優(yōu)化, 而卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和分類(lèi)相對(duì)較慢[23].另外, 隨著網(wǎng)絡(luò)的深入, 盡管增加了層數(shù), 但訓(xùn)練誤差仍大于淺層的網(wǎng)絡(luò), 為了解決這一問(wèn)題, 殘差網(wǎng)絡(luò)隨之產(chǎn)生. ResNet[30]贏得了ImageNet的挑戰(zhàn), 引起了很多關(guān)注, 因?yàn)樯疃葰埐罹W(wǎng)絡(luò)能夠“使深度學(xué)習(xí)變得更加深入”. 殘差網(wǎng)絡(luò)可以被視為具有殘差學(xué)習(xí)框架的典型卷積神經(jīng)網(wǎng)絡(luò). 深度神經(jīng)網(wǎng)絡(luò)隨著網(wǎng)絡(luò)深度的增加, 往往會(huì)出現(xiàn)梯度彌散或梯度爆炸等問(wèn)題, 運(yùn)用正則化可以使得網(wǎng)絡(luò)繼續(xù)訓(xùn)練, 但是, 隨著網(wǎng)絡(luò)層數(shù)的增加, 模型在訓(xùn)練集上的準(zhǔn)確率會(huì)達(dá)到飽和甚至下降, 也就是出現(xiàn)了退化問(wèn)題. 文獻(xiàn)[30]提出了一種殘差學(xué)習(xí)框架(圖2)來(lái)解決退化問(wèn)題. 如圖2所示,X表示殘差塊的輸入(診斷圖圖像), 模型的期望輸出為H(X),F(X)是網(wǎng)絡(luò)學(xué)習(xí)到的映射函數(shù), 所使用的激活函數(shù)為Relu (Rectified linear unit). 如果深層網(wǎng)絡(luò)的后面網(wǎng)絡(luò)層是恒等映射, 即直接把輸入的X傳到輸出, 那么模型就會(huì)退化成為一個(gè)淺層網(wǎng)絡(luò), 其關(guān)系為H(X)=F(X)+X. 由殘差塊組成可知, 要學(xué)習(xí)的函數(shù)F(X)經(jīng)過(guò)殘差塊轉(zhuǎn)化為殘差函數(shù)F(X)=H(X)?X. 當(dāng)F(X)=0,就構(gòu)成了一個(gè)恒等映射H(X)=X, 擬合殘差相對(duì)更容易. 殘差網(wǎng)絡(luò)由一系列殘留塊組成, 每個(gè)殘差塊包含兩個(gè)分支: 恒等映射和殘差分支. 恒等映射從輸入到中間層以及從中間層到輸出層引入了捷徑連接(shortcut connections) (圖2中的Xidentity), 緩解了梯度消失問(wèn)題, 同時(shí)降低了訓(xùn)練難度. 殘差網(wǎng)絡(luò)容易優(yōu)化, 并且隨著網(wǎng)絡(luò)深度的增加, 準(zhǔn)確率會(huì)提高.

圖2 殘差學(xué)習(xí)結(jié)構(gòu): 殘差塊[30]Fig.2 Residual learning structure: residual block[30]

3.2 模型架構(gòu)

ResNet結(jié)構(gòu)是功能強(qiáng)大的識(shí)別系統(tǒng), 可以直接分析2維圖像. 根據(jù)網(wǎng)絡(luò)的這一特征, 直接將脈沖星數(shù)據(jù)集預(yù)處理后的2維子圖(圖1)作為輸入. 設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)由圖像大小、網(wǎng)絡(luò)深度、特征映射的數(shù)量、卷積核大小、池化層大小等超參數(shù)確定. 為了獲得最佳模型, 通過(guò)交叉驗(yàn)證的方法來(lái)調(diào)整模型超參數(shù)的各種組合. 首先將候選體標(biāo)記數(shù)據(jù)隨機(jī)打亂進(jìn)行分割, 其中80%的數(shù)據(jù)樣本組成訓(xùn)練集, 20%的樣本組成測(cè)試集, 然后通過(guò)網(wǎng)格搜索的方式對(duì)模型進(jìn)行訓(xùn)練, 通過(guò)在測(cè)試集上計(jì)算其F1分?jǐn)?shù)(F1-score)來(lái)表征性能. 最后, 根據(jù)分類(lèi)精度確定了網(wǎng)絡(luò)結(jié)構(gòu)和超參數(shù). 用14層的深度殘差網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn), 發(fā)現(xiàn)它能夠獲得很高的精度. 因此, 本文設(shè)計(jì)的ResNet模型包括14層.圖3展示的是本文使用的ResNet模型網(wǎng)絡(luò)結(jié)構(gòu), 同時(shí)顯示了整個(gè)訓(xùn)練過(guò)程. 圖3主要分為兩部分, 左側(cè)是模型的整體訓(xùn)練流程, 右側(cè)的ResBlock是殘差塊(Residual block).Image data是模型的輸入數(shù)據(jù), 為500×500像素大小的灰度圖片. COV表示卷積運(yùn)算, 其中COV-7×7-64所代表的分別是卷積核大小為7×7, 最后的輸出通道數(shù)目為64;C1 : 112×112×64中C代表卷積層(Convolution, C), C1表示卷積層為第1層, 經(jīng)過(guò)此層的卷積之后, 輸出大小為112×112×64. BN表示批量標(biāo)準(zhǔn)化(Batch Normalization),ResNet引入BN是為了提高模型的訓(xùn)練速度, 加快收斂. Max pooling是最大值池化,Average pooling是平均池化, FC (Fully Connected layer)指的是全連接層, softmax是最后的輸出, 輸出顯示了2個(gè)類(lèi)別的分類(lèi)得分和類(lèi)別名(1表示正樣本, 0表示負(fù)樣本),從而完成對(duì)樣本進(jìn)行預(yù)測(cè). 所設(shè)計(jì)ResNet模型的Resblock個(gè)數(shù)分別為[2, 2, 1, 1], 加上開(kāi)始的1個(gè)卷積層和最后的1個(gè)全連接層共有14層. ResBlock部分, 輸入為所要分類(lèi)處理的圖片, 大小為W ×H, 輸入圖片的通道數(shù)目為IN, 輸出圖片通道數(shù)目為OUT, 如果IN == OUT, 則經(jīng)過(guò)卷積塊處理之后的輸出結(jié)果為[W ×H ×OUT]; 反之, 輸出結(jié)果為{int[(W ?1)/2+1],int[(W ?1)/2+1],OUT}, 其中int為取整函數(shù).

圖3 模型架構(gòu)[30]Fig.3 Model architecture[30]

與文獻(xiàn)[23]相比, 網(wǎng)絡(luò)模型的整體結(jié)構(gòu)相似, 均是利用ResNet提取特征與分類(lèi). 本文的網(wǎng)絡(luò)模型是在傳統(tǒng)的18層ResNet網(wǎng)絡(luò)的基礎(chǔ)上, 以得到較優(yōu)的網(wǎng)絡(luò)性能為目標(biāo),經(jīng)過(guò)多次網(wǎng)絡(luò)結(jié)構(gòu)修改和參數(shù)調(diào)整確定的. 不同之處有以下兩點(diǎn): 首先是網(wǎng)絡(luò)的層數(shù)不同. 本文的ResNet層數(shù)是14層, 文獻(xiàn)[23]的ResNet層數(shù)為15層. 所設(shè)計(jì)ResNet模型如圖3所示, 包含1個(gè)輸入的卷積層、1個(gè)全連接輸出層、中間是12個(gè)卷積層, 共14層. 12個(gè)卷積層由4組殘差塊組成, 每組殘差塊包含的殘差塊的個(gè)數(shù)分別為[2, 2, 1, 1], 每個(gè)殘差塊均包含2個(gè)卷積層. 文獻(xiàn)[23]的網(wǎng)絡(luò)模型包含1個(gè)輸入卷積層、2個(gè)輸出層、中間是12個(gè)卷積層, 共15層. 12個(gè)卷積層由3組殘差塊組成, 每組有2個(gè)殘差塊, 每個(gè)殘差塊均有2個(gè)卷積層; 其次, 卷積層的步長(zhǎng)和輸出通道大小均不同. 本文采用的步長(zhǎng)分別是[2, 1, 2, 2,2], 因此最后一層卷積輸出的圖像的寬和高為輸入圖像的1/16. 文獻(xiàn)[23]使用的卷積層的步長(zhǎng)均是1, 因此最后一層卷積輸出的圖像大小和輸入圖像大小相同. 本文的卷積層的輸出通道大小分別是[64, 64, 128, 256, 512], 第1個(gè)是輸入卷積層的輸出通道大小, 其余的是4組殘差塊的輸出通道大小. 文獻(xiàn)[23]卷積層的輸出通道大小分別是[16, 16, 32, 64],第1個(gè)是輸入卷積層的輸出通道大小, 其余3個(gè)是3組殘差塊的輸出通道大小.

除了模型本身已有的批量標(biāo)準(zhǔn)化處理, 在模型訓(xùn)練過(guò)程中為了防止過(guò)度擬合, 使用批量歸一化處理和L2正則化, 具體定義見(jiàn)3.3節(jié). 用深層訓(xùn)練神經(jīng)網(wǎng)絡(luò)具有挑戰(zhàn)性, 因?yàn)樗鼈兛赡軐?duì)初始隨機(jī)權(quán)重和學(xué)習(xí)算法的配置敏感. 批量歸一化處理[31]是一種用于訓(xùn)練非常深的神經(jīng)網(wǎng)絡(luò)的技術(shù), 該技術(shù)將每個(gè)小批次的輸入標(biāo)準(zhǔn)化, 使模型學(xué)習(xí)過(guò)程穩(wěn)定, 并顯著減少訓(xùn)練深度網(wǎng)絡(luò)所需的訓(xùn)練時(shí)間. 另外, 還使用Adam優(yōu)化器[32]在特定批次大小的數(shù)據(jù)中訓(xùn)練網(wǎng)絡(luò), 以加快訓(xùn)練過(guò)程.

3.3 損失函數(shù)

脈沖星候選體識(shí)別任務(wù)是二分類(lèi)問(wèn)題, 因此將交叉熵?fù)p失用作損失函數(shù)來(lái)優(yōu)化模型. 交叉熵?fù)p失L(ω)的定義如下:

其中,ω表示權(quán)重向量,N表示樣本數(shù),yn和?yn分別表示實(shí)際值和預(yù)測(cè)輸出值.

為了使模型更具有魯棒性, 添加了L2正則化作為權(quán)重衰減. 此時(shí)損失函數(shù)的計(jì)算公式重新定義為:

其中λ是懲罰系數(shù).

L2正則化可以減輕模型對(duì)樣本的敏感, 此外還使用批量歸一化處理技術(shù)和Adam優(yōu)化器來(lái)優(yōu)化模型.

4 訓(xùn)練結(jié)果與分析

4.1 評(píng)估指標(biāo)

由于HTRUS數(shù)據(jù)集類(lèi)別存在高度不平衡問(wèn)題, 無(wú)法直接根據(jù)分類(lèi)準(zhǔn)確度推斷模型性能. 因此, 需要建立新的評(píng)估指標(biāo)來(lái)評(píng)估分類(lèi)器的有效性, 引入了二分類(lèi)的混淆矩陣,如下表2所示:

表2 混淆矩陣Table 2 Confusion matrix

TP是模型將正樣本正確識(shí)別為正樣本的數(shù)量, 即脈沖星被正確識(shí)別的數(shù)量. 這意味著觀測(cè)樣本屬于正類(lèi), 并且被分類(lèi)器正確地標(biāo)記為1;

TN是模型將正樣本錯(cuò)誤識(shí)別為負(fù)樣本的數(shù)量, 即脈沖星被誤判為非脈沖星的數(shù)量;

FP是模型將負(fù)樣本錯(cuò)誤識(shí)別為正樣本的數(shù)量, 即非脈沖星被誤判為脈沖星的數(shù)量;

FN是模型將非脈沖星正確識(shí)別為負(fù)樣本的數(shù)量. 這意味著觀測(cè)樣本屬于負(fù)類(lèi), 并且被分類(lèi)器正確地標(biāo)記為0.

總之, TP和FN表示可以正確識(shí)別的對(duì)象, 而TN和FP表示錯(cuò)誤識(shí)別的對(duì)象. 基于這些值來(lái)定義指標(biāo)以評(píng)估本文算法的性能, 以下是對(duì)本文所使用評(píng)估指標(biāo)的解釋.召回率(Recall): 又稱查全率, 表示正確識(shí)別脈沖星的比例.

精確度(Precision): 精確度表示預(yù)測(cè)為正樣本的數(shù)據(jù)中脈沖星數(shù)量所占的比例.

準(zhǔn)確率(Accuracy): 準(zhǔn)確率是一般分類(lèi)場(chǎng)景中最常用的評(píng)分指標(biāo), 它需要確保樣本平衡. 在HTRUS失衡數(shù)據(jù)集中, 這個(gè)評(píng)估分?jǐn)?shù)幾乎沒(méi)有什么意義.

F1分?jǐn)?shù)(F1-score): F1-score是精確度和召回率的調(diào)和平均值, 它提供了另一種準(zhǔn)確性度量. 它可以用作精確度和召回率之間的折衷, 可以確保訓(xùn)練的模型在不會(huì)忽略某些脈沖星信號(hào)的同時(shí)也有很高的分類(lèi)準(zhǔn)確率, 值越接近1代表分類(lèi)效果越好.

4.2 模型訓(xùn)練

在本小節(jié)中, 描述了14層殘差網(wǎng)絡(luò)(ResNet)的訓(xùn)練和測(cè)試過(guò)程, 所使用的數(shù)據(jù)集為HTRUS數(shù)據(jù)集. 本文采用的實(shí)驗(yàn)平臺(tái)是中國(guó)SKA區(qū)域數(shù)據(jù)中心原型機(jī)[33], 該原型機(jī)已經(jīng)成功應(yīng)用于SKA連續(xù)譜成像數(shù)據(jù)處理[34]和SKA脈沖星數(shù)據(jù)處理[35]. 本文的訓(xùn)練和測(cè)試任務(wù)均是在該原型機(jī)的GPU集群上完成, 該集群共有3個(gè)GPU節(jié)點(diǎn), 共配置了16個(gè)GPU卡. 本文的工作主要使用了1個(gè)GPU卡, 型號(hào)是Nvidia Tesla V100 SXM2, 這個(gè)GPU卡的理論浮點(diǎn)運(yùn)算能力約為15.7 TFLOP (單精度).

訓(xùn)練采用了交叉驗(yàn)證方法和模型超參數(shù)的設(shè)置與篩選. 在數(shù)據(jù)預(yù)處理完成之后, 采用5折交叉驗(yàn)證的方法對(duì)交叉驗(yàn)證集(表1)進(jìn)行模型訓(xùn)練, 詳細(xì)過(guò)程見(jiàn)2.2節(jié). 本文的網(wǎng)絡(luò)訓(xùn)練一共進(jìn)行了35輪(epoch)的迭代, 如圖4所示, 畫(huà)出了損失函數(shù)隨著迭代次數(shù)增加的變化曲線. 訓(xùn)練的目的是盡可能減小損失并確保模型能夠收斂, 從而得到較優(yōu)的模型.觀察曲線可看出, 訓(xùn)練過(guò)程中損失函數(shù)數(shù)值隨著訓(xùn)練輪數(shù)的增加在不斷地降低, 最終到達(dá)一個(gè)較低的數(shù)值后保持平穩(wěn), 說(shuō)明模型能夠收斂. 在進(jìn)行實(shí)驗(yàn)時(shí)也嘗試過(guò)用14層以上的ResNet進(jìn)行模型訓(xùn)練, 由于層數(shù)太深, 出現(xiàn)了過(guò)擬合, 最終獲得的損失函數(shù)曲線隨著訓(xùn)練輪數(shù)的增加一直震蕩, 無(wú)法收斂.

根據(jù)損失函數(shù)曲線來(lái)診斷模型, 一般而言, 完美擬合是模型調(diào)整的目標(biāo), 它在損失函數(shù)曲線上的特點(diǎn)是訓(xùn)練誤差(training loss)和測(cè)試誤差(validation loss)兩者都能夠收斂,并且兩者之間相差很小. 從圖4可以看出模型大概在10輪之后兩個(gè)損失函數(shù)曲線都開(kāi)始收斂, 在35輪之后, 兩條曲線沒(méi)有肉眼可見(jiàn)的明顯差距, 證明最終構(gòu)建的模型可以很好地?cái)M合數(shù)據(jù).

圖4 損失函數(shù)曲線Fig.4 Loss function curve

關(guān)于模型超參數(shù)的設(shè)置與篩選, 在所設(shè)計(jì)模型訓(xùn)練過(guò)程中為了防止過(guò)擬合采取了很多措施. 在損失函數(shù)求解過(guò)程中加入L2正則化, 在3.3節(jié)已經(jīng)給出介紹. 還使用批量歸一化對(duì)數(shù)據(jù)進(jìn)行處理, 利用Adam優(yōu)化器優(yōu)化模型. 其中批處理的大小(batch size)為512,在每輪中, 每次從訓(xùn)練集中隨機(jī)篩選512個(gè)候選體樣本來(lái)訓(xùn)練模型和更新參數(shù). 重復(fù)此步驟, 直到使用完所有訓(xùn)練數(shù)據(jù)為止. 一共訓(xùn)練了35輪, 最終的損失函數(shù)值為0.38.Adam優(yōu)化器的超參數(shù)初始值的設(shè)置在表3中詳細(xì)給出, 其中batch size代表批處理大小,epoch表示訓(xùn)練輪數(shù). CONV WEIGHT DECAY為卷積層權(quán)重衰減率, 用于權(quán)重衰減(L2正則化), CONV WEIGHT STDDEV為卷積層權(quán)重標(biāo)準(zhǔn)差, 可以避免模型過(guò)擬合問(wèn)題. BN DECAY為BN層衰減率, BN EPSILON為BN層初始化參數(shù), 會(huì)影響模型的訓(xùn)練速率和準(zhǔn)確率.

表3 模型超參數(shù)數(shù)值Table 3 Hyperparameter values of model

4.3 測(cè)試結(jié)果與分析

模型訓(xùn)練完成后, 用測(cè)試集進(jìn)行模型性能的測(cè)試. 本小節(jié)展示了最終的模型測(cè)試結(jié)果, 并與利用人工智能方法構(gòu)建的其他模型在HTURS數(shù)據(jù)集上的性能(表現(xiàn))進(jìn)行比較,然后對(duì)誤判樣本進(jìn)行了成圖分析.

測(cè)試結(jié)果如表4所示, 展示的是在測(cè)試集上所得出的混淆矩陣. 表4中, 已知測(cè)試集中含有17680個(gè)負(fù)樣本, 240個(gè)正樣本, 測(cè)試結(jié)果中全部的脈沖星都被判別正確, RFI則有6個(gè)樣本被誤判為脈沖星. 通過(guò)進(jìn)一步計(jì)算可以得出, 對(duì)于HTRUS數(shù)據(jù)集, 在測(cè)試數(shù)據(jù)上, ResNet模型可以實(shí)現(xiàn)100%的召回率和98%的精確度, F1-score能夠達(dá)到99%. 另外, 每個(gè)樣本檢測(cè)完成所消耗的時(shí)間約為7 ms, 運(yùn)行速度相當(dāng)高.

表4 測(cè)試結(jié)果的混淆矩陣Table 4 Confusion matrix of testing results

表5是在HTRUS數(shù)據(jù)集上不同模型的測(cè)試結(jié)果, 其中SPINN[24](Straightforward Pulsar Identification using Neural Networks)是通過(guò)提取輸入數(shù)據(jù)6個(gè)數(shù)值特征作為網(wǎng)絡(luò)輸入, 訓(xùn)練神經(jīng)網(wǎng)絡(luò)ANN獲得模型; GH-VFDT[7](the Gaussian-Hellinger Very Fast Decision Tree)是利用從輸入數(shù)據(jù)提取的8個(gè)數(shù)值特征對(duì)樹(shù)網(wǎng)絡(luò)進(jìn)行訓(xùn)練獲得模型; DCNN-S[13]是先用SMOTE方法對(duì)原始數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng), 然后訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Network, DCNN)得到最終模型; CGANL2-SVM-1[21]是時(shí)間-相位圖作為網(wǎng)絡(luò)輸入, 通過(guò)訓(xùn)練由深度卷積生成的對(duì)抗網(wǎng)絡(luò)(Deep Convolution Generative Adversarial Network, DCGAN), 分類(lèi)層采用線性SVM(L2-SVM)來(lái)進(jìn)行分類(lèi), 從而獲得最終模型. 根據(jù)結(jié)果可以看出本文的訓(xùn)練模型獲得的分類(lèi)性能較好, Recall能夠達(dá)到100%, 相比于其他模型, 精確度也提高到98%, 即預(yù)測(cè)為正樣本的數(shù)據(jù)中脈沖星數(shù)量所占的比例是98%, 因?yàn)樵跍y(cè)試結(jié)果中僅有6個(gè)樣本被判斷錯(cuò)誤(表4). 雖然精確度不能達(dá)到100%, 但是由于分類(lèi)任務(wù)的關(guān)鍵是識(shí)別所有的脈沖星樣本, Recall的結(jié)果更為重要, 已經(jīng)達(dá)到了100%, 意味著模型在HTRUS測(cè)試集上能夠識(shí)別全部的脈沖星樣本. 綜上, 實(shí)驗(yàn)結(jié)果表明本文設(shè)計(jì)的網(wǎng)絡(luò)獲得的模型具有較優(yōu)秀的分類(lèi)性能.

表5 HTRUS數(shù)據(jù)集上不同分類(lèi)器分類(lèi)性能的比較Table 5 Comparison of classification performance for different classifiers on the HTRUS data set

另外為了分析模型的不足之處, 我們對(duì)判斷錯(cuò)誤的RFI樣本進(jìn)行了分析. 分析發(fā)現(xiàn)導(dǎo)致RFI誤判的原因主要有2個(gè): 第1個(gè)原因是訓(xùn)練數(shù)據(jù)中正樣本的問(wèn)題, 在用于訓(xùn)練的數(shù)據(jù)樣本中, 存在一部分流量密度小, 且噪聲水平較高的脈沖星正樣本, 它們的數(shù)據(jù)并不存在圖1所展示的明顯條紋, 其時(shí)間-相位圖和頻率-相位圖中信號(hào)強(qiáng)度的分布是雜亂無(wú)章的. 而在進(jìn)行模型設(shè)計(jì)時(shí), 除了要保證高精確度外, 還要保持極高的脈沖星召回率,使其不錯(cuò)過(guò)任何一個(gè)候選體樣本, 因?yàn)檫@個(gè)原因可能會(huì)導(dǎo)致訓(xùn)練出的模型存在偏置.第2個(gè)原因是預(yù)測(cè)數(shù)據(jù)中的負(fù)樣本(RFI)數(shù)據(jù)的問(wèn)題, 這些數(shù)據(jù)產(chǎn)生的時(shí)間-相位圖和頻率-相位圖與脈沖星圖像很相似. 圖5給出了測(cè)試集中一個(gè)被誤判為脈沖星的RFI樣本(cand072775)示例. 在分析過(guò)程中, 為了防止人為觀察不夠準(zhǔn)確引入錯(cuò)誤, 加入了色散度量(Dispersion Measure, DM)-信噪比(Signal to Noise Ratio, SNR)曲線對(duì)樣本的分析,即圖5下方子圖. 圖5上方的兩個(gè)子圖是模型用來(lái)訓(xùn)練的輸入子圖(時(shí)間-相位圖和頻率-相位圖). DM-SNR曲線記錄了SNR與DM的關(guān)系, 當(dāng)使用不同的色散值進(jìn)行消色散時(shí), 色散曲線顯示脈沖曲線的相應(yīng)SNR. 如果是脈沖信號(hào), 則曲線將在非零位置出現(xiàn)一個(gè)峰值,而非脈沖信號(hào)的曲線則沒(méi)有明顯峰值或峰值在零處. 觀察此圖像的DM-SNR曲線沒(méi)有發(fā)現(xiàn)明顯的峰值, 這類(lèi)信號(hào)大概率就是大氣層內(nèi)人造射電源的信號(hào), 并非來(lái)自脈沖星的脈沖信號(hào).

圖5 RFI誤判樣本示例Fig.5 Examples of misjudged RFI

5 總結(jié)和展望

為了解決脈沖星候選體識(shí)別問(wèn)題, 提出了一種基于ResNet的網(wǎng)絡(luò)結(jié)構(gòu). 通過(guò)直接使用脈沖星候選體的2維子圖作為輸入, 它避免了數(shù)據(jù)中人為設(shè)計(jì)提取特征的繁瑣, 并且還可防止人為因素對(duì)數(shù)據(jù)的干擾, 更符合深度學(xué)習(xí)數(shù)據(jù)驅(qū)動(dòng)的性質(zhì). 在此項(xiàng)工作中, 為了解決類(lèi)別不平衡問(wèn)題, 使用了過(guò)采樣技術(shù)對(duì)少數(shù)類(lèi)別樣本進(jìn)行處理. 為了應(yīng)對(duì)樣本數(shù)量不足的問(wèn)題采取交叉驗(yàn)證的方法來(lái)訓(xùn)練數(shù)據(jù)集, 使得所構(gòu)建的模型能更充分地學(xué)習(xí), 更好地?cái)M合數(shù)據(jù). 所設(shè)計(jì)的14層ResNet模型最終達(dá)到了100%的Recall, 能夠識(shí)別所有的脈沖星樣本, 具有出色的分類(lèi)能力.

ResNet是一種先進(jìn)的網(wǎng)絡(luò), 在脈沖星搜索領(lǐng)域具有良好的應(yīng)用前景. 為了提高泛化性能和分類(lèi)精度, 可以考慮其他的圖像處理方法, 不僅僅是應(yīng)用過(guò)采樣的方法對(duì)數(shù)據(jù)進(jìn)行處理, 還可以對(duì)脈沖星正樣本加入噪聲, 這樣模型就能夠更精細(xì)地學(xué)習(xí)到樣本數(shù)據(jù)之間的區(qū)別, 非脈沖星樣本被誤判的可能性可能會(huì)被降低; 其次, 還可以考慮數(shù)據(jù)的其他診斷圖特征(總輪廓直方圖, DM-SNR曲線等). 未來(lái)的工作將考慮DM-SNR曲線作為模型的輸入,并嘗試使用其他模型擬合曲線以確定是否值得使用其他特征作為輸入. 最后,最重要的是需要收集新的觀測(cè)數(shù)據(jù)樣本, 尤其是脈沖星正樣本的數(shù)量, 樣本數(shù)據(jù)問(wèn)題越少(比如樣本不均衡問(wèn)題), 數(shù)據(jù)量越大, 模型就越能發(fā)現(xiàn)數(shù)據(jù)所存在的內(nèi)在規(guī)律, 其分類(lèi)精度就會(huì)越高.