何富運(yùn),韋燕,豐芳宇,錢有為

(廣西師范大學(xué) 電子與信息工程學(xué)院,廣西 桂林 541004)

大腦的結(jié)構(gòu)和功能十分復(fù)雜,其病變通常會(huì)導(dǎo)致神經(jīng)性退行疾病的產(chǎn)生。神經(jīng)元作為大腦結(jié)構(gòu)的基本單位,其結(jié)構(gòu)和功能包含著很多因素,其中形態(tài)特征和電學(xué)特性是2個(gè)非常重要的因素[1]。神經(jīng)元形態(tài)分類是探索和理解大腦神經(jīng)功能的基本途徑,廣泛應(yīng)用于神經(jīng)元形態(tài)的三維重建、神經(jīng)功能和結(jié)構(gòu)映射等研究領(lǐng)域[2-4]。神經(jīng)元形態(tài)與其功能息息相關(guān),因此依據(jù)神經(jīng)元的形態(tài)特征對(duì)神經(jīng)元進(jìn)行分類,非常有助于理解大腦的結(jié)構(gòu)和功能。但神經(jīng)元具有復(fù)雜多樣的形態(tài)結(jié)構(gòu),不同類型神經(jīng)元之間的區(qū)別性小,而同類型神經(jīng)元的子類和結(jié)構(gòu)的區(qū)別性大,因而容易導(dǎo)致神經(jīng)元形態(tài)分類準(zhǔn)確率不高的問題。傳統(tǒng)的神經(jīng)元形態(tài)分類,主要依賴于手動(dòng)提取特征,不僅費(fèi)時(shí)費(fèi)力,而且分類準(zhǔn)確率不理想。

近年來,深度學(xué)習(xí)在圖像分類中表現(xiàn)優(yōu)異,逐漸成為研究圖像分類的主流方法。深度卷積神經(jīng)網(wǎng)絡(luò)雖然在神經(jīng)元形態(tài)分類領(lǐng)域展現(xiàn)出不錯(cuò)的前景,但其性能遠(yuǎn)未達(dá)到預(yù)期。因?yàn)樵诰矸e過程中,若是一味地遵循卷積工作模式,隨著網(wǎng)絡(luò)深度不斷加深,將會(huì)丟失邊緣像素信息,不利于神經(jīng)元形態(tài)特征的提取。Hinton等[5]為了解決感知偏差提出填充策略,該策略允許在輸入圖像的外圍使用零填充再開始卷積,這為邊緣像素與卷積核交互提供了更多的機(jī)會(huì),從而抑制了卷積的感知偏差,增加了邊緣信息對(duì)特征提取的貢獻(xiàn)。同時(shí),填充策略可以防止輸入圖像在卷積后出現(xiàn)特征收縮現(xiàn)象,在一定程度上提高了卷積神經(jīng)網(wǎng)絡(luò)的性能。但在圖像處理領(lǐng)域中,每個(gè)像素都有它的實(shí)際意義,零填充會(huì)帶來新的數(shù)據(jù)并將其合并到圖像中,大量外來像素會(huì)逐層侵蝕特征信息,從而導(dǎo)致神經(jīng)元分類性能受到影響[6]。

為了解決上述問題,本文深入研究卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)和神經(jīng)元形態(tài)數(shù)據(jù),以殘差網(wǎng)絡(luò)(residual network,ResNet)[7]為基礎(chǔ)網(wǎng)絡(luò),提出了一種基于特征重構(gòu)自愈殘差網(wǎng)絡(luò)(feature reconstruction self-cure residual network,FRSRN)用于實(shí)現(xiàn)神經(jīng)元形態(tài)分類任務(wù)。具體流程為:在基礎(chǔ)網(wǎng)絡(luò)的后端搭建特征重構(gòu)模塊,該模塊通過亞像素卷積[8]對(duì)特征進(jìn)行重組,獲得更大的特征圖。使用大步幅的卷積核對(duì)特征圖進(jìn)行二次提取以提高邊緣像素的感知頻率,從而緩解神經(jīng)元的形態(tài)特征在提取階段因填充策略而導(dǎo)致的特征被外來像素侵蝕的問題。融合自注意力權(quán)重和排序正則化模塊,通過自注意力權(quán)重模塊為每一個(gè)樣本重新分配權(quán)重,排序正則化模塊對(duì)自注意力權(quán)重模塊學(xué)習(xí)到的權(quán)重進(jìn)行降序以此確保學(xué)習(xí)到有意義的權(quán)重,促使網(wǎng)絡(luò)更加關(guān)注神經(jīng)元幾何形態(tài)特征和有效地提取神經(jīng)元形態(tài)分類判別性特征,從而獲得更加準(zhǔn)確的神經(jīng)元形態(tài)分類結(jié)果。

1 相關(guān)研究工作

早期,Wang等[9]根據(jù)原始空間幾何數(shù)據(jù)估計(jì)神經(jīng)元形態(tài)特征,提出了一種新的基于支持向量機(jī)(support vector machine,SVM)的神經(jīng)元形態(tài)分類方法。Alavi等[10]分析了多個(gè)維度的神經(jīng)元圖像,并使用結(jié)構(gòu)特征提取技術(shù)獲取其顯著特征,實(shí)現(xiàn)了對(duì)嚙齒動(dòng)物腦干中的多巴胺能神經(jīng)元進(jìn)行自動(dòng)化分類。Vasques等[11]使用L-measure提取形態(tài)學(xué)特征,并分別將無監(jiān)督和監(jiān)督分類技術(shù)應(yīng)用于形態(tài)學(xué)特征分類。Fogo等[12]使用機(jī)器學(xué)習(xí)技術(shù)對(duì)線粒體形態(tài)進(jìn)行計(jì)算圖像分析,可以對(duì)不同的生理和病理線粒體形態(tài)進(jìn)行準(zhǔn)確分類。

近年來,深度學(xué)習(xí)方法成為數(shù)字圖像處理的主流方法,與傳統(tǒng)機(jī)器學(xué)習(xí)方法不同,深度學(xué)習(xí)可以更深層次地提取神經(jīng)元的形態(tài)特征,并實(shí)現(xiàn)自動(dòng)分類,因此更加受到研究者的青睞。Lin等[13]分別構(gòu)建了線蟲和斑馬魚2種不同物種的神經(jīng)元數(shù)據(jù)集,在此基礎(chǔ)上提出了局部累加連接深度神經(jīng)網(wǎng)絡(luò)的神經(jīng)元形態(tài)分類方法,將神經(jīng)元的幾何形態(tài)量化特征作為網(wǎng)絡(luò)的輸入來進(jìn)行神經(jīng)元形態(tài)分類。文獻(xiàn)[14]基于自適應(yīng)投影算法將三維神經(jīng)元圖像投影成二維圖像,并針對(duì)該數(shù)據(jù)提出了雙卷積門限循環(huán)神經(jīng)網(wǎng)絡(luò)模型。文獻(xiàn)[15]使用了完整的神經(jīng)元三維體素?cái)?shù)據(jù)進(jìn)行縮放,采用三維卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行神經(jīng)元幾何形態(tài)的分類實(shí)驗(yàn)。Zhang等[16]提出了采用不同類型的深度神經(jīng)網(wǎng)絡(luò)模塊可以很好地處理不同類型的特征,首先針對(duì)神經(jīng)元圖像數(shù)據(jù)構(gòu)建了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)(CNN)模塊,然后針對(duì)壓縮但非結(jié)構(gòu)化的SWC格式數(shù)據(jù)構(gòu)建了一個(gè)Tree-RNN模塊,最后將這2個(gè)模塊提取到的特征融合后再進(jìn)行分類。Yamashiro等[17]對(duì)大鼠初級(jí)體感皮層(S1)和初級(jí)運(yùn)動(dòng)皮層(M2)中的神經(jīng)元進(jìn)行免疫組織化學(xué)染色,并借助深度學(xué)習(xí)算法對(duì)Nissl和NeuN免疫信號(hào)進(jìn)行二分類。與上述方法不同的是,本文提出的方法是在解決傳統(tǒng)卷積缺陷的基礎(chǔ)上進(jìn)行改進(jìn),并通過融合多個(gè)子網(wǎng)絡(luò)模塊來關(guān)注網(wǎng)絡(luò)感興趣的區(qū)域,從而達(dá)到較好的神經(jīng)元形態(tài)分類性能。

本文以Zhang等[16]制作的大鼠神經(jīng)元形態(tài)數(shù)據(jù)集作為實(shí)驗(yàn)基礎(chǔ),分別在3個(gè)神經(jīng)元圖像數(shù)據(jù)集上進(jìn)行二分類和十二分類實(shí)驗(yàn),以此來驗(yàn)證本文方法的有效性。

2 方 法

神經(jīng)元形態(tài)分類算法一般分為預(yù)處理、特征提取、神經(jīng)元特征分類。面對(duì)具有復(fù)雜多樣結(jié)構(gòu)的神經(jīng)元,對(duì)每個(gè)像素信息的提取都極為重要。在卷積神經(jīng)網(wǎng)絡(luò)中,填充策略可以緩解特征圖收縮和卷積過程中存在的感知偏差,但同時(shí)會(huì)引入新的特征,受Shi等[18]提出的去白化模塊(de-albino block)消除白化特征的啟發(fā),結(jié)合神經(jīng)元形態(tài)數(shù)據(jù)的特點(diǎn),提出基于特征重構(gòu)自愈殘差網(wǎng)絡(luò)(FRSRN)。本節(jié)將概述FRSRN,再詳細(xì)介紹每個(gè)模塊的功能。

2.1 總體框架

本文提出的FRSRN采用ResNet-18作為前端基礎(chǔ)網(wǎng)絡(luò)進(jìn)行特征提取,為了解決卷積填充帶來的問題,在基礎(chǔ)網(wǎng)絡(luò)后端構(gòu)建了特征重構(gòu)模塊,該模塊是由亞像素卷積對(duì)已提取到的特征圖進(jìn)行重組,獲得2個(gè)通道的特征圖,再進(jìn)行二次處理得到更加準(zhǔn)確和干凈的特征,從而更有利于神經(jīng)元形態(tài)分類。同時(shí),為了更好地讓網(wǎng)絡(luò)關(guān)注有效的神經(jīng)元形態(tài)特征,使用自注意力權(quán)重模塊,為每個(gè)樣本重新分配權(quán)重,并在網(wǎng)絡(luò)訓(xùn)練時(shí)引入了排序正則化損失函數(shù)。

如圖1所示,FRSRN主要由3個(gè)模塊組成:特征重構(gòu)模塊、自注意力權(quán)重模塊以及作為輔助的排序正則化模塊。特征重構(gòu)模塊將基礎(chǔ)網(wǎng)絡(luò)提取到的特征重新分配并進(jìn)行二次提取。自注意力權(quán)重模塊進(jìn)一步對(duì)樣本進(jìn)行權(quán)重重新分配,并使用排序正則化模塊對(duì)權(quán)重進(jìn)行排序,從而促進(jìn)網(wǎng)絡(luò)關(guān)注到更加有效的神經(jīng)元形態(tài)特征。

圖1 特征重構(gòu)自愈殘差網(wǎng)絡(luò)

2.2 特征重構(gòu)模塊

傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)在卷積過程中會(huì)出現(xiàn)感知偏差,即圖像邊緣像素與卷積核交互的頻率少于中間像素與卷積核交互的頻率。本文使用7×7的矩陣來表示圖像的像素感知頻率,如圖2所示,通過步幅為1,大小為3的卷積核在7×7的特征圖上進(jìn)行卷積,圖中的數(shù)字表示卷積交互的次數(shù),由此可知在卷積核進(jìn)行卷積的過程中,邊緣像素的感知頻率要低于中間像素的感知頻率。隨著網(wǎng)絡(luò)層數(shù)的加深,容易丟失邊緣的重要信息,非常不利于神經(jīng)元形態(tài)分類。因此,有研究者提出使用填充策略來緩解邊緣信息丟失的問題[5]。而引入填充策略會(huì)帶來新的問題,如使用零填充策略在卷積過程中零元素伴隨卷積操作流入新特征,造成原始特征被侵蝕的問題。

圖2 感知偏差示意圖

考慮到感知偏差和填充策略侵蝕特征都出現(xiàn)在圖像邊緣位置,如果能將受侵蝕程度相同的像素聚集在一起,同時(shí)保持它們的相對(duì)位置分布,再對(duì)其進(jìn)行二次處理,便可緩解在提取過程中出現(xiàn)特征丟失和侵蝕的問題。亞像素卷積[8]可以將通道信息轉(zhuǎn)換為空間信息,同時(shí)還可以保存像素之間的相對(duì)位置。因此,本文在特征重構(gòu)模塊中首先采用亞像素卷積進(jìn)行特征重新分配,其具體實(shí)施過程如圖3所示,將每個(gè)特征圖相對(duì)應(yīng)的位置像素點(diǎn)聚集以獲取更大的特征圖,其中相對(duì)應(yīng)位置像素點(diǎn)的聚集稱為特征簇。

圖3 特征重新分配示例圖

為了更好地實(shí)現(xiàn)神經(jīng)元分類,在基礎(chǔ)網(wǎng)絡(luò)的后端,構(gòu)建特征重構(gòu)模塊以提取更為干凈的形態(tài)特征,其結(jié)構(gòu)如圖4所示。

圖4 特征重構(gòu)模塊

通過ResNet-18提取512個(gè)通道的7×7特征圖,使用亞像素卷積對(duì)特征圖進(jìn)行重構(gòu),得到2個(gè)通道的112×112特征圖,其中特征簇大小為16×16。卷積核的大小和步幅都會(huì)影響感知偏差,因此通過調(diào)整卷積核的大小重新將權(quán)重定性分配給不同位置的像素,同時(shí)考慮2個(gè)通道的相關(guān)性,獲得重構(gòu)后的特征圖進(jìn)行特征提取的卷積核必須為單通道且大于特征簇,這樣才能增強(qiáng)特征的多樣性,確保在特征提取過程中卷積核發(fā)揮作用。同時(shí)卷積核的步幅設(shè)置為8,為特征簇大小的一半。特征重構(gòu)模塊的輸出將2個(gè)通道的特征均值化,分別代表了每個(gè)神經(jīng)元的特征。

2.3 自注意力權(quán)重模塊

自注意力權(quán)重模塊(self-attention weight model)受啟發(fā)于文獻(xiàn)[19],通過自注意力權(quán)重模塊為每個(gè)樣本學(xué)習(xí)一個(gè)權(quán)重,以此捕獲對(duì)樣本的學(xué)習(xí),該模塊由線性全連接層(fully connected layers,FC)和sigmoid函數(shù)組成。在預(yù)測神經(jīng)元的樣本中,會(huì)存在較高或較低的權(quán)重,因此,在改進(jìn)的網(wǎng)絡(luò)中,引入自注意力權(quán)重模塊為神經(jīng)元樣本重新分配權(quán)重,在神經(jīng)元形態(tài)特征中學(xué)習(xí)樣本權(quán)重從而進(jìn)行損失加權(quán)。將F=[F1,F2,…,Fn]∈RH×W×C作為輸入,并輸出每個(gè)特征權(quán)重為

(1)

式中:αi表示第i個(gè)樣本的權(quán)重;Wa表示網(wǎng)絡(luò)關(guān)注FC層的參數(shù);σ為sigmoid函數(shù)。

2.4 排序正則化模塊

由于神經(jīng)元存在結(jié)構(gòu)的相似性和復(fù)雜的多樣性,增強(qiáng)網(wǎng)絡(luò)對(duì)神經(jīng)元形態(tài)特征的學(xué)習(xí)尤為重要。受文獻(xiàn)[19-20]的啟發(fā),采用2個(gè)簡單的損失函數(shù)的線性組合來收斂網(wǎng)絡(luò)訓(xùn)練。首先,對(duì)于N個(gè)神經(jīng)元類別,網(wǎng)絡(luò)輸出N維向量,通過自注意力權(quán)重將輸出結(jié)果歸一化至[0,1]之間,設(shè)Wj表示的是第j個(gè)分類器,Yi表示第i個(gè)樣本中被分為i類的概率,則有

(2)

本文采用對(duì)數(shù)加權(quán)的方法,對(duì)于多分類任務(wù),對(duì)數(shù)加權(quán)交叉熵?fù)p失函數(shù)定義為

(3)

并對(duì)自注意力權(quán)重模塊學(xué)習(xí)到的注意力權(quán)重使用輔助模塊即排序正則化模塊(rank regularization module),該模塊對(duì)學(xué)習(xí)到的注意力權(quán)重進(jìn)行降序排列,然后以一定的比率β權(quán)重分為高低2組權(quán)重。

LRR=max{0,δ-(αH-αL)}

(4)

Lall=LRR+LCE

(5)

式中:LRR表示排序正則化損失函數(shù);LCE表示多分類交叉熵?fù)p失函數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文實(shí)驗(yàn)均在NeuroMorpho-rat數(shù)據(jù)集[16]中的神經(jīng)元二維圖像數(shù)據(jù)集上進(jìn)行,其中包含爬蟲獲得的原始神經(jīng)元圖像(Img-raw)、軟件修復(fù)后生成的神經(jīng)元圖像(Img-resample)和把XY對(duì)齊后的神經(jīng)元圖像數(shù)據(jù)(Img-XYalign),相關(guān)參數(shù)如表1所示。

表1 神經(jīng)元形態(tài)數(shù)據(jù)集的參數(shù)

本文分別對(duì)這3個(gè)神經(jīng)元形態(tài)數(shù)據(jù)集進(jìn)行二分類和十二分類實(shí)驗(yàn)。二分類的神經(jīng)元類型包含主神經(jīng)元(principal cell)和中間神經(jīng)元(iterneuron),十二分類是由6種主神經(jīng)元(principal cell)、3種中間神經(jīng)元(iterneuron)、2種膠質(zhì)神經(jīng)元(glia)和1種感受體神經(jīng)元(sesensor receptor)的12個(gè)子類組成,其中主細(xì)胞神經(jīng)元(principal)包含Ganglion、Granule、Medium spiny、Parachromaffin、Purkinjie和Pyramidal神經(jīng)元,中間神經(jīng)元(iterneuron)包含Basket、GABAergic和Nitrergic神經(jīng)元,膠質(zhì)神經(jīng)元(glia)包含Microglia和Astrocyte神經(jīng)元。

3.2 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)是基于深度學(xué)習(xí)框架PyTorch1.10和解釋器Python3.7實(shí)現(xiàn)的,硬件配置是Intel Xeon Silver 4110 CPU 2.1 GHz、128 GB RAM以及NVIDIA RTX3090 24GB GPU,加速庫為CUDA 11.3。由于數(shù)據(jù)集的數(shù)量、分辨率有所差異,在對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練之前先對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理。將所有輸入圖像裁剪為224×224,3個(gè)數(shù)據(jù)集上的圖像批處理大小設(shè)置為64。訓(xùn)練過程中使用SGD優(yōu)化器對(duì)損失函數(shù)進(jìn)行優(yōu)化,初始學(xué)習(xí)率為10-3,權(quán)重衰減系數(shù)為10-4,γ系數(shù)為0.9。

首先,為了驗(yàn)證本文網(wǎng)絡(luò)模型的有效性,在選定基礎(chǔ)網(wǎng)絡(luò)模型后,將本文提出的方法分別在3個(gè)神經(jīng)元形態(tài)數(shù)據(jù)集上進(jìn)行驗(yàn)證,對(duì)訓(xùn)練好的模型用測試集進(jìn)行測試,生成相應(yīng)的混淆矩陣,并對(duì)神經(jīng)元形態(tài)分類效果進(jìn)行分析。同時(shí)也比較了一些經(jīng)典的分類方法。然后,為了驗(yàn)證各個(gè)模塊對(duì)神經(jīng)元形態(tài)分類的有效性而進(jìn)行了相應(yīng)的消融實(shí)驗(yàn)。最后,使用t-SNE[21]分析高維特征的分布情況。

3.3 基礎(chǔ)網(wǎng)絡(luò)的選取

一般應(yīng)用于圖像分類的深度學(xué)習(xí)網(wǎng)絡(luò)中最常見的分類模型是VGG[21]和ResNet[7]。因此,在Img-resample數(shù)據(jù)集上進(jìn)行十二分類任務(wù),驗(yàn)證深度不同網(wǎng)絡(luò)的神經(jīng)元形態(tài)分類性能,通過評(píng)估網(wǎng)絡(luò)模型的參數(shù)量和分類的準(zhǔn)確率來確定基礎(chǔ)網(wǎng)絡(luò),如表2所示。

表2 基礎(chǔ)網(wǎng)絡(luò)在Img-resample數(shù)據(jù)集上的準(zhǔn)確率

實(shí)驗(yàn)中使用到的超參數(shù)與本文提出的方法一致,輸入圖像均調(diào)整為224×224大小,并且均使用交叉熵?fù)p失的策略來訓(xùn)練網(wǎng)絡(luò)。由表2可以看出,ResNet系列的整體準(zhǔn)確率都優(yōu)于VGG系列。因此從模型參數(shù)量和準(zhǔn)確率這2個(gè)角度綜合考慮,ResNet18可以以較少的參數(shù)量獲得較高的分類準(zhǔn)確率,這表明了ResNet18網(wǎng)絡(luò)模型更適合作為神經(jīng)元形態(tài)分類的前端特征提取器。

3.4 消融實(shí)驗(yàn)

首先,為了驗(yàn)證特征重構(gòu)模塊設(shè)計(jì)的合理性,在Img-resample數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)確定特征重構(gòu)模塊的相關(guān)參數(shù),具體實(shí)施:在整體網(wǎng)絡(luò)框架(見圖1)的特征重構(gòu)模塊上將ResNet18提取到的特征圖重組成大小不同的特征圖進(jìn)行對(duì)比實(shí)驗(yàn)。如圖5所示,分別將基礎(chǔ)網(wǎng)絡(luò)提取到512×7×7的特征圖重組為2×112×112,8×56×56,32×28×28和128×14×14進(jìn)行實(shí)驗(yàn),其中縱坐標(biāo)為分類準(zhǔn)確率,橫坐標(biāo)是特征重組后對(duì)應(yīng)的特征圖大小,512×7×7代表不使用特征重構(gòu)模塊。從折線圖中可以看出,特征圖被重新組合成2×112×112的分類準(zhǔn)確率最高,達(dá)到了86.94%;其次特征圖重組成8×56×56的準(zhǔn)確率為86.06%,而另外2個(gè)組合的分類效果明顯下降,甚至低于未加入特征重構(gòu)模塊的分類效果。實(shí)驗(yàn)結(jié)果表明,在特征重構(gòu)模塊中,將基礎(chǔ)網(wǎng)絡(luò)提取到的特征重組為2個(gè)通道的大特征圖適用于神經(jīng)元形態(tài)分類任務(wù)。

圖5 特征圖重構(gòu)實(shí)驗(yàn)對(duì)比

其次,在Img-resample數(shù)據(jù)集上對(duì)排序正則化模塊的比率和裕度參數(shù)進(jìn)行實(shí)驗(yàn)評(píng)估。β作為高權(quán)重樣本組的比率,在實(shí)驗(yàn)中對(duì)β為0.5～0.9進(jìn)行實(shí)驗(yàn)對(duì)比,實(shí)驗(yàn)結(jié)果如圖6所示。當(dāng)比率為0.7時(shí),分類性能達(dá)到最佳,β過大,會(huì)降低整體網(wǎng)絡(luò)性能,β過小,會(huì)減少訓(xùn)練的損失,不利于學(xué)習(xí)神經(jīng)元形態(tài)特征。

同時(shí),評(píng)估了用于控制高低2組權(quán)重的參數(shù)裕度δ,如圖7所示。實(shí)驗(yàn)結(jié)果表明,裕度值為0.15時(shí),分類性能較好。

通過上述實(shí)驗(yàn),確定了基礎(chǔ)網(wǎng)絡(luò)為ResNet18,特征重構(gòu)模塊由亞像素卷積重構(gòu)特征圖,獲得2個(gè)通道的大特征圖并使用大卷積核進(jìn)行二次處理,同時(shí)引入自注意力權(quán)重模塊和排序正則化模塊,其中,排序正則化模塊將學(xué)習(xí)到的權(quán)重以7∶3的比例分為高權(quán)重組和低權(quán)重組。表3列出了本文提出網(wǎng)絡(luò)模型的詳細(xì)信息。本文以ResNet18作為前端特征提取網(wǎng)絡(luò),保留了全局平均池化層(global average pool)之前的網(wǎng)絡(luò)層(ResNet18*),并使用在ImageNet上的預(yù)訓(xùn)練權(quán)重進(jìn)行初始化。通過基礎(chǔ)網(wǎng)絡(luò)提取到大小為512×7×7的特征圖,使用亞像素卷積將特征重新組合,重組后的特征通道由512個(gè)通道減少為2個(gè)通道,特征圖大小增加到112×112,經(jīng)過此操作獲得更大的特征圖,利于后續(xù)二次特征提取,緩解特征弱化問題。此外,本文還引入了自注意力權(quán)重模塊,促進(jìn)網(wǎng)絡(luò)更好地關(guān)注有判別性的神經(jīng)元形態(tài)特征。

表3 FRSRN網(wǎng)絡(luò)的詳細(xì)信息

最后,為了評(píng)估本文提出網(wǎng)絡(luò)中各個(gè)模塊的有效性,以在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的ResNet18為基礎(chǔ)網(wǎng)絡(luò),在Img-raw、Img-resample和Img-XYalign 3個(gè)神經(jīng)元形態(tài)數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)。具體實(shí)施:以ResNet18為基礎(chǔ)網(wǎng)絡(luò),再逐步加入特征重構(gòu)模塊(FRM),自注意力權(quán)重模塊(weight)和排序正則化模塊(RRM),并在3個(gè)數(shù)據(jù)集上分別進(jìn)行實(shí)驗(yàn)驗(yàn)證,比較最終的分類準(zhǔn)確率。其中,每個(gè)數(shù)據(jù)集上都分別進(jìn)行了二分類和十二分類實(shí)驗(yàn)。從表4的消融實(shí)驗(yàn)結(jié)果上看,分別融合3個(gè)模塊的網(wǎng)絡(luò)均能在基礎(chǔ)網(wǎng)絡(luò)上提升神經(jīng)元形態(tài)分類的準(zhǔn)確率。在基礎(chǔ)網(wǎng)絡(luò)上引入特征重構(gòu)模塊,結(jié)果顯示3個(gè)數(shù)據(jù)集上的分類準(zhǔn)確率分別提高了7.51%,0.11%,1.24%,說明特征重構(gòu)模塊能夠有效緩解邊緣信息丟失的問題。在此基礎(chǔ)上,加入自注意力權(quán)重模塊,使網(wǎng)絡(luò)能夠更加關(guān)注到具有判別性的神經(jīng)元形態(tài)特征,神經(jīng)元識(shí)別率得到提升。改進(jìn)后的網(wǎng)絡(luò)模型在3個(gè)數(shù)據(jù)集上進(jìn)行二分類實(shí)驗(yàn),分別達(dá)到了95.19%,87.67%,87.18%的分類準(zhǔn)確率。

表4 FRSRN在3個(gè)神經(jīng)元數(shù)據(jù)集上消融實(shí)驗(yàn)的結(jié)果(二分類)

表5是在3個(gè)數(shù)據(jù)集上分別進(jìn)行十二分類的消融實(shí)驗(yàn)結(jié)果。網(wǎng)絡(luò)將3個(gè)模塊融合使用,使得神經(jīng)元形態(tài)分類獲得更高的分類準(zhǔn)確率,在3個(gè)數(shù)據(jù)集上的分類準(zhǔn)確率分別為96.7%,86.94%,85.84%,相比較于基礎(chǔ)網(wǎng)絡(luò),分別提高了9.05%,2.56%,0.27%。

通過消融實(shí)驗(yàn),驗(yàn)證了同時(shí)融合3個(gè)模塊可以解決傳統(tǒng)卷積提取邊緣特征能力的不足,并增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)的能力,能有效地增強(qiáng)神經(jīng)元形態(tài)特征的表達(dá)能力和提升網(wǎng)絡(luò)的整體性能,從而提高網(wǎng)絡(luò)對(duì)神經(jīng)元形態(tài)類型分類的準(zhǔn)確率。

3.5 不同分類方法性能對(duì)比

為了探究該方法在神經(jīng)元形態(tài)數(shù)據(jù)集上的表現(xiàn)能力,將本文提出方法與現(xiàn)有的經(jīng)典圖像分類網(wǎng)絡(luò)(ResNet[7]、ResNeXt[22]和文獻(xiàn)[16])進(jìn)行對(duì)比,分別在3個(gè)神經(jīng)元形態(tài)數(shù)據(jù)集上進(jìn)行二分類和十二分類實(shí)驗(yàn)。此外,Zhang等[16]提出不同類型的深度卷積網(wǎng)絡(luò)可以處理不同格式的神經(jīng)元形態(tài)特征,對(duì)于SWC格式數(shù)據(jù)提出了Tree-RNN模塊,對(duì)于神經(jīng)元二維圖像構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)(CNN),并將2個(gè)模型集成獲取最終的分類結(jié)果。而本文只針對(duì)神經(jīng)元二維圖像進(jìn)行研究,為了實(shí)驗(yàn)的合理性,實(shí)驗(yàn)對(duì)比的數(shù)據(jù)是在神經(jīng)元二維圖像數(shù)據(jù)集上的分類準(zhǔn)確率。

表6的數(shù)據(jù)為本文提出的網(wǎng)絡(luò)模型與其他分類方法在3個(gè)數(shù)據(jù)集上進(jìn)行二分類的實(shí)驗(yàn)結(jié)果。其中FRSRN在Img-raw數(shù)據(jù)集上分類準(zhǔn)確率達(dá)到了95.19%,在Img-resample數(shù)據(jù)集上分類的準(zhǔn)確率為87.67%,在Img-XYalign數(shù)據(jù)集上取得了87.18%的準(zhǔn)確率。對(duì)比基礎(chǔ)網(wǎng)絡(luò)ResNet18,FRSRN在3個(gè)數(shù)據(jù)集上的分類準(zhǔn)確率分別提高了8.38%,2.41%,1.68%。與Zhang等[16]使用CNN方法相比,FRSRN在3個(gè)數(shù)據(jù)集上的分類準(zhǔn)確率分別提高了7.32%,3.63%,1.52%。從表中的實(shí)驗(yàn)數(shù)據(jù)可以看出,本文提出的方法在處理神經(jīng)元二分類任務(wù)中獲得較高的分類準(zhǔn)確率。

表6 不同分類方法性能對(duì)比結(jié)果(二分類)

表7展示了本文提出的網(wǎng)絡(luò)模型與其他分類方法在3個(gè)數(shù)據(jù)集上進(jìn)行十二分類的實(shí)驗(yàn)結(jié)果。與其他分類方法相比較,FRSRN在神經(jīng)元形態(tài)分類的準(zhǔn)確率上有了明顯提升,其中在Img-raw數(shù)據(jù)集上分類準(zhǔn)確率達(dá)到了96.7%,在Img-resample數(shù)據(jù)集上分類的準(zhǔn)確率為86.94%,在Img-XYalign數(shù)據(jù)集上取得了85.84%的準(zhǔn)確率。與基礎(chǔ)網(wǎng)絡(luò)ResNet18對(duì)比,FRSRN在3個(gè)數(shù)據(jù)集上的分類準(zhǔn)確率分別提高了9.05%,2.56%,0.39%。與文獻(xiàn)[16]使用的CNN方法相比,FRSRN在3個(gè)數(shù)據(jù)集上的分類準(zhǔn)確率分別提高了10.7%,3.7%,0.16%。

表7 不同分類方法性能對(duì)比結(jié)果(十二分類)

綜上,使用了不同分類方法對(duì)神經(jīng)元分類性能進(jìn)行比較,證明了本文提出的特征重構(gòu)自愈殘差網(wǎng)絡(luò)在神經(jīng)元形態(tài)數(shù)據(jù)集上對(duì)神經(jīng)元類型進(jìn)行分類的有效性。同時(shí)也說明了融合特征重構(gòu)子模塊和自注意力權(quán)重子模塊能夠有效提高網(wǎng)絡(luò)性能,增強(qiáng)神經(jīng)元形態(tài)特征的表達(dá),從而有效地劃分神經(jīng)元類型。

3.6 混淆矩陣與訓(xùn)練過程分析

為了觀察本文提出的特征重構(gòu)自愈殘差網(wǎng)絡(luò)在神經(jīng)元形態(tài)數(shù)據(jù)集上的訓(xùn)練過程及模型收斂情況,將訓(xùn)練過程繪制成曲線圖以便分析。

圖8為本文方法在訓(xùn)練和測試過程中的損失曲線圖。從圖中可以看出,訓(xùn)練集和測試集的損失都能得到很好收斂,在前20個(gè)迭代中,兩者的損失值均迅速下降,其中測試集的損失值下降到0.15后趨于平穩(wěn)。

圖8 FRSRN訓(xùn)練和測試的損失曲線

圖9為本文提出方法的分類準(zhǔn)確率變化曲線圖。從圖中可以看出,在整個(gè)過程中,訓(xùn)練集和測試集在20個(gè)迭代之前準(zhǔn)確率均迅速上升,其中測試集的準(zhǔn)確率上升到約95%趨于平穩(wěn)。

圖9 FRSRN訓(xùn)練和測試的準(zhǔn)確率曲線

同時(shí),為了觀察神經(jīng)元類型的分類情況,對(duì)神經(jīng)元形態(tài)數(shù)據(jù)集進(jìn)行混淆矩陣實(shí)驗(yàn)。圖10是神經(jīng)元原始二維圖像數(shù)據(jù)集的分類混淆矩陣,圖中“0”表示主神經(jīng)元,“1”表示中間神經(jīng)元,對(duì)角線上的值表示網(wǎng)絡(luò)對(duì)神經(jīng)元類型預(yù)測準(zhǔn)確的概率。對(duì)于二分類,主神經(jīng)元的識(shí)別率為0.86,中間神經(jīng)元的識(shí)別率為0.93。十二分類的混淆矩陣如圖11所示,其中感受體細(xì)胞和金字塔神經(jīng)元的識(shí)別率均為1,且大部分的神經(jīng)元識(shí)別率都超過了0.9,說明網(wǎng)絡(luò)能很好地準(zhǔn)確分類原始神經(jīng)元圖像。圖12給出了分類Img-resample數(shù)據(jù)集的混淆矩陣,二分類中由于神經(jīng)元類內(nèi)形態(tài)結(jié)構(gòu)高度相似,主神經(jīng)元很大概率會(huì)被識(shí)別成中間神經(jīng)元。而經(jīng)過處理的神經(jīng)元數(shù)據(jù),在十二分類中神經(jīng)元識(shí)別效果卻沒有原始的數(shù)據(jù)好,如在識(shí)別感受體細(xì)胞時(shí),有0.64的概率被預(yù)測成了藍(lán)狀細(xì)胞,證明這2類細(xì)胞的形態(tài)相似度比較高。

圖10 Img-raw的二分類混淆矩陣

圖11 Img-raw混淆矩陣

根據(jù)上述實(shí)驗(yàn)結(jié)果可以看出,應(yīng)用特征重構(gòu)自愈殘差網(wǎng)絡(luò)分類神經(jīng)元的形態(tài)類別,在Img-raw數(shù)據(jù)集上達(dá)到了很好的分類效果。而在網(wǎng)絡(luò)處理Img-resample數(shù)據(jù)集時(shí),面對(duì)幾何形態(tài)差異較小的神經(jīng)元時(shí)分類效果不甚理想。

3.7 結(jié)果可視化與分析

卷積神經(jīng)網(wǎng)絡(luò)對(duì)神經(jīng)元圖像形態(tài)分類的性能表現(xiàn)優(yōu)異,但其無法觀察到網(wǎng)絡(luò)模型提取到的高維特征是否具有可分性。因此需要將高維特征數(shù)據(jù)進(jìn)行有效的可視化以更加直觀和方便地分析高維特征數(shù)據(jù)。本文采用t-SNE(t-distributed stochastic neighbor embedding)[21]算法將數(shù)據(jù)可視化。t-SNE是一種非線性降維算法,可以保留數(shù)據(jù)的局部和全局結(jié)構(gòu)。在高維樣本點(diǎn)空間中構(gòu)建條件概率

(6)

式中:σi表示方差。

本文將高維數(shù)據(jù)映射到二維空間,使用條件概率來衡量高維和低維數(shù)據(jù)點(diǎn)之間的相似性

(7)

同時(shí)使用KL散度衡量2個(gè)分布之間的差異

(8)

圖13展示了對(duì)基于FRSRN提取到的高維特征進(jìn)行t-SNE分析的示意圖,其中“0”代表主神經(jīng)元,“1”代表中間神經(jīng)元。初始化數(shù)據(jù)向量維數(shù)為121,將其降維并做可視化處理如圖13所示。圖中不同神經(jīng)元的分布區(qū)域不同,只有少數(shù)中間神經(jīng)元被錯(cuò)分為主神經(jīng)元,結(jié)果表明FRSRN可以有效地檢測到神經(jīng)元的形態(tài)特征。

圖13 FRSRN進(jìn)行二分類的t-SNE可視化

圖14給出了十二分類神經(jīng)元的t-SNE分布,將不同類型的神經(jīng)元?jiǎng)澐譃椴煌臉颖窘M,意味著神經(jīng)元類型的分類符合網(wǎng)絡(luò)學(xué)習(xí)到的特征。

圖14 FRSRN進(jìn)行十二分類的t-SNE可視化

4 結(jié) 論

針對(duì)神經(jīng)元的形態(tài)結(jié)構(gòu)復(fù)雜,不同神經(jīng)元之間的形態(tài)特征相似度高,難以實(shí)現(xiàn)自動(dòng)分類的問題,提出了一種基于特征重構(gòu)自愈殘差網(wǎng)絡(luò)的神經(jīng)元形態(tài)分類方法,可以有效地抑制傳統(tǒng)卷積帶來的缺陷,防止深度卷積網(wǎng)絡(luò)過度擬合神經(jīng)元圖像。本文提出的網(wǎng)絡(luò)先以ResNet18為基礎(chǔ)網(wǎng)絡(luò),提取神經(jīng)元的形態(tài)特征,然后在網(wǎng)絡(luò)后端構(gòu)建特征重構(gòu)模塊,使用亞像素卷積對(duì)特征圖進(jìn)行重組,并使用大步幅的卷積核二次提取特征,從而緩解特征到侵蝕。同時(shí),使用自注意力權(quán)重模塊捕獲樣本權(quán)重進(jìn)行損失加權(quán),并采用排序正則化模塊作為輔助模塊,確保自注意力權(quán)重模塊學(xué)習(xí)到有意義的樣本,從而提高分神經(jīng)元分類準(zhǔn)確率。所提出的方法有效地提高了網(wǎng)絡(luò)對(duì)神經(jīng)元形態(tài)特征相關(guān)區(qū)域的關(guān)注度,與基礎(chǔ)網(wǎng)絡(luò)模型和其他經(jīng)典的分類方法相比,可以有效地提高神經(jīng)元形態(tài)分類的準(zhǔn)確率。當(dāng)然,神經(jīng)元形態(tài)分類方法還有著較大的改進(jìn)空間,實(shí)驗(yàn)中發(fā)現(xiàn)仍存在一些問題對(duì)神經(jīng)元形態(tài)分類效果具有較大影響,如神經(jīng)元各類型之間存在高度相似性,尤其是同種類型的不同亞類之間具有高度相似的結(jié)構(gòu),網(wǎng)絡(luò)難以從這些樣本中學(xué)習(xí)到細(xì)微的差異性特征。在未來的工作中,將進(jìn)一步考慮神經(jīng)元的幾何形態(tài)特性,實(shí)現(xiàn)更多的面向神經(jīng)元分類任務(wù)的網(wǎng)絡(luò),提高判別性特征的質(zhì)量,進(jìn)而更好地完成神經(jīng)元形態(tài)分類任務(wù)。