鄭子賢, 張小涵, 陳 冰, 徐南陽

(合肥工業(yè)大學(xué) 電子科學(xué)與應(yīng)用物理學(xué)院,安徽 合肥 230601)

0 引 言

金剛石的主要化學(xué)成分是碳,同時包含氮、硅、硼等雜質(zhì),雜質(zhì)的滲入以及多種結(jié)構(gòu)缺陷使得金剛石呈現(xiàn)不同顏色。由于氮原子和碳原子的大小最為接近,容易進入晶格,因此天然金剛石中摻雜濃度最高的一般是氮元素。金剛石氮-空位(nitrogen-vacancy,NV)色心就是金剛石中由氮原子形成的晶體缺陷,在金剛石中,若1個碳原子被1個氮原子替代并且相鄰位置的碳原子缺失形成空穴,則構(gòu)成1個NV色心。金剛石NV色心具有熒光穩(wěn)定性好、熒光強度高,其中的電子自旋相干時間較長,同時易于實現(xiàn)微波操控和光學(xué)激發(fā)等優(yōu)良特性,這使得金剛石NV色心被廣泛應(yīng)用于量子技術(shù)領(lǐng)域。

本文實驗采用的系統(tǒng)結(jié)構(gòu)如圖1所示。在真實的實驗場景下,掃描到的數(shù)據(jù)是金剛石某區(qū)域的單光子計數(shù)率矩陣,本文把計數(shù)率矩陣轉(zhuǎn)化為灰度圖。由于實驗中不可避免地存在噪音和干擾,色心圖中會存在由這些干擾產(chǎn)生的亮斑,加大了NV色心識別的難度;目前的目標檢測模型對于大目標檢測的效果比小目標要好,而對于NV色心圖,大部分NV色心目標相對于圖片尺度都是比較小的目標,同樣不利于色心目標的檢測。目前的實驗平臺識別NV色心主要依賴于實驗人員以往的經(jīng)驗,再借助光探測磁共振(optically detected magnetic resonance,ODMR)實驗來確認是否為NV色心,存在識別速度慢、誤識別率高等問題。

圖1 系統(tǒng)結(jié)構(gòu)圖

近年來,卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用在圖像相關(guān)領(lǐng)域[1-4]。目前基于卷積網(wǎng)絡(luò)的目標檢測方法主要有2類:① 基于候選框提取的兩階段(two stages)算法,主要由文獻[5]的基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(region-based convolutional neural network, R-CNN)模型發(fā)展而來,包括進一步改進的空間金字塔池化網(wǎng)絡(luò)(spatial pyramid pooling in deep convolutional networks for visual recognition, SPP-Net)[6]、Fast R-CNN[7]、Faster R-CNN[8]等模型,這些模型網(wǎng)絡(luò)相對復(fù)雜、運行速度慢,但是網(wǎng)絡(luò)精度高;② 直接回歸的一階段(one stage)目標檢測算法,主要是YOLO[9]及其改進的模型,以及SSD(single shot multiBox detector)模型[10],和兩階段算法相比,一階段算法模型結(jié)構(gòu)簡單、容易訓(xùn)練,在獲得檢測速度提升的情況下依然能夠保持比較高的識別率。

本文在以上目標識別方法的基礎(chǔ)上,針對金剛石NV色心圖噪音大、色心目標較小的特點,提出金剛石NV色心自動識別框架,可以快速、準確地對色心目標進行自動識別,大大提高了實驗效率。

1 算法框架

1.1 基礎(chǔ)網(wǎng)絡(luò)設(shè)計

本文采用的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)見表1所列。表1中Conv×2表示完全一樣的卷積層堆疊2次。網(wǎng)絡(luò)在AlexNet[11]和VGGNet[12-13]的基礎(chǔ)上作出改進。整個網(wǎng)絡(luò)包含8個階段(又稱block)的特征提取過程,8個block逐層堆疊形成整個特征提取網(wǎng)絡(luò),即每個block的第1層卷積層的輸入是前一個block最終的輸出,當前block最后一層的輸出為下一個block的輸入。每個階段會輸出相應(yīng)的特征提取結(jié)果,由于金剛石NV色心圖被縮放至300×300大小作為網(wǎng)絡(luò)的輸入,經(jīng)過每個階段的特征提取后,特征圖尺度分別為150×150、75×75、38×38、19×19、10×10、5×5、3×3、1×1。

表1 基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)

注:填充取值為1表示在輸入特征圖周圍填充1個像素點的值,取值為0表示不作填充。

對于block設(shè)計,本文采用的卷積核有2種尺度,即1×1和3×3。與更大尺度的卷積核相比,如5×5、7×7,在相同感受野的情況下,3×3卷積核具有更少的網(wǎng)絡(luò)參數(shù)以及更多的非線性表達。網(wǎng)絡(luò)參數(shù)更少意味著模型更容易訓(xùn)練并且降低了過擬合的風(fēng)險,更多的非線性表達則提高了模型的表達能力。

此外,使用1×1卷積核可以大大降低模型運算量,如圖2所示。圖2中,W、H、C分別表示特征圖的寬度、高度、通道數(shù),w、h分別表示濾波器的寬度、高度。圖2a所示為沒有使用1×1卷積核的2層網(wǎng)絡(luò),圖2b所示為使用了1×1卷積核的2層網(wǎng)絡(luò)。圖2a網(wǎng)絡(luò)和圖2b網(wǎng)絡(luò)的輸入、輸出完全一致,但不同的是,圖2a網(wǎng)絡(luò)乘法運算量為W2H2C2whC1,圖2b網(wǎng)絡(luò)乘法運算量為W1H1C12+W2H2C2whC12。

在圖2b網(wǎng)絡(luò)乘法運算量中,通常后項遠大于前項,因此,圖2b網(wǎng)絡(luò)與圖2a網(wǎng)絡(luò)的運算量比值為:

在基礎(chǔ)網(wǎng)絡(luò)設(shè)計中,本文通過控制C12=0.5C1,大大降低了模型運算量。

圖2 通道降維

1.2 多尺度檢測

金剛石NV色心目標比較小,對于1.1節(jié)中的特征提取網(wǎng)絡(luò),本文除了在最終的特征圖上預(yù)測目標位置和類別概率,還采用多尺度檢測的思路以提高模型對色心目標的檢出能力,如圖3所示。圖3a所示為僅使用最終輸出的特征圖預(yù)測,此時的特征圖語義信息豐富,但是特征圖尺度小,會丟失大量的位置信息,不利于預(yù)測金剛石NV色心的位置。而在圖3b中,模型在多個尺度的輸出特征圖上進行預(yù)測,和高層的特征圖相比,淺層的特征圖會更多地包含色心目標的位置信息,這會提高模型對金剛石NV色心位置的預(yù)測能力。本文在block4、block5、block6、block7、block8等5個尺度的特征圖上進行預(yù)測。

圖3 多尺度檢測

本文在模型中引入了先驗框的概念,即在block4～block8模塊的輸出特征圖上,每個特征點對應(yīng)9種不同的先驗框(包含了3種尺度和3種比例)。模型預(yù)測的是每個先驗框區(qū)域的二分類概率分布和對先驗框位置參數(shù)x、y、w、h的修正。其中,x、y為邊框中心點坐標;w、h分別為邊框的寬和高。因此,每個特征點對應(yīng)的輸出通道數(shù)為9×(2+4)=54。最后,模型通過非極大值抑制去除重復(fù)邊框,再把屬于金剛石NV色心的概率小于0.5的邊框去除,得到最終預(yù)測結(jié)果。

2 算法實現(xiàn)

2.1 數(shù)據(jù)集

本文采用的NV色心數(shù)據(jù)集都是來自量子實驗平臺對金剛石的掃描結(jié)果,從實驗平臺得到的數(shù)據(jù)是某個區(qū)域的計數(shù)率,在數(shù)據(jù)預(yù)處理階段,本文把大于255的計數(shù)率置為255,從而得到灰度圖作為輸入圖片。實驗共收集了100張金剛石NV色心圖片,其中70%作為訓(xùn)練集,30%作為測試集。

2.2 損失函數(shù)

模型的損失函數(shù)包含2個部分:① 先驗框中包含目標的分類損失;② 先驗框相對于真實邊框位置的偏移形成的回歸損失。對于一個先驗框P,對應(yīng)的真實邊框為G,其類別為y∈{0,1},模型預(yù)測P的概率分布為f(P),P相對于G的偏移量為t=t(P,G),模型預(yù)測P的偏移量為g(P),則模型的損失函數(shù)為:

L(y,t,f(P),g(P))=Lcls(y,f(P))+λ[y≠0]Lloc(t,g(P))。

其中,Lcls為候選框的分類損失;Lloc為候選框的回歸損失;λ為分類損失和回歸損之間的平衡因子,本文取λ=1;[y≠0]表示只有類別為色心的先驗框才計算回歸損失,其表達式為:

對于分類損失,本文選擇交叉熵損失函數(shù);對于回歸損失,模型不是直接輸出修正后的邊框,而是會對先驗框的偏移量t進行建模。對于先驗框P=(Px,Py,Pw,Ph)以及P對應(yīng)的真實邊框G=(Gx,Gy,Gw,Gh),兩者的偏移量為t=(tx,ty,tw,th)。其中,tx=(Gx-Px)/Px;ty=(Gy-Py)/Py;tw=lb(Gw/Pw);th=lb(Gh/Ph)。

模型會輸出對偏移量的預(yù)測值g(P)=(gx(P),gy(P),gw(P),gh(P))。因此,對于g(P)和回歸目標t,本文采用smoothL1函數(shù)計算回歸損失,即

其中

2.3 模型訓(xùn)練

采用Adam[14]的方法進行參數(shù)優(yōu)化,Adam優(yōu)化器的參數(shù)δ1、δ2為指數(shù)衰減因子,本文設(shè)置δ1=0.9,δ2=0.999,模型沒有進行預(yù)訓(xùn)練,而是直接隨機初始化參數(shù)。優(yōu)化目標在損失函數(shù)的基礎(chǔ)上加入L2正則化,即所有參數(shù)的均方和,正則化的平衡因子為0.000 4。初始化學(xué)習(xí)率為0.01,在整個模型收斂過程中,學(xué)習(xí)率按照指數(shù)方式衰減。

3 實驗結(jié)果與分析

首先在測試集上運行模型,會輸出一系列邊框以及對應(yīng)的概率分布,當邊框區(qū)域為色心的概率大于某個概率閾值時認為該邊框為色心。在概率閾值為0.5時3張圖片的識別結(jié)果如圖4所示。

從圖4可以看出,對于不同目標數(shù)量和噪音大小,模型基本能夠準確識別出金剛石NV色心目標。

圖4 概率閾值為0.5時3張圖片的識別結(jié)果

本文測試了在不同的概率閾值下,模型的召回率、準確率及F1值,結(jié)果如圖5所示。

隨著概率閾值的提高,模型的召回率下降,準確率上升,F1值先上升再下降;當概率閾值選擇0.072時,模型的召回率與準確率相等,此時F1值最大,為95.5%;通常選擇概率閾值為0.5,此時召回率為93.7%,準確率為97.3%,F1值為95.5%。

在測試集上對模型的性能進行綜合評估,包括目標的召回率、準確率和平均準確率3個評價指標。模型會輸出大量的邊框和對應(yīng)概率,然后根據(jù)交并比閾值和圖片真實的邊框進行匹配,最后計算模型的性能指標。

不同交并比閾值時的準確率-召回率曲線如圖6所示。

圖6 不同交并比閾值下準確率-召回率曲線

從圖6可以看出:

(1) 對于任意一條曲線,隨著召回率的提高,模型的準確率都會下降;反之亦然。其原因在于計算準確率-召回率曲線時,會依次選擇不同的概率閾值,為色心的概率大于這個閾值的邊框預(yù)測為正例,隨著閾值的降低,更多的邊框被預(yù)測為包含色心,因此總能包含更多的真實色心目標,即召回率升高,但是會造成預(yù)測為色心的邊框中其實不是色心,即準確率下降。

(2) 在交并比閾值取0.5、0.6或0.7時,模型能夠同時具有較好的準確率和召回率,原因在于交并比閾值低意味著邊框的匹配條件更寬松,因此召回率和準確率會更高;相反,在閾值取0.8或者0.9時,模型的準確率和召回率都迅速下降。

模型的平均準確率隨交并比閾值的變化情況如圖7所示。從圖7可以看出,在閾值相對較低時,平均準確率接近于100%,隨著閾值升高到1.0,平均準確率逐漸降低到0。通常選擇閾值為0.5,此時模型的平均準確率為96.49%,表明模型完全能夠兼顧準確率和召回率,具有較高的檢出率以及很低的誤檢概率。

圖7 平均準確率隨交并比閾值變化曲線

4 結(jié) 論

本文針對金剛石NV色心目標自身噪音大、目標小等特點,使用卷積神經(jīng)網(wǎng)絡(luò)的方法,設(shè)計并搭建基礎(chǔ)卷積網(wǎng)絡(luò)進行特征提取,設(shè)計多任務(wù)損失函數(shù)并進行模型參數(shù)優(yōu)化,最終實現(xiàn)了金剛石NV色心目標的自動識別。實驗結(jié)果表明,模型具有較高的召回率和準確率以及平均準確率,這表明模型能夠準確區(qū)分金剛石NV色心目標和噪音,與人工進行色心識別相比,大大提高了識別效果,提升了實驗效率。

在量子實驗平臺上噪音受多種因素影響且無法完全避免,得到的色心圖也多種多樣,這對目標檢測模型提出了更高的要求。本文需要進一步提升在各種噪音干擾情況下模型的適用性和健壯性,同時提高模型檢測的速率,與原有平臺軟件進行整合,將識別算法與ODMR物理驗證實驗相結(jié)合,最終實現(xiàn)金剛石NV色心的在線自動識別。