雷 濤 李云彤 周文政 袁啟斌 王成兵 張小紅

陶瓷是一種多晶材料,具有高熔點、高硬度和高耐磨性的特點,目前已廣泛應用于民生、電子通訊、醫(yī)療和軍工等領域.為了提升陶瓷材料品質(zhì),研究人員通常利用掃描電子顯微鏡(Scanning electron microscope,SEM)對陶瓷樣品掃描成像,通過分析圖像中晶粒的尺寸分布來估計陶瓷樣品的物理屬性[1].掃描電子顯微鏡的工作原理是通過高壓將電子束打在樣品表面,電子與樣品表面材料相互作用產(chǎn)生電信號,對電信號接收處理后顯示成像結(jié)果.陶瓷材料的SEM 圖像由材料區(qū)域(即晶粒)和晶粒間的空隙(即晶界)組成,由于陶瓷是一種絕緣材料,不具備導電的性質(zhì),在成像時容易被高壓電擊穿[2].為了避免此類情況,需要控制晶粒尺寸盡可能小,即同樣大小的面積內(nèi)存在更多的晶界,使高壓電從晶界導出,保護陶瓷樣本不被擊穿.然而晶粒尺寸直接決定了陶瓷材料的性能[3],因此需要統(tǒng)計SEM 圖像中晶粒尺寸大小的分布,進而間接建立實驗條件與陶瓷材料性能的對應關(guān)系.目前,SEM 圖像中的晶粒分析主要依靠人工手段,測量結(jié)果具有明顯的局限性:首先,一幅陶瓷SEM 圖像中包含大量晶粒,人工統(tǒng)計耗時耗力,測量難度大、效率低;其次,晶粒大小形狀不規(guī)則,人工測量易受主觀因素影響而導致誤差較大.因此,研究一種能夠自動測量晶粒尺寸且準確率高、運算速度快的算法對分析陶瓷材料物理屬性具有重要意義.

為了分析陶瓷材料的物理屬性,首先應該分析陶瓷材料SEM 圖像中的晶粒尺寸分布,SEM 圖像具有以下幾個特點:圖像邊緣信息豐富但紋理信息缺失,圖像中的晶粒大小不均勻且形狀不規(guī)則,圖像的對比度較低.基于上述特點,利用圖像分割技術(shù)實現(xiàn)對晶粒的分割,然后統(tǒng)計晶粒的大小分布是一種可行的方法.然而圖像分割方法眾多,常用的方法有基于像素的圖像分割方法、基于輪廓的圖像分割方法、基于區(qū)域的圖像分割方法和基于深度學習的圖像分割方法.

基于像素的圖像分割方法有閾值法[4]和聚類方法,其中閾值法嚴重依賴于閾值個數(shù)及參數(shù)選取,實際分割結(jié)果較為粗糙,而基于聚類的方法魯棒性高,因此應用較為廣泛.聚類方法主要涉及分層聚類[5]、模糊聚類[6]和譜聚類[7].分層聚類算法利用像素之間的相似性進行層次分解,該類算法計算簡單,便于執(zhí)行,但分割結(jié)果依賴于樹的構(gòu)建及閾值選取.模糊聚類算法[8]利用最小誤差準則構(gòu)建目標函數(shù),通過優(yōu)化目標函數(shù)得到每個像素到聚類中心的隸屬度,根據(jù)隸屬度可以實現(xiàn)像素分類.該類算法能夠?qū)崿F(xiàn)圖像的快速分割,但容易忽略圖像的空間結(jié)構(gòu)信息、且對噪聲較為敏感.基于譜聚類的圖像分割算法是將圖像視為一個大的矩陣,將圖像分割問題轉(zhuǎn)化為矩陣特征值分解問題,該算法能獲得連續(xù)域中的全局最優(yōu)解,但分割結(jié)果對相似度矩陣構(gòu)建較為敏感.

基于輪廓的圖像分割通常采用能量泛函方法,該方法將圖像分割問題轉(zhuǎn)變?yōu)槟芰糠汉淖钚≈登蠼膺^程,主要涉及參數(shù)活動輪廓模型[9]和幾何活動輪廓模型[10].參數(shù)活動輪廓模型首先構(gòu)建一條可變形的參數(shù)曲線及相應的能量函數(shù),以最小化能量目標函數(shù)為目標,通過控制參數(shù)曲線變形以實現(xiàn)具有最小能量的閉合曲線,并將其作為目標輪廓.幾何活動輪廓模型以水平集方法為代表,該類方法將輪廓視為一個高維函數(shù)的零水平集,通過對該水平集函數(shù)進行微分,從輸出中提取零水平集,進而得到輪廓線.基于能量泛函的圖像分割方法不依賴于圖像的邊緣及紋理特征,因此對于噪聲強度大、灰度不均勻、對比度較低且目標邊界模糊的圖像分割效果較好,但算法計算復雜度較高,且分割結(jié)果依賴于初始輪廓的選取.

基于區(qū)域的圖像分割方法主要涉及兩個重要步驟,圖像超像素分割[11]和區(qū)域合并[12-13],其基本思想是首先對圖像進行過分割,然后利用過分割結(jié)果進行區(qū)域合并以生成最終分割結(jié)果.主流的超像素算法如簡單的線性迭代聚類(Simple linear iterative clustering,SLIC)[14]、線性譜聚類(Linear spectral clustering,LSC)[15]、基于熵率的超像素分割算法[16]等,這些超像素算法大多都采用了局部網(wǎng)格內(nèi)的輪廓迭代優(yōu)化策略.該類算法的優(yōu)勢在于能夠獲得基于預設區(qū)域數(shù)目的超像素分割結(jié)果,且在局部區(qū)域內(nèi)能獲得較為準確的輪廓邊界,缺陷在于優(yōu)化策略僅在局部區(qū)域內(nèi)進行,因此超像素塊大小均勻,很難捕獲真實的目標輪廓.

近年來,隨著深度學習[17]的快速發(fā)展,圖像語義分割[18]越來越受到學者們的關(guān)注.與傳統(tǒng)的圖像分割不同,圖像語義分割本質(zhì)上是對圖像的像素進行分類,將輸入圖像中的每個像素分配一個語義類別,以得到像素化的密集分類.Long 等[19]率先提出了面向圖像語義分割的端到端全卷積網(wǎng)絡(Fully Convolutional network,FCN),該網(wǎng)絡首次采用了低層與高層語義特征融合思路,并采用轉(zhuǎn)置卷積層作為解碼器以代替全連接層從而實現(xiàn)了從圖像像素到像素類別的轉(zhuǎn)換.與經(jīng)典的卷積神經(jīng)網(wǎng)絡(Convolutional neural network,CNN)相比,FCN 不僅有效提升了圖像語義分割精度,而且開創(chuàng)了編解碼網(wǎng)絡結(jié)構(gòu),為其后各種圖像語義分割網(wǎng)絡奠定了基礎.圖像分割結(jié)果除了與解碼器結(jié)構(gòu)設計有關(guān)外,還與上下文信息獲取密切相關(guān).為了獲得更寬的感受野以學習更為有效的圖像特征,He 等[20]首先將金字塔池化引入到網(wǎng)絡結(jié)構(gòu)中,不僅解決了網(wǎng)絡受限于輸入圖像的尺寸問題,而且有效融合了圖像的空間多尺度特征.Zhao 等[21]在此基礎上提出了金字塔場景分析網(wǎng)絡,利用多尺度卷積核實現(xiàn)圖像的空間金字塔池化,從而使網(wǎng)絡能夠捕獲圖像的多尺度特征,優(yōu)化網(wǎng)絡對復雜場景的理解能力.近來,Chen 等[22]利用卷積核膨脹的思路擴大感受野,使用了計算量更小且更有效的空洞空間金字塔池化來完成圖像的多尺度信息融合.此外,針對圖像的輪廓預測,Cheng 等[23]提出了富卷積特征網(wǎng)絡(Richer convolutional features,RCF),該網(wǎng)絡在每一個卷積層都計算其損失函數(shù),且將所有層的特征信息進行融合得到最終的特征,其中深層特征可以定位圖像的輪廓邊緣,淺層特征可以為深層特征補充細節(jié).近年來,學者們發(fā)現(xiàn)多尺度的特征表達能有效改善圖像分割效果,因此Gao 等[24]構(gòu)建了一個分層密集連接的模塊Res2Net,以細粒度表示多尺度特征,并增加了每個網(wǎng)絡層的感受野范圍.針對多尺度特征融合問題,Li 等[25]提出了深層特征聚合網(wǎng)絡,該網(wǎng)絡通過輕量子網(wǎng)絡的級聯(lián)來實現(xiàn)多尺度特征表達并有效減少了參數(shù)數(shù)目.常規(guī)的多尺度融合方法缺少特征權(quán)重信息,對此,Ding 等通過設計尺度選擇策略,提出了CGBNet[26],該網(wǎng)絡通過在每個空間位置選擇性地融合來自不同尺度特征的分割結(jié)果,進而提高了圖像的分割精度.

盡管當前已經(jīng)涌現(xiàn)出大量圖像分割算法,這些算法能解決圖像分割領域存在的多種問題,在很多特殊應用場景中能夠滿足實際應用需求.然而掃描電鏡圖像分割[27]面臨兩個困難:首先,SEM 圖像具有非常高的分辨率,現(xiàn)有圖像分割算法對SEM 圖像分割耗時較長;其次,SEM 圖像采集成本較高,很難像常規(guī)圖像一樣形成海量數(shù)據(jù)集,因此難以直接利用深度卷積神經(jīng)網(wǎng)絡實現(xiàn)端到端的目標分割.此外,針對陶瓷材料晶粒分割問題,由于陶瓷材料SEM 圖像主要呈現(xiàn)晶粒的輪廓信息,缺少紋理細節(jié)信息,通常需要大量的預處理及交互處理,因此很難將主流的圖像分割算法直接應用到晶粒分割中.對此,薛維華等[28]提出了一種基于圖像序列間相似性的晶粒組織圖像分割方法,該方法利用邊緣檢測、骨架化、斷點連接等一系列操作以實現(xiàn)晶粒輪廓提取.盡管該方法能夠獲得晶粒的分割結(jié)果,但需要設置較多參數(shù),且對光照較為敏感、魯棒性較低.近來,Jiang 等[29]提出一種用于砂巖分析的晶粒自動分割方法,該研究采用超像素與模糊聚類相結(jié)合的方式對砂巖圖像進行分割,獲得了較好的砂巖晶粒分割效果.然而該方法依賴于SLIC 超像素分割結(jié)果及后續(xù)的區(qū)域合并算法,SLIC 在陶瓷材料SEM圖像上很難獲得好的預分割結(jié)果,因此這種方法不適合陶瓷材料SEM 圖像的晶粒分割.在此基礎上,Banerjee 等[30]提出一種晶粒自動分割及晶粒度量方法,該方法首先檢測圖像邊緣并執(zhí)行二值化處理,然后利用形態(tài)學閉運算及膨脹操作獲取封閉輪廓,利用小區(qū)域移除及輪廓細化運算獲取單線條封閉輪廓.與之前的方法相比,該方法計算簡單,對灰度值較為均勻的SEM 晶粒圖像容易獲得好的分割結(jié)果,然而不足在于該方法主要依賴圖像二值化運算提取輪廓,忽略了圖像的灰度細節(jié)信息,因此對于復雜晶粒圖像容易發(fā)生誤分割.上述方法均利用無監(jiān)督圖像分割技術(shù)實現(xiàn)晶粒分割,將基于監(jiān)督學習的圖像分割技術(shù)應用到SEM 圖像晶粒分割時,通常面臨人工標注成本高,能夠獲得的訓練樣本有限,且利用深度學習獲得的圖像分割結(jié)果通常存在邊緣精度較低等問題,諸多限制導致當前的圖像分割技術(shù)難以有效解決陶瓷材料SEM 圖像中的晶粒分割難題.

在無監(jiān)督圖像分割算法中,基于像素分類的圖像分割、基于區(qū)域信息的圖像分割都依賴于圖像的紋理特征,而陶瓷材料SEM 圖像中的紋理信息缺失,導致這兩類方法難以實現(xiàn)有效的圖像分割.鑒于此類圖像邊緣信息豐富,本文將采用基于輪廓的圖像分割策略.在此類方法中,分水嶺[31]是最為流行的一種算法.然而分水嶺算法依賴于圖像梯度,且存在過分割問題,因此基于數(shù)據(jù)與模型聯(lián)合驅(qū)動的方式,提出了基于魯棒分水嶺變換聯(lián)合輕量級富卷積特征網(wǎng)絡(Lightweight and richer convolutional features jointing robust watershed transform,LRCF-RWT)的陶瓷材料晶粒分割算法,提出的算法具有以下兩個貢獻:

1) 利用魯棒分水嶺變換實現(xiàn)了晶粒的快速預分割,既解決了傳統(tǒng)分水嶺算法的過分割問題,又解決了分割區(qū)域個數(shù)與輪廓精度難以平衡的問題,較主流的超像素算法能夠獲得更好的陶瓷材料SEM 圖像預分割結(jié)果;

2) 提出了輕量級RCF 網(wǎng)絡-LRCF (Lightweight and richer convolutional features),并將LRCF 網(wǎng)絡與RWT (Robust watershed transform)相結(jié)合,兼顧兩者的優(yōu)勢,一方面獲取正確的分割區(qū)域,另一方面獲取更為精準的輪廓定位.采用深度可分離卷積將原始RCF 網(wǎng)絡模型從113 MB 壓縮為13.7 MB,從而有效降低了LRCF 對計算和內(nèi)存資源的消耗;利用LRCF 輪廓預測結(jié)果修正RWT 的預分割結(jié)果,即數(shù)據(jù)與模型聯(lián)合驅(qū)動的方式,實現(xiàn)了分割精度的明顯提升.

1 算法介紹

本文提出的算法主要由三個部分組成:首先對圖像進行預處理,解決圖像灰度值不均勻的問題;其次使用魯棒分水嶺變換實現(xiàn)圖像預分割;最后執(zhí)行形態(tài)學輪廓優(yōu)化,并根據(jù)卷積神經(jīng)網(wǎng)絡輸出的圖像輪廓對預分割結(jié)果進行修正,總體流程如圖1 所示.其中,SE (Structured edge)為結(jié)構(gòu)邊緣算法[32].

圖1 總體流程圖Fig.1 Overall flow chart

1.1 預處理

由于SEM 成像的原理是將電子束打在樣本表面,與樣本表面相互作用,而陶瓷材料具有絕緣性,所以得到的圖像會產(chǎn)生明顯的反光現(xiàn)象,導致圖像灰度值不均勻.工業(yè)上為了解決該問題,采用金屬鍍膜法,將電阻率較小的金屬(例如金)鍍在樣本表面,鍍金后得到的陶瓷電鏡圖像灰度值基本一致.為了降低圖像本身光照不均等問題對實驗結(jié)果帶來的干擾,本文將實驗所用圖像分為兩組,一組為未經(jīng)處理的陶瓷電鏡圖像,另一組圖像為鍍金后成像效果較好的陶瓷電鏡圖像.未鍍金的陶瓷電鏡圖像存在曝光問題,需經(jīng)預處理以解決灰度值不均勻的問題,針對該問題,Jobson 等[33]首先提出了單尺度(Single scale retinex,SSR)算法.

在SSR 算法中,決定物體顏色的主要因素是物體對長波、中波、短波三種波長光的反射能力,而不是光照的強度.因此物體本身的顏色不受光照的影響,但光照強度會造成成像時的顏色差異.一幅圖像I(x,y) 由反射圖像R(x,y) 和入射圖像L(x,y)組成,如式(1)所示,SSR 算法就是設法去除或降低入射光L,從而得到物體原本的面貌R.

SSR 算法主要通過環(huán)繞函數(shù)確定環(huán)繞像素的權(quán)值,以此來估計中心像素的亮度,即:

其中,*表示卷積,由于SSR 在去除亮度影響時會丟失細節(jié),因此Jobson 等[34]在SSR 算法的基礎上進一步提出了多尺度Retinex 算法(Multi scale retinex,MSR),模型表達為:

將MSR 算法用于圖像預處理,預處理結(jié)果如圖2 所示.圖2(a)～ 2(d)為原圖,圖2(e)～ 2(h)為經(jīng)過預處預處理的圖像.可以看出,經(jīng)過預處理后的圖像整體灰度值較為均勻,有利后續(xù)算法實現(xiàn)晶粒的準確分割,算法能有效解決陶瓷SEM 圖像的灰度不均勻問題.

圖2 原圖與預處理結(jié)果對比Fig.2 Comparison on original and pre-processed images

1.2 魯棒分水嶺變換

圖像預處理后需要對圖像進行預分割,分水嶺算法的優(yōu)勢在于計算簡單,主要依賴圖像的梯度信息實現(xiàn)圖像分割,缺陷在于不能較好的利用圖像的紋理信息,而陶瓷材料SEM 圖像恰好缺失紋理信息,因此使用分水嶺算法是一個合適的選擇.傳統(tǒng)的分水嶺變換容易導致圖像過分割,針對該問題,學者們提出了基于梯度重建的分水嶺變換(Morphological gradient reconstruction based watershed transform,MGR-WT)[35].

首先對預處理后的圖像計算梯度,然后進行梯度重建以移除無用的局部極小值,最后進行分水嶺變換得到分割結(jié)果.通常,形態(tài)學梯度重建(Morphological gradient reconstruction,MGR)能夠有效平滑圖像的局部極小值區(qū)域,減少梯度圖像中的局部極小值個數(shù),進而在分水嶺變換中可以抑制圖像過分割.形態(tài)學梯度重建算子通常涉及到結(jié)構(gòu)元素選擇,結(jié)構(gòu)元素的大小及形狀會影響最終的重建結(jié)果及分割效果,參數(shù)適中時能平衡分割精度和過分割,但是如何確定最佳的結(jié)構(gòu)元素參數(shù)非常困難,通常根據(jù)經(jīng)驗進行人為設定.圖3 利用形態(tài)學閉重建作用于梯度圖像,梯度圖像由SE 算法[32]生成.r表示形態(tài)學閉重建所選取的圓形結(jié)構(gòu)元素半徑.從圖3 可以看出,當用于梯度重建的結(jié)構(gòu)元參數(shù)r取值較小時(r=1),容易引起過分割,即分割結(jié)果中包含大量的小區(qū)域;當r取值較大時(r=10),容易引起欠分割,即多個目標分割結(jié)果被合并在一起,且輪廓精度較低;當r取值適中時(r=5),分割結(jié)果能夠兼顧分割區(qū)域數(shù)目及輪廓精度,但r的取值為經(jīng)驗值,且減少分割區(qū)域數(shù)目是以犧牲輪廓精度為代價的.針對上述問題,論文提出一種魯棒分水嶺變換(Robust watershed transform,RWT)以解決MGR-WT 的分割結(jié)果依賴參數(shù)選擇的缺陷.

圖3 不同參數(shù)的MGR-WT 對圖像的分割結(jié)果對比Fig.3 Segmentation results comparison using MRG-WT with different values of r

令f和g分別表示標記圖像和約束變換的掩碼圖像,如果f≤g,則由f重建g的形態(tài)學膨脹重建Rδ表示為

對圖像進行形態(tài)學重建運算,可以在保持大的目標不被平滑的同時有效濾除小目標.由于組合形態(tài)學開閉運算在圖像濾波、特征提取等方面表現(xiàn)出比基本形態(tài)學開閉運算更好的性能,所以定義f重建g的組合形態(tài)學開、閉運算Rγ和Rφ為:

由f重建g的無參數(shù)自適應形態(tài)學梯度重建如式(8)所示,其中m表示最大結(jié)構(gòu)元素的尺度,通常m＞10,多尺度結(jié)構(gòu)元素滿足關(guān)系b1?···?bi ?bi+1?···?bm.

利用公式對圖像進行梯度重建并執(zhí)行分水嶺變換,分割結(jié)果仍然包含較多的小區(qū)域,如圖4(a)所示,主要原因在于i的取值從1 開始,雖然設置了更大的i值,例如i=3 可以減少小區(qū)域數(shù)目,但同時降低了結(jié)果的輪廓精度.為了得到更好的重建結(jié)果,需要將這些小區(qū)域去除.設H為梯度圖像,I是H的區(qū)域極小值圖像,W是經(jīng)過分水嶺變換獲得的分割結(jié)果,I=(I1,I2,···,In),Ij表示圖像I中第j個連接分量,1≤j ≤n.同樣,W=W1∪W2∪···∪Wn,Wj表示W(wǎng)中第j個分割區(qū)域,由此可以得到:

式(9)和(10)表明,通過去除圖像I中較小的連通分量,達到合并較小的分割區(qū)域的目的,利用式(11)去除較小的連通分量,從而根據(jù)分割結(jié)果實現(xiàn)區(qū)域合并.

其中,k是結(jié)構(gòu)元素參數(shù),k值越大,合并圖像W中小區(qū)域越多.

RWT 首先得到無參數(shù)的自適應形態(tài)學梯度重建公式,然后計算局部極小值,采用二值形態(tài)學重建對局部極小值優(yōu)化.由式(8)可以看出,RWT 采用多尺度結(jié)構(gòu)元素實現(xiàn)梯度重建,重建結(jié)果隨著m的增大而收斂,因此m為常數(shù),解決了MGR 的單尺度梯度重建結(jié)果容易受結(jié)構(gòu)元素參數(shù)影響的問題.此外,由式(11)可以看出,參數(shù)k的變化會導致區(qū)域極小值個數(shù)的變化,然而這種變化只會影響最終的分割區(qū)域個數(shù),而不影響最終的輪廓精度,實際效果等價于區(qū)域合并運算,如圖4 所示.由圖4(b)可以看出,MGR-WT 會將一個完整的晶粒錯誤分割成兩部分,而在圖4(c)中,RWT 實現(xiàn)了正確的晶粒分割,因此本文提出的RWT 較MGR-WT 能夠?qū)崿F(xiàn)更好的晶粒分割效果.

1.3 數(shù)據(jù)與模型聯(lián)合驅(qū)動的輪廓優(yōu)化

盡管圖4 給出了較好的分割結(jié)果,且魯棒性較好,不易受環(huán)境和參數(shù)的影響,然而分割結(jié)果仍然存在以下問題:一方面,由于不同晶粒之間的縫隙過大,從而導致雙線輪廓問題,如圖5 所示;另一方面,由于分割結(jié)果過度依賴于結(jié)構(gòu)邊緣算法輸出的梯度,缺乏對圖像語義信息的利用,因此導致輪廓定位不準問題,如圖9(c)所示.

圖4 RWT 與MGR-WT 對陶瓷材料晶粒的分割結(jié)果對比Fig.4 Comparison of the segmentation results of ceramic grains between RWT and MGR-WT

圖5 基于RWT 的圖像分割結(jié)果Fig.5 RWT suffer from the problem of double line contour

為了解決雙線輪廓問題,采用基于形態(tài)學輪廓優(yōu)化的雙線消除策略.首先檢查每個標簽所覆蓋的區(qū)域,確保圖像中每個標簽只能覆蓋一個區(qū)域;然后給定一個結(jié)構(gòu)元,令結(jié)構(gòu)元遍歷整張圖像,并消除比結(jié)構(gòu)元小的區(qū)域.基于這個處理思路,本文選用基于形態(tài)學的輪廓優(yōu)化方法對圖像進行處理,步驟如下:

步驟1.首先確保圖像中每個標簽只能覆蓋一個區(qū)域;

步驟2.對每一個標簽區(qū)域執(zhí)行形態(tài)學開運算,從原始圖像中減去開運算結(jié)果,如式(12);

其中,bl表示第l個標簽區(qū)域,l=1,···,L,fm表示原始圖像中去掉開運算部分的結(jié)果.

步驟3.將fm重新分配給相鄰區(qū)域,使每個區(qū)域標簽不同,并重新標號.

利用雙線輪廓優(yōu)化方法對圖5 進行優(yōu)化,結(jié)果如圖6 所示.顯然,該方法可以解決輪廓雙線問題并且不改變分割輪廓形狀.

圖6 去除雙線Fig.6 Removing double lines

為了進一步提升分割輪廓的精度,避免分割結(jié)果過度依賴SE 得到的梯度,引入基于卷積神經(jīng)網(wǎng)絡的圖像輪廓預測模型.傳統(tǒng)神經(jīng)網(wǎng)絡邊緣檢測模型[36-37]的局限性在于其提取的低層級特征信息很難去表征高層次信息,大多數(shù)基于CNN 網(wǎng)絡的邊緣檢測模型僅僅只利用卷積網(wǎng)絡的最后一層,在深層次的特征信息中缺失了淺層的細節(jié)信息,容易導致網(wǎng)絡模型無法收斂并造成梯度消失.RCF 是基于VGG16 構(gòu)建的網(wǎng)絡框架,將所有來自卷積層的層級特征組合成一個整體框架,用來檢測邊緣信息,其中所有參數(shù)均可自動學習多尺度和多層級的特征.在預測圖像輪廓之前,首先改變原始圖像的大小,構(gòu)建一組圖像金字塔,將這些圖像輸入到RCF網(wǎng)絡進行前向傳遞;然后用雙線性插值法將邊緣檢測圖恢復為原始大小;最后將這些邊緣圖的平均值輸出.

利用RCF 網(wǎng)絡模型可以得到較為準確的晶粒輪廓,但RCF 網(wǎng)絡存在模型大、參數(shù)多、訓練速度慢等問題,因此,RCF 網(wǎng)絡對計算和內(nèi)存資源消耗較高.為了解決該問題,利用深度可分離卷積(Depthwise separable convolution,DSC)替代RCF 網(wǎng)絡中的標準卷積,從而得到輕量型的豐富卷積特征網(wǎng)絡.深度可分離卷積將標準卷積分解成深度卷積和逐點卷積,如圖7 所示.假設輸入特征圖尺寸為DF×DF×M,輸出特征圖尺寸為DF×DF×N,卷積核尺寸為DK×DK×M×N,則標準卷積的計算量為,DSC的計算量為深度卷積和逐點卷積的計算量之和+.與標準卷積相比,DSC 的計算量可縮減為標準卷積的 (1/N+1/).圖8 給出了LRCF的網(wǎng)絡結(jié)構(gòu)圖,其模型大小僅13.7 MB,約為原RCF 模型大小的1/8.將LRCF 應用于陶瓷晶粒輪廓預測,結(jié)合RWT 實現(xiàn)數(shù)據(jù)與模型聯(lián)合驅(qū)動的陶瓷晶粒分割,結(jié)果如圖10 所示.p線為優(yōu)化前結(jié)果,g線為優(yōu)化前結(jié)果,y線為Ground Truth.由圖10(a)可以看出,基于SE 與RWT (SE-RWT)實現(xiàn)的陶瓷晶粒分割結(jié)果總體較好,缺陷在于部分晶粒的輪廓定位不準,而基于LRCF 和RWT(LRCF-RWT) 實現(xiàn)的陶瓷晶粒分割結(jié)果不僅能夠獲得準確的晶粒區(qū)域,而且實現(xiàn)了更為準確的晶粒輪廓定位,如圖10(b)～ (c)所示.

圖7 深度可分離卷積Fig.7 Depthwise separable convolution

圖8 LRCF 網(wǎng)絡結(jié)構(gòu)圖Fig.8 LRCF network structure

邊緣檢測領域中的數(shù)據(jù)集往往是由不同標注者進行標注,得到的標注結(jié)果受標注者本身對目標物體認知的影響.雖然人與人的認知各不相同,但是對于相同圖像的邊緣標注具有非常高的一致性.

因此,對每張圖像的標注結(jié)果取均值,生成新的邊緣率映射圖,取值范圍為[0,1].其中,0 表示沒有標注者將其標注為邊緣像素,1 表示所有的標注者都將其標注為邊緣像素.邊緣概率值超過η(η取值0.5) 的記為正樣本,概率值等于0 的記為負樣本.利用訓練數(shù)據(jù)中標記的結(jié)果生成相應的邊緣概率圖,定義損失函數(shù)如下:

其中,Y+和Y-分別表示正樣本集和負樣本集,α和β分別表示正、負樣本所占總樣本的比例,λ表示超參數(shù),用于平衡正、負樣本的比例.Xi和yi分別給出了像素i處的激活值和標注邊緣概率.P(X)是標準的Sigmoid 函數(shù),W表示在結(jié)構(gòu)中學習到的所有參數(shù),最終得到的損失函數(shù)為式(15),其中分別表示來自k層和融合層的激活值,|I|表示圖像I中的像素數(shù),K表示層數(shù).

由LRCF 得到的圖像梯度預測結(jié)果如圖9(a)所示.該結(jié)果表明,LRCF 能夠?qū)崿F(xiàn)較好的陶瓷晶粒梯度預測結(jié)果,對該結(jié)果進行分水嶺變換,結(jié)果如圖9(b)所示.y線表示Ground Truth.由圖9(b)可以看出,盡管分割結(jié)果存在過分割問題,然而分割結(jié)果的輪廓貼合度較高,即LRCF 能幫助分水嶺變換獲得更為準確的輪廓定位.與圖4 中的RWT結(jié)果相比,LRCF 的缺陷在于區(qū)域分割錯誤嚴重,優(yōu)勢在于輪廓精度更高.

圖9 基于LRCF 與分水嶺變換的圖像分割Fig.9 Image segmentation using the combination of LRCF and watershed transform

算法1.基于數(shù)據(jù)與模型聯(lián)合驅(qū)動的晶粒分割結(jié)果優(yōu)化

據(jù)此,本文利用LRCF 對RWT 的結(jié)果進行優(yōu)化,即數(shù)據(jù)與模型聯(lián)合驅(qū)動的方式,在保持RWT分割區(qū)域不變的情況下有效提升RWT 的輪廓定位精度,從而實現(xiàn)LRCF 與RWT 的優(yōu)勢互補,獲取更好的晶粒分割結(jié)果,具體如算法1 所示.利用算法1,對圖4 中RWT 結(jié)果進行優(yōu)化,結(jié)果如圖10所示.從圖中可以看出,優(yōu)化后的邊緣更加準確,且優(yōu)化前后并未引入基于LRCF 分割結(jié)果中過分割部分.

圖10 輪廓優(yōu)化Fig.10 Contour optimization

2 實驗結(jié)果

為了降低圖像本身光照不均等問題對實驗結(jié)果帶來的干擾,選取兩組陶瓷SEM 圖像作為實驗數(shù)據(jù),第1 組是未經(jīng)處理的陶瓷SEM 圖像,第2 組是經(jīng)過工業(yè)鍍金處理后去除光照影響的陶瓷SEM 圖像.為了驗證LRCF-RWT 的分割性能,選取Liu等[38]提出的基于聚類的分割算法(Morphological gradient reconstruction,Liu＇s-MGR)、隨機游走(Random walker,RW)[39]、SLIC[14]、LSC[15]、Banerjee 等[30]提出的算法、SE 梯度結(jié)合分水嶺變換的方法(Structured edge based watershed transform,SE-WT)[32]、SE 梯度結(jié)合自適應形態(tài)學重建的分水嶺變換方法(Structured edge adaptive morphological reconstruction and watershed transform,SEAMR-WT)[40]、RCF 結(jié)合分水嶺變換(RCFWT)[23]方法與本文提出的LRCF-RWT 進行對比.上述對比算法均采用公開代碼進行實驗,算法參數(shù)與原文一致,其中LRCF 訓練時設置損失參數(shù)η=0.5,λ=1.1,訓練所用數(shù)據(jù)集為基準數(shù)據(jù)集[41].

LRCF 網(wǎng)絡在Intel Core i99900X @3.5 GHZ 128 GB RAM,雙NVIDIA GeForce RTX 2080Ti GPU 工作站上進行訓練,編程環(huán)境為PyTorch1.2.

由于Liu＇s-MGR 算法、SE-WT 以及RCFWT 算法在分割線邊緣附近都存在大量的閉合小區(qū)域,為了公平對比,本文將形態(tài)學梯度重建引入到所有對比算法中,即使用Liu＇s-MGR、SE-MGRWT 和RCF-MGR-WT 作為對比算法.

2.1 分割結(jié)果對比

圖11 為第1 組實驗圖像(未鍍金圖像)的分割結(jié)果對比,圖中每一列代表一幅實驗圖像,圖11(a)為Liu＇s-MGR 分割結(jié)果,聚類中心數(shù)為5,從結(jié)果可以看出,該算法是依據(jù)像素灰度值進行分割,由于實驗圖像晶粒之間灰度值不具備明顯的差異,所以這種基于聚類的分割算法結(jié)果不適用于本次實驗圖像.圖11(b)是隨機游走的分割結(jié)果,在圖中較為均勻地選取了60 個種子點,與Liu＇s-MGR 相比,雖然分割精度有所提升,但該算法的分割結(jié)果依賴于初始種子點的數(shù)量以及播撒位置,很難做到將實驗圖像精準分割.圖11(c)和圖11(d)是兩種超像素算法的分割結(jié)果,圖11(c)是SLIC的分割結(jié)果,該算法的分割結(jié)果大小均勻、形狀較為規(guī)則,而陶瓷晶粒大小不一、形狀不規(guī)則,而且SLIC 對灰度值較為敏感,所以SLIC 不適用于實驗圖像.圖11(d)是LSC 的分割結(jié)果,與圖11(c)相比,該算法得到的結(jié)果對晶界的定位較為準確,但與SLIC 有同樣的缺陷,即算法對像素灰度值較為敏感,導致過分割.圖11(e)是文獻[30]提出的算法分割結(jié)果,該算法分割結(jié)果較為準確,但會受到光照影響,導致分割錯誤,而且該算法未能分割出圖像邊緣部分的晶粒.圖11(f)是SE-MGR-WT 的分割結(jié)果,分割結(jié)果與LSC 分割結(jié)果較為相似,但LSC 對晶粒的分割是不準確的.雖然LSC 的分割結(jié)果與晶界重合率較高,但晶粒之間并沒有形成閉合區(qū)域,相比之下SE-MGR-WT 的分割結(jié)果得到的晶粒區(qū)域閉合且彼此獨立.圖11(g)是SE-AMR-WT 的分割結(jié)果,與圖11(f)相比,該算法采用自適應多尺度形態(tài)學算子對梯度進行重建,重建效果優(yōu)于單尺度梯度重建,所以該算法解決了過分割問題之后,晶粒分割準確率提升,但是分割結(jié)果存在雙線輪廓問題.圖11(h)是RCF-MGR-WT 對應的分割結(jié)果,該算法利用網(wǎng)絡深層特征進行區(qū)域定位,淺層特征補充細節(jié),分割邊緣準確性優(yōu)于SE-AMR-WT,但該算法分割結(jié)果過分割嚴重.圖11(i) 是本文提出的LRCFRWT 的分割結(jié)果,與上述算法相比,該算法對陶瓷晶粒分割準確,同時解決了雙線輪廓問題,分割效果最好.

圖12 為第2 組實驗圖像(鍍金圖像)的分割結(jié)果對比,圖中每一列代表一幅實驗圖像,鍍金后圖像整體的灰度值變化范圍縮小.與圖11 相比,Liu＇s-MGR 在減小了灰度值的影響之后,分割結(jié)果能夠部分貼合晶界,但誤分割仍然嚴重.由于隨機游走受像素灰度值影響不大,因此圖12(b)與圖11(b)近似.在灰度值影響減弱的情況下,SLIC 和LSC的分割結(jié)果仍然存在嚴重的誤分割.其余算法分割結(jié)果與圖11 相比均有不同程度的改善,其中 LRCFRWT 表現(xiàn)出最好的結(jié)果.

圖11 第一組分割結(jié)果對比(未鍍金圖像)Fig.11 Comparison of the first group of segmentation results (unplated image)

圖12 第二組分割結(jié)果對比(鍍金圖像)Fig.12 Comparison of the first group of segmentation results (gilded image)

2.2 實驗指標對比

為了進一步對比不同分割算法的性能,本文采用4 種算法指標對分割結(jié)果進行測試,分別是重疊比率(Covering,CV)[41]、變化信息(Variation of information,VI)[42]、全局一致性誤差(Global consistency error,GCE)[43]和邊界位移誤差(Boundary displacement error,BDE)[44].其中CV 的值越大,表示分割結(jié)果越好;VI、GCE 和BDE 的值越小,表示分割結(jié)果越好.

為了減小實驗樣品的不同處理方式對分割結(jié)果的影響,指標對比時同樣將實驗圖像分為2 組,表1是未處理的陶瓷電鏡圖像分割的實驗指標平均值,表2 是鍍金后的陶瓷電鏡圖像分割的實驗指標平均值.從圖11 可以看出,Liu＇s-MGR 不適用于實驗圖像,隨機游走與Liu＇s-MGR 相比準確率有所提升.對照表1 可以看出,Liu＇s-MGR 的CV 指標很低,隨機游走的CV 指標比Liu＇s-MGR 高.從圖11可以看出,SLIC 分割結(jié)果并不準確,雖然LSC 分割結(jié)果與晶界重合率比較高,但是該算法受像素灰度值影響較大,且并未在晶粒邊緣構(gòu)成閉合區(qū)域,所以2 種算法CV 指標較低.SE-MGR-WT 與LSC 相比,分割結(jié)果構(gòu)成閉合區(qū)域,所以該算法的CV 值大于LSC 的CV 值.但是SE-MGR-WT 過分割嚴重,所以當SE-AMR-WT 克服了過分割問題后,CV 指標大幅度提升.從圖像中可以看出,文獻[30]的算法能夠較為準確地分割出晶粒,所以該算法的CV 值比SE-MGR-WT 大,但算法受灰度值大小影響,且難以分割圖像邊緣部分的晶粒,因此CV 值小于SE-AMR-WT.RCF-MGR-WT的分割結(jié)果過分割也很嚴重,因此該算法的CV 值比SE-AMR-WT 低,但RCF-MGR-WT 的分割邊緣的準確率高,表現(xiàn)為該算法的變化信息和誤差比SE-AMR-WT 小.相比其他算法,LRCF-RWT 獲得了最高的實驗指標.

表1 不同方法對陶瓷晶粒分割的性能指標對比(第1 組實驗,未鍍金的圖像)Table 1 Performance comparison of different approaches for ceramic grain segmentation(the first group of experiments for unplated image)

表2 不同方法對陶瓷晶粒分割的性能指標對比(第2 組實驗,鍍金的圖像)Table 2 Performance comparison of different approaches for ceramic grain segmentation (the second group of experiments for gilded image)

分析表2 實驗數(shù)據(jù),在去除了光照干擾之后,Liu＇s-MGR、隨機游走、SLIC 以及LSC 的實驗指標與表1 類似,這些算法均表現(xiàn)出較低的分割精度.RCF-MGR-WT 利用深層次和淺層次的特征,算法結(jié)果穩(wěn)定,分割結(jié)果不受光照的影響.文獻[30]算法、SE-MGR-WT、SE-AMR-WT 以及LRCFRWT 的實驗指標對比表1 有所提升,圖像對比也可以看出這3 種算法在圖12 的分割結(jié)果比圖11好.由以上分析可得,分割結(jié)果圖的視覺效果和實驗指標的直觀數(shù)據(jù)得出的結(jié)論一致,LRCF-RWT的分割效果最好,分割準確率最高.

2.3 晶粒尺寸計算

在完成圖像分割之后,就可以對晶粒尺寸進行計算.在圖像分割過程中,已經(jīng)將各個晶粒分開,此時可以得到一幅圖像中所有的晶粒數(shù)目以及晶粒尺寸的分布.選取每幅圖像中尺寸大小較為均勻的晶粒,計算其尺寸的平均值,計算方法可將晶粒近似為圓形,通過得到晶粒面積間接計算其直徑,即為該晶粒尺寸.其中人工測量方式為每幅圖像選取5個形狀大小較為均勻的晶粒,測量晶粒尺寸并求平均值.由于人工測量結(jié)果受測量者主觀影響較大,所以選擇5 位測量者分別對實驗圖像進行測量,得到的測量數(shù)據(jù)如表3 所示,在去除最大值和最小值后,對測量值取平均值,以此來減弱主觀因素對測量的影響,最終得到的人工測量結(jié)果如表4 所示.從表3 和表4 可以看出,人工測量的誤差較大,且測量中受主觀影響較大,測量費時費力.表5 為表4各算法分割結(jié)果中晶粒尺寸與Ground Truth的差值,可以看出,給出的LRCF-RWT 與對比算法相比,得到的晶粒尺寸更接近真實結(jié)果,進一步驗證了提出算法的優(yōu)勢.

表3 人工測量晶粒尺寸結(jié)果(像素)Table 3 Grain sizes using manual method (pixels)

表4 不同方法對陶瓷晶粒尺寸的計算結(jié)果對比(像素)Table 4 Comparison of ceramic grain sizes using different approaches (pixels)

表5 不同方法計算陶瓷晶粒尺寸結(jié)果的誤差(像素)Table 5 Error comparison of different approaches on ceramic grain size computation (pixels)

3 結(jié)束語

針對人工測量陶瓷材料晶粒尺寸效率低、誤差大的問題,提出了一種數(shù)據(jù)與模型聯(lián)合驅(qū)動的陶瓷材料晶粒分割算法.該算法解決了傳統(tǒng)分水嶺算法存在的過分割以及分割區(qū)域個數(shù)與輪廓精度難以平衡的問題,并通過引入卷積神經(jīng)網(wǎng)絡提升了分割精度,實現(xiàn)了陶瓷材料SEM 圖像中晶粒的正確分割,便于后續(xù)晶粒尺寸的統(tǒng)計與計算.實驗結(jié)果表明,與傳統(tǒng)分割算法相比,提出的算法能實現(xiàn)不同類型陶瓷材料SEM 圖像中晶粒的準確分割.

然而,針對未鍍金SEM 圖像,由于個別區(qū)域受光照影響嚴重,預處理后該區(qū)域的灰度值依舊與其他區(qū)域差異過大,導致分割錯誤.此外,部分圖像中晶界不明顯,灰度值與晶粒相似,導致晶粒未能正確分割.針對上述問題,未來我們將深入研究弱監(jiān)督學習及生成對抗網(wǎng)絡在陶瓷材料晶粒分割中的應用.