張大錦,劉 輝?,陳甫剛,趙 安

(1.昆明理工大學信息工程與自動化學院,云南昆明 650500;2.昆明理工大學云南省人工智能重點實驗室,云南昆明 650500;3.云南昆鋼電子信息科技有限公司,云南昆明 650302)

1 引言

工業(yè)是推進人類社會發(fā)展的基礎動力,隨著工業(yè)化進程的快速發(fā)展,包含大量煙塵顆粒的工業(yè)煙塵排放量逐漸增加,已成為污染環(huán)境和危害人體健康的重要來源之一.為了降低工業(yè)煙塵對人體健康的危害和環(huán)境的污染以及未來工業(yè)同生態(tài)協(xié)調(diào)可持續(xù)的發(fā)展,有效控制工業(yè)煙塵的排放成為了刻不容緩的工作[1].煙塵濃度是工業(yè)排放煙塵污染等級監(jiān)測的重要評判標準,通過對煙塵排放濃度進行監(jiān)控,可以有效降低大氣污染程度提高環(huán)境質(zhì)量.由于計算機圖像識別技術(shù)對工業(yè)排放煙塵濃度進行監(jiān)測具有低成本和高準確率等特點,已經(jīng)成為煙塵濃度監(jiān)測的主要方法[2].其中,基于林格曼煙氣黑度圖的計算機圖像識別方法在工業(yè)應用中使用最廣,該方法包括煙塵圖像采集、煙塵區(qū)域分割、煙塵區(qū)域提取、計算煙塵區(qū)域黑度值和污染等級判定5個主要環(huán)節(jié),其中實現(xiàn)煙塵區(qū)域的準確分割是實現(xiàn)煙塵污染等級監(jiān)測的難點和關(guān)鍵[3].

利用計算機圖像識別技術(shù)進行煙塵分割主要有傳統(tǒng)圖像分割方法和深度學習分割方法.傳統(tǒng)圖像方法主要有區(qū)域生長法[4]、紋理分析法[5-6]和差分法[7].該類方法主要通過提取煙塵圖像的顏色、紋理和空間結(jié)構(gòu)信息等物理特征實現(xiàn)煙塵區(qū)域分割,存在計算冗余量大和分割精度低等問題.

隨著計算機技術(shù)和性能的高速發(fā)展和快速提升,深度學習廣泛應用于圖像識別[8]、目標檢測[9]和語義分割[10]任務中,并在實際應用中取得了比傳統(tǒng)方法更好的效果.為解決傳統(tǒng)方法分割煙塵存在復雜度高邊緣分割效果不佳的問題,Yuan等人[11]提出一種雙路徑全卷積神經(jīng)網(wǎng)絡(fully convolutional network,FCN),增強了FCN對煙塵上下文和邊緣特征的提取能力,但網(wǎng)絡缺乏對煙塵形變特征的提取能力,對形狀多變的煙塵邊緣分割結(jié)果不夠完整;因此,董澤舒等人[12]針對形狀不規(guī)則的煙塵分割困難的問題,提出了一種基于注意力機制的長距離信息建模方法,通過提取長距離像素間的依賴和連續(xù)性關(guān)系,減少了非連續(xù)區(qū)域的煙塵誤判,但該方法沒有針對煙塵具體特性進行分析,在小目標煙塵分割中存在漏分割現(xiàn)象;因而,詹光莉等人[13]針對小目標煙塵漏分割誤分割的問題使用銜接注意力機制與殘差ASPP(atrous spatial pyramid pooling)的W-Net實現(xiàn)對小目標煙塵進行準確分割,但是該方法在提取特征的過程中方法較為單一,導致在煙塵邊緣部分的分割效果欠佳;故此,吳建輝等人[14]提出一種基于頻率分離特性的煙霧圖像分割網(wǎng)絡,使用頻率分離模塊將特征圖中的煙霧區(qū)域分離為低頻和高頻部分,結(jié)合頻域和空間域特征細化了煙霧邊界,改善了分割效果,但該方法沒有考慮煙塵非剛性多方向變化特點,在煙塵邊緣方向信息的提取效果上還有待提高.以上深度學習方法在一定程度上實現(xiàn)了煙塵區(qū)域的分割,但都沒有結(jié)合煙塵非剛性方向多變特性進行分析,缺乏對煙塵邊緣方向信息的提取能力,導致對煙塵邊緣區(qū)域的分割不夠準確.

U-Net網(wǎng)絡[15]能利用全局上下文信息和在有限的訓練樣本下進行端到端的快速訓練,能有效解決數(shù)據(jù)稀缺和類別不平衡的問題.目前,已有許多研究人員提出了基于U-Net網(wǎng)絡的改進方案[16-18],并取得了良好的效果.但針對煙塵圖像分割任務來說,不僅需要關(guān)注煙塵分割的完整性還要關(guān)注煙塵邊緣分割的準確性,對于非剛性、方向多變和邊緣細節(jié)模糊的煙塵,U-Net網(wǎng)絡還存在挖掘煙塵邊緣方向信息不充分,導致煙塵邊緣細節(jié)信息容易丟失分割不夠準確的問題.

因此,本文針對工業(yè)煙塵非剛性多方向變化的特點,將輪廓波(contourlet)變換具有挖掘多方向信息的特性引入U-Net分割網(wǎng)絡,構(gòu)建具有提取煙塵邊緣方向信息能力的C-UNet網(wǎng)絡實現(xiàn)對煙塵邊緣方向特征的提取和煙塵區(qū)域的準確分割.1)通過網(wǎng)絡編碼階段的輪廓波多方向分解下采樣結(jié)構(gòu),將煙塵特征分解為低頻煙塵主體部分和高頻多方向邊緣細節(jié)分量部分,增強網(wǎng)絡對煙塵邊緣方向信息的提取能力;2)通過網(wǎng)絡解碼階段的輪廓波細節(jié)重構(gòu)上采樣結(jié)構(gòu),結(jié)合跳躍連接的煙塵高頻多方向細節(jié)信息和解碼特征,增強網(wǎng)絡對煙塵邊緣細節(jié)信息的恢復能力;3)針對煙塵邊緣特征提取困難的問題,對損失函數(shù)進行改進,提出一種基于動態(tài)加權(quán)策略的組合損失函數(shù)來優(yōu)化訓練網(wǎng)絡,使網(wǎng)絡隨著訓練進行從關(guān)注整體煙塵特征的提取逐漸到關(guān)注煙塵邊緣特征的提取.結(jié)果表明,本文方法能夠更好的提取煙塵邊緣方向細節(jié)特征,對煙塵整體及邊緣區(qū)域的分割準確度更高.

2 頻域多方向C-UNet工業(yè)煙塵圖像分割

2.1 多方向Contourlet變換

Contourlet變換是頻域圖像處理中一種多方向多尺度的幾何分析方法[19],能在不同尺度和不同方向上有效提取圖像細節(jié)信息,將其引入深度網(wǎng)絡中可以增強網(wǎng)絡幾何分析的能力.Contourlet變換是拉普拉斯金字塔(laplacian pyramid,LP)[20]與方向濾波器組(directional filter banks,DFB)[21]結(jié)合形成以輪廓段為基函數(shù)來逼近原始圖像的多方向雙層濾波器組結(jié)構(gòu).在不同尺度的特征圖上,先使用LP分解得到一個低頻子帶圖像和包含邊緣細節(jié)的高頻子帶圖像,再使用DFB在LP分解得到的高頻子帶圖像上進行l(wèi)級的多方向分解,得到2l個高頻方向子帶.

對于一個輸入圖像X,經(jīng)過LP進行多尺度分解,在第j層的低頻子帶和高頻子帶可分別表示為

其中:M為采樣矩陣;m,n,o和p為位置參數(shù).將高頻子帶通過DFB進行方向分解,DFB分解過程中的采樣矩陣可表示為如下對角形式:

其中:l為分解等級,k為方向角度.DFB對每一層的高頻子帶進行分解,將相同方向上的線性特征組合成相應的稀疏系數(shù)s,引入?k,j為DFB在不同方向上的基函數(shù),以內(nèi)積的形式表示s為

圖像每次經(jīng)過LP分解產(chǎn)生的高頻子帶輸入DFB,逐漸將點奇異連成線型結(jié)構(gòu),從而捕獲圖像中的邊緣輪廓特征.Contourlet 變換具有完全重構(gòu)優(yōu)點,LP 和DFB各自完全重建,經(jīng)對偶操作實現(xiàn)完全重建輸入圖像.由于煙塵具有豐富的方向特征,使用Contourlet變換進行煙塵特征的提取和重構(gòu)能有效提取煙塵圖像中的邊緣方向細節(jié)信息,增強煙塵邊緣的分割效果.

2.2 頻域多方向C-UNet

針對實際工業(yè)生產(chǎn)過程中,排放的煙塵會受到多種自然環(huán)境的影響,使煙塵圖像存在邊緣模糊方向多變等特點,導致煙塵邊緣分割不準確的問題.本文通過改進原網(wǎng)絡的編解碼采樣操作、跳躍連接和損失函數(shù),將Contourlet變換具有挖掘多方向信息的特性引入U-Net分割網(wǎng)絡,增強網(wǎng)絡對煙塵圖像邊緣方向信息的提取能力,提出一種頻域多方向C-UNet及動態(tài)損失的工業(yè)煙塵圖像分割方法,該方法能夠同時提取圖像空間域和頻域特征,有效利用煙塵多方向信息且注重煙塵邊緣信息提取,整體網(wǎng)絡結(jié)構(gòu)如圖1所示.

圖1 C-UNet網(wǎng)絡結(jié)構(gòu)原理圖Fig.1 Schematic diagram of C-UNet network structure

C-UNet網(wǎng)絡主要由編碼階段的輪廓波多方向分解下采樣(contourlet multi-directional decomposition down-sampling,CMDD)、解碼階段的輪廓波細節(jié)重構(gòu)上采樣(contourlet detail reconstruction up-sampling,CDRU)以及多方向信息跳躍連接(multi-directional information skip connections,MISC)3個部分構(gòu)成.首先,煙塵圖像通過編碼階段實現(xiàn)煙塵低級和高級語義信息的提取,其中,在每個尺度下采樣操作中,通過使用CMDD結(jié)構(gòu)得到包含煙塵圖像主體信息的低頻子帶進行高級語義信息的提取和包含煙塵邊緣細節(jié)信息的高頻方向子帶進行方向細節(jié)信息的傳遞;其次,在解碼階段通過結(jié)合煙塵高頻多方向子帶特征與低頻解碼特征進行CDRU恢復特征圖分辨率和煙塵邊緣細節(jié)信息;最后,在網(wǎng)絡中不僅對不同尺度的特征進行跳躍連接,還對不同CMDD得到的煙塵高頻多方向細節(jié)信息進行跳躍連接,既能提高網(wǎng)絡在持續(xù)采樣過程中煙塵細節(jié)信息的表達準確性,又能增強網(wǎng)絡對煙塵邊緣方向細節(jié)信息的恢復能力.

C-UNet網(wǎng)絡通過在不同作用域下對煙塵圖像特征進行提取,分別對煙塵圖像的低頻和高頻特征進行利用,增強了網(wǎng)絡對煙塵邊緣方向細節(jié)信息的提取和恢復能力,提高了煙塵整體及邊緣區(qū)域的分割效果.

2.3 輪廓波多方向分解下采樣

語義分割網(wǎng)絡下采樣操作中最大池化和平均池化等池化操作的鄰域子采樣會丟失煙塵邊緣細節(jié)信息,降低網(wǎng)絡對煙塵邊緣方向細節(jié)信息的處理能力.基于頻域處理的輪廓波變換方法能將圖像分解為包含目標主體信息的低頻分量和包含目標邊緣方向細節(jié)信息的高頻分量,能提高網(wǎng)絡對細節(jié)信息的處理能力.為了增強網(wǎng)絡對煙塵邊緣方向細節(jié)信息的提取能力,本文使用輪廓波分解實現(xiàn)下采樣操作,CMDD結(jié)構(gòu)如圖2所示.

圖2 CMDD結(jié)構(gòu)原理圖Fig.2 Schematic diagram of CMDD structure

在進行輪廓波分解的過程中,先通過拉普拉斯金字塔分解(LP decomposition,LP-Dec)將煙塵圖像分解為一個包含煙塵主體信息的低頻子帶進行高級語義特征提取和包含煙塵邊緣和輪廓細節(jié)的高頻子帶進行方向細節(jié)信息的傳遞,對分解得到的煙塵高頻子帶進行3 級方向濾波器組分解(DFB decomposition,DFB-Dec)得到8個煙塵高頻邊緣方向子帶特征.

輸入圖像x經(jīng)LP-Dec之后得到低頻子帶a和高頻子帶b,即

圖2中(a)展示了LP-Dec的詳細過程,輸入圖像x經(jīng)過分解濾波H和采樣矩陣M下采樣之后得到低頻子帶a,對低頻子帶a再經(jīng)過采樣矩陣M上采樣和合成濾波G之后與輸入圖像x做差值處理得到高頻子帶b.

高頻子帶b經(jīng)過DFB-Dec分解得到8個高頻方向子帶Yi,即

圖2中(b)是DFB-Dec的詳細過程,高頻子帶b經(jīng)過分解濾波器E進行多方向分解后,通過采樣矩陣S進行下采樣之后得到8個高頻方向子帶Yi.

煙塵圖像經(jīng)過LP-Dec產(chǎn)生的包含煙塵邊緣和輪廓的高頻子帶進行DFB-Dec,將LP捕捉的分布在同方向上的線性特征組合成一個輪廓段系數(shù),形成以輪廓段為基函數(shù)來逼近煙塵圖像進行煙塵輪廓的邊緣多方向信息提取.通過對輸入煙塵圖像進行LP-Dec和DFB-Dec之后,將輸入煙塵圖像的低頻信息和高頻信息進行分離,對煙塵高頻邊緣方向細節(jié)信息和煙塵低頻圖像主體信息分開進行特征處理,避免了在進行特征提取過程中煙塵的高頻細節(jié)信息與低頻主體信息互相影響,提高了網(wǎng)絡對煙塵邊緣方向細節(jié)信息的提取能力.

2.4 輪廓波細節(jié)重構(gòu)上采樣

實現(xiàn)上采樣特征圖分辨率恢復的常用方法主要有雙線性插值、反卷積和反池化等,這些方法雖然能夠恢復圖像的分辨率大小,但是缺乏對圖像細節(jié)信息的恢復能力.由于輪廓波變換具有完全重構(gòu)的優(yōu)點,能夠完全重構(gòu)分解圖像,因此,本文在網(wǎng)絡解碼階段通過CDRU 來實現(xiàn)對煙塵圖像特征圖的分辨率恢復,CDRU結(jié)構(gòu)如圖3所示.

圖3 CDRU結(jié)構(gòu)原理圖Fig.3 Schematic diagram of CDRU structure

對輪廓波多方向分解下采樣產(chǎn)生的8個煙塵高頻方向子帶先進行3級的方向濾波器組重構(gòu)(DFB reconstruction,DFB-Rec)得到重構(gòu)的煙塵高頻子帶特征,再結(jié)合低頻解碼子帶特征進行拉普拉斯金字塔重構(gòu)(LP reconstruction,LP-Rec),最后得到輸出的重構(gòu)煙塵特征.

8個高頻邊緣方向子帶經(jīng)過DFB-Rec進行完全重構(gòu)得到高頻子帶b,即

圖3中(a)為DFB-Rec結(jié)構(gòu)示意圖,8個煙塵方向子帶先進行上采樣S之后通過不同的方向合成濾波器D進行合成,再相加融合后得到高頻子帶b.

在進行DFB-Rec之后得到的煙塵高頻子帶b再與低頻解碼子帶a進行LP-Rec得到重構(gòu)圖像,即

圖3中(b)為LP-Rec結(jié)構(gòu)示意圖,高頻子帶b經(jīng)過分解濾波H和采樣矩陣M進行下采樣之后與低頻子帶a進行差值處理得到一個近似重構(gòu)煙塵圖像,再經(jīng)過采樣矩陣M上采樣及合成濾波G之后與高頻子帶b進行相加融合,得到最后的重構(gòu)煙塵圖像.

通過結(jié)合解碼低頻子帶和在編碼過程中分解出來的煙塵高頻方向子帶信息進行CDRU有效利用了煙塵高頻方向細節(jié)信息,實現(xiàn)了煙塵圖像特征圖分辨率和邊緣細節(jié)信息的恢復,增強了在解碼過程中煙塵邊緣細節(jié)信息的恢復能力.

2.5 多方向信息跳躍連接

在網(wǎng)絡中進行編解碼特征提取過程中會存在煙塵邊緣細節(jié)信息丟失的情況,為增強網(wǎng)絡對煙塵邊緣方向細節(jié)信息的提取恢復能力,本文在網(wǎng)絡中通過MISC實現(xiàn)對煙塵邊緣多方向細節(jié)信息進行單獨利用.在網(wǎng)絡編碼操作的過程中,通過CMDD得到的煙塵高頻方向子帶信息,以跳躍連接的方式直接傳遞到CDRU操作中,降低了由于網(wǎng)絡持續(xù)采樣提取特征過程中造成的煙塵細節(jié)信息損失.通過煙塵高頻方向細節(jié)信息的直接傳輸,增強了網(wǎng)絡在解碼過程中對煙塵圖像邊緣細節(jié)信息的恢復能力.另外,在進行解碼操作的過程中,結(jié)合高頻跳躍連接的煙塵多方向細節(jié)信息和煙塵低頻解碼特征進行CDRU恢復煙塵圖像特征,能有效增強網(wǎng)絡恢復煙塵邊緣細節(jié)信息的能力.

C-UNet通過把包含煙塵邊緣方向細節(jié)信息的高頻分量和包含煙塵主體信息的低頻分量分開進行處理,使煙塵主體低頻分量進行持續(xù)提取高級煙塵語義信息的過程中不會受煙塵高頻邊緣細節(jié)信息的影響,同時煙塵高頻方向細節(jié)信息為上采樣恢復分辨率的過程中提供了煙塵多方向細節(jié)信息,增強了網(wǎng)絡恢復煙塵邊緣方向細節(jié)信息的能力.

3 動態(tài)加權(quán)組合損失函數(shù)

在煙塵分割的過程中,交叉熵損失(cross entropy loss,CEL)函數(shù)[22]在網(wǎng)絡訓練的時候能夠同時關(guān)注背景與待分割目標前景區(qū)域,為所有像素保持平滑的梯度,有助于對所有像素進行分割,CEL計算公式如下:

其中:y表示煙塵真實標簽,表示煙塵預測結(jié)果,m表示類別總數(shù).

但是CEL在煙塵的邊緣精細部分的分割效果較差,特別是在煙塵的邊緣像素的區(qū)分上置信度較低,導致煙塵圖像邊緣細節(jié)分割模糊.針對此問題,本文提出了一種基于動態(tài)加權(quán)策略的組合損失函數(shù)來增強網(wǎng)絡對于煙塵邊緣特征的提取.

基于結(jié)構(gòu)相似性指標構(gòu)建的結(jié)構(gòu)相似性損失(structural similarity loss,SSIML)函數(shù)[23]能夠捕捉圖像邊緣結(jié)構(gòu)信息,考慮到每一個像素結(jié)構(gòu)的局部領域,在進行損失計算的時候為邊界分配更高的權(quán)重,以此在訓練的時候使網(wǎng)絡更加關(guān)注邊界的精細分割,其計算公式如下:

焦點損失(focal loss,FL)函數(shù)[24]能夠通過參數(shù)調(diào)整正負樣本和難易分割樣本對損失函數(shù)的貢獻,能在網(wǎng)絡訓練的時候使網(wǎng)絡更偏向于難分割樣本,增強網(wǎng)絡對難分邊界的分割效果,其計算公式如下:

其中:α是樣本數(shù)量平衡因子,用來調(diào)節(jié)正負樣本的比重;γ是難易平衡因子,用來調(diào)節(jié)難分樣本對損失函數(shù)的貢獻.本文中設置α=0.75,γ=2.

普通組合損失函數(shù)通過使用固定參數(shù)對不同損失函數(shù)進行加權(quán)組合,加權(quán)參數(shù)的固定設置,不利于最佳參數(shù)的尋找和網(wǎng)絡的訓練過程.為了使損失函數(shù)適應網(wǎng)絡的訓練過程,更能準確分割煙塵邊緣及整體區(qū)域,受文獻[25]的啟發(fā),對CEL函數(shù)進行改進,采用動態(tài)變化的權(quán)重參數(shù)來實現(xiàn)組合損失的加權(quán),使組合損失具有自適應性和動態(tài)性,能使網(wǎng)絡模型從關(guān)注全局信息逐漸關(guān)注煙塵邊緣區(qū)域,提高煙塵邊緣區(qū)域的分割效果.

本文采用lg函數(shù)構(gòu)造了一種動態(tài)參數(shù)變化方案,通過設置最小權(quán)重參數(shù)和最大權(quán)重參數(shù),使加權(quán)參數(shù)在網(wǎng)絡訓練的過程中根據(jù)迭代次數(shù)的變化進行動態(tài)調(diào)整.以迭代次數(shù)動態(tài)變化參數(shù)為自變量的lg函數(shù)為

其中:n為當前迭代次數(shù),N為總迭代次數(shù).

當網(wǎng)絡剛開始訓練,即n=1時,需要通過本文構(gòu)造的動態(tài)加權(quán)策略使組合損失函數(shù)的加權(quán)參數(shù)接近于最小權(quán)重參數(shù);隨著網(wǎng)絡訓練到最后一輪,即n=N時,需要加權(quán)參數(shù)等于最大權(quán)重參數(shù).因此,要使動態(tài)參數(shù)能在最小權(quán)重參數(shù)和最大權(quán)重參數(shù)范圍內(nèi)動態(tài)變化,需改進自變量為∈(1,10],以得到動態(tài)變化函數(shù)為

最后,基于上述得到的動態(tài)變化函數(shù),即可得到本文提出的在最小權(quán)重參數(shù)和最大權(quán)重參數(shù)范圍內(nèi)隨著網(wǎng)絡訓練的進行動態(tài)變化的動態(tài)加權(quán)策略

其中:βcur為當前迭代次數(shù)下的β值,βmax為設定的參數(shù)最大值,βmin為設定的參數(shù)最小值.

通過上述動態(tài)參數(shù)構(gòu)建的動態(tài)加權(quán)組合損失函數(shù)如下:

隨著網(wǎng)絡訓練的進行,β值隨著動態(tài)增長變化,使動態(tài)加權(quán)組合損失函數(shù)更適應網(wǎng)絡的訓練過程,讓網(wǎng)絡從訓練開始先通過CEL來關(guān)注煙塵全局信息,提取煙塵整體區(qū)域;在此基礎上再通過SSIML和FL來關(guān)注煙塵難分割的邊緣區(qū)域,提取精細煙塵邊緣,以達到網(wǎng)絡對煙塵整體和精細邊緣區(qū)域的準確分割.

4 實驗與分析

4.1 實驗平臺及數(shù)據(jù)

實驗所用電腦配置為Intel(R)Xeon(R)CPU E5-2620 V4@2.10 GHz處理器,64 GB內(nèi)存,11 GB RAM的NVIDIA GeForce RTX 2080Ti顯卡,實驗使用Python語言,PyTorch深度學習框架.

實驗所用工業(yè)煙塵圖像來自實際鋼廠定點拍攝的煙塵排放視頻,視頻記錄了白天時間段內(nèi)不同監(jiān)測點不同場景的煙塵排放信息.從拍攝視頻中選取不同時間段、不同拍攝點的60段煙塵視頻,從中提取1724幀圖像,設置圖像尺寸大小為224×224,使用Labelme圖像標注軟件在專家指導下手動對煙塵目標區(qū)域進行標注,制作煙塵圖像數(shù)據(jù)標簽.對煙塵圖像和標簽進行上下翻轉(zhuǎn)和90°,180°,270°旋轉(zhuǎn)實現(xiàn)數(shù)據(jù)集擴充至8620張,其中訓練集6370張、測試集2250張.為了驗證本文方法在不同煙塵場景下的識別能力,將測試集中的2250張圖像劃分為昏暗煙塵場景840張、易辨煙塵場景340張、干擾場景210張、小目標煙塵場景380張、稀薄煙塵場景175張、有顏色煙塵場景305張,共6個場景.

4.2 實驗設置

本文實驗在PyTorch深度學習環(huán)境下,通過端到端的方式進行訓練,訓練使用Adam算法對損失函數(shù)進行優(yōu)化,優(yōu)化器參數(shù)β1=0.9,β2=0.999,批處理大小batch=2,學習率lr=0.0001,訓練迭代次數(shù)epoch=50.

4.3 評價指標

為了對本文方法進行有效評估,選擇了查全率R(recall)、查準率P(precision)、IOU(intersection over union)、DSC(dice similarity coefficient)和F1度量(F1-score)作為評價指標.其中: R是被正確分類的正樣本數(shù)量與真實正樣本的數(shù)量之比;P是被正確分類的正樣本數(shù)量與被預測為正樣本的數(shù)量之比;IOU是語義分割的標準度量,是真實值與真實預測結(jié)果的交集與并集之比;DSC用于度量兩個集合的相似程度;F1度量是綜合度量查全率和查準率的指標,本文中正樣本為煙塵目標區(qū)域、負樣本為背景區(qū)域.各評價指標計算公式如下:

其中: TP,TN,FP,FN表示真實值與預測值之間的關(guān)系,如表1所示.式(21)中,β用于調(diào)整查全率和查準率的權(quán)重,當β=1時,二者重要度一樣;β值增大,則認為查全率更重要;β值減小,則認為查準率更重要.在本實驗中,更關(guān)注被分割出來的煙塵正樣本數(shù)量,即認為查全率更重要,設置β=2.

表1 TP,FP,FN,TN含義表Table 1 Meaning of TP,FP,FN,TN

4.4 消融實驗分析

為了驗證本文所提結(jié)構(gòu)上改進的有效性,本節(jié)對U-Net[15]、單獨使用CMDD結(jié)構(gòu)(Model1)、單獨使用CDRU結(jié)構(gòu)(Model2)、去除DFB分解和重構(gòu)只進行LP分解和重構(gòu)(LP-Net)和本文方法C-UNet進行對比.在進行Model1和Model2的消融實驗過程中,網(wǎng)絡的上采樣和下采樣過程使用原始U-Net網(wǎng)絡的上采樣與下采樣結(jié)構(gòu).其中,在驗證CDRU結(jié)構(gòu)的有效性時,需要使用到CMDD結(jié)構(gòu)分解得到的8個高頻方向子帶,因此,在網(wǎng)絡的下采樣過程中,僅使用CMDD 結(jié)構(gòu)為CDRU結(jié)構(gòu)提供8個高頻方向子帶,并不參與網(wǎng)絡的訓練.各個網(wǎng)絡訓練所用損失函數(shù)為CEL,評價指標對比如表2所示,分割結(jié)果對比如圖4所示.

表2 網(wǎng)絡結(jié)構(gòu)評價指標對比Table 2 Comparison of network structure evaluation in-dexes

圖4 網(wǎng)絡結(jié)構(gòu)改進前后對比Fig.4 Comparison of network structure before and after improvement

1) 從實驗結(jié)果中可以看出,U-Net中由于對煙塵整體特征和邊緣方向細節(jié)信息的提取能力不足,存在煙塵邊緣細節(jié)信息丟失和煙塵漏分割的問題,如圖4中第3列的第1個圖所示;

2) 單獨使用輪廓波進行下采樣能降低由于池化操作的鄰域子采樣造成煙塵邊緣細節(jié)信息的問題,能增強網(wǎng)絡對煙塵邊緣方向細節(jié)信息的提取能力,從表2 中的評價指標也可直觀看出,Model1 比U-Net 在R,IOU,DSC 和F1 這4 個評價指標上分別提高了6.30%,3.69%,3.23%和4.78%,但Model1在提取煙塵整體和邊緣細節(jié)信息上的能力還有待提高,對煙塵分割還不夠準確,如圖4中第4列的第2個圖所示;

3) 單獨使用輪廓波進行上采樣能夠利用輪廓波變換具有完全重構(gòu)的優(yōu)點,能夠完全重構(gòu)分解圖像,增強網(wǎng)絡對煙塵圖像邊緣細節(jié)信息的恢復能力,從表2 的評價指標可以看出,Model2 比U-Net 在R,IOU,DSC和F1這4個評價指標上分別提高了6.34%,3.47%,2.93%和4.71%,但Model2同樣存在分割出來的煙塵整體和邊緣不夠精確的問題,如圖4中第5列的第4個圖所示;

4) LP-Net去除了DFB分解和重構(gòu)只進行LP分解和重構(gòu),在一定程度上增強煙塵邊緣細節(jié)信息的提取能力,從表2的評價指標可以看出,LP-Net比U-Net在R,IOU,DSC 和F1 這4 個評價指標上分別提高了5.68%,3.53%,2.86%和4.32%,但LP-Net缺乏對煙塵多方向信息的提取能力,對煙塵邊緣部分的提取還有待提高,如圖4中第6列的第3個圖所示;

5) 本文方法C-UNet通過CMDD將圖像分解為包含煙塵主體信息的低頻分量和包含煙塵邊緣方向細節(jié)信息的8個高頻分量,有效提高了網(wǎng)絡對煙塵細節(jié)信息的處理能力.通過CDRU結(jié)合跳躍連接的多方向細節(jié)信息,能有效提高網(wǎng)絡對煙塵邊緣方向細節(jié)信息的恢復能力,提高煙塵邊緣細節(jié)部分的分割效果,如圖4中第7列第4個圖所示.從表2中的評價指標中可以更直觀的看出,增加方向信息之后,本文方法C-UNet通過提取8個煙塵方向進行邊緣細節(jié)特征提取,在R,IOU,DSC和F1這4個評價指標上比U-Net分別提高了7.62%,5.22%,4.12%和5.96%,說明增加煙塵方向信息提取能有效增強網(wǎng)絡對煙塵邊緣信息的提取能力,提高網(wǎng)絡對煙塵整體和邊緣區(qū)域的分割能力.

4.5 損失函數(shù)改進對比

為了驗證本文提出的動態(tài)加權(quán)損失函數(shù)的有效性,將所提的動態(tài)加權(quán)損失和其他損失函數(shù)進行對比.改進前后對比的損失函數(shù)有CEL[23],SSIML[24],FL[25]以及固定參數(shù)分別為(β=0.6,β=0.7,β=0.8)下的組合損失函數(shù)和本文所提動態(tài)加權(quán)策略下(參數(shù)動態(tài)變化范圍分別為:(0.2,0.6],(0.3,0.7],(0.4,0.8])的動態(tài)組合損失函數(shù).9個損失函數(shù)在C-UNet上的評價指標對比如表3所示,分割結(jié)果對比如圖5所示.

表3 損失函數(shù)評價指標對比Table 3 Comparison of loss function evaluation indexes

圖5 損失函數(shù)實驗結(jié)果對比Fig.5 Comparison of experimental results of loss function

1) 從實驗結(jié)果可知,采用單一損失函數(shù)對網(wǎng)絡進行訓練,由于對煙塵的整體特征和邊緣特征沒有針對性,使網(wǎng)絡對煙塵邊緣的關(guān)注度不夠,分割結(jié)果不夠精確.其中,SSIML的分割效果差的原因是單獨使用SSIML的時候網(wǎng)絡關(guān)注的是全局圖像的邊緣結(jié)構(gòu)信息,缺乏煙塵先驗信息指導,導致單一SSIML下煙塵的分割效果較差.從圖5中(c)-(e)列可以看出單一損失函數(shù)存在漏分割誤分割等問題,從表3中的評價指標上也能直觀看出比本文方法低;

2) 組合損失函數(shù)能夠克服單一損失函數(shù)的缺點,能夠利用不同損失函數(shù)的優(yōu)點實現(xiàn)對煙塵圖像進行更準確的分割.從固定參數(shù)分別為(β=0.6,β=0.7,β=0.8)下的組合損失函數(shù)的實驗結(jié)果可知,組合損失函數(shù)能夠利用CEL,SSIML和FL每個損失函數(shù)的優(yōu)點,能分割出相對更準確的目標煙塵區(qū)域,但由于固定參數(shù)的組合損失不能很好的適應網(wǎng)絡訓練過程,導致對于煙塵的邊緣細節(jié)上的分割還不夠準確,如圖5中(f)-(h)列和表3的評價指標中可以看出煙塵邊緣分割不夠精確;

3) 本文提出的動態(tài)加權(quán)組合損失函數(shù)能適應網(wǎng)絡的訓練過程,在網(wǎng)絡訓練初期由CEL對煙塵目標整體區(qū)域進行分割,提供先驗指導信息,隨著網(wǎng)絡訓練的進行,在分割出煙塵整體區(qū)域的基礎上,由SSIML和FL損失來關(guān)注煙塵邊緣結(jié)構(gòu)細節(jié)信息的提取,使網(wǎng)絡對于煙塵整體的分割完整度和邊緣分割的準確性得到有效提升.如圖5中(i)-(k)列,以及表3 的評價指標中可以看出煙塵分割結(jié)果更為準確.從表3中的評價指標的對比得出,在動態(tài)權(quán)重為(0.4,0.8]范圍內(nèi)的IOU和DSC指標上最好,在(0.3,0.7]范圍內(nèi)的查全率R和F1度量指標上最好.在本實驗中,更關(guān)注被分割出來的煙塵正樣本數(shù)量,更關(guān)注R和F1指標,后續(xù)對比實驗在動態(tài)權(quán)重為(0.3,0.7]范圍內(nèi)進行.實驗結(jié)果表明,在動態(tài)權(quán)重為(0.3,0.7]時,本文方法能有效增強網(wǎng)絡對煙塵邊緣的提取能力,在R,IOU,DSC和F1這4個評價指標上比U-Net分別提高了9.25%,5.27%,4.31%和6.91%.

4.6 與其他模型對比

為了驗證本文提出方法的有效性和適應性,將本文方法C-UNet 和其他11 種語義分割方法進行對比,對比方法有FCN[26],U-Net[15],ResNet[27],PSPNet[28],Deeplabv3+[29],DA-Net[30],W-UNet[31],SE-DUNet[32],Kidney-SegNet[33],I-BiSeNet[34],W-Net[13].11種對比網(wǎng)絡的訓練參數(shù)與本文方法保持一致,在6個煙塵場景測試集上進行實驗,評價指標對比如表4所示,分割結(jié)果對比如圖6所示.

表4 各場景下不同網(wǎng)絡模型評價指標對比Table 4 Comparison of evaluation indicators of different network models indifferent scenarios

圖6 不同煙塵場景實驗結(jié)果對比Fig.6 Comparison of experimental results indifferent smoke scenes

1) 在昏暗、易變、干擾、小目標、稀薄和有顏色煙塵場景下,FCN,U-Net,ResNet和PSPNet網(wǎng)絡由于網(wǎng)絡結(jié)構(gòu)設計相對簡單,對于非剛性多方向變化煙塵的整體和邊緣細節(jié)信息提取能力欠佳,導致分割的煙塵存在漏分割和誤分割的問題,如圖6 中的(c)-(f)列所示;

2) Deeplabv3+,DA-Net,W-UNet,SE-DUNet,Kidney-SegNet,I-BiSeNet和W-Net網(wǎng)絡由于結(jié)合了更多的改進思路,分割效果有所提高,但是網(wǎng)絡缺少針對性,網(wǎng)絡的適應能力不足,仍然存在漏分割和誤分割的情況,如圖6中的(g)-(m)列所示,從表4中也能直觀看出在不同煙塵場景下大部分的分割評價指標上都比本文方法低;

3) 本文方法能夠利用CMDD分解圖像為包含煙塵主體信息的低頻分量和包含煙塵邊緣方向細節(jié)信息的8個高頻分量,有效降低了煙塵細節(jié)信息的丟失,增強了網(wǎng)絡對細節(jié)信息的提取能力,通過CDRU結(jié)合跳躍連接的多方向細節(jié)信息,能有效提高網(wǎng)絡對煙塵邊緣方向細節(jié)信息的恢復能力,提高煙塵邊緣細節(jié)部分的分割效果,并通過動態(tài)組合損失使網(wǎng)絡更關(guān)注煙塵邊緣信息的提取,本文方法的抗干擾能力得到了有效提高.在6個不同煙塵場景下不同方法的分割結(jié)果中,本文方法的分割結(jié)果優(yōu)于FCN,U-Net,ResNet,PSPNet,Deeplabv3+,DA-Net,W-UNet,SE-DUNet,Kidney-SegNet,I-BiSeNet 和W-Net共11種方法,分割煙塵整體及邊緣更加準確.從表4的評價指標上也可清晰看出,在不同煙塵場景下,本文方法在R,IOU和F1這3個評價指標上都比其他分割模型表現(xiàn)好.通過實驗證明,本文方法能夠很好解決煙塵邊緣信息丟失的問題,能適應復雜場景下目標煙塵的準確分割.

5 結(jié)論

針對邊緣模糊且方向多變煙塵分割不準確的問題,本文提出頻域多方向C-UNet及動態(tài)損失的工業(yè)煙塵圖像分割方法進行解決.首先利用CMDD結(jié)構(gòu)來提高網(wǎng)絡對煙塵多方向細節(jié)特征的提取能力;然后通過高頻多方向細節(jié)信息的跳躍連接,提升持續(xù)采樣過程中細節(jié)信息的表達準確度;之后利用CDRU結(jié)構(gòu)來增強煙塵邊緣細節(jié)信息恢復能力;最后構(gòu)建動態(tài)加權(quán)組合損失函數(shù)來優(yōu)化訓練網(wǎng)絡,增強網(wǎng)絡的自適應性和動態(tài)性,提高網(wǎng)絡在訓練過程中對煙塵邊緣特征的提取能力.

實驗結(jié)果表明,本文方法對邊緣模糊方向多變煙塵有更好的分割效果,能針對性地改善煙塵邊緣分割困難的問題.同時,為驗證本文方法的適應性和有效性,分別在多個不同煙塵場景數(shù)據(jù)集下進行不同方法的對比實驗,從實驗結(jié)果中可知,本文方法的分割效果都優(yōu)于其他分割網(wǎng)絡.