陳彥彤,李雨陽,呂石立,王俊生*
(1.大連海事大學(xué) 信息科學(xué)技術(shù)學(xué)院,遼寧 大連 116026; 2.交通運(yùn)輸部 搜救中心,北京 100736)
近年來,隨著世界各國對(duì)原油需求量不斷增加,海洋石油運(yùn)輸業(yè)迅速發(fā)展,但國內(nèi)外海面溢油污染事故卻頻繁發(fā)生。例如2010年,大連新港一艘外籍油輪在卸油時(shí),導(dǎo)致陸地輸油管線發(fā)生爆炸,事故造成50平方公里的海域被污染。2018年,桑吉輪與貨船在長江口發(fā)生碰撞[1],事故造成大量石油泄漏溢入東海,對(duì)海洋生態(tài)環(huán)境造成巨大危害。當(dāng)海面溢油事故發(fā)生后,能否準(zhǔn)確地檢測溢油區(qū)域位置和面積信息,對(duì)后續(xù)采取防治措施至關(guān)重要。因此,開展海面溢油監(jiān)測對(duì)于海洋環(huán)境保護(hù)具有重要意義。
傳統(tǒng)的海面溢油監(jiān)測手段為航拍或?qū)嵉卣{(diào)查,但是這種方法需要投入大量的人力物力,導(dǎo)致成本高、操作難度大。而遙感衛(wèi)星[2]可以不受國界領(lǐng)空的限制,長期且有效地監(jiān)測海面溢油的情況,是目前海面溢油監(jiān)測的最佳手段。目前基于遙感衛(wèi)星的海面溢油監(jiān)測通常使用星載合成孔徑雷達(dá)[3](Synthetic Aperture Radar, SAR),其具有覆蓋范圍廣、全天候的優(yōu)勢,能夠有效監(jiān)測海面溢油位置,但SAR圖像溢油監(jiān)測的研究主要集中在探測溢油的有無,對(duì)油污面積計(jì)算較少。而可見光遙感圖像[4]具有分辨率高、顏色豐富等特征,可以有效估計(jì)溢油區(qū)域面積,這對(duì)海洋生態(tài)破壞評(píng)估、后續(xù)溢油治理起到至關(guān)重要的作用。
對(duì)于多源遙感圖像海面溢油監(jiān)測主要采用圖像分割的方法,其中傳統(tǒng)的海面溢油分割方法有:(1)基于閾值分割的方法[5],原理是將圖像像素點(diǎn)分為若干類。這種方法實(shí)現(xiàn)簡單且計(jì)算量小,但易受海面噪聲以及圖像灰度分布不均的影響,導(dǎo)致分割準(zhǔn)確度低;(2)基于邊緣信息的檢測方法[6],結(jié)合溢油區(qū)域的形狀特征以及邊緣信息,來獲取溢油候選區(qū)域;(3)基于語義分割[7-9]的檢測方法,它是將圖像中屬于相同類別的像素聚類為一個(gè)區(qū)域。可以將溢油區(qū)域與海面進(jìn)行明確的分類,語義分割對(duì)圖像有更加細(xì)致的了解。用于語義分割的傳統(tǒng)分類方法有:(1)隨機(jī)決策森林(Random Decision Forests,RDF)[10],利用多棵樹對(duì)樣本進(jìn)行訓(xùn)練并預(yù)測的一種分類方法;(2)馬爾科夫隨機(jī)場(Markov Random Fields,MRF)[11],它是一種無向圖模型,為每個(gè)像素分配定義標(biāo)記的問題;(3)條件隨機(jī)場(Condition Random Field,CRF)[12-13],表示的是給定一組輸入隨機(jī)變量X的條件下另一組輸出隨機(jī)變量Y的馬爾可夫隨機(jī)場。其中全連接條件隨機(jī)場(Fully Connected Condition Random Field,FCCRF)克服了傳統(tǒng)CRF漏掉細(xì)小結(jié)構(gòu)的缺點(diǎn)。但是這些傳統(tǒng)方法的分類效果依然較差。
近年來,深度學(xué)習(xí)已經(jīng)廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域[14],尤其在圖像分類方面獲得了突破性的成功。LONG J等人提出了全卷積網(wǎng)絡(luò)[15](Fully Convolutional Networks,F(xiàn)CN),應(yīng)用于語義分割中,取得了較高的準(zhǔn)確率。Deeplab[16-17]模型是由Google團(tuán)隊(duì)提出的一種用于語義分割的辦法,利用空洞卷積準(zhǔn)確調(diào)節(jié)分辨率,擴(kuò)大感受野,降低計(jì)算量,并用空洞卷積金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)模塊進(jìn)行多尺度特征提取,得到全局和局部特征。最后用全連接條件隨機(jī)場,優(yōu)化邊緣效果,解決了因?yàn)閭鹘y(tǒng)深度卷積神經(jīng)網(wǎng)絡(luò)[18-20](Deep Convolutional Neural Network, DCNN)中連續(xù)的池化和降采樣導(dǎo)致空間分辨率明顯下降的問題,近一步提升分割效果。但是Deeplab模型依然存在一些問題,例如:(1)先用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行粗分割,再利用全連接條件隨機(jī)場進(jìn)行細(xì)分割,無法實(shí)現(xiàn)端對(duì)端的訓(xùn)練,導(dǎo)致分類精度低;(2)對(duì)海面溢油區(qū)域的精細(xì)細(xì)節(jié)提取較差且耗時(shí)長。
針對(duì)以上問題以及多源遙感圖像的特點(diǎn),本文以Deeplab模型為基礎(chǔ),提出一種新的卷積神經(jīng)網(wǎng)絡(luò)形式的多源遙感圖像海面溢油語義分割模型,用于監(jiān)測海面溢油區(qū)域,該模型將CRF與深度卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合,利用高斯成對(duì)勢和平均場近似定理,建立條件隨機(jī)場形成遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks, RNN)[21],并將它作為神經(jīng)網(wǎng)絡(luò)的一部分,獲得一個(gè)兼具卷積神經(jīng)網(wǎng)絡(luò)特性和CRF特性的深層端對(duì)端網(wǎng)絡(luò),將其命名為深度語義分割(Deep Semantic Segmentation,DSS)。利用該模型監(jiān)測SAR以及可見光遙感圖像的海面溢油區(qū)域,并用可見光遙感圖像有效估計(jì)溢油面積。
Deeplab模型利用空洞卷積代替了標(biāo)準(zhǔn)的網(wǎng)絡(luò)卷積操作,通過擴(kuò)大感受野、縮小步幅對(duì)特征圖采樣。它調(diào)整了卷積濾波器的感受野來捕捉多尺度的上下文信息,輸出不同分辨率的特征。對(duì)于一維卷積結(jié)構(gòu),輸出特征圖y的每個(gè)位置i,卷積濾波器w,輸入特征圖x,空洞卷積計(jì)算如公式(1)所示。二維卷積結(jié)構(gòu)原理如圖1所示。
(1)
圖1 空洞卷積原理Fig.1 Principle of atrous convolution
首先Deeplab改進(jìn)了Resnet架構(gòu),將Resnet的全連接層轉(zhuǎn)化為卷積層,最后兩個(gè)池化層去掉了下采樣,且后續(xù)卷積層的卷積核改為了空洞卷積,并對(duì)Resnet的權(quán)重進(jìn)行微調(diào),這樣網(wǎng)絡(luò)最后
圖2 ASPP模塊原理Fig.2 Principle of Atrous Spatial Pyramid Pooling(ASPP)
輸出的特征圖分辨率提高,感受野變大。然后進(jìn)行多尺度提取,ASPP模塊如圖2所示,在給定的輸入特征圖上以r=(6,12,18,24)的3×3空洞卷積并行采樣,最后通過ASPP各個(gè)空洞卷積分支采樣后結(jié)果融合到一起,得到最終預(yù)測結(jié)果。實(shí)際上就是通過不同的空洞卷積來對(duì)圖像進(jìn)行不同程度的縮放,從而獲得了更好的分割效果。最后使用全連接條件隨機(jī)場細(xì)化圖片。
基于多源遙感圖像的海面溢油區(qū)域普遍存在斑噪聲和強(qiáng)度不均的現(xiàn)象。其中SAR圖像中許多暗區(qū)域會(huì)被分類成溢油區(qū)域,可見光遙感圖像中海雜波等會(huì)對(duì)目標(biāo)檢測產(chǎn)生影響。首先本文以Deeplab模型為基礎(chǔ),輸入的圖像經(jīng)過深層卷積神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行粗略地分割,然后將全連接條件隨機(jī)場看做循環(huán)神經(jīng)網(wǎng)絡(luò)作為輸出,再次對(duì)圖像細(xì)分割,實(shí)現(xiàn)了深層卷積神經(jīng)網(wǎng)絡(luò)與全連接條件隨機(jī)場端對(duì)端的連接,將DCNN與改進(jìn)的全連接CRF模型優(yōu)勢結(jié)合在一個(gè)統(tǒng)一的端對(duì)端框架中。其次,本文在ASPP模塊中加入了BN層,加快網(wǎng)格訓(xùn)練速度。最后,改進(jìn)了基于平均場近似定理的全連接條件隨機(jī)場算法,與DCNN端對(duì)端連接。
傳統(tǒng)的條件隨機(jī)場用于平滑噪聲,將鄰近結(jié)點(diǎn)耦合,這樣空間上接近的像素會(huì)被分配相同標(biāo)記的標(biāo)簽。但是目前的深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu),得分圖通常非常平滑。在這種情況下,使用傳統(tǒng)的條件隨機(jī)場模型會(huì)漏掉細(xì)小結(jié)構(gòu),目標(biāo)恢復(fù)詳細(xì)的局部結(jié)構(gòu)。而全連接條件隨機(jī)場可以克服這個(gè)缺點(diǎn),捕獲精細(xì)細(xì)節(jié)。首先將像素標(biāo)簽建模為隨機(jī)變量,在全局觀測條件下形成馬爾科夫隨機(jī)場,設(shè)圖片為I,xi為像素i的標(biāo)注,從標(biāo)簽Li中取值,X為隨機(jī)變量x1,x2,…,xN產(chǎn)生的向量,I和x的關(guān)系可以建模為條件隨機(jī)場,如公式(2)所示:
(2)
由此可定義吉布斯分布如公式(3)所示。
(3)
(4)
根據(jù)公式(3),最小化吉布斯分布E(x)就可以得到標(biāo)注結(jié)果,但是過程相對(duì)復(fù)雜且算法比較耗時(shí),因而本文引入了平均場近似最大后驗(yàn)分布進(jìn)行推理[22]。Q(x)為條件隨機(jī)場P(x)的近似,它作為RNN重構(gòu)。平均場近似推理迭代算法具體步驟如表1所示。
五四時(shí)期,民國初建,民主共和流于形式,政府頻繁更迭,軍閥篡權(quán)當(dāng)?shù)?,社?huì)愈加黑暗,中國的志士仁人繼續(xù)探索救國救民之道,以期拯救黎民百姓于水火,建立一個(gè)真正美好公平的社會(huì)。各種政黨、社團(tuán)興起,西方思潮紛紛涌入,馬克思主義在政黨林立、主義紛紜的多元化意識(shí)形態(tài)格局中脫穎而出,闡釋著對(duì)于公平社會(huì)的解析及改造社會(huì)的主張。
表1 平均場近似推理迭代算法
Tab.1 Mean field approximate reasoning iterative algorithm
算法:平均場定理用于將CRF分解為常見的CNN操作Qi(l)←1ziexp(Ui(l)) for all i初始化While not converged doQ(m)(l)←∑j≠ik(m)(fi,fj)Qj(l) for all m消息傳遞ˇQi(l)←∑mw(m)Q(m)i(l)權(quán)值調(diào)整^Qi(l)←∑l′∈Lμ(l,l′)ˇQi(l)兼容性轉(zhuǎn)換ˇQi(l)←Ui(l)-^Qi(l)傳遞誤差微分Qi←1ziexp(ˇQi(l))歸一化End while
本文對(duì)平均場近似推理迭代算法的第2步和第3步進(jìn)行了改進(jìn),原始的高斯核為2,考慮了x,y的位置向量和顏色向量,實(shí)際上顏色向量在DCNN層中決定了分類的先驗(yàn)概率,所以可以不考慮顏色向量的高斯距離,僅考慮位置差異,這樣高斯核為1,距離越遠(yuǎn)差異就越小。并用全圖距離權(quán)重網(wǎng)絡(luò)代替?zhèn)鹘y(tǒng)的高斯核距離,將距離權(quán)重置于全圖卷積網(wǎng)絡(luò)中,該網(wǎng)絡(luò)的權(quán)值由訓(xùn)練樣本得到。第2步和第3步概率轉(zhuǎn)移和權(quán)值調(diào)整合并變?yōu)樾碌乃惴ǎ喈?dāng)于卷積運(yùn)算,如公式(5)所示:
(5)
其中:ai為距離權(quán)重,l為類別,Qj(l)為每個(gè)點(diǎn)的類別概率。
圖3 平均場近似推理算法迭代過程 Fig.3 Mean field approximation reasoning algorithm iterative process
該算法的迭代過程可表示為多個(gè)卷積神經(jīng)網(wǎng)絡(luò)層,如圖3所示,fθ表示迭代帶來的變化。多層平均場迭代可以重復(fù)上述過程實(shí)現(xiàn),每一次迭代都來源于之前迭代的結(jié)果,這就相當(dāng)于將迭代平均場視為一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)方程如式(6)~式(8)所示,T為平均場的迭代次數(shù),H1(t)初始值為DCNN歸一化的結(jié)果、H2(t)為一次CRF過程。Y(t)是第T次迭代的輸出,當(dāng)未達(dá)到迭代次數(shù)T時(shí)則繼續(xù)迭代。當(dāng)t=T時(shí),輸出H2(t)為最終迭代結(jié)果。
(6)
H2(t)={fθ(U,H1(t),I),0≤t≤T,
(7)
(8)
通過上述改進(jìn),模型整體流程圖如圖4所示,首先輸入圖片經(jīng)過Resnet網(wǎng)絡(luò),將Con3_x與Con4_x的中間層改為空洞卷積,然后經(jīng)過多尺度ASPP模塊,通過不同的空洞卷積速率Rate=(6,12,18,24)得到不同大小的特征圖。其次經(jīng)過多尺度ASPP模塊,加入BN層后,它可以加快訓(xùn)練速度,提高網(wǎng)絡(luò)的泛化能力。其中ASPP模塊的卷積神經(jīng)網(wǎng)絡(luò)可視化如圖5所示。當(dāng)感受野較小的時(shí)候,提取到的是圖像的細(xì)節(jié)特征。當(dāng)感受野越來越大時(shí),提取到的是圖像的抽象特征。然后經(jīng)過雙線性插值輸出特征圖,提供了CRF的一元電位,直接以端到端連接到循環(huán)神經(jīng)網(wǎng)絡(luò)中。最后,進(jìn)入循環(huán)卷積神經(jīng)網(wǎng)絡(luò)后,需要迭代t次才能離開循環(huán),使用反向傳播算法和隨機(jī)梯度下降方法進(jìn)行端到端的培訓(xùn),一旦離開循環(huán),Softmax層進(jìn)行網(wǎng)絡(luò)的終止,輸出分類結(jié)果。該算法統(tǒng)一了卷積神經(jīng)網(wǎng)絡(luò)與CRF的優(yōu)勢,形成了端對(duì)端的連接,并細(xì)化了分割邊緣。
圖4 DSS流程圖Fig.4 DSS flow chart
圖5 ASPP模塊的多尺度可視化結(jié)果Fig.5 Multi scale visualization results of ASPP
(9)
其中:power為參數(shù),值為0.9,iter表示迭代次數(shù),max_iter表示最大迭代次數(shù)。
本實(shí)驗(yàn)包括了海面溢油區(qū)域的分類結(jié)果、mIOU計(jì)算與損失函數(shù)、時(shí)間對(duì)比分析以及溢油面積計(jì)算。
本實(shí)驗(yàn)分別對(duì)比了遙感可見光圖像與SAR圖像的海面溢油分割情況,如下圖所示,對(duì)比方法分別為CRF-RNN,SPNet,以及本文所提方法。
圖6~圖8為可見光遙感圖像的海面溢油分割結(jié)果,可見光遙感圖像的油污與海水具有不同的表現(xiàn)。其中圖6(a)為原圖,可以看出圖中溢油區(qū)域較明顯,但存在海雜波的干擾。圖6(b)為CRF-RNN模型檢測結(jié)果,它只是用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行粗分割,并且未對(duì)平均場定理進(jìn)行改進(jìn),結(jié)果將部分海雜波錯(cuò)誤分類為溢油區(qū)域。圖6(c)的SPNet模型基本正確分類了溢油區(qū)域,但是精確度較差。本文所提出的方法檢測結(jié)果如圖6(d)所示,與圖6(b)相比,本文模型可以精確的分類出海雜波與溢油區(qū)域,捕獲了目標(biāo)精細(xì)細(xì)節(jié)。圖7(a)的溢油區(qū)域較分散且不明顯,CRF-RNN模型只正確分類了艦船,本文所提出的方法如圖7(d)所示,由圖可知本文方法分類效果最好,由于實(shí)現(xiàn)了端對(duì)端的連接分割精度近一步提升。由圖8所示,CRF-RNN模型將艦船錯(cuò)誤分類為溢油區(qū)域,SPNet模型與本文模型都正確分類了艦船與溢油區(qū)域,但是本文模型對(duì)目標(biāo)的精細(xì)分割能力較強(qiáng),獲得了良好的效果。
圖6 可見光遙感圖像海面溢油分割結(jié)果Fig.6 Optical remote sensing image oil spill segmentation results
圖7 可見光遙感圖像海面溢油分割結(jié)果Fig.7 Optical remote sensing image oil spill segmentation results
圖8 可見光遙感圖像海面溢油分割結(jié)果Fig.8 Optical remote sensing image oil spill segmentation results
圖9 SAR圖像海面溢油分割結(jié)果Fig.9 SAR image oil spill segmentation results
圖10 SAR圖像海面溢油分割結(jié)果Fig.10 SAR image oil spill segmentation results
圖11 SAR圖像海面溢油分割結(jié)果Fig.11 SAR image oil spill segmentation results
圖9~圖11為SAR圖像的海面溢油分類結(jié)果。在SAR圖像中,存在固有的相干斑噪聲且不同區(qū)域特性不均勻,導(dǎo)致分類難度增加,由3幅圖可知,CRF-RNN模型只能正確分類嚴(yán)重溢油區(qū)域,即圖像中顏色較深的部分。SPNet模型雖然正確分類了部分溢油區(qū)域但是對(duì)目標(biāo)邊緣比較模糊,本文所提出的方法分割結(jié)果均優(yōu)于前兩種模型。通過實(shí)驗(yàn)分析,無論是可見光遙感圖像還是SAR圖像,本文所提出的方法均適用且分割效果好。
將本文模型在所建立的數(shù)據(jù)集上與其他先進(jìn)模型進(jìn)行對(duì)比,評(píng)價(jià)指標(biāo)為mIOU,稱為平均交并比,是語義分割的標(biāo)準(zhǔn)度量,具體如公式(10)所示。對(duì)比結(jié)果如表2所示。mIOU值最低的為FCN-8s,由于卷積網(wǎng)絡(luò)的層數(shù)較少,從而導(dǎo)致結(jié)果較差。Deeplab模型的值為76.5,SPNet模型的值僅次于本文所提出的模型,達(dá)到了78.9,CRF-RNN模型mIOU值為71.8。本文方法與其他先進(jìn)方法相比效果較好,mIOU達(dá)到82.1。
(10)
其中:k為類別,i表示真實(shí)值,j表示預(yù)測值,pij表示將類i預(yù)測為類j。
表2 不同模型mIOU對(duì)比Tab.2 Comparison of different models mIOU
端對(duì)端模型迭代次數(shù)對(duì)實(shí)驗(yàn)的影響如表3,由表可知,當(dāng)?shù)螖?shù)達(dá)到5以上,mIOU提高的不是很明顯,考慮迭代次數(shù)多所占用的時(shí)間,所以本文選用迭代次數(shù)為T=5。
表3 迭代次數(shù)對(duì)模型的影響Tab.3 Effect of number of iterations on model
本文利用了交叉熵?fù)p失函數(shù)(Cross Entropy Cost Function,CECF)來計(jì)算損失,其定義如公式(11)所示。交叉熵表示真實(shí)概率分布與預(yù)測概率分布之間的差異,在深度學(xué)習(xí)中,真實(shí)分布已經(jīng)確定,交叉熵值越小,表示模型預(yù)測效果越好。損失函數(shù)收斂曲線如圖12所示。
(11)
其中:p(xi)表示真實(shí)概率分布,q(xi)表示預(yù)測概率分布。
圖12 損失函數(shù)曲線Fig.12 Loss function curve
在建立的數(shù)據(jù)集上與其它先進(jìn)方法的時(shí)間對(duì)比,如表4所示。由表可知Deeplab模型耗時(shí)最長為1.4 s,是因?yàn)闆]有實(shí)現(xiàn)深度卷積神經(jīng)網(wǎng)絡(luò)與全連接條件隨機(jī)場端對(duì)端的連接。耗時(shí)最短的模型為FCN-8s,而本文所提出的DSS模型耗時(shí)相對(duì)較短,基本與FCN-8s模型處于同一個(gè)數(shù)量級(jí)上且保證了檢測精度。
表4 不同模型耗時(shí)分析Tab.4 Time-consuming analysis of different models
海面溢油面積的計(jì)算可以為海面污染程度以及未來可能污染的程度提供依據(jù),具有重要的意義。本文通過可見光遙感衛(wèi)星的分辨率以及溢油區(qū)域的像素點(diǎn)數(shù)來估計(jì)溢油面積,由于可見光遙感圖像分辨率高,通常1 m分辨率是指一個(gè)像素表示地面大約1×1 m的面積,因此利用溢油區(qū)域像素的數(shù)量乘以衛(wèi)星分辨率的平方,即可求出海面溢油區(qū)域面積,具體如公式(12)所示:
Sos≈Nos×R2,
(12)
其中:Sos為海面溢油區(qū)域面積,Nos為溢油區(qū)域像素點(diǎn)數(shù),R為衛(wèi)星的分辨率。本文可見光遙感圖像的溢油面積如表5所示。
表5 可見光遙感圖像溢油面積Tab.5 Oil spill area of visible remote sensing image
本文以深層卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ),空洞卷積代替最大池化層,并與全連接條件隨機(jī)場實(shí)現(xiàn)端對(duì)端的連接,獲得一個(gè)既有卷積神經(jīng)網(wǎng)絡(luò)特性又具有條件隨機(jī)場特性的深層網(wǎng)絡(luò)。克服了衛(wèi)星圖像對(duì)海面溢油監(jiān)測的分類較差的問題,提升了捕獲目標(biāo)精細(xì)細(xì)節(jié)的能力。通過SAR和可見光遙感圖像對(duì)海面溢油區(qū)域進(jìn)行監(jiān)測,在本文所建立的數(shù)據(jù)集上mIOU值達(dá)到了82.1,對(duì)于遙感圖像的分類效果均較好。并且利用可見光遙感圖像高分辨率的特點(diǎn),有效估計(jì)了溢油區(qū)域的面積,對(duì)海洋環(huán)境修復(fù)及查看海面污染程度具有重要的意義。
本文是以弱監(jiān)督學(xué)習(xí)為基礎(chǔ)的訓(xùn)練模型,網(wǎng)絡(luò)的訓(xùn)練依賴大量的標(biāo)記圖像,這就需要大量的人力且會(huì)受到人為主觀因素的影響。因此,未來的研究重點(diǎn)會(huì)轉(zhuǎn)向非監(jiān)督學(xué)習(xí),提高算法的便利與可行性。