王 彬, 王國宇

(1.中國海洋大學(xué)信息科學(xué)與工程學(xué)院, 山東 青島 266100; 2.青島科技大學(xué)信息科學(xué)技術(shù)學(xué)院, 山東 青島 266061)

0 引 言

海岸線同時受到自然因素和人為因素的影響,具有高度的動態(tài)性[1-2]。合成孔徑雷達(synthetic aperture radar, SAR)是一種主動式成像雷達,具有能對目標進行全天時、全天候觀測的優(yōu)點[3],已經(jīng)成功應(yīng)用于很多領(lǐng)域,例如軍事、農(nóng)業(yè)、地球科學(xué)、海洋資源利用等[4],并且SAR數(shù)據(jù)很適合進行海岸線的動態(tài)檢測?！逗５罍y量規(guī)范》[5]中規(guī)定,海岸線為大潮高潮時水陸分界的平均痕跡線。SAR圖像中的海岸線為拍攝時的瞬時水邊線,無法保證此水邊線為海岸線,因此本文主要研究SAR圖像瞬時水邊線的提取。

瞬時水邊線的提取是海岸線提取的關(guān)鍵一步[6],目前使用較多的方法有閾值分割方法、邊緣檢測算子方法與數(shù)據(jù)挖掘方法。閾值分割方法[7-9]簡單有效,但是面對復(fù)雜的陸地背景時效果欠佳。邊緣檢測算子[10-11]對噪聲敏感,連續(xù)性較差。數(shù)據(jù)挖掘方法[12-14]則是利用了人工神經(jīng)網(wǎng)絡(luò)、聚類分析技術(shù)、支持向量機等數(shù)據(jù)挖掘的方法自動提取海岸線,但是需要一定的人工干預(yù),并不能實現(xiàn)完全的自動提取,且當存在陰影或者其他水體時有一定的虛警。

目前深度學(xué)習(xí)方法在光學(xué)圖像的目標檢測[15-16]、圖像分割[17-18]中取得了巨大成功,但深度學(xué)習(xí)在海岸線提取方面的應(yīng)用較少,而SAR圖像瞬時水邊線的提取本質(zhì)上是一個二分類問題[1],本文引入深度學(xué)習(xí)分類方法進行SAR圖像瞬時水邊線的端到端自動提取。

Long等[19]將傳統(tǒng)的分類網(wǎng)絡(luò)修改為全卷積網(wǎng)絡(luò)(fully convolutional network, FCN),以此實現(xiàn)對輸入圖像的端對端密集分類。FCN的提出極大地推動了密集分類的發(fā)展,但存在分類精度不高、對目標邊緣等細節(jié)信息提取較差的問題。后續(xù)提出的網(wǎng)絡(luò)在FCN的基礎(chǔ)上做了許多改變,提高了分類的正確率。文獻[20-21]利用條件隨機場對分類結(jié)果進行處理,通常作為后處理,或是加入網(wǎng)絡(luò)中進行端對端訓(xùn)練。文獻[20,22]利用空洞卷積提取高分辨的特征圖,減小特征圖中采樣過程細節(jié)信息的丟失。文獻[23-24]利用編碼解碼網(wǎng)絡(luò)實現(xiàn)高分辨率的結(jié)果預(yù)測,編碼網(wǎng)絡(luò)用來提取圖像的中層與高層特征,解碼網(wǎng)絡(luò)則對編碼網(wǎng)絡(luò)提取的高層與中層特征進行融合與再提取,最終輸出預(yù)測圖。

本文首先用增強型Lee濾波[25]降低SAR圖像的相干斑噪聲,進而用殘差網(wǎng)絡(luò)[26](residual network, ResNet)的升級版本提取SAR圖像中的目標特征;再利用全局卷積網(wǎng)絡(luò)(global convolutional network, GCN)[24]、密集連接網(wǎng)絡(luò)(densely connected network,DenseNet)[27]進一步提取目標本質(zhì)特征,將水體區(qū)域分割出來;最后再用Sobel算子[28]將邊緣提取出來得到瞬時海岸線結(jié)果。

1 基于深度學(xué)習(xí)的海岸線提取算法

1.1 升級的殘差網(wǎng)絡(luò)

一般而言,在圖像分類中表現(xiàn)很好的網(wǎng)絡(luò)在圖像密集分類中也能具有較高的分類精度,例如FCN中所用的視覺幾何群(visual geometry group,VGG)網(wǎng)絡(luò)[29-30]以及目前很多編碼解碼網(wǎng)絡(luò)中所用的ResNet[31]等。

在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)中,網(wǎng)絡(luò)是一層層簡單堆疊構(gòu)成。He等[31]觀測到,通過簡單地堆疊層并不能提高網(wǎng)絡(luò)性能,層數(shù)過深時網(wǎng)絡(luò)性能反而下降,于是提出ResNet,使得卷積神經(jīng)網(wǎng)絡(luò)突破了之前的層數(shù)限制,在深層時可以獲得更好的表達能力。與VGG網(wǎng)絡(luò)相比,ResNet的參數(shù)少得多,因為VGG網(wǎng)絡(luò)有3個全連接層,這需要大量的參數(shù),而ResNet用平均池化代替全連接,節(jié)省了大量參數(shù)。

2017年,Xie等[26]提出了ResNet的升級版本ResNeXt以代替ResNet,取得了更好的分類效果。因此,本文的主干網(wǎng)絡(luò)采用了ResNeXt。該網(wǎng)絡(luò)的主要特點是:網(wǎng)絡(luò)結(jié)構(gòu)簡明,模塊化;需要手動調(diào)節(jié)的超參數(shù)很少;與ResNet相比,相同的參數(shù)個數(shù),結(jié)果更優(yōu)，一個101層的ResNeXt,和200層的ResNet準確度差不多,但是計算量只有后者一半。

1.2 密集連接

DenseNet[27]是在ResNet的基礎(chǔ)上進一步發(fā)展了短連接的思想,在層與層之間引入更多的連接,如圖1所示。DenseNet進一步減輕了梯度消失的問題,加強了特征的傳播,使得各個層級的特征得到充分的利用,從而提高最后分類的精度。

圖1 DenseNet框架

1.3 基于深度學(xué)習(xí)的海岸線提取算法

本文采用分割的方法對SAR圖像的海水區(qū)域進行提取,其中海水分為一類,其他區(qū)域歸為背景一類。將海水分割出來后,再分離海岸線。首先利用增強Lee濾波對輸入圖像進行預(yù)處理,降低相干斑噪聲影響;然后將預(yù)處理后的圖片輸入到搭建的編碼解碼網(wǎng)絡(luò)中進行密集分類,得到最終海水和背景的二值分類圖;進而利用Sobel算子分離出海岸線。算法的整體框架如圖2所示。

1.3.1 增強Lee濾波預(yù)處理

為了降低SAR圖像相干斑噪聲對海岸線提取的影響,本文采用增強Lee濾波抑制噪聲,同時保證其紋理信息不受破壞。

1.3.2 深度學(xué)習(xí)分類網(wǎng)絡(luò)

本文所提出的網(wǎng)絡(luò)框架包含編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò),具體如圖2所示。

圖2 網(wǎng)絡(luò)的整體框架

(1)編碼網(wǎng)絡(luò)

由ResNeXt主干網(wǎng)絡(luò)構(gòu)成,包括4個部分:Encoder_1、Encoder_2、Encoder_3和Encoder_4。編碼器通過編碼網(wǎng)絡(luò)提取輸入圖像的特征,包括從中間層的細粒度特征到高層的低分辨率語義特征。編碼網(wǎng)絡(luò)以級聯(lián)的方式搭建。其中,Encoder_x(x=1,2,3)的輸出連接到Encoder_(x+1)(x=1,2,3),編碼塊之間從上往下首尾相連,Encoder_x(x=1,2,3)提取圖像的中低層特征,Encoder_4提取高層特征,且將模塊Encoder_x的輸出連接到模塊Decoder_x的輸入。

(2)解碼網(wǎng)絡(luò)

解碼器包括4個主要的部分:Decoder_1、Decoder_2、Decoder_3和Decoder_4。將每一個Decoder_x(x=2,3,4)的輸出連接到每一個模塊Decoder_y(y

解碼模塊的內(nèi)部結(jié)構(gòu)如圖3所示[22]。整個解碼網(wǎng)絡(luò)由3部分組成:GCN[30]、解碼模塊Decoder_x和密集連接模塊。

圖3 解碼器內(nèi)部結(jié)構(gòu)

全局卷積網(wǎng)絡(luò)由1×k+k×1和k×1+1×k兩個分離卷積[32]組成。GCN可以在輸入特征圖的一個k×k大區(qū)域中實現(xiàn)密集連接,且與普通的k×k卷積核相比,GCN只有O(2/k)的計算量和參數(shù)數(shù)量。GCN在網(wǎng)絡(luò)中實現(xiàn)大感受野中的密集連接,可以提高分類結(jié)果的精度,也具有維度匹配的功能。具體結(jié)果如圖4所示。

圖4 GCN內(nèi)部結(jié)構(gòu)示意圖

解碼模塊Decoder_x具有相同的內(nèi)部結(jié)構(gòu),但具有各自獨立的參數(shù)。模塊由3部分組成:殘差卷積單元(residual convolutional unit, RCU)、多分辨率融合單元和鏈式殘差池化(chained residual pooling, CRP)。解碼模塊具有多個輸入,包括編碼網(wǎng)絡(luò)輸出的高分辨率特征圖和之前解碼模塊輸出的低分辨率語義特征,編碼網(wǎng)絡(luò)輸入的特征經(jīng)過兩個RCU單元進行調(diào)整后與直接輸入的低分辨率語義特征進行融合,再經(jīng)過CRP提取新的語義特征,經(jīng)過一個RCU單元調(diào)整后輸入下一個解碼器或者進行最后預(yù)測,其中Decoder_4只有一個輸入,其他的輸入個數(shù)分別為2,3,4。

RCU由去除批量歸一化(batch normalization, BN)層之后的RCU組成,主要作用是微調(diào)預(yù)訓(xùn)練的ResNet模型權(quán)重,同時也可以對輸入特征進行調(diào)整并用于下一步的處理。具體如圖5所示,RCU由兩個Relu激活函數(shù)和兩個3×3卷積交叉串聯(lián)搭建,RCU操作后對輸入特征圖的大小和維度沒有改變。

圖5 RCU內(nèi)部結(jié)構(gòu)

多分辨率融合單元是解碼模塊第2個階段,作用是融合編碼器經(jīng)過調(diào)整的特征和之前解碼器輸出的特征。假設(shè)H×W×C為輸入特征圖的高、寬和通道數(shù),在進行不同分辨率特征融合之前,必須保證H、W和C三者的一致。先將編碼器和前一個解碼器輸入的特征經(jīng)過一個3×3卷積實現(xiàn)通道C的統(tǒng)一,若有密集連接輸入則通過GCN進行維度匹配;然后將所有輸入的低分辨率特征圖使用雙線性插值進行上采樣至高分辨率特征圖大小,實現(xiàn)H×W的統(tǒng)一。

級聯(lián)池化是解碼模塊的第3個階段。CRP最早用于在大的圖像區(qū)域中提取背景上下文信息。CRP最大的優(yōu)點是可以對輸入特征圖進行連續(xù)的池化,這樣就可以用一個5×5的窗口來獲取大范圍的上下文信息。具體結(jié)構(gòu)如圖6所示,CRP的具體結(jié)構(gòu)由一連串的池化模塊組成,每一個模塊包含一個卷積層和一個最大池化層,后一個池化層以前一個池化層的輸出結(jié)果作為輸入,因此后續(xù)的池化層能夠用一個不大的池化窗口來處理更大區(qū)域的圖像特征。

圖6 CRP內(nèi)部結(jié)構(gòu)

密集連接模塊是指圖2中解碼器Decoder_x的輸出為每一個解碼器Decoder_y的輸入,其中x>y。這使得每一個解碼器可以使用所有之前的高層語義特征,特征得到重復(fù)利用,從某種程度上可以修正之前編碼器出現(xiàn)的錯誤。密集連接模塊可以有效地融合不同分辨率的特征,同時通過密集連接,使梯度可以在訓(xùn)練時在各個解碼模塊間得到有效地傳遞,緩解梯度消失的問題。

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)集介紹

本文數(shù)據(jù)集使用了兩種數(shù)據(jù),一種是Sentinel-1 SAR圖像,分辨率為5 m×20 m,一共有7張大小為10 000×13 000的圖像;另一種數(shù)據(jù)是分辨率為0.1 m的毫米波數(shù)據(jù),一共選用了10 240×13 050的大場景影像9張。使用Matlab軟件中的Image Labeler進行標注,共分為背景和海水兩類。將大圖切割成500×500大小的圖像做成數(shù)據(jù)集,一共4 500張切片,訓(xùn)練和驗證的比例為4∶1。

圖7展示的是部分Sentinel-1 SAR影像和毫米波影像。由圖7可以看出,毫米波影像的分辨率非常高,細節(jié)信息得到了體現(xiàn)。

圖7 SAR圖像數(shù)據(jù)集示例

圖8為數(shù)據(jù)集中原圖與標簽的示例,其中紅色為海水區(qū)域,黑色為背景區(qū)域。

圖8 數(shù)據(jù)集示例

2.2 實驗參數(shù)設(shè)置

網(wǎng)絡(luò)訓(xùn)練過程中,學(xué)習(xí)率和權(quán)重衰減分別設(shè)置為e-5和0.995。編碼與解碼網(wǎng)絡(luò)之間用于維度變換的GCN模塊中,卷積核的尺寸設(shè)置為k=9,c1分別為64、64、64、128。訓(xùn)練過程中使用500×500的窗口進行隨機滑窗剪裁。

2.3 實驗結(jié)果分析

為驗證本文方法的有效性,對本文提出的算法和兩種分割效果很好且應(yīng)用非常廣泛的深度學(xué)習(xí)網(wǎng)絡(luò)進行了實驗對比,這兩種網(wǎng)絡(luò)為FCN[15]和細化網(wǎng)絡(luò)(refinement network, RefineNet)[23]。分別對一張Sentinel-1 SAR圖像和一張毫米波SAR圖像進行海岸線的提取實驗。測試的圖片來源于在訓(xùn)練中未使用的區(qū)域,Sentinel-1的SAR圖片大小為2 058像素×2 556像素,毫米波的SAR圖像為1 191像素×2 464像素。測試時先使用幾種算法訓(xùn)練產(chǎn)生的模型對SAR圖像處理產(chǎn)生海水和背景的分割圖,再對各自的分割圖采用相同的Sobel算子參數(shù)進行邊界分離。

Sentinel-1 SAR圖像的實驗結(jié)果如圖9和圖10所示,圖9為SAR圖像海水分割的結(jié)果,可以發(fā)現(xiàn),FCN網(wǎng)絡(luò)分割的結(jié)果中有很多海水的虛警區(qū)域,尤其是在陸地上有很多陰影區(qū)域也被分成了海水,并且該算法還漏掉了左下角的一小塊陸地。RefineNet網(wǎng)絡(luò)分割的海水區(qū)域虛警相較FCN有所減少,FCN中漏掉的陸地區(qū)域也被分割出來,但仍有不少虛警。而本文算法結(jié)果顯示,陸地上的陰影區(qū)都沒有被分為海水,沒有出現(xiàn)虛警,且漏掉的陸地區(qū)域也被找到。海岸線分離后與SAR圖像的融合結(jié)果如圖10所示,可以清楚地看到本文算法在海岸線提取上比另外兩種網(wǎng)絡(luò)性能更優(yōu)。

圖9 Sentinel-1的SAR圖像分割實驗結(jié)果

圖10 Sentinel-1的SAR圖像海岸線提取實驗結(jié)果

高分辨率毫米波SAR圖像的實驗結(jié)果如圖11和圖12所示。從圖11可以發(fā)現(xiàn),FCN網(wǎng)絡(luò)和RefineNet網(wǎng)絡(luò)在進行海水分割時都將陸地上很多小的陰影判定為海水區(qū)域,出現(xiàn)了很多海水虛警。而本文提出的方法則基本上消除了這些虛警區(qū)域,只出現(xiàn)了非常少的零星虛警區(qū)域。圖12(a)為SAR圖像對應(yīng)的海水標簽。將圖11中的分割結(jié)果利用Sobel算子進行海岸線分離后,發(fā)現(xiàn)本文方法不但虛警非常少,在海岸線的提取中精度也更高,與實際海岸線更加吻合。通過這兩個實驗,可以看到,FCN的處理結(jié)果較粗糙,RefineNet和本文算法可以取得更好的效果,本文算法效果則比RefineNet稍好。FCN存在小塊陰影區(qū)域誤分類為海水,還存在對小塊陸地的忽視處理。邊緣的粗糙和小目標的忽視是因為FCN的網(wǎng)絡(luò)結(jié)構(gòu)中缺乏對中級特征的利用,如果只利用經(jīng)過數(shù)次池化后的高級特征就容易導(dǎo)致丟失小目標和邊緣信息。誤分類是因為FCN對特征的上采樣過程中缺乏對上下文信息和全局信息的提取。RefineNet和本文算法與FCN的差別在于解碼網(wǎng)絡(luò)的設(shè)計,RefineNet采用逐層將編碼網(wǎng)絡(luò)低層中級特征融入高層語義特征,同時提取上下文信息。這是一個逐層修正分類結(jié)果并且同時補充細節(jié)信息的過程,故RefineNet和本文算法能取得更好的分類結(jié)果。本文算法進一步引入密集連接和GCN，能得到更好的訓(xùn)練效果并獲取更多的上下文信息,故能在不同數(shù)據(jù)中取得更好的分類結(jié)果。

圖11 毫米波的SAR圖像分割實驗結(jié)果

圖12 毫米波的SAR圖像海岸線提取實驗結(jié)果

為對實驗結(jié)果進行定量分析,表1給出了兩個實驗的水體分割像素精度(pixel accuracy, PA)和交并比(intersection over union, IOU),為了評定本文提出方法的高效性,還給出了圖片測試時間對比。由表1可知,兩個實驗中PA都可以達到90%以上,從提取圖中也可以發(fā)現(xiàn),絕大部分水域都能較好地提取出來。且本文方法比FCN和RefineNet兩個方法精度更高,水體區(qū)域都能更好地檢測出來。兩個算法的IOU都比本文方法低3至4個百分點,由圖12可以發(fā)現(xiàn),這是因為出現(xiàn)了很多虛警水體的原因,而本文方法則虛警很少,這也進一步驗證了本文方法的有效性。

表1 不同方法性能比較

此外,從測試時間來看,FCN的網(wǎng)絡(luò)效率最高,RefineNet花費時間最長,本文網(wǎng)絡(luò)比FCN稍慢,但比RefineNet快很多。本文網(wǎng)絡(luò)和FCN的測試時間有0.1 s左右的差距,FCN作為目前分割網(wǎng)絡(luò)的鼻祖,其網(wǎng)絡(luò)結(jié)構(gòu)本身就較為簡單,因此訓(xùn)練模型參數(shù)較少,測試時間最短。RefineNet的測試時間是最長的,由此可以看出,改進后的網(wǎng)絡(luò)不僅能對海岸線進行高精度提取,還縮短了圖片處理時間,真正實現(xiàn)了高分辨率SAR圖像中海岸線的快速提取。

3 結(jié) 論

針對SAR圖像中海岸線自動高精度提取問題,本文提出了一種基于深度學(xué)習(xí)的新型網(wǎng)絡(luò)。該網(wǎng)絡(luò)首先用增強Lee濾波來降低相干斑噪聲;進而利用ResNeXt主干網(wǎng)絡(luò)來提取特征;再結(jié)合GCN、密集連接和分層特征融合進一步提取本質(zhì)特征,從而獲取海水分割結(jié)果;最后利用Sobel算子進行海岸線分離。通過對Sentinel-1和高分辨率毫米波SAR圖像進行海岸線提取實驗。結(jié)果表明,本文提出的方法在海岸線提取上比FCN和RefineNet性能更優(yōu),虛警和漏警大大降低;也充分證明了本文方法對于不同分辨率和不同波段的SAR圖像在海岸線提取中的有效性。