康健 管海燕 于永濤 景莊偉 劉超 高俊勇

摘要針對(duì)現(xiàn)階段卷積神經(jīng)網(wǎng)絡(luò)模型在復(fù)雜地物背景下水體提取精度低、多尺度特征捕獲能力差、模型復(fù)雜的問題，基于LinkNet模型提出一種結(jié)合RFB模塊和通道注意力機(jī)制的RFA-LinkNet高分辨率光學(xué)遙感影像水體提取模型．首先，將RFB模塊用于獲取高階水體語(yǔ)義信息與多尺度特征;其次，利用通道注意力機(jī)制，對(duì)特征編碼和解碼的特征進(jìn)行加權(quán)融合，抑制背景特征，增強(qiáng)水體語(yǔ)義．與現(xiàn)有卷積神經(jīng)網(wǎng)絡(luò)模型相比，提出方法不僅具有高效的性能和魯棒性，而且能實(shí)現(xiàn)高精度的水體提?。?/p>

關(guān)鍵詞遙感影像;水體提取;多尺度特征;注意力機(jī)制;

中圖分類號(hào)

TP79

文獻(xiàn)標(biāo)志碼

A

收稿日期

2022-01-02

資助項(xiàng)目

國(guó)家自然科學(xué)基金（41971414，62076107）;江蘇省研究生科研與實(shí)踐創(chuàng)新計(jì)劃（KYCX20_0976）

作者簡(jiǎn)介康健，男，碩士生，研究方向?yàn)檫b感影像語(yǔ)義分割．20191235005@nuist.cn

管海燕（通信作者），女，博士，教授，研究方向?yàn)辄c(diǎn)云、遙感影像數(shù)據(jù)智能處理．guanhy.nj@nuist.edu.cn

0 引言

水資源在人類社會(huì)發(fā)展和地球能量循環(huán)過程中起著重要作用．因此，研究水體的時(shí)空分布，精確識(shí)別水體，對(duì)于水資源的管理和監(jiān)測(cè)、城市規(guī)劃、環(huán)境保護(hù)和防洪減災(zāi)［1-2］具有重要意義．特別是從光學(xué)遙感影像中識(shí)別水體獲得了廣泛關(guān)注．

當(dāng)前，從光學(xué)遙感影像中提取水體主要分為傳統(tǒng)方法和基于卷積神經(jīng)網(wǎng)絡(luò)的方法．前者包括單／自適應(yīng)閾值法、基于樣本特征和人工先驗(yàn)知識(shí)的機(jī)器學(xué)習(xí)法以及基于地物光譜差異的面向?qū)ο蠓ǎ墨I(xiàn)［3］提出歸一化差異水體指數(shù)（Normalized Difference Water Index，NDWI），可減少背景影響，有效提取水體;文獻(xiàn)［4］提出改進(jìn)的歸一化差異水體指數(shù)（Modified NDWI，MNDWI）有效解決了陰影對(duì)于水體提取的影響;文獻(xiàn)［5］結(jié)合相鄰像素間的空間相關(guān)性、像素強(qiáng)度等多特征，利用馬爾可夫隨機(jī)場(chǎng)算法精確提取水體信息并監(jiān)測(cè)其面積;文獻(xiàn)［6］提出了面向?qū)ο蟮姆炙畮X算法，實(shí)現(xiàn)了山地湖泊水體信息的提?。@些傳統(tǒng)水體提取方法雖然能有效獲得水體信息，但水體提取結(jié)果存在椒鹽噪聲，且受環(huán)境影響嚴(yán)重，難以實(shí)現(xiàn)大規(guī)模自動(dòng)提取水體．

近年來，深度學(xué)習(xí)發(fā)展迅速，其中卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）［7］憑借強(qiáng)大特征學(xué)習(xí)能力被廣泛應(yīng)用于圖像分類、目標(biāo)檢測(cè)等領(lǐng)域．特別是全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）［8］的提出，克服了以往網(wǎng)絡(luò)中存在全連接層對(duì)于特征圖空間信息的破壞，實(shí)現(xiàn)了圖像的像素級(jí)端到端特征提取．文獻(xiàn)［9］聯(lián)合CNN模型與NDWI，同時(shí)結(jié)合水體光譜和空間信息，顯著提高了水體提取精度;文獻(xiàn)［10］提出了DeepWaterMap模型，將水體從復(fù)雜環(huán)境中提取出來．由于受限于Landsat影像空間分辨率，從而對(duì)精細(xì)水體提取效果不顯著．文獻(xiàn)［11］提出了VGG-FCN模型遷移學(xué)習(xí)的水體提取方法，并將其與傳統(tǒng)的閾值法和CrabCut算法進(jìn)行分析比較，實(shí)驗(yàn)表明基于CNN模型的水體提取算法具有自動(dòng)化程度高和水體提取精度高等優(yōu)點(diǎn);文獻(xiàn)［12］基于改進(jìn)的UNet模型，結(jié)合條件隨機(jī)場(chǎng)算法實(shí)現(xiàn)了GF-2影像的水體的提?。?dāng)前基于卷積神經(jīng)網(wǎng)絡(luò)的方法，雖然能有效提取水體信息，但由于水體的大小、形狀、紋理復(fù)雜多樣，且地域分布差異明顯，因而從高分遙感影像中高效、精確提取水體，特別是復(fù)雜地物背景下的多尺度水體依然有一定難度.另外，基于經(jīng)典語(yǔ)義分割的網(wǎng)絡(luò)模型參數(shù)量大、收斂緩慢、計(jì)算效能低．

針對(duì)現(xiàn)階段卷積神經(jīng)網(wǎng)絡(luò)模型在復(fù)雜地物背景下水體提取精度低、多尺度特征提取能力差、模型復(fù)雜和計(jì)算效能低的問題，本文基于LinkNet模型，提出了一種結(jié)合RFB （Receptive Field Block）模塊和通道注意力機(jī)制的Receptive Field Attention LinkNet （RFA-LinkNet）高分遙感影像水體識(shí)別模型．首先，基于RFB模塊獲取高階水體語(yǔ)義信息與多尺度特征;其次，利用通道注意力機(jī)制，對(duì)LinkNet模型的編碼和解碼器特征進(jìn)行加權(quán)融合，從而抑制背景噪聲，增強(qiáng)水體特征顯著性．與現(xiàn)有卷積神經(jīng)網(wǎng)絡(luò)模型分析對(duì)比，實(shí)驗(yàn)表明本文方法能夠?qū)崿F(xiàn)高效、高精度水體提取．

1 水體提取模型框架

1.1 RFA-LinkNet水體提取模型

本文提出的RFA-LinkNet水體提取模型基于經(jīng)典的LinkNet模型［13］，如圖1a所示．LinkNet模型采用特征編碼-解碼結(jié)構(gòu)：特征編碼部分主要由3個(gè)3×3的初始卷積層和4個(gè)特征編碼層組成．特征編碼層通過殘差塊［14］和池化操作提取目標(biāo)語(yǔ)義特征，生成特征圖，并減小特征圖大?。?00×800尺寸的RGB影像經(jīng)過初始卷積層后，變?yōu)榫哂?4個(gè)通道、400×400大小的特征圖，再經(jīng)過4個(gè)特征編碼層后特征圖大小依次變?yōu)?00×200、100×100、100×100、50×50，通道數(shù)變?yōu)?4、128、256、512，其中殘差塊結(jié)構(gòu)如圖1b所示．

特征解碼部分由4個(gè)反卷積塊和1個(gè)末端輸出卷積層構(gòu)成，反卷積塊結(jié)構(gòu)如圖1c所示．經(jīng)過4個(gè)反卷積塊后，25×25×512的特征圖尺寸大小依次變?yōu)?0×50、100×100、200×200、400×400，通道數(shù)分別變?yōu)?56、128、64、64．最后經(jīng)過輸出卷積層生成800×800×1的水體概率分布圖．其中，特征編碼和解碼兩部分，采用逐像素相加的方式進(jìn)行特征融合．

特征編碼部分經(jīng)過多次卷積和池化操作，可以生成具有豐富全局信息和語(yǔ)義特征的高階特征圖．因此，本文在LinkNet網(wǎng)絡(luò)的基礎(chǔ)上，首先，引入RFB模塊來增大感受野，增強(qiáng)多尺度水體信息的獲取能力，抑制背景特征，實(shí)現(xiàn)高階水體語(yǔ)義特征的提取．其次，利用通道注意力機(jī)制對(duì)各特征編碼層生成的特征圖進(jìn)行通道加權(quán)，降低無關(guān)特征的干擾，增強(qiáng)不同尺度特征圖中的水體語(yǔ)義特征，提高水體提取精度．

1.2 RFB模塊

光學(xué)遙感影像中的水體時(shí)空分布多樣、形狀和紋理差異明顯，特別是在高空分辨的光學(xué)遙感影像中水體與背景的邊緣紋理特征、細(xì)節(jié)信息豐富，對(duì)精確水體提取構(gòu)成挑戰(zhàn)．在常規(guī)的卷積神經(jīng)中，網(wǎng)絡(luò)通過堆疊卷積層增大感受，獲取不同尺度上的特征．然而，在固定大小的卷積核生成的高階特征圖中，存在大量無關(guān)背景特征，會(huì)影響目標(biāo)特征的提取．空洞卷積［15］引入擴(kuò)張率，在卷積核之間填充0，增大感受野，捕獲多尺度特征的同時(shí)未增加參數(shù)量．空洞卷積等效感受野的計(jì)算公式如下：

K=K size+（K size-1）·（R rate-1），（1）

其中，K為空洞卷積的等效卷積核大小，K size為空洞卷積的卷積核大小，R rate為擴(kuò)張率大小.如圖2所示擴(kuò)張率分別為1、3、5的3×3卷積．

輸入的影像經(jīng)過LinkNet模型的特征編碼，可獲得大量特征信息，其中無關(guān)的背景特征會(huì)影響水體語(yǔ)義特征的提?。虼耍疚囊隦FB模塊進(jìn)一步獲得豐富的多尺度水體信息，抑制非水體特征，實(shí)現(xiàn)高階水體語(yǔ)義特征提取．RFB模塊模擬人類視覺感受野，加強(qiáng)多尺度特征提取能力，被廣泛地應(yīng)用于目標(biāo)檢測(cè)領(lǐng)域［16］．

本文構(gòu)建的高階特征提取RFB模塊，其結(jié)構(gòu)如圖3所示．首先，應(yīng)用1×1的卷積層對(duì)輸入特征圖進(jìn)行通道降維;然后，將降維的特征圖分別輸入到含有空洞卷積的4個(gè)分支中，在擴(kuò)張率為1、3、5的3×3空洞卷積層前，使用了3×1和1×3的非對(duì)稱卷積減小參數(shù);其次，利用1×1的卷積對(duì)4個(gè)分支生成的多尺度特征進(jìn)行聚合;最后，將初始多尺度特征與原始特征進(jìn)行深層次融合，完成多尺度特征的提取，增強(qiáng)高階水體語(yǔ)義信息．

1.3 通道注意力機(jī)制

特征編碼過程中，特征圖尺寸大小減半，同時(shí)特征圖通道數(shù)在增加，含有目標(biāo)特征的通道對(duì)目標(biāo)語(yǔ)義特征表達(dá)有益，不含目標(biāo)特征的通道則不利于特征表達(dá)．LinkNet模型中將編碼和解碼特征簡(jiǎn)單地進(jìn)行逐像素相加，缺乏對(duì)于無關(guān)特征的抑制，不能準(zhǔn)確提取目標(biāo)特征．因此，本文引入通道注意力機(jī)制來增強(qiáng)水體特征，通過對(duì)特征編碼階段生成的特征圖各通道間相互關(guān)系建模，增強(qiáng)水體語(yǔ)義特征的表達(dá)．首先，通過兩個(gè)池化層對(duì)輸入特征圖壓縮，同時(shí)捕獲全局語(yǔ)義特征;然后，在通道維度對(duì)語(yǔ)義特征分組卷積，依據(jù)語(yǔ)義特征建立通道間的相互關(guān)系;最后，按通道間的相互關(guān)系對(duì)輸入語(yǔ)義特征進(jìn)行加權(quán)，實(shí)現(xiàn)水體語(yǔ)義特征的增強(qiáng)．

本文中構(gòu)建的通道注意力機(jī)制如圖4所示，假設(shè)輸入的特征圖為Fin C×H×W，其中C，H和W分別為通道數(shù)、高度和寬度．首先，利用全局平均池化（AvgPooling）和全局最大池化（MaxPooling）在行、列維度上聚合語(yǔ)義特征，生成FAvg C×1×1 和Fmax C×1×1．為了突出特征圖通道間相關(guān)性，對(duì)FAvg C×1×1 和Fmax C×1×1 進(jìn)行分組卷積，生成具有語(yǔ)義權(quán)重分布的特征圖，并將兩分支的特征圖元素求和合并．接著，利用Sigmoid激活函數(shù)將融合后的通道權(quán)重特征圖映射到［0，1］，得到具有強(qiáng)語(yǔ)義特征表達(dá)的通道權(quán)重，即通道注意力f CW．最后通過通道注意力對(duì)輸入特征圖進(jìn)行通道加權(quán)，生成具有強(qiáng)語(yǔ)義特征的特征圖Fout C×H×W．在水體識(shí)別任務(wù)中，通道注意力機(jī)制將特征編碼和解碼兩部分連接，有效增強(qiáng)水體語(yǔ)義特征表達(dá)，抑制無關(guān)背景特征，有利于提高水體識(shí)別精度．具體計(jì)算過程如下：

FAvg C×1×1=AvgPooling（Fin C×H×W）， （2）

Fmax C×1×1=MaxPooling（Fin C×H×W），? （3）

f CW=σ｛［Conv（f ReLU（Conv（FAvg C×1×1）］+? ［Conv（f ReLU（Conv（Fmax C×1×1）］｝，? （4）

Fout C×H×W=f CWFin C×H×W，? （5）

其中，f CW為通道權(quán)重，Conv為1×1的卷積操作，f ReLU為ReLU激活函數(shù)，σ為Sigmoid函數(shù)，表示元素點(diǎn)乘，F(xiàn)out C×H×W 和Fin C×H×W分別表示輸出和輸入特征圖．

2 實(shí)驗(yàn)分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集與超參數(shù)設(shè)置

本實(shí)驗(yàn)的高分遙感數(shù)據(jù)利用BIGEMAP軟件（http：／／www.bigemap.com）從谷歌地球服務(wù)獲得．該數(shù)據(jù)集總共4 500張800×800大小包含水體的影像，影像空間分辨率為1～2 m．利用Labelme軟件對(duì)影像中的水體進(jìn)行了像素水平精細(xì)標(biāo)注，最后生成了只有水體和非水體的二值掩碼圖，部分樣本如圖5所示．

受限于樣本數(shù)量，將樣本按照8∶2比例，隨機(jī)從總樣本影像中選出3 600張作為訓(xùn)練數(shù)據(jù)，900張作為測(cè)試數(shù)據(jù)．在訓(xùn)練過程中，使用隨機(jī)水平、垂直翻轉(zhuǎn)、變換亮度、對(duì)比度、飽和度、圖像標(biāo)準(zhǔn)化和歸一化的線上數(shù)據(jù)擴(kuò)充策略，增強(qiáng)模型學(xué)習(xí)能力，減少過擬合．

該實(shí)驗(yàn)環(huán)境為一臺(tái)Inter（R）CoreTMi9-9820X，10核3.30 GHz的CPU、兩張NVIDIA RTX 2080Ti（11 GB）顯卡，以及64 GB內(nèi)存的工作站．本實(shí)驗(yàn)涉及所有網(wǎng)絡(luò)模型都是基于Python 3.7.4 編程語(yǔ)言和Pytorch 1.8.1深度學(xué)習(xí)框架，采用Adam優(yōu)化器和二元交叉熵?fù)p失函數(shù)優(yōu)化網(wǎng)絡(luò)，kaiming正態(tài)分布初始化卷積層參數(shù)．訓(xùn)練時(shí)，批量大小設(shè)為2，學(xué)習(xí)率設(shè)為0.000 5，訓(xùn)練周期為50．這些參數(shù)都經(jīng)多次實(shí)驗(yàn)得出.為了比較公平性，所有提及網(wǎng)絡(luò)都采用相同超參數(shù)訓(xùn)練，并保存訓(xùn)練集上性能表現(xiàn)最好的模型權(quán)重參數(shù)．

2.2 評(píng)價(jià)指標(biāo)

本文使用基于像素的精度評(píng)價(jià)指標(biāo)來定量評(píng)估水體提取精度，主要包括整體精度（OA）、錯(cuò)分誤差（CE）、漏分誤差（OE）、均交并比（mIoU）以及F1分?jǐn)?shù)（F1-Score），其計(jì)算公式如下：

OA=TP+TNTP+TN+FP+FN×100％， （6）

CE=1-TPTP+FP×100％， （7）

OE=1-TPTP+FN×100％， （8）

mIoU=1n+1∑ni=0TPTP+FP+FN×100%， （9）

F1-Score=2×TP2TP+FP+FN×100％， （10）

其中：TP表示正確識(shí)別為水體像素的數(shù)量;FP表示錯(cuò)誤識(shí)別為水體像素的數(shù)量;FN表示錯(cuò)誤識(shí)別為非水體像素的數(shù)量;TN表示正確識(shí)別為非水體的像素的數(shù)量．OA、mIoU、F1-Score用來整體評(píng)價(jià)水體提取的精度，CE和OE用來評(píng)價(jià)水體提取的誤差程度．

2.3 有效性分析

為了細(xì)致分析模型中各模塊的有效性，以LinkNet模型為基礎(chǔ)，分別與RFB模塊和通道注意力機(jī)制結(jié)合構(gòu)建了LinkNet+注意力機(jī)制、LinkNet+RFB模塊兩個(gè)對(duì)比模型．在計(jì)算機(jī)視覺領(lǐng)域，空洞空間金字塔池化模塊（Atrous Spatial Pyramid Pooling，ASPP）［17］、密集空洞空間金字塔池化（Densely Connected Atrous Spatial Pyramid Pooling，DenseASPP）［18］模塊與RFB模塊結(jié)構(gòu)相似，都是通過多分支空洞卷積增大感受野，捕獲并融合多尺度特征，來提高語(yǔ)義分割精度，已經(jīng)被廣泛地應(yīng)用于遙感影像自動(dòng)解譯．因此，基于本文提出的模型，將其中的RFB模塊進(jìn)行替換，構(gòu)建LinkNet+注意力機(jī)制+ASPP模塊和LinkNet+注意力機(jī)制+DenseASPP模塊兩個(gè)模型，全面分析本文提出模型．最后，共構(gòu)建了5個(gè)模型與本文提出方法進(jìn)行了對(duì)比，在測(cè)試集上水體提取的定量精度如表1所示．

從表1可以知，本文提出的RFA-LinkNet模型，在OA、mIoU和F1-Score三個(gè)精度評(píng)價(jià)指標(biāo)上分別達(dá)到96.27％、91.30％和93.42％，高于構(gòu)建的對(duì)比模型．相比于LinkNet+RFB模塊，精度提高不明顯，這是因?yàn)樵谡麄€(gè)網(wǎng)絡(luò)模型中，深層卷積層生成的特征圖相對(duì)淺層而言，含有豐富的高階水體語(yǔ)義信息，因此增強(qiáng)高階語(yǔ)義特征提取更有利于精確水體識(shí)別．從CE評(píng)價(jià)指標(biāo)來看，RFA-LinkNet模型最低，僅為9.34％，表明RFB模塊與通道注意力機(jī)制的組合對(duì)于提高水體識(shí)別精度有顯著作用．但是在OE指標(biāo)上，RFA-LinkNet模型表現(xiàn)并非最好，為3.64％，主要是因?yàn)橥ǖ雷⒁饬C(jī)制從行、列維度上聚合特征，生成通道注意力時(shí)破壞了相應(yīng)特征圖的空間結(jié)構(gòu)，丟失了空間信息，增加了部分影像水體提取的誤差．

從測(cè)試集中選取了包含人工建筑、光譜變化、多尺度水體以及自然植被分布的影像，這些典型影像都對(duì)精確水體提取構(gòu)成了一定挑戰(zhàn)．為了直觀形象比較，將測(cè)試影像經(jīng)過網(wǎng)絡(luò)模型生成的水體提取概率制成熱力圖展示，如圖6所示．其中第一、第二列展示了原始影像以及融合標(biāo)簽的掩碼圖，影像中藍(lán)色到紅色分別表示是像素識(shí)別為水體的概率從低到高，對(duì)比第一、第二行的影像可發(fā)現(xiàn)本文提出的RFA-LinkNet模型，借助于RFB模塊與通道注意力機(jī)制更能凸顯水體語(yǔ)義特征，抑制無關(guān)背景特征．第三、第四行影像清楚顯示了提出的RFA-LinkNet模型對(duì)于多尺度水體提取有顯著優(yōu)勢(shì)，同時(shí)能有效改善水體邊界．

結(jié)合表1水體識(shí)別的定量精度指標(biāo)和圖6展示的典型地物下水體提取熱力圖，可知在LinkNet模型的基礎(chǔ)上，結(jié)合高階特征提取RFB模塊和通道注意力機(jī)制構(gòu)建的RFA-LinkNet模型極大提高了水體提取精度．

2.4 對(duì)比實(shí)驗(yàn)

本文進(jìn)一步將提出的RFA-LinkNet模型與當(dāng)前主流的語(yǔ)義分割CNN算法模型進(jìn)行了比較，包括編碼-解碼結(jié)構(gòu)的UNet［19］、SegNet［20］、LinkNet［13］、多尺度的PSPNet［21］、DeepLabv3+［22］、注意力機(jī)制的DANet［23］．其中，DeepLabv3+模型利用Xception［24］網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行下采樣特征提取，受限于輸入影像大小，PSPNet和DANet模型中用ResNet34替換了ResNet50-Dilated網(wǎng)絡(luò)進(jìn)行下采樣，雙線性插值上采樣．在測(cè)試集上水體提取的定量精度如表2所示．

從表2可看出本文提出的RFA-LinkNet模型，在OA、mIoU和F1-Score三個(gè)精度評(píng)價(jià)指標(biāo)上分別達(dá)到了96.27％、91.30％和93.42％，遠(yuǎn)高于其他CNN模型．從CE指標(biāo)來看，RFA-LinkNet模型的錯(cuò)分誤差最低，僅為9.34％，遠(yuǎn)低于其余6種對(duì)比模型．RFA-LinkNet和DANet模型中都使用了通道注意力機(jī)制，因此，生成水體特征通道注意力時(shí)，破壞了

特征圖的空間結(jié)構(gòu)，造成部分空間信息的丟失，所以在測(cè)試集上的OE指標(biāo)分別為3.64％和4.16％，高于其余5種無注意力機(jī)制的全卷積CNN模型．

圖7展示了部分測(cè)試影像的水體提取效果．在圖7的第一、第二行的測(cè)試影像中水體與道路、植被相互交錯(cuò)，經(jīng)過RFA-LinkNet模型識(shí)別的水體與掩碼標(biāo)簽最為接近，特別是在＃1、＃2和＃3區(qū)域;從第三行影像整體以及＃4和＃5區(qū)域的細(xì)節(jié)，可以明顯看出RFA-LinkNet模型的水體提取精度更高;

比較

第四、第五行的影像，可清晰看出在有人工建筑物、斑狀和細(xì)長(zhǎng)的多尺度水體分布的影像中，RFA-LinkNet模型的水體提取效果顯著．特別是在區(qū)域＃6、＃7、＃8中，對(duì)于水體邊界的保留，效果更顯著．

為了更全面地分析本文RFA-LinkNet模型的計(jì)算效能，從訓(xùn)練、測(cè)試時(shí)間以及模型參數(shù)三方面進(jìn)行了比較，如表3所示.從表3中可以發(fā)現(xiàn)RFA-LinkNet模型單個(gè)訓(xùn)練周期時(shí)間為15 min，完成全部測(cè)試影像水體提取用時(shí)66.8 s，相對(duì)于水體提取精度次優(yōu)的UNet模型分別降低了14 min和40.1 s；相比于時(shí)間次優(yōu)的DeepLabv3+仍然分別減小了9 min和27.8 s.在模型的整體參數(shù)量方面，RFA-LinkNet模型只有23.19 MB，與UNet、DANet相比分別降低了7.84 MB和2.53 MB，表明本文方法具有很高的計(jì)算效能.

3 結(jié)語(yǔ)

本文基于LinkNet網(wǎng)絡(luò)模型提出了一種結(jié)合RFB模塊和通道注意力機(jī)制的RFA-LinkNet高分遙感影像水體提取模型．所提模型對(duì)高分辨率的谷歌影像的數(shù)據(jù)集進(jìn)行了水體提取實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明：RFA-LinkNet模型相較于SegNet、DANet、PSPNet、DeepLabv3+、Unet以及LinkNet，不僅在OA、mIoU以及F1-Score三個(gè)精度評(píng)價(jià)指標(biāo)上分別取得了96.27％、91.30％、93.42％的精度，在CE指標(biāo)上最低，僅為9.34％，而且具有高的計(jì)算效能．RFA-LinkNet模型在人工建筑、光譜變化、多尺度水體以及自然植被分布復(fù)雜背景地物的影像中對(duì)于水體精確的提取以及邊界細(xì)節(jié)的保留具有明顯優(yōu)勢(shì)．

參考文獻(xiàn)

References

［1］ Liu H，Zheng L，Jiang L，et al.Forty-year water body changes in Poyang Lake and the ecological impacts based on Landsat and HJ-1 A／B observations［J］.Journal of Hydrology，2020，589：125161

［2] Li L W，Yan Z，Shen Q，et al.Water body extraction from very high spatial resolution remote sensing data based on fully convolutional networks［J］.Remote Sensing，2019，11（10）：1162

［3] McFeeters S K.The use of the normalized difference water index （NDWI） in the delineation of open water features［J］.International Journal of Remote Sensing，1996，17（7）：1425-1432

［4] 徐涵秋.利用改進(jìn)的歸一化差異水體指數(shù)（MNDWI）提取水體信息的研究［J］.遙感學(xué)報(bào)，2005，9（5）：589-595

XU Hanqiu.A study on information extraction of water body with the modified normalized difference water index （MNDWI）［J］.Journal of Remote Sensing，2005，9（5）：589-595

［5] Elmi O，Tourian M J，Sneeuw N.Dynamic river masks from multi-temporal satellite imagery：an automatic algorithm using graph cuts optimization［J］.Remote Sensing，2016，8（12）：1005

［6] 李文萍，王偉，高星，等.融合面向?qū)ο蠛头炙畮X算法的山地湖泊提取方法［J］.地球信息科學(xué)學(xué)報(bào)，2021，23（7）：1272-1285

LI Wenping，WANG Wei，GAO Xing，et al.A lake extraction method in mountainous regions based on the integration of object-oriented approach and watershed algorithm［J］.Journal of Geo-Information Science，2021，23（7）：1272-1285

［7] Hinton G E，Osindero S，Teh Y W.A fast learning algorithm for deep belief nets［J］.Neural Computation，2006，18（7）：1527-1554

［8] Shelhamer E，Long J，Darrell T.Fully convolutional networks for semantic segmentation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（4）：640-651

［9] 何海清，杜敬，陳婷，等.結(jié)合水體指數(shù)與卷積神經(jīng)網(wǎng)絡(luò)的遙感水體提取［J］.遙感信息，2017，32（5）：82-86

HE Haiqing，DU Jing，CHEN Ting，et al.Remote sensing image water body extraction combing NDWI with convolutional neural network［J］.Remote Sensing Information，2017，32（5）：82-86

［10] Isikdogan F，Bovik A C，Passalacqua P.Surface water mapping by deep learning［J］.IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2017，10（11）：4909-4918

［11] 王雪，隋立春，鐘棉卿，等.全卷積神經(jīng)網(wǎng)絡(luò)用于遙感影像水體提?。跩］.測(cè)繪通報(bào)，2018（6）：41-45

WANG Xue，SUI Lichun，ZHONG Mianqing，et al.Fully convolution neural networks for water extraction of remote sensing images［J］.Bulletin of Surveying and Mapping，2018（6）：41-45

［12] 何紅術(shù)，黃曉霞，李紅旮，等.基于改進(jìn)U-Net網(wǎng)絡(luò)的高分遙感影像水體提?。跩］.地球信息科學(xué)學(xué)報(bào)，2020，22（10）：2010-2022

HE Hongshu，HUANG Xiaoxia，LI Hongga，et al.Water body extraction of high resolution remote sensing image based on improved U-net network［J］.Journal of Geo-Information Science，2020，22（10）：2010-2022

［13] Chaurasia A，Culurciello E.LinkNet：exploiting encoder representations for efficient semantic segmentation［C］／／2017 IEEE Visual Communications and Image Processing.December 10-13，2017，St.Petersburg，F(xiàn)L，USA.IEEE，2017：1-4

［14] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition［C］／／2016 IEEE Conference on Computer Vision and Pattern Recognition.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778

［15] Wang P Q，Chen P F，Yuan Y，et al.Understanding convolution for semantic segmentation［C］／／Proceedings of 2018 IEEE Winter Conference on Applications of Computer Vision.Washington D.C.，USA：IEEE Press，2018：1451-1460

［16] Liu S T，Huang D，Wang Y H.Receptive field block net for accurate and fast object detection［C］／／2018 Proceedings of the European Conference on Computer Vision，2018：404-419

［17] Chen L C，Papandreou G，Kokkinos I，et al.DeepLab：semantic image segmentation with deep convolutional nets，atrous convolution，and fully connected CRFs［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（4）：834-848

［18] Yang M K，Yu K，Zhang C，et al.DenseASPP for semantic segmentation in street scenes［C］／／2018 IEEE／CVF Conference on Computer Vision and Pattern Recognition.June 18-23，2018，Salt Lake City，UT，USA.IEEE，2018：3684-3692

［19] Ronneberger O，F(xiàn)ischer P，Brox T.U-net：convolutional networks for biomedical image segmentation［C］／／2015 Proceedings of the Medical Image Computing and Computer Assisted Intervention，2015：234-241

［20] Badrinarayanan V，Kendall A，Cipolla R.SegNet：a deep convolutional encoder-decoder architecture for image segmentation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（12）：2481-2495

［21] Zhao H S，Shi J P，Qi X J，et al.Pyramid scene parsing network［C］／／2017 IEEE Conference on Computer Vision and Pattern Recognition.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：6230-6239

［22] Chen L C，Zhu Y K，Papandreou G，et al.Encoder-decoder with atrous separable convolution for semantic image segmentation［C］／／2018 Proceedings of the European Conference on Computer Vision，2018：833-851

［23] Fu J，Liu J，Tian H J，et al.Dual attention network for scene segmentation［C］／／2019 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 15-20，2019，Long Beach，CA，USA.IEEE，2019：3141-3149

［24] Chollet F.Xception：deep learning with depthwise separable convolutions［C］／／2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：1800-1807

RFA-LinkNet：a novel deep learning network for water body extraction

from high-resolution remote sensing images

KANG Jian1 GUAN Haiyan1 YU Yongtao2 JING Zhuangwei3 LIU Chao2 GAO Junyong2

1School of Remote Sensing ＆ Geomatics Engineering，Nanjing University of Information Science ＆ Technology，Nanjing 210044

2School of Computer and Software Engineering，Huaiyin Institute of Technology，Huaiyin 223003

3Shanghai Aerospace Electronics Research Institute，Shanghai 201109

Abstract

The Convolutional Neural Network （CNN） has unsatisfactory performance in water body extraction from high-resolution optical remote sensing images with complex background，which is low in accuracy，unable to capture multi-scale features，and complex in model structure.Here，we propose an RFA-LinkNet （Receptive Field Attention LinkNet） approach combining Receptive Field Block （RFB） and Channel Attention Block （CAB），from which the high-level water body semantic information and multi-scale feature map can be obtained by RFB，then the CAB is used to realize the weighted fusion of encoding and decoding features，to suppress background features as well as enhance water body semantics.Compared with state-of-the-art CNN models，the proposed RFA-LinkNet can extract water body information from high-resolution optical remote sensing images more efficiently and robustly with high precision.

Key words remote-sensing image;water body extraction;multi-scale feature;attention mechanism