陳巖 楊曉彤 奚硯濤 徐立祥 李新路
摘 要|針對(duì)缺少濱海生態(tài)場(chǎng)景深度學(xué)習(xí)數(shù)據(jù)集,面向遙感影像分類(lèi)的多尺度目標(biāo)語(yǔ)義分割精度不高等問(wèn)題,研究以紅樹(shù)林、浮筏養(yǎng)殖和圍塘養(yǎng)殖三類(lèi)濱海典型生態(tài)監(jiān)管多尺度目標(biāo)為研究對(duì)象,構(gòu)建了面向?yàn)I海生態(tài)監(jiān)管的多目標(biāo)語(yǔ)義分割數(shù)據(jù)集, 通過(guò)集成批歸一化和空間置棄算法,改進(jìn) UNet 特征融合策略,提出了一種多尺度深度卷積語(yǔ)義分割模型。模型在測(cè)試集上總體精度 92%,Kappa 系數(shù) 0.87, 平均交并比 82%。實(shí)驗(yàn)結(jié)果表明批歸一化與特征融合空間置棄的耦合堆疊可有效抑制多尺度目標(biāo)語(yǔ)義分割過(guò)擬合,提高模型精度和泛化性能。研究提出的模型及構(gòu)建的面向?yàn)I海生態(tài)環(huán)境監(jiān)管的多目標(biāo)語(yǔ)義分割數(shù)據(jù)集可為濱海區(qū)域生態(tài)修復(fù)、測(cè)繪和綜合治理提供決策支持。
關(guān)鍵詞|濱海生態(tài)監(jiān)管;人工智能;紅樹(shù)林;海水養(yǎng)殖;基準(zhǔn)數(shù)據(jù)集;多尺度特征融合; 語(yǔ)義分割
Copyright ? 2022 by author (s) and SciScan Publishing Limited
This article is licensed under a Creative Commons Attribution-NonCommercial
4.0? International License. https://creativecommons.org/licenses/by-nc/4.0/
1???? 引言
隨著海產(chǎn)品需求的增長(zhǎng)和利益驅(qū)使,無(wú)序、非法海水養(yǎng)殖活動(dòng)日益頻繁, 不僅對(duì)紅樹(shù)林、泥炭沼澤和珊瑚礁等構(gòu)成的濱海濕地生態(tài)環(huán)境造成了破壞,也給濱海區(qū)域規(guī)劃及其綜合治理帶來(lái)了極大挑戰(zhàn)[1]。遙感以其探測(cè)范圍廣、時(shí)效性強(qiáng)又經(jīng)濟(jì)等特點(diǎn),為濱海區(qū)域監(jiān)測(cè)提供了強(qiáng)有力支持。借助遙感影像和分類(lèi)算法自動(dòng)、快速、準(zhǔn)確地提取目標(biāo)地物是遙感領(lǐng)域的重要課題之一,也是有效監(jiān)管和保護(hù)濱海生態(tài)環(huán)境的重要手段。
傳統(tǒng)濱海區(qū)域遙感監(jiān)測(cè)多采用中低空間分辨率光學(xué)影像[2-5]或雷達(dá)影像[6-8]。隨著傳感器和航空航天技術(shù)的發(fā)展,包含豐富空間信息的高分辨率遙感影像數(shù) 量增多,成本也在下降,受到國(guó)內(nèi)外學(xué)者關(guān)注。為從高分辨率遙感影像中準(zhǔn)確 提取濱海生態(tài)監(jiān)管目標(biāo),研究人員嘗試了各種技術(shù)方法,例如基于光譜的圖像 分類(lèi)[9]和面向?qū)ο蟮膱D像分析[10]。然而,豐富的空間信息需要復(fù)雜的光譜分 布響應(yīng),而高分辨率遙感影像的低光譜分辨率導(dǎo)致目標(biāo)地物在光譜域的可分性 不高;而面向?qū)ο蟮膱D像分析方法需要首先基于紋理、形狀等特征對(duì)圖像進(jìn)行 超像素分割。由于缺乏統(tǒng)一標(biāo)準(zhǔn),容易引入新的誤差并傳遞至分類(lèi)階段,影響 整體性能。
近年來(lái), 以 AlexNet[11] 為代表的深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural network,DCNN)在計(jì)算機(jī)視覺(jué)領(lǐng)域取得了巨大成功,被看作是新一代人工智能技術(shù)爆發(fā)的起點(diǎn)。在遙感領(lǐng)域,基于 DCNN 的各種深度學(xué)習(xí)模型在土地利用覆蓋場(chǎng)景分類(lèi)、船只與飛機(jī)檢測(cè)、建筑與道路提取等應(yīng)用中取得了良好效果[12]。它們分別采用了計(jì)算機(jī)視覺(jué)中的圖像識(shí)別、目標(biāo)檢測(cè)和語(yǔ)義分割方法。而術(shù)語(yǔ)“語(yǔ)義分割”與“遙感影像分類(lèi)”或“提取”的目標(biāo)一致,實(shí)現(xiàn)像素級(jí)分類(lèi)。全卷積網(wǎng)絡(luò)(fully convolutional network,F(xiàn)CN)[13]是 DCNN 在圖像語(yǔ)義分割應(yīng)用中的代表性模型。它將經(jīng)典 DCNN 的卷積層保留作為特征提取器,將全連接層替換為卷積層,并引入插值方法恢復(fù)圖像空間信息。與面向中低分辨率遙感影像分類(lèi)常用的基于圖塊(Patch-based)[14]的 DCNN 方法相比,F(xiàn)CN 實(shí)現(xiàn)了端到端語(yǔ)義分割。此后,以 FCN 為基礎(chǔ)設(shè)計(jì)的 U-Net[15]、PSPNet[16]、 RefineNet[17]和 DeepLab 系列[18]在更多遙感應(yīng)用中發(fā)揮了優(yōu)勢(shì)。然而,霍伊斯
(Hoeser)等人[12]指出,雖然 DCNN 在高分辨率遙感影像場(chǎng)景分類(lèi)、目標(biāo)檢測(cè)和語(yǔ)義分割應(yīng)用中取得了一定成功,但多聚焦于城市場(chǎng)景。當(dāng)前,由于缺少濱海生態(tài)場(chǎng)景深度學(xué)習(xí)基準(zhǔn)數(shù)據(jù)集和復(fù)雜多尺度特征影響,面向?yàn)I海生態(tài)監(jiān)管的研究仍以傳統(tǒng)遙感方法為主,而基于人工智能的濱海生態(tài)監(jiān)管目標(biāo)提取、分類(lèi)精度和泛化性仍然有待改善[12]。
因此,研究以圍塘養(yǎng)殖、浮筏養(yǎng)殖和紅樹(shù)林三類(lèi)濱海區(qū)域典型生態(tài)監(jiān)管目標(biāo)為研究對(duì)象,基于 QGIS 構(gòu)建面向?yàn)I海區(qū)域監(jiān)管的 DCNN 多尺度目標(biāo)語(yǔ)義分割模型,集成批歸一化和空間置棄算法,改進(jìn) UNet 特征融合策略,嘗試改善模型精度和泛化性能,為濱海區(qū)域生態(tài)修復(fù)、測(cè)繪和綜合治理提供決策支持。
2???? 研究方法
2.1? 濱海生態(tài)監(jiān)管多目標(biāo)語(yǔ)義分割數(shù)據(jù)集構(gòu)建
遙感影像具有多波段、大景幅、多時(shí)相等特征,使用面向數(shù)碼圖像的工具標(biāo)注遙感影像捉襟見(jiàn)肘,例如讀存速度慢、不支持多波段顯示等。因此,研究基于 QGIS 軟件的矢量化和矢柵轉(zhuǎn)換工具對(duì) 3 類(lèi)目標(biāo)地物和背景進(jìn)行標(biāo)注。矢量化將遙感影像作為底圖,在創(chuàng)建的面狀 Shapefile 格式圖層上手動(dòng)標(biāo)繪目標(biāo)對(duì)象。其中,圍塘養(yǎng)殖、紅樹(shù)林、浮筏養(yǎng)殖和背景的唯一標(biāo)識(shí)字段分別定義為可區(qū)分整型數(shù)值。矢柵轉(zhuǎn)換指將標(biāo)繪完成的 Shapefile 矢量圖層轉(zhuǎn)換為柵格圖像,主要采用 QGIS 面轉(zhuǎn)柵格工具完成。為保證矢柵轉(zhuǎn)換后圖像大小和像元位置一致,研究設(shè)置了圖像輸出范圍及柵格捕捉等環(huán)境變量。經(jīng)矢柵轉(zhuǎn)換后的文件被保存為T(mén)IFF 格式柵格圖像。
研究使用的高分辨率遙感影像源于高分系列衛(wèi)星產(chǎn)品,空間分辨率被重采樣至 1 米,像素位深為 8 位。通過(guò)提取可見(jiàn)光波段進(jìn)行真彩色合成后無(wú)壓縮地保存為 TIFF 格式圖像,用于矢量化和模型訓(xùn)練。由于遙感影像和輸出的柵格圖像尺寸較大,在模型訓(xùn)練和預(yù)測(cè)過(guò)程中,如果直接將其輸入到網(wǎng)絡(luò)模型會(huì)造成內(nèi)存或顯存溢出。因此,研究引入了支持多波段操作、面向 Python 語(yǔ)言的地理空間數(shù)據(jù)抽象庫(kù)(geospatial data abstraction library,GDAL),對(duì) TIFF 格式的遙
感影像和標(biāo)注的柵格圖像進(jìn)行裁剪。裁剪圖塊大小取決于目標(biāo)尺度和用于模型訓(xùn)練的 CPU 或 GPU 性能。研究綜合考慮了目標(biāo)地物尺度、圖像空間分辨率和硬件條件,采用 256×256 窗口對(duì)遙感影像和標(biāo)注的柵格圖像進(jìn)行裁剪,并最終獲得若干組 256×256 像素大小的 TIFF 格式樣本圖塊。一個(gè)樣本包含一幅輸入遙感影像圖塊和一幅標(biāo)注柵格圖塊。圖塊的文件名保持相同,以便模型正確識(shí)別。研究根據(jù)機(jī)器學(xué)習(xí)樣本數(shù)據(jù)集劃分經(jīng)驗(yàn)對(duì)樣本進(jìn)行隨機(jī)抽取劃分得到訓(xùn)練集、驗(yàn)證集和測(cè)試集。
2.2? 深度卷積神經(jīng)網(wǎng)絡(luò)模型 UNet 改進(jìn)與訓(xùn)練
在除背景類(lèi)別外的 3 類(lèi)監(jiān)管目標(biāo)地物中,浮筏養(yǎng)殖相較于紅樹(shù)林和圍塘養(yǎng)殖的空間尺度較小。為充分利用低級(jí)特征圖細(xì)節(jié)信息提高小尺度目標(biāo)分類(lèi)精度,研究采用了基于跳躍連接尺度融合策略的 UNet 模型進(jìn)行實(shí)驗(yàn),并對(duì) UNet進(jìn)行了改進(jìn): 將批歸一化(bach normalization,BN)[19] 和空間置棄(spatial dropout,SPD)[20]模塊引入多目標(biāo)語(yǔ)義分割任務(wù)中,改善模型分類(lèi)精度和泛化能力。SPD 與 Dropout 相比,隨機(jī)將若干特征圖層置棄,不僅實(shí)現(xiàn)降維,同時(shí)可以減少噪聲。Dropout 算法隨機(jī)地將特征圖中獨(dú)立神經(jīng)元數(shù)值置零,如果相鄰特征之間存在較強(qiáng)的相關(guān)性,則 Dropout 無(wú)法對(duì)輸出進(jìn)行歸一化處理,而 SPD 有助于提高特征之間的獨(dú)立性。圖1 展示了Dropout 和SPD 對(duì)特征圖處理的區(qū)別。另外, 雖然有研究已在UNet 中引入BN 層,但多將其置于單個(gè)卷積層之后、激活層之前, 而本研究將 BN 置于若干個(gè)卷積層(卷積塊)和激活層之后,如圖2 所示。
研究設(shè)計(jì)了 4 組實(shí)驗(yàn),實(shí)驗(yàn)組分別命名為:MUNet、MUNet-BN、MUNet- BN-SPD 和 MUNet-BN-SPD-500。其中,MUNet 對(duì)標(biāo)準(zhǔn) UNet 結(jié)構(gòu)中卷積核數(shù)量和層數(shù)進(jìn)行了修改;MUNet-BN 在 MUNet 結(jié)構(gòu)基礎(chǔ)上增加了 BN 層,并將其設(shè)置于若干個(gè)卷積層和激活層之后;MUNet-BN-SPD 在 MUNet-BN 基礎(chǔ)上增加了SPD 層;MUNet-BN-SPD-500 表示訓(xùn)練迭代次數(shù)為 500,而前 3 組設(shè)置為 200。圖2 以 MUNet-BN-SPD 為例展示了研究改進(jìn)的 UNet 模型網(wǎng)絡(luò)結(jié)構(gòu)。模型的輸入為 3 通道樣本圖塊。其中卷積核采用 3×3 像素大小;每個(gè)卷積塊中卷積核數(shù)量分別取值 32、64、128、256 和 512。基于填補(bǔ)處理后,每個(gè)卷積塊中的各特征圖層分辨率保持一致。所有經(jīng)過(guò)最大池化操作的特征圖尺寸縮小為原始尺寸 的一半。每個(gè)卷積塊最后一個(gè)輸出層,如 MUNet 的卷積層,MUNet-BN 的 BN層和 MUNet-BN-SPD 的 SPD 層,采用雙線性插值法上采樣還原為與前一個(gè)卷積塊特征圖層一致空間分辨率的上采樣層。特征融合采用跳躍連接,將上采樣圖 層與低層卷積塊中相應(yīng)的卷積層或BN 層做融合處理。融合方法采用特征圖堆砌, 即沿著圖層通道疊加。最后,使用 1×1 卷積操作與 Softmax 分類(lèi)器獲得包含 4個(gè)類(lèi)別(包含 3 類(lèi)目標(biāo)和 1 類(lèi)背景)的輸出分類(lèi)圖。
DCNN 模型超參數(shù)主要包括學(xué)習(xí)率、樣本分組大小和迭代次數(shù),改進(jìn)的UNet 模型分別采用 0.001、64 和 200 進(jìn)行實(shí)驗(yàn)。模型優(yōu)化器、分類(lèi)器、激活函數(shù)和損失函數(shù)分別采用了 Adam[21]、Softmax、ReLU 和交叉熵函數(shù)。本研究采用的面向多目標(biāo)分類(lèi)的交叉熵函數(shù)如式(1)所示。
1??? M
L=- N ∑∑ yij log(pij)??? (1)
i????? j=1
式中,L 為全部樣本的累積損失;N 為樣本總數(shù);i 為樣本編號(hào);M 為待分類(lèi)目標(biāo)數(shù)量;j 為目標(biāo)類(lèi)別;yij 為符號(hào)函數(shù),如果樣本 i 的真實(shí)類(lèi)別為 j,則 yij 取值為 1,否則取值為 0;pij 表示樣本 i 屬于類(lèi)別 j 的概率。
為防止類(lèi)不平衡引起的評(píng)價(jià)偏斜問(wèn)題,研究除采用總體精度作為評(píng)價(jià)度量外,同時(shí)還引入了平均交并比(mean Intersection over Union,mIoU)、頻權(quán)交并比(Frequency Weighted Intersection over Union,F(xiàn)WIoU)[22]和 Kappa 系數(shù)作為評(píng)價(jià)指標(biāo)。其中,mIoU 是計(jì)算機(jī)視覺(jué)中評(píng)價(jià)語(yǔ)義分割的標(biāo)準(zhǔn)度量,其計(jì)算所有目標(biāo)類(lèi)別交集和并集之比的平均值,如式(2)所示。頻權(quán)交并比根據(jù)每個(gè)目標(biāo)
類(lèi)別出現(xiàn)頻率設(shè)置權(quán)重,權(quán)重乘以每個(gè)目標(biāo)類(lèi)別的交并比并求和,如式(3)所示。
1 n? pii
mIoU= n ∑ n?????? n
(2)
i=0 ∑j=0 pij+∑j=0 pji-pii
式中,n 為目標(biāo)類(lèi)別數(shù);i 為真實(shí)類(lèi)別;j 為預(yù)測(cè)類(lèi)別;pij 表示將 i 預(yù)測(cè)為 j; pii 表示將 i 預(yù)測(cè)為 i;pji 表示將 j 預(yù)測(cè)為 i。
FWIoU= 1???? n
pii
(3)
∑n??? ∑n
p? ∑∑n
p + ∑
p -p
式中,n 為目標(biāo)類(lèi)別數(shù);i 為真實(shí)類(lèi)別;j 為預(yù)測(cè)類(lèi)別;pij 表示將 i 預(yù)測(cè)為 j; pii 表示將 i 預(yù)測(cè)為 i;pji 表示將 j 預(yù)測(cè)為 i。
另外,由于遙感影像尺寸較大,考慮到顯存或內(nèi)存溢出問(wèn)題,需要將大圖裁剪成較小的子圖塊輸入模型進(jìn)行預(yù)測(cè),最后將預(yù)測(cè)結(jié)果按照裁剪順序拼接成與原始影像對(duì)應(yīng)大小和像素位置的分類(lèi)圖像。如果采用常規(guī)的滑動(dòng)窗口裁剪、預(yù)測(cè)和拼接,由于每個(gè)裁剪樣本邊緣區(qū)域的語(yǔ)義信息不完整,裁剪邊緣處的小尺度對(duì)象分類(lèi)精度不高,并且容易得到具有明顯拼接痕跡的分類(lèi)圖像。因此, 研究采用邊緣疊置方法,即有重疊地裁剪影像并在拼接時(shí)采取忽略邊緣的策略。如圖3 所示,假設(shè)實(shí)際裁剪圖像預(yù)測(cè)結(jié)果為 B,拼接結(jié)果為 s,如果 s 面積 B 占面積的百分比為 λ,則相鄰裁剪圖像的重疊比例將設(shè)置為 1-λ1/2。
3???? 結(jié)果與討論
3.1? 多目標(biāo)濱海生態(tài)監(jiān)管語(yǔ)義分割數(shù)據(jù)集
基于矢量化、矢柵轉(zhuǎn)換和子圖裁剪,研究構(gòu)建了包含 10934 個(gè)樣本的多目標(biāo)濱海生態(tài)監(jiān)管語(yǔ)義分割數(shù)據(jù)集(multi-object coastal supervision semantic segmentation dataset,MO-CSSSD)。MO-CSSSD 中 每 個(gè) 樣 本 分 別 由 大 小 為256×256 像素的 TIFF 格式遙感圖塊和標(biāo)注柵格圖塊組成。全部樣本被劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集,其分別包含的樣本數(shù)量為 8734、1100 和 1100。圖 4 展示了數(shù)據(jù)集樣本示例。圖中黃色區(qū)域表示浮筏養(yǎng)殖,藍(lán)色區(qū)域表示圍塘養(yǎng)殖, 綠色區(qū)域表示紅樹(shù)林,而灰色區(qū)域表示背景。背景主要涵蓋建筑區(qū)、海水、裸地和其他植被。需要說(shuō)明的是,在 MO-CSSSD 中,相鄰區(qū)域的圍塘養(yǎng)殖被標(biāo)注為整體,不單獨(dú)分離其岸埂。這些岸埂噪聲相較于目標(biāo)像元較少,同時(shí)包含岸埂的圍塘養(yǎng)殖構(gòu)成了獨(dú)特的模式,有助于識(shí)別分類(lèi)。另外,該噪聲可作為基準(zhǔn), 用于驗(yàn)證和判定不同模型的泛化能力。
3.2? 模型測(cè)試與評(píng)價(jià)
改進(jìn)的 UNet 模型實(shí)驗(yàn)結(jié)果如圖5 和表1 所示。從定量評(píng)價(jià)指標(biāo)值可知,模型 MUNet-BN 整體表現(xiàn)最佳,其總體精度、mIoU、FWIoU 和 Kappa 系數(shù)值最高。而不包含 BN 和 SPD 模塊的 MUNet 在本數(shù)據(jù)集上表現(xiàn)較差,并在訓(xùn)練過(guò)程中產(chǎn)生了嚴(yán)重過(guò)擬合。
盡管 MUNet-BN 在本數(shù)據(jù)集上獲得了綜合最優(yōu)結(jié)果,但從圖5 訓(xùn)練集和驗(yàn)證集變化曲線可以看出,其在驗(yàn)證集上的波動(dòng)較大,Loss 損失值多高于 0.4,迭代后期有輕微過(guò)擬合。相比較而言,MUNet-BN-SPD 雖然在相同迭代次數(shù)內(nèi)各評(píng)價(jià)指標(biāo)值低于 MUNet-BN 結(jié)果,但差異較小,并且前者在訓(xùn)練過(guò)程中的驗(yàn)證集 Loss 損失值更低,與訓(xùn)練集變化一致,擬合得更好。為量化這種差異,研究將實(shí)驗(yàn) 1~3 組每輪迭代的訓(xùn)練 Loss 損失值和驗(yàn)證 Loss 損失值做均方誤差計(jì)算, 得到的結(jié)果分別是:0.75、0.29 和 0.02。MUNet-BN-SPD 表現(xiàn)出最好的過(guò)擬合抑制特性。因此,面對(duì)多目標(biāo)語(yǔ)義分割或分類(lèi)任務(wù),BN 與 SPD 的聯(lián)合使用有助于緩解因噪聲或類(lèi)不平衡導(dǎo)致的過(guò)擬合。
模型 MUNet-BN-SPD 訓(xùn)練過(guò)程中,其精度仍然表現(xiàn)出上升趨勢(shì)。因此,研究基于原網(wǎng)絡(luò)結(jié)構(gòu)和超參數(shù)設(shè)置,增加了迭代輪數(shù),再次訓(xùn)練,并計(jì)算了其各項(xiàng)評(píng)價(jià)指標(biāo)。結(jié)果如表1 組號(hào) 4 所示。隨著迭代輪數(shù)的增加,MUNet-BN-SPD 的各項(xiàng)評(píng)價(jià)指標(biāo)值逼近或等于 MUNet-BN 結(jié)果。
圖6? 展示了研究選取的具有代表性的測(cè)試樣本可視化預(yù)測(cè)結(jié)果。其中,影像 1 類(lèi)別要素包含紅樹(shù)林、圍塘養(yǎng)殖及易與圍塘養(yǎng)殖混淆的海水背景類(lèi);影像 2包含紅樹(shù)林、圍塘養(yǎng)殖及易與紅樹(shù)林混淆的其他植被背景類(lèi);影像 3 包含多尺度浮筏養(yǎng)殖和海水背景類(lèi);影像 4 包含圍塘養(yǎng)殖和復(fù)雜背景類(lèi)(同時(shí)包含海水、裸土和建筑)。另外,由于數(shù)據(jù)集中未有同時(shí)包含 4 類(lèi)目標(biāo)的樣本,為驗(yàn)證模型處理所有多目標(biāo)類(lèi)別能力,研究從測(cè)試集中隨機(jī)選擇了 4 組樣本,經(jīng)過(guò)裁剪、重采樣和圖像拼接后,構(gòu)建了一組融合樣本,并將其輸入模型進(jìn)行預(yù)測(cè)。在圖6 中,樣本從左至右依次為:輸入遙感圖像、真實(shí)標(biāo)注柵格圖塊、MUNet 分類(lèi)圖、MUNet-BN 分類(lèi)圖、MUNet-BN-SPD 分類(lèi)圖和 MUNet-BN-SPD-500 分類(lèi)圖。
可視化結(jié)果更直觀地展示了模型對(duì)包含不同尺度目標(biāo)和復(fù)雜輸入圖塊的響應(yīng)細(xì)節(jié)。結(jié)果表明 MUNet 模型在本數(shù)據(jù)集上的預(yù)測(cè)誤差較大,而增加了 BN 和 SPD 結(jié)構(gòu)的改進(jìn)模型可以更好地提取分類(lèi)出目標(biāo)細(xì)節(jié),例如影像 1 和影像 5 提
取了更完整的紅樹(shù)林。在影像 4 中,研究設(shè)置了噪聲,將部分圍塘養(yǎng)殖標(biāo)注為
背景類(lèi)別,用來(lái)驗(yàn)證模型泛化能力。結(jié)果表明 4 個(gè)模型均可較好地辨別噪聲, 獲得正確分類(lèi)結(jié)果。另外,值得注意的是,對(duì)于小尺度浮筏養(yǎng)殖預(yù)測(cè)分類(lèi),增加 SPD 模塊并進(jìn)行特征融合的模型比僅采用 BN 結(jié)構(gòu)的模型得到的結(jié)果更精細(xì), 例如影像 3 和 5。在影像 4 中,MUNet-BN-SPD 將海水區(qū)域識(shí)別成圍塘養(yǎng)殖,表明上述組合也可能帶來(lái)冗余噪聲,需要進(jìn)一步優(yōu)化。
4???? 結(jié)論與展望
本研究以圍塘養(yǎng)殖、浮筏養(yǎng)殖和紅樹(shù)林 3 類(lèi)典型濱海生態(tài)監(jiān)管目標(biāo)為研究對(duì)象,構(gòu)建了面向?yàn)I海生態(tài)監(jiān)管場(chǎng)景的多目標(biāo)語(yǔ)義分割數(shù)據(jù)集 MO-CSSSD,并引入批歸一化和空間置棄模塊改進(jìn) UNet 模型,改善多目標(biāo)語(yǔ)義分割任務(wù)精度和泛化性能。研究構(gòu)建的深度學(xué)習(xí)數(shù)據(jù)集 MO-CSSSD 為基于人工智能的濱海生態(tài)監(jiān)管目標(biāo)提取和分類(lèi)提供研究基礎(chǔ);置于卷積塊和激活層后的批歸一化與空間置棄模塊組合對(duì)多目標(biāo)語(yǔ)義分割過(guò)擬合有明顯抑制作用,促進(jìn)模型精度和泛化性能的改善;空間置棄與特征融合組合策略可保存更多目標(biāo)對(duì)象空間細(xì)節(jié),改善目標(biāo)分類(lèi)精度,但也將引入冗余噪聲,需要進(jìn)一步優(yōu)化。在未來(lái)研究工作中, 作者將基于 MO-CSSSD 數(shù)據(jù)集,探索多尺度目標(biāo)的提取與分類(lèi)精度的改善,并進(jìn)一步優(yōu)化模型,減小特征融合引入的冗余噪聲影響。
參考文獻(xiàn)
[1]賀義雄,宋偉鳴,楊帆.長(zhǎng)三角海洋資源環(huán)境一體化治理策略研究:基于海洋生態(tài)系統(tǒng)服務(wù)價(jià)值影響分析[J].海洋科學(xué),2021,45(6):63- 78.
[2]晁明燦,趙強(qiáng),楊鐵利,等.基于 Landsat8 影像的藍(lán)藻水華提取方法對(duì)比研究[J].大氣與環(huán)境光學(xué)學(xué)報(bào),2021,16(6):520-528.
[3]周小成,汪小欽,向天梁,等.基于 ASTER 影像的近海水產(chǎn)養(yǎng)殖信息自動(dòng)提取方法[J].濕地科學(xué),2006,4(1):64-68.
[4]Kang J M,Sui L C,Yang X M,et al.Sea surface-visible aquaculture spatial- temporal distribution remote sensing:a case study in Liaoning province,China from 2000 to 2018[J].Sustainability,2019,11(24):71-86.
[5]徐福祥,高志強(qiáng),鄭翔宇,等.基于 MODIS 數(shù)據(jù)的 2016 年黃海綠潮災(zāi)害動(dòng)態(tài)監(jiān)測(cè)研究[J].海洋科學(xué),2017,41(5):80-84.
[6]初佳蘭,趙冬至,張豐收,等.基于衛(wèi)星遙感的浮筏養(yǎng)殖監(jiān)測(cè)技術(shù)初探: 以長(zhǎng)??h為例[J].海洋環(huán)境科學(xué),2008,27(S2):35-40.
[7]胡園園,范劍超,王鈞.廣義統(tǒng)計(jì)區(qū)域合并的 SAR 圖像浮筏養(yǎng)殖信息提取
[J].中國(guó)圖象圖形學(xué)報(bào),2017,22(5):610-621.
[8]Andromachi C,Konstantions T.Impact of intense aquaculture on coastal environments seen by SAR[C]// IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium.IEEE,2020.
[9]Wang M,Cui Q,Wang J,et al.Raft cultivation area extraction from high resolution remote sensing imagery by fusing multi-scale region-line primitive association features[J].ISPRS Journal of Photogrammetry and Remote Sensing,2017(123):104-113.
[10]Liu Y M,Wang Z H,Yang X M,et al.Satellite-based monitoring and statistics for raft and cage aquaculture in Chinas offshore waters[J]. International Journal of Applied Earth Observation and Geoinformation,2020
(91):102118.
[11]Krizhevsky A,Sutskever I,Hinton G E.Imagenet classification with deep convolutional neural networks[J].Advances in neural information processing systems,2012(25):1097-1105.
[12]Hoeser T,Bachofer F,Kuenzer C.Object detection and image segmentation with deep learning on Earth observation data:A review—Part II: Applications[J].Remote Sensing,2020,12(18):3053.
[13]Long J,Shelhamer E,Darrell T.Fully convolutional networks for semantic segmentation[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2015:3431-3440.
[14]Sharma A,Liu X W,Yang X J,et al.A patch-based convolutional neural network for remote sensing image classification[J].Neural Networks, 2017(95):19-28.
[15]Ronneberger O,F(xiàn)ischer P,Brox T.U-net:Convolutional networks for biomedical image segmentation[C]//International Conference on Medical image computing and computer-assisted intervention.Springer Cham,2015:
234-241.
[16]Zhao H S,Shi J P,Qi X J,et al.Pyramid scene parsing network[C]// Proceedings of the IEEE conference on computer vision and pattern recognition. 2017:2881-2890.
[17]Lin G S,Milan A,Shen C H,et al.RefineNet:multi-path refinement networks for high-resolution semantic segmentation[C]//In Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). IEEE,2017.
[18]Chen L C,Papandreou G,Kokkinos I,et al.DeepLab:semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected CRFs[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2016(40):834-848.
[19]Ioffe S,Szegedy C.Batch normalization:accelerating deep network training by reducing internal covariate shift[C]//International conference on machine learning.PMLR,2015:448-456.
[20]Tompson J,Goroshin R,Jain A,et al.Efficient object localization using convolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2015:648-656.
[21]Kingma D P,Ba J.Adam:A method for stochastic optimization[J].arXiv e-prints,2014.
[22]Garcia G A,Orts S,Oprea S,et al.A review on deep learning techniques applied to semantic segmentation[J].arXiv e-prints,2017.
Multi-scale Objectives Semantic Segmentation for Coastal Ecological Supervision
Chen Yan1?? Yang Xiaotong2?? Xi Yantao3?? Xu Lixiang1? Li Xinlu1
1.??? School of Artificial Intelligence and Big Data, Hefei University, Hefei;
2.??? Department of Marine Mapping and Geographic Information, National Marine Data and Information Service, Tianjin;
3.??? School of Resources and Geosciences, China University of Mining and Technology, Xuzhou
Abstract: To improve the lack of deep learning dataset of coastal ecological scenes and low accuracy of multi-scale objectives semantic segmentation for remote sensing image classification, we take three types of coastal typical ecological supervision multi-scale objectives of mangrove, raft cultivation and pond aquaculture as research objects, constructs a benchmark dataset for coastal ecological supervision, improves the UNet feature fusion by integrating batch normalization and spatial dropout modules, and proposes a multi-scale deep convolutional semantic segmentation model. The model has an overall accuracy of 92% on the test set, a kappa coefficient of 0.87, and a mIoU of 82%. The experimental results show that the coupled stacking of batch normalization and feature fusion spatial dropout can effectively suppress multi- scale objectives semantic segmentation overfitting and improve the model accuracy and generalization performance. The proposed model and the constructed semantic segmentation dataset for coastal ecological supervision can provide decision support for ecological restoration, mapping and comprehensive management in coastal areas.
Key words: Coastal ecological supervision; Artificial intelligence; Mangroves; Mariculture; Benchmark dataset; Multi-scale feature fusion; Semantic segmentation