劉 偉，江 山，馬 天，肖 維，蘆宇軒

(1.長(zhǎng)江信達(dá)軟件技術(shù)(武漢)有限責(zé)任公司，湖北?武漢?430010；2.國家大壩安全工程技術(shù)研究中心，湖北?武漢?430010)

0 引 言

生態(tài)基流監(jiān)測(cè)是小水電清理整改工作的重要任務(wù)[1]。由于規(guī)模較小、泄流設(shè)施簡(jiǎn)陋、流量計(jì)安裝不便，而且較容易損壞；因此從視頻監(jiān)控角度對(duì)小水電生態(tài)基流泄放進(jìn)行監(jiān)管尤其重要。依據(jù)水利部《關(guān)于印發(fā)小水電站生態(tài)流量監(jiān)管平臺(tái)技術(shù)指導(dǎo)意見的通知》的要求，小水電視頻監(jiān)控應(yīng)每小時(shí)至少抓拍1張圖片。長(zhǎng)江經(jīng)濟(jì)帶累計(jì)有2.5萬多座小水電站，全面建成視頻監(jiān)控系統(tǒng)每天約有60萬張生態(tài)基流泄放的圖像，海量的圖像需要審核，行業(yè)監(jiān)管面臨巨大挑戰(zhàn)。近幾年，神經(jīng)網(wǎng)絡(luò)迅猛發(fā)展，人工智能的方法給圖像識(shí)別領(lǐng)域注入了新鮮的活力。本文將基于深度學(xué)習(xí)算法的圖像分割技術(shù)引入到對(duì)生態(tài)基流的識(shí)別當(dāng)中，取得了相對(duì)于基于閾值、邊緣、區(qū)域等技術(shù)的傳統(tǒng)圖像分割識(shí)別方法明顯的優(yōu)勢(shì)，識(shí)別更加準(zhǔn)確、穩(wěn)定，適應(yīng)范圍更廣。

1 研究現(xiàn)狀

從視頻角度對(duì)生態(tài)基流的監(jiān)測(cè)，實(shí)質(zhì)上是對(duì)監(jiān)控畫面中水面區(qū)域的識(shí)別，區(qū)別于一般的目標(biāo)檢測(cè)，水面區(qū)域具有形態(tài)不固定的特性，以圖像語義分割技術(shù)為核心的識(shí)別方法對(duì)水面區(qū)域具有更好的識(shí)別效果。隨著深度學(xué)習(xí)技術(shù)的爆發(fā)、計(jì)算機(jī)計(jì)算能力的突飛猛進(jìn)，語義分割也迎來新的方法。

一類是基于候選區(qū)域的分割算法，該類算法首先生成大量候選框，并篩選出有效候選區(qū)域，然后結(jié)合卷積神經(jīng)網(wǎng)絡(luò)提取每個(gè)候選區(qū)域的特征和語義信息，并結(jié)合分類器對(duì)候選區(qū)域進(jìn)行分類，最終得到分割結(jié)果。其中，候選區(qū)域的質(zhì)量直接影響CNN提取圖像特征的效果，以及分類器的分類精度。這類代表算法主要有RCNN[2]、SDS[3]、Mask_RCNN[4]等。

另一類是基于像素級(jí)別的分割算法，是直接從標(biāo)注數(shù)據(jù)中提取特征和語義信息，獲取輸入圖像的像素類別。該類方法不需要生成候選區(qū)域，直接為圖像中的像素進(jìn)行分類，采用端到端的訓(xùn)練方法，可以提取更加豐富的圖像特征。2015年Jonathan Long等人提出全卷積網(wǎng)絡(luò)FCN[5]，其將分類網(wǎng)絡(luò)由圖像級(jí)別推廣至像素級(jí)級(jí)別，并且實(shí)現(xiàn)了端到端的訓(xùn)練過程，開創(chuàng)了深度神經(jīng)網(wǎng)絡(luò)在圖像語義分割領(lǐng)域的應(yīng)用。

金華頻等人初步探索了圖像識(shí)別技術(shù)在小水電生態(tài)流量監(jiān)管中的應(yīng)用路線[6]。本文則基于深度學(xué)習(xí)的圖像分割方法對(duì)小水電生態(tài)流量的判定進(jìn)行定量的識(shí)別與分析。

2 方 法

2.1 數(shù)據(jù)集

從某縣30座小水電站收集、整理圖片2萬余張，包括晴天、陰天、雨天以及雪天等不同天氣的豐富場(chǎng)景。數(shù)據(jù)集標(biāo)簽參考主流圖像分割算法經(jīng)常采用的數(shù)據(jù)集，如Cityscapes、COCO，將背景分為以下5類：陸地、水面、建筑、天空、樹木。對(duì)于收集到的圖片，統(tǒng)一進(jìn)行白化、降噪，盡可能提高圖片質(zhì)量。使用標(biāo)注工具CVAT對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注，標(biāo)注策略采用人工+模型預(yù)標(biāo)注方式。前期以人工標(biāo)注為主，標(biāo)注一定量的數(shù)據(jù)之后，開始訓(xùn)練模型，使模型具備一定的識(shí)別能力；然后轉(zhuǎn)為以模型標(biāo)注為主，人工標(biāo)注為輔，數(shù)據(jù)集中的圖片樣本均先使用模型進(jìn)行預(yù)標(biāo)注，然后進(jìn)行人工的確認(rèn)；以此節(jié)約人工耗時(shí)，提高標(biāo)注效率。

2.2 網(wǎng)絡(luò)模型

FCN網(wǎng)絡(luò)采用不含全連接層的全卷積網(wǎng)絡(luò)，并在網(wǎng)絡(luò)的最后使用上采樣恢復(fù)圖像尺寸，并且結(jié)合深層網(wǎng)絡(luò)的抽象信息與淺層網(wǎng)絡(luò)的精細(xì)特征，使得FCN網(wǎng)絡(luò)可以適應(yīng)任意輸入尺寸圖像，并能對(duì)圖像做出像素級(jí)別的精準(zhǔn)預(yù)測(cè)?；贏lexNet網(wǎng)絡(luò)改造為FCN網(wǎng)絡(luò)的結(jié)構(gòu)如下所示(見圖1)。

經(jīng)過不斷的卷積和池化以后，特征圖的尺寸越來越小，維度越來越高，其中最小的一層叫做Heatmap(熱力圖)，熱力圖就是最高維的特征圖。得到熱力圖之后進(jìn)行上采樣，把圖像放大到輸入圖像的大小，通過選取每個(gè)像素點(diǎn)在圖像各類別中的最大數(shù)值(概率)作為該像素的分類結(jié)果。于是便生成1張已經(jīng)分類好的圖片，逐個(gè)像素計(jì)算與圖像真值比對(duì)，計(jì)算分割誤差，通過反向傳播實(shí)現(xiàn)網(wǎng)絡(luò)的訓(xùn)練。訓(xùn)練好網(wǎng)絡(luò)權(quán)重后，再次進(jìn)行前向傳播即可實(shí)現(xiàn)圖像分割的推理過程。

基于VGG16網(wǎng)絡(luò)改造的FCN網(wǎng)絡(luò)跳級(jí)(Skip)結(jié)構(gòu)如下所示(見圖2)，同時(shí)采用反卷積的上采樣操作，實(shí)現(xiàn)圖像像素級(jí)的準(zhǔn)確識(shí)別。

對(duì)原圖像進(jìn)行第一輪卷積和池化之后，得到的特征圖為原始圖像的1/2；然后再進(jìn)行第二輪卷積和池化，特征圖的尺寸變?yōu)樵瓐D像的1/4；以此類推，然后進(jìn)行再進(jìn)行三輪卷積+池化的操作，得到尺寸為原圖1/32的特征圖。對(duì)1/32、1/16以及1/8尺寸的特征圖進(jìn)行逐級(jí)插值融合，并結(jié)合對(duì)應(yīng)倍數(shù)的反卷積上采樣操作，提取神經(jīng)網(wǎng)絡(luò)深層的高維抽象特征和淺層的細(xì)節(jié)信息，最后完成對(duì)原始圖像像素級(jí)的識(shí)別。

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境及參數(shù)

本文的模型訓(xùn)練及測(cè)試均在Detectron2平臺(tái)上進(jìn)行，Detectron2是繼Detectron目標(biāo)檢測(cè)平臺(tái)之后，F(xiàn)AIR(Facebook AI Research)開發(fā)的新一代分割研究的平臺(tái)；它基于Pytorch框架，以FCN基準(zhǔn)測(cè)試作為起點(diǎn)，集成了最先進(jìn)的目標(biāo)檢測(cè)算法。服務(wù)器安裝Ubuntu 18.04系統(tǒng)，并配備了1張NVIDIA Tesla V100顯卡。結(jié)合數(shù)據(jù)集特點(diǎn)及服務(wù)器性能，選擇超參數(shù)Batch Size為8，Iteration為5萬，Learning Rate為0.000 25。

3.2 評(píng)估標(biāo)準(zhǔn)

主要從圖像語義分割的準(zhǔn)確度對(duì)算法進(jìn)行評(píng)價(jià)，常用兩種評(píng)價(jià)方法：像素準(zhǔn)確率(Pixel Accuracy,PA)和交并比(Intersection Over Union,IoU)，其中IoU計(jì)算簡(jiǎn)便且代表性強(qiáng)，是圖像語義分割評(píng)估最常用的指標(biāo)。

(1)PA像素準(zhǔn)確度

數(shù)據(jù)集中包含陸地、水面、建筑、天空、樹木共5種類型。模型的像素準(zhǔn)確度為圖中正確分類的像素?cái)?shù)量與總像素?cái)?shù)量的比例。

在進(jìn)行道床建設(shè)時(shí)，要保證材料符合相關(guān)的標(biāo)準(zhǔn)要求，加強(qiáng)道床施工的質(zhì)量控制，保證其具有較高標(biāo)準(zhǔn)的承載力，可以在較長(zhǎng)時(shí)間承載地鐵的運(yùn)行，有以下技術(shù)要點(diǎn)：①在道床施工中，要將預(yù)留縫隙與隧道結(jié)構(gòu)縫控制在統(tǒng)一平面上；②在搭設(shè)與拆除腳手架時(shí)要與鋼軌置離；③進(jìn)行混凝土澆筑時(shí)要適當(dāng)?shù)姆謱?，采用特殊的方法分臺(tái)階澆筑，保證其具有充足的承載力。

(2)IoU交并比

以IoU作為衡量預(yù)測(cè)目標(biāo)的位置偏差指標(biāo)，當(dāng)識(shí)別出的類型正確且IoU達(dá)到規(guī)定的閾值，則表明該識(shí)別結(jié)果正確。

3.3 實(shí)驗(yàn)結(jié)果及分析

訓(xùn)練集、驗(yàn)證集、測(cè)試集按照8∶1∶1的數(shù)量比例進(jìn)行劃分，在訓(xùn)練集和驗(yàn)證集上調(diào)試出最佳訓(xùn)練參數(shù)后，把所有訓(xùn)練集和驗(yàn)證集的樣本共同作為訓(xùn)練集，以最佳參數(shù)進(jìn)行訓(xùn)練，得到最終的模型，在測(cè)試集上測(cè)試模型性能。

根據(jù)各小水電站排口的特點(diǎn)，在排口下方設(shè)置判定區(qū)域，然后計(jì)算識(shí)別結(jié)果里判定區(qū)域內(nèi)水面面積與判定區(qū)域的面積比；當(dāng)面積比大于50%，則認(rèn)為該小水電站有泄放生態(tài)基流，判定為正常；否則認(rèn)為沒有泄放生態(tài)基流，判定為異常(見圖3)。

(a)雞鳴水電站生態(tài)基流識(shí)別正常示意圖

(b)普實(shí)水電站生態(tài)基流識(shí)別預(yù)警示意圖

圖3 識(shí)別結(jié)果示意

從以下兩個(gè)方面進(jìn)一步展開實(shí)驗(yàn)研究：

(1) 樣本數(shù)量

數(shù)據(jù)集一共有20 962個(gè)樣本，預(yù)留10%的樣本作為測(cè)試集，即2 096個(gè)留作測(cè)試，在剩余的18 866個(gè)樣本中隨機(jī)抽取不同數(shù)量的樣本作為訓(xùn)練集和驗(yàn)證集。不同訓(xùn)練樣本總量下，模型性能如下所示(見圖4)。

(2)對(duì)比實(shí)驗(yàn)

對(duì)比測(cè)試了傳統(tǒng)圖像分割算法與FCN模型的性能(見表1)，詳細(xì)比較了各標(biāo)簽類別性能差異。所有輸入圖像在輸入模型之前均只做縮放和歸一化處理，不做其他任何預(yù)處理操作。

表1 深度學(xué)習(xí)方法與傳統(tǒng)圖像分割方法的性能對(duì)比

從實(shí)驗(yàn)結(jié)果中可以清晰的看到：FCN模型在準(zhǔn)確率和召回率上的均顯著由于傳統(tǒng)基于區(qū)域的圖像分割方法，其中平均像素準(zhǔn)確度高28.18%，平均交并比提高21.5%。

基于區(qū)域的圖像分割方法，雖然計(jì)算簡(jiǎn)單，但需要人工交互以獲得種子點(diǎn)。這種需要人工設(shè)計(jì)的特征模式泛化能力差，對(duì)圖像噪聲極為敏感，而圖像素材又復(fù)雜多樣，不僅場(chǎng)景豐富，而且由于圖像采集設(shè)備的不同，質(zhì)量差別較大，因此性能不佳。基于神經(jīng)網(wǎng)絡(luò)的圖像分割方法能從數(shù)據(jù)集中學(xué)習(xí)并找到目標(biāo)更本質(zhì)的特征，像素準(zhǔn)確度和交并比顯著高于傳統(tǒng)方法。

3.4 應(yīng)用效果

本文構(gòu)建的深度學(xué)習(xí)預(yù)警方案成功運(yùn)用于生態(tài)基流監(jiān)控系統(tǒng)，系統(tǒng)總計(jì)接入攝像頭30個(gè)，預(yù)置位30個(gè)，覆蓋縣內(nèi)所有在運(yùn)行的小水電站，24 h不間斷進(jìn)行自動(dòng)監(jiān)控。2020年第24周～27周總計(jì)報(bào)警30次，經(jīng)人工核對(duì)報(bào)警圖片及回放視頻，其中正確報(bào)警28次，預(yù)警準(zhǔn)確達(dá)93%(見圖5)。

基于深度學(xué)習(xí)圖像分割技術(shù)的生態(tài)基流監(jiān)測(cè)方法可顯著提升監(jiān)管效率，降低人員工作量，有效保障了下游生態(tài)環(huán)境用水。

4 結(jié) 論

基于深度學(xué)習(xí)的技術(shù)發(fā)展現(xiàn)階段處于井噴狀態(tài)，大量成熟的分割算法紛紛落地于各行各業(yè)的實(shí)際應(yīng)用場(chǎng)景。以FCN為代表的一系列優(yōu)秀算法對(duì)于小水電生態(tài)流量泄放監(jiān)控發(fā)揮了重要作用。

(1)構(gòu)建一套小水電站監(jiān)控?cái)?shù)據(jù)集，對(duì)監(jiān)控場(chǎng)景進(jìn)行細(xì)粒度的分割標(biāo)注，包括陸地、水面、建筑、天空和樹木，為生態(tài)基流監(jiān)測(cè)提供基礎(chǔ)的結(jié)構(gòu)化數(shù)據(jù)支撐。

(2)訓(xùn)練數(shù)據(jù)量的提升能有效提高深度學(xué)習(xí)模型FCN的性能，最終達(dá)到82.8%的像素準(zhǔn)確度和71.3%的平均交并比。

(3)基于深度學(xué)習(xí)圖像分割的方法在識(shí)別性能上顯著優(yōu)于基于傳統(tǒng)圖像分割方法，平均像素準(zhǔn)確度高28.18%，平均交并比提高21.5%。

本文以FCN為基礎(chǔ)，構(gòu)建一套從視頻接入、算法推理、前端展示、預(yù)警消息推送的全流程預(yù)警方案，為生態(tài)基流監(jiān)控供了有力技術(shù)支撐，有效提升了水利監(jiān)管的自動(dòng)化和智能化水平。