唐桂榮， 許 健， 錢蘇平， 付 港， 錢曉軍

(1.泰州市水利局， 江蘇 泰州 225300； 2.泰州姜堰區(qū)水利局， 江蘇 泰州 225500；3.南京師范大學(xué)計算機科學(xué)與技術(shù)學(xué)院， 江蘇 南京 210023)

江蘇省跨江濱海，河湖眾多，水網(wǎng)密布，共有大小河流和人工河道2 900多條，陸域水面面積達1.73萬km2，水面所占比例之大，在全國各省中居首位。近年來隨著經(jīng)濟發(fā)展與人口增長，河湖治理工作量顯著增加，水體污染等問題頻發(fā)，制約了江蘇現(xiàn)代化社會的可持續(xù)發(fā)展。

為進一步加強全省河湖管理與保護，健全長效機制，陸續(xù)出臺并實施的以河道定期巡檢為抓手的河長制工作方案，在發(fā)揮巨大作用的同時也產(chǎn)生了諸如“人治主義”“短期效應(yīng)” “被動應(yīng)對”等問題。其主要不足可概括為以下幾點：①人工巡查費時耗力，且因為絕大部分河湖位于農(nóng)村等自然地理條件相對比較惡劣的地區(qū)，加之河道自身的不利因素，如蜿蜒曲折、水質(zhì)狀況差等，給人工巡檢帶來諸多不便和局限，造成巡檢效果差、費用高、效率低；②對巡檢中發(fā)現(xiàn)的問題采用人工報表向上報告的方式，工作強度大，問題發(fā)現(xiàn)不及時，處理流程長，監(jiān)督不方便，事后無跟蹤；③原來的河湖管理留存工作有一些紙質(zhì)的資料檔案，沒有建立相應(yīng)的數(shù)字化檔案，不方便查閱。

以上這些問題成為制約水利環(huán)保事業(yè)發(fā)展的瓶頸。為解決上述問題，開發(fā)出一款河湖巡檢圖像智能處理平臺迫在眉睫。而國內(nèi)外不少學(xué)者都在進行河湖管理和計算機視覺的有關(guān)研究工作，劉瓊等[1]曾研究了利用卷積神經(jīng)網(wǎng)絡(luò)對訓(xùn)練樣本進行特征提取并使用全連接網(wǎng)絡(luò)對特征進行分類，運用該方法可以解決河道物體識別的問題；徐露露[2]從正交實驗設(shè)計的角度出發(fā),提出了用正交實驗設(shè)計選擇CNN的超參數(shù)的方法，可以有效地對圖像的各個參數(shù)進行正交組合，從而獲得大量訓(xùn)練樣本，解決了樣本訓(xùn)練源不足的問題；Mahmood等[3]描述了如何利用無人機航拍圖像生成3D地圖，實現(xiàn)水利設(shè)施的長效管理，并詳細討論了圖像的精細驗證方法；Pierdicca等[4]介紹了一套結(jié)合GIS和AR技術(shù)，實現(xiàn)流域治理的智能化終端設(shè)備，并指出該設(shè)備經(jīng)過實地監(jiān)測檢驗，有效的提高了相關(guān)部門開展大范圍水利監(jiān)測的效率。

基于前人們的研究成果，結(jié)合實際的河湖管理情況，本文研發(fā)出以區(qū)域卷積神經(jīng)網(wǎng)絡(luò)算法RCNN(region convolution neural network)為核心的無人機河湖巡檢圖像智能處理平臺。希望通過這個平臺提高河湖管理信息化管理水平。

1 系統(tǒng)結(jié)構(gòu)設(shè)計

1.1 系統(tǒng)開發(fā)平臺

以Microsoft Visual C++ 2019，OpenCV 3.0作為開發(fā)工具，SQL Server 2014作為支持數(shù)據(jù)庫，使用iMAG app開發(fā)平臺作為移動端開發(fā)工具，采用快速原型模型(Rapid Prototype Model)法來快速實現(xiàn)需求、驗證算法，以4臺浪潮服務(wù)器構(gòu)建1個簡單的服務(wù)器集群，提供網(wǎng)絡(luò)、數(shù)據(jù)庫、集成開發(fā)環(huán)境等服務(wù)。

1.2 系統(tǒng)功能架構(gòu)

基于RCNN的無人機河湖巡檢圖像智能處理平臺采用C/S模式和B/S模式混合型結(jié)構(gòu)，系統(tǒng)的主要業(yè)務(wù)應(yīng)用功能均在B/S模式下實現(xiàn)。系統(tǒng)功能架構(gòu)如圖1所示。

2 水面漂浮物識別技術(shù)

無人機航拍圖像中場景復(fù)雜，陽光在水面的照射、水面污染物與陸地某區(qū)域顏色相近、非河流區(qū)域的顏色與河流區(qū)域相近、河岸線曲折且河岸綠藻生長與岸邊植物顏色相似等問題都影響了對污染物的識別。河道作為綠色漂浮物、大面積油污、廢棄船只等污染物的載體，對圖像內(nèi)河道是否分割完全成為能否進一步識別河道內(nèi)污染物的關(guān)鍵。因此，本文制定了先提取河道，再基于河道進一步識別水面污染物的總體技術(shù)流程。

2.1 基于混合圖像分割算法的河道提取

圖像分割是實現(xiàn)目標(biāo)檢測、目標(biāo)識別、目標(biāo)跟蹤的關(guān)鍵基礎(chǔ)。對彩色圖像的分割因其劃分像素的依據(jù)不同，對應(yīng)的圖像分割算法也不同。本文運用k-means++聚類算法進行圖像分割，該算法可以使得初始簇中心盡可能相互分離，以避免迭代運算陷入局部最優(yōu)解[5]。然而復(fù)雜背景下僅僅以聚類方式基于顏色信息進行圖像分割會造成圖像“過分割”現(xiàn)象。

為了使分割結(jié)果更接近理想分割圖像，通常需要基于“過分割”的結(jié)果進行區(qū)域合并。而使用區(qū)域合并方式則需考慮到區(qū)域相似性度量準(zhǔn)則、區(qū)域合并機制、區(qū)域合并狀態(tài)值等因素[6]。

2.1.1 區(qū)域相似性度量

根據(jù)每個連通域與鄰域間的顏色差異度、邊緣相鄰度、邊緣跳躍度和鄰接關(guān)系，獲取區(qū)域相似度，所述區(qū)域相似度的計算公式為

2.1.2 區(qū)域合并機制

之后選擇待合并的區(qū)域?qū)?，根?jù)區(qū)域合并標(biāo)號選擇機制，為區(qū)域合并后的標(biāo)號選擇提供決策，所述選擇機制公式為

(2)

式中：S(i,j)為第i個區(qū)域和第j個區(qū)域合并后選擇的標(biāo)號；wCDi為第i個區(qū)域的標(biāo)號；BCDij為在CDj鄰域中比CDi面積大、區(qū)域標(biāo)號j個和相同的區(qū)域集合；CDi為第i個區(qū)域集合；OBJ為目標(biāo)物集合。

圖1 系統(tǒng)功能架構(gòu)圖

2.1.3 區(qū)域合并狀態(tài)值

依據(jù)每次迭代后的區(qū)域剩余率、色散度和邊緣跳躍度，獲取得到合并狀態(tài)值，所述合并狀態(tài)值的計算公式為

(3)

式中：Bestmerge,Kr為合并狀態(tài)值；EKr為區(qū)域邊緣差異度；Kr為區(qū)域剩余率；JKr為區(qū)域色散度。

最后由所述合并狀態(tài)值，從Maxiter次迭代后的所有合并狀態(tài)值中選出最小值，并將所述最小合并狀態(tài)作為最佳合并狀態(tài)，同時輸出所述最佳合并狀態(tài)下的連通域集合和區(qū)域標(biāo)號集合。

2.2 基于RCNN的圖像識別算法

在對圖像已經(jīng)進行河道分割的基礎(chǔ)上，本文使用基于RCNN的識別算法對圖像中污染物進一步識別。

RCNN(區(qū)域卷積神經(jīng)網(wǎng)絡(luò))是對CNN(傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò))的改進，主要由輸入層、卷積層、池化層、全連接層和輸出層構(gòu)成[7]。其工作原理主要依據(jù)多個卷積層和多個池化層構(gòu)成了多個降采樣層，再分別鏈接到輸入層的輸出和全連接層的輸入上，層層進行傳遞信息，最后由回歸器輸出結(jié)果。

其具體實現(xiàn)主要分為以下5個步驟：

(1)生成候選區(qū)域集：卷積神經(jīng)網(wǎng)絡(luò)采用選擇性搜索算法，在通常情況下會生成2 000個左右的圖像特征區(qū)域，這些候選集的大小、位置都不相同，也可以重疊。

(2)調(diào)整候選集：通過第一步生成的圖像特征區(qū)域候選集大小和尺寸并不是相同的，無法直接作為神經(jīng)網(wǎng)絡(luò)的輸入，再將提取到的候選集通過各異性縮放到了統(tǒng)一的大小，在縮放之前會對原始的圖片邊緣進行填充形成緩沖帶。

(3)卷積網(wǎng)絡(luò)提取特征：將上一步獲得的2 000個大小統(tǒng)一的圖片作為預(yù)訓(xùn)練好的圖像分類模型的輸入來提取圖像特征。

(4)特征分類：第三步的神經(jīng)網(wǎng)絡(luò)提取特征后與SVM分類器相連，并且需要將所有提取到的特征分別輸入到每個類別對應(yīng)的SVM分類器上。最后每個SVM分類器都會得到圖像對于該類別的得分和置信度，置信度最高的類別為改圖像區(qū)域?qū)?yīng)的預(yù)測類別。

(5)BoundingBox回歸：第一步生成候選集區(qū)域的偏差是比較大的，無法作為最后目標(biāo)檢測框，所以需要對重疊比較大的候選區(qū)域進行線性回歸來得到最后精準(zhǔn)的檢測框。流程圖如圖2所示。

圖2 基于RCNN的水面漂浮物識別流程圖

3 應(yīng)用實例

目前泰州市姜堰區(qū)境內(nèi)有22條區(qū)級以上河湖，長度合計約379.8 km(湖面面積約670 hm2)，水利部門大約每10d要對這些河流進行一次巡檢。前期主要使用人工巡檢方式，存在著效果差、費用高、效率低等不足，并且沒有建立數(shù)字化檔案也給后續(xù)巡檢工作帶來諸多不便。而本文研發(fā)出的軟件系統(tǒng)能夠?qū)崿F(xiàn)從問題發(fā)現(xiàn)、問題上報、問題分配，到問題處理、問題反饋這樣一個相對完整的問題處置閉環(huán)，解決以往人工巡檢模式中存在的一些弊端。

3.1 系統(tǒng)運行機制

系統(tǒng)初步建成了泰州市姜堰區(qū)內(nèi)河湖信息基礎(chǔ)感知體系，通過結(jié)合無人機巡檢、地理信息存儲、數(shù)字化圖像拼接、目標(biāo)圖像分類識別和污染問題反饋等運行機制，推動了區(qū)域內(nèi)水利、環(huán)保綜合業(yè)務(wù)精細化、數(shù)字化、智能化管理，提升科學(xué)決策調(diào)度管理水平。系統(tǒng)功能界面見圖3。

圖3 系統(tǒng)功能界面

系統(tǒng)運行機制主要有以下幾個步驟：

(1)對無人機巡檢中拍攝的所有照片加載唯一編號、日期、地理坐標(biāo)、飛行高度等信息后，存儲于平臺軟件系統(tǒng)數(shù)據(jù)庫中，通過圖像處理平臺，把原始數(shù)字影像轉(zhuǎn)變?yōu)槿魏螌I(yè)的基于GIS的系統(tǒng)平臺軟件都可以讀取的數(shù)字正射影像和數(shù)字高程模型數(shù)據(jù)，見圖4。

圖4 照片地理信息存儲到系統(tǒng)數(shù)據(jù)庫

(2)對無人機巡檢采集得到的數(shù)字化圖像進行拼接處理，將一次飛行得到的數(shù)百張有重疊部分(包括不同時間、不同視角、不同攝像頭)的圖片經(jīng)過幾何校正、基于SURF (speeded up robust features) 的特征點提取與匹配、圖像配準(zhǔn)、變換矩陣計算、圖像融合后，拼成一幅大型的無縫高分辨率圖像，見圖5。

圖5 圖像拼接

(3)對拼接得到的圖像通過基于混合圖像分割算法進行河道提取，之后再利用改進的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(RCNN)的選擇性搜索(selective search)算法[8]對圖片生成多個候選區(qū)域，然后通過貪心策略去計算相鄰候選集之間的相似度,再通過相似度的大小去合并候選集，直到產(chǎn)生目標(biāo)個數(shù)的候選集，從而篩選出理想目標(biāo)圖像。通過使用無監(jiān)督學(xué)習(xí)得到的相對較優(yōu)權(quán)值對卷積神經(jīng)網(wǎng)絡(luò)進行逐層優(yōu)化，使得神經(jīng)網(wǎng)絡(luò)前向計算得到的特征基底較隨機初始化得到的特征更接近全局最優(yōu)點，從而得到相對誤差最小的訓(xùn)練樣本，從而進一步篩選出最理想目標(biāo)圖像，實現(xiàn)目標(biāo)圖像分類識別。

(4)對發(fā)現(xiàn)的部分水體污染問題，反饋至環(huán)保治理小組，通過分析污染可能的原因，給出診斷，結(jié)合地方政府或管理部門對河道的水質(zhì)及功能的要求，提出治理方案和建議，供地方管理部門作為決策依據(jù)。

4 結(jié) 論

研發(fā)的系統(tǒng)實現(xiàn)了區(qū)域內(nèi)河湖管理數(shù)據(jù)的“采集、巡查、傳輸、識別、流轉(zhuǎn)、分析、決策”全過程管理。

通過4G或者5G信號傳輸，在無人機拍攝后3～5 min內(nèi)就可以傳回到指揮控制中心，由中心的GPU圖像處理工作站根據(jù)設(shè)定好的程序立即進行智能判讀分類，經(jīng)過系統(tǒng)人工審核確認后轉(zhuǎn)送問題流程處理系統(tǒng)，立即告知所在河段的負責(zé)人，附上相應(yīng)的圖片和問題的描述,并要求在系統(tǒng)規(guī)定的時間里對問題的處理結(jié)果進行反饋，引入KPI考核體系，對長期累積的圖像、問題的描述等進行大數(shù)據(jù)分析處理，提出針對性的可行方案，供領(lǐng)導(dǎo)輔助決策。