劉建龍 ，錢曉軍 ，閔克祥 ，顧 昊 ，劉建華

（1. 江蘇省秦淮河水利工程管理處，江蘇 南京 210022；2. 南京師范大學(xué)，江蘇 南京 210023）

0 引言

江蘇省河網(wǎng)密集，湖泊眾多，水域面積占比在全國(guó)各省份中位居第一。水路交通是江蘇省經(jīng)濟(jì)迅速發(fā)展的重要因素之一，但經(jīng)濟(jì)增長(zhǎng)的同時(shí)，生態(tài)環(huán)境破壞尤其是水體惡化問(wèn)題日益突出，嚴(yán)重制約了經(jīng)濟(jì)可持續(xù)發(fā)展甚至威脅了人類生命健康，為河湖治理工作帶來(lái)極大挑戰(zhàn)。

為應(yīng)對(duì)日益復(fù)雜的河湖管理工作，打贏水污染攻堅(jiān)戰(zhàn)，全國(guó)各省份貫徹落實(shí)中央《關(guān)于全面推行河長(zhǎng)制的意見(jiàn)》，結(jié)合當(dāng)?shù)貙?shí)情陸續(xù)推出了一系列河湖巡檢實(shí)施方案，均通過(guò)人工實(shí)施完成，流程大致包括人工規(guī)劃、巡檢、識(shí)別（篩選）、記錄和存檔。前期以人治為主的河湖巡檢方案在取得一定成效的同時(shí)也存在以下幾點(diǎn)不足：1） 人工成本過(guò)高，資源不可重復(fù)利用。整個(gè)巡檢方案包含 5 個(gè)步驟，每個(gè)步驟均需人工完成，工作量較大，且人工實(shí)施方式存在一次性的局限，無(wú)法重復(fù)利用。2） 人工方式存在主觀性。人工規(guī)劃、巡檢、識(shí)別（篩選）均需要科學(xué)合理地規(guī)劃及判斷，特別是人工識(shí)別（篩選），受人為主觀影響較大。3） 人工巡檢方式受地理環(huán)境因素限制較大。部分河湖處于道路泥濘、河流曲折的農(nóng)村山地區(qū)域，且人工巡檢視野受限，無(wú)法全方位查看河湖情況。4） 人工方式不利于河湖巡檢數(shù)據(jù)的保存。通過(guò)紙質(zhì)檔案、人工記載的方式保存河湖巡檢數(shù)據(jù)，存在工作量大、易遺失等不足。

上述問(wèn)題制約水利環(huán)保事業(yè)的發(fā)展，對(duì)此，國(guó)內(nèi)外不少專家學(xué)者將計(jì)算機(jī)視覺(jué)技術(shù)應(yīng)用到河湖管理工作中。Faster - RCNN 作為較典型的目標(biāo)檢測(cè)模型常用于對(duì)河湖違規(guī)（法）行為的檢測(cè)與分類。陳娜等[1]采用 Faster - RCNN 算法識(shí)別巡檢視頻中的河湖“四亂”行為，藺志剛等[2]將該算法應(yīng)用到非法采砂行為識(shí)別中。語(yǔ)義分割作為另一類計(jì)算機(jī)視覺(jué)算法，適用于河湖巡檢中需要精確定位目標(biāo)物邊界的任務(wù)。雷佳明等[3]將 DeeplabV3+（深度學(xué)習(xí)語(yǔ)義分割網(wǎng)絡(luò)）應(yīng)用于水面漂浮物的提取任務(wù)?？族馵4]通過(guò)在 U-net（U 型網(wǎng)絡(luò)）中添加殘差模塊的方式提高了河道及綠藻的分割精度。與地面拍攝的普通影像相比，無(wú)人機(jī)航拍圖像比例尺更大、場(chǎng)景更復(fù)雜，其復(fù)雜性表現(xiàn)為域內(nèi)異質(zhì)性與域間同質(zhì)性均較高，單階段的圖像分割算法容易形成誤分割率、過(guò)分割率均較高的結(jié)果[5-7]。為保證航拍圖像的分割精度，一種包含初始分割與區(qū)域合并的混合圖像分割框架受到了眾多研究者的關(guān)注。唐桂榮等[8]將 RCNN（基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)，Region - CNN）與區(qū)域合并相結(jié)合應(yīng)用于水面漂浮物分割。楊瑞等[9]公開(kāi)了一套包含 20 類目標(biāo)物的河湖巡檢數(shù)據(jù)集，并針對(duì)河湖巡檢場(chǎng)景提出了一種包含馬爾可夫隨機(jī)場(chǎng)與區(qū)域合并的混合圖像分割算法。在區(qū)域合并過(guò)程中，過(guò)分割區(qū)域的合并次序?qū)喜⑿省⒆罱K分割結(jié)果至關(guān)重要。為此，本研究在形成低誤分割率的過(guò)分割區(qū)域基礎(chǔ)上，采用 Liu 等[10]提出的 BPT（二叉劃分樹(shù)）選擇最優(yōu)的過(guò)分割區(qū)域合并序列，根據(jù)前期采集、標(biāo)注的河湖巡檢數(shù)據(jù)，結(jié)合河湖管理實(shí)際情況，研發(fā)無(wú)人機(jī)河湖巡檢圖像智能處理平臺(tái)（以下簡(jiǎn)稱平臺(tái)），平臺(tái)依托無(wú)人機(jī)數(shù)據(jù)快速采集能力，以分水嶺算法形成低誤分割率的河湖過(guò)分割區(qū)域，再通過(guò)構(gòu)建、遍歷 BPT，選擇最優(yōu)的過(guò)分割區(qū)域合并序列，形成完整的河湖目標(biāo)區(qū)域，實(shí)現(xiàn)對(duì)河湖漂浮物的快速巡檢。

1 平臺(tái)設(shè)計(jì)

1.1 系統(tǒng)開(kāi)發(fā)

平臺(tái)的系統(tǒng)開(kāi)發(fā)工具采用 Visual Studio 2017 和Visual Studio Code，底層支持?jǐn)?shù)據(jù)庫(kù)采用 SQL Server 2014，SQL Server 具有易用性、適合分布式組織等優(yōu)點(diǎn)，可以很好地為系統(tǒng)提供數(shù)據(jù)存儲(chǔ)和備份服務(wù)。將Android studio 作為移動(dòng)端開(kāi)發(fā)工具，采用快速原型模型（Rapid Prototype Model）法快速實(shí)現(xiàn)需求，有效減少由于軟件需求不明確帶來(lái)的開(kāi)發(fā)風(fēng)險(xiǎn)，同時(shí)通過(guò)4 臺(tái)服務(wù)器構(gòu)建“一主三從”的服務(wù)器集群，提高了系統(tǒng)的性能、擴(kuò)展能力、可用性和管理性。同時(shí)采用數(shù)據(jù)庫(kù)主從同步的方式確保數(shù)據(jù)的一致性。

1.2 功能架構(gòu)

基于 BPT 結(jié)點(diǎn)區(qū)域合并算法的平臺(tái)采用標(biāo)準(zhǔn)的分層架構(gòu)模式，結(jié)構(gòu)清晰，平臺(tái)系統(tǒng)功能架構(gòu)如圖1所示，實(shí)現(xiàn)了河湖管理事務(wù)中數(shù)據(jù)采集、巡檢、傳輸、識(shí)別、分析、流轉(zhuǎn)、決策的閉環(huán)處理機(jī)制?；A(chǔ)數(shù)據(jù)采集功能模塊存儲(chǔ)了整個(gè)平臺(tái)所需的基礎(chǔ)數(shù)據(jù)和快速巡檢功能模塊所需的地理信息；航拍數(shù)據(jù)傳輸功能模塊則實(shí)現(xiàn)了無(wú)人機(jī)河湖巡檢過(guò)程中圖像或視頻的實(shí)時(shí)回傳；圖像智能識(shí)別功能模塊中的核心算法是基于 BPT 結(jié)點(diǎn)的區(qū)域合并算法，通過(guò)該算法從無(wú)人機(jī)圖像中提取的地物信息，為事件處置流轉(zhuǎn)、大數(shù)據(jù)分析等功能模塊提供了數(shù)據(jù)支撐；智慧決策功能模塊則進(jìn)一步根據(jù)大數(shù)據(jù)分析功能模塊的分析結(jié)果輔助決策。

圖1 平臺(tái)系統(tǒng)功能架構(gòu)

2 區(qū)域合并算法

無(wú)人機(jī)拍攝的河湖圖像環(huán)境復(fù)雜，同時(shí)無(wú)人機(jī)受無(wú)人機(jī)抖動(dòng)、光照強(qiáng)度變換、拍攝角度、飛行高度、河湖漂浮物與陸地某區(qū)域顏色相近、非河流區(qū)域的顏色與河流區(qū)域相近、河岸線曲折且河岸綠藻生長(zhǎng)與岸邊植物顏色相似等因素的影響，對(duì)河湖漂浮物的識(shí)別準(zhǔn)確率較低，容易造成誤識(shí)別現(xiàn)象。針對(duì)上述問(wèn)題，本研究結(jié)合初始分割與區(qū)域合并進(jìn)行圖像分割，以提高河湖漂浮物識(shí)別的準(zhǔn)確率和效率。

2.1 初始分割

初級(jí)圖像分割算法可以將原始圖像分割為均勻區(qū)域，其中分水嶺算法是一種基于地形地貌的圖像分割算法，將圖像視為地形圖，圖像的灰度值對(duì)應(yīng)地形高度，高灰度像素（局部最高值）對(duì)應(yīng)地形圖中的山峰，低灰度像素（局部最低值）對(duì)應(yīng)地形圖中的山谷。水總是流向山谷，稱為集水區(qū)，集水區(qū)之間的山脊稱為分水嶺，如果分水嶺上有水滴，流向兩邊分水嶺的概率是相等的。將這種思想應(yīng)用到圖像分割中，就是在灰度圖像中尋找不同的集水區(qū)，分割的對(duì)象是由不同集水區(qū)組成的區(qū)域。使用分水嶺算法進(jìn)行圖像的初始分割，通常情況下會(huì)得到低誤分割率的過(guò)分割區(qū)域，效果如圖2 所示。

圖2 分水嶺算法分割效果

2.2 區(qū)域相似性度量

對(duì)于采用分水嶺算法形成的過(guò)分割區(qū)域，需要采用一定的方法度量相似度，將相似度較高的過(guò)分割區(qū)域?qū)M(jìn)行合并，以提高目標(biāo)提取的完整度。針對(duì)只采用 1 種區(qū)域信息進(jìn)行相似性度量的不足，本研究采用多種區(qū)域信息，即區(qū)域面積與灰度，則相鄰區(qū)域Ri與Rj的相似性度量S（i，j）定義為

式中：A（i，j）表示相鄰區(qū)域的面積相似度；c（i，j）表示相鄰區(qū)域的灰度相似度；f（i，j）表示公共邊緣強(qiáng)度；ρ1，ρ2，ρ3分別對(duì)應(yīng)相鄰區(qū)域的面積和灰度及邊緣等信息的權(quán)重。

具體內(nèi)容如下：

1） 面積相似度。定義如下：

式中：Ai和Aj分別表示相鄰兩區(qū)域的面積；A（i，j）越大，表示相鄰兩區(qū)域面積相差越多，而小區(qū)域通常是沒(méi)有意義的，需要與相鄰的大區(qū)域合并。

2） 灰度相似度。用灰度直方圖表示每個(gè)區(qū)域的灰度分布，簡(jiǎn)單有效。首先將灰度空間均勻量化到k個(gè) bin（一個(gè)灰度級(jí)統(tǒng)計(jì)）中，分別計(jì)算每個(gè)區(qū)域的灰度直方圖并進(jìn)行歸一化，得到相鄰區(qū)域Ri與Rj的顏色直方圖Hi和Hj。定義如下：

式中：α和β分別為相鄰直方圖Hi和Hj對(duì)應(yīng)的 bin；Ri與Rj的顏色分布越相近，c（i，j）越大。

3） 公共邊緣強(qiáng)度。定義如下：

式中：tij為Ri與Rj公共邊界上的像素占比；Ni和Nj分別為Ri與Rj的像素個(gè)數(shù)；Zi和Zj分別為Ri與Rj公共邊界周圍像素的均值。f（i，j）與邊緣的強(qiáng)弱成反比，邊緣越弱，f（i，j）越大。

2.3 區(qū)域合并規(guī)則

通常選擇區(qū)域相似性度量最大的相鄰區(qū)域進(jìn)行合并，可能會(huì)產(chǎn)生錯(cuò)誤合并的現(xiàn)象。因此，基于區(qū)域相似性度量提出區(qū)域合并規(guī)則，依此確定可以合并的相鄰區(qū)域。在每一次區(qū)域合并開(kāi)始時(shí)，依次檢查以下2 個(gè)條件，將滿足條件的 1 對(duì)或多對(duì)區(qū)域進(jìn)行合并，合并步驟開(kāi)始時(shí)，假設(shè)共有n個(gè)區(qū)域：

1） 嘗試將小區(qū)域Ri與相鄰區(qū)域Rj進(jìn)行合并，合集Ф={Ri，Rj|Ai<μ，Aj<μ}，μ為小區(qū)域面和閾值，合并區(qū)域?yàn)?/p>

在過(guò)分割圖像中，區(qū)域合并前將小區(qū)域合并為更有意義的大區(qū)域，合并步驟開(kāi)始后，如果集合Ф為空，不能使用式（5）對(duì)任何區(qū)域?qū)M(jìn)行合并，則檢查條件 2）。

2） 選擇滿足以下條件的最相似區(qū)域?qū)i與Rj作為要合并的區(qū)域：

式（6）表明：Rj是所有相鄰區(qū)域中與Ri最相似的，同樣，Ri是所有相鄰區(qū)域中與Rj最相似的，因此，應(yīng)當(dāng)合并Ri和Rj。

但當(dāng)所有區(qū)域?qū)Χ疾荒軡M足上述條件時(shí)，選擇滿足以下條件的區(qū)域進(jìn)行合并：

式（7）參照大多數(shù)區(qū)域合并算法中使用的區(qū)域合并準(zhǔn)則[11-12]，選擇區(qū)域相似度最高的 2 個(gè)區(qū)域進(jìn)行合并。

2.4 BPT 結(jié)點(diǎn)分析與區(qū)域合并

BPT 記錄區(qū)域合并過(guò)程，葉子結(jié)點(diǎn)代表每個(gè)初始分割后的區(qū)域，非葉結(jié)點(diǎn)代表區(qū)域合并過(guò)程中新生成的區(qū)域。對(duì)于初始分割后的n個(gè)區(qū)域，在整個(gè)區(qū)域合并過(guò)程中，將 2 個(gè)區(qū)域合并為 1 個(gè)新區(qū)域的總次數(shù)為n-1。因此，BPT 中共有n個(gè)葉子結(jié)點(diǎn)和n-1 個(gè)非葉子結(jié)點(diǎn)，可通過(guò)分析非葉子結(jié)點(diǎn)獲取合適的分割結(jié)果。BPT 區(qū)域合并示例如圖3 所示。

圖3 BPT 區(qū)域合并示例

深入觀察自然場(chǎng)景圖像后發(fā)現(xiàn)，圖像中的河流或河岸邊的水浮蓮?fù)ǔＥc背景之間的對(duì)比度較大且邊界線較長(zhǎng)。因此，如果 BPT 中 1 個(gè)結(jié)點(diǎn)表示的區(qū)域與相鄰區(qū)域有很大的不同且邊界線較長(zhǎng)，那么該區(qū)域可能表示圖像中的 1 個(gè)目標(biāo)。定義結(jié)點(diǎn)的重要性指標(biāo)Di如下：

式中：Li（Rj）表示Ri與鄰域Rj的邊界線長(zhǎng)度；θi是當(dāng)Ri作為初始分割區(qū)域或合并區(qū)域生成時(shí)，與Ri相鄰的區(qū)域集合。

基于上述分析，BPT 結(jié)點(diǎn)的選擇流程如下：1） 選擇重要性指標(biāo)最大的結(jié)點(diǎn)，標(biāo)記并加入集合T中，之后標(biāo)記父結(jié)點(diǎn)和所有后代結(jié)點(diǎn)；2） 再選擇未標(biāo)記結(jié)點(diǎn)中重要性指標(biāo)最大的結(jié)點(diǎn)，執(zhí)行以上操作，直到BPT 中所有結(jié)點(diǎn)都被標(biāo)記；3） 最后得到 1 個(gè) BPT 結(jié)點(diǎn)集合T。圖像目標(biāo)提取算法如圖4 所示。

圖4 圖像目標(biāo)提取算法

3 算法應(yīng)用

遵循雙重實(shí)驗(yàn)方法評(píng)估算法性能，首先，使用本研究的目標(biāo)提取算法，即基于 BPT 結(jié)點(diǎn)的區(qū)域合并算法，與對(duì)比算法自適應(yīng)區(qū)域合并[13]（ARM）在公共數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)；其次，基于河湖巡檢（RLI）數(shù)據(jù)集驗(yàn)證2 種算法在復(fù)雜場(chǎng)景圖像中的目標(biāo)提取性能，具體內(nèi)容如下：

1） 從MSRA SOD[14（]微軟亞洲研究院公開(kāi)的顯著性目標(biāo)檢測(cè)數(shù)據(jù)集）選取 200 幅自然圖像進(jìn)行實(shí)驗(yàn)，并與ARM 算法進(jìn)行對(duì)比。為保證對(duì)比公平，通過(guò)分水嶺算法獲取 ARM 算法與本研究算法相同的初始分割結(jié)果，并調(diào)整 2 種方法中的參數(shù)以獲得最佳分割結(jié)果。實(shí)驗(yàn)分割結(jié)果示例如圖5 所示。

圖5 實(shí)驗(yàn)分割結(jié)果示例

與 ARM 算法得到的分割結(jié)果相比，本研究算法可以更好地保留有意義的目標(biāo)輪廓，但不能有效處理一些場(chǎng)景較復(fù)雜的圖像，例如最后 1 組示例，目標(biāo)自身顏色差距較大。由于 ARM 算法僅根據(jù)像素差異進(jìn)行區(qū)域相似性度量的性質(zhì)，在區(qū)域合并過(guò)程中，自身顏色相差很大的目標(biāo)會(huì)被分成多個(gè)區(qū)域，ARM 算法得到的結(jié)果不令人滿意。

2） 為驗(yàn)證本研究算法在復(fù)雜場(chǎng)景圖像中有更好的性能，從私有數(shù)據(jù)集選取 200 幅復(fù)雜場(chǎng)景圖像，并與 ARM 算法進(jìn)行對(duì)比實(shí)驗(yàn)。同樣使用分水嶺算法進(jìn)行初始分割，并調(diào)整參數(shù)獲得最佳分割結(jié)果。實(shí)驗(yàn)分割結(jié)果示例如圖6 所示。

圖6 實(shí)驗(yàn)分割結(jié)果示例

對(duì)比分割結(jié)果發(fā)現(xiàn)，本研究算法可以較好地提取復(fù)雜場(chǎng)景圖像中的目標(biāo)。但當(dāng)目標(biāo)物有大面積物體覆蓋時(shí)，本研究算法提取目標(biāo)的性能不是很好，如圖6最后 1 組圖中目標(biāo)河道表面漂浮著大面積綠藻，分割結(jié)果中河道與綠藻是分割開(kāi)的，但實(shí)際上綠藻屬于河道的一部分。

為更客觀地比較實(shí)驗(yàn)結(jié)果，使用文獻(xiàn)[15]中的分割覆蓋（SC）的度量客觀評(píng)估分割性能，定義如下：

式中：G為標(biāo)簽；S為分割結(jié)果；N為圖像像素?cái)?shù)；Si為分割結(jié)果中的一個(gè)區(qū)域；Sj為最終圖像分割結(jié)果S中的第j個(gè)區(qū)域；gi為正確分割區(qū)域g中的第i區(qū)域；O為交并比。式（9）中g(shù)表示S的覆蓋，式（10）定義了 2 個(gè)區(qū)域之間的重疊程度，因此，SC值越大，圖像分割質(zhì)量越高。

隨機(jī)選取 6 張圖像，計(jì)算實(shí)驗(yàn)結(jié)果的SC值，統(tǒng)計(jì)每張圖像的平均處理時(shí)長(zhǎng)，對(duì)比結(jié)果如表1 所示。從視覺(jué)效果、性能指標(biāo) 2 個(gè)方面對(duì)比，本研究算法的SC值均高于 ARM 算法，消耗時(shí)間均低于 ARM 算法，表明本研究算法可利用較少的時(shí)間，獲得高于 ARM 算法的圖像分割質(zhì)量。

表1 算法性能對(duì)比

基于 BPT 結(jié)點(diǎn)的區(qū)域合并算法作為平臺(tái)的核心算法，目標(biāo)提取精度、圖像處理效率均優(yōu)于目前已有的同類算法，應(yīng)用于圖像智能識(shí)別模塊，對(duì)無(wú)人機(jī)河湖巡檢圖像中的地物信息進(jìn)行提取，有利于河湖巡檢事件的高效分析、決策，增強(qiáng)平臺(tái)的實(shí)時(shí)性。

4 結(jié)語(yǔ)

通過(guò)區(qū)域相似性度量、區(qū)域合并規(guī)則和 BPT 結(jié)點(diǎn)分析，將基于 BPT 結(jié)點(diǎn)的區(qū)域合并算法應(yīng)用于無(wú)人機(jī)河湖巡檢圖像中的目標(biāo)信息提取，實(shí)現(xiàn)了對(duì)河湖漂浮物快速高效的巡檢。實(shí)驗(yàn)結(jié)果表明：本研究算法具有較好的圖像分割性能，可以實(shí)現(xiàn)目標(biāo)在無(wú)人機(jī)影像中的精確、高效提取，將該算法應(yīng)用到無(wú)人機(jī)河湖巡檢圖像智能處理平臺(tái)中，能夠提高平臺(tái)模塊功能的實(shí)時(shí)性，但對(duì)于目標(biāo)本身對(duì)比度較大的情況，分割效果較差。今后將充分挖掘區(qū)域信息，并改進(jìn)區(qū)域合并準(zhǔn)則，實(shí)現(xiàn)更好的區(qū)域合并效果，達(dá)到更好的分割性能。