黃少雄，蘭建雄，譚 勇，潘 勇，曹申豪

（1.廣東省南粵交通仁新高速公路管理處，廣東 韶關(guān)512600；2.廣州天勤數(shù)字科技有限公司，廣東 廣州 510627；3.武漢大學(xué) 計(jì)算機(jī)學(xué)院，湖北 武漢 430072）

隨著公路的發(fā)展，公路總里程不斷增加，人們出行更加方便；同時(shí)公路上的重要基礎(chǔ)設(shè)施增多，公路地形路段更加復(fù)雜，也給有關(guān)部門(mén)對(duì)高速公路的監(jiān)管和養(yǎng)護(hù)帶來(lái)了更大的挑戰(zhàn)。邊坡與橋梁在公路交通領(lǐng)域中扮演著重要角色，在日常巡檢中及時(shí)發(fā)現(xiàn)邊坡坡面沖刷，橋梁地基沖刷，橋下空間違章停車(chē)、違章堆積物和違章建筑等邊坡和橋梁隱患并及時(shí)處理，能大大消除邊坡和橋梁等公路重要設(shè)施的安全隱患，有力捍衛(wèi)路產(chǎn)路權(quán)，保障人民的出行安全。因此，對(duì)公路邊坡和橋梁定時(shí)進(jìn)行巡查格外重要。目前檢測(cè)主要由相關(guān)部門(mén)安排人員到現(xiàn)場(chǎng)進(jìn)行察看，該方式存在很大的局限性：①檢查位置無(wú)法完全覆蓋所有的坡面和橋梁結(jié)構(gòu)；②檢查次數(shù)無(wú)法滿(mǎn)足規(guī)定的頻率要求，增加了坡面和橋梁產(chǎn)生安全隱患的風(fēng)險(xiǎn)，不利于國(guó)家交通行業(yè)的健康發(fā)展。

隨著智能化的發(fā)展，人工智能正在引領(lǐng)社會(huì)各行業(yè)的變革，無(wú)人機(jī)搭載探測(cè)器進(jìn)行巡檢的報(bào)道時(shí)有出現(xiàn)。陳永洪[1]等利用無(wú)人機(jī)搭載激光雷達(dá)獲取線路走廊內(nèi)的三維激光點(diǎn)云，再利用人工智能算法自動(dòng)提取耐張塔、導(dǎo)線等關(guān)鍵地物和三維地形信息，最后進(jìn)行激光點(diǎn)云數(shù)據(jù)的自動(dòng)/半自動(dòng)分類(lèi)，用于檢測(cè)耐張塔預(yù)偏值和軟跳線安裝質(zhì)量；陳顯龍[2]等設(shè)計(jì)了一種基于無(wú)人機(jī)的路橋病害檢測(cè)系統(tǒng)；吳萍昊[3]等基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)飛來(lái)峽水庫(kù)鐵溪坑示范區(qū)進(jìn)行分類(lèi)，并結(jié)合確界數(shù)據(jù)解譯得到30處違法違章嫌疑區(qū)。利用無(wú)人機(jī)搭載高清相機(jī)進(jìn)行巡檢，仍處于試探性應(yīng)用階段，主要是通過(guò)手動(dòng)操作無(wú)人機(jī)到合適位置，再調(diào)整云臺(tái)角度獲取巡檢部位影像數(shù)據(jù)，無(wú)法進(jìn)行有效的航線規(guī)劃，巡查過(guò)程中難以對(duì)無(wú)人機(jī)進(jìn)行遠(yuǎn)距離操控，自動(dòng)化程度低、巡查效率不高。為減小公路巡檢成本，本文提出了一個(gè)基于無(wú)人機(jī)視頻分析的公路橋梁邊坡常見(jiàn)異常隱患目標(biāo)自動(dòng)檢測(cè)系統(tǒng)。檢測(cè)系統(tǒng)通過(guò)地面站對(duì)無(wú)人機(jī)的飛行任務(wù)進(jìn)行設(shè)定，固化航線，可實(shí)現(xiàn)一鍵式任務(wù)執(zhí)行，拍攝指定位置的重要建筑視頻；利用基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)對(duì)無(wú)人機(jī)拍攝的邊坡和橋梁視頻進(jìn)行分析，精準(zhǔn)檢測(cè)邊坡坡面沖刷、橋梁地基沖刷和橋下空間違章物。實(shí)驗(yàn)和實(shí)際場(chǎng)景測(cè)試表明，該系統(tǒng)可提高巡檢效率，降低人員到復(fù)雜區(qū)域的作業(yè)頻率，減少人員安全隱患，提高日常巡查頻率，及時(shí)準(zhǔn)確地發(fā)現(xiàn)邊坡和橋梁的一些常見(jiàn)隱患。

1 公路橋梁邊坡隱患目標(biāo)巡檢系統(tǒng)

基于無(wú)人機(jī)的公路橋梁邊坡隱患目標(biāo)巡檢系統(tǒng)由無(wú)人機(jī)、地面工作站、巡檢數(shù)據(jù)管理平臺(tái)3 部分組成（圖1），地面工作站用于定制和規(guī)劃無(wú)人機(jī)的飛行任務(wù)，無(wú)人機(jī)執(zhí)行飛行，到達(dá)指定地點(diǎn)采集視頻，巡檢數(shù)據(jù)管理平臺(tái)管理無(wú)人機(jī)采集的數(shù)據(jù)，并開(kāi)放數(shù)據(jù)接口，供違章物檢測(cè)系統(tǒng)調(diào)用。

圖1 巡檢系統(tǒng)結(jié)構(gòu)

1）無(wú)人機(jī)控制系統(tǒng)。系統(tǒng)以大疆經(jīng)緯M300 RTK無(wú)人機(jī)為基礎(chǔ)平臺(tái)，搭載禪思H20相機(jī)，對(duì)橋梁、邊坡進(jìn)行日常巡查。自動(dòng)巡檢系統(tǒng)的無(wú)人機(jī)平臺(tái)采用慣性測(cè)量單元、高精度全球?qū)Ш叫l(wèi)星系統(tǒng)、光流傳感器、紅外傳感器等多種傳感器進(jìn)行級(jí)聯(lián)閉環(huán)控制，同時(shí)利用載波相位差分技術(shù)實(shí)現(xiàn)厘米級(jí)定位。無(wú)人機(jī)平臺(tái)還增加了額外的光流傳感器控制回路。光流傳感器可通過(guò)計(jì)算拍攝平面上的像素點(diǎn)位移判斷無(wú)人機(jī)本身的位移，從而反向增加無(wú)人機(jī)的穩(wěn)定性。在光線不足的情況下，位于無(wú)人機(jī)底部的LED補(bǔ)光系統(tǒng)還可增加亮度，使傳感器更好地識(shí)別表面紋理。無(wú)人機(jī)控制系統(tǒng)結(jié)構(gòu)見(jiàn)圖2。

圖2 無(wú)人機(jī)控制系統(tǒng)結(jié)構(gòu)

2）地面工作站根據(jù)邊坡與橋梁的特點(diǎn)和巡檢部位，對(duì)無(wú)人機(jī)的飛行航線、姿態(tài)進(jìn)行固化，巡檢人員只需將無(wú)人機(jī)帶到固定地點(diǎn)，即可通過(guò)一鍵式執(zhí)行任務(wù)，簡(jiǎn)單化、標(biāo)準(zhǔn)化作業(yè)流程。

3）巡檢數(shù)據(jù)管理平臺(tái)負(fù)責(zé)對(duì)無(wú)人機(jī)采集的數(shù)據(jù)進(jìn)行集中管理、數(shù)字存檔，方便查詢(xún)檢索，永久保存；利用基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)分析巡檢照片、視頻，檢測(cè)邊坡坡面沖刷、橋下地基沖刷、橋下堆積物等，并通知工作人員。

2 公路橋梁邊坡常見(jiàn)隱患目標(biāo)檢測(cè)算法

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法能準(zhǔn)確檢測(cè)邊坡坡面沖刷，橋梁地基沖刷以及橋下空間違章停車(chē)、違章堆積物和違章建筑等公路橋梁邊坡常見(jiàn)隱患?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)算法可分為單階段YOLO[4]系列、SSD[5]和雙階段算法RCNN[6]系列，其中YOLOv3[7]算法的檢測(cè)準(zhǔn)確率高、檢測(cè)速度快，適用于檢測(cè)公路橋梁邊坡常見(jiàn)隱患?；谀繕?biāo)檢測(cè)的無(wú)人機(jī)公路橋梁邊坡常見(jiàn)隱患目標(biāo)檢測(cè)方法的具體步驟為：①構(gòu)建公路橋梁邊坡常見(jiàn)隱患目標(biāo)數(shù)據(jù)集；②訓(xùn)練適用于公路橋梁邊坡常見(jiàn)隱患目標(biāo)檢測(cè)的YOLOv3 模型；③設(shè)計(jì)適用于橋下空間違章物的過(guò)濾策略。

2.1 公路橋梁邊坡常見(jiàn)隱患目標(biāo)數(shù)據(jù)集構(gòu)建

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法需要大量帶標(biāo)注的圖像用于訓(xùn)練。本文采用人工采集、人工標(biāo)注的方式構(gòu)建公路常見(jiàn)隱患目標(biāo)數(shù)據(jù)集。在采集過(guò)程中，工作人員操作無(wú)人機(jī)以3 m/s 的速度沿邊坡或橋體方向航行，拍攝包含坡面、橋體和橋下空間區(qū)域的視頻。在標(biāo)注過(guò)程中，為減小數(shù)據(jù)冗余和人工標(biāo)注工作量，以2 s的采樣間隔對(duì)無(wú)人機(jī)拍攝的視頻進(jìn)行抽幀，得到圖像數(shù)據(jù)集；再采用人工標(biāo)注的方式，標(biāo)注每張圖像中的目標(biāo)。數(shù)據(jù)集分為邊坡數(shù)據(jù)集和橋梁數(shù)據(jù)集，邊坡數(shù)據(jù)集包括坡面沖刷、橋梁地基沖刷兩種識(shí)別目標(biāo)，共計(jì)968 張，其中818 張用于訓(xùn)練，其余用于測(cè)試；橋梁數(shù)據(jù)集包括橋體、橋墩、車(chē)輛、違章建筑、貨物5種識(shí)別目標(biāo)，共計(jì)570張，其中470張用于訓(xùn)練，其余用于測(cè)試。

2.2 基于YOLOv3的目標(biāo)檢測(cè)算法

基于YOLOv3目標(biāo)檢測(cè)算法，借鑒殘差網(wǎng)絡(luò)結(jié)構(gòu)[8]形成更深的網(wǎng)絡(luò)層次，并結(jié)合多尺度檢測(cè)提升了平均精確率（mAP）和小物體檢測(cè)效果。YOLOv3 算法網(wǎng)絡(luò)的主干結(jié)構(gòu)是Darknet-53[7]網(wǎng)絡(luò)，預(yù)測(cè)支路采用的都是全卷積結(jié)構(gòu)。Darknet的卷積層后接批量歸一化層（BN）[9]和LeakyReLU層，除最后一層卷積層外，在深度卷積網(wǎng)絡(luò)中BN 層和LeakyReLU 層已是卷積層不可分離的部分，共同構(gòu)成了網(wǎng)絡(luò)結(jié)構(gòu)的最小組件。深度卷積網(wǎng)絡(luò)輸出包含3 個(gè)分支，分別專(zhuān)注于大目標(biāo)、中目標(biāo)和小目標(biāo)檢測(cè)，每個(gè)分支輸出預(yù)測(cè)物體的坐標(biāo)、類(lèi)別和置信度。訓(xùn)練過(guò)程的損失函數(shù)由預(yù)測(cè)的坐標(biāo)損失、類(lèi)別損失和置信度損失3 部分組成。本算法對(duì)YOLOv3 主干網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行微調(diào)，將分支全連接層數(shù)設(shè)置為7，即待檢測(cè)物體數(shù)，包括坡面沖刷、地基沖刷、違規(guī)車(chē)輛、貨物、建筑、橋體、橋墩。訓(xùn)練過(guò)程中，采用Adam 算法[10]進(jìn)行優(yōu)化，學(xué)習(xí)率設(shè)置為0.001，批量大小設(shè)置為8，累計(jì)訓(xùn)練50 輪。

2.3 橋下空間異常隱患檢測(cè)的過(guò)濾策略

在采集的包含橋下空間和橋體的視頻中，橋面上往往行駛著不同大小的車(chē)輛；而目標(biāo)檢測(cè)技術(shù)將同時(shí)檢測(cè)橋下空間違規(guī)停放的車(chē)輛和橋面正常行駛的車(chē)輛，因此需要設(shè)計(jì)一種過(guò)濾策略，篩除橋面上正常行駛的車(chē)輛。在標(biāo)注數(shù)據(jù)集的過(guò)程中，橋體以矩形框的形式進(jìn)行標(biāo)注，可作為劃分橋下空間和橋面的依據(jù)。對(duì)于所有檢測(cè)結(jié)果，比較其預(yù)測(cè)的坐標(biāo)值與檢測(cè)到的橋體坐標(biāo)值，若物體坐標(biāo)的最低值高于橋體最低值，則表明物體位于橋體上方，剔除該物體；反之，則保留該物體。

2.4 實(shí)驗(yàn)與結(jié)果分析

2.4.1 評(píng)價(jià)指標(biāo)與結(jié)果

本文選取精確率（AP）作為單個(gè)類(lèi)別物體檢測(cè)效果的評(píng)價(jià)指標(biāo)，mAP作為多個(gè)物體檢測(cè)效果的評(píng)價(jià)指標(biāo)。AP表示一個(gè)類(lèi)別PR 曲線的面積；mAP 則是對(duì)m個(gè)類(lèi)別的AP求平均值。

式中，TP為預(yù)測(cè)為正樣本、實(shí)際為正樣本的數(shù)量；FP為預(yù)測(cè)為正樣本、實(shí)際為負(fù)樣本的數(shù)量；FN為預(yù)測(cè)為負(fù)樣本、實(shí)際為正樣本的數(shù)量；P為預(yù)測(cè)為正樣本中實(shí)際為正樣本的概率；R為在實(shí)際的正樣本中預(yù)測(cè)為正樣本的概率。

在選取不同閾值作為正負(fù)樣本的判斷標(biāo)準(zhǔn)時(shí)，就會(huì)產(chǎn)生一組對(duì)應(yīng)的P、R，二者往往相互矛盾，此消彼長(zhǎng)，也就產(chǎn)生了PR曲線。各物體的AP見(jiàn)表1，計(jì)算得到mAP為0.849 2，可以看出，目標(biāo)檢測(cè)器對(duì)坡面沖刷、橋梁沖刷、橋墩、橋體和車(chē)輛的AP較高，對(duì)違章建筑和貨物的AP較低。其原因在于，真實(shí)場(chǎng)景下，橋下空間的違規(guī)建筑和堆放貨物較少，因而采集數(shù)據(jù)中對(duì)應(yīng)的樣本數(shù)量較少。

表1 各物體檢測(cè)結(jié)果評(píng)估

2.4.2 真實(shí)場(chǎng)景檢測(cè)結(jié)果圖

部署基于無(wú)人機(jī)視頻分析的公路橋梁邊坡常見(jiàn)異常隱患自動(dòng)檢測(cè)系統(tǒng)，并在真實(shí)場(chǎng)景下進(jìn)行測(cè)試，結(jié)果見(jiàn)圖3，可以看出，檢測(cè)系統(tǒng)能精確檢測(cè)出邊坡坡面沖刷、橋梁地基沖刷以及橋下空間的違章建筑、違規(guī)停放車(chē)輛和堆放貨物；且在檢測(cè)并標(biāo)注橋下空間違規(guī)停放車(chē)輛的同時(shí)，剔除了橋面上正常行駛的車(chē)輛；但存在少量漏檢和誤檢的情況。

3 結(jié) 語(yǔ)

為解決傳統(tǒng)公路巡檢費(fèi)時(shí)費(fèi)力的問(wèn)題，本文結(jié)合無(wú)人機(jī)控制技術(shù)和基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)，設(shè)計(jì)并開(kāi)發(fā)了基于無(wú)人機(jī)視頻分析的公路橋梁邊坡常見(jiàn)異常隱患目標(biāo)自動(dòng)檢測(cè)系統(tǒng)，實(shí)現(xiàn)了公路邊坡和橋梁隱患巡檢和養(yǎng)護(hù)的全自動(dòng)化。系統(tǒng)利用無(wú)人機(jī)機(jī)動(dòng)靈活、空中鳥(niǎo)瞰、任意懸停等特性，實(shí)現(xiàn)了多角度巡查，減少了巡檢盲區(qū)；通過(guò)地面站對(duì)任務(wù)進(jìn)行設(shè)定，固化航線，一鍵式任務(wù)執(zhí)行，實(shí)現(xiàn)了數(shù)據(jù)采集的自動(dòng)化；利用基于YOLOv3 的目標(biāo)檢測(cè)算法，訓(xùn)練了適用于公路橋梁邊坡常見(jiàn)隱患目標(biāo)檢測(cè)的高精度模型。真實(shí)場(chǎng)景下的測(cè)試表明，該系統(tǒng)具有較高的精確率，能完全自動(dòng)化地進(jìn)行巡檢，極大地節(jié)約了人力成本。