劉松林,朱永豐,,張 哲,?？?/p>

1(信息工程大學(xué),鄭州 450001)

2(河南浩宇空間數(shù)據(jù)科技有限責(zé)任公司,鄭州 450001)

3(鄭州信大先進(jìn)技術(shù)研究院,鄭州 450001)

在當(dāng)今許多領(lǐng)域,如石油、天然氣、水務(wù)、采暖、綜合管廊、電力等,巡檢工作已成為事關(guān)人員生命和財(cái)產(chǎn)安全的重要保障,客觀、準(zhǔn)確地記錄和考核一線巡檢人員的執(zhí)行情況因而變得極為重要[1–3].巡檢工作一般具有地域廣、作業(yè)面分散、人員眾多等特點(diǎn),其工作落實(shí)的好壞、巡檢質(zhì)量的高低很大程度上取決于巡檢人員的工作責(zé)任心和各級(jí)管理者現(xiàn)場(chǎng)監(jiān)督的力度,其管理工作更是由于以上特點(diǎn)而難以落實(shí),迫切需要更先進(jìn)的電子化監(jiān)督管理工具[4–7].基于無(wú)人機(jī)(直升機(jī))的管線巡檢平臺(tái)剛好可以彌補(bǔ)這些缺點(diǎn).

目前,管線巡檢工作已經(jīng)成為油氣企業(yè)日常運(yùn)作過(guò)程中不可或缺的一環(huán),因此降低巡檢工作的資源投入以及最大限度地提升巡檢工作的效率和質(zhì)量,就顯得尤為重要[3,8].為避免人工巡檢工作中出現(xiàn)漏報(bào)、緩報(bào)、錯(cuò)報(bào)等問(wèn)題,保證管線巡檢工作科學(xué)、規(guī)范、有效地進(jìn)行,方便巡檢工人及時(shí)、準(zhǔn)確、便捷地上報(bào)相關(guān)信息的同時(shí)減輕其工作復(fù)雜度,我們與鄭州信大先進(jìn)技術(shù)研究院和河南浩宇空間數(shù)據(jù)科技有限責(zé)任公司聯(lián)合開發(fā)并設(shè)計(jì)一套與當(dāng)前實(shí)際情況相結(jié)合的管線巡檢信息平臺(tái).該系統(tǒng)和強(qiáng)大的遙感技術(shù)緊密結(jié)合,無(wú)需組織人工巡檢,依靠無(wú)人機(jī)在管線上方拍攝的照片就能準(zhǔn)確的對(duì)可能破壞輸送管線的疑似物進(jìn)行經(jīng)緯定位,這種新的作業(yè)模式在提高巡檢工作效率和質(zhì)量的同時(shí),極大地減少了人力投入,能夠幫助企業(yè)更好的管控成本.

1 系統(tǒng)總體設(shè)計(jì)方案

1.1 系統(tǒng)功能目標(biāo)

1)系統(tǒng)利用無(wú)人機(jī)快速響應(yīng)、空中機(jī)動(dòng)靈活及不受地理環(huán)境影響等優(yōu)勢(shì),搭載高清攝像機(jī)、及圖傳數(shù)傳模塊,實(shí)現(xiàn)基于深度學(xué)習(xí)的油氣管線快速巡檢監(jiān)察功能.為油氣管線管理部門提供巡檢路段的遙感航拍影像,為管道管理、資產(chǎn)管理提供基礎(chǔ)數(shù)據(jù)支撐.

2)系統(tǒng)核心(無(wú)人機(jī)遙感影像數(shù)據(jù)處理系統(tǒng))通過(guò)接收無(wú)人機(jī)采集的航拍遙感影像,采用基于深度學(xué)習(xí)的特定目標(biāo)檢測(cè)算法,結(jié)合BP神經(jīng)網(wǎng)絡(luò)樣本訓(xùn)練架構(gòu),建立完整的訓(xùn)練、檢測(cè)、識(shí)別、結(jié)果推送的完整體系,方便管線管理部門實(shí)時(shí)掌握管線運(yùn)行狀況及完善的歷史數(shù)據(jù)庫(kù).

3)系統(tǒng)中的信息發(fā)布、推送、管理子系統(tǒng)運(yùn)用中原云大數(shù)據(jù)管理架構(gòu),將目標(biāo)檢測(cè)結(jié)果信息及時(shí)推送至巡檢執(zhí)法終端中,并對(duì)管道、隱患、違法、人員等信息進(jìn)行有效管理和處理.

1.2 系統(tǒng)流程設(shè)計(jì)

基于深度學(xué)習(xí)的無(wú)人機(jī)油氣管線巡檢監(jiān)察系統(tǒng)是通過(guò)無(wú)人機(jī)在管道上空沿線飛行,精確采集管道表面遙感影像;然后通過(guò)圖像處理和模型分析提取疑似物,再經(jīng)過(guò)解析數(shù)字?jǐn)z影測(cè)量技術(shù)轉(zhuǎn)換得到目標(biāo)點(diǎn)的位置信息,管理人員審查確認(rèn)后,通過(guò)網(wǎng)絡(luò)平臺(tái)將圖像及位置信息推送給線路管理人員(手持終端設(shè)備);最后經(jīng)線路管理人員現(xiàn)場(chǎng)查看后,在線反饋巡檢情況.詳細(xì)流程如(圖1).

1)無(wú)人機(jī)飛行平臺(tái)由無(wú)人機(jī)本體、高清遙感影像采集模塊、圖傳數(shù)傳模塊組成,實(shí)現(xiàn)巡檢監(jiān)察作業(yè)、管線數(shù)據(jù)采集回傳;

2)神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)系統(tǒng)實(shí)時(shí)接收無(wú)人機(jī)遙感影像,并對(duì)影像中是否含特定目標(biāo)進(jìn)行快速搜索檢測(cè),識(shí)別出安全隱患、預(yù)警等目標(biāo)物后,直接將目標(biāo)坐標(biāo)、信息推送至無(wú)人機(jī)巡檢監(jiān)察管理系統(tǒng),并且進(jìn)行數(shù)據(jù)庫(kù)入庫(kù).

3)無(wú)人機(jī)巡檢監(jiān)察管理系統(tǒng)及時(shí)將神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)系統(tǒng)推送的安全隱患、預(yù)警信息再次進(jìn)行類型分析,并推送至無(wú)人機(jī)巡檢執(zhí)法終端,通知巡檢執(zhí)法人員執(zhí)法;此外,無(wú)人機(jī)巡檢監(jiān)察管理系統(tǒng)實(shí)現(xiàn)對(duì)管線、人員、無(wú)人機(jī)、設(shè)備、安全隱患等信息進(jìn)行統(tǒng)一數(shù)據(jù)展示和管理,做到無(wú)紙化管理、歷史記錄可查及快速編輯等其他巡檢監(jiān)察功能.

4)無(wú)人機(jī)巡檢執(zhí)法終端通過(guò)4G或互聯(lián)網(wǎng)接收無(wú)人機(jī)巡檢監(jiān)察管理系統(tǒng)推送的信息,并根據(jù)當(dāng)前路徑快速前往現(xiàn)場(chǎng)進(jìn)行違法行為的制止和處理,并對(duì)現(xiàn)場(chǎng)情況進(jìn)行確認(rèn)并上報(bào)處理結(jié)果,即將處理結(jié)果通過(guò)無(wú)人機(jī)巡檢執(zhí)法終端回傳至無(wú)人機(jī)巡檢監(jiān)察管理系統(tǒng),完成閉合處理流程,做到及時(shí)發(fā)現(xiàn),及時(shí)處理,及時(shí)反饋.

圖1 系統(tǒng)作業(yè)流程示意圖

2 系統(tǒng)組成

基于深度學(xué)習(xí)的無(wú)人機(jī)油氣管線巡檢監(jiān)察系統(tǒng)由四大子系統(tǒng)組成:無(wú)人機(jī)飛行平臺(tái)、神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)系統(tǒng)、無(wú)人機(jī)巡檢監(jiān)察管理系統(tǒng)以及無(wú)人機(jī)巡檢執(zhí)法終端.下面對(duì)四大子系統(tǒng)進(jìn)行詳細(xì)介紹.

2.1 無(wú)人機(jī)飛行平臺(tái)

河南浩宇空間數(shù)據(jù)科技有限責(zé)任公司和鄭州信大先進(jìn)技術(shù)研究院組成的研究團(tuán)隊(duì),在調(diào)研油氣管線長(zhǎng)距離日間巡檢需求的基礎(chǔ)上,設(shè)計(jì)并采用了一款油動(dòng)固定翼無(wú)人機(jī)巡檢平臺(tái),詳見圖2.其飛行器采用固定翼機(jī)構(gòu)設(shè)計(jì),野外環(huán)境中可通過(guò)彈射架直接起飛,降落時(shí)可通過(guò)自帶降落傘進(jìn)行迫降,機(jī)身采用以碳纖維為主、多種復(fù)合材料,具有易攜帶、易操控、效率高、易維護(hù)等優(yōu)點(diǎn).該款新型航測(cè)無(wú)人機(jī)機(jī)身全長(zhǎng)2米,翼展2.68米,任務(wù)載荷達(dá)6千克,最大起飛重量22千克,最大飛行距離 300 公里,巡檢飛行高度 100–200 米,該飛機(jī)采用模塊化設(shè)計(jì),便于運(yùn)輸及外場(chǎng)高效作業(yè).

圖2 固定翼油動(dòng)飛行器和地面飛行工作站

2.2 卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)系統(tǒng)

本文提出的卷積神經(jīng)網(wǎng)絡(luò)算法是基于“YOLO(You Only Look Once)”[9]項(xiàng)目進(jìn)行卷積層重新組合設(shè)計(jì),使用單個(gè)神經(jīng)網(wǎng)絡(luò)將圖像分成區(qū)域,同時(shí)預(yù)測(cè)每個(gè)區(qū)域的邊界框和概率,并且對(duì)這些邊界框進(jìn)行預(yù)測(cè)概率加權(quán),這樣可以將整個(gè)圖像由神經(jīng)網(wǎng)絡(luò)進(jìn)行評(píng)估,提高檢測(cè)準(zhǔn)確率及效率.

首先向卷積神經(jīng)網(wǎng)絡(luò)輸入無(wú)人機(jī)遙感影像,第一層卷積運(yùn)算影像大小設(shè)置為 448×448×3,其中“3”表示3個(gè)顏色通道;然后根據(jù)實(shí)際圖像的大小將整幅航拍遙感影像進(jìn)行(S×S)格網(wǎng)劃分,將相等大小的網(wǎng)格疊加在圖像上,有效地將其分成N個(gè)單元格.圖3展示了原始航拍影像,等分成了 7×7 的格網(wǎng),即N=49.

本文所設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)包括24層卷積神經(jīng)網(wǎng)絡(luò)層和2個(gè)完全連接層,實(shí)驗(yàn)表明改法最大程度地縮短檢測(cè)時(shí)間,但是檢測(cè)的精度稍微下降,但在可接受范圍之內(nèi).圖4展示26層神經(jīng)網(wǎng)絡(luò)層卷積分布情況,每層交替使用1×1的卷積層參與卷積計(jì)算,可以最大程度地減少當(dāng)前層與前一層的特征空間之間的過(guò)度連接計(jì)算.

圖3 影像格網(wǎng)劃分示意圖

圖4 卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)示意圖

根據(jù)計(jì)算機(jī)圖像識(shí)別需要,目前已采集10萬(wàn)多張圖形樣本,圖5展示了樣本標(biāo)注及訓(xùn)練.并且隨著巡檢工作推進(jìn),圖形樣本數(shù)量持續(xù)增加并優(yōu)化計(jì)算機(jī)識(shí)別能力.前期根據(jù)所設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò),共訓(xùn)練了6類特征目標(biāo)(見圖5),分別為:工程車輛、地表破壞、非法占?jí)?、溝槽開挖、土地塌陷、水土流失.針對(duì)該6類目標(biāo),采用的參數(shù)分別為BatchSize=64,Momentum =0.5,Decay =0.000 05,Learning rate =0.0001,Iteration number =45 000,檢測(cè)閾值Threshold=0.2.

為了對(duì)算法進(jìn)行更好地測(cè)試,搭載佳能(Canon)EOS 5D Mark IV 相機(jī)進(jìn)行拍攝,無(wú)人機(jī)行高為 100～120 米,時(shí)速 100～120 km/小時(shí),采集的數(shù)據(jù)圖像分辨率為 5760×3860,地面分辨率為 0.5～0.3 米.對(duì)檢測(cè)結(jié)果進(jìn)行對(duì)比分析(表1),正樣本檢測(cè)識(shí)別準(zhǔn)確率高達(dá)96.6%,其中誤檢率為0.8%.

圖5 樣本標(biāo)注及訓(xùn)練

表1 測(cè)試數(shù)據(jù)集檢測(cè)結(jié)果對(duì)比分析

2.3 無(wú)人機(jī)巡檢監(jiān)察管理系統(tǒng)

無(wú)人機(jī)巡檢監(jiān)察管理系統(tǒng)采用C/S與B/S結(jié)合的模式進(jìn)行設(shè)計(jì)開發(fā),實(shí)現(xiàn)對(duì)巡檢任務(wù)、巡檢目標(biāo)、巡檢記錄以及巡檢結(jié)果評(píng)估等功能.

基于無(wú)人機(jī)的管線巡檢平臺(tái)包括權(quán)限系統(tǒng)和無(wú)人機(jī)巡檢業(yè)務(wù)系統(tǒng)兩部分.業(yè)務(wù)系統(tǒng)主要負(fù)責(zé)基于無(wú)人機(jī)遙感的管線巡檢平臺(tái)業(yè)務(wù)處理;權(quán)限系統(tǒng)主要是權(quán)限管理,包括機(jī)構(gòu)部門科室創(chuàng)建管理、角色創(chuàng)建管理、職員管理、賬號(hào)管理及賬號(hào)映射管理等.圖6展示了無(wú)人機(jī)巡檢監(jiān)察管理系統(tǒng)部分頁(yè)面.

2.4 無(wú)人機(jī)巡檢執(zhí)法終端

為實(shí)現(xiàn)管線巡檢工人的便捷安全執(zhí)法和無(wú)紙化作業(yè),為管線巡檢上報(bào)及處理全流程提供整體解決方案,使得外勤巡檢和內(nèi)勤統(tǒng)計(jì)工作變得高效和準(zhǔn)確,設(shè)計(jì)并開發(fā)了無(wú)人機(jī)巡檢執(zhí)法終端(圖7),主要功能包括:管線的平面圖和衛(wèi)星圖的分段展示、疑似點(diǎn)GIS展示和圖像信息展示及疑似點(diǎn)的上報(bào)反饋等.

圖6 無(wú)人機(jī)巡檢監(jiān)察管理系統(tǒng)部分頁(yè)面展示

針對(duì)巡檢執(zhí)法人員的工作任務(wù),APP設(shè)計(jì)結(jié)合GIS地圖為執(zhí)法人員提供站點(diǎn)位置信息,使其快速趕赴現(xiàn)場(chǎng)進(jìn)行執(zhí)法,同時(shí)針對(duì)現(xiàn)場(chǎng)情況,填寫現(xiàn)場(chǎng)情況以及現(xiàn)場(chǎng)實(shí)景照片的采集和上傳.

圖7 無(wú)人機(jī)巡檢執(zhí)法終端及頁(yè)面展示

3 成果應(yīng)用

基于卷積神經(jīng)網(wǎng)絡(luò)的無(wú)人機(jī)油氣管線巡檢監(jiān)察系統(tǒng)主要應(yīng)用于大范圍的油氣管線日常巡檢監(jiān)察,充分利用固定翼油動(dòng)無(wú)人機(jī)出色的續(xù)航能力和穩(wěn)定的操作性,對(duì)油氣管線進(jìn)行安全巡護(hù)監(jiān)察,實(shí)時(shí)影像檢測(cè)效果如圖8、圖9所示,前期針對(duì)非法占?jí)?圖8(a))、工程車輛(圖8(b))、溝槽開挖(圖8(c))、動(dòng)土痕跡(圖8(d))、鉤機(jī)(圖9(a))、鏟機(jī)(圖9(b))、非法占?jí)?圖9(c))、地表破壞(圖9(d))、溝槽(圖9(e))、水土流失(圖9(f))等特征進(jìn)行自動(dòng)識(shí)別檢測(cè),并自動(dòng)出具報(bào)表,統(tǒng)計(jì)分析.

圖8 部分特定目標(biāo)檢測(cè)效果示意圖Part1

及時(shí)發(fā)現(xiàn)和定位違法及安全隱患點(diǎn),并及時(shí)處理推送執(zhí)法信息,進(jìn)行現(xiàn)場(chǎng)執(zhí)法,做到防范于未然,從而實(shí)現(xiàn)采用自主航跡規(guī)劃巡視的巡檢方式,高效安全地執(zhí)行巡檢任務(wù).本巡檢系統(tǒng)目前已成功應(yīng)用于河南省、甘肅省若干中石油天然氣公司的線路巡檢工作.

4 結(jié)論與展望

利用固定翼油動(dòng)無(wú)人機(jī)搭載高清影像設(shè)備進(jìn)行油氣管線的巡檢監(jiān)察,替代人工沿線徒步排查等傳統(tǒng)巡檢手段,不僅減輕了人員工作強(qiáng)度、保證工人人身安全,而且能夠快速高效地執(zhí)行巡檢任務(wù),并且實(shí)現(xiàn)無(wú)人機(jī)飛行作業(yè)隊(duì)、后臺(tái)管理部門及外業(yè)執(zhí)法巡檢人員三者的快速聯(lián)動(dòng),做到隱患和違法現(xiàn)象“及時(shí)發(fā)現(xiàn),及時(shí)處理”,準(zhǔn)確定位隱患源頭,快速出擊,實(shí)現(xiàn)無(wú)紙化高效管線監(jiān)察管理,無(wú)人機(jī)巡檢監(jiān)察系統(tǒng)的成功應(yīng)用,實(shí)現(xiàn)了無(wú)人機(jī)技防、系統(tǒng)化現(xiàn)場(chǎng)高效管理、大數(shù)據(jù)處理三者的有效結(jié)合,提升管線狀態(tài)管理、應(yīng)急指揮的便利性,大大節(jié)約了巡檢成本,防患于未然,為油氣管線的正常運(yùn)作、事故預(yù)警和管道管理提供了全方位的信息支持,實(shí)現(xiàn)油氣管線的科學(xué)化防護(hù).接下來(lái)工作是對(duì)巡檢作業(yè)過(guò)程中采集的大量數(shù)據(jù),形成大數(shù)據(jù)分析,實(shí)現(xiàn)預(yù)警等級(jí)分層、實(shí)時(shí)圖傳、可視化指揮調(diào)度等方向.

圖9 部分特定目標(biāo)檢測(cè)效果示意圖Part2