劉海峰池威威李志雷賈志輝張繼超

(國(guó)網(wǎng)河北省電力有限公司雄安新區(qū)供電公司,河北 雄安新區(qū) 071000)

隨著我國(guó)經(jīng)濟(jì)的快速發(fā)展,城市地下綜合管廊得到越來越多的推廣應(yīng)用。地下綜合管廊可以將城市中各種管線,如電力、通信、燃?xì)狻⒐?、給排水等進(jìn)行統(tǒng)一規(guī)劃、統(tǒng)一設(shè)計(jì)、統(tǒng)一建設(shè)和管理,從而優(yōu)化配置和合理利用地下空間。以雄安新區(qū)為例,預(yù)計(jì)到2035年入廊220 kV 電纜將達(dá)到190 km,入廊110 kV 電纜將達(dá)到731 km。面對(duì)地下電力設(shè)備設(shè)施的飛速增長(zhǎng),目前以人工巡檢為主的運(yùn)維模式已很難適應(yīng)新的形勢(shì)。為解決上述問題,國(guó)內(nèi)一些大城市已經(jīng)開始探索綜合管廊電力艙機(jī)器人巡檢技術(shù)。

1 綜合管廊電力巡檢存在的問題

綜合管廊作為保障城市運(yùn)行的重要基礎(chǔ)設(shè)施和“生命線”,一般距離較長(zhǎng),且地形復(fù)雜,人工巡檢強(qiáng)度高,存在一定作業(yè)風(fēng)險(xiǎn)[1]。同時(shí),綜合管廊電力艙擔(dān)負(fù)著城市電力供應(yīng)的重任,需要通過巡檢及時(shí)掌握電纜運(yùn)行狀態(tài)和環(huán)境變化。

1.1 巡檢設(shè)備

目前綜合管廊電力艙巡檢一般依托固定攝像頭、掛軌機(jī)器人、輪式巡檢機(jī)器人等。監(jiān)控?cái)z像頭安裝位置固定,視野有限,若對(duì)管廊環(huán)境全程覆蓋,需要大量部署,成本較高;掛軌機(jī)器人可在軌道上運(yùn)動(dòng),對(duì)管廊內(nèi)大部分區(qū)域可以進(jìn)行有效巡檢,但其視野受限于軌道,無法360°全覆蓋;輪式巡檢機(jī)器人無視野限制,但輪式機(jī)器運(yùn)動(dòng)執(zhí)行機(jī)構(gòu)為車輪,要求地面平坦,并且通過坡度一般小于15°。通常管廊空間狹窄,地形環(huán)境復(fù)雜,存在坡道、障礙等,輪式機(jī)器人很難適應(yīng)。

1.2 缺陷識(shí)別算法

缺陷識(shí)別算法可分為基于模式識(shí)別與基于學(xué)習(xí)兩大類?；谀Ｊ阶R(shí)別的方法主要有灰度共生矩陣、直方圖統(tǒng)計(jì)等。基于學(xué)習(xí)的方法分為監(jiān)督和無監(jiān)督兩類。有監(jiān)督的深度學(xué)習(xí)缺陷檢測(cè)模型,如Fast RCNN、Yolo系列等,在缺陷類別明確的場(chǎng)景識(shí)別率較高,網(wǎng)絡(luò)實(shí)現(xiàn)相對(duì)簡(jiǎn)單,但是需要了解缺陷詳細(xì)類別,且需要較大的缺陷樣本庫(kù)[2]。在管廊中,各位置的環(huán)境是固定并已知的,但缺陷是未知、位置不固定(如滲漏水)的,通常缺陷樣本的形狀、顏色都沒有穩(wěn)定的統(tǒng)計(jì)規(guī)律,無法窮舉所有的缺陷種類(如電纜的破損),而且由于缺陷樣本難以收集、數(shù)量極少,直接使用監(jiān)督學(xué)習(xí)會(huì)導(dǎo)致訓(xùn)練集高度不平衡。

2 構(gòu)建基于四足機(jī)器人的自主巡檢體系

2.1 巡檢設(shè)備

四足機(jī)器人憑借優(yōu)越的越障能力和自適應(yīng)能力,對(duì)地面條件的要求較輪式機(jī)器人大幅降低,在管廊環(huán)境中應(yīng)用前景廣闊。四足機(jī)器人從典型四足動(dòng)物的運(yùn)動(dòng)特點(diǎn)出發(fā),采用運(yùn)動(dòng)捕捉等手段,對(duì)四足動(dòng)物運(yùn)動(dòng)進(jìn)行抽象和提煉。本文利用仿生設(shè)計(jì)思想,對(duì)機(jī)構(gòu)、驅(qū)動(dòng)和傳動(dòng)等環(huán)節(jié)進(jìn)行設(shè)計(jì),重點(diǎn)分析典型四足動(dòng)物的骨骼結(jié)構(gòu)、主被動(dòng)柔順運(yùn)動(dòng)機(jī)理以及柔性足底結(jié)構(gòu)等生理特征。通過運(yùn)動(dòng)捕捉技術(shù),采用紅外運(yùn)動(dòng)捕捉儀、陀螺儀、三維測(cè)力平臺(tái)、道格拉斯氣袋、氣體分析儀等設(shè)備,可采集典型腿足式動(dòng)物在不同速度、路面和擾動(dòng)情況下的關(guān)節(jié)及全身運(yùn)動(dòng)數(shù)據(jù)、地面作用力、壓力中心和能量消耗等大量數(shù)據(jù)、信息。采用基于虛擬力控制的方法規(guī)劃Trot步態(tài)行走,根據(jù)機(jī)器人期望的運(yùn)動(dòng)速度和身體姿態(tài),結(jié)合地形適應(yīng)控制和抗外力擾動(dòng)控制,結(jié)合虛擬力控制生成機(jī)器人Trot步態(tài),使其具有較強(qiáng)的路面適應(yīng)性和抗擾動(dòng)恢復(fù)能力,四足虛擬模型控制系統(tǒng)和Trot步態(tài)規(guī)劃框,見圖1、圖2。

圖1 四足虛擬模型控制系統(tǒng)

圖2 Trot步態(tài)規(guī)劃框示意

2.2 缺陷識(shí)別算法

相較于有監(jiān)督學(xué)習(xí)缺陷檢測(cè)模型,無監(jiān)督學(xué)習(xí)僅需要正樣本,如基于圖像修復(fù)的方法、基于深度自編碼器的方法、基于生成對(duì)抗網(wǎng)絡(luò)的方法。傳統(tǒng)無監(jiān)督學(xué)習(xí)通常依賴生成模型,精確重建正常區(qū)域,無法直接異常定位,需要進(jìn)行復(fù)雜的后處理步驟,增加了應(yīng)用難度,限制了無監(jiān)督方法的推廣。

應(yīng)用基于正樣本的缺陷檢測(cè)算法DRAEM,并在算法原有網(wǎng)絡(luò)基礎(chǔ)上優(yōu)化重構(gòu)損失函數(shù)GMSD-DRAEM。以端到端的方式對(duì)生成的非分布模式進(jìn)行鑒別訓(xùn)練,不需要真實(shí)地表示目標(biāo)域缺陷。該網(wǎng)絡(luò)由一個(gè)重構(gòu)子網(wǎng)絡(luò)和一個(gè)判別子網(wǎng)絡(luò)組成,重構(gòu)子網(wǎng)絡(luò)通過訓(xùn)練來學(xué)習(xí)無缺陷重構(gòu),判別子網(wǎng)絡(luò)則在原始圖像和重構(gòu)圖像的聯(lián)合外觀上學(xué)習(xí),從而生成高保真像素級(jí)別缺陷檢測(cè)圖。本文根據(jù)管廊缺陷特點(diǎn)優(yōu)化重構(gòu)了損失函數(shù),在原模型基礎(chǔ)上提升了缺陷識(shí)別準(zhǔn)確率,提升了算法的適用性[3]。

如圖3所示,第1個(gè)缺陷區(qū)域(地面滲漏水)由重構(gòu)子網(wǎng)絡(luò)隱式檢測(cè)和重構(gòu),然后將重構(gòu)子網(wǎng)絡(luò)的輸出和輸入圖像連接起來并送到判別子網(wǎng)絡(luò),使用焦點(diǎn)損失訓(xùn)練分割網(wǎng)絡(luò)定位缺陷區(qū)域并生成缺陷圖,最后從缺陷分?jǐn)?shù)圖中獲取圖像級(jí)缺陷分?jǐn)?shù)。

圖3 缺陷檢測(cè)原理示意

2.2.1 重構(gòu)子網(wǎng)絡(luò)

重構(gòu)子網(wǎng)絡(luò)被表述為一種編碼-解碼器架構(gòu),將輸入待測(cè)缺陷區(qū)域的局部模式轉(zhuǎn)換為更接近正常樣本分布的模式。網(wǎng)絡(luò)經(jīng)過訓(xùn)練可以利用模擬器獲得從人為損壞樣本Ia中重構(gòu)的原始圖像Ir。使用梯度幅相似偏差(Gradient Magnitude Similarity Deviation,GMSD)優(yōu)化重構(gòu)子網(wǎng)絡(luò)中的損失函數(shù)。Ir損失通常用于基于重構(gòu)的缺陷檢測(cè)方法,但現(xiàn)實(shí)中相鄰像素之間并非獨(dú)立,因此,額外采用基于圖像相似度亮度、對(duì)比度和結(jié)構(gòu)的結(jié)構(gòu)相似性(Structural Similarity Index,SSIM)[4]損失,取值范圍為0 到1,越大表示越相似。SSIM(I,Ir)為原始圖像與重構(gòu)圖像的結(jié)構(gòu)相似性,定義為

式中:μI、μIr分別為I、Ir的平均值;δ、δIr分別為I、Ir的標(biāo)準(zhǔn)差;δIIr為I、Ir的協(xié)方差;c1、c2分 別為常數(shù),避免分母為0帶來的系統(tǒng)誤差。因此重構(gòu)子網(wǎng)絡(luò)的SSIM 損失定義為

式中:h和w分別為圖像I的高度和寬度;Np為I中的像素?cái)?shù);Ir為網(wǎng)絡(luò)輸出的重構(gòu)圖像;SSIM(I,Ir)i,j為I、Ir塊以圖像坐標(biāo)(i,j)為中心的SSIM 值。

由于管廊場(chǎng)景下圖像有著豐富的局部結(jié)構(gòu),不同的結(jié)構(gòu)有不同的梯度幅值退化損失,因而增加基于梯度幅值的損失GMSD[5],定義為

式中:h、w、Np、Ir含義同式(2);GMSD(I,Ir)(i,j)為I、Ir以圖像坐標(biāo)(i,j)為中心的GMSD值。

因此,重構(gòu)子網(wǎng)絡(luò)整體損失為

式中:λ1、λ2為重構(gòu)損失平衡超參數(shù)。

2.2.2 判別子網(wǎng)絡(luò)

以往基于重構(gòu)的缺陷檢測(cè)方法,通常將原始圖像與其重構(gòu)圖進(jìn)行比較得到缺陷圖,但是人工很難定義缺陷檢測(cè)的相似性度量方法。因此本文使用一種判別子網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)適當(dāng)?shù)木嚯x函數(shù),然后輸出與輸入圖像尺寸一致的缺陷分?jǐn)?shù)圖。其中判別子網(wǎng)絡(luò)使用類似U-Net的架構(gòu),并融入跳躍連接操作,提升了網(wǎng)絡(luò)多尺度捕獲圖像空間細(xì)節(jié)和生成高質(zhì)量的缺陷區(qū)域掩碼的能力。同時(shí)使用焦點(diǎn)損失函數(shù),以提高對(duì)困難示例進(jìn)行準(zhǔn)確分割的魯棒性。

將重構(gòu)子網(wǎng)絡(luò)輸出Ir和原始輸入待測(cè)缺陷區(qū)域圖像I的通道連接,作為判別子網(wǎng)絡(luò)的輸入Ic。由于重構(gòu)子網(wǎng)絡(luò)對(duì)正常樣本具有恢復(fù)特性,因此當(dāng)輸入圖像存在缺陷時(shí)I和Ir的聯(lián)合外觀差異較大,這一點(diǎn)為缺陷區(qū)域分割提供了必要的信息。

焦點(diǎn)損失函數(shù)定義為

式中:Ma、M分別為ground truth和異常分割掩碼。綜合上述重構(gòu)和判別子網(wǎng)絡(luò),基于正樣本學(xué)習(xí)的缺陷檢測(cè)模型用于訓(xùn)練的總損失函數(shù)為

式中:Ma、M、I、Ir含義 同上。

2.2.3 缺陷定位和檢測(cè)

判別子網(wǎng)絡(luò)的輸出為像素級(jí)缺陷區(qū)域檢測(cè)掩碼Mo,可直接判別缺陷位置。同時(shí)通過均值濾波器卷積層對(duì)Mo進(jìn)行平滑處理,聚合局部缺陷響應(yīng)信息,用平滑缺陷分?jǐn)?shù)圖的最大值η作為圖像級(jí)別缺陷概率,可判別圖像中是否存在缺陷,η定義為,

式中:fsf×sf為sf×sf的均值濾波器;*為卷積算子。

3 自主巡檢方法測(cè)試與應(yīng)用

3.1 圖像采集

在綜合管廊場(chǎng)景下,四足機(jī)器人采用定點(diǎn)巡檢方式進(jìn)行巡檢。首先四足機(jī)器人按照計(jì)劃任務(wù)定點(diǎn)拍攝待檢測(cè)的點(diǎn)位圖片,作為模板圖片;然后四足機(jī)器人開始巡檢,同樣按照計(jì)劃任務(wù)巡檢到待檢測(cè)的巡檢點(diǎn)位,采用拍攝模板圖片時(shí)相同的距離、角度、變倍系數(shù)拍攝待測(cè)圖片,待測(cè)圖片與模板圖片具有一致的分辨率和相似的視野。

由于四足機(jī)器人定點(diǎn)拍攝過程中,導(dǎo)航與云臺(tái)存在定位偏差,待測(cè)圖像與模板圖像存在一定的偏移,為了消除偏移對(duì)后續(xù)缺陷檢測(cè)造成的影響,將待測(cè)圖像與模板圖像進(jìn)行配準(zhǔn),使得待測(cè)圖像與模板圖像對(duì)應(yīng)位置的像素點(diǎn)進(jìn)一步對(duì)齊,配準(zhǔn)成功之后,提取待測(cè)圖像與模板圖像中缺陷待測(cè)區(qū)域所對(duì)應(yīng)區(qū)域,作為待測(cè)圖像的缺陷待檢區(qū)域。

3.2 模擬缺陷生成

在綜合管廊場(chǎng)景下,基于正樣本學(xué)習(xí)的缺陷檢測(cè)模型,不需要模擬生成目標(biāo)域中真實(shí)的缺陷外觀,而是生成剛剛超出正常分布的外觀,然后學(xué)習(xí)適當(dāng)?shù)木嚯x函數(shù)以通過偏離正常分布來識(shí)別缺陷[6]。模擬缺陷生成過程見圖4。缺陷模擬器遵循下述規(guī)則。

圖4 模擬缺陷生成過程

使用柏林噪聲生成器生成噪聲圖P,可捕獲各種形態(tài)缺陷,并通過隨機(jī)均勻采樣的閾值將噪聲二值化為缺陷圖Ma。然后從與輸入圖像分布無關(guān)的缺陷源圖像數(shù)據(jù)集中采樣,得到缺陷紋理源圖像A。采用類似Rand Augment隨機(jī)增強(qiáng)采樣方法,從集合(后處理、銳度、均衡、亮度變化、顏色變化、自動(dòng)對(duì)比度)中隨機(jī)選擇3種操作對(duì)圖像紋理A進(jìn)行增強(qiáng)。增強(qiáng)的紋理圖像A與缺陷圖Ma進(jìn)行圖像運(yùn)算,并與I混合用來生成剛剛超出正常分布的缺陷圖,從而有助于收緊訓(xùn)練網(wǎng)絡(luò)中的決策邊界[7]。增強(qiáng)后用于訓(xùn)練的圖像Ia定義為

式中:為Ma圖像取反;☉為元素乘法運(yùn)算;β為不透明度參數(shù),從[0.1,1.0]區(qū)間中均勻采樣。通過隨機(jī)混合和增強(qiáng),一個(gè)單一的紋理可生成不同的缺陷圖像。

3.3 訓(xùn)練集

收集四足機(jī)器人巡檢過程中不同時(shí)間段云臺(tái)相機(jī)拍攝的管廊環(huán)境的4個(gè)點(diǎn)位圖像進(jìn)行訓(xùn)練,為了提高模型魯棒性,減少過擬合程度,將圖像經(jīng)過平移、旋轉(zhuǎn)、縮放、光照增強(qiáng)等變換[8]。該數(shù)據(jù)集命名為管廊環(huán)境正樣本訓(xùn)練集,包含原始1 000張圖像,其中每個(gè)類別250張圖像,增強(qiáng)8 000張,每個(gè)類別2 000張。使用copy-paste數(shù)據(jù)增強(qiáng)方法,利用VOC2012數(shù)據(jù)集和破損、漏水缺陷圖像,制作管廊環(huán)境缺陷測(cè)試數(shù)據(jù)集,命名為管廊缺陷測(cè)試數(shù)據(jù)集,包含1 000張正常圖像與3 000張缺陷圖像,缺陷圖像中包含300張管廊破損樣本和300張滲漏水樣本。測(cè)試中,GMSD-DRAEM 在管廊缺陷訓(xùn)練集上訓(xùn)練了100個(gè)epoch,學(xué)習(xí)率設(shè)置為10-4,并在40和60個(gè)epoch之后學(xué)習(xí)率變?yōu)樵瓉淼?.1倍。在-45°～45°內(nèi)的圖像旋轉(zhuǎn)用作訓(xùn)練期間無缺陷圖像的數(shù)據(jù)增強(qiáng)方法,以減輕由于較小的無缺陷訓(xùn)練集而導(dǎo)致過度擬合?？擅枋黾y理數(shù)據(jù)集用作缺陷模擬生成器缺陷源數(shù)據(jù)集。訓(xùn)練損失函數(shù)曲線見圖5。

圖5 訓(xùn)練損失函數(shù)曲線

從圖5可以看出,模型的損失曲線下降平滑,表明模型在缺陷訓(xùn)練集上的有效性。

4 結(jié)論

構(gòu)建基于四足機(jī)器人的綜合管廊電力艙巡檢系統(tǒng),由機(jī)器人巡視替代人工巡視,減少管廊人工巡檢頻次,節(jié)省運(yùn)維成本,規(guī)避運(yùn)檢人員作業(yè)風(fēng)險(xiǎn);通過搭載多種傳感器,實(shí)現(xiàn)缺陷自主識(shí)別,提高巡檢作業(yè)效率。通過采集綜合管廊環(huán)境、安防、電纜運(yùn)行狀態(tài)等數(shù)據(jù),接入后臺(tái)監(jiān)控系統(tǒng)進(jìn)行分析診斷和風(fēng)險(xiǎn)預(yù)警,實(shí)現(xiàn)“數(shù)據(jù)集成、業(yè)務(wù)協(xié)同、管理集中、資源共享”。