国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

一種基于數(shù)據(jù)增強(qiáng)增廣和神經(jīng)網(wǎng)絡(luò)的輸電導(dǎo)線及其缺陷檢測(cè)方法

2022-11-01 10:39:30周仿榮張輝者梅林文剛潘浩蘭志才張正德
南方電網(wǎng)技術(shù) 2022年9期
關(guān)鍵詞:導(dǎo)線背景圖像

周仿榮,張輝,者梅林,文剛,潘浩,蘭志才,張正德

(1. 電力遙感技術(shù)聯(lián)合實(shí)驗(yàn)室,云南電網(wǎng)有限責(zé)任公司電力科學(xué)研究院,昆明 650217;2. 云南電網(wǎng)有限責(zé)任公司,昆明 650051;3. 云南電網(wǎng)有限責(zé)任公司輸電分公司,昆明 650051;4. 上海西虹橋?qū)Ш郊夹g(shù)有限公司,上海 201702;5. 上海交通大學(xué)電子信息與電氣工程學(xué)院, 上海 200240)

0 引言

輸電導(dǎo)線是電力系統(tǒng)中的重要組成部分,由于地理分布位置特殊,除了承受電力負(fù)荷和機(jī)械載荷的內(nèi)部壓力外,還長(zhǎng)期經(jīng)受風(fēng)吹日曬、雨雪風(fēng)沙、電閃雷擊等惡劣環(huán)境的侵害,極易出現(xiàn)如斷股、散股等缺陷,如果不及時(shí)處理常常會(huì)引發(fā)惡性電力事故。

輸電導(dǎo)線故障巡檢分為人工巡檢和無(wú)人機(jī)巡檢。人工巡檢檢測(cè)效率低、工作強(qiáng)度大、檢測(cè)速度慢;無(wú)人機(jī)巡檢可以有效減少人力、物力的投入,而且能夠排除人為因素的干擾,評(píng)估導(dǎo)線狀況,但其性能依賴于算法。輸電導(dǎo)線故障檢測(cè)算法是關(guān)鍵技術(shù)。

在這一領(lǐng)域已經(jīng)進(jìn)行了一些研究。例如,2006年吳功平等人[1]使用小波分析方法,用紅外和電磁傳感器對(duì)鋁絞線和鋼芯的斷股故障進(jìn)行了檢測(cè)。2015年王萬(wàn)國(guó)等人[2]使用水平和垂直方向的梯度算子,對(duì)線結(jié)構(gòu)進(jìn)行感知,實(shí)現(xiàn)了基于無(wú)人機(jī)圖像的輸電導(dǎo)線斷股及異物缺陷檢測(cè)。2017年齊國(guó)順等人[3]使用圖像處理技術(shù)和圖像識(shí)別技術(shù),采用設(shè)定好的交叉點(diǎn)結(jié)構(gòu)匹配模板,對(duì)導(dǎo)線斷股進(jìn)行了檢測(cè)。2020年黃新波等人[4]提出一種基于加權(quán)色差法的分割方法實(shí)現(xiàn)對(duì)不同背景條件下輸電導(dǎo)線的分割提取,同時(shí),結(jié)合紋理特征和神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)兩類(lèi)導(dǎo)線缺陷的檢測(cè)與定位。陳嘉琛[5]等人改進(jìn)了YOLOv3算法并應(yīng)用于輸電線路缺陷識(shí)別,整體性能提升25%。李新海[6]等人研究了小樣本條件下絕緣子外套裂紋的圖像識(shí)別方法。孫日高等人[7]為了降低輸電導(dǎo)線故障檢測(cè)中的冗余計(jì)算量,使用了水平校正、圖像區(qū)域分割等技術(shù)實(shí)現(xiàn)了斷股故障和異物懸掛故障的區(qū)域定位。2021年李飛偉等人[8]使用全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional network, FCN)實(shí)現(xiàn)了圖像分割及輸電導(dǎo)線目標(biāo)分割,而后采用滑動(dòng)窗口的思想對(duì)分割結(jié)果進(jìn)行特征提取,實(shí)現(xiàn)了斷股檢測(cè)。此外,他們還實(shí)現(xiàn)了基于UDP(user datagram protocol)協(xié)議的WIFI圖像傳輸,形成了輸電導(dǎo)線斷股缺陷檢測(cè)系統(tǒng)。2022年李鵬吳[9]等人采用CenterNet算法對(duì)耐張線夾壓接的X攝像圖像進(jìn)行了自動(dòng)質(zhì)量檢測(cè)。每種算法均針對(duì)特定的一張或幾張圖片進(jìn)行檢測(cè),在輸入分布完全不同時(shí),難以有效檢測(cè)。

隨著交叉熵?fù)p失、卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)等技術(shù)的突破,人工智能目標(biāo)檢測(cè)算法如R-CNN[10]、Fast R-CNN[11]、Faster R-CNN[12]、Mask R-CNN[13]、SSD[14]、YOLO系列[15 - 17]、HRNet[18 - 19]如雨后春筍般出現(xiàn),深度學(xué)習(xí)算法已成為當(dāng)前最為主流的目標(biāo)檢測(cè)、缺陷檢測(cè)算法。使用深度學(xué)習(xí)對(duì)輸電導(dǎo)線及其缺陷檢測(cè)有巨大的優(yōu)勢(shì),例如:無(wú)論輸電導(dǎo)線在圖像的什么位置,無(wú)論導(dǎo)線走向、尺度大小和正光逆光,都可以實(shí)現(xiàn)自動(dòng)導(dǎo)線提取、自動(dòng)特征提取和缺陷所在位置及類(lèi)型檢測(cè),在不同復(fù)雜背景下依然有效。

當(dāng)前神經(jīng)網(wǎng)絡(luò)算法是數(shù)據(jù)驅(qū)動(dòng)的,龐大的、標(biāo)注良好的數(shù)據(jù)集是影響模型性能的直接因素。目前沒(méi)有看到關(guān)于輸電導(dǎo)線及其缺陷檢測(cè)的公開(kāi)的良好的數(shù)據(jù)集,而收集、整理、精細(xì)標(biāo)注大量數(shù)據(jù)是一項(xiàng)繁瑣、枯燥的工作。本文希望通過(guò)設(shè)計(jì)算法,實(shí)現(xiàn)低分辨、小樣本數(shù)據(jù)集上的魯棒檢測(cè)。

本文首先在云南電網(wǎng)呼馬山試驗(yàn)基地采集了輸電導(dǎo)線圖像,并提取了文獻(xiàn)[2 - 4,7 - 8]內(nèi)的圖像,形成了如圖1所示的原始輸電導(dǎo)線樣本。分析發(fā)現(xiàn),圖像存在背景動(dòng)態(tài)范圍大,背景復(fù)雜,環(huán)境光復(fù)雜,圖像分辨率低,輸電導(dǎo)線不清晰等問(wèn)題。

圖1 輸電導(dǎo)線及其缺陷原始圖像Fig.1 Raw images of transmission line and its defects

為了解決圖像動(dòng)態(tài)范圍大、背景復(fù)雜、環(huán)境光復(fù)雜的問(wèn)題,本文提出使用基于YOLO(you look only once)[17]的改進(jìn)目標(biāo)檢測(cè)算法來(lái)提高魯棒性;為了解決分辨率低的問(wèn)題,提出使用基于RDN(residual dense network)[20]的超分辨率算法來(lái)提升圖像質(zhì)量;為了解決小樣本問(wèn)題,提出基于動(dòng)態(tài)背景的隨機(jī)數(shù)量、隨機(jī)位置、隨機(jī)縮放和隨機(jī)角度方法來(lái)生成數(shù)據(jù)集。最終,獲得了復(fù)雜背景、復(fù)雜環(huán)境光、任意導(dǎo)線尺度及走向的輸電導(dǎo)線、散股和斷股的魯棒檢測(cè)方法,檢測(cè)綜合分?jǐn)?shù)達(dá)到94.7%。

1 圖像質(zhì)量提升算法

1.1 超分辨率算法

超分辨率(super resolution, SR)算法是輸入一張低分率(low resolution, LR)圖像,輸出一張高分辨率(high resolution, HR)圖像的算法。算法能提升圖像的分辨率,從而提升品質(zhì)。

本文使用的超分辨率算法基于殘差密集網(wǎng)絡(luò)RDN[20],網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。整體架構(gòu)主要分為4個(gè)模塊:特征提取網(wǎng)絡(luò)(feature extraction network, FENet)、殘差密集塊(residual dense block, RDB)、密集特征融合網(wǎng)絡(luò)(dense feature fusion network, DFFNet)和采樣網(wǎng)絡(luò)(upsampling network, UPNet)。

圖2 超分辨率網(wǎng)絡(luò)Fig.2 Super resolution network

特征提取網(wǎng)絡(luò)FENet的主要作用是通過(guò)兩個(gè)卷積對(duì)輸入的低分辨率圖像提取特征;殘差密集塊RDB是將經(jīng)典的殘差塊(residual block)和密集塊(dense block)進(jìn)行整合形成的,額外的殘差和密集通道能同時(shí)利用前面多個(gè)層的特征,有助于提升模型的表達(dá)性能,同時(shí)能增加網(wǎng)絡(luò)深度而不會(huì)導(dǎo)致梯度消失;密集特征融合網(wǎng)絡(luò)DFFNet使用Concat、卷積、加權(quán)、批歸一化將全局特征和全局殘差特征進(jìn)行融合;上采樣網(wǎng)絡(luò)UPNet使用上采樣和卷積使圖像分辨率翻倍。

密集殘差塊RDB是一種連續(xù)記憶機(jī)制,串聯(lián)的RDB實(shí)現(xiàn)了前面所有層到當(dāng)前層的特征傳輸。第c個(gè)卷積層和第d個(gè)RDB層的輸出Fd,c可以表示為:

Fd,c=σ(Wd,c[Fd-1,0,Fd,1,…,Fd,c-1])

(1)

式中:σ為ReLU激活函數(shù);Wd,c為第c個(gè)卷積層的權(quán)重,所有偏置均被忽略。前面的RDB層和后面每個(gè)層直接連接到后續(xù)層,這樣不僅保留了天然的前饋過(guò)程,同時(shí)提取了局部的密集特征。

1.2 高反差保留算法

高斯模糊(Gaussian blur)是一種圖像模糊濾波器,即用正態(tài)分布計(jì)算圖像中每個(gè)像素的變換,圖像高斯模糊的變換方程為:

(2)

式中:μ、ν分別為以模糊中心為原點(diǎn)模糊區(qū)域的橫、縱坐標(biāo);r為模糊半徑,r2=μ2+ν2;σ為標(biāo)準(zhǔn)差。該方程生成曲面的等高線是從中心開(kāi)始呈正態(tài)分布的同心圓,每個(gè)像素的值都是周?chē)噜徬袼刂档募訖?quán)平均。高斯模糊能減少圖像噪聲和降低細(xì)節(jié)層析。

高反差保留是指保留圖像中反差較大的部分,高反差保留與高斯模糊的關(guān)系為:

J(x)=I(x)-G(x)

(3)

式中:J(x)為高反差保留部分;I(x)為原始圖像;G(x)為高斯模糊圖像。對(duì)于原始圖像,本文進(jìn)行高反差保留,得到輸電導(dǎo)線每股線的邊緣信息,然后使用柔光與原始圖像混合,這樣就能體現(xiàn)更多的邊緣信息,每股線的邊緣細(xì)節(jié)越明顯,圖像就越清晰。

1.3 參數(shù)設(shè)置

原始圖像尺寸不一,最小分辨率為(730, 534)共39×104像素,最大分辨率為(1 518, 810)共122×104像素,平均為(1 065, 744)共79×104像素。本文采用Zhang Yulun[20]等人訓(xùn)練好的psnr-larger模型來(lái)進(jìn)行超分辨,模型權(quán)重大小為66.1 Mb。對(duì)每張圖像視情況進(jìn)行1~3次增強(qiáng),每增強(qiáng)1次,分辨率翻倍,增強(qiáng)后平均分辨率為(4 597, 3 132)共1 440×104像素。高反差保留中高斯模糊半徑為5像素。

2 小樣本數(shù)據(jù)增廣算法

小樣本數(shù)據(jù)增廣算法是指將小樣本數(shù)據(jù)離線增廣為大數(shù)據(jù)集的方法。方法概括為:獲取輸電線路圖像,并標(biāo)注數(shù)據(jù),多尺度背景提取,樣本均衡、隨機(jī)數(shù)量、隨機(jī)位置、隨機(jī)縮放、隨機(jī)角度、目標(biāo)補(bǔ)全生成數(shù)據(jù)集。目前無(wú)良好的公開(kāi)的輸電導(dǎo)線及其缺陷檢測(cè)數(shù)據(jù)集,本文采用上述方法,使用13張小樣本數(shù)據(jù),生成了7 000張良好的數(shù)據(jù)集。

2.1 數(shù)據(jù)標(biāo)注和定義

在進(jìn)行數(shù)據(jù)增強(qiáng)之前,需要對(duì)數(shù)據(jù)進(jìn)行標(biāo)注和分析。本文使用Labelme對(duì)提升質(zhì)量后的13張小樣本圖像進(jìn)行了標(biāo)注,采用多邊形(polygon)標(biāo)注方式,而非邊界框(bounding box, Bbox),這樣能避免增廣變換過(guò)程中Bbox標(biāo)注包含無(wú)用的背景像素,導(dǎo)致的標(biāo)簽歧義問(wèn)題。

如圖3所示,本文定義和標(biāo)注了3種目標(biāo):輸電導(dǎo)線(transmission line)(紅色)、斷股(broken strand)(綠色)和散股(loose strand)(黃色)。

圖3 輸電導(dǎo)線、斷股和散股目標(biāo)Fig.3 Transmission lines, broken strands, and loose strands targets

3種目標(biāo)定義如下。

輸電導(dǎo)線:包圍圖像中連續(xù)輸電導(dǎo)線的最小多邊形,用紅色多邊形標(biāo)注。不連續(xù)的輸電導(dǎo)線視為兩根導(dǎo)線,如圖3(a)中的導(dǎo)線,被夾扣分開(kāi),則視為兩個(gè)輸電導(dǎo)線目標(biāo)。

斷股:組成輸電導(dǎo)線的股線斷裂形成的斷口區(qū)域,用綠色多邊形標(biāo)注。斷口所占像素太小,單獨(dú)提取斷口不易判斷是否為斷股,因此,本文把斷股標(biāo)注區(qū)域擴(kuò)展為包含與斷口區(qū)域平行的輸電導(dǎo)線區(qū)域。如圖3(b)和(c),斷口僅為垂下的股線和翹起的股線,標(biāo)注中將與垂下的股線平行的輸電導(dǎo)線和與翹起的股線平行的輸電導(dǎo)線也包含進(jìn)來(lái),形成斷股的標(biāo)注多邊形。

散股:組成輸電導(dǎo)線的股線散開(kāi)但未斷裂的區(qū)域,用黃色多邊形標(biāo)注。如圖3(d)所示,判斷散股的方式主要為股線的紋理走向。類(lèi)似的,散股標(biāo)注中,也包含了與之平行輸電導(dǎo)線。

需要注意的是,3種目標(biāo)并非完全獨(dú)立存在,有關(guān)聯(lián)關(guān)系。例如,所標(biāo)注的1根輸電導(dǎo)線目標(biāo),可能會(huì)包含散股、斷股目標(biāo),后續(xù)數(shù)據(jù)增強(qiáng)中需要考慮。

經(jīng)過(guò)標(biāo)注,本文在13張圖像上標(biāo)注的輸電導(dǎo)線、散股和斷股目標(biāo)分別為:22個(gè)、6個(gè)和11個(gè)。

2.2 背景圖像生成

由于神經(jīng)網(wǎng)絡(luò)利用卷積進(jìn)行特征自動(dòng)提取,采用單一背景會(huì)導(dǎo)致網(wǎng)絡(luò)收斂到局部最小,而無(wú)法尋找到全局最優(yōu),從而導(dǎo)致性能不足。因此需要?jiǎng)討B(tài)生成背景。

2.2.1 背景生成思想

第1種思想是簡(jiǎn)單地采用純黑、純白或純灰色(不同灰度)的圖像作為背景,經(jīng)過(guò)測(cè)試,在類(lèi)似背景的測(cè)試集上有較好的性能,但在彩色背景的測(cè)試集上性能大幅下降。第2種思想是采用完全隨機(jī)的“噪聲背景”,即確定背景圖像的寬和高后,對(duì)它3個(gè)通道分別隨機(jī)地賦值0~255,每個(gè)像素點(diǎn)生成隨機(jī)的RGB值。

噪聲背景上添加輸電導(dǎo)線目標(biāo)的3個(gè)合成圖樣例如圖4所示。雖然理論上每個(gè)像素點(diǎn)的RGB值是隨機(jī)的,神經(jīng)網(wǎng)絡(luò)能學(xué)習(xí)到不同背景信息下的目標(biāo)。但4.2節(jié)的實(shí)驗(yàn)結(jié)果表明,噪聲背景數(shù)據(jù)集訓(xùn)練的模型,在只有噪聲背景的圖像才有良好的檢測(cè)效果,當(dāng)檢測(cè)“真實(shí)背景”的圖像時(shí),性能會(huì)大幅度降低。主要原因是“噪聲背景”圖像和“真實(shí)背景”圖像的分布不同。因此,第2種思想使用RGB色彩完全隨機(jī)“噪聲背景”不能得到良好的數(shù)據(jù)集。

圖4 噪聲背景合成圖的3個(gè)樣例Fig.4 Three examples of noise background synthetic images

基于上面的分析和實(shí)驗(yàn),本文采用第3種即基于“真實(shí)背景”的動(dòng)態(tài)背景方法。首先,在網(wǎng)絡(luò)上尋找合適的背景圖像,如無(wú)人機(jī)巡檢中拍攝到的桿塔、工地、樹(shù)林、草地等圖像,它的分布是真實(shí)的,去除其中本文關(guān)注的目標(biāo),即輸電導(dǎo)線、散股、斷股等。而后,本文采用基于動(dòng)態(tài)步長(zhǎng)和隨機(jī)尺度的滑動(dòng)窗口方法,把圖像切割成不同尺度的背景圖。最后,把基于隨機(jī)步長(zhǎng)和尺度的動(dòng)態(tài)背景與目標(biāo)合并生成數(shù)據(jù)集,標(biāo)簽進(jìn)行相應(yīng)變換。

本文采用動(dòng)態(tài)背景方法,應(yīng)用到一張?jiān)紙D像上,生成的背景圖如圖5所示。圖5(a)是一張(3 500, 6 912, 3)(3為采集圖像通道數(shù)量)的原始圖像,圖5(b)—(f)為7個(gè)不同尺度下的子背景圖,7個(gè)尺度由起始尺寸800、公比為1.25的等比數(shù)列生成,分別是:800、1 000、1 250、1 562、1 953、2 441、3 051。圖5中每個(gè)小的正方形格子形成一張?jiān)摮叨认碌淖颖尘皥D。

圖5 基于滑動(dòng)窗口生成的多尺度動(dòng)態(tài)背景Fig.5 Multi-scale dynamic background based on sliding window generator

2.2.2 動(dòng)態(tài)背景算法

本文設(shè)計(jì)的基于第3種思想的動(dòng)態(tài)背景生成算法詳細(xì)描述如下。

樸素的思路是采用滑動(dòng)窗口方法:設(shè)定窗口尺寸為(a,b),正方形窗口a和b均為640,從像素坐標(biāo)(0,0)開(kāi)始,分別沿著x軸和y軸以步長(zhǎng)s=640移動(dòng),取坐標(biāo)的窗口圖像作為背景。樸素方法存在的問(wèn)題是:1)相鄰窗口被完全隔斷為不同的背景圖,以相鄰窗口交接處為主體的背景圖實(shí)際上是有益的,但被丟棄;2)如果原始圖像的寬和高不是窗口尺寸的整數(shù)倍,原始圖像中右側(cè)和下方的有益背景也會(huì)被丟棄;3)固定的窗口尺寸導(dǎo)致尺度單一,不能利用多尺度信息。本文希望盡可能利用所有有益像素,設(shè)計(jì)了動(dòng)態(tài)步長(zhǎng)和窗口尺寸方法的來(lái)構(gòu)建更多符合真實(shí)分布的背景圖。算法如下。

1)設(shè)置初始步長(zhǎng)s為窗口尺寸的3/4,即s=640×3/4=480,以利用相鄰窗口交接處的有益像素。

2)根據(jù)原始圖像寬w和高h(yuǎn)修正步長(zhǎng),以充分利用右側(cè)和下方圖像信息。

設(shè)窗口尺寸為(a,b), 初始步長(zhǎng)s,在x軸和y軸方向上可取的窗口數(shù)量n分別為nx和ny,則有關(guān)系式:

(4)

式中:w、h分別為圖像寬和高;sx、sy分別為x軸和y軸的初始步長(zhǎng);round(·)為四舍五入函數(shù);n必須為整數(shù),四舍五入對(duì)n取整。計(jì)算新的步長(zhǎng)s′為:

(5)

式中s′x、s′y分別為自適應(yīng)后的x軸和y軸步長(zhǎng)。

3)設(shè)置等比數(shù)列滑動(dòng)窗口尺寸因子,實(shí)現(xiàn)多尺度信息提取。

(6)

式中:初始窗口尺寸為(a0,b0),公比q為1.25。n=1,2,3,4…,直到窗口尺寸(an,bn)大于原始圖像尺寸無(wú)法取到子圖為止。

使用動(dòng)態(tài)背景算法,本文從圖5所示的1張?jiān)急尘皥D中生成了尺度640×1.250~640×1.256在不同步長(zhǎng)下的子背景圖像共計(jì)147張。應(yīng)用到16張?jiān)急尘皥D像上,共生成1 271張子背景圖。

2.3 數(shù)據(jù)集

本文使用上兩節(jié)所述的方法標(biāo)注數(shù)據(jù)、生成動(dòng)態(tài)背景后,即可進(jìn)行圖像合成,生成輸電導(dǎo)線及其缺陷檢測(cè)數(shù)據(jù)集。

數(shù)據(jù)集生成流程如圖6所示。基本思路是:1)標(biāo)注原始圖像獲取小樣本;2)隨機(jī)選擇獲取樣本庫(kù);3)動(dòng)態(tài)背景方法生成背景庫(kù);4)合成為圖像,圖像劃分為訓(xùn)練集和測(cè)試集。

圖6 數(shù)據(jù)集生成流程圖Fig.6 Dataset generation flowchart

首先,采用數(shù)據(jù)標(biāo)注方法對(duì)13張?jiān)紙D像進(jìn)行標(biāo)注,獲得了小樣本目標(biāo),輸電導(dǎo)線、散股和斷股目標(biāo)分別為22個(gè)、6個(gè)和11個(gè),共計(jì)39個(gè)。根據(jù)最終生成的合成圖像數(shù)量為7 000張,平均每張圖約1.7個(gè)目標(biāo)(該均值根據(jù)原始圖像的標(biāo)注得到),計(jì)算總共所需的樣本數(shù)量約為12 000個(gè)。計(jì)算中每張圖樣本數(shù)量采用隨機(jī)正態(tài)分布生成??紤]2.1節(jié)所述,目標(biāo)樣本之間存在關(guān)聯(lián)關(guān)系,即一個(gè)輸電導(dǎo)線標(biāo)注區(qū)域,可能會(huì)包含散股、斷股區(qū)域等,程序中采用樣本均衡系數(shù)為8:1:1,最終生成的約12 000個(gè)樣本中,3類(lèi)目標(biāo)的比例約為5:3:2。

另一方面,采用如2.2節(jié)所述的動(dòng)態(tài)背景算法,對(duì)16張高清背景大圖進(jìn)行多尺度動(dòng)態(tài)背景處理,共生成1 271張額外的背景圖像,加原始圖像的13張,背景庫(kù)共計(jì)1 284張。這樣做確保了背景庫(kù)的圖像是真實(shí)分布。

最后,本文采用多項(xiàng)隨機(jī)方法將樣本庫(kù)和目標(biāo)庫(kù)進(jìn)行合成,生成了7 000張數(shù)據(jù)集,劃分為6 000張訓(xùn)練集和1 000張測(cè)試集。

生成合成圖時(shí),為了使得目標(biāo)姿態(tài)、角度、尺寸等更加豐富,采用了隨機(jī)位置、隨機(jī)尺寸、隨機(jī)旋轉(zhuǎn)和目標(biāo)補(bǔ)全等算法。算法如下。

1)變量定義。把多邊形polygon標(biāo)注轉(zhuǎn)換為蒙版Mask,Mask的寬高與背景圖像相同(均為640),通道數(shù)為n,n為該張合成圖包含的目標(biāo)數(shù)量,每個(gè)通道代表一個(gè)目標(biāo)。每個(gè)通道的Mask均是二值化的,即只能取值0和1,0代表非目標(biāo)像素點(diǎn),1代表目標(biāo)。相應(yīng)地定義另一個(gè)列表變量Classes,長(zhǎng)度為n,存儲(chǔ)與Mask的通道對(duì)應(yīng)的目標(biāo)的類(lèi)別信息。

2)隨機(jī)縮放和旋轉(zhuǎn)。尺寸因子采用期望為1.3,標(biāo)準(zhǔn)差為0.2的正態(tài)分布隨機(jī)獲得,并clip到 [0.5, 2]的范圍。旋轉(zhuǎn)因子使用[0, 180 °]隨機(jī)均勻分布獲得,旋轉(zhuǎn)中心為目標(biāo)重心。采用OpenCV的旋轉(zhuǎn)縮放變換,輸入隨機(jī)尺寸因子和隨機(jī)旋轉(zhuǎn)因子獲得縮放和旋轉(zhuǎn)矩陣,對(duì)蒙版和圖像分別執(zhí)行該變換。

3)隨機(jī)位置是在尺寸和旋轉(zhuǎn)變換后,根據(jù)目標(biāo)邊界框Bbox的寬和高,采用隨機(jī)均勻分布計(jì)算出Bbox的隨機(jī)位置,使得目標(biāo)不超出圖像的邊界范圍。對(duì)蒙版和圖像分別執(zhí)行平移變換。

4)處理目標(biāo)重疊問(wèn)題。由于每張合成圖可能有多個(gè)目標(biāo),而輸電導(dǎo)線目標(biāo)是“細(xì)長(zhǎng)”的,隨機(jī)縮放、旋轉(zhuǎn)和平移后,新目標(biāo)可能會(huì)與已經(jīng)存在的目標(biāo)重疊。本文的處理方案是計(jì)算新目標(biāo)與已存在目標(biāo)的交集百分比2(intersection of percent 2, IOP2),即新目標(biāo)和老目標(biāo)的像素交集與老目標(biāo)的像素的比值,不斷隨機(jī)取隨機(jī)因子,直到IOP2為0時(shí),執(zhí)行該變換。

5)目標(biāo)補(bǔ)全是指多目標(biāo)的標(biāo)注進(jìn)行補(bǔ)全。當(dāng)1從樣本庫(kù)隨機(jī)選擇的目標(biāo)是輸電導(dǎo)線時(shí),Mask只有1通道,即只有1個(gè)目標(biāo),由于輸電導(dǎo)線標(biāo)注的區(qū)域可能會(huì)包含散股和斷股區(qū)域,需要對(duì)所包含的散股、斷股目標(biāo)也進(jìn)行上述縮放、旋轉(zhuǎn)和平移變換變換,將其補(bǔ)全到Mask新的通道上,同時(shí)變量Classes進(jìn)行添加相應(yīng)元素。

3 輸電導(dǎo)線及其缺陷檢測(cè)算法

3.1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

本文將輸電導(dǎo)線、散股和斷股均視為目標(biāo),采用基于YOLOv5[17]的目標(biāo)檢測(cè)算法,并采用通道注意力機(jī)制對(duì)網(wǎng)絡(luò)進(jìn)行了改進(jìn)得到SE-YOLOv5目標(biāo)檢測(cè)網(wǎng)絡(luò)。輸電導(dǎo)線及其缺陷檢測(cè)網(wǎng)絡(luò)如圖7所示。

圖7 輸電導(dǎo)線及其缺陷檢測(cè)網(wǎng)絡(luò)Fig.7 Transmission line and it’s defects detection network

檢測(cè)網(wǎng)絡(luò)的強(qiáng)大特征提取能力主要來(lái)源于Backbone內(nèi)部使用的SE-CSP、Focus、CONV、SPP等科技包。Backbone使用空間注意力機(jī)制Focus使神經(jīng)網(wǎng)絡(luò)對(duì)圖像的感知范圍(感受野)變?yōu)樵瓉?lái)的4倍;使用包含卷積、批歸一化和激活函數(shù)的卷積塊(Conv2d+BatchNorm+ReLU, CONV)代替池化,作為不同層之間的中間鏈接;使用空間金字塔池化(spatial pyramid pooling, SPP)[21]自適應(yīng)不同尺寸的子圖像;使用基于DenseNet的思想CSP(cross stage partial network)網(wǎng)絡(luò)[22],復(fù)制基礎(chǔ)層的特征映射圖,通過(guò)Dense Block 發(fā)送副本到下一個(gè)階段,從而將基礎(chǔ)層的特征映射圖分離出來(lái),解決了其他大型卷積神經(jīng)網(wǎng)絡(luò)框架中網(wǎng)絡(luò)優(yōu)化的梯度信息重復(fù)問(wèn)題。將梯度的變化從頭到尾地集成到特征圖中,可以有效緩解梯度消失問(wèn)題(通過(guò)非常深的網(wǎng)絡(luò)很難去反推丟失信號(hào)),支持特征傳播,鼓勵(lì)網(wǎng)絡(luò)重用特征,因此能減少模型參數(shù)量和FLOPS數(shù)值。在CSP內(nèi)部,使用Bottleneck殘差網(wǎng)絡(luò)結(jié)構(gòu),用于增加網(wǎng)絡(luò)的深度,使得網(wǎng)絡(luò)有更強(qiáng)大的特征提取能力。

網(wǎng)絡(luò)的Neck層主要進(jìn)行特征的增強(qiáng)和提取不同尺度對(duì)象的特征。Neck采用了路徑聚合網(wǎng)絡(luò)(Path aggregation network, PANet)[23],PANet的特征提取器采用了一種新的自下向上增強(qiáng)路徑的特征金字塔網(wǎng)絡(luò)(feature pyramid network, FPN),改善了底層的特征傳播。自上向下的特征傳播采用上采樣Upsample,自下向上的特征傳播采用卷積塊CONV來(lái)代替池化Pooling。通過(guò)橫向連接和堆垛方式,把上一階段的特征添加到特征圖中,這些特征又為下一階段的特征提供信息,每個(gè)階段都有3種不同尺度的特征,從而實(shí)現(xiàn)不同大小和尺度的同一物體的檢測(cè)。

網(wǎng)絡(luò)的Head層實(shí)現(xiàn)目標(biāo)的檢測(cè),用Conv2d代替全連接,以較少參數(shù),提高速度。

改進(jìn)主要將Backbone中的CSP改進(jìn)為SE-CSP (squeeze-and-excitation cross stage partial network)。本文將SE模塊[24]引入到Bottleneck中形成SE-Bottleneck進(jìn)而形成SE-CSP,它在原始?xì)埐顗K的基礎(chǔ)上增加另一條路線,使用全局池化來(lái)獲得初始信道權(quán)重,然后使用兩個(gè)完整的連接層和sigmoid激活函數(shù)來(lái)更新每個(gè)通道的權(quán)重,最后使用原始通道乘以每個(gè)通道的權(quán)重。這樣,在網(wǎng)絡(luò)訓(xùn)練過(guò)程中,通過(guò)梯度下降學(xué)習(xí)每個(gè)通道的權(quán)值,提高檢測(cè)精度。

在網(wǎng)絡(luò)中,特征的寬、高、通道數(shù)、批大小分別為(w,h,c,bs),隨著卷積的進(jìn)行,通道數(shù)c由最初的3變化,最大可達(dá)到2 048,最終檢測(cè)頭的通道數(shù)是(4+1+3),其中4是Bbox,1是置信度,3是分類(lèi)類(lèi)別(輸電導(dǎo)線、散股和斷股)。原生YOLOv5中默認(rèn)所有通道的權(quán)重的相同,而后使用Concat合并特征,而實(shí)際上不同通道上的特征的重要程度應(yīng)不同,本文引入SE注意力機(jī)制的基本原理是能自動(dòng)地學(xué)習(xí)這些通道的重要程度并應(yīng)用。

3.2 參數(shù)設(shè)置

本文采用的基準(zhǔn)模型是YOLOv5m,原生模型有263層2.15×107個(gè)參數(shù),引入SE模塊后,SE-YOLOv5m有311層2.16×107個(gè)參數(shù)。主要參數(shù)設(shè)置如下:初始學(xué)習(xí)率為0.01,梯度下降動(dòng)量為0.937,GIoU損失增益為0.05,分類(lèi)損失增益為0.5,目標(biāo)BCE損失權(quán)重為1.0,IoU閾值為0.5,多錨閾值為4.0,訓(xùn)練代數(shù)為300代,批大小為32,輸入網(wǎng)絡(luò)的尺寸為(640, 640)。YOLO系列及基于YOLO的檢測(cè)算法預(yù)定義的錨框?qū)κ諗克俣群妥罱K精度均有較大影響,本文使用k-means聚類(lèi)方法分析了數(shù)據(jù)集并計(jì)算了合適的錨框,P3、P4和P5對(duì)應(yīng)的錨框分別是:[(10, 13), (16, 30), (33, 23)], [(30, 61), (62, 45), (59, 119)和[(116, 90), (156, 198), (373, 326)]。

3.3 評(píng)價(jià)指標(biāo)

本文采用目標(biāo)檢測(cè)領(lǐng)域常用的基于混淆矩陣[25]的指標(biāo)進(jìn)行模型性能評(píng)價(jià),具體是:查準(zhǔn)率P、查全率R、IoU閾值取0.5~0.95間隔0.05時(shí)的平均檢測(cè)精度mAP@.5:.95和F1分?jǐn)?shù)。采用綜合考慮查準(zhǔn)率和查全率的F1分?jǐn)?shù)作為主要指標(biāo)。

4 實(shí)驗(yàn)結(jié)果和分析

4.1 圖像質(zhì)量提升算法消融實(shí)驗(yàn)

本節(jié)分析所提出的質(zhì)量提升算法的效果。

4.1.1 定性分析

應(yīng)用第1節(jié)所述的圖像提升質(zhì)量算法,結(jié)果如圖8所示,圖中顯示了4張不同背景下的輸電導(dǎo)線圖像,每張圖左側(cè)是原始的未做任何操作的低分辨率圖像,右側(cè)是應(yīng)用超分辨率算法和高反差保留算法后的最終結(jié)果。處理后的圖像不僅分辨率更高,而且在輸電導(dǎo)線細(xì)節(jié)表現(xiàn)上更加清晰。

圖8 提升圖像質(zhì)量前后對(duì)比Fig.8 Comparison before and after image quality improvement

處理后的圖像分辨率更高的原因是:每次應(yīng)用超分辨率算法,圖像的分辨率增加為原來(lái)的2倍,應(yīng)用n次后,分辨率增加為原來(lái)的2n倍。

輸電導(dǎo)線細(xì)節(jié)更加清晰的原因是:在設(shè)置合理的高斯半徑下,高反差保留相當(dāng)于進(jìn)行了去高斯模糊,保留了更多的邊緣細(xì)節(jié),對(duì)于輸電導(dǎo)線這種由多根股線組成的圖像,每根股線的邊緣更加清晰。

4.1.2 定量分析

本文分別使用未經(jīng)質(zhì)量提升的原始圖像和經(jīng)過(guò)質(zhì)量提升的圖像,均進(jìn)行數(shù)據(jù)增廣后,分別生成低質(zhì)量數(shù)據(jù)集(low quality set,LQSet)和高質(zhì)量數(shù)據(jù)集(high quality set,HQSet)。均在所改進(jìn)的SE-YOLOv5網(wǎng)絡(luò)上訓(xùn)練,分別得低質(zhì)量數(shù)據(jù)集模型(low quality model,LQM)和高質(zhì)量數(shù)據(jù)模型(high quality model,HQM)。測(cè)試評(píng)估結(jié)果如表1所示。

表1 低質(zhì)量數(shù)據(jù)集模型和高質(zhì)量數(shù)據(jù)集模型性能對(duì)比Tab.1 Performance comparison between LQM and HQM

結(jié)果表明:LQM在LQSet測(cè)試集上的F1分?jǐn)?shù)為92.8%,具有良好的效果,但其HQSet測(cè)試集上,F(xiàn)1分?jǐn)?shù)僅達(dá)為68.2%。分析原因,這與訓(xùn)練數(shù)據(jù)集中圖像模式(Pattern)與測(cè)試集差異較大有關(guān)。在公平測(cè)試下,即兩個(gè)模型分別在對(duì)應(yīng)的測(cè)試集上測(cè)試。結(jié)果表明LQM的F1分?jǐn)?shù)為92.6%,而HQM達(dá)到94.7%,說(shuō)明本文提出的圖像質(zhì)量增強(qiáng)算法,不僅在直觀上更加清晰地展示了圖像細(xì)節(jié),而且對(duì)模型性能有2.1個(gè)點(diǎn)的提升。

4.2 噪聲背景消融實(shí)驗(yàn)

本節(jié)分析動(dòng)態(tài)背景算法的效果。

4.2.1 定性分析

噪聲背景是隨機(jī)背景的一種。本文采用0~255完全隨機(jī)生成RGA圖像得到“隨機(jī)”的背景圖來(lái)生成數(shù)據(jù)集,生成的圖像如圖4(a)所示。由于效果檢測(cè)效果不理想,本文開(kāi)發(fā)了2.2節(jié)所述的動(dòng)態(tài)背景算法,生成圖像如圖4(b)—(c)所示。

為了對(duì)比噪聲背景和動(dòng)態(tài)背景算法的差異,本文分別生成了噪聲背景數(shù)據(jù)集NB(noise background)Set和動(dòng)態(tài)背景數(shù)據(jù)集DB(dynamic background)Set,并分別訓(xùn)練了噪聲模型(NBM)和動(dòng)態(tài)模型(DBM)。原始圖像均采用提升分辨率后的圖像,網(wǎng)絡(luò)均采用改進(jìn)的SE-YOLOv5。

檢測(cè)效果直觀對(duì)比如圖9所示。與左側(cè)的真值標(biāo)注相比,NBM在NBSet上成功地檢測(cè)出輸電導(dǎo)線、散股和斷股,但在DBSet上只檢測(cè)出散股,輸電導(dǎo)線和斷股均漏檢;DBM在DBSet上能成功檢測(cè)出輸電導(dǎo)線、散股和斷股。

圖9 噪聲背景模型和動(dòng)態(tài)背景模型對(duì)比Fig.9 Comparison between NBM and DBM

4.2.2 定量分析

NBM和DBM的測(cè)試評(píng)估結(jié)果如表2所示。結(jié)果表明:與圖9的結(jié)果一致,NBM在NBSet上的F1分?jǐn)?shù)達(dá)94.0%,說(shuō)明在噪聲背景訓(xùn)練集上訓(xùn)練的模型,對(duì)于噪聲背景的目標(biāo)有很好的檢測(cè)性能。但是,NBM在DBSet上的檢測(cè)精度大幅度降低,F(xiàn)1分?jǐn)?shù)僅為27.5%,分析表明這是由于噪聲背景和真實(shí)背景在分布上的差異,顯著地影響了模型的性能而DBM在DBSet上的F1分?jǐn)?shù)達(dá)到了優(yōu)秀的94.7%。

表2 噪聲背景模型和動(dòng)態(tài)背景模型性能對(duì)比Tab.2 Performance comparison between NBM and DBM

在實(shí)際應(yīng)用中,待檢測(cè)圖像均為真實(shí)背景的,所以完全隨機(jī)噪聲背景生成數(shù)據(jù)集訓(xùn)練的模型是極不魯棒的。因此,本文提出的動(dòng)態(tài)背景算法,能產(chǎn)生真實(shí)的數(shù)據(jù)的背景多樣性,是模型取得高性能的重要原因。

4.3 SE模塊消融實(shí)驗(yàn)

本節(jié)分析引入SE注意力機(jī)制改進(jìn)網(wǎng)絡(luò)的效果。本文使用DBSet,在其他參數(shù)相同的情況下,分別對(duì)原生的YOLOv5網(wǎng)絡(luò)和改進(jìn)的SE-YOLOv5網(wǎng)絡(luò)進(jìn)行了模型和性能測(cè)試,結(jié)果如表3所示。

表3 原生YOLOv5和改進(jìn)SE-YOLOv5性能對(duì)比Tab.3 Performance comparison between origin YOLOv5 and improved SE-YOLOv5

結(jié)果表明:原生的YOLOv5模型能達(dá)到93.7%的F1分?jǐn)?shù),引入SE模塊后,模型在測(cè)試集上的查準(zhǔn)率、查全率和F1分?jǐn)?shù)均有所上升,F(xiàn)1分?jǐn)?shù)提升了1個(gè)百分點(diǎn),mAP@.5:.95有所下降,檢測(cè)速度略微降低。性能提升的主要原因是SE注意力機(jī)制能學(xué)習(xí)各個(gè)通道的重要程度,自動(dòng)給予重要通道的特征更多的權(quán)重,速度略微下降的原因是額外的路線增了模型的層數(shù)和參數(shù)數(shù)量。

4.4 模型性能測(cè)試

利用本文所提出的圖像質(zhì)量提升算法來(lái)獲得高質(zhì)量的原始圖像,而后采用所提出的數(shù)據(jù)增廣算法來(lái)生成動(dòng)態(tài)背景數(shù)據(jù)集,在改進(jìn)的SE-YOLOv5模型上訓(xùn)練模型,訓(xùn)練好的模型在測(cè)試集上的測(cè)試結(jié)果如下。

隨機(jī)抽取一個(gè)Batch的16張圖檢測(cè)效果如圖10所示,結(jié)果顯示不論輸電導(dǎo)線在圖像的什么位置,導(dǎo)線走向如何,尺度大小如何,正光還是逆光,本文提出的算法均能準(zhǔn)確地檢測(cè)出輸電導(dǎo)線、散股和斷股,本文提出的輸電導(dǎo)線及其缺陷目標(biāo)檢測(cè)算法有較強(qiáng)的泛化能力和魯棒性。

圖10 模型檢測(cè)效果Fig.10 Detection effect of the model

詳細(xì)的不同類(lèi)別的檢測(cè)性能如表4所示。共檢測(cè)1 000張圖像,輸電導(dǎo)線、散股和斷股目標(biāo)數(shù)量分別為847、493和364,共計(jì)1 704個(gè),3個(gè)類(lèi)別的檢測(cè)F1分?jǐn)?shù)均大于90%,平均檢測(cè)F1分?jǐn)?shù)達(dá)到94.7%。

表4 最終模型檢測(cè)結(jié)果Tab.4 Final detection performance of final model

速度方面,在RTX3080 GPU上,輸入尺寸為640時(shí),單張圖檢測(cè)的推斷和非極大值抑制的總時(shí)間約16.1 ms,即62.1 FPS。實(shí)際離線處理過(guò)程中,可多張圖合并成1個(gè)batch進(jìn)行檢測(cè),批尺寸為16時(shí)平均單圖檢測(cè)時(shí)間為4.3 ms,約233 FPS。

最終,本文的模型的檢測(cè)速度為62.1FPS(單圖),F(xiàn)1分?jǐn)?shù)為94.7%。

4.5 模型的紋理魯棒性實(shí)驗(yàn)和處理方法

需要注意的是,訓(xùn)練好的模型雖然能實(shí)現(xiàn)隨機(jī)位置、隨機(jī)角度、隨機(jī)尺寸和隨機(jī)背景的魯棒檢測(cè),但當(dāng)出現(xiàn)被檢測(cè)目標(biāo)具有不同紋理時(shí)(如圖11中的輸電導(dǎo)線、散股和斷股不同于原標(biāo)注的13張圖像),性能會(huì)大大折扣,即該模型對(duì)不同的位置、角度、尺寸、背景具有魯棒性,但紋理魯棒性不強(qiáng)。

圖11 Hybrid-M在額外圖像上的檢測(cè)效果Fig.11 The detection effect of Hybrid-M on additional images

為了進(jìn)行紋理魯棒性實(shí)驗(yàn)和改進(jìn),本文額外采集了64張全新的輸電導(dǎo)線和缺陷圖像,進(jìn)行了相關(guān)測(cè)試,結(jié)果表5所示。

表5 噪聲模型(NBM)和混合模型(Hybrid-M)性能對(duì)比Tab.5 Performance comparison between NBM and Hybrid-M

紋理魯棒性實(shí)驗(yàn)結(jié)果表5的第1行所示,直接用上文的動(dòng)態(tài)背景模型DBM(13張?jiān)紙D像增廣后的數(shù)據(jù)集訓(xùn)練的)對(duì)額外圖像進(jìn)行檢測(cè)的結(jié)果。結(jié)果表明,模型雖然有84.3%的查準(zhǔn)率,查全率僅60.9%,綜合F1分?jǐn)?shù)為68.5%。這表明模型有一定性能(高于完全隨機(jī)基準(zhǔn)),但魯棒性不足。

解決模型紋路魯棒性的有效途徑是使用遷移學(xué)習(xí)特性進(jìn)行模型性能的改進(jìn)。具體方法為:對(duì)額外采集的64張圖像采取上文所述相同的流程,先用Labelme標(biāo)注,然后用圖像質(zhì)量提升算法、數(shù)據(jù)增廣算法生成數(shù)據(jù)集7 000張(增廣是必要的,否則會(huì)造成樣本不均衡),并與原來(lái)7 000張DBSet合并形成混合數(shù)據(jù)集Hybrid-Set;而后采用遷移學(xué)習(xí)的方法,用Hybrid-Set訓(xùn)練集對(duì)DBM模型進(jìn)行遷移訓(xùn)練,得到混合模型Hybrid-M。

對(duì)遷移學(xué)習(xí)詳細(xì)描述如下:1)加載與原模型完全相同的網(wǎng)絡(luò)結(jié)構(gòu),即SE-YOLOv5;2)加載原來(lái)訓(xùn)練好的權(quán)重文件,即.pt文件,加載過(guò)程中讀取訓(xùn)練好的每一個(gè)卷積層、全連接層等的權(quán)重并進(jìn)行自動(dòng)設(shè)置;3)將混合數(shù)據(jù)集作為輸入,對(duì)模型進(jìn)行訓(xùn)練,訓(xùn)練結(jié)束后保存最優(yōu)性能模型。由于原模型已經(jīng)具有一定檢測(cè)能力,將其性能“遷移”到新數(shù)據(jù)集上,因此稱為“遷移學(xué)習(xí)”。由于新增了數(shù)據(jù)集,有時(shí)也被稱為“增量學(xué)習(xí)”。由于通常會(huì)對(duì)新的訓(xùn)練過(guò)程設(shè)置較小的學(xué)習(xí)率和較小的訓(xùn)練代數(shù),有時(shí)也被稱為“模型微調(diào)”。

遷移學(xué)習(xí)后的性能如表5第2行所示,Hybrid-M在Hybrid-Set測(cè)試集(測(cè)試集與訓(xùn)練集數(shù)據(jù)無(wú)交叉)上的綜合F1分?jǐn)?shù)達(dá)到了94.9%,具有很好的魯棒性。遷移后的模型僅對(duì)這77種紋理和接近的紋理具有魯棒性,對(duì)于全新的紋理,可以繼續(xù)使用本文提出的方法進(jìn)行遷移學(xué)習(xí)。本文提出的數(shù)據(jù)增廣方法有價(jià)值的前提是紋理多樣性遠(yuǎn)小于數(shù)據(jù)多樣性。由于數(shù)據(jù)多樣性包含:紋理多樣性、位置多樣性、角度多樣性、尺寸多樣性和背景多樣性等,這顯然是成立的。

為了證明混合模型對(duì)原DBSet也有良好的效果,本文也進(jìn)行了測(cè)試,結(jié)果如表5第3行所示。綜合分?jǐn)?shù)為94.8%,比DBM的94.7%提升了0.1%,說(shuō)明采集更多數(shù)據(jù)并再次進(jìn)行標(biāo)注、增強(qiáng)、增廣,進(jìn)行遷移訓(xùn)練是解決紋理多樣性問(wèn)題的有效途徑。更多的數(shù)據(jù)會(huì)帶來(lái)模型好的通用性。

混合數(shù)據(jù)訓(xùn)練的模型Hybrid-M在額外圖像上的檢測(cè)效果直觀地展示在圖11中,由于被測(cè)圖像不包含在訓(xùn)練數(shù)據(jù)集中,模型表現(xiàn)出的良好性能是通過(guò)學(xué)習(xí)得到的。

5 結(jié)論

為了在低分辨率、小樣本下實(shí)現(xiàn)動(dòng)態(tài)范圍大、環(huán)境光多樣等復(fù)雜背景下的輸電導(dǎo)線及其缺陷的實(shí)時(shí)和魯棒檢測(cè)。本文從云南呼馬山試驗(yàn)基地和相關(guān)文獻(xiàn)的13張?jiān)驾旊妼?dǎo)線圖像出發(fā),進(jìn)行了如下研究工作。

1)實(shí)現(xiàn)了超分辨率算法,解決了原始圖像分辨率低的問(wèn)題;

2)實(shí)現(xiàn)了高反差保留算法,解決了原始圖像細(xì)節(jié)不清晰的問(wèn)題;

3)提出和實(shí)現(xiàn)了動(dòng)態(tài)背景算法,生成了多尺度、真實(shí)的背景圖像;

4)采用樣本均衡、隨機(jī)樣本數(shù)量、隨機(jī)位置、隨機(jī)縮放、隨機(jī)旋轉(zhuǎn)、目標(biāo)補(bǔ)全等方法生成了7 000張高質(zhì)量輸電導(dǎo)線數(shù)據(jù)集;

5)引入通道注意力機(jī)制,改進(jìn)網(wǎng)絡(luò)形成了SE-YOLOv5目標(biāo)檢測(cè)算法,經(jīng)過(guò)訓(xùn)練,實(shí)現(xiàn)實(shí)時(shí)、魯棒的輸電導(dǎo)線、散股和斷股3類(lèi)目標(biāo)檢測(cè),檢測(cè)F1分?jǐn)?shù)達(dá)到94.7%。

本文提出的數(shù)據(jù)集生成方法,可以廣泛應(yīng)用在各種領(lǐng)域的目標(biāo)檢測(cè)任務(wù)中,提供了一種通用的應(yīng)對(duì)低分辨率圖像、小樣本數(shù)據(jù)集的方法;生成的輸電導(dǎo)線數(shù)據(jù)集,能推動(dòng)基于深度學(xué)習(xí)的人工智能算法在該領(lǐng)域的應(yīng)用;訓(xùn)練好的輸電導(dǎo)線及其缺陷檢測(cè)模型,能應(yīng)用到無(wú)人機(jī)輸電導(dǎo)線巡檢領(lǐng)域,提高電路系統(tǒng)運(yùn)行穩(wěn)定性和安全性;此外,提出的算法是可以不斷遷移學(xué)習(xí)進(jìn)行演進(jìn)的,提供更豐富的紋理,能持續(xù)提升模型的通用性。

本文算法存在的不足是相比于分割的算法,本算法無(wú)法給出圖像哪些像素是目標(biāo)信息;相比與電磁等缺陷檢測(cè)方法,本文算法無(wú)法檢測(cè)輸電導(dǎo)線內(nèi)部的缺陷。

猜你喜歡
導(dǎo)線背景圖像
改進(jìn)的LapSRN遙感圖像超分辨重建
“新四化”背景下汽車(chē)NVH的發(fā)展趨勢(shì)
東華大學(xué)研發(fā)出可體內(nèi)吸收型蠶絲導(dǎo)線
《論持久戰(zhàn)》的寫(xiě)作背景
有趣的圖像詩(shī)
220千伏輸電線路導(dǎo)線斷裂分析
架空導(dǎo)線的幾種防腐措施
電線電纜(2017年4期)2017-07-25 07:49:46
晚清外語(yǔ)翻譯人才培養(yǎng)的背景
GDX-2導(dǎo)線機(jī)過(guò)線輪改進(jìn)
河南科技(2014年10期)2014-02-27 14:09:19
遙感圖像幾何糾正中GCP選取
博湖县| 银川市| 板桥市| 耿马| 余庆县| 蕉岭县| 清河县| 烟台市| 高清| 秭归县| 元朗区| 铜山县| 怀宁县| 盘山县| 鄢陵县| 中西区| 拉萨市| 白水县| 横山县| 渝北区| 合山市| 远安县| 永嘉县| 南木林县| 谷城县| 沽源县| 武鸣县| 溧阳市| 新兴县| 屏边| 绿春县| 绥中县| 临泽县| 宜良县| 万全县| 固阳县| 潢川县| 喀什市| 巍山| 浦县| 青岛市|