劉 宇, 侯北平, 張曉剛
(浙江科技學(xué)院自動(dòng)化與電氣工程學(xué)院,浙江 杭州310023)
電纜的需求量隨著各行業(yè)發(fā)展逐年遞增,至2020年底,我國(guó)輸電線路總里程超過159萬千米。隨著對(duì)電纜的需求顯著增加,電纜生產(chǎn)企業(yè)不斷增多,產(chǎn)能過剩,造成行業(yè)、企業(yè)間的市場(chǎng)競(jìng)爭(zhēng)異常激烈,產(chǎn)品質(zhì)量千差萬別,部分企業(yè)以產(chǎn)品質(zhì)量為主體的責(zé)任意識(shí)不強(qiáng),出現(xiàn)了不檢測(cè)、偷工減料、制假、售假等質(zhì)量失信和違法現(xiàn)象,電纜的可靠性越來越受到關(guān)注[1]。電纜絕緣層作為電纜的重要組成部分,其質(zhì)量直接影響電纜的使用壽命及使用安全。因此,對(duì)電纜質(zhì)量檢測(cè)至關(guān)重要。由于電纜的應(yīng)用環(huán)境不同,電纜種類也不同。根據(jù)國(guó)家標(biāo)準(zhǔn)GB/T 3956—2008[2],不同類型電纜絕緣層,需要測(cè)量不同的參數(shù)。目前,針對(duì)不同電纜絕緣層的質(zhì)量檢測(cè),多為人工測(cè)量,自動(dòng)化程度較低,且測(cè)量周期長(zhǎng),測(cè)量過程耗時(shí)耗力。
近年來,機(jī)器視覺技術(shù)及深度神經(jīng)網(wǎng)絡(luò)的快速發(fā)展,被廣泛應(yīng)用到自動(dòng)計(jì)數(shù)[3?5]、質(zhì)量檢測(cè)[6?7]和自動(dòng)識(shí)別分類[8?9]等領(lǐng)域。侯維巖等[4]提出使用圖像處理的方式解決捆扎棒材計(jì)數(shù)的問題。電纜絕緣層質(zhì)量檢測(cè)問題與相關(guān)行業(yè)具有共性,但同時(shí)具有特殊性,全自動(dòng)測(cè)量問題亟待解決。肖金球等[9]首先將電纜切片分類,再采用人工選擇類型進(jìn)行測(cè)量。人工選擇電纜切片類型需要操作人員具備一定的專業(yè)知識(shí)和工作經(jīng)驗(yàn),有一定錯(cuò)誤率,自動(dòng)化程度低。國(guó)內(nèi)針對(duì)電纜檢測(cè)設(shè)備研究較少。董輝平等[10]利用機(jī)器視覺等技術(shù)設(shè)計(jì)出一套電纜絕緣層厚度測(cè)試系統(tǒng);ZHU W等[11]提出一種基于深度學(xué)習(xí)的半導(dǎo)電層分割方法;侯北平等[12]發(fā)明了一種全自動(dòng)電纜絕緣層檢測(cè)方法,實(shí)現(xiàn)對(duì)電纜絕緣層參數(shù)的自動(dòng)測(cè)量??商娲鷤鹘y(tǒng)人工檢測(cè),極大地提高了檢測(cè)效率,但對(duì)各類電纜絕緣層自動(dòng)分類尚存在不足。加入電纜絕緣層自動(dòng)分類,將對(duì)電纜檢測(cè)設(shè)備性能進(jìn)一步提升。因此,對(duì)電纜絕緣層精準(zhǔn)分類具有重要意義。目前,針對(duì)電纜絕緣層自動(dòng)分類的研究較少。
針對(duì)以上問題,分析了圓形、類圓形、其他形狀等3類共18種電纜絕緣層截面圖像的特征,對(duì)比傳統(tǒng)的支持向量機(jī)(SVM)分類方法、利用GoogleNet[13]模型進(jìn)行分類及使用單一深度殘差網(wǎng)絡(luò)模型的分類方法,提出了基于深度殘差網(wǎng)絡(luò)的電纜絕緣層截面圖像多級(jí)分類方法。利用4個(gè)分類模型,分兩級(jí)對(duì)電纜絕緣層截面圖像進(jìn)行分類,極大地提高了分類精確度。
如圖1所示,為18種典型電纜絕緣層截面圖像。針對(duì)幾種典型的電纜絕緣層進(jìn)行特征分析。
圖1 18種典型電纜絕緣層
由電纜絕緣層截面圖像可知,各類電纜絕緣層幾何特征差異較大。按照電纜絕緣層外形差異,將其主要分為圓形、類圓形和其他等,分析3類電纜絕緣層圖像的具體特征。
1.1.1 圓形電纜絕緣層截面圖像特征
如圖2所示,依次為不透明圓形、透明圓形、三層內(nèi)表面光滑圓形電纜絕緣層截面圖像,本組圓形電纜絕緣層截面圖像主要特征如下:
圖2 圓形電纜絕緣層截面圖像
(1)整體外觀呈圓環(huán)狀;
(2)圓環(huán)內(nèi)部為單孔,且內(nèi)部也為近似圓形,圓度接近1;
(3)存在透明、不透明兩種情況。
1.1.2 類圓電纜絕緣層截面圖像特征
如圖3所示,依次為內(nèi)表面不光滑圓形、半導(dǎo)電層、三層內(nèi)表面不光滑圓形等3種電纜絕緣層,本組類圓形電纜絕緣層截面圖像主要特征如下:
圖3 類圓形電纜絕緣層截面圖像
(1)整體外輪廓為正圓形;
(2)內(nèi)層輪廓為非圓形,但內(nèi)輪廓的最大外接圓與最小內(nèi)切圓的半徑差值較??;
(3)存在部分電纜絕緣層為兩層拼接形成,如內(nèi)表面不光滑圓形和半導(dǎo)電層兩種電纜絕緣層,兩者的特征相似。
1.1.3 其他形狀電纜絕緣層截面圖像
如圖4所示,依次為單排三芯形、外梅花形、不透明扇形、瓦楞形等4種電纜絕緣層。本組電纜絕緣層截面圖像特征較為復(fù)雜,其主要特征如下:
圖4 異形電纜絕緣層截面圖像
(1)整體形狀多為不規(guī)則形狀;
(2)由兩個(gè)及以上圓形或橢圓拼接而成;
(3)部分電纜絕緣層形狀較為特殊;
(4)存在透明、不透明兩種情況。
1.2.1 提取特征構(gòu)建SVM分類器
根據(jù)以上分析,各類電纜絕緣層幾何特征較為明顯,可利用幾何特征訓(xùn)練SVM分類器進(jìn)行分類。選部分電纜絕緣層截面圖像作為訓(xùn)練樣本,進(jìn)行圖像預(yù)處理,提取圖像亞像素內(nèi)外邊緣輪廓,如圖5所示。提取圓度、不變矩等幾何特征,構(gòu)建特征矩陣。平均圓度統(tǒng)計(jì)表見表1,不變矩特征統(tǒng)計(jì)表見表2,表2中Hu1-Hu7分別代表7個(gè)不變矩陣特征。
表2 不變矩特征統(tǒng)計(jì)表
圖5 電纜絕緣層截面圖像亞像素邊緣輪廓
表1 平均圓度統(tǒng)計(jì)表
由于部分類型電纜絕緣層截面圖像存在透明與不透明兩種情況,如圖6所示,依次為透明圓形、不透明圓形、透明扇形、不透明扇形等4類電纜絕緣層。分析其灰度值分布,透明與不透明電纜絕緣層截面圖像灰度差距較為明顯。將平均灰度值作為補(bǔ)充特征加入特征矩陣中,提高分類精度。
圖6 透明與不透明電纜絕緣層截面圖像
1.2.2 SVM分類測(cè)試結(jié)果評(píng)估
取典型如圖7所示不透明圓形、透明圓形、內(nèi)表面不光滑圓形、雙層圓形、半導(dǎo)電層、透明扇形、不透明扇形等7種類型電纜絕緣層。獲取電纜絕緣層截面樣本圖像,進(jìn)行分類試驗(yàn)。
圖7 電纜絕緣層測(cè)試樣本圖像
試驗(yàn)結(jié)果混淆矩陣如表3所示,由表3結(jié)果可以看出如下問題:
表3 混淆矩陣
(1)特征較為相似的電纜絕緣層截面圖像,如透明扇形電纜絕緣層與不透明扇形電纜絕緣層,兩者幾何特征較為接近,若利用灰度特征區(qū)分二者,易受采樣光照影響,使其灰度特征較為接近。此時(shí),利用SVM分類方法無法準(zhǔn)確對(duì)兩者進(jìn)行分類。
(2)半導(dǎo)電層、雙層圓形等形狀類似的電纜絕緣層識(shí)別錯(cuò)誤率較高,半導(dǎo)電層的平均圓度為0.927 47,雙層圓形平均圓度為0.927 05,而內(nèi)表面不光滑圓形平均圓度為0.930 167,三者平均圓度特征相近,且灰度特征相近,該方法無法正確識(shí)別3種類型電纜絕緣層。
(3)由于生產(chǎn)工藝原因,會(huì)出現(xiàn)畸形、殘次等異常電纜絕緣產(chǎn)品,如圖8所示,畸形、殘次品是進(jìn)行電纜絕緣層質(zhì)量檢測(cè)主要排查的對(duì)象之一。但由于傳統(tǒng)分類可提取的特征有限,易出現(xiàn)無法識(shí)別或誤分類現(xiàn)象,影響質(zhì)量檢測(cè)。
圖8 異常電纜絕緣層截面圖像
試驗(yàn)結(jié)果發(fā)現(xiàn),傳統(tǒng)的分類方法對(duì)于幾何形狀差異較大的電纜絕緣層分類效果較好,但對(duì)于幾何特征相似度較高,且不具有特殊特征的絕緣層分類效果較差。與傳統(tǒng)分類方法相比,利用深度殘差網(wǎng)絡(luò)的分類方法是從大數(shù)據(jù)中自動(dòng)學(xué)習(xí)特征,而非采用手工設(shè)計(jì)的特征。樣本充足的情況下,可以準(zhǔn)確地提取樣本深層次特征進(jìn)行分類訓(xùn)練,并解決了傳統(tǒng)分類方法特征提取不充分等問題。
基于深度殘差網(wǎng)絡(luò)多級(jí)分類方法的整體流程如圖9所示。采集電纜絕緣層圖像,構(gòu)建樣本數(shù)據(jù)集;對(duì)樣本數(shù)據(jù)集進(jìn)行增強(qiáng);首先利用深度模型構(gòu)建一級(jí)分類器,將電纜絕緣層分為圓形、類圓、其他等3類;再分別構(gòu)建3個(gè)二級(jí)分類器,確定電纜絕緣層的具體類型;利用增強(qiáng)數(shù)據(jù)集訓(xùn)練分類器,最后試驗(yàn)驗(yàn)證分類結(jié)果。
圖9 基于深度殘差網(wǎng)絡(luò)多級(jí)分類方法
2.2.1 模型遷移
在深度卷積網(wǎng)絡(luò)的有監(jiān)督訓(xùn)練中,需要大量的有標(biāo)簽樣本進(jìn)行充分訓(xùn)練,網(wǎng)絡(luò)才能取得優(yōu)秀的分類效果。由于對(duì)電纜絕緣層的研究較少,且不宜獲得大量的樣本圖像。所以為了盡可能少地使用有標(biāo)簽樣本,同時(shí)避免過擬合現(xiàn)象,利用基于深度遷移學(xué)習(xí)方法的訓(xùn)練策略,以提高深層網(wǎng)絡(luò)在小樣本情況下的分類效果。將問題轉(zhuǎn)變?yōu)槔靡粋€(gè)擁有充足標(biāo)簽的相關(guān)數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練,再通過現(xiàn)有數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)(fine?tune)[14]。目前被廣泛應(yīng)用的遷移模型有AlexNet、VGGNet、GoogLeNet、ResNet[15]等。
在遷移學(xué)習(xí)中,基于深層卷積網(wǎng)絡(luò)模型,由于網(wǎng)絡(luò)淺層卷積核主要捕獲邊緣和輪廓等淺層特征,而這些特征是通用的,同樣存在于源數(shù)據(jù)集樣本中,由此可用大量的源數(shù)據(jù)集樣本對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練,使網(wǎng)絡(luò)參數(shù)得到充分訓(xùn)練,然后將淺層卷積核進(jìn)行固定,使其不再進(jìn)行優(yōu)化。整個(gè)過程可看作網(wǎng)絡(luò)將在源數(shù)據(jù)集中學(xué)習(xí)到的知識(shí)遷移到目標(biāo)數(shù)據(jù)集中,一定程度避免了過擬合現(xiàn)象,同時(shí)也保證了對(duì)目標(biāo)數(shù)據(jù)特有特征的學(xué)習(xí)。
2.2.2 構(gòu)建多級(jí)分類模型
采用深度殘差網(wǎng)絡(luò)ResNet50[15?17]作為遷移學(xué)習(xí)模型,在預(yù)訓(xùn)練好的ResNet50網(wǎng)絡(luò)模型基礎(chǔ)上添加一層平均池化層(avgpool),一層全連接層(dense)加分類網(wǎng)絡(luò)(Softmax)。共構(gòu)建4個(gè)電纜絕緣層分類模型,分別為分類器Ⅰ、分類器Ⅱ、分類器Ⅲ、分類器Ⅳ。分類器Ⅰ用于將電纜絕緣層分為三大類,分類器Ⅱ、分類器Ⅲ、分類器Ⅳ用于對(duì)電纜絕緣層具體分類。并利用GoogLeNet網(wǎng)絡(luò)作為遷移模型構(gòu)建一個(gè)電纜絕緣層分類器,進(jìn)行對(duì)比試驗(yàn)。
首先對(duì)數(shù)據(jù)樣本圖像集進(jìn)行預(yù)處理,為了方便構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)和網(wǎng)絡(luò)訓(xùn)練,將樣本圖像尺寸重置為224(像素)×224(像素)×3(通道)。并將樣本數(shù)據(jù)集按照70%,15%,15%的比例分為3個(gè)子集,分別用于訓(xùn)練、驗(yàn)證和測(cè)試。初始學(xué)習(xí)率設(shè)置為0.01,迭代次數(shù)設(shè)置為100次。
3.2.1 利用GoogLeNet網(wǎng)絡(luò)模型分類結(jié)果
利用GoogLeNet網(wǎng)絡(luò)模型構(gòu)建的電纜絕緣片分類器進(jìn)行訓(xùn)練、測(cè)試,訓(xùn)練過程曲線如圖10所示,圖10(a)為驗(yàn)證正確率曲線,圖10(b)為損失函數(shù)曲線。最終試驗(yàn)測(cè)試得到深度模型測(cè)試結(jié)果部分混淆矩陣如表4所示。
圖10 GoogLeNet分類器訓(xùn)練過程曲線
3.2.2 深度殘差網(wǎng)絡(luò)單分類器分類
利用ResNet50網(wǎng)絡(luò)對(duì)電纜絕緣層樣本提取特征,以半導(dǎo)電層絕緣片樣本為例,提取第一層卷積層的特征圖像如圖11所示。通過連續(xù)多層卷積提取特征,最后可以提取到2 048維特征。
圖11 一次卷積后提取的抽象特征
利用一個(gè)重新構(gòu)建的電纜絕緣片分類器進(jìn)行訓(xùn)練、分類,最后得到訓(xùn)練過程曲線如圖12所示,圖12(a)為驗(yàn)證正確率曲線,圖12(b)為損失函數(shù)曲線。最終試驗(yàn)測(cè)試得到深度模型測(cè)試結(jié)果部分混淆矩陣如表5所示。
圖12 深度殘差網(wǎng)單分類器訓(xùn)練過程曲線
與表3傳統(tǒng)SVM分類測(cè)試結(jié)果混淆矩陣對(duì)比發(fā)現(xiàn),利用GoogLeNet網(wǎng)絡(luò)模型及ResNet網(wǎng)絡(luò)模型重新構(gòu)建的分類器,分類精度遠(yuǎn)遠(yuǎn)高于傳統(tǒng)SVM分類器。對(duì)于表3中較難區(qū)分的幾類電纜絕緣層,兩者均可較準(zhǔn)確地進(jìn)行分類。通過表4 GoogLeNet模型分類器分類測(cè)試混淆矩陣、表5深度殘差網(wǎng)絡(luò)單分類器分類測(cè)試混淆矩陣對(duì)比分析可以發(fā)現(xiàn),深度殘差網(wǎng)絡(luò)單分類器分類精度高于GoogLeNet模型分類器分類精度。但兩者均存在錯(cuò)誤分類的情況,如雙層圓形、半導(dǎo)電層、內(nèi)表面不光滑圓形電纜絕緣層分類錯(cuò)誤。
表4 GoogLeNet分類器測(cè)試結(jié)果部分混淆矩陣
表5 深度殘差網(wǎng)絡(luò)單分類器測(cè)試部分混淆矩陣
3.2.3 深度殘差網(wǎng)絡(luò)多級(jí)分類器分類
首先利用分類器Ⅰ進(jìn)行訓(xùn)練分類,初步將電纜絕緣層截面圖像樣本分為圓形、類圓、其他三大類。訓(xùn)練過程曲線如圖13所示,圖13(a)為驗(yàn)證正確率曲線,圖13(b)為損失函數(shù)曲線。測(cè)試一級(jí)分類結(jié)果精度達(dá)到100%。
圖13 一級(jí)分類訓(xùn)練過程曲線
根據(jù)一級(jí)分類結(jié)果自動(dòng)選擇二級(jí)分類器,分類器Ⅱ、分類器Ⅲ、分類器Ⅳ對(duì)三大類電纜絕緣層進(jìn)行訓(xùn)練分類。如圖14所示,分別為圓形、類圓形、其他三類電纜絕緣層截面圖像二級(jí)分類訓(xùn)練過程正確率曲線,經(jīng)過100次迭代,驗(yàn)證正確率曲線均穩(wěn)定于1.000。綜合測(cè)試分類結(jié)果得到二級(jí)分類器測(cè)試混淆矩陣如表6所示,可以準(zhǔn)確識(shí)別出各種電纜絕緣層,測(cè)試分類結(jié)果精度達(dá)到99.99%。
圖14 二級(jí)分類訓(xùn)練過程曲線
表6 二級(jí)分類器測(cè)試結(jié)果混淆矩陣
4種分類方法分類精度見表7。
表7 4種分類法分類精度
本工作提出的基于深度殘差網(wǎng)絡(luò)的電纜絕緣層截面圖像多級(jí)分類方法分類精度遠(yuǎn)遠(yuǎn)高于其他3種分類方法。
針對(duì)當(dāng)前電纜行業(yè)中產(chǎn)品質(zhì)量人工檢測(cè)方法中存在的不足,提出了一種基于深度殘差網(wǎng)絡(luò)的電纜絕緣層分類方法。首先分析電纜絕緣層截面圖像的結(jié)構(gòu)特點(diǎn)以及圖像的特征,對(duì)比了傳統(tǒng)分類方法利用單分類器分類的深度殘差網(wǎng)絡(luò)分類方法的不足。利用深度殘差網(wǎng)絡(luò),構(gòu)建4個(gè)電纜絕緣層截面圖像分類器,進(jìn)行二級(jí)分類。試驗(yàn)結(jié)果顯示,本工作提出的方法,分類精度在99.9%以上,可從根本上解決電纜絕緣層自動(dòng)分類問題,在電纜質(zhì)量檢測(cè)行業(yè)中具有積極意義,本方法可提高檢測(cè)效率,可以被廣泛應(yīng)用。