邵 磊 韓 雪 何 濤 李 季 劉宏利 陳小奇

(天津理工大學(xué)天津市復(fù)雜系統(tǒng)控制理論及應(yīng)用重點實驗室，天津 300384)

機器視覺在小型管道探傷中的應(yīng)用研究

邵 磊 韓 雪 何 濤 李 季 劉宏利 陳小奇

(天津理工大學(xué)天津市復(fù)雜系統(tǒng)控制理論及應(yīng)用重點實驗室，天津 300384)

設(shè)計了針對小型管道內(nèi)部缺陷檢測的螺旋管道機器人系統(tǒng)，基于該機器人系統(tǒng)提出了圖像處理的改進算法。首先采用結(jié)合中值濾波思想的雙邊濾波器，解決了雙邊濾波無法去除孤立噪聲點的問題；其次采用了二維最大熵的閾值分割方法進行圖像分割；最后根據(jù)管道缺陷的特點提取適合分類器分類的代表特征點進行分類。仿真研究表明：所提算法能夠更加完整地提取缺陷信息。

管道探傷 管道機器人 圖像處理 雙邊濾波 二維最大熵

隨著石油、化工、天然氣和核工業(yè)的發(fā)展，管道因其經(jīng)濟性和便捷性被廣泛用于石油、天然氣等流體物質(zhì)的運輸[1]。但因外在的惡劣環(huán)境，管道不可避免地會出現(xiàn)裂紋、漏孔等現(xiàn)象。如果不及時維護，極有可能發(fā)生輸送物泄漏、易燃物爆炸等嚴重安全事故[2]。

管道機器人是攜帶傳感器和操作機械，在管道內(nèi)部自主行走并進行一系列作業(yè)的機電儀一體化系統(tǒng)[3]。早在1997年，日本東芝公司研制了第1臺前部帶有微型CCD攝像機的輪式管內(nèi)移動機器人，用于分辨管內(nèi)異物并用微型機械手實現(xiàn)清理[4]。通過管道機器人前端帶載的視覺傳感器可以準確分析、判斷管道內(nèi)壁裂紋、孔洞等缺陷。通常的檢測步驟是對視頻圖像進行預(yù)處理和圖像分割，如Yang M D和Su T C采用大津法對污水管道圖像進行分割[5]，然后從中提取圖像特征，最后采用機器學(xué)習(xí)方法進行管道缺陷的分類。然而，由于管道內(nèi)部光線昏暗、管道圖像的固有噪聲大，難以對內(nèi)部缺陷部分進行完整的分割提取并分類。因此，尋求一種快速、準確的管道缺陷圖像處理方法是十分必要的。

1 機器人的整體架構(gòu)

筆者研制的機器人是一種無線控制模式的螺旋管道機器人，該類機器人可用于天然氣管道的缺陷檢測[6]。機器人的本體結(jié)構(gòu)如圖1所示，包括3個單元：定子、轉(zhuǎn)子和執(zhí)行機構(gòu)。其中，定子由3個軸向輪組成，控制機器人的行走方向；轉(zhuǎn)子由3個可調(diào)角度的橫向轉(zhuǎn)動輪組成，通過螺旋運動的方式推動機器人在管道內(nèi)行走；執(zhí)行機構(gòu)包括用來提供能量的電源、提供動力的電機、采集管道內(nèi)數(shù)據(jù)的多個傳感器(包括測量機器人行進速度的霍爾傳感器，檢測障礙物的超聲波傳感器等)和采集管道內(nèi)圖像信息的無線攝像頭。

圖1 機器人的本體結(jié)構(gòu)

機器人控制系統(tǒng)的整體結(jié)構(gòu)框圖如圖2所示，通過無線通信的方式將下位機采集到的傳感器數(shù)據(jù)傳送至監(jiān)控計算機，同時上位機發(fā)送控制指令通過單片機控制電機進而控制機器人的運動。監(jiān)控計算機中使用C#編程的圖形界面通過socket方式接收數(shù)據(jù)并顯示在界面上同時錄入數(shù)據(jù)庫。

圖2 機器人控制系統(tǒng)的整體結(jié)構(gòu)框圖

2 圖像處理

管道內(nèi)的圖像信息由無線攝像頭采集直接傳送到監(jiān)控計算機，由監(jiān)控計算機進行管道內(nèi)部圖像處理。首先對無線攝像頭采集到的圖像進行灰度化和雙邊濾波去噪處理，然后運用數(shù)學(xué)形態(tài)學(xué)開操作對不屬于結(jié)構(gòu)元素的地方進行去除，之后對圖像進行二維最大熵閾值分割，最后將分割后的圖像抽取其形狀特征作為SVM分類器的輸入量進行分類[7]，圖像處理流程如圖3所示。

圖3 圖像處理流程

2.1圖像預(yù)處理

2.1.1灰度化

由攝像頭采集到的圖像是RGB模式，處理圖像的時候分別對R、G、B(分別表示原真彩色圖中的紅、綠、藍分量)3個分量進行處理，但實際上RGB模式并不能顯示圖像的形態(tài)特征，所以要把圖像轉(zhuǎn)化成8位的灰度圖像進行處理。采用加權(quán)平均法按下式對R、G、B這3個分量進行加權(quán)平均得到較為合理的灰度圖像[8]：

f(i,j)=0.2989R(i,j)+0.5870G(i,j)+0.1140B(i,j)

(1)

其中，f(i,j)表示灰度化后的圖像灰度值。

2.1.2濾波算法

對圖像預(yù)處理筆者采用結(jié)合中值濾波思想的雙邊濾波算法。雙邊濾波是結(jié)合圖像的空間鄰近度和像素值相似度的一種折中處理，同時考慮空間域信息和灰度相似性。對于隨機噪聲，雙邊濾波器能夠很好地處理，但不能處理椒鹽類型的噪聲。

為了彌補這一缺陷，筆者采用中值濾波的思想來完善雙邊濾波：

(2)

其中，fr(‖I(xi)-I(x)‖)是一個與灰度距離相關(guān)的高斯函數(shù)，鄰域內(nèi)與中心點灰度值差別越小的點權(quán)重系數(shù)越大；gs(xi-x)是一個與空間距離有關(guān)的高斯函數(shù)，表明鄰域內(nèi)與中心點x距離越近的點權(quán)重系數(shù)越大；I(xi)是原始灰度值；Ifiltered(x)是濾波后的灰度值；Wp是權(quán)重；Ω是濾波過程中的窗口。

由式(2)可知雙邊濾波輸出的灰度值依賴于鄰域灰度值的加權(quán)組合，當中心點是孤立的噪聲點時，鄰域內(nèi)所有點的灰度值都與之相差較大，不能達到濾波的效果。所以運用中值濾波的思想將中心點的灰度值換成鄰域內(nèi)所有點的中值從而達到優(yōu)化雙邊濾波的目的。

結(jié)合中值濾波思想的雙邊濾波處理后的實驗圖像如圖4、5所示?？梢钥闯觯\用該方法能夠更好地達到濾波目的，既有雙邊濾波的優(yōu)點——不會使邊緣變得模糊，也彌補了雙邊濾波的不足。

圖4 裂紋圖像對比

圖5 孔洞圖像對比

2.2形態(tài)學(xué)開操作

開操作是消除小于結(jié)構(gòu)元素的圖像元素，達到消除噪聲點,平滑目標圖像邊界的目的。對于灰度級的圖像，使用結(jié)構(gòu)元b對圖像f的開操作表示為：

f°b=(fΘb)⊕b

(3)

開操作能夠降低所有亮特征的灰度值，而對圖像的暗特征影響可忽略不計，因而對于管道圖像中的裂紋、孔洞等黑暗區(qū)域影響很小，主要是對背景圖像進行平滑去噪。

圖6為結(jié)構(gòu)元半徑r分別為1、3、5、10個像素的開操作對比(左側(cè)為裂紋圖像，右側(cè)為孔洞圖像)?？梢钥闯?，結(jié)構(gòu)元相對較大的開操作時抑制的亮細節(jié)越多，但是結(jié)構(gòu)元越大越有可能對目標圖像造成失真，所以筆者使用半徑為5個像素的圓盤結(jié)構(gòu)對圖像進行形態(tài)學(xué)開運算，目的是保留目標圖像、消除非目標圖像，使目標圖像更加清晰并方便分割。

2.3二維最大熵算法

圖像分割是把圖像分成若干個特定的、具有獨特性質(zhì)的區(qū)域并從中提出感興趣的目標，是圖像處理的關(guān)鍵環(huán)節(jié)?，F(xiàn)有的圖像分割方法主要分為以下幾類：基于閾值的分割方法、基于區(qū)域的分割方法及基于邊緣的分割方法等。其中全局閾值分割中的大津法使用最為廣泛。文獻[5]就是使用大津法對污水管道內(nèi)的圖像進行分割處理。

根據(jù)管道裂紋圖像的灰度直方圖(圖7)可以看出，經(jīng)過處理之后的圖像的像素點灰度值大多數(shù)集中在100～150之間，200～210之間有一部分，50～100之間也有很少的像素點分布在其中。經(jīng)過Matlab驗證可知灰度值在100～150之間的是背景，在50～100之間的是目標圖像裂紋。經(jīng)分析并通過實驗得出大津法并不能完整地分割出目標圖像，原因有兩點：一是前景與背景的灰度差異太??；二是前景相對于背景占的圖像比例太小。

所以需要對每個像素點及其鄰域進行分析，二維最大熵算法利用圖像的二維灰度直方圖來進行閾值分割。對于裂紋圖像，大津法所求的閾值為116，二維最大熵所求得的閾值矢量為(124，93)，經(jīng)直方圖分析并驗證得到的最佳分割閾值為89；對于孔洞圖像，大津法所求的閾值為143，二維最大熵所求得的閾值矢量為(151，106)，經(jīng)直方圖分析并驗證得到的最佳分割閾值為102。閾值對比如圖8、9所示。

圖7 管道裂紋圖像的灰度直方圖

圖8 裂紋閾值分割對比

圖9 孔洞閾值分割對比

2.4特征提取與分類

圖像分割只是把圖像分出有意義的區(qū)域。為了識別某一物體就要對物體在視頻中的圖像進行描述。由于孔洞和裂縫在形狀上有很大的不同，所以筆者使用形狀特征作為分類器的特征向量。

文獻[9]中采用圖像的6個不變矩特征作為圖像識別的特征向量，雖然Hu M K在1962年證明了不變矩具有旋轉(zhuǎn)、縮放和平移不變性，但有學(xué)者認為只有基于二階矩的不變矩對二維物體的描述才是真正的具有旋轉(zhuǎn)、縮放和平移不變性。以Hu矩組成的特征量對圖片進行識別，優(yōu)點是速度快，缺點是識別率較低,適合識別圖像中大的、形狀描述得比較好的物體。所以盡管Hu矩有諸多特性(如平移不變性)但對于管道探傷并不適用。表1是裂紋和孔洞的7個Hu不變矩的對比，可以看出差異性較小，不建議作為圖像識別的主要特征向量。

表1 裂紋和孔洞的7個Hu不變矩對比

筆者根據(jù)閾值分割得到二值圖像，計算出圖像的最小外接矩形然后提取8個形狀特征作為分類器的輸入量，從而達到分類識別管道缺陷的效果。表2是裂縫和孔洞的8個形狀特征的對比，差異性較大，實驗表明它適合作為圖像的代表特征從而被分類器分類。

表2 裂紋和孔洞的形狀特征對比

將提取到的圖像形狀特征作為特征向量輸入到分類器進行分類識別，筆者使用支持向量機的分類方法實現(xiàn)對缺陷圖像的分類識別。支持向量機是建立在統(tǒng)計學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險最小原理基礎(chǔ)上發(fā)展起來的一種新機器學(xué)習(xí)方法[10]。該方法的主要思想是找到一個超平面作為決策曲面，使它能夠盡可能多地將兩類數(shù)據(jù)點正確地分開，同時使分開的兩類數(shù)據(jù)點距離分類面最遠[11]。支持向量機算法具有計算簡單、通用性強及魯棒性高等優(yōu)點。通過Matlab R2013a實驗表明，分類準確率可達93.7%。

3 結(jié)束語

設(shè)計了適用于管道缺陷有效檢測的螺旋管道機器人系統(tǒng)。基于該機器人采集到的管道內(nèi)部圖像，考慮管道內(nèi)部噪聲混亂的情況，提出了使用結(jié)合中值濾波思想的雙邊濾波器，將傳統(tǒng)的雙邊濾波算法中的目標點的灰度值換成鄰域內(nèi)灰度值的中值，既達到保邊去噪的效果又能去除孤立點噪聲，彌補了雙邊濾波的不足。針對管道內(nèi)部缺陷與背景差異不明顯的情況，將二維最大熵的閾值分割方法運用在其中，相比于其他一般的閾值分割方法，該方法運用在管道中能夠找到更準確的閾值。

[1] 袁厚明.地下管線檢測技術(shù)[M].北京：中國石化出版社，2012.

[2] 王永雄.管道機器人控制、導(dǎo)航和管道檢測技術(shù)研究[D].上海：上海交通大學(xué),2012.

[3] 張艷玲，何慶中，王志鵬，等.管道檢測機器人的設(shè)計與開發(fā)[J].化工自動化及儀表,2012,39(3):323～324.

[4] 甘小明，徐濱士，董世運，等.管道機器人的發(fā)展現(xiàn)狀[J].機器人技術(shù)與應(yīng)用，2003,(6):5～10.

[5] Yang M D, Su T C.Segmenting Ideal Morphologies of Sewer Pipe Detects on CCTV Images for Automates Diagnosis[J].Expert System Application，2009,36(2):3562～3573.

[6] 蘇毅，易方，李著信，等.一種適用于管道機器人的新型螺旋驅(qū)動器[J].化工機械,2010,37(1):83～86.

[7] Mashford J,Rahilly M，Davis P.A Morphological Approach to Pipe Image Interpretation Based on Segmentation by Support Vector Machines[J].Automation in Constraction,2010,19(7):875～883.

[8] 孫文雅,李天劍，黃民.基于圖像處理的管道裂縫檢測[J].制造業(yè)自動化,2012,34(1):36～39.

[9] 呂春旺.海底管道的自主探測與識別技術(shù)研究[D].哈爾濱：哈爾濱工程大學(xué),2007.

[10] 宋志強,李著信,張鎮(zhèn).基于SVM的融合算法在管道裂紋缺陷漏磁信號特征識別的應(yīng)用研究[J].化工自動化及儀表,2011,38(5):536～539.

[11] 蔣芳.基于MATLAB的遙感圖像SVM分類系統(tǒng)實現(xiàn)[D].武漢：湖北大學(xué),2012.

ApplicationResearchofMachineVisioninFlawDetectionofSmall-sizePipes

SHAO Lei, HAN Xue, HE Tao,LI Ji, LIU Hong-li, CHEN Xiao-qi

(TianjinKeyLaboratoryforControlTheory&ApplicationsinComplicatedSystems,TianjinUniversityofTechnology,Tianjin300384,China)

A robot system for spiral pipes was designed to detect internal defects in small-size pipes, and the improved algorithm based on the robot system was proposed for image processing. Firstly, having the bilateral filter which combined with median filtering adopted to remove isolated noise points; secondly, having the threshold segmentation method of 2D maximum entropy taken for image segmentation and finally,having the characteristics of pipe defects based to extract their feature points for classification. Simulation results show that the proposed algorithm can extract defects’ information more completely.

pipeline flaw detection, pipeline robot, image processing, bilateral filtering,2D maximum entropy

TQ055.8

A

1000-3932(2016)11-1148-06

2016-09-18(修改稿)

天津市科技重大專項與工程項目(15ZXZNGX00140)；天津市應(yīng)用基礎(chǔ)與前沿技術(shù)研究計劃項目(16JCTPJC49400)