龔向陽,楊躍平,張明達,王思謹,江炯
(國網(wǎng)寧波市奉化區(qū)供電公司,浙江寧波 315506)
隨著機器人技術(shù)的不斷進步,其在醫(yī)療器械、電力巡檢、農(nóng)業(yè)生產(chǎn)等行業(yè)的應(yīng)用也越來越廣泛[1]。爬桿機器人是電力行業(yè)配網(wǎng)自動化過程中的重要角色,其與移動機器人有所不同,爬桿機器人需要攀爬物體表面才能完成移動動作。爬桿過程中通過拍攝視頻圖像對其進行識別與處理,進而做出判斷指令[2]。但在此過程中,對機器人捕捉到的圖像缺陷進行識別和處理是目前研究的難點與熱點[3-4]。在國外,有學(xué)者對缺陷視覺系統(tǒng)做出了相關(guān)研究,但其仍處于試驗階段,尚未進行工程實踐應(yīng)用[5-6]。在國內(nèi),文獻[7]應(yīng)用邊緣檢測算法對缺陷進行識別,并利用差分法檢測缺陷;文獻[8]通過增加機器人攝像頭的硬件配置,應(yīng)用改進的機器視覺算法進行物體表面缺陷檢測,從而取得良好效果。雖然上述研究均取得了一定的效果,但由于在實際工程中拍攝到的視頻或圖像受現(xiàn)場因素影響,故需要采用不同的技術(shù)處理不同的應(yīng)用場景,進而降低光線、角度、天氣等因素的影響[9-11]。因此需要結(jié)合電力爬桿機器人的爬桿特征,制定合適的圖像識別與處理方法。
該文根據(jù)電力爬桿機器人的實際需要,提出了一種圖像識別處理技術(shù)方案。在確定機器人在電桿上的位置后,提取出目標與樣本圖像的差異特征,并實現(xiàn)了不同灰度值圖像之間的識別;最終,對分割后的圖像進行缺陷提取,且在去除干擾信息后對相應(yīng)的區(qū)域進行描述。
電力爬桿機器人搭載四臺視頻攝像頭,全方位采集電桿表面的視頻數(shù)據(jù),同時利用圖像識別與處理技術(shù)實現(xiàn)數(shù)據(jù)的采集與處理,并通過損傷定位確定機器人在電桿上的位置。爬桿機器人由視覺系統(tǒng)、控制系統(tǒng)、動力系統(tǒng)組成:動力系統(tǒng)采用鋰電池供電、四輪驅(qū)動、用彈簧連接可跨越障礙,并可安裝不同直徑的車輪;視覺系統(tǒng)由攝像頭、存儲器、處理器組成,并將攝像頭拍攝到的圖像數(shù)據(jù)傳輸給控制系統(tǒng);控制系統(tǒng)通過無線網(wǎng)絡(luò)連接機器人,保證數(shù)據(jù)采集過程中的真實性[12-13]。
前期的數(shù)據(jù)采集過程采集的信息主要包括機器人的位置、角度、拍攝圖像等。在爬桿過程中還需要時刻檢查電池電量是否充足,并通過控制系統(tǒng)控制機器人行走,同時判斷視頻是否清晰[14]。安裝完電力爬桿機器人之后,系統(tǒng)能夠自動采集視頻信息,且對所處環(huán)境作出判斷與相應(yīng)的處理。
采集到的視頻信息由一系列圖像組成,可看成運動圖像。為提高圖像識別的精度,將視頻轉(zhuǎn)換為圖像處理,其目的是壓縮采集到的數(shù)據(jù)量。假設(shè)y(m,n)表示一組數(shù)字圖像,通過視頻轉(zhuǎn)換可得到的圖像表達式為:
其中,Δk表示圖像間隔幀數(shù),通常取Δk為30。
在圖像處理過程中,不同的場景對應(yīng)不同的信息,且絕大多數(shù)圖像信息均為RGB 圖像。為便于處理,通常將其轉(zhuǎn)換為HSV 圖像。從心理學(xué)的角度來看,HSV 空間更容易被人眼接受,且具備獨特的優(yōu)越性。
圖像閾值分割技術(shù)是最簡單的分割方法。該方法通過提取目標圖像與樣本圖像的差異特征,將灰度不同的兩類圖像組合,從而產(chǎn)生二值圖像。其適用于不同灰度值圖像之間的識別,并被廣泛應(yīng)用于圖像識別領(lǐng)域[15-16]。依據(jù)閾值的數(shù)量將圖像分割為單閾值與多閾值,其原理如下。
假設(shè)采集到的視頻圖像表示為y(m,n),經(jīng)過分割操作之后,圖像變?yōu)間(m,n)。令單閾值為T,將像素點小于T的像素點設(shè)置為0;將像素點大于或等于T的像素點設(shè)置為1。因此,采用下述函數(shù)對曲線進行變換:
基于圖像數(shù)據(jù)自動調(diào)整整個圖像的單閾值,使得目標圖像與原始圖像的背景分布具有明顯的差異性。該算法對計算能力有一定的要求,其算法流程如圖1 所示。
圖1 閾值分割算法流程
其迭代流程如下:
1)選擇初始值T0,其值取為圖像灰度值最大值與最小值的平均值;
2)將圖像分割為G1與G2兩部分;
3)計算G1與G2的平均灰度值;
4)重新計算閾值T,其值取為兩個平均灰度值的平均數(shù);
5)重復(fù)步驟2)-步驟4),直到滿足誤差要求為止;
6)利用最終的T值完成圖像分割,將不同背景區(qū)域值分開。
在完成爬桿機器人采集圖像背景分割后,需要利用分割后的圖像進行缺陷提取。選取電桿表面定期檢測數(shù)據(jù),坐標軸中用不同的區(qū)域表示不同的圖像特征,且區(qū)域內(nèi)亮度越高則表示灰度值越高。為確定目標類型,根據(jù)閾值進行分割。在缺陷處標明背景分割并計算干擾信息,采用形態(tài)學(xué)方法去除干擾信息,用描述子對區(qū)域進行描述。缺陷特征提取流程如圖2 所示。
圖2 缺陷特征提取流程
缺陷圖像中包含了噪聲等信息,且該類信息均不適用于后續(xù)的特征分析,故需要通過閉環(huán)運算剔除噪聲信息才能加以利用。形態(tài)學(xué)本質(zhì)上為集合論,通過一系列的元素表示圖像特征。二值圖像通常采用形態(tài)學(xué)的方法來描述,通過開運算與閉運算進行圖像處理,從而避免對圖像邊緣信息造成破壞。開運算和閉運算針對平滑的物體輪廓,結(jié)構(gòu)Y對X的開運算可表示為X°Y,其定義為:
上式的含義為:Y對X先進行腐蝕,然后進行膨脹。同理,類似的閉運算可表示為X·Y,其定義為:
即Y對X先進行膨脹,再進行腐蝕。
圖像經(jīng)過分割處理之后,需要進一步進行描述,使得特征描述適應(yīng)計算機的處理模式。根據(jù)缺陷區(qū)域的計數(shù)點判定缺陷的大小,假設(shè)z(x,y)為圖像灰度值,A為圖像缺陷區(qū)域,則該區(qū)域可表示為:
根據(jù)上述描述,可得到缺陷區(qū)域的表達式為:
隨機選取電桿缺陷部位,利用長與寬的比值對其進行描述。假設(shè)缺陷區(qū)域的長與寬分別表示為a、b,則其比值可表示為。
圖像的缺陷類型較多,可根據(jù)不同的分類標準對其進行分類,缺陷的大小影響電力爬桿機器人的識別效果。根據(jù)缺陷的嚴重性劃分可將缺陷分為一般缺陷和嚴重缺陷,其分類流程如圖3 所示。
圖3 缺陷分類流程
通過判別函數(shù)將特征空間分為不同類別的子空間,每個類別有兩個特征,可表示為二維函數(shù)如下所示:
式中,w為權(quán)重參數(shù),x1、x2分別表示模式特征的坐標變量。d(X)可用于判斷所屬類別,且該值決定了類的屬性,其對應(yīng)關(guān)系如下:
綜上所述,可得到圖像或視頻數(shù)據(jù)自動化處理流程,如圖4 所示。
圖4 圖像或視頻數(shù)據(jù)自動化處理流程
選取部分視頻采集數(shù)據(jù)作為測試的數(shù)據(jù)集,以視頻數(shù)據(jù)處理軟件為平臺,進行爬桿機器人圖像數(shù)據(jù)處理。實驗圖像視頻選取某次爬桿過程中的缺陷檢測數(shù)據(jù)項目,在該次實驗過程中采用爬桿機器人拍攝視頻。拍攝圖像中選取無損傷、輕微損傷、嚴重缺陷的電桿區(qū)域進行電桿表面缺陷檢測。
將采集到的視頻數(shù)據(jù)進行預(yù)處理、背景分割、缺陷提取、分類等操作,并對每一步驟的效果進行評價,逐步分析檢測過程中的情況。數(shù)據(jù)預(yù)處理包括數(shù)字視頻轉(zhuǎn)換成數(shù)字圖像和圖像預(yù)處理兩個步驟,以減小數(shù)據(jù)量并對不同信息數(shù)據(jù)進行處理與分析。
將處理之后的數(shù)據(jù)傳送到處理工具上,再進行表面缺陷檢測,判斷缺陷圖像,并與之進行對比分析以及評價其效果。通過檢測準確率衡量檢測的效果,準確率的計算公式如下:
式中,R表示檢測準確率,N表示實際檢測數(shù)量,S表示缺陷數(shù)量。
對檢測結(jié)果進行統(tǒng)計分析,可得到的準確率結(jié)果如表1 所示。從表中可以看出,應(yīng)用圖像識別處理技術(shù),識別準確率最低可達到95.0%。
表1 缺陷檢測準確率
為進一步驗證圖像處理算法的性能,設(shè)置第一組邊長為450 nm 和550 nm 以及第二組邊長為650 nm和750 nm 的矩形圖像對其進行測試。測試圖像的壓縮比以及圖像處理時間,進而判斷與原始圖像的差距。其中壓縮比為圖像原始大小與壓縮后圖像大小的比值,得到的測試結(jié)果如表2 所示。
從表2 中可以看出,由于前兩種方法未考慮譜間壓縮,因此文中方法的壓縮比相較前兩種方法的壓縮比更大,從而可以減小圖像的大小。而更大的壓縮比可以帶來時間上的優(yōu)勢,所以采用該文方法對圖像進行處理時,其處理時間相對更短,在工程應(yīng)用中更占優(yōu)勢。
表2 圖像處理壓縮對比
該文研究了面向電力爬桿機器人的圖像識別和處理技術(shù)[17-19],介紹了數(shù)據(jù)采集與預(yù)處理的背景分割方法,識別及處理的關(guān)鍵流程:數(shù)據(jù)預(yù)處理、背景分割、缺陷特征提取與分類、缺陷檢測結(jié)果。其中關(guān)鍵技術(shù)為缺陷圖像的特征提取與分類,通過實驗驗證了該文所述方法的有效性,且其具有較短的處理時間、較大的壓縮比以及較高的檢測精度。但所提方法的背景分割模塊中利用了采集視頻的整體特征,故當位置信息發(fā)生變化時,其檢測精度會下降。因此,下一步研究工作需要聚焦于動態(tài)變化過程時的高精度圖像識別與處理技術(shù)。