趙 恒，陳清淼，李成鋼，楊衛(wèi)星

(1. 國網(wǎng)江蘇省電力有限公司電力科學研究院，江蘇 南京 211103；2. 國網(wǎng)電力科學研究院武漢南瑞有限責任公司，湖北 武漢 430074)

開關、連接線、控制面板等電氣設備是發(fā)電機組、輸電線路、變電站、配電室、自動化機器、工業(yè)廠房和民用住宅的基本組件。在實際應用場景中，由于接線任務操作的復雜性、接線設計的可變性以及小批量或多頻次的重復接線操作，開關等電氣設備接線通常由人工手動操作完成。

在傳統(tǒng)的電氣裝配過程中，操作者需要從預先準備好的線圈中取出特定規(guī)格的導線，再將其金屬端子插入對應連接器或目標開關的插孔中。然而，現(xiàn)有的傳統(tǒng)人工接線方法主要面臨兩方面問題：一是接線過程十分依賴操作人員的技術(shù)水平，用工成本高且操作過程需要耗費大量時間和精力；二是接線工作存在較高危險性，電網(wǎng)接線操作人員通常需要帶電作業(yè)或在高空環(huán)境下進行接線操作，這對安全生產(chǎn)提出了極高要求。

實際上，隨著機器學習、大數(shù)據(jù)等技術(shù)的快速發(fā)展，市場上也出現(xiàn)了一些自動接線方法[2-5]，電網(wǎng)接線機器人是替代操作人員在不斷電、高空或狹小空間下更換線路零部件或進行電線連接操作的高度自動化設備[18-19]。例如，SYNDY機器人[6]可自動完成開關柜的接線操作，但受限于機械臂末端執(zhí)行器尺寸和移動性，該接線方法對開關柜中組件間的空間要求較高；KA自動接線系統(tǒng)可完成電線與螺絲釘?shù)膶?，然而該方法要求開關處于水平位置，對電氣設備的定位提出了較高要求，許多場景下并不能很好地完成接線操作；在Nguyen等人的研究工作中[1]，提出了一種基于計算機視覺的機器人自動接線方法。實際上，現(xiàn)有大多數(shù)機器人自動接線系統(tǒng)主要依賴機器視覺，但受操作空間、光線以及雜亂背景等因素影響，僅依靠視覺系統(tǒng)很難保證接線操作的準確性，該問題在開關柜等狹小空間中尤為突出。

綜上所述，為了克服傳統(tǒng)手動接線以及現(xiàn)有機器人自動接線方法的缺陷，研究如何以一種自動化方式完成狹小空間電氣設備接線操作，降低用工成本、讓操作人員遠離危險是十分有必要的。本文開發(fā)基于機器視覺[7-10]和觸覺傳感器[11-14]的機器人自動接線方法，該方法融合了視覺和觸覺兩種智能感知技術(shù)，兩者協(xié)同互補，機器視覺系統(tǒng)通過卷積神經(jīng)網(wǎng)絡識別電線端子、連接器等組件，觸覺傳感器則整合經(jīng)過訓練的多層感知機，通過量化導線與電氣組件間的碰撞來判斷電線是否準確接入[20-22]。本文提出的方法能夠在狹小空間中完成接線操作的自動識別、抓取和插入，通過現(xiàn)場試驗證明了自動接線方法的優(yōu)越性和有效性。

1 機器人自動接線任務描述

本文采用視覺-觸覺-機械臂工作模式，主要面向開關柜等有限作業(yè)空間的導線插入[23-25]。自動接線機器人由工業(yè)機械臂(帶機械手)、雙目攝像頭、觸覺傳感器和工控機等組件構(gòu)成[15-16]。兩個攝像頭分別位于機械臂的側(cè)面和正面近末端，側(cè)面攝像頭主要用于提供導線與連接器的近距離視圖，正面近末端攝像機可完成導線端識別和位置姿態(tài)估計，觸覺感知器位于機械臂末端，主要用于采集導線與連接器的碰撞信息，并通過多層感知機來判斷觸碰類別，指導導線準確插入接線器中，整個操作過程由視覺系統(tǒng)和觸覺系統(tǒng)協(xié)同完成。該機器人自動接線臂結(jié)構(gòu)如圖1所示。

圖1 機器人自動接線臂結(jié)構(gòu)

機器人在運動過程中會收集視覺信息和觸覺信息，為了完成導線端識別、抓握及插入等操作，本文采用了卷積神經(jīng)網(wǎng)絡和多層感知機算法來處理機械臂捕獲的視覺、觸覺信息，兩者協(xié)同互補，共同指導機械臂將導線插入開關柜內(nèi)部組件的連接器中。文中提出的基于機器視覺和觸覺傳感器的機器人自動接線方法具體可分為以下四個步驟：

(1)機械臂近末端攝像頭采集視頻圖像，利用自訓練卷積神經(jīng)網(wǎng)絡檢測導線端口，并通過三角測量法對導線端進行位姿估計；

(2)在步驟1基礎上，利用多層感知機(MLP)對觸覺感知器接收到的碰撞進行分類，判斷機械臂末端是否夾住導線；

(3)根據(jù)攝像頭提供的視覺信息調(diào)整導線端位置，使得導線與連接器盡可能在同一水平線；

(4)再次根據(jù)觸覺傳感器反饋的碰撞信息，利用預先訓練好的分類器對碰撞類型進行識別，最終將導線插入對應的連接器中。

基于上述四個步驟，可完成導線的識別、抓取和插入，整個自動接線過程如圖2所示，四個步驟依次進行，接線過程融合了視覺信息、觸覺感知、深度學習和機器學習算法，大大提高了接線效率和自動化水平。

2 融合機器視覺和觸覺感知器的自動接線算法

本節(jié)主要介紹文中提出的融合機器視覺和觸覺傳感器的自動接線算法，詳細論述算法中的每一個步驟，包括線端檢測、導線抓握、位置修正及插入。此外，本節(jié)還將介紹自動接線方法中機器視覺和觸覺感知系統(tǒng)中采用的深度學習模型和機器學習算法。

為了更好地展示自動接線過程，理解算法中各模塊的相關性，圖2展示了整個算法的流程。各部分之間相互關聯(lián)，呈遞進關系，共同支撐起機器人自動接線系統(tǒng)。

圖2 自動接線流程圖

2.1 基于Faster R-CNN的電線檢測及位姿估計

在實際應用場景中，開關柜中的電線通常以統(tǒng)一的排列方式存儲在線槽或某個區(qū)域中，機械臂的抓手可以抓住每根電線而不會與其他電線或障礙物發(fā)生碰撞。然而，由于電線自身可能的彎曲，機器人需要定位電線端口并以足夠的精度估計其姿態(tài)，以便后續(xù)抓取、修正等操作。

該模塊主要基于目標檢測網(wǎng)絡Faster R-CNN完成電線端口檢測。在本文中我們創(chuàng)新性地引入注意力機制，以便Faster R-CNN更準確地定位電線端口位置，圖3展示了該網(wǎng)絡的基本架構(gòu)。

圖3 引入注意力機制的Faster R-CNN目標檢測網(wǎng)絡結(jié)構(gòu)圖

接下來，通過訓練完成的深度神經(jīng)網(wǎng)絡來檢測導線端口的位置，并通過工控系統(tǒng)不斷變換機械臂位置，獲取多個2D檢測框信息。雖然某些高端攝像頭可以重建導線端口的3D信息，但這對攝像頭周圍的光線、背景等有很高要求，因此通過檢測網(wǎng)絡獲取的2D信息來從空間上重建目標對象的3D位置是更可靠的。在本節(jié)中，我們采用三角測量算法建立目標對象的3D坐標，理論上，如果我們已知圖像In中目標對象的齊次坐標yn，則只需要兩個視點即可獲得準確地三角測量結(jié)果。為了更準確的表示目標位置，本文將Faster R-CNN輸出的正方形檢測框的中心作為2D參考特征，對于不同角度的檢測，可以計算中心點的三角射線rn，即相機參考系中的單位向量，對應所選的二維特征如下：

rn=‖A-1yn‖

(1)

其中，A表示機械臂末端相機的內(nèi)部參考系矩陣，即相機自身位置參數(shù)，相機參考系中心cn與三角射線rn共同生成3D視圖。因此，給定一組線ln，最近的點O，即是與所有線的距離最小的點，可以通過如下公式計算：

(2)

為了驗證相機從不同角度獲取的圖像對最終的檢測結(jié)果的影響，本文通過相機與端口平行和正交兩個方向來獲取圖像，并掃描紅、黃、藍三種顏色的導線，試驗中從30個不同角度收集圖像，通常情況下，當相機平行于圖像平面時可以獲得最佳檢測結(jié)果。此外，為了評估相機與目標對象間距離對檢測結(jié)果的影響，我們使用蓋洛普等人提出的立體視覺誤差算法進行估量：

(3)

其中，η是估計誤差，d表示距離，f是機器人攜帶相機的焦距，b是基線，ηt是視覺誤差。由于可以通過移動機械臂來控制相機位姿，因此可以根據(jù)實際情況選擇不同的(d,b)組合，為了計算導線端口的3D位姿，我們首先定義如下泛型函數(shù)：

υ(y0,…,yn,C0,…,Cn)=O

(4)

υ(·)為函數(shù)體，y0到y(tǒng)n表示n個不同圖像的二維特征，該式主要用來表示導線端口的三維向量。此外，為了更準確和直觀地建立參考坐標系，本文提出四步參考系估計法：

1)在檢測的目標區(qū)域中引入自適應閾值，只保留大于閾值的檢測框；

2)對檢測區(qū)域圖像進行二值化處理，突出導線位置和姿態(tài)；

3)旋轉(zhuǎn)檢測區(qū)域，使得導線端口與放行檢測框最近的邊保持垂直；

4)對二值圖像進行正交回歸，估算最優(yōu)的擬合線：

L={x,y)|y=mx+q}

(5)

式中m和q分別表示回歸曲線的系數(shù)和偏差項。接下來，我們使用如下公式推斷導線端的二維參考系：

Hw=(yw,θw)=(yw,tan-1(m))

(6)

其中，Hw表示檢測到線端初始位置，θw表示檢測框的旋轉(zhuǎn)角度，m與公式(5)中的擬合系數(shù)相同，通過該式可得到中心齊次坐標yw，并基于公式(5)估計在機器人參考系中的3D位姿。最后，我們計算從不同視角收集的導線圖像的三維點：

Ow=υ(yw{1,…,n},C{1,…,n})

(7)

Oc=υ(yc{1,…,n},C{1,…,n})

(8)

其中，yc是從不同角度檢測到的導線端的齊次坐標。進一步，我們計算與導線終端對稱軸方向一致的單位向量以及：

(9)

線端位姿的最終估計如下：

(10)

其中，Vwz=Wwx×(±ux),ux=[1 0 0]T表示相對于機器人參考系的前進方向。

2.2 基于觸覺感知的導線抓握

眾所周知，當導線被機械手的中心位置抓握時，最容易將導線插入目標端口中。然而，這種理想情況往往很難實現(xiàn)，在真實場景中，導線末端處于自由空間，難免會觸碰到其他導線或障礙物。因此，本節(jié)主要在2.1節(jié)基礎上，基于已知的導線檢測和位姿估算結(jié)果，通過機器學習算法對導線與機械手的觸碰信息進行分類，進而判斷導線是否處于機械手的正確位置。

在本文中，我們選用多層感知機分類器(MLP)對觸覺感知信息進行分類。綜合考慮計算復雜度以及模型大小，MLP神經(jīng)網(wǎng)絡由一個輸入層、兩個隱藏層和一個輸出層組成，分別對應16、8、4和2個神經(jīng)元，具體結(jié)構(gòu)如圖4所示：

圖4 自搭建的多層感知機結(jié)構(gòu)圖

我們首先通過觸覺傳感器將觸碰信息量化成一個4×4矩陣，為了能夠?qū)?shù)據(jù)輸入多層感知機分類器，進一步將矩陣轉(zhuǎn)換成16維矩陣。模型輸出的是一組布爾值，b屬于0、1，1表示導線被抓握在一個合理的范圍內(nèi)，0表示機械手未正確抓握導線：

(11)

其中，θ(┻Hw)表示以二維參考系┻Hw為基準的角度，lmin和lmax是相對于機械臂允許范圍內(nèi)的導線終端的移動閾值。

2.3 導線端口位姿修正及插入

在導線端口位姿修正方面，本文利用距離指標來評估導線端口位姿對線插入的影響，并通過三維空間坐標系進行修正[15]。基于相機自身坐標系和機械手位置，抓取平面(即抓取后導線所在的平面)與插入處的距離可以由dw=camOzee得到，其中Ozee是相機坐標系中的z分量。得到dw值后，從齊次坐標到三維坐標系的轉(zhuǎn)換可通過公式(12)完成：

γ(y)=O=γ([αν1]T)=

(12)

其中，y=[αν1]T是二維坐標系下的齊次坐標，O是對應的三維坐標點，cx，cy，fx，fy分別是原始攝像機中的位置參數(shù)。因此，基于給定的接線端相對于機械臂末端的位置，根據(jù)上式可依次計算三維坐標系下的對應分量。參考三維坐標下的導線末端位置移動機械臂，使得導線與標準參考系保持相對一致。

在導線插入方面，為了檢測導線端口是否與接線端接觸，并在導線插入的最終階段修正導線軌跡，我們利用機器學習算法對觸覺傳感器傳回的碰撞矩陣進行分析。此外，在導線與其他物體碰撞過程中受向心力和切向力的共同作用，我們通過文獻[25]中描述的觸覺傳感器對力進行區(qū)分，因為它們分別與測量的壓力圖的對稱和不對稱變化有關。因此，在碰撞中，被抓物體(即導線)的運動方向與4×4分類矩陣提供的信號xt之間存在著很強的相關性?；诖?，xt被用于訓練回歸器，該回歸器能夠輸出用于表示觸覺傳感器中碰撞力大小的標量值。

為了選擇最優(yōu)回歸器，我們訓練了隨機森林(RF)，多層感知機(MLP)，支持向量回歸(SVR)三種機器學習模型，并從已知位姿和真實場景中收集碰撞數(shù)據(jù)，這些數(shù)據(jù)用于預測與沖撞力相關的真實值。圖5展示的是經(jīng)過1000組數(shù)據(jù)訓練不同回歸器得到的準確率曲線，表1展示的000是在均方誤差(MSE)和動態(tài)時間規(guī)整(DTW)上的結(jié)果。通過圖表展示的結(jié)果可以看出，MLP可以更準確地量化導線端與目標接線位置的碰撞信息。值得注意的是，本階段采用回歸器來量化碰撞信息，而不是簡單地進行分類，主要是為了區(qū)分實際碰撞與摩擦。

圖5 不同模型碰撞識別對比

表1 三個模型在MSE和DTW指標上的對比結(jié)果

3 自動接線任務評估

為了驗證本文提出的自動接線方法的有效性，我們選用開關柜作為實驗場所，不僅進行了整體接線實驗，還根據(jù)算法中的主要步驟進行了有針對性的消融實驗。

首先，我們評估視覺信息對導線末端檢測的有效性。在2.1節(jié)我們介紹了視覺特征提取模型，基于Faster R-CNN進行導線檢測，圖6的柱狀圖展示的是在各個開關柜上的準確率。從圖6中展示的對比結(jié)果可以看出，五個開關柜均達到了90%以上的檢測準確率，最高的4號開關柜為93.87%，受光線等因素影響，在各開關柜上的檢測準確率略有差異。

其次，我們評估觸覺信息對機械臂末端的導線抓握，以及在導線插入時對導線角度調(diào)整的影響。圖7展示的是在標準插線流程中，多層感知機的輸出，模型的原始輸入是觸覺傳感器收集到的碰撞數(shù)據(jù)。通過曲線變化可以看出，MLP在5個開關柜中其的輸出均超過了0.5的閾值，這證明通過觸覺傳感器的指導，機械臂末端在大多數(shù)情況下可以準確抓握導線，且僅需要25s左右的時間就可以達到穩(wěn)定抓握狀態(tài)。

圖6 改進的Faster R-CNN在各開關柜中導線識別率對比

此外，我們也進行了導線的角度調(diào)整實驗，圖8展示的是機械臂根據(jù)視覺信息以及三維坐標系對導線末端的角度調(diào)整，其中紅色虛線為坐標系的水平參考線，綠色線為機械臂抓握導線后的角度調(diào)整，藍色線為基于視覺信息的角度對正。通過曲線圖能夠很直觀的看到機器人能夠有效調(diào)整導線末端的角度，使得電線與參考系處于幾乎同一水平面，這給接下來的導線插入提供了良好基礎。

圖7 多層感知器在各開關柜中的碰撞檢測對比

圖8 機械臂對導線末端角度調(diào)節(jié)

最后，我們對整個自動接線流程進行測試，驗證本文提出的融合機器視覺和觸覺傳感器自動接線方法的有效性。實驗中，我們選用了直徑為2.5mm和3.0mm兩種尺寸的導線，選定五個開關柜，按照第二章介紹的算法分別完成兩種導線的接線操作，每個開關柜都對應15次實驗。受空間限制，表2僅展示了兩個開關柜的接線結(jié)果。

表2 在不同長度和角度前提下的自動接線情況

表中展示的是直徑3mm導線的接線實驗，其中e表示導線的偏斜角度，d表示導線超出機械臂末端的距離，p表示導線是否在機械臂的操作下準確插入接線孔，其中T表示準確插入，F(xiàn)表示未插入。通過上表列出的插入結(jié)果，自動接線的成功率被展示在表3中。

表3 各開關柜中自動接線成功率對比

通過在5個開關柜中全流程的自動接線實驗，平均接線成功率達到73.33%，開關柜4的成功率甚至達到80.00%。

基于以上實驗結(jié)果，充分證明了本文提出的自動接線方法的有效性，機器視覺和觸覺感知信息在機器人接線操作中發(fā)揮了重要作用。

4 結(jié) 論

為了提供機器人自動接線問題的解決方案，提出了融合機器視覺和觸覺傳感器的機器人自動接線方法。首先，基于改進的Faster R-CNN目標檢測模型對導線進行識別，從而實現(xiàn)對導線端口的定位，然后，根據(jù)觸覺傳感器獲取的碰撞信息，通過多層感知機(MLP)分類算法對碰撞類型進行判斷，以實現(xiàn)機械手對導線的準確抓握，最后，利用三維坐標系修正導線端口的位姿，并再次通過觸覺傳感器和帶有回歸器的MLP指導導線的最終插入。為驗證整體接線算法的有效性，基于開關柜場景進行一系列仿真實驗，所提出的方法能夠較為準確地完成導線與連接器的自動接線操作，這為開關柜等作業(yè)空間有限的工作場所提供了可靠保障，大大節(jié)省了人力，降低了人工作業(yè)風險。