王向周，楊敏巍，鄭戍華，梅云鵬

（北京理工大學(xué) 自動(dòng)化學(xué)院，北京 100081）

角鋼塔作為輸電線路的重要組成部分，主材螺栓的緊固性對(duì)于鐵塔的防振動(dòng)性能和結(jié)構(gòu)穩(wěn)定具有重要作用. 目前，角鋼塔塔身螺栓緊固多采用人工高空作業(yè)的方式，效率不高且存在一定的安全隱患，使用自動(dòng)化設(shè)備替代人工可以減少安全事故發(fā)生[1]. 本文主要研究角鋼塔主材螺栓的檢測(cè)和粗定位，快速引導(dǎo)螺栓緊固機(jī)器人的機(jī)械臂移動(dòng)到待緊固螺栓上方，以實(shí)現(xiàn)螺栓的精準(zhǔn)定位. 目前，常用的目標(biāo)檢測(cè)方法可以分為三類：圖像處理、傳統(tǒng)的機(jī)器學(xué)習(xí)和深度學(xué)習(xí). SONG 等[2]提出了一種基于形態(tài)學(xué)和小波變換的邊緣檢測(cè)算法來(lái)識(shí)別螺栓，經(jīng)驗(yàn)證該算法能準(zhǔn)確識(shí)別螺栓結(jié)構(gòu)，但只能處理簡(jiǎn)單背景的圖像.RAMANA 等[3]使用傳統(tǒng)的機(jī)器學(xué)習(xí)算法Viola Jones檢測(cè)不同松動(dòng)程度下的螺栓，準(zhǔn)確率可達(dá)97%，但圖片中陰影、遮擋等情況會(huì)影響檢測(cè)效果. 相比之下，深度學(xué)習(xí)克服了上述缺點(diǎn)，可以從復(fù)雜圖像數(shù)據(jù)中學(xué)習(xí)高維特征，具有更強(qiáng)的魯棒性. ZHANG 等[4]為了改善傳統(tǒng)SSD 對(duì)小目標(biāo)不敏感的缺點(diǎn)，提出了一種改進(jìn)的基于多窗口多尺度融合的SSD 網(wǎng)絡(luò)，mAP 從0.360 提高到0.432. YANG 等[5]采用改進(jìn)的YOLOv3-tiny 網(wǎng)絡(luò)識(shí)別螺栓，mAP 從0.813 增加到0.839，但該方法只適用于相機(jī)垂直拍攝物體的角度. GE 等[6]針對(duì)角鋼塔螺栓在識(shí)別過(guò)程中易受遮擋的情況，用ResNet50 代替VGG16 骨 干網(wǎng)絡(luò)，mAP 從0.896 提高到0.924，但推理速度有限，識(shí)別一幀耗時(shí)2.64 s. 上述方法主要集中在目標(biāo)的二維定位上，采用機(jī)械臂緊固螺栓時(shí)，二維坐標(biāo)難于實(shí)現(xiàn)引導(dǎo)作業(yè)，目前常用的方法是利用神經(jīng)網(wǎng)絡(luò)對(duì)二維圖像進(jìn)行目標(biāo)檢測(cè)，然后通過(guò)立體視覺技術(shù)進(jìn)行三維定位. KANDA 等[7]利用YOLOv3 網(wǎng)絡(luò)檢測(cè)開關(guān)按鈕，用RGB-D 相機(jī)輸出的點(diǎn)云估算按鈕中心點(diǎn)的三維坐標(biāo)，經(jīng)驗(yàn)證當(dāng)開關(guān)表面與RGB-D 相機(jī)前表面平行，二者中心點(diǎn)相距80 cm 時(shí)，x、y、z方向的定位誤差分別為0.6，0.8 和0.8 cm. HAN 等[8]使用動(dòng)態(tài)模板匹配算法根據(jù)二維強(qiáng)度圖識(shí)別螺栓，達(dá)到99.4%的準(zhǔn)確率，RGB-D 相機(jī)在實(shí)驗(yàn)室條件下靜態(tài)測(cè)量精度為0.1 mm，列車運(yùn)行環(huán)境下動(dòng)態(tài)測(cè)量精度為0.5 mm. 但這些方法檢測(cè)的都是單個(gè)目標(biāo)，不需要確定多目標(biāo)的順序，不能滿足螺栓組緊固要求.

本文提出一種基于神經(jīng)網(wǎng)絡(luò)和RGB-D 相機(jī)的螺栓檢測(cè)及定位系統(tǒng)，采用輕量化的YOLOv5s-T 對(duì)螺栓進(jìn)行識(shí)別并篩選主材螺栓，通過(guò)英特爾?實(shí)感?深度攝像頭D435i 對(duì)主材螺栓進(jìn)行三維定位，同時(shí)將輸出的坐標(biāo)按照螺栓組緊固原則進(jìn)行排序，實(shí)現(xiàn)了6 自由度機(jī)械臂末端到螺栓緊固點(diǎn)的快速引導(dǎo).

1 系統(tǒng)方法

1.1 難點(diǎn)分析

圖1 為某角鋼塔塔身包括主材螺栓的5 個(gè)不同段位，框內(nèi)是規(guī)格為M24 的主材螺栓，框外六角螺栓的規(guī)格為M20. 如圖1 所示，角鋼塔主材螺栓型號(hào)單一且分布集中，可據(jù)此分為不同的螺栓組模板，從左到右依次為模板a、b、c、d、e，按照模板類型進(jìn)行螺栓緊固. 要準(zhǔn)確識(shí)別并定位主材螺栓，存在3個(gè)難點(diǎn)：神經(jīng)網(wǎng)絡(luò)具有龐大的參數(shù)量和計(jì)算量，搭載模型的硬件條件有限，故需要對(duì)網(wǎng)絡(luò)模型進(jìn)行輕量化操作；規(guī)格為M24 的主材螺栓與其他規(guī)格的螺栓差別不大，神經(jīng)網(wǎng)絡(luò)檢測(cè)時(shí)會(huì)檢測(cè)出所有規(guī)格的螺栓，需要篩選出主材螺栓；緊固一組螺栓時(shí)需要按照一定的順序分多次擰緊[9]，神經(jīng)網(wǎng)絡(luò)本身不具備目標(biāo)排序的功能，故要對(duì)所有主材螺栓的三維坐標(biāo)進(jìn)行排序.

圖1 主材螺栓組Fig. 1 Main material bolt set

1.2 螺栓檢測(cè)定位系統(tǒng)

角鋼塔螺栓檢測(cè)及定位系統(tǒng)總體方案如圖2 所示. 首先深度相機(jī)獲取彩色圖、深度圖和點(diǎn)云，利用深度信息去除彩色圖的背景，減少背景環(huán)境的干擾；然后將處理過(guò)的彩色圖送入YOLOv5s-T 網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測(cè)，利用主材螺栓選取算法保留模板內(nèi)主材螺栓的像素坐標(biāo)；最后結(jié)合點(diǎn)云獲取三維坐標(biāo)，利用螺栓排序算法進(jìn)行排序，并將排序后的坐標(biāo)保存到計(jì)算機(jī).

圖2 系統(tǒng)總方案Fig. 2 General scheme of system

1.3 RGB-D 相機(jī)

RGB-D 相機(jī)選用了英特爾?實(shí)感?深度攝像頭D435i，外形如圖3 所示，包括立體視覺模塊和顏色傳感器兩部分. 立體視覺模塊由左、右成像器和紅外投影儀組成，同時(shí)搭載了英特爾實(shí)感視覺處理器，使用主動(dòng)紅外立體技術(shù)來(lái)計(jì)算深度. 紅外投影儀投射不可見的靜態(tài)紅外圖案，以提高低紋理場(chǎng)景的深度精度，左、右成像器將數(shù)據(jù)發(fā)送到視覺處理器，處理器將左、右圖像相關(guān)聯(lián)，通過(guò)圖像上點(diǎn)之間的移動(dòng)來(lái)計(jì)算圖像中每個(gè)像素的深度值. 整個(gè)系統(tǒng)的坐標(biāo)系原點(diǎn)為顏色傳感器的物理光心，x軸、y軸和z軸的指向分別如圖3 所示. D435i 的各項(xiàng)技術(shù)規(guī)格如表1所示，由表1 可知，相機(jī)可在戶外使用，使用范圍滿足機(jī)械臂長(zhǎng)度要求，采用USB Type-C 接口，體積小、視場(chǎng)大、分辨率高且易安裝. 該相機(jī)采用了英特爾最新的深度感知硬件和軟件，集成度高，英特爾官方網(wǎng)站提供了跨平臺(tái)的開發(fā)軟件Intel RealSense SDK 2.0，為二次開發(fā)提供了豐富的接口.

圖3 英特爾?實(shí)感?深度攝像頭D435iFig. 3 Intel? RealSense? depth camera D435i

表1 技術(shù)規(guī)格Tab. 1 Technical specifications

2 實(shí) 現(xiàn)

2.1 YOLOv5s-T 網(wǎng)絡(luò)

YOLOv5 網(wǎng)絡(luò)模型共有YOLOv5s、 YOLOv5m、YOLOv5l 和YOLOv5x 4 個(gè)版本，不同的是網(wǎng)絡(luò)的寬度與深度. 大的模型實(shí)時(shí)性差但精度高，小的模型實(shí)時(shí)性好但精度差. YOLOv5s 雖為最小版本，但該模型本身較大，依舊不利于實(shí)際的工業(yè)場(chǎng)景應(yīng)用. 本文基于YOLOv5s 和常用的模型加速方法，提出了輕量化網(wǎng)絡(luò)模型YOLOv5s-T. YOLOv5s-T 保留原網(wǎng)絡(luò)YOLOv5s的整體結(jié)構(gòu)，如圖4 所示，輸入端用Mosaic 數(shù)據(jù)增強(qiáng)方法，主要思想是將4 張圖片進(jìn)行隨機(jī)裁剪，再拼接到一張圖上作為訓(xùn)練數(shù)據(jù)，在豐富數(shù)據(jù)集的同時(shí)提升網(wǎng)絡(luò)的訓(xùn)練速度，降低模型的內(nèi)存需求. 開頭用Focus 操作代替普通的下采樣，將每一個(gè)通道的圖片進(jìn)行切片，特征圖的尺寸減小為原來(lái)圖片的1/2，而通道數(shù)變?yōu)樵瓉?lái)的4 倍，其后加上一個(gè)3×3 的點(diǎn)卷積來(lái)改變特征圖的通道數(shù)，極大地保留了原圖的特征信息. 提取特征的骨干網(wǎng)絡(luò)選用CSPDarknet53，SPP結(jié)構(gòu)通過(guò)最大池化的方法進(jìn)行多尺度特征融合. 頭部網(wǎng)絡(luò)在特征金字塔網(wǎng)絡(luò)(feature pyramid networks，F(xiàn)PN)+路徑聚合網(wǎng)絡(luò)(path aggregation network，PAN)的基礎(chǔ)上，用CSPDarknet53 設(shè)計(jì)的C3 結(jié)構(gòu)代替普通的卷積網(wǎng)絡(luò)，加強(qiáng)網(wǎng)絡(luò)特征融合能力. FPN 結(jié)構(gòu)通過(guò)上采樣將深層的語(yǔ)義信息傳到底層，補(bǔ)充淺層的語(yǔ)義信息，PAN 結(jié)構(gòu)自底向上傳達(dá)強(qiáng)定位特征，從不同的主干層對(duì)不同的檢測(cè)層進(jìn)行特征聚合，最后用3 個(gè)檢測(cè)頭來(lái)進(jìn)行多尺度的預(yù)測(cè).

YOLOv5s-T 使用深度可分離卷積(depthwise separable convolution)和分組卷積(group convolution)結(jié)合通道混洗(channel shuffle)操作對(duì)網(wǎng)絡(luò)進(jìn)行輕量化，如圖4 所示，將YOLOv5s 網(wǎng)絡(luò)Unit 和Res Unit 中的1×1 標(biāo)準(zhǔn)卷積修改為分組卷積，3×3 標(biāo)準(zhǔn)卷積轉(zhuǎn)換為

圖4 YOLOv5s 和YOLOv5s-T 網(wǎng)絡(luò)結(jié)構(gòu)Fig. 4 The network structures of YOLOv5s and YOLOv5s-T

2.2 主材螺栓的選取

表2 模板內(nèi)主材螺栓的實(shí)際個(gè)數(shù)Tab. 2 The actual number of bolts in the template

2.3 主材螺栓排序

在高強(qiáng)度螺栓連接中，彈性相互作用影響較大，螺栓的預(yù)緊力也會(huì)有大幅度降低，為了減輕這種影響，螺栓組要按照一定的順序分多次擰緊其中的螺栓. 分次擰緊螺栓時(shí)只改變扳手的扭矩，不改變螺栓組中螺栓的緊固順序. YOLOv5s-T 網(wǎng)絡(luò)按照置信度高低的順序輸出坐標(biāo)信息，不符合螺栓組的緊固規(guī)則，需要對(duì)模板內(nèi)的主材螺栓重新排序. 5 個(gè)模板主材螺栓的分布均呈平行四邊形，如圖5 所示，按照先中間后兩邊、對(duì)角就近的原則對(duì)螺栓組進(jìn)行緊固，圖片中螺栓上方的數(shù)字為模板螺栓組的緊固順序.

主材螺栓排序前需要確定螺栓組模板，不同模板排序算法實(shí)現(xiàn)不同但理念相同，即根據(jù)主材螺栓間的距離關(guān)系重新排序. 由圖5 可知，模板c 和模板e(cuò) 主材螺栓緊固順序相同，所以可歸為一類. 以模板a 為例，先找出最大距離對(duì)應(yīng)的兩顆螺栓，由于所有模板內(nèi)主材螺栓分布均呈中心對(duì)稱狀，故任選其中一顆作為第一顆螺栓記為6 號(hào)，然后從剩下的螺栓中找到距離6 號(hào)螺栓最近的一顆螺栓，記為3 號(hào)；再?gòu)氖Ｏ碌穆菟ㄖ姓业骄嚯x3 號(hào)螺栓最近的一顆螺栓，記為2 號(hào)，以此類推，直到所有螺栓都被編號(hào)，其他模板排序算法理念與之相同. 根據(jù)螺栓序號(hào)保存主材螺栓的三維坐標(biāo).

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

受到實(shí)驗(yàn)室條件和角鋼塔螺栓組模板數(shù)據(jù)量的限制，用自制的5 個(gè)螺栓紙板模擬螺栓組模板驗(yàn)證系統(tǒng)的各項(xiàng)性能. 如圖6 所示，從左到右依次為模板a、b、c、d、e. 數(shù)據(jù)集是從不同角度、不同距離和不同背景下采集的5 個(gè)模板圖片，共1 150 張，通過(guò)調(diào)整亮度和仿射變換的方法進(jìn)行數(shù)據(jù)增強(qiáng)，將數(shù)據(jù)集擴(kuò)充到4 600 張. 利用圖像標(biāo)注工具LabelImg 進(jìn)行人工標(biāo)注，并按照6∶2∶2 的比例將圖片分為訓(xùn)練集、驗(yàn)證集和測(cè)試集.

3.2 實(shí)驗(yàn)細(xì)節(jié)

視覺采集系統(tǒng)由英特爾?實(shí)感?深度攝像頭D435i 及其自帶的三腳架、USB 線和自制的螺栓紙板組成. 數(shù)據(jù)在服務(wù)器上訓(xùn)練，硬件配置為帶兩塊顯卡的LT-6 028 GPU 服務(wù)器，其中顯卡型號(hào)為GeForce GTX 1080 Ti，內(nèi)存均為11 G，操作系統(tǒng)為Ubuntu 16.04.模板和螺栓的檢測(cè)、定位在電腦端實(shí)現(xiàn)，電腦配置為Intel(R) Core(TM) i5-10210Y CPU. 系統(tǒng)運(yùn)行所配置的軟件為python3.7.9，torch 1.8.0+cpu. 實(shí)驗(yàn)用到了OpenCV 圖形開發(fā)庫(kù)和系統(tǒng)基本依賴以及RGB-D 相機(jī)的API 接口Intel Realsense SDK 2.0 和標(biāo)定軟件Intel Realsense CalibrationTool API 2.11.0.0 等.

為了加快模型收斂，網(wǎng)絡(luò)在訓(xùn)練時(shí)使用官方提供的預(yù)訓(xùn)練權(quán)重文件初始化部分網(wǎng)絡(luò)權(quán)重參數(shù). 使用SGD 優(yōu)化器進(jìn)行參數(shù)更新，余弦退火方式進(jìn)行學(xué)習(xí)率衰減，學(xué)習(xí)率初值設(shè)置為0.01，動(dòng)量為0.937，訓(xùn)練的類別數(shù)量設(shè)置為6，迭代次數(shù)為60，批數(shù)量為32，圖片分辨率設(shè)置為640×480.

3.3 實(shí)驗(yàn)結(jié)果與分析

3.3.1 模型性能

實(shí)驗(yàn)采用mAP@0.5、mAP@0.5:0.95 兩個(gè)評(píng)價(jià)指標(biāo)來(lái)評(píng)估網(wǎng)絡(luò)模型的檢測(cè)性能，用訓(xùn)練參數(shù)量T、浮點(diǎn)運(yùn)算數(shù)F和攝像頭實(shí)時(shí)檢測(cè)速率v來(lái)評(píng)估模型的復(fù)雜度.

表3 為YOLOv5s-T、YOLOv5s、YOLOv3 和SSD的檢測(cè)結(jié)果，相對(duì)于原來(lái)的YOLOv5s 模型，本文提出的YOLOv5s-T 的mAP@0.5 降低0.02，mAP@0.5∶0.95 降低0.03，T減少36.2%，F(xiàn)減少42.1%，v提高31%；與YOLOv3 相比，YOLOv5s-T 的mAP@0.5 提高0.20，mAP@0.5∶0.95 提高0.23，T減少92.7%，F(xiàn)減少71.0%，v提高445%；與SSD 相比，YOLOv5s-T 的mAP@0.5 提高0.27，mAP@0.5∶0.95 提高0.30，T減少81.5%，F(xiàn)減少69.1%，v提高342%. 綜合考慮模型的準(zhǔn)確度和復(fù)雜度，選擇輕量化模型YOLOv5s-T.

表3 檢測(cè)結(jié)果Tab. 3 Detection result

3.3.2 定位性能通過(guò)e對(duì)系統(tǒng)的定位性能進(jìn)行分析，以模板b 為例，螺栓用排序之后的序號(hào)表示，如圖5(b)所示，計(jì)算相鄰螺栓間的距離. 為了保證數(shù)據(jù)的可靠性，每組實(shí)驗(yàn)重復(fù)10 次，取平均值. 結(jié)果如表4 所示，忽略螺栓模板制造工藝的誤差，相鄰螺栓間距離的最大誤差不超過(guò)3 mm，平均誤差不超過(guò)1 mm.

表4 定位誤差Tab. 4 Location error

3.3.3 主材螺栓排序

螺栓組模板固定不動(dòng)，將RGB-D 相機(jī)置于螺栓組模板的不同方位對(duì)主材螺栓進(jìn)行排序. 以模板b為例，圖7 為RGB-D 相機(jī)正對(duì)螺栓組模板時(shí)的三視圖，設(shè)RGB-D 相機(jī)前表面中心點(diǎn)為Oc，螺栓組模板前表面中心點(diǎn)為Ot，兩點(diǎn)間的距離l為0.7 m. 實(shí)驗(yàn)分為3 組，固定螺栓組模板不動(dòng)，分別在x-O-y、y-O-z、z-O-x平面內(nèi)旋轉(zhuǎn)RGB-D 相機(jī)，驗(yàn)證RGB-D 相機(jī)在不同角度下拍攝螺栓組模板時(shí)主材螺栓排序算法的性能. 第1 組以RGB-D 相機(jī)正對(duì)螺栓組模板的x軸為基準(zhǔn)線，Oc為旋轉(zhuǎn)中心，將RGB-D 相機(jī)的機(jī)身在x-Oy平面旋轉(zhuǎn)一定的角度，如圖7(a)所示，旋轉(zhuǎn)后的x軸與基準(zhǔn)線間的夾角為α；第2 組以RGB-D 相機(jī)正對(duì)螺栓組模板的z軸為基準(zhǔn)線，Ot為旋轉(zhuǎn)中心，l為半徑，將RGB-D 相機(jī)在y-O-z平面旋轉(zhuǎn)一定的角度，如圖7(b)所示，旋轉(zhuǎn)后的z軸與基準(zhǔn)線之間的夾角為β；第3 組以RGB-D 相機(jī)正對(duì)螺栓組模板的z軸為基準(zhǔn)線，Ot為旋轉(zhuǎn)中心，l為半徑，將RGB-D 相機(jī)在z-O-x平面旋轉(zhuǎn)一定的角度，如圖7(c)所示，旋轉(zhuǎn)后的z軸與基準(zhǔn)線之間的夾角為γ. 其他螺栓組模板的實(shí)驗(yàn)設(shè)計(jì)與此相同，對(duì)5 個(gè)螺栓組模板的主材螺栓進(jìn)行排序，每組實(shí)驗(yàn)重復(fù)ns次，統(tǒng)計(jì)每個(gè)螺栓組模板正確排序的次數(shù)nr，則螺栓組模板的正確排序率

圖7 模板b 主材螺栓排序三視圖Fig. 7 Three views of sorting of main material bolts of template b

RGB-D 相機(jī)在各個(gè)平面內(nèi)旋轉(zhuǎn)后螺栓組模板的正 確 排 序 率 如 表5～表7 所示，ηa、ηb、ηc、 ηd、 ηe分別表示模板a、b、c、d、e 的正確排序率，當(dāng)RGB-D 相機(jī)正對(duì)著螺栓組模板，即α、β、γ都為0°時(shí)，每個(gè)螺栓組模板的正確排序率均在95%以上. 由于神經(jīng)網(wǎng)絡(luò)存在一定的誤檢，螺栓檢測(cè)不準(zhǔn)確導(dǎo)致無(wú)法確認(rèn)螺栓組模板類別. 此外，深度相機(jī)還受物體顏色和表面光滑度的影響，深色物體對(duì)紅外光的吸收能力非常強(qiáng)，導(dǎo)致投射在深色物體上的部分紅外光無(wú)法返回，左、右成像器因?yàn)闊o(wú)法接收到返回的紅外光，也就無(wú)法測(cè)量物體的深度. 漫反射是物體可以清晰成像的基礎(chǔ)，當(dāng)物體表面過(guò)于光滑時(shí)發(fā)生鏡面反射，此時(shí)只有當(dāng)被測(cè)物體位于深度相機(jī)的發(fā)射端和接收端的中垂線時(shí)，才能接收到反射光線，故當(dāng)物體表面超過(guò)一定的光滑度時(shí)，深度相機(jī)測(cè)量精度會(huì)急劇下降，甚至無(wú)法測(cè)量深度. 由于上述原因，實(shí)驗(yàn)的100幀圖片中存在極個(gè)別螺栓組模板無(wú)法被正確排序的情況.

表5 x-O-y 平面模板正確排序率Tab. 5 The correct sorting rate of templates in the x-O-y plane

如表5 所示，當(dāng)RGB-D 相機(jī)在x-O-y平面旋轉(zhuǎn)時(shí)，模板b、c、d 不受旋轉(zhuǎn)角度的影響，正確排序率均在95%以上；當(dāng)α=60°或者α=-30°時(shí)，模板a 的正確排序率為0；當(dāng)α=30°或者α=-60°時(shí)，模板e(cuò) 的正確排序率為0. 如圖8(a)所示，受到目標(biāo)檢測(cè)框形狀的限制，其他規(guī)格的螺栓在旋轉(zhuǎn)RGB-D 相機(jī)后也被包含在模板內(nèi)，檢測(cè)的主材螺栓個(gè)數(shù)會(huì)大于實(shí)際模板主材螺栓個(gè)數(shù)，無(wú)法確定模板類型，進(jìn)而不能執(zhí)行下一步排序操作. 如表6、表7 所示，當(dāng)RGB-D 相機(jī)在y-O-z平面旋轉(zhuǎn)，即-60°＜β＜60°時(shí)，5 個(gè)螺栓組模板的正確排序率均在95%以上. 當(dāng)RGB-D 相機(jī)在z-O-x平面旋轉(zhuǎn)，即-60°＜γ＜-60°時(shí)，5 個(gè)螺栓組模板的正確排序率均在95%以上. 當(dāng)RGB-D 相機(jī)在y-O-z和z-O-x平面內(nèi)旋轉(zhuǎn)時(shí)，隨著旋轉(zhuǎn)角度絕對(duì)值的進(jìn)一步增大，圖片中的螺栓開始相互遮擋，螺栓檢測(cè)框出現(xiàn)重疊現(xiàn)象，如圖8(b)所示，相鄰螺栓間的距離測(cè)量產(chǎn)生較大誤差，影響螺栓組模板正確排序.

表6 y-O-z 平面模板正確排序率Tab. 6 The correct sorting rate of templates in the y-O-z plane

表7 z-O-x 平面模板正確排序率Tab. 7 The correct sorting rate of templates in the z-O-x plane

圖8 螺栓組模板無(wú)法被正確排序的兩類情況Fig. 8 Two situations when bolt group templates cannot be sorted correctly

4 結(jié) 論

針對(duì)角鋼塔主材螺栓檢測(cè)與定位問(wèn)題，結(jié)合輕量化的YOLOv5s-T 網(wǎng)絡(luò)和英特爾?實(shí)感?深度攝像頭D435i，提出了角鋼塔主材螺栓的檢測(cè)與定位系統(tǒng). 通過(guò)一系列對(duì)比試驗(yàn)，驗(yàn)證了輕量化網(wǎng)絡(luò)模型YOLOv5s-T 在基本不降低mAP 的情況下，推理速度提高31%. 通過(guò)比較相鄰螺栓的測(cè)量距離與真實(shí)距離，驗(yàn)證系統(tǒng)的平均誤差不超過(guò)1 mm. 對(duì)主材螺栓排序算法進(jìn)行驗(yàn)證，發(fā)現(xiàn)當(dāng)RGB-D 相機(jī)正對(duì)螺栓組模板時(shí)，螺栓組模板的正確排序率不低于95%. 在x-O-y平面旋轉(zhuǎn)RGB-D 相機(jī)時(shí)，螺栓組模板的正確排序率會(huì)受到模板類別和旋轉(zhuǎn)角度的影響. 在y-O-z和z-O-x平面旋轉(zhuǎn)RGB-D 相機(jī)時(shí)，當(dāng)旋轉(zhuǎn)角度絕對(duì)值小于60°，螺栓組模板的正確排序率在95%以上.

角鋼塔主材螺栓的檢測(cè)與定位系統(tǒng)實(shí)現(xiàn)了角鋼塔主材螺栓的實(shí)時(shí)檢測(cè)、三維定位和重新排序等功能，為快速導(dǎo)引6 自由度機(jī)械臂末端到達(dá)螺栓緊固點(diǎn)進(jìn)行精確定位的二次成像及緊固作業(yè)奠定了基礎(chǔ).