鄭張　鄔春學　張生　林曉

摘 要： 在復雜空間的自動化裝配過程中，模塊與模塊安裝位置的安裝孔之間需要在孔位對準后用螺絲固定，針對這一問題，設計實現(xiàn)了一種精細對孔方法。該方法從安裝孔視頻流中定時讀取一幀圖像，在對圖像進行濾波去噪、邊緣檢測等操作后，采用最小二乘法檢測安裝孔圓心坐標信息，根據(jù)安裝孔之間的圓心距判斷安裝孔是否對準。實驗在0.062 5 mm的標定精度下，Hough圓變換和最小二乘法的圓心距檢測結果分別是0.125 mm和0.06 mm。實驗結果表明，在高精度的標定結果下，相比較Hough圓變換，最小二乘法能夠更好地檢測到安裝孔的圓心坐標信息并實現(xiàn)精細對孔，同時表明該精細對孔方法是可行的。

關鍵詞： 對準; 自動化裝配; 最小二乘法; Hough圓變換

文章編號： 2095-2163（2021）07-0106-07中圖分類號：TP399文獻標志碼： A

Fine alignment of hole in complex space assembly based on vision technology

ZHENG Zhang1， WU Chunxue1， ZHANG Sheng1， LIN Xiao2

（1 School of Optical-Electrical and Computer Engineering， University of Shanghai for Science and Technology， Shanghai 200093，

China; 2 College of Information and Electrical Engineering， Shanghai Normal University， Shanghai 201418， China）

【Abstract】In the automatic assembly process of complex space， the mounting holes of the module and module installation site need to be fixed with screws after the holes are aligned. Aiming at this problem， a fine hole alignment method is designed and implemented. This method reads a frame image from the video stream of the mounting hole at the same interval. After filtering， denoising， edge detection， and other operations for the image， the Least Square Method is used to detect the center coordinate information of the mounting hole， and judge whether the mounting hole is aligned according to the center distance between the mounting holes. Under the calibration accuracy of 0.062 5 mm， the test results of the center distance of Hough circle transform and Least Square Method are 0.125 mm and 0.06 mm respectively. The experimental results show that， compared with Hough circle transformation， the Least Square Method can better detect the information about the coordinate of the center of the mounting hole and realize the fine alignment of the hole. At the same time， it shows that the fine alignment method is feasible.

【Key words】alignment; automatic assembly; Least Square Method; Hough circle transformation

0 引 言

智能制造是當前制造業(yè)發(fā)展的重要目標之一，同時也還是一個多學科交叉的研究領域，早在上世紀九十年代，就已經(jīng)有人對智能制造技術與智能制造系統(tǒng)做出了相應的分析[1]。人工智能與智能制造之間也有著密切的聯(lián)系，在實現(xiàn)智能制造的過程中或多或少地都會運用到人工智能技術。智能制造今后的一個發(fā)展方向就是制造的自動化、智能化，同時，智能制造在當今社會中也顯得越來越重要[2-3]。本文研究的內(nèi)容就是為了更好地實現(xiàn)制造裝配過程中的自動化、智能化。

現(xiàn)如今，不論是在日常生活中、或是在工業(yè)生產(chǎn)中，自動化和智能化已在很多方面得到了廣泛的應用。例如，在一些復雜災害環(huán)境下，利用無人機進行自動自主搜救將能大大地提升搜救效率[4-5]。在石油開采方面，結合無人機的優(yōu)點，利用無人機航拍圖像，還實現(xiàn)了對現(xiàn)場工況的實時自動化檢測[6];在物流行業(yè)中，又提出了一種智能分配方法來實現(xiàn)物流終端的智能化分配[7]。

同樣，視覺技術在工業(yè)裝配中也發(fā)揮了很大作用。在工業(yè)裝配中定位抓取這一環(huán)節(jié)，目前即已研發(fā)實現(xiàn)了基于機器視覺技術的工件定位抓取[8-9]。在裝配過程中的孔位對準問題上，學界也已提出了機器人裝配中孔位對準的算法[10]。近年來，相關研究仍在進行中[11-12]。

分析可知，現(xiàn)實中復雜空間的特點是內(nèi)部結構復雜、布線空間狹窄、零部件數(shù)目多，待安裝模塊重量大。在傳統(tǒng)的手工作業(yè)下，由于缺乏有效的工裝，給裝配人員的操作帶來了極大的困難，在一定程度上也影響了裝配效率，嚴重時還可能會損壞物件或?qū)Σ僮魅藛T造成傷害。為了提高裝配效率，有必要實現(xiàn)自動化裝配。基于此，本文將針對復雜空間下的精細對孔問題展開如下研究論述。

1 模塊的自動化裝配

要實現(xiàn)基于機器視覺技術的機器人自動化裝配將會涉及到很多方面。在整個裝配過程中，視覺檢測技術主要體現(xiàn)在以下幾方面：

（1）能夠視覺識別出待安裝模塊并進行定位和抓取。

（2）能夠識別出周圍的障礙物，并使機械臂進行障礙物的躲避或停止運動。

（3）能夠視覺識別出安裝位置上的所抓取模塊的對應的安裝孔位。

（4）能夠識別出安裝位置周圍的障礙物，并能夠進行避障;對于障礙物較多完全阻礙機器人的運動情況下，機器人停止運動并給予報警提醒。

（5）在進行模塊的安裝過程中，能夠用視覺實時監(jiān)測判斷安裝的正確性，包括安裝的位置、安裝的方向、緊固件規(guī)格、直屬件等。

（6）不管是機器人主動裝配模式、還是被動輔助裝配模式，對安裝過程、安裝完畢的狀態(tài)，都能夠進行視覺拍照和錄像記錄。

（7）可以對一些指定的檢驗項進行拍照識別和檢測。

由以上幾點可以看出，在整個自動化裝配過程中，視覺技術起到了關鍵作用。機器人自動化裝配示意圖如圖1所示。由圖1可知，整個自動化裝配系統(tǒng)包括：自動化AGV移動平臺、機器人、末端執(zhí)行器、視覺系統(tǒng)、傳感器系統(tǒng)、數(shù)據(jù)采集和管理系統(tǒng)，機器人末端執(zhí)行器用于對設備的抓取。

本文設計研究的精細對孔技術是自動化裝配過程中的重要一步。在整個自動化裝配系統(tǒng)中，有預先設定好的一個空間數(shù)據(jù)庫，在此空間數(shù)據(jù)庫的基礎上可以進行機械臂的路徑規(guī)劃、避障、抓取、移動等步驟。本文研究的精細對孔是在已知模塊位置以及安裝位置的基礎上，實現(xiàn)模塊安裝孔與安裝位置孔位的精確對準。由于從空間數(shù)據(jù)庫中得出的坐標位置只能將模塊移動至安裝位置的大致范圍內(nèi)，存在一定的誤差。若在此情況下直接進行螺絲的緊固安裝很可能造成安裝失敗。因此本文研究設計了一種精細對孔方法，以保證整個安裝過程成功完成。

2 精細對孔方案

2.1 精細對孔要求及方案設計

在實現(xiàn)機器人自動化裝配的過程中，機械臂可以根據(jù)從空間數(shù)據(jù)庫中得到的移動路徑以及目標坐標將待安裝模塊抓取移動至安裝位置。但此時只是模塊安裝孔與安裝位置孔位的粗對準，不能保證緊固步驟的成功完成。本文根據(jù)實際需求，在安裝平面與模塊所在平面保持平行的基礎上實現(xiàn)精細對孔。安裝底座與待安裝模塊上的安裝孔直徑均為5 mm，在實際的裝配過程中，要求安裝底座安裝孔與模塊安裝孔兩孔位的圓心坐標之間的偏移量、即圓心距小于等于0.1 mm，在保證此距離的情況下，可以認為孔位已對準，后續(xù)的緊固螺絲安裝步驟同樣也能夠成功完成。

在待安裝模塊移動至安裝位置前，使用預先固定的相機采集安裝底座中安裝孔的圖像，檢測得出安裝底座安裝孔的圓心坐標信息，而后將待安裝模塊移動至安裝位置處，采集模塊中的安裝孔圖像，采用相同的算法檢測出模塊安裝孔的圓心坐標信息。依據(jù)兩孔位在水平以及豎直兩方向上的偏差，可將偏差距離轉(zhuǎn)換為空間數(shù)據(jù)庫中的坐標單位表示，從而指導機械臂移動，將安裝孔對準。安裝底板與待安裝模塊上安裝孔的實物圖分別如圖2（a）、圖2（b）所示。整個對孔操作的示意圖如圖3所示。

根據(jù)以上方案設計，得出如圖4所示的精細對孔流程圖。

2.2 相機標定

機器視覺問題的研究很重要的一點就是相機標定。本文研究的是自動化裝配過程中的孔位對準問題。對于孔位對準的問題，只需知道兩孔位之間的偏差即可，因此在標定時只需要測出圖像中像素值與實際尺寸之間的關系即可。本文將標準尺放置在相機可采集到的視野中，而后獲取標準尺的長度在圖像中所占的像素數(shù)，就可以得到實際尺寸與像素值之間的比例關系。設實際尺寸為D，實際尺寸所占的像素數(shù)為N，每個像素所代表的實際尺寸為k，則存在以下關系：

D=N·k（1）

3 精細對孔算法

3.1 圖像預處理

圖像預處理是對孔檢測的第一步操作，其處理效果的好壞將直接影響到后續(xù)圖像處理和分析的有效性和可靠性[13]。本文在圖像預處理中采用中值濾波方法。

例如在N×N的濾波器窗口中，設Gx，y為中值濾波后圖像中x，y位置的像素值，Med{}為求中值運算，則中值濾波的輸出表達式為：

Gx，y=Med{gx+n，y+m;

1-N/2≤n，m≤N-1/2}（2）

濾波器窗口大小的選取對濾波的結果有很大的影響，N取3，9時對模塊安裝孔的濾波結果如圖5（a）、圖5（b）所示。

3.2 基于Canny的邊緣檢測

邊緣是圖像的基本特征，往往存在于灰度差較大的區(qū)域，因此像素級的邊緣檢測方法都是利用灰度差的原理來檢測。

Canny[14]邊緣檢測算法的第一步是使用高斯濾波器對原圖降噪。由于圖像中的邊緣方向可能各不相同，因此在Canny算法中使用多個邊緣檢測的算子來檢測圖像中水平、垂直和對角邊緣，例如Sobel算子，這樣就可得到像素點的梯度G和方向theta。

經(jīng)過Sobel算子計算得到的圖像還需要進行非極大值抑制。將當前像素的梯度強度與其正負梯度方向上的像素進行比較，若當前像素的梯度較大則保留該邊緣點，否則抑制該邊緣點。

接下來，在Canny中會設置一個高閾值T1和一個低閾值T2。當像素的梯度大于高閾值T1時會被保留下來;當像素的梯度小于高閾值T1、大于低閾值T2時，只有當其與高于高閾值的像素連接時才被保留;當像素的梯度小于低閾值T2時，舍棄該邊緣。

本文在預處理的基礎上檢測邊緣，檢測后的邊緣信息將用于安裝孔圓心的檢測。在未經(jīng)二值化處理和經(jīng)過二值化處理后的Canny邊緣檢測結果如圖6（a）、圖6（b）所示。由圖6可見，經(jīng)過二值化處理的圖像有更多的邊緣信息被保留下來，但同時由于二值化圖像的輪廓較粗，安裝孔的內(nèi)外兩側都有邊緣信息檢測出。

3.3 孔位圓心坐標檢測算法

本文在邊緣檢測的基礎上分別采用最小二乘法和Hough圓變換法檢測安裝孔圓心坐標。

3.3.1 最小二乘圓擬合法

最小二乘法通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配，利用最小二乘法可以簡便地求得未知的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實際數(shù)據(jù)之間誤差的平方和為最小。最小二乘法可用于曲線擬合，如本文中用最小二乘法來擬合圓，這也是現(xiàn)在最為常用的擬合圓的方法之一。設圓的方程為：

本文在采用最小二乘法檢測安裝孔時，將采集到的安裝孔圖像依次進行去噪、邊緣檢測處理，將處理后的圖像進行檢測。檢測到的安裝孔及圓心如圖7所示。

3.3.2 Hough圓變換法

Hough變換是一種特征檢測技術，可用于在圖像中隔離特定形狀的特征的技術，例如檢測圖像中的直線、圓、橢圓等曲線形狀[15-17]，這一技術現(xiàn)已廣泛應用在圖像分析、計算機視覺等領域[18-20]。

Hough變換不論是檢測直線或是圓，都是將邊緣圖像中的點信息映射到一個參數(shù)空間中，標準的Hough圓變換算法中是一個三維累加器，每一個圓對應三維空間中的一個點，這就需要大量的計算。OpenCV中對標準的Hough圓變換算法進行了改進，稱為霍夫梯度法。在霍夫梯度法中，檢測一個圓分為估計圓心和估計半徑兩個步驟，對此可做闡釋分述如下。

（1）估計圓心

① 對原圖像進行Canny邊緣檢測，得到二值邊緣圖像。

② 對原圖進行一次Sobel算子計算，得出所有像素的梯度。圓上每一點的梯度方向都是指向圓心的方向。

③ 初始化每一個圓心累加器Na，b，令Na，b=0。

④ 對二值邊緣圖像中的每一個非零像素點，沿著梯度的方向作一條直線，若直線經(jīng)過累加器中的點a，b，則將累加器加一，即Na，b=Na，b+1。將直線經(jīng)過的所有累加器點都做如此處理。

⑤ 對累加器Na，b進行排序，累加器Na，b越大，則越可能是圓心。

（2）估計半徑

① 針對每一個得出的圓心，計算二值邊緣圖像中非零像素點與圓心之間的距離。

② 將距離進行排序，根據(jù)設定的閾值，選擇合適的半徑值。

③ 初始化半徑累加器Nr，令Nr=0。

④ 遍歷二值邊緣圖像中的非零像素點，若半徑相同，令Nr=Nr+1。

⑤ 累加器Nr值越大越可能是半徑，根據(jù)閾值，選擇合適的半徑。

本文在采用Hough圓變換檢測安裝孔時，將采集到的的安裝孔圖像依次進行去噪、二值化處理，將處理后的圖像進行檢測。檢測到的安裝孔及圓心如圖8所示。

4 實驗結果及分析

為了驗證精細對孔方案的正確性及可行性，本文模擬實際的裝配操作環(huán)境搭建實驗裝置。實驗中采取不同的相機安裝高度進行對比實驗，相機采集的圖像分辨率均為320×240。在第一組實驗中，相機能夠采集的水平視野范圍為24 mm，豎直視野范圍為18 mm，則水平和豎直兩個方向上每個像素所代表的實際尺寸為：

在第二組實驗中，相機能夠采集的水平視野范圍為20 mm，豎直視野范圍為15 mm，則水平和豎直兩個方向上每個像素所代表的實際尺寸為：

本文中精細對孔的要求是圓心距小于等于0.1 mm，因此0.075 mm和0.062 5 mm的標定精度是符合要求的。

4.1 圓心坐標檢測結果

在第一組實驗中最小二乘法和Hough圓變換檢測出的安裝底板上的安裝孔分別如圖9（a）、圖9（b）所示。

第一組實驗中，2種算法檢測出的底板安裝孔圓心坐標及模塊安裝孔檢測結果分別見表1～表3。表2和表3中，第四項是安裝孔已對準情況的檢測結果。

在二組實驗中，同樣采用2種算法先檢測安裝底板上的安裝孔。最小二乘法和Hough圓變換檢測的結果分別如圖10（a）、圖10（b）所示。

第一組實驗中，2種算法檢測出的底板安裝孔圓心坐標以及模塊安裝孔檢測結果分別參見表4～表6。表5和表6中，第四項是安裝孔已對準情況的檢測結果。

4.2 實驗結果分析

由實驗結果可知，在第一組實驗中，當實際安裝孔已對準時，2種算法的檢測結果誤差均大于0.1 mm，不符合檢測誤差要求。在第二組實驗中， Hough圓變換的檢測結果仍不符合0.1 mm的誤差要求，但在最小二乘法的檢測結果中，圓心距是0.06 mm，符合0.1 mm的誤差要求。

由2組實驗的對比分析可知，在0.062 5 mm的標定結果下，采用最小二乘法的檢測精度更高，能夠滿足精細對孔的誤差要求。同時由實驗結果可知，2組實驗中最小二乘法的檢測精度均高于Hough圓變換法。因此在實際裝配過程中將選擇最小二乘法作為檢測算法。

文獻[10]和文獻[12]都是對孔位中心對準的研究，本文將文中的實驗結果與文獻中的結果進行對比分析，3種方法的對比結果見表7。

根據(jù)表7中的數(shù)據(jù)可知，本文精細對孔的0.1 mm精度誤差是3種方案中要求最高的，同時在實際對準時，本文0.06 mm的誤差也是最優(yōu)的結果。

5 結束語

為了解決復雜空間環(huán)境下的模塊裝配問題，本文研究了一種基于視覺圖像技術的精細對孔方法，該方法在待安裝模塊已定位的基礎上實現(xiàn)待安裝模塊安裝孔與安裝底板安裝孔之間的孔位對準。實驗結果表明，在0.1 mm的圓心距誤差要求下，采用最小二乘法能夠更好地在復雜空間環(huán)境下檢測定位安裝孔并實現(xiàn)安裝孔的孔位對準。

參考文獻

[1]楊叔子，丁洪. 智能制造技術與智能制造系統(tǒng)的發(fā)展與研究[J].中國機械工程，1992，3（2）：15-18.

[2] 陶飛， 戚慶林. 面向服務的智能制造[J]. 機械工程學報， 2018， 54（16）：11-23.

[3]郭彩芬. 人工智能視角下的智能制造的發(fā)展[J]. 蘇州市職業(yè)大學學報， 2020， 31（01）：16-20.

[4]WU Chunxue ， JU Bobo ， WU Yan ， et al. UAVautonomous target search based on deep reinforcement learning in complex disaster scene[J]. IEEE Access， 2019， （7）：117227-117245.

[5]HU Qiuhong ， WU Chunxue ， WU Yan ， et al. UAVimage high fidelity compression algorithm based on generative adversarial networks under complex disaster conditions[J]. IEEE Access， 2019， 7：91980-91991.

[6]ZHOU Yu ， WU Chunxue ， WU Qunhui ， et al. Design andanalysis of refined inspection of field conditions of oilfield pumping wells based on Rotorcraft UAV technology[J]. Electronics， 2019， 8（12）：1504.

[7]WU Chunxue， WU Junjie， WU Yan. Design andanalysis of the task distribution scheme of express center at the end of modern logistics[J]. Electronics， 2019， 8（10）：1141.

[8] 劉正瓊， 萬鵬， 凌琳，等. 基于機器視覺的超視場工件識別抓取系統(tǒng)[J]. 機器人， 2018， 40（3）：294-300，308.

[9]MA Yanqin， LIU Xilong ， ZHANG Juan ， et al. Robotic grasping and alignment for small size components assembly based on visual servoing[J]. The International Journal of Advanced Manufacturing Technology， 2020， 106（11-12）：1-17.

[10]程艷花， 錢魯泓， 徐升，等. 機器人裝配中孔位對準算法的研究與實現(xiàn)[J]. 上海交通大學學報， 2016，50（S1）：83-85，89.

[11]吳禹均， 吳巍， 郭毓，等. 一種基于力覺的機器人對孔裝配方法[J]. 山東大學學報（工學版）， 2019， 49（5）：119-126.

[12]王晶， 高峰， 李婉越，等. 瞳孔中心點自動定位與對準裝置[J]. 光學精密工程， 2019， 27（6）：1370-1377.

[13]毛星云，冷雪飛，王碧輝，等. OpenCV3編程入門[M]. 北京：電子工業(yè)出版社， 2015.

[14]CANNY J. Acomputational approach to edge detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1986， PAMI-8（6）：679-698.

[15]BAILEY D ， CHANG Yuan， MOAN S L. Analysing arbitrary curves from the line Hough Transform[J]. Journal of Imaging， 2020， 6（4）：26.

[16]成浩， 崔文超. 基于Hough變換的橢圓檢測算法對比分析[J]. 軟件導刊， 2018， 17（9）：115-118.

[17]陳偉偉， 武偉. 基于Hough變換的直線和圓提取方法[J]. 電子質(zhì)量， 2019（2）：17-19.

[18]高霞， 全英匯， 阮鋒，等. 基于Hough變換的雷達密集轉(zhuǎn)發(fā)干擾抑制算法[J]. 系統(tǒng)工程與電子技術， 2019，41（12）：2730-2737.

[19]TIAN Yifei， SONG Wei， CHEN Long ， et al. Fastplanar detection system using a GPU-based 3D Hough Transform for LiDAR point clouds[J]. Applied Sciences， 2020， 10（5）：1744.

[20]苗丹， 盧偉， 高嬌嬌，等. 基于聚類與Hough變換的交通標志檢測方法[J]. 計算機系統(tǒng)應用， 2019， 28（11）：213-217.

基金項目： 國家重點研發(fā)計劃（2018YFB1702601）;國家重點研發(fā)計劃（2018YFC0810204）;上海科技創(chuàng)新行動計劃科研計劃項目（19511105103）;上?？萍紕?chuàng)新行動計劃項目（17511107203）;上?？萍紕?chuàng)新行動計劃項目（16111107502）;航天東方紅課題軍工項目（654b159b2385-006-001）。

作者簡介：? 鄭 張（1995-），男，碩士研究生，主要研究方向：計算機視覺、圖像處理; 鄔春學（1964-），男，博士，教授， 主要研究方向：計算機監(jiān)測與控制、網(wǎng)絡控制系統(tǒng)、無線自動巡檢系統(tǒng); 張 生（1968-），男，博士，高級工程師， 主要研究方向：工業(yè)自動化、計算機應用;林 曉（1978-），女，博士，教授， 主要研究方向：圖像處理、計算機視覺。

通訊作者： 鄔春學Email：wcx@usst.edu.cn

收稿日期： 2021-03-14