朱前成 賽 音 熊珍琦 韓維群 呂韞琦

?

基于雙目視覺定位的機器人自動制孔系統(tǒng)研究

朱前成1賽 音2熊珍琦1韓維群1呂韞琦1

（1. 北京航星機器制造有限公司，北京 100013；2. 空軍裝備部駐北京地區(qū)第二軍事代表室，北京 100013）

為了解決傳統(tǒng)機器人自動制孔系統(tǒng)在自動化生產(chǎn)線中適應(yīng)性的問題，實現(xiàn)制孔對象在機器人自動制孔工位快速自動流轉(zhuǎn)的同時保證制孔精度，提出了一種基于雙目視覺定位的機器人自動制孔方法。該套系統(tǒng)以現(xiàn)場總線的方式將機器人本體、制孔末端執(zhí)行器、自動物流車、雙目視覺測量系統(tǒng)及其他附屬設(shè)備集成在一起，實現(xiàn)對加工件的自動制孔。介紹了其中的末端執(zhí)行器設(shè)計、雙目視覺測量系統(tǒng)、機器人離線編程和系統(tǒng)集成控制。試驗表明，該套系統(tǒng)末端定位精度±0.3mm，制孔垂直精度±0.5°，孔徑精度H8。

機器人制孔；末端執(zhí)行器；離線編程；雙目視覺；集成控制

1 引言

隨著柔性化、自動化和數(shù)字化裝配技術(shù)的快速發(fā)展，基于工業(yè)機器人的研究應(yīng)用已經(jīng)取得了顯著進展。其中，以機器人自動制孔為代表的智能裝備已經(jīng)成為我國傳統(tǒng)制造業(yè)轉(zhuǎn)型升級的推進器[1]。與此同時，《中國制造2025》中明確指出要建設(shè)生產(chǎn)過程數(shù)字化和智能化的制造車間[2]。而航空航天裝備產(chǎn)業(yè)作為《中國制造2025》十大重點發(fā)展領(lǐng)域之一，已經(jīng)有越來越多的科研院所將機器人自動制孔裝備引入到航空航天的生產(chǎn)制造過程中。

目前，機器人自動制孔裝備在航空飛行器制造領(lǐng)域中已經(jīng)得以成熟應(yīng)用。國外已經(jīng)有成熟的產(chǎn)品和專業(yè)制造商：美國EI公司、德國Broetje公司等[3～5]。國內(nèi)自動制孔技術(shù)也取得了一定的進展，但系統(tǒng)均為單一的加工點，工件裝卸麻煩且不能適應(yīng)生產(chǎn)線中對自動運輸?shù)囊骩6,7]。

離線編程作為機器人自動制孔系統(tǒng)研究的核心之一，能夠顯著減少示教編程所需要的時間成本，且有利于提高工作人員的舒適度。目前比較成熟的離線編程軟件有KUKA的KUKA Sim、FANUC的FUNACWorks、ABB的Robot Studio等。國內(nèi)的浙江大學(xué)等高校對機器人離線編程的研究主要集中在二次開發(fā)方面，但還未研究出適應(yīng)多品種、小批量、操作友好靈活的成果。

以制孔為例，現(xiàn)階段在航空航天產(chǎn)品制造中完成制孔仍主要采用傳統(tǒng)的手工作業(yè)，操作員的經(jīng)驗和身體狀態(tài)都會對加工孔的一致性產(chǎn)生負面作用。為了滿足我國航空航天產(chǎn)品安全批產(chǎn)的迫切需求，解決手工制孔效率低、一致性差等問題，引入機器人自動制孔裝備將是必然趨勢。同時，傳統(tǒng)的機器人自動制孔裝備僅僅作為單一的制造點，無法適應(yīng)自動化物流生產(chǎn)線的建設(shè)要求，嚴重影響了生產(chǎn)效率的提高。

當前航空航天產(chǎn)品已不滿足于只解決有無和裝備數(shù)量的問題，更迫切需要提升和保證新裝備的高性能、高精度等更加復(fù)雜的性能指標，有效提高航空航天產(chǎn)品可靠性和使用效能。為了建設(shè)“自動化、數(shù)字化、網(wǎng)絡(luò)化、智能化”的智能制造車間，推動航空航天產(chǎn)品智能制造向新模式改變，實現(xiàn)核心智能制造裝備在智能制造車間的推廣應(yīng)用，本文提出一種既能適應(yīng)自動化生產(chǎn)線中的物流運輸又能保證制孔精度的機器人自動制孔系統(tǒng)。該系統(tǒng)主要由制孔機器人、多功能末端執(zhí)行器、自動運輸車、視覺定位系統(tǒng)等組成，自動運輸車負責(zé)制孔對象在機器人制孔工位的自動流轉(zhuǎn)，視覺定位系統(tǒng)用于在線補償自動運輸車的運動誤差，多功能末端執(zhí)行器在制孔機器人的帶動下，完成對制孔對象的自動加工。

2 多功能末端執(zhí)行器設(shè)計

末端執(zhí)行器作為機器人制孔系統(tǒng)的執(zhí)行機構(gòu)，始終是機器人制孔系統(tǒng)設(shè)計的重點和難點。針對輕載機器人末端執(zhí)行器的設(shè)計難點，同時兼顧到末端執(zhí)行器對制孔、壓緊和法向識別的要求，對上述功能分別進行設(shè)計并集成。

2.1 框架模塊

圖1 末端執(zhí)行器與機器人連接示意圖

框架模塊是末端執(zhí)行器上各功能部件的承載體，同時負責(zé)與機器人末端法蘭盤固定連接，如圖1所示。

2.2 制孔模塊

自動制孔模塊是末端執(zhí)行器的核心功能部件，如圖2所示。其中，高速電主軸通過導(dǎo)軌滑塊實現(xiàn)在導(dǎo)軌上的滑動；進給伺服電機帶動電主軸實現(xiàn)規(guī)定距離的高精度移動。該模塊出于柔性加工的考慮，同時對制孔模塊進行快速自動換刀設(shè)計。

圖2 制孔模塊設(shè)計

2.3 壓力腳模塊

由于在鉆孔過程中，需要固定工件，防止工件出現(xiàn)振動，影響孔的質(zhì)量，因此制孔前，制孔末端執(zhí)行器需對工件施加一定的壓緊力。施加的壓緊力可以增加系統(tǒng)的剛度，有效提高孔質(zhì)量。同時綜合考慮機器人末端負載限重問題，進行輕量化設(shè)計，使壓力腳模塊和制孔模塊共用導(dǎo)軌，如圖3所示。

圖3 壓力腳模塊

2.4 法向檢測模塊

由于待加工件大部分為曲面部件，尺寸不一致，制孔點處的法向量難以直接測量，同時為避免損傷待加工件蒙皮的表面質(zhì)量，因此只能采用間接測量計算制孔點的法向量。本文采用4個激光測距傳感器，利用微球面法測量制孔點處的法線方向。如圖4所示，將4個激光傳感器對稱分布在壓力腳模塊的支撐板上，激光傳感器發(fā)射點在同一圓周上，在待加工件表面上的投射點在同一圓球面上。經(jīng)過曲面法線測量算法，計算出制孔點處的曲面法線。

圖4 法向檢測模塊

3 視覺定位系統(tǒng)

隨著視覺識別技術(shù)的快速發(fā)展，機器視覺技術(shù)在自動化生產(chǎn)中逐漸得到應(yīng)用，在補償機器人絕對定位精度方面起到重要作用[8]。作為一種機器視覺測量技術(shù)，雙目視覺是利用視差原理從不同位置對被測物進行拍攝并獲取不同位置角度圖像，然后計算比較兩幅圖像對應(yīng)點間的位置偏差，進一步獲取物體三維信息的方法。與單目視覺測量相比，雙目視覺能夠測量被測物的三維立體信息且測量精度更高，更適合用在生產(chǎn)制造現(xiàn)場。但在傳統(tǒng)的設(shè)計方式中，視覺測量系統(tǒng)集成在末端執(zhí)行器上，經(jīng)常通過檢測基準孔的位姿來計算待加工孔的位姿，保證加工的位置精度[9]。但出于生產(chǎn)成本和避免對產(chǎn)品表面造成破壞等因素考慮，不能在航天領(lǐng)域產(chǎn)品表面做標記點處理，傳統(tǒng)的測量方式不再適用。

同時為了適應(yīng)自動化物流生產(chǎn)線的建設(shè)需要，待加工件需要能夠自動運輸?shù)綑C器人加工區(qū)域，在加工完成后自動運輸?shù)较乱还の弧榱藦浹a自動運輸?shù)倪\動誤差，本文提出在機器人制孔區(qū)域一側(cè)設(shè)立單獨的雙目視覺測量系統(tǒng)的方式來解決待加工件定位問題。

搭建的雙目視覺測量系統(tǒng)由工業(yè)攝像機、輔助照明光源、靶標盤、視覺處理軟件等組成，見圖5。

圖5 雙目視覺測量系統(tǒng)

選用的相機為德國AVT公司的MANTA系列數(shù)字相機，型號G504B；鏡頭為日本Kowa公司的八百萬像素鏡頭，型號LM16XC。本相機系統(tǒng)技術(shù)參數(shù)如表1所示。

表1 視覺系統(tǒng)參數(shù)

在雙目視覺測量系統(tǒng)中，工業(yè)攝像機用于測量靶標盤獲取靶標圖像；輔助照明光源用于補償環(huán)境光照強度變化對攝像機測量的影響；靶標盤與待加工件固定工裝定位固緊，保證與待加工件的位置關(guān)系不變；視覺處理軟件是視覺測量系統(tǒng)的關(guān)鍵組成部分，用于處理測量數(shù)據(jù)并進行坐標轉(zhuǎn)換，將測量數(shù)據(jù)實時在線反饋給上位機控制系統(tǒng)，以便完成后續(xù)操作。

基準孔中心位置的坐標提取是視覺測量的前提。首先對雙目視覺測量系統(tǒng)進行標定，主要包括相機標定和立體標定，本文采用張正友標定法進行相機標定。在完成系統(tǒng)標定工作后，需要建立產(chǎn)品坐標系。本文選取六個基準孔進行產(chǎn)品坐標系的建立，如圖5中左側(cè)圖所示。構(gòu)建的產(chǎn)品坐標系軸方向垂直于基準孔所在平面并指向雙目相機一側(cè)，坐標系軸方向通過最右側(cè)基準孔中心，根據(jù)右手定則可以確定軸方向。

圖6 各坐標系轉(zhuǎn)換

在建立產(chǎn)品坐標系后，通過雙目相機拍照，可以得到產(chǎn)品坐標系相對于相機坐標系的位姿，此時，相機坐標系和機器人坐標系相對于世界坐標系的位姿已經(jīng)通過激光跟蹤儀標定獲取，各個坐標系位姿關(guān)系如圖6所示。通過坐標轉(zhuǎn)換計算即可得到產(chǎn)品坐標系相對于機器人坐標系的位姿。

在圖6中，為產(chǎn)品坐標系，為相機坐標系，為世界坐標系，為機器人坐標系，為坐標系中的一點（制孔點），為齊次轉(zhuǎn)換矩陣。根據(jù)圖6所示位姿關(guān)系，按照式（1）所示計算即可得到制孔點在坐標系下的實際位姿。

4 機器人離線編程

工業(yè)機器人的編程方式主要是示教編程和離線編程，面對當前智能制造裝備的建設(shè)要求，耗時長、效率低、柔性差的示教編程難以滿足實際生產(chǎn)需要[10]。離線編程方式是一種以計算機圖形學(xué)為依托的機器人編程語言，可以使開發(fā)人員在不用訪問機器人本身的情況下完成相關(guān)任務(wù)規(guī)劃工作[11]。

無論是RobotMaster等專業(yè)開發(fā)的產(chǎn)品，或是RobotWorks等基于三維模型設(shè)計軟件進行二次開發(fā)的產(chǎn)品，都是在建立系統(tǒng)工作環(huán)境的基礎(chǔ)上，對加工件的三維模型進行分析處理，才能得到所需要的程序。本文利用激光跟蹤儀建立的系統(tǒng)數(shù)模如圖7所示。

圖7 系統(tǒng)數(shù)模

以圓柱型加工件為例對制孔過程進行分析。由于機器人固定及其靈活工作空間的限制，在制孔點遍布加工件整個圓柱表面的情況下，需要將圓柱面制孔區(qū)域分區(qū)為多個扇面，以便決定加工件上制孔點的制孔先后順序。然后對其中一個扇面區(qū)域內(nèi)的制孔點進行軌跡規(guī)劃。在單個扇面的制孔過程中，機器人由上一制孔點運動到下一制孔點，因此需要制孔點的位姿信息來確保機器人到達制孔點上方后的姿態(tài)。本文利用DELMIA的Visual Basic Editor功能模塊進行二次開發(fā)[12]，對加工件上制孔點的三維坐標、法向量、孔徑等加工信息進行提取，并以圖形集的形式創(chuàng)建在結(jié)構(gòu)樹上。由于在進行上述操作的時候已經(jīng)考慮到扇面加工順序和單個扇面內(nèi)的制孔順序，后續(xù)不再需要對機器人制孔點順序重新規(guī)劃，提高了編程效率。在完成制孔點加工信息提取后，就可以對機器人的運動軌跡和末端執(zhí)行器加工任務(wù)進行離線規(guī)劃并進行防碰撞分析，最終導(dǎo)出一定格式的NC程序。圖8為離線編程系統(tǒng)工作架構(gòu)。

圖8 離線編程軟件體系架構(gòu)

在得到制孔點的理論位姿和實際位姿后，通過上位機程序計算位置誤差并反饋給機器人，即可進行補償后的制孔加工?；谝曈X的機器人制孔流程如圖9所示。

圖9 基于雙目視覺測量的機器人制孔流程

5 系統(tǒng)集成控制

在工業(yè)機器人集成應(yīng)用中，機器人與上位機控制系統(tǒng)之間常見通信方式有串口通信、以太網(wǎng)通信等。由于串行通信方式存在信息傳遞不準確、通信距離短、通信速率低、抗干擾能力差等諸多缺點，因此工業(yè)應(yīng)用中經(jīng)常采用基于以太網(wǎng)的機器人通信接口來提高控制系統(tǒng)信息傳遞能力?？刂葡到y(tǒng)通信接口包括：上位機與機器人之間的以太網(wǎng)通信接口、上位機與PLC控制器之間的EtherCAT通信接口。

本文構(gòu)建的集成控制系統(tǒng)以EtherCAT和Ethernet兩條總線為基礎(chǔ)，集成了機器人控制器、末端執(zhí)行器、AGV以及換刀模塊等，其中除了機器人以外的控制設(shè)備均采用德國Beckhoff軟PLC和TwinCAT NCI實現(xiàn)。Ethernet現(xiàn)場總線負責(zé)數(shù)字量和模擬量I/O裝置的通信，EtherCAT現(xiàn)場總線負責(zé)與所有伺服運動軸驅(qū)動器通信。控制系統(tǒng)硬件組態(tài)如圖10所示。

圖10 控制系統(tǒng)組態(tài)圖

5.1 機器人外部自動控制

自動化、智能化的生產(chǎn)過程中要求盡可能少的人工參與以保證系統(tǒng)的可靠性，因此需要上位層集成控制系統(tǒng)接管對機器人的控制。

機器人外部自動控制涉及到兩方面內(nèi)容：一方面要實現(xiàn)上位機對機器人的實時運行速度、位置以及關(guān)節(jié)臂的力矩、關(guān)節(jié)電機電流的監(jiān)測；另一方面要實現(xiàn)機器人運動指令的發(fā)送。因此要建立上位機與機器人內(nèi)部控制變量的映射鏈接，并實現(xiàn)對控制變量的寫入和機器人實時狀態(tài)的讀取。

5.2 末端執(zhí)行器控制

本文末端執(zhí)行器的電氣控制系統(tǒng)主要采用Beckhoff軟PLC的底層控制策略，通過Beckhoff所提供的TwinCAT軟件實現(xiàn)PLC程序的編寫，并由Beckhoff所提供的EtherCAT控制端子來實現(xiàn)各類電氣元件的硬件組態(tài)。

該末端執(zhí)行器電氣控制系統(tǒng)需要實現(xiàn)進給電機和電主軸的伺服控制、壓力腳的氣動控制和激光測距傳感器的數(shù)據(jù)采集。由圖10可知，上位機通過EtherCAT總線實現(xiàn)與各伺服運動軸驅(qū)動器的相互通信，以軟PLC實現(xiàn)激光測距傳感器的數(shù)據(jù)采集，并與數(shù)模中制孔點的理論法線進行對比，彌補制孔點實際測量法線和理論法線存在的偏差，進一步實現(xiàn)制孔點法線的位置補償。

5.3 上位層軟件總體方案設(shè)計

本文基于MFC開發(fā)的上位層集成控制軟件包括NC加工總控、機器人控制、末端執(zhí)行器控制、測量控制和系統(tǒng)管理五部分。其中NC加工總控用于制孔流程的總體操作控制并執(zhí)行制孔NC代碼；機器人控制用于建立上位機與機器人的通信鏈接；測量控制用于對激光測距傳感器的測量數(shù)據(jù)采集；系統(tǒng)管理用于其他功能模塊的統(tǒng)一管理。對于上位機與機器人、末端執(zhí)行器和AGV之間的通信控制，選用正確、高效的通信方式和協(xié)議來實現(xiàn)，為切實發(fā)揮集成控制軟件核心主導(dǎo)地位提供保障。

6 試驗與分析

本文以德國KUKA 的KR30HA工業(yè)機器人為末端執(zhí)行器運動載體，以新松AGV為待加工件運輸載體，搭建了一套適應(yīng)生產(chǎn)線自動物流運輸?shù)臋C器人自動制孔試驗平臺。

首先，根據(jù)DELMIA開發(fā)的離線編程軟件，建立了系統(tǒng)的三維模型，經(jīng)過動態(tài)仿真優(yōu)化后生成準確無誤的NC代碼并導(dǎo)入集成控制軟件中；然后，采用經(jīng)過優(yōu)化的制孔工藝參數(shù)，以鋁合金材料待加工件為制孔對象進行多次加工，孔徑要求為2.6mm，制孔點為40個。

孔的質(zhì)量主要包括毛刺大小、粗糙度、孔徑等因素，而孔徑是衡量孔尺寸精度的重要指標。本文進行多次制孔實驗，利用千分尺對制孔點的孔徑進行測量，數(shù)據(jù)統(tǒng)計如表2所示。

表2 鋁合金加工件孔徑

根據(jù)表2中實驗數(shù)據(jù)分析可得鋁合金材料加工件的孔徑誤差最大為0.01mm，均在H8以內(nèi)，滿足精度要求。

利用50分度游標卡尺對所有制孔點的位置精度進行精確測量，得到制孔點相對于測量基準面的位置誤差，數(shù)據(jù)如表3所示。

表3 制孔點位置誤差

根據(jù)表3中實驗數(shù)據(jù)分析可得系統(tǒng)的最大定位誤差為0.28mm，滿足系統(tǒng)定位要求。

7 結(jié)束語

a. 提出了一種能夠適應(yīng)自動化物流生產(chǎn)線運輸?shù)臋C器人自動制孔系統(tǒng)，并簡要介紹了制孔末端執(zhí)行器、離線編程、系統(tǒng)集成控制。

b. 針對產(chǎn)品實時定位問題，詳細介紹了雙目視覺測量系統(tǒng)的基本原理、系統(tǒng)搭建、技術(shù)參數(shù)和坐標計算原理。

c. 以實際生產(chǎn)需求為出發(fā)點對本文提出的機器人自動制孔系統(tǒng)進行了制孔精度試驗驗證，實驗數(shù)據(jù)表明本系統(tǒng)能夠滿足生產(chǎn)要求，提高了生產(chǎn)線運行效率和自動化水平。

1 陶永，李秋實，趙罡，等. 大力發(fā)展航空智能制造支撐高端裝備制造轉(zhuǎn)型升級[J]. 制造業(yè)自動化，2016，38(3)：106～111

2 周濟. 智能制造——“中國制造2025”的主攻方向[C]. 中國機械工程，2015，26(17)：2273～2284

3 王國磊，吳丹，陳懇. 航空制造機器人現(xiàn)狀發(fā)展趨勢[J]. 航空制造技術(shù)，2015，479(10)：26～30

4 DeVlieg R, Sitton K, Feikert E, et al. ONCE (ONe-sided Cell End effector) robotic drilling system[C]. Proceedings of SAE Aerospace Automated Fastening Conference, Chester, ENGLA, US, 2002: 9～16

5 喻龍，章易鐮，王宇晗，等. 飛機自動鉆鉚技術(shù)研究現(xiàn)狀及其關(guān)鍵技術(shù)[J]. 航空制造技術(shù)，2017，60(9)：16～25

6 袁培江，陳冬冬，王田苗，等. 航空制孔機器人末端執(zhí)行器高精度制孔方法研究[J]. 航空制造技術(shù)，2016，59(16)：81～86

7 張晉，田威，周敏，等. 機器人自動鉆鉚系統(tǒng)集成控制技術(shù)[J]. 航空制造技術(shù)，2017，60(9)：38～42

8 林琳. 機器人雙目視覺定位技術(shù)研究[D]. 西安：西安電子科技大學(xué)，2009

9 袁培江，陳冬冬，王田苗，等. 基于雙目視覺測量系統(tǒng)的孔位補償研究[J]. 航空制造技術(shù)，2018，61(4)：41～46

10 孟國軍. 工業(yè)機器人離線編程系統(tǒng)關(guān)鍵技術(shù)的研究[D]. 武漢：華中科技大學(xué)，2011

11 王巍，惠帥，梁濤，等. 柔性導(dǎo)軌自動制孔機器人離線編程與仿真技術(shù)研究[J]. 航空制造技術(shù)，2012，Z1：125～127

12 彭江濤，譚紅，石章虎，等. 基于MBD的飛機鉆鉚機器人離線編程技術(shù)研究[J]. 航空制造技術(shù)，2017，528(9)：55～59

Research on Robot Automatic Drilling System Based on Binocular Vision Positioning

Zhu Qiancheng1Sai Yin2Xiong Zhenqi1Han Weiqun1Lv Yunqi1

(1. Beijing Hangxing Machinery Manufacturing Co., Ltd., Beijing 100013;2.Second Military Representative Office of Air Force Equipment Department in Beijing, Beijing 100013)

To deal with the adaptability optimization of the automatic robotic drilling system in the automatic production line and realize the automatic circulation while guaranteeing the position accuracy of holes, an approach based on binocular vision positioning to an automatic robot drilling system is presented. The proposed system integrates industrial robots, end effector, automatic guided vehicle, binocular vision measuring system and other ancillary equipment in the form of fieldbus to realize automatic drilling. The design of end effector, binocular vision measurement system, robot off-line programming and system integration control are introduced in detail. Tests have shown that the positioning accuracy of this system is ±0.3mm, the vertical precision of the system is ±0.5°, and the aperture accuracy is H8.

robot drilling；end effector；off-line programming；binocular vision；integration control

朱前成（1991），工程師，機器人技術(shù)專業(yè)；研究方向：自動化裝配技術(shù)。

2019-04-04