国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于機(jī)器視覺的運(yùn)載火箭支架自動(dòng)裝配方法研究

2023-07-13 03:23馬慶豐
機(jī)電信息 2023年13期
關(guān)鍵詞:目標(biāo)識(shí)別

摘 要:為解決運(yùn)載火箭內(nèi)部支架人工裝配所面臨的工作環(huán)境嘈雜和勞動(dòng)強(qiáng)度大等問(wèn)題,設(shè)計(jì)了基于協(xié)作機(jī)器人的輔助自動(dòng)裝配系統(tǒng),并對(duì)其裝配路徑進(jìn)行規(guī)劃。協(xié)作機(jī)器人在抓取支架實(shí)現(xiàn)自動(dòng)裝配過(guò)程中,受限于支架自身誤差、特征尺寸及位置姿態(tài)的隨機(jī)等特點(diǎn),抓取和定位極為困難。為解決支架自動(dòng)裝配過(guò)程中的難點(diǎn),首先規(guī)劃了支架自動(dòng)裝配的工藝流程,設(shè)計(jì)了支架抓取機(jī)構(gòu)、自動(dòng)裝配機(jī)構(gòu),并配合對(duì)應(yīng)的視覺算法完成支架的抓取、自動(dòng)裝配;其次,結(jié)合YOLOv5深度學(xué)習(xí)算法對(duì)定位目標(biāo)進(jìn)行識(shí)別,和裝配孔位進(jìn)行位置補(bǔ)償,實(shí)現(xiàn)對(duì)裝配孔找正;最后,通過(guò)實(shí)驗(yàn)驗(yàn)證該自動(dòng)裝配系統(tǒng)中抓取機(jī)構(gòu)、自動(dòng)裝配機(jī)構(gòu)的穩(wěn)定性,視覺定位算法的有效性及精度,實(shí)驗(yàn)結(jié)果表明,裝配孔定位精度小于0.06 mm。

關(guān)鍵詞:火箭支架;自動(dòng)裝配;YOLOv5;目標(biāo)識(shí)別;位置補(bǔ)償

中圖分類號(hào):TP29? ? 文獻(xiàn)標(biāo)志碼:A? ? 文章編號(hào):1671-0797(2023)13-0001-06

DOI:10.19514/j.cnki.cn32-1628/tm.2023.13.001

0? ? 引言

運(yùn)載火箭鉚接艙體內(nèi)支架型號(hào)種類多,幾何尺寸和特征差距大,支架安裝到箭體艙體內(nèi)部時(shí),需要與托板螺母提前鉚接。目前的生產(chǎn)方式是手工錘鉚,工作環(huán)境噪聲達(dá)110 dB,勞動(dòng)強(qiáng)度大。支架類零件實(shí)現(xiàn)自動(dòng)裝配的難點(diǎn)有三個(gè):1)支架種類較多,無(wú)法采用機(jī)器人示教的方式完成支架的抓??;2)托板螺母與支架連接孔精度在±0.1 mm,以往手眼標(biāo)定方法不能解決支架裝配問(wèn)題[1];3)支架屬于鈑金類零件,夾持變形大,與理論模型無(wú)法適配。

國(guó)內(nèi)外的定位技術(shù)主要有三類:基于灰度模板匹配的識(shí)別定位技術(shù)[2]、基于特征目標(biāo)匹配的識(shí)別定位技術(shù)以及基于深度學(xué)習(xí)的識(shí)別定位技術(shù)[3]。利用上述三種方法,田清廉等人[4]提出了散亂點(diǎn)云的鉚釘孔自動(dòng)識(shí)別方法,該方法僅限提取鉚釘孔位置,并處理局部特征,針對(duì)全局特征會(huì)造成點(diǎn)云質(zhì)量差而方法失效;浙江大學(xué)劉華[5]針對(duì)飛機(jī)壁板裝配過(guò)程中的插鉚釘問(wèn)題設(shè)計(jì)了自適應(yīng)滑??刂破鳎Y(jié)合視覺系統(tǒng)解決了自動(dòng)插釘中末端執(zhí)行器法向位姿的調(diào)整精確控制問(wèn)題,主要面向曲面類需調(diào)整法向的零件;針對(duì)運(yùn)載火箭支架(圖1)裝配問(wèn)題,目前僅有方舟等人[6]搭建了雙目視覺系統(tǒng),實(shí)現(xiàn)視覺引導(dǎo)抓取和位姿調(diào)整及基于邊緣特征對(duì)支架位姿的估計(jì),僅限于對(duì)支架的抓取,沒(méi)有結(jié)合抓取和定位裝配孔識(shí)別,不能解決支架自動(dòng)裝配的全流程問(wèn)題。

綜上,目前針對(duì)火箭支架自動(dòng)裝配問(wèn)題,大多采用模板匹配的抓取方法,并未針對(duì)運(yùn)載火箭支架自動(dòng)裝配流程中的難點(diǎn)開展工作。本文針對(duì)尚需解決的問(wèn)題,重新規(guī)劃了支架實(shí)現(xiàn)自動(dòng)裝配的工藝流程,搭建了一套自動(dòng)裝配系統(tǒng)。針對(duì)自動(dòng)裝配過(guò)程中的三個(gè)難點(diǎn),設(shè)計(jì)了兩套視覺系統(tǒng)分別解決問(wèn)題:1)結(jié)構(gòu)光相機(jī)用于支架識(shí)別和抓取,采用支架位姿估計(jì)與夾爪位姿調(diào)整的方法,降低支架自身誤差和夾持變形對(duì)位姿估計(jì)的影響,試驗(yàn)表明該方法抓取支架的平均誤差小于0.8 mm;2)利用協(xié)作機(jī)器人重復(fù)定位精度小的特點(diǎn),將單目視覺相機(jī)用于引導(dǎo)連接孔定位的視覺系統(tǒng),采用YOLOv5深度學(xué)習(xí)算法對(duì)裝配孔進(jìn)行目標(biāo)檢測(cè),結(jié)合卡尺工具檢測(cè)裝配目標(biāo)孔邊緣特征。最后,通過(guò)實(shí)驗(yàn)驗(yàn)證了該方法識(shí)別裝配孔與調(diào)整位姿的可行性。

1? ? 支架零件的抓取與定位

1.1? ? 支架自動(dòng)裝配工藝流程

為實(shí)現(xiàn)支架的自動(dòng)裝配,將原有手工操作工藝流程重新規(guī)劃成適合自動(dòng)裝配的自動(dòng)化工藝流程:人工放置支架至傳送帶→結(jié)構(gòu)光相機(jī)掃描支架獲取點(diǎn)云匹配支架的外形及圖號(hào)→協(xié)作機(jī)器人根據(jù)識(shí)別結(jié)果調(diào)整姿態(tài)抓取支架→視覺識(shí)別托板螺母在料盤中的位置→協(xié)作機(jī)器人抓取托板螺母并將其放入對(duì)應(yīng)的工裝→視覺引導(dǎo)機(jī)器人抓取的支架與托板螺母中心對(duì)齊→自動(dòng)擰緊槍送施工螺釘并擰緊,實(shí)現(xiàn)托板螺母與支架的連接→協(xié)作機(jī)器人將支架送到鉆孔工位→視覺引導(dǎo)協(xié)作機(jī)器人實(shí)現(xiàn)托板螺母的鉚釘孔與主軸對(duì)齊→制孔→協(xié)作機(jī)器人運(yùn)送支架至插釘工位→視覺引導(dǎo)鉚釘孔與插釘機(jī)構(gòu)對(duì)齊→插入鉚釘→協(xié)作機(jī)器人運(yùn)送支架至鉚接工位鉚接→返回人工操作臺(tái)檢查并拆除施工螺釘。

為實(shí)現(xiàn)上述裝配過(guò)程,在自動(dòng)裝配系統(tǒng)中需要精確定位的關(guān)鍵工步上設(shè)置了不同的視覺相機(jī)(圖2):支架抓取識(shí)別視覺相機(jī)、裝配孔對(duì)準(zhǔn)視覺相機(jī)和鉚釘孔對(duì)準(zhǔn)視覺相機(jī)。

1.2? ? 支架抓取視覺識(shí)別

支架放置在物料傳輸模塊上,將零件自動(dòng)傳輸?shù)竭m合機(jī)器人抓取的區(qū)域(圖3),在抓取區(qū)域上方設(shè)計(jì)結(jié)構(gòu)光相機(jī)用于檢測(cè)支架和引導(dǎo)機(jī)器人抓取。

工件最大尺寸是400 mm×400 mm,視場(chǎng)范圍要大于400 mm,在抓取識(shí)別上選用Mech-Eye-PRO-M結(jié)構(gòu)光相機(jī),其參數(shù)如表1所示。

支架抓取涵蓋支架的邊緣識(shí)別、模板匹配與定位、協(xié)作機(jī)器人末端抓取機(jī)構(gòu)的初始位置估計(jì)和抓取位置估計(jì),支架抓取的工藝流程圖如圖4所示。

支架位置估算中,利用結(jié)構(gòu)光相機(jī)得到的點(diǎn)云進(jìn)行平面擬合,分割出支架點(diǎn)云,再提取支架邊緣,在夾爪末端設(shè)置4個(gè)視覺標(biāo)記點(diǎn)(圖5),用結(jié)構(gòu)光相機(jī)獲得4個(gè)標(biāo)記點(diǎn)在相機(jī)坐標(biāo)系下的位置,根據(jù)標(biāo)記點(diǎn)的相對(duì)位置關(guān)系計(jì)算出夾爪在相機(jī)坐標(biāo)系下的位姿,最終可以求出夾爪末端位姿在基座坐標(biāo)系中的位置,控制協(xié)作機(jī)器人移動(dòng)至目標(biāo)點(diǎn)位。

支架零件采用視覺引導(dǎo)抓取的方式,在夾爪上設(shè)置標(biāo)記點(diǎn),夾爪位姿反饋機(jī)器人調(diào)姿,該方法不用對(duì)協(xié)作機(jī)器人和視覺系統(tǒng)標(biāo)定,對(duì)精確抓取工件有 一定柔性。

1.3? ? 裝配孔對(duì)準(zhǔn)和鉚釘孔對(duì)準(zhǔn)

在托板螺母擰緊工位、制孔工位、插鉚釘工位需要檢測(cè)支架上預(yù)制孔的位置[7],且孔銷配合精度為0.1 mm,需要檢測(cè)精度約在0.03 mm,因此需要小視場(chǎng)高精度的相機(jī),由于功能近似,均選用??低昅V-CE060-11GC單目相機(jī)+??低昅VL-MT-2-

110C-MY23相機(jī)。小視場(chǎng)的相機(jī)檢測(cè)精度高,但是會(huì)放大識(shí)別圖像里的噪點(diǎn),為滿足使用要求,采用YOLOv5深度學(xué)習(xí)[8]的目標(biāo)算法對(duì)預(yù)制孔第一次定位,根據(jù)結(jié)果再采用卡尺工具擬合精確定位的方法。MV-CE060-

11GC單目相機(jī)參數(shù)如表2所示。

采用SiLU作為激活函數(shù):

式中:B為訓(xùn)練的標(biāo)準(zhǔn)邊界;Bgt為檢測(cè)輪廓邊界;C為B和Bgt邊界交集的最小輪廓邊界;β為衡量縱橫比重疊面積損失的平衡因子;v為長(zhǎng)寬邊界比一致性參數(shù);d為計(jì)算中心點(diǎn)的距離。

對(duì)于托板螺母的裝配孔,采用各種拍攝位置、不同光照、不同規(guī)格的托板螺母等手工拍攝圖像,采用labelme工具進(jìn)行標(biāo)注,得到數(shù)據(jù)集共計(jì)350張。

使用上述數(shù)據(jù)集訓(xùn)練YOLOv5模型,初始學(xué)習(xí)率為0.01,訓(xùn)練批次(batch)設(shè)置為4,圖像尺寸設(shè)置為600×600,其他使用預(yù)設(shè)值。訓(xùn)練結(jié)果如圖6所示。

使用訓(xùn)練完成的YOLOv5模型對(duì)運(yùn)行中采集的圖片進(jìn)行檢測(cè)(圖7),支架安裝孔的目標(biāo)檢測(cè)區(qū)域能滿足使用需求。

檢測(cè)目標(biāo)孔位置后,對(duì)目標(biāo)進(jìn)行定位,需要檢測(cè)出圓的邊緣,然后對(duì)圓擬合,使用卡尺工具進(jìn)行邊緣提取,卡尺邊緣提取涉及圖像投影處理、高通濾波計(jì)算、邊緣閾值處理和邊緣像素處理。

圖像投影處理為沿著目標(biāo)檢測(cè)的邊緣垂直掃描圖像,獲得離散投影線的強(qiáng)度值,用于均化目標(biāo)檢測(cè)區(qū)域的噪點(diǎn),提高檢測(cè)成功率,經(jīng)過(guò)投影處理后可得到離散點(diǎn)的數(shù)組。

使用高通濾波器對(duì)圖像投影的數(shù)據(jù)進(jìn)行濾波處理,使目標(biāo)檢測(cè)邊緣突出,增強(qiáng)圖像對(duì)比度,使用Prewitt算子對(duì)圖像兩個(gè)方向模板與圖像進(jìn)行鄰域卷積,用于抑制噪聲和均化。

在濾波輸出中設(shè)置閾值,可以排除噪聲點(diǎn),超過(guò)設(shè)置閾值認(rèn)為是真實(shí)邊界。對(duì)于提取出真實(shí)邊界幾個(gè)鄰近的像素點(diǎn)進(jìn)行插值計(jì)算擬合,可獲得目標(biāo)檢測(cè)的精確位置。

利用YOLOv5模型生成目標(biāo)孔位置圓心位置,使用一組卡尺工具檢測(cè)出邊緣點(diǎn),圓心位置坐標(biāo)直接用最小二乘法對(duì)目標(biāo)孔邊緣圓擬合(圖8)。

使用卷積神經(jīng)網(wǎng)絡(luò)YOLOv5模型生成目標(biāo)孔區(qū)域,后使用卡尺工具擬合目標(biāo)孔邊緣,最后根據(jù)孔邊緣擬合出圓心。

2? ? 實(shí)驗(yàn)驗(yàn)證

通過(guò)對(duì)運(yùn)載火箭上實(shí)物支架進(jìn)行全流程工藝驗(yàn)證測(cè)試,包含支架運(yùn)輸、支架抓取、托板螺母抓取、支架與托板螺母擰緊、支架托板螺母鉆孔、鉚釘插釘,來(lái)驗(yàn)證支架自動(dòng)裝配的全流程應(yīng)用工況。

基于實(shí)際運(yùn)行流程,驗(yàn)證分為支架識(shí)別和抓取、支架與托板螺母擰緊、制孔劃窩和插釘鉚接三個(gè)部分。

2.1? ? 支架識(shí)別和抓取

支架型號(hào)的識(shí)別是后續(xù)所有工序的基礎(chǔ),對(duì)應(yīng)型號(hào)在工藝數(shù)據(jù)庫(kù)里面有對(duì)應(yīng)的自動(dòng)加工程序。識(shí)別支架型號(hào),先使用支架種類數(shù)據(jù)集對(duì)YOLOv5模型進(jìn)行訓(xùn)練,然后使用訓(xùn)練過(guò)的模型檢測(cè)支架目標(biāo),設(shè)置0.8為識(shí)別閾值,測(cè)試其中10種支架檢測(cè)結(jié)果,如表3、圖9所示。

支架型號(hào)識(shí)別完成后對(duì)支架進(jìn)行抓?。▓D10),支架的穩(wěn)定抓取是后續(xù)支架自動(dòng)裝配的基礎(chǔ)。在抓取過(guò)程中采用結(jié)構(gòu)光相機(jī)拍攝四次:第一次拍攝預(yù)估工件位置,記作初始偏差;第二次拍攝預(yù)估工件與協(xié)作機(jī)器人末端位置,記作粗調(diào)偏差,并引導(dǎo)機(jī)器人到靠近工件位置;第三次拍攝為精定位,記作精調(diào)偏差,引導(dǎo)機(jī)器人抓取工件;第四次拍攝為抓取后拍攝,測(cè)試裝配孔與夾具標(biāo)記點(diǎn)偏差,用于后續(xù)自動(dòng)裝配定位。

統(tǒng)計(jì)支架3的20次抓取數(shù)據(jù),人工隨機(jī)將支架3放置在輸送帶上。從表4可見,支架抓取的粗調(diào)定位偏差較大,平均定位誤差為2.24 mm。機(jī)器人絕對(duì)定位精度和標(biāo)定誤差導(dǎo)致初次支架抓取定位有較大誤差,粗調(diào)定位可以認(rèn)為是一次開環(huán)定位,定位精度難以控制。利用支架視覺引導(dǎo)抓取再次測(cè)量并調(diào)整定位夾爪,精調(diào)平均偏差為0.67 mm,遠(yuǎn)低于粗調(diào)定位偏差,滿足支架抓取的精度要求。經(jīng)過(guò)一次視覺伺服補(bǔ)償后,抓取定位偏差降低了1.57 mm,驗(yàn)證了支架視覺伺服抓取策略可以有效提高支架抓取精度。

2.2? ? 支架與托板螺母擰緊

首先設(shè)定支架裝配孔目標(biāo)點(diǎn)的像素坐標(biāo)為(1 536,1 024),此為M4托板螺母裝配孔中心位置,控制協(xié)作機(jī)器人使支架裝配孔在視場(chǎng)范圍內(nèi),使用卷積神經(jīng)網(wǎng)絡(luò)YOLOv5模型對(duì)托板螺母上的裝配螺紋孔進(jìn)行目標(biāo)檢測(cè)(圖11),并使用孔定位誤差測(cè)量與補(bǔ)償算法實(shí)時(shí)引導(dǎo)機(jī)器人調(diào)整支架姿態(tài),實(shí)現(xiàn)支架裝配孔與托板螺母螺紋孔對(duì)中。

從表5數(shù)據(jù)可以看出,通過(guò)視覺引導(dǎo)可將裝配孔從具有9 mm誤差的位置引導(dǎo)至目標(biāo)點(diǎn),定位誤差為0.061 mm,遠(yuǎn)低于擰緊裝配要求的0.2 mm精度,滿足擰緊裝配使用要求。

2.3? ? 制孔劃窩和插釘鉚接

在支架與托板螺母擰緊后,需對(duì)支架托板螺母的鉚接孔位置完成支架表面的鉆孔和锪孔,并在鉚接孔插入鉚釘,此過(guò)程均需視覺引導(dǎo)(圖12)。

實(shí)驗(yàn)完成的支架零件如圖13所示。圖13(a)展示了支架零件施工螺釘擰緊與鉆锪孔效果;圖13(b)(c)展示了鉚接孔加工質(zhì)量滿足要求,驗(yàn)證了支架托板螺母鉚釘孔定位誤差測(cè)量與補(bǔ)償技術(shù)的可實(shí)施性,且滿足鉆孔±0.1 mm的精度要求。

3? ? 結(jié)論

本文通過(guò)研究運(yùn)載火箭支架零件自動(dòng)裝配技術(shù),研制出一套利用協(xié)作機(jī)器人對(duì)運(yùn)載火箭支架進(jìn)行自動(dòng)抓取和裝配的可實(shí)施工藝和設(shè)備,在自動(dòng)識(shí)別抓取的環(huán)節(jié)采用卷積神經(jīng)網(wǎng)絡(luò)、支架位姿估計(jì)和夾具位姿估計(jì)的方法,最終抓取精度小于0.7 mm;在自動(dòng)擰緊、制孔劃窩、自動(dòng)插釘環(huán)節(jié),通過(guò)視覺引導(dǎo)裝配孔定位誤差檢測(cè)和補(bǔ)償,精度可達(dá)0.061 mm,突破了支架自動(dòng)裝配中的難點(diǎn);采用實(shí)物加工驗(yàn)證了支架自動(dòng)裝配的可行性和可靠性,解決了支架零件手工操作產(chǎn)品質(zhì)量不可靠、生產(chǎn)效率低、勞動(dòng)環(huán)境差及強(qiáng)度大等問(wèn)題,為運(yùn)載火箭中支架類多品種、小批量零件的自動(dòng)化裝配應(yīng)用奠定了一定的基礎(chǔ)。

[參考文獻(xiàn)]

[1] 鄭健紅.面向機(jī)器人精確拾取的散亂金屬零件識(shí)別與定位方法研究[D].杭州:浙江工業(yè)大學(xué),2020.

[2] 方舟,程筱勝,崔海華,等.基于GAPSO-SVM的鈑金零件圖像識(shí)別方法[J].機(jī)械制造與自動(dòng)化,2020,49(5):116-118.

[3] 范荻,金守峰,陳蓉,等.面向裝配機(jī)器人的零件視覺識(shí)別與定位方法[J].西安工程大學(xué)學(xué)報(bào),2018,32(1):114-120.

[4] 田清廉,熊天辰,黃翔,等.一種基于散亂點(diǎn)云的鉚釘孔孔位提取方法[J].航空制造技術(shù),2022,65(7):83-89.

[5] 劉華.視覺定位關(guān)鍵技術(shù)及其在飛機(jī)裝配中的應(yīng)用研究[D].杭州:浙江大學(xué),2019.

[6] 方舟.面向機(jī)器人裝配的機(jī)器視覺工件識(shí)別與定位技術(shù)研究[D].南京:南京航空航天大學(xué),2020.

[7] LU C S,XIA S Y,SHAO M,et al.Arc-support line segments revisited:an efficient high-quality ellipse detection[J].IEEE Transactions on Image Processing,2019,29:768-781.

[8] WANG C,ZHANG Y C,ZHOU Y F,et al.Automatic detection of indoor occupancy based on improved YOLOv5 model[J].Neural Computing and Applications,2022,35(3):2575-2599.

收稿日期:2023-03-01

作者簡(jiǎn)介:馬慶豐(1983—),男,河南安陽(yáng)人,工程師,研究方向:航天自動(dòng)鉆鉚及非標(biāo)自動(dòng)化產(chǎn)品開發(fā)。

猜你喜歡
目標(biāo)識(shí)別
基于偏振數(shù)字圖像的特征提取及處理方法研究
一種BCI與SAR融合的目標(biāo)檢測(cè)系統(tǒng)設(shè)計(jì)
Java數(shù)字音頻識(shí)別程序
渡口水域安全監(jiān)管技術(shù)研究
渡口水域安全監(jiān)管技術(shù)研究
全自動(dòng)模擬目標(biāo)搜救系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
動(dòng)態(tài)場(chǎng)景中的視覺目標(biāo)識(shí)別方法分析
基于PC的視覺解決方案在 Delta機(jī)器人抓放中的應(yīng)用
移動(dòng)機(jī)器人圖像目標(biāo)識(shí)別
基于動(dòng)態(tài)模糊積分的決策層融合識(shí)別算法