李藝達(dá),隋少春,曾 坤,楊建平,謝 乾,汪 俊
(1.南京航空航天大學(xué)機(jī)電學(xué)院,南京 210016;2.航空工業(yè)成都飛機(jī)工業(yè)(集團(tuán))有限責(zé)任公司,成都 610073;3.中國(guó)航空工業(yè)昌河飛機(jī)工業(yè)(集團(tuán))有限責(zé)任公司,景德鎮(zhèn) 333002)
為了檢驗(yàn)產(chǎn)品是否滿(mǎn)足設(shè)計(jì)要求,三維測(cè)量是生產(chǎn)過(guò)程中不可或缺的重要環(huán)節(jié)?,F(xiàn)代飛機(jī)為了獲得更好的氣動(dòng)性能與隱身性能,對(duì)蒙皮外形準(zhǔn)確度提出了嚴(yán)格的要求,同時(shí)也對(duì)測(cè)量技術(shù)提出了很大的挑戰(zhàn)。航空制造企業(yè)正積極推進(jìn)數(shù)字化測(cè)量技術(shù)的應(yīng)用,如利用三維激光掃描技術(shù)快速獲取復(fù)雜型面點(diǎn)云數(shù)據(jù),實(shí)現(xiàn)飛機(jī)蒙皮曲面的非接觸式測(cè)量。但是目前的掃描測(cè)量仍以人工操作為主,難以滿(mǎn)足飛機(jī)脈動(dòng)生產(chǎn)的效率要求。為了提升航空制造業(yè)生產(chǎn)自動(dòng)化水平、擴(kuò)大自動(dòng)化數(shù)字測(cè)量技術(shù)應(yīng)用范圍、減少檢測(cè)人員的工作量、提高檢測(cè)精度及檢測(cè)效率、加速航空制造業(yè)向智能制造轉(zhuǎn)變的進(jìn)程,國(guó)內(nèi)外許多學(xué)者對(duì)航空零部件的自動(dòng)化測(cè)量方法進(jìn)行了一系列探索[1-3]。
在自動(dòng)化測(cè)量系統(tǒng)的構(gòu)建方面,早期的自動(dòng)化測(cè)量較多地采用了三坐標(biāo)測(cè)量機(jī)[4-6]。由于其測(cè)量效率較低,在大型曲面測(cè)量應(yīng)用中受到了很大的限制。針對(duì)飛機(jī)蒙皮類(lèi)零件尺寸大的特點(diǎn),構(gòu)建全局測(cè)量場(chǎng)的廣域測(cè)量方案被廣泛研究[7-8]。Shi 等[9]將三維掃描儀與激光測(cè)距儀相結(jié)合,實(shí)現(xiàn)了大型物體三維測(cè)量;文獻(xiàn)[10]提出了一種多視場(chǎng)全局標(biāo)定方法用于全局測(cè)量場(chǎng)的建立;Jiang 等[11]將雙目視覺(jué)系統(tǒng)和光學(xué)掃描儀相結(jié)合,研究了激光掃描儀在整個(gè)掃描過(guò)程中的定位與跟蹤;于浩等[12]基于固定站位下柔性測(cè)量單元的測(cè)量空間及精度分布進(jìn)行分析,提出了基于K-均值聚類(lèi)的測(cè)量站位規(guī)劃及自適應(yīng)控制策略;孟飆等[13]對(duì)組合測(cè)量系統(tǒng)的全局標(biāo)定和數(shù)據(jù)融合方法進(jìn)行研究,實(shí)現(xiàn)了全局誤差控制。然而全局測(cè)量場(chǎng)在實(shí)際應(yīng)用中存在建設(shè)成本高、測(cè)量誤差控制難度大、系統(tǒng)靈活性較差等問(wèn)題。
掃描規(guī)劃是實(shí)現(xiàn)自動(dòng)化掃描測(cè)量的關(guān)鍵問(wèn)題,掃描路徑規(guī)劃策略直接影響著掃描效率、掃描數(shù)據(jù)完整性與測(cè)量精度。Mahmud 等[14]基于測(cè)量不確定度控制進(jìn)行激光掃描儀掃描路徑規(guī)劃。王鵬等[15]結(jié)合背影輪廓法和凸包法對(duì)線(xiàn)結(jié)構(gòu)光傳感器的最佳視角確定方法進(jìn)行了研究。Ding 等[16]對(duì)激光掃描過(guò)程中被測(cè)表面采樣點(diǎn)的掃描方向與法向量的位置關(guān)系進(jìn)行分析,提出了一種針對(duì)復(fù)雜機(jī)械零件的掃描路徑規(guī)劃方法。這些方法生成的掃描路徑不連續(xù)且數(shù)據(jù)依賴(lài)于點(diǎn)云配準(zhǔn),數(shù)據(jù)精度難以保證。Minh 等[17]使用最小二乘保角映射將三維曲面展開(kāi)為二維平面,在平面上進(jìn)行等距路徑規(guī)劃后再將路徑點(diǎn)映射至三維空間,通過(guò)控制掃描重疊率完成掃描路徑規(guī)劃,一定程度上簡(jiǎn)化了掃描規(guī)劃難度。該算法只能處理曲率變化較平緩的三維曲面,無(wú)法自適應(yīng)特征區(qū)域。林晶[18]基于軟件CATIA進(jìn)行二次開(kāi)發(fā)以生成初始掃描軌跡,并基于粒子群算法和系統(tǒng)誤差預(yù)測(cè)模型對(duì)曲面掃描軌跡進(jìn)行優(yōu)化。浙江大學(xué)的艾小祥等[19-20]在分析掃描儀掃描約束及測(cè)量對(duì)象幾何特征的基礎(chǔ)上,針對(duì)機(jī)翼骨架的特征集中區(qū)域提出了分對(duì)象總體最優(yōu)法,并采用蟻群算法優(yōu)化掃描路徑。這些方法在特定的場(chǎng)景中達(dá)到了較好的效果,然而其特征提取需借助三維建模軟件進(jìn)行人機(jī)交互,對(duì)特征區(qū)域的劃分仍需較多人工干預(yù)。
綜上,現(xiàn)有的自動(dòng)化測(cè)量系統(tǒng)存在建設(shè)成本高、系統(tǒng)柔性差的問(wèn)題;現(xiàn)有的自動(dòng)化掃描規(guī)劃方法無(wú)法針對(duì)待測(cè)對(duì)象的曲率變化大的特征區(qū)域自適應(yīng)調(diào)整掃描策略,難以直接應(yīng)用于飛機(jī)大型蒙皮曲面零件的掃描測(cè)量。針對(duì)以上問(wèn)題及飛機(jī)蒙皮零件制造尺寸大、外形復(fù)雜的特點(diǎn),本文構(gòu)建了基于移動(dòng)機(jī)械臂的柔性測(cè)量系統(tǒng),提出了特征自適應(yīng)的多站位自動(dòng)化掃描規(guī)劃方法,并對(duì)掃描效率,模型完整性以及測(cè)量精度進(jìn)行實(shí)驗(yàn)驗(yàn)證。
柔性測(cè)量系統(tǒng)主要包含執(zhí)行模塊和測(cè)量模塊,如圖1 所示。執(zhí)行模塊采用機(jī)械臂與移動(dòng)平臺(tái)的組合方式。機(jī)械臂末端夾持掃描儀進(jìn)行手持掃描動(dòng)作;移動(dòng)平臺(tái)配備激光雷達(dá)與視覺(jué)傳感器,可在復(fù)雜車(chē)間內(nèi)建立環(huán)境障礙地圖,實(shí)現(xiàn)車(chē)間環(huán)境內(nèi)的動(dòng)態(tài)路徑規(guī)劃與定位及待測(cè)對(duì)象與柔性測(cè)量系統(tǒng)的相對(duì)位姿估計(jì)。測(cè)量模塊包含手持式掃描儀和動(dòng)態(tài)跟蹤系統(tǒng)。通過(guò)工裝將掃描儀與機(jī)械臂末端連接。掃描過(guò)程中,由動(dòng)態(tài)跟蹤系統(tǒng)進(jìn)行掃描儀的實(shí)時(shí)位姿解算,將掃描獲取的型面三維數(shù)據(jù)轉(zhuǎn)換至動(dòng)態(tài)跟蹤系統(tǒng)坐標(biāo)系下。
為了實(shí)現(xiàn)模塊間數(shù)據(jù)傳遞、保證系統(tǒng)協(xié)調(diào)工作,首先對(duì)系統(tǒng)各組成部分之間的相對(duì)坐標(biāo)關(guān)系進(jìn)行建模,然后對(duì)待測(cè)工件進(jìn)行位姿估計(jì)。
圖1 系統(tǒng)組成與坐標(biāo)系定義示意圖Fig.1 System composition and coordinate system definition
系統(tǒng)坐標(biāo)系定義如圖1 所示。OO為工件坐標(biāo)系,OF為工裝坐標(biāo)系,OQR為二維碼坐標(biāo)系,通過(guò)工裝建立工件坐標(biāo)系與二維碼坐標(biāo)系的聯(lián)系,工裝同時(shí)保證了工件與二維碼的定位精度,二維碼坐標(biāo)系到工件坐標(biāo)系的相對(duì)位姿可由工裝設(shè)計(jì)參數(shù)確定。執(zhí)行模塊包含機(jī)械臂基坐標(biāo)系OB,工具坐標(biāo)系OT,移動(dòng)平臺(tái)坐標(biāo)系OV和相機(jī)坐標(biāo)系OC;測(cè)量模塊包含掃描儀坐標(biāo)系OS,設(shè)定垂直于掃描平面指向掃描對(duì)象的方向?yàn)閽呙鑳x坐標(biāo)系x軸正方向;動(dòng)態(tài)跟蹤系統(tǒng)坐標(biāo)系為ODT;全局參考坐標(biāo)系定義為OW。
待測(cè)對(duì)象坐標(biāo)系之間,從工件坐標(biāo)系到二維碼坐標(biāo)系為固定變換,由工裝設(shè)計(jì)參數(shù)得到。利用相機(jī)成像幾何模型可估計(jì)出二維碼坐標(biāo)系在相機(jī)坐標(biāo)系下的位姿(將在1.2 節(jié)討論)。從相機(jī)坐標(biāo)系到機(jī)械臂基坐標(biāo)系的變換由手眼標(biāo)定得到。掃描儀坐標(biāo)系與工具坐標(biāo)系的相對(duì)位姿由夾具設(shè)計(jì)參數(shù)得到。由機(jī)械臂運(yùn)動(dòng)學(xué)模型可以得到任意姿態(tài)下工具坐標(biāo)系在機(jī)械臂基座標(biāo)系的位姿BTT?;诒粶y(cè)對(duì)象數(shù)模進(jìn)行掃描路徑規(guī)劃,掃描路徑點(diǎn)可轉(zhuǎn)化為掃描儀在工件坐標(biāo)系下的期待位姿,為了將其轉(zhuǎn)化為執(zhí)行模塊可執(zhí)行的掃描動(dòng)作,需要將其從工件坐標(biāo)系轉(zhuǎn)換到機(jī)械臂基座標(biāo)系下,根據(jù)矩陣乘法結(jié)合律,其變換矩陣表達(dá)為
通過(guò)該變換關(guān)系得到掃描儀坐標(biāo)系在機(jī)械臂基坐標(biāo)系下的期望位姿,再通過(guò)機(jī)械臂運(yùn)動(dòng)學(xué)逆解求得期望的機(jī)械臂各關(guān)節(jié)角度,實(shí)現(xiàn)掃描動(dòng)作解算。
當(dāng)待掃描區(qū)域較大,一個(gè)站位下無(wú)法覆蓋所有掃描路徑點(diǎn)時(shí),將全局掃描路徑點(diǎn)拆分成各站位下的局部掃描路徑點(diǎn),利用柔性測(cè)量系統(tǒng)的水平移動(dòng)分站覆蓋完整掃描區(qū)域。在系統(tǒng)站位轉(zhuǎn)換過(guò)程中,掃描儀在機(jī)械臂基坐標(biāo)系下的期待位姿會(huì)隨著柔性測(cè)量系統(tǒng)與待測(cè)工件的相對(duì)運(yùn)動(dòng)而發(fā)生改變。令s0站位為柔性測(cè)量系統(tǒng)初始站位,假設(shè)從s0站位到sn站位的變換為,則
式中:Ps0為s0站位坐標(biāo)系下的掃描儀期待位姿集合,Psn為sn站位下的掃描儀期待位姿集合,通過(guò)式(2)實(shí)現(xiàn)兩個(gè)集合之間的映射。
在一個(gè)工位測(cè)量任務(wù)中坐標(biāo)系之間的變換關(guān)系如圖2 所示,圖2 中使用實(shí)線(xiàn)和虛線(xiàn)區(qū)分測(cè)量任務(wù)中固定或動(dòng)態(tài)變化的位姿關(guān)系,各坐標(biāo)系之間通過(guò)固定變換或動(dòng)態(tài)變換建立聯(lián)系。其中,世界坐標(biāo)系作為參考坐標(biāo)系,在一個(gè)工位的測(cè)量任務(wù)中其與工裝坐標(biāo)系及動(dòng)態(tài)跟蹤系統(tǒng)坐標(biāo)系的相對(duì)位姿保持不變,此外移動(dòng)平臺(tái)坐標(biāo)系與機(jī)械臂基座標(biāo)系相對(duì)位姿也是固定的,這些固定變換在計(jì)算中可以被消去,因此無(wú)需進(jìn)行求解。
圖2 坐標(biāo)系變換示意圖Fig.2 Coordinate system transformation
待測(cè)工件與柔性測(cè)量系統(tǒng)的相對(duì)位姿估計(jì)是系統(tǒng)數(shù)據(jù)傳遞中的重要內(nèi)容。本文利用ArUco庫(kù)[21-22]自動(dòng)提取圖像中的二維碼,并估計(jì)出二維碼坐標(biāo)系在相機(jī)坐標(biāo)系下的位姿,實(shí)現(xiàn)待測(cè)工件相對(duì)位姿解算。
基于二維碼的位姿估計(jì)可描述為多點(diǎn)透視成像(Perspective-n-point,PnP)問(wèn)題,其求解精度與觀測(cè)角度與距離相關(guān)[23],如圖3 所示。由于移動(dòng)平臺(tái)定位精度影響,可能出現(xiàn)無(wú)法準(zhǔn)確到達(dá)預(yù)設(shè)位置,導(dǎo)致待測(cè)工件相對(duì)位姿估計(jì)精度較低。為此,考慮相機(jī)與二維碼相對(duì)距離、相機(jī)成像平面與二維碼平面夾角這兩個(gè)因素對(duì)位姿估計(jì)精度的影響,設(shè)計(jì)評(píng)價(jià)函數(shù)
圖3 相機(jī)位姿估計(jì)Fig.3 Camera pose estimation
本節(jié)首先根據(jù)掃描儀工作原理進(jìn)行掃描約束分析,建立掃描規(guī)劃問(wèn)題模型,然后將特征自適應(yīng)的大型曲面掃描規(guī)劃方法分為3 個(gè)步驟:(1)基于待測(cè)曲面網(wǎng)格模型分割得到特征區(qū)域,對(duì)不同區(qū)域自適應(yīng)采樣并偏置,得到離散的掃描路徑點(diǎn)集合。(2)根據(jù)掃描路徑點(diǎn)分布及柔性測(cè)量系統(tǒng)工作空間約束對(duì)掃描任務(wù)進(jìn)行站位劃分。(3)在每個(gè)站位下求解掃描路徑點(diǎn)遍歷順序,利用運(yùn)動(dòng)規(guī)劃器對(duì)有序的離散目標(biāo)位姿集合平滑插值,生成每個(gè)站位的掃描軌跡,最終得到移動(dòng)機(jī)械臂可執(zhí)行的任務(wù)動(dòng)作,實(shí)現(xiàn)掃描規(guī)劃。在步驟(1)中主要考慮掃描完整性約束,而在步驟(2,3)中主要考慮掃描效率約束。
如圖4 所示,將掃描儀視場(chǎng)建模為一個(gè)錐形區(qū)域,進(jìn)一步將有效掃描區(qū)域簡(jiǎn)化為一個(gè)圓柱體區(qū)域,其中視錐方向與掃描儀坐標(biāo)系x軸正方向一致,dfmin、dfmax、dfbest分別為掃描儀的最小、最大以及最佳工作距離,rf為有效掃描區(qū)域半徑,以最小工作距離下的視錐切圓半徑為參考。
圖4 掃描儀視場(chǎng)建模Fig.4 Scan field modeling
掃描路徑點(diǎn)可描述為pi=(x,y,z,nx,ny,nz),其中(x,y,z)為三維空間坐標(biāo),(nx,ny,nz)為單位方向向量,分別代表掃描儀的位置與朝向。用于自動(dòng)掃描任務(wù)執(zhí)行的掃描儀空間位姿可表達(dá)為ppi=(x,y,z,r,p,y),其中(x,y,z)為掃描儀的位置,(r,p,y)為掃描儀繞x、y、z軸的旋轉(zhuǎn),表示掃描儀的姿態(tài)。由于掃描路徑點(diǎn)pi的法向量(nx,ny,nz)為歸一化的方向向量,只提供了兩個(gè)自由度的約束。令掃描儀視場(chǎng)方向(掃描儀坐標(biāo)系x軸正方向)與掃描路徑點(diǎn)法向量方向一致,同時(shí)令掃描儀繞x軸方向的旋轉(zhuǎn)角度為0(即令r=0),即可實(shí)現(xiàn)掃描路徑點(diǎn)和掃描儀的期待位姿之間的相互轉(zhuǎn)換,因此下文對(duì)二者不再作區(qū)分。
為了保證掃描數(shù)據(jù)質(zhì)量,掃描儀的視錐方向應(yīng)盡可能與待測(cè)表面垂直,同時(shí)掃描路徑點(diǎn)與待測(cè)表面的距離應(yīng)接近掃描儀的最佳工作距離。
定義掃描目標(biāo)點(diǎn)集合PT為待測(cè)曲面網(wǎng)格模型上的采樣點(diǎn)集合,每個(gè)掃描目標(biāo)點(diǎn)pTi根據(jù)掃描儀的工作條件約束可間接求得對(duì)應(yīng)的掃描路徑點(diǎn)pi(延法線(xiàn)方向偏置dfbest并將法線(xiàn)反向即可)。通過(guò)在待測(cè)曲面網(wǎng)格模型上采樣掃描目標(biāo)點(diǎn)的方式將網(wǎng)格離散化,掃描儀在一個(gè)掃描路徑點(diǎn)下其有效掃描區(qū)域可以覆蓋掃描目標(biāo)點(diǎn)所處的曲面局部區(qū)域,尋找合適的掃描路徑點(diǎn)遍歷順序,并在掃描路徑點(diǎn)間進(jìn)行平滑插值,即得到可完整獲取待測(cè)曲面表面數(shù)據(jù)的掃描路徑。
飛機(jī)大型蒙皮曲面上的特征區(qū)域主要表現(xiàn)為曲率變化大,因此可基于曲率進(jìn)行曲面特征識(shí)別與分割。首先對(duì)待測(cè)曲面三角網(wǎng)格模型進(jìn)行平滑處理,以濾除較小特征(如鉚釘?shù)龋┑母蓴_。結(jié)合飛機(jī)大型蒙皮曲面的特點(diǎn),同時(shí)考慮掃描完整性與掃描效率,將掃描目標(biāo)點(diǎn)采樣劃分為兩部分內(nèi)容:針對(duì)連續(xù)平坦曲面區(qū)域,采用行切法快速獲取曲面整體數(shù)據(jù)。針對(duì)飛機(jī)蒙皮曲面上為了滿(mǎn)足結(jié)構(gòu)或功能要求(如光電吊艙)而出現(xiàn)的鼓包或者凹陷,如圖5所示,對(duì)局部復(fù)雜結(jié)構(gòu)區(qū)域進(jìn)行精細(xì)規(guī)劃,提高特征區(qū)域的掃描覆蓋率。具體流程如圖6 所示。
圖5 帶凸包的飛機(jī)蒙皮曲面Fig.5 Surface of aircraft skin with convex hull
圖6 掃描路徑點(diǎn)生成流程Fig.6 Process of scan path point generation
具體的,基于區(qū)域生長(zhǎng)方法對(duì)網(wǎng)格模型進(jìn)行分割[24],得到曲率突變的局部復(fù)雜結(jié)構(gòu)區(qū)域,如圖7所示;針對(duì)曲率變化相對(duì)平緩的連續(xù)平坦曲面區(qū)域,根據(jù)給定掃描參考方向,沿平行于掃描參考方向設(shè)置一組等距輔助平面,輔助平面與待測(cè)曲面相交得到曲面交線(xiàn),即行切法的采樣空間,曲面交線(xiàn)與局部復(fù)雜結(jié)構(gòu)區(qū)域共同組成了掃描目標(biāo)點(diǎn)的采樣空間,如圖8 中的黃色區(qū)域。
根據(jù)曲面變化趨勢(shì)動(dòng)態(tài)調(diào)整采樣密度,設(shè)計(jì)掃描目標(biāo)點(diǎn)等效采樣間距為
圖7 網(wǎng)格模型分割Fig.7 Mesh segmentation
圖8 網(wǎng)格采樣空間Fig.8 Sample space of mesh
其中
式中:dInterval為掃描儀的掃描有效間距,同時(shí)也作為輔助平面的間距;rf為掃描儀的有效掃描區(qū)域半徑,系數(shù)h用以控制掃描重疊率。 式(4)中cospTi,pTj為曲面上兩掃描目標(biāo)點(diǎn)法線(xiàn)夾角的余弦值;系數(shù)k用于調(diào)節(jié)等效采樣間距de對(duì)法向變化的敏感度。當(dāng)待測(cè)區(qū)域近似為平面時(shí),相鄰掃描目標(biāo)點(diǎn)的法向夾角很小,de接近于dInterval;待測(cè)區(qū)域曲率變化越大,等效采樣距離越小,采樣點(diǎn)越密集。當(dāng)兩個(gè)法向量夾角為銳角時(shí),k值越大,曲面的法向變化對(duì)等效采樣距離的影響越大,采樣距離對(duì)待測(cè)曲面的曲率變化越敏感。如圖9 為k取值1、2、3、6 時(shí)等效掃描距離隨法向量夾角的變化關(guān)系。當(dāng)cospTi,pTj<0 時(shí),de=0。圖10 中藍(lán)色點(diǎn)和紅色點(diǎn)分別為k取2 和6 時(shí)得到的掃描目標(biāo)點(diǎn),可以看到k值變大后曲率變化率大的特征區(qū)域采樣密度明顯增加,而曲率變化小的平坦區(qū)域采樣密度無(wú)明顯變化,符合設(shè)計(jì)邏輯。
圖9 法向量夾角與等效掃描距離關(guān)系Fig.9 Relation between the angle of normals and de
圖10 不同的k 值對(duì)采樣結(jié)果的影響Fig.10 Influence of different k values on sampling result
將采樣得到的掃描目標(biāo)點(diǎn)沿著對(duì)應(yīng)法向量方向偏置距離dfbest,再將法向量方向反轉(zhuǎn),即得到了待測(cè)曲面的掃描路徑點(diǎn),如圖11 所示。
圖11 偏置掃描目標(biāo)點(diǎn)得到掃描路徑點(diǎn)Fig.11 Offset scan target point obtained by scan path point
通過(guò)根據(jù)曲率變化對(duì)曲面特征進(jìn)行自動(dòng)分割和提取,并對(duì)不同區(qū)域采取不同的掃描規(guī)劃策略,最終生成的掃描路徑點(diǎn)對(duì)待測(cè)曲面上的局部復(fù)雜結(jié)構(gòu)區(qū)域具有自適應(yīng)性,可避免復(fù)雜結(jié)構(gòu)區(qū)域掃描數(shù)據(jù)缺失。
由于采用的柔性測(cè)量系統(tǒng)不包含高度調(diào)節(jié)機(jī)構(gòu),因此其高度覆蓋區(qū)域不受站位規(guī)劃影響;轉(zhuǎn)移站位時(shí),移動(dòng)平臺(tái)進(jìn)行水平運(yùn)動(dòng),系統(tǒng)俯仰、滾轉(zhuǎn)兩個(gè)自由度不予考慮。因此本文將站位求解空間從三維空間壓縮至二維平面以簡(jiǎn)化掃描站位規(guī)劃過(guò)程。以任意站位si=(x,y,θ) 表示柔性測(cè)量系統(tǒng)的平面坐標(biāo)與朝向,將每個(gè)站位下的機(jī)械臂工作空間投影到移動(dòng)平臺(tái)的運(yùn)動(dòng)平面上,并簡(jiǎn)化為一個(gè)矩形區(qū)域ri;將三維掃描路徑點(diǎn)集合P投影至移動(dòng)平臺(tái)運(yùn)動(dòng)平面,得到投影路徑點(diǎn)集合P′。掃描站位規(guī)劃目標(biāo)是以最少的站位盡可能覆蓋集合P,將該優(yōu)化問(wèn)題轉(zhuǎn)化為以最少的矩形區(qū)域ri覆蓋投影路徑點(diǎn)集合P′。
以每個(gè)投影路徑點(diǎn)為中心生成矩形區(qū)域,每個(gè)矩形區(qū)域?qū)?yīng)一個(gè)掃描站位,如圖12 所示。計(jì)算每個(gè)矩形區(qū)域覆蓋的投影路徑點(diǎn)數(shù)量,采用非極大值抑制濾除多數(shù)矩形區(qū)域——若兩個(gè)矩形區(qū)域的交并比(Intersection over union,IoU)超過(guò)設(shè)定閾值,則刪除其中覆蓋投影路徑點(diǎn)數(shù)量較少的區(qū)域,得到候選站位集合SC,如圖13 所示。
為 了 得 到 目 標(biāo) 站 位 集 合S={s1,s2,…,sn}?SC,構(gòu)造優(yōu)化問(wèn)題
圖12 掃描站位示意圖Fig.12 Diagram of scanning station
圖13 生成候選掃描站位集合Fig.13 Generation of the set of candidate scanning station
目標(biāo)函數(shù)由兩部分組成,其中N(S)為站位集合S無(wú)法覆蓋的投影路徑點(diǎn)個(gè)數(shù),D(si)和P(si)分別為相鄰兩個(gè)站位之間距離和夾角的函數(shù),系數(shù)λ用于調(diào)節(jié)兩項(xiàng)的權(quán)重。最小化目標(biāo)函數(shù)即得到覆蓋盡可能多掃描路徑點(diǎn),且站位分布均勻、朝向一致的目標(biāo)站位集合S,減小移動(dòng)平臺(tái)的調(diào)姿動(dòng)作,提高測(cè)量效率,如圖14 所示。
圖14 生成掃描站位集合Fig.14 Generate a set of scanning station
為使得每個(gè)站位下覆蓋路徑點(diǎn)在站位工作空間內(nèi)分布均勻,進(jìn)一步優(yōu)化掃描站位位置:計(jì)算目標(biāo)站位si對(duì)應(yīng)矩形工作區(qū)域所覆蓋的投影路徑點(diǎn)集合P'si的質(zhì)心p'si
如圖15 所示,在保證矩形區(qū)域完整覆蓋路徑點(diǎn)集合P'si的約束下,最小化矩形區(qū)域中心與質(zhì)心p'si(即圖中紅點(diǎn))的距離,最終得到優(yōu)化后的掃描站位集合S。
圖15 優(yōu)化掃描站位Fig.15 Optimized scanning station location
在任意站位下,柔性測(cè)量系統(tǒng)與被測(cè)對(duì)象的相對(duì)位姿已知。將規(guī)劃的掃描路徑點(diǎn)從被測(cè)對(duì)象坐標(biāo)系映射到該站位下機(jī)械臂基坐標(biāo)系下,將掃描路徑點(diǎn)轉(zhuǎn)化為掃描儀的期待位姿,根據(jù)機(jī)械臂與掃描儀坐標(biāo)關(guān)系以及機(jī)械臂關(guān)節(jié)約束求解每個(gè)期待位姿的可達(dá)性,在求解空間中根據(jù)待測(cè)工件的相對(duì)位姿添加障礙約束,剔除不可達(dá)路徑點(diǎn),根據(jù)該站位下可執(zhí)行的路徑點(diǎn)集合進(jìn)行機(jī)械臂的運(yùn)動(dòng)軌跡規(guī)劃。
為實(shí)現(xiàn)機(jī)械臂的掃描運(yùn)動(dòng)軌跡規(guī)劃,需要確定該站位下可執(zhí)行的掃描路徑點(diǎn)的遍歷順序。首先對(duì)復(fù)雜結(jié)構(gòu)掃描路徑點(diǎn)按照距離進(jìn)行k聚類(lèi),形成若干掃描路徑點(diǎn)簇PC,并依照式(7)計(jì)算每個(gè)點(diǎn)簇的質(zhì)心;然后將行切法掃描路徑點(diǎn)串聯(lián)形成Z 字形掃描路徑,以鏈表形式存儲(chǔ);在點(diǎn)簇質(zhì)心與行切法路徑幾何距離最近處,將亂序的掃描路徑點(diǎn)簇作為子鏈表插入,如圖16 所示。
圖16 掃描路徑點(diǎn)簇聚類(lèi)Fig.16 Scan path point clustering
為確定子鏈表中掃描路徑點(diǎn)的遍歷順序,考慮以下啟發(fā)式原則以同時(shí)保障機(jī)械臂運(yùn)動(dòng)平穩(wěn)性與掃描效率:(1)掃描軌跡應(yīng)盡可能平滑,避免運(yùn)動(dòng)方向突變?cè)斐蛇\(yùn)動(dòng)沖擊;(2)兩個(gè)掃描路徑點(diǎn)之間的掃描方向差異盡可能小,避免頻繁調(diào)整掃描儀位姿;(3)掃描路徑總長(zhǎng)應(yīng)盡可能小。
基于上述原則,確定掃描路徑點(diǎn)遍歷順序的流程為:以最接近點(diǎn)簇質(zhì)心的行切法掃描路徑點(diǎn)作為初始點(diǎn)和終點(diǎn),遍歷并尋找下一個(gè)最優(yōu)路徑點(diǎn),重復(fù)這個(gè)過(guò)程直至完成子鏈表內(nèi)所有掃描路徑點(diǎn)的排序。假設(shè)pi-1,pi∈PCj分別表示順序的兩個(gè)路徑點(diǎn),為下一個(gè)路徑點(diǎn)pi+1∈PCj設(shè)計(jì)評(píng)價(jià)函數(shù)
式中α=pi-1pi,pi pi+1,即掃描路徑運(yùn)動(dòng)方向的變化角度;β=pi,pi+1,即掃描方向的變化角度,系數(shù)w用于調(diào)整運(yùn)動(dòng)方向與掃描方向的權(quán)重;d=||pi,pi+1||,即兩個(gè)掃描路徑點(diǎn)的距離(圖17);d0為參考距離,當(dāng)d<d0時(shí),距離對(duì)評(píng)價(jià)函數(shù)的影響較?。幌禂?shù)k用于控制函數(shù)對(duì)距離的敏感度。
圖17 路徑點(diǎn)遍歷順序評(píng)價(jià)函數(shù)計(jì)算Fig.17 Evaluation calculation of path point traversal sequence
選擇得分最高的點(diǎn)作為下一個(gè)最優(yōu)路徑點(diǎn),滿(mǎn)足掃描軌跡運(yùn)動(dòng)方向變化角度小、掃描角度變化小且運(yùn)動(dòng)距離較短。確認(rèn)所有路徑點(diǎn)遍歷順序后,使用運(yùn)動(dòng)規(guī)劃器進(jìn)行平滑插值,得到機(jī)械臂可執(zhí)行的掃描軌跡。
為驗(yàn)證所提出方法的有效性,搭建了柔性測(cè)量系統(tǒng),如圖18 所示。其中機(jī)械臂型號(hào)為UR5 協(xié)作機(jī)器人,其工作空間為基座關(guān)節(jié)周?chē)?50 mm 范圍內(nèi)的球形區(qū)域,有效負(fù)載5 kg,同時(shí)重復(fù)定位精度達(dá)到±0.03 mm;移動(dòng)平臺(tái)采用MiR100 移動(dòng)機(jī)器人,其有效定位精度±5 cm;使用RealSense D435 深度相機(jī)同時(shí)用于移動(dòng)機(jī)器人的輔助避障和待測(cè)對(duì)象的視覺(jué)定位;掃描設(shè)備為Creatform 的Metra Scan 三維掃描儀,使用C-Track 視覺(jué)跟蹤儀對(duì)掃描儀進(jìn)行位姿跟蹤定位。執(zhí)行模塊與測(cè)量模塊解耦,保證測(cè)量數(shù)據(jù)精度不受執(zhí)行累計(jì)誤差影響。
面向飛機(jī)大型曲面的自動(dòng)化測(cè)量系統(tǒng)完整測(cè)量流程如圖19 所示。
圖18 柔性測(cè)量系統(tǒng)與試驗(yàn)環(huán)境Fig.18 Flexible measuring system and experiment environment
圖19 自動(dòng)化測(cè)量流程圖Fig.19 Automatic measurement flow chart
首先在預(yù)備階段需要人工輔助移動(dòng)平臺(tái)利用激光雷達(dá)在車(chē)間內(nèi)建立高精度環(huán)境地圖,并設(shè)定移動(dòng)平臺(tái)在任務(wù)工位中的初始站位。完成預(yù)備階段工作后,自動(dòng)化測(cè)量系統(tǒng)工作流程如下:根據(jù)測(cè)量任務(wù)規(guī)劃,柔性測(cè)量系統(tǒng)進(jìn)入預(yù)設(shè)任務(wù)工位。視覺(jué)定位模塊識(shí)別待測(cè)對(duì)象工裝上的二維碼,利用二維碼估計(jì)待測(cè)工件與柔性測(cè)量系統(tǒng)的相對(duì)位姿,并微調(diào)系統(tǒng)站位以滿(mǎn)足位姿估計(jì)精度要求。然后針對(duì)飛機(jī)蒙皮曲面外形復(fù)雜、尺寸大的特點(diǎn),根據(jù)待測(cè)對(duì)象的網(wǎng)格模型,通過(guò)特征敏感的掃描路徑點(diǎn)生成、掃描站位規(guī)劃及掃描軌跡規(guī)劃3 個(gè)步驟實(shí)現(xiàn)特征自適應(yīng)的掃描規(guī)劃。將規(guī)劃數(shù)據(jù)基于系統(tǒng)坐標(biāo)關(guān)系模型轉(zhuǎn)換到機(jī)械臂及移動(dòng)平臺(tái)坐標(biāo)系下,得到柔性測(cè)量系統(tǒng)可執(zhí)行的任務(wù)指令。針對(duì)尺寸較大的蒙皮零件,單一站位下機(jī)械臂的工作空間無(wú)法有效覆蓋全部掃描區(qū)域,將掃描任務(wù)分站位執(zhí)行,并將每個(gè)掃描站位下的局部掃描數(shù)據(jù)統(tǒng)一到動(dòng)態(tài)跟蹤系統(tǒng)建立的測(cè)量參照系下。基于掃描數(shù)據(jù)進(jìn)行分析處理,得到測(cè)量結(jié)果,即實(shí)現(xiàn)待測(cè)對(duì)象的單次完整測(cè)量。
使用真實(shí)飛機(jī)產(chǎn)品作為測(cè)量對(duì)象,選取如飛機(jī)機(jī)身桶段、機(jī)翼上、下壁板等典型的飛機(jī)蒙皮壁板結(jié)構(gòu)測(cè)試所提出的飛機(jī)大型蒙皮曲面自動(dòng)化三維掃描測(cè)量方法。
試驗(yàn)測(cè)試了4 個(gè)場(chǎng)景對(duì)象:場(chǎng)景1 中測(cè)量對(duì)象為機(jī)翼上壁板,其曲率變化較小且表面平整。場(chǎng)景2 中的測(cè)量對(duì)象為直升機(jī)尾翼垂直安定面,其表面有許多為了增加結(jié)構(gòu)剛性而設(shè)計(jì)的溝槽結(jié)構(gòu)。場(chǎng)景3 和場(chǎng)景4 分別為機(jī)翼下壁板和機(jī)身蒙皮,其表面有一定的曲率變化且包含部分鼓包或凹槽等復(fù)雜結(jié)構(gòu)區(qū)域。
以場(chǎng)景4 中的飛機(jī)機(jī)身作為測(cè)量對(duì)象進(jìn)行自動(dòng)化掃描規(guī)劃測(cè)試。首先在待測(cè)對(duì)象數(shù)模上進(jìn)行掃描目標(biāo)點(diǎn)采樣,在式(4,5)中,取k=2,h=0.6,rf=200,得到采樣結(jié)果如圖20(a)所示,圖20 中紅點(diǎn)為復(fù)雜結(jié)構(gòu)區(qū)域采樣點(diǎn),黑點(diǎn)為行切法采樣點(diǎn),采樣點(diǎn)的分布密度與曲面曲率變化率一致,符合設(shè)計(jì)要求。將掃描目標(biāo)點(diǎn)沿著對(duì)應(yīng)法向量方向偏置,再將法向量偏置,得到待測(cè)曲面掃描路徑點(diǎn),如圖20(b)所示,其中黑色細(xì)線(xiàn)表示掃描路徑點(diǎn)的法向量。根據(jù)掃描路徑點(diǎn)進(jìn)行掃描路徑規(guī)劃,如圖20(c),藍(lán)色矩形框?yàn)楹蜻x站位對(duì)應(yīng)的系統(tǒng)工作區(qū)域,紅色點(diǎn)為算法求解的目標(biāo)站位點(diǎn),對(duì)應(yīng)的目標(biāo)站位工作區(qū)域?yàn)閳D示棕色粗矩形框。測(cè)試中,算法從32 個(gè)候選站位中選擇出3 個(gè)目標(biāo)站位,該組合為目標(biāo)函數(shù)(6)限定下的最優(yōu)解。最小化矩形區(qū)域中心與質(zhì)心的距離,最終得到優(yōu)化后的掃描站位集合,如圖20(d)所示。對(duì)于評(píng)價(jià)函數(shù)(8),取d0=3·dInterval,k=0.02,w=0.9,得到掃描站位1 掃描路徑點(diǎn)遍歷順序如圖20(e)所示(圖示軌跡為路徑點(diǎn)的順序連接,未進(jìn)行平滑插值,并非最終執(zhí)行軌跡),該結(jié)果符合掃描軌跡規(guī)劃策略預(yù)期。
圖20 特征自適應(yīng)的掃描規(guī)劃Fig.20 Feature adaptive scan planning
圖21 兩種規(guī)劃策略對(duì)特征區(qū)域效果對(duì)比Fig.21 Comparison of the effects of two planning strategies on feature area
圖21 為行切法和本文提出的特征自適應(yīng)方法對(duì)飛機(jī)蒙皮曲面掃描路徑的規(guī)劃路徑點(diǎn),以及根據(jù)規(guī)劃路徑點(diǎn)進(jìn)行掃描的結(jié)果對(duì)比。從掃描路徑點(diǎn)規(guī)劃結(jié)果可以看出,本文提出的特征自適應(yīng)方法在行切法的基礎(chǔ)上可自適應(yīng)規(guī)劃對(duì)局部特征區(qū)域進(jìn)行精細(xì)規(guī)劃,針對(duì)特征區(qū)域增加掃描位姿,圖21 中紅色點(diǎn)即為針對(duì)特征區(qū)域的掃描路徑點(diǎn)。從掃描結(jié)果來(lái)看,在曲率變化較大的特征區(qū)域,由于掃描儀與被測(cè)曲面夾角過(guò)大,使用行切法的掃描結(jié)果在凸起部位側(cè)面出現(xiàn)了大面積的數(shù)據(jù)缺失,而本文所提方法則可以獲取較完整的特征區(qū)域數(shù)據(jù)。
4.2.1 掃描效率
在正常工況下手動(dòng)對(duì)待測(cè)對(duì)象進(jìn)行掃描,同時(shí)分別針對(duì)4 個(gè)場(chǎng)景中的待測(cè)對(duì)象進(jìn)行掃描規(guī)劃,并執(zhí)行自動(dòng)化掃描。兩種掃描方式分別重復(fù)進(jìn)行4次,表1 記錄了測(cè)量對(duì)象的尺寸、對(duì)應(yīng)的規(guī)劃掃描站位數(shù)以及兩種掃描方法所花費(fèi)的平均掃描時(shí)間。
表1 試驗(yàn)場(chǎng)景掃描時(shí)間對(duì)比Table 1 Comparison of scanning time of test scenes
在場(chǎng)景1 和場(chǎng)景2 中待測(cè)對(duì)象尺寸較小,自動(dòng)化掃描方法所花費(fèi)時(shí)間較手動(dòng)掃描時(shí)間有較大優(yōu)勢(shì),尤其在場(chǎng)景2 中掃描時(shí)間減少接近30%,這是因?yàn)樽詣?dòng)化掃描路徑規(guī)劃可以在保證掃描完整性的同時(shí)避免重復(fù)掃描;而隨著待測(cè)對(duì)象尺寸增大,掃描站位增加,柔性測(cè)量系統(tǒng)掃描站位轉(zhuǎn)移耗費(fèi)時(shí)間較長(zhǎng)(由實(shí)驗(yàn)中所使用的移動(dòng)平臺(tái)所限制,若使用全向移動(dòng)平臺(tái)則可以很大程度上減少站位調(diào)姿耗時(shí)),在場(chǎng)景3 和場(chǎng)景4 中自動(dòng)掃描速度優(yōu)勢(shì)降低,但是仍?xún)?yōu)于手動(dòng)掃描。整體而言,自動(dòng)化掃描方法的掃描效率更高,并且在連續(xù)的、重復(fù)性的掃描任務(wù)中,自動(dòng)化掃描方法有更大的優(yōu)勢(shì)。
4.2.2 掃描完整性
圖22 展示了手動(dòng)和自動(dòng)掃描方式的掃描結(jié)果的直觀對(duì)比。對(duì)于場(chǎng)景1 中的平板類(lèi)型對(duì)象,兩種掃描方式的直觀掃描效果相近,在表面鉚釘細(xì)節(jié)處也有較高的掃描質(zhì)量;對(duì)于場(chǎng)景2 的溝槽結(jié)構(gòu),自動(dòng)化掃描結(jié)果基本完整;分析場(chǎng)景3 和場(chǎng)景4 可以看出自動(dòng)化掃描方式整體掃描效果較好,且在局部復(fù)雜結(jié)構(gòu)區(qū)域?qū)?xì)節(jié)特征也能很好地覆蓋,驗(yàn)證了特征自適應(yīng)的掃描規(guī)劃的有效性。受限于測(cè)試系統(tǒng)中機(jī)械臂的運(yùn)動(dòng)空間,只能對(duì)對(duì)象局部數(shù)據(jù)進(jìn)行采集,實(shí)際應(yīng)用中根據(jù)待測(cè)對(duì)象的尺寸可以選用不同型號(hào)的機(jī)械臂和移動(dòng)平臺(tái)。
圖22 掃描結(jié)果對(duì)比Fig.22 Comparison of scan results
4.2.3 測(cè)量精度
為進(jìn)一步驗(yàn)證系統(tǒng)的測(cè)量精度,設(shè)計(jì)了系統(tǒng)精度驗(yàn)證實(shí)驗(yàn):將兩個(gè)直徑為22.225 mm 的激光跟蹤儀靶球固定于測(cè)試場(chǎng)景中,使用激光跟蹤儀測(cè)量并計(jì)算兩各靶球的球心距離dS,同時(shí)使用柔性測(cè)量系統(tǒng)對(duì)其進(jìn)行自動(dòng)化掃描,采用PloyWorks 軟件根據(jù)掃描數(shù)據(jù)擬合兩靶球,得到靶球直徑dL和dR,并計(jì)算兩個(gè)靶球的球心距離dM。重復(fù)進(jìn)行6 次測(cè)量,測(cè)量結(jié)果如表2 所示。計(jì)算dL和dR與標(biāo)準(zhǔn)直徑的差值,得到球徑測(cè)量誤差eL和eR;以激光跟蹤儀的6 次測(cè)量結(jié)果的均值1 847.732 mm 作為球心距參考值,計(jì)算掃描數(shù)據(jù)擬合球心距相對(duì)參考值的誤差eS。得到測(cè)量誤差分布如圖23 所示,圖23 中系統(tǒng)對(duì)球徑的尺寸探測(cè)準(zhǔn)確度高于0.01 mm,在1.8 m 范圍內(nèi)對(duì)球心距的測(cè)量準(zhǔn)確度高于0.05 mm,滿(mǎn)足飛機(jī)蒙皮曲面檢測(cè)的精度要求。
表2 測(cè)量精度驗(yàn)證Table 2 Verification of measurement accuracy mm
圖23 測(cè)量誤差分布Fig.23 Distribution of measurement error
本文提出了一個(gè)用于飛機(jī)蒙皮自動(dòng)化測(cè)量的柔性測(cè)量系統(tǒng)及特征自適應(yīng)的待測(cè)對(duì)象掃描規(guī)劃方法,實(shí)現(xiàn)了大型曲面的三維測(cè)量數(shù)據(jù)自動(dòng)化采集。對(duì)測(cè)量系統(tǒng)坐標(biāo)關(guān)系進(jìn)行建模分析,并提出了基于視覺(jué)的待測(cè)工件位姿估計(jì)方法。提出特征自適應(yīng)的掃描規(guī)劃方法,對(duì)掃描站位和掃描路徑進(jìn)行優(yōu)化,實(shí)現(xiàn)了掃描效率的提升,同時(shí)可以對(duì)飛機(jī)蒙皮上的小尺寸特征保持較好的掃描完整性。在實(shí)際場(chǎng)景中對(duì)所提出方法進(jìn)行了測(cè)試,從掃描效率與掃描完整性?xún)蓚€(gè)維度與人工掃描的結(jié)果進(jìn)行了對(duì)比,并進(jìn)一步設(shè)計(jì)了系統(tǒng)精度驗(yàn)證試驗(yàn),驗(yàn)證了所提出的自動(dòng)化測(cè)量方案替代手動(dòng)掃描測(cè)量的可行性。