王 鵬，趙毛輝，孫長(zhǎng)庫(kù)，付魯華，王錦申，馮 勇

(1.天津大學(xué)精密測(cè)試技術(shù)及儀器國(guó)家重點(diǎn)實(shí)驗(yàn)室，天津 300072；2.中國(guó)南方航空股份有限公司工程技術(shù)分公司，廣東 廣州 510000；3.中國(guó)電信股份有限公司廣州分公司，廣東 廣州 510620)

飛機(jī)被廣泛應(yīng)用于交通運(yùn)輸、國(guó)防和農(nóng)業(yè)等各個(gè)方面，飛機(jī)蒙皮關(guān)系到飛機(jī)的氣動(dòng)性和安全性[1]。由于飛機(jī)特殊的運(yùn)營(yíng)環(huán)境，日常維護(hù)中需對(duì)其蒙皮質(zhì)量進(jìn)行檢測(cè)，而依賴于人工目視的傳統(tǒng)檢測(cè)方法已經(jīng)無法滿足現(xiàn)代航空工業(yè)對(duì)于檢測(cè)精度和效率的要求。機(jī)器視覺檢測(cè)能在避免人工目視檢測(cè)效率低下的同時(shí)，實(shí)現(xiàn)類似人工目視的檢測(cè)效果，相較于其他檢測(cè)方法，更易于地勤人員操作和接受，檢測(cè)結(jié)果也更加直觀[2]。

對(duì)于飛機(jī)蒙皮檢測(cè)，常用機(jī)器視覺測(cè)量方法可分為3D 視覺和2D 視覺檢測(cè)。3D 視覺檢測(cè)技術(shù)主要有基于條紋投影的雙目檢測(cè)和3D 激光掃描儀檢測(cè)兩種?；跅l紋投影的雙目測(cè)量具有精度高、測(cè)量速度快的優(yōu)點(diǎn)，但測(cè)量范圍較小[3]。有學(xué)者結(jié)合近景測(cè)量技術(shù)對(duì)結(jié)構(gòu)光測(cè)量系統(tǒng)進(jìn)行定位并將局部點(diǎn)云融合得到完整的三維重建結(jié)果[4-5]，實(shí)現(xiàn)了全局檢測(cè)和定位，但需要多次標(biāo)定和大量的相機(jī)設(shè)備。而使用激光掃描儀掃描飛機(jī)蒙皮生成三維點(diǎn)云的檢測(cè)方法，由點(diǎn)云的局部曲率信息進(jìn)行點(diǎn)云分割，能夠?qū)θ毕輩^(qū)域進(jìn)行識(shí)別定位、檢測(cè)缺陷[6-7]，不過這種方式只適用于平面狀表面的檢測(cè)。2D 視覺檢測(cè)雖無法量化缺陷大小，但具有檢測(cè)效率高，準(zhǔn)確率高的優(yōu)點(diǎn)。隨著計(jì)算機(jī)技術(shù)的發(fā)展，一些學(xué)者將深度學(xué)習(xí)網(wǎng)絡(luò)應(yīng)用到飛機(jī)蒙皮檢測(cè)之中，完成了從飛機(jī)蒙皮圖像中快速識(shí)別缺陷并分類的任務(wù)，實(shí)現(xiàn)了大量圖片數(shù)據(jù)的自動(dòng)化處理[8-9]，但真正投入應(yīng)用，還需要解決圖像采集和圖像定位問題。目前飛機(jī)蒙皮圖像的采集方式主要有使用爬壁式機(jī)器人或無人機(jī)搭載相機(jī)進(jìn)行采集兩種。爬壁式機(jī)器人搭載相機(jī)能夠?qū)崿F(xiàn)對(duì)飛機(jī)蒙皮上下面的檢測(cè)，但流程復(fù)雜、速度較慢且圖像后期定位困難[10-11]；使用無人機(jī)能夠?qū)崿F(xiàn)快速檢測(cè)，也有學(xué)者在無人機(jī)上安裝IMU 和定位相機(jī)等傳感器實(shí)現(xiàn)了圖像定位，但需要室內(nèi)GPS 等其他定位設(shè)備輔助或需要在飛機(jī)旁布設(shè)額外的定位靶標(biāo)[12-13]。PTZ(Pan Tilt Zoom)攝像機(jī)具備調(diào)整拍攝角度和鏡頭變倍功能，有學(xué)者將其用到了飛機(jī)蒙皮表面檢測(cè)上，但只是用于檢測(cè)特定部位且不能實(shí)現(xiàn)精確定位[14]；也有學(xué)者通過深度學(xué)習(xí)來計(jì)算PTZ 設(shè)備與飛機(jī)的相對(duì)位姿，但都沒有實(shí)現(xiàn)自動(dòng)掃描與圖像定位[15]。

鑒于PTZ 攝像機(jī)調(diào)整靈活、拍攝無死角的優(yōu)點(diǎn)，本文使用云臺(tái)、變焦相機(jī)和激光測(cè)距儀搭建數(shù)據(jù)采集設(shè)備，設(shè)計(jì)了飛機(jī)蒙皮圖像掃描與定位系統(tǒng)；對(duì)搭建的數(shù)據(jù)采集設(shè)備進(jìn)行了聯(lián)合標(biāo)定；設(shè)計(jì)了細(xì)節(jié)圖像掃描算法，并提出了細(xì)節(jié)圖像二維定位與空間定位兩種定位算法。對(duì)于需要掃描的飛機(jī)蒙皮區(qū)域，無需借助其他定位設(shè)備即可完成飛機(jī)蒙皮的圖像掃描和掃描所得細(xì)節(jié)圖像的二維定位。對(duì)于三維模型已知的被測(cè)目標(biāo)，還可實(shí)現(xiàn)掃描細(xì)節(jié)圖像空間定位。

1 系統(tǒng)設(shè)計(jì)

飛機(jī)蒙皮圖像掃描和定位系統(tǒng)組成如圖1 所示。

圖1 系統(tǒng)組成示意圖

系統(tǒng)由工控機(jī)控制多臺(tái)數(shù)據(jù)采集設(shè)備組成，因飛機(jī)體積較大，單個(gè)數(shù)據(jù)采集設(shè)備很難完整覆蓋需要檢測(cè)的飛機(jī)蒙皮區(qū)域，故采用多點(diǎn)分布式測(cè)量的方案。數(shù)據(jù)采集設(shè)備則是由云臺(tái)、激光測(cè)距儀和變焦相機(jī)組成。中小型客機(jī)長(zhǎng)度一般在40 m 以內(nèi)，為使四臺(tái)數(shù)據(jù)采集設(shè)備的檢測(cè)范圍能夠基本覆蓋待測(cè)目標(biāo)，云臺(tái)方位角的可轉(zhuǎn)動(dòng)范圍應(yīng)大于270°，俯仰角可轉(zhuǎn)動(dòng)范圍應(yīng)大于為-60～+30°；測(cè)距儀的自然表面量程應(yīng)大于25 m；變焦相機(jī)在工作距離不低于25 m時(shí)，所拍攝圖像的像素分辨力應(yīng)在0.2 mm 以上。測(cè)距儀和變焦相機(jī)固定安裝在云臺(tái)上，安裝時(shí)盡量保證測(cè)距儀光線與相機(jī)光軸平行且與云臺(tái)的兩個(gè)旋轉(zhuǎn)軸垂直。利用云臺(tái)帶動(dòng)變焦相機(jī)和測(cè)距儀轉(zhuǎn)動(dòng)實(shí)現(xiàn)對(duì)飛機(jī)蒙皮細(xì)節(jié)圖像的掃描。

掃描檢測(cè)時(shí)，將變焦相機(jī)焦距調(diào)整到最短拍攝全景圖像，全景圖像視場(chǎng)范圍較大，包含要掃描的飛機(jī)蒙皮區(qū)域，但無法從中識(shí)別蒙皮表面細(xì)節(jié)缺陷。從全景圖像中提取飛機(jī)蒙皮區(qū)域作為ROI(Region of Interest)區(qū)域。為了能夠識(shí)別該區(qū)域飛機(jī)蒙皮的表面缺陷，對(duì)該區(qū)域進(jìn)行圖像掃描，調(diào)整相機(jī)焦距以拍攝視場(chǎng)范圍小、像素分辨力高的細(xì)節(jié)圖像，使細(xì)節(jié)圖像組合起來也能夠覆蓋ROI 區(qū)域。由設(shè)備的標(biāo)定結(jié)果結(jié)合激光測(cè)距儀測(cè)得的待掃描區(qū)域到設(shè)備的距離計(jì)算出掃描ROI 區(qū)域各像素點(diǎn)時(shí)云臺(tái)應(yīng)轉(zhuǎn)動(dòng)的角度，規(guī)劃掃描路徑并調(diào)整變焦相機(jī)的焦距以完成細(xì)節(jié)圖像掃描。細(xì)節(jié)圖像的定位方式有兩種，分別是二維定位和空間定位。細(xì)節(jié)圖像二維定位是在全景圖像中標(biāo)識(shí)出細(xì)節(jié)圖像所在的像素坐標(biāo)區(qū)域，空間定位則是在飛機(jī)三維模型生成的3D 點(diǎn)云上標(biāo)識(shí)出細(xì)節(jié)圖像的位置。為實(shí)現(xiàn)上述工作流程，需要對(duì)數(shù)據(jù)采集設(shè)備進(jìn)行標(biāo)定，并編寫細(xì)節(jié)圖像掃描與定位算法。

2 數(shù)據(jù)采集設(shè)備標(biāo)定

變焦相機(jī)與測(cè)距儀均固定安裝在云臺(tái)上，三者之間的相對(duì)位姿固定不變。為了能夠?qū)崿F(xiàn)對(duì)全景圖像中ROI 區(qū)域的掃描和細(xì)節(jié)圖像的定位，需要在變焦相機(jī)焦距最短時(shí)標(biāo)定相機(jī)內(nèi)參，并對(duì)測(cè)距儀、變焦相機(jī)以及云臺(tái)的位姿進(jìn)行聯(lián)合標(biāo)定，以便將測(cè)量所得數(shù)據(jù)統(tǒng)一到一個(gè)全局坐標(biāo)系下。根據(jù)相機(jī)成像模型建立相機(jī)坐標(biāo)系，以云臺(tái)的旋轉(zhuǎn)軸為坐標(biāo)軸建立云臺(tái)坐標(biāo)系，標(biāo)定兩者之間的位姿變換矩陣，從而求得相機(jī)與云臺(tái)之間的相對(duì)位姿；通過求解測(cè)距儀激光光線在相機(jī)坐標(biāo)系下的空間直線方程，結(jié)合測(cè)距儀測(cè)得的距離長(zhǎng)度求得測(cè)距儀測(cè)量點(diǎn)在相機(jī)坐標(biāo)系下的空間坐標(biāo)。標(biāo)定時(shí)，先標(biāo)定相機(jī)內(nèi)參和相機(jī)與云臺(tái)的相對(duì)位姿，再標(biāo)定激光測(cè)距儀光線在相機(jī)系坐標(biāo)下的方程。

2.1 相機(jī)與云臺(tái)位姿標(biāo)定

為減小相機(jī)位姿傳遞時(shí)相機(jī)內(nèi)參誤差造成誤差累計(jì)，同時(shí)標(biāo)定相機(jī)內(nèi)參和相機(jī)與云臺(tái)的相對(duì)位姿。建立圖2 所示的標(biāo)定模型。以云臺(tái)的鉛錘旋轉(zhuǎn)軸為Z軸、水平旋轉(zhuǎn)軸為Y軸，建立云臺(tái)坐標(biāo)系Or-XrYrZr。將初始狀態(tài)下的云臺(tái)坐標(biāo)系(繞兩軸旋轉(zhuǎn)角度都為零時(shí))設(shè)為全局坐標(biāo)系。固定靶標(biāo)，由云臺(tái)帶動(dòng)相機(jī)轉(zhuǎn)動(dòng)采集標(biāo)定圖片，記錄采集標(biāo)定圖片時(shí)云臺(tái)相較于初始狀態(tài)繞水平軸和鉛錘軸轉(zhuǎn)動(dòng)的角度α和β。

圖2 相機(jī)與云臺(tái)位姿標(biāo)定示意圖

以棋盤格靶標(biāo)上的角點(diǎn)為標(biāo)志點(diǎn)，將其在靶標(biāo)坐標(biāo)系下的坐標(biāo)記為(，，)(i＝1，2，3…，n)，在相機(jī)坐標(biāo)系下的坐標(biāo)記為(，，)(i＝1，2，3…，n)。

為靶標(biāo)坐標(biāo)系到相機(jī)坐標(biāo)系的位姿變換矩陣，還可以表示成:

式中:J是云臺(tái)轉(zhuǎn)動(dòng)的總次數(shù)，f(·)函數(shù)和g(·)分別是通過上述兩種計(jì)算方式將標(biāo)志點(diǎn)的坐標(biāo)映射到相機(jī)坐標(biāo)系下，d(·)函數(shù)是計(jì)算兩種方式得到的標(biāo)志點(diǎn)在相機(jī)坐標(biāo)系下坐標(biāo)的距離。

2.2 相機(jī)與激光測(cè)距儀位姿標(biāo)定

相機(jī)與云臺(tái)位姿標(biāo)定完成后，保持變焦相機(jī)焦距不變，建立相機(jī)與激光測(cè)距儀的標(biāo)定模型，如圖3所示。

圖3 相機(jī)測(cè)距儀位姿標(biāo)定示意圖

測(cè)距儀原點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)為L(zhǎng)c(，，)，其出射光線與相機(jī)坐標(biāo)系各坐標(biāo)軸的夾角分別為θx、θy和θz。若進(jìn)行測(cè)量時(shí)測(cè)距儀測(cè)得的到被測(cè)點(diǎn)P的距離為L(zhǎng)，則被測(cè)點(diǎn)P在相機(jī)坐標(biāo)系下的坐標(biāo)(，，)可以表示為:

因測(cè)距儀激光光斑可見，采用基于光斑可見性的標(biāo)定方法對(duì)其進(jìn)行標(biāo)定[16]。

3 細(xì)節(jié)圖像掃描與定位算法

在實(shí)現(xiàn)了數(shù)據(jù)采集設(shè)備標(biāo)定的基礎(chǔ)上，利用語(yǔ)義分割完成對(duì)全景圖中ROI 區(qū)域的提取，并對(duì)ROI區(qū)域進(jìn)行掃描以拍攝飛機(jī)蒙皮細(xì)節(jié)圖像；分別通過定位細(xì)節(jié)圖像中心點(diǎn)在全景圖中的像素坐標(biāo)位置和在飛機(jī)三維模型生成的3D 點(diǎn)云中的空間坐標(biāo)位置，實(shí)現(xiàn)細(xì)節(jié)圖像的二維定位和空間定位。

3.1 掃描路徑規(guī)劃

由于不同飛機(jī)表面涂裝顏色不同且檢修時(shí)所處環(huán)境背景復(fù)雜，傳統(tǒng)的圖像分割算法很難完成任務(wù)，采用語(yǔ)義分割算法，使用DeepLabv3+MobileNetV2網(wǎng)絡(luò)提取全景圖像中的ROI 區(qū)域[17]。為了實(shí)現(xiàn)對(duì)ROI 區(qū)域的掃描，需要根據(jù)全景圖中像素點(diǎn)坐標(biāo)(u，v)計(jì)算得到掃描拍攝該處細(xì)節(jié)圖像時(shí)云臺(tái)相較于拍攝全景圖像時(shí)繞水平軸和鉛錘軸轉(zhuǎn)動(dòng)的角度α和β。記錄拍攝全景圖時(shí)云臺(tái)位置。使用相機(jī)標(biāo)定后得到的畸變參數(shù)對(duì)全景圖像進(jìn)行畸變矯正，相機(jī)的成像模型如圖4 所示。

圖4 相機(jī)成像模型示意圖

對(duì)于空間中一坐標(biāo)點(diǎn)P，設(shè)其在相機(jī)坐標(biāo)系下的坐標(biāo)為(xc，yc，zc)，在全景圖中的像素坐標(biāo)為(u，v)，成像光線與像平面的夾角為σ，成像光線在像平面的投影與相機(jī)光軸的夾角為φ。則有:

式中:(u0，v0)為像平面主點(diǎn)，F(xiàn)x和Fy為相機(jī)的等效焦距。由式(5)計(jì)算得到像素坐標(biāo)(u，v)對(duì)應(yīng)的σ和φ。

安裝時(shí)盡量保證相機(jī)與云臺(tái)的兩個(gè)旋轉(zhuǎn)軸垂直，且兩者之間的距離相較于相機(jī)與被測(cè)物的距離可以忽略不計(jì)，故用σ和φ作為云臺(tái)應(yīng)轉(zhuǎn)動(dòng)的角度α和β的初值。結(jié)合測(cè)距儀測(cè)得的當(dāng)前位置的距離，由細(xì)節(jié)圖像二維定位方法計(jì)算云臺(tái)轉(zhuǎn)動(dòng)該角度時(shí)對(duì)應(yīng)細(xì)節(jié)圖像中心點(diǎn)在全景圖中的像素坐標(biāo)(um，vm)和其對(duì)應(yīng)的σm和φm，并計(jì)算其與σ和φ的差值，由該差值迭代優(yōu)化α和β使像素坐標(biāo)(u，v)和(um，vm)之間的距離差值最小，從而得到云臺(tái)應(yīng)轉(zhuǎn)動(dòng)的角度。迭代優(yōu)化公式如下:

在完成上述步驟后，從全景圖中的ROI 區(qū)從左上角開始掃描。以圖5(a)中的機(jī)尾區(qū)域?yàn)槔?，其掃描路徑如圖5(b)所示，圖中的數(shù)字編號(hào)順序代表細(xì)節(jié)圖像的掃描拍攝順序。

圖5 細(xì)節(jié)圖像掃描路徑示意圖

細(xì)節(jié)圖像掃描路徑的規(guī)劃流程如下:

①由測(cè)距儀測(cè)得系統(tǒng)到掃描區(qū)域的距離L，根據(jù)L調(diào)整變焦相機(jī)焦距f并計(jì)算橫向掃描步長(zhǎng)sw。

②結(jié)合當(dāng)前云臺(tái)位的置Pnow、L和sw，計(jì)算云臺(tái)按sw轉(zhuǎn)動(dòng)拍攝的細(xì)節(jié)圖像在全景圖中的像素坐標(biāo)。取該像素的橫坐標(biāo)和該掃描行的縱坐標(biāo)，為下一橫向掃描點(diǎn)的像素坐標(biāo)Pixelnext，并計(jì)算得到下一步拍攝細(xì)節(jié)圖像對(duì)應(yīng)云臺(tái)的位置Pnext。

③判斷Pixelnext是否仍為ROI 區(qū)域。若是，轉(zhuǎn)動(dòng)到Pnext繼續(xù)掃描；若不是，判斷全景圖像在這一行該點(diǎn)之后是否還有ROI 區(qū)域。還有，則根據(jù)掃描方向從該行Pixelnext后第一個(gè)ROI 區(qū)域點(diǎn)繼續(xù)掃描；重復(fù)上述步驟，直到該行沒有要掃描的ROI 點(diǎn)，將橫向掃描方向反轉(zhuǎn)。

④由一行中拍攝細(xì)節(jié)圖的最遠(yuǎn)距離Lmax，計(jì)算向下掃描的步長(zhǎng)sh，由Pnow和sh確定下一步掃描的行數(shù)h。

⑤判斷h行是否仍為ROI 區(qū)域。若是，從h行的ROI 邊界開始掃描，重復(fù)上述步驟；若不是，判斷h行之后是否還有ROI 區(qū)域。還有，從h行后第一行ROI 邊界開始掃描，重復(fù)上述步驟，直到?jīng)]有要掃描的ROI 行，完成細(xì)節(jié)圖像掃描。

相機(jī)掃描拍攝細(xì)節(jié)圖像時(shí)，為保證變焦相機(jī)掃描拍攝細(xì)節(jié)圖像的像素分辨力基本不變，應(yīng)保證變焦相機(jī)的視場(chǎng)FOV 基本不變。變焦相機(jī)焦距f由下式計(jì)算得到:

式中:HorV 為相機(jī)靶面尺寸，F(xiàn)OV 為相機(jī)視場(chǎng)。在與目標(biāo)區(qū)域的距離L變化時(shí)，變焦相機(jī)焦距f應(yīng)與L成正比。為了保證掃描得到的細(xì)節(jié)圖像能夠覆蓋ROI 區(qū)域，細(xì)節(jié)圖像區(qū)域應(yīng)有重疊，云臺(tái)掃描的步長(zhǎng)s可由下式得到:

3.2 細(xì)節(jié)圖像二維定位

將細(xì)節(jié)圖像中心點(diǎn)坐標(biāo)轉(zhuǎn)移到拍攝全景圖像時(shí)的相機(jī)坐標(biāo)系下，結(jié)合相機(jī)成像模型實(shí)現(xiàn)細(xì)節(jié)圖像在全景圖中的二維定位。記錄掃描拍攝細(xì)節(jié)圖像時(shí)云臺(tái)相較于初始狀態(tài)繞水平軸和鉛錘軸轉(zhuǎn)動(dòng)的角度α、β和測(cè)距儀測(cè)得的距離L，將L作為細(xì)節(jié)圖像中心點(diǎn)到此時(shí)相機(jī)坐標(biāo)系原點(diǎn)的距離，得到該點(diǎn)在此時(shí)相機(jī)坐標(biāo)系下的坐標(biāo)(xc，yc，zc)。利用標(biāo)定結(jié)果將該點(diǎn)坐標(biāo)轉(zhuǎn)換到拍攝全景圖時(shí)的相機(jī)坐標(biāo)系下，記為。

3.3 細(xì)節(jié)圖像空間定位

對(duì)于三維模型已知的待測(cè)目標(biāo)，在全景圖中手動(dòng)選擇ROI 區(qū)域以控制系統(tǒng)對(duì)表面特征明顯的區(qū)域進(jìn)行掃描。為了更好更快地獲得該區(qū)域的表面三維形貌，掃描時(shí)采用更小的步長(zhǎng)且僅使用測(cè)距儀測(cè)得距離。將每次掃描時(shí)測(cè)距儀光斑的空間坐標(biāo)統(tǒng)一到全局坐標(biāo)系下，記為。

由掃描時(shí)測(cè)距儀光斑在全局坐標(biāo)系Or0-Xr0Yr0Zr0下的空間點(diǎn)坐標(biāo)生成測(cè)量點(diǎn)云，由飛機(jī)三維模型生成參考點(diǎn)云。利用SAC_IA 粗配準(zhǔn)和ICP 精配準(zhǔn)的方法[18]求得全局坐標(biāo)系到飛機(jī)坐標(biāo)系Op-XpYpZp的位姿變換矩陣，從而得到掃描各圖像時(shí)測(cè)距儀光斑在飛機(jī)坐標(biāo)系中的位置。

根據(jù)設(shè)備標(biāo)定和點(diǎn)云配準(zhǔn)結(jié)果，將拍攝第j張細(xì)節(jié)圖像時(shí)相機(jī)坐標(biāo)系中點(diǎn)的空間坐標(biāo)轉(zhuǎn)換到飛機(jī)坐標(biāo)系下，記為，求得到此時(shí)相機(jī)光軸在飛機(jī)坐標(biāo)系下的空間直線方程。以此時(shí)激光測(cè)距儀光斑在飛機(jī)坐標(biāo)系下的空間坐標(biāo)為起始點(diǎn)，由kd-tree 搜索參考點(diǎn)云中該點(diǎn)的k近鄰點(diǎn)，計(jì)算這些近鄰點(diǎn)到相機(jī)光軸的距離，將距離最近的點(diǎn)重新設(shè)為起始點(diǎn)。重復(fù)上述操作，直至兩次迭代最近距離相同為止。用與lj距離最近點(diǎn)的空間坐標(biāo)來表示第j張細(xì)節(jié)圖像在飛機(jī)三維模型中的位置。

4 實(shí)驗(yàn)

搭建測(cè)量系統(tǒng)，對(duì)數(shù)據(jù)采集設(shè)備進(jìn)行標(biāo)定，利用激光跟蹤儀驗(yàn)證所搭建系統(tǒng)掃描采集點(diǎn)云的精度。在大尺寸飛機(jī)模型上驗(yàn)證提出的飛機(jī)蒙皮圖像掃描及細(xì)節(jié)圖像定位算法；并以建筑物表面作為被測(cè)目標(biāo)，驗(yàn)證所搭建系統(tǒng)在真實(shí)測(cè)量場(chǎng)景下掃描所得細(xì)節(jié)圖像的質(zhì)量及定位精度。

4.1 系統(tǒng)搭建與標(biāo)定

使用FILR D48E 高精度數(shù)字云臺(tái)搭載DIMETIX DAN-10-150 長(zhǎng)距離激光測(cè)儀和VS-SCZ2090HM長(zhǎng)焦一體化機(jī)芯搭建該系統(tǒng)，各部件與工控機(jī)之間均采用網(wǎng)口通信。云臺(tái)可轉(zhuǎn)動(dòng)方位角范圍為360°，俯仰角范圍為-90～+30°，分辨力(方位/俯仰)為0.006°/0.003°。測(cè)距儀自然表面量程為0.05 m～100 m，精度為0.5 mm。變焦相機(jī)分辨率為1 920×1 080，像元尺寸為4 μm，相機(jī)可變焦距為6 mm～540 mm。

根據(jù)飛機(jī)蒙皮檢修要求，為保證所采集的細(xì)節(jié)圖像應(yīng)能夠明顯觀察到2 mm 及以上寬度大小的裂紋和腐蝕，按照像素當(dāng)量0.20 mm 計(jì)算，相機(jī)視場(chǎng)應(yīng)該小于384 mm×216 mm。系統(tǒng)的最大工作距離為28 m。

設(shè)備標(biāo)定結(jié)果如表1 所示。其中K表示相機(jī)內(nèi)參，Kc表示相機(jī)的畸變系數(shù)。

表1 數(shù)據(jù)采集設(shè)備標(biāo)定結(jié)果參數(shù)表

表2 系統(tǒng)采集空間點(diǎn)坐標(biāo)精度驗(yàn)證實(shí)驗(yàn)數(shù)據(jù)表 單位:mm

標(biāo)定完成后，利用激光跟蹤儀測(cè)量空間中不同位置靶標(biāo)球心的空間坐標(biāo)作為真實(shí)值，用于設(shè)備標(biāo)定精度驗(yàn)證?？刂圃O(shè)備采集相同位置標(biāo)志點(diǎn)位的空間坐標(biāo)，并將測(cè)得的空間坐標(biāo)轉(zhuǎn)到跟蹤儀坐標(biāo)系下，實(shí)驗(yàn)結(jié)果如2 表所示。實(shí)驗(yàn)表明本系統(tǒng)所測(cè)得的標(biāo)志點(diǎn)在X、Y、Z坐標(biāo)上的均方根誤差分別為0.91 mm、0.91 mm 和1.05 mm，標(biāo)志點(diǎn)的最大定位誤差為2.12 mm，標(biāo)定精度滿足飛機(jī)蒙皮大尺寸物體測(cè)量要求。

4.3 蒙皮圖像掃描與細(xì)節(jié)圖像定位

在進(jìn)行細(xì)節(jié)圖像掃描路徑規(guī)劃和細(xì)節(jié)圖像二維定位時(shí)，因測(cè)距儀激光光線與相機(jī)光軸近乎平行，都是直接將激光測(cè)距儀測(cè)得的距離L作為細(xì)節(jié)圖像中心點(diǎn)到此時(shí)相機(jī)坐標(biāo)系原點(diǎn)的距離來計(jì)算細(xì)節(jié)圖像中心點(diǎn)在全景圖像中的像素坐標(biāo)，但實(shí)際上兩者并不相等。故需要探究距離L對(duì)細(xì)節(jié)圖像中心點(diǎn)在全景圖像中定位精度的影響。理論分析可知拍攝細(xì)節(jié)圖像時(shí)云臺(tái)相較于拍攝全景圖像時(shí)轉(zhuǎn)動(dòng)的角度越大，距離L對(duì)細(xì)節(jié)圖像中心點(diǎn)的定位精度影響就越大，尤其是在全景圖像的邊角位置。進(jìn)行仿真實(shí)驗(yàn)，輸入設(shè)備標(biāo)定結(jié)果，細(xì)節(jié)圖像中心點(diǎn)的在全景圖像中定位的像素坐標(biāo)隨測(cè)量距離L的變化如圖6 所示。從圖中可以看到隨著L的增大，像素坐標(biāo)的變化在減小，距離L對(duì)細(xì)節(jié)圖像中心點(diǎn)在全景圖像中的定位精度影響并不大，且當(dāng)L變化在2 m 以內(nèi)時(shí)，像素坐標(biāo)變化也都在2 個(gè)像素以內(nèi)。在實(shí)際掃描和定位時(shí)，數(shù)據(jù)采集設(shè)備的安裝位置與被測(cè)目標(biāo)之間的距離在10 m 以上，距離L與細(xì)節(jié)圖像中心點(diǎn)到相機(jī)坐標(biāo)系原點(diǎn)的距離之差大都在2 m 以內(nèi)，故由此造成的定位誤差可以忽略不計(jì)。

圖6 距離對(duì)細(xì)節(jié)圖像在全景圖像中定位坐標(biāo)的影響

以比列為1 ∶31 的波音737-800 飛機(jī)模型為待測(cè)目標(biāo)。使用DeepLabv3+MobileNetV2 網(wǎng)絡(luò)對(duì)全景圖像中的ROI 區(qū)域進(jìn)行提取。對(duì)該網(wǎng)絡(luò)進(jìn)行訓(xùn)練，將COCO train2017 和VOC12 數(shù)據(jù)集中的飛機(jī)類別數(shù)據(jù)整合以構(gòu)建訓(xùn)練驗(yàn)證數(shù)據(jù)集。經(jīng)訓(xùn)練驗(yàn)證該算法的平均交并比(mIoU)可達(dá)88.36%，飛機(jī)蒙皮區(qū)域像素查全率(Recall)為87%，滿足全景圖像中飛機(jī)蒙皮區(qū)域提取精度要求。調(diào)整云臺(tái)轉(zhuǎn)動(dòng)角度使相機(jī)能夠拍攝到想要掃描的飛機(jī)蒙皮區(qū)域。飛機(jī)模型尺寸相較于真實(shí)飛機(jī)較小，為實(shí)現(xiàn)掃描檢測(cè)效果，將掃描步長(zhǎng)設(shè)為真實(shí)步長(zhǎng)的1/5，相機(jī)的焦距設(shè)為真實(shí)掃描焦距的4 倍。將提取到ROI 的效果圖與原圖疊加，在該圖中用矩形框表示掃描所得細(xì)節(jié)圖像在全景圖像中的位置。部分細(xì)節(jié)圖片在全景圖中的二維定位如圖7 所示。

圖7 飛機(jī)蒙皮圖像掃描與細(xì)節(jié)圖像二維定位效果圖

為實(shí)現(xiàn)對(duì)細(xì)節(jié)圖像的在飛機(jī)模型上的空間定位，使用KinectV2 完成飛機(jī)模型點(diǎn)云數(shù)據(jù)采集以生成參考點(diǎn)云。KinectV2 采集點(diǎn)云的精度在2 mm～4 mm，與數(shù)據(jù)采集設(shè)備測(cè)量空間點(diǎn)坐標(biāo)的精度相近，且系統(tǒng)對(duì)于細(xì)節(jié)圖像的空間定位精度要求在20 cm 以內(nèi)，故參考點(diǎn)云的精度符合系統(tǒng)測(cè)量要求。由所搭建的系統(tǒng)掃描飛機(jī)模型機(jī)翼機(jī)身連接處以生成測(cè)量點(diǎn)云。對(duì)測(cè)量點(diǎn)云和參考點(diǎn)云進(jìn)行配準(zhǔn)，實(shí)現(xiàn)細(xì)節(jié)圖像的空間定位。以細(xì)節(jié)圖像中心點(diǎn)在參考點(diǎn)云中的空間坐標(biāo)為圓心，用其半徑r(r＝5 cm)內(nèi)的點(diǎn)表征細(xì)節(jié)圖像在參考點(diǎn)云中的位置。所得測(cè)量點(diǎn)云配準(zhǔn)后效果圖和部分細(xì)節(jié)圖像在參考點(diǎn)云上的空間定位效果如圖8 所示。

圖8 點(diǎn)云配準(zhǔn)與細(xì)節(jié)圖像空間定位效果圖

為了驗(yàn)證真實(shí)環(huán)境下該設(shè)備的細(xì)節(jié)圖像空間定位精度，以建筑物墻面為被測(cè)目標(biāo)，同樣通過KinectV2 采集被測(cè)目標(biāo)表面三維形貌作為參考點(diǎn)云，用該設(shè)備掃描ROI 區(qū)域生成測(cè)量點(diǎn)云。選擇被測(cè)目標(biāo)表面特征明顯的點(diǎn)作為特征點(diǎn)，利用該設(shè)備測(cè)得該點(diǎn)的空間坐標(biāo)，結(jié)合點(diǎn)云配準(zhǔn)結(jié)果，將該點(diǎn)在參考點(diǎn)云中的坐標(biāo)作為其空間坐標(biāo)真值，而其像素坐標(biāo)真值可由全景圖像直接提供。調(diào)整云臺(tái)轉(zhuǎn)動(dòng)角度使得特征點(diǎn)位于細(xì)節(jié)圖像中心附近，拍攝細(xì)節(jié)圖像，并對(duì)該細(xì)節(jié)圖像進(jìn)行二維定位和空間定位以獲得其坐標(biāo)測(cè)量值，得到細(xì)節(jié)圖像二維定位和空間定位的誤差。在最大測(cè)量范圍內(nèi)不斷改變?cè)撛O(shè)備的位置，在不同位置處測(cè)得多點(diǎn)的定位誤差，將同一位置處多點(diǎn)的誤差平均值作為該位置處的定位誤差，其不同位置處的定位誤差如圖9 所示。從圖中可以看出該系統(tǒng)細(xì)節(jié)圖像定位誤差隨測(cè)量距離變化并不明顯，且在最大工作范圍內(nèi)的細(xì)節(jié)圖像的二維定位誤差小于8 個(gè)像素，空間定位誤差小于12 cm，滿足實(shí)際定位需求。

圖9 細(xì)節(jié)圖像二維定位與空間定位精度

圖10 所示為在距離被測(cè)目標(biāo)27.5 m 處拍攝所得的細(xì)節(jié)圖像在全景圖和三維模型中的定位效果。因距離較遠(yuǎn)，為了更好地展示實(shí)驗(yàn)效果，在圖片右側(cè)對(duì)方框內(nèi)的內(nèi)容進(jìn)行了放大。從圖10 中可以看到無論是二維定位還是空間定位誤差都較小，且拍攝所得的細(xì)節(jié)圖像中也能明顯識(shí)別到2 mm 以上的裂紋缺陷。

圖10 真實(shí)場(chǎng)景細(xì)節(jié)圖像拍攝與定位實(shí)驗(yàn)效果圖

5 結(jié)論

為了解決飛機(jī)表面蒙皮高質(zhì)量細(xì)節(jié)圖像采集與定位困難的問題，本文使用云臺(tái)搭載變焦相機(jī)與激光測(cè)距儀搭建了飛機(jī)蒙皮圖像掃描與定位系統(tǒng)。該系統(tǒng)利用變焦相機(jī)拍攝全景圖和高質(zhì)量細(xì)節(jié)圖像，在全景圖中完成飛機(jī)區(qū)域的識(shí)別，結(jié)合標(biāo)定結(jié)果實(shí)現(xiàn)對(duì)飛機(jī)蒙皮區(qū)域的自動(dòng)掃描以獲得高質(zhì)量細(xì)節(jié)圖像。對(duì)于掃描所得的細(xì)節(jié)圖像提出了兩種定位方法，分別是在全景圖中的二維定位與在三維模型上的空間定位。實(shí)驗(yàn)結(jié)果表明所搭建的測(cè)量系統(tǒng)最遠(yuǎn)測(cè)量距離可達(dá)28 m，在該距離內(nèi)細(xì)節(jié)圖像的二維定位誤差小于8 個(gè)像素、空間定位誤差小于12 cm，能夠?qū)崿F(xiàn)對(duì)飛機(jī)蒙皮區(qū)域的掃描和對(duì)細(xì)節(jié)圖像的精確定位，具備較高的實(shí)用價(jià)值。