袁忠大，程秀全，王大偉

(1.廣州民航職業(yè)技術(shù)學(xué)院飛機(jī)維修工程學(xué)院，廣東廣州 510403；2.中國(guó)民航大學(xué)航空工程學(xué)院，天津 300300)

0 前言

隨著飛機(jī)飛行安全水平的提高，飛機(jī)機(jī)械原因所導(dǎo)致的事故比例減少，而人為差錯(cuò)導(dǎo)致的航空安全事故比例則不斷上升。因此，如何充分考慮與識(shí)別民航維修中的人為因素[1-3]，是科技工作者的重要課題。

近年來，國(guó)內(nèi)外學(xué)者針對(duì)機(jī)器視覺在產(chǎn)品缺陷或設(shè)備故障檢測(cè)中的應(yīng)用進(jìn)行了大量研究。徐立青[4]基于機(jī)器視覺對(duì)汽車精密零件表面缺陷展開了自動(dòng)檢測(cè)研究。姚金寶[5]基于機(jī)器視覺對(duì)拉擠生產(chǎn)線斷紗缺陷檢測(cè)進(jìn)行了研究。張良安等[6]基于機(jī)器視覺與深度學(xué)習(xí)對(duì)飛機(jī)防護(hù)柵裂紋檢測(cè)系統(tǒng)進(jìn)行了深度研究。邵先鑫[7]基于機(jī)器視覺技術(shù)，對(duì)金屬表面缺陷檢測(cè)進(jìn)行了設(shè)計(jì)與研究。王清晨[8]基于機(jī)器視覺對(duì)飛機(jī)板件裂紋測(cè)量系統(tǒng)進(jìn)行了研究。魏秀琨等[9]系統(tǒng)地研究了機(jī)器視覺在軌道交通系統(tǒng)狀態(tài)檢測(cè)中的應(yīng)用。WEI等[10]基于計(jì)算機(jī)視覺技術(shù)對(duì)鋼軌波紋進(jìn)行了識(shí)別與評(píng)價(jià)。WEI等[11]基于圖像識(shí)別及機(jī)器深度學(xué)習(xí)技術(shù)對(duì)受電弓載玻片進(jìn)行了缺陷檢測(cè)。YU等[12]基于由粗到精的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)鋼軌表面缺陷進(jìn)行檢測(cè)。

為運(yùn)用機(jī)器視覺技術(shù)輔助飛機(jī)外觀檢查，本文作者通過收集飛機(jī)維修一線的飛機(jī)檢查圖片，并運(yùn)用圖像處理與特征提取、光學(xué)、傳感器、計(jì)算機(jī)硬件等技術(shù)，設(shè)計(jì)一套自主化的基于機(jī)器視覺的飛機(jī)部件表面無損檢測(cè)模型。

1 機(jī)器視覺技術(shù)的工作流程

機(jī)器視覺是代替人類的視覺和視覺判斷能力，采用相機(jī)和計(jì)算機(jī)完成檢測(cè)并執(zhí)行巡檢任務(wù)；它對(duì)圖像進(jìn)行自動(dòng)采集和分析，以獲得控制所需的數(shù)據(jù)，評(píng)價(jià)一個(gè)特定的部分。

典型的基于PC的機(jī)器視覺系統(tǒng)由圖像采集系統(tǒng)、圖像處理系統(tǒng)、動(dòng)作執(zhí)行系統(tǒng)組成，如圖1所示。

圖1 機(jī)器視覺的一般模式

圖像采集系統(tǒng)由相機(jī)、鏡頭、光源等硬件組成，圖像采集是將物體的光信號(hào)轉(zhuǎn)換為電信號(hào)，進(jìn)而得出所需要的數(shù)字圖像。

處理系統(tǒng)首先會(huì)對(duì)此圖像進(jìn)行預(yù)處理，例如照明校正、二進(jìn)制轉(zhuǎn)換、過濾和顏色提取等，最終對(duì)提取出的特征進(jìn)行識(shí)別、測(cè)量、判斷等；得出的信息傳輸給動(dòng)作執(zhí)行系統(tǒng)，它會(huì)對(duì)得到的信息執(zhí)行相應(yīng)的動(dòng)作，例如若判斷一個(gè)部件上面有瑕疵，則需要將它剔除出來。

綜上，機(jī)器視覺檢測(cè)的步驟[13-15]一般是：首先由CCD等圖像采集裝置獲取被測(cè)部件的數(shù)字化圖像，傳輸?shù)接?jì)算機(jī)中；再由程序?qū)D像進(jìn)行分析處理得到相應(yīng)的檢測(cè)信息，并形成對(duì)被測(cè)部件的判斷決策，該決策信息最終將被發(fā)送到執(zhí)行裝置，完成對(duì)被測(cè)部件的檢測(cè)。

2 硬件簡(jiǎn)介

2.1 CCD相機(jī)

CCD相機(jī)以體積小、數(shù)據(jù)傳輸速度快、性能穩(wěn)定、分辨率清晰等優(yōu)點(diǎn)[16]得到越來越廣泛的應(yīng)用。CCD相機(jī)根據(jù)掃描方式的不同可以分為線陣相機(jī)和面陣相機(jī)。線陣相機(jī)的單幀只能獲得一行像素的圖像信息，所有被拍攝的物體需在采集時(shí)間內(nèi)，從感光芯片前方向前直線運(yùn)動(dòng)才能拼湊成一張完整的圖像；面陣相機(jī)單幀可以獲得整個(gè)圖像信息。

CCD廠商一般會(huì)提供豐富的函數(shù)SDK庫(kù)，可以對(duì)相機(jī)進(jìn)行二次開發(fā)，將它應(yīng)用到軟件中。如果不需要在機(jī)器視覺軟件里控制工業(yè)相機(jī)，也可以用廠商提供的軟件進(jìn)行設(shè)置。

2.2 工業(yè)鏡頭

鏡頭的主要作用是將目標(biāo)物體的光線匯聚，成像到相機(jī)傳感器所在的平面上。鏡頭的質(zhì)量直接影響圖像質(zhì)量，從而影響機(jī)器視覺系統(tǒng)的整體性能。所以，在機(jī)器視覺系統(tǒng)設(shè)計(jì)的環(huán)節(jié)中，合理地選擇和安裝鏡頭非常重要。

無損系統(tǒng)的檢測(cè)相機(jī)采用德國(guó)工業(yè)相機(jī)Basler4096-80 km+200 mm接圈Schneider Makro-Symmar5.6/80，檢測(cè)光源采用CCS LNSP 100BL-DFSL4。

3 系統(tǒng)開發(fā)與應(yīng)用

光照射到飛機(jī)部件表面會(huì)產(chǎn)生反射，反射光會(huì)被鏡頭捕捉。圖2所示為鏡頭捕捉的飛機(jī)部件表面反射圖像，包括機(jī)身劃痕、油漆起皮、鉚釘脫落、雷擊點(diǎn)及發(fā)動(dòng)機(jī)進(jìn)氣道劃痕。

圖2 鏡頭獲取的飛機(jī)部件表面圖像

將圖2中的圖像傳送至主機(jī)，通過主機(jī)中運(yùn)行的軟件對(duì)圖像進(jìn)行分析，機(jī)器視覺軟件界面如圖3所示。

圖3 機(jī)器視覺軟件界面

軟件界面左側(cè)為工具箱，具體為圖像、定位、測(cè)量、檢測(cè)、識(shí)別等子工具箱。其中圖像子工具箱中有導(dǎo)入圖像、圖像預(yù)處理、圖像平移等功能；定位子工具箱中有找點(diǎn)、找直線、找圓等功能；測(cè)量子工具箱中有卡尺、間隙測(cè)量、顏色提取等功能；檢測(cè)子工具箱中有Blob分析、劃痕檢測(cè)、邊緣缺陷等；識(shí)別子工具箱中有條碼識(shí)別、二維碼識(shí)別、分類器等。界面中部為流程圖及UI設(shè)計(jì)器、UI腳本編輯器；界面右側(cè)為算子塊屬性。

用機(jī)器視覺對(duì)飛機(jī)部件進(jìn)行無損檢測(cè)的具體過程為：導(dǎo)入飛機(jī)維修員在一線維修工作中所拍攝圖片，并對(duì)它進(jìn)行預(yù)處理；對(duì)圖片中的目標(biāo)區(qū)域進(jìn)行特征提?。焕媒y(tǒng)計(jì)信息量對(duì)飛機(jī)部件圖片進(jìn)行識(shí)別和分析。

3.1 導(dǎo)入圖像

導(dǎo)入圖像界面(以機(jī)身劃痕為例)如圖4所示。

圖4 導(dǎo)入圖像界面

界面左側(cè)為導(dǎo)入圖像顯示，右側(cè)上部為導(dǎo)入路徑，具體有現(xiàn)場(chǎng)拍照及本地上傳2種方式；右側(cè)下部為圖片循環(huán)加載、畸變校正及坐標(biāo)系3種功能。其中，圖片循環(huán)加載可利用相機(jī)實(shí)時(shí)拍攝圖像或?qū)Ρ镜匚募A圖像進(jìn)行連續(xù)處理，完全實(shí)現(xiàn)自動(dòng)化機(jī)器視覺檢測(cè)。

3.2 圖像預(yù)處理

由于拍攝環(huán)境噪聲等的影響，圖片質(zhì)量通常并不理想，直接影響后續(xù)算法對(duì)圖像的特征提取等，因而需要先對(duì)圖像進(jìn)行預(yù)處理，這是整個(gè)機(jī)器視覺過程的重要組成部分。

以機(jī)身劃痕為例，此系統(tǒng)對(duì)拍攝圖片進(jìn)行了以下預(yù)處理。

3.2.1 通道提取

在處理彩色圖像前需進(jìn)行降維處理，常用的方法有圖像灰度化處理和圖像通道拆分。為保證圖像處理精度，采用HSV顏色模型。用以下公式[17]將常用的RGB顏色模型轉(zhuǎn)成HSV顏色模型：

(1)

(2)

V=Imax

(3)

將RGB圖像轉(zhuǎn)換為HSV圖像后，圖像顏色由彩色變?yōu)楹诎祝鋮^(qū)域特征更明顯，為下一步的特征提取及系統(tǒng)分析打好基礎(chǔ)，處理結(jié)果如圖5所示。

3.2.2 Sobel濾波處理

Sobel算子主要用作邊緣檢測(cè)，它是以離散性差分算子計(jì)算凸顯兩素函數(shù)的灰度之近似值。在圖像的任何一點(diǎn)使用Sobel算子，將會(huì)產(chǎn)生對(duì)應(yīng)的灰度矢量或法矢量。

該算子包含2組3×3的矩陣，分別為橫向和縱向，將其與圖像做平面卷積，即可分別得出橫向及縱向的亮度差分近似值，若以A代表原始圖像，Gx及Gy分別代表經(jīng)橫向及縱向邊緣檢測(cè)的圖像灰度值，其公式如下：

(4)

(5)

圖像每一像素的橫向以及縱向灰度值通過以下公式計(jì)算該點(diǎn)灰度的大?。?/p>

(6)

Sobel濾波處理結(jié)果如圖6所示。

圖6 Sobel濾波處理結(jié)果

3.2.3 二值化處理

利用OpenCV中的函數(shù)cvThreshold(dst，dst，230，255，CV_THRESH_BINARY_INV)實(shí)現(xiàn)圖片的二值化，可手動(dòng)指定一個(gè)閾值，以此閾值進(jìn)行二值化處理。

處理結(jié)果如圖7所示?？芍航?jīng)過二值化處理后，圖片中的機(jī)身劃痕特征更加明顯。

圖7 二值化處理結(jié)果

3.3 特征提取及系統(tǒng)分析

采用周期法和局部二值化法對(duì)預(yù)處理后的圖像進(jìn)行分析[18]。通過周期法對(duì)圖像相鄰周期的像素進(jìn)行比較，得到差異圖像，再將差異圖像二值化，利用二值圖的Blob分析法對(duì)圖像中相同像素的連通域進(jìn)行分析，得到相關(guān)的特征量，如圖像中斑點(diǎn)的數(shù)量、位置、形狀和方向，還可提供相關(guān)斑點(diǎn)間的拓?fù)浣Y(jié)構(gòu)，從而檢出缺陷。

上述局部二值化法可以把灰度圖像轉(zhuǎn)換成二值圖像。把大于某個(gè)臨界灰度值的像素灰度設(shè)為灰度極大值，把小于這個(gè)值的像素灰度設(shè)為灰度極小值，將灰度圖像變換成二值圖像，再利用二值圖的Blob分析法得到相關(guān)的特征量，從而檢出缺陷。

定位單個(gè)Blob的方法是計(jì)算此連通區(qū)域的面積和重心，區(qū)域面積計(jì)算是像素累加的過程，計(jì)算公式如下所示[19]：

(7)

式中：D為連通區(qū)域像素的集合。

重心坐標(biāo)計(jì)算將當(dāng)前像素點(diǎn)的灰度值作為參考值，具體計(jì)算過程為

(8)

基于Blob分析，編寫圖像處理代碼并對(duì)預(yù)處理后的圖像進(jìn)行分析。由圖8可知：通過對(duì)Blob的檢測(cè)，圖像中的缺陷均能得到精確檢測(cè)及定位。

系統(tǒng)針對(duì)不同圖像可自動(dòng)重復(fù)上述步驟，利用上位機(jī)統(tǒng)計(jì)軟件得到表1數(shù)據(jù)，可知：基于機(jī)器視覺的飛機(jī)部件表面無損檢測(cè)模型的檢測(cè)準(zhǔn)確率為100%，完全能夠滿足航空公司對(duì)安全效益和經(jīng)濟(jì)效益的要求，同時(shí)符合民航業(yè)內(nèi)對(duì)智慧民航的發(fā)展需求，具有極其重要的行業(yè)應(yīng)用和推廣價(jià)值。

表1 缺陷檢測(cè)結(jié)果

4 結(jié)論

(1)航空公司的航線和定檢檢查工作量較大，需要人工不斷進(jìn)行目視檢查，由于人為因素的影響，經(jīng)常導(dǎo)致不必要的事故隱患。文中基于機(jī)器視覺技術(shù)開發(fā)了飛機(jī)部件表面無損檢測(cè)系統(tǒng)，有效避免了人為因素在飛機(jī)維修目視檢查中的負(fù)面影響，大大提高了航空公司的安全效益和經(jīng)濟(jì)效益；同時(shí)也為國(guó)產(chǎn)大飛機(jī)的使用和維護(hù)奠定了可靠的檢修技術(shù)基礎(chǔ)。

(2)未來項(xiàng)目團(tuán)隊(duì)將借助無人機(jī)自動(dòng)飛行對(duì)飛機(jī)相關(guān)部件表面進(jìn)行圖像提取，同時(shí)可借助無人機(jī)飛行控制系統(tǒng)的升級(jí)實(shí)現(xiàn)整個(gè)飛機(jī)檢修任務(wù)在無人干預(yù)的情況下全自動(dòng)執(zhí)行。最終則是經(jīng)過數(shù)據(jù)的采集、分析處理，通過人工智能檢測(cè)缺陷，提升民航維修的自動(dòng)化和智能化程度，從而切實(shí)提高航空公司的安全和經(jīng)濟(jì)效益。