涂 昊 張 平 邵黎明 張力波

（中國(guó)民用航空總局第二研究所，四川 成都 610042）

0 引言

機(jī)場(chǎng)道面是供飛機(jī)起飛、著陸、滑行、維修、停放的坪道，機(jī)場(chǎng)內(nèi)的道面有跑道、滑行道、機(jī)坪等，是機(jī)場(chǎng)最為重要的基礎(chǔ)設(shè)施。機(jī)場(chǎng)道面的健康狀況直接影響著機(jī)場(chǎng)航空器的飛行安全，然而，我國(guó)大多數(shù)機(jī)場(chǎng)其道面建設(shè)時(shí)長(zhǎng)都達(dá)到了數(shù)十年，長(zhǎng)期以來(lái)，這些機(jī)場(chǎng)道面一直處于露天環(huán)境，承受著化學(xué)試劑的腐蝕，還要不斷承受航空器帶來(lái)的各種載荷，極易產(chǎn)生各種病害，因此機(jī)場(chǎng)需要定期對(duì)道面進(jìn)行評(píng)價(jià)。道面表觀缺陷狀況是道面評(píng)價(jià)的重要資料[1]，道面表觀缺陷包括裂縫、接縫破碎、板角剝落等（圖1），在過(guò)去的幾十年間，主要都是采用人工通過(guò)肉眼巡視的方式來(lái)記錄的，這樣的方式工作強(qiáng)度大，巡檢效率低。

圖1 道面表觀缺陷

隨著計(jì)算機(jī)硬件的革新和圖像處理技術(shù)、深度學(xué)習(xí)技術(shù)的發(fā)展，一批致力于探索機(jī)場(chǎng)道面表觀缺陷自動(dòng)巡檢技術(shù)的學(xué)者涌現(xiàn)出來(lái)，希望能夠提高道面表觀缺陷的發(fā)現(xiàn)效率，減少人力的投入。早期的道面表觀缺陷自動(dòng)檢測(cè)技術(shù)主要基于傳統(tǒng)的圖像處理算法。任峰[2]利用小波變換、閾值迭代法來(lái)對(duì)圖片進(jìn)行去噪和分割以提取道面裂縫，這類采取圖像處理技術(shù)的方法其弊端在于：道面表觀缺陷基本位于露天環(huán)境下，環(huán)境情況復(fù)雜，會(huì)面對(duì)諸如積水、光照不均勻、夜間低照度等一系列問(wèn)題，十分不穩(wěn)定，且難以對(duì)道面表觀缺陷進(jìn)行識(shí)別分類，算法也相對(duì)復(fù)雜，計(jì)算速度慢。為了提高算法的穩(wěn)定性，吳治龍[3]提出了一種結(jié)合深度信息的道面裂縫識(shí)別算法，但并不能完全克服上述復(fù)雜環(huán)境帶來(lái)的問(wèn)題和檢測(cè)速度慢的缺陷，同時(shí)也僅能針對(duì)裂縫這一種缺陷進(jìn)行識(shí)別提取。

近年來(lái)，深度學(xué)習(xí)發(fā)展迅速，在機(jī)場(chǎng)道面檢測(cè)領(lǐng)域也得到了許多應(yīng)用。如馬代鑫[4]提出了一種利用U-net[5]模型對(duì)道面裂縫進(jìn)行分割提取的方法，取得了較小誤差；張力波等人[6]提出使用DDRNet[7]的圖像分割算法來(lái)提取道面裂縫信息，但這些研究都沒(méi)有考慮表觀缺陷的分類情況，同時(shí)模型的復(fù)雜度較高，對(duì)模型計(jì)算速度有一定影響，而且巡檢過(guò)程中有大量的背景，用大規(guī)模的模型進(jìn)行全流程的分割在算力的使用上效率不高。目標(biāo)檢測(cè)算法是深度學(xué)習(xí)中的一類算法，在實(shí)現(xiàn)對(duì)目標(biāo)定位和識(shí)別分類所要求的算力上往往較分割算法更低，能夠降低工程化的成本，也能提高道面表觀缺陷檢測(cè)的速度，并對(duì)多種表觀缺陷進(jìn)行分類，因此，本文將利用目標(biāo)檢測(cè)算法，針對(duì)搜集到的幾種典型的道面表觀缺陷進(jìn)行研究。

1 算法概述

1.1 YOLOv7目標(biāo)檢測(cè)算法

目標(biāo)檢測(cè)算法是根據(jù)圖片全局信息分析推理出目標(biāo)位置和分類的算法，通常可以將算法分為二階段檢測(cè)算法和一階段檢測(cè)算法。早期目標(biāo)檢測(cè)算法都是二階段算法[8-10]，算法在第一階段進(jìn)行特征提取并分析正樣本的候選區(qū)域，對(duì)目標(biāo)所在位置邊界框進(jìn)行精確地回歸，確定目標(biāo)未知區(qū)域，在第二階段進(jìn)行目標(biāo)分類的確定；而一階段算法則是直接預(yù)測(cè)出目標(biāo)的分類和位置。由于二階段算法在早期可以通過(guò)采樣的方式避免樣本的不均衡問(wèn)題，因此在準(zhǔn)確度上一直優(yōu)于一階段算法，但速度上明顯慢于一階段算法。近幾年，一階段算法通過(guò)各種技巧很好地控制了樣本不均衡、樣本不一致等問(wèn)題，在精度上已經(jīng)能媲美甚至超越二階段算法。

部分目標(biāo)檢測(cè)算法性能對(duì)比如圖2所示，可以發(fā)現(xiàn)，一階段算法YOLOv7[11]平均精度上高于二階段算法Faster-RCNN，且YOLOv7在速度上也具有很大優(yōu)勢(shì)。因此，本文也采用最新的YOLOv7目標(biāo)檢測(cè)算法來(lái)進(jìn)行研究。

圖2 部分目標(biāo)檢測(cè)算法性能對(duì)比

1.2 算法整體結(jié)構(gòu)

YOLOv7算法的整體框架如圖3所示，主要包含兩個(gè)部分：骨干網(wǎng)絡(luò)和檢測(cè)頭，其中骨干網(wǎng)絡(luò)用于提取特征，檢測(cè)頭用于對(duì)目標(biāo)的位置和分類進(jìn)行預(yù)測(cè)。

圖3 YOLOv7算法整體結(jié)構(gòu)

1.2.1 骨干網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv7的骨干網(wǎng)絡(luò)由若干基本卷積塊（Basic-Conv-Block，以下簡(jiǎn)稱BCB塊）構(gòu)成，如圖4所示，BCB塊包含一次卷積操作、一次批歸一化操作和一次利用SiLU激活函數(shù)激活的操作。BCB塊中卷積層的卷積操作有（1，1）、（3，1）、（3，2）三種形式，以（3，2）的BCB塊為例，其表示為用3×3的卷積核進(jìn)行步長(zhǎng)為2的卷積操作。

圖4 基本卷積模塊

池化過(guò)程如圖5所示，在整個(gè)算法網(wǎng)絡(luò)中，池化塊存在兩種形式：MP-1、MP-2，區(qū)別在于MP-1的輸出通道與輸入通道相等，MP-2的輸出通道是輸入通道的兩倍。

圖5 池化模塊

骨干網(wǎng)絡(luò)中還有另一種形式的卷積塊，稱作ELAN塊，如圖6所示，ELAN塊是由BCB塊按照?qǐng)D示組合而成的。

圖6 ELAN模塊

1.2.2 檢測(cè)頭結(jié)構(gòu)

骨干網(wǎng)絡(luò)提取特征是自頂向下的過(guò)程，隨著卷積的不斷深入會(huì)損耗細(xì)節(jié)信息，YOLOv7的檢測(cè)頭將骨干網(wǎng)絡(luò)提取到的不同深度的特征層進(jìn)行融合，使得用于預(yù)測(cè)的特征層既包含深層的整體信息，也包含淺層的細(xì)節(jié)信息。檢測(cè)頭首先通過(guò)自底向上的方式，將深層語(yǔ)義信息上采樣與淺層語(yǔ)義信息融合，再對(duì)這幾層特征進(jìn)行一次自頂向下的卷積，以減少深層特征和淺層特征之間的距離。利用SPPCSP[12]增大感受野，提升算法速度。

檢測(cè)頭的ELAN塊結(jié)構(gòu)和骨干網(wǎng)絡(luò)中的ELAN塊稍有不同，如圖7所示。

圖7 ELAN*模塊

檢測(cè)頭中還使用了重參數(shù)化技術(shù)，如圖8所示，在訓(xùn)練過(guò)程中使用多分支結(jié)構(gòu)疊加的方式以增加模型的復(fù)雜程度，使模型的性能得到提升，在部署時(shí)通過(guò)重參數(shù)化的方法將多分支結(jié)構(gòu)等效成單分支結(jié)構(gòu)，起到壓縮模型參數(shù)量、提高算法效能的作用。

圖8 模型重參數(shù)化

2 模型訓(xùn)練

2.1 數(shù)據(jù)集

本文從機(jī)場(chǎng)實(shí)際道面拍攝的圖片中篩選出3 672張圖片進(jìn)行標(biāo)注。數(shù)據(jù)集標(biāo)注了3類典型的表觀缺陷：裂縫、接縫破碎、板角剝落，并隨機(jī)選出734張圖片用于驗(yàn)證，734張圖片用于測(cè)試，剩余的用于訓(xùn)練。隨后利用翻轉(zhuǎn)、顏色空間調(diào)整、仿射變換等數(shù)據(jù)增強(qiáng)方式對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充。

2.2 模型訓(xùn)練

模型訓(xùn)練和測(cè)試使用的硬件包括：NVIDIA RTX3090顯卡、Intel Core I9-10900K（3.70 GHz）處理器。輸入尺寸為640×640×3，初始學(xué)習(xí)率為0.01，采用余弦退火法來(lái)控制學(xué)習(xí)率的變化。

另外，該模型在訓(xùn)練時(shí)采用了多尺度訓(xùn)練，如圖9所示，即每隔一個(gè)epoch，微調(diào)訓(xùn)練圖片的尺度，以增強(qiáng)算法模型對(duì)不同大小目標(biāo)的魯棒性。

圖9 多尺度訓(xùn)練輸入尺度對(duì)比

3 模型評(píng)價(jià)

該模型的訓(xùn)練過(guò)程記錄如圖10所示，其中深灰色曲線表示的是未經(jīng)多尺度訓(xùn)練的模型在驗(yàn)證集上的表現(xiàn)記錄，淺灰色曲線表示的是經(jīng)過(guò)多尺度訓(xùn)練的模型在驗(yàn)證集上的表現(xiàn)記錄。

圖10 訓(xùn)練過(guò)程記錄

該模型在訓(xùn)練到第354個(gè)epoch時(shí)的平均精度均值（mAP）達(dá)到最高，為0.787，且使用了多尺度訓(xùn)練的模型在驗(yàn)證集上的效果在訓(xùn)練初期mAP要低于不使用多尺度訓(xùn)練的模型，而當(dāng)訓(xùn)練了一段時(shí)間以后要優(yōu)于不使用多尺度訓(xùn)練的模型。

因此，最終選擇進(jìn)行了多尺度訓(xùn)練的模型，該模型在測(cè)試集上的精確率（Precision）為0.809，召回率（Recall）為0.609，mAP為0.755，平均推理耗時(shí)僅為22 ms。模型輸出效果如圖11所示。

圖11 模型輸出示例

4 結(jié)語(yǔ)

根據(jù)實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，YOLOv7在針對(duì)機(jī)場(chǎng)道面的幾種典型表觀缺陷檢測(cè)上mAP可以達(dá)到0.755，且檢測(cè)速度較快（平均僅耗時(shí)22 ms），可以實(shí)現(xiàn)機(jī)場(chǎng)道面表觀缺陷的快速檢測(cè)。但由于目前用于訓(xùn)練和測(cè)試的數(shù)據(jù)集較小，針對(duì)的表觀缺陷類別還不夠齊全和細(xì)化，圖像采集環(huán)境也不夠多樣，因此，模型的性能還有待提升。未來(lái)將通過(guò)搜集更多數(shù)據(jù)，研究場(chǎng)景更復(fù)雜，目標(biāo)類別更多、更細(xì)化的機(jī)場(chǎng)道面自動(dòng)化巡檢計(jì)算。