張 偉，劉寧鐘，寇金橋

(1.南京航空航天大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，江蘇 南京 211106；2.北京計算機技術(shù)及應(yīng)用研究所 方舟重點實驗室，北京 100854)

0 引 言

道路基礎(chǔ)設(shè)施是中國一項重要的公共資產(chǎn)，也是國家整個交通系統(tǒng)的基本組成部分。截至2021年初，中國高速公路運行長度約十六萬公里，穩(wěn)居全球首位[1]，而到了2035年，中國的農(nóng)村公路更要全面做到鄉(xiāng)鎮(zhèn)通的三級公路，總計里程數(shù)能夠超過五百萬公里，這就要求道路養(yǎng)護當(dāng)局提供必要的支持和強有力的工具，以準(zhǔn)確實時地應(yīng)對道路狀況問題[2]。傳統(tǒng)的道路檢查以日常檢查和年度檢查相結(jié)合，在日常檢測中，以人工巡查為主，然而現(xiàn)場目視檢查是勞動密集型的。對于年度檢查，由權(quán)威機構(gòu)牽頭，采用專用設(shè)備和人員進行操作檢測，但是這種檢測過程成本極高[3-4]。因此基于圖像的道路表面病害識別深受研究人員的青睞[5]，早期研究側(cè)重于傳統(tǒng)的圖像處理技術(shù)，這一類方法主要是利用路面病害像素和路面背景像素的差異[6-8]。一些研究人員也將機器學(xué)習(xí)方法與圖像處理技術(shù)相結(jié)合，可以進一步提高表面病害檢測的魯棒性和通用性[9]。

近年來，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)證明它們可以在復(fù)雜的圖像上表現(xiàn)穩(wěn)定，因為它們可以從輸入圖像中挖掘出更具有代表性的特征[10]，所以越來越多的研究人員嘗試使用深度神經(jīng)網(wǎng)絡(luò)來檢測道路表面的病害。分類網(wǎng)絡(luò)可以在只包含一種預(yù)定義病害類型的圖像中獲得相當(dāng)高的準(zhǔn)確性[11]。分割神經(jīng)網(wǎng)絡(luò)在病害的量化上具有明顯優(yōu)勢，因為其檢測粒度是像素級別的[12-13]。使用基于目標(biāo)檢測的方法對道路表面病害進行檢測并分類是更好的選擇，因為目標(biāo)檢測數(shù)據(jù)集的標(biāo)注與制作更加簡單高效，且這些方法可以提供實例級別的病害檢測[14]。

在目標(biāo)檢測網(wǎng)絡(luò)的前饋推理過程中，考慮到模型的速度和大小，必須對原始輸入圖像和后續(xù)特征圖像進行降采樣。然而，采集到路面圖像中的路面病害本身目標(biāo)信號就較弱，一些小裂縫可能只有少數(shù)像素，因此，隨著網(wǎng)絡(luò)深度的增加，不可避免地會造成信息的持續(xù)損失。在以往的目標(biāo)檢測研究中，研究者傾向于使用更深層次的特征圖，因為這些特征在經(jīng)過大量神經(jīng)網(wǎng)絡(luò)層的提取后，具有豐富的語義信息。然而這樣的特征選擇卻忽略了一定的空間信息，尤其對于道路表面病害來說，這種信息忽略可能是致命的，因為原始圖像中一條明顯的裂縫，隨著網(wǎng)絡(luò)深度的加深，可能不再為深層網(wǎng)絡(luò)所見。特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network，F(xiàn)PN)讓目標(biāo)檢測模型也關(guān)注到了淺層特征，并將特征圖的各個層次進行了融合，空間信息和語義信息進一步得到了提升[15]。因此將FPN引入到道路表面病害的目標(biāo)檢測網(wǎng)絡(luò)中，可以為整個網(wǎng)絡(luò)提供更多的空間信息。此外，在使用深度神經(jīng)網(wǎng)絡(luò)處理圖像時，原始圖像以及后續(xù)特征圖是三個維度的，空間信息僅僅利用了二維的信息，因此通道信息也是不能被忽略的。與此同時，如何更好地利用FPN所生成的多層次特征圖并提取出更有用的信息也是該文的研究重點。

1 相關(guān)工作

1.1 FPN

2017年，Lin等人提出了特征金字塔網(wǎng)絡(luò)FPN，金字塔的構(gòu)建包括自下而上的路徑、自上而下的路徑和橫向連接。圖1顯示了構(gòu)建FPN的過程。對于最高層次的特征圖，其包含的細節(jié)信息較為粗糙，將該特征圖的空間分辨率向上采樣2倍。然后，通過對應(yīng)元素直接相加的方式，將上采樣后的特征圖與相應(yīng)的自下向上的特征圖通過橫向連接融合。重復(fù)此過程，直到最大分辨率的最底層特征圖。最后，在每個融合后的特征圖上加上一個3×3的卷積，生成最終的輸出特征圖，這可以減小融合后的混疊效果。最后一層輸出特征圖P6是通過P5上采樣生成的。FPN是一種可以用于多尺度目標(biāo)檢測的實用且準(zhǔn)確的解決方案，在兩階段目標(biāo)檢測模型Faster R-CNN[16]上集成FPN并取得顯著的效果之后，F(xiàn)PN成為許多新目標(biāo)檢測器和模型的基礎(chǔ)。

圖1 FPN的網(wǎng)絡(luò)結(jié)構(gòu)

對于兩階段目標(biāo)檢測模型來說，F(xiàn)PN不僅是生成候選目標(biāo)的特征來源，也是最終輸出預(yù)測目標(biāo)的特征來源。目前的兩階段檢測模型大多使用ROI特征提取器，該特征提取器根據(jù)候選區(qū)域生成網(wǎng)絡(luò)(Region Proposal Network，RPN)生成的候選邊界框來選擇主干網(wǎng)生成的特征區(qū)域。引入FPN以后，特征提取不再直接操作于主干網(wǎng)特征，而是操作于由FPN生成的特征金字塔上。對于ROI特征提取器來說，會將每個ROI映射到FPN的某一個單層次特征圖，然后進行池化等操作。公式1就是最基本的映射規(guī)則，將寬度為w、高度為h的ROI分配到特征金字塔的第k層。以Faster R-CNN為例，在未使用FPN之前，僅在C4階段的單尺度特征圖上運行目標(biāo)檢測與分類，因此k0一般設(shè)置為4。而公式1同時也說明如果某個ROI的尺度較小(例如，224的一半)，那么該ROI會被映射到一個更低層次的特征圖(例如，k=3)，而該特征圖剛好也包含更多的細節(jié)信息，這也表明了公式1設(shè)計得比較合理，因此該映射規(guī)則一直被使用。

(1)

1.2 通道注意力

最經(jīng)典的通道注意力架構(gòu)單元是擠壓和激發(fā)塊(Squeeze and Excitation，SE)[17]。圖2顯示了通道注意力機制的擠壓和激勵過程。第一步擠壓是通過全局平均池化將形狀為W×H×C全局特征圖壓縮成1×1×C形狀的通道描述符，以此來收集全局空間信息。第二步是激勵，將第一步中聚集的信息，通過FC-ReLU-FC變換來重新學(xué)習(xí)通道之間的權(quán)重分布，并引入一個超參數(shù)r來限制復(fù)雜性，然后用一個sigmoid激活函數(shù)作為一個簡單的門控機制輸出一個注意力向量。注意力向量最終通過相乘的方式來重新調(diào)整原始特征圖的輸入通道。

圖2 SE通道注意力機制結(jié)構(gòu)單元

1.3 路面病害目標(biāo)檢測

在Maeda等人的研究中，開發(fā)了分別以MobileNet和Inceptionv2為主干網(wǎng)的SSD檢測模型，用來檢測8類道路表面病害，同時公布了公共道路損傷數(shù)據(jù)集2018(Road Damage Dataset 2018，RDD2018)[18]。Wang等人在該RDD2018上使用Faster R-CNN來檢測和分類受損的道路。Kluger為了解決道路損壞檢測和分類問題，應(yīng)用Faster R-CNN、RetinaNet、隨機森林與神經(jīng)網(wǎng)絡(luò)以及集成學(xué)習(xí)的方法。

2 模型與方法

FPN是一種等價于從不同圖像分辨率提取特征的體系結(jié)構(gòu)，它已經(jīng)被大量實驗證明具有維持空間信息的有效能力。該文進一步考慮通道特征對于路面病害表征的有效性。長久以來，通道特征注意力的發(fā)展一直集中在語義分割和圖像分類任務(wù)上，在目標(biāo)檢測領(lǐng)域應(yīng)用了更多的空間注意力機制，這是因為對于目標(biāo)檢測的直觀感受上，空間信息更重要。而對于路面病害檢測來說，經(jīng)過主干網(wǎng)的一系列卷積處理，然后通過FPN生成特征金字塔，每兩個層次的特征圖之間的分辨率相差2倍，即使分辨率最高的特征圖，仍然只有輸入圖像的四分之一大小。然而，圖像中的道路病害，如裂縫，本身可能只有幾個像素，因此，隨著網(wǎng)絡(luò)深度的增加，一條明顯的裂縫可能不再為深層網(wǎng)絡(luò)所見。筆者認為此時增加空間注意力并不是最佳選擇，因為卷積本身就是一種廣義的空間注意力模塊，因此將重點放到特征圖的通道維度，如圖3所示，對FPN的每一層輸出圖都使用一個SE進行通道矯正。在以往的模型中集成SE時，都是將SE加到主干網(wǎng)的某一些堆疊塊后面，比如殘差塊，該文開創(chuàng)性地將通道注意力機制應(yīng)用到頸部網(wǎng)絡(luò)，集成方式只是簡單的串聯(lián)，使模型具有松耦合的特性，簡單高效，并且?guī)缀醪辉黾幽Ｐ偷膹?fù)雜度。

圖3 FPN與通道注意力的集成

集成了通道注意力的特征金字塔，分別從通道維度和空間維度增強了模型對于路面病害的表征能力，并生成了多層次特征圖，然后由特征提取器根據(jù)ROI選擇特征層次進行特征提取。在傳統(tǒng)的FPN中只考慮了單層次特征圖提取的方法，這存在一些信息相關(guān)的問題。公式2可以表示為RPN中的回歸子網(wǎng)對錨框的修正，x是在特征金字塔上輸入的某一層次的特征圖，w*是要學(xué)習(xí)的回歸權(quán)重參數(shù)(*表示x,y,w和h，對應(yīng)錨框的平移變換和尺度縮放)，d*(x)是網(wǎng)絡(luò)的輸出，用來修正候選錨框?？梢钥闯?，這里可能存在特征沒有對齊的問題，如果特征圖x來源于第i層，候選錨框P1位于來自特征金字塔的第i層，然后候選錨框P1經(jīng)過RPN的第一次修正后變?yōu)镻2，在頭部網(wǎng)絡(luò)進行第二次修正時，公式1將P2映射到FPN的第j層，如果i≠j，那么該ROI經(jīng)過兩次修正后很明顯存在依賴的特征基礎(chǔ)不一致。

d*(x)=w*x

(2)

在過往的研究中都指出，在設(shè)計路面病害的檢測模型時，如何利用好低層次的特征是非常重要的，高層次的特征融合可能會造成冗余的干擾信息[19]。受此啟發(fā)，提出了一種自下而上的ROI路面病害特征提取器，將其命名為RDROIE(Road Disease ROI Extractor)。圖4顯示了這一提取框架。k是通過公式1計算而來，認為由公式1計算出來的第k層次是某個尺度病害的理想特征層次，具有較好的語義特征，然而由于道路病害的細微性，在卷積下采樣的過程中，特征信息損失嚴(yán)重，因此選擇k層及k層以下的ROI特征進行融合。首先是ROI池化模塊，它是一個對非規(guī)則ROI執(zhí)行最大池化以獲得固定大小表示的模塊，ROIAlign是現(xiàn)階段最流行的池化操作，它通過將原始特征圖上的ROI劃分為相等的網(wǎng)格，并在每個網(wǎng)格內(nèi)使用雙線性插值來縮小矩形特征圖區(qū)域。經(jīng)過ROIAlign池化模塊生成ROI特征都具有相同的形狀，隨后是一個預(yù)處理模塊，其目的是對池化后的區(qū)域進行初步細化。該文使用了一個5×5卷積層，然后使用一個求和操作，聚合來自每個層次分支的單個ROI特征。在最終返回聚合特征之前應(yīng)用了一個額外的細化步驟，這一步應(yīng)該允許網(wǎng)絡(luò)學(xué)習(xí)全局特征，加強最終ROI特征的信息能力。該文選擇應(yīng)用空間注意力層，這一層的主要目標(biāo)是消除無用信息。

我的第三個男朋友，叫羅思平。其實，我和他之間，也沒有發(fā)生什么，但我依然堅稱他是我男朋友。我喜歡將那些與我有過千絲萬屢聯(lián)系的男孩或者男人，統(tǒng)稱為男朋友，無論我們之間的關(guān)系是微妙抑或明朗。羅思平是我所在打工小食店的?？停畾q左右，喜歡刁著煙，隔一陣子用食指輕輕地將燃過的煙灰彈去。他總是一臉的憂郁。

圖4 路面病害ROI提取框架

3 實 驗

3.1 實驗細節(jié)

對于路面病害檢測來說，準(zhǔn)確檢測到病害的重要性是高于檢測速度的，而兩階段模型在準(zhǔn)確率上大多時候是優(yōu)于一階段模型的，因此采用兩階段的檢測模型作為基線模型，選取了帶有FPN的Faster R-CNN，圖5展示了所使用的路面檢測框架。

圖5 路面病害檢測模型

該文將改進后的特征金字塔網(wǎng)絡(luò)在兩個數(shù)據(jù)集進行了驗證，一個是RDD2018，圖像來自日本的7個地方(Ichihara，Chiba，Nagakute，Sumida，Muroran，Adachi和Numazu)，共9 053張圖像樣本，有7 240張和1 813張圖像被分別用作訓(xùn)練樣本和測試樣本。該數(shù)據(jù)集包含8個不同的道路病害類別，分別是縱向裂縫(D00)，縱向接縫(D01)，橫向裂縫(D10)，橫向接縫(D11)，龜裂(D20)，車轍、露骨、坑槽和分裂歸為一類的D40，人行道模糊(D43)和白線模糊(D44)。一個是筆者自己制作的瀝青路面病害數(shù)據(jù)集，包含2 297張圖像，隨機選擇了其中2 072張用于訓(xùn)練，225張用于驗證，共六種病害，分別是縱向裂縫(Type1)，橫向裂縫(Type2)、灌封修補(Type3)、塊狀修補(Type4)、坑槽(Type5)和塊狀裂縫(Type6)。圖6分別給出了兩個數(shù)據(jù)集中的圖像示例，(a)是文中的瀝青路面病害數(shù)據(jù)集的示例，(b)是RDD2018中的示例。在訓(xùn)練期間，對于自己制作的數(shù)據(jù)集，用于訓(xùn)練和測試的圖像原始大小為4 000×3 000的高分辨率圖像，如果直接使用原始分辨率的圖像作為訓(xùn)練輸入，需要大量的GPU內(nèi)存以及訓(xùn)練時間，造成模型訓(xùn)練和優(yōu)化困難。針對這種情況，將圖像大小調(diào)整為1 333×800，這是最常用的目標(biāo)檢測圖像輸入分辨率，既可以保持病害在圖像中的完整性，也可以減少在訓(xùn)練階段對硬件的需求。盡管如此，由于使用的是一塊GTX 1080 Ti 11 GB GPU，批量大小不能設(shè)置得太大，但是對于批量歸一化來說，小批量會使批量統(tǒng)計的估計不準(zhǔn)確，所以在訓(xùn)練過程中固定BN層的參數(shù)，不更新它們。在將每個圖像饋送到網(wǎng)絡(luò)之前，對其進行了隨機水平翻轉(zhuǎn)，隨機概率為0.5，然后將輸入圖像的RGB通道上的均值和標(biāo)準(zhǔn)差值進行歸一化。在后續(xù)的模型比較中，與之比較的所有模型都不是來自原始論文的實現(xiàn)，但它們是在相同的環(huán)境上進行訓(xùn)練并測試，除了提出的改進的FPN模塊外，其余都使用相同的配置，因此該文使用MMDetection作為基礎(chǔ)工具箱來開發(fā)文中方法。

圖6 路面病害圖像示例

3.2 實驗結(jié)果

采用基于IOU的方法來匹配預(yù)測邊界框與真實標(biāo)注(Ground Truth，GT)邊界框，從而判斷定位是否準(zhǔn)確，如果IOU≥0.5，則認為該檢測邊界框是TP。如果IOU<0.5，則認為該檢測邊界框是FP。由于目標(biāo)檢測中不涉及真陰性(TN)這一概念，因此評估指標(biāo)主要是基于TP、FP和FN的精確率P和召回率R，分別定義為：

(3)

(4)

在此基礎(chǔ)上使用F1分數(shù)來評價檢測結(jié)果，F(xiàn)1分數(shù)定義如下：

(5)

將Faster R-CNN ResNet-50 with FPN作為基線結(jié)果，然后在此基礎(chǔ)上引入提出的集成通道注意力的特征金字塔和改進的ROI特征提取器。表1顯示了在逐漸引入提出的方法后，模型在瀝青路面病害數(shù)據(jù)集和RDD2018測試集上的F1分數(shù)變化。

表1 每個啟發(fā)式方法在測試集上的F1分數(shù)

表2 不同模型的F1分數(shù)對比

在驗證了提出的模型改進方法的有效性后，與其他的流行的目標(biāo)檢測模型在ARSDD測試集進行了比較。從表2中可以看出，兩階段模型Faster R-CNN和所提模型在結(jié)果上明顯好于一階段模型SSD、YOLOv4、RetinaNet和FCOS，這說明了兩階段目標(biāo)檢測在現(xiàn)階段的路面病害檢測中的應(yīng)用應(yīng)該是更有效的。FCOS是近期比較熱門的一個目標(biāo)檢測模型，該模型實現(xiàn)了無候選邊界框的創(chuàng)新思路，在諸如COCO等公開數(shù)據(jù)集上的表現(xiàn)好于許多基于錨框的目標(biāo)檢測算法。從表2可以看出，該模型在兩個數(shù)據(jù)集的F1分數(shù)都明顯優(yōu)于其余的模型。

3.3 結(jié)果分析

圖7顯示了文中模型的在兩個數(shù)據(jù)集上正確的檢測結(jié)果，圖7(a)檢測到了一些瀝青路面數(shù)據(jù)集中的橫向裂縫。同理，圖7(b)檢測到了一些龜裂(D20)。裂縫作為路面上最常見的病害，對其進行精準(zhǔn)檢測是十分重要的，無論是圖7(a)近處的裂縫，還是圖7(b)中遠端的裂縫，基于改進后的特征金字塔網(wǎng)絡(luò)模型都能夠有效地檢測到。

圖7 模型的檢測結(jié)果可視化

4 結(jié)束語

道路路面的損壞會影響道路正常運行，如果放任不管，會使得整條道路持續(xù)惡化，該文使用基于目標(biāo)檢測的方法來檢測道路表面病害。由于路面病害目標(biāo)具有特征信號微弱的特點，首先介紹了FPN以及特征提取器，然后闡述了目標(biāo)檢測中通道注意力機制，在此基礎(chǔ)上，介紹了針對路面病害檢測所提出的兩個方法，一個是將通道注意力機制集成到多層次特征圖上，增強網(wǎng)絡(luò)的語義表征能力。第二個方法是對特征提取器進行了重新設(shè)計，讓路面病害的ROI不再僅僅只依賴于某一層次的特征圖，而是融合了更多低層次的特征圖信息。接著采用基于Faster R-CNN在RDD2018和瀝青路面病害上分別進行了實驗，結(jié)果表明帶來了顯著的提升，同時分別在提出的數(shù)據(jù)集以及公共數(shù)據(jù)集與其他模型進行了對比和驗證，結(jié)果表明該模型都優(yōu)于其他的模型。