陳 雋， 陳文豪， 李 洋

（1. 同濟大學 土木工程學院，上海 200092；2. 同濟大學 土木工程防災減災全國重點實驗室，上海200092；3. 中南建筑設計院股份有限公司，湖北 武漢 430071）

建筑業(yè)是我國國民經(jīng)濟的支柱產(chǎn)業(yè)，但效益低、欠環(huán)保、耗能大的現(xiàn)狀，距離高質(zhì)量發(fā)展要求仍有巨大差距，與世界上發(fā)達國家和地區(qū)相比，亟需通過科技創(chuàng)新提升行業(yè)的智能化水平解決上述問題。智能建造是信息技術(shù)與工程建造深度融合的新模式，從根本上改變了建筑工程生產(chǎn)與組織方式，通過促進建造過程中信息的流動和融合來顯著提高施工效率?！爸悄芙ㄔ臁弊鳛橐粋€新專業(yè)在2018年由同濟大學提出，由于與當今科技發(fā)展趨勢以及行業(yè)的現(xiàn)實需求高度吻合，目前已有100 多所高校新增了此專業(yè)，反映出很高的社會認可度，也是建筑工業(yè)化協(xié)同發(fā)展未來15年的主要發(fā)展目標之一［1］。

施工過程智能化是智能建造全過程的重要環(huán)節(jié)之一，而施工中鋼筋（主要建材）、鋼管（如用于腳手架的圓鋼管、支撐體系的方鋼管）等物料計數(shù)是施工過程管理、成本控制的關(guān)鍵環(huán)節(jié)。然而，當前施工實踐中對于上述鋼材的管理仍主要依賴于人工計數(shù)方式，效率低、成本高、自動化水平差。因此，鋼材物料的智能計數(shù)是實現(xiàn)施工智能建造需要解決的關(guān)鍵問題之一，對照片進行圖像處理實現(xiàn)鋼材計數(shù)是目前最常見的思路。例如，Zhang等［2］提出了一種基于模板匹配和可變閾值分割的在線計數(shù)與自動分選系統(tǒng)，該方法拍攝圖像時需要適當角度的輔助光源，主要適用于工廠等光環(huán)境可控的場所。Ying等［3］結(jié)合邊緣檢測器和圖像處理算法將鋼筋從背景中分離出來，然后采用霍夫變換對圓形鋼筋進行定位。Zhao等［4］使用改進的邊緣檢測、圖像處理算法和邊緣聚類算法檢測鋼筋的數(shù)量，該方法需要穩(wěn)定的檢測環(huán)境。Su 等［5］針對拍攝的鋼筋圖像，采用改進的梯度霍夫圓變換結(jié)合最大內(nèi)切圓算法獲取的半徑進行鋼筋定位。Wu等［6］提出一種利用凹點匹配進行分割，K 級容錯進行計數(shù)，最后利用視覺反饋進行多次分切的鋼筋在線計數(shù)方法。Liu等［7］利用Canny算子結(jié)合形態(tài)學的邊緣增強算法來提取感興趣區(qū)域并去除噪聲，以此實現(xiàn)圓鋼管自動計數(shù)。上述工作的核心思想是分離出圖像中每根鋼材的邊界，因此對圖像的光照、指定鋼筋截面形狀、圖像背景等條件都有嚴格的要求。然而，在施工現(xiàn)場所拍攝的鋼材圖像大多存在縮進不均勻、端部氧化修飾或遮擋、光照不均勻等干擾因素，使得上述方法很難實用。同時，目前尚未開展針對方鋼管計數(shù)的研究工作，因為方鋼管具有雙軸對稱的特點，其圖像處理比軸對稱的圓形鋼筋和鋼管要困難。

近年來，計算硬件性能的飛速提升以及算法研究的突破，使得深度學習在許多領(lǐng)域得到了成功應用，極大地提高了圖像中目標檢測的準確性。深度學習通過組合簡單非線性模塊學習非常復雜的函數(shù)，與傳統(tǒng)的機器學習方法相比具有更強的特征提取能力和泛化能力，從而更易發(fā)現(xiàn)海量數(shù)據(jù)中的復雜結(jié)構(gòu)［8］。在眾多深度學習網(wǎng)絡中，卷積神經(jīng)網(wǎng)絡在處理圖像方面有極大的優(yōu)越性，基于深度學習的目標檢測算法能夠快速而準確地在圖像中給定目標的位置和類別［9］。其中，YOLOv4［10］是目前廣泛使用的單階段目標檢測算法，相比于雙階段目標檢測器，在準確率不顯著降低的前提下具有更快的響應速度，適合于實時檢測的需求。因此，本文采用目標檢測的思路研究鋼材智能計數(shù)，通過對YOLOv4 的改進實現(xiàn)對方鋼管、鋼筋和圓鋼管的實時計數(shù)，并開發(fā)面向工程使用的云端APP工具。

1 模型訓練數(shù)據(jù)集和評價指標

1.1 鋼材斷面照片數(shù)據(jù)集

基于深度學習的目標檢測是典型的數(shù)據(jù)驅(qū)動模型，需要大量的真實樣本進行模型訓練和性能檢驗。面向最終的實際應用場景（即實際的光照條件和背景噪聲），本研究利用普通智能手機拍攝了大量的實際施工工地的鋼筋、圓鋼管和方鋼管的橫截面照片，并對其中的鋼材進行標注（圖1）。其中，采用水平矩形框來標定照片中每根鋼筋、圓鋼管的中心坐標及長寬，采用旋轉(zhuǎn)矩形框標定每根方鋼管橫截面的中心坐標、長寬以及角度。本文最終使用的鋼筋、圓鋼管和方鋼管的照片總數(shù)量分別是991、1 019 和538張，總計數(shù)點分別是181 375、 154 044 和56 970個（表1）。

圖1 鋼材標注示例Fig. 1 Example of steel labeling

表1 各類鋼材數(shù)量統(tǒng)計Tab. 1 Statistics of all kinds of steel

先驗框是模型訓練前預設的接近目標真實大小的框，算法是通過預測先驗框的偏移量實現(xiàn)目標檢測，合理的先驗框設置能夠加快模型的訓練并提高檢測的精度。因此，利用K-means 聚類算法將數(shù)據(jù)集中每種鋼材真實框的長寬分為最具代表性的9類，它們的聚類中心作為模型先驗框，結(jié)果如表1和圖2所示。

圖2 鋼材聚類結(jié)果Fig. 2 Result of steel clustering

1.2 評價指標選取

目標檢測中常用平均精度AP（average precision）、平均最大絕對誤差MAE（mean absolute error）或平均均方根誤差RMSE（root mean squared error）等指標來評價模型的性能。本文實踐表明，采用單一指標評價不適合于鋼材計數(shù)模型。原因在于，AP 值是包含定位和計數(shù)信息的一個綜合指標，不能直接區(qū)分兩個因素各自的影響，而MAE、RMSE只包含計數(shù)信息，存在雖然數(shù)量準確（如漏了n個鋼筋，而把n個其他物品計為鋼筋）但實際是誤檢的情況。因此，本研究綜合采用AP、MAE 和RMSE這3個指標，各自的定義如下：

式中：n為測試集中的圖片數(shù)量；p(rˉ)為在召回率為rˉ時的測試精度，使用預測框與真實框之間的交并比衡量定位的準確性，在本研究中使用AP50，即IOU（intersection over union）閥值為0.5來測試模型的檢測效果。

MAE用于測試模型計數(shù)的準確性，而RMSE則用于測試模型計數(shù)的穩(wěn)定性，定義如下：

式（2）、（3）中：yi為圖片中目標的真實數(shù)量；y?i為模型檢測數(shù)量。

相比于相對誤差，MAE能夠直觀地反映模型漏檢的根數(shù)，同時不受單張圖片中方鋼管數(shù)量的影響，而且在實際使用場景中，統(tǒng)計人員也更關(guān)注漏檢的根數(shù)。

2 方鋼管計數(shù)模型

3 類鋼材計數(shù)中，由于方鋼管種類繁多，擁有不同的壁厚、長寬比和排列方式，因此計數(shù)最為困難?？紤]到篇幅，本節(jié)以方鋼管為例說明計數(shù)模型的建立，前述方鋼管數(shù)據(jù)集以4：1 劃分為訓練集和測試集。

YOLOv4 是目前使用很廣泛、計算速度快的單階段目標檢測算法，適合于鋼材實時計數(shù)的需求。然而，雖然YOLOv4 檢測自然場景下水平物體的性能十分出色，但直接應用于具有較大縱橫比且密集排列的方鋼管卻表現(xiàn)欠佳。這是因為，對施工現(xiàn)場非常常見的方鋼管傾斜情況，照片采用水平標注框后產(chǎn)生的冗雜區(qū)域和各重疊區(qū)域?qū)⒆兊孟鄬^大（相比之下，鋼筋、圓鋼管的重疊和冗雜區(qū)域?。鐖D3 所示。冗雜區(qū)域會引入大量噪聲，導致圖像信息特征受到干擾甚至消失，較大的重疊區(qū)域則會導致在進行非極大值抑制后部分對象被拋棄，因此需要對標準YOLOv4（下稱原模型）的目標檢測算法進行改進，使其能夠檢測帶有角度的方鋼管并進行計數(shù)。

圖3 水平框標注方鋼管和圓鋼管Fig. 3 Detection of square steel tube and circle pipe using horizontal frame

2.1 損失函數(shù)的改進

原模型將輸出的特征圖劃分為不同數(shù)量的柵格單元，每個柵格單元有3個預測邊界框，每個邊界框包含坐標、置信度和類別信息，并采用CIOU（complete intersection over union）［11］計算位置損失，CIOU 考慮了邊界框回歸過程中目標框的重疊區(qū)域、中心點的距離以及長寬比對訓練的影響，如式（4）、（5）所示。

式（4）、（5）中：bp和bg分別為預測框和真實框的中心點；dc為兩個框中心點之間的距離；de為兩個框相隔最遠兩點間的距離；wg和hg分別為預測框的高和寬；wp和hp分別為真實框的高和寬。各符號含義見圖4。

圖4 CIOU損失示意Fig. 4 CIOU loss

式（4）表明CIOU損失中不包含角度信息，因此對旋轉(zhuǎn)框進行邊界框回歸，必須對旋轉(zhuǎn)框的角度進行定義并采用新的位置損失函數(shù)。在二維直角坐標系中旋轉(zhuǎn)矩形框通常有兩種定義方式，分別是OpenCV 定義法和長邊定義法，前者將與橫軸成銳角的邊定義為寬，角度范圍為［0°，90°］，后者將較長的邊定義為寬，角度范圍為［-90°， 90°］。經(jīng)嘗試，本文最終采用長邊定義法。

目標檢測的位置損失函數(shù)用于計算預測框與真實框之間差異。具體實現(xiàn)時，將旋轉(zhuǎn)框的參數(shù)轉(zhuǎn)化為高斯分布的數(shù)字特征（即均值和方差），采用KL（Kullback-Leibler）散度和高斯-瓦瑟斯坦距離（Gaussian-Wasserstein distance，GWD）［12］衡量兩個二維高斯分布之間的差異作為YOLOv4 的位置損失，并采用公式（6）～（7）將旋轉(zhuǎn)框的定義參數(shù)轉(zhuǎn)化為高斯分布的數(shù)字特征（圖5），這種轉(zhuǎn)換方式能夠有效解決因角度周期性導致的損失不連續(xù)問題和長短邊互換導致的邊界不連續(xù)問題［13］。

圖5 二維高斯分布模擬旋轉(zhuǎn)矩形框Fig. 5 Modeling of a rotating bounding box by twodimensional Gaussian distribution

式中：μ、Σ分別為二維高斯分布的均值向量、協(xié)方差矩陣；x、y、w、h、θ分別為旋轉(zhuǎn)矩形框的橫坐標、縱坐標、寬、高、角度。二維高斯分布轉(zhuǎn)化完成后，用公式（8）～（11）分別計算KL散度Dkl和GWD距離Dgw對應的損失。

式中：N表示二維正態(tài)分布；μ、Σ分別為對應分布的均值向量和協(xié)方差矩陣；下標p、t分別表示預測框和真實框；Tr表示取矩陣的跡；‖表示向量的二范數(shù)；lkl和lgw分別為基于KL 散度、高斯-瓦瑟斯坦距離的損失函數(shù)；τ為可調(diào)參數(shù)，在本文中τ取為2。

YOLOv4 原模型的3 個先驗框均為水平，用來擬合方鋼管的旋轉(zhuǎn)真實框會加大模型的訓練難度，導致檢測精度降低。對此，本文將原來的每個先驗框增加6 種角度，分別為-60°、-30°、 0°、30°、60°、90°，特征圖上每個網(wǎng)格點共有18 個先驗框，雖然增加了網(wǎng)絡檢測頭的厚度，但是能有效提高模型的檢測精度。

此外，訓練模型時需要從所有的先驗框中區(qū)分正負樣本，每個網(wǎng)格點上的正樣本需要滿足先驗框與真實框的IOU 大于某個閥值，并且其值也必須是該網(wǎng)格點上最大的。在水平目標檢測中計算IOU是簡單快速的，然而旋轉(zhuǎn)框之間的IOU 在訓練階段計算較為費時，故采用近似交并比ArIOU 來計算訓練階段的IOU，其計算方法見式（12），同時對正樣本S的定義也有所改變，見式（13）。

式中：T表示真實框；A表示先驗框；θT和θA分別表示真實框和先驗框的角度；A*表示將角度調(diào)整為θT的先驗框A；IOU表示求交并比。

式中：1 表示正樣本；0 表示負樣本；α、β、γ為可調(diào)參數(shù)，本文分別取為0.6、0.4、15°。

未改進的計數(shù)模型在訓練的過程中的置信度函數(shù)采用二分類交叉熵損失，為了減少正樣本與負樣本之間的不均衡性對模型訓練的影響，并增強模型對困難樣本的敏感度，將原置信度損失換為Focal損失［14］，其計算方式如下：

式中：y和y'分別為真實置信度和預測置信度；可調(diào)參數(shù)γ用于平衡難易樣本的重要性，在訓練過程中能夠自動降低簡單背景對訓練權(quán)重的貢獻度，使模型在訓練時快速聚焦于學習困難的負樣本，在訓練過程中取為2。

2.2 網(wǎng)絡結(jié)構(gòu)的改進

在計算機視覺的目標檢測任務中，一旦某個目標與某個特定圖相關(guān)聯(lián)，其他的特征圖的相應位置將被視為背景，不同層次的特征就會產(chǎn)生沖突，干擾模型訓練并降低特征提取的有效性。對此，采用注意力機制能使網(wǎng)絡聚焦于重要的特征從而提高模型的精度。ASFF（adaptively spatial feature fusion）［15］能夠?qū)⒉煌直媛实奶卣鲌D融合為一個固定分辨率的特征圖，從而減少由于大物體與小分辨率的特征圖相關(guān)而小物體又與大分辨率的特征圖相關(guān)造成的不同尺度特征之間的不一致性。因此，本研究在模型中加入了ASFF使其直接在不同分辨率上對特征進行篩選，選擇有效信息進行組合，從而提升模型的性能。通過實驗對比了不同注意力機制下模型的性能，最終確定采用SE（squeeze and excitation）［16］注意力機制并加入ASFF 的情況下性能最優(yōu)，整個網(wǎng)絡結(jié)構(gòu)如圖6所示，其中SE模型如圖7所示，ASFF圖形如圖8所示。

圖6 方鋼管計數(shù)模型結(jié)構(gòu)圖Fig. 6 Network of counting model of square steel pipe

3 模型訓練策略選擇及實現(xiàn)

不同的深度學習模型通常采用的訓練策略各不相同，好的訓練策略能夠極大提高模型的檢測效果。常用的訓練策略有數(shù)據(jù)增強、學習率調(diào)整計劃、遷移學習以及多尺度訓練。

數(shù)據(jù)增強通過翻轉(zhuǎn)、平移、旋轉(zhuǎn)等對原始圖片進行幾何變換或通過顏色空間變換進行色彩增強，用于豐富訓練集，使模型能夠?qū)Σ煌膱D片擁有更強的魯棒性，如圖9 所示操作。由于本研究收集到的方鋼管的圖片有限，而實際場景中方鋼管會有各種角度的擺放，使用旋轉(zhuǎn)進行增強能讓模型在有限的數(shù)據(jù)下訓練出檢測各種角度方鋼管的能力，提高模型的泛化能力。本研究在模型訓練前先對數(shù)據(jù)集中一半的圖片進行了隨機的幾何變換，然后再隨機進行色彩增強。

遷移學習是從某個領(lǐng)域的任務中提取有用的特征并將其應用到新的任務中。直接訓練深度學習模型而不使用遷移學習往往會訓練出效果不理想的模型，因此在訓練方鋼管計數(shù)模型過程中采用COCO數(shù)據(jù)集上的預訓練權(quán)重來進行權(quán)重初始化。由于方鋼管數(shù)據(jù)集的圖片數(shù)量不夠充足，以及方鋼管種類和形態(tài)上的較大差異，同時考慮到圓鋼管和方鋼管在特征上具有一定的相似性，將模型在圓鋼管數(shù)據(jù)集上訓練的權(quán)重作為方鋼管計數(shù)模型的初始權(quán)重。

學習率是深度學習模型訓練時控制模型權(quán)重進行梯度更新的一個超參數(shù)，取值過高會使模型在訓練過程中難以收斂，太低又會使模型收斂的速度過慢，制定合適的學習率調(diào)整策略對模型的訓練十分關(guān)鍵。本研究采用余弦退火的方式進行學習率的調(diào)整，如圖10所示，余弦退火函數(shù)如下：

圖10 學習率曲線Fig. 10 Learing rate

式中：ηt為當前的學習率；和分別為學習率的最大值和最小值；i為循環(huán)序號；Tcur為當前已經(jīng)執(zhí)行完的訓練次數(shù)；Ti為第i次循環(huán)時總的訓練輪次。在本研究將最大、最小學習率分別設置為0.000 2和0。

表2 是如圖6 所示的模型在訓練時是否采用數(shù)據(jù)增強以及學習率調(diào)整時的AP值，通過對比可以看出在模型訓練時采用數(shù)據(jù)增強和合適學習率調(diào)整策略能夠明顯提升模型的性能，AP 值提升幅度達22%。圖片被輸入模型之前會被調(diào)整到某一固定尺度，尺度太大會使機器的顯存溢出，尺度太小難以滿足訓練精度的要求，因此需要將圖片調(diào)整到適當?shù)某叨龋捶直媛蚀笮。?。實踐表明，采用固定尺度訓練的模型泛化能力較差，因此本文使用了多尺度訓練來提高模型的泛化能力，每次輸入前從｛416，448，480，512，544，576，608｝中隨機選擇一種尺度，然后將圖片調(diào)整到該尺度下進行訓練，實踐表明，多尺度訓練策略有效。

表2 不同訓練策略下的模型AP值Tab. 2 AP value of model in different training strategies

4 結(jié)果與應用擴展

4.1 結(jié)果分析

表3比較了在網(wǎng)絡結(jié)構(gòu)中是否采用自適應特征融合、不同注意力機制、不同損失函數(shù)下的方鋼管計數(shù)模型的測試效果。在實驗過程中，將538 張方鋼管圖片按4∶1 劃分為訓練集和測試集，訓練輪次設置為120，初始學習率為設置為0.000 2，實驗過程中采用相同的數(shù)據(jù)增強和學習率調(diào)整方式，在測試階段圖片的輸入尺度為608，置信度損失采用Focal損失。

表3 各種網(wǎng)絡結(jié)構(gòu)的測試結(jié)果對比Tab. 3 Comparison of test results of various neural network structures

表3 結(jié)果表明，模型在采用不同位置損失函數(shù)和網(wǎng)絡模塊時的精度差異較大，AP 差值最高達到8.21，MAE 的差值則為1.05。其中，采用GWD 作為位置損失函數(shù)時的AP 值普遍高于采用KL 散度作為位置損失時的精度。對比2.1節(jié)中兩種損失函數(shù)的公式可知，KL 散度AP 值較低的主要原因是其不對稱性，因此在預測框與真實框不變時對調(diào)其位置后損失值會發(fā)生改變。在模型采用SE 注意力機制（圖7）和ASFF（圖8）并在位置損失函數(shù)采用GWD 的情況下模型的最高平均精度達到了91.41%，平均絕對誤差為4.07。上述結(jié)果表明本文針對YOLOv4 原模型的改進措施非常有效，模型損失函數(shù)改進前后的檢測效果如圖11所示，可見更改損失函數(shù)前存在錯檢，并且檢測框的大小和角度存在較大誤差，而更改后模型的檢測準確率有明顯提升，錯檢漏檢的情況得到極大改善。最終模型在兩個較難場景（散亂和密集）的檢測效果示例見圖12。

圖11 損失函數(shù)修改前后效果對比Fig. 11 Comparison of result before and after modification of loss function

圖12 方鋼管計數(shù)模型檢測結(jié)果Fig. 12 Detection results of square steel pipe counting model

4.2 鋼筋及圓鋼管拓展

上述方鋼管計數(shù)模型的建立思路可以直接拓展至鋼筋和圓鋼管，并分別開發(fā)了各自的實時計數(shù)模型［20-21］，建模過程不再贅述，計數(shù)結(jié)果示例見圖13。

圖13 鋼筋和鋼管計數(shù)結(jié)果Fig. 13 Counting results of rebar and steel pipe

4.3 實用性檢驗

為檢驗上述理論研究成果的實用性，真正解決現(xiàn)實工程問題，研究開發(fā)了基于手機的“鋼材智能計數(shù)”APP并已上線，用戶只需從應用商店下載注冊即可使用，APP 首頁如圖14 所示。使用時，用戶將手機拍攝相應鋼材端面圖像上傳云端服務器，即可完成數(shù)量計算，整個計算和結(jié)果反饋過程一般在1～2 s內(nèi)完成，滿足實時性要求。APP自上線以來，已吸引到26 000 多注冊用戶，已完成90 000 多照片的計數(shù)任務，實際使用效果良好。

圖14 鋼材智能計數(shù)APP首頁Fig. 14 Frontpage of intelligent steel counting APP

5 結(jié)論

本文利用深度學習中的目標檢測技術(shù)研究鋼材的智能計數(shù)，通過改進YOLOv4模型來提升精度，在此基礎上開發(fā)了實用APP，以解決建筑工地鋼材人工統(tǒng)計費時費力的問題。研究得出以下結(jié)論：

（1）不同的鋼材計數(shù)任務需要不同的檢測模型，本研究針對鋼筋、圓鋼管以及方鋼管開發(fā)了滿足計數(shù)精度的不同模型。

（2）對于含有角度影響的方鋼管計數(shù)，本研究在網(wǎng)絡中加入了SE注意力機制、ASFF模塊以及針對有角度物體的損失函數(shù)，并結(jié)合數(shù)據(jù)增強和學習率調(diào)整等策略顯著提升了模型精度，在普通場景下方鋼管計數(shù)模型能夠達到90%以上的平均精度和4.07的平均絕對誤差。

（3）研究成果形成了實用的APP，并已擁有大量的用戶，可為實際的建設工程節(jié)省人力物力。

本文的研究仍有一些不足：因訓練數(shù)據(jù)有限，方鋼管計數(shù)模型在復雜場景下的計數(shù)能力仍有待提升；雖然實現(xiàn)了對建筑施工主要鋼材的智能實時計數(shù)，但對其他材料（如工字鋼、模板、砌塊）的計數(shù)仍需新的模型，用同一個模型實現(xiàn)不同材料的計數(shù)是未來值得研究的問題。

作者貢獻聲明：

陳 雋：制定論文總體思路，論文文稿修改。

陳文豪：模型構(gòu)建，論文撰寫和修改。

李 洋：協(xié)助實驗，提供撰寫建議。