劉 春，艾克然木·艾克拜爾，蔡天池

（同濟(jì)大學(xué)測(cè)繪與地理信息學(xué)院，上海 200092）

城市空間多元要素的智能感知是城市體征敏感指標(biāo)動(dòng)態(tài)監(jiān)測(cè)和風(fēng)險(xiǎn)因子診斷預(yù)警的重要科學(xué)基礎(chǔ)，是建立健全“城市體檢”長(zhǎng)效評(píng)估機(jī)制、開展新型智慧城市全生命周期健康管理的關(guān)鍵支撐。特大城市因其高度復(fù)雜性、開放性、集聚性等空間特征，安全底線的約束強(qiáng)化和智慧韌性的提升淬煉面臨更為嚴(yán)峻的挑戰(zhàn)。以上海市為例，常住人口超2 480 萬(wàn)，擁有1.4 萬(wàn)多個(gè)住宅小區(qū)，30 層以上的高層建筑1 500 多幢，建筑總量達(dá)14.5 億多平方米［1］。高密度、大體量房屋建筑健康狀態(tài)的高時(shí)效監(jiān)測(cè)評(píng)估是維持城市功能正常運(yùn)行的根本保障，已經(jīng)成為“城市體檢”的緊迫任務(wù)和重要內(nèi)容［2］。

建筑健康狀態(tài)是建筑材料、結(jié)構(gòu)特性和服役環(huán)境等多方面因素共同影響的復(fù)雜問(wèn)題。環(huán)境溫度和不均勻沉降引起的耐久性破壞會(huì)改變建筑邊界條件和結(jié)構(gòu)形式，導(dǎo)致建筑材料和結(jié)構(gòu)構(gòu)件性能的老化，產(chǎn)生裂紋、侵蝕、結(jié)構(gòu)缺陷等表觀病害［3］。其中，裂紋是建筑結(jié)構(gòu)健康的敏感指示參量。從初始表面微裂紋萌生，到基體裂紋聚集、擴(kuò)展，最終形成宏觀裂紋斷裂，其生長(zhǎng)演變覆蓋建筑結(jié)構(gòu)從表觀病變到結(jié)構(gòu)化失效的全過(guò)程［4］。因此，通過(guò)快速、有效的健康監(jiān)測(cè)方法及時(shí)探知建筑表面裂紋病變模式，充分掌握裂縫發(fā)展規(guī)律和結(jié)構(gòu)性能退化水平，對(duì)房屋建筑的安全運(yùn)維和壽命預(yù)測(cè)具有非常重要的現(xiàn)實(shí)意義。

典型的建筑健康監(jiān)測(cè)系統(tǒng)是由敷貼在建筑立面或植入結(jié)構(gòu)內(nèi)部的應(yīng)力應(yīng)變傳感器、拉線式裂縫計(jì)等多類型傳感單元組成的實(shí)時(shí)監(jiān)測(cè)傳感網(wǎng)絡(luò)，通過(guò)實(shí)時(shí)感知外部環(huán)境侵蝕、周邊擾動(dòng)和極端載荷行為，為單體建筑結(jié)構(gòu)整體連續(xù)性監(jiān)測(cè)提供科學(xué)依據(jù)。針對(duì)局部區(qū)域或關(guān)鍵節(jié)點(diǎn)的診斷，超聲波、沖擊回波、微波雷達(dá)等無(wú)損檢測(cè)技術(shù)通過(guò)層析成像直觀表征損傷狀態(tài)［5-6］。

近年來(lái)，激光掃描、攝影測(cè)量、紅外熱成像等新型遙感觀測(cè)技術(shù)，已經(jīng)成為快速非接觸式檢測(cè)的有益補(bǔ)充，并被廣泛應(yīng)用于建筑裂紋病害的高頻次常規(guī)檢測(cè)中［7］。地基三維激光掃描儀在近程可獲取毫米級(jí)分辨率的建筑立面點(diǎn)云數(shù)據(jù)，將強(qiáng)度信息轉(zhuǎn)換為立面正射灰度影像后，可針對(duì)幾何特征顯著的結(jié)構(gòu)件或區(qū)域開展缺陷或裂紋等表面病害檢測(cè)。然而，在多段架站掃描過(guò)程中，其分辨率隨掃描距離徑向變化，且觀測(cè)視場(chǎng)中的場(chǎng)景遮擋會(huì)影響立面掃描的完整性，難以在大跨度建筑或密集觀測(cè)空間完整獲取建筑立面精細(xì)觀測(cè)數(shù)據(jù)［8］；紅外熱成像則是利用建筑表面裂紋或缺陷區(qū)域因熱導(dǎo)率不同形成的表面輻射率差異，將紅外輻射轉(zhuǎn)換為熱圖像，根據(jù)影像中的溫度突變判別表面病害。在遠(yuǎn)距離觀測(cè)時(shí)，熱紅外影像可以直觀反映建筑整體表面熱異常，但其傳感特性不足以支撐建筑立面微裂紋形態(tài)的有效定量分析［9］；而攝影測(cè)量技術(shù)有助于快速、便捷獲取建筑表面近距離影像，兼具幾何精度和紋理細(xì)節(jié)，已經(jīng)成為建筑表面病害信息獲取的重要觀測(cè)手段，并為專業(yè)檢測(cè)人員查驗(yàn)、判別提供了高分辨率觀測(cè)數(shù)據(jù)。輔以計(jì)算機(jī)視覺(jué)方法，可進(jìn)一步實(shí)現(xiàn)裂紋區(qū)域的識(shí)別、骨架線的提取、病變趨勢(shì)分析和損傷評(píng)估量化［10］。

為了提升裂紋影像分析的自動(dòng)化程度，基于深度學(xué)習(xí)的智能視覺(jué)檢測(cè)方法已經(jīng)成為眾多學(xué)者研究的熱點(diǎn)。裂紋智能檢測(cè)方法主要解決兩類問(wèn)題：第一類，識(shí)別影像中是否存在裂紋。將原始影像劃分為多個(gè)圖像塊子區(qū)域，分類器一一搜索判斷是否存在裂紋。常用訓(xùn)練架構(gòu)是VGGNet、GoogLeNet 和ResNet 等分類網(wǎng)絡(luò)，訓(xùn)練數(shù)據(jù)是由裂紋影像和非裂紋影像組成的正負(fù)樣本集［11-13］；第二類，從影像中提取裂紋。對(duì)輸入影像進(jìn)行逐像素分類判斷，從背景中分割提取出裂紋形態(tài)。常用訓(xùn)練架構(gòu)是FCN、Mask R-CNN 和U-Net 等分割網(wǎng)絡(luò)。在使用分割網(wǎng)絡(luò)時(shí)，為了降低裂紋的漏檢和誤檢，樣本中需要涵蓋多類型裂紋的大量標(biāo)注結(jié)果，有限的數(shù)據(jù)集和任務(wù)導(dǎo)向的參數(shù)調(diào)整使得分割網(wǎng)絡(luò)在任務(wù)場(chǎng)景切換時(shí)受到限制，需要重新調(diào)整模型參數(shù)訓(xùn)練和優(yōu)化以獲得預(yù)期提取效果［14-17］。

上述自動(dòng)化視覺(jué)檢測(cè)研究，在裂紋病害分析階段很好地實(shí)現(xiàn)了建筑局部興趣域或構(gòu)件的裂紋檢測(cè)，但少有涉及建筑整體的裂紋病害檢測(cè)。建筑的全局損傷是局部病變響應(yīng)的總和。將裂縫檢測(cè)置于建筑全局進(jìn)行綜合分析，獲取裂縫空間形態(tài)信息，確定裂縫在建筑整體中的病變演化規(guī)律，及時(shí)了解局部損傷對(duì)整體建筑的影響是當(dāng)前建筑健康監(jiān)測(cè)與診斷的重要研究方向［18］。這也使建筑健康監(jiān)測(cè)愈加顯現(xiàn)其觀測(cè)密集和知識(shí)密集的過(guò)程特性。而人工巡檢觀測(cè)難以在地物密集、可達(dá)性差的復(fù)雜建筑環(huán)境中高時(shí)效、安全開展目標(biāo)建筑結(jié)構(gòu)體的全覆蓋精細(xì)觀測(cè)。為實(shí)現(xiàn)建筑整體的有效監(jiān)測(cè)，病害觀測(cè)階段自動(dòng)化水平的提升是亟待攻克的難點(diǎn)。

低空多旋翼無(wú)人機(jī)平臺(tái)以其機(jī)動(dòng)、靈活、高分辨率成像的觀測(cè)特性，銜接地-空觀測(cè)尺度，拓展了建筑巡檢的可觀測(cè)空間和覆蓋范圍，成為自動(dòng)化、周期性視覺(jué)檢測(cè)的理想平臺(tái)［19-21］。利用攝影測(cè)量三維重建技術(shù)，可以實(shí)現(xiàn)建筑立面觀測(cè)與整體重建過(guò)程的統(tǒng)一，確保裂縫病害檢測(cè)的整體性與空間基準(zhǔn)的一致性。

無(wú)人機(jī)三維重建路徑規(guī)劃被定義為全覆蓋路徑規(guī)劃規(guī)劃問(wèn)題，即選擇有效覆蓋興趣域的攝影視點(diǎn)集，生成經(jīng)過(guò)這些視點(diǎn)的連續(xù)路徑。攝影測(cè)量中的全覆蓋路徑規(guī)劃主要是以先驗(yàn)信息為主的離線規(guī)劃，根據(jù)地面站中的衛(wèi)星影像，確認(rèn)目標(biāo)區(qū)域邊界，選擇任務(wù)參數(shù)，生成固定高度平面上以固定傾角觀測(cè)的二維覆蓋路徑［22-23］。三維重建的表面細(xì)節(jié)主要取決于任務(wù)載荷的成像性能。相機(jī)的位置、方向和觀測(cè)距離直接影響目標(biāo)建筑表面紋理重建精度。在建筑林立、地物密集的復(fù)雜空間如何實(shí)現(xiàn)建筑健康監(jiān)測(cè)巡檢路徑的有效規(guī)劃是具有挑戰(zhàn)性的問(wèn)題，其任務(wù)特性對(duì)無(wú)人機(jī)的觀測(cè)能力和規(guī)劃控制方案提出了更高的要求：無(wú)人機(jī)需要貼近建筑立面觀測(cè)；飛行中可實(shí)現(xiàn)多方位多角度觀測(cè)；在狹小工作環(huán)境可規(guī)避場(chǎng)景中的障礙；航跡中需保持高精度位姿等。

為此，本研究針對(duì)建筑健康自動(dòng)化巡檢中的上述挑戰(zhàn)，提出了場(chǎng)景信息引導(dǎo)的三維巡檢路徑規(guī)劃方法。針對(duì)目標(biāo)建筑結(jié)構(gòu)特征快速獲取地表粗略三維信息，利用場(chǎng)景信息規(guī)劃三維全覆蓋巡檢路徑。將觀測(cè)路徑部署在輕小型RTK（機(jī)載實(shí)時(shí)動(dòng)態(tài)差分定位）無(wú)人機(jī)實(shí)施建筑整體高精度三維重建，開展了建筑立面重建精度評(píng)估和裂紋智能識(shí)別，實(shí)現(xiàn)了整體建筑巡檢到識(shí)別全過(guò)程的自動(dòng)化，為城市建筑的高時(shí)效監(jiān)測(cè)摸排提供了有效的觀測(cè)分析手段。

1 場(chǎng)景信息引導(dǎo)的建筑巡檢任務(wù)規(guī)劃

在本節(jié)中，主要介紹所提出的場(chǎng)景信息引導(dǎo)的建筑巡檢任務(wù)規(guī)劃方法，聚焦無(wú)人機(jī)在有限執(zhí)行空間中，基于先驗(yàn)信息的攝影測(cè)量任務(wù)參數(shù)決策問(wèn)題，目標(biāo)是規(guī)劃和重構(gòu)一個(gè)更優(yōu)的建筑立面巡檢路徑，根據(jù)建筑結(jié)構(gòu)特征選擇適宜的觀測(cè)模式，以提升目標(biāo)建筑重建的整體細(xì)節(jié)水平。

1.1 未知興趣域場(chǎng)景先驗(yàn)信息獲取

快速勘探未知興趣域（Area of Interest，AOI）是場(chǎng)景信息獲取的第一步。A描述了興趣域的具體地理邊界，用序列頂點(diǎn)相連的閉合n邊形表示，A={v1，…，vn}。每個(gè)頂點(diǎn)vi以平面上的一對(duì)笛卡爾坐標(biāo)(x，y) 表示。興趣域的三維表面Ter(x，y) 即AOI內(nèi)的點(diǎn)賦予高程z后的曲面，其最高點(diǎn)為Zmax?？焖倏碧绞腔谠贏OI上方安全高度Hg執(zhí)行的全覆蓋觀測(cè)。當(dāng)無(wú)人機(jī)位于視點(diǎn)pi，影像在地面上的覆蓋面積是F。完成勘探路徑后的累計(jì)覆蓋域?yàn)?/p>

無(wú)人機(jī)平臺(tái)采用機(jī)載實(shí)時(shí)動(dòng)態(tài)差分（Real Time Kinematic，RTK）定位模塊，能夠在視點(diǎn)以厘米級(jí)定位精度記錄天線相位中心。式（2）給出了RTK獲取位置與機(jī)載相機(jī)位置的關(guān)系。其中，lA為RTK天線位置，Pmc是相機(jī)在世界坐標(biāo)系中的位置，Rmc是相機(jī)方位角，a→C是天線相位中心和相機(jī)投影中心之間的平移距離。

式中：Pmt是物方連接點(diǎn)，xc，yc為其像方坐標(biāo)，物方連接點(diǎn)與相機(jī)投影中心的距離Pc為1，比例因子為λ。高精度位姿輔助，優(yōu)化了快速勘探影像重建時(shí)的光束法平差過(guò)程，經(jīng)密集匹配和網(wǎng)格重建，可以有效獲取未知興趣域地面目標(biāo)特征及其分布狀態(tài)。

先驗(yàn)粗模型與地面站默認(rèn)衛(wèi)星底圖之間的互補(bǔ)性有助于恢復(fù)三維場(chǎng)景的近似特征（輪廓邊界+高程信息），根據(jù)觀測(cè)空間中興趣目標(biāo)的分布特性，利用三維線框模型可以在虛擬環(huán)境可視化表示觀測(cè)對(duì)象的位置和潛在障礙物，有效劃定觀測(cè)域和規(guī)避域，支撐基于模型的視點(diǎn)采樣和路徑規(guī)劃。

1.2 面向建筑結(jié)構(gòu)特征的任務(wù)規(guī)劃

充分利用空中觀測(cè)模式之間的有效互補(bǔ)性，可以實(shí)現(xiàn)對(duì)幾何特征和紋理細(xì)節(jié)的精確觀測(cè)。完整性是巡檢任務(wù)規(guī)劃的首要前提，當(dāng)面對(duì)不同高度和周邊密集的建筑對(duì)象時(shí)，全覆蓋的定義需要比平坦和開闊區(qū)域更為具體?；趫?chǎng)景信息基于粗略模型規(guī)劃時(shí)，參考模型的選擇取決于目標(biāo)建筑結(jié)構(gòu)的復(fù)雜性。興趣域內(nèi)的建筑可以分為規(guī)則型和不規(guī)則型。規(guī)則建筑是指建筑頂面近似垂直于所有側(cè)立面，通過(guò)屋頂面形狀拉伸就可以表示建筑基本幾何形狀；不規(guī)則建筑則具有更為復(fù)雜細(xì)致的結(jié)構(gòu)，如不規(guī)則平面、多結(jié)構(gòu)組合、多層立面起伏變化等。

（1）規(guī)則建筑的完全覆蓋問(wèn)題可以看作是三維線框模型多表面的二維覆蓋觀測(cè)疊加問(wèn)題，即在每個(gè)立面對(duì)應(yīng)的近距離平行平面觀測(cè)。該步驟定義為

式中：TA為目標(biāo)建筑的三維線框模型，TB為等距膨脹后的新表面，是無(wú)人機(jī)視點(diǎn)(pi，θi)的采樣空間，膨脹距離d根據(jù)期望觀測(cè)分辨率選擇確定。

S是目標(biāo)建筑表面TA沿水平方向和垂直方向均勻細(xì)分的面元集。第i個(gè)面元Si可以表示為：

式中：Pi=(pi x，pi y，pi z)是面元的空間坐標(biāo)，(ni x，ni y，ni z)是面元的表面法向量。Si的面積可以看作是無(wú)人機(jī)在對(duì)應(yīng)正視視點(diǎn)pi觀測(cè)時(shí)在目標(biāo)表面上的投影。Oi被假設(shè)為面元Si的中心坐標(biāo)。因此，就是面元中心到相機(jī)中心的中軸矢量。無(wú)人機(jī)在pi視點(diǎn)上的觀測(cè)傾角便可以通過(guò)式（5）計(jì)算獲得

與觀測(cè)目標(biāo)近距正視且平行分布的觀測(cè)視點(diǎn)利于提升深度估計(jì)影像的分辨率，并為建筑整體重建提供更為精細(xì)的紋理信息。因此，相鄰視角中軸矢量在立面貼近觀測(cè)時(shí)近似平行，其間距的穩(wěn)定控制和重疊度的保持，可以確保無(wú)人機(jī)以固定的基線-景深比，連續(xù)覆蓋均勻獲取全表面影像。平行觀測(cè)規(guī)劃過(guò)程如圖1所示。

圖1 規(guī)則建筑平行觀測(cè)Fig.1 Parallel inspection of regular building

（2）不規(guī)則建筑的均勻覆蓋則需要無(wú)人機(jī)的觀測(cè)視點(diǎn)均勻分布在建筑表面的等值曲面上，投影區(qū)域并集就是覆蓋域。將這種觀測(cè)模式稱為包絡(luò)觀測(cè)，其先驗(yàn)信息為目標(biāo)建筑及其周邊環(huán)境的粗網(wǎng)格模型，由初始勘探階段的正射影像重建獲得。

已知三維空間中的粗網(wǎng)格模型M=(V，F(xiàn))，網(wǎng)格頂點(diǎn)索引集V={v1..vNv}∈RNv×3三角面片索引集F={f1…fNf}∈ZNf×3，其中Nv和Nf分別為網(wǎng)格模型的頂點(diǎn)總數(shù)和三角面片總數(shù)。本文目標(biāo)是從連續(xù)的網(wǎng)格表面計(jì)算得一組總數(shù)為Np的離散等距偏移采樣點(diǎn)P∈RNp×3和采樣點(diǎn)對(duì)應(yīng)法向量N∈RNp×3，并從中選出作為無(wú)人機(jī)全覆蓋觀測(cè)不規(guī)則建筑表面的視點(diǎn)。為確保無(wú)人機(jī)觀測(cè)視點(diǎn)的均勻分布，采用規(guī)則遞歸采樣，基于移動(dòng)立方體從偏移距離表示中提取等值面采樣點(diǎn)［24］，并根據(jù)觀測(cè)重疊度均勻化。移動(dòng)立方體單元的大小決定采樣密度，距離參數(shù)d由預(yù)期分辨率約束，采樣點(diǎn)呈格網(wǎng)式均勻分布，適于連接生成符合無(wú)人機(jī)往復(fù)式穩(wěn)定飛行特性的有序路徑。

獲得的采樣點(diǎn)集

其中，ni表示第i個(gè)采樣子區(qū)域的平均法向量。將采樣點(diǎn)位置與法向量賦予相機(jī)作為位姿，所組成的觀測(cè)網(wǎng)就是無(wú)人機(jī)的全覆蓋觀測(cè)候選視點(diǎn)集。將候選視點(diǎn)的光軸向量投射在網(wǎng)格表面上相交，對(duì)于網(wǎng)格面上的交點(diǎn)sj定義投影面積函數(shù)f(pi)，根據(jù)無(wú)人機(jī)載相機(jī)成像模型，觀測(cè)目標(biāo)的有效覆蓋視點(diǎn)可以表示為

式中：S是目標(biāo)不規(guī)則表面建筑的面元集。對(duì)于所有i均滿足，當(dāng)pi=1 時(shí)，建筑表面對(duì)于視點(diǎn)pi可見(jiàn)，sj周圍的投影區(qū)域f(pi)完全在建筑表面。相反，當(dāng)pi=0 則表示從該視點(diǎn)，建筑表面部分可見(jiàn)或不可見(jiàn)，其交點(diǎn)位于建筑周圍的其它對(duì)象上。包絡(luò)觀測(cè)規(guī)劃過(guò)程如圖2所示。

圖2 不規(guī)則建筑包絡(luò)觀測(cè)Fig.2 Surface enveloping of irregular building

1.3 顧及環(huán)境障礙的巡檢航線生成

該節(jié)主要闡述了如何將候選視點(diǎn)轉(zhuǎn)換為一個(gè)連續(xù)貫穿所有視點(diǎn)的任務(wù)路徑，并在避開環(huán)境障礙物的情況下完全覆蓋目標(biāo)建筑。任務(wù)路徑應(yīng)該是連續(xù)且有序的，飛行參數(shù)無(wú)冗余。同時(shí)，運(yùn)動(dòng)軌跡在模式上應(yīng)簡(jiǎn)單（如直線、基本樣條或圓），以確保攝影測(cè)量飛行任務(wù)的可執(zhí)行性和過(guò)程的安全性。航線的生成過(guò)程可以表示為

式中：p0和v0無(wú)人機(jī)在世界坐標(biāo)系中的初始位置和速度，由當(dāng)前狀態(tài)的估計(jì)得到。pd是下一個(gè)期望航點(diǎn)，td是到達(dá)期望航點(diǎn)所需的時(shí)間。對(duì)于t∈[0，td]，f(t)給出了在t時(shí)刻無(wú)人機(jī)的運(yùn)動(dòng)狀態(tài)（位置、方位和速度）。航線的生成應(yīng)規(guī)避執(zhí)行空間非凸區(qū)域潛在的障礙物，因此根據(jù)場(chǎng)景先驗(yàn)信息需要對(duì)p0至pd的飛行過(guò)程添加約束，以避免執(zhí)行航線直穿飛行環(huán)境中的障礙區(qū)域。假定障礙物形狀為矩形，障礙物兩側(cè)可以表示為超平面ai x=bi的一部分，x1～x3的避障約束設(shè)為

該約束也可以推廣到多邊形障礙物。為進(jìn)一步避免無(wú)人機(jī)在離散時(shí)間步長(zhǎng)里“刺穿”障礙物拐角，在任務(wù)規(guī)劃階段可將障礙物邊界沿各向外擴(kuò)vΔt/(2 2 )。通過(guò)雙重約束，可確保無(wú)人機(jī)在航線執(zhí)行過(guò)程中的每一時(shí)間段都位于障礙物的相同一側(cè)。

最后，根據(jù)無(wú)人機(jī)的航線格式要求，將規(guī)劃好的路徑轉(zhuǎn)換為可執(zhí)行的序列航點(diǎn)命令。本研究中部署巡檢任務(wù)的無(wú)人機(jī)支持導(dǎo)入基于空間數(shù)據(jù)交換標(biāo)準(zhǔn)的航點(diǎn)命令操作符，使用基于標(biāo)記語(yǔ)言的結(jié)構(gòu)，其中嵌套的元素和屬性作為控制命令，包含：航點(diǎn)編號(hào)，空間坐標(biāo)，無(wú)人機(jī)朝向，云臺(tái)角度，拍照指令等。

2 建筑立面裂縫病害智能識(shí)別

建筑整體結(jié)構(gòu)表面觀測(cè)數(shù)據(jù)量大，疑似病害多樣，為實(shí)現(xiàn)智能化裂縫識(shí)別，采用深度卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建建筑表面裂縫識(shí)別模型，快速定位待檢測(cè)建筑表面裂縫區(qū)域。針對(duì)裂縫存在區(qū)域，進(jìn)一步通過(guò)計(jì)算機(jī)視覺(jué)方法提取裂縫連通域和骨架線，獲得裂縫長(zhǎng)度及建筑整體的裂縫分布。

2.1 裂縫智能識(shí)別模型構(gòu)建

有效的樣本是訓(xùn)練魯棒識(shí)別模型的前提。本研究針對(duì)建筑立面裂紋病害識(shí)別，構(gòu)建了一套具備泛化性的立面裂紋樣本數(shù)據(jù)集。采用輕小型多旋翼無(wú)人機(jī)，貼近飛行觀測(cè)，獲取了同濟(jì)大學(xué)四平路校區(qū)內(nèi)40多棟典型建筑立面優(yōu)于2mm分辨率的裂縫影像。所采集的建筑立面高度范圍在30m-100m之間，包含磚面、幕墻、外墻保溫、掛飾板等多類型立面，涵蓋清水紅磚、混凝土、裝飾石材、鋼筋框架、幕墻玻璃等多種立面材質(zhì)。將采集的原始影像裁剪為等大子圖塊，對(duì)有無(wú)裂紋標(biāo)注分類，獲得初始正負(fù)樣本各8 000張。通過(guò)全隨機(jī)旋轉(zhuǎn)、亮度調(diào)整和對(duì)比度變換等影像處理操作實(shí)現(xiàn)初始樣本數(shù)據(jù)的內(nèi)部增廣，另在樣本中加入其它數(shù)據(jù)集中的不同裂紋形態(tài)及其它視覺(jué)傳感器獲得的不同分辨率裂紋數(shù)據(jù)，進(jìn)一步拓展樣本數(shù)據(jù)，最終獲得正負(fù)樣本各為20 000張裂縫病害數(shù)據(jù)集，并按照7：2：1劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。

卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的加深通?？梢燥@著提升模型的識(shí)別能力，但隨著網(wǎng)絡(luò)深度的不斷增加梯度消失或梯度爆炸的可能性加大，使網(wǎng)絡(luò)難以訓(xùn)練。因此，本研究選擇了深度殘差網(wǎng)絡(luò)（ResNet-101）作為裂紋分類的訓(xùn)練網(wǎng)絡(luò)，其基于殘差學(xué)習(xí)的恒等映射緩解了網(wǎng)絡(luò)退化，跳躍連接結(jié)構(gòu)提升了恒等變換和反向傳播時(shí)梯度的有效傳遞。該網(wǎng)絡(luò)可以較好地抑制裂縫影像中的背景噪聲，有助于快速篩選出整體建筑的疑似裂紋區(qū)域。裂縫識(shí)別網(wǎng)絡(luò)整體結(jié)構(gòu)由Conv1、Conv2_x、Conv3_x、Conv4_x、Conv5_x5個(gè)層組加上一個(gè)全連接層，共101 層組成。原始輸入影像尺寸為224×224，5 個(gè)層組根據(jù)輸出特征圖的大小變化進(jìn)行劃分，如圖3所示。

圖3 立面裂縫識(shí)別模型網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Network structure of fa?ade crack detection model

2.2 裂縫幾何特征提取

將裂縫識(shí)別網(wǎng)絡(luò)篩選出的立面裂縫區(qū)域影像進(jìn)一步增強(qiáng)，消除孤立點(diǎn)以減少噪聲對(duì)裂縫幾何特征提取精度的影響。為提取裂縫邊緣，需計(jì)算影像梯度幅度用以估計(jì)每一點(diǎn)處的邊緣強(qiáng)度與方向。根據(jù)公式（11）獲得其x方向、y方向的一階偏導(dǎo)數(shù)矩陣，S為Canny算子，即

影像梯度幅值M(x，y)和角度θM如下：

在3×3 鄰域內(nèi)，鄰域中心x與各梯度方向的對(duì)應(yīng)像素兩兩相比，若中心像素為最大值，則保留；反則置0，以此保留局部梯度最大的點(diǎn)，得到細(xì)化的裂縫邊緣，并用雙閾值算法檢測(cè)和連接邊緣。對(duì)邊緣二值圖像，采用連通域搜尋方法開展形態(tài)學(xué)閉運(yùn)算，勾勒連通體的邊界，求出各邊界點(diǎn)坐標(biāo)及最小外包矩形，作為裂縫區(qū)域邊界的劃定。

采用快速并行細(xì)化算法［25］，對(duì)填充后的連通域進(jìn)行骨架線提取，刪除不需要的輪廓點(diǎn)，只保留其骨架點(diǎn)。假設(shè)中心像素點(diǎn)P1的八鄰域點(diǎn)P2-P9順時(shí)針?lè)植荚?×3 鄰域內(nèi)。為了保留骨架的連接，將式（14）～式（15）中條件作為一次迭代執(zhí)行，直至連通域內(nèi)沒(méi)有滿足條件的點(diǎn)為止。

式中：NP1是P1的非0 鄰點(diǎn)數(shù)，SP1是當(dāng)鄰域點(diǎn)以P2，P3……P9，P2為序時(shí)，這些點(diǎn)的值從0到1的變換次數(shù)。

通過(guò)骨架提取可以得到單像素寬度的裂縫骨架。假設(shè)骨架線上相鄰兩像素的坐標(biāo)為(xp，yp)和(xp+1，yp+1)，裂縫實(shí)際長(zhǎng)度為像素距離之和與影像分辨率（Ground Sample Distance，GSD）的乘積，即

3 建筑整體巡檢與裂縫病害識(shí)別驗(yàn)證

3.1 實(shí)驗(yàn)場(chǎng)景與飛行平臺(tái)

本研究的巡檢對(duì)象是同濟(jì)大學(xué)四平路校區(qū)中心區(qū)域的一座5層辦公樓，占地約900m2，如圖4所示。與開闊區(qū)域里的獨(dú)棟建筑不同，該建筑周邊被近似高度的建筑和樹木近距離包圍，相鄰對(duì)象之間形成狹窄的巷道，并在一定高度范圍相互遮擋。該建筑不同區(qū)域有明顯的高度差異，前立面安裝了多個(gè)旋轉(zhuǎn)面板組成的金屬幕墻；背立面主要是白墻、窗戶、空調(diào)外置機(jī)組和多個(gè)垂直排水管道，稀疏分布著表面收縮引起的微裂紋。建筑整體結(jié)構(gòu)豐富、部件多樣、紋理多變。無(wú)論是從周邊觀測(cè)條件還是建筑本身的細(xì)節(jié)和層次，該建筑的整體巡檢及裂紋識(shí)別具有一定的挑戰(zhàn)。

圖4 本研究的實(shí)驗(yàn)場(chǎng)景Fig.4 Experimental field of this study

巡檢任務(wù)航線部署在了精靈PHANTOM 4 RTK 多旋翼無(wú)人機(jī)上，其任務(wù)載荷為DJI FC6310R相機(jī)（CMOS 尺寸13.2mm×8.8mm，有效像素2 千萬(wàn)，24mm 焦距廣角鏡頭），三軸云臺(tái)俯仰角范圍為-90°～30°。任務(wù)載荷特性確保了無(wú)人機(jī)在執(zhí)行細(xì)節(jié)重建任務(wù)時(shí)可以從全方位特定視角觀測(cè)目標(biāo)。此外，當(dāng)與網(wǎng)絡(luò)RTK 服務(wù)或D-RTK 2 基站一起使用時(shí)，機(jī)載RTK可提供厘米級(jí)定位數(shù)據(jù)。

3.2 建筑整體自主巡檢任務(wù)質(zhì)量評(píng)估

該建筑的巡檢是在夏季進(jìn)行的，考慮到樹木的遮擋及無(wú)人機(jī)的安全規(guī)避，整體巡檢采用了平行觀測(cè)（貼近立面）和包絡(luò)觀測(cè)（頂部和底部有效覆蓋）組合的方式。為開展觀測(cè)效果的對(duì)比，另外規(guī)劃了兩種典型的三維重建路徑：五向傾斜觀測(cè)和多軌環(huán)繞觀測(cè)。其重疊度與本方法保持一致，全覆蓋飛行平面在樓頂正上方，兩種航線的飛行高度受限于樓頂最高點(diǎn)（避雷針），設(shè)定時(shí)已達(dá)安全飛行可實(shí)現(xiàn)的最高分辨率，固定傾角按最佳可視性調(diào)整為-45°。各觀測(cè)模式的參數(shù)如表1所示。

表1 建筑巡檢觀測(cè)模式參數(shù)表Tab.1 Building inspection patterns parameters

（1）建筑整體觀測(cè)覆蓋度評(píng)價(jià)

執(zhí)行航線后，利用大疆智圖分別重建三組影像。將航線視點(diǎn)根據(jù)相機(jī)參數(shù)投影到生成的三維模型（網(wǎng)格模型）上，可以獲得模型每個(gè)頂點(diǎn)對(duì)應(yīng)的照片數(shù)量，將該值映射到模型上可以獲得每一種觀測(cè)模式對(duì)該場(chǎng)景的實(shí)際覆蓋度，如圖5所示，部分區(qū)域的照片覆蓋數(shù)量如表2所示。

圖5 不同觀測(cè)模式航線視點(diǎn)及覆蓋度Fig.5 Viewpoints and coverage of different observation patterns

表2 建筑表面部分區(qū)域照片覆蓋情況Tab.2 Coverage status of partial areas of the building surface

三種觀測(cè)模式照片數(shù)量最多的覆蓋區(qū)域都在樓頂。兩種典型觀測(cè)模式對(duì)平坦區(qū)域可以均勻覆蓋，但對(duì)明顯高程起伏的區(qū)域或目標(biāo)的觀測(cè)能力不足，覆蓋立面的影像數(shù)量在采集影像數(shù)量中的占比低于15%；而本方法航線中的觀測(cè)視點(diǎn)全部聚焦在興趣目標(biāo)，建筑主體全覆蓋，立面覆蓋度均勻，如圖5 c中的高亮顯示，立面分辨率達(dá)2.12mm。

（2）整體建筑紋理扭曲分析

建筑整體表面裂縫識(shí)別依賴紋理重建的精細(xì)度，因此需要有效評(píng)估建筑實(shí)景模型的紋理扭曲程度。二維紋理到三維表面的映射是將平面紋理坐標(biāo)和模型三角面片頂點(diǎn)關(guān)聯(lián)的過(guò)程。映射后三角紋理頂點(diǎn)角度的變化可反映紋理的扭曲程度。將扭曲度歸一化映射到模型表面就可以獲得建筑整體表面紋理的扭曲狀態(tài)，0 為無(wú)扭曲，1 為嚴(yán)重扭曲。三種觀測(cè)模式重建的扭曲度如圖6 所示，部分區(qū)域統(tǒng)計(jì)情況如表3所示。

圖6 不同觀測(cè)模式整體重建模型紋理扭曲度Fig.6 The texture distortion of the reconstructed building observed in different patterns

表3 建筑表面部分區(qū)域紋理扭曲情況Tab.3 Texture distortion of partial areas of the building surface

從圖6和表3中可以看出，以典型觀測(cè)模式重建的模型表面存在嚴(yán)重扭曲，難以實(shí)現(xiàn)建筑表面細(xì)節(jié)的表達(dá)，無(wú)法支撐裂紋病害的有效識(shí)別。本方法觀測(cè)重建的結(jié)果中，屋頂紋理扭曲＜0.05 ，立面扭曲≤0.1，而整體建筑底部扭曲較大。底部是任務(wù)中的難觀測(cè)區(qū)域，由于建筑遮擋，需要大角度傾斜觀測(cè)，影像畸變導(dǎo)致該區(qū)域紋理映射精度降低。從紋理的細(xì)節(jié)程度來(lái)看，本方法獲取的立面區(qū)域重建結(jié)果符合裂紋監(jiān)測(cè)的數(shù)據(jù)要求，但需要對(duì)其幾何精度做進(jìn)一步的分析。

（3）立面重建幾何精度分析

表面裂縫的提取精度取決于立面重建精度。為評(píng)估本方法無(wú)人機(jī)影像生成點(diǎn)云幾何精度，使用地基三維激光掃描儀在建筑背立面巷道近距離架站，設(shè)定3mm分辨率，采集了背立面激光點(diǎn)云數(shù)據(jù)作為真值。選用Z+F IMAGER 5016 三維激光掃描儀，在建筑背面巷道架設(shè)了5 個(gè)掃描站，架站高度約1.8m，全站拼接后點(diǎn)云間整體誤差為1.41mm。由于地面架站空間限制和掃描視場(chǎng)遮擋，激光掃描點(diǎn)云有大部分立面缺失。因此，分別從兩組點(diǎn)云選取了三個(gè)沒(méi)有缺失的共同區(qū)域，分別位于背立面頂部A、中部B和底部C，如圖7所示。圖7中的無(wú)人機(jī)生成點(diǎn)云數(shù)量26萬(wàn)，激光掃描點(diǎn)云數(shù)量2 780萬(wàn)。

圖7 建筑背立面無(wú)人機(jī)影像生成點(diǎn)云與激光掃描點(diǎn)云Fig.7 UAV images derived point cloud and the LiDAR point cloud of the back fa?ade

從兩組點(diǎn)云的A、B、C 三個(gè)區(qū)域中分割出等距離、等面積連續(xù)平面點(diǎn)云，截取距離分別為33m，11m，26m。根據(jù)平面度檢測(cè)的思路，通過(guò)最小二乘擬合A、C 區(qū)域水平方向參考平面、B 區(qū)域豎直方向的參考平面。選取各參考平面中軸線，分析兩組點(diǎn)云到參考平面的誤差，如圖8 所示，以獲取建筑頂部、立面和底部的視覺(jué)點(diǎn)云精度水平，圖中橫坐標(biāo)表示截取距離，單位：m；縱坐標(biāo)表示點(diǎn)云離參考平面的距離，單位：mm。

從圖8 中可以看出，當(dāng)以右圖中激光點(diǎn)云離參考平面的距離假設(shè)為A、B、C 三個(gè)區(qū)域平面度的真實(shí)狀態(tài)，在頂部A 區(qū)域，無(wú)人機(jī)生成點(diǎn)云標(biāo)準(zhǔn)差為18.38mm；立面B區(qū)域，標(biāo)準(zhǔn)差為8.04mm；底部C區(qū)域，標(biāo)準(zhǔn)差為68.5mm，大角度傾斜觀測(cè)產(chǎn)生的畸變導(dǎo)致有效匹配減少，視覺(jué)點(diǎn)云幾何精度明顯降低。從覆蓋度、分辨率、紋理扭曲和幾何精度綜合評(píng)估，在背立面裂縫識(shí)別驗(yàn)證中，立面中部區(qū)域整體觀測(cè)質(zhì)量較高，裂縫骨架線的提取精度具有一定的可信度。

圖8 無(wú)人機(jī)影像生成點(diǎn)云與激光點(diǎn)云到參考平面的距離Fig.8 The distance of the two groups of the point cloud from the reference plane

3.3 立面裂縫識(shí)別與提取

根據(jù)建筑整體重建質(zhì)量的評(píng)估，選擇背立面中部區(qū)域開展裂縫識(shí)別驗(yàn)證。將無(wú)人機(jī)獲取的點(diǎn)云向立面方向投影，獲得立面正射影像。根據(jù)分類網(wǎng)絡(luò)輸入要求，將立面正射影像劃分為120×31 子區(qū)域，有序輸入網(wǎng)絡(luò)中識(shí)別，并將識(shí)別為有裂縫的子區(qū)域在立面正射影像中高亮顯示，如圖9所示。

圖9 建筑立面整體裂縫識(shí)別Fig.9 Building fa?ade overall crack detection

裂縫識(shí)別網(wǎng)絡(luò)在TensorFlow框架下構(gòu)建和訓(xùn)練，算力平臺(tái)由NVIDIA TITAN RTX顯卡、128 G內(nèi)存和Intel Core i9-10940X中央處理器組成。訓(xùn)練迭代輪次為400次，單次迭代用時(shí)192s。相比于基于其余5種典型網(wǎng)絡(luò)結(jié)構(gòu)（AlexNet，GoogLeNet，MobileNet-V2，EfficientNet，ShuffleNet）實(shí)現(xiàn)的識(shí)別精度，本研究中基于深度殘差網(wǎng)絡(luò)（ResNet-101）構(gòu)建的裂縫識(shí)別模型準(zhǔn)確率更高，損失率更低，如圖10所示。

圖10 訓(xùn)練迭代周期中的模型準(zhǔn)確率和損失率Fig.10 Training accuracy and loss throughout the iteration cycle

裂縫識(shí)別網(wǎng)絡(luò)在網(wǎng)絡(luò)訓(xùn)練階段準(zhǔn)確率為99.152，召回率為97.381，如表4 所示。在本實(shí)驗(yàn)3 720 個(gè)子區(qū)域的識(shí)別中，判斷為有裂縫的子區(qū)域226，其余區(qū)域判斷為無(wú)裂縫。錯(cuò)分13個(gè)子區(qū)域，漏分14個(gè)子區(qū)域。網(wǎng)絡(luò)識(shí)別精度較高，有效實(shí)現(xiàn)了整體立面的裂縫識(shí)別。

表4 裂縫識(shí)別網(wǎng)絡(luò)分類精度統(tǒng)計(jì)表Tab.4 Classification accuracy of the crack detection network

核查分類結(jié)果發(fā)現(xiàn)，漏分子區(qū)域多存在更細(xì)微的裂縫、位于遮擋弱光處或空調(diào)窗戶占較大比重；而錯(cuò)分子區(qū)域多存在線型陰影、電線、空調(diào)漏水痕跡等具有裂縫相似特征的紋理，如圖11所示。干擾背景的抑制和近似特征的準(zhǔn)確判斷是裂縫分類網(wǎng)絡(luò)調(diào)優(yōu)的關(guān)鍵方向。

圖11 分類網(wǎng)絡(luò)難以識(shí)別的子區(qū)域Fig.11 Problematic subregion in crack detection

根據(jù)2.2 中的步驟，對(duì)裂縫子區(qū)域開展了幾何特征提取，如圖12 所示。立面分辨率在2.1mm～2.4mm，幾何精度在1cm以內(nèi)，因此可以根據(jù)像素?cái)?shù)直接計(jì)算各子區(qū)域裂縫骨架線長(zhǎng)度，如表5所示。

表5 圖12中的子區(qū)域裂縫長(zhǎng)度統(tǒng)計(jì)Tab.5 Crack length statistics of subregions in Fig.12

圖12 各子區(qū)域裂縫提取Fig.12 Crack extraction in each subregion

將提取的裂縫骨架線按照各子區(qū)域的坐標(biāo)寫入同一圖層，映射回建筑三維模型，可實(shí)現(xiàn)裂縫形態(tài)與建筑整體空間位置的一體化表達(dá)，如圖13 所示，為整體建筑裂紋屬性、分布及演變趨勢(shì)的進(jìn)一步分析提供了數(shù)據(jù)支撐。

圖13 建筑健康一體化表達(dá)模型Fig.13 Building health information model

4 結(jié)論與展望

提出了場(chǎng)景信息引導(dǎo)的無(wú)人機(jī)巡檢任務(wù)規(guī)劃方法，開展了建筑立面高精度重建和整體立面裂紋智能識(shí)別，為實(shí)現(xiàn)建筑巡檢到病害識(shí)別的全過(guò)程自動(dòng)化提供了新的思路：

（1）觀測(cè)能力提升巡檢水平。表面病害的有效識(shí)別依賴全覆蓋、高精度、高分辨率、紋理精細(xì)觀測(cè)數(shù)據(jù)。本研究提出的方法可以針對(duì)建筑結(jié)構(gòu)特征和周邊環(huán)境條件，根據(jù)采集需求，有效開展任務(wù)規(guī)劃，為獲取高精度表面觀測(cè)數(shù)據(jù)提供保障。

（2）智能處理助力精準(zhǔn)監(jiān)測(cè)。在高質(zhì)量觀測(cè)的基礎(chǔ)上，構(gòu)建了裂紋智能識(shí)別模型，實(shí)現(xiàn)了整體立面裂紋的高精度快速識(shí)別，支撐了立面裂紋形態(tài)及其分布的有效分析。

（3）一體化表達(dá)支撐健康建檔。建筑重建與裂紋識(shí)別相結(jié)合，將建筑信息與病害屬性集成，可為建筑健康建檔和全生命周期監(jiān)測(cè)更新防護(hù)提供基礎(chǔ)數(shù)據(jù)支撐。

利用無(wú)人機(jī)高精度覆蓋巡檢數(shù)據(jù)，實(shí)現(xiàn)了建筑整體裂紋區(qū)域的快速識(shí)別與提取?；诜诸惥W(wǎng)絡(luò)的子區(qū)域識(shí)別提取，由于對(duì)裂紋的拆分再還原，會(huì)影響裂紋形態(tài)的高精度還原及走向的準(zhǔn)確判斷。因此，構(gòu)建識(shí)別與提取一體（骨架線+寬度）的穩(wěn)健輕量化學(xué)習(xí)模型，開展多任務(wù)載荷協(xié)同監(jiān)測(cè)，提升健康狀態(tài)指標(biāo)多維度表征水平是下一階段研究的重點(diǎn)。

作者貢獻(xiàn)聲明：

劉春：論文的構(gòu)思者及負(fù)責(zé)人，指導(dǎo)實(shí)驗(yàn)開展、論文寫作與修改。

艾克然木·艾克拜爾：負(fù)責(zé)實(shí)驗(yàn)設(shè)計(jì)和實(shí)施，完成數(shù)據(jù)分析與論文初稿的寫作。

蔡天池：負(fù)責(zé)實(shí)驗(yàn)設(shè)計(jì)和試驗(yàn)結(jié)果分析，參與論文寫作與繪圖。