焦 贊

基于TOF原理的橋梁病害檢測與三維可視化研究

焦 贊

（同濟大學(xué)，上海 200092）

以無人機結(jié)合深度學(xué)習(xí)對橋梁進行病害檢測和識別的研究越來越多，也越來越成熟，然而大多數(shù)研究僅停留在病害表層二維圖像分析處理上，對重點病害的深度信息和三維可視化的相關(guān)研究較少。該文提出了一種采用基于TOF原理的Azure Kinect深度相機對橋梁重點病害進行檢測并獲取深度信息的方法，通過對深度相機采集到的原始深度圖像保邊去噪和圖像增強得到病害深度圖像，以裂縫病害為例通過Revit建模軟件二次開發(fā)重構(gòu)裂縫病害三維模型并結(jié)合病害定位信息整合在橋梁可視化模型上。深度信息的獲取與病害三維重構(gòu)將為橋梁病害檢測工作提供直觀便捷的新方式，有利于提高橋梁病害信息的展示效果和橋梁行業(yè)的信息化水平。

橋梁病害；可視化；深度相機；三維重構(gòu)

由于中國橋梁大規(guī)模的建成，橋梁的管理和維護的重要性日益凸顯，對橋梁病害的檢測、識別、管理系統(tǒng)和可視化這些方面的研究越來越多。目前隨著計算技術(shù)的快速發(fā)展，特別是2012年卷積神經(jīng)網(wǎng)絡(luò)（CNN）的興起,基于深度學(xué)習(xí)的病害識別研究日趨火熱，但是這些研究大多是對病害進行二維圖像檢測識別，利用自然光（被動式）的計算機視覺技術(shù)，部分區(qū)域的橋梁病害受到外界環(huán)境影響較大以致識別準(zhǔn)確率低，也無法反映部分病害的深度信息，不利于提高橋梁病害信息的準(zhǔn)確獲取。而目前基于主動視覺技術(shù)的結(jié)構(gòu)光法和飛行時間法（TOF）能夠獲取深度數(shù)據(jù)，并通過這些數(shù)據(jù)進行三維可視化模型構(gòu)建，為后續(xù)病害處理（如裂縫填補工作等）提供信息支持。

基于TOF原理的橋梁病害檢測與三維可視化病害模型重構(gòu)，除了可以單獨作為一種檢測手段，還可以與基于深度學(xué)習(xí)的無人機病害檢測相結(jié)合。因為后者檢測識別的速度較快，識別范圍廣，幾乎實時監(jiān)測并整合到整橋病害信息系統(tǒng)，是對橋梁整體而言較為全面的檢測手段。而前者作為一種能夠較為全面反映病害信息的重點病害檢測手段，二者可以在橋梁整體快速檢測和重要病害全面信息檢測之間相互補充，共同提高橋梁病害檢測的信息化水平。

1 深度相機Azure Kinect簡介

自從微軟第一代即Kinect v1出現(xiàn)以來，深度相機技術(shù)在各方面得到了廣泛應(yīng)用，相比較一般RGB相機，在功能上添加了一個深度測量，通過RGB彩色圖像和深度圖像，結(jié)合深度圖像處理算法，從而更方便準(zhǔn)確的感知周圍的環(huán)境及變化。

Azure Kinect（微軟第四代）深度相機采用調(diào)幅連續(xù)波時差測距原理。該相機將近紅外(NIR)頻譜中的調(diào)制光投射到場景中。然后，它會記錄光線從相機傳播到場景，然后從場景返回到相機所花費的間接時間測量值。處理這些測量值可以生成深度圖，深度圖像每個像素的一組z坐標(biāo)值，以毫米為單位。

Azure Kinect提供了深度、視覺、聲音、方向四類傳感器SDK接口，可以不同程度的訪問不同傳感器的底層數(shù)據(jù)。主要結(jié)構(gòu)包括:1）100萬像素深度傳感器，具有寬、窄視場角選項;2）7麥克風(fēng);3）1200萬像素RGB攝像頭，與深度圖像匹配的彩色圖像;4）加速計和陀螺儀(IMU)，傳感器方向和空間跟蹤。

2 Kinect標(biāo)定

為確定圖像上某點和其實際位置兩個坐標(biāo)系的轉(zhuǎn)換關(guān)系，必須通過相機成像原理建立幾何模型來分析，這些模型參數(shù)（包括內(nèi)參、外參、畸變參數(shù)）即相機參數(shù)。由于相機本身制造誤差和器件精度原因，一般數(shù)情況下需要通過棋盤法實地實驗并結(jié)合有效的算法才能得到相關(guān)參數(shù)，相機標(biāo)定目標(biāo)即獲取這些相機參數(shù)。

相機參數(shù)的標(biāo)定非常重要，因為標(biāo)定結(jié)果的精度直接影響后續(xù)依靠深度圖像進行建立病害三維模型的準(zhǔn)確性。標(biāo)定完成后，通過得到的標(biāo)定的幾何模型參數(shù)，建立原深度圖像與畸變校正圖像的坐標(biāo)變換矩陣，為深度圖像坐標(biāo)與橋梁病害實際坐標(biāo)間確定變換關(guān)系，實現(xiàn)準(zhǔn)確定位和病害模型重構(gòu)。

本次采用張正友相機標(biāo)定法，打印一張棋盤格貼在目標(biāo)病害底部所在平面上，從同一高度不同角度拍攝數(shù)張圖像，在Matlab應(yīng)用程序中找到Camera Calibration，使用這個工具箱自動檢測，獲取標(biāo)定結(jié)果（表1）。

表1 相機標(biāo)定結(jié)果

3 圖像預(yù)處理

Kinect不是十分精密的橋梁病害三維掃描檢測專用設(shè)備，由于標(biāo)定不是十分準(zhǔn)確的，或圖像采集的環(huán)境條件（特別是光照因素）也會造成一定的誤差，被測病害內(nèi)部一些區(qū)域無法反射光線或者光線無法到達，以及混凝土表面背景等因素，所采集的原始圖像存在許多噪點，直接運用一般不能滿足橋梁病害檢測的要求，因此對原始數(shù)據(jù)做預(yù)處理操作是非常必要的。

3.1 兩個相機采集圖像對齊操作

RGB相機的分辨率是3840x2160像素，深度照相機的分辨率是1024x1024像素，二者攝像頭的位置也不是完全一致的，所以二者采集到的圖像不是完全對齊的，也無法直接使用這些數(shù)據(jù)，否則會給病害三維重構(gòu)帶來難以避免的錯誤。因此，預(yù)處理首先要通過分析攝像機成像原理，結(jié)合二者相對固定距離，用一個剛體變換矩陣表示二者坐標(biāo)系轉(zhuǎn)換[1]，由標(biāo)定結(jié)果參數(shù)，得到二者坐標(biāo)直接轉(zhuǎn)換關(guān)系，就可以深度圖像深度像素與RGB圖像像素之間一一對齊。

3.2 空洞填充與邊緣去噪

對于深度圖像空洞修復(fù)，利用深度圖的集群特性，用對應(yīng)灰度直方圖取得閾值范圍，并將圖像二值化生成掩膜，再使用改進算法深度擴充[2]。對于噪點去除過程需要對較強的邊緣性信息予以保留，采用一種利用已經(jīng)對齊的兩個相機采集的圖像，改進的雙邊濾波算法來有效平滑圖像[3]。

3.3 圖像增強

濾波之后的深度圖像，可能存在病害如裂縫，其深度淺或者寬度小，與周圍無病害混凝土的灰度值對比不是很明顯，為了更好區(qū)分并突出病害，避免光照不均以及背景影響，所以還需要對深度圖像做增強處理。使用拉普拉斯增強和LBP算子特性提取[4]，對圖像邊緣非常敏感，可以提高相對背景對比度，使圖像的背景灰度值幾近0，病害處深度信息依然存在，基本排除背景對建模影響（圖1）。

圖1 裂縫深度圖像預(yù)處理前后

4 病害三維模型構(gòu)建

病害三維坐標(biāo)相關(guān)系數(shù)計算，由Kinect標(biāo)定得到的為確定空間病害某點的三維坐標(biāo)與其在圖像中對應(yīng)像素點坐標(biāo)的數(shù)學(xué)關(guān)系，以確定病害圖像所在模型表面位置、圖像像素點間與實際病害點間擴大比例、圖像灰度值與實際深度值的擴大比例。

經(jīng)過圖像預(yù)處理之后的深度圖像，可以使用Dynamo可視化編程建模，將病害模型展示在Revit軟件中，實現(xiàn)可視化。功能實現(xiàn)如下:通過通過路徑批量獲取文件，加載圖像；將原圖像在x、y兩個方向上等距劃分為100*100網(wǎng)格，形成xy平面坐標(biāo)點集（裂縫底面網(wǎng)格）并根據(jù)點間擴大比例放縮；然后返回指定網(wǎng)格位置灰度值，根據(jù)深度值擴大比例使xy平面網(wǎng)絡(luò)各點沿z軸方向平移，形成裂縫深度曲面表面各點坐標(biāo)點集；根據(jù)兩大坐標(biāo)點集生成對應(yīng)平面和曲面，然后將兩個平面閉合形成對應(yīng)實體病害模型；根據(jù)病害圖像實際位置將其移動到Revit模型對應(yīng)位置。（圖2）

圖2 裂縫病害深度圖像、裂縫三維曲面及其細節(jié)（從左到右）

5 結(jié)論

本文研究了使用基于TOF原理的Kinect深度相機對橋梁病害進行檢測與并利用Dynamo可視化編程進行基于預(yù)處理后的病害深度圖像的病害三維可視化兩方面內(nèi)容，先后通過深度相機簡介、Kinect標(biāo)定、圖像預(yù)處理，最后進行病害（以裂縫為例）三維模型重構(gòu)并定位，初步驗證了該方法可以完成病害檢測和模型構(gòu)建兩方面的任務(wù)，為橋梁運維工作提供了一個病害三維可視化方案。由于包含深度信息，大大提高了病害檢測信息密度和可視化程度，有利于提高橋梁行業(yè)信息化程度和BIM技術(shù)的進一步應(yīng)用。

[1]夏文玲,顧照鵬,楊唐勝.實時三維重建算法的實現(xiàn)——基于Kinect與單目視覺SLAM的三維重建[J].計算機工程與應(yīng)用,2014,50(24):199-203.

[2]李應(yīng)彬,馮杰,張華熊,李晨勤.基于改進雙邊濾波的Kinect深度圖像空洞修復(fù)算法研究[J].工業(yè)控制計算機,2013,26(11):105-106+109.

[3]杜海洋. 基于Kinect的三維重建與動作交互技術(shù)研究[D].北京交通大學(xué),2016.

[4]Panning,A. K. Al-Hamadi,R. Niese,B. Michaelis. Facial expressiOn recOgnitiOn based On Haar-like feature detectiOn[J]. Pattern RecOgnitiOn and Image Analysis,2008,18(3).

焦贊（1995.01- ），男，漢族，籍貫：河南省許昌，學(xué)歷：研究生在讀，單位：同濟大學(xué)，研究方向：橋梁病害智能檢測與可視化。

S210

A

1007-6344（2021）04-0274-02