李秋潔，童岳凱，薛玉璽，徐志強，李相程，劉旭

(南京林業(yè)大學機械電子工程學院，南京 210037)

由于溫室效應、人為干擾等因素的影響，行道樹病蟲害日益增多，致使行道樹枯萎或死亡，不僅嚴重影響行道樹綠化與美化效果，而且直接影響城市生態(tài)環(huán)境與居民生活，成為園林綠化精細化管理的制約因素[1-2]。我國行道樹防治藥械主要采用手動噴霧器、踏板式噴霧器等人力藥械，擔架式噴霧機、背負式噴霧噴粉機等部分機動植保機械，部分地區(qū)采用高射程噴霧機。總體來說，操作人員勞動強度大、作業(yè)效率低。由于行道樹間距較大，連續(xù)噴霧施藥方式使得大量藥液流失到地面或揮發(fā)到空氣中，嚴重污染城市環(huán)境，影響居民生活工作[3]。

對靶施藥技術采用紅外[4]、超聲波[5]、激光[6]、激光雷達(light detection and ranging，LiDAR)[7]、攝像頭[8]實時傳感器在線探測靶標信息，控制噴頭進行有樹噴藥樹間隙不噴的對靶噴霧，以及根據(jù)靶標大小、形狀、體積調整施藥劑量的變量施藥[9]。目前，對靶施藥技術已在果園病蟲害防治中取得成功應用，與連續(xù)噴霧施藥方式相比，可節(jié)省20%～75%的藥液，并有效提高藥液在樹木上的沉積率，降低農藥殘留[10-11]。

在眾多傳感器中，激光雷達能夠快速獲取樹木三維點云數(shù)據(jù)，實現(xiàn)高精度高效的靶標檢測，廣泛應用于果園對靶施藥[7]。城市街道包含建筑物、路燈、電線桿、標志牌等多種地物目標，靶標識別難度增加，向對靶施藥技術提出了更高的要求。當前行道樹點云分割方法主要有兩類：一類方法將點云數(shù)據(jù)劃分為多個格網(wǎng)或體素，作為基本數(shù)據(jù)處理單元，然后分析地物目標的形貌，設計用于分割的特征和規(guī)則，逐步過濾非行道樹點云[12-13]；另一類方法直接處理原始點云數(shù)據(jù)，從每個點的鄰域中提取多個特征，訓練一個二分類器識別行道樹點云[14-15]。已有方法由人工設計分割/分類特征，采用聚類、區(qū)域增長等手段提取出單株行道樹，存在特征表達能力弱、難以描述地物復雜變化以及建模能力弱等問題。

行道樹靶標點云分割是一個點云實例分割問題，需要從街道點云數(shù)據(jù)中分割出每一棵行道樹靶標點云數(shù)據(jù)。目前，有眾多基于深度學習的端到端點云實例分割算法，如SGPN[16]、JSIS3D[17]、3D-BoNet[18]，這類方法無須人工設計特征或規(guī)則，以原始點云為輸入，自動挖掘多層次點云特征，輸出點云實例分割模型。然而，受點云離散化程度高和不均勻分布影響，上述方法的時間/空間復雜度較高，不滿足對靶施藥的靶標實時檢測需求。另一類方法先將點云無損轉換為圖像，再利用時間/空間復雜度較低的卷積神經網(wǎng)絡(convolutional neural net，CNN)、融合MobileNet特征提取器的Mask RCNN 等端到端圖像實例分割算法建立點云實例分割模型，如PointIT[19]、SqueezeSeg[20]。這類方法在KITTI自動駕駛數(shù)據(jù)集[21]上取得了不錯的分割結果，然而，它們處理的是三維LiDAR采集的點云數(shù)據(jù)，而對靶施藥技術采用二維LiDAR構建移動激光掃描(mobile laser scanning，MLS)測量系統(tǒng)，因此，這類方法不適用于行道樹靶標點云分割。

針對上述問題，本研究基于移動激光掃描采集的街道點云數(shù)據(jù)，將其無損轉換為三通道圖像，采用實時圖像實例分割算法建立行道樹靶標分割模型，實現(xiàn)行道樹靶標點云的快速準確分割。

1 研究方法

本研究方法包括街道點云采集、街道點云轉換和行道樹點云分割3個步驟。首先，使用基于二維LiDAR的MLS測量系統(tǒng)采集街道三維點云數(shù)據(jù)；然后，建立由LiDAR掃描線組成的包含深度、回波強度和回波次數(shù)信息的3通道圖像；最后，采用YOLACT圖像實例分割算法在圖像切片上訓練行道樹靶標分割模型。

1.1 街道點云采集

采用Hokuyo公司生產的二維LiDAR UTM-30LX-EW，該款LiDAR根據(jù)發(fā)射激光束和目標反射回波的時間，測量目標與LiDAR的距離，最大測量距離為60 m。如果發(fā)射激光束擊中目標邊緣，會反射一個以上的回波[22]，UTM-30LX-EW記錄前3次回波的距離r1、r2、r3(4字節(jié)無符號整數(shù)，mm)和強度I1、I2、I3(2字節(jié)無符號整數(shù)，無量綱)。若沒有接收到回波，距離和強度值為0。

UTM-30LX-EW掃描角度范圍為270°，每次掃描獲取目標的一條輪廓線，又稱為掃描線。相鄰掃描線的時間間隔Δt為25 ms，同一條掃描線上相鄰激光束的角度增量Δθ為0.25°，每條掃描線包含1 081 個激光束的測量數(shù)據(jù)。

實驗采用文獻[14]描述的MLS測量系統(tǒng)，UTM-30LX-EW搭載在智能小車上，掃描平面與車輛行駛方向垂直，掃描中心線平行于地面，指向被測目標。車輪上安裝有測速編碼器，采用比例-微分-積分(proportion-integral-differential，PID)算法控制車輪轉速，控制小車沿道路直線勻速行駛。

建立坐標系如圖1所示，LiDAR起始位置為原點，x軸為小車行駛方向，y軸為深度方向，z軸垂直地面向上。MLS 測量點可以用掃描線序號和掃描線內測量點的序號進行索引，第i個掃描線內第j個測量點的三維坐標為：

圖1 MLS測量系統(tǒng)的坐標系Fig. 1 Coordinate system of the MLS measurement system

(1)

式中：v為車速；r1(i,j)為第i個掃描線中第j個測量點的一次回波距離；θ(j)為掃描線內第j個測量點的掃描角度，范圍為[-135°,135°]。

智能小車于2021年5月沿(32°04′53.5″N，118°49′02.2″E)一段長300 m的街道“U”形行駛，采集街道兩側數(shù)據(jù)，如圖2所示。采集場景包含121棵行道樹和建筑、車道、人行道、自行車、行人、路燈、標志牌、柵欄、長椅、垃圾桶、灌木、草皮、花壇等地物目標。

圖2 數(shù)據(jù)采集地Fig. 2 Location of data collection

由于UTM-30LX-EW存在90°盲區(qū)，只能完整采集街道單側信息，因此，僅保留y軸正半軸街道點云數(shù)據(jù)，對應掃描角度范圍[-90°，90°]。最終得到60 000條掃描線，每條掃描線包含720個測量點，共有43 200 000個測量點。街道三維點云數(shù)據(jù)如圖3所示。為方便觀看，采用高度信息(z坐標值)對點云進行染色處理。

圖3 街道三維點云Fig. 3 3D point cloud of the street

1.2 街道點云轉換

基于二維LiDAR的MLS點云數(shù)據(jù)可以用測量點的掃描線序號i和掃描線內序號j進行規(guī)則格網(wǎng)索引，因此，可將MLS點云數(shù)據(jù)無損轉換為圖像格式，掃描線對應圖像中的一列，掃描線內測量點對應一個像素。

彩色圖像僅包含R、G、B 3個通道，而LiDAR測量點信息包括三維坐標(x,y,z)、前3次回波的距離r1、r2、r3和強度I1、I2、I3，需要從中選擇最能區(qū)分行道樹和其他地物的3個點云數(shù)據(jù)。采用測量點的深度y、一次回波強度I1和回波次數(shù)n分別構建圖像R、G、B通道。

1)深度y：測量點的x坐標刻畫了它在街道長度方向上的位置，而行道樹靶標可能位于一條街道的任何位置。此外，x坐標與像素列號(即掃描線序號i)成正比，其信息已經包含在圖像中，因此，不使用x坐標。測量點的z坐標刻畫了它的高度，行道樹的高度有一定范圍，因此，z坐標有助于行道樹靶標檢測。由于行道樹垂直地面生長，其點云z坐標與像素行號(即掃描線內序號j)有較強的相關性，為避免冗余，也不使用z坐標。測量點的y坐標刻畫了它在街道深度方向上的位置，由于行道樹的種植位置存在特定范圍，y坐標有助于行道樹靶標檢測。此外，行道樹點云y坐標與像素行號不相關，與像素列號相關性較弱，因此，使用y坐標構建圖像的一個通道。

2)一次回波強度I1：回波強度與目標的光譜反射特性有關，可以作為區(qū)分行道樹和其他地物目標的一種手段[23]。前3次回波中，選取最先返回的一次回波的強度I1表征行道樹的光譜反射特性。

3)回波次數(shù)n：激光束擊中樹葉邊緣時會反射多次回波，因此，可以利用回波次數(shù)濾除表面無空隙的地物目標[24]。原始測量點數(shù)據(jù)不記錄回波次數(shù)，可根據(jù)前3次回波的距離/強度值是否為0來統(tǒng)計測量點的回波次數(shù)n。

采用最大最小歸一化將深度y、一次回波強度I1和回波次數(shù)n的取值范圍變換到0～255。由MLS點云數(shù)據(jù)構建的2幅30 000×720彩色圖像及其包含的3個單通道圖像見圖4。

圖4 街道點云圖像Fig. 4 Images of the street point clouds

1.3 行道樹點云分割

1.3.1 行道樹數(shù)據(jù)集構建

原始街道點云圖像太寬，無法直接處理，對其切片，得到的每幅圖像包含1或2棵行道樹，再采用水平翻轉進行圖像擴充，最終得到1 948張行道樹圖像。

使用在線圖像標注工具Labelme標注行道樹，沿行道樹輪廓取點構成一個多邊形，如圖5所示。標注完成后產生一個后綴為json的掩膜文件，里面記錄了每個行道樹的多邊形頂點信息。

圖5 行道樹靶標標注Fig. 5 Annotation of street tree target

1.3.2 行道樹分割模型建立

采用YOLACT算法訓練行道樹靶標分割模型。YOLACT將圖像實例分割劃分為掩膜原型生成和掩膜系數(shù)預測兩個并行子任務，首次實現(xiàn)了實時圖像實例分割[25]。

算法框架如圖6所示。

圖6 YOLACT算法框架Fig. 6 Annotation of street tree target

具體步驟如下：

1)特征提取。將輸入圖像調整至550×550，采用特征金字塔網(wǎng)絡(feature pyramid networks，F(xiàn)PN)提取圖像特征。

2)掩膜原型生成分支。采用全卷積網(wǎng)絡(fully convolutional network，F(xiàn)CN)，對整幅圖像產生k個掩膜原型。

3)掩膜系數(shù)預測分支。生成多個大小和寬高比不同的錨框(候選行道樹區(qū)域)，對每個錨框，采用全連接層(fully connected layer，F(xiàn)C)預測它的類別、邊界框系數(shù)和k個掩膜系數(shù)，然后采用快速非極大值抑制(non-maximum suppression，NMS)從全部錨框中篩選出行道樹實例。

4)掩膜融合。對每個行道樹實例，采用對應的掩膜系數(shù)線性組合k個掩膜原型，再經過Sigmoid函數(shù)運算、裁剪、閾值化等處理，得到每個行道樹實例的最終掩膜。

2 試 驗

2.1 試驗平臺

試驗采用開源深度學習目標檢測工具箱MMDetection實現(xiàn)YOLACT算法，建立行道樹靶標點云分割模型，實驗平臺配置參數(shù)見表1。

表1 試驗平臺配置Table 1 Configuration of experiment platform

2.2 行道樹分割模型訓練

將1 948張圖像按照6∶2∶2的比例劃分出訓練集(1 176張，共1 764棵行道樹)、驗證集(386張，共579棵行道樹)和測試集(386張，共579棵行道樹)。輸入訓練集和驗證集的圖像和對應json掩膜文件，訓練行道樹分割模型。設置掩膜原型個數(shù)k=32。8 091次迭代的損失曲線見圖7，約5 000次迭代后損失趨于收斂。

圖7 損失曲線Fig. 7 Loss curve

2.3 行道樹分割模型測試

文獻[14]中使用與本研究同樣基于二維LiDAR的MLS測量系統(tǒng)獲取街道點云數(shù)據(jù)，然后訓練2個二分類器分別檢測出樹冠和樹干點云，最后在樹干分割的基礎上提取完整的行道樹點云數(shù)據(jù)。

將本研究方法與文獻[14]進行對比，令檢測框與真值框的交并比(intersection over union，IoU)閾值為0.5～0.9，以0.05為步長增加，若檢測框與真值框的IoU大于閾值，判定為正確檢測出行道樹，否則，判定為錯誤檢出。統(tǒng)計386張測試圖像上各IoU閾值下行道樹分割的精確率(precision)、召回率(recall)和F1分數(shù)，以及掃描線平均處理時間。此外，選用兩階段圖像實例分割算法Mask R-CNN訓練行道樹分割模型，與單階段圖像實例分割算法YOLACT進行對比。試驗結果如表2所示，可以看到，本研究方法的分割精度和效率顯著優(yōu)于文獻[14]，在全部IoU閾值下的平均精確率為0.973、平均召回率為0.985、平均F1分數(shù)為0.979、掃描線平均處理時間為12.903 ms，小于25 ms的掃描線周期，滿足靶標實時檢測需求。Mask R-CNN算法得到的行道樹分割模型在精度上比YOLACT稍好，但處理時間為YOLACT的3倍，大于掃描線周期，因此，選擇YOLACT算法訓練行道樹分割模型更加合適。

表2 行道樹分割模型對比Table 2 Comparison of street tree segmentation models

本研究方法的部分分割結果見圖8。左邊是測試結果，右邊是真值?？梢钥吹?，樹冠不存在粘連和遮擋時，樹冠輪廓分割較為完整，如圖8a右樹、圖8c右樹、圖8d左樹、圖8f；樹冠被路燈、行人等遮擋時，被遮擋部分能被正確分割，如圖8a左樹、圖8b、圖8c左樹、圖8e、圖8g；樹冠之間存在粘連時，粘連部分的分割不夠準確，如圖8d右樹、圖8g、圖8h、圖8i。

圖8 行道樹分割結果Fig. 8 Results of street tree segmentation

3 結 論

1)針對復雜城區(qū)環(huán)境下行道樹靶標點云檢測難度較大的問題，提出一種基于YOLACT的行道樹點云分割方法，將MLS系統(tǒng)采集的街道點云數(shù)據(jù)無損轉化為包含深度、回波強度和回波次數(shù)信息的三通道圖像，采用實時圖像實例分割算法YOLACT訓練行道樹靶標分割模型。

2)檢測框與真值框的交并比閾值在0.5～0.9以0.05為步長變化時，得到的測試集行道樹分割平均精確率為0.973，平均召回率為0.985，平均F1分數(shù)為0.979，平均每條LiDAR掃描線的處理時間是12.903 ms。實驗結果表明，提出的方法能夠快速準確地分割出行道樹靶標，分割精度和效率明顯優(yōu)于現(xiàn)有方法。