摘" 要： 點云分析一直以來都是一個具有挑戰(zhàn)性的問題，主要是因為點云數(shù)據(jù)的非結(jié)構(gòu)化特性所致。為了解決這個問題，RepSurf基于PointNet++提出了一種多曲面表示局部點云特征的方法。然而，RepSurf中的集合抽象層僅通過一個MLP學(xué)習(xí)局部特征，這遠(yuǎn)遠(yuǎn)不夠。為此，引入了兩個模塊，即倒置殘差模塊和注意力模塊。這兩個簡單但有效的即插即用模塊可以更好地學(xué)習(xí)局部特征。倒置殘差模塊通過添加更多的MLP層，豐富了特征提取過程；而注意力模塊則包括通道注意力和空間注意力，更加關(guān)注關(guān)鍵點特征的學(xué)習(xí)，使得學(xué)習(xí)到的特征更具代表性。在公共基準(zhǔn)數(shù)據(jù)集S3DIS上評估了文中的方法，在語義分割任務(wù)中mIoU指標(biāo)達(dá)到72.3%，比RepSurf高出2.5%。

關(guān)鍵詞： 點云； 語義分割； 倒置殘差； 注意力； RepSurf； MLP

中圖分類號： TN919?34； TP391.41" " " " " " " " " " 文獻(xiàn)標(biāo)識碼： A" " " " " " " " "文章編號： 1004?373X（2024）05?0143?05

Point cloud semantic segmentation based on improved RepSurf

GAO Xuezhuang1， YU Long1， TIAN Shengwei1， YI Yangyang1， ZHANG Bo2， LUO Peixin3

（1. School of Software， Xinjiang University， Urumqi 830000， China; 2. Xinjiang Zichang Software Co.， Ltd.， Urumqi 830000， China;

3. China Railway Urumqi Bureau Group Co.， Ltd.， Urumqi 830000， China）

Abstract： Due to the unstructured nature of point cloud data， point cloud analysis has always been challengeable. In view of this， RepSurf proposes an Umbrella RepSurf method for representing local point cloud features based on PointNet++. However， the set abstraction layer in RepSurf learns local features by only one MLP （multilayer perceptron）， which is far from sufficient. Therefore， two modules， namely the inverted residual module and the attention module， are proposed. These two simple but effective plug?and?play modules can be used to learn the local features better. The inverted residual module enriches the feature extraction process by adding more MLP layers， while the attention module， including channel attention and spatial attention， pays more attention to the learning of key point features， which makes the learned features more representative. The proposed approach is evaluated on the public benchmark dataset S3DIS. It achieves an mIoU of 72.3% in the task of semantic segmentation， which is 2.5% higher than that of RepSurf.

Keywords： point cloud; semantic segmentation; inverted residual; attention; RepSurf; MLP

0" 引" 言

點云數(shù)據(jù)因其在自動駕駛、增強(qiáng)現(xiàn)實和機(jī)器人等各種應(yīng)用中的優(yōu)勢而引起了相當(dāng)大的關(guān)注。然而，直接從原始點云中學(xué)習(xí)存在著一些關(guān)鍵挑戰(zhàn)。盡管深度卷積網(wǎng)絡(luò)在結(jié)構(gòu)化的2D計算機(jī)視覺任務(wù)中表現(xiàn)出了出色的性能，但它們無法直接應(yīng)用于這種非結(jié)構(gòu)化的數(shù)據(jù)。

為了處理不規(guī)則的點云數(shù)據(jù)，PointNet[1]這一開創(chuàng)性工作采用了逐點多層感知器（MLP），通過獨立學(xué)習(xí)每個點，并利用對稱函數(shù)來獲取全局信息。PointNet++[2]進(jìn)一步引入了集合抽象來捕獲點云的局部信息。然而，這兩種方法都是基于獨立點的學(xué)習(xí)，并沒有充分考慮到局部形狀感知的問題。

RepSurf[3]基于PointNet++提出了一種多曲面方法，用于表示局部點云特征，然而在S3DIS（Stanford Largescale 3D Indoor Spaces）這樣的大規(guī)模數(shù)據(jù)集上，RepSurf中的集合抽象僅通過一個MLP層學(xué)習(xí)局部特征是遠(yuǎn)遠(yuǎn)不夠的。觀察到當(dāng)前流行的點云分析模型比原始網(wǎng)絡(luò)使用了注意力模塊和更多的MLP層。因此，將注意力模塊和更多的MLP層有效地引入RepSurf是一個值得研究的課題。本文基于RepSurf，改進(jìn)了數(shù)據(jù)增強(qiáng)和優(yōu)化技術(shù)，并添加了倒殘差模塊和注意力殘差模塊，在S3DIS數(shù)據(jù)集上取得了出色的效果。

本文主要有以下改進(jìn)：

1） 注意力殘差模塊。在集合抽象層的特征學(xué)習(xí)中引入了注意力殘差模塊，包括通道注意力模塊和空間注意力模塊，在S3DIS數(shù)據(jù)集的語義分割任務(wù)中，mIoU指標(biāo)提升了1.01%。

2） 倒置殘差模塊。添加了倒置殘差模塊，將其添加到集合抽象層中的MLP后。在S3DIS數(shù)據(jù)集的語義分割任務(wù)中，mIoU指標(biāo)提升了1.75%。

3） 改進(jìn)數(shù)據(jù)增強(qiáng)和優(yōu)化技術(shù)。本文對數(shù)據(jù)增強(qiáng)和訓(xùn)練策略進(jìn)行了研究，通過使用旋轉(zhuǎn)增強(qiáng)數(shù)據(jù)和余弦衰減的學(xué)習(xí)率，在S3DIS數(shù)據(jù)集的語義分割任務(wù)中，mIoU指標(biāo)提升了0.69%。

1" 相關(guān)工作

1.1" 基于多視圖的方法

基于多視圖的方法通常將不同角度的點云投影到二維平面上，然后將這些特征進(jìn)行融合以得到全局表示。MVCNN[4]是一項開創(chuàng)性的工作，它簡單地將多視圖特征進(jìn)行最大池化操作，以獲得一個全局描述符。然而，最大池化只保留特定視圖中的最大元素，導(dǎo)致了信息的丟失。MHBN[5]則考慮到補(bǔ)丁之間的相似性度量，采用雙線性池化來獲取全局表示。文獻(xiàn)[6]首次利用關(guān)系網(wǎng)絡(luò)和一組視圖之間的相互關(guān)系，將這些視圖聚合起來，獲得具有區(qū)別性的3D對象表示。View?GCN[7]中使用了有向圖，將多個視圖視為圖中的節(jié)點。核心層由局部圖卷積、非局部消息傳遞和選擇性視圖采樣組成。最后，將各層級的最大池化節(jié)點特征串聯(lián)起來，形成全局形狀描述符。當(dāng)三維視圖被投影到二維平面上時，其幾何信息會丟失，如何有效地整合不同視圖的特征仍然是一個具有挑戰(zhàn)性的問題。

1.2" 基于體素的方法

VoxNet[8]將點云表示為體積元素的網(wǎng)格，實現(xiàn)了相對快速的三維物體識別。3D ShapeNet[9]將三維樣本的形狀表示為三維體素二元變量的概率分布數(shù)據(jù)，并利用3D?CNN獲取三維樣本的全局特征表示。PointGrid[10]利用3D?CNN處理在網(wǎng)格單元中采樣固定數(shù)量的點，實現(xiàn)高效的點云處理。然而，這些方法在平衡性能和計算成本方面存在一定的挑戰(zhàn)，因為隨著分辨率的增加，計算成本也會增加。為了解決這個問題，研究人員引入了更緊湊的層次結(jié)構(gòu)（例如樹結(jié)構(gòu)）以降低計算成本。這些方法試圖通過在點云數(shù)據(jù)上創(chuàng)建層次結(jié)構(gòu)并將復(fù)雜的計算任務(wù)轉(zhuǎn)化為層次結(jié)構(gòu)上的操作來提高計算效率。然而，這些方法在平衡性能和計算成本方面仍然面臨一些挑戰(zhàn)。

1.3" 基于點的方法

PointNet[1]是點云處理領(lǐng)域的一個重要里程碑，然而，其忽略了點云中每個點之間的局部結(jié)構(gòu)特征關(guān)聯(lián)。為了解決這個問題，PointNet++[2]將點云數(shù)據(jù)劃分為多個不同的鄰域，并利用每個局部鄰域的層次結(jié)構(gòu)學(xué)習(xí)幾何特征，最后將它們聚合為全局特征表示。Mo?Net[11]使用有限矩集作為輸入。PATS[12]利用相鄰點的絕對位置和相對位置表示每個點，并使用GSA捕獲點之間的關(guān)系，最后使用GSS層學(xué)習(xí)層次特征。PointWeb[13]利用AFA模塊根據(jù)局部鄰域的上下文信息優(yōu)化點的表示。SRINet[14]提出了點投影特征來獲取點云的旋轉(zhuǎn)不變表示，然后使用基于點的骨干網(wǎng)絡(luò)和基于圖的網(wǎng)絡(luò)分別提取全局特征和局部特征。RepSurf[3]基于PointNet++提出了三角形和多曲面表示法，用于表示局部點云特征。然而，RepSurf中的集合抽象層僅通過一個MLP學(xué)習(xí)局部特征，這遠(yuǎn)遠(yuǎn)不夠。為此，添加了兩個模塊，即倒置殘差模塊和注意力模塊。

2" 方" 法

在本節(jié)中將介紹如何改進(jìn)RepSurf[3]（見圖1，改進(jìn)部分用黑色實線框標(biāo)識）。

本文研究主要集中在引入注意力殘差模塊、添加倒置殘差模塊、改進(jìn)數(shù)據(jù)增強(qiáng)和優(yōu)化技術(shù)三個方面。

2.1" 注意力殘差模塊

2.1.1" 通道注意力

利用特征通道間關(guān)系生成通道注意力圖。由于每個通道都被視為一個特征檢測器，因此通道注意力關(guān)注的是輸入點云中的“什么”是有意義的。為了高效計算通道注意力，對輸入特征的空間維度進(jìn)行了壓縮。在對空間信息進(jìn)行聚合時，同時使用了平均池化和最大池化。通道注意力流程圖如圖2所示。

首先使用平均池化和最大池化操作來聚合特征映射的空間信息，得到兩個不同的空間上下文描述符：平均池化特征和最大池化特征；然后，將這兩個池化的結(jié)果在通道維度上相加，將它們傳遞到共享網(wǎng)絡(luò)中，生成本文的通道注意力圖，它的形狀為1×[C]×1，其中[C]表示通道的數(shù)量；最后，將通道注意力圖輸入Sigmoid函數(shù)進(jìn)行映射，使其取值范圍在0～1之間。通道注意力的計算過程如下所示：

[CAF=σMLPAvgPoolF+MaxPoolF] （1）

式中[σ]表示Sigmoid函數(shù)。共享網(wǎng)絡(luò)由多層感知器（MLP）和一個隱藏層組成。為了減少參數(shù)的開銷，隱藏層的激活大小被設(shè)置為[Cr]，其中[r]是減少率。

2.1.2" 空間注意力

利用特征之間的空間關(guān)系來生成空間注意力。與通道注意力不同，空間注意力關(guān)注的是信息的位置，是對通道注意力的補(bǔ)充。為了計算空間注意力，首先在通道維度上應(yīng)用平均池化和最大池化操作，并將它們連接起來生成一個有效的特征描述符。通過在通道維度上應(yīng)用池化操作，可以有效地突出顯示信息區(qū)域。然后，應(yīng)用一個多層感知器層在連接的特征描述符上生成一個空間注意力圖?？臻g注意力流程圖如圖3所示。

使用兩個池化操作來聚合特征圖的通道信息，生成兩個2D圖：avg∈[M]×1×nsample和max∈[M]×1×nsample。每個圖表示通道上的平均池化特征和最大池化特征，然后它們經(jīng)過一個標(biāo)準(zhǔn)的MLP層，最后，將通道注意力輸入Sigmoid函數(shù)以將其映射到0～1之間的范圍?？臻g注意力的計算如下所示：

[SAF=σMLPAvgPoolF，MaxPoolF] （2）

式中[σ]表示Sigmoid函數(shù)。

2.1.3" 注意力順序

對于給定的輸入點云和兩個注意力模塊，即通道注意力和空間注意力，它們分別關(guān)注點云的“什么”和“在哪里”?？紤]到這一點，按順序?qū)⑦@兩個模塊放置。通過實驗證明，將通道注意力放在前面可以獲得更好的結(jié)果（詳見3.2.3節(jié)）。此外，還在輸入和輸出之間添加了一個殘差連接，以解決梯度消失的問題，特別是在網(wǎng)絡(luò)深度增加時。注意力順序流程圖如圖4所示。

2.2" 倒置殘差模塊

RepSurf是一個相對較小的網(wǎng)絡(luò)，其編碼器在分割上只包含4個階段。每個階段中僅通過一個MLP層學(xué)習(xí)局部特征是遠(yuǎn)遠(yuǎn)不夠的。觀察到當(dāng)前流行的點云分析模型比原始網(wǎng)絡(luò)使用了更多的MLP層，因此，將更多的MLP層有效地引入RepSurf[3]是一個值得研究的課題。

將倒置殘差模塊（見圖1）添加到集合抽象層中MLP的后面，通過倒瓶頸設(shè)計，將MLP的輸出通道擴(kuò)展了4倍，以豐富特征提取的能力，然后再將通道數(shù)壓縮回原來的數(shù)量。同時，還在輸入和輸出之間添加了一個殘差連接，以緩解梯度消失的問題，特別是在網(wǎng)絡(luò)深度增加時。

通過實驗證明，添加倒置殘差模塊可以顯著提高性能（詳見3.2.4節(jié)）。

2.3" 改進(jìn)數(shù)據(jù)增強(qiáng)和訓(xùn)練策略

2.3.1" 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)是提高神經(jīng)網(wǎng)絡(luò)性能的重要策略之一。以RepSurf[3]為基線開始研究，使用原始數(shù)據(jù)增強(qiáng)對其進(jìn)行訓(xùn)練。在實驗中，發(fā)現(xiàn)通過添加數(shù)據(jù)隨機(jī)旋轉(zhuǎn)，在S3DIS數(shù)據(jù)集上進(jìn)行語義分割任務(wù)時取得了顯著的改善效果，mIoU指標(biāo)提升了0.38%。

2.3.2" 優(yōu)化技術(shù)

優(yōu)化技術(shù)對于神經(jīng)網(wǎng)絡(luò)的性能至關(guān)重要，其中包括損失函數(shù)、優(yōu)化器、學(xué)習(xí)率調(diào)度器和超參數(shù)的選擇。在RepSurf[3]的實驗中，使用了相同的優(yōu)化技術(shù)，包括交叉熵?fù)p失、AdamW優(yōu)化器、指數(shù)學(xué)習(xí)率衰減和相同的超參數(shù)。以RepSurf為基線開始研究，使用原始優(yōu)化技術(shù)對其進(jìn)行訓(xùn)練。通過實驗，發(fā)現(xiàn)將指數(shù)學(xué)習(xí)率衰減替換為余弦衰減在S3DIS[15]數(shù)據(jù)集的語義分割任務(wù)中取得了顯著的改善效果，mIoU指標(biāo)提升了0.31%。

3" 實" 驗

采用在S3DIS[15]語義分割任務(wù)評估本文模型，S3DIS是一個具有挑戰(zhàn)性的數(shù)據(jù)集，由6個大型室內(nèi)區(qū)域、271個房間和13個語義類別組成。此外，還進(jìn)行消融研究，以評估設(shè)計模塊的有效性。

3.1" 對比實驗

實驗設(shè)置：使用AdamW優(yōu)化器的交叉熵?fù)p失函數(shù)訓(xùn)練，初始學(xué)習(xí)速率[lr]=0.006，余弦衰減，批量大小為2，GPU為16 GB的V100。對比實驗如表1所示，其中RepSurf指標(biāo)是本文復(fù)現(xiàn)的結(jié)果。

表1報告了S3DIS語義分割任務(wù)的6?fold和Area?5結(jié)果，I?RepSurf超越了目前主流模型。在Area?5任務(wù)中，I?RepSurf相比RepSurf，在平均交并比（mIoU）、平均精度（mAcc）和總體精度（OA）方面分別提高了3.5%、3.5%和0.6%。

3.2" 消融實驗

在S3DIS[15]語義分割任務(wù)上對本文方法的一些重要設(shè)計進(jìn)行了深入的探索。

3.2.1" 模塊消融實驗

以原始的RepSurf[3]為基線，逐漸加入各個模塊，在S3DIS語義分割任務(wù)Area?5上進(jìn)行驗證，結(jié)果見表2。其中，rotate是數(shù)據(jù)隨機(jī)旋轉(zhuǎn)，cosine是學(xué)習(xí)率衰減，IRB是倒置殘差模塊，SCA是注意力模塊。

實驗證明，引入注意力模塊和倒置殘差模塊可以使模型更好地學(xué)習(xí)局部特征，從而顯著提高性能指標(biāo)。隨機(jī)旋轉(zhuǎn)有助于模型解決視角問題，提高性能。余弦衰減策略有助于優(yōu)化模型參數(shù)，從而進(jìn)一步提高性能。

3.2.2nbsp; 通道注意力模塊消融實驗

通道注意力中隱藏的激活大小設(shè)置為[Cr]，其中[r]是減少率。對[r]參數(shù)進(jìn)行消融實驗，在S3DIS Area?5語義分割任務(wù)上驗證。

表3總結(jié)了在不同[r]參數(shù)下進(jìn)行實驗的結(jié)果，其中，SCA為注意力殘差模塊，可以清楚地發(fā)現(xiàn)，在[r]=2時，語義分割性能更好。

3.2.3" 注意力模塊順序消融實驗

考慮到空間注意力和通道注意力關(guān)注點不同，排列順序可能對整體性能產(chǎn)生影響。比較了空間注意模塊和通道注意模塊的兩種不同排列順序。注意力模塊順序消融實驗對比結(jié)果如表4所示。其中，CSA表示通道注意力在前，SCA表示空間注意力在前。通過表4的實驗結(jié)果發(fā)現(xiàn)，將通道注意模塊放在前面，語義分割性能更好。

3.2.4" 倒置殘差模塊消融實驗

RepSurf中有4個集合抽象層，對每個層添加幾個倒置殘差模塊進(jìn)行消融實驗，在S3DIS Area?5進(jìn)行驗證，基線為RepSurf+rotate+cosine。倒置殘差模塊消融實驗結(jié)果如表5所示。其中，IRB（1 1 1 1）表示在每個Set Abstration層中添加1個倒置殘差模塊。

在實驗中發(fā)現(xiàn)，當(dāng)添加IRB（1 1 2 1）時，mAcc指標(biāo)達(dá)到了75.98%，然而，與添加IRB（1 2 1 1）相比，mIoU和OA指標(biāo)分別下降了0.58%和0.17%，因此本文設(shè)置為IRB（1 2 1 1）。

4" 結(jié)" 論

本文提出了倒置殘差模塊和注意力模塊作為改進(jìn)局部特征學(xué)習(xí)的方法。倒置殘差模塊通過增加更多的MLP層，學(xué)習(xí)了更豐富的特征信息。注意力模塊包括空間注意力和通道注意力，其中空間注意力學(xué)習(xí)哪些點是關(guān)鍵的，通道注意力學(xué)習(xí)哪些通道是有用的，以獲得更具代表性的特征。在S3DIS基準(zhǔn)上進(jìn)行了大量實驗，證明了倒置殘差模塊和注意力模塊的有效性，并在語義分割任務(wù)中取得了顯著的改進(jìn)效果。

注：本文通訊作者為禹龍。

參考文獻(xiàn)

[1] QI C R， SU H， MO K， et al. PointNet： Deep learning on point sets for 3D classification and segmentation [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2017： 77?85.

[2] QI C R， YI L， SU H， et al. PointNet++： Deep hierarchical feature learning on point sets in a metric space [C]// Advances in Neural Information Processing Systems 30： Annual Conference on Neural Information Processing Systems 2017. [S.l.： s.n.]， 2017： 5099?5108.

[3] RAN H X， LIU J， WANG C J. Surface representation for point clouds [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2022： 18920?18930.

[4] SU H， MAJI S， KALOGERAKIS E， et al. Multi?view convolutional neural networks for 3D shape recognition [C]// Proceedings of the IEEE International Conference on Computer Vision. New York： IEEE， 2015： 945?953.

[5] YU T， MENG J J， YUAN J S. Multi?view harmonized bilinear network for 3D object recognition [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2018： 186?194.

[6] YANG Z， WANG L. Learning relationships for multi?view 3D object recognition [C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. New York： IEEE， 2019： 7505?7513.

[7] WEI X， YU R X， SUN J. View?GCN： View?based graph convolutional network for 3D shape analysis [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2020： 1847?1856.

[8] MATURANA D， SCHERER S A. VoxNet： A 3D convolutional neural network for real?time object recognition [C]// 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. New York： IEEE， 2015： 922?928.

[9] WU Z R， SONG S R， KHOSLA A， et al. 3D ShapeNets： A deep representation for volumetric shapes [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2015： 1912?1920.

[10] LE T， DUAN Y. PointGrid： A deep network for 3D shape understanding [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2018： 9204?9214.

[11] JOSEPH?RIVLIN M， ZVIRIN A， KIMMEL R. Mo?Net： Flavor the moments in learning to classify shapes [C]// Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops. New York： IEEE， 2019： 1?8.

[12] YANG J C， ZHANG Q， NI B B， et al. Modeling point clouds with self?attention and gumbel subset sampling [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2019： 3323?3332.

[13] ZHAO H S， JIANG L， FU C W， et al. PointWeb： Enhancing local neighborhood features for point cloud processing [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2019： 5565?5573.

[14] SUN X， LIAN Z H， XIAO J G. SRINet： Learning strictly rotation?invariant representations for point cloud classification and segmentation [C]// Proceedings of the 27th ACM International Conference on Multimedia. New York： IEEE， 2019： 980?988.

[15] ARMENI I， SENER O， ZAMIR A R， et al. 3D semantic parsing of large?scale indoor spaces [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2016： 1534?1543.

[16] PHAN A V， LE NGUYEN M， NGUYEN Y L H， et al. DGCNN： A convolutional neural network over large?scale labeled graphs [J]. Neural networks， 2018， 108： 533?543.

[17] HU Q Y， YANG B， XIE L H， et al. Learning semantic segmentation of large?scale point clouds with random sampling [J]. IEEE transactions on pattern analysis and machine intelligence， 2022， 44（11）： 8338?8354.

[18] THOMAS H， QI C R， DESCHAUD J E， et al. KPConv： Flexible and deformable convolution for point clouds [C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. New York： IEEE， 2019： 6410?6419.