林佳斌 張劍鋒 邵東恒 郭杰龍 楊靜 魏憲

摘 要：海量點(diǎn)云數(shù)據(jù)的存儲(chǔ)對(duì)自動(dòng)駕駛實(shí)時(shí)3D協(xié)同感知具有重要意義，然而出于數(shù)據(jù)安全保密性的要求，部分?jǐn)?shù)據(jù)擁有者不愿共享其私人的點(diǎn)云數(shù)據(jù)，限制了模型訓(xùn)練準(zhǔn)確性的提升。聯(lián)邦學(xué)習(xí)是一種注重?cái)?shù)據(jù)隱私安全的計(jì)算范式，提出了一種基于聯(lián)邦學(xué)習(xí)的方法來解決車輛協(xié)同感知場(chǎng)景下的大規(guī)模點(diǎn)云語義分割問題。融合具有點(diǎn)間角度信息的位置編碼方式并對(duì)鄰近點(diǎn)進(jìn)行幾何衍射處理以增強(qiáng)模型的特征提取能力，最后根據(jù)本地模型的生成質(zhì)量動(dòng)態(tài)調(diào)整全局模型的聚合權(quán)重，提高數(shù)據(jù)局部幾何結(jié)構(gòu)的保持能力。在SemanticKITTI，SemanticPOSS和Toronto3D三個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明該算法顯著優(yōu)于單一訓(xùn)練數(shù)據(jù)和基于FedAvg的方法，在充分挖掘點(diǎn)云數(shù)據(jù)價(jià)值的同時(shí)兼顧各方數(shù)據(jù)的隱私敏感性。

關(guān)鍵詞：聯(lián)邦學(xué)習(xí)；點(diǎn)云語義分割；雙層幾何衍射；動(dòng)態(tài)權(quán)重

中圖分類號(hào)：TP391.41?? 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2024）03-010-0706-07

doi：10.19734/j.issn.1001-3695.2023.07.0320

Federated semantic segmentation algorithm under

large scale differential point cloud data

Lin Jiabin1，2，Zhang Jianfeng2，Shao Dongheng2，Guo Jielong2，Yang Jing3，Wei Xian2

（1.College of Mechanical & Electrical Engineering，F(xiàn)ujian Agriculture & Forestry University，F(xiàn)uzhou 350100，China；2.Fujian Institute of Research on the Structure of Matter，Chinese Academy of Sciences，F(xiàn)uzhou 350002，China；3.Longhe Intelligent Equipment Manufacturing Co.，Ltd.，Longyan Fujian 364101，China）

Abstract：The storage of massive point cloud data has great significance to the real-time 3D collaborative perception of autonomous driving.However，due to the requirements of data security and confidentiality，some data owners are unwilling to share their private point cloud data，which limits the improvement of model training accuracy.Federated learning is a computing paradigm that focuses on data privacy and security.This paper proposed a novel approach based on federated learning to address the challenge of large-scale point cloud semantic segmentation in collaborative vehicle perception scenarios.It integrated position encoding with inter-point angle information and geometric diffraction of neighboring points to enhance the feature extraction capability of the model.Finally，it dynamically adjusted the aggregation weights of the global model according to the generation quality of the local model to improve the ability to maintain the local geometric structure of the data.This paper applied the proposed method on three datasets，such as SemanticKITTI，SemanticPOSS and Toronto3D.The results show that the proposed approach significantly outperforms the single training data and the FedAvg-based method，and fully exploits the value of the point cloud data while taking into account the privacy sensitivity of each partys data.

Key words：federated learning；point cloud semantic segmentation；double-layer geometric diffraction；dynamic weighting

0 引言

隨著激光雷達(dá)等高精度傳感器的廣泛普及和應(yīng)用，促使許多對(duì)3D數(shù)據(jù)有著實(shí)際需求的領(lǐng)域，如自動(dòng)駕駛、機(jī)器人、虛擬與增強(qiáng)現(xiàn)實(shí)等，得到快速發(fā)展［1］。與2D圖像不同的是，3D數(shù)據(jù)可以更好地理解機(jī)器周邊環(huán)境，更加適用于實(shí)際的三維空間場(chǎng)景。點(diǎn)云作為一種常見的三維模型數(shù)據(jù)，具有非常強(qiáng)的空間表達(dá)能力，可以很好地保留原始三維空間的幾何結(jié)構(gòu)，而且能夠很好地刻畫每個(gè)類別物體的表面特征以及其他可供深度模型訓(xùn)練的信息，比如坐標(biāo)、顏色、反射強(qiáng)度等，因此，它是許多場(chǎng)景理解相關(guān)應(yīng)用的首選表示，但是點(diǎn)云的空間分布不均及數(shù)據(jù)雜亂無序等特點(diǎn)給點(diǎn)云數(shù)據(jù)處理和應(yīng)用帶來了極大的挑戰(zhàn)［2］。當(dāng)前關(guān)于點(diǎn)云感知任務(wù)中分割問題的研究往往只專注于在一個(gè)完整的集中式數(shù)據(jù)集上進(jìn)行模型性能研究，此類方法在真實(shí)世界3D應(yīng)用場(chǎng)景下存在著擴(kuò)展性差、魯棒性低等問題。

例如，在自動(dòng)駕駛領(lǐng)域的多個(gè)數(shù)據(jù)持有方中，由于存在部分群體不愿與他人共享其隱私數(shù)據(jù)，同時(shí)受限于單方數(shù)據(jù)采集的成本和訓(xùn)練算力要求等問題，形成“數(shù)據(jù)孤島”，使得數(shù)據(jù)的潛在價(jià)值不能被充分利用。為此，本文將聯(lián)邦學(xué)習(xí)計(jì)算范式遷移至此處理該問題，在保證用戶數(shù)據(jù)隱私的前提下，合法合規(guī)地利用私域數(shù)據(jù)進(jìn)行訓(xùn)練。聯(lián)邦學(xué)習(xí)的初衷就是保證“數(shù)據(jù)不動(dòng)模型動(dòng)”，在很大程度上可以促進(jìn)數(shù)據(jù)的所有方充分利用分散的數(shù)據(jù)訓(xùn)練出令各方都滿意的機(jī)器學(xué)習(xí)模型［3］。由于分散式的用戶數(shù)據(jù)不能夠充分提取點(diǎn)的特征信息，為進(jìn)一步優(yōu)化特征編碼，對(duì)輸入點(diǎn)的特征提取采取幾何衍射［4］等處理，并基于每輪學(xué)習(xí)到的特征質(zhì)量確定最終模型聚合權(quán)重。相較于直接采用聯(lián)邦平均算法［5］構(gòu)建模型，本文方法能更顯著地提升整體性能效果和穩(wěn)健性。

本文的主要貢獻(xiàn)包括：a）將聯(lián)邦學(xué)習(xí)方法引入到車輛協(xié)同感知場(chǎng)景下的大規(guī)模點(diǎn)云語義分割任務(wù)中，憑借其安全可信的訓(xùn)練方式，每個(gè)數(shù)據(jù)持有方僅通過私有本地?cái)?shù)據(jù)生成全局共享知識(shí)，從而獲取更好的模型性能；b）針對(duì)更小范圍內(nèi)隨機(jī)采樣導(dǎo)致的點(diǎn)信息丟失問題，通過優(yōu)化相對(duì)位置編碼方式，引入雙層幾何衍射［4］，將每個(gè)采樣中心點(diǎn)的鄰近點(diǎn)作正態(tài)分布映射，細(xì)化每個(gè)鄰域內(nèi)的特征分布，提升局部特征提取能力；c）對(duì)室外真實(shí)采樣的點(diǎn)云分割數(shù)據(jù)集SemanticKITTI［6］、SemanticPOSS［7］和Toronto-3D［8］進(jìn)行聯(lián)邦切片處理，給每個(gè)參與方劃分不同場(chǎng)景的數(shù)據(jù)以實(shí)現(xiàn)數(shù)據(jù)隔離，針對(duì)本地?cái)?shù)據(jù)不平衡帶來的性能下降問題，在經(jīng)過相應(yīng)優(yōu)化方法后準(zhǔn)確度得到有效提升。

1 相關(guān)工作

1.1 點(diǎn)云分割

點(diǎn)云語義分割是對(duì)海量點(diǎn)數(shù)據(jù)逐點(diǎn)進(jìn)行語義分類的一種識(shí)別任務(wù)。相比于傳統(tǒng)方法，深度學(xué)習(xí)方法能夠更好地處理不規(guī)則的3D點(diǎn)云數(shù)據(jù)，通過端到端的方式訓(xùn)練直接從原始點(diǎn)云數(shù)據(jù)中學(xué)習(xí)特征表示和語義信息，避免了手工設(shè)計(jì)特征的復(fù)雜過程，克服了傳統(tǒng)方法在特征提取和噪聲干擾處理方面的局限性，提高了分割效果并減少了計(jì)算時(shí)間［9］?，F(xiàn)階段基于深度學(xué)習(xí)的點(diǎn)云分割相關(guān)研究大致可以歸納為以下幾種：

a）基于投影的分割方法。例如：Lawin等人［10］使用的多視圖表示辦法，將點(diǎn)云投影到不同的二維平面上，并利用多流的全卷積網(wǎng)絡(luò)（FCN）融合不同視角的投影分?jǐn)?shù)來預(yù)測(cè)每個(gè)點(diǎn)的最終語義標(biāo)簽；Wu等人［11］提出了一種基于SqueezeNet［12］和條件隨機(jī)場(chǎng)（CRF）的端到端網(wǎng)絡(luò)，將3D點(diǎn)云映射到球面上的二維平面（通常是前視圖），以保留更多的點(diǎn)云細(xì)節(jié)。但采用投影的方法會(huì)受到遮擋物的影響，因此依舊會(huì)造成分割精度的下降。

b）基于體素的方法實(shí)質(zhì)上就是將點(diǎn)云結(jié)構(gòu)化為密集網(wǎng)格的過程。Huang等人［13］利用3D卷積進(jìn)行體素分割，為體素內(nèi)所有點(diǎn)指定與體素相同的語義標(biāo)簽。此后，Tchapmi等人［14］創(chuàng)新性地提出了SEGCloud模型，可以實(shí)現(xiàn)端到端的細(xì)粒度和全局一致性的語義分割。盡管體素化方式可以盡可能地保留點(diǎn)云的域結(jié)構(gòu)，但是不可避免地引入了離散化偽影和信息損失，因此，需要在保留細(xì)節(jié)和壓縮運(yùn)算成本之間進(jìn)行權(quán)衡。

c）基于點(diǎn)的網(wǎng)絡(luò)模型是較為直接和普遍的方式，可以將點(diǎn)云直接輸入到網(wǎng)絡(luò)中進(jìn)行特征提取。然而由于點(diǎn)云的特性是無序、不規(guī)則以及非結(jié)構(gòu)化的，所以直接進(jìn)行卷積操作是不可取的。早期的開創(chuàng)性工作有PointNet［15］，提出使用共享MLP層學(xué)習(xí)逐點(diǎn)特征，并使用對(duì)稱池化函數(shù)學(xué)習(xí)全局特征；為了捕獲來自局部的幾何結(jié)構(gòu)，PointNet++［16］通過分層的方式分組聚合鄰近點(diǎn)的信息，從而學(xué)習(xí)更精細(xì)的局部特征。為了對(duì)不同點(diǎn)之間的相互作用進(jìn)行建模，Zhao等人［17］提出了PointWeb，通過密集構(gòu)建局部完全相連接的網(wǎng)絡(luò)來探索局部區(qū)域中所有點(diǎn)對(duì)之間的關(guān)系，并采取自適應(yīng)特征調(diào)整（AFA）模塊實(shí)現(xiàn)信息交換和特征細(xì)化。除了PointNet系列，還有一些先進(jìn)的基于點(diǎn)的網(wǎng)絡(luò)模型采用了注意力機(jī)制。例如，Chen等人［18］提出了局部空間感知（LSA）層，根據(jù)點(diǎn)云的空間布局和局部結(jié)構(gòu)學(xué)習(xí)空間感知權(quán)重。類似于條件隨機(jī)場(chǎng)（CRF），Zhao等人［19］提出了基于注意力的分?jǐn)?shù)細(xì)化（ASR）模塊，通過結(jié)合相鄰點(diǎn)的分?jǐn)?shù)和學(xué)習(xí)到的注意力權(quán)重來改進(jìn)初始分割結(jié)果。

此外，Engelmann等人［20］ 也將遞歸神經(jīng)網(wǎng)絡(luò)（RNN）用于捕獲點(diǎn)云的固有上下文特征，提出了一種多尺度塊和網(wǎng)格塊的轉(zhuǎn)換方法，并通過合并單元（CU）或遞歸合并單元（RCU）逐層獲得輸出級(jí)上下文。也有工作試圖探討圖結(jié)構(gòu)下的點(diǎn)云分割模型，如Ma等人［21］提出的即插即用的點(diǎn)全局上下文推理（PointGCR）模塊，使用無向圖表示沿信道維度捕獲全局上下文信息，可以輕松集成到現(xiàn)有的分割網(wǎng)絡(luò)中以提高性能。本文采用

一種高效、輕量級(jí)的深度網(wǎng)絡(luò)RandLA-Net［22，23］，作為室外大規(guī)模點(diǎn)云分割基準(zhǔn)，進(jìn)一步探索了在聯(lián)邦場(chǎng)景下的模型性能，通過多種優(yōu)化手段提升在差異化數(shù)據(jù)分布的邊緣客戶端下的系統(tǒng)整體魯棒性。

1.2 聯(lián)邦學(xué)習(xí)

人工智能技術(shù)的快速發(fā)展依賴于深度學(xué)習(xí)模型的精心設(shè)計(jì)，而深度學(xué)習(xí)的大獲成功又離不開大量可用、易用數(shù)據(jù)的互連互通，在全球范圍內(nèi)形成的隱私保護(hù)體系大環(huán)境下，防范數(shù)據(jù)泄露和維護(hù)數(shù)據(jù)安全成為了廣泛的共識(shí)。無論是跨機(jī)構(gòu)還是跨設(shè)備的用戶群體都傾向于打破數(shù)據(jù)壁壘，通過多方協(xié)作完成數(shù)據(jù)的合法調(diào)控，減小隱私風(fēng)險(xiǎn)和額外成本。聯(lián)邦學(xué)習(xí)作為人工智能領(lǐng)域新興的分布式機(jī)器學(xué)習(xí)范式，天然地適用于緩解“數(shù)據(jù)孤島”和“數(shù)據(jù)隱私”問題，在數(shù)據(jù)信息高度敏感的金融、醫(yī)療健康和邊緣物聯(lián)網(wǎng)等領(lǐng)域都有著廣泛的應(yīng)用。聯(lián)邦學(xué)習(xí)通?？梢勒諗?shù)據(jù)樣本和數(shù)據(jù)特征的重疊程度劃分為橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)和聯(lián)邦遷移學(xué)習(xí)［24］。從狹義上來闡述聯(lián)邦學(xué)習(xí)：假設(shè)進(jìn)行聯(lián)邦訓(xùn)練后的模型MF的性能為VF，將其與傳統(tǒng)集中式機(jī)器學(xué)習(xí)的模型MS的性能VS進(jìn)行比較，那么滿足以下條件，即存在一個(gè)非負(fù)實(shí)數(shù)δ，使得兩者的性能損失差距為|VS-VF|<δ ，通常情況下的期望是將數(shù)據(jù)進(jìn)行表層安全的聯(lián)邦訓(xùn)練后所取得的最終效果近似于將數(shù)據(jù)集中到一起后訓(xùn)練的模型性能。

2 聯(lián)邦點(diǎn)云語義分割模型

在面對(duì)大規(guī)模點(diǎn)云數(shù)據(jù)時(shí)，進(jìn)行精準(zhǔn)高效的語義分割是一項(xiàng)極具挑戰(zhàn)性的環(huán)境感知任務(wù)。RandLA-Net［23］是一種輕量化的語義分割網(wǎng)絡(luò)，其整體架構(gòu)也是采取語義分割網(wǎng)絡(luò)中常見的編碼器和解碼器結(jié)構(gòu)，不同于采集少量的室內(nèi)點(diǎn)云數(shù)據(jù)（如1 024個(gè)點(diǎn)）進(jìn)行簡(jiǎn)單的分類分割任務(wù)。本文對(duì)輸入高達(dá)50K的點(diǎn)云數(shù)據(jù)進(jìn)行處理，先逐層下采樣提取，通過四個(gè)編碼層將數(shù)量壓縮至1/256，每個(gè)編碼層將點(diǎn)云數(shù)量減少至原始的1/4，同時(shí)通過擴(kuò)充特征維度保留更多的信息；解碼部分選擇高效的最近鄰差值法放大點(diǎn)的尺度，逐層上采樣至原始樣本點(diǎn)數(shù)，然后通過跳躍連接將網(wǎng)絡(luò)編碼器階段提取到的底層特征與解碼時(shí)的高層特征進(jìn)行融合；最后利用三個(gè)全連接層將維度映射到輸出類別數(shù)。通過大量的前期調(diào)研工作后發(fā)現(xiàn)，隨機(jī)采樣方法對(duì)于大場(chǎng)景下點(diǎn)云分割具備更高的計(jì)算效率，相較于最遠(yuǎn)點(diǎn)采樣［16］，基于生成器的采樣［25］、強(qiáng)化學(xué)習(xí)下的策略梯度采樣［26］等方法，采樣速度提升百倍且時(shí)間復(fù)雜度更低，計(jì)算資源和內(nèi)存開銷更小，整體效率更高，更加適用于大場(chǎng)景下的點(diǎn)云分割任務(wù)。針對(duì)隨機(jī)采樣后可能造成點(diǎn)丟失的情況，進(jìn)一步提出局部特征聚合模塊，通過擴(kuò)大每個(gè)采樣點(diǎn)的感受野，更大范圍地聚攏局部特征。本文提出局部增強(qiáng)的編碼方式并引入雙層幾何衍射模塊，進(jìn)一步保留了特征細(xì)節(jié)。

通過聯(lián)邦學(xué)習(xí)進(jìn)行點(diǎn)云語義分割，如圖1所示，其中LFEA為局部特征增強(qiáng)聚合模塊，DWN為融合模型時(shí)第N個(gè)本地模型的權(quán)值。首先在基準(zhǔn)數(shù)據(jù)上為每個(gè)待選擇的客戶端分配一定數(shù)量的點(diǎn)云數(shù)據(jù)（由車載激光雷達(dá)等高精度傳感器事先采集而來），每個(gè)數(shù)據(jù)間不存在重疊可共享的部分，且不同端分得的數(shù)據(jù)在數(shù)量上存在顯著差異。采取具有中央服務(wù)器的橫向聯(lián)邦客戶-服務(wù)器架構(gòu)，中心方負(fù)責(zé)初始化模型參數(shù)并下發(fā)給數(shù)據(jù)持有者，每個(gè)本地客戶僅利用自己私人的點(diǎn)云數(shù)據(jù)（隨機(jī)采樣數(shù)據(jù)）進(jìn)行訓(xùn)練，訓(xùn)練方式等同于常規(guī)機(jī)器學(xué)習(xí)模型的訓(xùn)練流程進(jìn)行邊緣端的梯度下降，并逐步更新局部模型參數(shù)（期間數(shù)據(jù)僅作用在每個(gè)本地端），達(dá)到指定局部迭代次數(shù)后上傳參數(shù)，再由中央服務(wù)器采取參數(shù)聚合算法融合多個(gè)模型，重復(fù)聯(lián)邦訓(xùn)練后達(dá)到最大迭代次數(shù)，獲取最優(yōu)模型。

2.1 雙層幾何衍射模塊

在局部編碼器進(jìn)行點(diǎn)云的特征提取關(guān)乎最終分割性能的優(yōu)劣，而局部特征聚合模塊是對(duì)點(diǎn)特征提取的關(guān)鍵步驟。如圖2所示，主要體現(xiàn)在對(duì)輸入點(diǎn)特征不斷進(jìn)行維度擴(kuò)充，從而學(xué)習(xí)到更加豐富的上下文信息。

對(duì)于每個(gè)輸入采樣點(diǎn)，使用簡(jiǎn)單的K近鄰算法找到關(guān)聯(lián)的鄰居點(diǎn)（設(shè)定數(shù)量為16），進(jìn)而對(duì)原始采樣點(diǎn)與若干個(gè)近鄰點(diǎn)進(jìn)行相對(duì)位置編碼，得到rqi。

其中：函數(shù)G（·）由一個(gè)共享的MLP和softmax層組成；W為可學(xué)習(xí)的權(quán)重。得到的Sqi可視為選擇重要特征的軟掩模，再與原先的輸出特征f^qi進(jìn)行加權(quán)求和，得到聚合特征輸出。這樣做可以增大每個(gè)輸入點(diǎn)的感受野，通過匯聚相鄰點(diǎn)的特征信息更大程度地保留原始輸入點(diǎn)云的局部幾何結(jié)構(gòu)。

2.2 局部和全局優(yōu)化方法

本文針對(duì)經(jīng)典的聯(lián)邦平均算法進(jìn)行了兩處輕量級(jí)的改進(jìn)。首先重新調(diào)整了損失函數(shù)，將用于類別不平衡的損失函數(shù)FocalLoss（FL）［27］，替代傳統(tǒng)聯(lián)邦局部監(jiān)督學(xué)習(xí)的交叉熵?fù)p失。

FL（pt）=-αt（1-pt）γlog（pt）（10）

其中：αt用于調(diào)節(jié)正負(fù)樣本損失之間的比例；pt為預(yù)測(cè)概率值；γ通過減少易分類權(quán)重參數(shù)，從而加大對(duì)難區(qū)分樣本的專注度。由此在進(jìn)行局部目標(biāo)優(yōu)化時(shí)能朝著所希望的方向進(jìn)行，可提升整體聯(lián)邦語義分割任務(wù)的準(zhǔn)確度。

同時(shí)，本文對(duì)全局聚合函數(shù)重新進(jìn)行設(shè)計(jì)，采用的優(yōu)化方法為DW，如式（11）所示。

其中：k為客戶端數(shù)量；C為總類別數(shù)；pij表示根據(jù)每個(gè)類別出現(xiàn)頻率所賦予的權(quán)重。相當(dāng)于通過混淆矩陣計(jì)算出每個(gè)類別的真實(shí)數(shù)目為TP+FN，總數(shù)為TP+FP+TN+FN，分母計(jì)算由參與方總數(shù)確定的總的模型參數(shù)權(quán)重。旨在根據(jù)既定的權(quán)重評(píng)價(jià)指標(biāo)進(jìn)行多個(gè)模型的參數(shù)融合，在每輪次與中心方通信時(shí)能動(dòng)態(tài)地調(diào)整每個(gè)參與方模型參數(shù)所占據(jù)的比重，相比于直接根據(jù)數(shù)量來定義權(quán)值大小或者直接平均參數(shù)，更能反映出單個(gè)參與方每輪學(xué)習(xí)到的局部模型質(zhì)量。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)配置

本文實(shí)驗(yàn)環(huán)境采用的深度學(xué)習(xí)框架為PyTorch 1.8.1，編程語言為Python，在顯卡型號(hào)為NVIDIA GeForce RTX 3090和版本號(hào)為11.1的CUDA上開展實(shí)驗(yàn)。進(jìn)行聯(lián)邦學(xué)習(xí)訓(xùn)練階段的局部epoch設(shè)置為5，全局epoch為20/12；在SemanticKITTI和SemanticPOSS上訓(xùn)練的batch size設(shè)置為6，測(cè)試為20；在Toronto-3D上訓(xùn)練的batch size設(shè)置為4，測(cè)試時(shí)為8。初始學(xué)習(xí)率為1E-2，采用Adam優(yōu)化器，每個(gè)epoch學(xué)習(xí)率衰減5%。

3.2 實(shí)驗(yàn)數(shù)據(jù)集

本次實(shí)驗(yàn)采用SemanticKITTI、SemanticPOSS和Toronto-3D作為室外點(diǎn)云語義分割評(píng)估基準(zhǔn)數(shù)據(jù)集。其中：SemanticKITTI是一個(gè)通用的具有豐富逐點(diǎn)點(diǎn)云注釋、涵蓋駕駛車輛掃描的大型全視野語義分割戶外場(chǎng)景數(shù)據(jù)集，數(shù)據(jù)集由22個(gè)序列組成，前11個(gè)序列的23 201個(gè)點(diǎn)云用于訓(xùn)練和驗(yàn)證，其中08序列通常用于由真實(shí)標(biāo)簽生成的對(duì)比測(cè)試；SemanticPOSS是由北京大學(xué)采集的室外大規(guī)模稀疏點(diǎn)云實(shí)例，包括人和騎手等常規(guī)事物，共分為6個(gè)LiDAR數(shù)據(jù)序列，本文使用序列03作為測(cè)試，其余的用于聯(lián)邦訓(xùn)練；Toronto-3D是由加拿大多倫多MLS系統(tǒng)獲取的覆蓋了大約1 km由7 830萬個(gè)點(diǎn)組成的城市道路語義分割的大規(guī)模戶外點(diǎn)云數(shù)據(jù)集，該數(shù)據(jù)集采集場(chǎng)景共4個(gè)，其中采用L001、L003、L004作為訓(xùn)練集，L002作為測(cè)試集，共擁有8個(gè)有效語義標(biāo)簽類。

對(duì)上述三個(gè)數(shù)據(jù)集采取聯(lián)邦多場(chǎng)景下的多點(diǎn)實(shí)驗(yàn)數(shù)據(jù)切分以實(shí)現(xiàn)差異化的標(biāo)簽數(shù)量分布。如在Toronto-3D上進(jìn)行聯(lián)邦數(shù)據(jù)預(yù)處理，為保證數(shù)據(jù)隔離和劃分的有效性，在數(shù)量為三個(gè)的參與方時(shí)由不同采樣場(chǎng)景的訓(xùn)練集重新分配本地?cái)?shù)據(jù)空間。

3.3 實(shí)驗(yàn)評(píng)估指標(biāo)

本文實(shí)驗(yàn)采用分割中常見的幾種指標(biāo)來評(píng)估模型性能，包括整體準(zhǔn)確率OA和平均交并比mIoU，詳細(xì)定義如下：

其中：pij表示每個(gè)類別點(diǎn)的真實(shí)標(biāo)簽為i，預(yù)測(cè)輸出值為j；C表示總的語義類別數(shù)。

3.4 實(shí)驗(yàn)結(jié)果與分析

為實(shí)現(xiàn)公平的實(shí)驗(yàn)對(duì)比，所有結(jié)果均是在原始點(diǎn)云數(shù)據(jù)集上評(píng)估所得，在進(jìn)行聯(lián)邦訓(xùn)練后的三個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)可視化結(jié)果如圖3～5所示。表1～3分別是不同參與方數(shù)量在SemanticKITTI、SemanticPOSS和Toronto3D上的實(shí)驗(yàn)結(jié)果。以基于RandLA-Net為backbone進(jìn)行聯(lián)邦基準(zhǔn)實(shí)驗(yàn)，在數(shù)量CN設(shè)置為2和3時(shí)分別達(dá)到了52.5%和52.3%的mIoU，相較于集中式訓(xùn)練平均下降了1.3個(gè)百分點(diǎn)，但相對(duì)于單一數(shù)據(jù)進(jìn)行訓(xùn)練得到42.9%的準(zhǔn)確率，性能提升出色。表中FedNRN表示在初始化本地模型中加入雙層局部特征增強(qiáng)聚合模塊后的實(shí)驗(yàn)結(jié)果；FedNRNP為融合輕量級(jí)的全局和局部?jī)?yōu)化方法，即采取動(dòng)態(tài)權(quán)重聚合和Focal loss為目標(biāo)函數(shù)進(jìn)行優(yōu)化。通過FedNRNP將SemanticKITTI的整體分割準(zhǔn)確率最高提升了5.6個(gè)百分點(diǎn)。在聯(lián)邦后的SemanticPOSS數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，相較于直接采取RandLA-Net進(jìn)行實(shí)驗(yàn)得到的52.1%和47.0%的語義分割mIoU，優(yōu)化后的方法FedNRNP實(shí)現(xiàn)了57.5%和54.6%的語義分割mIoU，分別提升了5.4%和7.6%。另外，相較于集中式訓(xùn)練所需要的100個(gè)epoch才達(dá)到的52.8%的mIoU，在進(jìn)行聯(lián)邦訓(xùn)練后僅需局部迭代5次，全局迭代20次就能達(dá)到52.1%的性能。

在數(shù)據(jù)分布差異越明顯的聯(lián)邦客戶端上，所取得的最終分割結(jié)果效果越差。如在SemanticPOSS和Toronto3D三個(gè)參與方的基礎(chǔ)上，F(xiàn)edNRNP優(yōu)化方法相較于FedAvg取得的47.0%和72.4%的結(jié)果，最后提高至56.1%和78.9%，本文方法針對(duì)具有不平衡的本地?cái)?shù)據(jù)分布特性下的性能損失更加魯棒，且不同數(shù)據(jù)集在每個(gè)類別的分割交并比均有不同程度的提升。例如在SemanticKITTI上的car、truck、person、trunk、traffic-sign類別，SemanticPOSS上的person，rider，trunk，building，fence類別，Toronto3D上的Road、Rd mrk、Car類別中展現(xiàn)出了同等條件下更有競(jìng)爭(zhēng)力的分割結(jié)果。從圖3中可以看出，直接進(jìn)行多方聯(lián)邦建模的分割結(jié)果，F(xiàn)edRN要明顯優(yōu)于單一數(shù)據(jù)訓(xùn)練結(jié)果SinSK，且經(jīng)過優(yōu)化后的方法FedNRNP取得了最接近真實(shí)標(biāo)簽所預(yù)期的分割結(jié)果，進(jìn)一步驗(yàn)證了優(yōu)化模型和聚合函數(shù)對(duì)于捕獲點(diǎn)之間信息的有效性。

本文針對(duì)所提出的聯(lián)邦共享模型進(jìn)行了模塊消融實(shí)驗(yàn)，結(jié)果如表4所示。FedRN為采取RandLA-Net作為骨干網(wǎng)絡(luò)取得的分割結(jié)果；PE為增強(qiáng)的位置編碼方式；FGA和BGA分別表示在第一和第二個(gè)局部特征聚合模塊后嵌入新穎的幾何衍射處理模塊；DGA為添加的雙層特征增強(qiáng)模塊。實(shí)驗(yàn)結(jié)果表明，在融合了PE和DGA方法后的聯(lián)邦模型取得了更好的效果，達(dá)到了56.6%的mIoU，提升了4.5個(gè)百分點(diǎn)。

另外，本文還針對(duì)提出的全局和局部?jī)?yōu)化方法進(jìn)行了消融實(shí)驗(yàn)，結(jié)果如表5所示。對(duì)于進(jìn)行聯(lián)邦后的三個(gè)數(shù)據(jù)集上訓(xùn)練得到的模型，在不加入FC（采取FL進(jìn)行優(yōu)化）和DW兩種方法得到的mIoU均為最差的效果，經(jīng)融合后得到的FedNRNP方法在不同用戶數(shù)量上提升顯著，均實(shí)現(xiàn)了同等條件下的最優(yōu)，驗(yàn)證了本文方法在應(yīng)對(duì)大場(chǎng)景下異端用戶差異化數(shù)據(jù)分布的魯棒性。

表6將本文方法與主流的大場(chǎng)景點(diǎn)云分割模型進(jìn)行對(duì)比，實(shí)驗(yàn)表明，相較于直接將數(shù)據(jù)暴露給原始服務(wù)器的其余四種方法，本文方法在分割性能和數(shù)據(jù)隱私上仍能取得較好的平衡。

4 結(jié)束語

鑒于現(xiàn)實(shí)大規(guī)模點(diǎn)云場(chǎng)景下的數(shù)據(jù)隱私敏感特性，本文設(shè)計(jì)了基于聯(lián)邦學(xué)習(xí)的點(diǎn)云語義分割算法，通過增強(qiáng)的局部特征聚合模塊提高每個(gè)鄰域內(nèi)的幾何信息捕捉和學(xué)習(xí)能力，進(jìn)一步優(yōu)化損失和全局聚合函數(shù)以提升魯棒性。由于點(diǎn)云本身具有很強(qiáng)的稀疏性，在經(jīng)過聯(lián)邦劃分后的數(shù)據(jù)集無法對(duì)多個(gè)分散的數(shù)據(jù)特征進(jìn)行完整的特征提取，所以進(jìn)一步優(yōu)化聯(lián)邦模型局部特征編碼提取器，學(xué)習(xí)到更多細(xì)節(jié)和更關(guān)鍵的點(diǎn)間幾何信息將是未來優(yōu)化的重點(diǎn)方向之一。

參考文獻(xiàn)：

［1］魏天琪，鄭雄勝.基于深度學(xué)習(xí)的三維點(diǎn)云分類方法研究［J］.計(jì)算機(jī)應(yīng)用研究，2022，39（5）：1289-1296.（Wei Tianqi，Zheng Xiongsheng.Research of deep learning-based classification methods for 3D point cloud［J］.Application Research of Computers，2022，39（5）：1289-1296.）

［2］張佳穎，趙曉麗，陳正，等.基于深度學(xué)習(xí)的點(diǎn)云語義分割綜述［J］.激光與光電子學(xué)進(jìn)展，2020，57（4）：20-38.（Zhang Jiaying，Zhao Xiaoli，Chen Zheng，et al.Review of point cloud semantic segmentation based on deep learning［J］.Laser & Optoelectronics Progress，2020，57（4）：20-38.）

［3］周傳鑫，孫奕，汪德剛，等.聯(lián)邦學(xué)習(xí)研究綜述［J］.網(wǎng)絡(luò)與信息安全學(xué)報(bào)，2021，7（5）：77-92.（Zhou Chuanxin，Sun Yi，Wang Degang，et al.Survey of federated learning research［J］.Chinese Journal of Network and Information Security，2021，7（5）：77-92.）

［4］Ma Xu，Qin Can，You Haoxuan，et al.Rethinking network design and local geometry in point cloud：a simple residual MLP framework［EB/OL］.（2022-11-29）［2023-07-20］.https：//arxiv.org/pdf/2202.07123.pdf.

［5］McMahan B，Moore E，Ramage D，et al.Communication-efficient learning of deep networks from decentralized data［EB/OL］.（2023-01-26）.https：//arxiv.org/pdf/1602.05629.pdf.

［6］Behley J，Garbade M，Milioto A，et al.SemanticKITTI：a dataset for semantic scene understanding of LiDAR sequences［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：9296-9306.

［7］Pan Yancheng，Gao Biao，Mei Jilin，et al.SemanticPOSS：a point cloud dataset with large quantity of dynamic instances［C］//Proc of IEEE Intelligent Vehicles Symposium.Piscataway，NJ：IEEE Press，2020：687-693.

［8］Tan Weikai，Qin Nannan，Ma Lingfei，et al.Toronto-3D：a large-scale mobile LiDAR dataset for semantic segmentation of urban roadways［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：797-806.

［9］朱威，繩榮金，湯如，等.基于動(dòng)態(tài)圖卷積和空間金字塔池化的點(diǎn)云深度學(xué)習(xí)網(wǎng)絡(luò)［J］.計(jì)算機(jī)科學(xué)，2020，47（7）：192-198.（Zhu Wei，Sheng Rongjin，Tang Ru，et al.Point cloud deep learning network based on dynamic graph convolution and spatial pyramid pooling［J］.Computer Science，2020，47（7）：192-198.）

［10］Lawin F J，Danelljan M，Tosteberg P，et al.Deep projective 3D semantic segmentation［C］//Proc of the 17th International Conference on Computer Analysis of Images and Patterns.Cham：Springer，2017：95-107.

［11］Wu Bichen，Wan A，Yue Xiangyu，et al.SqueezeSeg：convolutional neural nets with recurrent CRF for real-time road-object segmentation from 3D LiDAR point cloud［C］//Proc of IEEE International Confe-rence on Robotics and Automation.Piscataway，NJ：IEEE Press，2018：1887-1893.

［12］Iandola F N，Han Song，Moskewicz M W，et al.SqueezeNet：AlexNet-level accuracy with 50x fewer parameters and<0.5 MB model size［C］//Proc of the 5th International Conference on Learning Representations.2017.

［13］Huang Jing，You Suya.Point cloud labeling using 3D convolutional neural network［C］//Proc of the 23rd International Conference on Pattern Recognition.Piscataway，NJ：IEEE Press，2016：2670-2675.

［14］Tchapmi L，Choy C，Armeni I，et al.SEGCloud：semantic segmentation of 3D point clouds［C］//Proc of International Conference on 3D Vision.Piscataway，NJ：IEEE Press，2017：537-547.

［15］Qi C R，Su Hao，Mo K， et al.PointNet：deep learning on point sets for 3D classification and segmentation［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2017：77-85.

［16］Qi C R，Yi Li，Su Hao，et al.PointNet++：deep hierarchical feature learning on point sets in a metric space［C］//Proc of the 31st International Conference on Neural Information Processing Systems.2017：5105-5114.

［17］Zhao Hengshuang，Jiang Li，F(xiàn)u C W，et al.PointWeb：enhancing local neighborhood features for point cloud processing［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2019：5560-5568.

［18］Chen Linzhuo，Li Xuanyi，F(xiàn)an Dengping，et al.LSANet：feature lear-ning on point sets by local spatial aware layer［EB/OL］.（2019-06-20）［2023-07-20］.https：//arxiv.org/pdf/1905.05442.pdf.

［19］Zhao Chenxi，Zhou Weihao，Lu Li，et al.Pooling scores of neighboring points for improved 3D point cloud segmentation［C］//Proc of IEEE International Conference on Image Processing.Piscataway，NJ：IEEE Press，2019：1475-1479.

［20］Engelmann F，Kontogianni T，Hermans A，et al.Exploring spatial context for 3D semantic segmentation of point clouds［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2017：716-724.

［21］Ma Yanni，Guo Yulan，Liu Hao，et al.Global context reasoning for semantic segmentation of 3D point clouds［C］//Proc of IEEE Winter Conference on Applications of Computer Vision.Piscataway，NJ：IEEE Press，2020：2920-2929.

［22］Hu Qingyong，Yang Bo，Xie Linhai，et al.RandLA-Net：efficient semantic segmentation of large-scale point clouds［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2020：11105-11114.

［23］Hu Qingyong，Yang Bo，Xie Linhai，et al.Learning semantic segmentation of large-scale point clouds with random sampling［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2021，44（11）：8338-8354.

［24］Yang Aimin，Ma Zezhong，Zhang Chunying，et al.Review on application progress of federated learning model and security hazard protection［J］.Digital Communications and Networks，2023，9（1）：146-158.

［25］Dovrat O，Lang I，Avidan S.Learning to sample［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2019：2760-2769.

［26］Xu K，Ba J，Kiros R，et al.Show，attend and tell：neural image caption generation with visual attention［C］//Proc of the 32nd International Conference on Machine Learning.［S.l.］：JMLR.org，2015：2048-2057.

［27］Lin T Y，Goyal P，Girshick R，et al.Focal loss for dense object detection［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2020，42（2）：318-327.

［28］Shuai Hui，Xu Xiang，Liu Qingshan.Backward attentive fusing network with local aggregation classifier for 3D point cloud semantic segmentation［J］.IEEE Trans on Image Processing，2021，30：4973-4984.

［29］Cheng Huixian，Han Xianfeng，Jiang Hang，et al.PCB-RandNet：rethinking random sampling for lidar semantic segmentation in autonomous driving scene［EB/OL］.（2022-09-28）［2023-07-20］.https：//arxiv.org/pdf/2209.13797.pdf.