陳建文，趙麗麗，任藍草，孫卓群，張新峰，馬思偉

1.電子科技大學信息與通信工程學院，成都 611731；2.中國移動通信有限公司研究院，北京 100032；3.中國科學院大學計算機科學與技術學院，北京 100190；4.北京大學計算機學院，北京 100871

0 引言

隨著三維探測技術的發(fā)展，點云逐漸成為最常用的三維物體∕場景表征的數(shù)據(jù)類型之一，廣泛應用于自動駕駛、虛擬∕增強現(xiàn)實、文物修復以及虛擬導覽等諸多場景。受限于采集環(huán)境及硬件、物體間遮擋等因素，當前獲取的點云數(shù)據(jù)通常會出現(xiàn)結(jié)構(gòu)殘缺、點集稀疏或存在噪聲干擾等質(zhì)量受損的情況，而上述應用場景往往需要高質(zhì)量的點云進行處理分析。因此，點云質(zhì)量增強技術至關重要，該技術將有益于提高一系列下游機器感知任務的性能及人眼視覺體驗。與二維圖像∕視頻不同，三維點云一般包含點的空間坐標及其對應的屬性信息（顏色、法向量及反射強度等）。點云數(shù)據(jù)通常具有無序、無規(guī)則及稀疏的特性，這就意味著直接采用現(xiàn)有圖像∕視頻質(zhì)量增強方法對其進行處理較為困難。因此，設計點云質(zhì)量增強算法的需求日益增長，且充滿挑戰(zhàn)。

點云質(zhì)量增強方法按照增強的側(cè)重點不同，可分為點云補全、點云上采樣（超分辨率）和點云去噪。點云補全旨在對殘缺的點云進行結(jié)構(gòu)補全以恢復完整的點云信息；點云上采樣旨在對輸入的低分辨率（稀疏）的點云，基于先驗信息重建出高分辨率（稠密）的點云；點云去噪則旨在去除點云（存在噪聲干擾）中的噪聲點。

點云質(zhì)量增強的研究可追溯到21世紀初（Alexa等，2003）。傳統(tǒng)點云質(zhì)量增強方法高度依賴點云結(jié)構(gòu)先驗信息以及輔助信息，僅能處理如在形狀數(shù)據(jù)庫中存在真值模板的點云數(shù)據(jù)（Mitra 等，2006）或具有準確法向量標定的點云數(shù)據(jù)（Huang 等，2013）等。近年，基于深度學習的方法借助深度卷積神經(jīng)網(wǎng)絡強大的特征學習能力，獲得了更佳的點云質(zhì)量增強性能，受到了眾多學者的廣泛關注。因此，本文將對基于深度學習的點云質(zhì)量增強方法展開綜述。

根據(jù)輸入數(shù)據(jù)的不同類型，基于深度學習的點云補全方法可分為基于體素的方法，如Sharma 等人（2016）和Han 等人（2017）的方法等，以及基于點的方法，如Yuan 等人（2018）和Liu 等人（2020）的方法等?；邳c的方法可進一步劃分為基于編碼器—解碼器結(jié)構(gòu)的方法，如Tchapmi 等人（2019）的方法，以及不采用編碼器—解碼器結(jié)構(gòu)的方法，如Xie 等人（2021）的方法。其中，基于編碼器—解碼器的方法，又可劃分為基于編碼器—解碼器普通結(jié)構(gòu)的方法，如Wen 等人（2020）的方法，以及基于編碼器—解碼器—生成對抗網(wǎng)絡（generative adversarial network，GAN）結(jié)構(gòu)的方法，如Wang等人（2020a）的方法。根據(jù)網(wǎng)絡的主要結(jié)構(gòu)特點，基于深度學習的點云上采樣方法可大致劃分為基于卷積神經(jīng)網(wǎng)絡（convolutional neural network，CNN）的方法（如Yu等人（2018）的方法），基于GAN的方法（如Li等人（2019b）的方法），以及基于圖卷積神經(jīng)網(wǎng)絡的方法（如Qian等人（2021a）的方法）?；谏疃葘W習的點云去噪方法可根據(jù)是否采用編碼器—解碼器結(jié)構(gòu)分為兩類：基于編碼器—解碼器結(jié)構(gòu)的方法，如NPD（neural projection denoising）（Duan 等，2019），以及不采用編碼器—解碼器的方法，如GPDNet（graph-convolutional point denoising network）（Pistilli 等，2020）等。本文對基于深度學習的點云補全、上采樣以及去噪方法分別展開介紹并對比了性能。全文組織架構(gòu)如圖1所示，各分類對應的優(yōu)缺點總結(jié)參見表1。

表1 基于深度學習的點云質(zhì)量增強任務總結(jié)Table 1 Summary of deep learning-based point cloud quality enhancement tasks

圖1 基于深度學習的點云質(zhì)量增強技術總覽Fig.1 Overview of deep learning-based point cloud quality enhancement techniques

1 關鍵技術

在對基于深度學習的3 類點云質(zhì)量增強方法的基本結(jié)構(gòu)進行梳理歸納后，本節(jié)總結(jié)介紹了深度卷積神經(jīng)網(wǎng)絡應用于點云質(zhì)量增強時通用的基礎知識和關鍵算法模塊。

1.1 點云先驗知識

點云一般包含點的三維坐標和對應的屬性信息（顏色、法向量和反射強度等），其主要具備兩種特點：1）置換不變性（即無序性，如圖2），點集中的各個點沒有固定的順序；2）剛體旋轉(zhuǎn)平移不變性（如圖3），即對點云進行旋轉(zhuǎn)和平移操作后，不會改變點云的形狀。

圖2 置換不變性Fig.2 Permutation invariance

圖3 旋轉(zhuǎn)不變性Fig.3 Rotation invariance

1.2 PointNet與PointNet++

隨著深度學習技術的興起，面向點云分析的深度卷積神經(jīng)網(wǎng)絡也迅速出現(xiàn)并不斷發(fā)展。其中，PointNet（Qi 等，2017a）和PointNet++（Qi 等，2017b）是后續(xù)大量相關工作的技術基礎。

PointNet 的網(wǎng)絡結(jié)構(gòu)如圖4 所示。該網(wǎng)絡引入了T-Net（transformation network）對輸入點云及中間特征進行變換，并利用一系列多層感知器（multilayer perception，MLP）及最大池化層提取點云的特征。其中，MLP將點云映射到高維特征空間，并使用具有對稱函數(shù)特征的最大池化層以保證網(wǎng)絡處理過程中點云數(shù)據(jù)的置換不變性；T-Net 由點特征提取、最大池化及全連接層等基本模塊組成，用于生成一個仿射變換矩陣，從而對點云的旋轉(zhuǎn)、平移等變化進行規(guī)范化處理。

圖4 PointNet網(wǎng)絡結(jié)構(gòu)（Qi等，2017a）Fig.4 Structure of PointNet（Qi et al.，2017a）

盡管PointNet 的設計考慮了點云的置換不變性和旋轉(zhuǎn)平移不變性，但網(wǎng)絡暴力地將所有的點通過最大池化生成為一個全局特征，因此并不能較好地學習到點與點之間的局部關聯(lián)性。

在PointNet 的基礎上，PointNet++加強了對局部特征的學習，其結(jié)構(gòu)如圖5 所示。PointNet++借鑒了傳統(tǒng)CNN 中多層感受野的思想，建立了分層學習機制，通過在小區(qū)域內(nèi)構(gòu)建“點云采樣—點云分組—局部特征提取”的模式，學習點云局部區(qū)域的特征。

PointNet 和PointNet++作為最具代表性的點云分析算法，極大地推動了深度學習在點云分析中的應用發(fā)展，其技術思想已廣泛應用于點云處理任務，例如點云上采樣（Yu 等，2018）、點云補全（Yuan 等，2018）和點云去噪（Rakotosaona等，2020）。

1.3 邊緣卷積模塊（EdgeConv）

與二維圖像不同，點云缺乏空間幾何拓撲關系，PointNet（Qi 等，2017a）忽視了點與點之間的幾何相關性，故影響了模型的整體性能。針對這一問題，DGCNN（dynamic graph convolutional neural network）（Wang 等，2019a）提出了邊緣卷積模塊（edge convolution，EdgeConv）捕獲空間局部幾何信息，并融合點間局部關系與全局信息的邊特征，如圖6所示。

圖6 EgdeConv網(wǎng)絡結(jié)構(gòu)（Wang等，2019a）Fig.6 Structure of EdgeConv（Wang et al.，2019a）

1.4 折疊解碼器（FoldingNet）

FoldingNet 折疊解碼器（Yang 等，2018）是一種通用的點云重構(gòu)方法，其基本結(jié)構(gòu)如圖7 所示。這種折疊解碼方法的本質(zhì)是二維—三維的映射操作，可看做是一種將編碼器的輸出作為參數(shù)用以指導網(wǎng)格點結(jié)構(gòu)參數(shù)化的高維函數(shù)。在FoldingNet（Yang等，2018）所完成的視覺任務中，主要包含兩次折疊操作：1）將二維網(wǎng)格折疊到3D 空間中；2）在3D 空間進一步折疊細化。相比于全連接解碼器，折疊解碼器能夠更好地構(gòu)建出點云的完整結(jié)構(gòu)（Yuan 等，2018）。因此，許多點云補全與上采樣算法中都采用了折疊解碼器的思想進行點云重建，如（Yuan 等，2018；Li等，2019b）等。

圖7 FoldingNet網(wǎng)絡結(jié)構(gòu)（Yang等，2018）Fig.7 Structure of FoldingNet（Yang et al.，2018）

2 基于深度學習的點云補全算法

由于環(huán)境、硬件設備以及物體間的遮擋等原因，傳感器采集到的數(shù)據(jù)點往往是不完整的。點云補全旨在對于一個殘缺或局部的輸入點云，生成一個具備完整形狀的點集。根據(jù)處理數(shù)據(jù)的類型，基于深度學習的點云補全算法可分為基于體素的方法，如（Sharma 等，2016）等，以及基于點的方法，如（Yuan等，2018）等。本節(jié)對具有代表性的算法展開了綜述，算法發(fā)展時間軸如圖8 所示，并總結(jié)了各算法的特點及優(yōu)缺點，如表2所示。

表2 具有代表性的基于深度學習的點云補全算法總結(jié)Table 2 Summary of representative deep learning-based point cloud completion algorithms

圖8 基于深度學習的點云補全算法時間軸Fig.8 Chronological overview of deep learning-based point cloud completion algorithms

2.1 基于體素的方法

由于點云的不規(guī)則性和無序性，普通卷積不能直接應用于3D 點云，一些方法（Sharma 等，2016；Dai等，2017；Varley等，2017；Han等，2017；Liu等，2019）將點云二值體素化后，再應用3D卷積神經(jīng)網(wǎng)絡進行處理。

Sharma 等人（2016）采用全卷積的體素化自編碼器VConv-DAE（convolutional denoising auto encoder for volumetric representations），端到端地學習體素到體素的映射關系。Dai等人（2017）通過3D-EPN（3Dencoder-predictor network）推斷出粗略形狀后，基于最近鄰的體積補丁合成方法實現(xiàn)進一步細化。在其基礎上，Han 等人（2017）額外引入了局部編碼器—預測器結(jié)構(gòu)，在全局結(jié)構(gòu)推理網(wǎng)絡的指導下，通過局部幾何細化網(wǎng)絡逐步生成完整的表面。

雖然此類基于三維卷積的補全算法得到了飛速發(fā)展，但體素化本身依舊會帶來量化效應，在轉(zhuǎn)化的過程中導致原始點云幾何信息的不可逆損失，無法保證細粒度。為此，Xie 等人（2020）引入 3D 網(wǎng)格以表征無序點云，并提出一種新穎的網(wǎng)格化殘差網(wǎng)絡（gridding residual network，GRNet），通過兩個可微分層在不丟失結(jié)構(gòu)信息的情況下實現(xiàn)點云和 3D 網(wǎng)格之間的轉(zhuǎn)換，但其僅適用于低分辨率點云的補全。為此，Wang 等人（2021b）提出了VE-PCN（voxelbased network for point cloud completion by leveraging edge generation），在邊緣假想圖（hallucinated edges）的指導下，提取結(jié)構(gòu)信息并生成物體邊緣以實現(xiàn)高分辨率點云的補全。此外，也有部分研究者專注于弱監(jiān)督算法的實現(xiàn)（Stutz 和Geiger，2018）及計算成本與內(nèi)存需求的優(yōu)化（Liu等，2019）。

2.2 基于點的方法

隨著3D卷積的發(fā)展，基于體素的補全算法不斷地更新迭代，取得了較好的補全效果。但其仍然存在著很大的局限性：1）點云的體素化表示存在較大的空間冗余，存儲成本高；2）體素或3D 網(wǎng)格的大小難以確定；3）體素化會帶來量化效應，造成信息損失。因此，在PointNet（Qi 等，2017a）和PointNet++（Qi 等，2017b）的結(jié)構(gòu)基礎上，基于點的補全方法得到廣泛研究，這類方法直接作用于原始點云，對其空間結(jié)構(gòu)特征給予充分考慮，并解決了基于體素的方法所帶來的存儲成本過高和量化誤差的問題，實現(xiàn)了更少參數(shù)的高分辨率點云補全。根據(jù)是否采用編碼器—解碼器結(jié)構(gòu)，基于點的方法可以劃分為兩類。

2.2.1 基于編碼器—解碼器的方法

基于編碼器—解碼器結(jié)構(gòu)的方法可按照是否采用GAN 結(jié)構(gòu)進行二次分類，即基于編碼器—解碼器普通結(jié)構(gòu)的方法與基于編碼器—解碼器—GAN 結(jié)構(gòu)的方法。

1）基于編碼器—解碼器普通結(jié)構(gòu)的方法。Encoder-Decoder（編碼器—解碼器）結(jié)構(gòu)是基于點的補全模型中最常使用的一種結(jié)構(gòu)。Yuan 等人（2018）提出的PCN（point completion network）是點云補全領域第1 個直接對3D 坐標進行處理的機器學習架構(gòu)。其編碼器將輸入點云投影為高維全局特征向量，解碼器采用折疊網(wǎng)絡（Yang 等，2018）（如圖7）的思想模擬二維平面變形，將代表點云特征的二維網(wǎng)格點映射到三維空間。

隨后，許多類似的方法（Tchapmi等，2019；Zhang等，2020a；Zhao 等，2022b；Wang 等，2022d）不斷涌現(xiàn)，實現(xiàn)了更高分辨率、更好魯棒性的點云補全。然而，直接應用編碼器—解碼器架構(gòu)的模型僅基于嵌入的全局特征構(gòu)建完整的形狀，往往導致細粒度信息的丟失。因此，如何更好地學習點云局部結(jié)構(gòu)特征，成為實現(xiàn)高質(zhì)量精細化補全的關鍵問題。針對該問題，現(xiàn)有工作主要集中于3 個方面：（1）探索多階段或多路徑；（2）局部特征學習效率；（3）全局特征與局部特征融合。

在多階段或多路徑復原策略的嘗試中，Liu等人（2020）引入細化模型，首次將點云補全分為“粗糙—細化”兩個階段。類似地，F(xiàn)inerPCN（finer point cloud completion network）（Chang 等，2021）也沿用此思路。部分工作（Luo 等，2020；Pan 等，2021；Xia 等，2021）提出雙路徑多分支的體系結(jié)構(gòu)，基于特征匹配的思想，以殘缺點云和完整點云分別作為兩分支輸入對模型進行訓練。

為了提升局部結(jié)構(gòu)特征的學習效率，Wen 等人（2020）提出了一種包含跳躍連接的注意力機制模型，將局部區(qū)域細節(jié)特征與對應分辨率層級連接，提升了對局部特征的利用率。PoinTr（Yu 等，2021）與PCTMA-Net（point cloud Transformer with morphing atlas-based point generation network）（Lin 等，2021）將Transformer（Vaswani等，2017）應用于補全，將補全問題轉(zhuǎn)換為“殘缺點云—完整點云”的翻譯任務，更好地表征了點云空間特征與空間結(jié)構(gòu)關系。此外，考慮到圖的拓撲關系可以表征點云的空間結(jié)構(gòu)，Pan（2020）首次將圖卷積引入點云補全領域，提出了一種邊緣感知補全結(jié)構(gòu)。類似地，Wu和Miao（2021）與張京軍等人（2022）也在補全工作中采用了圖卷積結(jié)構(gòu)。

除了考慮局部特征的提取效率，全局特征與局部特征的融合策略對于補全性能的提升也有重要影響。SoftPoolNet（Wang等，2020c）提出了一種新的特征融合方法（softmaxing），在不同分辨率層級進行多次最大池化，保留多個高激活度的特征，減少了編碼帶來的損失。Son 和Kim（2021）設計了一個可以從編碼器中間層捕獲局部上下文多層信息的模塊SAUM，各個層級的特征在該模塊中被擴展、聚合，實現(xiàn)幾何細節(jié)的精細復原。

此外，也有部分研究專注于解決內(nèi)存消耗（Huang 等，2021）、位姿對齊（Shi 等，2022）和多對象點云補全（Zhao等，2022b）等額外問題。

2）基于編碼器—解碼器—GAN 結(jié)構(gòu)的方法。近年來，生成對抗網(wǎng)絡得到了廣泛的研究，在一些應用上取得了較好的效果。因此，研究者嘗試在編碼器—解碼器基礎上引入GAN，以實現(xiàn)更好的點云補全性能，如，趙新燦等人（2021a）、Cheng等人（2021）、Liu 等人（2022a）等。與基于編碼器—解碼器普通結(jié)構(gòu)的方法類似，額外引入GAN 結(jié)構(gòu)的方法也著重于重建精細的局部結(jié)構(gòu)。通過“粗糙—細化”雙階段補全（Wang 等，2020a）、采用Transformer（Vaswani 等，2017）結(jié)構(gòu)（Liu 等，2022a）等方法，對GAN 進行優(yōu)化，以獲得更加細節(jié)化的點云。同時，為了加強對點云個體特征的學習，而非只關注其所屬類別特征，Huang 等人（2020）提出了基于多分辨率編碼器和金字塔解碼器的PF-Net（point fractal network）。Chen 等人（2022b）和Zhu 等人（2021）在其基礎上，分別通過拓展MLP 層級結(jié)合范圍和點秩采樣（point rank sampling，PRS）進一步改進補全效果。

此外，也有部分研究者（Sarmad 等，2019）嘗試將強化學習（reinforcement learning，RL）與GAN 網(wǎng)絡結(jié)合，使用RL 代理作為隱式空間的表征控制GAN，從而降低優(yōu)化的復雜度，提高網(wǎng)絡效率。同時，由于GAN 強大的生成能力，該結(jié)構(gòu)廣泛應用于基于無監(jiān)督學習的點云補全任務（Chen 等，2020；Wen 等，2021a；Wang等，2022c；Cai等，2022）。

2.2.2 不采用編碼器—解碼器結(jié)構(gòu)的方法

盡管基于編碼器—解碼器的結(jié)構(gòu)在點云補全任務中得到廣泛運用，但此類僅使用隱式特征編碼的點云生成方法難以捕捉離散點的詳細拓撲結(jié)構(gòu)。于是，研究者探索了如基于“粗糙—細化”框架的SFANet（separated feature aggregation network）（Zhang 等，2020b）、GAN 的逆映射（Zhang 等，2021b）、基于流的網(wǎng)絡（Bao 等，2022）、基于生成樹思想的雪花點反卷積（snowflake point deconvolution）網(wǎng) 絡（Xiang 等，2021）、基于三維曲面函數(shù)的網(wǎng)絡（Yan 等，2020）、基于特征風格的SpareNet（style-based point generator with adversarial rendering）（Xie 等，2021）和Seed-Former（Zhou等，2022a）等其他不同結(jié)構(gòu)的補全網(wǎng)絡架構(gòu)。此外，SK-PCN（skeleton-bridged point completion network）（Nie 等，2020）將點云補全劃分為結(jié)構(gòu)估計和表面重建兩個階段。Tang 等人（2022）也采用了這種“骨架—形狀”的補全思路，并設計了非對稱關鍵點定位器實現(xiàn)關鍵點的對齊。Wen 等人（2021b）通過建立完整點云和殘缺點云間的逐點對應關系，預測點的移動路徑。隨后，Wen等人（2023）在此基礎上引入了Transformer（Vaswani 等，2017）框架，改進特征提取模塊。

3 基于深度學習的點云上采樣算法

點云上采樣的任務是：給定一個輸入點云，在不破壞其幾何結(jié)構(gòu)信息的前提下，對其進行上采樣，從而生成一個較密集的點云。根據(jù)網(wǎng)絡的主要特點，基于深度學習的點云上采樣方法可大致劃分為：1）基于卷積神經(jīng)網(wǎng)絡的方法；2）基于GAN 的方法；3）基于圖卷積神經(jīng)網(wǎng)絡的方法。本節(jié)對具有代表性的算法展開綜述，算法發(fā)展時間軸如圖9 所示，并總結(jié)了各算法的特點及優(yōu)缺點，如表3所示。

圖9 基于深度學習的點云上采樣算法時間軸Fig.9 Chronological overview of deep learning-based point cloud upsampling algorithms

3.1 基于卷積神經(jīng)網(wǎng)絡的方法

Yu等人（2018）提出的PU-Net（point cloud upsampling network）是首個將深度學習用于點云上采樣的模型。它以PointNet++（Qi 等，2017b）作為分層特征提取模塊，提取并聚合不同分辨率層級下的點云特征。在其基礎上，Yu 等人（2018）采用4 個損失函數(shù)確保生成點在邊緣處的良好聚集性，及在平面附近的均勻性。這些方法雖然取得了較好效果，但仍無法填補較大空洞，局部細節(jié)較為粗糙。因此，一些上采樣工作通過探索其他特征學習方式以提高局部精細度。

Wang 等人（2019b）提出一種級聯(lián)漸進式模型，其由一系列具有相同結(jié)構(gòu)的上采樣單元組成，用于處理不同采樣率層級的點云，大大提升了現(xiàn)有上采樣模型的性能。Zhang 等人（2021c）以U-Net（Ronneberger 等，2015）為基礎，通過使用基于PointNet++的下—特征算子和基于FoldingNet（Yang 等，2018）的上—特征算子，實現(xiàn)漸進式的特征學習。Li 等人（2021）提出了一個用于點云上采樣的解耦細化框架Dis-PU（disentangled refinement point cloud upsampling network），將上采樣任務分解為“粗糙—細化”兩個步驟。PUGeo-Net（geometry-centric network for 3D point cloud upsampling）（Qian 等，2020）將離散微分幾何與深度學習相結(jié)合，在二維參數(shù)空間中對點云進行擴展后，再映射到三維空間。該方法也額外補充了每一個點所對應的法向量，進一步提升了三維信息的豐富度。此外，SSPU-Net（self-supervised point cloud upsampling network）（Zhao 等，2021b）首次提出了基于自監(jiān)督學習的點云上采樣模型。

然而，大多數(shù)點云上采樣工作僅針對單對象稠密點云，而沒有考慮復雜場景點云。針對這個問題，Chen 等人（2023b）提出了一種面向LiDAR（light detection and ranging）點云的上采樣方法LiUpNet，該方法引入一種基于Transformer（Vaswani 等，2017）的局部特征提取算法，以實現(xiàn)對自然復雜場景的魯棒性表征。

此外，目前大多數(shù)點云上采樣算法都是針對單幀點云進行處理，忽略了點云序列的時域相關性。針對這個問題，Wang 等人（2021a）提出了基于時空域相關性的點云上采樣框架SPU，對于輸入的動態(tài)點云序列，生成具有時域一致性且更精細的點云。然而，不同于以往的基于補丁的點云上采樣方法，SPU 框架使用整個幀作為輸入，因此僅適用于簡單點云對象數(shù)據(jù)集（如人體、人臉）。針對該問題，Wang等人（2022b）進一步提出了一個基于補丁的點云序列上采樣框架VPU，用補丁策略替代整幀輸入，從而更有效地利用了低分辨率點云幀序列的時域相關性。

綜上所述，依托于深度神經(jīng)網(wǎng)絡的大量研究基礎，基于卷積神經(jīng)網(wǎng)絡的方法仍是點云上采樣領域的主流結(jié)構(gòu)。然而，使用基于卷積神經(jīng)網(wǎng)絡簡單復制特征從而生成新點的上采樣策略，容易阻礙網(wǎng)絡模型學習特征細節(jié)（Liu等，2022a），造成上采樣后點云結(jié)構(gòu)細節(jié)的缺失。因此，更多的網(wǎng)絡結(jié)構(gòu)（如生成對抗網(wǎng)絡和圖卷積結(jié)構(gòu)）被引入到點云上采樣工作中。

3.2 基于GAN的方法

考慮到GAN 結(jié)構(gòu)在隱式特征學習方面的巨大優(yōu)勢，Li 等人（2019b）首次嘗試將GAN 應用于點云上采樣，提出了PU-GAN（point cloud upsampling adversarial network）。其中，使用MPU（Wang 等，2019b）中特征提取模塊的生成器以生成較為密集、均勻的點云，同時采用點云補全網(wǎng)絡PCN（Yuan 等，2018）結(jié)構(gòu)的鑒別器對生成點云進行判別，并計算置信度。PU-Refiner（Liu 等，2022a）采用與PU-GAN（Li等，2019b）類似的結(jié)構(gòu)，并引入了細化模塊，以合成的粗糙上采樣點云及其特征作為輸入，通過多頭Transformer（Vaswani 等，2017）預測坐標偏移特征，實現(xiàn)結(jié)構(gòu)細節(jié)的進一步調(diào)整。ZSPU（zero-shot point cloud upsampling）（Zhou等，2022b）則基于生成對抗網(wǎng)絡框架，設計了以整個點云而非補丁點云作為唯一輸入的點云上采樣方法，避免了預處理補丁步驟及復雜的訓練設置，并減少了訓練樣本的數(shù)量和時間。

相較于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡，GAN 能夠通過生成器和鑒別器之間的對抗，更好地學習點云的真實分布特點。然而，由于生成器和鑒別器之間難以平衡，成功地訓練GAN 模型有一定的挑戰(zhàn)性（Li 等，2019b）。

3.3 基于圖卷積神經(jīng)網(wǎng)絡的方法

考慮到圖卷積神經(jīng)網(wǎng)絡（graph convolutional network，GCN）在提取空間拓撲結(jié)構(gòu)上的優(yōu)勢（張新良等，2020；宋巍 等，2021），研究者嘗試將圖卷積結(jié)構(gòu)應用于點云上采樣。PU-GCN（Qian 等，2021b）在GCN（Li等，2019a）的基礎上提出可動態(tài)聚合相鄰點信息的DenseGCN模塊。

Flexible-PU（Qian 等，2021b）、Meta-PU（Ye 等，2022）、SAPCU（self-supervised arbitrary-scale point clouds upsampling）（Zhao 等，2022a）、NeuralPoints（Feng 等，2022）等探索了如何利用圖卷積實現(xiàn)任意尺度的點云上采樣。其中，F(xiàn)lexible-PU（Qian 等，2021b）基于局部幾何結(jié)構(gòu)以自適應地學習插值權重。Meta-PU（Ye 等，2022）基于元學習來預測網(wǎng)絡的權重，并動態(tài)地改變每個比例因子，以實現(xiàn)動態(tài)點云上采樣。

考慮到稀疏點云由于信息損失導致相關語義任務性能不佳的問題，Li 等人（2022）提出由上采樣和分類模塊共同組成的語義上采樣網(wǎng)絡，用上采樣結(jié)果在分類模塊上的表現(xiàn)作為監(jiān)督信號從而訓練上采樣模塊。

最近，更多的工作基于圖卷積結(jié)構(gòu)提出了新穎的方法。Mao 等人（2022）提出了點云上采樣框架PU-Flow，借助標準化流的可逆能力，無損地在歐幾里得空間和隱式分布之間轉(zhuǎn)換點云。SPU-Net（Liu等，2022b）通過從下采樣的補丁中反復上采樣的方式實現(xiàn)自監(jiān)督的點云上采樣，并通過 “粗糙—細化”的框架及自投影優(yōu)化損失提升上采樣的性能。

BIMS-PU（bi-directional and multi-scale point cloud upsampling）（Bai等，2022）則通過結(jié)合特征金字塔結(jié)構(gòu)和雙向上∕下采樣途徑，產(chǎn)生多尺度點特征層次，聚合出更具細節(jié)性的特征。

綜上所述，圖卷積結(jié)構(gòu)通過利用圖拓撲結(jié)構(gòu)學習點與點之間的聯(lián)系，幫助點云上采樣網(wǎng)絡聚合點鄰域信息，從而提升對結(jié)構(gòu)細節(jié)的學習能力。然而，點云網(wǎng)絡中的圖卷積結(jié)構(gòu)往往需要借助K-近鄰算法建立鄰域關系，往往引入較高的計算復雜度。此外，不同點云類型也將影響網(wǎng)絡中鄰域范圍的劃定，即K-近鄰中K值的選取，將為實驗帶來一定的復雜度提升。

4 基于深度學習的點云去噪算法

受掃描設備以及環(huán)境因素影響，采集到的點云數(shù)據(jù)通常受到噪聲的干擾。點云去噪的任務是：給定一個存在噪聲的點云，在不破壞其原本幾何結(jié)構(gòu)的前提下，盡可能去除其中的噪聲點?，F(xiàn)階段基于深度學習的點云去噪方法可根據(jù)是否采用編碼器—解碼器結(jié)構(gòu)分為兩類。本節(jié)對具有代表性的基于深度學習的點云去噪算法展開了綜述，算法發(fā)展時間軸如圖10 所示，并梳理總結(jié)了算法的特點及優(yōu)缺點，如表4所示。

表4 具有代表性的基于深度學習的點云去噪算法總結(jié)Table 4 Summary of representative deep learning-based point cloud denoising algorithms

圖10 基于深度學習的點云去噪算法時間軸Fig.10 Chronological overview of deep learning-based point cloud denoising algorithms

4.1 基于編碼器—解碼器結(jié)構(gòu)的方法

Duan 等人（2019）提出基于神經(jīng)網(wǎng)絡的去噪架構(gòu)NPD，使用卷積神經(jīng)網(wǎng)絡學習點云的全局和局部特征，通過將噪聲點投影到估計參考平面，實現(xiàn)去噪。

在其之后，許多類似的工作紛紛涌現(xiàn)（Duan 等，2019；Zhang 等，2021a；Luo 和Hu，2020）。羅開乾等人（2020）提出了一種可微流形重構(gòu)的點云去噪方法，在下采樣—上采樣的架構(gòu)中學習噪聲點云的底層流形（表面）進行重建?？紤]到在實際應用場景中，不存在無噪聲真值點云，Casajus 等人（2019）提出了一種無監(jiān)督的點云去噪方法，該方法采用基于蒙特卡洛卷積（Hermosilla等，2018）的編碼器—解碼器結(jié)構(gòu)，以空間局部相關性和雙邊顏色外觀作為先驗信息，將點云映射到自身，無需監(jiān)督信號即可完成模型的訓練。實驗結(jié)果表明，即使使用相同數(shù)量的訓練示例，該方法仍然優(yōu)于同期有監(jiān)督學習的方法。

此外，不同于以往針對單物體的去噪，Gao 等人（2022）首次將深度學習應用于大規(guī)模場景點云反射強度中噪聲的去除。將點云場景轉(zhuǎn)換為包含反射強度的二值距離圖后，再采用基于Transformer 架構(gòu)（Vaswani等，2017）的算法進行噪聲的分割與去除。

4.2 不采用編碼器—解碼器結(jié)構(gòu)的方法

現(xiàn)階段，基于編碼器—解碼器結(jié)構(gòu)的點云去噪算法大多聚焦于點云高維特征提取效率的提升，以實現(xiàn)更精準的點云噪聲點去除。與此同時，部分研究者也對圖卷積、循環(huán)神經(jīng)網(wǎng)絡（recurrent neural network，RNN）等其他各類結(jié)構(gòu)進行了充分的探索與嘗試。

基于PointNet 的變形網(wǎng)絡模型PCPNet（Guerrero等，2018），PointCleanNet（Rakotosaona 等，2020）采用兩個PCPNet 分別完成移除離群點（Outliers）和學習偏移向量（每個點的噪聲偏移向量）兩個子任務。此外，也有一些工作基于圖卷積神經(jīng)網(wǎng)絡實現(xiàn)點云去噪。Pistilli 等人（2020）提出了一種基于圖卷積神經(jīng)網(wǎng)絡的點云去噪模型GPDNet，根據(jù)點云高維表征之間的相似性，動態(tài)地構(gòu)建點云鄰域關系。相比于直接在XYZ 空間中定義，該方法能夠更精準地為不同點之間的潛在相關性進行建模。在此基礎上，Pistilli 等人（2021）對GPDNet 進行改進，并提出了GPODNet（graph-convolutional point outlier removal and denoising network）：所提取的點云空間特征分別進入兩個分支：1）基于點二分類器的異常點去除分支；2）基于圖卷積和殘差的點云去噪分支。

在噪聲點云分布模型的啟發(fā)下，Luo 和Hu（2021）將噪聲點云建模為噪聲卷積分布的樣本，并設計神經(jīng)網(wǎng)絡結(jié)構(gòu)以估計分布的分數(shù)。之后，Chen等人（2023a）對其進行了改進，基于K-近鄰算法設計了連續(xù)梯度場估計網(wǎng)絡，并采用馬爾可夫鏈蒙特卡洛（Markov chain Monte Carlo，MCMC）算法對退化的點云進行重采樣?？紤]到RNN 在特征聚合方面的優(yōu)勢，RePCD-Net（recurrent point cloud denoising network）（Chen 等，2022a）設計了4 個關鍵模塊：多尺度鄰域采樣模塊、多尺度特征提取模塊、多尺度特征聚合模塊以及點云重建模塊。得益于整體循環(huán)結(jié)構(gòu)與殘差估計對噪聲的精確建模，該網(wǎng)絡能夠在去噪的同時，較好地保留原始點云的局部幾何結(jié)構(gòu)特征。

5 性能評估

本節(jié)對常用點云數(shù)據(jù)集進行了歸納總結(jié)，梳理了廣泛應用于性能評估的多種評價指標及其適用范圍，并對比分析了各代表性算法的性能。此外，本文匯總了涉及的文獻及其開源代碼，詳見鏈接https：∕∕github.com∕LilydotEE∕Point_cloud_quality_enhancement。

5.1 常用數(shù)據(jù)集

本小節(jié)介紹在基于深度學習的點云質(zhì)量增強任務中常用的數(shù)據(jù)集，如表5 所示。數(shù)據(jù)集可分為兩類：1）人工合成的點云數(shù)據(jù)，如：ShapeNet（https：∕∕shapenet.org∕），ModelNet40（https：∕∕modelnet.cs.princeton.edu∕），SHREC15（https：∕∕www.icst.pku.edu.cn∕zlian∕representa∕3d15∕index.htm），PCN（https：∕∕wentaoyuan.github.io∕pcn∕），Completion3D（https：∕∕opendatalab.com∕Completion3D）等；2）真實掃描獲取的點云數(shù)據(jù)，如：KITTI（https：∕∕www.cvlibs.net∕datasets∕kitti∕），CARLA（http：∕∕carla.org∕），nuScenes（https：∕∕nuscenes.org∕）等。前者常由室內(nèi)場景或單個物體的三維模型轉(zhuǎn)換而成（如ShapeNet、ModelNet40 等均提供網(wǎng)格—點云的轉(zhuǎn)換工具），后者則常由LiDA-R、RGB-D相機等三維傳感器采集得到。

表5 常用數(shù)據(jù)集總結(jié)Table 5 Summary of commonly-used point cloud datasets

5.2 評價指標

本小節(jié)介紹了幾種廣泛應用于點云質(zhì)量增強性能評估的評價指標，并對其進行歸納總結(jié)。

點云質(zhì)量增強的性能評價指標主要有倒角距離（chamfer distance，CD）、陸地移動距離（Fan 等，2017）（earth mover’s distance，EMD）、豪斯多夫距離（Berger 等，2013）（Hausdorff distance，HD）及點到面距離（point to surface distance，P2F）等。各評價指標的側(cè)重點、使用要求以及評估方法如表6所示。

表6 常用的點云質(zhì)量增強評價指標總結(jié)Table 6 Summary of commonly-used evaluation metrics for point cloud quality enhancement

1）倒角距離CD定義為

式中，S1和S2分別代表重建點云和原始點云，符號右側(cè)第1項代表S1中任意一點到點集S2的最小距離之和，第2 項代表S2中任意一點到點集S1的最小距離之和。

2）陸地移動距離EMD定義為

式中，?：S1→S2代表從點集S1到S2，使得對應點之間平均距離最小的一種映射，可由最優(yōu)化算法求得。

3）豪斯多夫距離HD定義為

式中，h(S1，S2)和h(S2，S1)分別表示點集S1到點集S2最近點的最大距離和點集S2到點集S1最近點的最大距離，即

4）點到面的距離P2F定義為

式中，S1表示重建點云，β表示原始表面，d(x，β)表示點云中任一點與原始表面之間的最小距離。

5.3 點云補全性能評估

本小節(jié)對基于深度學習的幾種代表性點云補全方法進行了性能對比，并結(jié)合網(wǎng)絡結(jié)構(gòu)對性能結(jié)果進行了分析。

由于對點云補全網(wǎng)絡進行訓練時，不同的設備與數(shù)據(jù)集都會影響算法的最終性能，除此之外，部分優(yōu)化算法需要額外的邊信息，如人工標注的物體邊界，因此，本小節(jié)僅對比了在常用數(shù)據(jù)集上主流算法的性能，如表7—表9所示。

各類算法在ShapeNet（Chang等，2015）衍生數(shù)據(jù)集PCN（Yuan 等，2018）上的性能對比結(jié)果如表7 所示，數(shù)據(jù)源于MSN（morphing and sampling network）（Liu 等，2020）、CRN-self（cascaded refinement network with self-supervision）（Wang 等，2022c）、PoinTr（Yu 等，2021）、PMPNet（Wen 等，2021b）、SnowflakeNet（Xiang 等，2021）、SeedFormer（Zhou 等，2022a）和PMP-Net++（Wen 等，2023）?？梢钥吹剑靡嬗谧⒁饬C制，點云特征的提取效率大大提升，PoinTr（Yu 等，2021）、PMP-Net++（Wen 等，2023）均在指標均值上取得了較大突破。SFA-Net（Zhang等，2020b）與CRN（Wang等，2020a）帶來的性能提升，直觀印證了采用“粗糙—細化”多階段進行補全重建的思路是有效且值得探索的。SnowflakeNet（Xiang 等，2021）將點云補全性能提升到新高度，主要依靠不同于傳統(tǒng)特征解碼模塊的雪花點反卷積網(wǎng)絡。該網(wǎng)絡將點云的生成過程解釋為一個顯式的局部結(jié)構(gòu)化模式，重建出局部更緊湊且結(jié)構(gòu)更清晰的點云。

表8 為各類算法在ShapeNet（Chang 等，2015）衍生數(shù)據(jù)集Completion3D（Tchapmi 等，2019）上的性能對比，數(shù)據(jù)源于PMPNet（Wen 等，2021b）、SnowflakeNet（Xiang 等，2021）、PMPNet++（Wen 等，2023）和CRN-self（Wang 等，2022c）。其中，SoftPoolNet（Wang等，2020c）、SA-Net（Wen 等，2020）、PMP-Net（Wen等，2021b）等算法在性能上較PCN（Yuan 等，2018）有了較大提升，這主要得益于局部和全局特征提取效率的改善。VRC-Net（Pan 等，2021）采用雙分支體系結(jié)構(gòu)，以殘缺點云和完整點云分別作為兩分支的輸入對模型進行訓練，以約束補全形狀更接近地面真值，進一步改善了補全效果。CRN（Wang 等，2020a）引入了層級化的精細網(wǎng)絡，這種由粗到細的策略能夠保證補全點云具備良好的細節(jié)，相較Soft-PoolNet（Wang等，2020c）效果更好。

表8 在Completion3D數(shù)據(jù)集上點云補全結(jié)果對比Table 8 Comparative point cloud completion results on the Completion3D dataset

各模型的運行速度與內(nèi)存占用情況如表9 所示，數(shù)據(jù)源 于RFNet（recurrent forward network）（Huang 等，2021）。MSN（Liu 等，2020）為了實現(xiàn)更精細的細節(jié)重建，設計了殘差網(wǎng)絡進行結(jié)構(gòu)細化，導致模型整體復雜度高，執(zhí)行速度極慢。SFA-Net（separated feature aggregation network）（Zhang 等，2020b）通過K-近鄰算法實現(xiàn)對粗糙點云的采樣細化，帶來了較高的時間成本。而RFNet（Huang 等，2021）通過遞歸架構(gòu)，規(guī)避了局部特征的使用，極大地降低了網(wǎng)絡的參數(shù)和內(nèi)存成本，但由于其遞歸深度大，并沒有實現(xiàn)運行速度的較大提升。

表9 代表性點云補全模型網(wǎng)絡效率對比Table 9 Comparison on efficiency of representative point cloud completion networks

綜上所述，隨著點云補全領域的發(fā)展，各方法在補全點云結(jié)構(gòu)細節(jié)、缺失與遮擋結(jié)構(gòu)重建、網(wǎng)絡的參數(shù)與內(nèi)存成本和模型推理速度等方面都實現(xiàn)了顯著的提升，但仍然存在一定的局限性，如Wang 等人（2022d）實現(xiàn)了均勻且逼真的補全，但其性能需要以超大規(guī)模的數(shù)據(jù)集與訓練量為代價。此外，現(xiàn)有的點云補全算法均針對單個物體，如何高效實現(xiàn)大規(guī)模多樣化場景中殘缺物體的補全是亟需解決的問題。

5.4 點云上采樣性能評估

本小節(jié)對基于深度學習的幾種代表性點云上采樣方法進行了性能對比，并結(jié)合網(wǎng)絡結(jié)構(gòu)對性能對比結(jié)果進行了分析。

考慮到點云上采樣的對象可分為人工合成稠密點云及室外場景稀疏點云兩類，且上采樣率的需求多樣。因此，本節(jié)分別整理了在兩類數(shù)據(jù)集上及不同上采樣率下代表性上各算法的性能，如表10—表12所示。

表10 在CARLA仿真數(shù)據(jù)集上點云上采樣結(jié)果對比（LiDAR點云，上采樣率：4×）Table 10 Comparative point cloud upsampling results on the CARLA dataset（upsampling ratio：4×）

由于KITTI 數(shù)據(jù)集（Geiger 等，2013）缺乏點云上采樣所需要的地面真值，因此針對LiDAR點云的上采樣方法進行定量分析時，Chen等人（2023b）使用了與KITTI 傳感器相似的CARLA 自動駕駛模擬器（Dosovitskiy等，2017）生成的合成數(shù)據(jù)進行定量實驗。表10為主流上采樣方法在CARLA模擬器仿真數(shù)據(jù)上的實驗結(jié)果，數(shù)據(jù)源于LiUpNet（Chen等，2023b）。

如表10 所示，MPU（Wang 等，2019b）和PU-GAN（Li 等，2019b）采用密集連接策略集成不同層級特征，提高了對點云局部特征的學習精度，因此性能較PU-Net（Yu 等，2018）有了較大提升。PU-GCN（Qian等，2021a）在網(wǎng)絡中引入圖卷積模塊，更好地學習到點云的鄰域關系，使性能得到了進一步提高。LiUpNet（Chen 等，2023b）作為一項針對于LiDAR 點云提出的上采樣算法，其性能提升依賴于基于注意力機制的特征提取器和基于流形的上采樣器。此外，網(wǎng)絡通過特征一致性學習策略解決了生成點云密度不均衡的問題，實現(xiàn)了更優(yōu)性能。

對于單對象稠密點云，大多數(shù)點云上采樣方法沿用PU-GAN（Li 等，2019b）中所采用的數(shù)據(jù)集進行實驗。表11 為不同上采樣率下主流上采樣方法在PU-GAN 數(shù)據(jù)集上的實驗結(jié)果，數(shù)據(jù)源于Neural-Points（Feng等，2022）。

表11 在PU-GAN數(shù)據(jù)集上不同上采樣率下點云上采樣結(jié)果對比（單對象場景/稠密點云）Table 11 Comparative point cloud upsampling results on the PU-GAN dataset

如表11 所示，Dis-PU（Li 等，2021）引入了“粗糙—細化”的框架，進一步精細化了點云的結(jié)構(gòu)細節(jié)特征，在上采樣率為4 ×（上采樣任務中最常用的上采樣率）時，取得了較優(yōu)的性能，而利用局部微分幾何約束的方法PUGeo-Net（Qian等，2020）和Flexible-PU（Qian 等，2021b）突破特征空間的限制，進一步提高了上采樣的性能。此外，通過對比表10 和表11 發(fā)現(xiàn)，基于圖卷積神經(jīng)網(wǎng)絡且針對任意尺度上采樣率設計的Flexible-PU（Qian 等，2021b）和NeuralPoints（Feng 等，2022）在不同上采樣率的性能對比中均提供了最好的性能。

部分代表性點云上采樣模型的運行速度與內(nèi)存占用情況如表12所示，其中，批大小=1。數(shù)據(jù)源于NeuralPoints（Feng 等，2022）?？梢钥闯觯按植凇毣笨蚣軐е翫is-PU（Li等，2021）模型整體復雜度升高，推理速度變慢。而得益于高效的特征編碼模塊，PU-GCN（Qian 等，2021a）在保證上采樣質(zhì)量的前提下，展現(xiàn)了更高的網(wǎng)絡效率，但由于沒有考慮任意尺度上采樣的問題，在上采樣率改變時，其效率也受到了一定影響。

表12 代表性點云上采樣模型網(wǎng)絡效率比較Table 12 Comparison on efficiency of representative point cloud upsampling network

綜上所述，點云上采樣算法在學習點云局部特征，保證結(jié)構(gòu)細節(jié)精度及減少模型推理時間方面都在不斷進步，但其仍存在提升空間，特別是面向LiDAR 點云的上采樣算法，如何針對LiDAR 點云稀疏、密度不均衡的特點設計出更好的特征學習策略及上采樣算法，將是未來值得探索的方向之一。

5.5 點云去噪性能評估

本小節(jié)對基于深度學習的幾種代表性點云去噪方法進行了性能對比，并結(jié)合網(wǎng)絡結(jié)構(gòu)對性能對比結(jié)果進行了分析。

由于不同的點云去噪算法針對的噪聲類型不同，包含的噪聲點數(shù)目也有差異，因此，本小節(jié)僅對比DMR（羅開乾 等，2020）、PointCleanNet（Rakotosaona 等，2020）、GPDNet（Pistilli 等，2020）、Luo 和Hu（2021）以及Chen 等人（2023a）等5 個算法在PU-Net（Yu 等，2018）數(shù)據(jù)集上對各向同性高斯噪聲的去除效果，并分析了性能改進的原因，詳見表13，數(shù)據(jù)源于Chen 等人（2023a）。其中，DMR（羅開乾 等，2020）由于使用下采樣—上采樣架構(gòu)重建點云，在下采樣階段丟棄離群點的同時，也損失了部分細節(jié)信息，故性能不佳。而Luo 和Hu（2021）采用噪聲卷積分布樣本對噪聲點云進行精準建模，取得了性能提升。Chen 等人（2023a）在其基礎上引入的連續(xù)梯度場估計網(wǎng)絡和重采樣，進一步提升了點云的修復質(zhì)量，且噪聲水平越高增益越明顯。

表13 PU-Net數(shù)據(jù)集上代表性去噪算法性能對比Table 13 Performance comparisons of representative denoising algorithms on the PU-Net dataset/10-4

綜上所述，隨著近年來的發(fā)展，基于深度學習的點云去噪算法在干擾噪聲點的去除程度、保證原始點云的幾何結(jié)構(gòu)等方面都取得了較大的進步，但仍存在針對不同噪聲類型去除效果魯棒性差、模型普適性較差等問題。此外，針對大規(guī)模場景LiDAR 點云的去噪算法較少，這也是未來亟需解決的問題。

6 結(jié)語

隨著三維探測技術的發(fā)展，三維點云逐漸成為計算機視覺研究中最重要的數(shù)據(jù)類型之一。然而，受到傳感器硬件、采集環(huán)境及遮擋等因素的影響，直接采集的原始點云數(shù)據(jù)通常是不完整、稀疏且嘈雜的，這為點云的后續(xù)處理和分析帶來了巨大挑戰(zhàn)。因此，對原始點云數(shù)據(jù)進行質(zhì)量增強是非常必要的。

本文對現(xiàn)階段基于深度學習的點云質(zhì)量增強方法進行了綜述：針對點云補全、點云上采樣和點云去噪3 類點云質(zhì)量增強方法展開闡述與總結(jié)對比，對該領域常用的數(shù)據(jù)集及性能評估指標進行了介紹，最后列舉了3 類方法中主流算法在通用測試基準上的性能對比，并對性能結(jié)果進行了分析。

值得注意的是，3 類點云質(zhì)量增強方法的質(zhì)量增強目的和側(cè)重點有所不同。其中，點云補全側(cè)重于殘缺點云結(jié)構(gòu)完整化，點云上采樣側(cè)重于稀疏點云稠密化，點云去噪則側(cè)重于減少噪聲點或離群點。然而，這3 類任務之間并沒有絕對的區(qū)分，且常有交叉結(jié)合。例如，部分主流點云補全算法（Sarmad 等，2019；Wen 等，2020；Huang 等，2020）僅支持稀疏點云的補全，即補全后的點云點數(shù)不超過2 048?；诖藛栴}，一些補全工作（Yuan 等，2018；Liu 等，2020；Cheng 等，2021）通過向補全網(wǎng)絡中加入上采樣模塊，借助點云稠密化處理帶來的結(jié)構(gòu)信息增益，從而實現(xiàn)高分辨率的稠密點云補全。具體地，該類方法通過在解碼器中引入二維網(wǎng)格折疊（Yang 等，2018）或結(jié)合MLP 預測偏移量（Huang 等，2021）等操作實現(xiàn)上采樣，以提升輸出點云的分辨率，從而實現(xiàn)稠密點云補全。

盡管目前點云質(zhì)量增強技術已經(jīng)得到了一定的發(fā)展，但仍存在許多亟待解決的問題：

1）已有的深度學習算法學習到的點云特征偏向全局，如何求得點云局部特征的高效表達一直是具有挑戰(zhàn)性的問題，而傳統(tǒng)的幾何算法能夠根據(jù)幾何信息對數(shù)據(jù)特征進行有效表征。因此，結(jié)合幾何算法與深度學習進行點云質(zhì)量增強是提升質(zhì)量增強效果的有效方法之一，值得研究與探索。

2）現(xiàn)有的大多數(shù)算法僅針對包含單物體的稠密點云，對于包含大規(guī)模多樣化場景的稀疏LiDAR 點云，仍沒有較為充分的研究。

3）現(xiàn)有的大多數(shù)算法都是針對單幀的點云進行處理，而忽略了點云序列的時域相關性。因此，如何利用多幀點云的時—空域相關性以提高質(zhì)量增強的性能，是一個值得探索的研究方向。

4）現(xiàn)有方法網(wǎng)絡結(jié)構(gòu)往往較為復雜，推理速度慢，無法滿足真實應用場景的實時性要求。因此，如何進一步減小模型參數(shù)規(guī)模以提升推理速度，是值得研究的方向之一。

5）當前的點云質(zhì)量增強算法大多僅對點云的三維坐標信息進行處理，忽略了點云的屬性信息（顏色、法向量等），而顏色和反射強度信息分別對面向人眼視覺和面向機器視覺的實際應用至關重要。因此，研究如何實現(xiàn)幾何信息和屬性信息的同步質(zhì)量增強將具有重大意義。