許振楠，沈 洋，許 浩，包艷霞，劉 江

（1.浙江理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，浙江 杭州 310018；2.麗水學(xué)院 工學(xué)院，浙江 麗水 323000）

0 引言

三維點(diǎn)云的生成方法是計(jì)算機(jī)視覺(jué)領(lǐng)域關(guān)注的熱點(diǎn)問(wèn)題之一。二維圖像難以表示現(xiàn)實(shí)世界中多個(gè)物體之間的深度信息，并且不適用于需要深度和定位信息的場(chǎng)景，從機(jī)器人導(dǎo)航［1］到自動(dòng)駕駛汽車［2-3］，從增強(qiáng)現(xiàn)實(shí)［4］到醫(yī)療保?。?］，3D 數(shù)據(jù)集正在被廣泛使用。在各種數(shù)據(jù)模式中，原始點(diǎn)云作為一種緊湊的表示形式正變得流行起來(lái)，它能夠捕捉物體的復(fù)雜細(xì)節(jié)。三維點(diǎn)云可以被認(rèn)為是從一個(gè)物體的表面收集到的一個(gè)無(wú)序的不規(guī)則點(diǎn)集，每個(gè)點(diǎn)由一個(gè)笛卡爾坐標(biāo)組成，以及其他附加信息，如曲率、表面法線估計(jì)和RGB 顏色值等。由于曲率和法線是由點(diǎn)云坐標(biāo)經(jīng)過(guò)一系列線性變換計(jì)算得到，曲率和法線無(wú)法提供比坐標(biāo)更多的信息，因此點(diǎn)云的曲率等因素對(duì)點(diǎn)云的生成影響較小。

近年來(lái)，基于生成對(duì)抗網(wǎng)絡(luò)的點(diǎn)云生成模型相繼出現(xiàn)，生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）是Goodfellow 等［6］于2014 年提出的一種生成式模型，目前已成為人工智能學(xué)界的一個(gè)熱門研究方向。在二維圖像中，圖像生成的像素是以規(guī)則的格子排列，而三維形狀是由三維空間中的離散點(diǎn)表示，缺乏結(jié)構(gòu)性。傳統(tǒng)GAN 由于初始潛碼從高斯分布中采樣，導(dǎo)致生成具有不均勻性的點(diǎn)云，鑒于每個(gè)點(diǎn)云中點(diǎn)的數(shù)量是固定的（現(xiàn)有的GAN 通常為2 048 個(gè)），這種不均勻性使得點(diǎn)集中在一個(gè)區(qū)域，使得其他區(qū)域稀疏甚至空洞。如果沒(méi)有適當(dāng)?shù)恼齽t化，更多的點(diǎn)會(huì)聚集在物體的幾何中心或不同語(yǔ)義部分的連接處，導(dǎo)致點(diǎn)云生成高度不均勻的形狀。點(diǎn)云數(shù)據(jù)是一個(gè)包含三維坐標(biāo)信息的無(wú)序點(diǎn)集合，對(duì)數(shù)據(jù)順序不敏感，相同的一個(gè)點(diǎn)云數(shù)據(jù)模型完全可以有多種不同的存儲(chǔ)順序，并且傳統(tǒng)三維GAN 在訓(xùn)練過(guò)程中缺乏概率分布信息的學(xué)習(xí)，因此在訓(xùn)練點(diǎn)云生成上效率不高。

本文提出了一種基于點(diǎn)云概率分布學(xué)習(xí)的生成對(duì)抗網(wǎng)絡(luò)以處理生成點(diǎn)云分布不均和生成真實(shí)點(diǎn)云效率不高的問(wèn)題，在映射網(wǎng)絡(luò)中訓(xùn)練了一個(gè)潛碼用以學(xué)習(xí)點(diǎn)云的概率分布，網(wǎng)絡(luò)輸出得到一個(gè)概率分布更加準(zhǔn)確的潛碼，在樹(shù)結(jié)構(gòu)生成網(wǎng)絡(luò)中的每一層使點(diǎn)云的分布對(duì)齊到潛碼的分布，改變了生成點(diǎn)云的位置分布，使生成點(diǎn)云的形狀更具結(jié)構(gòu)性，不僅解決了分布不均的問(wèn)題，在生成真實(shí)點(diǎn)云的效率上也高于以往三維GAN 生成點(diǎn)云方法，并且通過(guò)改變初始的潛碼，可以改變生成點(diǎn)云的局部特征，并通過(guò)相關(guān)實(shí)驗(yàn)證明了該方法具有可行性和有效性。本文主要貢獻(xiàn)如下：①將從高斯分布采樣的潛碼通過(guò)映射網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)點(diǎn)云的概率分布，使點(diǎn)云的概率分布對(duì)齊到潛碼的概率分布，生成點(diǎn)云的形狀更具結(jié)構(gòu)性，可以提高模型訓(xùn)練效率；②通過(guò)映射網(wǎng)絡(luò)中全連接層訓(xùn)練學(xué)習(xí)到的概率分布可以解決樹(shù)結(jié)構(gòu)生成網(wǎng)絡(luò)子節(jié)點(diǎn)受父節(jié)點(diǎn)影響產(chǎn)生的點(diǎn)云生成不均勻的問(wèn)題；③通過(guò)改變初始潛碼，使得生成點(diǎn)云的位置分布改變，達(dá)到改變生成點(diǎn)云局部特征的效果。

1 相關(guān)工作

最近，基于深度神經(jīng)網(wǎng)絡(luò)的3D 數(shù)據(jù)生成問(wèn)題備受關(guān)注，并產(chǎn)生了許多解決方案，包括圖像到點(diǎn)云［7］、圖像到體素［8］、圖像到網(wǎng)格［9］、點(diǎn)云到體素［10］和點(diǎn)云到點(diǎn)云［11］。生成的3D 數(shù)據(jù)已廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)（例如：分割［12-13］、分類［14-15］、目標(biāo)檢測(cè)［16-17］、特征提取［18］等），并取得顯著效果。

用于2D 圖像生成任務(wù)的GAN［19-20］已被廣泛研究并取得良好效果，在StyleGAN［21］中，一個(gè)新的生成器結(jié)構(gòu)（Style-based Generator）被提出，與傳統(tǒng)GAN 直接將隨機(jī)潛在向量輸入生成器不同，其在生成器前添加了一個(gè)非線性映射網(wǎng)絡(luò)，并且結(jié)合風(fēng)格遷移方法，基于潛碼調(diào)整各卷積層的圖像風(fēng)格，達(dá)到了控制圖像風(fēng)格的效果。與三維點(diǎn)云不同，二維圖像的像素是規(guī)則排列的，StyleGAN 中潛碼控制的是圖像的灰度顏色特征。本文受StyleGAN 啟發(fā)，將映射網(wǎng)絡(luò)和風(fēng)格遷移方法加以改進(jìn)并應(yīng)用于點(diǎn)云生成，改進(jìn)后的映射網(wǎng)絡(luò)中的潛碼能有效地學(xué)習(xí)點(diǎn)云的概率分布信息，改變生成點(diǎn)云的分布及特征。

近幾年，在3D 點(diǎn)云生成方面，Achlioptas 等［22］提出一種用于3D 點(diǎn)云的GAN，稱為r-GAN，其生成器基于全連接層。由于全連接層無(wú)法保持結(jié)構(gòu)信息，r-GAN 難以生成具有多樣性的逼真形狀。Valsesia 等［23］使用圖卷積作為GAN 的生成器。在訓(xùn)練期間的每一層圖卷積中，使用來(lái)自每個(gè)頂點(diǎn)的特征向量動(dòng)態(tài)構(gòu)建鄰接矩陣。然而，為了提取圖的連通性，在單層計(jì)算鄰接矩陣時(shí)會(huì)產(chǎn)生二次計(jì)算復(fù)雜度O（V2），其中V 表示頂點(diǎn)數(shù)量，因而這種方法對(duì)于多批次和多層網(wǎng)絡(luò)是難以處理的。與Valsesia 中的方法不同，Tree-GAN 在計(jì)算上更為高效，因?yàn)樗粯?gòu)造鄰接矩陣［24］。相反，Tree-GAN 使用來(lái)自樹(shù)的祖先信息并利用了圖的連通性，只需一個(gè)樹(shù)結(jié)構(gòu)列表即可。由于沒(méi)有適當(dāng)?shù)恼齽t化，Tree-GAN 不同分支的點(diǎn)會(huì)傾向于形成類似高斯的分布，如更多的點(diǎn)聚集在物體的幾何中心或不同語(yǔ)義部分的連接處，并且樹(shù)形結(jié)構(gòu)生成的點(diǎn)分布更依賴其祖先分布，導(dǎo)致生成點(diǎn)云的形狀不均勻。在ShapeInversion 中，一個(gè)均勻損失以解決生成點(diǎn)云不均勻性的問(wèn)題被提出，通過(guò)最遠(yuǎn)點(diǎn)取樣（FPS）對(duì)物體表面的n個(gè)種子位置進(jìn)行隨機(jī)取樣，再讓每個(gè)種子的k個(gè)最近鄰居形成小區(qū)塊，計(jì)算每個(gè)種子與其k個(gè)最近鄰居之間的平均距離，并對(duì)所有區(qū)塊的平均距離的方差進(jìn)行懲罰［25］。

與ShapeInversion 中通過(guò)損失函數(shù)解決生成點(diǎn)云不均勻性問(wèn)題不同，本文在訓(xùn)練過(guò)程中分為兩部分：于映射網(wǎng)絡(luò)中訓(xùn)練一個(gè)潛碼得到概率分布更加均勻的特征向量，于樹(shù)型生成網(wǎng)絡(luò)中訓(xùn)練學(xué)習(xí)點(diǎn)云的特征信息，在樹(shù)型生成網(wǎng)絡(luò)的每一層通過(guò)AdaIN 模塊將特征向量結(jié)合達(dá)到解決生成點(diǎn)云的不均勻性，并且不需要額外的損失函數(shù)，效率較傳統(tǒng)GAN 更高。

2 基于概率分布學(xué)習(xí)的樹(shù)型生成網(wǎng)絡(luò)

本文提出了一種基于TreeGAN［24］的樹(shù)結(jié)構(gòu)深度生成網(wǎng)絡(luò)Probability-TreeGAN（P-TreeGAN）。受StyleGAN［21］通過(guò)風(fēng)格遷移方法改變生成圖片內(nèi)容樣式的啟發(fā)，本文在生成器中加入一個(gè)改進(jìn)后的映射網(wǎng)絡(luò)，用以學(xué)習(xí)點(diǎn)云位置的概率分布，使用風(fēng)格遷移方法結(jié)合學(xué)習(xí)的概率分布改變點(diǎn)云的位置分布。

2.1 樹(shù)結(jié)構(gòu)生成網(wǎng)絡(luò)原理及局限性

TreeGAN 的生成器是一個(gè)典型的樹(shù)結(jié)構(gòu)生成網(wǎng)絡(luò)，從高斯分布中獲取一個(gè)點(diǎn)作為輸入，在生成器的每一層，都會(huì)進(jìn)行分支（Branching）和圖卷積（GraphConv）操作以生成下一層的點(diǎn)。先前層生成的所有點(diǎn)都被存儲(chǔ)并附加到當(dāng)前層的樹(shù)中，樹(shù)從根節(jié)點(diǎn)開(kāi)始，通過(guò)分支操作分裂為子節(jié)點(diǎn)，并通過(guò)圖卷積操作修改節(jié)點(diǎn)的值。Branching 模塊是用于生成點(diǎn)云過(guò)程中增加點(diǎn)的總數(shù)，與二維卷積中的上采樣類似。在生成器中，對(duì)每一層使用不同的分支度，經(jīng)過(guò)最后一層分支操作得到2 048 個(gè)點(diǎn)。與傳統(tǒng)圖卷積通過(guò)鄰接點(diǎn)的值更新其值不同，TreeGAN 提出的樹(shù)圖卷積（TreeGCN）是通過(guò)每個(gè)頂點(diǎn)祖先的值更新它的值，為GCN引入了樹(shù)結(jié)構(gòu)，如式（1）所示。

由于TreeGCN 是通過(guò)祖先節(jié)點(diǎn)的值更新當(dāng)前節(jié)點(diǎn)的值，它可以使用祖先信息提高特征的表示能力。但同時(shí)，在樹(shù)型結(jié)構(gòu)中每一層新生成的點(diǎn)分布均受祖先節(jié)點(diǎn)分布影響，如果祖先節(jié)點(diǎn)的分布不均勻，子節(jié)點(diǎn)也會(huì)不均勻，且經(jīng)過(guò)Branching 后的點(diǎn)分布容易集中在物體的語(yǔ)義中心部分或者不同語(yǔ)義連接處（見(jiàn)圖1），并且訓(xùn)練效率不高，存在一定局限性。

Fig.1 Chair point cloud generated by TreeGAN圖1 TreeGAN生成的椅子點(diǎn)云

2.2 損失函數(shù)

本文引入了WGAN-GP［26］的目標(biāo)函數(shù)，生成器的損失函數(shù)Lgen定義如式（2）所示。

其中，D為判別器，G為生成器，Z為潛在分布，采用正態(tài)分布N（0，I）。

判別器的損失函數(shù)Ldisc定義如式（3）所示。

其中，G（z）為生成的點(diǎn)云，x為真實(shí)的點(diǎn)云，R表示真實(shí)的數(shù)據(jù)分布，并且使用了梯度懲罰的方法，x是從真假點(diǎn)云中采樣，λgp為梯度懲罰項(xiàng)的常系數(shù)。

判別器的損失函數(shù)會(huì)使網(wǎng)絡(luò)生成的點(diǎn)集中于點(diǎn)云判別性特征，如邊緣明顯的部分，同樣會(huì)造成生成點(diǎn)云分布不均勻。為了改善該問(wèn)題，本文通過(guò)映射網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)得到概率分布更加準(zhǔn)確的潛碼，并且在生成過(guò)程中使點(diǎn)云的分布對(duì)齊到潛碼的分布，生成點(diǎn)云分布更加均勻。Shape-Inversion［25］中，通過(guò)加入一個(gè)損失項(xiàng)以約束生成點(diǎn)之間的距離，具有一定效果。但與之相比，本文方法不需要額外的損失函數(shù)，計(jì)算量更少、效率更高。

2.3 基于點(diǎn)云概率分布學(xué)習(xí)的生成器

為了解決樹(shù)型網(wǎng)絡(luò)和判別器損失函數(shù)產(chǎn)生的不均勻性問(wèn)題，本文在生成器中引入風(fēng)格遷移［27］方法并結(jié)合改進(jìn)后的映射網(wǎng)絡(luò)中學(xué)習(xí)的概率分布改變生成點(diǎn)云的位置分布。

2.3.1 改進(jìn)后的映射網(wǎng)絡(luò)

StyleGAN 中，映射網(wǎng)絡(luò)學(xué)習(xí)的潛碼控制圖像風(fēng)格的功能已得以廣泛應(yīng)用。受其啟發(fā)，本文將映射網(wǎng)絡(luò)加以改進(jìn)并引入生成器，使?jié)摯a在網(wǎng)絡(luò)中學(xué)習(xí)點(diǎn)云的概率分布。StyleGAN 中生成的是二維圖像，控制二維圖像特征的是圖像的灰度顏色信息，圖2（a）為StyleGAN 中的映射網(wǎng)絡(luò)，其潛碼是通過(guò)8 層全連接層后直接映射到各網(wǎng)絡(luò)層。三維點(diǎn)云的特征是通過(guò)點(diǎn)云的位置分布進(jìn)行控制，與StyleGAN不同，本文映射網(wǎng)絡(luò)中的潛碼學(xué)習(xí)的是點(diǎn)云的概率分布，圖2（b）為本文改進(jìn)后的映射網(wǎng)絡(luò)，其每一層潛碼都會(huì)映射到對(duì)應(yīng)生成網(wǎng)絡(luò)層，映射網(wǎng)絡(luò)的前兩層學(xué)習(xí)的是點(diǎn)云的粗粒度特征（如形狀、大小等），其潛碼需要多層全連接層進(jìn)行訓(xùn)練以學(xué)習(xí)其概率分布。隨著網(wǎng)絡(luò)深度增加，潛碼控制生成點(diǎn)云的細(xì)節(jié)特征和分布的均勻性，用于學(xué)習(xí)點(diǎn)云的概率分布的全連接層數(shù)減少。通過(guò)全連接層的學(xué)習(xí)使?jié)摯a的概率分布更加均勻，能更好地控制生成點(diǎn)云的特征。

2.3.2 AdaIN模塊

風(fēng)格遷移中的主要方法是自適應(yīng)實(shí)例標(biāo)準(zhǔn)化AdaIN（Adaptive Instance Normalization）［27］，將內(nèi)容圖像特征的均值和方差對(duì)齊到風(fēng)格圖像的均值和方差，以實(shí)現(xiàn)風(fēng)格遷移。本文使用AdaIN 模塊將通過(guò)映射網(wǎng)絡(luò)學(xué)習(xí)得到的潛碼，與生成網(wǎng)絡(luò)中基向量x結(jié)合，使三維點(diǎn)云位置特征的均值和方差對(duì)齊到潛碼的均值和方差，達(dá)到改變生成點(diǎn)云分布的效果，如式（4）所示。

其中，σ(x)、σ(y) 分別為基向量和潛碼的方差，μ(x)、μ(y)分別為基向量和潛碼的均值。由于樹(shù)型生成網(wǎng)絡(luò)子節(jié)點(diǎn)受父節(jié)點(diǎn)影響導(dǎo)致點(diǎn)云生成不均勻，本文在樹(shù)型生成網(wǎng)絡(luò)每一層進(jìn)行分支和圖卷積之前加入AdaIN 模塊，用于改變生成點(diǎn)云的分布。

2.3.3 生成器網(wǎng)絡(luò)

生成器主要由映射網(wǎng)絡(luò)和樹(shù)結(jié)構(gòu)生成網(wǎng)絡(luò)兩個(gè)部分組成，映射網(wǎng)絡(luò)中共有11 個(gè)全連接層，用以學(xué)習(xí)點(diǎn)云的概率分布；樹(shù)結(jié)構(gòu)網(wǎng)絡(luò)由7 個(gè)PT-Block 模塊（ProbabilityTree-Block）組成，每個(gè)模塊有自適應(yīng)性實(shí)例標(biāo)準(zhǔn)化（AdaIN）、分支（Branching）、圖卷積（GraphConv）3 個(gè)部分，用以學(xué)習(xí)點(diǎn)云的特征信息。將潛碼通過(guò)全連接層進(jìn)行訓(xùn)練使其概率分布更加準(zhǔn)確，再映射到各PT-Block 模塊中，通過(guò)AdaIN模塊結(jié)合使樹(shù)結(jié)構(gòu)網(wǎng)絡(luò)中每一層生成的點(diǎn)云分布均受潛碼的概率分布影響，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

2.3.4 訓(xùn)練階段算法流程

在模型訓(xùn)練階段，本文算法分為兩個(gè)部分。一部分在映射網(wǎng)絡(luò)中學(xué)習(xí)點(diǎn)云的概率分布信息，一部分在樹(shù)型網(wǎng)絡(luò)中學(xué)習(xí)點(diǎn)云的形狀信息。從高斯分布中隨機(jī)采樣潛碼z、x。將潛碼z輸入映射網(wǎng)絡(luò)學(xué)習(xí)點(diǎn)云概率分布，在映射網(wǎng)絡(luò)中通過(guò)全連接層及上采樣層得到對(duì)應(yīng)樹(shù)型生成網(wǎng)絡(luò)每一層不同維度的潛碼向量w1，w2，...，w7；將潛碼x輸入樹(shù)型生成網(wǎng)絡(luò)作為基向量用以生成點(diǎn)云，在樹(shù)型生成網(wǎng)絡(luò)每一層分支上采樣前加入AdaIN 模塊，在AdaIN 模塊中將每一層生成的點(diǎn)云x1，x2，...，x7對(duì)齊到潛碼w1，w2，...，w7上，結(jié)合映射網(wǎng)絡(luò)中學(xué)習(xí)好點(diǎn)云概率分布的潛碼改變當(dāng)前層生成點(diǎn)云的分布信息。算法流程如圖4所示。

本文生成器網(wǎng)絡(luò)模型是金字塔結(jié)構(gòu)，從上到下生成信息更豐富的點(diǎn)云，映射網(wǎng)絡(luò)中潛碼通過(guò)全連接層和上采樣，逐漸學(xué)習(xí)更深層的信息，全連接層可以整合網(wǎng)絡(luò)層中具有類別區(qū)分性的局部信息，更好地提取特征，金字塔底部潛碼可以比頂部的潛碼學(xué)習(xí)更加準(zhǔn)確的概率分布信息，更能反映點(diǎn)云結(jié)構(gòu)的形狀信息。樹(shù)型生成網(wǎng)絡(luò)是根據(jù)父節(jié)點(diǎn)的信息生成子節(jié)點(diǎn)，當(dāng)前層點(diǎn)云的均勻性及分布信息會(huì)被前幾層的點(diǎn)云影響，網(wǎng)絡(luò)層數(shù)越深影響越大。在樹(shù)型生成網(wǎng)絡(luò)每一層中都加入對(duì)應(yīng)維度的潛碼，通過(guò)AdaIN 模塊使生成點(diǎn)云對(duì)齊到學(xué)習(xí)好概率分布的潛碼，改變當(dāng)前層生成點(diǎn)云的分布信息，使生成點(diǎn)云的位置更加準(zhǔn)確，更具結(jié)構(gòu)性，在訓(xùn)練過(guò)程中生成接近真實(shí)的點(diǎn)云時(shí)間更短，提升了模型訓(xùn)練效率。這不僅解決了樹(shù)結(jié)構(gòu)生成點(diǎn)依賴祖先點(diǎn)產(chǎn)生的不均勻性問(wèn)題，對(duì)判別器損失函數(shù)趨于生成點(diǎn)集中在邊緣特征明顯位置的情況也有所改善。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集與訓(xùn)練平臺(tái)

使用ShapeNet Part 數(shù)據(jù)集對(duì)本文提出的模型進(jìn)行訓(xùn)練和評(píng)估。ShapeNet Part 總共有16 類，訓(xùn)練集12 137 個(gè)，驗(yàn)證集1 870 個(gè)，測(cè)試集2 874 個(gè)，總計(jì)16 881 個(gè)。該數(shù)據(jù)集中樣本呈現(xiàn)出不均衡特性，如Table 類別有5 263 個(gè)樣本，而Earphone 類別只有69 個(gè)樣本。每個(gè)樣本包含2 048個(gè)點(diǎn)，屬于小數(shù)據(jù)集。實(shí)驗(yàn)平臺(tái)為搭載GeForce RTX 3090 GPU 的服務(wù)器，配置環(huán)境為Python3.8 和Tensorflow2.4-gpu。

3.2 評(píng)價(jià)指標(biāo)

本文使用JS 散度（Jensen-Shannon Divergence）評(píng)估GAN 生成點(diǎn)云的質(zhì)量，JS 散度是定義在歐幾里得三維空間邊緣分布的。假設(shè)條件為軸對(duì)齊的點(diǎn)云數(shù)據(jù)和環(huán)境空間中的規(guī)范體素網(wǎng)格，可以測(cè)量點(diǎn)云A 與點(diǎn)云B 占據(jù)相似位置的程度。通過(guò)分別計(jì)算點(diǎn)云A 和點(diǎn)云B 中每個(gè)體素內(nèi)的點(diǎn)數(shù)，獲得經(jīng)驗(yàn)分布(PA，PB)之間的JSD，如式（5）所示。

其中，M=(PA+PB)/2，D(·||·)是兩個(gè)分布之間的KL散度（Kullback-Leibler divergence），KL 散度是一個(gè)用來(lái)衡量?jī)蓚€(gè)概率分布之間相似性的度量指標(biāo)，如式（6）所示。

3.3 參數(shù)設(shè)置

本文對(duì)生成器和判別器網(wǎng)絡(luò)都使用了Adam 優(yōu)化器，學(xué)習(xí)率為α=10-4，其他系數(shù)為β1=0 和β2=0.99。在生成器中，使用LeakyReLU（α=0.2）作為沒(méi)有批歸一化的非線性函數(shù)。損失函數(shù)中梯度懲罰系數(shù)設(shè)置為10，判別器每次迭代更新5 次，而生成器每次迭代更新一次。潛在向量z∈R96從正態(tài)分布N（0，I）中采樣以作為輸入，TreeGCN 的循環(huán)項(xiàng)有K=10 個(gè)支持，最后一層的總點(diǎn)數(shù)設(shè)置為n=2 048。判別器網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)如表1所示。

Table 1 Discriminator network structure and parameter表1 判別器網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)

3.4 映射網(wǎng)絡(luò)對(duì)比實(shí)驗(yàn)

在生成點(diǎn)云前，潛碼需要通過(guò)映射網(wǎng)絡(luò)進(jìn)行訓(xùn)練以學(xué)習(xí)點(diǎn)云位置的概率分布。為了觀察映射網(wǎng)絡(luò)學(xué)習(xí)點(diǎn)云概率分布的效果，將潛碼直接輸入生成網(wǎng)絡(luò)與經(jīng)過(guò)映射網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)的原網(wǎng)絡(luò)進(jìn)行對(duì)比。對(duì)飛機(jī)類別進(jìn)行了2 000 個(gè)周期的訓(xùn)練，通過(guò)觀察兩個(gè)模型的JSD 變化趨勢(shì)以判斷映射網(wǎng)絡(luò)的重要性，從折線圖（見(jiàn)圖5）可以看出，網(wǎng)絡(luò)直接加入從高斯分布采樣的潛碼生成點(diǎn)云的JSD 指標(biāo)波動(dòng)大，并且最終生成的點(diǎn)云分布也不規(guī)則。因?yàn)榻?jīng)過(guò)映射網(wǎng)絡(luò)中全連接層訓(xùn)練后的潛碼概率分布更加均勻，生成點(diǎn)云的分布更接近潛碼的概率分布，使生成的點(diǎn)云更加規(guī)則和穩(wěn)定，證明了模型中映射網(wǎng)絡(luò)學(xué)習(xí)到的點(diǎn)云概率分布的有效性。

Fig.5 JSD change curve with and without mapping network圖5 有無(wú)映射網(wǎng)絡(luò)的JSD變化曲線

3.5 與其他用于點(diǎn)云生成模型的對(duì)比實(shí)驗(yàn)

將本文提出的模型與其他用于點(diǎn)云生成的GAN 模型進(jìn)行定量和定性比較。由于Valsesia 等［23］只展現(xiàn)了飛機(jī)和椅子的點(diǎn)云結(jié)果，且其源代碼沒(méi)有公開(kāi)，因而本文基于飛機(jī)和椅子的結(jié)果與其他GAN 進(jìn)行了比較，并且對(duì)所有16 個(gè)類別進(jìn)行了評(píng)估。在ShapeNet Part 數(shù)據(jù)集上進(jìn)行了5 000 個(gè)epoch 的訓(xùn)練，將實(shí)驗(yàn)結(jié)果與其他模型進(jìn)行比較，如表2所示。

Table 2 Quantitative comparison in terms of the JSD metrics表2 JSD指標(biāo)的定量比較

在Shapenet Part 數(shù)據(jù)集上，本文提出模型的JSD 在椅子和飛機(jī)以及總體16 類上分別達(dá)0.093、0.074 和0.091，均優(yōu)于其他用于點(diǎn)云生成的GAN 模型，表明本文模型生成點(diǎn)云質(zhì)量更高，模型泛化性更強(qiáng)。

3.6 生成點(diǎn)云的均勻性比較

針對(duì)GAN 模型生成點(diǎn)云具有不均勻性的問(wèn)題，本文通過(guò)映射網(wǎng)絡(luò)訓(xùn)練了一個(gè)概率分布更加準(zhǔn)確的潛碼，在點(diǎn)云生成過(guò)程中加入概率分布信息，使得生成點(diǎn)云更加均勻。為了方便對(duì)比觀察，對(duì)TreeGAN 和P-TreeGAN 進(jìn)行了可視化實(shí)驗(yàn)，將兩個(gè)模型生成的點(diǎn)云（2 048 個(gè)點(diǎn)）訓(xùn)練2 000 個(gè)epoch 進(jìn)行對(duì)比，可視化結(jié)果如圖6所示。

Fig.6 Uniformity comparison of point cloud generation圖6 生成點(diǎn)云的均勻性比較

對(duì)比圖6 中TreeGAN 和P-TreeGAN 生成的結(jié)果，TreeGAN 生成的點(diǎn)云會(huì)有更多的點(diǎn)聚集在物體的幾何中心以及不同語(yǔ)義部分的連接處，導(dǎo)致生成點(diǎn)云的形狀不均勻。如圖6 所示，TreeGAN 生成的椅子大量聚集在椅背和椅座連接的位置；飛機(jī)中的點(diǎn)聚集在機(jī)身，機(jī)翼和機(jī)尾的點(diǎn)較為稀疏；桌子中的點(diǎn)聚集在桌面中心，桌子邊緣及桌腿的點(diǎn)稀疏。而本文提出的模型在生成網(wǎng)絡(luò)中的圖卷積之前增加了AdaIN 模塊，將映射網(wǎng)絡(luò)中訓(xùn)練得到概率分布更加準(zhǔn)確的潛碼結(jié)合，改變了生成點(diǎn)云的位置分布，實(shí)驗(yàn)可視化結(jié)果證明本文模型生成的點(diǎn)云更加均勻。

3.7 模型訓(xùn)練效率比較

針對(duì)TreeGAN 模型訓(xùn)練速度慢、JSD 指標(biāo)收斂慢的問(wèn)題，本文提出的模型在點(diǎn)云生成過(guò)程中加入了學(xué)習(xí)了概率分布的潛碼，使得生成點(diǎn)云的形狀更具結(jié)構(gòu)性，生成更加真實(shí)的點(diǎn)云速度更快，提高了訓(xùn)練效率和收斂速度。將本文提出的模型與TreeGAN 在相同參數(shù)條件下，對(duì)椅子類別進(jìn)行了2 000 個(gè)epoch 的實(shí)驗(yàn)，對(duì)指標(biāo)JSD 的變化情況進(jìn)行了對(duì)比，選取前150個(gè)epoch 繪制折線圖如圖7所示。

Fig.7 Comparison of model training efficiency圖7 模型訓(xùn)練效率比較

對(duì)圖7 中折線進(jìn)行分析得出，本文提出的模型在JSD收斂速度上明顯快于TreeGAN。為了更清楚地看到模型訓(xùn)練時(shí)生成點(diǎn)云的質(zhì)量，取兩個(gè)模型訓(xùn)練各周期時(shí)生成的點(diǎn)云圖進(jìn)行對(duì)比，結(jié)果如圖8所示。

Fig.8 Comparison of the point clouds generated by training each epoch圖8 訓(xùn)練各epoch生成的點(diǎn)云比較

圖8 對(duì)兩個(gè)模型在訓(xùn)練相同周期時(shí)生成的點(diǎn)云進(jìn)行對(duì)比，在訓(xùn)練100 個(gè)epoch 時(shí)，本文模型生成的椅子已經(jīng)初具形狀，而TreeGAN 生成的椅子大量散點(diǎn)仍然聚集在一起；在訓(xùn)練500個(gè)epoch 時(shí)，TreeGAN 生成的椅子僅有輪廓，而本文模型生成的椅子已經(jīng)特征明顯，從可視化結(jié)果可以看出P-TreeGAN 生成點(diǎn)云的效果比TreeGAN 更好。此外，為了更直觀地比較速度，對(duì)達(dá)到不同JSD 所需要的訓(xùn)練周期進(jìn)行了統(tǒng)計(jì)，結(jié)果如表3所示。

Table 3 The period required for training to reach the specified JSD表3 訓(xùn)練達(dá)到指定JSD所需周期

可以看出，在達(dá)到相同精度的JSD 情況下，本文提出的模型所需訓(xùn)練周期遠(yuǎn)少于TreeGAN。當(dāng)JSD 達(dá)到0.3 時(shí)，TreeGAN 需要600 個(gè)epoch，而P-TreeGAN 只需要100 個(gè)epoch 訓(xùn)練周期，速度是TreeGAN 的6 倍；當(dāng)JSD 達(dá)到0.15時(shí)，P-TreeGAN 所需訓(xùn)練周期比TreeGAN 少了1 000 個(gè)epoch。以上實(shí)驗(yàn)均證明本文提出模型在訓(xùn)練效率上的高效性。

3.8 改變生成點(diǎn)云的局部特征

本文模型在訓(xùn)練階段，映射網(wǎng)絡(luò)的潛碼和樹(shù)型生成網(wǎng)絡(luò)的基向量均從正態(tài)分布隨機(jī)采樣。將訓(xùn)練好的模型通過(guò)改變映射網(wǎng)絡(luò)中初始的潛碼以達(dá)到改變生成點(diǎn)云局部特征的效果。對(duì)椅子、飛機(jī)和桌子進(jìn)行實(shí)驗(yàn)，分別取6 個(gè)不同的初始潛碼改變生成點(diǎn)云的局部特征，同時(shí)訓(xùn)練2 000個(gè)epoch，可視化結(jié)果如圖9所示。

Fig.9 Point cloud renderings generated under different features圖9 不同特征下生成點(diǎn)云效果

4 結(jié)語(yǔ)

本文提出一種基于點(diǎn)云概率分布學(xué)習(xí)的樹(shù)結(jié)構(gòu)生成對(duì)抗網(wǎng)絡(luò)P-TreeGAN。在生成器中加入映射網(wǎng)絡(luò)用以訓(xùn)練學(xué)習(xí)點(diǎn)云位置的概率分布，在點(diǎn)云生成過(guò)程中使點(diǎn)云位置分布對(duì)齊到潛碼的概率分布，生成點(diǎn)云的形狀更具結(jié)構(gòu)性，不僅訓(xùn)練效率更高，生成點(diǎn)云分布更加均勻，并且通過(guò)改變初始的潛碼可以改變生成點(diǎn)云的特征。

本文模型生成的點(diǎn)云在椅子、飛機(jī)以及總體16 類別上的JSD 指標(biāo)評(píng)估上均優(yōu)于r-GAN、TreeGAN 等傳統(tǒng)點(diǎn)云生成GAN 模型，更加接近真實(shí)點(diǎn)云。并且與TreeGAN 進(jìn)行了均勻性和訓(xùn)練效率比較，可視化結(jié)果均顯示本文模型效果更好。本文還展示了控制生成椅子和桌子特征的可視化結(jié)果，效果良好。后續(xù)將針對(duì)映射網(wǎng)絡(luò)進(jìn)行改進(jìn)，進(jìn)一步提升訓(xùn)練效率和生成點(diǎn)云質(zhì)量；同時(shí)，對(duì)生成點(diǎn)云的特征進(jìn)行控制，例如特征混合等。