陳寂馳，魏國(guó)華，郭聰隆，張立和

(1. 北京理工大學(xué) 信息與電子學(xué)院，北京 100081；2. 大連理工大學(xué) 電子與信息工程學(xué)院，遼寧 大連 116086)

0 引 言

對(duì)比二維空間，在三維空間中描述物體更加直觀、全面，且易于被人們所接受。三維重建技術(shù)把真實(shí)場(chǎng)景刻畫成符合計(jì)算機(jī)邏輯表達(dá)的數(shù)學(xué)模型，在文物保護(hù)、醫(yī)療技術(shù)、虛擬現(xiàn)實(shí)、軍事仿真等領(lǐng)域具有廣泛而深刻的應(yīng)用前景。

紅外熱成像不同于可見(jiàn)光成像，在表征物體溫度分布的同時(shí)，不受光照、煙霧、高壓等環(huán)境因素的影響，因此得到了廣泛的關(guān)注。紅外熱成像不僅為軍事領(lǐng)域提供了大量的技術(shù)支撐，隨著熱成像技術(shù)的快速發(fā)展，其應(yīng)用已經(jīng)拓展至民用智能駕駛、電氣設(shè)備檢查、建筑檢驗(yàn)、醫(yī)學(xué)輔助診斷、環(huán)境資源開發(fā)、能源保護(hù)以及自然災(zāi)害預(yù)測(cè)、防治等領(lǐng)域。

然而，對(duì)比于可見(jiàn)光圖像，紅外圖像的分辨率低、對(duì)比度差、視覺(jué)效果模糊，還有各種形式的噪聲，重建難度更大，往往由于提取不到足夠的特征點(diǎn)導(dǎo)致重建失敗。因此，基于紅外圖像的三維重建技術(shù)研究具有一定的必要性。

基于光學(xué)三原色(red-green-blue，RGB)圖像序列的點(diǎn)云生成算法為我們提供了重建思路。其中，SCHONBERGER等提出的方法[1]在傳統(tǒng)的從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(structure from motion, SFM)方法的基礎(chǔ)上，通過(guò)優(yōu)化和改進(jìn)實(shí)現(xiàn)了待重建物體稀疏點(diǎn)云的輸出；基于片面的多視點(diǎn)立體視覺(jué)(patch-based multi-view stereo, PMVS)算法[2]通過(guò)獲取圖像序列以及拍攝相機(jī)參數(shù)，可以重建圖像序列中可見(jiàn)物體或場(chǎng)景的稠密點(diǎn)云；多視點(diǎn)立體聚類視圖(clustering views for multi-view stereo, CMVS)算法[3]解決了傳統(tǒng)多視點(diǎn)立體視覺(jué)(multi-view stereo,MVS)方法無(wú)法應(yīng)對(duì)大規(guī)模圖像序列重建的問(wèn)題，將SFM算法的結(jié)果作為輸入，通過(guò)對(duì)原始圖像序列聚類，每個(gè)分類單獨(dú)應(yīng)用MVS提升重建效果。

點(diǎn)云補(bǔ)全技術(shù)中，PointNet[4]以及PointNet++[5]提供了直接對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行局部以及全局特征提取的方法；HAN等提出的一種高分辨率形狀補(bǔ)全網(wǎng)絡(luò)[6]，解決了傳統(tǒng)的基于圖形表面重建方法不能修復(fù)大面積缺失區(qū)域的問(wèn)題，提出一種由數(shù)據(jù)推動(dòng)的深度神經(jīng)網(wǎng)絡(luò)用于對(duì)缺失三維形狀的恢復(fù)；FoldingNet[7]設(shè)計(jì)了一個(gè)具有折疊意義的解碼器，將一個(gè)固定的二維平面折疊成一個(gè)三維的曲面，以代表原來(lái)的三維點(diǎn)云，但是這種全局解碼結(jié)構(gòu)對(duì)局部缺失點(diǎn)云的恢復(fù)能力有限；點(diǎn)云修復(fù)網(wǎng)絡(luò)(point completion network, PCN)[8]提出了一種直接對(duì)部分3D點(diǎn)云操作，通過(guò)網(wǎng)絡(luò)進(jìn)行映射，完整復(fù)原稠密點(diǎn)云的方法，無(wú)需中間體素化過(guò)程，采用從粗糙到精細(xì)的復(fù)原方式進(jìn)行重建；強(qiáng)化學(xué)習(xí)代理控制的生成對(duì)抗網(wǎng)絡(luò)(reinforcement learning agent controlled GAN network, RL-GAN-Net)[9]首次提出將強(qiáng)化學(xué)習(xí)和生成對(duì)抗網(wǎng)絡(luò)相結(jié)合，用于含有噪聲的局部點(diǎn)云的形狀補(bǔ)全；TopNet[10]采用結(jié)構(gòu)點(diǎn)云解碼器，降低了計(jì)算過(guò)程對(duì)計(jì)算機(jī)內(nèi)存的消耗；級(jí)聯(lián)優(yōu)化網(wǎng)絡(luò)[11]提出一種新的點(diǎn)云補(bǔ)全生成對(duì)抗網(wǎng)絡(luò)，相比于PCN和TopNet，在訓(xùn)練參數(shù)較少的情況下提升了重建效果；WEN等提出的基于Skip-attention機(jī)制的網(wǎng)絡(luò)[12]，可以在得到全局特征的同時(shí)保留更多的細(xì)節(jié)信息，在對(duì)缺失形狀補(bǔ)全性能方面的表現(xiàn)優(yōu)于PCN和TopNet；點(diǎn)云分形網(wǎng)絡(luò)(point fractal network,PF-Net)[13]通過(guò)改進(jìn)的特征提取方法，以一種組合式的多層感知機(jī)(combined multi-layer perception，CMLP)實(shí)現(xiàn)缺失點(diǎn)云的分級(jí)恢復(fù)，不足是對(duì)缺失點(diǎn)云具有一定視角限制；AtlasNet[14]、變形和采樣網(wǎng)絡(luò)(morphing and sampling network, MSN)[15]通過(guò)網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)一種二維平面上的點(diǎn)到待重建物體表面元素之間的映射關(guān)系，雖然后者在AtlasNet基礎(chǔ)上通過(guò)構(gòu)建擴(kuò)展代價(jià)函數(shù)以及引入殘差網(wǎng)絡(luò)進(jìn)行殘差學(xué)習(xí)，提高了重建精度，但采樣后的空間點(diǎn)云會(huì)缺失一部分原始信息，此外，基于PointNet方法設(shè)計(jì)的編碼器不具備提取點(diǎn)云細(xì)節(jié)特征的能力。

綜合以上方法，本文所提出的三維圖像重建方法的思路是，首先獲取待重建物體的原始點(diǎn)云，然后在盡可能保留原始點(diǎn)云的基礎(chǔ)上高精度補(bǔ)全缺失部分。

1 仿真模型

1.1 基于紅外圖像序列的原始點(diǎn)云生成

1) 紅外圖像預(yù)處理

通過(guò)圖片序列生成待重建物體稀疏三維點(diǎn)云，需要對(duì)圖像序列特征點(diǎn)進(jìn)行提取、配準(zhǔn)，方向梯度直方圖特征(histogram of oriented gradient, HOG)、尺度不變特征變換(scale-invariant feature transform, SIFT)、加速穩(wěn)健特征(speeded up robust features, SURF)等經(jīng)典特征描述方法，為在圖片旋轉(zhuǎn)、尺度縮放、亮度變化、仿射變換、噪聲等因素下提取圖像特征做出了重要貢獻(xiàn)。本文采用AgisoftMetashape軟件輔助生成稀疏點(diǎn)云，原始數(shù)據(jù)為紅外圖片序列(本文采用的紅外圖像尺寸為512×512)。操作中，一方面由于軟件自身對(duì)輸入數(shù)據(jù)的限制(最低有效輸入分辨率為5MPix),另一方面，原始輸入數(shù)據(jù)存在有限的色彩差異以及紋理缺失情況，在恢復(fù)空間信息過(guò)程中不可避免地會(huì)損失部分有效信息，在沒(méi)有升采樣的前提下，無(wú)法實(shí)現(xiàn)特征點(diǎn)配準(zhǔn)以及原始點(diǎn)云生成。為了能夠在第一階段生成足夠多的原始點(diǎn)云，采用基于雙三次插值(bicubic interpolation, BI)的算法對(duì)原始圖像序列進(jìn)行升采樣預(yù)處理,插值內(nèi)核可描述為

W(x)=

(1)

式中，參數(shù)a選取經(jīng)驗(yàn)值-0.5。

在盡可能保持原始輸入信息灰度穩(wěn)定性的基礎(chǔ)上，提高特征點(diǎn)提取數(shù)量，圖像插值處理前后效果對(duì)比如圖1所示。

2) 相機(jī)位姿校準(zhǔn)及點(diǎn)云生成

錯(cuò)誤的相機(jī)位姿估計(jì)會(huì)帶來(lái)待重建物體空間三維信息丟失、重疊或者扭曲，實(shí)驗(yàn)中采用局部相機(jī)位姿校準(zhǔn)，完整還原拍攝相機(jī)姿態(tài)(仿真環(huán)境中圖像序列為均勻俯仰角和方位角下360張待重建物體紅外照片)，可視化校準(zhǔn)前后對(duì)比結(jié)果如圖2所示，校準(zhǔn)后不同視角的點(diǎn)云生成結(jié)果如圖3所示。

圖1 插值前后效果對(duì)比圖Fig.1 Comparison before and after interpolation

圖2 相機(jī)位姿校準(zhǔn)前后對(duì)比圖Fig.2 Comparison of camera poses before and after calibration

圖3 由紅外圖像序列生成的點(diǎn)云Fig.3 Point cloud generated from infrared image sequence

1.2 點(diǎn)云補(bǔ)全

類似于MSN[15]中輸入不完整點(diǎn)云，通過(guò)深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)缺失點(diǎn)云補(bǔ)全。采用一種聯(lián)合式編碼器-解碼器網(wǎng)絡(luò)直接作用于輸入的不完整點(diǎn)云，可避免采用基于多視角體素表示方法帶來(lái)的重建分辨率受限問(wèn)題。PointNet[4]和PointNet++[5]提供了直接提取無(wú)序點(diǎn)云特征的方法，同時(shí)對(duì)不同尺度下點(diǎn)云特征進(jìn)行了有效整合；PF-Net[13]改進(jìn)了這種特征提取方法，能夠提取不同尺度下的缺失點(diǎn)云特征用于缺失部分的補(bǔ)全。借鑒這種提取思路，但不同于PF-Net網(wǎng)絡(luò)，本文方法直接輸出待重建物體完整點(diǎn)云，當(dāng)獨(dú)立采用補(bǔ)全點(diǎn)云網(wǎng)絡(luò)時(shí)，我們的模型可以實(shí)現(xiàn)端到端的輸出。

1) 原始點(diǎn)云預(yù)處理

由于原始點(diǎn)云獲取方式的多樣性，為使模型可以適用于更多類型的點(diǎn)云數(shù)據(jù)，需要進(jìn)行預(yù)處理工作。根據(jù)點(diǎn)云補(bǔ)全網(wǎng)絡(luò)設(shè)計(jì)規(guī)模對(duì)獲取的數(shù)據(jù)集采用均勻采樣方式進(jìn)行降采樣，含有缺失部分的點(diǎn)云可以采用隨機(jī)采樣或者隨機(jī)視角下缺失指定數(shù)量點(diǎn)的方式進(jìn)行處理。為便于網(wǎng)絡(luò)模型的學(xué)習(xí)，對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行了零均值化、坐標(biāo)歸一化處理，對(duì)于從ShapeNet數(shù)據(jù)集[16]獲取的數(shù)據(jù)也可以進(jìn)行二次歸一化，如式(2)所示。

(2)

圖4 原始點(diǎn)云預(yù)處理結(jié)果Fig.4 Original point cloud preprocessing results

2) 點(diǎn)云補(bǔ)全網(wǎng)絡(luò)模型

本文所設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)，不受點(diǎn)云缺失部分限制。所謂局部缺失，是指僅在某一個(gè)局部部分的消失或者稀疏化。局部缺失的概念是相對(duì)于整體稀疏化而言的，整體稀疏化類似于對(duì)整體稠密的點(diǎn)云進(jìn)行均勻降采樣，這樣會(huì)導(dǎo)致視覺(jué)效果變差，但總的來(lái)說(shuō)還是保留了一部分全局特征。PF-Net[13]實(shí)現(xiàn)了局部缺失點(diǎn)云的補(bǔ)全，但對(duì)于完整點(diǎn)云稀疏化的缺失補(bǔ)全是受到限制的。本文采用了類似于MSN[15]中“貼圖”重建的方法，改進(jìn)了PF-Net的不足，網(wǎng)絡(luò)模型結(jié)構(gòu)如圖5所示。

圖5 網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.5 Architecture of designed network model

編碼器部分，借鑒了PF-Net[13]的結(jié)構(gòu)，對(duì)輸入的缺失點(diǎn)云采用迭代最遠(yuǎn)點(diǎn)采樣(iterative farthest point sampling, IFPS)進(jìn)行2次降采樣處理，然后將降采樣的結(jié)果與原始輸入一起，分別通過(guò)3個(gè)CMLP[13]進(jìn)行處理。這樣做的目的是對(duì)不同尺度下的點(diǎn)云進(jìn)行特征提取，以獲得3組形狀為1920×1的潛在特征向量，合并后獲得形狀為1920×3潛在特征圖，再將其通過(guò)一個(gè)多層感知機(jī)(multi-layer perception，MLP)獲得形狀為1920×1的最終特征向量，作為后續(xù)解碼器的輸入。

解碼器部分，借鑒了AtlasNet[14]，將編碼器中獲得的特征向量與單位正方形上隨機(jī)采樣點(diǎn)坐標(biāo)進(jìn)行結(jié)合，形成形狀為1922×N的輸入數(shù)據(jù)，通過(guò)K個(gè)共享的MLP層共生成K×N個(gè)點(diǎn)，其組合為最終輸出。這種方法的缺點(diǎn)在于表面元素之間的重疊，因此，又借鑒了MSN[15]，通過(guò)構(gòu)造擴(kuò)張代價(jià)函數(shù)，使得不同的空間表面元素相對(duì)獨(dú)立的同時(shí)減少表面元素的重疊程度，優(yōu)化后的空間表面元素可以有效覆蓋待重建物體表面，并且每一個(gè)MLP預(yù)測(cè)的缺失部分相對(duì)獨(dú)立，從而實(shí)現(xiàn)了讓每一個(gè)MLP負(fù)責(zé)某一個(gè)特定部分的預(yù)測(cè)。期望網(wǎng)絡(luò)可以輸出一個(gè)粗輸出，將這個(gè)粗輸出與原始點(diǎn)云結(jié)合，通過(guò)對(duì)整體數(shù)據(jù)進(jìn)行最小密度采樣(minimum density sampling，MDS)[15]，再將獲得的點(diǎn)云通過(guò)一個(gè)殘差網(wǎng)絡(luò)繼續(xù)訓(xùn)練。這個(gè)網(wǎng)絡(luò)的作用是獲取最小密度采樣后點(diǎn)云與真實(shí)點(diǎn)云點(diǎn)對(duì)點(diǎn)的三維坐標(biāo)的偏移量，從而優(yōu)化、校正現(xiàn)有點(diǎn)云的空間位置，通過(guò)殘差的逐點(diǎn)累加實(shí)現(xiàn)最終缺失點(diǎn)云的輸出。殘差網(wǎng)絡(luò)采用基于共享權(quán)重的一維卷積來(lái)實(shí)現(xiàn)。

代價(jià)函數(shù)部分，使用了擴(kuò)張的代價(jià)函數(shù)，使得每個(gè)MLP計(jì)算得到的點(diǎn)相對(duì)集中，擴(kuò)張代價(jià)函數(shù)如式(3)所示。

(3)

式中：K為生成表面的MLP個(gè)數(shù)；N為每個(gè)表面元素生成點(diǎn)云數(shù)量；Ti為每個(gè)MLP產(chǎn)生點(diǎn)云的最小生成樹；dis(u,v)表示兩節(jié)點(diǎn)的歐式距離；li表示Ti中所有邊長(zhǎng)的平均長(zhǎng)度；f為指示函數(shù)，用于過(guò)濾距離小于λli的邊(λ取1.5)。

如文獻(xiàn)[17]分析，EMD比倒角距離(chamfer distance，CD)更能反映預(yù)測(cè)值向真實(shí)值的逼近程度；CD的缺點(diǎn)在于其計(jì)算復(fù)雜性高，為此，本文沿用了MSN[15]中的處理方法，采用了一種近似的EMD計(jì)算方法，在保證誤差較小的同時(shí)減少了計(jì)算量，代價(jià)函數(shù)如式(4)所示。

(4)

式中：Scoarse是生成的粗糙點(diǎn)云；Sfinal最終輸出結(jié)果；Sgt是真實(shí)的完整點(diǎn)云；實(shí)驗(yàn)中設(shè)置α為0.1，β為1.0。

2 仿真實(shí)驗(yàn)及結(jié)果分析

2.1 模型訓(xùn)練及結(jié)果展示

選取ShapeNet數(shù)據(jù)集[16]上16個(gè)類別(Airplane、Bag、Cap、Car、Chair、Earphone、Guitar、Knife、Lamp、Laptop、Motorbike、Mug、Pistol、Rocket、Skateboard、Table)，共計(jì)16 831個(gè)訓(xùn)練數(shù)據(jù)，訓(xùn)練集、驗(yàn)證集、測(cè)試集樣本數(shù)量分別為12 087、2 874、1 870。采用本文所述方法進(jìn)行不同類別物體缺失點(diǎn)云重建，效果如圖6所示。

圖6 部分點(diǎn)云復(fù)原效果Fig.6 Partial results of point cloud completion using the proposed method

實(shí)驗(yàn)中采用兩種訓(xùn)練方案。

第一種是針對(duì)指定類別數(shù)據(jù)進(jìn)行訓(xùn)練，選取在文獻(xiàn)[15]和[13]論文中EMD以及CD距離最大的3個(gè)類別進(jìn)行訓(xùn)練。其中：完整點(diǎn)云數(shù)量2 048；缺失點(diǎn)云數(shù)量512；batchsize設(shè)置為8；epoch設(shè)置為70；生成表面數(shù)量(K)為8；降采樣指標(biāo)為1 024、512；學(xué)習(xí)率初始為0.01，第20個(gè)epoch下降為0.001，第30個(gè)epoch下降為0.000 1。PF-Net以及MSN采用相同的訓(xùn)練數(shù)據(jù)以及訓(xùn)練方法進(jìn)行訓(xùn)練，測(cè)試集部分可視化結(jié)果如圖7所示。

圖7 3種點(diǎn)云補(bǔ)全方法效果對(duì)比Fig.7 Comparison of three methods in point cloud completion

3種模型EMD、CD指標(biāo)對(duì)比情況如表1所示。表1中EMD指標(biāo)顯示數(shù)值為EMD×100，CD指標(biāo)顯示數(shù)值為CD×1 000，對(duì)比MSN以及PF-Net分別采用EMD以及CD指標(biāo)，考慮到不同指標(biāo)之間的對(duì)比差異，在最后一列也加入了PF-Net的EMD指標(biāo)。

表1 3種網(wǎng)絡(luò)模型EMD、CD指標(biāo)對(duì)比結(jié)果(方案一)Tab.1 Comparison results of EMD and CD indexes in three network models(program 1)

第二種訓(xùn)練方案采用全體訓(xùn)練數(shù)據(jù)，每訓(xùn)練5個(gè)epoch進(jìn)行驗(yàn)證，最終通過(guò)測(cè)試集獲取訓(xùn)練指標(biāo)結(jié)果。其中：完整點(diǎn)云數(shù)量2 048；缺失點(diǎn)云數(shù)量512；batchsize設(shè)置為36；epoch設(shè)置為40；生成表面數(shù)量(K)為8；降采樣指標(biāo)為1 024、512；學(xué)習(xí)率初始為0.01，第20個(gè)epoch下降為0.001，第36個(gè)epoch下降為0.000 1。PF-Net以及MSN采用相同的訓(xùn)練數(shù)據(jù)以及訓(xùn)練方法進(jìn)行訓(xùn)練，最終測(cè)試集上EMD、CD指標(biāo)對(duì)比結(jié)果如表2所示(表2中各指標(biāo)顯示數(shù)值同表1)。

表2 三種網(wǎng)絡(luò)模型EMD、CD指標(biāo)對(duì)比結(jié)果(方案二)Tab.2 Comparison results of EMD and CD indexes in three network models(program 2)

(續(xù)表)

為測(cè)試點(diǎn)云補(bǔ)全網(wǎng)絡(luò)對(duì)由紅外圖像序列生成的不完整點(diǎn)云的補(bǔ)全效果，在ShapeNet數(shù)據(jù)集[16]上選取Boat類別數(shù)據(jù)1 939個(gè)，手動(dòng)篩選33個(gè)與待重建物體結(jié)構(gòu)相似的CAD模型并點(diǎn)云化，之后進(jìn)行數(shù)據(jù)增強(qiáng)操作。具體方法為：在歸一化操作的基礎(chǔ)上，在單位球體的表面選擇64個(gè)視角點(diǎn)，對(duì)篩選出的33個(gè)點(diǎn)云進(jìn)行指定視角下的缺失處理(去掉距離這個(gè)視角點(diǎn)最遠(yuǎn)的一些點(diǎn))，每個(gè)原始點(diǎn)云產(chǎn)生64個(gè)缺失點(diǎn)云，共形成2 112個(gè)訓(xùn)練數(shù)據(jù)，同時(shí)采用第一種訓(xùn)練方案進(jìn)行訓(xùn)練。

值得注意的是，測(cè)試環(huán)節(jié)中，我們往往無(wú)法獲得待重建物體的真實(shí)點(diǎn)云，直接將原始點(diǎn)云進(jìn)行視角缺失處理是不合理的，此外，原始點(diǎn)云相對(duì)真實(shí)點(diǎn)云可能存在點(diǎn)的均勻缺失以及局部缺失。為平衡這兩種缺失情況，將原始點(diǎn)云均勻降采樣至1 792，以模擬256個(gè)點(diǎn)的均勻缺失(假設(shè)真實(shí)點(diǎn)云數(shù)量為2 048)；然后對(duì)降采樣后的點(diǎn)云進(jìn)行基于64個(gè)指定視角的點(diǎn)云缺失處理，以模擬256個(gè)點(diǎn)的局部缺失，從而獲得不同視角下各包含1 536個(gè)點(diǎn)的不完整點(diǎn)云；再將這些不完整點(diǎn)云通過(guò)補(bǔ)全網(wǎng)絡(luò)進(jìn)行補(bǔ)全，補(bǔ)全前后效果對(duì)比如圖8所示。

圖8(a)的點(diǎn)云與我們?cè)趫D3(a)展示的點(diǎn)云不同，這是因?yàn)槲覀冊(cè)趫D3的結(jié)果上又刪去了一部分點(diǎn)(64個(gè)指定視角分別缺失256個(gè)點(diǎn))，以匹配點(diǎn)云補(bǔ)全網(wǎng)絡(luò)輸入數(shù)據(jù)規(guī)模，從而提升重建效果。

圖8 點(diǎn)云補(bǔ)全前后效果對(duì)比Fig.8 Comparison before and after point cloud completion

2.2 實(shí)驗(yàn)結(jié)果分析

1) 點(diǎn)云補(bǔ)全網(wǎng)絡(luò)訓(xùn)練結(jié)果分析

由圖6可以看出，對(duì)不同類別物體，本文所設(shè)計(jì)的聯(lián)合式編碼器-解碼器網(wǎng)絡(luò)可以有效應(yīng)對(duì)隨機(jī)視角缺失指定點(diǎn)數(shù)的情況，對(duì)于缺失部分的細(xì)節(jié)能夠準(zhǔn)確提取其特征，進(jìn)行精細(xì)補(bǔ)全。

由圖7可以看出，在采用相似的訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練后，3種點(diǎn)云補(bǔ)全方法都可以實(shí)現(xiàn)缺失點(diǎn)云的補(bǔ)全：Lamp類中，本文方法與MSN都錯(cuò)誤補(bǔ)全了燈柱部分，由于保留了原始輸入，PF-Net補(bǔ)全效果最好，但是缺失部分與輸入點(diǎn)云結(jié)合時(shí)出現(xiàn)了一定的位置偏差；Cap類中，3種方法表現(xiàn)都較好，PF-Net仍然存在結(jié)合偏差問(wèn)題；Bag類中，本文方法保留了原始數(shù)據(jù)的整體形狀，但是包帶部分重建效果不是很精細(xì)，MSN出現(xiàn)了形狀的誤判，PF-Net將缺失部分很好地限制在包體中間。

由表1可以看出，本文方法的EMD指標(biāo)均優(yōu)于MSN、PF-Net的EMD指標(biāo)，平均EMD指標(biāo)較MSN下降7.1%，較PF-Net下降64.2%。表2顯示了經(jīng)過(guò)全體訓(xùn)練集訓(xùn)練，3種網(wǎng)絡(luò)測(cè)試集的最終效果：與MSN相比，本文方法的平均EMD指標(biāo)上升了17.0%，但是在Bag類以及Knife類別中表現(xiàn)較好；與PF-Net相比，本文方法在EMD指標(biāo)方面優(yōu)勢(shì)明顯，平均EMD指標(biāo)下降58.4%，并且部分CD指標(biāo)也優(yōu)于PF-Net。

2) 紅外圖像序列重建結(jié)果及部分錯(cuò)誤重建結(jié)果分析

由圖8可以看出，點(diǎn)云補(bǔ)全網(wǎng)絡(luò)可以有效實(shí)現(xiàn)缺失部分的恢復(fù)，但是補(bǔ)全結(jié)果出現(xiàn)了一定的形狀泛化。這是因?yàn)榇亟ㄎ矬w形狀復(fù)雜度較高，訓(xùn)練數(shù)據(jù)集中樣本較少，訓(xùn)練數(shù)據(jù)與待重建物體形狀差異較大。此外，點(diǎn)云補(bǔ)全網(wǎng)絡(luò)對(duì)所有點(diǎn)云坐標(biāo)重新計(jì)算的過(guò)程，也會(huì)造成待重建物體部分精細(xì)結(jié)構(gòu)位置的偏差。

由實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，部分類別的測(cè)試結(jié)果與真實(shí)值差距明顯，例如Motorbike類以及Earphone類，重建效果如圖9所示。本文設(shè)計(jì)的網(wǎng)絡(luò)模型并沒(méi)有很好地提取點(diǎn)云的精細(xì)特征，只對(duì)輪廓信息進(jìn)行了提取與重建，同時(shí)錯(cuò)誤補(bǔ)全了部分點(diǎn)云。原因主要是這兩個(gè)類別訓(xùn)練數(shù)據(jù)相對(duì)較少，分別為125、49，在少量訓(xùn)練數(shù)據(jù)的前提下，如果沒(méi)有應(yīng)用數(shù)據(jù)增強(qiáng)技術(shù)，網(wǎng)絡(luò)模型學(xué)習(xí)效果難以提升。

圖9 部分錯(cuò)誤重建點(diǎn)云Fig.9 Partial inaccurate reconstruction point cloud

3) 后續(xù)研究思路及改進(jìn)方法

針對(duì)紅外圖像序列以及部分類別點(diǎn)云重建結(jié)果不精確的問(wèn)題，在后續(xù)研究中可重點(diǎn)針對(duì)以下幾方面進(jìn)行改進(jìn)、突破：

(1) 設(shè)計(jì)新的編碼器-解碼器網(wǎng)絡(luò)，提升復(fù)雜點(diǎn)云特征提取、恢復(fù)能力，在保證EMD、CD指標(biāo)穩(wěn)定的同時(shí)將點(diǎn)云補(bǔ)全規(guī)模提升至10 000點(diǎn)以上；

(2) 探索紅外圖像序列所蘊(yùn)含的缺失點(diǎn)云的空間三維信息，結(jié)合深度學(xué)習(xí)方法提升重建精度；

(3) 設(shè)計(jì)完全端到端的網(wǎng)絡(luò)結(jié)構(gòu)；

(4) 盡量減少網(wǎng)絡(luò)對(duì)原始點(diǎn)云坐標(biāo)的改動(dòng)，重點(diǎn)優(yōu)化點(diǎn)云缺失部分；

(5) 改進(jìn)、優(yōu)化訓(xùn)練方案，根據(jù)模型特點(diǎn)合理設(shè)置學(xué)習(xí)率、迭代次數(shù)以及優(yōu)化器類型；

(6) 擴(kuò)大數(shù)據(jù)規(guī)模，一方面，在更多數(shù)據(jù)集中選取訓(xùn)練數(shù)據(jù)，整合不同數(shù)據(jù)集中相同類別的數(shù)據(jù)；另一方面，當(dāng)部分類別數(shù)據(jù)較少時(shí)，采用數(shù)據(jù)增強(qiáng)技術(shù)。

3 結(jié)束語(yǔ)

在現(xiàn)有點(diǎn)云補(bǔ)全網(wǎng)絡(luò)的基礎(chǔ)上，通過(guò)對(duì)不同網(wǎng)絡(luò)優(yōu)劣勢(shì)分析，本文提出了一種分兩階段實(shí)現(xiàn)紅外圖像序列三維重建的方法；仿真模型部分給出從紅外圖像數(shù)據(jù)預(yù)處理以及原始點(diǎn)云生成到點(diǎn)云補(bǔ)全的完整方案；聯(lián)合式編碼器-解碼器網(wǎng)絡(luò)，針對(duì)缺失點(diǎn)云，應(yīng)用分級(jí)的特征提取方法，并采用“貼圖”方式形成指定個(gè)數(shù)空間曲面以覆蓋點(diǎn)云缺失部分，通過(guò)構(gòu)建擴(kuò)張代價(jià)函數(shù)以及EMD代價(jià)函數(shù)實(shí)現(xiàn)參數(shù)優(yōu)化，通過(guò)殘差網(wǎng)絡(luò)實(shí)現(xiàn)最終輸出。

實(shí)驗(yàn)結(jié)果表明，本文方法能夠有效實(shí)現(xiàn)不同類別點(diǎn)云的缺失補(bǔ)全，在相同數(shù)據(jù)集以及相似訓(xùn)練環(huán)境下，部分類別EMD指標(biāo)相比現(xiàn)有補(bǔ)全網(wǎng)絡(luò)有更加優(yōu)秀的表現(xiàn)。