摘"" 要：神經(jīng)輻射場（neural radiation field，NeRF）因其超逼真的視覺合成能力而備受贊譽，已成為計算機圖形學(xué)和計算機視覺領(lǐng)域的一個重要研究方向。NeRF和其衍生方法目前廣泛應(yīng)用于逼真渲染、虛擬現(xiàn)實和人體建模等領(lǐng)域。NeRF 利用神經(jīng)網(wǎng)絡(luò)從一組輸入圖像中學(xué)習(xí)三維場景的隱式表示，并高保真地合成新的視角。盡管 NeRF技術(shù)很先進，但其訓(xùn)練和推理速度很慢。為了加快 NeRF 的訓(xùn)練速度，研究采用基于哈希函數(shù)的高效數(shù)據(jù)編碼方法，并在訓(xùn)練階段采用了由粗到細的采樣策略，以提高模型效率。此外還引入了一種新穎的數(shù)據(jù)結(jié)構(gòu)NeRFTree，在測試期間緩存整個場景，以加快渲染速度。實驗證明，該方法大大縮短了訓(xùn)練時間，提高了渲染效率，從而增強了NeRF在現(xiàn)實世界應(yīng)用中的實用性，并實現(xiàn)了多種用途。

關(guān) 鍵 詞：神經(jīng)輻射場; 哈希函數(shù); 采樣策略; NeRFTree

氧化鈷; 納米結(jié)構(gòu); 電容器; 電催化

中圖分類號：TP399""" 文獻標(biāo)志碼：A

doi：10.3969/ j.issn.16735862.2024.01.010

Neural rendering acceleration algorithm based on Hash functions and efficient sampling

CUI Song "LYU Yan nbsp;CHEN Lanfeng^1，2

HU Zhi， CHEN Xiaoyang

（1. College of Physical Science and Technology， Shenyang Normal University， Shenyang 110034， China）

（Software College， Shenyang Normal University， Shenyang 110034， China）

Abstract：

Neural radiation field（NeRF）， highly acclaimed for its ultra-realistic visual synthesis capabilities， has become an important research direction in the fields of computer graphics and computer vision. NeRF and its derived methods are now widely used in the fields of photorealistic rendering， virtual reality， and human body modelling. NeRF uses a neural network to learn an implicit representation of a 3D scene from a set of input images and synthesise， with high fidelity， a new viewpoints with high fidelity. Despite its sophistication， NeRF is slow to train and reason. In order to speed up the training of NeRF， the research in this paper employs an efficient data encoding method based on hash functions， and adopts a coarse-to-fine sampling strategy in the training phase to improve the model efficiency. A novel data structure， NeRFTree， is also introduced to cache the whole scene during testing to speed up the rendering. Experiments demonstrate that the approach in this paper significantly reduces the training time and improves the rendering efficiency， thus enhancing the utility of NeRF in real-world applications and enabling multiple uses.

Key words：

neural radiation field; Hash function; sampling strategy; NeRFTree

視圖合成是指從給定的一組輸入圖像及其相應(yīng)的相機姿態(tài)中渲染出場景的新視圖，從新的視角產(chǎn)生逼真的輸出，需要正確處理復(fù)雜的幾何結(jié)構(gòu)和材質(zhì)反射特性。在計算機視覺和計算機圖形領(lǐng)域，該問題長期存在。針對這個問題提出的神經(jīng)輻射場（neural radiation field，NeRF）渲染方法能夠在大范圍相機基線上實現(xiàn)逼真的渲染質(zhì)量。NeRF提出了一種新的場景表示，可以直接優(yōu)化以重現(xiàn)大量高分辨率輸入視圖，同時仍然非常節(jié)省內(nèi)存。然而，NeRF采用隱式函數(shù)像^［1］，需要在整個場景上進行密集采樣，這比傳統(tǒng)解決方案^［24］消耗更多計算資源。例如，對于包含100張分辨率為800 × 800的圖像的場景，NeRF的訓(xùn)練時間通常需要1～2d^［1］，每張圖像的測試時間約為30s。這2個低效性阻礙了NeRF的快速實際應(yīng)用。

本文提出了一種名為Enhancing-NeRF的

基于哈希函數(shù)和高效率采樣的神經(jīng)渲染加速算法

來加速實現(xiàn)高效的圖像渲染質(zhì)量。與原始NeRF使用的位置編碼不同的是，該方法使用多分辨率哈希編碼，通過將網(wǎng)格點映射到固定大小的特征向量數(shù)組來實現(xiàn)適應(yīng)性^［5］。在較粗的分辨率下，可實現(xiàn)直接1∶1映射；而在較高分辨率下，哈希函數(shù)索引數(shù)組允許多個網(wǎng)格點映射為單個數(shù)組條目。哈希表查找的低時間復(fù)雜性大大提高了渲染的效率。

在采樣階段，原始NeRF的流程包括粗略和精細2個階段。粗略階段NeRF通過均勻且密集的采樣點獲得了整個場景的密度分布。與此不同的是，Enhancing-NeRF在粗略階段只推導(dǎo)出查詢密度大于閾值的有效樣本，從而節(jié)省了粗略階段的大部分時間。并且可以保持密集體素，以實時方式更新密度。在精細階段，原始NeRF會按照之前的粗密度分布對更多點進行采樣。然而研究發(fā)現(xiàn)，由于數(shù)據(jù)集圖片背景是空的，許多射線甚至不包含任何有效的關(guān)鍵點。因此，在精細階段提出了樞軸采樣方法，即在樞軸采樣點附近區(qū)域進行采樣。Enhancing-NeRF大大減少了采樣點的數(shù)量，同時達到了相當(dāng)?shù)木取?/p>

在測試過程中采用了一種新穎的基于樹的數(shù)據(jù)結(jié)構(gòu)，即 NeRFTree，以更有效地表示三維場景。NeRFTree有2層。第一層表示從粗MLP中提取的粗密集體素，第二層存儲從精細MLP中提取的細稀疏體素。密集體素和稀疏體素相結(jié)合，推理速度非?？?。Enhancing-NeRF是一項在保持高精度渲染的同時顯著加快渲染速度的訓(xùn)練和測試工作。本文提出的多分辨率哈希數(shù)據(jù)編碼具有O（1）的查找時間復(fù)雜度，從而提高了效率；提出的有效采樣策略，在粗略階段構(gòu)建動態(tài)體素以加快采樣速度，并在精細階段采用樞軸采樣，大大減少了采樣點的數(shù)量，同時達到了相當(dāng)?shù)木?；最后為基于NeRF的方法設(shè)計了一種簡單而高效的數(shù)據(jù)結(jié)構(gòu)NeRFTree，從而能夠快速緩存和查詢?nèi)S場景。

1 相關(guān)工作

使用基于幾何的方法來解決視圖合成問題往往要基于場景的幾何信息，如深度圖、點云等。這些方法通過從多個視角捕獲的圖像或傳感器數(shù)據(jù)推斷出場景的幾何結(jié)構(gòu)，并通過幾何變換來合成新視圖。然而，這些方法通常在面對復(fù)雜的場景和材質(zhì)的表示和渲染時存在問題，尤其是在處理透射、反射等光學(xué)效果時；使用基于深度學(xué)習(xí)的方法通常使用卷積神經(jīng)網(wǎng)絡(luò)或生成對抗網(wǎng)絡(luò)等結(jié)構(gòu)來學(xué)習(xí)從輸入圖像到目標(biāo)視圖之間的映射關(guān)系。盡管這些方法在某些情況下表現(xiàn)良好，但它們往往受限于訓(xùn)練數(shù)據(jù)的質(zhì)量和數(shù)量，并且可能難以處理復(fù)雜的場景和視角變化。此外，還可以基于傳統(tǒng)圖像處理技術(shù)的方法，這些方法通常依賴于圖像的特征提取、變換和重采樣等技術(shù)，例如基于特征匹配的方法。雖然這些方法在一些特定場景下表現(xiàn)良好，但在復(fù)雜的場景和視角變化較大的情況下可能效果不佳。

將機器學(xué)習(xí)模型的輸入數(shù)據(jù)編碼到高維空間的早期例子包括單次編碼^［6］和核技巧^［7］，通過這些方法，復(fù)雜的數(shù)據(jù)排列可以線性分離。對于神經(jīng)網(wǎng)絡(luò)來說，輸入編碼已被證明在遞歸架構(gòu)的注意力組件^［8］及轉(zhuǎn)換器^［9］ 中非常有用，它們可以幫助神經(jīng)網(wǎng)絡(luò)識別當(dāng)前正在處理的位置。隨后，出現(xiàn)了一種將傳統(tǒng)數(shù)據(jù)結(jié)構(gòu)與神經(jīng)網(wǎng)絡(luò)方法相結(jié)合的先進技術(shù)——參數(shù)編碼^［10］。這種技術(shù)需要引入額外的可訓(xùn)練參數(shù)，形成網(wǎng)格和樹等輔助數(shù)據(jù)結(jié)構(gòu)，通過參數(shù)插值（如網(wǎng)格）處理輸入數(shù)據(jù)^［1113］。現(xiàn)有的參數(shù)編碼雖然比非參數(shù)編碼具有更高的精度，但在效率和通用性方面也存在不足。

NeRF的訓(xùn)練通常需要一到兩天，這限制了對效率要求極高的應(yīng)用。IBRNet^［14］在加權(quán)和中集成了多視角特征，從而提高了準(zhǔn)確性，但這種方法生成的圖像質(zhì)量不夠高。PlenOctree^［15］和FastNeRF^［16］通過緩存整個三維場景，推理速度分別達到168 FPS和200 FPS以上，但耗費了巨量的內(nèi)存。相比之下，Enhancing-NeRF可以實現(xiàn)高質(zhì)量的圖像渲染，同時大大減少訓(xùn)練推理時間，且不需要耗費過多的內(nèi)存。

2 方 法

給定M幅圖像Im（m =" …，M），并在場景的多個視圖中標(biāo)定相機參數(shù)，Enhancing-NeRF的目標(biāo)是實現(xiàn)精確的三維場景表示，并在快速訓(xùn)練和測試的基礎(chǔ)上實現(xiàn)高質(zhì)量的圖像合成。首先，回顧一下NeRF的基本思想和流程^［1］。其次，介紹了訓(xùn)練過程中的高效策略，包括哈希數(shù)據(jù)編碼、粗略階段的有效采樣和精細階段的關(guān)鍵采樣。最后，在測試過程中使用NeRFTree來表示整個場景，從而達到數(shù)百FPS的速度。Enhancing-NeRF方法整體框架圖如圖1。

2.1 背景：神經(jīng)輻射場

NeRF是一種全新的三維場景表示方法。與三維網(wǎng)格、點云和體素不同，它引入了隱函數(shù)來建立場景模型，同時采用體渲染來合成圖像。與基于體素的表示法相比，NeRF克服了分辨率和存儲量的限制，能合成高質(zhì)量的結(jié)果。

NeRF 在輸入5D空間信息時采用隱函數(shù)推斷采樣點的4D屬性，公式為

（r，g，b，σ）=f（X（x，y，z），d（θ，φ））（1）

其中：X=（x，y，z）和d=（θ，φ）表示點在世界坐標(biāo)中的位置和方向;f是映射函數(shù)，通常由 MLP 網(wǎng)絡(luò)實現(xiàn)。

對于合成圖像中的每個像素，為了計算其顏色，NeRF首先沿射線r對N個點xi（i= …，N）進行采樣，然后根據(jù)公式（1）計算出相應(yīng)的密度σi和顏色ci。最終預(yù)測的顏色（r）將通過式（2）計算得出，其中σi表示沿光線r的樣本間隔。

（r）=∑Ni=1wiciwi=TiαiTi=exp－∑i－1j=1σjδjαi=1－exp（－σiδi）（2）

NeRF 的訓(xùn)練目標(biāo)H是每個實際像素顏色C（r）與渲染顏色（r）之間的均方誤差，即

H=∑r∈R‖C（r）－（r）‖22（3）

其中R是所有從攝像機中心射向圖像像素的射線的集合。

NeRF方法在將5D空間信息輸入神經(jīng)網(wǎng)絡(luò)時采用了位置編碼，該方法既保留了空間信息又有很好的泛化能力，但其計算成本和空間復(fù)雜度都較高，Enhancing-NeRF采用了多分辨率哈希數(shù)據(jù)編碼的方式，相比位置編碼，哈希數(shù)據(jù)編碼大大降低了計算成本，同時具有較低的空間復(fù)雜度；NeRF方法在采樣階段采用的是均勻采樣，并沒有對采樣點進行篩選，Enhancing-NeRF對采樣方法進行了改進，將采樣階段分為粗階段的有效采樣和精細階段的樞紐采樣，有效地利用有效樣本點占比不高的特點，在降低計算成本的同時有效提取了輸入數(shù)據(jù)樣本的信息特征；Enhancing-NeRF還采用了NeRFTree來存儲整個離線場景，相比NeRF的實時計算方法，不僅減少了內(nèi)存占用，還降低了渲染過程中的計算量。

2.2 數(shù)據(jù)編碼

原始的NeRF的位置編碼函數(shù)為

γ（p）=（sin（20πp），cos（20πp），…，sin（2^L－1πp），cos（2^L－1πp））（4）

該函數(shù)γ（·）分別應(yīng)用于x中的3個坐標(biāo)值（已歸一化為位于［-1，1］內(nèi)）和笛卡爾方向單位向量d的3個分量（根據(jù)構(gòu)造，位于［-1，1］內(nèi)）。

給定一個完全連接的神經(jīng)網(wǎng)絡(luò)m（y;Φ），它有可訓(xùn)練的權(quán)重參數(shù)Φ和可訓(xùn)練的編碼參數(shù)θ。這些超參數(shù)的典型值在表1中給出。該方法的核心思想是對輸入數(shù)據(jù)x在不同的分辨率級別L下進行編碼，其中每個級別包含多達T個特征向量，維度為F，細節(jié)在圖2中展示。這些分辨率級別由最粗糙［Nmin］到最細［Nmax］的幾何級數(shù)定義：

Nl=Nmin·bl（5）

公式中b是基于級別總數(shù)L和［Nmax］及［Nmin］的值計算得出的。計算b的公式如下：

b=explnNmax－lnNminL－1（6）

Nmax被選擇來匹配訓(xùn)練數(shù)據(jù)中的最精細的細節(jié)。由于級別L的數(shù)量較多，增長因子通常很小，實驗中b∈［1.26，2］。

具體操作中，首先將輸入空間劃分為多個分辨率層級，每個層級對應(yīng)一個特定的分辨率和特征向量陣列。在每個層級，輸入坐標(biāo)x被映射到該級別的特征向量數(shù)組。在粗糙的層級，直接進行1∶1映射。在更細的層級，一個哈希函數(shù)h被用來將輸入坐標(biāo)映射到數(shù)組索引，定義為

h（x）=（⊕di=1xiπi）modT（7）

其中⊕表示位運算XOR操作，πi是唯一的、較大的質(zhì)數(shù)。這個公式對每個維度的線性（偽隨機）排列的結(jié)果進行了XOR運算，從而降低了線性維度上哈希值的相關(guān)性。實驗選擇π1=1，π2=2，54，435，761以及π3=805，459，861以便實現(xiàn)更好的緩存連貫性。選擇哈希表T的大小是性能、內(nèi)存和質(zhì)量之間的折中。

針對像素每個角的特征向量，根據(jù)其立方內(nèi)的相對位置采用d-線性插值來確定權(quán)重。對查詢到的哈希表項進行插值，可確保編碼及其與神經(jīng)網(wǎng)絡(luò)的鏈?zhǔn)揭?guī)則合成是連續(xù)的。如果不進行插值，網(wǎng)絡(luò)輸出中就會出現(xiàn)不連續(xù)的網(wǎng)格，導(dǎo)致不理想的塊狀外觀。

多分辨率哈希編碼可以自動適應(yīng)訓(xùn)練數(shù)據(jù)分布的變化。在實踐中可以調(diào)整T，L和F以平衡編碼的性能、內(nèi)存使用和質(zhì)量。

2.3 粗階段的有效抽樣

首先定義具有密度θvgt;0的位于xv的點為有效樣本。對于沿射線r的N點，假設(shè)一個點的位置為Xi，其密度為θi=0。因為Ti=exp－∑i－1j=1σjδj屬于［0，1］范圍內(nèi)，且αi=1－exp（－σiδi）=0，計算它對光線顏色（r）的貢獻wi：

wi=Ti·αi=0（8）

這意味著該點是一個無效樣本，并且對最終渲染結(jié)果沒有影響。因此這些樣本點位置就可以跳過。測量了在常見場景中被訓(xùn)練過的NeRF覆蓋的區(qū)域百分比，根據(jù)數(shù)據(jù)顯示只有一小部分（大約10%～20%）的樣本是有效的。因此，采用稀疏和有效的采樣是可行且必要的。其次，構(gòu)建分辨率為

D×D×D的動量密度體素Vσ，以記住目標(biāo)場景在訓(xùn)練期間的最新全局密度值。由于每個點的密度σ大于或等于零，將Vσ中的默認密度值初始化為正數(shù)。這意味著初始時，Vσ中的所有點都是有效樣本。

對于位于x∈R3的采樣點，首先推斷它的粗略階段密度σC（x）。然后，使用σC（x）動量更新密度體素Vσ。具體來說，首先將x轉(zhuǎn)換成一個3D體素索引i∈R3如下：

i=x－xminxmax－xmin·D（9）

其中xmin，xmax∈R3代表場景的最小和最大世界坐標(biāo)邊界。接下來，對于每個訓(xùn)練迭代，更新Vσ中索引i處的全局密度σ如下：

Vσ［i］←（1－β）·Vσ［i］+β·σC（X）（10）

直接在Vσ中查詢坐標(biāo)x處的密度分布，而不是通過一個MLP模塊計算它。這減少了推理時間，并能夠用于指導(dǎo)動態(tài)采樣策略。

在訓(xùn)練過程中，對于每個從r0∈R3開始且具有標(biāo)準(zhǔn)化方向rd∈R3的光線，采用有效采樣并篩選出有效樣本。具體來說，首先從Vσ查詢密度，并只輸入具有密度Vσ［i］gt;0的樣本點進入粗略MLP。

2.4 精細階段的樞軸采樣

在精細采樣階段，為了實現(xiàn)高效采樣，提出了關(guān)鍵采樣策略。將具有權(quán)重wpgt;的位置點xp定義為關(guān)鍵采樣點，權(quán)重是一個很小的閾值，該值表示x對光線r顏色的貢獻。除了xp點以外，沿每條射線r對xp點附近的Ns個點進行均勻采樣，即為樞軸采樣。

2.5 NeRFTree

Enhancing-NeRF方法采用了一種高效的基于樹的數(shù)據(jù)結(jié)構(gòu)，稱為NeRFTree。NeRFTree可以存儲整個離線場景。與文獻［15］中的密集體素和八叉樹不同，NeRFTree 可以離線存儲整個場景。NeRFTree 是一個兩級樹。第一層緩存的是粗糙體素Vc，第二層緩存的是精細階段的細密體素Vf。Vc∈R^Dc×Dc×Dc只包含密度屬性，密度屬性是通過推斷每個點的密度值提取的，是由粗略MLP組成的體素網(wǎng)格。對于精細稀疏體素Vf∈R^NV×D3f，第一個維度NV代表所有有效樣本的數(shù)量，第2個維度Df×Df×Df代表局部體素的大小。Vf中的每個體素都存儲了從精細 MLP 中推斷出的密度和顏色參數(shù)。

3 實 驗

3.1 實驗設(shè)置

實驗中分別選用了2種不同的數(shù)據(jù)集，包括真實合成數(shù)據(jù)集^［1］和真正的前向數(shù)據(jù)集^［3］。逼真的合成數(shù)據(jù)集^［1］包含8個合成場景。每個場景包含100個訓(xùn)練圖像和200個測試圖像，分辨率均為800×800。真正的前向數(shù)據(jù)集^［3］由8個復(fù)雜和現(xiàn)實世界的場景組成，每個場景在1008×756分辨率下有20～62 張圖像。實驗遵循與原始NeRF^［1］相同的訓(xùn)練和測試數(shù)據(jù)集。實驗使用PSNR /SSIM（越高越好）和LPIPS^［17］（越低越好）指標(biāo)來評估合成圖像的準(zhǔn)確性。此外，通過總訓(xùn)練時間（以小時計）和每秒渲染幀數(shù)（FPS）來測量訓(xùn)練速度。

PSNR 是用來衡量有損壓縮算法（例如圖像）重建質(zhì)量的指標(biāo)。它用對數(shù)分貝尺度表示。更高的PSNR通常表明重建的質(zhì)量更高。其公式如下：

PSNR=10·log10MAX2IMSE（11）

其中：MAXI是圖像可能的最大像素值；MSE（mean squared error）是原始圖像和重建圖像之間的均方誤差。

SSIM 用于衡量兩幅圖像之間的相似性。它考慮了紋理、亮度和對比度的變化。更高的SSIM值表示兩幅圖像之間的相似性更大。其公式如下：

SSIM（x，y）=（2μxμy+c1）（2σxy+c2）（μ2x+μ2y+c1）（σ2x+σ2y+c2）（12）

其中：μx，μy是平均像素值；σ2x，σ2y是方差；σxy是圖像x和y的協(xié)方差；c1和c2是為了穩(wěn)定除法的常數(shù)。

LPIPS是一個較新的指標(biāo)，特別適用于評估圖像間的感知相似性。它對于評估如PSNR 和SSIM這些傳統(tǒng)指標(biāo)不足的圖像質(zhì)量非常有用。更低的LPIPS分數(shù)表示更高的感知相似性。它通常使用預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)模型來計算，比較圖像塊之間的感知差異。

在訓(xùn)練期間，動量密度體素Vσ的分辨率設(shè)置為384×384×384，初始密度σ=10.0，更新率β=0.1。關(guān)鍵閾值ε是1×10^－4。學(xué)習(xí)率初始化為5×10^－4并且每50K次迭代衰減0.1，使用Adam^［18］優(yōu)化器。在測試時，設(shè)置粗糙體素的分辨率為 384×384×384，細粒度稀疏體素的局部分辨率為 4×4×4。所有的實驗都是在一臺裝有RTX3090 GPU的服務(wù)器上完成的。

3.2 實驗結(jié)果

實驗中將提出的Enhancing-NeRF與目前部分先進的方法^{［4，1516，1921］}在圖像質(zhì)量和速度兩方面進行了比較。根據(jù)圖像數(shù)據(jù)的復(fù)雜程度，實驗結(jié)果分為2組。第一組實驗涉及單物體數(shù)據(jù)集，結(jié)果如表 2 和圖3所示?？梢钥闯?，Enhancing-NeRF方法在圖像質(zhì)量上與NeRF相近，略低于其他幾個先進方法，在不降低圖像質(zhì)量的前提下，實現(xiàn)了更短的訓(xùn)練時間和更為高效的渲染速率。第2組實驗涉及更具挑戰(zhàn)性的單對象真實世界數(shù)據(jù)集，其圖像背景基于真實世界，與第一組實驗對象相比更加復(fù)雜，結(jié)果如表 3 和圖4所示?？梢钥闯觯鎸φ鎸嵤澜绲膹?fù)雜數(shù)據(jù)集，實驗得到的圖像質(zhì)量相比合成數(shù)據(jù)集的實驗

結(jié)果都有所降低，Enhancing-NeRF方法在面對真實世界復(fù)雜數(shù)據(jù)集時在圖像質(zhì)量上表現(xiàn)出了具有競爭力的準(zhǔn)確度，同時在訓(xùn)練時間和渲染速度上仍然占據(jù)顯著優(yōu)勢?？傊?，Enhancing-NeRF在實現(xiàn)了高質(zhì)量的圖像渲染結(jié)果的同時，加速了訓(xùn)練時間并提高了渲染速度。

4 結(jié) 論

本文首先介紹了名為Enhancing-NeRF的基于哈希函數(shù)和高效率采樣的神經(jīng)渲染加速算法，該方法以實現(xiàn)高質(zhì)量、快速的視圖合成，加快整個訓(xùn)練和渲染周期為目的；其次，提出了多分辨率哈希數(shù)據(jù)編碼，相比于原始的NeRF方法提高了訓(xùn)練效率；再次，提出了粗采樣階段的有效采樣和精細采樣階段的關(guān)鍵采樣，這2種采樣策略能有效處理重要樣本，從而節(jié)省大量計算量。最后，還為基于NeRF的三維場景緩存方法，提出了NeRFTree存儲方法，在節(jié)省內(nèi)存空間的同時加快了渲染速度。然而，Enhancing-NeRF方法在圖像質(zhì)量的數(shù)據(jù)上，仍需進一步提高，在未來的工作中，將繼續(xù)加強Enhancing-NeRF方法的通用性和圖像質(zhì)量上的準(zhǔn)確性，爭取在實現(xiàn)高效的訓(xùn)練和渲染的同時實現(xiàn)高精度的渲染。

參考文獻：

［1］MILDENHALL B，SRINIVASAN P P，ORTIZ-CAYON R，et al.Local light field fusion：Practical view synthesis with prescriptive sampling guidelines ［J］.ACM Trans Graph，2019，38（4）：29：114.

［2］SITZMANN V，ZOLLHFER M，WETZSTEIN G.Scene representation networks：Continuous 3D-structure-aware neural scene representations［C］// International Conference on Neural Information Processing Systems.Vancouver：MIT Press，2019：11211132.

［3］MILDENHALL B，SRINIVASAN P P，TANCIK M，et al.Nerf：Representing scenes as neural radiance fields for view synthesis ractical view synthesis ［J］.ACM Trans Graph，2022，65（1）：99106.

［4］LOMBARDI S，SIMON T，ASRAGIH J，et al.Neural volumes：Learning dynamic renderable volumes from images［J］.ACM Trans Graph，2019，38（4）：65：114.

［5］MULLER T，EVANS A，SCHIED C，et al.Instant neural graphics primitives with a multiresolution hash encoding［J］.ACM Trans Graph，2022，41（4）：102：115.

［6］METCALFE J，MURDOCK B B.An encoding and retrieval model of single-trial free recall［J］.J Verbal Learning Verbal Behav，1981，20（2）：161189.

［7］LIU Q，WANG H，MA Z，et al.Pattern recognition and computer vision［C］//The fourth Chinese Conference on Pattern Recognition and Computer Vision.Xiamen：Springer，2023：1442514437.

［8］GEHRING J，AULI M，GRANGIER D，et al.Convolutional sequence to sequence learning［C］//International Conference on Machine Learning.New York：PMLR，2017：12431252.

［9］VASWANI A，SHAZEER N，PARMAR N，et al.Attention is all you need［C］//International Conference on Neural Information Processing Systems.Vancouver：MIT Press，2017：60006010.

［10］ABIO I，NIEUWEN R，OLIVERAS A，et al.A parametric approach for smaller and better encodings of cardinality constraints［C］//International Conference on Principles and Practice of Constraint Programming.Heidelberg：Springer，2019：8096.

［11］CHABRA R，LENSSEN J E，ILG E，et al.Deep local shapes：Learning local sdf priors for detailed 3d reconstruction ［C］// Lecture Notes in Computer Science.Glasgow：Springer，2020：608625.

［12］JIANG C，SUD A，MAKADIA A，et al.Local implicit grid representations for 3d scenes［C］// Conference on Computer Vision and Pattern Recognition.Seattle：IEEE/CVF，2020：60006009.

［13］MEHTA I，GHARBI M，BARNES C，et al.Modulated periodic activations for generalizable local functional representations［C］//International Conference on Computer Vision.Montreal：IEEE/CVF，2021：1419414203.

［14］WANG Q，WANG Z，GENOVA K，et al.Ibrnet：Learning multi-view image-based rendering ［C］//Conference on Computer Vision and Pattern Recognition.Nashville：IEEE/CVF，2021：46884697.

［15］YU A，LI R，TANCIK M，et al.Plenoctrees for real-time rendering of neural radiance fields ［C］// International Conference on Computer Vision.Montreal：IEEE/CVF，2021：57325741.

［16］GARBIN S J，KOWALSKI M，JOHNSON M，et al.Fastnerf：High-fidelity neural rendering at 200fps［C］//International Conference on Computer Vision.Montreal：IEEE/CVF，2021：1432614335.

［17］ZHANG R，ISOLA P，EFROS A A，et al.The unreasonable effectiveness of deep features as a perceptual metric［C］//Conference on Computer Vision and Pattern Pecognition.Salt Lake City：IEEE，2018：586595.

［18］KINGMA D P，BA J.Adam：A method for stochastic optimization［J］.Computer Science，2014.DOI：10.48550/arXiv.1412.6980.

［19］HU T，LIU S，CHEN Y，et al.EfficientNerf：Efficient neural radiance fields ［C］//Conference on Computer Vision and Pattern Recognition.New Orleans：IEEE/CVF，2022：1289212901.

［20］LIU Lingjie，GU Jiatao，LIN K Z，et al.Neural sparse voxel fields［EB/OL］.［20240119］.https：//doi.org/10.48550/arXiv.2007.11571.

［21］NIEMEYER M，GEIGER A.Giraffe：Representing scenes as compositional generative neural feature fields ［C］//Conference on Computer Vision and Pattern Recognition.Nashville：IEEE/CVF，2021：227237.

【責(zé)任編輯：孫 可】