陳章,尹宇杰,,馮蕓,萬帥,3

(1. 西北工業(yè)大學(xué)電子信息學(xué)院,710129,西安; 2. 河海大學(xué)信息學(xué)部計(jì)算機(jī)與信息學(xué)院,210024,南京;3. 皇家墨爾本理工大學(xué)工程學(xué)院,VIC3001,澳大利亞墨爾本)

點(diǎn)云是三維空間中一系列具有空間坐標(biāo)信息以及額外屬性信息的點(diǎn)所組成的集合。隨著數(shù)字技術(shù)與三維感知技術(shù)的高速發(fā)展,在面向人眼視覺感知的沉浸式新媒體應(yīng)用中,表征三維物體或場(chǎng)景的點(diǎn)云數(shù)據(jù)已經(jīng)得到廣泛應(yīng)用,如虛擬現(xiàn)實(shí)(virtual reality, VR)、增強(qiáng)現(xiàn)實(shí)(augmented reality, AR)、數(shù)字文化遺產(chǎn)以及3D視頻會(huì)議等[1-2]。隨著點(diǎn)云相關(guān)技術(shù)的發(fā)展,如何提高用戶的觀看體驗(yàn)成為目前點(diǎn)云研究領(lǐng)域內(nèi)的一個(gè)關(guān)鍵問題[3]。不同于傳統(tǒng)圖像的呈現(xiàn)方式,點(diǎn)云在呈現(xiàn)過程中需要通過硬件和渲染算法進(jìn)行輔助[4]。其中,點(diǎn)渲染是一種廣泛應(yīng)用于計(jì)算機(jī)圖形學(xué)中渲染點(diǎn)云的技術(shù)[5-6]。與傳統(tǒng)的基于三角形網(wǎng)格重建表面的渲染方式不同,點(diǎn)渲染則直接渲染出離散的點(diǎn)集,將每個(gè)點(diǎn)的顏色、透明度、法向量等信息映射到屏幕上。在點(diǎn)渲染中,圖形對(duì)象以點(diǎn)的形式表示,而不是以面的形式表示,具有更好的可擴(kuò)展性和動(dòng)態(tài)性,能夠更好地處理復(fù)雜的幾何形狀和大規(guī)模的點(diǎn)云數(shù)據(jù)[7]。因此,針對(duì)點(diǎn)渲染方式對(duì)量化點(diǎn)云主觀質(zhì)量的研究,既有利于提高點(diǎn)渲染算法實(shí)際應(yīng)用效率,又可以輔助點(diǎn)云編碼器相關(guān)算法性能的優(yōu)化。

近年來,國內(nèi)外專家學(xué)者結(jié)合點(diǎn)渲染方式對(duì)點(diǎn)云的主觀質(zhì)量進(jìn)行了廣泛探索。瑞士聯(lián)邦理工學(xué)院的Alexiou等探究了渲染過程中各種相關(guān)因素對(duì)點(diǎn)云主觀質(zhì)量的影響:文獻(xiàn)[8]將無色點(diǎn)云在2D顯示器上以點(diǎn)渲染的方式呈現(xiàn),探究了八叉樹剪枝和高斯噪聲兩種失真對(duì)無色點(diǎn)云主觀質(zhì)量的影響,利用點(diǎn)對(duì)點(diǎn)距離計(jì)算客觀質(zhì)量,通過對(duì)比上述兩種失真的主觀質(zhì)量分?jǐn)?shù),發(fā)現(xiàn)該客觀指標(biāo)對(duì)高斯噪聲產(chǎn)生的失真評(píng)價(jià)更加準(zhǔn)確;文獻(xiàn)[9]對(duì)比了絕對(duì)類別評(píng)級(jí)和雙刺激損傷評(píng)價(jià)法(double-stimulus impairment scale, DSIS)兩種主觀打分方式與點(diǎn)渲染失真程度的關(guān)系,結(jié)果顯示DSIS打分方式與點(diǎn)渲染失真程度更接近;文獻(xiàn)[10]將同一壓縮失真點(diǎn)云在不同顯示設(shè)備上進(jìn)行點(diǎn)渲染顯示,實(shí)驗(yàn)結(jié)果顯示2D顯示屏和AR頭戴式設(shè)備上渲染的失真點(diǎn)云得到的主觀質(zhì)量分?jǐn)?shù)具有差異;文獻(xiàn)[11]通過對(duì)失真點(diǎn)云進(jìn)行網(wǎng)格重建,對(duì)比點(diǎn)渲染和經(jīng)過表面重建點(diǎn)云的主觀質(zhì)量差異。葡萄牙里斯本理工大學(xué)的Javaheri等[12]探究了不同點(diǎn)云編碼方式和渲染顯示方案對(duì)點(diǎn)云感知質(zhì)量的影響,并在點(diǎn)渲染過程中,利用每個(gè)點(diǎn)在點(diǎn)云中空間距離最近的10個(gè)鄰居點(diǎn)計(jì)算點(diǎn)渲染半徑。實(shí)驗(yàn)結(jié)果顯示,點(diǎn)渲染方式下,量化后的顏色失真會(huì)對(duì)幾何失真產(chǎn)生屏蔽效應(yīng)。上海交通大學(xué)的Yang等[13]探究了點(diǎn)渲染方式下,八叉樹失真、顏色噪聲失真、幾何噪聲失真和縮放失真對(duì)主觀質(zhì)量的影響,并提出了一個(gè)包含上述失真類型的點(diǎn)云主觀質(zhì)量數(shù)據(jù)庫SJTU-PCQA[14]。中國科學(xué)院大學(xué)的Wu等[15]通過VR頭戴式顯示設(shè)備觀察V-PCC壓縮生成的失真點(diǎn)云,建立了一個(gè)包含17種壓縮失真的主觀質(zhì)量數(shù)據(jù)庫SIAT-PCQD[16]。青島大學(xué)的Liu等[17]利用點(diǎn)渲染對(duì)彩色3D點(diǎn)云序列進(jìn)行可視化,采用DSIS的打分方式評(píng)價(jià)主觀質(zhì)量,并根據(jù)渲染顯示結(jié)果,提出了一種基于注意力機(jī)制和信息內(nèi)容加權(quán)、結(jié)構(gòu)相似性變體的新型客觀點(diǎn)云質(zhì)量評(píng)估模型。

然而,現(xiàn)有大多數(shù)工作在采用基礎(chǔ)的點(diǎn)渲染時(shí),未能考慮點(diǎn)渲染方式對(duì)主觀質(zhì)量的影響。對(duì)于基于點(diǎn)的渲染方式,影響人眼視覺質(zhì)量的因素主要有2個(gè):初始渲染的基礎(chǔ)幾何體類型和基礎(chǔ)幾何體的半徑?；A(chǔ)幾何體半徑最為關(guān)鍵,半徑過小渲染后點(diǎn)云會(huì)產(chǎn)生空洞現(xiàn)象,半徑過大則會(huì)造成基礎(chǔ)幾何體的混疊。本文針對(duì)這一問題:首先,設(shè)計(jì)了3組不同點(diǎn)渲染方式的主觀質(zhì)量評(píng)價(jià)實(shí)驗(yàn);其次,在對(duì)比了3組主觀質(zhì)量分?jǐn)?shù)后,分析了不同幾何體類型、最近鄰計(jì)算半徑算法對(duì)量化失真點(diǎn)云主觀質(zhì)量的影響;最后,結(jié)合上述主觀實(shí)驗(yàn)結(jié)果和理論分析,建立了點(diǎn)渲染失真面積與基礎(chǔ)幾何體半徑的模型,提出基于幾何八叉樹量化參數(shù)的點(diǎn)渲染優(yōu)化算法。測(cè)試結(jié)果顯示,本文算法相比于基于最近鄰的算法渲染效果更佳,有利于提升量化點(diǎn)云的主客觀質(zhì)量。

1 點(diǎn)云主觀質(zhì)量評(píng)價(jià)實(shí)驗(yàn)

1.1 主觀質(zhì)量評(píng)價(jià)數(shù)據(jù)集構(gòu)建

1.1.1 原始序列構(gòu)建

選取MPEG點(diǎn)云數(shù)據(jù)庫[18]中的9個(gè)高質(zhì)量靜態(tài)序列,其中包含5個(gè)人物序列和4個(gè)物體序列。序列縮略圖和詳細(xì)信息分別如圖1和表1所示。使用人物序列basketball player作為預(yù)實(shí)驗(yàn)的評(píng)價(jià)序列,其余8個(gè)序列用于最終實(shí)驗(yàn)結(jié)論分析。

表1 點(diǎn)云序列詳細(xì)信息Table 1 Point cloud sequence details

(a)basketball player

1.1.2 失真點(diǎn)云生成

失真點(diǎn)云序列采用基于幾何的點(diǎn)云壓縮標(biāo)準(zhǔn)(geometry-based point cloud compression, G-PCC)[19]對(duì)原始點(diǎn)云量化生成。G-PCC能夠分別對(duì)幾何和屬性設(shè)置不同的量化參數(shù),產(chǎn)生不同的失真等級(jí)。量化參數(shù)的設(shè)置參考通用測(cè)試條件(common test conditions, CTC)[20],幾何量化包含無損、R02和R05這3個(gè)等級(jí),屬性量化包含R01、R03和R05這3個(gè)等級(jí),因此每個(gè)點(diǎn)云序列共有9種不同的量化失真組合,如表2所示。G-PCC編碼軟件版本為Test Model Category 13 version 14.0(TMC13v14.0)。其中,幾何編碼采用八叉樹編碼方式,屬性編碼采用預(yù)測(cè)方式。

表2 點(diǎn)云序列量化參數(shù)Table 2 Quantization parameters of point cloud sequence

1.2 可視化平臺(tái)及子實(shí)驗(yàn)設(shè)計(jì)

為探究點(diǎn)渲染方式對(duì)主觀質(zhì)量的影響,將點(diǎn)云采用3種不同點(diǎn)渲染方式顯示,每種點(diǎn)渲染方式對(duì)應(yīng)一組子實(shí)驗(yàn)。子實(shí)驗(yàn)渲染參數(shù)如表3所示。

表3 子實(shí)驗(yàn)渲染參數(shù)Table 3 Sub-experimental rendering parameters

(1)

式中:N=10。

主觀實(shí)驗(yàn)的顯示設(shè)備主要參數(shù)如表4所示。環(huán)境設(shè)置參考電視主觀質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)[21-22]中的建議。測(cè)試背景RGB(紅、綠、藍(lán))三通道顏色值為 [128, 128, 128]。評(píng)分期間,受試者與屏幕的位置固定,受試者可以通過鼠標(biāo)對(duì)點(diǎn)云序列進(jìn)行自由旋轉(zhuǎn)以做到全方位觀測(cè),受試者評(píng)分時(shí)間不做限制。實(shí)驗(yàn)實(shí)施環(huán)境如圖2所示。

表4 顯示設(shè)備主要參數(shù)Table 4 Display main parameter table

圖2 實(shí)驗(yàn)實(shí)施環(huán)境Fig.2 Experiment implementation environment

1.3 主觀質(zhì)量評(píng)價(jià)流程

1.3.1 實(shí)驗(yàn)打分方法

打分方式采用DSIS打分方式[21],原始無失真點(diǎn)云序列置于屏幕左邊,量化失真點(diǎn)云序列置于屏幕右邊。實(shí)驗(yàn)評(píng)分采取五級(jí)評(píng)分制[22],如表5所示。受試者同時(shí)觀察原始參考點(diǎn)云和量化失真點(diǎn)云,依據(jù)原始參考點(diǎn)云序列對(duì)量化失真點(diǎn)云序列進(jìn)行五級(jí)評(píng)分。參考點(diǎn)云序列作為隱藏參考出現(xiàn)在量化失真的測(cè)試點(diǎn)云序列位置,即要求受試者對(duì)每個(gè)點(diǎn)云模型的參考點(diǎn)云序列進(jìn)行一次五級(jí)質(zhì)量評(píng)分。在進(jìn)行數(shù)據(jù)分析時(shí),計(jì)算每個(gè)測(cè)試點(diǎn)云序列和其對(duì)應(yīng)的隱藏參考之間的差異平均主觀分?jǐn)?shù)(differential mean opinion score,DMOS)。

表5 五級(jí)評(píng)分制Table 5 Five-level grading scale

1.3.2 實(shí)驗(yàn)受試者篩選

主觀質(zhì)量評(píng)價(jià)過程中邀請(qǐng)了11名受試者參與。受試者年齡在20～40歲之間,其中10人為高校學(xué)生,1人為點(diǎn)云視頻領(lǐng)域的研究學(xué)者。受試者均通過Snellen和Ishihara視力表[23]檢測(cè),并在正式主觀實(shí)驗(yàn)之前對(duì)實(shí)驗(yàn)受試者進(jìn)行相關(guān)的實(shí)驗(yàn)指導(dǎo)和預(yù)實(shí)驗(yàn)演練。

1.3.3 實(shí)驗(yàn)指導(dǎo)及預(yù)實(shí)驗(yàn)

為確保主觀質(zhì)量評(píng)價(jià)的準(zhǔn)確性,所有受試者在進(jìn)行實(shí)驗(yàn)前均進(jìn)行實(shí)驗(yàn)指導(dǎo)及預(yù)實(shí)驗(yàn)。實(shí)驗(yàn)指導(dǎo)包含以下內(nèi)容:點(diǎn)云相關(guān)概念以及主觀質(zhì)量評(píng)價(jià)要求介紹,點(diǎn)云失真種類、失真類型和點(diǎn)云渲染的相關(guān)介紹,正式實(shí)驗(yàn)與預(yù)實(shí)驗(yàn)等實(shí)驗(yàn)流程介紹,實(shí)驗(yàn)環(huán)境與設(shè)備使用說明,實(shí)驗(yàn)評(píng)分規(guī)則方式介紹。在正式實(shí)驗(yàn)之前,為確保受試者熟悉正式實(shí)驗(yàn)的操作過程,采用basketball player序列進(jìn)行演練,失真類型、渲染類型、顯示方式、評(píng)分方式等均與正式實(shí)驗(yàn)相同,預(yù)實(shí)驗(yàn)評(píng)分結(jié)果不記錄在實(shí)驗(yàn)數(shù)據(jù)之內(nèi)。

1.3.4 正式實(shí)驗(yàn)要求

正式實(shí)驗(yàn)包含上述3個(gè)子實(shí)驗(yàn),每組子實(shí)驗(yàn)在主觀評(píng)價(jià)過程中測(cè)試序列順序隨機(jī),以免序列排序?qū)χ饔^質(zhì)量的干擾。受試者每持續(xù)評(píng)價(jià)30 min強(qiáng)制休息5～10 min,以避免受試者因?yàn)殚L(zhǎng)時(shí)間觀察產(chǎn)生視覺疲勞,從而影響對(duì)失真程度的判斷。正式實(shí)驗(yàn)過程中,總點(diǎn)云序列數(shù)目為240個(gè)(8個(gè)初始序列×(9組失真+1組無失真)×3種渲染方式),受試者人數(shù)為11,最終獲得平均意見分?jǐn)?shù)(mean opinion score,MOS)為2 640個(gè)。

2 主觀質(zhì)量評(píng)價(jià)結(jié)果與分析

2.1 受試者可靠性分析及DMOS計(jì)算

依據(jù)ITU-R BT.500-13[22]附件1中2.3小節(jié)推薦的受試者可靠性分析方法,剔除異常受試者數(shù)據(jù)。經(jīng)驗(yàn)證篩查,本次主觀質(zhì)量評(píng)價(jià)3個(gè)子實(shí)驗(yàn)中均無異常受試者數(shù)據(jù)。

為剔除量化失真點(diǎn)云序列MOS值中原始點(diǎn)云的隱藏參考,將點(diǎn)云MOS值轉(zhuǎn)化為DMOS值,做到“隱藏參刪除(hidden reference removal,HR)”。DMOS的計(jì)算參考ITU-TP.913[20]中的方法。DMOS值計(jì)算方法為

(2)

式中:t為受試者;j為測(cè)試點(diǎn)云序列;jref為j對(duì)應(yīng)的原始參考點(diǎn)云序列;mtj為t對(duì)j的MOS分值,mtjref為t對(duì)jref的MOS分值;dtj為j與jref之間的質(zhì)量分?jǐn)?shù)差異,即DMOS值。子實(shí)驗(yàn)的DMOS均值如表6所示。

表6 點(diǎn)云主觀質(zhì)量評(píng)價(jià)DMOS均值Table 6 Point cloud subjective quality assessment DMOS distribution

2.2 幾何體類型對(duì)主觀質(zhì)量的影響

為探究幾何體類型對(duì)主觀質(zhì)量的影響,對(duì)子實(shí)驗(yàn)1和子實(shí)驗(yàn)2的主觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)進(jìn)行統(tǒng)計(jì)檢驗(yàn)。采用威爾科克森符號(hào)秩檢驗(yàn)[24]和雙獨(dú)立樣本T檢驗(yàn)[25]分別對(duì)兩組實(shí)驗(yàn)數(shù)據(jù)的中值和均值分布進(jìn)行檢驗(yàn)。為滿足雙獨(dú)立樣本T檢驗(yàn)方差齊次性的先驗(yàn)條件,采用萊文檢驗(yàn)驗(yàn)證樣本組方差齊次性。各檢驗(yàn)的零假設(shè)和備擇假設(shè)如表7所示。

表7 原假設(shè)與備擇假設(shè)Table 7 Null hypothesis and alternative hypothesis

檢測(cè)結(jié)果顯示:子實(shí)驗(yàn)1和子實(shí)驗(yàn)2的威爾科克森符號(hào)秩檢驗(yàn)P值為0.000 065,萊文檢驗(yàn)P值為0.762,雙獨(dú)立樣本T檢驗(yàn)P值為0.69。子實(shí)驗(yàn)1和2萊文檢驗(yàn)P值大于0.05,因此各個(gè)樣本組均滿足雙獨(dú)立樣本T檢驗(yàn)的方差齊次性條件。由于威爾科克森符號(hào)秩檢驗(yàn)的P值小于0.05,因此子實(shí)驗(yàn)1和子實(shí)驗(yàn)2在總體分布上存在顯著性差異。渲染幾何體類型對(duì)主觀質(zhì)量存在影響。

圖3為各個(gè)量化失真類別下,子實(shí)驗(yàn)2和子實(shí)驗(yàn)1主觀質(zhì)量分?jǐn)?shù)差值的箱式圖,圖中縱坐標(biāo)d2,1計(jì)算式為

圖3 子實(shí)驗(yàn)2和子實(shí)驗(yàn)1主觀質(zhì)量差值箱式圖Fig.3 Sub-experiment 2 and sub-experiment 1 subjective quality difference compartment plots

d2,1=d2-d1

(3)

式中:d1、d2分別為子實(shí)驗(yàn)1和子實(shí)驗(yàn)2計(jì)算得到的DMOS值。

從圖3可知,對(duì)于各量化失真類別,整體d2,1均值高于0,即子實(shí)驗(yàn)2的主觀質(zhì)量?jī)?yōu)于子實(shí)驗(yàn)1。同時(shí),在相同幾何量化失真下,當(dāng)屬性量化失真增大時(shí),d2,1呈現(xiàn)上升趨勢(shì),子實(shí)驗(yàn)2的渲染優(yōu)于子實(shí)驗(yàn)1的情況在主觀質(zhì)量上更加顯著。雖然兩組子實(shí)驗(yàn)在渲染過程中每個(gè)基礎(chǔ)幾何體的渲染半徑相同,但是立方體的半徑對(duì)應(yīng)立方體對(duì)角線的一半。所以,在相同的觀察視角下,圓形渲染產(chǎn)生的混疊面積會(huì)大于立方體,即圓形產(chǎn)生的幾何和屬性畸變大于立方體,如圖4所示。

圖4 圓形與立方體最近鄰點(diǎn)渲染比較Fig.4 Comparison of circle and cube nearest neighbour rendering

2.3 最近鄰渲染對(duì)主觀質(zhì)量的影響

為探究最近鄰渲染方式對(duì)主觀質(zhì)量的影響,對(duì)子實(shí)驗(yàn)1和子實(shí)驗(yàn)3的主觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)進(jìn)行統(tǒng)計(jì)檢驗(yàn)。與2.2節(jié)中使用的統(tǒng)計(jì)方法相同,采用威爾科克森符號(hào)秩檢驗(yàn)和雙獨(dú)立樣本T檢驗(yàn)分別對(duì)兩組實(shí)驗(yàn)數(shù)據(jù)的中值和均值進(jìn)行檢驗(yàn)。各個(gè)檢驗(yàn)的零假設(shè)和備擇假設(shè)同表7。

檢測(cè)結(jié)果顯示:子實(shí)驗(yàn)1和子實(shí)驗(yàn)3的威爾科克森符號(hào)秩檢驗(yàn)P值為0.354,萊文檢驗(yàn)P值為0.892,雙獨(dú)立樣本T檢驗(yàn)P值為0.841。子實(shí)驗(yàn)1和子實(shí)驗(yàn)3萊文檢驗(yàn)P值大于0.05,因此樣本組均滿足雙獨(dú)立樣本T檢驗(yàn)的方差齊次性條件。又因?yàn)橥柨瓶松?hào)秩檢驗(yàn)和雙獨(dú)立樣本T檢驗(yàn)的P值均大于0.05,因此子實(shí)驗(yàn)1和子實(shí)驗(yàn)3在總體分布上無顯著性差異。基于最近鄰計(jì)算渲染半徑的算法并沒有因?yàn)闇p少空洞現(xiàn)象而提升量化點(diǎn)云的主觀質(zhì)量。

圖5為各個(gè)量化失真類別下,子實(shí)驗(yàn)1和子實(shí)驗(yàn)3的主觀質(zhì)量分?jǐn)?shù)差值,圖中縱坐標(biāo)d1,3計(jì)算式為

d1,3=d1-d3

(4)

從圖5可以看出,相同幾何量化失真時(shí),隨著屬性量化參數(shù)的增大,d1,3呈現(xiàn)下降趨勢(shì),且d1,3均值會(huì)從大于0轉(zhuǎn)變成小于0的情況。在屬性量化參數(shù)為51時(shí),子實(shí)驗(yàn)3的主觀質(zhì)量分?jǐn)?shù)顯著高于子實(shí)驗(yàn)1?；谧罱彽狞c(diǎn)渲染算法是利用空間中點(diǎn)的密度信息自適應(yīng)計(jì)算基礎(chǔ)幾何體的渲染半徑,從而減少幾何量化產(chǎn)生的空洞。但是,由于基礎(chǔ)幾何體渲染半徑增大,在這一過程中人眼對(duì)于屬性質(zhì)量的感知更加敏感,渲染結(jié)果上與屬性量化失真相關(guān)性高。因此,當(dāng)屬性量化失真較小時(shí),子實(shí)驗(yàn)1中人眼感知的質(zhì)量會(huì)高于子實(shí)驗(yàn)3中,反之結(jié)果相同。

3 量化點(diǎn)云點(diǎn)渲染算法優(yōu)化

3.1 面向八叉樹量化的點(diǎn)渲染優(yōu)化

通過主觀實(shí)驗(yàn)的分析可知,量化點(diǎn)云的主觀質(zhì)量在點(diǎn)渲染過程中受基礎(chǔ)幾何體半徑產(chǎn)生的混疊和空洞影響。2.2節(jié)的實(shí)驗(yàn)結(jié)果表明,在不產(chǎn)生空洞的前提下,較小的基礎(chǔ)幾何體可以減少點(diǎn)云渲染過程中的混疊,從而減小幾何和屬性上的畸變,提高點(diǎn)云的主觀質(zhì)量。此外,2.3節(jié)的實(shí)驗(yàn)結(jié)果顯示,基于最近鄰的點(diǎn)渲染算法可以有效減少空洞的產(chǎn)生,并在屬性量化較低的情況下表現(xiàn)出良好的效果。然而,當(dāng)屬性量化增大時(shí),混疊引起的失真會(huì)降低點(diǎn)云的主觀質(zhì)量。因此,為了優(yōu)化量化點(diǎn)云的主觀質(zhì)量,應(yīng)當(dāng)在設(shè)置基礎(chǔ)幾何體半徑時(shí)避免產(chǎn)生空洞,并盡可能減少混疊現(xiàn)象的發(fā)生。

以基礎(chǔ)幾何體采用圓形渲染為例,假設(shè)當(dāng)前點(diǎn)云中點(diǎn)的幾何坐標(biāo)為(xi,yi,zi),i=1,2,,M,每個(gè)點(diǎn)對(duì)應(yīng)的渲染半徑為ri,整個(gè)點(diǎn)云渲染產(chǎn)生的空洞面積為S1(如圖6中的藍(lán)色區(qū)域所示),整個(gè)點(diǎn)云渲染產(chǎn)生的混疊面積為S2(如圖6中的綠色區(qū)域所示),則最優(yōu)的人眼感知質(zhì)量下,渲染半徑滿足

圖6 點(diǎn)渲染空洞和混疊產(chǎn)生過程示意Fig.6 A diagram of the process of creating point-rendering hole and blending

minS2(r1,r2,,ri); s.t.S1(r1,r2,,ri)=0

(5)

(6)

在渲染過程中,S1由點(diǎn)云中每個(gè)點(diǎn)和其空間最近鄰點(diǎn)決定。八叉樹剪枝后,點(diǎn)云中的點(diǎn)在空間中的最近鄰距離近似。因此,全點(diǎn)云中量化后的點(diǎn)與其最近鄰的平均距離d近似為

(7)

令所有點(diǎn)的渲染半徑相同,即

r1=r2=r3==rM

(8)

此時(shí),空洞可視為由點(diǎn)云中每個(gè)點(diǎn)與其26個(gè)鄰居點(diǎn)產(chǎn)生,則滿足S1=0約束條件的渲染半徑為

(9)

結(jié)合式(7)、(8)可知,滿足minS2的渲染半徑為

(10)

所提算法在二維屏幕上的渲染示意如圖7所示。

圖7 所提算法的點(diǎn)渲染過程示意Fig.7 Diagram of the proposed method point rendering process

3.2 優(yōu)化算法性能測(cè)試結(jié)果

本文以渲染圖像峰值信噪比(peak signal-to-noise ratio,PSNR)、主觀質(zhì)量分?jǐn)?shù)和渲染時(shí)間復(fù)雜度這3種指標(biāo)評(píng)價(jià)所提算法性能。其中,渲染圖像PSNR的計(jì)算是先將點(diǎn)云渲染后投影到包圍盒的6個(gè)平面上,再計(jì)算6個(gè)圖像PSNR的均值。

將所提算法與最近鄰渲染算法進(jìn)行對(duì)比,評(píng)價(jià)指標(biāo)為

(11)

ΔIDMOS=IDMOS,proposed-IDMOS,NNR

(12)

(13)

式中:IPSNR、IDMOS分別代表PSNR、DMOS值;T代表渲染時(shí)間復(fù)雜度;下標(biāo)proposed、NNR分別代表本文算法、最近鄰渲染算法。

表8展示了所提算法與基于最近鄰的點(diǎn)渲染算法[12]的比較結(jié)果。

表8 最近鄰渲染算法與所提算法性能對(duì)比結(jié)果Table 8 The performance comparison results between the nearest neighbor rendering algorithm and the proposed algorithm

從表8可以看出,與最近鄰渲染算法相比,所提算法渲染質(zhì)量提升了12.3%,主觀質(zhì)量分?jǐn)?shù)提升了0.5,時(shí)間復(fù)雜度顯著減少,降低了52%。這是因?yàn)樗崴惴ㄔ趯?duì)量化后的點(diǎn)云渲染時(shí)僅利用幾何量化參數(shù)計(jì)算渲染半徑,減少了對(duì)量化點(diǎn)云中每個(gè)點(diǎn)的遍歷和尋找每個(gè)點(diǎn)最近10個(gè)鄰居點(diǎn)的過程。

同時(shí),圖8展示了所提算法與最近鄰渲染算法在不同量化參數(shù)下的主觀效果對(duì)比。由結(jié)果可知,相比于最近鄰渲染算法,所提算法根據(jù)幾何量化參數(shù)計(jì)算渲染半徑,減少了基礎(chǔ)幾何體間的混疊,從而使渲染后的點(diǎn)云在細(xì)節(jié)表達(dá)上效果更好。

(a)longdress,幾何量化參數(shù)為1/4,屬性量化參數(shù)為28

4 結(jié) 論

本文通過設(shè)計(jì)不同點(diǎn)渲染方式的點(diǎn)云主觀質(zhì)量評(píng)價(jià)實(shí)驗(yàn),分析了不同點(diǎn)渲染類型和最近鄰渲染方式對(duì)量化點(diǎn)云主觀質(zhì)量的影響。研究結(jié)果表明:點(diǎn)渲染類型會(huì)因?yàn)榛A(chǔ)幾何體產(chǎn)生的混疊程度不同而影響主觀質(zhì)量;最近鄰渲染的質(zhì)量分?jǐn)?shù)與屬性量化失真相關(guān)性更高,在屬性失真嚴(yán)重時(shí),渲染效果更差。實(shí)驗(yàn)結(jié)果顯示,點(diǎn)渲染中基礎(chǔ)幾何體半徑的合理設(shè)置是提升量化點(diǎn)云主觀質(zhì)量的關(guān)鍵因素,需要在不產(chǎn)生空洞時(shí)減少混疊。

結(jié)合主觀實(shí)驗(yàn)結(jié)果,本文在理論分析的基礎(chǔ)上,建立了點(diǎn)渲染半徑和渲染失真面積的優(yōu)化模型。通過結(jié)合八叉樹量化后的空間相似性,將多模型參數(shù)簡(jiǎn)化為單一參數(shù)并求解,提出一種利用幾何量化參數(shù)計(jì)算基礎(chǔ)幾何體半徑的渲染算法。相比基于最近鄰計(jì)算渲染半徑的算法,所提算法減少了空間最近鄰的搜索過程,時(shí)間復(fù)雜度降低了52%。同時(shí),因?yàn)闇p少了渲染過程中基礎(chǔ)幾何體的混疊程度,所以所提算法PSNR提升了12.3%,并且主觀實(shí)驗(yàn)結(jié)果反映人眼感知質(zhì)量更高。