宋輝 蘇洪磊 呂劍雨 元輝

（1.青島大學(xué)電子信息學(xué)院，山東青島 266071；2.山東大學(xué)控制科學(xué)與工程學(xué)院，山東濟(jì)南 250061）

1 引言

隨著現(xiàn)代媒體技術(shù)的快速發(fā)展，越來越多的技術(shù)被用于呈現(xiàn)三維（3-dimension，3D）內(nèi)容，3D 數(shù)據(jù)也有了不同的格式，如全息圖［1］、光場［2］、點(diǎn)云（point cloud，PC）［3］等。其中，點(diǎn)云是當(dāng)前應(yīng)用較為廣泛的3D 媒體形式之一。點(diǎn)云是給定的坐標(biāo)空間下的點(diǎn)的數(shù)據(jù)集合，每個(gè)點(diǎn)包含了坐標(biāo)信息和屬性信息（如顏色、法向量等），這些點(diǎn)共同來呈現(xiàn)為3D內(nèi)容［4］。

由于原始點(diǎn)云數(shù)據(jù)量較大，因此在一定帶寬限制的網(wǎng)絡(luò)中傳輸點(diǎn)云時(shí)，需要對點(diǎn)云進(jìn)行壓縮［5］，導(dǎo)致點(diǎn)云失真，影響點(diǎn)云的感知質(zhì)量。如何對點(diǎn)云感知質(zhì)量進(jìn)行實(shí)時(shí)有效的評估，及時(shí)改變點(diǎn)云壓縮［6］和傳輸策略［7］，使用戶獲得更好的視覺體驗(yàn)，成為當(dāng)前的研究難點(diǎn)。主觀質(zhì)量評估能準(zhǔn)確反映點(diǎn)云感知質(zhì)量，但其操作復(fù)雜，成本高，且無法鑲嵌在實(shí)際的應(yīng)用中對點(diǎn)云質(zhì)量進(jìn)行實(shí)時(shí)評估［8］。而客觀質(zhì)量評估能在點(diǎn)云系統(tǒng)中對點(diǎn)云進(jìn)行實(shí)時(shí)評估，因此有必要研究點(diǎn)云的客觀質(zhì)量評價(jià)方法。

從輸入信息的角度看，客觀質(zhì)量評估可分為參數(shù)規(guī)劃模型、包層模型、比特流層模型［9］、媒體層模型［10-22］和混合型模型。點(diǎn)云的媒體層模型的輸入信息是解碼后的點(diǎn)云數(shù)據(jù)，需要完全解碼獲得體素［23］信息，因此耗費(fèi)時(shí)間較長，無法適用于對實(shí)時(shí)性要求較高的點(diǎn)云傳輸系統(tǒng)。而比特流層模型不需要對點(diǎn)云完全解碼，僅需從碼流中提取必要的信息，即可做出對點(diǎn)云的感知質(zhì)量評價(jià)。因此相對與媒體層模型來說，比特流層模型更適用于在實(shí)際應(yīng)用場景中對點(diǎn)云質(zhì)量進(jìn)行實(shí)時(shí)監(jiān)測。

目前，已有較多文獻(xiàn)對點(diǎn)云質(zhì)量評估（point cloud quality assessment，PCQA）進(jìn)行了研究，但多為媒體層模型。文獻(xiàn)［9］提出了一種簡單的基于碼流的PCQA 模型，對碼率與點(diǎn)云感知質(zhì)量的關(guān)系進(jìn)行了研究。在媒體層模型中，全參考（full reference，F(xiàn)R）模型是目前的主流類型［10-20］。全參考模型可以分為基于點(diǎn)的模型［10-17］和基于投影的模型［18-19］。文獻(xiàn)［9-11］中提出了Po2Point，Po2Plane 等利用幾何信息進(jìn)行點(diǎn)云感知質(zhì)量評估的模型，這些模型主要通過計(jì)算失真點(diǎn)云與參考點(diǎn)云幾何信息之間的差異對失真點(diǎn)云在幾何層面做出感知質(zhì)量評估，由于某些情況下點(diǎn)云的幾何信息的差異并不會(huì)影響到點(diǎn)云的感知質(zhì)量，故這些模型的性能不算理想。文獻(xiàn)［13］提出了PC-MSDM 模型，該模型是3D網(wǎng)格質(zhì)量評估算法的擴(kuò)展利用了局部曲率信息，因此比單純的利用幾何距離差異的模型性能更好。除了基于點(diǎn)的模型外，文獻(xiàn)［17］提出了基于圖變換的GraphSIM 模型，該模型使用曲線圖信號(hào)梯度作為質(zhì)量指標(biāo)來評估點(diǎn)云失真，對于具有多種失真類型的點(diǎn)云數(shù)據(jù)庫具有良好的性能。另外，文獻(xiàn)［18-19］提出了基于投影的PCQA 方法，將點(diǎn)云以某投影在平面上，再使用經(jīng)典的圖像質(zhì)量評估算法進(jìn)行計(jì)算，該類算法有較為優(yōu)秀的性能表現(xiàn)。但是全參考PCQA 模型同時(shí)需要失真點(diǎn)云和參考點(diǎn)云，而參考點(diǎn)云在網(wǎng)絡(luò)節(jié)點(diǎn)中是不易獲取的，這就使得全參考PCQA 模型在實(shí)際的點(diǎn)云傳輸場景中無法使用。無參考（no reference，NR）模型不需要參考點(diǎn)云信息，文獻(xiàn)［21］提出了一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的無參考PCQA 模型，該系統(tǒng)基于稀疏卷積層和殘差的堆棧，提取層次特征并對其全局池化，從而得到網(wǎng)絡(luò)的特征向量，由后續(xù)網(wǎng)絡(luò)將特征向量輸入到回歸模塊中預(yù)測最終客觀質(zhì)量分?jǐn)?shù)。深度學(xué)習(xí)網(wǎng)絡(luò)評估方法的高準(zhǔn)確性需要經(jīng)過大量的數(shù)據(jù)集訓(xùn)練來實(shí)現(xiàn)。對于小數(shù)據(jù)集的數(shù)據(jù)庫，可能存在由于訓(xùn)練集不足導(dǎo)致性能降低的缺陷。并且該模型需要點(diǎn)云的媒體層特征，無法在點(diǎn)云系統(tǒng)中實(shí)時(shí)監(jiān)測。

上述模型大部分為媒體層模型，需要對點(diǎn)云進(jìn)行完全解碼得到重建點(diǎn)云信息，故其計(jì)算復(fù)雜度較高，較難實(shí)現(xiàn)對網(wǎng)絡(luò)中點(diǎn)云質(zhì)量的實(shí)時(shí)監(jiān)控。

本文提出了一種基于碼流的G-PCC（geometrybased point cloud compression）壓縮點(diǎn)云無參考感知質(zhì)量評價(jià)模型。從壓縮點(diǎn)云的碼流中提取紋理量化參數(shù)（texture quantization parameter，TQP）、紋理比特率（texture bits per pixel，TBPP）和位置量化尺度（position quantization scale，PQS），本模型使用上述信息對點(diǎn)云進(jìn)行感知質(zhì)量評估。首先，在不考慮幾何損失的情況下，確定TQP 與感知質(zhì)量之間的關(guān)系。然后使用紋理量化參數(shù)和紋理比特率來預(yù)測紋理復(fù)雜度，并結(jié)合空域掩蓋效應(yīng)建立幾何無損時(shí)的點(diǎn)云質(zhì)量評估模型。然后結(jié)合位置量化尺度對點(diǎn)云下采樣質(zhì)量的影響，確定了紋理量化參數(shù)與位置量化尺度對點(diǎn)云質(zhì)量的影響相互獨(dú)立，并最終得到完整的點(diǎn)云質(zhì)量評估模型。

2 基于碼流的PCQA模型

G-PCC 是國際標(biāo)準(zhǔn)動(dòng)態(tài)圖像專家組（Moving Picture Experts Group，MPEG）提出多種3D 點(diǎn)云壓縮（Point Cloud Compression，PCC）技術(shù)之一，主要應(yīng)用于靜態(tài)點(diǎn)云的壓縮。點(diǎn)云在經(jīng)過體素化后，進(jìn)行幾何和紋理編碼，其中幾何編碼有八叉樹（Octree）和Trisoup 兩種方式，紋理編碼有l(wèi)ifting 和區(qū)域自適應(yīng)分層變換（Region Adaptive Hierarchical Transform，RAHT）兩種方式。Octree 編碼的程度可以在PQS 上體現(xiàn)，決定了點(diǎn)云的稀疏程度。紋理量化通過輸入的參數(shù)對lifting 變換殘差系數(shù)進(jìn)行量化，TQP決定紋理上的量化誤差。G-PCC點(diǎn)云壓縮會(huì)進(jìn)行紋理和幾何的量化，而量化是G-PCC 壓縮點(diǎn)云失真最主要的原因，分別對紋理編碼和幾何編碼對點(diǎn)云感知質(zhì)量的影響進(jìn)行研究建立模型，并將他們結(jié)合形成一個(gè)整體的模型，圖1 為基于碼流的PCQA模型流程圖。

圖1 模型流程圖Fig.1 Flowchart of the model

2.1 紋理編碼參數(shù)與點(diǎn)云感知質(zhì)量之間的關(guān)系

幾何無損的點(diǎn)云壓縮會(huì)出現(xiàn)紋理失真，不同的紋理量化步長（texture quantization step，TQS）或其對應(yīng)的TQP 會(huì)導(dǎo)致不同程度的紋理失真。為了研究TQP 與點(diǎn)云感知質(zhì)量的關(guān)系，從WPC4 數(shù)據(jù)庫1https://github.com/qdushl/Waterloo-Point-Cloud-Database-4.0中選取不同內(nèi)容的點(diǎn)云（cake、cauliflower、glasses_case、litchi、pineapple、pumpkin、tool_box），在固定位置量化尺度的情況下（PQS=0.5），研究不同點(diǎn)云的主觀質(zhì)量分?jǐn)?shù)（Mean Opinion Score，MOS）隨TQS 的變化情況。WPC4數(shù)據(jù)集是在WPC［22］數(shù)據(jù)集基礎(chǔ)上，選取其中的部分點(diǎn)云內(nèi)容（bag、cake、cauliflower、glasses_case、honeydew_melon、litchi、mushroom、pen_container、pineapple、ping-pong_bat、pumpkin、ship、statue、tool_box），進(jìn)行了G-PCC中的‘Octree+lifting’編碼，PQS有三種不同的量化，分別為0.125、0.25、0.5，TQP 有四種不同的量化，分別為28、34、40、46，其余參數(shù)使用缺省配置。皮爾遜線性相關(guān)系數(shù)（Pearson linear correlation coefficient，PLCC）是衡量兩數(shù)據(jù)集合線性相關(guān)程度的指標(biāo)，其絕對值的取值范圍為［0，1］，PLCC的絕對值越大，兩數(shù)據(jù)集合線性相關(guān)程度越強(qiáng)。從表1 和圖2 可以看出，對于特定的點(diǎn)云內(nèi)容，其MOS值與TQS 有近似線性的關(guān)系，并且隨著TQS 的變大，MOS 值變小。而對于不同點(diǎn)云內(nèi)容來說，各曲線擬合直線的斜率有較大區(qū)別。比如，紋理復(fù)雜度高的點(diǎn)云（圖3（a），cake），在相同的TQS 下具有更高的MOS值，也就是說它對應(yīng)的斜率更大，相應(yīng)的，紋理簡單的點(diǎn)云（圖3（b），tool_box），在相同的TQS下的MOS值較低，對應(yīng)的斜率更小。

圖3 原始點(diǎn)云：cake和tool_boxFig.3 Original PCs：cake and tool_box

表1 不同點(diǎn)云的MOS與TQS之間的PLCCTab.1 PLCC between MOS and TQS of different point clouds

圖2 MOS與TQS之間的關(guān)系Fig.2 The relationship between MOS and TQS

造成這種現(xiàn)象的原因是人類視覺系統(tǒng)（human visual system，HVS）依賴于點(diǎn)云內(nèi)容的紋理掩蔽效應(yīng)在紋理失真評估中發(fā)揮了重要作用。因此，在建立點(diǎn)云的紋理失真模型中也需要考慮與點(diǎn)云內(nèi)容相關(guān)的參數(shù)，即紋理復(fù)雜度（texture complexity，TC）［24］。

2.2 紋理復(fù)雜度估計(jì)

點(diǎn)云的紋理復(fù)雜度可以用原始點(diǎn)云局部塊的像素值的平均標(biāo)準(zhǔn)差來表征。然而對于無參考PCQA 模型來說，原始點(diǎn)云不可獲取。為了克服這個(gè)問題，使用來自壓縮點(diǎn)云的碼流信息（如TQP 和TBPP）來估計(jì)TC。選用14 個(gè)不同內(nèi)容的點(diǎn)云（bag、cake、cauliflower、glasses_case、honeydew_melon、litchi、mushroom、pen_container、pineapple、ping-pong_bat、pumpkin、ship、statue、tool_box），在固定TQP 的情況下TBPP 與TC 的關(guān)系如圖4 所示，當(dāng)TQP 固定時(shí)，TBPP 和TC 之間的關(guān)系是近似線性的，并且這個(gè)線性函數(shù)的斜率和截距是TQP的函數(shù)：

圖4 不同TQP下TBPP與TC的關(guān)系Fig.4 The relationship between TBPP and TC under different TQP

k和d是TQP的函數(shù)。為了研究k和d與TQP的具體關(guān)系，將圖4 中擬合直線的斜率和截距隨TQP 的變化在圖5 中表示。可以看出，k（TQP）與d（TQP）可以用線性函數(shù)表示。

其中a1、a2、b1、b2是在最小二乘誤差準(zhǔn)則下通過使用圖5中的數(shù)據(jù)進(jìn)行訓(xùn)練而獲得的常數(shù)。

圖5 不同TQP下的斜率和截距Fig.5 Slope and intercept of fitting line in Figure 3 below for different TQP

2.3 紋理失真評估模型

正如圖2 中那樣，不同內(nèi)容點(diǎn)云的MOS 值與TQS具有線性關(guān)系：

其中α和β是實(shí)驗(yàn)參數(shù)，MOST代表紋理失真點(diǎn)云的MOS值，并且

可以看出β是MOST的最大值，不同點(diǎn)云之間的β差別不大，可以設(shè)為一個(gè)常數(shù)。同時(shí)可以觀察到，點(diǎn)云內(nèi)容不同，α也不同。圖6 示出了α和TC 的散點(diǎn)圖，其中較高的α值通常對應(yīng)于較高TC 的點(diǎn)云（例如cake），反之亦然（例如tool_box）。因此，可以采用以下函數(shù)對α進(jìn)行估計(jì)：

圖6 α和TC的散點(diǎn)圖Fig.6 Scatter plots of α and TC

其中c和d是通過使用最小二乘法擬合訓(xùn)練獲得。結(jié)合式（4）～（6），可以得到：

該模型可用于評估G-PCC 紋理失真點(diǎn)云的感知質(zhì)量，也可作為同時(shí)具有紋理和幾何失真的PCQA 的關(guān)鍵的一部分。

2.4 包含幾何失真的PCQA模型

G-PCC 編碼不僅在紋理上對點(diǎn)云進(jìn)行了編碼，也在幾何上對點(diǎn)云進(jìn)行了下采樣，從圖7 中可以看出，對于所有點(diǎn)云來說，在相同的PQS 條件下，MOS隨著TQP 的增大而減小，而在同樣的TQP 條件下，PQS 越小，MOS 值越小。圖中圓形表示PQS=0.5 的數(shù)據(jù)值，方形表示PQS=0.25 的數(shù)據(jù)值，三角形表示PQS=0.125的數(shù)據(jù)值。

圖7 不同PQS下TQP與MOS的關(guān)系Fig.7 MOS vs.TQP at different PQS

為了研究TQP 和PQS 的對點(diǎn)云感知質(zhì)量的影響是否獨(dú)立，用每個(gè)點(diǎn)云在不同PQS 下TQP 與歸一化MOS 值（NMOS）的關(guān)系進(jìn)行研究如圖8 所示，NMOS定義如下：

圖8 不同PQS下TQP與歸一化MOS的關(guān)系Fig.8 Normalized MOS vs.TQP at different PQS

其中TQPmin為TQP 的最小值（28），圖中圓形表示PQS=0.5 的數(shù)據(jù)值，方形表示PQS=0.25 的數(shù)據(jù)值，三角形表示PQS=0.125的數(shù)據(jù)值。

可以看出，與圖7 相比，圖8 中的曲線有很大程度的重合，這表明TQP 和PQS 之間具有顯著的獨(dú)立性，這也意味著點(diǎn)云的紋理和幾何失真對點(diǎn)云質(zhì)量的影響是獨(dú)立的［25］。因此可以在前面紋理失真模型（PQS=0.5）的基礎(chǔ)上，研究點(diǎn)云感知質(zhì)量隨PQS的減小而減小的程度。

因?yàn)槭窃赑QS=0.5的紋理失真模型的基礎(chǔ)上研究PQS是如何影響點(diǎn)云感知質(zhì)量的，所以先求出同一PQS下所有點(diǎn)云的MOS的均值，并除以PQS=0.5時(shí)的MOS均值進(jìn)行歸一化，稱為歸一化的MOS均值，它可以表示PQS 對MOS 的影響程度，研究其與PQS 的關(guān)系，如圖9所示，采用以下模型來預(yù)測隨PQS的變化歸一化的MOS均值的下降比例：

圖9 PQS與歸一化MOS均值的關(guān)系Fig.9 Relationship between PQS and Normalized MOS Mean

f1和f2是經(jīng)過數(shù)據(jù)擬合后得到的參數(shù)，DG（PQS）是歸一化的MOS均值隨PQS的減小衰減的程度。

由于可以認(rèn)為紋理失真與幾何失真對點(diǎn)云的MOS 的影響幾乎是不相關(guān)的，因此，本文提出了基于碼流的G-PCC 編碼點(diǎn)云的無參考感知質(zhì)量評價(jià)模型：

3 實(shí)驗(yàn)結(jié)果與討論

本文實(shí)驗(yàn)所用的數(shù)據(jù)集為WPC4點(diǎn)云數(shù)據(jù)庫，選用了其中14個(gè)不同內(nèi)容總計(jì)168個(gè)失真點(diǎn)云。

通過訓(xùn)練得出模型中各個(gè)參數(shù)的值在表2中給出，具體來說，β是點(diǎn)云MOS值的最大值；參數(shù)a1、a2、b1、b2通過公式（2）、（3）得出；參數(shù)c、d通過公式（6）得出；參數(shù)f1和f2通過公式（9）得出。這些參數(shù)在本模型中固定。

表2 參數(shù)值Tab.2 Parameter values

為了驗(yàn)證本模型的性能，采用傳統(tǒng)的三個(gè)指標(biāo)，也就是PLCC、斯皮爾曼秩相關(guān)系數(shù)（Spearman rankorder correlation coefficient，SRCC）、均方根誤差（root mean square error，RMSE）進(jìn)行評估。PLCC 和SRCC越接近1，預(yù)測MOS 值與實(shí)際的MOS 值的相關(guān)性越好，RMSE 越小，預(yù)測MOS 值與實(shí)際的MOS 值之間的誤差越小。

進(jìn)行了消融測試以驗(yàn)證紋理失真模型和幾何失真模型分別對總體模型的貢獻(xiàn)，使用上述所說的三個(gè)指標(biāo)（PLCC、SRCC、RMSE）分別對紋理失真模型和幾何失真模型進(jìn)行檢測，測試結(jié)果如表3所示，可以看出，紋理失真模型和幾何失真下降率都對質(zhì)量評估產(chǎn)生了積極的影響。

表3 消融測試Tab.3 Ablation test results

為了評估該模型的泛化能力且為了防止數(shù)據(jù)的過度擬合，本文模型在WPC4 數(shù)據(jù)庫進(jìn)行留一法測試，測試的結(jié)果在表4中呈現(xiàn)。

在測試數(shù)據(jù)中的三個(gè)統(tǒng)計(jì)指標(biāo)方面評估了所提出模型的性能，從表4中可以看出，該模型對于每一個(gè)點(diǎn)云的性能都是優(yōu)異的，并且平均值和標(biāo)準(zhǔn)差值都能夠表示該模型具有強(qiáng)大的泛化能力和較好的魯棒性。

表4 留一法測試Tab.4 Performance of the LOOCV results

另外，為了進(jìn)一步驗(yàn)證本文模型的性能，將本文模型與其余先進(jìn)的PCQA 模型進(jìn)行了性能參數(shù)比較，結(jié)果表5所示。

表5 中最佳結(jié)果以粗體顯示，次佳結(jié)果用斜體顯示。從表中可以看出，以WPC4 點(diǎn)云數(shù)據(jù)中G-PCC 編碼數(shù)據(jù)集為評估對象時(shí)，本文模型與其他PCQA 模型相比具有明顯的優(yōu)勢，本文模型的PLCC和SRCC 均達(dá)到了0.94 以上，說明該模型所得客觀分?jǐn)?shù)與主觀質(zhì)量分?jǐn)?shù)之間有優(yōu)異的相關(guān)性。其次是GraphSIM 指標(biāo)，其PLCC 與SRCC 分別為0.9224和0.9227，與本文模型相比略差，其余PCQA 指標(biāo)，相關(guān)性均在0.8 以下。圖10 展示了各算法所得客觀質(zhì)量分?jǐn)?shù)與主觀質(zhì)量分?jǐn)?shù)的散點(diǎn)圖。

圖10 各算法所得客觀質(zhì)量分?jǐn)?shù)與主觀質(zhì)量分?jǐn)?shù)的散點(diǎn)圖Fig.10 Scatter chart of objective quality score and subjective quality score obtained by each algorithm

表5 與其他PCQA模型的對比Tab.5 Comparison with other PCQA modes

為了驗(yàn)證本文模型只需要較低的計(jì)算成本，選取了兩個(gè)具有代表性的點(diǎn)云，他們具有不同的內(nèi)容復(fù)雜度，將本文模型在表6 中與其他PCQA 模型的時(shí)間復(fù)雜度進(jìn)行比較。其中不包括mseF（p2point），mseF，PSNR（p2point），mseF（p2plane），mseF，PSNR（p2plane），它們的執(zhí)行時(shí)間與PSNR-Y 相當(dāng)。本測試在該測試在配備3.6 GHz Intel（R）Xeon（R）W-2123 處理器和32 GB RAM 的戴爾Precision 5820 Tower上進(jìn)行。

表6 PCQA模型的時(shí)間復(fù)雜度Tab.6 Time complexity of PCQA models

本文模型的執(zhí)行時(shí)間明顯低于其他模型，其他模型隨著點(diǎn)云中點(diǎn)的個(gè)數(shù)的增加執(zhí)行時(shí)間會(huì)明顯增加，而本文模型則沒有，可以說明本文模型具有較低的時(shí)間復(fù)雜度，節(jié)省計(jì)算成本。

4 結(jié)論

本文提出了一種基于碼流的G-PCC 壓縮點(diǎn)云無參考感知質(zhì)量評估模型。通過分析紋理編碼參數(shù)與點(diǎn)云感知質(zhì)量的關(guān)系，發(fā)現(xiàn)不同內(nèi)容點(diǎn)云的在相同編碼條件下的感知質(zhì)量是不同的，并且紋理參數(shù)與感知質(zhì)量呈線性關(guān)系。通過研究碼流中TBPP 信息與TC 的關(guān)系，建立TBPP 對TC 的預(yù)測模型并建立G-PCC 編碼點(diǎn)云的紋理失真模型。通過分析位置量化尺度與MOS 的關(guān)系建立幾何下降率模型并結(jié)合紋理失真模型建立基于碼流的G-PCC壓縮點(diǎn)云無參考感知質(zhì)量評估模型。實(shí)驗(yàn)結(jié)果表明，本文模型所得的客觀分?jǐn)?shù)與MOS 有較好的一致性。