摘 要：在老齡化社會(huì)背景下，借助雷達(dá)技術(shù)有效進(jìn)行老年活動(dòng)監(jiān)控的關(guān)鍵，在于確保雷達(dá)微多普勒信息傳遞的精確性。所以提高人體運(yùn)動(dòng)微多普勒?qǐng)D像質(zhì)量評(píng)價(jià)的準(zhǔn)確性和魯棒性至關(guān)重要。文章首先添加了不同級(jí)別的相位噪聲圖像及相應(yīng)的主觀評(píng)分?jǐn)?shù)據(jù)，來(lái)擴(kuò)充人體運(yùn)動(dòng)微多普勒?qǐng)D像質(zhì)量評(píng)價(jià)（Human Motion Micro-Doppler Image Quality Assessment， HMMDIQA）數(shù)據(jù)庫(kù)，增加數(shù)據(jù)庫(kù)的多樣性。并進(jìn)一步提出了一套基于主成分分析子空間特征增強(qiáng)的算法進(jìn)行人體運(yùn)動(dòng)微多普勒?qǐng)D像質(zhì)量評(píng)估。在HMMDIQA數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明，相較于基礎(chǔ)網(wǎng)絡(luò)，所設(shè)計(jì)算法的各項(xiàng)評(píng)價(jià)指標(biāo)都有所提升。

關(guān)鍵詞：HMMDIQA；主成分分析；相位噪聲；子空間特征

中圖分類號(hào)：TP391.4 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2024）20-0079-04

Research on Human Micro-Doppler Image Quality Evaluation Based on Principal Component Analysis

HONG Qiong， YANG Lei， WANG Yuying， DAI Yulin

（School of Information and Communication Engineering， Zhongyuan University of Technology， Zhengzhou 450007， China）

Abstract： Under the background of aging society， the key to monitor elderly activities with radar technology is to ensure the accuracy of radar micro-Doppler information transmission. So it is very important to improve the accuracy and robustness of human motion micro-Doppler image quality evaluation. Firstly， phase noise images of different levels and corresponding subjective score data are added to expand the HMMDIQA database and increase the diversity of the database in this paper. Furthermore， an algorithm based on subspace feature enhancement of Principal Component Analysis （PCA） is proposed for human motion micro-Doppler image quality evaluation. The experimental results in HMMDIQA database show that the various evaluation indicators of designed algorithm have been improved than the basic network.

Keywords： HMMDIQA; Principal Component Analysis; phase noise; subspace feature

0 引 言

隨著人口結(jié)構(gòu)變動(dòng)和老年群體擴(kuò)大，全球養(yǎng)老服務(wù)業(yè)逐步興起。自2000年起，中國(guó)已步入老齡化社會(huì)，人口老齡化情況日益嚴(yán)重[1]。在這一背景下，對(duì)于老年人健康狀況的監(jiān)測(cè)與跟蹤顯得至關(guān)重要。借助這類實(shí)時(shí)獲取的數(shù)據(jù)，有助于保障老年人的生命安全與身體健康。

用于老年人活動(dòng)監(jiān)控的設(shè)備，雖具有高靈敏度與穩(wěn)定性的特點(diǎn)，但仍面臨諸多挑戰(zhàn)。雷達(dá)作為遠(yuǎn)距電磁傳感器，具備全天候工作與穿透物體的能力。相比基于視覺(jué)感知的人體運(yùn)動(dòng)技術(shù)，雷達(dá)不受距離、光線干擾，更適用于老年人活動(dòng)監(jiān)控。然而，保證雷達(dá)微多普勒信息傳遞的精確性，需依靠有效的圖像處理與質(zhì)量評(píng)估。進(jìn)行人體運(yùn)動(dòng)微多普勒?qǐng)D像質(zhì)量評(píng)估并非易事，傳統(tǒng)方法其弊端明顯，結(jié)論不盡如人意。故本文多種方法并用，以期得出精準(zhǔn)且實(shí)際可行的結(jié)果。

1 HMMDIQA數(shù)據(jù)集的優(yōu)化

1.1 HMMDIQA數(shù)據(jù)集的擴(kuò)充

原始的HMMDIQA數(shù)據(jù)庫(kù)包含了高斯白和閾值噪聲。但是僅考慮高斯白和閾值噪聲缺乏全面性，無(wú)法覆蓋所有可能影響圖像質(zhì)量的噪聲類型。而且僅考慮兩種特定類型的噪聲可能導(dǎo)致評(píng)價(jià)結(jié)果偏頗。為了更好地研究人體運(yùn)動(dòng)微多普勒?qǐng)D像質(zhì)量的評(píng)價(jià)方法，本節(jié)介紹對(duì)于HMMDIQA數(shù)據(jù)庫(kù)的擴(kuò)充。該數(shù)據(jù)庫(kù)為了增加數(shù)據(jù)的多樣性，提高模型的泛化能力增加相位噪聲方面的相關(guān)數(shù)據(jù)。通過(guò)在快時(shí)間維度上添加固定的相位噪聲[2]，并在慢時(shí)間維度上使用隨機(jī)數(shù)矩陣模擬其隨機(jī)性，可以更好地模擬真實(shí)環(huán)境中的相位噪聲效果。通過(guò)上述的數(shù)據(jù)集擴(kuò)充方法，成功添加了5個(gè)不同等級(jí)的相位噪聲失真圖像。

HMMDIQA數(shù)據(jù)集擴(kuò)充后，需要評(píng)分處理。首先需要將原圖和失真圖像進(jìn)行對(duì)比打分得到原始得分。其中，i表示每一個(gè)觀察者，j表示每一幅譜圖，k表示實(shí)驗(yàn)小節(jié)。接著需要將原始打分Sijk通過(guò)對(duì)應(yīng)的z分?jǐn)?shù)Zijk剔除異常值V0和異常人P0：

（1）

（2）

（3）

異常值V0表示與其他樣本偏離正常范圍的數(shù)據(jù)點(diǎn)，需要將異常值剔除。μjk表示由所有觀察者對(duì)于第j幅圖像在第k個(gè)實(shí)驗(yàn)小節(jié)評(píng)分的平均值，σjk表示相應(yīng)的標(biāo)準(zhǔn)偏差，如式（1）、式（2）和式（3）。將原始數(shù)據(jù)中的異常值V0和異常人P0去除后，需要將原始數(shù)據(jù)轉(zhuǎn)化為z分?jǐn)?shù)。μik表示由觀察者i在第k個(gè)實(shí)驗(yàn)小節(jié)對(duì)所有圖像的評(píng)分的平均值，σik表示相應(yīng)的標(biāo)準(zhǔn)偏差。計(jì)算并且剔除完異常的z分?jǐn)?shù)后需要將z分?jǐn)?shù)取平均后映射到mos值。

1.2 HMMDIQA數(shù)據(jù)集IQA實(shí)驗(yàn)測(cè)試

本節(jié)使用擴(kuò)充后的HMMDIQA數(shù)據(jù)集驗(yàn)證全參考圖像質(zhì)量評(píng)價(jià)算法的性能。本節(jié)使用峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）[3]、結(jié)構(gòu)相似性指數(shù)（Structural Similarity Index， SSIM）[4]、信息加權(quán)結(jié)構(gòu)相似性（Information-Weighted Structural SIMilarity Index， IW-SSIM）[5]、視覺(jué)信息保真度（Visual Information Fidelity， VIF）[6]、梯度幅度結(jié)構(gòu)差異性（Gradient Magnitude Structural Dissimilarity， GMSD）[7]這5種全參考圖像質(zhì)量評(píng)價(jià)方法對(duì)擴(kuò)充后的HMMDIQA數(shù)據(jù)集進(jìn)行性能比較。本節(jié)共使用4個(gè)性能指標(biāo)，分別為斯皮爾曼秩相關(guān)系數(shù)（Spearman's Rank Correlation Coefficient， SROCC）[8]、皮爾森線性相關(guān)系數(shù)（Pearson Line Correlation Coefficient， PLCC）[9]、肯德?tīng)栔认嚓P(guān)系數(shù)（Kendall's Rank Correlation Coefficient， KROCC）[10]和均方根誤差（Root Mean Square Error， RMSE）[11]，對(duì)應(yīng)的公式為：

（4）

在圖像質(zhì)量評(píng)估中，常用SROCC來(lái)評(píng)估客觀IQA算法的單調(diào)性，式（4）中用S表示。SROCC值范圍為[-1，1]，絕對(duì)值越大算法性能越好。

（5）

用于評(píng)估客觀IQA算法預(yù)測(cè)結(jié)果與圖像主觀分?jǐn)?shù)之間差異的PLCC，式（5）中用P表示?？梢苑从吵隹陀^IQA算法的準(zhǔn)確性。PLCC值范圍為[-1，1]，絕對(duì)值越大表示算法預(yù)測(cè)準(zhǔn)確性越高。

（6）

KROCC類似于SROCC，式（6）中用K表示。用于評(píng)估客觀圖像質(zhì)量評(píng)價(jià)算法預(yù)測(cè)結(jié)果的單調(diào)一致性。其取值范圍為[-1，1]，絕對(duì)值越大表示預(yù)測(cè)結(jié)果與主觀分?jǐn)?shù)等級(jí)更一致。

（7）

RMSE也可用于評(píng)估客觀圖像質(zhì)量評(píng)估算法預(yù)測(cè)結(jié)果的準(zhǔn)確性，式（7）中用R表示，對(duì)異常值非常敏感。較小的RMSE值表明客觀算法的預(yù)測(cè)結(jié)果與主觀評(píng)分更接近。

上述計(jì)算式中Nimg表示測(cè)試失真圖像的數(shù)量，Nimg_s和Nimg_d分別表示測(cè)試圖像中同序?qū)筒煌虻膫€(gè)數(shù)，Q0和Q分別表示圖像的主觀分?jǐn)?shù)和客觀預(yù)測(cè)值，Q0_n和Qn分別表示排序后第n張圖像的主觀分?jǐn)?shù)與客觀預(yù)測(cè)值，Qnon表示經(jīng)過(guò)非線性回歸后的客觀預(yù)測(cè)分?jǐn)?shù)。全參考圖像質(zhì)量評(píng)價(jià)方法的性能測(cè)試結(jié)果如表1所示。

從表1中可以分析得到，在我們擴(kuò)充的數(shù)據(jù)集中PSNR和SSIM的表現(xiàn)最好，這是因?yàn)镻SNR和SSIM能夠更全面地考慮圖像的亮度、對(duì)比度和結(jié)構(gòu)信息，而不僅僅依賴于像素級(jí)的比較。最差的全參考圖像質(zhì)量評(píng)價(jià)方法為GMSD。

2 網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)

2.1 PCA-Net模型結(jié)構(gòu)

PCA-Net算法是一個(gè)包括子空間特征預(yù)測(cè)任務(wù)和質(zhì)量分?jǐn)?shù)預(yù)測(cè)任務(wù)的多任務(wù)算法。如圖1所示，將步長(zhǎng)為32，大小為64×64像素的圖像塊發(fā)送到深度神經(jīng)網(wǎng)絡(luò)。對(duì)于特征提取器，開(kāi)發(fā)了一個(gè)具有6個(gè)卷積層的深度神經(jīng)網(wǎng)絡(luò)模型。然后，將子空間特征預(yù)測(cè)任務(wù)的特征向量與質(zhì)量分?jǐn)?shù)預(yù)測(cè)任務(wù)的特征向量進(jìn)行融合，生成新的質(zhì)量預(yù)測(cè)任務(wù)特征向量。通過(guò)學(xué)習(xí)到的新特征向量預(yù)測(cè)人體運(yùn)動(dòng)微多普勒?qǐng)D像的質(zhì)量得分。最后，將圖像塊的分?jǐn)?shù)匯總?cè)∑骄缘玫捷斎雸D像的質(zhì)量評(píng)分。

2.2 子空間特征預(yù)測(cè)

為了實(shí)現(xiàn)人體運(yùn)動(dòng)微多普勒?qǐng)D像質(zhì)量評(píng)價(jià)模型，提取的特征必須對(duì)人體運(yùn)動(dòng)微多普勒?qǐng)D像以及人體運(yùn)動(dòng)微多普勒?qǐng)D像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)中失真類型具有積極影響。為了實(shí)現(xiàn)這一目標(biāo)，采用子空間特征預(yù)測(cè)作為多任務(wù)學(xué)習(xí)模型的輔助任務(wù)。由于奇異值分解可以對(duì)非方陣求解并且得到圖像矩陣兩個(gè)方向上的子空間特征，因此本文中使用奇異值分解求人體運(yùn)動(dòng)微多普勒?qǐng)D像的子空間特征。

將擴(kuò)充后的HMMDIQA數(shù)據(jù)庫(kù)中的圖像展開(kāi)成h×w的矩陣。具體如下：

1）對(duì)圖像矩陣I按列取平均，如式（8）所示，得到平均值矩陣，然后可以得到中心化矩陣Icenter，如式（9）所示：

（8）

（9）

2）中心化后，坐標(biāo)原點(diǎn)位于數(shù)據(jù)中心。根據(jù)式（10）對(duì)中心化后的矩陣求解協(xié)方差矩陣Icor：

（10）

3）式（11）中U是大小為h×h的正交左奇異矩陣，其列向量為左奇異向量；V T是大小為w×w的正交右奇異矩陣，其列向量為右奇異向量；是大小為h×w的對(duì)角矩陣：

（11）

4）根據(jù)主成分的累積貢獻(xiàn)率（Accumulating Contribution Rate， ACR）來(lái)確定保留多少主成分，累積貢獻(xiàn)率指的是所選取的前r個(gè)奇異值的總和在所有奇異值的和的占比。如式（12）所示，將Icenter化為式（13）的格式，其中U轉(zhuǎn)換為大小為h×r的正交左奇異矩陣，V T轉(zhuǎn)換為大小為r×w的正交右奇異矩陣，轉(zhuǎn)換為大小為r×r的對(duì)角矩陣。

（12）

（13）

5）根據(jù)PCA的理論，奇異值分解的公式兩邊同時(shí)乘以矩陣V即可以得到只包含該圖像前r個(gè)子空間特征的新矩陣，是微多普勒?qǐng)D像經(jīng)過(guò)PCA降維后的信息，如式（14）所示：

（14）

得到包含子空間特征的新矩陣后，將矩陣的每一列相加組成（434，1）的矩陣作為人體運(yùn)動(dòng)微多普勒?qǐng)D像塊的子空間特征標(biāo)簽。

3 實(shí)驗(yàn)及結(jié)果分析

為了驗(yàn)證模型PCA-Net的有效性，在擴(kuò)充的HMMDIQA數(shù)據(jù)庫(kù)上對(duì)PCA-Net進(jìn)行訓(xùn)練和驗(yàn)證。實(shí)驗(yàn)過(guò)程如下：首先將HMMDIQA數(shù)據(jù)庫(kù)按照原始圖像80%、20%的比例將對(duì)應(yīng)的失真圖像劃分為訓(xùn)練數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集。接下來(lái)，對(duì)于每幅人體運(yùn)動(dòng)微多普勒?qǐng)D像，切分成步長(zhǎng)為32、大小為64×64的多個(gè)圖像塊，并輸入網(wǎng)絡(luò)進(jìn)行處理。然后使用主觀分?jǐn)?shù)作為質(zhì)量預(yù)測(cè)任務(wù)的標(biāo)簽，使用PCA得到的主成分特征作為子空間特征預(yù)測(cè)任務(wù)的標(biāo)簽。網(wǎng)絡(luò)使用隨機(jī)梯度下降求解，其中動(dòng)量因子為0.9，權(quán)重衰減因子為0.000 1，批處理大小為128，學(xué)習(xí)率為0.01，并且設(shè)置在75個(gè)Epochs的間隔變?yōu)榍耙粋€(gè)學(xué)習(xí)率的1/10，共迭代了100個(gè)Epochs。將該模型在NVIDIA A100上進(jìn)行訓(xùn)練，使用PyTorch 1.10框架。以下實(shí)驗(yàn)均使用4種公認(rèn)的性能指標(biāo)SROCC、PLCC、KROCC和RMSE進(jìn)行檢驗(yàn)，優(yōu)秀的網(wǎng)絡(luò)總是表現(xiàn)出較高的SROCC、PLCC、KROCC值和較低的RMSE值。

通過(guò)在HMMDIQA數(shù)據(jù)庫(kù)上開(kāi)展和NSSADNN（Natural Scene Statistics Aided Deep Neural Networks）的對(duì)比實(shí)驗(yàn)，來(lái)驗(yàn)證本文提出的PCA-Net的有效性和可行性。實(shí)驗(yàn)過(guò)程趨勢(shì)圖如圖2所示。從圖中可以分析得到SROCC、PLCC、KROCC值隨著Epoch的增加不斷提升并收斂在最高值范圍附近；RMSE值隨著Epoch的增加不斷下降并收斂在最低值范圍附近。

在表2中，NSSADNN網(wǎng)絡(luò)模型只包括主干提取網(wǎng)絡(luò)（6個(gè)卷積層、激活函數(shù)層、add）和全連接層組成，從中可以觀察到將輔助任務(wù)即子空間特征預(yù)測(cè)任務(wù)（subspace feature）加入NSSADNN網(wǎng)絡(luò)中，該模型在表格中表示為PCA-Net。通過(guò)比較兩種模型，表2中的數(shù)據(jù)顯示出PCA-Net相對(duì)于NSSADNN網(wǎng)絡(luò)在評(píng)價(jià)指標(biāo)上取得了明顯的提升。具體來(lái)說(shuō)，在SROCC指標(biāo)上，PCA-Net相對(duì)NSSADNN網(wǎng)絡(luò)提升了0.62%；在PLCC指標(biāo)上提升了0.7%；在KROCC指標(biāo)上提升了1.24%；而在RMSE指標(biāo)上則降低了11.99%。這些結(jié)果清楚地表明了加入子空間特征預(yù)測(cè)任務(wù)對(duì)整個(gè)網(wǎng)絡(luò)模型性能產(chǎn)生了積極影響，證實(shí)了該模塊在提升模型效果方面的有效性。

4 結(jié) 論

在本文中，首先擴(kuò)充了HMMDIQA數(shù)據(jù)庫(kù)，并且在該數(shù)據(jù)集上驗(yàn)證全參考圖像質(zhì)量評(píng)價(jià)算法的性能。在擴(kuò)充后HMMDIQA數(shù)據(jù)庫(kù)的基礎(chǔ)上，研究了基于PCA子空間特征增強(qiáng)的人體運(yùn)動(dòng)微多普勒?qǐng)D像質(zhì)量評(píng)價(jià)算法。通過(guò)添加子空間特征預(yù)測(cè)任務(wù)，增加了人體運(yùn)動(dòng)微多普勒?qǐng)D像的特征信息。通過(guò)實(shí)驗(yàn)驗(yàn)證了方法的必要性，與NSSADNN模型進(jìn)行了比較，并以SROCC超出NSSADNN模型0.51%＼PLCC提升0.7%＼KROCC提升1.24%＼RMSE降低11.99%的優(yōu)勢(shì)顯示出本網(wǎng)絡(luò)模型的優(yōu)秀的預(yù)測(cè)準(zhǔn)確性。

參考文獻(xiàn)：

[1] ROWLAND D T. Global Population Aging： History and Prospects [M]//UHLENBERG P. International Handbook of Population Aging，Dordrecht：Springer，009：37-65.

[2] SANTACRUZ J P，ROMMEL S，JOHANNSEN U，et al. Analysis and Compensation of Phase Noise in Mm-Wave OFDM ARoF Systems for Beyond 5G [J].Journal of Lightwave Technology，2020，39（6）：1602-1610.

[3] STTI P，SHARMA N，GARG B. Min-Max Average Pooling Based Filter for Impulse Noise Removal [J].IEEE Signal Processing Letters，2020，27：1475-1479.

[4] SETIADI D R I M. PSNR vs SSIM： Imperceptibility Quality Assessment for Image Steganography [J].Multimedia Tools and Applications，2021，80（6）：8423-8444.

[5] NAVARRO-CASTELLANOS C，OROZCO-MORALES R，RODRIGUEZ-GALLO Y. Objective Quality Metrics for Algorithm Evaluation in Computed Tomography [C]//2022 IEEE 40th Central America and Panama Convention （CONCAPAN）.Panama：IEEE，2022：1-6.

[6] HAN Y，CAI Y Z，CAO Y，et al. A New Image Fusion Performance Metric Based on Visual Information Fidelity [J].Information Fusion，2013，14（2）：127-135.

[7] BORKOWSKI J，SZMAJDA M，MROCZKA J. The Influence of Power Network Disturbances on Short Delayed Estimation of Fundamental Frequency Based on IpDFT Method with GMSD Windows [J].Energies，2021，14（20）：1-26.

[8] BECKER S，WIEGAND T，BOSSE S. Curiously Effective Features For Image Quality Prediction [C]//2021 IEEE International Conference on Image Processing （ICIP）.Anchorage：IEEE，2021：1399-1403.

[9] ZHANG Y K，LI Y L，SONG J Z，et al. Pearson Correlation Coefficient of Current Derivatives Based Pilot Protection Scheme for Long-Distance LCC-HVDC Transmission Lines [J/OL].International Journal of Electrical Power & Energy Systems，2020，116：105526[2024-02-19].https：//doi.org/10.1016/j.ijepes.2019.105526.

[10] CHEN J，YANG M，GONG W P，et al. Multi-Neighborhood Guided Kendall Rank Correlation Coefficient for Feature Matching [J].IEEE Transactions on Multimedia，2022，25：7113-7127.

[11] HODSON T O. Root Mean Square Error （RMSE） or Mean Absolute Error （MAE）： When to Use Them or Not [J].Geoscientific Model Development，2022，15（14）：5481-5487.

作者簡(jiǎn)介：洪瓊（1999—），女，漢族，安徽黃山人，碩士研究生在讀，主要研究方向：計(jì)算機(jī)視覺(jué)、深度學(xué)習(xí)；楊蕾（1979—），女，回族，河南洛陽(yáng)人，教授，博士，主要研究方向：圖像處理、計(jì)算機(jī)視覺(jué)；王玉瑩（1998—），女，漢族，河北三河人，助教，碩士研究生，主要研究方向：計(jì)算機(jī)視覺(jué)、深度學(xué)習(xí)；戴玉林（2002—），女，漢族，河南南陽(yáng)人，碩士研究生在讀，主要研究方向：計(jì)算機(jī)視覺(jué)、深度學(xué)習(xí)。