趙天樂，李萍

（上海理工大學(xué) 光電信息與計算機(jī)工程學(xué)院，上海 200093）

引言

近年來毫米波技術(shù)已被應(yīng)用于人體安檢成像系統(tǒng)，有逐步取代傳統(tǒng)安檢技術(shù)的趨勢。毫米波輻射屬于非電離輻射，對人體無害，且具有穿透衣物的能力，因此可以應(yīng)用于人體成像，檢測隱藏在衣服里面的違禁物體。毫米波成像雷達(dá)和成像算法已經(jīng)成熟，并且已經(jīng)實現(xiàn)商用[1-3]。但針對毫米波圖像的違禁物體定位仍然是一個亟待解決的問題。鑒于毫米波硬件的不穩(wěn)定性，毫米波圖像往往存在較大的本底噪聲，物體的紋理非常模糊。而違禁物品種類繁多，各物體紋理復(fù)雜，難以提取有效的特征。這使得毫米圖像的物體定位成為一項艱巨的任務(wù)。

卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）是一種強(qiáng)大的特征提取方法[4]，并且在許多計算機(jī)視覺任務(wù)中達(dá)到了最好的性能[5-7]，使用CNN，ImageNet 數(shù)據(jù)集中的分類錯誤率在2012 年降低到了15.3%[8]，壓倒了基于傳統(tǒng)手工特征提取方法，如SIFT（Scale Invariant Feature Transform）和LBP（Lo-cal Binary Pattern）方法。2015 年，ImageNet 數(shù)據(jù)集的識別誤差通過CNN 降低到了3.57%[9]。2016 年，F(xiàn)aster R-CNN[6]使用區(qū)域提議網(wǎng)絡(luò)（region proposal network，RPN）代替選擇性搜索，使得對整個目標(biāo)檢測框架進(jìn)行端到端訓(xùn)練成為可能，這進(jìn)一步提升了網(wǎng)絡(luò)的檢測精度及檢測速度，達(dá)到了當(dāng)時的先進(jìn)水平。2021 年，Bochkovskiy 等提出的YOLOv4在保持實時檢測速度的同時更大幅度提升了檢測精度，成為工業(yè)界主流的目標(biāo)檢測框架之一[10]。2021 年，Duan等提出CenterNet[11]，首先通過一對角點預(yù)測邊界框，然后再通過預(yù)測邊界框中心點的概率去除簡單負(fù)樣本，在MS COCO 數(shù)據(jù)集上取得了顯著的性能提升。2019 年，Shi 等提出PV R-CNN[12]，將三維體素CNN 和基于PointNet的集合抽象進(jìn)行了深度集成，實現(xiàn)了先進(jìn)的檢測性能。由于CNN 優(yōu)異的特征提取能力，姚家雄等采用CNN 對毫米圖像進(jìn)行物體定位并在實驗中達(dá)到93.18%的定位準(zhǔn)確率，驗證了這種方法的有效性[13]。

近年來，針對如何提高遠(yuǎn)場合成孔徑雷達(dá)圖像目標(biāo)檢測準(zhǔn)確度取得了許多成果，如薛遠(yuǎn)亮等[14]通過融合注意力機(jī)制方法有效地提高了準(zhǔn)確率。梅妍玭等[15]通過進(jìn)行多尺度子空間融合譜聚類而有效地增強(qiáng)了輸入特征。然而公開文獻(xiàn)中目前很少有人針對不同數(shù)據(jù)預(yù)處理方式對近場毫米波合成孔徑雷達(dá)全息圖像檢測定位精度的影響這一問題進(jìn)行探討。本文針對毫米波圖像隱匿物品檢測準(zhǔn)確度問題，基于Faster-RCNN目標(biāo)檢測網(wǎng)絡(luò)，使用不同數(shù)據(jù)預(yù)處理方式探究預(yù)處理方式對毫米波全息圖像目標(biāo)檢測準(zhǔn)確度的影響。先使用針對距離維的空間濾波方式探究該預(yù)處理方式對毫米波全息圖像目標(biāo)檢測準(zhǔn)確度的影響，而后在此基礎(chǔ)上對幅度維使用基于Calinski-Harabasz（CH）準(zhǔn)則引導(dǎo)的K-Means 的最大/最小值聚類的預(yù)處理方式探究該預(yù)處理方式對毫米波圖像目標(biāo)檢測準(zhǔn)確度的影響。實驗針對4 類數(shù)據(jù)集：未處理的原始毫米波全息圖像、經(jīng)過空間濾波的毫米波全息圖像、經(jīng)過空間濾波和最小值聚類的毫米波全息圖像及經(jīng)過空間濾波和最大值聚類的毫米波全息圖像，分別在Faster-RCNN 網(wǎng)絡(luò)上進(jìn)行目標(biāo)定位實驗。結(jié)果表明，與未進(jìn)行任何預(yù)處理的數(shù)據(jù)對比，進(jìn)行過預(yù)處理的數(shù)據(jù)均能有效地提高毫米波全息圖像目標(biāo)檢測的準(zhǔn)確度，其中效果最佳的預(yù)處理方式為空間濾波，其與未進(jìn)行任何預(yù)處理方式的數(shù)據(jù)對比能提高近4%的準(zhǔn)確度。

1 毫米波全息圖像目標(biāo)檢測器

Faster-RCNN 模型在光學(xué)圖像的二維目標(biāo)檢測任務(wù)上取得了先進(jìn)性能，本文參考Faster-RCNN 模型設(shè)計毫米波全息圖像目標(biāo)檢測系統(tǒng)，系統(tǒng)框架如圖1 所示。對于給定的毫米波全息圖像，經(jīng)過預(yù)處理模塊后，輸出給Faster-RCNN網(wǎng)絡(luò)進(jìn)行目標(biāo)定位，其中網(wǎng)絡(luò)主要包含特征提取模塊、區(qū)域候選網(wǎng)絡(luò)（region proposal network，RPN）、RoIHead 3 個模塊，最終在其二維正視圖上輸出物品的邊界框、分類標(biāo)簽及置信度。

圖1 毫米波全息圖像目標(biāo)檢測系統(tǒng)框架Fig.1 Framework of millimeter wave hologram target detection system

1.1 基于空間濾波的預(yù)處理方法

基于空間濾波的預(yù)處理方法是一種基于像素點距離信息的濾波方法，也是一種重要的圖像處理的技術(shù)，對于本文的毫米波全息三維成像結(jié)果而言，僅僅只是對毫米波全息三維成像結(jié)果中的某一部分感興趣，這一部分稱為前景圖像，其余的部分稱為背景圖像。為了更好地識別和分析毫米波全息三維成像中感興趣的目標(biāo)，需要將這些前景圖像從圖像中提取出來。

本文所使用的基于空間濾波的方法，是依據(jù)成像圖像三維空間對距離維位置設(shè)立閾值，以利用閾值化處理的非線性計算來祛除圖像中由于不同距離維帶來的噪聲，從而得到更好的前景圖像。本文在此處所使用的濾波方式為基于距離維的空間閾值的預(yù)處理方式，其對應(yīng)的數(shù)學(xué)表達(dá)式為

式中：g(z)表示三維成像結(jié)果像素點的距離信息；z表示三維空間中像素點的實際距離；z0表示基于距離維設(shè)置的空間閾值，此閾值的設(shè)立主要是由于在實驗數(shù)據(jù)集的制備中模特位置是固定的，因此可以設(shè)立固定的閾值?；诳臻g濾波的預(yù)處理方法后提取到的毫米波全息圖像的前景圖像及對應(yīng)的灰度直方圖如圖2 所示，由灰度直方圖可以看到，經(jīng)過空間濾波之后，圖像的數(shù)據(jù)分布集中在了低灰度級區(qū)域，而由于空間濾波的預(yù)處理方法能將特征信息的分布集中起來，因而其能在一定程度上提升目標(biāo)檢測器的特征提取能力，能更好的做好機(jī)器學(xué)習(xí)中的特征工程工作，因此也將會影響到最終的目標(biāo)檢測結(jié)果。

圖2 前景圖像與對應(yīng)的灰度直方圖Fig.2 Foreground image with corresponding gray histogram

1.2 融合空間濾波與CH 準(zhǔn)則引導(dǎo)的K-Means最大/最小聚類預(yù)處理方法

K-Means 聚類算法是一種最流行、最簡單的聚類算法，它通過計算分割均值[16]，根據(jù)數(shù)據(jù)的特征自適應(yīng)有效地分割數(shù)據(jù)。K-Means 能自適應(yīng)地找到每個全局分區(qū)的閾值，從而有效地為我們提供了成像圖像能量分層的指導(dǎo)。K-Means 的核心思想是：1）選擇簇數(shù)量k作為初始簇中心；2）計算所有觀測到每個質(zhì)心的點到簇到質(zhì)心的距離；3）將每個觀測值分配給具有最近質(zhì)心的簇；4）計算每個聚類中觀測值的平均值，更新每個聚類的質(zhì)心；5）重復(fù)步驟2 到步驟4，直到簇質(zhì)心不變。由于傳統(tǒng)K-Means 算法的簇數(shù)k是人為設(shè)置的參數(shù)，本文使用了Calinski-Harabasz（CH）準(zhǔn)則引導(dǎo)的K-Means 算法。其中CH 準(zhǔn)則被用來計算聚類得分，并用這個得分來判斷簇數(shù)k設(shè)置是否合理。CH 準(zhǔn)則認(rèn)為簇間方差越大，簇內(nèi)方差越小，則數(shù)據(jù)分區(qū)越好。

點云是一種非結(jié)構(gòu)化、無序的、稀疏的三維數(shù)據(jù)表示形式。簡單地說，點云就是空間中一組點的集合，每個點由其XYZ坐標(biāo)及其他特征（如顏色、法向量、反射強(qiáng)度等）表示。因此，本文在此處將原始的AMMW 數(shù)據(jù)由原有的三維體數(shù)據(jù)轉(zhuǎn)換到點云數(shù)據(jù)進(jìn)行處理。然后基于CH 準(zhǔn)則引導(dǎo)的K-Means 聚類的方法，依據(jù)各點的空間位置及反射強(qiáng)度特征對點云進(jìn)行聚類，進(jìn)一步去除閾值處理后的前景圖像中殘留的噪聲，完整的去噪流程如圖3 所示。對于給定的原始 AMMW全息圖像，首先通過式（1）的空間濾波的預(yù)處理方式提取前景圖像保存為點云，再通過 KMeans 聚類進(jìn)一步去除噪聲，由于本文使用反射強(qiáng)度作為迭代計算標(biāo)準(zhǔn)，而目標(biāo)物與人體連接在一起，因此在識別過程中感興趣的目標(biāo)物信息較多地分布在最大類以及中間類的簇，最后通過統(tǒng)計濾波保留對應(yīng)最大類或去除對應(yīng)最小類，便可得到對應(yīng)的空間濾波加最大/最小值聚類前景圖像，實際效果圖如圖4 所示。由圖4（d）與圖4（e）可知，在經(jīng)過空間濾波加最小值濾波后灰度級分布更集中在低灰度級區(qū)域，但同時灰度級分布概率也大大降低。由圖4（d）與圖4（f）可知，在經(jīng)過空間濾波加最大值濾波后灰度級分布同樣更集中在低灰度級區(qū)域，但其集中程度不如空間濾波加最小值濾波方式，由于空間濾波加最大值濾波方式比空間濾波加最小值濾波方式更易造成特征信息分布的不集中，這將會影響到目標(biāo)檢測器對特征提取的能力，從而影響最終的檢測結(jié)果。

圖3 基于空間濾波加CH 引導(dǎo)的K-Means 聚類的 AMMW 全息圖像預(yù)處理方法Fig.3 AMMW holographic image preprocessing method based on spatial filtering and CH-Guided K-Means clustering

圖4 前景圖像與對應(yīng)的灰度直方圖Fig.4 Foreground image with corresponding gray histogram

1.3 Faster-RCNN

Faster-RCNN 架構(gòu)主要分為3 部分：特征提取模塊、RPN、RoIHead，圖片先輸入特征提取模塊進(jìn)行特征提取，而后利用RPN(Region Proposal Network）提供候選區(qū)域rois（region of interests），最后將得到的rois 與特征提取模塊提取到的圖像特征，輸入到RoIHead中，對這些rois 進(jìn)行分類，以判斷這些rois 均屬于什么類別，同時對這些rois 的位置進(jìn)行微調(diào)。

特征提取模塊主要使用VGG 網(wǎng)絡(luò)[17]搭建特征提取模塊，特征提取模塊主要由5 個卷積層構(gòu)成，如圖5 所示。在每個卷積層之后，有一個修正線性單元（rectified linear unit,ReLU）。而VGG最后的三層全連接層是用來初始化后續(xù)的RoIHead模塊的部分參數(shù)。

圖5 特征提取模塊結(jié)構(gòu)Fig.5 The structure of our proposed feature extractor

RPN 是Faster-RCNN 最重要的改進(jìn)，RPN主要是利用提取到的特征經(jīng)RPN 后提供候選區(qū)域，最后將得到的rois 與特征提取模塊提取到的圖像特征輸入到RoIHead中以做進(jìn)一步的分類與位置回歸，而由于RPN為全卷積網(wǎng)絡(luò)，因此對輸入的尺寸沒有具體要求。

Faster-RCNN中的RoIHead 部分是利用RoI Pooling 層進(jìn)行統(tǒng)一下采樣以使能在最后的特征圖中共享權(quán)重，經(jīng)兩層全連接層進(jìn)行特征提取之后，再經(jīng)由一層全連接層預(yù)測rois 類別，另一全連接層對位置進(jìn)行回歸以得到更為準(zhǔn)確的位置坐標(biāo)。

2 實驗

2.1 模型訓(xùn)練

實驗建立了數(shù)據(jù)集以驗證方法的有效性。為了模擬實際的場景，本文準(zhǔn)備了7 件物品，包括槍、老虎鉗、扳手、尖嘴鉗、錘子、小車、陶瓷刀，實物圖如圖6 所示。模特選擇一個或者多個物品置于身體幾個部位，經(jīng)3 mm 的毫米波全息成像系統(tǒng)掃描重建其全息圖像，本數(shù)據(jù)集共包含4 位模特，涵蓋了不同的體型。全息圖像沿著距離維方向投影得到二維正視圖，用于標(biāo)注物體邊界框與類別。實驗采集了2 200 張圖像驗證空間濾波、基于K-Means 的最大聚類、基于KMeans 的最小聚類的不同預(yù)處理方式對毫米波圖像目標(biāo)準(zhǔn)確率的影響。

圖6 目標(biāo)物Fig.6 Target

為了訓(xùn)練本文所使用的網(wǎng)絡(luò)，隨機(jī)選取2 000張的圖像作為訓(xùn)練樣本，另外200 張圖像作為測試樣本，網(wǎng)絡(luò)訓(xùn)練時數(shù)據(jù)批的大小設(shè)置為1，初始學(xué)習(xí)率設(shè)置為0.000 1。總共訓(xùn)練了40 個迭代周期，這時網(wǎng)絡(luò)收斂到最小值。

2.2 實驗結(jié)果

本文總共用了200 張圖像來驗證不同數(shù)據(jù)預(yù)處理方式對毫米波圖像目標(biāo)定位精度的影響。圖7 展示了不同預(yù)處理方式下檢測器的輸出結(jié)果圖，圖中物體的放置姿態(tài)或者位置有所不同，但均能實現(xiàn)一種準(zhǔn)確的定位。圖7（a）為未經(jīng)過任何預(yù)處理方式的目標(biāo)檢測結(jié)果圖，圖7（b）為使用空間濾波加最小值聚類預(yù)處理方式的目標(biāo)檢測結(jié)果圖，圖7（c）為使用空間濾波加最大值聚類預(yù)處理方式的目標(biāo)檢測結(jié)果圖，圖7（d）為使用空間濾波預(yù)處理方式的目標(biāo)檢測結(jié)果圖。

圖7 檢測結(jié)果Fig.7 Detection results

表1為無預(yù)處理和3 種預(yù)處理方法的檢測性能對比，圖8為無預(yù)處理和3 種預(yù)處理方法的檢出率-召回率（P-R）曲線。由表1 和圖8（a）不經(jīng)任何預(yù)處理的P-R 曲線，可以看到，不使用任何預(yù)處理方式的目標(biāo)檢測準(zhǔn)確率為88.82%；由表1和圖8（b）使用空間濾波加最小值聚類方式的PR 曲線,可以看到使用空間濾波加最小值聚類方式的目標(biāo)檢測準(zhǔn)確率為90.44%，相較于不使用任何預(yù)處理方式有效的提高了準(zhǔn)確度；由表1 和圖8（c）不經(jīng)任何預(yù)處理的P-R 曲線，可以看到使用空間濾波加最大值聚類方式的目標(biāo)檢測準(zhǔn)確率為90.80%，同樣相較于不使用任何預(yù)處理方式有效的提高了準(zhǔn)確度；由表1 和圖8（d）為經(jīng)空間濾波的P-R 曲線，可以看到使用空間濾波的準(zhǔn)確率為92.30%，相較于其他預(yù)處理方式有更好的準(zhǔn)確度。無論使用哪種預(yù)處理方式都能一定程度上提升網(wǎng)絡(luò)的定位精度，但是使用了基于強(qiáng)度的最大與最小值聚類的預(yù)處理方式其目標(biāo)檢測的準(zhǔn)確率要低于使用空間濾波的預(yù)處理方式。

圖8 檢出率 -召回率曲線Fig.8 Precision -recall curve

表1 檢測準(zhǔn)確率Tab.1 Detection accuracy

Loss 曲線用于判斷網(wǎng)絡(luò)訓(xùn)練過程的情況。為確定網(wǎng)絡(luò)訓(xùn)練情況是否良好，本文繪制了Loss 關(guān)于迭代次數(shù)變化的曲線，如圖9 所示。當(dāng)設(shè)置系統(tǒng)的置信度閾值取0.5 時，數(shù)據(jù)批的大小設(shè)置為1，初始學(xué)習(xí)率設(shè)置為0.000 1。圖9（a）為不經(jīng)任何預(yù)處理的Loss 曲線其在驗證集上正常收斂，圖9（b）為經(jīng)空間濾波的Loss 曲線其在驗證集上正常收斂。圖9（c）為經(jīng)空間濾波加最大值聚類的Loss 曲線其在驗證集上正常收斂，圖9（d）為經(jīng)空間濾波加最小值聚類的Loss 曲線其在驗證集上正常收斂。

圖9 損失函數(shù)曲線Fig.9 Loss curve

通過對以上3 種預(yù)處理方法性能指標(biāo)的分析，得到基于空間濾波的預(yù)處理方式能夠達(dá)到更好的效果，這表明在毫米波全息圖像目標(biāo)檢測的任務(wù)中基于空間的濾波方式要好于基于反射強(qiáng)度的濾波方式。這為探究如何提升毫米波全息圖像目標(biāo)檢測定位精度的任務(wù)提供了一種參考依據(jù)。

3 結(jié)論

本文針對主動式毫米波圖像隱匿物品檢測定位精度問題，使用空間濾波、空間濾波加最大值聚類、空間濾波加最小值聚類方法的預(yù)處理方式探究何種預(yù)處理方式能有效提高毫米波全息圖像目標(biāo)檢測的準(zhǔn)確度，實驗結(jié)果表明對數(shù)據(jù)進(jìn)行不同預(yù)處理均能有效提高毫米波全息圖像目標(biāo)檢測的準(zhǔn)確度，但是基于空間的濾波方式比基于強(qiáng)度的濾波方式能更有效地提升檢測準(zhǔn)確度，為有效提升毫米波全息圖像目標(biāo)檢測準(zhǔn)確度的任務(wù)提供了一種參考依據(jù)。