劉偉銘 溫俊銳? 鄭仲星 戴愿 李泓道

(1.華南理工大學(xué) 土木與交通學(xué)院，廣東 廣州 510640；2.廣州地鐵集團(tuán)有限公司，廣東 廣州 510030)

地鐵是大中型城市的主要交通工具之一，為了保障運(yùn)營(yíng)安全，地鐵站在列車與站臺(tái)之間安裝屏蔽門，在保護(hù)了乘客的同時(shí)，也產(chǎn)生了新的問題。屏蔽門與列車門之間存在間隙空間，乘客通過屏蔽門時(shí)，不慎掉落的物品會(huì)遺留在間隙之中，車門關(guān)閉時(shí)，也可能將乘客隨身物品夾在間隙空間中。這些物體屬于間隙空間中的異物，會(huì)對(duì)地鐵的運(yùn)行帶來安全隱患。為解決該問題，各大地鐵公司開始安裝異物檢測(cè)系統(tǒng)，廣州、深圳等地的地鐵公司已開始部署相關(guān)設(shè)備，在間隙空間上方安裝傳感器和邊緣計(jì)算設(shè)備對(duì)風(fēng)險(xiǎn)異物進(jìn)行檢測(cè)。屏蔽門與列車門的間隙空間環(huán)境復(fù)雜，干擾因素眾多，列車來臨時(shí)帶來的高壓氣流、間隙空間內(nèi)的光照變化、粉塵流動(dòng)等因素都會(huì)對(duì)異物檢測(cè)造成影響。因此，要求異物檢測(cè)算法具備較強(qiáng)的抗干擾能力。

目前，檢測(cè)屏蔽門與列車門間隙空間異物的方式可以分為兩種：使用紅外或激光傳感器直接測(cè)量，使用圖像傳感器間接測(cè)量?；谥苯訙y(cè)量傳感器的方案[1-2]安裝要求嚴(yán)格，成本高且受振動(dòng)影響較大，對(duì)于間隙較大的站臺(tái)存在檢測(cè)盲區(qū)?；趫D像傳感器間接測(cè)量的方案主要通過計(jì)算機(jī)視覺方法分析間隙區(qū)域的圖像來實(shí)現(xiàn)異物檢測(cè)，該方案成本較低，易于安裝與維護(hù)。

傳統(tǒng)的計(jì)算機(jī)視覺技術(shù)常采用幀差對(duì)比的方式進(jìn)行異物檢測(cè)，文獻(xiàn)[3]中通過幀差法結(jié)合形態(tài)學(xué)處理進(jìn)行異物檢測(cè)，這種方法的檢測(cè)速度快，但要求參與對(duì)比的兩幅圖像在背景區(qū)域無明顯變化，導(dǎo)致抗干擾能力低，為改善這個(gè)問題，文獻(xiàn)[4]中使用了GMM[5]算法，對(duì)多幀圖像進(jìn)行高斯混合建模以建立背景模型，并通過3δ準(zhǔn)則判斷前景得到檢測(cè)結(jié)果。文獻(xiàn)[6]中使用了Vibe[7]算法，以鄰域采樣的方式對(duì)背景建模，為每個(gè)位置的像素建立背景樣本庫，通過對(duì)待檢測(cè)圖片與背景樣本庫的對(duì)比得到異物檢測(cè)結(jié)果。文獻(xiàn)[8]中提出SuBSENSE算法，通過Color-LBSP的像素級(jí)建模方式，進(jìn)一步提高檢測(cè)準(zhǔn)確性。傳統(tǒng)方法雖然在發(fā)展的歷程中逐步提高了性能，但受限于模型的泛化能力，準(zhǔn)確性和抗干擾能力仍較低，只能應(yīng)對(duì)單一模式的干擾，無法適應(yīng)光照、背景復(fù)雜多變的地鐵環(huán)境。

基于深度學(xué)習(xí)的語義分割技術(shù)近年來發(fā)展迅速，該方法能對(duì)圖像像素進(jìn)行精細(xì)分類，并具有較強(qiáng)的泛化能力，適用于地鐵異物檢測(cè)。該場(chǎng)景的主要關(guān)注點(diǎn)在于區(qū)分圖像中的異物與非異物部分，屬于二分類問題，異物部分的像素視為前景，非異物部分的像素視為背景。

FCN[9]的提出奠定了語義分割神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)，即編碼-解碼結(jié)構(gòu)，這一結(jié)構(gòu)通過編碼部分提取數(shù)據(jù)特征，再經(jīng)解碼部分對(duì)特征分類并恢復(fù)尺寸，從而實(shí)現(xiàn)對(duì)像素的劃分。FCN提出后，后續(xù)的語義分割研究在該結(jié)構(gòu)的基礎(chǔ)上改進(jìn)，UNet[10]與SegNet[11]調(diào)整了編碼部分與解碼部分之間的對(duì)稱度，使得分割圖恢復(fù)邊緣信息更加精細(xì)，UNet++[12]通過密集連接結(jié)構(gòu)提高了網(wǎng)絡(luò)對(duì)不同尺度信息的利用率，GCN[13]權(quán)衡了分類與定位之間的精度矛盾，并提高了前景邊界的定位精度，DeepLab系列網(wǎng)絡(luò)[14-17]通過使用空洞卷積提高了編碼部分的感受野。這些研究提高了語義分割網(wǎng)絡(luò)的定位和分類性能，從中可以看到，神經(jīng)網(wǎng)絡(luò)擁有較強(qiáng)的前景檢測(cè)能力，這一能力可應(yīng)用于地鐵異物檢測(cè)任務(wù)中。

本文提出假設(shè)，在這一任務(wù)中，神經(jīng)網(wǎng)絡(luò)在額外獲取背景圖片作為參考的情況下，對(duì)異物的前景檢測(cè)將更加準(zhǔn)確?；谠摷僭O(shè)，本文將差異對(duì)比的思想與語義分割方法相結(jié)合，提出一種新的異物前景檢測(cè)方法，并在實(shí)驗(yàn)中驗(yàn)證了該假設(shè)。本文方法的核心是一個(gè)新的前景檢測(cè)網(wǎng)絡(luò)DifferentNet，通過對(duì)比背景圖片和待檢測(cè)圖片的局部特征差異得到待檢測(cè)圖片的前景熱力圖，再經(jīng)閾值分割并剔除面積較小的輪廓得到最終的前景檢測(cè)結(jié)果。在地鐵異物前景檢測(cè)實(shí)驗(yàn)中，本文方法取得了比其他語義分割方法更好的效果。

1 地鐵異物前景檢測(cè)方法

屏蔽門與列車門間隙的監(jiān)控?cái)z像頭安裝位置如圖1所示，攝像頭從間隙空間上方垂直向下拍攝，以保證拍攝范圍覆蓋整個(gè)間隙區(qū)域。本文方法由3部分組成，包括前景熱力圖生成、置信度判斷、前景輪廓篩選。

圖1 攝像頭安裝位置示意圖Fig.1 Schematic diagram of location of camera installation

本文的檢測(cè)方案是：當(dāng)列車進(jìn)站后，將減速并停穩(wěn)。在車門未開啟時(shí)，間隙空間處在封閉且無異物的狀態(tài)，采集此時(shí)圖像作為背景圖片。背景圖片記錄了列車門與屏蔽門等背景物的位置與形態(tài)信息，對(duì)前景判斷起參考作用。列車停穩(wěn)后列車門與屏蔽門將開啟，并在上下乘客后再次關(guān)閉，完全關(guān)閉后間隙空間回到封閉的狀態(tài)，此時(shí)列車門與屏蔽門的位置和形態(tài)與背景圖片相同，但是否存在異物未知。采集此時(shí)的圖像作為待檢測(cè)圖片，若存在風(fēng)險(xiǎn)異物，待檢測(cè)圖片與背景圖片之間會(huì)存在局部信息差異，通過這種差異可檢測(cè)異物。將背景圖片和待檢測(cè)圖片輸入本文提出的網(wǎng)絡(luò)DifferentNet中，網(wǎng)絡(luò)的編碼部分通過骨干網(wǎng)絡(luò)分別提取兩幅圖片的局部特征，解碼部分通過局部特征的差異計(jì)算異物前景熱力圖。前景熱力圖表示了網(wǎng)絡(luò)預(yù)測(cè)待檢測(cè)圖片中各像素為異物像素的置信度，使用全局閾值分割熱力圖初步判斷前景，并通過篩選剔除面積較小的輪廓，得到最終的檢測(cè)結(jié)果。整個(gè)前景檢測(cè)總體流程如圖2所示。

圖2 前景檢測(cè)流程圖Fig.2 Flowchart of foreground detection

1.1 基于多尺度特征差異分析的前景檢測(cè)網(wǎng)絡(luò)

前景檢測(cè)網(wǎng)絡(luò)根據(jù)背景圖片與待檢測(cè)圖片的局部特征信息差異產(chǎn)生前景熱力圖，需具備把兩幅圖片關(guān)聯(lián)起來進(jìn)行語義分割的能力。在已提出的語義分割網(wǎng)絡(luò)中，UNet[10]是一個(gè)高效而簡(jiǎn)潔的網(wǎng)絡(luò)，有著相對(duì)對(duì)稱的“編碼-解碼”結(jié)構(gòu)，能綜合不同尺度的特征圖信息，在圖像分割任務(wù)中有著優(yōu)秀的表現(xiàn)，廣泛地應(yīng)用在醫(yī)學(xué)圖像處理及其他領(lǐng)域當(dāng)中[18-20]。FlowNet[21]及其它網(wǎng)絡(luò)[22-24]采用了“雙路圖片輸入與關(guān)聯(lián)”結(jié)構(gòu)，這種結(jié)構(gòu)通常使用相同的骨干網(wǎng)絡(luò)對(duì)兩幅不同的輸入圖片進(jìn)行特征提取，并在后續(xù)的部分對(duì)它們的特征進(jìn)行分析，能有效地根據(jù)兩幅圖片之間的關(guān)聯(lián)推斷出任務(wù)所需信息。

本文將“雙路圖片輸入與關(guān)聯(lián)結(jié)構(gòu)”融入“對(duì)稱‘編碼-解碼’結(jié)構(gòu)”之中，設(shè)計(jì)了一個(gè)新的前景檢測(cè)網(wǎng)絡(luò)DifferentNet。與UNet通過單幀信息推斷前景不同，DifferentNet通過并行處理提取兩幅圖片不同尺度的特征，并將同一尺度的特征按位置相關(guān)聯(lián)，這一關(guān)聯(lián)能使網(wǎng)絡(luò)根據(jù)兩幅圖片的內(nèi)在特征信息及其對(duì)比差異推斷前景像素。此外，與UNet相比，DifferentNet的編碼與解碼部分擁有更強(qiáng)的對(duì)稱性，從而提升編碼與解碼部分之間的信息傳遞完整性。網(wǎng)絡(luò)整體結(jié)構(gòu)如圖3所示。

圖3 網(wǎng)絡(luò)整體結(jié)構(gòu)Fig.3 Structure of the whole network

DifferentNet以待檢測(cè)圖片和背景圖片作為輸入，在編碼部分使用相同參數(shù)的骨干網(wǎng)絡(luò)分別對(duì)兩幅圖片提取特征，得到一系列不同尺度的特征圖，再把兩幅圖片中同一尺度的特征圖連接，從而關(guān)聯(lián)它們的特征。解碼部分根據(jù)不同尺度關(guān)聯(lián)后的特征圖逐步上采樣恢復(fù)尺寸，得到前景熱力圖。上采樣通過轉(zhuǎn)置卷積進(jìn)行，并從尺度最小的特征圖開始。每次上采樣后得到的結(jié)果與上一尺度的特征信息相連并再次上采樣，使解碼部分能夠根據(jù)不同尺度的特征信息分析并推斷結(jié)果。在上采樣過程中，為了減少信息丟失，在增大特征圖尺度的同時(shí)減少其通道數(shù)。在多尺度特征融合過程中，先使用卷積層對(duì)關(guān)聯(lián)后的特征圖進(jìn)一步提取特征，再與上采樣后的特征圖相連，從而使該過程具有更強(qiáng)的可學(xué)習(xí)性。

圖4 VGG16的卷積部分Fig.4 Convolution part of VGG16

(1)

(2)

最后輸出的特征圖通道數(shù)為k，k由任務(wù)的分類數(shù)決定，當(dāng)k>1時(shí)輸出層使用Softmax激活函數(shù)。本文中的應(yīng)用場(chǎng)景為前景/背景分類，是一個(gè)二分類任務(wù)，因此定義k=1，輸出層使用Sigmoid激活函數(shù)。根據(jù)該定義，網(wǎng)絡(luò)輸出一幅與輸入圖片大小相同的前景熱力圖，記為M，M上每個(gè)元素的值代表了網(wǎng)絡(luò)預(yù)測(cè)該處的像素點(diǎn)為前景像素的置信度。記圖5中的輸出層運(yùn)算為ΨOut，則M的計(jì)算如下：

圖5 解碼部分結(jié)構(gòu)Fig.5 Stucture of decoding part

(3)

1.2 損失函數(shù)

圖像中背景區(qū)域的占比較大，造成正負(fù)樣本不均衡，因此使用由Focal Loss[27]和線性權(quán)重?fù)p失組成的損失函數(shù)L：

L=βLfl+(1-β)Lfw

(4)

式中：Lfl代表Focal Loss，其計(jì)算如式(5)所示。Lfw代表線性權(quán)重?fù)p失，如式(6)所示，β代表Focal Loss的權(quán)重系數(shù)，取值范圍為[0,1]。

(5)

(6)

式中：y代表Ground Truth，y′代表預(yù)測(cè)值。式(5)中α1為正樣本的權(quán)重系數(shù)，取值范圍為[0,1]，γ為調(diào)制系數(shù)。式(6)中α2為正樣本的權(quán)重系數(shù)。

根據(jù)參考文獻(xiàn)[27]給出的建議，定義損失函數(shù)各參數(shù)的取值：β=0.5，α1=0.98，α2=0.98，γ=2。

1.3 前景分割與篩選

獲取前景熱力圖后，需要經(jīng)過后端處理完成前景推斷。首先進(jìn)行前景/背景分類，使用全局閾值法分割熱力圖M，設(shè)定閾值t=50%，則置信度大于t的像素分類為前景，小于等于t的像素分類為背景。分割后的圖像記為MS。

前景異物在圖像中的輪廓具有一定面積，構(gòu)成風(fēng)險(xiǎn)異物的最小尺寸[28-29]為50 mm×50 mm×50 mm。記物體在圖片中的像素面積占圖片像素總面積之比為δ，根據(jù)攝像機(jī)線性模型[30]，物體離攝像機(jī)投影面越遠(yuǎn)δ越小，經(jīng)測(cè)試，實(shí)驗(yàn)現(xiàn)場(chǎng)中最小風(fēng)險(xiǎn)異物在測(cè)試區(qū)域內(nèi)最小的δ=0.055 339%，因此使用輪廓提取法[31]提取MS中所有前景輪廓，并剔除δ<0.05%的輪廓連通域，得到最終的前景分割結(jié)果。

2 數(shù)據(jù)集

2.1 數(shù)據(jù)采集

本實(shí)驗(yàn)在廣州地鐵公司的配合下進(jìn)行專門的數(shù)據(jù)采集。每次采集前關(guān)閉列車門與屏蔽門，拍攝此時(shí)的圖像作為背景圖片，然后打開列車門與屏蔽門，在保證安全的前提下手動(dòng)放置異物在間隙區(qū)域，再關(guān)閉列車門與屏蔽門，拍攝此時(shí)的圖像作為待檢測(cè)圖片，由此得到一組樣本，本實(shí)驗(yàn)一共采集了158組樣本。

2.2 數(shù)據(jù)增廣

對(duì)原樣本進(jìn)行以下3個(gè)步驟的處理：

步驟1 添加前景異物貼圖。為了更好地引導(dǎo)模型學(xué)習(xí)通過對(duì)比特征差異推斷前景的能力，在待檢測(cè)圖片中加入異物貼圖。一共準(zhǔn)備了16個(gè)異物貼圖，在待檢測(cè)圖片的間隙區(qū)域中隨機(jī)添加1～3個(gè)異物貼圖，每個(gè)貼圖隨機(jī)旋轉(zhuǎn)并覆蓋在隨機(jī)位置，根據(jù)其位置調(diào)整縮放尺寸，添加異物貼圖的同時(shí)修改該區(qū)域的標(biāo)簽。

步驟2 添加高斯光斑。為提高模型抵抗光線干擾的能力，在背景圖片和待檢測(cè)圖片中添加5個(gè)位置、尺寸、強(qiáng)度隨機(jī)的噪聲區(qū)域。每個(gè)噪聲區(qū)域服從二維高斯分布。

步驟3 添加高斯噪聲。為了提高泛化能力，對(duì)背景圖片和待檢測(cè)圖片中的所有像素添加隨機(jī)強(qiáng)度的一維微小高斯噪聲。

為了更好地評(píng)估算法，增大測(cè)試集的選取比例，在所采集的樣本中隨機(jī)選取60組樣本，每組樣本應(yīng)用以上方法生成20組新樣本，由此得到1 200組樣本，將這些樣本作為訓(xùn)練集。將原樣本中剩下的98組樣本作為測(cè)試集，組成一共1 298組樣本的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。圖6展示了一組樣本數(shù)據(jù)增廣前后的對(duì)比圖片。

圖6 數(shù)據(jù)增廣前后對(duì)比Fig.6 Comparison before and after data augmentation

3 實(shí)驗(yàn)

所有實(shí)驗(yàn)在一臺(tái)計(jì)算機(jī)上進(jìn)行，計(jì)算機(jī)的參數(shù)為：CPU，Intel 9700K;GPU,Nvidia RTX2070s;內(nèi)存,16 GB。數(shù)據(jù)集中所有圖片的分辨率均為480×640，將其調(diào)整為240×320輸入網(wǎng)絡(luò)，使用Adam[32]優(yōu)化器對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練，初始學(xué)習(xí)率0.001，衰減率0.98。

3.1 評(píng)價(jià)指標(biāo)

文中采用5個(gè)指標(biāo)對(duì)模型進(jìn)行評(píng)價(jià)，包括準(zhǔn)確性指標(biāo)：精確率P、召回率R、調(diào)和均值F1、交并比cIoU，和速度指標(biāo)：運(yùn)行用時(shí)。

精確率、召回率、調(diào)和均值是機(jī)器學(xué)習(xí)常用的評(píng)價(jià)指標(biāo)，計(jì)算式如下，

(7)

(8)

(9)

圖像分割任務(wù)常使用交并比作為算法的準(zhǔn)確性指標(biāo)，它的計(jì)算如式(10)所示，本文任務(wù)更關(guān)心的是對(duì)異物的分類，因此計(jì)算前景類的交并比：

(10)

式(7)～(10)中：NTP表示分類正確的正樣本數(shù)量，NFP表示分類錯(cuò)誤的正樣本數(shù)量，NFN表示分類錯(cuò)誤的負(fù)樣本數(shù)量，所有樣本皆以像素為單位。

3.2 與傳統(tǒng)方法對(duì)比

本文通過實(shí)驗(yàn)將DifferentNet與傳統(tǒng)計(jì)算機(jī)視覺方法進(jìn)行對(duì)比，參與對(duì)比的傳統(tǒng)方法有：幀差法、GMM[5]、Vibe[7]、SuBSENSE[8]。實(shí)驗(yàn)結(jié)果如表1所示，其中傳統(tǒng)方法在CPU環(huán)境中運(yùn)行，基于深度學(xué)習(xí)的DifferentNet在GPU環(huán)境中運(yùn)行?？梢钥闯觯瑐鹘y(tǒng)方法的準(zhǔn)確性較低，而DifferentNet在準(zhǔn)確性上大幅領(lǐng)先于其他方法。圖7展示了一組DifferentNet與傳統(tǒng)方法的檢測(cè)結(jié)果對(duì)比，從中可以看到，傳統(tǒng)計(jì)算機(jī)視覺方法的抗干擾能力差，光照變化會(huì)對(duì)檢測(cè)結(jié)果造成較大影響，其中幀差法的抗干擾能力最低，GMM、SuBSENSE的抗干擾能力略優(yōu)于幀差法，但檢測(cè)準(zhǔn)確性仍非常低，而本文的方法DifferentNet較好地克服了光照干擾，并準(zhǔn)確檢測(cè)出了異物輪廓。

表1 DifferentNet與傳統(tǒng)方法的性能對(duì)比Table 1 Performance comparison between DifferentNet and se-veral traditional methods

圖7 DiferentNet與幾種傳統(tǒng)方法檢測(cè)結(jié)果示例Fig.7 Examples of detection results from DiferentNet and se-veral traditional methods

3.3 不同網(wǎng)絡(luò)對(duì)比

為證明本文假設(shè)，即：神經(jīng)網(wǎng)絡(luò)在有背景圖片參考的情況下，對(duì)異物的前景檢測(cè)將更加準(zhǔn)確；并證明本文網(wǎng)絡(luò)在地鐵異物前景檢測(cè)中的優(yōu)勢(shì)。將DifferentNet與6種語義分割網(wǎng)絡(luò)進(jìn)行對(duì)比，參與對(duì)比的網(wǎng)絡(luò)有UNet[10]、GCN[13]、SegNet[11]、PSPNet[33]、RefineNet[34]、DeepLabV3+[16]。這些網(wǎng)絡(luò)屬于單圖片輸入網(wǎng)絡(luò)，因此它們?cè)谥猾@取待檢測(cè)圖片作為輸入的情況下進(jìn)行訓(xùn)練和測(cè)試，輸出前景熱力圖，并進(jìn)行與1.3節(jié)相同的閾值分割和輪廓篩選步驟，實(shí)驗(yàn)結(jié)果如表2所示。通過更改前景分割的置信度閾值t，得到各網(wǎng)絡(luò)的P-R曲線，如圖8所示。由實(shí)驗(yàn)結(jié)果，較新的分割網(wǎng)絡(luò)DeepLabV3+與RefineNet、GCN、PSPNet的表現(xiàn)優(yōu)于UNet與SegNet，而本文中提出的網(wǎng)絡(luò)在精確率、召回率、F1與cIoU上明顯高于其他網(wǎng)絡(luò)，準(zhǔn)確性最高，但由于要對(duì)兩幅圖片進(jìn)行特征編碼與解碼，運(yùn)行用時(shí)比其他網(wǎng)絡(luò)長(zhǎng)，大約為其他網(wǎng)絡(luò)的兩倍。

表2 DifferentNet與幾種語義分割網(wǎng)絡(luò)的性能對(duì)比Table 2 Performance comparison between DifferentNet and se-veral semantic segmentation networks

圖8 DifferentNet與幾種語義分割網(wǎng)絡(luò)的P-R曲線Fig.8 P-R curves of DifferentNet and several semantic segmentation networks

圖9展示了各網(wǎng)絡(luò)的部分檢測(cè)結(jié)果?？梢钥吹剑珼ifferentNet檢測(cè)到的前景輪廓更加準(zhǔn)確。圖中第1、2行各圖片之間的光照有很大變化，這種變化是間隙區(qū)域內(nèi)的照明設(shè)備運(yùn)作變化導(dǎo)致，是對(duì)異物檢測(cè)造成干擾的因素之一。圖中的第1、2、6列，待檢測(cè)圖片中，屏蔽門與列車門的間隙底部的照明燈打開，而背景圖片中，照明燈未打開，使得待檢測(cè)圖片的亮度偏高，并出現(xiàn)了藍(lán)色的燈帶區(qū)域，在第4列中，側(cè)面的紅色照明燈閃爍造成背景圖片色調(diào)偏紅。這些光照因素會(huì)對(duì)檢測(cè)造成干擾，而由第4行的檢測(cè)結(jié)果看到，DifferentNet能很好地克服這一干擾。而其他網(wǎng)絡(luò)，在無照明燈直射的情況下，有較好的檢測(cè)效果(如第3列)，但在有照明燈干擾的情況下，會(huì)出現(xiàn)較多的偽陽性誤檢區(qū)域(如第6列)。

圖9 DifferentNet與幾種語義分割網(wǎng)絡(luò)的檢測(cè)結(jié)果示例Fig.9 Examples of detection results from DifferentNet and several segmentation networks

3.4 有無背景參考對(duì)比

為了進(jìn)一步證明本文的假設(shè)，將DifferentNet在移除背景圖片影響的情況下進(jìn)行訓(xùn)練與測(cè)試，但原網(wǎng)絡(luò)在只輸入待檢測(cè)圖片的情況下無法正常進(jìn)行前向傳播，因此按以下思路分別設(shè)計(jì)兩組實(shí)驗(yàn)。

實(shí)驗(yàn)A：更改網(wǎng)絡(luò)結(jié)構(gòu)。將原網(wǎng)絡(luò)結(jié)構(gòu)中與背景圖片有關(guān)的部分移除。對(duì)待檢測(cè)圖片在編碼部分進(jìn)行特征提取后，直接將特征圖輸入解碼部分進(jìn)行后續(xù)計(jì)算。此時(shí)由于缺少背景圖片的特征圖與之連接，輸入解碼部分的各特征圖通道數(shù)減少一半，與原網(wǎng)絡(luò)解碼部分結(jié)構(gòu)不兼容，因此將解碼部分各卷積層的卷積核通道和數(shù)量縮減一半，使網(wǎng)絡(luò)能正常運(yùn)行。

實(shí)驗(yàn)B：保留原網(wǎng)絡(luò)結(jié)構(gòu)。在不改動(dòng)原網(wǎng)絡(luò)結(jié)構(gòu)的情況下，將背景圖片輸入替換為同尺寸的隨機(jī)噪聲輸入，噪聲強(qiáng)度服從均勻隨機(jī)分布，從而在訓(xùn)練過程中使網(wǎng)絡(luò)與背景圖片有關(guān)的參數(shù)向零回歸。

按以上思路分別進(jìn)行實(shí)驗(yàn)，以相同的超參數(shù)重新訓(xùn)練與測(cè)試，實(shí)驗(yàn)結(jié)果如表3所示，P-R曲線對(duì)比如圖10所示。分析實(shí)驗(yàn)結(jié)果可得，實(shí)驗(yàn)A與實(shí)驗(yàn)B的各項(xiàng)準(zhǔn)確性指標(biāo)相對(duì)于原實(shí)驗(yàn)都有一定程度的下降，其中實(shí)驗(yàn)A的準(zhǔn)確性下降幅度更大，但速度得到了明顯提升，該現(xiàn)象可能是減少通道數(shù)所導(dǎo)致的。由此得出，在缺少背景圖片作為輸入的情況下，網(wǎng)絡(luò)的準(zhǔn)確性有所下降。實(shí)驗(yàn)A由于縮減了網(wǎng)絡(luò)規(guī)模，運(yùn)行速度得到提升，但更改了網(wǎng)絡(luò)結(jié)構(gòu)，因此本文認(rèn)為實(shí)驗(yàn)B與原實(shí)驗(yàn)的對(duì)比更具公平性。

表3 DifferentNet有/無背景參考的性能對(duì)比Table 3 Performance comparison of DifferentNet with or without background reference

圖10 DifferentNet有/無背景參考下的P-R曲線Fig.10 P-R curves of DifferentNet with or without background reference

實(shí)驗(yàn)A的方法與3.2節(jié)中的其他單圖片輸入網(wǎng)絡(luò)相比，在速度較快的同時(shí)在各項(xiàng)準(zhǔn)確性指標(biāo)上總體處于領(lǐng)先位置。實(shí)驗(yàn)B與原實(shí)驗(yàn)對(duì)比，精確率下降并不明顯，但召回率、cIoU都有較大下滑，這表明在缺少背景參考的情況下，神經(jīng)網(wǎng)絡(luò)的前景檢測(cè)性能有所下降，雖保持較高的精確率，但會(huì)遺漏部分前景區(qū)域。通過分析，該現(xiàn)象的原因可能是在缺少背景參考的情況下，網(wǎng)絡(luò)無法辨別部分與背景差異不明顯的前景區(qū)域所導(dǎo)致。圖11展示了一個(gè)上述情況的案例，圖中異物的邊緣部分與背景區(qū)域相似，在缺少背景參考的情況下，網(wǎng)絡(luò)對(duì)邊緣部分的檢測(cè)效果不佳，而在有背景參考的情況下，網(wǎng)絡(luò)能更準(zhǔn)確地判斷這部分區(qū)域。

圖11 DifferentNet有/無背景參考下的檢測(cè)結(jié)果示例Fig.11 Examples of detection results for DifferentNet with or without background references

3.5 解碼部分卷積核數(shù)量對(duì)比

通過3.2節(jié)的實(shí)驗(yàn)發(fā)現(xiàn)，DifferentNet在準(zhǔn)確性指標(biāo)上有著較好的表現(xiàn)，并達(dá)到了實(shí)時(shí)運(yùn)行的要求，但速度低于表3中的其他網(wǎng)絡(luò)。通過3.3節(jié)實(shí)驗(yàn)A發(fā)現(xiàn)，在移除網(wǎng)絡(luò)中與背景圖片有關(guān)的部分并減少解碼部分卷積核數(shù)量的情況下，網(wǎng)絡(luò)的準(zhǔn)確性下降但運(yùn)行速度得到了較大提升。通過對(duì)表3的分析，得知性能下降的主要原因與缺少背景參考有關(guān)，同時(shí)，本文認(rèn)為網(wǎng)絡(luò)的準(zhǔn)確性與卷積核數(shù)量之間可能存在聯(lián)系。為了在保持準(zhǔn)確性的同時(shí)提高DifferentNet的運(yùn)行速度，并探究卷積核數(shù)量對(duì)原網(wǎng)絡(luò)的影響，設(shè)計(jì)了以下實(shí)驗(yàn)：保留背景圖片作為參考，并保持編碼部分與原實(shí)驗(yàn)相同，減少解碼部分的卷積核數(shù)量與通道數(shù)，以相同的步驟重新進(jìn)行訓(xùn)練與測(cè)試，一共進(jìn)行了2組實(shí)驗(yàn)。

實(shí)驗(yàn)C：通過減少解碼部分的卷積核通道與數(shù)量，將圖5中各模塊輸出特征圖的通道數(shù)減少到原來的1/4，此時(shí)解碼部分的卷積核數(shù)量為原來的39.3%。

實(shí)驗(yàn)D：通過減少解碼部分的卷積核通道與數(shù)量，將圖5中各模塊輸出特征圖的通道數(shù)減少到原來的1/2，此時(shí)解碼部分的卷積核數(shù)量為原來的57.0%。

實(shí)驗(yàn)結(jié)果如表4所示，其P-R曲線如圖12所示。由實(shí)驗(yàn)結(jié)果得知，在實(shí)驗(yàn)D中，相較于原實(shí)驗(yàn)，除召回率有輕微提升外，準(zhǔn)確性指標(biāo)總體有較小下降，而運(yùn)行速度有明顯提升，參數(shù)量也大幅降低。在實(shí)驗(yàn)C中，相較于原實(shí)驗(yàn)，準(zhǔn)確性指標(biāo)總體降幅較大，相較于實(shí)驗(yàn)D，運(yùn)行速度雖有提升，但提升的幅度較小。本文認(rèn)為造成該現(xiàn)象的原因是，隨著卷積核數(shù)量的下降，當(dāng)其低于必要的數(shù)目后，解碼部分的分析能力會(huì)出現(xiàn)明顯下降，而且，輸入解碼部分的特征圖通道數(shù)不變，導(dǎo)致解碼部分中一部分卷積核的通道數(shù)無法縮減，使得參數(shù)量和運(yùn)行用時(shí)的降幅也受到制約。

圖12 DifferentNet在不同卷積核數(shù)量的解碼器下的P-R曲線Fig.12 P-R curves of DifferentNet decoder with different number of convolution kernels

表4 DifferentNet在不同數(shù)量卷積核的解碼器下的性能對(duì)比Table 4 DifferentNet performance comparison for decoders with different number of convolution kernels

綜合以上分析，原實(shí)驗(yàn)中的卷積核數(shù)量是必要的，在算力充足的情況下應(yīng)采用原實(shí)驗(yàn)的方案，在實(shí)時(shí)性要求較高的場(chǎng)合可采用實(shí)驗(yàn)D的方案。

3.6 不同上采樣方式對(duì)比

在計(jì)算機(jī)視覺算法中，通常使用上采樣操作對(duì)特征圖進(jìn)行解碼，一些文獻(xiàn)中[33-34]使用雙線性插值+卷積的方式進(jìn)行上采樣，而另一些文獻(xiàn)中[10-12]則通過轉(zhuǎn)置卷積上采樣。本文在解碼模塊的設(shè)計(jì)中，通過實(shí)驗(yàn)探究了DifferentNet在兩種上采樣方式下的性能差異，實(shí)驗(yàn)結(jié)果如表5所示，P-R曲線如圖13所示。實(shí)驗(yàn)表明，本文方法采用轉(zhuǎn)置卷積進(jìn)行上采樣具有更好的效果。

表5 DifferentNet在不同上采樣方式下的性能對(duì)比Table 5 DifferentNet performance comparison in different upsampling modes

4 結(jié)語

為解決地鐵屏蔽門與列車門間隙區(qū)域異物檢測(cè)問題，本文中提出假設(shè)：在有背景參考的情況下神經(jīng)網(wǎng)絡(luò)能更好的檢測(cè)異物，并基于該假設(shè)提出了一種新的前景檢測(cè)方法，主要通過深度神經(jīng)網(wǎng)絡(luò)對(duì)比待檢測(cè)圖片與背景圖片的差異，從而分割得到前景區(qū)域。為了有效關(guān)聯(lián)兩幅圖片的特征并計(jì)算特征差異，本文網(wǎng)絡(luò)在各尺度上連接兩幅圖片在編碼部分得到的特征圖，在解碼部分通過跳躍連接和逐步轉(zhuǎn)置卷積的方式恢復(fù)特征尺寸，得到前景熱力圖，最后經(jīng)閾值分割和輪廓篩選得到前景檢測(cè)結(jié)果。為有效訓(xùn)練和測(cè)試網(wǎng)絡(luò)，在地鐵現(xiàn)場(chǎng)進(jìn)行了專門的數(shù)據(jù)采集，并通過一系列數(shù)據(jù)增廣方法提高網(wǎng)絡(luò)的泛化能力。通過實(shí)驗(yàn)，證明了本文的假設(shè)，并在與傳統(tǒng)方法及其他分割網(wǎng)絡(luò)的對(duì)比中證明了本文方法在準(zhǔn)確性上的優(yōu)勢(shì)。本文方法在RTX2070s上的運(yùn)行速度為30幀/s，可實(shí)時(shí)運(yùn)行，但與其他方法相比，運(yùn)行速度仍較慢，因此本文探討了縮減解碼部分卷積核數(shù)量對(duì)本文方法的影響，并得到一種較為可行的優(yōu)化方案。本文方法在地鐵異物檢測(cè)任務(wù)中取得了較好的效果，同時(shí)為其他前景檢測(cè)任務(wù)算法設(shè)計(jì)提供了新的參考。