陳 勇，黨淑雯，聶 鈴

（上海工程技術(shù)大學(xué) 航空運(yùn)輸學(xué)院，上海 201620）

0 引言

隨著人工智能的發(fā)展，移動(dòng)機(jī)器人已成為熱門研究課題。為實(shí)現(xiàn)自主導(dǎo)航任務(wù)，移動(dòng)機(jī)器人需要執(zhí)行實(shí)時(shí)定位、路徑規(guī)劃等操作，在此過程中即時(shí)定位和建圖（SLAM）起著至關(guān)重要的作用。按傳感器不同，SLAM 可分為激光SLAM 和視覺SLAM。由于RGB-D 相機(jī)的更新?lián)Q代，兼且還具有體積小、重量輕、造價(jià)低廉等諸多優(yōu)點(diǎn)，就使視覺SLAM 引起了學(xué)界的廣泛關(guān)注與濃厚興趣?；丨h(huán)檢測(cè)作為視覺SLAM 的關(guān)鍵組成部分，可以識(shí)別機(jī)器人以前經(jīng)過的地方，從而減少機(jī)器人移動(dòng)過程中產(chǎn)生的累積誤差?，F(xiàn)有的回環(huán)檢測(cè)方法可以分為基于圖像特征和基于外觀不變性兩種。其中，基于外觀的回環(huán)檢測(cè)目前獲得了較為廣泛應(yīng)用，該方法從本質(zhì)上比較了視覺系統(tǒng)中2 幅相鄰圖像之間的相似性。

在基于外觀的方法中，較為通用的是基于詞袋模型的回環(huán)檢測(cè)算法?；谠~袋模型的回環(huán)檢測(cè)算法的主要運(yùn)行步驟是：首先利用算法（SIFT、SURF、ORB ）從采集到的環(huán)境信息中提取特征向量作為“單詞”，即通過提取圖像中具有局部不變的特征點(diǎn)作為視覺詞匯；其次，根據(jù)K 均值聚類算法與相近的單詞結(jié)合構(gòu)成詞表，并分組到一個(gè)詞典中；最后，統(tǒng)計(jì)單詞在采集環(huán)境信息中出現(xiàn)的次數(shù)，用維數(shù)值向量表示圖像。但BOW 模型中手工標(biāo)記的特征有一定局限性，即這些特征忽略了圖像中的一些有用信息，因此可能會(huì)產(chǎn)生精度較低的回環(huán)檢測(cè)。

1 基于ResNet 模型的回環(huán)檢測(cè)算法

雖然傳統(tǒng)的回環(huán)檢測(cè)算法能在視覺SLAM 系統(tǒng)中檢測(cè)出回環(huán)，但需要經(jīng)過大量訓(xùn)練來提取特征，且在不同場(chǎng)景下準(zhǔn)確率較低。近些年，研究人員嘗試將神經(jīng)網(wǎng)絡(luò)應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域，且有大量實(shí)驗(yàn)已經(jīng)證明了在計(jì)算機(jī)視覺中神經(jīng)網(wǎng)絡(luò)有著良好表現(xiàn)。Lecun 等人將卷積神經(jīng)網(wǎng)絡(luò)（CNN）應(yīng)用于視覺中。實(shí)驗(yàn)證明，CNN 能有效提取特征，應(yīng)用深度學(xué)習(xí)網(wǎng)絡(luò)，能成功檢測(cè)出視覺SLAM 的回路，為解決回環(huán)檢測(cè)問題提供了一種選擇。Gao 等人提出了一種基于良好訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的深度特征提取方法。但該方法訓(xùn)練整個(gè)網(wǎng)絡(luò)耗時(shí)長(zhǎng)、效率低，不適用于實(shí)時(shí)的SLAM 系統(tǒng)。Hou 等人使用一個(gè)預(yù)先訓(xùn)練過的CNN 模型，生成一個(gè)適合于視覺SLAM 中的回環(huán)檢測(cè)的圖像表示。結(jié)果表明，Conv3 和Pool5 的性能最佳。但該模型CNN 描述符的維度非常高。Xia 等比較了數(shù)種 CNN模型（PCANet、CaffeNet、AlexNet、GoogLeNet）和傳統(tǒng)方法（BoW、GIST）在回環(huán)檢測(cè)中的性能。結(jié)果表明，該CNN 模型能更好地適用于回環(huán)檢測(cè)。但是，由于模型中使用支持向量機(jī)（SVM）來檢測(cè)循環(huán)，不能很好地滿足視覺SLAM 系統(tǒng)中實(shí)時(shí)性要求。Zhang 等人使用一個(gè)開源預(yù)訓(xùn)練的CNN 模型、即OverFeat 來提取特征。近年來由于需要大量的標(biāo)簽來訓(xùn)練數(shù)據(jù)，所以就很少用到該CNN 模型。

針對(duì)上述算法存在的問題，本文提出了基于ResNet 模型回環(huán)檢測(cè)算法?？傮w流程如圖1 所示，算法實(shí)現(xiàn)步驟如下：

圖1 算法流程圖Fig.1 Flow chart of the algorithm

（1）根據(jù)選取策略，篩選關(guān)鍵幀集。

（2）通過預(yù)先訓(xùn)練好的ResNet 模型，提取篩選出的關(guān)鍵幀集特征，生成高維特征向量。

（3）利用PCA 白化來降低向量的維數(shù)，提高檢測(cè)效率。

（4）通過計(jì)算特征向量間的歐式距離，再計(jì)算相似矩陣，驗(yàn)證回環(huán)的準(zhǔn)確率。

1.1 關(guān)鍵幀篩選策略

由于移動(dòng)機(jī)器人在運(yùn)動(dòng)過程中拍攝的連續(xù)幀存在較多冗余信息，造成計(jì)算資源浪費(fèi)，因此引入關(guān)鍵幀很有必要。選擇合適的關(guān)鍵幀，能有效提高定位和建圖的精準(zhǔn)性和實(shí)時(shí)性。常見的關(guān)鍵幀篩選方法有：根據(jù)時(shí)間間隔對(duì)數(shù)據(jù)幀進(jìn)行采樣、根據(jù)空間距離對(duì)數(shù)據(jù)幀進(jìn)行采樣、根據(jù)圖像相似性進(jìn)行采樣等。以上這些方法都是使用單一準(zhǔn)則來篩選關(guān)鍵幀，無法適應(yīng)不同的環(huán)境變化，因此關(guān)鍵幀傾向于多重融合選擇。

本文通過設(shè)定相對(duì)運(yùn)動(dòng)量來篩選關(guān)鍵幀，具體步驟如下：

（1）關(guān)鍵幀集合，第一幀、即為，將其歸入集合。

（2）對(duì)于新的一幀F，計(jì)算中最后一幀與F的運(yùn)動(dòng)，并估計(jì)其運(yùn)動(dòng)的大小。若≥，則表明2 幀運(yùn)動(dòng)變化大，離得較遠(yuǎn)，應(yīng)剔除；或≥，則表明2 幀運(yùn)動(dòng)變化小，離得太近，應(yīng)剔除。這里，表示2 個(gè)相鄰幀的運(yùn)動(dòng)量，、為設(shè)定的閾值。只有2 幀的運(yùn)動(dòng)估計(jì)正確、能匹配，且兩者存在一定距離，則把該幀F加入到關(guān)鍵幀集合中。對(duì)應(yīng)數(shù)學(xué)模型可表示為：

其中，，，表示幀間的三軸方向的旋轉(zhuǎn)量；，分別表示平移所占的權(quán)重和旋轉(zhuǎn)所占的權(quán)重；是2 幀間的平移量。

1.2 ResNet 網(wǎng)絡(luò)模型

2015 年，何凱明團(tuán)隊(duì)提出ResNet 網(wǎng)絡(luò)。該網(wǎng)絡(luò)的發(fā)現(xiàn)不僅影響了學(xué)術(shù)界和工業(yè)界深度學(xué)習(xí)的發(fā)展方向，且在圖像檢測(cè)、圖像分割和圖像識(shí)別等領(lǐng)域獲得廣泛應(yīng)用。ResNet 網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示?；驹O(shè)計(jì)原理是通過殘差結(jié)構(gòu)來解決神經(jīng)網(wǎng)絡(luò)中出現(xiàn)的退化和梯度消失問題，提高了整個(gè)網(wǎng)絡(luò)性能，且在ImgeNet 數(shù)據(jù)集上獲得了良好的分類結(jié)果。

由圖2 可知，當(dāng)輸入后，輸出為：

其中，表示非線性函數(shù)。

通過一個(gè)捷徑（shortcut），和圖2 中的第2 個(gè)相結(jié)合，最終輸出：

圖2 ResNet 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 ResNet network structure

當(dāng)需要對(duì)輸入和輸出維數(shù)進(jìn)行變化時(shí)（如改變通道數(shù)目），可以在通過“捷徑”時(shí)，對(duì)加以線性變換，數(shù)學(xué)公式具體如下：

1.3 PCA+白化降維算法

研究中，可以從預(yù)先訓(xùn)練過的網(wǎng)絡(luò)模型中提取出整個(gè)圖像特征，但卻具有高維數(shù)。本文通過主成分分析（PCA）和白化算法進(jìn)行降維，同時(shí)也降低了關(guān)鍵幀的冗余程度。

PCA 是可以提升無監(jiān)督特征學(xué)習(xí)速度的數(shù)據(jù)降維算法。算法的設(shè)計(jì)原理是將維特征投影到維（）。輸入樣本集，，…，x，使其映射到空間，并實(shí)施中心化，選取個(gè)最大特征值，輸出映射矩陣。中心化時(shí)需用到的數(shù)學(xué)公式為：

降維后，通過白化算法對(duì)每一維除以其標(biāo)準(zhǔn)差，公式如下：

1.4 相似度計(jì)算

通過降維處理后的CNN 特征，使用歐氏距離來計(jì)算圖像和之間的差異。并繪制相似矩陣圖，用于度量圖像之間的相似度。歐式距離公式如下：

計(jì)算圖像和之間的歸一化相似性：

通過定義相似度矩陣，可以度量圖像之間的相似度。相似度矩陣示意如圖3 所示。由圖3 可知，矩陣的每一行都包含相似度的值，其范圍為（0，1）。不同的值用不同的顏色表示，值越高，圖像間的相似性就越高。若值為1，則表示檢測(cè)是一個(gè)循環(huán)閉合。

圖3 相似度矩陣示意圖Fig.3 Schematic diagram of similarity matrix

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集

實(shí)驗(yàn)測(cè)試數(shù)據(jù)集為City Centre 和New College，即當(dāng)機(jī)器人穿過室外城市環(huán)境時(shí)，每1.5 m 用攝像頭采集一次圖像，照明條件穩(wěn)定。這2 個(gè)數(shù)據(jù)集分別是1 237 對(duì)和1 073 對(duì)圖像，數(shù)據(jù)集的更多細(xì)節(jié)見表1。

表1 數(shù)據(jù)集參數(shù)Tab.1 Data set parameters

2.2 不同模型相似性矩陣對(duì)比實(shí)驗(yàn)

本文使用預(yù)先訓(xùn)練過的ResNet50、ResNet101和ResNet152 模型來提取特征。根據(jù)公式（8），可以計(jì)算出圖像的相似得分，并求出相似性矩陣。研究中得到的基于ResNet 50 網(wǎng)絡(luò)模型的回環(huán)檢測(cè)算法的相似矩陣圖和Ground Truth 圖即如圖4 所示。圖4 中，Ground Truth 圖是相似矩陣圖的“掩碼”。

圖4 基于ResNet50 網(wǎng)絡(luò)模型的回環(huán)檢測(cè)算法的相似矩陣圖和Ground Truth 圖Fig.4 Schematic diagram of similarity matrix and Ground Truth based on ResNet50 network model

由圖4 中可知，較冷的顏色對(duì)圖像對(duì)的相似程度較小，而較暖的顏色對(duì)圖像對(duì)的相似程度更高。圖4 表明，該方法在檢測(cè)大部分回路方面是可行的，且ResNet50 網(wǎng)絡(luò)優(yōu)于其它網(wǎng)絡(luò)。

2.3 不同算法準(zhǔn)確率-召回率曲線對(duì)比實(shí)驗(yàn)

為評(píng)估算法在回環(huán)檢測(cè)中的性能有效性，將本文改進(jìn)算法與其它算法進(jìn)行準(zhǔn)確率（）和召回率（）計(jì)算，并通過準(zhǔn)確率-召回率曲線進(jìn)行衡量。這里，準(zhǔn)確率是指算法得出的結(jié)果中真陽(yáng)性與結(jié)果中所有回環(huán)的概率；召回率是指結(jié)果中為真陽(yáng)性與檢測(cè)的所有真實(shí)回環(huán)的概率。研究推出的數(shù)學(xué)定義式如下：

其中，表示真陽(yáng)性；表示假陽(yáng)性；表示假陰性。

實(shí)驗(yàn)選用New College 數(shù)據(jù)集，通過將本文算法與經(jīng)典算法FAB-MAP、SDA 以及詞袋模型算法進(jìn)行對(duì)比試驗(yàn)，得出的精度-召回率曲線如圖5 所示。

圖5 不同算法的準(zhǔn)確率-召回率對(duì)比圖Fig.5 Comparison of precision-recall results of different algorithms

由圖5 可知，算法性能和該算法與、軸圍成的面積成正比。本文算法圍成的面積比其它算法都大，驗(yàn)證了本文算法的魯棒性好。其精確值在召回率大于0.55 的情況下，達(dá)到最高水平。隨著軸數(shù)值變大，仍能保持準(zhǔn)確率數(shù)值緩慢下降。本文算法在總體上比另外3 種算法的回環(huán)檢測(cè)效果都要好。

3 結(jié)束語(yǔ)

本文針對(duì)回環(huán)檢測(cè)中存在的一些問題，提出了一種基于ResNet 模型的回環(huán)檢測(cè)算法。首先對(duì)預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型（ResNet50、ResNet101、ResNet152）進(jìn)行性能對(duì)比，其次通過改進(jìn)關(guān)鍵幀的選取策略，將篩選出的關(guān)鍵幀輸入預(yù)先訓(xùn)練好的CNN 模型（ResNet-50），生成高維特征向量，并利用主成分分析（PCA）白化來降低特征向量的維數(shù)。最后，利用相似度矩陣檢測(cè)數(shù)據(jù)集中可能出現(xiàn)的回環(huán)。本文通過對(duì)比實(shí)驗(yàn)結(jié)果可知，ResNet-50 模型相較其它對(duì)比模型性能更好，且本文算法對(duì)回環(huán)檢測(cè)是可行的。然而，在實(shí)時(shí)SLAM 系統(tǒng)中應(yīng)用深度神經(jīng)網(wǎng)絡(luò)仍然存在一定不足，有待下一步的研究解決。