董 軒，周 煒*，劉夢雅

（1.交通運(yùn)輸部公路研究所，北京 100088；2.交通運(yùn)輸部車輛運(yùn)行安全技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京 100088）

隨著經(jīng)濟(jì)的發(fā)展，人們生活水平的提高，汽車的產(chǎn)量和銷量逐年遞增，與此同時(shí)，行車安全對人們生命財(cái)產(chǎn)安全的影響越來越大[1]。由于駕駛員視覺盲區(qū)的存在，極易造成判斷和操作失誤，從而導(dǎo)致吞人卷車、汽車追尾等交通事故頻發(fā)，駕駛員視野盲區(qū)成為獲取汽車周圍環(huán)境信息的最大障礙。尤其是大型客車與貨車，車身周圍存在許多視野盲區(qū)，經(jīng)常發(fā)生車輛起步或泊車時(shí)碾壓視野盲區(qū)內(nèi)行人及非機(jī)動車的事故，特別是公交車、城市物流車輛等在人員密集場所運(yùn)營車輛的此類事故風(fēng)險(xiǎn)尤其嚴(yán)重，大型營運(yùn)車輛車身周圍盲區(qū)面積可達(dá)70 m2[1]。為了解決這些問題，車載環(huán)視系統(tǒng)萌芽并發(fā)展起來，在無人駕駛和汽車電子安全駕駛領(lǐng)域具有廣闊的應(yīng)用前景。車載環(huán)視系統(tǒng)的概念由K.Kato等[2]人于2006年首先提出，并申請了美國專利。車載環(huán)視系統(tǒng)是一種基于機(jī)器視覺的車輛輔助駕駛系統(tǒng)，是利用安裝在車輛四周的廣角攝像頭，通過圖像變換重構(gòu)車輛以及周圍場景的鳥瞰視角圖像，駕駛員可以安全泊車、避開障礙物和消除視覺盲區(qū)，達(dá)到安全行車的目的。

車載環(huán)視拼接相關(guān)技術(shù)研究已經(jīng)逐漸成為國內(nèi)外研究重點(diǎn)[3-6]。相對于圖像拼接方法的研究，目前國內(nèi)外文獻(xiàn)中對拼接圖像質(zhì)量評價(jià)的研究較少。圖像質(zhì)量評價(jià)是比較各種圖像拼接方案性能優(yōu)劣以及優(yōu)化系統(tǒng)參數(shù)的重要手段，因此建立有效的圖像質(zhì)量評價(jià)機(jī)制對評估全景拼接性能具有重要的意義。特別是全景環(huán)視系統(tǒng)的圖像質(zhì)量依賴于圖像的拼接算法，必然會存在重影、損失等情況。本文提出了用軟件檢測360度全景環(huán)視設(shè)備的圖像質(zhì)量，從而判定待檢360度全景環(huán)視設(shè)備成像系統(tǒng)質(zhì)量好壞，為360度全景環(huán)視設(shè)備成像質(zhì)量判斷提供科學(xué)的方法。

1 場景布置

在安裝有360度全景環(huán)視設(shè)備的車輛的周圍布置黑白棋盤格，啟動車輛和360度全景環(huán)視設(shè)備，360度全景環(huán)視設(shè)備拍攝清晰的全景圖像并將融合后的全景拼接圖像發(fā)送至360度全景環(huán)視設(shè)備成像質(zhì)量評估軟件。通過矩陣式光源系統(tǒng)對環(huán)境照度進(jìn)行精確控制，實(shí)現(xiàn)在地面2～3 000 lux的照顧調(diào)節(jié)，試驗(yàn)設(shè)置為1 000 lux進(jìn)行采集，地面照度均勻性Min/Ave＞0.9@Average≈1 000 lux。

黑白棋盤格符合ISO 16505的要求，布置方式：在車輛垂直地面投影外邊緣遠(yuǎn)離車輛方向5～20 cm處，即車輛的前后左右，布置單個(gè)方格尺寸大小30 cm*30 cm的棋盤格，前后左右布置的棋盤格形成方框型，且其排布前后、左右分別對稱。場景布置如圖1所示。

圖1 場景布置圖

2 軟件計(jì)算步驟

車輛360度全景環(huán)視設(shè)備開啟并拍攝清晰全景圖像，并將融合后的全景拼接圖像發(fā)至電腦端軟件；軟件方基于深度學(xué)習(xí)，生成訓(xùn)練數(shù)據(jù)集合和測試數(shù)據(jù)集，構(gòu)建YOLOV3網(wǎng)絡(luò)；根據(jù)YOLOV3網(wǎng)絡(luò)計(jì)算全景拼接圖像的拼接損失占比、拼接重影占比、拼接錯(cuò)位長度以及拼接縫隙寬度，生成測試報(bào)告，并存儲數(shù)據(jù)。

2.1 生成訓(xùn)練數(shù)據(jù)集和獲取測試數(shù)據(jù)集

獲取360度全景拼接圖像，生成圖像數(shù)據(jù)集，通過獲取的不同環(huán)境、車型和廠商的拼接合成圖像；對每張圖像進(jìn)行標(biāo)注，分別框出圖像中拼接重影，拼接損失，拼接錯(cuò)位、拼接縫隙的位置并標(biāo)注每個(gè)位置的類別；將圖像數(shù)據(jù)集按9∶1劃分為訓(xùn)練集和驗(yàn)證集，獲取測試數(shù)據(jù)集。

2.2 構(gòu)建并訓(xùn)練YOLOV3網(wǎng)絡(luò)模型

將生成訓(xùn)練數(shù)據(jù)集和獲取測試數(shù)據(jù)集作為圖像為輸入，生成一個(gè)YOLOV3網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)模型主要由輸入層、主干特征提取層、特征融合輸出層組成。

輸入層輸入416×416×3大小的圖像。

主干特征提取層由殘差卷積模塊和在殘差卷積模塊間實(shí)現(xiàn)下采樣的卷積模塊組成，用來提取圖像特征。首先，對輸入層輸入的圖像進(jìn)行32通道的卷積，再通過BN歸一化和LeakyReLU激活后得到特征層；卷積計(jì)算公式如下：

其中，xi為第i個(gè)像素值，n為圖像塊的像素點(diǎn)總數(shù)，wi為權(quán)重矩陣第i個(gè)下標(biāo)的值。

BN歸一化函數(shù)如下：

其中，xout為歸一化結(jié)果，γ為縮放因子，u為均值，σ2為方差，β為偏置。

LeakyReLU激活函數(shù)如下：

其中，xi為BN歸一化后的輸出，ai為非零系數(shù)。

然后，對輸入的特征層進(jìn)行卷積核大小為3，步長為2的下采樣，歸一化和激活函數(shù)后，進(jìn)行殘差網(wǎng)絡(luò)的堆疊，殘差網(wǎng)絡(luò)由兩組卷積標(biāo)準(zhǔn)化和激活函數(shù)組成，在前向傳播階段，將輸入的特征層分為2部分，一部分為主干卷積邊，對輸入的特征層進(jìn)行2組卷積標(biāo)準(zhǔn)化和激活操作，再與另一部分殘差邊相加得到殘差堆疊的結(jié)果。將結(jié)果又進(jìn)行卷積核大小為3，步長為2的下采樣，歸一化和激活函數(shù)后，進(jìn)行2次殘差網(wǎng)絡(luò)的堆疊，得到第2次下采樣和殘差堆疊的結(jié)果，從第1次開始分別對上一步結(jié)果進(jìn)行下采樣后進(jìn)行1次、2次、8次、8次、4次殘差堆疊，得到5次下采樣和殘差堆疊的結(jié)果，對后3層的特征層進(jìn)行保存，進(jìn)行下一層的處理。

特征融合層將上一層保存的3個(gè)尺度的特征層構(gòu)建特征金字塔，進(jìn)行分類和回歸預(yù)測。以416×416圖像作為輸入的特征融合層的3個(gè)尺度分別為13×13、26×26和52×52。在每個(gè)尺度內(nèi)，通過卷積核的方式進(jìn)行局部特征交互，完成金字塔特征融合；首先，對13×13特征層的圖像進(jìn)行1×1的卷積調(diào)整通道數(shù)，3×3的卷積進(jìn)行進(jìn)一步的特征提取，再進(jìn)行1×1的卷積調(diào)整通道數(shù)，3×3的卷積進(jìn)行特征提取，以此來減少網(wǎng)絡(luò)的參數(shù)量進(jìn)行特征的提取，接著又通過一個(gè)1×1的卷積對通道數(shù)進(jìn)行調(diào)整，對5次卷積后的結(jié)果又進(jìn)行3×3和1×1的卷積進(jìn)行分類和回歸預(yù)測;然后，對前5次卷積后的結(jié)果進(jìn)行1×1的卷積調(diào)整通道數(shù)后進(jìn)行上采樣操作，與上一層26×26的特征層進(jìn)行堆疊，堆疊結(jié)果進(jìn)行與13×13特征層相同的5次卷積提取特征以及3×3和1×1的卷積進(jìn)行分類和回歸預(yù)測;最后，52×52特征層也進(jìn)行相同操作，最終獲得3個(gè)尺度的回歸預(yù)測結(jié)果。

輸出層對特征融合層輸出的3個(gè)尺度特征圖進(jìn)行分類和位置回歸，通過獲取的3個(gè)預(yù)測結(jié)果進(jìn)行先驗(yàn)框的調(diào)整，獲得最終的預(yù)測框。其中損失函數(shù)如下：

其中，Llocation（l，g）為目標(biāo)邊框定位偏移量損失，Lconfidence（o，c）為目標(biāo)邊框置信度損失，Lclass（O，C）為目標(biāo)邊框分類損失，λ1、λ2、λ3表示平衡系數(shù)。

Lconfidence（o，c）采用二值交叉熵?fù)p失，公式如下：

式中，oi∈{0，1}，表示第i個(gè)預(yù)測框是否存在待檢測目標(biāo)，其中0表示不存在，1表示存在。ci表示第i個(gè)預(yù)測框存在已知目標(biāo)的Sigmoid概率。

Lclass（O，C）采用二值交叉熵?fù)p失，公式如下：

式中，oij∈{0，1}表示第i個(gè)目標(biāo)預(yù)測框是否存在第j類待檢測目標(biāo)，0表示不存在，1表示存在，Cij表示第i個(gè)目標(biāo)預(yù)測框存在第j類目標(biāo)的Sigmoid概率。

Llocation（l，g）采用真實(shí)值與預(yù)測偏差值差的平方和表示，公式如下：

其中，gi為預(yù)測框相對預(yù)設(shè)框坐標(biāo)偏移量，li為預(yù)測矩形框坐標(biāo)偏移量，（bx，by，bw，bh）為預(yù)測框參數(shù)，（cx，cy，pw，ph）為預(yù)設(shè)框參數(shù)，（gx，gy，gw，gh）表示映射在預(yù)測特征圖上真實(shí)目標(biāo)框參數(shù)。

最后，利用數(shù)據(jù)集訓(xùn)練YOLOV3網(wǎng)絡(luò)。

2.3 對YOLOV3網(wǎng)絡(luò)模型進(jìn)行評分

通過軟件指出損失圖像、拼接重影、拼接錯(cuò)位、以及拼接縫隙的位置并進(jìn)行計(jì)算損失占比、重影占比、錯(cuò)位長度以及縫隙寬度。

損失占比計(jì)算公式如下：

其中，l為單個(gè)棋盤格的損失占比，sl為單個(gè)棋盤格損失的面積，sc為棋盤格本身的面積。

重影占比計(jì)算公式如下：

其中，g為單個(gè)棋盤格的損失占比，sg為單個(gè)棋盤格重影面積，sc為棋盤格本身的面積。

錯(cuò)位長度計(jì)算公式如下：

其中，dd為2個(gè)棋盤格的錯(cuò)位距離（單位：cm），dx為2個(gè)棋盤格橫向錯(cuò)位距離，dy為2個(gè)棋盤格縱向錯(cuò)位距離。

縫隙寬度根據(jù)圖像像素距離與實(shí)際距離進(jìn)行縫隙寬度的計(jì)算。

某360度全景環(huán)視設(shè)備拼接圖像結(jié)果分析如圖2所示，該圖像共檢測出46處損失，11處重影和11個(gè)錯(cuò)位的地方，無拼接縫隙。

圖2 某360度全景環(huán)視設(shè)備拼接圖像分析

3 結(jié)束語

通過360度全景環(huán)視拼接圖像質(zhì)量評價(jià)軟件對360度全景環(huán)視設(shè)備的拼接圖像質(zhì)量進(jìn)行評價(jià)。軟件基于深度學(xué)習(xí)，生成訓(xùn)練數(shù)據(jù)集合和測試數(shù)據(jù)集，構(gòu)建YOLOV3網(wǎng)絡(luò)；根據(jù)YOLOV3網(wǎng)絡(luò)計(jì)算全景拼接圖像的拼接損失占比、拼接重影占比、拼接錯(cuò)位長度以及拼接縫隙寬度的結(jié)果表明，360度全景環(huán)視設(shè)備圖像評價(jià)軟件能準(zhǔn)確地判斷拼接圖像的效果，代替繁瑣的、大量的人為統(tǒng)計(jì)評分，并且可以克服單因素評價(jià)指標(biāo)所帶來的局限性，有利于全自動自適應(yīng)圖像拼接系統(tǒng)的實(shí)現(xiàn)，具有非常重要的應(yīng)用價(jià)值。

同時(shí)，該方法可以擴(kuò)展環(huán)視拼接的立體測試內(nèi)容，通過垂直于地面的棋盤格實(shí)現(xiàn)垂直方向的重影、損失等參數(shù)的量化分析，考察行人、車輛從盲區(qū)通過時(shí)候的圖像置信度與駕車風(fēng)險(xiǎn)，后續(xù)工作正在持續(xù)開展中。