王 晨，湯心溢，高思莉

?

基于深度卷積神經(jīng)網(wǎng)絡(luò)的紅外場(chǎng)景理解算法

王 晨1,2,3，湯心溢1,3，高思莉1,3

（1. 中國(guó)科學(xué)院上海技術(shù)物理研究所，上海 200083；2. 中國(guó)科學(xué)院大學(xué)，北京 100049；3. 中國(guó)科學(xué)院紅外探測(cè)與成像技術(shù)重點(diǎn)實(shí)驗(yàn)室，上海 200083）

采用深度學(xué)習(xí)的方法實(shí)現(xiàn)紅外圖像場(chǎng)景語(yǔ)義理解。首先，建立含有4類(lèi)別前景目標(biāo)和1個(gè)類(lèi)別背景的用于語(yǔ)義分割研究的紅外圖像數(shù)據(jù)集。其次，以深度卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，結(jié)合條件隨機(jī)場(chǎng)后處理優(yōu)化模型，搭建端到端的紅外語(yǔ)義分割算法框架并進(jìn)行訓(xùn)練。最后，在可見(jiàn)光和紅外測(cè)試集上對(duì)算法框架的輸出結(jié)果進(jìn)行評(píng)估分析。實(shí)驗(yàn)結(jié)果表明，采用深度學(xué)習(xí)的方法對(duì)紅外圖像進(jìn)行語(yǔ)義分割能實(shí)現(xiàn)圖像的像素級(jí)分類(lèi)，并獲得較高的預(yù)測(cè)精度。從而可以獲得紅外圖像中景物的形狀、種類(lèi)、位置分布等信息，實(shí)現(xiàn)紅外場(chǎng)景的語(yǔ)義理解。

紅外圖像；紅外場(chǎng)景；語(yǔ)義分割；卷積神經(jīng)網(wǎng)絡(luò)

0 引言

圖像語(yǔ)義分割能實(shí)現(xiàn)對(duì)輸入圖像每個(gè)像素進(jìn)行分類(lèi)，是對(duì)圖像中的場(chǎng)景進(jìn)行理解，廣泛應(yīng)用于機(jī)器人視覺(jué)、汽車(chē)輔助駕駛等領(lǐng)域，是現(xiàn)在國(guó)內(nèi)外的研究熱點(diǎn)。隨著深度學(xué)習(xí)算法的不斷發(fā)展，在諸多圖像檢測(cè)和識(shí)別方面取得比傳統(tǒng)算法更高的精確度。采用深度卷積神經(jīng)網(wǎng)絡(luò)，可以實(shí)現(xiàn)端到端的語(yǔ)義信息預(yù)測(cè)，得到圖像像素級(jí)的類(lèi)別標(biāo)簽，并取得了更高的預(yù)測(cè)精度。Jonathan Long在CVPR 2015會(huì)議上提出了全卷積神經(jīng)網(wǎng)絡(luò)（FCN）[1]，首次實(shí)現(xiàn)了端到端的語(yǔ)義分割卷積神經(jīng)網(wǎng)絡(luò)框架，達(dá)到了當(dāng)時(shí)最高的預(yù)測(cè)精度。S. Zheng等人在ICCV2015會(huì)議上，提出CRFasRNN[2]，將后處理conditional random field（CRF）算法表征成可訓(xùn)練的循環(huán)卷積網(wǎng)絡(luò)結(jié)構(gòu)，加入深度語(yǔ)義分割框架，在一個(gè)端到端的網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)語(yǔ)義分割結(jié)果的邊緣進(jìn)一步優(yōu)化，提高了在PASCAL VOC數(shù)據(jù)集上的預(yù)測(cè)精度。ICLR2015會(huì)議上，Liang-Chieh Chen等人將FCN結(jié)構(gòu)進(jìn)一步改進(jìn)，Deeplab[3]框架大幅度減小了框架參數(shù)，提高了訓(xùn)練和預(yù)測(cè)速度，并采用全連接CRF方法對(duì)預(yù)測(cè)圖進(jìn)行后處理優(yōu)化，進(jìn)一步提高了語(yǔ)義分割的精度。Hyeonwoo Noh采用了卷積與反卷積對(duì)稱(chēng)的網(wǎng)絡(luò)結(jié)構(gòu)[4]，并加入基于bounding box的前處理目標(biāo)預(yù)估計(jì)方法，再一次刷新了預(yù)測(cè)精度。PASCALVOC作為目標(biāo)檢測(cè)和語(yǔ)義分割算法研究權(quán)威的競(jìng)賽平臺(tái)，隨著新的算法的提出，預(yù)測(cè)精度一直在刷新。

國(guó)際上對(duì)語(yǔ)義分割方法的研究主要是針對(duì)可見(jiàn)光圖像的。然而，在實(shí)際應(yīng)用中，由于可見(jiàn)光圖像的采集受到光照、天氣等條件影響，具有一定的局限性。紅外圖像作為熱圖像，能在光照條件較差的環(huán)境下彌補(bǔ)可見(jiàn)光成像效果差的不足，同時(shí)，紅外探測(cè)系統(tǒng)在軍事、航天等特定領(lǐng)域也具有廣泛應(yīng)用。因此，對(duì)紅外圖像進(jìn)行場(chǎng)景理解具有重要意義。目前，公開(kāi)發(fā)布的用于場(chǎng)景理解、語(yǔ)義分割算法研究的數(shù)據(jù)集主要是可見(jiàn)光圖像，還沒(méi)有相關(guān)的紅外數(shù)據(jù)集。筆者參考PASCAL VOC和Cityscapes數(shù)據(jù)集的設(shè)計(jì)，建立了用于紅外圖像場(chǎng)景理解研究的數(shù)據(jù)集，并對(duì)紅外圖像的深度卷積神經(jīng)網(wǎng)絡(luò)語(yǔ)義分割算法進(jìn)行研究。在紅外數(shù)據(jù)集上采用深度卷積神經(jīng)網(wǎng)絡(luò)上實(shí)現(xiàn)了紅外圖像的語(yǔ)義分割，實(shí)現(xiàn)了對(duì)場(chǎng)景中景物像素級(jí)的分類(lèi)，并采用交叉驗(yàn)證法對(duì)模型進(jìn)行評(píng)估。證明了基于深度卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)義分割算法框架在紅外圖像場(chǎng)景理解上的可行性和有效性。

1 紅外數(shù)據(jù)集建立

紅外數(shù)據(jù)集采用“初航”紅外探測(cè)器，在室外場(chǎng)景下采集街道場(chǎng)景圖像，并對(duì)包含的4類(lèi)別景物，采用4種固定灰度值進(jìn)行人工標(biāo)注。4類(lèi)別景物包括：人、汽車(chē)、建筑、樹(shù)木，類(lèi)別號(hào)1～4表示（對(duì)每個(gè)類(lèi)別細(xì)分的種類(lèi)不作區(qū)分），1個(gè)背景，類(lèi)別號(hào)0。如圖1所示，為紅外圖像和對(duì)應(yīng)的人工標(biāo)簽圖。

1.1 紅外圖像預(yù)處理算法

原始數(shù)據(jù)為14bit，為了顯示和制作標(biāo)簽圖，采用預(yù)處理算法壓縮成8bit圖像。紅外圖像是景物的熱輻射圖像，圖像的動(dòng)態(tài)范圍較大、噪聲較大，圖像中存在過(guò)亮和過(guò)暗的區(qū)域。采用基于整幅圖像的增強(qiáng)算法，會(huì)受到這些區(qū)域的影響，造成圖像的整體灰度偏暗或偏亮，造成細(xì)節(jié)的模糊。為了更好的顯示紅外圖像，突出目標(biāo)細(xì)節(jié)、抑制噪聲，采用基于局部直方圖增強(qiáng)的壓縮算法能很好地滿(mǎn)足需求。預(yù)處理算法由圖像壓縮和增強(qiáng)算法組成。

步驟1：對(duì)14bit紅外數(shù)據(jù)進(jìn)行直方圖統(tǒng)計(jì)，采用閾值為20，寬度為10的滑動(dòng)窗口對(duì)統(tǒng)計(jì)直方圖進(jìn)行截?cái)?，去除掉連續(xù)10個(gè)灰度值，所含像素個(gè)數(shù)均小于20的灰度范圍，得到像素分布集中的灰度范圍[min,max]。

步驟2：對(duì)紅外圖像進(jìn)行線性映射到[0,255]。映射方程：

步驟3：采用限制對(duì)比度自適應(yīng)直方圖均衡增強(qiáng)算法（CLAHE）[5]對(duì)映射后的圖像進(jìn)行增強(qiáng)處理。得到8bit紅外增強(qiáng)圖像。

圖2為采用基于全局直方圖統(tǒng)計(jì)的圖像壓縮算法和本文算法的處理結(jié)果。相比之下，本文算法能更好地平衡圖像整體的灰度，抑制過(guò)亮和過(guò)暗區(qū)域?qū)θ诛@示的影響，更好地增強(qiáng)了低對(duì)比度區(qū)域的景物細(xì)節(jié)，限制了噪聲的放大，得到細(xì)節(jié)清晰、視覺(jué)效果較好的紅外灰度圖像。

1.2 紅外數(shù)據(jù)集參數(shù)

數(shù)量：1000張

尺寸：640×512

內(nèi)容和格式：14bit原始數(shù)據(jù)“.mat”；8bit紅外圖像“.jpg”；彩色標(biāo)簽圖“.png”；類(lèi)別號(hào)標(biāo)簽圖“.png”。

圖1 紅外數(shù)據(jù)集樣本

Fig.1 Sample of infrared image datasets

圖2 壓縮效果對(duì)比

Fig.2 Comparison of compression results

2 深度卷積神經(jīng)網(wǎng)絡(luò)語(yǔ)義分割框架

2.1 語(yǔ)義分割框架原理

語(yǔ)義分割算法框架主要由深度卷積神經(jīng)網(wǎng)絡(luò)和條件隨機(jī)場(chǎng)模型兩部分構(gòu)成。分別實(shí)現(xiàn)分割預(yù)測(cè)和分割結(jié)果的優(yōu)化處理。語(yǔ)義分割框架是通過(guò)對(duì)傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)框架的修改獲得的。傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)由卷積層、池化層后接全連接層，送入Softmax分類(lèi)器進(jìn)行分類(lèi)。全連接層使得輸出丟失了空間信息。將全連接層看作用覆蓋原有輸入?yún)^(qū)域的卷積核進(jìn)行卷積。可以得到更為緊致的包含空間信息的輸出圖。卷積與池化操作使得得到的特征圖尺寸縮小，為了得到與輸入圖像尺寸相同的預(yù)測(cè)圖，框架引入反卷積層，采用雙線性插值的方法對(duì)特征圖進(jìn)行上采樣操作，可以得到與分類(lèi)器類(lèi)別數(shù)量個(gè)數(shù)相同的預(yù)測(cè)得分圖，通過(guò)取最大操作，得到每個(gè)像素的類(lèi)別評(píng)分最高的預(yù)測(cè)圖。從而實(shí)現(xiàn)圖像的語(yǔ)義分割。如圖3所示，是采用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像語(yǔ)義分割的基本流程。

2.2 初始化模型VGG-16簡(jiǎn)介

VGG-16[6]網(wǎng)絡(luò)在ImageNet ILSVRC-2014競(jìng)賽中在定位和分類(lèi)分別取得第一、二名的成績(jī)。網(wǎng)絡(luò)結(jié)構(gòu)包含16個(gè)可訓(xùn)練參數(shù)層，如表1所示。此網(wǎng)絡(luò)參數(shù)模型是在Imagenet數(shù)據(jù)集上進(jìn)行訓(xùn)練得到的，經(jīng)驗(yàn)證，作為語(yǔ)義分割框架的初始化模型，比AlexNet和GoogleNet取得更高的預(yù)測(cè)精度。

2.3 框架結(jié)構(gòu)改進(jìn)

對(duì)VGG網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn)，在全卷積神經(jīng)網(wǎng)絡(luò)的框架的基礎(chǔ)上，改變網(wǎng)絡(luò)的步長(zhǎng)大小，采用Hole算法改變連接方式，保證感受野的不變，不需要FCN的大尺度擴(kuò)充，正常擴(kuò)充下能得到更為緊致的預(yù)測(cè)圖[3]。將該模型訓(xùn)練成一個(gè)更有效率和有效的緊致特征提取器，實(shí)現(xiàn)圖像語(yǔ)義分割系統(tǒng)?？蚣苤饕隽巳缦赂淖儯?/p>

2.3.1 Hole算法實(shí)現(xiàn)的緊致滑動(dòng)窗特征提取器

同F(xiàn)CN框架一樣將VGG-16網(wǎng)絡(luò)的全卷連接層用卷積層替換，為了解決大步長(zhǎng)32造成的預(yù)測(cè)評(píng)分圖過(guò)于稀疏的問(wèn)題，通過(guò)更改倒數(shù)兩個(gè)池化層的步長(zhǎng)，將步長(zhǎng)減小到8。采用Hole算法，算法原理如圖4，在保證感受野不變的同時(shí)跳過(guò)后兩個(gè)池化層后的下采樣，在其后面卷積層的濾波器像素與像素之間補(bǔ)0，來(lái)增加其長(zhǎng)度。

圖3 語(yǔ)義分割算法流程

表1 VGG-16框架

圖4 hole算法示意圖

2.3.2 框架計(jì)算加速

轉(zhuǎn)換為卷積層的第一個(gè)全連接層，含有尺寸為7×7的濾波器4096個(gè)，減小其濾波器尺寸到4×4（或3×3），減小了網(wǎng)絡(luò)的感受野尺寸。使得第一層全連接層的計(jì)算時(shí)間減小2～3倍。將全連接層的通道數(shù)減半到1024，在保證框架計(jì)算結(jié)果的情況下，進(jìn)一步降低了計(jì)算時(shí)間和內(nèi)存用量。

2.4 全連接條件隨機(jī)場(chǎng)模型

由于語(yǔ)義分割框架采用對(duì)稀疏預(yù)測(cè)圖進(jìn)行上采樣操作得到預(yù)測(cè)圖，景物的邊緣分割比較粗糙，預(yù)測(cè)精度較低。通常，CRF來(lái)平滑粗糙的分割預(yù)測(cè)結(jié)果圖。

模型的能量函數(shù)[7]：

表示像素的標(biāo)簽。一元的勢(shì)能(x)＝－lg(x)，(x)是由DCNN計(jì)算得到的標(biāo)簽概率。對(duì)于圖像中一對(duì)像素，他們的成對(duì)勢(shì)能是：

如果x1x，(x,x)＝1，其余條件，等于0。模型的因子圖是全連接的，因?yàn)閳D像中任意兩個(gè)像素組成像素對(duì)。每一個(gè)m是一個(gè)高斯核，由像素和決定其參數(shù)，參數(shù)m決定權(quán)重。核函數(shù)：

第一個(gè)核表示像素的位置和灰度信息，第二個(gè)核只表示像素的位置信息。超參數(shù)，和決定了高斯核的尺度。接著采用一個(gè)可分解的平均場(chǎng)近似方法，可以將CRF模型中信息的傳輸表示為在特征空間進(jìn)行高斯核卷積操作。能大幅度降低運(yùn)算復(fù)雜度、提升運(yùn)算速度。

3 實(shí)驗(yàn)和評(píng)估

3.1 數(shù)據(jù)集

為了彌補(bǔ)自建數(shù)據(jù)集樣本數(shù)量的不足，采用Cityscapes[8]數(shù)據(jù)集先進(jìn)行預(yù)訓(xùn)練，再用紅外數(shù)據(jù)集進(jìn)行再訓(xùn)練。Cityscapes數(shù)據(jù)集主要用于城市街道場(chǎng)景境的語(yǔ)義理解，數(shù)據(jù)集內(nèi)包含可見(jiàn)光彩色圖像和標(biāo)簽圖，其中訓(xùn)練集2975張，測(cè)試集500張，圖像大小2048×1024。含有景物類(lèi)別30種，包括道路，行人、小汽車(chē)、摩托車(chē)、植物、建筑、天空等。我們提取其中包含的8種景物的2973張圖，將8種景物為4個(gè)大類(lèi)別，人：人、騎行者；汽車(chē)：小汽車(chē)、公交車(chē)、卡車(chē)；建筑：房屋、墻；樹(shù)木：植物。與我們建立的紅外數(shù)據(jù)集相匹配。為了加快訓(xùn)練速度，將數(shù)據(jù)集的圖像轉(zhuǎn)換為灰度圖像，并將原始圖像和標(biāo)簽圖尺寸縮小到1024×512。紅外數(shù)據(jù)集包含1000個(gè)樣本，隨機(jī)抽取800個(gè)作為訓(xùn)練集，其余200個(gè)作為測(cè)試集。

3.2 訓(xùn)練

我們先用VGG-16模型在Cityscapes數(shù)據(jù)集進(jìn)行訓(xùn)練，訓(xùn)練參數(shù)為：分類(lèi)輸出大小5（4類(lèi)別和背景），mini-batch為5，初始化學(xué)習(xí)率0.001，每2000次循環(huán)，學(xué)習(xí)率乘以0.1，向量值0.9，權(quán)值衰減0.0005。訓(xùn)練8000次循環(huán)，得到模型1。然后，將模型1作為初始化模型，在紅外數(shù)據(jù)集進(jìn)行再訓(xùn)練。每4000次學(xué)習(xí)率乘以0.1，其他參數(shù)保持不變，訓(xùn)練8000次、16000次得到模型2，3。紅外圖像訓(xùn)練速度：0.33ms/frame。本實(shí)驗(yàn)在Ubuntu14.04系統(tǒng)上采用Caffe框架實(shí)現(xiàn)，采用CUDA進(jìn)行處理，GPU型號(hào)：NVDIA GM200，內(nèi)存12G。

3.3 評(píng)估

頻率加權(quán)IU：

交叉驗(yàn)證法：由于紅外數(shù)據(jù)集圖像較少，采用5折交叉驗(yàn)證的方法在紅外數(shù)據(jù)集上進(jìn)行訓(xùn)練和驗(yàn)證，增加算法的隨機(jī)性和客觀性。將全部紅外圖像隨機(jī)分成5份，輪流將其中4份作為訓(xùn)練集，1份作為驗(yàn)證集。5次計(jì)算結(jié)果的均值作為對(duì)算法精度的估計(jì)，見(jiàn)表2、表3。

3.4 結(jié)果分析

圖5展示了深度卷積語(yǔ)義分割網(wǎng)絡(luò)對(duì)紅外圖像的處理結(jié)果。從可視化結(jié)果上看，采用該算法框架得到比較理想的預(yù)測(cè)結(jié)果，分割結(jié)果與人工標(biāo)注標(biāo)簽圖比較相近，可以實(shí)現(xiàn)不同類(lèi)別景物的分割和分類(lèi)。在可見(jiàn)光和紅外數(shù)據(jù)集訓(xùn)練8000次循環(huán)的模型1、2，mean IU分別達(dá)到0.670和0.531，見(jiàn)表2。當(dāng)訓(xùn)練循環(huán)次數(shù)達(dá)到16000次，mean IU顯著提高，達(dá)到0.719，見(jiàn)表2。加入CRF優(yōu)化模型，預(yù)測(cè)精度結(jié)果變化不大，部分反而有所下降。但是從可視化結(jié)果看，采用CRF模型進(jìn)行后處理，對(duì)目標(biāo)的邊緣精確度有顯著提升，更接近標(biāo)簽圖，但同時(shí)造成了部分邊緣區(qū)域分割的錯(cuò)誤。目前，在可見(jiàn)光數(shù)據(jù)集Cityscapes上，最好的模型SegModel，達(dá)到的mean IU為0.777，僅作為參照。

表2 預(yù)測(cè)精度對(duì)比

表3 紅外數(shù)據(jù)集各類(lèi)別IU結(jié)果

圖5 語(yǔ)義分割結(jié)果

Fig.5 Semantic segmentation results

存在的問(wèn)題：不同類(lèi)別的景物分割精度存在差異，較大的物體，如汽車(chē)、建筑、樹(shù)木，獲得的分割精度較高，“人”所占空間比例較小，訓(xùn)練不夠充分，預(yù)測(cè)精度較低。IU只有0.556，見(jiàn)表3。因此拉低了平均IU。對(duì)于像“人”這樣的物體，占的像素較少，形態(tài)變化大，預(yù)測(cè)精度低，如何提高此類(lèi)景物的預(yù)測(cè)精度，有待進(jìn)一步研究和解決。CRF優(yōu)化模型在可見(jiàn)光彩色圖像的語(yǔ)義分割實(shí)驗(yàn)中，對(duì)預(yù)測(cè)精度提升明顯。由于紅外圖像是灰度圖像，沒(méi)有顏色信息，邊緣模糊，紋理缺失，采用CRF模型進(jìn)行后處理優(yōu)化邊緣，有一定局限性，后處理算法有待進(jìn)一步改進(jìn)。

4 結(jié)論

為了實(shí)現(xiàn)紅外圖像場(chǎng)景的理解，本文將廣泛用于可見(jiàn)光圖像分析的深度學(xué)習(xí)語(yǔ)義分割算法框架應(yīng)用于紅外圖像。通過(guò)自建紅外數(shù)據(jù)集、在Caffe深度學(xué)習(xí)框架上構(gòu)建基于深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)合條件隨機(jī)場(chǎng)模型構(gòu)建算法框架，在紅外數(shù)據(jù)集上對(duì)算法進(jìn)行驗(yàn)證和評(píng)估。證明了深度學(xué)習(xí)算法在紅外圖像語(yǔ)義分割上的可行性和有效性。對(duì)于輸入的紅外圖像，可以獲得圖像中每個(gè)像素的類(lèi)別標(biāo)簽。進(jìn)而，可以得到圖像場(chǎng)景中景物的類(lèi)別、位置分布、形狀、占有的比例等信息，實(shí)現(xiàn)圖像場(chǎng)景的高級(jí)語(yǔ)義理解。通過(guò)實(shí)驗(yàn)結(jié)果的觀測(cè)和分析，對(duì)于較大的物體，如樹(shù)木、建筑等，語(yǔ)義分割效果較好。一些特征比較復(fù)雜，所占像素較少的景物，如“人”，分割精度比較低。從模型架構(gòu)和訓(xùn)練參數(shù)調(diào)整兩方面進(jìn)行優(yōu)化和改進(jìn)，提高此類(lèi)景物的語(yǔ)義分割精度，并實(shí)現(xiàn)整體平均預(yù)測(cè)準(zhǔn)確度的提高，是我們下一步要解決的問(wèn)題。

[1] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]//, 2015: 1337-1342.

[2] Zheng S, Jayasumana S, Romeraparedes B, et al. Conditional random fields as recurrent neural networks[C]//, 2015:1529-1537.

[3] Chen L C, Papandreou G, Kokkinos I, et al. Semantic image segmentation with deep convolutional nets and fully connected CRFs[J]., 2014(4):357-361.

[4] Noh H, Hong S, Han B. Learning deconvolution network for semantic segmentation[C]//, 2015: 1520-1528.

[5] Pizer S M, Amburn E P, Austin J D, et al. Adaptive Histogram equalization and its variations[J].,,, 1987, 39(3): 355-368.

[6] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[2014] [DB/OL]. arXiv preprint arXiv: 1409.1556.

[7] Kr?henbühl P, Koltun V. Efficient Inference in fully connected CRFs with Gaussian edge potentials[C]//, 2012:109-117.

[8] Cordts M, Omran M, Ramos S, et al. The cityscapes dataset for semantic urban scene understanding[C]//, 2016: 3213-3223.

Infrared Scene Understanding Algorithm Based on Deep Convolutional Neural Network

WANG Chen1,2,3，TANG Xinyi1,3，GAO Sili1,3

(1.,200083,;2.,100049,;3.,,200083,)

We adopt a deep learning method to implement a semantic infrared image scene understanding. First, we build an infrared image dataset for the semantic segmentation research, consisting of four foreground object classes and one background class. Second, we build an end-to-end infrared semantic segmentation framework based on a deep convolutional neural network connected to a conditional random field refined model. Then, we train the model. Finally, we evaluate and analyze the outputs of the algorithm framework from both the visible and infrared datasets. Qualitatively, it is feasible to adopt a deep learning method to classify infrared images on a pixel level, and the predicted accuracy is satisfactory. We can obtain the features, classes, and positions of the objects in an infrared image to understand the infrared scene semantically.

infrared images，infrared scene，semantic segmentation，convolutional neural network

TP391.41

A

1001-8891(2017)08-0728-06

2016-10-06；

2016-10-31.

王晨（1989-），博士研究生，主要研究方向是圖像處理與目標(biāo)識(shí)別。E-mail：ilkame@sina.com。

國(guó)家“十二五”國(guó)防預(yù)研項(xiàng)目，上海物證重點(diǎn)實(shí)驗(yàn)室基金（2011xcwzk04），中國(guó)科學(xué)院青年創(chuàng)新促進(jìn)會(huì)資助（2014216）。