王 梓，畢道明，周頡鑫，孫曉亮，于起峰

(1. 國防科技大學(xué) 空天科學(xué)學(xué)院， 湖南 長(zhǎng)沙 410073；2. 國防科技大學(xué) 圖像測(cè)量與視覺導(dǎo)航湖南省重點(diǎn)實(shí)驗(yàn)室, 湖南 長(zhǎng)沙 410073; 3. 沈陽飛機(jī)設(shè)計(jì)研究所， 遼寧 沈陽 110035)

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺中的基礎(chǔ)問題，在機(jī)器人抓取[1]、遙感圖像處理[2]等領(lǐng)域具有廣泛應(yīng)用?；诰矸e神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN) 的目標(biāo)檢測(cè)算法得益于大規(guī)模高質(zhì)量標(biāo)注的訓(xùn)練數(shù)據(jù)集，取得了當(dāng)前最優(yōu)的檢測(cè)性能。本文關(guān)注變紋理目標(biāo)的可靠檢測(cè)。受工藝加工、應(yīng)用需求、復(fù)雜光照等因素的影響，同一目標(biāo)在紋理上可能存在巨大差異(如圖1所示)，已有基于 CNN 的目標(biāo)檢測(cè)算法傾向于提取目標(biāo)紋理特征，而非目標(biāo)的結(jié)構(gòu)特征。因此，相關(guān)方法不能有效地實(shí)現(xiàn)圖1所示變紋理目標(biāo)的可靠檢測(cè)。

圖1 變紋理目標(biāo)圖像示例Fig.1 Sample images of a texture-varied object

目標(biāo)結(jié)構(gòu)特征是目標(biāo)檢測(cè)中的重要依據(jù)，表征目標(biāo)結(jié)構(gòu)特征的梯度方向直方圖(Histogram of Gradient, HoG)特征[3]已被廣泛應(yīng)用于目標(biāo)檢測(cè)中[4-6]。Aubry等[4]采用HoG特征提取目標(biāo)結(jié)構(gòu)特征，并結(jié)合線性分析(Linear Discriminant Analysis, LDA)方法，在仿真圖像數(shù)據(jù)集上完成目標(biāo)檢測(cè)器的訓(xùn)練，實(shí)現(xiàn)了僅基于目標(biāo)結(jié)構(gòu)特征的可靠目標(biāo)檢測(cè)，對(duì)光照變化、紋理差異等干擾表現(xiàn)出來較強(qiáng)的魯棒性。在文獻(xiàn)[5]的基礎(chǔ)上，Lim等[6]引入目標(biāo)局部結(jié)構(gòu)區(qū)分度評(píng)價(jià)及可變形部件思想，進(jìn)一步提升目標(biāo)檢測(cè)性能。Hariharan等[7]對(duì)HoG特征進(jìn)行改進(jìn)，提出白化方向直方圖(Whitened Histograms of Orientations，WHO)特征，并應(yīng)用于目標(biāo)檢測(cè)中。

深度特征表征方法在特征表示能力上優(yōu)于傳統(tǒng)特征表征方法。因此，基于CNN的目標(biāo)檢測(cè)算法[8-9]取得了明顯優(yōu)于傳統(tǒng)方法的目標(biāo)檢測(cè)性能。但Geirhos等[10]指出，已有基于CNN的目標(biāo)檢測(cè)方法傾向于提取目標(biāo)的紋理特征，而非目標(biāo)的結(jié)構(gòu)特征，限制了已有目標(biāo)檢測(cè)模型的泛化性能，尤其是針對(duì)本文關(guān)注的變紋理目標(biāo)情況。Zaech等[11]通過生成式對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network, GAN)[12]豐富訓(xùn)練數(shù)據(jù)中的紋理類型，有效降低了語義分割模型對(duì)紋理的擬合并成功應(yīng)用于無人駕駛?cè)蝿?wù)中。

相比于紋理特征，目標(biāo)結(jié)構(gòu)特征對(duì)干擾更具有魯棒性，有益于實(shí)現(xiàn)可靠的目標(biāo)檢測(cè)。受文獻(xiàn)[4, 10-11]的啟發(fā)，本文針對(duì)變紋理目標(biāo)的檢測(cè)，提出一種新的基于紋理隨機(jī)化的結(jié)構(gòu)主導(dǎo)目標(biāo)檢測(cè)方法，依據(jù)目標(biāo)三維模型，借助Blender渲染引擎，通過修改目標(biāo)模型紋理貼圖，構(gòu)建紋理隨機(jī)化仿真訓(xùn)練數(shù)據(jù)集，并訓(xùn)練目標(biāo)檢測(cè)器，降低模型對(duì)紋理特征的擬合程度，實(shí)現(xiàn)目標(biāo)結(jié)構(gòu)特征主導(dǎo)的目標(biāo)檢測(cè)。

1 相關(guān)工作

本文借助Blender渲染引擎構(gòu)建紋理隨機(jī)化仿真訓(xùn)練數(shù)據(jù)集，實(shí)現(xiàn)結(jié)構(gòu)主導(dǎo)的變紋理目標(biāo)檢測(cè)。接下來，對(duì)與本文密切相關(guān)的已有工作進(jìn)行簡(jiǎn)要梳理。

1.1 傳統(tǒng)基于結(jié)構(gòu)特征的目標(biāo)檢測(cè)方法

目標(biāo)結(jié)構(gòu)特征被廣泛應(yīng)用于目標(biāo)檢測(cè)，如被大家所熟知的HoG特征。Aubry等[4]以椅子為研究對(duì)象，采用HoG特征及LDA，在仿真圖像數(shù)據(jù)集完成檢測(cè)器訓(xùn)練，依據(jù)目標(biāo)結(jié)構(gòu)特征實(shí)現(xiàn)圖像中椅子目標(biāo)的可靠檢測(cè)，并給出了粗略的位姿估計(jì)結(jié)果，方法對(duì)紋理差異、光照變化等干擾表現(xiàn)出了較強(qiáng)的魯棒性。Lim等[5]同樣采用HoG特征提取目標(biāo)結(jié)構(gòu)特征，引入?yún)^(qū)分度度量，篩選出目標(biāo)模型上區(qū)分度高的結(jié)構(gòu)特征用于分類器的訓(xùn)練，并依據(jù)目標(biāo)不同部位結(jié)構(gòu)特征的幾何約束，剔除誤匹配，提升算法的目標(biāo)檢測(cè)性能。在文獻(xiàn)[6]中，作者進(jìn)一步引入可變形部件處理思想，提升了算法目標(biāo)檢測(cè)的準(zhǔn)確率及效率。為適應(yīng)光照變化等干擾，Hariharan等[7]基于梯度方向信息提出WHO 特征，Choy等[13]進(jìn)一步引入閾值處理，提出NZ(non-zero)-WHO特征，以消除仿真訓(xùn)練圖像中背景區(qū)域帶來的干擾，并采用共軛梯度算法高效求解線性分類器權(quán)值。

1.2 基于形狀和紋理的特征描述

形狀描述子抽取形狀的特征參數(shù)以描述形狀，以實(shí)現(xiàn)形狀檢測(cè)、配準(zhǔn)以及目標(biāo)識(shí)別、檢測(cè)、跟蹤等?；谛螤钸吔缁蛐螤疃祱D像的形狀描述子，將形狀視為基函數(shù)的線性組合，例如Fourier描述子[14]、Chebyshev描述子[15]、Zernike矩[16]等。基于線性組合的形狀描述子表達(dá)了目標(biāo)的整體形狀屬性，缺少對(duì)目標(biāo)空間關(guān)聯(lián)屬性的描述。基于空間關(guān)聯(lián)關(guān)系的形狀描述子充分利用了形狀的局部細(xì)節(jié)信息，但是計(jì)算量較大，且難以重構(gòu)出原始形狀。

紋理是物體表面的內(nèi)在屬性，紋理特征也常被用于目標(biāo)表示中。結(jié)構(gòu)法、統(tǒng)計(jì)法和頻譜分析法是紋理特征提取的主要方法。結(jié)構(gòu)法將紋理視為一系列紋理基元的規(guī)律性排列，主要適用于周期性紋理的提取和分析；統(tǒng)計(jì)法以紋理圖像灰度值空間分布的統(tǒng)計(jì)信息作為紋理特征，例如灰度共生矩陣[17]等；頻譜分析法通過Gabor變換、小波變換等方法，分析紋理圖像的頻譜信息。

基于形狀和紋理的特征描述方法具有一定的特征提取和表達(dá)能力，在手工視覺特征領(lǐng)域具有重要地位。近年來隨著對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)的研究的不斷深入，研究人員發(fā)現(xiàn)卷積網(wǎng)絡(luò)中較低層的卷積類似于邊緣、紋理提取算子，隨著網(wǎng)絡(luò)層數(shù)的不斷增加，捕捉到的語義特征更加抽象、復(fù)雜。因此，使用深度卷積網(wǎng)絡(luò)可以獲得比手工描述子更加豐富的目標(biāo)特征。

1.3 紋理偏移及紋理隨機(jī)化

Wohlhart等[18]針對(duì)基于目標(biāo)三維模型的目標(biāo)檢測(cè)問題，對(duì)比分析了CNN模型提取的深度特征及HoG特征等傳統(tǒng)特征。實(shí)驗(yàn)結(jié)果表明：深度特征的表征能力優(yōu)于HoG特征，取得了更優(yōu)的目標(biāo)性能?；贑NN的目標(biāo)檢測(cè)算法取得了當(dāng)前最優(yōu)的目標(biāo)檢測(cè)性能，相關(guān)算法一般采用端到端的處理流程，內(nèi)部特征提取部分無法獲知，對(duì)于基于CNN的目標(biāo)檢測(cè)模型中特征提取的解釋主要有外觀和紋理兩個(gè)假設(shè)[10]。Geirhos等[10]在ImageNet數(shù)據(jù)集[19]上針對(duì)目標(biāo)檢測(cè)任務(wù)進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果顯示：CNN模型偏重于提取目標(biāo)紋理特征，存在紋理偏移，甚至僅利用紋理特征即可完成目標(biāo)識(shí)別任務(wù)。

紋理偏移嚴(yán)重限制了基于CNN的目標(biāo)檢測(cè)方法的泛化能力，研究人員嘗試通過增加紋理的隨機(jī)性降低模型對(duì)紋理特征的依賴。Tobin等[20]針對(duì)工業(yè)機(jī)器人抓取應(yīng)用中的目標(biāo)檢測(cè)需求，利用目標(biāo)三維模型，借助仿真引擎生成仿真圖像訓(xùn)練數(shù)據(jù)集，在生成數(shù)據(jù)集的過程中，選用1 000種紋理，增加了紋理的隨機(jī)性，顯著提高了模型的泛化能力。Ren等[21]采用相似的處理策略，提升了模型的檢測(cè)率及位姿估計(jì)的精度。Zaech等[11]將紋理隨機(jī)化策略應(yīng)用到無人駕駛場(chǎng)景語義分割中，并在真實(shí)圖像數(shù)據(jù)上取得了滿意的分割結(jié)果。文獻(xiàn)[20-21]針對(duì)機(jī)器人抓取任務(wù)，在仿真圖像生成過程中，采用的紋理貼圖較為簡(jiǎn)單，尚不能滿足復(fù)雜環(huán)境下變紋理目標(biāo)檢測(cè)的需求。本文在文獻(xiàn)[20-21]的基礎(chǔ)上，著眼于僅利用主要結(jié)構(gòu)特征實(shí)現(xiàn)目標(biāo)檢測(cè)，以適應(yīng)目標(biāo)紋理變化的情況，提出更具針對(duì)性的紋理隨機(jī)化方法。

2 方法

提出基于紋理隨機(jī)化的結(jié)構(gòu)主導(dǎo)目標(biāo)檢測(cè)方法，消除紋理偏移，使目標(biāo)檢測(cè)器基于目標(biāo)結(jié)構(gòu)特征實(shí)現(xiàn)變紋理目標(biāo)的可靠檢測(cè)。

2.1 目標(biāo)檢測(cè)模型

采用 Faster RCNN 檢測(cè)器[8-9]作為目標(biāo)檢測(cè)基本框架，如圖2所示。Faster RCNN是第一個(gè)端到端的檢測(cè)器，具有接近實(shí)時(shí)檢測(cè)的性能。其主要組件包括用于提取特征的主干網(wǎng)絡(luò)、用于生成錨框的錨框生成器、用于似物性檢測(cè)的區(qū)域網(wǎng)絡(luò)(Region Proposal Network, RPN)、用于提取特征圖的ROI Align以及對(duì)proposal進(jìn)行分類和回歸的預(yù)測(cè)頭。

在訓(xùn)練時(shí)將每個(gè)視角下的目標(biāo)作為一個(gè)類別，并將視角標(biāo)簽編號(hào)作為分類分支監(jiān)督信號(hào)，在測(cè)試時(shí)，完成輸入圖像中目標(biāo)實(shí)例的檢測(cè)，并輸出對(duì)應(yīng)的視角標(biāo)簽。

2.2 紋理隨機(jī)化仿真數(shù)據(jù)集

為構(gòu)建紋理隨機(jī)化仿真圖像訓(xùn)練數(shù)據(jù)集，利用目標(biāo)的三維模型，借助Blender渲染引擎，通過改變目標(biāo)模型紋理圖像，生成變紋理仿真圖像數(shù)據(jù)集，如圖3所示。圖3(a)中，紋理圖像隨機(jī)選取MS COCO數(shù)據(jù)集[22]中的自然圖像。圖3(b)中，虛擬相機(jī)指向目標(biāo)中心，通過離散采樣方位角α和高度角β得到不同視角下目標(biāo)投影圖像。

將每一視角下的目標(biāo)作為一個(gè)類別，在構(gòu)建仿真圖像數(shù)據(jù)集時(shí)，采用如圖3所示的視角采樣方式，通過離散采樣虛擬相機(jī)的方位角α和高度角β得到不同視角下的目標(biāo)投影圖像。為了仿真目標(biāo)在圖像平面內(nèi)的運(yùn)動(dòng)，隨機(jī)化目標(biāo)模型在相機(jī)坐標(biāo)系下的位置T=[Tx,Ty,Tz]T。除了保存采樣視角作為仿真圖像的類別標(biāo)簽，在仿真圖像渲染過程中，同樣保存每張仿真圖片對(duì)應(yīng)的深度圖，用以生成精確的目標(biāo)包絡(luò)框與目標(biāo)掩膜。

圖2 Faster RCNN 檢測(cè)器結(jié)構(gòu)圖Fig.2 Structure of Faster RCNN detecter

(a) 變紋理渲染(a) Texture-varied rendering (b) 紋理圖像隨機(jī)選自 COCO數(shù)據(jù)集(b) Viewpoint sampling圖3 基于Blender的變紋理模型渲染及視角采樣Fig.3 Blender based texture-varied 3D model rendering and viewpoint sampling

在仿真圖像生成過程中，固定虛擬相機(jī)參數(shù)設(shè)置，每幅仿真圖像中含一個(gè)目標(biāo)。不同于文獻(xiàn)[2, 4]仿真圖像訓(xùn)練數(shù)據(jù)集生成中采用純凈背景的方式，本文對(duì)背景貼圖和光照位置、能量進(jìn)行了隨機(jī)化處理。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)中目標(biāo)模型為 RBOT 數(shù)據(jù)集[23]中的“squirrel”模型，如圖3所示進(jìn)行視角采樣，方位角α和高度角β的采樣范圍分別為 [0°, 360°) 和[11.25°,78.75°]，采樣步長(zhǎng)分別為22.5°及11.25°，共得到96個(gè)視角采樣，對(duì)應(yīng)96個(gè)目標(biāo)類別。從 MS COCO數(shù)據(jù)集中隨機(jī)選擇K張不同的圖片作為目標(biāo)三維模型紋理，每個(gè)視角下得到K張包含不同紋理目標(biāo)的仿真圖像。背景圖像從SUN 數(shù)據(jù)集[24]中隨機(jī)選擇，仿真圖像尺寸為640像素×512像素?；谏鲜鲈O(shè)置完成紋理隨機(jī)化仿真圖像數(shù)據(jù)集生成，記為SK。

為測(cè)試本文方法性能，在仿真及真實(shí)圖像數(shù)據(jù)上進(jìn)行測(cè)試，并給出定量衡量指標(biāo)。在配備4塊 1080Ti GPU 的電腦上完成模型訓(xùn)練，批量大小設(shè)置為12，優(yōu)化器為隨機(jī)梯度下降(Stochastic Gradient Descent, SGD)算法，基礎(chǔ)學(xué)習(xí)率設(shè)為 0.01，迭代次數(shù)設(shè)置為50 000，在20 000和40 000時(shí)以比例因子0.1降低學(xué)習(xí)率，采用線性預(yù)熱策略，其中預(yù)熱長(zhǎng)度為400步，優(yōu)化器的權(quán)重衰減和沖量分別設(shè)為5×10-4和0.9。此外，在訓(xùn)練過程中采用以下數(shù)據(jù)增強(qiáng)方法：①幾何變換包括尺度變換、旋轉(zhuǎn)變換和透視變換；②圖像變換包括高斯模糊、運(yùn)動(dòng)模糊、限制對(duì)比度自適應(yīng)直方圖均衡(Contrast Limited Adaptive Histogram Equalization, CLAHE)、對(duì)比度調(diào)整、RGB值偏移與通道調(diào)換、隨機(jī)遮擋。

3.2 評(píng)價(jià)指標(biāo)

采用平均準(zhǔn)確率(Average Precision, AP)定量衡量檢測(cè)器性能。AP被定義為不同召回率下的平均檢測(cè)精度，通過計(jì)算P-R(precision-recall)曲線下的面積得到AP值越高代表檢測(cè)性能越高。具體方法是，將檢測(cè)器在測(cè)試數(shù)據(jù)集上的所有檢測(cè)框按得分從高到低排序，根據(jù)設(shè)定的交并比(Intersection over Union, IoU)閾值判斷每個(gè)檢測(cè)結(jié)果是否正確，得到P-R曲線，然后計(jì)算P-R曲線下的面積。有多種P-R曲線下面積計(jì)算方法，VOC09[25]將召回率平均分為11等份，每個(gè)召回率下的準(zhǔn)確率為該召回率下的最大值。IoU閾值越高，對(duì)檢測(cè)框的定位要求越高，相應(yīng)的AP值越低。

(1)

(2)

3.3 仿真圖像數(shù)據(jù)實(shí)驗(yàn)

圖4 D1 000模型在上的部分檢測(cè)結(jié)果Fig.4 Partial detection results of D1 000 model on

表1 D1，D1 000在仿真數(shù)據(jù)集上的目標(biāo)檢測(cè)平均準(zhǔn)確率

3.4 真實(shí)圖像數(shù)據(jù)實(shí)驗(yàn)

采用真實(shí)圖像數(shù)據(jù)對(duì)本文方法性能進(jìn)行測(cè)試，目標(biāo)檢測(cè)模型完全基于紋理隨機(jī)化仿真圖像數(shù)據(jù)集訓(xùn)練得到，目標(biāo)實(shí)物依據(jù)目標(biāo)三維模型打印得到，并人工涂繪紋理，與訓(xùn)練數(shù)據(jù)集中紋理存在明顯差異。在紋理隨機(jī)化仿真圖像數(shù)據(jù)集S1 000上完成目標(biāo)檢測(cè)模型的訓(xùn)練，在真實(shí)圖像上進(jìn)行目標(biāo)檢測(cè)。圖6給出了部分目標(biāo)檢測(cè)結(jié)果示例，圖中包含多目標(biāo)、不同紋理、復(fù)雜光照等情況。本文方法實(shí)現(xiàn)了可靠檢測(cè)，有效驗(yàn)證了方法性能。

圖5 D1 000模型在數(shù)據(jù)集上的部分檢測(cè)結(jié)果Fig.5 Partial detection results of D1 000model on

圖6 真實(shí)圖像數(shù)據(jù)目標(biāo)檢測(cè)部分結(jié)果Fig.6 Partial target detection results on real images data

為定量分析紋理隨機(jī)化程度對(duì)目標(biāo)檢測(cè)模型性能的影響，同前述S1及S1 000仿真數(shù)據(jù)集的生成設(shè)置，分別設(shè)置K=1,10,100,1 000，得到對(duì)應(yīng)的仿真圖像數(shù)據(jù)集，每個(gè)仿真圖像數(shù)據(jù)集包含9.6×104張圖像，并以此訓(xùn)練目標(biāo)檢測(cè)模型，對(duì)搜集的417張真實(shí)圖像中的目標(biāo)進(jìn)行檢測(cè)。選擇了3種具有代表性的目標(biāo)檢測(cè)模型，F(xiàn)aster RCNN，SSD[26]和FoveaBox[27]，分別代表兩步檢測(cè)器、一步檢測(cè)器和無錨點(diǎn)檢測(cè)器。在IoU>0.5的設(shè)置下，圖7展示了3種目標(biāo)檢測(cè)模型在不同紋理數(shù)量下的AP得分。首先，隨著紋理數(shù)量的增加，3種檢測(cè)器的得分都得到了提高，說明本文方法可以作為一種有效的數(shù)據(jù)增強(qiáng)方法，提高不同類型的目標(biāo)檢測(cè)器對(duì)紋理隨機(jī)目標(biāo)的檢測(cè)性能；然后，當(dāng)紋理數(shù)量從100增加到1 000時(shí)，可以觀察到3種目標(biāo)檢測(cè)器的AP得分幾乎沒有增長(zhǎng)；最后，對(duì)比3種目標(biāo)檢測(cè)器的得分增幅，可知本文方法對(duì)基于錨點(diǎn)的兩步檢測(cè)器Faster RCNN的提升最大。

圖7 紋理隨機(jī)化程度對(duì)3種目標(biāo)檢測(cè)模型性能的影響Fig.7 Detectors performance increase with the number of unique texture.

仿真圖像及真實(shí)圖像上的測(cè)試結(jié)果驗(yàn)證了本文方法有效實(shí)現(xiàn)了變紋理目標(biāo)的可靠檢測(cè)。但在實(shí)驗(yàn)中也發(fā)現(xiàn)當(dāng)輸入圖像中存在多個(gè)目標(biāo)時(shí)可能會(huì)出現(xiàn)漏檢。另外，在仿真圖像上的檢測(cè)結(jié)果優(yōu)于真實(shí)圖像，如表1及圖7中所示，這是由于仿真圖像與真實(shí)圖像之間存在特性差異，僅使用仿真圖像訓(xùn)練得到的目標(biāo)檢測(cè)模型推廣到真實(shí)圖像上依然存在不足。

4 結(jié)論

本文針對(duì)變紋理目標(biāo)檢測(cè)問題，提出一種新的基于紋理隨機(jī)化的結(jié)構(gòu)主導(dǎo)目標(biāo)檢測(cè)方法，利用目標(biāo)三維模型，借助Blender渲染引擎，得到不同紋理的目標(biāo)渲染，并隨機(jī)化相機(jī)視角、光照等參數(shù)生成紋理隨機(jī)化仿真數(shù)據(jù)集，并以此訓(xùn)練目標(biāo)檢測(cè)器，降低模型對(duì)紋理特征的偏移，實(shí)現(xiàn)結(jié)構(gòu)主導(dǎo)的可靠變紋理目標(biāo)檢測(cè)。仿真及真實(shí)圖像數(shù)據(jù)實(shí)驗(yàn)測(cè)試結(jié)果顯示：本文方法可以有效地減弱網(wǎng)絡(luò)模型對(duì)紋理的偏移，增強(qiáng)模型對(duì)目標(biāo)結(jié)構(gòu)特征的利用，實(shí)現(xiàn)變紋理目標(biāo)的可靠檢測(cè)。

本文方法僅使用紋理隨機(jī)化的仿真圖像數(shù)據(jù)完成目標(biāo)檢測(cè)模型的訓(xùn)練，依然受到仿真圖像與真實(shí)圖像之間差異的影響，在下一步工作中，可考慮引入域適應(yīng)策略，提升該方法在真實(shí)圖像上的性能。此外，可考慮將紋理隨機(jī)化處理思路推廣至基于單幀圖像的目標(biāo)6D位姿估計(jì)中，探索目標(biāo)結(jié)構(gòu)主導(dǎo)的單目6D位姿估計(jì)。