舒卓，陳立平，陳梅香，張瑞瑞，郭新宇，溫維亮

(1. 西北農(nóng)林科技大學(xué)機(jī)械與電子工程學(xué)院,陜西楊凌,712100;2. 國家農(nóng)業(yè)智能裝備工程技術(shù)研究中心,北京市,100097;3. 國家農(nóng)業(yè)信息化工程技術(shù)研究中心/數(shù)字植物北京市重點(diǎn)實(shí)驗(yàn)室,北京市,100097)

0 引言

美國白蛾Hyphantriacunea(Drury)危害日益嚴(yán)重,是舉世矚目的世界性害蟲,防治工作艱巨。美國白蛾發(fā)生信息的獲取是該蟲發(fā)生預(yù)警和精準(zhǔn)防治的重要前提?；跈C(jī)器視覺獲取害蟲發(fā)生信息是當(dāng)前的研究熱點(diǎn),單一基于二維圖像的害蟲識別算法當(dāng)遇到多種類、多姿態(tài)的害蟲時,由于三維蟲體進(jìn)行二維圖像獲取時造成信息缺失,其識別算法的普適性受到影響,導(dǎo)致害蟲自動識別準(zhǔn)確率不高[1-4]。美國白蛾姿態(tài)多樣,自動識別難度大,因此,開展美國白蛾的三維重建研究,構(gòu)建美國白蛾的數(shù)字三維模型,為美國白蛾識別研究提供重要基礎(chǔ)數(shù)據(jù),對美國白蛾的準(zhǔn)確識別、及時防控具有重大意義[5]。

在昆蟲研究上,三維重建技術(shù)主要應(yīng)用于昆蟲局部器官特征的三維形態(tài)重建,實(shí)現(xiàn)三維形態(tài)模擬,以用于分析其三維形態(tài)結(jié)構(gòu)特點(diǎn)[6-7],而昆蟲全局形態(tài)三維重建處于起步階段。昆蟲局部器官主要采取激光掃描共聚焦顯微鏡(Confocal laser scanning microscope,CLSM)技術(shù)、核磁共振(Magnetic resonance imaging,MRI)技術(shù)、micro-CT、顯微切片與圖像技術(shù)相結(jié)合等進(jìn)行三維重建[8-10]。Chitsaz等[11]研究了基于尼康相機(jī)的蜻蜓翅膀三維重建方法,公開數(shù)據(jù)集有助于對蜻蜓的空氣動力學(xué)和結(jié)構(gòu)進(jìn)行航空分析,研究功能結(jié)構(gòu)的進(jìn)化,以及昆蟲生態(tài)學(xué)的研究。在昆蟲全局形態(tài)三維重建研究方面,Nguyen等[12]研究了基于單反相機(jī)、雙軸轉(zhuǎn)臺以及三維重建軟件構(gòu)建昆蟲真彩色3D模型的方法,主要針對鞘翅目蟲體進(jìn)行三維重建,具有一定的復(fù)雜度,對鱗翅目蛾類害蟲的適用性較低。Lau[13]將一對立體圖像進(jìn)行處理,實(shí)現(xiàn)了鞘翅目害蟲的三維重建。Str?bel等[14]基于DISC3D開展了昆蟲數(shù)字化研究,獲取的圖像可用于生成顏色紋理化3D模型,可為分類學(xué)、系統(tǒng)發(fā)育等基于特質(zhì)的研究開辟新的機(jī)會。胡玉婷等[15]基于Flash軟件設(shè)計(jì)了一套昆蟲三維標(biāo)本制作系統(tǒng)?；贑LSM、MRI、micro-CT等儀器的昆蟲三維重建存在設(shè)備成本高、數(shù)據(jù)量大、數(shù)據(jù)處理耗時長、三維重建效率低等問題?；跈C(jī)器視覺的昆蟲三維重建具有設(shè)備簡單、成本低等特點(diǎn),與立體視覺系統(tǒng)相比較,單目多視覺系統(tǒng)具有設(shè)備小型化、圖像獲取效率高、便攜性等特點(diǎn),單目多視覺三維重建系統(tǒng)在昆蟲三維重建方面具有較強(qiáng)的優(yōu)勢。

本文基于微距相機(jī)與單片機(jī)控制單元研制多視角昆蟲高清圖像樣本采集系統(tǒng),實(shí)現(xiàn)美國白蛾蟲體高質(zhì)量序列圖像自動化獲取。通過運(yùn)動結(jié)構(gòu)恢復(fù)(Structure from motion,SFM)算法和多視角立體視覺(Multiple view stereo,MVS)算法進(jìn)行三維模型重建,實(shí)現(xiàn)基于單目視覺的美國白蛾蟲體三維模型重建,為病蟲害精準(zhǔn)防控識別提供支撐。

1 昆蟲圖像采集系統(tǒng)設(shè)計(jì)

本文研制了一種昆蟲多視角圖像采集系統(tǒng),主要包括計(jì)算機(jī)、單片機(jī)、步進(jìn)電機(jī)及其控制器、微距相機(jī)、光源、圖像采集臺等重要部件,如圖1所示,其中圖像采集臺包括底座、旋轉(zhuǎn)軸、滑軌、可更換背景板及可調(diào)整位置的相機(jī)支架等。

圖1 昆蟲多視角圖像采集系統(tǒng)

微距相機(jī)由工業(yè)相機(jī)加裝微距鏡頭組成,相機(jī)選用MER-2000-5GC-P工業(yè)相機(jī),相機(jī)配備焦距為75 mm的GX-7828-10M的微距鏡頭,微距鏡頭參數(shù)見表1。

表1 相機(jī)與鏡頭技術(shù)參數(shù)Tab. 1 Parameters of camera and lens

昆蟲圖像采集光源選擇科視RL100-75環(huán)形白色無影光源,步進(jìn)電機(jī)及其控制器分別采用42BYG34-401A型步進(jìn)電機(jī)、TB6560型細(xì)分驅(qū)動器,步進(jìn)電機(jī)裝在底座上,主軸與轉(zhuǎn)軸剛性連接。步進(jìn)電機(jī)上安裝帶有針孔的旋轉(zhuǎn)軸,蟲體樣本用昆蟲針固定于旋轉(zhuǎn)軸上,固定在旋轉(zhuǎn)軸上的刻度指針以及底座上相應(yīng)位置的刻度盤用來顯示圖像采集時昆蟲標(biāo)本所處的角度位置,便于查詢序列圖像中每張圖像所處的旋轉(zhuǎn)角。該采集系統(tǒng)工作原理如圖2所示,通過單片機(jī)(意法半導(dǎo)體公司STM32F103RET6)控制步進(jìn)電機(jī)的轉(zhuǎn)動角度及微距相機(jī)的快門開關(guān),完成圖像采集與存儲?；谏鲜鱿到y(tǒng),相機(jī)可以上下、前后移動,以調(diào)整鏡頭與昆蟲的相對位置,實(shí)現(xiàn)不同大小昆蟲樣本的清晰對焦。

圖2 昆蟲多視角圖像采集系統(tǒng)工作原理

美國白蛾成蟲用昆蟲針沿蟲體軀干方向豎直固定。本文制作的美國白蛾樣本如圖3(a)所示,每只美國白蛾采集32張圖片。用1 cm的立方體放置于昆蟲旁,作為昆蟲大小的參照物。采集不同姿態(tài)的美國白蛾成蟲10只,并獲取翅膀肩角到頂角的距離、軀干長度形態(tài)參數(shù),如圖4所示。

(a) 美國白蛾標(biāo)本

圖4 美國白蛾形態(tài)特征

2 三維模型構(gòu)建

基于昆蟲圖像采集系統(tǒng)所獲取美國白蛾高質(zhì)量圖像序列,利用運(yùn)動結(jié)構(gòu)恢復(fù)算法(Structure from motion,SFM)進(jìn)行三維模型的稀疏重建,利用多視角立體視覺算法(Multiple-view stereo,MVS)進(jìn)行三維模型稠密重建,對三維點(diǎn)云模型進(jìn)行網(wǎng)格化、紋理映射、紋理貼圖,實(shí)現(xiàn)美國白蛾蟲體的三維重建。最后,基于美國白蛾形態(tài)學(xué)參數(shù)對重建的三維模型進(jìn)行重建精度評估。

基于美國白蛾蟲體高質(zhì)量圖像序列樣本集,實(shí)現(xiàn)美國白蛾蟲體三維模型的SFM[6]稀疏重建,SFM算法流程如圖5所示。

圖5 SFM算法流程圖

首先利用SIFT(Scale-invariant feature transform,SIFT)算法對圖像樣本集中的每幅美國白蛾圖像進(jìn)行特征點(diǎn)的提取。利用KNN(K-nearest neighbors,KNN)算法[16]對圖像樣本集中兩張美國白蛾圖像進(jìn)行特征點(diǎn)匹配,將匹配對最多的兩幅圖像作為美國白蛾三維重建的初始圖像對;利用隨機(jī)抽樣一致性[17]算法剔除美國白蛾圖像錯誤匹配,并計(jì)算兩幅美國白蛾圖像的基礎(chǔ)矩陣、相機(jī)參數(shù)和本質(zhì)矩陣。再對本質(zhì)矩陣進(jìn)行分解,得出兩個相機(jī)之間的旋轉(zhuǎn)矩陣和平移向量,還有每一對匹配點(diǎn)的坐標(biāo),通過這些已知信息還原匹配點(diǎn)在空間當(dāng)中的坐標(biāo)。

設(shè)x1和x2分別為兩幅圖像中特征點(diǎn)的歸一化坐標(biāo),其關(guān)系如式(1)所示[18]。

s2x2=s1Rx1+t

(1)

式中:R——旋轉(zhuǎn)矩陣;

t——平移向量;

s1、s2——兩個特征點(diǎn)的深度。

(2)

式(2)左側(cè)為0,右側(cè)可以看成s1的一個方程,可以根據(jù)它直接求得s1,接著再求出s2,根據(jù)這兩圖像特征點(diǎn)的深度確定空間坐標(biāo)。最后將三維點(diǎn)三角化并重映射到攝像機(jī)得到二維點(diǎn),計(jì)算與最初二維點(diǎn)之間的距離,說明三角化誤差,并利用光束平差法[19]優(yōu)化相機(jī)參數(shù)信息和三維點(diǎn)云位置信息。

添加第三幅圖像,計(jì)算第三幅圖像與第二幅圖像的匹配點(diǎn),根據(jù)這些匹配點(diǎn)在第三幅圖像中的像素坐標(biāo)計(jì)算其投影矩陣,進(jìn)而得到新的三維點(diǎn)云;將新得到的三維點(diǎn)云與之前的三維點(diǎn)云進(jìn)行融合,并利用光束平差法進(jìn)行優(yōu)化;添加新圖像,重復(fù)上述步驟,循環(huán)迭代;最后利用光束平差法進(jìn)行優(yōu)化調(diào)整,實(shí)現(xiàn)美國白蛾蟲體三維模型稀疏重建。利用聚簇分類技術(shù)(Clustering views for multi-view stereo,CMVS)[20]對圖像進(jìn)行聚簇分類以減少密集匹配的工作量如圖6所示;利用面片重構(gòu)技術(shù)(Patch-based multi-view stereo,PMVS)[21]對分類所提取的圖像聚簇進(jìn)行面片重構(gòu)操作從而得到具有顏色信息的稠密點(diǎn)云模型。

圖6 聚簇分類算法流程

稠密重建后的美國白蛾點(diǎn)云模型可能會存在部分區(qū)域細(xì)節(jié)缺失或重建失敗,所以需要重新添加這個區(qū)域的照片。本文的多視角昆蟲圖像采集系統(tǒng)使得重新添加照片變得更加簡單、快速,添加照片的過程:根據(jù)錯誤相機(jī)的編號或者需要補(bǔ)充點(diǎn)云信息區(qū)域周圍的相機(jī)編號,計(jì)算需要添加圖像中標(biāo)本的位置在采集裝置中對應(yīng)的刻度盤角度,然后控制標(biāo)本準(zhǔn)確、快速地旋轉(zhuǎn)至該角度,通過滑軌調(diào)整相機(jī)與標(biāo)本的拍攝相對位置,采集美國白蛾圖像并將新圖像添加到重建圖像集中進(jìn)行匹配并生成新的點(diǎn)云。根據(jù)匹配結(jié)果和重建效果,不斷地返回添加照片,重復(fù)稀疏重建和稠密重建的步驟,直至新圖像與重建圖像集有良好的匹配效果、重建模型有更完整的點(diǎn)云信息。最后,對稠密點(diǎn)云模型進(jìn)行泊松表面重建[22]實(shí)現(xiàn)網(wǎng)格化,刪除冗余網(wǎng)格,創(chuàng)建UV紋理映射,進(jìn)行紋理投影,得到美國白蛾蟲體的三維模型。

3 結(jié)果與分析

采用SIFT算法進(jìn)行特征點(diǎn)的提取,在對美國白蛾的處理中,共獲得375個匹配對,匹配效果如圖7(a)所示。圖7(b)為使用RANSAC算法消除誤匹配后的結(jié)果,稀疏重建結(jié)果如圖8所示。經(jīng)過孔洞修補(bǔ)和紋理貼圖后,建立高清紋理的美國白蛾蟲體三維模型如圖9所示。

(a) 粗匹配結(jié)果

圖8 美國白蛾稀疏重建結(jié)果

(a) 三維模型正面

為驗(yàn)證本文方法的可行性以及可靠程度,將美國白蛾蟲體實(shí)際測量的形態(tài)參數(shù)數(shù)據(jù)作為參照值,將美國白蛾的單目多視角圖像三維重建模型作為待評估模型。將待評估模型導(dǎo)入MeshLab軟件,測量待評估模型的肩角到頂角的距離、軀干長度,作為待評估值,并用已知參照物進(jìn)行美國白蛾肩角到頂角的距離、軀干長度的計(jì)算。分別計(jì)算待評估值與參照值的絕對誤差、相對誤差、標(biāo)準(zhǔn)誤差、決定系數(shù),以量化參照值和待評估值的吻合程度。

絕對誤差(Absolute error,AE)和相對誤差(Relative error,RE)計(jì)算公式如式(3)、式(4)所示。

AE=Pi-Oi

(3)

RE=|AE|/Oi×100%

(4)

式中:Pi——待評估值;

Oi——參照值。

均方根誤差(Root mean square error,RMSE)是用來衡量待評估值同參照值之間的偏差,其計(jì)算公式如式(5)所示。

(5)

為了進(jìn)一步檢驗(yàn)參照值和待評估值的吻合程度,計(jì)算兩組數(shù)據(jù)的決定系數(shù)R2表示一個隨機(jī)變量與多個隨機(jī)變量關(guān)系的數(shù)字特征,一般可反映出回歸模式回歸分析所得結(jié)果的可靠性。對應(yīng)的表達(dá)式為

(6)

n——參照值或待評估值的比較次數(shù)。

理論上本文的美國白蛾蟲體三維重建方法可推廣于多種昆蟲的三維重建,三維模型可以用于蟲體的樣本擴(kuò)增、種類識別[23]等。本研究測量10只不同姿態(tài)的美國白蛾三維信息,與本文提出方法構(gòu)建的三維信息進(jìn)行對比分析,評價模型精度。總體上,實(shí)際測量的肩角到頂角距離的參照值與待評估值之間相對誤差在0.16%～4.08%之間,平均相對誤差為1.79%,相對誤差小于5%,均方根誤差RMSE為0.266 3 mm2,決定系數(shù)R2為0.957 9,見表2。說明基于多視角圖像三維重建的待評價模型和基于實(shí)際測量的美國白蛾肩角到頂角差距較小。

表2 美國白蛾3D模型肩角到頂角的距離Tab. 2 Distance from the humeral angle to apical angle of H.cunea 3D model

美國白蛾三維模型軀干長度的參照值與待評估值之間的相對誤差范圍為0.38%～2.05%,平均相對誤差為1.27%,相對誤差小于5%,均方根誤差RMSE為0.147 5 mm2,決定系數(shù)R2為0.954 7,見表3。說明基于單目多視角圖像重建的美國白蛾三維模型軀干長度的參照值與待評估值之間的誤差小。

表3 美國白蛾3D模型軀干長度Tab. 3 Torso length of H.cunea 3D model

基于多視角圖像三維重建的美國白蛾待評價模型和基于實(shí)際測量的肩角到頂角的距離、軀干長度形態(tài)參數(shù)數(shù)據(jù)的RE均小于5%,RMSE均在合理范圍內(nèi),R2均大于0.95。結(jié)果表明,待評估值與參照值的吻合程度比較大,本文所重建的三維模型精度的較高。

4 結(jié)論

精準(zhǔn)的害蟲三維構(gòu)建為病蟲害高精度識別提供數(shù)據(jù)基礎(chǔ),能為植保病蟲害高質(zhì)量防控提供支撐。當(dāng)前基于CLSM、MRI、micro-CT等儀器的昆蟲三維重建存在設(shè)備成本高、數(shù)據(jù)處理耗時長、三維重建效率低等問題?；跈C(jī)器視覺的昆蟲三維重建具有設(shè)備簡單、成本低等特點(diǎn)。不同視角昆蟲圖像采集是三維重建的基礎(chǔ),三維模型精度評價是昆蟲高精度三維重建的重要技術(shù)保障。本文構(gòu)建了具有小型化、效率高、便攜性特點(diǎn)的昆蟲圖像獲取系統(tǒng),利用SFM和MVS算法相結(jié)合實(shí)現(xiàn)美國白蛾蟲體的三維重建。

1) 采用單目多視角昆蟲圖像樣本采集系統(tǒng),該系統(tǒng)具有昆蟲樣本精準(zhǔn)旋轉(zhuǎn)、自動觸發(fā)拍照的功能,圖像獲取效率高,費(fèi)用成本低,基于該圖像獲取系統(tǒng)建立了美國白蛾蟲體序列圖像樣本集。

2) 利用SFM與MVS相結(jié)合的方法,實(shí)現(xiàn)了具有高清紋理特征的美國白蛾蟲體三維模型重建?；趩文慷嘁暯菆D像構(gòu)建的美國白蛾三維模型翅膀肩角到頂角的距離、蟲體軀干長度的待評估值與參照值的相對誤差小于5%,決定系數(shù)均大于0.95,兩個模型之間的形態(tài)參數(shù)沒有明顯差異。本文所重建的美國白蛾蟲體三維數(shù)字模型可在深度學(xué)習(xí)中進(jìn)行害蟲樣本擴(kuò)增,構(gòu)建害蟲識別數(shù)據(jù)集,還可用于3D-CNN進(jìn)行害蟲種類識別。

美國白蛾蟲體小,點(diǎn)云修復(fù)難度大。因此,如何更高效地對小型昆蟲進(jìn)行高精度三維重建是以后將要研究的方向。在今后的研究工作中,擬在顏色、紋理的逼真程度上,對美國白蛾蟲體三維模型進(jìn)行客觀、定量的重建效果評估,為植保病蟲害防控識別提供支撐。