郭新年 周恒瑞 張國良 柯永斌 蘇 軍 趙正敏

(1.淮陰工學(xué)院江蘇省湖泊環(huán)境遙感技術(shù)工程實驗室， 淮安 223003;2.淮陰工學(xué)院生命科學(xué)與食品工程學(xué)院， 淮安 223003)

0 引言

隨著我國農(nóng)業(yè)技術(shù)的不斷發(fā)展，智慧農(nóng)業(yè)與精準(zhǔn)農(nóng)業(yè)已成為未來發(fā)展趨勢[1-16]。實現(xiàn)智慧農(nóng)業(yè)與精準(zhǔn)農(nóng)業(yè)的前提條件是精準(zhǔn)獲取農(nóng)作物相關(guān)生長信息，主要包括農(nóng)作物生長環(huán)境信息，如氣候、土壤、光照等，農(nóng)作物生長參數(shù)信息，如株高、生長期、長勢等。在精準(zhǔn)獲取農(nóng)作物相關(guān)生長信息的基礎(chǔ)上，才能廣泛地研究相關(guān)信息之間的聯(lián)系，以及實現(xiàn)信息互聯(lián)與精準(zhǔn)的干預(yù)。

在農(nóng)作物生長環(huán)境信息獲取方面，相關(guān)技術(shù)已經(jīng)得到迅速發(fā)展。國內(nèi)外學(xué)者基于傳感器及網(wǎng)絡(luò)構(gòu)建監(jiān)測平臺，開發(fā)了各種采集環(huán)境溫度、濕度、光照等[3-4]相關(guān)信息，土壤水分[5-6]、氮素、磷素、鉀素[7-9]等相關(guān)信息的檢測系統(tǒng)。

在農(nóng)作物生長參數(shù)信息檢測方面也取得了長足發(fā)展[1,10-16]，如外在參數(shù)檢測[10]和生長期識別[11]等。然而在農(nóng)作物株高測量方面，由于測量環(huán)境差異大、農(nóng)作物類型多樣等因素，一直沒有高精度、自動化、適用于地面觀測站的測量方法?，F(xiàn)有株高測量方法主要分為主動式測量方法[12-14]和被動式測量方法[15-17]。主動式測量方法主要利用相關(guān)傳感器主動發(fā)射測量信號，如超聲、紅外等，依靠接收主動測量信號實現(xiàn)測量[12-14]。然而現(xiàn)代測量方法中，基于計算機視覺技術(shù)的被動測量手段，已經(jīng)逐漸成為測量的主要手段，很多學(xué)者也將該技術(shù)應(yīng)用到農(nóng)業(yè)領(lǐng)域[15-17]?，F(xiàn)有文獻表明，在農(nóng)作物的株高視覺測量中，全自動識別農(nóng)作物頂點與底點是實現(xiàn)農(nóng)作物自動化視覺測量的技術(shù)難點。

針對視覺測量作物株高技術(shù)中存在農(nóng)作物頂點和底點難以識別的問題，提出一種基于激光視覺的農(nóng)作物株高測量方法，該方法通過特定步驟的棋盤格標(biāo)定方法，標(biāo)定作物底點平面信息，并通過在農(nóng)作物上主動投射激光，自動識別作物頂點，進而實現(xiàn)自動化實時測量株高參數(shù)的目的。

1 系統(tǒng)建模

圖1 基于激光視覺的農(nóng)作物株高測量系統(tǒng)圖Fig.1 Diagram of crop height measurement system based on laser vision

基于激光視覺的農(nóng)作物株高測量系統(tǒng)如圖1所示，圖中ocxcyczc為相機坐標(biāo)系，ogxgygzg為農(nóng)作物底端點水平面對應(yīng)的地面坐標(biāo)系，農(nóng)作物的株高即為農(nóng)作物在地面坐標(biāo)系的高度。該系統(tǒng)的數(shù)學(xué)模型包括相機模型、光平面方程模型和改進的三角測量模型。

1.1 相機模型

(1)

其中

式中K——相機內(nèi)參數(shù)

fu、fv——圖像u、v方向的尺度因子

s——u、v兩軸向的夾角因子

u0、v0——相機鏡頭光軸與CCD/CMOS平面的交點坐標(biāo)

其中，zc為點P在相機坐標(biāo)系的深度，一般無法通過小孔成像模型直接獲得，所以在小孔成像模型中，圖像坐標(biāo)系的一個點對應(yīng)三維空間中的一條射線。

在凸透鏡成像過程中，鏡頭的變形會導(dǎo)致物點在像平面上成的像偏離理想位置，所以在使用過程中一般采用考慮鏡頭畸變的非線性模型[17]。本系統(tǒng)中相機內(nèi)參數(shù)和畸變參數(shù)共同構(gòu)成相機參數(shù)。

1.2 光平面方程模型

(2)

式(2)即為激光平面方程式。

1.3 改進的三角測量模型

設(shè)P為激光平面上一點，p為其投影到圖像平面上的對應(yīng)點。在原始的三角測量模型中，給定圖像平面上一點p和激光平面方程π，可求解p點在相機坐標(biāo)系的對應(yīng)點P的三維坐標(biāo)值[18-19]。但本測量背景是測量農(nóng)作物株高，要求解農(nóng)作物相對于底端水平面的高度，所以本文提出改進的三角測量模型。

根據(jù)三角測距原理，激光條形成的特征點既滿足小孔成像模型，又滿足光平面方程模型[19]，即

(3)

由此可得激光條打在農(nóng)作物上特征點的深度值zcl。

設(shè)相機的安裝高度為zi，相機光軸與重垂線夾角為θ，參數(shù)zi和θ的余弦值cosθ共同構(gòu)成相機安裝參數(shù)I=(zi,cosθ)。則農(nóng)作物株高為

h=zi-z′ccosθ

(4)

其中

(5)

式中z′c——農(nóng)作物頂點在相機坐標(biāo)系zc軸的值

其中zc0為相機光軸與平行于地面的棋盤格平面的交點在相機坐標(biāo)系zc軸的值，將此位姿下標(biāo)定板坐標(biāo)系定義為世界坐標(biāo)系，zg0為相機光心點在該世界坐標(biāo)系下的z軸坐標(biāo)值。

在基于激光視覺的農(nóng)作物株高測量系統(tǒng)中，相機內(nèi)參數(shù)K、畸變參數(shù)、激光平面方程π和相機安裝參數(shù)I隨著系統(tǒng)安裝完成后即固定，為常量，需預(yù)先標(biāo)定；系統(tǒng)工作時，激光條打在農(nóng)作物上的特征點可通過相應(yīng)圖像處理算法得到，將特征點代入系統(tǒng)模型中運算即可實時測量農(nóng)作物株高參數(shù)。

2 系統(tǒng)標(biāo)定方法

針對該系統(tǒng)測量模型，系統(tǒng)參數(shù)采用對文獻[18]中方法加以改進的標(biāo)定方法。該改進后的標(biāo)定方法中要求至少有一次將棋盤格標(biāo)定板置于農(nóng)作物底端點對應(yīng)水平面的平行平面上，使地面坐標(biāo)系與棋盤格平面坐標(biāo)系平行，以標(biāo)定出相機參數(shù)、相機安裝高度zi和光軸與重垂線夾角參數(shù)cosθ。另將激光條打在棋盤格平面上以標(biāo)定激光平面方程π。

2.1 系統(tǒng)標(biāo)定流程

本系統(tǒng)標(biāo)定包括相機參數(shù)標(biāo)定、相機安裝參數(shù)標(biāo)定和激光平面標(biāo)定，具體標(biāo)定流程如下：

(1)拍攝不同位姿下的棋盤格平面靶標(biāo)圖像和相應(yīng)的打了激光條的圖像，要求至少一次將棋盤格標(biāo)定板置于農(nóng)作物底端點對應(yīng)水平面的平行平面上，且拍攝位姿大于等于3次。

(2)利用不同位姿下的棋盤格靶標(biāo)圖像標(biāo)定相機內(nèi)參數(shù)和畸變參數(shù)，本文使用文獻[18]中標(biāo)定方法，該方法可同時得到每個位姿下相機坐標(biāo)系相對于棋盤格平面坐標(biāo)系的旋轉(zhuǎn)矩陣R、平移向量t和畸變系數(shù)等。

(3)根據(jù)棋盤格平面置于農(nóng)作物底端點對應(yīng)水平面的平行平面上的外參數(shù)等信息，標(biāo)定相機安裝參數(shù)。求解相機原點在世界坐標(biāo)系的坐標(biāo)，得到相機相對于世界坐標(biāo)系的高度zg0；測量世界坐標(biāo)系相對于地面坐標(biāo)系的高度z0，進而求解相機安裝高度參數(shù)zi；求解相機光軸與棋盤格平面交點的z軸值zc0，標(biāo)定相機光軸與重垂線夾角參數(shù)cosθ。

(4)根據(jù)相機參數(shù)和各位姿下的外參數(shù)，以及激光條上特征點的信息，標(biāo)定激光平面方程。通過每個位姿下的外參數(shù)，求解靶標(biāo)平面在相機坐標(biāo)系的平面方程；求解不同位姿下，打在靶標(biāo)平面上的激光條上的點在相機坐標(biāo)系的三維坐標(biāo)；采用最小二乘法擬合激光平面方程。

2.2 相機參數(shù)標(biāo)定

在張氏方法[18]中，將棋盤格平面所在坐標(biāo)系定義為標(biāo)定板坐標(biāo)系，基于平面約束，相機模型變?yōu)?/p>

(6)

(7)

通過分解矩陣H，可求解相機內(nèi)參數(shù)K，相機坐標(biāo)系與標(biāo)定板坐標(biāo)系的外參數(shù)R、t。文獻[18]方法可同時標(biāo)定出鏡頭的徑向畸變參數(shù)k1、k2。

2.3 相機安裝參數(shù)標(biāo)定

(8)

由于地面坐標(biāo)系與世界坐標(biāo)系平行，從世界坐標(biāo)系到地面坐標(biāo)系之間無旋轉(zhuǎn)，僅有z軸上的平移，即兩坐標(biāo)系僅有高度差，設(shè)為z0，當(dāng)世界坐標(biāo)系與地面坐標(biāo)系重合時，z0=0。由此可以標(biāo)定相機安裝高度信息為

zi=zg0+z0

(9)

該位姿下，相機光軸與棋盤格平面交點的z軸值zc0可通過如下過程求解：標(biāo)定板在世界坐標(biāo)系的表示為π0=(0,0,1,0)，即z=0的平面，將該平面變換到相機坐標(biāo)系，表示為π1=(a0,b0,c0,d0)，即

(10)

由此，可標(biāo)定出相機光軸與重垂線夾角參數(shù)為

(11)

其特殊形式為，將相機豎直安裝，θ=0，zg0=zc0，cosθ=1，此時可直接測出相機距離地面的安裝高度zi，則相機安裝參數(shù)I=(zi,1)。

2.4 激光平面方程標(biāo)定

將每個位姿下的棋盤格平面在相應(yīng)標(biāo)定板坐標(biāo)系的方程πi=(0，0，1，0)通過式(10)變換到相機坐標(biāo)系，對應(yīng)的平面為ωi；激光條在標(biāo)定板上形成的光點滿足相機模型，同時這些光點均滿足ωi平面方程，激光點在相機坐標(biāo)系的坐標(biāo)為

(12)

其中

Xci,j=(xci,j,yci,j,zci,j)

式中Xci,j——第i位姿下激光條上第j點在相機坐標(biāo)系的坐標(biāo)

zci,j——Xci,j的z軸坐標(biāo)值

在每個位姿下，取j(j≥10)個激光條上點的三維坐標(biāo)，經(jīng)過最小二乘法擬合激光平面方程π=(a,b,c,1)。

3 實驗結(jié)果

本實驗基于Canon 700D型相機和領(lǐng)越光電激光器構(gòu)建基于激光視覺的農(nóng)作物株高測量系統(tǒng)。系統(tǒng)實物圖如圖2所示，系統(tǒng)中Canon 700D型相機配IS STM鏡頭，型號為EF-S 18～55 mm f/3.5～5.6，機身CMOS尺寸為5 184像素×3 456像素，機身對焦設(shè)置為手動對焦；功率300 mW的紅光激光器，波長655 nm。實驗采用一次拍照完成后取出采集圖像，用Matlab進行圖像處理及測量。

圖2 系統(tǒng)實物圖Fig.2 Picture of measurement system

3.1 系統(tǒng)參數(shù)標(biāo)定結(jié)果

根據(jù)1.1～1.3節(jié)的測量模型和2.2～2.4節(jié)的參數(shù)標(biāo)定方法，利用3幅及以上帶有激光條的棋盤格圖像，即可標(biāo)定所有系統(tǒng)參數(shù)。實際測試中選取20幅棋盤格圖像標(biāo)定相機內(nèi)參數(shù)和畸變參數(shù)，選用2幅置于農(nóng)作物底端平面上的圖像標(biāo)定相機安裝參數(shù)，并取均值，選取6幅圖像，每幅圖像上選取20個在標(biāo)定板上的激光點標(biāo)定光平面方程參數(shù)。標(biāo)定板置于水平地面上，標(biāo)定板的厚度z0=31.20 mm，激光特征點提取采用灰度重心法[19-20]，圖3為標(biāo)定相機過程中的外參數(shù)可視圖，表1給出了基于激光視覺的農(nóng)作物株高測量系統(tǒng)各參數(shù)的標(biāo)定結(jié)果。

圖3 相機外參數(shù)可視圖Fig.3 Extrinsic parameters visualization of camera

參數(shù)標(biāo)定結(jié)果相機參數(shù)K=7594.285802578.150807595.78371768.8994001é?êêêù?úúúk1=-0.088797 k2=0.50986光平面方程參數(shù)π=(0.0027914,0.0001763,0.00048376,1)相機安裝參數(shù)I=(2919.3688,0.99995)

3.2 激光點三維重建

如圖4所示，本系統(tǒng)使用盆栽模擬農(nóng)作物進行測量，將激光條打在被測盆栽上，提取光條灰度重心點作為特征點，將光條特征點依據(jù)式(3)變換到相機坐標(biāo)系，進行三維重建，激光點在相機坐標(biāo)系的三維點云如圖5所示。

圖4 實測圖Fig.4 Practical measurement picture

圖5 三維點云重建圖Fig.5 Reconstruction of 3D point cloud

3.3 測量結(jié)果

所有激光點云中，取在相機坐標(biāo)系中zc軸坐標(biāo)值最小的N(N≥10)個點，實驗中取10，其均值作為頂點z′c，根據(jù)式(4)可得農(nóng)作物株高h。測量過程中，通過在盆栽底部增加高度模擬農(nóng)作物的生長，進行了一系列的高度測量。如表2所示，直接測量的模擬植株真值范圍為558.00～1 843.30 mm，測量絕對誤差最大為28.30 mm，相對誤差最大為2.17%。

3.4 誤差分析與工程化建議

本系統(tǒng)誤差來源主要包括：①系統(tǒng)模型誤差：在建模過程中，由系統(tǒng)模型引入的誤差。②參數(shù)標(biāo)定誤差：系統(tǒng)參數(shù)標(biāo)定過程中引入的誤差。③圖像處理誤差：圖像處理過程中引入的誤差。

系統(tǒng)模型的誤差主要來源于小孔成像模型[18]，在實際測量中可忽略，參數(shù)標(biāo)定誤差主要來源于圖像處理過程，如標(biāo)定相機參數(shù)時棋盤格角點提取精度不高，光平面方程標(biāo)定過程中激光條中心點提取精度不高等。因此，未來提高系統(tǒng)精度的方法可以從圖像處理角度入手，如研究更高提取精度的激光條中心點提取算法[20]。

表2 株高測量結(jié)果Tab.2 Measurement results of crop height

本系統(tǒng)硬件配置適合在環(huán)境光線較弱，激光點可有效落到被測作物頂點的野外環(huán)境下測量。在實際工程化中，受植物表面對激光的吸收散射及野外環(huán)境光的影響，激光線特征不明顯時，可采用如下方案解決：①在安全前提下增大激光器功率。②選擇早晨或傍晚等環(huán)境光較弱時測量。

針對代表株高的莖尖或葉尖面積非常小的問題，以及作物稀疏的測量場景，可采用多線激光[21]或掃描測量[22]的方法。

4 結(jié)束語

提出了一種基于激光視覺的農(nóng)作物株高測量系統(tǒng)，該系統(tǒng)通過使用主動激光器輔助、特定步驟的棋盤格標(biāo)定，有效解決了一般視覺測量中農(nóng)作物頂點和底點難以識別的問題，可實現(xiàn)自動化測量農(nóng)作物株高參數(shù)的目的，使得株高測量不必依賴于專業(yè)技術(shù)人員，將大大提高測量效率與系統(tǒng)的實用性能。該系統(tǒng)精度高，魯棒性強，具有很高實用價值。

1 LI D, XU L, TAN C, et al. Digitization and visualization of greenhouse tomato plants in indoor environments [J]. Sensors, 2015, 15(2): 4019-4051.

2 MICROBES B. Using depth cameras for biomass estimation—a multi-angle approach [J]. Precision Agriculture, 2015, 15(1): 97-101.

3 楊信廷, 吳滔, 孫傳恒,等. 基于WMSN的農(nóng)作物環(huán)境與長勢遠程監(jiān)測系統(tǒng)[J/OL]. 農(nóng)業(yè)機械學(xué)報, 2013, 44(1): 167-173. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20130132&flag=1&journal_id=jcsam.DOI：10.6041/j.issn.1000-1298.2013.01.032.

YANG Xinting, WU Tao, SUN Chuanheng, et al. Remote monitoring system of crop environment and growing based on WMSN [J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(1): 167-173.(in Chinese)

4 KALOXYLOS A, EIGENMANN R, TEVE F, et al. Farm management systems and the future internet era [J]. Computers and Electronics in Agriculture, 2012, 89: 130-144.

5 LATI R N, FILIN S, EIZENBERG H. Estimating plant growth parameters using an energy minimization-based stereovision model [J]. Computers & Electronics in Agriculture, 2013, 98(7):260-271.

6 RICHTER R. Modelling and monitoring urban built environment via multi-source integrated and fused remote sensing data [J]. International Journal of Image & Data Fusion, 2013, 4(1):2-32.

7 劉秀英, 王力, 宋榮杰, 等. 黃綿土風(fēng)干過程中土壤含水率的光譜預(yù)測[J/OL]. 農(nóng)業(yè)機械學(xué)報, 2015, 46(4): 266-272.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20150439&flag=1&journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2015.04.039.

LIU Xiuying, WANG Li, SONG Rongjie, et al. Prediction of soil moisture content in air-drying loess using spectral data [J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(4): 266-272.(in Chinese)

8 DEBAENE G, NIEDZWIECKI J, PECIO A, et al. Effect of the number of calibration samples on the prediction of several soil properties at the farm-scale [J]. Geoderma, 2014,214-215(2): 114-125.

9 SHAO Y, HE Y. Nitrogen, phosphorus, and potassium prediction in soils, using infrared spectroscopy [J]. Soil Research, 2011, 49(2):166-172.

10 鄭立華, 麥春艷, 廖崴,等. 基于Kinect相機的蘋果樹三維點云配準(zhǔn)[J/OL]. 農(nóng)業(yè)機械學(xué)報, 2016, 47(5): 9-14.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20160502&flag=1&journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2016.05.002.

ZHENG Lihua, MAI Chunyan,LIAO Wei, et al. 3D point cloud registration for apple tree based on Kinect camera [J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(5): 9-14.(in Chinese)

11 YU Z, CAO Z, WU X, et al. Automatic image-based detection technology for two critical growth stages of maize: emergence and three-leaf stage [J]. Agricultural & Forest Meteorology, 2013, 174-175(12):65-84.

12 高巍, 陳進, 李耀明. 農(nóng)作物高度自動測量裝置的研制[J]. 農(nóng)機化研究, 2004,26(4): 114-116.

GAO Wei, CHEN Jin, LI Yaoming. Research of the crop height automatic measuring system [J]. Journal of Agricultural Mechanization Research, 2004,26(4): 114-116.(in Chinese)

13 李霞, 王維新, 宋海堂. 基于超聲波技術(shù)棉株高度自動測量的研究[J]. 農(nóng)機化研究, 2008,30(6):187-189.

LI Xia, WANG Weixin, SONG Haitang. Research of cotton altitude automation measurement based on ultrasonic technology [J]. Journal of Agricultural Mechanization Research, 2008,30(6):187-189.(in Chinese)

14 張邦成, 張玉玲, 王昕, 等. 超聲紅外復(fù)合測距系統(tǒng)設(shè)計[J]. 制造業(yè)自動化, 2011, 33(14): 122-124.

ZHANG Bangcheng, ZHANG Yuling, WANG Xin, et al. Design of ultrasonic infrared distance compound measurement system [J]. Manufacturing Automation, 2011, 33(14): 122-124.(in Chinese)

15 李長纓, 滕光輝, 趙春江,等. 利用計算機視覺技術(shù)實現(xiàn)對溫室植物生長的無損監(jiān)測[J]. 農(nóng)業(yè)工程學(xué)報, 2003, 19(3): 140-143.

LI Changying, TENG Guanghui, ZHAO Chunjiang, et al. Development of non-contact measurement on plant growth in greenhouse using computer vision [J]. Transactions of the CSAE, 2003, 19(3): 140-143.(in Chinese)

16 YU Z, CAO Z, BAI X. Automatic measurement of crops canopy height based on monocular vision [J]. Proceedings of SPIE—the International Society for Optical Engineering, 2011, 8006(2):147-159.

17 蔣普, 耿楠. 基于網(wǎng)絡(luò)攝像機的株高遠程無損測量系統(tǒng)[J]. 農(nóng)機化研究, 2015,37(4): 68-72.

JIANG Pu, GENG Nan. Crop height non-destructive remote measurement based on IP camera [J]. Journal of Agricultural Mechanization Research, 2015,37(4):68-72.(in Chinese)

18 ZHANG Z. A flexible new technique for camera calibration [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000, 22(11):1330-1334.

19 郭新年, 白瑞林, 王秀平, 等. 結(jié)構(gòu)光視覺引導(dǎo)的焊接機器人系統(tǒng)自標(biāo)定技術(shù)[J]. 計算機工程與應(yīng)用, 2014, 50(19):262-266.

GUO Xinnian, BAI Ruilin, WANG Xiuping, et al. Self-calibration technique for structured light vision guided welding robot system [J]. Computer Engineering and Application, 2014, 50(19): 262-266.(in Chinese)

20 劉子騰, 白瑞林, 王秀平. 基于激光視覺的角焊縫圖像特征點提取[J]. 焊接學(xué)報, 2016, 37(2):89-93.

LIU Ziteng, BAI Ruilin, WANG Xiuping. Image feature extraction of fillet weld based on laser vision [J]. Transactions of the China Welding Institution, 2016, 37(2): 89-93.(in Chinese)

21 肖華軍, 侯力, 游云霞. 一種基于圖像融合的多線結(jié)構(gòu)光立體視覺測量方法[J]. 四川大學(xué)學(xué)報:工程科學(xué)版, 2015, 47(3):154-159.

XIAO Huajun, HOU Li, YOU Yunxia. A measurement method of multi-line structured light stereo vision based on image fusion [J]. Journal of Sichuan University: Engineering Science Edition, 2015, 47(3): 154-159.(in Chinese)

22 郭新年, 柯永斌, 王楷, 等. 一種全自動農(nóng)作物株高測量方法及裝置：2017102292830[P]. 2017-04-10.