朱懷衛(wèi) 盧煥萍 黃光民 王廣倫 馮國(guó)安

基于圖像識(shí)別的植物物候期自動(dòng)觀測(cè)系統(tǒng)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)

朱懷衛(wèi)1盧煥萍1黃光民2王廣倫2馮國(guó)安2

（1. 廣東省生態(tài)氣象中心 廣東廣州 510641；2. 廣東省農(nóng)業(yè)氣象試驗(yàn)站 廣東佛山 528225）

為解決人工觀測(cè)植物物候期費(fèi)時(shí)費(fèi)力、人手不足的問(wèn)題，文章以珠三角地區(qū)特色果樹(shù)和觀花樹(shù)為觀測(cè)對(duì)象，基于圖像識(shí)別技術(shù)構(gòu)建植物物候期自動(dòng)識(shí)別模型，開(kāi)發(fā)物候期自動(dòng)識(shí)別系統(tǒng)平臺(tái)。系統(tǒng)平臺(tái)可實(shí)時(shí)拍攝采集觀測(cè)植物全物候期視頻和高清圖像信息，具備識(shí)別高清視頻圖像實(shí)時(shí)觀測(cè)、自動(dòng)識(shí)別結(jié)果展示、人工訂正、植物科普信息展示等功能。經(jīng)過(guò)一年半時(shí)間的調(diào)試和功能升級(jí)，目前應(yīng)用平臺(tái)前期設(shè)計(jì)功能基本實(shí)現(xiàn)。該系統(tǒng)自動(dòng)化平臺(tái)的研發(fā)減少觀測(cè)工作量，提升農(nóng)業(yè)氣象服務(wù)水平，具有一定的業(yè)務(wù)應(yīng)用價(jià)值。

物候期；圖像識(shí)別；自動(dòng)觀測(cè)；平臺(tái)設(shè)計(jì)

廣東地區(qū)光照、熱量、降水等農(nóng)業(yè)氣象資源充足[1]，非常適宜花卉和亞熱帶水果生長(zhǎng)。近年來(lái)隨著人民生活水平不斷提高，賞花、摘果等生態(tài)農(nóng)業(yè)旅游形式日益興起，提前預(yù)測(cè)觀賞性花卉開(kāi)花期和瓜果采摘期[2]，對(duì)農(nóng)業(yè)氣象服務(wù)技術(shù)提出了更高的要求[3-4]。目前，我國(guó)農(nóng)業(yè)氣象觀測(cè)中物候觀測(cè)主要依賴(lài)人工，存在費(fèi)時(shí)費(fèi)力，且無(wú)法實(shí)時(shí)連續(xù)觀測(cè)植物物候期生長(zhǎng)全過(guò)程等弊端[5]。因此，對(duì)農(nóng)業(yè)氣象的觀測(cè)方式和服務(wù)方式更迫切地提出了自動(dòng)化、系統(tǒng)化和智能化的要求[6-10]。實(shí)現(xiàn)物候期自動(dòng)化觀測(cè)技術(shù)對(duì)物候模型、植物物候期預(yù)測(cè)技術(shù)研發(fā)至關(guān)重要[5]。

廣東省農(nóng)業(yè)氣象試驗(yàn)站在物候觀測(cè)方面經(jīng)驗(yàn)豐富。1984年1月起，開(kāi)始對(duì)木棉、苦楝、玉蘭3種樹(shù)木以及青蛙、蟾蜍、家燕3種動(dòng)物開(kāi)展物候觀測(cè)，但現(xiàn)有的觀測(cè)對(duì)象無(wú)法滿(mǎn)足當(dāng)前農(nóng)業(yè)氣象觀測(cè)業(yè)務(wù)的需求。因此，基于2019年中國(guó)氣象局應(yīng)急減災(zāi)與公共服務(wù)司審批的廣東省農(nóng)業(yè)氣象試驗(yàn)站“三農(nóng)”服務(wù)專(zhuān)項(xiàng)項(xiàng)目，在農(nóng)試站全站內(nèi)布設(shè)8套高清視頻物候觀測(cè)設(shè)備，針對(duì)荔枝、龍眼、木棉、黃花風(fēng)鈴木等11種廣東特色果樹(shù)和觀花樹(shù)，搭建物候觀測(cè)對(duì)象實(shí)景觀測(cè)站，建設(shè)特色果樹(shù)和觀花樹(shù)木物候觀測(cè)系統(tǒng)，完善農(nóng)業(yè)氣象觀測(cè)體系。

該植物物候觀測(cè)系統(tǒng)首先基于廣州、東莞、茂名等地歷年荔枝、龍眼等全生育期物候期圖像觀測(cè)資料，人工標(biāo)注圖片樣本物候期特征并初步建立樣本數(shù)據(jù)庫(kù)，構(gòu)建物候期識(shí)別模型；其次，布設(shè)高清物候觀測(cè)設(shè)備建設(shè)植物物候?qū)嵕坝^測(cè)站，實(shí)時(shí)觀測(cè)并采集植物實(shí)時(shí)生長(zhǎng)圖片，建立樣本圖片數(shù)據(jù)庫(kù)，對(duì)后期提高植物物候期識(shí)別模型精度及更好地提供農(nóng)業(yè)氣象服務(wù)具有重要的意義。

1 設(shè)計(jì)思路

針對(duì)廣東省農(nóng)業(yè)氣象試驗(yàn)站內(nèi)當(dāng)前的種植樹(shù)種確定觀測(cè)樹(shù)種對(duì)象，采集并分類(lèi)標(biāo)記物候期圖像，建立物候期圖像數(shù)據(jù)庫(kù)。采用在機(jī)器視覺(jué)領(lǐng)域興起的，對(duì)二維圖像識(shí)別具有獨(dú)特優(yōu)勢(shì)的卷積神經(jīng)網(wǎng)絡(luò)，對(duì)采集的物候觀測(cè)圖像進(jìn)行自動(dòng)分類(lèi)識(shí)別，建立基于機(jī)器學(xué)習(xí)的植物種類(lèi)和生長(zhǎng)期自動(dòng)識(shí)別系統(tǒng)。

2 系統(tǒng)模塊設(shè)計(jì)

物候期自動(dòng)觀測(cè)系統(tǒng)各分系統(tǒng)和模塊共由8個(gè)部分組成。分別是：實(shí)景觀測(cè)系統(tǒng)、負(fù)載均衡識(shí)別模型、數(shù)據(jù)清洗模塊、圖像剪裁拆分模塊、圖像識(shí)別模塊、圖像分類(lèi)模塊、周期分析模塊和顯示模塊，具體介紹如下。

（1）實(shí)景觀測(cè)系統(tǒng)：實(shí)時(shí)采集植物每日生長(zhǎng)圖像信息，搭載8臺(tái)高清攝像機(jī)拍攝11種植物，后臺(tái)設(shè)置每臺(tái)攝像機(jī)的角度及時(shí)間，多角度采集多品種植物圖像，初步建立覆蓋11個(gè)樹(shù)種的植物圖像樣本數(shù)據(jù)庫(kù)。

（2）負(fù)載均衡識(shí)別模型：實(shí)時(shí)讀取實(shí)景觀測(cè)系統(tǒng)采集的圖像數(shù)據(jù)，創(chuàng)建識(shí)別進(jìn)程作業(yè)（流程：①創(chuàng)建request識(shí)別接口請(qǐng)求→②建立nginx分配計(jì)算機(jī)制→③依據(jù)植物標(biāo)識(shí)ID遞歸待處理源圖片數(shù)據(jù)→④讀取輸入源數(shù)據(jù)創(chuàng)建識(shí)別進(jìn)程作業(yè)）。

（3）數(shù)據(jù)清洗模塊：判斷植物圖像文件有效性，刪除并清理不具備有效性的樣本圖像。

（4）圖像裁剪拆分模塊：裁剪和拆分植物采集觀測(cè)的圖像。

（5）圖像識(shí)別模塊：該模塊是植物物候期自動(dòng)觀測(cè)系統(tǒng)的核心功能模塊。首先輪詢(xún)獲取圖片，輸入主要物候期識(shí)別模型并識(shí)別圖像物候期特征，輸出特征權(quán)重≥0.5的主要物候期識(shí)別模型識(shí)別結(jié)果。主要物候期識(shí)別模型檢索出的識(shí)別結(jié)果輸入圖像分類(lèi)模塊整合或排序輸出結(jié)果，輸出識(shí)別結(jié)果包含主要物候期識(shí)別模型檢測(cè)目標(biāo)物候期進(jìn)入周期分類(lèi)模塊，并分析判斷植物當(dāng)前物候期，若輸出結(jié)果不包含主要物候期識(shí)別模型的檢測(cè)目標(biāo)物候期，直接回到圖像裁剪模塊，待識(shí)圖像原圖輸入特殊物候期識(shí)別模型，識(shí)別圖像物候期特征。技術(shù)路線如圖1所示。

（6）圖像分類(lèi)模塊：統(tǒng)計(jì)整合并排列物候期識(shí)別模型輸出的物候期特征檢索結(jié)果。

（7）周期分析模塊：判定植物當(dāng)前所處物候期。

（8）顯示模塊：實(shí)時(shí)顯示監(jiān)控植物物候生長(zhǎng)圖像數(shù)據(jù)和物候期自動(dòng)識(shí)別結(jié)果。

圖1 植物物候期圖像識(shí)別技術(shù)路線圖

3 系統(tǒng)界面實(shí)現(xiàn)

開(kāi)發(fā)植物物候期自動(dòng)觀測(cè)系統(tǒng)平臺(tái)用于對(duì)植物物候期自動(dòng)識(shí)別結(jié)果進(jìn)行展示，主要設(shè)計(jì)六大功能界面：系統(tǒng)首頁(yè)、觀測(cè)識(shí)別、訂正記錄、資料歸檔、科普資料、系統(tǒng)設(shè)置。模塊架構(gòu)詳見(jiàn)圖2。同時(shí)具備植物物候自動(dòng)觀測(cè)、物候期自動(dòng)識(shí)別、存儲(chǔ)、訂正、管理、科普等功能。平臺(tái)功能界面具體介紹如下。

圖2 植物物候期自動(dòng)觀測(cè)系統(tǒng)平臺(tái)功能架構(gòu)圖

3.1 系統(tǒng)首頁(yè)

該界面主要用于展示觀測(cè)區(qū)域?qū)崟r(shí)全景，具備720°旋轉(zhuǎn)、放大和縮小功能，且首頁(yè)全景圖上每個(gè)觀測(cè)植物采用定位點(diǎn)圖標(biāo)標(biāo)識(shí)，并在定位點(diǎn)右側(cè)顯示植物名片信息：圖片實(shí)況+植物名稱(chēng)+當(dāng)前生長(zhǎng)周期+下個(gè)物候期預(yù)計(jì)時(shí)間。系統(tǒng)首頁(yè)界面效果圖詳見(jiàn)圖3。

圖3 物候期自動(dòng)觀測(cè)系統(tǒng)首頁(yè)界面效果圖

3.2 觀測(cè)識(shí)別

該界面是植物物候期自動(dòng)觀測(cè)系統(tǒng)核心技術(shù)的展示界面，主要用于顯示植物實(shí)時(shí)或歷史生長(zhǎng)圖像數(shù)據(jù)和物候期識(shí)別結(jié)果信息，識(shí)別結(jié)果信息包括：植物物種名稱(chēng)、當(dāng)前物候生長(zhǎng)期、該物候期生長(zhǎng)特征、時(shí)間跨度、識(shí)別周期等。此外，該模塊可實(shí)現(xiàn)識(shí)別結(jié)果訂正、歷史觀測(cè)圖像及視頻查詢(xún)、植物物候期時(shí)間軸、植物物候期識(shí)別結(jié)果二維碼溯源等展示功能。荔枝和龍眼觀測(cè)識(shí)別界面效果圖詳見(jiàn)圖4。

圖4 物候期自動(dòng)觀測(cè)系統(tǒng)觀測(cè)識(shí)別界面效果圖（荔枝和龍眼果實(shí)成熟期）

3.3 訂正記錄

該界面主要用于管理并記錄觀測(cè)識(shí)別模塊中植物物候期識(shí)別結(jié)果的人工訂正信息。實(shí)時(shí)切換多種植物圖片通過(guò)查看詳情，顯示訂正記錄識(shí)別結(jié)果和訂正結(jié)果列表信息，包括識(shí)別次數(shù)、識(shí)別時(shí)間、人工訂正次數(shù)、人工訂正時(shí)間等，列表格Excel導(dǎo)出用于統(tǒng)計(jì)植物物候期周年統(tǒng)計(jì)。

3.4 資料歸檔

該界面主要用于存儲(chǔ)歷史觀測(cè)圖片和展示植物觀測(cè)結(jié)果歸檔形成的生長(zhǎng)報(bào)告和觀測(cè)報(bào)告，生長(zhǎng)報(bào)告和觀測(cè)報(bào)告實(shí)現(xiàn)自動(dòng)生成和下載功能。資料歸檔界面效果圖詳見(jiàn)圖5。

圖5 物候期自動(dòng)觀測(cè)系統(tǒng)資料歸檔界面效果圖

3.5 科普資料

該界面主要用于科普?qǐng)D文介紹觀測(cè)植物相關(guān)知識(shí)，包括品種科屬、植物花（果）期、形狀特征、功能用途、地理分布信息等?？破召Y料界面效果見(jiàn)圖6。

3.6 系統(tǒng)設(shè)置

該界面主要用于管理科普資料信息、觀測(cè)區(qū)域全景信息、人員權(quán)限信息、識(shí)別結(jié)果信息等。管理后臺(tái)界面效果見(jiàn)圖7。

圖6 物候期自動(dòng)觀測(cè)系統(tǒng)科普資料界面效果圖

4 結(jié)語(yǔ)

（1）為提高物候觀測(cè)數(shù)據(jù)的質(zhì)量和規(guī)范性，解決物候觀測(cè)中人手不足、效率低、費(fèi)時(shí)費(fèi)力的問(wèn)題，采用卷積神經(jīng)網(wǎng)絡(luò)法自動(dòng)分類(lèi)并識(shí)別采集的物候觀測(cè)二維圖像，建立基于機(jī)器學(xué)習(xí)的植物種類(lèi)和物候期自動(dòng)識(shí)別系統(tǒng)。

（2）本研究植物物候期自動(dòng)觀測(cè)系統(tǒng)平臺(tái)共設(shè)計(jì)六大功能界面：系統(tǒng)首頁(yè)、觀測(cè)識(shí)別、訂正記錄、資料歸檔、科普資料和系統(tǒng)設(shè)置。

（3）基于實(shí)時(shí)拍攝的植物圖片，自動(dòng)識(shí)別并輸出植物當(dāng)前物候期結(jié)果是本觀測(cè)系統(tǒng)平臺(tái)設(shè)計(jì)的核心內(nèi)容之一。

（4）后期進(jìn)一步獲取多個(gè)植物物種的周年圖像樣本，人工標(biāo)定圖像中物候期特征，進(jìn)而構(gòu)建多個(gè)物種的物候期自動(dòng)識(shí)別模型及提高模型物候期自動(dòng)識(shí)別結(jié)果的精度，后續(xù)的工作中將更好地改進(jìn)和完善。

（5）目前，廣東省氣象為農(nóng)服務(wù)農(nóng)情調(diào)查業(yè)務(wù)工作，多以傳統(tǒng)人工調(diào)查實(shí)地調(diào)研為主。長(zhǎng)期以來(lái)，人工觀測(cè)在觀測(cè)頻次、記錄方式、觀測(cè)技術(shù)手段、觀測(cè)精度等方面，還無(wú)法滿(mǎn)足數(shù)字農(nóng)情監(jiān)測(cè)以及種植氣象服務(wù)的要求。植物物候期自動(dòng)觀測(cè)系統(tǒng)平臺(tái)核心在于物候期自動(dòng)識(shí)別技術(shù)，該平臺(tái)果樹(shù)（荔枝和龍眼）物候期識(shí)別技術(shù)成熟，具有普遍適用性，適合在全省農(nóng)情調(diào)查物候期觀測(cè)業(yè)務(wù)中推廣。全省多點(diǎn)布置物候高清觀測(cè)攝像機(jī)，一方面可以全天候24 h內(nèi)監(jiān)測(cè)植物長(zhǎng)勢(shì)，實(shí)時(shí)自動(dòng)化識(shí)別出物候期，另一方面助力構(gòu)建全省果樹(shù)（荔枝和龍眼）物候期自動(dòng)化觀測(cè)網(wǎng)絡(luò)體系。

[1] 國(guó)效寧. 廣東省農(nóng)業(yè)氣候資源特點(diǎn)及主要?dú)庀鬄?zāi)害分析[J]. 廣東農(nóng)業(yè)科學(xué), 2013, 40(6): 181-185+237.

[2] 劉俊, 李云云, 劉浩龍, 等. 氣候變化對(duì)成都桃花觀賞旅游的影響與人類(lèi)適應(yīng)行為[J]. 地理研究, 2016, 35(3): 504-512.

[3] 李穎, 陳懷亮. 機(jī)器學(xué)習(xí)技術(shù)在現(xiàn)代農(nóng)業(yè)氣象中的應(yīng)用[J]. 應(yīng)用氣象學(xué)報(bào), 2020, 31(3): 257-266.

[4] 王高芳, 牛永波, 裴克莉, 等. 物聯(lián)網(wǎng)技術(shù)在農(nóng)業(yè)氣象服務(wù)中的應(yīng)用[C]. 第35屆中國(guó)氣象學(xué)會(huì)年會(huì)S14大數(shù)據(jù)、互聯(lián)網(wǎng)、融媒體時(shí)代氣象服務(wù)的創(chuàng)新與變革——第八屆氣象服務(wù)發(fā)展論壇. 北京: 中國(guó)氣象學(xué)會(huì), 2018:3.

[5] 周運(yùn)麗. 果園物候期自動(dòng)觀測(cè)系統(tǒng)初步研究和實(shí)現(xiàn)[J]. 中國(guó)新通信, 2018, 20(22): 136.

[6] 趙曉妮, 張藝博, 姚俊強(qiáng). 錨定目標(biāo)加快推進(jìn)氣象科技創(chuàng)新[N]. 中國(guó)氣象報(bào), 2022-05-25(001).

[7] 余衛(wèi)東, 楊光仙, 張志紅. 我國(guó)農(nóng)業(yè)氣象自動(dòng)化觀測(cè)現(xiàn)狀與展望[J]. 氣象與環(huán)境科學(xué), 2013, 36(2): 66-71.

[8] 阿衣敏·沙依熱特, 卡木塞亞·扎木在, 恰力哈爾·霍賽. 我國(guó)農(nóng)業(yè)氣象自動(dòng)化觀測(cè)現(xiàn)狀與展望[J]. 現(xiàn)代農(nóng)村科技, 2017(9): 85.

[9] 李要中, 劉鈞, 馬尚昌. 基于AM335X的農(nóng)作物氣象自動(dòng)觀測(cè)系統(tǒng)設(shè)計(jì)[J]. 氣象科技, 2017, 45(5): 818-824.

[10] 張雪芬, 農(nóng)業(yè)氣象自動(dòng)化觀測(cè)系統(tǒng)[Z]. 北京: 中國(guó)氣象局氣象探測(cè)中心, 2014-12-18.

Research and Implementation of Automatic Plant-phenological Observation System Based on the Image Recognition

ZHU Huaiwei1LU Huanping1HUANG Guangmin2WANG Guanglun2FENG Guoan2

(1. Guangdong Ecological Meteorology Center, Guangzhou, Guangdong 510641, China; 2. Guangdong Agro-meteorological Experimental Station, Foshan, Guangdong 528225, China)

In order to solve the problem of time-consuming and manpower shortage in observing plant phenophases manually, taking flower-appreciating and fruit trees as the observational object, build automatic recognition models based on the image recognition technology and developed the automatic plant-phenological observation system. The platform captures video and high-definition image information of plants during the total phenology in real-time, had these basic features such as real-time observation, automatic recognition result display, correction of results manually, popular science information display for plants. After a year and a half of debugging and upgrading, the pre-designed functions are now basically implemented. The automatic platform alleviates the daily workload of plant phenology operational observers and improve agricultural meteorological services, which is full of certain business application value.

phenological period; image recognition; automatic observation; platform design

Q948

A

10.12008/j.issn.1009-2196.2022.09.014

2022-04-24；

2022-05-24

廣東省氣象局科學(xué)技術(shù)研究項(xiàng)目青年基金（No.GRMC2020Q06）；廣東省生態(tài)氣象中心科學(xué)技術(shù)研究項(xiàng)目（No.2150400004）。

朱懷衛(wèi)（1992—），女，碩士研究生，中級(jí)工程師，研究方向?yàn)檗r(nóng)業(yè)氣象與氣象應(yīng)用等，Email：zhuhuaiwei214@163.com。

（責(zé)任編輯 龍婭麗）