李 軒,吳門新,侯英雨,莊立偉,何延波,孫少杰
農(nóng)業(yè)氣象大數(shù)據(jù)共享平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)*
李 軒,吳門新**,侯英雨,莊立偉,何延波,孫少杰
(國(guó)家氣象中心,北京 100081)
為了適應(yīng)現(xiàn)代農(nóng)業(yè)氣象業(yè)務(wù)發(fā)展,增強(qiáng)海量數(shù)據(jù)快速處理、多源數(shù)據(jù)融合智能分析、數(shù)據(jù)挖掘等數(shù)據(jù)分析能力,實(shí)現(xiàn)農(nóng)業(yè)氣象數(shù)據(jù)和產(chǎn)品在全國(guó)范圍內(nèi)的共享,國(guó)家氣象中心采用開(kāi)源框架,分布式(Hadoop)大數(shù)據(jù)技術(shù)和Web架構(gòu),融合現(xiàn)代農(nóng)業(yè)氣象業(yè)務(wù)技術(shù),構(gòu)建B/S(Browser/Server即瀏覽器/服務(wù)器)模式的農(nóng)業(yè)氣象大數(shù)據(jù)共享平臺(tái),實(shí)現(xiàn)多源農(nóng)業(yè)氣象數(shù)據(jù)分布式存儲(chǔ)與管理,同時(shí)提供網(wǎng)絡(luò)端數(shù)據(jù)和業(yè)務(wù)產(chǎn)品可視化展示。共享平臺(tái)于2021年業(yè)務(wù)運(yùn)行,部署在國(guó)家級(jí)服務(wù)器上,為國(guó)家級(jí)和31個(gè)省級(jí)用戶提供13大類200余種數(shù)據(jù)要素和產(chǎn)品的在線快速瀏覽和查詢,實(shí)現(xiàn)國(guó)家?省級(jí)用戶通過(guò)網(wǎng)絡(luò)快速瀏覽、查詢業(yè)務(wù)數(shù)據(jù)和產(chǎn)品,實(shí)現(xiàn)農(nóng)業(yè)氣象業(yè)務(wù)數(shù)據(jù)資源的共享和交匯,形成統(tǒng)一應(yīng)用的農(nóng)業(yè)氣象大數(shù)據(jù)共享環(huán)境。
農(nóng)業(yè)氣象大數(shù)據(jù)共享平臺(tái);B/S模式;分布式存儲(chǔ);數(shù)據(jù)可視化;產(chǎn)品可視化
國(guó)內(nèi)農(nóng)業(yè)氣象業(yè)務(wù)始于1958年,經(jīng)過(guò)60多年的發(fā)展,已成為氣象部門業(yè)務(wù)規(guī)模最大、業(yè)務(wù)技術(shù)最成熟、業(yè)務(wù)體系最規(guī)范的專業(yè)服務(wù)。農(nóng)業(yè)氣象業(yè)務(wù)內(nèi)容涵蓋農(nóng)業(yè)氣象情報(bào)、土壤墑情監(jiān)測(cè)、農(nóng)業(yè)氣象災(zāi)害監(jiān)測(cè)預(yù)報(bào)、農(nóng)用天氣預(yù)報(bào)、國(guó)內(nèi)外作物產(chǎn)量預(yù)報(bào)、植被與草地生態(tài)監(jiān)測(cè)評(píng)估、農(nóng)林病蟲(chóng)害發(fā)生發(fā)展氣象等級(jí)預(yù)報(bào)、春耕春播、秋收秋種等關(guān)鍵農(nóng)時(shí)農(nóng)業(yè)氣象服務(wù)專報(bào)等多方面[1?3]。農(nóng)業(yè)氣象業(yè)務(wù)所涉及的數(shù)據(jù)種類多、內(nèi)容和結(jié)構(gòu)復(fù)雜,科研人員在數(shù)據(jù)管理及業(yè)務(wù)軟件系統(tǒng)方面做了大量研發(fā)。楊太明等[4?9]研發(fā)了省級(jí)農(nóng)業(yè)氣象數(shù)據(jù)庫(kù),但這些數(shù)據(jù)庫(kù)具有明顯的時(shí)域和地域的局限性,只能滿足各自省的農(nóng)業(yè)氣象業(yè)務(wù)需求;早期多個(gè)基于微機(jī)版的農(nóng)業(yè)氣象情報(bào)預(yù)報(bào)業(yè)務(wù)系統(tǒng)具有電報(bào)報(bào)文收?qǐng)?bào)解報(bào)、繪制氣象要素等值線、作物產(chǎn)量預(yù)報(bào)等功能[10?15],這些系統(tǒng)普遍是因業(yè)務(wù)發(fā)展過(guò)程中新增業(yè)務(wù)需求單獨(dú)研發(fā),缺乏統(tǒng)一規(guī)范化規(guī)劃與管理,使農(nóng)業(yè)氣象業(yè)務(wù)在發(fā)展過(guò)程中存在較多模塊小而零散的業(yè)務(wù)系統(tǒng)。2010年國(guó)家氣象中心建設(shè)了基于C/S(Client/Server即客戶端/服務(wù)器端)架構(gòu)的中國(guó)農(nóng)業(yè)氣象業(yè)務(wù)系統(tǒng)(CAgMSS)[16]及基于集中式關(guān)系型數(shù)據(jù)庫(kù)的國(guó)家級(jí)農(nóng)業(yè)氣象數(shù)據(jù)庫(kù)[17],制定統(tǒng)一規(guī)范的農(nóng)業(yè)氣象數(shù)據(jù)標(biāo)準(zhǔn)[18],CAgMSS系統(tǒng)涵蓋農(nóng)業(yè)氣象業(yè)務(wù)范圍,具有農(nóng)業(yè)氣象監(jiān)測(cè)、分析、預(yù)報(bào)和制圖等多種功能,國(guó)家級(jí)和省級(jí)業(yè)務(wù)單位通過(guò)CAgMSS系統(tǒng)獨(dú)立開(kāi)展業(yè)務(wù)工作。
隨著現(xiàn)代農(nóng)業(yè)的多元化發(fā)展及大數(shù)據(jù)、分布式存儲(chǔ)、云計(jì)算、人工智能等信息技術(shù)的快速發(fā)展,農(nóng)業(yè)氣象業(yè)務(wù)的服務(wù)種類越來(lái)越多樣化,服務(wù)的精細(xì)化、精準(zhǔn)化、智能化水平不斷提升,業(yè)務(wù)產(chǎn)品的時(shí)空分辨率顯著提高,從原有周、月、季、年尺度圖形產(chǎn)品發(fā)展到精細(xì)化、格點(diǎn)化日尺度產(chǎn)品。同時(shí),數(shù)據(jù)規(guī)模呈爆發(fā)式增長(zhǎng),從而對(duì)數(shù)據(jù)和產(chǎn)品的海量存儲(chǔ)、快速交互分析、實(shí)時(shí)共享和發(fā)布方面的需求愈加迫切。而目前的CAgMSS系統(tǒng)主要基于氣象觀測(cè)站點(diǎn)數(shù)據(jù)來(lái)設(shè)計(jì),無(wú)法滿足高空間精度、高時(shí)間精度的數(shù)據(jù)存儲(chǔ)和運(yùn)算;由于CAgMSS是基于C/S的架構(gòu),使其在省級(jí)用戶推廣應(yīng)用與系統(tǒng)維護(hù)方面較為困難,需要投入大量人力和財(cái)力進(jìn)行系統(tǒng)培訓(xùn)、設(shè)備與系統(tǒng)維護(hù)?,F(xiàn)有的基于集中式關(guān)系型數(shù)據(jù)庫(kù)在服務(wù)器上過(guò)于集中存儲(chǔ)大量數(shù)據(jù)和數(shù)據(jù)分析功能,占用較多服務(wù)器資源,大量存儲(chǔ)過(guò)程并發(fā)時(shí)對(duì)服務(wù)器造成很大的壓力,存在一定的安全隱患;由于對(duì)外接口受限制,不能跟其他類型的數(shù)據(jù)進(jìn)行交互,在數(shù)據(jù)共享與發(fā)布上存在一定的局限性[19]。同時(shí),國(guó)家級(jí)與省級(jí)、省級(jí)之間的業(yè)務(wù)系統(tǒng)未能實(shí)現(xiàn)有效對(duì)接,國(guó)家?省兩級(jí)用戶在數(shù)據(jù)和產(chǎn)品共享時(shí)存在流程復(fù)雜、多途徑傳輸、效率低等問(wèn)題,導(dǎo)致反復(fù)流轉(zhuǎn)造成網(wǎng)絡(luò)和存儲(chǔ)資源的浪費(fèi),而省級(jí)用戶之間存在實(shí)時(shí)信息共享困難,短時(shí)間內(nèi)不能對(duì)數(shù)據(jù)和業(yè)務(wù)產(chǎn)品進(jìn)行高效訪問(wèn)和應(yīng)用,影響了服務(wù)時(shí)效。
因此,為了適應(yīng)現(xiàn)代農(nóng)業(yè)氣象業(yè)務(wù)發(fā)展,增強(qiáng)海量數(shù)據(jù)快速處理、多源數(shù)據(jù)融合智能分析、數(shù)據(jù)深度挖掘等數(shù)據(jù)分析能力,實(shí)現(xiàn)國(guó)家?省級(jí)農(nóng)業(yè)氣象業(yè)務(wù)互聯(lián)互通和一體化發(fā)展,國(guó)家氣象中心采用開(kāi)源框架,分布式(Hadoop)大數(shù)據(jù)技術(shù)和Web架構(gòu),融合農(nóng)業(yè)氣象業(yè)務(wù)技術(shù),構(gòu)建B/S(Browser/Server即瀏覽器/服務(wù)器)模式的農(nóng)業(yè)氣象大數(shù)據(jù)共享平臺(tái),實(shí)現(xiàn)多源農(nóng)業(yè)氣象數(shù)據(jù)分布式存儲(chǔ)與管理,同時(shí)提供網(wǎng)絡(luò)端的數(shù)據(jù)和業(yè)務(wù)產(chǎn)品的可視化展示,國(guó)家級(jí)和省級(jí)用戶可通過(guò)網(wǎng)絡(luò)快速瀏覽和查詢,為國(guó)家級(jí)、省級(jí)農(nóng)業(yè)氣象業(yè)務(wù)提供高性能、高可靠性的數(shù)據(jù)支撐,推動(dòng)了數(shù)據(jù)資源共享和匯交,形成全國(guó)統(tǒng)一應(yīng)用的農(nóng)業(yè)氣象大數(shù)據(jù)共享環(huán)境。
農(nóng)業(yè)氣象大數(shù)據(jù)共享平臺(tái)總體邏輯結(jié)構(gòu)采用自頂向下、分層設(shè)計(jì)思路,包括數(shù)據(jù)層、基礎(chǔ)層、業(yè)務(wù)層和用戶層(圖1)。數(shù)據(jù)層是整個(gè)框架的基礎(chǔ),為共享平臺(tái)提供多源數(shù)據(jù),包括站點(diǎn)、格點(diǎn)、圖像、文檔等數(shù)據(jù)以及數(shù)據(jù)存儲(chǔ)服務(wù)。基礎(chǔ)層是整個(gè)框架的核心部分,以數(shù)據(jù)訪問(wèn)接口、業(yè)務(wù)訪問(wèn)接口、微服務(wù)框架等基礎(chǔ)組件為基礎(chǔ),依托分布式存儲(chǔ)和數(shù)據(jù)計(jì)算框架,實(shí)現(xiàn)數(shù)據(jù)檢索統(tǒng)計(jì)和深度挖掘,進(jìn)行數(shù)據(jù)關(guān)聯(lián)和變化對(duì)比分析。業(yè)務(wù)層采用可視化基礎(chǔ)組件在瀏覽端對(duì)數(shù)據(jù)和業(yè)務(wù)產(chǎn)品進(jìn)行合理有效的組織,通過(guò)三維圖和表格等形式,向用戶展示所需數(shù)據(jù)和產(chǎn)品。用戶層為面向共享平臺(tái)的直接和間接用戶,主要包括國(guó)家級(jí)、省級(jí)農(nóng)業(yè)氣象業(yè)務(wù)人員,通過(guò)網(wǎng)絡(luò)終端可實(shí)時(shí)獲取業(yè)務(wù)所需的數(shù)據(jù)和產(chǎn)品,為業(yè)務(wù)服務(wù)提供支撐,提高業(yè)務(wù)服務(wù)能力。
圖1 農(nóng)業(yè)氣象大數(shù)據(jù)共享平臺(tái)結(jié)構(gòu)圖
共享平臺(tái)采用B/S架構(gòu),分為瀏覽器端和服務(wù)器端。B/S架構(gòu)在用戶端只需安裝瀏覽器即可,應(yīng)用邏輯集中在服務(wù)器和中間件上,提高了數(shù)據(jù)處理性能。瀏覽器端需要在計(jì)算機(jī)上部署操作系統(tǒng)(Windows XP/7/8/10或Linux/Redhat/CentOS等)以及支持HTML5標(biāo)準(zhǔn)的瀏覽器。采用標(biāo)準(zhǔn)Web架構(gòu),通過(guò)瀏覽器與用戶交戶,瀏覽器是用戶操作共享平臺(tái)的接口,用戶通過(guò)瀏覽器界面向服務(wù)器端提出請(qǐng)求,通過(guò)數(shù)據(jù)接口對(duì)請(qǐng)求進(jìn)行解析、運(yùn)算、分析等處理,并對(duì)返回的結(jié)果進(jìn)行處理和展示。服務(wù)器端采用6臺(tái)高性能Linux服務(wù)器搭建分布式作業(yè)集群,部署操作系統(tǒng)(CentOS7.2)以及Cloudera Manager平臺(tái)、Hadoop分布式組件等,主要提供分布式數(shù)據(jù)存儲(chǔ)和分布式數(shù)據(jù)計(jì)算支撐,以及應(yīng)用系統(tǒng)和網(wǎng)站的基本運(yùn)行。
農(nóng)業(yè)氣象業(yè)務(wù)數(shù)據(jù)來(lái)源主要包括國(guó)家氣象信息中心CIMISS[20?21]、氣象大數(shù)據(jù)云平臺(tái)(天擎)[22]、衛(wèi)星遙感數(shù)據(jù)[23]、國(guó)家氣象中心精細(xì)化預(yù)報(bào)產(chǎn)品[24]等。數(shù)據(jù)涵蓋了基礎(chǔ)氣象、農(nóng)業(yè)氣象觀測(cè)、土壤水分等站點(diǎn)數(shù)據(jù),農(nóng)業(yè)災(zāi)害、作物生長(zhǎng)模擬等格點(diǎn)數(shù)據(jù),以及遙感、作物實(shí)景以及文檔產(chǎn)品數(shù)據(jù)等。共享平臺(tái)的數(shù)據(jù)流程可分為多源數(shù)據(jù)入庫(kù)流程和數(shù)據(jù)服務(wù)流程2大部分(圖2)。數(shù)據(jù)入庫(kù)流程包括全系列數(shù)據(jù)的獲取,根據(jù)各類數(shù)據(jù)特點(diǎn)對(duì)入庫(kù)數(shù)據(jù)進(jìn)行分類、解析整理、質(zhì)量控制等預(yù)處理,得到規(guī)范化數(shù)據(jù),進(jìn)而存儲(chǔ)到分布式數(shù)據(jù)庫(kù)中。數(shù)據(jù)服務(wù)流程包括通過(guò)相關(guān)Web配置接口獲取到菜單樹(shù),用戶在瀏覽器端通過(guò)菜單點(diǎn)擊所需功能,通過(guò)Web服務(wù)的代理接口向數(shù)據(jù)服務(wù)發(fā)送數(shù)據(jù)請(qǐng)求,數(shù)據(jù)服務(wù)快速解析請(qǐng)求信息,利用分布式數(shù)據(jù)分析引擎對(duì)數(shù)據(jù)進(jìn)行快速的邏輯計(jì)算,同時(shí)向Web端返回計(jì)算結(jié)果并進(jìn)行快速發(fā)布和可視化展示。共享平臺(tái)通過(guò)數(shù)據(jù)流程實(shí)現(xiàn)各類農(nóng)業(yè)氣象數(shù)據(jù)和產(chǎn)品的檢索、統(tǒng)計(jì)分析、數(shù)據(jù)挖掘、對(duì)比分析等,最終實(shí)現(xiàn)數(shù)據(jù)和產(chǎn)品的收集、加工、存儲(chǔ)、分析、共享的統(tǒng)一管理。
2.1.1 數(shù)據(jù)分布式存儲(chǔ)
農(nóng)業(yè)氣象數(shù)據(jù)具有類型多樣、多源、時(shí)間序列長(zhǎng)、結(jié)構(gòu)復(fù)雜、海量等特點(diǎn),從存儲(chǔ)角度可分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)兩類,按照數(shù)據(jù)類型采用不同的數(shù)據(jù)庫(kù)分布式存儲(chǔ),能實(shí)現(xiàn)對(duì)數(shù)據(jù)進(jìn)行更好地存儲(chǔ)和管理(圖3)。具體實(shí)現(xiàn)中共享平臺(tái)采用具有管理海量數(shù)據(jù)優(yōu)勢(shì)的Kudu結(jié)構(gòu)化數(shù)據(jù)庫(kù)作為分布式大數(shù)據(jù)的底層存儲(chǔ),并結(jié)合使用功能豐富的MongoDB存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)。
結(jié)構(gòu)化數(shù)據(jù)主要包括基礎(chǔ)氣象數(shù)據(jù)、農(nóng)業(yè)氣象觀測(cè)數(shù)據(jù)、自動(dòng)土壤水分?jǐn)?shù)據(jù)等,擁有以站號(hào)和時(shí)間為序列的結(jié)構(gòu)化特征,包括歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù),現(xiàn)有數(shù)據(jù)量為百GB級(jí)別,共享平臺(tái)設(shè)計(jì)為TB級(jí)別存儲(chǔ),可滿足未來(lái)數(shù)據(jù)增量和業(yè)務(wù)發(fā)展要求。這些結(jié)構(gòu)化數(shù)據(jù)由Kudu數(shù)據(jù)庫(kù)存儲(chǔ),遵循農(nóng)業(yè)氣象數(shù)據(jù)庫(kù)設(shè)計(jì)規(guī)范,對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一的入庫(kù)、管理、查詢和分析等操作,共存儲(chǔ)管理7大類140多種農(nóng)業(yè)氣象要素。
圖2 農(nóng)業(yè)氣象大數(shù)據(jù)共享平臺(tái)數(shù)據(jù)流程圖
圖3 農(nóng)業(yè)氣象大數(shù)據(jù)共享平臺(tái)數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)圖
對(duì)于農(nóng)業(yè)氣象精細(xì)化格點(diǎn)產(chǎn)品、農(nóng)業(yè)作物實(shí)景圖片和視頻、衛(wèi)星遙感數(shù)據(jù)、農(nóng)業(yè)文檔產(chǎn)品等結(jié)構(gòu)不規(guī)則的數(shù)據(jù)則歸屬于非結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)具有數(shù)據(jù)量大、數(shù)據(jù)時(shí)效和精度高以及數(shù)據(jù)類型多樣(柵格、圖像、文本)等特征,由MongoDB數(shù)據(jù)庫(kù)存儲(chǔ),同時(shí)對(duì)數(shù)據(jù)的屬性進(jìn)行統(tǒng)一管理,建立文件索引,方便隨機(jī)快速定位訪問(wèn),目前存儲(chǔ)了6大類60余種農(nóng)業(yè)氣象產(chǎn)品數(shù)據(jù)。
2.1.2 數(shù)據(jù)服務(wù)接口
共享平臺(tái)的數(shù)據(jù)支撐來(lái)自分布式存儲(chǔ)的200余種數(shù)據(jù),不同種類數(shù)據(jù)之間關(guān)聯(lián)性不強(qiáng),對(duì)于開(kāi)發(fā)人員來(lái)說(shuō),數(shù)據(jù)處理會(huì)較為困難,同時(shí)為了網(wǎng)絡(luò)用戶更快速便捷地訪問(wèn)到底層數(shù)據(jù)庫(kù)中的數(shù)據(jù),建立標(biāo)準(zhǔn)化的數(shù)據(jù)服務(wù)接口可以解決這些問(wèn)題。數(shù)據(jù)服務(wù)接口具有無(wú)需詳細(xì)了解數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)內(nèi)部結(jié)構(gòu)和格式,即可快速訪問(wèn),提高訪問(wèn)效率;采用標(biāo)準(zhǔn)化統(tǒng)一規(guī)范,降低了開(kāi)發(fā)的難度;有較強(qiáng)的靈活性,可滿足不同的業(yè)務(wù)需求,能高效、完整、安全轉(zhuǎn)換和傳輸數(shù)據(jù);同時(shí)簡(jiǎn)化服務(wù)器部分,改善其可擴(kuò)展性和不同平臺(tái)上的可移植性等優(yōu)點(diǎn)。
共享平臺(tái)通過(guò)流行的Restful API接口對(duì)外提供數(shù)據(jù)服務(wù)。API(Application Programming Interface,應(yīng)用程序接口)是一組編程接口規(guī)范、客戶端與服務(wù)端通過(guò)請(qǐng)求響應(yīng)進(jìn)行數(shù)據(jù)通信。Restful API(Representation Station Transfer,表述性狀態(tài)轉(zhuǎn)移)是基于Rest思想實(shí)現(xiàn)Web架構(gòu)約束的應(yīng)用程序接口[25],具有輕量級(jí)、跨平臺(tái)、跨語(yǔ)言的風(fēng)格[26?27],是比較流行的互聯(lián)網(wǎng)軟件設(shè)計(jì)規(guī)范。它在設(shè)計(jì)API的路徑時(shí)同一個(gè)資源要使用同一個(gè)地址,通過(guò)不同的請(qǐng)求方式來(lái)表示不同的操作,結(jié)構(gòu)清晰、易于理解、擴(kuò)展方便[28?30]。
共享平臺(tái)從數(shù)據(jù)端的自動(dòng)采集入庫(kù),到數(shù)據(jù)查詢、數(shù)據(jù)分析、業(yè)務(wù)分析,均使用Restful API接口對(duì)外提供數(shù)據(jù)服務(wù),不同模塊之間采用接口相互訪問(wèn),并以標(biāo)準(zhǔn)格式對(duì)數(shù)據(jù)進(jìn)行交換,通過(guò)參數(shù)傳遞方式實(shí)現(xiàn)數(shù)據(jù)的請(qǐng)求訪問(wèn)。業(yè)務(wù)與數(shù)據(jù)通過(guò)接口形成隔離,業(yè)務(wù)層與數(shù)據(jù)層互不干擾,從而在數(shù)據(jù)優(yōu)化時(shí)依然能夠保障數(shù)據(jù)分析服務(wù)的正常工作。實(shí)現(xiàn)數(shù)據(jù)與業(yè)務(wù)分離,降低數(shù)據(jù)與業(yè)務(wù)的耦合度,減少數(shù)據(jù)端對(duì)應(yīng)用端的影響。
共享平臺(tái)包含了各類數(shù)據(jù)入庫(kù)、數(shù)據(jù)管理、數(shù)據(jù)查詢、數(shù)據(jù)分析、數(shù)據(jù)監(jiān)控、業(yè)務(wù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)報(bào)表、元數(shù)據(jù)、輔助功能等模塊,為業(yè)務(wù)提供分析,為服務(wù)提供支撐。如格點(diǎn)數(shù)據(jù)入庫(kù),在檢索到新的格點(diǎn)數(shù)據(jù)文件時(shí),通過(guò)接口的形式發(fā)起數(shù)據(jù)寫(xiě)入請(qǐng)求,服務(wù)端接收到數(shù)據(jù)請(qǐng)求后對(duì)數(shù)據(jù)進(jìn)行解析,提取格點(diǎn)數(shù)據(jù)的數(shù)據(jù)量、數(shù)據(jù)類型、數(shù)據(jù)范圍、坐標(biāo)系等元數(shù)據(jù)信息,將元數(shù)據(jù)信息和數(shù)據(jù)流統(tǒng)一存儲(chǔ)到相關(guān)數(shù)據(jù)庫(kù)。元數(shù)據(jù)接口主要給用戶提供基本數(shù)據(jù)信息服務(wù),包括數(shù)據(jù)的種類、數(shù)據(jù)配置、站點(diǎn)信息、表信息、字段信息等輔助功能信息的數(shù)據(jù)查詢獲取。通過(guò)數(shù)據(jù)分析接口用戶可以對(duì)所需的數(shù)據(jù)要素進(jìn)行累積、平均、天數(shù)統(tǒng)計(jì)、連續(xù)天數(shù)統(tǒng)計(jì)、對(duì)比分析等數(shù)據(jù)分析操作。
2.1.3 精細(xì)化格點(diǎn)產(chǎn)品
農(nóng)業(yè)氣象業(yè)務(wù)的發(fā)展越來(lái)越要求精準(zhǔn)的、高時(shí)空分辨率的產(chǎn)品,以往以站點(diǎn)為主要信息源的產(chǎn)品無(wú)法滿足高空間精度的需求,空間上從站點(diǎn)向精細(xì)化格點(diǎn)發(fā)展,已成為農(nóng)業(yè)氣象業(yè)務(wù)的必然選擇。精準(zhǔn)的農(nóng)業(yè)氣象業(yè)務(wù)基于觀測(cè)數(shù)據(jù)、遙感數(shù)據(jù)、業(yè)務(wù)指標(biāo)數(shù)據(jù)等多數(shù)據(jù)源,結(jié)合精細(xì)化格點(diǎn)預(yù)報(bào)產(chǎn)品和高精度的地形數(shù)據(jù),利用成熟的業(yè)務(wù)技術(shù)模型對(duì)多種信息快速處理分析,生成精細(xì)化格點(diǎn)產(chǎn)品,為業(yè)務(wù)服務(wù)提供客觀的指導(dǎo)產(chǎn)品。
在精細(xì)化格點(diǎn)產(chǎn)品制作流程中(圖4),首先根據(jù)所要完成的業(yè)務(wù),選取相關(guān)的站點(diǎn)觀測(cè)數(shù)據(jù),如作物發(fā)育期、氣象要素、地理范圍等數(shù)據(jù),通過(guò)相關(guān)的算法(如距平、最大/小、天數(shù)等)進(jìn)行數(shù)據(jù)加工處理,隨后對(duì)加工處理后的數(shù)據(jù)進(jìn)行地理空間插值,獲得業(yè)務(wù)模型所需的格點(diǎn)數(shù)據(jù);同時(shí)結(jié)合精細(xì)化格點(diǎn)預(yù)報(bào)數(shù)據(jù)、遙感數(shù)據(jù)以及業(yè)務(wù)指標(biāo)(如干旱、寒露風(fēng)、干熱風(fēng)、連陰雨等指標(biāo))等,通過(guò)相關(guān)業(yè)務(wù)模型的分析處理,最終生成業(yè)務(wù)所需的精細(xì)化格點(diǎn)產(chǎn)品。
2.1.4 可視化產(chǎn)品
數(shù)據(jù)可視化是業(yè)務(wù)服務(wù)的有效手段,通過(guò)地圖、圖形和圖表等多種方式直觀、便捷地為用戶展示各類數(shù)據(jù)和產(chǎn)品。隨著互聯(lián)網(wǎng)、云計(jì)算和智能終端的發(fā)展,用戶的需求越來(lái)越動(dòng)態(tài)化、時(shí)效化和多樣化,傳統(tǒng)的點(diǎn)、線、面等可視化方式已不能滿足這些需求,同時(shí)農(nóng)業(yè)氣象大數(shù)據(jù)具有高時(shí)效性、長(zhǎng)時(shí)序性、格式多樣性、空間尺度大、關(guān)聯(lián)性強(qiáng)等特點(diǎn),迫切需要基于Web端的數(shù)據(jù)可視化技術(shù)。共享平臺(tái)通過(guò)三維可視化和圖表可視化更直觀、便捷地為用戶展示數(shù)據(jù)和產(chǎn)品的時(shí)空信息,其中三維可視化采用Cesium組件,它支持豐富的地圖數(shù)據(jù)服務(wù)(二維地圖(2D)、哥倫布視圖(2.5D)和三維地球(3D))和數(shù)據(jù)格式;圖表可視化采用Echarts組件,它支持種類豐富的統(tǒng)計(jì)圖、交互式強(qiáng),能將數(shù)據(jù)關(guān)鍵信息采用多種形式直觀表達(dá),并可根據(jù)用戶需求選擇性展示數(shù)據(jù)。
共享平臺(tái)利用接口調(diào)取分布式數(shù)據(jù)存儲(chǔ)的站點(diǎn)數(shù)據(jù)、格點(diǎn)數(shù)據(jù)、文檔產(chǎn)品等數(shù)據(jù),利用WebGIS地圖可視化、可視化圖表、色標(biāo)渲染等前端技術(shù)對(duì)數(shù)據(jù)進(jìn)行可視化展示。如站點(diǎn)數(shù)據(jù)可視化通過(guò)調(diào)用數(shù)據(jù)訪問(wèn)接口獲取可視化展示數(shù)據(jù),獲取數(shù)據(jù)后對(duì)數(shù)據(jù)進(jìn)行解析,加工為標(biāo)準(zhǔn)空間可視化格式,通過(guò)獲取色標(biāo)等級(jí)對(duì)數(shù)據(jù)進(jìn)行分級(jí)渲染,并以空間可視化形式進(jìn)行展示;同時(shí)對(duì)數(shù)據(jù)增加時(shí)效切換、色標(biāo)控制等操作,以及進(jìn)行數(shù)據(jù)的圖表制作(圖5)。Web端的用戶切換數(shù)據(jù)時(shí)效,共享平臺(tái)根據(jù)設(shè)置請(qǐng)求對(duì)應(yīng)時(shí)效數(shù)據(jù),并將獲取的數(shù)據(jù)加載到地圖上;同時(shí),根據(jù)請(qǐng)求的數(shù)據(jù)返回該數(shù)據(jù)的色標(biāo)配置,Web端獲取到數(shù)據(jù)色標(biāo)配置信息后,解析色標(biāo)等級(jí),將數(shù)據(jù)渲染為對(duì)應(yīng)等級(jí)效果。
共享平臺(tái)采用直觀可視化方式將農(nóng)業(yè)氣象大數(shù)據(jù)信息展示給國(guó)家級(jí)和省級(jí)用戶,以便更直觀地交互分析數(shù)據(jù)間的關(guān)系。共享平臺(tái)對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)解析分級(jí)、圖表制作、空間可視化等操作,實(shí)現(xiàn)了地圖、折線圖、柱狀圖、散點(diǎn)圖、餅狀圖、格點(diǎn)圖等多種方式展示數(shù)據(jù)。用戶通過(guò)共享平臺(tái)可隨時(shí)瀏覽全國(guó)范圍內(nèi)任何省、市、縣的溫度、降水、日照、作物發(fā)育期、土壤水分等地面觀測(cè)要素和農(nóng)業(yè)氣象要素的站點(diǎn)數(shù)據(jù),也可瀏覽作物發(fā)育期、災(zāi)害監(jiān)測(cè)、作物生長(zhǎng)模擬等精細(xì)化格點(diǎn)數(shù)據(jù),同時(shí)也可瀏覽作物實(shí)景、農(nóng)田小氣候、文檔產(chǎn)品等多種格式的數(shù)據(jù)與產(chǎn)品。
圖4 精細(xì)化格點(diǎn)產(chǎn)品制作流程
圖5 農(nóng)業(yè)大數(shù)據(jù)共享平臺(tái)站點(diǎn)數(shù)據(jù)可視化流程
2.2.1 農(nóng)業(yè)氣象條件監(jiān)測(cè)分析
農(nóng)業(yè)氣象條件監(jiān)測(cè)分析是根據(jù)農(nóng)業(yè)氣象業(yè)務(wù)的特殊需求,建立作物生長(zhǎng)和氣象條件等環(huán)境因素的相關(guān)性,判斷某個(gè)時(shí)期(日、周、月等尺度)氣象條件對(duì)作物生長(zhǎng)的影響。它主要包括農(nóng)業(yè)氣象條件分析、作物生長(zhǎng)狀況監(jiān)測(cè)、土壤水分監(jiān)測(cè)等技術(shù),是農(nóng)業(yè)氣象業(yè)務(wù)的基礎(chǔ)。
農(nóng)業(yè)氣象條件分析常用的統(tǒng)計(jì)方法包括相關(guān)分析、回歸分析、聚類分析、距平分析、比值分析等,比較客觀、定量地反映出農(nóng)業(yè)生產(chǎn)對(duì)象與氣象條件之間的相關(guān)關(guān)系。光、溫、水等因素是作物生長(zhǎng)各階段的重要因素,因而溫度、降水、日照時(shí)數(shù)等氣象條件分析是評(píng)價(jià)作物生長(zhǎng)的重要指標(biāo)。農(nóng)業(yè)氣象條件分析通過(guò)集成常用的統(tǒng)計(jì)方法,能對(duì)日、周、旬、月及任意時(shí)間段的平均氣溫、降水、日照、風(fēng)速、積雪深度、土壤相對(duì)濕度等要素進(jìn)行累計(jì)、平均、最大、最小、排位、對(duì)比等統(tǒng)計(jì)分析。
農(nóng)業(yè)氣象站觀測(cè)作物生長(zhǎng)信息,主要觀測(cè)包括作物發(fā)育期、苗情、高度、密度等要素。通過(guò)觀測(cè)數(shù)據(jù)中的發(fā)育期實(shí)況或發(fā)育期距平可監(jiān)測(cè)當(dāng)前作物發(fā)育期進(jìn)程,苗情實(shí)況反映了當(dāng)前作物長(zhǎng)勢(shì),因而作物生長(zhǎng)狀況監(jiān)測(cè)主要通過(guò)發(fā)育期、發(fā)育期距平和苗情來(lái)進(jìn)行,為農(nóng)業(yè)氣象情報(bào)、關(guān)鍵農(nóng)時(shí)農(nóng)事氣象服務(wù)、作物產(chǎn)量預(yù)報(bào)等業(yè)務(wù)服務(wù)提供支撐。
水分是一切生物維系生命的重要因素,水分過(guò)多或過(guò)少都會(huì)造成作物生理失調(diào),針對(duì)作物各生育期對(duì)水分的需求,需要對(duì)土壤水分狀況進(jìn)行判斷。目前,全國(guó)約2000多個(gè)業(yè)務(wù)化應(yīng)用的土壤水分自動(dòng)觀測(cè)站,土壤水分觀測(cè)數(shù)據(jù)經(jīng)過(guò)質(zhì)量控制[31?32]、GIS空間插值及實(shí)時(shí)對(duì)比等計(jì)算分析后,根據(jù)土壤墑情等級(jí)指標(biāo)可以客觀反映土壤水分的真實(shí)情況,為農(nóng)業(yè)氣象業(yè)務(wù)服務(wù)提供參考依據(jù)。
2.2.2 農(nóng)業(yè)氣象災(zāi)害監(jiān)測(cè)預(yù)報(bào)
中國(guó)特殊的地理環(huán)境和氣候特征使得氣象災(zāi)害頻發(fā),對(duì)農(nóng)業(yè)生產(chǎn)影響較大,農(nóng)業(yè)氣象災(zāi)害監(jiān)測(cè)預(yù)報(bào)是農(nóng)業(yè)氣象業(yè)務(wù)的重點(diǎn)工作。農(nóng)業(yè)氣象災(zāi)害監(jiān)測(cè)預(yù)報(bào)根據(jù)觀測(cè)的農(nóng)業(yè)氣象條件、作物發(fā)育期、土壤水分等實(shí)況數(shù)據(jù)以及精細(xì)化格點(diǎn)天氣預(yù)報(bào)數(shù)據(jù),通過(guò)災(zāi)害指標(biāo)和災(zāi)害模型運(yùn)算,監(jiān)測(cè)或預(yù)報(bào)氣象災(zāi)害對(duì)農(nóng)業(yè)生產(chǎn)的影響。災(zāi)害指標(biāo)技術(shù)研究已較為成熟,均已發(fā)布了相關(guān)的國(guó)家標(biāo)準(zhǔn)[33]和行業(yè)標(biāo)準(zhǔn)[34?35]。經(jīng)過(guò)多年的業(yè)務(wù)應(yīng)用,多種指標(biāo)、多模型綜合集成判識(shí)[36]是較為成熟的方法。以農(nóng)業(yè)干旱為例,國(guó)家氣象中心通過(guò)集成降水距平、土壤相對(duì)濕度、作物水分虧缺距平、衛(wèi)星遙感等多種指標(biāo)構(gòu)建了農(nóng)業(yè)干旱綜合監(jiān)測(cè)、預(yù)報(bào)模型,實(shí)現(xiàn)農(nóng)業(yè)干旱的逐日動(dòng)態(tài)監(jiān)測(cè)預(yù)報(bào)。目前平臺(tái)可以對(duì)干旱、漬澇、低溫冷害、霜凍、寒害、凍害、低溫、低溫陰雨、寒露風(fēng)、干熱風(fēng)、高溫?zé)岷Φ戎饕r(nóng)業(yè)氣象災(zāi)害進(jìn)行監(jiān)測(cè)預(yù)報(bào),為防災(zāi)減災(zāi)和農(nóng)業(yè)生產(chǎn)提供指導(dǎo)產(chǎn)品。
2.2.3 作物生長(zhǎng)模型模擬
作物生長(zhǎng)模型根據(jù)農(nóng)業(yè)系統(tǒng)學(xué)原理,利用作物生長(zhǎng)發(fā)育的觀測(cè)資料、環(huán)境氣象資料和農(nóng)田技術(shù)條件等作為驅(qū)動(dòng)因子,通過(guò)計(jì)算機(jī)模擬實(shí)現(xiàn)作物生長(zhǎng)、發(fā)育和產(chǎn)量形成等基本生理過(guò)程的定量、動(dòng)態(tài)描述[37?38]。目前,在國(guó)家級(jí)農(nóng)業(yè)氣象業(yè)務(wù)中集成了WOFOST、APSIM和WheatSM等較為成熟的作物生長(zhǎng)模型,通過(guò)本地化參數(shù)因子調(diào)整,結(jié)合農(nóng)業(yè)氣象觀測(cè)和土壤水分自動(dòng)觀測(cè)數(shù)據(jù),實(shí)現(xiàn)對(duì)冬小麥、玉米、水稻等作物進(jìn)行生長(zhǎng)模擬,用于作物產(chǎn)量預(yù)報(bào)、災(zāi)害影響評(píng)估等業(yè)務(wù)服務(wù)。
2.2.4 農(nóng)用天氣預(yù)報(bào)
農(nóng)用天氣是指從農(nóng)業(yè)生產(chǎn)角度分析、考慮和應(yīng)用的天氣,著重強(qiáng)調(diào)對(duì)農(nóng)業(yè)生產(chǎn)活動(dòng)和作物生長(zhǎng)影響較大的天氣現(xiàn)象或天氣過(guò)程[39]。農(nóng)用天氣預(yù)報(bào)是根據(jù)當(dāng)?shù)剞r(nóng)業(yè)生產(chǎn)過(guò)程中作物生長(zhǎng)發(fā)育、各主要農(nóng)事活動(dòng)以及相關(guān)技術(shù)措施對(duì)天氣條件的需要而編發(fā)的針對(duì)性較強(qiáng)的專業(yè)天氣預(yù)報(bào)。經(jīng)過(guò)多年的技術(shù)研發(fā),農(nóng)用天氣預(yù)報(bào)業(yè)務(wù)根據(jù)農(nóng)業(yè)生產(chǎn)的需求,結(jié)合天氣預(yù)報(bào)、氣候預(yù)測(cè)等多方因素,通過(guò)農(nóng)業(yè)氣象指標(biāo)和農(nóng)業(yè)氣象評(píng)價(jià)方法,分析、預(yù)測(cè)未來(lái)天氣條件對(duì)農(nóng)業(yè)生產(chǎn)的影響,并提出針對(duì)性的措施和建議,為農(nóng)業(yè)生產(chǎn)提供全過(guò)程的指導(dǎo)性服務(wù),如春耕春播、夏收夏種、秋收秋種等關(guān)鍵農(nóng)時(shí)農(nóng)事活動(dòng)的預(yù)報(bào)業(yè)務(wù)服務(wù)已在全國(guó)開(kāi)展多年。
共享平臺(tái)可實(shí)時(shí)為用戶提供包括站點(diǎn)數(shù)據(jù)和5km×5km格點(diǎn)數(shù)據(jù)的展示與共享。站點(diǎn)數(shù)據(jù)包括2412個(gè)站點(diǎn)的基礎(chǔ)氣象數(shù)據(jù)即日資料的平均(最高/最低)氣溫、20:00?20:00降水量、日照時(shí)數(shù)、最大風(fēng)速等小時(shí)資料、24h變溫和12h降水量等要素,10cm、20cm、30cm、40cm和50cm土壤水分自動(dòng)觀測(cè)數(shù)據(jù)(圖6a),5cm、10cm、15cm、20cm、40cm和80cm地溫自動(dòng)觀測(cè)數(shù)據(jù)(圖6b),10種作物包括冬小麥、水稻、玉米、棉花和油菜等的生育期和長(zhǎng)勢(shì)觀測(cè)資料(圖6c、6d),農(nóng)田小氣候觀測(cè)資料和中央氣象臺(tái)城鎮(zhèn)預(yù)報(bào)資料等7大類140余種要素??梢愿鶕?jù)需要分省、分區(qū)域、分站點(diǎn)查看要素渲染圖,通過(guò)在地圖上點(diǎn)擊選擇站點(diǎn)即可展示該站點(diǎn)所有關(guān)聯(lián)要素的數(shù)值及其時(shí)序變化。也可以通過(guò)查詢統(tǒng)計(jì)頁(yè)面進(jìn)行多條件組合查詢,分站點(diǎn)、分區(qū)域?qū)庀笠剡M(jìn)行累計(jì)、平均、最大、最小等統(tǒng)計(jì),并按時(shí)序進(jìn)行排位。
格點(diǎn)數(shù)據(jù)為用戶提供5大類產(chǎn)品的下載服務(wù),主要包括農(nóng)業(yè)氣象災(zāi)害監(jiān)測(cè)(干旱、漬害、高溫?zé)岷?、干熱風(fēng)、低溫冷害、霜凍害等)(圖7a、7b),作物生長(zhǎng)模擬(作物葉面積指數(shù)、作物地上總生物量和作物穗重指數(shù)模擬)(圖 7c),農(nóng)用天氣預(yù)報(bào)(春耕春播、夏收夏種和秋收秋種關(guān)鍵農(nóng)時(shí)預(yù)報(bào)產(chǎn)品)(圖 7d)、土壤水分監(jiān)測(cè)和氣象條件監(jiān)測(cè),用戶可根據(jù)需求下載經(jīng)空間分級(jí)渲染后可視化的格點(diǎn)數(shù)據(jù)圖。用戶還可在頁(yè)面上通過(guò)瀏覽、查詢、下載等功能,直接獲得經(jīng)匯總分析后形成的有關(guān)農(nóng)業(yè)氣象業(yè)務(wù)的文檔產(chǎn)品,主要有農(nóng)業(yè)氣象周/月報(bào)、災(zāi)害監(jiān)測(cè)評(píng)估、關(guān)鍵農(nóng)時(shí)農(nóng)事服務(wù)、特色農(nóng)業(yè)、生態(tài)氣象等。
共享平臺(tái)發(fā)布日、周、月等不同時(shí)間尺度的農(nóng)業(yè)氣象條件分析、農(nóng)作物生長(zhǎng)狀況、土壤水分監(jiān)測(cè)等產(chǎn)品,這些產(chǎn)品從單要素分析到綜合分析,都緊密結(jié)合實(shí)際農(nóng)業(yè)生產(chǎn),客觀、準(zhǔn)確、及時(shí)地為各級(jí)用戶部門提供宏觀決策、指揮農(nóng)業(yè)生產(chǎn)的科學(xué)依據(jù);同時(shí)根據(jù)農(nóng)業(yè)氣象條件對(duì)農(nóng)業(yè)生產(chǎn)的作用及提出的建議和措施,為農(nóng)業(yè)生產(chǎn)者科學(xué)安排農(nóng)業(yè)生產(chǎn),因地制宜、積極有效地采用農(nóng)業(yè)技術(shù)措施,充分利用有利的天氣條件,避免或減輕不利和災(zāi)害性天氣條件的影響,為保障農(nóng)業(yè)高產(chǎn)穩(wěn)產(chǎn)提供科學(xué)依據(jù)。
共享平臺(tái)實(shí)時(shí)提供農(nóng)業(yè)干旱、高溫?zé)岷?、低溫冷害、霜凍害等多種農(nóng)業(yè)災(zāi)害監(jiān)測(cè)與預(yù)報(bào)產(chǎn)品,做到農(nóng)業(yè)氣象災(zāi)害監(jiān)測(cè)、預(yù)報(bào)預(yù)警、評(píng)估信息的快速發(fā)布,及時(shí)、準(zhǔn)確地為各級(jí)用戶提供長(zhǎng)期宏觀調(diào)控和短期應(yīng)變對(duì)策,最大限度地減輕災(zāi)害對(duì)農(nóng)業(yè)生產(chǎn)造成的影響;同時(shí)使農(nóng)業(yè)生產(chǎn)者及時(shí)獲得準(zhǔn)確的農(nóng)業(yè)氣象災(zāi)害監(jiān)測(cè)、預(yù)報(bào)預(yù)警和評(píng)估結(jié)果,及時(shí)采取防御和減災(zāi)措施,減輕災(zāi)害帶來(lái)的損失,促使農(nóng)業(yè)氣象災(zāi)害的防災(zāi)減災(zāi)由被動(dòng)減災(zāi)向主動(dòng)防災(zāi)轉(zhuǎn)變。
圖6 2022年4月5日10cm土壤水分(a)、2022年3月4日5cm土壤溫度(b)、2022年4月3?9日冬小麥發(fā)育期(c)和2022年4月3?9日冬小麥生長(zhǎng)狀況(d)(缺港澳臺(tái)數(shù)據(jù),下同)
共享平臺(tái)實(shí)時(shí)定期發(fā)布作物生長(zhǎng)模型模擬、農(nóng)用天氣預(yù)報(bào)、國(guó)內(nèi)外產(chǎn)量預(yù)報(bào)、糧食作物生育期氣象評(píng)價(jià)等服務(wù)產(chǎn)品,開(kāi)展對(duì)主要糧食作物生長(zhǎng)發(fā)育、產(chǎn)量形成的定性和定量評(píng)價(jià),提高了糧食生產(chǎn)過(guò)程中農(nóng)業(yè)氣象技術(shù)支撐能力。目前,共享平臺(tái)發(fā)布基于作物生長(zhǎng)模型模擬的產(chǎn)品主要包括冬小麥、春玉米、夏玉米、一季稻、早稻和晚稻等作物的相關(guān)精細(xì)化格點(diǎn)產(chǎn)品,為作物長(zhǎng)勢(shì)和產(chǎn)量評(píng)估提供葉面積指數(shù)、地上生物量和穗生物量等資料,為研究大區(qū)域作物生長(zhǎng)、發(fā)育變化、產(chǎn)量形成的動(dòng)態(tài)過(guò)程提供科學(xué)依據(jù),同時(shí)為作物生長(zhǎng)全生育期提供穩(wěn)定、可靠、全方位、精細(xì)化監(jiān)測(cè)預(yù)報(bào)服務(wù)。
共享平臺(tái)于2021年業(yè)務(wù)運(yùn)行,部署在國(guó)家級(jí)服務(wù)器上,31個(gè)省級(jí)業(yè)務(wù)單位通過(guò)網(wǎng)絡(luò)瀏覽器進(jìn)行訪問(wèn),運(yùn)行性能穩(wěn)定,達(dá)到很好的用戶訪問(wèn)效果。
目前共享平臺(tái)實(shí)時(shí)提供200余種農(nóng)業(yè)氣象數(shù)據(jù)和產(chǎn)品的在線瀏覽,打破了以往數(shù)據(jù)、產(chǎn)品的時(shí)空割裂和限制;實(shí)時(shí)快速地對(duì)農(nóng)業(yè)氣象觀測(cè)、農(nóng)業(yè)氣象災(zāi)害、作物生長(zhǎng)模擬、農(nóng)作物實(shí)景和文檔產(chǎn)品等多源農(nóng)業(yè)氣象數(shù)據(jù)進(jìn)行全時(shí)間尺度、大范圍、多層次、多要素的分析與展示;具備時(shí)間序列、柱狀圖、折線圖、雷達(dá)圖、三維和二維數(shù)字地圖等多種方式靈活直觀地展示數(shù)據(jù)的能力,同時(shí)采用符號(hào)等級(jí)、色斑分級(jí)等渲染方式進(jìn)行數(shù)據(jù)表達(dá);根據(jù)權(quán)限管理用戶,用戶可以實(shí)時(shí)更新、下載業(yè)務(wù)產(chǎn)品。
圖7 2022年4月5日農(nóng)業(yè)干旱綜合監(jiān)測(cè)(a)、2021年7月21日夏玉米農(nóng)田漬害監(jiān)測(cè)(b)、2021年8月23日晚稻葉面積指數(shù)(c)和2022年4月14?16日春耕春播農(nóng)用天氣預(yù)報(bào)(d)
共享平臺(tái)打通技術(shù)、數(shù)據(jù)、產(chǎn)品和服務(wù)各環(huán)節(jié),實(shí)現(xiàn)了農(nóng)業(yè)氣象業(yè)務(wù)一體化應(yīng)用,為國(guó)家?省級(jí)用戶提供了統(tǒng)一的數(shù)據(jù)和業(yè)務(wù)產(chǎn)品,提升了國(guó)家級(jí)和省級(jí)用戶業(yè)務(wù)服務(wù)能力。
共享平臺(tái)通過(guò)分布式大數(shù)據(jù)、集群管理和Web架構(gòu)等技術(shù),解決了農(nóng)業(yè)氣象多源海量數(shù)據(jù)統(tǒng)一存儲(chǔ)、管理、實(shí)時(shí)共享、發(fā)布和可視化應(yīng)用的難題。采用基于空間、時(shí)間等屬性的靈活的數(shù)據(jù)供給,使各級(jí)用戶可以真正體驗(yàn)到所見(jiàn)即所得、所得即所需的數(shù)據(jù)獲取,可為用戶提供高效便捷的網(wǎng)絡(luò)化共享服務(wù),增強(qiáng)了服務(wù)時(shí)效性。共享平臺(tái)采用B/S架構(gòu),部署在服務(wù)器端,平臺(tái)升級(jí)與維護(hù)只需在服務(wù)器端進(jìn)行操作,大大節(jié)約了開(kāi)發(fā)、維護(hù)及推廣應(yīng)用成本。同時(shí),共享平臺(tái)提供“云+端”服務(wù),解決了國(guó)家級(jí)?省級(jí)兩級(jí)用戶和省級(jí)用戶之間的數(shù)據(jù)和產(chǎn)品傳輸流程復(fù)雜、實(shí)時(shí)共享困難等問(wèn)題。共享平臺(tái)自2021年投入業(yè)務(wù)應(yīng)用以來(lái),已為31個(gè)省級(jí)業(yè)務(wù)單位提供200多種數(shù)據(jù)和產(chǎn)品的實(shí)時(shí)在線服務(wù),實(shí)現(xiàn)了農(nóng)業(yè)氣象業(yè)務(wù)數(shù)據(jù)和產(chǎn)品的互聯(lián)互通,推進(jìn)了農(nóng)業(yè)氣象業(yè)務(wù)向集約化、網(wǎng)絡(luò)化和共享化發(fā)展,實(shí)現(xiàn)了農(nóng)業(yè)氣象業(yè)務(wù)服務(wù)“一張網(wǎng)、一張圖”。
隨著人工智能、大數(shù)據(jù)計(jì)算與挖掘分析技術(shù)的發(fā)展,用戶對(duì)在線實(shí)時(shí)數(shù)據(jù)分析的需求越來(lái)越高。共享平臺(tái)可為用戶提供數(shù)據(jù)與產(chǎn)品的網(wǎng)絡(luò)可視化和部分格點(diǎn)數(shù)據(jù)下載,但尚未為用戶提供實(shí)時(shí)的深度數(shù)據(jù)挖掘分析,如何實(shí)現(xiàn)農(nóng)業(yè)氣象在線大數(shù)據(jù)挖掘與快速智能分析是共享平臺(tái)下一步的研究與應(yīng)用發(fā)展方向。目前,共享平臺(tái)主要展示國(guó)家級(jí)農(nóng)業(yè)氣象業(yè)務(wù),業(yè)務(wù)雖然具有普遍通用性,但部分省級(jí)用戶的特色業(yè)務(wù)未得到充分體現(xiàn),考慮到省級(jí)用戶的特色業(yè)務(wù),未來(lái)會(huì)逐步提供數(shù)據(jù)服務(wù)接口與平臺(tái)框架,便于省級(jí)用戶訪問(wèn)底層大數(shù)據(jù)及研發(fā)基于共享平臺(tái)的省級(jí)業(yè)務(wù)頻道;隨著共享平臺(tái)的業(yè)務(wù)應(yīng)用,用戶訪問(wèn)需求越來(lái)越大,目前對(duì)省級(jí)用戶進(jìn)行權(quán)限管理開(kāi)放,下一步需要對(duì)更多用戶(如地縣級(jí)業(yè)務(wù)單位用戶)進(jìn)行權(quán)限開(kāi)放,使更多用戶能訪問(wèn)共享平臺(tái)。
[1] 太華杰.我國(guó)農(nóng)業(yè)氣象業(yè)務(wù)體系的形成、完善和發(fā)展[J].應(yīng)用氣象學(xué)報(bào), 1995,6(4):505-508.
Tai H J.The formation improvement and development of agrometeorological operational system in China[J]. Journal of Applied Meteorological Science, 1995,6(4):505- 508.(in Chinese)
[2] 侯英雨,張蕾,吳門新,等. 國(guó)家級(jí)現(xiàn)代農(nóng)業(yè)氣象業(yè)務(wù)技術(shù)發(fā)展[J].應(yīng)用氣象學(xué)報(bào), 2018,29(6):641-656.
Hou Y Y,Zhang L,Wu M X,et al.Advances of modern agrometeorological service and technology in China[J]. Journal of Applied Meteorological Science,2018,29(6): 641-656.(in Chinese)
[3] 毛留喜,呂厚荃.國(guó)家級(jí)農(nóng)業(yè)氣象業(yè)務(wù)技術(shù)綜述[J].氣象,2010,36(7): 75-80.
Mao L X,Lv H Q.Overview of national level agrometeorological operational techniques[J].Meteorological Monthly,2010,36(7):75-80.(in Chinese)
[4] 楊太明,馬曉群,盛紹學(xué),等.新一代可視化氣象數(shù)據(jù)庫(kù)管理系統(tǒng)[J].氣象,2000,26(2):37-40.
Yang T M,Ma X Q,Sheng S X,et al.New generation of visual meteorological database management system[J]. Meteorological Monthly,2000,26(2):37-40.(in Chinese)
[5] 何彬方,楊太明,王海軍,等.省級(jí)農(nóng)業(yè)氣象數(shù)據(jù)庫(kù)及管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].中國(guó)農(nóng)學(xué)通報(bào),2009,25(24): 520- 524.
He B F,Yang T M,Wang H J,et al.Design and implementation of province agrometeorological database and management system[J].Chinese Agricultural Science Bulletin,2009,25(24):520-524.(in Chinese)
[6] 湯志成,高蘋(píng).農(nóng)業(yè)氣象數(shù)據(jù)庫(kù)的研制[J].中國(guó)農(nóng)業(yè)氣象, 1996,12(6):17-23.
Tang Z C,Gao P.Development of agrometeorological database[J].Chinese Journal of Agrometeorology,1996,12 (6):17-23.(in Chinese)
[7] 張旭暉,孫涵,李亞春,等,農(nóng)業(yè)氣象數(shù)據(jù)庫(kù)系統(tǒng)的改進(jìn)及應(yīng)用[J].中國(guó)農(nóng)業(yè)氣象,2003,24(1):41-43.
Zhang X H,Sun H,Li Y C,et al.An improved agro- meteorological database system and its application[J]. Chinese Journal of Agrometeorology,2003,24(1):41-43.(in Chinese)
[8] 劉麗,劉清,宋國(guó)強(qiáng),等.基于GIS組件的農(nóng)業(yè)氣象信息服務(wù)系統(tǒng)[J].中國(guó)農(nóng)業(yè)氣象,2006,27(4):305-309.
Liu L,Liu Q,Song G Q,et al.Agro-meteorological information service system based on comGIS[J].Chinese Journal of Agrometeorology,2006,27(4):305-309. (in Chinese)
[9] 馬渝勇,徐曉莉,宋智,等.省級(jí)氣象信息共享系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].應(yīng)用氣象學(xué)報(bào),2011,22(4):505-512.
Ma Y Y,Xu X L,Song Z,et al.The design and implementation of provincial meteorological information sharing system[J].Journal of Applied Meteorological Science,2011,22(4):505-512.(in Chinese)
[10] 趙四強(qiáng),曹山明,殷建國(guó),等.農(nóng)業(yè)氣象情報(bào)業(yè)務(wù)自動(dòng)化系統(tǒng)[J].中國(guó)農(nóng)業(yè)氣象,1988,9(2):55-56.
Zhao S Q, Cao S M, Yin J G, et al. Agrometeorological information operational automation system [J]. Chinese Journal of Agrometeorology,1988,9(2):55-56. (in Chinese)
[11] 趙四強(qiáng),莊立偉,王健林.國(guó)家級(jí)農(nóng)業(yè)氣象產(chǎn)量預(yù)報(bào)業(yè)務(wù)自動(dòng)化系統(tǒng)[J].中國(guó)農(nóng)業(yè)氣象,1992,13(5):45-49.
Zhao S Q, Zhuang L W, Wang J L, et al. The National agrometeorological yield forecasting operational system [J]. Chinese Journal of Agrometeorology, 1992,13(5):45-49. (in Chinese)
[12] 王健林,趙四強(qiáng).農(nóng)業(yè)氣象產(chǎn)量預(yù)報(bào)服務(wù)系統(tǒng)簡(jiǎn)介[J].氣象,1991,17(7):23-26.
Wang J L, Zhao S Q, et al. Agrometeorological yield forecasting operational system[J].Meteorological Monthly, 1991,17(7):23-26.(in Chinese)
[13] 湯志成,武全崗,馮民學(xué),等,農(nóng)業(yè)氣象情報(bào)預(yù)報(bào)系統(tǒng)[J].中國(guó)農(nóng)業(yè)氣象,1995,16(5):47-50.
Tang Z C, Wu Q G, Feng M X, et al. The variation features of grain yield in China in recent 40 years[J].Chinese Journal of Agrometeorology,1995,16(5):47-50.(in Chinese)
[14] 莊立偉,王馥棠,王石立.農(nóng)業(yè)氣象產(chǎn)量預(yù)報(bào)業(yè)務(wù)系統(tǒng)的研制[J].應(yīng)用氣象學(xué)報(bào),1996,7(3):745-753.
Zhuang L W,Wang F T,Wang S L,et al.Development of agrometeorological yield forecasting operational system[J]. Journal of Applied Meteorological Science,1996,7(3): 745-753.(in Chinese)
[15] 王石立,莊立偉,劉庚山等,網(wǎng)絡(luò)化農(nóng)業(yè)氣象信息服務(wù)技術(shù)研究[J].中國(guó)農(nóng)業(yè)氣象,2004,25(1):1-4.
Wang S L,Zhuang L W,Liu G S,et al .Study on agrometeorological information service techniques based on WebGIS[J].Chinese Journal of Agrometeorology, 2004,25(1):1-4. (in Chinese)
[16] 吳門新,莊立偉,侯英雨,等.中國(guó)農(nóng)業(yè)氣象業(yè)務(wù)系統(tǒng)(CAgMSS)設(shè)計(jì)與實(shí)現(xiàn)[J].應(yīng)用氣象學(xué)報(bào).2019,30(5): 513-527.
Wu M X,Zhuang L W,Hou Y Y,et al.The design and implementation of China Agricultural Meteorological Service System(CAgMSS)[J].Journal of Applied Meteorological Science,2019,30(5):513-527.(in Chinese)
[17] 李軒,莊立偉,吳門新,等.基于Oracle的國(guó)家級(jí)農(nóng)業(yè)氣象數(shù)據(jù)庫(kù)設(shè)計(jì)與實(shí)現(xiàn)[C]//全國(guó)農(nóng)業(yè)氣象業(yè)務(wù)服務(wù)技術(shù)交流論文集.北京:全國(guó)農(nóng)業(yè)氣象業(yè)務(wù)技術(shù)交流會(huì),2014:79- 86.(in Chinese)
Li X,Zhuang L W,Wu M X,et al.Design and implementation of national agrometeorological database based on Oracle[C]//Papers on National Agrometeorological Service Technology Exchange,Beijing:Meeting of National Agrometeorological Service Technology Exchange,2014: 79-86.(in Chinese)
[18] 莊立偉,吳門新,王穎,等. QX/T 435-2018.農(nóng)業(yè)氣象數(shù)據(jù)庫(kù)設(shè)計(jì)規(guī)范[S].中國(guó)氣象局,2018
Zhuang L W,Wu M X,Wang Y,et al.QX/T 435-2018. Specification of agrometeorological database design[S]. China Meterological Administration,2018. (in Chinese)
[19] 汪華,李波,王彪,等.融合架構(gòu)的分布式數(shù)據(jù)庫(kù)技術(shù)在氣象大數(shù)據(jù)平臺(tái)上的應(yīng)用時(shí)間[J].中低緯山地氣象,2020, 44(5):93-96.
Wang H,Li B,Wang B,et al.Application practice of distributed database technology with fusion architecture on meteorological big data platform[J].Mid-low Latitude Mountain Meteorology,2020,44(5):93-96.(in Chinese)
[20] 熊安元,趙芳,王穎,等.全國(guó)綜合氣象信息共享系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].應(yīng)用氣象學(xué)報(bào),2015,26(4):500-512.
Xiong A Y,Zhao F,Wang Y,et al.Design and implementation of China Integrated Meteorological Information Sharing System(CIMISS)[J].Journal of Applied Meteorological Science,2015,26(4):500-512.(in Chinese)
[21] 趙芳,熊安元,張小纓,等.全國(guó)綜合氣象信息共享平臺(tái)框架設(shè)計(jì)技術(shù)特征[J].應(yīng)用氣象學(xué)報(bào),2017,28(6):750-758.
Zhao F,Xiong A Y,Zhang X Y,et al.Technical characteristics of the Architecture Design of China Integrated Meteorological Information Sharing System[J].Journal of Applied Meteorological Science,2017,28(6):750-758.(in Chinese)
[22] 徐擁軍,何文春,劉媛媛,等.氣象大數(shù)據(jù)存儲(chǔ)體系設(shè)計(jì)與實(shí)現(xiàn)[J].電子測(cè)量技術(shù),2020,43(22):19-25.
Xu Y J,He W C,Liu Y Y,et al.Design and implementation of meteorological big data storage system[J].Electronic Measurement Technology,2020,43(22):19-25.(in Chinese)
[23] 羅敏寧,劉立葳.遙感大數(shù)據(jù)分布式技術(shù)研究與實(shí)現(xiàn)[J].應(yīng)用氣象學(xué)報(bào),2017,28(5):621-631.
Luo M N,Liu L W.Research and implementation of remote sensing big data distributed technology[J]. Journal of Applied Meteorological Science,2017,28(5):621-631.(in Chinese)
[24] 賀雅楠,高嵩,薛峰,等.基于MICAPS4的智能網(wǎng)格預(yù)報(bào)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J].應(yīng)用氣象學(xué)報(bào),2018,29(1):13-24.
He Y N,Gao S,Xue F,et al.Design and implementation of intelligent grid forecasting platform based on MICAPS4[J]. Journal of Applied Meteorological Science,2018,29(1): 13-24. (in Chinese)
[25] Florian H.A REST-based open API architecture for cloud computing[C]. 2015 International conference on Advanced Management Science And Information Engineering (AMSIE 2015),2015:822-832.
[26] 章國(guó)材.氣象云建設(shè)的研究與思考[J].氣象與環(huán)境科學(xué), 2015,38(4):1-11.
Zhang G C.Study and thinking on the construction of meteorological cloud[J].Meteorological and Environmental Sciences,2015,38(4):1-11. (in Chinese)
[27] 于洋. RESTFUL架構(gòu)風(fēng)格及其演變與發(fā)展[J].計(jì)算機(jī)時(shí)代,2020(4):10-13.
Yu Y.Review of RESTFUL architecture style and its evolution[J].Computer Era,2020(4):10-13. (in Chinese)
[28] 王婉,武鵬,郭學(xué)峰,等.基于智慧氣象的數(shù)據(jù)接口的實(shí)現(xiàn)[J].氣象與環(huán)境科學(xué),2018,41(4):128-132.
Wang W,Wu P,Guo X F,et al.Implementation of data interface system based on climate smart[J].Meteorological and Environmental Sciences,2018,41(4):128-132.(in Chinese)
[29] 李琦,姚龍.基于REST架構(gòu)的湖泊環(huán)境監(jiān)測(cè)物聯(lián)網(wǎng)平臺(tái)[J].計(jì)算機(jī)工程,2016,42(11):27-31.
Li Q,Yao L.Internet of things platform for lake environmental monitoring based on REST architecture[J]. Computer Engineering,2016,42(11):27-31.(in Chinese)
[30] 方生,秦曉安,王睿.基于前后端分離技術(shù)的在線購(gòu)物平臺(tái)研究與實(shí)現(xiàn)[J].黃河水利職業(yè)技術(shù)學(xué)院學(xué)報(bào),2021,33(4): 50-54.
Fang S,Qin X A,Wang R.Research and implementation on online shopping platform based on Web front-end and back-end separation technology[J].Journal of Yellow River Conservancy Technical Institute,2021,33(4):50-54.(in Chinese)
[31] 王良宇,何延波.自動(dòng)土壤水分觀測(cè)數(shù)據(jù)異常值閾值研究[J].氣象,2015,41(8):1017-1022.
Wang L Y,He Y B.Research on outlier threshold of automatic soil moisture observation data[J].Meteorological Monthly,2015,41(8):1017-1022.(in Chinese)
[32] 陳金華,楊再?gòu)?qiáng),楊太明,等.安徽省土壤水分監(jiān)測(cè)預(yù)測(cè)系統(tǒng)[J].應(yīng)用氣象學(xué)報(bào),2011,22(2):249-256.
Chen J H,Yang Z Q,Yang T M,et al.Real time observing and forecasting system for soil moisture in Anhui province[J].Journal of Applied Meteorological Science, 2011,22(2):249-256.(in Chinese)
[33] 呂厚荃,張玉書(shū),李茂松,等.BG/T 32136-2015 農(nóng)業(yè)干旱等級(jí)[S].北京:中國(guó)標(biāo)準(zhǔn)出版社,2015.
Lv H Q,Zhang Y S,Li M S,et al.BG/T 32136-2015 Grade of agricultural drought[S].Beijing:China Standards Press, 2015.(in Chinese)
[34] 霍治國(guó),劉榮花,姜燕,等. QX/T81-2007 小麥干旱災(zāi)害等級(jí)[S].中國(guó)氣象局,2007
Huo Z G,Liu R H,Jiang Y,et al.QX/T81-2007 Disaster grade of drought for wheat[S].China Meterological Administration,2007.(in Chinese)
[35] 霍治國(guó),尚瑩,王純枝,等. QX/T82-2019 小麥干熱風(fēng)災(zāi)害等級(jí)[S].中國(guó)氣象局,2019.
Huo Z G,Shang Y,Wang C Z,et al.QX/T82-2019 Disaster grade of dry-hot wind for wheat[S]. China Meterological Administration,2019. (in Chinese)
[36] Hao Z.Drought characterization from a multivariate perspective:a review[J].J Hydrol,2015,527:668-678.
[37] Li H,Jiang Z W,Chen Z X,et al.Assimilation of temporalspatial leaf area index into the CERES-Wheat model with ensemble Kalman filter and uncertainty assessment for improving winter wheat yield estimation[J]. Journal of Integrative Agriculture,2016,15(10):60345- 60347.
[38] 孫楊越,申雙和.作物生長(zhǎng)模型的應(yīng)用研究進(jìn)展[J].中國(guó)農(nóng)業(yè)氣象,2019,40(7):444-459.
Sun Y Y,Shen S H.Research progress in application of crop growth models[J].Chinese Journal of Agrometeorology, 2019,40(7):444-459.(in Chinese)
[39] 閔慶文.農(nóng)用天氣預(yù)報(bào)[M].北京:氣象出版社,1988.
Min Q W.Agricultural weather forecast[M].China Meteorological Press,1988.(in Chinese)
Agrometeorological Big Data Sharing Platform Design and Implementation
LI Xuan, WU Men-xin, HOU Ying-yu, ZHUANG Li-wei, HE Yan-bo, SUN Shao-jie
(National Meteorological Center,Beijing 100081, China)
With the pluralistic development of modern agriculture and the rapid progress of information technologies such as big data, distributed storage, cloud computing and artificial intelligence, the agrometeorological services are gradually diversified, and the services are becoming improved refinement, and have better precision and intelligence. The spatial and temporal resolution of service products has been significantly improved, which have developed from weekly, monthly, quarterly and annual scale graphic products to refined gridded daily products. At the same time, the datum is growing explosively, and the demand for mass storage of data and products, rapid interactive analysis, real-time sharing and publishing is becoming more and more urgent. In order to improve the data analysis capabilities which include massive data rapid processing, multi-source data fusion and intelligent analysis, data mining, etc., and realize the sharing of agrometeorological data and products across the country, the National Meteorological Center established Agrometeorological Big Data Sharing Platform with browser/server mode using distributed big data technology (Hadoop), fusion of modern agrometeorological service technology and web architecture based on open source framework, which realized the distributed storage, sharing and management for multi-source agricultural meteorological data, and provided visualization of network data and products. The sharing platform was put into use nationwide in 2021, deployed on national servers to provide online service. The national and 31 provincial users can browse and query more than 200 data and products in 13 categories through the network. The sharing platform can share and exchange data between nation and province, which will form a unified application of agricultural meteorological big data sharing environment.
Agrometeorological big data sharing platform; Browser/server mode; Distributed storage; Visualization of data; Visualization of products
10.3969/j.issn.1000-6362.2022.08.006
李軒,吳門新,侯英雨,等.農(nóng)業(yè)氣象大數(shù)據(jù)共享平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J].中國(guó)農(nóng)業(yè)氣象,2022,43(8):657-669
2021?03?16
風(fēng)云衛(wèi)星應(yīng)用先行計(jì)劃(FY-APP-2021.0305);國(guó)家氣象中心預(yù)報(bào)員專項(xiàng)(Y202118)
吳門新,博士,正高級(jí)工程師,從事農(nóng)業(yè)氣象研究,E-mail:wumx@cma.gov.cn
李軒,E-mail:lixuan@cma.gov.cn