李瑾++顧戈琦

摘要：“互聯(lián)網(wǎng)+”可有效提高農(nóng)業(yè)各個環(huán)節(jié)的運行效率。介紹了農(nóng)業(yè)大數(shù)據(jù)發(fā)展現(xiàn)狀，總結(jié)分析現(xiàn)階段農(nóng)業(yè)大數(shù)據(jù)發(fā)展過程中存在數(shù)據(jù)孤島、數(shù)據(jù)系統(tǒng)擴容能力弱、數(shù)據(jù)服務(wù)類型單一等問題，并針對這些問題，結(jié)合互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等信息化手段，從設(shè)計原則、思路、框架及功能模塊對農(nóng)業(yè)大數(shù)據(jù)平臺進(jìn)行設(shè)計，根據(jù)多源接入、標(biāo)準(zhǔn)處理、分級使用、開放應(yīng)用的原則，構(gòu)建了歷史數(shù)據(jù)提取、異源數(shù)據(jù)共享、數(shù)據(jù)直采的數(shù)據(jù)采集功能，數(shù)據(jù)標(biāo)準(zhǔn)化匯集、多源數(shù)據(jù)驗證細(xì)化了數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)應(yīng)用功能應(yīng)用，建立創(chuàng)新數(shù)據(jù)應(yīng)用模式，為全面提升現(xiàn)代農(nóng)業(yè)效率助力。

關(guān)鍵詞：“互聯(lián)網(wǎng)+”；大數(shù)據(jù)；農(nóng)業(yè)；平臺構(gòu)建

中圖分類號：TP392；S126 文獻(xiàn)標(biāo)識碼：A 文章編號：0439-8114（2017）10-1947-06

DOI：10.14088/j.cnki.issn0439-8114.2017.10.037

Construction of Agricultural Big Data Platform Based on “Internet +”

LI Jin， GU Ge-qi

（Beijing Research Center for Information Technology in Agriculture/National Engineering Research Center for Information Technology in Agriculture/Key Laboratory of Agri-informatics，Ministry of Agriculture/Beijing Engineering Research Center of Agricultural Internet of Things， Beijing 100097，China）

Abstract：“Internet +” can effectively improve agricultural efficiency of each part. This paper introduces the developing situation of the agricultural big data， summary analysis of the present stage in the process of developing the agricultural big data data islands， weak data system capacity， data service type single and other issues， and to solve these problems， combined with information technology means such as Internet， mobile Internet， Internet of things， from the design principle， train of thought， framework and function module design for the big data platform for agriculture， according to a multi-source access， standard processing and classification using， open the application principle， constructs the history data extraction， data sharing， data mining of the data acquisition function， standardization of data collection， the details of multi-source data verify the function of data acquisition， data processing， data application， application mode， establish innovative data to maximize the overall efficiency of modern agriculture.

Key word：“Internet +”； big data； agriculture； platform construction

“互聯(lián)網(wǎng)+農(nóng)業(yè)”就是應(yīng)用互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等信息化手段，改造農(nóng)業(yè)原有的產(chǎn)業(yè)鏈條，重塑產(chǎn)業(yè)結(jié)構(gòu)，通過連接生產(chǎn)、流通、消費的各個環(huán)節(jié)，產(chǎn)生協(xié)同價值，大幅提升農(nóng)業(yè)的生產(chǎn)效率。隨著農(nóng)業(yè)物聯(lián)網(wǎng)、農(nóng)業(yè)智能裝備等技術(shù)的應(yīng)用，農(nóng)業(yè)生產(chǎn)、流通、消費實現(xiàn)了全過程的數(shù)字化與可感知，產(chǎn)生了生產(chǎn)管理、土壤信息、農(nóng)資投入、農(nóng)產(chǎn)品流通以及消費信息等海量數(shù)據(jù)，為發(fā)展現(xiàn)代農(nóng)業(yè)提供了重要的數(shù)據(jù)支撐[1]。但現(xiàn)階段農(nóng)業(yè)數(shù)據(jù)大多分散于不同信息系統(tǒng)中，信息流通速度較慢，數(shù)據(jù)深入處理能力弱，無法產(chǎn)生更大的價值。需借助互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、大數(shù)據(jù)等技術(shù)手段，建立基于互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)的農(nóng)業(yè)大數(shù)據(jù)平臺，匯集海量數(shù)據(jù)、建立大數(shù)據(jù)云平臺、深入挖掘數(shù)據(jù)價值、建立創(chuàng)新數(shù)據(jù)應(yīng)用模式，全面提升現(xiàn)代農(nóng)業(yè)的生產(chǎn)效率[2]。

1 農(nóng)業(yè)大數(shù)據(jù)發(fā)展現(xiàn)狀

1.1 數(shù)據(jù)意識較強，政策支持力度較大

政府部門、科研單位、農(nóng)業(yè)企業(yè)都認(rèn)識到了數(shù)據(jù)的價值，對數(shù)據(jù)采集、存儲、應(yīng)用工作都非常重視，農(nóng)業(yè)部發(fā)布了《農(nóng)業(yè)部關(guān)于推進(jìn)農(nóng)業(yè)農(nóng)村大數(shù)據(jù)發(fā)展的實施意見》，各省也發(fā)布了各省的大數(shù)據(jù)發(fā)展政策與規(guī)劃，例如貴州省將大數(shù)據(jù)作為“十三五”時期全省發(fā)展全局的戰(zhàn)略引擎，印發(fā)了《關(guān)于加快大數(shù)據(jù)產(chǎn)業(yè)發(fā)展應(yīng)用若干政策的意見》和《貴州省大數(shù)據(jù)產(chǎn)業(yè)發(fā)展應(yīng)用規(guī)劃綱要（2014-2020年）》，山東農(nóng)業(yè)大學(xué)成立了全國首個農(nóng)業(yè)大數(shù)據(jù)研究中心，部分企業(yè)也建立了企業(yè)的ERP系統(tǒng)，可溯源信息系統(tǒng)等信息系統(tǒng)。

1.2 大數(shù)據(jù)技術(shù)在農(nóng)業(yè)領(lǐng)域應(yīng)用逐漸深入

隨著農(nóng)業(yè)及農(nóng)業(yè)信息化的進(jìn)步，大數(shù)據(jù)和農(nóng)業(yè)結(jié)合愈發(fā)緊密，山東農(nóng)業(yè)大學(xué)發(fā)起了農(nóng)業(yè)大數(shù)據(jù)產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟，建成了“農(nóng)業(yè)大數(shù)據(jù)應(yīng)用云平臺”，匯集全國各?。ㄊ校┙?jīng)濟數(shù)據(jù)、全國農(nóng)產(chǎn)品進(jìn)出口數(shù)據(jù)、全國涉農(nóng)企業(yè)行業(yè)結(jié)構(gòu)分析數(shù)據(jù)等涉農(nóng)數(shù)據(jù)。同時研建了“渤海糧倉科技示范工程”、“奶牛數(shù)字化精準(zhǔn)養(yǎng)殖系統(tǒng)”、“山東省小麥、玉米主要蟲害特征數(shù)據(jù)采集與預(yù)警平臺”等一系列利用大數(shù)據(jù)技術(shù)指導(dǎo)實際農(nóng)業(yè)生產(chǎn)的應(yīng)用項目。“渤海糧倉科技示范工程”項目利用互聯(lián)網(wǎng)、大數(shù)據(jù)等信息技術(shù)，改造環(huán)渤海低平原地區(qū)的鹽堿荒地，取得了顯著的成果，2012年該試驗田小麥單產(chǎn)量達(dá)到4 725 kg/hm2，創(chuàng)出重度鹽堿地種植小麥高產(chǎn)紀(jì)錄[3]?！稗r(nóng)業(yè)大數(shù)據(jù)應(yīng)用云平臺”建有開放數(shù)據(jù)可視化平臺，用戶僅需3步即可建立自己的數(shù)據(jù)可視化分析報告，并公開發(fā)布分析成果。

1.3 農(nóng)村地區(qū)信息化基礎(chǔ)較好

中國農(nóng)業(yè)農(nóng)村信息化能力逐年提升。截至2014年，僅中國移動就覆蓋121 243個邊遠(yuǎn)村莊，27 995個行政村接通寬帶，農(nóng)村渠道網(wǎng)點超過60.2萬個，“農(nóng)信通”客戶超過在6 266萬人，農(nóng)村信息網(wǎng)累計發(fā)送涉農(nóng)信息超過350.2億條。中國聯(lián)通也推出以“農(nóng)機通”及“12316”綜合服務(wù)平臺為代表的涉農(nóng)信息化應(yīng)用，截至2014年為止，全國各省“農(nóng)機通”用戶累計達(dá)20萬戶；“12316”共受理農(nóng)民咨詢電話超過1 000萬次，每年幫助農(nóng)民減損增收10億元以上。中國大部分省市已建成省、市、縣、鄉(xiāng)四級網(wǎng)絡(luò)，為農(nóng)業(yè)數(shù)據(jù)采集、傳輸提供良好支撐。

2 農(nóng)業(yè)大數(shù)據(jù)存在問題

2.1 存在數(shù)據(jù)孤島，缺少數(shù)據(jù)共享機制

政府、企業(yè)、科研單位雖已認(rèn)識到數(shù)據(jù)的重要性，但數(shù)據(jù)共享意識還有待提高，仍然將數(shù)據(jù)作為自己的秘密財富，不愿與外界分享，導(dǎo)致數(shù)據(jù)壁壘出現(xiàn)，甚至同一單位內(nèi)部不同部門間，數(shù)據(jù)都無法做到有效共享。國家在數(shù)據(jù)公開共享等方面缺乏具體的標(biāo)準(zhǔn)和政策指導(dǎo)，導(dǎo)致政府、科研單位等公共機構(gòu)，即使有數(shù)據(jù)共享的意愿，也數(shù)據(jù)共享也較難開展[4]。在各個單位之間以及單位內(nèi)部不同部門間，由于各個信息系統(tǒng)建設(shè)時間、建設(shè)標(biāo)準(zhǔn)、建設(shè)目的不同，導(dǎo)致在不同信息系統(tǒng)間數(shù)據(jù)粒度、數(shù)據(jù)密度等都有較大不同，進(jìn)行數(shù)據(jù)共享難度較大，即使有數(shù)據(jù)共享的意愿，數(shù)據(jù)標(biāo)準(zhǔn)化處理的難度也非常大[5]。

2.2 數(shù)據(jù)來源單薄，技術(shù)應(yīng)用不足

農(nóng)業(yè)數(shù)據(jù)采集系統(tǒng)多由政府、科研單位等公共機構(gòu)建設(shè)，企業(yè)參與程度較低。由于農(nóng)業(yè)相較于互聯(lián)網(wǎng)、金融等行業(yè)發(fā)展較弱，農(nóng)業(yè)領(lǐng)域內(nèi)由企業(yè)提供的信息服務(wù)非常少，導(dǎo)致數(shù)據(jù)覆蓋品種、面積有限，數(shù)據(jù)定制化服務(wù)缺失[6]。數(shù)據(jù)采集多依賴人工采集，信息化程度有限，部分信息化程度較高的地區(qū)借助電腦終端、互聯(lián)網(wǎng)進(jìn)行信息錄入、存儲、傳輸，利用移動終端、移動互聯(lián)網(wǎng)技術(shù)的移動采集實時傳輸?shù)男畔⒉杉到y(tǒng)較少，利用物聯(lián)網(wǎng)技術(shù)的自動化信息采集系統(tǒng)也較少，部分地區(qū)還依賴人工采集、紙筆錄入、逐級上報的信息采集方式，導(dǎo)致信息采集效率低、誤差率高、時效性差等問題。

2.3 系統(tǒng)建設(shè)缺乏彈性，數(shù)據(jù)擴展能力較弱

農(nóng)業(yè)信息平臺多為特定目的建設(shè)，大多只能處理該系統(tǒng)設(shè)計范圍內(nèi)的數(shù)據(jù)，對于初期設(shè)計范圍外的數(shù)據(jù)類型、來自于其他信息平臺的數(shù)據(jù)兼容性較差，平臺擴展性較低。對于數(shù)據(jù)本身，由于缺乏統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，導(dǎo)致數(shù)據(jù)采集、存儲都依據(jù)初期設(shè)計時的標(biāo)準(zhǔn)采集，限制了后期系統(tǒng)升級、數(shù)據(jù)擴展以及不同平臺間數(shù)據(jù)的共享。受限于數(shù)據(jù)平臺的特定性，其數(shù)據(jù)來源、數(shù)據(jù)類型等特征較為相似，較難開展數(shù)據(jù)交叉驗證工作，數(shù)據(jù)的準(zhǔn)確性更多依賴于數(shù)據(jù)采集端，在數(shù)據(jù)平臺本身無法再次校驗數(shù)據(jù)[7]。

2.4 數(shù)據(jù)服務(wù)類型單一，數(shù)據(jù)使用門檻較高

大數(shù)據(jù)平臺大多提供數(shù)據(jù)查詢服務(wù)，但是缺乏結(jié)合海量數(shù)據(jù)和實際需求的深度分析服務(wù)，導(dǎo)致平臺使用門檻較高，使用者多為具有一定數(shù)據(jù)分析能力的專業(yè)人士，而農(nóng)場主、農(nóng)戶等接觸數(shù)據(jù)分析經(jīng)驗較少的用戶就很難有效利用數(shù)據(jù)指導(dǎo)生產(chǎn)、生活[8]。現(xiàn)階段農(nóng)村從事種養(yǎng)殖生產(chǎn)的農(nóng)戶大多年齡偏大，獲取信息多依賴智能手機、功能手機等渠道，信息需求強但信息獲取、應(yīng)用能力較弱，現(xiàn)有農(nóng)業(yè)大數(shù)據(jù)平臺提供數(shù)據(jù)定制化服務(wù)能力較弱，部分平臺開發(fā)了手機端應(yīng)用軟件，其功能多為數(shù)據(jù)推送服務(wù)，綜合生產(chǎn)建議較少，農(nóng)戶應(yīng)用難度較高。

3 農(nóng)業(yè)大數(shù)據(jù)平臺模式設(shè)計

3.1 設(shè)計原則

1）多源接入，匯集數(shù)據(jù)。大數(shù)據(jù)平臺匯集農(nóng)業(yè)相關(guān)的各類數(shù)據(jù)，無論是存儲于紙媒、光盤的歷史數(shù)據(jù)，還是存在于已建系統(tǒng)中的數(shù)據(jù)，無論是結(jié)構(gòu)化文本數(shù)據(jù)，還是非結(jié)構(gòu)化的文本、視頻、音頻數(shù)據(jù)，大數(shù)據(jù)平臺都通過相應(yīng)的技術(shù)手段，將其匯集到大數(shù)據(jù)平臺中，有效打破數(shù)據(jù)壁壘，匯集多源、多類型數(shù)據(jù)，真正發(fā)揮大數(shù)據(jù)的威力。

2）標(biāo)準(zhǔn)處理，統(tǒng)一管理。大數(shù)據(jù)平臺建立統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，歷史數(shù)據(jù)、已建系統(tǒng)數(shù)據(jù)、直采數(shù)據(jù)都需按照大數(shù)據(jù)平臺的標(biāo)準(zhǔn)進(jìn)行相應(yīng)的標(biāo)準(zhǔn)化處理，便于數(shù)據(jù)應(yīng)用層使用。大數(shù)據(jù)平臺成為數(shù)據(jù)統(tǒng)一儲存、處理平臺，各單位不用再建立自己的數(shù)據(jù)平臺，減少數(shù)據(jù)數(shù)據(jù)儲存、運維等方面的相關(guān)投入。

3）分級使用，保護(hù)隱私。數(shù)據(jù)隱私是數(shù)據(jù)供給者最為關(guān)心的問題，大數(shù)據(jù)平臺通過多級隱私權(quán)限設(shè)置來保護(hù)用戶數(shù)據(jù)隱私，對于分享到平臺的數(shù)據(jù)，也會根據(jù)數(shù)據(jù)敏感程度，進(jìn)行數(shù)據(jù)使用權(quán)限分級，針對高敏感度的數(shù)據(jù)，只有通過審核的用戶可以使用。通過這些機制設(shè)置，平臺有效解決了數(shù)據(jù)隱私保護(hù)和數(shù)據(jù)共享的矛盾。

4）應(yīng)用平臺，開放易用。數(shù)據(jù)使用者的數(shù)據(jù)分析能力各不相同，大數(shù)據(jù)平臺提供二次開發(fā)平臺、可視化分析工具、個性化訂閱等服務(wù)，用戶既可以開發(fā)復(fù)雜的數(shù)據(jù)應(yīng)用，也可使用系統(tǒng)內(nèi)置的數(shù)據(jù)分析工具進(jìn)行便捷、快速地數(shù)據(jù)分析，有效滿足不同數(shù)據(jù)分析能力、不同數(shù)據(jù)使用需求的用戶。

3.2 設(shè)計思路

大數(shù)據(jù)平臺利用先進(jìn)的信息技術(shù)手段，廣泛采集儲存在紙媒、光盤媒體中的孤島數(shù)據(jù)，實時獲取已建信息系統(tǒng)、移動采集器、物聯(lián)網(wǎng)傳感器中的數(shù)據(jù)，建立覆蓋土肥數(shù)據(jù)、價格數(shù)據(jù)、氣象數(shù)據(jù)等多種類型數(shù)據(jù)的海量數(shù)據(jù)平臺，并通過數(shù)據(jù)標(biāo)準(zhǔn)化、交叉驗證等處理，供用戶進(jìn)行深度定制、可視化應(yīng)用、個性化定制等多種操作，充分發(fā)揮農(nóng)業(yè)大數(shù)據(jù)對于農(nóng)業(yè)生產(chǎn)、生活的指導(dǎo)作用。

3.3 總體架構(gòu)

大數(shù)據(jù)平臺包含基礎(chǔ)設(shè)備層、數(shù)據(jù)采集層、數(shù)據(jù)處理層、數(shù)據(jù)應(yīng)用層（圖1），同時建立相匹配的信息管理制度與安全機制[9]?；A(chǔ)設(shè)備層是大數(shù)據(jù)平臺的基礎(chǔ)，包含輸入設(shè)備、存儲設(shè)備、處理設(shè)備、網(wǎng)絡(luò)設(shè)備、輸出設(shè)備等，確保整個平臺的數(shù)據(jù)采集、處理、應(yīng)用工作能夠高效運行。數(shù)據(jù)采集層針對不同類型的數(shù)據(jù)，開放數(shù)據(jù)采集接口，可以直接連接紙媒、磁媒等讀取設(shè)備，直接讀取數(shù)據(jù)；可以直接連接已建系統(tǒng)，實時采集數(shù)據(jù)；可連接移動直采設(shè)備，實時采集數(shù)據(jù)。數(shù)據(jù)處理層可將異構(gòu)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，并對異源數(shù)據(jù)進(jìn)行交叉驗證，提高數(shù)據(jù)可靠性，還可設(shè)置數(shù)據(jù)分享、使用權(quán)限，保護(hù)數(shù)據(jù)隱私。數(shù)據(jù)應(yīng)用層提供不同層次的數(shù)據(jù)服務(wù)，具二次開發(fā)接口，可滿足深度定制需求，提供易用可視化服務(wù)，滿足快速應(yīng)用需求，提供數(shù)據(jù)訂閱功能，滿足數(shù)據(jù)監(jiān)控需求。

3.4 數(shù)據(jù)采集功能設(shè)計

3.4.1 歷史數(shù)據(jù)提取功能 在電腦普及前，各項數(shù)據(jù)多以紙媒為存儲媒介，在電腦和互聯(lián)網(wǎng)普及初期，還有大量信息存儲在磁帶、軟盤、光盤等存儲介質(zhì)中，大數(shù)據(jù)平臺根據(jù)這些存儲介質(zhì)的不同，開放不同的數(shù)據(jù)提取方法。針對紙質(zhì)數(shù)據(jù)文件，提供掃描文件解析功能，可自動批量提取紙質(zhì)文件電子化文檔中的數(shù)據(jù)，結(jié)合智能算法對解析數(shù)據(jù)進(jìn)行自動清洗、補全、初級校正，轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù)，根據(jù)標(biāo)題、正文等信息自動歸類，將信息存入原始數(shù)據(jù)庫中。針對磁帶、軟盤、光盤中存儲的信息，通過對應(yīng)的技術(shù)手段將數(shù)據(jù)從孤島介質(zhì)中采集到大數(shù)據(jù)平臺中，掃描數(shù)據(jù)包內(nèi)容，自動轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù)，并根據(jù)數(shù)據(jù)包的特征信息自動歸類，存入原始數(shù)據(jù)庫。

3.4.2 異源數(shù)據(jù)共享功能 政府、科研單位、企業(yè)大多都根據(jù)自己的工作需求，建立了特定的信息系統(tǒng)。例如：農(nóng)產(chǎn)品價格信息系統(tǒng)、土地產(chǎn)權(quán)信息系統(tǒng)、農(nóng)資銷售信息系統(tǒng)等，這些系統(tǒng)中包含有海量信息，具有重要的價值[10]，但受限于管理制度、商業(yè)秘密、技術(shù)手段等諸多原因，這些系統(tǒng)大多相互獨立，甚至同一單位內(nèi)部的信息系統(tǒng)間，也沒有互聯(lián)互通。大數(shù)據(jù)平臺開放通用數(shù)據(jù)接入端口，適配使用不同技術(shù)開發(fā)的信息系統(tǒng)，同時，系統(tǒng)管理員可以設(shè)置數(shù)據(jù)共享范圍、數(shù)據(jù)粒度、更新頻率等共享權(quán)限，控制數(shù)據(jù)共享范圍，保護(hù)數(shù)據(jù)隱私，平臺根據(jù)系統(tǒng)管理員的設(shè)置，自動實時采集系統(tǒng)信息，存入原始數(shù)據(jù)庫。

3.4.3 數(shù)據(jù)信息直采功能 大數(shù)據(jù)平臺利用傳感器、RFID、二維碼、GPS、遙感等技術(shù)，實時直接采集溫度、濕度、種植面積、農(nóng)產(chǎn)品價格等信息。大數(shù)據(jù)平臺直接連接溫室、大田中的物聯(lián)網(wǎng)傳感器，通過空氣溫濕度、土壤溫濕度、光照度、二氧化碳濃度等傳感器，實時采集生產(chǎn)環(huán)境信息。大數(shù)據(jù)平臺直接連接手持信息采集器，用戶通過手持設(shè)備掃描二維碼、RFID標(biāo)簽時，會將采集到的信息實時傳輸?shù)酱髷?shù)據(jù)平臺。對于依賴人工輸入的信息，大數(shù)據(jù)平臺可以通過收集采集設(shè)備的地理信息、時間信息等信息，綜合驗證輸入信息有效性，減少人為因素造成的誤差。

3.5 數(shù)據(jù)處理功能設(shè)計

3.5.1 數(shù)據(jù)標(biāo)準(zhǔn)化匯集功能 不同來源的數(shù)據(jù)采用不同的數(shù)據(jù)結(jié)構(gòu)，即使是同一類型的數(shù)據(jù)，由于采集單位、采集目的不同，數(shù)據(jù)在采集頻率、信息粒度、覆蓋范圍等方面都會存在不同，例如農(nóng)產(chǎn)品價格數(shù)據(jù)，中央級的信息采集系統(tǒng)就會覆蓋全國重要農(nóng)產(chǎn)品批發(fā)市場，數(shù)據(jù)采集也多為日度，省市級的信息采集系統(tǒng)多會覆蓋該省重要農(nóng)產(chǎn)品批發(fā)市場、零售市場和超市，數(shù)據(jù)采集有日度、雙日度、周度等頻率，覆蓋范圍更小但市場覆蓋更為全面，單一批發(fā)市場的信息采集則包含更多的品種但只來源于單個批發(fā)市場。標(biāo)準(zhǔn)化處理功能根據(jù)應(yīng)用層對數(shù)據(jù)的需求，通過差異屏蔽處理，對異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)進(jìn)行統(tǒng)一檢索，然后將對應(yīng)數(shù)據(jù)返回給數(shù)據(jù)應(yīng)用層使用[11]。針對更新頻率不高的異構(gòu)數(shù)據(jù)，按一定標(biāo)準(zhǔn)對異構(gòu)數(shù)據(jù)進(jìn)行標(biāo)引，組成一個元數(shù)據(jù)集，通過發(fā)布系統(tǒng)與應(yīng)用層交互。針對更新頻率較高的異構(gòu)數(shù)據(jù)，采用中間件技術(shù)，將應(yīng)用層的數(shù)據(jù)請求分解成對不同數(shù)據(jù)源的獨立訪問請求，通過標(biāo)準(zhǔn)（ODBC/JDBC）或非標(biāo)準(zhǔn)的數(shù)據(jù)訪問接口（API）對原始數(shù)據(jù)源進(jìn)行實時訪問，并通過發(fā)布系統(tǒng)與應(yīng)用層交互。

3.5.2 多源數(shù)據(jù)驗證功能 針對提取歷史數(shù)據(jù)，受提取技術(shù)限制，自動提取歷史數(shù)據(jù)存在一定的遺漏、亂碼、錯誤歸類等問題，大數(shù)據(jù)平臺首先會驗證信息完整性、準(zhǔn)確性，根據(jù)數(shù)據(jù)質(zhì)量評級，達(dá)到一定標(biāo)準(zhǔn)的數(shù)據(jù)準(zhǔn)許接入大數(shù)據(jù)平臺，不達(dá)標(biāo)的數(shù)據(jù)再次重新采集，部分情況可以加入人工校正。針對異源系統(tǒng)共享數(shù)據(jù)和大數(shù)據(jù)平臺直采數(shù)據(jù)，平臺會從錄入控制、域完整性、實體完整性和參照完整性4個層次去驗證數(shù)據(jù)[12]。根據(jù)驗證結(jié)果對數(shù)據(jù)源評級，針對評級較高的數(shù)據(jù)源減少驗證工作量，提高數(shù)據(jù)接入時效性，并根據(jù)數(shù)據(jù)質(zhì)量的變化動態(tài)調(diào)整數(shù)據(jù)源評級。針對準(zhǔn)許接入平臺的數(shù)據(jù)，大數(shù)據(jù)平臺會使用異源同類數(shù)據(jù)、異源相關(guān)數(shù)據(jù)進(jìn)行交叉驗證數(shù)據(jù)可信度、準(zhǔn)確性等指標(biāo)，根據(jù)數(shù)據(jù)質(zhì)量評級，達(dá)標(biāo)數(shù)據(jù)接入應(yīng)用平臺供用戶使用。

3.6 數(shù)據(jù)應(yīng)用功能設(shè)計

3.6.1 數(shù)據(jù)開放應(yīng)用平臺 針對有二次開發(fā)能力的用戶，大數(shù)據(jù)平臺提供二次開發(fā)API與數(shù)據(jù)分析功能模塊，用戶可以根據(jù)自己的特定需求開發(fā)精確匹配自己需求的大數(shù)據(jù)應(yīng)用，用戶不再需要考慮數(shù)據(jù)處理、服務(wù)器編程等基礎(chǔ)工作[13]，只需專注于業(yè)務(wù)邏輯與需求，便捷地滿足企業(yè)的數(shù)據(jù)需求。大數(shù)據(jù)平臺也具有云系統(tǒng)功能，政府、企業(yè)、合作社等單位可以直接在大數(shù)據(jù)平臺上建立自己的私有云系統(tǒng)，云系統(tǒng)也可設(shè)置數(shù)據(jù)共享范圍、數(shù)據(jù)粒度等共享權(quán)限，對于部分單位既可節(jié)省硬件、運維的投入，也可有效保護(hù)數(shù)據(jù)隱私與價值。

3.6.2 可視化易用功能 大數(shù)據(jù)平臺簡化數(shù)據(jù)可視化分析的復(fù)雜度，針對不具備二次開發(fā)能力的用戶，提供拖拽建模功能，用戶只需選擇自己需要的數(shù)據(jù)以及相應(yīng)的數(shù)據(jù)表格式，即可快速建立數(shù)據(jù)分析表，并可根據(jù)用戶需求微調(diào)數(shù)據(jù)表細(xì)節(jié)，靈活、高效地將用戶數(shù)據(jù)需求轉(zhuǎn)化成分析結(jié)果。針對同一批數(shù)據(jù)，大數(shù)據(jù)平臺可智能匹配多種分析模型，從不同角度分析數(shù)據(jù)，幫助用戶拓展思路，發(fā)現(xiàn)隱藏問題。針對管理決策人員，大數(shù)據(jù)平臺可以根據(jù)選定主題，智能匹配相關(guān)數(shù)據(jù)，自動生成分析報表，使管理人員脫離數(shù)據(jù)細(xì)節(jié)，專注于管理決策事件。

3.6.3 個性化訂閱功能 大數(shù)據(jù)平臺具有高效的數(shù)據(jù)驅(qū)動機制，借助事件引擎以及平臺提供的事件訂閱功能[13]，用戶可以根據(jù)自己的需求設(shè)置所需的觸發(fā)條件，當(dāng)特定傳感器達(dá)到設(shè)定閾值時，自動觸發(fā)相應(yīng)操作，例如當(dāng)溫室溫度過高則自動啟動排風(fēng)扇并通過短信通知農(nóng)場主。用戶也可根據(jù)自身需求，訂閱大數(shù)據(jù)平臺上的數(shù)據(jù)及分析報告，平臺會根據(jù)用戶的設(shè)置，給用戶推送相應(yīng)的數(shù)據(jù)資料。

3.6.4 數(shù)據(jù)服務(wù)交易功能 大數(shù)據(jù)平臺提供數(shù)據(jù)中介服務(wù)，針對已經(jīng)過處理的基礎(chǔ)數(shù)據(jù)，平臺根據(jù)應(yīng)用場景分類，自動匹配企業(yè)需求，提高數(shù)據(jù)匹配效率。平臺通過信息安全、信用擔(dān)保等手段，確認(rèn)數(shù)據(jù)的所有權(quán)，保護(hù)數(shù)據(jù)供給者的利益。平臺引入第三方數(shù)據(jù)分析服務(wù)商，使數(shù)據(jù)分析能力有限的單位可根據(jù)自己的需求訂制分析服務(wù)，需求方可以不受數(shù)據(jù)本身的限制與干擾，專注于業(yè)務(wù)需求。

4 平臺優(yōu)勢和特點

4.1 創(chuàng)新采集技術(shù)，匯集多源海量數(shù)據(jù)

大數(shù)據(jù)平臺創(chuàng)新數(shù)據(jù)采集技術(shù)，針對歷史數(shù)據(jù)，平臺結(jié)合ORC、人工智能等技術(shù)，自動將儲存于紙媒、磁帶、光盤等介質(zhì)的數(shù)據(jù)電子化、結(jié)構(gòu)化并自動歸類儲存，極大地提高了歷史數(shù)據(jù)的可用性、準(zhǔn)確性。針對現(xiàn)有信息系統(tǒng)，平臺通過開放數(shù)據(jù)接口，只需簡單地配置即可接入不同信息系統(tǒng)的數(shù)據(jù)，不受原信息系統(tǒng)開發(fā)技術(shù)的限制，同時，系統(tǒng)管理員還可配置共享數(shù)據(jù)權(quán)限，保護(hù)數(shù)據(jù)隱私，大幅降低了數(shù)據(jù)共享的難度并有效保護(hù)了隱私數(shù)據(jù)不外傳。針對大數(shù)據(jù)平臺直采數(shù)據(jù)，平臺提供數(shù)據(jù)采集接口，可直接入物聯(lián)網(wǎng)傳感器、RIFD采集器、二維碼讀取器等設(shè)備的采集數(shù)據(jù)，平臺根據(jù)相應(yīng)的技術(shù)，將原始數(shù)據(jù)自動結(jié)構(gòu)化。對于人工采集的數(shù)據(jù)，平臺根據(jù)GPS坐標(biāo)、系統(tǒng)時間等指標(biāo)進(jìn)行綜合驗證，大幅提高了數(shù)據(jù)采集、傳輸?shù)乃俾屎蛿?shù)據(jù)的準(zhǔn)確性。大數(shù)據(jù)平臺通過廣泛鏈接各類數(shù)據(jù)源，將儲存在紙媒、磁帶、光盤、私有信息系統(tǒng)中的孤島數(shù)據(jù)匯集，并通過各類數(shù)據(jù)接口，實時匯集異源數(shù)據(jù)，建立了一個包含多來源、多類型、多層次的海量數(shù)據(jù)平臺。

4.2 依據(jù)標(biāo)準(zhǔn)處理，建立統(tǒng)一大數(shù)據(jù)云平臺

大數(shù)據(jù)平臺接入來自不同信息系統(tǒng)、采集系統(tǒng)、歷史資料的數(shù)據(jù)，這些數(shù)據(jù)有不同的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)特征。根據(jù)數(shù)據(jù)接入的更新頻率不同，大數(shù)據(jù)平臺使用中間件技術(shù)或標(biāo)準(zhǔn)（ODBC/JDBC）或非標(biāo)準(zhǔn)的數(shù)據(jù)訪問接口（API）來統(tǒng)一處理，由發(fā)布系統(tǒng)與應(yīng)用層交互，是應(yīng)用層只需專注于業(yè)務(wù)需求，不需考慮異源異構(gòu)數(shù)據(jù)特征，大幅降低數(shù)據(jù)使用難度。針對異源數(shù)據(jù)，大數(shù)據(jù)平臺會依據(jù)數(shù)據(jù)相關(guān)性利用人工智能技術(shù)進(jìn)行交叉校驗，從不同角度檢驗數(shù)據(jù)的準(zhǔn)確性和可靠性，可以發(fā)現(xiàn)單一系統(tǒng)中無法發(fā)覺的數(shù)據(jù)錯誤，大幅提高了數(shù)據(jù)真實性、準(zhǔn)確性和可用性。

4.3 開放創(chuàng)新，滿足不同類型的數(shù)據(jù)需求

大數(shù)據(jù)平臺針對不同數(shù)據(jù)分析能力、不同數(shù)據(jù)需求的用戶，開放不同層級的數(shù)據(jù)應(yīng)用。針對數(shù)據(jù)需求復(fù)雜、具有一定開發(fā)能力的用戶，大數(shù)據(jù)平臺提供二次開發(fā)API和一些基礎(chǔ)數(shù)據(jù)分析模塊，使用戶可以基于大數(shù)據(jù)平臺進(jìn)行二次開發(fā)，利用平臺的海量數(shù)據(jù)和彈性計算能力，開發(fā)能更好滿足自己數(shù)據(jù)需求的產(chǎn)品。針對開發(fā)能力較弱的用戶，大數(shù)據(jù)平臺提供可視化分析功能，僅需拖拽即可生成多種不同的分析報表，并可根據(jù)自己的數(shù)據(jù)分析需求進(jìn)一步修改報表，使用戶可以便捷地利用海量數(shù)據(jù)進(jìn)行分析建模工作。針對數(shù)據(jù)分析能力較弱的用戶，大數(shù)據(jù)平臺提供個性化數(shù)據(jù)訂閱功能，用戶可以訂閱對自己生產(chǎn)、生活影響較大的關(guān)鍵數(shù)據(jù)，也可以購買第三方服務(wù)商的分析報告，提高了數(shù)據(jù)的時效性、降低了數(shù)據(jù)使用的門檻。針對大數(shù)據(jù)平臺的海量數(shù)據(jù)，平臺還提供數(shù)據(jù)交易服務(wù)，使數(shù)據(jù)能更好的匹配需求方，平臺也通過技術(shù)、法律等手段，保護(hù)數(shù)據(jù)供給方的利益。

“互聯(lián)網(wǎng)+”具有跨界融合、連接一切、開放生態(tài)的特點，基于“互聯(lián)網(wǎng)+”的農(nóng)業(yè)大數(shù)據(jù)平臺廣泛匯集育種、生產(chǎn)、流通、銷售等各個環(huán)節(jié)的數(shù)據(jù)，進(jìn)行標(biāo)準(zhǔn)化處理和交叉驗證，建立數(shù)據(jù)開放應(yīng)用平臺，實現(xiàn)了海量數(shù)據(jù)整合共享、多源數(shù)據(jù)實時匯集、數(shù)據(jù)服務(wù)便捷易用，為政府決策、農(nóng)企高效管理、農(nóng)民生產(chǎn)增收提供有力支持與有效指導(dǎo)。

參考文獻(xiàn)：

[1] 溫孚江.農(nóng)業(yè)大數(shù)據(jù)研究的戰(zhàn)略意義與協(xié)同機制[J].高等農(nóng)業(yè)教育，2013（11）：3-6.

[2] 王文生，郭雷風(fēng).農(nóng)業(yè)大數(shù)據(jù)及其應(yīng)用展望[J].江蘇農(nóng)業(yè)科學(xué)， 2015，43（9）：1-5.

[3] 柳平增.農(nóng)業(yè)大數(shù)據(jù)平臺在智慧農(nóng)業(yè)中的應(yīng)用——以渤海糧倉科技示范工程大數(shù)據(jù)平臺為例[J].高科技與產(chǎn)業(yè)化，2015（5）：68-71.

[4] 屈冬玉.要抓緊實施農(nóng)業(yè)大數(shù)據(jù)工程[J].農(nóng)村工作通訊，2015（23）：44.

[5] 張浩然，李中良，鄒騰飛，等.農(nóng)業(yè)大數(shù)據(jù)綜述[J].計算機科學(xué)， 2014，41（S2）：387-392.

[6] 秦學(xué)敏，陳位政，譚立偉，等.互聯(lián)網(wǎng)思維下農(nóng)業(yè)大數(shù)據(jù)的需求、現(xiàn)狀與發(fā)展思考[J].農(nóng)業(yè)工程技術(shù)，2015（12）：44-47.

[7] 郭承坤，劉延忠，陳英義，等.發(fā)展農(nóng)業(yè)大數(shù)據(jù)的主要問題及主要任務(wù)[J].安徽農(nóng)業(yè)科學(xué)，2014，42（27）：9642-9645.

[8] 周子琦.制約我國農(nóng)業(yè)大數(shù)據(jù)應(yīng)用的因素及對策分析[J].商情， 2015（4）：168.

[9] 孟祥寶，謝秋波，劉海峰，等.農(nóng)業(yè)大數(shù)據(jù)應(yīng)用體系架構(gòu)和平臺建設(shè)[J].廣東農(nóng)業(yè)科學(xué)，2014，41（14）：173-178.

[10] 許世衛(wèi).農(nóng)業(yè)大數(shù)據(jù)與農(nóng)產(chǎn)品監(jiān)測預(yù)警[J].中國農(nóng)業(yè)科技導(dǎo)報，2014，16（5）：14-20.

[11] 楊寒光，李艷玲.分布式異構(gòu)數(shù)據(jù)源標(biāo)準(zhǔn)化查詢設(shè)計與實現(xiàn)[J]. 土木建筑工程信息技術(shù)，2013，5（4）：61-63.

[12] 劉 洋，張 鋼，韓 璐.基于物聯(lián)網(wǎng)與云計算服務(wù)的農(nóng)業(yè)溫室智能化平臺研究與應(yīng)用[J].計算機應(yīng)用研究，2013，30（11）：3331-3335.

[13] 黃 鶯.基于Android系統(tǒng)的蔬菜大棚環(huán)境參數(shù)監(jiān)控系統(tǒng)[J]. 江蘇農(nóng)業(yè)科學(xué)，2014，42（12）：423-425.