文/張新禹

（內(nèi)蒙古自治區(qū)氣象信息中心 內(nèi)蒙古自治區(qū)呼和浩特市 010051）

1 引言

氣象數(shù)據(jù)與社會(huì)中每人的衣食住行有著重要的關(guān)系，這將導(dǎo)致與社會(huì)服務(wù)的相關(guān)部門對(duì)氣象數(shù)據(jù)資料的需求日益強(qiáng)烈。首先氣象數(shù)據(jù)采集的地理區(qū)域范圍十分廣泛，適宜人口居住的環(huán)境周圍基本上都安裝有相關(guān)的氣象有人觀測(cè)站或者無(wú)人觀測(cè)站，氣象數(shù)據(jù)所涵蓋的范圍決定了氣象數(shù)據(jù)將會(huì)應(yīng)用到社會(huì)服務(wù)的各個(gè)方面。氣象數(shù)據(jù)的快速信息化、氣象數(shù)據(jù)實(shí)現(xiàn)分布式存儲(chǔ)、氣象數(shù)據(jù)傳輸正在向數(shù)據(jù)流傳輸方式改變等快速發(fā)展，海量的氣象數(shù)據(jù)存儲(chǔ)容量，高效的數(shù)據(jù)采集方式對(duì)于氣象數(shù)據(jù)對(duì)于行業(yè)應(yīng)用實(shí)現(xiàn)有著重要的推動(dòng)作用。氣象行業(yè)數(shù)據(jù)屬于氣象業(yè)務(wù)數(shù)據(jù)，其生成的直接目標(biāo)是服務(wù)于氣象業(yè)務(wù)以及工作的，故氣象信息濃度高，各種技術(shù)指標(biāo)均符合氣象業(yè)務(wù)與行業(yè)服務(wù)應(yīng)用[1]。目前，基于氣象資料的氣象產(chǎn)品多樣化，其中例如涉及到農(nóng)業(yè)信息的土壤墑情產(chǎn)品等相關(guān)服務(wù)產(chǎn)品都是基于對(duì)社會(huì)的需求而產(chǎn)生的，個(gè)性化定制的氣象數(shù)據(jù)將會(huì)更好的展現(xiàn)在社會(huì)的需求面前。

2 氣象數(shù)據(jù)

2.1 氣象數(shù)據(jù)形成過(guò)程

氣象數(shù)據(jù)從上個(gè)世紀(jì)五十年代末開始記錄以來(lái)，以每個(gè)旗、縣對(duì)應(yīng)一個(gè)氣象站點(diǎn)的規(guī)模逐漸建立起來(lái)。在未進(jìn)行站點(diǎn)自動(dòng)化觀測(cè)以來(lái)，采集到的氣象觀測(cè)要素需要每隔一定時(shí)間使用人工記錄方式收集一次，隨著站點(diǎn)觀測(cè)資料方式自動(dòng)化改革之后的慢慢普及，到目前為止全國(guó)一共2412 個(gè)國(guó)家級(jí)氣象自動(dòng)站，26290 個(gè)氣象區(qū)域自動(dòng)站站點(diǎn)，1694 個(gè)土壤水分自動(dòng)站，以及高空觀測(cè)、酸雨等氣象數(shù)據(jù)。氣象要素的收集間隔詳細(xì)到了分鐘級(jí)別，報(bào)文信息發(fā)送詳細(xì)到每十分鐘一次。這些觀測(cè)到的數(shù)據(jù)采集之后以文件的形式（未來(lái)將會(huì)使用數(shù)據(jù)流形式）從各個(gè)臺(tái)站及觀測(cè)設(shè)備傳輸?shù)饺珖?guó)各個(gè)省級(jí)的氣象信息中心，省級(jí)氣象信息中心將報(bào)文分別驗(yàn)證歸類后，按照臺(tái)站號(hào)或者打包的方式傳到國(guó)家氣象信息中心，最終國(guó)家氣象信息中心將氣象資料發(fā)送到WMO（世界氣象組織）參與全球氣象信息的交換。整個(gè)氣象數(shù)據(jù)的主要流程從最開始的站點(diǎn)級(jí)，經(jīng)過(guò)收集分發(fā)到上級(jí)系統(tǒng)。在收集過(guò)程中氣象信息中心實(shí)時(shí)對(duì)收集到的氣象要素的質(zhì)量情況自動(dòng)控制，確保接收到的數(shù)據(jù)真實(shí)可靠，具有可研究的價(jià)值。

2.1 氣象數(shù)據(jù)行業(yè)應(yīng)用存在的問(wèn)題

（1）氣象數(shù)據(jù)在收集處理過(guò)程中存在著氣象資料分散資，資料自收集之后部分存入關(guān)系型數(shù)據(jù)庫(kù)，一部分以報(bào)文文件類型存儲(chǔ)于氣象本地系統(tǒng)，數(shù)據(jù)存取過(guò)程未使用統(tǒng)一接口，增加了數(shù)據(jù)收集處理的復(fù)雜度。

（2）按照目前的氣象資料數(shù)字化過(guò)程來(lái)看，國(guó)內(nèi)氣象資料的信息化的速度已遠(yuǎn)不及目前行業(yè)間對(duì)數(shù)據(jù)需求的速度，部分降水、風(fēng)力等氣象要素資料仍在持續(xù)進(jìn)行數(shù)字化過(guò)程中。

（3）在氣象部門存在較少數(shù)據(jù)挖掘、數(shù)據(jù)分析、可視化、等方面的技術(shù)人才的培養(yǎng)與儲(chǔ)備。

（4）氣象數(shù)據(jù)與行業(yè)間標(biāo)準(zhǔn)不統(tǒng)一，行業(yè)部門的特定需求較難滿足[2]。

3 氣象數(shù)據(jù)行業(yè)服務(wù)方向

3.1 氣象數(shù)據(jù)部門內(nèi)部服務(wù)

部門內(nèi)部氣象資料主要以綜合觀測(cè)、天氣預(yù)報(bào)、氣候與氣候變化、生態(tài)與農(nóng)業(yè)氣象等幾大類別供氣象部門內(nèi)部使用。地面觀測(cè)主要包含了如氣溫、氣壓等地面實(shí)況要素，散射輻射、反射輻射等輻射實(shí)況要素，其他包括雷達(dá)實(shí)況、災(zāi)害實(shí)況，環(huán)境實(shí)況等。天氣預(yù)報(bào)主要包含了短時(shí)天氣預(yù)報(bào)、臨近天氣預(yù)報(bào)、中期天氣預(yù)報(bào)以及數(shù)值預(yù)報(bào)等產(chǎn)品。生態(tài)與農(nóng)業(yè)氣象主要包含圓盤圖、輻射產(chǎn)品、中國(guó)陸地區(qū)域云圖等產(chǎn)品。

3.2 氣象數(shù)據(jù)行業(yè)服務(wù)方向

氣象數(shù)據(jù)在行業(yè)服務(wù)中蘊(yùn)含著豐富的應(yīng)用和研究?jī)r(jià)值，可以提供各類氣象服務(wù)，下面氣象數(shù)據(jù)在行業(yè)間的應(yīng)用做如下描述：

氣象部門向環(huán)保廳推送Micaps 數(shù)據(jù)、數(shù)值預(yù)報(bào)產(chǎn)品圖等相關(guān)分析材料，環(huán)保部門根據(jù)氣象相關(guān)資料分析引起環(huán)境變化的氣候條件，通過(guò)近年來(lái)的環(huán)保數(shù)據(jù)與氣象數(shù)據(jù)的關(guān)聯(lián)性分析，將引起環(huán)境條件發(fā)生嚴(yán)重變化的氣象要素?cái)?shù)發(fā)掘出來(lái)，提供政府及相關(guān)部門進(jìn)行決策指導(dǎo)。同時(shí)，氣象部門收集環(huán)保廳環(huán)境空氣質(zhì)量監(jiān)測(cè)數(shù)據(jù)、其它與空氣質(zhì)量預(yù)報(bào)及重污染天氣預(yù)警相關(guān)的可共享數(shù)據(jù)資料、城市空氣質(zhì)量狀況月報(bào)、其他相關(guān)分析材料等，氣象部門收集到的行業(yè)數(shù)據(jù)的資料將為后續(xù)相關(guān)天氣產(chǎn)品制作提供參考。

林業(yè)廳通過(guò)電子政務(wù)網(wǎng)絡(luò)訪問(wèn)氣象部門的“森林草原防撲火系統(tǒng)”，獲取衛(wèi)星遙感監(jiān)測(cè)、預(yù)報(bào)信息等，為林業(yè)廳森林草原防撲火工作提供科學(xué)數(shù)據(jù)和服務(wù)支撐。林業(yè)部門通過(guò)實(shí)時(shí)獲取氣象數(shù)據(jù)、森林資源數(shù)據(jù)及森林防火等各項(xiàng)數(shù)據(jù)，對(duì)森林防火實(shí)時(shí)指揮、日常林火監(jiān)測(cè)預(yù)警、災(zāi)后損失評(píng)等工作有較大幫助，整體提升了森林防火輔助決策指揮的信息化，對(duì)提升森林防火的效率、迅速發(fā)現(xiàn)火源等防火防災(zāi)工作有重要的意義[3]。

氣象部門為民航空管分局通過(guò)專線提供包括常規(guī)實(shí)時(shí)地面資料、高空資料、格點(diǎn)資料、衛(wèi)星云圖資料等micaps 系統(tǒng)業(yè)務(wù)運(yùn)行所需的實(shí)時(shí)氣象信息資料。機(jī)場(chǎng)部門利用已提供的氣象數(shù)據(jù)，對(duì)機(jī)場(chǎng)附近航班所涉及的及航空飛行區(qū)域進(jìn)行實(shí)時(shí)或預(yù)測(cè)性的分析，通過(guò)與GIS 和機(jī)場(chǎng)的管制信息融合，為機(jī)場(chǎng)管制人員提供機(jī)場(chǎng)區(qū)域的氣象條件預(yù)測(cè)，幫助機(jī)場(chǎng)管制人員了解天氣形勢(shì)，準(zhǔn)確把握飛機(jī)與特殊天氣區(qū)域的相對(duì)位置，為航線變更、飛機(jī)迫降等提前做好安全指揮工作，提高航空安全及航班準(zhǔn)時(shí)起降的保障水平[4]。

4 構(gòu)建氣象數(shù)據(jù)行業(yè)服務(wù)框架

4.1 設(shè)計(jì)概要

根據(jù)氣象部門部署的基于Openstack 公有云開源方案，將氣象部門各中心的基礎(chǔ)設(shè)施遷移到云端進(jìn)行整合，其中包括各類服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)資源的統(tǒng)一集約化部署，便于后續(xù)的維護(hù)管理。采用Hadoop 分布式文件系統(tǒng)，適合氣象數(shù)據(jù)的存儲(chǔ)、查詢以及應(yīng)用，氣象數(shù)據(jù)規(guī)范化流程參考目前國(guó)家氣象局已經(jīng)在全國(guó)部署并成熟運(yùn)用的全國(guó)綜合氣象信息共享平臺(tái)（CIMISS 系統(tǒng)），行業(yè)服務(wù)方面分為三類對(duì)各個(gè)行業(yè)、政府間提供專項(xiàng)氣象數(shù)據(jù)服務(wù)?；谏鲜霰硎觯瑢⒄麄€(gè)氣象數(shù)據(jù)服務(wù)框架分為以下四個(gè)部分，如圖1。

4.2 實(shí)現(xiàn)方案

氣象數(shù)據(jù)物理資源環(huán)境的整合。氣象系統(tǒng)內(nèi)部的物理資源包括機(jī)房?jī)?nèi)部供電、空調(diào)、環(huán)境監(jiān)控，氣象業(yè)務(wù)使用的服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等資源。將這些資源統(tǒng)一遷移到已搭建的云中心環(huán)境中去，形成對(duì)計(jì)算資源與存儲(chǔ)資源的統(tǒng)一管理與可伸縮式調(diào)配，網(wǎng)絡(luò)資源按照不同網(wǎng)段的規(guī)范化統(tǒng)一分配[5]。

氣象數(shù)據(jù)數(shù)據(jù)庫(kù)層整合。以Hadoop 為代表的分布式結(jié)構(gòu)得以解決通過(guò)提高系統(tǒng)平臺(tái)處理能力購(gòu)置更高端的計(jì)算設(shè)備帶來(lái)的硬件成本高但存儲(chǔ)效率低的缺點(diǎn)。Hadoop 作為一個(gè)分布式存儲(chǔ)和并行計(jì)算的臺(tái)可以解決海量氣象數(shù)據(jù)在數(shù)據(jù)存儲(chǔ)以及數(shù)據(jù)查詢所帶來(lái)的問(wèn)題。以Hadoop 為基礎(chǔ)的Hbase 邏輯模型和存儲(chǔ)架構(gòu)，具有可靠性高、高性能、按列存儲(chǔ)、實(shí)時(shí)讀寫等優(yōu)點(diǎn)，Hbase 通過(guò)nosql 技術(shù)將數(shù)據(jù)分布在氣象數(shù)據(jù)倉(cāng)庫(kù)的不同節(jié)點(diǎn)上，利用HDFS 的處理方式與Hadoop 的MapReduce 處理技術(shù)使得Hbase 存儲(chǔ)氣象數(shù)據(jù)的過(guò)程更加完善。

氣象數(shù)據(jù)流程整合。以CIMISS 氣象數(shù)據(jù)標(biāo)準(zhǔn)化框架，規(guī)范各類數(shù)據(jù)命名、格式和算法。對(duì)收集到的氣象數(shù)據(jù)進(jìn)行收集分發(fā)、數(shù)據(jù)加工處理、數(shù)據(jù)存儲(chǔ)管理、數(shù)據(jù)共享服務(wù)、業(yè)務(wù)監(jiān)控共5 個(gè)處理流程。實(shí)現(xiàn)約263 種基礎(chǔ)數(shù)據(jù)資源、CIPAS 數(shù)據(jù)資源、災(zāi)害數(shù)據(jù)等管理，形成國(guó)省一致的實(shí)時(shí)、歷史長(zhǎng)序列數(shù)據(jù)在線服務(wù)能力，同時(shí)CIMISS 通過(guò)標(biāo)準(zhǔn)統(tǒng)一、功能豐富、調(diào)用高效的氣象數(shù)據(jù)統(tǒng)一服務(wù)接口（MUSIC：Meteorological Unified Service Interface Community）及信息豐富、技術(shù)支持便捷的接口發(fā)布網(wǎng)站為各級(jí)業(yè)務(wù)應(yīng)用系統(tǒng)提供數(shù)據(jù)服務(wù)。

氣象數(shù)據(jù)行業(yè)服務(wù)整合。氣象數(shù)據(jù)云服務(wù)共享：行業(yè)服務(wù)采取的方案為將儲(chǔ)存的氣象數(shù)據(jù)于當(dāng)?shù)卣?wù)云中心或阿里云提供的云服務(wù)器中，云服務(wù)器中的數(shù)據(jù)通過(guò)數(shù)據(jù)庫(kù)備份程序進(jìn)行實(shí)時(shí)更新，具體網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖2。行業(yè)部門通過(guò)訪問(wèn)云服務(wù)器數(shù)據(jù)庫(kù)中的氣象數(shù)據(jù)制作響應(yīng)的服務(wù)產(chǎn)品。將數(shù)據(jù)托管的云平臺(tái)服務(wù)器上的優(yōu)點(diǎn)為各行業(yè)之間訪問(wèn)氣象數(shù)據(jù)整個(gè)過(guò)程集中化，無(wú)需通過(guò)運(yùn)營(yíng)商提供專用網(wǎng)絡(luò)獲取數(shù)據(jù)，減少網(wǎng)絡(luò)鏈路搭建所消耗的資源。數(shù)據(jù)安全方面，第三方的云服務(wù)器將會(huì)有更專業(yè)的數(shù)據(jù)安全維護(hù)措施，減少氣象部門專門針對(duì)數(shù)據(jù)安全所做的日常維護(hù)，而節(jié)約下的維護(hù)資源將應(yīng)用于氣象數(shù)據(jù)的產(chǎn)品制作中去。

3 氣象數(shù)據(jù)未來(lái)發(fā)展方向

氣象工作的最終目的是服務(wù)。氣象部門現(xiàn)有的服務(wù)包括面向政府的決策氣象服務(wù)，氣象數(shù)據(jù)將面向社會(huì)群體的公眾氣象服務(wù)，面向水利、電力、交通、農(nóng)業(yè)以及其它部門或企業(yè)的專業(yè)專項(xiàng)服務(wù)，以及針對(duì)干旱、暴雨洪澇、森林火險(xiǎn)、冰雹、雷電等災(zāi)害性天氣的氣象災(zāi)害預(yù)報(bào)預(yù)警服務(wù)。

氣象數(shù)據(jù)的大量搜集、處理和分析，對(duì)硬、軟件的要求更為苛刻，傳統(tǒng)的處理設(shè)備難以滿足數(shù)據(jù)處理的功能和性能要求。數(shù)據(jù)與云計(jì)算是一個(gè)問(wèn)題的兩面，一個(gè)是問(wèn)題，一個(gè)是解決問(wèn)題的方法。云計(jì)算是數(shù)據(jù)時(shí)代的基礎(chǔ)。當(dāng)越來(lái)越多的需求出現(xiàn)時(shí)，向虛擬的“云端”提出申請(qǐng)，“云端”為該需求迅速組織計(jì)算資源，而在計(jì)算結(jié)束并將結(jié)果反饋后，“云端”又可將這些臨時(shí)組織起來(lái)的資源快速釋放。這樣既提高了資源利用率，也使得我們不必為了復(fù)雜的運(yùn)算一味追求昂貴的超級(jí)計(jì)算機(jī)。

云計(jì)算使得數(shù)據(jù)處理更方便、更快速、更省時(shí)省力，這在氣象防災(zāi)減災(zāi)中意義重大。要提高預(yù)報(bào)預(yù)警準(zhǔn)確率、科學(xué)評(píng)估災(zāi)害，必須要納入除氣象數(shù)據(jù)以外的大量其他各行各業(yè)的數(shù)據(jù)，傳統(tǒng)的設(shè)備無(wú)法快速處理，這無(wú)疑是和生命財(cái)產(chǎn)安全搶奪時(shí)間，而云計(jì)算可以很好地規(guī)避這個(gè)問(wèn)題。

在氣象數(shù)據(jù)實(shí)現(xiàn)的過(guò)程中，各行業(yè)與氣象部門之間存在一定的“數(shù)據(jù)壁壘”，各個(gè)政府部門目前在數(shù)據(jù)統(tǒng)一規(guī)范方面還沒(méi)有形成標(biāo)準(zhǔn)的方案，對(duì)各個(gè)行業(yè)的數(shù)據(jù)進(jìn)行融合深度分析造成了很多障礙。所以為了更好的使用氣象數(shù)據(jù)為社會(huì)帶來(lái)更優(yōu)質(zhì)的服務(wù)，只有打破各個(gè)行業(yè)之間的數(shù)據(jù)壁壘才可以實(shí)現(xiàn)氣象數(shù)據(jù)的真正價(jià)值，為社會(huì)創(chuàng)造更多的財(cái)富。

圖1：氣象數(shù)據(jù)服務(wù)架構(gòu)圖

圖2：數(shù)據(jù)云服務(wù)共享