舒紅平 沈晨笛 張殿超

摘要：常規(guī)氣象格點(diǎn)數(shù)據(jù)主要由氣象衛(wèi)星、天氣雷達(dá)及數(shù)值預(yù)報(bào)產(chǎn)品等三部分構(gòu)成，目前確定的規(guī)范數(shù)據(jù)格式包括：Grib、NetCDF和HDF三種。Grib格式碼表十分規(guī)范，較適用于對規(guī)范要求嚴(yán)格的各項(xiàng)業(yè)務(wù);NetCDF及HDF由于其自身的靈活特征，有眾多應(yīng)用的支持，較適用于對規(guī)范要求嚴(yán)格的各項(xiàng)業(yè)務(wù);NetCDF及HDF由于其自身的靈活特性，有眾多應(yīng)用的支持，較適用于各種科研類工作。

關(guān)鍵詞：氣象格點(diǎn)數(shù)據(jù);規(guī)范化數(shù)據(jù)格式

中圖分類號(hào)：X16 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-672X（2019）06-0-02

DOI：10.16647/j.cnki.cn15-1369/X.2019.06.151

Abstract： The conventional meteorological grid data is mainly composed of three parts： meteorological satellite， weather radar and numerical forecasting products. The current standardized data formats include Grib， NetCDF and HDF. The Grib format code table is very standard and is more suitable for various services that require strict specifications. NetCDF and HDF are supported by numerous applications due to their flexible features. They are more suitable for various services that require strict specifications; NetCDF and HDF Due to its flexible nature， it is supported by many applications and is suitable for various scientific research work.

Keywords： Meteorological grid data; Normalized data format

隨著社會(huì)的進(jìn)步和全球氣候變暖的加劇，人們對氣象預(yù)報(bào)和服務(wù)的需求越來越迫切，而氣象格點(diǎn)數(shù)據(jù)是氣象業(yè)務(wù)和科研等各種專業(yè)工作中不可缺少的重要數(shù)據(jù)內(nèi)容。

目前氣象業(yè)務(wù)和科研工作使用的氣象格點(diǎn)數(shù)據(jù)主要有三大類：氣象衛(wèi)星數(shù)據(jù)、天氣雷達(dá)數(shù)據(jù)、數(shù)值預(yù)報(bào)產(chǎn)品數(shù)據(jù)。中國氣象局于2017年頒布的《氣象數(shù)據(jù)格式應(yīng)用指南》確定的六種數(shù)據(jù)格式中，有三種適用于氣象格點(diǎn)數(shù)據(jù)的存儲(chǔ)管理，分別是：Grib2（General Regularly-distributed Information in Binary from2）、NetCDF（network Common Data Form）、HDF5（Hierarchical Data File5）。隨著天氣雷達(dá)網(wǎng)建設(shè)的全面展開以及風(fēng)云系列氣象衛(wèi)星的不斷升空，氣象格點(diǎn)數(shù)據(jù)的體量正以每日數(shù)十TB的增量迅速膨脹。如何有效地運(yùn)用規(guī)范化數(shù)據(jù)格式來適應(yīng)不同氣象專業(yè)工作的特點(diǎn)，是一個(gè)不容忽視的問題。本文將簡要介紹常規(guī)氣象格點(diǎn)數(shù)據(jù)，概述并分析比較這三種格點(diǎn)數(shù)據(jù)編碼格式。

1 常規(guī)氣象格點(diǎn)數(shù)據(jù)

1.1 氣象衛(wèi)星數(shù)據(jù)

氣象衛(wèi)星[4]（meteorological satellite）分為極軌衛(wèi)星與靜止衛(wèi)星兩類，這兩類衛(wèi)星的數(shù)據(jù)概述如下：

1.1.1 極軌衛(wèi)星

極軌衛(wèi)星數(shù)據(jù)在掃描時(shí)遠(yuǎn)點(diǎn)與星下近點(diǎn)的格點(diǎn)間距不同。極軌衛(wèi)星掃描后的格點(diǎn)數(shù)據(jù)形狀一般都是帶狀的，雖然并不規(guī)則但存在一定規(guī)律。此外，由于極軌衛(wèi)星呈勻速飛行，相鄰兩條掃描線之間的距離是相等的。具體掃描圖像如下圖：

1.1.2 靜止衛(wèi)星

靜止氣象衛(wèi)星所產(chǎn)生的遙感數(shù)據(jù)是由從北到南的逐條掃描線組合而成的，每條掃描線由西向東逐點(diǎn)橫向掃描，形成覆蓋地球一側(cè)的圓盤格點(diǎn)數(shù)據(jù)及圖像。與極軌氣象衛(wèi)星同樣的，由于地球表面的曲率，每條掃描線中相鄰兩點(diǎn)間的距離不盡相同，但有規(guī)律可循。具體衛(wèi)星的掃描圖像如下：

1.2 天氣雷達(dá)數(shù)據(jù)

天氣雷達(dá)是以體掃方式收集數(shù)據(jù)的，雷達(dá)原始數(shù)據(jù)是采用球坐標(biāo)形式的格點(diǎn)數(shù)據(jù)，其數(shù)據(jù)呈圓臺(tái)形，在頂部有一個(gè)圓錐形的鏤空，這是由于雷達(dá)在體掃時(shí)的特點(diǎn)所造成的。在一些應(yīng)用中人們常利用一定的插值方法，將球坐標(biāo)系下的雷達(dá)原始資料插值到笛卡爾坐標(biāo)系下的規(guī)則三維網(wǎng)格點(diǎn)上。在經(jīng)過插值后進(jìn)行存儲(chǔ)的這類數(shù)據(jù)多數(shù)都是4維的，有著3維的長寬高以及1維的時(shí)間。

1.3 數(shù)值預(yù)報(bào)產(chǎn)品

數(shù)值預(yù)報(bào)是基于天氣預(yù)報(bào)的，由觀測獲得的當(dāng)前大氣狀態(tài)出發(fā)，借助于現(xiàn)代電子計(jì)算機(jī)，采用數(shù)值方式求解控制大氣運(yùn)動(dòng)的流體力學(xué)方程組，從而對未來天氣或氣候變化做出預(yù)報(bào)。

數(shù)值預(yù)報(bào)產(chǎn)品數(shù)據(jù)是最為經(jīng)典的格點(diǎn)數(shù)據(jù)，其格點(diǎn)形式根據(jù)數(shù)值模式和處理方案的不同而彼此各異，諸如：等距格點(diǎn)、蘭勃特投影、麥卡托投影、經(jīng)緯度等距格點(diǎn)等多種格點(diǎn)方案，由于種類繁多，不與贅述。

2 規(guī)范化格式描述

2.1Grib2和NetCDF

鑒于Grib2和NetCDF已有不少文獻(xiàn)予以介紹，感興趣者請參見參考文獻(xiàn)，此處不再贅述。

2.2HDF5

HDF5是一種用于存儲(chǔ)科學(xué)數(shù)據(jù)的文件格式，它被設(shè)計(jì)用來滿足科學(xué)數(shù)據(jù)存儲(chǔ)量不斷增加和數(shù)據(jù)處理不斷變化的需求。為了充分利用當(dāng)今計(jì)算機(jī)系統(tǒng)的能力和特點(diǎn)，HDF5具有一個(gè)強(qiáng)大與靈活的數(shù)據(jù)模板，其支持管理的文件大小大于2GB，同時(shí)還支持并行I/O，線程和具備現(xiàn)代操作系統(tǒng)與應(yīng)用程序所要求的其他特性，而且數(shù)據(jù)模型也變得更為簡單，概括性更強(qiáng)。HDF5邏輯格式如下圖：

HDF5格式只有兩種基本結(jié)構(gòu)：組（group）和數(shù)據(jù)集（dataset），組包含0個(gè)或多個(gè)數(shù)據(jù)集，在HDF5中用一個(gè)小數(shù)據(jù)集Attribute表示注釋信息，其中：

（1）HDF5 group：按照組織結(jié)構(gòu)包含零個(gè)組或多個(gè)組或數(shù)據(jù)集的實(shí)例，同時(shí)它還支持元數(shù)據(jù)（metadata）;

（2）HDF5 dataset：數(shù)據(jù)元素的多維數(shù)組，支持元數(shù)據(jù)。

HDF的具體優(yōu)勢與特性請參見參考文獻(xiàn)，此處不再贅述。

3 格式的比較分析

3.1Grib與NetCDF

Grib與NetCDF在數(shù)據(jù)本身的存儲(chǔ)上并沒有什么太大的不同，都是進(jìn)行了一定簡單的壓縮方法后使用數(shù)組存儲(chǔ)，然而雙方在數(shù)據(jù)的描述方面存在較大差異。

Grib由WMO推薦，使用非常嚴(yán)格的碼表來描述要素，用模板來描述和存儲(chǔ)數(shù)據(jù)，為此WMO幾乎每年都會(huì)專門針對這些碼表召開相關(guān)會(huì)議，用以確認(rèn)是否需要修改或擴(kuò)充，從而使得這個(gè)碼表本身的變動(dòng)變得較為困難。這種情況在一定程度上限制了Grib2的適用范圍，由于其碼表的內(nèi)容具有嚴(yán)格的限制，一般來說Grib2只能使用在氣象行業(yè)，存儲(chǔ)一些衛(wèi)星、雷達(dá)與數(shù)值預(yù)報(bào)產(chǎn)品數(shù)據(jù)。GRIB2數(shù)據(jù)格式的優(yōu)勢在于，由于碼表和模板的規(guī)范性，任何用戶均可根據(jù)要素碼和模板代碼等格式信息，通過參考手冊或?qū)φ毡矶髁舜鎯?chǔ)數(shù)據(jù)的基本信息，從而使得用戶可以在沒有任何復(fù)雜說明只有一張對照表的情況下使用數(shù)據(jù)。

NetCDF在這一點(diǎn)上與之不同。NetCDF在數(shù)據(jù)描述方面有著很高的自由性，以要素而言，它既可以用碼表描述，也可以用文字描述，這就造就了NetCDF極高的通用性與靈活性，用戶非但可以使用NetCDF存儲(chǔ)氣象格點(diǎn)數(shù)據(jù)，而且也可存儲(chǔ)其他專業(yè)領(lǐng)域的格點(diǎn)數(shù)據(jù)。同時(shí)在可存儲(chǔ)的維度方面，NetCDF也比Grib有著更多的選擇，從1維到n維，從單一離散數(shù)據(jù)到格點(diǎn)數(shù)據(jù)，NetCDF都可予以便利的存儲(chǔ)管理。相比較而言，Grib2只能存儲(chǔ)二維及二維以上的氣象格點(diǎn)數(shù)據(jù)，應(yīng)用范圍被局限在氣象領(lǐng)域之內(nèi)。兩者在使用范圍上的差異是由于這兩種格式對于數(shù)據(jù)描述方式的不同所造成的。

3.2NetCDF與HDF5

NetCDF與HDF5對數(shù)據(jù)的描述方法相近，都可以采用碼表或場描述，又可以采用文字描述，數(shù)據(jù)的通用性也很好，基本滿足了大部分格點(diǎn)數(shù)據(jù)對數(shù)據(jù)存儲(chǔ)的需求。由于這兩種格式的版本繁多，在這里我們主要采用NetCDF-4與HDF5進(jìn)行論述。

NetCDF-4文件是使用HDF5庫創(chuàng)建的，并且是各種方式的HDF5文件，無需NetCDF-4接口即可讀取。

NetCDF-4文件中的組對應(yīng)于HDF5組。NetCDF中的變量與HDF5中具有相同名稱的數(shù)據(jù)集共同使用，屬性類似。

由于NetCDF文件中的元數(shù)據(jù)多于HDF5文件，因此使用特殊數(shù)據(jù)集來保存NetCDF元數(shù)據(jù)。

同時(shí)HDF5具有NetCDF-4不支持的一些功能，并且會(huì)導(dǎo)致互操作性問題：

（1）HDF5允許組既是另一組的“祖先”又是“后代”，在子組圖中創(chuàng)建循環(huán)。HDF5還允許一組的多個(gè)“父母”。在NetCDF-4數(shù)據(jù)模型中，組形成一個(gè)沒有循環(huán)的樹，因此每個(gè)組（頂級(jí)未命名組除外）都具有唯一的父級(jí)。

（2）HDF5支持“引用”，類似于指向文件中對象和數(shù)據(jù)區(qū)域的指針。NetCDF-4數(shù)據(jù)模型省略了引用。

（3）HDF5支持NetCDF-4數(shù)據(jù)模型中未包含的一些原始類型，包括H5T_TIME和H5T_BITFIELD。

（4）HDF5支持?jǐn)?shù)據(jù)對象的多個(gè)名稱，如數(shù)據(jù)集（NetCDF-4變量），沒有可分辨名稱。NetCDF-4數(shù)據(jù)模型要求每個(gè)變量，屬性，維度和組都具有單個(gè)可分辨名稱。

（5）HDF5（如NetCDF）支持標(biāo)量屬性，但NetCDF-4無法讀取標(biāo)量HDF5屬性（除非它是字符串屬性）。

由此可以看出HDF與NetCDF主要是一個(gè)包含關(guān)系。

3.3 結(jié)論

在氣象領(lǐng)域種，3種格式都可以獨(dú)立管理所有常規(guī)氣象格點(diǎn)數(shù)據(jù)，但從能力范圍的角度來看，他們互相之間是一種包含關(guān)系，即：NetCDF包含Grib，HDF包含NetCDF。

4 總結(jié)

在常規(guī)氣象格點(diǎn)數(shù)據(jù)所使用的幾種格式中，Grib是一種專門為了氣象格點(diǎn)數(shù)據(jù)所量身定制的格式，對于常規(guī)的氣象格點(diǎn)數(shù)據(jù)來說，是最為規(guī)范化的一種格式，但在平時(shí)的使用中，因?yàn)槠渫卣剐耘c通用性不足，使得Grib的應(yīng)用范圍相對較窄，所適用的應(yīng)用軟件（包括繪圖軟件）相對有限;而NetCDF與HDF的使用十分簡單，很多應(yīng)用軟件都支持這兩種格式，這與他們的通用性與靈活性是分不開的。

GRIB碼作為WMO推薦使用的專用于存儲(chǔ)管理氣象格點(diǎn)數(shù)據(jù)的表格驅(qū)動(dòng)碼，在氣象格點(diǎn)數(shù)據(jù)的業(yè)務(wù)工作中（尤其是數(shù)據(jù)交換過程中），有其特有的嚴(yán)格和規(guī)范等特點(diǎn);而NetCDF格式則由于其靈活的存儲(chǔ)方案以及十分廣泛的應(yīng)用適用范圍，很適合氣象科研領(lǐng)域的工作特點(diǎn)。

因此，在規(guī)范性要求嚴(yán)格的業(yè)務(wù)工作中，Grib相對更為適合作為規(guī)范化管理的依據(jù);而在對自由度、靈活性要求更高的科研工作中，NetCDF作為規(guī)范化管理的統(tǒng)一格式相對是一個(gè)較好的選擇。

參考文獻(xiàn)

[1]范振林，鄭寶鋒，吳斌.氣象數(shù)據(jù)服務(wù)在地質(zhì)調(diào)查安全生產(chǎn)管理保障系統(tǒng)中的應(yīng)用[J].安全與環(huán)境工程，2018，25（04）：156-159.

[2]顧洪，李昀英.NC格式氣象數(shù)據(jù)無損壓縮研究[J].計(jì)算機(jī)工程與應(yīng)用，2012，48（09）：90-91+148.

[3]張林.中國氣象百科全書[J].氣象，2017，43（02）：248.

[4]黃云仙，張英.多普勒天氣雷達(dá)數(shù)據(jù)插值方法比較研究[J].遙感應(yīng)用，2008（2）：39-45.

[5]陳甫，舒秦.GRIB2資料解讀[J].電腦知識(shí)與技術(shù)，2014，10（14）：3201-3203.

[6]劉媛媛，應(yīng)顯勛，趙芳.GRIB2介紹及解碼初探[J].氣象科技，2006（S1）：61-64.

[7]賈俊濤，孟嬋媛，宋海英，魯強(qiáng)，譚冀川.基于NetCDF的海底地形網(wǎng)格數(shù)據(jù)模型創(chuàng)建與調(diào)度[J].海洋測繪，2007（05）：22-25.

[8]顧洪，李昀英.NetCDF格式數(shù)據(jù)無損壓縮[J].數(shù)據(jù)采集與處理，2010，25（S1）：87-91.

[9]李繼祥，于立，陳龍泉，姚仁太，郝宏偉，范丹，呂明華.NetCDF格式在Windows及Linux平臺(tái)下的讀寫[J].安徽農(nóng)業(yè)科學(xué)，2014，42（33）：11942-11945.

[10]王玲，龔健雅.基于HDF文件的組織方式與影像提取[J].測繪通報(bào)，2003（4）：35-37.

[11]李振鋒，李五生，祿永旭，王衛(wèi)平，馬馳.利用HDF5數(shù)據(jù)格式構(gòu)建氣象預(yù)報(bào)業(yè)務(wù)平臺(tái)數(shù)據(jù)庫[J].氣象與環(huán)境科學(xué)，2014（8）：114-119.

[12]呂梁，陳晴，滕舟.基于NetCDF的數(shù)值預(yù)報(bào)產(chǎn)品存儲(chǔ)和應(yīng)用[J].現(xiàn)代計(jì)算機(jī)（專業(yè)版），2015（16）：47-50+55.

收稿日期：2018-12-04

作者簡介：舒紅平（1974-），男，漢族，研究生學(xué)歷，計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)博士學(xué)位，中國科學(xué)院大學(xué)兼職博士導(dǎo)師，研究方向?yàn)閿?shù)據(jù)庫與知識(shí)工程、計(jì)算機(jī)在制造業(yè)中的應(yīng)用、氣象信息共享軟件技術(shù)。

通信作者：沈晨笛（1994-），男，漢族，在讀研究生，研究方向?yàn)闅庀笮畔⒒?/p>