白水成，李社宏，周　林

(陜西省氣象局，西安　710014)

?

自動氣象站數(shù)據(jù)質(zhì)量控制體系設(shè)計

白水成，李社宏，周林

(陜西省氣象局，西安710014)

摘要：數(shù)據(jù)質(zhì)量是影響自動氣象站觀測業(yè)務(wù)發(fā)展的一個瓶頸。重新定義了自動氣象站數(shù)據(jù)質(zhì)量，分析了影響自動氣象站數(shù)據(jù)質(zhì)量的因素，設(shè)計了自動氣象站數(shù)據(jù)質(zhì)量控制體系，并對體系的各組成部分進行了詳細闡述。自動氣象站數(shù)據(jù)質(zhì)量控制體系由質(zhì)量控制流程、質(zhì)量控制標(biāo)識碼、數(shù)據(jù)質(zhì)量評估三部分組成，其中,質(zhì)量控制流程又由數(shù)據(jù)生產(chǎn)階段、數(shù)據(jù)傳輸階段、數(shù)據(jù)檢查階段組成。自動氣象站數(shù)據(jù)質(zhì)量控制體系的核心是在減少疑誤數(shù)據(jù)產(chǎn)生的前提下，對觀測數(shù)據(jù)進行全生命周期控制和評估。

關(guān)鍵詞：自動氣象站；數(shù)據(jù)質(zhì)量控制；體系

近年來，為了適應(yīng)中小尺度、短時臨近精細化天氣預(yù)報和特殊行業(yè)服務(wù)業(yè)務(wù)需求，地面自動氣象站建設(shè)規(guī)模不斷擴大，觀測資料時空分辨率不斷提高。截止目前，我國已建成各類自動氣象站(AWS)5.7萬多套。AWS 觀測資料具有站點分布密集、地形差異大、測站環(huán)境惡劣、數(shù)據(jù)采集和傳輸自動化程度高、資料實時性強、中小尺度天氣現(xiàn)象明顯等特點, 因此其質(zhì)量問題比人工常規(guī)地面站(CMWS)觀測資料顯得更復(fù)雜和嚴重[1-4]。傳統(tǒng)的質(zhì)量控制方法主要根據(jù)氣象學(xué)、天氣學(xué)、氣候?qū)W原理，以氣象要素的時間、空間變化規(guī)律和各要素間相互關(guān)聯(lián)的規(guī)律為線索，分析氣象資料是否合理[5-11]。還有學(xué)者[4]發(fā)展了一種利用要素數(shù)值預(yù)報場對觀測數(shù)據(jù)進行質(zhì)量控制的技術(shù)。目前，我國自動氣象站數(shù)據(jù)質(zhì)量控制業(yè)務(wù)發(fā)展較快，多個省份開發(fā)了省級數(shù)據(jù)質(zhì)量控制系統(tǒng)[12-13]，中國氣象局氣象探測中心開發(fā)了綜合氣象觀測系統(tǒng)運行監(jiān)控平臺(ASOM)[14]，國家信息中心開發(fā)了氣象資料業(yè)務(wù)系統(tǒng)(MDOS)質(zhì)量控制系統(tǒng)[15]。另外，新型自動站業(yè)務(wù)軟件(ISOS)也設(shè)計了部分質(zhì)量控制功能。雖然地面觀測數(shù)據(jù)質(zhì)量控制工作已經(jīng)作為一項基本業(yè)務(wù)在國家、省、臺站三級開展，但地面觀測資料，尤其是區(qū)域自動氣象站資料利用率還很低，基本只做存檔或過程總結(jié)使用，沒有進入數(shù)值模式改善數(shù)據(jù)結(jié)果，很大程度上造成資源浪費。主要原因有三方面，一是目前的地面觀測數(shù)據(jù)質(zhì)量控制主要集中在對觀測數(shù)據(jù)進行篩查，沒有從源頭上進行控制；二是為了避免將極端天氣觀測資料濾除，各類閾值設(shè)置的較為寬泛，只能將粗大誤差過濾出來；三是目前的質(zhì)量控制業(yè)務(wù)政出多門、規(guī)則庫不統(tǒng)一。針對目前地面觀測數(shù)據(jù)質(zhì)量控制工作中存在的問題，對數(shù)據(jù)質(zhì)量進行了重新定義，分析了影響數(shù)據(jù)質(zhì)量的因素，提出了一種全新的自動氣象站數(shù)據(jù)質(zhì)量控制體系模型，并對體系的各組成部分進行了詳細闡述。

1自動氣象站數(shù)據(jù)質(zhì)量定義和誤差來源

1.1數(shù)據(jù)質(zhì)量定義

在傳統(tǒng)意義上，對地面觀測數(shù)據(jù)質(zhì)量的要求是代表性、準確性、比較性[16]。近年來，各類數(shù)據(jù)質(zhì)量控制業(yè)務(wù)均是圍繞數(shù)據(jù)準確性開展，采用各種算法對觀測數(shù)據(jù)進行甄別、篩查，并將質(zhì)控過的數(shù)據(jù)打上正確、可疑、錯誤等標(biāo)識碼。隨著地面觀測自動化的逐步實現(xiàn)，以及社會各界對氣象預(yù)報服務(wù)產(chǎn)品要求的不斷提高，對觀測數(shù)據(jù)質(zhì)量的要求除了代表性、準確性、比較性外，還增加了完整性和時效性。完整性是指實際觀測到的正確數(shù)據(jù)與應(yīng)觀測到的正確數(shù)據(jù)的比率，提高完整性就要盡可能減少觀測數(shù)據(jù)的錯誤率和缺測率。時效性是指觀測數(shù)據(jù)到達資料使用者的時間，提高時效性就要盡可能的縮短數(shù)據(jù)傳輸和質(zhì)量控制的時間。新的數(shù)據(jù)質(zhì)量定義不但要求剔除錯誤數(shù)據(jù)，還要求盡可能減少錯誤數(shù)據(jù)。

1.2影響數(shù)據(jù)質(zhì)量的因素

從數(shù)據(jù)準確性方面來說，氣象觀測資料可能存在3類性質(zhì)完全不同的誤差：隨機誤差、系統(tǒng)性誤差、過失誤差(偶然誤差)。隨機誤差主要受大量微小隨機因素影響，測量誤差大小和符號沒有一定規(guī)律，且無法估計，因此無法避免。系統(tǒng)性誤差包括儀器誤差、方法誤差、操作誤差等。在自動氣象站數(shù)據(jù)觀測過程中，可能引起系統(tǒng)誤差的事件包括計量檢定不及時、設(shè)備選型不標(biāo)準等。過失誤差是由觀測過程中的非隨機事件如設(shè)備維護不規(guī)范、測量儀表失靈、設(shè)備故障等引發(fā)的測量數(shù)據(jù)嚴重失真現(xiàn)象。影響觀測數(shù)據(jù)代表性的因素主要是站址選擇不規(guī)范、探測環(huán)境被破壞等。影響觀測數(shù)據(jù)比較性的因素主要包括觀測時間、觀測儀器、觀測方法和數(shù)據(jù)處理等方面的不統(tǒng)一。影響觀測數(shù)據(jù)完整性的因素比較多，如設(shè)備維護、設(shè)備檢定、設(shè)備故障等。影響觀測數(shù)據(jù)時效性的因素包括通信線路、報文解析、質(zhì)量控制、數(shù)據(jù)入庫等。

2自動氣象站數(shù)據(jù)質(zhì)量控制體系總體框架

現(xiàn)有的數(shù)據(jù)質(zhì)量控制主要建立在對觀測報文及觀測數(shù)據(jù)進行分析的基礎(chǔ)上，質(zhì)量控制效果有限，如3 ℃以內(nèi)的氣溫誤差很難被發(fā)現(xiàn)。為了全面提高自動氣象站數(shù)據(jù)質(zhì)量，結(jié)合前面對數(shù)據(jù)質(zhì)量的定義及對影響觀測數(shù)據(jù)質(zhì)量因素的分析，提出建立自動氣象站數(shù)據(jù)質(zhì)量控制體系這一概念。自動氣象站數(shù)據(jù)質(zhì)量控制體系包括三部分：質(zhì)量控制流程、質(zhì)量控制標(biāo)識碼、數(shù)據(jù)質(zhì)量評估(見圖1)。質(zhì)量控制體系的實施，需要在現(xiàn)有的業(yè)務(wù)系統(tǒng)中增加一個狀態(tài)文件，將數(shù)據(jù)生產(chǎn)階段各環(huán)節(jié)的質(zhì)控信息傳到各級質(zhì)控中心。

圖1　自動氣象站數(shù)據(jù)質(zhì)量控制體系基本結(jié)構(gòu)示意圖

2.1質(zhì)量控制流程

質(zhì)量控制流程是對觀測數(shù)據(jù)進行全生命周期質(zhì)量控制，主要包括三個階段：數(shù)據(jù)生產(chǎn)階段，數(shù)據(jù)傳輸階段，數(shù)據(jù)檢查階段。數(shù)據(jù)生產(chǎn)階段是對觀測數(shù)據(jù)離開采集器前的各個環(huán)節(jié)進行質(zhì)量控制，數(shù)據(jù)生產(chǎn)階段控制環(huán)節(jié)包括站址選擇、設(shè)備選型、設(shè)備安裝、設(shè)備維護、設(shè)備維修、計量檢定、數(shù)據(jù)采集等。數(shù)據(jù)傳輸階段是對觀測數(shù)據(jù)離開采集器到達資料使用者之間各環(huán)節(jié)的處理時間進行控制，確保觀測數(shù)據(jù)及早到達資料使用者，傳輸階段的環(huán)節(jié)包括數(shù)據(jù)傳輸、報文解析、數(shù)據(jù)入庫等。數(shù)據(jù)檢查階段是對數(shù)據(jù)報文和狀態(tài)報文進行解讀，數(shù)據(jù)報文的控制方法采用MDOS系統(tǒng)的質(zhì)控方法，MDOS系統(tǒng)已投入業(yè)務(wù)應(yīng)用，在此不作詳述。

2.2質(zhì)量控制標(biāo)識碼

質(zhì)量控制標(biāo)識碼主要是為資料的使用者提供有關(guān)資料的質(zhì)量信息。質(zhì)量控制流程各階段的每個環(huán)節(jié)在參與質(zhì)量控制過程中，均留有標(biāo)識，這些標(biāo)識隨報文一起上傳，最終形成一個標(biāo)識碼(可信度)?？尚哦扔冒俜謹?shù)表示，100%表示完全可信，0%表示完全不可信。各階段的標(biāo)識碼和最終的標(biāo)識碼與觀測數(shù)據(jù)一起提供給用戶，用戶根據(jù)需要自主選擇不同質(zhì)量的數(shù)據(jù)。

2.3數(shù)據(jù)質(zhì)量評估

數(shù)據(jù)質(zhì)量評估包括兩部分：一是對質(zhì)量控制的結(jié)果進行統(tǒng)計分析，二是評估質(zhì)量控制的能力。質(zhì)量控制評估可按月、季、年進行，并出具評估報告。

3質(zhì)量控制流程設(shè)計方案

3.1數(shù)據(jù)生產(chǎn)階段

3.1.1站址選擇自動氣象站建設(shè)時對站址環(huán)境有明確要求，特別是對國家級自動氣象站?，F(xiàn)實中，由于特殊服務(wù)的需要，如為農(nóng)服務(wù)、交通服務(wù)、旅游服務(wù)等，所選站址不一定達到標(biāo)準要求。另外，隨著社會經(jīng)濟的發(fā)展，部分站點的探測環(huán)境還有可能被破壞。鑒于以上兩點，每年要對探測環(huán)境進行評估，并將評估分數(shù)錄入觀測系統(tǒng)。

3.1.2設(shè)備選型不同型號的設(shè)備觀測數(shù)據(jù)質(zhì)量不同。雖然氣象部門規(guī)定只有獲得準入許可的設(shè)備才能進入氣象觀測系統(tǒng)，但是由于特殊服務(wù)的需要，部分沒有獲得許可證的設(shè)備也進入了氣象觀測系統(tǒng)。在設(shè)備安裝階段，要將設(shè)備型號錄入觀測系統(tǒng)。

3.1.3設(shè)備安裝設(shè)備安裝規(guī)范與否，對觀測數(shù)據(jù)的質(zhì)量有很大影響。如地面溫度傳感器，規(guī)范要求一半埋入土中，一半裸露在空氣中，安裝稍不規(guī)范，就會造成5 ℃以上的誤差，因此應(yīng)制定嚴格的設(shè)備安裝驗收制度。另外，設(shè)備安裝期間，觀測數(shù)據(jù)不準確，因此設(shè)備安裝完成后，要將安裝起止時間錄入觀測系統(tǒng)。

3.1.4設(shè)備維修設(shè)備故障是造成錯誤數(shù)據(jù)的重要原因之一，及時高效的維修能夠極大提高觀測數(shù)據(jù)的質(zhì)量。維修往往具有滯后性，維修過程中，要對故障的發(fā)生時間進行判斷，維修結(jié)束后，要將故障的起止時間錄入觀測系統(tǒng)。

3.1.5設(shè)備維護及時維護是確保觀測數(shù)據(jù)準確的重要手段之一。每一類設(shè)備都應(yīng)建立一套維護流程，明確維護時間。超過維護時效的儀器，觀測數(shù)據(jù)值得懷疑。在維護期間，部分要素的數(shù)據(jù)是失真的，維護結(jié)束后，要將維護的起止時間錄入觀測系統(tǒng)。

3.1.6檢定校準檢定校準是確保觀測數(shù)據(jù)準確性的一道重要防線，超過檢定期的設(shè)備，數(shù)據(jù)質(zhì)量嚴重值得懷疑。在檢定過程中，觀測值也不可信，在檢定結(jié)束后，要將檢定的起止時間和檢定出的系統(tǒng)偏差錄入系統(tǒng)，并將系統(tǒng)偏差疊加到觀測值中。

3.1.7數(shù)據(jù)采集中國氣象局印發(fā)的《第二代自動氣象站功能規(guī)格書》中要求，采集器應(yīng)具備監(jiān)測電路，對觀測系統(tǒng)主要部件的運行狀態(tài)進行監(jiān)控。目前ISOS軟件系統(tǒng)中生成狀態(tài)文件AWS_M_ST_IIiii_yyyyMMDD.TXT，但文件還沒有上傳。對臺站來說，觀測數(shù)據(jù)錯誤無外乎兩種原因，一是設(shè)備故障，二是外部因素干擾。加強對狀態(tài)數(shù)據(jù)的應(yīng)用，能夠及早發(fā)現(xiàn)設(shè)備故障。為了與現(xiàn)有業(yè)務(wù)軟、硬件對接，在自動氣象站數(shù)據(jù)質(zhì)量控制體系中，需要對現(xiàn)有狀態(tài)文件內(nèi)容進行擴充，將數(shù)據(jù)生產(chǎn)階段其他環(huán)節(jié)的質(zhì)控信息寫入該文件，并上傳至質(zhì)控中心。

3.2數(shù)據(jù)傳輸階段

觀測數(shù)據(jù)從臺站到達資料使用者，至少要經(jīng)歷以下傳輸過程：原始數(shù)據(jù)從臺站傳到省級信息中心，再從省級信息中心傳到國家級信息中心；原始數(shù)據(jù)被質(zhì)控后，疑誤數(shù)據(jù)從國家級信息中心傳到省信息中心，然后連同省級的疑誤數(shù)據(jù)一并傳到臺站；臺站對疑誤數(shù)據(jù)甄別后，再將結(jié)果反饋至省級、國家級信息中心；質(zhì)控過的數(shù)據(jù)最后進入數(shù)據(jù)庫，供使用者使用。總體來說，在整個過程中要經(jīng)歷數(shù)據(jù)傳輸、報文解析、數(shù)據(jù)入庫等三個環(huán)節(jié)。依據(jù)現(xiàn)有的信息網(wǎng)絡(luò)技術(shù)，數(shù)據(jù)在傳輸、解析、入庫等過程中丟碼現(xiàn)象很少，本階段影響數(shù)據(jù)質(zhì)量的原因主要是網(wǎng)絡(luò)中斷。為了提高數(shù)據(jù)傳輸質(zhì)量，建設(shè)雙傳輸線路是非常必要的。為了便于評估，需要將原始報文的到報時間和質(zhì)控后數(shù)據(jù)的入庫時間作為質(zhì)控碼的一部分錄入數(shù)據(jù)庫。

3.3數(shù)據(jù)檢查階段

數(shù)據(jù)檢查階段除了對數(shù)據(jù)報文進行判斷外，還需要對狀態(tài)文件進行解讀。由于數(shù)據(jù)生產(chǎn)階段設(shè)備維護、維修，檢定校準等環(huán)節(jié)的質(zhì)控信息具有滯后性，因此數(shù)據(jù)檢查階段的質(zhì)量控制要分三個進程同時進行，第一個進程對過去1小時的數(shù)據(jù)進行控制，第二個進程對過去24小時的數(shù)據(jù)進行控制，第三個進程對過去1周的數(shù)據(jù)進行控制。由于數(shù)據(jù)生產(chǎn)階段的質(zhì)控信息一般有人工參與，相對比較可靠，因此在數(shù)據(jù)檢查階段，一旦發(fā)現(xiàn)觀測數(shù)據(jù)在生產(chǎn)階段被標(biāo)識為錯誤，便可不對該數(shù)據(jù)進行算法控制，直接標(biāo)識為錯誤。

4質(zhì)量控制標(biāo)識碼設(shè)計方案

質(zhì)量控制標(biāo)識碼分為過程標(biāo)識碼和最終標(biāo)識碼，不同階段的標(biāo)識碼在可信度指標(biāo)中所占權(quán)重系數(shù)不同。各階段的標(biāo)識碼見表1。

表1　質(zhì)量控制流程標(biāo)識碼

數(shù)據(jù)生產(chǎn)階段的各個環(huán)節(jié)決定了觀測數(shù)據(jù)的代表性、準確性、比較性、完整性，同時影響到數(shù)據(jù)的時效性，因此是數(shù)據(jù)質(zhì)量控制的核心。生產(chǎn)階段總的權(quán)重系數(shù)P的計算公式為

P=P0P1P2P3P4P5P6P7P8P9。

(1)

數(shù)據(jù)可信度指標(biāo)(L)計算公式為

L=PC，

(2)

式中，只有生產(chǎn)階段和檢查階段的權(quán)重系數(shù)進入了可信度指標(biāo)計算，傳輸階段沒有進入，這是因為數(shù)據(jù)傳輸階段的各個環(huán)節(jié)除對時效性影響大外，對其它質(zhì)量特性影響很小。

5數(shù)據(jù)質(zhì)量評估方法介紹

對觀測數(shù)據(jù)質(zhì)量的統(tǒng)計分析，用戶可根據(jù)需要依據(jù)質(zhì)量控制標(biāo)識碼對數(shù)據(jù)的代表性、準確性、比較性、完整性、時效性以及可信度進行統(tǒng)計、分析，統(tǒng)計方法和技術(shù)已經(jīng)比較成熟，不做詳細介紹。對質(zhì)量控制能力的評估，可通過對國家級自動氣象站的質(zhì)控結(jié)果進行分析得出，因為國家級自動氣象站有人值守，運行管理規(guī)章制度較為健全，數(shù)據(jù)質(zhì)量可以人工核實。

6結(jié)語

依據(jù)現(xiàn)實業(yè)務(wù)需求重新定義了數(shù)據(jù)質(zhì)量的概念，分析了影響數(shù)據(jù)質(zhì)量的因素，設(shè)計了自動氣象站數(shù)據(jù)質(zhì)量控制體系框架結(jié)構(gòu)和標(biāo)識碼，提出了評價數(shù)據(jù)質(zhì)量的可信度指標(biāo)，并對數(shù)據(jù)質(zhì)量評估方法進行了介紹。自動氣象站數(shù)據(jù)質(zhì)量控制體系非常龐大，雖然在設(shè)計過程中盡量考慮與現(xiàn)有業(yè)務(wù)體系相銜接，但仍需對自動氣象站現(xiàn)有軟硬件、數(shù)據(jù)質(zhì)量控制系統(tǒng)進行修改。建設(shè)這樣的系統(tǒng)，不但需要各方面的專家和技術(shù)人員，還需要建立健全各項規(guī)章制度作保證。

參考文獻：

[1]Shafer M A,Fiebrich C A, Arndt D S, et al. Quality assurance procedures in the Oklahoma Mseonet work[J].J Atmos Oceanic Techenol,2000, 17(4):474-494.

[2]Fiebrich C A, Crawford K C.The impact of unique meteorological phenomena detected by the Oklahoma mesonet and ARS Micronet on automated quality control[J].Bull Am Meteor Soc, 2001, 82

(10)：2174-2187.

[3]陶士偉, 徐枝芳.加密自動站資料質(zhì)量保障體系分析[J].氣象,2007,33(2)：34-41.

[4]陶士偉,仲躋芹,徐枝芳,等.地面自動站資料質(zhì)量控制方案及應(yīng)用[J].高原氣象,2009,28(5)：1202-1209.

[5]徐枝芳,陳小菊,王軼.新建地面氣象自動站資料質(zhì)量控制方法設(shè)計[J].氣象科學(xué),2013,33(1)：26-36.

[6]劉小寧,任芝花.地面氣象資料質(zhì)量控制方法研究概述[J].氣象科技,2005,33( 3)：199-203.

[7]QX/T 118—2010地面氣象觀測資料質(zhì)量控制[S].

[8]韓海濤,李仲龍.地面實時氣象數(shù)據(jù)質(zhì)量控制方法研究進展[J].干旱氣象,2012,30(2)：261-265.

[9]任芝花,許松,孫化南,等.全球地面天氣報歷史資料質(zhì)量檢查與分析[J].應(yīng)用氣象學(xué)報，2006，17(4)：412-420.

[10]封秀燕,何志軍,王荷平,等.自動氣象站實時資料質(zhì)量控制開放式平臺設(shè)計[J].應(yīng)用氣象學(xué)報，2010，21(4)：506-512.

[11]熊安元.北歐氣象觀測資料的質(zhì)量控制[J].氣象科技,2003,31(5)：314-320.

[12]竇以文,屈玉貴,陶士偉,等.北京自動氣象站實時數(shù)據(jù)質(zhì)量控制應(yīng)用[J].氣象，2008，34(8)：77-81.

[13]傅娜,陳葆德,譚燕,等.上海自動站氣溫資料的空間質(zhì)量控制與特征分析[J].大氣科學(xué)學(xué)報，2014，37(2)：199-207.

[14]李雁,梁海河,孟昭林,等.自動氣象站運行效能統(tǒng)計[J].應(yīng)用氣象學(xué)報，2009，20(4)：504-509.

[15]中國氣象局.實時歷史地面氣象資料一體化試點實施方案[Z].2014.

[16]中國氣象局.地面氣象觀測規(guī)范[M].北京:氣象出版社,2003.

文章編號：1006-4354(2016)03-0042-05

收稿日期：2015-09-02

作者簡介：白水成(1980—)，男，河南澠池人，碩士，高級工程師，從事氣象探測技術(shù)研究。

基金項目：西安市氣象局科研項目“自動氣象站數(shù)據(jù)質(zhì)量控制方法研究(Xp014-07)”

中圖分類號：P412.1

文獻標(biāo)識碼：A

白水成，李社宏，周林. 自動氣象站數(shù)據(jù)質(zhì)量控制體系設(shè)計[J].陜西氣象，2016(3)：42-46.