單新蘭 張吉周 李新慶 張磊
摘要 以距離自動土壤水分站最近的人工觀測地段的歷史土壤水分資料為依據(jù),開展對應(yīng)的自動土壤水分站觀測資料的質(zhì)量控制閾值研究。統(tǒng)計有土壤水分觀測任務(wù)的各臺站近30年10~50 cm深度5個層次人工觀測的土壤重量含水率最大、最小值,且分析與本站凋萎濕度和田間持水量的相關(guān)性,作為自動土壤水分站所屬區(qū)域片上的極值,完成區(qū)域極值檢查規(guī)則的定義。通過分析人工站歷年極值序列的均方差確定條件閾值范圍和安全指標,實現(xiàn)該區(qū)域內(nèi)自動土壤水分站資料的實時質(zhì)量控制;通過鄰近站資料對比、時序檢查等自檢方法完成人工干預(yù)質(zhì)量控制。
關(guān)鍵詞 土壤水分;質(zhì)量控制;閾值;相關(guān)關(guān)系
中圖分類號 P413.2;S152.7 ?文獻標識碼 A ?文章編號 0517-6611(2015)03-236-02
Quality Control of Automatic Soil Moisture Data and Correlation Analysis
SHAN Xinlan, ZHANG Jizhou, LI Xinqing et al
(Ningxia Meteorological Information Center, Yinchuan, Ningxia 750002)
Abstract Based on soil moisture data of artificial observation section nearest automatic soil water station, the corresponding soil moisture station data quality control threshold was carried out. The maximum and minimum soil moisture content of 5 levels artificial observation in 10-50 cm depth in recent 30 years of each station were studied, the correlation with wilting moisture and field capacity was analyzed. Through analysis of the mean square deviation of artificial station historical extreme sequence determined the threshold value range and safety indicators, to implement the regional soil water station observation data of automatic quality control.
Key words Soil moisture; Quality control; Threshold; Correlation
基金項目 寧夏氣象局2012-2014項目“寧夏農(nóng)業(yè)氣象自動土壤水分站資料質(zhì)量控制及應(yīng)用研究”。
作者簡介 單新蘭(1962- ?),女,寧夏銀川人,高級工程師,從事氣象觀測數(shù)據(jù)應(yīng)用研究。
收稿日期 20141204
土壤水分觀測資料是開展防災(zāi)減災(zāi)氣象決策服務(wù)以及農(nóng)業(yè)干旱監(jiān)測、預(yù)警與防御的重要依據(jù)。自動土壤水分站開展土壤水分監(jiān)測具有實時性及連續(xù)性強、獲取方便、節(jié)省人力等特點,在各省區(qū)得到快速發(fā)展。寧夏氣象局在全區(qū)共建成了24套DZN-3型自動土壤水分觀測站,有22套儀器安裝在固定地段,2套儀器安裝在作物地段,均已能自動開展土壤水分的連續(xù)觀測[1]。
自動土壤水分站的生產(chǎn)廠商沒有提供相應(yīng)的資料質(zhì)量控制、數(shù)據(jù)分析應(yīng)用系統(tǒng),資料質(zhì)控、分析、應(yīng)用尚未深入開展,造成自動土壤水分觀測資料的業(yè)務(wù)應(yīng)用受到較大限制,急需探討適合寧夏農(nóng)業(yè)氣象業(yè)務(wù)應(yīng)用的資料質(zhì)量控制方法及開發(fā)相應(yīng)的應(yīng)用軟件系統(tǒng)。根據(jù)中國氣象局對各類氣象資料的傳輸考核辦法及資料共享應(yīng)用的實時性要求,以“傳輸時效和資料共享時效不受影響”為原則,開展自動土壤水分資料質(zhì)量控制閾值研究工作。筆者在此以距離自動土壤水分站最近的人工觀測地段的歷史土壤水分資料為依據(jù),開展對應(yīng)的自動土壤水分站觀測資料的質(zhì)量控制閾值研究。
1 自動土壤水分站實時資料質(zhì)量控制規(guī)則定義
1.1 質(zhì)量控制原則及流程
以“傳輸時效和資料共享時效不受影響,保障原始資料庫安全”為設(shè)計原則,采用Microsoft SQL Server 2008完成質(zhì)量控制應(yīng)用數(shù)據(jù)庫設(shè)計與實現(xiàn)。采用C#設(shè)計后臺數(shù)據(jù)入庫軟件,實現(xiàn)自動土壤水分站實時資料質(zhì)控數(shù)據(jù)自動入庫。研究自動土壤水分觀測資料質(zhì)量控制方法,確定閾值范圍和安全指標、數(shù)據(jù)實時監(jiān)控和自動標注、人工干預(yù)處理流程。初步建立軟件自動處理和人工干預(yù)相結(jié)合的質(zhì)量控制業(yè)務(wù)流程,將臺站極值檢查、區(qū)域極值檢查、時序檢查(內(nèi)部一致性)在資料入庫后共享前完成,質(zhì)量控制對象為資料要素庫。
1.2 質(zhì)量控制規(guī)則定義
1.2.1 實時數(shù)據(jù)資料庫要素質(zhì)控規(guī)則。
DZN3型自動土壤水分觀測儀器是一種利用頻域反射法原理測定土壤體積含水量的自動化測量儀器。根據(jù)土壤水文、物理常數(shù)和相關(guān)公式可計算出土壤重量含水率W(%)、土壤相對濕度(%)、土壤水分總貯存量(mm)和土壤有效水分貯存量(mm),具體規(guī)定見《自動站土壤水分觀測規(guī)范》[2]。以上實時要素數(shù)據(jù)均保存在中心站服務(wù)器內(nèi)。
通過自動土壤水分資料和相應(yīng)地點的土壤水分人工觀測資料分析,以完成自動土壤水分站小時整點平均土壤水分重量含水率要素值為質(zhì)量控制索引要素即可。平均土壤水分重量含水率氣候極值規(guī)則的定義根據(jù)地形、灌溉條件分布,結(jié)合自動站點位置分布等。歷史極值采用歷年土壤水分人工觀測歷史資料,以人工固定觀測地段為中心,土壤水分自動站區(qū)域片內(nèi)經(jīng)緯度靠近人工站劃分,實現(xiàn)自動站區(qū)域極值規(guī)則的定義。
1.2.2 質(zhì)量控制方法時序及控制結(jié)果和對應(yīng)的質(zhì)控碼。
質(zhì)量控制方法有界限極值、區(qū)域極值檢查、時間一致性檢查、內(nèi)部一致性檢查[3]。
質(zhì)量控制時序包括刻度界限極值檢查、區(qū)域極值檢查、時間一致性檢查、內(nèi)部一致性檢查(10~50 cm 5個深度層次)。
根據(jù)所用質(zhì)量控制方法,確定:可用、可疑、不可用3種質(zhì)量控制結(jié)果,對應(yīng)的質(zhì)量控制碼分別為2、3、4(0,未處理;1,空記錄)。自動土壤水分觀測數(shù)據(jù)質(zhì)量控制流程如圖1所示。
圖1 自動土壤水分數(shù)據(jù)質(zhì)量控制流程
2 自動土壤水分站實時質(zhì)量控制方法內(nèi)容
實時資料質(zhì)量控制主要包括完成自動土壤水分站觀測數(shù)據(jù)理論刻度值0~100%范圍內(nèi)的界限值檢查及所在區(qū)域內(nèi)的閾值檢查,針對土壤10~50 cm 深度5個土層的實時整點平均土壤重量含水率W。
2.1 實時數(shù)據(jù)檢查
資料入庫后主要完成臺站極值、時變檢查、內(nèi)部檢查。質(zhì)量控制結(jié)果包括未處理、空記錄、可用、可疑(超出閾值范圍)、不可用(超出理論刻度范圍及資料長期沒有任何變化)五類。
2.2 缺測值檢查
根據(jù)要素所在位置完成缺測值檢查,缺測用“1”表示。將檢查出的缺測記錄寫入日志文件,并做異常數(shù)據(jù)的備份。
2.3 人工干預(yù)檢查
未通過實時檢查的疑問數(shù)據(jù),自動預(yù)警,提醒人工干預(yù):正確性認定或記錄刪除。
根據(jù)土壤水分閾值范圍和安全指標,對數(shù)據(jù)內(nèi)容進行質(zhì)量檢查,確定已入庫數(shù)據(jù)為可用、不可用(資料長期沒有任何變化屬不可用的資料)、可疑3種狀態(tài)。對于可疑數(shù)據(jù)進行人工干預(yù)審核(圖2)。采用本站與周邊鄰近站當前時次至前8個時次要素變化曲線值對比判斷,曲線長期沒有任何變化、急劇下降的情況屬于不可用的資料范疇,如果上下層出現(xiàn)高低起伏巨大的情況,層次間沒有關(guān)聯(lián)首先查看降水量情況,根據(jù)經(jīng)驗判斷是否也屬于可疑數(shù)據(jù)。用要素時序變化線與鄰近站點比較自檢確定不可用數(shù)據(jù)的,進行定期刪除。
圖2 人工干預(yù)疑誤數(shù)據(jù)界面
3 自動土壤水分站實時質(zhì)量控制閾值的安全性
3.1 人工站極值規(guī)則
根據(jù)寧夏行政區(qū)劃、地形分布、小氣候特點,通過干旱及灌溉條件和土壤濕度的關(guān)系,結(jié)合自動站點分布位置定義,在空間上有相關(guān)性,即經(jīng)度、緯度接近,選擇了寧夏有人工土壤水分觀測任務(wù)的14個站點。統(tǒng)計各站歷年30年10~50 cm 5個層次的平均土壤重量含水率的最大值Wmax、最小值Wmin,且考慮本站土壤水文特性值、《農(nóng)業(yè)氣象觀測規(guī)范》觀測允許誤差范圍,作為所屬區(qū)域片上的極值,完成區(qū)域極值檢查規(guī)則的定義,實現(xiàn)該區(qū)域片上所有自動站點觀測極值的檢查。
3.2 質(zhì)量控制閾值安全性確定
由于自動土壤水分站建站采集資料時間短,資料無法形成有效的極值序列。因此,自動站極值以鄰近的人工土壤水分觀測資料歷史極值為基礎(chǔ),考慮其所處地理位置、探測環(huán)境、灌溉等因素,根據(jù)本站凋萎濕度和田間持水量(fc)、《農(nóng)業(yè)氣象觀測規(guī)范》所需允許的測量±5%誤差[4]范圍等進行訂正后作為該自動站質(zhì)量控制極值與可選擇均方差倍數(shù)的條件閾值范圍,其計算公式為:
W=Wmax+5%Wmax+X|Smax|、
W=Wmin-5%Wmin-X|Smin|(當Wmin>fc Wmin=fc),
其中,S為歷年極值序列的均方差。
自動站閾值的確定則是在人工觀測站點氣候界限值的基礎(chǔ)上,采用極值序列標準差的倍數(shù)作為界限值的參考訂正依據(jù)[5],結(jié)合強降水天氣影響,通過分析實測情況生成氣候界限值指標。
3.3 閾值界限檢查
3.3.1 理論刻度范圍界限值檢查。
平均土壤重量含水率W刻度界限值范圍在0%~100%,超越范圍的數(shù)據(jù)判為錯誤(資料不可用),規(guī)則為:
0
3.3.2 自動站區(qū)域極值檢查。
區(qū)域極值的確定是人工觀測站點氣候極值的基礎(chǔ)上,采用極值序列均方差S的X倍作為界限值的參考訂正依據(jù),形成土壤水分區(qū)域條件閾值,質(zhì)量檢查算法如表1所示。
表1 小時土壤含水率界限值、極值檢查算法
方法名稱算法質(zhì)量控制碼
界限W>100F(W)=4
檢查W<0F(W)=4
極值W>Wmax+5%Wmax+X|Smax|F(W)=3
檢查W
4 質(zhì)量控制閾值測試結(jié)果
各省自動土壤水分實時質(zhì)量控制工作在探索中,初步實現(xiàn)了顯性錯誤質(zhì)量控制。由于所借鑒的經(jīng)驗少,在此質(zhì)量控制閾值的確定方法主要借鑒了李志鵬等利用地面區(qū)域站資料極值序列獲取自動站數(shù)據(jù)實時質(zhì)控閾值經(jīng)驗[5]。
根據(jù)質(zhì)量控制閾值安全性確定的土壤重量含水率閾值計算模式為:
極值± 5%極值 ±X×序列均方差;
通過計算獲取的質(zhì)量控制閾值進行了測試檢查,資料時段為2012年9月10日11:00~2013年9月27日13:00,總記錄291 393條。
4.1 疑誤數(shù)據(jù)測試結(jié)果
計算模式中當X取1,即1倍的偏差值時疑誤數(shù)據(jù)結(jié)果與X取2即兩倍的偏差值,不同深度層次相差0.01%~0.90%;X=3時結(jié)果為0.01%~3.08%(表2)。
4.2 錯誤數(shù)據(jù)測試結(jié)果
錯誤數(shù)據(jù)測試到一個站點10 cm值個別時次>100%判斷為錯誤記錄,占總記錄0.006%。
通過表2結(jié)果分析表明,選取人工觀測站極值序列偏差值參加
計算閾值是可行和安全的。
表2 疑誤數(shù)據(jù)占總記錄百分率
深度
cmX1=1時
百分率∥%X2=2時
百分率∥% ?X3=3時
百分率∥無偏差
%X1-X3時
百分率∥%
1019.0618.2817.8324.501.23
206.136.126.129.300.01
3015.1614.1812.0817.003.08
4011.3611.0710.6712.700.69
5011.3510.7310.1413.101.21
5 小結(jié)
(1)土壤水分自動站資料僅局限于本地應(yīng)用入庫前的質(zhì)量控制,而上傳中國氣象局的資料沒有進行質(zhì)控。
(2)資料隨降水因子時變檢查尚未考慮,土壤水分自動站無降水要素采集也是解決此問題的難點。
(3)寧夏土壤水分自動站業(yè)務(wù)根據(jù)需求在增設(shè)安裝,因此,質(zhì)量控制工作同樣需要根據(jù)實際情況補充完善,更需要投入業(yè)務(wù)試運行檢驗優(yōu)化。
參考文獻
[1] 寧夏自動土壤水分觀測站試運行評估報告[R].寧夏氣象局,2012:1-7.
[2] 自動土壤水分規(guī)范(試行)[S].中國氣象局綜合觀測司,2010:1-3.
[3] 孫林花,李仲龍,楊斌,等.甘肅省區(qū)域站實時氣象資料質(zhì)量控制與問題分析[C]//第二屆全國氣象觀測技術(shù)經(jīng)驗交流會文集.北京,2012:39-44.
[4] 國家氣象局.農(nóng)業(yè)氣象觀測規(guī)范(上卷)[M].北京:氣象出版社,1993:78-83.
[5] 李志鵬.張瑋.黃少平,等.自動氣象站數(shù)據(jù)實時質(zhì)量控制業(yè)務(wù)軟件設(shè)計與實現(xiàn)[J].氣象,2012,38(3):373-375.