李子良 趙濱 李國平

摘要 常規(guī)降水檢驗(yàn)受空間及時(shí)間微小差異所帶來的“雙重懲罰”影響嚴(yán)重，鄰域空間檢驗(yàn)FSS（Fraction Skill Score）方法在確定性預(yù)報(bào)中已體現(xiàn)出彌補(bǔ)這一不足的明顯優(yōu)勢。隨著集合預(yù)報(bào)分辨率的不斷提高，集合降水預(yù)報(bào)同樣存在與確定性預(yù)報(bào)相似的問題。本研究將FSS方法拓展至集合預(yù)報(bào)領(lǐng)域，構(gòu)建適用于集合預(yù)報(bào)的降水空間檢驗(yàn)指標(biāo)EFSS（Ensemble Fraction Skill Score），利用歐洲中期天氣預(yù)報(bào)中心（European Centre for Medium-Range Weather Forecasts，ECMWF）集合預(yù)報(bào)模式2018年夏季降水預(yù)報(bào)產(chǎn)品及國家氣象信息中心提供的格點(diǎn)化降水融合產(chǎn)品進(jìn)行分析，發(fā)現(xiàn)EFSS評(píng)分不受集合成員數(shù)影響，可獲取一致性的評(píng)估結(jié)論。通過與適用于集合預(yù)報(bào)的常規(guī)技巧評(píng)分EETS（Ensemble Equitable Threat Score）對(duì)比分析發(fā)現(xiàn)，常規(guī)技巧評(píng)分受限于評(píng)分過低而無法有效反映強(qiáng)降水過程間差異性特征，EFSS方法則可有效提升強(qiáng)降水預(yù)報(bào)檢驗(yàn)辨識(shí)度。

關(guān)鍵詞 鄰域空間檢驗(yàn);集合預(yù)報(bào);常規(guī)技巧評(píng)分;EETS;EFSS

隨著數(shù)值預(yù)報(bào)技術(shù)的不斷提高，面向更小尺度的精細(xì)化預(yù)報(bào)檢驗(yàn)技術(shù)逐漸成為國內(nèi)外關(guān)注的重點(diǎn)。Mass et al.（2002）提出基于目標(biāo)命中率為核心的傳統(tǒng)分類檢驗(yàn)方法在高分辨率降水檢驗(yàn)中受到空間和時(shí)間微小差異所帶來的“雙重懲罰”，難以獲得足夠的評(píng)估信息，也無法客觀地反映降水的真實(shí)預(yù)報(bào)能力（Baldwin and Kain，2006;Ahijevych et al.，2009;Brill and Mesinger，2009;梅欽等，2018），在傳統(tǒng)二分類檢驗(yàn)方法基礎(chǔ)上，歐洲中期天氣預(yù)報(bào)中心（European Center for Medium-Range Weather Forecasts，ECMWF）的Rodwell et al.（2010）開發(fā)了一種基于概率空間誤差分布的三分類降水檢驗(yàn)方法（Stable Equitable Error in Probability Space，SEEPS），該方法不受降水強(qiáng)度閾值影響，可獲取降水預(yù)報(bào)性能的綜合評(píng)價(jià)，但該方法無法正確描述過干（干旱）、過濕（強(qiáng)降水）條件下的降水預(yù)報(bào)能力，極大限制了其在強(qiáng)降水預(yù)報(bào)中的應(yīng)用效果（Haiden et al.，2012）。近十余年，空間檢驗(yàn)技術(shù)成為彌補(bǔ)傳統(tǒng)檢驗(yàn)方法的可能手段，歐美及澳大利亞科研人員2009年聯(lián)合發(fā)起了第一次空間檢驗(yàn)方法比較計(jì)劃ICP（Spatial Forecast Verification Inter-Comparison Project）（Gilleland et al.，2009，2010），該計(jì)劃設(shè)定了一系列理想試驗(yàn)及用于對(duì)比分析的強(qiáng)天氣過程個(gè)例，并提供相應(yīng)的實(shí)況（雷達(dá)資料等）信息，試圖開發(fā)并探討各種空間檢驗(yàn)方法在特定預(yù)報(bào)對(duì)象上的評(píng)估差異及相對(duì)傳統(tǒng)檢驗(yàn)技術(shù)的優(yōu)勢，以此為更多科研人員認(rèn)識(shí)各種空間檢驗(yàn)技術(shù)特點(diǎn)，并為其更快的應(yīng)用到相應(yīng)的檢驗(yàn)評(píng)估中去提供幫助。Ebert and McBride（2000）最早提出基于對(duì)象屬性的CRA（Contiguous Rainfall Area）空間檢驗(yàn)方法，這種方法可以將降水預(yù)報(bào)的總體誤差分解為位置差異、位相差異等誤差分量，用以探討模式的系統(tǒng)誤差來源。NCAR（National Center for Atmospheric Research）發(fā)展了一種基于對(duì)象屬性的空間檢驗(yàn)方法MODE（Method for Object-based Diagnostic Evaluation）（Davis et al.，2009），該方法通過計(jì)算檢驗(yàn)對(duì)象的相似度特征來判斷對(duì)象間的匹配程度。國內(nèi)研究人員也曾采用此類方法開展降水研究（潘留杰等，2017;張博等，2017;陳笑等，2018;智協(xié)飛等，2020），但此類方法均受平滑半徑、濾波閾值等多種因素的影響，不同參數(shù)的選取將獲得差異極大的統(tǒng)計(jì)評(píng)分，使得評(píng)估結(jié)論缺乏一致性，這將嚴(yán)重影響降水檢驗(yàn)的科學(xué)性和可靠性，最終產(chǎn)生一定的評(píng)估誤導(dǎo)問題。Roberts and Lean（2008）提出了一種改進(jìn)的鄰域空間檢驗(yàn)方法FSS（Fraction Skill Score），可通過比較不同尺度窗口內(nèi)降水發(fā)生概率的方法獲取綜合評(píng)估信息，其宗旨通過比較預(yù)報(bào)與觀測發(fā)生的概率之間的差異獲取模式預(yù)報(bào)性能。Mittermaier and Roberts（2010）利用FSS（Fraction Skill Score）方法探討其在ICP計(jì)劃理想試驗(yàn)中的具體表現(xiàn)，發(fā)現(xiàn)FSS方法可有效地反映由于降水位置差異所帶來的預(yù)報(bào)技巧的差異，F(xiàn)SS方法對(duì)于極端天氣事件具有極強(qiáng)的敏感性。Weusthoff et al.（2010）利用升尺度及FSS方法考察不同分辨率條件下的模式降水預(yù)報(bào)效果，發(fā)現(xiàn)FSS方法可有效體現(xiàn)高分辨率模式降水結(jié)構(gòu)預(yù)報(bào)優(yōu)勢。趙濱和張博（2018）、Zhao and Zhang（2018）改進(jìn)FSS方法分析手段，通過在不同預(yù)報(bào)尺度中定義分析尺度，發(fā)現(xiàn)TS評(píng)分等傳統(tǒng)技巧評(píng)分在強(qiáng)降水檢驗(yàn)中常存在多時(shí)段為零情況，難以體現(xiàn)逐日降水預(yù)報(bào)的差異性特征，而FSS方法有效提高了強(qiáng)降水預(yù)報(bào)的評(píng)估辨識(shí)度;通過個(gè)例分析發(fā)現(xiàn)，TS評(píng)分由于“雙重懲罰”問題，所獲取的評(píng)估結(jié)論往往與研究人員的主觀感受相悖，而FSS方法與相關(guān)系數(shù)有高度一致性，可以作為相關(guān)的一種表述。進(jìn)一步將該方法應(yīng)用于逐小時(shí)精細(xì)化降水檢驗(yàn)中，通過泰勒診斷圖獲取24 h內(nèi)預(yù)報(bào)最好及最差時(shí)段，發(fā)現(xiàn)無論是預(yù)報(bào)較好還是較差時(shí)段，F(xiàn)SS方法均可體現(xiàn)出更好的評(píng)估辨識(shí)度。

經(jīng)過近30 a的不斷發(fā)展，集合預(yù)報(bào)已逐漸成為最重要的數(shù)值預(yù)報(bào)手段，隨著計(jì)算能力的不斷提高，集合預(yù)報(bào)模式分辨率已足以滿足對(duì)小尺度天氣現(xiàn)象的預(yù)報(bào)要求，而隨著集合預(yù)報(bào)模式分辨率的不斷提高，降水常規(guī)技巧評(píng)分同樣會(huì)遇到與確定性預(yù)報(bào)相似的“雙重懲罰”問題，其在極端降水檢驗(yàn)中體現(xiàn)得尤為明顯（麻巨慧等，2011;張涵斌等，2014;包慧濛等，2019）。開發(fā)適合高分辨率集合降水預(yù)報(bào)檢驗(yàn)技術(shù)（Ben and Theis，2014;Skinner et al.，2016），將成為有效提高降水評(píng)估能力的重要手段。不同于確定性預(yù)報(bào)中降水檢驗(yàn)僅需考察預(yù)報(bào)與觀測間實(shí)際差異，集合預(yù)報(bào)重點(diǎn)關(guān)注不同預(yù)報(bào)成員與實(shí)況間的綜合評(píng)估，因此更多地采用不同強(qiáng)度閾值條件下降水發(fā)生概率之間的差異作為檢驗(yàn)的手段。Marsigli et al.（2008）開發(fā)了一種“分布方法”，用以比較有限區(qū)域模式COSMO-LEPS 的降水預(yù)報(bào)性能，結(jié)果表明，該方法可有效判斷中雨及強(qiáng)降水發(fā)生概率。Gallus（2010）利用基于對(duì)象屬性的CRA及MODE方法考察集合預(yù)報(bào)成員的平均分布特征。Radanovics et al.（2018）拓展SAL方法將其應(yīng)用于集合預(yù)報(bào)降水檢驗(yàn)中，所建立的eSAL指標(biāo)可有效地與確定性預(yù)報(bào)進(jìn)行評(píng)估以獲取整體的分析結(jié)論。所開發(fā)的方案雖可解決特定問題，但不同成員間的差異性往往被平滑所掩蓋，開發(fā)一種更為合理的空間檢驗(yàn)方法是有效提高集合預(yù)報(bào)檢驗(yàn)?zāi)芰Φ谋厝皇侄巍?/p>

本文將鄰域空間檢驗(yàn)FSS方法拓展至集合預(yù)報(bào)領(lǐng)域，開發(fā)一種新的鄰域空間檢驗(yàn)指標(biāo)EFSS（Ensemble FSS）應(yīng)用于集合預(yù)報(bào)降水檢驗(yàn)中。利用ECMWF模式2018年夏季降水集合預(yù)報(bào)產(chǎn)品考察EFSS評(píng)分的合理性及其相對(duì)于常規(guī)技巧評(píng)分的優(yōu)勢。

1 資料

選取ECMWF集合預(yù)報(bào)模式2018年6—8月降水預(yù)報(bào)產(chǎn)品作為預(yù)報(bào)資料，模式分辨率0.15°（約15 km），時(shí)間分辨率逐24 h，集合成員50個(gè)，選取中國區(qū)域（70°～140°E，15°～55°N）為檢驗(yàn)分析區(qū)域。

實(shí)況資料選取國家氣象信息中心所開發(fā)的格點(diǎn)化降水三源融合產(chǎn)品（潘旸等，2015），其采用貝葉斯融合方法將區(qū)域性地面觀測站點(diǎn)（中國區(qū)域30 000余站）、高分辨率雷達(dá)估測降水及衛(wèi)星反演降水融合形成空間分辨率5 km，時(shí)間分辨率為1 h，實(shí)況范圍可滿足檢驗(yàn)區(qū)域，資料插值至與模式相同分辨率進(jìn)行后續(xù)檢驗(yàn)評(píng)估。

圖1給出了2018年夏季平均實(shí)況降水與ECMWF集合平均24 h預(yù)報(bào)分布特征，可以看到，集合預(yù)報(bào)可保持與實(shí)況主雨帶一致形勢，但其在西北部存在小量級(jí)降水空?qǐng)?bào)，而在西南及華南地區(qū)均存在明顯的強(qiáng)降水空?qǐng)?bào)。

2 方法及效果分析

鄰域空間檢驗(yàn)FSS方法由Robert等開發(fā)，旨在通過升尺度方法考察預(yù)報(bào)和觀測在特定網(wǎng)格范圍內(nèi)降水發(fā)生概率的方差及方差技巧評(píng)分。其構(gòu)建方式借鑒了Murpy的方差技巧評(píng)分及Brier評(píng)分的思路，使得降水檢驗(yàn)不再局限點(diǎn)對(duì)點(diǎn)的比較方式，從而有效規(guī)避了高分辨率降水評(píng)估中的“雙重懲罰”問題，其表達(dá)式如下：

FFBS=1IJ∑Ii=1∑Jj=1（Pf（i，j）-Po（i，j））2。（1）

FFBS-ref=1IJ∑Ii=1∑Jj=1P2f（i，j）+1IJ∑Ini=1∑Jnj=1P2o（i，j）。（2）

FFSS=1-FFBSFFBS-ref。（3）

其中：Pf和Po分別代表預(yù)報(bào)及觀測在升尺度網(wǎng)格內(nèi)降水發(fā)生概率;In及Jn為緯向及經(jīng)向格點(diǎn)數(shù)。FFBS為預(yù)報(bào)及觀測降水概率方差，根據(jù)方差技巧評(píng)分的構(gòu)建方式，F(xiàn)FBS-ref為參考方差，可確保獲取正定的技巧評(píng)分FSS（FFSS）。FSS評(píng)分介于0～1，其中0代表無技巧（完全無匹配），而1為完美預(yù)報(bào)。FSS主要應(yīng)用于確定性預(yù)報(bào)檢驗(yàn)中，本文首先采用該方法計(jì)算ECMWF各集合成員2018年夏季評(píng)分結(jié)果，選取的分析尺度為9倍網(wǎng)格空間，即135 km×135 km，考察FSS評(píng)分在所有集合成員中的分布規(guī)律。

圖2給出了不同時(shí)效各集合成員FSS評(píng)分箱線圖分布特征，分別選取0.1 mm、1 mm、3 mm、5 mm、10 mm、15 mm、25 mm、50 mm及100 mm以上降水量為檢驗(yàn)分析的降水閾值。其中“紅星”為各成員FSS評(píng)分的集合平均，箱線上限為75%，中線為中位數(shù)，下限為25%。可以看到，F(xiàn)SS評(píng)分在各成員間的離散度很高，集合平均在小量級(jí)降水（0.1～10 mm）位于中位數(shù)以下，即評(píng)分偏低的成員樣本拉低了總體技巧。而在大量級(jí)降水評(píng)分中，集合平均處于中位數(shù)以上，并且在暴雨及大暴雨量級(jí)甚至達(dá)到75%以上，這主要是由于大量級(jí)降水的總體評(píng)分過低，部分高技巧樣本將集合平均技巧提升過于明顯。這就勢必存在一個(gè)問題，在集合預(yù)報(bào)中，如果采用簡單的集合平均方式將嚴(yán)重平滑預(yù)報(bào)技巧，當(dāng)檢驗(yàn)時(shí)段較短，集合成員數(shù)較少時(shí)該問題會(huì)更加明顯，會(huì)出現(xiàn)由于部分時(shí)次，部分成員技巧跳躍（離群）而導(dǎo)致總體評(píng)分偏移的現(xiàn)象，最終導(dǎo)致“評(píng)估誤導(dǎo)”的問題。

為解決這一問題，本文提出一種將FSS拓展至集合預(yù)報(bào)的構(gòu)建方案，即不再逐一計(jì)算各集合成員的空間檢驗(yàn)技巧評(píng)分，而是將所有集合成員作為一個(gè)整體，計(jì)算所有集合成員的綜合技巧，其優(yōu)勢在于部分集合成員的預(yù)報(bào)技巧“突變”（離群）不會(huì)嚴(yán)重誤估所有集合成員的綜合預(yù)報(bào)效果，所獲取的空間檢驗(yàn)技巧評(píng)分可反映模式的綜合預(yù)報(bào)性能。

EFBS（Ensemble Fraction Brier Score）及EFSS （Ensemble Fraction Skill Score）評(píng)分表達(dá)式（式（4）—（6））。

EEFBS=1MIJ∑Mm=1∑Ii=1∑Jj=1（Pf（i，j）-Po（i，j））2。 （4）

EEFBS-ref=1MIJ∑Mm=1∑Ii=1∑Jj=1P2f（i，j，m）+1MIJ∑Mm=1∑Ii=1∑Jj=1P2o（i，j，m）。（5）

EEFSS=1-EFBSEFBS-ref。（6）

圖3給出了不同鄰域尺度下的中雨以上量級(jí)降水預(yù)報(bào)EFSS評(píng)分平均分布特征，其中鄰域模糊尺度選擇1、3、5、9、17、33倍網(wǎng)格空間，即15 km×15 km、45 km×45 km、75 km×75 km、135 km×135 km、255 km×255 km、495 km×495 km。

根據(jù)FSS“可用預(yù)報(bào)尺度”定義規(guī)范，可定義EFSS技巧超過0.5的鄰域尺度為降水可用預(yù)報(bào)尺度。由圖3所示，中雨以上量級(jí)24 h預(yù)報(bào)可用預(yù)報(bào)尺度為45 km，72 h可用預(yù)報(bào)尺度為75 km，120 h可用預(yù)報(bào)尺度為135 km，而168 h可用預(yù)報(bào)尺度則為255 km。而對(duì)于大雨以上量級(jí)，24 h可用預(yù)報(bào)尺度則增加至135 km，72 h可用預(yù)報(bào)尺度更達(dá)到255 km。即對(duì)于面降水為主的中雨預(yù)報(bào)，在較小的分析尺度上即可有效反映降水預(yù)報(bào)性能，而對(duì)于以點(diǎn)降水為主的大雨預(yù)報(bào)則需要更大的網(wǎng)格尺度才能有效捕捉強(qiáng)降水預(yù)報(bào)信息。

為了在諸多鄰域空間尺度中有效地獲取確定性的評(píng)估信息，需首先確定鄰域空間檢驗(yàn)的分析尺度。圖4給出了不同鄰域空間EFSS平均分布特征，可以看到，不同鄰域尺度下，不同時(shí)效降水預(yù)報(bào)在所有閾值中技巧評(píng)分的分布趨勢是一致的，差異主要體現(xiàn)在量值大小，隨著鄰域空間尺度的增加，技巧逐漸增大。

趙濱和張博（2018）在確定性預(yù)報(bào)中采用24 h大雨預(yù)報(bào)的“可用預(yù)報(bào)尺度”定義分析尺度。本文延續(xù)該“分析尺度”選取方案，定義24 h大雨預(yù)報(bào)的可用預(yù)報(bào)尺度，即135 km，為空間檢驗(yàn)的分析尺度，后續(xù)空間檢驗(yàn)均采用此分析尺度進(jìn)行評(píng)估。

集合預(yù)報(bào)檢驗(yàn)指標(biāo)多受集合成員影響嚴(yán)重，諸如Brier score及CRPS等均嚴(yán)重依賴集合成員數(shù)，當(dāng)成員數(shù)過低，檢驗(yàn)技巧將嚴(yán)重離群（與高成員數(shù)結(jié)果無法保持一致），這也將嚴(yán)重影響評(píng)分的普適性。為進(jìn)一步了解EFSS是否對(duì)集合成員有依賴，設(shè)計(jì)敏感試驗(yàn)，在50個(gè)集合成員中隨機(jī)選取5個(gè)成員、10個(gè)成員、20個(gè)成員及30個(gè)成員，與50個(gè)成員結(jié)果對(duì)比分析，考察技巧評(píng)分的一致性。圖5給出了135 km尺度下，不同集合成員的EFSS平均分布特征，可以看到，EFSS均值未受集合成員數(shù)影響，以72 h預(yù)報(bào)為例，不同集合成員數(shù)間評(píng)分最大差異主要集中于0.1 mm以上降水評(píng)分，這是由于0.1 mm降水發(fā)生概率較高，因此可能引起的評(píng)分差異也會(huì)最大。但即便如此，0.1 mm以上降水預(yù)報(bào)的不同成員數(shù)EFSS評(píng)分最大差異為0.023（5成員：0.725;50成員：0.702），僅為50成員EFSS評(píng)分的3.3%。對(duì)整體評(píng)估的影響基本可忽略不計(jì)，由此可見，EFSS評(píng)分可不受集合成員數(shù)影響，在集合降水預(yù)報(bào)檢驗(yàn)中可獲得穩(wěn)定的評(píng)估結(jié)論，這在集合降水預(yù)報(bào)檢驗(yàn)中是極其重要的指標(biāo)。

在探討方法的科學(xué)性和適用性基礎(chǔ)上，進(jìn)一步討論其相對(duì)于傳統(tǒng)降水技巧評(píng)分的優(yōu)勢。常規(guī)二分類降水檢驗(yàn)方法是通過確定預(yù)報(bào)與觀測間匹配關(guān)系而獲取評(píng)分的（表1）。a、b表示預(yù)報(bào)滿足降水閾值條件下所對(duì)應(yīng)的實(shí)況滿足閾值與否的站點(diǎn)（格點(diǎn)）個(gè)數(shù);a、c則表示觀測滿足條件下所對(duì)應(yīng)的預(yù)報(bào)滿足閾值與否的站點(diǎn)（格點(diǎn)）個(gè)數(shù);d對(duì)應(yīng)觀測和預(yù)報(bào)均未滿足閾值條件的站點(diǎn)（格點(diǎn)）個(gè)數(shù)。

進(jìn)一步討論集合預(yù)報(bào)空間檢驗(yàn)方法和傳統(tǒng)降水技巧評(píng)分的差異以了解集合降水預(yù)報(bào)檢驗(yàn)中采用傳統(tǒng)技巧評(píng)分的不足和空間檢驗(yàn)方法的優(yōu)勢。圖6給出了在不同降水閾值條件下，2018年夏季平均EETS和EFSS三維分布特征，可以發(fā)現(xiàn)，兩者的分布趨勢相對(duì)一致，均在1 mm量級(jí)達(dá)到評(píng)分極值，而后隨著降水閾值的增加，評(píng)分逐漸降低。但相對(duì)于EFSS評(píng)分，EETS評(píng)分明顯偏低，其極值為0.179（24 h預(yù)報(bào)1 mm以上降水評(píng)分），而216 h預(yù)報(bào)50 mm以上降水的EETS僅為0.013;而與之相對(duì)應(yīng)，EFSS的24 h預(yù)報(bào)1 mm以上降水評(píng)分可達(dá)0.794，216 h預(yù)報(bào)50 mm以上降水的EFSS也達(dá)到了0.108。

降水技巧評(píng)分量值的差異將直接影響降水預(yù)報(bào)檢驗(yàn)的辨識(shí)度，即其是否有能力分辨不同降水過程之間的差異。趙濱和張博（2018）通過分析發(fā)現(xiàn)，確定性預(yù)報(bào)中FSS可有效捕捉不同降水過程間差異性信息并提升降水評(píng)估的辨識(shí)度。從圖6中可以看到，EETS均值存在明顯偏弱的情況，其在大量級(jí)降水中存在由于評(píng)分過低而無法分辨不同降水過程間差異的可能。本文進(jìn)一步考察EFSS及EETS在集合降水預(yù)報(bào)檢驗(yàn)中對(duì)不同降水過程的辨識(shí)度特征，圖7給出了24、72、120及168 h預(yù)報(bào)的不同降水閾值條件下EETS評(píng)分在2018年6—8月92 d的預(yù)報(bào)效果演變特征，可以發(fā)現(xiàn)，EETS評(píng)分明顯偏低，隨著降水閾值的增加，暴雨（50 mm以上）量級(jí)降水評(píng)分出現(xiàn)多時(shí)次為0（24 h預(yù)報(bào)11 d，72 h預(yù)報(bào)10 d，120 h預(yù)報(bào)10 d，168 h預(yù)報(bào)13 d）的情況，這些降水過程的預(yù)報(bào)差異無法從EETS評(píng)分中得到體現(xiàn)，即由于所獲得技巧過低，并不具備對(duì)各種強(qiáng)降水預(yù)報(bào)的正確描述能力，從而嚴(yán)重制約了該評(píng)分在實(shí)際檢驗(yàn)中的應(yīng)用價(jià)值。

與此相對(duì)應(yīng)，進(jìn)一步考察EFSS的分布特征（圖8），可以發(fā)現(xiàn)，首先EFSS在各降水閾值中均保持了與EETS相似的演變特征，但相對(duì)于EETS，EFSS評(píng)分明顯增大，即其有效地增加了各降水過程間的差異性，提高了預(yù)報(bào)檢驗(yàn)的辨識(shí)度。由圖8中可以看到，即便在強(qiáng)降水預(yù)報(bào)中，EFSS隨時(shí)間演變的差異性也體現(xiàn)得非常明顯，特別是其在強(qiáng)降水預(yù)報(bào)較差（EETS評(píng)分為0）時(shí)段依然可以通過相對(duì)較高的技巧評(píng)分而表現(xiàn)出明顯辨識(shí)度（預(yù)報(bào)差異），這就保證了EFSS可以在不同閾值條件下均可保持更為一致的分布特征，而相對(duì)而言，EETS則在較高量級(jí)降水閾值條件下評(píng)分特征已經(jīng)無法保持穩(wěn)定。

3 結(jié)論與討論

隨著集合預(yù)報(bào)能力不斷提高，確定性降水預(yù)報(bào)在高時(shí)空分辨率中由于降水空間及時(shí)間微小差異所引起的“雙重懲罰”問題也將嚴(yán)重影響集合降水預(yù)報(bào)檢驗(yàn)效果。降水空間檢驗(yàn)技術(shù)是解決這一問題的有效手段，具有彌補(bǔ)傳統(tǒng)技巧評(píng)分“核心瓶頸”，提升檢驗(yàn)科學(xué)性和適用性的能力。鄰域空間檢驗(yàn)FSS方法在確定性預(yù)報(bào)檢驗(yàn)中已體現(xiàn)出明顯的優(yōu)勢和極佳的應(yīng)用前景，本文基于FSS方法的基本構(gòu)建思路，將其拓展至集合預(yù)報(bào)檢驗(yàn)中，建立全新的EFSS評(píng)分，并通過梳理方法設(shè)計(jì)，評(píng)分一致性及與傳統(tǒng)技巧評(píng)分在實(shí)際應(yīng)用中的比較分析，考察新方法的優(yōu)勢及應(yīng)用價(jià)值。

利用ECMWF集合預(yù)報(bào)模式2018年6—8月降水預(yù)報(bào)產(chǎn)品及國家氣象信息中心格點(diǎn)化降水融合產(chǎn)品進(jìn)行分析發(fā)現(xiàn)，集合預(yù)報(bào)EFSS評(píng)分可不受集合成員數(shù)影響，即使在小量（5個(gè)）成員的綜合評(píng)估中也可以獲取與大量（50個(gè)）成員一致的結(jié)論，這將有效地提升該指標(biāo)在實(shí)際應(yīng)用中的普適性。

與確定性降水預(yù)報(bào)類似，常規(guī)技巧評(píng)分在強(qiáng)降水預(yù)報(bào)中由于技巧過低難以體現(xiàn)差異性信息，難以獲得反映降水演變特征的有效評(píng)估結(jié)論，甚至存在“評(píng)估誤導(dǎo)”的可能。EFSS評(píng)分有效地提高了評(píng)分量值，即便在暴雨量級(jí)降水檢驗(yàn)中依然可體現(xiàn)出明顯的差異性信息，從而有效地提升降水檢驗(yàn)的“辨識(shí)度”，這在降水檢驗(yàn)中是至關(guān)重要的指標(biāo)。

從本研究可以看到，將FSS方法拓展至集合預(yù)報(bào)領(lǐng)域可獲取與確定性預(yù)報(bào)類似的優(yōu)勢，受集合預(yù)報(bào)產(chǎn)品限制（當(dāng)前僅能獲取ECMWF逐日降水預(yù)報(bào)產(chǎn)品），該方法尚未在更精細(xì)時(shí)間尺度（逐小時(shí)集合預(yù)報(bào)）中測試。未來將進(jìn)一步拓展該方法的適用范圍，后期將在本文已有工作基礎(chǔ)上，將其應(yīng)用于高時(shí)空分辨率的區(qū)域集合預(yù)報(bào)中，考察該方法在更高時(shí)空分辨率下檢驗(yàn)適用性。

參考文獻(xiàn)（References）

Ahijevych D，Gilleland E，Brown B G，et al.，2009.Application of spatial verification methods to idealized and NWP-gridded precipitation forecasts[J].Weather Forecast，24（6）：1485-1497.doi：10.1175/2009waf2222298.1.

Baldwin M E，Kain J S，2006.Sensitivity of several performance measures to displacement error，bias，and event frequency[J].Weather Forecast，21（4）：636-648.doi：10.1175/waf933.1.

包慧濛，閔錦忠，陳耀登，2019.MCC降水過程集合預(yù)報(bào)不同物理過程擾動(dòng)方案的對(duì)比試驗(yàn)研究[J].大氣科學(xué)學(xué)報(bào)，42（3）：370-379. Bao H M，Min J Z，Chen Y D，2019.A comparative study of different physical process perturbation schemes for ensemble forecast on MCC system[J].Trans Atmos Sci，42（3）：370-379.doi：10.13878/j.cnki.dqkxxb.20170528004.（in Chinese）.

Ben Bouallègue Z，Theis S E，2014.Spatial techniques applied to precipitation ensemble forecasts：From verification results to probabilistic products[J].Meteorol Appl，21（4）：922-929.doi：10.1002/met.1435.

Brill K F，Mesinger F，2009.Applying a general analytic method for assessing bias sensitivity to bias-adjusted threat and equitable threat scores[J].Weather Forecast，24（6）：1748-1754.doi：10.1175/2009waf2222272.1.

陳笑，趙東，何曉鳳，等，2018.基于MODE對(duì)模式預(yù)報(bào)強(qiáng)風(fēng)風(fēng)場的檢驗(yàn)分析[J].氣象，44（8）：1009-1019. Chen X，Zhao D，He X F，et al.，2018.Evaluation and analysis of model forecast performance of high wind based on MODE method[J].Meteor Mon，44（8）：1009-1019.doi：10.7519/j.issn.1000-0526.2018.08.003.（in Chinese）.

Davis C A，Brown B G，Bullock R，et al.，2009.The method for object-based diagnostic evaluation （MODE） applied to numerical forecasts from the 2005 NSSL/SPC spring program[J].Weather Forecast，24（5）：1252-1267.doi：10.1175/2009waf2222241.1.

Ebert E E，McBride J L，2000.Verification of precipitation in weather systems：determination of systematic errors[J].J Hydrol，239（1/2/3/4）：179-202.doi：10.1016/S0022-1694（00）00343-7.

Gallus W A Jr，2010.Application of object-based verification techniques to ensemble precipitation forecasts[J].Weather Forecast，25（1）：144-158.doi：10.1175/2009waf2222274.1.

Gilleland E，Ahijevych D，Brown B G，et al.，2009.Intercomparison of spatial forecast verification methods[J].Weather Forecast，24（5）：1416-1430.doi：10.1175/2009waf2222269.1.

Gilleland E，Ahijevych D A，Brown B G，et al.，2010.Verifying forecasts spatially[J].Bull Amer Meteor Soc，91（10）：1365-1376.doi：10.1175/2010bams2819.1.

Haiden T，Rodwell M J，Richardson D S，et al.，2012.Intercomparison of global model precipitation forecast skill in 2010/11 using the SEEPS score[J].Mon Weather Rev，140（8）：2720-2733.doi：10.1175/mwr-d-11-00301.1.

麻巨慧，朱躍建，王盤興，等，2011.NCEP、ECMWF及CMC全球集合預(yù)報(bào)業(yè)務(wù)系統(tǒng)發(fā)展綜述[J].大氣科學(xué)學(xué)報(bào)，34（3）：370-380. Ma J H，Zhu Y J，Wang P X，et al.，2011.A Review on the developments of NCEP，ECMWF and CMC global ensemble forecast system[J].Trans Atmos Sci，34（3）：370-380.doi：10.13878/j.cnki.dqkxxb.2011.03.015.（in Chinese）.

Marsigli C，Montani A，Paccangnella T，2008.A spatial verification method applied to the evaluation of high-resolution ensemble forecasts[J].Meteorol Appl，15（1）：125-143.doi：10.1002/met.65.

Mass C F，Ovens D，Westrick K，et al.，2002.Does increasing horizontal resolution produce more skillful forecasts？[J].Bull Amer Meteor Soc，83（3）：407-430.doi：10.1175/1520-0477（2002）083<0407：dihrpm>2.3.co;2.

梅欽，智協(xié)飛，王佳，2018.WRF模式不同云參數(shù)化方案的暴雨預(yù)報(bào)能力檢驗(yàn)及集成試驗(yàn)[J].大氣科學(xué)學(xué)報(bào)，41（6）：731-742. Mei Q，Zhi X F，Wang J，2018.Verification and consensus experiments of rainstorm forecasting using different cloud parameterization schemes in WRF model[J].Trans Atmos Sci，41（6）：731-742.doi：10.13878/j.cnki.dqkxxb.20180306002.（in Chinese）.

Mittermaier M，Roberts N，2010.Intercomparison of spatial forecast verification methods：identifying skillful spatial scales using the fractions skill score[J].Weather Forecast，25（1）：343-354.doi：10.1175/2009waf2222260.1.

潘留杰，薛春芳，張宏芳，等，2017.三種高分辨率格點(diǎn)降水預(yù)報(bào)檢驗(yàn)方法的對(duì)比[J].氣候與環(huán)境研究，22（1）：45-58. Pan L J，Xue C F，Zhang H F，et al.，2017.Comparison of three verification methods for high-resolution grid precipitation forecast[J].Clim Environ Res，22（1）：45-58.doi：10.3878/j.issn.1006-9585.2016.16012.（in Chinese）.

潘旸，沈艷，宇婧婧，等，2015.基于貝葉斯融合方法的高分辨率地面-衛(wèi)星-雷達(dá)三源降水融合試驗(yàn)[J].氣象學(xué)報(bào)，73（1）：177-186. Pan Y，Shen Y，Yu J J，et al.，2015.An experiment of high-resolution gauge-radar-satellite combined precipitation retrieval based on the Bayesian merging method[J].Acta Meteorol Sin，73（1）：177-186.（in Chinese）.

Radanovics S，Vidal J P，Sauquet E，2018.Spatial verification of ensemble precipitation：an ensemble version of SAL[J].Weather Forecast，33（4）：1001-1020.doi：10.1175/waf-d-17-0162.1.

Roberts N M，Lean H W，2008.Scale-selective verification of rainfall accumulations from high-resolution forecasts of convective events[J].Mon Weather Rev，136（1）：78-97.doi：10.1175/2007mwr2123.1.

Rodwell M J，Richardson D S，Hewson T D，et al.，2010.A new equitable score suitable for verifying precipitation in numerical weather prediction[J].Q J Royal Meteorol Soc，136（650）：1344-1363.doi：10.1002/qj.656.

Skinner P S，Wicker L J，Wheatley D M，et al.，2016.Application of two spatial verification methods to ensemble forecasts of low-level rotation[J].Weather Forecast，31（3）：713-735.doi：10.1175/waf-d-15-0129.1.

Weusthoff T，Ament F，Arpagaus M，et al.，2010.Assessing the benefits of convection-permitting models by neighborhood verification：examples from MAP D-PHASE[J].Mon Weather Rev，138（9）：3418-3433.doi：10.1175/2010mwr3380.1.

張博，趙濱，牛若蕓，等，2017.全球模式對(duì)華北區(qū)域性強(qiáng)降水中期預(yù)報(bào)能力檢驗(yàn)[J].暴雨災(zāi)害，36（2）：118-124. Zhang B，Zhao B，Niu R Y，et al.，2017.The performance verification of several numerical models in middle range forecasting of regional heavy rainfall in North China[J].Torrential Rain Disasters，36（2）：118-124.doi：10.3969/j.issn.1004-9045.2017.02.003.（in Chinese）.

張涵斌，陳靜，智協(xié)飛，等，2014.基于GRAPES_Meso的集合預(yù)報(bào)擾動(dòng)方案設(shè)計(jì)與比較[J].大氣科學(xué)學(xué)報(bào)，37（3）：276-284. Zhang H B，Chen J，Zhi X F，et al.，2014.Design and comparison of perturbation schemes for GRAPES_Meso based ensemble forecast[J].Trans Atmos Sci，37（3）：276-284.doi：10.3969/j.issn.1674-7097.2014.03.003.（in Chinese）.

趙濱，張博，2018.鄰域空間檢驗(yàn)方法在降水評(píng)估中的應(yīng)用[J].暴雨災(zāi)害，37（1）：1-7. Zhao B，Zhang B，2018.Application of neighborhood spatial verification method on precipitation evaluation[J].Torrential Rain Disasters，37（1）：1-7.doi：10.3969/j.issn.1004-9045.2018.01.001.（in Chinese）.

Zhao B，Zhang B，2018.Assessing hourly precipitation forecast skill with the fractions skill score[J].J Meteorol Res，32（1）：135-145.doi：10.1007/s13351-018-7058-1.

智協(xié)飛，董甫，張玲，等，2020.基于不同微物理過程的廣西沿海南風(fēng)型暖區(qū)暴雨的數(shù)值模擬研究[J].大氣科學(xué)學(xué)報(bào)，43（5）：867-879. Zhi X F，Dong F，Zhang L，et al.，2020.Numerical simulation of southerly type warm-sector heavy rainfall in the coastal region of Guangxi using various cloud microphysics parameterization schemes in the WRF Model[J].Trans Atmos Sci，43（5）：867-879.doi：10.13878/j.cnki.dqkxxb.20200106001.（in Chinese）.

The established precipitation skill scores are influenced by the conventional duplex retribution problem which is induced by slight spatial and temporal contradiction between forecasts and observations.The FSS （Fraction Skill Score） is considered an approved scientific and problem-solving spatial technique that has been proposed in many articles for deterministic validation.In addition，this technique disclosed significant advantages in the directive of solving duplex retribution problem.In the consideration of high-resolution ensemble forecast，the ensemble precipitation forecasts also owned the corresponding problems with deterministic forecasts.In this research article，a novel ensemble precipitation verification skill score with spatial technique EFSS （Ensemble Fraction Skill Score） is developed based on extending FSS and deterministic ensemble forecasts.By using daily ensemble forecast obtained from ECMWF （European Centre for Medium-Range Weather Forecasts），QP and National Meteorological Information Center （NMIC） during June and August of 2018，the scoring consistency and the difference of traditional skill score in operational application have been analyzed.The consequences of this research indicated that EFSS is not affected by the ensemble members and the consistent evaluation can be obtained.The EETS （Ensemble Equitable Threat Score） was extended from deterministic traditional skill score that is suitable for ensemble forecasting.The comparison of EFSS and EETS indicates that the traditional skill scoring owned the ＼soutis limited skills in the directive to effective assessment of different characteristics of heavy precipitation processes.It can be concluded that，the EFSS technique can effectively improve the identification of heavy precipitation forecast verification.

neighborhood spatial verification;ensemble forecasts;traditional skill score;EETS;EFSS

doi：10.13878/j.cnki.dqkxxb.20200729001

（責(zé)任編輯：袁東敏）