国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

一種實用海洋浮標數(shù)據(jù)異常值質(zhì)控方法

2016-08-15 03:52:14劉首華陳滿春董明媚高志剛張建立武雙全林峰竹國家海洋信息中心天津300171
海洋通報 2016年3期
關(guān)鍵詞:波高局地浮標

劉首華,陳滿春,董明媚,高志剛,張建立,武雙全,林峰竹(國家海洋信息中心,天津 300171)

一種實用海洋浮標數(shù)據(jù)異常值質(zhì)控方法

劉首華,陳滿春,董明媚,高志剛,張建立,武雙全,林峰竹
(國家海洋信息中心,天津300171)

針對海洋浮標的波高觀測數(shù)據(jù),通過結(jié)合格拉布斯準則(Grubbs)、局地異常值檢驗方法和波高觀測誤差控制建立了一種實用的數(shù)據(jù)異常值質(zhì)控方法并對波高觀測異常值進行了質(zhì)控效果檢驗。結(jié)果表明,該質(zhì)控方法由于加入了波高觀測誤差控制,從而避免了將大量正常數(shù)據(jù)誤判為異常數(shù)據(jù),異常數(shù)據(jù)判斷的準確率達到了較高水準。另外該方法也可以作為一種實用質(zhì)控方法推廣使用于其他海洋浮標觀測要素。

海洋浮標;異常值;質(zhì)量控制;格拉布斯準則

我國沿海海域布放了眾多海洋觀測浮標,觀測要素包含了海風(fēng)、海浪、海流、溫度、鹽度等重要的水文氣象參數(shù)。為完成觀測數(shù)據(jù)的實用化使用,需要對海量觀測數(shù)據(jù)進行嚴謹而科學(xué)的質(zhì)量控制(質(zhì)控)。數(shù)據(jù)質(zhì)控不僅能剔除數(shù)據(jù)序列中不正確的數(shù)據(jù),也能從不正確數(shù)據(jù)中推測觀測浮標的情況,便于對觀測浮標進行及時的檢查和維修。海洋浮標數(shù)據(jù)常用的質(zhì)控內(nèi)容包含時間質(zhì)控、位置質(zhì)控、范圍質(zhì)控、異常值質(zhì)控、數(shù)據(jù)漂移性質(zhì)控、梯度質(zhì)控等(National Data Buoy Center,2009)。數(shù)據(jù)質(zhì)控的核心主體是觀測數(shù)據(jù)序列中的異常值質(zhì)控。超出儀器觀測范圍的值可以通過范圍控制進行剔除,而對在儀器測量范圍內(nèi)但又明顯脫離相鄰數(shù)據(jù)統(tǒng)計特征的數(shù)據(jù)需要異常值質(zhì)控剔除。

數(shù)據(jù)序列中異常值的檢測普遍存在于科學(xué)研究的各個領(lǐng)域,其抽象為離群數(shù)據(jù)的搜索和聚類,常見于數(shù)學(xué)領(lǐng)域和信息科學(xué)領(lǐng)域。關(guān)于時間序列異常值的判定,具有較為龐雜的方法分類(黃謨濤等,1999;Hodge et al,2004;李光強,2009),但比較常用且具有共性特征的是基于經(jīng)典統(tǒng)計理論的離群點檢測方法(王占全,2005)?;舅枷胧羌俣ㄒ阎獢?shù)據(jù)集滿足某種統(tǒng)計分布,通過分析數(shù)據(jù)點偏離正常統(tǒng)計分布的程度判定數(shù)據(jù)點是否異?;螂x群?;诮y(tǒng)計理論的異常值檢測方法能夠?qū)Χ鄠€數(shù)據(jù)點中的單個異常點做出比較準確的判斷。異常值的出現(xiàn)方式是比較復(fù)雜的,經(jīng)常以連續(xù)多個方式或以斑塊方式出現(xiàn),在局部時間段內(nèi)甚至超過正常數(shù)據(jù)的數(shù)量。在這種情形下,基于統(tǒng)計理論的異常值檢測方法就難以對這些異常值做出有效的判斷。

對很多時間序列觀測數(shù)據(jù)而言,有些觀測值在統(tǒng)計方法上判定為異常值,但是這些異常值可能沒有超過儀器本身的觀測誤差,因此這時候判斷的異常值應(yīng)理解為誤判。不同類型的觀測數(shù)據(jù),其異常值都有不同外觀特征及性質(zhì),并不存在一種普適性的異常值檢測方法。因此要針對具體的數(shù)據(jù)給出具體的質(zhì)控方法。雖然在海洋數(shù)據(jù)質(zhì)控方面存在大量研究成果,但內(nèi)容主要圍繞質(zhì)控共性理論方法的探討(于婷等,2013;鄭琳等,2014),鮮見針對浮標數(shù)據(jù)的具有可行性的數(shù)據(jù)質(zhì)控方法流程。本文針對浮標觀測數(shù)據(jù),通過結(jié)合統(tǒng)計檢測方法、局地檢測方法和浮標儀器本身觀測誤差控制,提出了一種實用的浮標數(shù)據(jù)質(zhì)控方法及具體流程,并對結(jié)果進行了分析。

1 方法介紹

浮標數(shù)據(jù)為時間序列性觀測數(shù)據(jù),誤差來源較為復(fù)雜,針對數(shù)據(jù)序列本身從3個方面對其進行質(zhì)控。一是基于統(tǒng)計理論的Grubbs準則;二是局地異常值檢驗法;三是浮標儀器觀測誤差的控制。

1.1Grubbs準則介紹

常用的異常值統(tǒng)計判別準則有萊以特準則(3σ準則)、羅曼諾夫斯基準則、奈爾準則、格拉布斯(Grubbs)準則、狄克遜(Dixon)準則等(楊筱,2009)。各個方法的基本原理大同小異,但不同情形下采用的準則有所不同。Grubbs準則是常用的異常值檢測方法。基本思路是根據(jù)兩個參數(shù)(觀測值與均值的距離、數(shù)據(jù)序列的標準差)來判斷觀測值脫離數(shù)據(jù)序列程度。由于其研究對象可以為少量數(shù)據(jù),而且不同的數(shù)據(jù)量具有不同的臨界值參數(shù)(異常值判定標準),相比固定判定標準的萊以特準則,Grubbs準則在有限數(shù)據(jù)量判定上更具有理論上的合理性。因此我們選定該方法作為浮標數(shù)據(jù)質(zhì)控方法。

假定浮標觀測數(shù)據(jù)序列為x1,x2,……,xn,數(shù)據(jù)序列的均值為。選取其中距離最大的數(shù)據(jù)xi。則可給出如下理論表達式(Grubbs,1950;國家質(zhì)量技術(shù)監(jiān)督局,1998;史靜濤等,2011):

其中S為數(shù)據(jù)序列的標準差,α為顯著性水平,n為數(shù)據(jù)序列的個數(shù)。G(α,n)為格拉布斯臨界值,可以通過查閱Grubbs臨界值表或根據(jù)(3)式得到。(3)式中t為自由度為n-2,顯著性水平為α/n的單邊界檢驗t分布的臨界值。測量值是否異??梢酝ㄟ^公式(2)進行判定。

1.2局地檢測方法

統(tǒng)計性的異常數(shù)據(jù)檢測方法一般具有普適性,應(yīng)用范圍比較廣泛,但其作為一種統(tǒng)計方法,需要在滿足一定數(shù)據(jù)量前提下,才具有穩(wěn)定性和準確性。Grubbs準則在數(shù)據(jù)量較少情況下難以進行異常值的判定?;诖?,引入了局地異常值檢測方法。它主要以幾個數(shù)據(jù)之間的比較為基礎(chǔ),具有較大的偶然性,但是具有較為直觀的判斷標準,能夠檢測大多數(shù)尖峰異常值。參考了歐洲SeaDataNet組織采用的異常值檢測方法(SeaDataNet,2010)。觀測數(shù)據(jù)xn的前后數(shù)據(jù)分別為xn-1和xn+1,則xn是否異??捎萌缦鹿絹磉M行判斷。

其中β是臨界值系數(shù),可以根據(jù)不同的觀測要素特點進行設(shè)置。該方法具有比較直觀的特點,其隱含假定xn-1和xn+1均為正常數(shù)據(jù),通過公式(4)比較認定異常數(shù)據(jù)。如果xn-1和xn+1中存在異常數(shù)據(jù),則xn就會出現(xiàn)誤判,這也是局地檢測方法的一個缺點。

1.3浮標觀測誤差控制

對浮標測量范圍內(nèi)數(shù)據(jù),結(jié)合統(tǒng)計性的Grubbs準則和局地異常數(shù)據(jù)檢測方法對數(shù)據(jù)進行整體和局部的質(zhì)控。假定浮標觀測數(shù)據(jù)具有1位小數(shù),在海況較為穩(wěn)定的情況下就可能出現(xiàn)一段時間較多數(shù)據(jù)相同的情況。如果在相同的一段數(shù)據(jù)中存在一個不同值,不同值與其他數(shù)據(jù)的差值為0.1。根據(jù)Grubbs準則,這個差異數(shù)據(jù)的統(tǒng)計特征會明顯區(qū)別于其他數(shù)據(jù),極有可能會被認定為異常值。由于浮標本身存在觀測誤差,如波高的觀測誤差標準一般為±(0.3m+0.1H) (H為波高) (國家海洋局,2011 a,2011 b),因此波高差值在0.1m時,遠低于自身觀測誤差,顯然不能認定為異常值。針對浮標本身的誤差情況,為防止出現(xiàn)過于明顯的誤判,加入了浮標誤差值的控制。

1.4浮標有效波高數(shù)據(jù)質(zhì)控算法

以浮標觀測有效波高數(shù)據(jù)為例,以上面介紹的方法為基礎(chǔ),介紹浮標有效波高數(shù)據(jù)的具體質(zhì)控流程。假定在一段時間內(nèi)的海洋有效波高要素觀測值集合為Uoriginal:

在針對浮標數(shù)據(jù)的質(zhì)控中,首先需要排除浮標測量范圍外的數(shù)據(jù)。不同浮標的有效波高觀測范圍有所不同,取浮標有效波高標稱范圍值為 [0 25]。進行質(zhì)控的條件有如下3個:

1)統(tǒng)計性質(zhì)控條件—Grubbs準則。公式(2)中顯著性水平α取0.05時會導(dǎo)致一些正常數(shù)據(jù)誤判為異常值。為盡量保留正常值,減少誤判的產(chǎn)生,通過大量實驗得出公式(2)中顯著性水平α 取0.01時會得到相對滿意的結(jié)果。數(shù)據(jù)的統(tǒng)計特征依賴于統(tǒng)計樣本的多少,不同樣本數(shù)量對異常值的判定是不同的。尤其是斑塊型異常值(短時間內(nèi)出現(xiàn)的大量異常值),需要在更長時間尺度對其進行統(tǒng)計特征檢驗?;诖?,采用多個尺度對異常值進行質(zhì)控,對于(2)中n的長度通過如下方式選?。?/p>

其中m為總檢測數(shù)據(jù)的個數(shù),μ為經(jīng)驗比例系數(shù),本研究取值0.618。n為向0取整的自然數(shù),l為符合n值范圍條件的0和自然數(shù)。例如檢測數(shù)據(jù)個數(shù)為1 000,則n分別取 [1 000,618,381,236,145,90,55,34,21,13,8,5],即首先以1 000個數(shù)據(jù)為一組進行異常值檢測,在遍歷完所有觀測數(shù)據(jù)后,對檢測的異常值進行剔除。對剩余的數(shù)據(jù)再以618個為一個組進行異常值檢測,對檢測的異常值進行剔除后再對剩余的數(shù)據(jù)以381個為一組按照以上方式進行異常值檢測,以此類推,最終形成正常數(shù)據(jù)集U1。

2)對于集合U1,采取局地奇異值檢測方法,見公式(4)。系數(shù)β是依賴于觀測要素的經(jīng)驗性參數(shù),不同觀測要素需要對應(yīng)不同的數(shù)值,而且不同值會產(chǎn)生不同結(jié)果,通過大量對比實驗得出了較為滿意的參數(shù)值,本文β取值為1.1。檢測完成后形成正常數(shù)據(jù)集合U2。

3)對于異常值數(shù)據(jù)集合Uoriginal-U2,對每個異常值進行檢測,如果異常值與相鄰正常值的差值不超過浮標觀測誤差,則認為該異常值為正常值。假定異常值及相鄰數(shù)據(jù)分別為xn-1,yn,xn+1,其中yn為異常值。x值為相鄰正常值或異常值。如果x值中存在正常值,那么判定yn是否為正常值采用下式(7)進行判定,如果x值中不存在正常值,則yn判定為異常值。對于誤判為異常值的數(shù)據(jù)形成集合U3。

綜上最終形成異常值集合為Uoriginal-U2-U3,正常值集合為U2+U3。

2 質(zhì)控結(jié)果討論與分析

選擇國家海洋局QF104和QF201浮標連續(xù)的有效波高觀測數(shù)據(jù)進行質(zhì)控分析。QF104浮標數(shù)據(jù)連續(xù)性較好,能夠代表一部分浮標觀測情況。QF201浮標觀測連續(xù)性相對較差,存在大量斑塊型異常值,也能夠代表一部分浮標的觀測情況。數(shù)據(jù)及質(zhì)控情況見表1,圖1,圖3。

進行檢驗的兩個浮標QF104和QF201的數(shù)據(jù)量分別為97 519個、4 410個。范圍控制 [0 25]排除的數(shù)據(jù)量分別為5 834個、33個,占總數(shù)據(jù)量比例為5.98%,0.75%。在排除浮標觀測范圍外數(shù)據(jù)后,通過人工檢查,發(fā)現(xiàn)異常值數(shù)量分別為11個和117個,在此作為兩個浮標異常值準確可靠的個數(shù)。

采用多種不同的方式對異常數(shù)據(jù)進行檢測。如果只采用Grubbs準則進行檢測(表1,Grubbs準則檢測),QF104和QF201異常數(shù)據(jù)數(shù)量分別判定為314個和360個,遠大于準確異常值數(shù)量,錯判個數(shù)分別為303個和254個。圖1(b)和圖3(b)顯示判定的異常值出現(xiàn)在整個時間序列中,與真實異常值(圖1(a)和圖3(a))有較大差別。經(jīng)分析發(fā)現(xiàn),在一串連續(xù)數(shù)字中,如果一個數(shù)字與其他數(shù)字存在一定的統(tǒng)計差別,這個數(shù)字在數(shù)學(xué)上認定為異于其他數(shù)據(jù),容易判定為異常數(shù)據(jù)。如圖2(b),第23 103個數(shù)據(jù)在統(tǒng)計上異于鄰近數(shù)據(jù),在數(shù)學(xué)上判定為異常數(shù)據(jù)。對于浮標波浪觀測來說,其波高誤差范圍一般大于0.3 m(國家海洋局,2011 a,2011 b),因此這種數(shù)學(xué)判定依據(jù)對于浮標觀測數(shù)據(jù)過于嚴格,該數(shù)據(jù)與鄰近數(shù)據(jù)相差僅0.1 m,應(yīng)判定為正常數(shù)據(jù)。因此異常數(shù)據(jù)檢測方法中加入觀測誤差控制是必要的。

表1 浮標有效波高數(shù)據(jù)質(zhì)控情況

圖1 QF104浮標有效波高數(shù)據(jù)整體質(zhì)控情況(a)藍星號為原始數(shù)據(jù),紅星號為真實異常數(shù)據(jù),紅框號為經(jīng)Grubbs準則和誤差控制檢測的異常數(shù)據(jù),綠圈為局地方法檢測的異常數(shù)據(jù);(b)紅鉆石為Grubbs準則檢測的異常數(shù)據(jù)

在加入浮標誤差控制后(表1,Grubbs準則+浮標誤差控制),QF104異常值誤判數(shù)量由303個減為0個。QF201異常值誤判數(shù)量由254個減為10個??梢娡ㄟ^浮標觀測誤差控制,可以大幅降低異常值誤判數(shù)量。QF104準確異常值的判定率達到100%,QF201的準確異常值判定率為90.6% (106/117),兩者均達到了較高的實用水平。Grubbs準則主要基于數(shù)據(jù)的統(tǒng)計性進行異常值檢測,本研究限定數(shù)據(jù)數(shù)量不小于5個(公式(6))。作為對數(shù)量較少的數(shù)據(jù)序列中異常值判斷的補充,我們在研究中加入局地性檢測方法,在3個數(shù)據(jù)中尋找異常數(shù)據(jù)。這種簡單有效的方法在QF104中檢測出的異常值數(shù)量為7個,遺漏4個,錯誤個數(shù)為0。QF201中檢測出的異常值個數(shù)為84個,其中遺漏39個,錯誤6個。該方法整體來看,存在一些遺漏的異常值,但是錯誤率較低,屬于相對較為可靠的方法。局地檢測方法一共涉及3個相鄰數(shù)字(公式(4)),如果檢測數(shù)據(jù)的前后數(shù)據(jù)中存在異常值,這就會對異常值判斷造成影響,容易產(chǎn)生誤判。圖4第4 011個數(shù)的前后數(shù)據(jù)均為真實異常值,根據(jù)公式(4),第4 011個數(shù)也認定為局地異常值,造成誤判。浮標201中存在大量斑塊式異常數(shù)據(jù)(圖3),有些大的異常數(shù)據(jù)中間存在正常數(shù)據(jù),根據(jù)局地判定方法會認定中間數(shù)據(jù)為異常數(shù)據(jù),因而也形成一些誤判異常數(shù)據(jù)。

圖2 QF104浮標有效波高數(shù)據(jù)質(zhì)控局部情況示意圖(a) 藍星號為原始數(shù)據(jù),紅星號為真實異常數(shù)據(jù),紅框號為經(jīng)Grubbs準則和誤差控制檢測的異常數(shù)據(jù),綠圈為局地方法檢測的異常數(shù)據(jù);(b) 紅鉆石為Grubbs準則檢測的異常數(shù)據(jù)

圖3 QF201浮標有效波高數(shù)據(jù)整體質(zhì)控情況(a)藍星號為原始數(shù)據(jù),紅星號為真實異常數(shù)據(jù),紅框號為經(jīng)Grubbs準則和誤差控制檢測的異常數(shù)據(jù),綠圈為局地方法檢測的異常數(shù)據(jù);(b)紅鉆石為Grubbs準則檢測的異常數(shù)據(jù)。

綜合Grubbs準則、浮標觀測誤差控制和局地質(zhì)控方法,QF104和QF201形成最終質(zhì)控結(jié)果(表1,Grubbs準則+浮標誤差控制+局地檢測)。其中QF104,檢測異常值個數(shù)為11,錯誤數(shù)和遺漏數(shù)均為0,即與準確異常值個數(shù)一致,且完全對應(yīng)。QF201真實異常值個數(shù)為117個,檢測個數(shù)為123個,檢測正確個數(shù)為106個,遺漏11個,錯判個數(shù)17個。如果異常數(shù)據(jù)為單個孤立型異常數(shù)據(jù),Grubbs準則可以做出較為準確的判斷(圖1,圖3)。如果異常數(shù)據(jù)大量出現(xiàn),在局部時間內(nèi)甚至超過正常數(shù)據(jù)的數(shù)量,這種情況下即使人工判斷異常數(shù)據(jù)都較為困難,所以本文方法也出現(xiàn)了大量的漏判和錯判(郭永幸,1994)。如圖5,第3 980 和3 984個數(shù)據(jù)經(jīng)Grubbs準則及浮標觀測誤差控制均認定為異常數(shù)據(jù)。從該段數(shù)據(jù)序列來看,數(shù)據(jù)連續(xù)性變化較為異常,有很大可能存在異常數(shù)據(jù),但是僅從這些數(shù)據(jù)本身難以明確判定異常數(shù)據(jù)位置,因此人工判定時均認為是正常數(shù)據(jù),所以對這兩個數(shù)據(jù)的判定均為誤判。

圖4 QF201浮標有效波高數(shù)據(jù)質(zhì)控局部情況示意圖(藍星號為原始數(shù)據(jù),紅星號為真實異常數(shù)據(jù),紅框號為經(jīng)Grubbs準則和誤差控制檢測的異常數(shù)據(jù),綠圈為局地方法檢測的異常數(shù)據(jù))。

圖5 QF201浮標有效波高數(shù)據(jù)質(zhì)控局部情況示意圖藍星號為原始數(shù)據(jù),紅星號為真實異常數(shù)據(jù),紅框號為經(jīng)Grubbs準則和誤差控制檢測的異常數(shù)據(jù),綠圈為局地方法檢測的異常數(shù)據(jù)

圖6 數(shù)據(jù)序列 [3.0 4.5 3.3 3.9 4.8]  示意圖

同樣圖5,以4 020到4 030時間段內(nèi)的波高數(shù)據(jù)為例。在更長時間范圍內(nèi)看,第4 024-4028數(shù)據(jù)與前后時間段的數(shù)據(jù)變化趨勢不符,觀測值又全部相同,根據(jù)經(jīng)驗判定4 024-4 028數(shù)據(jù)均為異常數(shù)據(jù)。由于局部異常數(shù)據(jù)數(shù)量過多,且在長序列數(shù)據(jù)中統(tǒng)計特征無異常,這些異常數(shù)據(jù)是無法根據(jù)Grubbs準則和局地判定方法進行判斷的。局部異常數(shù)據(jù)過多,就會導(dǎo)致正常數(shù)據(jù)成為少數(shù)數(shù)據(jù),容易判定為異常數(shù)據(jù),如4 029和4 030點就誤判為異常數(shù)據(jù)點。

QF104浮標數(shù)據(jù)中的異常值點主要為單個孤立點,采用的研究方法能夠比較準確的判定這些異常值點,判定的準確率為100%,遺漏率和錯誤率均為0。QF201中存在較多的異常值點,許多異常值以斑塊形式出現(xiàn),局部時間段異常值數(shù)量超過正常值數(shù)量。許多異常值即使人工方式都很難判斷,因此我們采用的研究方法很難對異常值做到精確的判定。判定準確率僅為90.6%(106/117),遺漏率為9.4%。經(jīng)分析發(fā)現(xiàn),QF201數(shù)據(jù)中異常值如果較為明顯(人工可明確判定),本文研究方法可以做到絕大部分判定。遺漏和錯誤判定點均出現(xiàn)在異常值不明顯或人工都不能做出明確判定區(qū)域。

從QF104和QF201浮標數(shù)據(jù)質(zhì)控情況看,Grubbs準則檢測的異常值均包含了局地性檢測方法的結(jié)果。Grubbs準則作為統(tǒng)計性檢驗方法,如果數(shù)據(jù)量為3~4個,容易產(chǎn)生誤判,因此本研究限制數(shù)據(jù)量最小為5。存在一種異常數(shù)據(jù)在數(shù)據(jù)量較大時根據(jù)Grubbs準則難以判定為異常數(shù)據(jù)。如數(shù)據(jù)序列: [3.0 4.5 3.3 3.9 4.8](圖6),第2個數(shù)據(jù)4.5在波高連續(xù)變化序列中容易認定為異常值,但是根據(jù)Grubbs準則不能判定4.5為異常數(shù)據(jù)。根據(jù)局地性判定方法就可以判斷4.5為異常數(shù)據(jù)。因此盡管這種數(shù)據(jù)出現(xiàn)情況較少,但在理論上局地性檢測方法仍然可以作為Grubbs準則的有效補充。

3 結(jié)論

通過統(tǒng)計質(zhì)控方法、局地質(zhì)控方法和浮標觀測誤差控制方法,對中國沿海兩個具有代表性的浮標QF104和QF201進行了質(zhì)控方法研究。其中浮標觀測誤差的控制可以大幅度降低異常值誤判數(shù)量,是一種非常有效的浮標數(shù)據(jù)質(zhì)控的控制條件。如果數(shù)據(jù)序列的異常值較為明顯,該方法可以做出比較準確的判斷。在數(shù)據(jù)序列的異常值不明顯或者即使人工方式都難以做出判斷時,該方法對于異常值判斷的有效性降低,會出現(xiàn)一些遺漏和錯判。整體來看,本文給出的異常值質(zhì)控方法是針對浮標數(shù)據(jù)異常值質(zhì)控非常有效的方法。根據(jù)本文研究分析,得出如下結(jié)論:

(1) Grubbs準則對于浮標有效波高時間序列數(shù)據(jù)中的統(tǒng)計異常值能夠進行準確的質(zhì)控,但是由于只是數(shù)學(xué)意義上的質(zhì)控,會造成大量異常值的誤判。通過加入浮標誤差控制能夠大幅度消減異常值誤判情況,形成對真實異常值的有效質(zhì)控。該思路同樣可以應(yīng)用于其他海洋環(huán)境參數(shù)的質(zhì)控。

(2)局地性的異常值判定方法是一種簡單有效的異常值質(zhì)控方法。在保守的臨界值系數(shù)(β=1.1)前提下,其在異常值判定的數(shù)量上相對較低,但是準確率高,誤判情形少,在理論上可以作為Grubbs準則判定的有效補充。

(3)浮標觀測數(shù)據(jù)異常值的成因與觀測儀器本身、觀測環(huán)境等要素密切相關(guān),因此異常值的出現(xiàn)也具有比較復(fù)雜的外觀特征。不存在能夠質(zhì)控所有異常值數(shù)據(jù)的理論方法,本文給出的Grubbs準則、浮標誤差控制和局地性異常值判定的方法是簡潔實用的時間序列數(shù)據(jù)質(zhì)控方法,具備理論上的可靠性。本文研究方法對于局部區(qū)域出現(xiàn)多個連續(xù)不明顯異常值時不能進行有效的質(zhì)控,這也是本方法以后改進的聚焦點。

Grubbs F E,1950.Sample criteria for testing outlying observations.The Annals of Mathematical Statistics,27-58.

Hodge V J,Austin J,2004.A survey of outlier detection methodologies Artificial Intelligence Review,22(2):85-126.

National Oceanic and Atmospheric Administration,2009.Handbook of automated data quality control checks and procedures.Mississippi: NOAA.

SeaDataNet,2010.Data quality control procedures.Greece:SeaDataNet.

郭永幸,1994.試論“格拉布斯準則”的局限性.飛行試驗,10 (2):35-40.

國家海洋局,2011a.HY/T 143小型海洋環(huán)境監(jiān)測浮標.

國家海洋局,2011b.HY/T 142大型海洋環(huán)境監(jiān)測浮標.

國家質(zhì)量技術(shù)監(jiān)督局,1998.GB 17378.2海洋監(jiān)測規(guī)范第2部分:數(shù)據(jù)處理與分析質(zhì)量控制.

黃謨濤,翟國君,王瑞,等,1999.海洋測量異常數(shù)據(jù)的檢測.測繪學(xué)報,28(3):269-277.

李光強,2009.時空異常探測理論與方法.長沙:中南大學(xué).

史靜濤,周智海,2011.海洋站數(shù)據(jù)質(zhì)量控制技術(shù)探討.海洋技術(shù)學(xué)報,30(1):114-117.

王占全,2005.基于地理信息系統(tǒng)空間數(shù)據(jù)挖掘若干關(guān)鍵技術(shù)的研究.杭州:浙江大學(xué).

楊筱,2009.衛(wèi)星導(dǎo)航系統(tǒng)數(shù)據(jù)與信號質(zhì)量評估技術(shù)研究.長沙:國防科學(xué)技術(shù)大學(xué).

于婷,劉玉龍,楊錦坤,等,2013.實時和延時海洋觀測數(shù)據(jù)質(zhì)量評估方法研究.海洋通報,32(6):610-614.

鄭琳,劉艷,崔文林,等,2014.海洋監(jiān)測數(shù)據(jù)質(zhì)量評估研究.海洋通報,33(2):228-234.

(本文編輯:袁澤軼)

A quality control method for the outlier detection of buoy observations

LIU Shou-hua,CHEN Man-chun,DONG Ming-mei,GAO Zhi-gang, ZHANG Jian-li,WU Shuang-quan,LIN Feng-zhu
(Nation Marine Data and Information Service,Tianjin 300171,China)

By combining Grubbs criteria,local outlier detection method and observation error control of wave height,a robust method is constructed for the quality control of wave height data.The results show that the performance of quality control for the buoy data is good,which reaches a relatively high level.By considering the observation error of wave height, the good quality data which are thought to be outlier or unusual by the old method could be detected well.The efficiency for the detection of outlier in the data records is good.And the method proposed by our study could be used in the quality control of other ocean factors observed by the buoy.

ocean buoy;outlier;quality control;Grubbs criteria

劉首華(1983-),男,博士,主要從事海浪、全球氣候變化研究。電子郵箱:huazai950@hotmail.com。

P731

A

1001-6932(2016)03-0264-07

10.11840/j.issn.1001-6392.2016.03.004

2015-06-28;

2015-08-14

國家自然科學(xué)基金(41406032)。

猜你喜歡
波高局地浮標
基于FHDI-GNWM 數(shù)據(jù)的全球超越概率波高宏觀分布特征分析
受了委屈的浮標君
受了委屈的浮標君
受了委屈的浮標君
家教世界(2023年7期)2023-03-22 12:11:24
受了委屈的浮標君
家教世界(2023年4期)2023-03-04 07:31:28
哈爾濱2020年一次局地強對流天氣分析
黑龍江氣象(2021年2期)2021-11-05 07:06:54
基于漂流浮標的南大洋衛(wèi)星高度計有效波高研究
海洋通報(2021年3期)2021-08-14 02:20:46
非平整港池的多向不規(guī)則波試驗研究
邊界層參數(shù)化方案中局地與非局地混合在高分辨率數(shù)值預(yù)報模式中的作用和影響
飽和秋色
女報seaside(2014年10期)2014-04-29 21:02:51
沐川县| 东乌珠穆沁旗| 会理县| 若尔盖县| 北海市| 彰武县| 广东省| 呼和浩特市| 革吉县| 郎溪县| 青神县| 九龙城区| 鹰潭市| 长垣县| 天门市| 东兴市| 巴塘县| 新源县| 固安县| 饶河县| 肇东市| 武义县| 平山县| 名山县| 梁山县| 浑源县| 南部县| 尤溪县| 阿克| 绵阳市| 肥乡县| 泗水县| 宾阳县| 子洲县| 肃宁县| 柘荣县| 中山市| 连平县| 林州市| 永定县| 灵丘县|