国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

面向油中溶解氣體監(jiān)測時序數(shù)據(jù)壓縮的改進(jìn)方法

2017-05-11 01:08:06張煒王英潔鄔蓉蓉
電力建設(shè) 2017年5期
關(guān)鍵詞:時標(biāo)旋轉(zhuǎn)門壓縮算法

張煒,王英潔,鄔蓉蓉

(1.廣西電網(wǎng)有限責(zé)任公司電力科學(xué)研究院,南寧市 530023;2.南方電網(wǎng)科學(xué)研究院,廣州市 510080)

面向油中溶解氣體監(jiān)測時序數(shù)據(jù)壓縮的改進(jìn)方法

張煒1,王英潔2,鄔蓉蓉1

(1.廣西電網(wǎng)有限責(zé)任公司電力科學(xué)研究院,南寧市 530023;2.南方電網(wǎng)科學(xué)研究院,廣州市 510080)

為提高油中溶解氣體監(jiān)測數(shù)據(jù)的分析、傳輸效率,提出了一種針對時間序列數(shù)據(jù)的改進(jìn)壓縮存儲方法。首先區(qū)別狀態(tài)量和模擬量的數(shù)據(jù)類型,并創(chuàng)建不同數(shù)據(jù)列的二維表。其次,組合應(yīng)用旋轉(zhuǎn)門算法和哈夫曼算法,并在創(chuàng)建的數(shù)據(jù)區(qū)間索引后實現(xiàn)數(shù)據(jù)壓縮存儲。實測結(jié)果表明該方法不僅能滿足對時間序列數(shù)據(jù)的高效、并發(fā)存儲要求,還有利于在改進(jìn)數(shù)據(jù)讀取、傳輸效果的基礎(chǔ)上,開展大數(shù)據(jù)分析和跨系統(tǒng)應(yīng)用。

油中溶解氣體;時間序列數(shù)據(jù);旋轉(zhuǎn)門算法;哈夫曼算法

0 引 言

根據(jù)《中國電力大數(shù)據(jù)發(fā)展白皮書(2013年)》的介紹,電力企業(yè)大多已建成的企業(yè)級信息集成平臺雖能處理日常業(yè)務(wù),但數(shù)據(jù)儲存時間以及海量數(shù)據(jù)的爆發(fā)式增長對IT基礎(chǔ)設(shè)施提出了更高的要求[1]。以變壓器油中溶解氣體監(jiān)測數(shù)據(jù)為例,該數(shù)據(jù)是電力生產(chǎn)中的關(guān)鍵數(shù)據(jù),但對此數(shù)據(jù)的存儲與交換能力尚不能適應(yīng)電力大數(shù)據(jù)應(yīng)用的要求。

在以電力大數(shù)據(jù)關(guān)鍵技術(shù)診斷設(shè)備運行狀態(tài)時,需要利用海量狀態(tài)監(jiān)測數(shù)據(jù),而海量數(shù)據(jù)在數(shù)據(jù)傳輸、存儲和檢索方面仍存在一定難度[2]。為解決此問題,雖然已經(jīng)應(yīng)用了多種電力系統(tǒng)數(shù)據(jù)壓縮技術(shù)[3-8],然而在實際上除優(yōu)化壓縮算法外,還需結(jié)合不同數(shù)據(jù)的訪問特征研究高速存儲、索引體系結(jié)構(gòu)以及流計算即時處理等技術(shù),進(jìn)而增強數(shù)據(jù)壓縮品質(zhì)。油中溶解氣體監(jiān)測數(shù)據(jù)涵蓋了所在電網(wǎng)主變的油中氣體含量,是表征變壓器是否存在內(nèi)部故障及其故障性質(zhì)、程度的重要特征數(shù)據(jù),但其應(yīng)用在關(guān)系數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu)化查詢語言(structured query language,SQL)時所暴露出的擴(kuò)展性差、可靠性低等問題,也不同于數(shù)據(jù)采集與監(jiān)視控制(supervisory control and data acquisition,SCADA)系統(tǒng)故障錄波、電能質(zhì)量等數(shù)據(jù)格式,故難以適應(yīng)壓縮品質(zhì)的要求[9],并制約分析、傳輸監(jiān)測數(shù)據(jù)的效率。

本文針對上述問題和需求,在監(jiān)測系統(tǒng)的時序數(shù)據(jù)庫基礎(chǔ)上,提出一種適用于油中溶解氣體監(jiān)測時序數(shù)據(jù)的壓縮存儲方法。該方法對油中溶解氣體的監(jiān)測不同于SCADA系統(tǒng)故障錄波、電能質(zhì)量等數(shù)據(jù)的索引體系結(jié)構(gòu)的情況,首先將時序數(shù)據(jù)的數(shù)據(jù)項按照不同的數(shù)據(jù)類型組合在一個固定的存儲結(jié)構(gòu)二維表中,再以旋轉(zhuǎn)門算法和哈夫曼算法組合后壓縮,最后將組合成的若干固定長度的數(shù)據(jù)塊存儲在數(shù)據(jù)庫中。該方法將有損與無損壓縮方法相結(jié)合,不僅能夠保障壓縮比和壓縮品質(zhì),還能夠提升跨系統(tǒng)傳輸、海量數(shù)據(jù)分析的效率。

1 油氣監(jiān)測數(shù)據(jù)應(yīng)用特征

1.1 數(shù)據(jù)讀取分析

與其他工況測試數(shù)據(jù)相比,油中溶解氣體監(jiān)測數(shù)據(jù)分布廣、數(shù)據(jù)多、頻次高[10],讀取分析難度大。如廣西電網(wǎng)在2015年共采集300臺變壓器或高壓電抗器的92 783條有效監(jiān)測數(shù)據(jù),而每條監(jiān)測數(shù)據(jù)需要在關(guān)系型數(shù)據(jù)庫中占用288字節(jié)的存儲空間。利用顯著性差異分析等方法[11]分析全網(wǎng)監(jiān)測數(shù)據(jù),篩查存在同制造廠同批次設(shè)備的共性缺陷、存在劣化趨勢的隱性缺陷等,需要對監(jiān)測的數(shù)據(jù)進(jìn)行參數(shù)多層分解,并形成以時間為線索的數(shù)據(jù)壓縮流。然而,以下2個方面的局限將影響大數(shù)據(jù)分析應(yīng)用的效果:一方面,監(jiān)測點及監(jiān)測頻次在不斷增加,數(shù)據(jù)存儲規(guī)模將日劇增大;另一方面,維護(hù)傳統(tǒng)關(guān)系型數(shù)據(jù)庫中表結(jié)構(gòu)的關(guān)聯(lián)性、一致性將勢必犧牲數(shù)據(jù)的讀寫性能。

1.2 數(shù)據(jù)集成傳輸

狀態(tài)監(jiān)測評估系統(tǒng)主站除了需要展示、分析監(jiān)測數(shù)據(jù)外,還具備信息傳輸、數(shù)據(jù)共享和分布式處理等職能[12-13]。如各省級電網(wǎng)主站需要向南方電網(wǎng)主站、海量準(zhǔn)實時數(shù)據(jù)平臺、數(shù)據(jù)中心等推送數(shù)據(jù),故對集成傳輸要求高。特別是為落實《電力監(jiān)控系統(tǒng)安全防護(hù)規(guī)定》(國家發(fā)展改革委2014年第14號令)、Q/CSG 1204009—2015《中國南方電網(wǎng)電力監(jiān)控系統(tǒng)安全防護(hù)技術(shù)規(guī)范》等要求,將首先在生產(chǎn)控制大區(qū)的非控制區(qū)(安全Ⅱ區(qū))采集、存儲監(jiān)測數(shù)據(jù),再通過正向安全隔離裝置向管理信息大區(qū)的生產(chǎn)管理區(qū)(安全Ⅲ區(qū))傳輸、發(fā)布和應(yīng)用監(jiān)測數(shù)據(jù),如圖1所示。此時,通過橫向正向安全隔離裝置傳輸數(shù)據(jù)將在速率、容量等方面有更大限制[14]。當(dāng)信息負(fù)荷水平過大時,數(shù)據(jù)傳輸性能下降,滯留大量數(shù)據(jù)包[15-16]。故系統(tǒng)中數(shù)據(jù)包吞吐率為40兆位/s (100條安全策略,1 024字節(jié)報文長度),數(shù)據(jù)包轉(zhuǎn)發(fā)延遲小于 10 ms(100%負(fù)荷)。因此,須壓縮監(jiān)測數(shù)據(jù),減少通過安全隔離裝置的數(shù)量和次數(shù)。

圖1 監(jiān)測系統(tǒng)網(wǎng)絡(luò)安全防護(hù)邏輯結(jié)構(gòu)Fig.1 Logical structure of network security protection for monitoring system

2 改進(jìn)壓縮方法

2.1 油中溶解氣體監(jiān)測數(shù)據(jù)結(jié)構(gòu)

油中溶解氣體監(jiān)測的源數(shù)據(jù)表包括狀態(tài)量和模擬量這兩大類數(shù)據(jù),其中狀態(tài)量主要是指監(jiān)測告警和裝置狀態(tài)。表1為源數(shù)據(jù)的表結(jié)構(gòu)。本文將分別處理狀態(tài)量和模擬量這2類數(shù)據(jù),對于狀態(tài)量的處理方法相對簡單,其中僅需保留變化的狀態(tài)量可以進(jìn)行大幅無損壓縮,重點在于模擬量的壓縮。

表2為部分關(guān)系數(shù)據(jù)庫中油中溶解氣體監(jiān)測數(shù)據(jù)的原始數(shù)據(jù)示例,由表2中的數(shù)據(jù)可知,數(shù)據(jù)表內(nèi)存在大量重復(fù)數(shù)據(jù),可用組合壓縮算法歸檔壓縮原始的油中溶解氣體監(jiān)測數(shù)據(jù),具體步驟為:(1)采用旋轉(zhuǎn)門壓縮算法壓縮表中的各列數(shù)據(jù),并形成新的二維表;(2)梳理經(jīng)旋轉(zhuǎn)門壓縮后二維表中的大量空值,并為節(jié)省空間而進(jìn)行組合存儲;(3)采用哈夫曼算法壓縮經(jīng)組合存儲變換后的數(shù)據(jù)。

2.2 數(shù)據(jù)壓縮

2.2.1 旋轉(zhuǎn)門壓縮

圖2為旋轉(zhuǎn)門算法原理的示意圖。如圖2所示,X0作為當(dāng)前保留的一個數(shù)據(jù)點,以距離X0為ΔE的上下2個點作為支點,t1時刻的數(shù)據(jù)點X1分別與X0的2個支點形成第1個三角形的虛擬門[17]。同樣,在t2

表1 源數(shù)據(jù)的表結(jié)構(gòu)
Table 1 Table structure of source data

表2 原始數(shù)據(jù)示例Table 2 Examples of raw data

時刻的數(shù)據(jù)點X2分別與X0的2個支點形成第2個三角形虛擬門,此時,第2個三角形包含了前一個數(shù)據(jù)點X1。接下來繼續(xù)進(jìn)行旋轉(zhuǎn)門操作,第3個三角形虛擬門包含了前面2個數(shù)據(jù)點X1、X2,到第4個點X4時,三角形虛擬門只包含了X1,并沒有包含X2和X3。因此,第1段旋轉(zhuǎn)門操作結(jié)束。此時,從t0到t3時段,壓縮了X1、X2、X3數(shù)據(jù)點被保留。同樣,t3到t5完成第2個旋轉(zhuǎn)門操作,只保留X5數(shù)據(jù)點。

圖2 旋轉(zhuǎn)門算法原理Fig.2 Principle of rotating gate algorithm

對原始數(shù)據(jù)逐列應(yīng)用旋轉(zhuǎn)門壓縮算法,壓縮后的數(shù)據(jù)仍然可以表示成一張二維表,而被壓掉的數(shù)據(jù)點將被以空值(Null)表示,進(jìn)而大幅降低存儲量。圖3為“C2H2_DATA”列經(jīng)旋轉(zhuǎn)門壓縮后的結(jié)果。

表3 C2H2的壓縮結(jié)果
Table 3 C2H2compression results

旋轉(zhuǎn)門壓縮階段的主要步驟為:(1)逐列壓縮表中數(shù)據(jù),并以“Null”表示被壓縮的數(shù)據(jù);(2)逐行梳理表中數(shù)據(jù),并過濾除時間外其他均為空值的行。

完成上述步驟后,所得的結(jié)果即是旋轉(zhuǎn)門壓縮階段的最終結(jié)果。旋轉(zhuǎn)門壓縮算法是一種有損壓縮算法,被壓縮掉的數(shù)據(jù)可能無法精確恢復(fù),但仍可依據(jù)保留的數(shù)據(jù)擬合近似值和繪制趨勢曲線,不影響監(jiān)測數(shù)據(jù)預(yù)警和診斷設(shè)備異常。

此外,時序數(shù)據(jù)庫將單個測量參數(shù)作為管理基本單位,每個參數(shù)都帶一個時標(biāo)。為了壓縮時標(biāo),采用邊長相對時間表示數(shù)據(jù)的時標(biāo),即可使高頻率獨立采集的數(shù)據(jù)達(dá)到較好效率。但對于油氣數(shù)據(jù)這類多個參數(shù)(37個)同時采集的低頻數(shù)據(jù)而言,則會浪費很多空間去存儲相同的數(shù)據(jù)時標(biāo),本文采用多個采集指標(biāo)組合存儲的方式,這樣可以共享時標(biāo),節(jié)省存儲。

2.2.2 組合存儲

經(jīng)旋轉(zhuǎn)門壓縮后產(chǎn)生的空值也將占用存儲空間,且其存儲方式也直接影響到存儲量,本文采用非空標(biāo)識位圖來表示每個數(shù)據(jù)是否為空值(即每個數(shù)據(jù)用一個比特表示是否為空值),其組合存儲后的數(shù)據(jù)塊結(jié)構(gòu)如圖3所示。

圖3 非空標(biāo)識位圖Fig.3 Non empty ID bitmap

圖3中:數(shù)據(jù)塊描述信息是說明數(shù)據(jù)轉(zhuǎn)換后存儲結(jié)構(gòu)的簡要信息,包括數(shù)據(jù)函數(shù)和列數(shù)以及數(shù)據(jù)非空標(biāo)識位圖、時標(biāo)信息、行數(shù)據(jù)的起始位置;時標(biāo)信息存儲每行數(shù)據(jù)的時標(biāo)字段,每個時標(biāo)占8字節(jié);數(shù)據(jù)非空標(biāo)識位說明表中數(shù)據(jù)點是否為空,每個數(shù)據(jù)點以位表示;行數(shù)據(jù)塊存儲每行數(shù)據(jù)非空的數(shù)據(jù)點,每個數(shù)據(jù)點占4字節(jié)。

結(jié)構(gòu)轉(zhuǎn)換的具體步驟為:(1)按順序取表中的一行數(shù)據(jù),并將其中的時標(biāo)追加至新數(shù)據(jù)結(jié)構(gòu)的時標(biāo)信息中;(2)按順序逐列檢查該行數(shù)據(jù)中的數(shù)據(jù)項,若數(shù)據(jù)項為空,則在位圖的相應(yīng)位置置0,否則置1,并將該數(shù)據(jù)項追加到新數(shù)據(jù)結(jié)構(gòu)的行數(shù)據(jù)塊中;(3)重復(fù)以上2步,直至掃描完畢所有的數(shù)據(jù)行;(4)將數(shù)據(jù)行數(shù)、列數(shù)及時標(biāo)信息、數(shù)據(jù)非空標(biāo)識位圖位、行數(shù)據(jù)塊的開始位置信息填入數(shù)據(jù)塊描述信息中,至此完成組合存儲轉(zhuǎn)換。

2.2.3 哈夫曼壓縮

哈夫曼算法是一種最常用的不等長無損壓縮編碼方法,可提升訪問速度[18]。油中溶解氣體監(jiān)測數(shù)據(jù)通常按時間查看,故為確保查詢效率,則單獨提取時標(biāo)信息且無須壓縮,查詢時亦無須解壓則直接查詢。因此本文中的無損壓縮只對行數(shù)據(jù)塊進(jìn)行,如圖4所示。

圖4 無損壓縮示例Fig.4 Lossless compression process

圖4中:左部為經(jīng)旋轉(zhuǎn)門壓縮組合存儲后的數(shù)據(jù);右部為以哈夫曼壓縮算法無損壓縮的內(nèi)容,其關(guān)鍵在于確定碼元在數(shù)據(jù)塊中出現(xiàn)的權(quán)重,本文以字節(jié)(信源符號)為單位對行數(shù)據(jù)塊(信源)進(jìn)行編碼,即是信源符號(碼元)最大數(shù)為256個(0,1,2,…,256),其主要步驟如下詳述。

(1)定義一個長度為256的整數(shù)數(shù)組F,并將所有元素初值設(shè)置為0,該數(shù)組用于統(tǒng)計各碼元在整個被編碼的數(shù)據(jù)塊中出現(xiàn)的次數(shù)。

(2)逐字節(jié)地遍歷被編碼數(shù)據(jù)塊,并以該字節(jié)的值(無符號整數(shù))為數(shù)組F的下標(biāo),對數(shù)組的元素進(jìn)行加1操作,直至遍歷被編碼數(shù)據(jù)塊所有字節(jié)。

(3)執(zhí)行步驟1和步驟2后,可得碼元及其出現(xiàn)的次數(shù),只有F中值不為0的數(shù)組元素下的標(biāo)值才是編碼中有效的碼元(碼元數(shù)量影響編碼后的碼字長度),經(jīng)統(tǒng)計碼元出現(xiàn)次數(shù)可得各碼元的權(quán)重。

(4)由步驟3求解、保存碼元及其權(quán)重構(gòu)造編碼表,并使用編碼表對被編碼數(shù)據(jù)逐字節(jié)編碼直至最后一個字節(jié),將編碼后的數(shù)據(jù)存儲于圖4中壓縮數(shù)據(jù)的位置中。

(5)鑒于哈夫曼編碼本身不具備檢錯和糾錯功能,故以美國標(biāo)準(zhǔn)信息交換代碼(American standard code for information interchange,ASCII)校驗哈夫曼編碼表和壓縮數(shù)據(jù),并將結(jié)果存儲于圖4中壓縮數(shù)據(jù)校驗碼的位置中。

在解壓數(shù)據(jù)時,先計算校驗和是否正確,哈夫曼編碼的解壓過程利用壓縮時已計算好的編碼表來解壓縮數(shù)據(jù),不同之處在于壓縮時需逐字節(jié)地掃描被壓縮數(shù)據(jù),而解壓過程則是逐位掃描已壓縮數(shù)據(jù)而還原數(shù)據(jù)。

3 算例分析

3.1 壓縮比分析

壓縮500 kV玉林站2號主變B相3個月內(nèi)的122條監(jiān)測數(shù)據(jù),結(jié)果如圖5所示。分析氫氣測值的壓縮結(jié)果,如圖6所示??梢娫?22個H2測值在經(jīng)壓縮后為21個點,壓縮比約為6∶1,有效地還原了區(qū)間范圍內(nèi)數(shù)據(jù)上下波動的情況,保留了高價值的峰值數(shù)據(jù)。

圖5 3個月內(nèi)的監(jiān)測數(shù)據(jù)Fig.5 Monitoring data within three months

圖6 采用旋轉(zhuǎn)門法壓縮后的數(shù)據(jù)Fig.6 Data compressed by rotating gate algorithm

改進(jìn)壓縮方法與測值數(shù)據(jù)變化區(qū)間范圍相關(guān),梳理現(xiàn)有監(jiān)測數(shù)據(jù)樣本值發(fā)現(xiàn),測值主要集中在200 μL/L內(nèi)變化,通過調(diào)整旋轉(zhuǎn)門壓縮參數(shù),壓縮率可以達(dá)到8∶1,而無損數(shù)據(jù)的基本特征。因此,通過改進(jìn)算法原理,最多1個字節(jié)即足以表示這200多種變化(1字節(jié)=8位,28=256種變化)。在實際應(yīng)用中,以2015年廣西電網(wǎng)在用的300套監(jiān)測裝置共采集92 783條有效監(jiān)測數(shù)據(jù)為例,采用本方法最低可節(jié)省存儲空間為92 783×(288-36)字節(jié)=23 381 316字節(jié),即節(jié)約了87.5%的存儲空間。

3.2 解壓讀取和傳輸分析

與傳統(tǒng)的關(guān)系性數(shù)據(jù)庫不同,在采用時序數(shù)據(jù)庫存儲后是以時間序列索引按序存儲監(jiān)測數(shù)據(jù),并以時間點或時間段讀取數(shù)據(jù)。為檢驗采用壓縮算法后的誤差,對壓縮后的廣西電網(wǎng)300條監(jiān)測數(shù)據(jù)進(jìn)行分析,結(jié)果如圖7所示。對壓縮后油中氣體監(jiān)測數(shù)據(jù)大小進(jìn)行統(tǒng)計,設(shè)備狀態(tài)分為警示、注意、正常3類等級,其監(jiān)測數(shù)據(jù)與設(shè)備狀態(tài)結(jié)果與壓縮前一致,故可得壓縮數(shù)據(jù)后并未造成關(guān)鍵數(shù)據(jù)遺漏或偏差,適合用于分析設(shè)備狀態(tài)。因此,改進(jìn)壓縮方法可在不影響大數(shù)據(jù)分析的情況下,依據(jù)監(jiān)測數(shù)據(jù)的時間偏移量快速檢索和定位,提升讀取分析效率。

圖7 監(jiān)測數(shù)據(jù)分析的平行坐標(biāo)圖Fig.7 Parallel coordinates of monitoring data

圖8為壓縮前后數(shù)據(jù)庫鏡像文件傳輸?shù)木W(wǎng)絡(luò)使用率。經(jīng)監(jiān)控、比對可知,壓縮后數(shù)據(jù)庫鏡像文件傳輸所耗時間由43 s減少至7 s,其效率提高了約6倍,且還可多傳輸276.7 MB的數(shù)據(jù)。測試壓縮后數(shù)據(jù)的傳輸效果,說明該方法可以通過改進(jìn)向海量準(zhǔn)時數(shù)據(jù)平臺等系統(tǒng)推送數(shù)據(jù)的效率,滿足電力監(jiān)控系統(tǒng)安全防護(hù)技術(shù)規(guī)范的要求。

圖8 壓縮前后的網(wǎng)絡(luò)使用率Fig.8 Network usage before and after compression

3.3 效果分析

本文采用有損壓縮和無損壓縮的組合存儲方式。由經(jīng)驗分析可得,視不同設(shè)備的運行狀態(tài),單臺設(shè)備監(jiān)測數(shù)據(jù)的有損壓縮比可達(dá)8∶1,而無損壓縮則分布在4∶3到3∶1之間,因此推算綜合壓縮率在32∶3到24∶1之間。因哈夫曼算法是無損壓縮,除數(shù)據(jù)損壞情況外,解碼還原率應(yīng)為100%。故總體解碼還原率取決于旋轉(zhuǎn)門算法的壓縮參數(shù),當(dāng)旋轉(zhuǎn)門壓縮比為8∶1時,解碼還原率大于1/8。本文保留了監(jiān)測告警和裝置故障的狀態(tài)量,重點在于壓縮模擬量,故不影響及時發(fā)現(xiàn)異常突變的情況和還原監(jiān)測趨勢。對容量為178.5 MB的數(shù)據(jù)進(jìn)行壓縮實驗,模擬傳輸?shù)膶嶒灲Y(jié)果見表4。

表4 壓縮效果分析
Table 4 Analysis of compression results

由壓縮比、讀取和傳輸?shù)臏y試結(jié)果可知,壓縮后的數(shù)據(jù)容量減少了162.272 MB,節(jié)約了90%的存儲空間,壓縮比達(dá)到了10∶1;壓縮后的傳輸時間減少了34 s,節(jié)約了83%的傳輸時間。本文所采用的旋轉(zhuǎn)門和哈夫曼組合算法,能夠有效地存儲油中溶解氣體這類低頻次數(shù)據(jù)塊,不會丟失變壓器異常突變時的預(yù)警數(shù)據(jù),并能夠有效解壓和重構(gòu)歷史數(shù)據(jù),更適用于快速檢索變壓器異?;虮O(jiān)測裝置故障時的數(shù)據(jù)。

由于自適應(yīng)小波、二維重組等壓縮算法主要用于SCADA系統(tǒng)、錄波或電能質(zhì)量裝置數(shù)據(jù),其數(shù)據(jù)特征在于采集頻率高、采集點數(shù)多、變化頻率低、爆發(fā)式規(guī)模等,所以本文算法更適用于油中溶解氣體監(jiān)測數(shù)據(jù)采樣頻次較低、數(shù)據(jù)規(guī)模固定,但不容遺漏異常突變情況的數(shù)據(jù)特征,并滿足了數(shù)據(jù)檢索讀取與傳輸要求。此外,本文采用組合存儲方式的同時,針對數(shù)據(jù)查詢的特征,將時標(biāo)從數(shù)據(jù)剝離,且不進(jìn)行壓縮,這樣有利于數(shù)據(jù)檢索,壓縮與傳輸效率也將有利于在移動終端APP軟件中檢索分析監(jiān)測數(shù)據(jù)。

4 結(jié) 論

本文提出了一種面向油中溶解氣體時序數(shù)據(jù)壓縮的改進(jìn)方法,通過組合應(yīng)用旋轉(zhuǎn)門算法和哈夫曼算法而改進(jìn)了數(shù)據(jù)索引體系結(jié)構(gòu)及流計算方法,提升了數(shù)據(jù)壓縮的品質(zhì)。該方法適用于油中溶解氣體監(jiān)測數(shù)據(jù)頻次較低、規(guī)模固定及突變測值關(guān)鍵的特點,在大數(shù)據(jù)分析與傳輸方面,能夠減少約90%的存儲空間,縮短約6倍的應(yīng)用時間,取得合適的數(shù)據(jù)讀取、傳輸效果。

[1]中國電機工程學(xué)會電力信息化專業(yè)委員會.中國電力大數(shù)據(jù)發(fā)展白皮書[M].北京: 中國電力出版社, 2013:1-22.

[2]張斌,張東來.電力系統(tǒng)采集數(shù)據(jù)壓縮品質(zhì)影響規(guī)律研究[J].電網(wǎng)技術(shù),2012,36(4):160-166. ZHANG Bin, ZHANG Donglai. Research on influencing law of compression quality of acquisitioned power system data[J]. Power System Technology,2012,36(4):160-166.

[3]康忠健,樊建川,徐麗.自適應(yīng)小波壓縮算法在連續(xù)錄波裝置中應(yīng)用[J].電力自動化設(shè)備,2009,29(10):116-119,124. KANG Zhongjian,F(xiàn)AN Jianchuan,XU Li. Application of adaptive wavelet data compression algorithm in continuous recorder[J]. Electric Power Automation Equipment,2009,29(10):116-119,124.

[4]閆常友,楊奇遜,劉萬順.基于提升格式的實時數(shù)據(jù)壓縮和重構(gòu)算法[J].中國電機工程學(xué)報,2005,25(9):6-10. YAN Changyou, YANG Qixun, LIU Wanshun. A real-time data compression & reconstruction method based on lifting scheme[J].Proceedings of the CSEE,2005,25(9):6-10.

[5]劉毅,周雒維,馮浩.電能質(zhì)量監(jiān)測網(wǎng)錄波數(shù)據(jù)壓縮方法[J].電網(wǎng)技術(shù), 2010, 34(4): 199-203. LIU Yi, ZHOU Luowei, FENG Hao. Method for compressing recorded data from power quality monitoring network[J].Power System Technology,2010,34(4):199-203.

[6]GEREK ? N, ECE D G. Compression of power quality event data using 2D representation[J]. Electric Power Systems Research, 2008, 78(6): 1047-1052.

[7]王超,張東來,張斌,等.電力系統(tǒng)二維重組法數(shù)據(jù)壓縮算法[J].電工技術(shù)學(xué)報,2010,25(11) :177-182. WANG Chao, ZHANG Donglai, ZHANG Bin,et al.A 2-D information reordering data compression method for power system[J].Transactions of China Electrotechnical Society, 2010, 25(11): 177-182.

[8]馬發(fā)勇,厲啟鵬,馬志斌,等.電力調(diào)度SCADA系統(tǒng)中歷史數(shù)據(jù)壓縮及存儲策略[J].電網(wǎng)技術(shù), 2014,38(4):1109-1114. MA Fayong, LI Qipeng, MA Zhibin, et al.The research of historical data compression and storage strategy in power dispatch SCADA system[J].Power System Technology, 2014,38(4):1109-1114.

[9]白紅偉,馬志偉,宋亞奇.基于云計算的智能電網(wǎng)狀態(tài)監(jiān)測數(shù)據(jù)的處理[J]. 華東電力,2011,39(9):1485-1488. BAI Hongwei, MA Zhiwei,SONG Yaqi.Processing of smart grid monitoring data based on cloud computing[J].East China Electric Power,2011,39(9):1485-1488.

[10]趙笑笑,云玉新,陳偉根.變壓器油中溶解氣體的在線監(jiān)測技術(shù)評述[J].電力系統(tǒng)保護(hù)與控制,2009,37(23):187-191. ZHAO Xiaoxiao, YUN Yuxin, CHEN Weigen. Comment on on-line monitoring techniques for dissolved gas in transformer oil[J].Power System Protection and Control, 2009,37(23):187-191.

[11]中國電力企業(yè)聯(lián)合會.輸變電設(shè)備狀態(tài)檢修試驗規(guī)程: DL/Z 393-2010[S].北京:中國電力出版社,2010.

[12]呂澤承,鄧雨榮,張煒,等.在線監(jiān)測系統(tǒng)現(xiàn)場綜合處理單元與變電站平臺之間的通信技術(shù)[J].南方電網(wǎng)技術(shù),2013,7(6):136-140. LYU Zecheng, DENG Yurong, ZHANG Wei,et al. Communication technology between the integrated processing unit and substation platform of on-line monitoring system[J].Southern Power System Technology,2013,7(6):136-140.

[13]陳曉國,王俊錁,張煒,等. 基于IEC 61850的設(shè)備狀態(tài)在線監(jiān)測系統(tǒng)架構(gòu)優(yōu)化及數(shù)據(jù)模型[J].南方電網(wǎng)技術(shù),2015, 9(7): 95-99. CHEN Xiaoguo,WANG Junke, ZHANG Wei,et al. Structure optimization and data modelling of IEC 61850 based online equipment monitoring system[J].Southern Power System Technology, 2015,9(7):95-99.

[14]申永輝.電力專用安全隔離裝置的原理和應(yīng)用[J].湖南電力, 2006,26(6):31-33.

[15]李高望,鞠文云,段獻(xiàn)忠,等.電力調(diào)度數(shù)據(jù)網(wǎng)傳輸特性分析[J].中國電機工程學(xué)報,2012,32(22):141-148. LI Gaowang, JU Wenyun,DUAN Xianzhong, et al.Transmission characteristics of the electric power dispatching data network[J].Proceedings of the CSEE,2012,32(22):141-148.

[16]胡娟, 李智歡,段獻(xiàn)忠.電力調(diào)度數(shù)據(jù)網(wǎng)結(jié)構(gòu)特性分析[J].中國電機工程學(xué)報,2009,29(4):53-59. HU Juan, LI Zhihuan, DUAN Xianzhong. Structural feature analysis of the electric power dispatching data network[J].Proceedings of the CSEE,2009,29(4):53-59.

[17]曲奕霖,王文海.用于過程數(shù)據(jù)壓縮的自控精度SDT算法[J].計算機工程, 2010, 36(22): 40-42. QU Yilin , WANG Wenhai. Automatic parameter control SDT algorithm for process data compression[J].Computer Engineering,2010,36(22):40-42.

[18]歐陽一鳴,黃貴林,梁華國,等.利用少數(shù)相關(guān)位的SoC測試數(shù)據(jù)壓縮方法[J].電子測量與儀器學(xué)報, 2013, 27(1):76-82. OUYANG Yiming, HUANG Guilin, LIANG Huaguo,et al. Test data compression of system-on-chip(SoC) using few relevant bits[J].Journal of Electronic Measurement and Instrument, 2013, 27(1):76-82.

(編輯 景賀峰)

An Improved Method for Compressing Time Series Data of Dissolved Gas Monitoring in Oil

ZHANG Wei1,WANG Yingjie2,WU Rongrong1

(1. Electric Power Research Institute of Guangxi Power Grid Co., Ltd., Nanning 530023, China;2. Electric Power Research Institute, China Southern Power Grid, Guangzhou 510080, China)

In order to improve the monitoring data analysis and transmission efficiency of dissolved gases in oil, this paper proposes a improved compression storage method for time series data. Firstly, we distinguish the data types of state and analog, and create two-dimensional table with different data columns. Secondly, combining the spinning door transformation algorithm and Huffman compress algorithm, we create a data interval index to achieve data compression and storage. The measured results show that the proposed method can not only meet the requirements of efficient compression and storage data for time series, but also develop the large data analysis and cross system applications based on the improved data reading and transmission effect.

dissolved gas in oil; time series data; spinning door transformation algorithm; Huffman compress algorithm

中國南方電網(wǎng)公司科技項目(GXKJXM20151039)

TM 85

A

1000-7229(2017)05-0098-07

10.3969/j.issn.1000-7229.2017.05.013

2017-03-01

張煒(1983),男,碩士,高級工程師,主要研究方向為電力設(shè)備狀態(tài)監(jiān)測與故障診斷;

王英潔(1982),女,碩士,高級工程師,主要研究方向為電力設(shè)備狀態(tài)監(jiān)測與故障診斷;

鄔蓉蓉(1984),女,碩士,工程師,主要研究方向為電力設(shè)備狀態(tài)監(jiān)測與故障診斷。

猜你喜歡
時標(biāo)旋轉(zhuǎn)門壓縮算法
安全通過旋轉(zhuǎn)門
二階非線性中立型時標(biāo)動態(tài)方程趨向于零的非振動解的存在性
時標(biāo)上具非正中立項的二階動力方程的動力學(xué)性質(zhì)
基于參數(shù)識別的軌道電路監(jiān)測數(shù)據(jù)壓縮算法研究
迷宮
好孩子畫報(2019年5期)2019-06-13 00:38:06
更正聲明
PMU數(shù)據(jù)預(yù)處理及壓縮算法
旋轉(zhuǎn)門真有趣
好孩子畫報(2015年3期)2015-03-26 21:23:06
基于奇異擾動的永磁風(fēng)力發(fā)電機組雙時標(biāo)控制
時標(biāo)上三階時滯動力方程的振動性和漸近性
天气| 寿光市| 武清区| 鄂托克旗| 通州市| 铜山县| 德钦县| 盘锦市| 孙吴县| 名山县| 延津县| 务川| 鲁山县| 区。| 通州区| 闽侯县| 织金县| 江城| 玉屏| 石城县| 大安市| 蛟河市| 深泽县| 中宁县| 即墨市| 七台河市| 邹城市| 曲阜市| 永平县| 菏泽市| 公安县| 砀山县| 板桥市| 准格尔旗| 织金县| 潼南县| 偃师市| 建湖县| 兴义市| 望奎县| 苍溪县|