摘 要：針對大壩可視化處理中的監(jiān)測和分析數(shù)據(jù)量較大，用于觀測分析的成果、屬性以及圖形等數(shù)據(jù)之間的關(guān)系較為復(fù)雜的問題，提出了觀測大數(shù)據(jù)的存儲和管理模式，采用了測點時序索引表的數(shù)據(jù)管理方法，較好地解決了數(shù)據(jù)可視化檢索速度慢的問題，便于數(shù)據(jù)處理和繪圖所需的靈活存取，實現(xiàn)快速可視化。

關(guān)鍵詞：觀測數(shù)據(jù)；數(shù)據(jù)存儲； 數(shù)據(jù)管理

中圖分類號：TP311.13 文獻標(biāo)識碼：A

Abstract：Considering that the monitoring and analysis data of dam in visual processing is great，and the relationship between the results data in observation and analysis，attribute and graphic data is complicated，the mode in the large amount of observation storage data and management data is proposed.The data management method of sequential index table in observation points is used.The method resolves preferably the problem of searching in slow data retrieval.It is good for flexible and easy access to data processing and drawing required to achieve visualization rapidly.

Keywords：observation data；data storage；data management

1 引言（Introduction）

三十年來，國內(nèi)外就大壩觀測資料的分析已進行了多方面的研究，大壩觀測資料分析產(chǎn)生的數(shù)據(jù)量巨大，雖然目前已有多種軟件投入運行，但現(xiàn)存的大壩分析軟件在實際工程計算時，只能利用已知的幾個控制層參數(shù)，而不能得出大壩在任意部位處相應(yīng)的分析數(shù)據(jù)；同時在分析過程中的計算機圖形處理技術(shù)主要針對二維數(shù)據(jù)的可視化分析，而所有數(shù)據(jù)的可視化分析大多數(shù)是以二維圖形效果展示，缺乏立體、直觀效果[1]。

大壩應(yīng)力成果分析數(shù)據(jù)、儀器所測得的監(jiān)測數(shù)據(jù)量非常龐大，應(yīng)力成果、屬性和圖形數(shù)據(jù)之間的關(guān)系比較復(fù)雜。采取何種數(shù)據(jù)結(jié)構(gòu)，實現(xiàn)對數(shù)據(jù)一致的存儲管理，方便數(shù)據(jù)檢索和可視化需要進行靈活存取，實現(xiàn)其三維可視化表達，是對大壩應(yīng)力成果可視化檢索、測量數(shù)據(jù)處理可視化的最為關(guān)鍵的環(huán)節(jié)，本文就大壩數(shù)據(jù)可視化研究課題的數(shù)據(jù)存儲管理做一探討。

2 大壩觀測數(shù)據(jù)存儲和管理（Dams observationdata storage and management）

大壩應(yīng)力分析和觀測數(shù)據(jù)是一個動態(tài)的數(shù)據(jù)，而且信息量非常龐大，甚至是海量數(shù)據(jù)，有關(guān)大壩數(shù)據(jù)可視化中的信息不僅僅是由數(shù)字、文字組成的，同時還有一系列的圖表等非文字性質(zhì)的數(shù)據(jù)。大壩的分析成果和監(jiān)測到的數(shù)據(jù)一般具有較為穩(wěn)定和動態(tài)更新兩種情況，一般工程的特征信息、樞紐信息、觀測設(shè)備的坐標(biāo)、屬性等資料不會經(jīng)常變動，是屬于較為穩(wěn)定的數(shù)據(jù)；而應(yīng)力的監(jiān)測數(shù)據(jù)、位移監(jiān)測數(shù)據(jù)和分析的成果數(shù)據(jù)等是動態(tài)變化更新的。對較為穩(wěn)定的數(shù)據(jù)，因數(shù)據(jù)容量不大，系統(tǒng)處理中較為常定，以存放在穩(wěn)定表中處理；而對觀測和分析到的數(shù)據(jù)則是存儲容量大，檢索頻率高，而且速度較慢，所以對這部分的數(shù)據(jù)如何存儲和管理，直接影響到系統(tǒng)可視化檢索的性能。

2.1 大壩數(shù)據(jù)存儲方式

由于大壩有限元分析的工況節(jié)點數(shù)據(jù)非常多，一個工況的節(jié)點數(shù)據(jù)就達到20000多個，而分析的工況數(shù)一般達到40多個，同時，大壩監(jiān)控的監(jiān)測項目類型多，需要用到各類監(jiān)測儀，一般大壩安置的儀器少則十幾種，多至幾十種，為了利于數(shù)據(jù)庫的管理和維護，有限元分析數(shù)據(jù)按工況種類分表存放，監(jiān)測數(shù)據(jù)按儀器類型分表存放。這樣，存放有限元應(yīng)力成果數(shù)據(jù)和監(jiān)測數(shù)據(jù)的基礎(chǔ)數(shù)據(jù)表就有工況表、工況節(jié)點表、儀器特征表、監(jiān)測值表等。

就課程研究的某大壩中布置了近200個監(jiān)測儀，大壩一年的監(jiān)測數(shù)據(jù)就有上萬條，隨著時間的推移，表中的數(shù)據(jù)將達到上千萬，從該類型表中檢索某些時間段和方位點的數(shù)據(jù)值，檢索速度是一個大問題。雖然當(dāng)前流行的數(shù)據(jù)庫管理平臺都提供快速檢索的索引功能，但不能滿足大壩監(jiān)控數(shù)據(jù)的檢索速度和時間段檢索，為解決這個問題，本課程采用了下面解決方法。

（1）建立有效的索引機制。

（2）對表結(jié)構(gòu)進行優(yōu)化管理。表設(shè)計的標(biāo)準要求達到3NF，冗余度降。大壩觀測數(shù)據(jù)表由點名、時間、上下游水位和觀測值等屬性字段，其國點名和時間字段組合為主碼，以保持數(shù)據(jù)完整性，工況節(jié)點表有12個字段：正應(yīng)力3個字段、剪應(yīng)力3個字段、位移3個字段、節(jié)點坐標(biāo)3個字段，以z和y軸字段作為主鍵。

（3）使用視圖。

2.2 數(shù)據(jù)管理方式

2.2.1 數(shù)據(jù)檢索

檢索數(shù)據(jù)可通過SQL和緩沖區(qū)快照兩種方式。使用SQL是順序檢索數(shù)據(jù)，而緩沖區(qū)快照則是在附加檢索條件下把數(shù)據(jù)表中全部或部分記錄映射到內(nèi)存區(qū)，緩沖區(qū)數(shù)據(jù)保持與原表數(shù)據(jù)完全一致的索引性質(zhì)。通過該快照數(shù)據(jù)既能進行順序查詢，又能通過索引值定位檢索，讀取某些特殊數(shù)據(jù)。

2.2.2 數(shù)據(jù)操作

對數(shù)據(jù)庫的主要操作是數(shù)據(jù)錄入和查詢。大壩監(jiān)測數(shù)據(jù)通常是按采集時間先后順序存儲。在對大壩進行數(shù)據(jù)分析時，需要對各測點和各時間段內(nèi)的觀測數(shù)據(jù)進行不斷讀取，若通過緩沖區(qū)快照附加檢索條件，具有一定的靈活度，但分析效果較慢，檢索條件的改變將需頻繁連接數(shù)據(jù)庫，重新生成快照，緩沖區(qū)數(shù)據(jù)刷新率高，這對系統(tǒng)效率是一大打擊。為此可通過測點時序檢索表優(yōu)化數(shù)據(jù)結(jié)構(gòu)，以降低緩沖區(qū)快照的刷新頻率[2-5]。endprint

2.2.3 測點時序索引表

根據(jù)大壩對觀測數(shù)據(jù)的檢索是按測點和時間查詢的特點以及觀測數(shù)據(jù)的存儲特點，建立了測點時序索引表。測點時序索引表是按時間序列劃分原始觀測值表，從原始觀測值表中找到測點時序的邏輯行，存入測點時序索引表中。檢索時以測點時序索引表中的測點時序邏輯號作為索引值，在原始觀測表中定位數(shù)據(jù)段。索引表具有測點名、時序起點年和終點年、觀測點值在原表中的起始邏加行、觀測值記錄條數(shù)等屬性組成，其中以測點名和時序起點年作為主碼。

在檢索觀測值時，先用緩沖區(qū)快照方式生成全部觀測數(shù)據(jù)的全映射。根據(jù)緩沖區(qū)快照數(shù)據(jù)與原始表具有一致的順序規(guī)律，索引值對緩沖區(qū)的劃分也相同。檢索測點觀測數(shù)據(jù)時，先識別該數(shù)據(jù)的觀測時間在測點時序索引中所在的時序記錄；再從這些時序記錄中，查到該測點時序的原數(shù)據(jù)記錄行號和記錄條數(shù)；然后從緩沖快照區(qū)中相應(yīng)記錄段中讀出所需的數(shù)據(jù)，從而完成一次檢索。在這種檢索機制下，每次檢索不同的測點時序數(shù)據(jù)，只是改變一下索引值，就可以檢索到所需觀測數(shù)據(jù)，不需重新生成快照，而不需要不斷更新緩沖區(qū)快照。大大提高快照的使用率，優(yōu)化了系統(tǒng)整體性能。

為保證索引表的正確性和有效性，測點時序索引表與原始表應(yīng)保持同步更新管理。根據(jù)觀測數(shù)據(jù)的存儲是按時間次序采集入庫的，所以在有觀測點數(shù)據(jù)入庫時，需要先在索引中增加這一新時序觀測數(shù)據(jù)的索引記錄，然后根據(jù)增加的記錄數(shù)目，修改其后各索引記錄的起始行數(shù)值，以保證索引表各索引條目中記錄的原始數(shù)據(jù)起點位置的正確性；刪除原始觀測數(shù)據(jù)也用一樣的原理，先找到刪除數(shù)據(jù)在索引表中的索引記錄，若跨多條時序索引條目，則刪除前面的時序條目，修改最后一條索引條目記錄的起點行數(shù)值，否則只修改找到的第一條索引的起點行數(shù)值，然后同樣需修改后面各索引條目中記錄的起始行數(shù)值。

在原數(shù)據(jù)入庫有時間順序這一特征，索引的維護簡單容易，能夠快速更新管理，可通過觸發(fā)器實現(xiàn)索引自動維護更新。

3 數(shù)據(jù)入庫處理（ Data loading and processing）

儀器測得的數(shù)據(jù)和有限元分析數(shù)據(jù)，經(jīng)過前處理軟件進行前處理之后，得到.txt類型文件和.out類型文件，根據(jù)系統(tǒng)數(shù)據(jù)的存儲特點，這些數(shù)據(jù)入庫存儲的表名按規(guī)定的格式命名，如：工況節(jié)點表數(shù)據(jù)的文件名格式：“y上游數(shù)據(jù)_下游數(shù)據(jù)”，若工況是上游24m，下游10m的節(jié)點數(shù)據(jù)表名為：y24_10；監(jiān)測數(shù)據(jù)以監(jiān)測儀類型規(guī)格命名。每個數(shù)據(jù)文件在入庫前都必須按照一定的格式記錄數(shù)據(jù)。工況節(jié)點數(shù)據(jù)和監(jiān)測數(shù)據(jù)有自動入庫和手工入庫（即編輯）兩種方法。

主要數(shù)據(jù)的入庫方法是：

首先，用戶確定入庫數(shù)據(jù)的類型（應(yīng)力成果數(shù)據(jù)或觀測數(shù)據(jù)）、文件路徑和數(shù)據(jù)存儲名稱（工況表名或儀器類型規(guī)格）。

然后，系統(tǒng)在工況表或儀器特征表中搜索該數(shù)據(jù)資料：

（1）若未找到信息，則提示用戶繼續(xù)輸入完整資料，實現(xiàn)對工況表和監(jiān)測儀器特征表的數(shù)據(jù)的輸入，利用recordset對象的addnew方法和update方法實現(xiàn)，然后系統(tǒng)自動生成新表，并把數(shù)據(jù)文件加載到庫表中（用BULK INSERT … FROM…WITH實現(xiàn)）。

（2）若找到信息，系統(tǒng)自動識別數(shù)據(jù)文件記錄是否已經(jīng)存在，若不存在，則加載入庫。

4 結(jié)論（Conclusion）

本文就大壩可視化數(shù)據(jù)主要針對大壩應(yīng)力數(shù)據(jù)和觀測數(shù)據(jù)的特點，在數(shù)據(jù)庫存儲方式和管理技術(shù)方面進行了詳細的研究和論述，根據(jù)大壩咨詢系統(tǒng)的需求，對數(shù)據(jù)庫表的分類管理、數(shù)據(jù)結(jié)構(gòu)以及數(shù)據(jù)的入庫方法提出了詳細的解決方法。并對大壩數(shù)據(jù)量大而造成訪問速度低、數(shù)據(jù)利用率低的現(xiàn)狀，提出了采用測點時序索引的數(shù)據(jù)管理方法，較好地解決了數(shù)據(jù)查詢速度慢的問題，有利于快速生成大壩數(shù)據(jù)可視化分析視圖。

參考文獻（References）

[1] 李曙光，劉天佑，楊波.基于OpenGL的綜合地球物理可視化及其應(yīng)用[J].工程地球物理學(xué)報，2008，5（2）：205-209.

[2] SHASHI S，著.謝昆青，等，譯.空間數(shù)據(jù)庫[M].北京：機械工業(yè)出版社，2004.

[3] 郭薇，郭箐，胡志勇.空間數(shù)據(jù)庫索引技術(shù)[M].上海：上海交通大學(xué)出版社，2006.

[4] 史文中，郭薇，彭奕彰.一種面向地理信息系統(tǒng)的空間索引方法[J].測繪學(xué)報，2001，30（2）：156-16.

[5] 史萬明，等.數(shù)據(jù)分析[M].北京：北京理工大學(xué)出版社，2002.

作者簡介：

何小苑（1971-），女，碩士，副教授.研究領(lǐng)域：空間數(shù)據(jù)庫技術(shù)，空間索引技術(shù)，數(shù)據(jù)庫系統(tǒng).endprint