潘彥波
河北省崗南水庫事務(wù)中心 河北石家莊 050400
崗南水庫主副壩總長7168米,觀測標(biāo)點(diǎn)分布在大壩上下游及附近區(qū)域,總共有測壓管131根,垂直位移觀測基點(diǎn)136個,水平位移觀測基點(diǎn)34個。每個觀測標(biāo)點(diǎn)都會有一系列的考證數(shù)據(jù)、參數(shù)數(shù)據(jù)及觀測數(shù)據(jù),隨著時間的推移,這些數(shù)據(jù)逐漸增加,管理也隨之復(fù)雜起來。
本軟件的核心需求是為用戶提供一套功能齊全、簡單易用、維護(hù)方便的安全監(jiān)測數(shù)據(jù)管理分析軟件。以崗南水庫監(jiān)測數(shù)據(jù)為例,重點(diǎn)解決在實(shí)際安全監(jiān)測工作中數(shù)據(jù)錄入誤差、數(shù)據(jù)反復(fù)倒運(yùn)、整編效率較低、圖表維護(hù)(時間)成本高、年度數(shù)據(jù)對比難以實(shí)現(xiàn)等問題[1]。
本人即使軟件開發(fā)人員,同時也軟件的使用人員,能夠更好的與用戶溝通,能更好的開發(fā)出滿足用戶需求的軟件。相對于運(yùn)行成本高昂、硬件要求苛刻、操作復(fù)雜的大型數(shù)據(jù)庫而言,崗南水庫大壩安全監(jiān)測數(shù)據(jù)量并沒有達(dá)到海量的級別,不需要很高的硬件配置和軟件開發(fā)平臺。但平臺要滿足:一滿足當(dāng)前監(jiān)測人員的管理需要,通過軟件的規(guī)范監(jiān)測人員的觀測行為,使其現(xiàn)場觀測和數(shù)據(jù)計(jì)算、整理、分析等行為符合《土石壩安全監(jiān)測技術(shù)規(guī)范》SL551-2012的要求。二要有比較強(qiáng)的數(shù)據(jù)處理、統(tǒng)計(jì)分析能力,利用它的查詢功能,可以方便的實(shí)現(xiàn)數(shù)據(jù)的各類匯總、計(jì)算等,并可以靈活的設(shè)置統(tǒng)計(jì)的條件。三 考慮到歷史數(shù)據(jù)的銜接問題,平臺的選擇要能夠與EXCEL電子表格相互輸入輸出。
由于觀測設(shè)備、人員等因素,所觀測數(shù)據(jù)必然存在觀測誤差,為取得滿足觀測精度要求、能夠反映工程真實(shí)狀態(tài)的數(shù)據(jù)、必須對原始觀測數(shù)據(jù)進(jìn)行誤差檢驗(yàn)和處理。據(jù)觀測經(jīng)驗(yàn),觀測誤差主要有觀測人員因讀數(shù)、書寫、錄入等錯誤造成的粗大誤差和觀測設(shè)施變動所造成數(shù)據(jù)發(fā)生臺階性變化的系統(tǒng)誤差。在原始數(shù)據(jù)輸入軟件的過程中進(jìn)行兩種誤差的檢驗(yàn)和處理,具體方法如下:①利用數(shù)據(jù)庫的內(nèi)置函數(shù)進(jìn)行粗大誤差的檢驗(yàn)和處理,
由n個測值可得n-2個dj,當(dāng)n足夠大時可按 “3σ”法進(jìn)行檢驗(yàn)。計(jì)算跳動統(tǒng)計(jì)樣本的平均值和標(biāo)準(zhǔn)差:
計(jì)算各測值跳動偏差的絕對值與標(biāo)準(zhǔn)差的比值:
當(dāng)qj>3,則認(rèn)為此值存在粗大誤差,軟件發(fā)出不宜輸入的警示。
利用數(shù)據(jù)庫內(nèi)置函數(shù)建立回歸統(tǒng)計(jì)方程的方法進(jìn)行系統(tǒng)誤差的檢驗(yàn)與處理。以崗南水庫土石壩為例,垂直位移主要受到時效影響,可選用時效的對數(shù)曲線函數(shù)建立統(tǒng)計(jì)方程:
S=a+b1n(1+ct)
選取發(fā)生系統(tǒng)誤差之前的第一個時段觀測樣本建立統(tǒng)計(jì)方程,預(yù)測第二個時段首個測次的變形量,以觀測值與預(yù)測值的差值作為修正量進(jìn)行系統(tǒng)修正。在觀測設(shè)施發(fā)生變動后再進(jìn)行上述修整值的計(jì)算,平時不進(jìn)行此類計(jì)算。
數(shù)據(jù)在數(shù)據(jù)庫當(dāng)中的計(jì)算可以通過數(shù)據(jù)庫的查詢功能實(shí)現(xiàn),通過查詢對數(shù)據(jù)進(jìn)行分析和處理,從中獲取需要的信息。主要通過下列種類的查詢實(shí)現(xiàn):1選擇查詢(包括帶條件和不帶條件的):比如例1(不帶條件):創(chuàng)建一個查詢,查找并顯示水準(zhǔn)基點(diǎn)的“點(diǎn)號”、“高差”、“高程”三個字段內(nèi)容,可以形成此類的表。例2(帶條件的)查詢條件為平差公式,顯示為水準(zhǔn)基點(diǎn)的“點(diǎn)號”、“高差”、“高程”、“平差高程”四個字段內(nèi)容。2在查詢中進(jìn)行計(jì)算 :主要有預(yù)定以計(jì)算和自定義計(jì)算,預(yù)定義計(jì)算是系統(tǒng)提供的用于對查詢中的記錄組或全部記錄的計(jì)算,包括總計(jì)、平均值、計(jì)數(shù)、最大值、最小值、標(biāo)準(zhǔn)偏差或方差等。自定義計(jì)算可以用一個或多個字段的值進(jìn)行數(shù)值、日期和文體計(jì)算。3交叉表查詢:交叉表查詢能夠匯總數(shù)據(jù)字段的內(nèi)容,匯總計(jì)算的結(jié)果顯示在行與列交叉的單元格中,它是對基表或查詢中的數(shù)據(jù)進(jìn)行計(jì)算和重構(gòu),可以簡化數(shù)據(jù)分析。交叉表查詢將來源于某個表中的字段進(jìn)行分組,一組列在交叉表左側(cè),一組列在交叉表上部,并在交叉表行與列交叉處顯示表中某個字段的各種計(jì)算值。4其他還有操作查詢包括生成表查詢、刪除查詢、更新查詢、追加查詢等。利用數(shù)據(jù)庫的查詢功能可充分滿足崗南水庫大壩安全監(jiān)測數(shù)據(jù)的計(jì)算、輸出、整編、預(yù)測、分析等工作需要[2]。
兩種方法實(shí)現(xiàn)數(shù)據(jù)庫圖表的輸出,第一種利用數(shù)據(jù)庫與EXCEL文件的兼容性,把查詢好的數(shù)據(jù)導(dǎo)入EXCEL文件中,利用EXCEL文件中的圖表分析功能生成需要的圖表。第二種利用數(shù)據(jù)庫自帶的設(shè)計(jì)視圖功能生成所需要的數(shù)據(jù)分析圖表,數(shù)據(jù)庫功能不斷豐富,大部分?jǐn)?shù)據(jù)庫在查詢生成報(bào)表后,可以利用Microsoft Graph工具或其它圖表制作工具實(shí)現(xiàn)監(jiān)測數(shù)據(jù)的直觀分析。
要求數(shù)據(jù)庫組合查詢時,只保存查詢結(jié)構(gòu),不保存返回的記錄。每次查詢時,都會讀取基礎(chǔ)表并重新創(chuàng)建記錄集。由于要求不存儲記錄集本身,查詢會自動反映執(zhí)行查詢前對基礎(chǔ)表所做的所有更改。當(dāng)窗體或報(bào)表基于查詢時,每次打開該查詢時,都會重新創(chuàng)建其記錄集,并將其綁定到相應(yīng)的窗體或報(bào)表。
隨著在線運(yùn)行的監(jiān)測數(shù)據(jù)的增加,會逐漸積累形成海量的多元異構(gòu)安全監(jiān)測數(shù)據(jù)?;跀?shù)據(jù)庫的大壩安全監(jiān)測數(shù)據(jù)管理及分析軟件,在數(shù)據(jù)存儲,并行計(jì)算及數(shù)據(jù)挖掘等方面應(yīng)用大數(shù)據(jù)技術(shù),提高數(shù)據(jù)的可用性。基于隨機(jī)森林、決策樹等大數(shù)據(jù)算法,構(gòu)建安全監(jiān)測大數(shù)據(jù)分析模型,實(shí)現(xiàn)安全監(jiān)測大數(shù)據(jù)挖掘?;诮y(tǒng)計(jì)學(xué)建立統(tǒng)計(jì)模型,根據(jù)監(jiān)測物理量受水位、溫度、時效、降雨及外界載荷等因素影響而產(chǎn)生變化,著力挖掘影響因子與監(jiān)測結(jié)果的相關(guān)關(guān)系,建立多元非線性逐步回歸建立統(tǒng)計(jì)模型。此類模型建立一旦發(fā)現(xiàn)符合實(shí)際物理量的發(fā)展趨勢,可以在防洪搶險及其它應(yīng)急事件中通過相關(guān)因子的變化來預(yù)測大壩各類建筑物在此因子條件下安全與可靠性,保證大壩安全運(yùn)用并充分發(fā)揮其工程效益。
本文闡述了大壩安全監(jiān)測數(shù)據(jù)管理與分析軟件的實(shí)現(xiàn)方法和途徑。如果此軟件能夠?qū)崿F(xiàn),必將有效提升安全監(jiān)測工作效率與專業(yè)水平,具有很好的應(yīng)用前景。在下一步的軟件實(shí)現(xiàn)工作中,將結(jié)合“水利工程補(bǔ)短板,水利行業(yè)強(qiáng)監(jiān)管”中具體業(yè)務(wù)需求,開展好大壩安全監(jiān)測數(shù)據(jù)管理方面的研發(fā)工作,從而更好的為大壩安全管理工作服務(wù)。