唐雷彬,任 崇,劉蓬勃
(遼寧省水文水資源勘測(cè)局,遼寧 沈陽(yáng) 110003)
水文數(shù)據(jù)庫(kù)建設(shè)是實(shí)現(xiàn)水文信息數(shù)字化、網(wǎng)絡(luò)化和智能化的基礎(chǔ)工作,直接影響到水文數(shù)據(jù)在生產(chǎn)實(shí)踐中的具體應(yīng)用。目前,遼寧省國(guó)家基礎(chǔ)水文數(shù)據(jù)庫(kù)水文數(shù)據(jù)系列長(zhǎng)度為107年(1902—2008年),按照最新水文數(shù)據(jù)庫(kù) 4.0結(jié)構(gòu)標(biāo)準(zhǔn)(SL324—2005),數(shù)據(jù)庫(kù)共有46個(gè)表,涉及全省123處水文(位)站,558處雨量站的數(shù)據(jù)。
數(shù)據(jù)錄入使用的年鑒全部統(tǒng)一管理、統(tǒng)一分類(lèi)。數(shù)據(jù)的錄入采用單表格雙人同步錄入、計(jì)算機(jī)交互比對(duì)、按比例人工抽校的工作模式,來(lái)保障錄入成果的質(zhì)量。
根據(jù)數(shù)據(jù)庫(kù)錄入具有數(shù)據(jù)量大、表格樣式多、數(shù)據(jù)格式多的特點(diǎn),開(kāi)發(fā)了數(shù)據(jù)錄入軟件,整個(gè)程序分為6個(gè)功能模塊:數(shù)據(jù)錄入模塊、交互比對(duì)模塊、錯(cuò)誤改正模塊、錯(cuò)誤統(tǒng)計(jì)模塊、成果匯總模塊和測(cè)站情況查詢模塊[1]。針對(duì)每一類(lèi)表格,事前詳細(xì)規(guī)劃,確定最佳錄入方式和錄入模板;計(jì)算機(jī)比對(duì)校核及數(shù)據(jù)修改由經(jīng)驗(yàn)豐富、工作認(rèn)真并且熟悉水文年鑒的同志共同完成;將修改后的正確數(shù)據(jù)打印輸出,完成人工校核并簽字確認(rèn)存檔。
數(shù)據(jù)校對(duì)主要是對(duì)數(shù)據(jù)進(jìn)行質(zhì)量控制,是數(shù)據(jù)庫(kù)建設(shè)過(guò)程中極為重要的一個(gè)環(huán)節(jié)。由于水文數(shù)據(jù)庫(kù)涉及數(shù)據(jù)量龐大,數(shù)據(jù)源及數(shù)據(jù)結(jié)構(gòu)復(fù)雜,采取科學(xué)、合理、高效的數(shù)據(jù)校對(duì)方式,是提高數(shù)據(jù)質(zhì)量的關(guān)鍵。針對(duì)不同的表結(jié)構(gòu),采取不同的校對(duì)方式,可以提高數(shù)據(jù)的校對(duì)質(zhì)量,以達(dá)到數(shù)據(jù)庫(kù)的質(zhì)量控制要求。
1)針對(duì)已入庫(kù)的歷史數(shù)據(jù),采取打印輸出,人工比照年鑒,2人一組,一人閱讀,一人表對(duì)修改。
2)根據(jù)數(shù)據(jù)的連續(xù)性、一致性、合法性的原則,開(kāi)發(fā)合理的數(shù)據(jù)庫(kù)檢查軟件,檢出的“可疑性數(shù)據(jù)”,由人工進(jìn)一步確認(rèn)。
3)在數(shù)據(jù)校對(duì)階段,采用和數(shù)據(jù)錄入一樣的模式,雙機(jī)平行校對(duì)的方式,同一組數(shù)據(jù)校對(duì)兩遍,再采用程序平行比對(duì)的方法。此法保證了數(shù)據(jù)基本達(dá)到數(shù)據(jù)庫(kù)的應(yīng)用標(biāo)準(zhǔn)。
一直以來(lái),遼寧省國(guó)家水文數(shù)據(jù)庫(kù)采用的是《全國(guó)水文數(shù)據(jù)庫(kù)表結(jié)構(gòu)方案》3.0版。 2005年水利部頒布了《基礎(chǔ)水文數(shù)據(jù)庫(kù)表結(jié)構(gòu)及標(biāo)識(shí)符標(biāo)準(zhǔn)》4.0版,對(duì)3.0結(jié)構(gòu)中不合理的部分進(jìn)行了優(yōu)化、修改、補(bǔ)充。2008年,結(jié)合遼寧省實(shí)際情況,進(jìn)行了數(shù)據(jù)庫(kù)結(jié)構(gòu)3.0到4.0的轉(zhuǎn)換。
1)3.0 結(jié)構(gòu)“實(shí)測(cè)懸移質(zhì)斷面平均與相應(yīng)單位水樣顆粒級(jí)配成果表”,按照4.0結(jié)構(gòu)要求該表分屬于“實(shí)測(cè)泥沙顆粒級(jí)配”和“實(shí)測(cè)泥沙特征粒徑”2個(gè)表;在3.0結(jié)構(gòu)中,同一時(shí)間可以有施測(cè)單和施測(cè)斷,而4.0結(jié)構(gòu)對(duì)該表單、斷沙碼做出了要求:填1時(shí)表示斷沙或斷顆,填2時(shí)表示單沙、單顆或單個(gè)垂線。遼寧省“實(shí)測(cè)懸移質(zhì)斷面平均與相應(yīng)單位水樣顆粒級(jí)配成果表”年鑒中存在一條記錄同時(shí)有斷沙及單沙施測(cè)號(hào)的情況。根據(jù)新結(jié)構(gòu),對(duì)同時(shí)有斷沙及單沙施測(cè)號(hào)的,按“單沙”對(duì)待轉(zhuǎn)入新結(jié)構(gòu)庫(kù)中。
2)在“實(shí)測(cè)流量成果表”中,3.0結(jié)構(gòu)“測(cè)號(hào)CH”是字符型,可以是數(shù)值或者漢字,4.0結(jié)構(gòu)要求“流量施測(cè)號(hào)數(shù)QOBNO”為數(shù)值型而且不允許為空值。遼寧省年鑒中有些站的部分?jǐn)?shù)據(jù)“流量施測(cè)號(hào)”為空,有些站為漢字,如“主槽”、“左分流”、“右分流”等,因此無(wú)法入庫(kù)。對(duì)此,采取以特殊字符代替的方法,如用“1111”代表“主槽”等。
3)在“水庫(kù)水文要素摘錄表”中,4.0結(jié)構(gòu)要求設(shè)置“站碼”和“時(shí)間”為主鍵,這樣就不允許“站碼”與“時(shí)間”相同的數(shù)據(jù)入庫(kù),避免數(shù)據(jù)庫(kù)中重復(fù)數(shù)據(jù)的錄入。 針對(duì)“水庫(kù)水文要素摘錄表”年鑒中存在相同時(shí)間不同出庫(kù)流量的數(shù)據(jù),在第2次相同的時(shí)間上加1分鐘,第3次相同的時(shí)間上加2分鐘,以此類(lèi)推。
4)3.0 結(jié)構(gòu)“實(shí)測(cè)大斷面成果表”轉(zhuǎn)換4.0結(jié)構(gòu)時(shí),要分2部分存儲(chǔ)于:“實(shí)測(cè)大斷面成果表”,“大斷面參數(shù)及引用情況表”中。其中“大斷面參數(shù)及引用情況表”測(cè)次說(shuō)明OBNONT的字符長(zhǎng)度大于4.0結(jié)構(gòu)的長(zhǎng)度,超出部分無(wú)法入庫(kù)。因此,對(duì)表結(jié)構(gòu)進(jìn)行修改,使“測(cè)次說(shuō)明”字段符合4.0結(jié)構(gòu)規(guī)定。
5)在“實(shí)測(cè)流量成果表”中,遼寧省早期年鑒中分洪水期實(shí)測(cè)流量成果表和平水期實(shí)測(cè)流量成果表,在平水期實(shí)測(cè)流量成果表中,沒(méi)有起始時(shí)分和終止時(shí)分,只有平均時(shí)分。為使其符合4.0結(jié)構(gòu),對(duì)起始時(shí)分錄入“8888”,終止時(shí)分按照平均時(shí)分處理。
1)手工入庫(kù)。要求入庫(kù)數(shù)據(jù)格式必須符合遼寧水文數(shù)據(jù)庫(kù)表結(jié)構(gòu)要求。主要針對(duì)補(bǔ)錄部分的數(shù)據(jù),數(shù)據(jù)補(bǔ)錄時(shí)嚴(yán)格按照庫(kù)表結(jié)構(gòu)規(guī)定錄入。
2)軟件轉(zhuǎn)換入庫(kù)。對(duì)入庫(kù)數(shù)據(jù)格式不符合要求的,需用軟件將數(shù)據(jù)格式轉(zhuǎn)換為庫(kù)表結(jié)構(gòu)要求的格式后入庫(kù)。主要針對(duì)資料整編以來(lái)以EXCEL表格形式保存的表結(jié)構(gòu),及《水文年鑒》表結(jié)構(gòu)相同的數(shù)據(jù)?!端哪觇b》表結(jié)構(gòu)中一般將日、月、年表結(jié)合在一個(gè)表中,另外很多表一般都省略相同水位的整數(shù)部分,大部分表都省略相同的月、日。由于《水文年鑒》表結(jié)構(gòu)與遼寧水文數(shù)據(jù)庫(kù)表結(jié)構(gòu)不同,因此需要軟件轉(zhuǎn)換。
整編后的資料存儲(chǔ)于EXCEL表格之中,以年鑒格式保存。要將這些數(shù)據(jù)存儲(chǔ)于基礎(chǔ)水文數(shù)據(jù)庫(kù)中需進(jìn)行格式轉(zhuǎn)換。例如:日表、月表、年表的拆分,水位整數(shù)位省略的填補(bǔ)等。
遼寧省水文信息查詢系統(tǒng)總體結(jié)構(gòu)采用C/S和B/S共2種體系結(jié)構(gòu)開(kāi)發(fā)。C/S結(jié)構(gòu)為客戶機(jī)和服務(wù)器結(jié)構(gòu),是軟件系統(tǒng)體系結(jié)構(gòu),通過(guò)它可以充分利用兩端硬件環(huán)境的優(yōu)勢(shì),將任務(wù)合理分配到Client端和Server端來(lái)實(shí)現(xiàn),降低了系統(tǒng)的通訊開(kāi)銷(xiāo)。B/S(Browser/Server)結(jié)構(gòu)即瀏覽器和服務(wù)器結(jié)構(gòu)。它是隨著 Internet技術(shù)的興起,對(duì)C/S結(jié)構(gòu)的一種變化或者改進(jìn)的結(jié)構(gòu)。在這種結(jié)構(gòu)下,用戶工作界面是通過(guò)WWW瀏覽器來(lái)實(shí)現(xiàn),極少部分事務(wù)邏輯在前端(Browser)實(shí)現(xiàn),但是主要事務(wù)邏輯在服務(wù)器端(Server)實(shí)現(xiàn),這樣就大大簡(jiǎn)化了客戶端電腦載荷,減輕了系統(tǒng)維護(hù)與升級(jí)的成本和工作量,降低了用戶的總體成本。以目前的技術(shù)看,局域網(wǎng)建立B/S結(jié)構(gòu)的網(wǎng)絡(luò)應(yīng)用,并通過(guò)Internet/Intranet模式下數(shù)據(jù)庫(kù)應(yīng)用,相對(duì)易于把握、成本也較低。但是,應(yīng)用服務(wù)器運(yùn)行數(shù)據(jù)負(fù)荷較重?;?種結(jié)構(gòu)的優(yōu)缺點(diǎn),水文數(shù)據(jù)庫(kù)應(yīng)用服務(wù)系統(tǒng)針對(duì)不同用戶選擇不同結(jié)構(gòu),即兩種結(jié)構(gòu)并存。
1)選擇C/S結(jié)構(gòu)。依據(jù)用戶對(duì)國(guó)家水文數(shù)據(jù)庫(kù)通常的應(yīng)用方式、統(tǒng)計(jì)模型、圖形構(gòu)造以及數(shù)據(jù)庫(kù)建設(shè)、庫(kù)資源安全管理等需求,系統(tǒng)應(yīng)該由以下功能模塊組成:數(shù)據(jù)錄入裝載模塊、瀏覽還原模塊、分析應(yīng)用模塊 、水文統(tǒng)計(jì)模塊、安全主控模塊。系統(tǒng)在Win95/98/2000/Xp系列操作系統(tǒng)平臺(tái)上運(yùn)行??伸`活采用本地(Native)或公用接口(ODBC)方式動(dòng)態(tài)連接客戶機(jī)與服務(wù)器,亦可在單機(jī)上良好運(yùn)行;可自由掛接MS SQL Server,Sybase SQL Server,Oracle等數(shù)據(jù)庫(kù)系統(tǒng)。
2)針對(duì)社會(huì)公眾選擇B/S結(jié)構(gòu)。社會(huì)公眾不同于科研、設(shè)計(jì)單位,該系統(tǒng)以地理信息系統(tǒng)方式來(lái)選擇河流上的主要水文、水位站、雨量站、蒸發(fā)站。用戶可根據(jù)需要進(jìn)行選擇,選擇某站后,相應(yīng)的特征值資料即可列表顯示,用戶也可在本系統(tǒng)中查詢出遼寧省水文數(shù)據(jù)的全部索引資料。
[1]宋景峰.水文數(shù)據(jù)庫(kù)錄入比對(duì)程序功能設(shè)計(jì)探討[J].吉林水利,2009,(2).