陳莎,譚仁春,陳子凡,石淼,江威
(1.武漢市測繪研究院,湖北 武漢 430022; 2.武漢市勘察設(shè)計有限公司,湖北 武漢 430022)
城市排水管網(wǎng)隱患排查工作的開展,旨在探明市政排水管網(wǎng)空間分布與屬性信息,通過查明各污水系統(tǒng)內(nèi)雨污管道混接、錯接狀況、查明混接點(源)準確位置信息;采用各種設(shè)備對排水管道及設(shè)施內(nèi)部進行功能性、結(jié)構(gòu)性缺陷監(jiān)測評估,可以為混錯接點整改、管道缺陷修復(fù)提供依據(jù)[1]。
由于城市排水管網(wǎng)隱患成果往往具有數(shù)據(jù)量龐大、屬性項豐富、錯誤隱蔽性高等特點,質(zhì)量控制成為隱患排查工作中的關(guān)鍵環(huán)節(jié)。本文以武漢市中心城區(qū)排水管網(wǎng)隱患排查項目為例,探討利用FME平臺研發(fā)排水管網(wǎng)隱患數(shù)據(jù)質(zhì)量檢查模塊的技術(shù)方法與內(nèi)容。
排水管網(wǎng)隱患外業(yè)調(diào)查成果為Microsoft Access數(shù)據(jù)庫的mdb格式文件,包含排水管網(wǎng)數(shù)據(jù)兩項,隱患數(shù)據(jù)兩項,以此四項數(shù)據(jù)表作為排水管網(wǎng)隱患質(zhì)量檢查的數(shù)據(jù)源。
(1)排水管網(wǎng)數(shù)據(jù)
主要為排水管點與排水管段兩類數(shù)據(jù)表,包含排水(雨、污、合)管道名稱、管徑、管內(nèi)底高程、材質(zhì)、長度、排水性質(zhì)、流向、權(quán)屬,井深、井內(nèi)狀況等空間及屬性信息,表達排水管網(wǎng)的分布及連接關(guān)系。
(2)隱患數(shù)據(jù)
采用管道潛望鏡(QV)檢測、閉路電視(CCTV)檢測等現(xiàn)代化管道檢測手段,調(diào)查排水管網(wǎng)的雨污混錯接,查明雨水和污水管道混接情況、沿途社區(qū)商鋪污水私接情況等,形成混接點數(shù)據(jù)表。
通過管道潛望鏡(QV)檢測、閉路電視(CCTV)檢測、全地形機器人、聲吶檢測等現(xiàn)代化排查手段,調(diào)查排水管網(wǎng)存在的功能性缺陷(沉積、結(jié)垢、障礙物、殘墻壩根、樹根、浮渣)及結(jié)構(gòu)性缺陷(破裂、變形、腐蝕、錯口、起伏、脫節(jié)、接口材料脫落、支管暗接、異物穿入、滲漏),形成缺陷檢測信息表。
排水管網(wǎng)隱患數(shù)據(jù)的質(zhì)量控制環(huán)節(jié)主要由FME質(zhì)量檢查模塊、人機交互質(zhì)量檢查以及外業(yè)核查等工作結(jié)合而成,其中FME質(zhì)量檢查模塊包含數(shù)據(jù)結(jié)構(gòu)檢查、屬性檢查、空間檢查與邏輯一致性檢查4個子模塊,從各個方面對排水管網(wǎng)隱患外業(yè)調(diào)查成果進行檢核,具體流程如圖1所示。
圖1 質(zhì)量控制流程圖
質(zhì)檢規(guī)則主要依據(jù)《測繪成果質(zhì)量檢查與驗收》(GBT 24356-2009)[2]和《武漢市排水管網(wǎng)隱患數(shù)據(jù)庫標準》(DB4201/T 650-2021)[3],深入挖掘排水管網(wǎng)隱患數(shù)據(jù)的特性,科學分析排水管網(wǎng)隱患數(shù)據(jù)的現(xiàn)狀,對檢查內(nèi)容進行歸納與提取,設(shè)計詳盡完備的檢查規(guī)則,并制定切實有效的檢查方法。檢查規(guī)則項如圖2所示。
圖2 質(zhì)檢規(guī)則項設(shè)計圖
(1)數(shù)據(jù)結(jié)構(gòu)檢查
數(shù)據(jù)結(jié)構(gòu)檢查模塊主要對數(shù)據(jù)庫各表是否符合規(guī)范要求進行檢查,主要包括①檢查數(shù)據(jù)庫各表使用的坐標系統(tǒng)是否正確;②檢查數(shù)據(jù)庫各表是否缺失或多余,命名是否符合規(guī)范;③檢查數(shù)據(jù)庫各表屬性字段是否缺失或多余,命名是否符合規(guī)范。
(2)屬性檢查
屬性檢查是對數(shù)據(jù)庫各表的屬性值填寫內(nèi)容進行檢查,主要包括①字段內(nèi)容是否在值域范圍內(nèi);②必填字段是否為空;③排水管點外業(yè)點號是否唯一;④排水管段編碼是否唯一;⑤排水管點地面高程超出[10,50]范圍內(nèi)時生成復(fù)核提示;⑥排水管段的管段長度與計算幾何長度是否一致。
(3)空間檢查
空間檢查是對數(shù)據(jù)庫各表轉(zhuǎn)換為空間表達形式后進行檢查,主要包括①排水管點在空間上是否不與任一管段相連;②排水管點(非混接管點)存在空間重疊時生成復(fù)核提示;③排水管點為所有與其相連管段的終點(2段及以上)時生成復(fù)核提示。
(4)邏輯一致性檢查
邏輯一致性檢查是對數(shù)據(jù)庫各表在空間表達與語義化表達方面在邏輯上的一致性檢查,主要包括①排水管點點號是否存在對應(yīng)管段;②排水管段管段編碼是否為起始外業(yè)點號與終止外業(yè)點號構(gòu)成;③混接點是否存在對應(yīng)排水管點;④檢測管段是否存在對應(yīng)排水管線;⑤缺陷檢測信息同一檢測管段的是否存在相同缺陷記錄;⑥缺陷檢測信息缺陷類型、名稱、代碼、等級、分值和評價是否一致,是否符合相關(guān)規(guī)定。
排水管網(wǎng)隱患數(shù)據(jù)的質(zhì)量檢查工作即是依據(jù)以上質(zhì)檢規(guī)則,利用FME平臺進行質(zhì)檢模塊制作,并將質(zhì)檢結(jié)果分類輸出。質(zhì)檢模塊的研發(fā)主要包括以下內(nèi)容。
(1)配置信息數(shù)據(jù)庫建立
配置信息數(shù)據(jù)庫的建立主要包含以下三個部分。
①根據(jù)《武漢市排水管網(wǎng)隱患數(shù)據(jù)庫標準》(DB4201/T 650-2021)規(guī)定的數(shù)據(jù)庫結(jié)構(gòu)、數(shù)據(jù)表結(jié)構(gòu)、編碼結(jié)構(gòu)、填寫規(guī)范及相關(guān)要求,制作標準數(shù)據(jù)庫模板;
②基于《城鎮(zhèn)排水管道檢測評估與技術(shù)規(guī)程》(CJJ 181-2012)[4]中對結(jié)構(gòu)性缺陷與功能性缺陷的名稱、代碼、等級劃分及分值的相關(guān)規(guī)定,制作缺陷信息表;
③考慮到測區(qū)地理狀況與排水管網(wǎng)的實際現(xiàn)狀,設(shè)置合理的檢查條件,如排水管點的高程值超出[10,50]則生成復(fù)核提示,因此需制作特定屬性項值域范圍表;
這三部分作為配置信息數(shù)據(jù)庫,用于FME質(zhì)檢模塊的調(diào)用與參考。
(2)FME質(zhì)檢模板制作
①空間數(shù)據(jù)構(gòu)造
排水管網(wǎng)隱患數(shù)據(jù)在mdb數(shù)據(jù)表中以表格數(shù)據(jù)項的形式存儲,是一種非空間數(shù)據(jù)庫格式,以排水管點的外業(yè)點號作為關(guān)聯(lián)屬性,由排水管點的X、Y坐標值作為基礎(chǔ)定位信息,分別構(gòu)建排水管點、排水管段、混接點與缺陷點的空間圖形,為質(zhì)檢項中涉及空間關(guān)系檢查的內(nèi)容提供支撐。
排水管點的構(gòu)建采用VertexCreator轉(zhuǎn)換器,其中Mode為Add Point,將X Y Z Value直接對應(yīng)為X坐標、Y坐標、地面高程即可。
通過AttributerKeeper轉(zhuǎn)換器,將排水管段保留管段編碼、起始外業(yè)點號、管底高程屬性為A,保留管段編碼、終止外業(yè)點號、管尾高程屬性為B,保留排水管點的外業(yè)點號、X坐標、Y坐標,A、B分別通過FeatureMerger轉(zhuǎn)換器與管點進行關(guān)聯(lián),并通過AttributeCreater轉(zhuǎn)換器為A、B建立標識參數(shù)flag分別賦值為1與2,并保留管底高程與管尾高程為Z值,采用VertexCreator轉(zhuǎn)換器構(gòu)造點,利用Sorter轉(zhuǎn)換器分別對管段編碼(Alphabetic/Ascending)與flag(Numberic/Ascending)進行排序,再通過LineBuilder轉(zhuǎn)換器兩點連線,其中Connection Break Attributes為管段編碼,構(gòu)建排水管段。
混接點通過外業(yè)點號通過FeatureMerger轉(zhuǎn)換器關(guān)聯(lián)對應(yīng)排水管點生成。
缺陷檢測信息表中的記錄項是針對排水管段的檢測記錄,因此構(gòu)造缺陷點需要通過排水管段的起止點坐標值與缺陷距離來共同生成。缺陷信息表中檢測記錄的坐標值可以參考排水管段的構(gòu)建方式獲取,將起始點坐標設(shè)置為X1、Y1、Z1,終止點坐標設(shè)置為X2、Y2、Z2,則先利用這些坐標值利用Expression Evaluator轉(zhuǎn)換器計算排水管段的管段長度D,規(guī)定缺陷點的坐標值X0、Y0、Z0:若缺陷距離為0,則X0=X1,Y0=Y1,Z0=Z1;若缺陷距離與管段長度相等,則X0=X2,Y0=Y2,Z0=Z2;否則通過Attribute Creator轉(zhuǎn)換器生成缺陷點的坐標值X0、Y0、Z0,再采用Vertex Creator轉(zhuǎn)換器構(gòu)造缺陷點。
②數(shù)據(jù)結(jié)構(gòu)檢查
以SCHEMA方式將質(zhì)檢數(shù)據(jù)源與配置信息數(shù)據(jù)庫的標準數(shù)據(jù)庫模板分別輸入,利用FeatureMerger轉(zhuǎn)換器,將FME_FEATURE_TYPE_NAME作為關(guān)聯(lián)字段,判斷未成功匹配的數(shù)據(jù)結(jié)構(gòu)并輸出。
③屬性檢查
屬性值域檢查
通過FeatureMerger轉(zhuǎn)換器將目標數(shù)據(jù)庫與配置信息數(shù)據(jù)庫的標準數(shù)據(jù)庫模板關(guān)聯(lián),利用AttributeCreater轉(zhuǎn)換器的Parameter Condition Definition進行條件判斷生成并輸出質(zhì)檢記錄。
屬性唯一性檢查
通過Matcher轉(zhuǎn)換器檢查排水管段的管段編碼與排水管點的外業(yè)點號,輸出存在重復(fù)的數(shù)據(jù)項。
屬性正確性檢查
通過Tester轉(zhuǎn)換器判斷相應(yīng)數(shù)據(jù)表的屬性項內(nèi)容是否滿足相應(yīng)條件,不符合即輸出相應(yīng)記錄。
④空間檢查
孤立管點檢查
將管段通過AttributerKeeper轉(zhuǎn)換器分別保留“起始外業(yè)點號”與“終止外業(yè)點號”,并經(jīng)過GeometryRemover轉(zhuǎn)換器移除幾何信息,與管點的“外業(yè)點號”進行關(guān)聯(lián)查詢,并通過Tester轉(zhuǎn)換器排除管點附屬物為雨水篦、出水口、進水口的情形,即生成不與任何管段相接的孤立管點。
重復(fù)管點檢查
在剔除孤立管點后進行,利用PointOnPointOverLayer轉(zhuǎn)換器并篩選_overlaps>0的數(shù)據(jù)項為重疊項,再與混接點數(shù)據(jù)表進行比對排除,進行重疊檢查。
管段終點檢查
通過AttributeManager轉(zhuǎn)換器根據(jù)“流向”中的填值為0或1確定排水管段流向的“真實起點”與“真實終點”,再將無法匹配到“真實起點”的管段利用DuplicateFilter轉(zhuǎn)換器將“真實終點”重復(fù)的管段與管點利用FeatureMerger轉(zhuǎn)換器進行關(guān)聯(lián),找到為所有與其相連管段(大于2根以上的管段)終點的排水管點。
⑤邏輯一致性檢查
邏輯關(guān)聯(lián)關(guān)系檢查
排水管點、排水管段、缺陷檢測信息、混接點之間的邏輯關(guān)聯(lián)關(guān)系主要通過外業(yè)點號、起始外業(yè)點號、終止外業(yè)點號等字段利用AttributeManager轉(zhuǎn)換器進行關(guān)聯(lián),通過對UnmergedRequestor、UnusedSupplier等輸出端的結(jié)果進行分析,輸出空間邏輯不一致的數(shù)據(jù)項列表。
邏輯約束關(guān)系檢查
同一條記錄中不同屬性項之間邏輯約束關(guān)系檢查,主要通過AttributeCreater轉(zhuǎn)換器,設(shè)置相應(yīng)的判斷因子Test Condition與描述值A(chǔ)ttributeValue,將存在多屬性邏輯不一致的數(shù)據(jù)項進行詳細錯誤描述并輸出。
邏輯一致性檢查
缺陷檢測信息缺陷類型、名稱、代碼、等級、分值、距離、分布時鐘和評價的一致性檢查,先通過Tester轉(zhuǎn)換器過濾掉缺陷名稱為正常的數(shù)據(jù)項,再通過FeatureMerger轉(zhuǎn)換器與配置信息數(shù)據(jù)庫的缺陷信息表關(guān)聯(lián),關(guān)聯(lián)字段設(shè)置包含缺陷名稱、缺陷代碼、缺陷等級,未關(guān)聯(lián)上的表明缺陷名稱、代碼與等級不符合標準規(guī)定。部分FME質(zhì)量檢查模板示意圖如圖3所示。
圖3 部分FME質(zhì)量檢查模板示意圖
(3)質(zhì)檢結(jié)果樣式制定
數(shù)據(jù)質(zhì)檢的意義在于檢查出數(shù)據(jù)錯誤并反饋至數(shù)據(jù)生產(chǎn)側(cè),及時對數(shù)據(jù)缺陷進行完善。質(zhì)檢結(jié)果需保留數(shù)據(jù)源的數(shù)據(jù)表名以及相關(guān)標識屬性,便于定位查找,且應(yīng)以相對通俗、科學、合理的語言文字詳細描述質(zhì)量問題,易于理解核查,以包含上述兩類信息的Excel表格按記錄項來表達質(zhì)檢成果,如圖4所示。
FME質(zhì)量檢查模塊的運行過程中,在平臺上實時顯示數(shù)據(jù)的流動軌跡、當前轉(zhuǎn)換器節(jié)點與對應(yīng)轉(zhuǎn)換器各端口輸入輸出數(shù)據(jù)個數(shù),直觀地反映每一步的處理情況,可以發(fā)現(xiàn)數(shù)據(jù)中存在的問題,易于及時更新質(zhì)檢策略。
根據(jù)不同批次、不同地理位置、不同作業(yè)單位提交數(shù)據(jù)源的實際質(zhì)量情況,可新增、禁用或激活部分質(zhì)檢轉(zhuǎn)換器與質(zhì)檢子流程,或在相關(guān)轉(zhuǎn)換器中直接對參數(shù)進行重新填寫(如合理調(diào)整容差等),實現(xiàn)質(zhì)檢程序的高效快捷定制。用戶在可視化的工作空間內(nèi),按照實際需求對轉(zhuǎn)換器進行“組裝”,以此來實現(xiàn)對GIS數(shù)據(jù)的特定化處理[5]。
用于FME模塊調(diào)用與參考的配置信息數(shù)據(jù)庫設(shè)置為Excel格式,針對不同的數(shù)據(jù)標準與數(shù)據(jù)要求,對Excel進行靈活配置與編輯更新。例如可通過修改Excel表格隨時重置特定屬性項的值域范圍,不需調(diào)整FME程序即實現(xiàn)了適配新標準,服務(wù)新需求。
排水管網(wǎng)隱患排查為后續(xù)雨污分流改造、管網(wǎng)修復(fù)改造工程、清淤減污、提質(zhì)增效等行動提供了有力數(shù)據(jù)支撐,排水管網(wǎng)隱患數(shù)據(jù)成果的質(zhì)量關(guān)乎河湖流域水環(huán)境治理的成敗。本文基于FME的自動化、批量化質(zhì)檢模塊的研發(fā),嘗試構(gòu)建了科學、合理的質(zhì)檢規(guī)則。本文中提到的FME實踐成果為武漢市中心城區(qū)排水管網(wǎng)隱患排查項目提供了高效實用的質(zhì)量控制解決方案,為項目順利驗收及下一步工作的開展提供保障。