国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

電網(wǎng)建設(shè)智慧前期平臺(tái)多源異構(gòu)數(shù)據(jù)融合模型

2022-04-20 08:35忻淵中趙文淵孫博洋塔力鵬努爾巴合提
電力學(xué)報(bào) 2022年1期
關(guān)鍵詞:異構(gòu)預(yù)處理結(jié)構(gòu)化

陳 星,忻淵中,趙文淵,孫博洋,塔力鵬·努爾巴合提

(1.國(guó)網(wǎng)上海市電力公司 工程建設(shè)咨詢分公司 上海 200093;2.同濟(jì)大學(xué) 上海 201804)

0 引言

電網(wǎng)建設(shè)和改造存在布點(diǎn)多、線路跨度大、涉及征地拆遷范圍廣等特點(diǎn),電網(wǎng)建設(shè)企業(yè)涉及的前期工作存在變電站和線路選址的困難,以及部分電網(wǎng)建設(shè)可能與地方土地利用規(guī)劃沖突,而前期資料不足又會(huì)導(dǎo)致設(shè)計(jì)深度未達(dá)到要求等問題。為有效解決電網(wǎng)建設(shè)和改造過程中所存在的問題,在電網(wǎng)建設(shè)前期將業(yè)務(wù)流、數(shù)據(jù)流與現(xiàn)代計(jì)算機(jī)技術(shù)充分融合發(fā)展,實(shí)現(xiàn)對(duì)行政數(shù)據(jù)和技術(shù)數(shù)據(jù)的有效組織和統(tǒng)籌管理。并在此基礎(chǔ)上打造智能化、簡(jiǎn)潔化、數(shù)據(jù)高度整合的智慧前期信息規(guī)劃體系,以推動(dòng)智慧建設(shè)等領(lǐng)域發(fā)展。

當(dāng)前電網(wǎng)建設(shè)中常用的數(shù)據(jù)主要包括固定長(zhǎng)度固定類型的數(shù)據(jù)(如存儲(chǔ)于數(shù)據(jù)庫中的數(shù)據(jù)庫字段數(shù)據(jù))、現(xiàn)有行業(yè)內(nèi)部常用的已封裝好的結(jié)構(gòu)化格式數(shù)據(jù)(如XML 格式數(shù)據(jù)、JSON 格式數(shù)據(jù)等)、現(xiàn)有行業(yè)內(nèi)部常用的已封裝好的非結(jié)構(gòu)化格式數(shù)據(jù)(如地理位置圖、三維立體圖等),以及數(shù)據(jù)大小不固定且格式復(fù)雜的音視頻數(shù)據(jù)等不同類型格式的數(shù)據(jù),而不同的數(shù)據(jù)格式往往采取不同的存儲(chǔ)方式和讀寫方式。當(dāng)同一個(gè)工程涉及多種格式的數(shù)據(jù)時(shí),采用效率低的人工逐類單獨(dú)處理方式可能會(huì)造成工程的延誤,也會(huì)對(duì)自動(dòng)化系統(tǒng)帶來較大的負(fù)載。因此,對(duì)各類不同格式的數(shù)據(jù)構(gòu)建統(tǒng)一處理框架,采用數(shù)據(jù)統(tǒng)一處理模型對(duì)不同格式數(shù)據(jù)進(jìn)行融合統(tǒng)一,可有效降低工程建設(shè)的數(shù)據(jù)處理復(fù)雜程度以及自動(dòng)化系統(tǒng)的負(fù)載。

智慧前期是一個(gè)旨在整理建設(shè)前期的數(shù)據(jù)流和業(yè)務(wù)流、集成電網(wǎng)建設(shè)前期涉及的要素于一體的數(shù)據(jù)應(yīng)用平臺(tái)[1],該平臺(tái)提供數(shù)據(jù)處理、勘測(cè)、流程制定、法規(guī)參考和專家會(huì)議等服務(wù)功能,為電網(wǎng)建設(shè)項(xiàng)目的順利實(shí)施提供完整的信息輔助。智慧前期信息規(guī)劃體系產(chǎn)生于電網(wǎng)建設(shè)初步設(shè)計(jì)和可行性研究分析報(bào)告(以下簡(jiǎn)稱“初設(shè)”和“可研”)之前,應(yīng)用于電網(wǎng)建設(shè)整個(gè)生命周期。在建設(shè)前期,使可研和初設(shè)一體化,做到建設(shè)單位有據(jù)可依,有法可循;對(duì)于建設(shè)期和投入使用的項(xiàng)目,利用智慧前期成果和平臺(tái)依然可對(duì)項(xiàng)目跟蹤、管理和回顧。

基于以上背景,本文通過分析智慧前期工程建設(shè)中多源異構(gòu)數(shù)據(jù)的數(shù)據(jù)格式及存儲(chǔ)模式等數(shù)據(jù)特點(diǎn),提出了多源異構(gòu)數(shù)據(jù)統(tǒng)一融合模型,并在電網(wǎng)建設(shè)智慧前期工程中,基于智慧前期系統(tǒng)對(duì)模型進(jìn)行了驗(yàn)證。

1 多源異構(gòu)數(shù)據(jù)融合

1.1 系統(tǒng)數(shù)據(jù)分類

智慧前期建設(shè)過程中所產(chǎn)生或需要的數(shù)據(jù)包括項(xiàng)目數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)兩種,來自不同時(shí)期、不同系統(tǒng)或不同部門的數(shù)據(jù)既有結(jié)構(gòu)化數(shù)據(jù)(如部門提供數(shù)據(jù)和XML、JSON 等格式數(shù)據(jù))也包含非結(jié)構(gòu)化數(shù)據(jù)(如遙感圖像、研究方案、圖紙等),以及來自網(wǎng)絡(luò)的半結(jié)構(gòu)化數(shù)據(jù)(如網(wǎng)站所提供的政策法規(guī)等)。在研究多源多數(shù)據(jù)模型前,先按照各數(shù)據(jù)性質(zhì)、存儲(chǔ)方式以及讀寫方式等屬性對(duì)數(shù)據(jù)進(jìn)行分類,以便之后進(jìn)行模型內(nèi)數(shù)據(jù)關(guān)系研究以及數(shù)據(jù)統(tǒng)一化處理操作。在電網(wǎng)建設(shè)前期智慧系統(tǒng)中,數(shù)據(jù)分類如表1 所示。

表1 智慧前期信息規(guī)劃體系數(shù)據(jù)分類列表Tab.1 Data classification list of intelligent preliminary information planning system

表1 涉及數(shù)據(jù)可分為三類:

(1)結(jié)構(gòu)化數(shù)據(jù)。此類數(shù)據(jù)是由電力行業(yè)配合提供的,帶有電力領(lǐng)域?qū)I(yè)性質(zhì)的內(nèi)部工作流程相關(guān)的數(shù)據(jù),如工程建設(shè)中的規(guī)章制度、現(xiàn)有工程師名錄等,一般有統(tǒng)一的文件記錄和相似的、有規(guī)律性的記錄方式,并說明文件用途。

(2)半結(jié)構(gòu)化數(shù)據(jù)。此類數(shù)據(jù)是在電網(wǎng)工程建設(shè)的過程中產(chǎn)生的建設(shè)類文件,包括隨時(shí)可能產(chǎn)生的簽證類文件等。此具有隨機(jī)性,需要先進(jìn)行識(shí)別和處理才能和結(jié)構(gòu)化數(shù)據(jù)一樣統(tǒng)一處理。

(3)非結(jié)構(gòu)化數(shù)據(jù)。此類數(shù)據(jù)包括音視頻文件和空間數(shù)據(jù)兩類。音視頻文件與其他數(shù)據(jù)的關(guān)聯(lián)完全依賴于其自身攜帶的地理信息,對(duì)于音視頻的處理需要將音視頻本身和其地理信息數(shù)據(jù)展開保存。而空間數(shù)據(jù)是電網(wǎng)工程建設(shè)中的基礎(chǔ)數(shù)據(jù),此類數(shù)據(jù)獲取方式對(duì)測(cè)繪專業(yè)性要求高、方式多樣,在進(jìn)入多源異構(gòu)數(shù)據(jù)融合前需要進(jìn)行專業(yè)的技術(shù)處理和圖層融合。

多源異構(gòu)數(shù)據(jù)融合的處理方式共分為4 個(gè)步驟,主要為數(shù)據(jù)獲取、數(shù)據(jù)整合、關(guān)聯(lián)關(guān)系建立、入庫及調(diào)用[1]。電網(wǎng)建設(shè)中的數(shù)據(jù)類型在模型預(yù)處理階段,需完成獲取數(shù)據(jù)并對(duì)各類數(shù)據(jù)內(nèi)部初步整合的處理。

1.2 數(shù)據(jù)預(yù)處理

在多源異構(gòu)數(shù)據(jù)統(tǒng)一融合模型中,為了充分融合異構(gòu)數(shù)據(jù)的特征,在對(duì)多源異構(gòu)數(shù)據(jù)整合之前需要先對(duì)不同的數(shù)據(jù)進(jìn)行預(yù)處理。

1.2.1 結(jié)構(gòu)化數(shù)據(jù)與半結(jié)構(gòu)化數(shù)據(jù)預(yù)處理

如圖1 所示,將不同數(shù)據(jù)來源的數(shù)據(jù)通過相應(yīng)的處理工具轉(zhuǎn)換為統(tǒng)一的電子數(shù)據(jù)格式,依據(jù)原始數(shù)據(jù)類型采用不同的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)將其分別以數(shù)據(jù)庫模式和不同格式的文件模式存儲(chǔ)于服務(wù)器中。

圖1 結(jié)構(gòu)化數(shù)據(jù)與半結(jié)構(gòu)化數(shù)據(jù)預(yù)處理模型Fig.1 Structured data and semi structured data pre-processing

1.2.2 非結(jié)構(gòu)化數(shù)據(jù)預(yù)處理

如圖2 所示,非結(jié)構(gòu)化數(shù)據(jù)中的GIS 數(shù)據(jù)可借助地理數(shù)據(jù)模型表達(dá)。圖片、視頻以及VR 數(shù)據(jù)為其加入相應(yīng)字段標(biāo)簽,如拍攝地點(diǎn)、上傳時(shí)間、上傳屬性、拍攝目的、標(biāo)注等。即將前述獲取的原始電子數(shù)據(jù)依據(jù)原始數(shù)據(jù)類型采用不同的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)將其分別以數(shù)據(jù)庫模式和不同格式的文件模式存儲(chǔ)于服務(wù)器中。

圖2 非結(jié)構(gòu)化數(shù)據(jù)預(yù)處理模型Fig.2 Unstructured data pre-processing

1.2.3 預(yù)處理難點(diǎn)分析

在多源異構(gòu)數(shù)據(jù)統(tǒng)一融合模型的數(shù)據(jù)預(yù)處理中,主要難點(diǎn)在于需要對(duì)非電子化或結(jié)構(gòu)化程度較為駁雜的數(shù)據(jù)進(jìn)行處理(見表2)。需將所有獲取的數(shù)據(jù)進(jìn)行電子化處理并對(duì)其結(jié)構(gòu)化程度進(jìn)行初步統(tǒng)一,以方便多源異構(gòu)數(shù)據(jù)整合框架的直接數(shù)據(jù)提供。所處理的主要數(shù)據(jù)包括電網(wǎng)建設(shè)部門提供的直接數(shù)據(jù)、存儲(chǔ)于網(wǎng)絡(luò)上的間接數(shù)據(jù)以及以紙質(zhì)版文件形式存在的第三方數(shù)據(jù)等類型數(shù)據(jù)。針對(duì)上述三種類型的數(shù)據(jù)做如圖3所示處理。

圖3 存儲(chǔ)模式組成結(jié)構(gòu)圖Fig.3 Storage pattern composition diagram

表2 預(yù)處理難點(diǎn)類型數(shù)據(jù)處理方式Tab.2 Data processing methods for difficult types of preprocessing

1.3 數(shù)據(jù)融合

1.3.1 數(shù)據(jù)關(guān)聯(lián)方案結(jié)構(gòu)概述

服務(wù)器中所存儲(chǔ)的數(shù)據(jù)主要包含結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)三大類型數(shù)據(jù),經(jīng)過多源異構(gòu)數(shù)據(jù)、融合統(tǒng)一模型預(yù)處理模塊處理后的直接相關(guān)數(shù)據(jù),以區(qū)塊的形式存儲(chǔ)于結(jié)構(gòu)化域、半結(jié)構(gòu)化域和非結(jié)構(gòu)化域三個(gè)存儲(chǔ)區(qū)域。

其中,結(jié)構(gòu)化域中保存著存儲(chǔ)于庫中的原字段統(tǒng)一的直接數(shù)據(jù),以行優(yōu)先方式存儲(chǔ)于相關(guān)庫中的半結(jié)構(gòu)化數(shù)據(jù)中的代表圖片的數(shù)值矩陣圖,以及用來映射對(duì)象關(guān)系的相關(guān)庫;半結(jié)構(gòu)化域中保存著從紙質(zhì)版文件和網(wǎng)絡(luò)中所提取到JSON 文件和三級(jí)XML 文件,同時(shí)與結(jié)構(gòu)化域相關(guān)庫中源頭一致的數(shù)據(jù)相互關(guān)聯(lián),以保證數(shù)據(jù)的完整性和正確性;非結(jié)構(gòu)化域中保存著音視頻文件和空間數(shù)據(jù)類非結(jié)構(gòu)化數(shù)據(jù),并以結(jié)構(gòu)化域中的對(duì)象映射庫為中間件對(duì)兩者進(jìn)行1 對(duì)N的直接映射。

多源異構(gòu)數(shù)據(jù)統(tǒng)一融合模型中在對(duì)相關(guān)數(shù)據(jù)進(jìn)行采集和預(yù)處理之后,便需要對(duì)相關(guān)數(shù)據(jù)進(jìn)一步處理以完成深度層次上的數(shù)據(jù)整合。多源異構(gòu)數(shù)據(jù)統(tǒng)一融合流程圖如圖4 所示。

圖4 多源異構(gòu)數(shù)據(jù)統(tǒng)一融合模型流程圖示Fig.4 Unified fusion model flow chart of multi-source and multi-structure data

該方案首先會(huì)從服務(wù)器中將已經(jīng)預(yù)處理好的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)分別讀取并解析出來。對(duì)于結(jié)構(gòu)化數(shù)據(jù)而言可按照其數(shù)據(jù)類型創(chuàng)建數(shù)據(jù)庫并將其直接入庫。對(duì)于半結(jié)構(gòu)化數(shù)據(jù)而言,則首先會(huì)將其按照數(shù)據(jù)類別分為兩類:類1 為結(jié)構(gòu)化部分、類2 為非結(jié)構(gòu)化部分。對(duì)于類1,創(chuàng)建相關(guān)庫將其直接入庫而后則采取全連接的映射機(jī)制將類1 和類2 數(shù)據(jù)之間相互映射。對(duì)于類2 的非結(jié)構(gòu)化音視頻數(shù)據(jù),采用底層圖與其音視頻數(shù)據(jù)單連接的映射機(jī)制,將相關(guān)音視頻數(shù)據(jù)作為底層地理分布圖的一對(duì)多直連映射并作為附屬參數(shù)嵌入其中;對(duì)于類2 的非結(jié)構(gòu)化地理分布圖類結(jié)構(gòu)數(shù)據(jù),首先對(duì)各類圖進(jìn)行坐標(biāo)的轉(zhuǎn)換及圖層的分割,其次對(duì)單圖層基于人工神經(jīng)網(wǎng)絡(luò)的區(qū)域分割算法對(duì)其進(jìn)行區(qū)域塊的劃分,最后將結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)作為融入?yún)?shù)與多個(gè)單圖層,一起使用類空間圖層疊加方式形成最后的融合多源異構(gòu)數(shù)據(jù)的疊加式空間模型。

1.3.2 融合數(shù)據(jù)庫實(shí)現(xiàn)方案

電網(wǎng)工程建設(shè)的前期數(shù)據(jù)隨著時(shí)間的推移和業(yè)務(wù)的辦理,數(shù)據(jù)體量會(huì)不斷地增長(zhǎng)。大量新型、異構(gòu)、多源的空間大數(shù)據(jù)不斷產(chǎn)生和存儲(chǔ),電網(wǎng)工程建設(shè)對(duì)空間數(shù)據(jù)應(yīng)用的需求不斷提升,數(shù)據(jù)和需求端均對(duì)傳統(tǒng)的GIS 帶來了巨大挑戰(zhàn)[2]。無論是經(jīng)典的關(guān)系型數(shù)據(jù)庫還是傳統(tǒng)GIS 的空間數(shù)據(jù)庫都已經(jīng)無法滿足電網(wǎng)工程建設(shè)數(shù)據(jù)融合應(yīng)用的存儲(chǔ)和應(yīng)用需求。因而,關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫相結(jié)合的混合數(shù)據(jù)庫存儲(chǔ)成為必然的數(shù)據(jù)庫實(shí)現(xiàn)方案選擇方向[3]。

系統(tǒng)設(shè)計(jì)了一種關(guān)系型與非關(guān)系型耦合的數(shù)據(jù)庫。電網(wǎng)工程建設(shè)帶有強(qiáng)烈的地理信息屬性,需要一款GIS 數(shù)據(jù)庫作為智能化地圖的數(shù)據(jù)基礎(chǔ),PostgreSQL 是開源空間數(shù)據(jù)庫,構(gòu)建在其上的空間對(duì)象擴(kuò)展模塊PostGIS 使其成為一個(gè)真正的大型空間數(shù)據(jù)庫[4]。SuperMap 中的SDX+ for PostGIS 引擎,可以直接訪問PostgreSQL 空間數(shù)據(jù)庫,充分利用空間信息服務(wù)數(shù)據(jù)庫的能力,如空間對(duì)象、空間索引、空間操作函數(shù)和空間操作符等[5],實(shí)現(xiàn)高效地管理和訪問空間數(shù)據(jù),因此選擇被SuperMap 支持的PostgreSQL 關(guān)系型數(shù)據(jù)為系統(tǒng)基礎(chǔ)。同時(shí)整合主流的MongoDB 和Redis 非關(guān)系型數(shù)據(jù)庫,利用MongoDB 和Redis 對(duì)半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的表示和檢索能力,組成電力建設(shè)時(shí)空大數(shù)據(jù)地圖的數(shù)據(jù)庫支撐結(jié)構(gòu),數(shù)據(jù)庫結(jié)構(gòu)見圖5。其在速度上與傳統(tǒng)數(shù)據(jù)庫相比有大幅提升,更能適應(yīng)大地圖讀寫訪問與計(jì)算要求,同時(shí)又保證了數(shù)據(jù)的一致性,供使用者做決策參考的信息量也得以增加。

圖5 數(shù)據(jù)庫結(jié)構(gòu)圖Fig.5 Database structure diagram

通過上述數(shù)據(jù)庫結(jié)構(gòu),為結(jié)構(gòu)化和半結(jié)構(gòu)化類的數(shù)據(jù)增加地理屬性,當(dāng)應(yīng)用于某項(xiàng)工程中時(shí),以地理信息為線索檢索特定區(qū)域范圍內(nèi)的數(shù)據(jù)信息,通過對(duì)檢索信息的挖掘分析得到目標(biāo)效果。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫系統(tǒng),當(dāng)遭遇大量的查詢操作時(shí),會(huì)因繁復(fù)的IO 操作而花費(fèi)大量時(shí)間,本系統(tǒng)中將最常訪問,且無復(fù)雜計(jì)算需求的結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)(熱數(shù)據(jù)),如辦事流程等,通過非關(guān)系型數(shù)據(jù)庫存放,在后臺(tái)查詢時(shí)便可有效避免直接從關(guān)系型數(shù)據(jù)庫進(jìn)行查詢,當(dāng)熱數(shù)據(jù)發(fā)生改變時(shí),則重新加載。利用MongoDB 的文檔處理優(yōu)勢(shì),保證法律法規(guī)、VR 圖像、實(shí)地視頻等文檔類數(shù)據(jù)的存儲(chǔ)和查看。非結(jié)構(gòu)化數(shù)據(jù)中的空間數(shù)據(jù),如勘測(cè)數(shù)據(jù)和建設(shè)數(shù)據(jù)的讀寫則通過直接操作關(guān)系型數(shù)據(jù)庫進(jìn)行,由于其IO 頻率不高,在首次加載工程時(shí)將該類數(shù)據(jù)讀出存放在緩存中,以供基礎(chǔ)信息標(biāo)定,通過對(duì)數(shù)據(jù)進(jìn)行幾何匹配及屬性匹配,尋找與檢索目標(biāo)有地理關(guān)系的結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。

2 多源異構(gòu)數(shù)據(jù)方案驗(yàn)證

本文使用電網(wǎng)建設(shè)智慧前期所涉及的項(xiàng)目數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù),應(yīng)用文中介紹的多源異構(gòu)數(shù)據(jù)統(tǒng)一融合模型,以對(duì)其進(jìn)行驗(yàn)證。

2.1 多源異構(gòu)數(shù)據(jù)預(yù)處理

2.1.1 結(jié)構(gòu)化數(shù)據(jù)預(yù)處理

對(duì)于電網(wǎng)建設(shè)智慧前期信息規(guī)劃系統(tǒng)中來自電力部門提供的專家結(jié)構(gòu)化信息,經(jīng)過系統(tǒng)功能需求分析設(shè)計(jì)數(shù)據(jù)表結(jié)構(gòu),專家?guī)旌?jiǎn)易關(guān)系見圖6。

圖6 專家?guī)旌?jiǎn)易關(guān)系圖Fig.6 Summary diagram of expert database

結(jié)構(gòu)化數(shù)據(jù)庫專家?guī)礻P(guān)系模式為:

用戶(用戶id,用戶名,用戶密碼,用戶角色,工程id);

專家(專家id,專家名,出生日期,性別,機(jī)構(gòu),職稱,職位,電話,省份,城市);

管理/應(yīng)用(用戶id,專家id)。

2.1.2 半結(jié)構(gòu)化數(shù)據(jù)預(yù)處理

(1)法規(guī)庫數(shù)據(jù)預(yù)處理。

對(duì)于電網(wǎng)建設(shè)智慧前期信息規(guī)劃系統(tǒng)中來自網(wǎng)絡(luò)的法規(guī)半結(jié)構(gòu)化信息,經(jīng)多源異構(gòu)數(shù)據(jù)統(tǒng)一融合模型的處理后,設(shè)計(jì)數(shù)據(jù)表結(jié)構(gòu),法規(guī)庫簡(jiǎn)易關(guān)系見圖7。

圖7 法規(guī)庫簡(jiǎn)易關(guān)系圖Fig.7 Summary diagram of regulations database

處理后的結(jié)構(gòu)化數(shù)據(jù)庫法規(guī)庫關(guān)系模式為:

用戶(用戶id,用戶名,用戶密碼,用戶角色,工程id);

法規(guī)(法規(guī)id,法規(guī)類型,工程id,工程階段,法規(guī)信息);

管理/應(yīng)用(用戶id,法規(guī)id)。

在確定數(shù)據(jù)庫法規(guī)庫關(guān)系模式后,通過爬取獲得的法規(guī)文件所生成的JSON 字符串格式也可確定下來。

對(duì)于電網(wǎng)建設(shè)智慧前期信息規(guī)劃系統(tǒng)中來自網(wǎng)絡(luò)的法規(guī)圖片信息數(shù)據(jù),經(jīng)多源異構(gòu)數(shù)據(jù)統(tǒng)一融合模型的處理后,生成代表像素的二進(jìn)制單元矩陣圖結(jié)構(gòu)如圖8 所示,這個(gè)矩陣圖是圖片來源數(shù)據(jù)的像素值經(jīng)過系列轉(zhuǎn)換之后生成的,可以將其看作是圖片上各個(gè)點(diǎn)的像素值。

圖8 二進(jìn)制單元矩陣圖結(jié)構(gòu)圖Fig.8 Binary cell matrix structure diagram

(2)案例庫數(shù)據(jù)預(yù)處理。

對(duì)于電網(wǎng)建設(shè)智慧前期信息規(guī)劃系統(tǒng)中,來自定制版文本掃描器的文本結(jié)構(gòu)案例數(shù)據(jù),經(jīng)多源異構(gòu)數(shù)據(jù)統(tǒng)一融合模型的處理后,設(shè)計(jì)案例表結(jié)構(gòu)案例庫簡(jiǎn)易關(guān)系見圖9。

圖9 案例庫簡(jiǎn)易關(guān)系Fig.9 Summary diagram of case database

結(jié)構(gòu)化數(shù)據(jù)庫案例庫關(guān)系模式為:

用戶(用戶id,用戶名,用戶密碼,用戶角色,工程id);

案例(案例id,工程名,關(guān)鍵詞,開始時(shí)間,結(jié)束時(shí)間,工程類型,工程細(xì)節(jié),工程管理細(xì)節(jié),工程價(jià)格,工程價(jià)格細(xì)節(jié),設(shè)備價(jià)格細(xì)節(jié),其他價(jià)格細(xì)節(jié),工程曲線,工程媒體,錄入時(shí)間);

管理/應(yīng)用(用戶id,案例id)。

2.1.3 非結(jié)構(gòu)化地圖數(shù)據(jù)預(yù)處理

(1)借助SuperMap 工具對(duì)其進(jìn)行統(tǒng)一的坐標(biāo)轉(zhuǎn)換及單圖層區(qū)域劃分,利用GIS 數(shù)據(jù)庫存儲(chǔ)相應(yīng)數(shù)據(jù)。

(2)將所產(chǎn)生的空間數(shù)據(jù)資源分層級(jí)處理融合成一幅包含多空間等級(jí)數(shù)據(jù)的層疊式空間數(shù)據(jù)圖,進(jìn)一步借助機(jī)器學(xué)習(xí)技術(shù)選用經(jīng)過類型豐富的訓(xùn)練數(shù)據(jù)訓(xùn)練過的、性能較優(yōu)的數(shù)據(jù)分類器,將同一層級(jí)的不同類別數(shù)據(jù)進(jìn)行清晰分類。

(3)圖片與視頻數(shù)據(jù)通過系統(tǒng)提供的接口收集,在收集的同時(shí)便為其添加了額外的信息元素,將這些元素與原數(shù)據(jù)聯(lián)系為統(tǒng)一數(shù)據(jù)庫,為之后的數(shù)據(jù)操作提供支持。

2.2 多源異構(gòu)數(shù)據(jù)整合

經(jīng)過數(shù)據(jù)預(yù)處理,半結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)形成了規(guī)范的結(jié)構(gòu)數(shù)據(jù)和一部分非結(jié)構(gòu)數(shù)據(jù)。將這些數(shù)據(jù)以預(yù)處理中說明的數(shù)據(jù)庫設(shè)計(jì)為基礎(chǔ),在系統(tǒng)中建立相應(yīng)的數(shù)據(jù)庫,將數(shù)據(jù)按照規(guī)則填入,并采取全連接的映射機(jī)制使結(jié)構(gòu)化部分與非結(jié)構(gòu)化部分相互映射。

在非結(jié)構(gòu)化數(shù)據(jù)中,預(yù)處理好的地理信息與圖片、視頻以及VR 數(shù)據(jù)通過預(yù)處理中得到的額外元素進(jìn)行一對(duì)多直連映射進(jìn)而產(chǎn)生耦合,將圖片、視頻以及VR 數(shù)據(jù)綁定至地理信息中的特定坐標(biāo)或圍欄中。接下來便可以只考慮地理信息與預(yù)處理后結(jié)構(gòu)化數(shù)據(jù)的整合。將結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)作為融入?yún)?shù)與多個(gè)單圖層一起使用類空間圖層疊加方式形成最后的融合多源異構(gòu)數(shù)據(jù)的疊加式空間模型。

這一模型的經(jīng)典應(yīng)用場(chǎng)景表現(xiàn)為在某一工程中,如圖10。系統(tǒng)可以依據(jù)地圖篩選出本工程涉及的法律法規(guī)和行政條例,提前為使用者提供可能的案例及專家參考,并在該點(diǎn)標(biāo)記相應(yīng)的視頻,讓使用者了解該點(diǎn)實(shí)地情況。

圖10 以地理位置為線索的融合數(shù)據(jù)應(yīng)用Fig.10 Application of fused data based on geographical location

3 總結(jié)

為了促進(jìn)電網(wǎng)工程與現(xiàn)代計(jì)算機(jī)技術(shù)的快速融合、推動(dòng)電網(wǎng)工程建設(shè)過程的自動(dòng)化進(jìn)程,本文針對(duì)電網(wǎng)前期建設(shè)或改造中所涉及的不同來源不同類型的項(xiàng)目數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù),梳理數(shù)據(jù)類型和數(shù)據(jù)特征,研究數(shù)據(jù)間的應(yīng)用關(guān)聯(lián),以關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)耦合的方式搭建了一套完善的多源異構(gòu)數(shù)據(jù)統(tǒng)一融合模型。

采用電網(wǎng)建設(shè)智慧前期工程數(shù)據(jù)作為實(shí)例對(duì)所提供的多源異構(gòu)數(shù)據(jù)統(tǒng)一融合模型進(jìn)行驗(yàn)證??奢^為完整地將智慧前期工程建設(shè)過程中產(chǎn)生的多源異構(gòu)數(shù)據(jù)應(yīng)用、數(shù)據(jù)統(tǒng)一融合模型導(dǎo)出到生成的圖層和數(shù)據(jù)庫中,并在系統(tǒng)中可直觀且簡(jiǎn)潔地表示出來。從整個(gè)前期過程探索了融合數(shù)據(jù)的應(yīng)用和拓展方向,并且驗(yàn)證了本文所提模型的有效性。

圍繞多源異構(gòu)數(shù)據(jù)統(tǒng)一融合模型,研究了衍生出的包括輔助電網(wǎng)工程建設(shè)前期工作推展和數(shù)據(jù)處理的智慧前期系統(tǒng)等多項(xiàng)電網(wǎng)建設(shè)相關(guān)智慧系統(tǒng),為電網(wǎng)工程建設(shè)提供了全新的工作方式,同時(shí)電網(wǎng)建設(shè)對(duì)智慧系統(tǒng)的應(yīng)用為之后的建設(shè)數(shù)據(jù)間的關(guān)聯(lián)性研究提供了實(shí)例數(shù)據(jù)。

猜你喜歡
異構(gòu)預(yù)處理結(jié)構(gòu)化
ETC拓展應(yīng)用場(chǎng)景下的多源異構(gòu)交易系統(tǒng)
KR預(yù)處理工藝參數(shù)對(duì)脫硫劑分散行為的影響
預(yù)處理對(duì)醫(yī)用外科口罩用熔噴布顆粒過濾性能的影響
離散異構(gòu)線性多智能體系統(tǒng)的輸出一致性
手術(shù)器械預(yù)處理在手術(shù)室的應(yīng)用
試論同課異構(gòu)之“同”與“異”
借助問題情境,讓結(jié)構(gòu)化教學(xué)真實(shí)發(fā)生
改進(jìn)的非結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)動(dòng)態(tài)搜索算法
深度學(xué)習(xí)的單元結(jié)構(gòu)化教學(xué)實(shí)踐與思考
污泥預(yù)處理及其在硅酸鹽制品中的運(yùn)用
双鸭山市| 凌源市| 珲春市| 惠来县| 道孚县| 屏东市| 闽清县| 永清县| 盖州市| 金溪县| 宜城市| 古田县| 沭阳县| 西丰县| 锡林浩特市| 谷城县| 寿光市| 肇州县| 永靖县| 青龙| 临武县| 台前县| 保亭| 镇巴县| 阿尔山市| 体育| 永平县| 滨海县| 宣汉县| 襄垣县| 湖北省| 凌源市| 余干县| 云浮市| 亚东县| 静海县| 萍乡市| 黄浦区| 文化| 彭山县| 台前县|