姜楠 文必龍 林宗斌

摘要：隨著互聯(lián)網(wǎng)技術(shù)和web的迅速發(fā)展，現(xiàn)代企業(yè)間以及企業(yè)內(nèi)部需要彼此將資源共享，但是不同企業(yè)間的數(shù)據(jù)源，結(jié)構(gòu)，格式都是不大相同的。由此我們發(fā)現(xiàn)多源異構(gòu)數(shù)據(jù)不能共享問(wèn)題。于是提出了基于元模型驅(qū)動(dòng)的多源異構(gòu)數(shù)據(jù)的統(tǒng)一建模技術(shù)。該技術(shù)是通過(guò)建立數(shù)據(jù)字典的元模型對(duì)各類的異構(gòu)數(shù)據(jù)進(jìn)行統(tǒng)一的描述，然后通過(guò)數(shù)據(jù)的映射關(guān)系在建立起統(tǒng)一數(shù)據(jù)模型。最后該系統(tǒng)已經(jīng)成功的應(yīng)用在多源物品交易平臺(tái)數(shù)據(jù)資源整合中。

關(guān)鍵詞：多源異構(gòu)數(shù)據(jù)；元數(shù)據(jù)；元模型；映射模式；轉(zhuǎn)化規(guī)則

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2018）12-0004-02

Abstract： with the rapid development of Internet technology and web， modern enterprises and enterprises need to share resources with each other， but the data sources， structures and formats between different enterprises are not the same. So we find that the problem of multi-source heterogeneous data can not be shared. Therefore， a unified modeling technology based on meta model driven multi-source heterogeneous data is proposed. The technology is to describe all kinds of heterogeneous data through the metamodel of the data dictionary， and then establish a unified data model through the mapping of the data. Finally， the system has been successfully applied to data resource integration of multi-source goods trading platform.

Key words： multi-source heterogeneous data； metadata； metamodel； mapping mode and transformation rule

1 背景

隨著計(jì)算機(jī)的迅速發(fā)展，使得現(xiàn)代企業(yè)的數(shù)據(jù)存儲(chǔ)量越來(lái)越大。隨之企業(yè)逐漸從一個(gè)孤立的數(shù)據(jù)源轉(zhuǎn)向?yàn)橐粋€(gè)不斷通過(guò)網(wǎng)絡(luò)與外界交換信息的實(shí)體。企業(yè)實(shí)現(xiàn)數(shù)據(jù)共享可以更充分地使用現(xiàn)有的數(shù)據(jù)資源，更好的挖掘數(shù)據(jù)，減少數(shù)據(jù)的采集等。但是實(shí)現(xiàn)共享數(shù)據(jù)時(shí)，不同用戶共享的數(shù)據(jù)可能來(lái)源不同，其數(shù)據(jù)的內(nèi)容，格式和質(zhì)量千差萬(wàn)別，有時(shí)甚至?xí)霈F(xiàn)數(shù)據(jù)格式不能轉(zhuǎn)化和數(shù)據(jù)轉(zhuǎn)換后不正確等嚴(yán)重問(wèn)題。隨后人們提出了數(shù)據(jù)集成的方法：數(shù)據(jù)集成是對(duì)異構(gòu)數(shù)據(jù)的統(tǒng)一表示、儲(chǔ)存和管理[1]。通過(guò)數(shù)據(jù)集成的系統(tǒng)可以對(duì)不同的數(shù)據(jù)源進(jìn)行統(tǒng)一操作。實(shí)現(xiàn)異構(gòu)數(shù)據(jù)集成方法包括兩種：基于中間插件的數(shù)據(jù)集成[2]和基于模式數(shù)據(jù)[3]的數(shù)據(jù)集成方法。但是都沒(méi)有對(duì)各類數(shù)據(jù)以元模型統(tǒng)一的描述和管理。

于是該文針對(duì)上述問(wèn)題提出基于元模型驅(qū)動(dòng)的方法對(duì)多源異構(gòu)數(shù)據(jù)統(tǒng)一進(jìn)行平臺(tái)建模。該平臺(tái)是通用的、面向業(yè)務(wù)的、而非傳統(tǒng)意義上面向編程人員的開(kāi)發(fā)平臺(tái)。該文詳細(xì)說(shuō)明多源異構(gòu)數(shù)據(jù)進(jìn)行元模型構(gòu)建的過(guò)程?；谠摱嘣串悩?gòu)的統(tǒng)一建模，我們成功地實(shí)現(xiàn)多個(gè)物品交易平臺(tái)的數(shù)據(jù)整合與分享系統(tǒng)。

2 元模型構(gòu)建

元數(shù)據(jù)驅(qū)動(dòng)[4]：數(shù)據(jù)在程序中不是被加工的對(duì)象，而是通過(guò)元數(shù)據(jù)值的改變來(lái)改變程序的行為，控制程序的運(yùn)行，這樣稱為元數(shù)據(jù)驅(qū)動(dòng)。按照傳統(tǒng)的定義，元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)。元數(shù)據(jù)的典型表現(xiàn)為對(duì)象的描述，即對(duì)數(shù)據(jù)庫(kù)、表、列、列屬性（類型、格式、約束等）以及主鍵/外鍵關(guān)聯(lián)等的描述。

2.1 標(biāo)準(zhǔn)化元模型

元模型已經(jīng)在各個(gè)領(lǐng)域已經(jīng)得到很多的應(yīng)用，其中元模型本身的屬性和結(jié)構(gòu)也存在著很大的差異要想實(shí)現(xiàn)對(duì)元模型和元數(shù)據(jù)統(tǒng)一的管理，就要有效地將各類元模型進(jìn)行統(tǒng)一的描述[5]。以往的項(xiàng)目元模型為例，這些元模型具有以下不同：①描述模型種類不同。②元模型領(lǐng)域不同。③結(jié)構(gòu)設(shè)計(jì)差異大。④語(yǔ)義表述不同。⑤所在的數(shù)據(jù)庫(kù)環(huán)境不同。

鑒于元模型存在的差異性，要想對(duì)元模型進(jìn)行統(tǒng)一建模和訪問(wèn)，則元模型必須要滿足一定的規(guī)范。我們要建立元模型描述規(guī)范標(biāo)準(zhǔn)，然后對(duì)元模型建立驚醒標(biāo)準(zhǔn)化。該規(guī)范用于各類元模型進(jìn)行一定的約束，其規(guī)范如下表1（元模型規(guī)范標(biāo)準(zhǔn)表）：

2.2 元-元模型設(shè)計(jì)

為了實(shí)現(xiàn)元模型的管理，必須要構(gòu)建一個(gè)能夠描述所有元模型的元-元模型。元-元模型的定義是建立在元模型所需要的概念元素的基礎(chǔ)上，也為元模型的相互聯(lián)系、實(shí)現(xiàn)互相操作建立了語(yǔ)意基礎(chǔ)[6]。一套元模型是多個(gè)元實(shí)體組成，元實(shí)體又包含了多個(gè)元屬性，原屬性由原屬性名稱、元屬性數(shù)據(jù)類型和元屬性值等組成。數(shù)據(jù)異構(gòu)中數(shù)據(jù)類型異構(gòu)就是其中異構(gòu)的一個(gè)方面。要建立與實(shí)現(xiàn)一個(gè)無(wú)關(guān)元模型時(shí)，要保證數(shù)據(jù)類型的獨(dú)立性。要解決這個(gè)方面的異構(gòu)就要構(gòu)建一個(gè)獨(dú)立的數(shù)據(jù)類型體系，稱為邏輯數(shù)據(jù)類型體系。邏輯數(shù)據(jù)類型就是要保證數(shù)據(jù)類型的獨(dú)立和標(biāo)準(zhǔn)化。所以采用與國(guó)際建模技術(shù)標(biāo)準(zhǔn)中的路基數(shù)據(jù)類型。為了給數(shù)據(jù)統(tǒng)一描述和表述提供了基礎(chǔ)，設(shè)計(jì)了物理數(shù)據(jù)庫(kù)類型。同時(shí)為了解決儲(chǔ)存方式上的差異，我們使用類物理數(shù)據(jù)類型進(jìn)行映射到邏輯數(shù)據(jù)類型的方式得以消除。元-元模型的邏輯關(guān)系如下圖1所示。

3 元數(shù)據(jù)映射模式

映射模式[7] 為源數(shù)據(jù)庫(kù)數(shù)據(jù)表字段到目標(biāo)數(shù)據(jù)庫(kù)數(shù)據(jù)表字段之間的映射關(guān)系，每一類映射關(guān)系為一類映射模式。每一類映射模式的實(shí)質(zhì)是一類數(shù)據(jù)轉(zhuǎn)換的規(guī)則，將每一類映射模式抽象為一個(gè)數(shù)據(jù)轉(zhuǎn)換規(guī)則函數(shù)。

3.1 數(shù)據(jù)轉(zhuǎn)換規(guī)則函數(shù)及其識(shí)別映射模式算法

數(shù)據(jù)轉(zhuǎn)換規(guī)則函數(shù)：基于映射關(guān)系X映射到Y(jié)源數(shù)據(jù)庫(kù)中記錄Fs中對(duì)應(yīng)于屬性X的數(shù)據(jù) xi，到目標(biāo)記錄Ft中對(duì)應(yīng)于屬性Y的數(shù)據(jù)yi的一系列變換、運(yùn)算等轉(zhuǎn)換處理過(guò)程，為映射關(guān)系X映射Y下的轉(zhuǎn)換規(guī)則函數(shù)為 F，記為 F（xi，yi ）或yi =F（xi ），xi∈F S ，yi ∈F T 。這里需要說(shuō)明，不同映射關(guān)系下的規(guī)則函數(shù)參數(shù)類型、個(gè)數(shù)存在差異。轉(zhuǎn)換規(guī)則函數(shù)主要包括直接映射、主鍵映射、外鍵關(guān)鍵字映射、多級(jí)映射等[8]。

對(duì)于這么多映射規(guī)則，必須有一個(gè)識(shí)別映射模式，通過(guò)調(diào)用對(duì)應(yīng)映射轉(zhuǎn)換規(guī)則函數(shù)，實(shí)現(xiàn)映射識(shí)別與轉(zhuǎn)換過(guò)程的自動(dòng)處理算法。算法如下：

IF！=null THEN

{ f （Ai，Bi）記住ni}

FOR each ni∈ DO

{識(shí)別ni 在 中的映射模式識(shí)別modeli}；

{調(diào)用相應(yīng)的映射轉(zhuǎn)化規(guī)則函數(shù)}；

FOR each MODEL ∈ DO

IF MODEL ==modeli THEN

Fmodel（var1，var2，…）；

END IF

END FOR

END FOR

END IF

3.2 主鍵字段映射規(guī)則映射及其算法

基于主鍵字段映射規(guī)則映射對(duì)于轉(zhuǎn)換規(guī)則是十分重要的。主鍵映射是指源表的主鍵字段仍然是目標(biāo)表中組件的字段，只是源表和目標(biāo)表的主鍵的字段存儲(chǔ)的值不同。由于描述的不同，需要將源表中主鍵存儲(chǔ)的值變?yōu)槟繕?biāo)主鍵字段的值，并且要建立中間表來(lái)保存兩者值之間對(duì)應(yīng)的關(guān)系。

基于主鍵映射字段的轉(zhuǎn)化函數(shù)：F主鍵（S<主鍵字段>，T<主鍵字段> ，TX<中間表>），其中轉(zhuǎn)換函數(shù)參數(shù)包括S為源主鍵字段，T為目標(biāo)主鍵字段，TX為中間表。下面是基于主鍵字段映射規(guī)則的數(shù)據(jù)轉(zhuǎn)換處理過(guò)程算法：

IF S<主鍵字段>==T<主鍵字段> THEN

SELECT T <主鍵字段> FROM T<目標(biāo)表>

IF T<主鍵字段>.Value ！=S<主鍵字段>.Value THEN

{判斷T主鍵字段值與S主鍵字段值的關(guān)系}

CREATE TA；BLE TX；{將兩者關(guān)系儲(chǔ)存到中間表中}；

END IF；

END IF；

通過(guò)建立標(biāo)準(zhǔn)的轉(zhuǎn)換規(guī)則函數(shù)及參數(shù)的元數(shù)據(jù)，實(shí)現(xiàn)對(duì)異構(gòu)數(shù)據(jù)模型字段間映射關(guān)系的描述，使得該基于映射關(guān)系的數(shù)據(jù)庫(kù)之間的數(shù)據(jù)轉(zhuǎn)換得到靈活實(shí)現(xiàn)。

4 實(shí)現(xiàn)實(shí)例

圖2是基于元模型驅(qū)動(dòng)為物品交易領(lǐng)域提出的異構(gòu)數(shù)據(jù)管理解決方案。隨著社會(huì)的推進(jìn)，共享數(shù)據(jù)對(duì)于各大企業(yè)十分重要，尤其是對(duì)同一領(lǐng)域的各大企業(yè)間的數(shù)據(jù)交流。但是各個(gè)企業(yè)間的數(shù)據(jù)存在多元異構(gòu)的特性，于是我們?cè)O(shè)計(jì)一個(gè)可以讓多元異構(gòu)數(shù)據(jù)實(shí)現(xiàn)統(tǒng)一的web服務(wù)平臺(tái)。該服務(wù)平臺(tái)同過(guò)模型驅(qū)動(dòng)實(shí)現(xiàn)建模，搭建速度快，同時(shí)保證了系統(tǒng)的正確性和靈活性。同時(shí)將一個(gè)建模系統(tǒng)設(shè)計(jì)成分離式管理，降低開(kāi)發(fā)難度。滿足了當(dāng)下企業(yè)的需求。通過(guò)此平臺(tái)我們也驗(yàn)證了通過(guò)元模型驅(qū)動(dòng)可對(duì)多源異構(gòu)數(shù)據(jù)的統(tǒng)一。下圖為系統(tǒng)體系結(jié)構(gòu)圖。

5 結(jié)束語(yǔ)

該文提出的基于元模型驅(qū)動(dòng)對(duì)異構(gòu)數(shù)據(jù)源進(jìn)行建模，解決了數(shù)據(jù)異構(gòu)和數(shù)據(jù)標(biāo)準(zhǔn)化不足的問(wèn)題，但是研究還存在許多需要進(jìn)一步研究和解決的問(wèn)題，這也是下一步需要研究的內(nèi)容：映射規(guī)則必須手工完成，這導(dǎo)致系統(tǒng)的在映射靈活性不強(qiáng)。必須人工干預(yù)。

參考文獻(xiàn)：

[1] 劉金晶， 曹文潔. 基于本體論的多源異構(gòu)數(shù)據(jù)集成方法研究[J]. 軟件導(dǎo)刊， 2018， 17（3）： 198-200.

[2] 鮑亮， 陳平. 基于插件技術(shù)的異構(gòu)數(shù)據(jù)集成[J]. 計(jì)算機(jī)工程， 2006（20）： 86-88.

[3] 劉云漢. 基于Web Service的異構(gòu)數(shù)據(jù)集成平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J]. 電腦知識(shí)與技術(shù)， 2017， 13（30）： 19-22.

[4] 李海峰， 吳慧中. 元模型驅(qū)動(dòng)的產(chǎn)品生命周期管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 計(jì)算機(jī)集成制造系統(tǒng)， 2005（7）： 963-968.

[5] 宋旭東， 閆曉嵐， 劉曉冰， 等. 數(shù)據(jù)倉(cāng)庫(kù)ETL元模型設(shè)計(jì)[J]. 計(jì)算機(jī)仿真， 2010， 27（9）： 106-108， 119.

[6] 周芳， 文必龍， 王守信，等. 基于元元模型的多維元數(shù)據(jù)管理研究與實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程與設(shè)計(jì)， 2006（10）： 1797-1799， 1804.

[7] 苗立志， 張書(shū)亮， 閭國(guó)年. 通用映射模式下GML關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)研究[J]. 計(jì)算機(jī)應(yīng)用研究， 2009， 26（11）： 4124-4127.

[8] 陳大軍. 移動(dòng)數(shù)字圖書(shū)館平臺(tái)的研究與設(shè)計(jì)[D]. 大連： 大連理工大學(xué)， 2015.