王德勝++李弘++田佳燁

摘要：本文研究了ETL相關(guān)技術(shù)，并針對(duì)出版行業(yè)的現(xiàn)狀和應(yīng)用需求，提出了面向出版行業(yè)的數(shù)據(jù)抽取及交換工具設(shè)計(jì)方案和實(shí)現(xiàn)方法，通過.NET開發(fā)工具和C#開發(fā)語言開發(fā)了一套可靈活定義的工具，在多家出版單位進(jìn)行了應(yīng)用，取得了良好的效果。

關(guān)鍵詞：數(shù)據(jù)抽?。粩?shù)據(jù)交換；數(shù)字出版；商業(yè)智能

中圖分類號(hào)：TP311.13

文獻(xiàn)標(biāo)識(shí)碼：A

DOI： 10.3969/j.issn.1003-6970.2015.08.008

0 引言

出版商業(yè)智能系統(tǒng)是面向出版單位的綜合數(shù)據(jù)分析系統(tǒng)，該系統(tǒng)基于出版企業(yè)各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行綜合分析，另一方面，出版企業(yè)各業(yè)務(wù)系統(tǒng)之間也需要進(jìn)行數(shù)據(jù)交換。由于出版企業(yè)采用不同公司提供的業(yè)務(wù)系統(tǒng)，各業(yè)務(wù)系統(tǒng)采用不同的數(shù)據(jù)庫，應(yīng)用較廣泛的有SQL Server、Oracle，少量有采用MySQL等其它類型數(shù)據(jù)庫，另外還有許多的外部數(shù)據(jù)以Excel、TXT、XML等文件方式存儲(chǔ)，本文針對(duì)出版行業(yè)的現(xiàn)狀和應(yīng)用需求，研究了通用的商業(yè)智能系統(tǒng)ETL工具的數(shù)據(jù)抽取、轉(zhuǎn)換和加載相關(guān)技術(shù)，提出了面向出版行業(yè)的數(shù)據(jù)抽取及交換工具設(shè)計(jì)方案和實(shí)現(xiàn)方法，通過.NET開發(fā)工具和C#開發(fā)語言開發(fā)了一套工具。

1 ETL技術(shù)綜述

ETL即數(shù)據(jù)抽取、轉(zhuǎn)換清洗、加載的過程，能夠按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價(jià)值，是數(shù)據(jù)倉庫獲取高質(zhì)量數(shù)據(jù)的關(guān)鍵環(huán)節(jié)，是從數(shù)據(jù)源獲取數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行清洗轉(zhuǎn)換最終加載到數(shù)據(jù)倉庫的過程，是數(shù)據(jù)由數(shù)據(jù)源系統(tǒng)向目標(biāo)數(shù)據(jù)源加載的主要方法。ETL工具從本質(zhì)上而言是一種數(shù)據(jù)轉(zhuǎn)換工具，一般ETL工具還會(huì)設(shè)計(jì)任務(wù)管理和調(diào)度引擎。

1.1 數(shù)據(jù)抽取

數(shù)據(jù)抽取是按業(yè)務(wù)需求從源數(shù)據(jù)從數(shù)據(jù)源系統(tǒng)抽取數(shù)據(jù)倉庫系統(tǒng)所需的數(shù)據(jù)[錯(cuò)誤！未定義書簽。]，ETL處理的數(shù)據(jù)源除了關(guān)系數(shù)據(jù)庫外，還可能是文檔，例如TXT、Excel、XML等文件數(shù)據(jù)，這要求抽取工具采用統(tǒng)一的數(shù)據(jù)接口，既滿足從數(shù)據(jù)庫抽取數(shù)據(jù)的需求，也可以滿足從文文本件抽取的需求。對(duì)于不同數(shù)據(jù)源、不同數(shù)據(jù)量的源數(shù)據(jù)以及不同性能要求的業(yè)務(wù)系統(tǒng)，采用的實(shí)現(xiàn)方式不同。一般的抽取方式包括全量抽取、增量抽取、全表比對(duì)、日志比較等，為保證抽取效率，減少對(duì)生產(chǎn)運(yùn)營(yíng)的影響，可針對(duì)不同的情況選用不同的抽取方式。

1.2 數(shù)據(jù)清洗轉(zhuǎn)換

從數(shù)據(jù)源中抽取的數(shù)據(jù)不一定完全滿足目的庫的要求，例如數(shù)據(jù)格式的不一致、數(shù)據(jù)輸入錯(cuò)誤、數(shù)據(jù)不完整等等，數(shù)據(jù)轉(zhuǎn)換就是完成對(duì)抽取的源數(shù)據(jù)根據(jù)數(shù)據(jù)倉庫系統(tǒng)或目標(biāo)數(shù)據(jù)庫的要求，進(jìn)行數(shù)據(jù)的轉(zhuǎn)換、清洗、拆分、匯總等，保證來自不同系統(tǒng)、不同格式的數(shù)據(jù)和信息具有一致性和完整性，并按要求裝入目標(biāo)數(shù)據(jù)庫。一般數(shù)據(jù)轉(zhuǎn)換可通過源數(shù)據(jù)與目標(biāo)數(shù)據(jù)的映射關(guān)系來完成，其轉(zhuǎn)換規(guī)則可定義在映射表中，轉(zhuǎn)換工具根據(jù)定義的規(guī)則進(jìn)行轉(zhuǎn)換。轉(zhuǎn)換工具可直接采用SQL語句的方式和轉(zhuǎn)換組件的方式進(jìn)行轉(zhuǎn)換。比較而言，直接在SQL語句中進(jìn)行轉(zhuǎn)換和加工更加簡(jiǎn)單清晰，性能更高，但一般要求操作的數(shù)據(jù)是關(guān)系型數(shù)據(jù)庫。對(duì)于SQL語句無法處理的可以采用組件的方式處理。

1.3 數(shù)據(jù)加載

將清洗轉(zhuǎn)換后的數(shù)據(jù)加載到目的庫中通常是ETL過程的最后步驟，當(dāng)目的庫是關(guān)系數(shù)據(jù)庫時(shí)，直接通過SQL語句進(jìn)行insert、update、delete操作。目的數(shù)據(jù)源是文件格式如XML、Excel、TXT等文件時(shí)，可通過轉(zhuǎn)換工具根據(jù)映射表的設(shè)置轉(zhuǎn)換成要求的文件。

2 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

2.1 設(shè)計(jì)思想

ETL設(shè)計(jì)與開發(fā)，需深入到業(yè)務(wù)系統(tǒng)內(nèi)部去獲取所需數(shù)據(jù)，需定義源數(shù)據(jù)、目標(biāo)數(shù)據(jù)，數(shù)據(jù)抽取、轉(zhuǎn)換和裝載策略等。參考ETL設(shè)計(jì)開發(fā)的基本要求，本文對(duì)系統(tǒng)進(jìn)行了整體設(shè)計(jì)，下文介紹主要設(shè)計(jì)思想。

數(shù)據(jù)交換的過程如圖1所示，系統(tǒng)設(shè)計(jì)了三種數(shù)據(jù)交換方式：

為提高數(shù)據(jù)交換的性能，對(duì)于源數(shù)據(jù)和目標(biāo)數(shù)據(jù)都是關(guān)系型數(shù)據(jù)庫的情況，可以直接運(yùn)用SQL語句的方式進(jìn)行數(shù)據(jù)交換。

一般數(shù)據(jù)可通過系統(tǒng)的轉(zhuǎn)換工具進(jìn)行數(shù)據(jù)轉(zhuǎn)換后直接寫入目標(biāo)數(shù)據(jù)源。

復(fù)雜轉(zhuǎn)換需要經(jīng)過中間數(shù)據(jù)表暫存數(shù)據(jù)，通過對(duì)中間表的清洗轉(zhuǎn)換處理后再加載到目標(biāo)數(shù)據(jù)源。

系統(tǒng)采用靈活定義的方式解決各種情況下的數(shù)據(jù)交換需求，包括各種類型數(shù)據(jù)庫連接的定義、源數(shù)據(jù)與目標(biāo)數(shù)據(jù)的映射關(guān)系定義、數(shù)據(jù)清洗轉(zhuǎn)換規(guī)則定義，系統(tǒng)提供可視操作界面并將定義的結(jié)果保存到數(shù)據(jù)庫表中，整個(gè)程序?qū)⒁罁?jù)各種定義進(jìn)行分別處理，完成數(shù)據(jù)抽取、轉(zhuǎn)換及加載的各項(xiàng)功能。

為了更方便用戶操作各項(xiàng)數(shù)據(jù)交換任務(wù)，系統(tǒng)提供了作業(yè)調(diào)度管理的功能，系統(tǒng)按照調(diào)度計(jì)劃、作業(yè)組、作業(yè)的層次關(guān)系進(jìn)行管理，以作業(yè)為最小的操作單元，作業(yè)組可包含作業(yè)和其他作業(yè)組，一項(xiàng)調(diào)度計(jì)劃可包含多項(xiàng)作業(yè)組和作業(yè)，對(duì)作業(yè)、作業(yè)組和調(diào)度計(jì)劃系統(tǒng)提供界面由用戶根據(jù)實(shí)際應(yīng)用需要定義。系統(tǒng)將針對(duì)調(diào)度計(jì)劃采用隊(duì)列掃描的方式執(zhí)行每一項(xiàng)作業(yè)。

為適應(yīng)不同類型的數(shù)據(jù)庫，系統(tǒng)按照分層設(shè)計(jì)的理念對(duì)數(shù)據(jù)庫的訪問處理封裝為一層，在程序處理時(shí)將根據(jù)不同的數(shù)據(jù)庫做出不同的處理。根據(jù)出版行業(yè)實(shí)際情況目前系統(tǒng)提供了對(duì)SQL Server、My SQL、Oracle的支持，支持Excel、TXT和XML文件。該設(shè)計(jì)提供了良好的可擴(kuò)展性，對(duì)該層代碼進(jìn)行擴(kuò)充即可適應(yīng)更多類型的數(shù)據(jù)庫。

系統(tǒng)選用.NET集成開發(fā)工具，C#開發(fā)語言進(jìn)行開發(fā)實(shí)現(xiàn)。系統(tǒng)采用三層架構(gòu)，包括UI層、業(yè)務(wù)邏輯層和數(shù)據(jù)層，此種設(shè)計(jì)保證系統(tǒng)具備良好的可擴(kuò)展性。

2.2 數(shù)據(jù)庫連接

用戶對(duì)數(shù)據(jù)庫連接屬性定義，可定義各種數(shù)據(jù)源的連接屬性，支持SQL Server、My SQL、Oracle等關(guān)系型數(shù)據(jù)庫的連接，定義的項(xiàng)目包括標(biāo)識(shí)、服務(wù)器地址、數(shù)據(jù)庫名稱、用戶名、密碼等。系統(tǒng)將根據(jù)用戶的定義信息動(dòng)態(tài)創(chuàng)建數(shù)據(jù)源連接對(duì)象，該連接對(duì)象既可以作為源數(shù)據(jù)庫也可以作為目標(biāo)數(shù)據(jù)庫。

2.3 數(shù)據(jù)映射關(guān)系

數(shù)據(jù)映射關(guān)系定義了抽取和轉(zhuǎn)換的規(guī)則，即數(shù)據(jù)源表中的數(shù)據(jù)字段與目標(biāo)庫表中的對(duì)應(yīng)關(guān)系定義，映射關(guān)系采用主子表結(jié)構(gòu)進(jìn)行定義，主表中需要從已定義的數(shù)據(jù)庫連接中選擇目標(biāo)表數(shù)據(jù)源連接和源數(shù)據(jù)表連接、是否根據(jù)源數(shù)據(jù)表結(jié)構(gòu)創(chuàng)建目標(biāo)表，子表定義相關(guān)表字段的對(duì)應(yīng)關(guān)系及轉(zhuǎn)換規(guī)則。

系統(tǒng)提供可視化界面方便用戶建立源數(shù)據(jù)到目標(biāo)數(shù)據(jù)的抽取映射關(guān)系。為方便用戶選擇，可直接通過源數(shù)據(jù)中提取源數(shù)據(jù)表和目標(biāo)數(shù)據(jù)中提取對(duì)應(yīng)庫表中的表及字段供用戶選擇，用戶直接選擇對(duì)應(yīng)關(guān)系，定義轉(zhuǎn)換規(guī)則，也可以直接輸入表中的字段名建立對(duì)應(yīng)關(guān)系，定義完成后的映射關(guān)系和轉(zhuǎn)換規(guī)則保存到映射關(guān)系到表中。系統(tǒng)將根據(jù)定義的映射關(guān)系完成抽取、轉(zhuǎn)換和加載。

2.4 復(fù)雜的清洗轉(zhuǎn)換處理

對(duì)于復(fù)雜的數(shù)據(jù)轉(zhuǎn)換，需要由源數(shù)據(jù)抽取到中間庫表，此時(shí)可將中間表看作目標(biāo)數(shù)據(jù)源，經(jīng)過專門的清洗轉(zhuǎn)換處理，形成與目標(biāo)數(shù)據(jù)庫一致的數(shù)據(jù)，再定義一個(gè)由中間庫表到目標(biāo)數(shù)據(jù)的映射關(guān)系，即將中間數(shù)據(jù)庫看作源數(shù)據(jù)，將規(guī)范的數(shù)據(jù)由中間表加載到目標(biāo)數(shù)據(jù)的表中。

為完成專門的清洗轉(zhuǎn)換處理，用戶可通過系統(tǒng)提供的可視化工具進(jìn)行清洗轉(zhuǎn)換定義，支持SQL語句更新的方式進(jìn)行數(shù)據(jù)清洗和轉(zhuǎn)換，用戶可定義更新的表、更新的字段、更新的條件，提供了對(duì)統(tǒng)計(jì)、計(jì)算、類型轉(zhuǎn)換、字符串拆分處理等基本處理功能，針對(duì)出版行業(yè)的需求提供了標(biāo)準(zhǔn)書號(hào)與簡(jiǎn)書號(hào)轉(zhuǎn)換等特色的轉(zhuǎn)換功能，系統(tǒng)將根據(jù)用戶定義的清洗轉(zhuǎn)換規(guī)則進(jìn)行轉(zhuǎn)換處理。系統(tǒng)同時(shí)支持用戶直接寫SQL語句進(jìn)行清洗轉(zhuǎn)換，更復(fù)雜的處理通過二次開發(fā)的方式解決。

2.5作業(yè)管理

作業(yè)管理是整個(gè)數(shù)據(jù)抽取與交換軟件的核心，作業(yè)是指一個(gè)完整的操作過程，作業(yè)管理包括作業(yè)定義和執(zhí)行，系統(tǒng)可分三類作業(yè)，對(duì)于一項(xiàng)作業(yè)，首選作業(yè)類型，系統(tǒng)將根據(jù)不同的作業(yè)類型進(jìn)行分別處理。

直接執(zhí)行SQL語句。

直接執(zhí)行SQL語，只能針對(duì)于關(guān)系型數(shù)據(jù)庫，作業(yè)定義時(shí)，首先選擇一個(gè)數(shù)據(jù)源，定義SQL語句，用戶可以直接輸入SQL語句，也可以通過系統(tǒng)提供的SQL編輯工具進(jìn)行添加，一個(gè)任務(wù)可以添加多個(gè)SQL語句。

通過映射關(guān)系定義由一個(gè)數(shù)據(jù)庫抽取數(shù)據(jù)到另外一個(gè)數(shù)據(jù)庫的庫表中。

任務(wù)定義時(shí)，首先需要選擇已定義好的映射關(guān)系表，同時(shí)需定義目標(biāo)數(shù)據(jù)獲取時(shí)所使用的條件，設(shè)置對(duì)比標(biāo)識(shí)列（一般為表的唯一標(biāo)識(shí)列，可以是復(fù)合字段），同時(shí)可設(shè)置操作是完全添加、增量更新、是否反向刪除等抽取方式。如果輸出為文件類型，需定義輸出位置，文件命名規(guī)則，EXCEL、XML樣式等信息。

通過轉(zhuǎn)換清洗規(guī)則在中間庫進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理。

系統(tǒng)根據(jù)用戶定義的清洗規(guī)則，自動(dòng)轉(zhuǎn)換為可執(zhí)行的SQL語句執(zhí)行該項(xiàng)作業(yè)。

系統(tǒng)支持作業(yè)組，可將相關(guān)或功能相近多個(gè)作業(yè)定義到一個(gè)集合中?？梢赃x擇一批作業(yè)或作業(yè)組組成一個(gè)新的集合，其中每個(gè)子項(xiàng)可以有任意下屬子項(xiàng)，子項(xiàng)可以為作業(yè)也可以為作業(yè)組，但在作業(yè)組包含其他作業(yè)組時(shí)應(yīng)慎重使用避免死循環(huán)。系統(tǒng)將保存作業(yè)組標(biāo)識(shí)，作業(yè)組描述信息，關(guān)聯(lián)的作業(yè)或作業(yè)組及執(zhí)行順序。

2.6 調(diào)度計(jì)劃

調(diào)度計(jì)劃是實(shí)現(xiàn)作業(yè)或作業(yè)組自動(dòng)化運(yùn)行的一種方式，設(shè)置什么時(shí)間點(diǎn)來處理什么信息的一種定義。一個(gè)調(diào)度計(jì)劃包括一組作業(yè)或作業(yè)組，系統(tǒng)將以調(diào)度計(jì)劃為單位進(jìn)行調(diào)度管理?？稍O(shè)置一項(xiàng)調(diào)度計(jì)劃是否啟用，是自動(dòng)執(zhí)行還是手動(dòng)執(zhí)行，對(duì)于自動(dòng)執(zhí)行的調(diào)度計(jì)劃，提供可視化界面設(shè)置調(diào)度計(jì)劃的運(yùn)行開始時(shí)間、運(yùn)行周期，來實(shí)現(xiàn)作業(yè)或作業(yè)組自動(dòng)化運(yùn)行的定義，參見圖2。

如果配置為自動(dòng)運(yùn)行，系統(tǒng)在程序啟動(dòng)時(shí)會(huì)自動(dòng)加載設(shè)置為啟用的調(diào)度計(jì)劃，根據(jù)計(jì)劃運(yùn)行頻率算出每個(gè)作業(yè)下次運(yùn)行時(shí)間，自動(dòng)啟動(dòng)運(yùn)行線程，系統(tǒng)將不斷掃描是否有需要自動(dòng)運(yùn)行的任務(wù)，如果運(yùn)行時(shí)間相等則將調(diào)度編號(hào)推送到運(yùn)行隊(duì)列表中，由另一線程掃描運(yùn)行。系統(tǒng)根據(jù)調(diào)度計(jì)劃定義信息.調(diào)度中包含的作業(yè)組，作業(yè)定義信息，作業(yè)定義包含的抽取規(guī)則、映射關(guān)系等按照作業(yè)的順序自動(dòng)運(yùn)行，運(yùn)行結(jié)果將寫入日志文件。程序邏輯如圖3所示：

程序啟動(dòng)，主線程自動(dòng)掃描調(diào)度定義，每間隔一段時(shí)間掃描當(dāng)前時(shí)間等于下次運(yùn)行時(shí)間的調(diào)度，將時(shí)間相等的調(diào)度放人到調(diào)度作業(yè)隊(duì)列中。

作業(yè)執(zhí)行線程每間隔一秒掃描調(diào)度作業(yè)隊(duì)列，如果有執(zhí)行的調(diào)度，將調(diào)度編號(hào)傳人到調(diào)度執(zhí)行類中。

調(diào)度執(zhí)行類加載調(diào)度信息，加載調(diào)度下屬所包含的作業(yè)或作業(yè)組，如果為作業(yè)組則循環(huán)加載作業(yè)組下屬子項(xiàng)，如是作業(yè)則執(zhí)行該項(xiàng)作業(yè)。

作業(yè)執(zhí)行：加載作業(yè)信息，判斷作業(yè)類型分別執(zhí)行。

①如果執(zhí)行SQL，先加載目標(biāo)數(shù)據(jù)源連接，順次執(zhí)行所包含的SQL腳本。同時(shí)記錄腳本執(zhí)行狀態(tài)。

②通過映射關(guān)系定義執(zhí)行數(shù)據(jù)交換，先加載作業(yè)所包含的源數(shù)據(jù)源定義連接，根據(jù)源數(shù)據(jù)定義及作業(yè)中加載獲取源數(shù)據(jù)，根據(jù)目標(biāo)數(shù)據(jù)定義及作業(yè)中定義的目標(biāo)數(shù)據(jù)條件加載目標(biāo)數(shù)據(jù)，根據(jù)條件比對(duì)、更新、插入的列生成數(shù)據(jù)表。根據(jù)定義，如果目標(biāo)庫為關(guān)系型數(shù)據(jù)對(duì)內(nèi)存表執(zhí)行添加、更新、或反向刪除操作，如果目標(biāo)庫為文件類型，則據(jù)規(guī)則輸出TXT、EXCEL、XML。

③根據(jù)用戶定義的轉(zhuǎn)換清洗規(guī)則，自動(dòng)轉(zhuǎn)換為SQL語句，在中間庫進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理。

記錄日志：將作業(yè)的運(yùn)行時(shí)間，各個(gè)環(huán)節(jié)狀態(tài)記錄到日志表中，如果執(zhí)行出錯(cuò)，系統(tǒng)將錯(cuò)誤記錄到日志中，同時(shí)事務(wù)回滾。

3 結(jié)束語

針對(duì)不同數(shù)據(jù)庫類型的數(shù)據(jù)交換的應(yīng)用需求，本文設(shè)計(jì)的系統(tǒng)通過可視化界面為用戶提供靈活的定制功能，包括數(shù)據(jù)庫連接的定義、數(shù)據(jù)轉(zhuǎn)換所需要的源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的連接選取、源數(shù)據(jù)表列與目標(biāo)數(shù)據(jù)表列的映射和轉(zhuǎn)換規(guī)則，對(duì)復(fù)雜的清洗轉(zhuǎn)換處理采用在中間庫表中由用戶進(jìn)行自由定義規(guī)則的處理方法，通過靈活定義的方式保證系統(tǒng)具有較強(qiáng)的適應(yīng)性。同時(shí)用戶可通過對(duì)調(diào)度計(jì)劃、作業(yè)組、作業(yè)靈活定義的方式實(shí)現(xiàn)各種需求的作業(yè)和調(diào)度管理功能。該系統(tǒng)可滿足各種不同的數(shù)據(jù)抽取、轉(zhuǎn)換、加載的應(yīng)用需求。

系統(tǒng)在電子工業(yè)出版社、浙江出版聯(lián)合集團(tuán)有限公司及其下屬出版社等單位進(jìn)行了應(yīng)用，主要用途包括在不同的業(yè)務(wù)系統(tǒng)間自動(dòng)交換數(shù)據(jù)，與企業(yè)外部系統(tǒng)交換數(shù)據(jù)，作為出版商業(yè)智能軟件的數(shù)據(jù)抽取工具將各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)集中到數(shù)據(jù)倉庫中。隨著數(shù)字出版業(yè)務(wù)的發(fā)展，海量的、多媒體化的數(shù)字內(nèi)容加工、處理、轉(zhuǎn)換、存儲(chǔ)、分發(fā)、傳播和不間斷的網(wǎng)絡(luò)服務(wù)不斷增多，同時(shí)對(duì)全球化的、超大規(guī)模的用戶數(shù)據(jù)進(jìn)行分析、挖掘和推薦等智能性處理的需求也伴隨著商業(yè)模式的創(chuàng)新而日益膨脹，本文設(shè)計(jì)的系統(tǒng)作為基礎(chǔ)的數(shù)據(jù)交換工具為這類應(yīng)用提供支撐，并且在我們承擔(dān)的國(guó)家科技支撐計(jì)劃課題“動(dòng)態(tài)數(shù)字出版技術(shù)應(yīng)用與運(yùn)營(yíng)示范”（2012BAH88F04）也得到了良好應(yīng)用。