上海煤炭交易所(以下統(tǒng)稱“煤交所”)作為我國(guó)唯一一家國(guó)家級(jí)煤炭交易所,隨著業(yè)務(wù)的發(fā)展,煤交所內(nèi)外部結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)激增。數(shù)據(jù)來(lái)源多樣且復(fù)雜,加之煤交所沒(méi)有統(tǒng)一的數(shù)據(jù)管理平臺(tái),系統(tǒng)之間的數(shù)據(jù)交互工具也是多種多樣,非常依賴人工維護(hù),尤其在發(fā)生人員變動(dòng)時(shí),數(shù)據(jù)管理就會(huì)存在缺口。
因此,煤交所迫切需要性能好、效率高的數(shù)據(jù)集成工具,去提升數(shù)據(jù)抽取、轉(zhuǎn)換和加載性能,搭建起統(tǒng)一的數(shù)據(jù)管理平臺(tái)去滿足現(xiàn)有數(shù)據(jù)管理需求,進(jìn)而更好地為業(yè)務(wù)服務(wù)。
這樣的背景下,作為一款核心數(shù)據(jù)整合引擎,Informatica 數(shù)據(jù)集成平臺(tái)很好地解決了煤交所的問(wèn)題,實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)的統(tǒng)一采集、抽取和清洗,消除了信息孤島,實(shí)現(xiàn)了數(shù)據(jù)共享。且其整個(gè)過(guò)程完全自動(dòng)化,只需少量的運(yùn)維工作,在節(jié)省人力成本的同時(shí),確保了數(shù)據(jù)管理的連續(xù)性不會(huì)因?yàn)槿藛T變動(dòng)而產(chǎn)生影響。
通過(guò)Informatica實(shí)現(xiàn)多元化數(shù)據(jù)整合
在數(shù)據(jù)環(huán)境復(fù)雜、多樣的環(huán)境下,Informatica數(shù)據(jù)集成平臺(tái)提供了廣泛的跨平臺(tái)覆蓋能力,包括元數(shù)據(jù)管理、調(diào)度管理、安全管理與監(jiān)控、異常管理等,可以快速響應(yīng)和部署,實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一管理和分析,提高數(shù)據(jù)處理的效率和準(zhǔn)確性,實(shí)現(xiàn)可控的數(shù)據(jù)管理和維護(hù)。
Informatica產(chǎn)品能夠?qū)Ω飨到y(tǒng)之間的數(shù)據(jù)進(jìn)行梳理、集成與整合,實(shí)現(xiàn)了跨系統(tǒng)的數(shù)據(jù)采集,降低了數(shù)據(jù)抽取的復(fù)雜性。該數(shù)據(jù)管理平臺(tái)可支持各種主要數(shù)據(jù)庫(kù)類型,從SQLServer、Oracle到網(wǎng)上數(shù)據(jù),支持多種格式的數(shù)據(jù)源,適用于煤交所的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理和管理,并把這些不同來(lái)源、格式、特點(diǎn)性質(zhì)的數(shù)據(jù)有機(jī)整合起來(lái),解決了煤交所數(shù)據(jù)環(huán)境多樣性的難題。通過(guò)提供數(shù)據(jù)整合服務(wù),Informatica 數(shù)據(jù)集成平臺(tái)實(shí)現(xiàn)了完整跨平臺(tái)、跨系統(tǒng)的數(shù)據(jù)統(tǒng)一集中管理?,F(xiàn)在,各種取數(shù)和報(bào)表不需要到業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)中直接抽取,生成復(fù)雜報(bào)表的時(shí)間大為縮減。同時(shí),統(tǒng)一的數(shù)據(jù)平臺(tái)對(duì)于報(bào)表制作人員來(lái)說(shuō),也不再需要了解各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)結(jié)構(gòu),只需借助圖形化的界面,通過(guò)拖拽就能實(shí)現(xiàn)場(chǎng)景化應(yīng)用,其使用門檻大大降低。
此外,Informatica 數(shù)據(jù)集成平臺(tái)作為一個(gè)分布式、可擴(kuò)展的平臺(tái),可以實(shí)現(xiàn)與現(xiàn)有業(yè)務(wù)系統(tǒng)的集成,獨(dú)立性強(qiáng),即使面對(duì)最為復(fù)雜的數(shù)據(jù)環(huán)境也能及時(shí)、準(zhǔn)確、經(jīng)濟(jì)有效地完成數(shù)據(jù)共享任務(wù),完全保證了業(yè)務(wù)連續(xù)性。
數(shù)據(jù)治理分兩步走
通過(guò)引入Informatica數(shù)據(jù)集成平臺(tái),煤交所實(shí)現(xiàn)了數(shù)據(jù)的統(tǒng)一集中管理,讓數(shù)據(jù)管理流程更加穩(wěn)定和常態(tài)化,為未來(lái)的數(shù)據(jù)治理打下良好基礎(chǔ)。在煤交所看來(lái),數(shù)據(jù)治理是每個(gè)企業(yè)都要做的工作,一般來(lái)說(shuō),數(shù)據(jù)治理可以分兩步走:首先是確保數(shù)據(jù)管理工作的正常運(yùn)轉(zhuǎn),提高效率的同時(shí)降低成本;其次要規(guī)范數(shù)據(jù)管理流程,減少信息泄露等風(fēng)險(xiǎn),整體上提升數(shù)據(jù)治理能力。
通過(guò)Informatica數(shù)據(jù)集成平臺(tái),煤交所在三個(gè)層次都有所受益:首先,是效率的提升,自動(dòng)化數(shù)據(jù)處理流程大大提升數(shù)據(jù)抽取效率,為進(jìn)一步通過(guò)數(shù)據(jù)深度挖掘來(lái)指導(dǎo)業(yè)務(wù)發(fā)展、提供決策支持打下基礎(chǔ);其次,降低了運(yùn)維成本,減少了對(duì)人力的依賴,大大降低管理成本和運(yùn)維成本,幾乎不需要人工維護(hù);最后,構(gòu)建起一個(gè)有效的數(shù)據(jù)管理平臺(tái),促進(jìn)各系統(tǒng)業(yè)務(wù)聯(lián)動(dòng)發(fā)展和創(chuàng)新。當(dāng)不同業(yè)務(wù)部門需要數(shù)據(jù)及服務(wù)時(shí),可以隨取隨用,簡(jiǎn)化和規(guī)范了數(shù)據(jù)管理流程,進(jìn)一步提升了企業(yè)的數(shù)據(jù)治理水平。