案例亮點

“海王星”系統(tǒng)是寧波銀行圍繞大數(shù)據(jù)平臺，結合數(shù)據(jù)倉庫實施方法論，通過模型設計創(chuàng)新、配套工具開發(fā)、管理精細化等一系列措施，并結合企業(yè)級數(shù)據(jù)管理與治理，落地大數(shù)據(jù)平臺數(shù)據(jù)倉庫的整體解決方案。

1.海量批處理和高速流處理，集成了Hadoop、Kafka、Storm、Spark、Impala等計算框架和HDFS、HBase、Kudu等數(shù)據(jù)存儲服務，有效的做到海量批處理和高速流處理。

2.便捷的開發(fā)平臺，支持標準化SQL，極大提高了開發(fā)效率，同時為傳統(tǒng)數(shù)據(jù)開發(fā)人員轉換平臺提供了平滑過渡。

3.一站式投產(chǎn)運維平臺，萃取了我們在數(shù)據(jù)類項目上的理念和經(jīng)驗，形成一套標準化的項目管理規(guī)范和流程，涵蓋開發(fā)、配置、投產(chǎn)、運維等規(guī)環(huán)節(jié)，為用戶提供可視化操作。

4.統(tǒng)一高效的調(diào)度平臺，將業(yè)務鏈條中的各個環(huán)節(jié)和相互之間的關系，映射成原子單位的任務，對任務的調(diào)度與執(zhí)行進行綜合性管理。

5.系統(tǒng)化的數(shù)據(jù)質量管理平臺，基于PDCA思想，通過四大階段關注質量問題形成過程及質量結果的持續(xù)改進，形成閉環(huán)流程，對數(shù)據(jù)質量進行動態(tài)性管理。

6.大數(shù)據(jù)平臺模型設計方法論，根據(jù)Hadoop技術特定，建立大數(shù)據(jù)技術下模型設計方法論、標準化的數(shù)據(jù)處理算法、自動化工具等，構建高品質的大數(shù)據(jù)倉庫模型。

案例背景

隨著大數(shù)據(jù)及互聯(lián)網(wǎng)金融時代的來臨，銀行的數(shù)據(jù)管理應用已從主要為經(jīng)營管理分析服務逐漸拓展到營銷管理、風險管理、客戶管理等領域。銀行內(nèi)外數(shù)據(jù)從量級到類型逐步豐富，對傳統(tǒng)數(shù)據(jù)倉庫的處理能力與架構提出了諸多的挑戰(zhàn)。傳統(tǒng)商業(yè)銀行數(shù)據(jù)倉庫解決方案面臨的挑戰(zhàn)主要表現(xiàn)為：

1.架構封閉，難以完全實現(xiàn)自主掌控，無法滿足監(jiān)管要求；

2.成本高昂，隨著利率市場化的推進，IT成本控制壓力逐步增加；

3.性能壓力，隨著業(yè)務發(fā)展、數(shù)據(jù)增長，對性能的需求也在同步增長；

4.應用瓶頸，大數(shù)據(jù)時代需要滿足多元的數(shù)據(jù)應用，諸如實時流處理、全文搜索等，這是傳統(tǒng)數(shù)據(jù)倉庫解決方案所無法提供的；

5.持續(xù)運營，由于平臺的高度封閉性，在后續(xù)的運營維護上，存在對國外廠商的高度依賴。