大數(shù)據(jù)時代來臨。繼物聯(lián)網(wǎng)、云計算之后,“大數(shù)據(jù)”已迅速成為信息化技術(shù)發(fā)展的主流,各行業(yè)對大數(shù)據(jù)技術(shù)的應(yīng)用也漸呈白熱化狀態(tài)。如何更方便地管理大數(shù)據(jù),如何更快速地將大數(shù)據(jù)技術(shù)應(yīng)用到企業(yè)業(yè)務(wù)中,如何更有效地實現(xiàn)企業(yè)大數(shù)據(jù)的價值,成為了各大企業(yè)爭相競逐的熱點。
賽思信安憑借在海量數(shù)據(jù)技術(shù)領(lǐng)域的多年積累,推出了Scistor dataFusion(賽思大數(shù)據(jù)管理平臺),可滿足各類企業(yè)級用戶大數(shù)據(jù)應(yīng)用中的如下需求:對結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行快速整合和統(tǒng)一管理,支撐PB級數(shù)據(jù)存儲管理;對海量數(shù)據(jù)進(jìn)行多語義高速檢索;對文本數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)進(jìn)行統(tǒng)一檢索和統(tǒng)計分析;對Hadoop平臺和傳統(tǒng)關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析;實現(xiàn)操作可視化、數(shù)據(jù)可視化;構(gòu)建跨地域多數(shù)據(jù)中心,實現(xiàn)多數(shù)據(jù)中心的統(tǒng)一管理和訪問。
Scistor dataFusion是一個基于分布式框架,采用并行處理技術(shù),對外提供大容量數(shù)據(jù)存儲、多源數(shù)據(jù)整合、數(shù)據(jù)即時檢索、數(shù)據(jù)離線分析、海量小文件管理、內(nèi)存分析的大數(shù)據(jù)管理平臺,具有高性能、高可靠性、高性價比等特性,適合各類企業(yè)級用戶根據(jù)自身業(yè)務(wù)模式構(gòu)建高可用的大數(shù)據(jù)一體化管理平臺,輕松駕馭大數(shù)據(jù)。
強大的數(shù)據(jù)管理能力
Scistor dataFusion具有以下特點:它支持在線擴(kuò)展/縮減節(jié)點,支持異構(gòu)多源數(shù)據(jù)PB級存儲;集群有效整合內(nèi)存計算框架,實現(xiàn)毫秒級響應(yīng),集群每秒可處理百GB數(shù)據(jù),加載能力可達(dá)千萬條/秒;支持?jǐn)?shù)據(jù)多副本,副本數(shù)量可靈活設(shè)定,支持所有節(jié)點集群化;可提供類SQL和MR分析接口,提供多格式文檔、多語言等強大全文檢索能力;無縫整合現(xiàn)有關(guān)系型數(shù)據(jù)庫,數(shù)據(jù)分析(圖計算、R語言等)和BI工具。
Scistor dataFusion支持跨數(shù)據(jù)中心部署和應(yīng)用,提供國家級數(shù)據(jù)中心解決方案,且單集群節(jié)點數(shù)達(dá)上千臺;支持圖形化安裝配置部署,提供集群監(jiān)控報警功能。
創(chuàng)新的架構(gòu)
Scistor dataFusion采用了創(chuàng)新的架構(gòu)。
從架構(gòu)圖中可以看到,iIntegrator主要負(fù)責(zé)外部數(shù)據(jù)源的收集、復(fù)雜數(shù)據(jù)的清洗加工以及多存儲引擎中數(shù)據(jù)的交換;iManager負(fù)責(zé)整體系統(tǒng)的管理與監(jiān)控;iSentry負(fù)責(zé)存儲資源的申請與回收,同時負(fù)責(zé)用戶權(quán)限控制;HDFS、LFS、HBase、RDBMS組成了差異化存儲,根據(jù)用戶業(yè)務(wù)不同對數(shù)據(jù)進(jìn)行分類存儲;iQuery,iDriller,iStream都是對數(shù)據(jù)進(jìn)行處理的組件,其中iStream專注于內(nèi)存數(shù)據(jù)處理應(yīng)用、iQuery專注于海量記錄高效檢索應(yīng)用、iDriller專注于海量數(shù)據(jù)分析統(tǒng)計應(yīng)用。
廣泛的應(yīng)用領(lǐng)域
Scistor dataFusion可廣泛應(yīng)用于政府、商業(yè)智能、金融、能源、互聯(lián)網(wǎng)/物聯(lián)網(wǎng)、教育科研、醫(yī)療衛(wèi)生、智能交通、智慧城市等諸多領(lǐng)域。
在這些應(yīng)用中,Scistor dataFusion首先幫助用戶解決激增的多源異構(gòu)數(shù)據(jù)的統(tǒng)一存儲與管理;其次,充分滿足用戶對海量數(shù)據(jù)快速檢索、分析與挖掘的需求;最后,根據(jù)數(shù)據(jù)分析結(jié)果為用戶提供報表、趨勢等多形態(tài)效果展示,實現(xiàn)用戶與數(shù)據(jù)的智能溝通,去除一個個信息孤島,助力用戶在大數(shù)據(jù)時代創(chuàng)造更大的商業(yè)價值和社會價值。