国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

數(shù)據(jù)存儲:與數(shù)據(jù)治理和AI有關(guān)

2022-03-31 01:37丁海驁
數(shù)字商業(yè)時代 2022年8期
關(guān)鍵詞:高性能分布式架構(gòu)

丁海驁

近期,IDC的一項報告顯示:2021年全球大數(shù)據(jù)市場的IT總投資規(guī)模為2176.1億美元,到2026年,這項數(shù)據(jù)將增至4491.1億美元,五年預(yù)測期內(nèi)(2021-2026)實現(xiàn)約15.6%的復(fù)合增長率。在中國市場,2026年中國大數(shù)據(jù)IT支出規(guī)模預(yù)計會達到359.5億美元,市場規(guī)模位列單體國家第二。

大數(shù)據(jù)市場的高速成長,客觀地反映出企業(yè)用戶對于數(shù)據(jù)關(guān)注點的進步:他們正在從以往的數(shù)據(jù)收集、存儲與管理,轉(zhuǎn)向?qū)τ跀?shù)據(jù)的分析和價值的發(fā)掘,從而實現(xiàn)讓數(shù)據(jù)真正發(fā)揮價值,用虛擬的數(shù)字來優(yōu)化真實現(xiàn)實的目的,最終完成其“數(shù)字”應(yīng)用的完整流程。

然而對于現(xiàn)階段的企業(yè)用戶而言,有兩個具體的問題是需要面對的:第一,從數(shù)據(jù)中心到混合云應(yīng)用,企業(yè)在IT基礎(chǔ)架構(gòu)高速演進的過程當(dāng)中,根據(jù)自身不同的業(yè)務(wù)場景,已經(jīng)部署應(yīng)用了與之對應(yīng)的各種不同的數(shù)據(jù)收集、存儲和管理的方式,該如何整合這些以往的工作成果?第二,與數(shù)據(jù)應(yīng)用和分析相對應(yīng)的,是更加復(fù)雜、更靈活和更具特色的應(yīng)用場景,企業(yè)該如何根據(jù)自身業(yè)務(wù)的需求,找到適合的數(shù)據(jù)應(yīng)用的方式?前者是對以往工作成果的梳理,后者則是對未來應(yīng)用模式的規(guī)劃。

“面對變局,企業(yè)存儲策略和存儲系統(tǒng)也當(dāng)應(yīng)時而變,不僅需具備安全性、可靠性、大容量和高性能等長期要求的能力,還必須持續(xù)提升彈性和靈活性,滿足數(shù)據(jù)在敏態(tài)、穩(wěn)態(tài)不同的IT環(huán)境中的可靠流動和互聯(lián)互通?!苯衲?月,Hitachi Vantara中國區(qū)技術(shù)銷售總監(jiān)謝勇在一篇署名文章中談到相關(guān)問題時強調(diào),對于企業(yè)而言,從數(shù)據(jù)中心到混合云,企業(yè)需要建立一套能夠“通觀全局的數(shù)據(jù)存儲策略”,才是解決問題的根本和基礎(chǔ)。

事實上,作為能夠為用戶提供包括數(shù)字基礎(chǔ)架構(gòu)、數(shù)據(jù)管理與分析等在內(nèi)完整數(shù)字治理解決方案的Hitachi Vantara,對解決以上兩個問題,有一個相對清晰的產(chǎn)品和技術(shù)邏輯:首先,為統(tǒng)籌各種不同模式的存儲方式,Hitachi Vantara提供了一套通用的存儲虛擬化操作系統(tǒng)(Hitachi Storage Virtualization Operating System, SVOS),用以調(diào)度和控制計算、網(wǎng)絡(luò)、存儲資源,實現(xiàn)傳統(tǒng)存儲和軟件定義存儲(SDS)的融合,從而在應(yīng)用企業(yè)當(dāng)中形成一個通觀全局的數(shù)據(jù)存儲底座;與此同時,在SVOS的基礎(chǔ)上,提供一體機模式和軟件定義模式的數(shù)據(jù)存儲方式。其中,一體機模式即全新虛擬存儲平臺(Virtual Storage Platform)VSP家族,面向不同規(guī)模和不同行業(yè)的企業(yè),提供從入門級到旗艦級的全閃和混閃陣列;軟件定義模式則包括日立軟件定義塊存儲 (Hitachi Virtual Storage Software Block, VSSB)、文件內(nèi)容軟件Hitachi Content Software for File (HCSF)、軟件定義的對象存儲HCP(Hitachi Content Platform和HCP Cloud Scale),以及UCP系列融合和超融合解決方案,幫助企業(yè)構(gòu)建靈活且可靠的混合云方案。

謝勇在文章中強調(diào):“企業(yè)本地數(shù)據(jù)中心包括傳統(tǒng)架構(gòu)和私有云兩部分:對于傳統(tǒng)架構(gòu),VSP系列和Hitachi NAS Platform (HNAS) 能夠提供強力支持;對于私有云,VSP系列和VSSB、HCSF可以全局管理;對于公有云,企業(yè)則可以將兩種模式共同運行于AWS等主流云平臺上。從而,借助Hitachi Vantara統(tǒng)一的存儲管理平臺SVOS,企業(yè)便能實現(xiàn)數(shù)據(jù)在傳統(tǒng)架構(gòu)、私有云和公有云之間的流動和一致管理,實現(xiàn)從私有云到公有云的統(tǒng)一運行、管理和數(shù)據(jù)復(fù)制,滿足同一數(shù)據(jù)中心、不同架構(gòu)和不同應(yīng)用的業(yè)務(wù)需求?!?/p>

解決了數(shù)據(jù)整合管理的問題,針對數(shù)據(jù)分析和應(yīng)用的方式,Hitachi Vantara也有自己的想法和明確的產(chǎn)品指向。

“Hitachi Vantara的HCSF高性能分布式文件存儲是為人工智能而生的數(shù)據(jù)平臺?!辈袒坳枺琀itachi Vantara中國區(qū)資深解決方案顧問在日前接受采訪時,談到了Hitachi Vantara軟件定義存儲解決方案群中的HCSF(Hitachi Content Software for File)分布式文件存儲解決方案,強調(diào)HCSF作為針對AI、ML、分析和其他GPU加速工作負(fù)載的高性能存儲解決方案,有別于傳統(tǒng)的存儲方式,能夠同時滿足高性能工作負(fù)載對后端存儲提出的三大要求:高性能、高擴展性和易用性。

眾所周知,大數(shù)據(jù)、AI、ML等概念都不是最近出現(xiàn)的,只是當(dāng)時在PC時代,算力的局限不僅限制了數(shù)據(jù)的產(chǎn)生,也限制了AI和ML真正價值的發(fā)揮。直到云計算讓算力不再具有任何上限,用戶對于數(shù)據(jù)的獲取也開始變得更加廣泛,AI和ML才真正成為了最有效的數(shù)據(jù)分析工具。

“并不是說銀行之前不做貸款風(fēng)險的數(shù)據(jù)分析,只是以前各個金融機構(gòu)只能分析自己企業(yè)內(nèi)部的數(shù)據(jù),比如存貸款的消費記錄、信用卡記錄等,數(shù)據(jù)量和類型都比較單一。但是到現(xiàn)在,銀行做數(shù)據(jù)分析就可以結(jié)合包括用戶淘寶消費數(shù)據(jù)等更多的征信數(shù)據(jù),數(shù)據(jù)量、數(shù)據(jù)的維度、和對分析時間的要求都更高,對用戶的畫像也更全面、更豐富?!敝x勇認(rèn)為,利用AI和ML做數(shù)據(jù)分析,可能才是真正發(fā)掘數(shù)據(jù)價值的正確手段。而作為“為AI而生的”HCSF,則是解決企業(yè)用戶對數(shù)據(jù)分析需求的有效工具。

在蔡慧陽看來,傳統(tǒng)意義上,企業(yè)在數(shù)據(jù)價值挖掘的過程中,需要迎接三個方面的挑戰(zhàn),分別是:后端的存儲跟不上前端的計算性能的不斷提升;數(shù)據(jù)量的急劇增長;以及IT預(yù)算在不斷縮減。因此在他看來,企業(yè)就非常有必要在選擇存儲解決方案時,集中考慮三個核心的因素:“首先,是要提供足夠的性能以滿足前端業(yè)務(wù)的需求;其次,要具有更高的擴展能力;第三,要盡可能幫助企業(yè)節(jié)省保存數(shù)據(jù)的成本。”

蔡慧陽認(rèn)為傳統(tǒng)架構(gòu)之所以不能適應(yīng)AI數(shù)據(jù)處理,是因為在整個AI的數(shù)據(jù)處理過程中,環(huán)節(jié)眾多,數(shù)據(jù)傳遞損耗掉了必要的時間;同時,傳統(tǒng)存儲架構(gòu)也容易存在數(shù)據(jù)接口單一等缺陷,企業(yè)難以在一個存儲平臺上面同時滿足不同文件大小對性能的不同要求。

與此相對,蔡慧陽強調(diào):HCSF作為一個為AI而生的數(shù)據(jù)平臺,提供豐富的接口,因此在整個人工智能數(shù)據(jù)處理的流程中,所有的數(shù)據(jù)處理流程完全是在一套文件存儲系統(tǒng)當(dāng)中進行,自動進行性能調(diào)優(yōu),有效解決所有傳統(tǒng)架構(gòu)遇到的難題。

“它是一個完整的存儲平臺,消除了數(shù)據(jù)孤島,避免了傳統(tǒng)架構(gòu)中需要多套存儲設(shè)備的復(fù)雜性;它是一個單一的管理接入點,整個存儲空間的管理,包括對本地和云端的空間管理,通過一個單一的接入點就能實現(xiàn);它是一套完整的文件系統(tǒng),即使后端增加了保存溫數(shù)據(jù)的對象存儲或云端存儲,對用戶來說也是沒有感知的,用戶看到的仍然只是同一個文件系統(tǒng);在該平臺上,同一份數(shù)據(jù)只需要一份拷貝,數(shù)據(jù)無需來回流動、遷移和復(fù)制。”蔡慧陽將此稱為“極簡”特征。

我們都知道,在Hitachi Vantara的軟件定義存儲解決方案中,不僅有分布式文件存儲解決方案HCSF,還有塊存儲解決方案VSSB,以及對象存儲解決方案HCP,且如果單純從存儲模式理論層面講,分布式文件存儲模式并不一定比其他兩種模式,在數(shù)據(jù)讀寫速度和分享能力方面具有絕對的優(yōu)勢。那HCSF為何被定義成“為AI而生”呢?

“這來源于它與眾不同的設(shè)計理念和專利的技術(shù)?!辈袒坳栒劦紿CSF的三項具體設(shè)計理念和專利技術(shù):第一,HCSF數(shù)據(jù)平臺的架構(gòu)是基于高性能介質(zhì)NVMe、高速網(wǎng)絡(luò)以及高速總線來進行設(shè)計的。因此HCSF能夠通過底層的驅(qū)動優(yōu)化,減少數(shù)據(jù)傳輸?shù)闹虚g環(huán)節(jié),從而大大縮短延遲。第二,HCSF設(shè)計的初衷,就是要規(guī)避傳統(tǒng)分布式文件存儲在各方面的局限性能,同時考慮高吞吐、高IOPS、低延遲、高效的元數(shù)據(jù)處理。因此,無論是任何大小的文件,還是混合負(fù)載,它都能夠自動調(diào)優(yōu)提供無差別的高性能。第三,HCSF采用了專利的全分布式擴展架構(gòu),把數(shù)據(jù)和所有元數(shù)據(jù)都分布在所有的節(jié)點上。“這一點很重要,”蔡慧陽強調(diào),“因為傳統(tǒng)架構(gòu)只將元數(shù)據(jù)分布在某些節(jié)點上,所以它就會有瓶頸;如果是采用HCSF這種全分布式架構(gòu)的專利技術(shù),就能打破這些性能瓶頸,所以可以提高擴展性、聚合性能和彈性?!?/p>

因此在蔡慧陽看來,基于這樣的技術(shù)背景,HCSF就獲得了超高性能、無限擴展、簡單易用的產(chǎn)品特征,且擁有廣泛的接口支持,“支持更多協(xié)議意味著我們能夠輕松適配前端的各種異構(gòu)計算平臺——目前已經(jīng)能夠同時支持五種接口協(xié)議,未來還能夠支持更多協(xié)議?!辈袒坳栒f。

具體談到HCSF和HCP在具體應(yīng)用中的關(guān)聯(lián),蔡慧陽認(rèn)為,雖然兩者都是軟件定義的分布式存儲架構(gòu),但是Hitachi Vantara給兩者做了比較清晰的應(yīng)用場景的側(cè)重:“HCSF定位于高性能計算和高性能數(shù)據(jù)分析領(lǐng)域,滿足高IOPS、高吞吐和低延遲的極致性能需求;而HCP面向那些采用S3接口的應(yīng)用,存儲海量的靜態(tài)數(shù)據(jù),同時滿足企業(yè)合規(guī)對數(shù)據(jù)無篡改長期保存的需求?!彼瑫r強調(diào),事實上在非常多的企業(yè)應(yīng)用場景中,兩者是相互配合的關(guān)系:“前端是HCSF提供高性能的存儲,后端是對象存儲HCP——而終端用戶對此并不會有所察覺,因為兩個解決方案還是同一個存儲空間,只不過是根據(jù)數(shù)據(jù)的冷熱程度分別放在不同的存儲層?!?/p>

撥開紛繁復(fù)雜的基礎(chǔ)架構(gòu)和眼花繚亂的應(yīng)用,企業(yè)真正開始關(guān)注數(shù)據(jù)的價值,無論如何都是一個令人欣喜的進步,說明企業(yè)開始將關(guān)注的重點放在IT能力,以及IT到底能夠給現(xiàn)實業(yè)務(wù)帶來怎樣的增益,這事實上也是企業(yè)級IT最核心的價值所在。而對于企業(yè)而言,關(guān)注數(shù)據(jù)亦需要強調(diào)現(xiàn)實作用的同時,兼顧可持續(xù)性和全局性——畢竟,企業(yè)級IT的進階還僅僅是剛進入下半場,距離終場還很遠(yuǎn)。

猜你喜歡
高性能分布式架構(gòu)
基于FPGA的RNN硬件加速架構(gòu)
功能架構(gòu)在電子電氣架構(gòu)開發(fā)中的應(yīng)用和實踐
分布式光伏熱錢洶涌
分布式光伏:爆發(fā)還是徘徊
LSN DCI EVPN VxLAN組網(wǎng)架構(gòu)研究及實現(xiàn)
一款高性能BGO探測器的研發(fā)
高性能砼在橋梁中的應(yīng)用
基于DDS的分布式三維協(xié)同仿真研究
一種基于FPGA+ARM架構(gòu)的μPMU實現(xiàn)
SATA推出全新高性能噴槍SATAjet 5000 B
三原县| 盐源县| 新和县| 张北县| 景洪市| 临朐县| 孟连| 平舆县| 教育| 尉氏县| 邢台市| 扶沟县| 基隆市| 尚志市| 蕲春县| 勐海县| 西畴县| 澜沧| 巴楚县| 克拉玛依市| 德兴市| 阳城县| 邢台市| 黄骅市| 洪洞县| 沙田区| 资中县| 武义县| 清涧县| 沁阳市| 石嘴山市| 义马市| 石阡县| 繁峙县| 繁昌县| 武穴市| 固安县| 海城市| 沙田区| 台东县| 广河县|