王盈
云上的大數(shù)據(jù)、機(jī)器學(xué)習(xí),將是未來(lái)的發(fā)展方向。用機(jī)器學(xué)習(xí)的大腦、大數(shù)據(jù)的計(jì)算輪子、云的動(dòng)態(tài)分配引擎,三者結(jié)合就實(shí)現(xiàn)了云上的大數(shù)據(jù)機(jī)器學(xué)習(xí)。
根據(jù)IDC發(fā)布的《中國(guó)公有云市場(chǎng)數(shù)據(jù)追蹤報(bào)告》,2016年上半年,中國(guó)公有云IaaS市場(chǎng)前三名為阿里云、騰訊云和金山云,其中金山云的市場(chǎng)占有率為5.5%,較2015年下半年提升1.2%,收入同比增長(zhǎng)率連續(xù)超過(guò)100%。目前,金山云不僅是國(guó)內(nèi)領(lǐng)先的云計(jì)算和OpenStack廠商,也是國(guó)內(nèi)首家提供混合云部署方案的云企業(yè)。
近年,云計(jì)算的普及為大數(shù)據(jù)的深度應(yīng)用提供了堅(jiān)實(shí)的基礎(chǔ),大數(shù)據(jù)對(duì)企業(yè)決策的重要程度不斷上升,云計(jì)算和大數(shù)據(jù)為人工智能(AI)的突飛猛進(jìn)提供了最重要的雙輪驅(qū)動(dòng)力。金山云大數(shù)據(jù)和AI技術(shù)總監(jiān)張東進(jìn)透露,金山云已將云服務(wù)和數(shù)據(jù)分析能力大規(guī)模應(yīng)用于人工智能領(lǐng)域作為戰(zhàn)略目標(biāo)。
日前,金山云和英特爾正式對(duì)外公布了結(jié)合雙方技術(shù)優(yōu)勢(shì)打造的、基于英特爾架構(gòu)的金山云托管Hadoop(KingsoftMapReduce,簡(jiǎn)稱KMR)數(shù)據(jù)分析平臺(tái),同期首次公布其深度學(xué)習(xí)平臺(tái)KDL,可謂雙劍合璧,在云計(jì)算、大數(shù)據(jù)、人工智能領(lǐng)域齊發(fā)力。目前這兩個(gè)產(chǎn)品已進(jìn)入公測(cè)階段,不久將進(jìn)入商用階段。
金山云正大力布局人工智能
“云上的大數(shù)據(jù)、機(jī)器學(xué)習(xí),將是未來(lái)的發(fā)展方向”。在張東進(jìn)看來(lái),云、大數(shù)據(jù)、機(jī)器學(xué)習(xí)雖然都不是新的概念,但結(jié)合在一起就很新?!皺C(jī)器學(xué)習(xí)提供的是算法,大數(shù)據(jù)提供的是并行計(jì)算和分布式存儲(chǔ),云提供的是動(dòng)態(tài)配置。用機(jī)器學(xué)習(xí)大腦、大數(shù)據(jù)計(jì)算輪子、云動(dòng)態(tài)分配引擎,三者結(jié)合就實(shí)現(xiàn)了云上的大數(shù)據(jù)機(jī)器學(xué)習(xí)?!睆垨|進(jìn)解釋道。
張東進(jìn)表示,金山云將云的發(fā)展分為云計(jì)算、大數(shù)據(jù)、人工智能三個(gè)階段。當(dāng)下,我們將進(jìn)入讓數(shù)據(jù)產(chǎn)生智能的人工智能階段。據(jù)研究機(jī)構(gòu)預(yù)測(cè),2020年全球的人工智能市場(chǎng)將達(dá)到50億美元,2025年將達(dá)到350億美元。
金山云在人工智能應(yīng)用領(lǐng)域不僅有為用戶深度構(gòu)建云計(jì)算解決方案的豐富經(jīng)驗(yàn),還有國(guó)內(nèi)最大的商用存儲(chǔ)平臺(tái),該平臺(tái)在數(shù)據(jù)分析領(lǐng)域頗有建樹。基于這些優(yōu)勢(shì),金山云正大力布局人工智能。張東進(jìn)表示:“金山云將與廣大科研院所及合作伙伴一起構(gòu)建金山云的人工智能解決方案,包括為AI研發(fā)提供基礎(chǔ)性支持的底層基礎(chǔ)平臺(tái);為行業(yè)提供基礎(chǔ)的視覺(jué)、聽覺(jué)、自然語(yǔ)言、VR/AR等技術(shù)能力的SaaS方案;深入研究醫(yī)療、金融、交通、物聯(lián)網(wǎng)等重大行業(yè),為合作伙伴提供上層行業(yè)解決方案?!?/p>
KMR讓電商大促無(wú)憂
KMR正是金山云在數(shù)據(jù)分析領(lǐng)域邁出的重要一步。金山云技術(shù)產(chǎn)品部高級(jí)產(chǎn)品經(jīng)理?xiàng)盍两榻B說(shuō),KMR采用了英特爾至強(qiáng)E5系列處理器家族的硬件平臺(tái),以Apache Hadoop和Apache Spark數(shù)據(jù)計(jì)算系統(tǒng)為基礎(chǔ),集成了常用的大數(shù)據(jù)分析組件,通過(guò)自動(dòng)調(diào)度彈性計(jì)算服務(wù)(KEC),幫助企業(yè)用戶快速構(gòu)建分布式數(shù)據(jù)分析系統(tǒng)。KMR還能與金山云的多種云服務(wù)產(chǎn)品結(jié)合,從而建立端到端的數(shù)據(jù)分析處理解決方案,讓企業(yè)用戶以更低廉的成本獲得更可靠的數(shù)據(jù),更靈活方便地對(duì)數(shù)據(jù)進(jìn)行收集和管理。
為行業(yè)客戶提供高性能、易部署的大數(shù)據(jù)云處理平臺(tái),是KMR的重要價(jià)值和競(jìng)爭(zhēng)力所在。楊亮介紹說(shuō):“KMR具備四大優(yōu)勢(shì)。一是完全托管,集群分鐘級(jí)快速部署;二是性能優(yōu)化,大數(shù)據(jù)分析即時(shí)響應(yīng);三是生態(tài)豐富,云服務(wù)產(chǎn)品深度整合;四是彈性伸縮,企業(yè)TCO有效減負(fù)”。
目前,KMR已被電商、游戲等行業(yè)的10多家客戶采用。例如擁有幾十大類、數(shù)百萬(wàn)種商品的當(dāng)當(dāng)網(wǎng)。每逢“雙十一”等大促時(shí)段,當(dāng)當(dāng)網(wǎng)的IT資源面臨非常大的壓力,還需要快速、及時(shí)地處理大量的用戶歷史數(shù)據(jù)。采用金山云KMR服務(wù)后,能快速創(chuàng)建Storm和Kafka集群,搭建實(shí)時(shí)數(shù)據(jù)處理系統(tǒng),根據(jù)業(yè)務(wù)需求靈活調(diào)整資源配置,有效保證了促銷期間IT系統(tǒng)的穩(wěn)定運(yùn)行,大幅減少了系統(tǒng)維護(hù)成本。
KDL將深度助力企業(yè)擁抱AI
張東進(jìn)坦言:“當(dāng)大家真的去做人工智能,會(huì)發(fā)現(xiàn)人工智能其實(shí)并沒(méi)有那么簡(jiǎn)單。”而金山云人工智能之路亦是披荊斬棘終坦途。
“KDL可以深度助力企業(yè)擁抱AI。”張東進(jìn)解釋說(shuō),“KDL是一個(gè)機(jī)器學(xué)習(xí)、深度學(xué)習(xí)任務(wù)托管平臺(tái),底層基于金山云高性能異構(gòu)計(jì)算集群,融合了英特爾等合作伙伴的技術(shù),能從容應(yīng)對(duì)成本、效率、安全、性能方面的挑戰(zhàn)?!?/p>
成本一直是壓在AI公司頭上的一座大山。以某知名AI公司為例:“該公司共400人,做系統(tǒng)架構(gòu)的約100人,這部分人一年的工資就高達(dá)幾千萬(wàn)元,相當(dāng)于一輪的融資?!睆垨|進(jìn)強(qiáng)調(diào),金山云可以幫助企業(yè)節(jié)省這部分高昂的隱性成本:“第一,KDL會(huì)按實(shí)際的運(yùn)營(yíng)時(shí)間收費(fèi);第二,可以隨意伸縮,沒(méi)有閑置成本;第三,可以省去系統(tǒng)研發(fā)和維護(hù)成本”。
在效率方面,“我們是一個(gè)全功能的深度學(xué)習(xí)集成環(huán)境,集成了英特爾的BigDL、谷歌的TensorFlow等框架,底層基于英特爾等合作伙伴的庫(kù)做深度的優(yōu)化。KDL是全流程的平臺(tái),在物料的預(yù)處理、存儲(chǔ)、訓(xùn)練、評(píng)估、上線預(yù)測(cè)等方面都提供完整的支持。”張東進(jìn)介紹說(shuō)。
在安全方面,金山云提供企業(yè)級(jí)數(shù)據(jù)加密和企業(yè)級(jí)HPC集群,為客戶提供最安全、最穩(wěn)定的環(huán)境。他強(qiáng)調(diào)道:“KDL應(yīng)該是業(yè)內(nèi)首家能做到分鐘級(jí)的自動(dòng)恢復(fù)。人工智能的一個(gè)訓(xùn)練任務(wù)可能長(zhǎng)達(dá)一周至半個(gè)月,如果中斷就需要重新計(jì)算。金山云平臺(tái)則沒(méi)有這個(gè)問(wèn)題”。
在性能方面,“KDL為客戶帶來(lái)的價(jià)值在于,底層是基于成熟的異構(gòu)計(jì)算集群,包括英特爾提供的高性能E5系列的CPU,以及GPU、FPGA的計(jì)算平臺(tái),輔以金山云的萬(wàn)兆網(wǎng)卡和英特爾SSD技術(shù),可以確保用戶獲得高性能的HPC計(jì)算集群”,張東進(jìn)如是說(shuō)。
十年前,當(dāng)云計(jì)算概念剛出來(lái)時(shí),許多科技公司都將信將疑。十年后,云已暢行天下,政府部門、企業(yè)都在積極地?fù)肀г?。因而,?dāng)許多人質(zhì)疑大數(shù)據(jù)和人工智能時(shí),誰(shuí)又知道它會(huì)以怎樣的速度發(fā)展。
科技對(duì)于世界的顛覆,不管你信不信,希望與否,它都將發(fā)生,讓人大跌眼鏡?!霸粕系拇髷?shù)據(jù)、機(jī)器學(xué)習(xí)”技術(shù)創(chuàng)新與探索,定將加速推動(dòng)中國(guó)企業(yè)的轉(zhuǎn)型升級(jí),真正邁入智能的“互聯(lián)網(wǎng)+”時(shí)代。