王永

“四年前成立Graphcore時(shí)，我們認(rèn)識(shí)到了機(jī)器智能飛快的發(fā)展速度以及它所能企及的成就并有幸與人工智能領(lǐng)域的許多領(lǐng)先創(chuàng)新者合作，然而在合作過(guò)程中，工作受到了當(dāng)前硬件的桎梏?！盙raphcore聯(lián)合創(chuàng)始人兼首席執(zhí)行官Nigel Toon在中關(guān)村論壇上發(fā)表演講時(shí)表示，CPU和GPU并非為AI計(jì)算完全不同的需求而設(shè)計(jì)，雖然它們可以構(gòu)建第一波AI解決方案，但顯而易見(jiàn)的是，當(dāng)今的架構(gòu)無(wú)法擴(kuò)展以及支持引領(lǐng)我們進(jìn)入未來(lái)所需的更為復(fù)雜的模型和技術(shù)。

人類(lèi)的進(jìn)步總是與新工具的創(chuàng)造齊頭并進(jìn)，這一點(diǎn)在機(jī)器智能時(shí)代也不會(huì)改變。因此，在技術(shù)進(jìn)步的驅(qū)動(dòng)下智能處理器IPU應(yīng)運(yùn)而生，它的出現(xiàn)旨在支持機(jī)器智能的新計(jì)算需求?！霸贕raphcore的第一代IPU產(chǎn)品中，其1200多個(gè)處理器內(nèi)核可以分別處理完成獨(dú)立的任務(wù)，并且能夠彼此通信以支持完整的多指令多數(shù)據(jù)并行操作，這正是下一代機(jī)器智能的基本要求?！?/p>

作為一家英國(guó)公司，在創(chuàng)業(yè)初期，Graphcore就受到了來(lái)自ARM聯(lián)合創(chuàng)始人Hermann Hauser和Deepmind聯(lián)合創(chuàng)始人Demis Hassabis的青睞和關(guān)注。隨著業(yè)務(wù)的增長(zhǎng)，Graphcore吸引了很多全球知名的投資者的支持（如Atomico、紅杉資本），以及很多戰(zhàn)略投資者的支持（如寶馬、博世、戴爾、微軟、三星等）。

據(jù)了解，目前Graphcore總共融資額超過(guò)4.5億美金，現(xiàn)存超過(guò)2.5億美金的現(xiàn)金。

在業(yè)務(wù)層面，Graphcore更是憑借著首款I(lǐng)PU系統(tǒng)震驚了整個(gè)行業(yè)——該系統(tǒng)的性能大大超越了其他技術(shù)，包括目前最快的GPU。

“我們的一位早期客戶，Carmot Capital在使用我們的產(chǎn)品訓(xùn)練其金融市場(chǎng)預(yù)測(cè)模型時(shí)，性能提升了26倍。微軟在使用IPU幫助診斷肺炎和COVID-19的胸部X光影像時(shí)，速度提高了10倍，并且其準(zhǔn)確性大大超過(guò)GPU。”Nigel Toon認(rèn)為，即使性能只提高2倍，也足以改變競(jìng)爭(zhēng)格局。微軟作為Graphcore的一位早期合作者，不僅將Graphcore的IPU技術(shù)用于其內(nèi)部的AI工作負(fù)載，在去年11月還將Graphcore的IPU提供給其Azure云計(jì)算平臺(tái)的用戶，助力AI創(chuàng)新者的工作。

2020年7月，Graphcore推出第二代IPU（Mk2 IPU）——第二代IPU擁有594億個(gè)晶體管，1472個(gè)完全并行的處理器內(nèi)核，以及近1 GB的超高速處理器內(nèi)存儲(chǔ)。同時(shí)，Graphcore還推出了IPU-Machine：M2000（IPU-M2000）。這是一款易于部署的即插即用的機(jī)器智能計(jì)算刀片，能夠提供1PFLOP的AI計(jì)算能力，并通過(guò)專(zhuān)用IPU內(nèi)置AI橫向擴(kuò)展網(wǎng)絡(luò)架構(gòu)。

對(duì)于AI創(chuàng)新公司來(lái)說(shuō)，不論是需要通過(guò)一個(gè)IPU-M2000來(lái)組建獨(dú)立系統(tǒng)，還是隨著計(jì)算負(fù)載和算法模型復(fù)雜度的增加，需要4個(gè)、8個(gè)IPU-M2000來(lái)擴(kuò)展計(jì)算系統(tǒng)，他們都可以進(jìn)行靈活的調(diào)整?；谠摷夹g(shù)，Graphcore構(gòu)建起一個(gè)大規(guī)模可擴(kuò)展的IPU-Pod系統(tǒng)，可以支持64000個(gè)IPU集群。

若將8個(gè)DGX A100和8個(gè)IPU-M2000進(jìn)行比較，8個(gè)IPU-M2000能夠提供8個(gè)DGX A100的12倍以上的FP12算力、3倍以上的AI算力和10倍以上的存儲(chǔ)，同時(shí)IPU-M2000還具有更高的性價(jià)比。憑借著這款全新的二代IPU處理器，Graphcore再次定義了行業(yè)標(biāo)準(zhǔn)。

此外，為了構(gòu)建高效的AI計(jì)算集群，Graphcore為AI設(shè)計(jì)了IPU-Fabric？橫向擴(kuò)展技術(shù)，提供了2.8 Tbps的超低時(shí)延網(wǎng)絡(luò)結(jié)構(gòu)，能夠支持從1個(gè)IPU到64000個(gè)IPU之間高彈性的橫向擴(kuò)展。無(wú)論IPU數(shù)量是幾個(gè)還是上萬(wàn)個(gè)，IPU之間互聯(lián)的帶寬時(shí)延均能保持一致，通過(guò)直連或以太網(wǎng)交換機(jī)的連接方式，可以執(zhí)行集合和全縮減（All-Reduce）的操作。

“Graphcore從零設(shè)計(jì)了以計(jì)算圖（Graph）為核心的Poplar SDK，能夠方便用戶無(wú)論使用單個(gè)IPU-M2000、單張PCIe卡，還是1000個(gè)甚至上萬(wàn)個(gè)IPU，都能獲得完全一致的用戶體驗(yàn)?！盙raphcore高級(jí)副總裁兼中國(guó)區(qū)總經(jīng)理盧濤表示，用戶可以基于Poplar構(gòu)建下一代機(jī)器智能系統(tǒng)。Poplar SDK包含一個(gè)開(kāi)放且高度可擴(kuò)展的Poplar庫(kù)，為開(kāi)發(fā)者提供750個(gè)以上的高性能計(jì)算元素和50多種優(yōu)化功能，開(kāi)發(fā)者可以自行修改或編寫(xiě)自己的自定義庫(kù)。此外，Poplar支持各類(lèi)行業(yè)標(biāo)準(zhǔn)的機(jī)器學(xué)習(xí)系統(tǒng)以及部署和集群管理生態(tài)系統(tǒng)。通過(guò)Poplar SDK，開(kāi)發(fā)者能夠預(yù)制Docker容器、快速進(jìn)行部署。

目前，Graphcore IPU支持近50個(gè)不同的算法模型。作為通用計(jì)算架構(gòu)，IPU支持TensorFlow、PyTorch等開(kāi)放機(jī)器學(xué)習(xí)框架及各類(lèi)算法模型的落地。

對(duì)于創(chuàng)新者而言，成本和效率不一定是其最關(guān)心的因素。但若創(chuàng)新者使用的技術(shù)不是從根本上為AI構(gòu)建，那么就存在著收益遞減的情況。

數(shù)據(jù)顯示，2019年發(fā)布的OpenAI的GPT-2自然語(yǔ)言模型有15億個(gè)參數(shù)，2020年發(fā)布的GPT-3有1750億個(gè)。訓(xùn)練和部署模型所需的計(jì)算量正按冪律增長(zhǎng)，但是數(shù)十億個(gè)參數(shù)顯然不夠。

當(dāng)創(chuàng)新者需要取得新的突破時(shí)，這意味著他們需要把注意力集中在值得關(guān)注的領(lǐng)域，以及在使用稀疏激活的模型子組上進(jìn)行計(jì)算，這可以把效率提高幾個(gè)數(shù)量級(jí)。然而這種稀疏計(jì)算并不適用于GPU。

“這正是IPU所要實(shí)現(xiàn)的目標(biāo)，Graphcore的系統(tǒng)在訓(xùn)練和部署中可以支持具備高效稀疏計(jì)算的大型模型。IPU不僅可以推動(dòng)創(chuàng)新開(kāi)發(fā)，還可以有效部署這些新型模型，更高效的計(jì)算可以降低總擁有成本。用戶可以在訓(xùn)練和推理中使用相同的IPU硬件，且可以靈活機(jī)動(dòng)地更改每個(gè)CPU調(diào)用IPU的數(shù)量?！北R濤表示，“用戶需要全新的處理器架構(gòu)來(lái)支持AI創(chuàng)新者的探索和突破。更重要的是，Graphcore希望將創(chuàng)新的權(quán)利交給AI開(kāi)發(fā)者。”

隨著模型規(guī)模和數(shù)據(jù)量的增加，開(kāi)發(fā)者需要一個(gè)高效的AI計(jì)算集群來(lái)支持創(chuàng)新。此外，Graphcore還提供了開(kāi)源的AI處理器軟件代碼庫(kù)。“因?yàn)閷⒋a的控制權(quán)移交給AI開(kāi)發(fā)者是非常重要的。”

值得一提的是，早在今年7月份，Graphcore就開(kāi)放了PopLibs的源代碼，方便AI開(kāi)發(fā)者修改、優(yōu)化、創(chuàng)新。同時(shí)，Graphcore也在大力發(fā)展IPU開(kāi)發(fā)者社區(qū)，其中很重要的一部分是目前已在國(guó)內(nèi)上線的IPU開(kāi)發(fā)者云——其托管在金山云上，提供浪潮IPU服務(wù)器NF5568M5、戴爾IPU服務(wù)器DSS8440、以及IPU-Pod64這些不同機(jī)型。

另外，Graphcore注重本地創(chuàng)新支持。Graphcore的IPU開(kāi)發(fā)者云以及Graphcore中國(guó)創(chuàng)新社區(qū)使創(chuàng)新者能便捷地獲取和使用IPU。

寫(xiě)在最后

當(dāng)前，Graphcore的業(yè)務(wù)主要分為三部分：專(zhuān)為AI從零設(shè)計(jì)的IPU處理器、Poplar SDK和開(kāi)發(fā)工具以及IPU平臺(tái)（如IPU-Machine、可以通過(guò)浪潮和戴爾來(lái)購(gòu)買(mǎi)的IPU服務(wù)器，以及可大規(guī)模橫向擴(kuò)展的IPU-Pod64）。

IPU在超大規(guī)模數(shù)據(jù)中心及互聯(lián)網(wǎng)、高校及研究機(jī)構(gòu)、醫(yī)療及生命科學(xué)、金融、汽車(chē)這五大領(lǐng)域中發(fā)展較快并備受關(guān)注。到目前為止，Graphcore共發(fā)貨IPU處理器超一萬(wàn)臺(tái)、服務(wù)全球超100家不同機(jī)構(gòu)。

“Graphcore有一個(gè)中國(guó)名字——‘?dāng)M未，我們正盡可能快地壯大中國(guó)團(tuán)隊(duì)，以便在技術(shù)或任何問(wèn)題上為客戶提供完全本地化的響應(yīng)和支持?！盢igel Toon表示，Graphcore的目標(biāo)是將擬未打造成一家重要的中國(guó)公司。

從市場(chǎng)情況看，中國(guó)的AI市場(chǎng)體量和落地速度位于全球前列。更重要的是，中國(guó)比大多數(shù)國(guó)家都更了解如何從創(chuàng)新轉(zhuǎn)向應(yīng)用、在概念階段投入正確的技術(shù)和資源以及如何從概念階段轉(zhuǎn)移到動(dòng)態(tài)生產(chǎn)階段，這使得中國(guó)成為制造業(yè)的先鋒者，尤其是在高科技領(lǐng)域。

“Graphcore正緊鑼密鼓地與國(guó)內(nèi)合作伙伴進(jìn)行落地的相關(guān)工作，我們對(duì)明年有非常高的預(yù)期?！北R濤透露，“高校合作方面，在IPU開(kāi)發(fā)者云上線后，Graphcore已收到約三、四十所高校頂尖AI實(shí)驗(yàn)室或研究機(jī)構(gòu)的使用申請(qǐng)。”

為了更好地為中國(guó)市場(chǎng)服務(wù)，Graphcore目前已構(gòu)建起知乎、微信、微博等平臺(tái)上的創(chuàng)新社區(qū)，Graphcore中國(guó)官網(wǎng)graphcore.cn也已上線。