百度和騰訊提供的兩個(gè)開源項(xiàng)目將專注于機(jī)器和深度學(xué)習(xí)的進(jìn)步,其長期目標(biāo)是讓人工智能技術(shù)更容易使用,同時(shí)使用深度學(xué)習(xí)框架推進(jìn)云服務(wù)。
騰訊的Angel項(xiàng)目是一個(gè)基于Apache Spark和YARN上的分布式機(jī)器學(xué)習(xí)平臺(tái)。百度的彈性深度學(xué)習(xí)(EDL)框架旨在允許云服務(wù)提供商使用深度學(xué)習(xí)工具構(gòu)建集群云產(chǎn)品。
百度稱EDL項(xiàng)目將使用其PaddlePaddle工具和TensorFlow來加速集群云服務(wù)部署。 EDL使用Kubernetes容器協(xié)調(diào)器作為集群控制器以及PaddlePaddle自動(dòng)縮放器。 該組合將分布式作業(yè)的進(jìn)程數(shù)量更改為群集中的空閑硬件資源,以及新的容錯(cuò)架構(gòu)。
同時(shí),騰訊的Angel項(xiàng)目是基于參數(shù)服務(wù)器設(shè)計(jì),用于處理大規(guī)模機(jī)器學(xué)習(xí)問題。百度、谷歌和卡內(nèi)基梅隆大學(xué)的研究人員首次提出了分布式機(jī)器學(xué)習(xí)框架。該平臺(tái)運(yùn)行在Spark和YARN上,能夠處理包括數(shù)十億參數(shù)在內(nèi)的高級(jí)機(jī)器學(xué)習(xí)模型,其性能與大數(shù)據(jù)相當(dāng)。
騰訊表示,Angel項(xiàng)目使用“開箱即用”的機(jī)器學(xué)習(xí)算法,從而消除了分析師和數(shù)據(jù)科學(xué)家編寫代碼的需要。(陳曲)