大模型技術(shù)的快速發(fā)展始于2018年,Transformer模型的提出為大模型訓(xùn)練奠定了基礎(chǔ)。隨后,GPT系列模型的推出進(jìn)一步推動了這一領(lǐng)域的發(fā)展。從GPT-1到GPT-4,模型參數(shù)量從1.17億增長到千億級,模型能力也在不斷提升。在這一背景下,智譜AI緊跟國際前沿,于2018年開始研發(fā)GLM系列模型。智譜AI研發(fā)的新一代認(rèn)知智能大模型——GLM系列,目標(biāo)是通過GLM系列模型的研發(fā),推動中國人工智能技術(shù)的進(jìn)步,開啟出版行業(yè)的新紀(jì)元。GLM系列模型是智譜公司自主研發(fā),擁有自主知識產(chǎn)權(quán),全面對標(biāo)OpenAI GPT的產(chǎn)品系列。
大模型技術(shù)的發(fā)展帶來了顯著的性能提升,同時也帶來了技術(shù)挑戰(zhàn)。首先是模型架構(gòu)的自主化,其次是訓(xùn)練推理的國產(chǎn)化,最后是內(nèi)容生成的可控化。
智譜AI研發(fā)的千億對話模型ChatGLM在國際測評中取得了顯著成績。在44項國際測評集同參數(shù)規(guī)模排名首位。最新推出的GLM-4模型,在多語言、數(shù)學(xué)推理、中英文指令遵從方面表現(xiàn)接近GPT-4,中文對齊能力超過GPT-4。智譜AI的ChatGLM開源社區(qū)下載量超過1300萬次,在GitHub累計獲得6萬星標(biāo)。同時,在科技部發(fā)布的《中國人工智能大模型地圖研究報告》中,ChatGLM位列開源大模型影響力第一名。
智譜AI研發(fā)的全新自主預(yù)訓(xùn)練框架——GLM,統(tǒng)一了自然語言理解和生成任務(wù),能夠同時學(xué)習(xí)上下文表示和自回歸生成。GLM-130B在斯坦福大學(xué)的世界主流大模型評測中表現(xiàn)出色,是亞洲唯一入選的模型。其準(zhǔn)確性和惡意性與GPT-3 175B接近,在魯棒性和校準(zhǔn)誤差方面在所有評測模型中表現(xiàn)最佳。
智譜AI的對話模型家族也在快速發(fā)展,新一代基座模型GLM-4在多模態(tài)能力方面達(dá)到了DALL·E3的90%以上水平,中文能力超過了GPT-4。它支持更長的上下文表示、更強(qiáng)的多模態(tài)支持,以及更快速的推理等。智譜AI的大模型開源生態(tài)自2023年3月14日開源以來,ChatGLM-6B及其后續(xù)版本獲得了廣泛應(yīng)用。在Hugging Face平臺上,下載量超過1300萬次,并在GitHub上獲得了6萬星標(biāo)。
智譜AI與四十余家國產(chǎn)芯片廠商建立了合作關(guān)系,實現(xiàn)了模型在多款國產(chǎn)芯片上的高效運行。與多家數(shù)據(jù)合作伙伴和業(yè)務(wù)伙伴建立了緊密的合作關(guān)系,共同推動兩千余家用戶進(jìn)入生成式AI的第二階段。智譜AI的生成式AI服務(wù)“智譜清言”是首批國家網(wǎng)信辦審核通過上線的大模型之一。它具備創(chuàng)意寫作、數(shù)學(xué)計算、AI繪圖、科普問答、編程等全方面綜合能力,下載量dMh/BLWEHjn1XiVv/mK93azZNZZ4I1KyucbnmxCciEU=已超千萬。大模型的出現(xiàn)對知識獲取方式產(chǎn)生了深遠(yuǎn)影響。它可以在幫助人類自動調(diào)用工具方面發(fā)揮重要作用。以GLM-4為例,它可以實現(xiàn)多工具的自動調(diào)用。
大模型對學(xué)習(xí)方式的改變也是顯而易見的。它可以輔助用戶進(jìn)行翻譯與本地化,幫助理解專業(yè)術(shù)語;可以解釋復(fù)雜概念,輔助用戶學(xué)會提問;還可以根據(jù)用戶需求提供個性化學(xué)習(xí)路徑。大模型在內(nèi)容創(chuàng)作方面的應(yīng)用可以加速創(chuàng)作過程,幫助用戶快速生成高質(zhì)量的內(nèi)容;可以模仿不同風(fēng)格,實現(xiàn)風(fēng)格的轉(zhuǎn)換;還可以進(jìn)行角色扮演和互動,提供更有趣的創(chuàng)作體驗。
Aminer大模型學(xué)習(xí)助手在論文、報告、書籍方面的應(yīng)用顯著提高了研究效率。它可以幫助用戶快速檢索和篩選相關(guān)文獻(xiàn),從而加速研究進(jìn)程。通過分析大量文獻(xiàn)和學(xué)術(shù)數(shù)據(jù),Aminer可以發(fā)現(xiàn)潛在的學(xué)術(shù)熱點和前沿領(lǐng)域,為用戶提供有價值的學(xué)術(shù)洞見。
總結(jié)來說,智譜AI的GLM系列大模型在技術(shù)創(chuàng)新、應(yīng)用推廣和國際影響力方面取得了顯著成就。它們不僅在技術(shù)上對標(biāo)國際先進(jìn)水平,而且在實際應(yīng)用中展現(xiàn)了強(qiáng)大的性能和廣泛的影響力。智譜AI將繼續(xù)致力于大模型技術(shù)的發(fā)展,推動人工智能領(lǐng)域的進(jìn)步,為各行各業(yè)提供更強(qiáng)大的AI支持。
作者系智譜AI傳媒教育出版行業(yè)總經(jīng)理