孫杰賢

ChatGPT自2022年11月橫空出世以來(lái)，一路狂飆，將AIGC和AI大模型推到風(fēng)口浪尖。

ChatGPT英文全稱“Chat G e n e r a t i v e P r e - Tr a i n e d Transformer”，是由美國(guó)公司OpenAI基于GPT3.5版本開(kāi)發(fā)的一個(gè)人工智能聊天機(jī)器人程序，是一款人工智能技術(shù)驅(qū)動(dòng)的自然語(yǔ)言處理工具。

清華大學(xué)智能產(chǎn)業(yè)研究院院長(zhǎng)、中國(guó)工程院外籍院士張亞勤這樣評(píng)價(jià)ChatGPT： ChatGPT確實(shí)是一次跳躍和質(zhì)變，是AI的一個(gè)里程碑。人機(jī)對(duì)話已經(jīng)做了半個(gè)多世紀(jì)了，進(jìn)步很大，但整體沒(méi)有實(shí)質(zhì)性的飛躍，不能通過(guò)“圖靈測(cè)試”。而ChatGPT是第一個(gè)可以通過(guò)“圖靈測(cè)試”的智能體，是通用人工智能的雛形。

A I G C的英文全稱是“A I Generated Content”，是人工智能和內(nèi)容創(chuàng)作的結(jié)合，能夠讓機(jī)器自動(dòng)生成高質(zhì)量、高效率的內(nèi)容，在智能硬件、大數(shù)據(jù)分析等領(lǐng)域都有廣泛應(yīng)用。AIGC包括圖像、視頻、音頻等多種類(lèi)型，包括自動(dòng)生成文本和音頻。從目前AIGC的發(fā)展來(lái)看，其應(yīng)用范圍正在逐步擴(kuò)大，并且已經(jīng)從簡(jiǎn)單的文字內(nèi)容生成發(fā)展到智能圖片編輯、語(yǔ)音識(shí)別和智能寫(xiě)作等。

因此，從概念定義來(lái)看，ChatGPT是AIGC概念的一種產(chǎn)品形態(tài)或者說(shuō)應(yīng)用形態(tài)。而AI大模型則是兩者背后的核心技術(shù)。

什么是AI大模型？

A I大模型即基礎(chǔ)模型（Foundation Model），是基于海量多源數(shù)據(jù)打造的龐大神經(jīng)網(wǎng)絡(luò)。通過(guò)訓(xùn)練，AI大模型從大量標(biāo)記和未標(biāo)記的數(shù)據(jù)中捕獲知識(shí)，并將知識(shí)存儲(chǔ)到大量的參數(shù)中，以實(shí)現(xiàn)對(duì)各種任務(wù)進(jìn)行高效處理的技術(shù)架構(gòu)，是實(shí)現(xiàn)通用人工智能的重要方向。AI大模型包含自然語(yǔ)言類(lèi)大模型、計(jì)算機(jī)視覺(jué)類(lèi)大模型，以及統(tǒng)一整合的多模態(tài)大模型等，ChatGPT 是AI大模型在自然語(yǔ)言處理領(lǐng)域突破性的創(chuàng)新。

發(fā)展歷程看，AI大模型先后經(jīng)歷了預(yù)訓(xùn)練模型、大規(guī)模預(yù)訓(xùn)練模型、超大規(guī)模預(yù)訓(xùn)練模型三個(gè)階段。相應(yīng)的，AI大模型的發(fā)展也從以不同模態(tài)數(shù)據(jù)為基礎(chǔ)過(guò)渡到與學(xué)習(xí)理論等方面相結(jié)合，并呈現(xiàn)出全面發(fā)力、多點(diǎn)開(kāi)花的新格局。

AI大模型有兩個(gè)核心要義：“預(yù)訓(xùn)練”和“大模型”，意味著模型在大規(guī)模數(shù)據(jù)基礎(chǔ)上完成了預(yù)訓(xùn)練后無(wú)需調(diào)整，僅需要少量數(shù)據(jù)的微調(diào)，就能直接支撐各類(lèi)應(yīng)用。從應(yīng)用領(lǐng)域來(lái)看，AI大模型可分為通用AI大模型和垂直AI大模型（也稱產(chǎn)業(yè)AI大模型），兩者在參數(shù)級(jí)別、應(yīng)用場(chǎng)景、商業(yè)模式等方面差異正在顯性化。通用AI大模型需要巨大的計(jì)算資源和數(shù)據(jù)量能夠處理各種領(lǐng)域和場(chǎng)景的自然語(yǔ)言，但是不一定有深入的專業(yè)知識(shí)，比如ChatGPT。垂直AI大模型是針對(duì)特定行業(yè)或者應(yīng)用場(chǎng)景而開(kāi)發(fā)，比如醫(yī)療、金融、教育等，它能夠利用行業(yè)的數(shù)據(jù)和知識(shí)，提供更精準(zhǔn)和高效的解決方案。

垂直AI大模型可以更容易地與用戶和行業(yè)進(jìn)行有效的溝通和合作，也更符合行業(yè)的規(guī)范和標(biāo)準(zhǔn)，因此，垂直AI大模型將是重要發(fā)展方向。

數(shù)據(jù)、算法與算力

同人工智能一樣，AI大模型背后也需要數(shù)據(jù)、算法與算力的支撐。

高質(zhì)量的數(shù)據(jù)是助力AI訓(xùn)練與調(diào)優(yōu)的關(guān)鍵，足夠多、足夠豐富、質(zhì)量足夠高的數(shù)據(jù)，是生成式AI大模型的根基。目前AI模型的數(shù)據(jù)來(lái)源包括以下幾類(lèi)：公共數(shù)據(jù)集、公共網(wǎng)站、自有數(shù)據(jù)、眾包數(shù)據(jù)、合成數(shù)據(jù)等。除了合成數(shù)據(jù)外，其他數(shù)據(jù)都是通過(guò)采集互聯(lián)網(wǎng)獲得。

隨著AI大模型的發(fā)展，數(shù)據(jù)量呈現(xiàn)指數(shù)級(jí)的增長(zhǎng)態(tài)勢(shì)。比如，2018年的GPT-1數(shù)據(jù)集約4.6GB，2020年的GPT-3數(shù)據(jù)集達(dá)到了753GB， 而到了2021年的Gopher，數(shù)據(jù)集規(guī)模已經(jīng)達(dá)到了驚人的10，550GB。由于企業(yè)的很多業(yè)務(wù)數(shù)據(jù)、物流數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)等都是非常核心的私域數(shù)據(jù)，很難把數(shù)據(jù)拿給別人去訓(xùn)練。這也是垂直AI大模型的一個(gè)發(fā)展瓶頸。

算法是 AI 解決問(wèn)題的機(jī)制、方式和路徑，算法的優(yōu)劣直接決定了AI大模型的空間復(fù)雜度與時(shí)間復(fù)雜度。例如，GPT 是在Transformer 模型基礎(chǔ)上發(fā)展的，相比于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)或卷積神經(jīng)網(wǎng)絡(luò)，Transformer在處理長(zhǎng)文本時(shí)具有更好的并行性和更短的訓(xùn)練時(shí)間。三要素中，算法的研發(fā)門(mén)檻相對(duì)較低，每家企業(yè)都有自己實(shí)現(xiàn)大模型的路徑算法，且有眾多開(kāi)源項(xiàng)目可作為參考，我國(guó)企業(yè)也可以憑此縮短差距，甚至彎道超車(chē)。

算力是打造AI大模型態(tài)的必備基礎(chǔ)，AI大模型所需要的計(jì)算量，大致上相當(dāng)于參數(shù)量與數(shù)據(jù)量的乘積。大模型之所以“大”，就是因?yàn)辇嫶蟮膮?shù)量和海量數(shù)據(jù)。上文也提到AI大模型的指數(shù)級(jí)增長(zhǎng)，而參數(shù)量亦是如此。比如，GPT-3的參數(shù)量達(dá)到了驚人的1750億。因此，AI大模型的真正門(mén)檻在算力。數(shù)據(jù)訓(xùn)練需要較高性能的芯片完成對(duì)整體模型神經(jīng)網(wǎng)絡(luò)的訓(xùn)練構(gòu)建。據(jù)悉，為了訓(xùn)練GPT-3，微軟新建了一個(gè)搭載了1萬(wàn)張顯卡，價(jià)值5億美元的算力中心。模型在訓(xùn)練上則消耗了355個(gè)GPU年的算力，而成本超過(guò)460萬(wàn)美元。根據(jù)OpenAI公司的測(cè)算：全球AI訓(xùn)練所用的計(jì)算量平均每3.43個(gè)月便會(huì)翻一倍，遠(yuǎn)超摩爾定律。在可見(jiàn)的未來(lái)，算力不足將會(huì)是制約AI大模型發(fā)展的最大因素。

不只作畫(huà)與聊天

應(yīng)用AI大模型大概以下具體步驟。數(shù)據(jù)收集：收集和準(zhǔn)備海量的數(shù)據(jù)；設(shè)計(jì)模型：設(shè)計(jì)模型結(jié)構(gòu)和參數(shù)；模型訓(xùn)練：進(jìn)行模型的訓(xùn)練，進(jìn)行模型優(yōu)化；模型測(cè)試：測(cè)試訓(xùn)練好的模型，同預(yù)期效果進(jìn)行比對(duì)；模型部署：部署應(yīng)用。

當(dāng)然，AI大模型價(jià)值不僅僅是作作畫(huà)、寫(xiě)寫(xiě)文章、聊聊天那么簡(jiǎn)單。AI大模型代表了人工智能技術(shù)向產(chǎn)品化、產(chǎn)業(yè)化落地的趨勢(shì)，這個(gè)趨勢(shì)的持續(xù)發(fā)展會(huì)深刻改變產(chǎn)業(yè)格局。同時(shí)，人們對(duì)AI的認(rèn)知、行業(yè)對(duì)其能力的評(píng)估都將越來(lái)越體系化。

AI大模型的真正意義在于改變了模型的開(kāi)發(fā)模式，將模型的生產(chǎn)由“小作坊”升級(jí)為工業(yè)化的“流水線”，而模型開(kāi)發(fā)模式的轉(zhuǎn)變，將使得AI技術(shù)能夠更廣泛地下沉到一些長(zhǎng)尾場(chǎng)景。前面也提到，垂直AI大模型是AI大模型的重要發(fā)展方向。底層AI大模型的研發(fā)具有極高的研發(fā)門(mén)檻，面臨高昂的成本投入，不利于人工智能技術(shù)在千行百業(yè)的推廣。但是具有數(shù)據(jù)、算力、算法綜合優(yōu)勢(shì)的企業(yè)可以基于第三方的AI大模型將復(fù)雜生產(chǎn)過(guò)程封裝起來(lái)，通過(guò)低門(mén)檻、高效率的生產(chǎn)平臺(tái)，向千行百業(yè)提供大模型服務(wù)。行業(yè)企業(yè)或者服務(wù)提供商只需要通過(guò)生產(chǎn)平臺(tái)提出在實(shí)際AI應(yīng)用中的具體需求，生產(chǎn)大模型的少數(shù)企業(yè)就能夠根據(jù)應(yīng)用場(chǎng)景進(jìn)一步對(duì)大模型開(kāi)發(fā)訓(xùn)練，幫助應(yīng)用方實(shí)現(xiàn)大模型的精調(diào)，以更好滿足各行業(yè)對(duì)于AI模型的需求。

舉個(gè)例子，礦山行業(yè)有眾多應(yīng)用場(chǎng)景，除了挖礦本身，還有挖礦前的勘測(cè)規(guī)劃，挖礦后的運(yùn)輸、通風(fēng)、安全保障，以及過(guò)程中間的經(jīng)營(yíng)管理等。中國(guó)礦業(yè)大學(xué)便基于AI大模型，用機(jī)器視覺(jué)+機(jī)器人揀選的方式，以同步檢測(cè)技術(shù)取代人工，實(shí)現(xiàn)高效預(yù)拋廢，延長(zhǎng)礦山設(shè)備壽命，減人提效。

我們?cè)诮?jīng)歷基于數(shù)據(jù)的互聯(lián)網(wǎng)時(shí)代和基于算力的云計(jì)算時(shí)代之后，即將邁入基于大模型的AI時(shí)代?？梢钥隙?，那些率先開(kāi)發(fā)或者應(yīng)用AI大模型的企業(yè)將會(huì)在AI產(chǎn)業(yè)布局中獲得先發(fā)優(yōu)勢(shì)。