文｜侯 瑞

ChatGPT上線至今，已經(jīng)實(shí)現(xiàn)用戶數(shù)破億，成為有史以來(lái)增長(zhǎng)最快的消費(fèi)者應(yīng)用。ChatGPT的成功預(yù)示著大數(shù)據(jù)技術(shù)仍然是人工智能未來(lái)發(fā)展的一個(gè)主要方向，也是目前開(kāi)發(fā)通用人工智能技術(shù)（AGI）的最佳路徑。搶抓生成式大型語(yǔ)言模型發(fā)展機(jī)遇，前瞻性布局關(guān)鍵核心技術(shù)與重大應(yīng)用場(chǎng)景，是堅(jiān)持創(chuàng)新制勝、努力搶占未來(lái)競(jìng)爭(zhēng)制高點(diǎn)、大力實(shí)施數(shù)字經(jīng)濟(jì)創(chuàng)新提質(zhì)“一號(hào)發(fā)展工程”的重要抓手。

ChatGPT的技術(shù)原理與歷史沿革

ChatGPT是由美國(guó)人工智能研究實(shí)驗(yàn)室OpenAI研發(fā)的聊天機(jī)器人程序，是人工智能技術(shù)驅(qū)動(dòng)的自然語(yǔ)言處理工具。ChatGPT中 Chat的 意 思 是“ 聊天”，GPT的 全 稱 是generative pre—training，意思是“生成性預(yù)訓(xùn)練”。它是用Transformer架構(gòu)的預(yù)訓(xùn)練語(yǔ)言模型，通過(guò)預(yù)測(cè)單詞序列中下一個(gè)單詞來(lái)學(xué)習(xí)語(yǔ)言關(guān)系的。ChatGPT主要是通過(guò)人類反饋強(qiáng)化學(xué)習(xí)的“自我完善”過(guò)程。通俗來(lái)說(shuō)，就是由人類專家對(duì)AI輸出的結(jié)果進(jìn)行標(biāo)注，訓(xùn)練出一個(gè)“獎(jiǎng)勵(lì)函數(shù)”，該函數(shù)能夠進(jìn)一步對(duì)計(jì)算結(jié)果進(jìn)行評(píng)估打分，促使AI不斷調(diào)整參數(shù)權(quán)重，逐步生成更加準(zhǔn)確、符合人類語(yǔ)言習(xí)慣與價(jià)值偏好的回答。

ChatGPT是由美國(guó)人工智能研究實(shí)驗(yàn)室OpenAI研發(fā)的聊天機(jī)器人程序，是人工智能技術(shù)驅(qū)動(dòng)的自然語(yǔ)言處理工具。

ChatGPT受到關(guān)注的重要原因是引入新技術(shù)RLHF （基于人類反饋的強(qiáng)化學(xué)習(xí)）。RLHF 解決了生成模型的一個(gè)核心問(wèn)題，即如何讓人工智能模型的產(chǎn)出和人類的常識(shí)、認(rèn)知、需求、價(jià)值觀保持一致。ChatGPT是AIGC（人工智能生成內(nèi)容）技術(shù)進(jìn)展的成果。該模型能夠促進(jìn)利用人工智能進(jìn)行內(nèi)容創(chuàng)作、提升內(nèi)容生產(chǎn)效率與豐富度。

ChatGPT并不是從天而降，從2015年OpenAI成 立， 到2022年 推 出ChatGPT， 經(jīng)歷了長(zhǎng)達(dá)八年的磨礪。從技術(shù)范式的角度來(lái)看，ChatGPT大致經(jīng)歷了四個(gè)發(fā)展階段。

初代GPT—1（2018年）采取的是生成式預(yù)訓(xùn)練模型Transform，這是一種采用自注意力機(jī)制的深度學(xué)習(xí)模型。GPT-1的方法包含預(yù)訓(xùn)練和微調(diào)兩個(gè)階段，預(yù)訓(xùn)練遵循的是語(yǔ)言模型的目標(biāo)，微調(diào)過(guò)程遵循的是文本生成任務(wù)的目的。由此，GPT—1具有較強(qiáng)的語(yǔ)言生成能力。GPT—2（2019年）適用的任務(wù)鎖定在語(yǔ)言模型，它擁有和GPT—1一樣的模型結(jié)構(gòu)，但得益于更高的數(shù)據(jù)質(zhì)量和更大的數(shù)據(jù)規(guī)模，GPT—2有了驚人的生成能力。它可以生成語(yǔ)言，并且在一定程度上準(zhǔn)確識(shí)別語(yǔ)言。但其在接受音樂(lè)和講故事等專業(yè)領(lǐng)域任務(wù)時(shí)表現(xiàn)很不好。GPT—3（2020年）將GPT模型提升到全新的高度，其訓(xùn)練參數(shù)是GPT—2的10倍以上，技術(shù)路線上則去掉了初代GPT的微調(diào)步驟，直接輸入自然語(yǔ)言當(dāng)作指示，給GPT訓(xùn)練讀過(guò)文字和句子后可接續(xù)問(wèn)題的能力，同時(shí)包含了更為廣泛的主題。它可以生成各種類型的文本，可以理解文本的語(yǔ)義。ChatGPT（2022年）由效果比GPT—3更強(qiáng)大的GPT—3.5系列模型提供支持，這些模型使用微軟Azure AI超級(jí)計(jì)算基礎(chǔ)設(shè)施上的文本和代碼數(shù)據(jù)進(jìn)行訓(xùn)練。具體來(lái)說(shuō)，ChatGPT在一個(gè)開(kāi)源數(shù)據(jù)集上進(jìn)行訓(xùn)練，訓(xùn)練參數(shù)是前代GPT—3的10倍以上，同時(shí)還新引入了人工標(biāo)注數(shù)據(jù)、強(qiáng)化學(xué)習(xí)等兩項(xiàng)功能，實(shí)現(xiàn)了在與人類互動(dòng)時(shí)從反饋中強(qiáng)化學(xué)習(xí)。因此，ChatGPT的語(yǔ)言處理功能變得非常強(qiáng)大，它既能理解人類不同指令的含義，又會(huì)甄別高水準(zhǔn)答案，還能處理多元化的主題任務(wù)，既可以回答用戶后續(xù)問(wèn)題，也可以質(zhì)疑錯(cuò)誤問(wèn)題和拒絕不適當(dāng)?shù)恼?qǐng)求。

ChatGPT引發(fā)的產(chǎn)業(yè)變革與社會(huì)風(fēng)險(xiǎn)

ChatGPT不僅是新一代聊天機(jī)器人的突破，也將為信息產(chǎn)業(yè)帶來(lái)巨大變革，但由此帶來(lái)的學(xué)術(shù)造假、技術(shù)濫用、輿論安全等風(fēng)險(xiǎn)亦不容忽視。

ChatGPT是人工智能技術(shù)“量變”引發(fā)“質(zhì)變”的代表。ChatGPT創(chuàng)新浪潮的突破點(diǎn)是大語(yǔ)言模型，ChatGPT并不是技術(shù)本身，它只是“大模型”的產(chǎn)物和嘗試。ChatGPT在GPT模型基礎(chǔ)上，采用人類反饋強(qiáng)化學(xué)習(xí)（RLHF）的訓(xùn)練機(jī)制和提示導(dǎo)引模式，促使模型越來(lái)越順應(yīng)人類的思考邏輯，更加符合人類認(rèn)知和習(xí)慣，這是工程實(shí)現(xiàn)上的重要?jiǎng)?chuàng)新?！按笳Z(yǔ)言模型”的成功，意味著之前卡住人工智能自然語(yǔ)言處理發(fā)展的技術(shù)瓶頸被突破，也預(yù)示著這一技術(shù)路線未來(lái)可能誕生很多創(chuàng)新。

ChatGPT大模型訓(xùn)練將帶來(lái)高算力需求，或?qū)㈤_(kāi)啟算力霸權(quán)時(shí)代。訓(xùn)練ChatGPT需要使用大量算力資源。據(jù)微軟官網(wǎng)介紹，微軟Azure為OpenAI開(kāi)發(fā)的超級(jí)計(jì)算機(jī)是一個(gè)單一系統(tǒng)，具有超過(guò)28.5萬(wàn)個(gè)CPU核心、1萬(wàn)個(gè)GPU和400 GB/s的GPU服務(wù)器網(wǎng)絡(luò)傳輸帶寬。同時(shí)，算力資源的大量消耗，將推動(dòng)算力成本上升，進(jìn)而引致算力使用者集聚在少數(shù)企業(yè)或組織。據(jù)此，未來(lái)?yè)碛懈S富算力資源的模型開(kāi)發(fā)者，或?qū)⒛軌蛴?xùn)練出更優(yōu)秀的AI模型，進(jìn)而可能開(kāi)啟算力霸權(quán)時(shí)代。

大模型訓(xùn)練熱潮下，算力基礎(chǔ)設(shè)施有望迎來(lái)產(chǎn)業(yè)機(jī)遇。ChatGPT發(fā)布后引發(fā)了全球范圍的關(guān)注和討論，國(guó)內(nèi)各大廠商相繼宣布GPT模型開(kāi)發(fā)計(jì)劃。同時(shí)，以GPT模型為代表的AI大模型訓(xùn)練，需要消耗大量算力資源。隨著國(guó)產(chǎn)大模型開(kāi)發(fā)陸續(xù)進(jìn)入預(yù)訓(xùn)練階段，算力需求持續(xù)釋放或?qū)?dòng)算力基礎(chǔ)設(shè)施產(chǎn)業(yè)迎來(lái)增長(zhǎng)新周期。算力基礎(chǔ)設(shè)施產(chǎn)業(yè)鏈核心環(huán)節(jié)的算力芯片、服務(wù)器和IDC服務(wù)商可能會(huì)迎來(lái)新一輪發(fā)展。

ChatGPT是一把“雙刃劍”，要審慎應(yīng)用。以ChatGPT為代表的新型AI技術(shù)“雙刃劍”特征明顯，不僅自身存在數(shù)字安全威脅和隱患，隨著人工智能工程化、場(chǎng)景化、平臺(tái)化落地不斷加快，人工智能安全需求將超越單純技術(shù)范疇。根據(jù)相關(guān)報(bào)道，ChatGPT最初的爆火源于它在一位工程師誘導(dǎo)下，寫出了毀滅人類的計(jì)劃書，步驟詳細(xì)且給出相應(yīng)的Python代碼。此外，ChatGPT被濫用的問(wèn)題也愈發(fā)明顯，比如使用ChatGPT做家庭作業(yè)、寫論文或完成測(cè)試。與此同時(shí)，由于ChatGPT訓(xùn)練數(shù)據(jù)來(lái)源于公開(kāi)互聯(lián)網(wǎng)，生成的內(nèi)容有可能構(gòu)成知識(shí)產(chǎn)權(quán)侵權(quán)的風(fēng)險(xiǎn)。

緊抓機(jī)遇，加快發(fā)展浙江人工智能產(chǎn)業(yè)

浙江是全國(guó)數(shù)字經(jīng)濟(jì)先行省份，人工智能發(fā)展水平處于全國(guó)前列，擁有人工智能核心技術(shù)研發(fā)、智能終端制造到行業(yè)智能化應(yīng)用的完整產(chǎn)業(yè)鏈。當(dāng)前，應(yīng)以全省大力實(shí)施數(shù)字經(jīng)濟(jì)創(chuàng)新提質(zhì)“一號(hào)發(fā)展工程”為契機(jī)，加快ChatGPT等人工智能關(guān)鍵核心技術(shù)攻關(guān)，建設(shè)一批平臺(tái)載體，形成一批特色場(chǎng)景應(yīng)用，努力打造具有國(guó)際競(jìng)爭(zhēng)力的人工智能產(chǎn)業(yè)集群。

堅(jiān)持創(chuàng)新制勝，組織一批關(guān)鍵核心技術(shù)聯(lián)合攻關(guān)。立足浙江人工智能產(chǎn)業(yè)基礎(chǔ)，充分發(fā)揮比較優(yōu)勢(shì)，依托之江實(shí)驗(yàn)室、浙江大學(xué)、阿里達(dá)摩院等名校大院，發(fā)揮集中力量辦大事的制度優(yōu)勢(shì)，著力突破若干關(guān)鍵核心技術(shù)。

堅(jiān)持人才為本，構(gòu)建人工智能基礎(chǔ)理論與應(yīng)用技術(shù)相結(jié)合的學(xué)科體系。依托浙江大學(xué)、浙江工業(yè)大學(xué)、杭州電子科技大學(xué)等高校，進(jìn)一步構(gòu)建人工智能基礎(chǔ)理論與應(yīng)用技術(shù)相結(jié)合的學(xué)科體系，通過(guò)基礎(chǔ)理論與應(yīng)用并重的學(xué)科體系建設(shè)，努力提升人工智能顛覆性創(chuàng)新的話語(yǔ)權(quán)。

ChatGPT是人工智能技術(shù)“量變”引發(fā)“質(zhì)變”的代表。

堅(jiān)持需求牽引，重點(diǎn)布局一批企業(yè)級(jí)人工智能研究院。從全球來(lái)看，高校教授成為企業(yè)和高校間的特殊紐帶，如“深度學(xué)習(xí)之父”Hinton在多倫多大學(xué)擔(dān)任教授，同時(shí)受聘為谷歌大腦人工智能團(tuán)隊(duì)首席科學(xué)家。建議充分發(fā)揮阿里巴巴、網(wǎng)易、海康威視等省內(nèi)龍頭企業(yè)領(lǐng)軍人才的作用，加強(qiáng)具有前瞻性的人工智能領(lǐng)域企業(yè)級(jí)研究院布局。

堅(jiān)持融合推動(dòng)，打造區(qū)域人工智能技術(shù)融合創(chuàng)新生態(tài)系統(tǒng)。建立以政府主導(dǎo)的區(qū)域技術(shù)融合創(chuàng)新系統(tǒng)，將“基礎(chǔ)研究—應(yīng)用研究—試驗(yàn)開(kāi)發(fā)”創(chuàng)新鏈升級(jí)為連通企業(yè)、高校、研究院所、政府等創(chuàng)新主體的共同體生態(tài)，有機(jī)整合各類要素、多元主體、異質(zhì)產(chǎn)業(yè)群等，形成區(qū)域技術(shù)創(chuàng)新生態(tài)系統(tǒng)。

堅(jiān)持實(shí)體導(dǎo)向，推動(dòng)人工智能技術(shù)賦能實(shí)體經(jīng)濟(jì)轉(zhuǎn)型升級(jí)。依托“萬(wàn)畝千億”新產(chǎn)業(yè)平臺(tái)、未來(lái)產(chǎn)業(yè)發(fā)展先導(dǎo)區(qū)、特色小鎮(zhèn)等產(chǎn)業(yè)平臺(tái)，推動(dòng)開(kāi)展一批重點(diǎn)領(lǐng)域融合創(chuàng)新工程，搭建一批能用管用好用的人工智能應(yīng)用場(chǎng)景，培育一批標(biāo)志性人工智能技術(shù)產(chǎn)品，提升重點(diǎn)領(lǐng)域人工智能產(chǎn)品智能化水平，力爭(zhēng)在全省乃至全國(guó)范圍內(nèi)形成標(biāo)桿和規(guī)模效應(yīng)。

堅(jiān)持守正創(chuàng)新，強(qiáng)化人工智能論理治理研究。由省社科聯(lián)牽頭組織省內(nèi)智庫(kù)平臺(tái)等相關(guān)力量，加強(qiáng)人工智能倫理治理研究力量，促進(jìn)形成更多更加開(kāi)放、有國(guó)內(nèi)外影響力的交流合作平臺(tái)組織，推動(dòng)國(guó)內(nèi)倫理治理規(guī)則共識(shí)、浙江方案的形成。鼓勵(lì)省內(nèi)人工智能企業(yè)加大“走出去”力度，充分利用“一帶一路”倡議、G20等雙/多邊合作機(jī)制，主動(dòng)融入全球人工智能治理體系，積極參與全球人工智能規(guī)則制定。