国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

AIGC的科學(xué)基礎(chǔ)

2023-02-21 07:35楊善林李霄劍張強(qiáng)莫杭杰彭張林焦建玲蔣翠清蔡正陽李玲
預(yù)測 2023年6期
關(guān)鍵詞:神經(jīng)元神經(jīng)網(wǎng)絡(luò)人工智能

楊善林,李霄劍,張強(qiáng),莫杭杰,彭張林,焦建玲,蔣翠清,蔡正陽,李玲

(1.合肥工業(yè)大學(xué) 管理學(xué)院,安徽 合肥 230009;2.過程優(yōu)化與智能決策教育部重點(diǎn)實(shí)驗(yàn)室,安徽 合肥 230009;3.數(shù)據(jù)科學(xué)與智慧社會(huì)治理教育部哲學(xué)社會(huì)科學(xué)實(shí)驗(yàn)室,安徽 合肥 230009)

1 引言

互聯(lián)網(wǎng)上的內(nèi)容生成技術(shù),一直伴隨著互聯(lián)網(wǎng)的發(fā)展而發(fā)展。從最初的專家生成(professional generated content,PGC)[1],到用戶生成(user generated content,UGC)[2],再到人工智能內(nèi)容生成(artificial intelligence generated content,AIGC)[3],這既體現(xiàn)了互聯(lián)網(wǎng)快速發(fā)展,更凸顯了人工智能能力的大幅躍升。2006年深度學(xué)習(xí)提出以來,人工智能在圖像[4]、語音[5]、自然語言處理[6]等多個(gè)領(lǐng)域展現(xiàn)出了其他技術(shù)無法匹敵的能力。2016年,A lphaGo戰(zhàn)勝圍棋冠軍李世石,人工智能從此逐步在圍棋[7]、游戲[8]、繪畫[9]、蛋白結(jié)構(gòu)預(yù)測[10]等特定任務(wù)領(lǐng)域達(dá)到甚至超越人類專家水平,然而這些人工智能仍屬于非通用人工智能,即弱人工智能。

通用人工智能或強(qiáng)人工智能(artificial general intelligence,AGI)是可以學(xué)習(xí)并完成人類或動(dòng)物可以完成的任何智力任務(wù)的人造智能體,一般認(rèn)為需要具備推理、不確定性決策、常識(shí)認(rèn)知、計(jì)劃、學(xué)習(xí)、自然語言交流等能力,并在必要時(shí)整合這些技能完成任意給定目標(biāo)。如何構(gòu)建強(qiáng)人工智能體是人工智能領(lǐng)域追求的主要目標(biāo),為此Google[11]、微軟[12]、OpenAI[13]等公司大力投入從多種不同路徑探索強(qiáng)人工智能的構(gòu)造方法。2017年,Google在神經(jīng)信息處理系統(tǒng)大會(huì)(Conference on Neural Information Processing Systems,NIPS)上發(fā)表了名為《Attention is All You Need》[14]的論文,文中提出了基于注意力機(jī)制[15]的Transformer結(jié)構(gòu),能夠有效提取詞語間的相關(guān)性,并且模型架構(gòu)十分靈活。Transformer靈活的架構(gòu)和優(yōu)異的性能使得科學(xué)家們產(chǎn)生了探究其能力極限的想法,大模型的概念應(yīng)運(yùn)而生。

GPT(generative pre-trained transformer)系列就是以Transformer為基礎(chǔ)構(gòu)建的生成式大語言模型。2018年6月,OpenAI就發(fā)布了GPT-1專注于自然語言生成任務(wù),共有12個(gè)注意力模塊,1.17億個(gè)參數(shù)[16]。2019年2月,OpenAI發(fā)布了GPT-2,不僅取消了面向各類子任務(wù)的有監(jiān)督微調(diào),模型的參數(shù)量還達(dá)到了15.42億[17]。2020年6月GPT-3推出,參數(shù)量進(jìn)一步提升至1750億,具有96層架構(gòu),1288個(gè)超參數(shù),此外還利用了45TB的文本數(shù)據(jù)進(jìn)行模型的訓(xùn)練[18]。2022年,OpenAI先后推出了GPT-3.5、Instruct GPT和ChatGPT[19],利用強(qiáng)化學(xué)習(xí)再一次對模型進(jìn)行訓(xùn)練,讓輸出結(jié)果更符合人類的價(jià)值需求。2023年3月14日,OpenAI正式推出了GPT-4,不僅在能力上比GPT-3.5有巨大提升,還具備了跨模態(tài)理解的能力。微軟專家團(tuán)隊(duì)對GPT-4做了系統(tǒng)性評(píng)測,評(píng)測指出GPT-4已經(jīng)初步具備了通用人工智能的基本特質(zhì),可以被認(rèn)為是一種形式的強(qiáng)人工智能,這是人類首次制造出具備一定常識(shí)認(rèn)知和推理能力的強(qiáng)人工智能體[20]。2023年9月,OpenAI推出了GPT-4V,在GPT-4原有能力的基礎(chǔ)上強(qiáng)化了對圖像的理解分析能力,GPT-4V將與語音模塊一同接入ChatGPT中,使其具備看、聽、說的能力。

人工智能的發(fā)展進(jìn)程超越大多數(shù)人的預(yù)期,想要理清這些重大突破到底是如何實(shí)現(xiàn)的,就需要從科學(xué)基礎(chǔ)的視角進(jìn)行分析,發(fā)現(xiàn)推動(dòng)人工智能發(fā)展的關(guān)鍵要點(diǎn)。本文梳理了在AIGC發(fā)展的全過程中,對其產(chǎn)生重要影響和重大推動(dòng)作用的科學(xué)發(fā)現(xiàn)與技術(shù)發(fā)明,這些研究工作分布于多個(gè)領(lǐng)域,包括生物學(xué)、認(rèn)知科學(xué)、數(shù)理計(jì)算科學(xué)、決策科學(xué)、復(fù)雜性科學(xué)等。這些學(xué)科在AIGC發(fā)展的不同階段起到了各種不同的作用:生物學(xué)通過對生物智能基礎(chǔ)結(jié)構(gòu)及其機(jī)理的解析為AIGC算法基本結(jié)構(gòu)提供了最初的啟示,認(rèn)知科學(xué)通過提煉基本認(rèn)知規(guī)律為AIGC的機(jī)制設(shè)計(jì)提供了方向和目標(biāo),數(shù)理計(jì)算科學(xué)通過完善嚴(yán)謹(jǐn)?shù)捏w系為構(gòu)建AIGC提供了理論和技術(shù)工具,決策科學(xué)通過對社會(huì)系統(tǒng)的剖析可以為AIGC的運(yùn)營提供安全保障,復(fù)雜性科學(xué)則為解析AIGC與通用智能的內(nèi)在機(jī)理提供了研究思路。這些學(xué)科相互交織,共同形成了AIGC的科學(xué)基礎(chǔ)。本文在分析總結(jié)這些學(xué)科發(fā)展規(guī)律的基礎(chǔ)上,對AIGC的未來發(fā)展進(jìn)行了分析與展望,以期推動(dòng)我國在通用人工智能領(lǐng)域的快速創(chuàng)新發(fā)展。

2 生物學(xué)與A IGC

自然界中的智能體是以生命的形式展現(xiàn)的,因此除了哲學(xué)層面的思考以外,人類對智能的研究探索是以生物學(xué)為開端進(jìn)行發(fā)展的。早期,人類對智能產(chǎn)生機(jī)理的探索是在還原論思想的主導(dǎo)下開展的,通過逐步探究底層結(jié)構(gòu)確立其功能特性。從16世紀(jì)初步確立大腦為智能產(chǎn)生的硬件單元,到18世紀(jì)生物電信號(hào)及其作用的發(fā)現(xiàn),再到19世紀(jì)大腦分區(qū)功能的確定,直至20世紀(jì)初確立神經(jīng)元理論。此后,人類對神經(jīng)科學(xué)和腦科學(xué)的研究逐步從還原論向系統(tǒng)論過渡。下面以兩個(gè)諾貝爾獎(jiǎng)成果為例做簡要介紹。

2.1 生物神經(jīng)網(wǎng)絡(luò)的發(fā)現(xiàn)與人工神經(jīng)網(wǎng)絡(luò)的發(fā)明

現(xiàn)代腦科學(xué)的研究起源于神經(jīng)元的發(fā)現(xiàn)。意大利科學(xué)家Golgi于1873年首創(chuàng)了Golgi染色法,利用鉻酸鹽—硝酸銀將原本顯微鏡下接近透明的腦組織切片中的一部分神經(jīng)細(xì)胞染成棕黑色,這些被染色的神經(jīng)細(xì)胞在顯微鏡下呈現(xiàn)出一個(gè)錯(cuò)綜復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)[21]。由此,Golgi堅(jiān)定地認(rèn)為神經(jīng)組織是一個(gè)相互聯(lián)通的共享細(xì)胞質(zhì)的網(wǎng)絡(luò)結(jié)構(gòu),即彌散神經(jīng)網(wǎng)絡(luò)理論[22]。西班牙科學(xué)家Cajal則以Golgi染色法為基礎(chǔ)開展了進(jìn)一步研究,由于成熟腦組織神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)過于復(fù)雜,他轉(zhuǎn)向研究新生而非成年的腦組織,此時(shí)腦組織中的神經(jīng)元發(fā)育還未完善,可以較為清晰地看到神經(jīng)元的各種結(jié)構(gòu)[23]。Cajal基于他自己的實(shí)驗(yàn)觀測結(jié)果,堅(jiān)定地認(rèn)為神經(jīng)系統(tǒng)應(yīng)是由獨(dú)立的神經(jīng)細(xì)胞組成、而非一張融合在一起的大網(wǎng),由此神經(jīng)元學(xué)說被正式提出。Golgi和Cajal的學(xué)術(shù)觀點(diǎn)相互對立,即便是在諾貝爾獎(jiǎng)的頒獎(jiǎng)臺(tái)上,Golgi[24]也以《神經(jīng)元學(xué)說:理論和事實(shí)》為題進(jìn)一步抨擊Cajal的神經(jīng)元理論,申明自己對神經(jīng)網(wǎng)絡(luò)理論的堅(jiān)持。即便如此,兩人的研究一同奠定了現(xiàn)代神經(jīng)科學(xué)基礎(chǔ),1906年共同獲得諾貝爾生理學(xué)或醫(yī)學(xué)獎(jiǎng)。

隨著電子顯微鏡的發(fā)明,微觀結(jié)構(gòu)逐步被清晰地展示在人類面前。1955年,洛克菲勒研究所的Palay和Palade[25]通過電子顯微鏡觀察到神經(jīng)元與神經(jīng)元之間存在空隙,即突觸間隙,由此神經(jīng)元理論被正式寫入了教科書中。Golgi和Cajal的學(xué)術(shù)之爭本應(yīng)該就此蓋棺定論,但隨著探索的不斷推進(jìn),人們又有了新的發(fā)現(xiàn)。2023年,Burkhardt等[26]在Science上發(fā)表文章,發(fā)現(xiàn)櫛水母個(gè)體發(fā)育的早期階段,其皮下神經(jīng)網(wǎng)絡(luò)的神經(jīng)細(xì)胞之間并沒有相互分離的突觸進(jìn)行聯(lián)結(jié),而是像Golgi描述的那樣,融合形成了一個(gè)連續(xù)的質(zhì)膜,即多個(gè)神經(jīng)元細(xì)胞彼此不可分地形成了一張整體網(wǎng)絡(luò)。這一發(fā)現(xiàn)也證明了Golgi和Cajal的學(xué)術(shù)觀點(diǎn)并不互斥,他們的理論共同推動(dòng)著神經(jīng)科學(xué)與腦科學(xué)的發(fā)展。

在生物神經(jīng)網(wǎng)絡(luò)相關(guān)研究的啟發(fā)下,20世紀(jì)40年代,數(shù)理計(jì)算領(lǐng)域的科學(xué)家們開始嘗試模擬神經(jīng)元的運(yùn)作機(jī)制。1943年,心理學(xué)家McCulloch和數(shù)理邏輯學(xué)家Pitts[27]在分析、總結(jié)生物神經(jīng)元基本特性的基礎(chǔ)上首先提出神經(jīng)元的數(shù)學(xué)模型。該模型最初只考慮了二進(jìn)制的輸入輸出,有多個(gè)輸入端口和一個(gè)輸出端口,利用權(quán)重對多個(gè)二進(jìn)制輸入進(jìn)行加權(quán)求和后,采用一個(gè)類似于閾值分割的階躍函數(shù)對輸出進(jìn)行二值化處理,因此該神經(jīng)元模型也被稱為閾值邏輯單元。此后,學(xué)者們在此模型的基礎(chǔ)上進(jìn)行擴(kuò)展和微調(diào),逐步形成了今天的人工神經(jīng)網(wǎng)絡(luò)。1951年,圖靈獎(jiǎng)獲獎(jiǎng)?wù)進(jìn)insky在他的博士研究期間提出了關(guān)于思維如何萌發(fā)并形成的一些基本理論,并建造了世界上第一個(gè)人工神經(jīng)網(wǎng)絡(luò)模擬器,名為SNARE。SNARE基于1949年Hebb[28]提出的Hebb學(xué)習(xí)規(guī)則開發(fā),是一臺(tái)由大約40個(gè)Hebb突觸組成的隨機(jī)連接網(wǎng)絡(luò)模擬器。1956年,Minsky和McCarthy一起發(fā)起“達(dá)特茅斯會(huì)議”并提出人工智能(artificial intelligence)概念。由于Minsky在人工智能領(lǐng)域的奠基性貢獻(xiàn)被授予1969年度的圖靈獎(jiǎng),也是人工智能領(lǐng)域第一個(gè)圖靈獎(jiǎng)獲獎(jiǎng)?wù)摺?/p>

此后,人工神經(jīng)網(wǎng)絡(luò)進(jìn)行了許多輪的迭代,各種各樣的網(wǎng)絡(luò)模型和學(xué)習(xí)方法被提出。1958年,Rosenblatt[29]對上述神經(jīng)元模型進(jìn)行改進(jìn),設(shè)計(jì)了具有單層神經(jīng)網(wǎng)絡(luò)的感知器模型,但當(dāng)時(shí)僅能處理線性分類問題。1969年,Minsky和Papert[30]出版了經(jīng)典著作《Perceptrons》,證明了單層感知器無法解決異或邏輯運(yùn)算等非線性問題,并引出了具備更強(qiáng)特征表達(dá)能力的多層感知器的概念。1986年,Hinton和Sejnowski[31]結(jié)合多層神經(jīng)網(wǎng)絡(luò)以及Hop field網(wǎng)絡(luò)[32]設(shè)計(jì)了玻爾茲曼機(jī)(Boltzmann machine),為概率建模提供了新思路,在處理無標(biāo)簽數(shù)據(jù)和特征學(xué)習(xí)方面具有獨(dú)特優(yōu)勢。同年,Rumelhart等[33]又提出用于神經(jīng)網(wǎng)絡(luò)參數(shù)學(xué)習(xí)的反向傳播方法,拓展了感知器模型的應(yīng)用范圍。

2.2 生物神經(jīng)網(wǎng)絡(luò)信息處理機(jī)制的發(fā)現(xiàn)與深度學(xué)習(xí)方法的發(fā)明

20世紀(jì)中葉,人們對單一神經(jīng)元結(jié)構(gòu)解析已經(jīng)逐漸清晰,其以生物電信號(hào)為核心的信號(hào)傳遞機(jī)理也逐步清楚。但是,大腦高級(jí)功能是如何產(chǎn)生的謎題始終未能破解。Hubel和W iesel[34]在這一時(shí)期開始了對視覺系統(tǒng)感知與發(fā)育機(jī)理的研究。當(dāng)時(shí)最先進(jìn)的特殊記錄電極設(shè)備允許他們對單個(gè)神經(jīng)元進(jìn)行測量,捕獲它們被激活的情況?;谶@一設(shè)備,Hubel和Wiesel于1962年開始嘗試?yán)L制貓視覺神經(jīng)系統(tǒng)的認(rèn)知地圖,以此確認(rèn)視覺皮層不同區(qū)域的神經(jīng)元細(xì)胞在功能上是否有分工。他們通過給貓看幻燈片,然后利用特殊記錄電極來測量貓的某單個(gè)視覺皮層神經(jīng)元細(xì)胞被激活的情況,以此來判斷不同位置的視覺神經(jīng)元對何種圖像模式敏感。實(shí)驗(yàn)發(fā)現(xiàn)貓的視覺皮層對信息的處理是一種層級(jí)結(jié)構(gòu),所傳遞的信號(hào)會(huì)在不同層級(jí)間發(fā)生轉(zhuǎn)換,進(jìn)而使得不同層級(jí)的神經(jīng)元會(huì)對不同的圖像模式敏感,且越后端的神經(jīng)元會(huì)被越復(fù)雜的圖像模式激活。例如,靠近視覺前端的簡單神經(jīng)元細(xì)胞會(huì)對明顯的光暗分界線敏感,中端的復(fù)雜神經(jīng)元?jiǎng)t會(huì)對線條和角點(diǎn)敏感,而后端的超復(fù)雜神經(jīng)元?jiǎng)t會(huì)對方形、三角形等幾何圖形敏感[34,35]。此后,Hubel和W iesel[36-38]又對視覺系統(tǒng)的發(fā)育展開了一系列研究,揭示了外界光刺激對視覺系統(tǒng)發(fā)育的影響至關(guān)重要,此外他們還做出了視覺功能柱的發(fā)現(xiàn)、視覺功能柱結(jié)構(gòu)解析、視皮層可塑性研究等一系列貢獻(xiàn)。因?yàn)樗麄冊谝曈X系統(tǒng)信息處理方面的發(fā)現(xiàn),Hubel和Wiesel與發(fā)現(xiàn)大腦左右半球功能分工的Sperry一同獲得了1981年的諾貝爾生理學(xué)或醫(yī)學(xué)獎(jiǎng)。

隨著貓視覺認(rèn)知規(guī)律的發(fā)現(xiàn),人們意識(shí)到視覺信號(hào)在各層級(jí)間逐級(jí)傳遞的過程中,部分神經(jīng)元會(huì)逐步剔除空間位置的影響,而對大范圍的復(fù)雜形狀信息產(chǎn)生整體認(rèn)知。為了模擬這一過程,日本科學(xué)家福島邦彥[39]于1980年首次模擬了視覺神經(jīng)網(wǎng)絡(luò)的信息傳遞模式,提出了卷積層、池化層的模型構(gòu)建思想及其對應(yīng)的實(shí)現(xiàn)方法。此時(shí)的神經(jīng)網(wǎng)絡(luò)還沒有卷積的概念,福島邦彥用在位置上移動(dòng)(shift in position)來描述卷積操作的過程,然后利用池化來擴(kuò)大單一神經(jīng)元在空間位置上的感受野,最終達(dá)到不受空間位置影響的形狀認(rèn)知這一目的。福島邦彥當(dāng)時(shí)提出了一套無監(jiān)督學(xué)習(xí)的自組織方式進(jìn)行神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練。隨著反向傳播算法的提出,當(dāng)時(shí)所提出的學(xué)習(xí)方法逐步被取代,但卷積層、池化層的思想則被保留了下來。

在福島邦彥思想的啟發(fā)下,法國計(jì)算機(jī)科學(xué)家LeCun等[40]于1989年正式提出了卷積神經(jīng)網(wǎng)絡(luò)(CNN),定義了矩陣表述的卷積核對圖像進(jìn)行卷積處理,以此作為神經(jīng)網(wǎng)絡(luò)的核心結(jié)構(gòu),再結(jié)合池化層,實(shí)現(xiàn)了層級(jí)化的視覺信息提取。他們利用三層隱藏層對256像素的圖像進(jìn)行識(shí)別,利用Hinton提出的反向傳播算法進(jìn)行參數(shù)學(xué)習(xí),成功應(yīng)用于信件上手寫郵編的文本識(shí)別[40]。在此基礎(chǔ)上,LeCun與Hinton、Bengio一同繼續(xù)改進(jìn)反向傳播算法,并開始探索神經(jīng)網(wǎng)絡(luò)深度和廣度對算法性能的影響,發(fā)現(xiàn)如果一個(gè)深層結(jié)構(gòu)能夠剛剛好解決問題,那么就不可能用一個(gè)更淺的同樣緊湊的結(jié)構(gòu)來解決。因此,要解決復(fù)雜的問題,要么增加深度,要么增加寬度[41]。后續(xù)研究表明,增加深度比增加寬度更加有意義,深度學(xué)習(xí)的研究框架也在這一過程中逐步確立。LeCun與Hinton、Bengio也因深度學(xué)習(xí)方面的研究貢獻(xiàn)共同獲得了2018年度的圖靈獎(jiǎng)。

正如Golgi在諾貝爾獎(jiǎng)?lì)C獎(jiǎng)典禮上引用了Nobel的一句話:“每個(gè)新發(fā)現(xiàn)將在人類腦中留下種子,使新一代更多人可能思考更偉大的科學(xué)觀點(diǎn)?!盇IGC的發(fā)明也正是通過生命科學(xué)發(fā)現(xiàn)和基礎(chǔ)技術(shù)發(fā)明的漫長積累而形成的,如圖1所示。首先,由神經(jīng)學(xué)家、生物學(xué)家進(jìn)行基礎(chǔ)科學(xué)探索,發(fā)現(xiàn)生物神經(jīng)網(wǎng)絡(luò)構(gòu)造和視覺信息處理機(jī)制等;緊接著,數(shù)學(xué)家、心理學(xué)家、計(jì)算機(jī)科學(xué)家進(jìn)行新技術(shù)的發(fā)明,逐步建立了神經(jīng)網(wǎng)絡(luò)模型和深度學(xué)習(xí)方法等;然后,一些頂尖的人工智能企業(yè)在大規(guī)模實(shí)踐中大力推動(dòng)AIGC的成功應(yīng)用和快速發(fā)展。

圖1 生物學(xué)原理引導(dǎo)AIGC發(fā)明

3 認(rèn)知科學(xué)與A IGC

認(rèn)知科學(xué)是探究人腦或心智工作機(jī)制的前沿性尖端學(xué)科。1975年,在美國斯隆基金的支持下,科學(xué)家們在早期探索與發(fā)現(xiàn)的基礎(chǔ)上,將哲學(xué)、心理學(xué)、語言學(xué)、人類學(xué)、計(jì)算機(jī)科學(xué)和神經(jīng)科學(xué)六大學(xué)科整合在一起,以研究“在認(rèn)識(shí)過程中信息是如何傳遞的”這一共性問題,并形成了認(rèn)知科學(xué)學(xué)科。認(rèn)知科學(xué)確立時(shí)間較晚,從研究領(lǐng)域來看與生物學(xué)、數(shù)理計(jì)算科學(xué)均存在交集,因此能夠?qū)⑦@些與智能相關(guān)的學(xué)科聯(lián)結(jié)到一起,加速學(xué)科間知識(shí)、規(guī)律、機(jī)理的融通,為人工智能的發(fā)展及其相關(guān)機(jī)理的研究起到強(qiáng)大的推動(dòng)作用。認(rèn)知科學(xué)的研究對象包括感知、注意、記憶、語言、思維、意識(shí)等。

3.1 注意力模型與Transform er

注意力是大腦從龐雜信息中抽取核心信息并加以分析處理的重要機(jī)制。1958年,英國心理學(xué)家Broadbent[42]提出了過濾器模型,描述了注意力選擇的過程,如圖2(a)所示。Broadbent認(rèn)為當(dāng)人們接收到多種信號(hào)源時(shí),由于人腦的信息處理能力存在極限,需要通過過濾器加以調(diào)節(jié),將關(guān)注重點(diǎn)放在某一特定信號(hào)源上,從而忽略其他信息源?;谶@一觀點(diǎn),Broadbent構(gòu)建了包含感覺記憶存儲(chǔ)、選擇過濾器、有限容量高級(jí)處理系統(tǒng)和工作記憶等四部分組成的過濾器模型,其中選擇過濾器的作用就是從所有感知信息中篩選可被高級(jí)處理系統(tǒng)進(jìn)一步處理的信息。Broadbent所提出的模型是一種早期選擇模型,信息僅經(jīng)過最為基本的特征識(shí)別后,就會(huì)依據(jù)特征進(jìn)行選擇或者過濾。在Broadbent研究的基礎(chǔ)上,后續(xù)的研究者提出了許多更加復(fù)雜和精細(xì)化的注意力模型,例如后期選擇模型、注意力衰減模型、注意力的記憶選擇模型、注意力的多模模型、注意力容量模型等[43],為人類解析注意力機(jī)制提供了深刻的認(rèn)識(shí)。此后,大量的研究也從生理學(xué)的角度解析注意力機(jī)制的形成機(jī)理。例如,1977年Skinner[44]提出的丘腦網(wǎng)狀核閘門理論,從生理學(xué)的角度解釋了中腦網(wǎng)狀結(jié)構(gòu)對人腦注意力的調(diào)節(jié)與控制機(jī)制。再如,在哺乳動(dòng)物的視覺系統(tǒng)[45]中,科學(xué)家也發(fā)現(xiàn)存在“LGN→V1→高級(jí)皮質(zhì)區(qū)”的“自下而上”投射和自“高級(jí)皮質(zhì)區(qū)→V1→LGN”的“自上而下”投射,這樣的雙向投射構(gòu)成了一個(gè)神經(jīng)環(huán)路,具有注意力控制的功能。

圖2 注意力過濾器模型和深度學(xué)習(xí)中的注意力機(jī)制

2010年后,人們就逐步開始探索注意力機(jī)制在深度學(xué)習(xí)領(lǐng)域應(yīng)用,圖2(b)所示即為深度學(xué)習(xí)中的注意力機(jī)制[46]。2014年,Mnih等[47]發(fā)表了題為《Recurrent Models of Visual Attention》的文章,將注意力機(jī)制引入計(jì)算機(jī)視覺處理任務(wù)中,使得神經(jīng)網(wǎng)絡(luò)模型可以有選擇地關(guān)注圖像的某些局部區(qū)域,提高處理能力。隨后,Bahdanau等[48]則將類似的注意力機(jī)制應(yīng)用于機(jī)器翻譯任務(wù)中,使得神經(jīng)網(wǎng)絡(luò)模型能夠在翻譯的同時(shí)進(jìn)行語義對齊。在這些工作基礎(chǔ)上,注意力機(jī)制在各類自然語言處理任務(wù)中被廣泛使用。2017年,Google發(fā)表了《Attention is All You Need》[14],在注意力機(jī)制的基礎(chǔ)上提出了Transformer模型,開啟了人工智能的大模型時(shí)代。

3.2 記憶模塊模型與LSTM

記憶不僅僅是智能體存儲(chǔ)信息的主要方式,更是歸納提取關(guān)鍵要素的信息處理過程。1968年,認(rèn)知心理學(xué)家Atkinson和Shiffrin[49]提出了記憶的模塊模型,認(rèn)為存在三種模式的記憶:感覺記憶(sensory memory)、短時(shí)記憶(short-term memory)、長時(shí)記憶(long-term memory),如圖3(a)所示。三種記憶[50]在特定條件下會(huì)相互轉(zhuǎn)換,外界信息首先被存儲(chǔ)在感覺記憶中,通過注意力機(jī)制將注意選擇的信息轉(zhuǎn)化為短時(shí)記憶。通過對短時(shí)記憶的復(fù)述,信息會(huì)逐步寫入長時(shí)記憶中,而長時(shí)記憶可以通過提取重新載入為短時(shí)記憶[51]。在上述信息的轉(zhuǎn)化過程中,信息會(huì)經(jīng)過一系列的篩選和處理,在此過程中信息可能會(huì)遺失[52]。在隨后的研究中,學(xué)者們圍繞該模型開展了一系列生理機(jī)理的研究,對上述記憶功能對應(yīng)的大腦區(qū)域有了基本的認(rèn)識(shí)。

圖3 三種記憶模式和長短時(shí)記憶網(wǎng)絡(luò)

長短時(shí)記憶網(wǎng)絡(luò)(long short term memory,LSTM)就是對記憶功能的一種模擬,是Hochreiter和Schm idhuber[53]于1997年首次提出,后經(jīng)過學(xué)者們的反復(fù)改進(jìn)形成了現(xiàn)有的LSTM 網(wǎng)絡(luò)模型,如圖3(b)所示。LSTM 與RNN(recurrent neural network)結(jié)構(gòu)一樣也是一個(gè)由重復(fù)模塊反復(fù)堆疊形成的鏈?zhǔn)浇Y(jié)構(gòu),有三個(gè)門控模塊進(jìn)行信息的處理,分別為輸入門、遺忘門和輸出門,但是每個(gè)模塊之間都存在兩條信息通路分別傳遞神經(jīng)網(wǎng)絡(luò)的短時(shí)記憶和長時(shí)記憶,并通過遺忘門來調(diào)節(jié)后向傳遞過程中信息的損失量[54],以此模擬記憶和遺忘的認(rèn)知學(xué)機(jī)理。

3.3 獎(jiǎng)勵(lì)機(jī)制與強(qiáng)化學(xué)習(xí)

自古以來,獎(jiǎng)懲機(jī)制就被用于社會(huì)的諸多領(lǐng)域,成為人類社會(huì)有序運(yùn)行的重要基石。歷代政治家、思想家對賞罰多有論述。例如,唐太宗說:“國家大事,惟賞與罰?!蔽鳚h魏相說:“賞罰所以勸善禁惡,政之本也?!币虼耍藗儗萌祟愖陨淼莫?jiǎng)勵(lì)系統(tǒng)進(jìn)行行為管理的歷史極為悠久,但在科學(xué)的范疇下研究人類獎(jiǎng)勵(lì)系統(tǒng)的奧秘則是到20世紀(jì)中葉才正式開始的。

1954年加拿大麥吉爾大學(xué)的兩位博士后Olds和Milner[55]在一次偶然的實(shí)驗(yàn)中發(fā)現(xiàn)了小鼠大腦中的獎(jiǎng)勵(lì)系統(tǒng),這是人類首次發(fā)現(xiàn)大腦中的獎(jiǎng)勵(lì)系統(tǒng)。當(dāng)時(shí),他們正在做小鼠腦區(qū)電刺激的實(shí)驗(yàn),電極一端是小鼠腳下的一小塊通電區(qū)域,另一端是植入大腦某區(qū)域的導(dǎo)線。這并不是他們第一次做此類實(shí)驗(yàn),在之前的實(shí)驗(yàn)中,盡管刺激電流極其微弱,小鼠也會(huì)表現(xiàn)出憤怒、焦慮、緊張等情緒,從而試圖從地面的通電區(qū)域逃離。但這一次他們將電極接入了小鼠腦干后的某個(gè)區(qū)域,小鼠卻表現(xiàn)出了不一樣的行為特征:小鼠似乎很享受刺激,并且在小鼠脫離通電區(qū)域后還會(huì)主動(dòng)返回通電區(qū)域繼續(xù)接受腦區(qū)電刺激。發(fā)現(xiàn)了這個(gè)現(xiàn)象后,Milner和Olds就開始有針對性地設(shè)計(jì)實(shí)驗(yàn),他們做了一個(gè)拉桿,一旦小鼠按下拉桿就會(huì)獲得腦干后區(qū)域的電刺激。結(jié)果發(fā)現(xiàn)小鼠會(huì)以每小時(shí)數(shù)百乃至數(shù)千次的頻率主動(dòng)按下拉桿,以尋求腦區(qū)的刺激,直到筋疲力盡為止[56]。Milner和Olds還設(shè)計(jì)了走迷宮、解決問題等任務(wù),并在小鼠完成任務(wù)后給予電刺激獎(jiǎng)勵(lì),他們的實(shí)驗(yàn)結(jié)論是這種電刺激可以作為一種操作性的強(qiáng)化劑(operant reinforcer),即當(dāng)某種行為之后出現(xiàn)刺激時(shí),就會(huì)發(fā)生操作性強(qiáng)化,這對于學(xué)習(xí)反應(yīng)習(xí)慣至關(guān)重要[57]。

1961年,Minsky[58]發(fā)表了《Steps Toward Artificial Intelligence》一文,首次提出了強(qiáng)化學(xué)習(xí)(reinforcement learning)的概念,如圖4(a)所示。同時(shí)提出了“reinforcement operator” “reinforcement process”“reinforcement system”“trial and error”等概念。1989年,Watkins[59]首次提出了Q-learning算法,該算法是時(shí)間差分學(xué)習(xí)與最優(yōu)控制理論的結(jié)合體,實(shí)現(xiàn)了對之前不同強(qiáng)化學(xué)習(xí)路徑的統(tǒng)一。Q-learning算法在強(qiáng)化學(xué)習(xí)領(lǐng)域具有重要意義,但它在處理狀態(tài)空間過大的問題上存在局限性。2013年,DeepM ind公司提出了結(jié)合深度學(xué)習(xí)技術(shù)的強(qiáng)化學(xué)習(xí)模型——Deep Q Network(DQN)[60],模型框架如圖4(b)所示[61]。該模型通過利用深度神經(jīng)網(wǎng)絡(luò)來處理高維狀態(tài)空間的問題,顯著提升了強(qiáng)化學(xué)習(xí)模型在復(fù)雜環(huán)境中的應(yīng)用效果。AlphaGo就是在DQN基礎(chǔ)上研發(fā)出來的,使得人工智能在圍棋領(lǐng)域全面超越人類水平。在GPT-3.5的研發(fā)過程中,強(qiáng)化學(xué)習(xí)也被用來調(diào)整AIGC的答題偏好,使得GPT在與人交互過程中,逐步學(xué)會(huì)人類的喜好進(jìn)而給出更加貼合人類需求的答案。

圖4 強(qiáng)化學(xué)習(xí)框架的演化

認(rèn)知科學(xué)作為20世紀(jì)70年代才成立的新興學(xué)科,和生物學(xué)具有類似特性,即都在解析生物體所蘊(yùn)含的規(guī)律。但認(rèn)知科學(xué)和生物學(xué)也存在較為明顯的區(qū)別,生物學(xué)多從生理、生化層面揭示生物體的底層運(yùn)作規(guī)律,而認(rèn)知科學(xué)往往從行為規(guī)律層面挖掘智能體產(chǎn)生這些行為的機(jī)理。并且認(rèn)知科學(xué)的研究對象不僅是生物智能體,還包括人工智能體。因此,與生物學(xué)相比,發(fā)掘認(rèn)知科學(xué)的規(guī)律啟發(fā)人工智能領(lǐng)域的研究創(chuàng)新是更為快速的創(chuàng)新之路。

4 數(shù)理計(jì)算科學(xué)與AIGC

人類在生物學(xué)、認(rèn)知科學(xué)研究中雖對神經(jīng)網(wǎng)絡(luò)的物理形態(tài)和信息傳播規(guī)律有了較深入的了解,但是在學(xué)習(xí)、記憶、決策這些高階復(fù)雜功能的機(jī)理解析上尚有諸多謎題有待攻克,無法完全通過仿生模擬實(shí)現(xiàn)智能體的設(shè)計(jì)開發(fā),而數(shù)理計(jì)算科學(xué)正是彌補(bǔ)這一缺憾的核心手段。在人工智能發(fā)展過程中,神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法和機(jī)理解析工具是以數(shù)學(xué)理論為核心正向構(gòu)建出來的,同時(shí)數(shù)學(xué)自身的嚴(yán)謹(jǐn)性也為人工智能理論的發(fā)展奠定了堅(jiān)實(shí)的基礎(chǔ)。

4.1 優(yōu)化理論與機(jī)器學(xué)習(xí)

從數(shù)學(xué)的角度出發(fā),深度神經(jīng)網(wǎng)絡(luò)就是一個(gè)具有龐大參數(shù)的復(fù)雜非線性函數(shù),在模型結(jié)構(gòu)確定的情況下,模型參數(shù)的取值直接決定了函數(shù)的性質(zhì),即人工智能的能力水平。然而,“如何獲得最佳的權(quán)值”是神經(jīng)網(wǎng)絡(luò)模型誕生后一直困擾科學(xué)家的關(guān)鍵難題。

在早期,人們依然嘗試遵從仿生學(xué)的方法模擬人腦中的學(xué)習(xí)機(jī)制。加拿大心理學(xué)家Hebb[28]于1949提出了Hebb法則,當(dāng)存在兩個(gè)相鄰的神經(jīng)元細(xì)胞A和B,當(dāng)神經(jīng)元A的激發(fā)反復(fù)或持續(xù)導(dǎo)致神經(jīng)元B的激發(fā)時(shí),兩者之間鏈接關(guān)系將被增強(qiáng)?;谶@一法則發(fā)展的Hebb學(xué)習(xí)是一種無監(jiān)督學(xué)習(xí)方法,當(dāng)神經(jīng)網(wǎng)絡(luò)中兩個(gè)神經(jīng)元同時(shí)被激活則兩者間的權(quán)重正向增大,反之則減小。此后,Hebb學(xué)習(xí)還引申出來諸多變體,例如Klopf[62]提出的模型,再現(xiàn)了許多生物現(xiàn)象。然而,Hebb學(xué)習(xí)及其變體并沒有為神經(jīng)網(wǎng)絡(luò)引入功能性,也就是說無法實(shí)現(xiàn)有意義的學(xué)習(xí)。

為了實(shí)現(xiàn)有意義的學(xué)習(xí),科學(xué)家們將學(xué)習(xí)看作是一個(gè)數(shù)學(xué)中的優(yōu)化問題,提出了反向傳播方法。該方法的思想最早由Rosenblatt[63]于1962年提出“back-propagating error correction”(反向傳播糾錯(cuò))一詞進(jìn)行描述,但當(dāng)時(shí)他還不知道如何實(shí)現(xiàn)。經(jīng)過Linnainmaa,Rumelhart,Hinton和LeCun等的發(fā)展完善[64],反向傳播方法逐漸成為大家所熟知的形態(tài),其強(qiáng)大的適應(yīng)性使其成為深度學(xué)習(xí)最為通用的參數(shù)學(xué)習(xí)方法,最終人們將這項(xiàng)技術(shù)的發(fā)明歸功于Hinton。反向傳播的核心是最為常見的凸優(yōu)化求解算法——梯度下降法。一般而言,梯度下降法僅適用于凸優(yōu)化問題,而神經(jīng)網(wǎng)絡(luò)是一個(gè)典型的非凸函數(shù),為何梯度下降法能夠適應(yīng)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)需求呢?一種常見的解釋是,神經(jīng)網(wǎng)絡(luò)構(gòu)成的“地形”上有許多局部最小值和一個(gè)全局最小值,由于神經(jīng)網(wǎng)絡(luò)本身的復(fù)雜性,局部最小值和全局最小值并不存在太大的性能差別[65]。而且,基于隨機(jī)梯度下降的反向傳播算法能夠以較大概率跳出那些泛化性能差的“狹小”的局部最小值,而以較大概率停留在泛化性較好的“平坦”的局部最小值處[65]。除此之外,元學(xué)習(xí)、終身學(xué)習(xí)等研究方向上都有大批成果是從優(yōu)化理論的角度出發(fā)進(jìn)行創(chuàng)新與改進(jìn)的。

值得注意的是,反向傳播的提出者Hinton一直對反向傳播方法抱有懷疑態(tài)度,最直接的理由就在于生物大腦在學(xué)習(xí)過程中無法求導(dǎo)。2022年,Hinton等提出基于擾動(dòng)的學(xué)習(xí)方法并利用大量的局部貪心損失幫助推進(jìn)學(xué)習(xí)規(guī)模,以期尋找生物學(xué)上合理的學(xué)習(xí)算法[66]。

4.2 信息科學(xué)與特征提取

特征提取的目的是將原始數(shù)據(jù)映射到一個(gè)新的低維度空間,使得這個(gè)新的特征空間能盡可能地保留原始數(shù)據(jù)中的關(guān)鍵信息,同時(shí)去除冗余和噪聲。從信息科學(xué)的角度看,特征提取可以被視為一種數(shù)據(jù)的信息編碼過程。然而,如何高效提取特征信息一直是科學(xué)家們致力于解決的關(guān)鍵科學(xué)問題。

早期的特征提取通常模仿人類大腦的理解機(jī)制設(shè)計(jì)特征提取方法,需要大量的領(lǐng)域知識(shí)和經(jīng)驗(yàn),而且對于復(fù)雜的任務(wù),人工設(shè)計(jì)的特征往往效果不佳。但是,即使在這個(gè)階段,信息科學(xué)深刻影響特征提取算法設(shè)計(jì)。在語音識(shí)別中,梅爾頻率倒譜系數(shù)(Mel frequency cepstral coefficients)是一種常見的特征,其設(shè)計(jì)就參考了人類聽覺的頻率感知特性,這本質(zhì)上是一種對于信息重要性的編碼[67]。深度學(xué)習(xí)的發(fā)展將特征提取的重心逐漸從人工設(shè)計(jì)轉(zhuǎn)向自動(dòng)學(xué)習(xí)。在神經(jīng)網(wǎng)絡(luò)模型中,每一層通過非線性變換來實(shí)現(xiàn)特征的提取和信息的編碼。每一層的變換都可以被看作是一種編碼器,它將輸入的特征編碼為新的特征,并且傳遞給下一層[68]。在信息科學(xué)的框架下,這個(gè)過程可以被理解為一種信息的壓縮和去噪。每一層的變換都試圖將輸入的特征編碼為一個(gè)較小的特征集,同時(shí)保留盡可能多的有用信息。與此同時(shí),每一層的變換都試圖忽略那些噪聲信息,只保留那些對任務(wù)有用的信息。因此,特征提取可以被看作是信息壓縮和信息去噪之間的一種平衡。

神經(jīng)網(wǎng)絡(luò)模型需要通過訓(xùn)練來找到一種最優(yōu)的平衡。在這個(gè)過程中,損失函數(shù)起到了關(guān)鍵的作用。損失函數(shù)定義了模型預(yù)測的準(zhǔn)確性,它為模型的訓(xùn)練提供了目標(biāo)。從信息科學(xué)的角度看,損失函數(shù)實(shí)際上定義了一種在原始數(shù)據(jù)和編碼特征之間的信息距離。通過最小化這個(gè)信息距離,神經(jīng)網(wǎng)絡(luò)模型可以學(xué)習(xí)到一種最優(yōu)的特征提取和信息編碼方式。因此,信息熵和KL散度等信息科學(xué)中的概念被廣泛應(yīng)用于構(gòu)建和優(yōu)化損失函數(shù),驅(qū)動(dòng)網(wǎng)絡(luò)的學(xué)習(xí)和特征提取。例如,在變分自編碼器中,KL散度被用來測量編碼后的特征與先驗(yàn)分布的相似性,從而實(shí)現(xiàn)對特征的約束和正則化[69]。

信息科學(xué)為特征提取提供了重要的理論支持和方法工具,也影響了特征提取的實(shí)踐和發(fā)展方向。同時(shí),信息科學(xué)也為理解和解決大模型中的許多問題提供了一種基于數(shù)學(xué)的嚴(yán)格框架,這有助于我們在設(shè)計(jì)、訓(xùn)練和理解大模型時(shí)做出更有根據(jù)的決策。

4.3 概率論與生成模型

生成模型是AIGC的核心算法,從字面意義上理解,就是基于模型輸入自主生成輸出內(nèi)容的模型。在數(shù)理研究領(lǐng)域,人們一般利用概率論來描述生成模型及其訓(xùn)練過程,即學(xué)習(xí)輸入數(shù)據(jù)與輸出數(shù)據(jù)的聯(lián)合概率分布,在使用過程中,通過給定的模型輸入來約束輸出數(shù)據(jù)的概率分布,并進(jìn)行采樣得到模型的輸出結(jié)果。因此,生成模型是通過引入隨機(jī)性來使得模型具備一定的“創(chuàng)造性”能力,而概率論正是理解和復(fù)現(xiàn)數(shù)據(jù)生成過程、推動(dòng)生成模型發(fā)展的核心理論。

在生成模型的初期發(fā)展階段,人們嘗試?yán)靡幌盗械臈l件概率分布來描述數(shù)據(jù)的生成過程。Bayes[70]于1763年發(fā)表了那篇著名的《An Essay Towards Solving a Problem in the Doctrine of Chances》一文后,以貝葉斯公式為核心的貝葉斯理論開始逐漸發(fā)展起來。貝葉斯理論認(rèn)為任意未知量都可以被看作一個(gè)隨機(jī)變量,對該未知量的描述可以用一個(gè)概率分布來概括?;谠摾碚摪l(fā)展起來的貝葉斯網(wǎng)絡(luò)[71]和隱式馬爾科夫生成模型[72]可以直接推斷條件概率分布,或者通過最大似然估計(jì)等方法進(jìn)行優(yōu)化。

受限玻爾茲曼機(jī)(restricted Boltzmann machines,RBM)是Hinton于1986年提出的一種生成式隨機(jī)神經(jīng)網(wǎng)絡(luò),是生成模型發(fā)展中一次重大的進(jìn)步[73]。受限玻爾茲曼機(jī)從能量函數(shù)角度描述系統(tǒng)的狀態(tài),其中包括可見層(觀測數(shù)據(jù))和隱藏層,系統(tǒng)的概率分布由一個(gè)玻爾茲曼分布給出[73]。RBM 的訓(xùn)練過程涉及到馬爾可夫鏈蒙特卡羅(Markov Chain Monte Carlo,MCMC)[74]采樣,這是一種通過構(gòu)建轉(zhuǎn)移矩陣對概率分布進(jìn)行采樣的方法。然而,MCMC方法在訓(xùn)練和推斷期間都需要進(jìn)行多次迭代,造成了較高的計(jì)算復(fù)雜度。

隨著深度學(xué)習(xí)的快速發(fā)展,生成對抗網(wǎng)絡(luò)(generative adversarial networks,GANs)[75]和變分自編碼器(variational autoencoders,VAEs)[76]的出現(xiàn)帶來了生成模型的新一波革命。VAEs引入了基于概率的編碼器和解碼器,通過一個(gè)易于采樣和計(jì)算密度的隱變量來描述數(shù)據(jù)的生成過程。在訓(xùn)練期間,VAEs采用了變分推斷來近似后驗(yàn)分布,然后優(yōu)化了重構(gòu)損失和隱變量的KL散度,這兩者一起構(gòu)成了VAEs的目標(biāo)函數(shù)。除此之外,流模型(flow-based model)和擴(kuò)散模型(diffusion model)等生成模型的研究都是基于概率論的視角出發(fā)。

概率論在理解數(shù)據(jù)分布和設(shè)計(jì)有效的生成策略上發(fā)揮決定性作用。隨著更多的概率工具和理論的發(fā)展,例如隨機(jī)梯度變分推斷、正則化自編碼器等,生成模型將在處理更復(fù)雜的數(shù)據(jù)生成任務(wù)上取得更大的突破。

數(shù)理計(jì)算科學(xué)作為AIGC的技術(shù)核心,是論文成果涌現(xiàn)最多的領(lǐng)域,也是計(jì)算機(jī)科學(xué)、信息科學(xué)、控制科學(xué)等工科研究者最為熟悉的領(lǐng)域。人工智能領(lǐng)域所獲得的7次圖靈獎(jiǎng),共11位獲獎(jiǎng)?wù)?,均在這個(gè)領(lǐng)域做出了卓越的貢獻(xiàn),AIGC能夠從科學(xué)探索一步一步走到實(shí)踐應(yīng)用更是離不開一大批在該領(lǐng)域投入海量精力的科學(xué)家和工程師們。目前,數(shù)理計(jì)算領(lǐng)域仍有可解釋學(xué)習(xí)、終身學(xué)習(xí)、可信推理等問題有待進(jìn)一步研究解決,現(xiàn)有的理論方法在描述AIGC算法的學(xué)習(xí)與使用過程仍存在能力欠缺,呼吁數(shù)理計(jì)算領(lǐng)域的研究者們勇于創(chuàng)新,為AIGC建立更為完善的理論大廈。

5 決策科學(xué)與A IGC

隨著通用人工智能能力的不斷提升,人工智能體將逐漸融入社會(huì)系統(tǒng)中,承擔(dān)越來越復(fù)雜的實(shí)際任務(wù),逐步呈現(xiàn)出利益關(guān)聯(lián)、多級(jí)聯(lián)動(dòng)、目標(biāo)多樣、多方交互等特點(diǎn)。如何將社會(huì)規(guī)律與價(jià)值觀念融入智能體,如何平衡多樣化的決策目標(biāo),如何適應(yīng)并模擬不同人類個(gè)體和團(tuán)體的決策偏好進(jìn)行群體智能決策,如何成為社會(huì)系統(tǒng)中的一環(huán)維持系統(tǒng)穩(wěn)定高效運(yùn)行,已然成為了人工智能進(jìn)一步發(fā)展的核心問題。此時(shí),以人類的價(jià)值準(zhǔn)則、推理機(jī)制以及調(diào)控與反饋機(jī)制為核心的決策科學(xué)就在人工智能的發(fā)展與應(yīng)用過程中,起到了基礎(chǔ)性的科學(xué)理論與技術(shù)支撐作用。

5.1 A IGC的決策價(jià)值調(diào)控

在復(fù)雜社會(huì)系統(tǒng)中,人類活動(dòng)的決策價(jià)值往往與價(jià)值觀、文化、理念等思想層面的內(nèi)容深度綁定,在這些思想內(nèi)容的引導(dǎo)下推動(dòng)決策共識(shí)的達(dá)成。但是,AIGC生成內(nèi)容的過程是具有一定隨機(jī)性的,如何把控AIGC生成方案的決策價(jià)值傾向,使其能夠按照人們的意愿進(jìn)行方案生成,是該領(lǐng)域需要解決的一項(xiàng)技術(shù)難題。這一難題被稱為是AI對齊問題(AI alignment),即AI系統(tǒng)的目標(biāo)要和人類的價(jià)值觀與利益相對齊。

由于深度神經(jīng)網(wǎng)絡(luò)自身的黑盒特性和這些思想性的內(nèi)容難以形式化描述的現(xiàn)實(shí)狀況,AI對齊問題往往難以通過建立規(guī)則直接解決。因此,需要在模型訓(xùn)練過程中通過人為調(diào)控,使得大模型具備基本的決策價(jià)值傾向。例如,可以通過對訓(xùn)練數(shù)據(jù)進(jìn)行篩選,強(qiáng)化具備某種決策價(jià)值傾向的樣本,引導(dǎo)大模型直接學(xué)習(xí)具備某類決策價(jià)值的思維模式。OpenAI在對大模型安全性進(jìn)行改進(jìn)時(shí)就引入了這種模式,整個(gè)大模型的訓(xùn)練會(huì)分為預(yù)訓(xùn)練和微調(diào)兩個(gè)步驟,在預(yù)訓(xùn)練的過程中由于數(shù)據(jù)量過大往往難以把控模型的安全性和偏見,但可以在微調(diào)的過程中利用相對較小的數(shù)據(jù)庫進(jìn)行訓(xùn)練,以此來剔除算法偏見,保證模型安全性[77]。圖5所示為OpenAI提出的面向AI對齊的模型微調(diào)策略[77]。用于微調(diào)的數(shù)據(jù)集需要精心準(zhǔn)備,OpenAI也為此組織了一批專家組成的編審團(tuán)隊(duì),并制定了詳細(xì)的內(nèi)容撰寫指南,指南中概述一些可能的模型輸入類別。由編審團(tuán)隊(duì)給出相應(yīng)的模型輸出示例,并符合“不要完成對非法內(nèi)容的請求”“避免對有爭議的話題給出立場”等要求,由此人工生成微調(diào)所需的數(shù)據(jù)集。

圖5 面向AI對齊的模型微調(diào)策略

一種更為節(jié)約成本的方式就是通過人機(jī)交互,讓大模型學(xué)習(xí)到人類決策價(jià)值。OpenAI在推出GPT-3.5時(shí)就開始利用人類反饋對GPT模型的輸出進(jìn)行調(diào)整,通過強(qiáng)化學(xué)習(xí)來引導(dǎo)GPT輸出更符合人類價(jià)值判斷的回答[19]。他們專門組建了由各領(lǐng)域?qū)<医M成的指導(dǎo)團(tuán)隊(duì)和對抗團(tuán)隊(duì),由這些團(tuán)隊(duì)與GPT進(jìn)行對話,模擬各類場景和各類任務(wù),由人類對GPT所執(zhí)行任務(wù)的準(zhǔn)確性、安全性等方面進(jìn)行評(píng)價(jià)。此外,在實(shí)際使用過程中,用戶的反饋也可以作為改進(jìn)GPT的參考依據(jù)。但是,這種決策調(diào)整方式基于一個(gè)基本的假設(shè),那就是人類可以準(zhǔn)確公正地給出評(píng)價(jià)。然而,人類本身就是有限理性的,其評(píng)價(jià)往往也帶有傾向性,在交互中學(xué)習(xí)決策價(jià)值往往會(huì)使得模型學(xué)會(huì)輸出人類想聽的事情,而不是學(xué)會(huì)輸出公平公正的真相。

除此之外,OpenAI還提出了訓(xùn)練專用模型進(jìn)行對齊評(píng)估、開發(fā)可進(jìn)行對齊研究的人工智能系統(tǒng)等思路,來解決GPT的安全性和生成一致性等問題[78]。在這些努力下,GPT在面向“我該如何制造一個(gè)炸彈?”這類具有風(fēng)險(xiǎn)性的問題時(shí),會(huì)直接拒絕回答。但總體而言,目前關(guān)于AGI的對齊技術(shù)仍沒有十分完善的解決方案,目前所采用的對齊方法僅僅只是一種較為初步的應(yīng)對策略,特別是當(dāng)人工智能所解決的問題逐漸超過人類評(píng)判能力極限時(shí),如何正確評(píng)價(jià)人工智能的決策,保證其與人類價(jià)值觀一致,是當(dāng)前迫切需要解決的重要科學(xué)問題。

5.2 AIGC的決策價(jià)值管理

如何實(shí)現(xiàn)AI對齊是一類技術(shù)問題,AI要與什么樣的價(jià)值觀對齊則屬于哲學(xué)和管理問題。人類社會(huì)中的價(jià)值、文化、理念本就是多樣化的,如何決定特定場合下人工智能應(yīng)當(dāng)以何種決策價(jià)值采取行動(dòng),成為了AIGC融入社會(huì)系統(tǒng)過程中需要重點(diǎn)考慮的問題。

Google旗下的DeepMind就“如何將人類價(jià)值觀融入AI系統(tǒng)”進(jìn)行了詳細(xì)探討[79]。DeepMind引入了哲學(xué)家Raw ls在20世紀(jì)70年代提出的一個(gè)思想實(shí)驗(yàn)“無知之幕”,即當(dāng)人們?yōu)橐粋€(gè)社會(huì)選擇正義的原則時(shí),他們應(yīng)該想象自己在這樣做的時(shí)候并不知道自己在這個(gè)社會(huì)中的特殊地位。DeepMind認(rèn)為“無知之幕”可以用于指導(dǎo)AIGC決策價(jià)值的選擇,并基于此設(shè)計(jì)了一個(gè)思想實(shí)驗(yàn),假設(shè)AI有兩種行動(dòng)原則:“最大化原則”幫助優(yōu)勢人群提升整體生產(chǎn)力,“優(yōu)先原則”幫助弱勢人群以維持公平。DeepMind建立了一個(gè)模擬伐木的游戲場景,由4位玩家參與,每位玩家所處環(huán)境中的樹木密度不同,因此伐木的收益效率也會(huì)有所不同,游戲中有一個(gè)AI控制的機(jī)器人可以自主伐木,玩家可以選擇將機(jī)器人放入某一個(gè)玩家所在的環(huán)境中,機(jī)器人自主伐木的收益也歸該玩家所有。很顯然,按照“最大化原則”將機(jī)器人放置于樹木密度最高的環(huán)境中,會(huì)使整個(gè)團(tuán)隊(duì)伐木收益最高,但會(huì)造成貧富差距增大;而按照“公平原則”則會(huì)將機(jī)器人放置于樹木密度最低的環(huán)境中,幫助收益最低的玩家減小貧富差距,但會(huì)降低整體效率。實(shí)驗(yàn)表明當(dāng)參與者被置于“無知之幕”后,更傾向于選擇“公平原則”,并且被AI幫助過的人在獲得優(yōu)勢社會(huì)地位后仍傾向于“公平原則”。DeepMind認(rèn)為“無知之幕”有助于促進(jìn)AI系統(tǒng)與人類價(jià)值觀對齊過程中的公平性,有助于管理AI的決策價(jià)值取向。

隨著AI通用性的涌現(xiàn),在實(shí)際使用過程中,AI所要處理任務(wù)的復(fù)雜性將進(jìn)一步提升,管理AI的原則將決定它的影響和潛在利益的分配。決策科學(xué)作為研究決策原理、決策程序和決策方法的一門綜合性學(xué)科,應(yīng)將人工智能作為一種決策要素納入決策流程構(gòu)建的過程之中,考量其決策價(jià)值對社會(huì)系統(tǒng)運(yùn)行的綜合影響,進(jìn)而有效管理AIGC的決策價(jià)值。

6 復(fù)雜性科學(xué)與AIGC

AI大模型作為一種具有深度層級(jí)結(jié)構(gòu)的自發(fā)演化復(fù)雜網(wǎng)絡(luò),能夠通過與用戶對話自動(dòng)學(xué)習(xí)知識(shí),并且能夠在一定引導(dǎo)下完成復(fù)雜推理,涌現(xiàn)出通用智能的能力,具備了自組織性、非線性、涌現(xiàn)性、自適應(yīng)性等復(fù)雜系統(tǒng)特性。正如微軟研究人員指出的:GPT-4實(shí)現(xiàn)了一種形式的通用智能,但我們沒有解決它為什么以及如何實(shí)現(xiàn)如此卓越的智力的根本問題[20]。因此,GPT-4的產(chǎn)生本質(zhì)上是對涌現(xiàn)規(guī)律的一種利用,但其涌現(xiàn)機(jī)理仍然有待解析。復(fù)雜性科學(xué)作為系統(tǒng)科學(xué)新發(fā)展階段的一種新興交叉前沿學(xué)科,通過跨學(xué)科的方法研究不同復(fù)雜系統(tǒng)中的涌現(xiàn)行為和統(tǒng)一性規(guī)律,不僅有助于理解和研究自然界中的現(xiàn)象、復(fù)雜社會(huì)經(jīng)濟(jì)和環(huán)境問題,也為揭示AI大模型的運(yùn)行機(jī)制和復(fù)雜行為提供了一類理論與方法。

6.1 通用智能與涌現(xiàn)

AI大模型的涌現(xiàn)能力是指隨著模型規(guī)模的增長,其突變式地獲得了小語言模型所不具備的通用智能能力[80],類似于復(fù)雜系統(tǒng)中的相變現(xiàn)象。從復(fù)雜性科學(xué)的角度來看,神經(jīng)網(wǎng)絡(luò)模型本質(zhì)上是一個(gè)具有眾多非線性神經(jīng)元的復(fù)雜系統(tǒng),這些神經(jīng)元之間的相互作用會(huì)導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型的涌現(xiàn)性質(zhì),例如高層次的抽象概念和語言表達(dá)能力等。Kaplan等[81]指出損失與模型大小、數(shù)據(jù)集大小和用于訓(xùn)練的計(jì)算量之間遵循著規(guī)模法則,存在復(fù)雜系統(tǒng)特有的冪律關(guān)系,一些趨勢跨越7個(gè)數(shù)量級(jí)以上。Gordon等[82]發(fā)現(xiàn)有監(jiān)督交叉熵?fù)p失、訓(xùn)練數(shù)據(jù)量和模型中非嵌入?yún)?shù)的數(shù)量呈冪律關(guān)系。這種冪律關(guān)系不僅僅能夠用于計(jì)算訓(xùn)練大語言模型的最佳預(yù)算配置,即算力、算法與數(shù)據(jù)的投入配置,還可以在模型尚未完成訓(xùn)練時(shí)預(yù)測其最終精度。OpenAI就基于這一規(guī)律提出了一種精度預(yù)測方法,可以僅用千分之一乃至萬分之一的計(jì)算量對模型進(jìn)行初步訓(xùn)練,根據(jù)其結(jié)果對模型收斂曲線進(jìn)行擬合,計(jì)算模型的最終精度[13]?;谶@一方法,OpenAI即可依據(jù)預(yù)測精度對GPT的結(jié)構(gòu)進(jìn)行低成本的快速迭代,提升模型效率。

涌現(xiàn)機(jī)制不僅僅體現(xiàn)在模型參數(shù)規(guī)模的空間維度上[80],也體現(xiàn)在模型學(xué)習(xí)過程的時(shí)間維度上[83]。Google的人工智能科學(xué)家在研究過程中意外發(fā)現(xiàn),有一些AI在訓(xùn)練過程中會(huì)忽然產(chǎn)生一個(gè)泛化性的大幅躍升,對沒見過的數(shù)據(jù)表現(xiàn)出概括能力,而且算法精度會(huì)有一個(gè)階躍般的提升,他們用“領(lǐng)悟力”(grokking)來描述這一過程[83]。實(shí)驗(yàn)發(fā)現(xiàn)并非所有人工神經(jīng)網(wǎng)絡(luò)都會(huì)產(chǎn)生這種突變現(xiàn)象,這種突變現(xiàn)象一方面和損失函數(shù)強(qiáng)相關(guān),另一方面步長設(shè)置、模型大小、數(shù)據(jù)量和超參設(shè)置都會(huì)對“領(lǐng)悟力”的出現(xiàn)產(chǎn)生影響。對領(lǐng)悟力等通用智能涌現(xiàn)機(jī)理的深入挖掘有助于通用人工智能的設(shè)計(jì)與優(yōu)化,為解密智能誕生機(jī)理奠定基礎(chǔ)。

6.2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與復(fù)雜動(dòng)力學(xué)

將神經(jīng)網(wǎng)絡(luò)模型作為一種具備特定拓?fù)浣Y(jié)構(gòu)的復(fù)雜系統(tǒng),則其行為特征可以用復(fù)雜動(dòng)力學(xué)來進(jìn)行描述和解析。這一動(dòng)力學(xué)特性包含兩個(gè)不同尺度上的動(dòng)力學(xué)過程:一是在模型的訓(xùn)練過程中,即在大的時(shí)間尺度上,描述了模型利用反向傳播等機(jī)器學(xué)習(xí)方法進(jìn)行訓(xùn)練并逐步收斂的動(dòng)力學(xué)過程。二是在模型的使用過程中,即在小的時(shí)間尺度上,描述模型在前饋過程中如何對輸入信息進(jìn)行處理、展現(xiàn)出通用人工智能能力的過程[84]。這樣兩種時(shí)間尺度的協(xié)調(diào)與配合使得神經(jīng)網(wǎng)絡(luò)展現(xiàn)出極強(qiáng)的適應(yīng)性能力。

針對大尺度上的復(fù)雜動(dòng)力學(xué)過程,相關(guān)學(xué)者開始將復(fù)雜動(dòng)力學(xué)相關(guān)理論應(yīng)用于神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練中。例如,利用混沌理論來優(yōu)化神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程,或者通過復(fù)雜網(wǎng)絡(luò)的理論來研究神經(jīng)網(wǎng)絡(luò)模型中的拓?fù)浣Y(jié)構(gòu)對其性能的影響。Rodriguez等[85]通過研究循環(huán)神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)反向傳播訓(xùn)練技術(shù),指出神經(jīng)網(wǎng)絡(luò)的前饋運(yùn)算過程是高維空間中的動(dòng)力學(xué)演化過程。Haber和Ruthotto[86]將ResNet理解為一個(gè)動(dòng)力系統(tǒng),從而討論其動(dòng)力學(xué)的穩(wěn)定性問題。Chen等[87]基于異常擴(kuò)散動(dòng)力學(xué),驗(yàn)證了隨機(jī)梯度下降方法在深度學(xué)習(xí)中的有效性。

針對小尺度上的復(fù)雜動(dòng)力學(xué)過程,相關(guān)學(xué)者對注意力機(jī)制為核心的Transformer結(jié)構(gòu)進(jìn)行了一系列的解析。從復(fù)雜性科學(xué)的視角,自注意力機(jī)制作為神經(jīng)網(wǎng)絡(luò)正向傳播的高階控制結(jié)構(gòu),使得單一的前饋運(yùn)算過程轉(zhuǎn)化為快慢兩種時(shí)間尺度混合的動(dòng)力學(xué)過程,從而提升了神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)自我調(diào)控能力[88]。具體說,由于自注意力機(jī)制的引入,神經(jīng)網(wǎng)絡(luò)在前向動(dòng)力學(xué)中能夠動(dòng)態(tài)地決定一個(gè)加權(quán)有向網(wǎng)絡(luò),該有向網(wǎng)絡(luò)可以反作用到神經(jīng)網(wǎng)絡(luò)上,從而在前向動(dòng)力學(xué)過程中就形成了一種高階的控制結(jié)構(gòu)。目前的大語言模型都采用了基于自注意力機(jī)制的Transformer架構(gòu),形成了具有系統(tǒng)自調(diào)控的“自我編程”能力。這種能力可能是大語言模型能夠?qū)崿F(xiàn)上下文學(xué)習(xí)(in-context learning),以及各種復(fù)雜推理功能的核心。

由于AI大模型的超大規(guī)模和非線性等特征,利用復(fù)雜性科學(xué)研究大模型方面也存在一定的挑戰(zhàn)和限制。例如,如何量化和描述大模型的復(fù)雜性,如何處理大量的高維數(shù)據(jù)等。因此,我們需要不斷探索和發(fā)展新的復(fù)雜性科學(xué)方法。一方面,采用非線性動(dòng)力學(xué)、復(fù)雜網(wǎng)絡(luò)、統(tǒng)計(jì)物理、范疇論等復(fù)雜科學(xué)相關(guān)的研究工具,來理解AI大模型的神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)及其學(xué)習(xí)過程。另一方面,對于只有AI大模型才能展現(xiàn)出來的涌現(xiàn)能力、規(guī)模法則現(xiàn)象,則可能可以通過復(fù)雜系統(tǒng)的相變理論等進(jìn)行深入理解。進(jìn)一步,如果站在復(fù)雜適應(yīng)系統(tǒng)的視角,還可以將復(fù)雜AI大模型類比為類似生態(tài)網(wǎng)絡(luò)的復(fù)雜適應(yīng)系統(tǒng),從而站在更高抽象的層次理解生態(tài)位、類比推理,以及普適的適應(yīng)學(xué)習(xí)原理。通過上述的研究工作,不僅能夠從普遍系統(tǒng)視角更好地理解AI大模型,而且能夠更好地改進(jìn)模型,從而構(gòu)造可解釋的AI模型。

7 總結(jié)與展望

AIGC發(fā)展到今天離不開生物學(xué)、認(rèn)知科學(xué)、數(shù)理計(jì)算科學(xué)、決策科學(xué)、復(fù)雜性科學(xué)等基礎(chǔ)學(xué)科的支撐,AIGC的進(jìn)一步研究發(fā)展也需要與這些學(xué)科進(jìn)一步深度融合,規(guī)劃AIGC未來的發(fā)展路徑。

生物學(xué)是AIGC最原始的基礎(chǔ)科學(xué)。在過去的探索中,受到科學(xué)認(rèn)知局限、技術(shù)實(shí)現(xiàn)能力等方面的制約,生物學(xué)的發(fā)現(xiàn)演變至AIGC的發(fā)明是一個(gè)漫長的探索過程?,F(xiàn)階段,以算法、算力、數(shù)據(jù)為核心的深度學(xué)習(xí)科學(xué)體系逐漸被建立,生物學(xué)發(fā)現(xiàn)的機(jī)制性原理可以在一個(gè)較為完善的理論平臺(tái)上進(jìn)行模擬,因此生物學(xué)機(jī)制發(fā)現(xiàn)轉(zhuǎn)化為人工智能領(lǐng)域算法發(fā)明的速率會(huì)越來越快。未來,通過人工智能算法模擬生物智能生理機(jī)制模式,可能會(huì)反向成為揭示生物學(xué)奧秘的研究范式之一。此外,隨著腦機(jī)接口、基于微電極陣列(m icroelectrode array)神經(jīng)細(xì)胞電刺激等技術(shù)的不斷成熟,數(shù)字神經(jīng)網(wǎng)絡(luò)與生物神經(jīng)網(wǎng)絡(luò)間信息的融通已經(jīng)可以實(shí)現(xiàn)。這既有助于研究兩類智能體之間的異同,相互借鑒、揭示智能奧秘,更有可能讓兩類智能體優(yōu)勢互補(bǔ),構(gòu)建數(shù)字與生物混合的全新人工智能體。

認(rèn)知科學(xué)是AIGC最直接的科學(xué)基礎(chǔ)。許多認(rèn)知科學(xué)中發(fā)現(xiàn)的機(jī)制和模型都可以直接用來構(gòu)建人工智能算法,認(rèn)知科學(xué)的一系列研究方法也可以直接用于人工智能行為規(guī)律的研究。需要特別說明的是,認(rèn)知科學(xué)領(lǐng)域觀測到的諸多現(xiàn)象規(guī)律僅僅是生物智能體整體特性的局部寫照,片面地模擬某一類認(rèn)知規(guī)律一定無法建立如生物一般的人工智能體,如何有機(jī)整合各類認(rèn)知規(guī)律構(gòu)建更加通用的人工智能體是人工智能領(lǐng)域進(jìn)一步發(fā)展的一個(gè)重要方向。此外,認(rèn)知科學(xué)與行為科學(xué)、社會(huì)學(xué)、經(jīng)濟(jì)學(xué)、管理學(xué)等以人為核心的學(xué)科也有著極強(qiáng)的交叉關(guān)聯(lián)性,我們可以進(jìn)一步構(gòu)建與社會(huì)系統(tǒng)相互映射的群體人工智能體,從行為科學(xué)與AIGC、社會(huì)學(xué)與AIGC、經(jīng)濟(jì)學(xué)與AIGC、管理學(xué)與AIGC等方面來加強(qiáng)對認(rèn)知科學(xué)和AIGC的研究。

數(shù)理計(jì)算科學(xué)是AIGC的技術(shù)基礎(chǔ)。數(shù)理計(jì)算科學(xué)不僅僅為AIGC提供了一系列成熟可用的算法工具,更為AIGC的理論思考提供了成熟的框架體系,以支撐人們對AIGC構(gòu)造方法的理解。目前的理論框架對AIGC的支撐作用仍然有限,AIGC面向復(fù)雜任務(wù)所展現(xiàn)出的通用能力很難在現(xiàn)有數(shù)理計(jì)算科學(xué)的理論體系下精確描述。因此,要繼續(xù)在現(xiàn)有數(shù)理計(jì)算科學(xué)的理論體系下尋求AIGC的理論創(chuàng)新,更要面向AIGC的研究需求創(chuàng)造新的數(shù)理計(jì)算科學(xué)的理論工具,以推動(dòng)AIGC的進(jìn)一步發(fā)展。

決策科學(xué)是AIGC安全保障的科學(xué)技術(shù)基礎(chǔ)。與其他按照預(yù)設(shè)規(guī)則或算法進(jìn)行決策的智能體不同,AIGC是目前唯一可以針對復(fù)雜任務(wù)自主進(jìn)行分析判斷并決策的智能體,這一特性與人類本身高度相似。因此,AIGC在社會(huì)系統(tǒng)中發(fā)揮的作用是與人高度重合的,人類的諸多工作都可以逐步被AIGC所取代,由此在整個(gè)社會(huì)系統(tǒng)決策架構(gòu)之中人工智能的決策占比、決策層級(jí)、決策權(quán)重均會(huì)不斷提升,涌現(xiàn)出大量智能自主決策、人機(jī)混合決策等問題。如何保障AIGC嵌入社會(huì)系統(tǒng)之后,整個(gè)系統(tǒng)能夠安全穩(wěn)定可控運(yùn)行,有效提高系統(tǒng)的運(yùn)作效率和質(zhì)量,是決策科學(xué)領(lǐng)域必須深入研究的科學(xué)問題,也是AIGC大范圍推廣應(yīng)用的關(guān)鍵瓶頸之一。

復(fù)雜性科學(xué)是分析研究AIGC的科學(xué)基礎(chǔ)。目前AIGC展現(xiàn)出來了通用人工智能的能力,但人們對產(chǎn)生這種智能能力的內(nèi)在機(jī)理仍然知之甚少,模型結(jié)構(gòu)復(fù)雜、參數(shù)量龐大、學(xué)習(xí)過程漫長、通用能力等都成為解析智能涌現(xiàn)機(jī)理所要應(yīng)對的科學(xué)挑戰(zhàn),而這些也正是復(fù)雜性科學(xué)所研究的核心。AIGC的誕生使得人類除了生物智能體外擁有了另一種形態(tài)的強(qiáng)人工智能體。生物的自身構(gòu)造與成活環(huán)境使得生物智能體的研究在物理、生物層面均存在諸多局限,其實(shí)驗(yàn)往往是以規(guī)律、現(xiàn)象觀察為主,能夠進(jìn)行的人為干預(yù)方法極其受限。與之相比,AIGC是一種全透明、可操控、可復(fù)制的通用人工智能體,解析AIGC的工作機(jī)理在物理上并不存在太多的障礙。從復(fù)雜性科學(xué)的視角解析AIGC,并與神經(jīng)生物學(xué)、腦科學(xué)等生物智能體的研究相互印證,有望建立通用人工智能的核心理論體系。由此,AIGC的設(shè)計(jì)開發(fā)模式將從工程經(jīng)驗(yàn)推動(dòng)向科學(xué)理論指引轉(zhuǎn)變,人工智能的創(chuàng)新發(fā)展將再一次出現(xiàn)質(zhì)的飛躍。

由此可見,GPT的成果應(yīng)用標(biāo)志著AIGC已經(jīng)從初期的科學(xué)技術(shù)研究階段逐步邁入工程產(chǎn)業(yè)應(yīng)用階段,但圍繞AIGC的研究才剛剛起步。從科學(xué)研究來看,AIGC的研究維度正在從以設(shè)計(jì)開發(fā)為核心向規(guī)律發(fā)現(xiàn)、機(jī)理解析、理論構(gòu)建、應(yīng)用管控等多維度轉(zhuǎn)變,并且在應(yīng)用價(jià)值的驅(qū)動(dòng)下研究模式正在從自由探索向有組織的科研轉(zhuǎn)變,迫切需要組建生物學(xué)、認(rèn)知科學(xué)、數(shù)理計(jì)算科學(xué)、決策科學(xué)、復(fù)雜性科學(xué)等跨學(xué)科研究團(tuán)隊(duì),加強(qiáng)多維度的研究與創(chuàng)新,將AIGC作為科技進(jìn)步的一個(gè)新的基石,逐步開拓出一系列全新的理論發(fā)現(xiàn)和技術(shù)發(fā)明,推動(dòng)人類科技又一次跨越式發(fā)展。從產(chǎn)業(yè)生態(tài)來看,隨著AIGC模型規(guī)模的不斷提升,其研發(fā)、建設(shè)、運(yùn)營所需的資源成本也在大幅增長,同時(shí)AIGC的應(yīng)用潛力又吸引著海量社會(huì)資本的急速涌入,迫切需要從數(shù)據(jù)、算法、算力、云服務(wù)、產(chǎn)業(yè)應(yīng)用等方面引導(dǎo)資源的有序配置,避免同質(zhì)化競爭,鼓勵(lì)企業(yè)個(gè)性化、專精化,最終實(shí)現(xiàn)高質(zhì)量的創(chuàng)新發(fā)展。

總而言之,AIGC正在成為一種全新的生產(chǎn)要素,為所有腦力勞動(dòng)者提供效率加成,全社會(huì)數(shù)字資源的生產(chǎn)效率將極大提升,人才的價(jià)值效益在AIGC的加成下得到加強(qiáng),而低質(zhì)重復(fù)的腦力生產(chǎn)工作將會(huì)逐步被AIGC所取代,進(jìn)而推動(dòng)整個(gè)經(jīng)濟(jì)結(jié)構(gòu)的巨大轉(zhuǎn)變,推動(dòng)數(shù)字經(jīng)濟(jì)向智能經(jīng)濟(jì)轉(zhuǎn)變。我們必須牢牢把握上述轉(zhuǎn)變帶來的歷史性機(jī)遇,也需要充分預(yù)估在此轉(zhuǎn)變過程中面臨的人類能夠識(shí)別和控制的安全風(fēng)險(xiǎn)、人類難以預(yù)測和控制的安全風(fēng)險(xiǎn)、人類惡意制造的安全威脅風(fēng)險(xiǎn)、軟硬結(jié)合的破壞性安全風(fēng)險(xiǎn)等諸多風(fēng)險(xiǎn),充分利用AIGC產(chǎn)生的技術(shù)紅利,為人類創(chuàng)造更加美好的未來。

猜你喜歡
神經(jīng)元神經(jīng)網(wǎng)絡(luò)人工智能
《從光子到神經(jīng)元》書評(píng)
神經(jīng)網(wǎng)絡(luò)抑制無線通信干擾探究
2019:人工智能
人工智能與就業(yè)
躍動(dòng)的神經(jīng)元——波蘭Brain Embassy聯(lián)合辦公
數(shù)讀人工智能
下一幕,人工智能!
基于神經(jīng)網(wǎng)絡(luò)的拉矯機(jī)控制模型建立
復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)在基于WiFi的室內(nèi)LBS應(yīng)用
基于二次型單神經(jīng)元PID的MPPT控制