10月8日，2024年物理學(xué)獎(jiǎng)?lì)C給91歲高齡的約翰·霍普菲爾德和77歲的杰弗里·辛頓——兩個(gè)研究機(jī)器學(xué)習(xí)、掀開當(dāng)前人工智能革命的大師與“教父”。

看似與傳統(tǒng)物理學(xué)研究不搭邊，但仔細(xì)查看他們的研究會(huì)發(fā)現(xiàn)：霍普菲爾德運(yùn)用物理學(xué)原子自旋原理，發(fā)明了一種得以保存記憶的神經(jīng)網(wǎng)絡(luò)。后人以他的名字命名為Hopfield神經(jīng)網(wǎng)絡(luò)。辛頓以Hopfield 網(wǎng)絡(luò)為基礎(chǔ)，開發(fā)了一種新的神經(jīng)網(wǎng)絡(luò)：玻爾茲曼機(jī)。靈感同樣來源于奧地利物理學(xué)家玻爾茲曼百年前提出的理論。

科學(xué)的突破與發(fā)現(xiàn)并非一蹴而就。人工智能在過往30多年發(fā)展起起伏伏，信念不斷被推倒又重建。以辛頓為代表的AI 學(xué)者，用他們的人生證明：有時(shí)候，成功來源于最大程度地堅(jiān)持自我。

處處碰壁的天才

77歲的辛頓身體不好。從2005年開始，腰背部出現(xiàn)問題，很難坐立，不敢搭乘飛機(jī)出行，遇上商務(wù)宴席，他也不能坐在椅子上，而是選擇雙腿跪在地上，經(jīng)常招來服務(wù)員奇怪的眼光。

身體失去控制總是讓人心生絕望，但在辛頓的人生里，他從來都是與缺乏確定性、無法受控的事情相伴。

1947年，辛頓出生在英國(guó)一個(gè)科學(xué)家和教授世家。在十幾歲時(shí)，辛頓遇上了促使他思考一生的命題。那是高中時(shí)期，一位朋友問他：“你知道嗎，大腦的記憶并不是儲(chǔ)存在某個(gè)特定的地方，而是分布在整個(gè)大腦，在整個(gè)神經(jīng)網(wǎng)絡(luò)里傳播，就像全息圖一樣工作?！彼麖拇碎_始對(duì)人腦機(jī)制產(chǎn)生了濃厚興趣。

大學(xué)期間，因?yàn)檫@個(gè)問題，辛頓曾學(xué)過多個(gè)專業(yè)，先是數(shù)、理、化，大二時(shí)又學(xué)了哲學(xué)、建筑學(xué)，后來又攻讀了心理學(xué)。四年大學(xué)讓他發(fā)現(xiàn)，這些學(xué)科都無法解答人腦神經(jīng)元如何連接并工作的奧秘。最終，畢業(yè)后的辛頓選擇當(dāng)一名木匠。

只是，這位天真的知識(shí)分子發(fā)現(xiàn)，他不適合用此謀生。這段日子里，一到周末，他就到圖書館自學(xué)大腦工作原理。1972年，他再度“轉(zhuǎn)行”，憑借發(fā)表論文，他到愛丁堡大學(xué)就讀人工智能學(xué)的博士。

不巧的是，此時(shí)正值人工智能的寒冬。在當(dāng)時(shí)的人工智能界，人們開始廣泛地懷疑運(yùn)用模擬人腦的神經(jīng)網(wǎng)絡(luò)進(jìn)行機(jī)器學(xué)習(xí)。最著名的論斷來自當(dāng)時(shí)的“人工智能之父”馬文·明斯基，連辛頓的博士導(dǎo)師都被明斯基的理論說服了。他開始勸說自己的學(xué)生，換一個(gè)有前途的方向吧，別做神經(jīng)網(wǎng)絡(luò)了。辛頓回憶，博士期間，他的研究方向始終與導(dǎo)師期望的背道而馳。辛頓說，他認(rèn)可明斯基指出的神經(jīng)網(wǎng)絡(luò)的缺陷，但與多數(shù)人的選擇不同，他想繼續(xù)往“有缺陷的方向”前進(jìn)，完善前人指出的漏洞。

辛頓回憶，他從小在宗教學(xué)校上學(xué)，卻是全班唯一不信仰宗教的人?！懊總€(gè)人都可能是錯(cuò)的，你需要堅(jiān)持自己的主張，直到實(shí)現(xiàn)它或者徹底否定它。做科學(xué)就需要這樣的精神?！?/p>

交叉學(xué)科的力量

固執(zhí)的辛頓在1978年順利博士畢業(yè)。當(dāng)時(shí)的學(xué)者也沒預(yù)料到，他的堅(jiān)持從此掀開了人工智能深度學(xué)習(xí)革命，并讓21世紀(jì)的各大巨頭爭(zhēng)相進(jìn)行科技軍備競(jìng)賽。

博士畢業(yè)后，孤獨(dú)的辛頓漂至了美國(guó)，總算在加州大學(xué)圣迭戈分校找到了一些志同道合的人士。他們相信用計(jì)算機(jī)多層神經(jīng)網(wǎng)絡(luò)可以模擬人類大腦的演算方式，并擁有推理能力。

1982年，加州理工學(xué)院教授霍普菲爾德率先開發(fā)了一種神經(jīng)網(wǎng)絡(luò)，用于模擬大腦如何相互作用并產(chǎn)生穩(wěn)定記憶。

人腦的運(yùn)作好比需要集體演奏的交響曲，只有當(dāng)神經(jīng)元共同作用時(shí)，它們才能產(chǎn)生新的、強(qiáng)大的特性?！叭绻阒魂P(guān)注網(wǎng)絡(luò)中的每一個(gè)獨(dú)立神經(jīng)元，是很難察覺這些特性的?！睋碛形锢韺W(xué)背景的霍普菲爾德，開始想到原子自旋而產(chǎn)生的特性。這一特性使每個(gè)原子都成為一個(gè)微小的磁鐵。相鄰原子的自旋會(huì)相互影響，自旋方向一致的區(qū)域得以形成。

運(yùn)用自旋特性，霍普菲爾德成功構(gòu)建了有節(jié)點(diǎn)和連接的神經(jīng)網(wǎng)絡(luò)，并以能量函數(shù)作為表達(dá)，大致實(shí)現(xiàn)原理類似于人類的聯(lián)想記憶。更年輕的辛頓也深受影響和鼓舞。

1986年，辛頓與兩名學(xué)者共同發(fā)表了一篇題為“通過反向傳播誤差來學(xué)習(xí)”的論文，成為當(dāng)代機(jī)器深度學(xué)習(xí)的奠基之作。反向傳播成功解決了多層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問題，證明了神經(jīng)網(wǎng)絡(luò)絕非只停留在想象里的空中樓閣。

同一時(shí)期，辛頓與同事們發(fā)明了玻爾茲曼機(jī)。這個(gè)新神經(jīng)網(wǎng)絡(luò)汲取了統(tǒng)計(jì)物理學(xué)的原理，也是當(dāng)今短視頻等平臺(tái)算法令人無法自拔的基本原理：算法可以分析和找到大數(shù)據(jù)之間的聯(lián)系，計(jì)算不同類別的人最大概率會(huì)喜歡和討厭的內(nèi)容，并根據(jù)每次的點(diǎn)擊情況，實(shí)時(shí)進(jìn)行概率計(jì)算和內(nèi)容推送。

1986年，經(jīng)過訓(xùn)練的玻爾茲曼機(jī)能夠識(shí)別出它未曾見過的信息中的熟悉特征。這也就意味著，計(jì)算機(jī)擁有了自我學(xué)習(xí)的能力，這正是神經(jīng)網(wǎng)絡(luò)的擁躉多年來所期許的。

“快樂和悲傷交織”

然而，進(jìn)入20世紀(jì)90年代，人工智能發(fā)展再度進(jìn)入瓶頸期。各種基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)方法興起，研究神經(jīng)網(wǎng)絡(luò)的人越來越少，辛頓成了少數(shù)幾個(gè)仍在堅(jiān)持的人。

后來人們才發(fā)現(xiàn)，當(dāng)時(shí)的停滯并不代表辛頓提出的理論和設(shè)想是錯(cuò)誤的，而是受限于當(dāng)時(shí)計(jì)算機(jī)技術(shù)處理計(jì)算的能力。

這樣的停滯伴隨著辛頓接下來的20 余年科研歷程，神經(jīng)網(wǎng)絡(luò)始終不受主流學(xué)界認(rèn)可。為了拿到教研經(jīng)費(fèi)，他曾在倫敦大學(xué)學(xué)院、多倫多大學(xué)等地工作。

2006年以前，辛頓即使已經(jīng)在英國(guó)、加拿大是院士級(jí)別的人物，但他的發(fā)現(xiàn)只在學(xué)界有名氣，從未得到現(xiàn)實(shí)的廣泛應(yīng)用。然而他始終堅(jiān)信神經(jīng)網(wǎng)絡(luò)將引起人工智能革命。據(jù)稱，為了給自己打氣，辛頓還養(yǎng)成了一種自我激勵(lì)的方法，每周發(fā)泄般大吼一次：“我發(fā)現(xiàn)大腦是怎樣工作的啦！”

2006年，深度學(xué)習(xí)革命終于在全球打響。這個(gè)新時(shí)代的序幕依然是由辛頓和學(xué)生拉開的。2012 年，在華裔科學(xué)家李飛飛舉辦的ImageNet 圖像識(shí)別競(jìng)賽中，辛頓和學(xué)生伊利亞（ 前OpenAI首席科學(xué)家）、亞歷克斯組成團(tuán)隊(duì)，設(shè)計(jì)了名為“AlexNet”的卷積深度網(wǎng)絡(luò)程序，取得了顛覆性的勝利。

后來的故事更為人所知。2012年一舉成名后，辛頓收到了來自百度、谷歌、微軟等巨頭千萬美元年薪的橄欖枝，他最終加入谷歌繼續(xù)AI 研究。

如今，大模型、AIGC 等多個(gè)應(yīng)用迎來大爆發(fā)，辛頓等到了盼望已久的深度神經(jīng)網(wǎng)絡(luò)引發(fā)的人工智能浪潮，這是屬于他引領(lǐng)的時(shí)代。

他卻自述過往，認(rèn)為他的人生與AI浪潮一樣，徘徊在反反復(fù)復(fù)的起伏里?！拔医?jīng)常會(huì)告訴大家，我弄清大腦的工作機(jī)制了，可過段時(shí)間，我又失望地發(fā)現(xiàn)之前的結(jié)論是錯(cuò)誤的。但事情就應(yīng)該是這樣發(fā)展的。正如英國(guó)詩人威廉·布萊克的兩句詩，‘將快樂和憂傷編織，披在我神圣的心上’。”

他近年因?yàn)榇竽Ｐ偷臒岢痹缫褬s譽(yù)加身，人們喊他“教父”，對(duì)他進(jìn)行膜拜?？瓷先バ令D沒有什么煩惱可言了，但他表現(xiàn)得越來越憂心忡忡，擔(dān)心AI 有一天會(huì)掌控人類社會(huì)。

2024年，他在諾貝爾獎(jiǎng)?lì)C獎(jiǎng)的現(xiàn)場(chǎng)連線時(shí)說：“我感到愧疚和后悔?！薄昂蠡谟袃煞N。一種是因?yàn)槟阕隽艘恍┟髦辉撟龅氖虑槎械絻?nèi)疚；另一種是你做了一些在同樣情況下會(huì)再次做的事情，但最終結(jié)果可能并不好。我的遺憾是第二種。我擔(dān)心這種做法的后果是，比我們更聰明的系統(tǒng)最終會(huì)掌控一切?！?/p>

（摘自“南風(fēng)窗”微信公眾號(hào)）