文／本刊記者 余秀

人工智能滅絕人類風(fēng)險言論在引發(fā)了廣泛關(guān)注的同時，也引來了質(zhì)疑的聲音。諸多專家和公眾人物認(rèn)為，AI 末日論分散了人們對真正重要的實(shí)際問題的注意力。

“減輕人工智能帶來的人類滅絕風(fēng)險，應(yīng)該與大流行病和核戰(zhàn)爭等其他影響社會的大規(guī)模風(fēng)險一同成為全球性的優(yōu)先事項(xiàng)?！保?］5 月30 日，這則短短的聲明，出現(xiàn)在美國非營利組織“人工智能安全中心（Center for AI Safety）”的官網(wǎng)上，超過350 名從事人工智能工作的高管、研究人員和工程師在上面簽名。

人工智能對人類的威脅，堪比大流行病和核戰(zhàn)爭，這份簡短聲明旨在鼓勵公開討論 AI 最嚴(yán)重的威脅，降低AI 滅絕人類的可能風(fēng)險。帶頭簽名這份聲明的是深度學(xué)習(xí)領(lǐng)域的兩位重磅專家杰弗里·辛頓（Geoffrey Hinton）和約書亞·本希奧（Yoshua Bengio）。兩人和楊立昆（Yann LeCun）一起，因在深度學(xué)習(xí)方面的開創(chuàng)性工作，共同獲得了2018 年圖靈獎（有“計算界的諾貝爾獎”之稱），被稱為“AI教父”或“深度學(xué)習(xí)教父”。除此以外，目前三大領(lǐng)先的自然語言大模型研究機(jī)構(gòu)的CEO，OpenAI 的山姆·阿爾特曼（Sam Altman）、谷歌DeepMind 的杰米斯·哈薩比斯（Demis Hassabis）和Anthropic的達(dá)里奧·阿莫迪（Dario Amodei），也都簽名支持。簽名名單還包括了清華大學(xué)智能科學(xué)講席教授、智能產(chǎn)業(yè)研究院院長張亞勤，中國科學(xué)院自動化研究所研究員、中國科學(xué)院大學(xué)教授曾毅等中國學(xué)者。

“減輕人工智能帶來的人類滅絕風(fēng)險，應(yīng)該與大流行病和核戰(zhàn)爭等其他影響社會的大規(guī)模風(fēng)險一同成為全球性的優(yōu)先事項(xiàng)?！?/p>

當(dāng)前對人工智能表示擔(dān)憂的聲音已經(jīng)大到無法忽視。3 月，一封由科技行業(yè)專家牽頭的公開信，因?yàn)閾?dān)憂人工智能可能對“社會和人類構(gòu)成深遠(yuǎn)風(fēng)險”，呼吁暫停先進(jìn)人工智能模型的開發(fā)。4 月，杰弗里·辛頓從谷歌離職，以便公開討論人工智能技術(shù)的危險性。

在6 月的北京智源大會AI 安全與對齊論壇上，山姆·阿爾特曼和杰弗里·辛頓分別作了開場和閉幕演講，強(qiáng)調(diào)了人工智能的未來風(fēng)險，呼吁全球盡早邁出通用人工智能（AGI）治理的第一步。辛頓表示數(shù)字式智能群體共享知識的速度遠(yuǎn)超人類，當(dāng)AI 進(jìn)化到比人類更有智慧的時候，會帶來巨大的風(fēng)險?！暗侥壳盀橹?，我還想象不到更智能的事物，被一些反倒沒那么智能的事物所控制的例子。我打個比方，假設(shè)青蛙創(chuàng)造了人類，那么你認(rèn)為現(xiàn)在誰會占據(jù)主動權(quán)，是人，還是青蛙？”［2］

AGI 接管人類

人工智能可能滅絕人類的說法，有一個前提假設(shè)，即具備人類級別學(xué)習(xí)能力的計算機(jī)會由于技術(shù)優(yōu)勢而超越人類智能，成為通用人工智能（AGI）。通用人工智能（AGI)的重大進(jìn)展可能導(dǎo)致人類滅絕或其他一些無法恢復(fù)的全球?yàn)?zāi)難，正如大猩猩的命運(yùn)取決于人類的善意，人類的命運(yùn)也可能取決于未來超級智能機(jī)器。

自阿蘭·圖靈開始，對失控的、自我改進(jìn)的機(jī)器的擔(dān)憂由來已久。隨著ChatGPT 等生成式人工智能工具的普遍使用，曾經(jīng)的極端觀點(diǎn)引起了廣泛關(guān)注。2021 年1 月發(fā)表在《人工智能研究雜志》的一篇文章，通過計算提出，控制遠(yuǎn)超出人類理解能力的超級智能幾乎是不可能的。因?yàn)橐刂瞥壷悄?，我們需要對其進(jìn)行模擬和分析，但如果我們無法理解它，就無法創(chuàng)建這樣的模擬。當(dāng)我們不了解人工智能將要提出的場景類型，就無法制定諸如“不對人類造成傷害”之類的規(guī)則。［3］

一篇名為“自然選擇偏愛AI，而不是人類（Natural Selection Favors AIs over Humans）”的文章，認(rèn)為人類和AGI 的前途類似于自然選擇。自然選擇理論中，自私的物種通常在物競天擇中更具優(yōu)勢。達(dá)爾文主義也可以適用于AGI，當(dāng)AGI 追求自身利益而對人類關(guān)注較少時，將會給人類帶來災(zāi)難。［4］牛津大學(xué)人類未來研究所人工智能安全研究員瑞安·凱里（Ryan Carey）表示：“如果人工智能具有某些成分，即超人智能、廣泛的自主權(quán)、一些資源和新技術(shù)，它可能會對人類的未來構(gòu)成威脅。”“如果你將少數(shù)擁有一些資源和一些現(xiàn)代技術(shù)的現(xiàn)代人類置于一個擁有80 億非人類靈長類動物成員的世界中，那可能對該物種的未來構(gòu)成威脅?！?/p>

目前，以ChatGPT 為代表的大型語言模型（LLM）還遠(yuǎn)不能實(shí)現(xiàn)通用人工智能（AGI）。對于人工智能超過人類智能的AGI 什么時候到來的問題，杰弗里·辛頓表示：“這個東西實(shí)際上可能比人類更聰明——有一些人相信這一點(diǎn)，……但大多數(shù)人認(rèn)為這還遙遠(yuǎn)。而我也認(rèn)為離那還很遠(yuǎn)，可能是30 到50 年甚至更久以后。顯然，我不再持有這樣的觀點(diǎn)了。”在備受推崇的預(yù)測平臺Metaculus 上，AGI 的平均預(yù)測日期是2032 年。［5］

AI 對齊：回形針制造機(jī)

人工智能滅絕人類的風(fēng)險假說，有令人信服的邏輯。劍橋大學(xué)計算與生物學(xué)習(xí)實(shí)驗(yàn)室的助理教授大衛(wèi)·克魯格（David Krueger），說明了人工智能接管人類的三個要素：

首先，AI 在優(yōu)化特定目標(biāo)時缺乏人類常識，可能發(fā)出奇怪和不受歡迎的行為。由于AI“思考”解決問題的方式，AI 處理看似簡單的事情可能會產(chǎn)生無法預(yù)測的意想不到的后果。例如，如果有人告訴孩子家里的書本數(shù)量與大學(xué)錄取有關(guān)，他可能不會多讀書給孩子聽，而是開始堆放成箱的書本。即使AI 只能在非常嚴(yán)格的規(guī)則下運(yùn)行，異常行為仍然會發(fā)生。

第二，AI 在特定任務(wù)中的過度優(yōu)化可能會導(dǎo)致權(quán)力尋求行為。當(dāng)特定任務(wù)優(yōu)化的AI 有一個單一的目標(biāo)時，它可能會使用其掌握的所有工具來實(shí)現(xiàn)該目標(biāo)?！斑@種推理循環(huán)不會自然結(jié)束，”克魯格說，“如果你在做以目標(biāo)為導(dǎo)向的推理，尤其是當(dāng)你有一個長期目標(biāo)時，你自然會最終尋求越來越多的權(quán)力和資源?！?/p>

第三，人類會主動向AI移交更多的權(quán)力。“如果你給系統(tǒng)更多的自主權(quán)、更多的權(quán)力，或者以更多方式重塑世界的能力，那么它就會更有能力。”克魯格繼續(xù)說道，“如果你讓它直接采取影響現(xiàn)實(shí)世界或影響數(shù)字世界的行動，你將賦予它更多的力量，使其更有能力更高效地實(shí)現(xiàn)你的目標(biāo)?！?/p>

將三個要素放在一起可能會導(dǎo)致這樣的結(jié)果：人類目標(biāo)可能與AI 的目標(biāo)不同。當(dāng)我們給AI 一個目標(biāo)時，它可能不是我們的實(shí)際目標(biāo)，這是“AI 對齊”問題。AI 對齊的目標(biāo)是確保AGI 能夠正確理解人類的意圖，將其行動與人類價值保持一致。［6］

哲學(xué)家尼克·博斯特羅姆（Nick Bostrom）在回形針制造機(jī)思想實(shí)驗(yàn)中令人印象深刻地捕捉到了這一點(diǎn)。他設(shè)想了一個負(fù)責(zé)制作回形針的人工智能，通過對現(xiàn)實(shí)世界系統(tǒng)的充分控制，它可能會采取極端措施，如消耗所有資源和轉(zhuǎn)化所有物質(zhì)來制造盡可能多的回形針，從而對人類生存產(chǎn)生威脅。

分歧和質(zhì)疑：AI末日論轉(zhuǎn)移了對真正問題的注意

誠然，關(guān)于人工智能的未來風(fēng)險存在分歧。據(jù)耶魯大學(xué)首席執(zhí)行官領(lǐng)導(dǎo)力研究所對高管進(jìn)行的一項(xiàng)調(diào)查顯示，42%的受訪者表示人工智能可能在5～10 年內(nèi)“毀滅人類”，58%的受訪者表示“不擔(dān)心”人工智能的生存威脅。［7］

人工智能滅絕人類風(fēng)險言論在引發(fā)了廣泛關(guān)注的同時，也引來了質(zhì)疑的聲音。諸多專家和公眾人物認(rèn)為，AI 末日論分散了人們對真正重要的實(shí)際問題的注意力。Meta 首席AI 科學(xué)家、與杰弗里·辛頓和約書亞·本希奧共同獲得2018 年圖靈獎的楊立昆（Yann LeCun）表示，對人工智能未來風(fēng)險的擔(dān)憂“極其荒謬”。計算機(jī)變得比人類更聰明，還需要很多年。他認(rèn)為，那些擔(dān)憂的人之所以這樣，是因?yàn)樗麄儫o法想象如何才能確保人工智能的安全?！斑@就好像你在1930 年問如何確保渦輪噴氣發(fā)動機(jī)的安全，1930 年渦輪噴氣發(fā)動機(jī)還沒有發(fā)明，就像人類水平的人工智能還沒有發(fā)明一樣……渦輪噴氣式飛機(jī)最終變得非常可靠和安全，人工智能同樣如此?！盡eta 的人工智能研究副總裁喬爾·皮諾（Joelle Pineau）同意楊立昆的觀點(diǎn)，她表示，對AI 未來風(fēng)險的極度關(guān)注，擠壓了討論當(dāng)前人工智能的危害的空間。［8］

紐約大學(xué)名譽(yù)教授加里·馬庫斯(Gary Marcus)，于3 月簽署了公開信，與包括埃隆·馬斯克（Elon Musk）在內(nèi)的1000 多人一起，呼吁全球暫停人工智能開發(fā)，但他沒有簽署22 字聲明，他認(rèn)為AI 的生存威脅被“夸大了”，社會不應(yīng)該把注意力集中在沒有人幸存的牽強(qiáng)的場景上，而應(yīng)該把注意力集中在真正的危險所在。人工智能公司Cohere 的首席執(zhí)行官艾丹·戈麥斯（Aidan Gomez）評價，這是“對我們時間的荒謬?yán)谩?。麻省理工學(xué)院經(jīng)濟(jì)學(xué)教授達(dá)倫·阿西莫格魯(Daron Acemoglu)認(rèn)為，它（AI 滅絕人類的風(fēng)險）夸大了當(dāng)前的技術(shù)水平，“使我們將注意力從這些新模型可能造成的更普遍的損害上移開，包括錯誤信息、失業(yè)、民主威脅等”。

同樣地，Nature 網(wǎng)站上一篇題為“當(dāng)AI 今天帶來風(fēng)險時，停止談?wù)撁魈斓腁I世界末日（Stop talking about tomorrow’s AI doomsday when AI poses risks today）”的社論文章旗幟鮮明地指出，就像魔術(shù)師的花招一樣，人工智能滅絕人類的言論分散了人們對真正問題的注意力，阻礙了對人工智能目前造成的社會危害的有效監(jiān)管。有關(guān)AI 風(fēng)險和監(jiān)管的對話默認(rèn)了由公司高管和技術(shù)人員組成的同質(zhì)群體主導(dǎo)，而將其他社區(qū)排除在外。紐約市AI Now 研究所（研究所專注于人工智能的社會影響）所長安巴·卡克(Amba Kak)表示，科技行業(yè)領(lǐng)袖撰寫的聲明“本質(zhì)上是在界定誰才是這場對話中的專家”。

人工智能有許多潛在的好處，從合成數(shù)據(jù)到協(xié)助醫(yī)療診斷，可能將在醫(yī)療保健、教育和應(yīng)對氣候危機(jī)領(lǐng)域發(fā)揮重要的積極作用。但它同時也造成了有據(jù)可查的危害，生成和傳播大量錯誤信息，帶有系統(tǒng)偏見，擠壓勞動市場崗位。關(guān)于這些明確而現(xiàn)實(shí)的問題的討論正處于“缺氧”狀態(tài)。政府必須建立適當(dāng)?shù)姆珊捅O(jiān)管框架，科技公司必須制定負(fù)責(zé)任地開發(fā)人工智能系統(tǒng)和工具的行業(yè)標(biāo)準(zhǔn)，研究人員必須發(fā)揮作用，建立負(fù)責(zé)任的人工智能文化。關(guān)于存在風(fēng)險的危言聳聽的敘述沒有建設(shè)性，認(rèn)真討論實(shí)際風(fēng)險以及遏制風(fēng)險的行動更重要?！叭祟愒皆缃⑴c人工智能的互動規(guī)則，我們就能越早學(xué)會與技術(shù)和諧相處?！保?］