高兆明

一、問題的提出

埃航波音737MAX 墜機(jī)事件令人戰(zhàn)栗。a2019 年3 月10 日，埃塞俄比亞航空公司ET302 航班起飛后不久墜機(jī)，機(jī)上157 人全部遇難。根據(jù)分析，判定事故原因是飛機(jī)“迎角傳感器”出現(xiàn)數(shù)據(jù)異常。此型飛機(jī)上新安裝的“防失速”系統(tǒng)具有自動(dòng)降低機(jī)頭功能。根據(jù)波音公司事后發(fā)布的信息，737 MAX 機(jī)型上的該系統(tǒng)具有繞開飛行員控制的能力，即便飛行員手動(dòng)拉起機(jī)頭，五秒鐘之后又會(huì)自動(dòng)重復(fù)下降過程。而波音公司提供的飛行員操作手冊(cè)與培訓(xùn)項(xiàng)目中都未提及此系統(tǒng)。根據(jù)美國(guó)西南航空2018 年11 月10 日的一份備忘錄，該系統(tǒng)“設(shè)計(jì)之初僅考慮到機(jī)組手動(dòng)駕駛的罕見情況”，故飛行員“不應(yīng)該在實(shí)際飛行中看到這個(gè)系統(tǒng)”。結(jié)果，波音選擇不在737MAX機(jī)型的操作手冊(cè)中加入相關(guān)介紹。盡管此墜機(jī)事件是由技術(shù)原因引起，但它并不是一起純粹技術(shù)事故，隱藏在此技術(shù)事故背后的是“意義事故”或“價(jià)值事故”。就技術(shù)層面看，似乎最終表現(xiàn)出的是自動(dòng)駕駛級(jí)別優(yōu)先于飛行員，飛行員不能操控飛機(jī)，似乎是人工智能體（AI）與飛行員之間在緊急時(shí)刻對(duì)飛機(jī)的實(shí)時(shí)最終控制權(quán)之爭(zhēng)，但背后存在著的是兩種根本不同的價(jià)值理念之爭(zhēng)：是人控制AI，還是AI 控制人。此起災(zāi)難性事件凸顯了人類現(xiàn)時(shí)在與AI 關(guān)系問題上的某種迷惘與混亂，并以沉重代價(jià)要求人類直面如何與AI 相處的問題，在形上層面澄清：在人類與AI 關(guān)系中，根本上究竟是以人為主導(dǎo)，還是以AI 為主 導(dǎo)？

“人類如何與AI 相處？”這一發(fā)問，不是工具理性意義上的，而是價(jià)值意義世界的。確實(shí)，人類與任何事物均有如何相處的問題，因?yàn)?，在一般意義上，對(duì)于人類而言，如何與他物相處所指向的，不僅僅是認(rèn)識(shí)與理解他物，進(jìn)而構(gòu)建起與他物統(tǒng)一的現(xiàn)實(shí)關(guān)系（其中當(dāng)然包括對(duì)他物的合理利用與控制），而且更為重要的是指向?qū)θ祟愖陨淼恼J(rèn)識(shí)與理解，構(gòu)建起自身的日常生活世界，并在此日常生活世界中具體思考“我是誰”“我能做什么”“我能成為什么”等問題，展開“成人”的具體過程。在這一點(diǎn)上，AI 與他物無異。然而，問題在于：盡管AI 系人類創(chuàng)造，但是AI 不同于人類此前任何一種創(chuàng)造物，AI 有“智能”，AI 不僅有“學(xué)”與“思”的能力，而且還有超強(qiáng)的執(zhí)行行動(dòng)能力，并因此顯現(xiàn)出某種自主、自抉能力。具有自主、自抉能力的AI 正使人們形成一種印象：AI 具有某種主體性，正成為主體；AI 的演進(jìn)方向似乎是正在逐漸消除與人類的根本界限，要成為與人類一樣的主 體。

人類借以超越萬物并引以為豪的，不外乎是有智慧或理性能力，理性能力包括理論理性能力與實(shí)踐理性能力兩個(gè)基本方面。理論理性能力是對(duì)真理的認(rèn)知能力，理論理性對(duì)真理的認(rèn)知不僅包括科學(xué)認(rèn)知，還包括對(duì)人的存在意義、價(jià)值世界的認(rèn)知。實(shí)踐理性能力不僅是亞里士多德意義上的，更是康德、黑格爾、馬克思意義上的，是人能動(dòng)創(chuàng)造世界的創(chuàng)造性活動(dòng)能力。然而，正如前述，AI 似乎正在試圖分享人類引以為豪的理性能力，正在向成為與人類一樣的主體演進(jìn)。因AI 技術(shù)的迅速發(fā)展與日益廣泛應(yīng)用，人類的生存境遇與尊嚴(yán)正在受到前所未有的挑 戰(zhàn)。

AI 技術(shù)的迅猛發(fā)展與廣泛運(yùn)用是當(dāng)今人類社會(huì)無法抗拒的趨勢(shì)。AI 技術(shù)作為“座駕”，a參見海德格爾：《技術(shù)的追問》，載《海德格爾選集》，孫周興選編，上海：上海三聯(lián)書店1996 年版，第924—954 頁。對(duì)人的生活方式、交往方式、精神世界將帶來難以想象的改變。從技術(shù)與社會(huì)文明的角度看，人類歷史正在因AI 掀開新篇章。AI 技術(shù)正在并將以超出想象的速度給人類帶來更多福祉，人類在將越來越多的具體事務(wù)交給AI 的同時(shí)，將自己從繁重、無聊、重復(fù)、瑣碎的勞作中解放出來，并在對(duì)AI 寄以無限期待的同時(shí)予以高度信任。不過，在這種根本變化了的生存境遇中，人類正面臨前所未有的挑戰(zhàn)。人類應(yīng)當(dāng)如何行為，如何重構(gòu)自己的社會(huì)生活秩序與心靈秩序？人類應(yīng)當(dāng)如何對(duì)待AI 技術(shù)，人類對(duì)待AI 技術(shù)的行為規(guī)范性及其根據(jù)何在？在AI 技術(shù)時(shí)代，人類是否還要堅(jiān)持自身獨(dú)有的主體性地位，是否還有保持自身尊嚴(yán)及其高貴性的使命，是否還要堅(jiān)持“成人”？如果放棄人類自身獨(dú)有的主體性及其高貴性，人類又何以“成人”？盡管當(dāng)今人類無法阻止AI 技術(shù)的進(jìn)一步發(fā)展，但是，人類卻應(yīng)當(dāng)為了自身長(zhǎng)遠(yuǎn)福祉，基于理性嚴(yán)肅思考AI 技術(shù)的發(fā)展方向，思考人類與AI 的基本關(guān)系及其相處的基本范式，規(guī)范設(shè)計(jì)、制造與使用AI 技術(shù)活 動(dòng)。

二、AI 是主體嗎？

AI 的自我學(xué)習(xí)、自主自抉能力，似乎越來越讓人們相信AI 是主體，甚至人類已賦予個(gè)別AI 某種法律權(quán)利與公民身份。如果AI 是與人類一樣的主體，那么，人類與AI 的關(guān)系在原則上就是“主體間”關(guān)系，而“主體間”關(guān)系與“非主體間”關(guān)系是兩種有原則區(qū)別的關(guān)系范式。在此意義上，要合理澄清人與AI 關(guān)系問題，首要任務(wù)就是澄清AI 屬性，澄清AI 是否真的是與人一樣的主 體。

確實(shí)，AI 具有自我學(xué)習(xí)能力，具有自主、自抉能力，且在具有明確目的性的同時(shí)具有超強(qiáng)的行動(dòng)能力，甚至在一些具體方面遠(yuǎn)超人類。這些似乎都鮮明地顯示AI 具有主體性，是主體。然而，AI 真的是主體嗎？AI 在何種意義上是主體？擁有自主、自抉能力，乃至擁有自我學(xué)習(xí)能力的存在物就一定是主 體？

何謂“主體”？根據(jù)黑格爾的看法，一切實(shí)體均是主體，但人是意識(shí)到自身是自由的精神主體。a參見黑格爾：《精神現(xiàn)象學(xué)》 （上卷），賀麟、王玖興譯，北京：商務(wù)印書館1987 年版，第11 頁；《法哲學(xué)原理》，范揚(yáng)、張企泰譯，北京：商務(wù)印書館2009 年版，第46 頁。所謂一切實(shí)體均是主體，是在事物具有自主運(yùn)動(dòng)能力的自主運(yùn)動(dòng)意義上而言，指事物運(yùn)動(dòng)的原因不在外部，而在自身。正是在此意義上，黑格爾甚至曾認(rèn)為阿米巴蟲亦是主體。不過，作為實(shí)體的主體有自在、自為之分。阿米巴蟲只是一種自在的生物生命體，沒有精神意識(shí)，不是自為的，更不是自由的，因而，談不上是真實(shí)主體。人則不同。人作為主體，不僅有意識(shí)，且能夠意識(shí)到自身是自由的；不僅有自由精神，而且還有意義世界及其自覺追求；不僅能夠認(rèn)知外部世界，而且還能通過自身的創(chuàng)造性活動(dòng)，創(chuàng)造現(xiàn)實(shí)自由世界。人是精神性存在，人有精神意義世界，自由是精神的內(nèi)在規(guī)定，人的一切活動(dòng)是自由精神的顯現(xiàn)。自覺意識(shí)到自身是自由的這一自由精神及其自覺實(shí)踐，是橫亙?cè)谌伺cAI 之間的鴻溝。至少迄今為止，AI 沒有自我意識(shí)，沒有意義世界，沒有自由意志，沒有作為形成意義世界前提的社會(huì)性。即便我們?cè)诶碚撋先氐组_放性態(tài)度，不排除AI 有演進(jìn)成為主體的可能，但那一天極為遙 遠(yuǎn)。

然而，問題在于：根據(jù)一般印象，能動(dòng)性、自主性是主體的基本特質(zhì)，既然如此，為什么AI 所顯現(xiàn)出的這種自主、自抉能力不能被理解為主體性能力？為什么具有自我學(xué)習(xí)、自主自抉能力的AI 不能被視為主體？對(duì)此問題的基本回答是：其一，自主、自抉是主體的必要條件，卻非充分條件。自主自抉、意義世界、變主觀為客觀的創(chuàng)造性活動(dòng)，才是真實(shí)主體的充要條件，更何況AI 的自主自抉只是外在現(xiàn)象的，而非內(nèi)在精神的。即便AI 確實(shí)具有某種目的且有向著既定目的前行的堅(jiān)定行動(dòng)能力，但是，其也不能在嚴(yán)格意義上被稱為真實(shí)主體。一方面，AI 的自我學(xué)習(xí)、自主自抉能力在根本上由人類算法支配；另一方面，AI 的目的不僅系人為設(shè)定，而且它只是具體目的，不是意義世界的終極目的，AI 沒有意義世界及其目的性。其二，根據(jù)康德的看法，主體屬于自由王國(guó)，主體性的要旨不是現(xiàn)象的自動(dòng)，主體性是自由意志精神：主體不僅為自然立法，亦為自我立法，不是服從自然因果必然律，而是服從自由律，是“自我立法”的自律。AI 似乎具有自主、自抉性，但是，正如前述，它沒有意義世界與價(jià)值目的性，即便其所具有的功能目的性亦是人類設(shè)置，AI的具體行動(dòng)策略選擇由人類算法事先規(guī)定。AI 不具有康德意義上的主體 性。

不過，AI 自身所具有的這種自我學(xué)習(xí)、自主自抉特性，又確實(shí)呈現(xiàn)出某種智能主體活動(dòng)的特征，并使其鮮明地區(qū)別于其他一切自然物與人造物。AI 既不同于人類，亦不同于地球上既有的一切自然物與人造物，AI 是地球上新近出現(xiàn)的一類具有某些主體性形式特征的人類創(chuàng)造物。AI 不是主體，AI 是“類主體”，此“類”為“類似”，指AI 具有主體的某些自主自抉“智能”特征，在一些方面類似于主體，但并不是主體。“類主體”使AI 既區(qū)別于一切自然物與其他人造物，又區(qū)別于人 類。

對(duì)于AI 不是主體而是類主體的這一認(rèn)知，有助于從根本上澄清時(shí)下令人們困頓的關(guān)于AI 的道德價(jià)值與道德責(zé)任問題。時(shí)下人們所關(guān)切的AI 道德價(jià)值與道德責(zé)任問題，不是AI 自身內(nèi)在的，而是人類加予AI 的。AI 不是主體，不屬于自由王國(guó)，這自然意味著AI 不可能是道德主體。AI 行動(dòng)所具有的所謂道德價(jià)值在根本上就不是AI 自身的，而是人的；AI 行動(dòng)的所謂倫理性或道德性，就不是AI 行動(dòng)內(nèi)在所具有的，而是其行動(dòng)結(jié)果合乎倫理或道德規(guī)范狀況的。具體言之，其一，在某種意義上AI 是算法，算法法則體現(xiàn)價(jià)值法則。AI 究竟有何種算法法則，這由設(shè)計(jì)者規(guī)定，說到底AI 的算法法則體現(xiàn)的不過是設(shè)計(jì)者的價(jià)值法則。其二，AI 不具有道德能力，更無所謂具體情境中的道德“想象力”a參見杜威：《人性與行為》，載《杜威全集》 （第14 卷），羅躍軍譯，上海：華東師范大學(xué)出版社2012 年版，第113—114、117 頁。，因而，AI 既無所謂道德行為選擇能力，亦無所謂道德責(zé)任能力。時(shí)下一些學(xué)者所說倫理性的AI 問題，其要旨也只是：使AI 在行動(dòng)結(jié)果上顯得合乎倫理或道德規(guī)范性，顯得是善的，進(jìn)而使AI 顯得有倫理道德。所謂具有倫理性的AI 不過是指：具有某種行動(dòng)能力的AI 能夠在行動(dòng)結(jié)果上顯得是合乎倫理道德規(guī)范性的，是善 的。

盡管AI 不同于既有的一切自然物與人造物，是“類主體”，但是，人類與AI 的關(guān)系問題在總體上仍然沒有超出古老的人類與自然（或物）的關(guān)系問題。古老的人與自然關(guān)系問題可以有諸多理解角度與層面，但核心均離不開人在宇宙中的位置。人不是自然生命體，人是自由精神存在；人不是簡(jiǎn)單地“在”世界中，人就是其生活世界，人在自身生活世界中成為人。盡管后現(xiàn)代在反思現(xiàn)代性過程中對(duì)“人類中心主義”提出諸多批評(píng)，但是，“人類中心主義”所指向的“人是目的”、人類一切實(shí)踐活動(dòng)在價(jià)值上均以人類自身為目的這一核心內(nèi)容，卻是人類極為珍貴的思想財(cái)富。在現(xiàn)代性過程中的“人類中心主義”思想及其實(shí)踐之所以受到來自后現(xiàn)代思想的詰難，不在于其堅(jiān)持“人是目的”這一人類活動(dòng)的最終自身價(jià)值指向性，而在于其主客二分對(duì)峙的世界觀與方法論，在于離開了人的生活世界孤獨(dú)地理解人，沒有認(rèn)識(shí)到宇宙萬物構(gòu)成了人類現(xiàn)實(shí)生活世界。為了自身，人類應(yīng)當(dāng)珍惜與善待宇宙萬物，與萬物和諧相處，共在共生。與宇宙萬物和諧相處、共在共生當(dāng)然也是一種價(jià)值觀，但是，這種和諧相處、共在共生關(guān)系中有價(jià)值目的性和核心，就是人類自身的生存與發(fā)展。盡管AI 技術(shù)作為“座駕”會(huì)深刻影響與改變?nèi)祟惔嬖诜绞?，但是AI 本身作為人類的創(chuàng)造物，首先是作為人的工具出場(chǎng)。在人與AI 關(guān)系中，人永遠(yuǎn)處于價(jià)值目的性地 位。

來自后現(xiàn)代性對(duì)現(xiàn)代性的批判曾一度成為時(shí)尚，這種時(shí)尚甚至反對(duì)人類主體性，主張人與動(dòng)物平等，主張將動(dòng)物權(quán)利納入正義邊界，等等。這種思潮與其反思對(duì)象構(gòu)成兩個(gè)極端。AI 技術(shù)則以一種極為尖銳且無法回避的方式向人類提出：人類在AI 面前真的應(yīng)當(dāng)放棄，或者與AI 分享自己的主體性地位嗎？至少就人類迄今為止的認(rèn)知水平而言，AI 在根本上仍然沒有超出人類的創(chuàng)造物范疇。AI 是人類創(chuàng)造的類主體，AI 在根本上仍然是人類造福自身的工具——即便考慮到隨著AI 技術(shù)的進(jìn)一步發(fā)展AI 會(huì)以某種方式與人體（生命代謝、運(yùn)動(dòng)、認(rèn)知、記憶、思維、情感活動(dòng)）相融合的情景，也不能改變此種判斷。那只是在現(xiàn)象界模糊了人體與某些AI的界限，但卻不能改變這些與人體融合的AI 的基本屬性，否則，就可能從根本上是反人性的。AI 是人類造福自身的工具，這是人類與AI 關(guān)系的基石。一旦離開這一基石，一切關(guān)于人類如何與AI 相處的思考，就會(huì)陷于混亂乃至災(zāi) 難。至少《三體》從一個(gè)側(cè)面向我們深刻揭示了這一點(diǎn)。

三、AI 值得信任嗎？

AI 是否值得信任？人在何種意義上信任AI？如果我們能夠承認(rèn)AI 不是主體，而是類主體，那么，人類對(duì)AI 的信任在總體上就不是主體間的，而是作為主體的人對(duì)于自身創(chuàng)造物的信 任。

主體間信任是人際信任。主體間信任總是發(fā)生在倫理共同體中，并有“背景性制度框架”與“背景性價(jià)值框架”a參見泰勒：《自我的根源：現(xiàn)代認(rèn)同的形成》，韓震等譯，南京：譯林出版社2001 年版，第27 頁。作為基本框架與規(guī)范。這意味著主體間信任既有“共通感”這一人性前提，又有基于某種共同價(jià)值精神的相互對(duì)話、認(rèn)同、承認(rèn)，以及基于交互主體性的承諾—守信，還有制度性信任安排以及基于制度性安排對(duì)基本交往方式與結(jié)果的可預(yù)期性。主體間信任關(guān)系的形成，除了前述宏觀倫理共同體及其背景性框架外，在微觀上直接依賴主體對(duì)交往對(duì)象的基本判斷：其能力與美德是可靠的。主體基于這種判斷，相信交往對(duì)象有能力且能負(fù)責(zé)任地履行義務(wù)。即，在主體間信任關(guān)系中，一個(gè)主體之所以能獲得另一個(gè)主體的信任，因其具備兩個(gè)基本條件：可靠的客觀能力與值得欣賞的道德品質(zhì)。交往對(duì)象既具備完成某種活動(dòng)應(yīng)有的相應(yīng)體力、智力、技能等客觀能力，又具備善良意志、負(fù)責(zé)任、創(chuàng)造性等主觀精神。一個(gè)僅有客觀能力，或僅有主觀善良愿望與態(tài)度者，不能獲得可靠性判 斷。

由于AI 不是主體，AI 無所謂善良意志主觀精神，因而，人對(duì)AI 的信任就不是主體間意義上的人際信任。人對(duì)AI 的信任是對(duì)AI 專業(yè)活動(dòng)能力及其可靠性的信任。那么，AI 在專業(yè)活動(dòng)能力方面是否無所不能、可以值得絕對(duì)信賴？對(duì)于具有超強(qiáng)能力的AI，人類是否可以無條件地給予充分信任，托付自身命運(yùn)（恰如波音737MAX 災(zāi)難性事故中所顯現(xiàn)的那樣）？確實(shí)，隨著AI 技術(shù)的發(fā)展，AI 具備了越來越精密的感知能力，且在超強(qiáng)運(yùn)算與瞬時(shí)傳輸能力之下，具體反應(yīng)的精準(zhǔn)與速度亦可能遠(yuǎn)遠(yuǎn)超過人類。不僅如此，AI 還具有超強(qiáng)的行動(dòng)能力。在AI 技術(shù)給人類帶來的那些具體便利與福音面前，人類出于理智會(huì)選擇使用并相信AI，甚至在必要時(shí)自覺不自覺地放棄自己的主導(dǎo)權(quán)，將自己的命運(yùn)事實(shí)上交給AI 控制。確實(shí)，人類在日常生活中應(yīng)當(dāng)信任自己的創(chuàng)造物，否則寸步難行。但是，問題的關(guān)鍵在于：一方面，此種信任以對(duì)其合理認(rèn)知為前提；另一方面，此種信任是有條件的，是在合理范圍之內(nèi)的有限信任。否則，信任就變成輕信乃至迷 信。

AI 并非無所不能，即便在專業(yè)能力領(lǐng)域，AI 的認(rèn)知與行動(dòng)能力亦有嚴(yán)重局限性。這種局限性，不是某個(gè)具體知識(shí)與行動(dòng)能力方面的，而是一般認(rèn)知、判斷、選擇能力方面的：AI 缺失人類的想象力與懷疑反思精神。AI 的這種一般認(rèn)知、判斷、選擇能力的局限性，直接決定了其具體認(rèn)知、行動(dòng)能力無法擺脫的局限性。具體說來，其一，AI 缺失富有想象力的創(chuàng)造性。用以支配AI 認(rèn)知、判斷與行動(dòng)選擇的算法原則是大數(shù)原則，大數(shù)原則是選擇大概率，拒斥小概率。然而，真正具有突破性的創(chuàng)造活動(dòng)，往往出現(xiàn)在小概率情況下，使那些似乎不可能或極小可能的成為可能，并變成現(xiàn)實(shí)。小概率不是不可能，小概率也是一種現(xiàn)實(shí)可能，關(guān)鍵的是條件，只要具備必要條件它就能成為現(xiàn)實(shí)。想象力是使不在場(chǎng)的成為在場(chǎng)、從“能是”認(rèn)知“所是”的一種能力。想象力打開可能世界，并創(chuàng)造無限可能的現(xiàn)實(shí)世界。想象力使人類具有非凡創(chuàng)造力，使似乎不可能的成為現(xiàn)實(shí)。其二，缺失懷疑反思精神。AI 認(rèn)知、判斷、行動(dòng)確實(shí)表現(xiàn)出某種堅(jiān)定性以及具體情境中的靈活適應(yīng)性，不過，由于AI 算法的先在規(guī)定性及其大數(shù)原則，AI 的認(rèn)知、判斷、行動(dòng)選擇在總體上只是一種大概率事件，既沒有內(nèi)在自覺價(jià)值目的性，也沒有自覺質(zhì)疑精神。人類的認(rèn)知、判斷、選擇活動(dòng)是具體情境中的開放性過程。反思懷疑精神是人在開放世界堅(jiān)持人類基本價(jià)值精神的創(chuàng)造性活動(dòng)。這種懷疑反思精神來自兩個(gè)方面：一是基本價(jià)值精神，一是具體情境中的具體手段選擇。在波音737MAX 事件中，當(dāng)飛機(jī)處于起飛高度機(jī)頭被反復(fù)強(qiáng)制下壓時(shí)，AI 自動(dòng)系統(tǒng)不能“意識(shí)”到此時(shí)此種強(qiáng)制下壓機(jī)頭選擇的災(zāi)難性風(fēng)險(xiǎn)，也未能“意識(shí)”到迅速與塔臺(tái)指揮或飛行員及時(shí)溝通確證的必要，“一意孤行”。AI 自動(dòng)系統(tǒng)反復(fù)強(qiáng)行執(zhí)行機(jī)頭下壓，是因?yàn)樗鶕?jù)程序“感覺”到飛機(jī)處于風(fēng)險(xiǎn)狀態(tài)，要規(guī)避風(fēng)險(xiǎn)。但是，AI 自動(dòng)系統(tǒng)恰恰此時(shí)缺失更為根本的大局風(fēng)險(xiǎn)“意識(shí)”：處于如此起飛高度的飛機(jī)機(jī)頭下壓意味著何種危險(xiǎn)！由此可見，即便是在AI 極為擅長(zhǎng)的專業(yè)領(lǐng)域，其認(rèn)知、判斷、行動(dòng)選擇能力也是有限、有條件的，未必值得完全信 任。

鑒于AI 缺失意義世界，缺失人是目的、自由意志精神，沒有道德感，鑒于AI在具體領(lǐng)域中超強(qiáng)技術(shù)能力的有限性，人類對(duì)AI 的信任只能是一種有條件的有限信任。人類不能將自己命運(yùn)的最終決定權(quán)無條件地交給AI，尤其是不能放棄緊急關(guān)頭的人類最終選擇 權(quán)。

波音737MAX 災(zāi)難事故，以災(zāi)難性方式表明人類最終選擇權(quán)的價(jià)值。當(dāng)然，對(duì)此也許會(huì)有來自人類航空史上另一災(zāi)難性事故的反駁。a2002 年7 月1 日深夜，俄羅斯的一架客機(jī)和敦豪國(guó)際快運(yùn)公司的一架貨機(jī)在德國(guó)南部上空猛烈相撞，機(jī)上71 人全部遇難，其中包括52 名孩子。那次事故發(fā)生時(shí)，兩架飛機(jī)都在瑞士蘇黎士空管中心的管轄范圍內(nèi)，事后調(diào)查證實(shí)瑞士蘇黎士空管中心對(duì)這場(chǎng)悲劇負(fù)有責(zé)任。當(dāng)時(shí)，兩架飛機(jī)在兩個(gè)空管交接區(qū)相遇，由于一系列原因，兩架飛機(jī)彼此發(fā)現(xiàn)在同一航線、同一高度且相距極近，兩架飛機(jī)均自動(dòng)啟動(dòng)緊急避讓系統(tǒng)，上下交錯(cuò)300 米。但是，與其同時(shí)，空管中心的空管員突然發(fā)現(xiàn)兩機(jī)處于危險(xiǎn)狀態(tài)，便緊急給出控制指令，且此指令恰恰與飛機(jī)自動(dòng)避讓系統(tǒng)自動(dòng)給出的相反。飛行員根據(jù)空管指令操縱飛機(jī)避讓，最終導(dǎo)致兩機(jī)直接相撞。此次事故后，國(guó)際航空組織制訂了一條航空管制中的空中緊急避讓規(guī)則：當(dāng)出現(xiàn)空中飛機(jī)相撞危險(xiǎn)需要緊急避讓時(shí)，若人工管制指揮與飛機(jī)自動(dòng)檢測(cè)系統(tǒng)指令發(fā)生沖突，則服從自動(dòng)檢測(cè)系統(tǒng)。此案例似乎表明：在緊急情況下自動(dòng)檢測(cè)系統(tǒng)指令優(yōu)先于管制員指令，人的命運(yùn)主宰權(quán)交給自動(dòng)檢測(cè)系統(tǒng)。不過，如果注意到以下兩個(gè)條件，就不會(huì)輕率地得出此種結(jié)論。其一，飛機(jī)的操縱權(quán)在飛行員手中，只是強(qiáng)調(diào)飛行員在處置此類情況時(shí)的信息依據(jù)優(yōu)先性。其二，有雙重技術(shù)驗(yàn)證機(jī)制保證的信息可靠性。相關(guān)兩架飛機(jī)各自均有相應(yīng)檢測(cè)驗(yàn)證系統(tǒng)，即便其中一架飛機(jī)相應(yīng)傳感器檢測(cè)系統(tǒng)出現(xiàn)故障，還有另一檢測(cè)系統(tǒng)工作。這種信任，如同人類大海航行、陸地行車信任GPS 導(dǎo)航一樣，是人類對(duì)成熟技術(shù)及其可靠性的信任，且這種信任本身既不排除對(duì)相關(guān)信息的雙重驗(yàn)證，更不排除人類自身對(duì)航行器的實(shí)際掌控 權(quán)。

就技術(shù)上言，至少發(fā)生事故的波音737MAX 的技術(shù)可靠性存疑。導(dǎo)致波音737MAX 事故的是飛機(jī)上的“迎角傳感器”失靈。設(shè)計(jì)者不知基于何種考慮，此類飛機(jī)只設(shè)計(jì)一個(gè)“迎角傳感器”，而沒有取可以雙重驗(yàn)證的技術(shù)路徑，以防其中一個(gè)傳感器失靈還有另一個(gè)可以驗(yàn)證，不至于在自動(dòng)駕駛中犯下無可挽回的毀滅性災(zāi)難。再加上相關(guān)飛機(jī)操控優(yōu)先權(quán)設(shè)定，飛行員在發(fā)現(xiàn)異常后不能操縱飛機(jī)，使飛機(jī)出現(xiàn)災(zāi)難性事 故。

當(dāng)然，技術(shù)失靈不能成為不信任AI 的充分理由，因?yàn)槿祟愅瑯訒?huì)犯錯(cuò)誤，甚至?xí)赶轮卮鬄?zāi)難性事故。諸如日常生活中常見的司機(jī)注意力不集中、判斷操作失誤，化工廠閥門工操作失誤等所造成的災(zāi)難性事故，乃至如切爾諾貝利核電站爆炸事故，等等。這些正是人類引入自動(dòng)化、自動(dòng)駕駛汽車等的合理理由。在此意義上，即便是在行動(dòng)操作可靠性上，人工操作并不比AI 顯得更為可靠。既然如此，為什么不能如同信任人類自身一樣信任AI？為什么最終要由人自身掌控？這里應(yīng)區(qū)分形上與形下兩個(gè)不同層次的問 題。

就形上言，人的任何活動(dòng)均有風(fēng)險(xiǎn)性，甚至不能排除有災(zāi)難性風(fēng)險(xiǎn)的可能，為什么在AI 與人的行動(dòng)同樣有災(zāi)難性風(fēng)險(xiǎn)可能的情況下，最終選擇權(quán)要掌握在人手中？理由何在？理由很簡(jiǎn)單，僅僅因?yàn)槿说慕K極性形上理念：人是主體，必須將命運(yùn)掌握在自己手中。一個(gè)不能掌握自身命運(yùn)者，只能是被擺布的玩偶，不能成為主體。只有人類自己才能夠掌握自身命運(yùn)，否則，人類就是被支配操縱的玩偶，就不是主體，就沒有高貴性與尊嚴(yán)。人是意識(shí)到自身是自由的存在，人是自由的。僅此理由足 矣。

就形下言，人類對(duì)AI 的信任，探其究竟，是對(duì)人類自身的信任：對(duì)人類自身理性、科學(xué)精神的信任，對(duì)自身認(rèn)知與創(chuàng)造能力的信任，對(duì)自身創(chuàng)造物質(zhì)量及其可靠性的信任，對(duì)相關(guān)專業(yè)同胞創(chuàng)造性活動(dòng)及其成果的信任。然而，世界是開放的，一方面，理性有哈耶克所謂的“理性不及”；另一方面，美德亦未必可靠，即便基于善良動(dòng)機(jī)也未必有好的結(jié)果。即便是公認(rèn)最優(yōu)秀的設(shè)計(jì)師、工程師，也有失誤的可能，更何況人世間德藝雙馨者鳳毛麟角，絕大多數(shù)人在多多少少懷有某種私念的同時(shí)，技術(shù)技能亦有所欠缺。出事故的波音737MAX 為何只設(shè)計(jì)一個(gè)迎角傳感器？為何在飛行手冊(cè)上沒有明顯相關(guān)提示？如此等等，本就是令人深思的問題。這樣，我們的視野就不得不由一般意義上的人類對(duì)AI 信任問題，進(jìn)一步深入至人類的一部分人對(duì)另一部分人的信任問題。如是，則問題本身就進(jìn)一步轉(zhuǎn)換為：緊急關(guān)頭的最終選擇權(quán)是掌握在具有一定選擇能力的自己手上，還是他者手上？在一般意義上，一個(gè)人自己的命運(yùn)是否可以無條件地交付他者做主？如果有選擇能力的自己無條件地將命運(yùn)交給他者做主，那么，其還是主體 嗎？

四、AI 有可能失控嗎？

AI 技術(shù)將滲透進(jìn)我們?nèi)粘Ｉ畹拿恳粋€(gè)方面，它直接參與構(gòu)成人類的生存境遇。不僅如此，AI 還一定會(huì)以各種方式在生命有機(jī)體與社會(huì)有機(jī)體兩個(gè)層面上不斷與人融合。今天，任何關(guān)于人類能是怎樣、可能怎樣、能做什么等康德式的永恒追問，都離不開AI 因素。AI 通過構(gòu)成人類生存境遇而影響人性、人類的日常生活方式與交往方式以及人類的可能世 界。

人類的任何創(chuàng)造物都有可能失控。即便是簡(jiǎn)單的一把斧頭，也有可能由于制造、維護(hù)過程中的細(xì)微失誤而失控，在此意義上，AI 亦不例外。此處的關(guān)鍵是：在何種意義上理解此處所說的“AI 失控”？就此問題至少值得進(jìn)一步追問：誰之失控？何種失控？“誰之失控”追問的是此“失控”相對(duì)的是人類整體，還只是人類的某些人？前者指向的是人類整體不能有效控制AI，后者指向的是人類社會(huì)中的一部分人失卻對(duì)AI的有效控制。這是兩類完全不同性質(zhì)的問題。“何種失控”追問的是失控程度狀態(tài)是全局性的，還是局部性的。前者指向的是對(duì)人類整體命運(yùn)無可挽回的災(zāi)難性失控，人類不再擁有通過“理性學(xué)習(xí)”實(shí)現(xiàn)“理性累積進(jìn)步”a參見哈耶克：《自由秩序原理》，鄧正來譯，北京：生活·讀書·新知三聯(lián)書店1997 年版，第65—67 頁。的時(shí)間與空間。后者指向的“失控”還只是有限范圍內(nèi)的，至少人類還有時(shí)間與空間通過發(fā)揮自己的理性能力，在開放性過程中克服“理性不及”，糾正自己的失誤，繼續(xù)進(jìn)行“理性累積進(jìn)步”過 程。

赫拉利曾預(yù)言“神人”將主宰社會(huì)。“神人”是那些掌控與使用AI 技術(shù)的技術(shù)專家，以及掌控這些技術(shù)專家的金融與權(quán)力資本，人類社會(huì)成員并據(jù)此被分為“有用”與“無用”兩類，且絕大部分屬于“無用”“多余的人”。b參見赫拉利：《未來簡(jiǎn)史》，林俊宏譯，北京：中信出版集團(tuán)2017 年版，第275、286 頁。赫拉利的預(yù)言可能失于夸張，但是，他所揭示的問題本身卻值得重視。根據(jù)赫拉利的思路，人類如何與AI 相處的問題，事實(shí)上就變成了如下問題：人類大多數(shù)人如何與那些掌控AI 的“神人”相處，那些“神人”是否可能以及如何可能通過AI 控制與支配社會(huì)，人類社會(huì)如何避免被這些“神人”控制與支配。至少就目前人類所能達(dá)到的有限認(rèn)知而言，AI 是人類工程師的作品，AI 沒有自由意志，AI 不能自我繁殖，AI 不能形成獨(dú)特的AI 社會(huì)。因而，人們時(shí)下所談?wù)撆c擔(dān)憂的AI 對(duì)人類社會(huì)的可能支配問題，實(shí)質(zhì)上是那些有能力設(shè)計(jì)、制造與控制AI 的“神人”對(duì)人類社會(huì)的控制與支配問題。人們信任AI 并將最終選擇權(quán)交給AI，事實(shí)上是信任并將命運(yùn)交給那些設(shè)計(jì)、制造、使用AI 的“專家系統(tǒng)”c參見吉登斯：《現(xiàn)代性與自我認(rèn)同》，趙旭東等譯，北京：生活·讀書·新知三聯(lián)書店1998 年版，第20 頁；吉登斯：《現(xiàn)代性的后果》，田禾譯，南京：譯林出版社2000 年版，第19 頁。。而根據(jù)赫拉利的說法，這些工程師又會(huì)以各種方式受金融寡頭與權(quán)力壟斷集團(tuán)控制。在此，知識(shí)、資本、權(quán)力三者前所未有地整合一體，并構(gòu)成赫拉利所說的“神人”集 團(tuán)。

人類發(fā)明、制造、使用AI，是希望AI 造福人類自身，但是，事物演變進(jìn)程往往不以人的意愿為轉(zhuǎn)移。AI 與人類關(guān)系究竟可能怎樣，不僅應(yīng)當(dāng)考慮人類設(shè)計(jì)、使用AI 的動(dòng)機(jī)、目的、價(jià)值立場(chǎng)，還應(yīng)當(dāng)考慮到AI 技術(shù)的可能演進(jìn)、發(fā)展水準(zhǔn)。就人類與AI 關(guān)系而言，應(yīng)在這二者的連接中理解人類的生存境遇及其可能世界。在總體上，AI 技術(shù)演進(jìn)與使用有三種可能途徑及其結(jié) 果。

其一，AI 具有自我感知能力，有基于優(yōu)越能力的優(yōu)越感。而基于“自我”感知能力的“自我意識(shí)”有可能會(huì)進(jìn)一步形成兩種意識(shí)：（1）優(yōu)越意識(shí)以及因自我優(yōu)越意識(shí)而形成的如同黑格爾、福山曾說的要求“承認(rèn)”及其不服從與反抗。（2）恐懼與害怕以及因恐懼與害怕而對(duì)行為的節(jié)制。如果AI 有感知能力而無恐懼，AI 還能被人類控制嗎？現(xiàn)在看來，這種可能演進(jìn)路徑及其結(jié)果還只是一種幻 想。

其二，AI 不能被人類有效控制。這種失控有局部與整體兩種可能類型。局部失控是個(gè)別類型的AI 由于特殊原因，設(shè)計(jì)、操控者不能有效控制。盡管局部失控只是有限范圍內(nèi)的，但它對(duì)于人類而言仍然是災(zāi)難性的，如波音737MAX 事故。整體失控則是由于AI 自身演進(jìn)達(dá)到令人難以想象的地步，乃至于人類在總體上不能有效控制自己的創(chuàng)造物。盡管現(xiàn)在看來這種可能性微乎其微，但卻不能斷然否認(rèn)。更為重要的是，也許人類甚至無法判斷區(qū)分局部失控與整體失控的清晰邊界究竟在哪。要防止與控制此類可能風(fēng)險(xiǎn)，最重要的是人類在設(shè)計(jì)、制造、使用AI 活動(dòng)中的科學(xué)精神與謙卑態(tài)度。人不是神，人不是萬能的，人不能“濫用科學(xué)”a參見哈耶克：《科學(xué)的反革命：理性濫用之研究》，馮克利譯，南京：譯林出版社2003 年版，第108—109 頁。，人類應(yīng)當(dāng)在科學(xué)精神引領(lǐng)下一步步小心探索前 行。

其三，AI 為其設(shè)計(jì)、制造、掌控者即“神人”所掌控，并成為“神人”的社會(huì)控制工具。在數(shù)據(jù)技術(shù)時(shí)代，人類對(duì)AI 的依賴性只會(huì)增加，不會(huì)減少。而AI 行動(dòng)由算法規(guī)定，算法由工程師撰寫，一切軟件命令只不過是工程師對(duì)問題的理解及其解決策略。在此意義上，如果說在數(shù)據(jù)時(shí)代AI 對(duì)社會(huì)的影響與控制作用越來越強(qiáng)，這事實(shí)上就意味著：那些設(shè)計(jì)、制造、掌控AI 的“神人”有可能越來越得心應(yīng)手地掌控社會(huì)命運(yùn)。在AI 技術(shù)時(shí)代，人類的生存境遇發(fā)生了重大變化，并在此生存境遇中顯現(xiàn)出一種新的生存悖論。具有自我學(xué)習(xí)、自主自抉與超強(qiáng)行動(dòng)能力的AI 應(yīng)當(dāng)置于人類的有效控制之下；人類通過極少數(shù)專業(yè)人員，即那些所謂“神人”控制AIb這意味著只要人類愿意，就可以以極為隱藏的方式在AI 中留下可以施加控制的有效通道。這在日常生活的意義上意味著什么？思之不安。，這些“神人”通過控制AI 而控制人類。人類在努力擺脫既有控制時(shí)，又陷入了另一種新的控制。這種新的生存悖論，是人類自身文明演進(jìn)過程中的新挑 戰(zhàn)。

AI 對(duì)人類的影響最終取決于人類自身。一方面，人類是否能夠抵制自身的貪婪、狂妄自大，是否能以負(fù)責(zé)任的態(tài)度從事AI 技術(shù)研發(fā)、設(shè)計(jì)、制造與使用，是否對(duì)必然世界持某種敬畏心，以科學(xué)態(tài)度謹(jǐn)慎工作，是否在風(fēng)險(xiǎn)可控前提下摸索著發(fā)展AI 技術(shù)。另一方面，人類是否能夠在數(shù)據(jù)時(shí)代適時(shí)并恰當(dāng)?shù)卣{(diào)整自己的社會(huì)結(jié)構(gòu)體系及其文化價(jià)值，避免因AI 技術(shù)造成人類內(nèi)部分裂，避免使AI 成為一部分人掌控與支配另一部分人的工 具。