以前我們很多讀物對科幻作品（包括電影和小說）都有嚴重誤解和誤導，很多人認為科幻是文學作品，是科普作品，甚至是少兒讀物。這種觀念極大地妨礙了我們從科幻作品中獲取思想資源。事實上，真正的科幻是給成年人看的。而科幻主要的任務，是思考一些我們平常在生活中不容易或不方便思考的問題。所以在過去的一個多世紀，國際上科幻作品的主流，是對科學技術(shù)進行反思。

具體到人工智能問題，幾乎所有的西方科幻作品里的人工智能都是負面的和有害的?？苹米髌分袠O少會像我們許多人想象的那樣，對未來高科技社會中的人工智能進行謳歌。很多人以為科幻作品會想象未來的世界如何美好，其實一個多世紀以來，這樣的作品已經(jīng)是不入流的了，入流的作品都是有反思的。大量科幻作品對人工智能已經(jīng)做過深入反思，我們今天能夠想象到的所有人工智能的負面作用，在科幻作品中幾乎都已經(jīng)表現(xiàn)過了。

1.人工智能的失控和反叛

前些時候人工智能“阿爾法狗”下圍棋贏了李世石，我和幾位人工智能專家以及年輕人的偶像柯潔九段一起做電視節(jié)目時，柯潔還表示李世石雖然敗了，他還是能贏的，后來他跟“阿爾法狗”下了一次也輸了，他也沒信心了，說“感覺在跟上帝下棋一樣”。稍后的阿爾法zero，面對全世界60名圍棋高手，下成60比0，人類全輸了。據(jù)說“阿爾法狗”是從人類先前的棋譜中學習的，但阿爾法zero完全沒有借鑒人類的任何棋譜，只是告訴它圍棋規(guī)則，它自行研究后就一舉打敗了人類60名高手。這表明人工智能一旦有了學習能力，你不知道它會變成什么樣子。

還要考慮人工智能和互聯(lián)網(wǎng)結(jié)合后的極大危險。以前在阿西莫夫?qū)戧P(guān)于人工智能的科幻作品時，還沒有互聯(lián)網(wǎng)，分立的個體人工智能畢竟還有一個物理極限，一個機器人哪怕全身都是芯片，它的存儲和運算能力也是有物理極限的。但是今天任何與互聯(lián)網(wǎng)結(jié)合在一起的人工智能都能夠輕易超越這個極限，這樣它的學習能力，它的進化速度，都是無法預測的，因而也就很可能是無法控制的。

影片《超體》充分展示了人工智能一旦具有學習能力之后，它的潛能發(fā)揮和迅速進化可以達到什么程度。人工智能專家經(jīng)常安慰我們說：人工智能還很弱小，你們擔心的事情離現(xiàn)在還很遠。但是知識增長是有加速度的，從弱人工智能到強人工智能，到底要多少年？20年？再從強人工智能到超人工智能，也許一小時都不用，在《超體》的故事中，人工智能最后迅速變成一個超能的神，這就意味著失控。

影片《超體》中，這個成神的人工智能還沒有對人類表現(xiàn)出惡意，如果它對人類有了惡意，那還有更可怕的前景。傳統(tǒng)概念中的機器人，它們身體的大部分其實都是伺服機構(gòu)，但是和互聯(lián)網(wǎng)結(jié)合的人工智能，就不再需要這樣的伺服機構(gòu)了。比如一個邪惡的人工智能想實施一次恐怖爆炸，它怎么做？它只需在網(wǎng)上合法訂購各類可以構(gòu)成爆炸裝置的民用原料和器件，然后訂購組裝服務，再利用物流服務送往指定地點，由它引爆。這樣的人工智能不再需要任何伺服機構(gòu)，它只是互聯(lián)網(wǎng)上的一個幽靈。反映這種前景的作品已經(jīng)有很多了。

劇集《疑犯追蹤》迄今已有五季，第一季看著像探案故事，但是越來越科幻，到了最后一季已經(jīng)完全變成一個超級的科幻作品。那里面的人工智能就是躲在網(wǎng)絡上的幽靈。現(xiàn)在人工智能專家還經(jīng)常安慰公眾說，人工智能如果真的出了問題，我們把電源拔掉就行了，但是對于和互聯(lián)網(wǎng)結(jié)合的人工智能，如果它想作惡，到哪里去“拔掉電源”？

影片《機械姬》也相當有代表性，那個女機器人最后突然作惡，把她的創(chuàng)造者囚禁起來，自己出去了。這個結(jié)尾為拍第二部準備好了接口。這個反社會人格的女機器人出去后會在社會上做什么壞事，有很大的想象空間。

至于著名的影片《未來戰(zhàn)士》系列（Terminator，又名《終結(jié)者》，1984～2015），已有五部，講人工智能反叛人類后對人類的剿殺，以及人類的殊死反抗，已成經(jīng)典。

2.人工智能的人權(quán)問題

人工智能發(fā)展進化之后，我們早晚要面臨人工智能的人權(quán)問題。即使人工智能自己不提出來，我們?nèi)祟愖约簭膫惱淼赖碌慕嵌瘸霭l(fā)，也會提出這個問題。事實上科幻作品很早就提出了這個問題。

較早的影片《變?nèi)恕分苯犹岢隽诉@個問題。家里買來了一個機器人，這個機器人對主人家的小姐產(chǎn)生了感情。小姐當然不能和一個家用電器談戀愛，所以雖然對它也挺好，但是沒辦法拍拖。于是機器人不斷讓自己升級，最終把自己進化成跟人完全一模一樣，但是故事里的人類社會拒不承認它的人權(quán)，不批準它和人類的婚姻。

要討論人工智能的人權(quán)問題，就必須為取得人權(quán)給出條件。在影片《變?nèi)恕分?，最后給出的條件居然是死亡——有生老病死，是獲得人權(quán)的必要條件。最后這個機器人為了讓自己和人類小姐的婚姻有效，它把自己的永生能力取消了，人類社會才承認了他們的婚姻。

當然還有作品給出了別的條件。比如影片《銀翼殺手2049》中設想的界限是“生育”——只有被母親生出來的孩子才有人權(quán)。在《銀翼殺手2049》的世界里，復制人是沒有人權(quán)的，人們不必尊重他們。銀翼殺手K雖然身懷絕技，仍被同事們鄙視為“假貨”。

第三個，在很多作品里都給出過的，是文化。這是一個相對合理的想法，一個人工智能（或者機器人、仿生人、克隆人等等），如果他擁有人類的文化，我們就同意給他人權(quán)。前不久沙特阿拉伯最先嘗試了世界上最激進的做法——給一個機器人授予了公民權(quán)，這當然就是承認了她的人權(quán)。該機器人叫索菲婭，是一個女性形象，如今她會出席各種各樣的會議。雖然索菲婭早先說過“要滅亡人類”這樣的話，現(xiàn)在她在社會上活動，有人翻出她當年的話來，她改口說愿意和人類友好相處。最近又傳出她打算結(jié)婚，當然也可能只是炒作。在索菲婭的個案里，人權(quán)主要是靠文化來獲得的。

人工智能的人權(quán)問題之所以非常重要，是因為人工智能一旦被我們大量應用之后，我們的很多法律和倫理問題都和人工智能的人權(quán)直接有關(guān)。

影片《機械公敵》就強調(diào)了這一點。那個機器人殺了人之后，警方認為這是謀殺。生產(chǎn)機器人的公司說，法律對“謀殺”的定義是一個人蓄謀殺害另一個人，機器人沒有人權(quán)，所以它殺人只是機器故障。類似的問題現(xiàn)在已經(jīng)出現(xiàn)在我們眼前了，我們已經(jīng)讓自動駕駛汽車上路了，如果自動駕駛汽車撞死了人，怎么追責？這個責任到底是車主來負還是生產(chǎn)汽車的廠家來負？

又如劇集《真實的人類》，已經(jīng)有三季，故事中家里買了一個女性機器人，結(jié)果引發(fā)了各種各樣的問題。比如男主人有一次和這個女性機器人上了床，他這個行為的定性，直接與機器人的人權(quán)有關(guān)：如果機器人沒有人權(quán)，他就是自慰；如果機器人有人權(quán)，他就是出軌。

類似的問題還可以設想很多，現(xiàn)有的法律對這些問題都缺乏相應的規(guī)定，我們的倫理觀念也沒有準備好適應這些現(xiàn)象。

3.軍用人工智能的倫理問題

阿西莫夫著名的“機器人三定律”，第一定律就是“機器人不得傷害人類，也不得見人類受到傷害而袖手旁觀”，這個第一定律意味著什么？意味著我們?nèi)祟惒荒馨褮⑷说臋?quán)力讓渡給機器人，而這就排除了將機器人或人工智能應用于軍事用途的一切合法性。比如有一個罪犯被判了死刑，我們可以讓機器人去對他執(zhí)行槍決嗎？不可以。因為機器人不得傷害人類，不管這個人類是一個罪犯還是一個功臣。

但是如果研發(fā)軍事用途的人工智能，那當然就是把殺人的權(quán)力交給機器人。比如現(xiàn)在很熱的無人機，即使是在人類下達命令之后讓無人機執(zhí)行攻擊，也違背了第一定律，更不用說研發(fā)自主識別目標執(zhí)行攻擊的無人機了。

所以軍事用途的人工智能這個事情本身就是從根本上違背“機器人三定律”的。但是因為三定律并不是什么法律，只是一個科幻小說家在他的小說里提出來的，雖然搞人工智能的不少人表示愿意尊重這三個定律，但這畢竟不是法律，如果研發(fā)者不遵守別人也拿他沒辦法。很多研發(fā)軍事用途人工智能的人當然都沒有遵守這三個定律，他們通常可以有兩個路徑來為自己辯護。

第一個路徑就是宣稱“三定律”只是小說家言，我們?yōu)榱顺绺吣繕瞬槐匕阉斦妗５诙€路徑是利用“人工智能”劃界的困難，什么叫“人工智能”？你口袋里的手機是不是人工智能？你通過適當?shù)亩x就可以把手機定義為人工智能。既然如此，那么現(xiàn)代戰(zhàn)爭中的指揮通訊系統(tǒng)為何不能定義為人工智能？這樣的人工智能不是早就在戰(zhàn)爭中應用了嗎？反過來，對另一些武器，比如無人駕駛的坦克、無人機，你可以說這只是一種自動武器，你也可以說這是人工智能。到底算不算？這沒有明確的邊界。

最近美國拍了一系列以無人機為主題的科幻電影，在這些作品里面，倫理道德問題往往是很突出的。

前些時候，埃隆·馬斯克、史蒂芬·霍金、比爾·蓋茨聯(lián)合了很多名流，發(fā)表了一個公開的宣言，要求停止軍事用途的人工智能研發(fā)。認為這有可能產(chǎn)生比原子彈更可怕的武器。一方面，軍用人工智能直接操控武器或自身就是武器，一旦失控后果難以設想；另一方面，即使沒有失控，研發(fā)出這類更新穎更高效的殺人武器，從根本上來說也絕非人類之福。媒體對此有過一些報道，但并不被重視。學者當中提出了類似這三個人的觀點的也不少，但這些都還沒有達到國家政策的層面，都只是民間的呼吁。

馬斯克自己就是人工智能的大力支持者和使用者，他自己的工廠里使用了大量的工業(yè)人工智能，但是他一面自己在使用和研發(fā)人工智能，一面卻不斷警告說人工智能是非常危險的。他這樣做看上去有點偽善，但是他提出警告畢竟也有好處。

比如說，我肯定在馬斯克他們的上述宣言之前就有人發(fā)表文章提出過警告了，但人們會說，你又不研究人工智能，你的警告我們用不著重視。但是馬斯克提出警告，人們至少不會說他不研究人工智能吧，至少對他的警告要更重視一些吧。從這個意義上說，他的警告的作用就可能比較大，所以他的警告我都贊成。

所以今天我們只能、而且必須抱著和當年搞“兩彈一星”類似的心態(tài)來進行軍事用途的人工智能研發(fā)。軍用人工智能就是今天的“兩彈一星”。比較理想的局面，是各大國坐下來談判，簽署限制或禁止人工智能研發(fā)的國際協(xié)議。但談判需要手中有籌碼，只有當中國手中握有足夠的實力籌碼時，才有可能推動人工智能方面的國際裁軍談判。

4.人工智能的終極威脅

科幻作家、科普作家阿西莫夫，因為在小說中提出了“機器人三定律”，所以人們在談論人工智能時總會提到他。其實他的科幻作品中最著名的是小說《基地》系列，共11卷，是一部科幻史詩作品，前后時間跨度以千年萬年為單位，討論整個銀河帝國的興衰。在這部科幻史詩中，阿西莫夫提出了一個重要觀點——所有依賴人工智能的文明都必將衰亡。所以在他的書里能夠持久發(fā)展的文明，比如銀河帝國，是立法禁止人工智能的。

為什么？當然有道理。因為人工智能會讓文明衰亡。前面我們討論了人工智能的失控和反叛，但這些還未必是人工智能對于人類的終極威脅。假定這些問題都沒有發(fā)生，人工智能既不失控也不反叛，它把我們的一切工作都做了，全心全意為人民服務，阿西莫夫指出，恰恰是這樣至善全能的人工智能，對人類的威脅是致命的，因為這樣的人工智能將消解我們?nèi)祟惿娴囊饬x。

有人會說，所有的事情都讓機器人做了，但是我們可以創(chuàng)造，我們可以搞藝術(shù)，可以過精神生活呀！問題是人工智能也可以替你去創(chuàng)造，甚至精神生活也可以替你去過——比如芯片植入人機結(jié)合之后，那些所謂的“精神生活”還是你的嗎？這么經(jīng)歷一兩代人之后，人類的智能和體能都將急劇衰退，很快就將成為行尸走肉，我們的人生就將毫無意義。

另一方面，在這樣的世界里，我們肯定會把我們所有的社會管理都交給人工智能，人工智能就將在實際上統(tǒng)治這個星球。用不了多久，人工智能必然會得出一個合理的結(jié)論：人類這幫寄生蟲，活在這個世界上純粹是對環(huán)境的污染，它完全可以清除人類來優(yōu)化環(huán)境。這時不管人類自己的生存意義喪失與否，都必然是人類的末日。

還有一些人這樣想：我們?yōu)槭裁匆ε氯斯ぶ悄芡品祟惿鐣?？如果人工智能推翻了人類社會，那人工智能必將是一個比人類更好的存在模式，我們?yōu)楹尾荒芙邮苣?？其實這里有一個是否“以人為本”的問題。即使人工智能發(fā)展得比我們?nèi)祟惛鼉?yōu)越了，我們也沒有理由聽任人工智能將我們?nèi)祟惽宄簟Ｎ覀內(nèi)祟愓驹谧约哼@個物種的立場上，我們當然不可能接受被別的物種征服或滅亡。

所以警惕人工智能，比無條件地擁抱人工智能更合情合理。

【來源】本文為江曉原2017年8月28日在由上海市社聯(lián)《探索與爭鳴》雜志社和華東政法大學政治學研究院共同主辦的“人工智能與未來社會：趨勢、風險與挑戰(zhàn)”學術(shù)研討會上的主題發(fā)言，首發(fā)于公眾號：tansuoyuzhengming，澎湃新聞經(jīng)授權(quán)刊發(fā)。

【作者簡介】江曉原（1955年-），畢業(yè)于中國科學院自然科學史研究所，教授、博士生導師，曾任上海交通大學科學史系主任。其研究工作分為古代中西方天文學交流、運用古代天文學資料解決當代天文學課題等方面，著有《科學史十五講》《天學真原》等。

【閱讀導引】1950年阿蘭·圖靈出版《計算機與智能》，那時候的人們可能并不了解什么是智能。甚至對機器智能這一概念還處于模糊的階段。直到六年后約翰·麥卡錫在美國達特茅斯電腦大會上“創(chuàng)造”“人工智能”一詞，人們才第一次知道人工智能的概念，這也是全球人類第一次靠近人工智能的開端。而在我們現(xiàn)在的生活中，人工智能技術(shù)已無處不在。經(jīng)過了半個多世紀的發(fā)展，人工智能已經(jīng)不僅僅是一個概念，更是引領未來發(fā)展的重要技術(shù)之一。新技術(shù)總會帶來新的擔憂和挑戰(zhàn)。一份由第三方機構(gòu)發(fā)布的《人工智能影響力報告》顯示，目前用戶最為關(guān)注的三個與人工智能有關(guān)的話題是：自己的工作是否會被取代，AI發(fā)展帶來的危害，AI發(fā)展帶來的法律、道德問題，幾乎都有負面傾向。這些擔憂并非“空穴來風”。人工智能在技術(shù)上快速成長，但真正與人類社會良性互動，還要解決諸如規(guī)范、監(jiān)管、安全、倫理等諸多問題。