周麗昀 等

2020年11月28日，“交叉學(xué)科背景下的科技倫理高端論壇”在上海大學(xué)召開(kāi)。①該論壇由上海大學(xué)學(xué)術(shù)委員會(huì)秘書(shū)處、上海大學(xué)哲學(xué)系主辦，上海市高水平創(chuàng)新團(tuán)隊(duì)“智能社會(huì)及其倫理建構(gòu)”、教育部哲學(xué)社會(huì)科學(xué)研究重大課題攻關(guān)項(xiàng)目“人工智能的哲學(xué)思考研究” 以及國(guó)家社會(huì)科學(xué)基金重大項(xiàng)目“人工智能前沿問(wèn)題的馬克思主義哲學(xué)研究”協(xié)辦。來(lái)自理、工、醫(yī)、文等不同學(xué)科的十幾位學(xué)者就 “人工智能與人類未來(lái)”展開(kāi)跨學(xué)科對(duì)話，達(dá)成富有啟發(fā)性的學(xué)術(shù)共識(shí)。

周麗昀：當(dāng)前，科學(xué)技術(shù)的迅猛發(fā)展及其對(duì)經(jīng)濟(jì)社會(huì)發(fā)展的巨大推動(dòng)作用，已成為當(dāng)今社會(huì)的主要時(shí)代特征之一。世界科學(xué)技術(shù)發(fā)展正呈現(xiàn)出前所未有的突破性發(fā)展態(tài)勢(shì)，科技發(fā)展加速化、科技社會(huì)一體化、新興學(xué)科和交叉學(xué)科不斷增加以及科學(xué)文化和人文文化從對(duì)立走向融合等特征也不斷涌現(xiàn)。與前三次科技革命改變的是人類使用的工具、能源以及人類與世界的連接方式不同，以新智能技術(shù)、新生物技術(shù)、新材料技術(shù)為代表的第四次科技革命將要改變“人類自身”。尤其以人工智能技術(shù)為代表的信息技術(shù)、大數(shù)據(jù)技術(shù)對(duì)生命科學(xué)、認(rèn)知科學(xué)、哲學(xué)乃至于所有的理論和實(shí)踐提出了巨大的挑戰(zhàn)。人工智能發(fā)展的前沿進(jìn)展和未來(lái)趨勢(shì)如何？人工智能是否具有自主性和主體地位，是否有可能超越人類？未來(lái)的人機(jī)關(guān)系如何？我們會(huì)面臨一個(gè)什么樣的人類未來(lái)？相信這些問(wèn)題已經(jīng)不只是哲學(xué)工作者關(guān)心的問(wèn)題，也是科學(xué)家、工程師們面對(duì)世界科技前沿以及突破“卡脖子”技術(shù)難題時(shí)所繞不開(kāi)的問(wèn)題。在這樣的背景下，我們推出關(guān)于人工智能與人類未來(lái)的跨學(xué)科對(duì)話，讓來(lái)自不同學(xué)科背景的學(xué)者進(jìn)行思想碰撞，看看會(huì)產(chǎn)生怎樣的火花，凝聚出什么樣的學(xué)術(shù)共識(shí)。希望討論本著負(fù)責(zé)的態(tài)度，遵循開(kāi)放的理性，以問(wèn)題意識(shí)為導(dǎo)向，催生出超越學(xué)科交叉的思維共振，那會(huì)是通過(guò)交流、交鋒而達(dá)到的某種 融。

一、人工智能的發(fā)展現(xiàn)狀與趨勢(shì)

孫偉平：智能科技的快速發(fā)展和廣泛應(yīng)用提出了很多具有挑戰(zhàn)性的問(wèn)題。在以新型人機(jī)關(guān)系為基礎(chǔ)的智能社會(huì)、智能文明中，農(nóng)業(yè)社會(huì)、工業(yè)社會(huì)所形成的理論、方法很可能不再適用了。在今天的跨學(xué)科對(duì)話會(huì)中，我們特別希望聽(tīng)到理工科背景的教授們，從人工智能、生物學(xué)、醫(yī)學(xué)等角度，談?wù)劗?dāng)代科技的前沿進(jìn)展。比如，腦機(jī)接口技術(shù)是否有可能取得實(shí)質(zhì)性突破？無(wú)人駕駛、情感陪護(hù)機(jī)器人等是否可能面臨責(zé)任危機(jī)？人工智能是否可能或者什么時(shí)候超過(guò)人類智能？人工智能發(fā)展的方向和前景是怎樣的？它的應(yīng)用會(huì)在多大程度上改變了人類自身和社會(huì)？

曹傲能：今年腦機(jī)接口的新聞引起很多人擔(dān)心：未來(lái)機(jī)器會(huì)不會(huì)全面控制人類？從化學(xué)和生物的角度來(lái)看，現(xiàn)在的腦機(jī)接口其實(shí)還非常原始。但即使它未來(lái)有了飛躍式的進(jìn)步，也不可能通過(guò)腦機(jī)接口全面接管和控制人的意識(shí)。當(dāng)然，要用它來(lái)影響人的部分情緒甚至意識(shí)還是可能的，畢竟產(chǎn)生影響特別是壞的影響是比較容易的。即便最后發(fā)展到了可以控制意識(shí)的地步，歸根到底還是機(jī)器背后的人在控制人的意識(shí)，不是機(jī)器自主地控制人的意識(shí)。

王國(guó)豫：腦機(jī)接口全面接管和控制人的意識(shí)，這個(gè)問(wèn)題我覺(jué)得暫時(shí)還有些遙遠(yuǎn)。腦機(jī)接口有兩種，一種是嵌入式，另外有一種是非嵌入式。嵌入式就是要做手術(shù)將電極等嵌入腦內(nèi)，是有損的。還有一種非嵌入式，是無(wú)損的。深部腦刺激（DBS）是嵌入式腦機(jī)接口的一種。2017年全球神經(jīng)倫理峰會(huì)上，澳大利亞學(xué)者發(fā)表了一個(gè)應(yīng)用DBS技術(shù)治療帕金森氏綜合征的真實(shí)案例：一名65歲的男性在被診斷患有帕金森氏綜合征以后，接受了DBS治療。之后，他的僵硬和震顫癥狀明顯改善，身體恢復(fù)，并且變得精力充沛，善于交際。但很快，他妻子發(fā)現(xiàn)他對(duì)性的要求有時(shí)有些過(guò)分。研究表明，在接受過(guò)類似治療的患者中，確實(shí)有人出現(xiàn)不同類型、不同程度的人格改變，比如有的人成了購(gòu)物狂。像上面這個(gè)例子就使得原本簡(jiǎn)單的責(zé)任問(wèn)題變得復(fù)雜起來(lái)：誰(shuí)該對(duì)他的行為負(fù)責(zé)？ 是患者本人還是為他做手術(shù)的醫(yī)生？ 對(duì)此問(wèn)題的回答，不僅涉及技術(shù)的不確定性，而且也涉及人格的同一性、本真性和人的能動(dòng)性等問(wèn)題。非嵌入式的腦機(jī)接口也不是沒(méi)有問(wèn)題，比如所謂的“腦機(jī)接口頭環(huán)”，用來(lái)監(jiān)測(cè)學(xué)生上課是否注意力集中，也引起很大的爭(zhēng)議。

張新鵬：關(guān)于人工智能與人類智能的關(guān)系，文科背景與理工科背景學(xué)者的態(tài)度并不完全一致。對(duì)于技術(shù)發(fā)展水平，文科背景的學(xué)者更樂(lè)觀，理工科背景的學(xué)者更審慎。文科背景的學(xué)者往往認(rèn)為“很快機(jī)器智能就趕上人類了，甚至某些方面已經(jīng)比人類強(qiáng)了，強(qiáng)人工智能很快就到來(lái)了”，理工科背景的學(xué)者則認(rèn)為“很多根本性的問(wèn)題沒(méi)有解決，這些可能都是想象，科幻意味比較濃”。而對(duì)于未來(lái)發(fā)展前景，文科學(xué)者更悲觀，認(rèn)為“將來(lái)機(jī)器會(huì)統(tǒng)治人類，要趕快停下腳步，在人類毀滅之前要先踩剎車(chē)”，理工科的學(xué)者往往認(rèn)為“不要緊，先往前走，碰到什么問(wèn)題就解決什么問(wèn)題”。其實(shí)并不存在太多關(guān)于人工智能發(fā)展的兩難困境，問(wèn)題可以在發(fā)展中消解。

曹傲能：大家的討論可能涉及不同層面的問(wèn)題。一個(gè)是技術(shù)的可能性，另一個(gè)是技術(shù)的必要性。從技術(shù)可能性來(lái)看，科技的進(jìn)步經(jīng)常有間歇式的爆發(fā)性的增長(zhǎng)，而技術(shù)的必要性可能就與倫理相關(guān)了，這就需要思考人類到底需要什么？在目前的技術(shù)手段下，我們的資源是有限的，利用技術(shù)的能力也是有限的，有些技術(shù)可能并不是生命發(fā)展非常需要的。

段偉文：科技創(chuàng)新是個(gè)“兩面神”，每一項(xiàng)技術(shù)創(chuàng)新都必然引起社會(huì)范圍內(nèi)的雙重矛盾，存在“科林格里奇困境”（the Collingridge Dilemma）：一項(xiàng)技術(shù)剛剛出現(xiàn)的時(shí)候弊端不明顯，比較容易對(duì)它進(jìn)行控制，一旦技術(shù)發(fā)展有了路徑依賴和成本沉淀，就很難再進(jìn)行控制。在進(jìn)行科技倫理治理時(shí)，常見(jiàn)的立場(chǎng)有兩種：一是主動(dòng)性原則，即面對(duì)新興科技，總是充分考慮到可能的好處，主動(dòng)發(fā)起顛覆性的創(chuàng)新；二是預(yù)防性原則，即面對(duì)各種創(chuàng)新，總是最大限度地考量可能帶來(lái)的風(fēng)險(xiǎn)，力求將風(fēng)險(xiǎn)降到最低。不論是主動(dòng)性原則還是預(yù)防性原則，都不能絕對(duì)化，面對(duì)具體的問(wèn)題，需要訴諸實(shí)踐的智 慧來(lái)解決。

成素梅：從人類文明發(fā)展史來(lái)看，人類的演化已經(jīng)過(guò)了兩次大的轉(zhuǎn)折；第一次大轉(zhuǎn)折是從非生命物質(zhì)中演化出生命；第二次大轉(zhuǎn)折是從類人猿演化出人類?，F(xiàn)在人類迎來(lái)了第三次大轉(zhuǎn)折：基因編輯技術(shù)使得改變?nèi)祟愖陨沓蔀榭赡?。人類從無(wú)到有，從猿到人，基因一直在變，但這個(gè)變是隨著自然環(huán)境的改變而改變，是人類無(wú)法預(yù)知和無(wú)法控制的改變。相比之下，基因編輯技術(shù)是對(duì)基因的人為編輯，如果胚胎期的基因編輯不被允許，出生后以治療為目的的修復(fù)或改變的限度在哪里？同樣，隨著腦機(jī)接口技術(shù)的普及應(yīng)用，除了醫(yī)療風(fēng)險(xiǎn)之外，允許人腦植入芯片的限度在哪里？這些技術(shù)發(fā)展提出了“人在多大程度上可以通過(guò)技術(shù)進(jìn)行設(shè)計(jì)”的關(guān)乎人類未來(lái)的重大問(wèn)題。

張新鵬：有人說(shuō)20世紀(jì)最偉大的發(fā)明是計(jì)算機(jī)，21世紀(jì)可能會(huì)出現(xiàn)什么還不清楚，但“人—機(jī)—物”這樣的新格局可能會(huì)成為普遍共識(shí)。未來(lái)不是人和機(jī)器對(duì)立，而是人和機(jī)器融為一體

二、人機(jī)關(guān)系

周麗昀：現(xiàn)在我們已經(jīng)進(jìn)入了第二個(gè)關(guān)鍵問(wèn)題的討論，那就是未來(lái)的人機(jī)關(guān)系是什么狀態(tài)？目前學(xué)者的討論，就外部視角而言，無(wú)非對(duì)此有悲觀主義的、樂(lè)觀主義的以及現(xiàn)實(shí)主義的觀點(diǎn)，而從內(nèi)部視角來(lái)說(shuō)，有人認(rèn)為未來(lái)人機(jī)之間會(huì)是你死我活，有人認(rèn)為會(huì)是和諧相處，還有人認(rèn)為會(huì)是人機(jī)融合……不知各位學(xué)者對(duì)此怎么看？

孫偉平：樂(lè)觀地展望，未來(lái)智能系統(tǒng)可能會(huì)無(wú)所不能，智能機(jī)器會(huì)接管大量的社會(huì)管理權(quán)、治理權(quán)和決策權(quán)。我們需要審慎思考的是，今后的社會(huì)應(yīng)該是以人為中心的社會(huì)還是以機(jī)器為中心的社會(huì)？是基于技術(shù)的標(biāo)準(zhǔn)還是人的標(biāo)準(zhǔn)進(jìn)行建構(gòu)？“機(jī)器思維”是否存在和是否能跨越“圖靈奇點(diǎn)”？人與機(jī)器之間是否會(huì)像今天的同性戀一樣出現(xiàn)“人機(jī)婚姻”？如果智能系統(tǒng)具有“知、情、意”等，是否應(yīng)該賦予“他/她”人格和尊嚴(yán)？是否應(yīng)該賦予其一定的人權(quán)？這里面有很多值得我們討論的話題。

張新鵬：從發(fā)展來(lái)看，“人—客觀世界”的傳統(tǒng)認(rèn)識(shí)框架，可能要被“人—機(jī)—物”的新框架取代。過(guò)去機(jī)器就是人的工具，未來(lái)不敢說(shuō)機(jī)器一定是人的對(duì)等物，但機(jī)器可能是人的同盟。

王天恩：新鵬說(shuō)的“人機(jī)物”，在哲學(xué)領(lǐng)域就是“人機(jī)融合進(jìn)化”。

段偉文：我們?cè)谟懻撊恕C(jī)器、物、技術(shù)等等概念時(shí)，有時(shí)會(huì)陷入客觀性的討論，似乎是站在世界之外對(duì)世界的未來(lái)進(jìn)行描述。數(shù)字技術(shù)、智能技術(shù)的確為人類的創(chuàng)新帶來(lái)了很多潛力，但這就意味著可以一味地利用數(shù)字技術(shù)實(shí)現(xiàn)任何突破性的創(chuàng)造嗎？人是否可以將一些認(rèn)知和操作“外包”給機(jī)器，使自己向著更高的智能方向發(fā)展？這些不會(huì)自然而然形成，而需要我們?nèi)ブ\劃技術(shù)的發(fā)展方向。當(dāng)下更值得關(guān)注的是，在真實(shí)的世界里如何處理人機(jī)關(guān)系，我們不能置身其外做所謂客觀的旁觀者，而是要從自身的主體性出發(fā)，先有一個(gè)價(jià)值判斷。

周麗昀：如今的人機(jī)關(guān)系不是截然二分的，人與技術(shù)的關(guān)系也是相互建構(gòu)的。斯蒂格勒說(shuō)“人和技術(shù)是相互構(gòu)成的”，荷蘭技術(shù)哲學(xué)家維貝克提出“技術(shù)媒介理論”，也是想強(qiáng)調(diào)，當(dāng)今時(shí)代，技術(shù)發(fā)揮了越來(lái)越多的作用，以至于起到了類似于人的引導(dǎo)性或者說(shuō)是主導(dǎo)性的居間調(diào)節(jié)作用。維貝克用的詞是Active-in-between，就是積極的居間調(diào)節(jié)。還有學(xué)者在此基礎(chǔ)上提出“道德物化”，認(rèn)為我們可以將道德密碼嵌入到技術(shù)設(shè)計(jì)中。

王國(guó)豫：國(guó)內(nèi)很多學(xué)者把維貝克的意思翻譯成“道德物化”，我有些質(zhì)疑。在我看來(lái)，維貝克的意思并不是完全要把道德的東西嵌入到物里面，而是指物所蘊(yùn)含的某種道德隱喻，這一隱喻通過(guò)人工物這一中介作用于人。比如他講到的超聲波的例子。通過(guò)超聲波技術(shù)可以感受到孩子的生命，激發(fā)起對(duì)孩子的道德責(zé)任，這意味著技術(shù)本身有一種道德意向性。

段偉文：人與機(jī)器并不是兩種分立的存在，實(shí)際上人機(jī)關(guān)系是人和人以機(jī)器為中介的關(guān)系。盡管目前機(jī)器自身并無(wú)意識(shí)，但在機(jī)器的背后，從設(shè)計(jì)到運(yùn)行都有著復(fù)雜的技術(shù)—社會(huì)網(wǎng)絡(luò)的支撐，其中包括資本的安排與價(jià)值的植入。技術(shù)的加持使人慢慢形成了惰性，不愛(ài)學(xué)習(xí)了，就像現(xiàn)在出租車(chē)司機(jī)越來(lái)越依靠導(dǎo)航，開(kāi)車(chē)都不再記路了。這種去技能化的趨勢(shì)將來(lái)會(huì)演變成什么樣？這是很令人擔(dān)憂的。

王天恩：偉文提到的擔(dān)憂，我覺(jué)得可以從另一方面理解。人機(jī)融合是漸進(jìn)的過(guò)程，當(dāng)我們使用鼠標(biāo)和鍵盤(pán)，可能不會(huì)認(rèn)為自己是在跟機(jī)器融合，但是人跟手機(jī)雖然也是工具性關(guān)系，現(xiàn)在就可以明顯看到人機(jī)融合了。人機(jī)融合不僅表現(xiàn)在硬件上，還具有社會(huì)性。從社會(huì)性這一層次看，人始終有些方面在退化，也有一些方面在進(jìn)化。我和新鵬一樣，對(duì)此非常樂(lè)觀。其實(shí)就是人進(jìn)一步通過(guò)機(jī)器以及對(duì)象性活動(dòng)來(lái)展開(kāi)自身。人最重要的展開(kāi)是創(chuàng)造力的展開(kāi)，而這種創(chuàng)造力的展開(kāi)，最典型的就表現(xiàn)在人工智能的發(fā)展。所以，人工智能一點(diǎn)都不可怕，這恰恰是人本身發(fā)展的一個(gè)階段，沒(méi)有這個(gè)階段人類就會(huì)限制在生物載體這樣一個(gè)天花板下，而我們無(wú)法想象人類會(huì)屈從于這樣的限制，因?yàn)槿俗罡镜哪芰κ瞧渚哂袆?chuàng)造力。

三、機(jī)器的自主性和主體地位

王國(guó)豫：在討論人機(jī)關(guān)系的時(shí)候，一個(gè)很重要的問(wèn)題是機(jī)器的道德地位問(wèn)題。通常我們從兩方面考察人工智能的道德地位：一是人工智能體是否能夠成為道德主體？人工智能有一定的自主性和能動(dòng)性，有能動(dòng)性的是否就一定是道德主體？另一個(gè)問(wèn)題是人工智能體能否成為道德客體，即當(dāng)我們?cè)斐鰜?lái)的機(jī)器有了和人一樣的情感能力，我們應(yīng)該如何和人工智能體打交道？是否要考慮機(jī)器的利益和情感？后者也許可以借鑒人和動(dòng)物道德關(guān)系的論證。動(dòng)物雖然不是道德主體，但是可以成為道德客體，這就要求我們?cè)趯?duì)待動(dòng)物的時(shí)候，要求考慮到動(dòng)物的感受性和利益，甚至動(dòng)物的權(quán)利。

張新鵬：隨著技術(shù)發(fā)展，很可能造出具有痛苦感知能力的機(jī)器。動(dòng)物的權(quán)利是天生的，那么機(jī)器有沒(méi)有權(quán)利？要不要有福利？什么情況下我們說(shuō)它有痛苦感知能力？什么時(shí)候說(shuō)它有自主意志？

王天恩：這是一個(gè)新的話題。為什么人會(huì)將權(quán)利延伸到動(dòng)物？人是一個(gè)“類”，作為一個(gè)類，別人受迫害我如果幸災(zāi)樂(lè)禍，意味著沒(méi)有意識(shí)到更重要的利害關(guān)系：下一個(gè)受害者有可能就是我自己。由此類推，人和動(dòng)物是一個(gè)更大的類，動(dòng)物可以被虐待意味著生命可以被虐待。因此同情別人甚至動(dòng)物還是比較淺的層次，實(shí)際上有一個(gè)內(nèi)在的邏輯使得人和動(dòng)物甚至植物都有同樣的利害關(guān)系。從智能這個(gè)類看，人工智能顯然也成為這種關(guān)系中的一個(gè)方面。

張新鵬：同情在生物體的神經(jīng)系統(tǒng)中也會(huì)有體現(xiàn)。在漫長(zhǎng)的進(jìn)化過(guò)程中，如果缺少對(duì)同類的痛苦感受的移情，這種生物就會(huì)被自然淘汰，這是自然選擇。而人類的同情是有意識(shí)的，甚至是主動(dòng)的。

段偉文：動(dòng)物保護(hù)涉及人對(duì)動(dòng)物的感受性、同理心，和文化、社會(huì)環(huán)境有關(guān)。很多年前，我在地鐵站看到，下雨的時(shí)候，年輕人會(huì)更關(guān)注小貓小狗，而可能沒(méi)有人去關(guān)注乞丐，而這里面就會(huì)涉及價(jià)值選擇。人工智能應(yīng)用中，哪些場(chǎng)景下的應(yīng)用可以接受或應(yīng)該禁止，也會(huì)涉及價(jià)值選擇。在科技合作、交流和貿(mào)易中，不同的研究者和創(chuàng)新者在價(jià)值上需要有一種“倫理遵從”，即相互遵從對(duì)方的價(jià)值觀和倫理原則，最后一般都是遵從最嚴(yán)格的原則。當(dāng)然，在價(jià)值選擇與倫理原則背后，也有其所依據(jù)的科學(xué)事實(shí)，但對(duì)這些事實(shí)的解讀，又往往有各種價(jià)值滲透其中。因此，科技倫理問(wèn)題既關(guān)乎科學(xué)事實(shí)，也與價(jià)值和文化有關(guān)。

曹傲能：從科學(xué)的角度，我覺(jué)得技術(shù)的發(fā)展有局限性、不可預(yù)測(cè)性。但世界有它自己的運(yùn)行規(guī)律，不會(huì)出現(xiàn)違反自然規(guī)律的技術(shù)。機(jī)器不可能有自主意識(shí)。萬(wàn)一發(fā)展到機(jī)器有可能產(chǎn)生自主意識(shí)的階段，在它有自主意識(shí)之前，其實(shí)最應(yīng)該擔(dān)心的還是控制機(jī)器的人。因?yàn)橐庾R(shí)最終是被控制機(jī)器的人控制，而不是被機(jī)器控制。

段偉文：以我個(gè)人的觀點(diǎn)，目前出現(xiàn)的所有機(jī)器智能離擁有自由意志還差得很遠(yuǎn)。圖靈測(cè)試畢竟只是一種判定機(jī)器是否在功能上具有與人類可比擬的智能的解決方案，無(wú)法斷定機(jī)器是否具有自我意識(shí)和自由意志。現(xiàn)在責(zé)任和法律主體還不能由機(jī)器承擔(dān)。

王國(guó)豫：機(jī)器對(duì)人的控制可以有不同的層級(jí)和形式。漢娜·阿倫特區(qū)分了三種形式的控制，即統(tǒng)治、暴力和權(quán)力。我們今天討論的機(jī)器對(duì)人的控制更多的是后者，是機(jī)器作為一種權(quán)力對(duì)人的控制。機(jī)器本身并不一定要有自主性。很多時(shí)候我們以為是我們?cè)诳刂茩C(jī)器，實(shí)際上，當(dāng)人被卷到技術(shù)系統(tǒng)中去的時(shí)候，人處于一種不得不按照機(jī)器意志行事的狀態(tài)，這其實(shí)就是另一種形式的“被控制”。另外一種控制是人機(jī)結(jié)合起來(lái)對(duì)人的控制。比如一部分精英借助數(shù)據(jù)控制另一部分人。未來(lái)當(dāng)整個(gè)社會(huì)系統(tǒng)都被數(shù)字化以后，掌握數(shù)據(jù)的人更有可能利用數(shù)據(jù)對(duì)人進(jìn)行控制。

曹傲能：這是技術(shù)帶來(lái)的問(wèn)題。不是人工智能自主地控制人，而是人工智能背后的人，或者是少數(shù)人或階級(jí)通過(guò)人工智能在控制某些人。

段偉文：馬克思曾提出無(wú)產(chǎn)階級(jí)化，法國(guó)哲學(xué)家斯蒂格勒也指出無(wú)產(chǎn)階級(jí)化的三個(gè)階段：第一個(gè)階段是機(jī)械大工業(yè)生產(chǎn)時(shí)代，機(jī)器取代了人的一般性的功能勞動(dòng)，致使很多傳統(tǒng)工藝消失；第二個(gè)階段是文化工業(yè)階段，機(jī)械復(fù)制技術(shù)帶來(lái)文化工業(yè)的發(fā)展，使得人的感性和審美實(shí)踐被媒介傳播所取代；第三個(gè)階段是數(shù)據(jù)智能的出現(xiàn)，使得人的行為和感知成為計(jì)算和操控的對(duì)象，因而出現(xiàn)了對(duì)人的知性能力的取代。這是不是意味著隨著人工智能的發(fā)展，很多一般的事情由機(jī)器人、人工智能和大數(shù)據(jù)來(lái)做，我們可以做更有意義的事情呢？

王天恩：這些問(wèn)題需要和生命科學(xué)家討論了。孤立的智能是不可能進(jìn)化的，通用智能一定是在類中進(jìn)化的產(chǎn)物。有一個(gè)關(guān)鍵問(wèn)題和生命科學(xué)、人工智能密切相關(guān)。數(shù)據(jù)拷貝在計(jì)算機(jī)中是最基本的操作，在生命科學(xué)領(lǐng)域肯定也可以在一定程度上拷貝數(shù)據(jù)，但拷貝可以做到什么層次呢？據(jù)說(shuō)有實(shí)驗(yàn)表明，通過(guò)拷貝可以使小白鼠直接獲得記憶，沒(méi)有走過(guò)迷宮的小白鼠借助拷貝得到的記憶可以走出迷宮。

曹傲能：我覺(jué)得這是不可能的。輸入某種物質(zhì)也許可以讓小白鼠學(xué)習(xí)能力提高，學(xué)得更快，但不會(huì)讓它直接“學(xué)會(huì)”某種能力。現(xiàn)階段還不可能在生命體上拷貝知識(shí)和意識(shí)?，F(xiàn)在對(duì)記憶的機(jī)制都還沒(méi)有研究清楚。生物的一些簡(jiǎn)單的感覺(jué)目前可以通過(guò)某種物質(zhì)影響或改變。比如某種痛感，可以消除，讓你沒(méi)有這樣的感覺(jué)。但稍微復(fù)雜一些的知識(shí)或者是需要通過(guò)學(xué)習(xí)獲得的能力是不一樣的。

王天恩：是不是涉及社會(huì)性內(nèi)容就不能拷貝？俄羅斯有一個(gè)億萬(wàn)富翁在投資做這個(gè)研究，試圖把人作為信息體拷貝到網(wǎng)絡(luò)上，您的判斷是這不可能成功？

曹傲能：現(xiàn)在大家比較擔(dān)心拷貝（克隆）人，其實(shí)最多只是生理上的人被拷貝了，社會(huì)意義的人無(wú)法拷貝，畢竟所有的經(jīng)歷不可能再來(lái)一次。同卵雙胞胎基因上可能完全一樣，但成長(zhǎng)的環(huán)境不一樣，會(huì)向不同的方向發(fā)展。

段偉文：通過(guò)生命、神經(jīng)和信息科技，能不能制造或拷貝出一個(gè)既具有生理意義又具有社會(huì)意義的機(jī)器呢？有一種可能性是，人和機(jī)器逐漸融合。隨著人機(jī)融合程度的提升，將來(lái)可能會(huì)有一個(gè)“半奇點(diǎn)”，到這一點(diǎn)時(shí)，人機(jī)智能組合中機(jī)器的成分超過(guò)了人的生物成分。

曹傲能：這要看怎么判斷機(jī)器成分超過(guò)人的生物成分，若以重量來(lái)比較，包括假肢等機(jī)器成分的器官以及體外輔助的機(jī)器成分很容易超過(guò)生物成分。但涉及人的意識(shí)相關(guān)的關(guān)鍵功能部分，至少在以百年計(jì)的時(shí)間尺度上我覺(jué)得不可能成功。時(shí)間再放長(zhǎng)一些，如果世界上只存在人工智能，人滅亡了，人工智能知道世界上所有的東西，但是沒(méi)有人知道它知道，它的存在還有什么意義？它為什么毀滅了人類自己統(tǒng)治世界？這是一個(gè)很大的問(wèn)題。

王國(guó)豫：我認(rèn)為，最終還是取決于我們?nèi)绾味x人工智能概念的問(wèn)題。人工智能是算法？還是系統(tǒng)？是人工智能整個(gè)的系統(tǒng)，還是包括社會(huì)系統(tǒng)？這些問(wèn)題都值得反思。

曹傲能：人工智能作為肢體、功能的延伸和擴(kuò)大都有可能，但只是附屬于人。大腦的儲(chǔ)存機(jī)制現(xiàn)在還也不清楚，但肯定牽涉到分子級(jí)別、量子效應(yīng)，這時(shí)候，“測(cè)不準(zhǔn)原理”會(huì)起作用，所以不可能完全復(fù)制一個(gè)成人，甚至若細(xì)胞是有意識(shí)的單元，那細(xì)胞也是無(wú)法完全復(fù)制的。

王天恩：我們的細(xì)胞也在不斷更新，這是不是意味著可以根據(jù)同樣的機(jī)制，用數(shù)字的方式進(jìn)行更換？

曹傲能：現(xiàn)在還不可能實(shí)現(xiàn)。人工智能和人的智能完全不是一個(gè)層面的，只有人才能創(chuàng)制和控制人工智能。所以在科學(xué)研究清楚人的記憶、意識(shí)等相關(guān)機(jī)制之前，不可能用數(shù)字的方式替換人的記憶、意識(shí)等關(guān)鍵部分。目前應(yīng)用生物技術(shù)來(lái)改進(jìn)是有可能的，但生物技術(shù)的操作空間以及能夠替換的程度也是有限度的。

張新鵬：有個(gè)思想實(shí)驗(yàn)是借助量子隱性傳態(tài)，在另外一個(gè)地方重新拼出來(lái)另外一個(gè)我，就是說(shuō)這個(gè)我還在，比如可以用月亮上的物質(zhì)重新克隆一個(gè)我。那個(gè)我和這個(gè)我是不是完全一樣？我是不是以光速跑到了月亮上？這兩個(gè)我到底哪個(gè)是真的我？

王天恩：從哲學(xué)角度可以為此提供一些參考，在哲學(xué)上看來(lái)實(shí)際上這是不可能的，世界上不可能有兩片完全相同的樹(shù)葉，也不可能拷貝出另一個(gè)你。人有獨(dú)特的經(jīng)歷，不可能把人的經(jīng)歷、歷史和社會(huì)關(guān)系拷貝到智能機(jī)器，人的社會(huì)性無(wú)法拷貝。

曹傲能：從物質(zhì)的角度講，“完全一樣”也不可能。為了拷貝張老師，我們需要分析他每個(gè)原子的位置，從量子力學(xué)角度來(lái)說(shuō)存在測(cè)不準(zhǔn)，拷貝會(huì)干擾他原來(lái)的狀態(tài)。更不用說(shuō)，在測(cè)量過(guò)程中，每個(gè)原子的位置都一直是在變化中的。量子需要先獲取信息再傳輸信息，但是獲取信息需要另外的手段。

張新鵬：這是兩個(gè)問(wèn)題，一個(gè)是量子通信的問(wèn)題，一個(gè)是量子隱形傳態(tài)。

曹傲能：這兩者是不同的，所以拷貝是不可能的。

張新鵬：隱性傳態(tài)需要一個(gè)傳統(tǒng)信道，超光速不現(xiàn)實(shí)。存儲(chǔ)、記憶還是兩個(gè)不同的概念。數(shù)據(jù)可以拷貝，但那是存儲(chǔ)，并不是真正的意義轉(zhuǎn)移。自主性、意識(shí)、記憶等概念隨著歷史的進(jìn)步本身可能會(huì)消解掉。這涉及科學(xué)方法論的問(wèn)題，我們現(xiàn)在更愿意把復(fù)雜問(wèn)題分解為基本的概念。

張 川：曹教授說(shuō)先天的東西可以拷貝，拷貝后生下來(lái)的動(dòng)物或人會(huì)具備一些性能，后天學(xué)習(xí)的東西不可以拷貝。實(shí)際上現(xiàn)在的研究發(fā)現(xiàn)，有些技能先天不需要學(xué)習(xí)就可以得到。比如小狗剛生下來(lái)，撒尿會(huì)抬起腳來(lái)，這是本能，像貓就不會(huì)做這樣的動(dòng)作。這個(gè)記憶怎么遺傳下去？這不是通過(guò)人工學(xué)習(xí)。像狼有一個(gè)習(xí)性，食物富裕的時(shí)候它會(huì)藏起來(lái)，等食物匱乏的時(shí)候再去吃。沒(méi)有母狼教它，這個(gè)動(dòng)作它也會(huì)。如果我們可以了解它的方法，把這個(gè)先天的習(xí)慣做到大腦里面去，后天的學(xué)習(xí)也可以通過(guò)這樣的方法來(lái)拷貝，這個(gè)人就什么技能都有了，可能大學(xué)也不用上了，生下來(lái)就可以大學(xué)畢業(yè)了。

王國(guó)豫：我們有必要對(duì)自主性的概念進(jìn)行進(jìn)一步反思。人在技術(shù)系統(tǒng)下有多大程度上是自主的？不光是要加上“人機(jī)”，還要加上“社會(huì)”。一個(gè)是單個(gè)的人，一個(gè)是復(fù)數(shù)的人。很多時(shí)候我們是受了大環(huán)境的影響，我是被“裹”著走，別人的決策影響了我的決策，如果我不這樣做就被淘汰了。

四、人工智能發(fā)展的限度與人類未來(lái)

成素梅：智能機(jī)器人是介于技術(shù)與人之間的一類新生事物，是具有人類功能的非人類的機(jī)器，它們不僅會(huì)摧毀現(xiàn)有倫理、法律等體系所蘊(yùn)含的本體論預(yù)設(shè)，而且將會(huì)像多米諾骨牌效應(yīng)一樣，牽一發(fā)而動(dòng)全身，關(guān)系到整個(gè)思維方式、社會(huì)建制、制度安排等一系列變革。面對(duì)智能革命的到來(lái)，人類應(yīng)該如何設(shè)計(jì)未來(lái)社會(huì)的運(yùn)行方式？人工智能技術(shù)是賦智技術(shù)。關(guān)于賦智技術(shù)的開(kāi)發(fā)應(yīng)用必須以倫理為起點(diǎn)來(lái)進(jìn)行，技術(shù)的智能化程度越高和越尖端，對(duì)研發(fā)者的倫理和人文素養(yǎng)要求越高。

張新鵬：我們不愿意看到機(jī)器對(duì)人的統(tǒng)治，但是我們被我們的子孫取代，對(duì)此我們不會(huì)有任何的不適感。換一個(gè)角度想，如果將機(jī)器看作是我們的精神后代，這樣想我們會(huì)有不適感嗎？現(xiàn)在“機(jī)器戀人”的體驗(yàn)店都產(chǎn)生了，有人可能甘心找一個(gè)機(jī)器戀人。現(xiàn)在的機(jī)器智能是解決封閉性問(wèn)題，在封閉性的問(wèn)題里可以找到最優(yōu)解。但我們希望下一代是開(kāi)放的，是占據(jù)主動(dòng)權(quán)的。

王天恩：未來(lái)已來(lái)。人機(jī)關(guān)系如何從合作關(guān)系變成融合關(guān)系？如何發(fā)展人類增強(qiáng)技術(shù)？如何維護(hù)人的尊嚴(yán)？如何開(kāi)啟新的信息文明？這些都需要對(duì)人類未來(lái)發(fā)展做前瞻性的思考。

張新鵬：這些問(wèn)題非常好，我覺(jué)得分兩個(gè)層面考慮?！拔磥?lái)已來(lái)”是說(shuō)科技飛速進(jìn)步會(huì)對(duì)我們傳統(tǒng)的生活和社會(huì)結(jié)構(gòu)產(chǎn)生非常大的影響和變動(dòng)。比如少部分人掌握了資源和主動(dòng)權(quán)，大部分人淪為底層的存在，他們的作用就是給人工智能提供訓(xùn)練數(shù)據(jù)和標(biāo)準(zhǔn)。但我覺(jué)得這過(guò)于悲觀了，人類還是能夠有智慧解決這樣的問(wèn)題。

段偉文：最近，阿里的羅漢堂出了一本題為《新普惠經(jīng)濟(jì)》的書(shū)，其中一個(gè)觀點(diǎn)，數(shù)字經(jīng)濟(jì)的發(fā)展降低了技術(shù)門(mén)檻，可以讓更多人受惠，將來(lái)人會(huì)變得更自由，有更多的時(shí)間去創(chuàng)造。但這種理想化的前景究竟是大多數(shù)人都可以期待，還是只有少數(shù)人才可能擁抱？另外，技術(shù)門(mén)檻降低本身是不是意味著對(duì)人的技能要求降低，這對(duì)個(gè)人的能力培養(yǎng)帶來(lái)了什么沖擊，對(duì)現(xiàn)有的教育體系意味著什么？由此，不得不思考的一個(gè)問(wèn)題是無(wú)用階級(jí)的問(wèn)題。由于人與機(jī)器在智能上的復(fù)雜分工，多數(shù)人很可能不是一下就變成無(wú)用階級(jí)，而是有一個(gè)變化過(guò)程，如果不進(jìn)行必要的預(yù)見(jiàn)和干預(yù)，很多人最終有可能通過(guò)不斷的去技能化而淪為無(wú)用階級(jí)。

王天恩：人機(jī)融合其實(shí)是和社會(huì)化有關(guān)的過(guò)程。某種意義上，人機(jī)融合發(fā)展到一定層次，會(huì)比人的社會(huì)性層次更高。剛才偉文從人是“類”的角度觀照所有人，而不是一個(gè)個(gè)單個(gè)的人。為什么我們會(huì)對(duì)產(chǎn)生“無(wú)用階級(jí)”的可能懷有憂慮？因?yàn)槲覀兪且粋€(gè)“類”。同一個(gè)“類”中有相當(dāng)一部分個(gè)體被淘汰，而另外一部分人卻得到全面自由的發(fā)展，這是不可能的。有人認(rèn)為人的生物進(jìn)化不是真正的進(jìn)化，而是適應(yīng)環(huán)境的演化。而在智能時(shí)代，環(huán)境是由人選擇甚至創(chuàng)構(gòu)的，人的選擇必須考慮所有人的發(fā)展。

張新鵬：人類的文明史或科技史就是人類底層能力不斷外化的歷史。荷馬史詩(shī)的時(shí)代，沒(méi)有文字全靠背誦。有了文字之后，人不需要這樣的記憶力。有了衣服，人的御寒、忍痛能力就退化了。有了計(jì)算機(jī)和硬盤(pán)，我們不需要記那么多的東西了，這是器官的外化。工業(yè)時(shí)代的機(jī)器太多了，人管不過(guò)來(lái)，催生了自動(dòng)控制?，F(xiàn)代社會(huì)信息太多了，人類處理不過(guò)來(lái)，催生了人工智能。

王天恩：確實(shí)，現(xiàn)在人工智能的出現(xiàn)改變了整個(gè)的情形。以前我們說(shuō)不是進(jìn)化，是演化，是我們適應(yīng)環(huán)境，但現(xiàn)在大數(shù)據(jù)、人工智能可以塑造我們的環(huán)境，我們自己有目的地往某個(gè)方向走，這是真正的進(jìn)化?，F(xiàn)在智能算法的發(fā)展越來(lái)越成為我們切身的環(huán)境，“造世”的責(zé)任在我們自己身上，特別是人工智能專家身上。因?yàn)槟阍谠O(shè)計(jì)智能算法、塑造環(huán)境的時(shí)候，其實(shí)意味著在決定人類往什么方向進(jìn)化。

張新鵬：我同意王老師的看法，要從系統(tǒng)的角度考慮問(wèn)題。我對(duì)技術(shù)發(fā)展整體持比較樂(lè)觀的態(tài)度。環(huán)境和系統(tǒng)很大一部分是由我們塑造的。現(xiàn)在人工智能技術(shù)的一個(gè)問(wèn)題就是“信息繭房”，要知道全面的信息和真正公正的環(huán)境是怎樣的，而不是被過(guò)去的習(xí)慣、好惡所束縛。

段偉文：現(xiàn)在的自動(dòng)化有一個(gè)悖論，大多數(shù)參與人機(jī)協(xié)同的人都被隱藏起來(lái)了。比方說(shuō)，像快手、抖音這樣的應(yīng)用，海量的內(nèi)容必須通過(guò)人工智能加以過(guò)濾，但人工智能不可能把所有不當(dāng)內(nèi)容準(zhǔn)確地篩查出來(lái)，在實(shí)際運(yùn)行中，往往需要數(shù)以千計(jì)的視頻審核員。馬克思在《機(jī)器論片斷》中曾經(jīng)指出，自動(dòng)機(jī)器出現(xiàn)以后，人就成為機(jī)器的一種延伸。而人工智能時(shí)代，人究竟會(huì)成為智能機(jī)器的什么樣的延伸，亟待我們進(jìn)一步探究。

張新鵬：人工智能的出現(xiàn)使得知識(shí)處理的能力被外化掉。什么留給人？創(chuàng)造力、想象力、審美能力，這是現(xiàn)代人的尊嚴(yán)的棲息地。為什么現(xiàn)在感覺(jué)到“未來(lái)已來(lái)”？感覺(jué)未來(lái)的文明和過(guò)去的文明截然不同？根源是人對(duì)自身的認(rèn)識(shí)前進(jìn)了一大步。在人類歷史進(jìn)程中，人的概念也在逐漸的變化中。在智能時(shí)代，人具備了自我革新的能力。人類的未來(lái)、人類的前景應(yīng)該是一片光明。

王天恩：如果這番話是做哲學(xué)的人說(shuō)出來(lái)，不是十分令人驚奇，但作為人工智能專家，新鵬的觀點(diǎn)已經(jīng)大大超出了技術(shù)范圍。在人文和科技領(lǐng)域，大家都有一種共同關(guān)注，那就是人類的發(fā)展前景。在人工智能領(lǐng)域，越涉及核心機(jī)制的突破，越不可預(yù)期，越是基礎(chǔ)的原創(chuàng)越無(wú)法預(yù)測(cè)。我其實(shí)很樂(lè)觀，我的觀點(diǎn)和你相似。為什么人類通過(guò)身體的延續(xù)是自己的延續(xù)，而通過(guò)創(chuàng)造進(jìn)行的延續(xù)反而不是了？這涉及人類自身的革命。牛津大學(xué)、劍橋大學(xué)早就成立了人類未來(lái)研究院、人類風(fēng)險(xiǎn)研究院，就是因?yàn)槿斯ぶ悄芸赡軙?huì)給人類帶來(lái)不可預(yù)期的存在性風(fēng)險(xiǎn)。我們說(shuō)“未來(lái)已來(lái)”，是因?yàn)槲磥?lái)在越來(lái)越大程度上壓縮進(jìn)了現(xiàn)在，雖然似乎帶有一種科幻色彩，但卻是非常實(shí)在的。

段偉文：面向科技時(shí)代所開(kāi)啟的人類未來(lái)，整個(gè)人類文明應(yīng)該開(kāi)展良性競(jìng)賽，哪個(gè)文化、哪個(gè)民族可以讓人更好地發(fā)展？大家各自制定方案、彼此競(jìng)爭(zhēng)，不是比誰(shuí)壞，而是比誰(shuí)好。

張新鵬：真正的強(qiáng)者是有主動(dòng)權(quán)的人。將來(lái)的幸福生活，不是建立在消耗物質(zhì)和能源的基礎(chǔ)上，而是建立在消耗信息的基礎(chǔ)上。這關(guān)系到對(duì)世界的看法，物質(zhì)不滅、能量不滅，這是守恒的世界。從熱力學(xué)第二定律看，將來(lái)的世界完全是無(wú)秩序的，這是悲觀的。樂(lè)觀的是什么？是關(guān)鍵的物理量還會(huì)不斷增長(zhǎng)，這就是信息，就是秩序，就是智能，這樣我們才能有一個(gè)樂(lè)觀的未來(lái)。

孫偉平：“物”受到的限制比知識(shí)、信息更多，但可以利用知識(shí)“創(chuàng)造”物質(zhì)和能量。

張新鵬：怎樣才能把技術(shù)的進(jìn)步導(dǎo)向一個(gè)樂(lè)觀、積極的未來(lái)，而不是社會(huì)整體的退化？有一個(gè)重要的問(wèn)題需要考慮，就是智能時(shí)代的教育。未來(lái)很重要的一部分責(zé)任就在我們教師身上，我們?nèi)绾谓逃乱淮?？另外，技術(shù)進(jìn)步帶來(lái)光明的未來(lái)是不是有必然性？最終我們有一個(gè)什么樣的未來(lái)？這可能沒(méi)有唯一的答案，是開(kāi)放性的。西方傳統(tǒng)和中國(guó)傳統(tǒng)不一樣，西方求真，東方求道。道在誰(shuí)那里，誰(shuí)擁有未來(lái)，這是值得好好探討的。

王國(guó)豫：我們認(rèn)為“進(jìn)步”更多的是一個(gè)規(guī)范性而不是描述性的概念。一般來(lái)講，進(jìn)步意味著是向好的方向的進(jìn)展。而有些技術(shù)的演化不見(jiàn)得是朝著好的方向發(fā)展，因此未必就是一種進(jìn)步。技術(shù)是否必然走向“進(jìn)步”，實(shí)際上這本身是要評(píng)價(jià)的。關(guān)于進(jìn)步的問(wèn)題是一個(gè)非常重要的哲學(xué)問(wèn)題，也是一個(gè)科技倫理問(wèn)題。

五、科技倫理何為

孫偉平：關(guān)于人工智能研究和應(yīng)用的前景，既有樂(lè)觀主義的看法，也有悲觀主義的見(jiàn)解。一些宏觀的涉及人的生存境遇、人和人類社會(huì)的前途和命運(yùn)的問(wèn)題，目前已經(jīng)引發(fā)了大量的討論，需要我們從不同學(xué)科的角度，包括倫理學(xué)的角度，開(kāi)展深入的探討。

王國(guó)豫：技術(shù)和倫理有共同的起源，起初都是為了應(yīng)對(duì)人們對(duì)自然或者某種超自然力量的恐懼。隨著技術(shù)的發(fā)展，我們對(duì)自然和神秘的超自然的力量的恐懼減少了，但對(duì)技術(shù)本身的恐懼卻增加了。原因是現(xiàn)代技術(shù)本身的力量太大了，超出了人們能夠控制的范圍。尤納斯把他的責(zé)任倫理學(xué)稱之為“恐懼的啟迪”，其實(shí)就是因?yàn)樗吹搅爽F(xiàn)代技術(shù)活動(dòng)是一種系統(tǒng)性的、充滿不確定性乃至風(fēng)險(xiǎn)的活動(dòng)。因此提出技術(shù)時(shí)代的倫理學(xué)必須要考慮到現(xiàn)代技術(shù)的不確定性和風(fēng)險(xiǎn)，并在此基礎(chǔ)上回應(yīng)技術(shù)帶來(lái)的倫理難題。

李建會(huì)：的確，智能技術(shù)和生命科學(xué)技術(shù)研究和應(yīng)用中會(huì)遇到很多倫理問(wèn)題，有相當(dāng)多的問(wèn)題因?yàn)槿藗兊奈幕瘋鹘y(tǒng)、價(jià)值觀念或看問(wèn)題的出發(fā)點(diǎn)不同，人們很難達(dá)成一致，結(jié)果導(dǎo)致人們?cè)谶M(jìn)行倫理決策時(shí)，出現(xiàn)兩種或多種相互矛盾的行為方案，產(chǎn)生倫理難題。主要原因在于，一是新技術(shù)產(chǎn)生新的道德評(píng)估對(duì)象。像克隆人、基因治療、基因增強(qiáng)、腦機(jī)接口、無(wú)人駕駛等等都成為新的道德評(píng)估對(duì)象。二是文化價(jià)值多元性。面對(duì)同樣一個(gè)生物學(xué)事實(shí)，不同文化背景的人可能給出完全不同的價(jià)值、道德判斷。三是各種倫理論證理論本身的問(wèn)題。功利主義、契約論、德性論、道義論等都有自己的理論優(yōu)勢(shì)和弱勢(shì)?，F(xiàn)在還沒(méi)有哪一種倫理觀點(diǎn)是所有人都可以接受的。

李 倫：不僅如此，大科學(xué)時(shí)代，利益沖突也會(huì)成為研究者以及相關(guān)人員和機(jī)構(gòu)面臨的巨大倫理挑戰(zhàn)。科學(xué)是一種可能帶來(lái)巨大效益的投資對(duì)象。研究者現(xiàn)在身兼很多的角色，這些角色伴隨一系列的權(quán)利、義務(wù)關(guān)系，可能發(fā)生沖突。什么是利益沖突？國(guó)際醫(yī)學(xué)期刊編輯委員會(huì)有一個(gè)定義，當(dāng)對(duì)主要利益的專業(yè)判斷可能被次要利益影響時(shí)就存在利益沖突。主要利益，比如科學(xué)利益、臨床試驗(yàn)中病人的利益和受試者的利益，還有科學(xué)本身的客觀性、真實(shí)性等。次要利益，其實(shí)就是個(gè)人或者機(jī)構(gòu)其他的利益，比如經(jīng)濟(jì)利益、非經(jīng)濟(jì)利益。

王天恩：科技倫理有一個(gè)重要特征，就是針對(duì)具體案例。倫理問(wèn)題不是外在的，而是內(nèi)生的，這些問(wèn)題都是難題?？萍紓惱磉€有一個(gè)重要的特征，它不僅僅是實(shí)踐和理論結(jié)合，而且是實(shí)踐和理論一體化。李倫教授的觀點(diǎn)充分體現(xiàn)這一點(diǎn)，抓住了利益沖突，不僅有操作價(jià)值，而且有重要的理論意義。特別是對(duì)我國(guó)目前的發(fā)展，創(chuàng)新驅(qū)動(dòng)機(jī)制很值得研究。越是基礎(chǔ)的、原創(chuàng)性的研究，越不可能依靠物質(zhì)利益驅(qū)動(dòng)。

成素梅：說(shuō)到案例，人的身體某個(gè)功能器官失能之后可以用人造器官替換，問(wèn)題是可以替換到什么程度？我們?nèi)绾问刈o(hù)我們的身體？人的身體和意識(shí)在多大意義上可以改變？技術(shù)發(fā)展帶來(lái)的這些問(wèn)題如何解決？這需要倫理學(xué)家來(lái)討論。這個(gè)倫理學(xué)家肯定不是純倫理學(xué)家，是搞技術(shù)的人介入倫理，倫理考量必須成為技術(shù)的一部分。

周麗昀：以色列歷史學(xué)者赫拉利在《未來(lái)簡(jiǎn)史》說(shuō)過(guò)：“治愈和進(jìn)化之間沒(méi)有明顯的界限”。我們通過(guò)生命科學(xué)或者是人工智能技術(shù)進(jìn)行生物增強(qiáng)，初衷可能是為了治療疾病，但萬(wàn)一不小心攜帶了某種增強(qiáng)記憶或者是增強(qiáng)運(yùn)動(dòng)的基因，可能就變成了進(jìn)化。那么治愈和進(jìn)化之間的界限在哪里？我們又該怎么辦？倫理學(xué)家會(huì)說(shuō)，要未雨綢繆，一旦意識(shí)到危險(xiǎn)再踩剎車(chē)就來(lái)不及了?？萍脊ぷ髡邥?huì)說(shuō)，干就完了，我要做的事情倫理學(xué)家不讓做，這可能會(huì)阻礙科技的發(fā)展。

李穎潔：我平時(shí)做實(shí)驗(yàn)時(shí)，會(huì)做一些人的生理信號(hào)和實(shí)驗(yàn)數(shù)據(jù)的分析。在實(shí)驗(yàn)設(shè)計(jì)環(huán)節(jié)，我必須要了解與人有關(guān)的參數(shù)設(shè)置，也需要一些數(shù)據(jù)支撐我的實(shí)驗(yàn)設(shè)計(jì)。我關(guān)心的是，預(yù)實(shí)驗(yàn)階段是否可以忽略掉倫理審查？我們進(jìn)行倫理審查的時(shí)候要匯報(bào)實(shí)驗(yàn)方案，但如果這些方案完全是猜想，沒(méi)有實(shí)驗(yàn)依據(jù)的話，本身也不科學(xué)。這是一種悖論么？

李建會(huì)：一般來(lái)說(shuō)，所有的研究和項(xiàng)目在執(zhí)行之前必須先經(jīng)過(guò)倫理委員會(huì)的批準(zhǔn)，不然可能會(huì)產(chǎn)生問(wèn)題。

施 鷹：那我們應(yīng)該如何看待倫理對(duì)科技的影響呢？是否有比較具體的倫理規(guī)制清單，告訴科學(xué)家和工程師，哪些該做，哪些不該做，哪些能做，哪些不能做？

李 倫：倫理委員會(huì)有程序性要求和實(shí)體性要求，國(guó)家規(guī)定與人有關(guān)的研究需要進(jìn)行審查。關(guān)于動(dòng)物實(shí)驗(yàn)和人體實(shí)驗(yàn)，從理論上來(lái)講，保護(hù)人類受試者的論證比較簡(jiǎn)單，因?yàn)槲覀兪峭?。?dòng)物其實(shí)非常復(fù)雜，為什么要保護(hù)動(dòng)物？理論上有很多取向。目前我們做的動(dòng)物實(shí)驗(yàn)，其實(shí)是根據(jù)動(dòng)物福利論，具體而言，就是3R原則。從事科學(xué)研究，不僅是從科學(xué)角度論證，還要看倫理標(biāo)準(zhǔn)和社會(huì)環(huán)境。

張新鵬：法律法規(guī)規(guī)定不允許的肯定不能做。有些事情，沒(méi)有法律法規(guī)規(guī)定，是靠科學(xué)家的良知來(lái)做。這里面不僅有倫理問(wèn)題，還有國(guó)家安全、社會(huì)穩(wěn)定問(wèn)題。

李 倫：關(guān)于倫理問(wèn)題，我們既要有文化自信，要根據(jù)自己的文化背景制定有中國(guó)特色的倫理審查方案，同時(shí)也不能違反國(guó)際共識(shí)。有些事情是國(guó)際公認(rèn)有爭(zhēng)議的，人體的基因編輯就是如此。目前國(guó)際上基本達(dá)成共識(shí)的是，可以在體細(xì)胞上做基因編輯，但不能涉及生殖細(xì)胞的基因編輯，這是紅線。關(guān)于倫理審查，更多是日常倫理，是對(duì)現(xiàn)實(shí)的、已有的風(fēng)險(xiǎn)進(jìn)行判斷、處理。

王國(guó)豫：科技倫理學(xué)是一個(gè)正在形成中的學(xué)科方向?？萍紓惱砀嗟氖墙ㄔO(shè)性的、積極的，而不是像人們經(jīng)常誤解的那樣是阻礙科學(xué)發(fā)展的。

曹傲能：我們的工作也涉及一些科技倫理，但我們的研究基本是在小動(dòng)物層面，而動(dòng)物實(shí)驗(yàn)方面的倫理規(guī)范比較成熟，爭(zhēng)議比較少。那些爭(zhēng)議比較大的問(wèn)題，對(duì)科學(xué)和哲學(xué)研究來(lái)說(shuō)往往都是前沿問(wèn)題。爭(zhēng)議越大的地方機(jī)會(huì)越多，對(duì)科學(xué)家、哲學(xué)家都是如此。

孫偉平：倫理道德實(shí)際上存在著非常強(qiáng)的歷史性，是隨著實(shí)踐的發(fā)展而不斷發(fā)展的。隨著人形智能機(jī)器人的研制，機(jī)器倫理很可能會(huì)變成現(xiàn)實(shí)，就如同今天的動(dòng)物倫理、大自然倫理一樣。今后的機(jī)器可不可能有感情、有情緒，甚至和人類建立比貓、狗之類動(dòng)物更緊密的關(guān)系？在智能等方面，智能機(jī)器會(huì)不會(huì)比猴子、猩猩更接近人類？這至少是有可能實(shí)現(xiàn)的。那么，隨之而來(lái)的問(wèn)題是，機(jī)器人有沒(méi)有權(quán)利？機(jī)器人保姆、機(jī)器人助手之類走進(jìn)人類的生活，這個(gè)問(wèn)題就變得現(xiàn)實(shí)了。哪怕是養(yǎng)一個(gè)機(jī)器人寵物，你都不“應(yīng)該”虐待它。例如，能不能讓他24小時(shí)干活不休息？能不能罵他、打他？如果家里著火了，讓機(jī)器人去滅火，可能會(huì)導(dǎo)致他的硬件受損，這是否可以？這些問(wèn)題逐漸進(jìn)入了我們的視野，都需要進(jìn)行倫理思考、決策，并運(yùn)用法律，將底線倫理、即不允許做的事情規(guī)范起來(lái)。

張新鵬：規(guī)則太重要了。為什么會(huì)有不安全的問(wèn)題？有三個(gè)來(lái)源：一是技術(shù)本身不完善，有漏洞；二是技術(shù)上有霸權(quán)；三是對(duì)規(guī)則的逾越。

周麗昀：就人工智能發(fā)展前沿來(lái)說(shuō)，現(xiàn)在的生物識(shí)別、人工智能對(duì)抗手段等可以用來(lái)進(jìn)行偽造，也可能會(huì)造成不良后果，甚至犯錯(cuò)，這個(gè)時(shí)候應(yīng)該如何界定技術(shù)發(fā)展的界限呢？

張新鵬：未來(lái)AI的源代碼不能隨意散發(fā)，一方面靠技術(shù)限制，另一方面靠法律限制以及科技工作者的良知。無(wú)論做科學(xué)還是技術(shù)研究，我們是站在個(gè)人角度，為了發(fā)高水平的論文、為了拿諾貝爾獎(jiǎng)？還是為了全體人類的福祉去做的？國(guó)內(nèi)也討論對(duì)學(xué)生要開(kāi)科技倫理課，對(duì)科技工作者更要強(qiáng)調(diào)責(zé)任感。在道德水準(zhǔn)不足以承載能力給予的重?fù)?dān)時(shí)，是不是可以暫且退一步？

段偉文：的確，我們現(xiàn)在需要在人才培養(yǎng)上推出根本性的創(chuàng)新舉措。具體而言，可不可以在生命科技、信息科技和神經(jīng)科技等領(lǐng)域的研究生教育中設(shè)置生命倫理、信息倫理和神經(jīng)倫理等具體的科技倫理研究方向，甚至可以像法律碩士、金融碩士那樣，設(shè)置少而精的專門(mén)的生命倫理、信息倫理、神經(jīng)倫理等方向的科技倫理專業(yè)碩士。同時(shí)，在大學(xué)和研究機(jī)構(gòu)，也應(yīng)該設(shè)置專門(mén)的科技倫理研究與審查崗位，讓科技倫理研究與實(shí)踐成為科研工作的有機(jī)部分，成為日?？蒲泄芾淼膬?nèi)在環(huán)節(jié)。

王國(guó)豫：科技倫理規(guī)范屬于中間層次的規(guī)范，應(yīng)該考慮到如何連接倫理原則和操作層面的規(guī)則。倫理原則是抽象的，這些東西如何落地？要在實(shí)踐中檢驗(yàn)。只有這樣，才能避免倫理變成“倫理洗衣機(jī)”。中國(guó)要在科技發(fā)展的路上跑得更好、更快，不僅要“勇闖無(wú)人區(qū)”，還要通過(guò)科技倫理的研究、實(shí)踐，“善闖無(wú)人區(qū)”。

段偉文：對(duì)于科技倫理應(yīng)該有一個(gè)基本的定位，那就是科技倫理不是倫理的分支學(xué)科?？萍紓惱硎且活惥哂屑易逑嗨菩缘膯?wèn)題導(dǎo)向的研究與實(shí)踐：一方面，它是一系列正在形成的、還沒(méi)有完善的交叉學(xué)科的研究，需要在具體的科技所帶來(lái)的社會(huì)、法律、倫理以及文化沖擊的語(yǔ)境中展開(kāi)深入探究；另一方面，科技倫理的研究與實(shí)踐越來(lái)越需要具體的科學(xué)的背景知識(shí)和實(shí)踐的支撐。因此，對(duì)科技倫理問(wèn)題開(kāi)展研究的主體應(yīng)該是科技工作者，而不應(yīng)該理解為科技界有科技倫理方面的需求，所以需要由科技倫理學(xué)家來(lái)幫他們解決這個(gè)問(wèn)題，而是說(shuō)，這個(gè)問(wèn)題本身就應(yīng)該是科學(xué)家、工程師自己的問(wèn)題。因此，將來(lái)的科技倫理研究者可能會(huì)更多地來(lái)自科技共同體，應(yīng)該成為各個(gè)科技領(lǐng)域的一個(gè)專業(yè)方向。這樣一來(lái)，科技倫理的研究就成為科研活動(dòng)的一部分。

張新鵬：科技倫理確實(shí)是科技工作者自己的事情。我是做AI安全的，AI可以做好事，也可以做壞事?，F(xiàn)在學(xué)術(shù)界要考慮，如果你的成果是實(shí)現(xiàn)某種攻擊，那么就要回答如何限制這種技術(shù)造成的惡果。這說(shuō)明科技工作者已經(jīng)有一種約束和規(guī)范。權(quán)利和義務(wù)對(duì)等，技術(shù)能力和規(guī)范、倫理也要對(duì)等，需要對(duì)技術(shù)自身有一個(gè)限制。

段偉文：我們看到，近年來(lái)有關(guān)人工智能的倫理原則制定了幾十套，而且大同小異。僅僅停留在提出科技倫理原則這一階段，就會(huì)成為一種形式上的姿態(tài)，成為倫理洗禮。為了克服困境，應(yīng)該采取兩個(gè)必要的策略。一是社群共建，即應(yīng)該超越小的科技倫理研究的學(xué)術(shù)共同體，走向相關(guān)的科技共同體、企業(yè)、管理部門(mén)和科技倫理研究者所構(gòu)成的科技倫理共建社群，科技工作者應(yīng)該在其中發(fā)揮主力軍的作用。二是將科技倫理原則視為科學(xué)研究的假設(shè)或零假設(shè)，可以通過(guò)進(jìn)一步的研究與實(shí)踐不斷加以修正和迭代。這要求科技工作者真正關(guān)心科技活動(dòng)中的倫理問(wèn)題，需要更多的科研人員成為科技倫理的內(nèi)行。

王天恩：我和偉文的想法一致，我比他更極端。從科技哲學(xué)走進(jìn)去，會(huì)走向一個(gè)新的領(lǐng)域——科技倫理，并且會(huì)發(fā)現(xiàn)這樣一個(gè)景觀：這既不是傳統(tǒng)科技哲學(xué)進(jìn)路，更不是傳統(tǒng)倫理學(xué)進(jìn)路，而是走到了新的生長(zhǎng)點(diǎn)，必須通過(guò)一體化的機(jī)制進(jìn)行研究。人工智能倫理問(wèn)題不是外在的，是內(nèi)生于科技本身的。因此，不是說(shuō)哲學(xué)要和科學(xué)技術(shù)對(duì)話，而是科學(xué)和哲學(xué)越來(lái)越一體化，這些問(wèn)題不是單一學(xué)科能夠解決的，必須大家共同面對(duì)。要避免傳統(tǒng)倫理觀念妨礙人工智能發(fā)展，需要科學(xué)和哲學(xué)的一體化發(fā)展，需要清楚地看到倫理就是科學(xué)和哲學(xué)一體化問(wèn)題的內(nèi)在要素，屬于科學(xué)和哲學(xué)一體化問(wèn)題本身。

周麗昀：我發(fā)現(xiàn)，話題進(jìn)行到這里，科學(xué)家和哲學(xué)家已經(jīng)殊途同歸。大家對(duì)科學(xué)與哲學(xué)、科技與倫理的一體化發(fā)展深有共識(shí)。倫理不是外在于科技的因素，而是本身就應(yīng)該成為科技發(fā)展的一部分，而科技倫理也應(yīng)該成為科學(xué)家、工程師與哲學(xué)家共同的事業(yè)。這已經(jīng)超越了學(xué)科交叉，達(dá)到了學(xué)科融合。面對(duì)基因編輯、人工智能等新興科技帶來(lái)的高度不確定性及其復(fù)雜的價(jià)值抉擇與倫理挑戰(zhàn)，單靠科技人員的價(jià)值判斷和科研機(jī)構(gòu)的倫理認(rèn)知已難以應(yīng)對(duì)，而亟待整個(gè)科技界乃至國(guó)家層面的統(tǒng)一認(rèn)識(shí)、動(dòng)態(tài)權(quán)衡和規(guī)范實(shí)踐。2019年7月24日，中央深改委召開(kāi)第九次會(huì)議，審議通過(guò)了諸多重要文件，排在首位的是《國(guó)家科技倫理委員會(huì)組建方案》。國(guó)家科技倫理委員會(huì)的建立是新時(shí)代科技倫理建設(shè)的里程碑。我們今天的研討正是在這樣的背景下展開(kāi)并進(jìn)行了呼應(yīng)，希望以后有更多的機(jī)會(huì)進(jìn)行類似的對(duì)話。謝謝大家！