王榮余

引言

人工智能（Artificial Intelligence，AI） 已不再只是一個技術問題，而越來越緊密地表現(xiàn)為一個法學問題，尤其是法理學問題。法律作為社會控制的主導方式，其功能就在于“以各種各樣的方式來指引、計劃和控制我們的生活?！雹偃欢鴨栴}在于，現(xiàn)有的法律已經遠遠不足于解決人工智能領域逐漸提出的諸多新問題。盡管在“弱人工智能”層面，部門法學者或法教義學學者仍可通過相關討論——如擴張解釋——來予以回應，但對于“強人工智能（以下稱作“強AI”）”，他們則很難提供切實可行的解決策略，因為部門法條文所能允許的射程范圍會限制他們的進一步討論。這即是說，部門法所提供的說明性理論（explanatory theory） 難以解決由此涌現(xiàn)的規(guī)范問題，所以當問題一旦超過“實在法”所能允許討論的最大限度，法學理論就有登場的必要。其中，“機器人也是人”代表了人工智能以及智能機器人與人之間關系的前沿理論和態(tài)度，它基于“強AI”（乃至是“智慧AI”②） 的未來發(fā)展來論證其可行性，并從法律角度出發(fā)直接對人與智能機器人之間的實質性關系發(fā)起挑戰(zhàn)。③“機器人也是人”這一立場和觀念能在多大程度上被證成或證偽，這首先得通過對其技術前提和理論構想的考察才能得到說明。

一、技術邏輯及其批判性考察

強AI是“機器人也是人”的討論前提。與通過邏輯推理、定理證明、問題求解、自然語言系統(tǒng)以及專家系統(tǒng)來“模擬人或動物智能解決各種問題的技術”④的弱人工智能相比，它的“強”表現(xiàn)在它所具有的自我意識、自主學習、自主角色等“高級能力”。而且，相較于弱人工智能在給定的基礎目標前提下、通過智能進行求解的模式，它還具有自我設定目標的能力。此外，由于“黑箱（black box）”系統(tǒng)⑤的存在，使得連程序設計者自身都無法確切地理解自己設計出來的人工智能的具體決策過程，這無疑會進一步加強“機器人也是人”的說服力。具體而言，論證“機器人也是人”主要是基于深度學習與神經網絡的未來發(fā)展圖景而進行的，二者都以算法為本質。

1.技術邏輯的基礎：“深度學習”與“神經網絡”

“智能”的最基礎面向是“學習”，但與一般的學習不同，“深度學習”是建立在大數(shù)據分析、云計算以及神經網絡的基礎之上的，這便使得智能機器人具有極強的分析和解決問題，以及適應環(huán)境的能力。它可以不依賴程序開發(fā)專家的頭腦，而“自動從已有的實驗數(shù)據中總結規(guī)律”⑥，并依靠所總結的規(guī)律作出下一個決定和行為?！吧疃葘W習”意欲達致的目標在于，通過對數(shù)據的高效處理、對不同知識的智能學習，從而有效地解決復雜的智能問題。⑦它通過超越傳統(tǒng)意義上的“訓練算法”，而向“人”發(fā)起了實質性的挑戰(zhàn)——盡管當下的相關研究仍處在初級階段。正是因為這種人機交互或人機結合已經不再停留于簡單的“輸入—輸出”，從而使得傳統(tǒng)意義上簡單的“人機二元”區(qū)分的界限已開始模糊化；它同時還會使“什么是人”和“人的特質是什么”這些問題的答案慢慢變得模糊。⑧

與深度學習緊密相關的是“神經網絡”，它是“深度學習”隱而不顯的隱藏層。⑨人工智能向“神經網絡”的縱深研究，其間隱含的一個基本假設是，智能及其思想意識本身均源于大腦的復雜性。⑩依據氨基酸決定蛋白質的結構，基因決定細胞的命運，就可以得出“神經元決定了思想”的結論?；從而在具體研究中，它通過“虛擬神經元”進行人腦模擬并在此基礎上構建虛擬的“人工大腦”?；趯θ酥竽X的心智模擬，AI程序就能夠實現(xiàn)像人類一樣的認知和思考，達到甚至是超過人的智能水平。?可以想象：在此種情況下，如若再設計一副仿真人類“皮囊”，那它可能會比“人”更像人。

2.批判性考察：技術邏輯能否成立？

通過“深度學習”所開放出來的技術邏輯的第一個維度是：自然人與機器人的區(qū)別存在于能力方面。因此，一旦智能機器人的發(fā)展足以達到這種能力水平時，它就有享受自然人的“資格”?；诖?，在回應以強AI為基礎的“機器人也是人”的挑戰(zhàn)時，首要的問題是解決“能力”在多大程度上會對人構成實質性威脅？

通過對上述技術邏輯予以進一步分析，我們會發(fā)現(xiàn)它潛在且有效地運用了“理性”概念，即“機器人也是人”之技術邏輯是建立在理性之上的（“理性能力”而非物理能力）。作為“深度學習”和“神經網絡”之本質的“算法”使得智能機器人具有討論“理性”的前提和空間。從某種程度上講，理性的確可以被視作是一種能力，包括實質理性和形式理性兩個方面，而作為技術邏輯之基礎的“理性”主要指的是形式理性。應該說，這一論證邏輯具有很強的說服力，因為形式理性的最佳表達就是數(shù)學思維，而現(xiàn)代法治得以實現(xiàn)的基礎之一就在于形式理性。?這無疑是對以算法為基礎的技術邏輯的佐證，但以形式理性來論證“機器人也是人”的正當性會遭遇一個法理上的悖論，即“能力越強就越有做人的資格嗎”。智能機器人被設計出來是為了更好地滿足人之需要的，但技術的發(fā)展卻使得原本的自然人反倒不如機器人，這會逐步陷入黑格爾所說的“主奴辯證法”的困境。

更重要的在于，這一論證在邏輯學理上并未深入到實質理性層面。即便從數(shù)理邏輯維度來看，智能機器人的確可以像人一樣具備形式理性，乃至是擁有比人更強、更高深的形式理性；但它在多大程度上具有實質理性，還不得而知。?就現(xiàn)有情況來看，科學界的可能方案是通過“神經網絡”來提供實質理性方面的理由，這一理由在大的范圍上歸屬于“主體性”范疇，這是技術邏輯的第二個維度。主體性概念直接指向人的內在實質方面，主要指自主性、主位性、選擇性以及創(chuàng)造性等內容。?這一技術邏輯試圖解決的問題是，如何讓智能機器人具有主體性意義上的主動性。不管實際技術的最終發(fā)展能否予以突破，就理論的基本設定來看，它的可能性顯得微乎其微——至少在可見的技術發(fā)展上，這一論證還欠缺討論的基礎。原因在于，具有主動性的基本前提是具有意識能力；就現(xiàn)有材料來看，智能機器人依靠傳感器、模擬認知的計算能力以及驅動器而獲得的感知、思考，從而獲得的自主性是無法通過意識概念的核心檢驗的。?而且，“意識”概念也并不僅僅為了表明自身能力所能達到何種高級或智能化的程度，而關心意識與物質之間相符合和反映的程度。因此我們無法想象，在學界連自然人自身之意識的發(fā)生和運行機制還未得到完全解答的前提下，程序設計者又依靠什么來設計意識程序、從而使智能機器人具有意識和“主體性”。

算法是智能機器人的內在規(guī)定性，是其“律法”?。以算法為基礎的形式理性遵從的是一套演繹思維，是一種表達邏輯命題和邏輯關系的方式，它受限于哥德爾“不完備性定理”，沒有“直覺”?；備有終極算法的智能機器人成為人的概率因此就為零。?基于此，不管是“深度學習”還是“神經網絡”都不太可能對此進行實質性突破；即便強AI具有自主性意義上的主體性，但執(zhí)行程序始終是一個“絕對命令”。實質理性除了能進行演繹之外，還能為人提供知識上的增量以及進行倫理上的道德判斷；而且實質理性還只是人類眾多實質性內涵的維度之一。基于此，“機器人也是人”的技術論證似乎是無法成立的。

二、理論構想及其限度

對技術邏輯的批判性考察忽略了一個重要的方面，即我們對科技的未來發(fā)展無法進行完全的理性把握。因此，在假定智能機器人能夠通過“深度學習”和“神經網絡”或其它新的技術突破從正面證明自身成立之時，我們面臨的又一個現(xiàn)實問題是：由機器人所引發(fā)的系列法律問題如何處理？如，侵權損害賠償問題，刑事責任問題等。這一發(fā)問是從反向展開的，即如果該類問題無法像人一樣地得到處理，那“機器人也是人”的論證是否有必要？實際上，《機器人也是人》一書的作者John F.Weaver的理論構想就是遵從這一路徑而進行的積極說明。

1.John F.Weaver的理論構想

就侵權問題而言，現(xiàn)有的責任分配理論，如違約責任、侵權責任以及產品損害責任等將很難適用于智能機器人。因為在智能機器人正常運行的情況下，危害后果仍會發(fā)生，卻不能歸咎于任何一方主體的過失或故意。在此情形下，基于公共政策的考量——這一考量是有助于人工智能行業(yè)發(fā)展的——智能機器人就應自己承擔責任。Weaver認為，只要滿足以下兩個條件，智能機器人就應對自己的行為承擔責任：（1）由其自身引發(fā)損失或損害；以及（2）造成損失或損害的所有責任都不能歸屬于流通環(huán)節(jié)的某個或某幾個主體。?在具體承擔責任的方式上，他認為通過創(chuàng)設人工智能保險與儲備金來保證足夠的資金池，就能有效地解決責任分配的問題。?

其中，Weaver的理論構想有以下要點：第一，責任是一種分配關系，而且是一種形式意義上的；第二，通過金錢的補償或賠償就能夠填平所有既已發(fā)生或可能發(fā)生的危害后果，這種危害后果當然地包括民事上的違約、侵權等，同時也包括和自然人相關的刑事責任問題；第三，在此情形下，智能機器人是作為完全性的法律主體而存在，他能對自己行為具有完全的權利能力和行為能力。

2.理論構想的限度

Weaver的理論構想為相關問題提供了一套“切實可行”的解決方案。然而，或許正是因為他主要考慮的是方案的“切實可行”，從而把更深層次的問題忽略掉了。首先，不得不承認，責任理論在很大程度上是關于責任的分配問題。此時，智能機器人所承擔的是一種嚴格責任，因為它實際上沒有任何“故意”，更沒有任何“過失”；只是因為公共政策的權衡，它成了替罪羊；當然，這并不是問題的根本。關鍵在于，它并沒有考慮一種無法保證不會出現(xiàn)的情況，即智能機器人（過失/故意） 致人死亡。Weaver沒有明確討論這一問題，但它實際上已暗含在危害后果產生后的金錢損害賠償之中?；诖耍覀兛梢酝茢啵涸赪eaver的理論構想中，當智能機器人致人死亡的情形發(fā)生時，責任追究的最主要（唯一的？）方式是金錢方面的補償/賠償，只是針對危害后果的類型和程度多補多賠、少補少賠的問題；然而，即便我們接受這種“資金池方案”，但資金池一旦被耗盡或未能及時補足，又如何處理？Weaver并沒有提及，似乎“資金池”是永不枯竭的。

針對這一問題，其實還有另一種解決方案，即審判智能機器人本身，并根據審判結果，對其施以或是管制等自由刑或是生命刑。比如，將其斷電或將其砸毀。但我們馬上會發(fā)現(xiàn)，其中會存在巨大的難題，即我們會接受這種把自然人和智能機器人進行同等對待的處理方式嗎？這種處理有意義嗎？是人之智力的勝利還是對人之尊嚴的羞辱？至少就現(xiàn)代性斗爭所取得的人之主體性地位而言，這一點是無法被人們主動接受的。這不僅是Weaver理論構想的主要缺陷之一，而且也是“機器人也是人”這一立場所面臨的最根本挑戰(zhàn)之一，因為它直接挑戰(zhàn)、觸動了人本身。如果技術沒有完全的能力倒逼人們對此予以接受，那這種解決辦法幾乎沒有可能。

在針對智能機器人進行審判和執(zhí)行刑罰時，不對等的情形會出現(xiàn)。就現(xiàn)有經驗來看，機器人的產出方式決定了它是批量的，因而不存在真正的個性問題，而每一個自然人卻都是獨一無二的；它表現(xiàn)為人的不可替代性。當通過摧毀智能機器人來填平其致人死亡的責任時，這實際上不僅沒有任何意義，而且會產生系列副作用，比如它會反噬人的存在本身；人類自身應是目的而不是手段，但這種處理方式卻將機器人和自然人都拉低為一種手段或工具存在。當目的達到之時，工具就不再具有意義，從而是可以被廢棄掉的。照此推論下去，自然人與自然人之間也會被拉低為工具與工具性的關系，而最終的后果可能是，包括法律系統(tǒng)在內的現(xiàn)有整個社會秩序會面臨崩潰的危險，從而進入霍布斯所謂的人與人之間的狼與狼的自然狀態(tài)。?

實際上，情況可能也不會那么糟，因為尋求人與智能機器人和諧共處的可能性并不是沒有；但這種和諧相處的基本前提是，智能機器人是作為人之延伸的工具，即作為客體而不是主體存在的；不管它多強、多么與人沒有差別，它都是服務于人本身的。智能機器人必定是從屬性的，談論其像人一樣的獨立性，這是無法想象的。如此一來，通過審判智能機器人并對其施予刑罰的方案就毫無意義。但我們又不得不承認，智能機器人所具有的特殊性使得它不同于一般意義上的客體，它是具有主體的相關要素的，因而單純地將其視為客體也無法實際解決相關問題。在此，“法律主體方案”就涌現(xiàn)出來，這也是Weaver理論構想第三個方面的進一步展開。

三、法律主體方案：是否可行？

法律主體不是針對自然人的簡單重復，而是基于自然人的一種抽象制度，甚至被認為是全部法律概念體系的核心。?自然人是當然的法律主體，但“法律主體”的概念卻并不止于此。作為制度事實的法律在此可能會表現(xiàn)為一種“技藝方法”，它會在一定時期將“人”當作“非人”，如奴隸在古代法律中就不是人?；也可能在一定時期將“非人”當作“人”，如“法人”，它作為法律主體，享有人之集合體的法律人格。?在歷史的很長時期里，哪些自然人能成為法律主體以及以怎樣的方式成為法律主體，這已不再是一個法學問題，而是一個高度政治化的考慮和決斷。但不得不承認，法律主體更多地是指“自然人”，至少最初的法律主體是由自然人充當?shù)摹?

自然人之能夠具有權利資格、享有法律權利、履行法律義務，是基于“出生”這一事實?；這一事實天然地賦予自然人法律主體資格和法律人格。自然人法律主體的進一步展開，就是公民概念。?但其中有一個跳躍，即從生物性事實到法律事實。因此，我們就可以理解為什么當智能機器人“索菲亞”在被沙特阿拉伯授予國籍之后，她就成了“公民”并由此擁有了一般人所能夠擁有的權利、義務和責任；從實在法角度來講，只要滿足法律所規(guī)定的要件，“公民”概念就是成立的，至于這些要件應當是什么，實在法條文本身是不再考慮的，而是立法問題。基于此，似乎完全有可能也有機會將智能機器人納入法律主體的范疇之內。但也應當注意到，沙特阿拉伯的這種處理事實上是沒有法理支撐的，不僅表現(xiàn)在它不被其他國家所接受，而且本身就被視作是“扯淡”?。因此，答案仍要在法律主體的法理正當性中去尋找。

就具體的操作方法來看，囿于智能機器人和自然人在質料上的巨大差別，所以將智能機器人視為法律主體的途徑可以是基于法律擬制而進行的，而且是基于自覺創(chuàng)立而非自然演化的擬制形式。法律擬制是一種決斷性的虛構?，比如智能機器人本來不是法律主體但將其視為法律主體。然而我們馬上會發(fā)現(xiàn)，智能機器人的法律主體擬制與法人法律主體制度等既有法律擬制存在一個根本性的不同，從而它會削弱法律擬制方案的可行性。公司法人主體的擬制前提是，公司法人本來就不是人而且也沒有任何機會成為人，從而需要法律擬制來將其視作法律主體，從而有助于解決對內對外的法律關系問題。智能機器人雖然本來不是人，但卻是否就沒有機會成為真正的人？如果強AI或智慧AI的未來發(fā)展證明它有機會，那么法律擬制反倒是用錯了地方，即它不需要通過法律擬制來尋求自身的主體性質；在此前提下，問題會直接變?yōu)槿绾翁幚碜匀蝗伺c智能機器人之間的法律主體關系。可能的方案有：其一，二者都作為平行的法律關系主體，就如既有自然人之間的關系那樣；其二，智能機器人作為一種從屬的法律主體，從屬于與之相對應的自然人法律主體。?

第一種方案在Weaver的理論構想中已被證明在實質性問題部分不可行，而且也不為人所接受。第二種方案主要是基于“無主體的法律難題”這一情形而設計的，從而首先是出于一種便利上的考慮；但這種設計是否能有效地處理智能機器人法律主體缺失而衍生出的問題，而不是引發(fā)更多的問題，還不得而知。但有一點是明確的，從屬主體也是主體，它只是在歸責問題上才回到自然人主體。以智能機器人作為權利義務的法律主體，卻將責任歸于自然人主體，這不禁讓人質疑：難道人類發(fā)明智能機器人只是為了讓自己承擔責任？二者之間如何進行對接？大致看來，它并不會明顯地減少可能出現(xiàn)的相關難題。而實際上，第二種法律主體方案在處理方式上和法人法律主體擬制制度沒有根本性區(qū)別，但由于智能機器人并非只是純粹的客體，所以該方案無法實際展開；因為按照法人制度中的“雙罰制”，其最終的權利、義務和責任都是歸結于自然人，智能機器人卻打亂了這種設計，從而加劇了內在的分裂。

討論至此，還有一個根本性的問題我們沒有展開，即討論“機器人也是人”這一命題時，我們必須對何謂“人”有明確的認知，否則就永遠只是基于個人好惡的“意見”宣泄，而不是“知識”增量。其中，可能的思考策略是反觀什么是人的本質規(guī)定性或不可或缺的特質。比如，情感是否是自然人所必不可少的一部分？如果不是，那以智能機器人無法進行情感的天然流露來反駁它不是人，這就是毫無意義的。?由此我們就可以明白，為什么Weaver的理論構想以及法律主體思路會出現(xiàn)各種各樣不同程度的疑難和不適，其原因除了科技發(fā)展的未來不可預料之外，還在于我們對自然人本身的認識不夠明確。如果既有世界是以“人類中心主義”構建起來的話，那么智能機器人的挑戰(zhàn)一旦形成，那它就將是全方位的、根本性的，從而是可怕的，因為“存在的徹底技術化，或者是，技術將對任何存在進行重新規(guī)定?！?在此情形下，不是“機器人是人”，而是退回到“人是機器”。諸如此類的情形，都在倒逼我們思考一個古老的問題：“我是誰？”。雖然我們可能會通過“預防原則”?或者是“人類中心主義”?的底線操守來予以回應，但經由它所揭示的問題卻是回避不了的。法理學應當重新思考“人”。

結語

人工智能的本質是算法，基于算法的“深度學習”和“神經網絡”使智能機器人具有討論理性以及意識的空間，智能機器人由此不再僅僅只是作為一個客體存在；隨著科學技術的發(fā)展，它有發(fā)展到非完全主體或獨立主體的可能?；趶夾I的未來發(fā)展，“資金池方案”和智能機器人法律主體擬制方案有能夠為智能機器人所引發(fā)的相關問題提供解決途徑，但它們都存在著內在缺陷；這即是說，一旦遭遇智能機器人對人的實質性挑戰(zhàn)時，它就會失去效力。囿于經驗和視野的局限，在當下討論面向未來的智能機器人問題，其討論過程和結論肯定是不完全的。因此，不管是證成還是證偽這一系列的問題，現(xiàn)有的人工智能技術和相應理論都有待于進一步發(fā)展，相關討論由此才有更扎實的基礎。但由類似“機器人也是人”的立場和觀念所開發(fā)出來的問題卻是較為清晰的，它直接挑戰(zhàn)的是“人”本身，包括人的定義、特質以及規(guī)定性等諸多方面的內容?；通過對人本身之價值予以進一步的研究和把握時，我們或許能夠更好、更堅定地回應智能機器人所衍生出的系列關鍵問題，從而更好地安放智能機器人，同時也是更好地安放幾個世紀以來所確立的人之至高無上的地位和尊嚴。

注釋：

①［英］哈特：《法律的概念》，許家馨、李冠宜譯，法律出版社2011年版，第7頁。

② 新近關于人工智能的研究提出了“智慧型人工智能”的概念。埃隆·馬克斯講到，“智能機器人確實可以做很多事情，如果妥善管理，就能產生積極的結果，但如果未來發(fā)展為“智慧型”機器人，就不一定能讓我們輕易控制了”。參見韋康博《智能機器人：從”深藍“到AlphaGo》，人民郵電出版社2017年版，第193頁。

③?? ［美］ John Frank Weaver： 《機器人也是人》，鄭志峰譯，元照出版公司2018年版，第39、39、46—47頁。

④ 莫宏偉：《強人工智能與弱人工智能的倫理問題思考》，《科學與社會》2018年第1期。

⑤ “神經網絡是‘黑箱’系統(tǒng)，也就是說，在我們的例子中，輸入環(huán)節(jié)是透明的，輸出也得到了理解。但兩者之間發(fā)生的事情，沒有人懂得。”參見［美］James Barrat：《我們最后的發(fā)明：人工智能與人類時代的終結》，閭佳譯，電子工業(yè)出版社2016年版，第239頁。

⑥ 鄒蕾、張先鋒：《人工智能及其發(fā)展運用》，《理論研究》2012年第2期。

⑦ 孫志遠、魯成詳、史忠植、馬剛：《深度學習研究與進展》，《計算機科學》2016年第2期。

⑧ ［美］John Jordan：《機器人與人》，劉宇馳譯，中國人民大學出版社2018年版，第158頁。

⑨ 程顯毅、施佺：《深度學習與R語言》，機械工業(yè)出版社2017年版，第4頁。

⑩ ［美］Piero Scaruffi：《人工智能的本質》，任莉譯，人民郵電大學出版社2017年版，第23頁。

?? ［英］ George Zarkadakis： 《人類的終極命運》，陳朝譯，中信出版社2017年版，第276、198頁。

? 陳自富：《強人工智能與超級智能：技術合理性及其批判》，《科學與文化》2016年第5期。

? 魏建國：《形式理性、數(shù)字思維與現(xiàn)代法治的實現(xiàn)》，《學術論壇》2006年第8期。

?Catherine Nunez,Artificial Intelligence and Legal Ethics:Whether AI Lawyers Can Make Ethical Decisions,Tul.J Tech&Intell.Prop,2017,20,pp.189-204.

? 殷鳴放：《人的主體性問題的思考》，《理論月刊》2009年第4期。

?George Bekey,Autonomous Robots:From Biological Inspiration to Implementation and Control,Cambridge,MA:MIT Press,2005,p.2.

?John Cheney-Lippold,We Are Data:Algorithms and the Making of Our Digital Selves,New York University,2017,p.32.

? ［美］佩德羅·多明戈斯：《終極算法：機器學習和人工智能如何塑造世界》，黃芳萍譯，電子工業(yè)出版社2017年版，第361頁。

? 霍布斯：《利維坦》，黎思復、黎延弼譯，商務印書館1985年版，第92—97頁。

? 龍衛(wèi)球：《法律主體概念的基礎性分析（上）》，《學術界》2000年第3期。

? ［奧］凱爾森：《法與國家的一般理論》，沈宗靈譯，中國大百科全書出版社1996年版，第107頁。

? 梁慧星：《民法總論》，法律出版社2017年版，第119頁。

? 胡玉鴻：《法律主體概念及其特性》，《法學研究》2008年第3期。

? 《民法總則》第13條規(guī)定：“自然人從出生起到死亡時止，具有民事權利能力，依法享有民事權利，承擔民事義務?！?/p>

? 馬洪：《法律上的人》，《上海財經大學學報》2000年第3期。

? 參見謝瑋：《網紅機器人索菲亞何許“人”也》，《中國經濟周刊》2018年第5期。

? 盧鵬：《法律擬制正名》，《比較法研究》2005年第1期。

? 張善根：《人工智能新型法律主體論》，載《“公法與治理”學術工作坊第10期論文集》2019年第3期。

? 最近英國倫敦帝國理工學院的科學家首次確定了人類大腦中與智力相關的基因集群——M1和M3，其可能影響人的認知功能，包括記憶力、注意力、反應和推理能力。參見楊溟：《器人已不再是人功能的延伸》，《理論參考》2016年第8期。

? 趙汀陽：《人工智能“革命”的“近憂”與“遠慮”：一種倫理學和存在論的分析》，《哲學動態(tài)》2018年第4期。

? 陳景輝：《捍衛(wèi)預防原則：科技風險的法律姿態(tài)》，《華東政法大學學報》2018年第1期。

? 馬長山：《人工智能的社會風險及其法律規(guī)制》，《法律科學（西北政法大學學報）》2018年第6期。

? 尤其是由未來量子技術所可能帶來的對既有體系和文明的顛覆性影響。