應(yīng)思琪

（華東理工大學(xué) 上海 201400）

引言

人工智能的浪潮在近些年來達(dá)到了歷史的頂峰，對(duì)于人工智能的運(yùn)用已經(jīng)不再局限于日常生活。早在一戰(zhàn)以后就有人工智能與軍事方面的融合，且隨著人工智能技術(shù)的高速發(fā)展，人工智能武器也在世界各國(guó)研發(fā)。然而對(duì)于無需人類干預(yù)即可自主發(fā)起特定攻擊行為的武器系統(tǒng)，能否遵守國(guó)際法現(xiàn)有的規(guī)制或者如何對(duì)其進(jìn)行法律規(guī)制，在學(xué)界也引起廣泛議論。

若要研究對(duì)人工智能武器的法律規(guī)制，需明確規(guī)制的對(duì)象，掌握規(guī)制客體的本質(zhì)，以及其可能產(chǎn)生的風(fēng)險(xiǎn)。因此，本文擬闡述人工智能武器的定義及特征，剖析人工智能武器的本質(zhì)，以及其將帶來的風(fēng)險(xiǎn)進(jìn)行分析，為后續(xù)法律規(guī)制對(duì)策提供前期研究。

1 人工智能武器的定義及相關(guān)概念的辨析

根據(jù)自主性的強(qiáng)弱，人工智能武器可分為弱人工智能武器、強(qiáng)人工智能武器和超人工智能武器。弱人工智能武器是指自主性較弱，沒有自主意識(shí)的武器系統(tǒng)，現(xiàn)役的智能武器都還處于這一階段，其運(yùn)作方式是根據(jù)預(yù)設(shè)的指令執(zhí)行既定的任務(wù)，執(zhí)行過程由人類主導(dǎo)。強(qiáng)人工智能武器是指具有自主意識(shí)，可以根據(jù)戰(zhàn)場(chǎng)情況制定最優(yōu)作戰(zhàn)方案并實(shí)施的武器系統(tǒng)。自主意識(shí)意味著人工智能武器通過搜集的數(shù)據(jù)制定作戰(zhàn)方案并執(zhí)行所基于的算法的運(yùn)行，可以像人類一樣靈活應(yīng)對(duì)戰(zhàn)場(chǎng)復(fù)雜的情況，甚至在某些方面如分析速度、執(zhí)行效率更勝人類一籌。對(duì)于超人工智能武器，人類對(duì)人工智能的了解還只是冰山一角，其究竟有多大的潛力還無法估計(jì)，所以超人工智能只是一個(gè)大膽的猜想，本文不對(duì)其做探討。

自主武器系統(tǒng)是人工智能武器的雛形。美國(guó)國(guó)防部將自主武器系統(tǒng)定義為一種一旦被激活，可自主選擇和攻擊目標(biāo)而無需人類干預(yù)的武器系統(tǒng)。[1]國(guó)際紅十字會(huì)在一份研討會(huì)報(bào)告中提到：自主武器系統(tǒng)涵蓋了在其“核心功能”上擁有自主性的任何類型的武器系統(tǒng)，即武器可無需人工干預(yù)地選擇和攻擊目標(biāo)，而不論其在空中、陸地還是海上運(yùn)行。[2]從以上定義中可以看出，自主武器系統(tǒng)具有自主性，即無需人工干預(yù)即可選擇攻擊對(duì)象并對(duì)其發(fā)起攻擊，是弱人工智能武器。相較于自主武器系統(tǒng)更偏重于自主性，人工智能武器則更強(qiáng)調(diào)智能化。所謂智能，是指?jìng)€(gè)體對(duì)客觀事物進(jìn)行合理分析、判斷及有目的地行動(dòng)和有效地處理周圍環(huán)境事宜的綜合能力。[3]人工智能武器對(duì)所搜集到的外界數(shù)據(jù)做出分析，并經(jīng)過算法的運(yùn)行選擇最優(yōu)化方案對(duì)特定目標(biāo)進(jìn)行攻擊或防御。

與上述概念相類似的是自動(dòng)武器，國(guó)際紅十字會(huì)將其定義為：自動(dòng)武器是以自足完備和獨(dú)立的方式運(yùn)行的，一旦被激活，這類系統(tǒng)可以攻擊由操作人員選定（設(shè)置）的個(gè)體目標(biāo)或特殊“目標(biāo)群體”，它們?cè)谠O(shè)定好的可控環(huán)境中嚴(yán)格執(zhí)行預(yù)編程行動(dòng)或序列。[3]自動(dòng)武器并不具備接收信息、處理信息的特性，而只是嚴(yán)格按照人類預(yù)設(shè)的程序執(zhí)行行為；在自動(dòng)武器的使用過程中，人類操作員占據(jù)絕對(duì)主導(dǎo)地位。然而強(qiáng)人工智能武器具有處理信息并自主選擇目標(biāo)進(jìn)行攻擊的能力，可以對(duì)所接受的信息進(jìn)行分析判斷，且對(duì)特定的目標(biāo)展開進(jìn)攻。

本文認(rèn)為，人工智能武器是可以即時(shí)獲取戰(zhàn)場(chǎng)信息，運(yùn)用算法進(jìn)行分析和判斷并采取最優(yōu)方案對(duì)特定目標(biāo)做出攻擊行為，而無需人類干預(yù)的武器系統(tǒng)。人工智能武器已然具有邏輯思維能力，可通過自帶的監(jiān)視器、傳感器等對(duì)戰(zhàn)場(chǎng)實(shí)時(shí)監(jiān)控；再根據(jù)戰(zhàn)場(chǎng)情況通過算法運(yùn)行制定出最優(yōu)的作戰(zhàn)方案；最后實(shí)施。

2 人工智能武器的特征和本質(zhì)

如上所述，根據(jù)自主性的強(qiáng)弱，人工智能武器可分為三類。超人工智能時(shí)代下人工智能的形態(tài)和模式是目前我們無法推測(cè)的，因此本文在分析弱人工智能時(shí)代的自主武器系統(tǒng)的基礎(chǔ)上，主要對(duì)強(qiáng)人工智能時(shí)代的人工智能武器進(jìn)行深入討論。

弱人工智能武器具有以下幾個(gè)特征。其一，被動(dòng)性。自主武器系統(tǒng)只能通過人類遙控或是預(yù)設(shè)的程序運(yùn)行，而無法主動(dòng)根據(jù)情況隨機(jī)應(yīng)變。其運(yùn)行完全基于預(yù)設(shè)的方式達(dá)到既定目標(biāo)，而不能創(chuàng)造出新的路徑去實(shí)現(xiàn)。其二，功能單一。弱人工智能沒有學(xué)習(xí)能力，其算法也在一個(gè)既定的功能范圍之內(nèi)運(yùn)行，舉例來說，現(xiàn)役的仿生機(jī)器人往往只能在一個(gè)方面發(fā)揮作用，負(fù)責(zé)搬運(yùn)的機(jī)器人無法從事偵察活動(dòng)。其三，可預(yù)測(cè)性。由于弱人工智能的程序運(yùn)行的結(jié)果處于人類的預(yù)期范圍之內(nèi)，即使因程序運(yùn)行錯(cuò)誤，也可以排查出來，以至于行為和損害結(jié)果之間的因果關(guān)系較為清晰，由這類武器造成的違法行為的可追責(zé)對(duì)象容易識(shí)別。

強(qiáng)人工智能武器則具有如下特點(diǎn)：首先，強(qiáng)人工智能武器的作用過程具有連續(xù)性。強(qiáng)人工智能武器是分析情況、制定方案和實(shí)施方案三位一體的武器系統(tǒng)，相較于常規(guī)武器和自主武器系統(tǒng)的人類主導(dǎo)性，其最鮮明的特性就是可自主分析戰(zhàn)場(chǎng)數(shù)據(jù)、制定作戰(zhàn)計(jì)劃并對(duì)特定目標(biāo)進(jìn)行攻擊或防御行為，這個(gè)過程無需人類的干預(yù)即可完成。目前普遍應(yīng)用的巡航導(dǎo)彈、無人機(jī)等弱人工智能武器在執(zhí)行任務(wù)時(shí)需要龐大的人類團(tuán)隊(duì)作為輔助[4]，而未來的人工智能武器則無需人類操作員的介入就能正常運(yùn)作。其次，強(qiáng)人工智能武器完成任務(wù)的結(jié)果具有不可預(yù)測(cè)性。強(qiáng)人工智能武器通過分析搜集到的信息得出的方案具體如針對(duì)的打擊對(duì)象、運(yùn)用的打擊方式、實(shí)施的打擊時(shí)間，是由其算法決定的，且其已經(jīng)具備深度學(xué)習(xí)和模糊思考的能力，由于戰(zhàn)場(chǎng)無時(shí)無刻不在變化，人工智能武器系統(tǒng)也要時(shí)刻調(diào)整作戰(zhàn)方式，所以人類對(duì)其完成任務(wù)的手段和結(jié)果是無法預(yù)測(cè)的。最后，強(qiáng)人工智能武器具有多功能性。智能程度更高的系統(tǒng)具備在更加復(fù)雜的環(huán)境里執(zhí)行更為困難的任務(wù)，并選擇最佳路徑實(shí)現(xiàn)其目標(biāo)的能力，這意味著它能夠被賦予更高的自主性。[5]與弱人工智能武器相比，強(qiáng)人工智能所結(jié)合的武器系統(tǒng)更豐富、更高級(jí)，強(qiáng)人工智能武器不但可以即時(shí)獲取信息、對(duì)數(shù)據(jù)進(jìn)行分析，還可以根據(jù)分析結(jié)果做出最有利的攻擊或防御行為，已然比單個(gè)甚至一個(gè)群體的人類戰(zhàn)斗員權(quán)限更大、效率更高。

那么人工智能武器的本質(zhì)是什么？根據(jù)上述人工智能武器的概念，人工智能武器由人工智能技術(shù)支撐，通過常規(guī)武器和裝備組成系統(tǒng)進(jìn)行攻擊或防御，其本質(zhì)是由算法主導(dǎo)其行動(dòng)的武器系統(tǒng)。因此，人工智能武器的研發(fā)和使用必須遵守《特定常規(guī)武器公約》、《禁止或限制使用某些可被認(rèn)為具有過分傷害力或?yàn)E殺作用的常規(guī)武器公約》等國(guó)際法上有關(guān)武器研發(fā)和使用限制的條約。

3 人工智能武器的風(fēng)險(xiǎn)

根據(jù)OODA循環(huán)，武裝沖突可以看做是敵對(duì)雙方相互較量誰能更快更好地完成“觀察—調(diào)整—決策—行動(dòng)”的循環(huán)程序[6]，而計(jì)算機(jī)處理信息的能力顯然是更強(qiáng)的。照這樣看，人工智能武器的運(yùn)用似乎會(huì)給人類帶來福祉。然而，人工智能武器因其不可預(yù)測(cè)、智能、自主的特性，將之運(yùn)用于戰(zhàn)爭(zhēng)、作為剝奪人類生命的決定者，這將顛覆人類的價(jià)值觀、帶來多方面的風(fēng)險(xiǎn)。

3.1 弱人工智能時(shí)代的風(fēng)險(xiǎn)

弱人工智能武器尚不具備自主意識(shí)，往往由人類控制其使用，與常規(guī)武器的使用無異?，F(xiàn)有的國(guó)際法規(guī)制如人道主義法中的比例原則、區(qū)分原則，完全可以對(duì)違法情況進(jìn)行制裁。由于弱人工智能武器的使用需要人類操作員的介入，弱人工智能武器發(fā)揮作用的過程由人類主導(dǎo)，所以現(xiàn)有的國(guó)際法規(guī)制基本可以解決由其引發(fā)的責(zé)任承擔(dān)問題。若是人工智能武器發(fā)生產(chǎn)品方面的故障，則可以對(duì)制造商、程序員進(jìn)行追責(zé)；若是發(fā)號(hào)施令的指揮官對(duì)戰(zhàn)場(chǎng)情況誤判而導(dǎo)致弱人工智能武器的運(yùn)用違背了人道法的相關(guān)規(guī)則，則由指揮官承擔(dān)相應(yīng)的責(zé)任。

3.2 強(qiáng)人工智能時(shí)代的風(fēng)險(xiǎn)

強(qiáng)人工智能武器已經(jīng)具備自主意識(shí)，其可以對(duì)戰(zhàn)場(chǎng)情況進(jìn)行分析、制定作戰(zhàn)方案并實(shí)施該方案，而無需人類干預(yù)。在無法對(duì)其自主意識(shí)進(jìn)行嚴(yán)格監(jiān)控的情況下，使用人工智能武器的風(fēng)險(xiǎn)是很大的，這些風(fēng)險(xiǎn)往往由上文所分析的人工智能武器的特性引發(fā)。

第一，法律風(fēng)險(xiǎn)。人工智能武器帶來的風(fēng)險(xiǎn)首先體現(xiàn)在國(guó)際人道法的兩個(gè)基本原則方面。區(qū)分原則要求“沖突各方無論何時(shí)均應(yīng)在平民居民與戰(zhàn)斗員之間和在民用物體與軍事目標(biāo)之間加以區(qū)別?！盵7]而基于強(qiáng)人工智能武器的“智能性”這一本質(zhì)特性，當(dāng)沖突方將其投入戰(zhàn)斗使用時(shí)，實(shí)際上是把選擇攻擊目標(biāo)的權(quán)利交給了這類武器，而它是否能做到對(duì)軍事目標(biāo)和非軍事目標(biāo)加以區(qū)分，是無法保證的。比例原則的內(nèi)涵是軍事行動(dòng)對(duì)平民群眾生命財(cái)產(chǎn)安全的損害不應(yīng)當(dāng)超過攻擊所要達(dá)到的預(yù)期軍事利益，其本質(zhì)是對(duì)人道主義保護(hù)的利益和軍事行動(dòng)所要達(dá)到的利益進(jìn)行權(quán)衡。問題在于，人工智能武器能否在軍事目標(biāo)和平民生命財(cái)產(chǎn)安全產(chǎn)生沖突時(shí)，根據(jù)人類社會(huì)對(duì)理智和情感的期盼衡量?jī)煞嚼娌⒆龀鲎鲬?zhàn)決策？在技術(shù)和倫理兩方面，誰都不能保證強(qiáng)人工智能武器能夠以人類的感情標(biāo)準(zhǔn)衡量可能發(fā)生的利益沖突。

第二，責(zé)任承擔(dān)問題。人工智能武器是以人工智能技術(shù)為核心的武器系統(tǒng)，強(qiáng)人工智能具備學(xué)習(xí)和模糊思考的能力，對(duì)于它是否能夠遵守人道法和國(guó)際法基本原則是沒有保障的。責(zé)任承擔(dān)問題在人類直接控制武器使用時(shí)都是清晰的，但人工智能武器的自主性導(dǎo)致很難對(duì)一個(gè)指令追根溯源，因果鏈的斷裂致使形成責(zé)任鴻溝[8]。

第三，倫理缺陷。誠(chéng)然，若是人工智能武器無法遵守國(guó)際法尤其是國(guó)際人道法，那么全人類都會(huì)抵制這種武器的研發(fā)，但即使具備了類似人類的思維模式，在面臨多種價(jià)值抉擇時(shí)，人類自身尚且無法衡量，更不用說將價(jià)值觀體系轉(zhuǎn)換成代碼輸入到人工智能武器中[9]。從另一方面講，運(yùn)用人工智能武器攻擊人類意味著將人類的命運(yùn)掌握在AI這種機(jī)器或者說是冷冰冰的代碼手中，人工智能武器只是一種工具，卻能掌控人類的命運(yùn)，這也是一部分人們呼吁禁止研發(fā)人工智能武器的重要原因之一。

4 結(jié)語(yǔ)

雖然人工智能武器結(jié)合了人工智能這項(xiàng)先進(jìn)的技術(shù)，但其本質(zhì)仍然只是武器，是人類作戰(zhàn)的工具。而強(qiáng)人工智能武器所具有的自主意識(shí)似乎使這一武器超出了“工具”的范疇，對(duì)《國(guó)際人道法》的原則、戰(zhàn)爭(zhēng)行為的責(zé)任承擔(dān)、倫理與安全問題都造成了挑戰(zhàn)，如果不對(duì)其加以規(guī)制，將產(chǎn)生不可預(yù)測(cè)的嚴(yán)重后果。本文通過對(duì)人工智能武器的本質(zhì)和其帶來的風(fēng)險(xiǎn)進(jìn)行梳理分析，厘清人工智能武器國(guó)際法規(guī)制的客體問題，以便進(jìn)一步分析人工智能武器對(duì)國(guó)際法體系帶來的沖擊和挑戰(zhàn)，為提出完善的規(guī)制建議做準(zhǔn)備。