人工智能自誕生以來，理論和技術(shù)日臻成熟，正廣泛運用到軍事領(lǐng)域，在智能化信息感知與處理、指揮控制輔助決策、無人化軍用平臺和機器人等方面扮演著越來越重要的角色。這在催生新的戰(zhàn)爭樣式、改變戰(zhàn)爭制勝內(nèi)在機理的同時，也會挑戰(zhàn)人類倫理與道德底線，產(chǎn)生涉及法律、道德、信任、技術(shù)等的一系列難題。

改寫戰(zhàn)爭倫理道德標(biāo)準(zhǔn)

戰(zhàn)爭的原始本性就是殺生，一定會帶來生命和財產(chǎn)的巨大損失，但無論是什么樣的戰(zhàn)爭，都要考慮作戰(zhàn)倫理與道德，這方面是有明確國際法可循的。例如，根據(jù)1949年簽訂的《日內(nèi)瓦公約》，任何戰(zhàn)爭都必須要對參與戰(zhàn)爭者和非參戰(zhàn)者進行差別對待，不可屠殺平民，不可殺害俘虜?shù)取?/p>

但隨著人工智能技術(shù)的不斷發(fā)展，這些傳統(tǒng)的戰(zhàn)爭倫理與道德標(biāo)準(zhǔn)正面臨巨大挑戰(zhàn)。首先，戰(zhàn)爭責(zé)任的認(rèn)定受到?jīng)_擊。在傳統(tǒng)的正義戰(zhàn)爭理論中，人類作為唯一的責(zé)任主體，相關(guān)責(zé)任方是相對比較明確的，往往由戰(zhàn)爭的發(fā)起者和實施者負(fù)主要責(zé)任。但在智能化戰(zhàn)爭中，戰(zhàn)爭責(zé)任的認(rèn)定將面臨前所未有的困難。例如，高度智能化的無人裝備能否承擔(dān)戰(zhàn)爭責(zé)任，在智能武器研制、生產(chǎn)、裝備與應(yīng)用的過程中，可能涉及的操控者、軍火商、程序員、采購員、戰(zhàn)地指揮員及相關(guān)維護人員，他們的責(zé)任追究是否有明確規(guī)定，因無人智能作戰(zhàn)引發(fā)的非正義軍事行為如何進行責(zé)任追究，都是難以解決的問題。

此外，在未來智能化戰(zhàn)爭戰(zhàn)場上，絕大多數(shù)作戰(zhàn)任務(wù)都將交由戰(zhàn)斗機器人來完成。一旦這些機器人取代人類成為未來戰(zhàn)爭的決策者，人道主義原則的執(zhí)行可能面臨諸多挑戰(zhàn)。根據(jù)戰(zhàn)爭法規(guī)定：沖突各方必須避免不必要的破壞并避免給對方帶來不必要的傷痛；必須善待平民、受傷與無作戰(zhàn)能力和被俘的軍人。而機器人雖然有人工智能，但卻沒有憐憫或悔恨等情感，即使殺人也沒有任何的愧疚感。一旦這群毫無感情、不知疲倦殺人的機器人智能化超過一定程度，并被人類授予了“開火權(quán)”，會不會漠視甚至踐踏人類奉為最高價值的生命和尊嚴(yán)，自作主張，濫殺無辜，將戰(zhàn)爭變?yōu)閱渭兊耐罋?，成為《?zhàn)爭論》中所提出的“絕對戰(zhàn)爭”，都是未來軍事智能技術(shù)發(fā)展必須思考的問題。

易于失控造成災(zāi)難性后果

實際上，人們對于智能技術(shù)發(fā)展可能會導(dǎo)致機器失控的擔(dān)憂，從命名伊始就初見端倪。機器人的英文單詞是“Robot”，最早由捷克作家卡雷爾·恰佩克在其科幻作品中首創(chuàng)，原意是“農(nóng)奴式被強迫的勞動者”，并借此稱呼那些可能會造反的機器仆人。而在1991年出版的《無人戰(zhàn)爭——未來戰(zhàn)場上的機器人》，也對軍用機器人使用后的失控問題提出了嚴(yán)肅的思考。

從理論上講，武器裝備的智能化程度越高，其內(nèi)部電腦控制軟件的規(guī)模就愈加龐大和復(fù)雜，出現(xiàn)故障的概率也就相應(yīng)越高，極有可能出現(xiàn)失控問題。目前，在復(fù)雜戰(zhàn)場環(huán)境下，智能武器由于受到電磁干擾、識別錯誤、通信降級等諸多因素干擾，存在巨大不穩(wěn)定性和風(fēng)險性。各種人為錯誤、機器故障、環(huán)境擾動等因素都可能使得系統(tǒng)失去戰(zhàn)斗效力。而且，如果對手通過惡意代碼、病毒植入、指令篡改等手段攻擊擁有高度智能的無人作戰(zhàn)系統(tǒng)或武器裝備，還將導(dǎo)致戰(zhàn)術(shù)失利，甚至帶來災(zāi)難性的后果。

2005年，美國空軍的一架戰(zhàn)斗機突然自動向地面重要設(shè)施發(fā)射了一枚導(dǎo)彈，其原因是飛機上火控系統(tǒng)的電腦出了故障，無法準(zhǔn)確判斷而產(chǎn)生的戰(zhàn)場失控。2015年7月，美國一臺“發(fā)瘋”的機器人也曾“失手”將一名裝配工人殺死。此外，戰(zhàn)場上的敵我識別對智能武器而言同樣并非易事，甚至可能在遭受敵電磁、網(wǎng)絡(luò)攻擊后出現(xiàn)“臨陣倒戈”的問題。例如，在伊拉克戰(zhàn)爭期間，美軍的導(dǎo)彈系統(tǒng)就曾因為無法準(zhǔn)確判斷，把己方飛機擊落。

此外，隨著相關(guān)技術(shù)的不斷發(fā)展，人工智能在某些領(lǐng)域超越人類已是不爭的事實，人類對于智能機器的控制也越來越難。例如，隨著“機器人”智能化水平的不斷提高，未來很有可能不愿意再接受“自然人”的控制，并由此與“自然人”發(fā)生矛盾沖突，而一旦失控，則很有可能造成災(zāi)難性后果，甚至完全脫離人類控制而實現(xiàn)自主攻擊，就像電影《終結(jié)者》中所描述的那樣，與“自然人”爆發(fā)生死大戰(zhàn)，并最終取代“自然人”的地位成為“人類終結(jié)者”。這將是人類面臨的重大挑戰(zhàn)，也是對人類命運的最大考驗。

未來必須掌握“主動權(quán)”

隨著計算機技術(shù)、信息技術(shù)與傳感技術(shù)的快速發(fā)展，人工智能的軍用發(fā)展迎來了新一輪機遇期，開始呈現(xiàn)井噴式發(fā)展。在當(dāng)前信息化戰(zhàn)爭不斷深化的背景下，未來人工智能與戰(zhàn)爭技術(shù)的深度融合，將是不可避免的發(fā)展趨勢，而高度智能化的武器會改變傳統(tǒng)戰(zhàn)爭模式形態(tài)，甚至?xí)?dǎo)致人類文明史終結(jié)的想法，也并非“杞人憂天”，而是一個值得我們高度重視的問題，有必要未雨綢繆。

從人類創(chuàng)新發(fā)展智能化武器的目的來看，主要是用于減少傷亡，而不是威脅和挑戰(zhàn)人類自我的主導(dǎo)地位。因此，在發(fā)展人工智能武器體系時必須設(shè)定一條底線，那就是不能威脅到整個人類的生存。一方面，在編寫智能武器控制軟件中加入相關(guān)控制程序，對智能武器的攻擊目標(biāo)和攻擊方式進行明確限制，牢牢控制智能武器的“思維”；另一方面，在高智能武器出廠啟用前，提前設(shè)置“后門”式自毀模塊，可在人類需要情況下實現(xiàn)智能武器的徹底死機或自行報廢，從而避免出現(xiàn)人類被完全排斥在“戰(zhàn)爭回路”之外而束手無策的情況。

也要自信，戰(zhàn)爭的決定因素仍然是人，人的主觀能動性仍是智能化戰(zhàn)爭勝負(fù)的關(guān)鍵。人工智能并非萬能，也無法完全取代人類決策，特別是在復(fù)雜多變的動態(tài)環(huán)境中，人工智能的認(rèn)知能力還遠(yuǎn)遜于人類。人工智能作為個別技術(shù)領(lǐng)域的突破，不過是人類智能的延伸，無法取代人類智能的支配地位。在未來智能化戰(zhàn)爭中，無論戰(zhàn)斗機器人系統(tǒng)如何高度智能化，人作為戰(zhàn)爭的主導(dǎo)因素始終沒有改變，改變的只是人與戰(zhàn)斗機器人的戰(zhàn)場協(xié)作方式。人工智能武器帶給人類的究竟是威脅還是發(fā)展，關(guān)鍵在于如何利用。只要牢固確立人類是人機關(guān)系主導(dǎo)者的思想，始終處于“觀察—判斷—決策—行動”的戰(zhàn)術(shù)循環(huán)過程中的核心地位，使得智能武器按照人類預(yù)先編程設(shè)想作戰(zhàn)，牢牢掌握智能武器的“開火權(quán)”，實現(xiàn)對人工智能安全的有效控制，就能避免人工智能武器產(chǎn)生的一系列挑戰(zhàn)問題，讓其為人類和平福祉服務(wù)，而不是成為“惡魔的幫兇”，甚至“惡魔”本身。

（作者為國防科技大學(xué)國際關(guān)系學(xué)院副教授）

（本組文章均摘自《世界知識》2018年第18期）