张卫华：人工智能武器对国际人道法的新挑战 人工智能武器是指什么武器

张卫华：人工智能武器对国际人道法的新挑战

二、人工智能武器的概念和特征

人工智能武器(ArtificiallyIntelligentWeapons,AIWeapons)是一个新出现的事物，在国际法上尚无明确的定义。专家们对于使用了什么样的人工智能技术的武器系统能够被称作人工智能武器，仍然缺少统一的意见。如果单纯从日常对这个概念的使用而言，似乎所有应用了人工智能技术的武器或者武器系统，都可以被称为人工智能武器。然而，更为棘手的问题是，什么样的技术属于人工智能，本身就很难界定。这是因为一方面，对人工智能的研究从来就没有一个统一的方法和路径。如果从纯粹技术的角度回顾人工智能的发展历史，就会发现人工智能科学家们有的希望人工智能可以像人类一样思考，有的希望它可以像人类一样行动，另一些则希望它可以理性地思考，还有一些更重视它是否可以理性地行动。上述领域都有不同的人在使用不同的方法开展研究，因此，对人工智能的技术定义也通常可以相应地归入上述四种类型，而很难提出一个统一的普遍性定义。

另一方面，由于“人工智能效应”的存在，也导致人工智能很难被定义。人工智能技术始终处于不断发展之中，人们习惯上认为只有最尖端的机器才能被称为“智能”，这样就导致被归入人工智能的技术一直处于流变之中。例如，在上世纪60年代，下棋程序属于人工智能研究的前沿领域，但是今天一般认为它们不属于“智能”的范畴，它们只是“程序”；类似的还有飞机自动驾驶仪、税务申报软件、汽车巡航控制、智能手机、搜索引擎等设备，它们都包括了某些人工智能技术，但是由于人们已经熟悉了这些技术，它们通常被认为“自动化”技术，或者只是“计算机程序”，而不再认为其属于人工“智能”；这种现象被称为“人工智能效应”。这样一来，一种技术被称为“人工智能”的标准就处于持续变化之中。

幸运的是，这些技术上的争论并非国际人道法所关心的问题。从法律的角度来看，人工智能武器不同于传统武器的最大特征就是这种武器具有“智能”，可以像人一样“自主地”作出是否实施某项活动的决定；也就是说，它们似乎已经不再是单纯的武器，而像是“武器+战士”的组合。这样的新型武器在作战的时候不需要人类操作，就可以按照预先编制的程序，对预先设定的目标开展攻击。这种情况是传统国际人道法从未预见而且也不可能预见到的，如何规范这种具备了“智能”和“自主性”的新型武器，是国际人道法面临的新挑战。

“智能”或者“自主性”是人工智能武器区别于传统武器的本质属性。对于人工智能武器而言，它们是同一个事物的不同侧面。智能是一个系统决定实现其目标的最佳行动路径的能力；而自主性则代表了一个系统在实现目标的过程中拥有的自由，更大的自主性意味着更多的自由，包括能够承担的任务更多、接受的监督更少、运行的周期更长、应对的环境更为复杂，等等。智能程度更高的系统具备在更加复杂的环境里执行更为困难的任务，并选择最佳路径实现其目标的能力，这意味着它能够被赋予更高的自主性。为了维持人类对智能武器的监督能力，我们也可以有意地限制其自主性，但是，我们显然不能赋予一种武器超出其技术水平的自主性。因此，自主性直接代表了人类参与人工智能武器运作的方式和程度。考察人工智能武器的自主性，不仅可以把它和传统武器区别开来，而且也便于确定相关责任人，并进而确定有关人员是否履行了国际人道法义务。因此，大部分讨论人工智能武器的国际场合都使用了“自主武器”(AutonomousWeapon,AW)或者“自主武器系统”(AutonomousWeaponSystems,AWS)的概念。

在有关人工智能武器概念的讨论中，很多人一直希望把人工智能武器与“智能程度不那么高”的武器区别开来，甚至为此分别提出了“自动武器”和“自主武器”这两个概念。2011年，红十字国际委员会起草了一份标题为《国际人道法和当前武装冲突中的挑战》的研究报告，这份报告中较早地研究了所谓的“自动武器系统”(AutomatedWeaponsSystems)和“自主武器系统”(AutonomousWeaponsSystems)的概念。根据该报告，自动武器系统是指那些虽然需要人类操作员部署或者发布指令，但是能够通过自足和独立的方式发挥作用的武器或者武器系统。例如，自动哨兵枪、传感器引爆炸弹或者某些类型的反车辆地雷。自主性武器系统是指能够学习并且根据所部署环境中情况的改变调整自身功能的武器或者武器系统。但是，该报告并未提及任何属于自主性武器系统的武器类型，而是似乎认为符合上述定义的具备真正自主性的武器尚不存在。2014年联合国人权理事会“法外处决、即决处决或任意处决问题”特别报告员克里斯托夫·海恩斯先生在向人权理事会提交的一份报告中，也强调了“自主”(autonomous)与“自动”(automatic)或者“自动化”(automated)的区别，他认为“自动系统……是在一个结构性和可预见的环境中运行。而自主系统可以在开放的环境和非结构性及动态背景下运行”，但是，同时表示“对机器人使用‘自主’或‘自主性’说法可能会引起误解。……(因为)有自我意识的机器人或强大的人工智能目前还尚未进入考虑之中”。

事实上，在实践中很难对“自动武器”和“自主武器”作出区分。这一方面是由于一个武器系统通常同时包含了多种“人工智能”技术或者“自动化”技术，我们很难确定一个“自主武器”应当具备的标准和条件；另一方面，不同研究者对“自主性”的认定标准不同，从而会把同样类型的武器划入“自主武器”或者“自动武器”。例如，三星公司开发的自动哨兵枪在上述红十字国际委员会2011年报告中被认为属于自动武器，而海恩斯先生却把它归为“具有不同程度自主性的武器系统”的一种。

从技术的角度来讲，上述自动武器系统和自主武器系统都应用了人工智能技术，因此，从广义上说它们都属于人工智能武器。它们之间只是智能化的程度上的不同，即所谓的“弱人工智能”和“强人工智能”的区别。毕竟，具备完全的或者真正的“自主性”的武器(例如，电影《终结者》中斯瓦辛格扮演的“T-800”型机器杀手)尚未出现，而且可以预见，在相当长的时期内都不可能出现，也就是说，目前所有的自主武器在严格意义上都不具备真正的“自主性”。同时，从国际人道法的角度来看，我们也没有必要坚持所谓“自主武器”或者“自动武器”的分类。对于人工智能武器，人道法对于所关注的焦点是人工智能技术在哪些关键环节上取代了人类的作用，以及给国际人道法的实施带来了什么影响。

应当说这是一个相当宽松的定义，它涵盖了任何能够独立选择和攻击目标的武器系统，不论它们被称作“高度自动化的”还是“完全自主的”武器系统，根据这个概念，几乎所有当前已经出现的、使用了人工智能技术的武器系统都可以归入“自主武器系统”的外延。但是，采取了这样一个宽松定义的后果就是，人工智能武器涵盖了在自主性程度、机动水平、部署的环境、攻击的目标等方面，有着很大的区别的各种不同的武器系统，它们给国际人道法带来的挑战也各不相同，我们无法在这个问题上对各种不同的人工智能武器给出一个统一的答案，而只能根据每种武器的自身特点，来分析它们违反国际人道法的风险；更重要的是，当前人工智能正处在高速发展时期，未来人工智能武器在“智能化”和“自主性”方面必然会有更大的提升，从而它们违反国际人道法的风险也自然将会大大提高。

三、当前人工智能武器的主要类型及其未来发展趋势

(一)反火箭、火炮、迫击炮系统(Counter-Rocket,Artillery,Mortar,C-RAM)

反火箭、火炮、迫击炮系统用于船舶和地面设施的近距离防御，可以抵御导弹、火箭、火炮、迫击炮、飞机、无人机的攻击，是一种应用非常广泛的短程防御系统。具有代表性的C-RAM系统有美国的陆基“密集阵”武器系统(Land-basedPhalanxWeaponSystem)和舰载“密集阵”近程防御系统(PhalanxClose-inweaponsystem)，以色列的“铁穹”(IronDome)防御系统，等等。“密集阵”武器系统能够自动探测、追踪、选择和攻击目标，但是，实施攻击的决定仍然由人类作出。人类指挥官决定什么情况下启动武器系统，并在整个武器系统运作期间实施监督，而且能在任何需要停止攻击的时候，关闭武器系统。“密集阵”系统定期更新商业(民用)飞机的飞行信息和“友方”飞机的信息，根据这些信息，计算机将会决定武器系统启动期间的“交战区”(engagementzones)。该武器系统使用了自毁弹药，降低在弹药没有击中目标的情况下给平民或者其他目标带来的风险。事实上，自从“密集阵”武器系统部署以来，尚未发生过任何一起所谓的“附带性损害”(collateraldamage)事故。

(二)车辆“主动防御”武器(vehicleactive-protectionweapons)

车辆“主动防御”武器用于保护装甲车辆免遭导弹、火箭和火箭推进榴弹的袭击。以色列“Trophy”武器系统(又叫做ASPRO-A)是一种著名的车辆主动防御武器系统，它安装在坦克和装甲车辆之上，用于拦截任何来袭的反坦克武器，例如导弹、火箭、火箭推进榴弹，等等。“Trophy”系统具有360度全视角，能够应对来自不同方向的多重袭击，一旦其雷达侦测到来袭的各种射弹，系统的内置计算机能够立即计算出其弹道轨迹，并在射弹到达之前确定其类型，然后计算出最佳的时间和角度开火拦截。为了及时应对来袭的各种威胁，这种武器系统往往具有较高的自主激发能力，但是它们的杀伤半径通常限制在很小的范围内，从而确保不会危及附近的“友军”车辆和人员。

(三)巡飞弹(loiteringmunitions)

(四)“一劳永逸”型鱼雷(fireandforgettorpedoes)

“一劳永逸”型鱼雷主要用于打击各种核潜艇和常规潜艇。这种武器可以通过飞机、水面舰船或者潜艇发射，利用机载设备自主引导鱼雷侦测、追踪和攻击目标。最著名的“一劳永逸”型鱼雷是意大利和法国联合研制的“MU90”轻型鱼雷，这种鱼雷装有主动声纳，通过捕捉声学信号能够同时跟踪多个水下作战目标，它具有强大的数据处理能力，能够独立完成鱼雷的全部引导和控制任务，如确定鱼雷潜深、自动定向控制、航行稳定、航速变化、自主制导、目标跟踪，并作出发动攻击的决定。“一劳永逸”型鱼雷通常通过预先编制的程序，确保在一定深度之下工作，避免威胁到民用船舶。其他的“一劳永逸”型反潜艇武器还有俄国“Shova”火箭推进鱼雷。

(五)反人员“哨兵”武器(anti-personnelsentryweapon)

上述五种武器或者武器系统代表了当前人工智能武器的主要类型，它们都具备了一定程度上自主选择目标、自主发动攻击的能力，这种能力是传统武器所不具备的，从而，在国际人道法上形成了新的挑战。但是具体而言，由于承担的任务类型和部署的外部环境不同，上述各种智能武器系统违反国际人道法上的风险也各不相同。反火箭、火炮、迫击炮系统和车辆“主动防御”武器属于防御武器，而巡飞弹、“自主引导”型鱼雷和“哨兵”武器属于进攻武器；反火箭、火炮、迫击炮系统、车辆“主动防御”武器和“哨兵武器”安装于固定地点、车辆或者舰船之上，本身不具有机动能力，而巡飞弹和“自主引导”型鱼雷本身拥有机动能力；“哨兵武器”属于反人员武器，而其他四种武器都属于所谓的反物质武器。一般而言，具有机动能力的、进攻型的、反人员型的武器，违反国际人道法的风险会高于那些不具有机动能力的、防御性的、反物质型的武器。

总体而言，上述现有的各种人工智能武器在“自主性”方面仍然受到很大限制，它们在人道法上的风险是可控的。它们仍然是以人类程序员预先编制的程序为准则来采取行动的武器系统，这些准则决定了它们所选定目标的类型、行动的时间范围和地域范围。首先是任务受到限制：主要用于防御武器，比如导弹防御系统；其次是攻击目标的类型受到限制：主要用于打击车辆、雷达、防空武器和舰船，而不是人员；再次是部署武器的环境受到限制：主要部署在相对简单和可以预测的环境，比如海上和远离居民区的陆地，它们攻击的目标不容易与平民混淆。因此，它们在国际人道法上风险基本上是可以控制的，或者至少可以说，它们违反国际人道法的风险并不高于传统的各种武器或者武器系统。

在刚刚过去的十年里，机器学习技术在人工智能发展中得到越来越多的应用，尤其是深度学习技术广泛应用到传统的监督学习、无监督学习、强化学习等各种机器学习之中，人工智能技术发展迅猛。与此同时，人工智能技术向军事领域的扩散也非常迅速和广泛。虽然现在大多数机器人武器系统(例如武装无人机)在选择和攻击目标等关键功能上仍然由人类操作员来远程遥控，但是，总的趋势是这些系统的自主性日益提高。武器专家们预测，未来人工智能武器将沿着两个主要路径向更加自主的方向发展：一是赋予远程遥控的机器人武器系统在选择和攻击目标上更大的自主性；二是商用(非武器)自主机器人系统能够转变为武器系统。从技术角度讲，这两条路径都没有太大难度。在选择和攻击目标上拥有充分的自主性的武器系统，甚至不需要依赖通信系统，从而能够把用于操作人员和通讯联络的空间用于提高武器系统的防护能力和攻击能力，而且具有更强的适应性，能够应用于所谓的“4D”任务(dull,dirty,dangerous,deep)，实现军事效能倍增。

四、人工智能武器能否遵守有关交战行为的国际人道法规范

在传统国际人道法中，交战者应当遵守国际人道法有关敌对行为的全部或者部分规则。一般而言，这些约束交战者的人道法规范与武器自身无关，而是有关交战者如何使用武器的规范。正如我们常说的那样，“不是枪在杀人，是人在杀人”(GunsDon’tKillPeople,PeopleKillPeople)。但是，由于人工智能武器的出现，这种论断就没有那么可靠了，因为人工智能武器具有“智能化”和“自主性”的特征，能够像人类战斗员一样“自主地”选择和确定攻击目标，并作出实施攻击的决定，这样一来，人工智能武器在国际人道法中的地位就相当于“交战者+武器”。

有关要求交战者在武装冲突中作出判断和衡量的国际人道法规范，主要包括区分原则和比例原则。在可以预见的一个时期内，仍然不可能出现达到人类的智能水平的完全自主的武器系统，而且人工智能不可能具有人类的道德和伦理观念。我们能否通过编码和程序，确保人工智能武器在发动攻击时，实现人类交战者所需要作出判断和衡量，确保其遵守区分原则和比例原则，是国际人道法所关心的问题。

区分原则(principleofdistinction)是一项有关敌对行为的国际人道法基本原则，它要求冲突各方必须区分战斗员和非战斗员、武装部队与平民、军事目标和非军事目标。例如，1977年《第一附加议定书》第48条规定了保护平民居民，防止敌对行为影响的基本规则：“为了保证对平民居民和民用物体的尊重和保护，冲突各方无论何时均应在平民居民和战斗员之间和在民用物体和军事目标之间加以区别，因此，冲突一方的军事行动仅应以军事目标为对象”；第51条规定“平民居民本身以及平民个人，不应成为攻击的对象”，“禁止不分皂白的攻击”，而不分皂白的攻击是指“(一)不以特定军事目标为对象的攻击；(二)使用不能以特定军事目标为对象的作战方法或手段；或(三)使用其效果不能按照本议定书的要求加以限制的作战方法或手段”；第52条规定“民用物体不应成为攻击或报复的对象”，“攻击应严格限于军事目标”。

区分原则对于国际人道法具有根本的重要性。国际法院在“威胁或使用核武器的合法性”案的咨询意见中认为，“构成国际人道法框架的文件中所包含的主要原则如下：第一项原则就是保护平民居民和民用物体，并且在战斗员和非战斗员之间作出区分；国家绝不能把平民作为攻击目标，……”。作为一种具有自主攻击能力的新型武器，人工智能武器亦应遵守这项核心的国际人道法义务。因此，人工智能武器是否有能力遵守区分原则，亦即在发动攻击的时候能否区分军事目标和民事目标、战斗员和平民，以及有作战能力的战斗员和失去战斗能力的伤病员，是其给国际人道法带来的最重要挑战。

比例原则(principleofproportionality)(也称成比例原则)是国际人道法有关敌对行为的另外一项基本原则，它要求在对军事目标进行攻击时应最大限度地减少对平民和民用物体造成的附带损害，对平民和民用物体造成的附带损害不应超过在军事行动中所要达到的具体的、直接的军事利益。根据比例原则，如果攻击行动的预期目标和直接军事利益可能会造成对平民的过分伤害或者对民用物体的过分损害，那么攻击应当被禁止。禁止不成比例的攻击，源自1977年《第一附加议定书》第51条“对平民的报复”第5款第3项。根据该条款，“可能附带使平民生命受损失、平民受伤害、平民物体受损害、或三种情形均有而且与预期的具体和直接军事利益相比损害过分的攻击”，应被视为“不分青红皂白的攻击”，从而受到禁止。对于人类来说，在军事利益和附带的平民伤害作出选择和决定，已经是一项非常困难的事情，因为这并非仅仅涉及人员和财产损失的数量计算，往往还涉及到非常严肃的伦理问题，而人工智能武器的出现，使这问题变得更为复杂。

比例原则要求人工智能通过预先编制的程序来感知和衡量众多相关要素和变量，进而判断与预期中直接和具体的军事利益相比，攻击是否会导致平民的过度伤亡和民用物体的过度损失，并且在可能会违反比例原则的情况下，有能力取消攻击行动。从技术角度来讲，这项要求比遵守区分原则的难度更大。而且，即使在技术上能够把各种要素量化，并且最终人工智能作出了与人类同样的选择，它仍然会受到质疑。因为对生命的价值作出衡量，一般被认为是只有人类才能作出的判断，而没有灵魂和感情的人工智能不可能感受生命的价值和意义，它是否适合作出此类判断，是一个值得怀疑的问题。

在这种背景下，显然应当限制人工智能武器的任务类型，减少人工智能武器发生错误攻击的可能性。正如我们上文中提到那样，现有的人工智能武器主要是防御性的和反物质的，而且主要用于打击海洋、空中和非居民区的目标。更重要的是，必须由人类操作员对人工智能武器进行监督。在有关自主武器系统的国际会议上，代表们普遍同意不论是出于法律、伦理还是政策的原因，都应当由人类对人工智能武器的关键功能继续保持有意义的(meaningful)、适当的和有效的控制。由人类对收集到的各种图文资料进行分析、判断和衡量，并且作出是否发动攻击的最后决定。

由人类对人工智能武器进行“有意义的”控制，不仅能够更好地保障其遵守国际人道法规范，而且还可以在某种程度上舒缓人们对人工智能武器的另一个担忧：它的出现是否会成为对违反国际人道法的行为进行问责的障碍？不论人工智能武器的智能化程度如何，它仍然只是一台机器，把国际罪行归责于一台机器是没有意义的；而人工智能武器自主性无疑将会成为人类操作员推脱罪责的便利借口。

五、人工智能武器可能成为追究违法责任的障碍

很多对人工智能武器的担忧是关于战争罪行的归责问题的。考察二战后的国际刑事司法实践就会发现，各种国际刑事法庭和法院均要求构成一项战争罪行，应当具备特定的主客观要件，这不仅是罪刑法定等刑法基本原则的要求，而且也是保护被告人的基本人权的需要。而被告人主观上的犯罪意图是必不可少的构成要件。以国际刑事法院为例，1998年《国际刑事法院罗马规约》第8条“战争罪”规定了战争罪的客观要件，同时，该规约第30条“心理要件”第1款规定“……只有当某人在故意和明知的情况下实施犯罪的物质要件，该人才对本法院管辖权内的犯罪负刑事责任，并受到处罚。”

在国际法上，追究战争罪犯的国际责任本来就是一个复杂的问题，现在这个问题因为人工智能武器的出现而变得更为困难。在发生人工智能武器严重违反国际人道法(例如，杀害已经投降的战俘，或者不分青红皂白地攻击平民)的事件时，除了会继续像传统武装冲突那样，涉及到战斗员(人类操作员)及其上级指挥官，还将会涉及到人工智能武器的设计者、生产商和销售商，当然，取得并部署人工智能武器的国家自身也将会承担责任。

我们先来看可能出现的国家责任问题。这个问题相对简单，因为国家的国际责任不包括刑事责任，国际法对国家责任构成要求不包括心理要素。根据2001年联合国国际法委员会二读通过的《国家责任条款草案》，一国国际不法行为的要素包括两个方面：一是由作为或不作为构成的行为依国际法归因于该国；二是该行为构成对该国国际义务的违反。这两个要素都是客观性的或者物质性的。有关国家在其部署或者控制下的人工智能武器发生违反国际人道法的情形时，应当承担相应的国际责任，对受害者予以赔偿(reparation)，包括经济补偿(compensation)。在这个意义上，国家责任法甚至比国际刑法更为有效，因为国际刑法几乎不能为受害者提供任何经济方面的救济。

把设计者、生产商和经销商纳入责任名单，在很大程度上是因为他们非常容易成为人工智能武器的实际操作者推脱责任的“背锅侠”。在发生严重违反交战规则的情况时，指责人工智能武器存在设计缺陷，或者因质量问题而发生故障是非常便利的。但是，一旦把设计者、生产商和供应商牵扯进来，将会产生几乎难以克服的实体或程序上的法律困难。例如，一个具体的设计人员(比如程序员)可能只负责研发某个很小部分的程序，而且他研发这个程序时很可能并不知道将会被应用于军事目的，因此几乎不可能证明他对将来发生的违法情形具有“故意和明知”的主观犯罪意图。生产商和供应商的角色更为全面和综合，它或许将会承担国内法上的产品责任或者公司刑事责任，但是，国际人道法或者国际刑法并未包括任何有关公司的国际责任问题的规范。而且，如果责任过于分散，那么将可能失去实际效果。英谚有云：“如果所有人都有责任，那么就没有人承担责任”(Ifeveryoneisresponsible,nooneisresponsible)。因此，最可能承担责任的还应当是人工智能武器的操作人员及其上级指挥官。

这里强调指挥官的责任，是因为在人工智能武器作战的场合下，指挥链甚至比通常人类战士位于战场的情景更短。指挥官和操作人员之间有便利的通讯工具，甚至可以坐在一个房间内，共同作出一项决策。正常情况下，人类应当对其决策承担责任，但是在人工智能的场合，只要其存在某种程度的自主性，不论这种自主性是高是低，都可能会或多或少地影响行为结果的可预测性，从而给证明被告人的主观故意或者过失带来障碍。

正如我们上文中说过的那样，因为人工智能武器的自主性而对其予以惩罚是毫无意义的，因为它们只是机器。当前问题的关键是如何填补人工智能武器所带来的可归责性上的空隙。这种可归责性上的空隙在立法和实践中都可能存在。这是因为国际社会在起草当前所有重要的国际人道法条约的时候，不可能考虑到人工智能武器的情况，人类操作员很容易利用人工智能武器的自主性、设计缺陷、软硬件故障等理由作为借口，摆脱战争罪行的指控；而法官或者社会公众则很可能对人工智能武器的操作员予以更多的同情，因为与实际深入战场的传统的战斗员相比，这些坐在空调房里的操作员似乎“手上没有沾满鲜血”。

综上所述，人工智能武器的确给国际人道法的实施带来了新的困难。正如我们上文所说的那样，在当前的技术水平和法律状况下，继续由人类对人工智能武器进行“有意义的”(meaningful)控制，是解决有关问题的一个重要方式。但是，在当前人工智能技术飞速发展，人工智能武器的自主性必将继续提高的大背景下，如何实现“有意义的”人类控制，是一个各国在研发人工智能武器时应当优先考虑的问题。这个问题不可能有一个千篇一律的答案，而只能寄希望于各国在研发和部署人工智能武器时，严格依照国际人道法进行审查。

六、人工智能武器的研发应当受到国际人道法的限制

在刚刚过去的十年间，世界各国目睹了人工智能和武装无人机所取得的巨大进步，这些新技术已经在很大程度上改变了战争的形态；人们有理由相信如果不加限制，具有超级智能的杀戮机器迟早将会诞生。一方面，处于伦理上的考虑，人们认为授予机器在战斗中决定谁生谁死的权力是不可接受的；另一方面，出于技术安全的角度考虑，人们认为人工智能武器存在着发生故障、失灵的可能性，可能会导致不可预测的后果；一些人甚至担忧人工智能武器产生自我意识，危及人类的生存和延续。

反对和担忧的声音形成了一种压力和动力，推动了国际社会对人工智能武器的研究和讨论。尤其是一些非政府组织和学者个人，一直试图推动各国限制未来人工智能武器的发展，确保人类未来始终在在关键功能上保持对这种新武器的控制，尤其是禁止研发、取得、部署和使用完全自主的致命性武器系统，并且希望各国切实履行国际人道法中有关新武器的条款，建立国内法律审查机制，同时能够起草和制定有关国际条约，从国际法的层面上对人工智能武器的发展进行规范和限制。

(一)建立和完善新武器的国内法律审查机制

1977年《第一附加议定书》第36条要求每一缔约国在研究、发展、取得或采用的任何新的武器、作战手段和方法时，判定该新的武器、作战手段或方法的使用，是否在某些或所有情况下为国际法所禁止。根据红十字国际委员会《附加议定书评注》的意见，该第36条“隐含了为阐明合法性问题而确立内部程序的义务，而且其它缔约方可要求获得关于此方面的信息”。1977年《第一附加议定书》第82条对第36条进行了补充，该条款要求无论何时均有法律顾问“对各公约和本议定书的适用以及就此问题发给武装部队的适当指示”，向军事指挥官提供意见。上述两个条款是各国建立法律审查机制的国际法依据，从而确保其武装部队能够以严格符合国际人道法的方式从事敌对行动。

国际社会很早就关注到了有关新武器的国内审查立法未能普及的现实情况，一直努力推动各国制定和实施相关法律制度。在2001年《常规武器公约》第二次审查会议上，缔约国敦促“尚未对武器进行审查的国家，按照《1949年日内瓦四公约第一附加议定书》第36条的规定实施审查，以判定某一新武器、作战手段和方法是否为国际人道法或其它可适用的国际法规则所禁止”。2003年第28届国际红十字和红新月大会通过《人道行动日程》(AgendaforHumanitarianAction)，其最终目标之一是“确保新武器在国际法上的合法性”，为此，“根据1977年《第一附加议定书》(第36条)，敦促缔约国建立审查程序，对新的武器、作战手段和方法的合法性作出判断”。

(二)在《常规武器公约》项下起草有关人工智能武器的新议定书

1980年《禁止或限制使用某些可被认为具有过分伤害力或滥杀滥伤作用的常规武器公约》(以下简称《常规武器公约》，CertainConventionalWeapons/CCW)的缔约国会议是当前国际社会讨论武器问题的最重要平台。《常规武器公约》在序言中重申了国际人道法中有关限制武器问题的基本原则：“基于国际法关于武装冲突各方选择作战方法和手段的权利并非毫无限制的原则，以及禁止在武装冲突中使用可能引起过分杀伤或不必要痛苦的武器、弹药、材料和作战方法的原则”。该《公约》本身不包含关于使用特定常规武器的实体规范，而是通过制定一系列附加议定书禁止或者限制了无法检测碎片的武器、地雷、燃烧武器、激光致盲武器，形成了一个开放性的、极具特色的关于武器禁止和限制的国际人道法条约体系。由于人工智能武器日益引起国际社会的关注，2013年《常规武器公约》缔约国会议决定：“由主席在2014年5月13日至16日召开一次为期四天的非正式专家会议，结合《公约》的目标和宗旨，讨论与致命性自主武器系统领域新技术有关的问题”。自2014年起，《常规武器公约》缔约国陆续召开了4届“讨论与致命性自主武器系统领域新技术有关的问题”的非正式专家会议；2016年缔约国全体会议上决定“设立一个关于《公约》目标和宗旨范围内致命性自主武器系统领域新技术的不限成员名额政府专家组(GroupofGovernmentalExperts,GGE)”，计划每年召开两次政府专家组会议，并于2017年11月召开了第一次会议。在这次会议上，该专家组确认“《常规武器公约》为处理致命性自主武器系统领域内新兴技术所产生的问题，提供了适当的框架”，并强调“国际人道法依然完全适用于所有武器系统，包括潜在的致命性自主武器系统的研发和使用，……一国武装部队在武装冲突中使用的任何武器系统，应当根据国际法(尤其是国际人道法)承担责任”，并建议“结合《公约》的目的和宗旨，……处理致命性自主性武器领域新技术对人道主义和国际安全的挑战”。

在2018年4月召开的政府专家组成员会议上，与会代表讨论了四个方面的问题：

(1)描述所讨论的致命性自主武器系统的特征，进而促进形成一个对与《常规武器公约》目的和宗旨相关的概念和特征的共识；

(2)进一步讨论使用致命武力时人的因素；致命性自主武器系统领域内新技术的研发、部署和使用中人机互动的各种问题；

(3)在专家组工作的背景下，审查相关技术的潜在军事应用；

(4)秉持实现《公约》目的和宗旨的前提下，讨论如何应对致命性武器系统领域内的新技术，在人道或者国际安全方面所引起的各种挑战。

在2018年4月的会议中，大多数与会国建议《常规武器公约》缔约国同意在当年11月开始就达成一项有关完全自主武器系统(fullyautonomousweaponsystems)的、具有法律拘束力的文书(即议定书或者条约)展开谈判。

在《常规武器公约》平台上召开的每次非正式专家会议不仅有80个左右的缔约国代表参加，而且还邀请了30多个非政府国际组织和研究机构的代表，以及在人工智能领域居于前沿位置的科学家作为专家代表发言。《常规武器公约》缔约国召开的上述会议，是国际社会对人工智能武器讨论最为深入、成效最为突出、影响最为广泛的场合，也是最有可能达成有关人工智能武器的国际法律制度的场合。这一方面是由于国际社会对这个议题的广泛关注，推动了《常规武器公约》缔约国把它提上日程；另一方面，也是由于《常规武器公约》灵活的议定书机制，能够以缔结新的议定书的形式，围绕新的议题发展出新的条约制度。正如上文中提到的那样，目前该《公约》缔约国召开的政府专家组会议已经同意把缔结一个有关致命性自主武器系统的新议定书作为下一步讨论的重点议题。长期来看，实现这个目标的可能性是非常大的。

七、结论

人工智能技术在军事领域的应用，是一个不可阻挡的趋势。今天已经有一些武器或者武器系统在选择和攻击目标等关键功能上具备了一定程度的自主性，但是，总的来说它们仍然只被用于有限的任务类型和环境。随着人工智能技术的飞速发展，未来人工智能武器必然在更多功能上拥有更高的自主性，并且将会部署在更为复杂的环境，以及承担更为多样化的任务。人们对人工智能武器的担忧有多少将会被证明是杞人忧天，而又有多少是真知灼见，我们现在无法知道。但是，从国际人道法的角度，审视人工智能武器可能带来的新的挑战，无疑是十分必要的，而且，实际上也正是红十字国际委员会最早提醒各国慎重对待研发和部署人工智能武器可能带来的各种根本性的法律、伦理和社会问题。从国际人道法的角度来看，主要是两个方面的挑战：一是武器系统选择和攻击目标能否尊重国际人道法规则？二是如果武器系统的使用明显违反国际人道法，能否归责于个人或国家，并追究他们的责任？

人工智能武器对国际人道法的第一个挑战触及到了国际人道法中的交战规则。国际人道法中的交战规则(主要指区分原则和比例原则)是用来拘束人类行为的，因此任何人类战斗员均有遵守的义务；人工智能武器仍然只是机器，机器虽然无法适用法律，但是也必须能够按照人类的法律判断来进行操作。未来必须保持人工智能武器的可预测性，如果无法合理预测某种武器系统将会遵守国际人道法，那这种武器系统就可能是“非法的”。人工智能武器对国际人道法的另一个重要挑战是它在选择和攻击目标等关键功能上的自主性，可能会使得证明实际操作人员或者指挥官的主观故意变得非常困难；而且，人工智能武器的设计缺陷、软件或者硬件的故障，同样可以成为责任人推脱罪责的借口。

当前，红十字国际委员会和《常规武器公约》缔约国会议组织召开的一系列国际会议，已经对人工智能武器问题进行了较为深入和全面的讨论，也已经取得了一些基本的共识：必须对武器和武力使用进行“有意义的”、“恰当的”和“有效的”人类控制，但是从法律、伦理和政治角度来看，所需的控制类型和程度尚不明确。对此，红十字国际委员会呼吁各缔约国为武器系统的自主性设定限制，以确保其使用符合国际人道法的规定，并在人道原则和公众良心要求所能接受的范围内进行。在当前的情况下，各国应当响应红十字国际委员会的建议，履行条约义务，建立有关新武器的国内法律审查机制；同时推动起草和制定有关人工智能武器的国际条约，从国内法和国际法两个层面，共同确保任何此类武器都必须能够遵守国际人道法中关于敌对行动的规则。

张卫华：构建人类命运共同体的人权之维返回搜狐，查看更多

无人自主武器，是机遇还是陷阱

近日，在英国皇家航空学会伦敦“未来空战和空间能力”研讨会上，美国空军负责AI测试和运营的汉密尔顿上校披露，在美国空军进行的无人自主武器攻击试验中，无人机出现违背指令并攻击操作员的事例。随后，美国空军方面否认进行了此类试验。6月2日，英国皇家航空学会发表声明，称汉密尔顿透露的相关测试只是“假设性的思想试验”，汉密尔顿的发言“被断章取义了”。

在人类社会主要由自然力主导的低技术时代，人们对大自然充满敬畏、恐惧和无边的想象。当技术进步到决定性地影响社会发展的现代，人们开始对具有颠覆性作用的新技术产生了类似的恐惧和联想。

的确，人工智能产生的能力已经在某些方面超过了人类，例如，“深蓝”战胜国际象棋大师卡斯帕罗夫，“阿法狗”战胜人类一流围棋选手柯洁、李世石。这样的能力来自人类对人工智能系统的硬件赋能、软件和数据赋能。

人工智能在某一项具体功能、能力上超越人类，并不证明人工智能系统已经具有威胁人类的能力。人工智能的数学模型、智能算法等都是人类设计，人工智能据此进行反复迭代的数据，都来自人类的“投喂”。人类能够将自身能力赋予智能系统的前提，是人对自身的能力，尤其是思维能力的完全掌握，并且以技术方式赋予计算机系统。然而，人类对自身，尤其是大脑的思维活动至今并没有完全搞清楚，未知部分是不可能赋予计算机系统的。

科幻作家泰德·姜认为，目前人工智能的本质仅是应用统计学，即其思维逻辑仅仅是在大量数据统计的基础上，选择可能性最大的选项。这个判断或许比较文艺，但并非妄言。如围棋人工智能“阿法狗”，不管其算法如何复杂，它的下一步行棋，确实是选择棋盘中相对“价值最大”的位置。而这，离自主意志还有很远的距离。

人与武器实现最佳契合是达成最佳战场效果的基础。在人工智能出现之前，人与武器的契合度主要表现为人对武器装备的娴熟使用。在武器装备系统日益复杂化、技术化之后，侦、判、打、评或观察、定向、决策、行动的作战过程，每个环节都形成相对独立的装备和系统。信息化、智能化的加入，武器系统不仅可以发挥破坏作用，而且可以取代人的部分思维。这就产生人与武器系统之间怎样区分功能、作用，最关键的是人与武器系统怎样分配权限。

在区分人与武器的权限之前，要搞清楚“自动”与“自主”之间的区别。所谓“自动”是指原有机械化过程的全自动完成。过程的步骤和每个步骤的先后顺序，以及每一步的结果都是确定的。按照既定的流程、方式，无需施加人的控制，全过程自动完成。

所谓“自主”，是指整体程序、主要流程、大的节点是确定的，但过程中存在一定的不确定性。遇到突发意外情况时，其应对策略来自确定的模型和算法，但在某些细节上允许系统依据数据自主作出决策。

到底是操作员启动攻击，还是无人机自主攻击，或在什么条件下人工启动攻击，在什么条件下无人机自主攻击，这就是操作员与无人机权限的分配问题。

2004年以来，美国军方和中央情报局在海外的无人机空袭造成9000人至1.7万人死亡。2021年7月，美国前空军情报分析员和无人机操作员黑尔透露，在他执行无人机“定点清除”任务时，有不少人是无辜的。黑尔因为受到良心的煎熬，向媒体透露了一些事实，他这样做的代价是因“泄密罪”被判刑45个月。在面对舆论谴责时，美国军方拒绝为无人机误杀平民道歉。

事实上，在得到一些“恐怖分子”混杂在平民之中活动的情报后，无人机操作员控制无人机找到目标，不管无人机的侦察器材还是操作员本人，都很难将“恐怖分子”从平民中分离出来。操作员面临为了确保平民安全放弃攻击，还是将平民和“恐怖分子”都作为攻击对象的严酷选择。美国军方如果承认这样的攻击是错误的，将只能今后放弃用无人机执行此类攻击任务。

既然人工智能没有自主意识，也不会本质性威胁人类，那么，为什么还有那么多重量级人物发声对此表示警惕，甚至要求限制人工智能的研发和应用？美国前国务卿基辛格在2018年《大西洋》月刊上的一篇文章中称：核武器具有毁灭性，人工智能的能力有过之而无不及。马斯克和包括图灵奖得主在内的近千名科学家、企业家，联名呼吁叫停大规模人工智能研究。

破坏力由能力与意愿构成。人工智能本身不具有破坏意愿和自主意志，但是，它所具有的巨大破坏能力，一旦与人的破坏意愿相结合，就会导致毁灭性后果。核武器本身同样不具有破坏意愿，但它与人的破坏意愿结合的结果，在二战末期已经小试牛刀、令人惊骇。

为此，对人工智能的研发和应用，尤其是在军事领域的应用进行管理、控制和规范，就显得尤其重要。2019年10月，美国国防创新委员会发布《人工智能原则：国防部人工智能应用伦理的若干建议》，为人工智能军事应用提出了“负责、公平、可追踪、可靠、可控”五大原则，这从理论上构成了人工智能军事应用的基本规范。

2021年12月，中国发布《关于规范人工智能军事应用的立场文件》，呼吁各国秉持“智能向善”的原则，遵守国家或地区伦理道德准则，包括不通过人工智能技术谋求绝对军事优势，防止损害全球战略平衡与稳定。2022年11月，中国向联合国《特定常规武器公约》缔约国大会提交《关于加强人工智能伦理治理的立场文件》。今年4月，中国提出《生成式人工智能服务管理办法》草案，强调收集、处理个人信息应当具有明确、合理的目的等。

技术与伦理的矛盾一直都存在，如果不对核武器的使用施加严格限制，人类或许早已灭绝。对于被认为破坏性比核武器更厉害的人工智能，为其研发、应用树立道德伦理规范，更加不可或缺。

（作者单位：国防科技大学信息通信学院）

吴敏文来源：中国青年报返回搜狐，查看更多