结 语
许多致命性人工智能武器已经可以自主识别、跟踪或选择目标，如自主战斗机、自主“哨兵”枪以及自主潜水无人机。致命性人工智能武器通过使用一个武器平台执行识别目标到攻击目标的所有功能，提高作战效率，减少士兵和指挥官的身体和认知负担以及决策支持系统，扩展作战行动的范围和深度并满足提高运营节奏的需求，可以有效降低成本和人员，从而增加一国的军事实力。各国进行大量的投资以增加武器的自主性。当前军事利益和投资的趋势表明，如果不确立国际公认的限制标准，致命性人工智能武器将会加剧各国的军事竞赛。更有甚者，恐怖分子会利用致命性人工智能武器进行恐怖袭击，导致全球的恐怖主义泛滥。国际人道法尚未定义致命性人工智能武器系统的概念，但很多国家和国际组织对致命性人工智能武器系统展开了广泛的讨论。一般来说，武器系统在攻击军事目标时，需要两个步骤：首先，武器系统按照区分原则的要求确定攻击的目标是否属于战斗员、直接参加敌对行为的平民以及军事目标。其次，武器系统需要评估攻击战斗员、直接参加敌对行为的平民以及军事目标是否会造成附带损害，在攻击行为造成附带损害的情况下，比例原则得以适用。致命性人工智能武器系统由于其自身具备的特性将会对国际人道法的区分原则、比例原则造成挑战，因此对致命性人工智能武器的人机交互原则进行规制是十分必要的。
（本文责任编辑：陈梓涵）
On the Challenge of Lethal Artificial Intelligence Weapons to International Humanitarian Law and Its Regulation Path
Lu Yu
Abstract:Various countries and international organizations have put forward different concepts for autonomous weapon systems,which has led to the lack of consensus on the concept and connotation of autonomous weapon systems.The definitions of autonomous weapon systems vary widely among countries,which increases the difficulty of discussion by the expert group.At the Conference of the States Parties to the Convention on Conventional Weapons,China proposed a feasible path for the concept of autonomous weapon systems.After exploring the characteristics of autonomous weapon systems,the definition of autonomous weapon systems was clarified.In addition,it is controversial whether lethal autonomous weapon systems comply with international humanitarian law.The basic elements of the principle of distinction and proportionality are used to examine the legitimacy of autonomous weapon systems,and thoroughly analyze the challenges that autonomous weapon systems pose to international humanitarian law.In order to better supervise autonomous weapon systems,necessary human-computer interaction measures can prevent autonomous weapon systems from causing indiscriminate injuries due to their separation from human control.
Key Words:lethal artificial intelligence weapons;international humanitarian law;principle of distinction;principle of proportionality;principle of human-computer interaction
【注释】
[1]卢玉，华东政法大学博士研究生，研究方向为国际公法、国际人道法。
[2]人工智能在多个医疗环节发挥作用，运用最为广泛的当数医学影像识别和辅助诊断领域。人工智能技术也助推无人驾驶汽车的发展，如特斯拉（Tesla）研发的自动驾驶汽车已经进入市场。具体参见王嫄、解文霞、孔德莉、高喜平：《论人工智能技术应用研究现状和发展前景》，载《科技与创新》2019年第20期。
[3]致命性人工智能武器也被称为致命性自主武器系统。自动武器与自主武器的最大差别是不能主动响应情况变化。当前，经常存在将自动和自主互换使用的现象，但实际上两者之间存在较大差异。目前对“自动化技术”的普遍定义是：“使受控对象在无人直接参与下，按程序自动完成预定操作的技术。”作为自动化技术的产物，自动武器继承了其相关属性，通常按预编程序运行，针对的是事先设计好的任务，执行中往往不涉及或有限涉及操作人员。自主武器具有一定的临机自我调整能力，甚至能对自身状态和外部环境变化实时作出响应。具体参见常书杰、徐文华、袁艺：《自动自主无人武器有何异同》，载《解放军报》2020年3月24日第007版。
[4]沈雪石、刘书雷：《新一代颠覆性技术变革未来战争形态》，载《军事文摘》2019年第2期。
[5]International Committee of the Red Cross，Autonomous Weapon Systems-Q＆A，https：//www.icrc.org/en/document/autonomous-weapon-systems-challenge-human-control-overuse-force.，下载日期：2022年1月12日。
[6]U.S.Department of Defense，Directive 3000.09，Autonomy in Weapons System，该指令在2017年8月5日修改，https：//auvac.org/publications/view/337.，下载日期：2021年12月12日。
[7]人类监督的致命性人工智能武器是指操作员可以对武器系统运行的整个阶段进行干预，比如终止武器系统的运行，该类武器系统是最低限度的武器系统。半致命性人工智能武器是指该武器系统被操作员激活后，可自主与预先设定的特定目标进行交战，与半致命性人工智能武器不同，致命性人工智能武器可以自主选择任何目标攻击。
[8]U.S.Department of Defense，Directive 3000.09，Autonomy in Weapons System，该指令在2017年8月5日修改，https：//auvac.org/publications/view/337.，下载日期：2021年12月12日。
[9]Department of National Defense of Canada，Autonomous Systems for Defence and Security：Trust and Barriers to Adoption，Innovation Network Opportunities，https：www.canada.ca/en/department-national-defence/programs/defence-ideas/element/innovation-networks/challenge/autonomous-systems-defence-security-trust-barriers-adoption.htm.，下载日期：2021年12月12日。
[10]自主系统与自动系统具备的含义不同。现在学界对两者的概念混淆使用，厘清自主系统与自动系统两者的关系是极其有必要的。首先，自动系统和自主系统的英语表达是不同的。自主系统用“autonomous system or autonomy”表示，而自动系统用“automated systems”表示。其次，自主系统具有比自动系统更高层次的学习能力和感知能力，自主系统的行为活动是不可预测的。自动系统按照预定义的规则运行，其运行结果是可预测的。比如无人驾驶车辆就是自动系统而非自主系统。参见Ministry of Defense of United Ki-ngdom，Joint Doctrine Publication 0-30.2：Unmanned Aircraft Systems，https：//www.gov.uk/government/publications/unmanned-aircraft-systems-jdp-0-302.，下载日期：2021年12月12日。
[11]Statement of France，Group of Governmental Expert on Lethal Autonomous Weapons Systems，https：//www.un.org/disarmament/the-convention-on-certain-conventional-weapons/background-on-laws-in-the-ccw/.，下载日期：2021年12月12日。
[12]Statement of Norway，Group of Governmental Expert on Lethal Autonomous Weapons Systems，https：//www.un.org/disarmament/the-convention-on-certain-conventional-weapons/background-on-laws-in-the-ccw/.，下载日期：2021年12月12日。
[13]Statement of Netherlands，Group of Governmental Expert on Lethal Autonomous Weapons Syste-ms，https：//www.un.org/disarmament/the-convention-on-certain-conventional-weapons/background-on-laws-in-the-ccw/.，下载日期：2021年12月12日。
[14]International Committee of the Red Cross，Autonomous Weapon Systems-Q＆A，https：//www.icrc.org/en/document/autonomous-weapon-systems-challenge-human-control-overuse-force.，下载日期：2021年12月12日。
[15]该种方法是通过描述武器的物理特征来定义武器类别，诸如武器的技术规格、射程、有效载荷以及操作环境，沿用了《常规武器公约》界定特定武器类别的方法。
[16]该种方法是根据操作员在武器运行中的控制能力来划分武器的自主性，主要包括三种，即人处于环路内、人在环路中以及人在环路外。OODA循环中的OODA是观察（observe）、调整（orient）、决策（decide）以及行动（act）的英文缩写。OODA循环的发明人是美国陆军上校约翰·包以德（1927—1997），因而其又被称为包以德循环。作战过程可以由OODA循环来描述。“人在环路内”的武器需要人指导去选择和打击目标。“人在环路中”的武器又称为人工监督的自主性武器，虽然武器系统一直处于人的监控之下，但该系统能够自主地选择和打击目标。“人在环路外”的武器可在没有人参与和输入的情况下，选择目标并使用武力，比如美国和人权观察组织即采用该方法。
[17]该种方法认为武器关键功能上就具有自主性属于致命性人工智能武器的范畴，比如红十字国际委员会即采用这种方法。
[18]International Committee for Robot Arms Control.What Makes Human Control Over Weapon Systems“Meaningful”？，https：//www.icrac.net/news/.，下载日期：2021年12月12日。
[19]红十字国际委员会将致命性人工智能武器定义为：任何在关键功能中具有自主性的武器系统。换言之，在没有人为干预的情况下能够选择（搜索或探测、识别、追踪、选择）和攻击（使用武力打击、压制、破坏或摧毁）目标的武器系统。具体参见红十字国际委员会专家会议：《致命性人工智能武器：增强武器关键功能的自主性带来的影响》，韦尔苏瓦，2016年3月15—16日。
[20]The European Parliament Committee on Legal Affairs，Report with Recommendations to the Commission on Civil Law Rules on Robotics，para.59（f），https：//www.europarl.europa.eu/doceo/document/A-8-2017-0005_EN.html？redirect.，下载日期：2021年12月12日。
[21]Statement of China，Group of Governmental Experts of the High Contracting Parties to the Convention on Prohibitions or Restrictions on the Use of Certain Conventional Weapons Which May Be Deemed to Be Excessively Injurious or to Have Indiscriminate Effects Position Paper，https：//www.unog.ch/80256EDD006B8954/（http Assets）/E42AE83BDB3525D0C125826C0040B262/＄file/CCW_GGE.1_2018_WP.，下载日期：2021年12月12日。(https://www.daowen.com)
[22]John O.Birkeland，The Concept of Autonomy and the Changing Character of War，Oslo Law Review，2018，Vol.5.
[23]Lexico Dictionaries，Artificial Intelligence，https：//www.lexico.com/definition/artificial_intelligence.，下载日期：2021年12月12日。
[24]For general information about artificial intelligence，see Sarah Lemelin-Bellerose，Artificial Intelligence：Current Situation，Risks and Outlook，Parliamentary Information and Research Service，2019，pp.1-10.
[25]《第一附加议定书》第48条基本原则规定：“为了保护对平民居民和民用物体的尊重和保护，冲突各方无论何时均应在平民居民和战斗员之间和在民用物体和军事目标之间加以区分，因此，冲突一方的军事行动仅应以军事目标为对象。”
[26]Legality of the Threat or Use of Nuclear Weapons，Advisory Opinion，1996 I.C.J.Rep.226，78（July 8，1996）.
[27]关于区分原则的习惯国际法性质并不存在质疑。各国的外交实践以及国际法院、联合国安理会、前南国际法庭等国际机构可以看出区分原则作为处理国际性和非国际性武装冲突的习惯国际法已经得到认可。比如瑞典的《国际人道法手册》认为《第一附加议定书》第48条的区分原则是习惯国际法规则。阿塞拜疆、印度尼西亚以及意大利在本国的立法均规定直接攻击平民的行为构成刑事犯罪。禁止攻击平民的规定也规定在《常规武器公约第二附加议定书》第3条和《禁止杀伤人员地雷》（也称《渥太华公约》）的序言中；此外，《国际刑事法院规约》中规定直接攻击平民和民用物体的行为构成战争罪。在塔迪奇案中，前南斯拉夫国际刑事法庭进一步确认区分平民和战斗员的任务是一项习惯国际法。
[28]人工智能领域的领先专家辛格认为机器人由三个关键的组件设备组成，首先是用于监视环境并检测环境变化的传感器，然后效应器决定如何应对环境变化的方案，最后执行器执行具体应对措施。致命性人工智能武器属于机器人类别，致命性人工智能武器配备先进的传感器和效应器，可以有效观察和识别环境和目标，但能否对目标的变化作出恰当的反应仍存在质疑。参见Chantal Grut，The Challenge to Autonomous Lethal Robotics to International Humanitarian Law，Journal of Conflict and Security Law，2014，Vol.18.
[29]红十字国际委员会：《国际人道法中直接参加敌对行动定义的解释性指南》，2009年10月，第11页。
[30][法]夏尔·卢梭：《武装冲突法》，张凝、辜勤华、陈洪武、童新潮译，中国对外翻译出版公司1987年版，第68页。
[31]Elliot Winter：The Compatibility Of Autonomous Weapons With The Principle Of Distinction In The Law Of Armed Conflict.International and Comparative Law Quarterly，2020，Vol.69.
[32]Robert Kolb，Military Objectives in International Humanitarian Law，Leiden Journal of International Law，2015，Vol.28.
[33]物体的“性质”通常是评估物体是否可以合法攻击的最直接因素，它是物体的固有特性。不论这些物体在敌对行动中的位置如何，这些物体始终将是合法的军事目标。并且在武装冲突期间从理论上讲可能在任何地方、任何时间受到攻击，而无须事先警告。包括军营、坦克、运输和设备、防御工事、军用飞机、军舰、国防部的建筑物和设施、空军基地和海军港口设施等明显的军事资产。
[34]民用物体可能因其地理位置而成为军事目标，如冲突方占领桥梁、道路和铁路的情形下，桥梁、道路就成了军事目标。在1999年的科索沃战争中，以美国为首的北约对南斯拉夫的12条铁路进行攻击和摧毁，因这些铁路具有重要的军事意义。
[35]即使是通常不受攻击的物体诸如学校或旅馆之类的物品，如果将其实际用于军事目的，将失去保护，并成为军事目标。比如在2006年黎巴嫩发生的冲突中，以色列对民用住宅建筑物，包括救护车在内的医疗设施和民用车队上发动攻击，理由是这些场所被用来发射火箭和运输弹药。
[36]Robert Kolb，Military Objectives in International Humanitarian Law，Leiden Journal of International Law，2015，Vol.28.
[37]ICTY，Prosecutor v.Galic，IT-98-29-T，Trial Judgement，5 December 2003（hereinafter“ICTY，Galic case，TC”），para.58.
[38]International Committee of the Red Cross，Customary International Humanitarian Law https：//www.refw-orld.org/docid/5305e3de4.，下载日期：2021年12月15日。
[39]International Committee of the Red Cross Expert Meeting Report：The Principle of Proportionality in the Rules Governing the Conduct of Hostilities under International Humanitarian Law，https：//www.icrc.org/en/docu-ment/international-expert-meeting-report-principle-proportionality.，下载日期：2021年12月12日。
[40]Human Rights Watch.Losing Humanity The Case against Killer Robots，https：//www.cnbc.com/2015/04/21/what-caused-the-flash-crash-cftc-doj-weigh-in.html.，下载日期：2021年12月30日。
[41]Ian Henderson，Kate Reece，Proportionality under International Humanitarian Law：The Reasonable Military Commander Standard and Reverberating Effects，Vanderbilt Journal of Transnational Law，2018，Vol.51.
[42]Jeroen Van Den Boogaard，Proportionality and Autonomous Weapons Systems，Journal of International Humanitarian Legal Studie s，2015，Vol.2.
[43]P.M.Asaro，Modeling the Moral User，IEEE Technology and Society Magazine，2009.Vol.28.
[44]《国际刑事法院罗马规约》第28条是指挥官应负刑事责任的法律依据，美国国防部规定：“授权使用，直接使用或操作自主……武器系统的人必须谨慎行事，并遵守战争法，适用条约，武器系统安全规则和适用交战规则。”国际刑事法院于2016年3月对检察官诉本巴·贡博（Bemba Gombo）案作出判决，被告人系中非共和国境内反政府武装刚果民主运动及其军事组织刚果解放军领导人。此案是国际刑事法院以指挥官责任为责任模式（《罗马规约》第28条）作出的第一个判决。
[45]刘洪华：《论人工智能的法律地位》，载《政治与法律》2019年第1期。
[46]目前对智能机器人的法律地位问题的讨论总体上存在四种观点，即“主体说”、“客体说”、“有限人格说”以及“控制说”四种观点，但主要的争议在于是否赋予智能机器人具有类人类化的法律主体地位，因此本节主要讨论“主体说”与“客体说”这两种观点。其中，“主体说”认为智能机器人应具有人类同等的法律主体地位，其涵盖了电子人格说和代理人说，但“客体说”认为智能机器人缺乏道德认知能力，并无法独立承担责任，不享有法律主体的地位，它们作为人类的工具，仅可作为法律关系中的客体，包括道德能力缺乏说和工具说。
[47]克里斯托夫·海因斯（Christof Heyns）是前任联合国法外处决、即决处决或任意处决问题特别报告员。新任莫里斯·蒂德鲍尔-宾茨（Morris Tidball-Binz）先生于2021年4月1日被任命为联合国法外处决、即决处决或任意处决问题特别报告员。具体可见联合国人权高级专员办事处官网，https：//www.ohchr.org/ch/issues/executions/pages/srexecutionsindex.，下载日期：2021年12月17日。
[48]Final Report of the 2019 Convention on Prohibitions or Restrictions on the Use of Certain Conventional Weapons Which May Be Deemed to Be Excessively Injurious or to Have Indiscriminate Effects，13 December 2019，CCW/MSP/2019/9，https：//undocs.org/CCW/MSP/2019/9.下载日期：2021年12月21日。
[49]United Nations，Report of the Special Rapporteur on Extrajudicial，Summary or Arbitrary Executions，https：//undocs.org/A/HRC/23/470.，下载日期：2021年12月20日。