“闭合世界”冷战军事观的当代延续

事实上，这种失衡可以追溯到19世纪晚期。当时，工程师、管理人阶层的财富水平和社会地位都处于上升期，垂直整合在企业间流行，这种措施将主要生产流程全部置于单一组织架构之下，依靠控制和规模降本增效，通过薄利多销的手法在新兴城市市场中抢占份额。这种追求安全和稳定的价值观念激励企业进一步吞并上下游企业，以保障数据长期可见、可得、可控。发展到宣扬量化管理劳动的《科学管理原理》问世的1911年，作者泰勒已经可以明言：“新兴的管理学说不仅适用于企业，也可用于家庭、农场、教会、慈善组织、大学，甚至政府部门。”[15]

冷战时期紧张的国际局势为这一价值观在军事领域的应用创造了条件。无论是五十年代针对预防苏联空中核打击的SAGE半自动雷达防空系统，还是80年代的战略防御计划SDI（俗称“星球大战计划”），都意在实现人机交互无缝对接。科技史学家爱德华兹（Paul Edwards）指出，战后美国强调防控的外交观和强调控制的科技观走到了一起，形成了冷战期间特有的“闭合世界”观念，追求对控制范围内一切信息的数据化和可计算化，将计算机的数据处理能力融入装备行动和决策过程，彻底剔除人机整合中人所带有的不确定性和非理性，构造绝对的、自动的、理性的系统。[16]可以说，安全这一价值观念经历了在工业和军事领域成熟且成功的应用之后，其内涵已经不再是人对权力入侵的抵抗，美国民间对安全的追求越来越呈现出个体化、受动式、消费主义化的趋势。与之相应的，美国国家对安全的追求则越来越接近“闭合世界”的反乌托邦构想。人工智能对安全这一价值观的作用正是在这两个层面同时展开的，将此两种看似相反的诉求联合起来的，是人机结合这一技术命题。

在民间，无人车就是“闭合世界”价值观的当代延续，因为其目的在于杜绝人为决策失误和人为行动波动对输出的消极影响。此刻，“安全”不再是“不出事”的代名词，其内涵已蜕变为：从统计意义上消灭不稳定表现，这就必须要更多地依赖机器，更少地依赖人。2018年，交通网络公司优步（UBER）在无人车实验中的一次失误，一度使人工智能的安全性成为媒体和法律界的焦点。2018年3月18日晚上10点，赫兹伯格（Elaine Herzberg）正推着她的自行车在亚利桑那州坦佩市的高速公路上行走，结果被调试中的优步无人车撞死。当时虽然车上有驾驶员，但是由于将行驶权完全交给了人工智能，正在车上用移动设备观看综艺节目的驾驶员未能及时阻止惨剧发生。然而，这起事故没有动摇市场对无人车发展的信心，因为在统计意义上，无人驾驶技术无疑是更为安全的。据预测，到2050年，无人驾驶车的市场将增至7万亿美元，每年节约2.5亿小时工作时间，规避价值2 340亿美元的人为失误造成的经济损失，90％的交通伤亡事故将免于发生，100万人的生命将得以保留。[17]

在军方，无人机是人工智能应用的热门领域。这是因为自带视觉系统的无人机需要处理大量数据，如果能在现有的视觉基础上，赋予其学习、判断、调整行动的能力，就能极大的增强其战斗力，减少其故障率。根据观察无人机行业动态的新媒体DroneII.com所述，机器学习、深度学习和运动计划是和无人机最密切相关的三项人工智能技术。新出现的图像处理器GPU极大地提升了无人机的运算能力，虽然要成为能够自主行动的无人机仍然离不开长时间的训练和海量图像和信息的喂养，但深度学习似乎提供了一种相对快速的捷径，这些都为无人机人工智能水平的进一步提升创造了科技条件。目前这一类技术已经应用于检测铁轨和金属腐蚀的无人机上，侦测准确率可以达到70％～80％。[18]

美国空军对无人机的开发应用的主要目标，是实现无人操控条件下的作战能力续航。奥巴马政府助推无人机产业有目共睹，仅在其履新三天后，他就授权了两次针对巴基斯坦的无人机攻击，造成无辜平民20余人死亡，不过是因为这些人“看着像恐怖分子”。奥巴马对情报部门的汇报表示不满，却也没有阻止无人机继续行动，可见美国军方对视觉识别的要求不过如此，决策和最终行动仍需由人来完成。到2013年，美国海军已经能够使用示范用无人机，在航空母舰上进行无人为操作的起降动作，这一动作即便是有经验的飞行员也需要经过长时间的训练方能完成，这展现了人工智能在这一领域的光明前景。美国军方也已经明确地展现出其对无人机能力的定位：无畏敌方信息战、电子战的干扰，实现在完全没有通讯的情况下，使用机上自带计算机进行战斗决策。[19]

就这一意义而言，人工智能在无人机领域的应用，其所包含的安全价值观是双重的：一来，无人机轻便迅捷，出击成本低廉，避免己方人员伤亡；二来，随着无人机中人工智能运用的不断升级，未来将会出现完全不需要人为操作的无人机，可在战场上自行判断决定下一步行动，保持战斗力，甚至实现安全返航。而在这两种含义里，后者才更接近未来时代“安全”的真正内涵。

这样的科技方向与步伐，已经引起了一些人士对相关伦理挑战的审慎思考：如果携带人工智能的无人机杀/误杀了人，这个责任究竟算谁的？一个名为“阻止杀人机器人运动”（Campaign to Stop Killer Robots）的非政府组织就提出，机器人杀人的行为必须在国际社会的共同努力下加以制止。该组织自2012年成立以来，已经获得了越来越多世界政要和美国本地议员的支持。[20]20世纪50年代，科幻作家阿西莫夫就提出了影响深远的机器人三法则：不杀人、服从命令（除非会伤人杀人）、寻求自保（除非会伤人杀人），与当代人工智能的安全考量似有共通之处。

为了应对这种呼声，美国国防部发布了“人工智能原则宣言”。据称该文件费时15个月形成，广泛咨询了业内外专家，最终提出五条原则：负责、平等、可追溯、可靠、可治理。美国国防部称，他们将确保操作人员理解新科技，确保人工智能所使用的数据是透明的，无论是数据还是流程设计都是有据可查的；人工智能在某一领域的使用是明确的、清晰的、安全有效的，并需要经过反复测试来确认；当人工智能出现意料之外的后果时，人是有能力立刻介入并停止其使用的。[21]其中除了平等之外，其实都指向同一个问题：出了问题谁负责？言下之意，杀人的行为本身并不存在道德瑕疵，伦理的争议重点变成了：究竟是什么算法出于什么样的理由做出了那样的判断？这种暧昧表态实际上转移了对于幕后执行者和决策者的道德批判，而是将机器和算法作为新的矛盾焦点。

另外，人工智能在各种新领域的新用途，也为“闭合世界”安全观的进一步发展创造了客观条件，例如人工智能图像识别技术。过去几年间，商用卫星所捕捉到的星球表面的面貌变化，已经逐渐累积到了具有商业潜力的程度，甚至可以每24小时更新一次对整个地球的图像捕捉。处理地理空间类大数据的硅谷公司应运而生，例如DigitalGlobe，Spaceknow和Orbital Insight，它们采用机器学习工具，从海量图片中寻找、提炼有价值的信息。例如，图像识别可以对数百万公顷林地中的树木数量做出极为精准的计算，相比起以往采样估算的做法，人工智能可以把树木数量精确到棵。又如，脸书从DigitalGlobe购买大量卫星图片，并通过其人脸识别技术，锁定没有互联网的潜在用户身在何处。[22]谷歌也已经开发出了名为PlaNet的深度学习工具，意在令谷歌搜索引擎具备根据输入的任何卫星图像都能够定位其位置的能力。[23]此类技术如若运用在军事领域，其情报价值不可小视。假设一家卫星图像数据公司能够对某一国家的工业设施的运行情况进行全天候的追踪观察，那么这些数据结果就能帮助美国绕过他国政府公布的官方经济数据，自行得出对该国经济状况的估计。

在美国，安全这一价值观念所包含的内容已被成功改写。拒绝差错的人机合作和全面布控，无论是在民间还是在军政界，都已经取代对私权的维护，成为安全价值观的真正追求。人工智能作为一种工具增加了这一目标实现的可能性，而新的安全价值观又反过来为技术发展铺平舆论道路。既然人工智能已经与人类的性命与夺相关，关于人工智能是否具有道德能动性的讨论就在所难免。公众往往喜欢用让人进退两难的“电车悖论”作为衡量人工智能是否具有更高德性的标准，仿佛人工智能作为算力更强的“智能”，理应做出更合理的选择。有学者指出，以这种极端案例作为人工智能发展道德指南，并不利于在现实生活中对其进行规范和引导。[24]考虑到人工智能对于美国社会生活润物细无声式的改造，针对人工智能所具有的道德能动性问题的探讨，也该着眼日常生活中看似平凡却意味深远的话题与实例。