俄罗斯已经在艰难地入侵乌克兰仅一个月后，其核武刀就在颤抖，并威胁要使地区冲突急剧升级为全面的世界大战。但俄罗斯人对核边缘政策并不陌生。在下面的本·布坎南和安德鲁·英布里最新著作的摘录中，我们可以看到人类在 1983 年与原子大屠杀的距离有多近，以及为什么越来越依赖自动化——在铁幕的两边——只会增加发生核灾难的可能性。意外发射。新火 着眼于自动化机器学习系统在国防中迅速扩大的作用，以及越来越普遍的人工智能技术（通过“数据、算法和计算能力”的主题镜头进行检验）如何改变各国在国内外发动战争的方式。
摘自安德鲁·英布里和本·布坎南的《新火：人工智能时代的战争、和平与民主》 。麻省理工学院出版社出版。版权所有 © 2021 Andrew Imbrie 和 Ben Buchanan。版权所有。
死手
随着美国和苏联之间的紧张关系在 1983 年秋天达到顶点，核战争开始了。至少，在莫斯科斯坦尼斯拉夫·彼得罗夫中校值班的掩体中，警报是这么说的。
掩体内，警报声响起，屏幕上闪烁着“发射”字样。一枚导弹飞来。彼得罗夫不确定这是否是一个错误，没有立即回应。然后系统又报告了两枚导弹，然后又报告了两枚。屏幕现在显示“导弹袭击”。计算机以最高的信心报告核攻击正在进行中。
技术已经发挥了作用，现在一切都在彼得罗夫的手中。报告这样的袭击意味着核战争的开始，因为苏联肯定会发射自己的导弹进行报复。不报告这样的袭击就是阻碍苏联的反应，放弃了国家领导人在全国范围内爆发原子蘑菇云之前必须做出反应的宝贵几分钟； “每一秒的拖延都浪费了宝贵的时间，”彼得罗夫后来说。
“有 15 秒钟，我们处于震惊状态，”他回忆道。他感觉自己就像坐在热腾腾的煎锅上。在迅速从其他站点收集到尽可能多的信息后，他估计有 50% 的可能性正在进行攻击。苏联的军事协议规定，他的决定基于他面前的计算机读数，这些读数表明攻击是不可否认的。深思熟虑后，彼得罗夫打电话给值班人员爆料：预警系统出现故障。他说，没有袭击。这是一卷原子骰子。
警报响起 23 分钟后——导弹袭击莫斯科所需的时间——他知道他是对的，而计算机是错的。 “这真是一种解脱，”他后来说。事后报告显示，经过云层的太阳眩光使卫星预警系统感到困惑。由于彼得罗夫决定无视机器和不遵守协议，人类又活了一天。
彼得罗夫的行动需要非凡的判断力和勇气，他是那天晚上做出决定的人，这完全是靠运气。彼得罗夫相信，他的大多数同事都会发动战争。在那个工作地点的军官中，他是唯一一个接受过文职教育而不是军人教育并准备表现出更多独立性的人。 “我的同事都是职业军人；他们被教导下达和服从命令，”他说。循环中的人——这个特殊的人——改变了一切。
彼得罗夫的故事揭示了三个主题：对核指挥和控制速度的感知需求，以便为决策者争取时间；自动化作为实现这一速度的手段的魅力；以及那些自动化系统失败的危险倾向。几十年来，这三个主题一直是管理对核攻击的恐惧的核心，并且随着核与非核指挥、控制和通信系统相互纠缠而呈现出新的风险。
也许没有什么比在彼得罗夫行动后的两年内，苏联部署了一个新系统来增加机器在核边缘政策中的作用这一事实更能表明人们对速度的需求和自动化的吸引力。它被恰当地称为周界，但大多数人只是称它为死手，这是该系统对人类的作用减弱的标志。正如一位前苏联上校和战略火箭部队的老兵所说，“周界系统非常非常好。高级政治家和军方对此负有独特的责任。”苏联人希望该系统能够部分缓解他们对核攻击的恐惧，确保即使突然袭击成功地斩首了该国的领导层，“死者之手”也能确保它不会逍遥法外。
这个想法很简单，如果令人痛苦的话：在危机中，死者之手会监测环境中发生核攻击的迹象，例如地震隆隆声和辐射爆发。使用一系列 if-then 命令进行编程，系统将遍历指标列表，寻找世界末日的证据。如果迹象表明是，该系统将测试与苏联总参谋部的通信渠道。如果这些链接处于活动状态，则系统将保持休眠状态。如果系统没有收到总参谋部的任何消息，它将绕过命令攻击的普通程序。发射的决定权将掌握在一个低级的地堡军官手中，这个人比彼得罗夫这样的高级指挥官低许多级，但他仍会发现自己有责任决定是否是世界末日。
美国也被自动化系统所吸引。自 1950 年代以来，其政府一直在维护一个计算机网络，以融合来自雷达站点的传入数据流。这个被称为半自动地面环境或 SAGE 的庞大网络在发动报复性打击时不像死手那样自动化，但它的创建植根于类似的恐惧。国防规划者设计 SAGE 以收集有关潜在苏联空袭的雷达信息，并将该信息转发给北美航空航天防御司令部，该司令部将拦截入侵的飞机。 SAGE 的成本是曼哈顿计划的两倍多，或 2022 年的近 1000 亿美元。二十个 SAGE 设施中的每一个都拥有两台 250 吨重的计算机，每台计算机的面积为 7,500 平方英尺，是那个时代最先进的机器之一。
如果核战争就像一场小鸡游戏——两个国家互相胆敢转身，就像两个司机在迎头相撞——自动化提供了一种危险但有效的战略前景。正如核理论家赫尔曼·卡恩所描述的：
“技术娴熟”的玩家可能喝得酩酊大醉，把威士忌酒瓶扔到窗外，让每个人都清楚他有多醉。他戴着非常黑的眼镜，因此很明显他看不到太多东西，如果有的话。车一到高速，他就拿起方向盘，把它扔到窗外。如果他的对手在看，他就赢了。如果他的对手不看，他就有问题；同样，如果两个玩家都尝试这个策略。
自动化核报复就是在没有刹车或方向盘的情况下玩鸡。它告诉世界，任何核攻击都不会逍遥法外，但它大大增加了发生灾难性事故的风险。
自动化帮助实现了危险但看似可预测的相互毁灭的世界。美国和苏联都未能对对方发动解除武装的先发制人；如果不警告另一方并至少提供一些反应时间，一方就不可能发射核武器。即使有可能发动突然袭击，通过向每个能够发动反击的敌方发射井、潜艇和轰炸机发射多枚弹头来积累足够大的核武器库以完全解除对手的武装也是不切实际的。最难的是知道在哪里开火。海洋中的潜艇、陆地上的移动地面发射系统以及天空中的全天候战斗空中巡逻使得成功执行这样的第一次打击的前景变得非常不现实。自动化指挥和控制有助于确保这些单位收到反击命令。报复是不可避免的，这使得脆弱的稳定成为可能。
现代技术有可能颠覆相互保证的毁灭。例如，当一种称为高超音速滑翔飞行器的先进导弹接近太空时，它会与助推火箭分离，并以五倍音速向目标加速。与传统的弹道导弹不同，该飞行器可以从根本上改变其远程飞行剖面，从而避开导弹防御系统。此外，它的低空方法使地面传感器失效，进一步压缩了决策时间。一些军事规划人员希望使用机器学习来进一步提高这些导弹的导航和生存能力，从而使任何未来的防御措施都更加不稳定。
其他类型的人工智能可能会通过使第一次打击更合理地阻止报复来颠覆核稳定性。军事规划者担心机器学习和相关数据收集技术可以更容易地找到他们隐藏的核力量。例如，对高空图像进行更好的机器学习驱动分析可以发现移动导弹单元；据报道，美国开发了一个高度机密的程序，使用人工智能跟踪朝鲜的发射器。同样，水下自主无人机可能会探测到敌方的核潜艇，使它们能够在它们对攻击进行报复之前被压制。更先进的网络行动可能会篡改核指挥和控制系统或愚弄早期预警机制，从而导致敌人网络混乱并进一步抑制反应。这种对人工智能能做什么的恐惧使核战略变得更加困难和冒险。
对于一些人来说，就像在 SAGE 和 Dead Hand 中部署专家系统的冷战战略家一样，这些新恐惧的答案是更多的自动化。俄罗斯战略火箭部队的指挥官表示，最初的死手已经改进并且仍在运作，但他没有提供技术细节。在美国，一些提案要求开发一种新的死手式系统，以确保任何第一次打击都会遭到核报复，目的是阻止这种打击。这一前景对一些战士具有战略吸引力，但引起了 Cassandras 的严重担忧，他警告机器学习决策目前的脆弱性，以及不希望 AI 与核边缘政策混为一谈的福音传道者。
虽然福音传道者的担忧更为抽象，但卡桑德拉家族的担忧却有具体的理由。他们的怀疑源于彼得罗夫的故事，在这些故事中，系统充满了太多的信任，只有选择不服从命令的人才能挽救局面。第 4 章中描述的技术故障也引发了他们的疑虑。将易出错的机器学习部署到像核战略这样的复杂环境中的操作风险是巨大的，而且机器学习在其他环境中的成功并不总是适用。仅仅因为神经网络擅长下围棋或生成看似真实的视频，甚至确定蛋白质如何折叠，并不意味着它们比彼得罗夫冷战时期的计算机更适合可靠地检测核打击。在核战略领域，错误的信任机器对文明来说可能是致命的；这是新火力如何迅速失控燃烧的一个明显例子。
特别值得关注的是在误报和误报之间取得平衡的挑战——在攻击正在进行时未能发出警报和在没有发生攻击时错误地发出警报。这两种失败是相互矛盾的。一些分析家认为，在相对安全的地方运作的美国军事规划者更担心后者。相比之下，他们认为，鉴于中国拥有的核武库缺乏美国武器的速度、数量和精度，中国的规划者更关心其预警系统的局限性。因此，中国政府领导人主要担心检测速度太慢而无法检测到正在进行的攻击。如果这些领导人决定部署人工智能来避免误报，他们可能会增加误报的风险，从而带来毁灭性的核后果。
人工智能在核战略中的新角色带来的战略风险更加令人担忧。人工智能的多面性模糊了常规威慑和核威慑之间的界限，扭曲了维持稳定的既定共识。例如，战士们希望能够管理常规战争的机器学习作战网络也可能管理核指挥和控制。在这种情况下，一个国家可能会攻击另一个国家的信息系统，以期降低其常规能力并无意中削弱其核威慑力，从而导致意外的不稳定和恐惧，并为受害者使用核武器进行报复创造动机。传统和核指挥和控制系统以及为其提供数据的传感器网络的这种纠缠增加了升级的风险。人工智能系统可能同样错误地将对指挥和控制基础设施的攻击解释为核打击的前奏。事实上，已经有证据表明，自治系统对升级动态的感知与人类操作员不同。
另一个在本质上几乎是哲学的担忧是，核战争可能变得比现在更加抽象，因此更加可口。罗杰·费舍尔（Roger Fisher）的一个想法最能说明这种担忧，他是一名二战飞行员，后来成为军备控制倡导者和谈判专家。在冷战期间，费舍尔提议将核代码存储在一个胶囊中，该胶囊通过外科手术嵌入一名军官的心脏附近，该军官总是在总统身边。军官还会携带一把大屠刀。要发动核战争，总统将不得不用刀亲自杀死军官并取回太空舱——这是一种相对较小但具有象征意义的暴力行为，它将使数以千万计的死亡变得更加发自内心和真实。
费舍尔的五角大楼朋友反对他的提议，其中一人说：“天哪，这太可怕了。不得不杀人会扭曲总统的判断。他可能永远不会按下按钮。”当然，这种反感正是费舍尔想要的：在最紧迫和最恐惧的时刻，人类将有更多机会体验——在情感上，甚至是非理性的层面——即将发生的事情，并有更多机会去体验即将发生的事情。从边缘转回来。
正如彼得罗夫的独立促使他选择不同的路线一样，费舍尔提议象征性地杀害无辜者是为了迫使他进行最后的重新考虑。自动化核指挥和控制会起到相反的作用，将一切都减少到容易出错、冰冷的机器计算。如果带有核代码的太空舱被嵌入到军官的心脏附近，如果神经网络认为时机合适，并且如果它能够做到，它就会——毫不犹豫、不理解地——陷入困境。