他写了一篇非常有趣的文章，探讨了人工智能安全工作的重要性，并论证了人工智能安全工作并不会像人们常说的那样导致美国落后于中国。文章文笔流畅，一如既往地精彩，论证也很充分。简而言之（我做了意译），他的论点是：
-
美国在计算能力方面比中国拥有约10倍的优势。
-
安全规章最多只会增加1-2%的培训成本。
-
中国正在推行以应用为中心的“快速跟进”战略。
-
出口管制的影响要大得多（可能将优势从 30 倍降至 1.7 倍）
-
人工智能安全批评者的立场前后矛盾——他们反对安全法规，却支持向中国出口芯片。
-
安全影响的迹象尚不确定——实际上可能有助于提升美国的竞争力。
我挺喜欢这个论点的，因为我基本上同意其中的所有观点，但最终却不同意它的结论。所以我决定逐条分析我的异议之处，以及我反对这个结论的总体论据，看看最终结果如何。
首先是测量问题
斯科特认为，我们目前在美国讨论的安全法规只会增加1-2%的额外成本。这是基于METR和阿波罗计划的研究成果，内部测试成本约为2500万美元，而训练运行的成本则高达250亿美元。所有主要实验室也已经在中间评估、模型行为监测和测试以及基础研究方面投入巨资，以使其更好地与我们协同工作——所有这些都是经典的安全考量。
只有当基于安全规章的工作、聘请评估人员并让他们开展工作完全分离时，上述观点才成立。而这在任何组织中都不存在。一旦引入“协调摩擦”，就会降低组织内部的迭代速度。速度在这里至关重要，尤其如果你相信递归式自我改进，即便你不相信，这一点也同样重要。
事实上，这种情况几乎存在于所有已知的组织中。Facebook 的法律部门约有 2000 名员工，比疫情前翻了一番，而其员工总数为 8 万。这 2000 名员工的成本相对于 Facebook 的实际运营支出而言可能并不算特别高。但他们给业务带来的压力远远超过了其对产出造成的 2.5% 的成本损失。这种观点也有积极的一面，他们也能防止许多糟糕的事情发生，因此这种放缓是值得的。Facebook 自己可能也这么认为，所以他们才会存在，但这远非简单地比较看似直接的成本那么简单。
对斯科特有利的论点或许来自制药公司。
更糟糕的是，想想实验室想要招聘的那些 22 岁的年轻天才，你会想知道他们是否对哪怕是微不足道的合规性也感兴趣。
中国是快速跟进者
这种论点还认为，中国注重执行和快速跟进战略，因为他们不相信通用人工智能（AGI）。我认为这种说法过于牵强，而且感觉很方便。众所周知，中国在多个领域都擅长战略沟通，他们所说的和他们真正关注的并不一定一致。
正如斯科特指出的那样，深潜科技的梁文峰曾明确表示他相信超级智能，这本身就与他们重视应用层的说法相矛盾。如果中国真的像现在看来那样相信部署，那么由真正的信徒领导顶级实验室，这无疑更加驳斥了“他们只是快速追随者”的说法。
他们在电动汽车、太阳能电池板、5G、金融科技及相关技术领域处于领先地位，可能还包括量子通信、国防相关技术领域（占比高得惊人）、类人机器人等等，不胜枚举。这并非简单的快速追随，即便真是如此，也与我们在此讨论的创新类型并无本质区别。
再说一遍，这只有在你认为递归式自我改进理论成立的情况下才真正重要，否则即使中国认为这很重要，他们也不会很快改变立场。中共在根据感知到的战略机遇重新分配资本方面有着非凡的记录（而且往往做得过火）。这意味着“他们不相信通用人工智能”是一个不稳定的参数。即使真正的突破来自美国的某个实验室，或者哈佛大学某个小型实验室，随着研究成果的累积，它很可能不会被保密多年。
人工智能安全批评者有时是出于恶意。
确实如此！很多论点都带有动机性，比如“为了打败中国，我们必须把英伟达的顶级芯片卖给他们，这样他们就不会发展自己的芯片产业，从而扼杀我们的另一个核心产业”。梁文峰也曾表示，他面临的最大障碍是难以获得更多芯片。
话虽如此，我的核心问题在于，我不确定目前提出的法规中哪些方面真正有用。他们现在要求结合红队演练（目的是什么）、区分幻觉与阿谀奉承（如何衡量）、保护举报人、偏见（如何衡量？）、核生化防护（衡量差异还是纯粹的能力提升）、芯片使用情况的可观测性（硬件锁定？）等等。这些都基于一个非常特定的威胁面。
科罗拉多州人工智能法案侧重于算法公平性和非歧视性。华盛顿州HB 1205法案关注数字肖像和深度伪造技术。加利福尼亚州AB2013法案旨在公开训练数据以提高透明度。犹他州SB 332法案规定，人工智能在使用聊天机器人时必须表明其人工智能身份。正如我们所见，这些法案各不相同，在实施和合规方面也需要不同的应对措施。对此论述条理清晰、逻辑严密。
这些想法单独来看大多合情合理，但也有很多非常模糊不清。就监管而言，我倾向于认为，除非监管措施非常具体且投资回报率能够直接体现，否则最好不要让自己陷入无形的陷阱。正如斯科特所承认的，监管的棘轮效应是真实存在的。2008年后的金融监管、9/11事件后的航空业监管、FDA……我们总是有一些常识性的保障措施，这些措施会构建起一个不断扩张的体系。
符号不确定性
拥有更强大的人工智能开发环境无疑会推动美国在与中国的竞争中占据优势。就像有安全带的汽车比没有安全带的汽车更安全一样，或许正是由于缺乏工业间谍活动，美国实验室取得的成果才不会对中国的创新产生积极影响。
不过需要指出的是，实验室已经在网络安全方面投入了相当多的资金。模型权重价值数十亿美元，很快将达到数百亿美元，因此都受到了相应的保护。是否应该加强网络安全？当然应该。
然而，需要特别强调的是，这仅适用于中国创新是由工业间谍或窃取技术成果驱动的情况。目前来看，情况显然并非如此。事实是，通过优化产品，使其更易于使用，尤其是在训练后进行改进的情况下，西方模型在这方面做得更好。Deepseek、Qwen 或 Kimi 的产品就远不及它们，甚至比它们的模型本身逊色不少。
所以……现在怎么办？
斯科特的论点有道理，但仅限于未来可能的发展方向中的某个特定区域。例如，我们可以大致描绘出事情最终可能走向的全貌。我能立刻想到的至少有五个维度：
-
起飞速度
-
对齐难度
-
能力分布（寡头垄断、垄断等）
-
法规对航速的影响
-
中国的追赶时间表
如果你愿意，可以把这个范围扩大十倍，情况很快就会变得极其复杂。但即便如此，如果我们把每个世界都粗略地分成四个等级（简单、中等、困难、不可能），也能得到 1024 个世界。我让 Claude 模拟这些世界，并选择它认为合理的先验分布，结果如下：
我并不是说这种说法完全准确，毕竟可能还有十几个其他维度，或者概率分布会截然不同。一个变量的变化可能会影响另一个变量。但至少它让我们直观地理解了为什么这些论证并不像人们想象的那样简单明了，而且“人工智能安全不会损害美国与中国的竞争”也并非板上钉钉的事，即便这还是假设“竞争”这个比喻恰当！
例如，下面是我在克劳德的帮助下迷路后尝试画出来的一个故事。
-
递归式自我提升真的会发生吗？
-
Y. 第一个到达ASI的人赢得光锥
-
与中国的竞争是否势均力敌？
-
Y. 每个月都很重要
-
安全法规真的能有效减缓我们的速度吗？
-
Y. 灾难！
-
N. 少量开销无关紧要！
-
-
-
美国拥有持久优势（计算能力是北美的10倍）
-
模型质量比部署更重要吗？
-
Y：我们有时间做安全工作。慢6个月或许也没问题！
-
N. 安全规章可能无关紧要
-
-
-
-
-
N. 能力逐步提升
-
哪一层决定胜负？
-
模型层
-
美国的优势能持续多久？
-
10倍的计算优势就能获胜，所以监管基本上是“免费的”。
-
如果中国能够迎头赶上，效率提升至关重要，因此安全法规或许会造成一些阻碍，但却是实实在在的。
-
-
-
应用层
-
安全规章是否会影响部署速度？
-
是的。到处都是合规泥潭和律师的阻挠。
-
N. 安全法规只适用于该型号。它速度快，不引人注目。没问题。
-
-
-
-
-
在这张树状图中，斯科特的论点只有少数几个站得住脚。递归自我改进固然重要，值得关注，但又不足以让速度成为考量因素。中国人对ASI的怀疑态度依然稳固，但我们应该阻止独裁者获得ASI。我们可以衡量直接成本，但那些难以察觉的成本又该如何衡量呢？尽管科罗拉多州的案例表明模型层法规已经影响了应用层，但模型层法规不会产生影响。
如果递归式自我改进不成立，那么只有在安全法规不会对应用层的部署速度产生显著影响，且模型层的计算优势依然存在的情况下，制定更多法规才有意义。如果递归式自我改进确实会发生，那么斯科特的论点就更有说服力，尤其是在模型质量持续提升的情况下，安全法规不会大幅拖慢我们的速度。
这意味着，相关法规当然必须合理，不能成为负担，中国的“追赶”时间表必须更长，能力分配必须更加寡头垄断，协调必须有些困难，起飞速度必须相当快。
如果我们放宽假设，就像上图所示，最终可能会发现人工智能安全法规弊大于利。举个例子（这只是我个人的看法），很多人工智能安全工作其实就是传统的工程工作。比如，你需要确保模型能够执行你要求的操作，解决幻觉和阿谀奉承的问题。你还需要确保当你问它一些略带挑衅性的问题时，它不会失控。而且，你肯定希望实验室能够“遵守规则”，而不是强迫员工在发现问题时保持沉默。
斯科特在他的文章中将监管成本视为可衡量且数额很小的开支。但合规的历史表明，这些成本会通过组织文化、人才选拔和法律不确定性不断累积，最终超过直接成本。如果他对监管成本的衡量标准有误（Facebook 的法务部门也暗示他的确有误），那么他的整个计算就完全颠倒了。同样的情况也适用于中国在现实与现实之间的立场差异，以及他们对自我循环改进的信念程度。
回到眼前的问题：人工智能安全问题是否会导致美国输掉与中国的战争？这取决于上面提到的那棵树。虽然不能断定它一定会（或不会），但监管的类型和对未来的设想至关重要。正如常言所说，魔鬼藏在那些真正令人头疼的细节里。
在我高度重视的领域，人工智能安全工作确实能起到重要作用，但前提是必须以合理的方式进行。我并不过分看重递归式的自我改进，至少在缺乏人为干预和调整时间的情况下是如此。我还认为，大量的安全措施是构建广泛可用和使用的软件的内在原则，因此根本无需考虑。它们或许不被称为人工智能安全，而可能被简单地称为“产品”，但产品本身就必须考虑这些方面。
就我个人而言，我更倾向于用经济学家的方式来问“人工智能安全是否会导致美国输给中国”这个问题，也就是：赢得或输掉这场竞赛的收益函数是什么？由于监管（主要）是棘轮式的，我们应该谨慎选择监管措施，并且只有在我们认为有必要时才应该实施（否则会带来巨大的负面效用，如果有必要，则会带来正面效用）。
-
在“普通人工智能”的世界里，我们能得到很棒的GPT模型，但造不出神。失败意味着我们沦为欧洲。虽然有些人可能觉得这如同死亡，但其实没那么糟糕。
-
在“人工智能即上帝”的世界里，失败是永远的。
即使在发达国家，人工智能安全法规也可能使美国成为人工智能领域的“布鲁塞尔”，这是一个巨大的权衡。目前大多数法规似乎尚未造成这种影响。但是，这并非难以想象。
监管有助于提高透明度（例如训练数据，但对于合成数据来说这本身就很难），保护举报人（尽管我不确定他们会举报什么），以及在部署模型前进行红队测试。我认为芯片禁运可能是有益的，即使它有利于华为。
与其纠结于人工智能安全法规的利弊，不如具体说明需要哪些法规以及原因。上面的决策树很有帮助，但你需要明确指出你要保护的是哪些世界。
感谢阅读《奇异循环正典》！免费订阅即可接收最新文章并支持我的创作。
原文： https://www.strangeloopcanon.com/p/contra-scott-on-ai-safety-and-the