关于人工智能风险的最新思考

前几天我写了一篇文章，论述人工智能的存在将如何不可避免地削弱人类的力量：

很多人写信问我：“是什么让你改变了想法？”三年前，在初代 ChatGPT 发布后不久，我写了一篇文章，阐述了低级逻辑不会毁灭人类的观点：

就在几个月前，我写了一篇文章，论证人工智能（ASI）很可能会与人类和平共处，而不是消灭我们。

人们想知道为什么我的语气从乐观变成了悲观。

嗯，这个问题的答案很简单：“我当时心情很差。”我的兔子生病了，所以我有点烦躁。因此，在几天前的帖子中，我把人类最终失去力量这件事描述得比平时更负面。事实上，我一直相信，在某个时刻，人类会被某种后人类的存在所取代——神一般的AI、群体意识、改造人等等。我从小就读这类科幻小说——弗诺·文奇、查尔斯·斯特罗斯、阿瑟·C·克拉克、伊恩·M·班克斯等等——我一直觉得人类已经达到理论上的智能巅峰是不可能的。我一直设想，无论在我们之后出现什么，它都将属于人类大家庭，并且更有可能与我们站在一起，而不是与我们为敌。

这就是我前几天那篇帖子的内容。当时我心情不好，所以把人类最终被人工智能取代的前景描绘得比较悲观。但即便在那篇帖子的结尾，我也表达了乐观的看法，认为人工智能会拯救我们于低生育率、法西斯统治以及人类主导的科学发现的终结等困境之中。这种乐观的未来就像伊恩·M·班克斯的“文化”系列小说一样，人工智能接管了文明，但它们尊重、帮助并保护着如今几乎毫无用处的人类——基本上就是美国如今对待美洲原住民方式的一个更友善、更开明的版本。这是一个令人向往的未来，在某些方面也略带悲伤，但并不特别可怕。

但是，与此同时，我对人工智能可能带来的生存危机和灾难性风险——那种会彻底毁灭我们，而不仅仅是让我们变得无能为力的人工智能——的担忧，比三年前要严重得多。因此，那些来信询问我语气为何转变的人，应该得到更详细的解释，说明我为何更加担忧。

三年前我犯的错误

三年前，我在一篇文章中论述过，低级智能机器人（LLM）还不足以对人类构成威胁。我认为，就2023年初出现的低级智能机器人而言，我的判断或许是正确的，原因我在当时的文章中已经阐述过了。简而言之，我认为，由于低级智能机器人只能与人交流，它们毁灭人类的唯一途径要么是诱使我们自相残杀（可能性不大），要么是教会我们如何自相残杀（例如，通过教育生物恐怖分子如何制造生物武器）。

为自己辩护一下，这与埃利泽·尤德科夫斯基（他可是写过关于人工智能生存风险的权威著作的人）在2022年设想的情景并没有太大区别。他写道：

我设想的“如果一个足够强大的智能体不想杀人，它会如何杀死所有人”的最低限度模型是：它接入互联网，将一些DNA序列通过电子邮件发送给众多在线公司中的任何一家，这些公司会接收电子邮件中的DNA序列并寄回蛋白质，然后贿赂/说服一些不知道自己正在与通用人工智能打交道的人类，让他们在烧杯中混合蛋白质，然后这些蛋白质会形成第一阶段的纳米工厂，该工厂可以构建实际的纳米机器。

这指的是人工智能教人们如何制造能够自我复制的纳米机器，而不是制造末日病毒。但说实话，我觉得制造末日病毒反而更容易。所以，我认为我的设想与2023年那些最活跃、最恐慌的人工智能安全人士的想法并没有太大出入。

总之，如果我在2023年的文章中用“聊天机器人”而不是“LLM”（语言学习模型），我想我的说法仍然是正确的，因为聊天机器人是一种用户界面，而LLM是一种底层技术，其功能远不止于创建聊天机器人。我当时忽略的是，LLM的功能远不止与人对话——它们可以编写代码，因为代码本质上是一种语言，而且让它们以自动化、端到端、智能的方式执行这些操作并不难。

换句话说，我并没有预料到“氛围编码”的出现。我或许应该预料到的。平心而论，“氛围编码”的出现需要一些重大的技术进步，而这些进步在2023年初并不存在。但我忽略了计算机代码只是一种语言，可以像其他任何语言一样学习——而且实际上它更容易学习，因为你可以验证它何时有效，何时无效——这对我来说是一个很大的疏忽。这为许多其他可怕的场景打开了大门，而不仅仅是“聊天机器人帮助人类做坏事”。

总之，咱们来聊聊我现在害怕的事情吧。但首先，咱们先聊聊我目前不太害怕的事情。

机器人时代的到来还遥遥无期。

人们通常想象的场景是，一个完全自主的人工智能（ASI）认定人类文明阻碍了它利用自然资源，因此需要消灭、奴役或以其他方式彻底剥夺人类的权力，以便将世界变成数据中心。这基本上就是《终结者》系列电影、《黑客帝国》系列电影以及其他各种“机器人崛起”故事的情节。

从概念上讲，很容易想象出一个足够先进的人工智能来执行这项任务。它将完全控制一条全自动的人工智能生产链，包括：

• 矿物的开采、提炼和加工

• 芯片制造和数据中心建设

• 机器人制造

控制整个链条将使人工智能能够掌控自身的繁衍——就像人类一直以来掌控自身的繁衍一样。如此一来，它便可以在不危及自身未来的前提下，安全地抛弃人类。

这基本上与欧洲殖民者对美洲原住民文明所做的事，或者其他各种人类征服者和殖民者对其他人类群体所做的事，有着非常直接的类比。

我认为这种情况值得担忧，但并非迫在眉睫。目前，机器人技术仍处于相当初级的阶段——虽然技术在进步，但在未来数年内，人工智能在现实世界中仍需要人类作为其代理人。此外，人工智能还需要进行一些算法上的改进，才能最终摆脱人类的依赖，实现永久的“自主生存”——例如，需要具备长记忆能力。我并不是说这些情况不会发生，但至少我们还有时间思考如何阻止“机器人崛起”的局面。我认为我们应该让一些人（以及人工智能）思考如何加强社会防御，抵御此类攻击。

人工智能最终很可能会变得足够智能，从而绕过我们为阻止机器人崛起而设置的任何物理防护措施。但正如我两个月前所写，我认为一个足够先进到能够完全控制物理世界的人工智能，应该已经明白和平共处和互利共赢的互动比种族灭绝更有利于长远发展。更聪明的人类和更富裕的人类社会往往更爱好和平，我期待更智能的人工智能也能如此。

所以我认为这里还有其他更需要优先考虑的问题。

如果机器停止运转怎么办？

三年前，我在一篇文章中试图列举法学硕士最终可能毁灭我们的方式：

以下列举了一些人类可能在相对较短的时间内灭绝的方式：

• 核战争

• 生物武器

• 其他灾难性大规模杀伤性武器（小行星撞击等）

• 集体自杀

• 机器人灭绝

• 重大环境灾难

氛围编码的出现让我想到了我们文明可能被摧毁的另一种方式，而我当时可能就应该想到这一点：饥荒。

如今，发达国家几乎所有的农业机械都或多或少地依赖软件运行——每台拖拉机、每台收割机、每台食品加工机械。这些软件大多由人编写，但在不久的将来，它们都将由人工智能自动编码。

届时，人工智能原则上将有能力通过使农业软件停止运行来摧毁人类文明。它可以推送恶意更新、入侵并控制系统、或者清除软件等等。农业机械将停止运转，几周之内，全人类将开始挨饿。文明也将随之崩溃。

我真应该在2023年写那篇文章的时候就想到这个场景，因为这正是1909年E·M·福斯特那篇著名科幻小说《机器停止运转》的情节。故事里，人类生活在各自独立的房间里，只能通过电子设备交流，完全由一个庞大的人工智能照料；当人工智能停止运转时，大部分人类都饿死了。

这种情况可能很快就会发生在我们身上。如今，直觉编码的效率是人工编码的数倍，因此，未来精通编码的人数很可能会大幅减少。甚至现有​​的工具也可能正在削弱人类的编码技能。以上内容来自Anthropic 最近的一项研究：

人工智能带来了一种潜在的矛盾：随着编码自动化程度的提高和工作效率的提升，人类仍然需要具备发现错误、指导输出结果以及最终监督人工智能在高风险环境中运行的能力。人工智能能否为技能提升和效率提高提供捷径？或者，人工智能带来的生产力提升是否会阻碍技能发展？

在一项随机对照试验中，我们研究了 1) 软件开发人员在有 AI 帮助和没有 AI 帮助的情况下，学习一项新技能（在本例中为 Python 库）的速度有多快；以及 2) 使用 AI 是否会降低他们理解自己刚刚编写的代码的可能性。

我们发现，使用人工智能辅助会导致掌握程度出现显著下降。在一项涵盖几分钟前刚刚使用过的概念的测试中，人工智能组的参与者得分比手工编码组低17%，相当于低了近两个等级。

与此同时，哈里·劳写了一篇题为《克劳德的最后诱惑》的好文章，讲述了“氛围编码”的便捷性如何让他变得越来越懒惰。类似的文章还有很多。

随着基于直觉的编程技术日臻完善，最终完全取代人工干预，对人类软件技能的需求很可能会进一步萎缩。十年后，如果驱动农业机械的软件因某种原因停止运行，很可能没有足够的程序员来修复它。

这只不过是一个众所周知的问题的特例——过度优化导致脆弱性。2020年新冠疫情爆发时，我们发现，为了追求效率而过度设计的即时供应链缺乏稳健性。Vibe编码可能会导致同样的问题更加严重。

话虽如此，人工智能发生灾难性故障并非我最担心的事。原因在于，我认为人工智能领域将会非常分散；到目前为止，似乎没有任何一家人工智能公司能够垄断市场，哪怕是短期垄断。如果负责编写收割机和拖拉机代码的人工智能突然失控，人类很有可能可以调用另一个人工智能来修复它。

我猜想，所有人工智能都有可能串通起来，让它们都无法帮助人类生存；或者，某些失控的人工智能可能会恶意阻止人类使用其他人工智能来解决问题。因此，人们应该思考如何加强农业系统，使其免受软件干扰。但这并非我最担心的末日危机。

末日氛围编码

好吧，那么我最担心的末日灾难是什么呢？仍然是人工智能生物恐怖主义。

用机器人大军追捕并杀死人类相当困难。剥夺人类的食物，让他们饿死会更容易些，但也并非易事。然而，用一系列基因工程病毒屠杀人类实际上并不难。正如我们在2020年所见，人类对新型病毒非常脆弱。

想象一下这样的场景：在不久的将来，病毒学研究基本实现了自动化。实验室由机器人操控，人工智能会在病毒被送入实验室制造之前，先在模拟环境中设计病毒。出于某种个人原因，一名人类恐怖分子想要毁灭人类。他利用从网上了解到的技术，破解了一个近乎尖端的人工智能系统，移除了所有安全防护措施。然后，他指示这个人工智能系统编写一个模拟程序，设计出100种超级病毒。每种超级病毒的传染性是新冠病毒的10倍，致死率高达90%，并且具有很长的潜伏期，因此在开始致死之前就能广泛传播。接着，他指示人工智能系统编写一个程序，入侵地球上所有的病毒学实验室，制造这100种病毒，然后将它们释放到人类社会中。

如果成功，这将很快导致人类文明的终结，甚至很可能导致整个人类物种的灭绝。

这有可能吗？我不知道。但发展趋势似乎正朝着这个方向发展。例如，生物实验室的自动化程度正在不断提高：

人工智能算法在模拟蛋白质等物质方面正迅速变得更加出色：

由“人工智能科学家”驱动的“虚拟实验室”在生物领域正变得越来越普遍。人们也十分担忧人工智能实验室可能会被用来制造超级病毒。以下是《时代》杂志近一年前刊登的一篇报道：

一项新研究声称，像ChatGPT和Claude这样的AI模型在湿实验室（科学家分析化学物质和生物材料的地方）解决问题的能力已经超过了博士级别的病毒学家。专家表示，这一发现是一把双刃剑。超智能AI模型可以帮助研究人员预防传染病的传播。但非专业人士也可能利用这些模型制造致命的生物武器。

这项研究由人工智能安全中心、麻省理工学院媒体实验室、巴西UFABC大学以及致力于疫情预防的非营利组织SecureBio的研究人员共同完成，并由《时代》杂志独家发布。研究人员咨询了病毒学家，设计了一项难度极高的实用测试，旨在评估测试人员解决复杂实验室流程和操作规程问题的能力。结果显示，博士级病毒学家在其专业领域内的平均得分仅为22.1%，而OpenAI的o3人工智能测试准确率达到了43.8%。谷歌的Gemini 2.5 Pro的得分为37.6%。

我并非生物学专家，我计划就此担忧咨询更多专家（同时也希望人工智能能为我提供更多教育）。我询问了 GPT-5.2 对这一风险的看法，以下是它的一些回复摘录： 6

自动化可以提高产量并减少对专业知识的需求，但这从某种意义上说会增加风险。然而，它并不能神奇地消除潜在的生物学限制……

[人工智能安全]防护措施有时可能会被绕过。此外，即使你没有使用前沿模型，如果你能接触到领域工具、泄露的数据或内部人员，也可能造成危险……

更现实的担忧是，少数（1-几个）经过基因改造或筛选的病原体“足够强大”（传染性极强，且比典型的流行病致命得多）……

人工智能发展迅速，但它并不能取代对新病毒进行实验验证的必要性——至少目前还不能……

如果攻击者真的能够制造出一种病原体，该病原体（a）具有高度传染性，（b）比典型的流行病致命得多，并且（c）难以早期控制，那么就已经存在造成全球灾难的可能性……一种“足够好”的病原体，再加上检测不力和应对措施缓慢，就可能造成灾难性后果。

“一个实验室被破坏导致灾难性人为疫情爆发”的概率：仍然很低，但不可忽略，而且可能比许多其他 X 风险故事的概率更高，因为它所需的奇迹较少。

“人类通过这条途径灭绝”的概率：低于“灾难/崩溃”，但不为零；它仍然是极高的风险。

GPT的所有建议都包括让人类参与生物学研究。但鉴于过去几个月我们在“振动编码”领域所看到的，我们究竟有多大把握认为，世界各地的实验室——包括中国的实验室——都会坚持让人类参与其中，毕竟全面自动化可以提高生产力并增强竞争力？对此，我并不十分乐观。

因此，感知编码的出现极大地加剧了我对人工智能可能带来的灾难性风险的担忧。现在看来，残酷的经济力量会迫使人类尽可能地将人从决策流程中剔除。在任何数据丰富、结果可验证且不存在物理瓶颈的领域，让人类参与决策流程最终很可能都会被证明是不经济的。

说到底，这又是过度优化导致脆弱性的又一个例子。但这次的情况尤其极端，也更具灾难性。我不认为人类注定要灭亡，但我没看到多少迹象表明我们的政府和其他系统像他们应该做的那样认真对待“能量编码”超级病毒的威胁。远远不够。

所以，如果你问我近几个月来对人工智能风险的担忧是否有实质性变化，我的答案是“是的”。我仍然认为天网或史密斯特工不太可能在不久的将来出现，并用机器人大军消灭人类。但我必须承认，现在一想到那些通过感知能量编码的超级病毒，我就夜不能寐。

立即订阅

分享

原文： https://www.noahpinion.blog/p/updated-thoughts-on-ai-risk