Skip to content

搞英语 → 看世界

翻译英文优质信息和名人推特

Menu
  • 首页
  • 作者列表
  • 独立博客
  • 专业媒体
  • 名人推特
  • 邮件列表
  • 关于本站
Menu

🧠 我们都是尖刺。

Posted on 2025-12-23

照片由 Jan Canty 拍摄,来自 Unsplash

“我订阅是因为你们关注的是真正重要的问题。”——付费会员 Lars

立即订阅


他认为我们对人工智能的一个常见比喻理解有误。我们谈论训练人工智能时,就好像在训练动物一样,培养它们的本能,最终塑造它们的行为。不,他在年终总结中说道:

我们并非在“进化/培育动物”,而是在“召唤幽灵”。LLM 架构的方方面面都截然不同(神经网络架构、训练数据、训练算法,尤其是优化压力),因此,我们在智能领域得到的实体与以往截然不同也就不足为奇了,用动物的视角来思考这些实体是不恰当的。

他接着说,“鬼魂”

他们既是博学多才的天才,又是认知能力欠佳的小学生,随时可能被越狱程序欺骗,导致数据泄露。

我们对那种崎岖不平的地形并不陌生。 两年前,我和同事们进行了一项实地实验,实验对象包括管理顾问和GPT-4。在模型的能力范围内,人们的工作效率更高(提升25%),产出也更好(提升40%)。但当任务超出模型的能力范围时,参与者出错的概率却大大增加。同样的工具,却产生了截然相反的效果。

这种不稳定性最近也出现在 Salesforce 的 Agentforce 系统中。产品营销高级副总裁指出,他们“一年前对 LLM 系统更有信心”。Agentforce 现在采用更具确定性的方法来“消除 LLM 系统固有的随机性”,确保关键流程每次都能按预期运行。

安德烈的观察比表面看起来更有深度。他所描述的能力差距并非早期人工智能发展过程中的阵痛,而是训练机制本身的固有缺陷。当一个前沿实验室构建模型时,它会奖励那些可以量化的指标:那些有明确基准的任务,那些能够登上排行榜榜首并被网友疯狂转发的技能,以及那些被网友津津乐道地发布在推特上的照片。

结果就是一幅崎岖不平、峰峦叠嶂的图景。GPT-4 能通过律师资格考试,却连“strawberry”(草莓)这个词里的字母都数不清。没错,更高级的模型能数出“strawberry”里的“r”,但即使是最好的模型也有令人费解的故障模式。我经常指出这些故障;最近,Claude Opus 4.5 就彻底失败了,以至于我不得不警告它,Dario 可能需要亲自出面干预:

凡是能衡量的,就能优化;凡是不能衡量的,就无法优化。或者,用查理·芒格的话来说,给我激励机制,我就能给你结果。

系统训练所依据的基准会塑造其思维。这就是从可验证奖励(RLVR)到强化学习转变过程中发生的情况——使用客观奖励进行训练,原则上,客观奖励应该更能抵抗奖励作弊。Andrej 将此称为训练的第四阶段:改变压力,改变形状。

这篇文章让我产生了一个棘手的问题。这些“幽灵”究竟是某种外星生物,还是一面镜子?毕竟,人类的思维也是经过优化的:进化、考试大纲、制度的奖励机制、 深厚的家庭背景等等。我们每个人都有自己独特的轮廓,都有隐藏在各自高峰背后的盲点。

那么,这些是安德烈所描述的“鬼魂”,还是更熟悉的事物?比如我们大家庭中的某些成员?

心理测量学界一个世纪以来一直在争论是否存在一个普遍的智力因素(他们称之为“g因素”) ,或者智力是否是一系列能力的集合。最终的结论是,两者都成立。认知测试结果呈正相关,而这一共同因素通常可以解释高达三分之二的学业和工作表现差异。

但即便在统计学的范畴之内,仍然存在许多特殊的优势和劣势。人类的智力水平并非千篇一律。我们在某些方面的能力也存在差异,这一点我们都能意识到:有些人擅长识别面孔,有些人却对指数增长毫无把握。

奇怪的不是人工智能会出问题——而是我们原本以为它不会出问题。

我们沿用了将智能视为单一旋钮的思维模式:调高旋钮,一切就随之提升。但智能,无论是人类还是机器,都不是一个标量。在漫长的进化过程中,具身生物为了在日益拥挤、最终走向社会化的物质世界中生存而不断优化生命形态。其结果是一种普遍存在的、保留个体表达特征的通用基础。

如今的学习型学习模型(LLM)是在不同的约束条件下选择的:模仿文本,以及在答案易于验证的领域集中奖励。不同的选择压力;不同的峰值。但无论如何,它们都是峰值。

尖锐性和敏捷性

对于一个号称能完成所有事情的通用人工智能(AGI)系统而言,其“尖峰性”意味着什么?

我仍然认为,通用人工智能(AGI)不会像未来某个星期二突然降临的庞然大物那样出现。它更像是天气的变化:天气转暖,我们逐渐穿得越来越少。我们对“智能行为”的基本预期也会改变。它将成为一种环境常态。

妙处在于,我们已经知道如何组织这些思维活跃但又充满个性的人。我们就是活生生的例子。

“在漫长的岁月中,进化使有形生物在日益拥挤、最终走向社会化的物质世界中生存得更加完善。其结果是一种广泛存在的、保留了个体特征的通用基础。”

人类社会就像一台为思维活跃的人服务的协调机器。它就像一位不善于与人沟通的外科医生,一位对闲聊感到困惑的数学家,一位能以远超Excel模型所能预测的条件达成交易的销售代表。

阅读更多

原文: https://www.exponentialview.co/p/we-are-all-spiky

本站文章系自动翻译,站长会周期检查,如果有不当内容,请点此留言,非常感谢。
  • Abhinav
  • Abigail Pain
  • Adam Fortuna
  • Alberto Gallego
  • Alex Wlchan
  • Alin Panaitiu
  • Anil Dash
  • Answer.AI
  • Arne Bahlo
  • Ben Carlson
  • Ben Kuhn
  • Bert Hubert
  • Big Technology
  • Bits about Money
  • Brandon Skerritt
  • Brian Krebs
  • ByteByteGo
  • Chip Huyen
  • Chips and Cheese
  • Christopher Butler
  • Colin Percival
  • Cool Infographics
  • Dan Sinker
  • David Walsh
  • Dmitry Dolzhenko
  • Dustin Curtis
  • eighty twenty
  • Elad Gil
  • Ellie Huxtable
  • Ethan Dalool
  • Ethan Marcotte
  • Exponential View
  • FAIL Blog
  • Founder Weekly
  • Geoffrey Huntley
  • Geoffrey Litt
  • Greg Mankiw
  • HeardThat Blog
  • Henrique Dias
  • Herman Martinus
  • Hypercritical
  • IEEE Spectrum
  • Investment Talk
  • Jaz
  • Jeff Geerling
  • Jonas Hietala
  • Josh Comeau
  • Lenny Rachitsky
  • Li Haoyi
  • Liz Danzico
  • Lou Plummer
  • Luke Wroblewski
  • Maggie Appleton
  • Matt Baer
  • Matt Stoller
  • Matthias Endler
  • Mert Bulan
  • Mind Matters
  • Mostly metrics
  • Naval Ravikant
  • News Letter
  • NextDraft
  • Non_Interactive
  • Not Boring
  • One Useful Thing
  • Phil Eaton
  • PostHog
  • Product Market Fit
  • Readwise
  • ReedyBear
  • Robert Heaton
  • Rohit Patel
  • Ruben Schade
  • Sage Economics
  • Sam Altman
  • Sam Rose
  • selfh.st
  • Shtetl-Optimized
  • Simon schreibt
  • Slashdot
  • Slava Akhmechet
  • Small Good Things
  • Steph Ango
  • Stephen Wolfram
  • Steve Blank
  • Taylor Troesh
  • Telegram Blog
  • The Macro Compass
  • The Pomp Letter
  • thesephist
  • Thinking Deep & Wide
  • Tim Kellogg
  • Understanding AI
  • Wes Kao
  • 英文媒体
  • 英文推特
  • 英文独立博客
©2026 搞英语 → 看世界 | Design: Newspaperly WordPress Theme