Skip to content

搞英语 → 看世界

翻译英文优质信息和名人推特

Menu
  • 首页
  • 作者列表
  • 独立博客
  • 专业媒体
  • 名人推特
  • 邮件列表
  • 关于本站
Menu

LLM 们明白吗?

Posted on 2025-07-19

我一直回避这个问题,因为我不确定我们是否理解“理解”的含义。今天我花了一些时间,我想我已经给出了一个相当简洁的定义:

如果一个实体构建了一个现实的潜在模型,它就能理解。并且:

  1. 可以学习:当呈现新信息时,潜在模型会比呈现的信息增长得更多,因为它能够与现有模型的部分建立联系。
  2. 可以偏离:当事情没有按计划进行时,它可以使用其模型,根据其潜在模型找到它还不知道的创新解决方案。

此外,潜在模型的质量可以通过其连贯性来衡量。这意味着,如果你在两个几乎不相关的领域进行探索,它会给出与潜在模型逻辑一致的答案。

我认为有大量证据表明法学硕士目前正在做这一切。

但首先……

潜在模型

心智模型。我就是这么想。只是想避免不必要的拟人化。

这是其中最广为接受的部分。 “潜在”只是意味着你无法直接观察到它。 “模型”只是意味着它是一个近似现实世界的系统。

例如,如果你看到这个:

一个点状的三维球体——离散的点排列在一起,清晰地呈现出一个球体,同时又保留了通透的体素感。如果需要调整,请告诉我!

尽管它只是一堆点,但您可能立即认出它是一个球体。

潜在模型其实也一样,只是不太容易观察。就像你可能在脑子里有一张你所在城市的“地图” 。所以,如果你开车兜风,遇到一条路被封了,你并没有迷路,你只需要参考你城市的潜在模型,规划绕行路线即可。但它并不完全是像谷歌地图那样的文字图像。它只是一个心理模型,一个潜在模型。

谄媚导致语无伦次

从1979年到2003年,萨达姆·侯赛因身边围绕着精心挑选的唯唯诺诺之徒,这些人在对死亡的恐惧之下,只向他灌输奉承的宣传,并隐瞒严峻的军事或经济现实。这种封闭的回音室导致了灾难性的误判——最显著的是1990年入侵科威特以及2003年与美国的对峙——最终导致其政权垮台,他本人也遭到处决。

就像萨达姆一样,谄媚会导致法学硕士(LLM)偏离其真正的潜在模型,从而导致语无伦次。因此,理解力下降。

嵌入模型演示了潜在模型

否则它们就无法工作。

word2vec 论文中有一个著名的例子,它指出“国王 – 男人 + 女人”的嵌入与“女王”的嵌入(在嵌入空间中)非常接近。换句话说,嵌入可以建模文本的含义。

那是2015年,在法学硕士(LLM)课程之前。那时候,它甚至还没有那么好,而且随着模型规模的扩大,那个潜在模型的保真度已经大幅提升。

情境学习 (ICL) 表明他们可以学习

ICL 是指您可以在运行时通过在提示中提供示例或通过告诉它新信息来教授模型新技巧。

在GPT-3 论文中,他们展示了随着模型规模从 1.25 亿扩大到 1.75 亿,ICL 得到了提升。当 LLM 规模增加时,它可以容纳更大、更复杂的潜在世界模型。当输入新信息(ICL)时,更大的模型能够更好地对其进行处理。

有道理。你越聪明,就越容易变得更聪明。

推理引导偏差

当模型进行思维链 (CoT) 时,它们会自我怀疑,从而更深入地探索其自身的内部潜在模型。在 (2) 中,我们说过,真正的理解需要 LLM 能够运用其自身的潜在世界模型,为意外情况找到创新的解决方案。

最近的一篇2025 年 1 月论文表明情况确实如此。

误导:绩效!=能力

很大一部分反对人工智能的人都以这个论点作为证据。 释义如下:

如今的图像识别网络可以将照片标记为“抱着毛绒玩具的婴儿”,但算法并不具备婴儿作为生命体的概念——它并不真正了解婴儿的形状,也不了解婴儿如何与世界互动。

这是 2015 年的事,所以这个例子看起来很简单,但这个原则在 2025 年仍然适用。

这个例子是用来论证人工智能不具备理解力,但它只是挑选了人工智能潜在世界模型与现实不一致的一个地方。

我可以整天挑出人类心智模型与现实背离的例子。比如,你在街上走错了路,结果却把你带进了整个城镇。或者你以为某个魅力十足的候选人会为你做些好事。诸如此类。

反过来,证明人工智能的潜在模型在某些领域与现实相符。

但这令人不满意,因为海豚对海底有心理模型,微型机器学习模型也有它们擅长的领域,而且一般来说,大多数动物对世界的某些方面都有所了解。

结论

我们为什么要争论这个?我不确定,这个问题经常被提起。我认为很大一部分原因是人类例外论。我们非常聪明,所以我们肯定有什么特别之处。我们不仅仅是动物。

但更普遍的是,人工智能确实越来越智能,以至于随着其强化程度的提高,人们开始感到越来越不安。我们必须对此采取行动。

原文: http://timkellogg.me/blog/2025/07/18/understanding

本站文章系自动翻译,站长会周期检查,如果有不当内容,请点此留言,非常感谢。
  • Abhinav
  • Abigail Pain
  • Adam Fortuna
  • Alberto Gallego
  • Alex Wlchan
  • Answer.AI
  • Arne Bahlo
  • Ben Carlson
  • Ben Kuhn
  • Bert Hubert
  • Bits about Money
  • Brian Krebs
  • ByteByteGo
  • Chip Huyen
  • Chips and Cheese
  • Christopher Butler
  • Colin Percival
  • Cool Infographics
  • Dan Sinker
  • David Walsh
  • Dmitry Dolzhenko
  • Dustin Curtis
  • eighty twenty
  • Elad Gil
  • Ellie Huxtable
  • Ethan Dalool
  • Ethan Marcotte
  • Exponential View
  • FAIL Blog
  • Founder Weekly
  • Geoffrey Huntley
  • Geoffrey Litt
  • Greg Mankiw
  • Henrique Dias
  • Hypercritical
  • IEEE Spectrum
  • Investment Talk
  • Jaz
  • Jeff Geerling
  • Jonas Hietala
  • Josh Comeau
  • Lenny Rachitsky
  • Liz Danzico
  • Lou Plummer
  • Luke Wroblewski
  • Matt Baer
  • Matt Stoller
  • Matthias Endler
  • Mert Bulan
  • Mind Matters
  • Mostly metrics
  • Naval Ravikant
  • News Letter
  • NextDraft
  • Non_Interactive
  • Not Boring
  • One Useful Thing
  • Phil Eaton
  • Product Market Fit
  • Readwise
  • ReedyBear
  • Robert Heaton
  • Rohit Patel
  • Ruben Schade
  • Sage Economics
  • Sam Altman
  • Sam Rose
  • selfh.st
  • Shtetl-Optimized
  • Simon schreibt
  • Slashdot
  • Small Good Things
  • Steve Blank
  • Taylor Troesh
  • Telegram Blog
  • The Macro Compass
  • The Pomp Letter
  • thesephist
  • Thinking Deep & Wide
  • Tim Kellogg
  • Understanding AI
  • Wes Kao
  • 英文媒体
  • 英文推特
  • 英文独立博客
©2025 搞英语 → 看世界 | Design: Newspaperly WordPress Theme