为什么小型模型、规模化推理和人工智能代理可能是
很多人担心 LLM 会遭遇规模瓶颈。这种现象指的是，尽管计算能力不断提升，但 LLM 的进展却放缓，并且并没有取得太大的进步。
关于我们是否遇到了扩展瓶颈，我的看法是矛盾的。我认为我们还有很多方法可以尝试。 强化学习是一个关键技术，只要我们有计算能力，它就能让我们走得更远，即使数据有限。模型架构也可能会有新的创新。简而言之，在最终下定论之前，我们还有很多东西需要探索。
不过，我们先暂时搁置这场争论，假设我们遇到了某种扩展瓶颈。接下来会发生什么？
令人惊讶的是，法学硕士 (LLM) 的直觉
遭遇扩展瓶颈促使我们提出一个更深层次的问题：我们一直在构建什么样的智能？要回答这个问题，我们需要探究我们所知的唯一真正的智能：人类思维。
人类大脑的两种思维方式
丹尼尔·卡尼曼的研究为我们理解人类思维方式提供了绝佳途径。他认为，我们的大脑以两种不同的方式运作。
系统1独立运作，快速、毫不费力，无需我们主动选择。它基于直觉，建立联系，而我们却浑然不知。正是这个系统让我们在人群中看到朋友的脸，完成短语“战争和……”，或者看到一张恐怖的图片感到恶心。它运用思维捷径和习得的联系来“快速猜测正在发生的事情”。虽然系统1非常高效，但它经常会犯某些错误，并且带有偏见。我们称之为直觉。
另一方面，系统 2专注于艰苦的脑力劳动。它缓慢、谨慎、逻辑清晰，我们对此心知肚明。当我们解决像 17×24 这样的难题、在狭小空间停车或报税时，我们都会使用这个系统。我们认为这个系统代表着理性思考的自我。然而，系统 2 很懒惰；使用它需要付出努力，并且如果可以的话，它会遵循系统 1 的想法。我们称之为推理。
人类的智慧不是其中之一，而是两者的结合。
传统的人工智能就是推理
早期的人工智能研究直接尝试构建纯粹的“系统 2”机器。这种方法现在被称为“传统人工智能”（GOFAI）或符号人工智能，它基于逻辑、严格的规则和符号运算。
GOFAI 的核心思想是，智能行为源于基于规则的符号移动。这符合古老的哲学观点，即纯粹理性是最高形式的智能。研究人员试图将人类思维分解成计算机能够遵循的简单逻辑步骤。
这种方法在规则明确的领域效果很好。一些程序可以下棋、解决代数问题，并证明数学定理。像MYCIN（用于医学诊断）和DENDRAL（用于化学）这样的专家系统将人类专家的知识整合到庞大的“如果-那么”规则数据库中，并在其特定领域展现出令人印象深刻的技能。但GOFAI从未创造出通用智能。它的系统非常脆弱，无法应对混乱且不可预测的现实世界。这是因为不可能为所有可能的情况制定规则。
深度学习在推理之前先找到直觉
是什么让我们成为人类？计算机技术的早期发展让我们认为计算机擅长逻辑，但不擅长写作或艺术之类的事情。而这些正是我们认为人类的本质所在。因此，计算机无法做到这些也就不足为奇了。
这种观念通过流行文化在我们的集体想象中根深蒂固。《星际迷航》中的人物Data就是一个典型的例子：一个拥有超级计算机大脑的机器人，可以处理无穷无尽的信息，但却无法掌握艺术、情感或创造力。同样，电影《我，机器人大战》中机器人桑尼开始绘画的场景也至关重要，正是因为这种创作行为是机器无法做到的。
然而，在一次奇特而迅速的逆转中，我们如今发现自己正处于截然相反的现实中。现代深度神经网络可以创作出令人惊叹的艺术作品，写出引人入胜的散文，但有时也会在最基本的逻辑上出错，比如判断5.11是大于还是小于5.9。我认为这让每个人都感到意外，而且我们至今仍未集体接受这一点。这可能需要一些时间，也可能会让我们重新思考身为人类的意义。
引领现代法学硕士（LLM）的深度学习革命并非GOFAI的进步，而是一场彻底的变革。这种名为“联结主义”的新方法基于大脑神经元的连接方式。它认为，智能源于从大量数据中学习模式，几乎无需或完全无需预先编程的知识。
通过构建庞大的人工神经网络，并用互联网规模的数据进行训练，研究人员意外地创造出了一种不太像完美思考者（系统2）的东西，而更像是一种超快、庞大但有缺陷的直觉（系统1）。如今法学硕士（LLM）的基本局限性，与纯粹的系统1在没有系统2的制约下运作时所存在的弱点相同。
借助像 OpenAI O3 或 Gemini 思维这样的现代“推理法学硕士”，我们也在系统 2 上取得了进展，利用了这些模型固有的直觉。这会是我们实现两者并最终实现真正智能的方式吗？现在下结论还为时过早。我们甚至可能会想出一些新的方法来修改现有的架构，使这些模型能够原生地进行推理和直觉。只有时间才能给出答案。
但现在我们先假设这些突破都不会发生，回到本文的主题。如果我们遇到了瓶颈，并且没有进一步的进展，我们该何去何从？
内核创造世界
遇到扩展瓶颈可能看起来很糟糕，但历史告诉我们接下来会发生什么。重大的技术变革往往不是始于构建一个庞大而复杂的东西，而是始于找到一个简单、强大且可重复使用的构建模块。一个事物的内核。历史上的两个例子——晶体管和互联网数据包——让我们对人工智能的未来有所了解。在这里，我们拥有了以法学硕士（LLM）形式存在的智能内核，可以在此基础上进行构建。
从一个晶体管到计算机时代
现代计算机时代始于一个看似简单的设备：一个可靠的固态开关。晶体管是改变游戏规则的基石。它的主要作用是充当开关，在“0”和“1”之间可靠地切换。这是引领我们进入计算机时代的核心。20世纪50年代末集成电路的发明，让工程师们能够在一块硅芯片上集成数千个、数百万个、如今数十亿个这样的简单开关。
这场革命关乎事物的组合方式。最基本的部件——开关——保持不变。我们并没有制造出一个巨大的新晶体管。进步源于学习如何将这些简单的部件组合成越来越复杂的设计，从简单的逻辑门到第一个微处理器（英特尔 4004，拥有 2300 个晶体管），最终到如今驱动我们手机和数据中心的拥有数十亿个晶体管的芯片。新想法的重点从重新发明构建模块转移到利用构建模块进行构建。
从通过线路发送数据包到全球互联网
通信领域也发生了类似的革命，其驱动力来自另一个简单而强大的基石：数据包。20世纪60年代中期，分组交换技术被发明。其核心思想是一个简单但强大的基石。数据被分解成多个小的、标准的、被称为“数据包”的块。每个数据包都会被标记一个地址，并像邮件中的信件一样，自行寻找到达目的地的路径。只有在实际发送数据包时，才会使用网络线路。
“远距离发送信息”这一基本理念是阿帕网（ARPANET）乃至后来整个互联网的基石。随后涌现出的各种新想法，从电子邮件和文件共享，到万维网、流媒体视频和云计算，其核心并非改变数据包本身，而是构建新的层级（例如 TCP/IP 规则）以及在这个强大而灵活的基石之上构建大量的应用程序。
在这两种情况下，找到基本构建块（内核）只是第一步。
智慧的核心
现代法学硕士（LLM）至少拥有一个智能核心。它并非我们所期望的那种，但却令人惊叹。我们发现的基础核心并非人类意义上的“通用智能”。它更具体，但可以作为构建模块使用：一个通用的概率直觉引擎。LLM 的核心功能可以理解为一个极其强大的系统 1。它是一个通用的模式匹配和联想机器。由于它几乎可以处理任何数据模态——文本、图像、音频、代码——因此它可以作为处理非结构化信息并生成合理、直观响应的通用组件。正如晶体管是通用开关，数据包是通用数据容器一样，LLM 是一个通用的“直觉即服务”原语。它的最终价值不在于它作为独立预言机的性能，而在于它作为一个组件的实用性，可以集成到更大、更健壮、更强大的系统中。
人工智能的未来可能是小型模型、规模推理和代理
人工智能的未来或许并非构建一个庞大无所不知的智能体，而是创建由多个专业人工智能组成的协同工作团队。正如我们之前提到的，要在内核上构建复杂系统，意味着它必须具备可靠的可扩展性。对于这个新的未来，有三件事至关重要：
首先是小型模型的使用。这些模型可以理解为针对特定任务（例如金融或医疗保健）训练的专家级人工智能。它们更便宜、更快，而且足够小，可以在手机上运行，从而保护你的数据隐私。由于它们专注，因此在特定任务上通常比大型通用模型表现更好。
其次，我们必须扩展推理能力。推理扩展意味着让人工智能以更低的成本大规模运行。定制芯片、推测解码等新算法、混合专家 (MoE) 等架构以及许多其他创新正在推动推理扩展的极限。小型模型和推理扩展相结合，将为我们提供可靠、可扩展的智能核心。
最后，真正的力量在于将这些转化为能够采取行动的人工智能代理。这些代理能够理解目标、制定计划，并使用应用程序或网站等工具来完成工作。这些代理将能够以团队形式协同工作，每个代理负责复杂任务的不同部分。未来将有数千万个代理支持和简化我们的生活。我一直想研究一下人工智能代理的定义（目前有很多定义已经存在），但这个话题或许可以留到以后再谈。
是的，我认为未来是这样的：小型模型、规模化推理和数百万个人工智能代理。
如果我们遇到了法学硕士 (LLM) 扩展障碍，人工智能的未来会是什么样子？这篇文章最初发表在 Medium 上的数据科学集体中，人们通过强调和回应这个故事来继续讨论。