来自 Apple 机器学习研究团队的 Parshin Shojaee、Iman Mirzadeh、Keivan Alizadeh、Maxwell Horton、Samy Bengio 和 Mehrdad Farajtabar：
最新几代前沿语言模型引入了大型推理模型 (LRM)，它们在提供答案之前会生成详细的思考过程。虽然这些模型在推理基准测试中表现出色，但人们对其基本能力、扩展特性和局限性仍缺乏足够的了解。[…] 通过对各种谜题进行大量实验，我们发现前沿 LRM 在超过一定复杂度后准确率会彻底崩溃。此外，它们还表现出一种违反直觉的扩展极限：它们的推理工作量会随着问题复杂度的增加而增加，达到一定程度后，尽管令牌预算充足，但仍然会下降。通过在等效推理计算下将 LRM 与标准 LLM 进行比较，我们确定了三种性能方案：(1) 低复杂度任务，其中标准模型意外地优于 LRM；(2) 中等复杂度任务，其中 LRM 中的额外思考显示出优势；以及 (3) 高复杂度任务，其中两个模型都完全崩溃。我们发现 LRM 在精确计算方面存在局限性：它们无法使用显式算法，并且在各个谜题中的推理不一致。我们还更深入地研究推理轨迹，研究探索解决方案的模式并分析模型的计算行为，阐明它们的优势和局限性，并最终提出有关其真实推理能力的关键问题。
全文读起来还挺顺畅的，可惜今天我出差了，没时间仔细读。而且是PDF格式，手机上也看不了。（这文章居然在WWDC前夕发表，是不是很巧？）
我粗略浏览后的基本理解是，这篇论文表明，或者至少强烈暗示，LRM 根本不会“推理”。它们只是使用了比 LLM 复杂得多的模式匹配。结果就是，LRM 在简单问题上会过度思考，在中等复杂度的谜题上表现优于 LLM，而在高复杂度的任务和谜题上则以与 LLM 完全相同的方式失败。
原文： https://machinelearning.apple.com/research/illusion-of-thinking