对苹果推理论文的七条回应——以及它们为何失败

通过对各种谜题进行广泛的实验，我们发现，在超过一定复杂度后，前沿 LRM 的准确率会彻底崩溃。此外，它们还表现出一个违反直觉的扩展限制：它们的推理工作量会随着问题复杂度的增加而增加，达到一定程度后，即使拥有充足的代币预算，推理工作量也会下降。

我浏览了试卷，它给我的印象是许多其他揭露法学硕士 (LLM) 缺陷的陷阱问题的一个更彻底的例子——这次涉及汉诺塔等谜题，这些谜题的难度可以增加到即使“推理”法学硕士 (LLM) 也会用尽输出令牌而无法完成的程度。

我觉得这篇论文的关注度远远超过了它应有的水平——“思维的幻觉”这个标题吸引了“法学硕士是被过度炒作的垃圾”那群人的注意。我已经看到足够多的论证充分的反驳，所以我觉得它不值得深究。

现在，著名的 LLM 怀疑论者 Gary Marcus 将最好的反驳汇集到一起，为我节省了一些时间！

加里反驳了这些论点，但考虑到他之前关于这篇论文的标题对法学硕士来说是一个致命打击，他认为这些论点缺乏说服力也就不足为奇了。摘自之前那篇文章：

我对通用人工智能（AGI）的愿景一直是将人类的优势与机器的优势相结合，克服人类的弱点。我对无法进行算术运算的“通用人工智能”不感兴趣，也绝对不想将全球基础设施或人类的未来托付给这样的系统。

然后从他的新帖子中：

这篇论文并非新鲜事；我们早就知道这些模型泛化能力很差。没错！（我个人近三十年来一直在努力告诉人们这一点；Subbarao Rao Kambhampati 也一直在尽力）。但为什么我们认为这些模型是通往通用人工智能的捷径呢？

这就是我的不同意见。我对法学硕士（LLM）是否是“通往通用人工智能之路”并不感兴趣。我依然只关心，在理解了它们的局限性之后，它们在今天是否具有实用价值。

推理法学硕士 (LLM) 是该领域一个相对较新且有趣的分支。它们显然能够解决大量先前的 LLM 无法处理的问题，因此我们看到了 OpenAI、Anthropic、Gemini、DeepSeek、Qwen 和 Mistral 等机构涌现的新模型。

当你将它们与工具结合起来时，它们会变得更加有趣。

无论它们是否能够可靠地解决汉诺塔或过河难题，它们今天对我来说已经很有用了。