一位匿名读者引用了 Ars Technica 的一篇报道：近几个月来，人工智能行业开始转向所谓的模拟推理模型，这些模型使用“思路链”过程，通过多个逻辑步骤解决棘手问题。与此同时，最近的研究也对这些模型是否对一般逻辑概念有基本的理解，或是否准确掌握了自身的“思维过程”提出了质疑。类似的研究表明，当问题包含不相关的子句，或与训练数据中的常见模板稍有偏差时，这些“推理”模型往往会给出不连贯、逻辑不通的答案。在最近的一篇预印本论文中，亚利桑那大学的研究人员将这项现有研究总结为“表明法学硕士（LLM）并非原则性的推理者，而是复杂的类推理文本模拟器”。为了进一步理解这一点，研究人员创建了一个精心控制的法学硕士环境，试图衡量思路链推理在面对与训练数据中发现的特定逻辑模式不匹配的“领域外”逻辑问题时的效果。研究人员写道，研究结果表明，思维链模型看似巨大的性能飞跃“很大程度上只是一种脆弱的幻象”，“即使在分布适度变化的情况下也会变得脆弱且容易失败”。“在任务转换下，思维链推理似乎反映的只是训练过程中学习到的模式的复制，而不是真正展现出对文本的理解。”[…] 研究人员写道，这些思维链模型并非展现出广义逻辑推理的能力，而是“一种复杂的结构化模式匹配形式”，即使稍微偏离其训练分布，其性能也会“显著下降”。此外，这些模型生成“流畅的胡言乱语”的能力营造出一种“虚假的可靠性氛围”，经不起仔细的审核。因此，研究人员强烈警告不要“将[思维链]式的输出等同于人类思维”，尤其是在“医学、金融或法律分析等高风险领域”。他们写道，当前的测试和基准应该优先考虑任何训练集之外的任务，以探测这些类型的错误，而未来的模型将需要超越“表面模式识别，展现更深层次的推理能力”。
在 Slashdot 上阅读更多内容。